#1 - 2022-11-15 23:17
gyakkun
230403:
得益于超展开改版, 日志的相关更新会被顶上来, 样例网站现支持查看日志的历史版本。
另由于「贴贴」功能的加入, 讨论帖主题模板改版, 原来的解析失效, 所以样例网站原json格式的API暂时停止工作。 已修复
提供一个UserScript方便定位到历史页。
https://openuserjs.org/scripts/g ... Subject_Topic_Alpha
服务器比较弱, 如遇繁忙/报错请耐心等待。
----------------------
230319:
已经稳定运行一段时间了 (指基本没人用)。新增可读日期页, 毕竟不是每个人类都会认Unix时间戳。
GET /history/(subject|group)/:topicId/link
e.g.
https://bgm.nyamori.moe/history/subject/892/link
https://bgm.nyamori.moe/history/group/374807/link
另外样例网站和爬取服务是在两个不同的服务器上, 最多会有~2h的延迟。
----------------------
221117:
感谢老板首肯。样例网站会继续运行下去。
新增以下请求路径:
GET /history/(subject|group)/:topicId/latest : 会自动302跳到最新的json
GET /history/(subject|group)/:topicId/:millisecondTimestamp/html: 会显示原始爬下来的html
GET /history/(subject|group)/:topicId/latest/html: 会显示最新爬到的html
e.g.
https://bgm.nyamori.moe/history/subject/892/latest
https://bgm.nyamori.moe/history/subject/892/1668434660993/html
https://bgm.nyamori.moe/history/subject/892/latest/html
----------------------
221115:
代码
https://github.com/gyakkun/bgm-archive-sh
https://github.com/gyakkun/bgm-archive-kt
请求路径:
GET /history/(subject|group)/:topicId
GET /history/(subject|group)/:topicId/:millisecondTimestamp
Unix毫秒时间戳不存在的话会302往前跳到最近的一个, 太早的话会跳到第一个
响应格式: JSON, 具体自己看
样例网站 (Since ~2022-11-04):
https://bgm.nyamori.moe/history/subject/892
https://bgm.nyamori.moe/history/subject/892/1668434660993
学姐楼由于量太大, 解析结果不一定是准确的。其他小楼估计还可以。
前端? 额, 没时间搓了, 欢迎来搓。
@Sai🖖 置评请求, 如果有违任何使用条款, 上述样例网站会立即停止服务。
得益于超展开改版, 日志的相关更新会被顶上来, 样例网站现支持查看日志的历史版本。
另由于「贴贴」功能的加入, 讨论帖主题模板改版, 原来的解析失效, 所以样例网站原json格式的API暂时停止工作。 已修复
提供一个UserScript方便定位到历史页。
https://openuserjs.org/scripts/g ... Subject_Topic_Alpha
服务器比较弱, 如遇繁忙/报错请耐心等待。
----------------------
230319:
已经稳定运行一段时间了 (指基本没人用)。新增可读日期页, 毕竟不是每个人类都会认Unix时间戳。
GET /history/(subject|group)/:topicId/link
e.g.
https://bgm.nyamori.moe/history/subject/892/link
https://bgm.nyamori.moe/history/group/374807/link
另外样例网站和爬取服务是在两个不同的服务器上, 最多会有~2h的延迟。
----------------------
221117:
感谢老板首肯。样例网站会继续运行下去。
新增以下请求路径:
GET /history/(subject|group)/:topicId/latest : 会自动302跳到最新的json
GET /history/(subject|group)/:topicId/:millisecondTimestamp/html: 会显示原始爬下来的html
GET /history/(subject|group)/:topicId/latest/html: 会显示最新爬到的html
e.g.
https://bgm.nyamori.moe/history/subject/892/latest
https://bgm.nyamori.moe/history/subject/892/1668434660993/html
https://bgm.nyamori.moe/history/subject/892/latest/html
----------------------
221115:
代码
https://github.com/gyakkun/bgm-archive-sh
https://github.com/gyakkun/bgm-archive-kt
请求路径:
GET /history/(subject|group)/:topicId
GET /history/(subject|group)/:topicId/:millisecondTimestamp
Unix毫秒时间戳不存在的话会302往前跳到最近的一个, 太早的话会跳到第一个
响应格式: JSON, 具体自己看
样例网站 (Since ~2022-11-04):
https://bgm.nyamori.moe/history/subject/892
https://bgm.nyamori.moe/history/subject/892/1668434660993
学姐楼由于量太大, 解析结果不一定是准确的。其他小楼估计还可以。
前端? 额, 没时间搓了, 欢迎来搓。
@Sai🖖 置评请求, 如果有违任何使用条款, 上述样例网站会立即停止服务。
GET /history/(blog|group|subject)/latest_topic_list
e.g. https://bgm.nyamori.moe/history/group/latest_topic_list
另外写这个的目的并不是服务于下游爬虫的, 所以你会注意到性能非常的捉急。这是由于背靠的是两个git仓库(参考了https://github.com/TomoeMami/S1PlainTextBackup), 而git和jgit对大仓库(提交数1w~10w级别, git对象数量10w~100w级别, 仓库总体积100MB~1000MB级别) 的检索就是这么慢。受限于使用条款我不能向你公开原始的这两个仓库, 还请理解。