～技术宅真可怕～#1 - 2018-8-3 02:30
bangumi大西王 (天生万物以养人，人无一物以报天)
https://bgmi.trim21.cn/
我很可爱, 请把你的bgm账号授权给我
如果你授权之后看到了炮姐或者502了, 站内私信我把你加入白名单
只会放下架的 或者 腾讯的 或者优酷的...
只存最新两集
主要还是看心情，因为271和b站我有会员。
这季大概就放巨人 sg0和island了
具体更新速度取决于字幕组和搬运组，如果你追求更新了立马能看到，大概不会满意吧…（
本来想等巨人的极影720p，结果等了一天也没等到， 只好拿了搬运组的1080p了
字幕（搬运）组现在酷爱hecv格式，我又不可能自己转码，难受
网站先搭起来了
目的是（我自己）了解一下cdn 对象存储这堆东西，顺便看看能不能炸出大佬来告诉我实现效果并不好不如洗洗睡 实际效果倒是挺好的…
相比之下突然感觉大会员挺便宜的，一年在b站看的各种乱七八糟视频加起来怎么也超过400g了（平均每天两三个个视频
起因：追番的需求
开始的开始：
因为各种各样奇奇怪怪的问题，之前在找一个好用的，能自动从各个bt站爬新番然后下载的程序。本来一开始没找到想要自己写的，没想到开工两天就找到了…
https://github.com/BGmi/BGmi
这是一个Python写的命令行程序，设计目的是运行在内网或者本地的情况下，从种子站爬取每季新番，然后下载订阅的番剧。
如果你对怎么使用BGmi感兴趣的话，可以看这里。本身不需要会写代码，会敲命令就可以了
readme
因为就快发新版了，所以请直接安装最新版本。
（不过这个项目并不是我想说的重点…（
大概是16年还是17年来着，我发现了这个项目（其实是当初正好看到了作者在v2上发的贴），然后一时兴起就写了个前端，这个项目就变成了Python写的爬虫本体+HTTP server，还有一个vue写的前端bgmi-frontend，我也顺便成了项目维护者之一。
然后上面吹水了这么多之后
这篇文章到底是想说什么呢
是我不想跟当初设计的一样，把这个东西跑在正在我正在用的电脑上，手头又没有树莓派这样的小服务器能放在内网里，只能想办法少花钱的把他跑在公网上。程序设计之初因为是考虑放在内网或者本地，所以认为带宽不是什么问题，没有做任何这方面的考虑优化。
研究了一下发现最大的问题是带宽…
无论是境外还是境内的便宜服务器都难以解决这个问题，境内是贵，再加上视频文件本身码率就摆在那，对带宽的要求不低。境外服务器倒是便宜的机器也有高带宽大流量，但访问速度实在是着急…
在尝试了境外服务器+国内（腾讯云cdn）之后发现，瓶颈还是在境外服务器上。腾讯云的cdn虽然速度非常快，但是回源的速度却非常慢，在源站服务器上看只有可怜的几十kb/s，处于完全不能用的状态。
这个时候，我才发现之前经常看到倒是没有注意过的“对象存储”这个玩意。我直接下载完番剧存到腾讯的服务器上，不就不用担心回源速度的问题了嘛。
所以最后的实现是这样的。
先把番剧下回来，把文件传到cdn那边去，然后在线看的时候让用户直接从cdn拖视频文件。
首先是下载视频后上传的问题。在bgmi支持的下载方式中，deluge和aria2c都是支持在下载完成后运行一个程序的。所以简单的只要我写段代码，让他们来回调，然后把对应的番剧文件上传到对象存储去，这个问题就算解决了。
至于在线看的问题，就需要动手修改对应的代码了。
现在bgmi的番剧索引是从本地硬盘上搜索文件是否存在，然后把对应路径发送给前端，由前端来显示，所以这里比较简单一点，只需要修改这一处地方，把原本指向同一服务器上的文件的链接改为指向对应cdn的链接即可。
前端因为上面说的，不再是跑在内网上，所以vue这些原本用webpack一起打包的库还要改成引入cdn，最后编译出来的整个网页只有几十kb，原本压缩完了还有几兆大…
吐槽一下vue-notification这个库，不提供cdn引入方式，只能随着webpack一起打包…
网站倒是能正常运行了，正式上线（
cdn和对象存储是真的有点贵…
看了三遍巨人(倒不是因为太好看, 而因为改了几次代码), 就用掉1G的免费流量了.
一边心疼一边研究一下各家cdn和对象存储的价格... 下面是不看也不会让你损失什么的内容其实上面也是
腾讯这边平均每g流量要花的钱在0.2~0.35之间， 看的人越多单价越低（cdn利用越充分）。
七牛这边是 外网流出流量固定0.29 元/GB 10GB以内存储免费。
又拍这边价格计算比较复杂...小于日流量的存储是不要钱的， 也就是说用掉2g流量的话就有2g的免费存储可以使用。然后流量是0.29元/GB 没有免费额度
阿里云是8元40G/年 的存储 然后流量费用方面, 回源跟腾讯云一样是0.15元/GB 直接请求是0.25元/g的闲时流量(0:00-8:00) 和0.50元/g的忙时流量. cdn没有免费额度, 20元/100G起步, https还要额外收钱，40元/千万次请求起步，流量没有特别便宜https请求还用不完, 我表示打扰了…
按照回复的建议, 放弃七牛...
继续停留在腾讯...
嘛, 考虑了一下, 做一个用bangumi授权的登录的主页, 然后屏蔽掉比较新的用户 应该就可以避免传出去流量被刷爆了...
我很可爱, 请把你的bgm账号授权给我
如果你授权之后看到了炮姐或者502了, 站内私信我把你加入白名单
只会放下架的 或者 腾讯的 或者优酷的...
只存最新两集
主要还是看心情，因为271和b站我有会员。
这季大概就放巨人 sg0和island了
具体更新速度取决于字幕组和搬运组，如果你追求更新了立马能看到，大概不会满意吧…（
本来想等巨人的极影720p，结果等了一天也没等到， 只好拿了搬运组的1080p了
字幕（搬运）组现在酷爱hecv格式，我又不可能自己转码，难受
网站先搭起来了目的是（我自己）了解一下cdn 对象存储这堆东西，顺便看看能不能炸出大佬来告诉我实现效果并不好不如洗洗睡 实际效果倒是挺好的…
相比之下突然感觉大会员挺便宜的，一年在b站看的各种乱七八糟视频加起来怎么也超过400g了（平均每天两三个个视频
起因：追番的需求
开始的开始：
因为各种各样奇奇怪怪的问题，之前在找一个好用的，能自动从各个bt站爬新番然后下载的程序。本来一开始没找到想要自己写的，没想到开工两天就找到了…
https://github.com/BGmi/BGmi
这是一个Python写的命令行程序，设计目的是运行在内网或者本地的情况下，从种子站爬取每季新番，然后下载订阅的番剧。
如果你对怎么使用BGmi感兴趣的话，可以看这里。本身不需要会写代码，会敲命令就可以了
readme
因为就快发新版了，所以请直接安装最新版本。
（不过这个项目并不是我想说的重点…（
大概是16年还是17年来着，我发现了这个项目（其实是当初正好看到了作者在v2上发的贴），然后一时兴起就写了个前端，这个项目就变成了Python写的爬虫本体+HTTP server，还有一个vue写的前端bgmi-frontend，我也顺便成了项目维护者之一。
然后上面吹水了这么多之后
这篇文章到底是想说什么呢是我不想跟当初设计的一样，把这个东西跑在正在我正在用的电脑上，手头又没有树莓派这样的小服务器能放在内网里，只能想办法少花钱的把他跑在公网上。程序设计之初因为是考虑放在内网或者本地，所以认为带宽不是什么问题，没有做任何这方面的考虑优化。
研究了一下发现最大的问题是带宽…
无论是境外还是境内的便宜服务器都难以解决这个问题，境内是贵，再加上视频文件本身码率就摆在那，对带宽的要求不低。境外服务器倒是便宜的机器也有高带宽大流量，但访问速度实在是着急…
在尝试了境外服务器+国内（腾讯云cdn）之后发现，瓶颈还是在境外服务器上。腾讯云的cdn虽然速度非常快，但是回源的速度却非常慢，在源站服务器上看只有可怜的几十kb/s，处于完全不能用的状态。
这个时候，我才发现之前经常看到倒是没有注意过的“对象存储”这个玩意。我直接下载完番剧存到腾讯的服务器上，不就不用担心回源速度的问题了嘛。
所以最后的实现是这样的。
先把番剧下回来，把文件传到cdn那边去，然后在线看的时候让用户直接从cdn拖视频文件。
首先是下载视频后上传的问题。在bgmi支持的下载方式中，deluge和aria2c都是支持在下载完成后运行一个程序的。所以简单的只要我写段代码，让他们来回调，然后把对应的番剧文件上传到对象存储去，这个问题就算解决了。
至于在线看的问题，就需要动手修改对应的代码了。
现在bgmi的番剧索引是从本地硬盘上搜索文件是否存在，然后把对应路径发送给前端，由前端来显示，所以这里比较简单一点，只需要修改这一处地方，把原本指向同一服务器上的文件的链接改为指向对应cdn的链接即可。
前端因为上面说的，不再是跑在内网上，所以vue这些原本用webpack一起打包的库还要改成引入cdn，最后编译出来的整个网页只有几十kb，原本压缩完了还有几兆大…
吐槽一下vue-notification这个库，不提供cdn引入方式，只能随着webpack一起打包…
网站倒是能正常运行了，正式上线（
cdn和对象存储是真的有点贵…
看了三遍巨人(倒不是因为太好看, 而因为改了几次代码), 就用掉1G的免费流量了.
一边心疼一边研究一下各家cdn和对象存储的价格... 下面是不看也不会让你损失什么的内容其实上面也是
腾讯这边平均每g流量要花的钱在0.2~0.35之间， 看的人越多单价越低（cdn利用越充分）。
七牛这边是 外网流出流量固定0.29 元/GB 10GB以内存储免费。
又拍这边价格计算比较复杂...小于日流量的存储是不要钱的， 也就是说用掉2g流量的话就有2g的免费存储可以使用。然后流量是0.29元/GB 没有免费额度
阿里云是8元40G/年 的存储 然后流量费用方面, 回源跟腾讯云一样是0.15元/GB 直接请求是0.25元/g的闲时流量(0:00-8:00) 和0.50元/g的忙时流量. cdn没有免费额度, 20元/100G起步, https还要额外收钱，40元/千万次请求起步，流量没有特别便宜https请求还用不完, 我表示打扰了…
按照回复的建议, 放弃七牛...
继续停留在腾讯...
嘛, 考虑了一下, 做一个用bangumi授权的登录的主页, 然后屏蔽掉比较新的用户 应该就可以避免传出去流量被刷爆了...
因为主要不只是写文章，还要写代码…
其实现在就只有个idea而已…
折腾之前算了一下，如果只看720p的也就是200m/集的视频，自己看是够的…
一集只需要算一次流量，10g/4周平均下来每周是2.5g，能看11集了…不过如果要1080p的话就只能看3集左右了
如果有志于服务天下的话cdn的流量包的价格是0.22元/G，翻个倍20g也才每月2快钱，每个月10块钱就有50g了…
看不懂大概是因为我是半夜睡前写的吧，想到哪算哪，而且只是一部分
比如你点开某部，发现点错了，或者看一半不想看了，又或者刷新了之类的，cdn 速度是很快了，流量刷刷的就没了（毕竟现在家用带宽都不小），又不能限太低，要不然正常的人就有影响
自用是关系不大，要是公开出去，就考虑全网只有10人在用吧，每人追3部番，那么一个月加起来就是120（3 * 4 * 10）集，最理想的条件下 + 720p，也要24g
其实我担心的主要还是国内 cdn 都要备案，加上视频网站可能有版权问题，以及上述的费用承担问题
顺便前端库可以用公共源，诸如 jsdelivr 什么的
至于点错了这种问题，现在视频都是分片加载的，不会出现200兆的视频点开播放就消耗cdn200兆的流量…一般也就预加载几分钟
版权问题的话…大概不大范围传播被版权方发现就不算犯罪
现在用的是这个播放器…
https://github.com/MoePlayer/DPlayer
今天研究了一下发现cdn回源跟对象存储是重复计费的, 也就是说如果加载的视频的方法是 用户->cdn->对象存储, 要收cdn的费用, cdn回源的费用, 是0.2元/G的cdn费用+0.15元/G的回源费用, 两个均有10G的免费额度. 然后cdn本身有可能不回源, 如果某次请求不回源的话能免掉后面的0.15元/G的费用
如果用户直接从对象存储加载视频, 要收对象存储外网下载的费用 ,0.5元/G...
本来觉得没必要多一个cdn, 弄明白价格之后才发现cdn真是好东西
主要是…生命在于折腾（
能轻松在b站和271找到的番剧我就不准备再放一份了, 没什么意义
cdn我已经设置的允许并发流量比较小了，不会出现什么问题…
然后cdn如果缓存好了某个视频文件可能不回源，只收一次cdn的流量费，如果没缓存（比如第一次看），就收回源费用和cdn流量费。
看的人多了也不至于把流量刷爆 我设置了20mb/s的带宽上限
小于30w才能看233
而且带宽我也限制的比较死，不会产生几个t的费用
p2p 基本就是没什么上传的，而且小范围使用根本就没啥速度吧，观看体验极差.jpg
我视频源文件就是从bt拖回来的，昨天半夜4点钟还有40多个做种的。客户端基本都是utorrent 或者bitirrent。
大概因为是新番所以做种的人多一些吧…冷门资源比如上季的就有些难找了。
就是不太确定想要在线播放的话效果如何
https://webtorrent.io/
不过考虑到大部分人都看不上b站的弹幕 就没弄
BGmi有一个webUI哇, 还是我写的, bgmi install 然后bgmi_http就能用了呀(
不过原来已经有成品项目了，还做得这么好的，厉害了
如果用户只关注了A字幕组, B先发出来也不下, 等A字幕组
我试着看了两个视频, 发现他们直接从b站cdn盗链的, 好像跟你说的不太一样...
突然发现他们有b站的appkey 好像不是盗链，不过也不是反代的视频…
记得站长有详细说过，不过忘了在那里说的
GD教育版是不限空间且无需费用的，但是申请账号比较麻烦，淘宝买的话有一定风险
appkey好像是从客户端拿的，现在页面虽然在但没记错的话申请时会提示找不到验证网页
我就是不想买高带宽的服务器才用的cdn（贵）
如果这样的话对反代服务器的带宽要求也不低啊…
ps：cdn 只要你想，也能按带宽计费，一般流量相对便宜而已（量小的情况）
想薅谷歌家的羊毛
在淘宝花80元买了 Google Drive 教育版无限容量账号
把电脑手机上所有文件往上传
谷歌的服务器就是我家
用了一周，账号失效，店家跑路
bgmi设计是跑在内网里的，所以功能相对少了很多…对于hevc格式也只是简单的提供了不下载的选项…
我现在正在考虑如何把不同rip站的相同番剧给匹配起来，来实现一个番剧从多个数据源抓取的功能，大概实现完这个才能考虑点格子
https://github.com/Trim21/bgm-tv-auto-tracker
至于人多了被版权办掉，这个网站还暂时没被ban掉，应该也没那么容易被干掉吧
我一直用的chrome倒是没啥问题…