<meta name="robots" content="noindex">
Donuts 说: 度氓根本就不看
Rくん 说: 只有抓京东淘宝那样的大网站才会看一下?
Donuts 说: robot txt 就是一个君子协定没啥效力,大站都自己反爬的。如果某搜索引擎要录入,估计得跟他们签协议,或者找专人写专门的爬虫来适配
宴夜曲 说: 是GDPR不是GPDR,把GDPR记成“过度贫乳”就不会记错
ref: https://support.google.com/webmasters/answer/93710