本文共 156 字，大约阅读时间需要 1 分钟。

Robots Exclusion Standard   网络爬虫排除标准

作用：网站告知网络爬虫哪些页面可以抓取，哪些不行

形式：在网站根目录下的robots.txt文件  

如：

网络爬虫：自动或人工识别robots.txt,再进行内容爬取

约束性：Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险

转载地址：http://jawdf.baihongyu.com/