本文共 68 字，大约阅读时间需要 1 分钟。
我相信很多人有过这个疑问，这个robots文件是干嘛的？
我想问，各位搜索淘宝时，是否发现（禁止爬虫抓取提供快页）
关于详细语法，请看：
转载地址：http://ghdix.baihongyu.com/
