1、一.robots的原理
robots文件的作用刚也说到了，一般搜索引擎蜘蛛会优先访问网站内部的robots文件，根据文件内设置的规则不再去抓取那些你像要屏蔽的网页网址。
2、二.robots的文件格式
1.Disallow:该项的值用于描述不希望被抓取的URL链接
2.Allow:该项的值用于描述希望被抓取的URL链接
3.User-agent:该项的值用于描述搜索引擎robot的名字
3、三.robots的文件存放位置
通常robots文件直接存放于网站ftp后台的根目录路径即可，一般搜索引擎蜘蛛优先发文的也是网站的根目录下的robots。
4、四.robots的文件格式
通常robots的文件格式用一般的txt文本格式即可，保存的字符编码为utf-8标准字符即可。
5、五.robots的通配符介绍
星号*，表示匹配0个或多个任意字符；
美元符号$，表示行结束符；
