网站地图设置

1、引导蜘蛛抓取网站。

2、引导用户访问网站。

1、xml和txt是针对于搜索引擎来做的网站地图。   html主要是拿来给用户看的。

2、robots.txt网站抓取规则设置，在里面可以设置网站是否允许被搜素引擎抓取，或者是那些页面允许或者不允许被抓取。并且robots文件一个网站只能存在一个。

3、网站地图和robots文件都是放在网站的根目录下，也就是与网站首页同级的目录。