1、首先打开电脑，依次点击“开始——所有程序——附件——记事本”
2、打开记事本文件
3、然后输入User-agent,表示“允许”的意思
4、按照这样的写法就可以User-agent: *,其中“*号”表示允许所有的蜘蛛抓取，如果你写的是“User-agent: Baiduspider” ，那么就是只允许百度的蜘蛛来抓取。
5、这样写 Disallow:/*?* 禁止抓取动态的页面。这样的好处是，如果你的网址做了伪静态的话，如果不禁止，那么等于蜘蛛重复抓取了你网址的静态页面和动态页面，这样就不利于seo，所以如果你网站做了伪静态一定要禁止蜘蛛抓取动态链接。
6、这样写 Disallow: /wp-admin/ 就是禁止蜘蛛抓取 /wp-admin/ 目录，为什么禁止这个目录？这个地址是wordpress默认的后台登录地址，没有必要让蜘蛛抓取，这是属于重复页面（因为每个人的wordpress后台登录界面都一样）。
7、这样写 Allow: /wp-admin/admin-ajax.php 表示允许蜘蛛抓取这个目录的文件
8、这样写 Sitemap: https://www.你的网址.com/sitemap.xml 让蜘蛛访问你的网站地图
9、然后写完了所有的内容，就是这样的格式。
10、然后保存txt文件，并命名为“robots.txt”
11、然后把robots.txt文件上传到你的网站根目录
12、然后在你的浏览器地址栏目中，输入你的网址，加上/robots.txt就可以成功的访
