当前位置: 80博客 > 文章正文
上一篇:
下一篇:

详解robots.txt文件

     经常在Google网站管理员里见到robots.txt，却始终不知道作用是什么，今天无意看到一篇文章，才发现robots.txt的作用竟是如此之大，事关WordPress的安全和性能。下面我把我学习的知识整理了一下，方便自己和大家学习。

     什么是robots.txt

     简单来说就是搜索引擎爬虫访问你的网站时，先寻找有没有robots.txt。你可以在robots.txt里告诉爬虫哪些文件不允许访问，哪些文件允许访问。

     书写原则

     必须放在网站根目录 ，字母全部小写。

User-agent: *
Disallow:
Allow:

    User-agent:：*代表所有搜索引擎的爬虫，如果只想特定某个搜索引擎，替换*就可以了。
    Disallow：设置不允许访问的文件目录。

    Allow：设置允许访问的文件目录。

    如何创建

    自己创建一个文本，按照上面的格式书写上传，如果你装有Google XML Sitemaps插件，就会自动在根目录生成一个robots.txt文件。

     应用

User-agent: *        
Disallow: /		 禁止所有爬虫访问
User-agent: *        
Disallow: 		允许所有爬虫访问
User-agent: Baiduspider       
Disallow: /		 禁止百度爬虫访问
User-agent: Googlebot      
Disallow: /		 禁止Google爬虫访问
User-agent: sogou spider    
Disallow: /		 禁止搜狗爬虫访问
User-agent: *        
Disallow: /cgi-bin/
Disallow: /Page/
禁止访问某个目录

User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$

 允许百度抓取gif格式的图片，其它几种格式不允许。

   测试

    创建好robots文件后，大家可以在Google的管理员工具里测试一下，就可以知道是否正常工作。



转载请注明文章转载自：80博客 [http://www.bk80.com]
本文链接地址：详解robots.txt文件

关键字:

已经有30 个评论

  1. 1月 10th, 2011 at 23:06 skylong 说:

    我没放。。。

    [回复]

  2. 1月 11th, 2011 at 07:35 神马都是浮云 说:

    程序自带有就用。没有就不用。哈·

    [回复]

  3. 1月 11th, 2011 at 09:32 米锅 说:

    关键是不知道那些目录能禁止啊

    [回复]

    80博客 回复:
    1月 29th, 2011 at 13:22

    我正在测试，随后就会写出来应该禁止哪些！

    [回复]

  4. 1月 11th, 2011 at 12:00 Firm 说:

    额，我都没去管它来着。。

    [回复]

  5. 1月 11th, 2011 at 13:28 huaidong 说:

    这个真的很不错呀

    [回复]

  6. 1月 11th, 2011 at 15:23 鼻炎贴 说:

    过来看看了 向你学习
    我刚开始做网络这方面的
    多多指导啊！

    [回复]

  7. 1月 11th, 2011 at 15:27 淘宝网汽车坐垫 说:

    学习了，不错的知识。。以后常来光顾~！

    [回复]

  8. 1月 11th, 2011 at 16:54 踏浪者 说:

    这东东实用
    不得不顶一下了

    [回复]

  9. 1月 11th, 2011 at 16:54 网盘赚钱 说:

    我还没用这个呢

    [回复]

  10. 1月 11th, 2011 at 17:57 学夫子 说:

    就是对搜索的一个指南针，呵呵

    [回复]

  11. 1月 11th, 2011 at 21:46 梅州SEO 说:

    恩，确实很实用的！

    [回复]

  12. 1月 11th, 2011 at 21:46 淘宝大学 说:

    这个都有用！

    [回复]

  13. 1月 11th, 2011 at 21:47 梅州SEO 说:

    恩，确实很实用！

    [回复]

  14. 1月 12th, 2011 at 00:03 黑帽SEO 说:

    不错，不过关于WP的robots有个插件都很好，设置很详细

    [回复]

  15. 1月 12th, 2011 at 07:30 小杰博客 说:

    这个东西很重要，做不好，收录就出现问题，我的就是出现问题了，呵呵

    [回复]

  16. 1月 12th, 2011 at 15:11 太子虹 说:

    边走边看边支持博主

    [回复]

  17. 1月 12th, 2011 at 15:22 邓肯 说:

    我默认的，什么也没改动。

    [回复]

  18. 1月 12th, 2011 at 16:29 阿莲 说:

    踩踩！！！！！！！！！

    [回复]

  19. 1月 12th, 2011 at 17:24 SOHO一族 说:

    不是太懂这个，随便抄了个，呵呵

    [回复]

  20. 1月 12th, 2011 at 17:55 蒙古特产 说:

    看看
    学学习

    [回复]

  21. 1月 12th, 2011 at 19:31 郑州房产贷款 说:

    这个知识，太给力啦。

    [回复]

  22. 1月 12th, 2011 at 23:01 绍兴seo 说:

    我的也是自己设置的。

    [回复]

  23. 1月 14th, 2011 at 09:21 juree 说:

    好东西，学校啦，我的还没装MAP插件，等等装上

    [回复]

  24. 1月 20th, 2011 at 11:13 广州lv批发 说:

    恩恩，学习了

    [回复]

  25. 1月 23rd, 2011 at 20:53 小付博客 说:

    这个真的很不错呀

    [回复]

  26. 1月 27th, 2011 at 11:17 szrcw 说:

    原来是这样呀，博主不说还真试过。谢谢

    [回复]

  27. 2月 1st, 2011 at 21:11 寒食夜 说:

    robots编写很主要，感谢分享

    [回复]

  28. 9月 8th, 2012 at 15:20 汽车涂料之家 说:

    解释的很清楚

    [回复]

  29. 8月 24th, 2024 at 18:04 蛋仔派对无限蛋币 说:

    天气好时去见你，天气不好时，带上伞去见你。

    [回复]

发表评论

欢迎光临80博客，顺便评论下吧？

*

* 绝不会泄露



无觅相关文章插件，快速提升流量