关注互联网应用

1. Google爬虫名称

1） Googlebot：从Google的网站索引和新闻索引中抓取网页

2） Googlebot-Mobile针对Google的移动索引抓取网页

3） Googlebot-Image：针对Google的图片索引抓取网页

4） Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。

　　robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
　　每个网站，或每个域名（包括子域名），只能有一个robots.txt。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

　　理论上说，robots.txt只是告诉搜索引擎的Spider网站内哪些内容不允许其索引与收录，它并不是网站的必不可少的组成部分，一个未配置robots.txt的网站只不过对搜索引擎Spider的爬行不作限制而矣。从这个角度看，不设置robots.txt对网站功能没有影响。

　　但另一方面，恰当地设置robots.txt，可以更好地维护Web 服务器，提高网站的综合性能。从这个角度，网站最好配置robots.txt。

网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如：大多数网站服务器都有程序储存在“cgi-bin”目录下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意，这样能够避免将所有程序文件被蜘蛛索引，可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

WordPress自从2.1版本开始，在Privacy选项里面允许用户设置是否被搜索引擎索引。但是它只有2个选项，一个是允许所有搜索引擎的机器人（Spider）索引所有内容，另外一个就是不允许。其实robots.txt的用法有很多，最近看了一些文章说，在WordPress中阻止Spider爬行一些目录和文件，不但可以有效的节省搜索引擎对服务器带宽的占用，还可以提高网站在搜索引擎中的排名，这篇文章说，通过将comment feeds与Trackbacks排除在外，他的网站访问量上升了11.3%。