1. Google爬虫名称
1） Googlebot：从Google的网站索引和新闻索引中抓取网页
2） Googlebot-Mobile针对Google的移动索引抓取网页
3） Googlebot-Image：针对Google的图片索引抓取网页
4） Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。
5） Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。
2. 百度（Baidu）爬虫名称：Baiduspider
3. 雅虎（Yahoo）爬虫名称：Yahoo Slurp
4. 有道（Yodao）蜘蛛名称：YodaoBot
5. 搜狗（sogou）蜘蛛名称：sogou spider
6. MSN的蜘蛛名称：Msnbot
以上内容来自豆苗网http://www.doumiao.net，谢谢它的分享！