常见搜索引擎蜘蛛大全

百度 baidu.com—-Baiduspider

http://www.baidu.com/search/spider.htm

谷歌 google.com—-Googlebot

http://www.google.com/bot.html 中文版请打开以下页面

http://www.google.cn/support/webmasters/bin/topic.py?topic=8843

雅虎 yahoo.com—-Yahoo

http://misc.yahoo.com.cn/help.html 打开后跳转到以下页面

http://help.cn.yahoo.com/property.html?product=websearch

有道 yodao.com—-YodaoBot

http://www.yodao.com/help/webmaster/spider/

搜搜 soso.com—-Sosospider/Sosoimagespider(网页蜘蛛/图片蜘蛛)

http://help.soso.com/webspider.htm

http://help.soso.com/soso-image-spider.htm

搜狗 sogou.com—-sogou

http://www.sogou.com/docs/help/webmasters.htm#07

微软 msn.com—-msnbot

http://search.msn.com/msnbot.htm 打开后跳转到以下页面

http://help.live.com/help.aspx?mkt=zh-cn&project=wl_webmasters

以下是几只收获(抓取页面)不劳动(不来流量)的蜘蛛 可以考虑禁了它们爬行 省空间流量

国外搜索引擎

gigablast.com—-Gigabot
http://www.gigablast.com/spider.html

国外搜索引擎
webalta.net—-WebAlta
http://www.webalta.net/ru/about_webmaster.html

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注