列舉一下各大搜索引擎蜘蛛的名字 |
發(fā)布時(shí)間: 2012/9/23 15:43:45 |
google蜘蛛: googlebot,百度蜘蛛:baiduspider,搜狗蜘蛛:sogou spider,搜搜蜘蛛:Sosospider,yahoo蜘蛛:slurp,alexa蜘蛛:ia_archiver,msn蜘蛛:msnbot,altavista蜘蛛:scooter,lycos蜘蛛: lycos_spider_(t-rex),alltheweb蜘蛛: fast-webcrawler,inktomi蜘蛛: slurp,有道蜘蛛:YodaoBot和OutfoxBot,熱土蜘蛛:Adminrtspider 。當(dāng)然這里只是象征性的列一下,就算我們分析日志的時(shí)候看到了也不要太奇怪,又或者你想禁止它們爬你的站點(diǎn)也是可以的。 本文出自:億恩科技【1tcdy.com】 服務(wù)器租用/服務(wù)器托管中國五強(qiáng)!虛擬主機(jī)域名注冊頂級提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM] |