查看: 2508|回复: 0

[网站优化] 常见网络蜘蛛名称和标志有哪些知识

[复制链接]
       
灌水成绩
主题
帖子
积分
等级头衔
ID:160
等级:星辉圣使
头衔:
积分成就
威望:427
贡献:208
种子:1
在线时间:102 小时
注册时间:2018-9-29
最后登录:2022-4-7
勋章
联系方式
发表于 2019-12-20 00:31:29 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

x
常见网络蜘蛛名称和标志有哪些_知识

1.谷歌Google蜘蛛 Googlebot Googlebot-Mobile Googlebot-Image Mediapartners-Google Adsbot-Google 
2.百度(Baidu)蜘蛛 Baiduspider 
3.雅虎(Yahoo)蜘蛛 Yahoo!+Slurp Yahoo!+Slurp+China:雅虎中国蜘蛛 
4.有道(Yodao)蜘蛛 YodaoBot YoudaoBot YodaoBot-Image 
5.搜搜(Soso)蜘蛛 Sosospider Sosoimagespider 
6.微软(Bing和MSN)蜘蛛 bingbot msnbot msnbot-media 
7.搜狗(Sogou)蜘蛛 Sogou Web Sprider Sogou Orion spider Sogou-Test-Spider

详细介绍:
1. 谷歌Google蜘蛛
1) Googlebot:从Google的网站索引和新闻索引中抓取网页
2) Googlebot-Mobile:针对Google的挪移索引抓取网页
3) Googlebot-Image:针对Google的图片索引抓取网页
4) Mediapartners-Google:抓取网页确定 AdSense 的内容。惟独在你的网站上展示 AdSense 广告的情况下,Google才会使用此漫游器来抓取您的网站。
5) Adsbot-Google:抓取网页来衡量 AdWords 目标网页的质量。惟独在你使用 Google AdWords 为你的网站做广告的情况下,Google才会使用此漫游器。
2. 百度(Baidu)蜘蛛名称:Baiduspider
3. 雅虎(Yahoo)蜘蛛
1) Yahoo!+Slurp:雅虎总站蜘蛛
2) Yahoo!+Slurp+China:雅虎中国蜘蛛
4. 有道(Yodao)蜘蛛
1) YodaoBot:有道蜘蛛
2) YoudaoBot:有道蜘蛛
3) YodaoBot-Image:有道图片蜘蛛
5. 搜搜(Soso)蜘蛛
1) Sosospider:搜搜蜘蛛
2) Sosoimagespider:搜搜图片蜘蛛
6. 微软(Bing和MSN)蜘蛛
1) bingbot:必应蜘蛛
2) msnbot:MSN蜘蛛,这个蜘蛛只在我的网站爬行了robots.txt
3) msnbot-media:MSN蜘蛛
7.搜狗(Sogou)蜘蛛
1) Sogou Web Sprider:搜狗网页蜘蛛
2) Sogou Orion spider:搜狗蜘蛛
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|TC辅助网 |网站地图

GMT+8, 2024-12-18 10:01 , Processed in 0.050716 second(s), 19 queries , MemCached On.

powered by 屠城社区! X3.4

© 2001-2019 屠城辅助网.

快速回复 返回顶部 返回列表