151-3895-5886
 

搜索引擎蜘蛛名字汇总?蜘蛛爬行的作用是什么?

2018-10-11 浏览:
搜索引擎蜘蛛被称为网页蜘蛛(又名为爬虫程序),主要的作用就是抓取网站上的所有内容。简单一点理解,就是你的网站想通过搜索框收录显示,网站就需要网站先被蜘蛛抓取,在进行展示。
 
搜索引擎又名“蜘蛛程序”和“网页爬虫”甚至有的人直呼为网页机器人,其实这都名称都不重要。搜索引擎的蜘蛛是按照每个蜘蛛的抓取规则,进行自动的抓取你网站的内容。那么,你知道多少个“搜索引擎”蜘蛛程序呢?跟着郑州做网站的融科网络一起来了解下:
 
搜索引擎蜘蛛
 
百度蜘蛛:Baiduspider
1、百度网页蜘蛛:Baiduspider-mobile
2、百度图片蜘蛛:Baidu-Thumbnail有的说是Baiduspider-image
3、百度新闻蜘蛛:Baiduspider-news
4、百度视频蜘蛛:Baiduspider-video
5、百度MP3搜索蜘蛛:Baidu-Transcoder
6、百度移动蜘蛛:baiduspider-mobile-gate
注:最常见的百度蜘蛛是Baiduspider和Baiduspider-image两种。
 
谷歌(Google)蜘蛛:Googlebot
Google蜘蛛最新称为“compatible; Googlebot/2.1”,还发现了Googlebot-Mobile
1、Google网页蜘蛛:Googlebot-Mobile
2、Google图片蜘蛛:Googlebot-Image
3、Google广告蜘蛛:Mediapartners-Google
4、Google质量蜘蛛:Adsbot-Google
 
360蜘蛛:360Spider,它在蜘蛛界中是最为勤奋的蜘蛛程序。
 
搜狗蜘蛛分别为:
搜狗蜘蛛:sogou spider
搜狗蜘蛛:Sogou inst spider
搜狗蜘蛛:Sogou News Spider
搜狗蜘蛛:Sogou web spider
搜狗蜘蛛:Sogou spider2
搜狗蜘蛛:Sogou blog
搜狗蜘蛛:Sogou Orion spider
搜狗蜘蛛名可以用Sogou来概括,上面具体有没有效,无法验证)
 
雅虎蜘蛛
雅虎中文蜘蛛:Yahoo! Slurp China
雅虎英文蜘蛛:Yahoo! Slurp
雅虎竞价蜘蛛:Yahoo ContentMatch Crawler/2.1
雅虎图片蜘蛛:Yahoo-MMCrawler
 
有道蜘蛛:YodaoBot
微软蜘蛛:msnbot
网页蜘蛛:MSNBot
图片及媒体蜘蛛:MSNBot-Media
新闻及blog蜘蛛:MSNBot-NewsBlogs
产品及购物蜘蛛:MSNBot-Products
学术蜘蛛:MSNBot-Academic
MSN蜘蛛:msnbot和msnbot-media(最常见的msnbot-media)
必应蜘蛛:bingbot (compatible; bingbot/2.0)
Alexa蜘蛛:ia_archiver
一淘网蜘蛛:EtaoSpider
还有一些国外的蜘蛛:
Altavista的蜘蛛:Scooter
Lycos的蜘蛛:Lycos_Spider_(T-Rex) 
Alltheweb的蜘蛛:FAST-WebCrawler/ 
INKTOMI的蜘蛛:Slurp  ASPSeek  ASPSeek 
东方网景 lanshanbot
日本某个蜘蛛 BSpider
另外还发现了一些国外的蜘蛛,如 YandexBot、AhrefsBot和ezooms.bot,国外蜘蛛对于我们中文站来说,作用很小。
每个搜索引擎都有自己的蜘蛛程序,如果你不想被某个蜘蛛程序抓取,可以采用robots.txt的方法来禁止抓取网站内容。
郑州融科网络专注于企业网站建设、网站制作、高端网站设计,郑州荥阳、上街做网站就找融科网络!
本文章网址:http://www.ppssdd.com/seo/1248.html。转载请保留出处,谢谢合作!
文章标签: 搜索引擎 Robots 蜘蛛 内容 程序 抓取 爬行
 
阅读下一篇
什么是SEO?SEO有什么用?SEO会带来哪些好处?
 
 
推荐阅读
如何与seo高手沟通交流提升自身技
企业网站打开的速度很慢怎么办
郑州企业网站设计六大要素
织梦dedecms修改文章后不更新时间
织梦dedecms缩略图失真模糊完美解决
快速寻找友情链接的方法总结
织梦dedecms更改RSS和网站地图sitema
制作营销型网站需要考虑哪些SEO问
企业如何在抖音上快速吸粉
好的的网站结构可以给网站带来哪
郑州网站建设融科网络微信二维码
 
准备开展业务?
郑州建站咨询服务
联系专业的商务顾问,诊查网站现状及关键词、分析竞争对手的流量、一对一咨询、及其报价详情