浏览器UA(十):文明爬虫的UserAgent参数,关键字“Crawler”

[SEO优化] 季雨林 2019/4/28 15:25:29

以下是关键字“Crawler”查询到的UserAgent信息,之所以说它文明,因为他明确表示了自己的身份。当然此文的概念里缺少谷歌百度必应这类最经典的搜索引擎,请自行补充。

判断方法:使用“Crawler”作为关键字识别

AdsTxtCrawler/1.0
Anonymous Coward/1.0 (built with StormCrawler Archetype 1.12.1; http://someorganization.com/; someone@someorganization.com)
CipaCrawler/3.0 (info@domaincrawler.com; http://www.domaincrawler.com/2bit.cn)
crawler4j (https://github.com/yasserg/crawler4j/)
DomainCrawler/3.0 (info@domaincrawler.com; http://www.domaincrawler.com/2bit.cn)
GarlikCrawler/1.2 (http://garlik.com/, crawler@garlik.com)
ICC-Crawler/2.0 (Mozilla-compatible; ; http://ucri.nict.go.jp/en/icccrawler.html)
LightspeedSystemsCrawler Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)
LivelapBot/0.2 (http://site.livelap.com/crawler)
MauiBot (crawler.feedback+wc@gmail.com)
Mozilla/4.0 (compatible; MSIE 5.01; Windows 95; MSIECrawler)
Mozilla/5.0 (compatible; 007ac9 Crawler; http://crawler.007ac9.net/)
Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)
Mozilla/5.0 (compatible; Gluten Free Crawler/1.0; +http://glutenfreepleasure.com/)
Mozilla/5.0 (compatible; MegaIndex.ru/2.0; +http://megaindex.com/crawler)
Mozilla/5.0 (compatible; oBot/2.3.1; +http://filterdb.iss.net/crawler/)
Mozilla/5.0 (compatible; oBot/2.3.1; http://filterdb.iss.net/crawler/)
Mozilla/5.0 (Windows NT 6.1; Win64; x64; +http://www.komodia.com/newwiki/index.php/URL_server_crawler) KomodiaBot/1.0
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36 HubSpot Webcrawler - web-crawlers@hubspot.com
Mozilla/5.0 (X11; Linux x86_64; HubSpot Url validation check; web-crawlers+url-validation@hubspot.com) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36
netEstate NE Crawler (+http://www.website-datenbank.de/)
TurnitinBot (https://turnitin.com/robot/crawlerinfo.html)
VelenPublicWebCrawler (velen.io)
VenusCrawler/Nutch-1.12 (crawler@mycompany.com)



原文地址: https://www.opengps.cn/Blog/View.aspx?id=322 文章的更新编辑依此链接为准。欢迎关注源站原创文章!

评论

暂无评论!

发表评论:

用于接收作者回复信息
点击更换验证码 - openGPS提示