为什么现在那么多爬虫,却没有爬取微信公众号文章的案例?

[软件开发] 季雨林 2020/11/14 12:48:51

做IT行业的都知道,爬虫,是近几年特别火的技术,尤其是漫天遍野的python培训班的广告更是眼花缭乱。


然而,所有想要写爬虫的人普遍都会产生疑问:网上那么多爬虫,怎么就没有爬取微信公众号文章的呢?

原因特别简单,爬虫自动爬取全部内容,需要以下步骤:

1,找到目标资源索引页,可以实现逐步翻页,拿到所有目标资源文件的url。

2,逐个url访问,把内容拿下来解析成自己的结构。

3,对外或者自己使用。


常见的爬虫很多,比如搜索引擎本身就是个爬虫,当然这里往往叫做蜘蛛。蜘蛛也是爬虫。


微信公众号发布的文章,电脑浏览器是可以直接打开的,因此使用爬虫抓内容其实并非难事。既然访问单个资源不难,那么后面的使用过程就更不是问题,可问题在第一步:索引页在哪?


大家知道微信是个“私域流量”,虽然微信的内容,都是对外公布在互联网,但是实际上,想看一篇文章,如果不是被人转发过来,你可能得先自己去关注公众号,然后从公众号去找文章,这个过程,仅限于微信APP下。对pc端浏览器并不开放


有人会反驳,为什么搜狗可以搜索微信文章?

这就得看看搜狗的股东,微信的股东有没有共同之处了,这里我不必多说,大家都知道,微信归腾讯所有,搜狗被腾讯注入了股权。也就是说,搜狗跟微信,其实算是同一家子。既然是一家人,那么自然就可以做点别人做不到的密切合作:提供入口。

这里首先明显是一个内部合作:搜狗能抓取到微信内容,一定是微信允许的,具体实现过程,可以是搜狗找微信了解了全部文章的索引规则,也可以是微信主动讲文章链接推送给了搜狗。具体是哪个方向,我们是外人,无从而知。但是大体来说无非就是这两个方向的逻辑。


然后问题来了:“爬虫学的好,牢饭吃得好”。这句话真不是个段子,爬虫是要有规则的,不是谁都可以写个爬虫就放心的用。我以前写过一篇文章《爬虫应当注意什么?爬来的数据怎么使用?》,建议大家参考下,作为技术人员,一定要注意不要因为技术,越过法律边界。


原文地址: https://www.opengps.cn/Blog/View.aspx?id=809 文章的更新编辑依此链接为准。欢迎关注源站原创文章!

评论

暂无评论!

发表评论:

用于接收作者回复信息
点击更换验证码 - openGPS提示