爬虫|利用Anyproxy爬取微信公众号文章及临时链接转永久链接

   日期:2024-12-20     作者:2rzey       评论:0    移动:http://oml01z.riyuangf.com/mobile/news/7543.html
核心提示:一、先说整体的解决方案二、再说具体的解决方案,主要是第2点1)一个微信客户端:下载一个安卓模拟器,在这个模拟器上安装一个微

一、先说整体的解决方案

爬虫|利用Anyproxy爬取微信公众号文章及临时链接转永久链接

二、再说具体的解决方案,主要是第2点

1)一个微信客户端:下载一个安卓模拟器,在这个模拟器上安装一个微信app。

2)一个微信个人号:为了采集内容不仅需要微信客户端,还要有一个微信个人号专门用于发送临时链接。

3)本地代理服务器系统:使用的方法是通过Anyproxy代理服务器将临时链接和永久链接发送到我们自己的服务器上进行替换。具体安装设置方法在后面详细介绍。

我使用的是Anyproxy这个软件的特点是可以获取到https链接的内容。在2016年年初的时候微信公众号和微信文章开始使用https链接。并且Anyproxy可以通过修改rule向服务器发送请求。下面开始介绍安装与配置过程。

1、安装NodeJS

2、在命令行或者终端运行 npm install -g anyproxy

3、生成RootCA,https需要这个证书:运行命令anyproxy --root

4、启动anyproxy运行命令:win+R打开运行,输入anyproxy -i;参数-i是解析HTTPS的意思;

5、安装证书,在安卓模拟器中安装证书:启动anyproxy,浏览器打开http://localhost:8002/fetchCrtFile能获取rootCA.crt文件

4)修改Anyproxy文件rule_default.js,获取抓包中的协议内容。

PS:使用Anyproxy可以直接获取微信公众号的全部文章(永久链接),包括点赞数,阅读数之类的信息。这样的话可以不用使用搜狗。不过这里会有些问题,微信会封你在做这个事情的微信个人号,所以我采取的是使用搜狗爬文章(急),再利用Anyproxy在临时链接有效时间内更新为永久链接。

 
特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。

举报收藏 0打赏 0评论 0
 
更多>同类最新资讯
0相关评论

相关文章
最新文章
推荐文章
推荐图文
最新资讯
点击排行
{
网站首页  |  关于我们  |  联系方式  |  使用协议  |  隐私政策  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号