分享好友 最新动态首页 最新动态分类 切换频道
python金融分析小知识(11)——python爬虫工具Postman神器的使用
2024-12-27 21:17

Hello 大家好,我是一名新来的金融领域打工人,日常分享一些python知识,都是自己在学习生活中遇到的一些问题,分享给大家,希望对大家有一定的帮助

相信很多小伙伴在使用python的使用会用来爬取一些网站上常见的数据,在做金融分析的时候如果没有数据的话我们可以去网上爬取,那么今天我要介绍的一个最近学到的爬虫神器—Postman

它具体有什么功能呢?我们下面来慢慢你介绍

Postman是一个接口测试工具,在做接口测试的时候,Postman相当于一个客户端,它可以模拟用户发起的各类HTTP请求,将请求数据发送至服务端,获取对应的响应结果, 从而验证响应中的结果数据是否和预期值相匹配;并确保开发人员能够及时处理接口中的bug,进而保证产品上线之后的稳定性和安全性。它主要是用来模拟各种HTTP请求的(如:get/post/delete/put..等等),Postman与浏览器的区别在于有的浏览器不能输出Json格式,而Postman更直观接口返回的结果。——来源百度百科

作为一个接口测试工具,如何运用到python爬虫中去呢?让我们一步一步来看

1.首先需要在电脑下载安装Postman客户端

下载链接就是Postman的官网的下载链接,我把链接附在下面

下载好之后,直接双击安装就行,什么都不用做。

2.注册一个Postman账号,然后打开Postman 

3.进入我们想要爬取的网页页面,找到想要爬取的内容 

这里我们试着爬取一个旅游网站的景点名

网址:厦门旅游景点推荐-2022厦门旅游必去景点-排名,网红,好玩-去哪儿攻略 (qunar.com)

比如说我们想要爬取页面中的景点的名字,比如:鼓浪屿、曾厝垵、 环岛路等等

4.在页面中鼠标右键选择“检查”或者打开浏览器的“开发人员工具”

在上述操作后我们进入如下的页面

我们将目光聚焦在右半侧,这时候我们需要“刷新”一下页面,得到如下结果,点击红色框选的内容

我们点击红色框选的内容得到如下结果

我们可以选择“预览”,并且在里面查询是否存在我们想要爬取的内容,比如说“鼓浪屿”

很明显可以看出“预览”中存在我们想要的内容,并且可以和左侧的内容对应上 。

接下来我们鼠标选到如下内容,然后右键,选择复制为cURL(bash)

 5.进入Postman,将复制的内容加载进去

我们在Postman中选择import,然后选择Raw text,将我们复制的内容粘贴进去

粘贴复制的内容,并点击Continue,下一步点击Import:

 6.通过Postman发送请求

在完成上一步的Import后我们进入如下页面,这时候我们点击Send: 

点击Send后我们相当于通过Postman向服务器发送了请求,并且服务器返回给了我们HTML格式的内容如下

这个返回给我们的HTML格式文档其实就是我们爬取的页面的页面源代码,我们可以从下图得到验证

 7.通过Postman生成python爬虫代码

 我们点击右上角的这个按钮

得到如下页面,其中我们选择Python - Requests,之后我们将右侧代码复制,粘贴到python文件中

 

我们打印一下结果如下,这样我们就得到最后爬取下来的结果,如果我们后面要继续获得景点名称的话我们就在如今得到的HTML结果的基础上采用Xpath、正则表达式、Beautiful Soup等等工具进行查找即可,这个内容我们后面再讲

今天的文章就分享到这里啦! 

最新文章
全球政府与科技巨头加速布局,铀矿和核能风头正劲
  AI行业为电力需求带来爆发式增长,可再生能源已经满足不了疯狂扩张的数据中心了。在这种情况下,行业巨头们看向了核电。随着各家美国科技巨头为满足人工智能用电需求纷纷签署核电协议,核能行业成为了AI投资的关键方向之一,分析师也开
外链构建蓝图:解锁音乐外链搜索神器的潜力
导言对于希望扩展其在线影响力并提高网站知名度的音乐外链搜索神器而言,外链构建至关重要。通过精心策划的外链规划,音乐外链搜索神器可以增加与其关联域名的反向链接数量,从而提升其在搜索引擎结果页面 (SERP) 中的排名和可见度。外链建
网络高中学习平台
  come up with 提出,想出(看法/观点/建议等)  come up with a proposal 提出建议  come up with a response 作出反应  8. Berners-Lee made it possible for everyone to use the Internet.   贝尔纳斯?李使每个人使用
淘宝店铺怎么开才能月入过万?有啥技巧?(淘宝店铺怎么开通信用卡支付)
现在在淘宝开店的商家可以说是越来越多了,如果要在淘宝开店的话,都是需要符合条件的哦,很多的商家们发现自己的一些好友在淘宝开店以后收入月过万了,因此也希望自己的收入可以这样多,那么怎么去做呢?淘宝店铺怎么开才能月入过万?1、货
高清美女写真:用搜狐简单AI一键生成完美形象
限时免费,点击体验最近超火的AI生图神器,坐拥3000美女的大男主就是你! https://ai.sohu.com/pc/generate/textToImg?_trans_=030001_yljdaimn 近年来,随着人工智能的迅猛发展,AI绘画工具也逐渐走入了我们的生活。很多朋友可能会好奇,A
百度快速排名用是
百度快速排名是一种搜索引擎优化技术,用于提高网站在百度搜索结果中的排名。通过优化关键词、网站结构和内容等手段,可以快速提升网站在搜索引擎中的曝光率和流量。这种技术是合法且有效的,但需要专业知识和经验来实施。使用百度快速排名
百度APP年度明星排行榜,易烊千玺无缘前八,第一众望所归
第八名:林彦俊 95年出生于海南省,在18年的时候参加《偶像练习生》获得第五名的好成绩。随后变火了起来,人气也是扶摇直上。第七名:朱一龙 88年出生,毕业于北京电影学院。他现在能够如此的火,与他的经历可分不开。他09年便开始演戏,一
这款AI聊天机器人帮你解决所有问题的秘密武器——美国chatGPT
这款AI聊天机器人帮你解决所有问题的秘密武器——美国chatGPT美国chatGPT是一款令人惊叹的人工智能应用,它通过先进的技术和智能算法为人们解决各种问题提供了全新的方式。它的出现引起了社会的广泛关注,并成为了许多人心目中不可或缺的秘
汽车英文术语
《汽车英文术语》由会员分享,可在线阅读,更多相关《汽车英文术语(6页珍藏版)》请在装配图网上搜索。1、 汽汽车车英英文文术术语语序号 缩写英语含义汉语含义1A CAir Conditioning空调2A TAutomatic Transaxle(Transmission)自动变速器3
深圳越疆科技十四亿港元IPO,智能机器人行业新纪元开启
深圳越疆科技,作为一家专注于智能机器人研发的创新企业,近日正式向香港交易所提交了首次公开募股(IPO)申请。此次IPO计划发行4000万股,价格指导区间为每股18.80-20.80港元,预计将于12月19日定价,12月23日正式开始交易。这一举措不仅
相关文章
推荐文章
发表评论
0评