分享好友 最新动态首页 最新动态分类 切换频道
Python网络爬虫案例实战:解析网页:PyQuery 解析库
2024-12-25 12:19

前面介绍了BeautifulSoup 的用法,它是一个非常强大的网页解析库,你是否觉得它的一些方法用起来有点不适用?有没有觉得它的CSS选择器的功能没有那么强大
下面来介绍一个更适合的解析库—PyQuery。PyQuery库是jQuery的Python实现,能够以jQuery的语法来操作解析HTML 文档,易用性和解析速度都很好,使用起来还是可以的,有些地方用起来很方便简洁。

5.4.1使用PyQuery

如果之前没有安装PyQuery,可在命令窗口中直接使用pip install PyQuery进行安装。
1.初始化
像 BeautifulSoup 一样,初始化PyQuery的时候,也需要传人HTML 文本来初始化一个PyQuery对象,它的初始化方式有多种,比如直接传入字符串、传入URL、传人文件名,等等。下面详细介绍。
1)字符串初始化
首先,通过一个实例来感受一下

 

运行程序,输出如下

 

这里首先引入PyQuery这个对象,取别名为pq,然后声明了一个长HTML字符串,并将其当作参数传递给PyQuery类,这样就成功完成了初始化。接下来,将初始化的对象传入 CSS选择器。在这个实例中,传入li节点,这样就可以选择所有的1i节点。
2)对网址响应进行初始化
初始化的参数不仅可以以字符串的形式传递,还可以传入网页的URL,此时只需要指定参数为url 即可

 

运行程序,输出如下

 

2.CSS 选择器
首先,用一个实例来感受PyQuery的 CSS选择器的用法

 

运行程序,输出如下

 

这里初始化 PyQuery对象之后,传入了一个CSS选择器井container.list li,它的意思为选取id为 container的节点,然后再选取其内部的class为list的节点内部的所有li节点。然后,打印输出,可以看到,成功获取了符合条件的节点。最后,将它的类型打印输出,可以看到,它的类型依然是PyQuery类型。
再例如,打印 class为object-l的标签

 

输出如下

 

打印标签名为body的标签

 

输出如下

 

3.查找节点
下面介绍一些常用的查询函数。
1)子节点
查找子节点时,需要用到find)方法,此时传入的参数是CSS选择器。

 

运行程序,输出如下

 

首先,选取class为list的节点,然后调用了 find)方法,传入 CSS选择器,选取其内部的1i节点,最后打印输出。可以发现,find)方法会将符合条件的所有节点选择出来,结果的类型是PyQuery类型。
其实 find)的查找范围是节点的所有子孙节点,而如果只想查找子节点,那么可以用children)方法

 

输出如下

 

如果要筛选所有子节点中符合条件的节点,比如想筛选出子节点中class为 active的节点,可以向children)方法传入CSS选择器.active

 

输出如下

 

可以看到,输出结果已经做了筛选,留下了class为active的节点。
2)父节点
在Python 中,可以用 parent)方法来获取某个节点的父节点,例如

 

输出如下

 

代码中,首先用.list选取class为list的节点,然后调用 parent)方法得到其父节点,其类型依然是PyQuery。
此处的父节点是该节点的直接父节点,也就是说,它不会再去查找父节点的父节点,即祖先节点。但是如果想获取某个祖先节点,该怎么办呢?可以用 parents)方法

 

输出如下

 

可以看到,输出结果有两个:一个是class为 wrap的节点;另一个是id为 container的节点。也就是说,parents)方法会返回所有的祖先节点。
要想筛选某个祖先节点,可以向parents)方法传入CSS选择器,这样就会返回祖先节点中符合 CSS选择器条件的节点

 

输出如下

 

由输出结果可以看到,输出结果少了一个节点,只保留了class为 wrap的节点。
3)兄弟节点
除了前面介绍的子节点、父节点外,还有一种节点,那就是兄弟节点。如果要获取兄弟节点,可以使用siblings)方法。例如

 

输出如下

 

从结果可以看到,这正是刚才所说的4个兄弟节点。
如果要筛选某个兄弟节点,依然可以向siblings方法传入CSS选择器,这样就会从所有兄弟节点中挑选出符合条件的节点了

 

输出如下

 

这里筛选了class为active的节点,通过刚才的结果可以观察到,class为 active的兄弟节点只有第四个li节点,所以结果应该是一个。
4.遍历
由刚才可观察到,PyQuery的选择结果可能是多少节点,也可能是单个节点,类型都是PyQuery,并没有返回像 BeautifulSoup 那样的列表。
对于单个节点来说,可以直接打印输出,也可以直接转成字符串

 

输出

 

对于多个节点的结果,就需要遍历来获取了。例如,这里把每个li节点进行遍历,需要调用items)方法

 

输出

 

由结果可发现,调用items)方法后,会得到一个生成器,遍历一下,就可以逐个得到1i节点对象了,它的类型也是PyQuery类型。每个li节点还可以调用前面所说的方法进行选择,比如继续查询子节点,寻找某个祖先节点等,非常灵活。
5.获取信息
提取到节点之后,最终目的是提取节点所包含的信息。比较重要的信息有两类:一是获取属性,二是获取文本。下面具体说明。
1)获取属性
提取到某个PyQuery 类型的节点后,就可以调用attr)方法来获取属性

 

输出

 

在代码中,首先选中 class 为item-0和 active的li节点内的a节点,它的类型是PyQuery。然后调用attr)方法。在这个方法中传入属性的名称,就可以得到这个属性值了。
此外,也可以通过调用attr属性来获取属性,例如

 

输出

 

这两种方法的结果完全一样。如果选中的是多个元素,然后调用attr)方法,会出现怎样的结果呢?用实例来测试一下

 

输出

 

照理来说,选中的a节点有4个,打印结果也应该是4个,但是当调用attr)方法时,返回结果却只是第一个。这是因为,当返回结果包含多个节点时,调用attr)方法,只会得到第一个节点的属性。那么,遇到这种情况,如果想获取所有的a节点的属性,就要用到前面所说的遍历了

 

输出

 

因此,在进行属性获取时,可以观察返回节点是一个还是多个。如果是多个,则需要遍历才能依次获取每个节点的属性。
2)获取文本
获取节点之后的另一个主要操作就是获取其内部的文本了,此时可以调用 text)方法来实现

 

输出

 

此处首先选中一个a节点,然后调用 text)方法,就可以获取其内部的文本信息了。此时它会忽略掉节点内部包含的所有HTML,只返回纯文字内容。
但如果想要获取这个节点内部的HTML 文本,就要用html)方法了

 

输出

 

在程序中选中了第三个li节点,然后调用了html)方法,它返回的结果应该是li节点内的所有HTML 文本。
这里同样有一个问题,如果选中的结果是多个节点,text)或html)会返回什么内容?用实例来测试下

 

输出

 

结果可能比较出人意料,html)方法返回的是第一个li节点的内部 HTML 文本,而text)返回了所有的li节点内部的纯文本,中间用一个空格分隔开,即返回结果是一个字符串。
值得注意的是,如果得到的结果是多个节点,并且想要获取每个节点的内部 HTML 文本,则需要遍历每个节点;而使用 text)方法不需要遍历就可以获取,它对所有节点取文本之后合并成一个字符串。
6.节点操作
PyQuery提供了一系列方法来对节点进行动态修改,比如为某个节点添加一个class,移除某个节点等,这些操作有时会为提取信息带来极大的便利。
由于节点操作的方法太多,下面举几个典型的例子来说明它的用法。
1)addClass 和removeClass
下面先体会实例演示

 

输出

 

从结果可看到,一共输出了3次。第二次输出时,i节点的active这个class被移除了,第三次 class又添加回来了。
所以,addClass)和removeClass)这些方法可以动态改变节点的class属性。
2)attr、text 和html
当然,除了操作 class这个属性外,也可以用attr)方法对属性进行操作。此外,还可以用 text)和html)方法来改变节点内部的内容。例如

 

输出

 

这里首先选中1i节点,然后调用attr)方法来修改属性,其中该方法的第一个参数为属性名,第二个参数为属性值。接着,调用 text)和html)方法来改变节点内部的内容。两次操作后,分别打印输出当前的li节点。
由结果可发现,调用attr)方法后,Ii节点多了一个原本不存在的属性name,其值为link。接着调用 text)方法,传人文本之后,li节点内部的文本全部被改为传人的字符串文本了。最后,调用html)方法传人HTML 文本后,li节点内部又变为传入的HTML 文本了。
所以,如果attr)方法只传入第一个参数的属性名,则是获取这个属性值;如果传入第二个参数,则可以用来修改属性值。text)和html)方法如果不传参数,则是获取节点内纯文本和HTML 文本;如果传入参数,则进行赋值。
3)remove
remove)的方法即为移除,它有时会为信息的提取带来非常大的便利。下面有一段HTML 文本

 

输出

 

我们想提取的是“Hello,World”这个字符串,而这个结果还包含了内部的p节点的内容,也就是说,text)把所有的纯文本全提取出来了。如果想去掉p节点内部的文本,可以选择再把p节点内的文本提取一遍,然后从整个结果中移除这个子串,但这个做法明显比较烦琐。而remove)方法就可以实现该功能,例如

 

输出

 

以上代码的思路是:首先选中p节点,然后调用remove)方法将其移除,这时wrap内部就只剩下“Hello,World”了,再利用 text)方法提取即可。
7.伪类选择器
CSS选择器之所以强大,有一个重要的原因,那就是它支持多种多样的伪类选择器,例如,选择第一个节点、最后一个节点、奇偶数节点、包含某一文本的节点等等。实例如下

 

输出

 

在代码中,使用了CSS的伪类选择器,依次选择了第一个li节点、最后一个li节点、第二个i节点、第三个li之后的1i节点、偶数位置的1i节点、包含 second 文本的1节点。

5.4.2PyQuery爬取煎蛋网商品图片

图片一般都是以链接的形式出现在HTML文本中,因此只需要找到图片连接即可(一般是在img src中,这时再把图片url 打开,利用content保存成具体的文件。这里使用的hashlib是一个编码库,为了使得每一个图片的名字不一样,就用md5这个方法把图片的内容进行了编码。爬取煎蛋网加入了一定的反爬取措施,即并不是直接将图片的url列出来,而是利用一个.js文件,在每一次加载图片的时候都要加载这个.js文件,进而把图片的url解析出来。实现代码为


最新文章
成人网站免费入口如何找到?探索隐藏入口的安全与隐患!
对于一些****来说,提供免费的访问入口是一种吸引更多用户的方式。通过提供免费入口,网站能够获得更多的流量,并有可能通过广告、会员制度等方式盈利。免费入口往往会限制部分功能或内容的访问,只有付费用户才能完全享受网站的服务,但这
MVP榜单更新:库里跃升至第五,KD与浓眉并列第十,约基奇继续领跑
随着火箭成功战胜勇士,NBA杯赛的四分之一决赛渐渐落下帷幕,东部和西部的老鹰、雄鹿、雷霆以及火箭四支队伍已经挺进到了半决赛的赛场。而在这个激动人心的时刻,美媒对当前的MVP榜单进行了刷新,为球迷们揭示了诸多令人关注的变化。随着各
免费的亚马逊关键词工具有哪些?怎么选词?
在写亚马逊标题和进行产品推广的时候,需要选择合适的关键词,所以对于运营同学来说,可以通过一些工具来选择更加合适的关键词,今天介绍几个免费的亚马逊关键词工具!1、Google关键词规划师Google广告关键词规划师可用于构建Google AdWord
沈阳性价比之王,企业互联网飞跃的低价网站优化推广服务
沈阳低价网站优化推广服务,性价比高,助力企业快速提升网络曝光,实现互联网快速发展。沈阳低成本网站优化推广的优势沈阳低成本网站优化推广的执行步骤沈阳低成本网站优化推广的关键要点在泛滥的当下,企业若想在激烈的市场竞争中独树一帜
外贸独立站运行规则是什么
本文目录fp独立站是什么外贸独立站用什么收款个人怎么做好外贸独立站外贸soho如何建独立站做跨境独立站可以在乡下做吗fp独立站也就是外贸型销售网站。fp独立站算是术语,通常银行人员用的比较多。其实很简单,意思就是给网站或者app接入
如何使用手机轻松翻越网络屏障-访问国外网站
网络是一个自由、开放的平台,人们可以在上面获取和分享各种信息。然而,由于各种原因,一些国外网站可能无法被访问,尤其是存在网络限制的情况下。在大多数情况下,使用非法的手段翻越网络屏障并访问国外网站是不被允许的,而且可能会导致
如何使用AI智能软件制作PPT? ai自动生成ppt工具推荐
在数字化和智能化的今天,AI技术已经渗透到我们工作和生活的各个方面。其中,AI智能软件在PPT制作方面的应用,不仅极大地提高了制作效率,而且能够产生更具创意和个性化的展示内容。那么,如何使用AI智能软件制作PPT呢?本文将为你介绍AI工
公众号行业排行榜
排行公众号预估粉丝头条平均阅读次条平均阅读日发文数操作dushetv1801432100000+370904iiirenwu177408796548435322DSliupiaopiao158435686436暂无1the3design93357100000+暂无1xineuro323772100000+11576soyoung1111397456100000+暂无5mist
SEO与SEM的区别及应用场景解析
在数字营销的领域,SEO(搜索引擎优化)和SEM(搜索引擎营销)是两种常见且重要的推广方式。它们的目标都是提升网站的曝光度和流量,但实现的方式不同。SEO主要依赖于优化网站内容和结构,以提高搜索引擎自然排名,而SEM则通过付费广告方式
SEO网站排名优化价格—如何以合理的成本提升网站流量和转化率
企业对SEO的目标设定和优化的范围也是价格差异的重要原因。例如,有些企业只希望通过SEO提升某个特定关键词的排名,而有些企业则希望通过综合SEO提升整个网站的流量和曝光度。这种目标的差异直接决定了SEO服务的工作量和费用。如果需要全面
相关文章
推荐文章
发表评论
0评