分享好友 最新动态首页 最新动态分类 切换频道
爬虫案例1-爬取图片的三种方式之一:requests篇(1)
2024-12-25 12:32

本文分享一个爬虫案例,使用requests库爬取彼岸网中的动物的图片,利用parsel库进行数据解析,并把这些照片保存到本地。后续也会接着分享使用第三方库selenium篇和DrissionPage篇爬取图片。

  • 爬虫案例1-爬取图片的三种方式之一:requests篇(1)
  • 爬虫案例1-爬取图片的三种方式之一:selenium篇(2)
  • 爬虫案例1-爬取图片的三种方式之一:DrissionPage篇(3)
  • 爬虫案例2-爬取视频的三种方式之一:requests篇(1)
  • 爬虫案例2-爬取视频的三种方式之一:selenium篇(2)
  • 爬虫案例2-爬取视频的三种方式之一:DrissionPage篇(3)

确定要爬取的目标网站后要先发起请求,我们要发送请求需要依赖requests库,爬虫实质上是模拟浏览器的行为,所以还要加上模拟浏览器的标识,即下面headers中的Users-Agent。代码如下

 
 

发送请求我们会的获得响应的数据,下面我们就要对数据内容进行分析。
获取到的数据常见的格式有json、text(HTML文本)和XML格式。
还有后面获取到的图片是二进制(content)格式的数据。

 
 

解析数据有很多种方式,常用的包括但不限于xpath,正则表达式,lxml,Beautiful Soup等等,今天我们来用一下第三方库parsel。
使用parsel库首先需要创建一个Selector对象,然后利用css选择器来解析其中照片数据。
parsel库支持Xpath、css选择器以及正则表达式来提取数据。不了解parsel库的语法的同学可以先去了解下。

 
 

利用第三方库parsel的css选择器获取到数据后,我们就需要存储数据了。可以存储到到excel表格中,也可以存储到数据库中,我们这次先存储到本地。

 
 
 

运行截图

成果

最新文章
如何优化网站排名,提升搜索引擎排名(建立优化战略)
如何让自己的网站排名靠前成为了许多网站拥有者需要解决的问题,在当今信息爆炸的时代。让更多人发现你的网站,优化关键词排名可以帮助你的网站获取更多的流量。但是如何才能实现这一目标呢?调整网站结构、本文将从建立关键词优化战略、提
网站平面设计,打造视觉盛宴,提升用户体验
随着互联网的快速发展,已经成为企业、个人展示形象、传播信息的重要平台。一个优秀的网站不仅需要具备良好的功能性和实用性,更要在视觉上给带来愉悦的体验。本文将围绕网站平面设计展开,探讨其重要性、设计原则以及如何提升用户体验。一
2024年第一季度全球PC市场实现增长,AI PC贡献显著
根据市调机构CounterPoint的最新报告,2024年第一季度全球PC市场结束了连续八个季度的下滑趋势,同比增长约3%。这一增长主要得益于AI PC的兴起和带动,据悉,45%的新笔记本都是AI PC。品牌方面,联想继续稳居第一,季度出货量达到1370万台
51 SEO秘籍,深度解析网站流量与排名提升策略
51 SEO是一种高效SEO策略,通过优化关键词、内容、技术等方面,帮助网站提升搜索引擎排名和流量。通过精准关键词研究、高质量内容创作、用户体验优化等技术手段,51 SEO助力企业快速提高在线可见度,吸引更多潜在客户。随着互联网的快速发
SEO入门到精通的10个技巧大揭秘
seo入门事实上,SEO入门到精通自己只需要10个步骤,大家可以参考分析一下。1、作为SEO新手,需要了解网站建设,哪怕你不会写代码,但是你要了解网站的建站和基础html代码,这是做好SEO的第一步。简单的网站优化只需要利用网站的源码设置和
福田SEO整站优化,助力企业在线腾飞,抢占市场风口
福田SEO整站优化企业,专注于为企业提供全方位在线竞争力提升服务,助力客户抢占市场先机,实现网络营销目标。随着互联网的飞速发展,越来越多的企业开始意识到网络营销的重要性,而SEO(搜索引擎优化)作为网络营销的重要组成部分,已经成
信息流广告优化师福利:节日文案撰写,看这一篇就够了
刚刚把8月份的数据报告整理完毕,好在目标已完成,原以为月初可以松口气。打开日历才发现,还有6天就是教师节,还有9天就是中秋节,领导下达的新目标新任务随之而来。纳尼!这个月的目标任务是上个月的3倍?上个月若不是爆发了洪荒之力,不可
什么是seo专业b2b
什么是seo专业b2b什么是什么是seo专业b2b6、建立网站地图SiteMap据自己的网站结构,可以制作网站地图,让站长们的网站对搜索引擎极其友好化。让搜索引擎能过SiteMap就这个可以ftp访问整个站点上的绝大部分网页和栏目。最好有两套siteMap,一
Windows端 EMBY 调用本地播放器
问:为什么需要本地播放器?答:因为EMBY自带播放功能一般。ASS支持不佳,字幕/视频渲染效果不佳,自定义能力基本为0。Win端太多优秀的本地播放器方案,pot,mpc,mpv.....问:有没有方法可以让EMBY直接调用本地播放器?答:有。例如 embyTo
74LS系列芯片全面技术指南与应用实例
简介:74LS系列芯片是一类广泛应用于数字电子技术领域的低功耗肖特基TTL逻辑系列集成电路。该系列芯片因其低功耗、高速度和良好兼容性,在电子设备中扮演了重要角色,包括逻辑门电路、数据手册、应用示例、接口技术、故
相关文章
推荐文章
发表评论
0评