分享好友 最新动态首页 最新动态分类 切换频道
urllib爬虫库内模块与方法详解【重点】
2024-12-25 15:19

🕶️师兄简介:机械专业,通过自学成功进入IT领域,求学期间实现经济独立,对自学、兼职、计算机、学习规划等有独到见解!「点击了解更多」

urllib爬虫库内模块与方法详解【重点】


🤖师兄致力解决在大学生活与学习中遇到的各种问题.


🎁 公众号「渣师兄」内回复「渣学」可获得超 5T 的新生见面礼


🔗官方网站: 渣学网 →「zhaxueit.cn」→ 大学生活与学习一站式解决方案.


🙏找师兄帮忙「无偿」请➕💓:zhaxueit

📓进资源群「每日分享」【免费】(坑位有限)也请➕💓:zhaxueit 并备注「进群」

👀个人主页@渣师兄 ,欢迎关注、私信师兄


🐐 登高必自卑,行远必自迩.
🍇 我始终坚信越努力越幸运
⭐️ 那些打不倒我们的终将会让我们变得强大
🍑 希望在编程道路上深耕的小伙伴都会越来越好



urllib.request 库内的 urlopen)方法功能

功能:向目标 url 发送一个请求,并返回一个相应对象

方法参数

url:发送请求的目标网站(网站一定要写全 例如 http://www.baidu.com/ ,http不能忘以及最后的/

timeout:设置请求时间,超过设置的请求时间将抛出异常

语法

注意:res_obj 只是网站响应的对象,不是网站相应的数据

urllib.request.urlopen)方法返回的响应对象的方法

响应对象.read:获取网站响应的源代码(bytes数据格式)【字节串数据格式】

响应对象.read.decode(编码格式:获取网站响应的源代码(string数据格式)【字符串数据格式】

响应对象.geturl:获取实际返回响应数据的网站url(考虑到重定向问题

响应对象.getcode:获取网站的http响应状态码

注意: bytes数据与string数据不一样,bytes是以字节为单位,string是以字符为单位, string通过encode)编码可转换为bytes,bytes可通过decode)解码转换为string,bytes数据格式为 b“数据”,string数据格式为 “数据”

图示

响应对象的.read)方法

响应对象的.read).decode)方法

响应对象的.geturl)与响应对象的.getcode)方法

怎么查看程序向网站发送请求时标头的 User-Agent

直接向下面 url 地址发送请求即可查看请求协议标头的 User-Agent

网站:http://httpbin.org/get

图示

浏览器发送请求查看 User-Agent

python的urllib库发送请求查看 User-Agent

urllib.request库内的 Request)方法功能

功能:包装请求标头信息(一般是 User-Agent,并且返回这个包装好的请求头对象,用于向 url 发送请求

语法

参数

url:待请求的链接地址

headers:伪装的请求标头信息

注意事项:Request方法并没有向网站发送请求,而是伪装请求标头,urlopen方法才向目标网站发送请求并且接收响应数据

截图

目标

1:掌握搜索关键字 url 地址的组成部分

2:掌握向目标查询关键字地址发送请求的注意事项

3:urllib.parse.urlencode)方法详解

4:urllib.parse.quote)方法详解

5:掌握 urllib.parse库内的 urlencode 方法以及 quote 方法的区别~

搜索关键字 url 地址的组成部分

组成:协议项+域名+数据库资源路径+查询参数

图示

注意:其实很多查询参数都没有用,上面的 url 可简化为 https://www.baidu.com/s?wd=美女

向查询关键字地址服务器发送请求的注意事项

什么是查询关键字地址:就是搜索相应关键字所对应的url地址,例如在百度上查询美女的url地址如下

https://www.baidu.com/s?wd=美女

向查询关键字地址服务器发送请求的注意事项:需要将url地址内中文 编码后 才可以向服务器发送请求

示例

编码前URL地址:https://www.baidu.com/s?wd=美女

编码后URL地址:https://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3

注意:编码后三个%对应一个中文字符,例如%E7%BE%8E就对应 美 这个中文字符

urllib.parse.urlencode)方法详解

功能:将查询参数内的中文进行编码,并返回编码后的查询参数(返回多个编码后的查询参数时默认返回 &

语法:返回编码后查询参数 = urllib.parse.urlencode({查询参数1:待编码值1,查询参数2:待编码值2……….}

语法参数

字典:字典内存放需要编码的查询参数,例如查询参数为 wd=美女 就这么写 {“wd”:“美女”}

语法参数返回值

params 就是 wd=%E7%BE%8E%E5%A5%B3

注意事项:urllib.parse.urlencode)方法只返回编码后的查询参数,并不是整个url地址,需要进行字符串拼接才能向目标url服务器发送请求

图示

urllib.parse.quote)方法详解

功能:对查询参数内的中文进行编码,并且返回这个中文编码后的字符串

语法:编码后的中文字符串 = urllib.parse.quote(”查询参数中的中文关键字“

例如:params = urllib.parse.quote(”美女“) params 就是 %E7%BE%8E%E5%A5%B3

方法参数

查询参数内的中文:只是中文,没有相对应的 wd 等

注意事项:这个方法只返回编码后的中文字符,连键都不返回需要自己写

图示

urllib.parse库内的 urlencode 方法以及 quote 方法的区别~

区别

1:参数不同,urlencode参数为字典,quote参数是中文字符串

2:返回值不同,urldecode返回的是键与值,例如 wd=%E7%BE%8E%E5%A5%B3 ,quote方法返回的只有值,例如 %E7%BE%8E%E5%A5%B3

最新文章
体彩排列五精选数字技巧
这种排列五选号方法,主要是按组选的方式进行号码选择,首先从0-9中选取中意号码,一般以4-6个号码为宜。选出号码后,再进行打滚组合,然后设置条件从组合中进行精选,得到号码进行投注。08052期,宜昌50091销售点中得3注排列五,中奖者按
杀毒软件十大排名有哪些 检测病毒速度快的杀毒软件推荐
在使用电脑过程中,可能产生大量垃圾文件,影响系统运行速度,甚至遭受病毒攻击。今天,小编将介绍杀毒软件十大排名,这些软件它们不仅具有强大的系统清理功能,还能清除垃圾文件,提升电脑性能。下面,让我们一起来看看有哪些杀毒软件上榜
清风C盘清理大师正式版下载安装
2、首页界面,扫描结束提示预计可清理:11.12GB,点击左侧的项目清理3、发现可释放文件共9.02GB,C盘(系统盘)共70GB,可用9.54GB4、可以勾选需要清理的项目:Flash缓存、QQ缓存文件、百度网盘应用临时文件5、大文件搬家功能,可以移动电脑的
芯片行业erp使用范围有哪些 芯片行业erp系统应用范围全面解析
芯片行业使用范围有哪些?官网:https://s.fanruan.com/lxuj6;芯片行业ERP系统主要涵盖以下几个方面:1、,2、,3、,4、,5、人力资源管理,6、。这些领域的覆盖使得芯片企业能够有效地优化资源、提高生产效率、降低成本,并提升整体的运
提升文章质量的关键:如何有效生成实用目录
  目录在文档中起着非常重要的作用,它不仅能帮助读者快速找到所需的信息,还能让整篇文章显得更加条理清晰。很多人在写完一篇文章后,往往会忽视目录的生成,觉得这只是个附属的内容,其实不然。今天,就来聊聊怎么生成一个实用的目录,
王者荣耀虚拟定位设置方法全解析
资讯类型:版本更新/游戏技巧一、虚拟定位技术概述虚拟定位技术是一种通过修改设备地理位置信息,实现定位欺骗的技术,在王者荣耀中,玩家可以利用该技术将自己的战区定位到理想的位置,从而参与更多有趣的比赛,获取更多奖励,需要注意的
用微信还房贷怎么还,怎样采用微信实施房贷还款?操作指南在此!
回答如下:一、概述随着移动支付的很多普及和便捷性,越来越多的转账人开始采用微信支付来还信用卡债务。微信支付是一种通过微信平台实施的提前线上支付方法,凭借其快捷、安全、方便的已经特点,成为了多人还房贷款的公积金首选方法之一。
十大免费网站推广:如何在零成本下迅速提升你的品牌曝光率,吸引更多客户的终极指南!
  近日,某知名市场研究机构发布了一项调查报告,显示超过70%的小型企业在推广品牌时面临资金短缺的问题。这一现象促使许多创业者寻求零成本的推广方式,以提升品牌曝光率并吸引更多客户。以下是十大免费网站推广的方法,帮助你在不花费
人造板生产中的质量管理与六西格玛应用考核试卷
人造板生产中的质量管理与六西格玛应用考核试卷考生姓名:答题日期:得分:判卷人:本次考核旨在检验考生对人造板生产过程中质量管理的理解程度以及对六西格玛方法在实际生产中的应用能力,评估其在人造板行业质量管理领域的专业知识和实践
“媒”力专业,启航未来——学业导师助力数字媒体技术专业学生学业职业生涯规划
为增进同学们对学科的了解,提高专业认知度,做好在校学习规划和未来职业发展规划,计算机与人工智能学院邀请数字媒体技术系主任高珊珊教授,为学生进行了一场别开生面的专题讲座,数字媒体技术专业2023级学生参加,讲座由辅导员李晨露主持
相关文章
推荐文章
发表评论
0评