分享好友 最新资讯首页 最新资讯分类 切换频道
python爬虫学习笔记(一)
2024-12-28 16:26

在进行python爬虫学习前,需要进行如下准备工作:

python爬虫学习笔记(一)

1.Anaconda(推荐,包括python和相关库)                                                                                            

【推荐地址:清华镜像】

  https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

【安装过程中注意选择自动添加path到环境变量中,未选择需要自己添加

  红色提示的意思是:自动添加的环境变量会处于最前面,自动成为默认,可能会使原本使用默认的软件报错,未防止以上问题,可以打开环境变量后,调整顺序将Anaconda相关path移到最后。

 【环境变量设置成功】

2.官方安装

  官方安装指的是只安装python,需要的库通过手动安装,下文会涉及库的安装

python下载】

  官方地址: https://www.python.org/

【自行添加环境变量】

【注】【环境变量如何添加

  我的电脑(右键)---属性---高级系统设置---环境变量-----path----在后面加上分号添加python安装地址及下层scipt(对pip的配置),如上图

  PyCharm是一种Python IDE,带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。

  官方网址:http://www.jetbrains.com/pycharm/download/#section=windows

  【注】选择community下载(社区版的功能足够使用)

  MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。

  MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。

【下载链接(64位)直接点击下载】

   https://fastdl.mongodb.org/win32/mongodb-win32-x86_64-2008plus-ssl-4.0.5-signed.msi

  https://studio3t.com/

 

  REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。

  Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。

  它通常被称为数据结构服务器,因为值(value)可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。

【下载链接   

  https://github.com/MicrosoftArchive/redis/releases

   https://github.com/uglide/RedisDesktopManager/releases

  https://dev.mysql.com/downloads/file/?id=480824

  (8.0)

  https://dev.mysql.com/downloads/file/?id=481157

  (5.7)

  【最好选择镜像msi下载安装】

    安装包下载后的安装需要通过命令行执行命令,且root初始密码不能自己设置(惨痛的教训。。。没记住密码。。。8.0的改又特别麻烦,试了很多办法后卸载重装。

  【root密码请不要乱设置

    使用msi自行安装设置的root密码不要随便设置

  http://www.mysqlfront.de/

 

  在安装python时,会默认安装,一般不需要手动安装。

  在使用爬虫时,常用的两个内置库是urllib、re

   【如何检查库是否安装】在pycharm中import该库,一般不报错的就是库已经存在

  第三方库一般都需要手动安装,爬虫使用的第三方库有下面这几个:

requests】

  如图所示,打开命令行(开始-输入cmd-打开命令行),输入以下代码:

  

 selenium】

  打开命令行,输入以下代码:

  phantomjs】(无界面浏览器)

       http://phantomjs.org/download.html

  【注意】最新的selenium已经不再支持ph

  【替代】可使用Headless Chrome(需要安装chromedriver)

  【chromedriver】

     http://chromedriver.storage.googleapis.com/index.html

  【注意】

    驱动和chrome浏览器版本一定要匹配

    【版本配置查看】最新是2.45而不是2.9

      http://chromedriver.storage.googleapis.com/2.45/notes.txt

 

【lxml】


  打开命令行,输入以下代码:

  网速慢的请使用下面一个方法

  【whl文件安装】

    【前提】安装wheel库

    【下载whl文件】

       https://pypi.org/search/?q=lxml

    【安装whl文件参考】

      https://blog.csdn.net/weixin_41592575/article/details/78984585

【BeautifulSoup】

  网页解析库,依赖lxml(请先安装lxml),安装好lxml后,打开命令行,输入以下代码:

  使用示例:

 【pyquery】

  网页解析库。

  打开命令行,输入以下代码:

  使用示例:

【pymysql】

  打开命令行,输入以下代码: 

   使用示例:

【pymongo】

  打开命令行,输入以下代码:

  使用示例:

【redis】

  打开命令行,输入以下代码:

  使用示例:

  打开命令行,输入以下代码: 

【django——分布式开发】

  打开命令行,输入以下代码: 

 【jupyter——网页端notebook】

  打开命令行,输入以下代码: 

  若电脑存在多个版本的python,可以参考下面的文章安装包

   https://blog.csdn.net/qq_36148847/article/details/81189443

最新文章
我,恐怖片教父,成全网公敌了?
【飞卢小说网独家签约小说:我,恐怖片教父,成全网公敌了?】“林时是整个电影界的罪人!”“林时,是要向全网观众谢罪的!”“
积分商城应该怎么做?这12大玩法值得一看
现如今,不管店铺是大是小,越来越多的商家都争着做积分、送礼品,生怕落在别人后头。但是,运营们花了大力气推广,积分商城却依
广州app小程序制作
如果我们决定找外包团队做软件开发,那么要从那几方面考察外包公司呢?1.接待人员的服务态度,什么样的公司和领导养出什么样的员
揭秘专业SEO服务商选择指南,如何挑选排名靠前的SEO公司
选择专业可靠的SEO服务商,需关注公司排名、案例丰富、团队实力、服务内容全面、客户口碑等因素。关注排名可了解行业地位,案例
百度极速收录软件 百度极速收录秘诀:软件助力,文章秒上首页
在当今这个信息爆炸的时代,互联网已成为企业展示自我、吸引流量、促进业务增长的重要舞台而在这个舞台上,网站的曝光度与收录速
免费开源的建站程序大全,不会编程也可以自助搭建网站了哦
想建网站又不会编程的小伙伴有福啦,本期推荐一些开源的cms建站程序,不需要写后端的任何逻辑代码,轻轻松松就可以建立自己的网
SSM在线学习平台30f3j(程序+源码+数据库+调试部署+开发环境)
本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系
纯正2024年体外诊断股票龙头,名单收好(2024/12/13)
  据南方财富网概念查询工具数据显示,2024年体外诊断龙头股:  天瑞仪器300165:体外诊断龙头,近7日ST天瑞股价下跌16.02%
SEO站内优化项目分为哪几个方面?
  今天这是第38篇原创文章,是有关SEO优化的内容,希望对大家有一点点帮助,每天学习一点点,每天进步一点点。  前面有给大