1.终端运行scrapy startproject scrapy_read,创建项目
4.创建爬虫文件,并打开
6.修改爬虫文件规则allow(正则表达式),'d'表示数字,'+'表示多个,'.'使'.'生效
7.在parse_item中编写打印,scrapy crawl read运行爬虫文件
8.查看结果,成功打印,说明成功访问
10.读书网检查查看要爬取的数据
11.使用xpath获取
12.编写代码,打印,成功爬取
13.导包,创建book对象,给到管道
14.打开管道
15.pipelines中编写代码,将数据存储到json文件中,并运行
19.MySQL创建存储数据的表如下
20.settings中填写连接数据库所需的变量,根据自己的数据库填写
21.创建管道,编写代码,用来保存数据
1).建立连接
2).执行数据插入
3).关闭连接
22.settings中启动管道
23.运行,查看成功存储到数据库