今天以爬取笔趣阁小说网站为例，练习 Python 爬虫技术。
通过这个爬虫，可以完成批量爬取一本小说的所有章节，并将所有章节内容按顺序保存到一个 txt 文档内，下面我们就开始吧。
以爬取《斗破苍穹》这本热门小说为例，《斗破苍穹》是网络作家天蚕土豆所著的系列长篇玄幻小说，首次在 2009 年 4 月 14 日于起点中文网连载，于 2011 年 7 月 20 日完结。这本小说全文有 1600 多章节，大约 530 万字，如果这个都能顺利爬下来，换个别的小说爬也不在话下。
在网站内搜索《斗破苍穹》，我们来到了小说主页，网址是https://www.biquge11.cc/read/12972/
通过分析网页源代码，可以发现每个章节的网址都是https://www.biquge11.cc拼接上/read/12972/XXXX.html这种固定格式，也就是下面图片中红框内容，我们可以用正则表达式轻松拿下。
分析一下思路，我们可以：
第 1 步：用 requests 库请求https://www.biquge11.cc/read/12972/这个网址，将返回的网页信息转为text，再用re库的正则表达式取出每一章节的地址，放在一个info_lists列表里。
第 2 步：用 requests 库循环请求每个章节的地址，也就是 info_lists 列表的链接，获取每个章节的网页内容，并且用 re 库正则表达式取出小说的正文内容。
第 3 步：将第 2 步获取到的每章节的正文，进行换行处理，拼接写入到一个 txt 文件里。
这样，我们就能完整的爬取到一本小说的所有章节，并且保存到一个 txt 文档内。完整代码如下：
爬取过程 pycharm 控制台输出如下：
结果，我们顺利爬取了《斗破苍穹》这本小说，保存为斗破苍穹.txt 文档，这个 txt 文档 15.3MB。
END
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后这里免费分享给大家一份Python全套学习资料，希望能给想学习 Python 的小伙伴们一点帮助！