一、2024.9.5更新内容:通过Python-request和Python-selenium实现【批量获取和下载】,【失败重试】两个功能。
二、2024.11.7更新内容:还是改为三部曲【采集主页并保存】、【对比本地目录】、【下载】。这个版本的好处是如果再次下载,就无需全部下载所有的视频,然后替换,一方面这样很慢很麻烦,另一方面如果作者修改了作品名称,就容易重复下载。
这部分与之前相比内容更新了不多,只是多爬了一个标题文本并且储存在Excel表格中。
将爬取到的列表与本地已存储文件进行对比(通过对比ID确认),从而生成一个新的列表Unload_list,之后对这个列表中的url逐个下载。
将列表内容逐个下载,可以是新的作者列表(UpName),也可以是老的作者列表(Unload_list)
通过脚本实现对作者主页所有视频和图集的抓取、下载、列表储存(抓取列表和失败列表)。
输入作者主页网址后,手动下拉到底,确认抓取后,脚本会输出抓取到的视频列表(aid,title,url),停顿后,再通Python-request下载视频或图集,并将下载失败的aid重新储存输出。
这实际上是上一个脚本的后半部分,通过把失效列表复制过来重新下载,可以实现查缺补漏。