python爬虫实例100例-Python爬虫实例

   日期:2024-12-29    作者:ooo195 移动:http://oml01z.riyuangf.com/mobile/quote/79636.html

importrequestsfrom bs4 importBeautifulSoupfrom datetime importdatetimeimportreimportjsonimportpandas

news_total=[]

commentURL='http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=gn&newsid=comos-{}&group=&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=20'url='http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=1&show_num=22&tag=1&format=json&page={}&callback=newsloadercallback&_=1509373193047'

defparseListLinks(url):

newsdetails=[]

res=requests.get(url)

jd= json.loads(res.text.strip().lstrip('newsloadercallback(').rstrip(');'))for ent in jd['result']['data']:

newsdetails.append(getNewsDetail(ent['url']))returnnewsdetailsdefgetNewsDetail(newsurl):

result={}

res=requests.get(newsurl)

res.encoding='utf-8'soup=BeautifulSoup(res.text,'html.parser')

result['title']=soup.select('#artibodyTitle')[0].text

result['newssource']=soup.select('.time-source span a')[0].text

timesource=soup.select('.time-source')[0].contents[0].strip()

dt1=datetime.strptime(timesource,'%Y年%m月%d日%H:%M')

result['dt'] =dt1.strftime('%Y-%m-%d-%H:%M')

result['article']=' '.join([p.text.strip() for p in soup.select('#artibody p')[:-1]])

result['editor']=soup.select('.article-editor')[0].text.strip('责任编辑')

result['comments']=getCommentCounts(newsurl)print('获得一条新闻')returnresultdefgetCommentCounts(newsurl):

m=re.search('doc-i(.+).shtml',newsurl)

newsid=m.group(1)

comments=requests.get(commentURL.format(newsid))

jd=json.loads(comments.text.strip('var data='))return jd['result']['count']['total']for i in range(1,8):print('正在爬取第'+str(i)+'页......')

newsurl=url.format(i)

newsary=parseListLinks(newsurl)

news_total.extend(newsary)print('抓取结束')

df=pandas.DataFrame(news_total)


特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
相关最新动态
推荐最新动态
点击排行
{
网站首页  |  关于我们  |  联系方式  |  使用协议  |  隐私政策  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号