新闻动态

python爬取豆瓣电影TOP250数据

发布日期:2022-04-15 16:53 | 文章来源:CSDN

在执行程序前,先在MySQL中创建一个数据库"pachong"。

import pymysql
import requests
import re

#获取资源并下载
def resp(listURL):
 #连接数据库
 conn = pymysql.connect(
  host = '127.0.0.1',
  port = 3306,
  user = 'root',
  password = '******',  #数据库密码请根据自身实际密码输入
  database = 'pachong', 
  charset = 'utf8'
 )
 #创建数据库游标
 cursor = conn.cursor()
 #创建列表t_movieTOP250(执行sql语句)
 cursor.execute('create table t_movieTOP250(id INT PRIMARY KEY auto_increment NOT NULL ,movieName VARCHAR(20) NOT NULL 			,pictrue_address VARCHAR(100))')
 try:
  # 爬取数据
  for urlPath in listURL:
# 获取网页源代码
response = requests.get(urlPath)
html = response.text
# 正则表达式
namePat = r'alt="(.*?)" src='
imgPat = r'src="(.*?)" class='
# 匹配正则(排名【用数据库中id代替,自动生成及排序】、电影名、电影海报(图片地址))
res2 = re.compile(namePat)
res3 = re.compile(imgPat)
textList2 = res2.findall(html)
textList3 = res3.findall(html)
# 遍历列表中元素,并将数据存入数据库
for i in range(len(textList3)):
 cursor.execute('insert into t_movieTOP250(movieName,pictrue_address) 			VALUES("%s","%s")' % (textList2[i],textList3[i]))
  #从游标中获取结果
  cursor.fetchall()
  #提交结果
  conn.commit()
  print("结果已提交")
 except Exception as e:
  #数据回滚
  conn.rollback()
  print("数据已回滚")
 #关闭数据库
 conn.close()
#top250所有网页网址
def page(url):
 urlList = []
 for i in range(10):
  num = str(25*i)
  pagePat = r'?start=' + num + '&filter='
  urL = url+pagePat
  urlList.append(urL)
 return urlList

if __name__ == '__main__':
 url = r"https://movie.douban.com/top250"
 listURL = page(url)
 resp(listURL)

结果如下图:

以上就是我的分享,如果有什么不足之处请指出,多交流,谢谢!

以上就是python爬取豆瓣电影TOP250数据的详细内容,更多关于python爬取豆瓣电影的资料请关注本站其它相关文章!

海外服务器租用

版权声明:本站文章来源标注为YINGSOO的内容版权均为本站所有,欢迎引用、转载,请保持原文完整并注明来源及原文链接。禁止复制或仿造本网站,禁止在非www.yingsoo.com所属的服务器上建立镜像,否则将依法追究法律责任。本站部分内容来源于网友推荐、互联网收集整理而来,仅供学习参考,不代表本站立场,如有内容涉嫌侵权,请联系alex-e#qq.com处理。

相关文章

实时开通

自选配置、实时开通

免备案

全球线路精选!

全天候客户服务

7x24全年不间断在线

专属顾问服务

1对1客户咨询顾问

在线
客服

在线客服:7*24小时在线

客服
热线

400-630-3752
7*24小时客服服务热线

关注
微信

关注官方微信
顶部