Python爬虫之自动爬取某车之家各车销售数据

https://k.autohome.com.cn/4851/index_2.html#dataList
https://k.autohome.com.cn/4851/index_3.html#dataList
https://k.autohome.com.cn/4851/index_4.html#dataList

# typeid是车型，page是页码
url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'

import requests
import pandas as pd
import html
from lxml import etree
import re

#获取网页数据（传递参数车型typeid和页码数）
defget_html(typeid,page):
#组合出请求地址
url=f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'
#请求数据（因为没有反爬，这里没有设置请求头和其他参数）
r=requests.get(url)
#请求的网页数据中有网页特殊字符，通过以下方法进行解析
r=html.unescape(r.text)
#返回网页数据
returnr

try:
 pages = int(re.findall(r'共(\d+)页',r)[0])
# 如果请求不到页数，则表示该车型下没有口碑数据
except :
 print(f'{name} 没有数据！')
 continue

divs=r_html.xpath('.//div[@class="mouthcon-cont-left"]')
#遍历每个全部的车辆销售信息
fordivindivs:
#找到车辆销售信息所在的地方
mt=div.xpath('./div[@class="choose-conmt-10"]')[0]
#找到所需字段
infos=mt.xpath('./dl[@class="choose-dl"]')
#设置空的字典，用于存储单个车辆信息
item={}
#遍历车辆信息字段
forinfoininfos:
key=info.xpath('.//dt/text()')[0]
#当字段为购买车型时，进行拆分为车型和配置
ifkey=='购买车型':
item[key]=info.xpath('.//dd/a/text()')[0]
item['购买配置']=info.xpath('.//span[@class="font-arial"]/text()')[0]
#当字段为购车经销商时，需要获取经销商的id参数，再调用api获取其真实经销商信息（这里有坑）
elifkey=='购车经销商':
#经销商id参数
经销商id=info.xpath('.//dd/a/@data-val')[0]+','+info.xpath('.//dd/a/@data-evalid')[0]
#组合经销商信息请求地址
jxs_url=base_jxs_url+经销商id+'|'
#请求数据（为json格式）
data=requests.get(jxs_url)
j=data.json()
#获取经销商名称
item[key]=j['result']['List'][0]['CompanySimple']
else:
#其他字段时，替换转义字符和空格等为空
item[key]=info.xpath('.//dd/text()')[0].replace("\r\n","").replace('','').replace('\xa0','')

df=pd.DataFrame(items)
df=df[['购买车型','购买配置','购买地点','购车经销商','购买时间','裸车购买价']]
#数据存储在本地
df.to_excel(r'车辆销售信息.xlsx',index=None,sheet_name='data')