python爬虫之异常捕获及标签过滤详解

import ssl
import urllib.request
from bs4 import BeautifulSoup
from urllib.error import HTTPError, URLError
 
 
def get_data(url):
 headers = {"user-agent":
 "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
}
 ssl._create_default_https_context = ssl._create_unverified_context
 
 """
 urlopen处增加两个异常捕获：
1、如果页面出现错误或者服务器不存在时，会抛HTTP错误代码
2、如果url写错了或者是链接打不开时，会抛URLError错误
 """
 try:
  url_obj = urllib.request.Request(url, headers=headers)
  response = urllib.request.urlopen(url_obj)
  html = response.read().decode('utf8')
 except (HTTPError, URLError)as e:
  raise e
 
 """
 BeautifulSoup处增加异常捕获是因为BeautifulSoup对象中有时候标签实际不存在时，会返回None值；
 因为不知道，所以调用了就会导致抛出AttributeError: 'NoneType' object has no xxxxxxx。
 """
 try:
  bs = BeautifulSoup(html, "html.parser")
  results = bs.body 
 except AttributeError as e:
  return None
 
 return results
 
 
if __name__ == '__main__':
 print(get_data("https://movie.douban.com/chart"))

# 此处代码同上面打开url代码一致，故此处省略......
 
html = response.read().decode('utf8')
bs = BeautifulSoup(html, "html.parser")
data = bs.find('span', {'class': 'pl'})
print(f'电影评价数：{data}')
print(f'电影评价数：{data.get_text()}')

电影评价数：<span class="pl">(38054人评价)</span>
电影评价数：(38054人评价)

#下面两种写法，实际是一样的功能，都是查询id为text的属性值
bs.find_all(id="text")
bs.find_all(' ', {"id": "text"})

#如果是class的就不能class="x x x"了，因为class是python中类的关键字
bs.find_all(class_="text")
bs.find_all(' ', {"class": "text"})