Beautiful Soup4のパーサ（構文解析器）

Pythonでスレイピングを行います。Beautiful Soup4のパーサを使ってWebサイトを解析します。

Beautiful Soup4のパーサを使う

前回は、Beautiful Soup4でWebページの解析をしました。Beautiful Soupとは、HTMLやXMLの内容を解析するためのPythonライブラリですが、パーサ（構文解析器）を切り替えることにより、より正確な解析ができます。Beautiful Soup4は標準で「html.parser」を指定しますが、Pythonパッケージを追加インストールすることにより他のパーサも利用できます。

前提

①仮想環境、本番環境どちらでも構いませんが、CentOS7にPython3とvenvがインストールされているものとします。VPSに作った方法ですが、共通ですので以下をご参考に。

→ConoHaのVPSにPython3環境を作る

②スクレイピングに使用するPythonパッケージ（Requests、Beautiful Soup4）をインストールします。

→Pythonのウェブスクレイピング環境を作る（Requests、Beautiful Soup4）

ホスト環境

ホスト環境はUbuntuですが、WindowsでもMacでもOKです。

ゲスト環境

lxml、html5のパーサパッケージをインストール

①venvの仮想環境を起動します。

. env/bin/activate

②lxml、html5libパッケージをインストールします。

pip install lxml
pip install html5lib

パーサを使う

①venvの仮想環境から、そのままコマンドでpythonの対話モードを起動します。

python

②以下のコードを記述して実行します。RequestsオブジェクトのcontextにHTMLが入ります。そのデータを元にBeautifulSoupオブジェクトを生成します。なお、パーサは標準の「html.parser」を使います。

>>> import requests
>>> from bs4 import BeautifulSoup
>>> r = requests.get('https://hombre-nuevo.com/python/python0060/')
>>> soup = BeautifulSoup(r.content, 'html.parser')

高速に解析したり、正しいhtml5を解析したい場合は、他のパーサを指定します。