質問: BeautifulSoup(html_doc, 'html.parser') # BeautifulSoupの初期化 print(soup.prettify()) ### 試したこと 解決方法が見当たらない為、どなたかご教示いただけますようお願いします。 ### 補足情報(FW/ツールのバージョンなど) ここにより詳細な情報を記載してください。 Jupyter notebook 5.5.0 (Anaconda, Python 3.6.5, IPython 6.4.0 ) 以上
回答: google ってプログラムっぽい user agent で検索すると 403 返してきますね。 プログラムから使いたいなら google custom search api を使うべしっていう意思表示でしょう。 質問者様のプログラムは僕の環境でもちゃんと HTML を取得しました。 環境によって user agent が異なるのが原因かと思われます。 あんまり深く調査すべきところではないです。 アンサーとしては、 google の検索結果をスクレイピングせず、 custom search api を使いましょう。