質問: requests.get(target) with open(name + "/" + target.split('/')[-1], 'wb') as f: # imgフォルダに格納 f.write(re.content) # .contentにて画像データとして書き込む ``` ### 試したこと BeautifulSoupの関数や、Developerツールの設定でクローリングを行う前に読み込むことができないか調べました。 しかし満足のいく回答を見つけることができませんでした。 何卒よろしくお願いします。 ### 補足情報(FW/ツールのバージョンなど) BeautifulSoup 4.7.1 Python 3.7.3
回答: 最下行までいくと内容が追加されるサイトは、Webブラウザが、JavaScript を実行して、コンテンツの追加読み込みを処理しているので、JavaScript を解釈して処理する必要があります。 残念ながら BeautifulSoup は、JavaScript を解釈して処理できないので、Python + Selenium + Chrome あたりを用いることになると思います。 Selenium による無限スクロールの取得は、ここでもよく出ている質問なので、「Python Selenium スクロール」あたりのキーワードで google や teratail 等で検索すると類似の内容がいろいろ見つかりますので、検索結果を読んで理解して内容を試してみるのはどうでしょうか。