質問: BeautifulSoup4とRequestsでスクレイピングを行いたいのですが、 srcで検索をしてURLを取得してしまうと、想定よりも小さいサイズの画像ファイルがダウンロードされます。 これはHTMLのimgタグにあるsrcsetの影響です。 おそらく、自身がウィンドウサイズを指定できていないのが原因と考えています。 以上の点を踏まえて、ヘッダーにウィンドウサイズの情報を追記する必要があると考えたのですが、その方法があればご教授ください。 説明が乏しく例示した方がわかりやすいと感じたら、コメントをいただければ追記いたします。
回答: おそらく、この記事が参考になると思います。 Python using beautiful soup to extract attribute from html こちらはseleniumを使っているので少し違うかもしれませんが。 I can't get all of image attributes using Beautiful Soup and Selenium Scraping Instagram with BeautifulSoup