質問: ### 前提・実現したいこと pythonで情報サイトのクローリング及びスクレイピングをしようと考えています。 サイト内の情報を検索したあとのページ(例えばグルメサイトなどで、地域や料理ジャンルなどの条件を入力した結果のページなど)をスクレイピングすることはできました。 そこで、実際にそのサイトのインプットボックスに打ち込まずに、"システム上でサイトの検索ページ(条件入力する前のページ)を取得しておいて、任意の条件を入れると、その結果のページを取得し、内容をスクレイピングする"というようなプログラムを作りたいと思ったのですが、"サイト内の条件検索ページに値をいれる"という動作や、"条件を入れて検索した後のページを取得する"という動作はどのようにすれば実現できるのでしょうか。 ### 発生している問題・エラーメッセージ "サイト内の条件検索ページに値をいれる"という動作や、"条件を入れて検索した後のページを取得する"という動作をどのようにすれば実現できるのかわからない。 ### 試したこと インターネットで調べたところ、Seleniumを使うことでできそうかなぁというような印象をうけましたが、具体的な方法についてはわかりませんでした。 ### 補足情報(言語/FW/ツール等のバージョンなど) python3を使っています。 プログラミングもpythonも始めたばかりなためわかりずらい説明となってしまっていますが、ご協力いただけたら幸いです
回答: `selenium`と、`headress chrome`または`PhantomJS`で実現できると思います。 実際の実装については、以下の記事などが役に立つと思います。