質問: tag.get("href") ``` URLを書き出す処理は略させていただきましたが、forループに処理を記述してあり、人力では、pythonを検索窓に入力して、ルーペのボタンを押し、出てきたURLを収集できています。 最初は、自動で興味のあるワードの検索結果を収取できて便利になったと思っていたのですが、これを実施するには、Firefoxが必須になってしまい、windows パソコンでないと実行できないため、いろいろ面倒に思えてきました。 例えば、X-Window のないCentOSなどで実施するためには、seleniumで実施している部分をurllib2などに移植する必要があるかと思いますが、urllib2で上記のコードのように、IDを指定してキーワードを入力したり、ボタンを押したりの「操作」を実施して、帰ってきたHTMLを処理するようなことは可能でしょうか? もし可能でしたら方法を教えていただきたく、よろしくお願いいたします。
回答: Webブラウザが行なっている内容を自力でプログラムを書くことができれば代替できると思います。 主なところでは、 * ページを取得する。 * 取得したHTMLを解析する。 * CSSを取得して反映させる。 * JavaScript を取得、実行して反映させる。 * リンクされているファイルを取得 * 完成した HTMLを出力。 を行う必要があります。 個人的は、そんな面倒なプログラムは、書きたくないです。 きっと環境を構築してでも、selenium 使うでしょう。