質問: Nokogiri.HTML(open(uri, opt)) ``` これを実行すると、 > > open-uri.rb:353:in `open': 503 Server Unavable (OpenURI::HTTPError) > > > というエラーがでます。 途中までは出てなかったエラーだったのですが、急に出始めました。 悪質なクローラーに対する対策のようで、User-Agentを偽装すればよいとの記事を見たので、やってみましたが解決しません。 なにか他にやりようはありますでしょうか? よろしくお願いします。
回答: Google側でそのようなアクセスを禁止していますので、ちょっとやそっとではうまく行きません。 利用規約の「Google が提供するインターフェースおよび手順以外の方法による本サービスへのアクセスを試みてはなりません。」を根拠にした措置だと、503で帰ってくるページに書いてあった気もします。