質問: 特定のgoogleブックをwebスクレイピング/クロールする 私の仕事では、googleブックスの大きな本からテキストを削り取る必要があります。問題の本は非常に古い本であり、著作権の対象外です。この本は世界の地名集です。テキストをデータベースに入れるので、pdfではなく生のテキストが必要です。私はすでに、このタスクを完了するために使用できるツールとテクニックの研究に多くの時間を費やしてきました。私は圧倒され、どこから始めればよいのか、どちらが最善/最も簡単な方法であるのかわかりません。行き止まりでこれ以上時間を無駄にしたくありません。問題は2つの部分に分けることができます: ページをクロールします。 データのダウンロード。 私が最もこだわっているのは本当にパート(1)です。データを取得したら(生のhtmlページのみであっても)、パーサーを使用して必要なものを抽出できると確信しています。ページのナビゲートは、続行または矢印をクリックして行います。ページの増分は常に一貫しているわけではなく、一部のページには画像が埋め込まれているため、変動する可能性があります。したがって、必ずしも次のurlを予測できるとは限りません。本の第1巻の最初のurlは次のとおりです。 http://books.google.co.uk/books?id=grenaaaaqaaj&pg=pr5&output=text javaとjavascriptでプログラミングでき、pythonの基本的な知識があります。node.jsやscrapyなどを検討しました。wgetを試しましたが、401の非認証アクセスエラーが発生しました。また、 irobot、greasemonkey、foxyspiderを試しました。
回答: download "gazetteer of the world" dictionary of geographic knowledgeでgoogle検索を行うと、たとえば、 pdf、次にpdf2wordのようなものを使用してテキストを抽出できます。pdfがすべての写真である;-)でない限り、pdf2jpgで抽出して、ocrプログラムで画像ファイルをフィードすることができます。それらを購入して(amazonにはいくつかのヒットがあります)、ページを切り取り、自動フィードとocrを備えたスキャナーに通すこともできます。これは1回限りの作業なので、プログラミングは私の最後の手段になります。最初に(6?)ボリュームを取得できる形式のインベントリを作成し、これらの形式を処理するためのコストと作業量の見積もりを作成すると役立つ場合があります。