質問: とあるデータベース系ウェブサイトから、 研究目的でデータの使用を許可されました。 ただCSV等のデータの形では提供されず、 勝手にサイトから落とす(要はこぴぺ)ように言われました。 ただかなり大規模なデータになるので、 クローラを作ろうと思っているのですが、 一番早い言語・方法を教えてください。 ※EXCEL VBAと正規表現を使ったプログラムでは、よくページのロードが長くかかった時につっかえてしまって大変でした。 よろしくお願いいたします。
回答: 改行場所や | などの要素がどのようになっているのか分かりませんが、 落とした HTML の | と | の範囲 ( | と | は含めず) を EmEditor や Terapad など、高機能なテキストエディタに貼り付けて処理できます。 | を \t へ置換 | | を文字列0の空文字へ置換 ( | | が削除されます) | | を文字列0の空文字へ置換 ( | | が削除されます) これでタブ区切りのファイルが出来ます。 csv にしたいのであれば、\t を , へ置換してください。 |