質問: クローラーを作りたいのですが 何から始めていいかわからず困っています。 下の質問でどれか一つでもいいので教えていただくと嬉しいです どいう風にwebクローラーは作るのか どいう風にwebクローラーは動くのか webクローラーの仕組みを教えてください。 そしてwebクローラーはどのようにしてweb情報収集するのかを教えてください。
回答: クローラ (の仕組み) って要するに * http / https を使ってある web page の HTML ソースを取得し * 人に見える部分(本文)とコンピュータ内部でのみ処理する部分とを切り分け * 本文は自然言語解析処理にまわしたうえでデータベースに登録し(関連情報とともに) * 広告とか、興味ない部分は切り捨てる * リンク先で同じことをする(とデータ量があっという間に爆発するのでそれなりの実行資源が必要) これらの処理のうち * 自然言語解析部分は検索エンジンがそれぞれ独自のノウハウを持っていて、それぞれの独自性を発揮するコアなところで * それ以外はさほど難しくない(機械であることを隠すにはそれなりに技術が必要) んだろうと思われます。実のところクローラは単なるデータ取得部に過ぎないわけで、実際上はその後工程、取得したデータをどう活用するかのほうがはるかに難しいしお金になるところです(ターゲット広告とか) 今どきは `curl` コマンドで最初の「ソース取得」はできちゃいますし、最初の1歩としてはこれで十分かもしれないっす。