質問: yahoo indeed ジョブ北 あるきた 転職エージェントなど多量のサイトを起源として、 仕事名、電話番号、メールアドレスなどをクロールするシステムを作りたい。 単一のサイトならば、仕事名は class=jobemployer などで固定されていてスクレイプしやすいと思うのですが、 複数のサイトにまたがっていると、
回答: 最初は、収集項目をコードで設定してスクレイプをするプログラムを作成し、機械学習を使ってそれを自動化していくようにすればいいのではないでしょうか。 企業名、部署名、担当者、メールアドレス、住所、引用先URL、業界、職種、電話番号等はそれぞれに特徴があるので、サイト毎に表記が異なっていても自動で分類ができると思います。例えば、メールアドレス、電話番号はみただけでわかりますよね。それから、企業名と住所は、国税庁が法人番号の関係で、法人の基本3情報のデータ公開しているので、それと照合すれば、どの項目が企業名か住所かはすぐにわかると思います。 また、Google の Cloud Natural Language API を使うと文章から、それがどういうカテゴリーに属するか分析してくれます。