質問: ・エラー等の監視が必要十分に出来ているか? **ある程度ご意見いただけたら、Qiitaとかにまとめようと思っています。**
回答: > > スクレイピングにおける技術ポイントや注意点等を教わりたいです。 > > > 「対象予定のサイト数は?」「コストに見合った対価は得られるのか?」「RSSやAPIで置き換えられないか?」は企画段階で検討したほうが良いでしょうね。 スクレイピングは情報を取得する手段の一つでしかなく、 競合となるAPIやRSSと比べると、好き勝手に記述出来るHTMLを解析して自分の望む情報を抜き取る手法は極めて原始的なものとなります。 一般的にはCSSセレクター的な文字列とURLの対応表を保存しておき、 jQuery的なライブラリを用いてCSSセレクターから要素にアクセスして、その配下のノードツリーを根こそぎ抜き出す手法になるかと思います。 もし、それで許容できない精度の情報が欲しい場合1サイト毎にハンドメイドのソースコードが必要になります。 もちろん、どちらの手法も対象のサイトがリニューアルすると使い物にならないので、数カ月おきにメンテが必要です。 しかし、スクレイピングを**自動化することで苦労なしに価値ある情報が手に入る**と錯覚している人が多いのが現状です。 スクレイピングは**数ヶ月で役に立たなくなる使い捨てのコードにしかならない**のです。 会社的にはエンジニアがコードを書くコストと、バイトを雇ってコピペさせるコストはどちらが安いですか?で考えるべき問題となります。 もし上司や経営者が自動化することで一生メンテが必要ないと誤解している場合、全員が不幸になります。 その辺の誤解がないように、上司や経営者に根回ししておくべきでしょうね。