質問: 例えば、nike, シャネルなど特定のブランド100こほどを1ブランドにつき、大量の画像を収集するとします。 最も現実的な手法は何があるでしょうか? 1.メルカリからスクレイピングする 2.ヤフオク、その他オークションサイトからスクレイピング 3.googleの画像検索から取得 等々、あげればきりがないのですが、個人的にはオークションサイトや、googleの画像検索結果からスクレイピングする方法が良質かつ、大量の画像をとれるので、現実的かなと思うのですが。 pythonのスクレイピングライブラリの場合、使うとしたらbeautifulsoupとかscrapyが良いのでしょうか? どんな意見やアイデアでも構いません。ご教授お願いします
回答: 正しい紐付けなのかという点ではC2Cのサイトやオークションサイト、画像検索は良く無いと思います。 中古ブランドショップや正規販売店、ZOZOなどのデータをクロールするのがいいんじゃ無いでしょうか。 scrapyを使えばアクセする間隔も簡単に調整できるので相手に迷惑かけずにクロールできます。