Amazonから製品データ取得する3つの方法を公開！

![amazon.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/d72d2473-798f-58d7-3738-a0ff7645a908.jpeg)
Photoed by Christian Wiediger on Unsplash
元記事：https://www.octoparse.jp/blog/scrape-product-data-from-amazon/

「なぜAmazonデータを取得する必要があるのですか？」と疑問に思うかもしれません。 アメリカ最大の電子商取引会社であるアマゾンは、販売している製品が世界で多種多様に及んでいます。それらの製品データを色々な場面に活用できます。製品データをうまく活用すれば、ビジネスにもたらす以下の利点があります。

- 競合他社の競合製品を比較して監視する。
- 売上ランキングの製品リストを知り、流行に敏感になる。
- 製品検索情報を使って、AmazonSEOやマーケティングに活用する。
- レビュー管理によって製品の最適化に活用する。
......
次の質問は、Amazonから製品データを取得する方法は何でしょう。

以下の3つの方法があります。
**1. プログラミング**
**2. Webスクレイピング拡張機能**
**3. Webスクレイピングツール**

#1. プログラミング

プログラマーの場合は、スクリプトを書いて、Amazon.comからデータを取得したいと思うでしょう。APIに接続してデータを簡単にダウンロードするためにプログラミングするだけですべのデータを手に入れます。

[Amazon Product Advertising API](https://ja.wikipedia.org/wiki/Amazon_Product_Advertising_API)はその1つです。アプリケーションプログラマーがAmazonの製品カタログデータにアクセスできるようにするWebサービスおよびアプリケーションプログラミングインターフェイス (API)。（Wikipedia）Amazonによって公式に提供されており、無料で使用できます。このAPIは、ユーザーがAmazonの洗練されたeコマースデータと機能を利用できるように、詳細な製品情報、レビュー、画像を取得するためのAmazonデータベースへの扉を開きます。

しかし、ほとんどのAPIと同じ、APIは製品ページですべての情報を提供するわけではありません。これらのデータを取得したり、価格監視などの他のニーズを実現したりするために、Pythonまたは他の言語を使用して独自のカスタマイズされたWebクローラーをプログラムできます。

Webクローラーの構築には、専門的なコーディングの知識が必要ですし、時間もかかります。時間を節約したい専門者でない人にとって拡張機能とWebスクレイピングツールの方が使いやすいです。

 

#2. Webスクレイピング拡張機能

Webページからデータを取得するのに役立つChrome拡張機能があります。拡張機能は使いやすく、ブラウザ内でも活用できます。ブラウザーとChrome拡張機能を使用するだけで、特別なソフトウェアやプログラミングのスキルは必要ありません。

Web Scraperは、動的なWebページからデータを抽出するための最も人気拡張機能です。 Webサイトでどのデータを抽出するかを示すサイトマップのルールを作成できます。これらのサイトマップを使用すると、Web Scraperは必要に応じてサイトをナビゲートし、後でCSVとしてエクスポートできるデータを抽出します。

 
![unnamed.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/43ce7cbe-df9e-8ab3-1102-4bec96822d56.png)




一部の拡張機能は、Amazonデータを取得するために特別に設計されています。たとえば、 KeepaはAmazonの価格の追跡と比較に使用される拡張機能です。価格履歴をチャートで表示し、製品が希望の価格を下回ったときに通知することができます。

![keepa.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/bdbb395f-68d7-d6d1-2a06-c62a38e13af4.jpeg)


#3. Webスクレイピングツール

大量のデータが必要な場合、またはデータフィールドが深く隠されている場合、拡張機能はうまく対応できません。このような場合、Webスクレイピングツールは一番いい選択肢です。

[Webスクレイピングツール](https://www.octoparse.jp/)はとても簡単に使用できます。[ログイン後のスクレイピング](https://helpcenter.octoparse.jp/hc/ja/articles/360015720374-%E3%83%AD%E3%82%B0%E3%82%A4%E3%83%B3%E3%81%97%E3%81%9F%E5%BE%8C%E3%81%AE%E3%83%87%E3%83%BC%E3%82%BF%E5%8F%96%E5%BE%97)、[無限スクロール](https://helpcenter.octoparse.jp/hc/ja/articles/360015720414-%E7%84%A1%E9%99%90%E3%82%B9%E3%82%AF%E3%83%AD%E3%83%BC%E3%83%AB%E3%81%A7%E3%81%AE%E8%AA%AD%E3%81%BF%E8%BE%BC%E3%81%BF)などの複雑なサイトにも対処できるので、非常に魅力です。

その中で、[Octoparse](https://www.octoparse.jp/)は高速で拡張性のあるWebスクレイピングツールです。ポイント＆クリックのインターフェースにより、誰でも簡単に独自のクローラーを作成できます。すぐに使用できる大量のスクレイピングテンプレートにより、いくつかのパラメーターを入力するだけでデータをスクレイピングすることもできます。Octoparseは[クラウドサービス](https://helpcenter.octoparse.jp/hc/ja/articles/360015720794-クラウド抽出-Cloud-Extraction-とは何ですか-)で365日24時間抽出、さらにスクレイピング速度を上げることができます。 [Amazonの製品情報をスクレイピングする](https://helpcenter.octoparse.jp/hc/ja/articles/360015723574-Amazon%E3%81%8B%E3%82%89%E8%A3%BD%E5%93%81%E6%83%85%E5%A0%B1%E3%82%92%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%81%99%E3%82%8B)から、具体的なスクレイピング方法を知ることができます。

[Webクローラーツール20選](https://www.octoparse.jp/blog/top-20-web-crawling-tools-for-extracting-web-data/)の記事には、他の多くのWebスクレイピングツールがリストされています。必要に応じて読んでみてください。

Amazon製品データのスクレイピングは、コーディングスキル、データフィールドや予算に基づいてWebサイトから製品データを取得するために上記の選択肢を選んでくださいね。非常に多くのスクレイピングツールを使って、データ取得の面白さを体験しましょう！