OpenAIのコミュニティサイトからデータを抽出する方法

人工知能に興味があるエンジニアやAIエンジニアなどが、最近多く利用しているのがOpenAIのコミュニティサイトです。OpenAIとは、人工知能の研究を行う非営利団体です。OpenAIのコミュニティサイトには、さまざまなトピックがあり、利用者からのコメントが多く投稿されています。

このOpenAIのコミュニティサイトから、自分が目的とするデータを抽出するには、どうしたらいいでしょうか。この記事では、OpenAIのコミュニティサイトからデータを抽出する方法について解説します。

<h2>OpenAIとは</h2>
OpenAIとは、人工知能の研究を行う非営利団体で、人工知能のオープンソース化の推進を主な目的としています。OpenAIは、2015年にサム・アルトマンやイーロン・マスクらによって、アメリカで設立されました。2022年11月に発表したAIチャットツール「ChatGPT」が、世界的に話題となっています。

また、世界中の人工知能の研究者が参加するOpenAIのコミュニティサイト（OpenAI API Community Forum）があり、さまざまなトピックで意見が交わされています。

<h2>OpenAIのデータを活用できる</h2>
OpenAIのコミュニティサイトは、人工知能に興味があるエンジニアなどが、AIの市場調査やアプリケーションの開発などを目的として利用するサイトです。ChatGPTやAPI、OpenAI Codex、チュートリアルなどのカテゴリがあり、コミュニティメンバーは積極的に学習や情報共有、コラボレーションなどを行っています。

<h2>データ収集の方法は？</h2>
OpenAIのコミュニティサイトは、毎日膨大な量のコメントがコミュニティメンバーから投稿されています。この膨大なデータから、目的としたデータを得るためには、どのようにしたらいいでしょうか？ここでは、OpenAIのコミュニティサイトでのデータ収集方法について解説します。

<h3>自分で見て手作業で情報収集</h3>	
最初に考えられる方法は、OpenAIのコミュニティサイトを、自分で見て手作業で情報収集することです。コミュニティサイト内を見回り、一つ一つのデータを確認して目的のデータを集めます。
しかし、膨大なデータがあるOpenAIのコミュニティサイトでは、この方法は手間がかかりすぎてしまいます。情報収集に時間がかかるうえに、データを間違えるリスクも高まります。時間をかけた結果、新たな知見が見つからないこともあるでしょう。

<h3>スクレイピングによるデータ収集</h3>
OpenAIのコミュニティサイトは、スクレイピング（Webクローリング）によるデータ収集も可能です。スクレイピングとは、プログラムやツールを使って、Web上からデータを収集する方法です。
スクレイピングツールを使えば、膨大なデータ量があるOpenAIのコミュニティサイトでも、時間や手間をかけることなくデータ収集が可能になります。スクレイピングツールを用いたデータ収集は、有望な選択肢になるでしょう。

<h4>スクレイピングのメリット</h4>

プログラムやツールを使って、Web上からのデータ収集を自動化するスクレイピングには、以下のようなメリットがあります。

・自動化により、人による手間は最小限になる

・リアルタイムで情報が手に入る

・データ加工ができる

・データ抽出の条件を指定できる

スクレイピングツールに、さまざまな抽出条件を指定して、自動でWeb上からデータ収集させることで、人による手間は最小限になります。また、自動化により短時間でデータ収集とデータ加工も可能です。時間もかからないため、リアルタイムで欲しいデータが入手できます。スクレイピングは、Webから膨大なデータを収集するときの、強い味方となるでしょう。

<h2>Octoparseで、OpenAIのコミュニティサイトからデータを収集</h2>
OpenAIのコミュニティサイトからデータを収集には、スクレイピングツールを使うことが最適な方法です。ここでは、スクレイピングツール「Octoparse」を使って、データを収集する方法について解説します。

<h3>スクレイピングツール「Octoparse」の紹介</h3>
「Octoparse（オクトパース）」は、プログラミングコードを書かなくでも簡単に、スクレイピングができるノーコードスクレイピングツールです。スクレイピング初心者でも、クリックひとつでスクレイピングができます。

Octoparseは、内蔵ブラウザでWebページを開き、抽出するデータを選択するだけでスクレイピングができます。専門知識が不要で、誰でも簡単に使えるのが魅力です。収集したWebサイトのデータは、CSVやExcelなど指定した形式で出力できます。また、日本語対応もしており、サポート体制も充実しています。

<h3>データ抽出の操作手順</h3>

ここではOctoparseを使って、OpenAIのコミュニティサイトからデータを抽出する方法を説明します。抽出するデータは「コミュニケーションサイトのトピックのURL」と「トピックのコメント」です。

<h4>step1　Octoparseのダウンロードとインストール、アカウントの作成</h4>	

最初に Octoparseのダウンロードページから、セットアッププログラムをダウンロードします。

次にOctoparseのアカウントを作成します。アカウント登録画面で、必要事項を入力してアカウントを作成します。また、Googleアカウントから登録も可能です。

<h4>step2　ワークフローの設定</h4>	

Octoparseは、Webページにある似た構造を自動的に検出する、自動検出機能があります。この機能により、専門的なプログラミングの知識が無くても、スクレイピングのプログラムを自動生成できるようになります。

ここでは、Octoparseの自動検出機能を使って、OpenAIのコミュニティサイトをスクレイピングします。


<h4>ワークフローの設定方法（トピックのURLを抽出する場合）</h4>

a・新しいタスクの作成をします。まず、スクレイピングするWebサイトのURLを入力します。ここでは、OpenAIのコミュニティサイト『https://community.openai.com/』を入力。入力後に「スタート」をクリックします。
![图片 1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/821f7379-9bc7-b930-28b4-d05fb776487a.png)



b・内蔵ブラウザに、OpenAIのコミュニティサイトが表示されます。
![图片 2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/3a92f80a-f730-2679-eb2a-1b095bef89c3.png)



次に画面上にある「Webページを自動検出する」をクリックします。
![图片 3.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/db557abe-c628-4f4f-4446-f2e2b426dd8c.png)

 

c・検出データの確認

自動検出が完了したら、画面下部のデータプレビューでデータの確認ができます。ここで、不要なデータフィールドを削除したり、データフィールドの名前変更などを行います。データフィールドの並び順の変更も可能です。また検出データは、Webページの表示画面でハイライト表示されるため、どのデータを選択しているか簡単にわかります。
![图片 4.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/d0e2e18b-9e71-6b6e-7420-c8b13040ddf7.png)



ここでは、URLやタイトルなどのデータ以外の不要なデータを削除します。 

d・データフィールドの設定ができたら「ワークフローを生成」をクリックします。
![图片 5.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/cc615735-6b98-c852-6295-83fcd4c0ea5b.png)

 

画面の右側に、ワークフローの設定画面が表示されます。Octoparseは、ワークフローを自動生成することができます。自動生成されたワークフローは、自分で編集を可能です。これにより、ワークフローで必要なタスクを確実に実行できるようになります。
![图片 6.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/67804694-5682-4d42-f641-809820be4d18.png)



ワークフローの設定ができたら「保存」をクリックします。

 

<h4>ワークフローの設定方法（トピックページのコメントを抽出する場合）</h4>

a・新しいタスクの作成をします。ホーム画面の入力欄に、スクレイピングするOpenAIのコミュニティサイトのトピックページのURLを入力します。入力後に「スタート」をクリックします。

![图片 7.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/e944e91b-ac76-d478-0622-3f3b1df38b49.png)


b・内蔵ブラウザに、OpenAIのコミュニティサイトのトピックページが表示されます。

次に画面上にある「Webページを自動検出する」をクリックします。

![图片 8.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/eadaea9e-c898-c8ee-189a-0646a57586bd.png)


c・自動検出が完了したら、データフィールドの削除や名前変更などを行います。コメントを抽出する場合は、コメントのフィールドを残し、他の不要なフィールドは削除します。

![图片 9.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/881b0aea-2a01-8780-99e5-bd2028536d92.png)


d・データフィールドの設定ができたら「ワークフローを生成」をクリックします。

![图片 10.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/15c1b786-dec0-20f7-7185-3ea8362e9a3f.png)


ワークフローの設定ができたら「保存」をクリックします。 

<h4>step3　スクレイピングの実施</h4>

ワークフローの設定ができましたら、次はスクレイピングを実施します。ここでは、スクレイピングの実施方法について解説します。

a・画面右上の「実行」をクリックします。
![图片 11.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/ed942975-aa25-29a7-a51a-09509c43b3c7.png)


b・抽出方法を選択します。ここでは、タスク実行の画面から「ローカル抽出」の「通常モード」をクリックします。フリープランでは、ローカル抽出のみ選択ができます。

有料プランの「クラウド抽出」は、複数のサーバーから成るクラウド上で実行されるため、ローカル抽出よりも速い速度でデータ抽出ができます。
![图片 12.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/454fecd6-2a3e-661e-e202-cf55ce87ab03.png)


c・データの抽出が実行されます。
![图片 13.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/ded4977f-8707-c611-1909-8a50cf27cdd9.png)




データ抽出が完了した後に「データをエクスポート」をクリックします。
![图片 14.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/665725ba-be85-5535-9df1-c1cd8cb9e5e6.png)


d・エクスポートするデータのファイル形式を選択して「はい」をクリックします。
![图片 15.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/cae777a0-16f8-94c5-3cf3-ab1a5443cc2d.png)



その後、エクスポートされたファイルの名前と保存先を決めて、ファイルを保存します。

※抽出したデータの例（Excel形式）

![图片 16.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/262932/14b4a935-8bcb-9545-b9f8-3410c0978c09.png)


<h2>まとめ</h2>

この記事では、OpenAIのコミュニティサイトからデータを抽出する方法について解説をしました。OpenAIのコミュニティサイトは、人工知能に興味があるエンジニアやAIエンジニアなどを対象としており、毎日膨大な量のコメントがコミュニティメンバーから投稿されています。

OpenAIのコミュニティサイトから、目的のデータを抽出するには、スクレイピングツールを使うことが最適な方法です。Web上からのデータ収集を自動化するスクレイピングには、人による手間が最小限になるなどの多くのメリットがあります。しかし、スクレイピングにはプログラミングなどの専門知識が必要です。

「Octoparse（オクトパース）」は、プログラミングの知識が不要で、簡単にスクレイピングができるノーコードスクレイピングツールです。スクレイピング初心者でも、クリックひとつでスクレイピングが可能です。

スクレイピングに興味のある方は、ノーコードスクレイピングツール「Octoparse（オクトパース）」の導入をオススメします。


本記事の内容は、以下より引用しています。
https://www.octoparse.jp/blog/how-to-extract-data-from-the-openai-community-website/