ChatGPT
2022年11月30日にプロトタイプとして公開され、幅広い分野の質問に詳細な回答を生成できることから注目を集めた。しかし、人間が自然と感じる回答の生成を特徴としていることから、一見自然に見えるが事実とは異なる回答を生成することもあり、大きな欠点とされた。ChatGPTのリリース後、OpenAIの評価額は290億米ドルとなり、2021年時の140億ドルと比べて2倍以上に増加した。OpenAIの筆頭株主であるMicrosoftが展開する検索エンジンのBingやウェブブラウザのEdge等の幅広いサービスの生成AIの技術にも、ChatGPTが活用されている。
スイスの金融グループUBSの分析によると、ChatGPTがアクティブユーザー数1億人に到達するのにかかった時間は、TikTokとInstagramがそれぞれ9カ月と2年半であるのに対して、2か月と史上最速である。
OpenAIによれば、オプトアウトを申請しない限り、ユーザーが入力したChatGPTとの会話内容はOpenAIによってその内容を利用されることがある。
ChatGPTは、教師あり学習と強化学習を使用して、GPT-3.5上で微調整された。どちらのアプローチも、人間のトレーナーを使用してモデルのパフォーマンスを改善した。教師あり学習の場合、モデルには、トレーナーがユーザーとAIアシスタントの両方を演じる会話が提供された。強化ステップでは、まず人間のトレーナーが、モデルが以前の会話で作成した応答をランク付けした。これらのランキングは、 Proximal Policy Optimization(PPO)を数回繰り返してモデルをさらに微調整した「報酬モデル」を作成するために使用された。近接ポリシー最適化アルゴリズムは、信頼領域ポリシー最適化アルゴリズムに費用対効果の高い利点をもたらした。より高速なパフォーマンスで、計算コストの高い操作の多くを無効にする。モデルは、Azureを使用したスーパーコンピューティングインフラストラクチャでMicrosoftと共同でトレーニングされた。
さらに、OpenAIは、ChatGPTのさらなるトレーニングと微調整に使用できるChatGPTユーザーからのデータを引き続き収集する。ユーザーは、ChatGPTから受け取った応答に対して賛成票または反対票を投じることができる。賛成票または反対票を投じると、テキストフィールドに追加のフィードバックを入力することもできる。