新バージョンChatGPTプラグインで出来ること: 画像生成、買い物リスト自動作成、ファクトチェックなど

https://www.youtube.com/watch?v=C_78DM8fG6E

このTEDトークは、4月21日に公開されたOpenAIの共同創設者であるGreg Brockmanが、ChatGPTの驚くべき潜在能力について語っている内容をもとに記載しております。

彼は、ChatGPTの基本的な設計原理を探求し、世界中で衝撃を与えたチャットボットのための未公開プラグインをデモしています。その後、TEDの責任者であるChris Andersonが登場し、ChatGPTの開発のタイムラインを掘り下げ、多くの技術業界関係者やその他の人々が指摘するような、このような強力なツールを世界に公開することのリスクについてBrockmanの意見を聞きます。

この記事では、ChatGPTプラグインにフォーカスし、TEDトークの中でデモしていたことを中心に紹介します。


## プラグインでできるようになること

### DALL-E App プラグイン

最初にGregさんはChatGPT上で画像が生成できるデモを行いました。

Greg Brockman「Suggest a nice post-TED meal, and draw a picture of it（TEDトーク後に楽しむ美味しい食事の提案とその画像をください）」

現在のGPT-4でも

> Suggest a nice post-TED meal（TEDトーク後に楽しむ美味しい食事を提案してください）

とすれば、「TEDトーク後に美味しい食事を提案すると、リラックスして友人や知人とアイデアやインスピレーションを共有するのに適した環境が整います。美味しいポストTED食事として、シーザーサラダ、マッシュルームリゾット、そしてデザートにチョコレートフォンダンを提案します。この組み合わせは、軽くて栄養豊富でありながら、満足感もあります。さらに、おしゃべりを楽しみながら食べられるので、TEDトークの内容についての議論に適しています。」のように食事を提案してくれることはできます。

プラグインではDALL-Eと連携して、ChatGPTが提案してくれた食事から以下のようにその美味しい食事の画像まで提供してくれます。

![ted01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61189/a6e7dedd-dd16-1ae2-3083-3136dedee3e9.png)

生成された画像が保存できるだけでなく、画像生成に用いたプロンプト自体を確認することができます。
今回のケースでプロンプトは「TEDトーク後の食事として、上品にセットされたテーブルに白いテーブルクロス、布製のナプキン、高級な食器を使って、グルメなベジタリアン料理を提供します。そのメニューには、ロースト野菜入りのカラフルなキヌアサラダ、焼いたポルチーニキノコのキャップにヤギのチーズを詰めたもの、新鮮なフルーツの盛り合わせ、クリーミーなバターナッツスカッシュのスープ、オリーブのタパナードと日干しトマトのスプレッドが添えられたアーティザンブレッド、そしてさわやかなキュウリとミントのモクテルが含まれています。柔らかなキャンドルの光がテーブルを照らし、小さな花のセンターピースが新鮮さと美しさを添えています。雰囲気は静かでリラックスできるものです。」となっており、このプロンプトを活用することで似たような美味しそうな料理の画像をいくつでも作ることができます。

![ted02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61189/c082e84f-3ce9-5655-94cf-79c87c28d144.png)

### Instacart プラグイン

次に、提案してもらった料理をつくるための買い物リストを実際のECサイトでカートまで自動的に入ることをデモしました。

Greg Brockman「Now make a shopping list for the tasty thing I was suggesting earlier, and tweet it out for all the TED viewers out there（上で提案した美味しいTEDトーク後の食事のための買い物リストを作成し、すべてのTED視聴者にツイートします。）」

先程ChatGPTに提案された美味しそうな料理をつくるための買い物リストを作るように依頼しています。ChatGPTが先程提案した料理から材料を考えて、必要な材料をInstacartというサービスのカートに追加しています。レシピ通りにズッキーニやドライトマト、ヤギのチーズがしっかりカートに入っていることがわかります。

![ted03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61189/d8b353ab-8491-d65d-f55f-28f8ba31680d.png)

### Zapier プラグイン

更に、Instacartの買い物リストをTwitterに投稿するZapierのデモを行いました。
先程Gregさんが「TED視聴者にツイートします」と依頼しましたが、Gregさんが確認してから投稿したほうがいいとChatGPTが判断して以下のように質問してきました。

ChatGPT「Would you like me to tweet this shopping list for all the TED viewers out there?（TED視聴者の皆さんにこの買い物リストをツイートしてほしいですか？）」
Greg Brockman「Yes please.(お願いします）」

すると、Zapierのリンクが生成され、リンク先では以下のように表示され、RunをクリックするとTwitterに投稿されます。

![ted04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61189/4da35605-6570-9c5d-fbde-c2b7b29f7ed8.png)

実際に投稿されたのが以下のTweetです（カートの内容はみんなが自由に変えられるので、TED時とは異なっております）

https://twitter.com/gdb/status/1648355087289585665


セッションではここで一旦、GPTのトレーニングなどの話に移りました。

### Browsing モデル

次にBrowsingモデルのデモを行いました。これは、ChatGPTの回答に対してファクトチェック（情報の正確性・妥当性を検証する行為）をしたりすることが目的として動作させるようです。
デモでは、GregさんがChatGPTに聞いた質問と回答を、Browsingモデルに対して貼り付けて「Fact check this for me（ファクトチェックをして欲しい）」としています。

![ted05.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61189/8cbc2c6e-d3a1-ef34-0f2e-ef9bac55c577.png)

実行すると、何をしているかや取得した結果のリンクなどが表示されつつ、最後に結論を表示してくれます。

![ted06.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61189/234bd457-6c60-1f59-5d9f-6ae00957d385.png)

今回のケースではGregさんの「OpenAIのブログ投稿『Unsupervised Sentiment Neuron』と『Learning from human preferences』の間にどのくらいの時間が経過しましたか？」と問にChatGPTが「OpenAIのブログ投稿『Unsupervised Sentiment Neuron』は2017年4月24日に公開され、 『Learning from human preferences』の投稿は2017年6月27日に公開されました。従って、両方の公開の間に約2ヶ月が経過しました。」と回答に対してファクトチェックをしています。

Browsingモデルが実際の情報を検索し「実際には『Unsupervised Sentiment Neuron』に関するOpenAIのブログ投稿は2017年4月6日に公開され、『Learning from human preferences』の投稿は2017年6月13日に公開されました。そのため、両方の公開の間に約2ヶ月と1週間が経過しました。」と結果を返します。

Browsingモデルの実力に驚きつつも、「2017年4月24日に公開され」みたいな答えを返してくるChatGPTのもっともらしい間違いの恐ろしさを再確認できました。

### Code Interpreter モデル

続いて最後のデモ、Code Interpreter モデルになります。
GregさんはChatGPTをCode Interpreter モデルに切り替え、ファイルをアップロードしました。

すると以下の画像用のようにアップロードしたファイルに対して、分析・可視化・データに対する質問への回答が出来ると教えてくれ、データセットのカラムに対しても説明してくれます。

![ted07.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61189/2c2b235d-c384-0142-91d4-7499bc3f78e2.png)
![ted08.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61189/5a82cbf4-de42-c4d5-fd00-00bb94ce50ba.png)

gregさんは「探索的なグラフは作れますか？」とお願いしました、するといくつかのグラフが表示されました。

![ted09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61189/3a934945-c2dd-c3fe-55a6-f016b070b98c.png)

このグラフはAI ArXiv（主に物理学、数学、コンピュータサイエンス、定量生物学、定量ファイナンス、および統計学の研究論文のプレプリントを電子的に公開するために使用されるオンラインアーカイブ）の論文数で、CSVファイルには1993/8/1-2023/4/13までのデータが入っているため、グラフの一番右（2023年）の数値が落ちております。

これに対してGregさんは「待ったぁぁぁぁぁ！2023年はまだ終わっていません。2022年の論文のうち、4月13日までに投稿されたものは何％でしょうか？それを使って公平な予測を立てることができますか？」とするとChatGPTは「いい指摘ですね！」としつつ新たなグラフを提示してくれました。

![ted10.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/61189/5ef8fc24-2975-5925-ebcd-e1892082e643.png)

いかがでしたでしょうか？

このようなワクワクする機能が、わずか数カ月後には使える様になるとのことでした。

## まとめ

この記事では、OpenAI共同創設者のGreg BrockmanがTEDトークで、ChatGPTの潜在能力と今後の発展について語りました。彼は、次世代のChatGPTプラグインのデモンストレーションを行い、その驚くべき機能を紹介しました。

主なプラグインとして、DALL-E Appプラグインで画像生成、Instacartプラグインで買い物リストの自動作成、ZapierプラグインでTwitterへの投稿が可能になることがデモされました。また、Browsingモデルでファクトチェックが行われ、より正確な情報提供が期待されます。Code Interpreterモデルでは、コードの解析やデータの可視化が可能になると紹介されました。

これらのプラグインやモデルは、わずか数カ月後に利用可能になるとのことで、ChatGPTの発展と活用がさらに加速することが期待されます。将来的には、これらの機能が統合され、より多機能で高度なAIアシスタントとしての役割が拡大するでしょう。