資料とかグラフとかGPT-4oに読んでもらおう on AOAI

# はじめに
本日5月14日、OpenAI社からGPTの最新モデル「GPT-4o(omni)」が発表されました。

https://openai.com/index/hello-gpt-4o/

発表後すぐに Azure OpenAI Studio からプレビューとして利用できるようになっていましたので、さっそくどういったことができるか検証してみました。

# GPT-4oの特徴
- マルチモーダル対応：テキスト、音声、画像を入力および出力でき、リアルタイムで処理します。
  - 音声入力と出力：ユーザーが音声で質問し、音声で回答を得ることができます。
  - 画像理解：画像を解析し、内容に基づいた回答や説明を提供できます。
  - テキスト連携：テキスト情報を他の形式のデータと組み合わせて、より複雑な質問に答えることが可能です。
- 速度とコスト：テキストに関してはGPT-4 Turboと同等の性能を持ちつつ、応答速度が向上し、APIのコストが50％削減されています。
- 多言語対応：非英語圏のテキスト処理能力が大幅に向上しています。日本語はおよそトークンの効率が1.4倍になりました。

# アクセス方法
https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/models#gpt-4o-and-gpt-4-turbo

`West US3` か `East US` リージョンにデプロイされている Azure OpenAI Studio を開き、トップページにある「Early access playground」を開くと、チャット画面が表示されます。

# 検証

# 文書要約タスク
今回は以下のドキュメントを対象にして、文章を読み取るタスクを実行してもらいました。

https://www.pwc.com/jp/ja/knowledge/thoughtleadership/ceo-survey-generative-ai-2024.html

プレイグラウンドでは画像ファイルを添付してそれをプロンプトに取り入れることができます。PDFなどの文書ファイル形式には対応していませんが、ドキュメントを画像ファイルに変換することで読み取ってくれます。OCRツールとしても活用できそうです。

現時点ではWeb版のChatGPTとは異なりURLから直接ドキュメントの内容を参照することができないので、先に上記のサイトをPDF経由で画像ファイルに変換してから添付しました。

まずは、シンプルに「要約してください」とのみ指示します。

![要約](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3327019/84001890-f85b-32c2-03e5-36b1484ae615.png)


結果、以下の答えが返ってきました。応答時間はおよそ10秒でした。

> このレポートは、PwCが実施した第27回世界CEO意識調査の生成AI日本分析版です。調査では、世界中のCEOが生成AIの活用状況や期待、リスクについて回答し、日本企業の生成AI活用がどのような状況にあるかを分析しています。
> 
> 主なポイントは以下の通りです：
> 
> 1. 日本は主要各国に先行して生成AIの活用が進んでいるが、過度な期待はなく、既存ビジネスの変革に対する強い危機感がある。
> 2. リスクへの漠然とした不安が活用の足枷になっており、特にサイバーセキュリティや誤情報の拡散、バイアスリスクに対する懸念が高い。
> 3. 医療・ヘルスケア業界や製造業が日本の生成AI活用を牽引しており、特に製品の企画・設計工程での活用が積極的に検討されている。
> 
> このレポートは、生成AI活用における日本企業の現状と課題を明らかにし、今後の企業における生成AI活用検討の一助となることを目指しています。

# 質問応答タスク
次は、もう少し具体的な内容が読み取れているか、以下のような質問を用意して回答させます。
これらの情報は画像データにて示されているため、テキストデータしか読み取れないモデルでは回答が難しいタスクになりそうです。
![読解タスク](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3327019/7d7c23d1-17d4-1812-a1b4-6e933de6bd56.png)

> この文書を読んで、以下の質問について答えてください。
> (文書画像)
> + 生成AIがビジネスにおいて最も入れられている地域と、受け入れられていない地域はどこですか？
> + 最も需要のある生成AIのユースケースは何ですか？
> + 生成AIがビジネスに与える影響として、最も多くの人が考えているのは何ですか？
> + 日本国内において、世界に比べてAIを盛んに活用している業界はどこですか？

すると、以下のような回答が返ってきました。

> このドキュメントから、以下の質問に答えます。
> - 生成AIがビジネスにおいて最も受け入れられている地域と、受け入れられていない地域はどこですか？
>   - 最も受け入れられている地域は日本で、50%のCEOが生成AIが自社の業務に受け入れられていると回答しています。
>   - 最も受け入れられていない地域は中国/香港で、27%のCEOが生成AIが自社の業務に受け入れられていると回答しています。
> - 最も需要のある生成AIのユースケースは何ですか？
>   - 自動車業界においては、「イメージに沿ったイラストのデザインや画像の生成」が最も需要があり、次いで「プログラムコードの生成」、「データ収集や調査・リサーチ」が続きます。
> - 生成AIがビジネスに与える影響として、最も多くの人が考えているのは何ですか？
>   - 生成AIがビジネスに与える影響として、最も多くの日本のCEOが考えているのは「自社の従業員の労働生産性の増加」で、46%のCEOがこれに同意しています。
> - 日本国内において、世界に比べてAIを盛んに活用している業界はどこですか？
>   - 日本国内において、世界に比べてAIを盛んに活用している業界は「ヘルスケア・病院・医薬・医療機器」と「自動車」で、世界の企業と比較してそれぞれ5位と7位順位が上がっています。

![グラフ01](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3327019/571bd37f-e420-7af9-e0f0-fd88618c913e.jpeg)
![グラフ02](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3327019/8a811c46-b5bc-5ef6-5222-ba9dcf1b9bf3.jpeg)
![グラフ03](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3327019/a6d3e5d2-f4e3-e06c-3f5e-870c2f4347df.jpeg)
![グラフ04](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3327019/fc86f7e1-f3e5-5732-9374-31fe3c3daf0c.jpeg)


資料と回答で対応する部分を比較すると、必要な情報を抽出できていることが分かりました。

# おわりに
今回はリリースしたてのGPT-4oを利用したドキュメントの読解について検証しました。
とくに画像ファイルなども含めて様々な文書の内容をすぐに理解できるため、こういった文書を多数インプットしなければならない業務においては大幅な効率化が図れそうです。