OpenAI（4. 2022年ごろ：GPT-3.5, ChatGPT, DALL-E 2, Whisper）

本記事は下記の続きです。

https://qiita.com/akagi_hayato/items/65bb9b3b7d4d06aef47b


## GPT-3.5, ChatGPT
2022年3月、OpenAIはGPT-3.5を発表し、以前のGPT-3に比べて言語処理能力とコスト効率を大幅に向上させた[^308]。特に、長文の一貫性を保つ能力が強化され、コードの生成や数学的推論の精度も向上した[^309]。
そして、同年11月には、GPT-3.5とWebGPTのような会話型インターフェイスを用いたChatGPTがリリースされ、一般ユーザー向けに無料で提供された[^310]。リリース当初、OpenAI社内ではchatbotは機械学習の分野でも成功例がないもの（Facebook社のGalactica AIなど）で、ChatGPTをリスキーな研究プレビューと見なしていたこともあり、そこまで関心が向くとは想定していなかったが、リリースから5日以内に100万人のユーザー、日本からのアクセスでサーバーがダウンするなど非常に多くのアクセスを獲得することとなった[^501][^502]。ChatGPTの爆発的な人気により、サーバー負荷が急増し、OpenAIはインフラの強化を余儀なくされた[^318]。同年12月には、有料プラン「ChatGPT Plus」を発表し、ビジネスモデルの構築を進めた[^319]。  

> ChatGPT is scary good. We are not far from dangerously strong AI.
*Elon Musk* 　[post in 4:48 AM · Dec 4, 2022](https://x.com/elonmusk/status/1599128577068650498)

ChatGPTは、従来のルールベースのチャットボットとは異なり、大規模な事前学習と強化学習を組み合わせることで、自然な会話が可能になった[^311]。InstructGPTと同様に、RLHF（Reinforcement Learning from Human Feedback）を活用し、ユーザーのフィードバックを基にモデルを調整することで、より正確かつ安全な応答を提供することを目指した[^312]。ChatGPTの登場は、AIによるカスタマーサポートや教育分野での活用を加速させ、多くの企業がAPIを通じて導入を開始し、特にOpenAI社が出資を受けているMicrosoft社のEdge等の製品にも組み込まれる方向で進められた[^313][^504]。  

## DALL-E 2
2022年4月には、OpenAIはDALL-Eの改良版であるDALL-E 2を発表した[^314]。DALL-EがTransformerベースのモデルを利用していた一方、DALL-E 2はCLIPを埋め込んだDiffusionモデルを用いられており、画像の品質、解像度、忠実度が向上し、よりリアルで芸術的な画像を生成できるようになった[^315][^503]。DALL-E 2の大きな特徴は、「inpainting（塗り直し）」機能であり、画像の一部を削除・編集し、自然な形で補完する能力を持っていた[^316]。

>![](https://vitalflux.com/wp-content/uploads/2023/05/DALL-E-2-architecture-640x284.png)
[*How does Dall-E 2 Work? Concepts, Examples*](https://vitalflux.com/how-does-dall-e-2-work-concepts-examples/)

このようなOpenAI社の技術進展により、Microsoft社はがAzure OpenAI Serviceへのアクセスを拡大し、DALL-E 2をAzure OpenAI Serviceで提供開始した[^505]。

## Whisper
2022年9月、ASR（Automatic Speech Recognition）システムと称された、音声の文字起こし（Transcription）を行うWhisperというモデルが発表される[^506]。Whisperは、Transformerの構造（GPT2.0と同じ種類のByte-pair Encoding Tokenizer）に基づいており、68万時間分の音声データセットを用いて弱教師あり学習を行われた[^507]。既存の多くのASRシステムと比較して、アクセント・背景ノイズ・専門用語に対する堅牢性向上が見られ、複数の言語からの翻訳が可能などのあったが、主に研究者向けとされた[^508][^509]。
その後2022年12月に、構造はそのままにより大規模で学習され性能をアップさせたWhisper Large V2が発表され[^510]。

> ![](https://upload.wikimedia.org/wikipedia/commons/thumb/3/35/OpenAI_Whisper_architecture.png/2560px-OpenAI_Whisper_architecture.png)
[*Whisper (speech recognition system)*](https://en.wikipedia.org/wiki/Whisper_(speech_recognition_system))

[^306]: OpenAI. (2021). *DALL-E Explained.* Retrieved from https://openai.com/research/dall-e  
[^307]: OpenAI Blog. (2021). *Multimodal AI and the Future of Understanding.* Retrieved from https://openai.com/blog/multimodal-ai  

続きはこちら

https://qiita.com/akagi_hayato/items/1941705f2d107c39a1c5

[^308]: OpenAI. (2022). *Introducing GPT-3.5.* Retrieved from https://openai.com/research/gpt-3-5  
[^309]: OpenAI. (2022). *GPT-3.5 Model Improvements.* Retrieved from https://openai.com/blog/gpt-3-5-updates  
[^310]: OpenAI. (2022). *ChatGPT: Optimizing Language Models for Dialogue.* Retrieved from https://openai.com/blog/chatgpt  
[^311]: Ouyang, L., Wu, J., Jiang, X., et al. (2022). *Training Language Models to Follow Instructions with Human Feedback.* OpenAI. Retrieved from https://arxiv.org/abs/2203.02155  
[^312]: OpenAI. (2022). *Reinforcement Learning from Human Feedback in ChatGPT.* Retrieved from https://openai.com/research/rlhf  
[^313]: OpenAI API. (2022). *ChatGPT API Release.* Retrieved from https://openai.com/api/chatgpt  
[^314]: Ramesh, A., Dhariwal, P., Nichol, A., et al. (2022). *Hierarchical Text-Conditional Image Generation with CLIP Latents.* OpenAI. Retrieved from https://openai.com/research/dall-e-2  
[^315]: OpenAI. (2022). *DALL-E 2: More Realistic and Consistent Images.* Retrieved from https://openai.com/research/dall-e-2  
[^316]: OpenAI Blog. (2022). *Exploring Inpainting in DALL-E 2.* Retrieved from https://openai.com/blog/dalle-inpainting  
[^317]: OpenAI. (2022). *DALL-E 2 Commercial Use Policy.* Retrieved from https://openai.com/blog/dall-e-commercial  
[^318]: OpenAI. (2022). *Scaling Infrastructure for ChatGPT.* Retrieved from https://openai.com/blog/chatgpt-scaling  
[^319]: OpenAI. (2022). *ChatGPT Plus Subscription Plan.* Retrieved from https://openai.com/blog/chatgpt-plus  
[^320]: Microsoft. (2022). *Expanding Our Partnership with OpenAI.* Retrieved from https://blogs.microsoft.com  
[^321]: The Verge. (2022). *Microsoft Invests Billions in OpenAI.* Retrieved from https://www.theverge.com  
[^322]: OpenAI. (2022). *AI Integration in Microsoft Products.* Retrieved from https://openai.com/blog/microsoft-ai  

[^500]: [The Evolution of ChatGPT: History and Future](https://365datascience.com/trending/the-evolution-of-chatgpt-history-and-future/)
[^501]: [Inside the launch — and future — of ChatGPT](https://www.theverge.com/2024/12/12/24318650/chatgpt-openai-history-two-year-anniversary)
[^502]: [The inside story of how ChatGPT was built from the people who made it](https://www.technologyreview.com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/)
[^503]: [Two years after DALL-E debut, its inventor is “surprised” by impact](https://venturebeat.com/ai/two-years-after-dall-e-debut-its-inventor-is-surprised-by-impact/)
[^504]: [OpenAI had a 2-year lead in the AI race to work 'uncontested,' Microsoft CEO Satya Nadella says](https://www.businessinsider.com/openai-2-year-lead-ai-race-chatgpt-microsoft-satya-nadella-2024-12)
[^505]: [The Microsoft – OpenAI Partnership](https://www.aranca.com/assets/docs/Special%20Report_Microsoft-OpenAIPartnership.pdf)
[^506]: [Introducing Whisper](https://openai.com/index/whisper/)
[^507]: [Robust Speech Recognition via Large-Scale Weak Supervision](https://cdn.openai.com/papers/whisper.pdf)
[^508]: [Focus on Whisper, OpenAI’s automatic speech recognition system](https://www.actuia.com/english/focus-on-whisper-openais-automatic-speech-recognition-system/)
[^509]: [Model Card: Whisper](https://github.com/openai/whisper/blob/main/model-card.md)
[^510]: [Announcing the large-v2 model](https://github.com/openai/whisper/discussions/661)