Attention Is All You Need
生成系AIの深層学習での革新
Generative Pre-trained Transformer

2023-04-27 by K.Matsumoto with the help of GPT-4

自然言語処理NLPが対話に特化したLLMを実現するまで◆ 2012年～

深層学習の普及：画像処理にはCNN (Convolutional Neural Network)が使われるケースが多かった
自然言語処理にはRNN (Recurrent Neural Network)が使われるケースが多かった◆ 2017年～
深層学習の革新：畳み込みや再帰を使わない（CNNやRNNを完全に不要にする）
シンプルなネットワークTransformer（言わば変換器）のみを使う
Transformerはデコーダー/エンコーダー構造を基本としている
TransformerはSelf-Attention層とPosition-Wise層の組み合わせで動く◆ OpenAI社の独自成果
深層学習の進化：教師ありファインチューニング
Reward Model学習
RLHF (Reinforcement Learning from Human Feedback)
学習規模と質の進化：GPT-3 ⇒ InstrructGPT ⇒ ChatGPT ⇒ ChatGPT Plus
対話（チャット）に特化：間違いを認めることができる
正しくない前提に対する異議を唱えることもできる
不適切なリクエストには応じない◆ NN (ニューラルネットワーク) の基本形
入力層

中間層

…
…
…

出力層

中間層

出力層

◆ CNNの構造の概要◆ RNNの構造の概要
入力層

…
…
…

◆ 論文”Attention Is All You Need”➢ 複数のGoogleエンジニアが担当した論文です。
➢ Google社内での研究成果を一つにまとめた体裁となっています。
➢ Google社はこれを積極的に事業展開に結び付ける動きはしませんでした。（翻訳とかに使う程度…）

◆ Transformerのモデルアーキテクチャ

1.エンコーダ

3.位置
エンコーディング

4.埋め込み層

2.デコーダ3.位置
エンコーディング

4.埋め込み層Position-Wise層

Position-Wise層

Self-Attention層

Self-Attention層

Self-Attention層

Position-Wise層

Position-Wise層

⚫

GPT-1

⚫

GPT-2
⚫

GPT-3
⚫

InstructGTP⚫

ChatGPT (GPT-3.5)⚫

ChatGPT Plus (GPT-4)

GPT-1 (2018年)➢1.17億個のパラメータ数です。

➢

単語の文脈を理解する能力を持っていました。

➢

生成したテキストの一貫性や精度には制限や問題がありました。

GPT-2 (2019年)➢

15億個のパラメータ数です。

➢

文章の生成、質問応答、翻訳、要約など、さまざまなタスクに適用可能です。

➢

情報の正確性や偏りに問題がありました。

GPT-3 (2020年)➢

1,750億個のパラメータ数です。

➢

より深い文脈理解が可能になりました。。

➢

多くのタスクを少数の例で学習結果から導き出します。(Few-Shot Learning)

InstructGPT (2022年)➢GPT-3がベースとなっています。

➢

より具体的な指示に従ったテキスト生成能力が強化されています。

GPT-3.5ベースのChatGPT (2022年)➢

自然な対話を生成して、ユーザーの質問や要求に応答することに特化しています。

➢2022年11月に一般公開しました。

➢APIが利用可能となりました。

GPT-4ベースのChatGPT (2023年)➢

約100兆個のパラメータ数です。

➢

プラグインが使えるようになりました。

⚫

Common Crawlから抽出したコーパス（n個の単語で1コーパス）を用意します⚫

以下の目的関数（対数）でコーパスの文脈を生成できるようにφを最適化します⚫

InstrusctGPTは、GPT-3のLLMで「人が好まない文を生成してしまう」というアラインメントの問題を解決するためのプロジェクトです。

⚫

PPO（Proximal Policy Optimization）という3ステップのオンポリシー強化学習を実施しました。
➢

学習ステップ１：教師ありファインチューニング（Supervised Fine-Tuning, SFT）を学習する➢

学習ステップ２：あらかじめファインチューニングされたReword Modelを学習する➢

学習ステップ３：強化学習RLHF (Reinforcement Learning from Human Feedback) で報酬関数（reward function）を最大化するように学習する

スーパーバイザーポ
リシーとして1.3万ケースほどを学習

評価軸は：Truthfullness（真実性）
Harmlessness（無害性）
Helpfulness（有益性）

評点ではなくランキングを学習する

Open AI社の昨年11月30日付のアナウンスによると…
『ChatGPT は InstructGPT の兄弟モデルであり、プロンプトの指示に従い、詳細な応答を提供するようにトレーニングされています。』

学習メカニズムの説明も…
InstructGPTと同等でした。

生成系AIは…
まず2021年に画像生成AIでブレークしました。
そして2022年からChatGPTのようなテキスト生成AIがブレークしています。
どちらも依頼を書いて投入すると…
専門の人が対応したかのような高品質の結果が生成されて返ってきます。
専門の知識を必要とするような仕事をAIが肩代わりできるようになっていくわけで…
これからも加速度的に精度が上がって既存ビジネスでの人の作業を置き換えていくでしょう。
これはまだほんの序の口です。
現在のAIの応答出力はコンピュータスクリーン上にしか出力できませんが…
しかしAPIとPluginsが登場して半年を待たずにText2Textを超えて続々と派生AIが登場…
Auto-GPT、AgentGPT、GitHub Copilot、Creative Reality Studio、HuggingGPT…

これからの『リスキリング』はプロンプトエンジニア？

Attention Is All You Need

https://arxiv.org/pdf/1706.03762.pdf

Attention Is All You Need

https://github.com/soskek/attention_is_all_you_needLanguage Models are Few-Shot Learners

https://papers.nips.cc/paper_files/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf

Training language models with RLHF

https://arxiv.org/pdf/2203.02155.pdf

Labor Market Impact Potential of LLM

https://arxiv.org/pdf/2303.10130.pdf

ChatGPT plugins

https://openai.com/blog/chatgpt-plugins