エグゼクティブのための生成 AI 講座
その２ ニューラルネットワークによる単語の分散表現
副島 豊（SBI 金融経済研究所・研究主幹）

LLM の発展をもたらした技術要素係を個々に数字で表現していくと、関係性をイノベーションという概念を産み出したシり非常に効率が悪い。当初は、実際の文章にュンペーターが実際に使った言葉は新結合であった。既存の技術やアイディアなどが結びつくことで新しいものが創造されるという考え方である。自然言語モデルのイノベーションにおいても、いくつかの重要な技術要素の発展とこれらの新結合があった。
その代表的なものとして、①言語の数値化・表現する情報は 100 万ｘ100 万の行列とな出てくる単語の「離接」関係をそのまま情報として用い、単語をベクトル表現化するアプローチが採られた(1)。
エポックメイキングになったのは word2vecというモデルの登場である。これは、前後の複数の単語から間にある単語を推測する、あるいはある単語から前後の複数の単語を推ベクトル化（分散表現あるいは埋め込み表現） 測するという推論問題を NN に学習させ、推への NN 学習手法の応用、②時系列データを定されたパラメータから各単語をベクトル扱える NN（RNN）を LLN に応用、③系列変換モデル（seq2seq）に対する Encoder/Decoder モデルの応用、④文意をとらえるAttention 機構の導入、⑤スケール則の発見（モデルやデータの規模拡大による性能向上の法則性）があげられる。まず、言語の数値化から説明する。

表現する手法である(2)。ベクトル化することで以下のような言葉の計算が可能となる。
東京－日本 ＝ パリ－フランス
これは、概念上の情報処理ではなく、数字の計算として成立している。各単語が２次元空間に埋め込まれてベクトル化されていると言葉を数値化し関係性を表現する
モデルは数字を使う。そのため自然言語モデしよう。日本やパリという単語は図 1 に示したベクトルとして表現できる。定式の左辺は図中の太い青矢印ベクトルであり、これは右ルでは、まずは言葉を数値化する必要がある。 辺（オレンジで示した２つのベクトルの差）
単純なアプローチとして単語に ID を振る方法が考えられるが、膨大な量になるだけでな
く、文章に内在する単語間の関係性をどのように効率的に表現するかという問題に直面する。仮に単語が 100 万語あって、単語１と残りの単語２～単語 1,000,000 までとの関と同一となっている。青矢印は首都という単語のベクトル表現に相当する。学習対象のコーパスに「日本の首都は東京である」「フランスの首都はパリである」といった文章が存在することで、５つの単語の関係性を分散表現で表すことができる。

FERI INFORMATION (23.11.10)
Copyright ©2023 SBI Financial and Economic Research Institute Co., Ltd. All rights reserved1

るとベクトル表現（行列表現）は 100 万ｘ数生成モデルとしての LLM 発展の起点のひと百まで圧縮される。単語の分散表現ではこうつとなった RNN を説明する。自然言語モデした次元圧縮によって、LLM の性能向上やルに時系列データを扱える NN を適用する計算コスト削減をもたらしている。

ことで言語生成モデルを作り出している。
なお、ベクトル表現のモデルは言語生成のLLM と並行して発展を続けており、有名なものとしては FastText や ELMo がある。
ELMo では RNN の拡張版である LSTM（後述）を用いて、文章全体の情報を基づき単語をベクトル表現化し、かつ１つの単語に 3 つのベクトル表現（各々1024 次元）をもたせることで多義語対応などパフォーマンスをword2vec の限界改善している。ELMo は他のベクトル表現モデルを補完する用途で提唱されたが、単独で言語のベクトル表現に効率性をもたらした利用することもできる。

word2vec であったが、学習対象のコーパス

ChatGPT で知られる OpenAI もベクトル表に含まれる単語数が 100 万のように大きなものになると計算量は膨大なものとなる。このため、Negative sampling のような計算の効率化手法が必要とされた。
また、単語の隣接関係に基づく推論問題から算出されるため、位置関係より更に複雑な文脈の流れや、複数の意味や読み方を持つ文脈依存の多義語を扱うのが不得意であった。な

現に特化した LLM を開発し続けている。例
えば、GPT-4 や 3 では、text-embeddingada-002 というベクトル表現に特化した軽量高速のモデルが用いられている。LLM において言語や文書のベクトル表現化は、LLMの入り口（と出口における数値の言語復号）で行われる言語の数値化という極めて重要な役回りを果たしている。

によりも、word2vec は言語を生成するモデルではなく、単語をベクトル表現する装置であり、生成 AI の実用化はその後の LLM の発展があってのことであった。
LLM の発展には、単語が意味ある順序で並んでいるという文章の時系列データ的特性を表現するモデルが必要であった。株価の時系列データを並び替えると意味がなくなる

出所：筆者作成のと同様、単語も文書内でランダムに並び替えることはできない。その意味で文書は単語の時系列データである。次の記事では、言語（その３に続く）

FERI INFORMATION (23.11.10)
Copyright ©2023 SBI Financial and Economic Research Institute Co., Ltd. All rights reserved3

文末脚注(1) 単語がどのような隣接関係をもって頻繁に登場するかを数えた共起行列や、その改善版の PMI（相互情報量：
Pointwise Mutual Information）は、カウントベースのベクトル表現と呼ばれる。文章を構成する単語数に相当する高次元行列となるため、特異値分解という次元圧縮方法が使われる。
(2) NN へのインプットには各単語に割り当てられた one hotベクトルが用いられる（単語１は{1,0,0,…}、単語２は{0,1,0,…}、単語３は{0,0,1,…}、以下同様）。これは、単語に ID を振るのと実質的に同じである。各ベクトルは直行関係にあるため、one hot ベクトルの組み合わせで他のone hot ベクトルを表現することはできない。このため
NN のパラメータ（行列）に単語間の関係情報を集約することができる。推論問題はこの行列情報を得るための手段として設定されている。word2vec はシンプルな NN を用いており、推論結果表示のための確率表現以外のところでは行列演算を行っているにすぎない。図 1 に示したような単語ベクトルの線形演算が可能であるのは、このようなモデルの線形性に起因する。
(3) 一般には、転移学習とは、あるタスクのために学習させたモデルが、他のタスクにも転用可能であることを指す。
例えば、文章の分類問題や要約作成、翻訳、賛成反対の判断、感情分析、対話生成など、LLM には様々なタスクが考えられるが、翻訳用に学習させた LLM が対話生成や要約作成にも高い能力を発揮するという汎用性を有する場合がある。あるいは、比較的少ない追加学習データや学習コストによって高い能力を持たせることが可能となる。
この特徴は LLM の実用化に重要な役割を果たしている。

FERI INFORMATION (23.11.10)
Copyright ©2023 SBI Financial and Economic Research Institute Co., Ltd. All rights reserved4