エグゼクティブのための生成 AI 講座
その１ LLM（大規模言語モデル）とは何か
副島 豊（SBI 金融経済研究所・研究主幹）

生成 AI、とくに LLM（大規模言語モデル）

か、そうした技術面に踏み込んだ記事を経営を金融ビジネスに活用し、１）既存業務の効層やビジネス現場に向けて提供したものは率化や高度化を図ること、２）新しい金融サ少ない。

ービスを創造すること。日々様々なニュースリリースが出ているように、多くの金融機関がこの課題に取り組んでいる。

ネットには膨大な一次情報（技術開発者/社が提供する使用法や解説）や利用者が作成した解説記事があるが、殆どは開発者向けのも競争力の強化や新しい収益源の模索に直結のである。書籍として ChatGPT の使い方指するものであり、他社がやって自社がやらな南書などが多数出版されているが、個人が生い状態が続けば、やがては競争力や顧客基盤、 産性を向上させる目的のものが多く、ビジネひいては収益力が失われていく。2000 年代

ス展開というサービス提供側の視点に立っ初期のネットバンキングやネット金融サーたものは少ない。

ビスの幕開け期に近いのかもしれない。

そこで本稿では、エグゼクティブ向け・ビジ

生成 AI は、ハイプサイクルの盛り上がりとネスパーソン向けに、LLM とは何か、どの幻滅期を通過しつつ、スマートフォンやキャような技術が使われ、どう実装されているのッシュレス決済のように着実に企業活動やかを、技術面に踏み込みながら、かつできる社会生活に定着し、金融ビジネスにおいてもだけ平易に解説することを試みた。紹介すべ当たり前のように使われる技術となっていき情報量が多いため、シリーズ形式で掲載す

こう。

る。

金融機関では「生成 AI への取り組みを」というトップダウンの号令がかかり、各事業部門も何に使えるのか、どのようなビジネスモデルが可能となるのか、技術キャッチアップと活用のトライアルを続けている。こうした事業アイディアや実装の試み、その成果を取り上げた記事も多く出ている。
その一方で、生成 AI がどのような仕組みで動いているのか、どうやって顧客向けサービスを提供するシステムを構築すればいいの

FERI INFORMATION (23.11.10)
Copyright ©2023 SBI Financial and Economic Research Institute Co., Ltd. All rights reserved

1

LLM とはを学習用に作成するのは大変であるが、文章サンプルでは次にくる言葉は既に分かってLLM とは何か。端的にいうと、この言葉がいる。しかも、切る場所を変えれば１文で多きたらこんな言葉が続く可能性が高い、このくの学習用問題が作れる。

話の流れからはこのような展開になるだろう、こんな話や指示が振られているからこの内容を返すのが適切そうだ、そうした適切な言葉の繋がりを確率計算で求め、次にくる言葉を連続的に生成することで文章を作り出すモデルが LLM である。本当にそのようなアプローチで上手く文章が作れるのか直感的には疑問であるが、とても上手くいったというのが LLM の衝撃的な誕生と発展のストーリーである。

日本語 Wikipedia では 140 万近い項目について膨大な解説文がある。Wikipedia は文章や言葉の使い方を大規模に収集した「コーパス」の代表例として LLM の学習に利用されてきた。また、ネットにある膨大な文章を集めて整理した更に大規模なコーパスも複数ある。例えば、国立情報学研究所（NII）が 10
月 20 日に公開した LLM-jp-13B では、パラメータ数 130 億、学習データとしては約3000 億トークンを利用している（トークン

こうしたアプローチが可能となるためには、

は後述、日本語では１トークンは概ね１文字

膨大な文章を学習情報として収集し、文章のに相当）。

パターン性を精緻に学習する必要がある。ある話の流れがあって次にくる言葉を適切に選ぶといった場合、その「適切」とは何を意味するのか。

まとめると、LLM とは、自然言語を生成するプログラムを、大規模な学習データを用いて、大規模なモデルとして作成したものである。

教師（正解）あり学習モデルでは、学習用の膨大な文章において言葉があるパターン性をもって並んでおり、その並び方、登場の仕方、組み合わせ方、前の受け方、後ろへの続き方などを上手く模倣できることが「適切」を意味する。次にくる確率が最も高い言葉を適切に選ぶようモデルのパラメータを設定していくことが自然言語モデルにとっての「学習」であり、人間の学習のイメージのように知識や体系を学ぶ・記憶する行為とは概念的に異なる。

ChatGPT と LLM の関係

画像情報からそれが何であるかを判別する

生成 AI では OpenAI 社の ChatGPT が有名

学習では正解データが必要となる（犬の写真である。OpenAI 社の Web サイトを訪れ、に犬というラベル、トイプードルの写真にトWeb アプリケーションサービスとして利用

イプードルというラベル）。この膨大な情報する。同社は他の様々な LLM を開発・提供

FERI INFORMATION (23.11.10)
Copyright ©2023 SBI Financial and Economic Research Institute Co., Ltd. All rights reserved

2し続けており、ChatGPT サービスの裏側で記述が大量にあり、A といえば B が出てくる

動いているのはこうした LLM であり、そのように学習結果がパラメータに反映されて最新型が GPT-4 である。SaaS として Webいるのでなければ、文章として尤もらしいがアプリケーションサービスを利用する以外内容は嘘という現象は当然生じる。元になるに、OpenAI 社のサーバに API でアクセスし、情報がなければ適切な回答は返せない。こう特定の LLM を指定して利用することもできした汎用 LLM の限界を改善していく方法とる。

して様々なアプローチが提案され、実用化さLLM には、チャットが得意なもの、日本語が得意なもの、特定専門分野に特化したもの、れている。この話はシリーズの後半で解説する。

文章を数字に置き換えるという前処理を行うのが得意なものなど様々な種類がある。また、例えば GPT-3 といってもモデル規模や性能進化に応じて種々なバリエーションが存在している。Google や Meta ほか様々な企業が LLM を開発しており、日本でも日本語の文章処理能力を高めた多くの LLM が開発され続けている。
モデルとパラメータをオープンソースとして公開した LLM も少なくない。こうした
LLM は、パブリッククラウドや自前のサーバにシステムを構築することができる。軽量なものはノート PC でも稼働する。オープン
ソースとして公開されてはいないがパブリ
ッククラウド上で LLM を活用したシステムを構築できるようサービス提供されているものがある。Azure OpenAI がその代表例である。
ところで、ChatGPT が注目され始めた当初、Google 検索エンジンのように調べものに使った結果、嘘を教えられた、あれはダメだという話がよく聞かれた。LLM は文章の展開が尤もらしくなるよう単語や文を並べているだけであり、その尤もらしさが事実である保証はない。
学習に用いたコーパスにその事実に関する

LLM のベースはニューラルネットワーク
ここまでの説明で「モデル」という言葉を使ってきたが、LLM のベースにあるモデルの先祖はニューラルネットワーク（以下、NN）である。1980 年代前半に登場し、第二次 AIブームを牽引した NN は、脳のシナプスの構造を単純化して表現したモデルであった。
次図のようにインプットとアウトプットを中間層を使って繋ぎ、アウトプットが正解と合致するようパラメータを調整する（学習する）仕組みである。例えば、植物のアヤメの特徴を現すデータとして花びらやガク片の長さと幅のデータがあったとする。これがインプットで、アウトプットがアヤメの種類である。花びらやガク片のデータから種類を正しく言い当てられるよう NN のパラメータが推計される。
金融分野ではデフォルトの判別分析や格付けモデルがこれに近く、データによる判別機械といえる。ちなみに判別分析は機械学習の最も代表的な用途であり、NN 以外にも様々なモデルが考案されている。
計量経済学でも質的選択モデル/離散選択モ
デルとして昔から開発されてきたが、NN は

FERI INFORMATION (23.11.10)
Copyright ©2023 SBI Financial and Economic Research Institute Co., Ltd. All rights reserved

3