ChatGPT革命
ChatGPT Revolution
国立研究開発法人産業技術総合研究所

辻井

フェロー

潤一

国立研究開発法人産業技術総合研究所 フェロー、英国マンチェスター大学教授、国際計算言語委員会（ICCL）委員
長、AAMT ／ Japio 特許翻訳研究会委員長

1

前史

モデルの巨大さにもかかわらず、大規模な GPU クラス
ターを使うことで学習時間を実用可能な範囲に収める

OpenAI が昨年 11 月に発表した ChatGPT は、そことができた。このトランスフォーマーに関する論文をの能力の高さから AI 技術の研究開発や応用の世界を大Google Brain が発表したのは 2017 年であり、その後、きく変革し始めている。AI は、過去にも大きな出来事

この計算枠組みは、わずか 5 年の間に様々な分野で活によりその在り方が大きく変化してきた。ChatGPT 革用されることになった（参考文献２）。

命 の 前 に は、2015 年 の Google 傘 下 の DeepMind
による AlphaGo があった。

例 え ば、Google 傘 下 の DeepMind が 2018 年、2020 年 に 発 表 し た AlphaFold1、AlphaFold ２ は、2015 年は、日本政府が AI 技術の重要性から、AI

タンパク質構造予測の精度を画期的に改善し、生命科学

研究センターを産総研に設立し、私がそのセンター長の研究分野を革命的に変化させた。この画期的な性能をに就いた年である。その年の秋、AI のシンポジュムで示した AlphaFold2 は、トランスフォーマー技術に基ソウルに滞在していた時、AlphaGO と韓国のプロ棋づく（参考文献３）。

士が対戦しており、AlphaGo が勝利した。この出来事
が、シンポそこのけの大きな話題となっていた。このAlphaGo は、深層学習の大きなうねりを象徴するもの

2

となった。

ChatGPT を 開 発 し た OpenAI 社 は、2015 年

実 際、AlphaGO の 出 現 の 前 か ら、 私 の 専 門 とに 設 立 さ れ る。 彼 ら は、AGI（Artificial General

す る 機 械 翻 訳 の 分 野 で は、 深 層 学 習 は 単 純 な CNNIntelligence）という、特定分野の知能ではなく、人間（Convolutional Neural Network） か ら、 単 語 列 の知能と同じように幅広い分野で知的な能力を示す汎用知もつ構造を取り扱うための RNN（Recursive Neural

能の実現を目指す、としていた。同社の設立には、テス

Network）、LSTM（Long Short Term Memory）とラの E. マスク氏も大きな役割を果たす。

いった、さまざまな深層学習技術の進化形が提案され、た だ、 マ ス ク 氏 は、2018 年 に OpenAI 社 か ら

ニューラル翻訳の研究が、盛んになっていた。この深層

手 を 引 く。 理 由 は 定 か で は な い が、Google 傘 下 の学習の変革の極め付きが、ChatGPT の技術基盤である

DeepMind や Google Brain1 が前述のような画期的

トランスフォーマー（Transformer）であった（参考な成果を上げているのに対して、OpenAI が沈滞して

文献 1）いるとの印象を持ったため、という人もいる。そのトランスフォーマーは、無限定的な文脈を参照するために巨大なモデルとなるが、並列処理が可能なことで、

10

商業的な価値と競争

1

この２つのグループは、本年 3 月に Google DeepMindに統合された後、OpenAI は、 マ イ ク ロ ソ フ ト な ど の 援 助 を受け、（テキスト）が必要になる。後述するように（3 節参照）、

ChatGPT という、画期的なシステムを発表する。

LLM の基本機能は、特定なテキストが与えられたとき、それに続く自然な後続テキストを予測すること、であ

大きく変えるだけでなく、言語での会話を通してプロる。「自然な」後続テキストの予測には、実際に人間がグラム作成を行うなど、サイバー空間での AI 技術を大使っている言語テキストを使う必要がある。すでに世にきく変革している。Web 検索、チャットボット、ある存在するテキストで学習するので、テキストに含まれる

いは AI 技術一般が持つ膨大な市場性から、ChatGPT

個人情報やテキストの著作権の問題が生じる。しかも、が 出 現 し た 直 後 か ら、Google や Amazon、Apple、

ChatGPT のように自らが新たなテキストを作り出す生Meta（Facebook）、中国の IT 企業らが一斉に、その成型 AI（Generative AI）の場合には、学習テキスト基盤となった大規模言語モデル（以下、LLM：Largeに類似したテキスト（あるいは、部分的には同じテキス

Language Model、GPT は LLM の典型的なもの）のト）を自らが作りだしてしまうことから、個人情報・著

開発に乗り出している。マスク氏も、より信頼性の高い作権の問題はより深刻になる。

特別寄稿

ChatGPT は、Web 検索、チャットボットの世界を

LLM の開発に投資を行うとアナウンスするなど、過去の経緯から見ると皮肉な状況となっている。
昨今、ChatGPT 的な技術の大きな可能性とともに、懸念も表明されている。技術的には、

3

LLM とトランスフォーマー技術、
生成 AI

言語モデルとは、どういうものかをすこし説明しておこう。

（１）数百億から千億個を超えるパラメータを持つ

図１は、言語モデルの簡単な例である。
「英国の首都は」

LLM の内部動作が不透明なブラックボックスにという先行文脈があると、「パリである」や「東京である」

なっていること、に比べて「ロンドンである」の確率が高くなる。先行文（２）膨大なパラメータを調整する学習ために、大規脈から後続するテキストが予測できる。先行文脈を長く模な言語データや大きな計算リソースを必要とする

とると、その予測の精度が上がるが、長い先行文脈がどことのように後続テキストの生成に影響するかを学習するた（３）ハルシネーション（hallucination―幻覚現象）、
誤情報など、信頼性に欠けること

めには、膨大な学習データが必要となる。
確率言語モデルは、語の並び方の自然さを確率でとらえる。例えば、（apples,eat,people）という単語組がある。

が あ る と、<people・eat・apples> が <people・

この技術の巨大な市場性から、LLM 構築を行う企業

apples・eat> とか <apples・people・eat> とかのが技術の囲い込みを目指す傾向もあり、技術のブラック

並びよりも確率が高くなる。英語では、名詞・動詞・名

ボックス性が顕著になっている。また、膨大な数のパ詞の並びが名詞・名詞・動詞よりも自然という文法規則

ラメータを最適に調整するためには、大きな学習データ

が、確率的言語モデルに反映される。また、<apple・

図1

確率言語モデル（岡崎直観教授：東工大提供）

YEAR BOOK 2O23

11

eat・people> よ り も <people・eat・apple> の ほ

した先行文脈への注視機構という意味で、自己注視機構

うが確率が高くなるだろうから、「人間が果物を食べる」（Self-Attention）という。先行する単語並びが持つ言

ほうが「果物が人間を食べる」よりも自然であるという、語構造を計算機構に取り込もうとした RNN や LTSM

いわば、世界に関する知識も言語モデルに反映される。

に代わって、単語の並び方をいわば無視して、すべてを

このような確率言語モデルが、機械翻訳での自然な注視機構で統一的に取り扱う（参考文献１）。

訳文を出力するのに有効なことは、想像できるだろう。

トランスフォーマーは、この自己注視機構により、単日本語文「人々はリンゴを食べる」を英語に訳する

一言語の言語モデルにおいても、無限定的に長い文脈か

場 合、( 人 々 :people)・（ 人 々：boys） …（ リ ン ゴ：

ら後続する自然な言語表現を生成する強力な言語モデル

apple）..、（ 食 べ る：eat）（ 食 べ る :have）.. と い っとなった。たとえば、日本語での長い対話の系列から、た単語対応が持つ確率と英語での単語並び <people・

それに後続する自然な対話系列を生成することも同じ言

eat・apples>、<eat・people・apples>、<boys・語モデルで取り扱える。

apples・eat> の確率の積が最大になるものを選択す

また、翻訳における入力文は、LLM が生成する出ればよい 。
文法や知識といったものを規則として明示的力を制御している、とみることができる。入力文中のに取り扱う必要はない。統計的機械翻訳は、これらの確<apple> は出力中の < リンゴ > を出すこと、また、率を大規模なテキスト集合から計算する。これに対して、<people・eat・apples> という入力文は、< 人々は・

ニューラル翻訳は、この確率に相当するものを計算する

リンゴを・食べる＞を出力せよ、という指令をトランス

ニューラルネットワークを学習によって構築する。

フォーマーに与えている。入力を LLM への指令とみる

2

翻訳では、翻訳の相手言語（出力文）を生成するときに、それまでに生成した先行文脈を使って次に続く自然な表立場は、現在、プロンプト・エンジニアリングとして積極的に使われている（７節）。

現を選択する。翻訳は、それだけではなく、入力文が出力の生成過程を制御している。たとえば、<people・
eat> の後に orange や fish ではなく、apple を選択

4 トランスフォーマーの訓練するのは、入力文 < 人は・リンゴを・食べる > の「リもちろん、この小文でトランスフォーマー技術の詳細

ンゴ」があるから、である。この部分が「魚」であれば、は述べられない。たとえば、前節では、単語そのものが後続は fish となろう。このように、翻訳文の生成では、取り扱われるように説明したが、実際は、単語の特徴をそれまでに出力された先行文脈だけでなく、入力文の特とらえた分散表現（ベクトル）が基本となる。また、ト定の部分（この例では、「リンゴ」）が後続表現の選択に

ランスフォーマーの計算が高次元の行列演算となり、こ影響をもつ。この入力文のどの部分を見るかを示す機構の演算が GPU での高速並列処理で可能なことなど、重は、注視機構（Attention）と呼ばれる。

要な技術的革新は割愛した。これらの特徴から、トラン

当初の RNN や LSTM を使ったニューラル翻訳では、

スフォーマーは、

この注視機構は、後続表現を出力する際に入力文のどの部分に注目するかを特定するために使われていた。現在の LLM は、この注視機構をそれまでに出力されている
先行文脈から後続表現を選択するのに適用する。それまでに出力された先行文脈は後続表現の選択に影響を与え（１）無限定的な文脈を取り扱いながら、実現可能な計算時間で実現できる技術（２）単語を基本とする言語モデルだけでなく、画像や音声の処理といった汎用の計算枠組み

るが、その影響は必ずも直前の文脈だけではない。後続する言語表現の生成に、表面上は任意に離れた表現の影
響をとらえる機構として、注視機構を使う。自らが生成となった。
トランスフォーマー技術は、翻訳の場合、入力（翻訳の場合は、入力文）を出力（翻訳の場合は、翻訳文）に

2

12

簡略して説明しているが、実際には原文と翻訳文との間での並びとしての対応の仕方（アライメント）の確率も掛け算される

変換する変換器であった。対話の系列（入力）から、それに後続する対話系列（出力）を生成するのも、変換

特別寄稿

図2

ChatGPT の 3 層構造器である。前節のプロンプトで述べたように、現在の学習済み言語モデルではあるが、翻訳や要約、対話のよ

ChatGPT では、入力はトランスフォーマーへの指令のうな特別なタスク用にこの能力を使うためには、そのた役割も担っているが、入力を出力に変換するという基本

めの訓練する必要がある。

の枠組みは変わっていない。

事前学習モデルは、多様なタスクに対応できる基礎的

ChatGPT は、この変換器で作られた LLM（すなわち、な能力は持つが、その能力を特定のタスクに使うには訓GPT）を基盤にする。ただ、大規模な LLM があれば、練が必要である。この訓練を行う層が、図中の第 2 層

現在我々が目にする ChatGPT が即座に実現できるわである。第 3 層はトランスフォーマーへの変換の指示けではない。

を入力に入れ込む層（プロンプト・エンジニアリングの

図２に、ChatGPT の 3 層の構成を示す。GPT は、層）である（7 節）。

入力を先行文脈としてそれに後続する自然な表現を生成

第 2 層の訓練は、機械翻訳の場合には、正解例（すする基本の機能を持つ。機械翻訳では、入力文と出力文

なわち、人間の翻訳家が作った翻訳対の集合）を学習デーの対を大量に用意することで、変換器（トランスフォー

タとして与える。特定タスクの正解例を与えて訓練するマー）を翻訳というタスク用に訓練する必要がある。同ことは、調整（Fine Tuning、略して FT）と呼ばれる。

じように、たとえば、長いテキストからその自然な要約

特定のタスク用の調整には、そのタスク用の正解データをするタスクを実現するには、そのタスク用に LLM をを用意する必要がある。翻訳では、人間の翻訳家が作っ訓練する必要がある。

た翻訳が大量にあるので、これを使うことができる。

GPT（Generative Pre-Trained Transformer）のこれに対して、長いテキストの抄録、対話での応答

Pre-Trained は、事前学習済みの意味である。GPT は、などのタスクでは、正解データがあまりない。また、そ自然な表現を作り出す能力をあらかじめ訓練された事前もそも、抄録や対話の応答文として何がよい抄録や応InstructGPT
Fine Tune した GPTGPTモデルの大きさ

図3

訓練の効果

YEAR BOOK 2O2313

答文なのかは明確でない。OpenAI では、システムが作前節で述べた FT や RLHF による Alignment 過程も、り出す抄録を人間に比較させて判断させ、その判断に大きなコストがかかる。LLM の自己教師学習に比べる合うように強化学習で LLM を調整している。OpenAIと、人的なコストが大きく、OpenAI の Alinment チーは、これを「人間（Human）からの Feedback を使っ

ムには、LLM の構築チームとほぼ同じ規模となっていた 強 化 学 習（Reinforcement Learning）」（ 略 し て、る。

RLHF）と呼び、正解データの作成コストを削減し、良「AI システムの価値を人間の価値に合わせる」といっい成果が上げられたと報告している。

ても、人間の価値も一色ではなく、さまざまである。例

FT や RLHF による LLM の訓練過程を、「LLM の挙

えば、RLHF での出力の優劣の判断も、政治的・人種的・動をそのタスクに対して人間が持つ価値観に合わせる」

ジェンダー的なバイアスがかからないように、判断するという意味で、すこし大げさな言い方で、「LLM と人間

人間を訓練したり、不適切な作業者は除いたり、する必の価値観を合わせる過程」（alignment 過程）と呼ぶ。

要がある。

実 際、 こ の Alignment の 効 果 は 大 き く、Alingment

OpenAI では、ChatGPT の実ユーザの挙動をモニした比較的小さな LLM（1.3Billion パラメータ）の方

ターし、要求されるタスクに応じて FT、RLHF によるが Aligment していない大規模 LLM（175Billion）よ訓練を行っている。この部分に大きな力を注ぐことで、りもユーザ満足度が高かったとの報告がある（参考文献

ChatGPT の優れたパーフォーマンスが達成されている

4）（図 3）。

ようである。実際、他所で構築された同規模の LLM と比べると、例えば、長いテキストの抄録作成などのタ5ブラックボックス、コスト、
バイアス

ChatGPT の 最 下 層 GPT と 呼 ば れ る LLM は、
GPT3 で 1750 億の内部パラメータを持つ。この大量

スクで、ChatGPT は明らかにより優れた性能を示している。実ユーザの挙動に合わせた第 2 層の訓練、第 3層でのプロンプティングの作成が、ChatGPT のパー
フォーマンスを支えている。

のパラメータが GPT ３の動作を規定するが、それらをデータ洗浄、LLM の学習、訓練層での学習データなど、人間が解釈することは不可能である。GPT3 は、人間（設いずれも、大きな計算コストと人的なコストがかかる。

計者）がその内部の動きを理解できず、巨大なブラック

このこととから、現在のところ、ChatGPT に追従したボックスとなる。

技術開発は、巨大 IT 企業にのみ可能なものとなっていこの大量のパラメータの学習には、FT や RLHF のよる。さらに、技術の市場価値の大きさやテキストデータ

うな人手による学習データの構築は必要ではない。世にの著作権・個人情報の問題から、これらの巨大企業によ存在する膨大なテキスト自体が、人間が作った正解としるデータや技術の囲い込みがおこっている。これが、巨て存在し学習データとなる。その正解が生成されるよう大な LLM のブラックボックス性をさらに悪化させていにパラメータを調整すればよい。データそのものが教師る。

になり、正解データを必要としない自己教師学習（SelfSupervised Learning）が可能である。

現在、多くの公的機関、一部の企業がこのブラックボッ
クス性に対抗して、オープン性・透明性を強調した技術

ただ、この学習には、膨大なテキストが必要となる。

開発を行いつつある。技術の負の側面を解消する技術研

この膨大なテキスト集合が、内部の機構はわからないが、究には、オープンな環境の構築が不可欠であり、その展

LLM の外的挙動を決めるために、世にあるテキストを開が期待される。

ただ集めるだけではすまない。不適切な内容を含むテキ
スト、重複の大きなテキストなどを取り除く必要がある。
これをデータ洗浄（Data Cleansing）という。膨大な14

6

ハルシネーション、誤情報 ―知識の貯蔵庫か、事前学習モデルか

テキストの収集、それを使った LLM の学習という大き

現在の ChatGPT の欠点、懸念事項として、その出な計算コストがかかる上に、このデータ洗浄にも大きな力が誤情報を含み信頼できない、ことが挙げられる。典

コストがかかる。

型的な現象に、「事実ではないことを自然なテキストで

Web 中には真理性が疑わしいテキストも氾濫している。

象）がある。たとえば、ChatGPT に特定の個人の経歴

ただ、真理性がないテキストであっても言語としての自情報を要求すると、きわめて自然なテキストではあるが、然さを学習するには役に立つ。ただ、それを使って学習所属する機関を間違ったり、その人の業績ではないことされた LLM を「知識の貯蔵庫」として使うことはできを含んだりするテキストが出力される。現存しない人物

ない。

の情報を、あたかも実在の人物のように説明するテキス
トが出力されることもある。

特別寄稿

出力する」ハルシネーション（hallucination―幻覚現

膨大なテキスト集合から構築された LLM を知識の貯蔵庫として使いたいという応用が、多くある。Web 検

幻覚現象や誤情報の問題は、大規模言語モデル（LLM）
が、索の代わりに ChatGPT を使うのがその典型である。
実際、意味的な自然さと知識としての正しさの差は微妙であり、GPT の出力を知識の取り出しとみなせる場合（1）自然なテキストを生成する言語モデルも多いが、この方向性の差が誤情報や幻覚現象につなが（2）膨大な知識の貯蔵庫る。
真理性が判断しずらい誤情報の危険性は常にある。

という二面性を持つことから生じている。

LLM が生成する「薬剤 X は症状 Y を示す病疾患 Z に

自 然 な テ キ ス ト を 生 成 す る モ デ ル は、<people ・eat・apples> が <apples・eat・people> より自然有効である」といったテキストは自然ではあるが、真理性は保証されない。LLM の出力は、であるとして、生成する。言語モデルは、能動的な活動
主体 <people> が <eat> の行為者になるのは、そう「たとえ自然であっても、専門家が持つ明示的な知識ではない静的な物 <apples> が行為者になるよりも自や真理性が吟味された知識に基づいたものではないこ然であるという、意味的な傾向をとらえている。

と、に注意する必要がある」。

同じように、「X 氏が Y 社の社長である」は、「ある人間がある組織の長」という意味的に自然な表現にであ二面性を解消する方法の一つは、自然さを受け持つ

り、言語モデルとして、これを生成することに問題はな

LLM と知識の貯蔵庫の役割を分離することであろう。

い。ただ、意味的な自然さと、事実であることは同じで

我々は、ヨーロッパと日本の共同プロジェクト（e-Vita）

はない。そういう事実がない場合には、「知識の貯蔵庫」

で、会話を通じて高齢者に健康に関する指導を行うシスとしての出力としては妥当ではない。誤情報となる。

テムを開発している（図４）。健康指導の会話で、誤情LLM を言語モデルとしてみる立場は、LLM は膨大報を与えてはならない（参考文献５）。

なテキストから言語としての自然さを学習したものでこのプロジェクトでは、健康指導に関する「知識のあって、膨大な「知識の貯蔵庫」ではない、と考える。

貯蔵庫」として、WHO・NIH・ハーバード大学医学部

図4

e-Vita プロジェクト

YEAR BOOK 2O23

15

図5

CoT プロンプトの例（左側）などが出しているガイドラインの集合を使い、この「知という変革を行った。

識の貯蔵庫」からの情報だけを使って、自然な言語でこの変革によって、トランスフォーマーは、言語間の応答する。自然な応答や長い説明を簡略化する機能を

単語列を変換する変換器から、言語テキストに限らない

ChatGPT に行わせ、望ましい結果を上げている。

データ間にみられる関係をとらえる汎用枠組みとなり、「知識の貯蔵庫」と言語モデルとを分離し結合するこ

多様な変換作業が可能になった。例えば、仕様記述のテとは、LangChain（参考文献６）というオープンソー

キストとプログラムといった異種の情報空間の相互関係

スのシステムで容易に実現できる。知識の貯蔵庫と言語をとらえることもでき、プログラム開発の補助ツールとモデルの役割分担は、知識の貯蔵庫としては社内文書のして ChatGPT の応用が広がっている。

集合や通常の Web 検索 の結果を使い、その内容の抄

言語モデルとしての LLM は、言語としての自然なテ録や取り出しに LLM を使うといった形で、今後、さまキストを出力する。これに対して、トランスフォーマー

ざまな分野で活発化していこう。

は、この LLM の動作を入力に含まれる指令に従って入3力から出力への変換を行う。

7

LLM、プロンプト、
トランスフォーマーの可能性

翻訳では、注視機構によって入力文の関連個所に注目し、それまでに生成された翻訳に後続する単語列を生成

初期のニューラル翻訳で使われた RNN や LSTM は、していた。すでに述べたように、トランスフォーマーは、言語が単語の並びであり、先行する限定された範囲の単入力テキストの単語の列という性質を捨象して、入力の語並びを文脈としてテキストを生成する計算機構であっ関連個所を注視することで、出力の生成を制御する。

た（3 節）。これに対して、現在のトランスフォーマーは、言い換えると、入力は、翻訳の場合のように変換される内容そのものである必要はなく、トランスフォーマー（1）単語の並びが持つ順序を重視せず、無限定的な範囲を文脈として自然なテキストを生成する、（2）入力にトランスフォーマーへの指示の役割（プロンプト）を持たせるに行わせたい仕事の指令を含めることができる。例えば、「次の英語を日本語に翻訳してください。People eat
Apple」とすると、LLM は、入力中の「次の英語を・・
翻訳してください」から、変換器としての動作を変える。
同じように、「次の長いテキストを短くしてください。」

3

16

Web 検索を「知識の貯蔵庫」として使用しても誤情報の問題は避けられないが、信頼できるサイトかどうかのフィ
ルターや変換器の出力に情報の源となったサイトを付加することで、信頼度は向上できるを前に付け加えることで、トランスフォーマーは、長いテキストを短いテキストに変換する。
この「入力中の言語で表されたユーザの意思 を理解したかのように出力を生成する」機能がトランス

舞いは、特定分野に依存しない知能を持ったかのようでIntelligence）の印象を持たせている。言語は、特定のある。ただ、本稿で述べたように、言語による入力中の分野に依存しない汎用性の高いメディアである。この汎指令に応じてどのように出力するかは、FT や RLHF と用メディアで表現された仕事の指令を理解して、汎用メいう大量のデータにより訓練された結果である。

ディアで表現された情報を操作する汎用知能が実現された、という印象を与える。

特別寄稿

フ ォ ー マ ー に、 汎 用 人 工 知 能（Arificial General

また、そもそも、人間が作り出したテキストから学習
した LLM は、幻覚現象・誤情報にみられるように、テ

さらに、入力の一部に実行させたい仕事に関する情

キスト中の情報の真理性の吟味やそれらに対する価値判報を入れ込む手法（プロンプティング）は、Chain-of-

断を行う能力、理解の能力は持っていない。言語によっ

Thought（CoT）と呼ばれる手法でさらに強力になって記述された対象を吟味・分析し、自らの価値判断に基ている。例えば、算術の応用問題を解かせる場合、類似

づいて新たな知識を作り出す能力はない。

の問題を解く具体的な手順をプロンプトに含めて与える

人間の対象理解の結果を言語化した、いわば、対象理と、その手順を汎化して与えられた問題を解く、ことが解の結果としの影の世界を、自覚的な情報の取捨選択な報告されている（参考文献 7、図５）。

しに、操作しているに過ぎない。

複雑な問題をとく手順（CoT）の例をプロンプトに

ChatGPT 的な技術が社会にもたらす負の部分は、道含めることで、その手順を汎化して、類似の問題を解具としてそれを使う人間側の問題であり、負の部分を解く汎化能力は、千億を超えるパラメータを持つ大規模決する社会的、技術的な方策を考えていくべきであろう。

LLM で初めて現れる能力だとの報告がある。LLM が巨

超知能、汎用 AI、シンギュラリティといったハイプに大化すると、なぜ、このような汎化能力が発現（Emerge）

逃げ込んではいけない。

するのかは、まだ解明されていない。巨大 LLM がこのような汎化の能力を発現させることは、巨大な LLM の大きな可能性を示唆するとともに、今後、解明すべき謎、理論的に解明すべき謎の典型的となっている。

（2） 実世界と知識の世界
言語の世界は、実世界と知識の世界の中間にあって、この 2 つの世界を反映した影の世界である。ChatGPTは、この影の世界を対象にした AI 技術である。今後は、

8

今後に向けてその外にある 2 つの世界と言語 AI をどのようにつなげていくかが課題となる。画像や音声、音響信号など、実

本稿では、ChatGPT 革命とはなにか、を駆け足で見世界からのセンシング情報に基づく AI、あるいは、ロてきた。この革命が、次の AI 技術だけでなく、人々の

ボット・自動走行車のように実世界に働きかける AI と

仕事や生活など未来社会の在り方に大きな影響を与える

言語 AI を結び付けていくことは、直近の技術課題となことは確かであろう（参考文献 8）。そういった議論はる。マルチモーダル AI、知的ロボットとの連携である。

本稿の範囲を超える。ここでは、個人的な感想として、

また、人間は自らを取り巻く実世界、社会、生活環境

次の 2 点を挙げておこう。

という対象を理解するための科学やそれを操作する技術の体系を構築してきた。対象に関する合理的な理解の世（1） 超知能界をつくってきた。真理性の保証された法則性、規範に「ChatGPT は、OpenAI が目指す汎用 AI（AGI）、人関する明示的な知識を言語 AI と結びつけることは、ハ

間知能を超えた知能の出現、R.Kurzweil らのシンギュ

ルシネーション・誤情報といった負の側面を解消するた

ラリティへの第一歩」とする論調があるが、個人的には、めの大きな研究課題となろう。

これらはハイプ（Hype）だと思う。
言語による指令をうけ、言語によって表現されたテキ

参考文献

ストを操作して、指令に従った出力をだす。あたかも、［1］A.Vaswani, N.Shazeer, et al. : Attention is

AI が言語での指令を理解し、システム中のテキストを

all you need, 31st Conference on Neural

理解して出力を作りだしているように見える。この振る

Information Processing Systems （NIPS

YEAR BOOK 2O23

17

2017）, Long Beach, CA, USA.2017［2］R . E . T u r n e r : A n i n t r o d u c t i o n t oTransformers, arXiv:2304.10557v3, July,
2023［3］A . W . S e n i o r e t a l . : I m p r o v e d p r o t e i nstructure prediction using potentials fromdeep learning, Nature 577 706–710
doi:10.1038/s41586-019-1923-7, 2020［4］J.Leike, R. Lowe, et al.: Training language
models to follow instructions with human
feedback, OpenAI, 2 0 2 2 （ h t t p s : / / c d n .
openai.com/papers/Training_language_
models_to_follow_instructions_with_human_
feedback.pdf）［5］e-Vita Website: https://www.e-vita.coach/［6］LangChain Website: https://www.langchain.
com/［7］J.Wei,X.Wang,et al.: Chain-of-Thought
Prompting Elicits Reasoning in Large
Language Models, arXiv:2201.11903v6（cs.CL）, 2023
［8］L.Weidinger, J.Meller, et al.: Ethical andSocial risks of harm from Language Models,
DeepMind, arXiv.2112.04359, 2021

18

特別寄稿

YEAR BOOK 2O23

19