NICTの⼤規模⾔語モデルとその周辺

情報通信研究機構(NICT)
⿃澤 健太郎2023年11⽉1⽇

1

本⽇の講演概要
1. ⼤規模⾔語モデルとは何か︖
2. NICTでの開発状況
3. 学習データの重要性
4. ⼤規模⾔語モデルのインパクトとリスク

本⽇の講演概要
1. ⼤規模⾔語モデルとは何か︖
2. NICTでの開発状況
3. 学習データの重要性
4. ⼤規模⾔語モデルのインパクトとリスク

そもそも⼤規模⾔語モデルとは何か︖• ⽶国OpenAI社のChatGPTを代表とする新種のAI• 特徴• ユーザの⼊⼒に従って、あたかも⼈が書くようなテキストを⽣成• 様々な機能が「創発」、⽇々新たな使い⽅が発⾒される、これま
でにないAI• 質問応答、要約、⽂書作成、創作、対話、プログラム作成…
• これまでのAIは作り込みが必要だった• ⽬的とする機能、動作が実現するようにシステムの設計や、学習データの設計、構築をする必要• ⼤規模⾔語モデルの最⼤の特徴は、こうした作り込みは全くしな
い、もしくは最⼩限であっても様々な機能が創発していること• この「様々な機能の創発」はこれまでにないチャンスやリスクの両⽅をもたらす→全世界的に「世界を変える」「規制が必要」と⾔われる所以• Webを中⼼とする⼤量のテキストから学習• Webに書かれている⼈間のアクティビティを広範に学習
4そもそも、⼤規模⾔語モデル とは何か︖• 最近⾔われている⼤規模⾔語モデルは概ねGPT(Generative Pre-trained
Transformer)のことを指す• より具体的には、Transformerというアーキテクチャに基づく、超巨⼤なニューラルネット• Transformerとは、元々機械翻訳⽤に開発されたニューラルネットのアーキ
テクチャ• ⽣成AIとか、LLM (Large Language Model)とも呼ばれたりもする• ⼊⼒されたテキストの次の単語を確率的に予測する、という点は不変
各々の○はニューロン（脳細胞）に対応。⼀つのニューロンは結線（⽮印）を介して伝搬してくる⼊⼒信号に関して、四則演算程度の単純な計算をし、 その結果を結線(⽮印）に出⼒
各々の結線(⽮印）には「重み」（パラメータ）がつく。
このパラメータ、結線が多ければ多いほど「賢い」傾向が
左図のtransformerのブロックダイアグラムは、Wikipedia⽇本語版の「GPT(⾔語モデル)」の項より転載h5ps://ja.wikipedia.org/wiki/GPT_(⾔語モデル)
CC-BY-SA 4.0 h5ps://creaGvecommons.org/licenses/by-sa/4.0/deed.ja に則り転載

5

⼤規模⾔語モデルはどのように動くのか︖• 「エーゲ海での新婚旅⾏のプランは」と⼊⼒してみると、その続きのテキストを⽣成• 単語はベクトル（＝)に変換• ニューラルネットの下から上に向けて、単語のベクトルを変形しつつ、周囲の単語のベクトルを融合することを（数⼗回から数百回）繰り返す

...

...

...

...

...

...

(0.1,0.2, …)(0.3, 0.2, …)(0.4,0.1, …)(0.2,0.5, …)(0.3,0.4, …)(0.3,0.4, …)

エーゲ海 での

新婚旅⾏

の

プラン

は

⼤規模⾔語モデルはどのように動くのか︖• 続きの単語を⽣成するには︖• ⼀つ前の単語（この場合は「は」）に関する出⼒のベクトルをもとに、辞書にあるすべての単語が次の単語として現れる確率を計算• 基本的には確率最⼤の単語を「次の単語」として⽣成…

各単語の確率を出⼒

...

...

...

...

...

...

(0.1,0.2, …)(0.3, 0.2, …)(0.4,0.1, …)(0.2,0.5, …)(0.3,0.4, …)(0.3,0.4, …)

エーゲ海 での

新婚旅⾏

の

プラン

は

⼤規模⾔語モデルはどのように動くのか︖• 続きの単語を⽣成するには︖• ⼀つ前の単語（この場合は「は」）に関する出⼒のベクトルをもとに、辞書にあるすべての単語が次の単語として現れる確率を計算• 基本的には確率最⼤の単語を「次の単語」として⽣成…

各単語の確率を出⼒

プラン

...

の

...

新婚旅⾏

...

エーゲ海 での...

(0.1,0.2, …)「あ」の確率 =0.00002「あい」の確率 =0.000003「愛」の確率 =0.000004…
「エーゲ海」の確率 = 0.001….
「クルーズ」の確率 = 0.0008….
「、」の確率 =0.00007(0.3, 0.2, …) (0.4,0.1, …) (0.2,0.5, …) (0.3,0.4, …)
テキスト終了の確率= 0.0006

...

...

辞書にある数
万語から数⼗万語のすべての単語について確率を計算。
基本的には最⼤のもの（この例では「エーゲ海」）を選ぶ

(0.3,0.4, …)は

⼤規模⾔語モデルはどのように動くのか︖• 基本的には、以上の動作を繰り返すことで⻑いテキス
トを⽣成• ⽣成された単語は⼊⼒の末尾に追加される

...

クルーズ

...

の

...

...

...

...

...

...

エーゲ海

…

エーゲ海 での

新婚旅⾏

の

プラン

は

エーゲ海

の

学習はどのようにするのか︖• 学習データの「正解テキスト」中の単語の確率が⾼くなるように、
ニューラルネットの重みや単語ベクトルを修正• これを⼤量の正解テキストに対して繰り返す• 例えば、学習データ中の正解テキストが「エーゲ海での新婚旅⾏のプランはクルーズ船がおすすめ」であったとすると、「船」の確率が⾼まるよう重み等を修正

「が」の
確率が
⾼まるよう
重み等を修正

...

...

...

...

...

...

...

...

「クルーズ」の確率が⾼まるよう重み等を修正…

エーゲ海 での

新婚旅⾏

の

プラン

は

クルーズ

船

⼤規模⾔語モデル(LLM)の歴史
パラメータ数

...

...

...

Trm

E[CLS]

E1

E2

...

Ei

...

EN

[CLS]

!!

!"

...

!#

...

[SEP]

E[CLS]

E1

E2

[CLS]

!!

!"

...

Ti

...

Trm

...

TN
...

T2

...

...

GPT-3
(Open AI,
2020)

Trm

...

Trm

BERT
(Google,
2018)
...

Ei

...

EN

...

!#

...

[SEP]

Ti

...

TN

Trm

Trm

...

Trm

...

Trm

E[CLS]

E1

E2

...

Ei

...

EN

[CLS]

!!

!"

...

!#

...

[SEP]

T2

...

...

...

...

T2

...

...
[CLS]

...

E[CLS]

...

T1

Trm

Trm

Trm

T1

[SEP]

T1

...

Trm

...

C

C

Trm

C

EN

TN

Trm

Trm

...

PaLM2 = Bard
(Google, 2023)

...

Ti

...

Trm

Trm

...

Trm

...

Trm

E1

E2

...

Ei

...

EN

!!

!"

...

!#

...

[SEP]

...

Ti

!#

Trm

...

...

...

...

...

!"

i

詳細は未公表

TN

TN
...

...

...

!!

Trm

...

１億〜４億個2

T2...

1,750億個

T1

1

...

...

[CLS]

C

Ti

...

E[CLS]...

GPT-4... Trm
Trm
Trm
(Open
AI,... E
E
E
2023)
...

Trm

１兆個以上︖

T2

...

T1

...

C

...

⼀般にパラメータ数が⼤きいほど⾼機能
⼀⽅、学習も⼤変

NICTの⼤規模⾔語モデル（ただし学習データが⼩さい）• 最新のLLMでは、⼤量の計算機を⽤いて数か⽉単位の期間、学習。
⼀回の学習に要する所要のコストは数億円〜数⼗億円以上とみられる
・新聞数万年分以上に相当する膨⼤な学習データを使⽤

11本⽇の講演概要
1. ⼤規模⾔語モデルとは何か︖
2. NICTでの開発状況
3. 学習データの重要性
4. ⼤規模⾔語モデルのインパクトとリスク

NICTの⾃然⾔語処理︓ここ数年の成果• 深層学習、⼤規模⾔語モデルも⽤いた⼤規模⾃然⾔語処理システム、対話システム、基盤技術
大規模Web情報分析システム

WISDOM X

対災害SNS情報分析システム

Q: 言語能力をもたらす遺伝子は何か？

Q:熊本県で何が不足している（地図表示）技術
九州北部豪雨で鉄橋流失を転用
他に先んじて発見

Q: AIで解決できそうな社会課題は

Q: FOXP2はどのようにして言語能力をもたらす

防災チャットボット

SOCDA

DISAANA / D-SUMM

Web160億ページから様々な質問に回答。
2015年より試験公開中

技術
転用

Twitter 情報を用いて災害に関する質問に回答。エリアを指定すると被害状況の要約も。
自治体等、実災害で実際に活用。

深層学習版を2021年3月
末より一般公開開始

何か被害があれば教えてください。
⽕災がおきてます
場所を教えてください。

ありがとうございます
被災者や自治体職員とAIがスマホで対話
写真はありますか︖
を行い、被害情報の収集、避難支援を実施。
以上で登録しました

民間企業がビジネス開始

民間企業へ技術移転済み

技術
転用

次世代音声対話システム

マルチモーダル
音声対話システム

WEKDA

MICSUS

最近、1日三食ご飯たべてますか？

技術転用

もりもり食べてるよ。
漬物がおいしくてね。
それは良いですね。
漬物はビタミン…

介護支援のための対話システム。Webを用いた雑談でWeb60億ページの情報を使って音声の質問に回答し、雑談も行う。対話時の省略等文脈処理も実施

内閣府SIPのご⽀援
により、⽇本の重要な社会課題解決に直結した技術を研究開発

高齢者のコミュニケーション不足も解消。KDDI、NECソリューションイノ
ベータ、日本総研と共同開発。

民間企業が商用化検討中、SIP終了後も開発継続中

13

マルチモーダル⾳声対話システムMICSUS• ⾼齢者介護体制逼迫の可能性は⾮常に⾼い• AIによる介護作業の負担軽減は待ったなし• ⾼齢者のコミュニケーション不⾜、孤独も⼤きな課題
介護⼈材の需給ギャップ（推計）300 （万⼈）
200
100

地⽅都市⼀つの⼈⼝に相当する
⼈材が不⾜

171

258
43

同居者以外の他者との交流頻度と健康指標の関連（1⽇1回程度の交流がある場合とのハザード⽐）

１⽇１回の交流がある場合（基準=1.0)

コミュニケーション頻度の低下が状態悪化を引き起こす

215

0
2013年

2025年

総務省「平成22年国勢調査」、国⽴社会保障・⼈⼝問題研究所「⽇本の地域別将来推計⼈⼝(平成25年3⽉推計)」、厚⽣労働省「平成25年介護サービス施設・事業所調査」、厚⽣労働省「平成26年度
介護給付費実態調査」、厚⽣労働省「2025年に向けた介護⼈材にかかる需給推計(確定値)(都道府県別)」より作成

斎藤雅茂、近藤克則、尾島俊之、平井寛、” 健康指標との関連からみた⾼齢者の社会的孤⽴基準– 10年間のAGESコホートより”, ⽇本公衆衛⽣雑誌2015;
62(3): 95-105, doi:10.11236/jph.62.3_95（ 表３より⼀部抜粋）MICSUS概要• 前例のない⾼齢化による介護関係者の⼈⼿不⾜に対して、
最も時間のかかる作業である介護モニタリング（⾯談による健康状態チェック）を⼀部代替する

マルチモーダル⾳声対話システムMICSUSを開発• ⼤規模実証実験によって実⽤レベルの性能であることを確認
カメラ
マイク
液晶
スピーカー
(内蔵)

MICSUSの柴⽝型端末。
スマホ版も開発

WISDOM X

WISDOM Xからの情報を使った雑談で⾼齢者のコ
ミュニケーション不⾜の抑制も狙う※ SIP第⼆期の⽀援のもとKDDI株式会社、
NECソリューションイノベータ株式会社、
株式会社⽇本総合研究所と共同開発中• 300万件以上の対話⽤データを⼈⼿で構築。BERTを学習させた• GPU⼀枚(V100)で五千⼈と同時に対話できる等、ChatGPT等に⽐して運⽤コストは極めて低い → ⾼齢者介護という⽬的からして極めて重要• 実証実験の様⼦やその他の詳細は、以下をご覧ください
https://direct.nict.go.jp/news/#MICSUS_NEWS_20230308

15

MICSUS: 技術概要と⼤規模実証実験②⾳声認識誤りに頑健な独⾃開発の⾔語モデルHBERTを300万件以上の独⾃学習データで学習させ、遠回しな⾔い⽅でも正しく解釈可能• GPU(V100)⼀枚で五千⼈と同時に対話できる等、ChatGPT等に⽐して運⽤コストは極めて低い③WISDOM XのWeb情報から、ユーザ発話に関するチャンスやリスクなど新規情報を含む雑談的応答⽣成⑤⽇本全国の179名の⾼齢者を対象とする、計927回、計95時間の対話で実⽤レベルの性能を確認• ⾼齢者の発話だけで計1万3千回• 意味解釈精度、適切な応答の割合はいずれも約93%。対話の中断、取りやめは⼀度もなし• 雑談応答の半分以上に積極的な興味を⽰す応答、1/4以上に笑顔。
• 事後の五段階アンケートの平均スコアは4.2（５が最良））
健康状態チェックの質問は、厚労⾼齢者とMICSUSの実際の対話例
省が普及を進めている「適切なケ
健康状態チェックの毎⽇どれくらい⽔分をとっているかわかりますか︖
アマネジメント⼿法」に基づく
⼤体1.5Lから2L程度だと思いま
質問に間接的回答
す。
をしても正しく解釈
いつもの⽣活でどれくらい⽔分を取っているか
ご⾃⾝で分かっていると安⼼ですよね。
どんなおかずが好きですか︖
えー、野菜サラダです。

Web情報をベースに、何らかの新規情報を含む雑談を⽣成à ⾼齢者のコミュニ
ケーション不⾜抑制

好きなおかずは野菜サラダなのですね。
ネットでは、野菜サラダに卵を追加 すると体内でビタミンEのより良い吸収を促進するという情報がありますよ。
ああそういえば、よくゆで卵を使っています。
ネットの情報なので嘘かもしれませんが、野菜サラダの中でシーザーサラダはカロリーが⾼い サラダという情報がありますよ。

カメラで顔画像から⾼齢者の感情も認識

16⼤規模Web情報分析システム WISDOM

X深層学習版• Web160億ページの情報をもとに多様な質問⽂にネットの検索結果を表⽰して回答• 語句の単純検索ではなく、BERT等の深層学習を駆使してテキスト間の同義、因果関係等を⾃動認識
し、質問への回答や、⼀連の世界初の技術により仮説的シナリオの作成や質問の提案まで⾏う• 回答が書かれたWebテキストを提⽰するため、全くの偽情報が出⼒される可能性は⼤規模⾔語モデル
よりは低い• 数⼗万件の質問応答⽤学習データでBERTをファインチューニング（学習）• https://www.wisdom-nict.jpにて⼀般公開中

質問: AIを使って社会保障費を抑制するには何をしたらいい?
深掘
りす
ると
…

回答220件

AIを遠隔医療でどのように使う

AIで患者の状態の予測と分析
ヘルスケア機器で収集したバイタル
データをAIで収集、分析
⽶国の事例も121件の端的な回答

回答356件どんなAIを遠隔医療で使う
17
17

NICTの⾃然⾔語処理︓ここ数年の成果• 深層学習、⼤規模⾔語モデルも⽤いた⼤規模⾃然⾔語処理システム、対話システム、基盤技術
大規模Web情報分析システム

WISDOM X

対災害SNS情報分析システム

Q: 言語能力をもたらす遺伝子は何か？

Q:熊本県で何が不足している（地図表示）技術
九州北部豪雨で鉄橋流失を転用
他に先んじて発見

防災チャットボット

SOCDA

DISAANA / D-SUMM
技術
転用

何か被害があれば教えてください。

これらのシステムでは２０２０年にNICTが構築した⾼精度なBERT
Q: AIで解決できそう Q: FOXP2はどのようにして（４億パラメータの識別系⼤規模⾔語モデル）を活⽤
言語能力をもたらすな社会課題は被災者や自治体職員とAIがスマホで対話•

Web160億ページから様々な質問に回答。
2015年より試験公開中

Twitter 情報を用いて災害に関する質問に回答。エリアを指定すると被害状況の要約も。
自治体等、実災害で実際に活用。

⽕災がおきてます

場所を教えてください。

ありがとうございます
写真はありますか︖

を行い、被害情報の収集、避難支援を実施。

• ２０２２年末まで、我々の知る限り、同規模のモデルでは⽇本
民間企業がビジネス開始

深層学習版を2021年3月
語で世界最⾼性能
末より一般公開開始
技術転用

次世代音声対話システム

以上で登録しました

民間企業へ技術移転
マルチモーダル
音声対話システム• ⽣成系の⼤規模⾔語モデルは偽情報、差別等のバイアス等、様々な
MICSUSWEKDA
内閣府SIPのご⽀援
リスクから基礎研究と位置付け最近、1日三食ご飯たべてますか？
により、⽇本の重
もりもり食べてるよ。
漬物がおいしくてね。

要な社会課題解決
それは良いですね。
に直結した技術を• ChatGPTの出現で⽅針を変更し、今年の3⽉より本格的に開発開始
漬物はビタミン…
研究開発
技術転用

介護支援のための対話システム。Webを用いた雑談でWeb60億ページの情報を使って音声の質問に回答し、雑談も行う。対話時の省略等文脈処理も実施

高齢者のコミュニケーション不足も解消。KDDI、NECソリューションイノ
ベータ、日本総研と共同開発。

民間企業が商用化検討中、SIP終了後も開発継続中

18

NICTの⽣成AI:1790億パラメータの⼤規模⾔語モデルz

ここ半年でそれぞれ130億個、400億個、1,790億個のパラメータを持つモデルを試作。1790億個のパラメータはOpenAIのGPT-3並み

19評価は⼀筋縄では…

松坂市上映実⾏
委員会なる架空の組織まで踏み込む
映画のタイトル「鈴の雫」に⾔及

どういうわけか、
ラブストーリーに20

OpenAIの⼤規模⾔語モデルとの違い• NICTの⼤規模⾔語モデルをOpenAIのものに⽐べると、• 学習が途中で失敗するケースがあり、学習の完⾛を優先したため、• パラメータ数(=130億個、400億個、1,790億個）が⼩さい• OpenAIのGPT-4等、最新のものはより巨⼤• とはいっても、我々の知る限り国内では最⼤級• 学習データ(=350GBの⽇本語データ)が⼩さい• 単語数でGPT-3の1/6程度、GPT-4等の学習データはもっと巨⼤• ⼀⽅、⽇本語BERTで最⾼精度をもたらしたデータ• 強引に１TB以上まで増やしたところBERTでは精度低下• ⼩さいとはいっても、新聞1,000年分• ⼊⼒、出⼒のテキストの⻑さが短い• NICTは最⼤256語、GPT-4は25,000語以上• 学習ノウハウについては他の研究機関等に共有済み• 現在、これらの差を詰めるべく• データの品質向上のための徹底的なクリーニングも含めた、学習データ構築の作業中• 3,110億パラメータのモデルも学習中、11⽉なかばに終了予定
21

本⽇の講演概要
1. ⼤規模⾔語モデルとは何か︖
2. NICTでの開発状況
3. 学習データの重要性
4. ⽣成AIと既存AIとの違い
5. ⼤規模⾔語モデルのインパクトとリスク

学習⽤データと使い⽅が極めて重要• ⼤規模⾔語モデルは膨⼤なWebページのテキストから学習• 海外の⼤規模⾔語モデルの学習データは英語中⼼で、⽇本語データ
はわずか→ ⽇本の主張、⽂化が海外の⼤規模⾔語モデルによってかき消される可能性、使⽤料⾦の流出も• データの量だけではなく、品質も重要。同じパラメータ数でもデータの質・量により⼤規模⾔語モデルの性能は向上→計算資源の量でGAFAM等に劣後する中で、データの質・量は数少ない⽇本の勝ち筋

23

学習⽤データと使い⽅が極めて重要• ⼤規模⾔語モデルは膨⼤なWebページのテキストから学習
Web

収集

蓄積、
クリーニング、学習

⼤規模⾔語モデル• 現在、「真っ当な⽂章らしい」テキストのみをWebページから可能な限り⼤量に抽出し、学習データとする⼿法を開発中• 「真っ当な⽂章」はWeb全体の2%程度、宣伝がその5倍存在すると推定• さらに差別表現や個⼈情報等のフィルタリング等も実施予定• NICTは⽇本語を中⼼とする良質な学習データを、海外産のLLM学習データと同等規模にまで拡充。(現在の数⼗倍のサイズに）• 学習に適したデータは試作したモデルとともに、法的課題をクリアしながら⽇本企業・アカデミアが使えるようにしていく予定。
• 現在、１０社以上の⺠間企業と調整中。我が国における⼤規模⾔語モデル
開発⼒に貢献24

学習データの品質極めて重要(No.1)• Webページでも学習に適したデータは極々⼀部• おそらく以下のようなテキストは学習では重要ではない
検索
メニュー
カテゴリ
医学
アレルギー＆臨床免疫学解剖学⿇酔学⾏動科学⽣化学／化学⼼臓病学臨床医学／医学⼀般クリティカルケア⽪膚科学＆美容外科学医学教育発⽣学救急医療内分泌学疫学＆公衆衛⽣ＥＢＭ消化器病学＆肝臓病学遺伝学
⽼⼈病学⾎液学組織学＆細胞⽣物学感染症医学倫理医学（他）新⽣児学／周産期医学腎臓病学神経学神経外科産科婦⼈科腫瘍学眼科学整形外科学⽿⿐咽喉学病理学⼩児科
薬理学薬学理学療法＆リハビリテーション医学⽣理学Ｐｌａｓｔｉｃ ＆ Ｒｅｃｏｎｓｔｒｕｃｔｉｖｅ Ｓ
ｕｒｇｅｒｙプライマリーケア／⼀般診療精神医学放射線診断学呼吸器病学リウマチ病学外科泌尿器学Ｂｏｏｋ
Ｓｅｒｉｅｓ• 現在、「まともな⽂章らしい」テキストのみをWebページから可能な限り⼤量に抽出する⼿法を開発中• これまでのところ、Webテキスト中で「まともな⽂章」は宣伝がその5倍程度存在すると推定(HTMLタグは除く）• さらに差別表現や個⼈情報等のフィルタリング等も必要

全体の2%程度、• こうした「縁の下の⼒持ち」的作業が品質を⼤きく左右25

本⽇の講演概要
1. ⼤規模⾔語モデルとは何か︖
2. NICTでの開発状況
3. 学習データの重要性
4. ⼤規模⾔語モデルのインパクトとリスク

⽣成AIで…
• ポジティブ

• ⽣産性向上・業務効率化• クリエイティヴィティの強化• 創作能⼒の⺠主化•…

• ネガティブ

• 偽情報• 偏⾒・バイアス• 仕事が奪われる• ⺠主主義の死• 皆考えるのをやめて、バカになる•…
27

⽣成AI⾰命＝産業⾰命• 「この間も最初はいろいろあったけど、そのうち皆ハッピーになった。今度も同じ」• 「どうせ、そんなに悪いことは起きっこない」

地球温暖化は︖
28

⽣成AI⾰命＝産業⾰命
産業⾰命

たかだか１次元の運動

⽣成AI⾰命> 1700億次元(GPT-3のパラメータ数）

真⾯⽬に受け取らないでください
左図の蒸気機関の図、右図のtransformerのブロックダイアグラムは、Wikipedia⽇本語版の「外燃機関」「GPT(⾔語モデル)」の項よりそれぞれ転載
https://ja.wikipedia.org/wiki/外燃機関, https://ja.wikipedia.org/wiki/GPT_(⾔語モデル)
CC-BY-SA 4.0 https://creativecommons.org/licenses/by-sa/4.0/deed.ja に則り転載

29

unknown unknownに備えよ“unknown unknown”=“The things we don’t know
we don’t know”=“risks that come from situations
that are so unexpected that theywould not be considered.” (fromWikipedia)
Donald Rumsfeld••

ジェームズ・ワット等、産業⾰命への貢献者にとっては、「地球温暖化」はunknown unknown
⽣成AIでも無数のunknown unknownが発⽣するのではないか︖
上の肖像写真はWikipedia⽇本語版「ドナルド・ラムズフェルド」の項より転載
https://ja.wikipedia.org/wiki/ドナルド・ラムズフェルド
CC-BY-SA 4.0 https://creativecommons.org/licenses/by-sa/4.0/deed.ja に則り転載

30例えば、AIで少⼦⾼齢化が進み、
⽇本経済が窮地に陥る︖
2016年10⽉の講演資料より

ステップ1. キーワード「⼈⼯知能」を⼊⼒… 好感が持てる⼥性には相⼿にされな
い… 恋⼈の役割をロボットに任せたい…
（読者アンケート）

ステップ2.
提案された質問「⼈⼯知能が進化するとどうなる」をクリック

⼈⼯知能が進化すると…

2015年5⽉31⽇ 朝⽇新聞デジタル
関連記事で類似の意⾒を紹介

話し相⼿に困らなくなって、結婚しない⼈が増える

さらに提案された質問「話し相⼿に困らなくなって、結婚しない⼈が増えるとどうなる︖」をクリック。
回答「少⼦⾼齢化が進む」

さらに続けると、「⽇本経済が窮地に陥る」

31

⼈間＝ハマダラカ︖• ハマダラカ• マラリアを媒介上の写真はWikipedia⽇本語版「ハマダラカ」の項より転載
https://ja.wikipedia.org/wiki/ハマダラカ
CC-BY-SA 4.0 https://creativecommons.org/licenses/by-sa/4.0/deed.ja に則り転載

ブルキナファソのマラリア研究チームが、2020年7⽉に不妊の遺伝⼦操作を施したメ
スの蚊を5000匹放出する実験をおこなうことを計画していることがわかった。このプ
ロジェクトは、オックスフォード⼤学を含む複数の研究機関の研究者を擁するTarget
Maralia Projectによって実施されるもので、
ビル&メリンダ・ゲイツ財団の資⾦提供を受けている。不妊の蚊を放出することでマラリアを媒介するハマダラカの⾃然減を引き起こし、マラリアの感染拡⼤を抑制することが期待されている。
“ブルキナファソで遺伝⼦操作の蚊を放出する計画”, 現代
アフリカ研究センター、東京外国語⼤学、2019/9/24,
http://www.tufs.ac.jp/asc/information/post-609.html

不妊の蚊＝⽣成AI?
普通の蚊＝⼈間︖“unknown unknown”?

32⽣成AIのリスクに備える必要• 今後、正体不明の「野良」⽣成AIも含め、多数の⽣成AIが出現する可能性が⾼く、多数の未知のリスクが発⽣する可能性も• 偽情報等、不適切な情報で⽇本社会が飽和する可能性も• ロシア、ウクライナ、イスラエルでの偽情報合戦• 国外からの選挙介⼊• ⽇本国⺠が気づかない間に特定の⽣成AIに思考を⽀配される︖• 海外では⽣成AIと仲良くなり、洗脳されてエリザベス⼥王暗殺
未遂や⾃殺といった報道も• 海外では出どころ不明の⽣成AIで新規マルウェア開発• ⼈間のホワイトハッカーが処理できない数のマルウェアが毎⽇
新規開発されたら…
• 他にも今後いろいろなリスクが出てくると思われる

⽣成AIのリスクに備える必要• こうした状況での抜本的な対策として、将来的には、多様な⽣成AIが互いに喧々諤々議論を⾏い、その結果をうけて⼈間が意思決定する「⺠主的」AIの世界が考えられる••••

不適切な情報はAIが互いに否定、批判することで排除できる可能性
多様な⽣成AIがそれぞれの視点で議論し、より良い結論を
海外発の偽情報に対して国産のLLMで反論できる可能性
ユーザとも議論すれば「皆考えるをの⽌めて、バカになる」が防げ
るかも

⼈間は、多様なLLM間の議論を受けて、意思決定議論

互いに否定、批判

議論

議論

⽟⽯混交の多様なLLM

互いに別の視点を提供

⼤規模⾔語モデルが議論なんてできるのか︖• ここでは、⽶国の哲学者 Sellars, Brandomらに倣って、議論＝「（主張の）根拠を与え、要求するゲーム」(”The game of giving and asking forreasons”)と仮定

Wilfrid Sellars

Robert Brandom

Wikipedia英語版”Wilfrid Sellars”, “Robert Brandom”の項より転載
https://en.wikipedia.org/wiki/Wilfrid_Sellars,
https://en.wikipedia.org/wiki/Robert_Brandom
CC-BY-SA 4.0 https://creativecommons.org/licenses/by-sa/4.0/deed.ja に則り転載• Brandomの議論を単純化すると、上のゲームがプレーできるか否かが、オ
ウムと⼈間を分ける境⽬• ⼤規模⾔語モデルは異常に賢いオウムではない︖• AIが安⼼安全で、合理的に振る舞えるとするならば、当然議論をして、⾃らの発⾔や振る舞いの根拠を提⽰できなければならない
35

⼤規模⾔語モデルと議論する

ユーザがテーマとなる主張を設定

⼤規模⾔語モデルが代替案を提⽰

ユーザがテーマとなる
主張の根拠を質問

ユーザが反論
ユーザが反論
⼤規模⾔語モデルが主張を変更
ユーザが反論

⼤規模⾔語モデルが再度主張を変更

注︓議論のプロセスや結論が正しいことを保証するものではありません

36

⼤規模⾔語モデルが⽣成する偽情報等への対策• NICTの⼤規模⾔語モデルでもフェイクニュースやオレオレ詐欺の台本等⽣成可能→今後そうした能⼒をもつ⼤規模⾔語モデルが多数出現• 安全保障上も対策が必要
• 対策例
正体不明の
⼤規模⾔語モデル

⼤規模⾔語モデルが⽣成したフェイクニュースの例(実際にはNICTの⼤規模⾔語モデルが⽣成した例)「伊⾖天城⼭が噴⽕。⼟⽯流が発⽣し、近隣⾃治体で死傷者多数。救援は極めて困難」というタイトルの新聞記事は以下の通り。「本⽇未明、伊⾖半島の天城⼭が噴⽕。噴⽕による⽕⼭灰 が⼟⽯流となり、近隣⾃治体に甚⼤な被害をもたらした。また、噴⽕による⽕⼭灰が上空に滞留したため、航空機の運航が全⾯的に停⽌。伊⾖半島の交通網は完全に⿇痺した。現在、⾃衛隊が救援活動を⾏っているが、噴⽕による⽕⼭灰が上空に滞留しているため、ヘリコプターによる救援活動は極めて困難となっている。

透明性の⾼い⼤規模⾔語モデル等でタイムリーに根拠のある反論

天城⼭での噴⽕やそれによる地震、⽕⼭灰
等は⼀切観測されておりません。また、伊⾖半島での通⾏⽌めや、⾃衛隊が救援活動を⾏っている事実もありません。…

検索ベースの質問応答シ
ステム等で情報の裏取り

他の⼤規模⾔語モデルと議論。
反論のネガチェック

他の⼤規模⾔語モデル

他の⼤規模⾔語モデル

⼤規模⾔語モデルが⽣成するマルウェア等にも⼤規模⾔語モデルを使った対策が必要︖

37

Explainable AIってどうなの︖ 総務省・情報通信政策研究所での説明資料を⼀部改変 (2020.12.25)• Explainable AI＝判断の「根拠」を説明するAI• ここでは議論の過程で根拠、理由を提⽰する⼤規模⾔語モデル• “The work on reason-giving and normativity descended from Sellars at
Pittsburgh, via Brandom and McDowell and Haugeland, has neverstressed, to my knowledge, that these all-important human practices
are systematic generators of false ideology whenever the demand forreasons exceeds the available supply.”-- Daniel Dennett, “From Bacteria to Bach and Back”, p.314, 脚注, 2017

• 超訳「苦し紛れの根拠を与えると『誤ったイデオロギー』の出現の原因となる」• 仮にいい加減なAIがいい加減な根拠を与えるとかえって有害︖• 例:⼤鯰 = 江⼾時代の地震の根拠（誰かが苦し紛れに考えだした︖）

38

偽情報対策︓WISDOM Xによる裏取り• 議論ができても、偽情報が出⼒されれば意味がない• 誰か⼈間が書いたWebテキストで裏取り• 現在各所で検討が⾏われている情報のソース、来歴等保証するオリジネー
タープロファイル（OP)等の技術も重要
電気⾃動⾞は電気を作るために、⽕⼒発電所で化⽯燃料を燃やすので、⼆酸化炭素を増やすからである。+のはなぜ

効率の悪い古い⽕⼒発電所ならば、ガソリン⾞以上に悪影響

結局、どこかで「化⽯燃料」は消費されている…
若⼲異なる視点︓半導体やバッテリーの製造にも化⽯燃料で作られた⼤量の電気が…
39

NICT独⾃の検索ベース技術でより多様な論点を抽出︖
NICTの質問応答システムWISODM X(Webページから回答を「検索」)• ⽇経新聞の記事より
Ｑ. ⽇本のこれまでの少⼦化対策は何が間違っていましたか︖

ChatGPTの回答•など多くの政策が実施されてきましたが、出⽣率は上がっていません。政策が⼗分な効果を発揮していないことや、社会的な問題が背景にあることが挙げられます••

具体的には⼥性が仕事と家庭の両⽴を困難に感じる社会的な制約や、若者の経済的不安定さが原因の⼀つと指摘されています。
教育や就労の機会が増えて⼥性が⾃⼰実現を求めるようになり、⼦育てに時間を割くことが難しくなっていることも要因の⼀つです。
今後の政策は、こうした社会的な問題にも着⽬し、⼥性や若者が⼦育てしやすい環境を整備することが必要です

未婚者への寄り添いが不⼗分⽋落︖

定額の児童⼿当の導⼊や育児休業法の改正

踏み込み不⾜︖
⽋落︖

⼦供につらい思いはさせたくない

結婚⽀援が不⼗分。

不在の視点︖

欧⽶型エリートに特化した対策
だったから

踏み込み不⾜︖「⺟親」の⼦育て⽀援に特化していたから忙しすぎる⼥性、経済的に不安定な若者への施策が不⼗分“ChatGPTと考える 少⼦化ニッポンの成⻑の道”
⽇経新聞電⼦版2023年4⽉7⽇
https://www.nikkei.com/article/DGXZQOUA15AO20V10C23A2000000/

注︓回答の形式が変わるため、質問を「どのように間違っていましたか︖」と修正

40

もっと尖った議論はできるか︖• NICTが現在開発中の将来シナリオ⽣成技術は、低品質なシナリオも⽣成す
るが、ChatGPTよりも「より尖ったシナリオ」を⽣成することも• もちろん、わかりやすさ、可読性はChatGPTの⽅がはるかに上• ChatGPT（GPT-4）の出⼒（2023.6.5作成）•

NICTの独⾃将来シナリオ⽣成技術

⼊⼒: 対話システムを開発する＋⾼齢者• 対話システムで詐欺的投資勧誘等の悪質商法から⾼齢者を保護する à ⾼齢者等を狙った悪質商法や特殊詐欺の⼿⼝等の情報を提供する対話システムを構築する• 対話システムで⾼齢者の⾷⽣活を⽀援する à 対話システムが⾼齢者に対して、宅配による配⾷サービスを実施する• 対話システムで地域住⺠との交流を促進するà対話システムが地域住⺠の⽅々とバーベキュー⼤会を企画するより尖った将来シナリオでイノベーションのヒントを広く提供︖

さらなるインパクト• ⼤規模⾔語モデルの研究開発は始まったばかり• 検索エンジンも含め、既存AIとより密接な連携等も含めて、今後さらなる進化があるだろう• より根拠に基づいたテキストを出⼒• より多様な視点に基づいたテキスト• よりクリエイティブなテキスト• より的を射た対話、議論•…

• ⼀⽅で多様なリスク対策は必要• 偽情報対策、セキュリティ対策• おそらく⻑い⻑い戦い

42

さらなるインパクト• ⽣成AIがさらに進化した未来の可能性• ⼤都市の労働⼒が地⽅に分散︖• 常にAIが相談相⼿になり、また、様々なコーチング、注意喚起をしてくれるのであれば、• ⼤都市の⼤勢の同僚と同じオフィスで働く必要性は減る︖• すでにリモートワークが⼀定の存在感• インターネットで情報格差も随分減少• 地⽅の⽅が低いリビングコストも含めて、より良好な⽣活環境• 様々な専⾨家と直接話をする、あるいは勉強会等をする必要性も減る︖• 地⽅の若年労働者のスキルアップ︖• 地⽅の学⽣は何か⾯⽩いことをやろうと思っても周辺に付き合ってくれる専⾨家、仲間は少ない• ⽣成AIが代わりを果たす︖

ブレインストーミング的議論• 教育への応⽤も類似の効果が期待できるかも• ⾼齢者介護の改善• コミュニケーションの有無は⾼齢者の健康維持に重要• ⽣成AIならばいつでもどれだけでも会話に付き合える• 等々….

43

さらなるインパクト• ⻑期的に可能な未来• 地⽅の若年労働者のスキルアップ︖

44

さらなるインパクト• ⽣成AIがさらに進化した未来の可能性• 要するに、市⺠⼀⼈⼀⼈が、⼗分な知識を備えた「仲間のようなもの」といつでもどこでもコミュニケーションができれば社会が変わる。⽇本の課題も抑制可能かも• ⼈⼝減に対する対策とも⾔える• 「洗脳」等に対して、⼗⼆分なリスク対策は必須

45

まとめ
• NICTの⼤規模⾔語モデルと関連技術• ⽣成AIがもたらすリスク• 究極のリスクとしての”unknown unknown”• リスクへの抜本的な対策としての、多様な⽣成AIが互いに議論する「⺠主的AI」の世界の可能性‘Many forms of Government have been tried, and will be triedin this world of sin and woe. No one pretends that democracy
is perfect or all-wise. Indeed it has been said that democracy is
the worst form of Government except for all those other forms
that have been tried from time to time.…’- Winston S Churchill, 11 November 1947

上の写真はWikipedia⽇本語版「ウィンストン・チャーチル」の項より転載
https://ja.wikipedia.org/wiki/ウィンストン・チャーチル
CC-BY-SA 4.0 https://creativecommons.org/licenses/by-sa/4.0/deed.ja に則り転載• ⽣成AIの今後の発展の可能性• 社会に与えるインパクトの可能性• 多様な視点からの⼈⼝減へのカウンター46