LLMをめぐる諸課題
黒橋 禎夫
国立情報学研究所 所長／京都大学 特定教授
AAMT 2023, Tokyo ～機械翻訳の今と未来を探る～ (2023/11/29)

ChatGPT• OpenAIが2022年11月に公開した大規模言語モデル(Large Language Model; LLM) に基づくチャットボット• OpenAIは2015年末にサム・アルトマン、イーロン・マスクらによって設立されたAI研究所。マイクロソフトも出資• 自然言語からの画像生成モデルDALL-E、音声認識モデルWhisperなども開発• 本社はサンフランシスコ

An astronaut riding a horse
in a photorealistic stylehttps://openai.com/
https://openai.com/dall-e-2/2

ChatGPTとは• OpenAIが2022年11月に公開した大規模言語モデル(Large Language Model, LLM) に基づくチャットボット
学習時
学習データ：日本の少子化対策には、次のようなアプローチ . . .の少子化対策には、次のようなアプローチ

を…

日本の少子化

対策には、次のようなアプローチ

3

ChatGPTとは• OpenAIが2022年11月に公開した大規模言語モデル(Large Language Model, LLM) に基づくチャットボット
推論時
プロンプト：日本の少子化対策はどうすればいいの

日本の少子…

日本の少子化

対策はどうすればいいの日本の4

自然言語処理の歴史
黎明期 (1940年代半ば～1960年代半ば)• コンピュータの誕生とともにウィーバーが機械翻訳を着想

忍耐期 (1960年代半ば～1990年頃)• ALPAC報告書が機械翻訳の困難さを指摘• EUROTRA、Muなどの大型機械翻訳プロジェクト

発展期 (1990年頃～2015年頃)• バーナーズリーによるWWWの提唱• コーパスの利用• 用例に基づく翻訳や統計翻訳の研究

飛躍期 (2015年頃～)• ニューラルネットワークの利用• ニューラル翻訳5言語モデル (Language Model)
大規模コーパス（たとえば3,000億単語）
私 は りんご を?

…お店で私はりんごを食べた…
…彼と私はりんごを食べた…
…昨日私はりんごをかじった…
…私はりんごを食べた後…
…私はりんごを殴った夢を…

P(食べた| 私 は りんご を) =P(殴った| 私 は りんご を) =コーパス中の頻度（私 は りんご を 食べた）
コーパス中の頻度（私 は りんご を）
コーパス中の頻度（私 は りんご を 殴った）

コーパス中の頻度（私 は りんご を）
6ニューラル自然言語処理• 語などの意味を1,000～10,000次元程度のベクトルで表現
りんご [-0.034, 0.000, 0.010, -0.004, -0.012, -0.002, 0.007, 0.023, -0.002, 0.006, …]
みかん [-0.022, 0.000, -0.020, -0.007, -0.007, -0.007, -0.001, 0.007, -0.003, 0.024, …]

車[-0.016, -0.014, -0.017, 0.009, 0.002, 0.012, -0.010, 0.015, 0.015, -0.008, …]• 意味が似ている語は近いベクトルになる
車

りんご
みかん

• 1,000次元で各次元が-1/1のいずれかの値をとるとしても、21,000 ≈ 10300 の膨大な意味空間を表現
7

LLMの歴史2014 Attention
機械翻訳において目的言語の次の語を生成する際に原言語の文のどこに着目するか

2017 Transformer
attentionの精緻化、原言語文内、目的言語内でのattention

2018 BERT
Transformerのencoder側を単言語の分類問題等に2018 GPT (117Mパラメータ)
Transformerのdecoder側を言語モデルに2019 GPT-2 (1.5Bパラメータ)
2020 GPT-3 (175Bパラメータ)
2022 GPT-3.5 / InstructGPT2022 ChatGPT2023 GPT-4 (2Tパラメータ?)
画像も扱える、多言語能力も大幅向上[Vaswani et al. 2017]• 米司法試験で人間受験者の上位10％の成績• 米大学入試テストSATで1600点中1410点• 米医師試験USMLEでも合格レベルの点数 8

ChatGPTをめぐる初期の議論
Q: どうして生成される表現がこんなに流暢？
A: 言語モデルだから
Q: どうして何でも知っている？

A: コーパス（ウェブ上のどこか）に書いてあるから
Q: 信頼できるのか、嘘をつくのか？
A: コーパスにないことを聞かれた場合、「それは知りません」とは言わずに、言語モデルが勢いで事実に反することを言うことがある(Hallucination)9意味・文脈の理解と多言語性

10

CoT (Chain-of-Thought)[Wei+ NeurIPS2022]

11

ChatGPTでできること• プロンプト（GPTへの入力）によりかなり知的なコントロールが可能• 要約、言い換え、翻訳12翻訳：うなぎ文

13翻訳：うなぎ文

14翻訳：うなぎ文

15翻訳：うなぎ文

参考：『ChatGPT翻訳術 新AI時代の超英訳スキルブック』山田 優 著, 株式会社アルク 2023.
16

ChatGPTでできること• プロンプト（GPTへの入力）によりかなり知的なコントロールが可能• 要約、言い換え、翻訳• アイデア出し、ブレストの対話相手（壁打ち）• ロールプレイング（就職面接、問診練習など）• プログラミング（支援）17ChatGPTでできること• プロンプト（GPTへの入力）によりかなり知的なコントロールが可能• 要約、言い換え、翻訳• アイデア出し、ブレストの対話相手（壁打ち）• ロールプレイング（就職面接、問診など）• プログラミング（支援）• 外部知識の利用
18こんなこともできない？

19

ChatGPT Advanced Data Analysis

20ChatGPT Advanced Data Analysis

21

ChatGPT Plugins

22

Bing Chat

23

GPT-4V（画像理解）

https://www.covid19-jma-medical-expert-meeting.jp/topic/2167

24

LLMに関する懸念• 研究開発が一部の組織の寡占状態であることは健全とはいえない。
OpenAIはもはやオープンではない• 強い・大きなモデルの学習コーパス・データは公開されておらず、巨大パラメータのモデルの振舞いを含めて全体がblack-box。その賢さ、多言語性について何が起こっているのか誰もわからない• 一方、現在のモデルにはHallucination、バイアス等の課題も山積• 日本語コーパスはGPT-3において0.11%、日本語の理解・生成能力は英語に比べて劣る

25日本語の扱い26

日本語の扱い

27

LLMに関する懸念• 研究開発が一部の組織の寡占状態であることは健全とはいえない。
OpenAIはもはやオープンではない• 強い・大きなモデルの学習コーパス・データは公開されておらず、巨大パラメータのモデルの振舞いを含めて全体がblack-box。その賢さ、多言語性について何が起こっているのか誰もわからない• 一方、現在のモデルにはHallucination、バイアス等の課題も山積• 日本語コーパスはGPT-3において0.11%、日本語の理解・生成能力は英語に比べて劣る• 国内にサーバを置き、セキュリティ認証ISMAPを取得するサービスも検討されているが、経済安全保障的な懸念は残る
28

LLM-jp (LLM勉強会)• オープンかつ日本語に強い大規模モデルを構築し、LLMの原理解明に取り組む• モデル・データ・ツール・技術資料等を議論の過程・失敗を含めすべて公開する• この趣旨に賛同すれば誰でも参加可
https://llm-jp.nii.ac.jp/

29

747

30

LLM-jp (LLM勉強会)

2023.10
130億パラメータの大規模言語モデル「LLM-jp-13B」を公開
2023.5
自然言語処理の研究者の有志（30名程度）による勉強会を開催

31

Research and Development of LLMs
Corpora Construction WG
Model Construction WG

Tuning & Evaluation WG

Large-scalecorpus

Tuningdata

Large-scalecomputational
infrastructure

Evaluation
data

Prof. Daisuke Kawahara
Waseda Univ.

Prof. Rio Yokota
Tokyo Institute of Tech.

Prof. Jun Suzuki
Tohoku Univ. Prof. Kenjiro Taura
The Univ. of Tokyo

Prof. Yusuke Miyao
The Univ. of Tokyo32

LLM-jp-13B: Released a 13B model on October 20thAlthough this model represents an early stage in LLM research anddevelopment and its performance metrics are comparable to previously
released domestic models, all of its components, including its corpora, aremade openly available to benefit future academic and industrial R&D efforts.
1. Computational Resources:• mdx A100 96 GPUs (12 nodes), funded by: NII, RIKEN
AIP, and JHPCN• Construction tool: Microsoft's DeepSpeed• Monitoring and logging: Weights & Biases
2. Corpora:• A tokenizer and web corpora filtering tool weredeveloped• Data Volume: 300 billion tokens (Japanese 145 billion
tokens manly from Japanese mC4; English 145 billion
tokens mainly from English; 10 billion tokens of programcode).

3. Number of Model Parameters:• 13 billion (13B)
4. Tuning and Evaluation:• Tuning: 12 types of Japanese instruction data
• Evaluation: Developed 9 types of evaluation data using
existing Japanese language resources
5. Corpus Search Facility:• N-gram & Dense retrieval• AWS33

Corpus Search Facility for LLM-jp-13B

Corpus Search Facility for LLM-jp-13B

中国語も話せるみたい！？

第1回 LLM 勉強会

5月15日●勉強会の趣旨、国の動向など
黒橋 禎夫（国立情報学研究所）●現状の LLM のサーベイ
河原 大輔（早稲田大学）
菅原 朔（国立情報学研究所）
栗田 修平（理化学研究所）●各機関での試みの紹介
河原 大輔（早稲田大学）
坂口 慶祐（東北大学）
佐藤 敏紀（LINE）
高村 大也（産業技術総合研究所）

第2回 LLM 勉強会 6月19日

参加者

29名

参加者

65名

●勉強会の運営に関する議論
黒橋 禎夫（国立情報学研究所）● NII からの話題提供
相澤 彰子（国立情報学研究所）● NICT の活動報告
鳥澤 健太郎（情報通信研究機構）● ABCIトライアルの報告
坂口 慶祐（東北大学）●レトリバからの話題提供
西鳥羽 二郎（株式会社レトリバ）●サイバーエージェントからの話題提供
石上・佐々木（Cyber Agent）● mdxプロジェクトに関する議論（ポリシー、各WG、利用方法）
河原 大輔（早稲田大学）・空閑 洋平（東京大学）

第3回 LLM 勉強会

7月20日

参加者

150名

●勉強会の趣旨説明
黒橋 禎夫（国立情報学研究所）●コーパス構築WGの報告：河原 大輔（早稲田大学）●チューニング・評価WGの報告：宮尾 祐介（東京大学）●ACL2023 参加報告
児玉 貴志（京都大学）、山田 康輔（名古屋大学）、植田 暢大（京都大学）、出口 祥之（NAIST）●最近の LLM チュートリアル
鶴岡 慶雅（東京大学）●mdxWGの報告：空閑 洋平・鈴村 豊太郎（東京大学）●モデル構築WGの報告：鈴木 潤（東北大学）

第4回 LLM 勉強会

9月4日

参加者

123
名

●Model imitationによるInstruction tuningのサーベイ
水木 栄（東京工業大学）● PEFT: LazyLoRA
Xianchao Wu（NVIDIA合同会社）●Stability AI Japanにおける大規模言語モデルの研究開発
Meng Lee（Stability AI Japan株式会社）●生成AI構築と著作権
柿沼 太一（STORIA法律事務所）●mdxWGの報告：空閑 洋平（東京大学）●コーパス構築WGの報告：河原 大輔（早稲田大学）●チューニング・評価WGの報告：宮尾 祐介（東京大学）●モデル構築WGの報告：鈴木 潤（東北大学）●日英2ヶ国語対応の大規模言語モデル”Weblab-10B”の構築
小島 武（東京大学）

第5回 LLM 勉強会 10月18日

参加者

168
名

⚫LLM-jp 状況報告
黒橋 禎夫（国立情報学研究所）⚫Heronを使ったV&Lの学習と応用
井ノ上 雄一（Turing ）⚫Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」について
中村 朝陽（ELYZA ）⚫大規模言語モデル PLaMo-13Bの事前学習
三上 裕明（Preferred Networks ）⚫大規模言語モデルの実ロボット応用例
河原塚 健人（東大 ）⚫モデル構築WGの報告 鈴木 潤（東北大学）⚫mdxWGの報告 空閑 洋平（東京大学）⚫コーパス構築WGの報告 河原 大輔（早稲田大学）⚫チューニング・評価WGの報告 宮尾 祐介（東京大学）

LLM-jp (LLM勉強会)

2023.11
ABCI第２回LLM構築支援
プログラム に参加
1750億パラメタモデルの訓練に着手

2024.4 （予定）
LLM研究開発センター（国立情報学研究所）

2023.10
130億パラメータの大規模言語モデル「LLM-jp-13B」を公開
2023.5
自然言語処理の研究者の有志（30名程度）による勉強会を開催

38

LLM研究開発センター（仮称）• 生成ＡＩモデルの透明性・信頼性の確保に向けた研究開発拠点• 2024年4月に国立情報学研究所内に設置、研究者・エンジ
ニア30名程度、計算資源 H100 500枚程度 (予定)

研究開発課題
1. 研究開発用LLM構築
2. LLMの透明性・信頼性確保に向けた研究開発
3. LLMの高度化に向けた研究開発
39

今後の展望• 言語は知の基盤であり、コンピュータがLLMという形でその理解と生成の基盤をもったことの意味ははかりしれない• LLMの知識基盤をもとに、画像・映像の理解と生成 (Large
Multimodal Mode; LMM)、ロボット制御なども加速度的に進展

40

GPT-4 [OpenAI 2023]

LMM＋Robotics
RT-2 [Brohan+ 2023]

参考：日本学術会議公開シンポジウム 研究の自動化とAIが切り拓く科学と社会「ロボットとマルチモーダル大規模言語モデルの融合の視点から」原田達也（東京大学先端科学技術研究センター教授） https://www.youtube.com/watch?v=hKNA_GGBrPc

今後の展望• 言語は知の基盤であり、コンピュータがLLMという形でその理解と生成の基盤をもったことの意味ははかりしれない• LLMの知識基盤をもとに、画像・映像の理解と生成 (LargeMultimodal Mode; LMM)、ロボット制御なども加速度的に進展• 学術においてもビジネスにおいても、データ駆動による新たな価値創造が始まっているが、LLMはそれを知識駆動へと昇華させる
42

データ基盤から知識基盤へ
日本学術会議「未来の学術振興構想」の策定に向けた「学術の中長期研究戦略」に提案（2022年12月16日）

AI基盤モデルが出力する情報の信頼性を担保する知識トレーサビリティ

AI基盤モデル構築に必要なデータの信頼性・信憑性を確保する技術

研究データ基盤の機能充実

異分野間の高度認証連携

クラウド・エッジサーバ・デバイス間のデータ収集及び資源最適化

国際協調に基づく非地上形ネットワークの構築による学術分野の発展・開拓

ネットワーク状態の高度診断・障害予兆検知
43

今後の展望• 言語は知の基盤であり、コンピュータがLLMという形でその理解と生成の基盤をもったことの意味ははかりしれない• LLMの知識基盤をもとに、画像・映像の理解と生成 (Large MultimodalMode; LMM)、ロボット制御なども加速度的に進展している• 学術においてもビジネスにおいても、データ駆動による新たな価値創造が始まっているが、LLMはそれを知識駆動へと昇華させる

If you want to go fast, go alone.
If you want to go far, go together.

44