国内外の大規模言語モデルに関する取り組みについて
東京工業大学
学術国際情報センター
横田 理央 1ChatGPT公開以前の流れ
2019/06/22 MicrosoftがOpenAIに10億ドル(当時 約1100億円)を投資
2020/01/23 OpenAIが言語生成モデルに関するScaling Lawの論文を発表
2020/03/28 OpenAIが言語生成モデルGPT3に関する論文を発表
2020/06/11 OpenAIがGPT3のAPIを公開
2020/09/22 OpenAIがMicrosoftに対してGPT3のソースコードを公開
2021/01/05 OpenAIが画像+言語モデルCLIPと画像生成モデルDALL-Eを発表
2021/06/29 GithubがGPT3にコードを追加学習したCodexを利用したCopilotを発表
2021/07/28 Free Software FoundationがGithub Copilotに対するライセンス上の懸念を表明
2021/09/10 Naverが言語生成モデルHyperClovaを発表
2022/02/22 DeepMindがコード生成モデルAlphaCodeを発表
2022/03/29 DeepMindが言語生成モデルChinchillaを発表
2022/05/23 Googleが画像生成モデルImagenを発表
2022/07/20 OpenAIが画像生成モデルDALL-E2を発表
2022/07/22 BigScience (HuggingFace,CNRS,GENCI)が多言語モデルBloomを発表
2022/08/04 精華大学が言語生成モデルGLM-130Bを発表
2022/08/22 Stability AIが画像生成モデルStable Diffusionを発表
2022/11/10 DeepMindが汎用モデルGatoを発表
2022/11/15 DeepMindが画像+言語モデルFlamingoを発表

2

ChatGPT公開以降の時系列
2022/11/30 OpenAIがChatGPTを発表
2022/12/04 公開後5日で100万ユーザを突破
2022/12/05 Stack OverflowがChatGPTで生成された投稿を禁止
2022/12/21 GoogleがChatGPTの自社への脅威に対してCode Red(非常事態)を宣言
2023/01/23 MicrosoftがOpenAIに100億ドル(当時 約1.3兆円)を投資
2023/02/01 OpenAIが月額$20の有料サービスChatGPT Plusを開始
2023/02/02 公開後約２ヶ月で1億ユーザを突破
2023/02/03 自民党AIの進化と実装に関するプロジェクトチーム (第１回)
2023/02/06 GoogleがChatGPTに対抗して対話型AIのBardを限定公開
2023/02/07 Microsoftが検索エンジンBingにChatGPTを導入
2023/02/09 ChatGPTが米国の医師国家試験に合格できるレベルとの論文が発表される
2023/02/24 Metaが言語生成モデルLLaMAのソースコードを非商用ライセンスで公開
2023/03/01 OpenAIがChatGPTとWhisper(音声認識)のAPIを公開 (ユーザデータは学習に使わないことを宣言)
2023/03/09 MicrosoftがAzure OpenAI ServiceでChatGPTを提供開始
2023/03/10 Googleが言語生成モデルPaLM2を発表
2023/03/14 ChatGPT PlusでGPT-4が利用可能に
2023/03/14 Anthropicが言語生成モデルClaudeを発表
2023/03/16 Microsoft 365 CopilotでWord,Outlook,TeamsなどからAIアシスタントが利用可能に

3

ChatGPT公開以降の時系列
2023/03/20 ChatGPTから氏名,email,住所,カード番号などの個人情報が漏えい
2023/03/20 GitHubがGPT-4を搭載したCopilot Xを公開
2023/03/30 ChatGPTのAPIを利用したAI agentであるAuto-GPTが公開
2023/03/30 UC Berkeley,CMU,StanfordなどがGPT-4の会話データで微調整したVicunaを発表
2023/03/31 イタリアがChatGPTの利用を禁止 (4/28に撤回)
2023/05/19 G7広島サミットにて「広島AIプロセス」立ち上げ
2023/05/21 LLM勉強会 (第１回)
2023/06/01 「富岳」政策対応枠 利用開始
2023/06/05 TTI (Abu Dhabi)がFalcon-40Bのソースコードを商用ライセンスで公開 (09/06に180Bも)2023/07/11 Anthropicが言語生成モデルClaude2を発表
2023/07/18 Metaが言語生成モデルLLaMA2のソースコードを限定的な商用ライセンスで公開
2023/09/07 Turingが画像+言語モデルHeronを公開
2023/10/02 AmazonがAnthropicに12億ドル(約1800億円)を投資
2023/10/03 産総研の生成AI開発支援プログラムに国立情報学研究所(NII)とELYZA社が採択
2023/10/26 Google, Microsoft, Anthropic, Open AI が AI Safety Fundに10億ドル(1500億円)を投資
2023/11/17 Sam AltmanがOpenAIから解任→Microsoftに移る→OpenAIに戻る
2023/12/06 AI Alliance立ち上げ：日本からは東大,慶應,SB Institute, sakana.ai, Sonyなどが参加
2023/12/07 GoogleがGemini, Alphacode2を発表

4

Transformerのスケール則(Scaling Law)
1021 FLOPs[Kaplan et al. 2020 arXiv:2001.08361]#parameters

enough parameters

enough data

・パラメータ数が十分な場合、データ量に対してTest Lossはべき乗則に従って減少する
・データ量が十分な場合、バラメータ数に対してTest Lossはべき乗則に従って減少する

1:20のデータが必要なことは昔から知られていた・必要な計算資源 [FLOPs] = パラメータ数 x テータ量 [tokens] x 5.7
・どのくらいの計算資源(予算)を投入すればどのくらいの性能のものができるかが予想できる・データ量はパラメータ数に比例させる必要がある （データ量：パラメータ数=20:1）[Hoffmann et al. 2022 arXiv:2203.15556]

・GPT-3は データ量：パラメータ数が2:1 になっており圧倒的にデータが不足している
・最近は推論コストを抑えるためにパラメータ数に対してデータ量を増やす傾向が顕著に

5

創発性(Emergence)
良く参照されるこちらの図では1022を境に創発性が現れているように見える
実際はタスクによって創発性が現れる演算量はバラバラであり、1023でも解けないタスクはまだまだ無数にある演算量に対する性能向上がべき乗則に従うということに矛盾していないか？
→べき乗則に従うのはTest Lossであって、特定のタスクの性能ではない
原著論文ではもっと幅広いタスクやモデルに対して調べた結果が載っておりそれを見ると1020から1024(1万倍)の範囲でばらついている→この論文に載っていないような難しいタスクは無数にある
片対数グラフだから急峻な立ち上がりのように見えているだけでは？
→スケール則のグラフも片対数なのに直線(べき乗則)になっている
OpenAI, Googleの視点からみるとスケール則 (2019) → 資金調達や社内での正当化をするのに好都合
創発性 (2023) → 後続の企業を諦めさせるのに好都合

6

GPT-4(3x1024 FLOPs)をスパコンで学習するには？
OpenAI (A100x25,000) 90日

理論ピークの半分がでた場合の概算
Frontier (MI250Xx37,888) 75日
LUMI (MI250Xx20,480) 140日

Aurora (PVCx63,744) 30日?

Fugaku (A64FXx158,976) 700日 ABCI (A100x960+V100x4352) 770日

深層学習においては、国内の計算資源は国外のものと比べて一桁少ない→計算資源・ノウハウ・人材の観点からも海外との連携が喫緊の課題

7

海外との連携 その１（INCITE）

6M GPU hours on Summit● Project Members■ Irina Rish (University of Montreal)■ Sergey Panitkin (University of Montreal)■ Guillaume Dumas (University of Montreal)■ Stella Biderman (EleutherAI)■ Jenia Jitsev (Jülich Supercomputing Centre)■ Mehdi Cherti (Jülich Supercomputing Centre)■ Quentin Anthony (Ohio State University)■ Guillermo Cecchi (IBM Research)■ Rio Yokota (Tokyo Institute of Technology)8海外との連携 その２（Aurora GenAI）
●
●
●
●
●
●
●
●

●
●

Data: General text
● Neeraj Kumar (PNNL) & Andrew McNaughton (PNNL)Data: Biological / medical● Arvind Ramanathan (Argonne) & Miguel Vazquez (BSC)
Data: Chemistry / materials● Eliu Huerta (Argonne) & Gihan Pinipitiya (PNNL)
Data: Physics● Salman Habib (Argonne), Paolo Calafiura (LBL)
Data: Climate / environment● Po-Lun Ma (PNNL)
Models: Evaluation, alignment, safety, and ethics● Bo Li (UIUC) & Prasanna Balaprakash (ORNL)
Models: Downstream instruct tuning● Venkat Vishwanath (Argonne) & Väinö Hatanpää (CSC)
Models: Architecture & Compute Performance● Rio Yokota (Tokyo Tech.) & Jeyan Thiyagalingam (RAL) &● Shantenu Jha (BNL) & Juan Durillo (Liebniz LRZ)
AI for Computer Science● Valerie Taylor (Argonne) & Pete Beckman (Argonne)
TPC coordination, strategies, and policy● Charlie Catlett (Argonne) & David Martin (Argonne)

9日本語のベンチマーク性能

国内LLMの動向
企業
●
●
●
●
●
●Cyberagent
ELYZALinePFN
RinnaStabilityAI

ベンチマークのtrain dataで学習

大学・研究所● NII(LLM勉強会): MDX● 理研(GPT-Fugaku): 「富岳」
● 産総研: ABCI
● 松尾研
● NICT

外国製Weights & Biases Leaderboard
http://wandb.me/nejumiRakuda
https://yuzuai.jp/benchmark
Stability AI Leaderboard
https://github.com/Stability-AI/lm-evaluation-harness/tree/jp-stable

10

LLM勉強会
主催者：黒橋（国立情報学研究所）
基盤センター：北海道大学情報基盤センター、東北大学サイバーサイエンスセンター、東京大学情報基盤センター、東京工業大学学術国際情報センター、
名古屋大学情報基盤センター、京都大学学術情報メディアセンター、大阪大学サイバーメディアセンター、九州大学情報基盤研究開発センター
大学の研究室：東北大学乾研究室、東北大学鈴木研究室、東京大学今泉研究室、東京大学大関研究室、東京大学川原研究室、東京大学鶴岡研究室、東京大学松尾研究室、東京大学宮尾研究室、東京大学谷中研究室、東京大学吉永研究室、東京大学医療AI開発学講座、早稲田大学河原研究室、東京工業大学岡崎研究室、東京工業大学横田研究室、お茶の水女子大学小林研究室、
名古屋大学武田・笹野研究室、京都大学黒橋研究室、大阪大学鬼塚研究室、
奈良先端科学技術大学院大学ソーシャル・コンピューティング研究室、愛媛大学人工知能研究室
研究所：理化学研究所AIP、理化学研究所GRP、産業技術総合研究所、国立情報学研究所、情報通信研究機構、科学技術振興機構、情報・システム研究機構、
企業：NTT、LINE/ヤフー、レトリバ、サイバーエージェント、富士通、
Microsoft、Studio Ousia、プレシジョン、ZENKIGEN、Legalscape、Turing、AWS、みらい翻訳、Megagon Labs、ストックマーク、
matsuri technologies、ファーストアカウンティング、東芝、Preferred Networks、オムロンサイニックエックス、トヨタ、NTT Communications、バオバブ、Polaris.AI、
Stability AI Japan、マネーフォワード、メルカリ、NVIDIA、アステラス製薬株式会社、パスコ、朝日新聞社、楽天、ELYZA、ベルシステム24、Lightblue、Intel

MDX: A100 x 128 x 60 days
ABCI: A100 x 480 x 60 days
フレームワーク: Megatron-DeepSpeed
モデルサイズ：1.3B、13B、175B
日本語データ: Wikipedia: 1.4Bトークン (1.3M文書)
mC4 (ウェブコーパス): 136Bトークン (75M文書)
Common Crawl全量: 1Tトークン? (1B文書?)
JST J-STAGE (論文): 3Bトークン程度 (5.5M文書)

11

LLM勉強会
Data size: 270B token
Model size: 1.3B, 13B
Framework: Megatron-DeepSpeed

1.3B

13B

12

LLM勉強会
Data size: 70B token
Model size: 175B
Framework: Megatron-DeepSpeed13産総研＋東工大(岡崎研＋横田研)
LLaMA-2からの継続学習
パラメータ数：7B, 13B, 70B
データ：岡崎研CC, Wikipediaなど
フレームワーク：MDS
語彙拡張：あり、なし
日本語:英語＝50:50,90:10
評価：日英LM Evaluation Harness14産総研＋東工大(岡崎研＋横田研)
日本語と英語の混合率

追加語彙数の影響

15

「富岳」政策対応枠
課題名：スーパーコンピュータ「富岳」を活用した大規模言語モデル分散学習手法の開発 (hp230254)
実施機関：2023/5/24 - 2024/3/31
参画組織：
東京工業大学 (全体統括、並列化、学習の実施)東北大学（学習データ収集・精製）
富士通株式会社（高速化）
理化学研究所（並列化・高速化）
株式会社サイバーエージェント（学習データ収集）
名古屋大学（性能計測）
Kotoba Technologies Inc. （モデル評価）• アカデミアや企業が幅広く使える大規模言語モデルの構築環境を整備やノウハウの共有• 検証実験の過程で構築された大規模言語モデル（基盤モデル）の公開• 国内におけるAIの研究力向上に貢献し、学術および産業の両面で「富岳」の活用価値を高めることを目指す

富士通提供資料

16

「富岳」単一ノード上での性能
演算の99%は大量の小規模な密行列積が占める・GEMMの塊なのでHPL並の実効性能が出る実アプリ
・A64FXでは66%、A100では49%の時間が行列積
モデルサイズが大きくなるほどノード毎のFLOPsが増加

A64FX CPU

A100 GPU

入力はtoken数(sequence長)×hidden size×batch size
1 batchの推論においても数千次元のGEMMが演算の大半

17

「富岳」上での分散並列学習
ハイブリッド並列化
並列数=DP x TP x PP x FSDP
Tofuの６次元トーラスをDP,TP,PP,FSDPにどのようにマッピングするか？

18

データ並列の問題

19

「富岳」上での30Bモデルのデータ弱スケーリング

DP: data並列
TP: tensor並列
PP: pipeline並列20

今後のLLMに関して知っておくべきこと• パラメータ数至上主義の時代は終わっている• データの質と量こそが重要• Microsoftが所有するGPU数は40万規模• 世界最大級のスパコンAuroraは6万程度• Transformerの演算の99%は行列積• 1batchの推論でも行列積• Matrix engineがなければ話にならない21