2023.12.19【第72回】大学等におけるオンライン教育とデジタル変革に関するサイバーシンポジウム

LLM-jpでの活動:言語モデル構築

東北大学 言語AI研究センターセンター長・教授
鈴木潤l 背景：対話型文章生成AI / 大規模言語モデル(large language model: LLM)

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

1代表例：ChatGPT

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

https://chat.openai.com/

2

従来の言語モデル：Language Model (LM)l 文章の出現確率を予測する確率モデル
語彙(単語の集合)

𝑃(𝑌 = $BOS$ 今日 は 良い 天気 です 。 $EOS$ )確率 高𝑃(𝑌 = $BOS$ 良い です 。 天気 は 今日 $EOS$ )確率 低に。
これです今日1．．．
仙台

言語モデル

良い東京は．．．
天気確率は大量のデータから何かしらの形で計算．．．

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

3

「最近の」言語モデル
l 前提：ニューラル言語モデル

文章の確率を深層ニューラルネットワークで近似
l [文脈] => [正解次単語] を分類問題として学習
l 前方の単語列 (文脈)を利用し次の単語を予測 (繰り返す）
l<latexit sha1_base64="vBx2H+BCUKXtn7gWNGtLQQoCzKw=">AAAC2nichVG/axRBFP6y0SQmMTljI9gshkgkcLwNiCIGDm3U6pJ4uUg2Lrt7k2Qu+4vduYNz2cZOLRUsrBQsxN4uVRr/gRQBOytRqwg2Fr7dPRATTd4yO9/75n1vvuE5kScTRbQ/oA2eOj00PHJmdGz87MRk5dzUShJ2Ylc03NAL41XHToQnA9FQUnliNYqF7TueaDrbt/PzZlfEiQyD+6oXiXXf3gzkhnRtxZRVadat1HT81FRbQtlZNpsnD7Ir+oJuRnHYepjemzMyK20vGJn+r9peZrV105ctvVRa6c02y63KNFWpCP0oMPpgunb3+afacHO8HlY+wEQLIVx04EMggGLswUbC3xoMECLm1pEyFzOSxblAhlHWdrhKcIXN7Db/Nzlb67MB53nPpFC7fIvHK2aljhnao3d0QB/pPX2hX//tlRY9ci893p1SKyJr8umF5Z8nqnzeFbb+qI71rLCB64VXyd6jgslf4Zb67qOXB8s3lmbSy/SGvrL/17RPu/yCoPvDfbsoll4d48dhLxmPxzg8jKNgZb5qXK3SIs/pFsoYwUVcwixP4xpquIM6Gtx9B5/xDd81U3usPdGelaXaQF9zHn+F9uI3/lK11A==</latexit>

J+1Y

J+1Y) =P✓ (YP)✓ (y| Y<j=＾j 〜P✓) (yj | Y<j )
j=1

j=1

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

4

「最近の」言語モデル
l 前提：ニューラル言語モデル

J+1Y

J+1Y) =P✓ (YP)✓ (y| Y<j=＾j 〜P✓) (yj | Y<j )j=1

Vocabulary

Vocabulary

VocabularyA
thisthat…
meethaveyou…
Nice…
to…
too,.

A
thisthat…
meethaveyou
…
Nice
…
to…
too,.

A
thisthat…
meet
haveyou
…
Nice
…
to…
too,.

A
thisthat…
meethaveyou
…
Nice
…
to…
too,.

Nice

tomeetyou,

too ...

!

Nicetomeetyou, ...

文章の確率を深層ニューラルネットワークで近似
l [文脈] => [正解次単語] を分類問題として学習
l 前方の単語列 (文脈)を利用し次の単語を予測 (繰り返す）l<latexit sha1_base64="vBx2H+BCUKXtn7gWNGtLQQoCzKw=">AAAC2nichVG/axRBFP6y0SQmMTljI9gshkgkcLwNiCIGDm3U6pJ4uUg2Lrt7k2Qu+4vduYNz2cZOLRUsrBQsxN4uVRr/gRQBOytRqwg2Fr7dPRATTd4yO9/75n1vvuE5kScTRbQ/oA2eOj00PHJmdGz87MRk5dzUShJ2Ylc03NAL41XHToQnA9FQUnliNYqF7TueaDrbt/PzZlfEiQyD+6oXiXXf3gzkhnRtxZRVadat1HT81FRbQtlZNpsnD7Ir+oJuRnHYepjemzMyK20vGJn+r9peZrV105ctvVRa6c02y63KNFWpCP0oMPpgunb3+afacHO8HlY+wEQLIVx04EMggGLswUbC3xoMECLm1pEyFzOSxblAhlHWdrhKcIXN7Db/Nzlb67MB53nPpFC7fIvHK2aljhnao3d0QB/pPX2hX//tlRY9ci893p1SKyJr8umF5Z8nqnzeFbb+qI71rLCB64VXyd6jgslf4Zb67qOXB8s3lmbSy/SGvrL/17RPu/yCoPvDfbsoll4d48dhLxmPxzg8jKNgZb5qXK3SIs/pFsoYwUVcwixP4xpquIM6Gtx9B5/xDd81U3usPdGelaXaQF9zHn+F9uI3/lK11A==</latexit>

Vocabulary

j=1

OUTPUT text~>

Neural LM (e.g., Generative pre-trained transformer: GPT)

We have never met before , right ?

Nice to meet you

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

5

(Scaling Laws)

ニューラル言語モデルのスケール則l 学習データ量/モデルパラメタ数を増やせば性能向上l

データ量/パラメタ数の対数スケールで線形の関係
データ量

パラメタ数高性能性能

高

101 102 103 104 105 106

101 102 103 104 105 106
低低少Data size(log-scale)

多少

なぜか成り立つParam. size
(log-scale)

多Large language model (LM) => 大規模計算環境が必須に
LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

6

[参考] 年毎の大規模化
l 学習データ量 / パラメタ数：年々順調に増加
トークン数 ファイル容量
GPT-2:10 B
40 GB
GPT-3:
500 B
750 GB
GPT-4: 13,000 B 20,000 GB (憶測)

パラメタ数 必要メモリ量
GPT-2:
1.5 B
6 GB
GPT-3: 175 B
700 GB (ChatGPT)
GPT-4: 1,800 B
7,200 GB (憶測）100000

PaLM

1000
T5100

GPT-3

LLaMABLOOM
Megatron TuringNLG

RoBERTa
GPT-2

101

BERT
GPT-1
ELMO

Megatron TuringNLG
GPT-3

100

BLOOM

GPT-4 (?)
PaLM
PaLM 2
OPT

Chinchilla

101

T5

ELMO

GPT-2

BERT

0.1

LLaMA

RoBERTa

GPT-1

01/2018
04/2018
07/2018
10/2018
01/2019
04/2019
07/2019
10/2019
01/2020
04/2020
07/2020
10/2020
01/202104/2021
07/2021
10/2021
01/2022
04/2022
07/2022
10/2022
01/2023
04/2023
07/2023
10/2023

PaLM 2

10000

1000

パラメタ数（対数スケール）

Chinchilla

01/2018
04/2018
07/2018
10/2018
01/2019
04/2019
07/2019
10/2019
01/2020
04/2020
07/2020
10/2020
01/202104/202107/2021
10/2021
01/2022
04/2022
07/2022
10/2022
01/2023
04/2023
07/2023
10/2023

データ量（対数スケール）

GPT-4 (?)

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

7

l LLM-jpの取り組み紹介

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

8言語モデルの状況 => 英語主体
l 学習データの大半が英語データ
ll 処理単位 (トークン) の区

切りが細かすぎる

GPT-3の日本語データはわずか0.1%

language
number of words percentage
1
English (en) 181,014,683,608
92.65%
2
French (fr)
3,553,061,536
1.82%
3 Germany (de)2,870,869,396
1.47%
4Spanish (es)1,510,070,974
0.77%
5Italiano (it)1,187,784,217
0.61%
6 Portuguese (pt)1,025,413,869
0.52%
7Dutch (nl)669,055,061
0.34%
8
Russian (ru)368,157,074
0.19%
9 Romanian (ro)308,182,352
0.16%
10Polish (pl)303,812,362
0.16%
11
Finnish (fi)221,644,679
0.11%
12Danish (da)221,551,540
0.11%
13
Swedish (sv)
220,920,577
0.11%
14Japanese (ja)217,047,918
0.11%
15 Norwegian (no)212,193,299
0.11%
16Chinese (zh)193,517,396
0.10%
17Czech (cs)139,918,438
0.07%
18 Hungarian (hu)127,224,375
0.07%

https://platform.openai.com/tokenizer

英語

日本語

https://github.com/openai/gpt-3/blob/master/dataset̲statistics/languages̲by̲word̲count.csv
LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

9

LLMに関する議論(by NII所長 黒橋先生）

何が起こっているのか自然言語処理の研究者もわからない
l 大規模言語モデルの研究開発が一部の組織の寡占状態であることは健全とはいえないl

完全にオープンなモデルを継続的に構築し「LLMの原理解明」
多分野展開などの研究開発を進めることが必要
l 日本語の情報を十分にカバーし 使用ルール・入力情報の機密性がコントロール可能 等の要件も経済安全保障的な観点から必須
ll

一方で、LLMの研究開発には大規模かつ多様なデータ、強力な計算基盤、多額の費用が必要 => もはやビッグ・サイエンス
LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

10

LLM勉強会 (LLM-jp) 2023.05-

https://llm-jp.nii.ac.jp●

All Japanで産学の自然言語処理と関連分野の800+名規模(2023.12.12) の研究者/技術者が参加（産学半々程度）●

オープンかつ日本語に強い大規模モデルを構築●

LLMの原理解明●

モデル・データ・ツール・技術資料・試行錯誤・議論の過程等・失敗も含め全て公開=> 技術者の教育・参考資料としても有益
LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

800+11

LLM勉強会：多くのWGにより構成
コーパス検討WG
モデル構築検討WG
チューニング検討WG

大規模コーパス●

安全性検討WG

サブグループなど●●●

チューニングデータ

大規模計算基盤

新WG●●（評価データ含む）

トークナイザー検討
コーパス検索チューニング実験

評価データ

その他
●
●
●

法律系相談wandb-support
データ流通・標準化など

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

12目標 (開始時: 2023.05)
l 今年の秋冬頃に妥当な性能をもつ13Bパラメタモデルの事前学習済み日本語言語モデル (Version1) を完成（学習データ量：270B tokens 予定）=> この作成経験を踏まえて次のフェーズを考える○[参考] GPT-3 [2005.14165] Language Models are Few-Shot Learners

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

13利用計算機環境：mdx

https://mdx.jp/about/system

データ活用社会創成プラットフォーム

16ノード
CPU：Intel Xeon Platinum 8368
(38core, 2.4GHz) 2 個
メモリ：512 GiB
GPU：NVIDIA Tesla A100
(GPUメモリ 40GiB) 8 個

0.04PB

0.05PBLLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

14

LLMの事前学習●

LLMの事前学習はそれほど単純ではない
https://github.com/facebookresearch/metaseq/blob/main/projects/OPT/chronicles/10̲percent̲update.md

https://huggingface.co/blog/bloom-megatrondeepspeed#bf16optimizer
LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

15

モデル事前学習の学習曲線
l 13Bパラメタモデル： (トラブルなしで約18日)

マシントラブルにより数回リスタートを実施
・原因不明のフリーズ
・checkpoint書き込みエラー・．．．
まだ下がりそう？

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

16

LLM-jp Models Version1公開 (2023.10.20)
https://huggingface.co/llm-jp

Finetuning済lModel size: 13B paramslData size: 300B tokenslVocab size: 50k tokens

lTool: Megatron-Deepspeed

事前学習済みモデルとしては13Bと1.3Bのモデルを公開（MDS形式も公開)

事前学習済

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

17

実行例

Slack連携
https://drive.google.com/file/d/12BSt5lYPzt245BiYI̲̲g17NcfA0DT7cl/view

ベクトル検索と N-gram ベースの検索、それぞれの上位3件の結果を返却
何番目の学習データに出てきたか（出てこなかったか）を確認可能

検索

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.12

18

l 今後の予定

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.1219

次の目標 Version2 (10/20 当時)
l 今年度中に175Bパラメタ級モデルの学習を開始
l 来年度前半に175Bパラメタ級モデルを 2T tokens 級

データで学習完了=> 計算機環境の調達が必要 (mdxでは実施困難)○[参考] GPT-3 [2005.14165] Language Models are Few-Shot Learners

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.1220

まとめ●

背景：対話型文章生成AI / 大規模言語モデル (LLM)●

LLM-jp の取り組み
LLMに関する議論● オープンかつ日本語に強い大規模モデルを構築● 13Bパラメタモデル (Version1) の構築と公開●●●

2023.10.20

今後の予定
●

175Bパラメタ級モデルの構築

LLM-JPでのmdx活用について / Jun Suzuki / 2023.12.1221