別府湾会議2023

NTT版LLM tsuzumi
2024年2月27日

執行役員 研究企画部門長

木下 真吾

小さい軽量特長１

Copyright 2024 NTT CORPORATION

2

LLM大規模化の課題

サステナビリティ
GPT-3 (175B) 規模の学習には、膨大なエネルギーが必要

約

1300MWh /1回の学習[1]

原発1基分 約1000MWh[1] https://gizmodo.com/chatgpt-ai-openai-carbon-emissions-stanford-report-1850288635

Copyright 2024 NTT CORPORATION

3

データセンターの電力消費量
電力消費量（テラワット時）

膨大なデータ処理を伴う人工知能（AI）の普及が拍車

1000

1000
2.2倍

テラワット時日本の年間総電力消費量に相当

500

2022

2026

国際エネルギー機関（IEA）試算
Copyright 2024 NTT CORPORATION

4

の戦略

目指す方向性

何でも知っている
巨大なLLM

専門知識をもった
小さなLLMアプローチ

パラメタサイズ増加

言語学習データの質と量を向上

Copyright 2024 NTT CORPORATION

5軽量なLLM

を2種類を開発

超軽量版

軽量版

-0.6B
GPT-3 (175B) の約300分の1

Copyright 2024 NTT CORPORATION-7B
GPT-3 (175B) の25分の1

6

軽量化のメリット① 学習コスト
GTP-3規模のLLMと比べて、学習コストを約300分の1（超軽量版）および約25分の1（軽量版）に低減可能

学習コスト
（億円）

学習データを300Bトークンとした場合の学習コスト比較（NTT試算値※）

54

4.7億円

32

1900万円〜160万円〜

7B

0.6B

1175B
GTP-3規模

Copyright 2024 NTT CORPORATION※試算条件• LLaMA-1 7Bの学習時82432GPU-hoursをベースに、パラメタ数比とトークン数比から各LLMの必要GPU-hoursを算出• 算出したGPU-hoursとAWSのGPUクラウド料金から学習コストを算出• AWS GPUクラウド料金: A100-80GB 1ノード（8GPUs）約14万円／日と想定• 通常、パラメタサイズが小さい場合、精度を向上させるためには、2－3倍程度の学習データが必要。それに比例しコストも向上

7

軽量化のメリット② 推論コスト
GTP-3クラスと比べて、推論コストを約70分の1（超軽量版）と約20分の1（軽量版）に低減可能

オンプレ環境でのGPU/CPUコスト比較

推論コスト
（万円）
1500

（NTT試算値※）

上位GPU

5基

1000

1500万円

下位GPU

175B
GTP-3規模

7B

500

Copyright 2024 NTT CORPORATION

1基70万円CPU

1基20万円

0.6B※試算条件• 量子化: 16ビット• 必要GPUメモリサイズ︓パラメタ数 x 量子化サイズ/8bit（175Bは350GB, 7Bは14GB, 0.6Bは2.4GB）• ハードウェアコストは、上位GPU A100 80GB: 300万円／台, 下位GPU A10 24GB: 70万円／台, CPU PC: 20万円／台として換算、その他の運用などの費用は含まず

8

小さい特長２ 邦楽器
日本語に強いCopyright 2024 NTT CORPORATION

9GPT 3.5

Copyright 2024 NTT CORPORATION

10日本語性能比較︓Rakudaベンチマーク
・-7Bは、世界トップクラス、国産LLM中トップの性能を達成（評価スコア︓1225／2023.10.26時点）

・大規模なGPT-3.5を上回り、同クラスの国産LLMを大きく上回る
WIN

対 GPT-3.5 175B?

(OpenAI gpt-3.5-turbo-0301)

対 Elyza 7B(ELYZA elyza-7b-fast-instruct)

対 Ja Stable 7B(Stability AI ja-stable-7b-alpha instruct)

勝率50%

52.5％

DRAW

LOSE

7.5％

40.0％

71.3％

8.8％

86.3％

対 Weblab 10B

91.3％

対 LLM-JP 13B

97.5％(東大松尾研 weblab-10b-instruct)(Nii LLM勉強会 vs. llm-jp-13b-instructfull-jaster-dolly-oasst-v1.0)

Copyright 2024 NTT CORPORATION

20.0％

11.3％

7.5％

※rakudaベンチマーク︓https://yuzuai.jp/benchmark 2023.10.22実施
日本の地理・政治・歴史・社会に関する40問の質問 GPT-4による2モデルの比較評価（40問×提示順2）で採点
llm-jpを除くモデル出力はサイトにアップロードされているものを利用 llm-jpはhuggingfaceのモデルカード記載の設定による入力の繰り返しおよび終端トークンは後処理により除外した。
評価スコアは、2023/09/27付リーダーボード記載の全モデルとtsuzumi-7bをGPT-4による2モデルの比較評価を行い、Bradley-Terry strengthsにてランキングした結果

11

Copyright 2024 NTT CORPORATION

12

Copyright 2024 NTT CORPORATION

13高速な推論• tsuzumi-7B: A100 40GBで 100 tokens / sec を超える

Copyright 2024 NTT CORPORATION

14小さい邦楽器
調べ緒により調律が容易
特長３
柔軟なカスタマイズ

Copyright 2024 NTT CORPORATION

15

さまざまなチューニング方法
精度やコストなど要件の違いに柔軟に応える、3つのチューニング方法を提供
プロンプトエンジニアリング

フルファインチューニング

アダプタチューニング

コスト精度
プロンプトに金融関連情報を付加

金融

Copyright 2024 NTT CORPORATION

金融

16

様々なチューニング
業界ごと、組織ごと、個人などカスタマイズを低コストで実現
業界特化型

企業・組織特化型

最新情報

タスク特化（要約・翻訳）

基盤モデル

Copyright 2024 NTT CORPORATION

17

デジタル分身
本人のデジタルツインを少量の個人データから生成
個人性再現対話技術

従来手法
取集が困難

取集が容易

大量の個人データ基盤モデルCopyright 2024 NTT CORPORATION

ペルソナデータ

少量の個人データ

30代女性
会社員
都内在住

デジタル分身

基盤モデル

デジタル分身デジタル分身（ペルソナレベル）（個人レベル）
18

小さい
邦楽器
調べ緒により調律が容易
見た目、音、特徴４ マルチモーダル
演奏時の所作が美しい
Copyright 2024 NTT CORPORATION

19

モーダル拡張 言語＋視覚・言語による質問だけでなく、文書画像を提示しながらの質問が可能
・請求書や仕様書など画像付き文書を用いる業務やRPA業務に適用可能

視覚
視覚的読解
アダプタ

言語

9,500円

10%の消費税を抜いた合計金額は︖

Copyright 2024 NTT CORPORATION

20

モーダル拡張 言語＋視覚
2040年のIOWNの電力消費量削減の割合は何％でしょうか︖▲45%

Copyright 2024 NTT CORPORATION

21

GPT-4を上回るNTTの視覚読解技術（AAAI2024発表）
CORD

InfoVQA

SlideVQA

レシート質問インフォグラフィクス質問

複数スライドにまたがる質問

GPT-3.5

30.4

37.8

11.7

GPT-4V

69.4

49.9

21.0

tsuzumi

46.0

50.9

31.9

視覚読解ベンチマーク

Copyright 2024 NTT CORPORATION

22

モーダル拡張 言語＋視覚＋聴覚
上司と部下のコミュニケーションをマルチモーダルに理解して、上司のパワハラ行動の改善を促します

Copyright 2024 NTT CORPORATION

23

モーダル拡張 言語＋視覚＋聴覚
上司と部下のコミュニケーションをマルチモーダルに理解して、上司のパワハラ行動の改善を促します

Copyright 2024 NTT CORPORATION

24

モーダル拡張 言語＋身体性・tsuzumi搭載ロボットが、ユーザの要求に応じてメニューやテーブルの配置を考え、理由を説明しながら配膳を行う

1.
2.

寒い冬の日に温まる夕食のテーブルを作ってください。
左利きを意識して3.

4.

Copyright 2024 NTT CORPORATION

寒い冬の日に温まるため、カレーを選びます
サラダは軽めの食事としてバランスが良いと思います。また、季節感もあるので春巻きと一緒に提供します
お茶は体を温める飲み物なので、この夕食には必要不可欠です。また、食器として箸も用意していますが、また、左利きであることから、箸とスプーンは右利きとは反対の向きに置く事で、おもてなしの心を伝えることができます。
最後にデザートとしてどら焼きを提供し、満足度を高めます。全体的に和風な雰囲気を出したかったため、主食・主菜・副菜ともに日本料理中心となっております25

NTT研究所の技術力

Copyright 2024 NTT CORPORATION

26

AI分野論文数 世界12位

国内1位

順位

企業名

1234567891011

Google (USA)
Microsoft (USA)
Facebook (USA)Amazon (USA)IBM (USA)
Huawei (China)
Alibaba (China)
NVIDIA (USA)
Tencent (China)
Samsung (South Korea)
Baidu (China)

12NTT (Japan)

13
14
15
16
1718

Apple (USA)
OpenAI (USA)Intel (USA)
Adobe (USA)
Salesforce (USA)
Yandex (Russia)

20

VinAI (Vietnam)

Top 100 Global Companies Leading in AI Research in 2022*1*1: https://thundermark.medium.com/ai-research-rankings-2022-sputnik-moment-for-china-64b693386a4
Copyright 2024 NTT CORPORATION

27

自然言語処理分野（日本語） 世界トップクラス
言語処理トップカンファレンス（TACL, NAACL, ACL, EMNLP, COLING）への2015-2021 採択数 *1

言語処理学会での実績

順位

企業名

採択数

1

NTT

25.89

2

Yahoo!

15.35

3

IBM

5.50

4Fuji Xerox

4.41

5Google3.45

直近10年間の6

Fujitsu

2.987PFN

2.51

優秀賞授賞件数

8NHK

2.38

9NEC1.63

10Studio Ousia

1.20*1 引用元: https://murawaki.org/misc/japan-nlp-2021.html
Copyright 2024 NTT CORPORATION

１位*2*2 企業の研究機関の中で1位
28

IOWNとの連携

Copyright 2024 NTT CORPORATION

29

Copyright 2024 NTT CORPORATION

30

IOWN
“光”デジタルテクノロジーによる限界打破
Computing

Networking

IOWN 1.0
DC to DC

Copyright 2024 NTT CORPORATIONIOWN 2.0
Board to Board

IOWN 3.0
Chip to Chip

IOWN 4.0
Inside Chip

31

IOWN
性能目標
低消費電力

大容量・高品質

低遅延

電力効率

伝送容量

エンドエンド遅延

100倍

Copyright 2024 NTT CORPORATION

125倍1/200倍

32

IOWN x LLM
・学習データを手元に置いたまま、約100km離れたデータセンターのGPU利用
・ローカル環境と遜色のない安全かつ低遅延のLLM学習環境を実現

三鷹

通信経路約100km 横須賀

IOWN APN

ゼロ

ローカルNFSに比べ、リモートでも性能低下ほぼ
Copyright 2024 NTT CORPORATION（0.5%性能低下）
33

AIコンステレーション
・何でも知っている1つの巨大なLLMではなく、専門性や個性をもった小さなLLMの集合知による社会課題解決
・大量のLLMの連携基盤としてIOWNが重要となる

Web
SNS
AI

IOWN
Web
SNS
AI

Copyright 2024 NTT CORPORATION

34

大規模＆高速な「まちづくりディスカッション」
人口が減っている我が地域の活性化には何が必要ですか︖

人事部長AI

臨床心理士AI

トラック運転手AI

小学校教諭AI

Copyright 2024 NTT CORPORATION

35

Sakana AI社との資本・業務提携
地球にやさしく賢い次世代のLLM群のあるべき姿をめざす×David Ha, CEO••

創業メンバ
2023年8月東京にて創業

Llion Jones, CTO•

Copyright 2024 NTT CORPORATION

Google Brainの日本部門統括として研究を指揮
Stability AI 研究リード

ChatGPT等でも利用されている深層学習モデル”Transformer”の開発者の1人
36

ビジネス展開

Copyright 2024 NTT CORPORATION

37

既に開始したお客さまとの活用の取り組み

モビリティ

メディア

自治体

生命保険

飲料メーカ

小売

IT

官公庁

Copyright 2024 NTT CORPORATION

問い合わせ160社超…等

38

NTTデータ LITRON連携

Copyright 2024 NTT CORPORATION

39

NTTテクノクロス ForeSight Voice Mining連携

Copyright 2024 NTT CORPORATION

40