オープンなLLM (大規模言語モデル) の発展と、それを活かした日本語LLMの開発について
2024/01/25 JAIST産学官共創フォーラム・令和５年度 第３回定期講演会©2024 ELYZA,Inc

1

会社概要
2018年9月に東京大学 松尾研究室からスピンアウトしたAIスタートアップ©2024 ELYZA,Inc

2

登壇者紹介佐々木 彬
株式会社ELYZA AIエンジニア
東北大学 乾・岡崎研究室 (現 乾研究室) 博士卒。
株式会社リクルートにて人材領域のデータ活用施策の推進に従事ののち、ELYZAに参画。
Kaggle Master。
ELYZAでは自然言語処理の研究開発を担当。

©2024 ELYZA,Inc

3

ELYZAの活動
大規模言語AIでホワイトカラー業務のDXに挑戦しています
大規模言語AI

ホワイトカラー業務

言語・テキストを対象にホワイトカラーの生産性を向上させる

人間のように処理するAI

要約するAI

読むAI

書くAI

話すAI

コールセンター

契約書対応

原稿作成

メール対応

✕等
©2024 ELYZA,Inc

4

R＆D事例：要約AI 「ELYZA Digest」©2024 ELYZA,Inc

5

R＆D事例：執筆AI 「ELYZA Pencil」©2024 ELYZA,Inc

6

独自LLMの開発・公開
2023年8月にリリースした「ELYZA-japanese-Llama-2-7b」など、直近で大きく分けて3種類のLLMを公開©2024 ELYZA,Inc

7

本日お話すること
１. オープンなLLM/
クローズドなLLM

APIベースで利用可能な、クローズドなLLM (例: GPT-4/Gemini/Claude/…)に対して、オープンなLLMとはどのようなものか

2. 日本語LLMの近況

ここ数年の、日本語に特化したオープンなLLMの近況について
また、日本語特有の課題についても紹介

3. ELYZAにおける取り組み内容

弊社ELYZAがリリースした「ELYZA-japanese-Llama-2」や、評価用データセット「ELYZA-tasks-100」について

4. 直近ホットなトピック

オープンなLLMの周辺で直近ホットなトピックをいくつか紹介©2024 ELYZA,Inc8本日お話すること
１. オープンなLLM/
クローズドなLLM

APIベースで利用可能な、クローズドなLLM (例: GPT-4/Gemini/Claude/…)に対して、オープンなLLMとはどのようなものか

2. 日本語LLMの近況

ここ数年の、日本語に特化したオープンなLLMの近況について
また、日本語特有の課題についても紹介

3. ELYZAにおける取り組み内容

弊社ELYZAがリリースした「ELYZA-japanese-Llama-2」や、評価用データセット「ELYZA-tasks-100」について

4. 直近ホットなトピック

オープンなLLMの周辺で直近ホットなトピックをいくつか紹介©2024 ELYZA,Inc

9

クローズドなLLMとは
OpenAIのChatGPTやGoogleのBardなど、当該サービス/APIでの利用が前提のLLM
ChatGPT (OpenAI)

Bard (Google)©2024 ELYZA,Inc

10

GPTシリーズの爆発的な流行
オープンなLLMの中でもGPTシリーズのインパクトは非常に大きく、
特にChatGPTが公開された2022年11月以降、社会に大きな影響を与えている特定の用途にあわせてカスタマイズしたChatGPTを公開・共有できるGPT Storeが先日開始

https://openai.com/blog/introducing-the-gpt-store

コーディング支援として、GitHub Copilotがあっという間に広く普及©2024 ELYZA,Inc

https://github.com/features/copilot

11

クローズドなLLMの特徴: 性能の高さ
ChatGPTは2022年11月にリリースされたが、バージョンアップを重ねつつ、現時点 (2024年1月) でも最高性能を維持している

GPT-4がクローズド(Proprietary) なLLMの中でも最高性能

それに対してオープンなLLM (後述)
は、性能面ではまだ追いついてない現状

https://chat.lmsys.org/©2024 ELYZA,Inc

12

クローズドなLLMの特徴: ブラックボックス
当該サービス/APIでの提供となるため、その中身を利用者が知ることは不可能
またその仕様上、インターネット接続が事実上必須
入力 (prompt) を与える

出力を返す

LLMの中身を知りたい

中身は公開されていない©2024 ELYZA,Inc※ ちなみにクローズドなLLMは技術詳細についても完全には論文化されていないことが多い

13

オープンなLLMとはクローズドなLLMとは異なり、その中身 (パラメータやソースコード) が公開されているLLM

Llama 2 (Meta)

Falcon (Technology Innovation Institute)

https://ai.meta.com/llama/

https://falconllm.tii.ae/©2024 ELYZA,Inc

14

オープンなLLMの特徴: パラメータの公開
Hugging Face Hubのようなサイト上でダウンロードすることが可能
このため、計算機環境さえあれば直接使える
Hugging Face Hub上のLlama 2

https://huggingface.co/meta-llama
https://huggingface.co/meta-llama/Llama-2-70b-chat-hf/tree/main©2024 ELYZA,Inc

15オープンなLLMの特徴: 透明性
パラメータの公開のほか、モデルによっては学習データ等の詳細が明らかにされていることも多い
また、学習中の各種ログが公開されているケースもLlama 2については論文で詳細に説明されている

https://arxiv.org/abs/2307.09288
https://github.com/facebookresearch/metaseq/blob/main/projects/OPT/chronicles/OPT175B_Logbook.pdf©2024 ELYZA,Inc

16

オープンなLLMの特徴: 柔軟性
オンプレミス環境などの、インターネット接続できない場面でも利用可能

インターネット接続できない環境
オープンなLLM

クローズドなLLM

クローズドなLLMはサービス/APIへの接続が必要不可欠なため、この場合は基本的には利用不能

オープンなLLMは計算機環境さえあればどこでも動かせるため、この場合でも利用可能©2024 ELYZA,Inc

17

オープンなLLMの特徴: 場合によってはクローズドLLMより安価
解きたい課題の種類・難易度などに依存するが、大幅にコストダウンできる場合もある

https://arxiv.org/abs/2307.09288©2024 ELYZA,Inc

18

オープンなLLMの特徴: 世界的に活発な議論
論文はもとより、X (旧Twitter) やRedditといったコミュニティも含め、日々多くの議論がなされている
新しいLLMやライブラリには大きな注目

https://twitter.com/dchaplot/status/1744547220983005478

Redditでも多くのユーザーで賑わっているhttps://twitter.com/zhuohan123/status/1671234707206590464

https://www.reddit.com/r/LocalLLaMA/©2024 ELYZA,Inc

19

ここまでのまとめ: オープンなLLM/クローズドなLLM
求められる性能や使いたい環境にあわせて選択する必要がある
LLM種別

具体例

パラメータ

利用環境

性能

オープンLlama 2
FalconQwen…

公開

場面に合わせて柔軟に利用可能

全体的にはややビハインドだが一部には匹敵

クローズド

GPT-4Bard (Gemini)
Claude…

非公開(サービス/APIからのみ利用可)

インターネット
接続は必須

オープンLLMを大きく上回るものがいくつか存在©2024 ELYZA,Inc

20

本日お話すること
１. オープンなLLM/
クローズドなLLM

APIベースで利用可能な、クローズドなLLM (例: GPT-4/Gemini/Claude/…)に対して、オープンなLLMとはどのようなものか

2. 日本語LLMの近況

ここ数年の、日本語に特化したオープンなLLMの近況について
また、日本語特有の課題についても紹介

3. ELYZAにおける取り組み内容

弊社ELYZAがリリースした「ELYZA-japanese-Llama-2」や、評価用データセット「ELYZA-tasks-100」について

4. 直近ホットなトピック

オープンなLLMの周辺で直近ホットなトピックをいくつか紹介©2024 ELYZA,Inc

21

日本語LLMを作るにあたっての方向性
特に事前学習 (基本的な言語能力を得るための学習)について、大まかに2つの方向性が存在
フルスクラッチ
ランダムな初期パラメータ

大量の日本語テキストデータ
での事前学習日本語事前学習済みLLM

日本語指示に従うための事後学習

日本語事後学習済みLLM

英語圏のLLMに追加事前学習
英語圏のLLM(日本語は未学習〜少量)

大量の日本語テキストデータ
での事前学習日本語事前学習済みLLM©2024 ELYZA,Inc

22

日本語LLM学習の方向性: フルスクラッチ
ランダムな初期パラメータから、最初から日本語で学習する
フルスクラッチ
ランダムな初期
パラメータ

大量の日本語テキストデータ
での事前学習メリット

日本語事前学習済みLLM

デメリット
何も知らない状態の初期パラメータから学習することとなるため、より多くの事前学習データ・計算コストなどが必要

何も学習されていないまっさらな状態から学習できるため、コントロールがしやすい独自のモデル構造に仕上げることも可能となる

事後学習についても、各種能力 (指示追従能力、安全性など) を全て新たに教え込まなければならない©2024 ELYZA,Inc

23

日本語LLM学習の方向性: 英語圏のLLMに追加事前学習
例えばMeta社のLlama 2など、英語で優れた性能を発揮している
LLMに日本語を追加で学習する
英語圏のLLMに追加事前学習
英語圏のLLM(日本語は未学習〜少量)

大量の日本語テキストデータでの事前学習

メリット

日本語事前学習済みLLM

デメリット
良くも悪くも元のLLMの性質を消し切ることが難しいため、望ましくない点があったとしても引き継がれてしまう

元のLLMの能力を引き継ぐことにより、事前学習/事後学習に必要なデータ量が少なく済む場合がある

元のLLMの学習データが完全に公開されていない場合、不透明な部分が残ってしまう

またそれに伴い、学習コストの効率化にも寄与する

ライセンスについても元モデルに影響される©2024 ELYZA,Inc

24

日本語LLMの課題: 事前学習用データセット
英語のような話者が多い言語に比べて、日本語データセットは圧倒的に少ない
例えばLlama 2は2trillion (2兆) トークンで事前学習されているが、そのうち日本語は0.10% (20億) トークン程度のみ含まれる

Wikipediaの日本語記事数は、英語の1/5程度にとどまっている

https://ja.wikipedia.org/wiki/Wikipedia:全言語版の統計

https://arxiv.org/abs/2307.09288©2024 ELYZA,Inc

25

日本語LLMの課題: 事後学習用データセット
事後学習用データセットも英語圏に比べてまだまだ少ない状況

多言語のチャット形式データ (OpenAssistant)
中でも、日本語は英語に比べて2%程度のサイズ

直近、理研AIPにて日本語特化した事後学習用データセットが数千件公開

https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成 /©2024 ELYZA,Inc

https://huggingface.co/datasets/OpenAssistant/oasst226

日本語LLMの課題: 追加学習の場合の、元のLLMが持っていた能力の忘却
単純に日本語を追加学習すると、英語で学んでいた能力を忘れてしまう場合がある

日本語のみで追加学習してしまうと学習を進めるごとに英語の能力が少しずつ失われてしまっている

英語も含めて追加学習することで英語能力の忘却がやや緩和される
ことを確認

https://zenn.dev/elyza/articles/ab3749de0ba58b©2024 ELYZA,Inc

27

本日お話すること
１. オープンなLLM/
クローズドなLLM

APIベースで利用可能な、クローズドなLLM (例: GPT-4/Gemini/Claude/…)に対して、オープンなLLMとはどのようなものか

2. 日本語LLMの近況

ここ数年の、日本語に特化したオープンなLLMの近況について
また、日本語特有の課題についても紹介

3. ELYZAにおける取り組み内容

弊社ELYZAがリリースした「ELYZA-japanese-Llama-2」や、評価用データセット「ELYZA-tasks-100」について

4. 直近ホットなトピック

オープンなLLMの周辺で直近ホットなトピックをいくつか紹介©2024 ELYZA,Inc

28

ELYZAが公開中のモデル
2023年8月にリリースした「ELYZA-japanese-Llama-2-7b」など、直近で大きく分けて3種類のLLMを公開©2024 ELYZA,Inc

29

ELYZAが公開中のモデル
2023年8月にリリースした「ELYZA-japanese-Llama-2-7b」など、直近で大きく分けて3種類のLLMを公開©2024 ELYZA,Inc

30

ELYZA-japanese-Llama-2-13b
Llama 2 (13B) をもとに日本語を追加学習したLLM
評価用データセットELYZA-tasks-100 (後述) では
GPT-3.5 (text-davinci-003) を上回る性能©2024 ELYZA,Inc

31

ELYZA-japanese-Llama-2-13b
AIアシスタントとしてより気の利いた回答を実現していたり、人間でも想像力が必要とされるような指示も対応

詳細は以下記事をご参照ください
https://note.com/elyza/n/n5d42686b60b7
また、以下からデモを触ることもできます
https://huggingface.co/spaces/elyza/ELYZA-ja
panese-Llama-2-13b-instruct-demo©2024 ELYZA,Inc

32

ELYZAが公開中のモデル
2023年8月にリリースした「ELYZA-japanese-Llama-2-7b」など、直近で大きく分けて3種類のLLMを公開©2024 ELYZA,Inc

33

ELYZA-japanese-CodeLlama-7b
Code Llama (7B) をもとに日本語を追加学習したLLM
コード生成およびコード補完に関する能力に特化

詳細については以下の記事をご参照ください
https://note.com/elyza/n/n5bce23d7c9c8
こちらも以下からデモを触ることができます
https://huggingface.co/spaces/elyza/ELYZA-jap
anese-CodeLlama-7b-instruct-demo©2024 ELYZA,Inc

34

ELYZAが公開中のモデル
2023年8月にリリースした「ELYZA-japanese-Llama-2-7b」など、直近で大きく分けて3種類のLLMを公開©2024 ELYZA,Inc

35

取り組みの背景: Llama 2
Llama 2は2兆トークンという超大規模な事前学習がなされていて、かつ安全性が高かったり直近の技術が総動員されていたりと条件が揃っていたため、日本語追加学習の対象として選定
タスクによってはChatGPT (0301) に匹敵

https://arxiv.org/abs/2307.09288©2024 ELYZA,Inc36

評価用データセット: ELYZA-tasks-100
汎用的な能力を測るための高難易度な日本語評価用データセットを作成● 既存のデータセットでは、タスクの多様さや複雑さが不足し、背景LLMの汎化性能を十分に評価できない● 自動評価指標では生成AIの性能を正確に評価することができないため、最終的には人間による評価を行う必要がある● 人間による評価を行うことが可能な100件のデータセットを人手で作成
データの特徴-100件それぞれに詳細かつ明確な評価基準を定義● 多様で複雑なタスクを含む©2024 ELYZA,Inc

37

ELYZAモデルの出力例 (ELYZA-tasks-100)
1. 彼は比類のない陸上選手だ。
2. 彼は比較的に良い陸上選手だ。
1の文が難しいので2の文に直そうと思っているのですが、これってあってますか？

1の文章は、彼が陸上選手として圧倒的な優位性を持っていることを表しています。彼が比類のない選手であることは、彼が他の選手と比べて圧倒的に優れているということです。
一方、2の文章は、彼が良い陸上選手だということを表しています。彼が比較的に良い選手であることは、彼が他の選手と比べて良いということです。
従って、1の文章と2の文章は意味が異なります。1の文章を2の文章に直すことはできません。

©2024 ELYZA,Inc38

ELYZAモデルの出力例 (ELYZA-tasks-100)「今日は少し雨が降っている。外出するのは億劫だけど、近くのコンビニまで買い物をしなければならない。傘を持っていくかどうか迷う。」
このシチュエーションで、以下の2つの選択肢のメリットとデメリットについて説明してください。
A. 傘を持っていかない
B. 傘を持っていく

シチュエーションにおけるAとBの選択肢について、それぞれのメリットとデメリットを説明します。
A. 傘を持っていかない● メリット：コンビニまでの距離が少ないため、雨で濡れることは少ない。
● デメリット: 雨が降っているため濡れてしまう。
B. 傘を持っていく● メリット: 傘を使用することで、雨で濡れることなくコンビニまで買い物をすることができる。
● デメリット: 外出することに対して億劫になる。
このシチュエーションでは、Aの選択肢をお勧め致します。傘を使用することで、雨で濡れることなく買い物をすることができます。ただし、雨が降っているために濡れてしまう可能性があります。
©2024 ELYZA,Inc

39

本日お話すること
１. オープンなLLM/
クローズドなLLM

APIベースで利用可能な、クローズドなLLM (例: GPT-4/Gemini/Claude/…)に対して、オープンなLLMとはどのようなものか

2. 日本語LLMの近況

ここ数年の、日本語に特化したオープンなLLMの近況について
また、日本語特有の課題についても紹介

3. ELYZAにおける取り組み内容

弊社ELYZAがリリースした「ELYZA-japanese-Llama-2」や、評価用データセット「ELYZA-tasks-100」について

4. 直近ホットなトピック

オープンなLLMの周辺で直近ホットなトピックをいくつか紹介©2024 ELYZA,Inc40

推論の効率化
推論を高速化したりスループットを高めたりといった、効率化のためのライブラリも発展しつつある

https://github.com/vllm-project/vllm

https://github.com/NVIDIA/TensorRT-LLM

https://github.com/OpenNMT/CTranslate2

弊社が先日公開した以下デモでも活用しています
https://huggingface.co/spaces/elyza/ELY
ZA-japanese-Llama-2-13b-instruct-demo©2024 ELYZA,Inc

41

Mixture of Experts (MoE)
オープンなLLMの中ではずば抜けた性能となっているMixtralを筆頭に、Mixture of Experts (MoE) というアーキテクチャが流行

一部のクローズドなLLMをも超える性能

モデルの途中で複数の専門家 (expert)のいずれかにルーティング。
高い性能を実現しつつ、計算コストも抑えられる

https://arxiv.org/abs/2401.04088

https://chat.lmsys.org/©2024 ELYZA,Inc

42

Adapter
巨大なモデルをより少ない計算リソースで学習するための手法
LoRA/QLoRAが特に流行中
LoRAはもとの巨大なパラメータを直接更新せずに別途少量のパラメータを学習することで効率化

QLoRAはそれに加えて、パラメータを量子化するなどの工夫により更に効率化を実現

https://arxiv.org/abs/2106.09685

https://arxiv.org/abs/2305.14314©2024 ELYZA,Inc

43

おわりに

©2024 ELYZA,Inc

44

本日お話したこと
１. オープンなLLM/
クローズドなLLM

APIベースで利用可能な、クローズドなLLM (例: GPT-4/Gemini/Claude/…)に対して、オープンなLLMとはどのようなものか

2. 日本語LLMの近況

ここ数年の、日本語に特化したオープンなLLMの近況について
また、日本語特有の課題についても紹介

3. ELYZAにおける取り組み内容

弊社ELYZAがリリースした「ELYZA-japanese-Llama-2」や、評価用データセット「ELYZA-tasks-100」について

4. 直近ホットなトピック

オープンなLLMの周辺で直近ホットなトピックをいくつか紹介©2024 ELYZA,Inc45