言語処理学会第 30 回年次大会 併設ワークショップ JLR2024 -日本語言語資源の構築と利用性の向上

Prompt Tuning から Fine Tuning への移行時期推定
アマゾンウェブサービスジャパン合同会社
久保 隆宏, 呉 和仁, 前川 泰毅© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

1

アジェンダ1. 会社概要
2. 取り組んだ問題の背景 / 先行研究
3. 課題解決のための実験設計

4. 実装
5. 実験結果

6. 今後の展望© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

2

アジェンダ1. 会社概要
2. 取り組んだ問題の背景 / 先行研究
3. 課題解決のための実験設計

4. 実装
5. 実験結果

6. 今後の展望© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

3アマゾンウェブサービスジャパン合同会社
日本で AWS を利用する時は AWS Japan が契約当事者になります。
AWS には 200 以上のサービスがあるため、目的を達成するのにどのサービスを組み合わせればよいのか迷うことがあります。そんな課題を解決するソリューションアーキテクト (SA) などが働いています。
AWS の SA には目黒セントラルスクエアの 17Fにある AWS Loft というコワーキングスペースに行くと質問できたりします。
© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

4

アマゾンウェブサービスジャパン合同会社
AWS は生成 AI の領域でも Amazon のように「品揃え」を拡充し「顧客体験をよくする」ことを指向しています。
LLM 開発支援プログラムでは総額 8 億円超のクレジットと学習用インスタンスを確保し、採択した 17 社の基盤モデル開発を支援しました。
開発後の収益化を支援すべく
AWS Marketplace を通じた販売や
Amazon SageMaker JumpStart を通じた販路拡大を支援しています。
参考: AWSのAIインフラで何を作った？
© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

NTTやストックマークが成果を公開
5

日本語大規模言語モデル ( 言語資源 ) の利用を促進する調査研究をしてきたので発表します！

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

6

アジェンダ1. 会社概要
2. 取り組んだ問題の背景 / 先行研究
3. 課題解決のための実験設計

4. 実装
5. 実験結果

6. 今後の展望© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

7日本語の大規模言語モデル公開が進む一方、素の精度重視の評価が利用の移行を阻んでいる
公開モデル(※)の精度は上昇傾向だが、高性能な企業独自のモデル (Claude や ChatGPT) とは差がある。
公開モデルの利点はカスタマイズ ( 追加学習 )できることなので、その特性を活かさない素の精度のみ評価されるのは、平等ではあるが公平ではないのでないか ?

※公開されているモデルの中には厳密にはオープンソースの定義を満たさないものも含まれるため、本資料では一貫し「公開モデル」と表記します
平等と公平の画像 :特定非営利活動法人© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

ホップすてーしょん より引用
8

先行研究
モデルの評価には様々なベンチマークがあるが、Zero-shot / Few-shot の精度をみており学習データによる Fine Tuning が行われていない。
Nejumi リーダーボードは zero-shot 評価

実際企業で利用する際はすでに対象ドメインのデータが一定量蓄積しているはずであり( 例:顧客応対のデータなど ) 、公開モデルはチューニングしたうえで使える© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

9明らかにしたいこと• 追加学習を前提とした場合 API と公開モデルの精度の差はどの程度になるのか ?

• 追加学習にコストをかけることは費用対効果があるのか ?

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

10

アジェンダ1. 会社概要
2. 取り組んだ問題の背景 / 先行研究
3. 課題解決のための実験設計

4. 実装
5. 実験結果

6. 今後の展望© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

11実験設計 (1/3)
基盤モデルの活用例として代表的な検索拡張検索 (RAG: Retrieval-AugmentedGeneration) での公開モデル活用を想定し、①情報抽出性能と②要約性能の 2 種類のタスクを評価する。
①正確に情報を抽出できるか© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

②正確に要約できるか

12実験設計 (2/3)①情報抽出性能として JSQuAD 、②要約性能として XLSum-ja で評価。

①正確に情報を抽出できるか© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

②正確に要約できるか

13

実験設計 (3/3)
精度 (JSQuAD: F1, XLSum-ja: ROUGE2)

API の Few shotはこんな感じ?

公開モデルの Fine Tuningはこんな感じ?

何件ぐらいのデータがあれば、 API のモデルと同等の精度が得られるのかを知りたい。少ない件数、学習で良ければ公開モデルのコスト効率が高いことになる。

データを全く与えない場合を 0、そこから 2 、4 、 8 、 16 ・・・と 2 の倍数刻みでデータを増やしていき精度の変化を観測する。 API 側もFew-shot にデータを使い公平な設定で実験。

Few shot / Fine Tuningに使う学習データの量© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

14

実験に使用するデータセットの詳細
JSQuADXLSum-jaWikipedia の記事 ( context ) に対する質問( question ) と回答 ( answers ) が収録されている。
評価は完全一致 ( exact match ) と、文字単位の部分一致を加味する f1 。

XLSum のデータセットから日本語のデータのみを抽出。 title 、text 、 summary の 3 つ組から成る。
評価は ROUGE2 ( bi-gram の一致を評価 ) 。

同じ context のデータは類似性が高いため、学習データ (Instruction) を作る際は context が重複しないよう設計 ( データ数が 15,000 件までは重複なしで作成可 ) 。

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

15

実験に使用する公開モデル

1B 、 3~4B 、 7B 、 10B 超の 4 種類を用意
モデル
公開元
パラメータ数 概要
open-calm-1bjapanese-gpt-neox3.6b-instruction-ppo

CyberAgent

rinna

bilingual-gpt-neox-4brinna
instruction-ppo
ELYZA-japanese-LlamaELYZA
2-7b-instruct
Swallow-13b-instruct-hf 東工大 / 産総研© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

1B

株式会社サイバーエージェントから公開された GPTNeoX ベースの日本語大規模言語モデル。

3.6B

rinna 株式会社から公開された日本語で学習された
GPT-NeoX ベースの大規模言語モデル。対話形式のデータで教師あり学習、強化学習が行われた日本語大規模言語モデル。

4B

rinna 株式会社から公開された日英両言語で学習された GPT-NeoX ベースの大規模言語モデル。対話形式のデータで教師あり学習、強化学習を行っている。

7B

株式会社 ELYZA から公開された、 Meta の Llama2をもとに日本語コーパスで継続学習した大規模言語モデル。独自データでの教師あり学習を行っている。

13B

東工大と産総研の研究チームから公開された、Metaの Llama2 をもとに日本語コーパスで継続学習した大規模言語モデル。
16

実験に使用する API のモデル
Claude 3 は間に合いませんでした！君の目で確かめてください

公開元

種別

概要

Claude v2.1

Anthropic

Anthropic の提供する高性能な基盤モデル。 Hugging Faceの Leaderboard では GPT-4 などに次ぐ精度。日本語性能でも、 Rakuda Ranking などでトップレベルの性能を示す。
20 万トークンという長大なテキストを扱える。

Claude Instant

Anthropic

高速な応答に重点を置いたモデル。 10 万トークンという長大なテキストを扱える。

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

17

アジェンダ1. 会社概要
2. 取り組んだ問題の背景 / 先行研究
3. 課題解決のための実験設計

4. 実装
5. 実験結果

6. 今後の展望© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

18評価 : JP Language Model Evaluation
Harness を使用
llm-jp-eval にはまだ要約のデータセットがなかったので (2024/2/28 時点 ) 、双方が入っている Evaluation Harness を利用。

※ ただ、 JSQuAD の評価において F1 は文字単位で計算する必要があるが、 lmevaluation-harness は JSQuAD の評価をトークン単位で計算しているので、本来の値とはずれてしまう ( ただ、結論への影響は軽微と判断 ) 。

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

19

公開モデルの学習 : Hugging Face で PEFT(LoRA) を実装
Full Fine Tuning でなく部分的にパラメーターを学習する PEFT (ParameterEfficient Fine Tuning) を採用し、実装には Hugging Face (peft) を使用。
epoch 数は 3 まで実施。
Amazon SageMaker を使うと、学習データ、学習スクリプト ( 次スライド ) 、実行環境の 3 つを用意すれば簡単に学習できる。

Amazon SageMaker Training で機械学習のモデル開発を楽にする【ML-Dark-01】【AWS Black Belt】© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

20

Amazon SageMaker で LoRA 学習
学習データ

学習スクリプト、実行環境 (A10G の g5)

fit で実行！
© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

21

API モデルの推論 : Amazon Bedrock でバッチ推論 (Preview)
JSQuAD の Validation dataset は 4000 件ぐらいあるので、普通に API を叩いているとあっという間にレートリミットにかかる。そのため、バッチ推論機能を使用。
学習データ

モデルを指定しジョブを発行※バッチ推論は資料作成時点では Preview の機能です© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

22

実装は公開済みです

https://github.com/aws-samples/aws-ml-jp/tree/main© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

23

アジェンダ1. 会社概要
2. 取り組んだ問題の背景 / 先行研究
3. 課題解決のための実験設計

4. 実装
5. 実験結果

6. 今後の展望© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

24

JSQuAD の精度を、学習データを増やしながら計測した結果

縦軸は F1 、横軸は使用した JSQuAD の学習データの件数 (対数)© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

25

JSQuAD の精度を、学習データを増やしながら計測した結果
Few-shot の恩恵は 2 件でかなりの部分が得られる。
13B の Swallow は学習なしの段階でClaude 2.1に匹敵する精度
7B の ELYZA は 30 件~ で Claude Instant 、500 件~ あれば Claude 2.1 に及ぶ精度。
4B の bilingual-rinna もデータを入れるほど精度が上がるが、 Claude Instantに追いつくために必要なデータは数千件のオーダーになる
3B の rinna 、 1b の OpenCALM は過学
習 ? により精度の減衰が見られる
縦軸は F1 、横軸は使用した JSQuAD の学習データの件数 (対数)© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

26

JSQuAD の精度を、学習データを増やしながら計測した結果

ELYZA は Nejumi Leaderboard では 0.5352が取れているので、初期低いのは評価用プロンプトが影響している可能性あり。
Fine Tuning によりプロンプトへの適応を促すことでプロンプトエンジニアリングによる試行錯誤より効果的に精度を上げられる可能性がある (30~件ぐらいのデータで十分)。
縦軸は F1 、横軸は使用した JSQuAD の学習データの件数 (対数)© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

27

XLSum-ja の精度を、学習データを増やしながら計測した結果

API については、要約結果のみFew-shot で与える場合と、要約元文書まで与える Full の 2 つで検証。
XLSum の Rouge2 スコアは、現時
点のトップは 27 くらい
縦軸は ROUGE2 、横軸は使用した XLSum-ja の学習データの件数 (対数)© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

28

XLSum-ja の精度を、学習データを増やしながら計測した結果
13B の Swallow 、 7B の ELYZA は 128 件
以上のデータで Claud 2.1 より高いスコアに到達

mT5 によるベンチマーク

スコア上、 API のモデルは要約が得意ではないように見える。
要約元の文章を含む例示を与えないとFew-shot の恩恵が少ない (= API のモデルで要約を制御する場合、コスト高になる可能性がある)60 件を超すまで ROUGE2 にほぼ反応が見られない。要約は一定量のデータが必要な可能性あり。
縦軸は ROUGE2 、横軸は使用した XLSum-ja の学習データの件数 (対数)© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

29

API の Few-shot 推論、公開モデル学習 + 推論にかかるコストの比較
JSQuADXLSum-ja※コストはオンデマンド価格で計算しており、スポットインスタンスの使用、さらに推論特化の AWS Inferentia2 を使用することでさらに下げられます。
縦軸は金額 ($) 、横軸は使用した JSQuAD / XL Sum-ja の学習データの件数 (対数)© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

30

API の Few-shot 推論、公開モデル学習 + 推論にかかるコストの比較
JSQuADXLSum-ja

高性能な API はその分値もはる。
Few-shot を行うならなおさら。

精度向上の恩恵が得られる 30~ 件の範囲でコストはほぼ変わらない
縦軸は金額 ($) 、横軸は使用した JSQuAD / XL Sum-ja の学習データの件数 (対数)© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

31

$1 で上げられる評価指標の大きさ
JSQuADXLSum-ja

縦軸は F1 / ROUGE2 をコスト ($) で割った値 、横軸は使用した JSQuAD / XL Sum-ja の学習データの件数 (対数)© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

32

$1 で上げられる評価指標の大きさ
JSQuADXLSum-ja

基本的に右肩下がりだが、コスト効率が高まる ( 精度の急上昇 ) が発生するポイントがある。 JSQuAD は 30 件前後、XLSum-ja は 256 件前後。
縦軸は F1 / ROUGE2 をコスト ($) で割った値 、横軸は使用した JSQuAD / XL Sum-ja の学習データの件数 (対数)© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

33

推奨される「移行時期」※下記結論を一般化できるかは議論の余地あり

API は 2 件 Few-shot まで、コスト効率や安定性に不満なら30~200 件データを用意して公開モデルの Fine Tuning へ

1. まず、 API 経由で利用し精度に課題がある場合、 2 つ程度プロンプトに例示入れることで確かな精度の向上を確認できる。

2. Claude Instant / ChatGPT 3.5 など軽量な API モデルの精度に満足している一方、速度、コスト、サービス安定性に課題を感じている場合 7B クラスのモデルを30~200 件程度のデータで追加学習し、精度を計測してみる。

3. Claude 2.1 、あるいは GPT-4 相当の精度が必要な場合、 1) 13B クラスの OSS モデ

ルを使用するか、 2) 7B クラスの OSS モデルを 500 件程度のデータで追加学習し精度を計測してみる。

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

34その他の考察プロンプトエンジニアリングと Fine Tuning ( ここでは Instruction Tuning を指す) は対立的にみられることが多いが、Fine Tuning は「事前プロンプトエンジニアリング」のようにも捉えられる。
「精度を引き出すためのプロンプト」は探索空間が非常に広いが、 Fine Tuning では
ELYZA の例が示す通り 30 件程度の例示でモデルの出力を API 並みの精度に高められる。 API でも Few-shot により例示に沿わせることができるが、要約の例示は原文の入力なしには精度の改善が見られず、例示による精度向上はコストがかさむ。
そのため、 Fine Tuning はプロンプトエンジニアリングよりもコストパフォーマンスに優れる可能性がある。
© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

35

アジェンダ1. 会社概要
2. 取り組んだ問題の背景 / 先行研究
3. 課題解決のための実験設計

4. 実装
5. 実験結果

6. 今後の展望© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

36

今後の展望① 本検証結果をもとにしたお客様 ( 皆様 ) への検証の提案
データ整備や情報抽出などバッチで良いケースでは活用余地十分
複数タスクや会話のスタイルなど複雑なケースではどうなるか ?

② 7B の OSS をサーバーレス (AWS Lambda 等 ) で推論できないか検証
Fine Tuning 済みの 7B を API で使えたら活用シーンが広がる③ Amazon SageMaker 等による Easy to train / deploy / call の体験実現

データとモデルからワンクリックで学習、 API エンドポイント化© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

37

Thank you!

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.

38