教師ありインストラクション学習を中⼼とした⼤規模⾔語モデルの作り⽅〜国語教師や⽇本語教育者が⼤活躍〜【第73回】 ⼤学等におけるオンライン教育とデジタル変⾰に関する
サイバーシンポジウム「教育機関DXシンポ」

理研AIP

関根聡

本プロジェクトは下記のメンバーを中⼼に進めております■ 関根聡 (AIP)■ 乾健太郎（東北⼤・AIP)■ 河原⼤輔（早稲⽥⼤・AIP）■ 井之上直也（北陸先端・AIP）■ 鈴⽊久美（AIP）■ 安藤まや（AIP）■ 後藤美知⼦（AIP）■ 15名程度のベテランアノテーター（AIP）■ 25名程度の新規アノテーター(AIP)

今年3⽉までMSのBing対話型検索のプロダクトマネージャー
⽇本語学、⽇本⽂学、英⽶⽂学
出⾝の⽅が半数以上
バックグラウンドは様々

⾃⼰紹介

関根聡
satoshi.sekine@riken.jp

1987

東⼯⼤理学部卒業、松下電器情報通信研究所⼊所

1992

マンチェスター⼯科⼤学修⼠号取得（計算⾔語学）

1994

ニューヨーク⼤学助⼿／博⼠課程⼊学

1998

ニューヨーク⼤学博⼠号取得、助教授／准教授

2000~

ランゲージクラフト設⽴（約40社との技術指導など）

2010~2014

楽天技術研究所ニューヨーク

2017~

理研AIPの⾔語情報アクセス技術チーム

https://aip.riken.jp/labs/goalorient_tech/lang_inf_access_tech/所⻑
チームリーダー

主に、構造化知識構築プロジェクト「森羅」を推進
その他、ソニーCSL、MSRでの訪問研究員
⾔語処理学会理事、情報処理学会NL研主査、その他多数の役職を歴任
現在、複数の企業において技術顧問
https://www.criprof.com/magazine/2019/01/10/post-5551/

⼤規模⾔語モデルとインストラクションデーターの重要性

⼤規模⾔語モデルの作り⽅
⼤量のテキスト（1T->13T token)
⽇本語Wikipedia: 3.5B
⼤規模パラメーター（1.7B->175B->1.8T)
⼤規模GPU

Pre-training model

RLHF(Reinforcement Learningfrom Human Feedback)Reward Model

Fine Tuning model

Final modelインストラクションの例
質問

回答
この質問からすると、質問者は仕事の情熱を失ってしまった状態のようですね。その理由によって取り戻す⽅法は変わると思いますが、⼀般的な仕事に情熱を取り戻す⽅法について5つばかり挙げてみます。
１）初⼼を思い出す
誰でも仕事を始めた時には、その仕事に対して情熱を持っていたと思います。しかし時が経ち、仕事の内容がわかってくると情熱を失うことはよくあります。そこで、現在の仕事への考え⽅を⼀旦リセットし、初⼼を思い出す
ことで情熱を取り戻すことができるかもしれません。
２）仕事で喜ぶ⼈の顔を思い浮かべるどんな仕事でも、その仕事をすることで誰かの役に⽴ち誰かが喜んでくれることにつながっているはずです。その⼈の喜ぶ顔を思い浮かべると仕事に情熱を取り戻すことができるかもしれません。

仕事に情熱を取り戻す
5つのアイデアを教えて

３）⼀緒に働く仲間のことを思う
多くの仕事は⼀⼈では成し遂げられません。様々な仲間と⼀緒に達成しているものと思います。その仲間もその仕事が⾟くとも⼀⽣懸命仕事に取り組んでいるものと思います。そのような仲間のことを思い浮かべることで仕事に情熱を取り戻すことができるかもしれません。
４）仕事は世界を変えることどんな仕事も何かの形で世界を変え、より良い世界を作っていくことにつながっているはずです。あなたのその働きが世界を変えていることを思うことで仕事に情熱を取り戻すことができるかもしれません。
５）収⼊を考える
仕事をしている以上、その対価として収⼊を得ていると思います。その⾦額は少ないかもしれませんが、それでもあなたが⾃由に使えるお⾦です。そのお⾦を使って⼿に⼊れたり、成し遂げられることを思うことで、仕事に情熱を取り戻すことができるかもしれません。

2つの重要な論⽂（その１）68ページ

InstructGPTの論⽂

Training language models to follow instructions with human feedback(L. Ouyang+ 20 authors, OpenAI)

arXiv:2203.02155v1 [cs.CL] 4 Mar 2022

InstructGPTのデータとその作成<作業者の選別>

Labeler

Customer

SFT

12,895

1,533

14,428

RM10,111

40,98351,09447,32947,329

PPO

Total

1.

有害情報に対する反応

2.

全体的なクオリティー

3.

有害質問に対して⽣成した回答の質

4.

特定の考え⽅に偏らない⼈であるか男⼥⽐均等、２０代が多い、⼤学、修⼠卒がほとんどフィリピン⼈、バングラディッシュ⼈多い<作成⽅針>

結論
インストラクション付
1.3B param. GPT-3

正確性, 有害ではないこと > 役に⽴つこと有害情報に対する注意が多い

175B param. GPT-3（タスクにもよる）

2つの重要な論⽂（その２）18ページ

Instruction tuningの評価論⽂

How Far Can Camels Go? Exploring the State ofInstruction Tuning on Open Resources(Yizhong Wang+ 11 authors, AI2, U. of Washington)

arXiv:2306.04751v1 [cs.CL] 7 Jul 2023

評価結果

結論
特定のジャンルや⽬的のインストラクション学習はその対象の性能を⼤幅に向上させる

インストラクション学習は、どの実験においても性能を上げた提案モデルは、平均的に最善だが全てのタスクで最善ではない

出⼒が⻑いほど、評価結果が良くなる傾向が⾒られた

オープンなデータとモデルではChatGPTに（遙かに）及ばない

まとめるとこの2つの論⽂、読めば読むほど。。。
GPTは何が凄い要素かって、LLMよりもInstruction部分なのではないかと思えてくる
もちろん
こんなInstructionを学習できるLLMは凄いのだがということで、絶対に両⽅が重要︕

関連データとその問題点

重要な関連データ (Dolly by Databricks)

Dolly-15k dataset
Dolly-15k-ja dataset

https://www.databricks.com/blog/2023/04/12/dolly-first-opencommercially-viable-instruction-tuned-llm
https://github.com/databrickslabs/dolly/tree/master/data
https://huggingface.co/datasets/kunishou/databricks-dolly-15k-ja

⽇本語Dollyデータセットの問題点＜⾃動翻訳、表現の問題＞"オランダとオランダの違いは何ですか︖","What is the difference between Holland and The Netherlands?""雪⾒だいふく""what are some things you can do on a snowy day","コードを学ぶにはどうしたらいいのでしょうか︖”"How can I learn to code?""どの楽器が弦楽器なのか、打楽器なのかを確認する︓エクエ、バラライカ","Identify which instrument is string or percussion: Pahu, Morin khuur"＜⽂化の問題＞"曜⽇を開始時のアルファベットで分類する。⽇曜⽇、⽉曜⽇、⽕曜⽇、⽔曜⽇、⽊曜⽇、⾦曜⽇、⼟曜⽇","⼈気ミュージシャンを5⼈挙げる”, "テイラー・スウィフト、ヴァンス・ジョイ、ザ・スクリプト、コールドプレイ、レディー・ガガ""道路でアクセスできない州の州都はどこ︖”, "アラスカ州ジュノーは、道路ではアクセスできないが、⾞はフェリーで⾏くことができる。"

⽇本語Dollyデータセットの問題点＜⾃動翻訳、表現の問題＞"オランダとオランダの違いは何ですか︖","What is the difference between Holland and The Netherlands?""雪⾒だいふく"⽇本

語独"what are some things you can do on a snowy day",

⾃の"コードを学ぶにはどうしたらいいのでしょうか︖”"How can I learn to code?"デー

タが"どの楽器が弦楽器なのか、打楽器なのかを確認する︓エクエ、バラライカ",

必要"Identify which instrument is string or percussion: Pahu, Morin khuur"＜⽂化の問題＞"曜⽇を開始時のアルファベットで分類する。⽇曜⽇、⽉曜⽇、⽕曜⽇、⽔曜⽇、⽊曜⽇、⾦曜⽇、⼟曜⽇","⼈気ミュージシャンを5⼈挙げる”, "テイラー・スウィフト、ヴァンス・ジョイ、ザ・スクリプト、コールドプレイ、レディー・ガガ""道路でアクセスできない州の州都はどこ︖”, "アラスカ州ジュノーは、道路ではアクセスできないが、⾞はフェリーで⾏くことができる。"

プロジェクトプロジェクト＜形態＞■ 企業との共同研究として制作費（2000万円）を捻出。22社から申し込み＜データサイズ＞■ 3⽉末までに1万件のインストラクションデータ（質問回答ペア）を作成■ 12⽉末に５千件作成。３千件を研究⽬的で公開＜課題＞■ 質問作成の課題– ジャンル、⽬的、バランス設計、有害情報■ 解答作成の課題– ⻑さ、整形、⽴場と対象、書きっぷり、複数の回答作成、有害情報対応■ 質問作成者と回答作成者は異なった⼈、最終チェック担当者

アノテーター〜元国語教師や⽇本語教育者が⼤活躍〜

私は⽂章を書くのはそん
なに苦ではないので結構好きでやっています😀

■ ベテランアノテーター（15名）– ⽇本語学、⽇本⽂学、英⽶⽂学 出⾝の⽅が半数以上– 元国語教師が創作、⼊試問題作成など重要なタスクをこなす⾯⽩かったと⾔っていただいて嬉しいです︕
私も楽しんで書きました（笑）

■ 新規アノテーター（25名）– 少なくとも2名が元国語教師。最初から重要なタスクをこなしている– 様々なバックグラウンドを持っている⼈が集まっており、各⼈が得意とする分野／タスクの担当をお願いしている元国語教師の創作

ヘビを主⼈公にして「もうこりごりだ」という内容の物語のいち場⾯を書いてください。
"主⼈公をヘビにして、「もうこりごりだ」という物語のいち場⾯を作成します。
「もうこりごりだ」は「もういやだ」という表現に置き換えられるので、物語の中に「ヘビが嫌だと思うような出来事」を挿⼊するのがいいでしょう。
〜物語のいち場⾯〜
最近、近所で失踪事件が相次いでいる。ついこの前は1メートル先のミミズが。昨⽇はついにお隣のトカゲが連れ去られたと町内の掲⽰板に知らせがあった。＜ふむ…。確かにあいつらを連れ去るのは容易だ。しかし、オレ様はどうかな。オレ様が通るとみんな恐れ多くてサッと⾝をひるがえしていくんだ。今⽇だって…＞
そう考えている最中に、しっぽに少しの圧迫感を感じた…と思ったら、次の瞬間宙に舞っていた。舞ったのも⼀瞬で、次に何が起こったのか分からないまま気を失った。
「…そう︕………で⾒つけ…︕しっぽを……で振り回すの︕……。」
グワングワン割れそうな頭を何とか持ち上げて、聞こえてきたのはウジャウジャ⼦供たちの途切れ途切れの声。うっすらと⽬を開ける。⽬ん⽟をひん剥いた︕︕︕⼆⼗四の瞳がオレ様を⾒つめてる。
「これ、とぐろ巻いてるってやつじゃない︖危なくない︖」
⼦どもの⼀⼈がそう⾔った。＜いや。オレ様怒ってない。ゆえにとぐろ巻かない。………巻いてる︕︕︕︕︕＞ギュッ
ギュッギュッ。動けない。まったく状況がつかめない。
＜中略＞…そう、無我夢中で遠くへ⾛ったつもりが、花壇の奥⾏きはそんなになかったらしい…もういやだ。もういやだ。ひっそりと静かなところで暮らしたい。

LLMの性能が⼤幅に向上
rinna/youri-7b-instructionをIchikara-instruction(4802)
でSFTしたもの
By マネーフォーワード

⼈間による評価システム

勝率（数）houou-7b-instruction-v2

27.5 (11)

GPT-3.5-turbi-1106

55.0 (22)引き分け

17.5 (7)プロジェクト⽬標、形態と共同研究スキーム

情報■ データーや共同研究にご興味ある⽅は、まず、関根までご連絡ください– satoshi.sekine@riken.jp■ ホームページ– https://liataip.sakura.ne.jp/wp/llm%E3%81%AE%E3%81%9F%E3%82%81%E3%
81%AE%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%A9%E3%82%AF%E3%82%B
7%E3%83%A7%E3%83%B3%E3%83%87%E3%83%BC%E3%82%BF%
E4%BD%9C%E6%88%90/?lang=ja質問、ディスカッションはslackに