言語処理学会 第30回年次大会 発表論文集（2024年3月）

LLM の生成・翻訳による指示・応答データセット構築
加藤佑一 中田康太（株）東芝 研究開発センター
yuichi12.kato@toshiba.co.jp kouta.nakata@toshiba.co.jp

Abstract
高品質な日本語の指示・応答データセットを Large
Language Model（LLM）よる低コストな構築を目指
し、英語での対話に最適化された Llama-2-70B-chat
で英語の指示・応答データセットを生成し、それをLlama-2-70B で日本語訳した。本データセットと既存データセットのそれぞれで Swallow-7b をファイ
ンチューニングし、日本語 Vicuna QA ベンチマーク
で GPT-4 により比較評価した。その結果、前者のモデルが約 75% の勝率を達成した。さらに、OpenAIの text-davinci-003 との比較でも 60% 以上の勝率に達した。以上から、LLM による生成・翻訳による
指示・応答データセット生成の有効性が示された。

1

はじめに

Large Language Model（LLM）は、 O(1 − 1000 B) のパラメータを持つ大規模なモデルを自己回帰による
自己教師あり学習によって、 O(100 − 1000 B) トー
クン数におよぶ大量のテキストデータで学習することで、既存の 1 モデル 1 タスクを学習する方式とは異なり、事例をいくつか例示するだけでも多様な後続タスクに汎化できるため、自然言語処理に対してパラダイムシフトを起こした。大量のデータは、主に Web クロールや本などから集められているため、それらで学習したのみの LLM は、指示に対してしばしば人間の意図とは異なる回答をする。そのために、QA タスクなどを集めた指示・応答データセッ
トにより、事前学習した LLM をファインチューニ
ングすることで、人間の意図に沿って回答するように LLM をアライメントさせる必要がある。しかし、大規模な指示・応答データセットの構築を人手で行うには、金銭・時間的コストが大きい。本研究では、主に英語のテキストデータで訓練された LLM
である Llama 2 [1] を用いて、英語の指示・応答デー
タを生成し、それを日本語訳することで、日本語の指示・応答データセット構築が可能か検証した。

Figure 12

指示・応答データセット構築のフロー。

関連研究

こ れ ま で に LLM に よ り 指 示・応 答 デ ー タ を
生 成 す る 研 究 は、主 に 英 語 で 実 施 さ れ て き た。
Self-instruct [2] で は、人 間 が 設 定 し た シ ー ド と なるタスクから、GPT-3 [3] により指示・応答データ
セ ッ ト を 作 成 し た。本 デ ー タ セ ッ ト で 訓 練 し た
GPT-3 は、指示に対して、人手で作成したデータセットで訓練した同モデルと人間の評価において同程度のパフォーマンスを示した。Alpaca [4] は、
OpenAI の text-davinci-003 を用いて、Self-instructと同様の方法で指示・応答データを低コストで作成し、そのデータで LLaMA-7b [5] を訓練すると、
text-davinci-003 と類似した回答が可能になると示した。LIMA [6] は、利用可能な指示・応答データの全てを用いるよりも厳選したデータのみで訓練した方がモデルのパフォーマンスが高かったことから、指示・応答データによるチューニングは、デー
タ量よりも多様性と品質が重要であると示した。

― 1791 ―Figure 2

生成データのスコア分布。

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Figure 3

各指示・応答データセットに含まれる文章のトークン数の分布。

Self-alingment [7] は、シードデータから始めて、指みを抽出した。図 2 に生成したデータのスコア分布

示・応答データの生成と生成データによるモデルのを示した。生成データの 8 割以上のスコアが > 4.5

訓練を繰り返すことで、モデルのパフォーマンスが向上することを明らかにした。生成の際には、デーであったことから、スコアを自身で与えているものの Llama-2-70B-chat は指示生成モデルとして優れてタ品質をモデル自身に判定させ、高スコアなデータいると示唆される。生成データの中には、繰り返しのみ用いることでデータ量にもパフォーマンスがスが生じて文章として体をなしていないものや、最初ケールすると示した。

の質問文が重複しているもの、文字数が極端に短いものが含まれていたため、それらは前処理により取指示・応答データセット構築

3

り除いた。翻訳生成でも繰り返しの文章が生成され本章では、LLM による日本語の指示・応答データ

ることがしばしばあっため、そのような文章もデー

セット構築の方法および構築したデータセットの内タセットから取り除いた。前処理も含めて、「英語

容・性質について説明する。

指示データ」、「高品質英語指示データ」、「日本語指3.1

示データ」の各段階で、データセット数はそれぞれ方法

57000 → 26000 → 18000 となった。「高品質英語指指示・応答データセット構築方法の全体フローを示データ」の段階でデータ数が半分以下になってい図 1 に示した。本手法では、ある言語でのシード

るのは、重複した質問が多くあったためである。

データ、指示・応答を生成するモデル（指示生成モデル）、生成データに対してスコアを付けるモデル（スコア生成モデル）、およびターゲット言語への翻訳用のモデル（翻訳生成モデル）を用意する。シー

3.2

生成されたデータセット

生成されたデータの一部を付録 A の表 4 に示 し た。Llama-2-70B-chat で 生 成 し た 英 語 デ ー タ

ドデータを指示生成モデルに入力し、指示生成モデ

は、人間と AI アシスタントの会話を模擬できた。

ルが得意とする言語で新たな指示・応答データ（マLlama-2-70B による翻訳も、日本語として完璧では

ルチターンの会話）を生成し、生成されたデータのないがそれなり品質で翻訳できた。構築したデータ

品質をスコア生成モデルをスコアリングし、高いスセットの特性を見るため、 本データセットと既存

コアのデータを翻訳生成モデルで翻訳することで、ターゲット言語での指示・応答データセットを構築

Table 1する。シードデータとしては、OASST1 [8] から高品質な会話データを集めた Openassistant-guanaco [9]より英語データを 3500 個抽出して用いた。指示生成モデルとスコア生成モデルとしては、英語での対話用に最適化された Llama-2-70B-Chat を用いた。翻訳生成モデルには、Llama-2-70B を用いた。
Self-alingment [7] と同様に、高品質のデータセットを構築するためにスコアリングを実施した。具体的には、スコア生成モデルには生成データの質を 5 段
階で判定させて、スコアが > 4.5 であったデータの― 1792 ―ファインチューニングのハイパーパラメータ
Batch size
32
Learning rate 2 × 10−5
Weight decay
0.001
Warmup Ratio
0.03
Dropout
0.1
LoRA r
16
LoRA alpha32

Table 2

推論時のサンプリングパラメータ
Temperature
0.7
top p
1.0
top k
50
4
num beams
repetition number
5This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Table 3 日本語 Vicuna QA ベンチマークの各モデルの出力例。
質問: 医療サービスの質と効率を向上させるために、人工知能を活用できるシナリオを記述してください。

llama-2-gen (Ours):
もちろんです。人工知能を活用できるシナリオの 1 つは、電子カルテシステムへの自然言語処理技術の統合です。
これにより、医師や他の医療従事者は、患者の症状や病歴などの情報を簡単に入力できます。この情報は、機械学習アルゴリズムによって分析され、病気の診断や治療計画の開発に役立つ可能性があります。
もう 1 つのシナリオは、チャットボットまたはバーチャルアシスタントの使用です。これらのエージェントは、患者からの質問に回答したり、健康関連のトピックに関するガイダンスを提供したりすることができます。これにより、患者は必要なときにいつでもサポートを受けることができます。
別のシナリオは、画像認識技術の使用です。これにより、放射線科医やその他の専門家は、コンピュータービ
ジョンアルゴリズムを使用して、胸部レントゲン写真や超音波スキャンなどの検査結果を分析できます。これにより、彼らは正確で迅速な診断を行うことができます。
最後に、音声認識技術の使用も考えられます。これにより、看護師やその他の医療従事者は、ベッドサイドで患者と会話することができます。これにより、彼らは患者の感情的および精神的状態を理解し、それに応じて対応することができます。
全体的に見れば、人工知能の応用は、医療サービスの質と効率を大幅に向上させる可能性があります。しかし、注意すべき重要な考慮事項がいくつかあります。例えば、プライバシーとデータセキュリティの懸念があります。
さらに、一部の分野では、人間の介入が依然として不可欠である可能性があります。
alpaca-ja:
人工知能は、患者の健康記録やその他のデータから洞察を得て、医師がより迅速かつ正確な診断を行えるようにすることで、医療サービスの質と効率を向上させることができます。また、機械学習アルゴリズムを使用して、個々の患者に合わせた治療計画を作成し、最適な結果を提供することもできます。
dolly-ja:
1. 電子カルテやその他の医療記録からデータを抽出し、機械学習アルゴリズムで分析します。これにより、特定の患者がどのようなケアを必要としているかを予測することができます。
2. 過去の治療結果をもとに、最適な治療計画を提案する。
3. 病院内外のさまざまな情報源から収集したデータを使用して、臨床的意思決定支援システムを開発する。
4. 自動化されたチャットボットを使って、一般的な健康上の質問に答える。
5. ウェアラブル技術を利用して、患者のバイタルサインを継続的に監視する。
dolly hhrlhf-ja:
確かに、ここにいくつかのアイデアがあります。1 つ目は、機械学習アルゴリズムを使用して、特定の種類の病気である可能性が最も高い患者を予測し、医師がより正確な診断を下すのに役立つことです。2 つ目は、自然言語処
理技術を使用して、電子健康記録から重要な情報を抽出することです。3 つ目は、コンピューター支援設計ツールを使用して、病院やその他の医療施設のレイアウトを最適化することです。4 つ目は、ビッグデータ分析を使用して、ヘルスケアシステム内の潜在的な改善領域を見つけることです。

の指示・応答データセットの分布を図 3 に示した。

る。LLM としては、Llama-2-7b を日本語で継続事前

既存データセットとして、Alpaca [4]、 Dolly [10]、学習した Swallow-7b（SW-7b） [15] を用いた。

Dolly-hhrlhf [11] を日本語訳 [12, 13, 14] したものを示した。Llama-2 のトークナイザーでトークン化し4.1

ファインチューニング方法てからトークン数を数えている。既存データセッ

パラメータ数が大きな LLM の全パラメータをトの分布はどれも指数関数的であり、短い文章がチューニングして保存するには、大きな GPU メモ

多く含まれると分かる。一方で、構築したデータ

リと大きなストレージが必要となる。本実験ではセットは、ガウス分布の形をしており、長文が多いと窺える。各データセットの合計トークン数は、

小さな GPU メモリと小さなストレージでも訓練の実行と保存が可能な LoRA [16] を用いた。LoRA は、

Alpaca、Dolly、 Dolly-hhrlhf、および構築した日本語

全パラメータを更新するのではなく、既存の重みの指示・応答データセット（Llama-2-gen）のそれぞ（𝑊0 ∈ ℝ𝑑×𝑘 ）は固定し、低ランクな 2 層の線形行列

れで、10 M、13 M、6 M、17 M であり、データセッ（𝐴 ∈ ℝ𝑟 ×𝑘 , 𝐵 ∈ ℝ𝑑×𝑟 ）を挟み、それらのパラメータ

トのサイズは、既存のものと同等以上となった。

更新することでモデルを最適化する。学習後の重み

4は、𝑊 = 𝑊0 + 𝐵𝐴 で得られる。本実験では、線形層構築データセット評価の全てに LoRA 層を挿入した。訓練時のハイパーパ

構築した日本語の指示・応答データセットの評

ラメータを表 1 に示した。後続タスクの評価として価のため、本データセットと既存のもの [12, 13, 14]

オープエンドな QA を用いるため、構築データセッ

で、LLM をそれぞれファインチューニングし、出トからは 1 ターン目の会話を抽出し、Alpaca [4] の力を比較評価した。本章では、ファインチューニン

指示・応答形式で訓練した。他のデータセットでもグ方法、評価方法、および評価結果について説明す同様の指示・応答形式で訓練を実施した。

― 1793 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

日本語 Vicuna QA ベンチマークでの（左）SW-7b を構築した指示・応答データセットでファインチューニング
したモデル「SW-7b-llama2-gen」と既存データセットでのモデルとの対による比較、および（右）text-davinci-003 と前記モデルらとの対による比較。それぞれ「SW-7b-llama2-gen」と text-davinci-003 の勝率を示している。

Figure 4

4.2

評価方法

4.3

議論

各指示・応答データセットで訓練したモデルを本実験では、事前学習済みの同じモデルを異なる比較評価するため、オープンエンドな QA タスク

指示・応答データセットでファインチューニング

として日本語 Vicuna QA ベンチマーク [17] を用いし、それらの出力を GPT-4 で比較した。その結果、た。Vicuna QA ベンチマーク [18] は、フェルミ問

元は同じモデルでも、訓練した指示・応答データ

題、ロールプレイの脚本、コーディング、数学問セットによって、出力の品質が大きく異なることが題など、多様な 80 個の質問に対するモデルの解答示された。指示・応答データセットの量は、事前学を、GPT-4 に有用性、関連性、正確性、詳細度合いに基づいて評価させることでモデルの性能を評価

習のデータを比べて非常に少ないため、本データによりモデルの知識などが大きく増加するとは考えらする。日本語 Vicuna QA ベンチマークは、それをれにくい。そのため、指示・応答データセットによ日本語に訳したものである。構築したデータセッ

るファインチューニングは、事前学習で得た知識をトおよび既存の日本語データセットのそれぞれでどう引き出すかを決めており、事前学習済みの元のSW-7B を訓練し、日本語 Vicuna QA ベンチマークにモデルのポテンシャルを発揮するために、その品質対する各出力について、GPT-4 を用いて比較評価さが非常に重要であると推察される。

せた。推論時に用いたサンプリングのパラメータを
表 2 に示した。その結果を図 4（左）に示した。本制限

5

データセットでファインチューニングしたモデル

構築した日本語の指示・応答データセットおよの勝率が、他データセットに対して約 75% に達し

びファインチューニングしたモデルは LLAMA 2た。本要因を調べるために、各モデルの出力を表

Community License [19] に準拠する。

3 に示した。質問に対して、前者のモデルは、他のモデルと比べて、多面的な視点からの詳細な解答をしており、これにより高い評価を得たと推察される。さらに、text-davinci-003 との比較も実施し

おわりに

6

LLM による生成・翻訳によって日本語の指示・た。本結果を図 4（右）に示した。既存データセッ

応答データセットの構築に取り組んだ。本データセットでファインチューニングされた SW-7B は、トでファインチューニングされたモデルに対して、

オープンエンドな QA タスクにおいて、他指示・応

text-davinci-003 の勝率が 60 − 70% となった。一答データセットで訓練されたモデルや OpenAI の方、構築した日本語の指示・応答データセットのモ

text-davinci-003 を比べて、より高品質な解答が可

デルに対しての勝率は、たったの 24% であり、本能であった。以上から、本手法による日本語の指データセットで訓練したモデルの出力の品質が良好

示・応答データセットの構築の有効性が示された。

であることが示された。

― 1794 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

References[1] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer,
Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao,
Vedanuj Goswami, Naman Goyal, Anthony Hartshorn,
Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann,
Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux,
Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu,
Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar
Mishra, Igor Molybog, Yixin Nie, Andrew Poulton,
Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan
Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor,
Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan,
Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic,
Sergey Edunov, and Thomas Scialom. Llama 2: Openfoundation and ﬁne-tuned chat models, 2023.
[2] Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa
Liu, Noah A. Smith, Daniel Khashabi, and Hannaneh
Hajishirzi. Self-instruct: Aligning language models with
self-generated instructions. In Anna Rogers, Jordan BoydGraber, and Naoaki Okazaki, editors, Proceedings of
the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp.

[3]

[4]

[5]

[6]

13484–13508, Toronto, Canada, July 2023. Association
for Computational Linguistics.
Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell,
Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger,
Tom Henighan, Rewon Child, Aditya Ramesh, Daniel
Ziegler, Jeﬀrey Wu, Clemens Winter, Chris Hesse, MarkChen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin
Chess, Jack Clark, Christopher Berner, Sam McCandlish,
Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle,
M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing
Systems, Vol. 33, pp. 1877–1901. Curran Associates,
Inc., 2020.
Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, Yann
Dubois, Xuechen Li, Carlos Guestrin, Percy Liang,
and Tatsunori B. Hashimoto. Stanford alpaca: An
instruction-following llama model. https://github.
com/tatsu-lab/stanford alpaca, 2023.
Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier
Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar,
Aurelien Rodriguez, Armand Joulin, Edouard Grave, andGuillaume Lample. Llama: Open and eﬃcient foundation
language models, 2023.
Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao

Sun, Yuning Mao, Xuezhe Ma, Avia Efrat, Ping Yu, LILIYU, Susan Zhang, Gargi Ghosh, Mike Lewis, Luke Zettlemoyer, and Omer Levy. LIMA: Less is more for alignment.
In Thirty-seventh Conference on Neural Information
Processing Systems, 2023.
[7] Anonymous. Self-alignment with instruction backtranslation. In Submitted to The Twelfth International Conference on Learning Representations, 2023. underreview.
[8] Andreas Köpf, Yannic Kilcher, Dimitri von Rütte, Sotiris
Anagnostidis, Zhi Rui Tam, Keith Stevens, Abdullah
Barhoum, Duc Minh Nguyen, Oliver Stanley, Richárd
Nagyﬁ, Shahul ES, Sameer Suri, David Alexandrovich
Glushkov, Arnav Varma Dantuluri, Andrew Maguire,
Christoph Schuhmann, Huu Nguyen, and Alexander Julian Mattick. Openassistant conversations - democratizing
large language model alignment. In Thirty-seventh Conference on Neural Information Processing Systems
Datasets and Benchmarks Track, 2023.

[9] Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, and Luke
Zettlemoyer. Qlora: Eﬃcient ﬁnetuning of quantized llms.
arXiv preprint arXiv:2305.14314, 2023.
[10] Mike Conover, Matt Hayes, Ankit Mathur, Jianwei Xie,
Jun Wan, Sam Shah, Ali Ghodsi, Patrick Wendell, Matei
Zaharia, and Reynold Xin. Free dolly: Introducing theworld’s ﬁrst truly open instruction-tuned llm, 2023.
[11] MosaicML.
Dolly-hhrlhf
dataset.
https://huggingface.co/datasets/mosaicml/dolly hhrlhf,
2023.
[12] fujiki.
japanese alpaca data.
https://huggingface.co/datasets/fujiki/japanese alpaca data.
[13] kunishou.
databricks-dolly-15k-ja.
https://huggingface.co/datasets/kunishou/databricksdolly-15k-ja.
[14] fujiki.
japanese hh-rlhf-49k.
https://huggingface.co/datasets/fujiki/japanese hhrlhf-49k.
[15] TokyoTech-LLM.
Swallow.
https://tokyotechllm.github.io/swallow-llama, December 2023.
[16] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu
Chen. LoRA: Low-rank adaptation of large language models. In International Conference on Learning Representations, 2022.
[17] Hirokazu Kiyomaru.
ja-vicuna-qa-benchmark.
https://github.com/ku-nlp/ja-vicuna-qa-benchmark,2023.
[18] Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng,
Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan
Zhuang, Yonghao Zhuang, Joseph E. Gonzalez, Ion
Stoica, and Eric P. Xing. Vicuna: An open-source
chatbot impressing gpt-4 with 90%* chatgpt quality.
https://lmsys.org/blog/2023-03-30-vicuna/, March 2023.
[19] Meta.
Llama 2 community license agreement.
https://ai.meta.com/llama/license/, July 2023.

― 1795 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

生成された指示・応答データの例
表 4 に指示生成 LLM（Llama-2-70B-chat）で生成されたデータ、および翻訳生成モデル（Llama-2-70B）で翻訳した例を示した。
Table 4

英語

生成されたデータセットの例。翻訳前後を示した。
日本語### Human: How long does it take to get to the moon? ### ### Human: 月に行くのにかかる時間は？### Assistant：
Assistant: The time it takes to get to the moon depends on a 月に行くのにかかる時間は、使用する宇宙船の種類、任variety of factors, including the type of spacecraft being used, 務の特定の軌道そしてその間に中間地点に停まることがthe speciﬁc trajectory of the mission, and any intermediate stops あるかどうかによって異なります。例えば、NASA のア
that may be made along the way. For example, NASA’s Apollo ポロミッションズは、1960 年代後半から 1970 年代前半
missions, which landed astronauts on the moon in the late 1960s に月面に宇宙人を着陸させたが、これらのミッションはand early 1970s, took about 77 hours to reach the moon from
Earth. However, this included several days in orbit around the 地球周回軌道上で数日間を過ごし、月面に到着する前にEarth, as well as a lunar orbit insertion maneuver before de- 月面投入マネーバーを実行したため、月に行くのに約 77
scending to the moon’s surface. If a spacecraft were to travel 時間かかりました。しかし、直接地球から月に向かう宇
directly from Earth to the moon without any intermediate stops, 宙船があれば、中間停泊なしで月面に到着するのに約
the trip would likely take around 50-60 hours. However, it’s 50-60 時間かかると考えられます。ただし、これはただimportant to note that this is just an estimate, and the actual time の推定であり、実際に月に行くのにかかる時間は、多く
it takes to get to the moon can vary depending on a variety of の要因によって異なります。
factors.
### Human: Iḿ quite interested in artiﬁcial intelligence and ### Human: 私は人工知能について本当に興味があり、特want to learn more about how a transformer model works, could に Transformer モデルの作動方法について学びたいです。
you explain it to me? ### Assistant: Sure! A transformer model あなたが説明してくれますか？### Assistant：もちろんでis a type of neural network architecture that was introduced in the す！ Transformer モデルは、2017 年に Google が発表した
paper ”Attention Is All You Need” by Google in 2017. Itś calleda transformer because itś based on the idea of self-attention, 論文「Attention Is All You Need」で紹介された人工神経回
which allows the model to focus on diﬀerent parts of the input 路アーキテクチャです。名前は、入力データの処理において、モデルが異なる部分に焦点を当てることができる
when processing it.
The transformer architecture is primarily used for tasks such 「自己注意」メカニズムに基づいています。
as natural language processing (NLP) that involve sequential Transformer アーキテクチャは、自然言語処理 (NLP) な
input, such as text. The model is composed of an encoder and a ど、入力データが順序づけられたタスクに主に使用されdecoder. The encoder takes in the input sequence and produces ます。アーキテクチャはエンコーダーとデコーダーで構a set of hidden states, which are then passed to the decoder to 成されています。エンコーダーは入力シーケンスを受
produce the output sequence.
One key component of the transformer model is the self-attention け取り、隠れた状態を生成します。これらの隠れた状態
mechanism. Self-attention allows the model to weigh the im- は、デコーダーに渡されて、出力シーケンスを生成する
portance of diﬀerent parts of the input when processing it. The ために使用されます。
model does this by computing a set of attention weights, which Transformer モデルの重要なコンポーネントは、自己注意
are used to weigh the contribution of each input element to the メカニズムです。自己注意メカニズムは、モデルが入力
output.
データの異なる部分に焦点を当てることができます。モ
Another important component of the transformer model is the デルは、入力データの異なる部分に対して注意重みを計
use of multi-head attention. Multi-head attention allows the 算し、これらの重みを使用して、出力を生成するためにmodel to attend to multiple parts of the input at once. This
improves the modelś ability to understand relationships between 各入力要素の貢献度を決定します。
diﬀerent parts of the input. In the original paper the trans- また、Transformer モデルは多頭注意を使用しています。
former was compromised from an ”encoder” component and a 多頭注意は、モデルが同時に複数の入力要素に焦点を当”decoder” component. The input of the encoder is the the em- てることができます。これにより、モデルは入力データ
bedding of a conditioning text, such as a question, or text meant の異なる部分の関係性をよりよく理解することができ
to be translated to a diﬀerent language. The decoder receives ます。
the output of the encoder and the tokens it generated so far. It 最後に、Transformer モデルは位置エンコードも使用してthen predicts the next token to generate.
Finally, the transformer model also uses positional encoding, います。位置エンコードは、入力シーケンスの各要素のwhich encodes the position of each element in the input se- 位置を示すために使用されます。これにより、モデル
quence. This allows the model to understand the order of the は入力シーケンスの要素の順序を理解することができ
input elements, which is important for tasks like language un- ます。
もしあなたがもっと質問がありましたら、自由に質問しderstanding. if you have more questions, feel free to ask!てください！
### Human: What is your current system time? ### Assistant: I ### Human: 現在のシステム時刻は何時間ですか？###am unable to check my system time since I do not have any access Assistant：私はそのシステム時刻を確認することがで
to that. ### Human: But you’re a computer. ### Assistant: I am きません。私にはそれにアクセスする権限がありませnot a computer, I am a set of weights evaluated by a program. ん。### Human：でも、あなたはコンピュータです。###
My only input is the text of this conversation, which does not Assistant：私はコンピュータではありません。私は、こinclude the system time.
の会話のテキストのみを入力とするプログラムによって評価される重みのセットです。私の出力には、システム
時刻が含まれません。

― 1796 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).