aixsatoshi commited on
Commit
fbe66e7
·
verified ·
1 Parent(s): ba7e545

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -2
README.md CHANGED
@@ -12,5 +12,4 @@ Llama-3-8bはその高い能力にも関わらず、英語と日本語の推論
12
  cosmopediaには、高品質なMixtral8x7Bのアウトプットのみで構成されており、推論能力の中核を凝縮した余計なノイズを含まないことが特徴です。
13
  しかしcosmopediaは英語で構成されており、Mixtral自身も日本語表現を苦手とすることから、まず外部の翻訳システムを通じて日本語に翻訳しています。
14
  この日本語化cosmopediaデータを使用してLlama-3-8bモデルの追加トレーニングを行うことで日本語ドメインへの適応を図りました。
15
- Llama-3-8bの論理的推論能力を日本語のコンテキストに円滑に移行させ、主にアウトプット対象言語のバイアスを日本語方向に移動させるトレーニングを行い
16
- 日本語でのパフォーマンス向上しました。
 
12
  cosmopediaには、高品質なMixtral8x7Bのアウトプットのみで構成されており、推論能力の中核を凝縮した余計なノイズを含まないことが特徴です。
13
  しかしcosmopediaは英語で構成されており、Mixtral自身も日本語表現を苦手とすることから、まず外部の翻訳システムを通じて日本語に翻訳しています。
14
  この日本語化cosmopediaデータを使用してLlama-3-8bモデルの追加トレーニングを行うことで日本語ドメインへの適応を図りました。
15
+ Llama-3-8bの論理的推論能力を日本語のコンテキストに円滑に移行させ、アウトプット言語のバイアスを日本語方向に移動させることを意図しています。