Commit
•
cd41a81
1
Parent(s):
0f69f4f
Update README.md
Browse files
README.md
CHANGED
|
@@ -12,12 +12,15 @@ Llama-3-8bの高度な論理的推論能力を損なうことなく、日本語
|
|
| 12 |
**外部翻訳システムを利用したトレーニングと開発**
|
| 13 |
適応戦略として、高性能でライセンスがApache2.0のMixtralを利用したcosmopediaという合成データセットを利用しました。
|
| 14 |
|
| 15 |
-
* [
|
| 16 |
-
* [aixsatoshi/cosmopedia-japanese-20k](https://huggingface.co/datasets/aixsatoshi/cosmopedia-japanese-20k)
|
| 17 |
|
| 18 |
cosmopediaには、高品質なMixtral8x7Bのアウトプットのみで構成されており、推論能力の中核を凝縮した余計なノイズを含まないことが特徴です。
|
| 19 |
|
| 20 |
しかしcosmopediaは英語で構成されており、Mixtral自身も日本語表現を苦手とすることから、まず外部の翻訳システムを通じて日本語に翻訳しています。
|
|
|
|
|
|
|
|
|
|
|
|
|
| 21 |
この日本語化cosmopediaデータを使用してLlama-3-8bモデルの追加トレーニングを行うことで日本語ドメインへの適応を図りました。
|
| 22 |
|
| 23 |
Llama-3-8bの論理的推論能力を日本語のコンテキストに円滑に移行させ、アウトプット言語のバイアスを日本語方向に移動させることを目標としています。
|
|
|
|
| 12 |
**外部翻訳システムを利用したトレーニングと開発**
|
| 13 |
適応戦略として、高性能でライセンスがApache2.0のMixtralを利用したcosmopediaという合成データセットを利用しました。
|
| 14 |
|
| 15 |
+
* [HuggingFaceTB/cosmopedia](HuggingFaceTB/cosmopedia)
|
|
|
|
| 16 |
|
| 17 |
cosmopediaには、高品質なMixtral8x7Bのアウトプットのみで構成されており、推論能力の中核を凝縮した余計なノイズを含まないことが特徴です。
|
| 18 |
|
| 19 |
しかしcosmopediaは英語で構成されており、Mixtral自身も日本語表現を苦手とすることから、まず外部の翻訳システムを通じて日本語に翻訳しています。
|
| 20 |
+
|
| 21 |
+
* [aixsatoshi/cosmopedia-japanese-100k](https://huggingface.co/datasets/aixsatoshi/cosmopedia-japanese-100k)
|
| 22 |
+
* [aixsatoshi/cosmopedia-japanese-20k](https://huggingface.co/datasets/aixsatoshi/cosmopedia-japanese-20k)
|
| 23 |
+
|
| 24 |
この日本語化cosmopediaデータを使用してLlama-3-8bモデルの追加トレーニングを行うことで日本語ドメインへの適応を図りました。
|
| 25 |
|
| 26 |
Llama-3-8bの論理的推論能力を日本語のコンテキストに円滑に移行させ、アウトプット言語のバイアスを日本語方向に移動させることを目標としています。
|