Update README.md
Browse files
README.md
CHANGED
@@ -1,3 +1,77 @@
|
|
1 |
-
---
|
2 |
-
license: cc-by-sa-4.0
|
3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
license: cc-by-sa-4.0
|
3 |
+
language:
|
4 |
+
- ja
|
5 |
+
tags:
|
6 |
+
- japanese input
|
7 |
+
- kana kanji conversion
|
8 |
+
datasets:
|
9 |
+
- Miwa-Keita/zenz-v2.5-dataset
|
10 |
+
base_model:
|
11 |
+
- ku-nlp/gpt2-small-japanese-char
|
12 |
+
pipeline_tag: text2text-generation
|
13 |
+
---
|
14 |
+
|
15 |
+
# zenz-v2.5-small
|
16 |
+
|
17 |
+
<div align="center">
|
18 |
+
<img src="https://cdn-uploads.huggingface.co/production/uploads/663b87e5a14bfb0a2d4914df/gWnbTavSqhhWYJrP6SdQ1.png" alt="zenz-v2 model spec" width="400"/>
|
19 |
+
</div>
|
20 |
+
|
21 |
+
<!-- Provide a quick summary of what the model is/does. -->
|
22 |
+
|
23 |
+
zenz-v2.5はかな漢字変換タスクに特化したGPT-2アーキテクチャの条件付き言語モデルです。ニューラルかな漢字変換システム「Zenzai」で利用することを想定しています。
|
24 |
+
|
25 |
+
* 文字単位+バイト単位BPEトークナイザー
|
26 |
+
* かな漢字変換タスクにおいて高い性能
|
27 |
+
* 文脈を考慮した変換で高い性能を発揮
|
28 |
+
|
29 |
+
zenz-v2.5は3種類のモデルサイズで公開しています。
|
30 |
+
|
31 |
+
* **[zenz-v2.5-medium](https://huggingface.co/Miwa-Keita/zenz-v2.5-medium)**: 310Mの大規模モデル
|
32 |
+
* **[zenz-v2.5-small](https://huggingface.co/Miwa-Keita/zenz-v2.5-small)**: 91Mの中規模モデル
|
33 |
+
* **[zenz-v2.5-xsmall](https://huggingface.co/Miwa-Keita/zenz-v2.5-xsmall)**: 26Mの小規模モデル
|
34 |
+
|
35 |
+
## Model Details
|
36 |
+
|
37 |
+
### Model Description
|
38 |
+
|
39 |
+
<!-- Provide a longer summary of what this model is. -->
|
40 |
+
|
41 |
+
[CC-BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)で提供されている[ku-nlp/gpt2-small-japanese-char](https://huggingface.co/ku-nlp/gpt2-small-japanese-char)を基盤モデルとして利用しています。
|
42 |
+
|
43 |
+
本モデルは[CC-BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)で提供します。
|
44 |
+
|
45 |
+
|
46 |
+
- **Developed by:** Keita Miwa ([𝕏](https://twitter.com/miwa_ensan))
|
47 |
+
- **Model type:** GPT-2
|
48 |
+
- **Language(s) (NLP):** Japanese
|
49 |
+
- **License:** CC-BY-SA 4.0
|
50 |
+
- **Finetuned from model:** [ku-nlp/gpt2-small-japanese-char](https://huggingface.co/ku-nlp/gpt2-small-japanese-char)
|
51 |
+
|
52 |
+
### Model Sources
|
53 |
+
|
54 |
+
<!-- Provide the basic links for the model. -->
|
55 |
+
|
56 |
+
本モデルはZenzai(AzooKeyKanaKanjiConverter)と共に利用することを想定して構築しています。
|
57 |
+
|
58 |
+
- **Repository:** https://github.com/ensan-hcl/AzooKeyKanaKanjiConverter
|
59 |
+
|
60 |
+
### Data Sources
|
61 |
+
|
62 |
+
本モデルは[zenz-v2.5-dataset](https://huggingface.co/datasets/Miwa-Keita/zenz-v2.5-dataset)を利用して構築しました。
|
63 |
+
|
64 |
+
## Acknowledgements
|
65 |
+
|
66 |
+
本モデルの構築にあたり、さくらインターネット株式会社様より計算資源の支援をいただきました。感謝申し上げます。
|
67 |
+
|
68 |
+
また、以下のライブラリやツール、言語資源を活用して本モデルを構築しました。
|
69 |
+
|
70 |
+
* MeCab (https://taku910.github.io/mecab/)
|
71 |
+
* ipadic-NEologd (https://github.com/neologd/mecab-ipadic-neologd)
|
72 |
+
* torch (https://pypi.org/project/torch/)
|
73 |
+
* transformers (https://pypi.org/project/transformers/)
|
74 |
+
* datasets (https://pypi.org/project/datasets/)
|
75 |
+
* jaconv (https://pypi.org/project/jaconv/)
|
76 |
+
* llama.cpp (https://github.com/ggerganov/llama.cpp)
|
77 |
+
* llm.c (https://github.com/karpathy/llm.c)
|