|
--- |
|
license: cc-by-sa-4.0 |
|
language: |
|
- ja |
|
tags: |
|
- japanese input |
|
- kana kanji conversion |
|
--- |
|
# zenz-v1 |
|
|
|
<!-- Provide a quick summary of what the model is/does. --> |
|
|
|
zenz-v1はGPT-2アーキテクチャに基づくかな漢字変換タスクに特化した言語モデルです。ニューラルかな漢字変換システム「Zenzai」で利用することを想定しています。 |
|
|
|
* 90Mパラメタ |
|
* 文字単位+バイト単位BPEトークナイザー |
|
* かな漢字変換タスクにおいて貪欲法で高い性能 |
|
|
|
## Model Details |
|
|
|
### Model Description |
|
|
|
<!-- Provide a longer summary of what this model is. --> |
|
|
|
[CC-BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)で提供されている[ku-nlp/gpt2-small-japanese-char](https://huggingface.co/ku-nlp/gpt2-small-japanese-char)を基盤モデルとして利用しています。 |
|
|
|
本モデルは[CC-BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)で提供します。 |
|
|
|
|
|
- **Developed by:** Keita Miwa ([𝕏](https://twitter.com/miwa_ensan)) |
|
- **Model type:** GPT-2 |
|
- **Language(s) (NLP):** Japanese |
|
- **License:** CC-BY-SA 4.0 |
|
- **Finetuned from model:** [ku-nlp/gpt2-small-japanese-char](https://huggingface.co/ku-nlp/gpt2-small-japanese-char) |
|
|
|
### Model Sources |
|
|
|
<!-- Provide the basic links for the model. --> |
|
|
|
本モデルはZenzai（AzooKeyKanaKanjiConverter）と共に利用することを想定して構築しています。 |
|
|
|
- **Repository:** https://github.com/ensan-hcl/AzooKeyKanaKanjiConverter |
|
|
|
## Acknowledgements |
|
|
|
以下のライブラリやツール、言語資源を活用して本モデルを構築しました。 |
|
|
|
* MeCab (https://taku910.github.io/mecab/) |
|
* ipadic-NEologd (https://github.com/neologd/mecab-ipadic-neologd) |
|
* torch (https://pypi.org/project/torch/) |
|
* transformers (https://pypi.org/project/transformers/) |
|
* datasets (https://pypi.org/project/datasets/) |
|
* jaconv (https://pypi.org/project/jaconv/) |
|
* llama.cpp (https://github.com/ggerganov/llama.cpp) |
|
|
|
|
