--- license: cc-by-sa-4.0 language: - ja tags: - japanese input - kana kanji conversion --- # zenz-v1 zenz-v1はGPT-2アーキテクチャに基づくかな漢字変換タスクに特化した言語モデルです。ニューラルかな漢字変換システム「Zenzai」で利用することを想定しています。 * 90Mパラメタ * 文字単位+バイト単位BPEトークナイザー * かな漢字変換タスクにおいて貪欲法で高い性能 ## Model Details ### Model Description [CC-BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)で提供されている[ku-nlp/gpt2-small-japanese-char](https://huggingface.co/ku-nlp/gpt2-small-japanese-char)を基盤モデルとして利用しています。 本モデルは[CC-BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)で提供します。 - **Developed by:** Keita Miwa ([𝕏](https://twitter.com/miwa_ensan)) - **Model type:** GPT-2 - **Language(s) (NLP):** Japanese - **License:** CC-BY-SA 4.0 - **Finetuned from model:** [ku-nlp/gpt2-small-japanese-char](https://huggingface.co/ku-nlp/gpt2-small-japanese-char) ### Model Sources 本モデルはZenzai(AzooKeyKanaKanjiConverter)と共に利用することを想定して構築しています。 - **Repository:** https://github.com/ensan-hcl/AzooKeyKanaKanjiConverter ## Acknowledgements 以下のライブラリやツール、言語資源を活用して本モデルを構築しました。 * MeCab (https://taku910.github.io/mecab/) * ipadic-NEologd (https://github.com/neologd/mecab-ipadic-neologd) * torch (https://pypi.org/project/torch/) * transformers (https://pypi.org/project/transformers/) * datasets (https://pypi.org/project/datasets/) * jaconv (https://pypi.org/project/jaconv/)