File size: 167 Bytes
08b017e |
1 2 3 |
- vocab_size が 16384 サイズになるように作成した日本語 tokenizer
- 学習元は wikpedia (日本語のみ)
- unidic + sentencepiece(unigram) で学習 |
08b017e |
1 2 3 |
- vocab_size が 16384 サイズになるように作成した日本語 tokenizer
- 学習元は wikpedia (日本語のみ)
- unidic + sentencepiece(unigram) で学習 |