geniacllm/ja-en-tokenizer-unigram-v4

説明

wikipedia, mbpp, grade-school-mathで学習したトークナイザー。

学習に使ったデータ

• 英語：1.33GB (wiki40b)
  
• 日本語：1.78GB (wiki40b)　※形態素単位で"||||"で事前分割してsentencepieceの学習時にpretokenization_delimiterを設定。
  
• コード：172KB (mbpp)
  
• 数学：2.1MB (grade-school-math)

語彙の追加

以下を参考に日本語の語彙を追加。

• wikitinary 目次一覧（名詞・形容詞・形容動詞・副詞・接尾辞・助詞・動詞などから一般的に使われると思われるものを定性的に選別。）
• wikitionary 日本語の基本語彙1000
• 文化庁「常用漢字一覧表」の例から一部をサンプリング。
• 時間・季節・方角に関する語
• 都道府県・観光地・東京23区
• 頻出する日本の苗字
• 定型表現（「こんにちは」「よろしく」「ございます」など） その他、以下の語彙を追加。
• 記号
• 数字（漢数字・半角数字0~99・全角数字０〜９・上付き数字0〜9）
• 数学に出るギリシャ文字

語彙の割合

概算ですが、アルファベットが約6割、日本語（ひらがな・カタカナ・漢字）が約4割となっています。（その他記号や数字は1~2%程度）

参照

• https://aclanthology.org/2020.lrec-1.297.pdf
• https://www.tensorflow.org/datasets/catalog/wiki40b
• https://github.com/openai/grade-school-math
• https://github.com/google-research/google-research/tree/master/mbpp
• https://www.bunka.go.jp/kokugo_nihongo/sisaku/joho/joho/kakuki/14/pdf/jyouyou_kanjihyou.pdf
• https://ja.m.wiktionary.org/wiki/%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA:%E6%97%A5%E6%9C%AC%E8%AA%9E

設定

vocab_size=56,320（語彙サイズ）
character_coverage=0.9995（文字のカバー率99.95%）
model_type="unigram"（アルゴリズム）
normalization="identity"（正規化なし）
byte_fallback=True（バイト変換あり）
split_digits=True（数字分割あり）
allow_whitespace_only_pieces=True（空白のトークンを許可する）
remove_extra_whitespaces=True（余分な空白の削除あり）

形式

LlamaTokenizer
※encode時に文頭にbos_tokenである"<s>"トークンが付きます。

使い方

!pip install transformers>=4.34.0

from transformers import AutoTokenizer
test_tokenizer = AutoTokenizer.from_pretrained("geniacllm/ja-en-tokenizer-unigram-v4", use_fast=False)

# text
text = "This is tokenizer test."

# tokenize
tokenized = test_tokenizer.tokenize(text)
print(tokenized)

# encode
encoded = test_tokenizer.encode(text)
print(encoded)

# decode
decoded = test_tokenizer.decode(encoded)
print(decoded)

# special_token
print(test_tokenizer.special_tokens_map)


# vocab size
print(len(test_tokenizer))

# all subwords in vocab
print(test_tokenizer.get_vocab())