Upload tokenizer
7fac86a
|
[PAD] |
|
[UNK] |
|
[CLS] |
|
[SEP] |
|
[MASK] |
|
! |
|
" |
|
# |
|
$ |
|
% |
|
& |
|
' |
|
( |
|
) |
|
* |
|
+ |
|
, |
|
- |
|
. |
|
/ |
|
0 |
|
1 |
|
2 |
|
3 |
|
4 |
|
5 |
|
6 |
|
7 |
|
8 |
|
9 |
|
: |
|
; |
|
< |
|
= |
|
> |
|
? |
|
@ |
|
[ |
|
\ |
|
] |
|
^ |
|
_ |
|
` |
|
a |
|
b |
|
c |
|
d |
|
e |
|
f |
|
g |
|
h |
|
i |
|
j |
|
k |
|
l |
|
m |
|
n |
|
o |
|
p |
|
q |
|
r |
|
s |
|
t |
|
u |
|
v |
|
w |
|
x |
|
y |
|
z |
|
| |
|
} |
|
~ |
|
¡ |
|
¢ |
|
£ |
|
¥ |
|
§ |
|
° |
|
± |
|
² |
|
³ |
|
´ |
|
µ |
|
· |
|
º |
|
½ |
|
¿ |
|
× |
|
ß |
|
æ |
|
ð |
|
ø |
|
þ |
|
đ |
|
ħ |
|
ı |
|
ł |
|
œ |
|
ɐ |
|
ɑ |
|
ɒ |
|
ɔ |
|
ə |
|
ɛ |
|
ɜ |
|
ɡ |
|
ɢ |
|
ɪ |
|
ɫ |
|
ɳ |
|
ɽ |
|
ɾ |
|
ʁ |
|
ʃ |
|
ʊ |
|
ʋ |
|
ʒ |
|
ʔ |
|
ʕ |
|
ʲ |
|
ʻ |
|
ʼ |
|
ʾ |
|
ʿ |
|
ˈ |
|
ˌ |
|
ː |
|
α |
|
β |
|
γ |
|
δ |
|
ε |
|
η |
|
θ |
|
ι |
|
κ |
|
λ |
|
μ |
|
ν |
|
ξ |
|
ο |
|
π |
|
ρ |
|
ς |
|
σ |
|
τ |
|
υ |
|
φ |
|
χ |
|
ψ |
|
ω |
|
а |
|
б |
|
в |
|
г |
|
д |
|
е |
|
ж |
|
з |
|
и |
|
к |
|
л |
|
м |
|
н |
|
о |
|
п |
|
р |
|
с |
|
т |
|
у |
|
х |
|
ц |
|
ш |
|
ъ |
|
ы |
|
ь |
|
ю |
|
я |
|
є |
|
א |
|
ב |
|
ג |
|
ה |
|
ו |
|
ז |
|
ח |
|
י |
|
ל |
|
ם |
|
מ |
|
ן |
|
נ |
|
ס |
|
ף |
|
פ |
|
צ |
|
ר |
|
ש |
|
ת |
|
ء |
|
ا |
|
ب |
|
ة |
|
ت |
|
ث |
|
ج |
|
ح |
|
خ |
|
د |
|
ذ |
|
ر |
|
س |
|
ش |
|
ص |
|
ع |
|
ف |
|
ق |
|
ك |
|
ل |
|
م |
|
ن |
|
ه |
|
و |
|
ي |
|
ܐ |
|
ܕ |
|
ܗ |
|
ܝ |
|
ܠ |
|
ܢ |
|
ܬ |
|
अ |
|
ई |
|
क |
|
ग |
|
ण |
|
त |
|
द |
|
न |
|
प |
|
ब |
|
म |
|
य |
|
र |
|
ल |
|
व |
|
स |
|
ह |
|
ा |
|
ि |
|
আ |
|
ল |
|
হ |
|
া |
|
ਅ |
|
ਲ |
|
ਹ |
|
ਾ |
|
അ |
|
ള |
|
ഹ |
|
ാ |
|
ก |
|
ค |
|
ง |
|
ช |
|
ซ |
|
ญ |
|
ฐ |
|
ณ |
|
ด |
|
ต |
|
น |
|
บ |
|
ป |
|
พ |
|
ภ |
|
ม |
|
ย |
|
ร |
|
ล |
|
ว |
|
ศ |
|
ษ |
|
ส |
|
ห |
|
อ |
|
ฮ |
|
ะ |
|
า |
|
เ |
|
แ |
|
ไ |
|
ა |
|
ბ |
|
გ |
|
დ |
|
ე |
|
ვ |
|
ზ |
|
თ |
|
ი |
|
კ |
|
ლ |
|
მ |
|
ნ |
|
ო |
|
პ |
|
ჟ |
|
რ |
|
ს |
|
ტ |
|
უ |
|
ფ |
|
ქ |
|
ღ |
|
ყ |
|
შ |
|
ჩ |
|
ც |
|
ძ |
|
წ |
|
ჭ |
|
ხ |
|
ჯ |
|
ჰ |
|
ჱ |
|
ჲ |
|
ჳ |
|
ჴ |
|
ჵ |
|
ჶ |
|
ჷ |
|
ჸ |
|
ჹ |
|
ჺ |
|
჻ |
|
ᄃ |
|
ᄅ |
|
ᄇ |
|
ᄋ |
|
ᄌ |
|
ᅡ |
|
ᅢ |
|
ᅦ |
|
ᅧ |
|
ᅩ |
|
ᅮ |
|
ᅵ |
|
ᆨ |
|
ᆫ |
|
ᆯ |
|
ᆸ |
|
ᆼ |
|
ᵻ |
|
‐ |
|
‑ |
|
– |
|
— |
|
― |
|
‘ |
|
’ |
|
“ |
|
” |
|
„ |
|
† |
|
‡ |
|
• |
|
… |
|
′ |
|
″ |
|
⁄ |
|
₣ |
|
₤ |
|
€ |
|
₹ |
|
⅓ |
|
⅔ |
|
→ |
|
− |
|
≡ |
|
≤ |
|
① |
|
☉ |
|
☫ |
|
♀ |
|
♭ |
|
♯ |
|
⚳ |
|
ⴀ |
|
ⴂ |
|
ⴃ |
|
ⴈ |
|
ⴌ |
|
ⴕ |
|
ⴟ |
|
〈 |
|
〉 |
|
〜 |
|
あ |
|
い |
|
う |
|
お |
|
か |
|
き |
|
く |
|
け |
|
こ |
|
さ |
|
し |
|
す |
|
せ |
|
た |
|
ち |
|
っ |
|
つ |
|
と |
|
な |
|
に |
|
の |
|
は |
|
ひ |
|
ふ |
|
ほ |
|
ま |
|
み |
|
め |
|
も |
|
ゃ |
|
ゆ |
|
ょ |
|
ら |
|
り |
|
る |
|
れ |
|
わ |
|
を |
|
ん |
|
ァ |
|
ア |
|
ィ |
|
イ |
|
ゥ |
|
ウ |
|
ェ |
|
エ |
|
ォ |
|
オ |
|
カ |
|
キ |
|
ク |
|
ケ |
|
コ |
|
サ |
|
シ |
|
ス |
|
セ |
|
タ |
|
チ |
|
ッ |
|
ツ |
|
テ |
|
ト |
|
ナ |
|
ニ |
|
ネ |
|
ノ |
|
ハ |
|
フ |
|
ヘ |
|
マ |
|
ミ |
|
ム |
|
モ |
|
ャ |
|
ュ |
|
ョ |
|
ラ |
|
リ |
|
ル |
|
レ |
|
ロ |
|
ン |
|
・ |
|
ー |
|
一 |
|
七 |
|
下 |
|
世 |
|
丙 |
|
中 |
|
主 |
|
乃 |
|
之 |
|
乙 |
|
九 |
|
二 |
|
云 |
|
人 |
|
今 |
|
付 |
|
作 |
|
侗 |
|
依 |
|
信 |
|
傳 |
|
儚 |
|
充 |
|
光 |
|
全 |
|
兵 |
|
其 |
|
具 |
|
円 |
|
再 |
|
出 |
|
判 |
|
前 |
|
剛 |
|
劇 |
|
劉 |
|
動 |
|
化 |
|
北 |
|
华 |
|
厂 |
|
去 |
|
古 |
|
可 |
|
台 |
|
史 |
|
同 |
|
名 |
|
君 |
|
吳 |
|
周 |
|
命 |
|
和 |
|
咲 |
|
善 |
|
四 |
|
國 |
|
園 |
|
圣 |
|
在 |
|
坂 |
|
堤 |
|
場 |
|
塘 |
|
夕 |
|
大 |
|
天 |
|
夫 |
|
女 |
|
妙 |
|
姚 |
|
子 |
|
孟 |
|
守 |
|
安 |
|
宋 |
|
完 |
|
宗 |
|
宝 |
|
宫 |
|
寝 |
|
寺 |
|
小 |
|
少 |
|
尾 |
|
山 |
|
岳 |
|
川 |
|
州 |
|
巳 |
|
市 |
|
師 |
|
平 |
|
广 |
|
庆 |
|
府 |
|
座 |
|
廬 |
|
建 |
|
式 |
|
張 |
|
彌 |
|
彩 |
|
彼 |
|
後 |
|
御 |
|
德 |
|
思 |
|
愛 |
|
憑 |
|
憶 |
|
應 |
|
懷 |
|
战 |
|
戦 |
|
扈 |
|
技 |
|
拉 |
|
拳 |
|
挑 |
|
揺 |
|
攻 |
|
放 |
|
政 |
|
散 |
|
斯 |
|
方 |
|
日 |
|
旦 |
|
旭 |
|
昌 |
|
明 |
|
星 |
|
春 |
|
晋 |
|
景 |
|
曦 |
|
月 |
|
望 |
|
未 |
|
本 |
|
李 |
|
村 |
|
杜 |
|
束 |
|
来 |
|
林 |
|
桜 |
|
梶 |
|
棘 |
|
椎 |
|
楊 |
|
楚 |
|
榮 |
|
橘 |
|
機 |
|
正 |
|
殻 |
|
殿 |
|
母 |
|
水 |
|
汉 |
|
沂 |
|
沙 |
|
河 |
|
泗 |
|
波 |
|
泣 |
|
洪 |
|
淹 |
|
清 |
|
湯 |
|
漢 |
|
澄 |
|
澤 |
|
火 |
|
灯 |
|
灵 |
|
灼 |
|
焼 |
|
熱 |
|
物 |
|
狐 |
|
狸 |
|
玄 |
|
王 |
|
玩 |
|
珂 |
|
珙 |
|
球 |
|
理 |
|
琦 |
|
琪 |
|
瓊 |
|
生 |
|
田 |
|
畢 |
|
番 |
|
瘡 |
|
白 |
|
皮 |
|
真 |
|
砲 |
|
礮 |
|
祈 |
|
神 |
|
祠 |
|
秋 |
|
空 |
|
立 |
|
精 |
|
約 |
|
絵 |
|
織 |
|
義 |
|
翠 |
|
者 |
|
耕 |
|
肖 |
|
胡 |
|
膀 |
|
臂 |
|
興 |
|
良 |
|
花 |
|
芳 |
|
芽 |
|
若 |
|
英 |
|
藕 |
|
藥 |
|
蘄 |
|
蘇 |
|
行 |
|
裁 |
|
規 |
|
覺 |
|
观 |
|
解 |
|
記 |
|
誓 |
|
誡 |
|
誰 |
|
謎 |
|
许 |
|
谭 |
|
豪 |
|
豫 |
|
費 |
|
贵 |
|
赤 |
|
趙 |
|
足 |
|
跡 |
|
転 |
|
辛 |
|
逆 |
|
遇 |
|
運 |
|
過 |
|
遠 |
|
選 |
|
邦 |
|
邱 |
|
部 |
|
郭 |
|
都 |
|
酈 |
|
里 |
|
野 |
|
金 |
|
銃 |
|
鋼 |
|
錄 |
|
錡 |
|
鍵 |
|
鐵 |
|
钱 |
|
铁 |
|
關 |
|
防 |
|
阿 |
|
陈 |
|
陳 |
|
陽 |
|
隊 |
|
階 |
|
集 |
|
雪 |
|
雲 |
|
霖 |
|
霹 |
|
靂 |
|
韓 |
|
願 |
|
顯 |
|
颜 |
|
马 |
|
高 |
|
龍 |
|
ﷲ |
|
ﻋ |
|
/ |
|
3 |
|
~ |
|
##i |
|
##y |
|
##o |
|
##r |
|
##g |
|
##a |
|
##w |
|
##l |
|
##b |
|
##z |
|
##t |
|
##n |
|
##c |
|
##h |
|
##s |
|
##u |
|
##d |
|
##e |
|
##k |
|
##v |
|
##f |
|
##x |
|
##q |
|
##p |
|
##æ |
|
##0 |
|
##5 |
|
##m |
|
##8 |
|
##4 |
|
##س |
|
##ت |
|
##ا |
|
##ن |
|
##6 |
|
##1 |
|
##7 |
|
##j |
|
##つ |
|
##う |
|
##2 |
|
##9 |
|
##3 |
|
##ø |
|
##ล |
|
##ว |
|
##ง |
|
##พ |
|
##ไ |
|
##ช |
|
##ย |
|
##า |
|
##ร |
|
##თ |
|
##ა |
|
##ვ |
|
##რ |
|
##ი |
|
##ള |
|
##あ |
|
##ん |
|
##α |
|
##ν |
|
##τ |
|
##ο |
|
##κ |
|
##ρ |
|
##ω |
|
##ς |
|
##の |
|
##な |
|
##ら |
|
##ð |
|
##œ |
|
##ɛ |
|
##ł |
|
##η |
|
##μ |
|
##ซ |
|
##ル |
|
##シ |
|
##ア |
|
##リ |
|
##ス |
|
##ʔ |
|
##ल |
|
##ᄇ |
|
##ᅮ |
|
##ᄃ |
|
##ᅢ |
|
##β |
|
##ß |
|
##か |
|
##た |
|
##ə |
|
##ʻ |
|
##ι |
|
##χ |
|
##о |
|
##л |
|
##с |
|
##а |
|
##т |
|
##ы |
|
##и |
|
##в |
|
##к |
|
##з |
|
##ッ |
|
##ク |
|
##マ |
|
##ン |
|
##გ |
|
##ლ |
|
##ო |
|
##ნ |
|
##ː |
|
##ל |
|
##ה |
|
##א |
|
##く |
|
##み |
|
##ε |
|
##ξ |
|
##ল |
|
##ˈ |
|
##ɡ |
|
##ɑ |
|
##ɒ |
|
##し |
|
##す |
|
##き |
|
##ひ |
|
##と |
|
##đ |
|
##ъ |
|
##н |
|
##е |
|
##י |
|
##פ |
|
##イ |
|
##λ |
|
##ق |
|
##ع |
|
##د |
|
##ᅡ |
|
##ᆯ |
|
##ᄅ |
|
##ɪ |
|
##ค |
|
##ต |
|
##व |
|
##ा |
|
##द |
|
##は |
|
##り |
|
##レ |
|
##ー |
|
##ツ |
|
##ي |
|
##ش |
|
##و |
|
##م |
|
##º |
|
##ਲ |
|
##ਾ |
|
##ਹ |
|
##д |
|
##р |
|
##ل |
|
##ب |
|
##い |
|
##ち |
|
##ゃ |
|
##ʒ |
|
##ʃ |
|
##ɔ |
|
##ह |
|
##ニ |
|
##ウ |
|
##ァ |
|
##キ |
|
##ュ |
|
##3 |
|
##ხ |
|
##ს |
|
##お |
|
##タ |
|
##ാ |
|
##ഹ |
|
##ɳ |
|
##ま |
|
##る |
|
##ะ |
|
##อ |
|
##น |
|
##ן |
|
##я |
|
##แ |
|
##ก |
|
##ɾ |
|
##ʲ |
|
##フ |
|
##უ |
|
##ภ |
|
##ด |
|
##ב |
|
##ת |
|
##خ |
|
##ラ |
|
##れ |
|
##ण |
|
##स |
|
##न |
|
##ه |
|
##ف |
|
##ر |
|
##エ |
|
##テ |
|
##ษ |
|
##ฐ |
|
##ィ |
|
##क |
|
##ノ |
|
##θ |
|
##ネ |
|
##ョ |
|
##δ |
|
##ɽ |
|
##ʁ |
|
##ტ |
|
##ჱ |
|
##ェ |
|
##ハ |
|
##υ |
|
##र |
|
##х |
|
##も |
|
##っ |
|
##ょ |
|
##に |
|
##γ |
|
##ც |
|
##ე |
|
##є |
|
##м |
|
##ܕ |
|
##ܝ |
|
##ܢ |
|
##ܬ |
|
##ณ |
|
##ม |
|
##ฮ |
|
##ж |
|
##ם |
|
##ء |
|
##ʊ |
|
##ई |
|
##め |
|
##მ |
|
##ム |
|
##チ |
|
##ᵻ |
|
##ˌ |
|
##ו |
|
##ף |
|
##წ |
|
##ფ |
|
##ャ |
|
##モ |
|
##ɐ |
|
##ᅦ |
|
##ᅩ |
|
##ᆨ |
|
##ᅵ |
|
##ᆸ |
|
##ᅧ |
|
##ᆼ |
|
##ᄋ |
|
##ᆫ |
|
##わ |
|
##ı |
|
##ქ |
|
##დ |
|
##ि |
|
##ჲ |
|
##ר |
|
##セ |
|
##オ |
|
##ゆ |
|
##せ |
|
##ك |
|
##ʿ |
|
##ש |
|
##מ |
|
##צ |
|
##п |
|
##г |
|
##カ |
|
##ܠ |
|
##ܗ |
|
##ܐ |
|
##ナ |
|
##ミ |
|
##こ |
|
##を |
|
##ψ |
|
##サ |
|
##ォ |
|
##π |
|
##ト |
|
##у |
|
##ح |
|
##σ |
|
##เ |
|
##ป |
|
##ш |
|
##ゥ |
|
##ロ |
|
##া |
|
##হ |
|
##ɜ |
|
##ة |
|
##ص |
|
##ס |
|
##ث |
|
##ჳ |
|
##נ |
|
##ذ |
|
##ग |
|
##ɫ |
|
##ц |
|
##ь |
|
##ю |
|
|