Informalone's picture
Upload tokenizer
7fac86a
raw
history blame
4.68 kB
[PAD]
[UNK]
[CLS]
[SEP]
[MASK]
!
"
#
$
%
&
'
(
)
*
+
,
-
.
/
0
1
2
3
4
5
6
7
8
9
:
;
<
=
>
?
@
[
\
]
^
_
`
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
u
v
w
x
y
z
|
}
~
¡
¢
£
¥
§
°
±
²
³
´
µ
·
º
½
¿
×
ß
æ
ð
ø
þ
đ
ħ
ı
ł
œ
ɐ
ɑ
ɒ
ɔ
ə
ɛ
ɜ
ɡ
ɢ
ɪ
ɫ
ɳ
ɽ
ɾ
ʁ
ʃ
ʊ
ʋ
ʒ
ʔ
ʕ
ʲ
ʻ
ʼ
ʾ
ʿ
ˈ
ˌ
ː
α
β
γ
δ
ε
η
θ
ι
κ
λ
μ
ν
ξ
ο
π
ρ
ς
σ
τ
υ
φ
χ
ψ
ω
а
б
в
г
д
е
ж
з
и
к
л
м
н
о
п
р
с
т
у
х
ц
ш
ъ
ы
ь
ю
я
є
א
ב
ג
ה
ו
ז
ח
י
ל
ם
מ
ן
נ
ס
ף
פ
צ
ר
ש
ת
ء
ا
ب
ة
ت
ث
ج
ح
خ
د
ذ
ر
س
ش
ص
ع
ف
ق
ك
ل
م
ن
ه
و
ي
ܐ
ܕ
ܗ
ܝ
ܠ
ܢ
ܬ
ि
广
殿
##i
##y
##o
##r
##g
##a
##w
##l
##b
##z
##t
##n
##c
##h
##s
##u
##d
##e
##k
##v
##f
##x
##q
##p
##æ
##0
##5
##m
##8
##4
##س
##ت
##ا
##ن
##6
##1
##7
##j
##つ
##う
##2
##9
##3
##ø
##ล
##ว
##ง
##พ
##ไ
##ช
##ย
##า
##ร
##თ
##ა
##ვ
##რ
##ი
##ള
##あ
##ん
##α
##ν
##τ
##ο
##κ
##ρ
##ω
##ς
##の
##な
##ら
##ð
##œ
##ɛ
##ł
##η
##μ
##ซ
##ル
##シ
##ア
##リ
##ス
##ʔ
##ल
##ᄇ
##ᅮ
##ᄃ
##ᅢ
##β
##ß
##か
##た
##ə
##ʻ
##ι
##χ
##о
##л
##с
##а
##т
##ы
##и
##в
##к
##з
##ッ
##ク
##マ
##ン
##გ
##ლ
##ო
##ნ
##ː
##ל
##ה
##א
##く
##み
##ε
##ξ
##ল
##ˈ
##ɡ
##ɑ
##ɒ
##し
##す
##き
##ひ
##と
##đ
##ъ
##н
##е
##י
##פ
##イ
##λ
##ق
##ع
##د
##ᅡ
##ᆯ
##ᄅ
##ɪ
##ค
##ต
##व
##ा
##द
##は
##り
##レ
##ー
##ツ
##ي
##ش
##و
##م
##º
##ਲ
##ਾ
##ਹ
##д
##р
##ل
##ب
##い
##ち
##ゃ
##ʒ
##ʃ
##ɔ
##ह
##ニ
##ウ
##ァ
##キ
##ュ
##3
##ხ
##ს
##お
##タ
##ാ
##ഹ
##ɳ
##ま
##る
##ะ
##อ
##น
##ן
##я
##แ
##ก
##ɾ
##ʲ
##フ
##უ
##ภ
##ด
##ב
##ת
##خ
##ラ
##れ
##ण
##स
##न
##ه
##ف
##ر
##エ
##テ
##ษ
##ฐ
##ィ
##क
##ノ
##θ
##ネ
##ョ
##δ
##ɽ
##ʁ
##ტ
##ჱ
##ェ
##ハ
##υ
##र
##х
##も
##っ
##ょ
##に
##γ
##ც
##ე
##є
##м
##ܕ
##ܝ
##ܢ
##ܬ
##ณ
##ม
##ฮ
##ж
##ם
##ء
##ʊ
##ई
##め
##მ
##ム
##チ
##ᵻ
##ˌ
##ו
##ף
##წ
##ფ
##ャ
##モ
##ɐ
##ᅦ
##ᅩ
##ᆨ
##ᅵ
##ᆸ
##ᅧ
##ᆼ
##ᄋ
##ᆫ
##わ
##ı
##ქ
##დ
##ि
##ჲ
##ר
##セ
##オ
##ゆ
##せ
##ك
##ʿ
##ש
##מ
##צ
##п
##г
##カ
##ܠ
##ܗ
##ܐ
##ナ
##ミ
##こ
##を
##ψ
##サ
##ォ
##π
##ト
##у
##ح
##σ
##เ
##ป
##ш
##ゥ
##ロ
##া
##হ
##ɜ
##ة
##ص
##ס
##ث
##ჳ
##נ
##ذ
##ग
##ɫ
##ц
##ь
##ю