cointegrated's picture
Add model and tokenizer files
5b483a1
[pad]
[unk]
[cls]
[sep]
[mask]
[bos]
[eos]
!
"
#
%
&
'
(
)
*
+
,
-
.
/
0
1
2
3
4
5
6
7
8
9
:
;
<
=
>
?
@
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
[
\
]
^
_
`
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
u
v
w
x
y
z
{
|
}
~


¢
¦
§
ª
«
¬
­
®
°
²
µ
·
»
¿
À
Á
Â
Ã
Ä
Å
Ç
È
É
Ê
Ë
Ì
Í
Î
Ï
Ð
Ñ
Ò
Ó
Ô
Õ
Ö
×
Ø
Û
Ü
Ý
Þ
à
á
â
ã
ä
å
ç
è
é
ê
ë
ì
í
î
ï
ð
ñ
ò
ó
ô
õ
ö
÷
ø
û
ü
ý
þ
ÿ
Ā
ā
Č
č
Ğ
ğ
ı
Ł
ł
Š
š
Ū
ū
Ÿ
Ž
ž
Ə
Ɵ
ə
ɵ
ʺ
́
̶
Β
Μ
Π
Χ
β
π
χ
Ё
Ђ
Ѓ
Є
Ѕ
І
Ї
Љ
Њ
Ћ
Ќ
Ў
Џ
А
Б
В
Г
Д
Е
Ж
З
И
Й
К
Л
М
Н
О
П
Р
С
Т
У
Ф
Х
Ц
Ч
Ш
Щ
Ъ
Ы
Ь
Э
Ю
Я
а
б
в
г
д
е
ж
з
и
й
к
л
м
н
о
п
р
с
т
у
ф
х
ц
ч
ш
щ
ъ
ы
ь
э
ю
я
ё
ђ
ѓ
є
ѕ
і
ї
љ
њ
ћ
ќ
ў
џ
Ѳ
ѳ
Ґ
ґ
Ғ
ғ
Җ
җ
Ҙ
ҙ
Қ
қ
Ҡ
ҡ
Ң
ң
Ҫ
ҫ
Ү
ү
Ұ
ұ
Һ
һ
Ӊ
ӊ
Ә
ә
Ӧ
ӧ
Ө
ө
ا
ت
خ
ر
س
ع
ك
ن
و

🌸
🎭
📝