stefan-it's picture
tokenizer: add initial version
7d58613
raw
history blame
No virus
212 kB
[PAD]
[UNK]
[CLS]
[SEP]
[MASK]
!
"
#
$
%
&
'
(
)
*
+
,
-
.
/
0
1
2
3
4
5
6
7
8
9
:
;
<
=
>
?
@
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
[
\
]
^
_
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
u
v
w
x
y
z
{
|
}
~
¡
£
¥
§
©
ª
«
¬
®
°
±
´
·
º
»
¼
½
¾
¿
À
Á
Â
Ä
Å
Æ
Ç
È
É
Ê
Ë
Ì
Í
Î
Ï
Ñ
Ò
Ó
Ô
Õ
Ö
Ø
Ù
Ú
Û
Ü
Þ
ß
à
á
â
ä
å
æ
ç
è
é
ê
ë
ì
í
î
ï
ð
ñ
ò
ó
ô
õ
ö
ø
ù
ú
û
ü
ý
þ
ÿ
ă
ė
ĺ
Œ
œ
ś
Š
š
ţ
Ÿ
Ź
Ž
ž
ƒ
ȏ
Ά
Έ
Ή
Ί
Ό
Ύ
Ώ
ΐ
Α
Β
Γ
Δ
Ε
Ζ
Η
Θ
Ι
Κ
Λ
Μ
Ν
Ξ
Ο
Π
Ρ
Σ
Τ
Υ
Φ
Χ
Ψ
Ϊ
ά
έ
ή
ί
ΰ
α
β
γ
δ
ε
ζ
η
θ
ι
κ
λ
μ
ν
ξ
ο
π
ρ
ς
σ
τ
υ
φ
χ
ψ
ω
ϊ
ϋ
ό
ύ
ώ
Ё
І
А
Б
В
Г
Д
Е
Ж
З
И
Й
К
Л
М
Н
О
П
Р
С
Т
У
Ф
Х
Ц
Ч
Ш
Щ
Ъ
Ы
Ь
Э
Ю
Я
а
б
в
г
д
е
ж
з
и
й
к
л
м
н
о
п
р
с
т
у
ф
х
ц
ч
ш
щ
ъ
ы
ь
э
ю
я
ё
і
ѣ
Ѳ
ѳ
Ѵ
ѵ
쮿
##o
##r
##v
##a
##s
##t
##i
##l
##j
##e
##y
##S
##u
##h
##n
##c
##k
##b
##d
##ö
##ä
##Ä
##x
##p
##w
##V
##z
##m
##g
##M
##4
##1
##D
##0
##f
##K
##ü
##B
##2
##5
##E
##Y
##A
##L
##O
##I
##P
##R
##T
##ç
##ï
##U
##é
##J
##è
##q
##ê
##É
##8
##7
##N
##C
##H
##ô
##©
##6
##å
##ß
##Ï
##р
##у
##в
##е
##ъ
##3
##з
##я
##л
##ш
##й
##W
##î
##ë
##к
##о
##н
##ч
##Z
##°
##ù
##æ
##G
##à
##F
##Ü
##Î
##Ê
##Q
##X
##г
##а
##д
##Û
##с
##щ
##9
##È
##ι
##σ
##α
##λ
##τ
##ί
##ν
##Ç
##â
##Ë
##х
##ы
##ь
##м
##б
##и
##т
##ю
##ж
##û
##œ
##п
##■
##Г
##£
##À
##В
##Ö
##П
##Е
##Р
##А
##Т
##О
##Ь
##Ô
##®
##Æ
##Б
##€
##Å
##Ф
##™
##И
##Ц
##Л
##Н
##Й
##Ъ
##Œ
##Ù
##Â
##Ž
##М
##ц
##ё
##Х
##Ш
##¥
##±
##э
##ф
##ì
##ø
##▼
##í
##á
##ο
##ύ
##ρ
##ω
##κ
##ό
##Д
##С
##Í
##õ
##З
##υ
##ά
##μ
##ς
##Ы
##Щ
##π
##ε
##ΐ
##Ж
##У
##К
##Я
##Ч
##Ё
##ó
##έ
##φ
##♦
##γ
##Ю
##№
##ò
##Ó
##Š
##ξ
##θ
##ή
##η
##Ì
##š
##β
##δ
##ΰ
##Õ
##►
##ð
##χ
##ú
##Э
##ž
##ψ
##ϋ
##Ò
##ώ
##□
##Ί
##ζ
##Á
##ѣ
##Ú
##þ
##ϊ
##і
##❖
##ĺ
##☆
##ñ
##Χ
##І
##ý
##Γ
##¾
##Τ
##▲
##Þ
##★
##✓
##ѳ
##ྫྷ
##Ι
##ÿ
##Κ
##Ε
##ă
##´
##ţ
##﷾
##Ѳ
##½
##Ν
##Ο
##Σ
##Έ
##Ρ
##㿪
##Α
##Υ
##Ό
##▻
##¼
##º
##Ñ
##Ζ
##પ
##්
##Β
##Λ
##Π
##ª
##Ϊ
##ś
##ė
##ȏ
##Μ
##Ύ
##○
##Ź
##ѵ
##Ά
##Ѵ
##◦
##en
##er
##in
##an
##es
##on
##is
##ll
##ar
##ch
##it
##at
##st
##et
##or
th
##ur
##nd
##el
##al
##ed
##ta
##om
the
de
##re
##ou
##as
##un
##ie
in
##ti
##il
##te
##ing
##ig
##am
##ut
##ent
##ir
##us
of
##em
##ill
##tt
##ol
##and
##ra
##ka
##ich
to
##än
##ör
##im
la
##ad
##le
##id
and
en
##ot
##ks
##ag
##os
##ion
##sa
##ter
##ik
##au
##ro
##ne
an
se
be
##ri
le
##ce
##ck
on
qu
der
##ul
##är
##pp
##ten
##he
ja
##ell
et
##all
fr
und
##our
##iv
##ung
##se
##ant
##um
des
den
ma
af
##ist
för
au
och
st
##ia
##ers
##end
##na
##li
un
##ber
##ans
##ast
re
##ver
##ge
##qu
die
sa
##ve
##me
##ien
##est
wh
##de
he
##ais
as
##ere
##ts
par
pr
##ation
su
##ah
##den
con
##ess
##ok
##ic
##ust
##ff
##00
er
for
##ine
##ab
##äm
##ii
till
##ous
##ak
so
##ap
##ens
les
att
##lle
##ain
##aan
ne
##hr
##ai
al
##gen
##th
##ier
##omm
##ow
##ait
10
du
##od
##ning
ar
##tion
il
##ää
##ande
##oh
ch
##ies
##ith
##che
was
##äl
##sk
18
##itt
##ont
##ja
##ann
##ly
is
##ost
pl
##ke
ein
all
or
##ach
##ct
##pr
that
##if
med
##op
##lig
##ett
##ht
##ng
##és
##ort
##ord
som
##are
zu
tr
##lich
##ud
##lo
ett
##ard
##ksi
ver
##ue
##tr
pro
ex
##ät
##ys
##ään
it
ha
om
##ind
##oul
von
with
##oll
Le
##oi
##iss
me
11
dem
##ille
##iin
##und
##ade
im
The
at
##ass
ge
est
St
##av
##ista
##yt
##ement
by
his
12
Fr
da
mu
com
que
##oit
An
man
##els
19
mit
##eu
pu
##ür
no
##ern
##chen
##ft
##inen
##aa
am
##ins
ku
mar
##be
sam
##ån
sk
qui
gr
##icht
##ac
te
##ons
##ée
##ss
##ui
av
##ön
det
##ger
une
her
##ors
##iel
not
##out
my
tu
##ure
##res
##ise
##der
jo
##kt
##äll
50
##unn
##ire
fl
##att
##ér
##pe
##bl
##äh
Re
Sch
##uk
si
##ore
##si
##ma
##la
pour
##ci
In
ut
##var
##que
##ite
##urs
##äk
15
ab
Mar
##ate
per
##ang
lo
Th
which
##änd
##ina
##ats
##ben
##to
##ets
##man
had
##uks
dans
##age
sur
##we
##ank
##ug
##enn
##ond
##år
##fv
##ki
##her
we
Be
##sch
##ois
Par
##land
var
##ätt
##cc
es
että
ka
##ance
##itä
br
do
##elle
gen
ol
from
Ch
##ull
##ay
20
sh
Ver
##ele
##pl
##tre
Se
##oin
##mer
##inn
30
ta
kl
##onn
##ose
li
sen
##ould
aus
##ko
##err
##ES
##br
25
13
auf
La
##gr
000
##ux
upp
##assa
##yr
##art
##yn
ad
##ment
##kin
##ale
ist
you
##org
##utta
##io
Ar
##ity
##aus
##ym
##anc
har
##åg
##isen
En
##hd
sig
sch
##äs
##one
min
##uu
##sta
but
##cr
14
17
##té
##issa
sich
##för
men
Ge
Br
##ès
##ime
##ong
bes
De
##ied
##pt
##het
16
##ven
son
##essa
hu
have
He
##ère
##oug
##alla
Er
##hen