Upload tokenizer
e8cb29f
|
#version: 0.2 |
|
č Ċ |
|
Ġ čĊ |
|
5 3 |
|
1 1 |
|
4 53 |
|
53 3 |
|
4 2 |
|
Ç ¾ |
|
2 4 |
|
2 1 |
|
É Ķ |
|
Å ĭ |
|
t s |
|
É ¬ |
|
Ġ Ǿ |
|
a i |
|
Ġ l |
|
Ġ k |
|
ÉĶ u |
|
h u |
|
É Ĵ |
|
Ê Ķ |
|
1 3 |
|
a u |
|
u a |
|
Ġ n |
|
Ġ ɬ |
|
ts h |
|
É ¤ |
|
i a |
|
i Åĭ |
|
É ¯ |
|
ɤ ɯ |
|
k h |
|
Ġ m |
|
Ġ t |
|
Ġ ts |
|
p u |
|
5 5 |
|
a Åĭ |
|
u i |
|
i e |
|
Ġ p |
|
i u |
|
o u |
|
É Ľ |
|
o i |
|
à ¸ |
|
ie u |
|
t h |
|
Ġl i |
|
hu a |
|
Ì ĥ |
|
k e |
|
k u |
|
Ġ h |
|
4 1 |
|
Ġl au |
|
4 42 |
|
p h |
|
ĠǾ i |
|
ĠǾ u |
|
e ÊĶ |
|
ÉĶ Åĭ |
|
e Åĭ |
|
i ÊĶ |
|
p e |
|
Ġk h |
|
ÉĶ ÊĶ |
|
4 4 |
|
5 44 |
|
ɬ ia |
|
Ġm a |
|
Ġ Åĭ |
|
Ġn iÅĭ |
|
hu ai |
|
k y |
|
p ai |
|
hu e |
|
hu ɤɯ |
|
hu oi |
|
h ÉĶu |
|
i au |
|
Ġ tsh |
|
ĠǾ au |
|
t y |
|
t ua |
|
à £ |
|
h y |
|
k ua |
|
t ÉĶu |
|
l i |
|
Ǿ e |
|
hu i |
|
Ġp h |
|
ĠǾ ua |
|
Ġn i |
|
Ġɬ e |
|
kh e |
|
t e |
|
ĠǾ ÉĴ |
|
Ġk u |
|
Ǿ ia |
|
Ġn au |
|
ã Ģ |
|
Ġ ãĢ |
|
ĠǾ a |
|
Ġk ai |
|
ĠãĢ Ĥ |
|
i n |
|
Ġl e |
|
Ġl ui |
|
Ġk ÉĶ |
|
Ġɬ y |
|
2 3 |
|
t i |
|
Ǿ ÉĶu |
|
Ġl ai |
|
Ġk ÉĴ |
|
ÉĽ u |
|
ĠǾ y |
|
kh ÉĶu |
|
h e |
|
k ÉĴ |
|
Ġk a |
|
Ġts y |
|
o Åĭ |
|
ɬ e |
|
ɬ i |
|
ɬ y |
|
ɬ ua |
|
ɬ ø |
|
ÉĴ ÊĶ |
|
Ġɬ i |
|
Ġts i |
|
pu e |
|
pu ɤɯ |
|
h ai |
|
k ai |
|
p ÉĶu |
|
ts ia |
|
Ġl ÉĽ |
|
Ġt e |
|
pu ai |
|
pu oi |
|
ph ÉĶu |
|
a ÊĶ |
|
p i |
|
u ai |
|
ts y |
|
h i |
|
k i |
|
p ÉĴ |
|
ï ¼ |
|
Ġ ï¼ |
|
Ǿ ua |
|
ts ui |
|
ĠǾ aÅĭ |
|
Ġk ua |
|
tsh y |
|
Ġt ai |
|
m a |
|
u e |
|
Î ² |
|
Ġ β |
|
Ǿ ÉĶ |
|
Ǿ ÉĴ |
|
ɬ o |
|
ɤ Åĭ |
|
kh ÉĴ |
|
Ġp o |
|
Ġli ÊĶ |
|
h ÉĴ |
|
k ÉĶ |
|
k ÉĶu |
|
k ieu |
|
ts o |
|
ĠǾ iu |
|
ĠǾ ÉĽ |
|
Ġl eÊĶ |
|
Ġɬ ia |
|
tsh i |
|
tsh ai |
|
kh y |
|
ie Åĭ |
|
k o |
|
l e |
|
l ÉĶu |
|
p iÅĭ |
|
Ä © |
|
Ǿ i |
|
Ǿ au |
|
Ǿ iu |
|
ɬ u |
|
ĠǾ ÉĶu |
|
kh i |
|
Ġh a |
|
Ġh ÉĴ |
|
h o |
|
l o |
|
l ui |
|
p a |
|
p o |
|
p ÉĶ |
|
Ǿ aÅĭ |
|
ts ÉĶu |
|
ĠǾ e |
|
tsh iu |
|
Ġm ai |
|
Ġts ia |
|
ÉĽ Åĭ |
|
h ÉĶ |
|
p ua |
|
t hua |
|
u ɤɯ |
|
u oi |
|
ts e |
|
ts i |
|
ĠǾ iÅĭ |
|
Ġk o |
|
Ġk au |
|
Ġm i |
|
th ÉĶu |
|
Ġï¼ Ł |
|
h ou |
|
n i |
|
t a |
|
Å © |
|
ɬ ieu |
|
ĠǾ ÉĶÅĭ |
|
Ġk y |
|
Ġk ÉĶu |
|
Ġn ui |
|
Ġɬ ÉĶu |
|
Ġɬ iÊĶ |
|
Ġm ua |
|
Ġt eÅĭ |
|
th i |
|
th ai |
|
l y |
|
t ou |
|
t ø |
|
Åĭ ÉĶu |
|
ts ieu |
|
ɬ ai |
|
Ġl aÅĭ |
|
Ġl iu |
|
tsh ia |
|
ɤ ÊĶ |
|
kh ÉĶ |
|
Ġp ai |
|
ku e |
|
ku ɤɯ |
|
ku oi |
|
Ġh ÉĶ |
|
Ġkh ai |
|
ĠǾÉĴ Åĭ |
|
h a |
|
k hui |
|
k aÊĶ |
|
m iÅĭ |
|
p hua |
|
t o |
|
t ai |
|
t ui |
|
t hui |
|
Ǿ ai |
|
Ǿ ou |
|
ts ai |
|
ts hui |
|
ɬ iau |
|
ĠǾ ia |
|
Ġl o |
|
Ġk i |
|
Ġk eÊĶ |
|
Ġn ai |
|
Ġɬ a |
|
tsh ø |
|
Ġm ÉĴ |
|
Ġt he |
|
th iu |
|
ku ai |
|
ph ai |
|
ph aÅĭ |
|
ĠǾu ai |
|
Ġkh i |
|
ĠÅĭ ua |
|
Ġtsh y |
|
Ġph i |
|
k iÅĭ |
|
t ÉĴ |
|
t iu |
|
ɬ aÅĭ |
|
ĠǾ ÉĶ |
|
ĠǾ ou |
|
Ġl y |
|
Ġn e |
|
Ġn u |
|
Ġɬ ieu |
|
tsh a |
|
Ġts e |
|
Ġts ui |
|
Ġp ɤɯ |
|
ĠǾu e |
|
ĠǾu oi |
|
ĠÅĭ iÅĭ |
|
Ġku ɤɯ |
|
ĠlÉĽ ÊĶ |
|
k ø |
|
k in |
|
l ÉĴ |
|
l iÊĶ |
|
m ÉĴ |
|
n ÉĶu |
|
p ou |
|
p huai |
|
p hue |
|
p huɤɯ |
|
p huoi |
|
t ÉĶ |
|
Å ĵ |
|
Ġ pu |
|
Ǿ y |
|
ɬ ÉĶu |
|
ĠǾ o |
|
Ġl ÉĴ |
|
Ġl ia |
|
Ġk hu |
|
Ġk aÅĭ |
|
Ġk ÉĶÅĭ |
|
Ġn ÉĴ |
|
Ġn aÅĭ |
|
Ġn ø |
|
Ġn ieu |
|
Ġɬ ÉĶ |
|
tsh ÉĶ |
|
tsh ÉĴ |
|
tsh ÉĴÊĶ |
|
kh ou |
|
Ġm iÅĭ |
|
Ġt i |
|
Ġt ÉĴ |
|
Ġt au |
|
Ġts ÉĶ |
|
Ġts eÊĶ |
|
Ġp ÉĶÊĶ |
|
ÉĽ n |
|
th y |
|
th iÅĭ |
|
ph ou |
|
ĠÅĭ ÉĶu |
|
hy ÉĴ |
|
h ia |
|
i Å© |
|
k ɤɯ |
|
k iau |
|
l ø |
|
p ɤɯ |
|
Ġ hu |
|
Ǿ o |
|
Ǿ u |
|
Ǿ iÅĭ |
|
ts ɤɯ |
|
ɬ iu |
|
ɬ ÉĶÊĶ |
|
ĠǾ eÊĶ |
|
Ġl eÅĭ |
|
Ġk ia |
|
Ġn y |
|
Ġɬ u |
|
Ġɬ ÉĴ |
|
tsh au |
|
tsh eÅĭ |
|
kh ieu |
|
Ġm ÉĶ |
|
Ġm ia |
|
Ġm uai |
|
Ġt y |
|
Ġts ieu |
|
ie ÊĶ |
|
ø Åĭ |
|
Ġh iÅ© |
|
ĠǾi ÊĶ |
|
ĠǾi au |
|
ĠǾu ã |
|
hy a |
|
hy ÉĶ |
|
Ġku ai |
|
ĠǾy Åĭ |
|
ki ÉĽu |
|
Ġï¼ Į |
|
ĠÇ¾ÉĽ ÊĶ |
|
Ġko ÊĶ |
|
a m |
|
a n |
|
a kieu |
|
k ou |
|
k hue |
|
k huɤɯ |
|
l ÉĶ |
|
l ua |
|
l ɤɯ |
|
l iu |
|
l ou |
|
m ÉĶ |
|
m ui |
|
m in |
|
n iÅĭ |
|
o n |
|
p au |
|
p ÉĽ |
|
p eÊĶ |
|
t iÅĭ |
|
t eÅĭ |
|
Ġ hua |
|
ts ÉĶ |
|
ts ÉĴ |
|
ts ou |
|
ts iau |
|
ɬ iÊĶ |
|
Ġl ua |
|
Ġk iÅĭ |
|
Ġk hua |
|
Ġn ÉĶ |
|
Ġn ua |
|
Ġn ÉĶÅĭ |
|
Ġɬ o |
|
Ġɬ ui |
|
Ġɬ ÉĶÊĶ |
|
tsh aÅĭ |
|
kh a |
|
Ġm e |
|
Ġm ue |
|
Ġt h |
|
Ġt ÉĶ |
|
Ġt ua |
|
Ġt ui |
|
Ġts ÉĴ |
|
Ġts iÅĭ |
|
Ġts iÊĶ |
|
Ġts ÉĴÊĶ |
|
Ġp iÊĶ |
|
ø n |
|
ø ÊĶ |
|
th au |
|
th aÅĭ |
|
|
