FpOliveira's picture
Upload tokenizer
a12b94f
raw
history blame contribute delete
No virus
210 kB
[PAD]
[unused1]
[unused2]
[unused3]
[unused4]
[unused5]
[unused6]
[unused7]
[unused8]
[unused9]
[unused10]
[unused11]
[unused12]
[unused13]
[unused14]
[unused15]
[unused16]
[unused17]
[unused18]
[unused19]
[unused20]
[unused21]
[unused22]
[unused23]
[unused24]
[unused25]
[unused26]
[unused27]
[unused28]
[unused29]
[unused30]
[unused31]
[unused32]
[unused33]
[unused34]
[unused35]
[unused36]
[unused37]
[unused38]
[unused39]
[unused40]
[unused41]
[unused42]
[unused43]
[unused44]
[unused45]
[unused46]
[unused47]
[unused48]
[unused49]
[unused50]
[unused51]
[unused52]
[unused53]
[unused54]
[unused55]
[unused56]
[unused57]
[unused58]
[unused59]
[unused60]
[unused61]
[unused62]
[unused63]
[unused64]
[unused65]
[unused66]
[unused67]
[unused68]
[unused69]
[unused70]
[unused71]
[unused72]
[unused73]
[unused74]
[unused75]
[unused76]
[unused77]
[unused78]
[unused79]
[unused80]
[unused81]
[unused82]
[unused83]
[unused84]
[unused85]
[unused86]
[unused87]
[unused88]
[unused89]
[unused90]
[unused91]
[unused92]
[unused93]
[unused94]
[unused95]
[unused96]
[unused97]
[unused98]
[unused99]
[UNK]
[CLS]
[SEP]
[MASK]
<S>
<T>
!
"
#
$
%
&
'
(
)
*
+
,
-
.
/
d
e
a
##ra
de
p
c
##os
##nt
##re
:
;
<
=
>
?
@
##as
s
##er
##or
##ad
##es
co
##is
o
##in
##ma
n
##ão
##ia
##qu
f
##ta
##me
##ic
##ro
##nd
##ar
t
##id
##al
qu
[
\
]
^
_
u
com
do
##ri
em
m
##nte
se
A
##el
que
da
##on
##ção
##to
re
##te
##ara
C
es
v
##an
##le
E
##ti
##en
{
|
}
~
¡
S
##ado
no
##ou
§
1
##"
##res
«
##ul
##em
##ol
P
M
##ndo
##il
·
##ci
l
»
para
um
ma
¿
##gu
##tu
fo
##am
na
uma
O
##ica
su
##nto
b
##se
g
in
##nc
por
B
##(
##do
##ei
2
##mente
##io
N
##us
D
##ada
##ha
é
i
##ns
##va
R
pro
os
as
##ade
foi
F
##po
##ent
##la
T
##ho
##pe
##ões
como
##de
des
j
19
L
##ras
G
pel
##iv
##iz
##mb
##mo
##it
##da
##ido
##ig
##ram
##ce
I
ou
##idade
##so
ex
##ist
##he
20
dos
J
##no
##ve
po
##co
##ca
ap
##tr
##ir
##ados
##un
##mento
me
##ém
al
##im
##ções
ta
con
ent
##ico
ao
##pa
##ria
##nde
##na
mais
##lo
sua
##ida
ca
H
so
par
ser
est
Em
cont
per
tra
##go
##ncia
##ação
##rio
##ita
for
Es
não
seu
##ando
h
##mp
##cia
##at
à
V
##",
##ça
##if
##ntes
U
an
at
mu
pr
##ira
##ur
das
##ter
ele
pri
ter
##era
pa
##ito
to
##sa
tem
##ment
##vo
##du
cons
##ru
##tos
##ec
##ista
Co
##cion
##ina
ar
##um
mo
##ver
##ura
##tic
prime
fa
##),
##iro
res
##ência
201
##adas
##mbém
##ente
##nda
segu
##tura
também
comp
No
##nter
##lu
pela
##ez
##ior
##vel
gra
ac
esta
##vi
entre
##ga
200
pelo
##ers
sob
##ição
dis
##tor
pos
##ed
##ís
en
##ix
di
##".
##tra
te
or
##og
esc
##ais
##dos
á
##ros
##ass
##ing
le
W
mas
fil
##oc
##ulo
são
mes
##que
##iu
##ib
##eiro
##pos
##ial
K
##esso
ob
##man
##ês
pre
##ári
##ag
##ós
##tas
##bl
ab
##tiv
##idos
ba
Al
##tal
##tica
##ens
##).
anos
Re
##be
##ion
##min
##mas
##tado
##ário
##ess
##aram
##pres
##bo
##ch
reg
era
Mar
##tru
sobre
##ere
##ador
##ios
ass
Na
cas
car
foram
##les
##inha
##inal
As
3
##for
##ades
##ne
##anto
tor
##ino
##vol
##orte
Pa
##ço
##gra
##cio
##ja
imp
##per
au
mar
nas
Se
##éc
seus
Os
##tros
##aliz
Un
##je
nos
##nta
De
##bal
18
pres
##iste
##der
##ham
forma
até
cor
##cial
##bro
##tro
##ons
##00
##tes
##eira
##indo
inter
##ip
##icos
##cional
##ias
inc
##anç
##ula
Por
##tiva
enc
##titu
rec
##-
fu
##pois
##pera
##urante
vez
ro
##tar
##mentos
##mer
##ba
onde
##ele
##lia
##icas
of
##ran
ho
##idades
##ér
##das
mil
##ite
##ase
##ivers
tempo
##ião
contra
lu
produ
ins
ad
##ral
##ber
##ús
conc
ha
##erra
prin
cam
##ários
Bras
##iss
algu
qual
##enas
Sa
##ont
##via
Ma
199
ano
du
##inda
quando
##ên
inte
Ca
sa
##til
ú
##anh
##ória
##ile
##dio
maior
oc
##hec
##entes
##ge
dire
##ín
##almente
dia
trabal
ra
##rá
##ôn
##idas
##0,
cidade
primeiro
mesmo
##tou
nome
##és
##por
##orre
faz
sendo
pol
come
՚
՛
՜
՝
՞
poss
trans
parte
##rada
##ranc
Ro
cl
suas
##istas
##este
4
##dia
##aria
primeira
dois
##hos
##rem
##ceu
princi
##est
##éri
rela
##ano
Su
##vam
dec
##bu
sub
Ch
##tivo
está
##ima
depois
##nos
##gar
##om
##ân
##gem
pode
։
֊
##over
São
##ular
aos
##tico
##ismo
##ola
##ona
ju
hist
־
##tados
##itos
׃
pass
Jo
##fer
durante
us
##ard
Ar
esp
##óp
5
ind
espe
##et
outros
##ração
cer
grande
ela
##ju
##eral
##son
ainda
torn
rece
##ela
##rou
##ás
׳
״
،
؍
##tó
؛
؟
##Qu
##isão
##ças
dif
Com
ag
##ogo
desen
che
pe
X
gru
##dem
Brasil
tr
Gu
final
##ór
##úbl
equ
encont
##tir
##fe
vol
Ap
Fo
##cias
muito
cri
Ele
##eito
##ine
após
##uro
ver
##mos
##ie
##ana
##enta
##idera
partic
##ck
##embro
##adores
pesso
apres
198
Car
país
Qu
gover
##uma
##val
٪
٫
٬
٭
pop
lanç
loc
conhec
jog
apenas
##elo
can
##are
##ord
##rado
##ício
##pre
##esa
atu
##cu
##íp
##ições
##ng
sem
##ível
##plo
۔
##inu
##tras
##ala
fam
##has
Ba
##rav
mús
##gre
is
então
cham
##ntos
inf
##za
cap
cria
##icial
ant
##vido
realiz
##atro
este
##gan
##pu
##pl
três
##con
gu
ál
inclu
Mu
af
##segu
ne
ve
##icação
orig
##êm
un
##ide
pu
##tá
##lti
cr
Par
##unic
##cesso
polí
##érie
6
197
##orta
nov
##ril
constru
##aneiro
Mo
Lu
##ton
si
##ticas
##rar
div
ed
##gua
##forma
princip
##rig
##ific
sido
##veis
##ização
Le
##ena
estu
##hor
conf
##2,
##bum
##cul
desenvol
##idente
##iam
duas
ir
poder
##8,
form
##7,
começ
##itar
##ves
##car
##5,
##6,
##ant
grupo
nova
##quanto
##cos
##cer
todos
##iga
##1,
##dor
##4,
mel
##dic
##cimento
##rea
##vimento
pelos
liv
##mar
Y
fre
Para
util
álbum
vo
##árias
ti
##th
##las
siste
fun
sol
196
##3,
Cam
últi
##mbro
def
##rito
7
tinha
##ribu
##bil
série
fic
prof
##agem
So
##inas
##ven
fal
É
difere
##ít
##ign
Ja
##inho
segundo
considera
15
filme
##ária
às
##9,
dist
vis
bem
##quer
Z
Rio
próp
##esta
bras
estava
Foi
##ital
desta
8
assim
##inte
partir
##ília
apresent
havia
teve
Con
##itas
##olog
dez
outras
##ndes
##ências
im
atrav
Paulo
cu
cul
séc
base
##ipa
##igo
17
lon
##osto
Ale
##eiros
publ
##ris
possu
estre
##são
##ável
##anha
am
##lan
home
brasile
##mes
númer
##iros
maio
empres
eles
man
pas
repres
desde
##ipe
utiliz
##tação
vida
cent
La
Pro
tro
pou
antes
##dade
##0.
cada
região
##ero
história
##óg
##orn
la
eram
##ive
##ble
##ual
alguns
##odo
##ério
divers
públ
Po
##ici
##gia
Ex
épo
##nça
##tivos
pessoas
##tores
munic
consegu
casa
##grama
##ticos
##pon
cond
banda
##des
##“
deix
através
Gra
9
sete
música
cheg
##tamente
##,
Bo
mul
##di
época
##ços
##cre
##int
jogo
##tion
##ança
Ne
Estados
##her
amb
comple
perí
enquanto
##oria
sim
fund
pes
##icia
##isa
podem
mundo
apro
##cas
##ntro
bo
16
##bel
fe
Lo
##ice
organ
Cons
##los
novo
governo
##tugu
##ulação
##lig
##fa
além
person
importa
aco
Cas
Ra
##vent
part
pra
proje
vezes
estado
apo
##ância
século
sistema
##ze
apare
##ordo
##igu
##tre
##gal
194
número
195
fez
Ant
10
exem
Unidos
##cado
##br
##fre
especial
##edade
val
ale
tornou
tít
início
col
Te
##rança
vários
##imo
##oso
##mã
ven
##elho
recebe
##nder
resul
##enh
##issão
Jos
##vid
trabalho
ch
##ient
tendo
Am
##ila
super
##ill
##-1
Bar
##lio
To
##ire
continu
subs
local
##ress
Após
esti
12
mud
##ípio
##tin
vers
lugar
caus
##esse
geral
##tório
##esar
mos
período
programa
quatro