Fernando Carneiro
commited on
Commit
•
24940da
1
Parent(s):
5c8dfaa
README
Browse files
README.md
CHANGED
@@ -51,12 +51,12 @@ inputs = [
|
|
51 |
|
52 |
tokenizer.demojizer = lambda x: demojize(x, language='pt')
|
53 |
|
54 |
-
[tokenizer.
|
55 |
|
56 |
-
# Tokenizer first
|
57 |
-
['Procuro
|
58 |
-
|
59 |
-
|
60 |
|
61 |
|
62 |
```
|
|
|
51 |
|
52 |
tokenizer.demojizer = lambda x: demojize(x, language='pt')
|
53 |
|
54 |
+
[tokenizer.normalizeTweet(s) for s in inputs]
|
55 |
|
56 |
+
# Tokenizer first normalizes tweet sentences
|
57 |
+
['Procuro um amor , que seja bom pra mim ... vou procurar , eu vou até o fim :nota_musical:',
|
58 |
+
'Que jogo ontem @USER :mãos_juntas:',
|
59 |
+
'Demojizer para Python é :polegar_para_cima: e está disponível em HTTPURL']
|
60 |
|
61 |
|
62 |
```
|