Update readme for more info
Browse files
README.md
CHANGED
@@ -63,11 +63,11 @@ import string
|
|
63 |
|
64 |
|
65 |
_normalizer = hazm.Normalizer()
|
66 |
-
chars_to_ignore = set([
|
67 |
",", "?", ".", "!", "-", ";", ":", '""', "%", "'", '"', "�",
|
68 |
"#", "!", "؟", "?", "«", "»", "ء", "،", "(", ")", "؛", "'ٔ", "٬",'ٔ', ",", "?",
|
69 |
".", "!", "-", ";", ":",'"',"“", "%", "‘", "”", "�", "–", "…", "_", "”", '“', '„'
|
70 |
-
])
|
71 |
|
72 |
# In case of farsi
|
73 |
chars_to_ignore = chars_to_ignore + list(string.ascii_lowercase + string.digits)
|
|
|
63 |
|
64 |
|
65 |
_normalizer = hazm.Normalizer()
|
66 |
+
chars_to_ignore = list(set([
|
67 |
",", "?", ".", "!", "-", ";", ":", '""', "%", "'", '"', "�",
|
68 |
"#", "!", "؟", "?", "«", "»", "ء", "،", "(", ")", "؛", "'ٔ", "٬",'ٔ', ",", "?",
|
69 |
".", "!", "-", ";", ":",'"',"“", "%", "‘", "”", "�", "–", "…", "_", "”", '“', '„'
|
70 |
+
]))
|
71 |
|
72 |
# In case of farsi
|
73 |
chars_to_ignore = chars_to_ignore + list(string.ascii_lowercase + string.digits)
|