Update readme for more info
Browse files
README.md
CHANGED
@@ -63,14 +63,14 @@ import string
|
|
63 |
|
64 |
|
65 |
_normalizer = hazm.Normalizer()
|
66 |
-
chars_to_ignore = [
|
67 |
",", "?", ".", "!", "-", ";", ":", '""', "%", "'", '"', "�",
|
68 |
"#", "!", "؟", "?", "«", "»", "ء", "،", "(", ")", "؛", "'ٔ", "٬",'ٔ', ",", "?",
|
69 |
".", "!", "-", ";", ":",'"',"“", "%", "‘", "”", "�", "–", "…", "_", "”", '“', '„'
|
70 |
-
]
|
71 |
|
72 |
# In case of farsi
|
73 |
-
|
74 |
|
75 |
chars_to_mapping = {
|
76 |
'ك': 'ک', 'دِ': 'د', 'بِ': 'ب', 'زِ': 'ز', 'ذِ': 'ذ', 'شِ': 'ش', 'سِ': 'س', 'ى': 'ی',
|
|
|
63 |
|
64 |
|
65 |
_normalizer = hazm.Normalizer()
|
66 |
+
chars_to_ignore = set([
|
67 |
",", "?", ".", "!", "-", ";", ":", '""', "%", "'", '"', "�",
|
68 |
"#", "!", "؟", "?", "«", "»", "ء", "،", "(", ")", "؛", "'ٔ", "٬",'ٔ', ",", "?",
|
69 |
".", "!", "-", ";", ":",'"',"“", "%", "‘", "”", "�", "–", "…", "_", "”", '“', '„'
|
70 |
+
])
|
71 |
|
72 |
# In case of farsi
|
73 |
+
chars_to_ignore = chars_to_ignore + list(string.ascii_lowercase + string.digits)
|
74 |
|
75 |
chars_to_mapping = {
|
76 |
'ك': 'ک', 'دِ': 'د', 'بِ': 'ب', 'زِ': 'ز', 'ذِ': 'ذ', 'شِ': 'ش', 'سِ': 'س', 'ى': 'ی',
|