m3hrdadfi commited on
Commit
bc5ac14
1 Parent(s): 37059ee

Update readme for more info

Browse files
Files changed (1) hide show
  1. README.md +2 -2
README.md CHANGED
@@ -63,11 +63,11 @@ import string
63
 
64
 
65
  _normalizer = hazm.Normalizer()
66
- chars_to_ignore = set([
67
  ",", "?", ".", "!", "-", ";", ":", '""', "%", "'", '"', "�",
68
  "#", "!", "؟", "?", "«", "»", "ء", "،", "(", ")", "؛", "'ٔ", "٬",'ٔ', ",", "?",
69
  ".", "!", "-", ";", ":",'"',"“", "%", "‘", "”", "�", "–", "…", "_", "”", '“', '„'
70
- ])
71
 
72
  # In case of farsi
73
  chars_to_ignore = chars_to_ignore + list(string.ascii_lowercase + string.digits)
 
63
 
64
 
65
  _normalizer = hazm.Normalizer()
66
+ chars_to_ignore = list(set([
67
  ",", "?", ".", "!", "-", ";", ":", '""', "%", "'", '"', "�",
68
  "#", "!", "؟", "?", "«", "»", "ء", "،", "(", ")", "؛", "'ٔ", "٬",'ٔ', ",", "?",
69
  ".", "!", "-", ";", ":",'"',"“", "%", "‘", "”", "�", "–", "…", "_", "”", '“', '„'
70
+ ]))
71
 
72
  # In case of farsi
73
  chars_to_ignore = chars_to_ignore + list(string.ascii_lowercase + string.digits)