m3hrdadfi commited on
Commit
37059ee
1 Parent(s): 7e5a702

Update readme for more info

Browse files
Files changed (1) hide show
  1. README.md +3 -3
README.md CHANGED
@@ -63,14 +63,14 @@ import string
63
 
64
 
65
  _normalizer = hazm.Normalizer()
66
- chars_to_ignore = [
67
  ",", "?", ".", "!", "-", ";", ":", '""', "%", "'", '"', "�",
68
  "#", "!", "؟", "?", "«", "»", "ء", "،", "(", ")", "؛", "'ٔ", "٬",'ٔ', ",", "?",
69
  ".", "!", "-", ";", ":",'"',"“", "%", "‘", "”", "�", "–", "…", "_", "”", '“', '„'
70
- ]
71
 
72
  # In case of farsi
73
- # chars_to_ignore = chars_to_ignore + list(string.ascii_lowercase + string.digits)
74
 
75
  chars_to_mapping = {
76
  'ك': 'ک', 'دِ': 'د', 'بِ': 'ب', 'زِ': 'ز', 'ذِ': 'ذ', 'شِ': 'ش', 'سِ': 'س', 'ى': 'ی',
 
63
 
64
 
65
  _normalizer = hazm.Normalizer()
66
+ chars_to_ignore = set([
67
  ",", "?", ".", "!", "-", ";", ":", '""', "%", "'", '"', "�",
68
  "#", "!", "؟", "?", "«", "»", "ء", "،", "(", ")", "؛", "'ٔ", "٬",'ٔ', ",", "?",
69
  ".", "!", "-", ";", ":",'"',"“", "%", "‘", "”", "�", "–", "…", "_", "”", '“', '„'
70
+ ])
71
 
72
  # In case of farsi
73
+ chars_to_ignore = chars_to_ignore + list(string.ascii_lowercase + string.digits)
74
 
75
  chars_to_mapping = {
76
  'ك': 'ک', 'دِ': 'د', 'بِ': 'ب', 'زِ': 'ز', 'ذِ': 'ذ', 'شِ': 'ش', 'سِ': 'س', 'ى': 'ی',