gpt2-persian-qa / dictionary.py
m3hrdadfi's picture
Update examples and fix normalizer
c4359e7
raw
history blame
2.31 kB
characters = {
"ك": "ک",
"دِ": "د",
"بِ": "ب",
"زِ": "ز",
"ذِ": "ذ",
"شِ": "ش",
"سِ": "س",
"ى": "ی",
"ي": "ی",
"ؤ": "و",
"ے": "ی",
"ۀ": "ه",
"ﭘ": "پ",
"ﮐ": "ک",
"ﯽ": "ی",
"ﺎ": "ا",
"ﺑ": "ب",
"ﺘ": "ت",
"ﺧ": "خ",
"ﺩ": "د",
"ﺱ": "س",
"ﻀ": "ض",
"ﻌ": "ع",
"ﻟ": "ل",
"ﻡ": "م",
"ﻢ": "م",
"ﻪ": "ه",
"ﻮ": "و",
# "ﺍ": "ا",
"ة": "ه",
"ﯾ": "ی",
"ﯿ": "ی",
"ﺒ": "ب",
"ﺖ": "ت",
"ﺪ": "د",
"ﺮ": "ر",
"ﺴ": "س",
"ﺷ": "ش",
"ﺸ": "ش",
"ﻋ": "ع",
"ﻤ": "م",
"ﻥ": "ن",
"ﻧ": "ن",
"ﻭ": "و",
"ﺭ": "ر",
"ﮔ": "گ",
"إ": "ا",
"ٕ": " ",
"ھ": "ه",
"...": ".",
"…": ".",
"-": " - ",
"هٔ": "ه",
"ﻯ": "ی",
"ﻛ": "ک",
"ﭼ": "چ",
"ﺓ": "ه",
"ﻴ": "ی",
"ﻊ": "ع",
"ﮬ": "ه",
"ﺟ": "ج",
"ﺳ": "س",
"ﻦ": "ن",
"ﺬ": "ذ",
"ﺋ": "ئ",
"ﷲ": "لله",
"ﺞ": "ج",
"ﺙ": "ث",
"ﻗ": "ق",
"ﮪ": "ه",
"ﺰ": "ز",
"ﯼ": "ی",
"ٺ": "ت",
"ﺻ": "ص",
"ﻂ": "ط",
"ﻣ": "م",
"ﻈ": "ظ",
"ﺐ": "ب",
"ﻍ": "غ",
"ݸ": "و",
"ﻨ": "ن",
"ﻝ": "ل",
"ﻩ": "ه",
"ﻲ": "ی",
"ﻐ": "غ",
"ﺲ": "س",
"ﺁ": "آ",
"ڔ": "ر",
"ﺫ": "ذ",
"ﭻ": "چ",
"ﺠ": "ج",
"ﯙ": "و",
"ﮏ": "ک",
"ﺣ": "ح",
"ﺝ": "ج",
"ﺼ": "ص",
"ﻳ": "ی",
"ﻘ": "ق",
"ﺨ": "خ",
"ﻔ": "ف",
"ﻎ": "غ",
"ئ": "ی",
"ﻓ": "ف",
"ﻕ": "ق",
"ﮋ": "ژ",
"ﺗ": "ت",
"ﻁ": "ط",
"ﺯ": "ز",
"ﮕ": "گ",
"ﺌ": "ئ",
"ﺵ": "ش",
"ۮ": "د",
"ﻫ": "ه",
"ﻬ": "ه",
"ﻏ": "غ",
"ﻰ": "ی",
# "﷼": "ریال",
"ﺿ": "ض",
"ﺛ": "ث",
"ݐ": "پ",
"ﺏ": "ب",
"ﭙ": "پ",
"ﭽ": "چ",
"ﺜ": "ث",
"ﻃ": "ط",
"ۂ": "ه",
"ﻑ": "ف",
"ﺕ": "ت",
"ﻞ": "ل",
}
special_tokens = {}
words_map = {
"Leave a comment": "",
"[…]": "",
"[.]": "",
}