Create conversion_iso639.py

conversion_iso639.py

@@ -0,0 +1,810 @@
+# Language dict
+language_code_to_name = {
+    "afr": "Afrikaans",
+    "amh": "Amharic",
+    "arb": "Modern Standard Arabic",
+    "ary": "Moroccan Arabic",
+    "arz": "Egyptian Arabic",
+    "asm": "Assamese",
+    "ast": "Asturian",
+    "azj": "North Azerbaijani",
+    "bel": "Belarusian",
+    "ben": "Bengali",
+    "bos": "Bosnian",
+    "bul": "Bulgarian",
+    "cat": "Catalan",
+    "ceb": "Cebuano",
+    "ces": "Czech",
+    "ckb": "Central Kurdish",
+    "cmn": "Mandarin Chinese",
+    "cym": "Welsh",
+    "dan": "Danish",
+    "deu": "German",
+    "ell": "Greek",
+    "eng": "English",
+    "est": "Estonian",
+    "eus": "Basque",
+    "fin": "Finnish",
+    "fra": "French",
+    "gaz": "West Central Oromo",
+    "gle": "Irish",
+    "glg": "Galician",
+    "guj": "Gujarati",
+    "heb": "Hebrew",
+    "hin": "Hindi",
+    "hrv": "Croatian",
+    "hun": "Hungarian",
+    "hye": "Armenian",
+    "ibo": "Igbo",
+    "ind": "Indonesian",
+    "isl": "Icelandic",
+    "ita": "Italian",
+    "jav": "Javanese",
+    "jpn": "Japanese",
+    "kam": "Kamba",
+    "kan": "Kannada",
+    "kat": "Georgian",
+    "kaz": "Kazakh",
+    "kea": "Kabuverdianu",
+    "khk": "Halh Mongolian",
+    "khm": "Khmer",
+    "kir": "Kyrgyz",
+    "kor": "Korean",
+    "lao": "Lao",
+    "lit": "Lithuanian",
+    "ltz": "Luxembourgish",
+    "lug": "Ganda",
+    "luo": "Luo",
+    "lvs": "Standard Latvian",
+    "mai": "Maithili",
+    "mal": "Malayalam",
+    "mar": "Marathi",
+    "mkd": "Macedonian",
+    "mlt": "Maltese",
+    "mni": "Meitei",
+    "mya": "Burmese",
+    "nld": "Dutch",
+    "nno": "Norwegian Nynorsk",
+    "nob": "Norwegian Bokm\u00e5l",
+    "npi": "Nepali",
+    "nya": "Nyanja",
+    "oci": "Occitan",
+    "ory": "Odia",
+    "pan": "Punjabi",
+    "pbt": "Southern Pashto",
+    "pes": "Western Persian",
+    "pol": "Polish",
+    "por": "Portuguese",
+    "ron": "Romanian",
+    "rus": "Russian",
+    "slk": "Slovak",
+    "slv": "Slovenian",
+    "sna": "Shona",
+    "snd": "Sindhi",
+    "som": "Somali",
+    "spa": "Spanish",
+    "srp": "Serbian",
+    "swe": "Swedish",
+    "swh": "Swahili",
+    "tam": "Tamil",
+    "tel": "Telugu",
+    "tgk": "Tajik",
+    "tgl": "Tagalog",
+    "tha": "Thai",
+    "tur": "Turkish",
+    "ukr": "Ukrainian",
+    "urd": "Urdu",
+    "uzn": "Northern Uzbek",
+    "vie": "Vietnamese",
+    "xho": "Xhosa",
+    "yor": "Yoruba",
+    "yue": "Cantonese",
+    "zlm": "Colloquial Malay",
+    "zsm": "Standard Malay",
+    "zul": "Zulu",
+}
+LANGUAGE_NAME_TO_CODE = {v: k for k, v in language_code_to_name.items()}
+
+ISO_639_1_TO_3 = {
+    'aa': 'aar',
+    'ab': 'abk',
+    'ae': 'ave',
+    'af': 'afr',
+    'ak': 'aka',
+    'am': 'amh',
+    'an': 'arg',
+    'ar': 'ara',
+    'as': 'asm',
+    'av': 'ava',
+    'ay': 'aym',
+    'az': 'aze',
+    'ba': 'bak',
+    'be': 'bel',
+    'bg': 'bul',
+    'bi': 'bis',
+    'bm': 'bam',
+    'bn': 'ben',
+    'bo': 'bod',
+    'br': 'bre',
+    'bs': 'bos',
+    'ca': 'cat',
+    'ce': 'che',
+    'ch': 'cha',
+    'co': 'cos',
+    'cr': 'cre',
+    'cs': 'ces',
+    'cu': 'chu',
+    'cv': 'chv',
+    'cy': 'cym',
+    'da': 'dan',
+    'de': 'deu',
+    'dv': 'div',
+    'dz': 'dzo',
+    'ee': 'ewe',
+    'el': 'ell',
+    'en': 'eng',
+    'eo': 'epo',
+    'es': 'spa',
+    'et': 'est',
+    'eu': 'eus',
+    'fa': 'fas',
+    'ff': 'ful',
+    'fi': 'fin',
+    'fj': 'fij',
+    'fo': 'fao',
+    'fr': 'fra',
+    'fy': 'fry',
+    'ga': 'gle',
+    'gd': 'gla',
+    'gl': 'glg',
+    'gn': 'grn',
+    'gu': 'guj',
+    'gv': 'glv',
+    'ha': 'hau',
+    'he': 'heb',
+    'hi': 'hin',
+    'ho': 'hmo',
+    'hr': 'hrv',
+    'ht': 'hat',
+    'hu': 'hun',
+    'hy': 'hye',
+    'hz': 'her',
+    'ia': 'ina',
+    'id': 'ind',
+    'ie': 'ile',
+    'ig': 'ibo',
+    'ii': 'iii',
+    'ik': 'ipk',
+    'io': 'ido',
+    'is': 'isl',
+    'it': 'ita',
+    'iu': 'iku',
+    'ja': 'jpn',
+    'jv': 'jav',
+    'ka': 'kat',
+    'kg': 'kon',
+    'ki': 'kik',
+    'kj': 'kua',
+    'kk': 'kaz',
+    'kl': 'kal',
+    'km': 'khm',
+    'kn': 'kan',
+    'ko': 'kor',
+    'kr': 'kau',
+    'ks': 'kas',
+    'ku': 'kur',
+    'kv': 'kom',
+    'kw': 'cor',
+    'ky': 'kir',
+    'la': 'lat',
+    'lb': 'ltz',
+    'lg': 'lug',
+    'li': 'lim',
+    'ln': 'lin',
+    'lo': 'lao',
+    'lt': 'lit',
+    'lu': 'lub',
+    'lv': 'lav',
+    'mg': 'mlg',
+    'mh': 'mah',
+    'mi': 'mri',
+    'mk': 'mkd',
+    'ml': 'mal',
+    'mn': 'mon',
+    'mr': 'mar',
+    'ms': 'msa',
+    'mt': 'mlt',
+    'my': 'mya',
+    'na': 'nau',
+    'nb': 'nob',
+    'nd': 'nde',
+    'ne': 'nep',
+    'ng': 'ndo',
+    'nl': 'nld',
+    'nn': 'nno',
+    'no': 'nor',
+    'nr': 'nbl',
+    'nv': 'nav',
+    'ny': 'nya',
+    'oc': 'oci',
+    'oj': 'oji',
+    'om': 'orm',
+    'or': 'ori',
+    'os': 'oss',
+    'pa': 'pan',
+    'pi': 'pli',
+    'pl': 'pol',
+    'ps': 'pus',
+    'pt': 'por',
+    'qu': 'que',
+    'rm': 'roh',
+    'rn': 'run',
+    'ro': 'ron',
+    'ru': 'rus',
+    'rw': 'kin',
+    'sa': 'san',
+    'sc': 'srd',
+    'sd': 'snd',
+    'se': 'sme',
+    'sg': 'sag',
+    'sh': 'hbs',
+    'si': 'sin',
+    'sk': 'slk',
+    'sl': 'slv',
+    'sm': 'smo',
+    'sn': 'sna',
+    'so': 'som',
+    'sq': 'sqi',
+    'sr': 'srp',
+    'ss': 'ssw',
+    'st': 'sot',
+    'su': 'sun',
+    'sv': 'swe',
+    'sw': 'swa',
+    'ta': 'tam',
+    'te': 'tel',
+    'tg': 'tgk',
+    'th': 'tha',
+    'ti': 'tir',
+    'tk': 'tuk',
+    'tl': 'tgl',
+    'tn': 'tsn',
+    'to': 'ton',
+    'tr': 'tur',
+    'ts': 'tso',
+    'tt': 'tat',
+    'tw': 'twi',
+    'ty': 'tah',
+    'ug': 'uig',
+    'uk': 'ukr',
+    'ur': 'urd',
+    'uz': 'uzb',
+    've': 'ven',
+    'vi': 'vie',
+    'vo': 'vol',
+    'wa': 'wln',
+    'wo': 'wol',
+    'xh': 'xho',
+    'yi': 'yid',
+    'yo': 'yor',
+    'za': 'zha',
+    'zh': 'zho',
+    'zu': 'zul'}
+
+iso639_3_to_1 = {
+  "aae": "sq",
+  "aao": "ar",
+  "aar": "aa",
+  "aat": "sq",
+  "abh": "ar",
+  "abk": "ab",
+  "abv": "ar",
+  "acm": "ar",
+  "acq": "ar",
+  "acw": "ar",
+  "acx": "ar",
+  "acy": "ar",
+  "adf": "ar",
+  "aeb": "ar",
+  "aec": "ar",
+  "afb": "ar",
+  "afr": "af",
+  "ajp": "ar",
+  "aka": "ak",
+  "aln": "sq",
+  "als": "sq",
+  "amh": "am",
+  "apc": "ar",
+  "apd": "ar",
+  "ara": "ar",
+  "arb": "ar",
+  "arg": "an",
+  "arq": "ar",
+  "ars": "ar",
+  "ary": "ar",
+  "arz": "ar",
+  "asm": "as",
+  "auz": "ar",
+  "ava": "av",
+  "ave": "ae",
+  "avl": "ar",
+  "ayc": "ar",
+  "ayh": "ar",
+  "ayl": "ar",
+  "aym": "ay",
+  "ayn": "ar",
+  "ayp": "ar",
+  "ayr": "ay",
+  "azb": "az",
+  "aze": "az",
+  "azj": "az",
+  "bak": "ba",
+  "bam": "bm",
+  "bbz": "ar",
+  "bel": "be",
+  "ben": "bn",
+  "bhr": "mg",
+  "bis": "bi",
+  "bjn": "ms",
+  "bmm": "mg",
+  "bod": "bo",
+  "bos": "sh",
+  "bre": "br",
+  "btj": "ms",
+  "bul": "bg",
+  "bve": "ms",
+  "bvu": "ms",
+  "bzc": "mg",
+  "cat": "ca",
+  "cdo": "zh",
+  "ces": "cs",
+  "cha": "ch",
+  "che": "ce",
+  "chu": "cu",
+  "chv": "cv",
+  "cjy": "zh",
+  "ckb": "ku",
+  "cmn": "zh",
+  "coa": "ms",
+  "cor": "kw",
+  "cos": "co",
+  "cpx": "zh",
+  "cre": "cr",
+  "crj": "cr",
+  "crk": "cr",
+  "crl": "cr",
+  "crm": "cr",
+  "csw": "cr",
+  "cwd": "cr",
+  "cym": "cy",
+  "czh": "zh",
+  "czo": "zh",
+  "dan": "da",
+  "deu": "de",
+  "div": "dv",
+  "dty": "ne",
+  "dup": "ms",
+  "dzo": "dz",
+  "ekk": "et",
+  "ell": "el",
+  "eng": "en",
+  "epo": "eo",
+  "esi": "ik",
+  "esk": "ik",
+  "est": "et",
+  "eus": "eu",
+  "ewe": "ee",
+  "fao": "fo",
+  "fas": "fa",
+  "fat": "ak",
+  "ffm": "ff",
+  "fij": "fj",
+  "fin": "fi",
+  "fra": "fr",
+  "fry": "fy",
+  "fub": "ff",
+  "fuc": "ff",
+  "fue": "ff",
+  "fuf": "ff",
+  "fuh": "ff",
+  "fui": "ff",
+  "ful": "ff",
+  "fuq": "ff",
+  "fuv": "ff",
+  "gan": "zh",
+  "gax": "om",
+  "gaz": "om",
+  "gla": "gd",
+  "gle": "ga",
+  "glg": "gl",
+  "glv": "gv",
+  "gnw": "gn",
+  "grn": "gn",
+  "gug": "gn",
+  "gui": "gn",
+  "guj": "gu",
+  "gun": "gn",
+  "hae": "om",
+  "hak": "zh",
+  "hat": "ht",
+  "hau": "ha",
+  "hbs": "sh",
+  "heb": "he",
+  "her": "hz",
+  "hin": "hi",
+  "hji": "ms",
+  "hmo": "ho",
+  "hrv": "hr",
+  "hsn": "zh",
+  "hun": "hu",
+  "hye": "hy",
+  "ibo": "ig",
+  "ido": "io",
+  "iii": "ii",
+  "ike": "iu",
+  "ikt": "iu",
+  "iku": "iu",
+  "ile": "ie",
+  "ina": "ia",
+  "ind": "ms",
+  "ipk": "ik",
+  "isl": "is",
+  "ita": "it",
+  "jak": "ms",
+  "jav": "jv",
+  "jax": "ms",
+  "jpn": "ja",
+  "kal": "kl",
+  "kan": "kn",
+  "kas": "ks",
+  "kat": "ka",
+  "kau": "kr",
+  "kaz": "kk",
+  "kby": "kr",
+  "khk": "mn",
+  "khm": "km",
+  "kik": "ki",
+  "kin": "rw",
+  "kir": "ky",
+  "kmr": "ku",
+  "knc": "kr",
+  "kng": "kg",
+  "koi": "kv",
+  "kom": "kv",
+  "kon": "kg",
+  "kor": "ko",
+  "kpv": "kv",
+  "krt": "kr",
+  "kua": "kj",
+  "kur": "ku",
+  "kvb": "ms",
+  "kvr": "ms",
+  "kwy": "kg",
+  "kxd": "ms",
+  "lao": "lo",
+  "lat": "la",
+  "lav": "lv",
+  "lce": "ms",
+  "lcf": "ms",
+  "ldi": "kg",
+  "lim": "li",
+  "lin": "ln",
+  "lit": "lt",
+  "liw": "ms",
+  "ltg": "lv",
+  "ltz": "lb",
+  "lub": "lu",
+  "lug": "lg",
+  "lvs": "lv",
+  "lzh": "zh",
+  "mah": "mh",
+  "mal": "ml",
+  "mar": "mr",
+  "max": "ms",
+  "meo": "ms",
+  "mfa": "ms",
+  "mfb": "ms",
+  "min": "ms",
+  "mkd": "mk",
+  "mlg": "mg",
+  "mlt": "mt",
+  "mnp": "zh",
+  "mon": "mn",
+  "mqg": "ms",
+  "mri": "mi",
+  "msa": "ms",
+  "msh": "mg",
+  "msi": "ms",
+  "mui": "ms",
+  "mvf": "mn",
+  "mya": "my",
+  "nan": "zh",
+  "nau": "na",
+  "nav": "nv",
+  "nbl": "nr",
+  "nde": "nd",
+  "ndo": "ng",
+  "nep": "ne",
+  "nhd": "gn",
+  "nld": "nl",
+  "nno": "no",
+  "nob": "no",
+  "nor": "no",
+  "npi": "ne",
+  "nya": "ny",
+  "oci": "oc",
+  "ojb": "oj",
+  "ojc": "oj",
+  "ojg": "oj",
+  "oji": "oj",
+  "ojs": "oj",
+  "ojw": "oj",
+  "orc": "om",
+  "ori": "or",
+  "orm": "om",
+  "orn": "ms",
+  "ors": "ms",
+  "ory": "or",
+  "oss": "os",
+  "otw": "oj",
+  "pan": "pa",
+  "pbt": "ps",
+  "pbu": "ps",
+  "pel": "ms",
+  "pes": "fa",
+  "pga": "ar",
+  "pli": "pi",
+  "plt": "mg",
+  "pol": "pl",
+  "por": "pt",
+  "prs": "fa",
+  "pse": "ms",
+  "pst": "ps",
+  "pus": "ps",
+  "qub": "qu",
+  "qud": "qu",
+  "que": "qu",
+  "quf": "qu",
+  "qug": "qu",
+  "quh": "qu",
+  "quk": "qu",
+  "qul": "qu",
+  "qup": "qu",
+  "qur": "qu",
+  "qus": "qu",
+  "quw": "qu",
+  "qux": "qu",
+  "quy": "qu",
+  "quz": "qu",
+  "qva": "qu",
+  "qvc": "qu",
+  "qve": "qu",
+  "qvh": "qu",
+  "qvi": "qu",
+  "qvj": "qu",
+  "qvl": "qu",
+  "qvm": "qu",
+  "qvn": "qu",
+  "qvo": "qu",
+  "qvp": "qu",
+  "qvs": "qu",
+  "qvw": "qu",
+  "qvz": "qu",
+  "qwa": "qu",
+  "qwc": "qu",
+  "qwh": "qu",
+  "qws": "qu",
+  "qxa": "qu",
+  "qxc": "qu",
+  "qxh": "qu",
+  "qxl": "qu",
+  "qxn": "qu",
+  "qxo": "qu",
+  "qxp": "qu",
+  "qxr": "qu",
+  "qxt": "qu",
+  "qxu": "qu",
+  "qxw": "qu",
+  "roh": "rm",
+  "ron": "ro",
+  "run": "rn",
+  "rus": "ru",
+  "sag": "sg",
+  "san": "sa",
+  "sdc": "sc",
+  "sdh": "ku",
+  "sdn": "sc",
+  "shu": "ar",
+  "sin": "si",
+  "skg": "mg",
+  "slk": "sk",
+  "slv": "sl",
+  "sme": "se",
+  "smo": "sm",
+  "sna": "sn",
+  "snd": "sd",
+  "som": "so",
+  "sot": "st",
+  "spa": "es",
+  "spv": "or",
+  "sqi": "sq",
+  "src": "sc",
+  "srd": "sc",
+  "sro": "sc",
+  "srp": "sh",
+  "ssh": "ar",
+  "ssw": "ss",
+  "sun": "su",
+  "swa": "sw",
+  "swc": "sw",
+  "swe": "sv",
+  "swh": "sw",
+  "tah": "ty",
+  "tam": "ta",
+  "tat": "tt",
+  "tdx": "mg",
+  "tel": "te",
+  "tgk": "tg",
+  "tgl": "tl",
+  "tha": "th",
+  "tir": "ti",
+  "tkg": "mg",
+  "tmw": "ms",
+  "ton": "to",
+  "tsn": "tn",
+  "tso": "ts",
+  "tuk": "tk",
+  "tur": "tr",
+  "twi": "ak",
+  "txy": "mg",
+  "uig": "ug",
+  "ukr": "uk",
+  "urd": "ur",
+  "urk": "ms",
+  "uzb": "uz",
+  "uzn": "uz",
+  "uzs": "uz",
+  "ven": "ve",
+  "vie": "vi",
+  "vkk": "ms",
+  "vkt": "ms",
+  "vol": "vo",
+  "vro": "et",
+  "wln": "wa",
+  "wol": "wo",
+  "wuu": "zh",
+  "xho": "xh",
+  "xmm": "ms",
+  "xmv": "mg",
+  "xmw": "mg",
+  "ydd": "yi",
+  "yid": "yi",
+  "yih": "yi",
+  "yor": "yo",
+  "yue": "zh",
+  "zch": "za",
+  "zeh": "za",
+  "zgb": "za",
+  "zgm": "za",
+  "zgn": "za",
+  "zha": "za",
+  "zhd": "za",
+  "zhn": "za",
+  "zho": "zh",
+  "zlj": "za",
+  "zlm": "ms",
+  "zln": "za",
+  "zlq": "za",
+  "zmi": "ms",
+  "zqe": "za",
+  "zsm": "ms",
+  "zul": "zu",
+  "zyb": "za",
+  "zyg": "za",
+  "zyj": "za",
+  "zyn": "za",
+  "zzj": "za"
+}
+
+LANGID_TO_ISO = ISO_639_1_TO_3  # {v: k for k, v in iso639_3_to_1.items()}
+
+# Source langs: S2ST / S2TT / ASR don't need source lang
+# T2TT / T2ST use this
+text_source_language_codes = [
+    "afr",
+    "amh",
+    "arb",
+    "ary",
+    "arz",
+    "asm",
+    "azj",
+    "bel",
+    "ben",
+    "bos",
+    "bul",
+    "cat",
+    "ceb",
+    "ces",
+    "ckb",
+    "cmn",
+    "cym",
+    "dan",
+    "deu",
+    "ell",
+    "eng",
+    "est",
+    "eus",
+    "fin",
+    "fra",
+    "gaz",
+    "gle",
+    "glg",
+    "guj",
+    "heb",
+    "hin",
+    "hrv",
+    "hun",
+    "hye",
+    "ibo",
+    "ind",
+    "isl",
+    "ita",
+    "jav",
+    "jpn",
+    "kan",
+    "kat",
+    "kaz",
+    "khk",
+    "khm",
+    "kir",
+    "kor",
+    "lao",
+    "lit",
+    "lug",
+    "luo",
+    "lvs",
+    "mai",
+    "mal",
+    "mar",
+    "mkd",
+    "mlt",
+    "mni",
+    "mya",
+    "nld",
+    "nno",
+    "nob",
+    "npi",
+    "nya",
+    "ory",
+    "pan",
+    "pbt",
+    "pes",
+    "pol",
+    "por",
+    "ron",
+    "rus",
+    "slk",
+    "slv",
+    "sna",
+    "snd",
+    "som",
+    "spa",
+    "srp",
+    "swe",
+    "swh",
+    "tam",
+    "tel",
+    "tgk",
+    "tgl",
+    "tha",
+    "tur",
+    "ukr",
+    "urd",
+    "uzn",
+    "vie",
+    "yor",
+    "yue",
+    "zsm",
+    "zul",
+]
+TEXT_SOURCE_LANGUAGE_NAMES = sorted([language_code_to_name[code] for code in text_source_language_codes])