Upload seamless_communication/cli/eval_utils/lang_mapping.py with huggingface_hub
Browse files
seamless_communication/cli/eval_utils/lang_mapping.py
ADDED
@@ -0,0 +1,176 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
# Copyright (c) Meta Platforms, Inc. and affiliates
|
2 |
+
# All rights reserved.
|
3 |
+
#
|
4 |
+
# This source code is licensed under the license found in the
|
5 |
+
# MIT_LICENSE file in the root directory of this source tree.
|
6 |
+
|
7 |
+
LANG2_LANG3 = {
|
8 |
+
"en": "eng",
|
9 |
+
"ar": "arb",
|
10 |
+
"as": "asm",
|
11 |
+
"be": "bel",
|
12 |
+
"bg": "bul",
|
13 |
+
"bn": "ben",
|
14 |
+
"ca": "cat",
|
15 |
+
"ckb": "ckb",
|
16 |
+
"cs": "ces",
|
17 |
+
"cy": "cym",
|
18 |
+
"da": "dan",
|
19 |
+
"de": "deu",
|
20 |
+
"el": "ell",
|
21 |
+
"es": "spa",
|
22 |
+
"et": "est",
|
23 |
+
"fa": "pes",
|
24 |
+
"fi": "fin",
|
25 |
+
"fr": "fra",
|
26 |
+
"ga": "gle",
|
27 |
+
"hi": "hin",
|
28 |
+
"hu": "hun",
|
29 |
+
"id": "ind",
|
30 |
+
"it": "ita",
|
31 |
+
"ja": "jpn",
|
32 |
+
"ka": "kat",
|
33 |
+
"ky": "kir",
|
34 |
+
"lg": "lug",
|
35 |
+
"lt": "lit",
|
36 |
+
"lv": "lvs",
|
37 |
+
"mn": "khk",
|
38 |
+
"mr": "mar",
|
39 |
+
"mt": "mlt",
|
40 |
+
"nl": "nld",
|
41 |
+
"pa": "pan",
|
42 |
+
"pl": "pol",
|
43 |
+
"pt": "por",
|
44 |
+
"ro": "ron",
|
45 |
+
"ru": "rus",
|
46 |
+
"sk": "slk",
|
47 |
+
"sl": "slv",
|
48 |
+
"sv": "swe",
|
49 |
+
"sw": "swh",
|
50 |
+
"ta": "tam",
|
51 |
+
"th": "tha",
|
52 |
+
"tr": "tur",
|
53 |
+
"uk": "ukr",
|
54 |
+
"ur": "urd",
|
55 |
+
"uz": "uzn",
|
56 |
+
"vi": "vie",
|
57 |
+
"yue": "yue",
|
58 |
+
"af": "afr",
|
59 |
+
"is": "isl",
|
60 |
+
"lb": "ltz",
|
61 |
+
"no": "nob",
|
62 |
+
"gl": "glg",
|
63 |
+
"kea": "kea",
|
64 |
+
"bs": "bos",
|
65 |
+
"hr": "hrv",
|
66 |
+
"mk": "mkd",
|
67 |
+
"sr": "srp",
|
68 |
+
"hy": "hye",
|
69 |
+
"az": "azj",
|
70 |
+
"kk": "kaz",
|
71 |
+
"ko": "kor",
|
72 |
+
"gu": "guj",
|
73 |
+
"kn": "kan",
|
74 |
+
"ne": "npi",
|
75 |
+
"or": "ory",
|
76 |
+
"sd": "snd",
|
77 |
+
"te": "tel",
|
78 |
+
"ceb": "ceb",
|
79 |
+
"jv": "jav",
|
80 |
+
"ms": "zlm",
|
81 |
+
"ml": "mal",
|
82 |
+
"tl": "tgl",
|
83 |
+
"tl": "fil",
|
84 |
+
"my": "mya",
|
85 |
+
"km": "khm",
|
86 |
+
"lo": "lao",
|
87 |
+
"he": "heb",
|
88 |
+
"ps": "pbt",
|
89 |
+
"tg": "tgk",
|
90 |
+
"am": "amh",
|
91 |
+
"ig": "ibo",
|
92 |
+
"ln": "lin",
|
93 |
+
"nso": "nso",
|
94 |
+
"so": "som",
|
95 |
+
"xh": "xho",
|
96 |
+
"yo": "yor",
|
97 |
+
"zu": "zul",
|
98 |
+
"kam": "kam",
|
99 |
+
"luo": "luo",
|
100 |
+
"ny": "nya",
|
101 |
+
"om": "gaz",
|
102 |
+
"sn": "sna",
|
103 |
+
"umb": "umb",
|
104 |
+
"ga-IE": "gle",
|
105 |
+
"pa": "pan",
|
106 |
+
"sv": "swe",
|
107 |
+
"ast": "ast",
|
108 |
+
"ff": "ful",
|
109 |
+
"mi": "mri",
|
110 |
+
"ha": "hau",
|
111 |
+
"wo": "wol",
|
112 |
+
"oc": "oci",
|
113 |
+
"ilo": "ilo",
|
114 |
+
"ba": "bak",
|
115 |
+
"br": "bre",
|
116 |
+
"fy": "fry",
|
117 |
+
"yi": "yid",
|
118 |
+
"tn": "tsn",
|
119 |
+
"gd": "gla",
|
120 |
+
"ht": "hat",
|
121 |
+
"mg": "mlg",
|
122 |
+
"ns": "nso",
|
123 |
+
"si": "sin",
|
124 |
+
"sq": "sqi",
|
125 |
+
"ss": "ssw",
|
126 |
+
"su": "sun",
|
127 |
+
"zh": "cmn",
|
128 |
+
"ab": "abk",
|
129 |
+
"bas": "bas",
|
130 |
+
"cnh": "cnh",
|
131 |
+
"cv": "chv",
|
132 |
+
"dv": "div",
|
133 |
+
"eo": "epo",
|
134 |
+
"eu": "eus",
|
135 |
+
"fy-NL": "fry",
|
136 |
+
"gn": "grn",
|
137 |
+
"hsb": "hsb",
|
138 |
+
"hy": "hye",
|
139 |
+
"ia": "ina",
|
140 |
+
"kab": "kab",
|
141 |
+
"kmr": "kmr",
|
142 |
+
"mdf": "mdf",
|
143 |
+
"mhr": "mhr",
|
144 |
+
"myv": "myv",
|
145 |
+
"nan-tw": "hbl",
|
146 |
+
"ne": "npi",
|
147 |
+
"nn-NO": "nno",
|
148 |
+
"rm-sursilv": "rm-sursilv",
|
149 |
+
"rm-vallader": "rm-vallader",
|
150 |
+
"rw": "kin",
|
151 |
+
"sah": "sah",
|
152 |
+
"sat": "sat",
|
153 |
+
"sc": "srd",
|
154 |
+
"tig": "tig",
|
155 |
+
"tok": "tok",
|
156 |
+
"tt": "tat",
|
157 |
+
"ug": "uig",
|
158 |
+
"vot": "vot",
|
159 |
+
"mrj": "mrj",
|
160 |
+
"skr": "skr",
|
161 |
+
"ti": "tir",
|
162 |
+
"tw": "twi",
|
163 |
+
"bo": "bod",
|
164 |
+
"fo": "fao",
|
165 |
+
"gv": "glv",
|
166 |
+
"haw": "haw",
|
167 |
+
"la": "lat",
|
168 |
+
"sa": "san",
|
169 |
+
"sco": "sco",
|
170 |
+
"war": "war",
|
171 |
+
"he": "heb",
|
172 |
+
"jw": "jav",
|
173 |
+
"nn": "nno",
|
174 |
+
"tk": "tuk",
|
175 |
+
}
|
176 |
+
LANG3_LANG2 = {v: k for k, v in LANG2_LANG3.items()}
|