leaderboards / utils.py
reach-vb's picture
reach-vb HF staff
Update utils.py (#2)
91bd8de
ascending_metrics = {
"wer",
"cer",
"loss",
"mae",
"mahalanobis",
"mse",
"perplexity",
"ter",
}
metric_ranges = {
"accuracy": (0,1),
"precision": (0,1),
"recall": (0,1),
"macro f1": (0,1),
"micro f1": (0,1),
"pearson": (-1, 1),
"matthews_correlation": (-1, 1),
"spearmanr": (-1, 1),
"google_bleu": (0, 1),
"precision@10": (0, 1),
"mae": (0, 1),
"mauve": (0, 1),
"frontier_integral": (0, 1),
"mean_iou": (0, 1),
"mean_accuracy": (0, 1),
"overall_accuracy": (0, 1),
"meteor": (0, 1),
"mse": (0, 1),
"perplexity": (0, float("inf")),
"rogue1": (0, 1),
"rogue2": (0, 1),
"sari": (0, 100),
}
CV11_LANGUAGES = {
'ab': 'Abkhaz',
'ace': 'Acehnese',
'ady': 'Adyghe',
'af': 'Afrikaans',
'am': 'Amharic',
'an': 'Aragonese',
'ar': 'Arabic',
'arn': 'Mapudungun',
'as': 'Assamese',
'ast': 'Asturian',
'az': 'Azerbaijani',
'ba': 'Bashkir',
'bas': 'Basaa',
'be': 'Belarusian',
'bg': 'Bulgarian',
'bn': 'Bengali',
'br': 'Breton',
'bs': 'Bosnian',
'bxr': 'Buryat',
'ca': 'Catalan',
'cak': 'Kaqchikel',
'ckb': 'Central Kurdish',
'cnh': 'Hakha Chin',
'co': 'Corsican',
'cs': 'Czech',
'cv': 'Chuvash',
'cy': 'Welsh',
'da': 'Danish',
'de': 'German',
'dsb': 'Sorbian, Lower',
'dv': 'Dhivehi',
'dyu': 'Dioula',
'el': 'Greek',
'en': 'English',
'eo': 'Esperanto',
'es': 'Spanish',
'et': 'Estonian',
'eu': 'Basque',
'fa': 'Persian',
'ff': 'Fulah',
'fi': 'Finnish',
'fo': 'Faroese',
'fr': 'French',
'fy-NL': 'Frisian',
'ga-IE': 'Irish',
'gl': 'Galician',
'gn': 'Guarani',
'gom': 'Goan Konkani',
'ha': 'Hausa',
'he': 'Hebrew',
'hi': 'Hindi',
'hil': 'Hiligaynon',
'hr': 'Croatian',
'hsb': 'Sorbian, Upper',
'ht': 'Haitian',
'hu': 'Hungarian',
'hy-AM': 'Armenian',
'hyw': 'Armenian Western',
'ia': 'Interlingua',
'id': 'Indonesian',
'ie': 'Interlingue',
'ig': 'Igbo',
'is': 'Icelandic',
'it': 'Italian',
'izh': 'Izhorian',
'ja': 'Japanese',
'jbo': 'Lojban',
'ka': 'Georgian',
'kaa': 'Karakalpak',
'kab': 'Kabyle',
'kbd': 'Kabardian',
'ki': 'Kikuyu',
'kk': 'Kazakh',
'km': 'Khmer',
'kmr': 'Kurmanji Kurdish',
'kn': 'Kannada',
'knn': 'Konkani (Devanagari)',
'ko': 'Korean',
'kpv': 'Komi-Zyrian',
'kw': 'Cornish',
'ky': 'Kyrgyz',
'lb': 'Luxembourgish',
'lg': 'Luganda',
'lij': 'Ligurian',
'ln': 'Lingala',
'lo': 'Lao',
'lt': 'Lithuanian',
'lv': 'Latvian',
'mai': 'Maithili',
'mdf': 'Moksha',
'mg': 'Malagasy',
'mhr': 'Meadow Mari',
'mk': 'Macedonian',
'ml': 'Malayalam',
'mn': 'Mongolian',
'mni': 'Meetei Lon',
'mos': 'Mossi',
'mr': 'Marathi',
'mrj': 'Hill Mari',
'ms': 'Malay',
'mt': 'Maltese',
'my': 'Burmese',
'myv': 'Erzya',
'nan-tw': 'Taiwanese (Minnan)',
'nb-NO': 'Norwegian Bokmål',
'nd': 'IsiNdebele (North)',
'ne-NP': 'Nepali',
'nia': 'Nias',
'nl': 'Dutch',
'nn-NO': 'Norwegian Nynorsk',
'nr': 'IsiNdebele (South)',
'nso': 'Northern Sotho',
'nyn': 'Runyankole',
'oc': 'Occitan',
'om': 'Afaan Ormoo',
'or': 'Odia',
'pa-IN': 'Punjabi',
'pap-AW': 'Papiamento (Aruba)',
'pl': 'Polish',
'ps': 'Pashto',
'pt': 'Portuguese',
'quc': "K'iche'",
'quy': 'Quechua Chanka',
'rm-sursilv': 'Romansh Sursilvan',
'rm-vallader': 'Romansh Vallader',
'ro': 'Romanian',
'ru': 'Russian',
'rw': 'Kinyarwanda',
'sah': 'Sakha',
'sat': 'Santali (Ol Chiki)',
'sc': 'Sardinian',
'scn': 'Sicilian',
'sdh': 'Southern Kurdish',
'shi': 'Shilha',
'si': 'Sinhala',
'sk': 'Slovak',
'skr': 'Saraiki',
'sl': 'Slovenian',
'snk': 'Soninke',
'so': 'Somali',
'sq': 'Albanian',
'sr': 'Serbian',
'ss': 'Siswati',
'st': 'Southern Sotho',
'sv-SE': 'Swedish',
'sw': 'Swahili',
'syr': 'Syriac',
'ta': 'Tamil',
'te': 'Telugu',
'tg': 'Tajik',
'th': 'Thai',
'ti': 'Tigrinya',
'tig': 'Tigre',
'tk': 'Turkmen',
'tl': 'Tagalog',
'tn': 'Setswana',
'tok': 'Toki Pona',
'tr': 'Turkish',
'ts': 'Xitsonga',
'tt': 'Tatar',
'tw': 'Twi',
'ty': 'Tahitian',
'uby': 'Ubykh',
'udm': 'Udmurt',
'ug': 'Uyghur',
'uk': 'Ukrainian',
'ur': 'Urdu',
'uz': 'Uzbek',
've': 'Tshivenda',
'vec': 'Venetian',
'vi': 'Vietnamese',
'vot': 'Votic',
'xh': 'Xhosa',
'yi': 'Yiddish',
'yo': 'Yoruba',
'yue': 'Cantonese',
'zgh': 'Tamazight',
'zh-CN': 'Chinese (China)',
'zh-HK': 'Chinese (Hong Kong)',
'zh-TW': 'Chinese (Taiwan)',
'zu': 'Zulu',
}
FLEURS_LANGUAGES = {
'af_za': 'Afrikaans',
'am_et': 'Amharic',
'ar_eg': 'Arabic',
'as_in': 'Assamese',
'ast_es': 'Asturian',
'az_az': 'Azerbaijani',
'be_by': 'Belarusian',
'bg_bg': 'Bulgarian',
'bn_in': 'Bengali',
'bs_ba': 'Bosnian',
'ca_es': 'Catalan',
'ceb_ph': 'Cebuano',
'ckb_iq': 'Sorani-Kurdish',
'cmn_hans_cn': 'Mandarin Chinese',
'cs_cz': 'Czech',
'cy_gb': 'Welsh',
'da_dk': 'Danish',
'de_de': 'German',
'el_gr': 'Greek',
'en_us': 'English',
'es_419': 'Spanish',
'et_ee': 'Estonian',
'fa_ir': 'Persian',
'ff_sn': 'Fula',
'fi_fi': 'Finnish',
'fil_ph': 'Filipino',
'fr_fr': 'French',
'ga_ie': 'Irish',
'gl_es': 'Galician',
'gu_in': 'Gujarati',
'ha_ng': 'Hausa',
'he_il': 'Hebrew',
'hi_in': 'Hindi',
'hr_hr': 'Croatian',
'hu_hu': 'Hungarian',
'hy_am': 'Armenian',
'id_id': 'Indonesian',
'ig_ng': 'Igbo',
'is_is': 'Icelandic',
'it_it': 'Italian',
'ja_jp': 'Japanese',
'jv_id': 'Javanese',
'ka_ge': 'Georgian',
'kam_ke': 'Kamba',
'kea_cv': 'Kabuverdianu',
'kk_kz': 'Kazakh',
'km_kh': 'Khmer',
'kn_in': 'Kannada',
'ko_kr': 'Korean',
'ky_kg': 'Kyrgyz',
'lb_lu': 'Luxembourgish',
'lg_ug': 'Ganda',
'ln_cd': 'Lingala',
'lo_la': 'Lao',
'lt_lt': 'Lithuanian',
'luo_ke': 'Luo',
'lv_lv': 'Latvian',
'mi_nz': 'Maori',
'mk_mk': 'Macedonian',
'ml_in': 'Malayalam',
'mn_mn': 'Mongolian',
'mr_in': 'Marathi',
'ms_my': 'Malay',
'mt_mt': 'Maltese',
'my_mm': 'Burmese',
'nb_no': 'Norwegian',
'ne_np': 'Nepali',
'nl_nl': 'Dutch',
'nso_za': 'Northern-Sotho',
'ny_mw': 'Nyanja',
'oc_fr': 'Occitan',
'om_et': 'Oromo',
'or_in': 'Oriya',
'pa_in': 'Punjabi',
'pl_pl': 'Polish',
'ps_af': 'Pashto',
'pt_br': 'Portuguese',
'ro_ro': 'Romanian',
'ru_ru': 'Russian',
'sd_in': 'Sindhi',
'sk_sk': 'Slovak',
'sl_si': 'Slovenian',
'sn_zw': 'Shona',
'so_so': 'Somali',
'sr_rs': 'Serbian',
'sv_se': 'Swedish',
'sw_ke': 'Swahili',
'ta_in': 'Tamil',
'te_in': 'Telugu',
'tg_tj': 'Tajik',
'th_th': 'Thai',
'tr_tr': 'Turkish',
'uk_ua': 'Ukrainian',
'umb_ao': 'Umbundu',
'ur_pk': 'Urdu',
'uz_uz': 'Uzbek',
'vi_vn': 'Vietnamese',
'wo_sn': 'Wolof',
'xh_za': 'Xhosa',
'yo_ng': 'Yoruba',
'yue_hant_hk': 'Cantonese Chinese',
'zu_za': 'Zulu',
}
MLS_LANGUAGES = {
'dutch': 'Dutch',
'german': 'German',
'italian': 'Italian',
'french': 'French',
'polish': 'Polish',
'portuguese': 'Portuguese',
'spanish': 'Spanish',
}