Spaces:
Runtime error
Runtime error
jqueguiner
commited on
Commit
β’
d0a055d
1
Parent(s):
00c162d
clean on cache script
Browse files- dl_all_data.py +0 -4
dl_all_data.py
CHANGED
@@ -2,10 +2,6 @@ from datasets import load_dataset
|
|
2 |
|
3 |
def cache_dataset(language,split=None):
|
4 |
dat=load_dataset("common_voice",language,split=split)
|
5 |
-
if split:
|
6 |
-
return pd.DataFrame(dat)
|
7 |
-
else:
|
8 |
-
return dat
|
9 |
|
10 |
language_codes=['ab', 'ar', 'as', 'br', 'ca', 'cnh', 'cs', 'cv', 'cy', 'de', 'dv', 'el', 'en', 'eo', 'es', 'et', 'eu', 'fa', 'fi', 'fr', 'fy-NL', 'ga-IE', 'hi', 'hsb', 'hu', 'ia', 'id', 'it', 'ja', 'ka', 'kab', 'ky', 'lg', 'lt', 'lv', 'mn', 'mt', 'nl', 'or', 'pa-IN', 'pl', 'pt', 'rm-sursilv', 'rm-vallader', 'ro', 'ru', 'rw', 'sah', 'sl', 'sv-SE', 'ta', 'th', 'tr', 'tt', 'uk', 'vi', 'vot', 'zh-CN', 'zh-HK', 'zh-TW']
|
11 |
|
|
|
2 |
|
3 |
def cache_dataset(language,split=None):
|
4 |
dat=load_dataset("common_voice",language,split=split)
|
|
|
|
|
|
|
|
|
5 |
|
6 |
language_codes=['ab', 'ar', 'as', 'br', 'ca', 'cnh', 'cs', 'cv', 'cy', 'de', 'dv', 'el', 'en', 'eo', 'es', 'et', 'eu', 'fa', 'fi', 'fr', 'fy-NL', 'ga-IE', 'hi', 'hsb', 'hu', 'ia', 'id', 'it', 'ja', 'ka', 'kab', 'ky', 'lg', 'lt', 'lv', 'mn', 'mt', 'nl', 'or', 'pa-IN', 'pl', 'pt', 'rm-sursilv', 'rm-vallader', 'ro', 'ru', 'rw', 'sah', 'sl', 'sv-SE', 'ta', 'th', 'tr', 'tt', 'uk', 'vi', 'vot', 'zh-CN', 'zh-HK', 'zh-TW']
|
7 |
|