downloadandconvertdataset.py

from datasets import load_dataset, concatenate_datasets

# Charger le dataset depuis Hugging Face
dataset_dict = load_dataset("VincentGOURBIN/FuelInFranceData")

# Récupérer toutes les partitions du dataset
datasets = [dataset for dataset in dataset_dict.values()]

# Concaténer toutes les partitions en un seul dataset
full_dataset = concatenate_datasets(datasets)

# Sauvegarder le dataset concaténé au format Parquet
full_dataset.to_parquet("full_dataset.parquet")
print("Le dataset complet a été sauvegardé en 'full_dataset.parquet'")