🤗 <i> Datasets </i> , coché !

Eh bien, ce fut une sacrée visite de la bibliothèque 🤗 Datasets. Félicitations d’être arrivé jusqu’ici ! Avec les connaissances que vous avez acquises dans ce chapitre, vous devriez être en mesure de :

• charger des jeux de données depuis n’importe où, que ce soit le Hub d’Hugging Face, votre ordinateur portable ou un serveur distant de votre entreprise,
• manipuler vos données en utilisant un mélange des fonctions Dataset.map() et Dataset.filter(),
• passer rapidement d’un format de données à un autre, comme Pandas et NumPy, en utilisant Dataset.set_format(),
• créer votre propre jeu de données et l’envoyer vers le Hub,
• enchâsser vos documents en utilisant un transformer et construire un moteur de recherche sémantique en utilisant FAISS.

Dans le chapitre 7, nous mettrons tout cela à profit en plongeant dans les tâches de traitement du langage naturel de base pour lesquelles les transformers sont parfaits. Avant cela mettez vos connaissances sur la librairie 🤗 Datasets à l’épreuve avec un petit quiz !