🤗 Datasets, check!
Beh, abbiamo fatto un bel giro nella libreria 🤗 Datasets: complimenti per aver raggiunto quest’obiettivo! Con le conoscenze che hai ottenuto da questo capitolo, sei in grado di:
- Caricare dataset da ogni luogo, sia esso l’Hub di Hugging Face, il tuo portatile, o un server in remoto della tua compagnia.
- Fare data-wrangling usando un mix delle funzioni
Dataset.map()
eDataset.filter()
. - Passare velocemente tra diversi formati di dati domce Pandas e NumPy usando
Dataset.set_format()
. - Creare il tuo dataset e condividerlo sull’Hub Hugging Face.
- Creare embedding dei tuoi documenti usando un modello Transformer, e costruire un motore di ricerca semantico usando FAISS.
Nel Capitolo 7, faremo buon uso di tutto questo mentre ci avventureremo nei task principali NLP, per i quali i modelli Transformer sono un’ottima soluzione. Prima di andare oltre, però, metti alla prova la tua conoscenza di 🤗 Datasets con un quiz!