🤗 Datasets,回顧!
這是對 🤗 Datasets 庫的一次完整遊覽——祝賀你走到這一步!憑藉從本章中獲得的知識,您應該能夠:
- 從任何地方加載數據集,無論是 Hugging Face Hub、您的筆記本電腦還是您公司的遠程服務器。
- 混合使用Dataset.map()和Dataset.filter()函數來整理數據。
- 使用
Dataset.set_format()
在 Pandas 和 NumPy 等數據格式之間快速切換. - 創建您自己的數據集並將其推送到 Hugging Face Hub。.
- 使用 Transformer 模型為您的文檔創建詞嵌入,並使用 FAISS 構建語義搜索引擎。.
在第七章,當我們深入研究 Transformer 模型非常適合的核心 NLP 任務時,我們將充分利用所有這些。