Saya mau tau The Pile dari EleutherAI

The Pile adalah sebuah kumpulan data berukuran 886 GB yang dirancang untuk melatih model bahasa besar. Awalnya dikembangkan oleh EleutherAI untuk melatih model GPT-Neo namun kumpulan data juga digunakan untuk melatih model lainnya, seperti Microsoft Megatron-Turing Natural Language Generation, Meta AI Open

Pre-trained Transformers, LLaMA, dan Galactica, Stanford University BioMedLM 2.7B, Beijing Academy of Artificial Intelligence

Chinese-Transformer-XL, dan Yandex YaLM 100B. Ketimbang kumpulan data lainnya, fitur yang membedakan The Pile adalah seleksi data yang dilakukan oleh para peneliti di EleutherAI untuk memastikan bahwa informasi yang digunakan layak untuk pelatihan dan merupakan satu-satunya kumpulan data yang didokumentasikan secara lengkap oleh peneliti yang mengembangkannya.