['mc4', 'wikipedia']
['pytorch', 'gpt2', 'text-generation', 'ar', 'he', 'vi', 'id', 'jv', 'ms', 'tl', 'lv', 'lt', 'eu', 'ml', 'ta', 'te', 'hy', 'bn', 'mr', 'hi', 'ur', 'af', 'da', 'en', 'de', 'sv', 'fr', 'it', 'pt', 'ro', 'es', 'el', 'os', 'tg', 'fa', 'ja', 'ka', 'ko', 'th', 'bxr', 'xal', 'mn', 'sw', 'yo', 'be', 'bg', 'ru', 'uk', 'pl', 'my', 'uz', 'ba', 'kk', 'ky', 'tt', 'az', 'cv', 'tr', 'tk', 'tyv', 'sax', 'et', 'fi', 'hu', 'dataset:mc4', 'dataset:wikipedia', 'arxiv:2112.10668', 'arxiv:2204.07580', 'transformers', 'multilingual', 'PyTorch', 'Transformers', 'gpt3', 'Deepspeed', 'Megatron', 'license:apache-2.0']