English Wikipedia
どちらもBooksCorpus の8億語と、英語版ウィキペディアの2億5000万語でトレーニングされた。