웹 크롤링 코퍼스의 품질 차이는 생성형 언어 모델의 성능에 영향을 미칠 수 있지만, 이 연구에서는 흥미로운 결과를 보여주었습니다. 연구 결과에 따르면, 웹 크롤링 코퍼스의 품질이 언어 모델 훈련에 큰 영향을 미치지 않는 것으로 나타났습니다. 실제로, 품질이 높다고 평가된 MaCoCu와 OSCAR 코퍼스보다 CC100 코퍼스가 더 나은 성능을 보였습니다. 이러한 결과는 코퍼스의 크기와 데이터의 양이 언어 모델의 성능에 미치는 영향을 고려할 때 흥미로운 결과입니다. 또한, 이 연구에서는 품질이 높다고 평가된 코퍼스가 실제로 언어 모델 훈련에 큰 영향을 미치지 않는 것으로 나타났습니다.