upstage/open-ko-llm-leaderboard · transformers업데이트 관련 문의

Saxo

Nov 16

•

"tokenizer_class": "GemmaTokenizer" 일경우나 mistral nemo 계열 토크나이저의 경우
gemma2혹은 mistral nemo 베이스 파인튜닝 모델들을 Submit 시에 : tokenizer cannot be loaded. Is your tokenizer class in a stable transformers release, and correctly configured? 에러가 발생하네요
Gemma2 혹은 mistral nemo 의 경우 베이스모델이 초장기 버전 이후에 많은 것이 업데이트되었기 때문에 Transformers와 Tokenizers 최신 버전으로 업데이트 할 필요가 있습니다. 해당 버전에 따라 품질이 많이 달라집니다.
참고로 open llm leader 보드의 경우 이미
transformers==4.46.1
tokenizers>=0.19.0 로 운영되고 있습니다.

Saxo changed discussion title from "tokenizer_class": "GemmaTokenizer" 지원관련 문의 to tokenizers 업데이트 관련 문의 Nov 18

Saxo changed discussion title from tokenizers 업데이트 관련 문의 to transformers업데이트 관련 문의 Nov 20