안녕하세요 fine tuning관련 질문입니다.
#4
by
choins18
- opened
먼저 좋은 모델을 제공해주신 것 감사드립니다.
다름이 아니라 라마 팩토리로 fine tuning을 진행하던 중 모델을 불러오는 단계에서
tokenizer.model 파일이 없어 vocab_file을 불러오지 못하는 오류가 발생하고 있습니다.
원래 tokenizer.model 파일은 제공되지 않는 것인가요?
(special_tokens_map.json tokenizer_config.json tokenizer.json 파일만 존재하는 것으로 확인됩니다.)
안녕하세요, LlamaTokenizerFast 를 사용하시면 model 파일 없이 JSON 만으로도 tokenizer를 불러오실 수 있습니다. SentencePiece model 파일은 별도로 존재하지 않습니다. 감사합니다.
Hello, If you use LlamaTokenizerFast, you can load the tokenizer with only JSON without the model file. There is no SentencePiece model file separately. Thank you.