vocab size 관련 문의
#3
by
jelly-modesta
- opened
안녕하세요, base model로 작성해주신 Edentns/DataVortexS-10.7B-dpo-v1.11은 한국어 확장을 한 48000 vocab size를 갖는데, 올려주신 모델은 vocab size가 32000이더라고요.
upstage에서 제공한 기본 단어사전과 임베딩 레이어, lm_head 레이어를 사용하시고, 학습에 사용한 모델의 파라미터는 Edentns/DataVortexS-10.7B-dpo-v1.11을 사용해주신 걸까요?
아니면 Edentns/DataVortexS-10.7B-dpo-v1.11에서 임베딩이나 lm_head 레이어는 vocab_size만큼 잘라서 사용하신 걸까요?
감사합니다!
Edentns/DataVortexS-10.7B-dpo-v1.8를 사용했습니다. readme를 수정했습니다.