Question about Training details

#2
by goonbamm - opened

안녕하세요, 한국인이신 것 같아 한국말로 작성하고자 합니다.
우선 한국어 모델 발전을 위해 힘써주셔서 감사드리고, 새해 복 많이 받으시길 바랍니다 :)

궁금한 것이 2가지 있습니다.

  1. 42dot 모델을 사용하셨는데, 베이스 모델이 "42dot_LLM-SFT-1.3B" 인지 혹은 "42dot/42dot_LLM-PLM-1.3B" 인지 궁금합니다.

  2. Instruction Tuning 에도 "rationale (근거)를 함께 생성하도록 하는 방법인 CoT Fine-Tuning" 이 있고, "그냥 지시문 형태로 정답만 생성하는 Instruction Tuning" 방식이 있는데, 이 모델의 경우 전자로 진행하셨을까요 혹은 후자로 진행하셨을까요?

바쁘신데 읽어주셔서 감사드립니다.

Owner
  1. SFT 였던걸로 기억합니다.

  2. 후자입니다.

Sign up or log in to comment