Template 관련 문의입니다
#1
by
ccw7463
- opened
안녕하세요, 먼저 좋은 모델 제공해주셔서 감사합니다.
다름이 아니라, base model로 mixtral-instruct를 사용하셨던데,
template을 mixtral-instruct에서 사용한 방식과 다르게 구성하여 학습하신 이유가 있을까요?
그리고.. 학습에 사용한 데이터의 용량은 어느정도쯤 될까요?
읽어주셔서 감사합니다.
사용성이 좋은 포맷을 사용하고자 저렇게 변형했습니다.
데이터는 일반적으로 10~20만 샘플 가량 사용하고 있습니다.
This comment has been hidden
답변감사합니다 :)
마지막으로 한가지 더 여쭙고 싶은게,
Full Fine-Tuning을 하신걸까요? 아니면 lora를 적용하셨나요?
풀이었던걸로 기억합니다. a100 6장 사용했습니다.
답변감사합니다 :) 좋은하루 되세요!
maywell
changed discussion status to
closed