좋은 모델 공유 감사드립니다.혹시 학습시 사용한 파라미터 공유가 가능하실까요?
@The-matt r 64 alpha 16 lr 1e-4로 LoRA로 훈련시켰습니다.
@kfkas 답변 감사드립니다!!저도 lora로 시도중인데, loss가 뒤죽박죽이네요..혹시 optimizer나 batch / microbatch size를 어떤걸 사용하셨는지 여쭤봐도될까요?
@The-matt 저도 훈련 결과 나중에는 loss가 터지긴 합니다..bacth=4 / microbatch size 는 1을 사용하였고 옵티마이저는 기본 값을 사용하였습니다
@kfkas 감사합니다신기하네요저는 batch 사이즈를 2이상주면 loss가 터지더라구요.. 데이터셋의 차이인지..
확실히 LLM을 미세조정 하는것은 쉽지 않더군요제 모델은 4에포크 훈련이라 가능하다면 1,2 에포크를 제공해주고 싶지만 파일이 날라갔네요..
· Sign up or log in to comment
