KT-AI

/

midm-bitext-S-7B-inst-v1

like 53

잠재적인 버그를 수정하기 위해 기 업로드한 모델 파일 및 관련 소스를 업데이트 하였습니다.
PLM 학습 시 bias 를 적용하지 않고 pretrain을 진행하였으나 기 업로드 된 모델은 zero initialization 된 bias가 포함되어 있었습니다.
generation 결과에는 영향이 없지만 해당 모델을 이용해 tuning 시 잠재적인 성능 저하가 있을 수 있어 해당 내용을 수정하였습니다.

I have updated the previously uploaded model file and related source code to fix a potential bug. While conducting pretraining for the PLM, bias was not applied, but the uploaded model had bias with zero initialization included. This does not affect the generation results, but using this model for fine-tuning could potentially lead to performance degradation. Therefore, I have made the necessary adjustments to address this issue.