안녕하세요!

#2
by sosoai - opened

우선 llama base로 한국어로 gguf 포맷으로 만들어 주심에 진심으로 감사 인사 드립니다..!
한글 베이스로 된 gguf 부분이 없어 매우 고심하고 있던 찰나에 이렇게 만들어 주시다니 너무 감사합니다..!
우선 저희 회사 그리고 대표인 저는 AI 비전문가로서 따로 llama를 가지고 gguf 등으로 만들수가 없어 StarFox7님께서 공유주신 bin 파일로
fine-tune을 해서 사용을 하고자 합니다..!
허깅페이스에 beomi님의 Koalpaca 처럼 fine-tune을 몇 개의 gpu 환경에 맞게 학습 코드등을 공유해 주실 수 있으실지 궁금합니다..!
데이터셋은 저희가 직접 만들면 되나, 해당 모델을 fine-tune 하기 위해 학습 시, 많은 파라미터들을 수정해야 하고 비전문가인 저희 입장에서는 쉽지가 않습니다... 그래서 어렵지만.. 이렇게 부탁을 드리게 되었습니다..!

inference해보니 아주 만족스럽습니다..! 수고하셨습니다 그리고 다시한번 감사 드립니다..!

안녕하세요, llama cpp 프로젝트는 "Inference of LLaMA model in pure C/C++" 를 목표로 하고 있습니다. 즉, 변환된 포맷의 Train 은 지원하지 않습니다.
현재로써는 python 환경에서 학습 후, gguf 포맷으로 변환하는 절차를 따라야 합니다.

Sign up or log in to comment