Finetuning 하실때, 프로프트 양식 어떻게 하셨나요?
#1
by
Bruece
- opened
제가 LLM QA 모델 파인튜닝에 관심이 있어서 이것저것 찾아보다가 ,,, 왔습니다.!!!
보니까 finetuning 할 때, solar에 대한 input prompt 정보가 너무 없더라구요,,, 혹시 어떤걸 사용하셨나요???
예를 들어서 dataset 에서 data.map ( lambda x : 'text': f"Q:{x['instruction']}\n\nA:{x['output']}{tokenizer.eos_token}")가 있겠네요!
파인튜닝 할 때도, 뭔가 prompt가 중요할거 같아서요,,,ㅎ ㅠㅠ
안녕하세요. 저는 해당 포맷을 사용했습니다.
### System:\n{input}\n\n### User:\n{instruction}\n### Assistant:\n