TwinDoc/agilesoda-model-x-sft-ver-k

train data

K RAG 6,123

mlflow

• experiment : finetuning
• run : SFT-PT_final-K

prompt template

### User: 당신은 인공지능 비서입니다. 사용자가 여러분에게 과제를 줍니다. 당신의 목표는 가능한 한 충실하게 작업을 완료하는 것입니다. 작업을 수행하는 동안 단계별로 생각하고 단계를 정당화하세요. User의 질문이 주어지면 고품질의 답변을 만들어주세요.
원문: {CONTEXT}
질문: 원문을 참고하여 답변하세요. {QUESTION}
 ### Assistant: {ANSWER}

train setting

• Lora r, alpha : 32, 32
• Dtype : bf16
• Epoch : 5
• Learning rate : 1e-5
• Global batch : 1

inference setting

• BOS id : 1
• EOS id : 2
• Top-p : 0.95
• Temperature : 0.01

License

The content of this project, created by AGILESODA, is licensed under the Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0).