hotchpotch/youri-7b-sft-qa-context-jaqket-gptq

お知らせ

より回答が適切になるように学習させたモデル、https://huggingface.co/hotchpotch/youri-7b-stf-qa-context-jaqket-jsquad-gptq もあります。

---

youri-7b-instruction を元に SFT で Q&A + コンテキスト形式を学習し、AutoGTPQで量子化したモデルです。詳しくは以下を参照ください。

• Q&A + RAG に特化したLLMをSFTで学習させ4bit量子化モデルを作り、GPT3.5以上の性能を7Bモデルで達成する
• 学習コードや評価コード、サンプルコードなど
• hotchpotch/youri-7b-sft-qa-context-jaqket-gptq
  • AutoGPTQ で量子化したモデル
• hotchpotch/youri-7b-sft-qa-context-jaqket-awq
  • AutoAWQ で量子化したモデル