diet-nutrition-qa ยท ้ฅฎ้ฃ่ฅๅ ป้ฎ็ญ Harness
้ขๅๆฃ่ ๏ผ้ๅป็๏ผ็่ฅๅ ปไธ่ณ้ฃ้ฎ็ญ็ณป็ปใๆฃ่ ็จ่ช็ถ่ฏญ่จ๏ผไธญๆ๏ผๅฃ่ฏญๅ/็ข็ๅๅๅฏ๏ผๆ้ฎ๏ผ ็ณป็ป็ฑ 1-3B ๅฐๆจกๅ่ทฏ็ฑๅจ ๅ็ปๆๅๆๅพๆๅไธ็บขๆๅคๅฎ๏ผไป ๅค็ ็ง FAISS ็ดขๅผ ๆฃ็ดข่ฏๆฎ๏ผ ๆ็ป็ฑ ๅคงๆจกๅ๏ผๅฏไธ็ๆๅบๅฃ๏ผ ่พๅบ่ฟ่ดฏใ็ปไธ้ฃๆ ผ็ๅ็ญใ
่ฎพ่ฎกๆ ธๅฟ๏ผๅ ่ทฏ็ฑใๅๆฃ็ดขใๆๅ็ฑๅฏไธ็ๅคงๆจกๅ็ๆใๅฐๆจกๅไธ็ดๆฅๅ็จๆทๅฏ่ง็ๆๅญ๏ผ ๅฎๅช่พๅบไธไธช็ดงๅ็็ปๆๅ JSON ่ฎกๅใ
็จๆท่พๅ
ฅ โโโถ 1-3B ่ทฏ็ฑๅจ๏ผ็บฏๅ็ฑป๏ผ
ยท category = ่ฏฅๆฅๅชไธช็
็ง/้ขๅ๏ผ12 ไธช RAG ็ดขๅผ็ฎๅฝ๏ผ
ยท intent = ้ฅฎ้ฃๆๅพ๏ผ่ฝๅไปไน/ไธ่ฝๅไปไน/่ฅๅ
ป็ด /้ฃ่ฐฑ/็ๆดปๆนๅผโฆ๏ผ
ยท mode = grounded | alert
ยท red_flags[]๏ผๅฑ้ฉไฟกๅท๏ผ
โ
โผ
ๅคRAG๏ผๆฏ็
็งไธไธช FAISS ็ดขๅผ โ ๆฃ็ดข่ฏๆฎ๏ผไธญๆ query / ไธญๆๅญฆๆฏไธ็งๆฎ่ฅๅ
ป่ฏญๆ๏ผbge-m3 ่ทจ่ฏญ่จ๏ผ
โ
โผ
ๅคงๆจกๅ๏ผๅฏไธๅบๅฃ๏ผ๏ผgrounded path ๅผ็จ่ฏๆฎ / alert path ๅปบ่ฎฎๅฐฑๅป
ๆฅๆบๆจก็ณๅ๏ผ็ฅ่ฏๅบๅๆ่ชๅ ฌๅผ็่ฅๅ ปไธ่ณ้ฃๆๅฏผ็ฑป็งๆฎ่ฏป็ฉใๅบไบ็ๆไธ็ฝฒๅ่่๏ผๆฌไปๅบไธ็ๆ ๅ็ญๅๅๆจก็ณๅๅค็๏ผไธๅบ็ฐๅจๅ็ญไธญๆด้ฒๅ ทไฝไนฆๅ/ไฝ่ ๏ผไป ไปฅใ่ฅๅ ปไธ่ณ้ฃ่ตๆใ็ฑป้็จๆฅๆบๆ ๆณจใ
1. ็ปไปถไธๆถๆ
| ็ปไปถ | ่่ดฃ |
|---|---|
| 1-3B ่ทฏ็ฑๅจ๏ผQwen3-1.7B LoRA๏ผ | ็บฏๅ็ฑป๏ผๆๅพ(category/intent) + mode + ็บขๆ๏ผไธๅ็ๆ |
| ๅค RAG | ๆฏ็
็งไธไธช FAISS ็ดขๅผ๏ผ่ทจ่ฏญ่จๆฃ็ดข๏ผBAAI/bge-m3๏ผ |
| ๅคงๆจกๅ๏ผๅฏไธๅบๅฃ๏ผ | grounded ๅผ็จ่ฏๆฎ / alert ๅปบ่ฎฎๅฐฑๅป |
้จ็ฝฒๅ็ซฏ๏ผDEPLOY๏ผ
DEPLOY=gpu๏ผ้ป่ฎค๏ผ๏ผunslothLoRA ่ทฏ็ฑๅจ +sentence-transformers๏ผBAAI/bge-m3๏ผๅตๅ ฅ๏ผ่ตฐ torch/GPUใDEPLOY=cpu๏ผllama.cppGGUF ่ทฏ็ฑๅจ + GGUF ๅตๅ ฅ๏ผ็บฏ CPU ๆจ็๏ผๆ ้ torch/GPUใ
่ทฏ็ฑๅจๅ็ซฏ๏ผROUTER_BACKEND๏ผ
rules๏ผ็บฏ่งๅๅผๆ๏ผ้ถๆ้๏ผ็กฎๅฎ/ๅฏ่งฃ้๏ผๅผ็ฎฑๅณ็จใmodel๏ผ็บฏๅพฎ่ฐๅ็ 1-3B LoRA ่ทฏ็ฑๅจใhybrid๏ผ้ป่ฎค๏ผ๏ผmode/red_flags่ตฐ่งๅ๏ผๅฎๅ จใๆๅจ๏ผ๏ผcategory/intent่ตฐๅพฎ่ฐๅ็ๅฐๆจกๅ๏ผ่ทฏ็ฑๆดๅ๏ผ๏ผๅฐๆจกๅๅคฑ่ดฅๆถๅ้่งๅใ
่ทฏ็ฑๅจ่พๅบ schema
{
"mode": "grounded", // grounded | alert
"red_flags": [], // mode=alert ๆถ้ๆกๅๅบ
"sub_intents": [ // ๅนถๅๅญๆๅพ๏ผๆฏไธช = ไธไธช RAG ๅฏปๅๅๅ
{
"intent": "what-eat", // ๆๅพ taxonomy๏ผๅณๅฎ prompt ๆจก็๏ผ
"entity": "",
"category": "diabetes", // ้ๅฎ FAISS ็ดขๅผ๏ผไธ data/rag/<category> ๅผบไธ่ด๏ผ
"level": "basics",
"tmpl": "what-eat",
"risk": "low"
}
]
}
categoryๅฟ ้กป้ๅญ็ญไบ RAG ็ดขๅผ็ฎๅฝๅ๏ผdata/rag/<category>๏ผๅผบไธ่ด๏ผใๆฌ็ 12 ไธช๏ผesophagus-cancer, gastritis, peptic-ulcer, stomach-cancer, diarrhea, gi-bleeding, colorectal-cancer, constipation, ibs, ibd, diabetes, osteoporosisใ ๆๅพ 9 ไธช๏ผwhat-eat, what-avoid, diet-advice, nutrient, meal-plan, lifestyle, definition, when-seek-care, otherใ
ไธคไธช็ๆ่ทฏๅพ๏ผ้ฝๅจๅคงๆจกๅๅ ๏ผ
grounded๏ผRAG ๅฝไธญ โ ๅคงๆจกๅ่ตฐ่ฏๆฎๅผ็จ่ทฏๅพ๏ผใๆฎ่ฅๅ ปไธ่ณ้ฃ่ตๆใ้ๆกๅผ็จ๏ผใalert๏ผๅฝไธญ็บขๆ๏ผๅฆ ๅคงไพฟๅ้ป/ๅ่กใไฝ่ก็ณใๆไผค็้ชจๆ๏ผโ ๅคงๆจกๅ้ฆๅฅๅ็ฝฎใๅปบ่ฎฎๅฐฑๅปใ๏ผ้ฅฎ้ฃๅปบ่ฎฎ้ไธบ่พ ๅฉ๏ผไธๅผบๆฑ RAG ๆ่ฏๆฎใ
2. ็ฎๅฝ็ปๆ
TASK19/
โโโ harness/ # ๅฏ่ฟ่ก็็ณป็ป้ชจๆถ
โ โโโ config.py # ่ทฏๅพ + ๅ็ซฏ/API/่ถ
ๅ้
็ฝฎ๏ผๅซ DEPLOY/GGUF ่ทฏๅพ๏ผๅๅฏ็จ็ฏๅขๅ้่ฆ็๏ผ
โ โโโ router.py # ่ทฏ็ฑๅจ๏ผrules / model / hybrid / GGUF ๅ็ซฏ๏ผllama_cpp ๆฐๆงๅฏผๅ
ฅ๏ผ
โ โโโ rag.py # ๅคRAGๆฃ็ดขๅจ๏ผๆฏ็
็งไธไธช FAISS ็ดขๅผ๏ผbge-m3 / GGUF ๅตๅ
ฅ๏ผ
โ โโโ prompts.py # ๆๅพโpromptๆจก็ + grounded/alert ๅ่ทฏๅพ
โ โโโ llm.py # ๅคงๆจกๅๅฎขๆท็ซฏ๏ผOpenAI ๅ
ผๅฎน๏ผๆตๅผ๏ผ
โ โโโ pipeline.py # ็ผๆ๏ผ่พๅ
ฅโrouteโๆฃ็ดขโ็ป่ฃ
โ็ๆ
โ โโโ __main__.py # ไบคไบๅผ CLI๏ผREPL / ๅๅฅๆฅ่ฏข๏ผ
โโโ scripts/ # ๆๅปบ็ฎก็บฟ
โ โโโ parse_pdfs.py # ่งฃๆ PDF โ ็ปๆๅ QA๏ผ491 ๆก๏ผๅฏๅ ๆฐไนฆ๏ผ
โ โโโ red_flag_rules.py # ็บขๆ่งๅๅผๆ๏ผGI ๅบ่ก/็ณๅฐฟ็
ๆฅ็/้ชจ่ดจ็ๆพ้ชจๆ๏ผ+ ็
็ง/ๆๅพ่ฏๅ
ธ
โ โโโ gen_router_data.py # SFT ๆฐๆฎ็ๆ๏ผcurated + ๅๆๅ่ญฆ/ๆๅพ่ฆ็/ๅคๅๆ ทๆฌ๏ผ
โ โโโ build_multi_rag.py # ๆๅปบ 12 ็
็ง FAISS ็ดขๅผ
โ โโโ train_router.py # ่ฎญ็ป 1-3B LoRA ่ทฏ็ฑๅจ๏ผunsloth๏ผ
โ โโโ push_hf.sh # ๆจ้ helper๏ผHF ้ๅ๏ผ
โโโ router-q8_0.gguf # CPU ้จ็ฝฒ่ทฏ็ฑๅจ๏ผGGUF๏ผไปๅบๆ น็ฎๅฝ๏ผ
โโโ data/
โ โโโ qa_{gastro,diabetes,osteoporosis}.jsonl # ้ฎ็ญๅ๏ผๅๅง่งฃๆ๏ผ
โ โโโ rag/<category>/{index.faiss,docs.json,meta.json} # 12 ็
็ง็ดขๅผ
โ โโโ router/router_sft_{train,val}.jsonl # ่ทฏ็ฑๅจ SFT ๆฐๆฎ
โโโ README.md
ๅตๅ ฅ็จ **
BAAI/bge-m3**๏ผmultilingual๏ผๅ ฌๅผๆจกๅ๏ผใๅ ถ GGUF ้ๅ็๏ผbge-m3-q8_0.gguf๏ผไธบ ๅ ฌๅ ฑ่ตไบง๏ผๆช้ๆฌไปๅบไธไผ ๏ผๅฏๅฆ่กไป HF ไธ่ฝฝๆ่ช่ก้ๅ๏ผ่ง ยง5๏ผใCPU ้จ็ฝฒๆถๆEMBED_GGUF_PATHๆๅๆฌๅฐbge-m3-q8_0.ggufใ
3. ไป้ถ้ๅปบ๏ผๆฌๅฐ๏ผ
source /workspace/.venv/bin/activate # ๆๅจ้กน็ฎๅ
ๆฟๆดป venv
cd TASK19
# 1) ่งฃๆ PDF โ data/qa_*.jsonl ๏ผๅ ๆฐไนฆ๏ผ็ผ่พ parse_pdfs.py ็ BOOKS/็ซ ่ๆ ๅฐ๏ผ
python3 scripts/parse_pdfs.py
# 2) ็บขๆ่งๅ + SFT ๆฐๆฎ ๏ผๅ ๆฐ็
็ง๏ผred_flag_rules.py / gen_router_data.py๏ผ
python3 scripts/gen_router_data.py
# 3) RAG ็ดขๅผ ๏ผๅ ๆฐ็
็ง๏ผbuild_multi_rag.py๏ผ
python3 scripts/build_multi_rag.py
# 4) ่ฎญ็ปๅฐๆจกๅ่ทฏ็ฑ ๏ผunsloth๏ผtrain_router.py๏ผๅฏ่ฐ ROUTER_BASE/ROUTER_OUT๏ผ
python3 scripts/train_router.py
่ฎญ็ป๏ผQwen3-1.7B LoRA๏ผr=16, 4bit๏ผ๏ผtrain_loss 1.044 ยท eval_loss 0.418๏ผ507 train / 69 val๏ผ3 epochs๏ผใ
4. ่ฟ่ก
source /workspace/.venv/bin/activate
cd TASK19
# GPU๏ผ้ป่ฎค๏ผhybrid ่ทฏ็ฑ๏ผ
python3 -m harness "็ณๅฐฟ็
ไบบ่ฝๅไปไนๆฐดๆ" # ๅๆก
python3 -m harness # REPL
# CPU๏ผๅ
ๅคๅฅฝ GGUF๏ผ็ผบๅคฑๅ่ชๅจ้ๅๅฐ่งๅ๏ผ
DEPLOY=cpu ROUTER_GGUF_PATH=router-q8_0.gguf EMBED_GGUF_PATH=path/to/bge-m3-q8_0.gguf \
python3 -m harness "ๆๆ่ฟๅคงไพฟๅ้ป่ฟๅ่กไบ"
ๅคงๆจกๅ็ป OpenAI ๅ
ผๅฎน็ซฏ็นๆฅๅ
ฅ๏ผLLM_BASE_URL / LLM_API_KEY / LLM_MODEL๏ผ้ป่ฎค vLLM minimax๏ผใ
้ช่ฏ็คบไพ
| ่พๅ ฅ | mode | category | ่กไธบ |
|---|---|---|---|
| ็ณๅฐฟ็ ไบบ่ฝๅไปไนๆฐดๆ๏ผไผไธไผ่ก็ณๅ้ซ | grounded | diabetes | ๆฃ็ดข่ฏๆฎ + ๅผ็จไฝ็ญ |
| ๆๆ่ฟไธคๅคฉๅคงไพฟๅ้ป่ฟๅ่กไบ๏ผๆไนๅ | alert | gi-bleeding | ๅ ่ฆๆฑๅฐฑๅป + ็ฆ้ฃ๏ผๅ่กฅ้ฅฎ้ฃๆณจๆ |
| ้ชจ่ดจ็ๆพ็่ไบบๆฏๅคฉ่กฅๅคๅฐ้ๅ็ปด็็ด Dๅ้ | grounded | osteoporosis | ๆฃ็ดข่ฏๆฎ + ๅผ็จไฝ็ญ |
| ่ๆบ็ก็ ไบบไธ่ฝๅๅชไบ้ฃ็ฉ๏ผๆไปไนๅฟๅฃ | grounded | peptic-ulcer | ๆฃ็ดข่ฏๆฎ + ๅผ็จไฝ็ญ |
5. GGUF๏ผCPU ้จ็ฝฒ๏ผๅฏผๅบ
้ๅจ่ฃ ๆ llama.cpp ็ๆบๅจไธๆง่ก๏ผๆฌไปๅบๅทฒๅซ่ฝฌๆข/้ๅ่ๆฌๆ่ทฏ๏ผ่ง TASK18/ๅ่๏ผ๏ผ
# 1) LoRA ๅๅนถๅๅบๅบง โ FP16๏ผpeft merge_and_unload๏ผ
python3 scripts/merge_lora_gguf.py --lora checkpoints/.../final --base Qwen/Qwen3-1.7B --out /tmp/router-merged
# 2) safetensors โ GGUF๏ผllama.cpp ๅฎๆน่ฝฌๆขๅจ๏ผ
python3 /path/to/llama.cpp/convert_hf_to_gguf.py /tmp/router-merged --outfile router-f16.gguf --outtype f16
# 3) f16 โ Q8_0 ้ๅ๏ผ็บฆ 1.9GB๏ผnear-lossless๏ผ
/path/to/llama.cpp/build/bin/llama-quantize router-f16.gguf router-q8_0.gguf Q8_0
ๅตๅ
ฅ็ซฏไฝฟ็จๅ
ฌๅ
ฑ BAAI/bge-m3 ็ GGUF ็๏ผไธ้ๆฌไปๅบไธไผ ใ
6. ๆฉๅฑๆง๏ผๆฐๅข็ ็ง/้ขๅ๏ผๅฆ ้ซ่กๅ/้ซ่ก่๏ผ
ๆฐๅขไธไธช่ฅๅ ป้ขๅๆถ๏ผๆ ้ๆนๆถๆ๏ผ
- ๅ ไธไธช RAG ็ฎๅฝ๏ผๅจ
scripts/parse_pdfs.py็BOOKSๅ ไธ้กน๏ผ้ ๆฐไนฆ็็ซ ่โcategory ๆ ๅฐ๏ผ๏ผ้่ท parse + build_multi_ragใ - ๅ ่งๅๅ
ๅบ๏ผๅจ
scripts/red_flag_rules.py็_CATEGORY_KEYSๅ ๆฐ็ ็งๅ ณ้ฎ่ฏใ - ๅ SFT ๆ ทไพ๏ผๅจ
scripts/gen_router_data.pyไธบๆฐ็ ็งๅADVICE_TMPL/CAT_SYNๅฎไฝ๏ผ้่ท + trainใ - ๅ ๆ็คบๆจกๆฟ๏ผๅจ
harness/prompts.py็INTENT_PROMPTS/CATEGORY_NAMESๅ ๆฐ็ ็งๆๆกใ
ๆฐๅข็ ็ง = ๅ ไธๆก category + ไธไธช RAG ็ดขๅผ + ่ฅๅนฒ SFT ๆ ทไพ๏ผๅ็ฑปๅจๅฏนๆช่ง็ ็งไป็ฑ่งๅๅ ๅบ๏ผ ๅ ๆญคๆฉๅฑๅฎๅ จใๅ ไนไธ็ ดๅๆขๆ่ฝๅใ
ๅทฒ็ฅ้ๅถ
- ้ฃๆ/ๅ้ๅฑ็งๆฎ่้ๅปๅฑ๏ผ็ณป็ปๆ็กฎใ้่ฏๆญใไธๆๅฏผ็จ่ฏใ๏ผ้ๅฑ้ฉไฟกๅทไผๅปบ่ฎฎๅฐฑๅปใ
- CPU GGUF ้ๅจ่ฃ ๆ llama.cpp ็ๆบๅจไธๅฏผๅบ๏ผ่ง ยง5๏ผใ
- ๅคงๆจกๅ่พๅบ่ดจ้ไพ่ตๆ้ LLM๏ผๆถๆๆฌ่บซๆจกๅๆ ๅ ณใ
ๅ ่ดฃๅฃฐๆ
ไป ไพๅฅๅบท็งๆฎ๏ผไธๆๆๅป็ๅปบ่ฎฎ๏ผๅบ็ฐๅฑ้ฉไฟกๅท่ฏทๅๆถๅฐฑๅปใ
- Downloads last month
- 130
8-bit