thai-logic-gpt-tiny (4M)

GPT ตัวจิ๋วเทรนจากศูนย์ (random init, ไม่ใช่ fine-tune) บนข้อมูลตรรกะภาษาไทยสังเคราะห์ out/sft_logic.jsonl + out/sft_patthana.jsonl + out/buddhavacana.jsonl + data.txt (1,191 ตัวอย่าง) ฟอร์แมต คำถาม: ...\nคำตอบ: ...

สเปก

• tokenizer: BPE byte-level ของตัวเอง (vocab 2,888)
• model: GPT-2 (n_layer=4, n_head=4, n_embd=256, ctx=256) ~4.0M params, tie embeddings
• train: 20 epochs, CPU, seed 7, best by val loss

ผล (ซื่อสัตย์)

test split กันที่ระดับ source_rule (กฎที่เทสไม่เคยโผล่ตอนเทรน) — โมเดลจำชื่อกฎที่ไม่เคยเห็นไม่ได้:

metric	ค่า
test perplexity	6.79
gen strict match (320 ข้อ)	0/320 (0%)
gen polarity ได้/ไม่ได้ (320 ข้อ)	108/320 (34%, baseline ตอบ neg หมดได้ 84%)

อ่านผล: โมเดลจำ "ทรงคำตอบ" ได้ (ตอบเป็นประโยคตรรกะถูกฟอร์แมต) แต่แยกกฎที่ไม่เคยเห็นไม่ออก — เป็นของเล่นจำเก่ง ไม่ใช่โมเดลใช้เหตุผลจริง v2 ต้องเพิ่มความหลากหลายข้อมูล + โมเดลใหญ่ขึ้น

ใช้

from transformers import AutoTokenizer, AutoModelForCausalLM
tok = AutoTokenizer.from_pretrained("REPO_ID")
m = AutoModelForCausalLM.from_pretrained("REPO_ID")
ids = tok("คำถาม: ถ้าฝนตกแล้วถนนเปียก ฝนตก สรุปได้ไหมว่าถนนเปียก?\nคำตอบ:", return_tensors="pt")["input_ids"]
print(tok.decode(m.generate(ids, max_new_tokens=64, do_sample=False)[0], skip_special_tokens=True))