i-route-ai/iroute-math-llm-v2-16bit

Math AI (i-Route)

수학 교과 문제에 대한 정확한 풀이와 해설을 생성하는 LoRA 어댑터입니다.
Meta-Llama-3.1-8B-bnb-4bit를 QLoRA로 파인튜닝했습니다.

---

학습 데이터

• AI Hub 수학교과문제풀이데이터 (국가 공인 교과 데이터셋)
• TL_ 폴더 → 학습 데이터 12,640개 / VL_ 폴더 → 평가 데이터 1,755개
• 문항(텍스트) → user, 정답(텍스트) + 해설(텍스트) → assistant 형식으로 가공
• 성취 기준(2022/2015 교육과정) 포함 시 [성취 기준: ...] 태그 추가

---

성능

지표	수치	비고
Best Eval Loss	0.7531	step 1500 (epoch 2) 기준
학습 손실 변화	0.84 → 0.58	epoch 1 초반 → epoch 2 말미
평가 손실 변화	0.9338 → 0.7531	전 구간 지속 감소 (과적합 없음)

---

학습 설정

항목	값
방식	QLoRA (4-bit NF4)
LoRA rank	16
LoRA alpha	32
Epochs	2
Learning rate	2e-4
Optimizer	AdamW
Max length	512
Framework	transformers + PEFT (순수 PyTorch 학습 루프)

---

사용 방법

이 어댑터는 i-Route AI 서버에서 unsloth/Meta-Llama-3.1-8B-bnb-4bit 베이스 모델 위에 PEFT 어댑터로 로드됩니다.
글쓰기(writing), 일반(general) 어댑터와 함께 단일 GPU에서 동시 서비스됩니다.

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

BASE_MODEL_ID = "unsloth/Meta-Llama-3.1-8B-bnb-4bit"
MATH_ADAPTER  = "i-route-ai/iroute-math-ai"

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=True,
)

tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL_ID)
tokenizer.pad_token = tokenizer.eos_token

model = AutoModelForCausalLM.from_pretrained(
    BASE_MODEL_ID,
    quantization_config=bnb_config,
    device_map="auto",
)
model.load_adapter(MATH_ADAPTER, adapter_name="math")
model.set_adapter("math")

SYSTEM_PROMPT = "당신은 수학 전문 교사입니다. 학생의 수학 문제에 대해 정확한 풀이와 해설을 제공하세요."

def build_prompt(question: str, achievement_standard: str = "") -> str:
    user_content = f"[성취 기준: {achievement_standard}]\n{question}" if achievement_standard else question
    return (
        f"<|begin_of_text|><|start_header_id|>system<|end_header_id|>\n"
        f"{SYSTEM_PROMPT}<|eot_id|>"
        f"<|start_header_id|>user<|end_header_id|>\n"
        f"{user_content}<|eot_id|>"
        f"<|start_header_id|>assistant<|end_header_id|>\n"
    )

question = "이차방정식 x² - 5x + 6 = 0의 두 근을 구하시오."
prompt = build_prompt(question)

inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=512).to("cuda")

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=300,
        temperature=0.3,
        do_sample=True,
        repetition_penalty=1.2,
        pad_token_id=tokenizer.eos_token_id,
    )

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
answer = response.split("<|start_header_id|>assistant<|end_header_id|>")[-1].strip()
print(answer)

---

프롬프트 형식

LLaMA 3.1 채팅 템플릿(system / user / assistant)을 사용합니다.

입력

[성취 기준: {교육과정 성취 기준 - 선택}]
{수학 문제 텍스트}

출력

정답: {최종 답}
풀이: {단계별 풀이 및 해설}

---

i-Route 서버 연동

i-Route AI 서버(/api/ai/report/subject-recommend)에서 RAG 컨텍스트와 결합하여
학생 맞춤형 수학 개념 설명 및 풀이를 제공합니다.

POST /api/ai/report/subject-recommend?student_id=S001&subject=수학

{
  "studentId": "S001",
  "subject": "수학",
  "targetConcept": "이차방정식",
  "aiRecommendationReport": "이차방정식을 풀기 위해서는..."
}

---

팀원 어댑터 다운로드

huggingface-cli download i-route-ai/iroute-math-ai --local-dir ./models/iroute-math-ai