prototie/prototie-ai-final-v2

Prototie AI v2 — 한국어 추론 특화 AI (K-AI 리더보드 #1 목표)

Qwen3-32B 기반 3단계(SFT→GRPO→DARE-TIES) 학습 파이프라인으로 개발된 한국어 AI입니다.

학습 파이프라인 v2

• STEP1 SFT: KMMLU + CLIcK + 한국어 수학 25K + GSM8K + 논리추론 합성 (Qwen3-32B, LoRA r=64)
• STEP2 GRPO: 5중 보상 함수 강화학습 (accuracy / korean / format / reasoning_depth / kmmlu_format)
• STEP3 DARE-TIES: GRPO(w=0.75) + SFT(w=0.25) 모델 병합 — 추론 비중 강화

v2 주요 개선점

항목	v1	v2
베이스 모델	Qwen3-14B	Qwen3-32B (+128% 파라미터)
GRPO 보상 함수	3중	5중 (+reasoning_depth, +kmmlu_format)
DARE-TIES 비중	GRPO 0.70	GRPO 0.75 (추론 강화)
학습 데이터	범용	KMMLU-Pro + MuSR-style + HLE-style 추가

사용 예시

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("prototie/prototie-ai-final-v2", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "prototie/prototie-ai-final-v2",
    torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True,
)

평가 대상 벤치마크 (K-AI 리더보드)

• KMMLU-Pro: 전문직 고난도 지식 (법률, 의학, 공학 등)
• CLIcK: 한국 문화·언어·상식
• HLE(Ko): 고난도 추론
• MuSR(Ko): 다단계 논리 추론
• Com2-main(ko): 상식 추론