yejin-korean-3b-v1-base

yejin-korean-3b-v1은 8x NVIDIA H200 (1,128GB VRAM) 환경에서 한국어 고품질 코퍼스(172GB+ 및 AI Hub)로 100% From-Scratch 사전학습 및 8x H200 GPU Full SFT를 적용한 한국어 파운데이션 모델입니다.

모델 스펙

• 기반 아키텍처: Llama 3.2 3B 참조 규격 (hidden=3072, layers=28, heads=24, kv_heads=8, intermediate=8192, GQA 3:1, RoPE θ=500,000)
• 최신 기술: QK-Norm, Multi-Token Prediction (MTP λ=0.3), z-loss (α=1e-4), Embedding Tying
• 토크나이저: EleutherAI/polyglot-ko-1.3b (어휘 수: 30,003)
• 컨텍스트 길이: 4,096 토큰

벤치마크 결과

벤치마크	점수
Global MMLU (한국어)	23.02%
Belebele (한국어)	22.44%

사용 예시 (Python / Transformers)

from transformers import pipeline

gen = pipeline("text-generation", model="cooler8/yejin-korean-3b-v1-base", torch_dtype="bfloat16", device_map="auto")
prompt = "### 지시사항:\n인공지능의 미래와 한국어 LLM의 발전 방향에 대해 설명해줘\n\n### 답변:\n"
print(gen(prompt, max_new_tokens=300, temperature=0.7)[0]['generated_text'])