teamsparta-inc/K-AX-Spartan-OSS-27B

K-AX Spartan OSS 27B

Korean Foundation Model by 스파르타AX

스파르타AX · Lead Architect: 권도현 (Dohyeon Kwon)

---

Overview

K-AX Spartan OSS 27B는 스파르타AX에서 연구개발한 한국어 파운데이션 모델입니다.

자체 구축한 대규모 다국어 코퍼스를 기반으로 사전학습을 수행하고, 한국어 도메인 적응 및 다단계 정렬을 거쳐 제작되었습니다. 본 모델은 K-AX Spartan 시리즈의 오픈 웨이트 릴리즈로서, K-AX Spartan Adapter 제품군의 기반 모델로 설계되었습니다.

현재 릴리즈는 추론 엔진 호환성을 고려하여 Qwen 3.5 아키텍처를 채택하고 있으며, 내부 연구 중인 독자 아키텍처(HGLQA)는 생태계 지원이 갖추어지는 시점에 별도 공개할 예정입니다.

---

Highlights

• 자체 코퍼스 기반 Continual Pre-Training 및 Domain-Adaptive Pre-Training 수행
• 독자 연구에 의한 다단계 정렬 (Multi-Stage Alignment) 적용
• K-AX Spartan Adapter 제품군과의 네이티브 호환
• 한국어 전문 지식, 법률, 문화, 전문직 시험 등 한국 고유 도메인 최적화
• vLLM, SGLang, TensorRT-LLM 등 주요 추론 엔진 호환

---

Training

본 모델은 다음의 학습 파이프라인을 거쳐 제작되었습니다.

Stage	Description
Pre-Training	자체 구축 다국어 코퍼스 기반 Continual Pre-Training
Domain Adaptation	한국어 법률, 전문직 시험, 문화, 과학 등 도메인별 적응
Alignment	독자 보상 모델 및 정렬 메소드 적용 (비공개)
Specialization	어댑터 호환 구조 최적화 및 챗 템플릿 적용

정렬 단계의 보상 모델 및 메소드는 스파르타AX의 독자 연구 결과물이며, 특허 출원 완료 후 학술 논문으로 공개할 예정입니다.

---

K-AX Spartan Adapter

K-AX Spartan은 파운데이션 모델 위에 도메인 전문 어댑터를 저비용으로 구축할 수 있는 어댑터 네이티브 구조를 채택하고 있습니다.

          K-AX Spartan Foundation
                    │
        ┌───────────┼───────────┐
        ▼           ▼           ▼
    Legal       Medical     Finance      ← K-AX Spartan Adapters
    Adapter     Adapter     Adapter

어댑터 피팅 기술에 대한 상세 내용은 추후 공개 예정입니다.

도입 문의: ax.spartaclub.kr

---

Quickstart

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "teamsparta-inc/K-AX-Spartan-OSS-27B"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)

messages = [{"role": "user", "content": "대한민국 헌법 제1조에 대해 설명해주세요."}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=1024)
print(tokenizer.decode(outputs[0][inputs.input_ids.shape[-1]:], skip_special_tokens=True))

vLLM

vllm serve teamsparta-inc/K-AX-Spartan-OSS-27B \
    --trust-remote-code \
    --max-model-len 32768

---

Specifications

Parameters	27B
Context Window	262,144 tokens
Hidden Dimension	5,120
Layers	64
Vocabulary	248,320 tokens
Precision	bfloat16

---

K-AX Spartan Series

Model	Description
K-AX Spartan OSS 27B	오픈 웨이트 파운데이션 모델
K-AX Spartan Super	범용 SWE 에이전트 특화
K-AX Spartan eGov	전자정부프레임워크 특화
K-AX Spartan WhiteHat	보안 특화

도입 문의: ax.spartaclub.kr · 소개서

---

About

스파르타AX(Sparta AX) 는 한국형 AI Transformation에 특화된 파운데이션 모델 연구개발 및 엔터프라이즈/SMB/공공 AX 솔루션 조직입니다.

권도현 (Dohyeon Kwon) — AX Architect, AXOps Team@TeamSparta

• K-AX Spartan 시리즈 설계 및 총괄
• Contact: dh.kwon@teamsparta.co

---

Responsible Use

• 허위 정보 생성, 사기, 불법 활동에 사용하지 마십시오.
• 생성된 콘텐츠가 AI에 의해 작성되었음을 명시해 주십시오.
• 대한민국 개인정보보호법 및 관련 법규를 준수해 주십시오.

---

Citation

@misc{kwon2026kaxspartan,
    title  = {K-AX Spartan OSS 27B},
    author = {Dohyeon Kwon},
    year   = {2026},
    url    = {https://huggingface.co/teamsparta-inc/K-AX-Spartan-OSS-27B}
}

---

License

K-AX Spartan Model License v1.0

용도
학술 연구 · 개인 학습 · 벤치마크 평가	허용
파생 모델 (비상업)	허용 (모델명에 "K-AX Spartan" 포함)
상업적 사용	별도 라이센스 필요

자세한 내용은 LICENSE 파일을 참조하세요.

---

_{스파르타AX © 2026}