Instructions to use DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("image-text-to-text", model="DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized")
model = AutoModelForMultimodalLM.from_pretrained("DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker

docker model run hf.co/DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized

SGLang

How to use DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Docker Model Runner
How to use DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized with Docker Model Runner:
```
docker model run hf.co/DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized
```

🇰🇷 AIKAR 3 Pro (26B) - Specialist in Korean Reasoning

AIKAR 3 Pro는 LOOP에서 개발된 26B 규모의 언어 모델로, 특히 한국어 추론(Reasoning) 능력 극대화를 위해 설계되었습니다. 일반적인 대규모 언어 모델(LLM)이 보여주는 단순 정보 제공을 넘어, 복잡한 한국어 논리 구조 이해, 문맥적 추론, 다단계 수학 및 코딩 문제를 한국어 맥락에서 풀어내는 데 최적화되어 있습니다.

✨ Key Features (핵심 기능)

Reasoning Focused (추론 중심): 단순 생성 모델이 아닌, 논리적인 단계(Chain-of-Thought)를 거쳐 답을 도출하는 추론 특화 아키텍처입니다. 한국어 문맥에서 발생하는 미묘한 뉘앙스를 논리 구조에 결합합니다.
Korean-Centric Dataset (한국어 특화): 한국어의 문법적 특성, 문화적 배경, 전문 용어를 깊이 있게 이해할 수 있도록 한국어 정제 데이터셋을 중심으로 사전 학습(Pre-training) 및 미세 조정(Fine-tuning)되었습니다.
Efficient 26B Architecture (26B 규모): 추론 능력의 효율성을 극대화하기 위해 26B 파라미터를 사용하여, 상대적으로 적은 VRAM으로도 고성능의 CoT(Reasoning) 결과를 얻을 수 있도록 최적화되었습니다.
Multi-task Capabilities: 수학적 사고, 프로그래밍, 문학적 추론, 법률 및 기술 문서 해석 등 다양한 고도화된 작업에 능숙합니다.

📊 모델 구조 (Model Architecture)

AIKAR 3 Pro는 대규모 26B 파라미터 레이어를 가진 디코더 전용 트랜스포머(Decoder-only Transformer) 모델입니다. LOOP 고유의 알고리즘을 통해 한국어 토큰 처리 효율을 40% 이상 향상시켜, 긴 문맥(Context window)에서도 추론 일관성을 유지합니다.

파라미터: 26 Billion
Context Window: 32k tokens
Focus: Korean Language Understanding, Logical Reasoning, Mathematical Solving

🛠️ 학습 과정 (Training Process)

AIKAR 3 Pro는 다음 세 가지 단계를 거쳐 완성되었습니다:

Advanced Pre-training: 방대한 한국어 문법 교재, 뉴스, 전문 서적 및 공개 웹 데이터를 학습하였습니다.
Supervised Fine-Tuning (SFT): 정교하게 설계된 한국어 추론 튜토리얼 데이터셋을 학습하여 생각의 흐름(Thought chain)을 형성했습니다.
Reasoning Reinforcement Learning: 인간의 선호도를 반영한 한국어 논리 검증 루프를 통해, 단순히 답만 내는 것이 아니라 논리적으로 타당한 설명(Rationales)을 제공하도록 최적화되었습니다.

🚀 시작하기 (Getting Started)

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype="auto")

prompt = """문제가 있습니다. 37%의 할인율을 적용한 상품이 15,000원일 때, 원래 가격은 얼마입니까? 단계별로 논리적으로 설명하세요."""
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens=512, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📋 모델 사용 주의사항 (Usage Note)

AIKAR 3 Pro는 추론 능력을 강화한 모델입니다. 따라서 답을 바로 얻기보다, "단계적으로 설명해줘(Let's think step by step)" 또는 "논리적 과정을 상세히 적어줘"와 같은 프롬프트를 사용할 때 최상의 성능을 발휘합니다.

Model Family

AIKAR 3 Family

???
Mini → Edge devices
Basic → Everyday use
Omni → Balanced
Turbo → Fast inference (On Research)
Large → Advanced reasoning
Pro → Professional-grade (This model)
Ultra → Frontier model (Closed Source)

Infinite Family

???
Infinite Pro → Next-Gen (Closed Source)
???

🤝 커뮤니티 및 연락처

Developers: LOOP Research Team
Homepage: DFveloper.com
Report issues: Github Issue Link

Downloads last month: 125

Safetensors

Model size

26B params

Tensor type

BF16

Collection including DFveloper/AIKAR-3-Pro-QAT-Q4_0-unquantized

Flagship(most powerful)

Collection

2 items • Updated 5 days ago