Instructions to use youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst")
model = AutoModelForCausalLM.from_pretrained("youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst

SGLang

How to use youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst with Docker Model Runner:
```
docker model run hf.co/youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst
```

A.X-3.1-Light Specialist-300 TIES + Answer-First Correction

이 모델은 skt/A.X-3.1-Light에 축별 specialist LoRA 3개(K/R/C, 각 300행)를 TIES로 병합한 뒤, 그 결과물 위에 answer-first 출력 보정 LoRA를 추가로 학습해 다시 병합한 BF16 전체 가중치 모델입니다. 프로젝트 파이프라인의 마지막 단계 (specialist merge → 출력 행동 정리)를 그대로 적용한 버전입니다. 연구 및 평가용이며, 생성 결과가 부정확할 수 있으므로 고위험 의사결정의 유일한 근거로 사용해서는 안 됩니다.

Model information

Base model: skt/A.X-3.1-Light
Base model revision: 9b41bb2406472634d8812c0b8931fa40fa9a6c3a
Model format: standalone BF16 safetensors; no separate adapter is required

Pipeline (2 stages)

Stage 1 — specialist merge: K(KMMLU-Pro)/R(MuSR) LoRA는 각 300행 (correct_unstable 개념 — base가 자유생성으론 맞히지만 형식 통제·보기순서 변경에 실패하는 문항), C(Com2-main) LoRA는 300행(correct_all 개념 — 정답 문항 전체에서 추출. 71949는 불안정 문항이 12%뿐이라 correct_unstable로는 위치 균형 300행을 만들 수 없었음)으로 학습해 TIES(density 0.5)로 병합. (AX-3.1-Light-specialist-300-ties와 동일 Stage 1)

Stage 2 — answer-first correction: Stage 1 병합본 위에, 기존 v0.21 (AX-3.1-Light-sft_v0_21) 학습에 쓴 것과 동일한 데이터 (format_sft_answer_first_v1.jsonl, 5,801행, AI Hub 569/71874/71857/71949/71610 출처)로 LoRA를 추가 학습해 병합. target schema는 정답: X (근거: <한 문장>) 압축형이며, v0.21과 동일한 조건(rank16/alpha32/lr 5e-5 cosine/epoch1)이다.

Local diagnosis (n=100/axis, canonical suite, A_acc)

축	base	v0.21	Stage 1만(C안)	이 모델(+보정)
click	0.664	0.63	0.70	0.75
kmmlu_pro	0.310	0.38	0.40	0.40
com2_main	0.610	0.67	0.65	0.66
snu_ko_musr	0.476	0.56	0.50	0.51
평균	0.515	0.560	0.5625	0.580

이 로컬 진단 기준으로는 이 프로젝트에서 지금까지 측정된 모든 모델 중 최고치이며, 지금까지 반복됐던 "학습을 얹으면 CLIcK이 가장 먼저 무너진다"는 패턴과 달리 CLIcK도 함께 상승했다.

Known limitations

n=100/축 로컬 진단은 이전 실험(correct_all/correct_unstable)에서 KMMLU-Pro 방향을 실측과 정반대로 예측한 전례가 있어, 위 표의 KMMLU-Pro 상승을 실측 근거로 쓸 수 없다. 표의 다른 개선폭도 n=100 수준의 노이즈일 수 있다.
Stage 1(K/R/C-300) 단독 실측 결과는 이 리포지토리 업로드 시점에 아직 없다.

Downloads last month: -

Safetensors

Model size

7B params

Tensor type

BF16

Model tree for youngseok12/AX-3.1-Light-specialist-300-ties-answerfirst

Base model

skt/A.X-3.1-Light

Adapter

(16)

this model