davemaxuellkr/260814-writer-model

260814 Writer Model

Qwen/Qwen3.5-9B를 기반으로 미세 조정한 한국어 논증적 글 평가 근거 작성 모델입니다. 내용(content), 구성(organization), 표현(expression) 점수를 입력받아 각 점수에 부합하는 한국어 평가 근거를 생성합니다.

한국어 설명

모델의 역할

이 체크포인트는 점수 예측 모델이 아니라 평가 근거 작성기(writer) 입니다. 따라서 단독으로 사용하기보다는 다음 순서의 파이프라인에서 사용해야 합니다.

1. 상위 scorer가 논증적 글의 내용, 구성, 표현 점수를 예측합니다.
2. 예측 점수와 원문을 이 writer에 입력합니다.
3. writer가 입력된 점수를 유지하면서 각 영역의 구체적인 한국어 평가 근거를 생성합니다.

전체 시스템은 content, organization, expression을 독립적으로 판단한 하나의 순수 JSON 객체를 출력해야 합니다. 각 영역에는 1~5점 정수 점수와 한국어 근거가 포함되어야 합니다.

평가 결과

이 모델은 프로젝트의 400개 글 검증 프로토콜에서 4.3926의 평가 근거 품질 프록시 점수를 기록했습니다. 2026-08-10 기준, 동일한 평가 설정으로 측정한 writer 중 가장 높은 결과이며 네 가지 세부 기준에서 모두 기존 SFT writer보다 높았습니다.

모델	종합	영역 적합성	점수-근거 일관성	구체성	원문 충실성
GRPO Think B (이 모델)	4.3926	4.877	3.960	4.070	4.663
SFT writer	4.3039	4.737	3.930	4.027	4.521
DPO-B writer	4.2728	4.785	3.835	3.946	4.526
Qwen3.5-9B base	4.2473	4.808	4.018	3.873	4.290

세부 측정 정보:

• 평가 대상: 400개 글
• candidate 생성 성공: 399/400 (99.75%)
• judge 정상 완료: 398/400 (99.5%)
• 정확한 관측 종합 점수: 4.392587939698492
• judge 설정: thinking 활성화, max_tokens=8192, 실패 점수 0 처리

이 수치는 프로젝트의 로컬 Qwen3.6-35B judge 프록시 결과이며, 대회 공식 리더보드 점수가 아닙니다. 모델의 점수 예측 정확도(RMSE/Spearman)를 나타내는 수치도 아닙니다. 이 모델은 scorer가 아니라 writer이므로 점수 정확도는 상위 scorer에 의해 결정됩니다.

학습 계보와 주의사항

Qwen3.5-9B
  -> writer-qwen-f0 (SFT)
  -> writer-dpob-think (DPO-B)
  -> writer-grpo-think (GRPO)
  -> writer-grpo-think-b (GRPO warm restart, 이 체크포인트)

과거 GRPO 실행에는 대회 규정상 허용된 라벨 훈련 데이터가 사용되었습니다. 다만 당시 score-conditioning 계보는 완전한 fold-isolated OOF 방식이 아니었습니다. fold 0 전용 점수 파일이 전달되면서 기존 trainer가 folds 1~4에서 반올림된 훈련 라벨로 fallback했습니다. 이 체크포인트는 해당 한계를 명시한 상태로 보존합니다.

English summary

This is a score-conditioned Korean essay-evaluation rationale writer fine-tuned from Qwen/Qwen3.5-9B. It is not a standalone scorer. An upstream scorer must provide content, organization, and expression scores, and the writer generates Korean rationales consistent with those supplied scores.

The checkpoint achieved a 4.3926 rationale-quality proxy score on the project's 400-essay validation protocol. This was the strongest measured writer under the same protocol as of 2026-08-10. It is a local judge-proxy result, not an official leaderboard score or a score-prediction metric.

The historical GRPO run used competition-permitted labeled training data, but its score-conditioning lineage was not fully fold-isolated OOF. A fold-0-only score artifact caused the legacy trainer to fall back to rounded training labels for folds 1-4. The checkpoint is shared with that limitation disclosed.

공유 및 다운로드 / Sharing and download

이 저장소는 공개 Hugging Face Git 저장소입니다. 저장소 주소를 공유하거나 아래 방법으로 전체 모델을 내려받을 수 있습니다.

Hugging Face CLI (권장 / recommended)

hf download davemaxuellkr/260814-writer-model \
  --local-dir 260814-writer-model

Git clone

모델 가중치는 대용량 Xet 객체로 저장되어 있으므로 Git Xet을 먼저 설치하고 활성화해야 합니다.

git xet install
git clone https://huggingface.co/davemaxuellkr/260814-writer-model
cd 260814-writer-model

Clone 후 SHA256SUMS를 사용해 가중치 무결성을 확인할 수 있습니다.

sha256sum --check SHA256SUMS

The repository is public and Git-backed. Share its Hugging Face URL directly, or use the Hugging Face CLI or Git Xet commands above to download the complete 19.3 GB checkpoint.

Serving with vLLM

export CUDA_VISIBLE_DEVICES=0
export VLLM_USE_DEEP_GEMM=0
export VLLM_MOE_USE_DEEP_GEMM=0

vllm serve davemaxuellkr/260814-writer-model \
  --served-model-name writer-best \
  --port 8001 \
  --gpu-memory-utilization 0.42 \
  --max-model-len 16384 \
  --additional-config '{"gdn_prefill_backend":"triton"}'

프로젝트에서 사용하는 생성 설정 / Generation settings:

• temperature=0
• top_p=1
• seed=42
• max_tokens=512
• stop strings Q: and User:
• thinking disabled

Native inference contract / 원본 추론 계약

이 writer는 prompt 없이 단독 호출하는 모델이 아닙니다. 외부 scorer가 확정한 세 점수와 아래 공개 prompt를 함께 전달해야 학습·평가 시의 입력 계약을 재현할 수 있습니다. scorer와 scorer 가중치는 이 저장소에 포함되어 있지 않습니다.

• 전체 inference 안내
• System prompt
• Score-conditioned user template
• 출력 JSON schema
• vLLM HTTP inference 예제
• 평가 당시 parser 동작

입력 점수는 다음 순서와 형식으로 전달합니다.

이 글의 점수는 이미 확정되었다. 내용 3점, 구성 4점, 표현 3점이다.

출력은 rationale-only flat object가 아니라 다음 nested JSON입니다.

{
  "content": {"rationale": "내용 점수 근거", "score": 3},
  "organization": {"rationale": "구성 점수 근거", "score": 4},
  "expression": {"rationale": "표현 점수 근거", "score": 3}
}

score는 writer가 새로 예측한 값이 아니라 입력 점수를 복사한 값입니다. 통합 시에는 외부 final scorer의 점수를 authoritative value로 유지하고 writer에서는 rationale만 추출하는 것을 권장합니다.

The checkpoint needs the published system prompt and score-conditioned user template to reproduce its native behavior. It expects externally supplied scores and emits nested content, organization, and expression objects containing an echoed score and a generated Korean rationale. See INFERENCE.md for the exact vLLM request, parser, and the historical no-retry/no-repair behavior.

Integrity

가중치 파일의 SHA-256 해시는 SHA256SUMS에 기록되어 있습니다.

SHA-256 digests for the weight files are provided in SHA256SUMS.