connectailab-rl-coevolution-v1

공개 회사 시뮬레이터의 상황·질문·선택지를 읽고 선택지 글자 하나를 고르는 학습 실습 모델입니다. Qwen/Qwen3.5-0.8B에 붙이는 LoRA 어댑터이며, 기본 모델은 별도로 필요합니다.

계정: hiro-coevolution · 모델 이름: coevolution · 실습일: 2026-10-14 KST

만든 방법

CONNECT TYCOON의 Qwen 학습 노트를 재현했습니다. 회사 유형은 general, 이익·고객 만족·위험 가중치는 각각 1입니다.

1. 로컬에서 작은 정책을 모방학습 40개월, PPO 60회 × 24개월로 학습하고 coevolution-v1 선생님으로 저장했습니다.
2. 선생님으로 학습 4,082개, 검증 832개, 시험 840개 문제를 만들었습니다. 각 선택지를 시뮬레이터에서 평가하며, 아침 판단에는 선생님 답을 사용합니다.
3. 필터링한 3,440개 문제로 LoRA 지도학습을 했습니다: 1 epoch, 430 steps, batch 8, rank 8, lr 1e-4.
4. 선택지 점수와 출발 모델에 대한 KL 항으로 추가 학습했습니다: 100 steps, batch 8, lr 5e-6, beta 0.2, 최대 1,500개 문제. 언어 모델 단계는 이 보상/KL 방식이고, PPO는 선생님 정책 단계에 사용했습니다.

학습 seed는 0, GPU는 무료 Colab Tesla T4였습니다. 사용한 버전은 torch 2.11.0+cu130, transformers 5.18.0, peft 0.21.1입니다. 기본 모델의 정확한 다운로드 revision은 실행 기록에 남지 않아 미확인입니다.

같은 840개 문제로 비교

단계	정답률	최고 점수 대비 부족분(작을수록 좋음)
학습 전	29.17%	2.36524
지도학습	84.29%	1.47377
추가 강화학습	84.17%	1.42432

추가 학습에서 정답률은 0.12%p 낮아졌고 점수 부족분은 줄었습니다. qwen-results.json에 원래 수치를 보관했습니다.

회사 운영 시험

처음 보는 같은 2개월(seed 7000, 7001)의 평균입니다. 이익은 시뮬레이터의 만원 단위이며 실제 수익이 아닙니다.

운영 정책	월 이익	고객 만족	사고 수
규칙	548.205	0.78252	7.5
선생님 정책	1,362.225	0.95342	2.0
이 Qwen 어댑터	892.215	0.97705	12.0

Qwen은 규칙보다 이익이 높았지만 선생님보다 낮았고 사고도 많았습니다. 2개월뿐인 작은 시험입니다. 40개월 로컬 정책 시험과는 별도로 비교했습니다.

카드 거래 시험과 저장 확인

공개 카드 거래 713건 중 사기 177건에서 147건 탐지(83.05%), 30건 놓침, 정상 거래 69건 차단, 사람 검토 0건이었습니다. 전부 승인했을 때의 손실 대비 **72.55%**를 줄였습니다. 탐지율과 손실 감소율은 서로 다른 수치입니다. 손실·차단 비용은 시뮬레이터의 가정으로 계산했습니다.

저장한 어댑터를 다시 불러온 뒤 위 카드 시험의 요약이 원래 결과와 같음을 확인했습니다. 별도의 시험 문제 5개에서는 선택과 확률 벡터가 동일했고 최대 차이는 모두 0이었습니다. 840개 전체를 두 번째로 재평가한 것은 아닙니다.

사용 예

from connect_tycoon.llm.train_torch import Scorer

scorer = Scorer(adapter="hiro-coevolution/connectailab-rl-coevolution-v1")
task = {
    "state": "회사 및 판단에 필요한 상황",
    "question": "어느 선택지를 고를까요?",
    "options": [
        {"label": "A", "key": "option_a", "description": "첫 번째 선택"},
        {"label": "B", "key": "option_b", "description": "두 번째 선택"},
    ],
}
print(scorer.pick(task))

입력은 CONNECT TYCOON의 task 형식입니다. 선택지 글자의 확률을 비교해 답을 고르며, 일반 대화 성능을 측정한 모델은 아닙니다. 공식 소스의 고정 commit과 실행 환경은 run-manifest.json에 기록했습니다. 파일별 SHA256은 SHA256.json에 있습니다.

출처와 적용 범위

기본 모델: Qwen/Qwen3.5-0.8B · 시뮬레이터·학습 코드: CONNECT AI LAB × AI CITY BUILDERS의 CONNECT TYCOON.

공개 시뮬레이터와 공개 시험 자료를 사용한 연구·교육 실습입니다. 개인 업무 문서·메일·계정 인증정보는 학습 및 공개 파일에 포함하지 않았습니다. 단일 seed와 제한된 시험으로 실제 회사의 판단 성능이나 여러 모델 연결 효과를 입증하지 않습니다.

라이선스: Apache-2.0. 원 제작 코드의 LICENSE를 함께 포함합니다.