docs: update model card with v3 training data (58K SFT, 26K DPO), MLX benchmark, Markdown RT format

README.md

@@ -12,6 +12,7 @@ tags:
   - dpo
   - gguf
   - llama-cpp
+  - mlx
 base_model: Qwen/Qwen2.5-7B-Instruct
 pipeline_tag: text-generation
 ---
@@ -21,16 +22,23 @@ pipeline_tag: text-generation
 **한국 주식시장 전문 AI 애널리스트**
 
 VELA는 한국 주식시장 뉴스 분석 및 투자 리서치를 위해 특화된 7B 파라미터 언어 모델입니다.
-2,135개 종목에 대한 뉴스 영향 분석, 증권사 리포트 해석, Reasoning Trace 기반 구조화된 투자 분석을 수행합니다.
+KOSPI/KOSDAQ 2,135개 종목에 대한 뉴스 영향 분석, 증권사 리포트 해석,
+Reasoning Trace 기반 구조화된 투자 분석을 수행합니다.
+
+> **58K+ SFT 샘플**과 **26K+ DPO 페어**로 학습하여,
+> 한국어 금융 도메인에서 정확하고 구조화된 분석을 제공합니다.
+
+---
 
 ## Model Details
 
 | 항목 | 내용 |
 |------|------|
-| **Base Model** | Qwen/Qwen2.5-7B-Instruct |
-| **Training** | SFT (36,713) + DPO (24,779 pairs) |
+| **Base Model** | [Qwen/Qwen2.5-7B-Instruct](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct) |
+| **Training** | SFT (58,206 samples) + DPO (26,421 pairs) |
 | **Parameters** | 7.6B |
 | **Context Length** | 8,192 tokens |
+| **RT Format** | Markdown Reasoning Trace |
 | **Stock Coverage** | 2,135 종목 (KOSPI + KOSDAQ) |
 | **License** | Apache 2.0 |
 
@@ -42,77 +50,176 @@ VELA는 한국 주식시장 뉴스 분석 및 투자 리서치를 위해 특화
 | **GGUF Q8_0** | `vela-q8_0.gguf` | 7.6 GB | High quality quantized, GPU/CPU |
 | **GGUF Q4_K_M** | `vela-q4_k_m.gguf` | 4.4 GB | Fast & lightweight, GPU/CPU |
 
+> MLX 4-bit 양자화 모델도 별도 제공 예정 (Apple Silicon 최적화)
+
+---
+
+## What Can VELA Do?
+
+### 1. 뉴스 영향 분석
+주식 관련 뉴스가 주가에 미치는 영향을 단계적으로 추론합니다.
+
+### 2. Reasoning Trace (단계별 사고 과정)
+분석 과정을 투명하게 보여주는 Markdown Reasoning Trace를 생성합니다:
+
+```
+**Step 1**:
+**Thought**: 삼성전자 3나노 양산 성공 뉴스의 기술적 의미를 파악해야 합니다.
+**Action**: search
+**Query**: 삼성전자 3나노 파운드리 수율 경쟁력 TSMC
+**Confidence**: 35%
+
+**Step 2**:
+**Thought**: TSMC 대비 수율 격차가 핵심 변수이며, 양산 성공은 기술력 입증이나 수율 안정화까지 시간 필요.
+**Action**: analyze
+**Confidence**: 65%
+
+**Step 3**:
+**Thought**: 3나노 양산 성공은 중장기 긍정 시그널이나, 단기적으로 수율 이슈 리스크가 존재합니다.
+**Action**: conclude
+**Confidence**: 80%
+```
+
+### 3. 증권사 리포트 해석
+애널리스트 리포트를 기반으로 핵심 포인트와 투자 시사점을 도출합니다.
+
+### 4. 투자 리서치 리포트
+7개 섹션으로 구조화된 투자 분석 보고서를 생성합니다:
+Executive Summary / Key Metrics / 시장 동향 / 수급 분석 / 뉴스 영향 / 리스크 / 투자 의견
+
+### 5. 도구 호출 (Tool Calling)
+Search, Price, Investor 등 외부 도구와 연동하는 분석을 수행합니다.
+
+---
+
 ## Training Pipeline
 
 ```
-Qwen2.5-7B-Instruct
-        ↓
-   SFT (36,713 samples)
-   - 뉴스 분류 분석 10,830
-   - 극단 시그널 분석 9,603
-   - 증권사 리포트 5,117
-   - 뉴스 영향 분석 4,839
-   - Tool Calling 1,965
-   - 기타 (비교분석, 실적, 리스크, 수급, 섹터, 매크로) 4,359
-        ↓
-   DPO (24,779 pairs)
-   - 중복 제거 기본 페어 12,000
-   - 다국어 leak 보강 5,997
-   - VELA ChatML 정렬 5,000
-   - 중국어 leak 교정 v2 1,216
-   - Reasoning Trace 정렬 566
-        ↓
-      VELA
+Qwen/Qwen2.5-7B-Instruct
+        |
+        v
+   SFT (58,206 samples)
+   ├── 뉴스 분류 분석      10,830  (18.6%)
+   ├── 극단 시그널 분석      9,603  (16.5%)
+   ├── 증권사 리포트 (GPT-4o) 5,117   (8.8%)
+   ├── 뉴스 영향 분석        4,839   (8.3%)
+   ├── 멀티턴 대화           8,000  (13.8%)
+   ├── Gap Fill (12 카테고리) 12,635  (21.7%)
+   │   ├── 밸류에이션 분석    2,000
+   │   ├── 수급/리스크/EOD    3,000
+   │   ├── 거절/유보 응답     1,000
+   │   ├── 간결 분석          1,000
+   │   ├── 심층 추론 (5+ steps) 1,000
+   │   └── 기타 (매크로, 섹터 등) 4,635
+   └── 기타                  7,182  (12.3%)
+        |
+        v
+   DPO (26,421 pairs)
+   ├── 중복 제거 기본 페어   12,000  (45.4%)
+   ├── 다국어 leak 보강      5,997  (22.7%)
+   ├── VELA ChatML 정렬      5,000  (18.9%)
+   ├── 불충분 분석 교정      1,642   (6.2%)
+   ├── 중국어 leak 교정 v2   1,216   (4.6%)
+   └── Reasoning Trace 정렬    566   (2.1%)
+        |
+        v
+      VELA v1.2
 ```
 
-## Training Data Distribution
+---
+
+## Training Data Details
 
-### SFT (36,713 samples, 2,135 종목)
+### SFT v3 (58,206 samples)
 
 | Source | Samples | Ratio | Description |
 |--------|---------|-------|-------------|
-| **classified_news** | 10,830 | 29.5% | GPT-4o 분류된 뉴스 → Reasoning Trace 생성 |
-| **extreme_signals** | 9,603 | 26.2% | 급등/급락 시그널 뉴스 분석 |
-| **securities_report_gpt4o** | 5,117 | 13.9% | 증권사 리포트 GPT-4o 재구성 (네이버 종목분석 + 미래에셋) |
-| **analysis_news** | 4,839 | 13.2% | 일반 뉴스 영향 분석 |
-| **tool_calling** | 1,965 | 5.4% | Search/Price/Investor 도구 호출 학습 |
-| **multi_stock_comparison** | 981 | 2.7% | 다중 종목 비교 분석 |
-| **earnings_impact** | 971 | 2.6% | 실적 발표 영향 분석 |
-| **risk_alert** | 948 | 2.6% | 리스크 경보 분석 |
-| **supply_demand** | 492 | 1.3% | 수급 동향 분석 |
-| **sector_theme** | 486 | 1.3% | 섹터/테마 분석 |
-| **macro_impact** | 481 | 1.3% | 매크로 지표 영향 분석 |
+| `classified_news` | 10,830 | 18.6% | GPT-4o 분류된 뉴스 Reasoning Trace |
+| `extreme_signals` | 9,603 | 16.5% | 급등/급락 시그널 뉴스 분석 |
+| `securities_report_gpt4o` | 5,117 | 8.8% | 증권사 리포트 GPT-4o 재구성 |
+| `analysis_news` | 4,839 | 8.3% | 일반 뉴스 영향 분석 |
+| `multi_turn_2t` | 4,000 | 6.9% | 단일 턴 다양 종목 분석 |
+| `multi_turn_4t` | 4,000 | 6.9% | 2턴 follow-up 대화 |
+| **`valuation`** | **2,000** | **3.4%** | 밸류에이션 분석 (v3 Gap Fill) |
+| `tool_calling` | 1,965 | 3.4% | Search/Price/Investor 도구 호출 |
+| **`supply_demand_ext`** | **1,000** | **1.7%** | 수급 확장 분석 (v3) |
+| **`risk`** | **1,000** | **1.7%** | 리스크 분석 (v3) |
+| **`eod_report`** | **1,000** | **1.7%** | EOD 시황 리포트 (v3) |
+| **`refusal`** | **1,000** | **1.7%** | 거절/유보 응답 (v3) |
+| **`short_analysis`** | **1,000** | **1.7%** | 간결 분석 <500자 (v3) |
+| **`deep_reasoning`** | **1,000** | **1.7%** | 심층 추론 5+ steps (v3) |
+| **`low_confidence`** | **1,000** | **1.7%** | 저확신도 분석 (v3) |
+| **`macro_impact_ext`** | **1,000** | **1.7%** | 거시경제 확장 (v3) |
+| **`sector_theme`** | **1,000** | **1.7%** | 섹터/테마 분석 (v3) |
+| `multi_stock_comparison` | 981 | 1.7% | 복수 종목 비교 분석 |
+| `earnings_impact` | 971 | 1.7% | 실적 발표 영향 분석 |
+| `risk_alert` | 948 | 1.6% | 리스크 경고 분석 |
+| **`null_impact`** | **900** | **1.5%** | 주가 무영향 응답 (v3) |
+| Other | 2,050 | 3.5% | batch5 fallback, 기존 수급/섹터/매크로 |
+
+> v3에서 12개 카테고리 12,635개 샘플을 추가하여 데이터 갭을 보강했습니다.
+> 생성 비용: Perplexity Sonar 2K ($4.60) + OpenAI gpt-4o-mini Batch API 10.6K ($2.76) = **~$7.36**
+
+### DPO v2 (26,421 pairs)
+
+| Source | Pairs | Ratio | Rejection Type |
+|--------|-------|-------|----------------|
+| `dpo_dedup` | 12,000 | 45.4% | 짧은/저품질 응답 vs 상세 분석 |
+| `multilingual_aug` | 5,997 | 22.7% | 중국어/영어 leak, 짧은 응답, 저확신 |
+| `vela_chatml` | 5,000 | 18.9% | 형식 오류, 짧은 응답 |
+| `batch5_insuf_dpo` | 1,642 | 6.2% | 불충분 분석 품질 교정 |
+| `chinese_leak_v2` | 1,216 | 4.6% | 중국어 문자 leak 집중 교정 |
+| `reasoning_trace_2k` | 566 | 2.1% | 영어 leak, RT 형식 오류 |
+
+### Data Version History
+
+| Version | SFT Samples | DPO Pairs | Changes |
+|---------|-------------|-----------|---------|
+| v1.0 | 36,713 | 24,779 | 초기 학습 데이터 (JSON RT) |
+| v1.1 | 36,713 | 24,779 | RT JSON → Markdown 변환 |
+| v2.0 | 45,571 | 26,421 | +멀티턴 8K, +batch5 불충분 DPO |
+| **v3.0** | **58,206** | **26,421** | **+Gap Fill 12개 카테고리 12,635** |
 
-> 평균 응답 길이: 2,337자 (Reasoning Trace JSON + 분석 리포트 포함)
+---
 
-### DPO (24,779 pairs)
+## Benchmarks
 
-| Source | Pairs | Ratio | Description |
-|--------|-------|-------|-------------|
-| **dpo_dedup** | 12,000 | 48.4% | 중복 제거된 기본 DPO 페어 |
-| **multilingual_aug** | 5,997 | 24.2% | 중국어/영어 leak 보강 (rejected에 leak 삽입) |
-| **vela_chatml** | 5,000 | 20.2% | VELA 시스템 프롬프트 정렬 |
-| **chinese_leak_v2** | 1,216 | 4.9% | 중국어 leak 집중 교정 |
-| **reasoning_trace_2k** | 566 | 2.3% | Reasoning Trace 형식 정렬 |
+### Quantization Benchmark (GGUF)
 
-## Capabilities
+RTX 3060 12GB, llama-cpp-python, `n_gpu_layers=-1`, `n_ctx=4096`
 
-- **뉴스 영향 분석**: 주식 관련 뉴스의 시장 영향도 예측
-- **증권사 리포트 해석**: 애널리스트 리포트 기반 투자 분석
-- **리서치 리포트 생성**: 구조화된 투자 분석 보고서 (7개 섹션)
-- **Reasoning Trace**: 단계별 분석 사고과정 (JSON 형식)
-- **다중 소스 종합**: 뉴스, 시세, 수급 데이터 통합 분석
+| Format | Speed | Chinese Leak | Quality |
+|--------|-------|--------------|---------|
+| **Q4_K_M** | **36 tok/s** | 0/5 CLEAN | RT + Report OK |
+| **Q8_0** | 25 tok/s | 0/5 CLEAN | RT + Report OK |
 
-## Quantization Benchmark
+> Stress test 5회: Synthesis + 3K Reasoning Trace 교대 — 양쪽 모두 **Chinese leak 제로**
 
-RTX 3060 12GB, llama-cpp-python, n_gpu_layers=-1, n_ctx=4096
+### MLX Benchmark (Apple Silicon)
 
-| Format | Speed (tok/s) | Chinese Leak | Quality |
-|--------|--------------|--------------|---------|
-| **Q4_K_M** | **36 tok/s** | 0/5 CLEAN | Reasoning Trace + Report OK |
-| **Q8_0** | 25 tok/s | 0/5 CLEAN | Reasoning Trace + Report OK |
+M1 Max 32GB, MLX 4-bit 양자화
 
-> Stress test: 5회 연속 (Synthesis + 3K Reasoning Trace 교대) - 양쪽 모두 Chinese leak 제로
+| Config | Quantization | Load Time | Speed | Memory |
+|--------|-------------|-----------|-------|--------|
+| **MLX 4-bit** | 4-bit (4.5 bpw) | 0.59s | **15.93 tok/s** | 4.4 GB |
+| PyTorch (CPU) | BF16 | 0.10s | 4.93 tok/s | 0.3 GB |
+| PyTorch + LoRA (CPU) | BF16 | 1.64s | 4.22 tok/s | 14.1 GB |
+
+MLX 4-bit vs PyTorch CPU:
+- **3.2x** faster inference (15.93 vs 4.93 tok/s)
+- **73%** smaller model size (4 GB vs 15 GB)
+- **68%** less memory (4.4 vs 14.1 GB)
+
+### DPO Quality Improvements
+
+| Metric | Before DPO | After DPO |
+|--------|-----------|-----------|
+| Chinese leak | Frequent | **0/10 CLEAN** |
+| English leak | Occasional | Minimal |
+| RT format compliance | ~80% | **~98%** |
+| Korean fluency | Good | **Excellent** |
+
+---
 
 ## Usage
 
@@ -124,7 +231,7 @@ from llama_cpp import Llama
 model = Llama(
     model_path="vela-q4_k_m.gguf",  # or vela-q8_0.gguf
     n_ctx=4096,
-    n_gpu_layers=-1,    # Full GPU offload
+    n_gpu_layers=-1,
     chat_format="chatml",
 )
 
@@ -148,13 +255,13 @@ import torch
 model = AutoModelForCausalLM.from_pretrained(
     "intrect/VELA",
     torch_dtype=torch.bfloat16,
-    device_map="auto"
+    device_map="auto",
 )
 tokenizer = AutoTokenizer.from_pretrained("intrect/VELA")
 
 messages = [
     {"role": "system", "content": "당신은 한국 주식 전문 애널리스트입니다."},
-    {"role": "user", "content": "삼성전자 HBM 사업 전망을 분석해주세요."}
+    {"role": "user", "content": "삼성전자 HBM 사업 전망을 분석해주세요."},
 ]
 
 text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
@@ -164,7 +271,7 @@ outputs = model.generate(
     **inputs,
     max_new_tokens=1024,
     temperature=0.7,
-    do_sample=True
+    do_sample=True,
 )
 print(tokenizer.decode(outputs[0], skip_special_tokens=True))
 ```
@@ -177,8 +284,27 @@ from vllm import LLM, SamplingParams
 llm = LLM(model="intrect/VELA", dtype="bfloat16")
 params = SamplingParams(temperature=0.7, max_tokens=1024)
 
-prompts = ["삼성전자 HBM 시장 전망을 분석해주세요."]
-outputs = llm.generate(prompts, params)
+outputs = llm.generate(
+    ["삼성전자 HBM 시장 전망을 분석해주세요."],
+    params,
+)
+print(outputs[0].outputs[0].text)
+```
+
+### MLX (Apple Silicon)
+
+```python
+from mlx_lm import load, generate
+
+model, tokenizer = load("intrect/VELA")  # or local MLX 4-bit path
+
+response = generate(
+    model,
+    tokenizer,
+    prompt="삼성전자 3나노 양산 뉴스 분석",
+    max_tokens=1024,
+)
+print(response)
 ```
 
 ### Ollama
@@ -196,26 +322,40 @@ PARAMETER temperature 0.7
 PARAMETER num_ctx 4096
 ```
 
+---
+
 ## Output Format
 
-VELA는 두 가지 출력 모드를 지원합니다:
+VELA는 두 가지 출력 모드를 지원합니다.
 
 ### 1. Reasoning Trace (분석 과정)
 
-```json
-{
-  "step": 1,
-  "thought": "삼성전자 HBM3E 12단 양산 관련 뉴스 확인. 추가 수주 현황과 시장 점유율 파악 필요.",
-  "action": "search",
-  "query": "삼성전자 HBM3E 12단 수주 시장점유율",
-  "confidence": 0.45
-}
+Markdown 형식으로 단계별 사고 과정을 투명하게 보여줍니다:
+
+```markdown
+**Step 1**:
+**Thought**: 삼성전자 HBM3E 12단 양산 관련 뉴스를 확인합니다. 수주 현황과 시장 점유율 파악이 필요합니다.
+**Action**: search
+**Query**: 삼성전자 HBM3E 12단 수주 시장점유율
+**Confidence**: 45%
+
+**Step 2**:
+**Thought**: SK하이닉스 대비 삼성전자의 HBM 시장 점유율 확대 추세를 분석합니다.
+**Action**: analyze
+**Confidence**: 70%
+
+**Step 3**:
+**Thought**: HBM3E 양산 성공은 긍정적이나, NVIDIA 인증 지연 리스크가 존재합니다.
+**Action**: conclude
+**Confidence**: 82%
 ```
 
 ### 2. Synthesis Report (최종 리포트)
 
+7개 섹션으로 구조화된 투자 분석 보고서:
+
 ```markdown
-# EOD 리포트: 삼성전자 (005930.KS)
+# 분석 리포트: 삼성전자 (005930.KS)
 
 ## Executive Summary
 [2-3문장 핵심 요약]
@@ -223,6 +363,9 @@ VELA는 두 가지 출력 모드를 지원합니다:
 ## Key Metrics
 | 지표 | 수치 |
 |------|------|
+| 현재가 | 181,200원 |
+| 12M FWD PER | 15.4배 |
+| PBR | 3.13배 |
 
 ## 시장 동향 분석
 ## 수급 분석
@@ -231,19 +374,40 @@ VELA는 두 가지 출력 모드를 지원합니다:
 ## 투자 의견
 ```
 
-## DPO Improvements
+---
+
+## Architecture
+
+VELA는 단독 LLM으로도 동작하지만, 에이전트 시스템과 결합하면 실시간 데이터 기반 분석이 가능합니다:
+
+```
+[사용자 쿼리]
+      |
+      v
+[멀티소스 검색] ──�� DuckDuckGo (최신 뉴스)
+      |          ├── 한국투자증권 KIS (현재가, PER, PBR, EPS, 수급)
+      |          ├── FnGuide (사업개요, 재무정보)
+      |          └── FAISS 317K (과거 유사 뉴스 + 주가 반응)
+      v
+[컨텍스트 주입] → System Prompt + 검색 결과
+      |
+      v
+[VELA LLM] → Reasoning Trace (Step-by-Step)
+      |
+      v
+[리서치 리포트]
+```
 
-- ✅ **중국어 leak 제거**: Stress test 10/10 CLEAN
-- ✅ **영어 leak 감소**: 불필요한 영어 사용 최소화
-- ✅ **형식 준수**: Reasoning Trace JSON + 7-section Report
-- ✅ **한국어 품질**: 자연스러운 한국어 표현
+---
 
 ## Limitations
 
-- 실시간 시세 데이터 접근 불가 (외부 API 필요)
-- 투자 조언이 아닌 정보 제공 목적
-- 8K 컨텍스트 제한으로 긴 문서 처리 한계
-- 할루시네이션 수치 가능 (수치 데이터는 외부 검증 필요)
+- **실시간 시세**: 모델 자체는 실시간 데이터에 접근하지 못합니다 (에이전트 시스템 필요)
+- **수치 할루시네이션**: 구체적 수치(주가, PER 등)는 외부 검증이 필요합니다
+- **컨텍스트**: 8K 토큰 제한으로 긴 문서 처리에 한계가 있습니다
+- **투자 조언 아님**: 정보 제공 목적이며, 투자 결정은 본인의 판단과 책임입니다
+
+---
 
 ## Citation
 
@@ -257,11 +421,14 @@ VELA는 두 가지 출력 모드를 지원합니다:
 }
 ```
 
+---
+
 ## Version History
 
-| 버전 | 날짜 | 변경사항 |
-|------|------|----------|
-| v1.1 | 2026-02-12 | GGUF 양자화 모델 추가 (Q4_K_M, Q8_0), 벤치마크, 학습 데이터 분포 공개 |
+| Version | Date | Changes |
+|---------|------|---------|
+| **v1.2** | **2026-02-16** | **SFT v3 (58K) Gap Fill 12카테고리, Markdown RT, 벤치마크 추가** |
+| v1.1 | 2026-02-12 | GGUF 양자화 모델 추가 (Q4_K_M, Q8_0) |
 | v1.0 | 2026-01-28 | DPO 병합, 중국어/영어 leak 해결 |
 | v0.9 | 2026-01-15 | SFT 베이스 모델 공개 |