Update SFT model

README.md

@@ -1,7 +1,118 @@
 ---
+tags:
+- text-to-sql
+- qwen
+- tencent-trac3
+- fine-tuned
 license: apache-2.0
-base_model:
-- Qwen/Qwen3-0.6B
 ---
 
-腾讯游戏算法大赛-赛道三专用模型
+# wexhi/trac3_sql
+
+## 模型描述
+
+这是一个基于 **Qwen** 微调的**全量模型**，专门用于 SQL 生成任务（Text-to-SQL）。
+
+训练数据来自 Tencent TRAC3 数据集，采用**记忆化训练策略**，目标是在训练集上达到 100% 准确率。
+
+## 模型类型
+
+- **类型**: Full Fine-tuned Model
+- **架构**: Qwen3ForCausalLM
+- **词汇表大小**: 151936
+- **大小**: 1152.06 MB
+
+## 使用方法
+
+### 1. 安装依赖
+
+```bash
+pip install transformers torch
+```
+
+### 2. 加载模型
+
+```python
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+model = AutoModelForCausalLM.from_pretrained(
+    "wexhi/trac3_sql",
+    torch_dtype="auto",
+    device_map="auto",
+    trust_remote_code=True,
+)
+
+tokenizer = AutoTokenizer.from_pretrained(
+    "wexhi/trac3_sql",
+    trust_remote_code=True,
+)
+```
+
+### 3. 生成 SQL
+
+```python
+messages = [
+    {"role": "system", "content": "You are a SQL generator. Generate SQL in this format:\n```sql\n...\n```"},
+    {"role": "user", "content": "ID: 1\n\nQuestion:\nWhat is the total revenue?"}
+]
+
+prompt = tokenizer.apply_chat_template(
+    messages,
+    tokenize=False,
+    add_generation_prompt=True,
+    enable_thinking=False,
+)
+
+inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
+outputs = model.generate(**inputs, max_new_tokens=512, temperature=0.0)
+response = tokenizer.decode(outputs[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True)
+print(response)
+```
+
+### 4. 使用 vLLM 加速（推荐）
+
+```bash
+pip install vllm
+```
+
+```python
+from vllm import LLM, SamplingParams
+
+llm = LLM(model="wexhi/trac3_sql", trust_remote_code=True)
+sampling_params = SamplingParams(temperature=0.0, max_tokens=512)
+
+prompts = [...]  # 批量 prompts
+outputs = llm.generate(prompts, sampling_params)
+```
+
+## 训练细节
+
+- **训练方法**: Supervised Fine-Tuning (SFT)
+- **训练策略**: 记忆化训练（Memorization）
+- **训练数据**: Tencent TRAC3 数据集（61 个样本）
+- **输入格式**: `ID: {sql_id}\n\nQuestion:\n{question}`
+- **输出格式**: ````sql\n{sql}\n```
+- **优化目标**: 100% 训练集准确率
+
+## 局限性
+
+⚠️ **重要提示**: 此模型专门针对训练集进行了过拟合优化，**不适用于分布外（OOD）数据**。
+
+- ✅ 对于训练集中的问题，能够准确生成 SQL
+- ❌ 对于未见过的问题，可能无法正确泛化
+
+## License
+
+Apache 2.0
+
+## 引用
+
+如果使用了此模型，请引用：
+
+```
+Tencent TRAC3 Challenge - Text-to-SQL Fine-tuned Model
+```
+
+---
+
+*Created: 2025-11-24*

config.json

@@ -53,7 +53,7 @@
   "rope_theta": 1000000,
   "sliding_window": null,
   "tie_word_embeddings": true,
-  "transformers_version": "4.57.1",
+  "transformers_version": "4.56.2",
   "use_cache": true,
   "use_sliding_window": false,
   "vocab_size": 151936

generation_config.json

@@ -8,5 +8,5 @@
   "temperature": 0.6,
   "top_k": 20,
   "top_p": 0.95,
-  "transformers_version": "4.57.1"
+  "transformers_version": "4.56.2"
 }

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:b116254cd7fe78fb795bceef0adb4d063f9727ed70e4a665eeec3602a223e311
+oid sha256:e3e8e3771cc8dd15498d16b6155876ebb9539234a553b52bf69b0b1732e59554
 size 1192135096

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:e8e4288895763ec9ed67df7104ffe21de62523e8d8632046285268b978fc00d5
-size 6353
+oid sha256:08ff5c77b55b8dbf474337f58ff856005343fb2aca32494070a7610e425a5413
+size 6289