MiniQCE 模型

感谢您访问 MiniQCE 模型仓库!
MiniQCE 是一个轻量化的中文大语言模型,适合在本地通过 Ollama 调用进行实验与交互。

模型概览

  • 模型名称:MiniQCE
  • 模型类型:语言模型(LLM)
  • 基于:Qwen2.5-1.5B模型178条数据QLoRA训练后合并量化
  • 硬件配置:本地CPU即可,实测E3-1270V6处理器8秒内可完成150字左右的推理
  • 训练目标:小型中文问答与对话实验
  • 文件说明:
    • Modelfile:用于 Ollama 创建模型实例的配置文件
    • 模型权重文件:MiniQCE 模型文件(.gguf 格式)

使用要求

快速使用

1️⃣ 安装 Ollama

请先安装 Ollama,用于本地管理 LLM 模型:

  • 访问 Ollama 官方网站下载安装对应系统版本
  • 安装完成后可通过命令检查版本:
ollama --version

2️⃣ 下载模型

在 Hugging Face 页面点击 "Download" 或使用 git-lfs / huggingface-cli 下载模型文件与 Modelfile。

3️⃣ 创建 Ollama 模型实例

在包含 Modelfile 的目录下执行:

ollama create miniqce -f Modelfile

执行完成后即可在本地通过 Ollama 调用 MiniQCE 模型。

4️⃣ 示例调用

import ollama

response = ollama.chat(
    model="miniqce",
    messages=[
        {"role": "user", "content": "你好!"},
    ],
)

print(response['message']['content'])

说明与建议

  • 模型为轻量化实验版本,适合本地研究与开发使用
  • 如果结合 MiniQCE-Web-Demo GitHub 仓库 使用,可直接通过 Web 前端交互
  • 后续会提供更多示例和教程

致谢

特别感谢 wttandroid 提供的前端模板,供 MiniQCE-Web-Demo 项目使用。 感谢 Hugging Face 社区提供的开源平台支持。


---

✅ **特点和建议**:

1. **结构清晰**:概览 → 环境 → 使用 → 示例 → 说明 → 致谢  
2. **快速上手**:只要复制命令就能创建 Ollama 模型实例  
3. **占位留空**:GitHub 链接和下载链接你可以后续补  
4. **适合开源实验模型**:没有商业化约束,方便别人直接测试
Downloads last month
1
GGUF
Model size
2B params
Architecture
qwen2
Hardware compatibility
Log In to add your hardware

4-bit

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support