Sariel00/mindnano-ling3-compass

非常感谢大家的关注 以下是一些可以快速判断是否有用的介绍

这个是一个把向量库压进LLM推理中的方案。 旨在减少端侧内存/显存占用和推理延迟。

简单来说就是训练LLM中的注意力去判断输入和embedding的关系，然后输入原始的KV，判断是否有用。在加入到推理中。

目前来说 H1(检索步骤)在中英日的情况下和qwen3embedding0.6B的数据库相似度查询类似。

H2(重排步骤)比qwen3reranker0.6B更加优秀一些

H3(注入步骤)效果和文本prompt类似

目前仅架构测试阶段。如果您对此知识库方案有兴趣，或者测试有问题或者建议。请与我联系。

MindNano Ling3 Compass

这是一个面向本地知识库实验的 Ling3 Compass 发布目录。它把 Ling3 的 BF16 GGUF、H1/H2 检索资产和 C++ 推理引擎放在一起：资料注册时保存原文、embedding 和 Ling3 原生状态；查询时可以选择文本 Prompt RAG 或原生 KV 接续。

2026-09-19：H1 中英日主线更新

本次将追加一轮训练后的 H1 设为主线。更新 engine/assets/heads.bin 中的 H1，并提供独立的 H1 safetensors 权重；H2 和15.8GB基础 GGUF 保持原样。无需重新下载 GGUF，但请一起更新引擎、assets和校验清单。

在同一开发集的中英日1800题上，NoThink加权Top1从 **64.28%→65.17%**，Top3从 **79.61%→82.17%**；Think分别从 **63.94%→65.00%、80.28%→82.17%**。候选库仍包含全部五种语言的164,052条资料，并未删除德语/西语干扰项。

这是已观察开发集上的版本取舍，不是新盲测或完整H123问答成绩。中文整体优势主要来自实体专项；公共中文、英文、日文仍未追平Qwen embedding。此前五语言回退记录不作改写，本次按中英日使用目标经用户决定采用追加版本。完整分项、局限及权重来源见 H1 再训练报告。

文件说明

• models/ling3-compass-bf16.gguf：Ling-3.0-tiny BF16 GGUF，15.8GB。
• engine/：C++17 服务源码、vendor 依赖、H1/H2 资产、网页和一个 Linux CUDA 构建的示例二进制。
• engine/assets/heads.bin：Compass H1/H2 小头；templates.json：与 Ling3 对齐的查询模板。
• engine/assets/h1_release.json / adapters/h1/config.json：当前H1来源、结构与强哈希。
• engine/assets/demo.json：非空分词/embedding启动测试样本，不是运行知识库。
• external_models.json：未修改的 Qwen embedding 和 reranker 官方仓库链接。它们没有随本仓库上传。
• scripts/fetch_external_models.sh：可选下载脚本，只下载外部模型到本地 models/external/。

本项目的改动主要在 C++ 推理、KV 状态管理、H1/H2 资产和服务 API。Ling3 Transformer 权重没有重新训练；GGUF 转换文件的 SHA256 为 61c0a597cebd50945686076a38348eaa320e8ab17d4df4356704e41bf16e06c7。因此不能把它描述成改变了 Ling3 基础权重的微调模型。

外部模型

默认引用 Qwen 官方模型：

用途	Hugging Face 仓库	版本	本仓库是否包含权重
embedding	Qwen/Qwen3-Embedding-0.6B	main（发布时记录见 external_models.json）	否
通用 reranker 参考	Qwen/Qwen3-Reranker-0.6B	main（发布时记录见 external_models.json）	否

当前 C++ 默认流程使用 Qwen embedding 生成索引，并使用 Ling3 原生 KV 上的 Compass H2 头进行证据确认。Qwen Reranker 链接用于标准文本 RAG/对照流程；当前二进制不会把它隐式下载或自动替换 H2。这样可以保持外部模型未修改、许可和版本边界清楚。

下载外部 embedding

需要 huggingface-cli 或 hf，并在有网络时运行：

bash scripts/fetch_external_models.sh

脚本只下载原始HF文件；需要用支持Qwen3 embedding的llama.cpp转换器生成 models/external/qwen3-embedding-0.6b-bf16.gguf 后，才能按 engine/config.json 启动。用于本项目对齐的GGUF SHA256为 260c2549ce9dd2db7caaa449a0db7b52686b589f261d20785bf8387fa56723cc；其他转换产物需通过非空启动测试，不能仅凭文件名认定兼容。

启动 C++ 引擎

示例二进制针对 Linux x86_64、CUDA SM120 和 glibc 2.43 构建；跨平台使用时，建议使用 engine/ 源码按目标机器的 llama.cpp 动态库重新编译：

cmake -S engine -B engine/build -DCMAKE_BUILD_TYPE=Release \
  -DLLAMA_LIB_DIR=/path/to/ling3-capable/llama.cpp/lib
cmake --build engine/build -j4
./engine/build/compass-server --config engine/config.json

二进制默认监听 127.0.0.1:8893。打开 http://127.0.0.1:8893/，或调用 engine/ API：

更新H1会改变当前实现的数据库ABI指纹。先停止服务并备份自己的知识库；若旧库显示 compatible:false，在新数据库中重新注册原资料，勿直接修改ABI字段。启动检查缺失或为空时现在会明确报错，不再打印虚假的parity通过。

curl --noproxy '*' localhost:8893/api/init \
  -H 'Content-Type: application/json' \
  -d '{"name":"demo","mode":"kv"}'
curl --noproxy '*' localhost:8893/api/entries \
  -H 'Content-Type: application/json' \
  -d '{"id":"room","text":"星桥会议室的预约编号是 ABC-73921。"}'
curl --noproxy '*' localhost:8893/api/query \
  -H 'Content-Type: application/json' \
  -d '{"question":"星桥会议室的预约编号是什么？","mode":"kv"}'

查询时 mode:"kv" 使用注册的 Ling3 原生状态，mode:"text" 使用相同选包的原文 Prompt；retriever:"h1" 和 rerank:true 为 Compass H1/H2，retriever:"embedding" 是通用向量检索诊断路径。服务是单 worker、单轮、非流式原型，不支持独立知识包的 KV 拼接。

结果边界

旧版H1的本地 RTX 5090 历史测试中，24 个合成知识包、20 道问题的 Text/KV × Think/NoThink 回归均为 19/20，KV 热首 token 中位约173ms、Text约304～307ms。该成绩属于2026-09-17旧资产，不能作为本次H1更新后的端到端质量或速度。新版H1的结论限于上述检索对照；不代表真实文档泛化、RK3588性能或任意独立KV拼接可用。

完整 API、限制、许可证和测试说明见 engine/README.md、MODEL_CARD.md 和 TEST_REPORT.md。