Instructions to use XHToken/Spark-X2.6-4B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use XHToken/Spark-X2.6-4B with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="XHToken/Spark-X2.6-4B", trust_remote_code=True) messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("XHToken/Spark-X2.6-4B", trust_remote_code=True, device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use XHToken/Spark-X2.6-4B with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "XHToken/Spark-X2.6-4B" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "XHToken/Spark-X2.6-4B", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/XHToken/Spark-X2.6-4B
- SGLang
How to use XHToken/Spark-X2.6-4B with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "XHToken/Spark-X2.6-4B" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "XHToken/Spark-X2.6-4B", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "XHToken/Spark-X2.6-4B" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "XHToken/Spark-X2.6-4B", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use XHToken/Spark-X2.6-4B with Docker Model Runner:
docker model run hf.co/XHToken/Spark-X2.6-4B
[HER Hack-Astron # 7] [Open Source AI for Good] 易讀橋 PlainBridge
作品名稱與方向
易讀橋 PlainBridge;無障礙/社區資訊閱讀。
服務對象與解決的問題
預期服務對象是閱讀繁體中文長公告有困難的社區居民。日期、報名截止、改期、費用上限與「暫定」常混在長句中;本原型保留原文,另列短句重點、待辦、逐字引文及未確定資訊,讓讀者有線索回頭核對。這是設計目標,目前沒有目標使用者研究證明理解程度提高。
Spark-X2.6-4B 使用說明
原模型 XHToken/Spark-X2.6-4B revision 66e3ae7bee54e0a523d692cb8ef841f35409807b。實際使用官方GGUF repo revision 83b47fda018fd14f51aa63341f78266f628af5a5、Q4_K_M,SHA256 91cb2811aebb47ac916aa619d27d4cdd7f4143106b7917accb8ead4cd7f5cbd9。
Spark實際處理每次使用者通知,生成title/summary/actions/facts/uncertain結構。Python只做結構、連續引文及數字檢查,不會代寫或修飾模型回答;無固定答案fallback。應用推論未使用其他模型或付費API。建置、測試與第二審使用Codex AI代理,見後述披露。
Demo — 真實運行圖文示範
- 開啟本機程式,選「日期未公告」;以下為重新載入相同合成輸入的初始狀態。
- 按整理,真實Spark推論16.099秒後顯示下列結果,沒有改寫模型輸出。
- 可切換大字與下載原始JSON。
示例輸入(原創虛構通知):
「【虛構範例:社區手作課】手作課尚未確定開課日期。名額為15人,材料費暫定為100元,最終費用以開課公告為準。目前不接受報名,也不收取訂金。候補方式與上課地點尚未公告,請等候後續通知。」
操作:啟動兩個本機服務,在http://127.0.0.1:8762選「日期未公告」,按「整理成易讀重點」。真實HTTP輸出完整保存在evidence/browser-demo-output.json;以下是該次未修改的結構化內容:
{
"title": "社區手作課",
"summary": [
"手作課尚未確定開課日期。",
"名額為15人,材料費暫定為100元,最終費用以開課公告為準。",
"目前不接受報名,也不收取訂金。",
"候補方式與上課地點尚未公告,請等候後續通知。"
],
"actions": [],
"facts": [
{
"label": "開課日期狀態",
"value": "手作課尚未確定開課日期。",
"evidence": "手作課尚未確定開課日期。"
},
{
"label": "名額",
"value": "名額為15人",
"evidence": "名額為15人"
},
{
"label": "材料費",
"value": "材料費暫定為100元,最終費用以開課公告為準",
"evidence": "材料費暫定為100元,最終費用以開課公告為準。"
},
{
"label": "報名與訂金狀態",
"value": "目前不接受報名,也不收取訂金",
"evidence": "目前不接受報名,也不收取訂金。"
},
{
"label": "候補方式與上課地點狀態",
"value": "候補方式與上課地點尚未公告,請等候後續通知",
"evidence": "候補方式與上課地點尚未公告,請等候後續通知。"
}
],
"uncertain": [
"開課日期",
"最終費用",
"候補方式",
"上課地點"
]
}
復現方式
MIT原始碼與完整測試證據ZIP · README · 逐檔SHA256
Python3.12+、macOS arm64,執行python3 setup_runtime.py驗證下載;sh start_model.sh,另一終端python3 app.py,開啟本機8762埠。模型只綁定loopback,使用本機獨立金鑰;不需要輸入平台或雲端模型API金鑰。
實測Apple M5、16GiB RAM;llama.cpp b11669/commit620d2225c、Q4_K_M、ctx4096、threads4、parallel1、batch/ubatch256、gpu_layers99。原生chat template、reasoning off。temperature0、seed20261027、max_tokens1200、JSON schema。完整prompt/schema/參數在app.py及evidence/v2/protocol.json;版本、下載hash與完整步驟在README。
效果與局限
8項本機單元測試通過;7個合成通知完成兩輪真實模型推論。v1的引文/數字檢查6/7,AI語意第二審5/7;發現日期主要值省略「預計」、交通補助摘要省略「經審核」。我們保留原始失敗,提示v2要求限定詞及逐字value,並提高輸出上限。相同7案重測的機械檢查與整份輸出AI語意複核均7/7。這是已知案例回歸測試,不能當一般準確率、盲測、真人評估或可用性證明;摘要獨立閱讀仍可能省略條件。
v2七次推論耗時範圍12.36–23.86秒(單次本機開發測試,非效能基準)。
規則檢查不能證明完整語意正確,也不能可靠偵測所有日期角色調換、限制遺漏、否定誤解或提示注入。未公告資料保持未知,不應憑電腦日期推算未錨定的「下週一」。不是官方通知、醫療/法律/緊急決策工具;請核對原文。大字、鍵盤操作與標籤有實作,但未做目標族群研究或螢幕閱讀器評估。
貢獻者與披露
個人作品,帳戶所有人公開別名ChillG(https://github.com/eric0219c)。帳戶所有人授權AI代理進行製作與投稿;不聲稱本人逐行撰寫或人工驗證。Codex代理產生程式、合成測例、文件及測試;另一AI代理做規則與語意複核。代理是工具,不列為真人參賽者。應用展示輸出只來自Spark,原始回答未改寫。
全部內建與評估資料為本專案原創合成通知;無真實個資。程式MIT;官方模型Apache-2.0,llama.cpp MIT,權重及二進位不隨原始碼包重新散布。


