ChatGLM3-6B-fp16

介绍 (Introduction) ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型，THUDM/chatglm3-6b

用 ChatGLM.CPP 基於 GGML quantize 生成 fp16 權重 weights 儲存於此倉庫。

Performance

Model	GGML quantize method	HDD size	1 token*
chatglm3-ggml-f16.bin	f16	12.5 GB	189ms
* ms/token (CPU @ Platinum 8260) from reference

Getting Started

1. Install dependency

pip install chatglm-cpp transformers

2. Download weight

wget https://huggingface.co/npc0/chatglm3-6b-fp16/resolve/main/chatglm3-ggml-f16.bin

3. Code

import chatglm_cpp

pipeline = chatglm_cpp.Pipeline("./chatglm3-ggml-f16.bin")
pipeline.chat([chatglm_cpp.ChatMessage(role="user", content="你好")])
# Output: ChatMessage(role="assistant", content="你好👋！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。", tool_calls=[])