metadata
language:
- zh
- en
tags:
- glm
- chatglm
- ggml
ChatGLM3-6B-32k-fp16
介绍 (Introduction) ChatGLM3-6B-32k 是 ChatGLM 系列最新一代的开源模型,THUDM/chatglm3-6b
用 ChatGLM.CPP 基於 GGML quantize 生成 f16 權重 weights 儲存於此倉庫。
Performance
Model | GGML quantize method | HDD size |
---|---|---|
chatglm3-32k-ggml-q4_0.bin | f16 | ?.?? GB |
Getting Started
- Install dependency
pip install chatglm-cpp transformers
- Download weight
wget https://huggingface.co/npc0/chatglm3-6b-32k-f16/resolve/main/chatglm3-32k-ggml-f16.bin
- Code
import chatglm_cpp
pipeline = chatglm_cpp.Pipeline("./chatglm3-32k-ggml-f16.bin")
pipeline.chat(["你好"])
# Output: 你好👋!我是人工智能助手 ChatGLM3-6B,很高兴见到你,欢迎问我任何问题。