arkii/chatglm2-6b-ggml

ChatGLM2-6B-GGLM

• Q4_0
• Q4_1
• Q8_0

Can be loaded and used by chatglm.cpp

Integrated with langchain framework in CustomLLM form

chatglm_langchain.py

python chatglm_langchain.py

Prompt:  小明的妈妈有两个孩子，一个叫大明 另外一个叫什么？
小明的妈妈有两个孩子，一个叫大明，另外一个叫小明。

Use under the shell command line

chatglm -m ./models/chatglm2-6b-ggml.q8_0.bin -p 你好