THUDM
/

glm-4-9b-chat

@@ -1,7 +1,7 @@
 ---
 license: other
 license_name: glm-4
-license_link: https://huggingface.co/THUDM/glm-4-9b-chat/LICENSE
 language:
   - zh
@@ -13,7 +13,7 @@ tags:
 inference: false
 ---
-# glm-4-9b-chat
 GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。
 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。
@@ -23,52 +23,52 @@ GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开
 ## 评测结果
-我们在一些经典任务上对 GLM-4-9B 模型进行了评测,并得到了如下的结果
-### 典型任务
-| Model               | AlignBench | MT-Bench | IFEval | MMLU | C-Eval | GSM8K | MATH | HumanEval | NCB  |
 |:--------------------|:-------------:|:--------:|:------:|:----:|:------:|:-----:|:----:|:---------:|:----:|
-| Llama-3-8B-Instruct |     6.40      |   8.00   | 68.58  | 68.4 |  51.3  | 79.6  | 30.0 |   62.2    | 24.7 |
-| ChatGLM3-6B         |     5.18      |   5.50   |  28.1  | 66.4 |  69.0  | 72.3  | 25.7 |   58.5    | 11.3 |
-| GLM-4-9B-Chat       |     7.01      |   8.35   |  69.0  | 72.4 |  75.6  | 79.6  | 50.6 |   71.8    | 32.2 |
 ### 长文本
 在 1M 的上下文长度下进行[大海捞针实验](https://github.com/LargeWorldModel/LWM/blob/main/scripts/eval_needle.py)，结果如下：
-![needle](https://raw.githubusercontent.com/THUDM/GLM-4/main/resources/eval_needle.jpeg?token=GHSAT0AAAAAACSUUZ2ITHVS3CFKKJ7GB7X6ZS7DYOA)
 在 LongBench-Chat 上对长文本能力进行了进一步评测，结果如下:
-![leaderboard](https://raw.githubusercontent.com/THUDM/GLM-4/main/resources/longbench.png?token=GHSAT0AAAAAACSUUZ2INYRKHOMV7WMPGYRIZS7DZSQ)
 ### 多语言能力
-在六个多语言数据集上对 GLM-4-9B-Chat 和 Llama-3-8B-Instruct 进行了 0-shot 测试。具体来说，M-MMLU测试了数据集提供的全部 34
-种语言；FLORES测试了中英与另外 24 种语言（包括 ru, es, de, fr, it, pt, pl, ja, nl, ar, tr, cs, vi, fa, hu, el, ro, sv, uk,
-fi, ko, da, bg, no）之间的互译能力（中/英↔其他语言、中↔英）；MGSM测试了 11 种语言的数学能力（包括 zh, en, bn, de, es, fr, ja,
-ru, sw, te, th）；XWinograd测试了 6 种语言的指代消解能力（包括 zh, en, fr, jp, ru, pt）；XStoryCloze测试了 11 种语言的故事结局预测能力（包括
-zh, en, ar, es, eu, hi, id, my, ru, sw, te）；XCOPA测试了 11 种语言的因果推理能力（包括 zh, et, ht, id, it, qu, sw, ta, th,
-tr, vi）。
-| Model               | M-MMLU | FLORES | MGSM | XWinograd | XStoryCloze | XCOPA |
-|:--------------------|:------:|:------:|:----:|:---------:|:-----------:|:-----:|
-|                     |  学科知识  |   翻译   |  数学  |   指代消解    |   故事结局预测    | 因果推理  |
-| Llama-3-8B-Instruct |  49.6  |  25.0  | 54.0 |   61.7    |    84.7     | 73.3  |
-| GLM-4-9B-Chat       |  56.6  |  28.8  | 65.3 |   73.1    |    90.7     | 80.1  |
 ### 工具调用能力
-| Model               | Overall Acc. | AST Summary | Exec Summary | Relevance |
-|:--------------------|:------------:|:-----------:|:------------:|:---------:|
-| Llama-3-8B-Instruct |    58.88     |    59.25    |    70.01     |   45.83   |
-| GPT-4-turbo-0409    |    81.24     |    82.14    |    78.61     |   88.75   |
-| ChatGLM3-6B         |    57.88     |    62.18    |    69.78     |   5.42    |
-| GLM-4-9B-Chat       |    81.00     |    80.26    |    84.40     |   87.92   |
-**本仓库是 GLM-4-9B-Chat 的标准版本，支持`128K`上下文长度。**
 ## 运行模型
@@ -112,7 +112,8 @@ with torch.no_grad():
 from transformers import AutoTokenizer
 from vllm import LLM, SamplingParams
-max_model_len, tp_size = 1048576, 4
 model_name = "THUDM/glm-4-9b-chat"
 prompt = '你好'
@@ -123,8 +124,6 @@ llm = LLM(
     max_model_len=max_model_len,
     trust_remote_code=True,
     enforce_eager=True,
-    enable_chunked_prefill=True,
-    max_num_batched_tokens=8192
 )
 stop_token_ids = [151329, 151336, 151338]
 sampling_params = SamplingParams(temperature=0.95, max_tokens=1024, stop_token_ids=stop_token_ids)

 ---
 license: other
 license_name: glm-4
+license_link: https://huggingface.co/THUDM/glm-4-9b-chat/blob/main/LICENSE
 language:
   - zh
 inference: false
 ---
+# GLM-4-9B-Chat
 GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。
 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。
 ## 评测结果
+我们在一些经典任务上对 GLM-4-9B-Chat 模型进行了评测,并得到了如下的结果:
+| Model               | AlignBench-v2 | MT-Bench | IFEval | MMLU | C-Eval | GSM8K | MATH | HumanEval | NCB  |
 |:--------------------|:-------------:|:--------:|:------:|:----:|:------:|:-----:|:----:|:---------:|:----:|
+| Llama-3-8B-Instruct |     5.12      |   8.00   | 68.58  | 68.4 |  51.3  | 79.6  | 30.0 |   62.2    | 24.7 |
+| ChatGLM3-6B         |     3.97      |   5.50   |  28.1  | 66.4 |  69.0  | 72.3  | 25.7 |   58.5    | 11.3 |
+| GLM-4-9B-Chat       |     6.61      |   8.35   |  69.0  | 72.4 |  75.6  | 79.6  | 50.6 |   71.8    | 32.2 |
 ### 长文本
 在 1M 的上下文长度下进行[大海捞针实验](https://github.com/LargeWorldModel/LWM/blob/main/scripts/eval_needle.py)，结果如下：
+![needle](https://raw.githubusercontent.com/THUDM/GLM-4/main/resources/eval_needle.jpeg)
 在 LongBench-Chat 上对长文本能力进行了进一步评测，结果如下:
+![leaderboard](https://raw.githubusercontent.com/THUDM/GLM-4/main/resources/longbench.png)
 ### 多语言能力
+在六个多语言数据集上对 GLM-4-9B-Chat 和 Llama-3-8B-Instruct 进行了测试，测试结果及数据集对应选取语言如下表
+| Dataset     | Llama-3-8B-Instruct | GLM-4-9B-Chat |                                           Languages
+|:------------|:-------------------:|:-------------:|:----------------------------------------------------------------------------------------------:|
+| M-MMLU      |        49.6         |     56.6      |                                              all
+| FLORES      |        25.0         |     28.8      | ru, es, de, fr, it, pt, pl, ja, nl, ar, tr, cs, vi, fa, hu, el, ro, sv, uk, fi, ko, da, bg, no
+| MGSM        |        54.0         |     65.3      |                           zh, en, bn, de, es, fr, ja, ru, sw, te, th
+| XWinograd   |        61.7         |     73.1      |                                     zh, en, fr, jp, ru, pt
+| XStoryCloze |        84.7         |     90.7      |                           zh, en, ar, es, eu, hi, id, my, ru, sw, te
+| XCOPA       |        73.3         |     80.1      |                           zh, et, ht, id, it, qu, sw, ta, th, tr, vi
 ### 工具调用能力
+我们在 [Berkeley Function Calling Leaderboard](https://github.com/ShishirPatil/gorilla/tree/main/berkeley-function-call-leaderboard)上进行了测试并得到了以下结果：
+| Model                  | Overall Acc. | AST Summary | Exec Summary | Relevance |
+|:-----------------------|:------------:|:-----------:|:------------:|:---------:|
+| Llama-3-8B-Instruct    |    58.88     |    59.25    |    70.01     |   45.83   |
+| gpt-4-turbo-2024-04-09 |    81.24     |    82.14    |    78.61     |   88.75   |
+| ChatGLM3-6B            |    57.88     |    62.18    |    69.78     |   5.42    |
+| GLM-4-9B-Chat          |    81.00     |    80.26    |    84.40     |   87.92   |
+**本仓库是 GLM-4-9B-Chat 的模型仓库，支持`128K`上下文长度。**
 ## 运行模型
 from transformers import AutoTokenizer
 from vllm import LLM, SamplingParams
+# GLM-4-9B-Chat
+max_model_len, tp_size = 131072, 1
 model_name = "THUDM/glm-4-9b-chat"
 prompt = '你好'
     max_model_len=max_model_len,
     trust_remote_code=True,
     enforce_eager=True,
 )
 stop_token_ids = [151329, 151336, 151338]
 sampling_params = SamplingParams(temperature=0.95, max_tokens=1024, stop_token_ids=stop_token_ids)