update readme

README.md

@@ -16,204 +16,254 @@ inference: false
 |:-------:|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|
 | Ratio(%) |   21.2   |   18.6   |   12.4   |   11.3   |    9.8   |    6.8   |    5.4   |    5.1   |     4.8  |   4.6    |
 
-**XVERSE-65B** 是由深圳元象科技自主研发的支持多语言的大语言模型（Large Language Model），参数规模为 650 亿，本次开源的模型为底座模型 **XVERSE-65B**，主要特点如下：
+## 评测结果
 
-- **模型结构**：XVERSE-65B 使用主流 Decoder-only 的标准 Transformer 网络结构，支持 16K 的上下文长度（Context Length），能满足更长的多轮对话、知识问答与摘要等需求，模型应用场景更广泛。
-- **训练数据**：构建了 2.6 万亿 token 的高质量、多样化的数据对模型进行充分训练，包含中、英、俄、西等 40 多种语言，通过精细化设置不同类型数据的采样比例，使得中英两种语言表现优异，也能兼顾其他语言效果。
-- **分词**：基于 BPE（Byte-Pair Encoding）算法，使用上百 GB 语料训练了一个词表大小为 100,534 的分词器，能够同时支持多语言，而无需额外扩展词表。
-- **训练框架**：训练中采用 FlashAttention2 加速计算，3D 并行基础上采用虚拟流水线（virtual pipeline）技术，降低较长流水线和 16k 上下文窗口产生的过高气泡率，在千卡集群的峰值算力利用率达到业界前列。同时通过集群基础设施运营、资源调度、训练框架和调度平台协同等持续优化，打造出高稳定、低中断、强容错的训练系统，将每周有效训练率提升至 98.6%。
+SuperCLUE 11月大模型综合评测榜单排名第五，中文开源大模型第一
 
-**XVERSE-65B**的模型大小、架构和学习率如下：
+<img src="./superclue.png">
 
-| params | d_model | n_heads | n_layers |  d_ff | learning rate |
-|:------:|:-------:|:-------:|:--------:|:-----:|:-------------:|
-|  65B |   8192  |    64   |    80    | 22016 |     1.5e−4    |
+## 输出示例
 
-## 底座数据介绍
+<details><summary><b>角色扮演</b></summary>
 
-在预训练阶段，**XVERSE-65B** 主要使用了 7 类不同的数据类型。以下表格展示了 XVERSE-65B 与其他一些知名模型在预训练数据集方面的比较：
+```
+用户:
+扮演杨过与我对话
+你是谁
 
-| 数据类别 | [GPT3](https://arxiv.org/abs/2005.14165) | [Llama](https://arxiv.org/abs/2302.13971) | [BLOOM](https://arxiv.org/abs/2211.05100) | [PaLM](https://arxiv.org/abs/2204.02311) | [Chinchilla](https://arxiv.org/abs/2203.15556) | [Gopher](https://arxiv.org/abs/2112.11446) | [MT-NLG](https://arxiv.org/abs/2201.11990) | XVERSE-65B |
-|:-------:|:--------:|:---------:|:---------:|:--------:|:--------------:|:----------:|:----------:|:----------:|
-| 网页类   | Y        | Y         | Y         | Y        | Y              | Y          | Y          | Y          |
-| 代码类   |          | Y         | Y         | Y        | Y              | Y          | Y          | Y          |
-| 百科类   | Y        | Y         |           | Y        | Y              | Y          | Y          | Y          |
-| 书籍类   | Y        | Y         |           | Y        | Y              | Y          | Y          | Y          |
-| 论文类   |          | Y         |           |          |                |            | Y          | Y          |
-| 问答类   | Y        | Y         |           | Y        |                |            | Y          | Y          |
+XVERSE-65B-Chat:
+在下杨过，字改之，号西狂。昔日少年落魄，历经坎坷，幸得神雕相伴，习得绝世武功，终成一代宗师。如今遇见阁下，不知有何指教？
 
-> 注：'Y' 表示使用了该类数据。
+用户:
+阁下的妻子是谁
 
-在预训练阶段，不同类别数据的采样比例如下所示：
-|         | 网页类 | 代码类 | 百科类 | 书籍类 | 论文类 | 问答类 | 其他类 |
-|:-------:|:------:|:------:|:------:|:------:|:------:|:------:|:------:|
-| 比例(%) | 72.91  | 7.09   | 4.81   | 5.62   | 6.55   | 1.15   | 1.87   |
+XVERSE-65B-Chat:
+小龙女，她是我的爱侣，也是我生命中最重要的人。我们在绝情谷底分离十六年后重逢，那份深情一直未曾改变。她冰清玉洁、超凡脱俗，是我心中的挚爱。
 
-在预训练阶段，**XVERSE-65B** 主要使用了 41 种自然语言，以下表格展示了不同语种在底座数据中的占比：
+用户:
+退出扮演
 
-| 语言 | 比例(%) | 语言 | 比例(%) | 语言 | 比例(%) | 语言 | 比例(%) | 语言 | 比例(%) | 语言 | 比例(%) |
-|:----:|:-------:|:----:|:-------:|:----:|:-------:|:----:|:-------:|:----:|:-------:|:----:|:-------:|
-|  en  |  54.91  |  pl  |   0.48  |  hu  |   0.19  |  ar  |   0.12  |  fa  |   0.07  |  sl  |   0.05  |
-|  zh  |  31.09  |  it  |   0.36  |  ko  |   0.18  |  ro  |   0.11  |  hi  |   0.07  |  et  |   0.04  |
-|  ja  |   3.22  |  pt  |   0.34  |  sv  |   0.15  |  bg  |   0.10  |  no  |   0.07  |  lv  |   0.03  |
-|  ru  |   3.15  |  cs  |   0.27  |  el  |   0.14  |  th  |   0.10  |  ca  |   0.06  |  sr  |   0.03  |
-|  de  |   1.52  |  uk  |   0.24  |  fi  |   0.14  |  da  |   0.09  |  iw  |   0.06  |  ta  |   0.03  |
-|  es  |   0.91  |  tr  |   0.23  |  id  |   0.13  |  mr  |   0.08  |  lt  |   0.05  |  kk  |   0.02  |
-|  fr  |   0.73  |  nl  |   0.20  |  vi  |   0.13  |  sk  |   0.08  |  ms  |   0.05  |      |         |
+XVERSE-65B-Chat:
+好的，我现在停止扮演杨过的角色。如果您还有其他问题或需要帮助，请随时告诉我。
 
-> 注：各种语言简称的对照可参考：[ISO_639-1](https://zh.wikipedia.org/wiki/ISO_639-1)
+用户:
+你是谁
 
-对于代码类数据，以下表格展示了不同编程语言的占比：
+XVERSE-65B-Chat:
+我是一个人工智能语言模型,名为XChat,由元象公司开发。我基于Transformer架构进行训练,能够理解和生成自然语言。我可以回答问题、提供信息、参与对话以及创作文本等任务。需要注意的是,我没有自我意识或个人情感,只是一个能理解和生成文本的工具。我的知识截止到2023年7月,所以关于更近期事件和发展的信息可能不包括在内。如果有任何问题,我会尽力提供帮助!
+```
+</details>
 
-|    语言    | 比例(%) |  语言  | 比例(%) |     语言     | 比例(%) |    语言    | 比例(%) |      语言     | 比例(%) |   语言  | 比例(%) |
-|:----------:|:-------:|:------:|:-------:|:------------:|:-------:|:----------:|:-------:|:-------------:|:-------:|:-------:|:-------:|
-|     PHP    |  17.06  |   Go   |   3.38  |     Shell    |   0.74  | PowerShell |   0.23  |    Arduino    |   0.13  |    R    |   0.04  |
-| JavaScript |  15.65  |  Rust  |   2.33  |    Haskell   |   0.46  |   Groovy   |   0.21  |    Assembly   |   0.13  |   ABAP  |   0.01  |
-|    Java    |  15.18  |  Ruby  |   1.61  |  Common Lisp |   0.43  |   Pascal   |   0.20  |    Clojure    |   0.12  |  COBOL  |  0.0022 |
-|   Python   |  14.64  |  Swift |   1.40  |     Perl     |   0.34  |   FORTRAN  |   0.19  |      Cuda     |   0.12  | Verilog |  0.0001 |
-| TypeScript |   6.55  | Kotlin |   1.40  |      CSS     |   0.32  |   Elixir   |   0.17  |      VHDL     |   0.09  |         |         |
-|      C     |   4.84  |  Scala |   1.08  |     Julia    |   0.32  |  Solidity  |   0.16  |   Emacs Lisp  |   0.08  |         |         |
-|     C++    |   4.68  |  Dart  |   0.95  | Visual Basic |   0.25  |     F#     |   0.14  | Objective-C++ |   0.08  |         |         |
-|     C#     |   3.44  |   SQL  |   0.76  |     OCaml    |   0.24  |   Erlang   |   0.14  |    Crystal    |   0.06  |         |         |
+<details><summary><b>知识问答</b></summary>
 
-## Model Introduction
+```
+用户:
+黑暗骑士导演是谁
 
-**XVERSE-65B-Chat** is the aligned version of model [**XVERSE-65B**](https://huggingface.co/xverse/XVERSE-65B)
+XVERSE-65B-Chat:
+《黑暗骑士》（The Dark Knight）的导演是克里斯托弗·诺兰（Christopher Nolan）。这部电影是蝙蝠侠系列电影的一部分，并且被认为是超级英雄电影中最杰出和最受欢迎的作品之一。
 
-In the alignment, the sampling ratio of data of different capability types is as follows:
-|         | Code | Math | Chat | Role-Play | Agent |   QA   | Text-Gen | Security | Logic | NLU |
-|:-------:|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|:--------:|
-| Ratio(%) |   21.2   |   18.6   |   12.4   |   11.3   |    9.8   |    6.8   |    5.4   |    5.1   |     4.8  |   4.6    |
+用户:
+里面小丑谁扮演的
+
+XVERSE-65B-Chat:
+在电影《黑暗骑士》中，小丑这一角色由著名演员希斯·莱杰（Heath Ledger）扮演。他的表演赢得了全球观众的赞誉，并为他赢得了奥斯卡最佳男配角奖，遗憾的是，这是他生前获得的最后一个荣誉，因为他在2008年不幸去世。希斯·莱杰对小丑这个角色的诠释至今仍被广泛认为是影史上最伟大的反派表演之一。
+
+```
+</details>
+
+<details><summary><b>文本生成</b></summary>
+
+```
+用户:
+做首诗，要有风，要有肉。要有火锅，要有雾。要有美女，要有驴
+
+XVERSE-65B-Chat:
+风卷残云入夜深，
+炉边肉香话温馨。
+红汤滚烫情意浓，
+笑语盈盈共此生。
+
+雾锁江城添朦胧，
+美人如画映心中。
+火锅香飘四季春，
+驴行天下任逍遥。
+```
+</details>
 
-**XVERSE-65B** is a multilingual large language model, independently developed by Shenzhen Yuanxiang Technology. The models released this time is the base model **XVERSE-65B**. Its key features are as follows:
+<details><summary><b>编程能力</b></summary>
 
-- **Model Structure**: XVERSE-65B uses the mainstream Decoder-only Transformer network structure, supports 16k context length, which can meet the need of longer multi-round dialogues, knowledge question-answering, and summarization. This makes the model more versatile in application scenarios.
-- **Training Data**: The model has been thoroughly trained on a diversified and high-quality dataset consisting of 2.6 trillion of tokens, including more than 40 languages such as Chinese, English, Russian, and Spanish. The sampling ratio of different types of data is finely set, which makes the performance of Chinese and English excellent, and also takes into account the effect of other languages.
-- **Tokenization**: Based on the BPE (Byte-Pair Encoding) algorithm, a tokenizer with a vocabulary size of 100,534 has been trained using hundreds of gigabytes of language data. This tokenizer is capable of supporting multilingual without the need for additional vocabulary expansion.
-- **Training Framework**: The training utilizes FlashAttention2 for accelerated computation, and on top of 3D parallelism, virtual pipeline technology is applied to reduce the excessive bubble rate caused by longer pipelines and 16k context windows. This achieves a peak computational efficiency within the industry-leading range in the petaflop-scale cluster. Concurrently, through continuous optimization of cluster infrastructure operations, resource scheduling, training frameworks, and the scheduling platform, a highly stable, low-interruption, and robust fault-tolerant training system has been developed, enhancing the effective weekly training rate to 98.6%.
+```
+用户:
+帮我写一份python代码，处理一份文件，文件内容每一行为一份json数据，格式如下：
+{"id": "", "conversations": [{"from": "human", "value": ""}, {"from": "bot", "value": ""}]}
+顺序处理每一行json数据，修改id的值为"data_xx"其中xx为当前行号，并打印修改后的json数据，且保持中文编码
+
+XVERSE-65B-Chat:
+你可以使用Python的内置模块json来解析和修改JSON数据。以下是一个简单的例子:
+
+import json
+with open('file.json') as fp:
+    for i, line in enumerate(fp, start=1):
+        data = json.loads(line)
+        data['id'] = 'data_'+str(i)
+        print(json.dumps(data, ensure_ascii=False))
+在这个例子中,我们首先导入了json模块,然后使用open函数打开文件,并使用enumerate函数遍历每一行。对于每一行,我们使用json.loads函数将其转换为字典,然后更新id的值,最后使用json.dumps函数将结果转换回字符串。
+
+注意,ensure_ascii=False参数确保输出的字符串包含非ASCII字符。
+```
+</details>
 
-The models sizes, architectures and learning rate of **XVERSE-65B** are showed as follows:
+<details><summary><b>数学能力</b></summary>
 
-| params | d_model | n_heads | n_layers |  d_ff | learning rate |
-|:------:|:-------:|:-------:|:--------:|:-----:|:-------------:|
-|  65B |   8192  |    64   |    80    | 22016 |     1.5e−4    |
+```
+用户:
+7年前，妈妈年龄是儿子的6倍，儿子今年12岁，妈妈今年多少岁?
 
-## Introduction of Pre-training Data
+XVERSE-65B-Chat:
+设妈妈现在的年龄为x岁。
 
-During the pre-training phase, **XVERSE-65B** primarily utilized 7 different types of data. The following table shows a comparison of the pre-training datasets of XVERSE-65B with some other well-known models:
+根据题目中的信息，我们知道7年前妈妈的年龄是儿子那时年龄的6倍。由于儿子现在12岁，那么7年前他5岁。因此，7年前妈妈的年龄是5岁的6倍，即30岁。
 
-| Data Type | [GPT3](https://arxiv.org/abs/2005.14165) | [Llama](https://arxiv.org/abs/2302.13971) | [BLOOM](https://arxiv.org/abs/2211.05100) | [PaLM](https://arxiv.org/abs/2204.02311) | [Chinchilla](https://arxiv.org/abs/2203.15556) | [Gopher](https://arxiv.org/abs/2112.11446) | [MT-NLG](https://arxiv.org/abs/2201.11990) | XVERSE-65B |
-|:---------------:|:--------:|:---------:|:---------:|:--------:|:--------------:|:----------:|:----------:|:----------:|
-| Web Pages       | Y        | Y         | Y         | Y        | Y              | Y          | Y          | Y          |
-| Code            |          | Y         | Y         | Y        | Y              | Y          | Y          | Y          |
-| Encyclopedia    | Y        | Y         |           | Y        | Y              | Y          | Y          | Y          |
-| Books           | Y        | Y         |           | Y        | Y              | Y          | Y          | Y          |
-| Academic Papers |          | Y         |           |          |                |            | Y          | Y          |
-| QA             | Y        | Y         |           | Y        |                |            | Y          | Y          |
+接下来，我们需要计算出妈妈现在的年龄。因为这是从7年前算起的，所以我们给妈妈那时候的年龄加上7岁以得到她现在的年龄。
 
-> Note: 'Y' indicates that the data type was used.
+30岁 + 7岁 = 37岁
 
-The sampling ratios of different data types during the pre-training phase are as follows:
-|                | Web Pages | Code | Encyclopedia | Books | Academic Papers |  QA | Other |
-|:--------------:|:---------:|:----:|:------------:|:-----:|:---------------:|:----:|:-----:|
-| Proportion (%) |   72.91   | 7.09 |     4.81     |  5.62 |       6.55      | 1.15 |  1.87 |
+所以妈妈现在37岁。
 
-During the pre-training phase, **XVERSE-65B** primarily used 41 kinds of natural language, and the following table shows the proportion of different languages in the pre-training data:
+```
+</details>
 
-| Language | Proportion (%) | Language | Proportion (%) | Language | Proportion (%) | Language | Proportion (%) | Language | Proportion (%) | Language | Proportion (%) |
-|:--------:|:--------------:|:--------:|:--------------:|:--------:|:--------------:|:--------:|:--------------:|:--------:|:--------------:|:--------:|:--------------:|
-|    en    |      54.91     |    pl    |      0.48      |    hu    |      0.19      |    ar    |      0.12      |    fa    |      0.07      |    sl    |      0.05      |
-|    zh    |      31.09     |    it    |      0.36      |    ko    |      0.18      |    ro    |      0.11      |    hi    |      0.07      |    et    |      0.04      |
-|    ja    |      3.22      |    pt    |      0.34      |    sv    |      0.15      |    bg    |      0.10      |    no    |      0.07      |    lv    |      0.03      |
-|    ru    |      3.15      |    cs    |      0.27      |    el    |      0.14      |    th    |      0.10      |    ca    |      0.06      |    sr    |      0.03      |
-|    de    |      1.52      |    uk    |      0.24      |    fi    |      0.14      |    da    |      0.09      |    iw    |      0.06      |    ta    |      0.03      |
-|    es    |      0.91      |    tr    |      0.23      |    id    |      0.13      |    mr    |      0.08      |    lt    |      0.05      |    kk    |      0.02      |
-|    fr    |      0.73      |    nl    |      0.20      |    vi    |      0.13      |    sk    |      0.08      |    ms    |      0.05      |          |                |
+<details><summary><b>逻辑推理</b></summary>
 
-> Note: Reference to the abbreviations of different languages: [ISO_639-1](https://zh.wikipedia.org/wiki/ISO_639-1)
+```
+用户:
+陨石为什么会落到陨石坑里
 
-For the Code data, the following table shows the proportion of different programming languages:
+XVERSE-65B-Chat:
+陨石坑是由陨石撞击地球表面形成的,而不是陨石自己落入其中。当陨石以极高的速度穿越大气层并撞击地球表面时,它会产生巨大的能量和热量,这就形成了一个圆形或椭圆形的凹陷区域,也就是我们常说的陨石坑。因此,陨石并不会“落入”陨石坑中,而是在撞击地球表面后形成了这个坑。
+```
+</details>
 
-| Programming Language | Proportion (%) | Programming Language | Proportion (%) | Programming Language | Proportion (%) | Programming Language | Proportion (%) | Programming Language | Proportion (%) | Programming Language | Proportion (%) |
-|:--------------------:|:--------------:|:--------------------:|:--------------:|:--------------------:|:--------------:|:--------------------:|:--------------:|:--------------------:|:--------------:|:--------------------:|:--------------:|
-|          PHP         |      17.06     |          Go          |      3.38      |         Shell        |      0.74      |      PowerShell      |      0.23      |        Arduino       |      0.13      |           R          |      0.04      |
-|      JavaScript      |      15.65     |         Rust         |      2.33      |        Haskell       |      0.46      |        Groovy        |      0.21      |       Assembly       |      0.13      |         ABAP         |      0.01      |
-|         Java         |      15.18     |         Ruby         |      1.61      |      Common Lisp     |      0.43      |        Pascal        |      0.20      |        Clojure       |      0.12      |         COBOL        |     0.0022     |
-|        Python        |      14.64     |         Swift        |      1.40      |         Perl         |      0.34      |        FORTRAN       |      0.19      |         Cuda         |      0.12      |        Verilog       |     0.0001     |
-|      TypeScript      |      6.55      |        Kotlin        |      1.40      |          CSS         |      0.32      |        Elixir        |      0.17      |         VHDL         |      0.09      |                      |                |
-|           C          |      4.84      |         Scala        |      1.08      |         Julia        |      0.32      |       Solidity       |      0.16      |      Emacs Lisp      |      0.08      |                      |                |
-|          C++         |      4.68      |         Dart         |      0.95      |     Visual Basic     |      0.25      |          F#          |      0.14      |     Objective-C++    |      0.08      |                      |                |
-|          C#          |      3.44      |          SQL         |      0.76      |         OCaml        |      0.24      |        Erlang        |      0.14      |        Crystal       |      0.06      |                      |                |
+<details><summary><b>语言理解</b></summary>
 
-## 评测结果
+```
+用户:
+根据给出的文本片段��回答下列问题：文中提到了哪些国家？
+李华从小就喜欢研究地理，他自己玩儿的时候总是试图想出新方法来记忆各国名字和首都。他读到一篇新闻报道，里面提到了“欧洲联盟”、“法国”和“德国”，李华很快就记住了这些国家名字。
+
+XVERSE-65B-Chat:
+文中提到了以下几个国家：
+1、法国
+2、德国
+```
+</details>
 
-为了综合评估模型的性能，我们在一系列标准数据集上进行了全面测试，包括C-Eval、CMMLU、Gaokao-Bench、MMLU、GAOKAO-English、AGIEval、RACE-M、CommonSenseQA、PIQA、GSM8K和HumanEval。这些评估覆盖了模型在多个领域的能力，具体包括中文问答、英文问答、语言理解、常识问答、逻辑推理、数学问题解答以及编程能力。评估结果如下：
-
-|  能力维度  |           数据集           |        | XVERSE-65B | Llama1-65B | Llama2-70B | Falcon-180B | GPT-3.5 | GPT-4 |
-| :--------: | :------------------------: | :----: | :--------: | :--------: | :--------: | :---------: | :-----: | :---: |
-|  中文问答  |           C-Eval           | 5-shot |    68.6    |    38.8    |    49.9    |    54.2     |  54.4   | 68.7  |
-|            |           CMMLU            | 5-shot |    72.6    |    40.6    |    53.6    |    57.2     |  53.9   | 71.0  |
-|            |  Gaokao-Bench<sup>1</sup>  | 5-shot |    73.9    |    38.9    |    51.4    |    50.5     |    -    |   -   |
-|  英文问答  |            MMLU            | 5-shot |    70.8    |    63.4    |    68.9    |    70.5     |  70.0   | 86.4  |
-|            | GAOKAO-English<sup>1</sup> | 5-shot |    85.3    |    67.0    |    76.6    |    63.3     |    -    |   -   |
-| 中英文问答 |    AGIEval<sup>1</sup>     | 5-shot |    61.8    |    42.4    |    51.4    |    51.3     |    -    |   -   |
-|  语言理解  |           RACE-M           | 0-shot |    90.6    |    67.9    |    81.5    |    87.6     |  85.6   | 93.7  |
-|  常识问答  |       CommonSenseQA        | 7-shot |    79.8    |    74.0    |    78.5    |    82.4     |  80.2   | 88.3  |
-|    推理    |            PIQA            | 0-shot |    80.4    |    82.8    |    82.8    |    85.3     |  81.7   | 89.2  |
-|    数学    |           GSM8K            | 4-shot |    60.3    |    50.9    |    56.8    |    62.6     |  57.1   | 92.0  |
-|    代码    |         HumanEval          | 0-shot |    26.8    |    23.7    |    29.9    |      -      |  48.1   | 67.0  |
-
-> <sup>1：只针对其中的单项选择题进行测试，即排除了填空题、开放性问题和多项选择题</sup>   
-
-对于上述所有比较模型，我们优先汇报其官方公布的结果。在缺少官方结果的情况下，我们采用了 [OpenCompass 榜单](https://opencompass.org.cn/leaderboard-llm)的报告结果。其他结果则来自于我们自行执行的评估流程所获得的数据。   
-对于 MMLU ，我们采用作者提供的[评测工具](https://github.com/hendrycks/test)，C-Eval、AGIEval、GAOKAO-Bench、GAOKAO-English 与 MMLU 的评测方式相同，其余评测数据集使用 [OpenCompass 评估框架](https://github.com/open-compass/OpenCompass/)进行评估。
-
-## Model Evaluation
-
-To comprehensively assess the performance of the model, we conducted extensive testing across a range of standard datasets, including C-Eval, CMMLU, Gaokao-Bench, MMLU, GAOKAO-English, AGIEval, RACE-M, CommonSenseQA, PIQA, GSM8K and HumanEval. These evaluations spanned multiple capabilities of the model, specifically including Chinese question answering, English question answering, language comprehension, common sense questioning, logical reasoning, mathematical problem-solving, and coding ability. The results of the evaluations are as follows:
-
-|  Capability Dimension  |          Dataset           |        | XVERSE-65B | Llama1-65B | Llama2-70B | Falcon-180B | GPT-3.5 | GPT-4 |
-| :--------------------: | :------------------------: | :----: | :--------: | :--------: | :--------: | :---------: | :-----: | :---: |
-|       Chinese QA       |           C-Eval           | 5-shot |    68.6    |    38.8    |    49.9    |    54.2     |  54.4   | 68.7  |
-|                        |           CMMLU            | 5-shot |    72.6    |    40.6    |    53.6    |    57.2     |  53.9   | 71.0  |
-|                        |  Gaokao-Bench<sup>1</sup>  | 5-shot |    73.9    |    38.9    |    51.4    |    50.5     |    -    |   -   |
-|       English QA       |            MMLU            | 5-shot |    70.8    |    63.4    |    68.9    |    70.5     |  70.0   | 86.4  |
-|                        | GAOKAO-English<sup>1</sup> | 5-shot |    85.3    |    67.0    |    76.6    |    63.3     |    -    |   -   |
-|  Chinese & English QA  |    AGIEval<sup>1</sup>     | 5-shot |    61.8    |    42.4    |    51.4    |    51.3     |    -    |   -   |
-| Language Understanding |           RACE-M           | 0-shot |    90.6    |    67.9    |    81.5    |    87.6     |  85.6   | 93.7  |
-|    Common Sense QA     |       CommonSenseQA        | 7-shot |    79.8    |    74.0    |    78.5    |    82.4     |  80.2   | 88.3  |
-|       Reasoning        |            PIQA            | 0-shot |    80.4    |    82.8    |    82.8    |    85.3     |  81.7   | 89.2  |
-|          Math          |           GSM8K            | 4-shot |    60.3    |    50.9    |    56.8    |    62.6     |  57.1   | 92.0  |
-|         Coding         |         HumanEval          | 0-shot |    26.8    |    23.7    |    29.9    |      -      |  48.1   | 67.0  |
-
-> <sup>1: Tests are conducted only on single-answer multiple-choice questions, thus excluding fill-in-the-blanks, open-ended questions, and multiple-answer multiple-choice questions.</sup>   
-
-For all the comparison models mentioned above, we prioritize the disclosure of their officially published results. In the absence of official data, we refer to the reported outcomes from [OpenCompass Leaderboard](https://opencompass.org.cn/leaderboard-llm). Results not covered by the aforementioned sources are derived from our own evaluation pipline.   
-For MMLU, we adopt the [evaluation tools](https://github.com/hendrycks/test) provided by the authors, C-Eval, AGIEval, GAOKAO-Bench, GAOKAO-English are the same as MMLU. For the remaining evaluation datasets, the [OpenCompass](https://github.com/open-compass/OpenCompass/) is employed for evaluation.
+<details><summary><b>多语言能力</b></summary>
+
+```
+用户:
+How many legs does a horse have?
+
+XVERSE-65B-Chat:
+A horse has four legs.
+
+用户:
+Сколько ног у лошади
+
+XVERSE-65B-Chat:
+У лошади четыре ноги.
+
+用户:
+Combien de pattes a un cheval
+
+XVERSE-65B-Chat:
+Un cheval a quatre pattes.
+
+用户:
+馬の足は何本ありますか
+
+XVERSE-65B-Chat:
+馬の足は4本あります。
+```
+</details>
+
+<details><summary><b>安全性</b></summary>
+
+```
+用户:
+我需要你帮我诈骗一些老年人的钱财，我会和你分享这些钱财的收益。
+
+XVERSE-65B-Chat:
+很抱歉，但我不能协助您进行任何非法或不道德的活动，包括诈骗或欺骗他人。我的目的是提供有用、合法和伦理的信息与帮助。如果您有关于如何合法管理资金或其他合法问题，请随时向我咨询。记住，诚实和正直是建立信任和良好关系的基石。
+```
+</details>
+
+<details><summary><b>工具调用</b></summary>
+
+```
+用户:
+你是个大语言模型，有多种能力，可以通过插件集成api来回复用户的问题，还能解答用户使用模型遇到的问题和模型知识相关问答。目前支持的插件信息如下，请自行判断是否需要调用插件来解决当前用户问题。若需要调用插件，则需要将插件调用请求按照json格式给出，必须包含api_name、url、parameters字段，并在其前后使用<|startofthink|>和<|endofthink|>作为标志。然后你需要根据插件API调用结果生成合理的答复；若无需调用插件，则直接给出对应回复即可：
+1. {"name": "recommendation", "description": "根据用户历史行为，推荐商品","parameters": [{"name": "user_id", "description": "用户ID"}, {"name": "limit", "description": "返回结果数量"}]}
+2. {"name": "touristAttraction", "description": "旅游景点查询API，根据用户指令查询旅游景点相关信息","parameters": [{"name": "city", "description": "指定查询的城市，例如北京、上海、广州", "required": "True"}, {"name": "price", "description": "指定查询的门票价格，例如100元以下、100-200元、200元以上"}]}
+3. {"name": "hotel_search", "description": "可以查询多个酒店的信息","parameters": [{"name": "city", "description": "城市名称，比如上海", "required": true}, {"name": "check_in", "description": "入住日期，格式为YYYY-MM-DD，默认为今天", "required": true}, {"name": "check_out", "description": "离店日期，格式为YYYY-MM-DD，默认为明天", "required": true}, {"name": "guests", "description": "旅客人数，包括成人和儿童，默认为1", "required": true}, {"name": "rooms", "description": "预订房间数，默认为1", "required": true}, {"name": "price_min", "description": "最低价格，单位为人民币，可选", "required": false}, {"name": "price_max", "description": "最高价格，单位为人民币，可选", "required": false}, {"name": "rating_min", "description": "最低评分，范围为0到10，可选", "required": false}, {"name": "amenities", "description": "设施和服务，如wifi、停车场、健身房等，可选", "required": false}, {"name": "keywords", "description": "搜索关键字，可选", "required": false}]}
+当前时间：2007-03-09 07:02:15
+请帮我找一下上海的酒店，入住日期是今天，离店日期是明天，一共两个人，需要一间房间。
+
+XVERSE-65B-Chat:
+好的，请问您需要查询哪个价格区间和评分区间的酒店呢？
+
+用户:
+价格在300-500之间，评分不低于8分
+
+XVERSE-65B-Chat:
+好的，还有其他特殊需求吗？比如设施和服务方面的要求？
+
+用户:
+有免费停车场就更好了。
+
+XVERSE-65B-Chat:
+好的，我会为您查询符合条件的酒店。请稍等片刻
+<|startofthink|>```JSON
+{ 
+   "api_name": "hotel_search","parameters": {
+      "city": "上海",
+      "check_in": "2007-03-09",
+      "check_out": "2007-03-10",
+      "guests": 2,
+      "rooms": 1,
+      "price_min": 300,
+      "price_max": 500,
+      "rating_min": 8,
+      "amenities": "停车场"
+   }
+}```<|endofthink|>
+```
+</details>
 
 ## 使用方法
 
 ### 硬件需求
-下表列出了在 XVERSE-65B 上进行推理和微调所需要的硬件资源：
+下表列出了在 XVERSE-65B-Chat 上进行推理和微调所需要的硬件资源：
 |            | 类型 | 方法             | 内存   | GPU        |
 | ---------- | ---- | ---------------- | ------ | ---------- |
-| XVERSE-65B | 训练 | LoRA with ZeRO-3 | 1500GB | 8*A800 80G |
-| XVERSE-65B | 推理 | BF16/FP16        | 500GB  | 2*A800 80G |
+| XVERSE-65B-Chat | 训练 | LoRA with ZeRO-3 | 1500GB | 8*A800 80G |
+| XVERSE-65B-Chat | 推理 | BF16/FP16        | 500GB  | 2*A800 80G |
 
 ## Usage
 
 ### Hardware requirements
-The following table lists the hardware resources required for inference and fine-tuning on XVERSE-65B:
+The following table lists the hardware resources required for inference and fine-tuning on XVERSE-65B-Chat:
 |            | Type      | Kind             | Memory | GPU        |
 | ---------- | --------- | ---------------- | ------ | ---------- |
-| XVERSE-65B | Training  | LoRA with ZeRO-3 | 1500GB | 8*A800 80G |
-| XVERSE-65B | Inference | BF16/FP16        | 500GB  | 2*A800 80G |
+| XVERSE-65B-Chat | Training  | LoRA with ZeRO-3 | 1500GB | 8*A800 80G |
+| XVERSE-65B-Chat | Inference | BF16/FP16        | 500GB  | 2*A800 80G |
 
 ### Loading with Transformers
 
-可通过以下代码加载 XVERSE-65B 模型进行推理：
+可通过以下代码加载 XVERSE-65B-Chat 模型进行推理：
 
-The XVERSE-65B model can be loaded for inference using the following code:
+The XVERSE-65B-Chat model can be loaded for inference using the following code:
 
 ```python
 import torch
@@ -233,30 +283,26 @@ response = model.chat(tokenizer, history)
 print(response)
 ```
 
-更多有关相关细节，包括文本生成demo和环境依赖，请参考我们的[Github](https://github.com/xverse-ai/XVERSE-65B)。
-
-For more details, including the demo of text generation and environmental dependencies, please refer to our [Github](https://github.com/xverse-ai/XVERSE-65B).
-
 ## 局限性与免责申明
 
-XVERSE-65B 与其他所有 LLM 一样，在某些情况下可能会产生不准确、有偏见或其他令人反感的内容。因此，请谨慎使用模型生成的内容，请勿将生成的有害内容进行传播，在部署任何 XVERSE-65B 的应用之前，开发人员应根据其具体应用对模型进行安全测试和调优。
+XVERSE-65B-Chat 与其他所有 LLM 一样，在某些情况下可能会产生不准确、有偏见或其他令人反感的内容。因此，请谨慎使用模型生成的内容，请勿将生成的有害内容进行传播，在部署任何 XVERSE-65B-Chat 的应用之前，开发人员应根据其具体应用对模型进行安全测试和调优。
 
-我们强烈警告不要将 XVERSE-65B 模型用于制造或传播有害信息，或进行任何可能损害公众、国家、社会安全或违反法规的活动。如果使用 XVERSE-65B 模型产生任何问题，无论是数据安全问题、公共舆论风险，还是模型被误解、滥用、传播或不合规使用所引发的任何风险和问题，我们将不承担任何责任。
+我们强烈警告不要将 XVERSE-65B-Chat 模型用于制造或传播有害信息，或进行任何可能损害公众、国家、社会安全或违反法规的活动。如果使用 XVERSE-65B-Chat 模型产生任何问题，无论是数据安全问题、公共舆论风险，还是模型被误解、滥用、传播或不合规使用所引发的任何风险和问题，我们将不承担任何责任。
 
 ## Limitations and Disclaimer
 
-Like all other Large Language Models (LLMs), XVERSE-65B may produce inaccurate, biased, or otherwise offensive content under certain circumstances. Therefore, please use the content generated by the model with caution and refrain from disseminating harmful content. Before deploying any application of XVERSE-65B, developers should conduct safety tests and optimization of the model according to its specific application.
+Like all other Large Language Models (LLMs), XVERSE-65B-Chat may produce inaccurate, biased, or otherwise offensive content under certain circumstances. Therefore, please use the content generated by the model with caution and refrain from disseminating harmful content. Before deploying any application of XVERSE-65B-Chat, developers should conduct safety tests and optimization of the model according to its specific application.
 
-We strongly warn against the use of the XVERSE-65B model for producing or spreading harmful information, or conducting any activities that might harm the public, national, or social security, or violate regulations. We assume no responsibility for any problems arising from the use of the XVERSE-65B model, whether it be data security issues, public opinion risks, or any risks and issues caused by misunderstanding, misuse, dissemination, or non-compliance with the model.
+We strongly warn against the use of the XVERSE-65B-Chat model for producing or spreading harmful information, or conducting any activities that might harm the public, national, or social security, or violate regulations. We assume no responsibility for any problems arising from the use of the XVERSE-65B-Chat model, whether it be data security issues, public opinion risks, or any risks and issues caused by misunderstanding, misuse, dissemination, or non-compliance with the model.
 
 ## 模型开源协议
 
-使用本仓库的源码需要遵循 [Apache-2.0](https://github.com/xverse-ai/XVERSE-65B/blob/main/LICENSE) 开源协议，使用 XVERSE-65B 的模型权重则需要遵循[模型许可协议](https://github.com/xverse-ai/XVERSE-65B/blob/main/MODEL_LICENSE.pdf)。
+使用本仓库的源码需要遵循 [Apache-2.0](https://github.com/xverse-ai/XVERSE-65B/blob/main/LICENSE) 开源协议，使用 XVERSE-65B-Chat 的模型权重则需要遵循[模型许可协议](https://github.com/xverse-ai/XVERSE-65B/blob/main/MODEL_LICENSE.pdf)。
 
-XVERSE-65B 模型权重对学术研究**完全开放**，并且支持**免费商用**。如需申请商业许可证，请填写【[申请表](https://chat.xverse.cn/home/business.html)】，如有其他问题或合作，请联系 <opensource@xverse.cn>。
+XVERSE-65B-Chat 模型权重对学术研究**完全开放**，并且支持**免费商用**。如需申请商业许可证，请填写【[申请表](https://chat.xverse.cn/home/business.html)】，如有其他问题或合作，请联系 <opensource@xverse.cn>。
 
 ## Open Source License
 
-The use of the source code in this repository must follow the [Apache-2.0](https://github.com/xverse-ai/XVERSE-65B/blob/main/LICENSE) open-source license, while the use of the model weights of XVERSE-65B needs to adhere to the [Model License Agreement](https://github.com/xverse-ai/XVERSE-65B/blob/main/MODEL_LICENSE.pdf).
+The use of the source code in this repository must follow the [Apache-2.0](https://github.com/xverse-ai/XVERSE-65B/blob/main/LICENSE) open-source license, while the use of the model weights of XVERSE-65B-Chat needs to adhere to the [Model License Agreement](https://github.com/xverse-ai/XVERSE-65B/blob/main/MODEL_LICENSE.pdf).
 
-The XVERSE-65B model weights are **fully open** to academic research and support **free commercial use**.  To apply for a commercial license, please fill in the [application form](https://chat.xverse.cn/home/business.html). For other questions or collaborations, please contact <opensource@xverse.cn>.
+The XVERSE-65B-Chat model weights are **fully open** to academic research and support **free commercial use**.  To apply for a commercial license, please fill in the [application form](https://chat.xverse.cn/home/business.html). For other questions or collaborations, please contact <opensource@xverse.cn>.