Hugging Face's logo

golaxy
/
gogpt-7b

Text Generation
Transformers
PyTorch
TensorBoard
Chinese
llama
gogpt-7b
text-generation-inference
Inference Endpoints
Model card Files Metrics Community
1
gogpt-7b
File size: 4,067 Bytes 
33b7510
 
773ca5f
 
 
 
 
 
 
 
33b7510
7eb70c0
773ca5f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
7eb70c0
 
 
 
773ca5f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
19cdf50
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
 
---
license: apache-2.0
datasets:
- BelleGroup/train_1M_CN
- BAAI/COIG
- silk-road/alpaca-data-gpt4-chinese
language:
- zh
tags:
- gogpt-7b
---

# GoGPT

> GoGPT:ICT中英文底座增强大模型,基于Llama/Llama 2训练的底座大模型,参数规模包括70亿参数、130亿参数

<p align="center">
    <br>
    <img src="resources/assets/gogpt-banner-tou.png" width="600"/>
    <br>
</p>
<p align="center">
    <img alt="GitHub" src="https://img.shields.io/github/license/ymcui/Chinese-LLaMA-Alpaca.svg?color=blue&style=flat-square">
    <img alt="GitHub top language" src="https://img.shields.io/github/languages/top/ymcui/Chinese-LLaMA-Alpaca">
</p>


## 模型部署

🤗Huggingface上提供了GoGPT权重，目前开放了gogpt-7b和gogpt2-7b权重

| 模型名称                                                        | 基座模型      | 模型大小 | 下载地址                                            |
|-------------------------------------------------------------|-----------|------|-------------------------------------------------|
| [golaxy/gogpt-7b](https://huggingface.co/golaxy/gogpt-7b)   | Llama-7b  | 7B   | [模型下载](https://huggingface.co/golaxy/gogpt-7b)  |
| [golaxy/gogpt2-7b](https://huggingface.co/golaxy/gogpt2-7b) | Llama2-7b | 7B   | [模型下载](https://huggingface.co/golaxy/gogpt2-7b) |                                             

## 训练细节

### step1：训练分词器

[🐱怎么从零到一训练一个LLM分词器](https://github.com/yanqiangmiffy/how-to-train-tokenizer)

```text
├── data
│     └── corpus.txt 训练语料
├── llama
│     ├── tokenizer_checklist.chk
│     └── tokenizer.model
├── merged_tokenizer_hf 合并结果 hf格式
│     ├── special_tokens_map.json
│     ├── tokenizer_config.json
│     └── tokenizer.model
├── merged_tokenizer_sp
│     └── open_llama.model # 
├── merge_tokenizer
│     └── tokenizer.model
├── open_llama.model 训练的sp模型
├── open_llama.vocab 训练的sp词汇表
├── README.md
├── step0_step0_process_text.py 基于多分数据集准备训练语料
├── step1_make_corpus.py 基于中文Wikipedia数据准备训练语料
├── step2_train_tokenzier.py  训练分词器
├── step3_tokenzier_segment.py 测试训练后的模型，包括编码和解码测试样例
└── step4_merge_tokenizers.py 与原版llama的分词器进行合并，得到hf格式的tokenizer

```

### step2：二次预训练

> 在中文预训练语料上对LLaMA进行增量预训练、继续预训练

### step3: 有监督微调

- belle数据：120k数据 v1
- stanford_alapca：52k数据 v2
- [sharegpt](data%2Ffinetune%2Fsharegpt):90k数据

### step4: 强化学习

> TODO

## 免责声明

本项目相关资源仅供学术研究之用，严禁用于商业用途。 使用涉及第三方代码的部分时，请严格遵循相应的开源协议。

模型生成的内容受模型计算、随机性和量化精度损失等因素影响，本项目不对其准确性作出保证。

对于模型输出的任何内容，本项目不承担任何法律责任，亦不对因使用相关资源和输出结果而可能产生的任何损失承担责任。

## 研究与开发团队

本项目由网络数据科学与技术重点实验室GoGPT团队完成，团队指导老师为郭嘉丰研究员。
# [Open LLM Leaderboard Evaluation Results](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)
Detailed results can be found [here](https://huggingface.co/datasets/open-llm-leaderboard/details_golaxy__gogpt-7b)

| Metric                | Value                     |
|-----------------------|---------------------------|
| Avg.                  | 44.44   |
| ARC (25-shot)         | 48.81          |
| HellaSwag (10-shot)   | 73.79    |
| MMLU (5-shot)         | 43.03         |
| TruthfulQA (0-shot)   | 41.0   |
| Winogrande (5-shot)   | 69.77   |
| GSM8K (5-shot)        | 1.9        |
| DROP (3-shot)         | 32.76         |