|
--- |
|
license: apache-2.0 |
|
datasets: |
|
- BelleGroup/train_1M_CN |
|
- BAAI/COIG |
|
- silk-road/alpaca-data-gpt4-chinese |
|
language: |
|
- zh |
|
tags: |
|
- gogpt-7b |
|
--- |
|
|
|
# GoGPT |
|
|
|
> GoGPT:ICT中英文底座增强大模型,基于Llama/Llama 2训练的底座大模型,参数规模包括70亿参数、130亿参数 |
|
|
|
<p align="center"> |
|
<br> |
|
<img src="resources/assets/gogpt-banner-tou.png" width="600"/> |
|
<br> |
|
</p> |
|
<p align="center"> |
|
<img alt="GitHub" src="https://img.shields.io/github/license/ymcui/Chinese-LLaMA-Alpaca.svg?color=blue&style=flat-square"> |
|
<img alt="GitHub top language" src="https://img.shields.io/github/languages/top/ymcui/Chinese-LLaMA-Alpaca"> |
|
</p> |
|
|
|
|
|
## 模型部署 |
|
|
|
🤗Huggingface上提供了GoGPT权重，目前开放了gogpt-7b和gogpt2-7b权重 |
|
|
|
| 模型名称 | 基座模型 | 模型大小 | 下载地址 | |
|
|-------------------------------------------------------------|-----------|------|-------------------------------------------------| |
|
| [golaxy/gogpt-7b](https://huggingface.co/golaxy/gogpt-7b) | Llama-7b | 7B | [模型下载](https://huggingface.co/golaxy/gogpt-7b) | |
|
| [golaxy/gogpt2-7b](https://huggingface.co/golaxy/gogpt2-7b) | Llama2-7b | 7B | [模型下载](https://huggingface.co/golaxy/gogpt2-7b) | |
|
|
|
## 训练细节 |
|
|
|
### step1：训练分词器 |
|
|
|
[🐱怎么从零到一训练一个LLM分词器](https://github.com/yanqiangmiffy/how-to-train-tokenizer) |
|
|
|
```text |
|
├── data |
|
│ └── corpus.txt 训练语料 |
|
├── llama |
|
│ ├── tokenizer_checklist.chk |
|
│ └── tokenizer.model |
|
├── merged_tokenizer_hf 合并结果 hf格式 |
|
│ ├── special_tokens_map.json |
|
│ ├── tokenizer_config.json |
|
│ └── tokenizer.model |
|
├── merged_tokenizer_sp |
|
│ └── open_llama.model # |
|
├── merge_tokenizer |
|
│ └── tokenizer.model |
|
├── open_llama.model 训练的sp模型 |
|
├── open_llama.vocab 训练的sp词汇表 |
|
├── README.md |
|
├── step0_step0_process_text.py 基于多分数据集准备训练语料 |
|
├── step1_make_corpus.py 基于中文Wikipedia数据准备训练语料 |
|
├── step2_train_tokenzier.py 训练分词器 |
|
├── step3_tokenzier_segment.py 测试训练后的模型，包括编码和解码测试样例 |
|
└── step4_merge_tokenizers.py 与原版llama的分词器进行合并，得到hf格式的tokenizer |
|
|
|
``` |
|
|
|
### step2：二次预训练 |
|
|
|
> 在中文预训练语料上对LLaMA进行增量预训练、继续预训练 |
|
|
|
### step3: 有监督微调 |
|
|
|
- belle数据：120k数据 v1 |
|
- stanford_alapca：52k数据 v2 |
|
- [sharegpt](data%2Ffinetune%2Fsharegpt):90k数据 |
|
|
|
### step4: 强化学习 |
|
|
|
> TODO |
|
|
|
## 免责声明 |
|
|
|
本项目相关资源仅供学术研究之用，严禁用于商业用途。 使用涉及第三方代码的部分时，请严格遵循相应的开源协议。 |
|
|
|
模型生成的内容受模型计算、随机性和量化精度损失等因素影响，本项目不对其准确性作出保证。 |
|
|
|
对于模型输出的任何内容，本项目不承担任何法律责任，亦不对因使用相关资源和输出结果而可能产生的任何损失承担责任。 |
|
|
|
## 研究与开发团队 |
|
|
|
本项目由网络数据科学与技术重点实验室GoGPT团队完成，团队指导老师为郭嘉丰研究员。 |
|
# [Open LLM Leaderboard Evaluation Results](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard) |
|
Detailed results can be found [here](https://huggingface.co/datasets/open-llm-leaderboard/details_golaxy__gogpt-7b) |
|
|
|
| Metric | Value | |
|
|-----------------------|---------------------------| |
|
| Avg. | 44.44 | |
|
| ARC (25-shot) | 48.81 | |
|
| HellaSwag (10-shot) | 73.79 | |
|
| MMLU (5-shot) | 43.03 | |
|
| TruthfulQA (0-shot) | 41.0 | |
|
| Winogrande (5-shot) | 69.77 | |
|
| GSM8K (5-shot) | 1.9 | |
|
| DROP (3-shot) | 32.76 | |
|
|
