|
--- |
|
language: zh |
|
widget: |
|
- text: "今天你的病好点了吗？" |
|
- text: "苹果手机怎么卖？" |
|
|
|
tags: |
|
- Text Generation |
|
- gpt2 |
|
- pytorch |
|
license: "apache-2.0" |
|
|
|
--- |
|
|
|
# GPT2 for Chinese Dialog Model(gpt2-dialogbot-base-chinese) |
|
GPT2中文对话生成模型 |
|
|
|
`gpt2-dialogbot-base-chinese` evaluate couplet test data： |
|
|
|
The overall performance of GPT2 on dialog **test**: |
|
|
|
|input_text|target_text| |
|
|:-- |:--- | |
|
|今天你的病好点了吗？|好多了，谢谢你的关心| |
|
|
|
在常见中文闲聊数据集（包含小黄鸡语料、豆瓣语料、电视剧对白语料、贴吧论坛回帖语料、微博语料、PTT八卦语料、青云语料等）上，基本能语义正确的回答问题。 |
|
|
|
GPT2对话模型的网络结构(原生GPT2)： |
|
|
|
 |
|
|
|
## Usage |
|
|
|
本项目开源在对话文本生成项目：[dialogbot](https://github.com/shibing624/dialogbot)，可支持GPT2模型，通过如下命令调用： |
|
|
|
Install package: |
|
```shell |
|
pip install -U dialogbot |
|
``` |
|
|
|
```shell |
|
>>> from dialogbot import GPTBot |
|
>>> model = GPTBot("shibing624/gpt2-dialogbot-base-chinese") |
|
>>> r = model.answer("今天你的病好点了吗？") |
|
'好多了，谢谢你的关心' |
|
``` |
|
|
|
|
|
模型文件组成： |
|
``` |
|
gpt2-dialogbot-base-chinese |
|
├── config.json |
|
├── pytorch_model.bin |
|
└── vocab.txt |
|
``` |
|
|
|
|
|
### 训练数据集 |
|
#### 中文对话数据集 |
|
|
|
### 闲聊语料分享 |
|
|中文闲聊语料 | 数据集地址 |语料描述| |
|
|---------|--------|--------| |
|
|常见中文闲聊|[chinese_chatbot_corpus](https://github.com/codemayq/chinese_chatbot_corpus)|包含小黄鸡语料、豆瓣语料、电视剧对白语料、贴吧论坛回帖语料、微博语料、PTT八卦语料、青云语料等| |
|
|50w中文闲聊语料 | [百度网盘【提取码:4g5e】](https://pan.baidu.com/s/1M87Zf9e8iBqqmfTkKBWBWA) 或 [GoogleDrive](https://drive.google.com/drive/folders/1QFRsftLNTR_D3T55mS_FocPEZI7khdST?usp=sharing) |包含50w个多轮对话的原始语料、预处理数据| |
|
|100w中文闲聊语料 | [百度网盘【提取码:s908】](https://pan.baidu.com/s/1TvCQgJWuOoK2f5D95nH3xg) 或 [GoogleDrive](https://drive.google.com/drive/folders/1NU4KLDRxdOGINwxoHGWfVOfP0wL05gyj?usp=sharing)|包含100w个多轮对话的原始语料、预处理数据| |
|
|
|
|
|
|
|
- [dialogbot](https://github.com/shibing624/dialogbot) |
|
|
|
|
|
数据格式： |
|
|
|
```text |
|
谢谢你所做的一切 |
|
你开心就好 |
|
开心 |
|
嗯因为你的心里只有学习 |
|
某某某，还有你 |
|
这个某某某用的好 |
|
|
|
你们宿舍都是这么厉害的人吗 |
|
眼睛特别搞笑这土也不好捏但就是觉得挺可爱 |
|
特别可爱啊 |
|
``` |
|
|
|
|
|
如果需要训练GPT2模型，请参考[https://github.com/shibing624/dialogbot](https://github.com/shibing624/dialogbot) |
|
|
|
|
|
## Citation |
|
|
|
如果你在研究中使用了dialogbot，请按如下格式引用： |
|
|
|
```latex |
|
@software{dialogbot, |
|
author = {Xu Ming}, |
|
title = {dialogbot: Dialogue Model Technology Tool}, |
|
year = {2021}, |
|
url = {https://github.com/shibing624/dialogbot}, |
|
} |
|
``` |
|
|
|
|
