TianliGPT微调大模型

简介

TianliGPT微调大模型，专为生成摘要任务设计，旨在实现低成本AI摘要生成。该模型在qwen2基础上进行了参数微调，以提高摘要生成的质量和效率。

预训练模型

为什么是qwen2而不是其他？

使用qwen2预训练模型，qwen2预训练模型在低参量情况下综合表现非常好，因此使用qwen2作为预训练模型。

部署方法

所有模型你都可以在这里找到：TianliGPT Ollama

我们推荐使用ollama来部署TianliGPT模型：

• 对于较小规模的摘要任务，推荐使用5w参数的1.5B模型：

  ollama run Tianli0/tianligpt-5w-1.5b
  

• 对于需要处理更多数据的摘要任务，可以使用7B模型

  ollama run Tianli0/tianligpt-7w-7b
  

特点

• 模型命名规则：模型名称中的5k或5w表示微调训练参数的数量，1.5B或7B表示模型的基础参数量。参数量越低，模型体积越小，生成速度越快，但可能影响生成质量。

• 资源消耗：大模型需要较高的GPU计算资源。我们提供了低成本的TianliGPT摘要服务，使用更强大的AI大模型，支持数据管理，无需手动修改，无需人工介入，助力您实现低代码或0代码的AI接入： TianliGPT

• 更多AI功能：PostChat平台提供了AI问答、搜索和摘要等功能，帮助您在网站中更全面地利用AI技术： PostChat

模型性能

以下是不同模型的性能概览（均为F16模型，请自行量化）：

模型名称	基础模型	调优数据量	性能特点
tianliGPT-7w-0.5B	qwen2-0.5B	70k条	设备要求低，容易被误导，准确性需自行测试是否符合需求
tianliGPT-5k-1.5B	qwen2-1.5B	5k条筛选	设备要求较低，但准确性有待提高
tianliGPT-5w-1.5B	qwen2-1.5B	50k条	设备要求较低，短文本摘要较准确，长文本准确性下降
tianliGPT-5k-7B	qwen2-7B	5k条筛选	设备要求较高，无误导情况下摘要较准确，生成速度较慢，模型下载移步：Tianli0/tianligpt-5k-7b (ollama.com)
tianliGPT-7w-7B	qwen2-7B	70k条	设备要求较高，摘要较为准确，建议显存大小至少8GB

使用建议：部署后您需要多次尝试修改Prompt使AI能输出更加符合您需求的摘要，同时需要注意截取字符数量。

Github

• 欢迎访问follow我的github账号： TIANLI0