CapAI-1019

CapAI-1019是基于capai-1006优化后的对话模型。

模型信息

参数集规模：6B

最大token数：8K

硬件要求：显存12GB+

使用方式

官方API和体验

FWERKOR团队官方提供的ai.fwerkor.com平台可进行体验和API调用。

自行部署

CapAI-1019是一个轻量化的AI对话模型，可以在性能有限的硬件上运行，显存占用约12GB。

如果你有多张 GPU，但是每张 GPU 的显存大小都不足以容纳完整的模型，那么可以将模型切分在多张GPU上。首先安装 accelerate: pip install accelerate ，然后即可正常加载模型。

Python调用

以下是一个简单的示例。

>>> from transformers import AutoTokenizer, AutoModel #需安装transformers库
>>> tokenizer = AutoTokenizer.from_pretrained("fwerkor/capai-1019", trust_remote_code=True)
>>> model = AutoModel.from_pretrained("fwerkor/capai-1019", trust_remote_code=True, device='cuda')
>>> model = model.eval()
>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)
您好，我是你的人工智能助手。请问有什么我可以帮助您的吗？
>>> response, history = model.chat(tokenizer, "常州有哪些好玩的地方", history=history)
>>> print(response)
您好，常州是一个历史悠久、文化底蕴深厚的城市，有很多值得一游的景点和活动。以下是一些常州市内比较受欢迎的旅游景点和活动:
1.天宁寺:位于常州市中心，是常州市最著名的佛教寺庙之一，也是常州的文化地标之一。
2.常州博物馆:位于常州市文化广场，是一个集历史文化展示、科普教育为一体的综合性博物馆。
3.前后楼:位于常州市天宁区，是一对古老的建筑，前后相接，形成了一个独特的建筑群体。
4.红梅公园:位于常州市新北区的红梅广场，是一个集自然景观、文化底蕴和休闲娱乐为一体的城市公园。
5.常州科技馆:位于常州市新北区的文化路，是一个以科技为主题的综合性博物馆。
6.横山公园:位于常州市新北区的横山河边，是一个以自然景观和生态环保为主题的公园。
除此之外，常州还有很多其他好玩的地方，例如天宁区、武进区、新北区等各个区域的景点和活动，您可以根据自己的兴趣和时间来选择适合自己的旅游方式和目的地。

DEMO部署

可参考ChatGLM代码。