|
--- |
|
license: other |
|
license_name: license |
|
license_link: LICENSE |
|
--- |
|
<div align="center"> |
|
<h1> |
|
Index-1.9B |
|
</h1> |
|
</div> |
|
|
|
## 模型介绍 |
|
|
|
Index-1.9B-Character模型是由Index团队自主研发的大语言模型系列中的19亿参数规模的角色扮演模型，用户可以通过上传符合要求的角色对话语料实现few shots角色定制。 |
|
|
|
使用方式和相关代码详见[Index-1.9B/roleplay](https://github.com/bilibili/Index-1.9B/tree/main/roleplay) |
|
|
|
更多细节详见我们的[GitHub](https://github.com/bilibili/Index-1.9B)和[Index-1.9B技术报告](https://github.com/bilibili/Index-1.9B/blob/main/Index-1.9B%20%E6%8A%80%E6%9C%AF%E6%8A%A5%E5%91%8A.pdf) |
|
|
|
Index-1.9B-Character模型采用角色扮演领域的权威benchmark CharacterEval进行评估，该评测集从角色一致性、对话能力、角色扮演吸引力多个粒度进行评测，我们的1.9b模型整体均分排名第九，显著优于其他同量级模型。 |
|
|
|
|模型|均分|角色一致性|对话能力|角色扮演吸引力| |
|
|:----:|:----:|:----:|:----:|:----:| |
|
|CharacterYuyan-RLHF|3.36|2.856|4.037|3.188| |
|
|CharacterYuyan|3.309|2.88|3.931|3.117| |
|
|BC-NPC-Turbo|3.169|2.764|3.798|2.946| |
|
|MiniMax|3.135|2.718|3.784|2.902| |
|
|Baichuan2-13B|3.129|2.701|3.795|2.89| |
|
|InternLM-20B|3.124|2.715|3.745|2.911| |
|
|Baichuan2-7B|3.11|2.7|3.757|2.874| |
|
|**Index-1.9B-character**|3.109|2.676|3.789|2.862| |
|
|InternLM-7B|3.034|2.62|3.698|2.784| |
|
|XVERSE-13B|3.022|2.632|3.605|2.83| |
|
|Qwen-14B|3.016|2.649|3.542|2.858| |
|
|GPT-4|3.006|2.697|3.448|2.873| |
|
|Xingchen|2.991|2.595|3.646|2.732| |
|
|XVERSE-7B|2.963|2.564|3.554|2.772| |
|
|CharacterGLM|2.937|2.493|3.623|2.695| |
|
|ChatGLM3-6B|2.898|2.556|3.399|2.739| |
|
|Qwen-7B|2.849|2.54|3.327|2.679| |
|
|GPT-3.5|2.381|2.101|2.749|2.293| |
|
|
