Index-1.9B

模型介绍

我们很高兴首次发布Index系列模型中的轻量版本：Index-1.9B系列 本次开源的Index-1.9B 系列包含以下模型：

• Index-1.9B base(本仓库模型) : 基座模型，具有 19亿 非词嵌入参数量，在2.8T 中英文为主的语料上预训练，多个评测基准上与同级别模型比处于领先.
• Index-1.9B pure : 基座模型的对照组，与base具有相同的参数和训练策略，不同之处在于我们严格过滤了该版本语料中所有指令相关的数据，以此来验证指令对benchmark的影响
• Index-1.9B chat: 基于index-1.9B base通过SFT和DPO对齐后的对话模型，我们发现由于我们预训练中引入了较多互联网社区语料，聊天的趣味性明显更强
• Index-1.9B character : 在SFT和DPO的基础上引入了RAG来实现fewshots角色扮演定制

注意：此为Base模型，仅能续写，以及进一步的训练对齐，不能直接交互。

• Chat模型详见 Index-1.9B-Chat
• 角色扮演模型详见 Index-1.9B-Character

更多细节详见我们的GitHub和Index-1.9B技术报告

评测结果

对通用理解进行评测，Index-1.9B性能优秀，于近期开源的端侧小模型相比领先，并可以和一批7B和大于10B的模型相比较

模型	均分	英文均分	MMLU	CEVAL	CMMLU	HellaSwag	Arc-C	Arc-E
Google Gemma 2B	41.58	46.77	41.81	31.36	31.02	66.82	36.39	42.07
Phi-2 (2.7B)	58.89	72.54	57.61	31.12	32.05	70.94	74.51	87.1
Qwen1.5-1.8B	58.96	59.28	47.05	59.48	57.12	58.33	56.82	74.93
Qwen2-1.5B(report)	65.17	62.52	56.5	70.6	70.3	66.6	43.9	83.09
MiniCPM-2.4B-SFT	62.53	68.75	53.8	49.19	50.97	67.29	69.44	84.48
Index-1.9B-Pure	49.55	52.83	43.75	42.35	43.61	63.21	42.75	61.61
Index-1.9B	64.92	69.93	52.53	57.01	52.79	80.69	65.15	81.35
Llama2-7B	50.79	60.31	44.32	32.42	31.11	76	46.3	74.6
Mistral-7B (report)	/	69.23	60.1	/	/	81.3	55.5	80
Baichuan2-7B	54.53	53.51	54.64	56.19	56.95	25.04	57.25	77.12
Llama2-13B	57.51	66.61	55.78	39.93	38.7	76.22	58.88	75.56
Baichuan2-13B	68.90	71.69	59.63	59.21	61.27	72.61	70.04	84.48
MPT-30B (report)	/	63.48	46.9	/	/	79.9	50.6	76.5
Falcon-40B (report)	/	68.18	55.4	/	/	83.6	54.5	79.2

评测代码基于OpenCompass, 并做了适配性修改，详见evaluate代码