XuYipei/Mixtral-4x7B-Chat-Chinese

模型描述

使用 hfl/chinese-llama-2-7b · Hugging Face 作为中文分词器，训练的 Mixtral-4x7B-MoE 模型。

可以在单卡 A100 上推理，在 8xA100 上全量微调。

具体训练、微调代码可见 XuYipei/Mixtral-Train (github.com)

部分评测指标

MMLU	CMMLU	C-Eval	GSM8K	MBPP
55.13	51.10	52.0	67.17	40.2

使用方式

import torch
import transformers


def apply_multi_turn_template(history, input):
    multi_turn_template = "[ROUND {} USER]{}[ROUND {} ASSISTANT]{}"
    prefix = ""
    for i in range(len(history)):
        prefix = prefix + multi_turn_template.format(i, history[i][0], i, history[i][1])
        prefix = prefix + "<|end_of_turn|>"
    curr_turn_id = len(history)
    curr_turn = "[ROUND {} USER]{}[ROUND {} ASSISTANT]".format(curr_turn_id, input, curr_turn_id)
    return prefix + curr_turn
    

model = transformers.AutoModelForCausalLM.from_pretrained("XuYipei/Mixtral-4x7B-Chat-Chinese")
tokenizer = transformers.AutoTokenizer.from_pretrained("XuYipei/Mixtral-4x7B-Chat-Chinese")

model = model.to(torch.bfloat16).to("cuda")
input_text = apply_multi_turn_template([], "列举出10首杜甫的古诗，同时默写该诗篇的完整内容。")
output = md.generate(input_ids = torch.LongTensor([tk.encode(input_text)]).to("cuda:5"), eos_token_id=55296, max_length=4096)
output_text = tokenizer.decode(output[0])

'''
<s> [ROUND 0 USER]列举出10首杜甫的古诗，同时默写该诗篇的完整内容。[ROUND 0 ASSISTANT] 1. 《登高》

唐·杜甫

风急天高猿啸哀，渚清沙白鸟飞回。
无边落木萧萧下，不尽长江滚滚来。
万里悲秋常作客，百年多病独登台。
艰难苦恨繁霜鬓，潦倒新停浊酒杯。

2. 《春夜喜雨》

唐·杜甫

好雨知时节，当春乃发生。
随风潜入夜，润物细无声。
野径云俱黑，江船火独明。
晓看红湿处，花重锦官城。

3. 《绝句》

唐·杜甫

迟日江山丽，春风花草香。
泥融飞燕子，沙暖睡鸳鸯。

4. 《登楼》

唐·杜甫

花近高楼伤客心，万方多难此登临。
锦江春色来天地，玉垒浮云变古今。
北极朝廷终不改，西山寇盗莫相侵。
可怜后主还祠庙，日暮聊为梁甫吟。

5. 《茅屋为秋风所破歌》

唐·杜甫

八月秋高风怒号，卷我屋上三重茅。
茅飞渡江洒江郊，高者挂罥长林梢，
下者飘转沉塘坳。
南村群童欺我老无力，忍能对面为盗贼。
公然抱茅入竹去，唇焦口燥呼不得，
归来倚杖自叹息。

6. 《江南逢李龟年》

唐·杜甫

岐王宅里寻常见，崔九堂前几度闻。
正是江南好风景，落花时节又逢君。

7. 《闻官军收河南河北》

唐·杜甫

剑外忽传收蓟北，初闻涕泪满衣裳。
却看妻子愁何在，漫卷诗书喜欲狂。
白日放歌须纵酒，青春作伴好还乡。
即从巴峡穿巫峡，便下襄阳向洛阳。

8. 《旅夜书怀》

唐·杜甫

细草微风岸，危樯独夜舟。
星垂平野阔，月涌大江流。
名岂文章著，官应老病休。
飘飘何所似，天地一沙鸥。

9. 《江畔独步寻花》

唐·杜甫

黄四娘家花满蹊，千朵万朵压枝低。
留恋戏蝶时时舞，自在娇莺恰恰啼。

10. 《赠花卿》

唐·杜甫

锦城丝管日纷纷，半入江风半入云。
此曲只应天上有，人间能得几回闻。<|end_of_turn|>

'''