Shunian

/

chatglm-6b-multiple-choice-lora-few-shot

like 0

选出相关subject中与问题最相似的问题作为few shot，但是试验出来的结果跟不加few shot区别不大

嗯，我的疑问是，构造微调数据的时候，把few shot放在哪个字段里，我之前试过放在history里，效果还不如不加。
请问您是怎么做的呢？

我是直接加在instruction里，这是我的构造函数

def format_example(example: dict) -> dict:
    context = f"## 指令：{example['instruction']}\n"
    if example.get("input"):
        example_question = "\n\n\n".join(["## 例题：" + q['input'] + "\n回答：" + q['output'] for q in example['example']])
        context += f"{example_question}\n"
        context += f"\n## 输入：{example['input']}\n"
    context += "回答："
    target = example["output"]
    return {"context": context, "target": target}

希望能有帮助