loading env vars from: /common/home/users/d/dh.huang.2023/common2/code/logical-reasoning/.env Adding /common/home/users/d/dh.huang.2023/common2/code/logical-reasoning to sys.path loading /common/home/users/d/dh.huang.2023/common2/code/logical-reasoning/llm_toolkit/logical_reasoning_utils.py Qwen/Qwen2-72B-Instruct llama-factory/saves/Qwen2-72B-Instruct/checkpoint-350 True datasets/mgtv results/Qwen2-72B-Instruct_p2.csv (1) GPU = NVIDIA L40. Max memory = 44.309 GB. 0.0 GB of memory reserved. loading model: Qwen/Qwen2-72B-Instruct with adapter: llama-factory/saves/Qwen2-72B-Instruct/checkpoint-350 09/08/2024 15:52:50 - INFO - llamafactory.data.template - Replace eos token: <|im_end|> 09/08/2024 15:52:50 - INFO - llamafactory.data.template - Add <|im_start|> to stop words. 09/08/2024 15:52:51 - INFO - llamafactory.model.model_utils.quantization - Quantizing model to 4 bit with bitsandbytes. 09/08/2024 15:52:51 - INFO - llamafactory.model.patcher - Using KV cache for faster generation. 09/08/2024 16:03:49 - INFO - llamafactory.model.model_utils.attention - Using torch SDPA for faster training and inference. 09/08/2024 16:03:51 - INFO - llamafactory.model.adapter - Loaded adapter(s): llama-factory/saves/Qwen2-72B-Instruct/checkpoint-350 09/08/2024 16:03:52 - INFO - llamafactory.model.loader - all params: 72,811,470,848 (2) GPU = NVIDIA L40. Max memory = 44.309 GB. 43.037 GB of memory reserved. loading train/test data files DatasetDict({ train: Dataset({ features: ['text', 'label', 'answer', 'title', 'puzzle', 'truth', 'train_text', 'prompt'], num_rows: 25000 }) test: Dataset({ features: ['text', 'label', 'answer', 'title', 'puzzle', 'truth', 'train_text', 'prompt'], num_rows: 3000 }) }) -------------------------------------------------- text: 甄加索是自杀吗 -------------------------------------------------- label: 不是 -------------------------------------------------- answer: nan -------------------------------------------------- title: 海岸之谜 -------------------------------------------------- puzzle: 在远离城市喧嚣的海边小屋，一天清晨，邻居发现甄加索僵卧在沙滩上，已无生命迹象。现场没有发现任何打斗的迹象。请问甄加索的死因是什么？ -------------------------------------------------- truth: 甄加索是一位热爱自然的画家，他每年都会来到这个海边小屋寻找灵感。在他生命的最后几天，他一直在创作一幅描绘海洋生物的画作。在画即将完成的前一天晚上，他骑着自行车外出，打算在海边观赏夜景。然而，他在沙滩上意外发现了一只搁浅的海豚，为了救助这只海豚，他耗费了极大的体力，最终成功将其送回海中。筋疲力尽的甄加索在沙滩上睡着了，由于他患有严重的心脏病，却未告知旁人，在寒冷的海风中，他的心脏停止了跳动。因此，警方在现场只发现了车轮痕迹和未完成的画作，而没有发现任何他杀的迹象。 -------------------------------------------------- train_text: <|im_start|>system You are an expert in logical reasoning.<|im_end|> <|im_start|>user 你是一个情景猜谜游戏的主持人。游戏规则如下： 1. 参与者会得到一个谜面，谜面会描述一个简单又难以理解的事件。 2. 主持人知道谜底，谜底是谜面的答案。 3. 参与者可以询问任何封闭式问题来找寻事件的真相。 4. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。各回答的判断标准如下： - 若谜面和谜底能找到问题的答案，回答：是或者不是 - 若谜面和谜底不能直接或者间接推断出问题的答案，回答：不重要 - 若参与者提问不是一个封闭式问题或者问题难以理解，回答：问法错误 - 若参与者提问基本还原了谜底真相，回答：回答正确 5. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。 请严格按照这些规则回答参与者提出的问题。 **谜面:** 在远离城市喧嚣的海边小屋，一天清晨，邻居发现甄加索僵卧在沙滩上，已无生命迹象。现场没有发现任何打斗的迹象。请问甄加索的死因是什么？ **谜底:** 甄加索是一位热爱自然的画家，他每年都会来到这个海边小屋寻找灵感。在他生命的最后几天，他一直在创作一幅描绘海洋生物的画作。在画即将完成的前一天晚上，他骑着自行车外出，打算在海边观赏夜景。然而，他在沙滩上意外发现了一只搁浅的海豚，为了救助这只海豚，他耗费了极大的体力，最终成功将其送回海中。筋疲力尽的甄加索在沙滩上睡着了，由于他患有严重的心脏病，却未告知旁人，在寒冷的海风中，他的心脏停止了跳动。因此，警方在现场只发现了车轮痕迹和未完成的画作，而没有发现任何他杀的迹象。 **参与者提出的问题:** 甄加索是自杀吗 <|im_end|> <|im_start|>assistant 不是<|im_end|> -------------------------------------------------- prompt: <|im_start|>system You are an expert in logical reasoning.<|im_end|> <|im_start|>user 你是一个情景猜谜游戏的主持人。游戏规则如下： 1. 参与者会得到一个谜面，谜面会描述一个简单又难以理解的事件。 2. 主持人知道谜底，谜底是谜面的答案。 3. 参与者可以询问任何封闭式问题来找寻事件的真相。 4. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。各回答的判断标准如下： - 若谜面和谜底能找到问题的答案，回答：是或者不是 - 若谜面和谜底不能直接或者间接推断出问题的答案，回答：不重要 - 若参与者提问不是一个封闭式问题或者问题难以理解，回答：问法错误 - 若参与者提问基本还原了谜底真相，回答：回答正确 5. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。 请严格按照这些规则回答参与者提出的问题。 **谜面:** 在远离城市喧嚣的海边小屋，一天清晨，邻居发现甄加索僵卧在沙滩上，已无生命迹象。现场没有发现任何打斗的迹象。请问甄加索的死因是什么？ **谜底:** 甄加索是一位热爱自然的画家，他每年都会来到这个海边小屋寻找灵感。在他生命的最后几天，他一直在创作一幅描绘海洋生物的画作。在画即将完成的前一天晚上，他骑着自行车外出，打算在海边观赏夜景。然而，他在沙滩上意外发现了一只搁浅的海豚，为了救助这只海豚，他耗费了极大的体力，最终成功将其送回海中。筋疲力尽的甄加索在沙滩上睡着了，由于他患有严重的心脏病，却未告知旁人，在寒冷的海风中，他的心脏停止了跳动。因此，警方在现场只发现了车轮痕迹和未完成的画作，而没有发现任何他杀的迹象。 **参与者提出的问题:** 甄加索是自杀吗 <|im_end|> <|im_start|>assistant -------------------------------------------------- text: 死者受伤了吗 -------------------------------------------------- label: 不是 -------------------------------------------------- answer: nan -------------------------------------------------- title: 甄庄哭声 -------------------------------------------------- puzzle: 在一个安静的夜晚，小村庄的湖边突然传来了阵阵哭泣声。第二天早晨，村长甄锐发现湖边的石头上放着一顶破旧的帽子，但没有人知道这顶帽子是从哪里来的，哭泣声又是为何。请还原故事真相。 -------------------------------------------------- truth: 原来，这顶破旧的帽子属于一个小男孩，他小时候与爷爷在湖边生活。爷爷教他钓鱼、游泳，还告诉他湖中的海龟是他们的朋友。后来，小男孩随父母去了城市生活，但每年夏天都会回到村子探望爷爷。然而，去年夏天，爷爷因病去世，小男孩伤心欲绝。今年夏天，他回到村子，来到湖边，想起和爷爷的美好回忆，忍不住哭泣。他将爷爷的帽子放在湖边的石头上，希望能让爷爷的在天之灵得到安慰。那晚的哭泣声正是小男孩在祭莫他亲爱的爷爷。 -------------------------------------------------- train_text: <|im_start|>system You are an expert in logical reasoning.<|im_end|> <|im_start|>user 你是一个情景猜谜游戏的主持人。游戏规则如下： 1. 参与者会得到一个谜面，谜面会描述一个简单又难以理解的事件。 2. 主持人知道谜底，谜底是谜面的答案。 3. 参与者可以询问任何封闭式问题来找寻事件的真相。 4. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。各回答的判断标准如下： - 若谜面和谜底能找到问题的答案，回答：是或者不是 - 若谜面和谜底不能直接或者间接推断出问题的答案，回答：不重要 - 若参与者提问不是一个封闭式问题或者问题难以理解，回答：问法错误 - 若参与者提问基本还原了谜底真相，回答：回答正确 5. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。 请严格按照这些规则回答参与者提出的问题。 **谜面:** 在一个安静的夜晚，小村庄的湖边突然传来了阵阵哭泣声。第二天早晨，村长甄锐发现湖边的石头上放着一顶破旧的帽子，但没有人知道这顶帽子是从哪里来的，哭泣声又是为何。请还原故事真相。 **谜底:** 原来，这顶破旧的帽子属于一个小男孩，他小时候与爷爷在湖边生活。爷爷教他钓鱼、游泳，还告诉他湖中的海龟是他们的朋友。后来，小男孩随父母去了城市生活，但每年夏天都会回到村子探望爷爷。然而，去年夏天，爷爷因病去世，小男孩伤心欲绝。今年夏天，他回到村子，来到湖边，想起和爷爷的美好回忆，忍不住哭泣。他将爷爷的帽子放在湖边的石头上，希望能让爷爷的在天之灵得到安慰。那晚的哭泣声正是小男孩在祭莫他亲爱的爷爷。 **参与者提出的问题:** 死者受伤了吗 <|im_end|> <|im_start|>assistant 不是<|im_end|> -------------------------------------------------- prompt: <|im_start|>system You are an expert in logical reasoning.<|im_end|> <|im_start|>user 你是一个情景猜谜游戏的主持人。游戏规则如下： 1. 参与者会得到一个谜面，谜面会描述一个简单又难以理解的事件。 2. 主持人知道谜底，谜底是谜面的答案。 3. 参与者可以询问任何封闭式问题来找寻事件的真相。 4. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。各回答的判断标准如下： - 若谜面和谜底能找到问题的答案，回答：是或者不是 - 若谜面和谜底不能直接或者间接推断出问题的答案，回答：不重要 - 若参与者提问不是一个封闭式问题或者问题难以理解，回答：问法错误 - 若参与者提问基本还原了谜底真相，回答：回答正确 5. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。 请严格按照这些规则回答参与者提出的问题。 **谜面:** 在一个安静的夜晚，小村庄的湖边突然传来了阵阵哭泣声。第二天早晨，村长甄锐发现湖边的石头上放着一顶破旧的帽子，但没有人知道这顶帽子是从哪里来的，哭泣声又是为何。请还原故事真相。 **谜底:** 原来，这顶破旧的帽子属于一个小男孩，他小时候与爷爷在湖边生活。爷爷教他钓鱼、游泳，还告诉他湖中的海龟是他们的朋友。后来，小男孩随父母去了城市生活，但每年夏天都会回到村子探望爷爷。然而，去年夏天，爷爷因病去世，小男孩伤心欲绝。今年夏天，他回到村子，来到湖边，想起和爷爷的美好回忆，忍不住哭泣。他将爷爷的帽子放在湖边的石头上，希望能让爷爷的在天之灵得到安慰。那晚的哭泣声正是小男孩在祭莫他亲爱的爷爷。 **参与者提出的问题:** 死者受伤了吗 <|im_end|> <|im_start|>assistant Evaluating model: Qwen/Qwen2-72B-Instruct Batch output: ['不是', '是']