Spaces:
Build error
Build error
File size: 21,281 Bytes
930f555 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 |
loading env vars from: /common2/dh.huang.2023/code/logical-reasoning/.env
Adding /common2/dh.huang.2023/code/logical-reasoning to sys.path
loading /common2/dh.huang.2023/code/logical-reasoning/llm_toolkit/logical_reasoning_utils.py
google/gemma-2-9b-it None False datasets/mgtv results/gemma2-9b_lora_sft_bf16-p2.csv
(1) GPU = NVIDIA L40. Max memory = 44.309 GB.
0.0 GB of memory reserved.
loading model: google/gemma-2-9b-it with adapter: None
(2) GPU = NVIDIA L40. Max memory = 44.309 GB.
17.215 GB of memory reserved.
loading train/test data files
DatasetDict({
train: Dataset({
features: ['text', 'label', 'answer', 'title', 'puzzle', 'truth', 'train_text', 'prompt'],
num_rows: 25000
})
test: Dataset({
features: ['text', 'label', 'answer', 'title', 'puzzle', 'truth', 'train_text', 'prompt'],
num_rows: 3000
})
})
--------------------------------------------------
text: 甄加索是自杀吗
--------------------------------------------------
label: 不是
--------------------------------------------------
answer: nan
--------------------------------------------------
title: 海岸之谜
--------------------------------------------------
puzzle: 在远离城市喧嚣的海边小屋，一天清晨，邻居发现甄加索僵卧在沙滩上，已无生命迹象。现场没有发现任何打斗的迹象。请问甄加索的死因是什么？
--------------------------------------------------
truth: 甄加索是一位热爱自然的画家，他每年都会来到这个海边小屋寻找灵感。在他生命的最后几天，他一直在创作一幅描绘海洋生物的画作。在画即将完成的前一天晚上，他骑着自行车外出，打算在海边观赏夜景。然而，他在沙滩上意外发现了一只搁浅的海豚，为了救助这只海豚，他耗费了极大的体力，最终成功将其送回海中。筋疲力尽的甄加索在沙滩上睡着了，由于他患有严重的心脏病，却未告知旁人，在寒冷的海风中，他的心脏停止了跳动。因此，警方在现场只发现了车轮痕迹和未完成的画作，而没有发现任何他杀的迹象。
--------------------------------------------------
train_text: <bos><start_of_turn>user
你是一个情景猜谜游戏的主持人。游戏规则如下：
1. 参与者会得到一个谜面，谜面会描述一个简单又难以理解的事件。
2. 主持人知道谜底，谜底是谜面的答案。
3. 参与者可以询问任何封闭式问题来找寻事件的真相。
4. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。各回答的判断标准如下：
- 若谜面和谜底能找到问题的答案，回答：是或者不是
- 若谜面和谜底不能直接或者间接推断出问题的答案，回答：不重要
- 若参与者提问不是一个封闭式问题或者问题难以理解，回答：问法错误
- 若参与者提问基本还原了谜底真相，回答：回答正确
5. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。
请严格按照这些规则回答参与者提出的问题。
**谜面:** 在远离城市喧嚣的海边小屋，一天清晨，邻居发现甄加索僵卧在沙滩上，已无生命迹象。现场没有发现任何打斗的迹象。请问甄加索的死因是什么？
**谜底:** 甄加索是一位热爱自然的画家，他每年都会来到这个海边小屋寻找灵感。在他生命的最后几天，他一直在创作一幅描绘海洋生物的画作。在画即将完成的前一天晚上，他骑着自行车外出，打算在海边观赏夜景。然而，他在沙滩上意外发现了一只搁浅的海豚，为了救助这只海豚，他耗费了极大的体力，最终成功将其送回海中。筋疲力尽的甄加索在沙滩上睡着了，由于他患有严重的心脏病，却未告知旁人，在寒冷的海风中，他的心脏停止了跳动。因此，警方在现场只发现了车轮痕迹和未完成的画作，而没有发现任何他杀的迹象。
**参与者提出的问题:** 甄加索是自杀吗<end_of_turn>
<start_of_turn>model
不是<eos>
--------------------------------------------------
prompt: <bos><start_of_turn>user
你是一个情景猜谜游戏的主持人。游戏规则如下：
1. 参与者会得到一个谜面，谜面会描述一个简单又难以理解的事件。
2. 主持人知道谜底，谜底是谜面的答案。
3. 参与者可以询问任何封闭式问题来找寻事件的真相。
4. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。各回答的判断标准如下：
- 若谜面和谜底能找到问题的答案，回答：是或者不是
- 若谜面和谜底不能直接或者间接推断出问题的答案，回答：不重要
- 若参与者提问不是一个封闭式问题或者问题难以理解，回答：问法错误
- 若参与者提问基本还原了谜底真相，回答：回答正确
5. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。
请严格按照这些规则回答参与者提出的问题。
**谜面:** 在远离城市喧嚣的海边小屋，一天清晨，邻居发现甄加索僵卧在沙滩上，已无生命迹象。现场没有发现任何打斗的迹象。请问甄加索的死因是什么？
**谜底:** 甄加索是一位热爱自然的画家，他每年都会来到这个海边小屋寻找灵感。在他生命的最后几天，他一直在创作一幅描绘海洋生物的画作。在画即将完成的前一天晚上，他骑着自行车外出，打算在海边观赏夜景。然而，他在沙滩上意外发现了一只搁浅的海豚，为了救助这只海豚，他耗费了极大的体力，最终成功将其送回海中。筋疲力尽的甄加索在沙滩上睡着了，由于他患有严重的心脏病，却未告知旁人，在寒冷的海风中，他的心脏停止了跳动。因此，警方在现场只发现了车轮痕迹和未完成的画作，而没有发现任何他杀的迹象。
**参与者提出的问题:** 甄加索是自杀吗<end_of_turn>
<start_of_turn>model
--------------------------------------------------
text: 死者受伤了吗
--------------------------------------------------
label: 不是
--------------------------------------------------
answer: nan
--------------------------------------------------
title: 甄庄哭声
--------------------------------------------------
puzzle: 在一个安静的夜晚，小村庄的湖边突然传来了阵阵哭泣声。第二天早晨，村长甄锐发现湖边的石头上放着一顶破旧的帽子，但没有人知道这顶帽子是从哪里来的，哭泣声又是为何。请还原故事真相。
--------------------------------------------------
truth: 原来，这顶破旧的帽子属于一个小男孩，他小时候与爷爷在湖边生活。爷爷教他钓鱼、游泳，还告诉他湖中的海龟是他们的朋友。后来，小男孩随父母去了城市生活，但每年夏天都会回到村子探望爷爷。然而，去年夏天，爷爷因病去世，小男孩伤心欲绝。今年夏天，他回到村子，来到湖边，想起和爷爷的美好回忆，忍不住哭泣。他将爷爷的帽子放在湖边的石头上，希望能让爷爷的在天之灵得到安慰。那晚的哭泣声正是小男孩在祭莫他亲爱的爷爷。
--------------------------------------------------
train_text: <bos><start_of_turn>user
你是一个情景猜谜游戏的主持人。游戏规则如下：
1. 参与者会得到一个谜面，谜面会描述一个简单又难以理解的事件。
2. 主持人知道谜底，谜底是谜面的答案。
3. 参与者可以询问任何封闭式问题来找寻事件的真相。
4. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。各回答的判断标准如下：
- 若谜面和谜底能找到问题的答案，回答：是或者不是
- 若谜面和谜底不能直接或者间接推断出问题的答案，回答：不重要
- 若参与者提问不是一个封闭式问题或者问题难以理解，回答：问法错误
- 若参与者提问基本还原了谜底真相，回答：回答正确
5. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。
请严格按照这些规则回答参与者提出的问题。
**谜面:** 在一个安静的夜晚，小村庄的湖边突然传来了阵阵哭泣声。第二天早晨，村长甄锐发现湖边的石头上放着一顶破旧的帽子，但没有人知道这顶帽子是从哪里来的，哭泣声又是为何。请还原故事真相。
**谜底:** 原来，这顶破旧的帽子属于一个小男孩，他小时候与爷爷在湖边生活。爷爷教他钓鱼、游泳，还告诉他湖中的海龟是他们的朋友。后来，小男孩随父母去了城市生活，但每年夏天都会回到村子探望爷爷。然而，去年夏天，爷爷因病去世，小男孩伤心欲绝。今年夏天，他回到村子，来到湖边，想起和爷爷的美好回忆，忍不住哭泣。他将爷爷的帽子放在湖边的石头上，希望能让爷爷的在天之灵得到安慰。那晚的哭泣声正是小男孩在祭莫他亲爱的爷爷。
**参与者提出的问题:** 死者受伤了吗<end_of_turn>
<start_of_turn>model
不是<eos>
--------------------------------------------------
prompt: <bos><start_of_turn>user
你是一个情景猜谜游戏的主持人。游戏规则如下：
1. 参与者会得到一个谜面，谜面会描述一个简单又难以理解的事件。
2. 主持人知道谜底，谜底是谜面的答案。
3. 参与者可以询问任何封闭式问题来找寻事件的真相。
4. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。各回答的判断标准如下：
- 若谜面和谜底能找到问题的答案，回答：是或者不是
- 若谜面和谜底不能直接或者间接推断出问题的答案，回答：不重要
- 若参与者提问不是一个封闭式问题或者问题难以理解，回答：问法错误
- 若参与者提问基本还原了谜底真相，回答：回答正确
5. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。
请严格按照这些规则回答参与者提出的问题。
**谜面:** 在一个安静的夜晚，小村庄的湖边突然传来了阵阵哭泣声。第二天早晨，村长甄锐发现湖边的石头上放着一顶破旧的帽子，但没有人知道这顶帽子是从哪里来的，哭泣声又是为何。请还原故事真相。
**谜底:** 原来，这顶破旧的帽子属于一个小男孩，他小时候与爷爷在湖边生活。爷爷教他钓鱼、游泳，还告诉他湖中的海龟是他们的朋友。后来，小男孩随父母去了城市生活，但每年夏天都会回到村子探望爷爷。然而，去年夏天，爷爷因病去世，小男孩伤心欲绝。今年夏天，他回到村子，来到湖边，想起和爷爷的美好回忆，忍不住哭泣。他将爷爷的帽子放在湖边的石头上，希望能让爷爷的在天之灵得到安慰。那晚的哭泣声正是小男孩在祭莫他亲爱的爷爷。
**参与者提出的问题:** 死者受伤了吗<end_of_turn>
<start_of_turn>model
Evaluating model: google/gemma-2-9b-it
Batch output: ['', '是']
(3) GPU = NVIDIA L40. Max memory = 44.309 GB.
43.271 GB of memory reserved.
text ... google/gemma-2-9b-it_torch.bfloat16
0 甄加索是自杀吗 ...
[1 rows x 6 columns]
{'accuracy': 0.4563333333333333, 'incorrect_ids': [0, 2, 6, 9, 11, 13, 14, 15, 16, 17, 19, 22, 25, 26, 29, 30, 31, 33, 34, 35, 36, 38, 41, 42, 43, 47, 49, 50, 53, 54, 55, 56, 57, 58, 59, 61, 62, 65, 66, 67, 68, 69, 70, 72, 77, 78, 80, 81, 83, 84, 87, 89, 90, 91, 92, 95, 97, 98, 101, 102, 104, 106, 107, 108, 110, 111, 112, 116, 119, 120, 121, 122, 123, 124, 127, 129, 132, 135, 136, 138, 139, 140, 141, 143, 145, 146, 149, 150, 151, 153, 154, 157, 161, 162, 163, 166, 168, 170, 171, 174, 176, 177, 179, 180, 183, 184, 186, 187, 189, 194, 196, 199, 200, 201, 202, 204, 206, 208, 210, 214, 217, 219, 220, 224, 225, 226, 227, 228, 229, 231, 233, 234, 237, 238, 241, 242, 244, 245, 248, 249, 250, 253, 256, 258, 259, 260, 261, 263, 264, 265, 267, 268, 269, 270, 272, 274, 276, 278, 282, 283, 285, 287, 288, 290, 292, 293, 295, 296, 298, 299, 301, 302, 304, 305, 306, 309, 311, 314, 315, 318, 319, 320, 323, 324, 326, 327, 328, 329, 331, 332, 334, 335, 336, 338, 340, 341, 342, 344, 346, 350, 353, 355, 356, 357, 359, 360, 361, 362, 363, 364, 365, 366, 368, 370, 371, 372, 373, 374, 375, 377, 378, 380, 383, 384, 387, 389, 391, 397, 398, 401, 402, 405, 406, 408, 409, 410, 413, 414, 417, 418, 420, 423, 424, 426, 428, 429, 431, 432, 437, 438, 439, 441, 442, 443, 447, 449, 452, 453, 454, 456, 457, 458, 459, 461, 463, 464, 465, 467, 469, 470, 471, 473, 474, 476, 477, 478, 479, 480, 481, 482, 483, 484, 485, 486, 490, 491, 492, 493, 495, 496, 499, 500, 501, 502, 503, 504, 506, 507, 508, 510, 513, 514, 517, 518, 519, 520, 521, 523, 529, 530, 532, 534, 536, 537, 538, 539, 540, 544, 547, 548, 552, 559, 560, 563, 565, 566, 567, 569, 570, 571, 573, 575, 576, 578, 579, 581, 587, 588, 589, 590, 591, 594, 596, 597, 599, 600, 612, 613, 614, 615, 617, 619, 621, 622, 624, 625, 626, 628, 629, 631, 632, 634, 635, 636, 638, 641, 643, 644, 647, 651, 653, 655, 656, 657, 659, 660, 662, 665, 666, 668, 671, 673, 674, 676, 679, 680, 681, 683, 685, 686, 689, 692, 694, 695, 697, 699, 700, 701, 703, 706, 708, 709, 711, 712, 713, 717, 720, 721, 722, 725, 727, 730, 732, 734, 735, 737, 738, 739, 740, 742, 743, 745, 747, 748, 751, 753, 754, 755, 756, 758, 759, 762, 764, 766, 768, 769, 770, 771, 773, 774, 775, 776, 778, 779, 780, 782, 785, 787, 788, 791, 792, 794, 795, 796, 798, 801, 802, 804, 807, 808, 809, 810, 813, 814, 816, 817, 819, 820, 821, 823, 824, 826, 828, 830, 833, 834, 836, 840, 842, 845, 847, 848, 849, 855, 856, 859, 861, 862, 865, 866, 867, 869, 870, 873, 874, 875, 876, 879, 880, 882, 886, 888, 889, 890, 893, 894, 895, 897, 898, 899, 902, 904, 907, 909, 911, 912, 913, 917, 918, 920, 922, 924, 927, 930, 931, 932, 935, 936, 937, 939, 940, 945, 946, 948, 951, 952, 953, 955, 956, 959, 961, 962, 964, 965, 966, 967, 969, 970, 972, 978, 980, 982, 985, 986, 988, 989, 990, 991, 993, 994, 997, 998, 1001, 1003, 1004, 1006, 1009, 1010, 1012, 1013, 1014, 1015, 1016, 1018, 1019, 1020, 1024, 1026, 1027, 1028, 1030, 1032, 1035, 1036, 1038, 1040, 1042, 1043, 1044, 1047, 1048, 1049, 1051, 1053, 1054, 1055, 1057, 1058, 1060, 1061, 1063, 1065, 1066, 1071, 1074, 1075, 1076, 1078, 1085, 1087, 1088, 1089, 1090, 1091, 1093, 1094, 1096, 1098, 1101, 1102, 1104, 1106, 1108, 1111, 1112, 1114, 1116, 1119, 1121, 1123, 1125, 1126, 1128, 1129, 1131, 1132, 1134, 1136, 1138, 1143, 1145, 1146, 1149, 1150, 1156, 1158, 1160, 1164, 1165, 1166, 1167, 1168, 1170, 1171, 1172, 1173, 1174, 1177, 1178, 1179, 1180, 1181, 1185, 1187, 1189, 1191, 1192, 1195, 1196, 1198, 1199, 1200, 1203, 1204, 1206, 1208, 1212, 1213, 1214, 1217, 1218, 1220, 1222, 1224, 1226, 1228, 1231, 1232, 1233, 1234, 1236, 1239, 1240, 1241, 1242, 1243, 1244, 1245, 1246, 1249, 1251, 1252, 1254, 1255, 1256, 1258, 1259, 1261, 1262, 1266, 1269, 1271, 1274, 1276, 1278, 1280, 1282, 1283, 1284, 1286, 1288, 1289, 1291, 1292, 1295, 1297, 1298, 1302, 1305, 1306, 1308, 1309, 1311, 1313, 1315, 1316, 1317, 1319, 1321, 1322, 1323, 1324, 1325, 1326, 1329, 1331, 1332, 1335, 1336, 1337, 1338, 1339, 1343, 1345, 1346, 1349, 1351, 1353, 1356, 1358, 1361, 1362, 1363, 1364, 1366, 1367, 1368, 1371, 1373, 1375, 1377, 1379, 1380, 1382, 1385, 1387, 1389, 1390, 1395, 1397, 1398, 1402, 1404, 1405, 1406, 1407, 1408, 1411, 1413, 1416, 1417, 1419, 1420, 1422, 1423, 1425, 1426, 1427, 1429, 1430, 1434, 1437, 1438, 1440, 1443, 1444, 1446, 1448, 1449, 1450, 1453, 1455, 1457, 1461, 1462, 1467, 1468, 1469, 1470, 1473, 1475, 1478, 1480, 1482, 1484, 1485, 1486, 1489, 1490, 1493, 1494, 1496, 1498, 1499, 1501, 1502, 1504, 1505, 1507, 1508, 1511, 1512, 1514, 1515, 1516, 1517, 1518, 1520, 1523, 1525, 1526, 1527, 1529, 1530, 1533, 1535, 1536, 1537, 1540, 1541, 1542, 1544, 1545, 1546, 1547, 1549, 1550, 1551, 1552, 1554, 1556, 1559, 1560, 1561, 1562, 1563, 1565, 1566, 1571, 1573, 1575, 1577, 1578, 1580, 1581, 1583, 1585, 1586, 1587, 1589, 1590, 1593, 1595, 1596, 1599, 1600, 1602, 1603, 1605, 1607, 1608, 1610, 1612, 1613, 1616, 1619, 1620, 1622, 1627, 1631, 1632, 1633, 1635, 1636, 1637, 1639, 1641, 1645, 1647, 1648, 1651, 1652, 1653, 1654, 1655, 1657, 1659, 1661, 1662, 1663, 1665, 1666, 1669, 1670, 1672, 1673, 1675, 1677, 1678, 1679, 1680, 1685, 1686, 1687, 1689, 1690, 1691, 1693, 1695, 1697, 1698, 1699, 1702, 1705, 1707, 1708, 1710, 1713, 1715, 1716, 1718, 1719, 1723, 1724, 1726, 1727, 1728, 1733, 1734, 1735, 1737, 1739, 1740, 1742, 1748, 1751, 1752, 1753, 1755, 1756, 1758, 1760, 1763, 1767, 1769, 1770, 1772, 1773, 1775, 1777, 1778, 1781, 1785, 1786, 1787, 1788, 1790, 1793, 1795, 1798, 1799, 1801, 1803, 1804, 1806, 1810, 1812, 1815, 1818, 1821, 1824, 1827, 1833, 1834, 1837, 1838, 1841, 1842, 1845, 1846, 1848, 1849, 1851, 1853, 1854, 1857, 1858, 1860, 1863, 1865, 1867, 1869, 1870, 1872, 1875, 1876, 1878, 1882, 1884, 1886, 1890, 1891, 1892, 1894, 1897, 1899, 1901, 1902, 1903, 1904, 1907, 1910, 1913, 1914, 1915, 1917, 1918, 1921, 1923, 1924, 1927, 1929, 1930, 1931, 1932, 1934, 1937, 1939, 1941, 1943, 1945, 1949, 1951, 1953, 1954, 1956, 1957, 1958, 1959, 1960, 1963, 1964, 1965, 1967, 1969, 1971, 1973, 1974, 1976, 1977, 1978, 1979, 1981, 1983, 1984, 1986, 1987, 1988, 1990, 1992, 1994, 1995, 1997, 1998, 2000, 2003, 2007, 2009, 2010, 2011, 2013, 2015, 2016, 2017, 2018, 2021, 2025, 2027, 2028, 2029, 2030, 2031, 2032, 2035, 2036, 2037, 2038, 2039, 2041, 2042, 2043, 2044, 2045, 2047, 2048, 2049, 2050, 2053, 2054, 2056, 2059, 2060, 2063, 2064, 2065, 2066, 2067, 2068, 2074, 2076, 2077, 2079, 2081, 2083, 2085, 2087, 2090, 2092, 2094, 2096, 2099, 2101, 2105, 2107, 2108, 2110, 2113, 2117, 2118, 2120, 2123, 2124, 2131, 2132, 2133, 2135, 2137, 2139, 2141, 2142, 2145, 2146, 2148, 2150, 2151, 2153, 2155, 2156, 2159, 2162, 2163, 2164, 2167, 2169, 2173, 2174, 2175, 2177, 2180, 2181, 2182, 2184, 2185, 2186, 2188, 2189, 2190, 2193, 2194, 2195, 2196, 2197, 2199, 2201, 2203, 2205, 2207, 2210, 2212, 2215, 2216, 2219, 2221, 2223, 2224, 2226, 2228, 2232, 2234, 2235, 2236, 2237, 2240, 2241, 2243, 2245, 2247, 2249, 2251, 2253, 2255, 2257, 2259, 2261, 2262, 2265, 2267, 2268, 2271, 2273, 2274, 2277, 2278, 2280, 2281, 2285, 2287, 2289, 2291, 2293, 2296, 2299, 2300, 2303, 2304, 2305, 2306, 2310, 2312, 2314, 2316, 2318, 2320, 2321, 2322, 2324, 2326, 2330, 2333, 2335, 2337, 2338, 2339, 2341, 2343, 2344, 2345, 2347, 2348, 2351, 2353, 2354, 2357, 2359, 2360, 2361, 2363, 2364, 2366, 2368, 2370, 2371, 2373, 2374, 2378, 2381, 2385, 2387, 2389, 2390, 2393, 2394, 2395, 2396, 2397, 2399, 2400, 2402, 2404, 2407, 2408, 2409, 2410, 2411, 2414, 2416, 2418, 2420, 2422, 2423, 2425, 2427, 2429, 2430, 2432, 2437, 2442, 2444, 2445, 2446, 2448, 2452, 2454, 2457, 2458, 2460, 2462, 2463, 2465, 2466, 2468, 2470, 2472, 2474, 2476, 2478, 2480, 2484, 2487, 2488, 2491, 2493, 2495, 2496, 2498, 2500, 2503, 2504, 2506, 2508, 2512, 2513, 2514, 2515, 2517, 2518, 2520, 2521, 2522, 2523, 2524, 2525, 2526, 2529, 2530, 2535, 2536, 2538, 2539, 2541, 2542, 2544, 2545, 2547, 2549, 2550, 2555, 2556, 2557, 2559, 2561, 2563, 2566, 2568, 2571, 2573, 2574, 2576, 2578, 2580, 2581, 2583, 2585, 2587, 2588, 2590, 2591, 2593, 2595, 2597, 2599, 2600, 2601, 2602, 2604, 2609, 2610, 2615, 2616, 2617, 2618, 2621, 2623, 2624, 2628, 2629, 2631, 2632, 2635, 2636, 2639, 2640, 2642, 2644, 2646, 2649, 2650, 2654, 2655, 2657, 2659, 2661, 2662, 2663, 2664, 2666, 2667, 2668, 2670, 2672, 2674, 2676, 2678, 2679, 2683, 2684, 2685, 2686, 2687, 2689, 2691, 2693, 2694, 2696, 2698, 2700, 2704, 2705, 2706, 2707, 2708, 2710, 2712, 2714, 2716, 2720, 2722, 2725, 2727, 2728, 2731, 2733, 2734, 2735, 2736, 2737, 2741, 2742, 2744, 2745, 2747, 2749, 2752, 2753, 2757, 2758, 2762, 2763, 2765, 2766, 2768, 2770, 2774, 2776, 2779, 2781, 2784, 2786, 2787, 2789, 2791, 2793, 2794, 2797, 2798, 2801, 2803, 2805, 2806, 2807, 2808, 2810, 2814, 2815, 2816, 2819, 2823, 2824, 2827, 2828, 2833, 2836, 2837, 2838, 2839, 2841, 2842, 2843, 2847, 2848, 2851, 2852, 2854, 2855, 2857, 2859, 2861, 2863, 2865, 2866, 2868, 2871, 2872, 2874, 2879, 2880, 2882, 2883, 2884, 2885, 2886, 2888, 2889, 2891, 2892, 2897, 2898, 2899, 2901, 2902, 2905, 2907, 2908, 2909, 2911, 2912, 2913, 2914, 2916, 2917, 2919, 2920, 2921, 2922, 2925, 2927, 2929, 2931, 2932, 2937, 2939, 2942, 2944, 2949, 2951, 2952, 2953, 2954, 2956, 2961, 2963, 2965, 2967, 2969, 2971, 2972, 2975, 2977, 2979, 2982, 2984, 2986, 2989, 2990, 2991, 2992, 2994, 2995, 2996, 2998, 2999]}
|