Hugging Face's logo

thoughtworks
/
arithmetic-sorl

Safetensors
sorl
arithmetic
interpretability
mechanistic-interpretability
qwen3
Model card Files
xet
 Community
amirali1985 commited on
Commit
e3cf75d
·
verified ·
1 Parent(s): 82d9d6f

Upload add_sub_sorl_v6_abs30_K1_25K

Browse files
Files changed (5) hide show
  1. add_sub_sorl_v6_abs30_K1_25K/config.json +37 -0
  2. add_sub_sorl_v6_abs30_K1_25K/generation_config.json +7 -0
  3. add_sub_sorl_v6_abs30_K1_25K/metrics.json +2719 -0
  4. add_sub_sorl_v6_abs30_K1_25K/model.safetensors +3 -0
  5. add_sub_sorl_v6_abs30_K1_25K/train_config.json +84 -0
add_sub_sorl_v6_abs30_K1_25K/config.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "SorlModelWrapper"
4
+ ],
5
+ "attention_bias": false,
6
+ "attention_dropout": 0.0,
7
+ "bos_token_id": null,
8
+ "dtype": "float32",
9
+ "eos_token_id": null,
10
+ "head_dim": 128,
11
+ "hidden_act": "silu",
12
+ "hidden_size": 510,
13
+ "initializer_range": 0.02,
14
+ "intermediate_size": 2040,
15
+ "layer_types": [
16
+ "full_attention",
17
+ "full_attention"
18
+ ],
19
+ "max_position_embeddings": 128,
20
+ "max_window_layers": 28,
21
+ "model_type": "qwen3",
22
+ "num_attention_heads": 3,
23
+ "num_hidden_layers": 2,
24
+ "num_key_value_heads": 3,
25
+ "pad_token_id": null,
26
+ "rms_norm_eps": 1e-06,
27
+ "rope_parameters": {
28
+ "rope_theta": 10000.0,
29
+ "rope_type": "default"
30
+ },
31
+ "sliding_window": null,
32
+ "tie_word_embeddings": false,
33
+ "transformers_version": "5.5.0",
34
+ "use_cache": true,
35
+ "use_sliding_window": false,
36
+ "vocab_size": 151674
37
+ }
add_sub_sorl_v6_abs30_K1_25K/generation_config.json ADDED
@@ -0,0 +1,7 @@
 
 
 
 
 
 
 
 
1
+ {
2
+ "_from_model_config": true,
3
+ "output_attentions": false,
4
+ "output_hidden_states": false,
5
+ "transformers_version": "5.5.0",
6
+ "use_cache": true
7
+ }
add_sub_sorl_v6_abs30_K1_25K/metrics.json ADDED
@@ -0,0 +1,2719 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "history": {
3
+ "step": [
4
+ 50,
5
+ 100,
6
+ 150,
7
+ 200,
8
+ 250,
9
+ 300,
10
+ 350,
11
+ 441,
12
+ 491,
13
+ 541,
14
+ 591,
15
+ 641,
16
+ 691,
17
+ 741,
18
+ 832,
19
+ 882,
20
+ 932,
21
+ 982,
22
+ 1032,
23
+ 1082,
24
+ 1132,
25
+ 1223,
26
+ 1273,
27
+ 1323,
28
+ 1373,
29
+ 1423,
30
+ 1473,
31
+ 1523,
32
+ 1614,
33
+ 1664,
34
+ 1714,
35
+ 1764,
36
+ 1814,
37
+ 1864,
38
+ 1914,
39
+ 2005,
40
+ 2055,
41
+ 2105,
42
+ 2155,
43
+ 2205,
44
+ 2255,
45
+ 2305,
46
+ 2396,
47
+ 2446,
48
+ 2496,
49
+ 2546,
50
+ 2596,
51
+ 2646,
52
+ 2696,
53
+ 2787,
54
+ 2837,
55
+ 2887,
56
+ 2937,
57
+ 2987,
58
+ 3037,
59
+ 3087,
60
+ 3178,
61
+ 3228,
62
+ 3278,
63
+ 3328,
64
+ 3378,
65
+ 3428,
66
+ 3478,
67
+ 3569,
68
+ 3619,
69
+ 3669,
70
+ 3719,
71
+ 3769,
72
+ 3819,
73
+ 3869,
74
+ 3960,
75
+ 4010,
76
+ 4060,
77
+ 4110,
78
+ 4160,
79
+ 4210,
80
+ 4260,
81
+ 4351,
82
+ 4401,
83
+ 4451,
84
+ 4501,
85
+ 4551,
86
+ 4601,
87
+ 4651,
88
+ 4742,
89
+ 4792,
90
+ 4842,
91
+ 4892,
92
+ 4942,
93
+ 4992,
94
+ 5042,
95
+ 5133,
96
+ 5183,
97
+ 5233,
98
+ 5283,
99
+ 5333,
100
+ 5383,
101
+ 5433,
102
+ 5524,
103
+ 5574,
104
+ 5624,
105
+ 5674,
106
+ 5724,
107
+ 5774,
108
+ 5824,
109
+ 5915,
110
+ 5965,
111
+ 6015,
112
+ 6065,
113
+ 6115,
114
+ 6165,
115
+ 6215,
116
+ 6306,
117
+ 6356,
118
+ 6406,
119
+ 6456,
120
+ 6506,
121
+ 6556,
122
+ 6606,
123
+ 6697,
124
+ 6747,
125
+ 6797,
126
+ 6847,
127
+ 6897,
128
+ 6947,
129
+ 6997,
130
+ 7088,
131
+ 7138,
132
+ 7188,
133
+ 7238,
134
+ 7288,
135
+ 7338,
136
+ 7388,
137
+ 7479,
138
+ 7529,
139
+ 7579,
140
+ 7629,
141
+ 7679,
142
+ 7729,
143
+ 7779
144
+ ],
145
+ "loss": [
146
+ 7.972609519958496,
147
+ 6.2378034591674805,
148
+ 3.504789113998413,
149
+ 2.0002806186676025,
150
+ 1.8821204900741577,
151
+ 1.7454692125320435,
152
+ 1.548543095588684,
153
+ 0.7017942070960999,
154
+ 0.6550167798995972,
155
+ 0.5319042205810547,
156
+ 0.43419069051742554,
157
+ 0.4726577401161194,
158
+ 0.3729689419269562,
159
+ 0.3371293842792511,
160
+ 0.30425113439559937,
161
+ 0.2636772394180298,
162
+ 0.22494304180145264,
163
+ 0.24130389094352722,
164
+ 0.2237052172422409,
165
+ 0.1983136087656021,
166
+ 0.17315542697906494,
167
+ 0.15507104992866516,
168
+ 0.16429045796394348,
169
+ 0.20786544680595398,
170
+ 0.17715008556842804,
171
+ 0.16985027492046356,
172
+ 0.12659405171871185,
173
+ 0.1287921965122223,
174
+ 0.16304394602775574,
175
+ 0.1681366115808487,
176
+ 0.11691925674676895,
177
+ 0.15663491189479828,
178
+ 0.14182178676128387,
179
+ 0.12273873388767242,
180
+ 0.11211647093296051,
181
+ 0.14546899497509003,
182
+ 0.11255825310945511,
183
+ 0.1227654293179512,
184
+ 0.10625511407852173,
185
+ 0.11013638228178024,
186
+ 0.09844280779361725,
187
+ 0.13909108936786652,
188
+ 0.12167251110076904,
189
+ 0.08991383761167526,
190
+ 0.11612682789564133,
191
+ 0.10075584799051285,
192
+ 0.10114384442567825,
193
+ 0.12897872924804688,
194
+ 0.10045041143894196,
195
+ 0.12647853791713715,
196
+ 0.10118462145328522,
197
+ 0.09902218729257584,
198
+ 0.0836440920829773,
199
+ 0.08969534933567047,
200
+ 0.07920344173908234,
201
+ 0.10962279140949249,
202
+ 0.09301966428756714,
203
+ 0.08953164517879486,
204
+ 0.10943987220525742,
205
+ 0.061826061457395554,
206
+ 0.06564473360776901,
207
+ 0.08796669542789459,
208
+ 0.08930415660142899,
209
+ 0.08145212382078171,
210
+ 0.07047153264284134,
211
+ 0.11428705602884293,
212
+ 0.09478729218244553,
213
+ 0.10149025917053223,
214
+ 0.09982084482908249,
215
+ 0.0794144719839096,
216
+ 0.08300043642520905,
217
+ 0.06358499825000763,
218
+ 0.10092437267303467,
219
+ 0.06317984312772751,
220
+ 0.08142650127410889,
221
+ 0.05818682163953781,
222
+ 0.05474086478352547,
223
+ 0.08225075155496597,
224
+ 0.09850730001926422,
225
+ 0.06967142969369888,
226
+ 0.058594465255737305,
227
+ 0.036407470703125,
228
+ 0.0578550286591053,
229
+ 0.11298961937427521,
230
+ 0.07685595005750656,
231
+ 0.05205344781279564,
232
+ 0.06923435628414154,
233
+ 0.08093786984682083,
234
+ 0.07360678166151047,
235
+ 0.06411425769329071,
236
+ 0.1005052849650383,
237
+ 0.06387970596551895,
238
+ 0.03675749897956848,
239
+ 0.04683582857251167,
240
+ 0.04547593370079994,
241
+ 0.04618194326758385,
242
+ 0.0621771402657032,
243
+ 0.06610860675573349,
244
+ 0.04513556510210037,
245
+ 0.07107647508382797,
246
+ 0.10351037979125977,
247
+ 0.06745310872793198,
248
+ 0.047038618475198746,
249
+ 0.024986283853650093,
250
+ 0.047511838376522064,
251
+ 0.040614210069179535,
252
+ 0.06592738628387451,
253
+ 0.027838829904794693,
254
+ 0.033494044095277786,
255
+ 0.033490248024463654,
256
+ 0.054838668555021286,
257
+ 0.03641287237405777,
258
+ 0.034848786890506744,
259
+ 0.044390108436346054,
260
+ 0.045315343886613846,
261
+ 0.04271351546049118,
262
+ 0.0609731450676918,
263
+ 0.032056208699941635,
264
+ 0.019791115075349808,
265
+ 0.03871464356780052,
266
+ 0.033879995346069336,
267
+ 0.06945241242647171,
268
+ 0.04380134865641594,
269
+ 0.021412935107946396,
270
+ 0.04032048210501671,
271
+ 0.0222178865224123,
272
+ 0.028215600177645683,
273
+ 0.03373353183269501,
274
+ 0.0359918549656868,
275
+ 0.03525831177830696,
276
+ 0.047121379524469376,
277
+ 0.02694799192249775,
278
+ 0.03617463633418083,
279
+ 0.02450871467590332,
280
+ 0.022268077358603477,
281
+ 0.019607584923505783,
282
+ 0.018160197883844376,
283
+ 0.03376399353146553,
284
+ 0.022655842825770378,
285
+ 0.01569768227636814
286
+ ],
287
+ "base_loss": [
288
+ 10.038702011108398,
289
+ 7.939216613769531,
290
+ 4.726868152618408,
291
+ 2.439985752105713,
292
+ 2.3230552673339844,
293
+ 2.3268628120422363,
294
+ 2.3791699409484863,
295
+ 3.9135921001434326,
296
+ 4.480586528778076,
297
+ 5.121718406677246,
298
+ 5.317874908447266,
299
+ 5.160361289978027,
300
+ 5.507434368133545,
301
+ 5.963286876678467,
302
+ 6.386960506439209,
303
+ 6.341028690338135,
304
+ 6.557448387145996,
305
+ 6.51752233505249,
306
+ 7.141326904296875,
307
+ 7.312922477722168,
308
+ 7.066236972808838,
309
+ 7.330963134765625,
310
+ 7.17899751663208,
311
+ 6.894490718841553,
312
+ 7.239155292510986,
313
+ 7.37744665145874,
314
+ 7.507011890411377,
315
+ 7.784303188323975,
316
+ 7.24332857131958,
317
+ 7.547730445861816,
318
+ 7.980489253997803,
319
+ 7.800145626068115,
320
+ 7.824568748474121,
321
+ 7.75515604019165,
322
+ 7.469332218170166,
323
+ 7.737660884857178,
324
+ 8.262690544128418,
325
+ 8.16135025024414,
326
+ 8.182242393493652,
327
+ 8.272507667541504,
328
+ 8.121376991271973,
329
+ 7.803398132324219,
330
+ 7.8643317222595215,
331
+ 8.035852432250977,
332
+ 7.497461795806885,
333
+ 7.652054786682129,
334
+ 7.9685516357421875,
335
+ 7.93265438079834,
336
+ 8.253799438476562,
337
+ 7.63773775100708,
338
+ 7.872739315032959,
339
+ 7.91986608505249,
340
+ 7.83266544342041,
341
+ 7.744543552398682,
342
+ 7.896961688995361,
343
+ 7.877589702606201,
344
+ 7.340522766113281,
345
+ 8.430742263793945,
346
+ 7.968891620635986,
347
+ 7.979547023773193,
348
+ 7.94497013092041,
349
+ 7.959809303283691,
350
+ 7.763557434082031,
351
+ 7.680964946746826,
352
+ 8.346988677978516,
353
+ 7.532425880432129,
354
+ 8.168638229370117,
355
+ 8.12143325805664,
356
+ 8.061368942260742,
357
+ 7.895534038543701,
358
+ 8.081192970275879,
359
+ 8.418658256530762,
360
+ 8.123749732971191,
361
+ 8.140040397644043,
362
+ 8.23513126373291,
363
+ 8.968249320983887,
364
+ 8.38211441040039,
365
+ 8.480385780334473,
366
+ 8.085911750793457,
367
+ 7.837191104888916,
368
+ 8.10987663269043,
369
+ 8.50322151184082,
370
+ 8.375359535217285,
371
+ 8.027478218078613,
372
+ 8.886825561523438,
373
+ 8.038464546203613,
374
+ 8.069589614868164,
375
+ 8.358418464660645,
376
+ 7.81658411026001,
377
+ 8.983245849609375,
378
+ 8.332854270935059,
379
+ 8.022189140319824,
380
+ 8.000666618347168,
381
+ 9.062210083007812,
382
+ 9.176602363586426,
383
+ 8.013219833374023,
384
+ 8.955063819885254,
385
+ 9.016815185546875,
386
+ 8.590051651000977,
387
+ 8.60909652709961,
388
+ 8.887982368469238,
389
+ 8.693094253540039,
390
+ 8.587373733520508,
391
+ 8.924886703491211,
392
+ 8.643311500549316,
393
+ 8.571455001831055,
394
+ 7.994483947753906,
395
+ 8.206727981567383,
396
+ 8.843121528625488,
397
+ 9.3564453125,
398
+ 8.877767562866211,
399
+ 9.137797355651855,
400
+ 8.845808029174805,
401
+ 8.546369552612305,
402
+ 8.503506660461426,
403
+ 8.8495512008667,
404
+ 8.384862899780273,
405
+ 8.423436164855957,
406
+ 8.61121940612793,
407
+ 8.71336841583252,
408
+ 9.137880325317383,
409
+ 9.13508415222168,
410
+ 8.875717163085938,
411
+ 9.291789054870605,
412
+ 9.590469360351562,
413
+ 9.58400821685791,
414
+ 8.218955993652344,
415
+ 9.31525993347168,
416
+ 9.40634822845459,
417
+ 9.162095069885254,
418
+ 9.326128959655762,
419
+ 9.752833366394043,
420
+ 9.193140983581543,
421
+ 9.560964584350586,
422
+ 9.54782772064209,
423
+ 9.190043449401855,
424
+ 9.384332656860352,
425
+ 9.93852424621582,
426
+ 10.300284385681152,
427
+ 9.504498481750488
428
+ ],
429
+ "traj_loss": [
430
+ 7.972609519958496,
431
+ 6.2378034591674805,
432
+ 3.504789113998413,
433
+ 2.0002806186676025,
434
+ 1.8821204900741577,
435
+ 1.7454692125320435,
436
+ 1.548543095588684,
437
+ 0.7017942070960999,
438
+ 0.6550167798995972,
439
+ 0.5319042205810547,
440
+ 0.43419069051742554,
441
+ 0.4726577401161194,
442
+ 0.3729689419269562,
443
+ 0.3371293842792511,
444
+ 0.30425113439559937,
445
+ 0.2636772394180298,
446
+ 0.22494304180145264,
447
+ 0.24130389094352722,
448
+ 0.2237052172422409,
449
+ 0.1983136087656021,
450
+ 0.17315542697906494,
451
+ 0.15507104992866516,
452
+ 0.16429045796394348,
453
+ 0.20786544680595398,
454
+ 0.17715008556842804,
455
+ 0.16985027492046356,
456
+ 0.12659405171871185,
457
+ 0.1287921965122223,
458
+ 0.16304394602775574,
459
+ 0.1681366115808487,
460
+ 0.11691925674676895,
461
+ 0.15663491189479828,
462
+ 0.14182178676128387,
463
+ 0.12273873388767242,
464
+ 0.11211647093296051,
465
+ 0.14546899497509003,
466
+ 0.11255825310945511,
467
+ 0.1227654293179512,
468
+ 0.10625511407852173,
469
+ 0.11013638228178024,
470
+ 0.09844280779361725,
471
+ 0.13909108936786652,
472
+ 0.12167251110076904,
473
+ 0.08991383761167526,
474
+ 0.11612682789564133,
475
+ 0.10075584799051285,
476
+ 0.10114384442567825,
477
+ 0.12897872924804688,
478
+ 0.10045041143894196,
479
+ 0.12647853791713715,
480
+ 0.10118462145328522,
481
+ 0.09902218729257584,
482
+ 0.0836440920829773,
483
+ 0.08969534933567047,
484
+ 0.07920344173908234,
485
+ 0.10962279140949249,
486
+ 0.09301966428756714,
487
+ 0.08953164517879486,
488
+ 0.10943987220525742,
489
+ 0.061826061457395554,
490
+ 0.06564473360776901,
491
+ 0.08796669542789459,
492
+ 0.08930415660142899,
493
+ 0.08145212382078171,
494
+ 0.07047153264284134,
495
+ 0.11428705602884293,
496
+ 0.09478729218244553,
497
+ 0.10149025917053223,
498
+ 0.09982084482908249,
499
+ 0.0794144719839096,
500
+ 0.08300043642520905,
501
+ 0.06358499825000763,
502
+ 0.10092437267303467,
503
+ 0.06317984312772751,
504
+ 0.08142650127410889,
505
+ 0.05818682163953781,
506
+ 0.05474086478352547,
507
+ 0.08225075155496597,
508
+ 0.09850730001926422,
509
+ 0.06967142969369888,
510
+ 0.058594465255737305,
511
+ 0.036407470703125,
512
+ 0.0578550286591053,
513
+ 0.11298961937427521,
514
+ 0.07685595005750656,
515
+ 0.05205344781279564,
516
+ 0.06923435628414154,
517
+ 0.08093786984682083,
518
+ 0.07360678166151047,
519
+ 0.06411425769329071,
520
+ 0.1005052849650383,
521
+ 0.06387970596551895,
522
+ 0.03675749897956848,
523
+ 0.04683582857251167,
524
+ 0.04547593370079994,
525
+ 0.04618194326758385,
526
+ 0.0621771402657032,
527
+ 0.06610860675573349,
528
+ 0.04513556510210037,
529
+ 0.07107647508382797,
530
+ 0.10351037979125977,
531
+ 0.06745310872793198,
532
+ 0.047038618475198746,
533
+ 0.024986283853650093,
534
+ 0.047511838376522064,
535
+ 0.040614210069179535,
536
+ 0.06592738628387451,
537
+ 0.027838829904794693,
538
+ 0.033494044095277786,
539
+ 0.033490248024463654,
540
+ 0.054838668555021286,
541
+ 0.03641287237405777,
542
+ 0.034848786890506744,
543
+ 0.044390108436346054,
544
+ 0.045315343886613846,
545
+ 0.04271351546049118,
546
+ 0.0609731450676918,
547
+ 0.032056208699941635,
548
+ 0.019791115075349808,
549
+ 0.03871464356780052,
550
+ 0.033879995346069336,
551
+ 0.06945241242647171,
552
+ 0.04380134865641594,
553
+ 0.021412935107946396,
554
+ 0.04032048210501671,
555
+ 0.0222178865224123,
556
+ 0.028215600177645683,
557
+ 0.03373353183269501,
558
+ 0.0359918549656868,
559
+ 0.03525831177830696,
560
+ 0.047121379524469376,
561
+ 0.02694799192249775,
562
+ 0.03617463633418083,
563
+ 0.02450871467590332,
564
+ 0.022268077358603477,
565
+ 0.019607584923505783,
566
+ 0.018160197883844376,
567
+ 0.03376399353146553,
568
+ 0.022655842825770378,
569
+ 0.01569768227636814
570
+ ],
571
+ "hinge_loss": [
572
+ 0.0,
573
+ 0.0,
574
+ 0.0,
575
+ 0.0,
576
+ 0.0,
577
+ 0.0,
578
+ 0.0,
579
+ 0.0,
580
+ 0.0,
581
+ 0.0,
582
+ 0.0,
583
+ 0.0,
584
+ 0.0,
585
+ 0.0,
586
+ 0.0,
587
+ 0.0,
588
+ 0.0,
589
+ 0.0,
590
+ 0.0,
591
+ 0.0,
592
+ 0.0,
593
+ 0.0,
594
+ 0.0,
595
+ 0.0,
596
+ 0.0,
597
+ 0.0,
598
+ 0.0,
599
+ 0.0,
600
+ 0.0,
601
+ 0.0,
602
+ 0.0,
603
+ 0.0,
604
+ 0.0,
605
+ 0.0,
606
+ 0.0,
607
+ 0.0,
608
+ 0.0,
609
+ 0.0,
610
+ 0.0,
611
+ 0.0,
612
+ 0.0,
613
+ 0.0,
614
+ 0.0,
615
+ 0.0,
616
+ 0.0,
617
+ 0.0,
618
+ 0.0,
619
+ 0.0,
620
+ 0.0,
621
+ 0.0,
622
+ 0.0,
623
+ 0.0,
624
+ 0.0,
625
+ 0.0,
626
+ 0.0,
627
+ 0.0,
628
+ 0.0,
629
+ 0.0,
630
+ 0.0,
631
+ 0.0,
632
+ 0.0,
633
+ 0.0,
634
+ 0.0,
635
+ 0.0,
636
+ 0.0,
637
+ 0.0,
638
+ 0.0,
639
+ 0.0,
640
+ 0.0,
641
+ 0.0,
642
+ 0.0,
643
+ 0.0,
644
+ 0.0,
645
+ 0.0,
646
+ 0.0,
647
+ 0.0,
648
+ 0.0,
649
+ 0.0,
650
+ 0.0,
651
+ 0.0,
652
+ 0.0,
653
+ 0.0,
654
+ 0.0,
655
+ 0.0,
656
+ 0.0,
657
+ 0.0,
658
+ 0.0,
659
+ 0.0,
660
+ 0.0,
661
+ 0.0,
662
+ 0.0,
663
+ 0.0,
664
+ 0.0,
665
+ 0.0,
666
+ 0.0,
667
+ 0.0,
668
+ 0.0,
669
+ 0.0,
670
+ 0.0,
671
+ 0.0,
672
+ 0.0,
673
+ 0.0,
674
+ 0.0,
675
+ 0.0,
676
+ 0.0,
677
+ 0.0,
678
+ 0.0,
679
+ 0.0,
680
+ 0.0,
681
+ 0.0,
682
+ 0.0,
683
+ 0.0,
684
+ 0.0,
685
+ 0.0,
686
+ 0.0,
687
+ 0.0,
688
+ 0.0,
689
+ 0.0,
690
+ 0.0,
691
+ 0.0,
692
+ 0.0,
693
+ 0.0,
694
+ 0.0,
695
+ 0.0,
696
+ 0.0,
697
+ 0.0,
698
+ 0.0,
699
+ 0.0,
700
+ 0.0,
701
+ 0.0,
702
+ 0.0,
703
+ 0.0,
704
+ 0.0,
705
+ 0.0,
706
+ 0.0,
707
+ 0.0,
708
+ 0.0,
709
+ 0.0,
710
+ 0.0,
711
+ 0.0
712
+ ],
713
+ "masked_traj_loss": [
714
+ 0.0,
715
+ 0.0,
716
+ 0.0,
717
+ 0.0,
718
+ 0.0,
719
+ 0.0,
720
+ 0.0,
721
+ 0.0,
722
+ 0.0,
723
+ 0.0,
724
+ 0.0,
725
+ 0.0,
726
+ 0.0,
727
+ 0.0,
728
+ 0.0,
729
+ 0.0,
730
+ 0.0,
731
+ 0.0,
732
+ 0.0,
733
+ 0.0,
734
+ 0.0,
735
+ 0.0,
736
+ 0.0,
737
+ 0.0,
738
+ 0.0,
739
+ 0.0,
740
+ 0.0,
741
+ 0.0,
742
+ 0.0,
743
+ 0.0,
744
+ 0.0,
745
+ 0.0,
746
+ 0.0,
747
+ 0.0,
748
+ 0.0,
749
+ 0.0,
750
+ 0.0,
751
+ 0.0,
752
+ 0.0,
753
+ 0.0,
754
+ 0.0,
755
+ 0.0,
756
+ 0.0,
757
+ 0.0,
758
+ 0.0,
759
+ 0.0,
760
+ 0.0,
761
+ 0.0,
762
+ 0.0,
763
+ 0.0,
764
+ 0.0,
765
+ 0.0,
766
+ 0.0,
767
+ 0.0,
768
+ 0.0,
769
+ 0.0,
770
+ 0.0,
771
+ 0.0,
772
+ 0.0,
773
+ 0.0,
774
+ 0.0,
775
+ 0.0,
776
+ 0.0,
777
+ 0.0,
778
+ 0.0,
779
+ 0.0,
780
+ 0.0,
781
+ 0.0,
782
+ 0.0,
783
+ 0.0,
784
+ 0.0,
785
+ 0.0,
786
+ 0.0,
787
+ 0.0,
788
+ 0.0,
789
+ 0.0,
790
+ 0.0,
791
+ 0.0,
792
+ 0.0,
793
+ 0.0,
794
+ 0.0,
795
+ 0.0,
796
+ 0.0,
797
+ 0.0,
798
+ 0.0,
799
+ 0.0,
800
+ 0.0,
801
+ 0.0,
802
+ 0.0,
803
+ 0.0,
804
+ 0.0,
805
+ 0.0,
806
+ 0.0,
807
+ 0.0,
808
+ 0.0,
809
+ 0.0,
810
+ 0.0,
811
+ 0.0,
812
+ 0.0,
813
+ 0.0,
814
+ 0.0,
815
+ 0.0,
816
+ 0.0,
817
+ 0.0,
818
+ 0.0,
819
+ 0.0,
820
+ 0.0,
821
+ 0.0,
822
+ 0.0,
823
+ 0.0,
824
+ 0.0,
825
+ 0.0,
826
+ 0.0,
827
+ 0.0,
828
+ 0.0,
829
+ 0.0,
830
+ 0.0,
831
+ 0.0,
832
+ 0.0,
833
+ 0.0,
834
+ 0.0,
835
+ 0.0,
836
+ 0.0,
837
+ 0.0,
838
+ 0.0,
839
+ 0.0,
840
+ 0.0,
841
+ 0.0,
842
+ 0.0,
843
+ 0.0,
844
+ 0.0,
845
+ 0.0,
846
+ 0.0,
847
+ 0.0,
848
+ 0.0,
849
+ 0.0,
850
+ 0.0,
851
+ 0.0,
852
+ 0.0,
853
+ 0.0
854
+ ],
855
+ "abs_loss": [
856
+ 0.0,
857
+ 0.0,
858
+ 0.0,
859
+ 0.0,
860
+ 0.0,
861
+ 0.0,
862
+ 0.0,
863
+ 0.0,
864
+ 0.0,
865
+ 0.0,
866
+ 0.0,
867
+ 0.0,
868
+ 0.0,
869
+ 0.0,
870
+ 0.0,
871
+ 0.0,
872
+ 0.0,
873
+ 0.0,
874
+ 0.0,
875
+ 0.0,
876
+ 0.0,
877
+ 0.0,
878
+ 0.0,
879
+ 0.0,
880
+ 0.0,
881
+ 0.0,
882
+ 0.0,
883
+ 0.0,
884
+ 0.0,
885
+ 0.0,
886
+ 0.0,
887
+ 0.0,
888
+ 0.0,
889
+ 0.0,
890
+ 0.0,
891
+ 0.0,
892
+ 0.0,
893
+ 0.0,
894
+ 0.0,
895
+ 0.0,
896
+ 0.0,
897
+ 0.0,
898
+ 0.0,
899
+ 0.0,
900
+ 0.0,
901
+ 0.0,
902
+ 0.0,
903
+ 0.0,
904
+ 0.0,
905
+ 0.0,
906
+ 0.0,
907
+ 0.0,
908
+ 0.0,
909
+ 0.0,
910
+ 0.0,
911
+ 0.0,
912
+ 0.0,
913
+ 0.0,
914
+ 0.0,
915
+ 0.0,
916
+ 0.0,
917
+ 0.0,
918
+ 0.0,
919
+ 0.0,
920
+ 0.0,
921
+ 0.0,
922
+ 0.0,
923
+ 0.0,
924
+ 0.0,
925
+ 0.0,
926
+ 0.0,
927
+ 0.0,
928
+ 0.0,
929
+ 0.0,
930
+ 0.0,
931
+ 0.0,
932
+ 0.0,
933
+ 0.0,
934
+ 0.0,
935
+ 0.0,
936
+ 0.0,
937
+ 0.0,
938
+ 0.0,
939
+ 0.0,
940
+ 0.0,
941
+ 0.0,
942
+ 0.0,
943
+ 0.0,
944
+ 0.0,
945
+ 0.0,
946
+ 0.0,
947
+ 0.0,
948
+ 0.0,
949
+ 0.0,
950
+ 0.0,
951
+ 0.0,
952
+ 0.0,
953
+ 0.0,
954
+ 0.0,
955
+ 0.0,
956
+ 0.0,
957
+ 0.0,
958
+ 0.0,
959
+ 0.0,
960
+ 0.0,
961
+ 0.0,
962
+ 0.0,
963
+ 0.0,
964
+ 0.0,
965
+ 0.0,
966
+ 0.0,
967
+ 0.0,
968
+ 0.0,
969
+ 0.0,
970
+ 0.0,
971
+ 0.0,
972
+ 0.0,
973
+ 0.0,
974
+ 0.0,
975
+ 0.0,
976
+ 0.0,
977
+ 0.0,
978
+ 0.0,
979
+ 0.0,
980
+ 0.0,
981
+ 0.0,
982
+ 0.0,
983
+ 0.0,
984
+ 0.0,
985
+ 0.0,
986
+ 0.0,
987
+ 0.0,
988
+ 0.0,
989
+ 0.0,
990
+ 0.0,
991
+ 0.0,
992
+ 0.0,
993
+ 0.0,
994
+ 0.0,
995
+ 0.0
996
+ ],
997
+ "zipf_loss": [
998
+ 0.0,
999
+ 0.0,
1000
+ 0.0,
1001
+ 0.0,
1002
+ 0.0,
1003
+ 0.0,
1004
+ 0.0,
1005
+ 0.0,
1006
+ 0.0,
1007
+ 0.0,
1008
+ 0.0,
1009
+ 0.0,
1010
+ 0.0,
1011
+ 0.0,
1012
+ 0.0,
1013
+ 0.0,
1014
+ 0.0,
1015
+ 0.0,
1016
+ 0.0,
1017
+ 0.0,
1018
+ 0.0,
1019
+ 0.0,
1020
+ 0.0,
1021
+ 0.0,
1022
+ 0.0,
1023
+ 0.0,
1024
+ 0.0,
1025
+ 0.0,
1026
+ 0.0,
1027
+ 0.0,
1028
+ 0.0,
1029
+ 0.0,
1030
+ 0.0,
1031
+ 0.0,
1032
+ 0.0,
1033
+ 0.0,
1034
+ 0.0,
1035
+ 0.0,
1036
+ 0.0,
1037
+ 0.0,
1038
+ 0.0,
1039
+ 0.0,
1040
+ 0.0,
1041
+ 0.0,
1042
+ 0.0,
1043
+ 0.0,
1044
+ 0.0,
1045
+ 0.0,
1046
+ 0.0,
1047
+ 0.0,
1048
+ 0.0,
1049
+ 0.0,
1050
+ 0.0,
1051
+ 0.0,
1052
+ 0.0,
1053
+ 0.0,
1054
+ 0.0,
1055
+ 0.0,
1056
+ 0.0,
1057
+ 0.0,
1058
+ 0.0,
1059
+ 0.0,
1060
+ 0.0,
1061
+ 0.0,
1062
+ 0.0,
1063
+ 0.0,
1064
+ 0.0,
1065
+ 0.0,
1066
+ 0.0,
1067
+ 0.0,
1068
+ 0.0,
1069
+ 0.0,
1070
+ 0.0,
1071
+ 0.0,
1072
+ 0.0,
1073
+ 0.0,
1074
+ 0.0,
1075
+ 0.0,
1076
+ 0.0,
1077
+ 0.0,
1078
+ 0.0,
1079
+ 0.0,
1080
+ 0.0,
1081
+ 0.0,
1082
+ 0.0,
1083
+ 0.0,
1084
+ 0.0,
1085
+ 0.0,
1086
+ 0.0,
1087
+ 0.0,
1088
+ 0.0,
1089
+ 0.0,
1090
+ 0.0,
1091
+ 0.0,
1092
+ 0.0,
1093
+ 0.0,
1094
+ 0.0,
1095
+ 0.0,
1096
+ 0.0,
1097
+ 0.0,
1098
+ 0.0,
1099
+ 0.0,
1100
+ 0.0,
1101
+ 0.0,
1102
+ 0.0,
1103
+ 0.0,
1104
+ 0.0,
1105
+ 0.0,
1106
+ 0.0,
1107
+ 0.0,
1108
+ 0.0,
1109
+ 0.0,
1110
+ 0.0,
1111
+ 0.0,
1112
+ 0.0,
1113
+ 0.0,
1114
+ 0.0,
1115
+ 0.0,
1116
+ 0.0,
1117
+ 0.0,
1118
+ 0.0,
1119
+ 0.0,
1120
+ 0.0,
1121
+ 0.0,
1122
+ 0.0,
1123
+ 0.0,
1124
+ 0.0,
1125
+ 0.0,
1126
+ 0.0,
1127
+ 0.0,
1128
+ 0.0,
1129
+ 0.0,
1130
+ 0.0,
1131
+ 0.0,
1132
+ 0.0,
1133
+ 0.0,
1134
+ 0.0,
1135
+ 0.0,
1136
+ 0.0,
1137
+ 0.0
1138
+ ],
1139
+ "ortho_loss": [
1140
+ 0.0,
1141
+ 0.0,
1142
+ 0.0,
1143
+ 0.0,
1144
+ 0.0,
1145
+ 0.0,
1146
+ 0.0,
1147
+ 0.0,
1148
+ 0.0,
1149
+ 0.0,
1150
+ 0.0,
1151
+ 0.0,
1152
+ 0.0,
1153
+ 0.0,
1154
+ 0.0,
1155
+ 0.0,
1156
+ 0.0,
1157
+ 0.0,
1158
+ 0.0,
1159
+ 0.0,
1160
+ 0.0,
1161
+ 0.0,
1162
+ 0.0,
1163
+ 0.0,
1164
+ 0.0,
1165
+ 0.0,
1166
+ 0.0,
1167
+ 0.0,
1168
+ 0.0,
1169
+ 0.0,
1170
+ 0.0,
1171
+ 0.0,
1172
+ 0.0,
1173
+ 0.0,
1174
+ 0.0,
1175
+ 0.0,
1176
+ 0.0,
1177
+ 0.0,
1178
+ 0.0,
1179
+ 0.0,
1180
+ 0.0,
1181
+ 0.0,
1182
+ 0.0,
1183
+ 0.0,
1184
+ 0.0,
1185
+ 0.0,
1186
+ 0.0,
1187
+ 0.0,
1188
+ 0.0,
1189
+ 0.0,
1190
+ 0.0,
1191
+ 0.0,
1192
+ 0.0,
1193
+ 0.0,
1194
+ 0.0,
1195
+ 0.0,
1196
+ 0.0,
1197
+ 0.0,
1198
+ 0.0,
1199
+ 0.0,
1200
+ 0.0,
1201
+ 0.0,
1202
+ 0.0,
1203
+ 0.0,
1204
+ 0.0,
1205
+ 0.0,
1206
+ 0.0,
1207
+ 0.0,
1208
+ 0.0,
1209
+ 0.0,
1210
+ 0.0,
1211
+ 0.0,
1212
+ 0.0,
1213
+ 0.0,
1214
+ 0.0,
1215
+ 0.0,
1216
+ 0.0,
1217
+ 0.0,
1218
+ 0.0,
1219
+ 0.0,
1220
+ 0.0,
1221
+ 0.0,
1222
+ 0.0,
1223
+ 0.0,
1224
+ 0.0,
1225
+ 0.0,
1226
+ 0.0,
1227
+ 0.0,
1228
+ 0.0,
1229
+ 0.0,
1230
+ 0.0,
1231
+ 0.0,
1232
+ 0.0,
1233
+ 0.0,
1234
+ 0.0,
1235
+ 0.0,
1236
+ 0.0,
1237
+ 0.0,
1238
+ 0.0,
1239
+ 0.0,
1240
+ 0.0,
1241
+ 0.0,
1242
+ 0.0,
1243
+ 0.0,
1244
+ 0.0,
1245
+ 0.0,
1246
+ 0.0,
1247
+ 0.0,
1248
+ 0.0,
1249
+ 0.0,
1250
+ 0.0,
1251
+ 0.0,
1252
+ 0.0,
1253
+ 0.0,
1254
+ 0.0,
1255
+ 0.0,
1256
+ 0.0,
1257
+ 0.0,
1258
+ 0.0,
1259
+ 0.0,
1260
+ 0.0,
1261
+ 0.0,
1262
+ 0.0,
1263
+ 0.0,
1264
+ 0.0,
1265
+ 0.0,
1266
+ 0.0,
1267
+ 0.0,
1268
+ 0.0,
1269
+ 0.0,
1270
+ 0.0,
1271
+ 0.0,
1272
+ 0.0,
1273
+ 0.0,
1274
+ 0.0,
1275
+ 0.0,
1276
+ 0.0,
1277
+ 0.0,
1278
+ 0.0,
1279
+ 0.0
1280
+ ],
1281
+ "anchor_loss": [
1282
+ 0.0,
1283
+ 0.0,
1284
+ 0.0,
1285
+ 0.0,
1286
+ 0.0,
1287
+ 0.0,
1288
+ 0.0,
1289
+ 0.0,
1290
+ 0.0,
1291
+ 0.0,
1292
+ 0.0,
1293
+ 0.0,
1294
+ 0.0,
1295
+ 0.0,
1296
+ 0.0,
1297
+ 0.0,
1298
+ 0.0,
1299
+ 0.0,
1300
+ 0.0,
1301
+ 0.0,
1302
+ 0.0,
1303
+ 0.0,
1304
+ 0.0,
1305
+ 0.0,
1306
+ 0.0,
1307
+ 0.0,
1308
+ 0.0,
1309
+ 0.0,
1310
+ 0.0,
1311
+ 0.0,
1312
+ 0.0,
1313
+ 0.0,
1314
+ 0.0,
1315
+ 0.0,
1316
+ 0.0,
1317
+ 0.0,
1318
+ 0.0,
1319
+ 0.0,
1320
+ 0.0,
1321
+ 0.0,
1322
+ 0.0,
1323
+ 0.0,
1324
+ 0.0,
1325
+ 0.0,
1326
+ 0.0,
1327
+ 0.0,
1328
+ 0.0,
1329
+ 0.0,
1330
+ 0.0,
1331
+ 0.0,
1332
+ 0.0,
1333
+ 0.0,
1334
+ 0.0,
1335
+ 0.0,
1336
+ 0.0,
1337
+ 0.0,
1338
+ 0.0,
1339
+ 0.0,
1340
+ 0.0,
1341
+ 0.0,
1342
+ 0.0,
1343
+ 0.0,
1344
+ 0.0,
1345
+ 0.0,
1346
+ 0.0,
1347
+ 0.0,
1348
+ 0.0,
1349
+ 0.0,
1350
+ 0.0,
1351
+ 0.0,
1352
+ 0.0,
1353
+ 0.0,
1354
+ 0.0,
1355
+ 0.0,
1356
+ 0.0,
1357
+ 0.0,
1358
+ 0.0,
1359
+ 0.0,
1360
+ 0.0,
1361
+ 0.0,
1362
+ 0.0,
1363
+ 0.0,
1364
+ 0.0,
1365
+ 0.0,
1366
+ 0.0,
1367
+ 0.0,
1368
+ 0.0,
1369
+ 0.0,
1370
+ 0.0,
1371
+ 0.0,
1372
+ 0.0,
1373
+ 0.0,
1374
+ 0.0,
1375
+ 0.0,
1376
+ 0.0,
1377
+ 0.0,
1378
+ 0.0,
1379
+ 0.0,
1380
+ 0.0,
1381
+ 0.0,
1382
+ 0.0,
1383
+ 0.0,
1384
+ 0.0,
1385
+ 0.0,
1386
+ 0.0,
1387
+ 0.0,
1388
+ 0.0,
1389
+ 0.0,
1390
+ 0.0,
1391
+ 0.0,
1392
+ 0.0,
1393
+ 0.0,
1394
+ 0.0,
1395
+ 0.0,
1396
+ 0.0,
1397
+ 0.0,
1398
+ 0.0,
1399
+ 0.0,
1400
+ 0.0,
1401
+ 0.0,
1402
+ 0.0,
1403
+ 0.0,
1404
+ 0.0,
1405
+ 0.0,
1406
+ 0.0,
1407
+ 0.0,
1408
+ 0.0,
1409
+ 0.0,
1410
+ 0.0,
1411
+ 0.0,
1412
+ 0.0,
1413
+ 0.0,
1414
+ 0.0,
1415
+ 0.0,
1416
+ 0.0,
1417
+ 0.0,
1418
+ 0.0,
1419
+ 0.0,
1420
+ 0.0,
1421
+ 0.0
1422
+ ],
1423
+ "jacobi_loss": [
1424
+ 0.0,
1425
+ 0.0,
1426
+ 0.0,
1427
+ 0.0,
1428
+ 0.0,
1429
+ 0.0,
1430
+ 0.0,
1431
+ 0.0,
1432
+ 0.0,
1433
+ 0.0,
1434
+ 0.0,
1435
+ 0.0,
1436
+ 0.0,
1437
+ 0.0,
1438
+ 0.0,
1439
+ 0.0,
1440
+ 0.0,
1441
+ 0.0,
1442
+ 0.0,
1443
+ 0.0,
1444
+ 0.0,
1445
+ 0.0,
1446
+ 0.0,
1447
+ 0.0,
1448
+ 0.0,
1449
+ 0.0,
1450
+ 0.0,
1451
+ 0.0,
1452
+ 0.0,
1453
+ 0.0,
1454
+ 0.0,
1455
+ 0.0,
1456
+ 0.0,
1457
+ 0.0,
1458
+ 0.0,
1459
+ 0.0,
1460
+ 0.0,
1461
+ 0.0,
1462
+ 0.0,
1463
+ 0.0,
1464
+ 0.0,
1465
+ 0.0,
1466
+ 0.0,
1467
+ 0.0,
1468
+ 0.0,
1469
+ 0.0,
1470
+ 0.0,
1471
+ 0.0,
1472
+ 0.0,
1473
+ 0.0,
1474
+ 0.0,
1475
+ 0.0,
1476
+ 0.0,
1477
+ 0.0,
1478
+ 0.0,
1479
+ 0.0,
1480
+ 0.0,
1481
+ 0.0,
1482
+ 0.0,
1483
+ 0.0,
1484
+ 0.0,
1485
+ 0.0,
1486
+ 0.0,
1487
+ 0.0,
1488
+ 0.0,
1489
+ 0.0,
1490
+ 0.0,
1491
+ 0.0,
1492
+ 0.0,
1493
+ 0.0,
1494
+ 0.0,
1495
+ 0.0,
1496
+ 0.0,
1497
+ 0.0,
1498
+ 0.0,
1499
+ 0.0,
1500
+ 0.0,
1501
+ 0.0,
1502
+ 0.0,
1503
+ 0.0,
1504
+ 0.0,
1505
+ 0.0,
1506
+ 0.0,
1507
+ 0.0,
1508
+ 0.0,
1509
+ 0.0,
1510
+ 0.0,
1511
+ 0.0,
1512
+ 0.0,
1513
+ 0.0,
1514
+ 0.0,
1515
+ 0.0,
1516
+ 0.0,
1517
+ 0.0,
1518
+ 0.0,
1519
+ 0.0,
1520
+ 0.0,
1521
+ 0.0,
1522
+ 0.0,
1523
+ 0.0,
1524
+ 0.0,
1525
+ 0.0,
1526
+ 0.0,
1527
+ 0.0,
1528
+ 0.0,
1529
+ 0.0,
1530
+ 0.0,
1531
+ 0.0,
1532
+ 0.0,
1533
+ 0.0,
1534
+ 0.0,
1535
+ 0.0,
1536
+ 0.0,
1537
+ 0.0,
1538
+ 0.0,
1539
+ 0.0,
1540
+ 0.0,
1541
+ 0.0,
1542
+ 0.0,
1543
+ 0.0,
1544
+ 0.0,
1545
+ 0.0,
1546
+ 0.0,
1547
+ 0.0,
1548
+ 0.0,
1549
+ 0.0,
1550
+ 0.0,
1551
+ 0.0,
1552
+ 0.0,
1553
+ 0.0,
1554
+ 0.0,
1555
+ 0.0,
1556
+ 0.0,
1557
+ 0.0,
1558
+ 0.0,
1559
+ 0.0,
1560
+ 0.0,
1561
+ 0.0,
1562
+ 0.0,
1563
+ 0.0
1564
+ ],
1565
+ "lr": [
1566
+ 1.6752136752136756e-05,
1567
+ 3.384615384615385e-05,
1568
+ 5.094017094017095e-05,
1569
+ 6.803418803418804e-05,
1570
+ 8e-05,
1571
+ 8e-05,
1572
+ 8e-05,
1573
+ 8e-05,
1574
+ 8e-05,
1575
+ 8e-05,
1576
+ 8e-05,
1577
+ 8e-05,
1578
+ 8e-05,
1579
+ 8e-05,
1580
+ 8e-05,
1581
+ 8e-05,
1582
+ 8e-05,
1583
+ 8e-05,
1584
+ 8e-05,
1585
+ 8e-05,
1586
+ 8e-05,
1587
+ 8e-05,
1588
+ 8e-05,
1589
+ 8e-05,
1590
+ 8e-05,
1591
+ 8e-05,
1592
+ 8e-05,
1593
+ 8e-05,
1594
+ 8e-05,
1595
+ 8e-05,
1596
+ 8e-05,
1597
+ 8e-05,
1598
+ 8e-05,
1599
+ 8e-05,
1600
+ 8e-05,
1601
+ 8e-05,
1602
+ 8e-05,
1603
+ 8e-05,
1604
+ 8e-05,
1605
+ 8e-05,
1606
+ 8e-05,
1607
+ 8e-05,
1608
+ 8e-05,
1609
+ 8e-05,
1610
+ 8e-05,
1611
+ 8e-05,
1612
+ 8e-05,
1613
+ 8e-05,
1614
+ 8e-05,
1615
+ 8e-05,
1616
+ 8e-05,
1617
+ 8e-05,
1618
+ 8e-05,
1619
+ 8e-05,
1620
+ 8e-05,
1621
+ 8e-05,
1622
+ 8e-05,
1623
+ 8e-05,
1624
+ 8e-05,
1625
+ 8e-05,
1626
+ 8e-05,
1627
+ 8e-05,
1628
+ 8e-05,
1629
+ 8e-05,
1630
+ 8e-05,
1631
+ 8e-05,
1632
+ 8e-05,
1633
+ 8e-05,
1634
+ 8e-05,
1635
+ 8e-05,
1636
+ 8e-05,
1637
+ 8e-05,
1638
+ 8e-05,
1639
+ 8e-05,
1640
+ 8e-05,
1641
+ 8e-05,
1642
+ 8e-05,
1643
+ 8e-05,
1644
+ 8e-05,
1645
+ 8e-05,
1646
+ 8e-05,
1647
+ 8e-05,
1648
+ 8e-05,
1649
+ 8e-05,
1650
+ 8e-05,
1651
+ 7.987186923279727e-05,
1652
+ 7.868547324017929e-05,
1653
+ 7.74990772475613e-05,
1654
+ 7.631268125494332e-05,
1655
+ 7.512628526232533e-05,
1656
+ 7.393988926970736e-05,
1657
+ 7.178064856314262e-05,
1658
+ 7.059425257052466e-05,
1659
+ 6.940785657790668e-05,
1660
+ 6.822146058528868e-05,
1661
+ 6.703506459267071e-05,
1662
+ 6.584866860005273e-05,
1663
+ 6.466227260743475e-05,
1664
+ 6.250303190087003e-05,
1665
+ 6.131663590825203e-05,
1666
+ 6.0130239915634074e-05,
1667
+ 5.894384392301608e-05,
1668
+ 5.77574479303981e-05,
1669
+ 5.657105193778013e-05,
1670
+ 5.538465594516214e-05,
1671
+ 5.3225415238597426e-05,
1672
+ 5.203901924597944e-05,
1673
+ 5.0852623253361464e-05,
1674
+ 4.966622726074349e-05,
1675
+ 4.8479831268125495e-05,
1676
+ 4.729343527550752e-05,
1677
+ 4.610703928288953e-05,
1678
+ 4.3947798576324816e-05,
1679
+ 4.276140258370682e-05,
1680
+ 4.157500659108885e-05,
1681
+ 4.038861059847088e-05,
1682
+ 3.9202214605852886e-05,
1683
+ 3.801581861323492e-05,
1684
+ 3.6829422620616924e-05,
1685
+ 3.46701819140522e-05,
1686
+ 3.348378592143423e-05,
1687
+ 3.229738992881624e-05,
1688
+ 3.111099393619827e-05,
1689
+ 2.9924597943580276e-05,
1690
+ 2.8738201950962302e-05,
1691
+ 2.7551805958344328e-05,
1692
+ 2.5392565251779594e-05,
1693
+ 2.4206169259161623e-05,
1694
+ 2.3019773266543632e-05,
1695
+ 2.1833377273925658e-05,
1696
+ 2.0646981281307667e-05,
1697
+ 1.9460585288689693e-05,
1698
+ 1.8274189296071722e-05,
1699
+ 1.6114948589506984e-05,
1700
+ 1.4928552596889012e-05,
1701
+ 1.374215660427102e-05,
1702
+ 1.2555760611653047e-05,
1703
+ 1.1369364619035074e-05,
1704
+ 1.0182968626417082e-05,
1705
+ 8.99657263379911e-06
1706
+ ]
1707
+ },
1708
+ "final_accuracy": 0.815,
1709
+ "sft_eval": {
1710
+ "config": {
1711
+ "ops": "add_sub",
1712
+ "K": null,
1713
+ "mode": "sft",
1714
+ "n_digits": 6,
1715
+ "n_per_split": 100
1716
+ },
1717
+ "splits": {
1718
+ "add_S0": {
1719
+ "full_accuracy": 0.0,
1720
+ "n_examples": 100,
1721
+ "per_subtask": {
1722
+ "SA": {
1723
+ "accuracy": 0.1537190082644628,
1724
+ "count": 605
1725
+ },
1726
+ "SS": {
1727
+ "accuracy": 0.08421052631578947,
1728
+ "count": 95
1729
+ }
1730
+ }
1731
+ },
1732
+ "add_S1": {
1733
+ "full_accuracy": 0.0,
1734
+ "n_examples": 100,
1735
+ "per_subtask": {
1736
+ "SA": {
1737
+ "accuracy": 0.14705882352941177,
1738
+ "count": 204
1739
+ },
1740
+ "SC": {
1741
+ "accuracy": 0.10650887573964497,
1742
+ "count": 169
1743
+ },
1744
+ "SS": {
1745
+ "accuracy": 0.0967741935483871,
1746
+ "count": 31
1747
+ },
1748
+ "UC": {
1749
+ "accuracy": 0.10135135135135136,
1750
+ "count": 296
1751
+ }
1752
+ }
1753
+ },
1754
+ "add_S2": {
1755
+ "full_accuracy": 0.0,
1756
+ "n_examples": 100,
1757
+ "per_subtask": {
1758
+ "SA": {
1759
+ "accuracy": 0.18404907975460122,
1760
+ "count": 163
1761
+ },
1762
+ "SC": {
1763
+ "accuracy": 0.06923076923076923,
1764
+ "count": 130
1765
+ },
1766
+ "SS": {
1767
+ "accuracy": 0.06896551724137931,
1768
+ "count": 87
1769
+ },
1770
+ "UC": {
1771
+ "accuracy": 0.13793103448275862,
1772
+ "count": 203
1773
+ },
1774
+ "US": {
1775
+ "accuracy": 0.10256410256410256,
1776
+ "count": 117
1777
+ }
1778
+ }
1779
+ },
1780
+ "add_S3": {
1781
+ "full_accuracy": 0.0,
1782
+ "n_examples": 100,
1783
+ "per_subtask": {
1784
+ "SA": {
1785
+ "accuracy": 0.1652892561983471,
1786
+ "count": 121
1787
+ },
1788
+ "SC": {
1789
+ "accuracy": 0.08264462809917356,
1790
+ "count": 121
1791
+ },
1792
+ "SS": {
1793
+ "accuracy": 0.10204081632653061,
1794
+ "count": 49
1795
+ },
1796
+ "UC": {
1797
+ "accuracy": 0.08602150537634409,
1798
+ "count": 186
1799
+ },
1800
+ "US": {
1801
+ "accuracy": 0.09865470852017937,
1802
+ "count": 223
1803
+ }
1804
+ }
1805
+ },
1806
+ "add_S4": {
1807
+ "full_accuracy": 0.0,
1808
+ "n_examples": 100,
1809
+ "per_subtask": {
1810
+ "SA": {
1811
+ "accuracy": 0.23076923076923078,
1812
+ "count": 104
1813
+ },
1814
+ "SC": {
1815
+ "accuracy": 0.09433962264150944,
1816
+ "count": 106
1817
+ },
1818
+ "SS": {
1819
+ "accuracy": 0.13043478260869565,
1820
+ "count": 23
1821
+ },
1822
+ "UC": {
1823
+ "accuracy": 0.15625,
1824
+ "count": 160
1825
+ },
1826
+ "US": {
1827
+ "accuracy": 0.09771986970684039,
1828
+ "count": 307
1829
+ }
1830
+ }
1831
+ },
1832
+ "add_S5": {
1833
+ "full_accuracy": 0.0,
1834
+ "n_examples": 100,
1835
+ "per_subtask": {
1836
+ "SA": {
1837
+ "accuracy": 0.19,
1838
+ "count": 100
1839
+ },
1840
+ "SC": {
1841
+ "accuracy": 0.08,
1842
+ "count": 100
1843
+ },
1844
+ "UC": {
1845
+ "accuracy": 0.06,
1846
+ "count": 100
1847
+ },
1848
+ "US": {
1849
+ "accuracy": 0.09,
1850
+ "count": 400
1851
+ }
1852
+ }
1853
+ },
1854
+ "add_S6": {
1855
+ "full_accuracy": 0.0,
1856
+ "n_examples": 100,
1857
+ "per_subtask": {
1858
+ "SC": {
1859
+ "accuracy": 0.07,
1860
+ "count": 100
1861
+ },
1862
+ "UC": {
1863
+ "accuracy": 0.13,
1864
+ "count": 100
1865
+ },
1866
+ "US": {
1867
+ "accuracy": 0.122,
1868
+ "count": 500
1869
+ }
1870
+ }
1871
+ },
1872
+ "add_random": {
1873
+ "full_accuracy": 0.0,
1874
+ "n_examples": 200,
1875
+ "per_subtask": {
1876
+ "SA": {
1877
+ "accuracy": 0.17225950782997762,
1878
+ "count": 447
1879
+ },
1880
+ "SC": {
1881
+ "accuracy": 0.084375,
1882
+ "count": 320
1883
+ },
1884
+ "SS": {
1885
+ "accuracy": 0.16071428571428573,
1886
+ "count": 56
1887
+ },
1888
+ "UC": {
1889
+ "accuracy": 0.12098298676748583,
1890
+ "count": 529
1891
+ },
1892
+ "US": {
1893
+ "accuracy": 0.16666666666666666,
1894
+ "count": 48
1895
+ }
1896
+ }
1897
+ },
1898
+ "add_C3": {
1899
+ "full_accuracy": 0.0,
1900
+ "n_examples": 100,
1901
+ "per_subtask": {
1902
+ "SA": {
1903
+ "accuracy": 0.22,
1904
+ "count": 300
1905
+ },
1906
+ "SC": {
1907
+ "accuracy": 0.04,
1908
+ "count": 100
1909
+ },
1910
+ "UC": {
1911
+ "accuracy": 0.12435233160621761,
1912
+ "count": 193
1913
+ },
1914
+ "US": {
1915
+ "accuracy": 0.11214953271028037,
1916
+ "count": 107
1917
+ }
1918
+ }
1919
+ },
1920
+ "add_C4": {
1921
+ "full_accuracy": 0.0,
1922
+ "n_examples": 100,
1923
+ "per_subtask": {
1924
+ "SA": {
1925
+ "accuracy": 0.215,
1926
+ "count": 200
1927
+ },
1928
+ "SC": {
1929
+ "accuracy": 0.11,
1930
+ "count": 100
1931
+ },
1932
+ "UC": {
1933
+ "accuracy": 0.14453125,
1934
+ "count": 256
1935
+ },
1936
+ "US": {
1937
+ "accuracy": 0.1111111111111111,
1938
+ "count": 144
1939
+ }
1940
+ }
1941
+ },
1942
+ "add_C5": {
1943
+ "full_accuracy": 0.0,
1944
+ "n_examples": 100,
1945
+ "per_subtask": {
1946
+ "SA": {
1947
+ "accuracy": 0.23,
1948
+ "count": 100
1949
+ },
1950
+ "SC": {
1951
+ "accuracy": 0.07,
1952
+ "count": 100
1953
+ },
1954
+ "UC": {
1955
+ "accuracy": 0.11437908496732026,
1956
+ "count": 306
1957
+ },
1958
+ "US": {
1959
+ "accuracy": 0.08247422680412371,
1960
+ "count": 194
1961
+ }
1962
+ }
1963
+ },
1964
+ "add_C6": {
1965
+ "full_accuracy": 0.0,
1966
+ "n_examples": 100,
1967
+ "per_subtask": {
1968
+ "SC": {
1969
+ "accuracy": 0.07,
1970
+ "count": 100
1971
+ },
1972
+ "UC": {
1973
+ "accuracy": 0.1284153005464481,
1974
+ "count": 366
1975
+ },
1976
+ "US": {
1977
+ "accuracy": 0.10683760683760683,
1978
+ "count": 234
1979
+ }
1980
+ }
1981
+ },
1982
+ "sub_M0": {
1983
+ "full_accuracy": 0.0,
1984
+ "n_examples": 100,
1985
+ "per_subtask": {
1986
+ "MD": {
1987
+ "accuracy": 0.13976705490848584,
1988
+ "count": 601
1989
+ },
1990
+ "ME": {
1991
+ "accuracy": 0.06060606060606061,
1992
+ "count": 99
1993
+ }
1994
+ }
1995
+ },
1996
+ "sub_M1": {
1997
+ "full_accuracy": 0.0,
1998
+ "n_examples": 100,
1999
+ "per_subtask": {
2000
+ "MD": {
2001
+ "accuracy": 0.1827956989247312,
2002
+ "count": 279
2003
+ },
2004
+ "MB": {
2005
+ "accuracy": 0.1310344827586207,
2006
+ "count": 145
2007
+ },
2008
+ "ME": {
2009
+ "accuracy": 0.08333333333333333,
2010
+ "count": 24
2011
+ },
2012
+ "UB": {
2013
+ "accuracy": 0.07936507936507936,
2014
+ "count": 252
2015
+ }
2016
+ }
2017
+ },
2018
+ "sub_M2": {
2019
+ "full_accuracy": 0.0,
2020
+ "n_examples": 100,
2021
+ "per_subtask": {
2022
+ "MD": {
2023
+ "accuracy": 0.1784037558685446,
2024
+ "count": 213
2025
+ },
2026
+ "MB": {
2027
+ "accuracy": 0.10619469026548672,
2028
+ "count": 113
2029
+ },
2030
+ "ME": {
2031
+ "accuracy": 0.10588235294117647,
2032
+ "count": 85
2033
+ },
2034
+ "UB": {
2035
+ "accuracy": 0.049723756906077346,
2036
+ "count": 181
2037
+ },
2038
+ "UD": {
2039
+ "accuracy": 0.14814814814814814,
2040
+ "count": 108
2041
+ }
2042
+ }
2043
+ },
2044
+ "sub_M3": {
2045
+ "full_accuracy": 0.0,
2046
+ "n_examples": 100,
2047
+ "per_subtask": {
2048
+ "MD": {
2049
+ "accuracy": 0.18435754189944134,
2050
+ "count": 179
2051
+ },
2052
+ "MB": {
2053
+ "accuracy": 0.1262135922330097,
2054
+ "count": 103
2055
+ },
2056
+ "ME": {
2057
+ "accuracy": 0.19642857142857142,
2058
+ "count": 56
2059
+ },
2060
+ "UB": {
2061
+ "accuracy": 0.0738255033557047,
2062
+ "count": 149
2063
+ },
2064
+ "UD": {
2065
+ "accuracy": 0.13145539906103287,
2066
+ "count": 213
2067
+ }
2068
+ }
2069
+ },
2070
+ "sub_M4": {
2071
+ "full_accuracy": 0.0,
2072
+ "n_examples": 100,
2073
+ "per_subtask": {
2074
+ "MD": {
2075
+ "accuracy": 0.195,
2076
+ "count": 200
2077
+ },
2078
+ "MB": {
2079
+ "accuracy": 0.15,
2080
+ "count": 100
2081
+ },
2082
+ "UB": {
2083
+ "accuracy": 0.04,
2084
+ "count": 100
2085
+ },
2086
+ "UD": {
2087
+ "accuracy": 0.1,
2088
+ "count": 300
2089
+ }
2090
+ }
2091
+ },
2092
+ "sub_M5": {
2093
+ "full_accuracy": 0.0,
2094
+ "n_examples": 100,
2095
+ "per_subtask": {
2096
+ "MD": {
2097
+ "accuracy": 0.39,
2098
+ "count": 100
2099
+ },
2100
+ "MB": {
2101
+ "accuracy": 0.12,
2102
+ "count": 100
2103
+ },
2104
+ "UB": {
2105
+ "accuracy": 0.06,
2106
+ "count": 100
2107
+ },
2108
+ "UD": {
2109
+ "accuracy": 0.105,
2110
+ "count": 400
2111
+ }
2112
+ }
2113
+ },
2114
+ "sub_random": {
2115
+ "full_accuracy": 0.0,
2116
+ "n_examples": 200,
2117
+ "per_subtask": {
2118
+ "MD": {
2119
+ "accuracy": 0.18333333333333332,
2120
+ "count": 600
2121
+ },
2122
+ "MB": {
2123
+ "accuracy": 0.14232209737827714,
2124
+ "count": 267
2125
+ },
2126
+ "ME": {
2127
+ "accuracy": 0.11320754716981132,
2128
+ "count": 53
2129
+ },
2130
+ "UB": {
2131
+ "accuracy": 0.07972665148063782,
2132
+ "count": 439
2133
+ },
2134
+ "UD": {
2135
+ "accuracy": 0.07317073170731707,
2136
+ "count": 41
2137
+ }
2138
+ }
2139
+ },
2140
+ "sub_B3": {
2141
+ "full_accuracy": 0.0,
2142
+ "n_examples": 100,
2143
+ "per_subtask": {
2144
+ "MD": {
2145
+ "accuracy": 0.20333333333333334,
2146
+ "count": 300
2147
+ },
2148
+ "MB": {
2149
+ "accuracy": 0.05,
2150
+ "count": 100
2151
+ },
2152
+ "UB": {
2153
+ "accuracy": 0.116751269035533,
2154
+ "count": 197
2155
+ },
2156
+ "UD": {
2157
+ "accuracy": 0.08737864077669903,
2158
+ "count": 103
2159
+ }
2160
+ }
2161
+ },
2162
+ "sub_B4": {
2163
+ "full_accuracy": 0.0,
2164
+ "n_examples": 100,
2165
+ "per_subtask": {
2166
+ "MD": {
2167
+ "accuracy": 0.225,
2168
+ "count": 200
2169
+ },
2170
+ "MB": {
2171
+ "accuracy": 0.12,
2172
+ "count": 100
2173
+ },
2174
+ "UB": {
2175
+ "accuracy": 0.08097165991902834,
2176
+ "count": 247
2177
+ },
2178
+ "UD": {
2179
+ "accuracy": 0.12418300653594772,
2180
+ "count": 153
2181
+ }
2182
+ }
2183
+ },
2184
+ "sub_B5": {
2185
+ "full_accuracy": 0.0,
2186
+ "n_examples": 100,
2187
+ "per_subtask": {
2188
+ "MD": {
2189
+ "accuracy": 0.32,
2190
+ "count": 100
2191
+ },
2192
+ "MB": {
2193
+ "accuracy": 0.2,
2194
+ "count": 100
2195
+ },
2196
+ "UB": {
2197
+ "accuracy": 0.13087248322147652,
2198
+ "count": 298
2199
+ },
2200
+ "UD": {
2201
+ "accuracy": 0.1188118811881188,
2202
+ "count": 202
2203
+ }
2204
+ }
2205
+ }
2206
+ },
2207
+ "summary": {
2208
+ "overall_accuracy": 0.0,
2209
+ "total_examples": 2400,
2210
+ "n_splits": 22
2211
+ }
2212
+ },
2213
+ "sorl_eval": {
2214
+ "config": {
2215
+ "ops": "add_sub",
2216
+ "K": 1,
2217
+ "mode": "sorl",
2218
+ "n_digits": 6,
2219
+ "n_per_split": 100
2220
+ },
2221
+ "splits": {
2222
+ "add_S0": {
2223
+ "full_accuracy": 0.99,
2224
+ "n_examples": 100,
2225
+ "per_subtask": {
2226
+ "SA": {
2227
+ "accuracy": 0.9983471074380166,
2228
+ "count": 605
2229
+ },
2230
+ "SS": {
2231
+ "accuracy": 1.0,
2232
+ "count": 95
2233
+ }
2234
+ }
2235
+ },
2236
+ "add_S1": {
2237
+ "full_accuracy": 0.98,
2238
+ "n_examples": 100,
2239
+ "per_subtask": {
2240
+ "SA": {
2241
+ "accuracy": 0.9950980392156863,
2242
+ "count": 204
2243
+ },
2244
+ "SC": {
2245
+ "accuracy": 0.9940828402366864,
2246
+ "count": 169
2247
+ },
2248
+ "SS": {
2249
+ "accuracy": 1.0,
2250
+ "count": 31
2251
+ },
2252
+ "UC": {
2253
+ "accuracy": 1.0,
2254
+ "count": 296
2255
+ }
2256
+ }
2257
+ },
2258
+ "add_S2": {
2259
+ "full_accuracy": 0.96,
2260
+ "n_examples": 100,
2261
+ "per_subtask": {
2262
+ "SA": {
2263
+ "accuracy": 1.0,
2264
+ "count": 163
2265
+ },
2266
+ "SC": {
2267
+ "accuracy": 0.9923076923076923,
2268
+ "count": 130
2269
+ },
2270
+ "SS": {
2271
+ "accuracy": 0.9770114942528736,
2272
+ "count": 87
2273
+ },
2274
+ "UC": {
2275
+ "accuracy": 0.9950738916256158,
2276
+ "count": 203
2277
+ },
2278
+ "US": {
2279
+ "accuracy": 1.0,
2280
+ "count": 117
2281
+ }
2282
+ }
2283
+ },
2284
+ "add_S3": {
2285
+ "full_accuracy": 0.86,
2286
+ "n_examples": 100,
2287
+ "per_subtask": {
2288
+ "SA": {
2289
+ "accuracy": 1.0,
2290
+ "count": 121
2291
+ },
2292
+ "SC": {
2293
+ "accuracy": 1.0,
2294
+ "count": 121
2295
+ },
2296
+ "SS": {
2297
+ "accuracy": 1.0,
2298
+ "count": 49
2299
+ },
2300
+ "UC": {
2301
+ "accuracy": 0.9301075268817204,
2302
+ "count": 186
2303
+ },
2304
+ "US": {
2305
+ "accuracy": 0.9820627802690582,
2306
+ "count": 223
2307
+ }
2308
+ }
2309
+ },
2310
+ "add_S4": {
2311
+ "full_accuracy": 0.68,
2312
+ "n_examples": 100,
2313
+ "per_subtask": {
2314
+ "SA": {
2315
+ "accuracy": 1.0,
2316
+ "count": 104
2317
+ },
2318
+ "SC": {
2319
+ "accuracy": 1.0,
2320
+ "count": 106
2321
+ },
2322
+ "SS": {
2323
+ "accuracy": 1.0,
2324
+ "count": 23
2325
+ },
2326
+ "UC": {
2327
+ "accuracy": 0.86875,
2328
+ "count": 160
2329
+ },
2330
+ "US": {
2331
+ "accuracy": 0.9153094462540716,
2332
+ "count": 307
2333
+ }
2334
+ }
2335
+ },
2336
+ "add_S5": {
2337
+ "full_accuracy": 0.4,
2338
+ "n_examples": 100,
2339
+ "per_subtask": {
2340
+ "SA": {
2341
+ "accuracy": 1.0,
2342
+ "count": 100
2343
+ },
2344
+ "SC": {
2345
+ "accuracy": 1.0,
2346
+ "count": 100
2347
+ },
2348
+ "UC": {
2349
+ "accuracy": 0.5,
2350
+ "count": 100
2351
+ },
2352
+ "US": {
2353
+ "accuracy": 0.775,
2354
+ "count": 400
2355
+ }
2356
+ }
2357
+ },
2358
+ "add_S6": {
2359
+ "full_accuracy": 0.61,
2360
+ "n_examples": 100,
2361
+ "per_subtask": {
2362
+ "SC": {
2363
+ "accuracy": 1.0,
2364
+ "count": 100
2365
+ },
2366
+ "UC": {
2367
+ "accuracy": 0.63,
2368
+ "count": 100
2369
+ },
2370
+ "US": {
2371
+ "accuracy": 0.832,
2372
+ "count": 500
2373
+ }
2374
+ }
2375
+ },
2376
+ "add_random": {
2377
+ "full_accuracy": 0.97,
2378
+ "n_examples": 200,
2379
+ "per_subtask": {
2380
+ "SA": {
2381
+ "accuracy": 0.9932885906040269,
2382
+ "count": 447
2383
+ },
2384
+ "SC": {
2385
+ "accuracy": 0.996875,
2386
+ "count": 320
2387
+ },
2388
+ "SS": {
2389
+ "accuracy": 1.0,
2390
+ "count": 56
2391
+ },
2392
+ "UC": {
2393
+ "accuracy": 0.996219281663516,
2394
+ "count": 529
2395
+ },
2396
+ "US": {
2397
+ "accuracy": 1.0,
2398
+ "count": 48
2399
+ }
2400
+ }
2401
+ },
2402
+ "add_C3": {
2403
+ "full_accuracy": 0.86,
2404
+ "n_examples": 100,
2405
+ "per_subtask": {
2406
+ "SA": {
2407
+ "accuracy": 1.0,
2408
+ "count": 300
2409
+ },
2410
+ "SC": {
2411
+ "accuracy": 1.0,
2412
+ "count": 100
2413
+ },
2414
+ "UC": {
2415
+ "accuracy": 0.927461139896373,
2416
+ "count": 193
2417
+ },
2418
+ "US": {
2419
+ "accuracy": 0.9626168224299065,
2420
+ "count": 107
2421
+ }
2422
+ }
2423
+ },
2424
+ "add_C4": {
2425
+ "full_accuracy": 0.85,
2426
+ "n_examples": 100,
2427
+ "per_subtask": {
2428
+ "SA": {
2429
+ "accuracy": 1.0,
2430
+ "count": 200
2431
+ },
2432
+ "SC": {
2433
+ "accuracy": 1.0,
2434
+ "count": 100
2435
+ },
2436
+ "UC": {
2437
+ "accuracy": 0.94140625,
2438
+ "count": 256
2439
+ },
2440
+ "US": {
2441
+ "accuracy": 0.9652777777777778,
2442
+ "count": 144
2443
+ }
2444
+ }
2445
+ },
2446
+ "add_C5": {
2447
+ "full_accuracy": 0.85,
2448
+ "n_examples": 100,
2449
+ "per_subtask": {
2450
+ "SA": {
2451
+ "accuracy": 1.0,
2452
+ "count": 100
2453
+ },
2454
+ "SC": {
2455
+ "accuracy": 1.0,
2456
+ "count": 100
2457
+ },
2458
+ "UC": {
2459
+ "accuracy": 0.9575163398692811,
2460
+ "count": 306
2461
+ },
2462
+ "US": {
2463
+ "accuracy": 0.9536082474226805,
2464
+ "count": 194
2465
+ }
2466
+ }
2467
+ },
2468
+ "add_C6": {
2469
+ "full_accuracy": 0.9,
2470
+ "n_examples": 100,
2471
+ "per_subtask": {
2472
+ "SC": {
2473
+ "accuracy": 1.0,
2474
+ "count": 100
2475
+ },
2476
+ "UC": {
2477
+ "accuracy": 0.9726775956284153,
2478
+ "count": 366
2479
+ },
2480
+ "US": {
2481
+ "accuracy": 0.9700854700854701,
2482
+ "count": 234
2483
+ }
2484
+ }
2485
+ },
2486
+ "sub_M0": {
2487
+ "full_accuracy": 1.0,
2488
+ "n_examples": 100,
2489
+ "per_subtask": {
2490
+ "MD": {
2491
+ "accuracy": 1.0,
2492
+ "count": 601
2493
+ },
2494
+ "ME": {
2495
+ "accuracy": 1.0,
2496
+ "count": 99
2497
+ }
2498
+ }
2499
+ },
2500
+ "sub_M1": {
2501
+ "full_accuracy": 1.0,
2502
+ "n_examples": 100,
2503
+ "per_subtask": {
2504
+ "MD": {
2505
+ "accuracy": 1.0,
2506
+ "count": 279
2507
+ },
2508
+ "MB": {
2509
+ "accuracy": 1.0,
2510
+ "count": 145
2511
+ },
2512
+ "ME": {
2513
+ "accuracy": 1.0,
2514
+ "count": 24
2515
+ },
2516
+ "UB": {
2517
+ "accuracy": 1.0,
2518
+ "count": 252
2519
+ }
2520
+ }
2521
+ },
2522
+ "sub_M2": {
2523
+ "full_accuracy": 1.0,
2524
+ "n_examples": 100,
2525
+ "per_subtask": {
2526
+ "MD": {
2527
+ "accuracy": 1.0,
2528
+ "count": 213
2529
+ },
2530
+ "MB": {
2531
+ "accuracy": 1.0,
2532
+ "count": 113
2533
+ },
2534
+ "ME": {
2535
+ "accuracy": 1.0,
2536
+ "count": 85
2537
+ },
2538
+ "UB": {
2539
+ "accuracy": 1.0,
2540
+ "count": 181
2541
+ },
2542
+ "UD": {
2543
+ "accuracy": 1.0,
2544
+ "count": 108
2545
+ }
2546
+ }
2547
+ },
2548
+ "sub_M3": {
2549
+ "full_accuracy": 0.76,
2550
+ "n_examples": 100,
2551
+ "per_subtask": {
2552
+ "MD": {
2553
+ "accuracy": 1.0,
2554
+ "count": 179
2555
+ },
2556
+ "MB": {
2557
+ "accuracy": 1.0,
2558
+ "count": 103
2559
+ },
2560
+ "ME": {
2561
+ "accuracy": 1.0,
2562
+ "count": 56
2563
+ },
2564
+ "UB": {
2565
+ "accuracy": 0.8389261744966443,
2566
+ "count": 149
2567
+ },
2568
+ "UD": {
2569
+ "accuracy": 0.9859154929577465,
2570
+ "count": 213
2571
+ }
2572
+ }
2573
+ },
2574
+ "sub_M4": {
2575
+ "full_accuracy": 0.43,
2576
+ "n_examples": 100,
2577
+ "per_subtask": {
2578
+ "MD": {
2579
+ "accuracy": 1.0,
2580
+ "count": 200
2581
+ },
2582
+ "MB": {
2583
+ "accuracy": 1.0,
2584
+ "count": 100
2585
+ },
2586
+ "UB": {
2587
+ "accuracy": 0.61,
2588
+ "count": 100
2589
+ },
2590
+ "UD": {
2591
+ "accuracy": 0.8266666666666667,
2592
+ "count": 300
2593
+ }
2594
+ }
2595
+ },
2596
+ "sub_M5": {
2597
+ "full_accuracy": 0.07,
2598
+ "n_examples": 100,
2599
+ "per_subtask": {
2600
+ "MD": {
2601
+ "accuracy": 1.0,
2602
+ "count": 100
2603
+ },
2604
+ "MB": {
2605
+ "accuracy": 1.0,
2606
+ "count": 100
2607
+ },
2608
+ "UB": {
2609
+ "accuracy": 0.37,
2610
+ "count": 100
2611
+ },
2612
+ "UD": {
2613
+ "accuracy": 0.64,
2614
+ "count": 400
2615
+ }
2616
+ }
2617
+ },
2618
+ "sub_random": {
2619
+ "full_accuracy": 0.985,
2620
+ "n_examples": 200,
2621
+ "per_subtask": {
2622
+ "MD": {
2623
+ "accuracy": 0.9983333333333333,
2624
+ "count": 600
2625
+ },
2626
+ "MB": {
2627
+ "accuracy": 1.0,
2628
+ "count": 267
2629
+ },
2630
+ "ME": {
2631
+ "accuracy": 1.0,
2632
+ "count": 53
2633
+ },
2634
+ "UB": {
2635
+ "accuracy": 0.9954441913439636,
2636
+ "count": 439
2637
+ },
2638
+ "UD": {
2639
+ "accuracy": 0.975609756097561,
2640
+ "count": 41
2641
+ }
2642
+ }
2643
+ },
2644
+ "sub_B3": {
2645
+ "full_accuracy": 0.85,
2646
+ "n_examples": 100,
2647
+ "per_subtask": {
2648
+ "MD": {
2649
+ "accuracy": 0.9966666666666667,
2650
+ "count": 300
2651
+ },
2652
+ "MB": {
2653
+ "accuracy": 1.0,
2654
+ "count": 100
2655
+ },
2656
+ "UB": {
2657
+ "accuracy": 0.934010152284264,
2658
+ "count": 197
2659
+ },
2660
+ "UD": {
2661
+ "accuracy": 0.9902912621359223,
2662
+ "count": 103
2663
+ }
2664
+ }
2665
+ },
2666
+ "sub_B4": {
2667
+ "full_accuracy": 0.8,
2668
+ "n_examples": 100,
2669
+ "per_subtask": {
2670
+ "MD": {
2671
+ "accuracy": 1.0,
2672
+ "count": 200
2673
+ },
2674
+ "MB": {
2675
+ "accuracy": 1.0,
2676
+ "count": 100
2677
+ },
2678
+ "UB": {
2679
+ "accuracy": 0.9433198380566802,
2680
+ "count": 247
2681
+ },
2682
+ "UD": {
2683
+ "accuracy": 0.934640522875817,
2684
+ "count": 153
2685
+ }
2686
+ }
2687
+ },
2688
+ "sub_B5": {
2689
+ "full_accuracy": 0.8,
2690
+ "n_examples": 100,
2691
+ "per_subtask": {
2692
+ "MD": {
2693
+ "accuracy": 1.0,
2694
+ "count": 100
2695
+ },
2696
+ "MB": {
2697
+ "accuracy": 1.0,
2698
+ "count": 100
2699
+ },
2700
+ "UB": {
2701
+ "accuracy": 0.9429530201342282,
2702
+ "count": 298
2703
+ },
2704
+ "UD": {
2705
+ "accuracy": 0.9504950495049505,
2706
+ "count": 202
2707
+ }
2708
+ }
2709
+ }
2710
+ },
2711
+ "summary": {
2712
+ "overall_accuracy": 0.815,
2713
+ "total_examples": 2400,
2714
+ "n_splits": 22
2715
+ }
2716
+ },
2717
+ "sorl_overall_accuracy": 0.815,
2718
+ "sft_overall_accuracy": 0.0
2719
+ }
add_sub_sorl_v6_abs30_K1_25K/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:cb04823f43b53c5e9b477a1dd11a3e9faefb3a7f8ce976aef5456dbfea28ed64
3
+ size 650385300
add_sub_sorl_v6_abs30_K1_25K/train_config.json ADDED
@@ -0,0 +1,84 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "num_rollouts": 4,
3
+ "K": 1,
4
+ "max_iterations": 2,
5
+ "memory_span_abs": 1792,
6
+ "memory_span_traj": 1792,
7
+ "temperature": 1.0,
8
+ "ar_search": false,
9
+ "response_only_abs": false,
10
+ "alpha_info_gain": 10.0,
11
+ "alpha_abs": 0.1,
12
+ "alpha_soft_zipf": 1.0,
13
+ "alpha_ortho": 0.0,
14
+ "alpha_anchor": 0.0,
15
+ "alpha_jacobi": 0.0,
16
+ "decay": 0.8,
17
+ "target_vocab_util": 0.8,
18
+ "min_abs_ppl": 0.0,
19
+ "zipf_alpha": 1.0,
20
+ "lr": 8e-05,
21
+ "emb_lr_mult": 1.0,
22
+ "weight_decay": 0.01,
23
+ "warmup_steps": 234,
24
+ "cooldown_frac": 0.4,
25
+ "max_grad_norm": 1.0,
26
+ "vq_abs_pretrain_steps": 0,
27
+ "vq_abs_pretrain_lr": 0.001,
28
+ "vq_abs_pretrain_layer": -1,
29
+ "vq_abs_pretrain_batch_size": 256,
30
+ "vq_abs_pretrain_target_vectors": 20000,
31
+ "batch_size": 64,
32
+ "gradient_accumulation_steps": 1,
33
+ "num_epochs": 20,
34
+ "emb_warmup_steps": 0,
35
+ "log_every": 50,
36
+ "eval_every": 390,
37
+ "save_every": 999999,
38
+ "eval_samples": 100,
39
+ "output_dir": "ckpt/sweep/as_sorl_v6_abs30_K1_25K",
40
+ "eval_K": 4,
41
+ "alpha_traj": 0.0,
42
+ "corrupt_method": "shuffle",
43
+ "corrupt_ratio": 0.3,
44
+ "alpha_contrastive": 1.0,
45
+ "gamma_contrastive": 0.5,
46
+ "alpha_masked_traj": 0.0,
47
+ "mask_nl_ratio": 0.3,
48
+ "mask_nl_mode": "fixed",
49
+ "mask_nl_fixed_id": 0,
50
+ "use_ste": true,
51
+ "n_inner": 1,
52
+ "random_K": null,
53
+ "strip_suffix": null,
54
+ "compress_prefix": null,
55
+ "random_mem_span": null,
56
+ "warmup_ratio": 0.03,
57
+ "beta2": 0.999,
58
+ "seed": 42,
59
+ "n_digits": 6,
60
+ "n_layer": 2,
61
+ "n_head": 3,
62
+ "n_embd": 510,
63
+ "ops": "add_sub",
64
+ "abs_vocab": 30,
65
+ "dataset_size": 25000,
66
+ "mode": "sorl_v6",
67
+ "device": "cuda",
68
+ "push_to_hub": true,
69
+ "no_wandb": false,
70
+ "n_params": 162519662,
71
+ "run_name": "add_sub_sorl_v6_abs30_K1_25K",
72
+ "git_commit": "17e935f460a7f9595b705c1d614101a6b0e520f7",
73
+ "timestamp": "2026-04-14T10:04:30.519578+00:00",
74
+ "tokenizer": "Qwen/Qwen3-0.6B",
75
+ "dataset_repo": "thoughtworks/arithmetic-sorl-data",
76
+ "dataset_config": "add_sub_6digit",
77
+ "model_repo": "thoughtworks/arithmetic-sorl",
78
+ "trainer_version": "v6",
79
+ "wandb_run_id": "0l1r06x6",
80
+ "wandb_url": "https://wandb.ai/nlp_and_interpretability/sorl-arithmetic/runs/0l1r06x6",
81
+ "final_accuracy": 0.815,
82
+ "sft_accuracy": 0.0,
83
+ "eval_method": "ArithmeticEvaluator"
84
+ }