Hugging Face's logo

thoughtworks
/
arithmetic-sorl

Safetensors
sorl
arithmetic
interpretability
mechanistic-interpretability
qwen3
Model card Files
xet
 Community
amirali1985 commited on
Commit
d2642e9
·
verified ·
1 Parent(s): e3cf75d

Upload add_sub_sorl_v6_abs30_25K

Browse files
Files changed (5) hide show
  1. add_sub_sorl_v6_abs30_25K/config.json +37 -0
  2. add_sub_sorl_v6_abs30_25K/generation_config.json +7 -0
  3. add_sub_sorl_v6_abs30_25K/metrics.json +2719 -0
  4. add_sub_sorl_v6_abs30_25K/model.safetensors +3 -0
  5. add_sub_sorl_v6_abs30_25K/train_config.json +84 -0
add_sub_sorl_v6_abs30_25K/config.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "SorlModelWrapper"
4
+ ],
5
+ "attention_bias": false,
6
+ "attention_dropout": 0.0,
7
+ "bos_token_id": null,
8
+ "dtype": "float32",
9
+ "eos_token_id": null,
10
+ "head_dim": 128,
11
+ "hidden_act": "silu",
12
+ "hidden_size": 510,
13
+ "initializer_range": 0.02,
14
+ "intermediate_size": 2040,
15
+ "layer_types": [
16
+ "full_attention",
17
+ "full_attention"
18
+ ],
19
+ "max_position_embeddings": 128,
20
+ "max_window_layers": 28,
21
+ "model_type": "qwen3",
22
+ "num_attention_heads": 3,
23
+ "num_hidden_layers": 2,
24
+ "num_key_value_heads": 3,
25
+ "pad_token_id": null,
26
+ "rms_norm_eps": 1e-06,
27
+ "rope_parameters": {
28
+ "rope_theta": 10000.0,
29
+ "rope_type": "default"
30
+ },
31
+ "sliding_window": null,
32
+ "tie_word_embeddings": false,
33
+ "transformers_version": "5.5.0",
34
+ "use_cache": true,
35
+ "use_sliding_window": false,
36
+ "vocab_size": 151674
37
+ }
add_sub_sorl_v6_abs30_25K/generation_config.json ADDED
@@ -0,0 +1,7 @@
 
 
 
 
 
 
 
 
1
+ {
2
+ "_from_model_config": true,
3
+ "output_attentions": false,
4
+ "output_hidden_states": false,
5
+ "transformers_version": "5.5.0",
6
+ "use_cache": true
7
+ }
add_sub_sorl_v6_abs30_25K/metrics.json ADDED
@@ -0,0 +1,2719 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "history": {
3
+ "step": [
4
+ 50,
5
+ 100,
6
+ 150,
7
+ 200,
8
+ 250,
9
+ 300,
10
+ 350,
11
+ 441,
12
+ 491,
13
+ 541,
14
+ 591,
15
+ 641,
16
+ 691,
17
+ 741,
18
+ 832,
19
+ 882,
20
+ 932,
21
+ 982,
22
+ 1032,
23
+ 1082,
24
+ 1132,
25
+ 1223,
26
+ 1273,
27
+ 1323,
28
+ 1373,
29
+ 1423,
30
+ 1473,
31
+ 1523,
32
+ 1614,
33
+ 1664,
34
+ 1714,
35
+ 1764,
36
+ 1814,
37
+ 1864,
38
+ 1914,
39
+ 2005,
40
+ 2055,
41
+ 2105,
42
+ 2155,
43
+ 2205,
44
+ 2255,
45
+ 2305,
46
+ 2396,
47
+ 2446,
48
+ 2496,
49
+ 2546,
50
+ 2596,
51
+ 2646,
52
+ 2696,
53
+ 2787,
54
+ 2837,
55
+ 2887,
56
+ 2937,
57
+ 2987,
58
+ 3037,
59
+ 3087,
60
+ 3178,
61
+ 3228,
62
+ 3278,
63
+ 3328,
64
+ 3378,
65
+ 3428,
66
+ 3478,
67
+ 3569,
68
+ 3619,
69
+ 3669,
70
+ 3719,
71
+ 3769,
72
+ 3819,
73
+ 3869,
74
+ 3960,
75
+ 4010,
76
+ 4060,
77
+ 4110,
78
+ 4160,
79
+ 4210,
80
+ 4260,
81
+ 4351,
82
+ 4401,
83
+ 4451,
84
+ 4501,
85
+ 4551,
86
+ 4601,
87
+ 4651,
88
+ 4742,
89
+ 4792,
90
+ 4842,
91
+ 4892,
92
+ 4942,
93
+ 4992,
94
+ 5042,
95
+ 5133,
96
+ 5183,
97
+ 5233,
98
+ 5283,
99
+ 5333,
100
+ 5383,
101
+ 5433,
102
+ 5524,
103
+ 5574,
104
+ 5624,
105
+ 5674,
106
+ 5724,
107
+ 5774,
108
+ 5824,
109
+ 5915,
110
+ 5965,
111
+ 6015,
112
+ 6065,
113
+ 6115,
114
+ 6165,
115
+ 6215,
116
+ 6306,
117
+ 6356,
118
+ 6406,
119
+ 6456,
120
+ 6506,
121
+ 6556,
122
+ 6606,
123
+ 6697,
124
+ 6747,
125
+ 6797,
126
+ 6847,
127
+ 6897,
128
+ 6947,
129
+ 6997,
130
+ 7088,
131
+ 7138,
132
+ 7188,
133
+ 7238,
134
+ 7288,
135
+ 7338,
136
+ 7388,
137
+ 7479,
138
+ 7529,
139
+ 7579,
140
+ 7629,
141
+ 7679,
142
+ 7729,
143
+ 7779
144
+ ],
145
+ "loss": [
146
+ 8.127874374389648,
147
+ 6.109964847564697,
148
+ 3.402937173843384,
149
+ 1.988118290901184,
150
+ 1.8941642045974731,
151
+ 1.8347879648208618,
152
+ 1.7350202798843384,
153
+ 1.5969860553741455,
154
+ 1.3547273874282837,
155
+ 0.8313993215560913,
156
+ 0.7279328107833862,
157
+ 0.6416966319084167,
158
+ 0.5917851328849792,
159
+ 0.5058955550193787,
160
+ 0.5094279050827026,
161
+ 0.41711193323135376,
162
+ 0.358858585357666,
163
+ 0.3807855546474457,
164
+ 0.35626882314682007,
165
+ 0.3483494818210602,
166
+ 0.32953372597694397,
167
+ 0.3145844638347626,
168
+ 0.3102133870124817,
169
+ 0.3094140887260437,
170
+ 0.2957168221473694,
171
+ 0.35602331161499023,
172
+ 0.23745401203632355,
173
+ 0.22534659504890442,
174
+ 0.2565360367298126,
175
+ 0.22643660008907318,
176
+ 0.19931350648403168,
177
+ 0.20658734440803528,
178
+ 0.2360752522945404,
179
+ 0.20782031118869781,
180
+ 0.18856516480445862,
181
+ 0.1790676862001419,
182
+ 0.20346401631832123,
183
+ 0.17145483195781708,
184
+ 0.18085221946239471,
185
+ 0.1565379798412323,
186
+ 0.18205031752586365,
187
+ 0.17439338564872742,
188
+ 0.1549833118915558,
189
+ 0.14170262217521667,
190
+ 0.17408394813537598,
191
+ 0.13200893998146057,
192
+ 0.13190005719661713,
193
+ 0.14840523898601532,
194
+ 0.13772526383399963,
195
+ 0.1759142428636551,
196
+ 0.18479490280151367,
197
+ 0.10341157019138336,
198
+ 0.12816162407398224,
199
+ 0.08743911981582642,
200
+ 0.10790566354990005,
201
+ 0.14147105813026428,
202
+ 0.1286274492740631,
203
+ 0.09135543555021286,
204
+ 0.105647973716259,
205
+ 0.09185849875211716,
206
+ 0.098481185734272,
207
+ 0.12634016573429108,
208
+ 0.10946830362081528,
209
+ 0.10187667608261108,
210
+ 0.12940412759780884,
211
+ 0.1504002958536148,
212
+ 0.11427783966064453,
213
+ 0.15379701554775238,
214
+ 0.11025065928697586,
215
+ 0.09782253205776215,
216
+ 0.10668100416660309,
217
+ 0.06939985603094101,
218
+ 0.10695849359035492,
219
+ 0.09551453590393066,
220
+ 0.11529625207185745,
221
+ 0.08687225729227066,
222
+ 0.1110001802444458,
223
+ 0.11574339121580124,
224
+ 0.1264098435640335,
225
+ 0.11304431408643723,
226
+ 0.07975322753190994,
227
+ 0.0636330172419548,
228
+ 0.06802364438772202,
229
+ 0.13292177021503448,
230
+ 0.08437363058328629,
231
+ 0.08507896959781647,
232
+ 0.08539651334285736,
233
+ 0.08058871328830719,
234
+ 0.08234268426895142,
235
+ 0.08888798207044601,
236
+ 0.10224636644124985,
237
+ 0.07052936404943466,
238
+ 0.0910133644938469,
239
+ 0.09320306777954102,
240
+ 0.06303742527961731,
241
+ 0.07422288507223129,
242
+ 0.06396804749965668,
243
+ 0.08704070001840591,
244
+ 0.06770937889814377,
245
+ 0.10847773402929306,
246
+ 0.09881734848022461,
247
+ 0.10038775950670242,
248
+ 0.06355021893978119,
249
+ 0.06990695744752884,
250
+ 0.06352801620960236,
251
+ 0.05838710814714432,
252
+ 0.0915968269109726,
253
+ 0.05377567559480667,
254
+ 0.0754946619272232,
255
+ 0.05729464814066887,
256
+ 0.07367516309022903,
257
+ 0.06977269798517227,
258
+ 0.05887487158179283,
259
+ 0.05593854933977127,
260
+ 0.05696084722876549,
261
+ 0.059922389686107635,
262
+ 0.09020679444074631,
263
+ 0.03855413571000099,
264
+ 0.0442376472055912,
265
+ 0.051669325679540634,
266
+ 0.049007005989551544,
267
+ 0.07953003793954849,
268
+ 0.044902704656124115,
269
+ 0.04750249907374382,
270
+ 0.057057566940784454,
271
+ 0.03797118738293648,
272
+ 0.05032273381948471,
273
+ 0.04317667707800865,
274
+ 0.05320112034678459,
275
+ 0.04865177720785141,
276
+ 0.06751108169555664,
277
+ 0.029887109994888306,
278
+ 0.0759800523519516,
279
+ 0.04560413956642151,
280
+ 0.03458365797996521,
281
+ 0.04152403026819229,
282
+ 0.0393664576113224,
283
+ 0.05574759468436241,
284
+ 0.036126215010881424,
285
+ 0.04100002720952034
286
+ ],
287
+ "base_loss": [
288
+ 8.238882064819336,
289
+ 6.145676612854004,
290
+ 3.460634469985962,
291
+ 2.0402748584747314,
292
+ 2.1221420764923096,
293
+ 2.0473170280456543,
294
+ 2.130654811859131,
295
+ 2.315978765487671,
296
+ 2.7217023372650146,
297
+ 3.3650314807891846,
298
+ 4.011646270751953,
299
+ 4.143422603607178,
300
+ 4.8722381591796875,
301
+ 5.07265043258667,
302
+ 5.209494590759277,
303
+ 5.369877338409424,
304
+ 5.606998920440674,
305
+ 5.889904499053955,
306
+ 5.684082984924316,
307
+ 5.919872760772705,
308
+ 5.692337512969971,
309
+ 6.2853593826293945,
310
+ 6.13986349105835,
311
+ 5.926829814910889,
312
+ 6.115142822265625,
313
+ 6.117611408233643,
314
+ 6.129249572753906,
315
+ 6.375736236572266,
316
+ 5.98107385635376,
317
+ 6.206709861755371,
318
+ 6.492084980010986,
319
+ 6.573178768157959,
320
+ 6.4598565101623535,
321
+ 6.710238933563232,
322
+ 7.079105854034424,
323
+ 6.945835590362549,
324
+ 6.885253429412842,
325
+ 7.005201816558838,
326
+ 7.10459566116333,
327
+ 7.402355194091797,
328
+ 7.0886383056640625,
329
+ 7.156204700469971,
330
+ 7.4801764488220215,
331
+ 6.971134662628174,
332
+ 7.615209102630615,
333
+ 7.256917476654053,
334
+ 7.416859149932861,
335
+ 7.581279277801514,
336
+ 7.622212886810303,
337
+ 7.236643314361572,
338
+ 7.618709087371826,
339
+ 7.526031017303467,
340
+ 8.099995613098145,
341
+ 7.725978374481201,
342
+ 7.612528324127197,
343
+ 7.594696044921875,
344
+ 7.722622394561768,
345
+ 7.743264198303223,
346
+ 7.194113731384277,
347
+ 7.580887794494629,
348
+ 8.387279510498047,
349
+ 8.226881980895996,
350
+ 7.605177402496338,
351
+ 7.796214580535889,
352
+ 8.599145889282227,
353
+ 7.9064836502075195,
354
+ 8.242027282714844,
355
+ 8.040529251098633,
356
+ 8.129005432128906,
357
+ 7.688033580780029,
358
+ 8.142975807189941,
359
+ 8.004195213317871,
360
+ 7.711098670959473,
361
+ 8.453455924987793,
362
+ 7.978912353515625,
363
+ 7.317988395690918,
364
+ 7.71268892288208,
365
+ 8.545735359191895,
366
+ 7.98436975479126,
367
+ 8.740893363952637,
368
+ 7.888805389404297,
369
+ 9.055953979492188,
370
+ 8.788422584533691,
371
+ 8.265336036682129,
372
+ 8.473631858825684,
373
+ 8.566935539245605,
374
+ 9.179365158081055,
375
+ 9.414674758911133,
376
+ 9.247878074645996,
377
+ 9.355865478515625,
378
+ 9.17334270477295,
379
+ 9.265748977661133,
380
+ 9.056421279907227,
381
+ 9.667373657226562,
382
+ 9.409036636352539,
383
+ 8.992136001586914,
384
+ 9.752471923828125,
385
+ 9.469035148620605,
386
+ 9.598700523376465,
387
+ 9.698982238769531,
388
+ 10.186357498168945,
389
+ 9.545473098754883,
390
+ 9.937528610229492,
391
+ 9.666951179504395,
392
+ 9.49068546295166,
393
+ 9.690618515014648,
394
+ 9.47898006439209,
395
+ 9.929868698120117,
396
+ 10.36303424835205,
397
+ 9.53643798828125,
398
+ 9.873644828796387,
399
+ 9.461899757385254,
400
+ 10.641505241394043,
401
+ 10.112175941467285,
402
+ 10.34447193145752,
403
+ 10.390625,
404
+ 10.597647666931152,
405
+ 11.09644603729248,
406
+ 10.328328132629395,
407
+ 9.924537658691406,
408
+ 10.708417892456055,
409
+ 10.393763542175293,
410
+ 10.763016700744629,
411
+ 11.069327354431152,
412
+ 10.727107048034668,
413
+ 10.271275520324707,
414
+ 10.781805992126465,
415
+ 10.34343147277832,
416
+ 10.771018028259277,
417
+ 9.823307991027832,
418
+ 10.578081130981445,
419
+ 11.019965171813965,
420
+ 10.831145286560059,
421
+ 11.207414627075195,
422
+ 10.713823318481445,
423
+ 10.138585090637207,
424
+ 11.142656326293945,
425
+ 10.990941047668457,
426
+ 10.838067054748535,
427
+ 10.892142295837402
428
+ ],
429
+ "traj_loss": [
430
+ 8.127874374389648,
431
+ 6.109964847564697,
432
+ 3.402937173843384,
433
+ 1.988118290901184,
434
+ 1.8941642045974731,
435
+ 1.8347879648208618,
436
+ 1.7350202798843384,
437
+ 1.5969860553741455,
438
+ 1.3547273874282837,
439
+ 0.8313993215560913,
440
+ 0.7279328107833862,
441
+ 0.6416966319084167,
442
+ 0.5917851328849792,
443
+ 0.5058955550193787,
444
+ 0.5094279050827026,
445
+ 0.41711193323135376,
446
+ 0.358858585357666,
447
+ 0.3807855546474457,
448
+ 0.35626882314682007,
449
+ 0.3483494818210602,
450
+ 0.32953372597694397,
451
+ 0.3145844638347626,
452
+ 0.3102133870124817,
453
+ 0.3094140887260437,
454
+ 0.2957168221473694,
455
+ 0.35602331161499023,
456
+ 0.23745401203632355,
457
+ 0.22534659504890442,
458
+ 0.2565360367298126,
459
+ 0.22643660008907318,
460
+ 0.19931350648403168,
461
+ 0.20658734440803528,
462
+ 0.2360752522945404,
463
+ 0.20782031118869781,
464
+ 0.18856516480445862,
465
+ 0.1790676862001419,
466
+ 0.20346401631832123,
467
+ 0.17145483195781708,
468
+ 0.18085221946239471,
469
+ 0.1565379798412323,
470
+ 0.18205031752586365,
471
+ 0.17439338564872742,
472
+ 0.1549833118915558,
473
+ 0.14170262217521667,
474
+ 0.17408394813537598,
475
+ 0.13200893998146057,
476
+ 0.13190005719661713,
477
+ 0.14840523898601532,
478
+ 0.13772526383399963,
479
+ 0.1759142428636551,
480
+ 0.18479490280151367,
481
+ 0.10341157019138336,
482
+ 0.12816162407398224,
483
+ 0.08743911981582642,
484
+ 0.10790566354990005,
485
+ 0.14147105813026428,
486
+ 0.1286274492740631,
487
+ 0.09135543555021286,
488
+ 0.105647973716259,
489
+ 0.09185849875211716,
490
+ 0.098481185734272,
491
+ 0.12634016573429108,
492
+ 0.10946830362081528,
493
+ 0.10187667608261108,
494
+ 0.12940412759780884,
495
+ 0.1504002958536148,
496
+ 0.11427783966064453,
497
+ 0.15379701554775238,
498
+ 0.11025065928697586,
499
+ 0.09782253205776215,
500
+ 0.10668100416660309,
501
+ 0.06939985603094101,
502
+ 0.10695849359035492,
503
+ 0.09551453590393066,
504
+ 0.11529625207185745,
505
+ 0.08687225729227066,
506
+ 0.1110001802444458,
507
+ 0.11574339121580124,
508
+ 0.1264098435640335,
509
+ 0.11304431408643723,
510
+ 0.07975322753190994,
511
+ 0.0636330172419548,
512
+ 0.06802364438772202,
513
+ 0.13292177021503448,
514
+ 0.08437363058328629,
515
+ 0.08507896959781647,
516
+ 0.08539651334285736,
517
+ 0.08058871328830719,
518
+ 0.08234268426895142,
519
+ 0.08888798207044601,
520
+ 0.10224636644124985,
521
+ 0.07052936404943466,
522
+ 0.0910133644938469,
523
+ 0.09320306777954102,
524
+ 0.06303742527961731,
525
+ 0.07422288507223129,
526
+ 0.06396804749965668,
527
+ 0.08704070001840591,
528
+ 0.06770937889814377,
529
+ 0.10847773402929306,
530
+ 0.09881734848022461,
531
+ 0.10038775950670242,
532
+ 0.06355021893978119,
533
+ 0.06990695744752884,
534
+ 0.06352801620960236,
535
+ 0.05838710814714432,
536
+ 0.0915968269109726,
537
+ 0.05377567559480667,
538
+ 0.0754946619272232,
539
+ 0.05729464814066887,
540
+ 0.07367516309022903,
541
+ 0.06977269798517227,
542
+ 0.05887487158179283,
543
+ 0.05593854933977127,
544
+ 0.05696084722876549,
545
+ 0.059922389686107635,
546
+ 0.09020679444074631,
547
+ 0.03855413571000099,
548
+ 0.0442376472055912,
549
+ 0.051669325679540634,
550
+ 0.049007005989551544,
551
+ 0.07953003793954849,
552
+ 0.044902704656124115,
553
+ 0.04750249907374382,
554
+ 0.057057566940784454,
555
+ 0.03797118738293648,
556
+ 0.05032273381948471,
557
+ 0.04317667707800865,
558
+ 0.05320112034678459,
559
+ 0.04865177720785141,
560
+ 0.06751108169555664,
561
+ 0.029887109994888306,
562
+ 0.0759800523519516,
563
+ 0.04560413956642151,
564
+ 0.03458365797996521,
565
+ 0.04152403026819229,
566
+ 0.0393664576113224,
567
+ 0.05574759468436241,
568
+ 0.036126215010881424,
569
+ 0.04100002720952034
570
+ ],
571
+ "hinge_loss": [
572
+ 0.0,
573
+ 0.0,
574
+ 0.0,
575
+ 0.0,
576
+ 0.0,
577
+ 0.0,
578
+ 0.0,
579
+ 0.0,
580
+ 0.0,
581
+ 0.0,
582
+ 0.0,
583
+ 0.0,
584
+ 0.0,
585
+ 0.0,
586
+ 0.0,
587
+ 0.0,
588
+ 0.0,
589
+ 0.0,
590
+ 0.0,
591
+ 0.0,
592
+ 0.0,
593
+ 0.0,
594
+ 0.0,
595
+ 0.0,
596
+ 0.0,
597
+ 0.0,
598
+ 0.0,
599
+ 0.0,
600
+ 0.0,
601
+ 0.0,
602
+ 0.0,
603
+ 0.0,
604
+ 0.0,
605
+ 0.0,
606
+ 0.0,
607
+ 0.0,
608
+ 0.0,
609
+ 0.0,
610
+ 0.0,
611
+ 0.0,
612
+ 0.0,
613
+ 0.0,
614
+ 0.0,
615
+ 0.0,
616
+ 0.0,
617
+ 0.0,
618
+ 0.0,
619
+ 0.0,
620
+ 0.0,
621
+ 0.0,
622
+ 0.0,
623
+ 0.0,
624
+ 0.0,
625
+ 0.0,
626
+ 0.0,
627
+ 0.0,
628
+ 0.0,
629
+ 0.0,
630
+ 0.0,
631
+ 0.0,
632
+ 0.0,
633
+ 0.0,
634
+ 0.0,
635
+ 0.0,
636
+ 0.0,
637
+ 0.0,
638
+ 0.0,
639
+ 0.0,
640
+ 0.0,
641
+ 0.0,
642
+ 0.0,
643
+ 0.0,
644
+ 0.0,
645
+ 0.0,
646
+ 0.0,
647
+ 0.0,
648
+ 0.0,
649
+ 0.0,
650
+ 0.0,
651
+ 0.0,
652
+ 0.0,
653
+ 0.0,
654
+ 0.0,
655
+ 0.0,
656
+ 0.0,
657
+ 0.0,
658
+ 0.0,
659
+ 0.0,
660
+ 0.0,
661
+ 0.0,
662
+ 0.0,
663
+ 0.0,
664
+ 0.0,
665
+ 0.0,
666
+ 0.0,
667
+ 0.0,
668
+ 0.0,
669
+ 0.0,
670
+ 0.0,
671
+ 0.0,
672
+ 0.0,
673
+ 0.0,
674
+ 0.0,
675
+ 0.0,
676
+ 0.0,
677
+ 0.0,
678
+ 0.0,
679
+ 0.0,
680
+ 0.0,
681
+ 0.0,
682
+ 0.0,
683
+ 0.0,
684
+ 0.0,
685
+ 0.0,
686
+ 0.0,
687
+ 0.0,
688
+ 0.0,
689
+ 0.0,
690
+ 0.0,
691
+ 0.0,
692
+ 0.0,
693
+ 0.0,
694
+ 0.0,
695
+ 0.0,
696
+ 0.0,
697
+ 0.0,
698
+ 0.0,
699
+ 0.0,
700
+ 0.0,
701
+ 0.0,
702
+ 0.0,
703
+ 0.0,
704
+ 0.0,
705
+ 0.0,
706
+ 0.0,
707
+ 0.0,
708
+ 0.0,
709
+ 0.0,
710
+ 0.0,
711
+ 0.0
712
+ ],
713
+ "masked_traj_loss": [
714
+ 0.0,
715
+ 0.0,
716
+ 0.0,
717
+ 0.0,
718
+ 0.0,
719
+ 0.0,
720
+ 0.0,
721
+ 0.0,
722
+ 0.0,
723
+ 0.0,
724
+ 0.0,
725
+ 0.0,
726
+ 0.0,
727
+ 0.0,
728
+ 0.0,
729
+ 0.0,
730
+ 0.0,
731
+ 0.0,
732
+ 0.0,
733
+ 0.0,
734
+ 0.0,
735
+ 0.0,
736
+ 0.0,
737
+ 0.0,
738
+ 0.0,
739
+ 0.0,
740
+ 0.0,
741
+ 0.0,
742
+ 0.0,
743
+ 0.0,
744
+ 0.0,
745
+ 0.0,
746
+ 0.0,
747
+ 0.0,
748
+ 0.0,
749
+ 0.0,
750
+ 0.0,
751
+ 0.0,
752
+ 0.0,
753
+ 0.0,
754
+ 0.0,
755
+ 0.0,
756
+ 0.0,
757
+ 0.0,
758
+ 0.0,
759
+ 0.0,
760
+ 0.0,
761
+ 0.0,
762
+ 0.0,
763
+ 0.0,
764
+ 0.0,
765
+ 0.0,
766
+ 0.0,
767
+ 0.0,
768
+ 0.0,
769
+ 0.0,
770
+ 0.0,
771
+ 0.0,
772
+ 0.0,
773
+ 0.0,
774
+ 0.0,
775
+ 0.0,
776
+ 0.0,
777
+ 0.0,
778
+ 0.0,
779
+ 0.0,
780
+ 0.0,
781
+ 0.0,
782
+ 0.0,
783
+ 0.0,
784
+ 0.0,
785
+ 0.0,
786
+ 0.0,
787
+ 0.0,
788
+ 0.0,
789
+ 0.0,
790
+ 0.0,
791
+ 0.0,
792
+ 0.0,
793
+ 0.0,
794
+ 0.0,
795
+ 0.0,
796
+ 0.0,
797
+ 0.0,
798
+ 0.0,
799
+ 0.0,
800
+ 0.0,
801
+ 0.0,
802
+ 0.0,
803
+ 0.0,
804
+ 0.0,
805
+ 0.0,
806
+ 0.0,
807
+ 0.0,
808
+ 0.0,
809
+ 0.0,
810
+ 0.0,
811
+ 0.0,
812
+ 0.0,
813
+ 0.0,
814
+ 0.0,
815
+ 0.0,
816
+ 0.0,
817
+ 0.0,
818
+ 0.0,
819
+ 0.0,
820
+ 0.0,
821
+ 0.0,
822
+ 0.0,
823
+ 0.0,
824
+ 0.0,
825
+ 0.0,
826
+ 0.0,
827
+ 0.0,
828
+ 0.0,
829
+ 0.0,
830
+ 0.0,
831
+ 0.0,
832
+ 0.0,
833
+ 0.0,
834
+ 0.0,
835
+ 0.0,
836
+ 0.0,
837
+ 0.0,
838
+ 0.0,
839
+ 0.0,
840
+ 0.0,
841
+ 0.0,
842
+ 0.0,
843
+ 0.0,
844
+ 0.0,
845
+ 0.0,
846
+ 0.0,
847
+ 0.0,
848
+ 0.0,
849
+ 0.0,
850
+ 0.0,
851
+ 0.0,
852
+ 0.0,
853
+ 0.0
854
+ ],
855
+ "abs_loss": [
856
+ 0.0,
857
+ 0.0,
858
+ 0.0,
859
+ 0.0,
860
+ 0.0,
861
+ 0.0,
862
+ 0.0,
863
+ 0.0,
864
+ 0.0,
865
+ 0.0,
866
+ 0.0,
867
+ 0.0,
868
+ 0.0,
869
+ 0.0,
870
+ 0.0,
871
+ 0.0,
872
+ 0.0,
873
+ 0.0,
874
+ 0.0,
875
+ 0.0,
876
+ 0.0,
877
+ 0.0,
878
+ 0.0,
879
+ 0.0,
880
+ 0.0,
881
+ 0.0,
882
+ 0.0,
883
+ 0.0,
884
+ 0.0,
885
+ 0.0,
886
+ 0.0,
887
+ 0.0,
888
+ 0.0,
889
+ 0.0,
890
+ 0.0,
891
+ 0.0,
892
+ 0.0,
893
+ 0.0,
894
+ 0.0,
895
+ 0.0,
896
+ 0.0,
897
+ 0.0,
898
+ 0.0,
899
+ 0.0,
900
+ 0.0,
901
+ 0.0,
902
+ 0.0,
903
+ 0.0,
904
+ 0.0,
905
+ 0.0,
906
+ 0.0,
907
+ 0.0,
908
+ 0.0,
909
+ 0.0,
910
+ 0.0,
911
+ 0.0,
912
+ 0.0,
913
+ 0.0,
914
+ 0.0,
915
+ 0.0,
916
+ 0.0,
917
+ 0.0,
918
+ 0.0,
919
+ 0.0,
920
+ 0.0,
921
+ 0.0,
922
+ 0.0,
923
+ 0.0,
924
+ 0.0,
925
+ 0.0,
926
+ 0.0,
927
+ 0.0,
928
+ 0.0,
929
+ 0.0,
930
+ 0.0,
931
+ 0.0,
932
+ 0.0,
933
+ 0.0,
934
+ 0.0,
935
+ 0.0,
936
+ 0.0,
937
+ 0.0,
938
+ 0.0,
939
+ 0.0,
940
+ 0.0,
941
+ 0.0,
942
+ 0.0,
943
+ 0.0,
944
+ 0.0,
945
+ 0.0,
946
+ 0.0,
947
+ 0.0,
948
+ 0.0,
949
+ 0.0,
950
+ 0.0,
951
+ 0.0,
952
+ 0.0,
953
+ 0.0,
954
+ 0.0,
955
+ 0.0,
956
+ 0.0,
957
+ 0.0,
958
+ 0.0,
959
+ 0.0,
960
+ 0.0,
961
+ 0.0,
962
+ 0.0,
963
+ 0.0,
964
+ 0.0,
965
+ 0.0,
966
+ 0.0,
967
+ 0.0,
968
+ 0.0,
969
+ 0.0,
970
+ 0.0,
971
+ 0.0,
972
+ 0.0,
973
+ 0.0,
974
+ 0.0,
975
+ 0.0,
976
+ 0.0,
977
+ 0.0,
978
+ 0.0,
979
+ 0.0,
980
+ 0.0,
981
+ 0.0,
982
+ 0.0,
983
+ 0.0,
984
+ 0.0,
985
+ 0.0,
986
+ 0.0,
987
+ 0.0,
988
+ 0.0,
989
+ 0.0,
990
+ 0.0,
991
+ 0.0,
992
+ 0.0,
993
+ 0.0,
994
+ 0.0,
995
+ 0.0
996
+ ],
997
+ "zipf_loss": [
998
+ 0.0,
999
+ 0.0,
1000
+ 0.0,
1001
+ 0.0,
1002
+ 0.0,
1003
+ 0.0,
1004
+ 0.0,
1005
+ 0.0,
1006
+ 0.0,
1007
+ 0.0,
1008
+ 0.0,
1009
+ 0.0,
1010
+ 0.0,
1011
+ 0.0,
1012
+ 0.0,
1013
+ 0.0,
1014
+ 0.0,
1015
+ 0.0,
1016
+ 0.0,
1017
+ 0.0,
1018
+ 0.0,
1019
+ 0.0,
1020
+ 0.0,
1021
+ 0.0,
1022
+ 0.0,
1023
+ 0.0,
1024
+ 0.0,
1025
+ 0.0,
1026
+ 0.0,
1027
+ 0.0,
1028
+ 0.0,
1029
+ 0.0,
1030
+ 0.0,
1031
+ 0.0,
1032
+ 0.0,
1033
+ 0.0,
1034
+ 0.0,
1035
+ 0.0,
1036
+ 0.0,
1037
+ 0.0,
1038
+ 0.0,
1039
+ 0.0,
1040
+ 0.0,
1041
+ 0.0,
1042
+ 0.0,
1043
+ 0.0,
1044
+ 0.0,
1045
+ 0.0,
1046
+ 0.0,
1047
+ 0.0,
1048
+ 0.0,
1049
+ 0.0,
1050
+ 0.0,
1051
+ 0.0,
1052
+ 0.0,
1053
+ 0.0,
1054
+ 0.0,
1055
+ 0.0,
1056
+ 0.0,
1057
+ 0.0,
1058
+ 0.0,
1059
+ 0.0,
1060
+ 0.0,
1061
+ 0.0,
1062
+ 0.0,
1063
+ 0.0,
1064
+ 0.0,
1065
+ 0.0,
1066
+ 0.0,
1067
+ 0.0,
1068
+ 0.0,
1069
+ 0.0,
1070
+ 0.0,
1071
+ 0.0,
1072
+ 0.0,
1073
+ 0.0,
1074
+ 0.0,
1075
+ 0.0,
1076
+ 0.0,
1077
+ 0.0,
1078
+ 0.0,
1079
+ 0.0,
1080
+ 0.0,
1081
+ 0.0,
1082
+ 0.0,
1083
+ 0.0,
1084
+ 0.0,
1085
+ 0.0,
1086
+ 0.0,
1087
+ 0.0,
1088
+ 0.0,
1089
+ 0.0,
1090
+ 0.0,
1091
+ 0.0,
1092
+ 0.0,
1093
+ 0.0,
1094
+ 0.0,
1095
+ 0.0,
1096
+ 0.0,
1097
+ 0.0,
1098
+ 0.0,
1099
+ 0.0,
1100
+ 0.0,
1101
+ 0.0,
1102
+ 0.0,
1103
+ 0.0,
1104
+ 0.0,
1105
+ 0.0,
1106
+ 0.0,
1107
+ 0.0,
1108
+ 0.0,
1109
+ 0.0,
1110
+ 0.0,
1111
+ 0.0,
1112
+ 0.0,
1113
+ 0.0,
1114
+ 0.0,
1115
+ 0.0,
1116
+ 0.0,
1117
+ 0.0,
1118
+ 0.0,
1119
+ 0.0,
1120
+ 0.0,
1121
+ 0.0,
1122
+ 0.0,
1123
+ 0.0,
1124
+ 0.0,
1125
+ 0.0,
1126
+ 0.0,
1127
+ 0.0,
1128
+ 0.0,
1129
+ 0.0,
1130
+ 0.0,
1131
+ 0.0,
1132
+ 0.0,
1133
+ 0.0,
1134
+ 0.0,
1135
+ 0.0,
1136
+ 0.0,
1137
+ 0.0
1138
+ ],
1139
+ "ortho_loss": [
1140
+ 0.0,
1141
+ 0.0,
1142
+ 0.0,
1143
+ 0.0,
1144
+ 0.0,
1145
+ 0.0,
1146
+ 0.0,
1147
+ 0.0,
1148
+ 0.0,
1149
+ 0.0,
1150
+ 0.0,
1151
+ 0.0,
1152
+ 0.0,
1153
+ 0.0,
1154
+ 0.0,
1155
+ 0.0,
1156
+ 0.0,
1157
+ 0.0,
1158
+ 0.0,
1159
+ 0.0,
1160
+ 0.0,
1161
+ 0.0,
1162
+ 0.0,
1163
+ 0.0,
1164
+ 0.0,
1165
+ 0.0,
1166
+ 0.0,
1167
+ 0.0,
1168
+ 0.0,
1169
+ 0.0,
1170
+ 0.0,
1171
+ 0.0,
1172
+ 0.0,
1173
+ 0.0,
1174
+ 0.0,
1175
+ 0.0,
1176
+ 0.0,
1177
+ 0.0,
1178
+ 0.0,
1179
+ 0.0,
1180
+ 0.0,
1181
+ 0.0,
1182
+ 0.0,
1183
+ 0.0,
1184
+ 0.0,
1185
+ 0.0,
1186
+ 0.0,
1187
+ 0.0,
1188
+ 0.0,
1189
+ 0.0,
1190
+ 0.0,
1191
+ 0.0,
1192
+ 0.0,
1193
+ 0.0,
1194
+ 0.0,
1195
+ 0.0,
1196
+ 0.0,
1197
+ 0.0,
1198
+ 0.0,
1199
+ 0.0,
1200
+ 0.0,
1201
+ 0.0,
1202
+ 0.0,
1203
+ 0.0,
1204
+ 0.0,
1205
+ 0.0,
1206
+ 0.0,
1207
+ 0.0,
1208
+ 0.0,
1209
+ 0.0,
1210
+ 0.0,
1211
+ 0.0,
1212
+ 0.0,
1213
+ 0.0,
1214
+ 0.0,
1215
+ 0.0,
1216
+ 0.0,
1217
+ 0.0,
1218
+ 0.0,
1219
+ 0.0,
1220
+ 0.0,
1221
+ 0.0,
1222
+ 0.0,
1223
+ 0.0,
1224
+ 0.0,
1225
+ 0.0,
1226
+ 0.0,
1227
+ 0.0,
1228
+ 0.0,
1229
+ 0.0,
1230
+ 0.0,
1231
+ 0.0,
1232
+ 0.0,
1233
+ 0.0,
1234
+ 0.0,
1235
+ 0.0,
1236
+ 0.0,
1237
+ 0.0,
1238
+ 0.0,
1239
+ 0.0,
1240
+ 0.0,
1241
+ 0.0,
1242
+ 0.0,
1243
+ 0.0,
1244
+ 0.0,
1245
+ 0.0,
1246
+ 0.0,
1247
+ 0.0,
1248
+ 0.0,
1249
+ 0.0,
1250
+ 0.0,
1251
+ 0.0,
1252
+ 0.0,
1253
+ 0.0,
1254
+ 0.0,
1255
+ 0.0,
1256
+ 0.0,
1257
+ 0.0,
1258
+ 0.0,
1259
+ 0.0,
1260
+ 0.0,
1261
+ 0.0,
1262
+ 0.0,
1263
+ 0.0,
1264
+ 0.0,
1265
+ 0.0,
1266
+ 0.0,
1267
+ 0.0,
1268
+ 0.0,
1269
+ 0.0,
1270
+ 0.0,
1271
+ 0.0,
1272
+ 0.0,
1273
+ 0.0,
1274
+ 0.0,
1275
+ 0.0,
1276
+ 0.0,
1277
+ 0.0,
1278
+ 0.0,
1279
+ 0.0
1280
+ ],
1281
+ "anchor_loss": [
1282
+ 0.0,
1283
+ 0.0,
1284
+ 0.0,
1285
+ 0.0,
1286
+ 0.0,
1287
+ 0.0,
1288
+ 0.0,
1289
+ 0.0,
1290
+ 0.0,
1291
+ 0.0,
1292
+ 0.0,
1293
+ 0.0,
1294
+ 0.0,
1295
+ 0.0,
1296
+ 0.0,
1297
+ 0.0,
1298
+ 0.0,
1299
+ 0.0,
1300
+ 0.0,
1301
+ 0.0,
1302
+ 0.0,
1303
+ 0.0,
1304
+ 0.0,
1305
+ 0.0,
1306
+ 0.0,
1307
+ 0.0,
1308
+ 0.0,
1309
+ 0.0,
1310
+ 0.0,
1311
+ 0.0,
1312
+ 0.0,
1313
+ 0.0,
1314
+ 0.0,
1315
+ 0.0,
1316
+ 0.0,
1317
+ 0.0,
1318
+ 0.0,
1319
+ 0.0,
1320
+ 0.0,
1321
+ 0.0,
1322
+ 0.0,
1323
+ 0.0,
1324
+ 0.0,
1325
+ 0.0,
1326
+ 0.0,
1327
+ 0.0,
1328
+ 0.0,
1329
+ 0.0,
1330
+ 0.0,
1331
+ 0.0,
1332
+ 0.0,
1333
+ 0.0,
1334
+ 0.0,
1335
+ 0.0,
1336
+ 0.0,
1337
+ 0.0,
1338
+ 0.0,
1339
+ 0.0,
1340
+ 0.0,
1341
+ 0.0,
1342
+ 0.0,
1343
+ 0.0,
1344
+ 0.0,
1345
+ 0.0,
1346
+ 0.0,
1347
+ 0.0,
1348
+ 0.0,
1349
+ 0.0,
1350
+ 0.0,
1351
+ 0.0,
1352
+ 0.0,
1353
+ 0.0,
1354
+ 0.0,
1355
+ 0.0,
1356
+ 0.0,
1357
+ 0.0,
1358
+ 0.0,
1359
+ 0.0,
1360
+ 0.0,
1361
+ 0.0,
1362
+ 0.0,
1363
+ 0.0,
1364
+ 0.0,
1365
+ 0.0,
1366
+ 0.0,
1367
+ 0.0,
1368
+ 0.0,
1369
+ 0.0,
1370
+ 0.0,
1371
+ 0.0,
1372
+ 0.0,
1373
+ 0.0,
1374
+ 0.0,
1375
+ 0.0,
1376
+ 0.0,
1377
+ 0.0,
1378
+ 0.0,
1379
+ 0.0,
1380
+ 0.0,
1381
+ 0.0,
1382
+ 0.0,
1383
+ 0.0,
1384
+ 0.0,
1385
+ 0.0,
1386
+ 0.0,
1387
+ 0.0,
1388
+ 0.0,
1389
+ 0.0,
1390
+ 0.0,
1391
+ 0.0,
1392
+ 0.0,
1393
+ 0.0,
1394
+ 0.0,
1395
+ 0.0,
1396
+ 0.0,
1397
+ 0.0,
1398
+ 0.0,
1399
+ 0.0,
1400
+ 0.0,
1401
+ 0.0,
1402
+ 0.0,
1403
+ 0.0,
1404
+ 0.0,
1405
+ 0.0,
1406
+ 0.0,
1407
+ 0.0,
1408
+ 0.0,
1409
+ 0.0,
1410
+ 0.0,
1411
+ 0.0,
1412
+ 0.0,
1413
+ 0.0,
1414
+ 0.0,
1415
+ 0.0,
1416
+ 0.0,
1417
+ 0.0,
1418
+ 0.0,
1419
+ 0.0,
1420
+ 0.0,
1421
+ 0.0
1422
+ ],
1423
+ "jacobi_loss": [
1424
+ 0.0,
1425
+ 0.0,
1426
+ 0.0,
1427
+ 0.0,
1428
+ 0.0,
1429
+ 0.0,
1430
+ 0.0,
1431
+ 0.0,
1432
+ 0.0,
1433
+ 0.0,
1434
+ 0.0,
1435
+ 0.0,
1436
+ 0.0,
1437
+ 0.0,
1438
+ 0.0,
1439
+ 0.0,
1440
+ 0.0,
1441
+ 0.0,
1442
+ 0.0,
1443
+ 0.0,
1444
+ 0.0,
1445
+ 0.0,
1446
+ 0.0,
1447
+ 0.0,
1448
+ 0.0,
1449
+ 0.0,
1450
+ 0.0,
1451
+ 0.0,
1452
+ 0.0,
1453
+ 0.0,
1454
+ 0.0,
1455
+ 0.0,
1456
+ 0.0,
1457
+ 0.0,
1458
+ 0.0,
1459
+ 0.0,
1460
+ 0.0,
1461
+ 0.0,
1462
+ 0.0,
1463
+ 0.0,
1464
+ 0.0,
1465
+ 0.0,
1466
+ 0.0,
1467
+ 0.0,
1468
+ 0.0,
1469
+ 0.0,
1470
+ 0.0,
1471
+ 0.0,
1472
+ 0.0,
1473
+ 0.0,
1474
+ 0.0,
1475
+ 0.0,
1476
+ 0.0,
1477
+ 0.0,
1478
+ 0.0,
1479
+ 0.0,
1480
+ 0.0,
1481
+ 0.0,
1482
+ 0.0,
1483
+ 0.0,
1484
+ 0.0,
1485
+ 0.0,
1486
+ 0.0,
1487
+ 0.0,
1488
+ 0.0,
1489
+ 0.0,
1490
+ 0.0,
1491
+ 0.0,
1492
+ 0.0,
1493
+ 0.0,
1494
+ 0.0,
1495
+ 0.0,
1496
+ 0.0,
1497
+ 0.0,
1498
+ 0.0,
1499
+ 0.0,
1500
+ 0.0,
1501
+ 0.0,
1502
+ 0.0,
1503
+ 0.0,
1504
+ 0.0,
1505
+ 0.0,
1506
+ 0.0,
1507
+ 0.0,
1508
+ 0.0,
1509
+ 0.0,
1510
+ 0.0,
1511
+ 0.0,
1512
+ 0.0,
1513
+ 0.0,
1514
+ 0.0,
1515
+ 0.0,
1516
+ 0.0,
1517
+ 0.0,
1518
+ 0.0,
1519
+ 0.0,
1520
+ 0.0,
1521
+ 0.0,
1522
+ 0.0,
1523
+ 0.0,
1524
+ 0.0,
1525
+ 0.0,
1526
+ 0.0,
1527
+ 0.0,
1528
+ 0.0,
1529
+ 0.0,
1530
+ 0.0,
1531
+ 0.0,
1532
+ 0.0,
1533
+ 0.0,
1534
+ 0.0,
1535
+ 0.0,
1536
+ 0.0,
1537
+ 0.0,
1538
+ 0.0,
1539
+ 0.0,
1540
+ 0.0,
1541
+ 0.0,
1542
+ 0.0,
1543
+ 0.0,
1544
+ 0.0,
1545
+ 0.0,
1546
+ 0.0,
1547
+ 0.0,
1548
+ 0.0,
1549
+ 0.0,
1550
+ 0.0,
1551
+ 0.0,
1552
+ 0.0,
1553
+ 0.0,
1554
+ 0.0,
1555
+ 0.0,
1556
+ 0.0,
1557
+ 0.0,
1558
+ 0.0,
1559
+ 0.0,
1560
+ 0.0,
1561
+ 0.0,
1562
+ 0.0,
1563
+ 0.0
1564
+ ],
1565
+ "lr": [
1566
+ 1.6752136752136756e-05,
1567
+ 3.384615384615385e-05,
1568
+ 5.094017094017095e-05,
1569
+ 6.803418803418804e-05,
1570
+ 8e-05,
1571
+ 8e-05,
1572
+ 8e-05,
1573
+ 8e-05,
1574
+ 8e-05,
1575
+ 8e-05,
1576
+ 8e-05,
1577
+ 8e-05,
1578
+ 8e-05,
1579
+ 8e-05,
1580
+ 8e-05,
1581
+ 8e-05,
1582
+ 8e-05,
1583
+ 8e-05,
1584
+ 8e-05,
1585
+ 8e-05,
1586
+ 8e-05,
1587
+ 8e-05,
1588
+ 8e-05,
1589
+ 8e-05,
1590
+ 8e-05,
1591
+ 8e-05,
1592
+ 8e-05,
1593
+ 8e-05,
1594
+ 8e-05,
1595
+ 8e-05,
1596
+ 8e-05,
1597
+ 8e-05,
1598
+ 8e-05,
1599
+ 8e-05,
1600
+ 8e-05,
1601
+ 8e-05,
1602
+ 8e-05,
1603
+ 8e-05,
1604
+ 8e-05,
1605
+ 8e-05,
1606
+ 8e-05,
1607
+ 8e-05,
1608
+ 8e-05,
1609
+ 8e-05,
1610
+ 8e-05,
1611
+ 8e-05,
1612
+ 8e-05,
1613
+ 8e-05,
1614
+ 8e-05,
1615
+ 8e-05,
1616
+ 8e-05,
1617
+ 8e-05,
1618
+ 8e-05,
1619
+ 8e-05,
1620
+ 8e-05,
1621
+ 8e-05,
1622
+ 8e-05,
1623
+ 8e-05,
1624
+ 8e-05,
1625
+ 8e-05,
1626
+ 8e-05,
1627
+ 8e-05,
1628
+ 8e-05,
1629
+ 8e-05,
1630
+ 8e-05,
1631
+ 8e-05,
1632
+ 8e-05,
1633
+ 8e-05,
1634
+ 8e-05,
1635
+ 8e-05,
1636
+ 8e-05,
1637
+ 8e-05,
1638
+ 8e-05,
1639
+ 8e-05,
1640
+ 8e-05,
1641
+ 8e-05,
1642
+ 8e-05,
1643
+ 8e-05,
1644
+ 8e-05,
1645
+ 8e-05,
1646
+ 8e-05,
1647
+ 8e-05,
1648
+ 8e-05,
1649
+ 8e-05,
1650
+ 8e-05,
1651
+ 7.987186923279727e-05,
1652
+ 7.868547324017929e-05,
1653
+ 7.74990772475613e-05,
1654
+ 7.631268125494332e-05,
1655
+ 7.512628526232533e-05,
1656
+ 7.393988926970736e-05,
1657
+ 7.178064856314262e-05,
1658
+ 7.059425257052466e-05,
1659
+ 6.940785657790668e-05,
1660
+ 6.822146058528868e-05,
1661
+ 6.703506459267071e-05,
1662
+ 6.584866860005273e-05,
1663
+ 6.466227260743475e-05,
1664
+ 6.250303190087003e-05,
1665
+ 6.131663590825203e-05,
1666
+ 6.0130239915634074e-05,
1667
+ 5.894384392301608e-05,
1668
+ 5.77574479303981e-05,
1669
+ 5.657105193778013e-05,
1670
+ 5.538465594516214e-05,
1671
+ 5.3225415238597426e-05,
1672
+ 5.203901924597944e-05,
1673
+ 5.0852623253361464e-05,
1674
+ 4.966622726074349e-05,
1675
+ 4.8479831268125495e-05,
1676
+ 4.729343527550752e-05,
1677
+ 4.610703928288953e-05,
1678
+ 4.3947798576324816e-05,
1679
+ 4.276140258370682e-05,
1680
+ 4.157500659108885e-05,
1681
+ 4.038861059847088e-05,
1682
+ 3.9202214605852886e-05,
1683
+ 3.801581861323492e-05,
1684
+ 3.6829422620616924e-05,
1685
+ 3.46701819140522e-05,
1686
+ 3.348378592143423e-05,
1687
+ 3.229738992881624e-05,
1688
+ 3.111099393619827e-05,
1689
+ 2.9924597943580276e-05,
1690
+ 2.8738201950962302e-05,
1691
+ 2.7551805958344328e-05,
1692
+ 2.5392565251779594e-05,
1693
+ 2.4206169259161623e-05,
1694
+ 2.3019773266543632e-05,
1695
+ 2.1833377273925658e-05,
1696
+ 2.0646981281307667e-05,
1697
+ 1.9460585288689693e-05,
1698
+ 1.8274189296071722e-05,
1699
+ 1.6114948589506984e-05,
1700
+ 1.4928552596889012e-05,
1701
+ 1.374215660427102e-05,
1702
+ 1.2555760611653047e-05,
1703
+ 1.1369364619035074e-05,
1704
+ 1.0182968626417082e-05,
1705
+ 8.99657263379911e-06
1706
+ ]
1707
+ },
1708
+ "final_accuracy": 0.7475,
1709
+ "sft_eval": {
1710
+ "config": {
1711
+ "ops": "add_sub",
1712
+ "K": null,
1713
+ "mode": "sft",
1714
+ "n_digits": 6,
1715
+ "n_per_split": 100
1716
+ },
1717
+ "splits": {
1718
+ "add_S0": {
1719
+ "full_accuracy": 0.0,
1720
+ "n_examples": 100,
1721
+ "per_subtask": {
1722
+ "SA": {
1723
+ "accuracy": 0.22148760330578512,
1724
+ "count": 605
1725
+ },
1726
+ "SS": {
1727
+ "accuracy": 0.09473684210526316,
1728
+ "count": 95
1729
+ }
1730
+ }
1731
+ },
1732
+ "add_S1": {
1733
+ "full_accuracy": 0.0,
1734
+ "n_examples": 100,
1735
+ "per_subtask": {
1736
+ "SA": {
1737
+ "accuracy": 0.17647058823529413,
1738
+ "count": 204
1739
+ },
1740
+ "SC": {
1741
+ "accuracy": 0.09467455621301775,
1742
+ "count": 169
1743
+ },
1744
+ "SS": {
1745
+ "accuracy": 0.0967741935483871,
1746
+ "count": 31
1747
+ },
1748
+ "UC": {
1749
+ "accuracy": 0.23310810810810811,
1750
+ "count": 296
1751
+ }
1752
+ }
1753
+ },
1754
+ "add_S2": {
1755
+ "full_accuracy": 0.0,
1756
+ "n_examples": 100,
1757
+ "per_subtask": {
1758
+ "SA": {
1759
+ "accuracy": 0.1901840490797546,
1760
+ "count": 163
1761
+ },
1762
+ "SC": {
1763
+ "accuracy": 0.038461538461538464,
1764
+ "count": 130
1765
+ },
1766
+ "SS": {
1767
+ "accuracy": 0.09195402298850575,
1768
+ "count": 87
1769
+ },
1770
+ "UC": {
1771
+ "accuracy": 0.2660098522167488,
1772
+ "count": 203
1773
+ },
1774
+ "US": {
1775
+ "accuracy": 0.3076923076923077,
1776
+ "count": 117
1777
+ }
1778
+ }
1779
+ },
1780
+ "add_S3": {
1781
+ "full_accuracy": 0.0,
1782
+ "n_examples": 100,
1783
+ "per_subtask": {
1784
+ "SA": {
1785
+ "accuracy": 0.1322314049586777,
1786
+ "count": 121
1787
+ },
1788
+ "SC": {
1789
+ "accuracy": 0.0743801652892562,
1790
+ "count": 121
1791
+ },
1792
+ "SS": {
1793
+ "accuracy": 0.10204081632653061,
1794
+ "count": 49
1795
+ },
1796
+ "UC": {
1797
+ "accuracy": 0.25806451612903225,
1798
+ "count": 186
1799
+ },
1800
+ "US": {
1801
+ "accuracy": 0.17040358744394618,
1802
+ "count": 223
1803
+ }
1804
+ }
1805
+ },
1806
+ "add_S4": {
1807
+ "full_accuracy": 0.0,
1808
+ "n_examples": 100,
1809
+ "per_subtask": {
1810
+ "SA": {
1811
+ "accuracy": 0.18269230769230768,
1812
+ "count": 104
1813
+ },
1814
+ "SC": {
1815
+ "accuracy": 0.04716981132075472,
1816
+ "count": 106
1817
+ },
1818
+ "SS": {
1819
+ "accuracy": 0.0,
1820
+ "count": 23
1821
+ },
1822
+ "UC": {
1823
+ "accuracy": 0.35625,
1824
+ "count": 160
1825
+ },
1826
+ "US": {
1827
+ "accuracy": 0.10097719869706841,
1828
+ "count": 307
1829
+ }
1830
+ }
1831
+ },
1832
+ "add_S5": {
1833
+ "full_accuracy": 0.0,
1834
+ "n_examples": 100,
1835
+ "per_subtask": {
1836
+ "SA": {
1837
+ "accuracy": 0.27,
1838
+ "count": 100
1839
+ },
1840
+ "SC": {
1841
+ "accuracy": 0.09,
1842
+ "count": 100
1843
+ },
1844
+ "UC": {
1845
+ "accuracy": 0.18,
1846
+ "count": 100
1847
+ },
1848
+ "US": {
1849
+ "accuracy": 0.1525,
1850
+ "count": 400
1851
+ }
1852
+ }
1853
+ },
1854
+ "add_S6": {
1855
+ "full_accuracy": 0.0,
1856
+ "n_examples": 100,
1857
+ "per_subtask": {
1858
+ "SC": {
1859
+ "accuracy": 0.09,
1860
+ "count": 100
1861
+ },
1862
+ "UC": {
1863
+ "accuracy": 0.68,
1864
+ "count": 100
1865
+ },
1866
+ "US": {
1867
+ "accuracy": 0.166,
1868
+ "count": 500
1869
+ }
1870
+ }
1871
+ },
1872
+ "add_random": {
1873
+ "full_accuracy": 0.0,
1874
+ "n_examples": 200,
1875
+ "per_subtask": {
1876
+ "SA": {
1877
+ "accuracy": 0.16331096196868009,
1878
+ "count": 447
1879
+ },
1880
+ "SC": {
1881
+ "accuracy": 0.10625,
1882
+ "count": 320
1883
+ },
1884
+ "SS": {
1885
+ "accuracy": 0.14285714285714285,
1886
+ "count": 56
1887
+ },
1888
+ "UC": {
1889
+ "accuracy": 0.18147448015122875,
1890
+ "count": 529
1891
+ },
1892
+ "US": {
1893
+ "accuracy": 0.20833333333333334,
1894
+ "count": 48
1895
+ }
1896
+ }
1897
+ },
1898
+ "add_C3": {
1899
+ "full_accuracy": 0.0,
1900
+ "n_examples": 100,
1901
+ "per_subtask": {
1902
+ "SA": {
1903
+ "accuracy": 0.22666666666666666,
1904
+ "count": 300
1905
+ },
1906
+ "SC": {
1907
+ "accuracy": 0.1,
1908
+ "count": 100
1909
+ },
1910
+ "UC": {
1911
+ "accuracy": 0.08808290155440414,
1912
+ "count": 193
1913
+ },
1914
+ "US": {
1915
+ "accuracy": 0.205607476635514,
1916
+ "count": 107
1917
+ }
1918
+ }
1919
+ },
1920
+ "add_C4": {
1921
+ "full_accuracy": 0.0,
1922
+ "n_examples": 100,
1923
+ "per_subtask": {
1924
+ "SA": {
1925
+ "accuracy": 0.33,
1926
+ "count": 200
1927
+ },
1928
+ "SC": {
1929
+ "accuracy": 0.1,
1930
+ "count": 100
1931
+ },
1932
+ "UC": {
1933
+ "accuracy": 0.0859375,
1934
+ "count": 256
1935
+ },
1936
+ "US": {
1937
+ "accuracy": 0.1736111111111111,
1938
+ "count": 144
1939
+ }
1940
+ }
1941
+ },
1942
+ "add_C5": {
1943
+ "full_accuracy": 0.0,
1944
+ "n_examples": 100,
1945
+ "per_subtask": {
1946
+ "SA": {
1947
+ "accuracy": 0.22,
1948
+ "count": 100
1949
+ },
1950
+ "SC": {
1951
+ "accuracy": 0.06,
1952
+ "count": 100
1953
+ },
1954
+ "UC": {
1955
+ "accuracy": 0.09477124183006536,
1956
+ "count": 306
1957
+ },
1958
+ "US": {
1959
+ "accuracy": 0.12371134020618557,
1960
+ "count": 194
1961
+ }
1962
+ }
1963
+ },
1964
+ "add_C6": {
1965
+ "full_accuracy": 0.0,
1966
+ "n_examples": 100,
1967
+ "per_subtask": {
1968
+ "SC": {
1969
+ "accuracy": 0.09,
1970
+ "count": 100
1971
+ },
1972
+ "UC": {
1973
+ "accuracy": 0.2540983606557377,
1974
+ "count": 366
1975
+ },
1976
+ "US": {
1977
+ "accuracy": 0.14102564102564102,
1978
+ "count": 234
1979
+ }
1980
+ }
1981
+ },
1982
+ "sub_M0": {
1983
+ "full_accuracy": 0.0,
1984
+ "n_examples": 100,
1985
+ "per_subtask": {
1986
+ "MD": {
1987
+ "accuracy": 0.24126455906821964,
1988
+ "count": 601
1989
+ },
1990
+ "ME": {
1991
+ "accuracy": 0.1414141414141414,
1992
+ "count": 99
1993
+ }
1994
+ }
1995
+ },
1996
+ "sub_M1": {
1997
+ "full_accuracy": 0.0,
1998
+ "n_examples": 100,
1999
+ "per_subtask": {
2000
+ "MD": {
2001
+ "accuracy": 0.3870967741935484,
2002
+ "count": 279
2003
+ },
2004
+ "MB": {
2005
+ "accuracy": 0.1103448275862069,
2006
+ "count": 145
2007
+ },
2008
+ "ME": {
2009
+ "accuracy": 0.16666666666666666,
2010
+ "count": 24
2011
+ },
2012
+ "UB": {
2013
+ "accuracy": 0.07539682539682539,
2014
+ "count": 252
2015
+ }
2016
+ }
2017
+ },
2018
+ "sub_M2": {
2019
+ "full_accuracy": 0.0,
2020
+ "n_examples": 100,
2021
+ "per_subtask": {
2022
+ "MD": {
2023
+ "accuracy": 0.49295774647887325,
2024
+ "count": 213
2025
+ },
2026
+ "MB": {
2027
+ "accuracy": 0.07964601769911504,
2028
+ "count": 113
2029
+ },
2030
+ "ME": {
2031
+ "accuracy": 0.32941176470588235,
2032
+ "count": 85
2033
+ },
2034
+ "UB": {
2035
+ "accuracy": 0.06629834254143646,
2036
+ "count": 181
2037
+ },
2038
+ "UD": {
2039
+ "accuracy": 0.19444444444444445,
2040
+ "count": 108
2041
+ }
2042
+ }
2043
+ },
2044
+ "sub_M3": {
2045
+ "full_accuracy": 0.0,
2046
+ "n_examples": 100,
2047
+ "per_subtask": {
2048
+ "MD": {
2049
+ "accuracy": 0.5977653631284916,
2050
+ "count": 179
2051
+ },
2052
+ "MB": {
2053
+ "accuracy": 0.0970873786407767,
2054
+ "count": 103
2055
+ },
2056
+ "ME": {
2057
+ "accuracy": 0.30357142857142855,
2058
+ "count": 56
2059
+ },
2060
+ "UB": {
2061
+ "accuracy": 0.087248322147651,
2062
+ "count": 149
2063
+ },
2064
+ "UD": {
2065
+ "accuracy": 0.24882629107981222,
2066
+ "count": 213
2067
+ }
2068
+ }
2069
+ },
2070
+ "sub_M4": {
2071
+ "full_accuracy": 0.0,
2072
+ "n_examples": 100,
2073
+ "per_subtask": {
2074
+ "MD": {
2075
+ "accuracy": 0.535,
2076
+ "count": 200
2077
+ },
2078
+ "MB": {
2079
+ "accuracy": 0.09,
2080
+ "count": 100
2081
+ },
2082
+ "UB": {
2083
+ "accuracy": 0.12,
2084
+ "count": 100
2085
+ },
2086
+ "UD": {
2087
+ "accuracy": 0.22666666666666666,
2088
+ "count": 300
2089
+ }
2090
+ }
2091
+ },
2092
+ "sub_M5": {
2093
+ "full_accuracy": 0.0,
2094
+ "n_examples": 100,
2095
+ "per_subtask": {
2096
+ "MD": {
2097
+ "accuracy": 0.99,
2098
+ "count": 100
2099
+ },
2100
+ "MB": {
2101
+ "accuracy": 0.2,
2102
+ "count": 100
2103
+ },
2104
+ "UB": {
2105
+ "accuracy": 0.26,
2106
+ "count": 100
2107
+ },
2108
+ "UD": {
2109
+ "accuracy": 0.2975,
2110
+ "count": 400
2111
+ }
2112
+ }
2113
+ },
2114
+ "sub_random": {
2115
+ "full_accuracy": 0.0,
2116
+ "n_examples": 200,
2117
+ "per_subtask": {
2118
+ "MD": {
2119
+ "accuracy": 0.355,
2120
+ "count": 600
2121
+ },
2122
+ "MB": {
2123
+ "accuracy": 0.10486891385767791,
2124
+ "count": 267
2125
+ },
2126
+ "ME": {
2127
+ "accuracy": 0.20754716981132076,
2128
+ "count": 53
2129
+ },
2130
+ "UB": {
2131
+ "accuracy": 0.1252847380410023,
2132
+ "count": 439
2133
+ },
2134
+ "UD": {
2135
+ "accuracy": 0.3170731707317073,
2136
+ "count": 41
2137
+ }
2138
+ }
2139
+ },
2140
+ "sub_B3": {
2141
+ "full_accuracy": 0.0,
2142
+ "n_examples": 100,
2143
+ "per_subtask": {
2144
+ "MD": {
2145
+ "accuracy": 0.37,
2146
+ "count": 300
2147
+ },
2148
+ "MB": {
2149
+ "accuracy": 0.13,
2150
+ "count": 100
2151
+ },
2152
+ "UB": {
2153
+ "accuracy": 0.08121827411167512,
2154
+ "count": 197
2155
+ },
2156
+ "UD": {
2157
+ "accuracy": 0.14563106796116504,
2158
+ "count": 103
2159
+ }
2160
+ }
2161
+ },
2162
+ "sub_B4": {
2163
+ "full_accuracy": 0.0,
2164
+ "n_examples": 100,
2165
+ "per_subtask": {
2166
+ "MD": {
2167
+ "accuracy": 0.52,
2168
+ "count": 200
2169
+ },
2170
+ "MB": {
2171
+ "accuracy": 0.11,
2172
+ "count": 100
2173
+ },
2174
+ "UB": {
2175
+ "accuracy": 0.10931174089068826,
2176
+ "count": 247
2177
+ },
2178
+ "UD": {
2179
+ "accuracy": 0.24183006535947713,
2180
+ "count": 153
2181
+ }
2182
+ }
2183
+ },
2184
+ "sub_B5": {
2185
+ "full_accuracy": 0.0,
2186
+ "n_examples": 100,
2187
+ "per_subtask": {
2188
+ "MD": {
2189
+ "accuracy": 0.99,
2190
+ "count": 100
2191
+ },
2192
+ "MB": {
2193
+ "accuracy": 0.1,
2194
+ "count": 100
2195
+ },
2196
+ "UB": {
2197
+ "accuracy": 0.10738255033557047,
2198
+ "count": 298
2199
+ },
2200
+ "UD": {
2201
+ "accuracy": 0.3069306930693069,
2202
+ "count": 202
2203
+ }
2204
+ }
2205
+ }
2206
+ },
2207
+ "summary": {
2208
+ "overall_accuracy": 0.0,
2209
+ "total_examples": 2400,
2210
+ "n_splits": 22
2211
+ }
2212
+ },
2213
+ "sorl_eval": {
2214
+ "config": {
2215
+ "ops": "add_sub",
2216
+ "K": 4,
2217
+ "mode": "sorl",
2218
+ "n_digits": 6,
2219
+ "n_per_split": 100
2220
+ },
2221
+ "splits": {
2222
+ "add_S0": {
2223
+ "full_accuracy": 0.97,
2224
+ "n_examples": 100,
2225
+ "per_subtask": {
2226
+ "SA": {
2227
+ "accuracy": 0.9950413223140496,
2228
+ "count": 605
2229
+ },
2230
+ "SS": {
2231
+ "accuracy": 1.0,
2232
+ "count": 95
2233
+ }
2234
+ }
2235
+ },
2236
+ "add_S1": {
2237
+ "full_accuracy": 0.98,
2238
+ "n_examples": 100,
2239
+ "per_subtask": {
2240
+ "SA": {
2241
+ "accuracy": 0.9950980392156863,
2242
+ "count": 204
2243
+ },
2244
+ "SC": {
2245
+ "accuracy": 0.9940828402366864,
2246
+ "count": 169
2247
+ },
2248
+ "SS": {
2249
+ "accuracy": 1.0,
2250
+ "count": 31
2251
+ },
2252
+ "UC": {
2253
+ "accuracy": 1.0,
2254
+ "count": 296
2255
+ }
2256
+ }
2257
+ },
2258
+ "add_S2": {
2259
+ "full_accuracy": 0.89,
2260
+ "n_examples": 100,
2261
+ "per_subtask": {
2262
+ "SA": {
2263
+ "accuracy": 0.9877300613496932,
2264
+ "count": 163
2265
+ },
2266
+ "SC": {
2267
+ "accuracy": 0.9923076923076923,
2268
+ "count": 130
2269
+ },
2270
+ "SS": {
2271
+ "accuracy": 0.9655172413793104,
2272
+ "count": 87
2273
+ },
2274
+ "UC": {
2275
+ "accuracy": 0.9655172413793104,
2276
+ "count": 203
2277
+ },
2278
+ "US": {
2279
+ "accuracy": 1.0,
2280
+ "count": 117
2281
+ }
2282
+ }
2283
+ },
2284
+ "add_S3": {
2285
+ "full_accuracy": 0.83,
2286
+ "n_examples": 100,
2287
+ "per_subtask": {
2288
+ "SA": {
2289
+ "accuracy": 1.0,
2290
+ "count": 121
2291
+ },
2292
+ "SC": {
2293
+ "accuracy": 1.0,
2294
+ "count": 121
2295
+ },
2296
+ "SS": {
2297
+ "accuracy": 1.0,
2298
+ "count": 49
2299
+ },
2300
+ "UC": {
2301
+ "accuracy": 0.9086021505376344,
2302
+ "count": 186
2303
+ },
2304
+ "US": {
2305
+ "accuracy": 0.9775784753363229,
2306
+ "count": 223
2307
+ }
2308
+ }
2309
+ },
2310
+ "add_S4": {
2311
+ "full_accuracy": 0.59,
2312
+ "n_examples": 100,
2313
+ "per_subtask": {
2314
+ "SA": {
2315
+ "accuracy": 1.0,
2316
+ "count": 104
2317
+ },
2318
+ "SC": {
2319
+ "accuracy": 1.0,
2320
+ "count": 106
2321
+ },
2322
+ "SS": {
2323
+ "accuracy": 1.0,
2324
+ "count": 23
2325
+ },
2326
+ "UC": {
2327
+ "accuracy": 0.81875,
2328
+ "count": 160
2329
+ },
2330
+ "US": {
2331
+ "accuracy": 0.8697068403908795,
2332
+ "count": 307
2333
+ }
2334
+ }
2335
+ },
2336
+ "add_S5": {
2337
+ "full_accuracy": 0.26,
2338
+ "n_examples": 100,
2339
+ "per_subtask": {
2340
+ "SA": {
2341
+ "accuracy": 1.0,
2342
+ "count": 100
2343
+ },
2344
+ "SC": {
2345
+ "accuracy": 1.0,
2346
+ "count": 100
2347
+ },
2348
+ "UC": {
2349
+ "accuracy": 0.4,
2350
+ "count": 100
2351
+ },
2352
+ "US": {
2353
+ "accuracy": 0.66,
2354
+ "count": 400
2355
+ }
2356
+ }
2357
+ },
2358
+ "add_S6": {
2359
+ "full_accuracy": 0.64,
2360
+ "n_examples": 100,
2361
+ "per_subtask": {
2362
+ "SC": {
2363
+ "accuracy": 1.0,
2364
+ "count": 100
2365
+ },
2366
+ "UC": {
2367
+ "accuracy": 0.72,
2368
+ "count": 100
2369
+ },
2370
+ "US": {
2371
+ "accuracy": 0.836,
2372
+ "count": 500
2373
+ }
2374
+ }
2375
+ },
2376
+ "add_random": {
2377
+ "full_accuracy": 0.935,
2378
+ "n_examples": 200,
2379
+ "per_subtask": {
2380
+ "SA": {
2381
+ "accuracy": 0.9865771812080537,
2382
+ "count": 447
2383
+ },
2384
+ "SC": {
2385
+ "accuracy": 1.0,
2386
+ "count": 320
2387
+ },
2388
+ "SS": {
2389
+ "accuracy": 0.9821428571428571,
2390
+ "count": 56
2391
+ },
2392
+ "UC": {
2393
+ "accuracy": 0.9905482041587902,
2394
+ "count": 529
2395
+ },
2396
+ "US": {
2397
+ "accuracy": 0.9791666666666666,
2398
+ "count": 48
2399
+ }
2400
+ }
2401
+ },
2402
+ "add_C3": {
2403
+ "full_accuracy": 0.84,
2404
+ "n_examples": 100,
2405
+ "per_subtask": {
2406
+ "SA": {
2407
+ "accuracy": 1.0,
2408
+ "count": 300
2409
+ },
2410
+ "SC": {
2411
+ "accuracy": 1.0,
2412
+ "count": 100
2413
+ },
2414
+ "UC": {
2415
+ "accuracy": 0.917098445595855,
2416
+ "count": 193
2417
+ },
2418
+ "US": {
2419
+ "accuracy": 0.9626168224299065,
2420
+ "count": 107
2421
+ }
2422
+ }
2423
+ },
2424
+ "add_C4": {
2425
+ "full_accuracy": 0.74,
2426
+ "n_examples": 100,
2427
+ "per_subtask": {
2428
+ "SA": {
2429
+ "accuracy": 1.0,
2430
+ "count": 200
2431
+ },
2432
+ "SC": {
2433
+ "accuracy": 1.0,
2434
+ "count": 100
2435
+ },
2436
+ "UC": {
2437
+ "accuracy": 0.8984375,
2438
+ "count": 256
2439
+ },
2440
+ "US": {
2441
+ "accuracy": 0.9097222222222222,
2442
+ "count": 144
2443
+ }
2444
+ }
2445
+ },
2446
+ "add_C5": {
2447
+ "full_accuracy": 0.72,
2448
+ "n_examples": 100,
2449
+ "per_subtask": {
2450
+ "SA": {
2451
+ "accuracy": 1.0,
2452
+ "count": 100
2453
+ },
2454
+ "SC": {
2455
+ "accuracy": 1.0,
2456
+ "count": 100
2457
+ },
2458
+ "UC": {
2459
+ "accuracy": 0.9183006535947712,
2460
+ "count": 306
2461
+ },
2462
+ "US": {
2463
+ "accuracy": 0.9072164948453608,
2464
+ "count": 194
2465
+ }
2466
+ }
2467
+ },
2468
+ "add_C6": {
2469
+ "full_accuracy": 0.8,
2470
+ "n_examples": 100,
2471
+ "per_subtask": {
2472
+ "SC": {
2473
+ "accuracy": 1.0,
2474
+ "count": 100
2475
+ },
2476
+ "UC": {
2477
+ "accuracy": 0.9508196721311475,
2478
+ "count": 366
2479
+ },
2480
+ "US": {
2481
+ "accuracy": 0.9743589743589743,
2482
+ "count": 234
2483
+ }
2484
+ }
2485
+ },
2486
+ "sub_M0": {
2487
+ "full_accuracy": 0.99,
2488
+ "n_examples": 100,
2489
+ "per_subtask": {
2490
+ "MD": {
2491
+ "accuracy": 0.9983361064891847,
2492
+ "count": 601
2493
+ },
2494
+ "ME": {
2495
+ "accuracy": 1.0,
2496
+ "count": 99
2497
+ }
2498
+ }
2499
+ },
2500
+ "sub_M1": {
2501
+ "full_accuracy": 0.98,
2502
+ "n_examples": 100,
2503
+ "per_subtask": {
2504
+ "MD": {
2505
+ "accuracy": 1.0,
2506
+ "count": 279
2507
+ },
2508
+ "MB": {
2509
+ "accuracy": 0.993103448275862,
2510
+ "count": 145
2511
+ },
2512
+ "ME": {
2513
+ "accuracy": 1.0,
2514
+ "count": 24
2515
+ },
2516
+ "UB": {
2517
+ "accuracy": 0.996031746031746,
2518
+ "count": 252
2519
+ }
2520
+ }
2521
+ },
2522
+ "sub_M2": {
2523
+ "full_accuracy": 0.94,
2524
+ "n_examples": 100,
2525
+ "per_subtask": {
2526
+ "MD": {
2527
+ "accuracy": 1.0,
2528
+ "count": 213
2529
+ },
2530
+ "MB": {
2531
+ "accuracy": 0.9911504424778761,
2532
+ "count": 113
2533
+ },
2534
+ "ME": {
2535
+ "accuracy": 1.0,
2536
+ "count": 85
2537
+ },
2538
+ "UB": {
2539
+ "accuracy": 0.9779005524861878,
2540
+ "count": 181
2541
+ },
2542
+ "UD": {
2543
+ "accuracy": 0.9907407407407407,
2544
+ "count": 108
2545
+ }
2546
+ }
2547
+ },
2548
+ "sub_M3": {
2549
+ "full_accuracy": 0.65,
2550
+ "n_examples": 100,
2551
+ "per_subtask": {
2552
+ "MD": {
2553
+ "accuracy": 1.0,
2554
+ "count": 179
2555
+ },
2556
+ "MB": {
2557
+ "accuracy": 1.0,
2558
+ "count": 103
2559
+ },
2560
+ "ME": {
2561
+ "accuracy": 1.0,
2562
+ "count": 56
2563
+ },
2564
+ "UB": {
2565
+ "accuracy": 0.7785234899328859,
2566
+ "count": 149
2567
+ },
2568
+ "UD": {
2569
+ "accuracy": 0.9624413145539906,
2570
+ "count": 213
2571
+ }
2572
+ }
2573
+ },
2574
+ "sub_M4": {
2575
+ "full_accuracy": 0.16,
2576
+ "n_examples": 100,
2577
+ "per_subtask": {
2578
+ "MD": {
2579
+ "accuracy": 1.0,
2580
+ "count": 200
2581
+ },
2582
+ "MB": {
2583
+ "accuracy": 1.0,
2584
+ "count": 100
2585
+ },
2586
+ "UB": {
2587
+ "accuracy": 0.44,
2588
+ "count": 100
2589
+ },
2590
+ "UD": {
2591
+ "accuracy": 0.6966666666666667,
2592
+ "count": 300
2593
+ }
2594
+ }
2595
+ },
2596
+ "sub_M5": {
2597
+ "full_accuracy": 0.01,
2598
+ "n_examples": 100,
2599
+ "per_subtask": {
2600
+ "MD": {
2601
+ "accuracy": 1.0,
2602
+ "count": 100
2603
+ },
2604
+ "MB": {
2605
+ "accuracy": 1.0,
2606
+ "count": 100
2607
+ },
2608
+ "UB": {
2609
+ "accuracy": 0.33,
2610
+ "count": 100
2611
+ },
2612
+ "UD": {
2613
+ "accuracy": 0.54,
2614
+ "count": 400
2615
+ }
2616
+ }
2617
+ },
2618
+ "sub_random": {
2619
+ "full_accuracy": 0.965,
2620
+ "n_examples": 200,
2621
+ "per_subtask": {
2622
+ "MD": {
2623
+ "accuracy": 0.9916666666666667,
2624
+ "count": 600
2625
+ },
2626
+ "MB": {
2627
+ "accuracy": 1.0,
2628
+ "count": 267
2629
+ },
2630
+ "ME": {
2631
+ "accuracy": 1.0,
2632
+ "count": 53
2633
+ },
2634
+ "UB": {
2635
+ "accuracy": 0.9954441913439636,
2636
+ "count": 439
2637
+ },
2638
+ "UD": {
2639
+ "accuracy": 0.975609756097561,
2640
+ "count": 41
2641
+ }
2642
+ }
2643
+ },
2644
+ "sub_B3": {
2645
+ "full_accuracy": 0.79,
2646
+ "n_examples": 100,
2647
+ "per_subtask": {
2648
+ "MD": {
2649
+ "accuracy": 0.9933333333333333,
2650
+ "count": 300
2651
+ },
2652
+ "MB": {
2653
+ "accuracy": 1.0,
2654
+ "count": 100
2655
+ },
2656
+ "UB": {
2657
+ "accuracy": 0.9187817258883249,
2658
+ "count": 197
2659
+ },
2660
+ "UD": {
2661
+ "accuracy": 0.9223300970873787,
2662
+ "count": 103
2663
+ }
2664
+ }
2665
+ },
2666
+ "sub_B4": {
2667
+ "full_accuracy": 0.72,
2668
+ "n_examples": 100,
2669
+ "per_subtask": {
2670
+ "MD": {
2671
+ "accuracy": 1.0,
2672
+ "count": 200
2673
+ },
2674
+ "MB": {
2675
+ "accuracy": 1.0,
2676
+ "count": 100
2677
+ },
2678
+ "UB": {
2679
+ "accuracy": 0.9109311740890689,
2680
+ "count": 247
2681
+ },
2682
+ "UD": {
2683
+ "accuracy": 0.9084967320261438,
2684
+ "count": 153
2685
+ }
2686
+ }
2687
+ },
2688
+ "sub_B5": {
2689
+ "full_accuracy": 0.64,
2690
+ "n_examples": 100,
2691
+ "per_subtask": {
2692
+ "MD": {
2693
+ "accuracy": 1.0,
2694
+ "count": 100
2695
+ },
2696
+ "MB": {
2697
+ "accuracy": 1.0,
2698
+ "count": 100
2699
+ },
2700
+ "UB": {
2701
+ "accuracy": 0.889261744966443,
2702
+ "count": 298
2703
+ },
2704
+ "UD": {
2705
+ "accuracy": 0.9158415841584159,
2706
+ "count": 202
2707
+ }
2708
+ }
2709
+ }
2710
+ },
2711
+ "summary": {
2712
+ "overall_accuracy": 0.7475,
2713
+ "total_examples": 2400,
2714
+ "n_splits": 22
2715
+ }
2716
+ },
2717
+ "sorl_overall_accuracy": 0.7475,
2718
+ "sft_overall_accuracy": 0.0
2719
+ }
add_sub_sorl_v6_abs30_25K/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6d2e3ad05de19330f5823eac9bc603cc96bdeb807b1392d14f62ed2c282647da
3
+ size 650385300
add_sub_sorl_v6_abs30_25K/train_config.json ADDED
@@ -0,0 +1,84 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "num_rollouts": 4,
3
+ "K": 4,
4
+ "max_iterations": 2,
5
+ "memory_span_abs": 1792,
6
+ "memory_span_traj": 1792,
7
+ "temperature": 1.0,
8
+ "ar_search": false,
9
+ "response_only_abs": false,
10
+ "alpha_info_gain": 10.0,
11
+ "alpha_abs": 0.1,
12
+ "alpha_soft_zipf": 1.0,
13
+ "alpha_ortho": 0.0,
14
+ "alpha_anchor": 0.0,
15
+ "alpha_jacobi": 0.0,
16
+ "decay": 0.8,
17
+ "target_vocab_util": 0.8,
18
+ "min_abs_ppl": 0.0,
19
+ "zipf_alpha": 1.0,
20
+ "lr": 8e-05,
21
+ "emb_lr_mult": 1.0,
22
+ "weight_decay": 0.01,
23
+ "warmup_steps": 234,
24
+ "cooldown_frac": 0.4,
25
+ "max_grad_norm": 1.0,
26
+ "vq_abs_pretrain_steps": 0,
27
+ "vq_abs_pretrain_lr": 0.001,
28
+ "vq_abs_pretrain_layer": -1,
29
+ "vq_abs_pretrain_batch_size": 256,
30
+ "vq_abs_pretrain_target_vectors": 20000,
31
+ "batch_size": 64,
32
+ "gradient_accumulation_steps": 1,
33
+ "num_epochs": 20,
34
+ "emb_warmup_steps": 0,
35
+ "log_every": 50,
36
+ "eval_every": 390,
37
+ "save_every": 999999,
38
+ "eval_samples": 100,
39
+ "output_dir": "ckpt/sweep/as_sorl_v6_abs30_K4_25K",
40
+ "eval_K": 4,
41
+ "alpha_traj": 0.0,
42
+ "corrupt_method": "shuffle",
43
+ "corrupt_ratio": 0.3,
44
+ "alpha_contrastive": 1.0,
45
+ "gamma_contrastive": 0.5,
46
+ "alpha_masked_traj": 0.0,
47
+ "mask_nl_ratio": 0.3,
48
+ "mask_nl_mode": "fixed",
49
+ "mask_nl_fixed_id": 0,
50
+ "use_ste": true,
51
+ "n_inner": 1,
52
+ "random_K": null,
53
+ "strip_suffix": null,
54
+ "compress_prefix": null,
55
+ "random_mem_span": null,
56
+ "warmup_ratio": 0.03,
57
+ "beta2": 0.999,
58
+ "seed": 42,
59
+ "n_digits": 6,
60
+ "n_layer": 2,
61
+ "n_head": 3,
62
+ "n_embd": 510,
63
+ "ops": "add_sub",
64
+ "abs_vocab": 30,
65
+ "dataset_size": 25000,
66
+ "mode": "sorl_v6",
67
+ "device": "cuda",
68
+ "push_to_hub": true,
69
+ "no_wandb": false,
70
+ "n_params": 162519662,
71
+ "run_name": "add_sub_sorl_v6_abs30_25K",
72
+ "git_commit": "17e935f460a7f9595b705c1d614101a6b0e520f7",
73
+ "timestamp": "2026-04-14T10:04:31.010993+00:00",
74
+ "tokenizer": "Qwen/Qwen3-0.6B",
75
+ "dataset_repo": "thoughtworks/arithmetic-sorl-data",
76
+ "dataset_config": "add_sub_6digit",
77
+ "model_repo": "thoughtworks/arithmetic-sorl",
78
+ "trainer_version": "v6",
79
+ "wandb_run_id": "45izacx8",
80
+ "wandb_url": "https://wandb.ai/nlp_and_interpretability/sorl-arithmetic/runs/45izacx8",
81
+ "final_accuracy": 0.7475,
82
+ "sft_accuracy": 0.0,
83
+ "eval_method": "ArithmeticEvaluator"
84
+ }