File size: 36,995 Bytes
abd1b59
 
 
a535ee5
 
abd1b59
 
 
 
a9cdefb
 
abd1b59
 
 
 
 
 
 
a535ee5
abd1b59
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
a9cdefb
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
---
base_model: jozhang97/deta-resnet-50
tags:
- object-detection
- vision
- generated_from_trainer
model-index:
- name: jozhang97-deta-resnet-50-finetuned-10k-cppe5
  results: []
datasets:
- cppe-5
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# jozhang97-deta-resnet-50-finetuned-10k-cppe5

This model is a fine-tuned version of [jozhang97/deta-resnet-50](https://huggingface.co/jozhang97/deta-resnet-50) on the cppe-5 dataset.
It achieves the following results on the evaluation set:
- Loss: 1.7663
- Map: 0.2022
- Map 50: 0.4588
- Map 75: 0.1509
- Map Small: 0.0948
- Map Medium: 0.1223
- Map Large: 0.2882
- Mar 1: 0.2396
- Mar 10: 0.405
- Mar 100: 0.4238
- Mar Small: 0.2134
- Mar Medium: 0.3177
- Mar Large: 0.5501
- Map Coverall: 0.5051
- Mar 100 Coverall: 0.6628
- Map Face Shield: 0.1207
- Mar 100 Face Shield: 0.3371
- Map Gloves: 0.0983
- Mar 100 Gloves: 0.3115
- Map Goggles: 0.1325
- Mar 100 Goggles: 0.431
- Map Mask: 0.1545
- Mar 100 Mask: 0.3768

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 4
- eval_batch_size: 8
- seed: 1337
- gradient_accumulation_steps: 2
- total_train_batch_size: 8
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 100.0
- mixed_precision_training: Native AMP

### Training results

| Training Loss | Epoch   | Step  | Validation Loss | Map    | Map 50 | Map 75 | Map Small | Map Medium | Map Large | Mar 1  | Mar 10 | Mar 100 | Mar Small | Mar Medium | Mar Large | Map Coverall | Mar 100 Coverall | Map Face Shield | Mar 100 Face Shield | Map Gloves | Mar 100 Gloves | Map Goggles | Mar 100 Goggles | Map Mask | Mar 100 Mask |
|:-------------:|:-------:|:-----:|:---------------:|:------:|:------:|:------:|:---------:|:----------:|:---------:|:------:|:------:|:-------:|:---------:|:----------:|:---------:|:------------:|:----------------:|:---------------:|:-------------------:|:----------:|:--------------:|:-----------:|:---------------:|:--------:|:------------:|
| 12.2099       | 0.9953  | 106   | 3.7120          | 0.0067 | 0.0314 | 0.0003 | 0.0       | 0.0006     | 0.0068    | 0.0122 | 0.0353 | 0.0421  | 0.0       | 0.0067     | 0.0451    | 0.0332       | 0.2049           | 0.0001          | 0.0057              | 0.0        | 0.0            | 0.0         | 0.0             | 0.0      | 0.0          |
| 3.4288        | 2.0     | 213   | 3.8665          | 0.0117 | 0.0403 | 0.0038 | 0.0       | 0.0004     | 0.0118    | 0.0199 | 0.0448 | 0.0505  | 0.0       | 0.0015     | 0.0592    | 0.0577       | 0.2348           | 0.001           | 0.0143              | 0.0        | 0.0021         | 0.0         | 0.0             | 0.0      | 0.0011       |
| 3.5031        | 2.9953  | 319   | 3.5816          | 0.014  | 0.0448 | 0.0075 | 0.0       | 0.0003     | 0.0143    | 0.0236 | 0.0424 | 0.0486  | 0.0       | 0.0015     | 0.0659    | 0.0693       | 0.2238           | 0.0001          | 0.0071              | 0.0        | 0.0031         | 0.0004      | 0.0024          | 0.0001   | 0.0068       |
| 3.3269        | 4.0     | 426   | 3.1994          | 0.02   | 0.0594 | 0.0065 | 0.0       | 0.0002     | 0.0203    | 0.0242 | 0.0567 | 0.066   | 0.0004    | 0.0027     | 0.1003    | 0.0991       | 0.2768           | 0.0002          | 0.0271              | 0.0        | 0.0078         | 0.0         | 0.0095          | 0.0004   | 0.0085       |
| 3.1804        | 4.9953  | 532   | 3.0309          | 0.0158 | 0.0494 | 0.0066 | 0.0       | 0.0017     | 0.0151    | 0.0262 | 0.0535 | 0.064   | 0.0004    | 0.0092     | 0.1022    | 0.0713       | 0.2451           | 0.001           | 0.0343              | 0.0001     | 0.0104         | 0.0         | 0.0             | 0.0068   | 0.0299       |
| 2.9763        | 6.0     | 639   | 2.7981          | 0.0281 | 0.0939 | 0.0086 | 0.0019    | 0.0023     | 0.03      | 0.0354 | 0.0831 | 0.098   | 0.0147    | 0.0284     | 0.1149    | 0.1311       | 0.3433           | 0.0006          | 0.05                | 0.0        | 0.0052         | 0.0001      | 0.0024          | 0.009    | 0.0893       |
| 2.7978        | 6.9953  | 745   | 2.6720          | 0.0344 | 0.0999 | 0.0131 | 0.0017    | 0.0036     | 0.0338    | 0.0498 | 0.109  | 0.1197  | 0.0263    | 0.0547     | 0.1193    | 0.1616       | 0.372            | 0.005           | 0.0957              | 0.0        | 0.0177         | 0.0004      | 0.0333          | 0.0047   | 0.0797       |
| 2.6679        | 8.0     | 852   | 2.6906          | 0.0363 | 0.0999 | 0.0137 | 0.0146    | 0.0065     | 0.0366    | 0.0438 | 0.0947 | 0.104   | 0.0321    | 0.0332     | 0.1264    | 0.1681       | 0.3415           | 0.0083          | 0.0886              | 0.0004     | 0.0167         | 0.0002      | 0.0119          | 0.0047   | 0.0616       |
| 2.6637        | 8.9953  | 958   | 2.6518          | 0.0319 | 0.1009 | 0.012  | 0.0032    | 0.005      | 0.0309    | 0.0462 | 0.1171 | 0.133   | 0.0089    | 0.0649     | 0.1368    | 0.1457       | 0.4006           | 0.0048          | 0.0943              | 0.0001     | 0.0167         | 0.0004      | 0.0381          | 0.0086   | 0.1153       |
| 2.6412        | 10.0    | 1065  | 2.5417          | 0.0443 | 0.12   | 0.0164 | 0.0548    | 0.0015     | 0.0465    | 0.0567 | 0.1178 | 0.1316  | 0.0591    | 0.0452     | 0.171     | 0.2142       | 0.4183           | 0.0031          | 0.0929              | 0.0002     | 0.0281         | 0.0006      | 0.0381          | 0.0032   | 0.0808       |
| 2.6155        | 10.9953 | 1171  | 2.7743          | 0.0356 | 0.1122 | 0.0216 | 0.0031    | 0.0049     | 0.0435    | 0.0527 | 0.1254 | 0.1399  | 0.0239    | 0.0623     | 0.1768    | 0.1562       | 0.3909           | 0.0054          | 0.08                | 0.0005     | 0.0396         | 0.0015      | 0.0714          | 0.0142   | 0.1175       |
| 2.5621        | 12.0    | 1278  | 2.5292          | 0.0473 | 0.1309 | 0.0258 | 0.003     | 0.0027     | 0.0567    | 0.06   | 0.1265 | 0.1404  | 0.0107    | 0.042      | 0.2137    | 0.2226       | 0.4561           | 0.0038          | 0.0629              | 0.0014     | 0.038          | 0.0044      | 0.0643          | 0.0045   | 0.0808       |
| 2.4871        | 12.9953 | 1384  | 2.5235          | 0.0418 | 0.1211 | 0.0183 | 0.01      | 0.0017     | 0.0451    | 0.0555 | 0.1225 | 0.1389  | 0.0219    | 0.0412     | 0.2163    | 0.1994       | 0.4287           | 0.0021          | 0.0757              | 0.0014     | 0.063          | 0.0018      | 0.0595          | 0.0041   | 0.0678       |
| 2.4874        | 14.0    | 1491  | 2.4597          | 0.0585 | 0.148  | 0.0377 | 0.0142    | 0.0047     | 0.0656    | 0.0746 | 0.1555 | 0.1698  | 0.0353    | 0.0689     | 0.2626    | 0.2705       | 0.4659           | 0.0064          | 0.13                | 0.0012     | 0.0562         | 0.0058      | 0.0929          | 0.0087   | 0.104        |
| 2.4629        | 14.9953 | 1597  | 2.3910          | 0.0587 | 0.1563 | 0.0333 | 0.0039    | 0.0092     | 0.0703    | 0.086  | 0.1896 | 0.1994  | 0.0238    | 0.0976     | 0.299     | 0.2543       | 0.4994           | 0.0115          | 0.1971              | 0.0022     | 0.0448         | 0.003       | 0.1238          | 0.0225   | 0.1316       |
| 2.4231        | 16.0    | 1704  | 2.6214          | 0.0538 | 0.1494 | 0.0256 | 0.0069    | 0.0102     | 0.0676    | 0.0821 | 0.1857 | 0.2013  | 0.0119    | 0.0926     | 0.3454    | 0.2271       | 0.489            | 0.0093          | 0.1914              | 0.0023     | 0.0656         | 0.0038      | 0.1095          | 0.0266   | 0.1508       |
| 2.4166        | 16.9953 | 1810  | 2.5325          | 0.0632 | 0.1615 | 0.0332 | 0.0075    | 0.0096     | 0.0749    | 0.0829 | 0.1743 | 0.1932  | 0.0202    | 0.0914     | 0.3148    | 0.2769       | 0.4756           | 0.0044          | 0.1657              | 0.0038     | 0.0651         | 0.0065      | 0.1286          | 0.0244   | 0.1311       |
| 2.3794        | 18.0    | 1917  | 2.4702          | 0.0843 | 0.1921 | 0.0629 | 0.0217    | 0.0134     | 0.0982    | 0.1035 | 0.2074 | 0.2204  | 0.0226    | 0.1022     | 0.3572    | 0.3649       | 0.5555           | 0.0108          | 0.1957              | 0.0031     | 0.0911         | 0.0143      | 0.1286          | 0.0283   | 0.1311       |
| 2.3384        | 18.9953 | 2023  | 2.5070          | 0.0737 | 0.1736 | 0.0519 | 0.0007    | 0.012      | 0.0866    | 0.0936 | 0.1942 | 0.2156  | 0.0032    | 0.1048     | 0.3206    | 0.32         | 0.5494           | 0.0125          | 0.2029              | 0.0058     | 0.0932         | 0.0054      | 0.0976          | 0.0249   | 0.135        |
| 2.3538        | 20.0    | 2130  | 2.5906          | 0.0647 | 0.1794 | 0.0375 | 0.0033    | 0.0198     | 0.0829    | 0.1073 | 0.2141 | 0.2289  | 0.0059    | 0.1278     | 0.3508    | 0.2457       | 0.5171           | 0.0264          | 0.2214              | 0.0041     | 0.1016         | 0.0081      | 0.1214          | 0.0395   | 0.1831       |
| 2.5129        | 20.9953 | 2236  | 2.9187          | 0.0672 | 0.1692 | 0.0533 | 0.0005    | 0.0144     | 0.0905    | 0.1011 | 0.2206 | 0.2352  | 0.002     | 0.1177     | 0.4044    | 0.2685       | 0.5421           | 0.028           | 0.2929              | 0.0083     | 0.1083         | 0.0016      | 0.0881          | 0.0297   | 0.1446       |
| 2.7734        | 22.0    | 2343  | 3.1307          | 0.0512 | 0.1436 | 0.0257 | 0.0042    | 0.0134     | 0.0861    | 0.0949 | 0.2129 | 0.2249  | 0.0077    | 0.1169     | 0.3711    | 0.1908       | 0.5091           | 0.0348          | 0.27                | 0.0037     | 0.0625         | 0.0057      | 0.1333          | 0.0212   | 0.1497       |
| 2.9978        | 22.9953 | 2449  | 3.1732          | 0.0459 | 0.1255 | 0.027  | 0.0093    | 0.0144     | 0.069     | 0.0842 | 0.2302 | 0.2463  | 0.0128    | 0.1446     | 0.3827    | 0.1654       | 0.5201           | 0.0227          | 0.2414              | 0.0066     | 0.0807         | 0.0138      | 0.1905          | 0.021    | 0.1989       |
| 3.3046        | 24.0    | 2556  | 3.4681          | 0.0339 | 0.1034 | 0.0174 | 0.0159    | 0.0106     | 0.0538    | 0.065  | 0.2138 | 0.2341  | 0.1286    | 0.1402     | 0.3069    | 0.1219       | 0.5024           | 0.0072          | 0.1929              | 0.0037     | 0.0823         | 0.0128      | 0.1738          | 0.0241   | 0.2192       |
| 3.0429        | 24.9953 | 2662  | 2.8145          | 0.0577 | 0.1646 | 0.0351 | 0.0084    | 0.0234     | 0.0838    | 0.0969 | 0.2569 | 0.2758  | 0.0238    | 0.167      | 0.4128    | 0.1906       | 0.5646           | 0.0341          | 0.2957              | 0.0068     | 0.0885         | 0.0075      | 0.2071          | 0.0493   | 0.2232       |
| 2.4662        | 26.0    | 2769  | 2.2661          | 0.0914 | 0.2143 | 0.0758 | 0.0178    | 0.0174     | 0.1372    | 0.127  | 0.2461 | 0.2609  | 0.0259    | 0.167      | 0.3821    | 0.3735       | 0.5579           | 0.0195          | 0.2086              | 0.0065     | 0.0958         | 0.0086      | 0.2071          | 0.0491   | 0.235        |
| 2.1285        | 26.9953 | 2875  | 2.2159          | 0.0968 | 0.2383 | 0.0584 | 0.0347    | 0.0279     | 0.1258    | 0.1285 | 0.2658 | 0.2884  | 0.0488    | 0.1964     | 0.4154    | 0.374        | 0.5579           | 0.0305          | 0.28                | 0.0103     | 0.1161         | 0.0161      | 0.2643          | 0.053    | 0.2237       |
| 2.1347        | 28.0    | 2982  | 2.5509          | 0.0706 | 0.1836 | 0.0441 | 0.0144    | 0.0222     | 0.1024    | 0.1252 | 0.2744 | 0.2974  | 0.033     | 0.2016     | 0.403     | 0.253        | 0.5677           | 0.0291          | 0.26                | 0.0164     | 0.138          | 0.0144      | 0.2833          | 0.0399   | 0.2379       |
| 2.3668        | 28.9953 | 3088  | 2.4054          | 0.0966 | 0.2499 | 0.0643 | 0.0773    | 0.0414     | 0.1119    | 0.1484 | 0.2965 | 0.3169  | 0.1885    | 0.2178     | 0.4012    | 0.3196       | 0.5811           | 0.0377          | 0.2757              | 0.0233     | 0.1432         | 0.0304      | 0.2905          | 0.0722   | 0.2938       |
| 2.2677        | 30.0    | 3195  | 2.1192          | 0.1068 | 0.2461 | 0.0794 | 0.036     | 0.0276     | 0.1437    | 0.1434 | 0.3102 | 0.3274  | 0.1926    | 0.2175     | 0.4496    | 0.3972       | 0.5927           | 0.0419          | 0.3186              | 0.0113     | 0.1453         | 0.0285      | 0.2976          | 0.055    | 0.2831       |
| 2.2587        | 30.9953 | 3301  | 2.6246          | 0.0757 | 0.2145 | 0.0386 | 0.0579    | 0.0372     | 0.0801    | 0.1214 | 0.2851 | 0.3075  | 0.2843    | 0.2145     | 0.3503    | 0.2378       | 0.536            | 0.0198          | 0.2543              | 0.0159     | 0.15           | 0.0357      | 0.3048          | 0.0695   | 0.2927       |
| 2.7778        | 32.0    | 3408  | 2.6193          | 0.0877 | 0.226  | 0.0504 | 0.0423    | 0.0431     | 0.0964    | 0.1302 | 0.2978 | 0.3203  | 0.1287    | 0.232      | 0.3622    | 0.2707       | 0.5768           | 0.0352          | 0.2486              | 0.0169     | 0.1594         | 0.0482      | 0.3167          | 0.0675   | 0.3          |
| 2.2752        | 32.9953 | 3514  | 2.2670          | 0.1165 | 0.286  | 0.0836 | 0.0218    | 0.0533     | 0.1523    | 0.1711 | 0.3059 | 0.3261  | 0.0799    | 0.2451     | 0.4439    | 0.4075       | 0.5909           | 0.0485          | 0.2957              | 0.0223     | 0.1656         | 0.0207      | 0.2857          | 0.0834   | 0.2927       |
| 2.1109        | 34.0    | 3621  | 2.1783          | 0.1182 | 0.2898 | 0.0878 | 0.0207    | 0.0406     | 0.1695    | 0.1547 | 0.3043 | 0.3242  | 0.0858    | 0.2155     | 0.4605    | 0.402        | 0.5762           | 0.0411          | 0.2757              | 0.0214     | 0.1807         | 0.0475      | 0.3             | 0.079    | 0.2881       |
| 2.22          | 34.9953 | 3727  | 2.2399          | 0.1203 | 0.2683 | 0.1016 | 0.0223    | 0.0404     | 0.1578    | 0.1656 | 0.323  | 0.3393  | 0.2078    | 0.2267     | 0.4161    | 0.4218       | 0.6262           | 0.0401          | 0.3057              | 0.0241     | 0.1609         | 0.0327      | 0.3143          | 0.0826   | 0.2893       |
| 2.5775        | 36.0    | 3834  | 3.4084          | 0.0927 | 0.2324 | 0.0649 | 0.022     | 0.0379     | 0.115     | 0.1397 | 0.278  | 0.298   | 0.093     | 0.2007     | 0.3901    | 0.2973       | 0.5427           | 0.0292          | 0.2414              | 0.0228     | 0.125          | 0.0481      | 0.3             | 0.0661   | 0.2808       |
| 2.9257        | 36.9953 | 3940  | 2.5430          | 0.1051 | 0.2535 | 0.0731 | 0.0469    | 0.0389     | 0.1393    | 0.1607 | 0.317  | 0.3411  | 0.1976    | 0.2365     | 0.4454    | 0.3591       | 0.5909           | 0.0259          | 0.2857              | 0.0213     | 0.2104         | 0.0442      | 0.3262          | 0.075    | 0.2921       |
| 2.1766        | 38.0    | 4047  | 2.2615          | 0.1232 | 0.2757 | 0.1013 | 0.0573    | 0.0413     | 0.154     | 0.1625 | 0.3287 | 0.3527  | 0.2073    | 0.24       | 0.4692    | 0.4301       | 0.6073           | 0.0324          | 0.3143              | 0.0249     | 0.2042         | 0.0528      | 0.3357          | 0.0756   | 0.3023       |
| 2.2174        | 38.9953 | 4153  | 2.1064          | 0.139  | 0.3199 | 0.1186 | 0.0442    | 0.0476     | 0.1704    | 0.1744 | 0.3165 | 0.3317  | 0.2105    | 0.2171     | 0.4155    | 0.4647       | 0.6122           | 0.0287          | 0.2343              | 0.051      | 0.2016         | 0.05        | 0.3071          | 0.1007   | 0.3034       |
| 2.0069        | 40.0    | 4260  | 2.1137          | 0.1274 | 0.2796 | 0.1086 | 0.0711    | 0.0423     | 0.1375    | 0.1705 | 0.3207 | 0.3397  | 0.1597    | 0.225      | 0.4317    | 0.4744       | 0.6293           | 0.0293          | 0.2443              | 0.0292     | 0.2146         | 0.021       | 0.3048          | 0.0831   | 0.3056       |
| 2.0335        | 40.9953 | 4366  | 2.0880          | 0.1278 | 0.2884 | 0.1103 | 0.0374    | 0.0416     | 0.1395    | 0.1631 | 0.3068 | 0.3302  | 0.1615    | 0.2089     | 0.4282    | 0.4782       | 0.628            | 0.0342          | 0.2357              | 0.0179     | 0.1745         | 0.0397      | 0.3571          | 0.0689   | 0.2554       |
| 2.1166        | 42.0    | 4473  | 2.1062          | 0.1303 | 0.299  | 0.1098 | 0.0324    | 0.0445     | 0.1594    | 0.1709 | 0.3222 | 0.3467  | 0.1433    | 0.2403     | 0.4547    | 0.45         | 0.6012           | 0.0586          | 0.2814              | 0.0363     | 0.2208         | 0.0355      | 0.3381          | 0.0708   | 0.2921       |
| 1.9831        | 42.9953 | 4579  | 2.0591          | 0.142  | 0.3266 | 0.1181 | 0.0548    | 0.0532     | 0.166     | 0.1881 | 0.3438 | 0.3595  | 0.1447    | 0.249      | 0.4546    | 0.4789       | 0.6268           | 0.0469          | 0.2686              | 0.0471     | 0.2255         | 0.0494      | 0.3476          | 0.0877   | 0.3288       |
| 2.0249        | 44.0    | 4686  | 2.1750          | 0.1331 | 0.3023 | 0.108  | 0.0487    | 0.0453     | 0.1746    | 0.1843 | 0.3345 | 0.3565  | 0.1692    | 0.2419     | 0.449     | 0.4406       | 0.6226           | 0.065           | 0.3257              | 0.0396     | 0.2234         | 0.0421      | 0.3119          | 0.0783   | 0.2989       |
| 2.1806        | 44.9953 | 4792  | 2.1668          | 0.1299 | 0.3103 | 0.1009 | 0.0523    | 0.0368     | 0.1587    | 0.1604 | 0.3055 | 0.3313  | 0.1054    | 0.2044     | 0.4652    | 0.4617       | 0.6165           | 0.0563          | 0.27                | 0.0277     | 0.2089         | 0.0341      | 0.2833          | 0.0697   | 0.278        |
| 1.9865        | 46.0    | 4899  | 2.1022          | 0.1337 | 0.3124 | 0.1006 | 0.0331    | 0.0573     | 0.1585    | 0.177  | 0.332  | 0.3522  | 0.121     | 0.2542     | 0.4359    | 0.451        | 0.6159           | 0.0228          | 0.2386              | 0.0341     | 0.2339         | 0.0467      | 0.3524          | 0.1137   | 0.3203       |
| 2.0517        | 46.9953 | 5005  | 2.0253          | 0.1437 | 0.3449 | 0.1205 | 0.038     | 0.058      | 0.1937    | 0.1831 | 0.3327 | 0.3535  | 0.1973    | 0.2473     | 0.4626    | 0.4515       | 0.6201           | 0.0507          | 0.2729              | 0.0345     | 0.2255         | 0.0846      | 0.3452          | 0.0969   | 0.304        |
| 1.8315        | 48.0    | 5112  | 1.9870          | 0.1528 | 0.3572 | 0.1134 | 0.0298    | 0.0525     | 0.2276    | 0.1953 | 0.3464 | 0.3668  | 0.1622    | 0.2418     | 0.5026    | 0.4801       | 0.6305           | 0.0633          | 0.2929              | 0.0491     | 0.2354         | 0.0861      | 0.3714          | 0.0855   | 0.304        |
| 1.8105        | 48.9953 | 5218  | 1.9702          | 0.1436 | 0.3227 | 0.1212 | 0.0437    | 0.0429     | 0.2046    | 0.1911 | 0.3314 | 0.3517  | 0.1959    | 0.2283     | 0.4668    | 0.4903       | 0.6372           | 0.0616          | 0.27                | 0.0348     | 0.2479         | 0.066       | 0.331           | 0.0653   | 0.2723       |
| 1.7928        | 50.0    | 5325  | 1.9007          | 0.1549 | 0.3631 | 0.1243 | 0.0413    | 0.0563     | 0.2183    | 0.2026 | 0.3488 | 0.369   | 0.13      | 0.2439     | 0.4907    | 0.4838       | 0.6476           | 0.0679          | 0.2914              | 0.0585     | 0.2495         | 0.0713      | 0.3571          | 0.0931   | 0.2994       |
| 1.7696        | 50.9953 | 5431  | 1.9786          | 0.1511 | 0.3631 | 0.1196 | 0.0232    | 0.0595     | 0.2346    | 0.204  | 0.3601 | 0.3848  | 0.1566    | 0.2821     | 0.4908    | 0.4767       | 0.6287           | 0.0758          | 0.3171              | 0.0484     | 0.25           | 0.0748      | 0.4214          | 0.0801   | 0.3068       |
| 1.7579        | 52.0    | 5538  | 1.9172          | 0.1628 | 0.3659 | 0.132  | 0.0341    | 0.0698     | 0.2224    | 0.2133 | 0.3753 | 0.3968  | 0.2334    | 0.2767     | 0.5034    | 0.498        | 0.6524           | 0.0869          | 0.3343              | 0.0472     | 0.2646         | 0.0795      | 0.4024          | 0.1023   | 0.3305       |
| 1.7493        | 52.9953 | 5644  | 1.8806          | 0.1599 | 0.3797 | 0.1159 | 0.0522    | 0.0727     | 0.2175    | 0.2111 | 0.3677 | 0.3969  | 0.2264    | 0.2769     | 0.5069    | 0.4723       | 0.6482           | 0.0713          | 0.3314              | 0.0662     | 0.2792         | 0.066       | 0.3833          | 0.1239   | 0.3424       |
| 1.7134        | 54.0    | 5751  | 1.9045          | 0.1663 | 0.3599 | 0.1239 | 0.0372    | 0.0754     | 0.2379    | 0.2115 | 0.3648 | 0.3911  | 0.1374    | 0.2659     | 0.522     | 0.4841       | 0.6476           | 0.0674          | 0.2829              | 0.0588     | 0.2807         | 0.1056      | 0.4095          | 0.1155   | 0.335        |
| 1.7611        | 54.9953 | 5857  | 1.9231          | 0.1606 | 0.3967 | 0.1162 | 0.0462    | 0.0722     | 0.2079    | 0.2059 | 0.3553 | 0.3789  | 0.1245    | 0.2652     | 0.4963    | 0.4928       | 0.639            | 0.0981          | 0.3429              | 0.0482     | 0.2406         | 0.0709      | 0.3643          | 0.093    | 0.3079       |
| 1.7949        | 56.0    | 5964  | 1.8811          | 0.182  | 0.4156 | 0.1361 | 0.0724    | 0.0814     | 0.2389    | 0.2195 | 0.3801 | 0.3956  | 0.1577    | 0.2722     | 0.4984    | 0.4928       | 0.6366           | 0.1112          | 0.3386              | 0.0831     | 0.2812         | 0.1114      | 0.4119          | 0.1113   | 0.3096       |
| 1.7328        | 56.9953 | 6070  | 1.8393          | 0.1802 | 0.4138 | 0.143  | 0.0649    | 0.0869     | 0.2511    | 0.2184 | 0.3899 | 0.4079  | 0.2281    | 0.2913     | 0.5215    | 0.502        | 0.6512           | 0.1311          | 0.3471              | 0.0729     | 0.263          | 0.0834      | 0.4357          | 0.1115   | 0.3424       |
| 1.6581        | 58.0    | 6177  | 1.8911          | 0.1818 | 0.4149 | 0.1458 | 0.0567    | 0.0851     | 0.254     | 0.2101 | 0.3745 | 0.3931  | 0.1613    | 0.266      | 0.5025    | 0.4957       | 0.6512           | 0.1287          | 0.3443              | 0.0735     | 0.2505         | 0.083       | 0.3905          | 0.1282   | 0.3288       |
| 1.6535        | 58.9953 | 6283  | 1.8845          | 0.1712 | 0.4046 | 0.1308 | 0.0742    | 0.0783     | 0.2418    | 0.2009 | 0.3816 | 0.3972  | 0.2855    | 0.2882     | 0.4836    | 0.5077       | 0.6518           | 0.0892          | 0.3229              | 0.0578     | 0.2589         | 0.0898      | 0.4286          | 0.1113   | 0.3237       |
| 1.6606        | 60.0    | 6390  | 1.9009          | 0.1779 | 0.4172 | 0.1297 | 0.0798    | 0.0946     | 0.2376    | 0.2137 | 0.3647 | 0.3862  | 0.235     | 0.2811     | 0.4988    | 0.4882       | 0.6354           | 0.0948          | 0.2729              | 0.0739     | 0.2854         | 0.1031      | 0.4             | 0.1297   | 0.3373       |
| 1.6766        | 60.9953 | 6496  | 1.9100          | 0.18   | 0.4238 | 0.1385 | 0.092     | 0.087      | 0.2338    | 0.2233 | 0.384  | 0.3989  | 0.2325    | 0.2852     | 0.4949    | 0.4817       | 0.636            | 0.0971          | 0.3171              | 0.0831     | 0.2714         | 0.1194      | 0.4429          | 0.1185   | 0.3271       |
| 1.7227        | 62.0    | 6603  | 1.8943          | 0.173  | 0.3979 | 0.1294 | 0.0935    | 0.0739     | 0.2254    | 0.2172 | 0.3674 | 0.389   | 0.1763    | 0.2647     | 0.5074    | 0.5011       | 0.6463           | 0.1096          | 0.3286              | 0.0731     | 0.2854         | 0.0727      | 0.3786          | 0.1087   | 0.3062       |
| 1.6737        | 62.9953 | 6709  | 1.9753          | 0.1645 | 0.398  | 0.1159 | 0.0841    | 0.0849     | 0.2382    | 0.2065 | 0.3693 | 0.3867  | 0.2084    | 0.2771     | 0.4862    | 0.4483       | 0.6171           | 0.0934          | 0.3114              | 0.0869     | 0.3005         | 0.0684      | 0.3738          | 0.1256   | 0.3305       |
| 1.6768        | 64.0    | 6816  | 1.8531          | 0.1759 | 0.401  | 0.1408 | 0.065     | 0.0851     | 0.2592    | 0.2178 | 0.3635 | 0.3872  | 0.1646    | 0.2774     | 0.5118    | 0.5142       | 0.6463           | 0.0906          | 0.3114              | 0.062      | 0.2844         | 0.0843      | 0.3571          | 0.1284   | 0.3367       |
| 1.6543        | 64.9953 | 6922  | 1.8840          | 0.1828 | 0.4139 | 0.1364 | 0.0964    | 0.0979     | 0.2575    | 0.2195 | 0.3841 | 0.4027  | 0.1731    | 0.3073     | 0.504     | 0.4805       | 0.6409           | 0.1276          | 0.3529              | 0.088      | 0.2969         | 0.093       | 0.3881          | 0.1252   | 0.335        |
| 1.6153        | 66.0    | 7029  | 1.9622          | 0.1684 | 0.3804 | 0.1298 | 0.0652    | 0.0743     | 0.235     | 0.2143 | 0.3699 | 0.391   | 0.1739    | 0.2697     | 0.4861    | 0.4784       | 0.6293           | 0.1049          | 0.33                | 0.0461     | 0.2745         | 0.0881      | 0.4024          | 0.1244   | 0.3186       |
| 1.6143        | 66.9953 | 7135  | 1.8685          | 0.178  | 0.394  | 0.1375 | 0.0621    | 0.0948     | 0.2429    | 0.2178 | 0.3883 | 0.4114  | 0.2767    | 0.2987     | 0.5148    | 0.5007       | 0.6372           | 0.113           | 0.3529              | 0.0771     | 0.2932         | 0.0741      | 0.4238          | 0.1252   | 0.3497       |
| 1.6326        | 68.0    | 7242  | 1.8852          | 0.1745 | 0.3983 | 0.1289 | 0.0568    | 0.0764     | 0.23      | 0.2163 | 0.3856 | 0.4044  | 0.2097    | 0.2825     | 0.5231    | 0.5052       | 0.6482           | 0.1178          | 0.3514              | 0.0672     | 0.2849         | 0.0624      | 0.3905          | 0.1196   | 0.3469       |
| 1.6507        | 68.9953 | 7348  | 1.8130          | 0.1821 | 0.4003 | 0.1556 | 0.06      | 0.1034     | 0.2663    | 0.2157 | 0.3933 | 0.4077  | 0.3075    | 0.2933     | 0.5294    | 0.5087       | 0.6579           | 0.1021          | 0.3529              | 0.0749     | 0.2969         | 0.0992      | 0.4024          | 0.1256   | 0.3282       |
| 1.5577        | 70.0    | 7455  | 1.8646          | 0.1775 | 0.3934 | 0.1375 | 0.0802    | 0.0721     | 0.2704    | 0.2248 | 0.386  | 0.4115  | 0.2884    | 0.2959     | 0.5086    | 0.5029       | 0.6518           | 0.0973          | 0.3357              | 0.0637     | 0.2979         | 0.0962      | 0.4262          | 0.1273   | 0.3458       |
| 1.5784        | 70.9953 | 7561  | 1.7817          | 0.1912 | 0.4163 | 0.1575 | 0.0783    | 0.0846     | 0.2848    | 0.229  | 0.3986 | 0.4184  | 0.3431    | 0.2889     | 0.532     | 0.5187       | 0.6695           | 0.1152          | 0.3429              | 0.0723     | 0.3005         | 0.0953      | 0.4214          | 0.1546   | 0.3576       |
| 1.506         | 72.0    | 7668  | 1.7696          | 0.1938 | 0.4236 | 0.1464 | 0.0803    | 0.1105     | 0.2592    | 0.2337 | 0.3895 | 0.4151  | 0.1821    | 0.2993     | 0.5415    | 0.5214       | 0.6634           | 0.0966          | 0.34                | 0.0775     | 0.2932         | 0.1302      | 0.4262          | 0.1434   | 0.3525       |
| 1.5384        | 72.9953 | 7774  | 1.8206          | 0.189  | 0.4304 | 0.1388 | 0.0836    | 0.0839     | 0.2802    | 0.2353 | 0.3889 | 0.4041  | 0.2535    | 0.272      | 0.5363    | 0.5046       | 0.6591           | 0.109           | 0.3357              | 0.0785     | 0.2922         | 0.1227      | 0.4             | 0.1301   | 0.3333       |
| 1.5022        | 74.0    | 7881  | 1.8055          | 0.197  | 0.4341 | 0.1495 | 0.1022    | 0.0883     | 0.2747    | 0.2256 | 0.3898 | 0.4084  | 0.1913    | 0.2789     | 0.5424    | 0.5225       | 0.661            | 0.1332          | 0.34                | 0.0687     | 0.2891         | 0.1366      | 0.4286          | 0.1239   | 0.3232       |
| 1.5157        | 74.9953 | 7987  | 1.7750          | 0.1992 | 0.4404 | 0.1541 | 0.104     | 0.0937     | 0.2516    | 0.2332 | 0.3996 | 0.4154  | 0.1952    | 0.2843     | 0.5587    | 0.5311       | 0.6762           | 0.1331          | 0.36                | 0.0869     | 0.2964         | 0.1116      | 0.4071          | 0.1332   | 0.3373       |
| 1.4439        | 76.0    | 8094  | 1.8431          | 0.1877 | 0.4295 | 0.1374 | 0.0729    | 0.0844     | 0.2654    | 0.225  | 0.3975 | 0.4176  | 0.2597    | 0.2999     | 0.544     | 0.5215       | 0.6579           | 0.1322          | 0.3471              | 0.0673     | 0.2875         | 0.0936      | 0.4643          | 0.1241   | 0.3311       |
| 1.4989        | 76.9953 | 8200  | 1.8236          | 0.1907 | 0.4343 | 0.1425 | 0.055     | 0.095      | 0.2776    | 0.2183 | 0.3861 | 0.4059  | 0.1827    | 0.2745     | 0.5308    | 0.5238       | 0.6634           | 0.1084          | 0.33                | 0.0754     | 0.2849         | 0.1091      | 0.4             | 0.1368   | 0.3514       |
| 1.4759        | 78.0    | 8307  | 1.7953          | 0.1973 | 0.4484 | 0.15   | 0.077     | 0.0949     | 0.2868    | 0.2369 | 0.402  | 0.4161  | 0.1753    | 0.2936     | 0.5428    | 0.5239       | 0.6634           | 0.124           | 0.3514              | 0.0865     | 0.3109         | 0.0945      | 0.3976          | 0.1574   | 0.3571       |
| 1.4302        | 78.9953 | 8413  | 1.8257          | 0.1921 | 0.4446 | 0.1476 | 0.0569    | 0.1067     | 0.2706    | 0.2263 | 0.3944 | 0.4135  | 0.17      | 0.2982     | 0.5529    | 0.508        | 0.6591           | 0.1226          | 0.36                | 0.0782     | 0.3021         | 0.1114      | 0.3976          | 0.1403   | 0.3486       |
| 1.4879        | 80.0    | 8520  | 1.8216          | 0.1977 | 0.4478 | 0.1511 | 0.0607    | 0.1093     | 0.28      | 0.233  | 0.4025 | 0.4213  | 0.1947    | 0.3143     | 0.5392    | 0.5125       | 0.6573           | 0.1274          | 0.3514              | 0.087      | 0.3177         | 0.1197      | 0.4286          | 0.1421   | 0.3514       |
| 1.4674        | 80.9953 | 8626  | 1.8194          | 0.186  | 0.4463 | 0.1374 | 0.056     | 0.0953     | 0.28      | 0.2289 | 0.3882 | 0.4068  | 0.1807    | 0.2878     | 0.5349    | 0.5061       | 0.6457           | 0.1236          | 0.3371              | 0.0662     | 0.276          | 0.0917      | 0.4143          | 0.1424   | 0.361        |
| 1.4603        | 82.0    | 8733  | 1.7888          | 0.1925 | 0.4437 | 0.142  | 0.0727    | 0.0973     | 0.2871    | 0.2257 | 0.39   | 0.4054  | 0.1866    | 0.2849     | 0.5352    | 0.5014       | 0.6463           | 0.1343          | 0.33                | 0.0787     | 0.2995         | 0.1028      | 0.4             | 0.1455   | 0.3514       |
| 1.4798        | 82.9953 | 8839  | 1.8245          | 0.1922 | 0.4473 | 0.1358 | 0.0696    | 0.1126     | 0.2677    | 0.2258 | 0.3993 | 0.415   | 0.1864    | 0.3067     | 0.5338    | 0.5          | 0.6427           | 0.1361          | 0.3314              | 0.0868     | 0.3073         | 0.0965      | 0.4286          | 0.1414   | 0.365        |
| 1.4253        | 84.0    | 8946  | 1.7753          | 0.1932 | 0.4601 | 0.1409 | 0.0801    | 0.1169     | 0.2778    | 0.2316 | 0.4027 | 0.4172  | 0.1949    | 0.3178     | 0.5316    | 0.5108       | 0.6567           | 0.124           | 0.3329              | 0.0831     | 0.2937         | 0.0979      | 0.4452          | 0.1501   | 0.3576       |
| 1.4397        | 84.9953 | 9052  | 1.7778          | 0.2023 | 0.4698 | 0.1484 | 0.0747    | 0.1264     | 0.2903    | 0.2312 | 0.4076 | 0.423   | 0.2089    | 0.3229     | 0.5092    | 0.5011       | 0.6494           | 0.1172          | 0.3129              | 0.107      | 0.3214         | 0.1282      | 0.45            | 0.158    | 0.3814       |
| 1.4086        | 86.0    | 9159  | 1.7550          | 0.2015 | 0.472  | 0.1626 | 0.0926    | 0.1138     | 0.2819    | 0.2308 | 0.4085 | 0.4275  | 0.2033    | 0.3209     | 0.5665    | 0.5092       | 0.6591           | 0.1319          | 0.3543              | 0.0894     | 0.3042         | 0.1295      | 0.4571          | 0.1473   | 0.3627       |
| 1.4261        | 86.9953 | 9265  | 1.7907          | 0.1997 | 0.4662 | 0.1461 | 0.1078    | 0.1194     | 0.2946    | 0.2402 | 0.3993 | 0.4178  | 0.1766    | 0.3128     | 0.5568    | 0.5156       | 0.661            | 0.1338          | 0.3371              | 0.0888     | 0.301          | 0.1181      | 0.431           | 0.1423   | 0.3588       |
| 1.3943        | 88.0    | 9372  | 1.7906          | 0.1891 | 0.4431 | 0.133  | 0.0591    | 0.1053     | 0.2925    | 0.234  | 0.4004 | 0.419   | 0.1942    | 0.3249     | 0.5366    | 0.5019       | 0.6488           | 0.1097          | 0.3271              | 0.0877     | 0.3052         | 0.1014      | 0.4524          | 0.1446   | 0.3616       |
| 1.4016        | 88.9953 | 9478  | 1.7760          | 0.1929 | 0.4462 | 0.1424 | 0.0828    | 0.1114     | 0.2675    | 0.238  | 0.4045 | 0.4254  | 0.2069    | 0.3236     | 0.5476    | 0.5031       | 0.6616           | 0.121           | 0.3329              | 0.0897     | 0.3104         | 0.098       | 0.4548          | 0.1525   | 0.3672       |
| 1.3955        | 90.0    | 9585  | 1.7786          | 0.1955 | 0.4452 | 0.1534 | 0.0952    | 0.1147     | 0.2789    | 0.2383 | 0.3979 | 0.4189  | 0.2118    | 0.3166     | 0.5502    | 0.4977       | 0.6378           | 0.1173          | 0.3286              | 0.0946     | 0.312          | 0.1176      | 0.4405          | 0.1502   | 0.3757       |
| 1.4014        | 90.9953 | 9691  | 1.7644          | 0.1975 | 0.4627 | 0.1508 | 0.0865    | 0.1134     | 0.2852    | 0.2394 | 0.4042 | 0.4219  | 0.1963    | 0.3221     | 0.5521    | 0.5035       | 0.6549           | 0.1326          | 0.3371              | 0.0991     | 0.3193         | 0.1154      | 0.4429          | 0.1367   | 0.3554       |
| 1.3626        | 92.0    | 9798  | 1.7705          | 0.1993 | 0.4752 | 0.143  | 0.07      | 0.1152     | 0.2855    | 0.2361 | 0.4022 | 0.4221  | 0.1801    | 0.3227     | 0.5575    | 0.5064       | 0.6555           | 0.1307          | 0.3486              | 0.0898     | 0.299          | 0.1215      | 0.4429          | 0.1481   | 0.3644       |
| 1.3655        | 92.9953 | 9904  | 1.7689          | 0.2081 | 0.4735 | 0.1425 | 0.0975    | 0.1234     | 0.2855    | 0.2413 | 0.4007 | 0.422   | 0.198     | 0.3091     | 0.5544    | 0.5014       | 0.6616           | 0.1282          | 0.3386              | 0.0918     | 0.3073         | 0.1587      | 0.4381          | 0.1603   | 0.3644       |
| 1.3913        | 94.0    | 10011 | 1.7834          | 0.2003 | 0.4624 | 0.149  | 0.0951    | 0.1082     | 0.2823    | 0.2407 | 0.4025 | 0.4227  | 0.2077    | 0.2991     | 0.5416    | 0.4993       | 0.6628           | 0.1198          | 0.3371              | 0.1071     | 0.3208         | 0.1209      | 0.419           | 0.1545   | 0.3734       |
| 1.4071        | 94.9953 | 10117 | 1.7609          | 0.2046 | 0.4761 | 0.1521 | 0.0954    | 0.1232     | 0.2968    | 0.2392 | 0.4064 | 0.4251  | 0.1986    | 0.3225     | 0.5536    | 0.4975       | 0.6579           | 0.1359          | 0.3614              | 0.1034     | 0.3068         | 0.1342      | 0.4238          | 0.1522   | 0.3757       |
| 1.3651        | 96.0    | 10224 | 1.7628          | 0.2016 | 0.4717 | 0.1487 | 0.0995    | 0.1203     | 0.2895    | 0.2381 | 0.3965 | 0.416   | 0.1919    | 0.3111     | 0.5508    | 0.5079       | 0.664            | 0.1225          | 0.3371              | 0.0941     | 0.3005         | 0.1301      | 0.4095          | 0.1533   | 0.3689       |
| 1.3568        | 96.9953 | 10330 | 1.7858          | 0.2008 | 0.4706 | 0.15   | 0.0885    | 0.1223     | 0.286     | 0.2415 | 0.3952 | 0.4149  | 0.2044    | 0.31       | 0.5375    | 0.5041       | 0.6604           | 0.1152          | 0.3214              | 0.0946     | 0.3052         | 0.135       | 0.4214          | 0.1552   | 0.3661       |
| 1.3502        | 98.0    | 10437 | 1.7613          | 0.2041 | 0.4599 | 0.1525 | 0.0904    | 0.1249     | 0.2908    | 0.2395 | 0.4097 | 0.4292  | 0.2154    | 0.3233     | 0.553     | 0.5051       | 0.664            | 0.127           | 0.3557              | 0.1024     | 0.3177         | 0.1333      | 0.4357          | 0.1528   | 0.3729       |
| 1.3658        | 98.9953 | 10543 | 1.7623          | 0.2016 | 0.4641 | 0.1501 | 0.0908    | 0.1219     | 0.2895    | 0.2398 | 0.4019 | 0.4208  | 0.2099    | 0.3157     | 0.5456    | 0.5034       | 0.6598           | 0.1234          | 0.3314              | 0.095      | 0.3115         | 0.1326      | 0.4262          | 0.1536   | 0.3751       |
| 1.3272        | 99.5305 | 10600 | 1.7663          | 0.2022 | 0.4588 | 0.1509 | 0.0948    | 0.1223     | 0.2882    | 0.2396 | 0.405  | 0.4238  | 0.2134    | 0.3177     | 0.5501    | 0.5051       | 0.6628           | 0.1207          | 0.3371              | 0.0983     | 0.3115         | 0.1325      | 0.431           | 0.1545   | 0.3768       |


### Framework versions

- Transformers 4.40.0.dev0
- Pytorch 1.13.0+cu117
- Datasets 2.18.0
- Tokenizers 0.19.0