Hugging Face's logo

cromz22
/
adalora_whisper_large_marathi_multi_adapter

Model card Files Community
cromz22 commited on
Commit
5f47028
•
1 Parent(s): 0c290ae

Training in progress epoch 1

Browse files
Files changed (8) hide show
  1. adapter_config.json +276 -276
  2. adapter_model.bin +2 -2
  3. best_checkpoint/adapter_config.json +276 -276
  4. best_checkpoint/adapter_model.bin +2 -2
  5. best_checkpoint/optimizer.bin +1 -1
  6. best_checkpoint/random_states_0.pkl +1 -1
  7. best_checkpoint/scaler.pt +1 -1
  8. best_checkpoint/scheduler.bin +1 -1
adapter_config.json CHANGED
@@ -88,11 +88,11 @@
88
  "model.decoder.layers.0.fc2.lora_E": [
89
  true,
90
  true,
 
 
91
  true,
92
  true,
93
- true,
94
- true,
95
- true,
96
  false,
97
  true,
98
  false,
@@ -118,8 +118,8 @@
118
  true,
119
  false,
120
  false,
121
- false,
122
  true,
 
123
  true,
124
  true,
125
  false,
@@ -142,9 +142,9 @@
142
  true
143
  ],
144
  "model.decoder.layers.0.self_attn.v_proj.lora_E": [
145
- false,
146
  true,
147
- false,
 
148
  true,
149
  true,
150
  true,
@@ -206,16 +206,16 @@
206
  false,
207
  false,
208
  true,
209
- true,
210
  false,
211
  false,
212
  true
213
  ],
214
  "model.decoder.layers.1.fc1.lora_E": [
 
215
  true,
216
  true,
217
  true,
218
- false,
219
  true,
220
  true,
221
  true,
@@ -261,7 +261,7 @@
261
  false,
262
  false,
263
  false,
264
- true,
265
  true,
266
  false,
267
  false,
@@ -375,7 +375,7 @@
375
  false,
376
  true,
377
  true,
378
- false,
379
  false,
380
  true
381
  ],
@@ -387,7 +387,7 @@
387
  true,
388
  true,
389
  true,
390
- true,
391
  true,
392
  true,
393
  true,
@@ -507,7 +507,7 @@
507
  ],
508
  "model.decoder.layers.11.fc2.lora_E": [
509
  false,
510
- true,
511
  true,
512
  false,
513
  false,
@@ -535,7 +535,7 @@
535
  ],
536
  "model.decoder.layers.11.self_attn.out_proj.lora_E": [
537
  true,
538
- true,
539
  true,
540
  true,
541
  true,
@@ -611,7 +611,7 @@
611
  false,
612
  true,
613
  true,
614
- true,
615
  false,
616
  true,
617
  false,
@@ -646,10 +646,10 @@
646
  true
647
  ],
648
  "model.decoder.layers.12.fc2.lora_E": [
 
649
  true,
650
  true,
651
  true,
652
- false,
653
  true,
654
  true,
655
  true,
@@ -662,7 +662,7 @@
662
  "model.decoder.layers.12.self_attn.k_proj.lora_E": [
663
  false,
664
  false,
665
- true,
666
  false,
667
  false,
668
  false,
@@ -710,7 +710,7 @@
710
  true,
711
  false,
712
  true,
713
- true,
714
  false,
715
  true,
716
  false
@@ -758,7 +758,7 @@
758
  false
759
  ],
760
  "model.decoder.layers.13.encoder_attn.v_proj.lora_E": [
761
- true,
762
  false,
763
  true,
764
  true,
@@ -787,17 +787,17 @@
787
  ],
788
  "model.decoder.layers.13.fc2.lora_E": [
789
  false,
790
- true,
791
- true,
792
- true,
793
  false,
794
  true,
 
 
795
  true,
796
  true,
 
 
797
  true,
798
- true,
799
- true,
800
- true
801
  ],
802
  "model.decoder.layers.13.self_attn.k_proj.lora_E": [
803
  true,
@@ -846,7 +846,7 @@
846
  false,
847
  false,
848
  false,
849
- true,
850
  false,
851
  false,
852
  true,
@@ -898,7 +898,7 @@
898
  true
899
  ],
900
  "model.decoder.layers.14.encoder_attn.v_proj.lora_E": [
901
- true,
902
  false,
903
  false,
904
  false,
@@ -949,7 +949,7 @@
949
  true,
950
  true,
951
  true,
952
- true,
953
  false,
954
  false
955
  ],
@@ -986,14 +986,14 @@
986
  false,
987
  false,
988
  false,
989
- true,
990
  false,
991
  false,
992
  false,
993
  false,
994
  true,
995
  false,
996
- false
997
  ],
998
  "model.decoder.layers.15.encoder_attn.k_proj.lora_E": [
999
  true,
@@ -1012,7 +1012,7 @@
1012
  "model.decoder.layers.15.encoder_attn.out_proj.lora_E": [
1013
  true,
1014
  true,
1015
- true,
1016
  true,
1017
  true,
1018
  true,
@@ -1071,7 +1071,7 @@
1071
  false,
1072
  false,
1073
  true,
1074
- false,
1075
  false,
1076
  false,
1077
  false,
@@ -1081,7 +1081,7 @@
1081
  ],
1082
  "model.decoder.layers.15.self_attn.k_proj.lora_E": [
1083
  false,
1084
- true,
1085
  false,
1086
  false,
1087
  false,
@@ -1110,7 +1110,7 @@
1110
  "model.decoder.layers.15.self_attn.q_proj.lora_E": [
1111
  false,
1112
  false,
1113
- true,
1114
  false,
1115
  true,
1116
  true,
@@ -1133,7 +1133,7 @@
1133
  false,
1134
  true,
1135
  false,
1136
- true
1137
  ],
1138
  "model.decoder.layers.16.encoder_attn.k_proj.lora_E": [
1139
  true,
@@ -1186,7 +1186,7 @@
1186
  true,
1187
  true,
1188
  true,
1189
- true,
1190
  true,
1191
  true,
1192
  false
@@ -1229,7 +1229,7 @@
1229
  false,
1230
  true,
1231
  true,
1232
- true,
1233
  true,
1234
  true
1235
  ],
@@ -1252,7 +1252,7 @@
1252
  true,
1253
  true,
1254
  false,
1255
- true,
1256
  true,
1257
  true,
1258
  true,
@@ -1349,7 +1349,7 @@
1349
  false,
1350
  false,
1351
  false,
1352
- true,
1353
  true,
1354
  false,
1355
  true,
@@ -1366,7 +1366,7 @@
1366
  false,
1367
  false,
1368
  false,
1369
- true,
1370
  true,
1371
  false,
1372
  false,
@@ -1377,7 +1377,7 @@
1377
  false,
1378
  false,
1379
  false,
1380
- true,
1381
  true,
1382
  false,
1383
  false,
@@ -1407,7 +1407,7 @@
1407
  false,
1408
  false,
1409
  true,
1410
- true,
1411
  false,
1412
  false,
1413
  false,
@@ -1453,7 +1453,7 @@
1453
  true,
1454
  true,
1455
  true,
1456
- false,
1457
  true,
1458
  true
1459
  ],
@@ -1497,12 +1497,12 @@
1497
  false,
1498
  false,
1499
  false,
1500
- false
1501
  ],
1502
  "model.decoder.layers.18.self_attn.k_proj.lora_E": [
1503
  false,
1504
  true,
1505
- true,
1506
  true,
1507
  false,
1508
  true,
@@ -1515,9 +1515,9 @@
1515
  ],
1516
  "model.decoder.layers.18.self_attn.out_proj.lora_E": [
1517
  false,
1518
- true,
1519
  false,
1520
- true,
 
1521
  true,
1522
  false,
1523
  false,
@@ -1542,12 +1542,12 @@
1542
  true
1543
  ],
1544
  "model.decoder.layers.18.self_attn.v_proj.lora_E": [
 
1545
  false,
1546
  false,
1547
  true,
1548
  true,
1549
- true,
1550
- true,
1551
  false,
1552
  false,
1553
  false,
@@ -1585,7 +1585,7 @@
1585
  ],
1586
  "model.decoder.layers.19.encoder_attn.q_proj.lora_E": [
1587
  true,
1588
- true,
1589
  true,
1590
  true,
1591
  true,
@@ -1682,17 +1682,17 @@
1682
  true
1683
  ],
1684
  "model.decoder.layers.19.self_attn.v_proj.lora_E": [
1685
- true,
1686
  true,
1687
  false,
1688
  false,
1689
  false,
1690
- true,
 
1691
  false,
1692
  true,
1693
  true,
1694
  false,
1695
- true,
1696
  false
1697
  ],
1698
  "model.decoder.layers.2.encoder_attn.k_proj.lora_E": [
@@ -1739,7 +1739,7 @@
1739
  ],
1740
  "model.decoder.layers.2.encoder_attn.v_proj.lora_E": [
1741
  false,
1742
- true,
1743
  false,
1744
  true,
1745
  false,
@@ -1749,7 +1749,7 @@
1749
  true,
1750
  true,
1751
  true,
1752
- true
1753
  ],
1754
  "model.decoder.layers.2.fc1.lora_E": [
1755
  true,
@@ -1771,8 +1771,8 @@
1771
  false,
1772
  false,
1773
  true,
1774
- false,
1775
- false,
1776
  true,
1777
  true,
1778
  true,
@@ -1926,7 +1926,7 @@
1926
  true,
1927
  true,
1928
  false,
1929
- true,
1930
  false,
1931
  false,
1932
  false,
@@ -1939,7 +1939,7 @@
1939
  false,
1940
  false,
1941
  false,
1942
- true,
1943
  false,
1944
  false,
1945
  false,
@@ -1966,7 +1966,7 @@
1966
  true,
1967
  false,
1968
  false,
1969
- true,
1970
  true,
1971
  true,
1972
  false,
@@ -2049,15 +2049,15 @@
2049
  true,
2050
  false,
2051
  false,
2052
- false,
2053
- false,
2054
  false,
2055
  false,
2056
  false,
2057
  false,
2058
  false,
2059
  true,
2060
- false
2061
  ],
2062
  "model.decoder.layers.21.self_attn.k_proj.lora_E": [
2063
  true,
@@ -2197,7 +2197,7 @@
2197
  true,
2198
  false,
2199
  true,
2200
- true
2201
  ],
2202
  "model.decoder.layers.22.self_attn.k_proj.lora_E": [
2203
  true,
@@ -2222,7 +2222,7 @@
2222
  false,
2223
  false,
2224
  true,
2225
- true,
2226
  true,
2227
  false,
2228
  true
@@ -2242,12 +2242,12 @@
2242
  true
2243
  ],
2244
  "model.decoder.layers.22.self_attn.v_proj.lora_E": [
2245
- true,
2246
  true,
2247
  false,
2248
  false,
2249
  true,
2250
- false,
2251
  false,
2252
  true,
2253
  false,
@@ -2292,7 +2292,7 @@
2292
  false,
2293
  true,
2294
  true,
2295
- true,
2296
  true,
2297
  true,
2298
  true
@@ -2333,7 +2333,7 @@
2333
  true,
2334
  false,
2335
  true,
2336
- true,
2337
  false,
2338
  true,
2339
  true,
@@ -2341,7 +2341,7 @@
2341
  ],
2342
  "model.decoder.layers.23.self_attn.k_proj.lora_E": [
2343
  false,
2344
- true,
2345
  false,
2346
  true,
2347
  false,
@@ -2355,9 +2355,9 @@
2355
  ],
2356
  "model.decoder.layers.23.self_attn.out_proj.lora_E": [
2357
  true,
2358
- false,
2359
  true,
2360
  true,
 
2361
  true,
2362
  false,
2363
  true,
@@ -2389,7 +2389,7 @@
2389
  false,
2390
  false,
2391
  false,
2392
- true,
2393
  false,
2394
  false,
2395
  false,
@@ -2514,7 +2514,7 @@
2514
  true,
2515
  false,
2516
  false,
2517
- true,
2518
  false,
2519
  true,
2520
  false,
@@ -2524,16 +2524,16 @@
2524
  "model.decoder.layers.24.self_attn.v_proj.lora_E": [
2525
  false,
2526
  false,
2527
- true,
2528
  false,
2529
  false,
2530
- true,
2531
- true,
2532
  false,
2533
  true,
2534
  false,
2535
  false,
2536
- true
 
 
2537
  ],
2538
  "model.decoder.layers.25.encoder_attn.k_proj.lora_E": [
2539
  true,
@@ -2568,7 +2568,7 @@
2568
  true,
2569
  true,
2570
  true,
2571
- true,
2572
  true,
2573
  true,
2574
  true,
@@ -2615,7 +2615,7 @@
2615
  false,
2616
  false,
2617
  true,
2618
- true,
2619
  false,
2620
  false
2621
  ],
@@ -2635,7 +2635,7 @@
2635
  ],
2636
  "model.decoder.layers.25.self_attn.out_proj.lora_E": [
2637
  true,
2638
- true,
2639
  true,
2640
  true,
2641
  false,
@@ -2774,7 +2774,7 @@
2774
  false
2775
  ],
2776
  "model.decoder.layers.26.self_attn.out_proj.lora_E": [
2777
- true,
2778
  true,
2779
  false,
2780
  true,
@@ -2784,14 +2784,14 @@
2784
  false,
2785
  true,
2786
  false,
2787
- true,
2788
- true
2789
  ],
2790
  "model.decoder.layers.26.self_attn.q_proj.lora_E": [
2791
  true,
2792
  false,
2793
  false,
2794
- true,
2795
  false,
2796
  false,
2797
  true,
@@ -2888,7 +2888,7 @@
2888
  "model.decoder.layers.27.fc2.lora_E": [
2889
  false,
2890
  true,
2891
- true,
2892
  false,
2893
  true,
2894
  false,
@@ -2897,7 +2897,7 @@
2897
  true,
2898
  true,
2899
  false,
2900
- true
2901
  ],
2902
  "model.decoder.layers.27.self_attn.k_proj.lora_E": [
2903
  true,
@@ -2950,8 +2950,8 @@
2950
  true,
2951
  false,
2952
  true,
2953
- true,
2954
- true,
2955
  false,
2956
  true
2957
  ],
@@ -3070,7 +3070,7 @@
3070
  "model.decoder.layers.28.self_attn.q_proj.lora_E": [
3071
  true,
3072
  true,
3073
- true,
3074
  true,
3075
  false,
3076
  true,
@@ -3083,15 +3083,15 @@
3083
  ],
3084
  "model.decoder.layers.28.self_attn.v_proj.lora_E": [
3085
  false,
3086
- true,
3087
  false,
3088
  false,
3089
- true,
3090
- true,
3091
  true,
3092
  false,
3093
  true,
3094
  false,
 
 
3095
  true,
3096
  false
3097
  ],
@@ -3194,8 +3194,8 @@
3194
  false
3195
  ],
3196
  "model.decoder.layers.29.self_attn.out_proj.lora_E": [
3197
- true,
3198
- true,
3199
  false,
3200
  false,
3201
  true,
@@ -3228,7 +3228,7 @@
3228
  true,
3229
  true,
3230
  false,
3231
- true,
3232
  true,
3233
  true,
3234
  false,
@@ -3281,7 +3281,7 @@
3281
  false,
3282
  true,
3283
  false,
3284
- true,
3285
  false,
3286
  false,
3287
  false,
@@ -3315,7 +3315,7 @@
3315
  true,
3316
  false,
3317
  true,
3318
- false,
3319
  true,
3320
  true
3321
  ],
@@ -3325,7 +3325,7 @@
3325
  false,
3326
  false,
3327
  false,
3328
- false,
3329
  true,
3330
  false,
3331
  true,
@@ -3344,7 +3344,7 @@
3344
  true,
3345
  true,
3346
  true,
3347
- false,
3348
  false
3349
  ],
3350
  "model.decoder.layers.3.self_attn.q_proj.lora_E": [
@@ -3372,7 +3372,7 @@
3372
  false,
3373
  false,
3374
  false,
3375
- true,
3376
  true
3377
  ],
3378
  "model.decoder.layers.30.encoder_attn.k_proj.lora_E": [
@@ -3475,14 +3475,14 @@
3475
  ],
3476
  "model.decoder.layers.30.self_attn.out_proj.lora_E": [
3477
  true,
3478
- true,
3479
  true,
3480
  true,
3481
  true,
3482
  true,
3483
  false,
3484
  false,
3485
- true,
3486
  false,
3487
  true,
3488
  false
@@ -3494,7 +3494,7 @@
3494
  true,
3495
  true,
3496
  false,
3497
- true,
3498
  true,
3499
  true,
3500
  false,
@@ -3504,10 +3504,10 @@
3504
  "model.decoder.layers.30.self_attn.v_proj.lora_E": [
3505
  true,
3506
  false,
 
 
3507
  true,
3508
- true,
3509
- true,
3510
- true,
3511
  false,
3512
  false,
3513
  false,
@@ -3647,7 +3647,7 @@
3647
  false,
3648
  false,
3649
  true,
3650
- true,
3651
  false,
3652
  false,
3653
  true,
@@ -3728,7 +3728,7 @@
3728
  "model.decoder.layers.4.fc2.lora_E": [
3729
  true,
3730
  true,
3731
- false,
3732
  true,
3733
  true,
3734
  true,
@@ -3776,21 +3776,21 @@
3776
  false,
3777
  true,
3778
  true,
3779
- true,
3780
  false,
3781
- true,
 
3782
  true
3783
  ],
3784
  "model.decoder.layers.4.self_attn.v_proj.lora_E": [
3785
  true,
3786
- true,
3787
  true,
3788
  false,
3789
  false,
3790
- true,
3791
  false,
3792
  false,
3793
- true,
 
3794
  true,
3795
  false,
3796
  false
@@ -3816,7 +3816,7 @@
3816
  true,
3817
  false,
3818
  true,
3819
- true,
3820
  false,
3821
  false,
3822
  true,
@@ -3891,7 +3891,7 @@
3891
  true,
3892
  true,
3893
  true,
3894
- false
3895
  ],
3896
  "model.decoder.layers.5.self_attn.out_proj.lora_E": [
3897
  false,
@@ -3908,7 +3908,7 @@
3908
  true
3909
  ],
3910
  "model.decoder.layers.5.self_attn.q_proj.lora_E": [
3911
- false,
3912
  false,
3913
  true,
3914
  false,
@@ -3931,7 +3931,7 @@
3931
  true,
3932
  false,
3933
  true,
3934
- false,
3935
  true,
3936
  true
3937
  ],
@@ -4015,7 +4015,7 @@
4015
  true,
4016
  true,
4017
  false,
4018
- false,
4019
  true,
4020
  true
4021
  ],
@@ -4154,7 +4154,7 @@
4154
  false,
4155
  true,
4156
  true,
4157
- true,
4158
  true,
4159
  true,
4160
  true
@@ -4203,12 +4203,12 @@
4203
  ],
4204
  "model.decoder.layers.7.self_attn.v_proj.lora_E": [
4205
  false,
 
4206
  false,
4207
  false,
4208
  false,
4209
  false,
4210
- false,
4211
- false,
4212
  false,
4213
  false,
4214
  false,
@@ -4350,7 +4350,7 @@
4350
  false,
4351
  true,
4352
  true,
4353
- true,
4354
  true,
4355
  false,
4356
  false
@@ -4388,14 +4388,14 @@
4388
  true,
4389
  false,
4390
  true,
4391
- true,
4392
- true,
4393
  false,
4394
  false,
4395
  true,
4396
  false,
4397
  false,
4398
- true
4399
  ],
4400
  "model.decoder.layers.9.encoder_attn.v_proj.lora_E": [
4401
  true,
@@ -4499,9 +4499,9 @@
4499
  true,
4500
  true,
4501
  true,
4502
- false,
4503
  true,
4504
- false,
 
4505
  true,
4506
  true,
4507
  true,
@@ -4595,6 +4595,7 @@
4595
  ],
4596
  "model.encoder.layers.1.fc2.lora_E": [
4597
  true,
 
4598
  true,
4599
  true,
4600
  true,
@@ -4602,8 +4603,7 @@
4602
  true,
4603
  true,
4604
  true,
4605
- true,
4606
- true,
4607
  true,
4608
  true
4609
  ],
@@ -4622,14 +4622,14 @@
4622
  false
4623
  ],
4624
  "model.encoder.layers.1.self_attn.out_proj.lora_E": [
 
 
 
4625
  true,
4626
  true,
4627
  true,
4628
  true,
4629
- false,
4630
  true,
4631
- false,
4632
- false,
4633
  true,
4634
  true,
4635
  true,
@@ -4660,7 +4660,7 @@
4660
  true,
4661
  true,
4662
  true,
4663
- false,
4664
  true
4665
  ],
4666
  "model.encoder.layers.10.fc1.lora_E": [
@@ -4680,12 +4680,12 @@
4680
  "model.encoder.layers.10.fc2.lora_E": [
4681
  false,
4682
  true,
 
4683
  true,
4684
  true,
4685
  true,
4686
  true,
4687
- true,
4688
- true,
4689
  true,
4690
  true,
4691
  true,
@@ -4710,8 +4710,8 @@
4710
  true,
4711
  true,
4712
  true,
4713
- true,
4714
- true,
4715
  false,
4716
  true,
4717
  true,
@@ -4721,7 +4721,7 @@
4721
  ],
4722
  "model.encoder.layers.10.self_attn.q_proj.lora_E": [
4723
  true,
4724
- false,
4725
  false,
4726
  false,
4727
  false,
@@ -4748,10 +4748,10 @@
4748
  true
4749
  ],
4750
  "model.encoder.layers.11.fc1.lora_E": [
4751
- false,
4752
  false,
4753
  true,
4754
  true,
 
4755
  false,
4756
  false,
4757
  true,
@@ -4762,11 +4762,11 @@
4762
  true
4763
  ],
4764
  "model.encoder.layers.11.fc2.lora_E": [
4765
- false,
4766
  true,
4767
  true,
4768
  true,
4769
  true,
 
4770
  true,
4771
  true,
4772
  true,
@@ -4781,7 +4781,7 @@
4781
  false,
4782
  false,
4783
  false,
4784
- true,
4785
  false,
4786
  false,
4787
  false,
@@ -4799,13 +4799,13 @@
4799
  true,
4800
  true,
4801
  true,
4802
- true,
4803
  true,
4804
  true
4805
  ],
4806
  "model.encoder.layers.11.self_attn.q_proj.lora_E": [
4807
  false,
4808
- false,
4809
  false,
4810
  true,
4811
  true,
@@ -4819,7 +4819,7 @@
4819
  ],
4820
  "model.encoder.layers.11.self_attn.v_proj.lora_E": [
4821
  true,
4822
- true,
4823
  true,
4824
  true,
4825
  true,
@@ -4842,7 +4842,7 @@
4842
  false,
4843
  true,
4844
  true,
4845
- false,
4846
  true
4847
  ],
4848
  "model.encoder.layers.12.fc2.lora_E": [
@@ -4857,7 +4857,7 @@
4857
  true,
4858
  true,
4859
  true,
4860
- false
4861
  ],
4862
  "model.encoder.layers.12.self_attn.k_proj.lora_E": [
4863
  true,
@@ -4882,7 +4882,7 @@
4882
  true,
4883
  true,
4884
  true,
4885
- true,
4886
  true,
4887
  true,
4888
  false
@@ -4898,7 +4898,7 @@
4898
  false,
4899
  true,
4900
  true,
4901
- false,
4902
  false
4903
  ],
4904
  "model.encoder.layers.12.self_attn.v_proj.lora_E": [
@@ -4931,14 +4931,14 @@
4931
  ],
4932
  "model.encoder.layers.13.fc2.lora_E": [
4933
  true,
4934
- false,
4935
  true,
4936
  true,
4937
  true,
4938
  true,
4939
  true,
4940
  true,
4941
- false,
 
4942
  true,
4943
  true,
4944
  true
@@ -4955,7 +4955,7 @@
4955
  false,
4956
  false,
4957
  false,
4958
- true
4959
  ],
4960
  "model.encoder.layers.13.self_attn.out_proj.lora_E": [
4961
  false,
@@ -4965,7 +4965,7 @@
4965
  false,
4966
  false,
4967
  false,
4968
- false,
4969
  false,
4970
  false,
4971
  true,
@@ -4987,17 +4987,17 @@
4987
  ],
4988
  "model.encoder.layers.13.self_attn.v_proj.lora_E": [
4989
  true,
4990
- false,
4991
  true,
4992
- false,
4993
  true,
 
4994
  true,
4995
  true,
4996
  true,
4997
  false,
 
4998
  true,
4999
  false,
5000
- false
5001
  ],
5002
  "model.encoder.layers.14.fc1.lora_E": [
5003
  true,
@@ -5007,7 +5007,7 @@
5007
  true,
5008
  true,
5009
  true,
5010
- false,
5011
  true,
5012
  true,
5013
  true,
@@ -5015,6 +5015,7 @@
5015
  ],
5016
  "model.encoder.layers.14.fc2.lora_E": [
5017
  true,
 
5018
  true,
5019
  true,
5020
  true,
@@ -5022,7 +5023,6 @@
5022
  true,
5023
  true,
5024
  true,
5025
- false,
5026
  true,
5027
  false,
5028
  false
@@ -5099,6 +5099,7 @@
5099
  ],
5100
  "model.encoder.layers.15.fc2.lora_E": [
5101
  true,
 
5102
  true,
5103
  true,
5104
  true,
@@ -5107,9 +5108,8 @@
5107
  true,
5108
  true,
5109
  true,
5110
- false,
5111
  true,
5112
- false
5113
  ],
5114
  "model.encoder.layers.15.self_attn.k_proj.lora_E": [
5115
  false,
@@ -5117,7 +5117,7 @@
5117
  false,
5118
  false,
5119
  true,
5120
- false,
5121
  false,
5122
  false,
5123
  false,
@@ -5128,7 +5128,7 @@
5128
  "model.encoder.layers.15.self_attn.out_proj.lora_E": [
5129
  true,
5130
  false,
5131
- true,
5132
  true,
5133
  false,
5134
  true,
@@ -5141,7 +5141,7 @@
5141
  ],
5142
  "model.encoder.layers.15.self_attn.q_proj.lora_E": [
5143
  false,
5144
- false,
5145
  false,
5146
  true,
5147
  false,
@@ -5155,14 +5155,14 @@
5155
  ],
5156
  "model.encoder.layers.15.self_attn.v_proj.lora_E": [
5157
  true,
5158
- true,
5159
- true,
5160
- true,
5161
  true,
5162
  false,
5163
  true,
5164
  false,
5165
  true,
 
 
5166
  true,
5167
  true,
5168
  true
@@ -5174,7 +5174,7 @@
5174
  true,
5175
  true,
5176
  true,
5177
- false,
5178
  true,
5179
  true,
5180
  true,
@@ -5182,11 +5182,11 @@
5182
  true
5183
  ],
5184
  "model.encoder.layers.16.fc2.lora_E": [
5185
- false,
5186
- false,
5187
  true,
5188
  true,
5189
- false,
 
 
5190
  false,
5191
  true,
5192
  true,
@@ -5229,7 +5229,7 @@
5229
  false,
5230
  false,
5231
  false,
5232
- true,
5233
  false,
5234
  false,
5235
  true,
@@ -5244,7 +5244,7 @@
5244
  true,
5245
  true,
5246
  true,
5247
- false,
5248
  true,
5249
  true,
5250
  true,
@@ -5272,7 +5272,7 @@
5272
  true,
5273
  true,
5274
  true,
5275
- true,
5276
  true,
5277
  true,
5278
  true,
@@ -5282,7 +5282,7 @@
5282
  "model.encoder.layers.17.self_attn.k_proj.lora_E": [
5283
  true,
5284
  true,
5285
- true,
5286
  true,
5287
  true,
5288
  false,
@@ -5298,7 +5298,7 @@
5298
  false,
5299
  true,
5300
  true,
5301
- true,
5302
  true,
5303
  false,
5304
  false,
@@ -5322,13 +5322,13 @@
5322
  false
5323
  ],
5324
  "model.encoder.layers.17.self_attn.v_proj.lora_E": [
5325
- true,
5326
  true,
5327
  true,
5328
  false,
5329
  true,
5330
  true,
5331
- false,
 
5332
  true,
5333
  true,
5334
  false,
@@ -5343,14 +5343,14 @@
5343
  true,
5344
  true,
5345
  true,
5346
- true,
5347
  true,
5348
  true,
5349
  true,
5350
  true
5351
  ],
5352
  "model.encoder.layers.18.fc2.lora_E": [
5353
- true,
5354
  true,
5355
  false,
5356
  true,
@@ -5367,7 +5367,7 @@
5367
  false,
5368
  true,
5369
  false,
5370
- false,
5371
  true,
5372
  true,
5373
  true,
@@ -5381,7 +5381,7 @@
5381
  true,
5382
  true,
5383
  true,
5384
- false,
5385
  false,
5386
  true,
5387
  false,
@@ -5403,10 +5403,10 @@
5403
  true,
5404
  true,
5405
  false,
5406
- false
5407
  ],
5408
  "model.encoder.layers.18.self_attn.v_proj.lora_E": [
5409
- false,
5410
  true,
5411
  false,
5412
  true,
@@ -5423,7 +5423,7 @@
5423
  true,
5424
  true,
5425
  true,
5426
- false,
5427
  true,
5428
  true,
5429
  true,
@@ -5443,7 +5443,7 @@
5443
  true,
5444
  true,
5445
  true,
5446
- true,
5447
  false,
5448
  true
5449
  ],
@@ -5462,9 +5462,9 @@
5462
  false
5463
  ],
5464
  "model.encoder.layers.19.self_attn.out_proj.lora_E": [
 
5465
  true,
5466
  true,
5467
- false,
5468
  true,
5469
  true,
5470
  true,
@@ -5480,7 +5480,7 @@
5480
  true,
5481
  true,
5482
  false,
5483
- false,
5484
  false,
5485
  false,
5486
  false,
@@ -5524,12 +5524,12 @@
5524
  true,
5525
  true,
5526
  true,
5527
- true,
5528
  true,
5529
  true,
5530
  true,
5531
  false,
5532
- false
5533
  ],
5534
  "model.encoder.layers.2.self_attn.k_proj.lora_E": [
5535
  false,
@@ -5551,12 +5551,12 @@
5551
  true,
5552
  true,
5553
  true,
5554
- false,
5555
- true,
5556
  true,
5557
  true,
5558
  true,
5559
  false,
 
 
5560
  true
5561
  ],
5562
  "model.encoder.layers.2.self_attn.q_proj.lora_E": [
@@ -5574,9 +5574,9 @@
5574
  true
5575
  ],
5576
  "model.encoder.layers.2.self_attn.v_proj.lora_E": [
 
5577
  true,
5578
  true,
5579
- false,
5580
  true,
5581
  true,
5582
  true,
@@ -5593,7 +5593,7 @@
5593
  true,
5594
  true,
5595
  true,
5596
- false,
5597
  true,
5598
  true,
5599
  true,
@@ -5613,7 +5613,7 @@
5613
  true,
5614
  true,
5615
  true,
5616
- false
5617
  ],
5618
  "model.encoder.layers.20.self_attn.k_proj.lora_E": [
5619
  true,
@@ -5661,10 +5661,10 @@
5661
  true,
5662
  true,
5663
  true,
 
5664
  true,
5665
  true,
5666
- true,
5667
- true,
5668
  true,
5669
  true,
5670
  true,
@@ -5689,15 +5689,15 @@
5689
  true,
5690
  true,
5691
  true,
5692
- false,
5693
- false,
5694
  false,
5695
  true,
5696
  true,
5697
  true,
5698
  true,
5699
  true,
5700
- false
 
5701
  ],
5702
  "model.encoder.layers.21.self_attn.k_proj.lora_E": [
5703
  false,
@@ -5719,7 +5719,7 @@
5719
  true,
5720
  true,
5721
  true,
5722
- true,
5723
  false,
5724
  true,
5725
  true,
@@ -5742,17 +5742,17 @@
5742
  true
5743
  ],
5744
  "model.encoder.layers.21.self_attn.v_proj.lora_E": [
5745
- true,
5746
- true,
5747
  true,
5748
  true,
5749
  true,
5750
  false,
5751
  true,
5752
  false,
 
5753
  false,
5754
  true,
5755
  true,
 
5756
  true
5757
  ],
5758
  "model.encoder.layers.22.fc1.lora_E": [
@@ -5781,14 +5781,14 @@
5781
  true,
5782
  true,
5783
  true,
5784
- false
5785
  ],
5786
  "model.encoder.layers.22.self_attn.k_proj.lora_E": [
5787
  false,
5788
  true,
5789
  true,
5790
  false,
5791
- true,
5792
  true,
5793
  false,
5794
  true,
@@ -5800,10 +5800,10 @@
5800
  "model.encoder.layers.22.self_attn.out_proj.lora_E": [
5801
  true,
5802
  false,
5803
- false,
5804
  true,
5805
  true,
5806
- false,
 
5807
  true,
5808
  true,
5809
  false,
@@ -5812,7 +5812,7 @@
5812
  true
5813
  ],
5814
  "model.encoder.layers.22.self_attn.q_proj.lora_E": [
5815
- true,
5816
  true,
5817
  true,
5818
  false,
@@ -5833,7 +5833,7 @@
5833
  true,
5834
  true,
5835
  true,
5836
- false,
5837
  true,
5838
  true,
5839
  true,
@@ -5858,13 +5858,13 @@
5858
  true,
5859
  true,
5860
  true,
5861
- false,
5862
- false,
5863
  true,
5864
  true,
5865
  true,
5866
  true,
5867
  true,
 
 
5868
  true
5869
  ],
5870
  "model.encoder.layers.23.self_attn.k_proj.lora_E": [
@@ -5888,7 +5888,7 @@
5888
  true,
5889
  true,
5890
  true,
5891
- true,
5892
  true,
5893
  true,
5894
  true,
@@ -5907,15 +5907,15 @@
5907
  true,
5908
  false,
5909
  true,
5910
- true
5911
  ],
5912
  "model.encoder.layers.23.self_attn.v_proj.lora_E": [
5913
  false,
5914
  false,
5915
  true,
5916
  false,
5917
- true,
5918
- true,
5919
  false,
5920
  true,
5921
  true,
@@ -5958,9 +5958,9 @@
5958
  false,
5959
  true,
5960
  false,
5961
- true,
5962
  false,
5963
  true,
 
5964
  false,
5965
  false,
5966
  false
@@ -5980,7 +5980,7 @@
5980
  true
5981
  ],
5982
  "model.encoder.layers.24.self_attn.q_proj.lora_E": [
5983
- false,
5984
  true,
5985
  true,
5986
  true,
@@ -6000,10 +6000,10 @@
6000
  true,
6001
  false,
6002
  false,
6003
- true,
6004
- true,
6005
  false,
6006
- true,
 
 
6007
  false,
6008
  true
6009
  ],
@@ -6029,7 +6029,7 @@
6029
  true,
6030
  true,
6031
  true,
6032
- false,
6033
  true,
6034
  true,
6035
  true,
@@ -6040,11 +6040,11 @@
6040
  false,
6041
  true,
6042
  false,
6043
- false,
6044
  true,
6045
  false,
6046
  false,
6047
- false,
6048
  false,
6049
  false,
6050
  false
@@ -6066,7 +6066,7 @@
6066
  "model.encoder.layers.25.self_attn.q_proj.lora_E": [
6067
  true,
6068
  false,
6069
- false,
6070
  true,
6071
  true,
6072
  true,
@@ -6079,7 +6079,7 @@
6079
  ],
6080
  "model.encoder.layers.25.self_attn.v_proj.lora_E": [
6081
  true,
6082
- true,
6083
  false,
6084
  true,
6085
  false,
@@ -6111,13 +6111,13 @@
6111
  true,
6112
  true,
6113
  false,
6114
- true,
6115
  false,
6116
  true,
6117
  true,
6118
  true,
6119
  true,
6120
- true
 
6121
  ],
6122
  "model.encoder.layers.26.self_attn.k_proj.lora_E": [
6123
  true,
@@ -6162,17 +6162,17 @@
6162
  true
6163
  ],
6164
  "model.encoder.layers.26.self_attn.v_proj.lora_E": [
 
6165
  true,
6166
  true,
6167
  true,
6168
- true,
6169
- true,
6170
- true,
6171
  false,
6172
  true,
6173
  true,
6174
  true,
6175
- false,
6176
  true
6177
  ],
6178
  "model.encoder.layers.27.fc1.lora_E": [
@@ -6330,13 +6330,13 @@
6330
  true
6331
  ],
6332
  "model.encoder.layers.28.self_attn.v_proj.lora_E": [
6333
- true,
6334
  true,
6335
  true,
6336
  false,
6337
  true,
6338
  true,
6339
- true,
6340
  false,
6341
  false,
6342
  true,
@@ -6432,7 +6432,7 @@
6432
  true,
6433
  true,
6434
  true,
6435
- true,
6436
  true,
6437
  true,
6438
  true,
@@ -6442,13 +6442,13 @@
6442
  true
6443
  ],
6444
  "model.encoder.layers.3.fc2.lora_E": [
6445
- false,
6446
- false,
6447
  true,
6448
  true,
6449
  true,
6450
  false,
6451
  true,
 
 
6452
  true,
6453
  true,
6454
  true,
@@ -6481,7 +6481,7 @@
6481
  false,
6482
  true,
6483
  true,
6484
- true
6485
  ],
6486
  "model.encoder.layers.3.self_attn.q_proj.lora_E": [
6487
  false,
@@ -6531,7 +6531,7 @@
6531
  true,
6532
  true,
6533
  true,
6534
- true,
6535
  true,
6536
  true,
6537
  true,
@@ -6558,7 +6558,7 @@
6558
  true,
6559
  true,
6560
  true,
6561
- false,
6562
  true,
6563
  true,
6564
  true,
@@ -6612,9 +6612,9 @@
6612
  "model.encoder.layers.31.fc2.lora_E": [
6613
  true,
6614
  false,
 
6615
  true,
6616
- true,
6617
- true,
6618
  true,
6619
  true,
6620
  true,
@@ -6671,7 +6671,7 @@
6671
  false,
6672
  false,
6673
  true,
6674
- true,
6675
  true,
6676
  true,
6677
  true,
@@ -6680,8 +6680,7 @@
6680
  true
6681
  ],
6682
  "model.encoder.layers.4.fc1.lora_E": [
6683
- true,
6684
- true,
6685
  true,
6686
  true,
6687
  false,
@@ -6691,20 +6690,21 @@
6691
  true,
6692
  true,
6693
  true,
 
6694
  false
6695
  ],
6696
  "model.encoder.layers.4.fc2.lora_E": [
6697
  true,
6698
  true,
6699
- false,
6700
- false,
6701
- false,
6702
  true,
6703
  true,
6704
  true,
6705
  true,
6706
  false,
6707
  true,
 
 
 
6708
  true
6709
  ],
6710
  "model.encoder.layers.4.self_attn.k_proj.lora_E": [
@@ -6722,13 +6722,13 @@
6722
  true
6723
  ],
6724
  "model.encoder.layers.4.self_attn.out_proj.lora_E": [
6725
- false,
6726
- false,
6727
  false,
6728
  true,
6729
  true,
6730
  true,
6731
- false,
6732
  true,
6733
  true,
6734
  true,
@@ -6741,7 +6741,7 @@
6741
  true,
6742
  false,
6743
  false,
6744
- false,
6745
  false,
6746
  false,
6747
  false,
@@ -6785,8 +6785,8 @@
6785
  true,
6786
  true,
6787
  true,
6788
- true,
6789
- true,
6790
  true,
6791
  true,
6792
  true
@@ -6800,7 +6800,7 @@
6800
  true,
6801
  false,
6802
  false,
6803
- true,
6804
  false,
6805
  false,
6806
  false
@@ -6815,15 +6815,12 @@
6815
  true,
6816
  true,
6817
  true,
6818
- false,
6819
- false,
6820
  false
6821
  ],
6822
  "model.encoder.layers.5.self_attn.q_proj.lora_E": [
6823
- false,
6824
- true,
6825
  true,
6826
- false,
6827
  true,
6828
  true,
6829
  false,
@@ -6831,6 +6828,9 @@
6831
  true,
6832
  false,
6833
  false,
 
 
 
6834
  false
6835
  ],
6836
  "model.encoder.layers.5.self_attn.v_proj.lora_E": [
@@ -6848,7 +6848,7 @@
6848
  true
6849
  ],
6850
  "model.encoder.layers.6.fc1.lora_E": [
6851
- true,
6852
  true,
6853
  true,
6854
  true,
@@ -6863,8 +6863,6 @@
6863
  ],
6864
  "model.encoder.layers.6.fc2.lora_E": [
6865
  true,
6866
- false,
6867
- false,
6868
  true,
6869
  true,
6870
  true,
@@ -6873,7 +6871,9 @@
6873
  true,
6874
  true,
6875
  true,
6876
- false
 
 
6877
  ],
6878
  "model.encoder.layers.6.self_attn.k_proj.lora_E": [
6879
  true,
@@ -6894,11 +6894,11 @@
6894
  true,
6895
  true,
6896
  true,
6897
- false,
6898
  true,
6899
  true,
6900
  true,
6901
  false,
 
6902
  true,
6903
  true,
6904
  true
@@ -6943,7 +6943,7 @@
6943
  true,
6944
  false,
6945
  false,
6946
- false
6947
  ],
6948
  "model.encoder.layers.7.fc2.lora_E": [
6949
  true,
@@ -6957,7 +6957,7 @@
6957
  false,
6958
  true,
6959
  true,
6960
- false
6961
  ],
6962
  "model.encoder.layers.7.self_attn.k_proj.lora_E": [
6963
  false,
@@ -6975,7 +6975,7 @@
6975
  ],
6976
  "model.encoder.layers.7.self_attn.out_proj.lora_E": [
6977
  true,
6978
- true,
6979
  false,
6980
  true,
6981
  true,
@@ -6983,7 +6983,7 @@
6983
  true,
6984
  true,
6985
  true,
6986
- false,
6987
  true,
6988
  true
6989
  ],
@@ -7034,7 +7034,7 @@
7034
  true,
7035
  true,
7036
  true,
7037
- true,
7038
  true,
7039
  true,
7040
  true,
@@ -7062,14 +7062,14 @@
7062
  true,
7063
  true,
7064
  true,
7065
- false,
7066
  true,
7067
  true,
7068
  true,
7069
  true,
7070
  true,
 
7071
  true,
7072
- true
7073
  ],
7074
  "model.encoder.layers.8.self_attn.q_proj.lora_E": [
7075
  false,
@@ -7080,7 +7080,7 @@
7080
  false,
7081
  true,
7082
  true,
7083
- true,
7084
  false,
7085
  true,
7086
  false
@@ -7092,10 +7092,10 @@
7092
  true,
7093
  true,
7094
  true,
7095
- true,
7096
  false,
7097
  false,
7098
- true,
 
7099
  false,
7100
  true
7101
  ],
@@ -7114,7 +7114,6 @@
7114
  true
7115
  ],
7116
  "model.encoder.layers.9.fc2.lora_E": [
7117
- true,
7118
  true,
7119
  false,
7120
  true,
@@ -7125,6 +7124,7 @@
7125
  true,
7126
  true,
7127
  true,
 
7128
  true
7129
  ],
7130
  "model.encoder.layers.9.self_attn.k_proj.lora_E": [
@@ -7147,13 +7147,13 @@
7147
  false,
7148
  true,
7149
  true,
7150
- false,
7151
  true,
7152
  false,
7153
  true,
7154
  true,
7155
- false,
7156
- true
7157
  ],
7158
  "model.encoder.layers.9.self_attn.q_proj.lora_E": [
7159
  false,
@@ -7181,7 +7181,7 @@
7181
  true,
7182
  true,
7183
  false,
7184
- false
7185
  ]
7186
  },
7187
  "target_modules": [
 
88
  "model.decoder.layers.0.fc2.lora_E": [
89
  true,
90
  true,
91
+ false,
92
+ false,
93
  true,
94
  true,
95
+ false,
 
 
96
  false,
97
  true,
98
  false,
 
118
  true,
119
  false,
120
  false,
 
121
  true,
122
+ false,
123
  true,
124
  true,
125
  false,
 
142
  true
143
  ],
144
  "model.decoder.layers.0.self_attn.v_proj.lora_E": [
 
145
  true,
146
+ true,
147
+ true,
148
  true,
149
  true,
150
  true,
 
206
  false,
207
  false,
208
  true,
209
+ false,
210
  false,
211
  false,
212
  true
213
  ],
214
  "model.decoder.layers.1.fc1.lora_E": [
215
+ false,
216
  true,
217
  true,
218
  true,
 
219
  true,
220
  true,
221
  true,
 
261
  false,
262
  false,
263
  false,
264
+ false,
265
  true,
266
  false,
267
  false,
 
375
  false,
376
  true,
377
  true,
378
+ true,
379
  false,
380
  true
381
  ],
 
387
  true,
388
  true,
389
  true,
390
+ false,
391
  true,
392
  true,
393
  true,
 
507
  ],
508
  "model.decoder.layers.11.fc2.lora_E": [
509
  false,
510
+ false,
511
  true,
512
  false,
513
  false,
 
535
  ],
536
  "model.decoder.layers.11.self_attn.out_proj.lora_E": [
537
  true,
538
+ false,
539
  true,
540
  true,
541
  true,
 
611
  false,
612
  true,
613
  true,
614
+ false,
615
  false,
616
  true,
617
  false,
 
646
  true
647
  ],
648
  "model.decoder.layers.12.fc2.lora_E": [
649
+ false,
650
  true,
651
  true,
652
  true,
 
653
  true,
654
  true,
655
  true,
 
662
  "model.decoder.layers.12.self_attn.k_proj.lora_E": [
663
  false,
664
  false,
665
+ false,
666
  false,
667
  false,
668
  false,
 
710
  true,
711
  false,
712
  true,
713
+ false,
714
  false,
715
  true,
716
  false
 
758
  false
759
  ],
760
  "model.decoder.layers.13.encoder_attn.v_proj.lora_E": [
761
+ false,
762
  false,
763
  true,
764
  true,
 
787
  ],
788
  "model.decoder.layers.13.fc2.lora_E": [
789
  false,
790
+ false,
 
 
791
  false,
792
  true,
793
+ false,
794
+ false,
795
  true,
796
  true,
797
+ false,
798
+ false,
799
  true,
800
+ false
 
 
801
  ],
802
  "model.decoder.layers.13.self_attn.k_proj.lora_E": [
803
  true,
 
846
  false,
847
  false,
848
  false,
849
+ false,
850
  false,
851
  false,
852
  true,
 
898
  true
899
  ],
900
  "model.decoder.layers.14.encoder_attn.v_proj.lora_E": [
901
+ false,
902
  false,
903
  false,
904
  false,
 
949
  true,
950
  true,
951
  true,
952
+ false,
953
  false,
954
  false
955
  ],
 
986
  false,
987
  false,
988
  false,
989
+ false,
990
  false,
991
  false,
992
  false,
993
  false,
994
  true,
995
  false,
996
+ true
997
  ],
998
  "model.decoder.layers.15.encoder_attn.k_proj.lora_E": [
999
  true,
 
1012
  "model.decoder.layers.15.encoder_attn.out_proj.lora_E": [
1013
  true,
1014
  true,
1015
+ false,
1016
  true,
1017
  true,
1018
  true,
 
1071
  false,
1072
  false,
1073
  true,
1074
+ true,
1075
  false,
1076
  false,
1077
  false,
 
1081
  ],
1082
  "model.decoder.layers.15.self_attn.k_proj.lora_E": [
1083
  false,
1084
+ false,
1085
  false,
1086
  false,
1087
  false,
 
1110
  "model.decoder.layers.15.self_attn.q_proj.lora_E": [
1111
  false,
1112
  false,
1113
+ false,
1114
  false,
1115
  true,
1116
  true,
 
1133
  false,
1134
  true,
1135
  false,
1136
+ false
1137
  ],
1138
  "model.decoder.layers.16.encoder_attn.k_proj.lora_E": [
1139
  true,
 
1186
  true,
1187
  true,
1188
  true,
1189
+ false,
1190
  true,
1191
  true,
1192
  false
 
1229
  false,
1230
  true,
1231
  true,
1232
+ false,
1233
  true,
1234
  true
1235
  ],
 
1252
  true,
1253
  true,
1254
  false,
1255
+ false,
1256
  true,
1257
  true,
1258
  true,
 
1349
  false,
1350
  false,
1351
  false,
1352
+ false,
1353
  true,
1354
  false,
1355
  true,
 
1366
  false,
1367
  false,
1368
  false,
1369
+ false,
1370
  true,
1371
  false,
1372
  false,
 
1377
  false,
1378
  false,
1379
  false,
1380
+ false,
1381
  true,
1382
  false,
1383
  false,
 
1407
  false,
1408
  false,
1409
  true,
1410
+ false,
1411
  false,
1412
  false,
1413
  false,
 
1453
  true,
1454
  true,
1455
  true,
1456
+ true,
1457
  true,
1458
  true
1459
  ],
 
1497
  false,
1498
  false,
1499
  false,
1500
+ true
1501
  ],
1502
  "model.decoder.layers.18.self_attn.k_proj.lora_E": [
1503
  false,
1504
  true,
1505
+ false,
1506
  true,
1507
  false,
1508
  true,
 
1515
  ],
1516
  "model.decoder.layers.18.self_attn.out_proj.lora_E": [
1517
  false,
 
1518
  false,
1519
+ false,
1520
+ false,
1521
  true,
1522
  false,
1523
  false,
 
1542
  true
1543
  ],
1544
  "model.decoder.layers.18.self_attn.v_proj.lora_E": [
1545
+ false,
1546
  false,
1547
  false,
1548
  true,
1549
  true,
1550
+ false,
 
1551
  false,
1552
  false,
1553
  false,
 
1585
  ],
1586
  "model.decoder.layers.19.encoder_attn.q_proj.lora_E": [
1587
  true,
1588
+ false,
1589
  true,
1590
  true,
1591
  true,
 
1682
  true
1683
  ],
1684
  "model.decoder.layers.19.self_attn.v_proj.lora_E": [
 
1685
  true,
1686
  false,
1687
  false,
1688
  false,
1689
+ false,
1690
+ false,
1691
  false,
1692
  true,
1693
  true,
1694
  false,
1695
+ false,
1696
  false
1697
  ],
1698
  "model.decoder.layers.2.encoder_attn.k_proj.lora_E": [
 
1739
  ],
1740
  "model.decoder.layers.2.encoder_attn.v_proj.lora_E": [
1741
  false,
1742
+ false,
1743
  false,
1744
  true,
1745
  false,
 
1749
  true,
1750
  true,
1751
  true,
1752
+ false
1753
  ],
1754
  "model.decoder.layers.2.fc1.lora_E": [
1755
  true,
 
1771
  false,
1772
  false,
1773
  true,
1774
+ true,
1775
+ true,
1776
  true,
1777
  true,
1778
  true,
 
1926
  true,
1927
  true,
1928
  false,
1929
+ false,
1930
  false,
1931
  false,
1932
  false,
 
1939
  false,
1940
  false,
1941
  false,
1942
+ false,
1943
  false,
1944
  false,
1945
  false,
 
1966
  true,
1967
  false,
1968
  false,
1969
+ false,
1970
  true,
1971
  true,
1972
  false,
 
2049
  true,
2050
  false,
2051
  false,
2052
+ true,
2053
+ true,
2054
  false,
2055
  false,
2056
  false,
2057
  false,
2058
  false,
2059
  true,
2060
+ true
2061
  ],
2062
  "model.decoder.layers.21.self_attn.k_proj.lora_E": [
2063
  true,
 
2197
  true,
2198
  false,
2199
  true,
2200
+ false
2201
  ],
2202
  "model.decoder.layers.22.self_attn.k_proj.lora_E": [
2203
  true,
 
2222
  false,
2223
  false,
2224
  true,
2225
+ false,
2226
  true,
2227
  false,
2228
  true
 
2242
  true
2243
  ],
2244
  "model.decoder.layers.22.self_attn.v_proj.lora_E": [
2245
+ false,
2246
  true,
2247
  false,
2248
  false,
2249
  true,
2250
+ true,
2251
  false,
2252
  true,
2253
  false,
 
2292
  false,
2293
  true,
2294
  true,
2295
+ false,
2296
  true,
2297
  true,
2298
  true
 
2333
  true,
2334
  false,
2335
  true,
2336
+ false,
2337
  false,
2338
  true,
2339
  true,
 
2341
  ],
2342
  "model.decoder.layers.23.self_attn.k_proj.lora_E": [
2343
  false,
2344
+ false,
2345
  false,
2346
  true,
2347
  false,
 
2355
  ],
2356
  "model.decoder.layers.23.self_attn.out_proj.lora_E": [
2357
  true,
 
2358
  true,
2359
  true,
2360
+ false,
2361
  true,
2362
  false,
2363
  true,
 
2389
  false,
2390
  false,
2391
  false,
2392
+ false,
2393
  false,
2394
  false,
2395
  false,
 
2514
  true,
2515
  false,
2516
  false,
2517
+ false,
2518
  false,
2519
  true,
2520
  false,
 
2524
  "model.decoder.layers.24.self_attn.v_proj.lora_E": [
2525
  false,
2526
  false,
 
2527
  false,
2528
  false,
2529
+ false,
 
2530
  false,
2531
  true,
2532
  false,
2533
  false,
2534
+ false,
2535
+ false,
2536
+ false
2537
  ],
2538
  "model.decoder.layers.25.encoder_attn.k_proj.lora_E": [
2539
  true,
 
2568
  true,
2569
  true,
2570
  true,
2571
+ false,
2572
  true,
2573
  true,
2574
  true,
 
2615
  false,
2616
  false,
2617
  true,
2618
+ false,
2619
  false,
2620
  false
2621
  ],
 
2635
  ],
2636
  "model.decoder.layers.25.self_attn.out_proj.lora_E": [
2637
  true,
2638
+ false,
2639
  true,
2640
  true,
2641
  false,
 
2774
  false
2775
  ],
2776
  "model.decoder.layers.26.self_attn.out_proj.lora_E": [
2777
+ false,
2778
  true,
2779
  false,
2780
  true,
 
2784
  false,
2785
  true,
2786
  false,
2787
+ false,
2788
+ false
2789
  ],
2790
  "model.decoder.layers.26.self_attn.q_proj.lora_E": [
2791
  true,
2792
  false,
2793
  false,
2794
+ false,
2795
  false,
2796
  false,
2797
  true,
 
2888
  "model.decoder.layers.27.fc2.lora_E": [
2889
  false,
2890
  true,
2891
+ false,
2892
  false,
2893
  true,
2894
  false,
 
2897
  true,
2898
  true,
2899
  false,
2900
+ false
2901
  ],
2902
  "model.decoder.layers.27.self_attn.k_proj.lora_E": [
2903
  true,
 
2950
  true,
2951
  false,
2952
  true,
2953
+ false,
2954
+ false,
2955
  false,
2956
  true
2957
  ],
 
3070
  "model.decoder.layers.28.self_attn.q_proj.lora_E": [
3071
  true,
3072
  true,
3073
+ false,
3074
  true,
3075
  false,
3076
  true,
 
3083
  ],
3084
  "model.decoder.layers.28.self_attn.v_proj.lora_E": [
3085
  false,
 
3086
  false,
3087
  false,
3088
+ false,
 
3089
  true,
3090
  false,
3091
  true,
3092
  false,
3093
+ false,
3094
+ false,
3095
  true,
3096
  false
3097
  ],
 
3194
  false
3195
  ],
3196
  "model.decoder.layers.29.self_attn.out_proj.lora_E": [
3197
+ false,
3198
+ false,
3199
  false,
3200
  false,
3201
  true,
 
3228
  true,
3229
  true,
3230
  false,
3231
+ false,
3232
  true,
3233
  true,
3234
  false,
 
3281
  false,
3282
  true,
3283
  false,
3284
+ false,
3285
  false,
3286
  false,
3287
  false,
 
3315
  true,
3316
  false,
3317
  true,
3318
+ true,
3319
  true,
3320
  true
3321
  ],
 
3325
  false,
3326
  false,
3327
  false,
3328
+ true,
3329
  true,
3330
  false,
3331
  true,
 
3344
  true,
3345
  true,
3346
  true,
3347
+ true,
3348
  false
3349
  ],
3350
  "model.decoder.layers.3.self_attn.q_proj.lora_E": [
 
3372
  false,
3373
  false,
3374
  false,
3375
+ false,
3376
  true
3377
  ],
3378
  "model.decoder.layers.30.encoder_attn.k_proj.lora_E": [
 
3475
  ],
3476
  "model.decoder.layers.30.self_attn.out_proj.lora_E": [
3477
  true,
3478
+ false,
3479
  true,
3480
  true,
3481
  true,
3482
  true,
3483
  false,
3484
  false,
3485
+ false,
3486
  false,
3487
  true,
3488
  false
 
3494
  true,
3495
  true,
3496
  false,
3497
+ false,
3498
  true,
3499
  true,
3500
  false,
 
3504
  "model.decoder.layers.30.self_attn.v_proj.lora_E": [
3505
  true,
3506
  false,
3507
+ false,
3508
+ false,
3509
  true,
3510
+ false,
 
 
3511
  false,
3512
  false,
3513
  false,
 
3647
  false,
3648
  false,
3649
  true,
3650
+ false,
3651
  false,
3652
  false,
3653
  true,
 
3728
  "model.decoder.layers.4.fc2.lora_E": [
3729
  true,
3730
  true,
3731
+ true,
3732
  true,
3733
  true,
3734
  true,
 
3776
  false,
3777
  true,
3778
  true,
 
3779
  false,
3780
+ false,
3781
+ false,
3782
  true
3783
  ],
3784
  "model.decoder.layers.4.self_attn.v_proj.lora_E": [
3785
  true,
3786
+ false,
3787
  true,
3788
  false,
3789
  false,
 
3790
  false,
3791
  false,
3792
+ false,
3793
+ false,
3794
  true,
3795
  false,
3796
  false
 
3816
  true,
3817
  false,
3818
  true,
3819
+ false,
3820
  false,
3821
  false,
3822
  true,
 
3891
  true,
3892
  true,
3893
  true,
3894
+ true
3895
  ],
3896
  "model.decoder.layers.5.self_attn.out_proj.lora_E": [
3897
  false,
 
3908
  true
3909
  ],
3910
  "model.decoder.layers.5.self_attn.q_proj.lora_E": [
3911
+ true,
3912
  false,
3913
  true,
3914
  false,
 
3931
  true,
3932
  false,
3933
  true,
3934
+ true,
3935
  true,
3936
  true
3937
  ],
 
4015
  true,
4016
  true,
4017
  false,
4018
+ true,
4019
  true,
4020
  true
4021
  ],
 
4154
  false,
4155
  true,
4156
  true,
4157
+ false,
4158
  true,
4159
  true,
4160
  true
 
4203
  ],
4204
  "model.decoder.layers.7.self_attn.v_proj.lora_E": [
4205
  false,
4206
+ true,
4207
  false,
4208
  false,
4209
  false,
4210
  false,
4211
+ true,
 
4212
  false,
4213
  false,
4214
  false,
 
4350
  false,
4351
  true,
4352
  true,
4353
+ false,
4354
  true,
4355
  false,
4356
  false
 
4388
  true,
4389
  false,
4390
  true,
4391
+ false,
4392
+ false,
4393
  false,
4394
  false,
4395
  true,
4396
  false,
4397
  false,
4398
+ false
4399
  ],
4400
  "model.decoder.layers.9.encoder_attn.v_proj.lora_E": [
4401
  true,
 
4499
  true,
4500
  true,
4501
  true,
 
4502
  true,
4503
+ true,
4504
+ true,
4505
  true,
4506
  true,
4507
  true,
 
4595
  ],
4596
  "model.encoder.layers.1.fc2.lora_E": [
4597
  true,
4598
+ false,
4599
  true,
4600
  true,
4601
  true,
 
4603
  true,
4604
  true,
4605
  true,
4606
+ false,
 
4607
  true,
4608
  true
4609
  ],
 
4622
  false
4623
  ],
4624
  "model.encoder.layers.1.self_attn.out_proj.lora_E": [
4625
+ true,
4626
+ false,
4627
+ true,
4628
  true,
4629
  true,
4630
  true,
4631
  true,
 
4632
  true,
 
 
4633
  true,
4634
  true,
4635
  true,
 
4660
  true,
4661
  true,
4662
  true,
4663
+ true,
4664
  true
4665
  ],
4666
  "model.encoder.layers.10.fc1.lora_E": [
 
4680
  "model.encoder.layers.10.fc2.lora_E": [
4681
  false,
4682
  true,
4683
+ false,
4684
  true,
4685
  true,
4686
  true,
4687
  true,
4688
+ false,
 
4689
  true,
4690
  true,
4691
  true,
 
4710
  true,
4711
  true,
4712
  true,
4713
+ false,
4714
+ false,
4715
  false,
4716
  true,
4717
  true,
 
4721
  ],
4722
  "model.encoder.layers.10.self_attn.q_proj.lora_E": [
4723
  true,
4724
+ true,
4725
  false,
4726
  false,
4727
  false,
 
4748
  true
4749
  ],
4750
  "model.encoder.layers.11.fc1.lora_E": [
 
4751
  false,
4752
  true,
4753
  true,
4754
+ true,
4755
  false,
4756
  false,
4757
  true,
 
4762
  true
4763
  ],
4764
  "model.encoder.layers.11.fc2.lora_E": [
 
4765
  true,
4766
  true,
4767
  true,
4768
  true,
4769
+ false,
4770
  true,
4771
  true,
4772
  true,
 
4781
  false,
4782
  false,
4783
  false,
4784
+ false,
4785
  false,
4786
  false,
4787
  false,
 
4799
  true,
4800
  true,
4801
  true,
4802
+ false,
4803
  true,
4804
  true
4805
  ],
4806
  "model.encoder.layers.11.self_attn.q_proj.lora_E": [
4807
  false,
4808
+ true,
4809
  false,
4810
  true,
4811
  true,
 
4819
  ],
4820
  "model.encoder.layers.11.self_attn.v_proj.lora_E": [
4821
  true,
4822
+ false,
4823
  true,
4824
  true,
4825
  true,
 
4842
  false,
4843
  true,
4844
  true,
4845
+ true,
4846
  true
4847
  ],
4848
  "model.encoder.layers.12.fc2.lora_E": [
 
4857
  true,
4858
  true,
4859
  true,
4860
+ true
4861
  ],
4862
  "model.encoder.layers.12.self_attn.k_proj.lora_E": [
4863
  true,
 
4882
  true,
4883
  true,
4884
  true,
4885
+ false,
4886
  true,
4887
  true,
4888
  false
 
4898
  false,
4899
  true,
4900
  true,
4901
+ true,
4902
  false
4903
  ],
4904
  "model.encoder.layers.12.self_attn.v_proj.lora_E": [
 
4931
  ],
4932
  "model.encoder.layers.13.fc2.lora_E": [
4933
  true,
 
4934
  true,
4935
  true,
4936
  true,
4937
  true,
4938
  true,
4939
  true,
4940
+ true,
4941
+ true,
4942
  true,
4943
  true,
4944
  true
 
4955
  false,
4956
  false,
4957
  false,
4958
+ false
4959
  ],
4960
  "model.encoder.layers.13.self_attn.out_proj.lora_E": [
4961
  false,
 
4965
  false,
4966
  false,
4967
  false,
4968
+ true,
4969
  false,
4970
  false,
4971
  true,
 
4987
  ],
4988
  "model.encoder.layers.13.self_attn.v_proj.lora_E": [
4989
  true,
 
4990
  true,
 
4991
  true,
4992
+ false,
4993
  true,
4994
  true,
4995
  true,
4996
  false,
4997
+ false,
4998
  true,
4999
  false,
5000
+ true
5001
  ],
5002
  "model.encoder.layers.14.fc1.lora_E": [
5003
  true,
 
5007
  true,
5008
  true,
5009
  true,
5010
+ true,
5011
  true,
5012
  true,
5013
  true,
 
5015
  ],
5016
  "model.encoder.layers.14.fc2.lora_E": [
5017
  true,
5018
+ false,
5019
  true,
5020
  true,
5021
  true,
 
5023
  true,
5024
  true,
5025
  true,
 
5026
  true,
5027
  false,
5028
  false
 
5099
  ],
5100
  "model.encoder.layers.15.fc2.lora_E": [
5101
  true,
5102
+ false,
5103
  true,
5104
  true,
5105
  true,
 
5108
  true,
5109
  true,
5110
  true,
 
5111
  true,
5112
+ true
5113
  ],
5114
  "model.encoder.layers.15.self_attn.k_proj.lora_E": [
5115
  false,
 
5117
  false,
5118
  false,
5119
  true,
5120
+ true,
5121
  false,
5122
  false,
5123
  false,
 
5128
  "model.encoder.layers.15.self_attn.out_proj.lora_E": [
5129
  true,
5130
  false,
5131
+ false,
5132
  true,
5133
  false,
5134
  true,
 
5141
  ],
5142
  "model.encoder.layers.15.self_attn.q_proj.lora_E": [
5143
  false,
5144
+ true,
5145
  false,
5146
  true,
5147
  false,
 
5155
  ],
5156
  "model.encoder.layers.15.self_attn.v_proj.lora_E": [
5157
  true,
5158
+ false,
 
 
5159
  true,
5160
  false,
5161
  true,
5162
  false,
5163
  true,
5164
+ false,
5165
+ false,
5166
  true,
5167
  true,
5168
  true
 
5174
  true,
5175
  true,
5176
  true,
5177
+ true,
5178
  true,
5179
  true,
5180
  true,
 
5182
  true
5183
  ],
5184
  "model.encoder.layers.16.fc2.lora_E": [
 
 
5185
  true,
5186
  true,
5187
+ true,
5188
+ true,
5189
+ true,
5190
  false,
5191
  true,
5192
  true,
 
5229
  false,
5230
  false,
5231
  false,
5232
+ false,
5233
  false,
5234
  false,
5235
  true,
 
5244
  true,
5245
  true,
5246
  true,
5247
+ true,
5248
  true,
5249
  true,
5250
  true,
 
5272
  true,
5273
  true,
5274
  true,
5275
+ false,
5276
  true,
5277
  true,
5278
  true,
 
5282
  "model.encoder.layers.17.self_attn.k_proj.lora_E": [
5283
  true,
5284
  true,
5285
+ false,
5286
  true,
5287
  true,
5288
  false,
 
5298
  false,
5299
  true,
5300
  true,
5301
+ false,
5302
  true,
5303
  false,
5304
  false,
 
5322
  false
5323
  ],
5324
  "model.encoder.layers.17.self_attn.v_proj.lora_E": [
 
5325
  true,
5326
  true,
5327
  false,
5328
  true,
5329
  true,
5330
+ true,
5331
+ true,
5332
  true,
5333
  true,
5334
  false,
 
5343
  true,
5344
  true,
5345
  true,
5346
+ false,
5347
  true,
5348
  true,
5349
  true,
5350
  true
5351
  ],
5352
  "model.encoder.layers.18.fc2.lora_E": [
5353
+ false,
5354
  true,
5355
  false,
5356
  true,
 
5367
  false,
5368
  true,
5369
  false,
5370
+ true,
5371
  true,
5372
  true,
5373
  true,
 
5381
  true,
5382
  true,
5383
  true,
5384
+ true,
5385
  false,
5386
  true,
5387
  false,
 
5403
  true,
5404
  true,
5405
  false,
5406
+ true
5407
  ],
5408
  "model.encoder.layers.18.self_attn.v_proj.lora_E": [
5409
+ true,
5410
  true,
5411
  false,
5412
  true,
 
5423
  true,
5424
  true,
5425
  true,
5426
+ true,
5427
  true,
5428
  true,
5429
  true,
 
5443
  true,
5444
  true,
5445
  true,
5446
+ false,
5447
  false,
5448
  true
5449
  ],
 
5462
  false
5463
  ],
5464
  "model.encoder.layers.19.self_attn.out_proj.lora_E": [
5465
+ false,
5466
  true,
5467
  true,
 
5468
  true,
5469
  true,
5470
  true,
 
5480
  true,
5481
  true,
5482
  false,
5483
+ true,
5484
  false,
5485
  false,
5486
  false,
 
5524
  true,
5525
  true,
5526
  true,
5527
+ false,
5528
  true,
5529
  true,
5530
  true,
5531
  false,
5532
+ true
5533
  ],
5534
  "model.encoder.layers.2.self_attn.k_proj.lora_E": [
5535
  false,
 
5551
  true,
5552
  true,
5553
  true,
 
 
5554
  true,
5555
  true,
5556
  true,
5557
  false,
5558
+ true,
5559
+ true,
5560
  true
5561
  ],
5562
  "model.encoder.layers.2.self_attn.q_proj.lora_E": [
 
5574
  true
5575
  ],
5576
  "model.encoder.layers.2.self_attn.v_proj.lora_E": [
5577
+ false,
5578
  true,
5579
  true,
 
5580
  true,
5581
  true,
5582
  true,
 
5593
  true,
5594
  true,
5595
  true,
5596
+ true,
5597
  true,
5598
  true,
5599
  true,
 
5613
  true,
5614
  true,
5615
  true,
5616
+ true
5617
  ],
5618
  "model.encoder.layers.20.self_attn.k_proj.lora_E": [
5619
  true,
 
5661
  true,
5662
  true,
5663
  true,
5664
+ false,
5665
  true,
5666
  true,
5667
+ false,
 
5668
  true,
5669
  true,
5670
  true,
 
5689
  true,
5690
  true,
5691
  true,
5692
+ true,
 
5693
  false,
5694
  true,
5695
  true,
5696
  true,
5697
  true,
5698
  true,
5699
+ true,
5700
+ true
5701
  ],
5702
  "model.encoder.layers.21.self_attn.k_proj.lora_E": [
5703
  false,
 
5719
  true,
5720
  true,
5721
  true,
5722
+ false,
5723
  false,
5724
  true,
5725
  true,
 
5742
  true
5743
  ],
5744
  "model.encoder.layers.21.self_attn.v_proj.lora_E": [
 
 
5745
  true,
5746
  true,
5747
  true,
5748
  false,
5749
  true,
5750
  false,
5751
+ true,
5752
  false,
5753
  true,
5754
  true,
5755
+ true,
5756
  true
5757
  ],
5758
  "model.encoder.layers.22.fc1.lora_E": [
 
5781
  true,
5782
  true,
5783
  true,
5784
+ true
5785
  ],
5786
  "model.encoder.layers.22.self_attn.k_proj.lora_E": [
5787
  false,
5788
  true,
5789
  true,
5790
  false,
5791
+ false,
5792
  true,
5793
  false,
5794
  true,
 
5800
  "model.encoder.layers.22.self_attn.out_proj.lora_E": [
5801
  true,
5802
  false,
 
5803
  true,
5804
  true,
5805
+ true,
5806
+ true,
5807
  true,
5808
  true,
5809
  false,
 
5812
  true
5813
  ],
5814
  "model.encoder.layers.22.self_attn.q_proj.lora_E": [
5815
+ false,
5816
  true,
5817
  true,
5818
  false,
 
5833
  true,
5834
  true,
5835
  true,
5836
+ true,
5837
  true,
5838
  true,
5839
  true,
 
5858
  true,
5859
  true,
5860
  true,
 
 
5861
  true,
5862
  true,
5863
  true,
5864
  true,
5865
  true,
5866
+ false,
5867
+ true,
5868
  true
5869
  ],
5870
  "model.encoder.layers.23.self_attn.k_proj.lora_E": [
 
5888
  true,
5889
  true,
5890
  true,
5891
+ false,
5892
  true,
5893
  true,
5894
  true,
 
5907
  true,
5908
  false,
5909
  true,
5910
+ false
5911
  ],
5912
  "model.encoder.layers.23.self_attn.v_proj.lora_E": [
5913
  false,
5914
  false,
5915
  true,
5916
  false,
5917
+ false,
5918
+ false,
5919
  false,
5920
  true,
5921
  true,
 
5958
  false,
5959
  true,
5960
  false,
 
5961
  false,
5962
  true,
5963
+ true,
5964
  false,
5965
  false,
5966
  false
 
5980
  true
5981
  ],
5982
  "model.encoder.layers.24.self_attn.q_proj.lora_E": [
5983
+ true,
5984
  true,
5985
  true,
5986
  true,
 
6000
  true,
6001
  false,
6002
  false,
 
 
6003
  false,
6004
+ false,
6005
+ false,
6006
+ false,
6007
  false,
6008
  true
6009
  ],
 
6029
  true,
6030
  true,
6031
  true,
6032
+ true,
6033
  true,
6034
  true,
6035
  true,
 
6040
  false,
6041
  true,
6042
  false,
6043
+ true,
6044
  true,
6045
  false,
6046
  false,
6047
+ true,
6048
  false,
6049
  false,
6050
  false
 
6066
  "model.encoder.layers.25.self_attn.q_proj.lora_E": [
6067
  true,
6068
  false,
6069
+ true,
6070
  true,
6071
  true,
6072
  true,
 
6079
  ],
6080
  "model.encoder.layers.25.self_attn.v_proj.lora_E": [
6081
  true,
6082
+ false,
6083
  false,
6084
  true,
6085
  false,
 
6111
  true,
6112
  true,
6113
  false,
 
6114
  false,
6115
  true,
6116
  true,
6117
  true,
6118
  true,
6119
+ false,
6120
+ false
6121
  ],
6122
  "model.encoder.layers.26.self_attn.k_proj.lora_E": [
6123
  true,
 
6162
  true
6163
  ],
6164
  "model.encoder.layers.26.self_attn.v_proj.lora_E": [
6165
+ false,
6166
  true,
6167
  true,
6168
  true,
6169
+ false,
6170
+ false,
 
6171
  false,
6172
  true,
6173
  true,
6174
  true,
6175
+ true,
6176
  true
6177
  ],
6178
  "model.encoder.layers.27.fc1.lora_E": [
 
6330
  true
6331
  ],
6332
  "model.encoder.layers.28.self_attn.v_proj.lora_E": [
6333
+ false,
6334
  true,
6335
  true,
6336
  false,
6337
  true,
6338
  true,
6339
+ false,
6340
  false,
6341
  false,
6342
  true,
 
6432
  true,
6433
  true,
6434
  true,
6435
+ false,
6436
  true,
6437
  true,
6438
  true,
 
6442
  true
6443
  ],
6444
  "model.encoder.layers.3.fc2.lora_E": [
 
 
6445
  true,
6446
  true,
6447
  true,
6448
  false,
6449
  true,
6450
+ false,
6451
+ true,
6452
  true,
6453
  true,
6454
  true,
 
6481
  false,
6482
  true,
6483
  true,
6484
+ false
6485
  ],
6486
  "model.encoder.layers.3.self_attn.q_proj.lora_E": [
6487
  false,
 
6531
  true,
6532
  true,
6533
  true,
6534
+ false,
6535
  true,
6536
  true,
6537
  true,
 
6558
  true,
6559
  true,
6560
  true,
6561
+ true,
6562
  true,
6563
  true,
6564
  true,
 
6612
  "model.encoder.layers.31.fc2.lora_E": [
6613
  true,
6614
  false,
6615
+ false,
6616
  true,
6617
+ false,
 
6618
  true,
6619
  true,
6620
  true,
 
6671
  false,
6672
  false,
6673
  true,
6674
+ false,
6675
  true,
6676
  true,
6677
  true,
 
6680
  true
6681
  ],
6682
  "model.encoder.layers.4.fc1.lora_E": [
6683
+ false,
 
6684
  true,
6685
  true,
6686
  false,
 
6690
  true,
6691
  true,
6692
  true,
6693
+ true,
6694
  false
6695
  ],
6696
  "model.encoder.layers.4.fc2.lora_E": [
6697
  true,
6698
  true,
 
 
 
6699
  true,
6700
  true,
6701
  true,
6702
  true,
6703
  false,
6704
  true,
6705
+ true,
6706
+ true,
6707
+ true,
6708
  true
6709
  ],
6710
  "model.encoder.layers.4.self_attn.k_proj.lora_E": [
 
6722
  true
6723
  ],
6724
  "model.encoder.layers.4.self_attn.out_proj.lora_E": [
6725
+ true,
6726
+ true,
6727
  false,
6728
  true,
6729
  true,
6730
  true,
6731
+ true,
6732
  true,
6733
  true,
6734
  true,
 
6741
  true,
6742
  false,
6743
  false,
6744
+ true,
6745
  false,
6746
  false,
6747
  false,
 
6785
  true,
6786
  true,
6787
  true,
6788
+ false,
6789
+ false,
6790
  true,
6791
  true,
6792
  true
 
6800
  true,
6801
  false,
6802
  false,
6803
+ false,
6804
  false,
6805
  false,
6806
  false
 
6815
  true,
6816
  true,
6817
  true,
6818
+ true,
6819
+ true,
6820
  false
6821
  ],
6822
  "model.encoder.layers.5.self_attn.q_proj.lora_E": [
 
 
6823
  true,
 
6824
  true,
6825
  true,
6826
  false,
 
6828
  true,
6829
  false,
6830
  false,
6831
+ false,
6832
+ true,
6833
+ false,
6834
  false
6835
  ],
6836
  "model.encoder.layers.5.self_attn.v_proj.lora_E": [
 
6848
  true
6849
  ],
6850
  "model.encoder.layers.6.fc1.lora_E": [
6851
+ false,
6852
  true,
6853
  true,
6854
  true,
 
6863
  ],
6864
  "model.encoder.layers.6.fc2.lora_E": [
6865
  true,
 
 
6866
  true,
6867
  true,
6868
  true,
 
6871
  true,
6872
  true,
6873
  true,
6874
+ true,
6875
+ true,
6876
+ true
6877
  ],
6878
  "model.encoder.layers.6.self_attn.k_proj.lora_E": [
6879
  true,
 
6894
  true,
6895
  true,
6896
  true,
 
6897
  true,
6898
  true,
6899
  true,
6900
  false,
6901
+ false,
6902
  true,
6903
  true,
6904
  true
 
6943
  true,
6944
  false,
6945
  false,
6946
+ true
6947
  ],
6948
  "model.encoder.layers.7.fc2.lora_E": [
6949
  true,
 
6957
  false,
6958
  true,
6959
  true,
6960
+ true
6961
  ],
6962
  "model.encoder.layers.7.self_attn.k_proj.lora_E": [
6963
  false,
 
6975
  ],
6976
  "model.encoder.layers.7.self_attn.out_proj.lora_E": [
6977
  true,
6978
+ false,
6979
  false,
6980
  true,
6981
  true,
 
6983
  true,
6984
  true,
6985
  true,
6986
+ true,
6987
  true,
6988
  true
6989
  ],
 
7034
  true,
7035
  true,
7036
  true,
7037
+ false,
7038
  true,
7039
  true,
7040
  true,
 
7062
  true,
7063
  true,
7064
  true,
 
7065
  true,
7066
  true,
7067
  true,
7068
  true,
7069
  true,
7070
+ false,
7071
  true,
7072
+ false
7073
  ],
7074
  "model.encoder.layers.8.self_attn.q_proj.lora_E": [
7075
  false,
 
7080
  false,
7081
  true,
7082
  true,
7083
+ false,
7084
  false,
7085
  true,
7086
  false
 
7092
  true,
7093
  true,
7094
  true,
 
7095
  false,
7096
  false,
7097
+ false,
7098
+ false,
7099
  false,
7100
  true
7101
  ],
 
7114
  true
7115
  ],
7116
  "model.encoder.layers.9.fc2.lora_E": [
 
7117
  true,
7118
  false,
7119
  true,
 
7124
  true,
7125
  true,
7126
  true,
7127
+ true,
7128
  true
7129
  ],
7130
  "model.encoder.layers.9.self_attn.k_proj.lora_E": [
 
7147
  false,
7148
  true,
7149
  true,
7150
+ true,
7151
  true,
7152
  false,
7153
  true,
7154
  true,
7155
+ true,
7156
+ false
7157
  ],
7158
  "model.encoder.layers.9.self_attn.q_proj.lora_E": [
7159
  false,
 
7181
  true,
7182
  true,
7183
  false,
7184
+ true
7185
  ]
7186
  },
7187
  "target_modules": [
adapter_model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:0d05a8e52b294d5a9b41d02cf2ffec6ccd30c2dd987db82729a824a6720c0cdd
3
- size 63012901
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e18b98d760bfa15f2ebada4c7243d0d23f76e0af6b61479e616d2aad2455fd71
3
+ size 62429029
best_checkpoint/adapter_config.json CHANGED
@@ -88,11 +88,11 @@
88
  "model.decoder.layers.0.fc2.lora_E": [
89
  true,
90
  true,
 
 
91
  true,
92
  true,
93
- true,
94
- true,
95
- true,
96
  false,
97
  true,
98
  false,
@@ -118,8 +118,8 @@
118
  true,
119
  false,
120
  false,
121
- false,
122
  true,
 
123
  true,
124
  true,
125
  false,
@@ -142,9 +142,9 @@
142
  true
143
  ],
144
  "model.decoder.layers.0.self_attn.v_proj.lora_E": [
145
- false,
146
  true,
147
- false,
 
148
  true,
149
  true,
150
  true,
@@ -206,16 +206,16 @@
206
  false,
207
  false,
208
  true,
209
- true,
210
  false,
211
  false,
212
  true
213
  ],
214
  "model.decoder.layers.1.fc1.lora_E": [
 
215
  true,
216
  true,
217
  true,
218
- false,
219
  true,
220
  true,
221
  true,
@@ -261,7 +261,7 @@
261
  false,
262
  false,
263
  false,
264
- true,
265
  true,
266
  false,
267
  false,
@@ -375,7 +375,7 @@
375
  false,
376
  true,
377
  true,
378
- false,
379
  false,
380
  true
381
  ],
@@ -387,7 +387,7 @@
387
  true,
388
  true,
389
  true,
390
- true,
391
  true,
392
  true,
393
  true,
@@ -507,7 +507,7 @@
507
  ],
508
  "model.decoder.layers.11.fc2.lora_E": [
509
  false,
510
- true,
511
  true,
512
  false,
513
  false,
@@ -535,7 +535,7 @@
535
  ],
536
  "model.decoder.layers.11.self_attn.out_proj.lora_E": [
537
  true,
538
- true,
539
  true,
540
  true,
541
  true,
@@ -611,7 +611,7 @@
611
  false,
612
  true,
613
  true,
614
- true,
615
  false,
616
  true,
617
  false,
@@ -646,10 +646,10 @@
646
  true
647
  ],
648
  "model.decoder.layers.12.fc2.lora_E": [
 
649
  true,
650
  true,
651
  true,
652
- false,
653
  true,
654
  true,
655
  true,
@@ -662,7 +662,7 @@
662
  "model.decoder.layers.12.self_attn.k_proj.lora_E": [
663
  false,
664
  false,
665
- true,
666
  false,
667
  false,
668
  false,
@@ -710,7 +710,7 @@
710
  true,
711
  false,
712
  true,
713
- true,
714
  false,
715
  true,
716
  false
@@ -758,7 +758,7 @@
758
  false
759
  ],
760
  "model.decoder.layers.13.encoder_attn.v_proj.lora_E": [
761
- true,
762
  false,
763
  true,
764
  true,
@@ -787,17 +787,17 @@
787
  ],
788
  "model.decoder.layers.13.fc2.lora_E": [
789
  false,
790
- true,
791
- true,
792
- true,
793
  false,
794
  true,
 
 
795
  true,
796
  true,
 
 
797
  true,
798
- true,
799
- true,
800
- true
801
  ],
802
  "model.decoder.layers.13.self_attn.k_proj.lora_E": [
803
  true,
@@ -846,7 +846,7 @@
846
  false,
847
  false,
848
  false,
849
- true,
850
  false,
851
  false,
852
  true,
@@ -898,7 +898,7 @@
898
  true
899
  ],
900
  "model.decoder.layers.14.encoder_attn.v_proj.lora_E": [
901
- true,
902
  false,
903
  false,
904
  false,
@@ -949,7 +949,7 @@
949
  true,
950
  true,
951
  true,
952
- true,
953
  false,
954
  false
955
  ],
@@ -986,14 +986,14 @@
986
  false,
987
  false,
988
  false,
989
- true,
990
  false,
991
  false,
992
  false,
993
  false,
994
  true,
995
  false,
996
- false
997
  ],
998
  "model.decoder.layers.15.encoder_attn.k_proj.lora_E": [
999
  true,
@@ -1012,7 +1012,7 @@
1012
  "model.decoder.layers.15.encoder_attn.out_proj.lora_E": [
1013
  true,
1014
  true,
1015
- true,
1016
  true,
1017
  true,
1018
  true,
@@ -1071,7 +1071,7 @@
1071
  false,
1072
  false,
1073
  true,
1074
- false,
1075
  false,
1076
  false,
1077
  false,
@@ -1081,7 +1081,7 @@
1081
  ],
1082
  "model.decoder.layers.15.self_attn.k_proj.lora_E": [
1083
  false,
1084
- true,
1085
  false,
1086
  false,
1087
  false,
@@ -1110,7 +1110,7 @@
1110
  "model.decoder.layers.15.self_attn.q_proj.lora_E": [
1111
  false,
1112
  false,
1113
- true,
1114
  false,
1115
  true,
1116
  true,
@@ -1133,7 +1133,7 @@
1133
  false,
1134
  true,
1135
  false,
1136
- true
1137
  ],
1138
  "model.decoder.layers.16.encoder_attn.k_proj.lora_E": [
1139
  true,
@@ -1186,7 +1186,7 @@
1186
  true,
1187
  true,
1188
  true,
1189
- true,
1190
  true,
1191
  true,
1192
  false
@@ -1229,7 +1229,7 @@
1229
  false,
1230
  true,
1231
  true,
1232
- true,
1233
  true,
1234
  true
1235
  ],
@@ -1252,7 +1252,7 @@
1252
  true,
1253
  true,
1254
  false,
1255
- true,
1256
  true,
1257
  true,
1258
  true,
@@ -1349,7 +1349,7 @@
1349
  false,
1350
  false,
1351
  false,
1352
- true,
1353
  true,
1354
  false,
1355
  true,
@@ -1366,7 +1366,7 @@
1366
  false,
1367
  false,
1368
  false,
1369
- true,
1370
  true,
1371
  false,
1372
  false,
@@ -1377,7 +1377,7 @@
1377
  false,
1378
  false,
1379
  false,
1380
- true,
1381
  true,
1382
  false,
1383
  false,
@@ -1407,7 +1407,7 @@
1407
  false,
1408
  false,
1409
  true,
1410
- true,
1411
  false,
1412
  false,
1413
  false,
@@ -1453,7 +1453,7 @@
1453
  true,
1454
  true,
1455
  true,
1456
- false,
1457
  true,
1458
  true
1459
  ],
@@ -1497,12 +1497,12 @@
1497
  false,
1498
  false,
1499
  false,
1500
- false
1501
  ],
1502
  "model.decoder.layers.18.self_attn.k_proj.lora_E": [
1503
  false,
1504
  true,
1505
- true,
1506
  true,
1507
  false,
1508
  true,
@@ -1515,9 +1515,9 @@
1515
  ],
1516
  "model.decoder.layers.18.self_attn.out_proj.lora_E": [
1517
  false,
1518
- true,
1519
  false,
1520
- true,
 
1521
  true,
1522
  false,
1523
  false,
@@ -1542,12 +1542,12 @@
1542
  true
1543
  ],
1544
  "model.decoder.layers.18.self_attn.v_proj.lora_E": [
 
1545
  false,
1546
  false,
1547
  true,
1548
  true,
1549
- true,
1550
- true,
1551
  false,
1552
  false,
1553
  false,
@@ -1585,7 +1585,7 @@
1585
  ],
1586
  "model.decoder.layers.19.encoder_attn.q_proj.lora_E": [
1587
  true,
1588
- true,
1589
  true,
1590
  true,
1591
  true,
@@ -1682,17 +1682,17 @@
1682
  true
1683
  ],
1684
  "model.decoder.layers.19.self_attn.v_proj.lora_E": [
1685
- true,
1686
  true,
1687
  false,
1688
  false,
1689
  false,
1690
- true,
 
1691
  false,
1692
  true,
1693
  true,
1694
  false,
1695
- true,
1696
  false
1697
  ],
1698
  "model.decoder.layers.2.encoder_attn.k_proj.lora_E": [
@@ -1739,7 +1739,7 @@
1739
  ],
1740
  "model.decoder.layers.2.encoder_attn.v_proj.lora_E": [
1741
  false,
1742
- true,
1743
  false,
1744
  true,
1745
  false,
@@ -1749,7 +1749,7 @@
1749
  true,
1750
  true,
1751
  true,
1752
- true
1753
  ],
1754
  "model.decoder.layers.2.fc1.lora_E": [
1755
  true,
@@ -1771,8 +1771,8 @@
1771
  false,
1772
  false,
1773
  true,
1774
- false,
1775
- false,
1776
  true,
1777
  true,
1778
  true,
@@ -1926,7 +1926,7 @@
1926
  true,
1927
  true,
1928
  false,
1929
- true,
1930
  false,
1931
  false,
1932
  false,
@@ -1939,7 +1939,7 @@
1939
  false,
1940
  false,
1941
  false,
1942
- true,
1943
  false,
1944
  false,
1945
  false,
@@ -1966,7 +1966,7 @@
1966
  true,
1967
  false,
1968
  false,
1969
- true,
1970
  true,
1971
  true,
1972
  false,
@@ -2049,15 +2049,15 @@
2049
  true,
2050
  false,
2051
  false,
2052
- false,
2053
- false,
2054
  false,
2055
  false,
2056
  false,
2057
  false,
2058
  false,
2059
  true,
2060
- false
2061
  ],
2062
  "model.decoder.layers.21.self_attn.k_proj.lora_E": [
2063
  true,
@@ -2197,7 +2197,7 @@
2197
  true,
2198
  false,
2199
  true,
2200
- true
2201
  ],
2202
  "model.decoder.layers.22.self_attn.k_proj.lora_E": [
2203
  true,
@@ -2222,7 +2222,7 @@
2222
  false,
2223
  false,
2224
  true,
2225
- true,
2226
  true,
2227
  false,
2228
  true
@@ -2242,12 +2242,12 @@
2242
  true
2243
  ],
2244
  "model.decoder.layers.22.self_attn.v_proj.lora_E": [
2245
- true,
2246
  true,
2247
  false,
2248
  false,
2249
  true,
2250
- false,
2251
  false,
2252
  true,
2253
  false,
@@ -2292,7 +2292,7 @@
2292
  false,
2293
  true,
2294
  true,
2295
- true,
2296
  true,
2297
  true,
2298
  true
@@ -2333,7 +2333,7 @@
2333
  true,
2334
  false,
2335
  true,
2336
- true,
2337
  false,
2338
  true,
2339
  true,
@@ -2341,7 +2341,7 @@
2341
  ],
2342
  "model.decoder.layers.23.self_attn.k_proj.lora_E": [
2343
  false,
2344
- true,
2345
  false,
2346
  true,
2347
  false,
@@ -2355,9 +2355,9 @@
2355
  ],
2356
  "model.decoder.layers.23.self_attn.out_proj.lora_E": [
2357
  true,
2358
- false,
2359
  true,
2360
  true,
 
2361
  true,
2362
  false,
2363
  true,
@@ -2389,7 +2389,7 @@
2389
  false,
2390
  false,
2391
  false,
2392
- true,
2393
  false,
2394
  false,
2395
  false,
@@ -2514,7 +2514,7 @@
2514
  true,
2515
  false,
2516
  false,
2517
- true,
2518
  false,
2519
  true,
2520
  false,
@@ -2524,16 +2524,16 @@
2524
  "model.decoder.layers.24.self_attn.v_proj.lora_E": [
2525
  false,
2526
  false,
2527
- true,
2528
  false,
2529
  false,
2530
- true,
2531
- true,
2532
  false,
2533
  true,
2534
  false,
2535
  false,
2536
- true
 
 
2537
  ],
2538
  "model.decoder.layers.25.encoder_attn.k_proj.lora_E": [
2539
  true,
@@ -2568,7 +2568,7 @@
2568
  true,
2569
  true,
2570
  true,
2571
- true,
2572
  true,
2573
  true,
2574
  true,
@@ -2615,7 +2615,7 @@
2615
  false,
2616
  false,
2617
  true,
2618
- true,
2619
  false,
2620
  false
2621
  ],
@@ -2635,7 +2635,7 @@
2635
  ],
2636
  "model.decoder.layers.25.self_attn.out_proj.lora_E": [
2637
  true,
2638
- true,
2639
  true,
2640
  true,
2641
  false,
@@ -2774,7 +2774,7 @@
2774
  false
2775
  ],
2776
  "model.decoder.layers.26.self_attn.out_proj.lora_E": [
2777
- true,
2778
  true,
2779
  false,
2780
  true,
@@ -2784,14 +2784,14 @@
2784
  false,
2785
  true,
2786
  false,
2787
- true,
2788
- true
2789
  ],
2790
  "model.decoder.layers.26.self_attn.q_proj.lora_E": [
2791
  true,
2792
  false,
2793
  false,
2794
- true,
2795
  false,
2796
  false,
2797
  true,
@@ -2888,7 +2888,7 @@
2888
  "model.decoder.layers.27.fc2.lora_E": [
2889
  false,
2890
  true,
2891
- true,
2892
  false,
2893
  true,
2894
  false,
@@ -2897,7 +2897,7 @@
2897
  true,
2898
  true,
2899
  false,
2900
- true
2901
  ],
2902
  "model.decoder.layers.27.self_attn.k_proj.lora_E": [
2903
  true,
@@ -2950,8 +2950,8 @@
2950
  true,
2951
  false,
2952
  true,
2953
- true,
2954
- true,
2955
  false,
2956
  true
2957
  ],
@@ -3070,7 +3070,7 @@
3070
  "model.decoder.layers.28.self_attn.q_proj.lora_E": [
3071
  true,
3072
  true,
3073
- true,
3074
  true,
3075
  false,
3076
  true,
@@ -3083,15 +3083,15 @@
3083
  ],
3084
  "model.decoder.layers.28.self_attn.v_proj.lora_E": [
3085
  false,
3086
- true,
3087
  false,
3088
  false,
3089
- true,
3090
- true,
3091
  true,
3092
  false,
3093
  true,
3094
  false,
 
 
3095
  true,
3096
  false
3097
  ],
@@ -3194,8 +3194,8 @@
3194
  false
3195
  ],
3196
  "model.decoder.layers.29.self_attn.out_proj.lora_E": [
3197
- true,
3198
- true,
3199
  false,
3200
  false,
3201
  true,
@@ -3228,7 +3228,7 @@
3228
  true,
3229
  true,
3230
  false,
3231
- true,
3232
  true,
3233
  true,
3234
  false,
@@ -3281,7 +3281,7 @@
3281
  false,
3282
  true,
3283
  false,
3284
- true,
3285
  false,
3286
  false,
3287
  false,
@@ -3315,7 +3315,7 @@
3315
  true,
3316
  false,
3317
  true,
3318
- false,
3319
  true,
3320
  true
3321
  ],
@@ -3325,7 +3325,7 @@
3325
  false,
3326
  false,
3327
  false,
3328
- false,
3329
  true,
3330
  false,
3331
  true,
@@ -3344,7 +3344,7 @@
3344
  true,
3345
  true,
3346
  true,
3347
- false,
3348
  false
3349
  ],
3350
  "model.decoder.layers.3.self_attn.q_proj.lora_E": [
@@ -3372,7 +3372,7 @@
3372
  false,
3373
  false,
3374
  false,
3375
- true,
3376
  true
3377
  ],
3378
  "model.decoder.layers.30.encoder_attn.k_proj.lora_E": [
@@ -3475,14 +3475,14 @@
3475
  ],
3476
  "model.decoder.layers.30.self_attn.out_proj.lora_E": [
3477
  true,
3478
- true,
3479
  true,
3480
  true,
3481
  true,
3482
  true,
3483
  false,
3484
  false,
3485
- true,
3486
  false,
3487
  true,
3488
  false
@@ -3494,7 +3494,7 @@
3494
  true,
3495
  true,
3496
  false,
3497
- true,
3498
  true,
3499
  true,
3500
  false,
@@ -3504,10 +3504,10 @@
3504
  "model.decoder.layers.30.self_attn.v_proj.lora_E": [
3505
  true,
3506
  false,
 
 
3507
  true,
3508
- true,
3509
- true,
3510
- true,
3511
  false,
3512
  false,
3513
  false,
@@ -3647,7 +3647,7 @@
3647
  false,
3648
  false,
3649
  true,
3650
- true,
3651
  false,
3652
  false,
3653
  true,
@@ -3728,7 +3728,7 @@
3728
  "model.decoder.layers.4.fc2.lora_E": [
3729
  true,
3730
  true,
3731
- false,
3732
  true,
3733
  true,
3734
  true,
@@ -3776,21 +3776,21 @@
3776
  false,
3777
  true,
3778
  true,
3779
- true,
3780
  false,
3781
- true,
 
3782
  true
3783
  ],
3784
  "model.decoder.layers.4.self_attn.v_proj.lora_E": [
3785
  true,
3786
- true,
3787
  true,
3788
  false,
3789
  false,
3790
- true,
3791
  false,
3792
  false,
3793
- true,
 
3794
  true,
3795
  false,
3796
  false
@@ -3816,7 +3816,7 @@
3816
  true,
3817
  false,
3818
  true,
3819
- true,
3820
  false,
3821
  false,
3822
  true,
@@ -3891,7 +3891,7 @@
3891
  true,
3892
  true,
3893
  true,
3894
- false
3895
  ],
3896
  "model.decoder.layers.5.self_attn.out_proj.lora_E": [
3897
  false,
@@ -3908,7 +3908,7 @@
3908
  true
3909
  ],
3910
  "model.decoder.layers.5.self_attn.q_proj.lora_E": [
3911
- false,
3912
  false,
3913
  true,
3914
  false,
@@ -3931,7 +3931,7 @@
3931
  true,
3932
  false,
3933
  true,
3934
- false,
3935
  true,
3936
  true
3937
  ],
@@ -4015,7 +4015,7 @@
4015
  true,
4016
  true,
4017
  false,
4018
- false,
4019
  true,
4020
  true
4021
  ],
@@ -4154,7 +4154,7 @@
4154
  false,
4155
  true,
4156
  true,
4157
- true,
4158
  true,
4159
  true,
4160
  true
@@ -4203,12 +4203,12 @@
4203
  ],
4204
  "model.decoder.layers.7.self_attn.v_proj.lora_E": [
4205
  false,
 
4206
  false,
4207
  false,
4208
  false,
4209
  false,
4210
- false,
4211
- false,
4212
  false,
4213
  false,
4214
  false,
@@ -4350,7 +4350,7 @@
4350
  false,
4351
  true,
4352
  true,
4353
- true,
4354
  true,
4355
  false,
4356
  false
@@ -4388,14 +4388,14 @@
4388
  true,
4389
  false,
4390
  true,
4391
- true,
4392
- true,
4393
  false,
4394
  false,
4395
  true,
4396
  false,
4397
  false,
4398
- true
4399
  ],
4400
  "model.decoder.layers.9.encoder_attn.v_proj.lora_E": [
4401
  true,
@@ -4499,9 +4499,9 @@
4499
  true,
4500
  true,
4501
  true,
4502
- false,
4503
  true,
4504
- false,
 
4505
  true,
4506
  true,
4507
  true,
@@ -4595,6 +4595,7 @@
4595
  ],
4596
  "model.encoder.layers.1.fc2.lora_E": [
4597
  true,
 
4598
  true,
4599
  true,
4600
  true,
@@ -4602,8 +4603,7 @@
4602
  true,
4603
  true,
4604
  true,
4605
- true,
4606
- true,
4607
  true,
4608
  true
4609
  ],
@@ -4622,14 +4622,14 @@
4622
  false
4623
  ],
4624
  "model.encoder.layers.1.self_attn.out_proj.lora_E": [
 
 
 
4625
  true,
4626
  true,
4627
  true,
4628
  true,
4629
- false,
4630
  true,
4631
- false,
4632
- false,
4633
  true,
4634
  true,
4635
  true,
@@ -4660,7 +4660,7 @@
4660
  true,
4661
  true,
4662
  true,
4663
- false,
4664
  true
4665
  ],
4666
  "model.encoder.layers.10.fc1.lora_E": [
@@ -4680,12 +4680,12 @@
4680
  "model.encoder.layers.10.fc2.lora_E": [
4681
  false,
4682
  true,
 
4683
  true,
4684
  true,
4685
  true,
4686
  true,
4687
- true,
4688
- true,
4689
  true,
4690
  true,
4691
  true,
@@ -4710,8 +4710,8 @@
4710
  true,
4711
  true,
4712
  true,
4713
- true,
4714
- true,
4715
  false,
4716
  true,
4717
  true,
@@ -4721,7 +4721,7 @@
4721
  ],
4722
  "model.encoder.layers.10.self_attn.q_proj.lora_E": [
4723
  true,
4724
- false,
4725
  false,
4726
  false,
4727
  false,
@@ -4748,10 +4748,10 @@
4748
  true
4749
  ],
4750
  "model.encoder.layers.11.fc1.lora_E": [
4751
- false,
4752
  false,
4753
  true,
4754
  true,
 
4755
  false,
4756
  false,
4757
  true,
@@ -4762,11 +4762,11 @@
4762
  true
4763
  ],
4764
  "model.encoder.layers.11.fc2.lora_E": [
4765
- false,
4766
  true,
4767
  true,
4768
  true,
4769
  true,
 
4770
  true,
4771
  true,
4772
  true,
@@ -4781,7 +4781,7 @@
4781
  false,
4782
  false,
4783
  false,
4784
- true,
4785
  false,
4786
  false,
4787
  false,
@@ -4799,13 +4799,13 @@
4799
  true,
4800
  true,
4801
  true,
4802
- true,
4803
  true,
4804
  true
4805
  ],
4806
  "model.encoder.layers.11.self_attn.q_proj.lora_E": [
4807
  false,
4808
- false,
4809
  false,
4810
  true,
4811
  true,
@@ -4819,7 +4819,7 @@
4819
  ],
4820
  "model.encoder.layers.11.self_attn.v_proj.lora_E": [
4821
  true,
4822
- true,
4823
  true,
4824
  true,
4825
  true,
@@ -4842,7 +4842,7 @@
4842
  false,
4843
  true,
4844
  true,
4845
- false,
4846
  true
4847
  ],
4848
  "model.encoder.layers.12.fc2.lora_E": [
@@ -4857,7 +4857,7 @@
4857
  true,
4858
  true,
4859
  true,
4860
- false
4861
  ],
4862
  "model.encoder.layers.12.self_attn.k_proj.lora_E": [
4863
  true,
@@ -4882,7 +4882,7 @@
4882
  true,
4883
  true,
4884
  true,
4885
- true,
4886
  true,
4887
  true,
4888
  false
@@ -4898,7 +4898,7 @@
4898
  false,
4899
  true,
4900
  true,
4901
- false,
4902
  false
4903
  ],
4904
  "model.encoder.layers.12.self_attn.v_proj.lora_E": [
@@ -4931,14 +4931,14 @@
4931
  ],
4932
  "model.encoder.layers.13.fc2.lora_E": [
4933
  true,
4934
- false,
4935
  true,
4936
  true,
4937
  true,
4938
  true,
4939
  true,
4940
  true,
4941
- false,
 
4942
  true,
4943
  true,
4944
  true
@@ -4955,7 +4955,7 @@
4955
  false,
4956
  false,
4957
  false,
4958
- true
4959
  ],
4960
  "model.encoder.layers.13.self_attn.out_proj.lora_E": [
4961
  false,
@@ -4965,7 +4965,7 @@
4965
  false,
4966
  false,
4967
  false,
4968
- false,
4969
  false,
4970
  false,
4971
  true,
@@ -4987,17 +4987,17 @@
4987
  ],
4988
  "model.encoder.layers.13.self_attn.v_proj.lora_E": [
4989
  true,
4990
- false,
4991
  true,
4992
- false,
4993
  true,
 
4994
  true,
4995
  true,
4996
  true,
4997
  false,
 
4998
  true,
4999
  false,
5000
- false
5001
  ],
5002
  "model.encoder.layers.14.fc1.lora_E": [
5003
  true,
@@ -5007,7 +5007,7 @@
5007
  true,
5008
  true,
5009
  true,
5010
- false,
5011
  true,
5012
  true,
5013
  true,
@@ -5015,6 +5015,7 @@
5015
  ],
5016
  "model.encoder.layers.14.fc2.lora_E": [
5017
  true,
 
5018
  true,
5019
  true,
5020
  true,
@@ -5022,7 +5023,6 @@
5022
  true,
5023
  true,
5024
  true,
5025
- false,
5026
  true,
5027
  false,
5028
  false
@@ -5099,6 +5099,7 @@
5099
  ],
5100
  "model.encoder.layers.15.fc2.lora_E": [
5101
  true,
 
5102
  true,
5103
  true,
5104
  true,
@@ -5107,9 +5108,8 @@
5107
  true,
5108
  true,
5109
  true,
5110
- false,
5111
  true,
5112
- false
5113
  ],
5114
  "model.encoder.layers.15.self_attn.k_proj.lora_E": [
5115
  false,
@@ -5117,7 +5117,7 @@
5117
  false,
5118
  false,
5119
  true,
5120
- false,
5121
  false,
5122
  false,
5123
  false,
@@ -5128,7 +5128,7 @@
5128
  "model.encoder.layers.15.self_attn.out_proj.lora_E": [
5129
  true,
5130
  false,
5131
- true,
5132
  true,
5133
  false,
5134
  true,
@@ -5141,7 +5141,7 @@
5141
  ],
5142
  "model.encoder.layers.15.self_attn.q_proj.lora_E": [
5143
  false,
5144
- false,
5145
  false,
5146
  true,
5147
  false,
@@ -5155,14 +5155,14 @@
5155
  ],
5156
  "model.encoder.layers.15.self_attn.v_proj.lora_E": [
5157
  true,
5158
- true,
5159
- true,
5160
- true,
5161
  true,
5162
  false,
5163
  true,
5164
  false,
5165
  true,
 
 
5166
  true,
5167
  true,
5168
  true
@@ -5174,7 +5174,7 @@
5174
  true,
5175
  true,
5176
  true,
5177
- false,
5178
  true,
5179
  true,
5180
  true,
@@ -5182,11 +5182,11 @@
5182
  true
5183
  ],
5184
  "model.encoder.layers.16.fc2.lora_E": [
5185
- false,
5186
- false,
5187
  true,
5188
  true,
5189
- false,
 
 
5190
  false,
5191
  true,
5192
  true,
@@ -5229,7 +5229,7 @@
5229
  false,
5230
  false,
5231
  false,
5232
- true,
5233
  false,
5234
  false,
5235
  true,
@@ -5244,7 +5244,7 @@
5244
  true,
5245
  true,
5246
  true,
5247
- false,
5248
  true,
5249
  true,
5250
  true,
@@ -5272,7 +5272,7 @@
5272
  true,
5273
  true,
5274
  true,
5275
- true,
5276
  true,
5277
  true,
5278
  true,
@@ -5282,7 +5282,7 @@
5282
  "model.encoder.layers.17.self_attn.k_proj.lora_E": [
5283
  true,
5284
  true,
5285
- true,
5286
  true,
5287
  true,
5288
  false,
@@ -5298,7 +5298,7 @@
5298
  false,
5299
  true,
5300
  true,
5301
- true,
5302
  true,
5303
  false,
5304
  false,
@@ -5322,13 +5322,13 @@
5322
  false
5323
  ],
5324
  "model.encoder.layers.17.self_attn.v_proj.lora_E": [
5325
- true,
5326
  true,
5327
  true,
5328
  false,
5329
  true,
5330
  true,
5331
- false,
 
5332
  true,
5333
  true,
5334
  false,
@@ -5343,14 +5343,14 @@
5343
  true,
5344
  true,
5345
  true,
5346
- true,
5347
  true,
5348
  true,
5349
  true,
5350
  true
5351
  ],
5352
  "model.encoder.layers.18.fc2.lora_E": [
5353
- true,
5354
  true,
5355
  false,
5356
  true,
@@ -5367,7 +5367,7 @@
5367
  false,
5368
  true,
5369
  false,
5370
- false,
5371
  true,
5372
  true,
5373
  true,
@@ -5381,7 +5381,7 @@
5381
  true,
5382
  true,
5383
  true,
5384
- false,
5385
  false,
5386
  true,
5387
  false,
@@ -5403,10 +5403,10 @@
5403
  true,
5404
  true,
5405
  false,
5406
- false
5407
  ],
5408
  "model.encoder.layers.18.self_attn.v_proj.lora_E": [
5409
- false,
5410
  true,
5411
  false,
5412
  true,
@@ -5423,7 +5423,7 @@
5423
  true,
5424
  true,
5425
  true,
5426
- false,
5427
  true,
5428
  true,
5429
  true,
@@ -5443,7 +5443,7 @@
5443
  true,
5444
  true,
5445
  true,
5446
- true,
5447
  false,
5448
  true
5449
  ],
@@ -5462,9 +5462,9 @@
5462
  false
5463
  ],
5464
  "model.encoder.layers.19.self_attn.out_proj.lora_E": [
 
5465
  true,
5466
  true,
5467
- false,
5468
  true,
5469
  true,
5470
  true,
@@ -5480,7 +5480,7 @@
5480
  true,
5481
  true,
5482
  false,
5483
- false,
5484
  false,
5485
  false,
5486
  false,
@@ -5524,12 +5524,12 @@
5524
  true,
5525
  true,
5526
  true,
5527
- true,
5528
  true,
5529
  true,
5530
  true,
5531
  false,
5532
- false
5533
  ],
5534
  "model.encoder.layers.2.self_attn.k_proj.lora_E": [
5535
  false,
@@ -5551,12 +5551,12 @@
5551
  true,
5552
  true,
5553
  true,
5554
- false,
5555
- true,
5556
  true,
5557
  true,
5558
  true,
5559
  false,
 
 
5560
  true
5561
  ],
5562
  "model.encoder.layers.2.self_attn.q_proj.lora_E": [
@@ -5574,9 +5574,9 @@
5574
  true
5575
  ],
5576
  "model.encoder.layers.2.self_attn.v_proj.lora_E": [
 
5577
  true,
5578
  true,
5579
- false,
5580
  true,
5581
  true,
5582
  true,
@@ -5593,7 +5593,7 @@
5593
  true,
5594
  true,
5595
  true,
5596
- false,
5597
  true,
5598
  true,
5599
  true,
@@ -5613,7 +5613,7 @@
5613
  true,
5614
  true,
5615
  true,
5616
- false
5617
  ],
5618
  "model.encoder.layers.20.self_attn.k_proj.lora_E": [
5619
  true,
@@ -5661,10 +5661,10 @@
5661
  true,
5662
  true,
5663
  true,
 
5664
  true,
5665
  true,
5666
- true,
5667
- true,
5668
  true,
5669
  true,
5670
  true,
@@ -5689,15 +5689,15 @@
5689
  true,
5690
  true,
5691
  true,
5692
- false,
5693
- false,
5694
  false,
5695
  true,
5696
  true,
5697
  true,
5698
  true,
5699
  true,
5700
- false
 
5701
  ],
5702
  "model.encoder.layers.21.self_attn.k_proj.lora_E": [
5703
  false,
@@ -5719,7 +5719,7 @@
5719
  true,
5720
  true,
5721
  true,
5722
- true,
5723
  false,
5724
  true,
5725
  true,
@@ -5742,17 +5742,17 @@
5742
  true
5743
  ],
5744
  "model.encoder.layers.21.self_attn.v_proj.lora_E": [
5745
- true,
5746
- true,
5747
  true,
5748
  true,
5749
  true,
5750
  false,
5751
  true,
5752
  false,
 
5753
  false,
5754
  true,
5755
  true,
 
5756
  true
5757
  ],
5758
  "model.encoder.layers.22.fc1.lora_E": [
@@ -5781,14 +5781,14 @@
5781
  true,
5782
  true,
5783
  true,
5784
- false
5785
  ],
5786
  "model.encoder.layers.22.self_attn.k_proj.lora_E": [
5787
  false,
5788
  true,
5789
  true,
5790
  false,
5791
- true,
5792
  true,
5793
  false,
5794
  true,
@@ -5800,10 +5800,10 @@
5800
  "model.encoder.layers.22.self_attn.out_proj.lora_E": [
5801
  true,
5802
  false,
5803
- false,
5804
  true,
5805
  true,
5806
- false,
 
5807
  true,
5808
  true,
5809
  false,
@@ -5812,7 +5812,7 @@
5812
  true
5813
  ],
5814
  "model.encoder.layers.22.self_attn.q_proj.lora_E": [
5815
- true,
5816
  true,
5817
  true,
5818
  false,
@@ -5833,7 +5833,7 @@
5833
  true,
5834
  true,
5835
  true,
5836
- false,
5837
  true,
5838
  true,
5839
  true,
@@ -5858,13 +5858,13 @@
5858
  true,
5859
  true,
5860
  true,
5861
- false,
5862
- false,
5863
  true,
5864
  true,
5865
  true,
5866
  true,
5867
  true,
 
 
5868
  true
5869
  ],
5870
  "model.encoder.layers.23.self_attn.k_proj.lora_E": [
@@ -5888,7 +5888,7 @@
5888
  true,
5889
  true,
5890
  true,
5891
- true,
5892
  true,
5893
  true,
5894
  true,
@@ -5907,15 +5907,15 @@
5907
  true,
5908
  false,
5909
  true,
5910
- true
5911
  ],
5912
  "model.encoder.layers.23.self_attn.v_proj.lora_E": [
5913
  false,
5914
  false,
5915
  true,
5916
  false,
5917
- true,
5918
- true,
5919
  false,
5920
  true,
5921
  true,
@@ -5958,9 +5958,9 @@
5958
  false,
5959
  true,
5960
  false,
5961
- true,
5962
  false,
5963
  true,
 
5964
  false,
5965
  false,
5966
  false
@@ -5980,7 +5980,7 @@
5980
  true
5981
  ],
5982
  "model.encoder.layers.24.self_attn.q_proj.lora_E": [
5983
- false,
5984
  true,
5985
  true,
5986
  true,
@@ -6000,10 +6000,10 @@
6000
  true,
6001
  false,
6002
  false,
6003
- true,
6004
- true,
6005
  false,
6006
- true,
 
 
6007
  false,
6008
  true
6009
  ],
@@ -6029,7 +6029,7 @@
6029
  true,
6030
  true,
6031
  true,
6032
- false,
6033
  true,
6034
  true,
6035
  true,
@@ -6040,11 +6040,11 @@
6040
  false,
6041
  true,
6042
  false,
6043
- false,
6044
  true,
6045
  false,
6046
  false,
6047
- false,
6048
  false,
6049
  false,
6050
  false
@@ -6066,7 +6066,7 @@
6066
  "model.encoder.layers.25.self_attn.q_proj.lora_E": [
6067
  true,
6068
  false,
6069
- false,
6070
  true,
6071
  true,
6072
  true,
@@ -6079,7 +6079,7 @@
6079
  ],
6080
  "model.encoder.layers.25.self_attn.v_proj.lora_E": [
6081
  true,
6082
- true,
6083
  false,
6084
  true,
6085
  false,
@@ -6111,13 +6111,13 @@
6111
  true,
6112
  true,
6113
  false,
6114
- true,
6115
  false,
6116
  true,
6117
  true,
6118
  true,
6119
  true,
6120
- true
 
6121
  ],
6122
  "model.encoder.layers.26.self_attn.k_proj.lora_E": [
6123
  true,
@@ -6162,17 +6162,17 @@
6162
  true
6163
  ],
6164
  "model.encoder.layers.26.self_attn.v_proj.lora_E": [
 
6165
  true,
6166
  true,
6167
  true,
6168
- true,
6169
- true,
6170
- true,
6171
  false,
6172
  true,
6173
  true,
6174
  true,
6175
- false,
6176
  true
6177
  ],
6178
  "model.encoder.layers.27.fc1.lora_E": [
@@ -6330,13 +6330,13 @@
6330
  true
6331
  ],
6332
  "model.encoder.layers.28.self_attn.v_proj.lora_E": [
6333
- true,
6334
  true,
6335
  true,
6336
  false,
6337
  true,
6338
  true,
6339
- true,
6340
  false,
6341
  false,
6342
  true,
@@ -6432,7 +6432,7 @@
6432
  true,
6433
  true,
6434
  true,
6435
- true,
6436
  true,
6437
  true,
6438
  true,
@@ -6442,13 +6442,13 @@
6442
  true
6443
  ],
6444
  "model.encoder.layers.3.fc2.lora_E": [
6445
- false,
6446
- false,
6447
  true,
6448
  true,
6449
  true,
6450
  false,
6451
  true,
 
 
6452
  true,
6453
  true,
6454
  true,
@@ -6481,7 +6481,7 @@
6481
  false,
6482
  true,
6483
  true,
6484
- true
6485
  ],
6486
  "model.encoder.layers.3.self_attn.q_proj.lora_E": [
6487
  false,
@@ -6531,7 +6531,7 @@
6531
  true,
6532
  true,
6533
  true,
6534
- true,
6535
  true,
6536
  true,
6537
  true,
@@ -6558,7 +6558,7 @@
6558
  true,
6559
  true,
6560
  true,
6561
- false,
6562
  true,
6563
  true,
6564
  true,
@@ -6612,9 +6612,9 @@
6612
  "model.encoder.layers.31.fc2.lora_E": [
6613
  true,
6614
  false,
 
6615
  true,
6616
- true,
6617
- true,
6618
  true,
6619
  true,
6620
  true,
@@ -6671,7 +6671,7 @@
6671
  false,
6672
  false,
6673
  true,
6674
- true,
6675
  true,
6676
  true,
6677
  true,
@@ -6680,8 +6680,7 @@
6680
  true
6681
  ],
6682
  "model.encoder.layers.4.fc1.lora_E": [
6683
- true,
6684
- true,
6685
  true,
6686
  true,
6687
  false,
@@ -6691,20 +6690,21 @@
6691
  true,
6692
  true,
6693
  true,
 
6694
  false
6695
  ],
6696
  "model.encoder.layers.4.fc2.lora_E": [
6697
  true,
6698
  true,
6699
- false,
6700
- false,
6701
- false,
6702
  true,
6703
  true,
6704
  true,
6705
  true,
6706
  false,
6707
  true,
 
 
 
6708
  true
6709
  ],
6710
  "model.encoder.layers.4.self_attn.k_proj.lora_E": [
@@ -6722,13 +6722,13 @@
6722
  true
6723
  ],
6724
  "model.encoder.layers.4.self_attn.out_proj.lora_E": [
6725
- false,
6726
- false,
6727
  false,
6728
  true,
6729
  true,
6730
  true,
6731
- false,
6732
  true,
6733
  true,
6734
  true,
@@ -6741,7 +6741,7 @@
6741
  true,
6742
  false,
6743
  false,
6744
- false,
6745
  false,
6746
  false,
6747
  false,
@@ -6785,8 +6785,8 @@
6785
  true,
6786
  true,
6787
  true,
6788
- true,
6789
- true,
6790
  true,
6791
  true,
6792
  true
@@ -6800,7 +6800,7 @@
6800
  true,
6801
  false,
6802
  false,
6803
- true,
6804
  false,
6805
  false,
6806
  false
@@ -6815,15 +6815,12 @@
6815
  true,
6816
  true,
6817
  true,
6818
- false,
6819
- false,
6820
  false
6821
  ],
6822
  "model.encoder.layers.5.self_attn.q_proj.lora_E": [
6823
- false,
6824
- true,
6825
  true,
6826
- false,
6827
  true,
6828
  true,
6829
  false,
@@ -6831,6 +6828,9 @@
6831
  true,
6832
  false,
6833
  false,
 
 
 
6834
  false
6835
  ],
6836
  "model.encoder.layers.5.self_attn.v_proj.lora_E": [
@@ -6848,7 +6848,7 @@
6848
  true
6849
  ],
6850
  "model.encoder.layers.6.fc1.lora_E": [
6851
- true,
6852
  true,
6853
  true,
6854
  true,
@@ -6863,8 +6863,6 @@
6863
  ],
6864
  "model.encoder.layers.6.fc2.lora_E": [
6865
  true,
6866
- false,
6867
- false,
6868
  true,
6869
  true,
6870
  true,
@@ -6873,7 +6871,9 @@
6873
  true,
6874
  true,
6875
  true,
6876
- false
 
 
6877
  ],
6878
  "model.encoder.layers.6.self_attn.k_proj.lora_E": [
6879
  true,
@@ -6894,11 +6894,11 @@
6894
  true,
6895
  true,
6896
  true,
6897
- false,
6898
  true,
6899
  true,
6900
  true,
6901
  false,
 
6902
  true,
6903
  true,
6904
  true
@@ -6943,7 +6943,7 @@
6943
  true,
6944
  false,
6945
  false,
6946
- false
6947
  ],
6948
  "model.encoder.layers.7.fc2.lora_E": [
6949
  true,
@@ -6957,7 +6957,7 @@
6957
  false,
6958
  true,
6959
  true,
6960
- false
6961
  ],
6962
  "model.encoder.layers.7.self_attn.k_proj.lora_E": [
6963
  false,
@@ -6975,7 +6975,7 @@
6975
  ],
6976
  "model.encoder.layers.7.self_attn.out_proj.lora_E": [
6977
  true,
6978
- true,
6979
  false,
6980
  true,
6981
  true,
@@ -6983,7 +6983,7 @@
6983
  true,
6984
  true,
6985
  true,
6986
- false,
6987
  true,
6988
  true
6989
  ],
@@ -7034,7 +7034,7 @@
7034
  true,
7035
  true,
7036
  true,
7037
- true,
7038
  true,
7039
  true,
7040
  true,
@@ -7062,14 +7062,14 @@
7062
  true,
7063
  true,
7064
  true,
7065
- false,
7066
  true,
7067
  true,
7068
  true,
7069
  true,
7070
  true,
 
7071
  true,
7072
- true
7073
  ],
7074
  "model.encoder.layers.8.self_attn.q_proj.lora_E": [
7075
  false,
@@ -7080,7 +7080,7 @@
7080
  false,
7081
  true,
7082
  true,
7083
- true,
7084
  false,
7085
  true,
7086
  false
@@ -7092,10 +7092,10 @@
7092
  true,
7093
  true,
7094
  true,
7095
- true,
7096
  false,
7097
  false,
7098
- true,
 
7099
  false,
7100
  true
7101
  ],
@@ -7114,7 +7114,6 @@
7114
  true
7115
  ],
7116
  "model.encoder.layers.9.fc2.lora_E": [
7117
- true,
7118
  true,
7119
  false,
7120
  true,
@@ -7125,6 +7124,7 @@
7125
  true,
7126
  true,
7127
  true,
 
7128
  true
7129
  ],
7130
  "model.encoder.layers.9.self_attn.k_proj.lora_E": [
@@ -7147,13 +7147,13 @@
7147
  false,
7148
  true,
7149
  true,
7150
- false,
7151
  true,
7152
  false,
7153
  true,
7154
  true,
7155
- false,
7156
- true
7157
  ],
7158
  "model.encoder.layers.9.self_attn.q_proj.lora_E": [
7159
  false,
@@ -7181,7 +7181,7 @@
7181
  true,
7182
  true,
7183
  false,
7184
- false
7185
  ]
7186
  },
7187
  "target_modules": [
 
88
  "model.decoder.layers.0.fc2.lora_E": [
89
  true,
90
  true,
91
+ false,
92
+ false,
93
  true,
94
  true,
95
+ false,
 
 
96
  false,
97
  true,
98
  false,
 
118
  true,
119
  false,
120
  false,
 
121
  true,
122
+ false,
123
  true,
124
  true,
125
  false,
 
142
  true
143
  ],
144
  "model.decoder.layers.0.self_attn.v_proj.lora_E": [
 
145
  true,
146
+ true,
147
+ true,
148
  true,
149
  true,
150
  true,
 
206
  false,
207
  false,
208
  true,
209
+ false,
210
  false,
211
  false,
212
  true
213
  ],
214
  "model.decoder.layers.1.fc1.lora_E": [
215
+ false,
216
  true,
217
  true,
218
  true,
 
219
  true,
220
  true,
221
  true,
 
261
  false,
262
  false,
263
  false,
264
+ false,
265
  true,
266
  false,
267
  false,
 
375
  false,
376
  true,
377
  true,
378
+ true,
379
  false,
380
  true
381
  ],
 
387
  true,
388
  true,
389
  true,
390
+ false,
391
  true,
392
  true,
393
  true,
 
507
  ],
508
  "model.decoder.layers.11.fc2.lora_E": [
509
  false,
510
+ false,
511
  true,
512
  false,
513
  false,
 
535
  ],
536
  "model.decoder.layers.11.self_attn.out_proj.lora_E": [
537
  true,
538
+ false,
539
  true,
540
  true,
541
  true,
 
611
  false,
612
  true,
613
  true,
614
+ false,
615
  false,
616
  true,
617
  false,
 
646
  true
647
  ],
648
  "model.decoder.layers.12.fc2.lora_E": [
649
+ false,
650
  true,
651
  true,
652
  true,
 
653
  true,
654
  true,
655
  true,
 
662
  "model.decoder.layers.12.self_attn.k_proj.lora_E": [
663
  false,
664
  false,
665
+ false,
666
  false,
667
  false,
668
  false,
 
710
  true,
711
  false,
712
  true,
713
+ false,
714
  false,
715
  true,
716
  false
 
758
  false
759
  ],
760
  "model.decoder.layers.13.encoder_attn.v_proj.lora_E": [
761
+ false,
762
  false,
763
  true,
764
  true,
 
787
  ],
788
  "model.decoder.layers.13.fc2.lora_E": [
789
  false,
790
+ false,
 
 
791
  false,
792
  true,
793
+ false,
794
+ false,
795
  true,
796
  true,
797
+ false,
798
+ false,
799
  true,
800
+ false
 
 
801
  ],
802
  "model.decoder.layers.13.self_attn.k_proj.lora_E": [
803
  true,
 
846
  false,
847
  false,
848
  false,
849
+ false,
850
  false,
851
  false,
852
  true,
 
898
  true
899
  ],
900
  "model.decoder.layers.14.encoder_attn.v_proj.lora_E": [
901
+ false,
902
  false,
903
  false,
904
  false,
 
949
  true,
950
  true,
951
  true,
952
+ false,
953
  false,
954
  false
955
  ],
 
986
  false,
987
  false,
988
  false,
989
+ false,
990
  false,
991
  false,
992
  false,
993
  false,
994
  true,
995
  false,
996
+ true
997
  ],
998
  "model.decoder.layers.15.encoder_attn.k_proj.lora_E": [
999
  true,
 
1012
  "model.decoder.layers.15.encoder_attn.out_proj.lora_E": [
1013
  true,
1014
  true,
1015
+ false,
1016
  true,
1017
  true,
1018
  true,
 
1071
  false,
1072
  false,
1073
  true,
1074
+ true,
1075
  false,
1076
  false,
1077
  false,
 
1081
  ],
1082
  "model.decoder.layers.15.self_attn.k_proj.lora_E": [
1083
  false,
1084
+ false,
1085
  false,
1086
  false,
1087
  false,
 
1110
  "model.decoder.layers.15.self_attn.q_proj.lora_E": [
1111
  false,
1112
  false,
1113
+ false,
1114
  false,
1115
  true,
1116
  true,
 
1133
  false,
1134
  true,
1135
  false,
1136
+ false
1137
  ],
1138
  "model.decoder.layers.16.encoder_attn.k_proj.lora_E": [
1139
  true,
 
1186
  true,
1187
  true,
1188
  true,
1189
+ false,
1190
  true,
1191
  true,
1192
  false
 
1229
  false,
1230
  true,
1231
  true,
1232
+ false,
1233
  true,
1234
  true
1235
  ],
 
1252
  true,
1253
  true,
1254
  false,
1255
+ false,
1256
  true,
1257
  true,
1258
  true,
 
1349
  false,
1350
  false,
1351
  false,
1352
+ false,
1353
  true,
1354
  false,
1355
  true,
 
1366
  false,
1367
  false,
1368
  false,
1369
+ false,
1370
  true,
1371
  false,
1372
  false,
 
1377
  false,
1378
  false,
1379
  false,
1380
+ false,
1381
  true,
1382
  false,
1383
  false,
 
1407
  false,
1408
  false,
1409
  true,
1410
+ false,
1411
  false,
1412
  false,
1413
  false,
 
1453
  true,
1454
  true,
1455
  true,
1456
+ true,
1457
  true,
1458
  true
1459
  ],
 
1497
  false,
1498
  false,
1499
  false,
1500
+ true
1501
  ],
1502
  "model.decoder.layers.18.self_attn.k_proj.lora_E": [
1503
  false,
1504
  true,
1505
+ false,
1506
  true,
1507
  false,
1508
  true,
 
1515
  ],
1516
  "model.decoder.layers.18.self_attn.out_proj.lora_E": [
1517
  false,
 
1518
  false,
1519
+ false,
1520
+ false,
1521
  true,
1522
  false,
1523
  false,
 
1542
  true
1543
  ],
1544
  "model.decoder.layers.18.self_attn.v_proj.lora_E": [
1545
+ false,
1546
  false,
1547
  false,
1548
  true,
1549
  true,
1550
+ false,
 
1551
  false,
1552
  false,
1553
  false,
 
1585
  ],
1586
  "model.decoder.layers.19.encoder_attn.q_proj.lora_E": [
1587
  true,
1588
+ false,
1589
  true,
1590
  true,
1591
  true,
 
1682
  true
1683
  ],
1684
  "model.decoder.layers.19.self_attn.v_proj.lora_E": [
 
1685
  true,
1686
  false,
1687
  false,
1688
  false,
1689
+ false,
1690
+ false,
1691
  false,
1692
  true,
1693
  true,
1694
  false,
1695
+ false,
1696
  false
1697
  ],
1698
  "model.decoder.layers.2.encoder_attn.k_proj.lora_E": [
 
1739
  ],
1740
  "model.decoder.layers.2.encoder_attn.v_proj.lora_E": [
1741
  false,
1742
+ false,
1743
  false,
1744
  true,
1745
  false,
 
1749
  true,
1750
  true,
1751
  true,
1752
+ false
1753
  ],
1754
  "model.decoder.layers.2.fc1.lora_E": [
1755
  true,
 
1771
  false,
1772
  false,
1773
  true,
1774
+ true,
1775
+ true,
1776
  true,
1777
  true,
1778
  true,
 
1926
  true,
1927
  true,
1928
  false,
1929
+ false,
1930
  false,
1931
  false,
1932
  false,
 
1939
  false,
1940
  false,
1941
  false,
1942
+ false,
1943
  false,
1944
  false,
1945
  false,
 
1966
  true,
1967
  false,
1968
  false,
1969
+ false,
1970
  true,
1971
  true,
1972
  false,
 
2049
  true,
2050
  false,
2051
  false,
2052
+ true,
2053
+ true,
2054
  false,
2055
  false,
2056
  false,
2057
  false,
2058
  false,
2059
  true,
2060
+ true
2061
  ],
2062
  "model.decoder.layers.21.self_attn.k_proj.lora_E": [
2063
  true,
 
2197
  true,
2198
  false,
2199
  true,
2200
+ false
2201
  ],
2202
  "model.decoder.layers.22.self_attn.k_proj.lora_E": [
2203
  true,
 
2222
  false,
2223
  false,
2224
  true,
2225
+ false,
2226
  true,
2227
  false,
2228
  true
 
2242
  true
2243
  ],
2244
  "model.decoder.layers.22.self_attn.v_proj.lora_E": [
2245
+ false,
2246
  true,
2247
  false,
2248
  false,
2249
  true,
2250
+ true,
2251
  false,
2252
  true,
2253
  false,
 
2292
  false,
2293
  true,
2294
  true,
2295
+ false,
2296
  true,
2297
  true,
2298
  true
 
2333
  true,
2334
  false,
2335
  true,
2336
+ false,
2337
  false,
2338
  true,
2339
  true,
 
2341
  ],
2342
  "model.decoder.layers.23.self_attn.k_proj.lora_E": [
2343
  false,
2344
+ false,
2345
  false,
2346
  true,
2347
  false,
 
2355
  ],
2356
  "model.decoder.layers.23.self_attn.out_proj.lora_E": [
2357
  true,
 
2358
  true,
2359
  true,
2360
+ false,
2361
  true,
2362
  false,
2363
  true,
 
2389
  false,
2390
  false,
2391
  false,
2392
+ false,
2393
  false,
2394
  false,
2395
  false,
 
2514
  true,
2515
  false,
2516
  false,
2517
+ false,
2518
  false,
2519
  true,
2520
  false,
 
2524
  "model.decoder.layers.24.self_attn.v_proj.lora_E": [
2525
  false,
2526
  false,
 
2527
  false,
2528
  false,
2529
+ false,
 
2530
  false,
2531
  true,
2532
  false,
2533
  false,
2534
+ false,
2535
+ false,
2536
+ false
2537
  ],
2538
  "model.decoder.layers.25.encoder_attn.k_proj.lora_E": [
2539
  true,
 
2568
  true,
2569
  true,
2570
  true,
2571
+ false,
2572
  true,
2573
  true,
2574
  true,
 
2615
  false,
2616
  false,
2617
  true,
2618
+ false,
2619
  false,
2620
  false
2621
  ],
 
2635
  ],
2636
  "model.decoder.layers.25.self_attn.out_proj.lora_E": [
2637
  true,
2638
+ false,
2639
  true,
2640
  true,
2641
  false,
 
2774
  false
2775
  ],
2776
  "model.decoder.layers.26.self_attn.out_proj.lora_E": [
2777
+ false,
2778
  true,
2779
  false,
2780
  true,
 
2784
  false,
2785
  true,
2786
  false,
2787
+ false,
2788
+ false
2789
  ],
2790
  "model.decoder.layers.26.self_attn.q_proj.lora_E": [
2791
  true,
2792
  false,
2793
  false,
2794
+ false,
2795
  false,
2796
  false,
2797
  true,
 
2888
  "model.decoder.layers.27.fc2.lora_E": [
2889
  false,
2890
  true,
2891
+ false,
2892
  false,
2893
  true,
2894
  false,
 
2897
  true,
2898
  true,
2899
  false,
2900
+ false
2901
  ],
2902
  "model.decoder.layers.27.self_attn.k_proj.lora_E": [
2903
  true,
 
2950
  true,
2951
  false,
2952
  true,
2953
+ false,
2954
+ false,
2955
  false,
2956
  true
2957
  ],
 
3070
  "model.decoder.layers.28.self_attn.q_proj.lora_E": [
3071
  true,
3072
  true,
3073
+ false,
3074
  true,
3075
  false,
3076
  true,
 
3083
  ],
3084
  "model.decoder.layers.28.self_attn.v_proj.lora_E": [
3085
  false,
 
3086
  false,
3087
  false,
3088
+ false,
 
3089
  true,
3090
  false,
3091
  true,
3092
  false,
3093
+ false,
3094
+ false,
3095
  true,
3096
  false
3097
  ],
 
3194
  false
3195
  ],
3196
  "model.decoder.layers.29.self_attn.out_proj.lora_E": [
3197
+ false,
3198
+ false,
3199
  false,
3200
  false,
3201
  true,
 
3228
  true,
3229
  true,
3230
  false,
3231
+ false,
3232
  true,
3233
  true,
3234
  false,
 
3281
  false,
3282
  true,
3283
  false,
3284
+ false,
3285
  false,
3286
  false,
3287
  false,
 
3315
  true,
3316
  false,
3317
  true,
3318
+ true,
3319
  true,
3320
  true
3321
  ],
 
3325
  false,
3326
  false,
3327
  false,
3328
+ true,
3329
  true,
3330
  false,
3331
  true,
 
3344
  true,
3345
  true,
3346
  true,
3347
+ true,
3348
  false
3349
  ],
3350
  "model.decoder.layers.3.self_attn.q_proj.lora_E": [
 
3372
  false,
3373
  false,
3374
  false,
3375
+ false,
3376
  true
3377
  ],
3378
  "model.decoder.layers.30.encoder_attn.k_proj.lora_E": [
 
3475
  ],
3476
  "model.decoder.layers.30.self_attn.out_proj.lora_E": [
3477
  true,
3478
+ false,
3479
  true,
3480
  true,
3481
  true,
3482
  true,
3483
  false,
3484
  false,
3485
+ false,
3486
  false,
3487
  true,
3488
  false
 
3494
  true,
3495
  true,
3496
  false,
3497
+ false,
3498
  true,
3499
  true,
3500
  false,
 
3504
  "model.decoder.layers.30.self_attn.v_proj.lora_E": [
3505
  true,
3506
  false,
3507
+ false,
3508
+ false,
3509
  true,
3510
+ false,
 
 
3511
  false,
3512
  false,
3513
  false,
 
3647
  false,
3648
  false,
3649
  true,
3650
+ false,
3651
  false,
3652
  false,
3653
  true,
 
3728
  "model.decoder.layers.4.fc2.lora_E": [
3729
  true,
3730
  true,
3731
+ true,
3732
  true,
3733
  true,
3734
  true,
 
3776
  false,
3777
  true,
3778
  true,
 
3779
  false,
3780
+ false,
3781
+ false,
3782
  true
3783
  ],
3784
  "model.decoder.layers.4.self_attn.v_proj.lora_E": [
3785
  true,
3786
+ false,
3787
  true,
3788
  false,
3789
  false,
 
3790
  false,
3791
  false,
3792
+ false,
3793
+ false,
3794
  true,
3795
  false,
3796
  false
 
3816
  true,
3817
  false,
3818
  true,
3819
+ false,
3820
  false,
3821
  false,
3822
  true,
 
3891
  true,
3892
  true,
3893
  true,
3894
+ true
3895
  ],
3896
  "model.decoder.layers.5.self_attn.out_proj.lora_E": [
3897
  false,
 
3908
  true
3909
  ],
3910
  "model.decoder.layers.5.self_attn.q_proj.lora_E": [
3911
+ true,
3912
  false,
3913
  true,
3914
  false,
 
3931
  true,
3932
  false,
3933
  true,
3934
+ true,
3935
  true,
3936
  true
3937
  ],
 
4015
  true,
4016
  true,
4017
  false,
4018
+ true,
4019
  true,
4020
  true
4021
  ],
 
4154
  false,
4155
  true,
4156
  true,
4157
+ false,
4158
  true,
4159
  true,
4160
  true
 
4203
  ],
4204
  "model.decoder.layers.7.self_attn.v_proj.lora_E": [
4205
  false,
4206
+ true,
4207
  false,
4208
  false,
4209
  false,
4210
  false,
4211
+ true,
 
4212
  false,
4213
  false,
4214
  false,
 
4350
  false,
4351
  true,
4352
  true,
4353
+ false,
4354
  true,
4355
  false,
4356
  false
 
4388
  true,
4389
  false,
4390
  true,
4391
+ false,
4392
+ false,
4393
  false,
4394
  false,
4395
  true,
4396
  false,
4397
  false,
4398
+ false
4399
  ],
4400
  "model.decoder.layers.9.encoder_attn.v_proj.lora_E": [
4401
  true,
 
4499
  true,
4500
  true,
4501
  true,
 
4502
  true,
4503
+ true,
4504
+ true,
4505
  true,
4506
  true,
4507
  true,
 
4595
  ],
4596
  "model.encoder.layers.1.fc2.lora_E": [
4597
  true,
4598
+ false,
4599
  true,
4600
  true,
4601
  true,
 
4603
  true,
4604
  true,
4605
  true,
4606
+ false,
 
4607
  true,
4608
  true
4609
  ],
 
4622
  false
4623
  ],
4624
  "model.encoder.layers.1.self_attn.out_proj.lora_E": [
4625
+ true,
4626
+ false,
4627
+ true,
4628
  true,
4629
  true,
4630
  true,
4631
  true,
 
4632
  true,
 
 
4633
  true,
4634
  true,
4635
  true,
 
4660
  true,
4661
  true,
4662
  true,
4663
+ true,
4664
  true
4665
  ],
4666
  "model.encoder.layers.10.fc1.lora_E": [
 
4680
  "model.encoder.layers.10.fc2.lora_E": [
4681
  false,
4682
  true,
4683
+ false,
4684
  true,
4685
  true,
4686
  true,
4687
  true,
4688
+ false,
 
4689
  true,
4690
  true,
4691
  true,
 
4710
  true,
4711
  true,
4712
  true,
4713
+ false,
4714
+ false,
4715
  false,
4716
  true,
4717
  true,
 
4721
  ],
4722
  "model.encoder.layers.10.self_attn.q_proj.lora_E": [
4723
  true,
4724
+ true,
4725
  false,
4726
  false,
4727
  false,
 
4748
  true
4749
  ],
4750
  "model.encoder.layers.11.fc1.lora_E": [
 
4751
  false,
4752
  true,
4753
  true,
4754
+ true,
4755
  false,
4756
  false,
4757
  true,
 
4762
  true
4763
  ],
4764
  "model.encoder.layers.11.fc2.lora_E": [
 
4765
  true,
4766
  true,
4767
  true,
4768
  true,
4769
+ false,
4770
  true,
4771
  true,
4772
  true,
 
4781
  false,
4782
  false,
4783
  false,
4784
+ false,
4785
  false,
4786
  false,
4787
  false,
 
4799
  true,
4800
  true,
4801
  true,
4802
+ false,
4803
  true,
4804
  true
4805
  ],
4806
  "model.encoder.layers.11.self_attn.q_proj.lora_E": [
4807
  false,
4808
+ true,
4809
  false,
4810
  true,
4811
  true,
 
4819
  ],
4820
  "model.encoder.layers.11.self_attn.v_proj.lora_E": [
4821
  true,
4822
+ false,
4823
  true,
4824
  true,
4825
  true,
 
4842
  false,
4843
  true,
4844
  true,
4845
+ true,
4846
  true
4847
  ],
4848
  "model.encoder.layers.12.fc2.lora_E": [
 
4857
  true,
4858
  true,
4859
  true,
4860
+ true
4861
  ],
4862
  "model.encoder.layers.12.self_attn.k_proj.lora_E": [
4863
  true,
 
4882
  true,
4883
  true,
4884
  true,
4885
+ false,
4886
  true,
4887
  true,
4888
  false
 
4898
  false,
4899
  true,
4900
  true,
4901
+ true,
4902
  false
4903
  ],
4904
  "model.encoder.layers.12.self_attn.v_proj.lora_E": [
 
4931
  ],
4932
  "model.encoder.layers.13.fc2.lora_E": [
4933
  true,
 
4934
  true,
4935
  true,
4936
  true,
4937
  true,
4938
  true,
4939
  true,
4940
+ true,
4941
+ true,
4942
  true,
4943
  true,
4944
  true
 
4955
  false,
4956
  false,
4957
  false,
4958
+ false
4959
  ],
4960
  "model.encoder.layers.13.self_attn.out_proj.lora_E": [
4961
  false,
 
4965
  false,
4966
  false,
4967
  false,
4968
+ true,
4969
  false,
4970
  false,
4971
  true,
 
4987
  ],
4988
  "model.encoder.layers.13.self_attn.v_proj.lora_E": [
4989
  true,
 
4990
  true,
 
4991
  true,
4992
+ false,
4993
  true,
4994
  true,
4995
  true,
4996
  false,
4997
+ false,
4998
  true,
4999
  false,
5000
+ true
5001
  ],
5002
  "model.encoder.layers.14.fc1.lora_E": [
5003
  true,
 
5007
  true,
5008
  true,
5009
  true,
5010
+ true,
5011
  true,
5012
  true,
5013
  true,
 
5015
  ],
5016
  "model.encoder.layers.14.fc2.lora_E": [
5017
  true,
5018
+ false,
5019
  true,
5020
  true,
5021
  true,
 
5023
  true,
5024
  true,
5025
  true,
 
5026
  true,
5027
  false,
5028
  false
 
5099
  ],
5100
  "model.encoder.layers.15.fc2.lora_E": [
5101
  true,
5102
+ false,
5103
  true,
5104
  true,
5105
  true,
 
5108
  true,
5109
  true,
5110
  true,
 
5111
  true,
5112
+ true
5113
  ],
5114
  "model.encoder.layers.15.self_attn.k_proj.lora_E": [
5115
  false,
 
5117
  false,
5118
  false,
5119
  true,
5120
+ true,
5121
  false,
5122
  false,
5123
  false,
 
5128
  "model.encoder.layers.15.self_attn.out_proj.lora_E": [
5129
  true,
5130
  false,
5131
+ false,
5132
  true,
5133
  false,
5134
  true,
 
5141
  ],
5142
  "model.encoder.layers.15.self_attn.q_proj.lora_E": [
5143
  false,
5144
+ true,
5145
  false,
5146
  true,
5147
  false,
 
5155
  ],
5156
  "model.encoder.layers.15.self_attn.v_proj.lora_E": [
5157
  true,
5158
+ false,
 
 
5159
  true,
5160
  false,
5161
  true,
5162
  false,
5163
  true,
5164
+ false,
5165
+ false,
5166
  true,
5167
  true,
5168
  true
 
5174
  true,
5175
  true,
5176
  true,
5177
+ true,
5178
  true,
5179
  true,
5180
  true,
 
5182
  true
5183
  ],
5184
  "model.encoder.layers.16.fc2.lora_E": [
 
 
5185
  true,
5186
  true,
5187
+ true,
5188
+ true,
5189
+ true,
5190
  false,
5191
  true,
5192
  true,
 
5229
  false,
5230
  false,
5231
  false,
5232
+ false,
5233
  false,
5234
  false,
5235
  true,
 
5244
  true,
5245
  true,
5246
  true,
5247
+ true,
5248
  true,
5249
  true,
5250
  true,
 
5272
  true,
5273
  true,
5274
  true,
5275
+ false,
5276
  true,
5277
  true,
5278
  true,
 
5282
  "model.encoder.layers.17.self_attn.k_proj.lora_E": [
5283
  true,
5284
  true,
5285
+ false,
5286
  true,
5287
  true,
5288
  false,
 
5298
  false,
5299
  true,
5300
  true,
5301
+ false,
5302
  true,
5303
  false,
5304
  false,
 
5322
  false
5323
  ],
5324
  "model.encoder.layers.17.self_attn.v_proj.lora_E": [
 
5325
  true,
5326
  true,
5327
  false,
5328
  true,
5329
  true,
5330
+ true,
5331
+ true,
5332
  true,
5333
  true,
5334
  false,
 
5343
  true,
5344
  true,
5345
  true,
5346
+ false,
5347
  true,
5348
  true,
5349
  true,
5350
  true
5351
  ],
5352
  "model.encoder.layers.18.fc2.lora_E": [
5353
+ false,
5354
  true,
5355
  false,
5356
  true,
 
5367
  false,
5368
  true,
5369
  false,
5370
+ true,
5371
  true,
5372
  true,
5373
  true,
 
5381
  true,
5382
  true,
5383
  true,
5384
+ true,
5385
  false,
5386
  true,
5387
  false,
 
5403
  true,
5404
  true,
5405
  false,
5406
+ true
5407
  ],
5408
  "model.encoder.layers.18.self_attn.v_proj.lora_E": [
5409
+ true,
5410
  true,
5411
  false,
5412
  true,
 
5423
  true,
5424
  true,
5425
  true,
5426
+ true,
5427
  true,
5428
  true,
5429
  true,
 
5443
  true,
5444
  true,
5445
  true,
5446
+ false,
5447
  false,
5448
  true
5449
  ],
 
5462
  false
5463
  ],
5464
  "model.encoder.layers.19.self_attn.out_proj.lora_E": [
5465
+ false,
5466
  true,
5467
  true,
 
5468
  true,
5469
  true,
5470
  true,
 
5480
  true,
5481
  true,
5482
  false,
5483
+ true,
5484
  false,
5485
  false,
5486
  false,
 
5524
  true,
5525
  true,
5526
  true,
5527
+ false,
5528
  true,
5529
  true,
5530
  true,
5531
  false,
5532
+ true
5533
  ],
5534
  "model.encoder.layers.2.self_attn.k_proj.lora_E": [
5535
  false,
 
5551
  true,
5552
  true,
5553
  true,
 
 
5554
  true,
5555
  true,
5556
  true,
5557
  false,
5558
+ true,
5559
+ true,
5560
  true
5561
  ],
5562
  "model.encoder.layers.2.self_attn.q_proj.lora_E": [
 
5574
  true
5575
  ],
5576
  "model.encoder.layers.2.self_attn.v_proj.lora_E": [
5577
+ false,
5578
  true,
5579
  true,
 
5580
  true,
5581
  true,
5582
  true,
 
5593
  true,
5594
  true,
5595
  true,
5596
+ true,
5597
  true,
5598
  true,
5599
  true,
 
5613
  true,
5614
  true,
5615
  true,
5616
+ true
5617
  ],
5618
  "model.encoder.layers.20.self_attn.k_proj.lora_E": [
5619
  true,
 
5661
  true,
5662
  true,
5663
  true,
5664
+ false,
5665
  true,
5666
  true,
5667
+ false,
 
5668
  true,
5669
  true,
5670
  true,
 
5689
  true,
5690
  true,
5691
  true,
5692
+ true,
 
5693
  false,
5694
  true,
5695
  true,
5696
  true,
5697
  true,
5698
  true,
5699
+ true,
5700
+ true
5701
  ],
5702
  "model.encoder.layers.21.self_attn.k_proj.lora_E": [
5703
  false,
 
5719
  true,
5720
  true,
5721
  true,
5722
+ false,
5723
  false,
5724
  true,
5725
  true,
 
5742
  true
5743
  ],
5744
  "model.encoder.layers.21.self_attn.v_proj.lora_E": [
 
 
5745
  true,
5746
  true,
5747
  true,
5748
  false,
5749
  true,
5750
  false,
5751
+ true,
5752
  false,
5753
  true,
5754
  true,
5755
+ true,
5756
  true
5757
  ],
5758
  "model.encoder.layers.22.fc1.lora_E": [
 
5781
  true,
5782
  true,
5783
  true,
5784
+ true
5785
  ],
5786
  "model.encoder.layers.22.self_attn.k_proj.lora_E": [
5787
  false,
5788
  true,
5789
  true,
5790
  false,
5791
+ false,
5792
  true,
5793
  false,
5794
  true,
 
5800
  "model.encoder.layers.22.self_attn.out_proj.lora_E": [
5801
  true,
5802
  false,
 
5803
  true,
5804
  true,
5805
+ true,
5806
+ true,
5807
  true,
5808
  true,
5809
  false,
 
5812
  true
5813
  ],
5814
  "model.encoder.layers.22.self_attn.q_proj.lora_E": [
5815
+ false,
5816
  true,
5817
  true,
5818
  false,
 
5833
  true,
5834
  true,
5835
  true,
5836
+ true,
5837
  true,
5838
  true,
5839
  true,
 
5858
  true,
5859
  true,
5860
  true,
 
 
5861
  true,
5862
  true,
5863
  true,
5864
  true,
5865
  true,
5866
+ false,
5867
+ true,
5868
  true
5869
  ],
5870
  "model.encoder.layers.23.self_attn.k_proj.lora_E": [
 
5888
  true,
5889
  true,
5890
  true,
5891
+ false,
5892
  true,
5893
  true,
5894
  true,
 
5907
  true,
5908
  false,
5909
  true,
5910
+ false
5911
  ],
5912
  "model.encoder.layers.23.self_attn.v_proj.lora_E": [
5913
  false,
5914
  false,
5915
  true,
5916
  false,
5917
+ false,
5918
+ false,
5919
  false,
5920
  true,
5921
  true,
 
5958
  false,
5959
  true,
5960
  false,
 
5961
  false,
5962
  true,
5963
+ true,
5964
  false,
5965
  false,
5966
  false
 
5980
  true
5981
  ],
5982
  "model.encoder.layers.24.self_attn.q_proj.lora_E": [
5983
+ true,
5984
  true,
5985
  true,
5986
  true,
 
6000
  true,
6001
  false,
6002
  false,
 
 
6003
  false,
6004
+ false,
6005
+ false,
6006
+ false,
6007
  false,
6008
  true
6009
  ],
 
6029
  true,
6030
  true,
6031
  true,
6032
+ true,
6033
  true,
6034
  true,
6035
  true,
 
6040
  false,
6041
  true,
6042
  false,
6043
+ true,
6044
  true,
6045
  false,
6046
  false,
6047
+ true,
6048
  false,
6049
  false,
6050
  false
 
6066
  "model.encoder.layers.25.self_attn.q_proj.lora_E": [
6067
  true,
6068
  false,
6069
+ true,
6070
  true,
6071
  true,
6072
  true,
 
6079
  ],
6080
  "model.encoder.layers.25.self_attn.v_proj.lora_E": [
6081
  true,
6082
+ false,
6083
  false,
6084
  true,
6085
  false,
 
6111
  true,
6112
  true,
6113
  false,
 
6114
  false,
6115
  true,
6116
  true,
6117
  true,
6118
  true,
6119
+ false,
6120
+ false
6121
  ],
6122
  "model.encoder.layers.26.self_attn.k_proj.lora_E": [
6123
  true,
 
6162
  true
6163
  ],
6164
  "model.encoder.layers.26.self_attn.v_proj.lora_E": [
6165
+ false,
6166
  true,
6167
  true,
6168
  true,
6169
+ false,
6170
+ false,
 
6171
  false,
6172
  true,
6173
  true,
6174
  true,
6175
+ true,
6176
  true
6177
  ],
6178
  "model.encoder.layers.27.fc1.lora_E": [
 
6330
  true
6331
  ],
6332
  "model.encoder.layers.28.self_attn.v_proj.lora_E": [
6333
+ false,
6334
  true,
6335
  true,
6336
  false,
6337
  true,
6338
  true,
6339
+ false,
6340
  false,
6341
  false,
6342
  true,
 
6432
  true,
6433
  true,
6434
  true,
6435
+ false,
6436
  true,
6437
  true,
6438
  true,
 
6442
  true
6443
  ],
6444
  "model.encoder.layers.3.fc2.lora_E": [
 
 
6445
  true,
6446
  true,
6447
  true,
6448
  false,
6449
  true,
6450
+ false,
6451
+ true,
6452
  true,
6453
  true,
6454
  true,
 
6481
  false,
6482
  true,
6483
  true,
6484
+ false
6485
  ],
6486
  "model.encoder.layers.3.self_attn.q_proj.lora_E": [
6487
  false,
 
6531
  true,
6532
  true,
6533
  true,
6534
+ false,
6535
  true,
6536
  true,
6537
  true,
 
6558
  true,
6559
  true,
6560
  true,
6561
+ true,
6562
  true,
6563
  true,
6564
  true,
 
6612
  "model.encoder.layers.31.fc2.lora_E": [
6613
  true,
6614
  false,
6615
+ false,
6616
  true,
6617
+ false,
 
6618
  true,
6619
  true,
6620
  true,
 
6671
  false,
6672
  false,
6673
  true,
6674
+ false,
6675
  true,
6676
  true,
6677
  true,
 
6680
  true
6681
  ],
6682
  "model.encoder.layers.4.fc1.lora_E": [
6683
+ false,
 
6684
  true,
6685
  true,
6686
  false,
 
6690
  true,
6691
  true,
6692
  true,
6693
+ true,
6694
  false
6695
  ],
6696
  "model.encoder.layers.4.fc2.lora_E": [
6697
  true,
6698
  true,
 
 
 
6699
  true,
6700
  true,
6701
  true,
6702
  true,
6703
  false,
6704
  true,
6705
+ true,
6706
+ true,
6707
+ true,
6708
  true
6709
  ],
6710
  "model.encoder.layers.4.self_attn.k_proj.lora_E": [
 
6722
  true
6723
  ],
6724
  "model.encoder.layers.4.self_attn.out_proj.lora_E": [
6725
+ true,
6726
+ true,
6727
  false,
6728
  true,
6729
  true,
6730
  true,
6731
+ true,
6732
  true,
6733
  true,
6734
  true,
 
6741
  true,
6742
  false,
6743
  false,
6744
+ true,
6745
  false,
6746
  false,
6747
  false,
 
6785
  true,
6786
  true,
6787
  true,
6788
+ false,
6789
+ false,
6790
  true,
6791
  true,
6792
  true
 
6800
  true,
6801
  false,
6802
  false,
6803
+ false,
6804
  false,
6805
  false,
6806
  false
 
6815
  true,
6816
  true,
6817
  true,
6818
+ true,
6819
+ true,
6820
  false
6821
  ],
6822
  "model.encoder.layers.5.self_attn.q_proj.lora_E": [
 
 
6823
  true,
 
6824
  true,
6825
  true,
6826
  false,
 
6828
  true,
6829
  false,
6830
  false,
6831
+ false,
6832
+ true,
6833
+ false,
6834
  false
6835
  ],
6836
  "model.encoder.layers.5.self_attn.v_proj.lora_E": [
 
6848
  true
6849
  ],
6850
  "model.encoder.layers.6.fc1.lora_E": [
6851
+ false,
6852
  true,
6853
  true,
6854
  true,
 
6863
  ],
6864
  "model.encoder.layers.6.fc2.lora_E": [
6865
  true,
 
 
6866
  true,
6867
  true,
6868
  true,
 
6871
  true,
6872
  true,
6873
  true,
6874
+ true,
6875
+ true,
6876
+ true
6877
  ],
6878
  "model.encoder.layers.6.self_attn.k_proj.lora_E": [
6879
  true,
 
6894
  true,
6895
  true,
6896
  true,
 
6897
  true,
6898
  true,
6899
  true,
6900
  false,
6901
+ false,
6902
  true,
6903
  true,
6904
  true
 
6943
  true,
6944
  false,
6945
  false,
6946
+ true
6947
  ],
6948
  "model.encoder.layers.7.fc2.lora_E": [
6949
  true,
 
6957
  false,
6958
  true,
6959
  true,
6960
+ true
6961
  ],
6962
  "model.encoder.layers.7.self_attn.k_proj.lora_E": [
6963
  false,
 
6975
  ],
6976
  "model.encoder.layers.7.self_attn.out_proj.lora_E": [
6977
  true,
6978
+ false,
6979
  false,
6980
  true,
6981
  true,
 
6983
  true,
6984
  true,
6985
  true,
6986
+ true,
6987
  true,
6988
  true
6989
  ],
 
7034
  true,
7035
  true,
7036
  true,
7037
+ false,
7038
  true,
7039
  true,
7040
  true,
 
7062
  true,
7063
  true,
7064
  true,
 
7065
  true,
7066
  true,
7067
  true,
7068
  true,
7069
  true,
7070
+ false,
7071
  true,
7072
+ false
7073
  ],
7074
  "model.encoder.layers.8.self_attn.q_proj.lora_E": [
7075
  false,
 
7080
  false,
7081
  true,
7082
  true,
7083
+ false,
7084
  false,
7085
  true,
7086
  false
 
7092
  true,
7093
  true,
7094
  true,
 
7095
  false,
7096
  false,
7097
+ false,
7098
+ false,
7099
  false,
7100
  true
7101
  ],
 
7114
  true
7115
  ],
7116
  "model.encoder.layers.9.fc2.lora_E": [
 
7117
  true,
7118
  false,
7119
  true,
 
7124
  true,
7125
  true,
7126
  true,
7127
+ true,
7128
  true
7129
  ],
7130
  "model.encoder.layers.9.self_attn.k_proj.lora_E": [
 
7147
  false,
7148
  true,
7149
  true,
7150
+ true,
7151
  true,
7152
  false,
7153
  true,
7154
  true,
7155
+ true,
7156
+ false
7157
  ],
7158
  "model.encoder.layers.9.self_attn.q_proj.lora_E": [
7159
  false,
 
7181
  true,
7182
  true,
7183
  false,
7184
+ true
7185
  ]
7186
  },
7187
  "target_modules": [
best_checkpoint/adapter_model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:0d05a8e52b294d5a9b41d02cf2ffec6ccd30c2dd987db82729a824a6720c0cdd
3
- size 63012901
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e18b98d760bfa15f2ebada4c7243d0d23f76e0af6b61479e616d2aad2455fd71
3
+ size 62429029
best_checkpoint/optimizer.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:17a2c4f06ed190dbcc39c9df335634e93be8746b61ff3dab632c904798b2b228
3
  size 174313245
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a0cf455e1fad38b5953e215ea6b55a6855142544b37207f9354ab292f1de4e1f
3
  size 174313245
best_checkpoint/random_states_0.pkl CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:3fc40b31081a2edb52ae9e3ac1cd31a0b49592d279122c05ef1e1c8a6ee918e2
3
  size 14663
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e36bb73d6a21a6f33da266ab8319e0950d6a33ea813d581c89f015574d273091
3
  size 14663
best_checkpoint/scaler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:8bbf0fcee7ed755f4f549b73467e729b8a105969b58b258de67b6e818188277e
3
  size 557
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:aba401ff1586de89b49a6f1eae4ae3f15a088461284b471dc76bebe212dd5da7
3
  size 557
best_checkpoint/scheduler.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:e992af16b5125b84d85626bf0d91495fdc7bd5b5cb16f534b337df73e7fa0a4d
3
  size 563
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b6d0cb37fd739566188d39b9547e539c2feca31155f34f3a516b718f06b77754
3
  size 563