README.md

metadata

license: apache-2.0
library_name: peft
tags:
  - axolotl
  - generated_from_trainer
base_model: mistralai/Mistral-7B-v0.1
model-index:
  - name: hc-mistral-alpaca
    results: []

See axolotl config

axolotl version: 0.4.0

base_model: mistralai/Mistral-7B-v0.1
model_type: MistralForCausalLM
tokenizer_type: LlamaTokenizer
is_mistral_derived_model: true

load_in_8bit: false
load_in_4bit: true
strict: false

lora_fan_in_fan_out: false
data_seed: 49
seed: 49

datasets:
  - path: sample_data/alpaca_synth_queries.jsonl
    type: sharegpt
    conversation: alpaca
dataset_prepared_path: last_run_prepared
val_set_size: 0.1
output_dir: ./qlora-alpaca-out
hub_model_id: caldana/hc-mistral-alpaca

adapter: qlora
lora_model_dir:

sequence_len: 896
sample_packing: false
pad_to_sequence_len: true

lora_r: 32
lora_alpha: 16
lora_dropout: 0.05
lora_target_linear: true
lora_fan_in_fan_out:
lora_target_modules:
  - gate_proj
  - down_proj
  - up_proj
  - q_proj
  - v_proj
  - k_proj
  - o_proj

wandb_project: 
wandb_entity: 

gradient_accumulation_steps: 4
micro_batch_size: 16
eval_batch_size: 16
num_epochs: 1000
optimizer: adamw_bnb_8bit
lr_scheduler: cosine
learning_rate: 0.0002
max_grad_norm: 1.0
adam_beta2: 0.95
adam_epsilon: 0.00001
save_total_limit: 12

train_on_inputs: false
group_by_length: false
bf16: true
fp16: false
tf32: false

gradient_checkpointing: true
early_stopping_patience:
resume_from_checkpoint:
local_rank:
logging_steps: 1
xformers_attention:
flash_attention: true

loss_watchdog_threshold: 5.0
loss_watchdog_patience: 3

warmup_steps: 20
evals_per_epoch: 3
eval_table_size:
eval_table_max_new_tokens: 128
saves_per_epoch: 6
debug:
weight_decay: 0.0
fsdp:
fsdp_config:
special_tokens:
  bos_token: "<s>"
  eos_token: "</s>"
  unk_token: "<unk>"
save_safetensors: true

hc-mistral-alpaca

This model is a fine-tuned version of mistralai/Mistral-7B-v0.1 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3172

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0002
• train_batch_size: 16
• eval_batch_size: 16
• seed: 49
• gradient_accumulation_steps: 4
• total_train_batch_size: 64
• optimizer: Adam with betas=(0.9,0.95) and epsilon=1e-05
• lr_scheduler_type: cosine
• lr_scheduler_warmup_steps: 20
• num_epochs: 1000

Training results

Training Loss	Epoch	Step	Validation Loss
1.334	0.6667	1	1.2849
1.3476	1.3333	2	1.2764
1.2978	2.0	3	1.2489
1.3159	2.6667	4	1.1846
1.1755	3.3333	5	1.0708
1.1371	4.0	6	0.9095
0.9384	4.6667	7	0.7200
0.7389	5.3333	8	0.5638
0.5539	6.0	9	0.4326
0.406	6.6667	10	0.3255
0.2777	7.3333	11	0.2892
0.2191	8.0	12	0.2483
0.1747	8.6667	13	0.2174
0.1595	9.3333	14	0.2131
0.1526	10.0	15	0.1747
0.1177	10.6667	16	0.1537
0.087	11.3333	17	0.1459
0.1005	12.0	18	0.1610
0.0823	12.6667	19	0.1739
0.0769	13.3333	20	0.1614
0.0693	14.0	21	0.1523
0.0618	14.6667	22	0.1645
0.0571	15.3333	23	0.1591
0.0468	16.0	24	0.1427
0.0355	16.6667	25	0.1656
0.0355	17.3333	26	0.1900
0.0389	18.0	27	0.1734
0.0314	18.6667	28	0.1780
0.0216	19.3333	29	0.1946
0.027	20.0	30	0.2246
0.0182	20.6667	31	0.2307
0.0159	21.3333	32	0.2404
0.013	22.0	33	0.2605
0.0143	22.6667	34	0.2981
0.0629	23.3333	35	0.2668
0.0128	24.0	36	0.2713
0.0083	24.6667	37	0.2776
0.0138	25.3333	38	0.2692
0.0079	26.0	39	0.2750
0.0061	26.6667	40	0.2842
0.0103	27.3333	41	0.2706
0.0077	28.0	42	0.2726
0.0057	28.6667	43	0.2829
0.0063	29.3333	44	0.2975
0.0049	30.0	45	0.3123
0.0266	30.6667	46	0.3457
0.0029	31.3333	47	0.3873
0.0079	32.0	48	0.3586
0.0024	32.6667	49	0.3548
0.0024	33.3333	50	0.3479
0.0043	34.0	51	0.3543
0.001	34.6667	52	0.3563
0.0088	35.3333	53	0.3501
0.0008	36.0	54	0.3439
0.0025	36.6667	55	0.3281
0.0011	37.3333	56	0.3118
0.0025	38.0	57	0.2821
0.0009	38.6667	58	0.2753
0.0007	39.3333	59	0.2728
0.0037	40.0	60	0.2678
0.0007	40.6667	61	0.2694
0.0007	41.3333	62	0.2733
0.0006	42.0	63	0.2786
0.0008	42.6667	64	0.2866
0.0004	43.3333	65	0.2944
0.0009	44.0	66	0.2939
0.0005	44.6667	67	0.2976
0.0004	45.3333	68	0.2973
0.0008	46.0	69	0.2919
0.0002	46.6667	70	0.2854
0.0002	47.3333	71	0.2830
0.0001	48.0	72	0.2795
0.0001	48.6667	73	0.2784
0.0001	49.3333	74	0.2778
0.0001	50.0	75	0.2797
0.0001	50.6667	76	0.2794
0.0001	51.3333	77	0.2804
0.0001	52.0	78	0.2813
0.0001	52.6667	79	0.2823
0.0001	53.3333	80	0.2875
0.0001	54.0	81	0.2908
0.0001	54.6667	82	0.2953
0.0001	55.3333	83	0.2973
0.0001	56.0	84	0.2999
0.0001	56.6667	85	0.3030
0.0001	57.3333	86	0.3043
0.0001	58.0	87	0.3061
0.0001	58.6667	88	0.3073
0.0001	59.3333	89	0.3089
0.0001	60.0	90	0.3083
0.0001	60.6667	91	0.3032
0.0	61.3333	92	0.3028
0.0	62.0	93	0.3001
0.0	62.6667	94	0.2997
0.0	63.3333	95	0.2975
0.0	64.0	96	0.2991
0.0	64.6667	97	0.2969
0.0	65.3333	98	0.2976
0.0	66.0	99	0.2963
0.0	66.6667	100	0.2980
0.0	67.3333	101	0.2965
0.0	68.0	102	0.2968
0.0	68.6667	103	0.2971
0.0	69.3333	104	0.2958
0.0	70.0	105	0.2966
0.0	70.6667	106	0.2962
0.0	71.3333	107	0.2964
0.0	72.0	108	0.2967
0.0	72.6667	109	0.2985
0.0	73.3333	110	0.2980
0.0	74.0	111	0.2961
0.0	74.6667	112	0.2956
0.0	75.3333	113	0.2976
0.0	76.0	114	0.2946
0.0	76.6667	115	0.2961
0.0	77.3333	116	0.2969
0.0	78.0	117	0.2977
0.0	78.6667	118	0.2968
0.0	79.3333	119	0.2989
0.0	80.0	120	0.2996
0.0	80.6667	121	0.2970
0.0	81.3333	122	0.3008
0.0	82.0	123	0.2981
0.0	82.6667	124	0.2977
0.0	83.3333	125	0.2986
0.0	84.0	126	0.2997
0.0	84.6667	127	0.2980
0.0	85.3333	128	0.2997
0.0	86.0	129	0.2992
0.0	86.6667	130	0.2985
0.0	87.3333	131	0.3001
0.0	88.0	132	0.2994
0.0	88.6667	133	0.3002
0.0	89.3333	134	0.2980
0.0	90.0	135	0.2997
0.0	90.6667	136	0.2992
0.0	91.3333	137	0.2989
0.0	92.0	138	0.2996
0.0	92.6667	139	0.3013
0.0	93.3333	140	0.2990
0.0	94.0	141	0.2998
0.0	94.6667	142	0.2979
0.0	95.3333	143	0.3010
0.0	96.0	144	0.2998
0.0	96.6667	145	0.3021
0.0	97.3333	146	0.3003
0.0	98.0	147	0.3026
0.0	98.6667	148	0.3015
0.0	99.3333	149	0.3018
0.0	100.0	150	0.2995
0.0	100.6667	151	0.3006
0.0	101.3333	152	0.3013
0.0	102.0	153	0.3029
0.0	102.6667	154	0.3018
0.0	103.3333	155	0.3008
0.0	104.0	156	0.3003
0.0	104.6667	157	0.3034
0.0	105.3333	158	0.3029
0.0	106.0	159	0.3026
0.0	106.6667	160	0.3039
0.0	107.3333	161	0.3024
0.0	108.0	162	0.3029
0.0	108.6667	163	0.3047
0.0	109.3333	164	0.3017
0.0	110.0	165	0.3024
0.0	110.6667	166	0.3025
0.0	111.3333	167	0.3022
0.0	112.0	168	0.3039
0.0	112.6667	169	0.3027
0.0	113.3333	170	0.3031
0.0	114.0	171	0.3031
0.0	114.6667	172	0.3034
0.0	115.3333	173	0.3031
0.0	116.0	174	0.3025
0.0	116.6667	175	0.3036
0.0	117.3333	176	0.3033
0.0	118.0	177	0.3031
0.0	118.6667	178	0.3042
0.0	119.3333	179	0.3036
0.0	120.0	180	0.3047
0.0	120.6667	181	0.3043
0.0	121.3333	182	0.3036
0.0	122.0	183	0.3052
0.0	122.6667	184	0.3034
0.0	123.3333	185	0.3038
0.0	124.0	186	0.3048
0.0	124.6667	187	0.3049
0.0	125.3333	188	0.3032
0.0	126.0	189	0.3039
0.0	126.6667	190	0.3029
0.0	127.3333	191	0.3042
0.0	128.0	192	0.3031
0.0	128.6667	193	0.3060
0.0	129.3333	194	0.3050
0.0	130.0	195	0.3028
0.0	130.6667	196	0.3047
0.0	131.3333	197	0.3033
0.0	132.0	198	0.3044
0.0	132.6667	199	0.3048
0.0	133.3333	200	0.3050
0.0	134.0	201	0.3042
0.0	134.6667	202	0.3049
0.0	135.3333	203	0.3038
0.0	136.0	204	0.3048
0.0	136.6667	205	0.3062
0.0	137.3333	206	0.3053
0.0	138.0	207	0.3046
0.0	138.6667	208	0.3064
0.0	139.3333	209	0.3039
0.0	140.0	210	0.3051
0.0	140.6667	211	0.3059
0.0	141.3333	212	0.3062
0.0	142.0	213	0.3054
0.0	142.6667	214	0.3046
0.0	143.3333	215	0.3044
0.0	144.0	216	0.3055
0.0	144.6667	217	0.3071
0.0	145.3333	218	0.3065
0.0	146.0	219	0.3048
0.0	146.6667	220	0.3051
0.0	147.3333	221	0.3066
0.0	148.0	222	0.3069
0.0	148.6667	223	0.3070
0.0	149.3333	224	0.3069
0.0	150.0	225	0.3061
0.0	150.6667	226	0.3064
0.0	151.3333	227	0.3071
0.0	152.0	228	0.3076
0.0	152.6667	229	0.3074
0.0	153.3333	230	0.3082
0.0	154.0	231	0.3077
0.0	154.6667	232	0.3059
0.0	155.3333	233	0.3084
0.0	156.0	234	0.3066
0.0	156.6667	235	0.3076
0.0	157.3333	236	0.3093
0.0	158.0	237	0.3077
0.0	158.6667	238	0.3070
0.0	159.3333	239	0.3086
0.0	160.0	240	0.3084
0.0	160.6667	241	0.3080
0.0	161.3333	242	0.3079
0.0	162.0	243	0.3084
0.0	162.6667	244	0.3087
0.0	163.3333	245	0.3075
0.0	164.0	246	0.3082
0.0	164.6667	247	0.3096
0.0	165.3333	248	0.3086
0.0	166.0	249	0.3072
0.0	166.6667	250	0.3098
0.0	167.3333	251	0.3076
0.0	168.0	252	0.3093
0.0	168.6667	253	0.3085
0.0	169.3333	254	0.3091
0.0	170.0	255	0.3078
0.0	170.6667	256	0.3096
0.0	171.3333	257	0.3085
0.0	172.0	258	0.3087
0.0	172.6667	259	0.3084
0.0	173.3333	260	0.3088
0.0	174.0	261	0.3091
0.0	174.6667	262	0.3099
0.0	175.3333	263	0.3094
0.0	176.0	264	0.3094
0.0	176.6667	265	0.3094
0.0	177.3333	266	0.3085
0.0	178.0	267	0.3080
0.0	178.6667	268	0.3076
0.0	179.3333	269	0.3097
0.0	180.0	270	0.3104
0.0	180.6667	271	0.3087
0.0	181.3333	272	0.3086
0.0	182.0	273	0.3103
0.0	182.6667	274	0.3106
0.0	183.3333	275	0.3084
0.0	184.0	276	0.3114
0.0	184.6667	277	0.3095
0.0	185.3333	278	0.3103
0.0	186.0	279	0.3098
0.0	186.6667	280	0.3098
0.0	187.3333	281	0.3111
0.0	188.0	282	0.3115
0.0	188.6667	283	0.3114
0.0	189.3333	284	0.3098
0.0	190.0	285	0.3116
0.0	190.6667	286	0.3101
0.0	191.3333	287	0.3117
0.0	192.0	288	0.3093
0.0	192.6667	289	0.3126
0.0	193.3333	290	0.3124
0.0	194.0	291	0.3110
0.0	194.6667	292	0.3126
0.0	195.3333	293	0.3102
0.0	196.0	294	0.3112
0.0	196.6667	295	0.3116
0.0	197.3333	296	0.3119
0.0	198.0	297	0.3101
0.0	198.6667	298	0.3109
0.0	199.3333	299	0.3126
0.0	200.0	300	0.3111
0.0	200.6667	301	0.3124
0.0	201.3333	302	0.3126
0.0	202.0	303	0.3120
0.0	202.6667	304	0.3141
0.0	203.3333	305	0.3126
0.0	204.0	306	0.3139
0.0	204.6667	307	0.3117
0.0	205.3333	308	0.3134
0.0	206.0	309	0.3109
0.0	206.6667	310	0.3122
0.0	207.3333	311	0.3116
0.0	208.0	312	0.3126
0.0	208.6667	313	0.3127
0.0	209.3333	314	0.3130
0.0	210.0	315	0.3130
0.0	210.6667	316	0.3135
0.0	211.3333	317	0.3137
0.0	212.0	318	0.3119
0.0	212.6667	319	0.3133
0.0	213.3333	320	0.3131
0.0	214.0	321	0.3129
0.0	214.6667	322	0.3138
0.0	215.3333	323	0.3115
0.0	216.0	324	0.3109
0.0	216.6667	325	0.3123
0.0	217.3333	326	0.3123
0.0	218.0	327	0.3136
0.0	218.6667	328	0.3135
0.0	219.3333	329	0.3150
0.0	220.0	330	0.3123
0.0	220.6667	331	0.3131
0.0	221.3333	332	0.3137
0.0	222.0	333	0.3150
0.0	222.6667	334	0.3152
0.0	223.3333	335	0.3121
0.0	224.0	336	0.3167
0.0	224.6667	337	0.3146
0.0	225.3333	338	0.3144
0.0	226.0	339	0.3148
0.0	226.6667	340	0.3138
0.0	227.3333	341	0.3138
0.0	228.0	342	0.3155
0.0	228.6667	343	0.3155
0.0	229.3333	344	0.3157
0.0	230.0	345	0.3137
0.0	230.6667	346	0.3144
0.0	231.3333	347	0.3150
0.0	232.0	348	0.3142
0.0	232.6667	349	0.3142
0.0	233.3333	350	0.3155
0.0	234.0	351	0.3134
0.0	234.6667	352	0.3156
0.0	235.3333	353	0.3141
0.0	236.0	354	0.3152
0.0	236.6667	355	0.3144
0.0	237.3333	356	0.3132
0.0	238.0	357	0.3140
0.0	238.6667	358	0.3148
0.0	239.3333	359	0.3151
0.0	240.0	360	0.3154
0.0	240.6667	361	0.3170
0.0	241.3333	362	0.3150
0.0	242.0	363	0.3159
0.0	242.6667	364	0.3153
0.0	243.3333	365	0.3166
0.0	244.0	366	0.3156
0.0	244.6667	367	0.3149
0.0	245.3333	368	0.3173
0.0	246.0	369	0.3147
0.0	246.6667	370	0.3174
0.0	247.3333	371	0.3174
0.0	248.0	372	0.3178
0.0	248.6667	373	0.3150
0.0	249.3333	374	0.3162
0.0	250.0	375	0.3142
0.0	250.6667	376	0.3158
0.0	251.3333	377	0.3149
0.0	252.0	378	0.3170
0.0	252.6667	379	0.3155
0.0	253.3333	380	0.3154
0.0	254.0	381	0.3134
0.0	254.6667	382	0.3141
0.0	255.3333	383	0.3160
0.0	256.0	384	0.3176
0.0	256.6667	385	0.3175
0.0	257.3333	386	0.3163
0.0	258.0	387	0.3193
0.0	258.6667	388	0.3181
0.0	259.3333	389	0.3156
0.0	260.0	390	0.3172
0.0	260.6667	391	0.3165
0.0	261.3333	392	0.3165
0.0	262.0	393	0.3161
0.0	262.6667	394	0.3166
0.0	263.3333	395	0.3148
0.0	264.0	396	0.3170
0.0	264.6667	397	0.3141
0.0	265.3333	398	0.3172
0.0	266.0	399	0.3169
0.0	266.6667	400	0.3160
0.0	267.3333	401	0.3164
0.0	268.0	402	0.3170
0.0	268.6667	403	0.3161
0.0	269.3333	404	0.3151
0.0	270.0	405	0.3163
0.0	270.6667	406	0.3164
0.0	271.3333	407	0.3168
0.0	272.0	408	0.3167
0.0	272.6667	409	0.3174
0.0	273.3333	410	0.3144
0.0	274.0	411	0.3146
0.0	274.6667	412	0.3181
0.0	275.3333	413	0.3166
0.0	276.0	414	0.3172
0.0	276.6667	415	0.3157
0.0	277.3333	416	0.3180
0.0	278.0	417	0.3170
0.0	278.6667	418	0.3160
0.0	279.3333	419	0.3163
0.0	280.0	420	0.3171
0.0	280.6667	421	0.3161
0.0	281.3333	422	0.3157
0.0	282.0	423	0.3161
0.0	282.6667	424	0.3171
0.0	283.3333	425	0.3164
0.0	284.0	426	0.3169
0.0	284.6667	427	0.3167
0.0	285.3333	428	0.3183
0.0	286.0	429	0.3180
0.0	286.6667	430	0.3169
0.0	287.3333	431	0.3182
0.0	288.0	432	0.3163
0.0	288.6667	433	0.3169
0.0	289.3333	434	0.3178
0.0	290.0	435	0.3191
0.0	290.6667	436	0.3200
0.0	291.3333	437	0.3174
0.0	292.0	438	0.3143
0.0	292.6667	439	0.3178
0.0	293.3333	440	0.3162
0.0	294.0	441	0.3178
0.0	294.6667	442	0.3168
0.0	295.3333	443	0.3184
0.0	296.0	444	0.3160
0.0	296.6667	445	0.3168
0.0	297.3333	446	0.3171
0.0	298.0	447	0.3159
0.0	298.6667	448	0.3170
0.0	299.3333	449	0.3172
0.0	300.0	450	0.3182
0.0	300.6667	451	0.3173
0.0	301.3333	452	0.3158
0.0	302.0	453	0.3178
0.0	302.6667	454	0.3166
0.0	303.3333	455	0.3167
0.0	304.0	456	0.3151
0.0	304.6667	457	0.3179
0.0	305.3333	458	0.3174
0.0	306.0	459	0.3162
0.0	306.6667	460	0.3175
0.0	307.3333	461	0.3179
0.0	308.0	462	0.3151
0.0	308.6667	463	0.3167
0.0	309.3333	464	0.3176
0.0	310.0	465	0.3169
0.0	310.6667	466	0.3188
0.0	311.3333	467	0.3176
0.0	312.0	468	0.3171
0.0	312.6667	469	0.3182
0.0	313.3333	470	0.3176
0.0	314.0	471	0.3171
0.0	314.6667	472	0.3183
0.0	315.3333	473	0.3165
0.0	316.0	474	0.3170
0.0	316.6667	475	0.3171
0.0	317.3333	476	0.3166
0.0	318.0	477	0.3175
0.0	318.6667	478	0.3153
0.0	319.3333	479	0.3180
0.0	320.0	480	0.3160
0.0	320.6667	481	0.3191
0.0	321.3333	482	0.3165
0.0	322.0	483	0.3182
0.0	322.6667	484	0.3166
0.0	323.3333	485	0.3171
0.0	324.0	486	0.3207
0.0	324.6667	487	0.3165
0.0	325.3333	488	0.3172
0.0	326.0	489	0.3182
0.0	326.6667	490	0.3175
0.0	327.3333	491	0.3192
0.0	328.0	492	0.3174
0.0	328.6667	493	0.3166
0.0	329.3333	494	0.3156
0.0	330.0	495	0.3172
0.0	330.6667	496	0.3163
0.0	331.3333	497	0.3169
0.0	332.0	498	0.3166
0.0	332.6667	499	0.3185
0.0	333.3333	500	0.3169
0.0	334.0	501	0.3188
0.0	334.6667	502	0.3182
0.0	335.3333	503	0.3171
0.0	336.0	504	0.3195
0.0	336.6667	505	0.3167
0.0	337.3333	506	0.3169
0.0	338.0	507	0.3189
0.0	338.6667	508	0.3183
0.0	339.3333	509	0.3170
0.0	340.0	510	0.3185
0.0	340.6667	511	0.3178
0.0	341.3333	512	0.3177
0.0	342.0	513	0.3174
0.0	342.6667	514	0.3177
0.0	343.3333	515	0.3165
0.0	344.0	516	0.3175
0.0	344.6667	517	0.3177
0.0	345.3333	518	0.3186
0.0	346.0	519	0.3170
0.0	346.6667	520	0.3188
0.0	347.3333	521	0.3183
0.0	348.0	522	0.3168
0.0	348.6667	523	0.3161
0.0	349.3333	524	0.3166
0.0	350.0	525	0.3178
0.0	350.6667	526	0.3185
0.0	351.3333	527	0.3189
0.0	352.0	528	0.3176
0.0	352.6667	529	0.3162
0.0	353.3333	530	0.3166
0.0	354.0	531	0.3158
0.0	354.6667	532	0.3177
0.0	355.3333	533	0.3192
0.0	356.0	534	0.3179
0.0	356.6667	535	0.3181
0.0	357.3333	536	0.3178
0.0	358.0	537	0.3174
0.0	358.6667	538	0.3187
0.0	359.3333	539	0.3185
0.0	360.0	540	0.3176
0.0	360.6667	541	0.3172
0.0	361.3333	542	0.3177
0.0	362.0	543	0.3184
0.0	362.6667	544	0.3174
0.0	363.3333	545	0.3180
0.0	364.0	546	0.3166
0.0	364.6667	547	0.3185
0.0	365.3333	548	0.3184
0.0	366.0	549	0.3170
0.0	366.6667	550	0.3176
0.0	367.3333	551	0.3188
0.0	368.0	552	0.3159
0.0	368.6667	553	0.3187
0.0	369.3333	554	0.3168
0.0	370.0	555	0.3172
0.0	370.6667	556	0.3182
0.0	371.3333	557	0.3196
0.0	372.0	558	0.3187
0.0	372.6667	559	0.3176
0.0	373.3333	560	0.3163
0.0	374.0	561	0.3194
0.0	374.6667	562	0.3178
0.0	375.3333	563	0.3198
0.0	376.0	564	0.3162
0.0	376.6667	565	0.3179
0.0	377.3333	566	0.3190
0.0	378.0	567	0.3197
0.0	378.6667	568	0.3174
0.0	379.3333	569	0.3162
0.0	380.0	570	0.3198
0.0	380.6667	571	0.3198
0.0	381.3333	572	0.3173
0.0	382.0	573	0.3167
0.0	382.6667	574	0.3163
0.0	383.3333	575	0.3168
0.0	384.0	576	0.3204
0.0	384.6667	577	0.3167
0.0	385.3333	578	0.3152
0.0	386.0	579	0.3184
0.0	386.6667	580	0.3176
0.0	387.3333	581	0.3171
0.0	388.0	582	0.3166
0.0	388.6667	583	0.3177
0.0	389.3333	584	0.3171
0.0	390.0	585	0.3165
0.0	390.6667	586	0.3183
0.0	391.3333	587	0.3169
0.0	392.0	588	0.3154
0.0	392.6667	589	0.3167
0.0	393.3333	590	0.3169
0.0	394.0	591	0.3189
0.0	394.6667	592	0.3171
0.0	395.3333	593	0.3178
0.0	396.0	594	0.3175
0.0	396.6667	595	0.3161
0.0	397.3333	596	0.3168
0.0	398.0	597	0.3169
0.0	398.6667	598	0.3189
0.0	399.3333	599	0.3178
0.0	400.0	600	0.3173
0.0	400.6667	601	0.3177
0.0	401.3333	602	0.3170
0.0	402.0	603	0.3180
0.0	402.6667	604	0.3179
0.0	403.3333	605	0.3157
0.0	404.0	606	0.3177
0.0	404.6667	607	0.3180
0.0	405.3333	608	0.3177
0.0	406.0	609	0.3185
0.0	406.6667	610	0.3179
0.0	407.3333	611	0.3172
0.0	408.0	612	0.3173
0.0	408.6667	613	0.3181
0.0	409.3333	614	0.3154
0.0	410.0	615	0.3196
0.0	410.6667	616	0.3192
0.0	411.3333	617	0.3182
0.0	412.0	618	0.3191
0.0	412.6667	619	0.3177
0.0	413.3333	620	0.3186
0.0	414.0	621	0.3167
0.0	414.6667	622	0.3175
0.0	415.3333	623	0.3175
0.0	416.0	624	0.3172
0.0	416.6667	625	0.3193
0.0	417.3333	626	0.3173
0.0	418.0	627	0.3186
0.0	418.6667	628	0.3183
0.0	419.3333	629	0.3175
0.0	420.0	630	0.3184
0.0	420.6667	631	0.3182
0.0	421.3333	632	0.3181
0.0	422.0	633	0.3171
0.0	422.6667	634	0.3171
0.0	423.3333	635	0.3172
0.0	424.0	636	0.3190
0.0	424.6667	637	0.3179
0.0	425.3333	638	0.3168
0.0	426.0	639	0.3190
0.0	426.6667	640	0.3195
0.0	427.3333	641	0.3174
0.0	428.0	642	0.3193
0.0	428.6667	643	0.3177
0.0	429.3333	644	0.3184
0.0	430.0	645	0.3175
0.0	430.6667	646	0.3186
0.0	431.3333	647	0.3171
0.0	432.0	648	0.3177
0.0	432.6667	649	0.3172
0.0	433.3333	650	0.3181
0.0	434.0	651	0.3193
0.0	434.6667	652	0.3176
0.0	435.3333	653	0.3185
0.0	436.0	654	0.3180
0.0	436.6667	655	0.3193
0.0	437.3333	656	0.3186
0.0	438.0	657	0.3158
0.0	438.6667	658	0.3183
0.0	439.3333	659	0.3195
0.0	440.0	660	0.3179
0.0	440.6667	661	0.3178
0.0	441.3333	662	0.3184
0.0	442.0	663	0.3180
0.0	442.6667	664	0.3180
0.0	443.3333	665	0.3162
0.0	444.0	666	0.3172
0.0	444.6667	667	0.3171
0.0	445.3333	668	0.3198
0.0	446.0	669	0.3179
0.0	446.6667	670	0.3187
0.0	447.3333	671	0.3172
0.0	448.0	672	0.3175
0.0	448.6667	673	0.3174
0.0	449.3333	674	0.3171
0.0	450.0	675	0.3180
0.0	450.6667	676	0.3181
0.0	451.3333	677	0.3176
0.0	452.0	678	0.3161
0.0	452.6667	679	0.3184
0.0	453.3333	680	0.3159
0.0	454.0	681	0.3186
0.0	454.6667	682	0.3167
0.0	455.3333	683	0.3180
0.0	456.0	684	0.3185
0.0	456.6667	685	0.3184
0.0	457.3333	686	0.3175
0.0	458.0	687	0.3178
0.0	458.6667	688	0.3179
0.0	459.3333	689	0.3156
0.0	460.0	690	0.3174
0.0	460.6667	691	0.3182
0.0	461.3333	692	0.3197
0.0	462.0	693	0.3186
0.0	462.6667	694	0.3192
0.0	463.3333	695	0.3186
0.0	464.0	696	0.3168
0.0	464.6667	697	0.3184
0.0	465.3333	698	0.3209
0.0	466.0	699	0.3195
0.0	466.6667	700	0.3173
0.0	467.3333	701	0.3174
0.0	468.0	702	0.3157
0.0	468.6667	703	0.3187
0.0	469.3333	704	0.3183
0.0	470.0	705	0.3181
0.0	470.6667	706	0.3169
0.0	471.3333	707	0.3194
0.0	472.0	708	0.3177
0.0	472.6667	709	0.3185
0.0	473.3333	710	0.3196
0.0	474.0	711	0.3174
0.0	474.6667	712	0.3170
0.0	475.3333	713	0.3192
0.0	476.0	714	0.3181
0.0	476.6667	715	0.3184
0.0	477.3333	716	0.3158
0.0	478.0	717	0.3176
0.0	478.6667	718	0.3171
0.0	479.3333	719	0.3173
0.0	480.0	720	0.3177
0.0	480.6667	721	0.3183
0.0	481.3333	722	0.3169
0.0	482.0	723	0.3165
0.0	482.6667	724	0.3175
0.0	483.3333	725	0.3169
0.0	484.0	726	0.3166
0.0	484.6667	727	0.3166
0.0	485.3333	728	0.3190
0.0	486.0	729	0.3188
0.0	486.6667	730	0.3170
0.0	487.3333	731	0.3180
0.0	488.0	732	0.3182
0.0	488.6667	733	0.3166
0.0	489.3333	734	0.3183
0.0	490.0	735	0.3164
0.0	490.6667	736	0.3180
0.0	491.3333	737	0.3166
0.0	492.0	738	0.3190
0.0	492.6667	739	0.3174
0.0	493.3333	740	0.3168
0.0	494.0	741	0.3172
0.0	494.6667	742	0.3157
0.0	495.3333	743	0.3177
0.0	496.0	744	0.3172
0.0	496.6667	745	0.3180
0.0	497.3333	746	0.3175
0.0	498.0	747	0.3178
0.0	498.6667	748	0.3185
0.0	499.3333	749	0.3174
0.0	500.0	750	0.3185
0.0	500.6667	751	0.3172
0.0	501.3333	752	0.3159
0.0	502.0	753	0.3194
0.0	502.6667	754	0.3190
0.0	503.3333	755	0.3169
0.0	504.0	756	0.3166
0.0	504.6667	757	0.3174
0.0	505.3333	758	0.3148
0.0	506.0	759	0.3168
0.0	506.6667	760	0.3177
0.0	507.3333	761	0.3176
0.0	508.0	762	0.3176
0.0	508.6667	763	0.3189
0.0	509.3333	764	0.3184
0.0	510.0	765	0.3202
0.0	510.6667	766	0.3151
0.0	511.3333	767	0.3177
0.0	512.0	768	0.3188
0.0	512.6667	769	0.3171
0.0	513.3333	770	0.3178
0.0	514.0	771	0.3189
0.0	514.6667	772	0.3175
0.0	515.3333	773	0.3174
0.0	516.0	774	0.3169
0.0	516.6667	775	0.3193
0.0	517.3333	776	0.3184
0.0	518.0	777	0.3177
0.0	518.6667	778	0.3177
0.0	519.3333	779	0.3195
0.0	520.0	780	0.3188
0.0	520.6667	781	0.3179
0.0	521.3333	782	0.3163
0.0	522.0	783	0.3161
0.0	522.6667	784	0.3173
0.0	523.3333	785	0.3174
0.0	524.0	786	0.3186
0.0	524.6667	787	0.3177
0.0	525.3333	788	0.3182
0.0	526.0	789	0.3167
0.0	526.6667	790	0.3172
0.0	527.3333	791	0.3180
0.0	528.0	792	0.3166
0.0	528.6667	793	0.3177
0.0	529.3333	794	0.3163
0.0	530.0	795	0.3175
0.0	530.6667	796	0.3192
0.0	531.3333	797	0.3199
0.0	532.0	798	0.3194
0.0	532.6667	799	0.3171
0.0	533.3333	800	0.3178
0.0	534.0	801	0.3178
0.0	534.6667	802	0.3170
0.0	535.3333	803	0.3172
0.0	536.0	804	0.3199
0.0	536.6667	805	0.3177
0.0	537.3333	806	0.3170
0.0	538.0	807	0.3166
0.0	538.6667	808	0.3159
0.0	539.3333	809	0.3177
0.0	540.0	810	0.3181
0.0	540.6667	811	0.3184
0.0	541.3333	812	0.3183
0.0	542.0	813	0.3175
0.0	542.6667	814	0.3174
0.0	543.3333	815	0.3183
0.0	544.0	816	0.3171
0.0	544.6667	817	0.3180
0.0	545.3333	818	0.3200
0.0	546.0	819	0.3165
0.0	546.6667	820	0.3168
0.0	547.3333	821	0.3175
0.0	548.0	822	0.3173
0.0	548.6667	823	0.3187
0.0	549.3333	824	0.3181
0.0	550.0	825	0.3178
0.0	550.6667	826	0.3176
0.0	551.3333	827	0.3191
0.0	552.0	828	0.3174
0.0	552.6667	829	0.3178
0.0	553.3333	830	0.3186
0.0	554.0	831	0.3167
0.0	554.6667	832	0.3166
0.0	555.3333	833	0.3161
0.0	556.0	834	0.3190
0.0	556.6667	835	0.3196
0.0	557.3333	836	0.3190
0.0	558.0	837	0.3183
0.0	558.6667	838	0.3178
0.0	559.3333	839	0.3184
0.0	560.0	840	0.3164
0.0	560.6667	841	0.3177
0.0	561.3333	842	0.3203
0.0	562.0	843	0.3187
0.0	562.6667	844	0.3188
0.0	563.3333	845	0.3179
0.0	564.0	846	0.3180
0.0	564.6667	847	0.3178
0.0	565.3333	848	0.3168
0.0	566.0	849	0.3182
0.0	566.6667	850	0.3191
0.0	567.3333	851	0.3186
0.0	568.0	852	0.3162
0.0	568.6667	853	0.3183
0.0	569.3333	854	0.3173
0.0	570.0	855	0.3193
0.0	570.6667	856	0.3193
0.0	571.3333	857	0.3180
0.0	572.0	858	0.3179
0.0	572.6667	859	0.3170
0.0	573.3333	860	0.3183
0.0	574.0	861	0.3200
0.0	574.6667	862	0.3170
0.0	575.3333	863	0.3190
0.0	576.0	864	0.3178
0.0	576.6667	865	0.3183
0.0	577.3333	866	0.3183
0.0	578.0	867	0.3172
0.0	578.6667	868	0.3192
0.0	579.3333	869	0.3197
0.0	580.0	870	0.3163
0.0	580.6667	871	0.3178
0.0	581.3333	872	0.3167
0.0	582.0	873	0.3196
0.0	582.6667	874	0.3188
0.0	583.3333	875	0.3181
0.0	584.0	876	0.3182
0.0	584.6667	877	0.3187
0.0	585.3333	878	0.3208
0.0	586.0	879	0.3174
0.0	586.6667	880	0.3189
0.0	587.3333	881	0.3172
0.0	588.0	882	0.3187
0.0	588.6667	883	0.3177
0.0	589.3333	884	0.3179
0.0	590.0	885	0.3177
0.0	590.6667	886	0.3178
0.0	591.3333	887	0.3176
0.0	592.0	888	0.3166
0.0	592.6667	889	0.3169
0.0	593.3333	890	0.3176
0.0	594.0	891	0.3183
0.0	594.6667	892	0.3176
0.0	595.3333	893	0.3194
0.0	596.0	894	0.3165
0.0	596.6667	895	0.3181
0.0	597.3333	896	0.3178
0.0	598.0	897	0.3184
0.0	598.6667	898	0.3186
0.0	599.3333	899	0.3182
0.0	600.0	900	0.3177
0.0	600.6667	901	0.3197
0.0	601.3333	902	0.3163
0.0	602.0	903	0.3174
0.0	602.6667	904	0.3161
0.0	603.3333	905	0.3196
0.0	604.0	906	0.3173
0.0	604.6667	907	0.3179
0.0	605.3333	908	0.3179
0.0	606.0	909	0.3194
0.0	606.6667	910	0.3177
0.0	607.3333	911	0.3176
0.0	608.0	912	0.3193
0.0	608.6667	913	0.3174
0.0	609.3333	914	0.3195
0.0	610.0	915	0.3185
0.0	610.6667	916	0.3185
0.0	611.3333	917	0.3175
0.0	612.0	918	0.3185
0.0	612.6667	919	0.3183
0.0	613.3333	920	0.3179
0.0	614.0	921	0.3182
0.0	614.6667	922	0.3166
0.0	615.3333	923	0.3187
0.0	616.0	924	0.3188
0.0	616.6667	925	0.3175
0.0	617.3333	926	0.3195
0.0	618.0	927	0.3183
0.0	618.6667	928	0.3176
0.0	619.3333	929	0.3168
0.0	620.0	930	0.3163
0.0	620.6667	931	0.3172
0.0	621.3333	932	0.3181
0.0	622.0	933	0.3191
0.0	622.6667	934	0.3183
0.0	623.3333	935	0.3194
0.0	624.0	936	0.3197
0.0	624.6667	937	0.3186
0.0	625.3333	938	0.3179
0.0	626.0	939	0.3190
0.0	626.6667	940	0.3199
0.0	627.3333	941	0.3170
0.0	628.0	942	0.3174
0.0	628.6667	943	0.3187
0.0	629.3333	944	0.3172
0.0	630.0	945	0.3167
0.0	630.6667	946	0.3168
0.0	631.3333	947	0.3176
0.0	632.0	948	0.3185
0.0	632.6667	949	0.3190
0.0	633.3333	950	0.3187
0.0	634.0	951	0.3188
0.0	634.6667	952	0.3192
0.0	635.3333	953	0.3173
0.0	636.0	954	0.3196
0.0	636.6667	955	0.3190
0.0	637.3333	956	0.3197
0.0	638.0	957	0.3182
0.0	638.6667	958	0.3179
0.0	639.3333	959	0.3171
0.0	640.0	960	0.3173
0.0	640.6667	961	0.3183
0.0	641.3333	962	0.3189
0.0	642.0	963	0.3187
0.0	642.6667	964	0.3182
0.0	643.3333	965	0.3188
0.0	644.0	966	0.3177
0.0	644.6667	967	0.3176
0.0	645.3333	968	0.3178
0.0	646.0	969	0.3166
0.0	646.6667	970	0.3168
0.0	647.3333	971	0.3165
0.0	648.0	972	0.3163
0.0	648.6667	973	0.3169
0.0	649.3333	974	0.3172
0.0	650.0	975	0.3175
0.0	650.6667	976	0.3175
0.0	651.3333	977	0.3175
0.0	652.0	978	0.3173
0.0	652.6667	979	0.3173
0.0	653.3333	980	0.3172
0.0	654.0	981	0.3172
0.0	654.6667	982	0.3172
0.0	655.3333	983	0.3172
0.0	656.0	984	0.3172
0.0	656.6667	985	0.3172
0.0	657.3333	986	0.3172
0.0	658.0	987	0.3172
0.0	658.6667	988	0.3172
0.0	659.3333	989	0.3170
0.0	660.0	990	0.3172
0.0	660.6667	991	0.3172
0.0	661.3333	992	0.3172
0.0	662.0	993	0.3172
0.0	662.6667	994	0.3172
0.0	663.3333	995	0.3172
0.0	664.0	996	0.3172
0.0	664.6667	997	0.3172
0.0	665.3333	998	0.3172
0.0	666.0	999	0.3172
0.0	666.6667	1000	0.3172

Framework versions

• PEFT 0.10.0
• Transformers 4.40.2
• Pytorch 2.3.0+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1