vuiseng9
/

ov-opt-350m-8bit-85pc-sparse-kv-cache

Text Generation

Generated from Trainer

Inference Endpoints

text-generation-inference

Model card Files Files and versions Community

ov-opt-350m-8bit-85pc-sparse-kv-cache / tld-notes.txt

vuiseng9's picture

Add tld config and guide

7d6d1c1 8 months ago

raw history blame contribute delete

No virus

1.97 kB


	# how to run tld with this model:

	benchmark_app -hint none -api sync -niter 100 \
	-m ov-opt-350m-8bit-85pc-sparse-kv-cache/openvino_model.xml \
	-load_config ov-opt-350m-8bit-85pc-sparse-kv-cache/ov_rt_tld.json \
	-shape input_ids[1,1],past_key_values.0.key[1,16,33,64],past_key_values.0.value[1,16,33,64],past_key_values.1.key[1,16,33,64],past_key_values.1.value[1,16,33,64],past_key_values.2.key[1,16,33,64],past_key_values.2.value[1,16,33,64],past_key_values.3.key[1,16,33,64],past_key_values.3.value[1,16,33,64],past_key_values.4.key[1,16,33,64],past_key_values.4.value[1,16,33,64],past_key_values.5.key[1,16,33,64],past_key_values.5.value[1,16,33,64],past_key_values.6.key[1,16,33,64],past_key_values.6.value[1,16,33,64],past_key_values.7.key[1,16,33,64],past_key_values.7.value[1,16,33,64],past_key_values.8.key[1,16,33,64],past_key_values.8.value[1,16,33,64],past_key_values.9.key[1,16,33,64],past_key_values.9.value[1,16,33,64],past_key_values.10.key[1,16,33,64],past_key_values.10.value[1,16,33,64],past_key_values.11.key[1,16,33,64],past_key_values.11.value[1,16,33,64],past_key_values.12.key[1,16,33,64],past_key_values.12.value[1,16,33,64],past_key_values.13.key[1,16,33,64],past_key_values.13.value[1,16,33,64],past_key_values.14.key[1,16,33,64],past_key_values.14.value[1,16,33,64],past_key_values.15.key[1,16,33,64],past_key_values.15.value[1,16,33,64],past_key_values.16.key[1,16,33,64],past_key_values.16.value[1,16,33,64],past_key_values.17.key[1,16,33,64],past_key_values.17.value[1,16,33,64],past_key_values.18.key[1,16,33,64],past_key_values.18.value[1,16,33,64],past_key_values.19.key[1,16,33,64],past_key_values.19.value[1,16,33,64],past_key_values.20.key[1,16,33,64],past_key_values.20.value[1,16,33,64],past_key_values.21.key[1,16,33,64],past_key_values.21.value[1,16,33,64],past_key_values.22.key[1,16,33,64],past_key_values.22.value[1,16,33,64],past_key_values.23.key[1,16,33,64],past_key_values.23.value[1,16,33,64],attention_mask[1,34]