vuiseng9 commited on
Commit
7d6d1c1
1 Parent(s): e18b33e

Add tld config and guide

Browse files
Files changed (2) hide show
  1. ov_rt_tld.json +5 -0
  2. tld-notes.txt +7 -0
ov_rt_tld.json ADDED
@@ -0,0 +1,5 @@
 
 
 
 
 
 
1
+ {
2
+ "CPU": {
3
+ "CPU_SPARSE_WEIGHTS_DECOMPRESSION_RATE": "0.50"
4
+ }
5
+ }
tld-notes.txt ADDED
@@ -0,0 +1,7 @@
 
 
 
 
 
 
 
 
1
+
2
+ # how to run tld with this model:
3
+
4
+ benchmark_app -hint none -api sync -niter 100 \
5
+ -m ov-opt-350m-8bit-85pc-sparse-kv-cache/openvino_model.xml \
6
+ -load_config ov-opt-350m-8bit-85pc-sparse-kv-cache/ov_rt_tld.json \
7
+ -shape input_ids[1,1],past_key_values.0.key[1,16,33,64],past_key_values.0.value[1,16,33,64],past_key_values.1.key[1,16,33,64],past_key_values.1.value[1,16,33,64],past_key_values.2.key[1,16,33,64],past_key_values.2.value[1,16,33,64],past_key_values.3.key[1,16,33,64],past_key_values.3.value[1,16,33,64],past_key_values.4.key[1,16,33,64],past_key_values.4.value[1,16,33,64],past_key_values.5.key[1,16,33,64],past_key_values.5.value[1,16,33,64],past_key_values.6.key[1,16,33,64],past_key_values.6.value[1,16,33,64],past_key_values.7.key[1,16,33,64],past_key_values.7.value[1,16,33,64],past_key_values.8.key[1,16,33,64],past_key_values.8.value[1,16,33,64],past_key_values.9.key[1,16,33,64],past_key_values.9.value[1,16,33,64],past_key_values.10.key[1,16,33,64],past_key_values.10.value[1,16,33,64],past_key_values.11.key[1,16,33,64],past_key_values.11.value[1,16,33,64],past_key_values.12.key[1,16,33,64],past_key_values.12.value[1,16,33,64],past_key_values.13.key[1,16,33,64],past_key_values.13.value[1,16,33,64],past_key_values.14.key[1,16,33,64],past_key_values.14.value[1,16,33,64],past_key_values.15.key[1,16,33,64],past_key_values.15.value[1,16,33,64],past_key_values.16.key[1,16,33,64],past_key_values.16.value[1,16,33,64],past_key_values.17.key[1,16,33,64],past_key_values.17.value[1,16,33,64],past_key_values.18.key[1,16,33,64],past_key_values.18.value[1,16,33,64],past_key_values.19.key[1,16,33,64],past_key_values.19.value[1,16,33,64],past_key_values.20.key[1,16,33,64],past_key_values.20.value[1,16,33,64],past_key_values.21.key[1,16,33,64],past_key_values.21.value[1,16,33,64],past_key_values.22.key[1,16,33,64],past_key_values.22.value[1,16,33,64],past_key_values.23.key[1,16,33,64],past_key_values.23.value[1,16,33,64],attention_mask[1,34]