Add tld config and guide
Browse files- ov_rt_tld.json +5 -0
- tld-notes.txt +7 -0
ov_rt_tld.json
ADDED
@@ -0,0 +1,5 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
{
|
2 |
+
"CPU": {
|
3 |
+
"CPU_SPARSE_WEIGHTS_DECOMPRESSION_RATE": "0.50"
|
4 |
+
}
|
5 |
+
}
|
tld-notes.txt
ADDED
@@ -0,0 +1,7 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
|
2 |
+
# how to run tld with this model:
|
3 |
+
|
4 |
+
benchmark_app -hint none -api sync -niter 100 \
|
5 |
+
-m ov-opt-350m-8bit-85pc-sparse-kv-cache/openvino_model.xml \
|
6 |
+
-load_config ov-opt-350m-8bit-85pc-sparse-kv-cache/ov_rt_tld.json \
|
7 |
+
-shape input_ids[1,1],past_key_values.0.key[1,16,33,64],past_key_values.0.value[1,16,33,64],past_key_values.1.key[1,16,33,64],past_key_values.1.value[1,16,33,64],past_key_values.2.key[1,16,33,64],past_key_values.2.value[1,16,33,64],past_key_values.3.key[1,16,33,64],past_key_values.3.value[1,16,33,64],past_key_values.4.key[1,16,33,64],past_key_values.4.value[1,16,33,64],past_key_values.5.key[1,16,33,64],past_key_values.5.value[1,16,33,64],past_key_values.6.key[1,16,33,64],past_key_values.6.value[1,16,33,64],past_key_values.7.key[1,16,33,64],past_key_values.7.value[1,16,33,64],past_key_values.8.key[1,16,33,64],past_key_values.8.value[1,16,33,64],past_key_values.9.key[1,16,33,64],past_key_values.9.value[1,16,33,64],past_key_values.10.key[1,16,33,64],past_key_values.10.value[1,16,33,64],past_key_values.11.key[1,16,33,64],past_key_values.11.value[1,16,33,64],past_key_values.12.key[1,16,33,64],past_key_values.12.value[1,16,33,64],past_key_values.13.key[1,16,33,64],past_key_values.13.value[1,16,33,64],past_key_values.14.key[1,16,33,64],past_key_values.14.value[1,16,33,64],past_key_values.15.key[1,16,33,64],past_key_values.15.value[1,16,33,64],past_key_values.16.key[1,16,33,64],past_key_values.16.value[1,16,33,64],past_key_values.17.key[1,16,33,64],past_key_values.17.value[1,16,33,64],past_key_values.18.key[1,16,33,64],past_key_values.18.value[1,16,33,64],past_key_values.19.key[1,16,33,64],past_key_values.19.value[1,16,33,64],past_key_values.20.key[1,16,33,64],past_key_values.20.value[1,16,33,64],past_key_values.21.key[1,16,33,64],past_key_values.21.value[1,16,33,64],past_key_values.22.key[1,16,33,64],past_key_values.22.value[1,16,33,64],past_key_values.23.key[1,16,33,64],past_key_values.23.value[1,16,33,64],attention_mask[1,34]
|