mobicham commited on
Commit
40696e4
1 Parent(s): ce220f0

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -0
README.md CHANGED
@@ -26,6 +26,8 @@ from hqq.engine.hf import HQQModelForCausalLM, AutoTokenizer
26
  tokenizer = AutoTokenizer.from_pretrained(model_id)
27
  model = HQQModelForCausalLM.from_quantized(model_id)
28
 
 
 
29
  ##########################################################################################################
30
  import transformers
31
  from threading import Thread
 
26
  tokenizer = AutoTokenizer.from_pretrained(model_id)
27
  model = HQQModelForCausalLM.from_quantized(model_id)
28
 
29
+ from hqq.core.quantize import *
30
+ HQQLinear.set_backend(HQQBackend.PYTORCH_COMPILE)
31
  ##########################################################################################################
32
  import transformers
33
  from threading import Thread