Update app.py

app.py

@@ -4,16 +4,17 @@ from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
 import torch
 
 model_id = 'openlm-research/open_llama_3b_v2'
-bnb_config = BitsAndBytesConfig(
+
+"""bnb_config = BitsAndBytesConfig(
     load_in_4bit=True,
     bnb_4bit_use_double_quant=True,
     bnb_4bit_quant_type="fp4",
     bnb_4bit_compute_dtype=torch.bfloat16
-)
+)"""
 
 model = AutoModelForCausalLM.from_pretrained(
     model_id,
-    quantization_config=bnb_config # Необходимо раскомментить при досутпе к GPU
+    # quantization_config=bnb_config # Необходимо раскомментить при досутпе к GPU
 )
 tokenizer = AutoTokenizer.from_pretrained(model_id)