0llheaven commited on
Commit
7afd75d
1 Parent(s): bd9df5d

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +2 -2
app.py CHANGED
@@ -13,7 +13,7 @@ model, tokenizer = FastVisionModel.from_pretrained(
13
  "0llheaven/Llama-3.2-11B-Vision-Radiology-mini",
14
  load_in_4bit=True,
15
  use_gradient_checkpointing="unsloth",
16
- )
17
 
18
  # เปลี่ยนโหมดของโมเดลเป็นสำหรับ inference
19
  FastVisionModel.for_inference(model)
@@ -48,7 +48,7 @@ def predict_radiology_description(image, instruction):
48
  input_text,
49
  add_special_tokens=False,
50
  return_tensors="pt",
51
- ).to("cuda")
52
 
53
  # ใช้ TextStreamer สำหรับการพยากรณ์
54
  text_streamer = TextStreamer(tokenizer, skip_prompt=True)
 
13
  "0llheaven/Llama-3.2-11B-Vision-Radiology-mini",
14
  load_in_4bit=True,
15
  use_gradient_checkpointing="unsloth",
16
+ ).to("cpu")
17
 
18
  # เปลี่ยนโหมดของโมเดลเป็นสำหรับ inference
19
  FastVisionModel.for_inference(model)
 
48
  input_text,
49
  add_special_tokens=False,
50
  return_tensors="pt",
51
+ ).to("cpu")
52
 
53
  # ใช้ TextStreamer สำหรับการพยากรณ์
54
  text_streamer = TextStreamer(tokenizer, skip_prompt=True)