Update app.py
Browse files
app.py
CHANGED
@@ -13,7 +13,7 @@ model, tokenizer = FastVisionModel.from_pretrained(
|
|
13 |
"0llheaven/Llama-3.2-11B-Vision-Radiology-mini",
|
14 |
load_in_4bit=True,
|
15 |
use_gradient_checkpointing="unsloth",
|
16 |
-
)
|
17 |
|
18 |
# เปลี่ยนโหมดของโมเดลเป็นสำหรับ inference
|
19 |
FastVisionModel.for_inference(model)
|
@@ -48,7 +48,7 @@ def predict_radiology_description(image, instruction):
|
|
48 |
input_text,
|
49 |
add_special_tokens=False,
|
50 |
return_tensors="pt",
|
51 |
-
).to("
|
52 |
|
53 |
# ใช้ TextStreamer สำหรับการพยากรณ์
|
54 |
text_streamer = TextStreamer(tokenizer, skip_prompt=True)
|
|
|
13 |
"0llheaven/Llama-3.2-11B-Vision-Radiology-mini",
|
14 |
load_in_4bit=True,
|
15 |
use_gradient_checkpointing="unsloth",
|
16 |
+
).to("cpu")
|
17 |
|
18 |
# เปลี่ยนโหมดของโมเดลเป็นสำหรับ inference
|
19 |
FastVisionModel.for_inference(model)
|
|
|
48 |
input_text,
|
49 |
add_special_tokens=False,
|
50 |
return_tensors="pt",
|
51 |
+
).to("cpu")
|
52 |
|
53 |
# ใช้ TextStreamer สำหรับการพยากรณ์
|
54 |
text_streamer = TextStreamer(tokenizer, skip_prompt=True)
|