Adiciona suporte a multimídia e atualiza dependências

Implementa processamento de entradas de imagem e vídeo no modelo, permitindo inferências mais robustas. A substituição do modelo por Qwen2VL resulta em maior eficácia no processamento. A inclusão de um arquivo .gitignore ajuda a evitar o versionamento de arquivos de ambiente. Além disso, a atualização da versão da biblioteca transformers assegura a compatibilidade com as novas funcionalidades.

.gitignore

@@ -0,0 +1 @@
+.venv

app.py

@@ -1,17 +1,28 @@
 from fastapi import FastAPI
-from transformers import AutoModelForCausalLM, AutoProcessor
+from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
+from qwen_vl_utils import process_vision_info
 import torch
 
 app = FastAPI()
 
-model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-VL-2B-Instruct", torch_dtype="auto", device_map="auto")
+model = Qwen2VLForConditionalGeneration.from_pretrained("Qwen/Qwen2-VL-2B-Instruct", torch_dtype="auto", device_map="auto")
 processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct")
 
 @app.post("/predict")
 async def predict(messages: list):
     # Processamento e inferência
     text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-    inputs = processor(text=[text], padding=True, return_tensors="pt").to("cpu")  # Altere para "cpu" se não tiver GPU
+    image_inputs, video_inputs = process_vision_info(messages)
+    inputs = processor(
+        text=[text],
+        images=image_inputs,
+        videos=video_inputs,
+        padding=True,
+        return_tensors="pt"
+    )
+    inputs = inputs.to("cpu")  # Altere para "cuda" se tiver GPU disponível
+    
     generated_ids = model.generate(**inputs, max_new_tokens=128)
-    output_text = processor.batch_decode(generated_ids, skip_special_tokens=True)
+    generated_ids_trimmed = [out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)]
+    output_text = processor.batch_decode(generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False)
     return {"response": output_text}

requirements.txt

@@ -1,6 +1,7 @@
-transformers
+transformers>=4.37.0
 accelerate
 safetensors
 sentencepiece
 fastapi
-uvicorn
+uvicorn
+qwen-vl-utils