.

main.py

@@ -2,6 +2,7 @@ from fastapi import FastAPI
 import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer
 import os
+from pydantic import BaseModel
 
 # 모델 로딩을 전역에서 한 번만 수행
 model = None
@@ -37,11 +38,15 @@ def load_model():
     print(f"모델 로딩 완료. 최종 장치: {model_device}")
 
 
-@app.get("/generate")
-def generate_response():
-    """모델 추론을 수행하고 결과를 반환합니다."""
-    # 요청된 프롬프트
-    prompt_content = "Please list one IBM Research laboratory located in the United States. You should only output its name and location."
+class PromptRequest(BaseModel):
+    """사용자 프롬프트를 담는 요청 본문 구조"""
+    prompt: str
+@app.post("/generate")
+def generate_response(request: PromptRequest):
+    """POST 요청 본문에서 프롬프트를 받아 모델 추론을 수행하고 결과를 반환합니다."""
+    # 요청 본문에서 prompt 값을 추출
+    prompt_content = request.prompt
+    print(f"새로운 프롬프트 수신: {prompt_content[:50]}...")
     
     chat = [
         { "role": "user", "content": prompt_content },

requirements.txt

@@ -12,4 +12,5 @@ fastapi>=0.112
 uvicorn[standard]>=0.30
 peft>=0.11.1
 unsloth
-bitsandbytes==0.43.3
+bitsandbytes==0.43.3
+pydantic