README_huggingface.md

Lily LLM API - Hugging Face Spaces

🤖 소개

Lily LLM API는 다중 모델 지원과 RAG(Retrieval Augmented Generation) 시스템을 갖춘 고성능 AI API 서버입니다.

✨ 주요 기능

• 🧠 멀티모달 AI: Kanana-1.5-v-3b-instruct 모델을 통한 텍스트 및 이미지 처리
• 📚 RAG 시스템: 문서 기반 질의응답 및 컨텍스트 검색
• 🔍 벡터 검색: FAISS 기반 고속 유사도 검색
• 📄 문서 처리: PDF, DOCX, TXT 등 다양한 문서 형식 지원
• 🖼️ 이미지 OCR: LaTeX-OCR을 통한 수학 공식 인식
• ⚡ 비동기 처리: Celery 기반 백그라운드 작업
• 🌐 RESTful API: FastAPI 기반 고성능 웹 API

🚀 사용 방법

1. 텍스트 생성

import requests

response = requests.post(
    "https://your-space-url/generate",
    data={"prompt": "안녕하세요! 오늘 날씨가 어떤가요?"}
)
print(response.json())

2. 이미지와 함께 질의

import requests

with open("image.jpg", "rb") as f:
    response = requests.post(
        "https://your-space-url/generate",
        data={"prompt": "이미지에서 무엇을 볼 수 있나요?"},
        files={"image1": f}
    )
print(response.json())

3. RAG 기반 질의응답

import requests

# 문서 업로드
with open("document.pdf", "rb") as f:
    upload_response = requests.post(
        "https://your-space-url/upload-document",
        files={"file": f},
        data={"user_id": "your_user_id"}
    )

document_id = upload_response.json()["document_id"]

# RAG 질의
response = requests.post(
    "https://your-space-url/rag-query",
    json={
        "query": "문서의 주요 내용은 무엇인가요?",
        "user_id": "your_user_id",
        "document_id": document_id
    }
)
print(response.json())

📋 API 엔드포인트

기본 엔드포인트

• GET /health - 서버 상태 확인
• GET /models - 사용 가능한 모델 목록
• POST /load-model - 모델 로드
• POST /generate - 텍스트/이미지 생성

RAG 시스템

• POST /upload-document - 문서 업로드
• POST /rag-query - RAG 기반 질의
• GET /documents/{user_id} - 사용자 문서 목록
• DELETE /document/{document_id} - 문서 삭제

고급 기능

• POST /batch-process - 배치 문서 처리
• GET /task-status/{task_id} - 작업 상태 확인
• POST /cancel-task/{task_id} - 작업 취소

🛠️ 기술 스택

• Backend: FastAPI, Python 3.11
• AI Models: Transformers, PyTorch
• Vector DB: FAISS, ChromaDB
• Task Queue: Celery, Redis
• OCR: LaTeX-OCR, EasyOCR
• Document Processing: LangChain

📊 모델 정보

Kanana-1.5-v-3b-instruct

• 크기: 3.6B 매개변수
• 언어: 한국어 특화
• 기능: 텍스트 생성, 이미지 이해
• 컨텍스트: 최대 4096 토큰

🔧 설정

환경 변수를 통해 다음 설정을 조정할 수 있습니다:

# 서버 설정
HOST=0.0.0.0
PORT=7860

# 모델 설정
DEFAULT_MODEL=kanana-1.5-v-3b-instruct
MAX_NEW_TOKENS=256
TEMPERATURE=0.7

# 캐시 설정
TRANSFORMERS_CACHE=/app/cache/transformers
HF_HOME=/app/cache/huggingface

📝 라이선스

이 프로젝트는 MIT 라이선스 하에 배포됩니다.

🤝 기여

버그 리포트, 기능 제안, 풀 리퀘스트를 환영합니다!

📞 지원

문의사항이 있으시면 GitHub Issues를 통해 연락해 주세요.