README_LILY.md

# Lily LLM API - Hugging Face Spaces

## 🤖 소개

Lily LLM API는 다중 모델 지원과 RAG(Retrieval Augmented Generation) 시스템을 갖춘 고성능 AI API 서버입니다.

### ✨ 주요 기능

- **🧠 멀티모달 AI**: Kanana-1.5-v-3b-instruct 모델을 통한 텍스트 및 이미지 처리
- **📚 RAG 시스템**: 문서 기반 질의응답 및 컨텍스트 검색
- **🔍 벡터 검색**: FAISS 기반 고속 유사도 검색
- **📄 문서 처리**: PDF, DOCX, TXT 등 다양한 문서 형식 지원
- **🖼️ 이미지 OCR**: LaTeX-OCR을 통한 수학 공식 인식
- **⚡ 비동기 처리**: Celery 기반 백그라운드 작업
- **🌐 RESTful API**: FastAPI 기반 고성능 웹 API

### 🚀 사용 방법

#### 1. 텍스트 생성

```python
import requests

response = requests.post(
    "https://huggingface.co/spaces/gbrabbit/lily_fast_api/generate",
    data={"prompt": "안녕하세요! 오늘 날씨가 어떤가요?"}
)
print(response.json())
```

#### 2. 이미지와 함께 질의

```python
import requests

with open("image.jpg", "rb") as f:
    response = requests.post(
        "https://https://huggingface.co/spaces/gbrabbit/lily_fast_api/generate",
        data={"prompt": "이미지에서 무엇을 볼 수 있나요?"},
        files={"image1": f}
    )
print(response.json())
```

#### 3. RAG 기반 질의응답

```python
import requests

# 문서 업로드
with open("document.pdf", "rb") as f:
    upload_response = requests.post(
        "https://huggingface.co/spaces/gbrabbit/lily_fast_api/upload-document",
        files={"file": f},
        data={"user_id": "your_user_id"}
    )

document_id = upload_response.json()["document_id"]

# RAG 질의
response = requests.post(
    "https://huggingface.co/spaces/gbrabbit/lily_fast_api/rag-query",
    json={
        "query": "문서의 주요 내용은 무엇인가요?",
        "user_id": "your_user_id",
        "document_id": document_id
    }
)
print(response.json())
```

### 📋 API 엔드포인트

#### 기본 엔드포인트
- `GET /health` - 서버 상태 확인
- `GET /models` - 사용 가능한 모델 목록
- `POST /load-model` - 모델 로드
- `POST /generate` - 텍스트/이미지 생성

#### RAG 시스템
- `POST /upload-document` - 문서 업로드
- `POST /rag-query` - RAG 기반 질의
- `GET /documents/{user_id}` - 사용자 문서 목록
- `DELETE /document/{document_id}` - 문서 삭제

#### 고급 기능
- `POST /batch-process` - 배치 문서 처리
- `GET /task-status/{task_id}` - 작업 상태 확인
- `POST /cancel-task/{task_id}` - 작업 취소

### 🛠️ 기술 스택

- **Backend**: FastAPI, Python 3.11
- **AI Models**: Transformers, PyTorch
- **Vector DB**: FAISS, ChromaDB
- **Task Queue**: Celery, Redis
- **OCR**: LaTeX-OCR, EasyOCR
- **Document Processing**: LangChain

### 📊 모델 정보

#### Kanana-1.5-v-3b-instruct
- **크기**: 3.6B 매개변수
- **언어**: 한국어 특화
- **기능**: 텍스트 생성, 이미지 이해
- **컨텍스트**: 최대 4096 토큰

### 🔧 설정

환경 변수를 통해 다음 설정을 조정할 수 있습니다:

```bash
# 서버 설정
HOST=0.0.0.0
PORT=7860

# 모델 설정
DEFAULT_MODEL=kanana-1.5-v-3b-instruct
MAX_NEW_TOKENS=256
TEMPERATURE=0.7

# 캐시 설정
TRANSFORMERS_CACHE=/app/cache/transformers
HF_HOME=/app/cache/huggingface
```

### 📝 라이선스

이 프로젝트는 MIT 라이선스 하에 배포됩니다.

### 🤝 기여

버그 리포트, 기능 제안, 풀 리퀘스트를 환영합니다!

### 📞 지원

문의사항이 있으시면 GitHub Issues를 통해 연락해 주세요.