Spaces:
Sleeping
Sleeping
๐ Lily LLM API - Hugging Face Spaces ๋ฐฐํฌ ์ฒดํฌ๋ฆฌ์คํธ
โ ๋ฐฐํฌ ์ ์ฒดํฌ๋ฆฌ์คํธ
๐ ํ์ ํ์ผ ํ์ธ
-
Dockerfile.huggingface- Docker ์ค์ ํ์ผ -
app_huggingface.py- Hugging Face Spaces ์ง์ ์ -
requirements_full.txt- ์์ ํ ์์กด์ฑ ํจํค์ง ๋ชฉ๋ก -
README_huggingface.md- ํ๋ก์ ํธ ์ค๋ช ๋ฌธ์ -
.dockerignore- Docker ๋น๋ ์ ์ธ ํ์ผ ๋ชฉ๋ก
๐ง ํ๋ก์ ํธ ๊ตฌ์กฐ ํ์ธ
-
lily_llm_api/- FastAPI ์๋ฒ ์ฝ๋ -
lily_llm_core/- ํต์ฌ RAG ๋ฐ AI ๋ก์ง -
lily_llm_utils/- ์ ํธ๋ฆฌํฐ ํจ์๋ค - ๋ชจ๋ธ ํ์ผ๋ค์ด ์ฌ๋ฐ๋ฅธ ๊ฒฝ๋ก์ ์์น
๐ Hugging Face ๊ณ์ ์ค๋น
- Hugging Face ๊ณ์ ์์ฑ ์๋ฃ
- Write ๊ถํ์ด ์๋ Access Token ์์ฑ
- ํ ํฐ์ ์์ ํ ๊ณณ์ ์ ์ฅ
๐ ๋ฐฐํฌ ๋จ๊ณ
1๋จ๊ณ: Hugging Face Space ์์ฑ
- Hugging Face Spaces ์ ์
- "Create new Space" ํด๋ฆญ
- ๋ค์ ์ค์ ์ผ๋ก ์์ฑ:
- Space name:
lily-llm-api(๋๋ ์ํ๋ ์ด๋ฆ) - SDK:
Docker์ ํ - Hardware:
CPU basic(๋ฌด๋ฃ) ๋๋CPU upgrade(์ ๋ฃ) - Visibility:
Public๋๋Private
- Space name:
2๋จ๊ณ: ํ์ผ ์ ๋ก๋
- Space ์ ์ฅ์ ํด๋ก ๋๋ ์น ์ธํฐํ์ด์ค ์ฌ์ฉ
- ํ์ ํ์ผ๋ค์ ์ฌ๋ฐ๋ฅธ ์ด๋ฆ์ผ๋ก ๋ณต์ฌ:
-
Dockerfile.huggingfaceโDockerfile -
requirements_full.txtโrequirements.txt -
README_huggingface.mdโREADME.md
-
- ์์ค ์ฝ๋ ๋๋ ํ ๋ฆฌ๋ค ๋ณต์ฌ
- Git commit ๋ฐ push (Git ๋ฐฉ์ ์ฌ์ฉ ์)
3๋จ๊ณ: ํ๊ฒฝ ๋ณ์ ์ค์
Space Settings > Variables์์ ์ค์ :
-
HOST=0.0.0.0 -
PORT=7860 -
PYTHONPATH=/app -
PYTHONUNBUFFERED=1 -
TOKENIZERS_PARALLELISM=false -
OMP_NUM_THREADS=1 -
MKL_NUM_THREADS=1
4๋จ๊ณ: ๋น๋ ๋ฐ ๋ฐฐํฌ ํ์ธ
- Space ํ์ด์ง์์ ๋น๋ ๋ก๊ทธ ํ์ธ
- ์ค๋ฅ ๋ฐ์ ์ ๋ก๊ทธ ๋ถ์ ๋ฐ ์์
- ๋น๋ ์๋ฃ ํ ์ฑ ์คํ ํ์ธ
๐งช ํ ์คํธ ์ฒดํฌ๋ฆฌ์คํธ
API ๊ธฐ๋ณธ ํ ์คํธ
- Health Check:
GET /health
curl https://YOUR_USERNAME-lily-llm-api.hf.space/health
- ๋ชจ๋ธ ๋ชฉ๋ก:
GET /models
curl https://YOUR_USERNAME-lily-llm-api.hf.space/models
- ํ
์คํธ ์์ฑ:
POST /generate
curl -X POST https://YOUR_USERNAME-lily-llm-api.hf.space/generate \
-F "prompt=์๋
ํ์ธ์! ํ
์คํธ ๋ฉ์์ง์
๋๋ค."
๊ณ ๊ธ ๊ธฐ๋ฅ ํ ์คํธ
- ์ด๋ฏธ์ง ์ฒ๋ฆฌ ํ ์คํธ
- RAG ์์คํ ํ ์คํธ (๋ฌธ์ ์ ๋ก๋ ๋ฐ ์ง์)
- ๋ฉํฐ๋ชจ๋ฌ ๊ธฐ๋ฅ ํ ์คํธ
์ฑ๋ฅ ํ ์คํธ
- ์๋ต ์๊ฐ ์ธก์
- ๋์ ์์ฒญ ์ฒ๋ฆฌ ํ์ธ
- ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋ ๋ชจ๋ํฐ๋ง
๐ Hearth Chat ์ฐ๋ ์ค๋น
URL ๊ธฐ๋ก
๋ฐฐํฌ ์๋ฃ ํ ๋ค์ URL ๊ธฐ๋ก:
- Hugging Face Space URL:
https://YOUR_USERNAME-lily-llm-api.hf.space - API ๋ฌธ์ URL:
https://YOUR_USERNAME-lily-llm-api.hf.space/docs
Hearth Chat ์ค์ ์ ๋ฐ์ดํธ
- AI ์ค์ ๋ชจ๋ฌ์ Lily LLM ์ต์ ์ถ๊ฐ
- ๋ฐฑ์๋ consumers.py์ Hugging Face API ํธ์ถ ๋ก์ง ์ถ๊ฐ
- ํ๊ฒฝ ๋ณ์์ Lily LLM API URL ์ค์
โ ๋ฌธ์ ํด๊ฒฐ
์ผ๋ฐ์ ์ธ ์ค๋ฅ์ ํด๊ฒฐ์ฑ
๋น๋ ์คํจ
-
requirements.txt์์กด์ฑ ํ์ธ -
Dockerfile๋ฌธ๋ฒ ์ค๋ฅ ํ์ธ -
.dockerignoreํ์ผ ํ์ธ
๋ฉ๋ชจ๋ฆฌ ๋ถ์กฑ
- ๋ถํ์ํ ํจํค์ง ์ ๊ฑฐ
- ๋ชจ๋ธ ํฌ๊ธฐ ์ต์ ํ
- Hardware ์ ๊ทธ๋ ์ด๋ ๊ณ ๋ ค
๋ชจ๋ Import ์ค๋ฅ
-
PYTHONPATHํ๊ฒฝ ๋ณ์ ํ์ธ - ํ์ผ ๊ฒฝ๋ก ๋ฐ ๊ตฌ์กฐ ํ์ธ
- ์์กด์ฑ ํจํค์ง ๋ฒ์ ํ์ธ
API ์๋ต ์์
- ํฌํธ ์ค์ ํ์ธ (7860)
- ๋ฐฉํ๋ฒฝ ์ค์ ํ์ธ
- ๋ก๊ทธ์์ ์ค๋ฅ ๋ฉ์์ง ํ์ธ
๐ ๋ชจ๋ํฐ๋ง ์ค์
๋ฐฐํฌ ํ ๋ชจ๋ํฐ๋ง
- Space ๋์๋ณด๋์์ ์ฌ์ฉ๋ ํ์ธ
- ๋ก๊ทธ ์ ๊ธฐ์ ํ์ธ
- ์ฑ๋ฅ ๋ฉํธ๋ฆญ ๋ชจ๋ํฐ๋ง
- ์ฌ์ฉ์ ํผ๋๋ฐฑ ์์ง
์ ์ง๋ณด์ ๊ณํ
- ์ ๊ธฐ์ ์ ๋ฐ์ดํธ ๊ณํ ์๋ฆฝ
- ๋ฐฑ์ ์ ๋ต ์๋ฆฝ
- ์ฅ์ ๋์ ๊ณํ ์๋ฆฝ
๐ ๋ฐฐํฌ ์๋ฃ!
๋ชจ๋ ์ฒดํฌ๋ฆฌ์คํธ ํญ๋ชฉ์ ์๋ฃํ๋ฉด Lily LLM API๊ฐ Hugging Face Spaces์์ ์ฑ๊ณต์ ์ผ๋ก ์คํ๋ฉ๋๋ค.
๋ค์ ๋จ๊ณ: HEARTH_CHAT_INTEGRATION.md๋ฅผ ์ฐธ์กฐํ์ฌ Railway Hearth Chat๊ณผ ์ฐ๋์ ์งํํ์ธ์.
๐ ์ง์
๋ฐฐํฌ ์ค ๋ฌธ์ ๊ฐ ๋ฐ์ํ๋ฉด:
- ๋ก๊ทธ ํ์ธ ๋ฐ ๋ถ์
- DEPLOYMENT_GUIDE.md ์์ธ ๊ฐ์ด๋ ์ฐธ์กฐ
- Hugging Face Community ํฌ๋ผ ํ์ฉ
- GitHub Issues๋ฅผ ํตํ ๊ธฐ์ ์ง์