BJOKERz/my-cool-model

Local RP Engine

로컬 AI 캐릭터 롤플레이 / 인터랙티브 픽션 엔진을 만들기 위한 개인용 Python 프로젝트입니다. 외부 공개 서비스가 아니라 로컬 환경에서 캐릭터, 시나리오, 로어북, 채팅 기록을 관리하는 것을 목표로 합니다.

현재 범위

이번 버전은 프로젝트 스캐폴드와 SQLite 영속성 계층만 포함합니다. 실제 LLM 호출, vLLM 연결, Gradio UI, 메모리 요약, 로어북 검색, 명령 처리, 재생성, txt 내보내기는 아직 구현하지 않았습니다.

설정

python -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

테스트 실행

python -m pytest

테스트는 tmp_path를 사용하므로 실제 data/chats/chat.sqlite 파일을 수정하지 않습니다.

앱 실행

python app.py

config.yaml을 읽고 data/chats/chat.sqlite 데이터베이스를 초기화한 뒤 준비 메시지를 출력합니다.

Manual vLLM smoke test

자동 테스트는 llm.mode: fake를 사용하므로 vLLM이 필요하지 않습니다. 로컬 OpenAI 호환 서버를 직접 확인하려면 별도 터미널에서 vLLM을 실행합니다.

vllm serve <MODEL_PATH_OR_HF_ID> \
  --host 127.0.0.1 \
  --port 8000 \
  --dtype auto \
  --max-model-len 8192 \
  --enable-prefix-caching

config.yaml의 llm 섹션을 수동으로 바꿉니다.

llm:
  mode: openai_compatible
  base_url: http://127.0.0.1:8000/v1
  api_key: dummy
  model: <served-model-name>
  temperature: 0.9
  top_p: 0.95
  max_tokens: 800
  timeout_seconds: 60

연결 확인:

python scripts/smoke_vllm.py --message "서린처럼 짧게 인사해줘."

실패하면 vLLM 실행 여부, base_url, model, 포트 번호를 확인하세요.

데이터 파일

• 캐릭터: data/characters/*.json
• 시나리오: data/scenarios/*.json
• 로어북: data/lorebooks/*.json
• 로컬 채팅 DB: data/chats/
• 내보내기 결과: data/exports/

다음 단계

vLLM OpenAI 호환 클라이언트, Gradio 프로토타입 UI, 메모리 요약기, 로어북 키워드 주입, 채팅 명령, 응답 재생성, AI 작성문 txt 내보내기는 후속 작업입니다.