scripts/launch_llm_server.py

# scripts/launch_llm_server.py

"""
Скрипт для запуска локального API-сервера vLLM.
Поднимает процесс в фоне, мониторит логи и health-эндпоинт до 3 минут.
Все пути и параметры загружаются из конфигурации Hydra.
"""
import logging
import os
import re
import subprocess
import sys
import time
from pathlib import Path
from typing import List, Optional
from urllib.parse import ParseResult, urlparse

import hydra
import requests
from omegaconf import DictConfig

# Настройка логгера
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
logger: logging.Logger = logging.getLogger(__name__)

def tail_log(path: str, n: int = 20) -> List[str]:
    """
    Читает последние N строк из лог-файла, фильтруя важные сообщения.
    
    Args:
        path (str): Абсолютный путь к файлу логов.
        n (int): Количество строк для чтения.
        
    Returns:
        List[str]: Список отфильтрованных строк лога.
    """
    if not os.path.exists(path):
        return ["(лог еще не создан)"]
    try:
        with open(path, "r", encoding="utf-8", errors="ignore") as f:
            lines: List[str] = f.readlines()[-n:]
        
        filt: List[str] = [ln for ln in lines if re.search(r"\b(INFO|WARNING|ERROR)\b", ln)]
        return filt if filt else lines
    except Exception as e:
        return [f"(не удалось прочитать лог: {e})"]

@hydra.main(version_base=None, config_path="../configs", config_name="main_config")
def main(cfg: DictConfig) -> None:
    """
    Основная функция лаунчера. Формирует команду запуска из конфигурации,
    стартует фоновый процесс и ожидает его готовности.
    
    Args:
        cfg (DictConfig): Конфигурация проекта (Hydra).
    """
    # 1. Определяем абсолютный путь к корню проекта
    project_root: Path = Path(__file__).resolve().parents[1]
    
    # 2. Извлекаем параметры из конфигурации
    llm_cfg: DictConfig = cfg.get("llm", {})
    model: str = llm_cfg.get("model", "Qwen/Qwen3-VL-8B-Instruct-FP8")
    base_url: str = llm_cfg.get("api_url", "http://127.0.0.1:8000/v1")
    
    max_model_len: str = str(llm_cfg.get("max_model_len", 8192))
    gpu_util: str = str(llm_cfg.get("gpu_memory_utilization", 0.85))
    dtype: str = llm_cfg.get("dtype", "bfloat16")
    served_name: str = llm_cfg.get("served_model_name", model.split("/")[-1].lower())
    
    log_file_rel: str = llm_cfg.get("log_file", "logs/vllm_server.log")
    log_path: str = str(project_root / log_file_rel)
    
    os.makedirs(os.path.dirname(log_path), exist_ok=True)
    
    download_dir: Optional[str] = llm_cfg.get("download_dir")

    if not model or not base_url:
        logger.error("В конфигурации отсутствуют обязательные параметры (model или api_url).")
        sys.exit(1)

    parsed: ParseResult = urlparse(base_url)
    host: str = parsed.hostname or "127.0.0.1"
    port: int = parsed.port or 8000
    scheme: str = parsed.scheme or "http"
    health_url: str = f"{scheme}://{host}:{port}/health"

    # 3. Собираем базовую команду
    cmd: List[str] = [
        "nohup", sys.executable, "-m", "vllm.entrypoints.openai.api_server",
        "--model", model,
        "--host", host,
        "--port", str(port),
        "--max-model-len", max_model_len,
        "--dtype", dtype,
        "--gpu-memory-utilization", gpu_util,
        "--served-model-name", served_name,
        "--trust-remote-code"
    ]
    
    if download_dir:
        cmd.extend(["--download-dir", str(project_root / download_dir)])

    logger.info(f"⚙️ Стартую vLLM с командой: {' '.join(cmd)}")
    logger.info(f"📄 Лог-файл: {log_path}")
    logger.info(f"🌐 Health URL: {health_url}")

    try:
        # 4. Запускаем сервер в фоне
        log_fh = open(log_path, "w", encoding="utf-8", errors="ignore")
        proc: subprocess.Popen = subprocess.Popen(
            cmd, 
            stdout=log_fh, 
            stderr=subprocess.STDOUT, 
            stdin=subprocess.DEVNULL,
            start_new_session=True,
            env=os.environ.copy()
        )
        
        # 5. Мониторинг запуска — до 3 минут
        logger.info("⏳ Ожидаем загрузки модели (может занять до 3 минут)...")
        is_ready: bool = False
        max_checks: int = 60
        interval_sec: int = 15
        
        for i in range(max_checks):
            if i % 3 == 0:
                logger.info(f"📊 Текущие логи (проверка {i // 3 + 1}):")
                for ln in tail_log(log_path, n=10):
                    logger.info(f"   > {ln.rstrip()}")

            ret: Optional[int] = proc.poll()
            if ret is not None:
                logger.error(f"❌ Процесс vLLM неожиданно завершился (код {ret}).")
                logger.error("Последние строки лога:")
                for ln in tail_log(log_path, n=30):
                    logger.error(f"   > {ln.rstrip()}")
                sys.exit(1)

            try:
                resp: requests.Response = requests.get(health_url, timeout=5)
                if resp.status_code == 200:
                    logger.info(f"✅ Сервер готов! Время загрузки: ~{i * interval_sec} секунд.")
                    is_ready = True
                    break
            except Exception:
                pass

            logger.info(f"🔄 [{i + 1}/{max_checks}] Инициализация... ждем {interval_sec} сек.")
            time.sleep(interval_sec)

        if not is_ready:
            logger.error("❌ Сервер не стал готов за 3 минуты. Завершаем ожидание.")
            sys.exit(1)
            
        # Успешный запуск - выводим все нужные параметры для клиента
        logger.info("🚀 ИИ-бэкенд успешно запущен и работает в фоне!")
        logger.info(f"🔗 Используйте в клиенте base_url: {base_url}")
        logger.info(f"🧠 Имя для обращения по API (served_model_name): {served_name}")
        logger.info(f"📦 Оригинальное название модели: {model}")

    except Exception as e:
        logger.error(f"❌ Критическая ошибка при запуске: {e}", exc_info=True)
        sys.exit(1)

if __name__ == "__main__":
    main()