download_kanana_model.py

import os
import torch
from transformers import AutoModelForVision2Seq, AutoProcessor
from dotenv import load_dotenv

# --- 설정 부분 ---
MODEL_NAME = "kakaocorp/kanana-1.5-v-3b-instruct"
SAVE_DIRECTORY = "./lily_llm_core/models/kanana_1_5_v_3b_instruct"
# --- 설정 끝 ---

load_dotenv()
HF_TOKEN = os.getenv("HF_TOKEN")

print("="*60)
print(f"'{MODEL_NAME}' 모델 및 프로세서 공식 다운로드를 시작합니다.")
print(f"저장 경로: {SAVE_DIRECTORY}")
print("="*60)

try:
    # 1. 공식 AutoProcessor 로드 및 다운로드
    print("\n[1/2] 프로세서(Tokenizer+Image Processor) 다운로드 중...")
    processor = AutoProcessor.from_pretrained(
        MODEL_NAME,
        token=HF_TOKEN,
        trust_remote_code=True
    )
    print("✅ 프로세서 다운로드 성공!")

    # 2. 공식 AutoModelForVision2Seq 로드 및 다운로드
    print("\n[2/2] 모델 다운로드 중... (시간이 걸릴 수 있습니다)")
    model = AutoModelForVision2Seq.from_pretrained(
        MODEL_NAME,
        token=HF_TOKEN,
        torch_dtype=torch.bfloat16, # 공식 예제와 동일하게 bfloat16 사용
        trust_remote_code=True
    )
    print("✅ 모델 다운로드 성공!")

    # 3. 로컬 경로에 모델과 프로세서 모두 저장
    print(f"\n[+] '{SAVE_DIRECTORY}' 경로에 모든 파일 저장 중...")
    if not os.path.exists(SAVE_DIRECTORY):
        os.makedirs(SAVE_DIRECTORY)
    
    processor.save_pretrained(SAVE_DIRECTORY)
    model.save_pretrained(SAVE_DIRECTORY)
    print("✅ 모델과 프로세서 저장 완료!")

    print("\n" + "="*60)
    print("🎉 모든 작업이 성공적으로 완료되었습니다!")
    print("이제 `kanana_1_5_v_3b_instruct.py` 파일을 수정하고 서버를 실행하세요.")
    print("="*60)

except Exception as e:
    import traceback
    print(f"\n❌ 오류 발생: {e}")
    traceback.print_exc()
    print("\n허깅페이스 토큰이 올바른지, `huggingface-cli login`을 실행했는지 확인하세요.")