ChatMusician에서 Llama2 7B로 변경

app.py

@@ -6,11 +6,10 @@ from string import Template
 # 프롬프트 템플릿 설정
 prompt_template = Template("Human: ${inst} </s> Assistant: ")
 
-# ChatMusician 모델과 토크나이저 로드
-model_name = "m-a-p/ChatMusician"  # ChatMusician 모델의 Hugging Face Hub 경로
-tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
-# model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="cuda", resume_download=True).eval()
-model = AutoModelForCausalLM.from_pretrained(model_name, low_cpu_mem_usage=True).eval()
+# LLaMA 2 7B 모델과 토크나이저 로드
+model_name = "meta-llama/Llama-2-7b-hf"  # Replace with the LLaMA 2 Hugging Face Hub path
+tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=False)
+model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="cuda").eval()
 
 # 생성 설정 (Gradio UI에서 제어할 수 있는 변수들)
 default_generation_config = GenerationConfig(