Update app.py

app.py

@@ -25,22 +25,13 @@ torch_device = "cuda" if torch.cuda.is_available() else "cpu"
 print("Running on device:", torch_device)
 print("CPU threads:", torch.get_num_threads())
 
-loader = PyPDFLoader("total.pdf")
-pages = loader.load()
-
-# 데이터를 불러와서 텍스트를 일정한 수로 나누고 구분자로 연결하는 작업
-text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
-texts = text_splitter.split_documents(pages)
-
-print(f"문서에 {len(texts)}개의 문서를 가지고 있습니다.")
-
 hf_hub_download(repo_id='StarFox7/Llama-2-ko-7B-chat-gguf', filename='Llama-2-ko-7B-chat-gguf-q4_0.bin', local_dir='./')
 
 llm = LlamaCpp(
     model_path='Llama-2-ko-7B-chat-gguf-q4_0.bin',
     temperature=0.5,
     top_p=0.9,
-    max_tokens=128,
+    max_tokens=80,
     verbose=True,
     n_ctx=2048,
     n_gpu_layers=-1,
@@ -50,16 +41,8 @@ llm = LlamaCpp(
 # 임베딩 모델 로드
 embeddings = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-large")
 
-# 문서에 있는 텍스트를 임베딩하고 FAISS 에 인덱스를 구축함
-index = FAISS.from_documents(
-	documents=texts,
-	embedding=embeddings,
-	)
-
-# faiss_db 로 로컬에 저장하기
-index.save_local("faiss_db")
 # faiss_db 로 로컬에 로드하기
-docsearch = FAISS.load_local("faiss_db", embeddings)
+docsearch = FAISS.load_local("", embeddings)
 
 embeddings_filter = EmbeddingsFilter(
     embeddings=embeddings, 
@@ -118,13 +101,11 @@ def gen(x, id, customer_data):
 
 ### 명령어:
 다음 지침을 참고하여 상담원으로서 고객에게 필요한 응답을 제공하세요.
-
 [지침]
 1.고객의 가입 정보를 꼭 확인하여 고객이 가입한 보험에 대한 내용만 제공하세요.
 2.고객이 가입한 보험이라면 고객의 질문에 대해 적절히 답변하세요.
 3.고객이 가입하지 않은 보험의 보상에 관한 질문은 관련 보험을 소개하며 보상이 불가능하다는 점을 안내하세요.
 4.고객이 가입하지 않은 보험은 가입이 필요하다고 보험명을 확실하게 언급하세요.
-
 다음 입력에 주어지는 고객의 보험 가입 정보와 상담 기록을 보고 고객에게 도움되는 정보를 제공하세요. 차근차근 생각하여 답변하세요. 당신은 잘 할 수 있습니다.
 
 ### 입력: