Update app.py

app.py

@@ -25,6 +25,26 @@ torch_device = "cuda" if torch.cuda.is_available() else "cpu"
 print("Running on device:", torch_device)
 print("CPU threads:", torch.get_num_threads())
 
+loader = PyPDFLoader("total.pdf")
+pages = loader.load()
+
+# 데이터를 불러와서 텍스트를 일정한 수로 나누고 구분자로 연결하는 작업
+text_splitter = RecursiveCharacterTextSplitter(chunk_size=300, chunk_overlap=0)
+texts = text_splitter.split_documents(pages)
+
+print(f"문서에 {len(texts)}개의 문서를 가지고 있습니다.")
+
+# 임베딩 모델 로드
+embeddings = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-large")
+
+# 문서에 있는 텍스트를 임베딩하고 FAISS 에 인덱스를 구축함
+index = FAISS.from_documents(
+	documents=texts,
+	embedding=embeddings,
+	)
+
+# faiss_db 로 로컬에 저장하기
+index.save_local("")
 
 # faiss_db 로 로컬에 로드하기
 docsearch = FAISS.load_local("", embeddings)
@@ -119,7 +139,6 @@ def gen(x, id, customer_data):
             else:
                 customer_data_newline = customer_data_list[index].replace(",","\n")
             prompt_template = f"""당신은 보험 상담원입니다. 아래에 질문과 관련된 약관 정보, 응답 지침과 고객의 보험 가입 정보, 고객과의 상담기록이 주어집니다. 요청을 적절히 완료하는 응답을 작성하세요.
-
 [보험목록]
 라이프플래닛정기보험Ⅱ
 라이프플래닛종신보험
@@ -138,9 +157,7 @@ def gen(x, id, customer_data):
 라이프플래닛연금저축보험Ⅱ
 1년부터저축보험
 라이프플래닛연금보험Ⅱ
-
 {context}
-
 ### 명령어:
 다음 지침을 참고하여 상담원으로서 고객에게 필요한 응답을 제공하세요.
 [지침]
@@ -149,15 +166,12 @@ def gen(x, id, customer_data):
 3.고객이 가입하지 않은 보험의 보상에 관한 질문은 관련 보험을 소개하며 보상이 불가능하다는 점을 안내하세요.
 4.고객이 가입하지 않은 보험은 가입이 필요하다고 보험명을 확실하게 언급하세요.
 다음 입력에 주어지는 고객의 보험 가입 정보와 상담 기록을 보고 고객에게 도움되는 정보를 제공하세요. 차근차근 생각하여 답변하세요. 당신은 잘 할 수 있습니다.
-
 ### 입력:
 [고객의 가입 정보]
 {customer_data_newline}
-
 [상담 기록]
 {history[index]}
 고객:{question}
-
 ### 응답:
 """