新增法務AI 助手

app.py

@@ -15,14 +15,14 @@ from sqlitedict import SqliteDict
 
 import gradio as gr
 
-from langchain import PromptTemplate
+from langchain import PromptTemplate, LLMChain
 from langchain.agents import Tool
 from langchain.agents import load_tools
 from langchain.agents import initialize_agent
 
 from langchain.agents import AgentType
 
-from langchain.chains import LLMMathChain
+from langchain.chains import LLMMathChain, StuffDocumentsChain
 from langchain import SerpAPIWrapper
 from langchain.chains import ConversationalRetrievalChain
 
@@ -91,6 +91,7 @@ TALKING_HEAD_WIDTH = "192"
 AZURE_VOICE_DATA = AzureVoiceData()
 POLLY_VOICE_DATA = PollyVoiceData()
 
+prompt_string =""
 
 def save_sqlite(key,value):
     try:
@@ -193,12 +194,18 @@ def add_files_to_collection(input_file_path, collection_name):
     add_documents_into_cromadb(persist_db, file_path, collection_name)
 
 def get_prompt_summary_string():
-    return """使用中文替下面內容做個精簡摘要:
+    _local_prompt_string = """使用中文替下面內容做個精簡摘要:
 
 {text}
 
 精簡摘要:"""
 
+    if prompt_string == "":
+        return _local_prompt_string
+    else:
+        print("prompt_string: "+prompt_string)
+        return prompt_string
+
 template_string = """
 我是鴻海(等同Foxconn)的員工, 你是一個鴻海的人資專家.
 請根據歷史對話,針對這次的問題, 形成獨立問題. 請優先從提供的文件中尋找答案, 你被允許回答不知道, 但回答不知道時需要給中央人資的客服聯絡窗口資訊.
@@ -208,7 +215,55 @@ template_string = """
 這次的問題: {question}
 人資專家:
 """
+
+default_legal_contract_prompt = """
+你是一位超級助理, 十分擅長從大量文字中擷取摘要.
+以下用 ''' 包含的是保密合約的內容，幫我生成一份2,000個中文字以內保密合約摘要，摘要需要包含以下項目：
+1.背景: 介紹對方公司的背景、為什麼要跟該公司簽訂保密合約
+2.目的: 要與對方交換什麼資料, 資料內容與範圍
+3.合約期間:保密合約的時間範圍
+4.提前解約條款: 發生什麼樣的條件就會要提前解約
+5.保密期間: 保密的時間範圍
+6.管轄法院: 如有爭端,雙方同意的管轄法院是哪個法院
+
+AI 風險評估: 希望AI 可以評估該資料交換是否有高風險的疑慮; 評估準測:
+高風險: 涉及到營業秘密的內容
+中風險: 沒有營業秘密, 但有涉及敏感資料(足以辨識個人的訊息)
+低風險: 僅涉及作業面向的訊息
+
+保密合約:
+'''
+{text}
+'''
+
+"""
+
+default_legal_quotation_prompt = """
+你是一位超級助理, 十分擅長從大量文字中擷取摘要.
+以下用 ''' 包含的是報價單的內容，幫我生成一份2,000個中文字以內報價單摘要，摘要需要包含以下項目：
+
+1. 標的名稱: 報價單中所列出的產品或服務的名稱。
+2. 價格: 報價單中所列出的每個產品或服務的價格, 一定要有正確的幣別與金額數字.
+3. 付款內容: 報價單中所列出的付款方式和相關內容, 包括訂金, 交貨款和保留款的金額和支付方式; 除了各款項的交付百分比, 也需要有正確的金額與幣別.
+4. 交貨時間: 報價單中所列出的產品或服務的交付的日期或時間範圍。
+5. 保固(英文為Warranty): 請摘要報價單中所有關於保固內容.
+6. 維修費用：報價單中所列出的產品或服務的維修費用或相關條款, 有任何維修的金額請一定要列出.
+7. 貿易條件(Trade Term)
+8. 其他注意事項：報價單中所列出的其他重要事項或注意事項。
+
+請根據報價單的內容, 生成一份清晰明確的摘要, 條列式地把摘要列出, 確保所有項目都被包含在內. 如果內容超過三句話, 請以子項目的方式逐一列舉出來.
+
+請注意，生成的摘要應該是簡潔且易於理解的, 要詳細條列出內容, 不可產生 "依其他文件說明" 等說明方式.
+在報價單裡沒有找到符合的資訊, 你被允許回答 "無相關資料".
+
+報價單內容:
+
+'''
+{text}
+'''
+"""
 def get_prompt_template_string():
+    print("template:"+template_string)
     return template_string
 
 def get_default_template_prompt():
@@ -367,7 +422,20 @@ def content_summary(split_documents):
     llm = AzureChatOpenAI(
         deployment_name=global_deployment_id,
         model_name=global_model_name,
-        temperature=0.2)
+        temperature=0.0)
+    _local_prompt_string = get_prompt_summary_string()
+    _local_prompt = PromptTemplate.from_template(_local_prompt_string)
+
+    llm_chain = LLMChain(llm=llm, prompt=_local_prompt)
+
+    # Define StuffDocumentsChain
+    stuff_chain = StuffDocumentsChain(
+        llm_chain=llm_chain, document_variable_name="text"
+    )
+    output = stuff_chain(split_documents)
+    return output
+
+    '''
     map_prompt = get_prompt_summary_string()
     map_prompt_template = PromptTemplate(template=map_prompt, input_variables=["text"])
     chain = load_summarize_chain(
@@ -383,6 +451,7 @@ def content_summary(split_documents):
     except Exception as e:
         print(e)
         return {'output_text':refuse_string}
+    '''
 
 def pdf_summary(file_name):
     print("file_name: "+file_name)
@@ -402,6 +471,7 @@ def youtube_summary(youtube_url):
     split_documents=text_splitter.split_documents(document)
     result = content_summary(split_documents)
     return result['output_text']
+
 def summary_large_file(files):
     file_paths = [file.name for file in files]
     print(file_paths[0])
@@ -529,7 +599,6 @@ def kh_update_km(files):
 
     return num_of_collection(tmp_collection)
 
-
 class Logger:
     def __init__(self, filename):
         self.terminal = sys.stdout
@@ -546,7 +615,6 @@ class Logger:
     def isatty(self):
         return False
 
-
 def read_logs():
     sys.stdout.flush()
     ansi_escape = re.compile(r'\x1B(?:[@-Z\\-_]|\[[0-?]*[ -/]*[@-~])')
@@ -554,7 +622,6 @@ def read_logs():
     with open("output.log", "r", encoding='UTF-8') as f:
         return ansi_escape.sub('', f.read())
 
-
 def lunch_style(demo, logs=gr.Text()):
     sys.stdout = Logger("output.log")
     demo.load(read_logs, None, logs, every=1)
@@ -731,7 +798,8 @@ def gradio_run():
                 gr.Examples(onlyfiles, label="資料庫檔案", inputs=invField, examples_per_page=4)
             with gr.Row():
                 with gr.Column():
-                    llm = AzureOpenAI(
+
+                    llm = AzureChatOpenAI(
                         deployment_name=global_deployment_id,
                         model_name=global_model_name,
                         max_tokens=2000,
@@ -791,6 +859,47 @@ def gradio_run():
                     '如果龍華廠區的員工每人每天問3個問題,台灣員工每人每天問7個問題, 請問這樣一個月多少錢?'
                     ], label="訊息範例", inputs=tmp_msg)
 
+        with gr.Tab("法務AI幫手"):
+            def change_prompt(inputString):
+                global prompt_string
+                prompt_string = inputString
+                return inputString
+
+            with gr.Row():
+                with gr.Column(scale=2):
+                    gr.Markdown("""
+                    ### 操作方式:
+                    
+                    1. 可以選擇任何合約或是報價單, 目前僅支援text/pdf/docx/csv 格式; 上傳後即可使用下方的 prompt 來做摘要
+                    2. 如果要修改prompt, 直接點選 `prompt 對話框` 修改即可; 若有覺得摘要後內容不足, 不夠清楚, 可以在prompt 裡修正或新增定義. 新增完再上傳一次檔案即可
+                    3. 再煩請覺得更好的prompt 內容給Change; 若後續有需要長時間微調prompt, 會再加上可以線上儲存 prompt 功能.
+                    4. 下方有prompt 範例, 可以直接點選就會更改prompt 內容.
+                    
+                    """)
+                    file_name_field = gr.Textbox(max_lines=1, label="1. 上傳檔案", placeholder="目前沒有上傳檔案")
+                    upload_button = gr.UploadButton("請上傳保密合約或報價單(可接受text, pdf, docx, csv 格式)",
+                                                file_types=["text", ".pdf", ".csv", ".docx"], file_count="multiple")
+                    gr.Markdown("""
+                    
+                    
+                    """)
+                    prompt_textbox = gr.Textbox(default_legal_quotation_prompt, lines=20, max_lines=20, label="2. Prompt", interactive=True)
+                    prompt_textbox.change(change_prompt, inputs=prompt_textbox)
+                with gr.Column(scale=3):
+                    summary_text = gr.Textbox()
+                    summary_text.label = "3. AI 摘要:"
+                    summary_text.change = False
+                    summary_text.lines = 40
+                    summary_text.max_lines = 40
+                    pass
+
+
+            gr.Examples([default_legal_contract_prompt, default_legal_quotation_prompt], label="Prompt 範例",
+                        inputs=prompt_textbox, outputs=prompt_textbox, fn=change_prompt)
+
+            upload_button.upload(upload_large_file, upload_button, file_name_field).\
+                then(change_prompt,inputs=prompt_textbox).\
+                then(summary_large_file, upload_button, summary_text)
         demo.queue(concurrency_count=10)
         lunch_style(demo,console)
 
@@ -798,5 +907,6 @@ def test():
     mypath = "C:\\Users\\catsk\\SourceCode\\azure_openai_poc\\data\\ks_source_files"
     onlyfiles = [f for f in listdir(mypath) if isfile(join(mypath, f))]
     print(onlyfiles)
+
 gradio_run()
 

data/be_source/inquery.csv

@@ -1,3 +0,0 @@
-version https://git-lfs.github.com/spec/v1
-oid sha256:3b9f6a7ac5884b022e982f01d6f2b22c2374bcbaf2cb43a01623a637bb83cabb
-size 61120