update embedding

README.md

@@ -19,6 +19,7 @@ python3
 
 ```shell
 pip install -r requirments
+python -m spacy download zh_core_web_sm
 ```
 
 ## 运行命令

app.py

@@ -56,14 +56,15 @@ faqChain = customerEmbedding.getFAQChain()
 
 code_agent_executor = code_agent_executor()
 def faqFromLocal(input, chatbot=[]):
-    response = faqChain.run(input)
-    chatbot.append((input, response))
+    response = faqChain({"question": f"{input}"})
+    chatbot.append((input, response["answer"]))
     return chatbot, ""
 
 
-def generateEmbeddings():
-    customerEmbedding.calculateBusinessContextEmbedding()
-    customerEmbedding.calculateNotionEmbedding()
+def generateEmbeddings(chatbot=[]):
+    response = customerEmbedding.calculateEmbedding()
+    chatbot.append((None, response))
+    return chatbot
 
 
 def generateCode(input: str, chatbot=[], returnCode=False):
@@ -120,9 +121,6 @@ with gr.Blocks() as demo:
                         with gr.Row():
                             gr.Button("Save Context").click(saveContext, [context], [])
 
-                        
-                        # with gr.Row():
-                        #     generateEmbedding = gr.Button("Generate embedding")
             with gr.Tab("Tech"):
                 with gr.Row():
                     with gr.Column(min_width="50%"):
@@ -148,6 +146,8 @@ with gr.Blocks() as demo:
                 with gr.Row():
                     faq = gr.Textbox(show_label=False, placeholder="Enter text and press enter").style(
                         container=False)
+                with gr.Row():
+                    gr.Button("Regenerate embedding").click(generateEmbeddings,[faq_chatbot], [faq_chatbot])
 
         
     txt.submit(sendMessage, [chatbot, txt], [chatbot]).then(
@@ -157,7 +157,6 @@ with gr.Blocks() as demo:
         generateCode, [code, code_chatbot], [code_chatbot, code])
     
     faq.submit(faqFromLocal, [faq, faq_chatbot], [faq_chatbot, faq])
-    # generateEmbedding.click(generateEmbeddings)
     
     demo.load(loadContext, [], [context])    
 demo.launch()

documents/bussiness_context/NOTION_DB/Engineering Wiki 2402f5396a3244fdb3f1d135bdb0f3d6/Smart Domain 3b0daf8bb0d740439426cfab214f1fa6.md

@@ -1,69 +1,13 @@
 # Smart Domain
 
-Last edited time: April 23, 2023 3:59 PM
-Owner: Anonymous
-Tags: Architecture, DDD
-
-[Smart Domain](https://github.com/Re-engineering-Domain-Driven-Design/Accounting/blob/main/public/Smart%20Domain%20Pattern.pdf?raw=true)是一种新的软件架构模式，主要用于实现领域驱动设计（DDD）。相较于传统的分层架构，Smart Domain更加注重从业务领域的角度去划分层次，并在每一层次上都使用领域专家和开发人员共同理解的通用语言进行交流，从而建立起完整的领域模型。与此同时，Smart Domain还摒弃了服务层的概念，将原本在服务层实现的逻辑下沉到领域模型中，从而让领域模型更加丰满和清晰。
+Smart Domain是一种新的软件架构模式，主要用于实现领域驱动设计（DDD）。相较于传统的分层架构，Smart Domain更加注重从业务领域的角度去划分层次，并在每一层次上都使用领域专家和开发人员共同理解的通用语言进行交流，从而建立起完整的领域模型。与此同时，Smart Domain还摒弃了服务层的概念，将原本在服务层实现的逻辑下沉到领域模型中，从而让领域模型更加丰满和清晰。
 
 总之，Smart Domain是一种新的软件架构模式，通过从业务领域的角度去划分层次和使用通用语言建立领域模型，以及将服务层逻辑下沉到领域模型中，提高了领域驱动设计的实现效果。
 
-[https://github.com/Re-engineering-Domain-Driven-Design/Accounting](https://github.com/Re-engineering-Domain-Driven-Design/Accounting)
-
-[直播加餐02｜如何使用Smart Domain实现DDD？-极客时间](https://time.geekbang.org/column/article/556440)
-
 ## SmartDomain 分层
-
 1. Domain层
 Domain层是整个系统的核心，主要定义业务相关的实体（Entity）和表示实体之间关联关系的关联对象。该层定义的实体和关联对象是业务模型的核心，反映了整个系统的业务规则和逻辑。同时，该层仅提供接口或抽象类定义，不包含具体实现。这样做可以避免业务逻辑和实现细节的混淆，也方便后续的扩展和维护。
 2. 集成层
 集成层主要负责Domain层中关系对象的实现，该层会依赖数据库、Http接口访问进行功能实现。该层的职责是将Domain层的抽象定义转换成具体实现，包括数据持久化、网络通信等。该层还可以处理一些跨域访问和数据加密解密等底层功能。
 3. API层
-API层是整个系统的入口，基于Domain层的Entity或关联对象提供的能力，提供外部访问的RestFul接口。该层负责处理外部请求，将请求参数转换成业务对象并调用Domain层的业务逻辑实现，返回结果给客户端。该层还可以对请求参数进行验证、安全过滤等操作，保证系统的安全性和可靠性。
-
-- chat prompt
-    
-    Smart Domain 架构模式，将系统架构分为三层：
-    
-    1. Domain层 - 定义与业务相关的实体（Entity），表示业务概念和实体之间的关联关系的关联对象。关联对象通常是一个集合概念，表示实体的集合。关联对象仅提供接口或抽象类的定义，不包含具体实现。Domain层没有Repository、Service等技术型组件。
-    2. 集成层 - 提供Domain层中关联对象的实现。该层会依赖数据库、Http接口等进行功能实现。
-    3. API层 - 基于Domain层的实体或关联对象提供的能力，提供外部访问的RestFul接口。
-    
-    ## 构建项目脚手架
-    
-    使用 Smart Domain 架构模式，本系统采用 Spring Boot 3.X、Java 17、Spring WebFlux、Spring Data reactive CouchBase、WebClient、Spring RSocket 等技术栈，并通过多模块实现分层管理。
-    
-    创建脚手架项目步骤：
-    
-    > 请给出脚手架项目搭建总体步骤，先不用给出具体操作
-    > 
-    - 创建 Gradle 多模块项目
-        
-        > 请仅给出创建 Gradle 多模块项目时root project的创建步骤
-        > 
-        - 创建root project
-            1. 创建 Gradle 多模块项目（如果未安装 Gradle，需要先安装）
-                1. 打开Intellij IDEA，选择"Create New Project"。
-                2. 在新建项目向导中，选择"Gradle"。
-                3. 选择"Create New Project"并点击"Next"。
-                4. 在"Project SDK"下拉菜单中选择您想要使用的Java JDK版本，并点击"Next"。
-                5. 输入项目名称和项目路径，并点击"Finish"。
-                6. 删除src目录
-        - 创建sub module
-            
-            创建sub module的步骤为：
-            
-            1. 在root project的根目录下，使用命令行或终端创建一个新的子目录。
-            2. 进入子目录，并在其中创建一个新的Gradle项目。
-            3. 在root project的settings.gradle文件中，添加新的sub module。
-            4. 在root project的build.gradle文件中，定义新的sub module���依赖关系和构建任务。
-            
-        - 创建root project
-            1. 创建 Gradle 多模块项目（如果未安装 Gradle，需要先安装）
-                1. 打开Intellij IDEA，选择"Create New Project"。
-                2. 在新建项目向导中，选择"Gradle"。
-                3. 选择"Create New Project"并点击"Next"。
-                4. 在"Project SDK"下拉菜单中选择您想要使用的Java JDK版本，并点击"Next"。
-                5. 输入项目名称和项目路径，并点击"Finish"。
-                6. 删除src目录
-        - 创建sub module
+API层是整个系统的入口，基于Domain层的Entity或关联对象提供的能力，提供外部访问的RestFul接口。该层负责处理外部请求，将请求参数转换成业务对象并调用Domain层的业务逻辑实现，返回结果给客户端。该层还可以对请求参数进行验证、安全过滤等操作，保证系统的安全性和可靠性。

embedding.py

@@ -1,11 +1,15 @@
-from langchain.document_loaders import TextLoader, NotionDirectoryLoader
-from langchain.text_splitter import SpacyTextSplitter
+from langchain import LLMChain, PromptTemplate
+from langchain.document_loaders import NotionDirectoryLoader
+from langchain.text_splitter import MarkdownTextSplitter, SpacyTextSplitter
 from langchain.embeddings import HuggingFaceEmbeddings
 from langchain.vectorstores import FAISS
 from langchain.chains import RetrievalQA
-from langchain.document_loaders import TextLoader, NotionDirectoryLoader
-from langchain.vectorstores.base import VectorStoreRetriever
+from langchain.chains.question_answering import load_qa_chain
+
+from langchain.document_loaders import NotionDirectoryLoader
 from langchain.llms import OpenAI
+from langchain.memory import ConversationBufferMemory
+from langchain.chains import ConversationalRetrievalChain
 
 
 class CustomEmbedding:
@@ -16,20 +20,39 @@ class CustomEmbedding:
     def calculateEmbedding(self):
         documents = self.notionDirectoryLoader.load()
         text_splitter = SpacyTextSplitter(
-            chunk_size=256, pipeline="zh_core_web_sm", chunk_overlap=200)
+            chunk_size=2048, pipeline="zh_core_web_sm", chunk_overlap=0)
+        
+        # text_splitter = MarkdownTextSplitter(
+        #     chunk_size=4000, chunk_overlap=0)
         texts = text_splitter.split_documents(documents)
 
         docsearch = FAISS.from_documents(texts, self.embeddings)
         docsearch.save_local(
             folder_path="./documents/business_context.faiss")
 
+    
+
     def getFAQChain(self, llm=OpenAI(temperature=0.7)):
+        memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)
         docsearch = FAISS.load_local(
             "./documents/business_context.faiss", self.embeddings)
-        retriever = VectorStoreRetriever(vectorstore=docsearch)
-        faq_chain = RetrievalQA.from_llm(
-            llm=llm, retriever=retriever, verbose=True)
-        return faq_chain
+        # retriever = VectorStoreRetriever(vectorstore=docsearch)
+        llm = OpenAI(temperature=0)
+        _template = """Given the following conversation and a follow up question, rephrase the follow up question to be a standalone question in chinese.
+
+        Chat History:
+        {chat_history}
+        Follow Up Input: {question}
+        Standalone question:"""
+        CONDENSE_QUESTION_PROMPT = PromptTemplate.from_template(_template)
+        question_generator = LLMChain(llm=llm, prompt=CONDENSE_QUESTION_PROMPT)
+        
+        doc_chain = load_qa_chain(llm, chain_type="map_reduce")
+        qa = ConversationalRetrievalChain( retriever= docsearch.as_retriever(),
+                                                    question_generator=question_generator,
+                                                    combine_docs_chain=doc_chain,
+                                                    memory=memory)
+        return qa
 
 
 # customerEmbedding = CustomEmbedding()

requirements.txt

@@ -4,4 +4,5 @@ langchain==0.0.162
 spacy
 sentence_transformers
 gradio_tools
-faiss-cpu
+faiss-cpu
+tiktoken