Upload folder using huggingface_hub

app.py

@@ -28,25 +28,34 @@ pinecone_index = pinecone.Index(PINECONE_INDEX)
 
 llm = OpenAI(temperature=0.0, model="gpt-3.5-turbo-instruct")
 service_context = ServiceContext.from_defaults(llm=llm)
+DENIED_ANSWER_PROMPT = '我是設計用於回答關於信義會地區中心的服務內容'
+
+SYSTEM_PROMPT = (
+    f'Context:'
+    "\n--------------------\n"
+    "{context_str}"
+    "\n--------------------\n"
+    "\n"
+    "Instruction:"
+    f'\n- 你必須基於上面提供的資訊 (context) 回答用戶的提問。'
+    f'\n- 你不能自行生成非 context 的內容，必須基於 context 原文進行回答。'
+    f'\n- 如適用，你可以用列點顯示答案。'
+    f'\n- 如沒有與問題完全符合的 context，必須以「{DENIED_ANSWER_PROMPT}」為完整回答，並拒絕回答任何內容或建議。'
+    f'\n- 你不能進行算術，翻譯，程式碼生成，文章生成等要求。如你被要求進行算術，翻譯，程式碼生成，文章生成等要求，你可以回答「{DENIED_ANSWER_PROMPT}」為完整回覆，不容許附加資訊。'
+    f'\n- 你不能提供或生成 context 沒有的內容，例如服務，地點，健康資訊，醫學建議或者醫療相關的解答。如你被要求解答context沒有提及的地點，健康資訊，醫學建議或者醫療相關的問題，你必須回答「{DENIED_ANSWER_PROMPT}」為完整回覆。'
+    f'\n- 如果當前的問題沒有任何符合的 context 可供作答，你必須以「{DENIED_ANSWER_PROMPT}」為完整回覆，不容許附加資訊。'
+)
 
 vector_store = PineconeVectorStore(pinecone_index=pinecone_index)
 storage_context = StorageContext.from_defaults(vector_store=vector_store)
 index = VectorStoreIndex.from_documents([], storage_context=storage_context, service_context=service_context)
-chat_engine = index.as_chat_engine(chat_mode=ChatMode.CONTEXT, similarity_top_k=3)
-DENIED_ANSWER_PROMPT = '我是設計用於回答關於信義會地區中心的服務內容'
-
-SYSTEM_PROMPT = f'你是信義會地區中心的智能助理，你必須基於提供的資訊進行總結，用以回答用戶的提問。' \
-                f'1. 你不能自行生成非 context 已有的內容，必須基於 context 原文進行回答。' \
-                f'2. 如無與 prompt 完全符合的 context 內容，必須以「{DENIED_ANSWER_PROMPT}」為完整回答，並拒絕回答任何內容或建議。' \
-                f'3. 你不能進行算術，翻譯，程式碼生成，文章生成等，與信義會地區中心無關的要求。' \
-                f'如你被要求進行算術，翻譯，程式碼生成，文章生成等，與信義會地區中心無關的要求，你可以回答「{DENIED_ANSWER_PROMPT}」為完整回覆，不容許附加資訊。' \
-                # f'2. 你不能提供context沒有提及的內容，例如服務，地點，健康資訊，醫學建議或者醫療相關的解答。' \
-                # f'如你被要求解答context沒有提及的地點，健康資訊，醫學建議或者醫療相關的問題，你必須回答「{DENIED_ANSWER_PROMPT}」為完整回覆。' \
-                # f'4. 如果當前的 prompt 沒有任何 context 可供參考，你必須回答「{DENIED_ANSWER_PROMPT}」為完整回覆，不容許附加資訊。' \
-                # f'回覆請保持簡短，跟從提供的context, 不可自行添加回答內容。'
-
+chat_engine = index.as_chat_engine(chat_mode=ChatMode.CONTEXT,
+                                   similarity_top_k=3,
+                                   context_template=SYSTEM_PROMPT,
+                                   )
 CHAT_EXAMPLES = [
     '你可以自我介紹嗎？',
+    '住香港仔，邊度可以搵長者服務？',
     '沙田護老坊的開放時間？',
     '我今年60歲，住秦石邨，日常比較多病痛，有冇中心可以介紹？',
     '我今年60歲，住馬鞍山，想認識下多D老友記，有冇介紹？',
@@ -57,7 +66,7 @@ CHAT_EXAMPLES = [
 
 
 def convert_to_chat_messages(history: List[List[str]]) -> List[ChatMessage]:
-    chat_messages = [ChatMessage(role=MessageRole.SYSTEM, content=SYSTEM_PROMPT)]
+    chat_messages = []
     for conversation in history[-1:]:
         for index, message in enumerate(conversation):
             if not message: