vectordb improvement, faster query

app.py

@@ -53,22 +53,32 @@ submit_label = ["提交","提交","Submit"]
 # %%
 # helper functions for prompt processing for this LLM
 
-def preprocess(text):
-  text = text.replace("\n", "\\n").replace("\t", "\\t")
-  return text
+# def preprocess(text):
+#   text = text.replace("\n", "\\n").replace("\t", "\\t")
+#   return text
 
-def postprocess(text):
-  return text.replace("\\n", "\n").replace("\\t", "\t").replace('%20','  ')
+# def postprocess(text):
+#   return text.replace("\\n", "\n").replace("\\t", "\t").replace('%20','  ')
 
 
 # get answer from LLM with prompt input
-def answer(input_text,context=""):
-    prompt = f"{input_text}\n提示：\n{context}\n谜底是什么？请解释。"
+def answer(input_text,context=None):
+    if context:
+        tips = "提示：\n"
+        tips += "\n".join([x[0] for x in context])
+        print (f"{input_text}\n{context[0][0]} {context[0][1]}")
+        if context[0][1] >=0.9:
+            ans = re.search(r"谜底：(\w+)", context[0][0])
+            if ans:
+                return f"谜底是：{ans.group(1)}"
+    else:
+        tips=""
+    
+    prompt = f"{input_text}\n{tips}\n谜底是什么？"
     prompt = prompt.strip()
 
     print(prompt)
-    #text = preprocess(text)
-    #out_text = pipe(text)
+    
     messages = [
         {"role": "system", "content": "You are a helpful assistant."},
         {"role": "user", "content": prompt}
@@ -82,7 +92,7 @@ def answer(input_text,context=""):
 
     generated_ids = model.generate(
         model_inputs.input_ids,
-        max_new_tokens=512,
+        max_new_tokens=128,
         do_sample=False,
         top_p=0.0
     )
@@ -100,10 +110,10 @@ def answer(input_text,context=""):
 def helper_rag(text):
     docs_out = vectordb.similarity_search_with_relevance_scores(text,k=1)
     #docs_out = vectordb.max_marginal_relevance_search(text,k=5,fetch_k = 20, lambda_mult = 0.5)
-    context = ""
+    context = []
     for doc in docs_out:
-        if doc[1] > 0.7:
-            context += doc[0].page_content + "\n"
+        if doc[1] > 0.5:
+            context.append((f"{doc[0].page_content}{doc[0].metadata['answer']}", doc[1]))
 
     return context
 

chroma/chroma.sqlite3

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:cad65f2c9bef46ec4f9cf710a1b78489a38b874ca0664ff400863cf85941b05d
-size 7553024
+oid sha256:c9e3b574a3b8dbc63d41d8e71a3653fca2baef9ab537656e4e1cd21214543fcb
+size 7331840

data/riddles_data

@@ -3,7 +3,7 @@
 谜面：举重比赛 （猜一成语）谜底：斤斤计较
 谜面：正月没有初一 （猜一字）谜底：肯
 谜面：双月合一（猜一字） 谜底：用
-谜面：阿拉丁有几多位哥哥?（猜一谜语）三个
+谜面：阿拉丁有几多位哥哥?（猜一谜语）谜底：三个
 谜面：金木水火。（猜一字） 谜底：坎
 谜面：一人（猜一字）谜底：大
 谜面：九号（猜一字）谜底：旭
@@ -345,7 +345,7 @@
 谜面：进水行不成。（猜一字）谜底：衍
 谜面：金枕头。（猜一水果）谜底：榴莲
 谜面：黯。（猜一成语）谜底：有声有色
-谜面：只有谜底未变。（猜一成语）谜底: 面目全非
+谜面：只有谜底未变。（猜一成语）谜底：面目全非
 谜面：一个人搬两个土（猜一字）谜底：佳
 谜面：一人腰上挂把弓（猜一字）谜底：夷
 谜面：一勾心月伴三星（猜一字）谜底：心
@@ -574,7 +574,7 @@
 谜面：食盐增产（猜一湖北地名）谜底：咸丰
 谜面：马骝失聪。（猜人体器官）谜底：喉咙
 谜面：黑板报。（猜一成语）谜底：白字连篇
-谜面：三八多面手。（猜《红楼梦》人名一） 巧姐
+谜面：三八多面手。（猜《红楼梦》人名一） 谜底：巧姐
 谜面：缉毒犬放工。（猜一职业）谜底：文员 （广东话谐音：闻完）
 谜面：一共五句话。（猜成语）谜底：三言两语
 谜面：一只黑狗，不叫不吼（猜一字）谜底：默
@@ -817,7 +817,7 @@
 谜面：社会在发展。（猜《水浒传》人名）谜底：史进
 谜面：窗前江水泛春色。（猜一中草药名）谜底：空青
 谜面：红嘴绿鹦哥，吃了营养多（猜蔬菜）谜底：菠菜
-谜面：草地上来了一只羊。谜底：：草莓（谐音草没）
+谜面：草地上来了一只羊。谜底：草莓（谐音草没）
 谜面：财源茂盛达三江。（猜广西一地名）谜底：富川
 谜面：赫赫小英雄。（猜《水浒传》人名）谜底：童威
 谜面：踏花归来蝶绕膝。（猜一中草药名）谜底：香附
@@ -889,7 +889,7 @@
 谜面：白胖娃娃泥里卧，腰身细细心眼多（猜食物）谜底：藕
 谜面：科举制度。（猜《前出师表》一句）谜底：试用于昔日
 谜面：红门楼，白院墻，里面坐个胖儿郎（猜器官）谜底：嘴
-谜面：绿盖红缸，里头装满蜜浆。（猜一水果）谜底：：？子
+谜面：绿盖红缸，里头装满蜜浆。（猜一水果）谜底：？子
 谜面：说它小，下边大，说它大，上边小（猜一字）谜底：尖
 谜面：远望一盆石菖，盆里不生盆外多（猜器官）谜底：胡须
 谜面：餐厅二十四小时营业。（猜一天文现象）谜底：日全食
@@ -929,14 +929,14 @@
 谜面：十个客人十间屋，冷了进去暖了出唱（猜一物）谜底：手套
 谜面：千姊妹，万姊妹，同床睡，各盖被（猜一水果）谜底：石榴
 谜面：小小船，白布篷。头也红，桨也红。（猜一动物）谜底：鹅
-谜面：弯弯的月儿小小的船，小小的船儿两头尖谜底：：（香蕉）
+谜面：弯弯的月儿小小的船，小小的船儿两头尖谜底：（香蕉）
 谜面：弯弯背嵴长牙，喜欢在人头上爬。（猜一物品）谜底：梳子
 谜面：比猫大只，比熊可爱，爱吃竹子。（猜一动物）谜底：熊猫
 谜面：没到手想抢到手，抢到手却扔出手。（猜一物）谜底：篮球
 谜面：泪水枯竭两相对，去心定，恨情不再（猜器官）谜底：眼睛
 谜面：浑身是毛一条腿，土怕它来它怕水（猜一物）谜底：鸡毛掸
 谜面：浑身毛，一条腿，不怕灰尘只怕水（猜一物）谜底：鸡毛帚
-谜面：皱肉皱骨头，骨头生在肉外头。（猜一水果）谜底：：核桃
+谜面：皱肉皱骨头，骨头生在肉外头。（猜一水果）谜底：核桃
 谜面：金箍桶，银箍桶，打开来，箍不拢。（猜一动物）谜底：蛇
 谜面：麻屋子红帐子，里面一个白胖子。（猜一食物）谜底：花生
 谜面：黄包袱，包黑豆，常一口，甜水流。（猜一水果）谜底：梨
@@ -1005,7 +1005,7 @@
 谜面：五个兄弟，生在一起，有骨有肉，长短不齐（猜器官）谜底：手
 谜面：八仙过海到此地，伏羲女娲居其中（猜一山东地名）谜底：蓬莱
 谜面：圆又圆，扁又扁，脊梁上面生只眼。（猜一日用品）谜底：锅盖
-谜面：小小坛子，装满饺子，吃掉饺子，吐出珠子。谜底：：（橘子）
+谜面：小小坛子，装满饺子，吃掉饺子，吐出珠子。谜底：（橘子）
 谜面：扁担玩自闭。（猜一字）谜底：匾。（把自己框起来，玩自闭）
 谜面：有硬有软，有长有宽。白天空闲，夜晚上班（猜一物）谜底：床
 谜面：来自水中，却怕水冲，回到水里，无影无踪（猜食物）谜底：盐
@@ -1013,8 +1013,8 @@
 谜面：沟里走，沟里串。背了针，忘了线。（猜一动物名）谜底：刺猬
 谜面：洪湖歌声融暮色。（猜《滕王阁序》一句）谜底：窜梁鸿于海曲
 谜面：白里透红浑身毛，果肉丰富皮儿薄。（猜一水果）谜底：水蜜桃
-谜面：看看圆，摸摸麻，包着一肚小月牙。（猜一水果）谜底：：桔子
-谜面：粉脸红唇模样美，偏偏是个大歪嘴。（猜一水果）谜底：：桃子
+谜面：看看圆，摸摸麻，包着一肚小月牙。（猜一水果）谜底：桔子
+谜面：粉脸红唇模样美，偏偏是个大歪嘴。（猜一水果）谜底：桃子
 谜面：耳朵长，尾巴短。只吃菜，不吃饭。（猜一动物名）谜底：兔子
 谜面：肥腿子，尖鼻子。穿裙子，背屋子。（猜一动物名）谜底：蜗牛
 谜面：船板硬，船面高。四把桨，慢慢摇。（猜一动物名）谜底：乌龟
@@ -1078,7 +1078,7 @@
 谜面：一个小黑人，跳进洗澡盆，越洗越不凈，长人变短人（猜一物）谜底：墨
 谜面：一家有七口，种田种一亩，自己吃不够，还养一条狗（猜一字）谜底：兽
 谜面：一点一横长，一撇到南洋，南洋有个人，只有一寸长（猜一字）谜底：府
-谜面：上头不怕水，下头不怕火，妈妈每天用，厨房一定有。（猜一物件）锅子
+谜面：上头不怕水，下头不怕火，妈妈每天用，厨房一定有。（猜一物件）谜底：锅子
 谜面：个儿不算大，帮着人看家，身子用铁打，辫子门上挂（猜一物）谜底：锁
 谜面：兄弟七八个，围着柱子坐，大家一分家，衣服就扯破（猜蔬菜）谜底：蒜
 谜面：只吃叶子不吃肉，每天劳作只为人们吐丝和编织。（猜一动物）谜底：蚕
@@ -1340,7 +1340,7 @@
 谜面：驼背老公公，胡子毛烘烘，热火锅里去洗澡，青袍换成大给红袍（猜海洋生物）谜底：虾
 谜面：一根柱子好些樑，没有门窗没有墙，好象一座小亭子，用它挡雨遮太阳（猜一物）谜底：伞
 谜面：不是葱不是蒜，一层一层裹紫缎，说葱比葱长得矮，像蒜就是不分瓣（猜蔬菜）谜底：洋葱
-谜面：几个兄弟一个样，弯弯身子软心肠。看看个个像弯月，吃在嘴里甜又香。谜底：：（香蕉）
+谜面：几个兄弟一个样，弯弯身子软心肠。看看个个像弯月，吃在嘴里甜又香。谜底：（香蕉）
 谜面：哥儿十个分两家，干起活来要请它。开机器，种庄稼，越干越巧劲越大（猜器官）谜底：手
 谜面：大碗长着俩耳朵，比碗盛得多得多，不怕水，不怕火，爱在炉台上面坐（猜一物）谜底：锅
 谜面：大耳朵，噘嘴巴，吃起饭来巴达巴，细尾巴，胖嘟嘟，吃罢就睡唿噜噜（猜动物）谜底：猪
@@ -1422,7 +1422,7 @@
 谜面：小时绷着青脸皮，老来皱起红脸皮，生的熟吃惹人笑，熟的生吃不希奇。（猜一水果）谜底：枣
 谜面：小铁柱儿胆不小，头戴玻璃平顶帽。一只眼睛亮闪闪，哪儿黑往哪儿瞧（猜一物）谜底：手电筒
 谜面：尖尖的嘴巴象老鼠，一身茸毛尾巴粗。爱在森林里边住，爱吃松子爱上树（猜动物）谜底：松鼠
-谜面：弯弯儿不是镰刀，翘翘儿不是牛角，一旦抓它在手，撕开脸皮就咬。（猜一水果）谜底：：香蕉
+谜面：弯弯儿不是镰刀，翘翘儿不是牛角，一旦抓它在手，撕开脸皮就咬。（猜一水果）谜底：香蕉
 谜面：有个懒家伙，只吃不干活，戴顶帽子帽边大，穿件褂子竹子谜语纽扣多。（猜一动物）谜底：猪
 谜面：歪脖子，宽嘴巴，跟着人走头朝下，野草见它就害怕，农民伯伯要用它唱（猜一物）谜底：锄头
 谜面：白天一到芬芳断，夜晚香味飘散远，飞虫闻味来传粉，祕密皆在花瓣间（猜花卉）谜底：夜来香
@@ -1440,7 +1440,7 @@
 谜面：别看它的身子小，头上戴顶大白帽，睁开眼睛屋里亮，地上蚂蚁也能找得到（猜一物）谜底：电灯
 谜面：天空捍卫小飞军，井然排列人字形，冬天朝南春回北，规规矩矩纪律明。（猜一动物）谜底：大雁
 谜面：小刺猬，毛外套，脱去外套露红袍，红袍裹着毛绒袄，袄里睡着黄宝宝。（猜一水果）谜底：栗子
-谜面：小时绷着青脸皮，老来皱起红脸皮，生的熟吃惹人笑，熟的生吃不希奇。（猜一水果）谜底：：枣
+谜面：小时绷着青脸皮，老来皱起红脸皮，生的熟吃惹人笑，熟的生吃不希奇。（猜一水果）谜底：枣
 谜面：小龙船，龙船小，龙船尖尖两头翘，水里飘了一秋天，装来一颗白元宝。（猜一水果）谜底：菱角
 谜面：尖嘴尖耳尖下巴，细腿细角细小腰，素性奸刁多猜疑，尾后拖着一丛毛。（猜一动物）谜底：狐狸
 谜面：树婆婆，园中站，身上挂满小鸡蛋，又有红来又有绿，既好吃来又好看。（猜一水果）谜底：枣树
@@ -1467,15 +1467,15 @@
 谜面：一身橙衣穿身上，白色条纹喜相迎；母系社会可变性，人送外号小尼莫。（猜一鱼类）谜底：小丑鱼
 谜面：两眼外秃大嘴巴，有个尾巴比身大，青草假山来相伴，绽放朵朵大红花。（猜一动物名）谜底：金鱼
 谜面：小小脑袋三角形，酷似蜥蜴爱爬行；伪装高手避天敌，变为红色护自己。（猜一动物）谜底：变色龙
-谜面：小龙船，龙船小，龙船尖尖两头翘，水里飘了一秋天，装来一颗白元宝。（猜一水果）谜底：：菱角
+谜面：小龙船，龙船小，龙船尖尖两头翘，水里飘了一秋天，装来一颗白元宝。（猜一水果）谜底：菱角
 谜面：扁平房子背身上，爱吃海藻爱泡澡；皮下脂肪绿油油，产卵要到沙滩上。（猜一动物）谜底：绿海龟
 谜面：明又明，亮又亮，一团火球挂天上，冬天呆的时间短，夏天呆的时间长（猜大自然现象）谜底：太阳
 谜面：晚上睡觉站树上，脸型神似小猫咪，每天晚上天空飞，爱吃老鼠和昆虫。（猜一动物）谜底：猫头鹰
 谜面：有时候，圆又圆，有时候，弯又弯，有时晚上出来了，有时晚上看不见（猜大自然现象）谜底：月亮
 谜面：没有身体倒会活，没有舌头会说话，谁也没有见过它，倒都叫它说过话（猜大自然现象）谜底：回声
 谜面：说它是虎它不象，金钱印在黄袄上，站在山上吼一声，吓跑猴子吓跑狼。（猜一动物）谜底：金钱豹
-谜面：远看玛瑙紫熘熘，近看珍珠圆熘熘，掐它一把水熘熘，咬它一口酸熘熘。（猜一水果）谜底：：葡萄
-谜面：远看红脸好相貌，近看一脸红疙瘩，虽说样儿小又小，为人解渴本领大。（猜一水果）谜底：：杨梅
+谜面：远看玛瑙紫熘熘，近看珍珠圆熘熘，掐它一把水熘熘，咬它一口酸熘熘。（猜一水果）谜底：葡萄
+谜面：远看红脸好相貌，近看一脸红疙瘩，虽说样儿小又小，为人解渴本领大。（猜一水果）谜底：杨梅
 谜面：上边毛，下边毛，中间夹颗黑葡萄，假如你要猜不着，请你对我瞧一瞧。（猜一人体器官）谜底：眼睛
 谜面：像双胞胎兄弟，一起工作，形影不离。只在乎固体食物，对汤类不感冒。（猜一日常用品）谜底：筷子
 谜面：天热忙，天冷忙，不冷不热它不忙，一年四季住家里，送来温暖和清凉。（猜一家用电器）谜底：空调