first POC

app.py

@@ -0,0 +1,82 @@
+# %%
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
+from langchain.vectorstores import Chroma
+from langchain.embeddings import HuggingFaceEmbeddings
+
+import gradio as gr
+
+# %%
+#Load the LLM model and pipeline directly
+model="ClueAI/ChatYuan-large-v2"
+
+pipe = pipeline("text2text-generation", model=model)
+
+# %%
+# %%
+# loading the vector encoder
+model_name = "shibing624/text2vec-base-chinese"
+
+encode_kwargs = {'normalize_embeddings': False}
+model_kwargs = {'device': 'cpu'}
+
+huggingface_embeddings= HuggingFaceEmbeddings(
+    model_name=model_name,
+    model_kwargs=model_kwargs,
+    encode_kwargs = encode_kwargs
+)
+
+# %%
+persist_directory = 'chroma/'
+vectordb = Chroma(embedding_function=huggingface_embeddings,persist_directory=persist_directory)
+
+# %%
+# helper functions for prompt processing for this LLM
+
+def preprocess(text):
+  text = text.replace("\n", "\\n").replace("\t", "\\t")
+  return text
+
+def postprocess(text):
+  return text.replace("\\n", "\n").replace("\\t", "\t").replace('%20','  ')
+
+
+# get answer from LLM with prompt input
+def answer(text,context=""):
+  text = f"{context}\n{text}\n答案:"
+  text = text.strip()
+  text = preprocess(text)
+  out_text = pipe(text)
+
+  return postprocess(out_text[0]["generated_text"])
+
+# helper function for RAG
+def helper_rag(text):
+    docs_out = vectordb.similarity_search_with_relevance_scores(text,k=5)
+    context = ""
+    for doc in docs_out:
+        if doc[1] >= 0.8:
+            context += doc[0].page_content + "\n"
+
+    return context
+
+# helper function for prompt
+def helper_text(text_input):
+
+    if not any(c in text_input for c in ["猜", "打"]):
+        return "请给一个提示，提示格式，例子：猜一水果。"
+                                         
+    text=f"""谜面：{text_input} 谜底：
+    """
+
+    context = helper_rag(text)
+    
+    return answer(text,context=context)
+
+# %%
+text_input = gr.Textbox(label="谜面", value="小家伙穿黄袍，花丛中把房造。飞到西来飞到东，人人夸他爱劳动。（猜一动物）", lines = 2)
+text_output = gr.Textbox(label="谜底")
+demo = gr.Interface(fn=helper_text, inputs=text_input, outputs=text_output, flagging_options=["Inappropriate"],allow_flagging="never")
+    
+demo.launch()   
+
+

chroma/b9368f83-cac6-4e7f-aceb-46276131053f/data_level0.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a9982efe25ba84594dca572c678ac2ffa403cac0c1a02e827a5e43f2db3e8f50
+size 3212000

chroma/b9368f83-cac6-4e7f-aceb-46276131053f/header.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0ec6df10978b056a10062ed99efeef2702fa4a1301fad702b53dd2517103c746
+size 100

chroma/b9368f83-cac6-4e7f-aceb-46276131053f/length.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:afe6e46f866341678c08ac17491fe9e82ec592b3c315957ed0199b33fcfa2391
+size 4000

chroma/chroma.sqlite3

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:db922fffd85b64dcd0e1f71d07c89cc394672563a5e8da754ad07175984fab86
+size 1298432

data/riddles_data

@@ -0,0 +1,244 @@
+谜面：双石为开（猜一字）谜底：砳
+谜面：娴熟姑娘人人夸（猜一离合字）谜底：好女子（女子好）
+谜面：丘山认父（猜一字）谜底：岳
+谜面：有言在先寸土不让（猜一字）谜底：诗
+谜面：疑是地上霜（三字口语）谜底：不明白
+谜面：长长脖子白白毛，飞上空中自翱翔（猜一动物）谜底：天鹅
+谜面：一人一心一张口（猜一字）谜底：恰
+谜面：写信王国（猜一国家名）谜底：英国
+谜面：欲上青天揽明月（猜一汽车品牌）谜底：凌志
+谜面：哭成一团（猜一乐器）谜底：圆号
+谜面：身教（猜一学科）谜底：体育
+谜面：厂际挂钩搞联合（猜一字）谜底：捱
+谜面：广州街头什么时候车子最多？谜底：车主开车出来的时候
+谜面：上头去上头，下头是下头（猜一字）谜底：走
+谜面：每日三餐有有鱼肉（猜五字常用语）  谜底：不是吃素的
+谜面：水中捞月吃苦头（猜一字）谜底：湖
+谜面：不要栽跟头（猜一字）谜底：根
+谜面：路边邮筒（猜三字常用语）谜底：守信用
+谜面：文成武德（猜一字）谜底：斌
+谜面：什么话全世界都在用？谜底：电话
+谜面：清江流水变桑田（猜一人事用语）谜底：青工转干
+谜面：梁山伯与祝英台（猜一首歌）谜底：俩只蝴蝶
+谜面：驼背公公红通通，两把剪刀挂前胸。胡须长长拖个尾，大摇大摆水里游。（猜一动物）谜底：龙虾
+谜面：或重于泰山，或轻于鸿毛（四字谚语）  谜底：没大没小
+谜面：语言美（猜三字常用语）谜底：漂亮话
+谜面：三两木耳（猜一地理名词）谜底：森林
+谜面：扇形脚丫跑不远，轻轻羽毛水上漂（猜一动物）谜底：鸭子
+谜面：像鼠有翅膀，像鸟没羽毛。夜空中飞翔，超声波带路（猜一动物）谜底：蝙蝠
+谜面：鼠年谈牛（猜五字常用语）谜底：丑话说在前头
+谜面：晚上睡觉站树上，脸型神似小猫咪，每天晚上天空飞，爱吃老鼠和昆虫（猜一动物）谜底：猫头鹰
+谜面：河边相会（猜一字）谜底：湘
+谜面：浆果球形黑紫色，惹西班牙姑娘爱（猜一植物）谜底：颠茄
+谜面：对牛弹琴（猜二字常用语）谜底：丑闻
+谜面：好汉不疑妻（猜一字宗教用语）谜底：善男信女
+谜面：长寿公公慢慢爬，爱缩脑袋穿马甲（猜一动物）谜底：乌龟
+谜面：冬天一到毛变白，蹦蹦跳跳真可爱（猜一动物）谜底：雪兔
+谜面：庆祝胜利的乐曲有些过时（猜一导演）谜底：陈凯歌
+谜面：望神州长安（猜一央视主持人）谜底：顾长宁
+谜面：皇帝从不上早朝（古人的号）谜底：卧龙
+谜面：干到白头人退休（猜一字）谜底：杵
+谜面：母鸡的宝宝个子高（猜一食物）谜底：蛋糕
+谜面：上面一对竹，下面一撮毛（猜一字）谜底：笔
+谜面：九九重阳（猜一二字常用语）谜底：旮旯
+谜面：一个小儿郎，每天站桌上。肚里滚滚热，肚皮冰冰凉。一个大耳朵，穿件花衣裳。（猜一用具）谜底：暖水瓶
+谜面：排斥相亲（猜一诗句）谜底：人生不相见
+谜面：闭上你的嘴（猜一个字）谜底：哈（解释：合嘴就是闭上嘴，嘴是口）
+谜面：言而有信可相交（猜一字）谜底：何
+谜面：只有谜底未变（猜一成语）  谜底: 面目全非
+谜面：炙（猜一食品名）谜底：红烧肉
+谜面：新鲜空气出城名，南美大城很美丽（猜一城市）谜底：布宜诺斯艾利斯
+谜面：圆又圆，扁又扁，脊梁上面生只眼（猜一日用品）谜底：锅盖
+谜面：改变困境有人帮（猜一字）谜底：保
+谜面：嘴里含玉（猜一字）谜底：国
+谜面：辽阔水域上的清洁工（猜一动物）谜底：海鸥
+谜面：桃李果脯裹层糖，发明者在御膳房（猜一食品）谜底：蜜饯
+谜面：白天草里住，晚上往外飞，带着灯儿把路照，飞来飞去不怕黑。（猜一动物）谜底：萤火虫
+谜面：木有门别动手（二字词）谜底：闲扯
+谜面：两只眼睛长在一边（猜一动物）谜底：比目鱼
+谜面：充耳不闻无话讲（猜一茶叶名）谜底：龙井
+谜面：卖炭得钱何所营（猜一字）谜底：裕
+谜面：为什么好马不吃回头草？谜底：因为后面的草已经吃光了
+谜面：皇（猜一成语）谜底：白玉无暇
+谜面：二十八人齐努力（猜一字）谜底：苏
+谜面：头顶羽毛小士兵，年纪轻轻好拼命（猜一字）谜底：翠
+谜面：春天种下一个和尚，秋天收获一堆和尚。（猜一药材植物）谜底：罗汉果
+谜面：猴子每分钟能掰一个玉米，在果园里，一只猴子分钟能掰几个玉米？谜底：没掰到一个
+谜面：长方老木屋，泥土往上盖（猜一物品）谜底：棺材
+谜面：像鱼不是鱼，个子比鱼大，热血哺乳类，水柱头上扎。（猜一动物）谜底：鲸鱼
+谜面：背着房子走路（猜一动物）谜底：蜗牛
+谜面：牛牛多了两条腿（猜一字）谜底：朱
+谜面：狼牙棒儿土中生（猜一植物）谜底：仙人球
+谜面：敢为天下先（猜一字）谜底：一
+谜面：一旦拥有，天长地久（猜一字）谜底：亘
+谜面：多少心血得一言（猜一字）谜底：谧
+谜面：十加八（猜一字）谜底：架
+谜面：划船小调（猜一音乐用语）谜底：流行曲
+谜面：长腿女人（猜一物）谜底：唇膏（高）
+谜面：小小脑袋三角形，酷似蜥蜴爱爬行；伪装高手避天敌，变为红色护自己（猜一动物）谜底：变色龙
+谜面：按这样子裁衣裙，只需一米（象棋大师）谜底：李来群
+谜面：你争他抢都有份（猜一字）谜底：人（你和他里都有单立人，即人字）
+谜面：干活诀窍（猜一法律用语）谜底：劳动法
+谜面：三月一直你领先（猜一字）谜底：倩
+谜面：半个春天（猜一字）谜底：奏
+谜面：一年到头总在唱（猜一歌名）谜底：四季歌
+谜面：小雨一夜寒（猜二字常用语）谜底：冷落
+谜面：小家伙穿黄袍，花丛中把房造。飞到西来飞到东，人人夸他爱劳动。（猜一动物）谜底：蜜蜂
+谜面：千古牵连刀难割（猜一字）谜底：刮
+谜面：扁担玩自闭（猜一字）谜底：匾（把自己框起来，玩自闭）
+谜面：全部当掉（猜一古代著作）谜底：通典
+谜面：板桥作诗众人称好（猜一香港女明星）谜底：郑秀文
+谜面：全面开荒（猜一成语）谜底：不留余地
+谜面：黯（猜一成语）谜底：有声有色
+谜面：红娘子，上高楼。心里疼，眼泪流（猜一日常用品）谜底：蜡烛
+谜面：身穿红衣，常年哨放，遇紧急事，往火里闯（猜一日常用品）谜底：灭火器
+谜面：左手五个，右手五个。拿去十个，还剩十个（猜一日常用品）谜底：手套
+谜面：到了长城放声唱（猜一歌曲名）谜底：好汉歌
+谜面：嫦娥三号去哪了（流行歌曲）谜底：月亮之上
+谜面：一群黄鸡娘，生蛋进船舱。烤后一声响，个个大过娘（猜一食物）谜底：爆米花
+谜面：站着百分高，躺着十寸长。裁衣做数学，它会帮你忙（猜一日常用品）谜底：尺
+谜面：一物三口，有腿无手。谁要没它，难见亲友（猜一日常用品）谜底：裤子
+谜面：左手五个，左手五个。拿去十个，还剩十个（猜一日常用品）谜底：手套
+谜面：四角方方，常随常往。伤风咳嗽，数它最忙（猜一日常用品）谜底：手帕
+谜面：半个西瓜样，口朝上面搁。上头不怕水，下头不怕火（猜一日常用品）谜底：锅
+谜面：中间是火山，四边是大海。海里宝贝多，快快捞上来（猜一日常用品）谜底：火锅
+谜面：红娘子，上高楼，心里疼，眼泪流（猜一日常用品名）谜底：蜡烛
+谜面：猛将百余人，无事不出城。出城就放火，引火自烧身（猜一日常用品）谜底：火柴
+谜面：一只八宝袋，样样都能装。能装棉和纱，能装铁和钢（猜一日常用品）谜底： 针线包
+谜面：远看两个零，近看两个零。有人用了行不得，有人不用不得行（猜一日常用品）谜底：眼镜
+谜面：有面无口，有脚无手。听人讲话，陪人吃酒（猜一日常用品）谜底：桌子
+谜面：带着平顶帽，身穿圆筒袄，虽然一只眼，暗中逞英豪（猜一日常用品）谜底：手电筒
+谜面：前面来只船，舵手在上边，来时下小雨，走后路已干（猜一日常用品）谜底：熨斗
+谜面：小小东西，放在腋底。有病没病，看它肚皮（猜一日常用品）谜底：温度计
+谜面：一只雀，飞上桌，捏尾巴，跳下河（猜日常用品）谜底：汤匙
+谜面：鼻子朝天，嘴巴朝地。敲它一锤，惊天动地（猜一日常用品）谜底：大钟
+谜面：金钩吊银圈，姐妹隔座山。若要来相会，需到天色晚（猜一日常用品）谜底：耳环
+谜面：生在山崖，落在人家，凉水浇背，千刀万剐（猜一日用品）谜底：磨刀石
+谜面：薄薄一张口，能啃硬骨头。吃肉不喝汤，吃瓜不嚼豆（猜一日常用品）谜底：菜刀
+谜面：外面冷冰冰，里面热心肠，一夜到天亮，肚里还不凉（猜一日常用品）谜底：暖壶
+谜面：有硬有软，有长有宽。白天空闲，夜晚上班（猜一日常用品）谜底：床
+谜面：有风吹不动，它动就生风，若要不动它，待到起秋风（猜一日常用品）谜底：扇子
+谜面：一间小药房，药品里面藏。房子涂白色，十字画中（猜一日常用品）谜底：医药箱
+谜面：一物生得巧，地位比人高。戴上御风寒，脱下有礼貌（猜一日常用品）谜底：帽子
+谜面：一颗小红枣��一屋盛不了。只要一开门，枣儿往外跑 打一日常用品）谜底：油灯
+谜面：屋里一座亭，亭中有个人，天天荡秋千，不荡就有病（猜一日常用品）谜底：钟摆
+谜面：不是点心不是糖,软软凉凉肚里藏,不能吃来不能喝,每天也要尝一尝（猜一日常用品）谜底：牙膏
+谜面：红艳艳，飘胸前。像火苗，暖心间（猜一日常用品）谜底：红领巾
+谜面：头上亮光光，出门就成双。背上缚绳子，驮人走四方（猜一日常用品）谜底：皮鞋
+谜面：口比肚子大，给啥就吃啥。它吃为了你，你吃端着它（猜一日常用品）谜底：饭碗
+谜面：楼台接楼台，一层一层接起来，上面冒白气，下面水开花（猜一日常用品）谜底：蒸笼
+谜面：平日不思，中秋想你。有方有圆，又甜又蜜（猜一日常用品）谜底：月饼
+谜面：一只黑鞋子，黑帮黑底子。挂破鞋子口，漏出白衬子（猜一日常用品）谜底：西瓜子
+谜面：一把刀，顺水漂，有眼睛，没眉毛。（猜一动物名）谜底：鱼
+谜面：两眼外秃大嘴巴，有个尾巴比身大，青草假山来相伴，绽放朵朵大红花谜底：金鱼
+谜面：像鱼不是鱼，终生住海里。远看是喷泉，近看像岛屿（猜一动物名）谜底：鲸
+谜面：小时像豆号，在水中玩耍。长大跳得高，是捉虫冠军（猜一动物名）谜底：青蛙
+谜面：为你打我，为我打你。打到你皮开，打得我出血（猜一动物名）谜底：蚊子
+谜面：似鸟又非鸟，有翅身无毛，一脸丑模样，专爱 夜遨游谜底：蝙蝠
+谜面：肥腿子，尖鼻子。穿裙子，背屋子（猜一动物名）谜底：蜗牛
+谜面：身穿绿衣裳，肩扛两把刀。庄稼地里走，害虫吓得跑（猜一动物名）谜底：螳螂
+谜面：娘子娘子，身似盒子。麒麟剪刀，八个钗子（猜一动物名）谜底：螃蟹
+谜面：黑脸包丞相，坐在大堂上（猜一动物）谜底：蜘蛛
+谜面：身小力不小，团结又勤劳。有时搬粮食，有时挖地道（猜一动物名）谜底：蚂蚁
+谜面：白天一起玩，夜间一块眠，到老不分散，人间好姻缘（猜一动物）谜底：鸳鸯
+谜面：个儿高又大，脖子似吊塔。和气又善良，从来不打架（猜一动物名）谜底：长颈鹿
+谜面：脚儿小，腿儿高，戴红帽，穿白袍（猜一动物名）谜底：丹顶鹤
+谜面：有位小姑娘，身穿黄衣裳。谁要欺负她，她就戳一枪（猜一动物名）谜底：马蜂
+谜面：脚像细牛脚，身像大狗重。行象后生子，须象老大人（猜一动物名）谜底：羊
+谜面：脚着暖底靴，口边山胡须。夜里当巡捕，日夜把眼眯（猜一动物名）谜底：猫
+谜面：无脚也无手，身穿鸡皮皱。谁若碰着它，吓得连忙走（猜一动物名）谜底：蛇
+谜面：身长约一丈，鼻生头顶上。背黑肚皮白，安家在海岸（猜一动物名）谜底：海豚
+谜面：身上滑腻腻，喜欢钻河底。张嘴吐泡泡，可以测天气（猜一动物名）谜底：泥鳅
+谜面：姑娘真辛苦，晚上还织布。天色蒙蒙亮，机声才停止（猜一动物名）谜底：纺织娘
+谜面：身子轻如燕，飞在天地间，不怕相隔远，也能把话传（猜一动物名）谜底：信鸽
+谜面：吃进的是草，挤出的是宝。舍己为人类，功劳可不小（猜一动物名）谜底：奶牛
+谜面：长胳膊，猴儿脸。大森林里玩得欢。摘野果，捣鹊蛋，抓住树枝荡秋千（猜一动物名）谜底：长臂猿
+谜面：爱好旅游（猜一成语）谜底：喜出望外
+谜面：盲人摸象（猜一成语）谜底：不识大体
+谜面：蜜饯黄连（猜一成语）谜底：同甘共苦
+谜面：会计（猜一成语）谜底：足智多谋
+谜面：逆水划船（猜一成语谜底：力争上游
+谜面：快刀斩乱麻（猜一成语谜底：迎刃而解
+谜面：翘翘板（猜一成语）谜底：此起彼落
+谜面：遇事不求人（猜一成语）谜底：自力更生
+谜面：脱粒机（猜一成语）谜底：吞吞吐吐
+谜面：四通八达（猜一成语）谜底：头头是道
+谜面：一块变九块（猜一成语）谜底：四分五裂
+谜面：节日的焰火（猜一成语）谜底：五彩缤纷
+谜面：乖（猜一成语）谜底：乘人不备
+谜面：相声（猜一成语）谜底：装腔作势
+谜面：逆水划船（猜一成语）谜底：激流勇进
+谜面：伞兵（猜一成语）谜底：从天而降
+谜面：兔子请老虎（猜一成语）谜底：寅吃卯粮
+谜面：照相底片谜底：颠倒黑白
+谜面：平原门下客三千谜底：胜友如云
+谜面：圆寂（猜一成语）谜底：坐以待毙
+谜面：哑巴打手势（猜一成语）谜底：不言而喻
+谜面：仙乐（猜一成语）谜底：不同凡响
+谜面：零存整取（猜一成语）谜底：积少成多
+谜面：初一（猜一成语）谜底：日新月异
+��面：暗中下围棋（猜一成语）谜底：皂白不分
+谜面：并重（猜一成语）谜底：恰如其分
+谜面：八十八（猜一成语）谜底：入木三分
+谜面：超好牙刷（猜一成语）谜底：一毛不拔
+谜面：打边鼓（猜一成语）谜底：旁敲侧击
+谜面：感冒通（猜一成语）谜底：有伤风化
+谜面：鲁达当和尚（猜一成语）谜底：半路出家
+谜面：皇（猜一成语）谜底：白玉无暇
+谜面：举重比赛（猜一成语）谜底：斤斤计较
+谜面：纸老虎（猜一成语）谜底：外强中干
+谜面：美梦（猜一成语）谜底：好景不长
+谜面：农产品（猜一成语）谜底：土生土长
+谜面：无底洞（猜一成语）谜底：深不可测
+谜面：山水之间，一方独 立（猜重庆一地名）谜底：涪陵
+谜面：掌声经久不息（猜北京一地名）谜底：延庆
+谜面：沫若乡间住处（猜北京一地名）谜底：郭公庄
+谜面：重点干起，秋前方成（猜天津一地名）谜底：和平
+谜面：安得后羿弓谜底：射阳
+谜面：雄踞山寨（猜吉林一地名）谜底：公主岭
+谜面：潘仁美卖国谜底：通辽
+谜面：固若金汤（猜河北一地名）谜底：保定
+谜面：中国界首（猜河北一地名）谜底：玉田
+谜面：金乌西坠白头看（河南地名）谜底：洛阳
+谜面：上下四方都无险（安徽地名）谜底：六安
+谜面：发扬大协作精神（青海地名）谜底：互助
+谜面：刘关张结义区（台湾一地名）谜底：桃园
+谜面：又到鸡西市（黑龙江地名）谜底：双城
+谜面：庙建成菩萨到（猜上海一地名）谜底：静安寺
+谜面：财源茂盛达三江（猜广西一地名）谜底：富川
+谜面：情投意合（猜宁夏一地名）谜底：同心
+谜面：公开赞助（猜湖北一地名）谜底：襄阳
+谜面：公私仓廪皆丰实（猜海南一地名）谜底：屯昌
+谜面：花和尚鲁智深（猜四川一地名）谜底：色达
+谜面：刘邦登基诏书（猜四川一地名）谜底：宣汉
+谜面：南人不复反矣（猜四川一地名）谜底：南充
+谜面：举起鞭儿又紧缰（猜一地名）谜底：策勒
+谜面：介胄之士（猜湖北一地名）谜底：武汉
+谜面：全面整顿（猜云南一地名）谜底：大理
+谜面：美哉嘉陵（猜云南一地名）谜底：丽江
+谜面：惩恶扬善（猜云南一地名）谜底：楚雄
+谜面：山花红烂漫（猜内蒙古一地名）谜底：赤峰
+谜面：一去无音讯（猜一字）谜底：查
+谜面：木字加一撇，莫当禾字猜（猜一字）谜底：朱
+谜面：一去就变坏（猜一字）谜底：坯
+谜面：差点就黑了（猜一字）谜底：鸟
+谜面：一口咬掉牛尾巴（猜一字）谜底：告
+谜面：一月一日非今天（猜一字）谜底：明
+谜面：水落石出（猜一字）谜底：泵
+谜面：剥去画皮（猜一字）谜底：田
+谜面：双“十一”（猜一字）谜底：圭
+谜面：如鱼得水（猜一字）谜底：渔
+谜面：桃李满天下（猜一成语）谜底：遍地开花
+谜面：笑死人（猜一成语）谜底：乐极生悲
+谜面：纸老虎（猜一成语）谜底：外强中干
+谜面：改动百分之九十（猜一成语）谜底：一成不变
+谜面：合起来五句话 (打一成语)谜底：三言两语
+谜面：又是星期一（猜一成语）谜底：周而复始
+谜面：爱好旅游（猜一成语）谜底：喜出望外
+谜面：二三四五六七八（猜一成语）谜底：缺衣少食
+谜面：全面开荒（猜一成语）谜底：不留余地
+谜面：反腐倡廉一壮士（猜三个朝代名）谜底：清明汉
+谜面：心底无私天地宽（猜一手机用语）谜底：内存容量大
+谜面：不忘初心（猜一字）谜底：怀
+谜面：一年四季花如锦（猜一中国地名）谜底：长春
+谜面：比猫大只，比熊可爱，爱吃竹子。（猜一动物）谜底：熊猫

data_preparation.py

@@ -0,0 +1,67 @@
+# %%
+import shutil
+import os
+
+from langchain.document_loaders import TextLoader
+from langchain.text_splitter import CharacterTextSplitter
+from langchain.embeddings import HuggingFaceEmbeddings
+from langchain.vectorstores import Chroma
+
+# %%
+# loading the riddle data into docs
+data_file = "data/riddles_data"
+loader = TextLoader(data_file)
+docs = loader.load()
+
+# create the text splitter, splitted exactly line-by-line
+text_splitter = CharacterTextSplitter(        
+    separator = "\n",
+    chunk_size = 0,
+    chunk_overlap  = 0,
+    length_function = len,
+    is_separator_regex = False,
+)
+
+# get the splits
+splits = text_splitter.split_documents(docs)
+
+# %%
+# loading the vector encoder
+
+model_name = "shibing624/text2vec-base-chinese"
+
+encode_kwargs = {'normalize_embeddings': False}
+model_kwargs = {'device': 'cpu'}
+
+huggingface_embeddings= HuggingFaceEmbeddings(
+    model_name=model_name,
+    model_kwargs=model_kwargs,
+    encode_kwargs = encode_kwargs
+)
+
+# %%
+# vectordb with Chroma
+persist_directory = 'chroma/'
+
+# %%
+# remove the old one when rebuilt the database
+if os.path.exists(persist_directory):
+    shutil.rmtree(persist_directory) # remove old database files if any
+
+# %%
+# load the riddles documents to vectordb
+vectordb = Chroma.from_documents(
+    documents=splits,
+    embedding=huggingface_embeddings,
+    persist_directory=persist_directory,
+    collection_metadata={"hnsw:space": "cosine"}
+)
+
+# %%
+vectordb.persist()
+
+print(vectordb._collection.count())
+
+
+
+# %%

requirements.txt

@@ -0,0 +1,2 @@
+transformers
+langchain