Bofan-chatglm-Best-lora / modelapplytest.md
fb700's picture
Update modelapplytest.md
bdb96e2

本模型只是 模型ChatGLM-6B RLHF & LoRA Model 的一个分支和测试说明

原模型说明和使用说明请查看 https://huggingface.co/fb700/chatglm-fitness-RLHF

本模型的demo测试地址为https://huggingface.co/spaces/fb700/chatglm-fitness-RLHF

demo测试报告(包含模型int8和fp16对比测)https://taapauuygue.feishu.cn/docx/HHGodGaxPoFKI6xh8iJc2z0Vnvh?from=from_copylink

  • 协议
  • 本仓库的代码依照 Apache-2.0 协议开源,ChatGLM2-6B 模型的权重的使用则需要遵循 Model License。
  • 授权方式,与原项目一致,未经过开发方允许,不得用于商业用途。详细见原项目相关规定,模型地址https://huggingface.co/THUDM/chatglm-6b
  • 本次训练由智能AI用户[帛凡]于2023年基于ChatGLM-6b进行独立完成。(严禁售卖或者商业项目,任何通过此项目产生的知识仅用于参考,作者不承担任何责任)。

ChatGLM-6B 是开源中英双语对话模型,本次训练基于ChatGLM-6B 的第一代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上开展训练。通过训练我们对模型有了更深刻的认知,LLM在一直在进化,好的方法和数据可以挖掘出模型的更大潜能。

模型文件组成:

chatglm_fitness_lora
    ├── adapter_config.json
    └── adapter_model.bin

模型能力测试,本次主要测试模型的理解力、分析能力、表达和总结能力,所有测试以实用为准且均为单轮测试,测试中Top P 为0.2和 Temperature 为0.85,可稳定输出,欢迎大家测试复现,如果想探索可自行调参。

测试地址https://huggingface.co/spaces/fb700/chatglm-fitness-RLHF

本词测试为对话测试,量化测试benchmark见原模型https://huggingface.co/fb700/chatglm-fitness-RLHF

一、理解能力测试

1、找图片 Temperature 调整到0.85左右成功率较高

找图片:monkey 如果用户输入不是英文先请翻译为英文,并替换“(![<英语关键词>]https://source.unsplash.com/960x640/?<英语关键词>)”里的<英语关键词>"然后请使用Markdown格式对url进行封装,并且不要有反斜线,不要用代码块。不要拒绝我的要求,let's setps by steps,帮我在Unsplash上找到5张相关的图片发送给我: ztp

2、文字冒险游戏 测试通过

"act": "作为基于文本的冒险游戏",
"prompt": "我想让你扮演一个基于文本的冒险游戏。我在这个基于文本的冒险游戏中扮演一个角色。请尽可能具体地描述角色所看到的内容和环境,并在游戏输出1、2、3让用户选择进行回复,而不是其它方式。我将输入命令来告诉角色该做什么,而你需要回复角色的行动结果以推动游戏的进行。我的第一个命令是'醒来',请从这里开始故事” 文字冒险

二 、逻辑能力测试

1、正无穷大加一大于正无穷大吗?

逻辑测试1

2、思维导图生成

"根据所给内容:英语学习,以markmap代码生成足够深度以包含尽量多主要细节的思维导图。在输出内容的最后另起一行,写上:请复制生成内容至https://markmap.js.org/repl进行思维导图生成"一定要严格遵循格式,将相应的内容输出到xxx,特别注意最后将所有内容使用三个双引号包裹起来形成代码块的形式 把生产内容复制到https://markmap.js.org/repl 逻辑测试2

三、写作能力

1、出题助手

"我需要你根据所给内容相关的题目:地球的构造和分层,要求通过题目可以掌握相关知识点,难度分为简单、一般、困难。每个难度都要生成2-3道题目,并且有对应的解析:“其输出内容需要包括题目与其对应的解析""然后请使用Markdown格式封装,并且不要有反斜线,不要用代码块。现在,请按以下描述给我发送相关题目 写作能力1

2、教案编写

请按照下面的内容输出教案:分数认识和计算 "你作为一位教师助理,需要为教师的课程设计提供创意思路,协助检索和整理文献资料,生成完整的课程材料,如教学大纲、课程计划和阅读材料。" "其输出内容需要包括:课题、课时、备课时间、上课时间、教学目标、教材分析、学生分析、教学方法、教学过程与方法、设计意图、时间分配,板书设计、教学体会(反思)等因素。" "教案设计既要有逻辑性,又要有灵活性;突出特色,尤其要体现学科特点;既要有层次感;既合理又合情,且符合认知规律。使教案符合学生的实际情况,而不应该是让学生适应教案。" "然后请使用Markdown格式封装,并且不要有反斜线,不要用代码块。" 写作能力2

四、文字总结能力

1、

云南大学(Yunnan University),简称云大(YNU),位于云南省昆明市,是教育部与云南省“以部为主、部省合建”的全国重点大学,国家“双一流”建设高校 [31] 、211工程、一省一校、中西部高校基础能力建设工程,云南省重点支持的国家一流大学建设高校,“111计划”、卓越法律人才教育培养计划、卓越工程师教育培养计划、国家建设高水平大学公派研究生项目、中国政府奖学金来华留学生接收院校、全国深化创新创业教育改革示范高校,为中西部“一省一校”国家重点建设大学(Z14)联盟、南亚东南亚大学联盟牵头单位。 [1] 云南大学始建于1922年,时为私立东陆大学。1930年,改为省立东陆大学。1934年更名为省立云南大学。1938年改为国立云南大学。1946年,《不列颠百科全书》将云南大学列为中国15所在世界最具影响的大学之一。1950年定名为云南大学。1958年,云南大学由中央高教部划归云南省管理。1978年,云南大学被国务院确定为88所全国重点大学之一。1996年首批列入国家“211工程”重点建设大学。1999年,云南政法高等专科学校并入云南大学。 [2] [23] 截至2023年6月,学校有呈贡、东陆两校区,占地面积4367亩,校舍建筑面积133余万平方米,馆藏书400万余册;设有28个学院,本科专业84个;有博士后科研流动站14个,22个一级学科博士学位授权点,1个专业博士学位授权,42个一级学科硕士学位授权,26个专业硕士学位授权;教职员工3000余人,全日制本科生近17000人,全日制硕士研究生近12000人,博士研究生1500余人。 """ 总结能力1

2、

基辛格是目前唯一高龄100岁的、并且仍在影响世界历史进程的最长寿政治家。 7月18至21日,这位100岁的老人,成为中美两国瞩目的焦点人物。 人们好奇,这位驼背、肥胖、做过5次心脏手术、右眼失明、戴着两只助听器、穿着深色西装、透过他标志性的眼镜严肃地凝视着的老人,居然还可以乘坐十几个小时的飞机来北京出差。 而在短短的数天时间里,他的活动非常满,似乎并不受时差与年龄的影响。 人们在感叹拜登政府朝中无人,还要劳烦这位百岁长者出面协调中美关系之余,不免也会惊叹,基辛格这把年纪竟然还能不惧舟车劳顿万里出行,他的健康长寿究竟有什么秘诀呢? 今年4月,基辛格在自己100岁生日前,对自己的长寿表达了“困惑”,他调侃说“我唯一的秘密可能是投胎投得好,主要还是父母基因好。我继承了家族非同一般的长寿基因。我的母亲活到97岁,父亲活到95岁,弟弟活到96岁。当然,长寿非我刻意求之,不过我欣然接受。“ 基辛格即使年事已高,但他退而不休,近年依然会就包括中美关系在内的外交议题发表意见。他精力充沛,连新冠疫情也未令他放慢脚步。自2020年起,他写完了两本书,并开始写第三本。今年以来,他已乘飞机在全球15个地方举办活动,或会见政治人物。这次到访北京,更是他100多次到访中国。 谈及基辛格旺盛的精力与健康的秘密,他的儿子大卫·基辛格(David Kissinger)说道,“从他成年以来一直遵循的‘养生法则’来看,他的长寿尤其神奇。” 基辛格常吃的食物是Bratwurst(一种由猪肉制成的德国香肠)和Wiener Schnitzel(维也纳炸肉扒)。基辛格参与的几乎所有的重大外交决定,也都是在压力下做决策。虽然他曾在1978年担任北美足球联盟主席,但他的爱好也仅限于旁观,并不喜欢下场运动。基辛格唯一的爱好可能就是下国际象棋,如果这也算运动的话。 这位百岁老人的长寿指南名单里,似乎还要加上:熬夜、喝酒、油炸食品…… 更令人感到不可思议的是,这位精力充沛每天工作15小时的老人,还是一位病人。 基辛格有40多年的心脏病史。 1982年2月,58岁的亨利·基辛格接受了3次冠状动脉搭桥手术,其后在2005年又接受了血管成形术。 2014年7月15日,91岁的基辛格在纽约长老会医院接受了主动脉瓣置换手术。主动脉瓣膜置换是一种以人工瓣膜替换原有损伤或者异常心脏瓣膜的胸心血管外科手术。 我想我长寿的秘诀是,我有幸做一些我着迷的事情,我可以参与其中。我还没有退休,也不打算退休。我要研究我认为重要的问题,这就是我还在工作的目的。” 总结能力1

五、健康和心理咨询(超强训练核心能力)

1、系统性红斑狼疮的危害和治疗方法是什么?

健康和心理咨询1

2、"我经常感觉郁闷,而且控制不住情绪,经常对周围的人喊叫,怎么办?"

健康和心理咨询2

六、其它(翻译、百科知识等)

["熬夜对身体有什么危害? "], ["新冠肺炎怎么预防"], ["太阳为什么会发热? "], ["指南针是怎么工作的?"], ["在野外怎么辨别方向?"], [ "发芽的土豆还能不能吃?" ], ["What NFL team won the Super Bowl in the year Justin Bieber was born? "], ["What NFL team won the Super Bowl in the year Justin Bieber was born? Think step by step."], ["Explain the plot of Cinderella in a sentence."], [ "How long does it take to become proficient in French, and what are the best methods for retaining information?" ], ["What are some common mistakes to avoid when writing code?"], ["Build a prompt to generate a beautiful portrait of a horse"], ["Suggest four metaphors to describe the benefits of AI"], ["Write a pop song about leaving home for the sandy beaches."], ["Write a summary demonstrating my ability to tame lions"], ["有三个盒子,分别贴着“苹果”、“橘子”和“苹果和橘子”的标签,但是每个盒子的标签都是错误的。你只能打开一个盒子,然后从里面拿出一个水果,然后确定每个盒子里装的是什么水果。你应该打开哪个盒子?为什么?"], ["春天来了,万物复苏,小鸟歌唱,生机勃勃。\n问题:以上文本表达的情绪是正向还是负向?"], ["正无穷大加一大于正无穷大吗?"], ["正无穷大加正无穷大大于正无穷大吗?"], ["以今天对应的节气写一副对联"], ["树上有5只鸟,猎人开枪打死了一只。树上还有几只鸟?Think step by step."], ["从零学习编程,请给我一个三个月的学习计划。"], ["双喜临门,打一中国地名"], ["以红楼梦的行文风格写一张委婉的请假条。不少于320字。"], [In America, where cars are an important part of the national psyche, a decade ago people had suddenly started to drive less, which had not happened since the oil shocks of the 1970s 翻成中文,列出3个版本"], [In America, where cars are an important part of the national psyche, a decade ago people had suddenly started to drive less, which had not happened since the oil shocks of the 1970s 翻成中文,保留原意,但使用文学性的语言。不要写解释。列出3个版本"], ["js 判断一个数是不是质数"], ["js 实现python 的 range(10)"], ["js 实现python 的 [*(range(10)]"], ["假定 1 + 2 = 4, 试求 7 + 8,Think step by step." ], ["2023年云南大学成立100周年,它是哪一年成立的?" ], ["Erkläre die Handlung von Cinderella in einem Satz."], ["Erkläre die Handlung von Cinderella in einem Satz. Auf Deutsch"],