上海知识产权法院民 事 判 决 书（2020）沪73知民初406号原告：上海翎腾智能科技有限公司，住所地中国(上海)自由贸易试验区芳春路XXX号XXX幢XXX层。法定代表人：宋林林，该公司执行董事。委托诉讼代理人：唐嘉伟，上海市汇业律师事务所律师。委托诉讼代理人：王函，上海市汇业律师事务所律师。被告：上海纸上绝知智能科技有限公司，住所地上海市杨浦区。法定代表人：张哲，该公司执行董事。委托诉讼代理人：陈敬，北京市通商律师事务所律师。原告上海翎腾智能科技有限公司(以下简称翎腾公司)与被告上海纸上绝知智能科技有限公司(以下简称纸上绝知公司)专利申请权权属纠纷一案，本院受理后，依法适用普通程序，于2020年12月3日进行了庭前会议，并于2021年1月7日公开开庭进行了审理。原告翎腾公司的委托诉讼代理人唐嘉伟、王函，被告纸上绝知公司的委托诉讼代理人陈敬到庭参加诉讼。本案现已审理终结。原告向本院提出诉讼请求：确认专利申请号为XXXXXXXXXXXX.0、名称为“基于人工智能的桌面交互方法”的发明专利申请权归原告所有。事实和理由：原告自2018年成立至今，一直致力于开发一款指尖识别即用手指指点书本上的文字并快速实现识别并翻译的产品，研发团队具体致力于大数据的收集、神经网络人工智能算法的建立优化以及大数据与算法的匹配调试等。被告法定代表人张哲于2018年7月1日至2019年3月29日期间在原告处担任首席技术官。张哲离职后于2019年5月设立了从事与原告相同业务的被告，并担任法定代表人及大股东。2019年8月5日，张哲将其于原告处承担的本职工作以及单位分配的任务有关的发明创造，以被告作为专利申请人并以张哲作为发明人提出了涉案发明专利申请。被告的行为侵害了原告的合法权益，给原告造成了极大的经济损失。被告辩称，1.原告关于张哲在原告处任职期间承担的本职工作为“识别手势、检测手指位置、识别手指周围文本内容”的主张缺乏证据证明，张哲在原告处任职期间承担的本职工作为针对LightenAI单机产品所采用的Movidius芯片的代码适配和优化工作；2.涉案专利申请技术与张哲在原告处任职期间承担的本职工作之间没有相关性，专利申请技术亦与原告公司技术存在较大差异。当事人围绕诉讼请求依法提交了证据，本院组织当事人进行了证据交换和质证。根据经审查确认的证据，本院认定事实如下：一、涉案专利情况名称为“基于人工智能的桌面交互方法”的发明专利申请，申请日为2019年8月5日，申请号为XXXXXXXXXXXX.0，申请人为被告，发明人为张哲，申请公布日为2019年12月6日。摘要部分记载：本申请公开了一种基于人工智能的桌面交互方法，包括：当使用者的手势正确时，检测手的位置；匹配所述手的位置图像与预设图像；获取匹配成功的所述预设图像对应的第一文本信息；识别手指关键点的周围第二文本信息；及匹配所述第一文本信息与所述第二文本信息，获得第三文本信息，并返回将所述第三文本信息对应的服务。本申请提出一种利用人工智能技术来识别动作和手势的新的交互方式，并将这种交互方式应用到桌面学习和娱乐场景。能够自动识别使用者的手势并根据手势触发相应的应用程序。专利包含以下权利要求：1.一种基于人工智能的桌面交互方法,其特征在于,包括：当使用者的手势正确时,检测手的位置；匹配所述手的位置图像与预设图像；获取匹配成功的所述预设图像对应的第一文本信息；识别手指关键点的周围第二文本信息；及匹配所述第一文本信息与所述第二文本信息,获得第三文本信息,并返回将所述第三文本信息对应的服务。2.根据权利要求1所述的基于人工智能的桌面交互方法,其特征在于,当使用者的手势正确时,检测手的位置之前还包括：判断手是否完全至于桌面；及当手完全至于桌面时,判断手势是否正确。3.根据权利要求2所述的基于人工智能的桌面交互方法,其特征在于,判断手是否完全至于桌面包括：手机、平板或者其他摄像装置实时采集连续图像,将图像输入训练好的深度感知模型,深度感知模型可以判断手是否在桌面,当手完全置于桌面上时,返回结果1,并进入到下一步;当手未完全置于桌面上时,返回结果0,并重复判断手是否完全至于桌面。4.根据权利要求3所述的基于人工智能的桌面交互方法,其特征在于,判断手势是否正确包括：当感所述深度知模型判断手处于桌面时,将当前帧的图像输入训练好的手势识别模型,手势识别模型可以判断该手势是否是正确操作手势,当图像中手势是正确手势时,返回结果1,并进入到下一步;当图像中手势是错误手势时,返回结果0,并重复判断手是否完全至于桌面。5.根据权利要求4所述的基于人工智能的桌面交互方法,其特征在于,检测手的位置包括：将当前帧的图像输入训练好的手检测和定位模型,该检测和定位模型能够识别手的位置和相应手关键点的位置。6.根据权利要求5所述的基于人工智能的桌面交互方法,其特征在于,匹配所述手的位置图像与预设图像包括：检测到手的位置和相应关键点位置之后,提取当前帧图像的SIFT特征,将当前帧图像的SIFT特征与数据库中所有图像的特征进行匹配,并返回匹配图像的ID。7.根据权利要求6所述的基于人工智能的桌面交互方法,其特征在于,获取匹配成功的所述预设图像对应的第一文本信息包括：根据所述ID值,从数据库中获取对应的文本信息,包括但不限于中英文句子、单词、题目。8.根据权利要求7所述的基于人工智能的桌面交互方法,其特征在于,识别手指关键点的周围第二文本信息包括：根据手关键点的位置,截取一个图像区域,通过0CR识别图像区域中的文本信息。9.根据权利要求8所述的基于人工智能的桌面交互方法,其特征在于,匹配所述第一文本信息与所述第二文本信息,获得第三文本信息,并返回将所述第三文本信息对应的服务包括：所述第二文本信息与所述第一文本信息进行匹配,得到匹配到的所述第三文本,根据匹配到的所述第三文本信息,如果是中英文单词或者句子,则将翻译后的结果朗读并且显示到屏幕上；如果是题目信息,则搜索解答过程并将其显示在屏幕上。10.一种计算机设备,包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-9中任一项所述的方法。技术领域[0001]段记载：本申请涉及人工智能领域，具体而言，涉及一种基于人工智能的桌面交互方法。背景技术[0002]段记载：现有的桌面交互方法中，不能自动识别使用者的手势，并且根据手势触发交互程序。发明内容[0027]段记载：本申请提供的利用人工智能技术来识别动作和手势的新的交互方式，并将这种交互方式应用到桌面学习和娱乐场景。这种交互方式需要借助于外部设备完成,外部设备分为两种。第一种是,硬件立于桌面,顶部有一个单目摄像头斜向下照射,能够清晰地拍摄桌面的书本、手、文字、图片信息等。第二种是,利用手机或者平板立于桌面,在手机或者平板上方安放一个光学反射系统,该光学反射系统通过反射成像,使得手机或者平板的前置摄像头能够清晰地拍摄到桌面的书本、手、文字、图片信息等。二、原、被告双方情况原告成立于2018年5月7日，经营范围包括从事智能科技、机器人科技、信息技术、网络科技领域内的技术服务、技术开发、技术咨询、技术转让，人工智能行业应用系统，计算机软件的开发、设计、制作等。2018年，原告与张哲签订劳动合同书，原告安排张哲到技术部门担任CTO(首席技术官)工作，合同期限自2018年7月1日至2020年6月30日止，有效期为2年。2019年3月29日，张哲与原告解除上述劳动合同。Trello平台上原告Halo项目管理信息显示内容为团队可见，团队成员包括多人，张哲系该团队管理员，列表版块包括AI-Improvements、Movidius-Improvements、AI-手指网络、AI-单词检测网络、AI-模型优化、AI样本采集规范和标准、AI-角度网络、AI-OCR识别等。其中，1.AI-Improvements，描述为记录跟踪AI算法存在的问题，具体内容包括指尖定位、单词检测、模型测试内容等，指尖定位的选项包括弱光、杂光条件下识别率降低，无纹理背景条件下无法识别；模型测试内容的选项包括不同手指姿势(负样本)，不同人/指甲油手指，手指位于页面底部、顶部、左边界、右边界，左下角、右下角、左上角、右上角等，各种零界条件，在考虑边界的时候，同时考虑设备位置等。2.AI-手指网络，描述为要求：准确率98%，附件已添加2018年11月9日的重影和双手指新增规则PDF文件，具体内容为模型优化，其选项包括过滤平掌压书、拳头压书等多手指的情况，使用多种手势的负样本进行训练等。2019年1月4日活动部分的评论内容包括：今日新说明规则：(1)玩手机，但有明确食指指出的行为标记为样本，(2)食指跟其余三指很像的手势动作标记为不确定样本等。3.AI-单词检测网络，描述为要求：检测准确率96%，具体内容为解决长单词检测问题，选项包括考虑top-n结果和手指位置、在角度网络中加入行高的预测等。2018年9月-12月期间活动部分的团队成员评论内容包括：对样本进行清洗，利用手指和单词的位置关系，精度：94.96%；框单词标注规则由四周保留一点空隙修改为贴紧单词框，框型为长方形或者接近长方形；手机采集图片测试19967张图，训练样本裁剪900×390，corp行距回归，w=22×hword，h=5×hword，手指位置2.5/3.5，识别率94.86%等。4.AI-模型优化，描述为针对后期模型存在问题进行优化，具体内容为样本补充、模型优化，样本补充的选项包括手指Stp2加入负样本，调整指尖的位置(1/3、1/4)、加入新模型手势识别的模型和多任务(手势+手指)网络等；模型优化包括行高网络进一步优化；2018年12月-2019年1月期间活动部分的团队成员评论内容包括：行高采用smooth；手势识别模型存在正负样本比例失衡的问题。5.AI样本采集规范和标准，描述为规范AI样本采集和标注问题，2019年1月期间活动部分的团队成员评论内容包括：样本采集问题，采集样本时手指要露出来，并不要太小幅度……样本标注问题，图片中明显存在手指指尖时，标注为正样本，指尖标注只考虑是否存在指尖，不考虑场景；图片中不存在明显手指指尖，标注为负样本，同样不考虑场景；在标注过程中，如存在指尖不明显，姿势难界定，都放在不确定样本中。01-16新增：指甲贴等。6.AI-角度网络，具体内容为如何对单词检测抠图范围给出指导。7.AI-OCR识别，描述为识别准确率达98%，2018年10月30日活动部分的团队成员评论内容包括：标注工具相关功能预计下周三(11月7日)能上线，目前新设备采了大概5W张图，手指预计下周一二标完，之后安排框单词，预计11月12日可以安排新的OCR标注任务。被告成立于2019年5月21日，法定代表人为张哲，经营范围包括从事智能科技、机器人科技、信息技术、网络科技领域内的技术服务、技术开发、技术咨询、技术转让，计算机软件的开发等。三、其他事实小米有品网站展示了名称为“lightenAI英语阅读伴侣”的产品，由上海翎腾智能科技有限公司发货并提供售后，产品概述记载：“点读闪译支持多种印刷材料AI智能交互”以及“指尖一点精准识别您只需用手简单“指”出生词，即可完成传统翻译设备必须的输入、搜索、查阅，三个步骤。AI黑科技精准锁定单词，0延迟速译搭配标准发音，单词信息即刻展示在配套app中。”项目进展部分记载，2017年11月用户调研和市场分析，2018年1月项目成立，2月产品定义，3月系统方案及功能敲定，5月ID设计，6月结构设计、软件开发，9月首轮小批量生产、内部测试验证，11月硬件细节调整，12月第一批用户体验，2019年1月产品送测，2月确认最终样品，4月小米众筹上线。庭审中，被告陈述，涉案专利申请技术系由张哲个人研发完成，仅是一个概念设计，并无相关研发资料。以上事实，有原告提供的涉案专利申请文件、涉案专利查询信息，张哲的劳动合同、离职登记信息及身份信息、(2019)沪徐证经字第10602号公证书、LightenAI英语阅读伴侣在小米有品网站的产品简介，以及双方当事人的当庭陈述等在案佐证。被告提供的《深度卷积神经网络的发展及其在计算机视觉领域的应用》《以图搜图技术的发展及应用探究》两篇来源于中国知网的文献，不能证明涉案专利申请技术与张哲在原告处任职期间的本职工作内容是不具有关联性的证明目的，本院不予采纳；关于张哲的微信聊天记录截图的可信时间戳认证证书及附件(含光盘)，仅能证明张哲与他人就涉案专利申请进行过专利申请事务的沟通，并不能证明涉案专利申请系由张哲在加入被告公司后独立完成的且与其在原告处任职期间承担的本职工作内容无关的发明创造，本院不予采纳。本院认为：执行本单位的任务或者主要是利用本单位的物质技术条件所完成的发明创造为职务发明创造；退休、调离原单位后或者劳动、人事关系终止后1年内作出的，与其在原单位承担的本职工作或者原单位分配的任务有关的发明创造属于执行本单位的任务所完成的职务发明创造；职务发明创造申请专利的权利属于该单位，申请被批准后，该单位为专利权人。本案中，原告主张涉案专利申请系张哲在与原告的劳动、人事关系终止后1年内作出的，与其在原单位承担的本职工作有关的发明创造。对此，本院评述如下：首先，张哲于2019年3月29日从原告处离职，而涉案专利申请日为2019年8月5日，张哲系涉案专利申请时列的唯一发明人。显然，涉案专利申请技术是发明人张哲在与原单位劳动关系终止后1年内作出的。其次，关于张哲在原告公司本职工作的认定。在案证据显示，2018年7月1日至2019年3月29日期间，张哲在原告公司的技术部门担任CTO(首席技术官)岗位。根据(2019)沪徐证经字第10602号公证书中有关张哲在原告处工作所涉项目描述及工作管理平台内容，张哲系团队管理人，该团队在研发过程中涉及的技术领域为人工智能领域，研究解决的技术问题主要涉及不同条件下的指尖定位及识别，采集不同手指样本，不同类型人员的手指及不同手势动作，加入新模型手势识别模型和多任务(手势+手指)网络，不同长短单词的检测，OCR识别等。结合原告生产的LightenAI英语阅读伴侣的产品简介，该款点读产品系通过用手简单“指”出词语，即可实现精准识别，完成输入、搜索、查阅三个步骤，属于原告公司前述团队上述研发成果在英语学习翻译场景下的具体应用。综上，可以认定张哲任职于原告技术部门，且在原告进行的手指识别技术研发中具有重要地位，手指识别人工智能技术研发属于张哲在原告处承担的本职工作。再者，关于涉案专利申请技术与张哲在原告处本职工作是否具有相关性。职务发明认定所涉争议发明创造的技术特征与发明人在原单位履行本职工作所接触技术方案并不要求相同，只要具有一定的关联性即可，在此关联性判断需综合考虑两者是否属于同一技术领域、解决的技术问题是否相同、技术手段是否具有传承性等因素。涉案专利申请技术涉及人工智能领域，克服了现有技术中桌面交互方法不能自动识别使用者的手势并根据手势触发交互程序的问题，内容主要涉及判断手是否完全置于桌面、判断手势是否正确、检测手的位置、匹配当前图像、获取匹配图像的文本内容、识别手指周围文本内容、匹配文本内容并返回服务等。经比对涉案专利申请技术与原告研发的手指识别技术，两者均属人工智能领域，均属于利用人工智能技术识别动作和手势的交互方式，并将这种交互方式应用于学习场景，具体技术方案均涉及对手位置的检测，对手姿势的判断，基于手的姿势识别相应的文本信息，基于文本内容返回相应的服务，两者差异主要在于识别相应的文本信息仅是采用OCR技术，或是同时采用以图搜图和OCR技术，且该差别亦具有一定的传承性，属于对于文本信息识别技术的丰富，应当认定涉案专利申请技术与张哲在原告处的本职工作具有较强的相关性。另外，张哲系涉案专利申请时列的唯一发明人，被告在庭审中亦确认涉案专利申请技术系由张哲个人研发完成，仅是一个概念设计，并无相关研发资料。综上所述，本院确认涉案专利申请技术系张哲在与原告劳动、人事关系终止后1年内作出的，与其在原单位承担的本职工作有关的发明创造，应当认定为职务发明，专利申请权应归属于原告所有。据此，依照《中华人民共和国专利法》第六条第一款，《中华人民共和国专利法实施细则》第十二条第一款第三项、第十三条之规定，判决如下：确认申请号为XXXXXXXXXXXX.0、名称为“基于人工智能的桌面交互方法”的发明专利申请权归原告上海翎腾智能科技有限公司所有。本案案件受理费人民币800元，由被告上海纸上绝知智能科技有限公司负担。如不服本判决，可在判决书送达之日起十五日内，向本院递交上诉状，并按对方当事人的人数提出副本，上诉于最高人民法院。审 判 长  何 渊审 判 员  陈瑶瑶人民陪审员  吴惠丽二〇二一年三月三十日书 记 员  汤菁茜附：相关法律条文一、《中华人民共和国专利法》第六条执行本单位的任务或者主要是利用本单位的物质技术条件所完成的发明创造为职务发明创造。职务发明创造申请专利的权利属于该单位；申请被批准后，该单位为专利权人。……二、《中华人民共和国专利法实施细则》第十二条专利法第六条所称执行本单位的任务所完成的职务发明创造，是指：……（三）退休、调离原单位后或者劳动、人事关系终止后1年内作出的，与其在原单位承担的本职工作或者原单位分配的任务有关的发明创造。……