TigerResearch/tigerbot-earning-plugin huggingface dataset:
|董事会秘书(信息披露境内代表)|证券事务代表
姓名|洪湖|靳尚
联系地址|深圳市南山区粤海街道学府路63 号高新区联合总部大厦12 层|深圳市南山区粤海街道学府路63 号高新区联合总部大厦12 层
电话|0755-26402692|0755-26402692
传真|0755-26419029|0755-26419029
电子信箱|ir@orbbec.com|ir@orbbec.com
公司披露年度报告的媒体名称及网址|《上海证券报》《中国证券报》《证券时报》《证券日报》、经济参考网(www.jjckb.cn)
公司披露年度报告的证券交易所网址|www.sse.com.cn
公司年度报告备置地点|公司董事会办公室
公司股票简况||||
股票种类|股票上市交易所及板块|股票简称|股票代码|变更前股票简称
 A股|上海证券交易所科创板|奥比中光|688322|无
公司聘请的会计师事务所(境内)|名称|天健会计师事务所(特殊普通合伙)
|办公地址|浙江省杭州市西湖区西溪路128号6楼
|签字会计师姓名|蒋舒媚、朱珊珊
报告期内履行持续督导职责的保荐机构|名称|中信建投证券股份有限公司
|办公地址|广东省深圳市福田区鹏城一路1号广电大厦35层
|签字的保荐代表人姓名|刘能清、邱荣辉
|持续督导的期间|2022年7月7日到2025年12月31日
主要会计数据|2022年|2021年|本期比上年同期增减(%)|2020年
营业收入|350,048,102.9|474,152,719.7|-26.1|258,945,477.2
扣除与主营业务无关的业务收入和不具备商业实质的收入后的营业收入|343,853,337.6|461,149,335.9|-25.4|252,435,623.6
归属于上市公司股东的净利润|-289,782,905.2|-311,275,331.4|不适|-615,103,695.5
归属于上市公司股东的扣除非经常性损益的净利润|-338,491,610.8|-301,534,829.7|不适|-230,263,980.7
经营活动产生的现金流量净额|-94,980,612.9|-27,082,339.5|不适|-250,092,971.3
|2022年末|2021年末|本期末比上年同期末增减(%)|2020年末
归属于上市公司股东的净资产|3,231,013,797.6|2,296,567,960.6|40.6|2,435,711,478.2
总资产|3,427,187,520.5|2,554,282,149.4|34.1|2,638,326,141.8
主要财务指标|2022年|2021年|本期比上年同期增减(%)|2020年
基本每股收益(元/股)|-0.77|-0.86|不适用|-1.71
稀释每股收益(元/股)|-0.77|-0.86|不适用|-1.71
扣除非经常性损益后的基本每股收益(元/股)|-0.90|-0.84|不适用|-0.64
加权平均净资产收益率(%)|-10.86|-13.27|不适用|-39.66
扣除非经常性损益后的加权平均净资产收益率(%)|-12.69|-12.86|不适用|-14.84
研发投入占营业收入的比例(%)|108.73|81.73|增加27.00个百分点|110.28
2022年度受经济下行影响,公司部分下游客户需求受到较大冲击,导致公司2022年度营业收入较2021年度有所下降。为把握行业发展的窗口期,抢占未来规模商业化阶段的市场机遇,公司在人才、技术战略方面围绕中长期主动布局规划,仍保持着较高水平的研发投入,导致公司短期营业毛利规模还无法覆盖中长期布局投入需求,2022 年度归属于母公司所有者扣除非经常性损益后的净利润较2021年度亏损增加。
2022年度,公司实现营业总收入35,004.81万元,较上年同期减少26.17%;实现归属于母公司所有者的净利润-28,978.29 万元,较上年同期减少亏损6.90%;实现归属于母公司所有者的扣除非经常性损益的净利润-33,849.16万元,较上年同期增加亏损12.26%。
|第一季度(1-3月份)|第二季度(4-6月份)|第三季度(7-9月份)|第四季度(10-12月份)
营业收入|82,596,006.36|100,424,064.20|62,061,482.76|104,966,549.59
归属于上市公司股东的净利润|-60,909,408.41|-62,552,216.10|-81,831,102.14|-84,490,178.62
归属于上市公司股东的扣除非经常性损益后的净利润|-69,120,139.14|-82,617,944.95|-91,002,114.72|-95,751,412.03
经营活动产生的现金流量净额|30,443,678.95|-41,225,273.90|-23,731,795.34|-60,467,222.63
非经常性损益项目|2022年金额|附注(如|2021年金额|2020年金额
||适用)||
非流动资产处置损益|-305,541.91||-633,539.06|-167,165.73
越权审批,或无正式批准文件,或偶发性的税收返还、减免||||
计入当期损益的政府补助,但与公司正常经营业务密切相关,符合国家政策规定、按照一定标准定额或定量持续享受的政府补助除外|43,394,701.74||47,022,398.70|25,152,637.33
计入当期损益的对非金融企业收取的资金占用费||||
企业取得子公司、联营企业及合营企业的投资成本小于取得投资时应享有被投资单位可辨认净资产公允价值产生的收益||||
与公司正常经营业务无关的或有事项产生的损益||||
除同公司正常经营业务相关的有效套期保值业务外,持有交易性金融资产、衍生金融资产、交易性金融负债、衍生金融负债产生的公允价值变动损益,以及处置交易性金融资产、衍生金融资产、交易性金融负债、衍生金融负债和其他债权投资取得的投资收益|15,386,620.02||8,896,740.72|5,093,081.50
单独进行减值测试的应收款项、合同资产减值准备转回||||
对外委托贷款取得的损益||||
采用公允价值模式进行后续计量的投资性房地产公允价值变动产生的损益||||
根据税收、会计等法律、法规的要求对当期损益进行一次性||||-1,112,579.55
调整对当期损益的影响||||
受托经营取得的托管费收入||||
除上述各项之外的其他营业外收入和支出|180,134.40||-20,155,774.10|-926,543.59
其他符合非经常性损益定义的损益项目|-2,251,234.50|股份支付及个税手续费返还|-37,417,114.71|-407,617,893.88
减:所得税影响额|6,147,383.03||7,070,498.44|4,606,820.00
少数股东权益影响额(税后)|1,548,591.15||382,714.88|654,430.92
合计|48,708,705.57||-9,740,501.77|-384,839,714.84
项目名称|期初余额|期末余额|当期变动|对当期利润的影响金额
交易性金融资产|359,875,113.78|573,656,353.82|213,781,240.04|13,463,786.66
其他权益工具投资|173,179,588.91|173,474,038.91|294,450.00|
合计|533,054,702.69|747,130,392.73|214,075,690.04|13,463,786.66
2022年是公司成功登陆上交所的首个会计年度,是奥比人十年磨一剑的新起点。2022年也是充满挑战的一年,面对复杂严峻的国际政治经济形势,公司作为国内率先开展3D视觉感知技术系统性研发,自主研发一系列深度引擎数字芯片及多种专用感光模拟芯片并实现3D 视觉传感器产业化应用的少数企业之一,努力克服外部不利因素对公司研发、生产及销售等带来的影响,坚持长期主义和价值创造,坚持质量为本和技术创新,坚持以“让所有终端都能看懂世界”为使命,稳扎稳打落实各项经营工作,致力于打造最好的3D“慧眼”,成为3D传感行业全球龙头。
截至报告期末,公司总资产342,718.75 万元,同比增长34.17%;归属于上市公司股东的净资产323,101.38 万元,同比增长40.69%。报告期内,公司实现营业收入35,004.81 万元,同比减少26.17%;实现归属于上市公司股东的净利润-28,978.29万元,同比减少亏损6.9%。
报告期内,公司总体经营情况如下:
(一)持续拓展延伸应用领域,在行业迭代中乘风破浪
公司致力于将3D 视觉感知产品应用于“衣、食、住、行、工、娱、医”等领域,在生物识别、机器人、AIoT、三维扫描、工业三维测量、消费电子等市场上实现了多项具有代表性的商业应用。具体应用领域如下:
1、生物识别方向
(1)人体识别1)线下支付
报告期内,公司加大市场推广力度,稳步推进3D 视觉传感器在线下零售、自助货柜、餐饮、医疗、校园、景区、酒店等支付场景的应用。公司已推出多款专门应用于线下零售和智能货柜的支付设备终端。在刷脸自助售货机领域,公司与各大客户建立了良好的合作关系,业务处于稳中有增的态势;在团队用餐领域,公司与学校、企业等积极展开合作,已与该领域大部分头部客户建立了较为深度的合作关系。与此同时,公司积极参与中国银联线下支付的试点工作,并持续推进同其他第三方支付企业的业务合作。
2)智能门锁
3D视觉感知技术作为“以人为本”智能生活方式的关键技术之一,具备准确识别及核验用户身份的能力,为作为智慧家庭重要入口的智能门锁行业带来了安全便捷的用户体验。相较于传统的指纹、密码等解锁形式,3D刷脸门锁采用的面部识别技术因人类面部特征相对稳定,较指纹识别技术更加安全可靠;同时鉴于3D感知模组的人脸识别速度较快且无感,无需用户额外花费时间输入密码或按压指纹,用户使用体验感更加便捷高效。
公司3D视觉感知技术在门锁领域主要分智能锁和智能门应用两大类。公司积极把握3D 人脸识别智能门锁快速普及的行业发展趋势,将金融支付级的3D 结构光技术集成自研的三维人脸识别算法,以高集成度的3D人脸模块解决方案赋能业内中高端品牌客户,获得业内一致好评。近年来已与包括凯迪仕、德施曼、鹿客、绿米、云米、VOC、海尔、TCL、好太太等多家知名品牌商达成业务合作,搭载公司3D 视觉传感器的智能门锁已覆盖C 端消费者、公租房、房地产等应用场景。报告期内,公司推出了新一代性能更优的U3 产品,持续推动金融级“真3D”结构光人脸识别方案在智能门锁领域的普及。U3从硬件、光学到算法都做了大幅优化,人脸识别速度小于1秒钟,身高范围做到1.2m-2m,光照适应做到6W Lux,平均功耗小于0.68W。
与此同时,随着猫眼视频监控的需求越来越旺盛,公司将3D结构光技术与低功耗猫眼视频技术合成以满足更多客户需求,进一步扩大市场份额。报告期内,公司不断创新迭代相关技术,推出了搭载AI 视觉算法的3D 视觉感知+猫眼的一体化产品,同时公司利用在算法方面的技术和经验推出了高端猫眼方案,完成了和阿里云、涂鸦云、腾讯云、360云等主流云平台的适配,在多家品牌锁企量产出货。
除此之外,随着智能家居的兴起,智能门需求随之而来,公司与各家品牌门厂基于3D视觉技术展开智能门业务合作,共同探索蓝海市场。报告期内,公司利用在智能门锁上的长期积累,也在探索结合视觉的智能家居整体方案延伸,相关产品研发已经在推进中。
3)身份识别
在医保核验领域,智能终端利用3D 感知技术可以快速获取被保险人信息和确定就诊人的生物特征,与医保数据进行同步核验,有效防止医保盗刷、医保欺诈等情形。报告期内,公司推出了新一代核身感知模组I3,此产品已被核身验证市场广泛接受。公司的医保终端相继被20 余省份的医保专网投入商用,省级招标也陆续启动,部分省市医院、药店的自采市场也在大力开拓中。除了3D摄像头模组,公司在此领域的整机设备产品也实现了从0到1的落地,并在第四季度实现了量产出货,为后续大规模出货奠定了坚实基础。
3D视觉感知技术的加持使智能手机在解锁、支付、拍照、AR互动、图片美化、三维空间扫描等功能的用户体验得以实现和升级。近年来,公司陆续与OPPO、魅族等进行合作,2018年为OPPO旗舰手机Find X提供3D结构光技术,2020年为魅族旗舰手机17 Pro提供ToF 系统解决方案,2021年为魅族5G旗舰新机18 Pro提供ToF一站式量产方案。公司将手机、电视、电脑和PAD等消费电子应用领域作为中长期业务布局发展,近年来与行业多家品牌厂商保持紧密的技术预研合作,等待市场需求释放。
(2)物体识别
报告期内,公司持续推动3D 视觉感知技术在三维测量、3D 扫描建模、智慧农牧等业务场景的市场拓展,不断迭代和优化产品线,满足和触发各类市场对3D视觉感知技术的需求。同时,公司持续推动3D开发者社区平台的建设,培育3D视觉感知应用市场。
2023 年以来,公司在3D扫描建模、3D 打印领域取得突破性进展,与行业头部企业创想三维形成战略合作关系。公司3D扫描技术能够实时采集人体、物体及空间的完整三维数据,生成高精度的人、物、空间之三维模型,依托自身在光学领域的深厚积累进一步提升用户体验,助力客户及用户打造创意3D世界。同时,公司量产了三维扫描整机解决方案,助力客户进一步完善产业链布局。随着近年来3D打印产业市场体量的飞速增长,市场前景潜力巨大,公司将持续探索并不断推出行业领先技术方案,打造极具市场竞争力的产品。
(3)空间识别
在3D 空间扫描领域,公司为Matterport、贝壳如视的网上VR 看房提供3D 视觉感知技术,并为惠普Sprout Pro一体机提供3D视觉传感器。由3D视觉传感器阵列组成的3D房屋扫描设备可快速对房屋内部进行高精度三维重建,精准还原房屋信息,实现模拟实景的3D看房,进一步提高用户的在线看房体验。此外,3D空间扫描技术可以对空间进行多点、多角度的扫描拍摄,从房屋初始建设、消防布置到装修等多个阶段提供全方位的室内地图构建,最终生成VR 空间三维模型,实现空间内的全景查看。相较于传统的线上看房,VR 看房可以帮助终端用户直观感受房间的立体感和空间感,真实感体验远远优于普通照片。
此外,3D视觉感知技术在安防监控与公共安全领域的应用空间在逐步扩大,通过对现场环境的实时感知和分析,3D 视觉感知系统可以及时发现异常行为,提高安防监控的准确性和实时性,进而有效提高公共安全水平。
2、机器人方向
近年来,公司针对服务机器人、工业机器人、ROS 教育机器人等不同种类机器人推出了视觉感知方案,提供单目结构光、双目结构光、激光雷达、iToF 全技术路线3D 视觉传感器,帮助机器人实现建图、定位、避障、识别等功能。
(1)服务机器人
3D视觉传感器可以帮助服务机器人高效完成人脸识别、距离感知、避障、导航等功能,使其更加智能化。随着服务机器人在各类应用场景的普及,公司应用于家用服务机器人(如扫地机、割草机等)、商用服务机器人(如清洁机器人、酒店配送机器人、送餐机器人等)的3D 视觉传感器出货实现了快速增长。公司已与云迹科技、擎朗智能、普渡科技、高仙机器人等多家服务机器人客户实现了业务合作,覆盖了智能工厂、仓储物流、建筑自动化、智能巡检、割草机、酒店配送、楼宇配送、商用清洁、ROS教育等应用场景。
报告期内,普渡科技旗舰新品“巧乐送”服务机器人搭载了公司RGBD深度传感器,并高效融合了RGB相机和激光雷达,在高动态复杂环境下也能进退自如和灵活避障,提升了物品配送效率,有效改善了用户体验和降低了终端商户经营成本。此外,普渡科技另一款送餐机器人“贝拉”搭载了公司Astra Mini 和Dabai Pro双目结构光深度传感器,可实现高精度物体深度数据测量,“贝拉”前检测角度可达192.64°,障碍物检测范围超过10m,同时其障碍物扫描频率高达每分钟5400次,在任意角度遇障即停,随转即走,可做到3D全向避障。
(2)扫地机器人
3D视觉传感器可以捕捉环境的三维深度信息,准确感知地形高低、障碍物等,从而更好地规划和执行清扫路径,避免扫地机器人卡住或摔倒等情况。公司推出了基于专用单点SPAD 芯片的 dToF 单线激光雷达、3D ToF 传感器、双目避障传感器,目前正同多家行业客户进行产品测试适配。
报告期内,领贝机器人(Linkbey)发布新品M10 系列自清洁扫拖机器人,该系列搭载了公司自研的隐藏式MS200 dToF激光雷达,具备远距离精准探测能力,实现毫米级智能建图与避障,可以为扫地机智能路径规划提供精确的环境信息。公司MS200 dToF 激光雷达专门为扫地机器人量身打造,采用无刷电机旋转式光学扫描系统,内置根据扫地机器人雷达系统特点独家定制的SPAD单光子芯片,可从底层优化激光雷达探测性能,具备360°全方位扫描能力,最小角分辨率0.4°,感知环境更精细,建图更精准,可实现全屋无死角清洁;MS200可适配封闭式结构,在激光雷达外适配光学外罩,有效隔离灰尘、毛发等微小颗粒,提高扫地机的稳定性与使用寿命;此外,MS200 dToF雷达针对智能回充进行专项设计,可基于强度信息识别特定反射率排布的回充基站,这有助于提升扫地机器人的完全自主智能性,减少人为干预次数。
(3)工业机器人
工业机器人主要是通过搭载3D视觉传感器以实现距离感知、避障导航、三维地图重建等多项功能,从而更好地完成分拣、搬运、排障等多项服务,大幅减少人工需求。公司推出了工业级dToF单线激光雷达,该雷达采用了高可靠性的光机和旋转机构,突破了高精度角度校准和距离标定技术,实现了超过30米的探测距离,较高的测距精准度能适应超过50kLux 的环境光和各类复杂目标物,可用于工业AGV & AMR 导航避障。3D视觉感知技术可为工业机器人、自动化设备等提供更为准确的感知能力,进一步提高生产效率和质量,有助于推动工业移动机器人的高性能雷达国产替代。
(4)机械臂
面对散乱无序堆积的目标,公司自主研发的Gemini 2 可协助机械臂高效准确完成无序抓取。在维度和体积测量场景,Gemini 2 可完整覆盖多种距离上的深度采集需求,配合后端应用,精准完成目标维度和体积的测量、标识等功能。
(5)其他机器人
未来各种智能硬件(终端)都将成为类“机器人”,拥有语音感知交互能力(“嘴巴”和“耳朵”)、视觉感知交互能力(“眼睛”),以及各种AI决策分析能力(“大脑”)。人类约70%的信息是通过人眼感知获取的,未来的机器人也将和人类一样,大量信息都将通过视觉感知获取。3D视觉感知技术将为机器人提供更为准确的导航与路径规划、环境感知、物体识别与抓取等能力,从而有机会结合深度学习、强化学习等人工智能技术,帮助机器人实现自主学习与适应性。
通过对周围环境的实时感知和处理、对环境和任务的持续感知与分析,人形机器人、交互机器人等可以自我调整行为策略,适应不同的场景和需求,进一步提高其智能化水平;无人机等可以更加灵活地在复杂环境中进行运动,执行更多类型的任务,如安全监控、搜索救援、货物运输和巡检维护等。
3、工业三维测量方向
报告期内,公司把握工业企业智能化升级以及高精度三维测量国产化的大趋势,不断优化升级三维全场应变测量、三维光学扫描测量、三维光学弯管测量等工业级应用设备及软件,持续与轨道交通、航空航天、风电能源、3C电子、生物医学、材料研究、汽车等领域的行业企业、科研院所完成合作落地。3D 视觉感知技术可以被用来实现微米级的工业扫描、工业检测等功能,还可以用于产品检测、质量控制等环节,确保生产过程中的高品质输出。
报告期内,公司子公司新拓三维经营全面加速,底层技术持续升级优化,针对不同场景需求进行产品迭代研发。在应变变形测量产线方面,新拓三维推出了新一代视频引伸计产品,以适应更广阔的实验机配套市场。在研发端,对三维外形检测、弯管测量产线完成了标准产品全面的完善与升级,取得了欧洲PTB 认证的最高精度认证;在营销端,新拓三维丰富并加大了线上推广和品牌宣传力度,对业务模式和营销队伍进行了调整优化,加大渠道开拓力度,在半导体封测、管路检测方向陆续与行业头部客户展开合作。
4、汽车方向
3D视觉感知技术在汽车领域的应用主要分为车外和车内,其中车外应用包括自动驾驶及辅助驾驶360度3D 环视、车外身份识别等,车内应用包括驾驶员检测以及车内交互。公司3D 视觉感知技术在汽车领域的应用主要为智能座舱和智能驾驶两大类,借助高精度的环境感知能力,3D视觉感知技术有望提升自动驾驶系统的安全性与稳定性,同时促进智能交通系统的建设与发展,提高道路交通的效率和安全性。
关于智能座舱,公司的3D视觉传感器可以实现车主身份识别、车内手势交互、驾驶员行为分析等功能。目前公司在积极完善相关产品,与汽车产业链合作伙伴进行研发适配。
关于智能驾驶,激光雷达是汽车由L2/L3 级别自动驾驶向L4/L5高级别自动驾驶进化的核心器件,公司在报告期内持续进行机械旋转多线雷达等的研发,机械式多线雷达已完成整机设计、样机组装、标定和测试,测距距离超过80m,测距精度接近1cm,掌握了远距离高精度探测核心技术。
5、海外业务方向
公司依托创始团队深厚的国际化研发及学术背景,在成立初期就着手布局海外市场,于2014年在美国设立全资子公司用于服务海外客户,成为国内极少数建立海外销售渠道且能稳定向客户销售3D视觉感知产品的本土企业。近年来,公司境外销售收入保持稳定增长态势,客户群体不断扩大。3D视觉感知技术属于前沿技术,通过与境外众多客户的紧密合作,公司可实时了解全球前沿的3D 视觉感知技术应用,为国内市场的技术与产品推广提供参考。报告期内,公司持续优化、完善产品线以覆盖更多应用场景,积极拓展海外客户,抢占海外市场。
自公司与微软于2021 年达成业务合作以来,双方联合设计研发的3D 视觉传感器业务进展顺利,并于2023年初正式量产发布。公司新品3D iToF 相机Femto Mega,由公司与微软、英伟达联合研发制造,融合微软第一代深度相机Azure Kinect 的全部性能,并集成英伟达Jetson Nano深度算力平台,其主要应用于物流、机器人、制造、工业、零售、医疗保健和健身解决方案等领域的3D 视觉开发。通过配合公司与微软、英伟达后续在AI视觉平台上的一系列规划及合作,该产品可快速接入微软已积累超过十年的开发者和客户需求,有望促进公司海外销售收入增长。而作为行业领先的3D视觉感知整体技术提供商,公司可实现Femto Mega规模化稳定量产,并使产品持续具备高通用性和不断升级迭代的空间。
未来,公司将继续发挥优质海外业务平台作用和品牌优势,深入细化对海外市场和具体项目的分析研究,不断加强海外市场的走深走实开拓,进一步提升奥比品牌的海外影响力。
(二)积跬步以致千里,持续拓宽3D视觉领域研发护城河
3D 视觉感知技术尚处于应用发展初期,公司依托3D 视觉感知一体化科研生产能力和创新平台,不断孵化、拓展新的3D视觉感知产品系列。伴随着细分应用场景的逐步增多,市场对技术的要求也逐渐提高,公司着眼于中长期技术布局,为迎接中长期市场需求爆发奠定了坚实基础。全球已掌握核心技术并实现百万级面阵3D 视觉传感器量产的公司仅有苹果、微软、索尼、英特尔、华为、三星和奥比中光等少数企业。
报告期内,公司围绕“全栈式技术研发能力+全领域技术路线布局”的3D视觉感知技术体系,对各核心技术进行持续的研发迭代,在结构光、iToF、双目等主流技术路线、系统设计、芯片设计、算法研发、光学系统等底层技术方面均有储备和布局。截至报告期末,公司累计申请专利共1495个(其中发明专利847 个),软件著作权94 个;累计获得专利640 个(其中发明专利254个),累计获得软件著作权94个。
报告期内,公司“面向3D 视觉感知的结构光深度计算引擎芯片”获得“深圳市技术发明二等奖”,“大视野高分辨率的消费级机器人3D 视觉系统”获得“广东省人工智能产业协会科学技术奖科技进步奖一等奖”,“面向海陆交通安全的视觉理解及其计算优化关键技术与应用”获得“2022年度CSIG科技进步奖二等奖”。
(三)建构人才新格局,在最好的时代攀最高的山峰
公司集聚海内外尖端人才,打造了由芯片、算法、光学、软件、机电设计等专业背景人才组成的3D视觉感知技术研发队伍。截至报告期末,公司有博士48名(含18名博士后),国家级人才计划1名、广东省珠江人才7名、各类深圳市高层次人才17名;研发人员数量592名,占比约60%。
公司在保障员工福祉的前提下,始终重视健全完善人才激励及绩效机制,同时依托“追光者养成计划”、“星芒计划”和mini MBA项目等为员工提供完善的赋能培训体系,以期吸纳更多优秀人才加入公司。报告期内,公司推出2022年限制性股票激励计划并于2023 年2月完成首次授予,进一步提升了公司薪酬竞争力,建立员工与公司之间利益共享、风险共担的机制,将公司中长期利益与员工经济收益挂钩,增加员工凝聚力及工作积极性,实现公司与员工双赢。
秉承对社会负责的态度,公司在承担社会责任方面履职尽责,持续改善员工工作条件,推进职业健康安全管理的不断提升。公司将可持续发展理念融入日常生产运营实践,构建了科学的可持续发展管理体系,在科技创新、安全发展、员工赋能等方面取得了新的进展,脚踏实地描绘发展蓝图。
公司主营业务是3D视觉感知产品的设计、研发、生产和销售,主要产品包括3D视觉传感器、消费级应用设备和工业级应用设备。公司专注于3D视觉感知技术研发,在万物互联时代为智能终端打造“机器之眼”,致力于让所有终端都能更好地看懂世界。
根据《上市公司行业分类指引》( 2012年修订),公司所属行业为“制造业”中的“计算机、通信和其他电子设备制造业”,行业代码为“C39”;根据《国民经济行业分类》(GB/T4754-2017),公司所属行业为“计算机、通信和其他电子设备制造业”,行业代码为“C39”。
公司主要原材料包括通用料件和定制料件。
公司综合考虑订单需求、市场需求预测并结合采购周期情况进行备货采购,不断提高采购安排的合理性,保障供应链的效率和安全。通用料件主要包括电子元器件、通用感光芯片等,由公司根据3D视觉感知产品的技术需求进行选型,通过系统化测试后进行批量采购。定制料件主要包括三大类,第一类是由公司自主设计开发后,再采取Fabless 模式委托专业代工厂生产,主要包括深度引擎芯片以及即将量产的iToF感光芯片等自研芯片;第二类是由公司提供功能规划、产品技术参数等需求,再由供应商提供定制化样品,通过系统化测试迭代后进行批量采购,主要包括激光发射器、衍射光学元件等光学器件;第三类是由公司设计并提供相关的技术图纸,再由供应商提供定制化生产,主要包括结构件、PCB板等。
公司3D视觉传感器产品的生产环节主要包括激光投影模组组装、RGB成像模组组装、IR成像模组组装、PCBA加工、成品组装及测试等环节。报告期内公司主要采取内部生产的方式,结合客户订单需求及销售订单预测进行生产。
公司消费级应用设备主要采用委托加工或OEM 的生产方式,结合客户订单需求及销售订单预测进行生产。
公司工业级应用设备主要采用自主加工生产方式,产品完成设计、开发后,定制化采购零部件,并自主完成软硬件组装及调试。
公司采取直销为主的销售模式向境内外客户销售产品。
(1)3D视觉感知行业发展情况1)起步发展阶段
3D视觉感知技术最早应用于工业领域,主要用于工业设备与零部件的高精度三维测量以及物体、材料的微小形变测量等,代表产品如德国高慕公司(GOM)的ATOS系列三维扫描仪和ARAMIS三维形变测量系统用于工业零部件三维尺寸和形变测量;瑞典海克斯康(HEXAGON)的PrimeScan扫描仪能够对工业部件实现高精度3D数字化作业;Correlated Solution, Inc.(美国CSI公司)的VIC-3D系列扫描仪可以通过数字图像相关法的原理,对物体表面的任意点进行位移、应变的测量。为了满足工业领域严苛的工作环境与高达微米级的测量精度,用于工业检测的3D视觉测量设备一般为多种技术融合使用,比如利用相位结构光以及高精度工业相机组成的工业三维测量仪器,导致设备成本高、体积大、功耗高,应用普及缓慢。
2)初级发展阶段
近年来,随着底层元器件、核心算法等技术的快速发展,3D视觉感知技术经历了从工业级向消费级拓展的过程,核心技术的不断突破和迭代,让大规模产业化应用成为可能,国内外一些公司先后推出了消费级3D 视觉感知产品,3D 视觉感知行业正式起步发展。同时,随着政府部门不断出台支持政策,如《新一代人工智能发展规划》《智能传感器产业三年行动指南(2017-2019年)》《十四五规划和2035 年远景目标纲要》等,产业商业成熟度不断提高,3D 视觉感知技术及产品逐步向生物识别、AIoT、消费电子、工业三维测量、汽车自动驾驶等多个领域拓展。3D视觉感知行业的市场规模持续增长,产业链日趋完善,应用场景关注度和认可度不断提升,给公司相关业务发展提供了有利的产业宏观环境和政策环境。早期所推出的3D 视觉感知产品相对于工业级产品而言,虽然成本、体积、功耗都得到显著的降低,但其应用大都聚焦在三维建模、人机交互等领域。随着3D 视觉感知技术的进一步迭代与优化,也逐渐向对成本、功耗、体积等要求更加严格的应用领域拓展,比如移动支付、AIoT、机器人、智能手机等。
2017年苹果发布iPhone X,搭载了前置3D结构光视觉传感器,用于人脸解锁、人脸支付等功能,给用户带来更加便捷、安全的体验。苹果手机的引领使得3D视觉传感器在手机领域得以规模化应用,同时也标志着3D 视觉感知技术在消费级领域开始规模化普及。基于3D 视觉感知在消费电子、金融、零售、餐饮、汽车、AIoT 等行业落地应用,如生物识别、三维重建、骨架跟踪、 AR交互、数字孪生、自主定位导航等,3D视觉感知行业迎来初级发展时期。
3)快速增长阶段
2018年以来,刷脸支付逐步成为一种规模应用的支付新方式。除了刷脸支付,3D视觉传感器在智能门锁、3D看房等领域也在加速落地。与此同时,3D视觉感知技术路线也越来越丰富,华为、魅族等厂商的智能手机都相继搭载了基于iToF技术的后置3D视觉传感器,2020 年苹果在其iPad Pro及iPhone12 Pro 中搭建了全新的基于dToF技术的Lidar扫描仪;谷歌旗下Waymo公司搭载激光雷达及多传感器的无人驾驶汽车已进行多年测试,于2020 年10 月在凤凰城推出没有安全员的无人驾驶出租车服务。大疆创新的无人机如Phantom Pro/Pro+、Mavic 2 Pro/Zoom 等型号产品搭载了双目视觉系统,通过图像测距来感知障碍物。3D视觉感知行业即将迎来快速增长时期。随着2D成像逐步向3D视觉感知升级,3D视觉感知市场目前正处于规模快速增长的爆发前期。根据法国市场研究与战略咨询公司Yole 发布的全球3D 成像和传感市场研究报告,2020 年全球3D 视觉感知市场规模为67 亿美元,且市场规模将快速发展,预计在2027年达到167 亿美元。
总体而言,3D视觉感知行业经过数十年的发展,由早期的工业级成功向消费级拓展,且应用领域仍在不断拓宽,行业经历了起步、初级发展时期,即将迎来快速增长时期。为了满足越来越多应用领域需求,3D视觉感知产品也随着底层元器件及核心算法的发展,向低成本、低功耗、小体积、高性能的方向发展。
(2)3D视觉感知应用发展情况1)生物识别应用领域
生物识别是一种通过计算机、光学、声学、生物传感器等多个技术领域密切结合,利用人体固有的生理特性如指纹、人脸、虹膜等,行为特征如笔迹、声音、步态等,进行个人身份鉴定的方法。随着对于身份识别和保密需求的日益增加,各类新兴生物识别的技术不断发展,通过3D视觉感知技术实现的生物识别方法逐渐落地于不同的应用场景。
在生物识别应用领域,刷脸支付已经成为了支付行业的新趋势,随着人们对生物识别技术的重视和接受程度提升,3D 视觉感知技术在这一领域得到越来越广泛的应用。相比传统的2D 摄像头,3D 摄像头可以更准确地捕捉生物面部特征,提高识别的精准度;同时,通过结合深度信息,3D摄像头可以更好地应对光线、角度等不同环境条件的变化,提升识别的稳定性和可靠性,显著提升刷脸支付的安全性和便利性。从支付方式的演变历程来看,一种新的支付方式能否成功发展取决于是否能够更好满足用户支付便捷与安全的根本需求。刷脸支付无需携带支付中间介质,高效、便利,满足了身份核验的唯一性,更好实现了支付安全与便捷的统一,能够满足用户的根本需求,因此成为了线下支付方式的长期发展方向,具备驱动自我发展的底层源动力。
与此同时,随着智能家居市场的不断发展和普及,智能门锁门禁作为智能家居系统的重要组成部分,也越来越受到人们的关注。在刷脸门锁、门禁场景下,搭载3D人脸识别可避免接触式的识别过程,相较于传统的密码锁和指纹锁给用户的便利性更佳。此外,3D人脸识别技术的特点(如较高的识别精度和稳定性)与门锁门禁的安全性核心需求天然契合。随着相关技术的不断成熟,智能门锁、门禁的制造成本将逐渐下降,结合我国居民可支配收入上升带来的消费升级,智能门锁、门禁的占有率将进一步提升,推动传统门锁、门禁的智能化转型。
此外,在医保核验领域,3D感知的技术应用将有效防止医保盗刷、医保欺诈等行为。利用3D感知技术,智能终端可以快速地获取被保险人的生物特征,并与医保数据进行核验,有效解决了替刷、盗刷等目前普遍存在的医保使用难题。
2)机器人应用领域
在机器人应用领域,3D感知技术的应用越来越广泛,特别是在服务机器人、工业机器人和扫地机器人等领域,该技术具有独特的优势。
在服务机器人应用领域,3D 视觉传感器可以帮助服务机器人高效完成人脸识别、距离感知、避障、导航等功能,使其更加智能化。目前已实现落地的应用包括扫地机器人、自动配送机器人、引导陪伴机器人等,服务于家庭、餐厅、旅馆、医院等多个线下场景。根据Fortune Business Insights, 2021 年全球服务机器人市场体量达169.5 亿美元,并将进一步由2022年的195.2亿美元增长至2029年的573.5亿美元,复合增长率约16.6%。
工业机器人是指用于自动化生产和制造的机器人,如焊接机器人、装配机器人等。3D感知技术可以实现对工件、生产线和物料等的精确感知和定位,从而提高机器人的生产效率和操作准确度。另外,3D感知技术还可以帮助工业机器人实现对周围工作环境的精确感知,从而提高工业机器人的安全性和稳定性。根据Fortune Business Insights,2021年全球工业机器人市场体量达156 亿美元,并将进一步由2022 年的167.8 亿美元增长至2029 年的356.8 亿美元,复合增长率约11.4%。
清洁机器人是指用于家庭、室外等场景清洁的机器人,如扫地机器人、拖地机器人等。3D感知技术可以帮其实现对室内外环境的精确感知,从而实现更好的路径规划、避障等目的。另外,3D 感知技术还可以帮助机器人实现对地面的精确感知,提高清洁效率和准确度。根据Fortune Business Insights,2020 年全球清洁机器人市场体量达97.7 亿美元,并将进一步由2021年的119.7亿美元增长至2028年的506.5亿美元,复合增长率约27.2%。
3)工业三维测量领域
3D视觉感知在工业领域主要应用于三维扫描、微小形变测量、弯管角度测量分析、工业机器人的定位与导航等方面。三维测量一直是工业领域不可或缺的技术环节,此前相关技术主要由欧美国家的大型工业生产厂商主导。近年来,随着国内企业对高精密3D测量技术的不断积累,国产设备以较高的性价比开始逐步替代进口设备,且不断拓展工业领域新的应用。通过使用高精度相机、光纤光栅等设备,可以实现对物体在力学载荷下的形变、应变、三维形态、曲率等参数的测量。细致、精确、快速获取;结合全局自动拼接技术,可以实现几十米超大工件的快速高精度测量,目前已广泛适用于各种有三维数据需求的行业,如汽车工业、航空航天工业、数码家电、文保文创及医学等领域。
3D 视觉传感器能够让智能终端具备3D 视觉感知能力,从而使得智能终端由“看清世界”到“看懂世界”进化。对应的3D视觉感知技术已成为人工智能和物联网时代的关键共性技术,是推动全球科技从互联网/移动互联网时代向智能化物联网时代发展的关键技术之一。3D 视觉感知产业链长,涵盖上游的元器件供应商或代工厂,中游的3D视觉感知方案商,以及下游的各类应用场景客户,在技术、资金、人才等多方面形成了较高的行业门槛和壁垒。
3D 视觉感知正逐步拓展下游市场的各类应用,由于智能设备的多样化,对3D 视觉的精度、成本、测量范围等要求均不一样,单一3D 视觉感知技术难以满足各类方案的需求。3D 感知企业不仅需要掌握核心芯片、光学、算法等底层核心能力,还需要具备结构光、iToF、双目、dToF、 Lidar、工业三维测量等全领域技术路线布局及相关产品开发的能力。另外,3D 视觉感知行业正处于快速发展阶段,在很多细分领域的实际应用仍待进一步探索。由于行业的技术门槛较高,且客户需要的不仅仅是一颗传感器或者软件算法,而是一整套的解决方案以及技术支持体系。因此企业需具备涵盖系统设计、芯片设计、算法研发、光学系统、软件开发、量产技术等全栈式技术研发能力,覆盖产品从设计、研发到制造的全周期研发流程,为客户提供包含芯片开发、硬件量产、应用算法在内的完整3D 视觉感知应用方案。
3D视觉感知产业链中,公司的技术能力覆盖上、中、下游。公司目前已具备上游环节中传感器模组生产商的能力;在产业中游,公司具备完整的3D视觉感知方案商的能力;在产业下游,公司已经具备了各类应用算法的能力。未来基于产业的发展方向公司将不断探索产业链各核心环节,为各类客户研制出满足行业需求的产品。
公司是国内率先开展3D视觉感知技术系统性研发,并实现产业化应用的少数企业之一,是市场上为数不多能够提供全套自主知识产权3D 视觉感知产品的企业,也是全球少数几家全面布局六大3D 视觉感知技术路线的公司。公司掌握了“全栈式技术研发能力+全领域技术路线布局”的3D 视觉感知技术体系,通过“深度+广度”双向驱动进行可持续布局与战略储备,在生物识别、机器人、AIoT、工业三维测量、消费电子等市场已实现多项具有代表性的商业应用。
目前全球已掌握核心技术并实现百万级面阵3D 视觉传感器量产的企业仅有苹果、微软、索尼、英特尔、华为、三星和奥比中光等少数企业。由于公司所处的3D视觉感知行业存在较高的行业门槛和壁垒,在技术、资金、人才等方面要求较高,因此行业竞争格局较为稳定,目前新进入市场的竞争者较少。未来三至五年,随着3D视觉感知技术的快速迭代以及在各领域渗透率的进一步提升,公司仍将保持对技术研发和市场开拓的高投入,以保证技术和市场领先地位并把握市场发展机遇。
(1)2D成像向3D 视觉感知的持续转变
在过去的数十年中,AI 算法及算力逐步可以通过2D 相机产生的平面图像对环境进行识别、判断和追踪。然而,2D 图像仅能够提供固定平面内的形状及纹理信息,无法提供AI 算法实现精准识别、追踪等功能所需的空间形貌、位姿等信息。3D 视觉感知技术则充分弥补了2D 成像技术的缺陷,在同步提供2D 图像的同时,还能够为AI 算法及算力提供视场内物体的深度、形貌、位姿等3D信息。
基于3D视觉感知技术研发出的3D视觉传感器可以采集人体、物体以及空间的3D信息,配合 AI 算法能够实现多种2D 成像技术难以实现的功能。硬件方面,随着图像传感器、深度摄像头和激光雷达等硬件技术的不断进步,3D 数据采集将变得越来越高效和便捷。这些设备为3D 视觉感知提供了更丰富的数据来源,使得将2D成像向3D 视觉感知升级加速推进。在软件和算法方面,计算机视觉和深度学习等领域的研究和应用将推动AI的相关应用的加速落地,如生物识别、三维重建、骨架跟踪、AR 交互、数字孪生、自主定位导航等。
(2)多学科技术融合促进3D视觉产业链逐步完善
3D视觉感知技术属于跨学科技术,涉及光、机、电、芯片、算法等多个专业,且产业链尚未完全成熟。在未来,3D 视觉感知行业将逐步形成一个完整的产业链,包括硬件制造、软件开发、算法研究、系统集成、解决方案提供在内的各个环节之间的协同将提高整个行业的竞争力,推动技术进步和应用普及。
在上游,各类传感器技术的迭代将提升数据采集的精度、速度和稳定性,从而为3D视觉感知提供更高质量的原始数据;光学元器件的性能将不断提升,以满足3D视觉感知对成像质量和光学性能的要求。在中游,相关企业将致力于将各种传感器、光学元件、处理器等组合成完整的3D视觉感知系统,提供更好的硬件平台和解决方案,同时还将继续开发完善专门针对3D视觉感知的软件和算法,包括人脸识别、3D 重建、物体识别等。软件的优化将提高整个系统的性能和稳定性。在下游,应用领域将不断拓展,各行业将深化定制化服务和需求,为终端市场提供体验更好的产品和服务。
(3)多模态推动3D 视觉感知技术与其他技术更加紧密结合
未来,3D视觉感知技术与其他相关技术(如AI、IoT等)将更紧密地结合,有望实现更高效的智能感知和控制系统。在多模态融合方面,通过集成不同类型的传感器和数据源,可以实现多模态数据融合,利用不同传感器的优势,提高系统的感知能力和准确性,降低误检和漏检的风险。伴随着以AIGC、ChatGPT等为代表的新兴AI技术的引入及应用,人工智能行业有望迎来快速发展,这类大模型技术会像通讯、互联网等技术一样,很大程度的改变人类社会的学习、工作方式,提升多行业的生产力水平。人工智能已经成为物联网、机器人技术、大数据等的主要驱动力,深度学习带来的科技革命预期将产生巨大的经济价值。
公司3D视觉感知技术助力让终端获取更多精准的三维、距离等信息,具备很高的识别精度和稳定性,助力各类终端更好地看懂三维立体世界。如果说GPT等大模型是“大脑”,那公司的3D视觉感知产品其实就是“眼睛”,两者负责视觉相关的神经元一起来完成整个“看懂”世界的过程。
相信随着AI 的普及与发展,AI 模型的表现形式将变得更加多元化,无论是文本、声音还是图像的人机交互,都将进一步优化普及。在与AI 技术的结合方面,通过将深度学习、机器学习、大语言模型等AI 技术应用于3D 视觉感知,可以实现更高效的数据处理、特征提取和模式识别。此外,AI技术还可以用于预测和决策,使得整个智能系统更具自适应性和智能化。未来通过将3D视觉感知技术与VR、AR 相结合,可以实现更加真实和沉浸式的交互体验,这将为教育、培训、娱乐等领域带来新的发展机遇。
公司把握2D 视觉向3D 视觉跃迁的时代契机,专注3D 视觉感知技术研发,构建了“全栈式技术研发能力+全领域技术路线布局”的3D 视觉感知技术体系,通过“深度+广度”双向驱动,打造3D 视觉感知一体化科研生产能力和创新平台,实现公司3D视觉感知技术的全面协同发展。
公司核心技术以自主研发为主,并形成相应知识产权。通过对多技术领域及不同层次技术的深入理解和相互贯通,不同技术路线的底层核心技术可相互协同创新。公司一方面开发出性能优异、质量可靠的3D 视觉感知产品,另一方面不断实现产品技术迭代创新和产品系统升级优化。公司通过对系统设计、芯片设计、算法研发、光学系统、软件开发、量产技术等关键核心的深入研究,开发出结构光、iToF、双目视觉传感器、dToF 单线激光雷达及工业三维测量设备,并积极布局面阵 dToF、面阵Lidar等前沿技术。
公司的3D视觉感知技术体系如下:
关于公司的核心技术先进性,一方面体现在公司已成功开发并规模量产出被众多细分行业龙头应用的3D 视觉感知产品,产品性能满足各应用场景的高标准要求,对标国际科技巨头;另一方面体现在由“全栈式技术”研发能力所支撑的系统级优化能力,提高了开发效率与技术性能指标,加快了储备技术的开发进程。具体如下:
(1)消费级3D视觉感知技术先进性
公司消费级3D视觉感知技术先进性体现在系统设计、芯片设计、算法研发、光学系统、软件开发及量产技术等方面:
1)系统设计
3D视觉感知产品是系统级产品,公司开发相应模拟系统进行模拟仿真,在新产品或技术开发初期,对各个环节及零部件进行全局及局部模拟,并通过搭建实验环境进行功能验证,通过多次优化直至达到最优系统性能。公司依托从底层到上层技术的全栈式布局,在系统设计时可以更好地进行深入优化与融合,使得系统设计更加合理;此外,结构光、iToF、dToF 等技术路线在基础原理上的共通性使得新技术产品在系统设计时,可以借鉴其他技术的成熟模型,缩短系统设计周期。
系统类别|具体内容
结构光及双目系统设计|设计基于散斑结构光的离轴光学三维测量系统方案,充分考虑单距离与多距离标定、散斑零级调优、温度误差补偿、镜头发射与镜头成像畸变等多重测量影响因素,开发出特有的参数化散斑结构光系统设计软件,可快速根据应用需求设计出激光发射器、透镜、衍射光学元件等底层元器件的基础性能。
iToF 系统设计|设计了基于三抽头的调制解调iToF 系统方案,包括抽头轮转、抗多机干扰、一体化标定等,在性能与工艺方面取得了较好的平衡。
dToF 系统设计|设计了基于视差技术的dToF 系统方案,设计并充分验证了合像素方案、斑点粗细定位方案、亚像素级定位以及小角度扫描等多种系统设计方案。
 Lidar 系统设计|设计了固态面阵激光雷达系统方案,在调制解调方面研发了随机脉冲以及编码脉冲发射方案,同时为提升精度与测量范围,设计了多光束合并、分区域扫描动态调节等方案,可以使激光雷达在低发射功率下实现高精度、高信噪比。
2)芯片设计
公司自成立起就组建了一支专业的芯片团队,具备数字及模拟芯片的研发实力。公司设计的芯片类型主要包括深度引擎计算芯片、iToF 感光芯片、dToF 感光芯片、结构光专用感光芯片等。目前已成功完成四代深度引擎芯片、两款iToF感光芯片、两款dToF感光芯片的开发。
1深度引擎芯片
3D 结构光深度引擎的理论基础是机器视觉中立体匹配算法。为得到图像中每个点的视差,深度引擎需要实时采集目标的散斑图像,与存储的参考散斑图像进行特征匹配。深度引擎芯片集成了中央处理器、总线控制器、内存子系统、结构光深度引擎、主动/被动双目深度引擎、RGB ISP 、IR ISP、图像编码器、图像压缩模块、安全加密模块、输入输出子系统以及各类高速模拟接口等功能模块,是系统级SoC 芯片,包含了完整的系统、软件/固件及算法,在满足高性能运算的同时,大幅降低了功耗,缩小了芯片的物理面积,加强了深度引擎处理能力,丰富了用户输入输出方式。
公司结构光/双目深度引擎芯片从MX400、MX6000、MX6300 到MX6600 迭代,已形成系列产品,功能不断增强、成像质量不断提升、支持的分辨率逐代提高,具体如下:
|||
 MX400||2015 年|13D 结构光深度引擎芯片,可实时计算并输出每秒30 帧640x480 的深度图;2支持DVP 、USB2.0 、I2C 接口;3可用于体感游戏、3D 扫描建模、手势控制等应用场景4已在惠普扫描仪等产品上量产出货。
 MX6000||2017 年|1支持“结构光+主动双目”的深度引擎芯片,可实时计算并输出每秒60 帧1280x1024 的深度图;2支持DVP、USB3.0、MIPI、SPI、I2C 接口。灵活可配置的低功耗模式,典型应用场景下功耗280mW;3除涵盖MX400 应用场景外,还可用于人脸/骨架识别、智能门锁、刷脸支付等应用场景;4已用于支付宝刷脸支付终端等产品上。
 MX6300||2018 年|
||2021 年|1最新一代支持“结构光+主动双目”的深度引擎芯片,采用了创新性的深度引擎IP 核,深度完整性、人脸细节效果与飞点效果提升明显。可实时计算并输出每秒30帧1920x1080 的深度图,或每秒60 帧1280x960 的深度图。灵活可配置的低功耗模式。支持芯片的安全启动和数据的安全加密传输。输出图像支持无损/有损压缩,大幅节省了传输带宽,降低了功耗。提供RGB ISP 功能,支持每秒30 帧5 Mega 像素的处理能力;2已具备量产条件。
|
成像质量高| MX6600达到相对精度0.6mm@0.6m或2.1mm@1m,绝对精度1.3mm@0.6m或1.9mm@1m,深度完整性好,人脸细节效果突出,飞点效果进行了有效控制。
效能高|具备灵活可配置的低功耗模式。除支持超低功耗待机模式外,每条数据通路都支持独立打开/关闭供电,还可以调低时钟频率以降低功耗。例如,MX6300 在典型应用场景下,功耗150mW,具备实时处理每秒30 帧1280x960 的深度图计算能力。MX6600 在典型应用场景下,功耗小于1W,可实时计算每秒30帧1920x1080的深度图,同时支持一路高清RGB图象处理。
功能全面|1MX6000 和MX6600同时支持结构光和双目深度计算;2针对金融支付安全领域,MX6600 支持安全启动和数据安全加密传输,并提供了 RGB 图像的ISP 功能、红外图像的预处理功能、图像无损/有损压缩传输等;3MX6000 、MX6300 、MX6600 支持超低功耗待机模式;4MX 系列芯片提供基于ARM 的友好的开发者接口,支持USB2.0、USB3.0、DVP、MIPI SPI、I2C 等多种接口,以适用于消费电子、机器人、外设主机等智能终端。
2iToF 感光芯片
iToF感光芯片是iToF3D视觉传感器的核心器件,与结构光/双目技术不同,iToF技术主要依靠接收端感光芯片在单个周期内采集多次光信号,并通过换算得到距离信息。
公司基于BSI背照式65nm+65nmStacking堆栈式工艺的像素设计,优化了像素内电子转移速度,在系统架构设计上采用列级高速高精度ADC以及高速MIPI接口设计,实现超高深度帧率,研发出了可以支持脉冲调制、连续波调制、抗多机干扰等优异性能的iToF感光芯片。
3dToF 感光芯片
基于单光子雪崩二极管(SPAD)的dToF测距原理,通过向物体发射激光散斑,并利用SPAD接收物体表面的反射光子,通过TDC(Time-to-DigitalConverter,即时间数字转换器)测量光子飞行时间,经多次统计处理得到目标物体的深度/距离信息。dToF 感光芯片是dToF 技术中难度最大、门槛最高的技术。主要通过以下指标衡量dToF感光芯片的先进性:SPAD像素性能、像素阵列结构、TDC性能、淬灭电路性能、数据后处理电路的精度、吞吐率、功耗等指标。
公司dToF 感光芯片采用BSI 背照式和先进的Stacking 堆栈式工艺的芯片结构,通过自主创新,优化了SPAD像素探测效率,提出了创新性的高精度数据后处理算法并申请了专利,设计了高性能的数据后处理电路,可实现mm级测量精度,最远达到10m@100klux@30%反射率的测量距离,帧率达到30fps,抗干扰能力强,性能指标处于主流的水平,功耗与行业内当前主流芯片相当。
4结构光专用感光芯片
结构光3D 视觉传感器中的接收端需要利用感光芯片采集结构光图像,目前普遍选用通用感光芯片,但由于结构光3D 深度引擎算法的特殊性,比如当基线方向与感光芯片的数据读出方向不一致时,就要求在算法层面进行相应的优化调整以适应感光芯片,因此通用感光芯片存在帧率下降、额外计算资源消耗等问题。
结构光专用感光芯片针对结构光成像技术的应用场景,针对性考虑其应用的多元性,将全局快门和卷帘快门有机融合在一起,并在专用感光芯片上融入各种预处理算法,缓解后续算力芯片的算力要求,减少接口,提高速度,以实现最佳的成像性能。
(3)算法研发
1深度引擎算法
深度引擎算法用于实现深度信息的计算,包括结构光深度引擎算法、双目深度引擎算法、iToF深度引擎算法等,这些算法一般通过PC端研发、FPGA优化验证,最后形成芯片底层语言,并固化到芯片中。与传统由通用处理器来实现深度计算相比,深度引擎算法更有优势,并专用于深度引擎芯片,能够以更低功耗实现更快速、更高精度的深度信息计算,是3D视觉技术走向消费级并得以不断推广的关键。
|
结构光深度引擎算法|通过实时采集的散斑图像与预先标定的参考散斑图像进行匹配,获取像素沿基线方向的偏离值,并根据三角法由偏离值计算出实际距离值。
双目深度引擎算法|利用高度优化的基于深度卷积神经网络的立体匹配算法对双目相机的左右两幅图像进行密集匹配,计算出视差图,再根据相机参数计算出场景的深度图像。
iToF 深度引擎算法|主要包括解相位、系统误差校正、双频去模糊以及ToF 滤波。利用ToF 感光芯片获取的相位信息求解相位差,根据相位差来计算光飞行的距离;根据标定的系统误差参数对相位进行校正,补偿温度、电子电路、发射波形等因素对飞行距离的影响。ToF 滤波主要解决感光芯片引入的散粒噪声、暗电流噪声以及环境光引起的一些随机噪声,也能有效的解决飞点噪声。
2消费级应用算法
消费级应用算法是基于3D 视觉传感器获取的目标场景的三维信息,面向下游消费级应用需要所开发出的算法方案,是构筑客户具体应用与3D视觉传感器硬件之间的桥梁。
算法类型|算法功能
骨架跟踪|基于3D 视觉传感器采集到的人体深度图像或手部深度图像,对人体以及手部的骨架进行检测,并通过对多帧图像的骨架跟踪实现对人体姿势、手势的检测与跟踪识别。
图像分割|基于3D 视觉传感器采集到的RGB 图像与深度图像,对齐后形成RGBD 图像,通过对深度图像中深度信息的合理利用可以更准确地消除背景、提取前景,最终可以实现前景图像的分割,该技术可以被用于抠图等应用中。
三维重建|基于3D 视觉传感器采集到的RGBD 图像,恢复出物体的三维几何结构,包括物体尺寸、形貌、颜色等三维还原。根据物体特性主要包括刚体(空间环境等)与非刚体(人体等)三维重建。
 VSLAM|通过3D 视觉传感器、IMU 等传感器实现移动设备对所在环境的地图创建并找到自身在当前地图中的定位,是移动终端实现自动定位、导航与避障等功能的基础应用算法,主要面向移动机器人、移动终端等设备。
沉浸式AR|通过大场景三维重建技术、传感器自身定位、实景导航等,实现虚拟与现实场景完美融合。
(4)光学设计
3D 视觉传感器采用三维光学测量原理,涉及光学系统,包括局部光学系统(比如结构光3D视觉传感器中的散斑激光投影器件)、全局的三维测量光学系统(如激光雷达的共轴、离轴光学系统等),光学系统设计的好坏直接影响产品的测量性能。公司根据3D视觉感知类产品的当前需求及对未来的预期,投入了大量资源在光学设计上。
|
激光发射器|激光发射器包括边发激光与垂直腔面激光两种,公司根据算法演算3D 感知性能的上下限,然后设计出符合算法边界及产品设计的激光发射器,目前已经设计了高信噪比边发射激光器,体积小、性价比高的垂直腔面激光等多款激光器,并已被广泛应用于公司的各类产品当中。例如针对生物识别领域设计的940纳米垂直腔面激光能够在阳光直射下,依然提供足够的信噪比。
衍射光学元件|衍射光学元件是激光投影模组的核心元器件,其作用是为结构光、主动双目等技术提供不同形状的散斑投影。不同的技术、激光发射器、产品定义对光学衍射器件的需求差异极大。比如结构光技术与双目视觉技术在投影能量均匀程度、散斑尺寸、边缘质量、测量范围内的信噪比需求大不相同。公司的光学团队根据不同的需求对所需的散斑进行设计、仿真和模拟,然后外发到制造商进行定制化。
激光投影模组|激光投影模组是对不同的激光发射器和衍射光学元件进行组合设计。公司光学团队已设计开发数十款激光投影模组,开发了16000-40000投影点、投影孔径5-10 微米的多款光学衍射器件。
镜头|由于3D 视觉传感器对成像传感器图像的品质要求与2D 成像系统不同,镜头的设计往往也无法使用市面上有售的镜头。比如,公司设计的结构光镜头对畸变的要求就比较苛刻,同时对品质的要求也高于市面上常见的成像摄像头模组。自成立以来,公司已经为结构光、双目、iToF 3D 视觉传感器设计了多款不同的镜头,前期的镜头设计主要集中在高精度、小视场角;公司已经完成了大视场角结构光、双目及iToF镜头的设计。此外,为了提高3D 视觉传感器热稳定性,公司还设计开发了玻、塑混合镜头。
光学系统|光学系统是由激光投影模组和成像模组整合而成。公司在光学设计部分秉承光学性能紧贴算法需求,整体设计思路横贯整个成像系统的思路。在实际产品落地的过程中,公司光学系统对齐误差可以达到2 个像素以内,3D 重建精度最高可达0.01 像素,在相同硬件的成本下,将系统的深度性能最大化。
(5)软件开发
为便于用户更为便利地使用公司3D 视觉传感器进行开发和应用,公司配套推出二次开发软件工具包SDK,该SDK随3D视觉传感器提供给用户。用户可以通过SDK获取彩色图、深度图,也可以使用相应的API 接口将原始深度、彩色数据转换成点云数据。SDK 包含3D 视觉传感器硬件规格书与结构示意图、API、帮助文档、示范例程以及工具软件。
|
全平台覆盖|针对不用用户使用环境,推出了全平台SDK,涵盖Windows 、Linux、Android Macosx 、Unity、ROS 等平台。
软件接口丰富|提供全平台的API 软件接口,包括深度图获取、彩色图获取、人体骨架数据获取等,并附带详细开发指南。
详细例程|设置了近10个示范例程,从不同角度演示了如何获取3D视觉传感器的彩色数据、深度数据、点云图、修改分辨率等功能。
(6)量产技术
3D 视觉传感器的核心器件激光发射模组包含电路板、激光发射器、透镜组以及衍射光学元件等元器件,其组装工艺较传统镜头组装工艺要求更高;此外,3D 视觉传感器主要三大组成部件,激光发射模组、IR 成像模组及RGB 模组在组装时对光轴要求极其严格。
公司“从0 到1”研发和设计相关产品量产工艺,先后研发了激光发射模组高精度组装与测试、主要部件三合一光轴AA、标定对齐等全链条的量产工艺核心设备,使公司成为全球少数实现3D视觉传感器百万级量产的企业之一。此外,公司将产品设计与量产工艺设计相互融合,比如在产品设计端利用算法实现温度误差补偿,降低量产工艺中硬件热性能要求以及相关热测试要求,或者通过在量产工艺中提升标定精度来降低产品设计中对相关算法的高要求。
2) 工业级3D 视觉感知技术先进性
(1)系统设计