现在,看在线视频已经成为很多人的一种生活习惯,人们乐于在忙完一天的工作和家庭生活后抽空看视频放松娱乐一下。然而,由于在线视频平台众多,视频资源丰富,现在的观众们已不满足于视频本身好不好看和视频资源的丰富度了,他们还希望拥有更好的观看体验。 因此,视频平台如果能够提高观众的观看体验,自然能够吸引更多观众。爱奇艺便是众多试图利用技术改善用户服务和体验的在线视频平台之一,他们采用的一项技术,就是今天这篇文章的主题——多模态技术。视频中最重要的信息,包括音频信息和视频帧信息,单独利用某一个模态的信息,会比较局限,难以全面的对视频内容进行理解,而多模态能够综合多模态信息,让视频服务和功能更贴近人类真实生活习惯,对于视频内容理解非常必要。
2016 年,爱奇艺在世界竞赛 emotioW 视频人脸表情识别国际竞赛中,综合利用人脸和音频的多模态信息获得比赛第一名,在这一契机下,爱奇艺从此开始进行多模态方面更加深入的研究。
发布全球最大明星数据集 iQIYI-VID
为了促进多模态技术研发,爱奇艺在 2018 年举办了爱奇艺多模态视频人物识别挑战赛,发布了当时全球首个最大明星数据集(iQIYI-VID)。目前,2019 年爱奇艺视频人物识别挑战赛已经启动,3 月18 日爱奇艺开源了最接近实际媒体应用场景的视频人物数据集(iQIYI-VID-2019)。与2018 年的数据集相比,这个数据集更具有挑战性,总共包含 10000 个明星人物、200 个小时、20 万影视剧与短视频人物数据集,全部采用人工标注。相对于 iQIYI-VID,iQIYI-VID-2019 增加了 5000 个明星艺人,新增人物主要来自短视频,包括化妆、特效、不同场景的动作等。
iQIYI-VID 数据库生产流程
iQIYI-VID 视频人物库样本实例
iQIYI-VID-2018 数据集链接:
http://challenge.ai.iqiyi.com/detail?raceId=5b1129e42a360316a898ff4f
iQIYI-VID-2019 数据集下载链接:
http://challenge.ai.iqiyi.com/detail?raceId=5c767dc41a6fa0ccf53922e7
这些数据集,是爱奇艺在业务中落地多媒体技术