(57)【要約】【課題】映像のラベルを精度よく認識することができる。【解決手段】ビジュアル属性抽出部２３４が、フレーム画像の各々について、ＣＮＮを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出する。ラベル認識部２３６が、フレーム画像の各々のビジュアル属性に基づいて、時系列順に抽出されたフレーム画像の各々のビジュアル属性から時系列順に映像のラベルを認識するための、ＲＮＮ構造のパラメータを用いて、時系列順に映像のラベルを認識する。【選択図】図２
2018005638.tif 000002
【特許請求の範囲】
【請求項１】
ラベルが付与された映像から時系列順にフレーム画像を抽出し、前記抽出されたフレーム画像をフレーム画像群とするフレーム画像生成部と、
前記フレーム画像生成部により生成された前記フレーム画像群におけるフレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出するビジュアル属性抽出部と、
前記ビジュアル属性抽出部により時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性と、前記映像に付与された前記ラベルとに基づいて、時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムのパラメータを学習するビジュアル属性モデル学習部と、
を含む映像認識モデル学習装置。
【請求項２】
映像から時系列順にフレーム画像を抽出し、前記抽出されたフレーム画像をフレーム画像群とするフレーム画像生成部と、
前記フレーム画像生成部により生成された前記フレーム画像群におけるフレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出するビジュアル属性抽出部と、
前記ビジュアル属性抽出部により時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性に基づいて、時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムを用いて、時系列順に映像のラベルを認識するラベル認識部と、
を含む映像認識装置。
【請求項３】
映像から時系列順にフレーム画像を抽出し、前記抽出されたフレーム画像をフレーム画像群とするフレーム画像生成部と、
前記フレーム画像生成部により生成された前記フレーム画像群におけるフレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出するビジュアル属性抽出部と、
前記ビジュアル属性抽出部により時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性に基づいて、時系列順に、前記ビジュアル属性がマスクされ、かつ、前記フレーム画像の各々の前記ビジュアル属性を表すビジュアル属性マスクを生成するビジュアル属性マスク生成部と、
前記ビジュアル属性マスク生成部により時系列順に生成された前記ビジュアル属性マスクに基づいて、時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムを用いて、前記ビジュアル属性と前記ラベルとの関連性情報を抽出するビジュアル属性関連性抽出部と、
を含む映像認識装置。
【請求項４】
前記ビジュアル属性マスク生成部は、前記ビジュアル属性抽出部により時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性から、前記ビジュアル属性の平均値を減算することにより、時系列順に前記ビジュアル属性マスクを生成する請求項３に記載の映像認識装置。
【請求項５】
フレーム画像生成部が、ラベルが付与された映像から時系列順にフレーム画像を抽出し、前記抽出されたフレーム画像をフレーム画像群とするステップと、
ビジュアル属性抽出部が、前記フレーム画像生成部により生成された前記フレーム画像群におけるフレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出するステップと、
ビジュアル属性モデル学習部が、前記ビジュアル属性抽出部により時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性と、前記映像に付与された前記ラベルとに基づいて、時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムのパラメータを学習するステップと、
を含む映像認識モデル学習方法。
【請求項６】
フレーム画像生成部が、映像から時系列順にフレーム画像を抽出し、前記抽出されたフレーム画像をフレーム画像群とするステップと、
ビジュアル属性抽出部が、前記フレーム画像生成部により生成された前記フレーム画像群におけるフレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出するステップと、
ラベル認識部が、前記ビジュアル属性抽出部により時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性に基づいて、時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムを用いて、時系列順に映像のラベルを認識するステップと、
を含む映像認識方法。
【請求項７】
フレーム画像生成部が、映像から時系列順にフレーム画像を抽出し、前記抽出されたフレーム画像をフレーム画像群とするステップと、
ビジュアル属性抽出部が、前記フレーム画像生成部により生成された前記フレーム画像群におけるフレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出するステップと、
ビジュアル属性マスク生成部が、前記ビジュアル属性抽出部により時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性に基づいて、時系列順に、前記ビジュアル属性がマスクされ、かつ、前記フレーム画像の各々の前記ビジュアル属性を表すビジュアル属性マスクを生成するステップと、
ビジュアル属性関連性抽出部が、前記ビジュアル属性マスク生成部により時系列順に生成された前記ビジュアル属性マスクに基づいて、時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムを用いて、前記ビジュアル属性と前記ラベルとの関連性情報を抽出するステップと、
を含む映像認識方法。
【請求項８】
コンピュータを、請求項１に記載の映像認識モデル学習装置、又は請求項２〜請求項４の何れか１項に記載の映像認識装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像認識モデル学習装置、映像認識装置、方法、及びプログラムに係り、特に、映像のラベルを認識するための映像認識モデル学習装置、映像認識装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
映像のシーン認識やイベント検出など、映像シーン解析技術は幅広く行われている。一般の処理の流れとしては、まず、映像から被写体（物体や人物）の変化や状態を表現する画像特徴量や動き特徴量、音声特徴量などを抽出する。そして機械学習手法（ＳＶＭやＤｅｅｐ  Ｌｅａｒｎｉｎｇなど）を用いて、それらの特徴量に対して識別を行う。識別結果に基づいて映像シーン認識やイベント検出を実現する。たとえば、従来の映像イベント検出方法として次のような方法がある。
【０００３】
まず映像の連続フレーム画像から、時系列で一定の時間間隔でフレーム画像群を抽出する。また、時系列で一定の時間間隔においてｏｐｔｉｃａｌ ｆｌｏｗを用いて、フレーム画像間の動き追跡を行って、その追跡を表したｓｔａｃｋｅｄ ｏｐｔｉｃａｌ ｆｌｏｗという動き特徴量を抽出する。そして、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて、画像特徴量や動き特徴量に対してそれぞれの識別を行う。最後に、それらの識別結果を足し算で統合することにより、映像シーンの認識結果となる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Two-Stream Convolutional Networks for Action Recognition in Videos Karen Simonyan, Andrew Zisserman, in NIPS,2014.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
映像シーン認識にあたって、映像の時系列における主要な被写体とそれらの関連性の解析が重要であると考えられる。
【０００６】
しかしながら、上記の文献１に示すような映像シーン認識方法は、機械学習手法（ＣＮＮなど）に基づいて認識を行う際に、フレーム画像毎の画像特徴量（画素）や短時間の間における動き特徴量（画素の軌跡など）といったｌｏｗ−ｌｅｖｅｌのＣＮＮ画像特徴量を用いており、映像の時系列における全体の画像内容や動きの関連性を考慮していなかった。そのため、従来の映像シーン認識手法は映像中の被写体の変化を十分に正確に捉えることが困難であった。また、上記画素や画素の軌跡のようなｌｏｗ−ｌｅｖｅｌのＣＮＮ画像特徴量を用いると、映像の主要な被写体と被写体の動きとの関連性を捉える際に、対応関係が不明確になるため、映像のシーン認識とイベント検出の精度が低くなる問題があった。そのため、ｌｏｗ−ｌｅｖｅｌの時系列のＣＮＮ画像特徴量を用いた映像のシーンを認識する従来技術（非特許文献１）では、入力側の特徴量と出力側の認識結果との意味的な関係を明確に認識できなかった。
【０００７】
本発明は、上記問題点を解決するために成されたものであり、映像のラベルを精度よく認識するためのモデルを学習することができる映像認識モデル学習装置、方法、及びプログラムを提供することを目的とする。
【０００８】
また、映像のラベルを精度よく認識することができる映像認識装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第１の発明に係る映像認識モデル学習装置は、ラベルが付与された映像から時系列順にフレーム画像を抽出し、前記抽出されたフレーム画像をフレーム画像群とするフレーム画像生成部と、前記フレーム画像生成部により生成された前記フレーム画像群におけるフレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出するビジュアル属性抽出部と、前記ビジュアル属性抽出部により時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性と、前記映像に付与された前記ラベルとに基づいて、時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムのパラメータを学習するビジュアル属性モデル学習部と、を含んで構成されている。
【００１０】
また、上記目的を達成するために、第２の発明に係る映像認識装置は、映像から時系列順にフレーム画像を抽出し、前記抽出されたフレーム画像をフレーム画像群とするフレーム画像生成部と、前記フレーム画像生成部により生成された前記フレーム画像群におけるフレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出するビジュアル属性抽出部と、前記ビジュアル属性抽出部により時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性に基づいて、時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムを用いて、時系列順に映像のラベルを認識するラベル認識部と、を含んで構成されている。
【００１１】
また、上記目的を達成するために、第３の発明に係る映像認識装置は、映像から時系列順にフレーム画像を抽出し、前記抽出されたフレーム画像をフレーム画像群とするフレーム画像生成部と、前記フレーム画像生成部により生成された前記フレーム画像群におけるフレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出するビジュアル属性抽出部と、  前記ビジュアル属性抽出部により時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性に基づいて、時系列順に、前記ビジュアル属性がマスクされ、かつ、前記フレーム画像の各々の前記ビジュアル属性を表すビジュアル属性マスクを生成するビジュアル属性マスク生成部と、前記ビジュアル属性マスク生成部により時系列順に生成された前記ビジュアル属性マスクに基づいて、時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムを用いて、前記ビジュアル属性と前記ラベルとの関連性情報を抽出するビジュアル属性関連性抽出部と、を含んで構成されている。
【００１２】
また、第３の発明に係る映像認識装置において、前記ビジュアル属性マスク生成部は、前記ビジュアル属性抽出部により時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性から、前記ビジュアル属性の平均値を減算することにより、時系列順に前記ビジュアル属性マスクを生成するようにしてもよい。
【００１３】
また、第２及び第３の発明に係る映像認識装置において、前記深層学習アルゴリズムにはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用い、前記時系列データを扱う深層学習アルゴリズムにはＲＮＮ（Ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を用いるようにしてもよい。
【００１４】
第４の発明に係る映像認識モデル学習方法は、フレーム画像生成部が、ラベルが付与された映像から時系列順にフレーム画像を抽出し、前記抽出されたフレーム画像をフレーム画像群とするステップと、ビジュアル属性抽出部が、前記フレーム画像生成部により生成された前記フレーム画像群におけるフレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出するステップと、ビジュアル属性モデル学習部が、前記ビジュアル属性抽出部により時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性と、前記映像に付与された前記ラベルとに基づいて、時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムのパラメータを学習するステップと、を含んで実行することを特徴とする。
【００１５】
第５の発明に係る映像認識方法は、フレーム画像生成部が、映像から時系列順にフレーム画像を抽出し、前記抽出されたフレーム画像をフレーム画像群とするステップと、ビジュアル属性抽出部が、前記フレーム画像生成部により生成された前記フレーム画像群におけるフレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出するステップと、ラベル認識部が、前記ビジュアル属性抽出部により時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性に基づいて、時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムを用いて、時系列順に映像のラベルを認識するステップと、を含んで実行することを特徴とする。
【００１６】
第６の発明に係る映像認識方法は、フレーム画像生成部が、映像から時系列順にフレーム画像を抽出し、前記抽出されたフレーム画像をフレーム画像群とするステップと、ビジュアル属性抽出部が、前記フレーム画像生成部により生成された前記フレーム画像群におけるフレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出するステップと、ビジュアル属性マスク生成部が、前記ビジュアル属性抽出部により時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性に基づいて、時系列順に、前記ビジュアル属性がマスクされ、かつ、前記フレーム画像の各々の前記ビジュアル属性を表すビジュアル属性マスクを生成するステップと、ビジュアル属性関連性抽出部が、前記ビジュアル属性マスク生成部により時系列順に生成された前記ビジュアル属性マスクに基づいて、時系列順に抽出された前記フレーム画像の各々の前記ビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムを用いて、前記ビジュアル属性と前記ラベルとの関連性情報を抽出するステップと、を含んで実行することを特徴とする。
【００１７】
第７の発明に係るプログラムは、コンピュータを、第１の発明に係る映像認識モデル学習装置、又は第２及び第３の発明に係る映像認識装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１８】
本発明の映像認識モデル学習装置、方法、及びプログラムによれば、ラベルが付与された映像から時系列順にフレーム画像を抽出し、抽出されたフレーム画像をフレーム画像群とし、フレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出し、フレーム画像の各々のビジュアル属性と、映像に付与されたラベルとに基づいて、時系列順に抽出されたフレーム画像の各々のビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムのパラメータを学習することにより、映像のラベルを精度よく認識するためのモデルを学習することができる、という効果が得られる。
【００１９】
また、本発明の映像認識装置、方法、及びプログラムによれば、フレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出し、フレーム画像の各々のビジュアル属性に基づいて、時系列順に抽出されたフレーム画像の各々のビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムを用いて、時系列順に映像のラベルを認識することにより、映像のラベルを精度よく認識することができる、という効果が得られる。
【００２０】
また、本発明の映像認識装置、方法、及びプログラムによれば、フレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出し、フレーム画像の各々のビジュアル属性マスクを生成し、時系列順に抽出されたフレーム画像の各々のビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムを用いて、ビジュアル属性とラベルとの関連性情報を抽出することにより、ビジュアル属性とラベルとの関連性を精度よく抽出することができる、という効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１及び第２の実施の形態に係る映像認識モデル学習装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る映像認識装置の構成を示すブロック図である。
【図３】ＲＮＮを用いたラベル認識の一例を示す図である。
【図４】本発明の第１及び第２の実施の形態に係る映像認識モデル学習装置における映像認識モデル学習処理ルーチンを示すフローチャートである。
【図５】本発明の第１の実施の形態に係る映像認識装置における映像認識処理ルーチンを示すフローチャートである。
【図６】発明の第２の実施の形態に係る映像認識装置の構成を示すブロック図である。
【図７】ビジュアル属性マスクの生成アルゴリズムの一例を示す図である。
【図８】本発明の第２の実施の形態に係る映像認識装置における映像認識処理ルーチンを示すフローチャートである。
【図９】誕生日パーティーのシーンに対する認識結果と、属性キャンドルをマスクした場合のシーンとの関連性を比較した場合の一例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２３】
＜本発明の実施の形態に係る概要＞
【００２４】
まず、本発明の実施の形態における概要を説明する。
【００２５】
近年、Ａｔｔｒｉｂｕｔｅ（視覚的属性）という特徴表現は、画像・映像認識の技術によく採用されている。「人間が理解可能」、「複数のカテゴリー間で共有される」という特性がある。わかりやすい例を挙げれば、「誕生日のケーキ」や「キャンドル」などが挙げられる。従来のｌｏｗ−ｌｅｖｅｌな特徴量による画像表現とは異なり、ビジュアル属性は、それ単体として意味を持つ“部品”や“素材”などを要素とした、意味を持つ特徴表現であることが最大の特徴といえる。
【００２６】
そこで、映像イベント検出やシーン認識に対して、映像の時系列における人や主要な被写体を表現できるビジュアル属性の抽出とそれらの時系列の解析を取り入れる手法は有効であると考えられる。
【００２７】
＜本発明の第１の実施の形態に係る映像認識モデル学習装置の構成＞
【００２８】
次に、本発明の第１の実施の形態に係る映像認識モデル学習装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る映像認識モデル学習装置１００は、ＣＰＵと、ＲＡＭと、後述する映像認識モデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この映像認識モデル学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０とを備えている。
【００２９】
入力部１０は、複数の映像からなる映像群を受け付け、蓄積部２８に格納する。各映像にはシーン（例えば誕生会など）のラベルが付与されている。
【００３０】
演算部２０は、蓄積部２８と、映像取得部３０と、フレーム画像生成部３２と、ビジュアル属性抽出部３４と、ビジュアル属性モデル学習部３６とを含んで構成されている。
【００３１】
蓄積部２８には、入力部１０で受け付けた複数の映像からなる映像群が格納されている。また、蓄積部２８には、ビジュアル属性モデル学習部３６で学習されたＲＮＮ構造のパラメータが格納される。
【００３２】
映像取得部３０は、蓄積部２８に処理指示を出力して、格納された映像を取得し、取得した映像を、時系列順に、フレーム画像生成部３２に出力する。
【００３３】
フレーム画像生成部３２は、映像取得部３０により出力されたラベルが付与された映像から時系列順にフレーム画像を抽出し、抽出されたフレーム画像をフレーム画像群とする。例えば、処理対象の映像取得部３０から受け取った映像において、一定の時間間隔（例えば、１秒毎）にフレーム画像（ｖ１，ｖ２，…，ｖＮ）を抽出し、抽出したフレーム画像群をビジュアル属性抽出部３４へ出力する。
【００３４】
ビジュアル属性抽出部３４は、フレーム画像生成部３２により生成されたフレーム画像群におけるフレーム画像の各々について、深層学習アルゴリズムを用いて、被写体の構成要素（例えばキャンドルなど）を表すビジュアル属性を時系列順に抽出する。具体的には、ＩｍａｇｅＮｅｔという大規模なデータを対象にした、ＣＮＮを用いてあらかじめ学習されたＫ個の属性の識別器を用いて、フレーム画像の各々からＫ次元の特徴量をビジュアル属性ｘとして抽出すればよい。ここで、Ｋ次元の特徴量における個々の次元が示す属性のコンポーネントは、あるフレーム画像に、ある属性の構成要素が含まれる確率とすればよい。フレーム画像（ｖ１，ｖ２，…，ｖＮ）の各々に対して、時系列順に抽出されたビジュアル属性（ｘ１，ｘ２，…，ｘＮ）を時系列のビジュアル属性モデル学習部３６へ出力する。
【００３５】
ビジュアル属性モデル学習部３６は、ビジュアル属性抽出部３４により時系列順に抽出されたフレーム画像の各々のビジュアル属性と、映像に付与されたラベルとに基づいて、時系列順に抽出されたフレーム画像の各々のビジュアル属性から時系列順に映像のラベルを認識するための、時系列データを扱う深層学習アルゴリズムのパラメータを学習する。例えば、ビジュアル属性抽出部３４から時系列順に抽出されたビジュアル属性（ｘ１，ｘ２，…，ｘＮ）を受け取ると、時系列データを扱うＲＮＮ（参考文献１参照）を用いたＲＮＮ構造のパラメータを、映像の各ラベルに対して最適化するように学習し、蓄積部２８に格納する。ＲＮＮ構造として、後述する図３に示すものを用いる。
【００３６】
参考文献１：A tutorial on training recurrent neural networks, covering BPPT, RTRL, EKF and the "echo state network" approach, Herbert Jaeger, Institute for Autonomous Intelligent Systems (AIS).
【００３７】
＜本発明の第１の実施の形態に係る映像認識装置の構成＞
【００３８】
次に、本発明の第１の実施の形態に係る映像認識装置の構成について説明する。図２に示すように、本発明の第１の実施の形態に係る映像認識装置２００は、ＣＰＵと、ＲＡＭと、後述する映像パターン学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この映像認識装置２００は、機能的には図２に示すように入力部２１０と、演算部２２０と、出力部２５０とを備えている。
【００３９】
入力部２１０は認識対象となる映像の入力を受け付ける。
【００４０】
演算部２２０は、蓄積部２２８と、フレーム画像生成部２３２と、ビジュアル属性抽出部２３４と、ラベル認識部２３６とを含んで構成されている。
【００４１】
蓄積部２２８には、時系列順に抽出されたフレーム画像の各々のビジュアル属性から時系列順に映像のラベルを認識するためのＲＮＮ構造のパラメータが格納されている。ＲＮＮ構造のパラメータは上記映像認識モデル学習装置１００によって学習されたものである。
【００４２】
フレーム画像生成部２３２は、入力部２１０で受け付けた映像から時系列順にフレーム画像を抽出し、抽出されたフレーム画像をフレーム画像群とする。具体的な処理は、上記映像認識モデル学習装置１００のフレーム画像生成部３２と同様である。
【００４３】
ビジュアル属性抽出部２３４は、フレーム画像生成部２３２により生成されたフレーム画像群におけるフレーム画像の各々について、深層学習アルゴリズム（ＣＮＮ）を用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出する。具体的な処理は、上記映像認識モデル学習装置１００のビジュアル属性抽出部３４と同様である。
【００４４】
ラベル認識部２３６は、ビジュアル属性抽出部２３４により時系列順に抽出されたフレーム画像の各々のビジュアル属性に基づいて、蓄積部２２８に格納されたＲＮＮ構造のパラメータを用いて、時系列順に映像のラベルを認識し、出力部２５０に出力する。
【００４５】
図３に、学習した２層のＲＮＮ構造のパラメータを用いて認識した時系列順のラベルの一例を示す。時系列順に認識されたラベルｙ１，ｙ２，…，ｙＮの各々は、映像のラベルの種類数と同じ次元数を持つベクトルとなる。すわなち、映像のフレーム画像の各々において、各ラベルに対応するシーンであると認識される確率が得られる。また、本実施の形態では２層のＲＮＮを用いるが、具体的な応用に応じて層の数を変えてもよい。
【００４６】
以上のように、本実施の形態の手法では、映像内容の意味を持つ時系列順のビジュアル属性（ある時刻ｔにどんな被写体があるか）を特徴量として用い、映像全体に亘って時系列の相関を捉えるニューラルネットワーク（ＲＮＮなど）を用いて映像シーン認識を行うことで、映像の被写体、被写体の相関と被写体の時系列の遷移状態を考慮したため、シーンの認識精度と具体的な応用目的に応じる映像の解析し易さが向上すると考えられる。
【００４７】
＜本発明の第１の実施の形態に係る映像認識モデル学習装置の作用＞
【００４８】
次に、本発明の第１の実施の形態に係る映像認識モデル学習装置１００の作用について説明する。入力部１０においてラベル付きの映像からなる映像群を受け付けると映像群を蓄積部２８に格納し、映像認識モデル学習装置１００は、図４に示す映像認識モデル学習処理ルーチンを実行する。
【００４９】
まず、ステップＳ１００では、蓄積部２８に処理指示を出力して、格納された映像を取得する。
【００５０】
次に、ステップＳ１０２では、ラベルが付与された映像から時系列順にフレーム画像を抽出し、抽出されたフレーム画像をフレーム画像群とする。
【００５１】
ステップＳ１０４では、ステップＳ１０２で、生成されたフレーム画像群におけるフレーム画像の各々について、ＣＮＮを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出する。
【００５２】
ステップＳ１０６では、時系列順に抽出されたフレーム画像の各々のビジュアル属性と、映像に付与されたラベルとに基づいて、時系列順に抽出されたフレーム画像の各々のビジュアル属性から時系列順に映像のラベルを認識するための、ＲＮＮ構造のパラメータを学習する。
【００５３】
ステップＳ１０８では、全ての映像について処理を終了したかを判定し、全ての映像について処理を終了していれば処理を終了し、処理を終了していなければステップＳ１００に戻って処理を繰り返す。
【００５４】
以上説明したように、第１の実施の形態に係る映像認識モデル学習装置によれば、ラベルが付与された映像から時系列順にフレーム画像を抽出し、抽出されたフレーム画像をフレーム画像群とし、フレーム画像の各々について、ＣＮＮを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出し、フレーム画像の各々のビジュアル属性と、映像に付与されたラベルとに基づいて、時系列順に抽出されたフレーム画像の各々のビジュアル属性から時系列順に映像のラベルを認識するための、ＲＮＮ構造のパラメータを学習することにより、被写体を精度よく認識するためのモデルを学習することができる。
【００５５】
＜本発明の第１の実施の形態に係る映像認識装置の作用＞
【００５６】
次に、本発明の第１の実施の形態に係る映像認識装置２００の作用について説明する。入力部２１０において認識対象の映像を受け付けると、映像認識装置２００は、図５に示す映像認識処理ルーチンを実行する。
【００５７】
ステップＳ２００では、入力部２１０で受け付けた映像から時系列順にフレーム画像を抽出し、抽出されたフレーム画像をフレーム画像群とする。
【００５８】
ステップＳ２０２では、生成されたフレーム画像群におけるフレーム画像の各々についてＣＮＮを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出する。
【００５９】
ステップＳ２０４では、ステップＳ２０２で時系列順に抽出されたフレーム画像の各々のビジュアル属性に基づいて、蓄積部２２８に格納されたＲＮＮ構造のパラメータを用いて、時系列順に映像のラベルを認識し、出力部２５０に出力して処理を終了する。
【００６０】
以上説明したように、第１の実施の形態に係る映像認識装置によれば、フレーム画像の各々について、ＣＮＮを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出し、フレーム画像の各々のビジュアル属性に基づいて、時系列順に抽出されたフレーム画像の各々のビジュアル属性から時系列順に映像のラベルを認識するための、ＲＮＮ構造のパラメータを用いて、時系列順に映像のラベルを認識することにより、被写体を精度よく認識することができる。
【００６１】
＜本発明の第２の実施の形態に係る映像認識モデル学習装置の構成＞
【００６２】
第２の実施の形態に係る映像認識モデル学習装置は、第１の実施の形態と同一の構成であるため説明を省略する。
【００６３】
＜本発明の第２の実施の形態に係る映像認識装置の構成＞
【００６４】
次に、本発明の第２の実施の形態に係る映像認識装置の構成について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
【００６５】
図６に示すように、本発明の第２の実施の形態に係る映像認識装置３００は、ＣＰＵと、ＲＡＭと、後述する映像認識処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この映像認識装置３００は、機能的には図６に示すように入力部２１０と、演算部３２０と、出力部２５０とを備えている。
【００６６】
演算部３２０は、蓄積部２２８と、フレーム画像生成部２３２と、ビジュアル属性抽出部２３４と、ビジュアル属性マスク生成部３４０と、ビジュアル属性関連性抽出部３４２とを含んで構成されている。
【００６７】
ビジュアル属性マスク生成部３４０は、ビジュアル属性抽出部２３４により時系列順に抽出されたフレーム画像の各々のビジュアル属性に基づいて、時系列順に、ビジュアル属性がマスクされ、かつ、フレーム画像の各々のビジュアル属性を表すビジュアル属性マスクを生成する。具体的には、図７に示すアルゴリズムに従って、フレーム画像の各々のビジュアル属性ｘｔ（ｉ）から、当該ビジュアル属性の平均値ａ（ｉ）を減算することにより、時系列順にビジュアル属性マスクを生成する。ここで、ｘｔは、ビジュアル属性抽出部２３４により、映像のｔ時刻のフレーム画像ｖｔに対してＫ個の属性識別器を用いて識別を行って求められたＫ次元の特徴量である。ａは映像のフレーム全体(ｘ１，…ｘｔ，…ｘＮ)の各ビジュアル属性の平均値を表すＫ次元の特徴量である。ビジュアル属性マスクＭｔはＫ＊Ｋ次元の行列である。図７に示すように、ビジュアル属性マスクＭｔの画素（ｉ,ｊ）について、ｉ＝ｊであればＭｔ（ｉ,ｊ）＝０とし、ｉ≠ｊであればＭｔ（ｉ,ｊ）＝ｘｔ（ｉ）−ａ（ｉ）として、ビジュアル属性ｘｔ（ｉ）から平均値ａ（ｉ）を減算することによって当該ビジュアル属性をマスクして、ビジュアル属性マスクＭｔを生成する。そして、時系列順に生成されたビジュアル属性マスクをビジュアル属性関連性抽出部３４２へ出力する。
【００６８】
ビジュアル属性関連性抽出部３４２は、ビジュアル属性マスク生成部３４０により時系列順に生成されたビジュアル属性マスクに基づいて、蓄積部２２８に格納されたＲＮＮ構造のパラメータを用いて、ビジュアル属性とラベルとの関連性情報を抽出し、出力部２５０に出力する。ここでは、時系列順のビジュアル属性マスクの各行をＫ次元の入力特徴量として、ＲＮＮ構造を用いて、時系列順にビジュアル属性ごとに、当該ビジュアル属性と各ラベル（ラベルが表すシーン）との間の関連性を表現する関連性情報を抽出し、出力部２５０に出力する。時系列順のビジュアル属性マスクＭｔをＲＮＮ構造に入力すると、フレーム数分（Ｎ個分）だけラベルの種類数×Ｋの行列が、関連情報として出力される。行列の各行はビジュアル属性に対応し、各列はラベルに対応する。行列の各コンポーネントは当該フレーム画像において当該ラベルであると認識されるときの当該ビジュアル属性の貢献度を表す。
【００６９】
＜本発明の第２の実施の形態に係る映像認識装置の作用＞
【００７０】
次に、本発明の第２の実施の形態に係る映像認識装置２００の作用について説明する。なお、第１の実施の形態と同一の作用となる箇所については同一符号を付して説明を省略する。
【００７１】
入力部２１０において認識対象の映像を受け付けると、映像認識装置３００は、図８に示す映像認識処理ルーチンを実行する。
【００７２】
ステップＳ３００では、ステップＳ２０２で時系列順に抽出されたフレーム画像の各々のビジュアル属性ｘｔ（ｉ）から、ビジュアル属性の平均値ａ（ｉ）を減算することにより、時系列順に、ビジュアル属性がマスクされ、かつ、フレーム画像の各々のビジュアル属性を表すビジュアル属性マスクを生成する。
【００７３】
ステップＳ３０２では、ステップＳ３００で時系列順に生成されたビジュアル属性マスクに基づいて、蓄積部２２８に格納されたＲＮＮ構造のパラメータを用いて、ビジュアル属性とラベルとの関連性情報を抽出し、出力部２５０に出力し処理を終了する。
【００７４】
以上説明したように、第２の実施の形態に係る映像認識装置によれば、フレーム画像の各々について、ＣＮＮを用いて、被写体の構成要素を表すビジュアル属性を時系列順に抽出し、フレーム画像の各々のビジュアル属性に基づいて、時系列順に、ビジュアル属性がマスクされ、かつ、フレーム画像の各々のビジュアル属性を表すビジュアル属性マスクを生成し、時系列順のビジュアル属性マスクに基づいて、予め学習されたＲＮＮ構造を用いて、ビジュアル属性とラベルとの関連性情報を抽出することにより、ビジュアル属性とラベルとの関連性を精度よく抽出することができる。
【００７５】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００７６】
例えば、上述した第１の実施の形態の映像認識装置２００と第２の実施の形態の映像認識装置３００とを組み合わせることで、映像に対してビジュアル属性をマスクした場合における、映像シーンの認識精度への影響を数値化して求めて、シーンにおける主要な被写体を求めることができる。具体的には、まず、第１の実施の形態の映像認識装置２００において、特定のラベルが示すシーン（例えば誕生日パーティー）に対する映像のフレーム毎の認識率ｙｔを求める。次に、第２の実施の形態の映像認識装置３００において、特定のラベルが示すシーンと、映像におけるｉ番目のビジュアル属性（例えばキャンドル）との関連性ｙｔ（i）を求め、これらを比較する。すなわち、ある時刻ｔにあるビジュアル属性ｉが用いられなかった時（例えばビジュアル属性ｉによって表現される被写体をキャンドルとすると、映像のキャンドルのビジュアル属性をマスキングし、キャンドルが写り込んでいないと仮定した場合）のシーンの認識率に相当する、特定のラベルが示すシーンとｉ番目のビジュアル属性との関連性ｙｔ（i）が、シーンの認識率ｙｔに対して明らかに一定以下であれば、属性ｉによって表現される被写体は時刻ｔの特定のラベルが示すシーンに対して主要な被写体であると考えられる。
【００７７】
図９は時系列のシーンのラベル認識とビジュアル属性の関連性情報の一つの利用例である。横軸は時系列、縦軸は認識率である。ある誕生日パーティーの映像のシーンに対して、時系列属性パターンを用いた認識結果ｙ１，ｙ２，…，ｙ１Ｎを実線で表示し、時系列属性関連情報、例えば、ｉ番目のビジュアル属性（例えば、キャンドル）をマスクした場合の映像シーンとの関連性ｙ’１（i）,ｙ’２（i），…，ｙ’Ｎ（i）を破線で表示している。実線に比べ、キャンドルをマスクされたときのシーンの認識率に相当する破線は、時刻１０〜２５の間で明らかに下がっているため、この誕生日パーティーの映像において、時刻１０〜２５の間でキャンドルは一つの主要な被写体であると捉えられる。
【００７８】
以上のように、本実施の形態の手法を組み合わせることにより、映像シーン全体の内容を精度よく認識することだけではなく、具体的な解析ニーズや検索目的に応じて、映像中にどんな主要な被写体が出現し、その主要な被写体が現れる時間を捉えることができる。すなわち、被写体の出現ポイントを時系列にローカライゼーションして捉えることが可能となる。
【符号の説明】
【００７９】
１０、２１０  入力部
２０、２２０、３２０ 演算部
２８、２２８  蓄積部
３０   映像取得部
３２、２３２  フレーム画像生成部
３４、２３４  ビジュアル属性抽出部
３６   ビジュアル属性モデル学習部
１００ 映像認識モデル学習装置
２００ 映像認識装置
２３４ ビジュアル属性抽出部
２３６ ラベル認識部
２５０ 出力部
３００ 映像認識装置
３４０ ビジュアル属性マスク生成部
３４２ ビジュアル属性関連性抽出部
【図１】
2018005638.tif 000003
【図２】
2018005638.tif 000004
【図３】
2018005638.tif 000005
【図４】
2018005638.tif 000006
【図５】
2018005638.tif 000007
【図６】
2018005638.tif 000008
【図７】
2018005638.tif 000009
【図８】
2018005638.tif 000010
【図９】
2018005638.tif 000011