(57)【要約】【課題】撮影角度が未知の場合であっても、映像の内容を精度よく認識するためのスパース表現を得ることができる。【解決手段】特徴量抽出部３３０が、複数の撮影角度の何れか１つから撮影された映像から特徴量を抽出する。撮影角度推定部３３２が、映像を撮影した撮影角度として、複数の撮影角度の何れか１つを推定する。スパース表現変換部３３４が、共通辞書と、撮影角度推定部によって推定された撮影角度に対する視点特有辞書とに基づいて、抽出された特徴量をスパース表現に変換する。【選択図】図１
2017097492.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像から特徴量を抽出する特徴量抽出部と、
前記入力された映像に基づいて、前記映像を撮影した被写体に対する撮影角度を推定する撮影角度推定部と、
全ての撮影角度に共通して前記映像の特徴量からスパース表現を得るための予め学習された共通辞書と、各撮影角度に対する、前記撮影角度からの映像の特徴量からスパース表現を得るための予め学習された視点特有辞書のうち、前記撮影角度推定部によって推定された前記撮影角度に対する視点特有辞書とに基づいて、前記特徴量抽出部によって抽出された前記特徴量をスパース表現に変換するスパース表現変換部と、
を含むスパース表現変換装置。
【請求項２】
識別器学習部を更に含み、
前記入力された映像には、前記映像が表す人物の行動を表すラベルが付与されており、
前記識別器学習部は、前記スパース表現変換部によって変換された前記スパース表現と、前記入力された映像に付与された前記ラベルとに基づいて、人物の行動を識別するための識別器を学習する請求項１記載のスパース表現変換装置。
【請求項３】
入力された人物を表す映像から特徴量を抽出する特徴量抽出部と、
前記入力された映像に基づいて、前記映像を撮影した前記人物に対する撮影角度を推定する撮影角度推定部と、
全ての撮影角度に共通して前記映像の特徴量からスパース表現を得るための予め学習された共通辞書と、各撮影角度に対して、前記撮影角度からの映像の特徴量からスパース表現を得るための予め学習された視点特有辞書のうち、前記撮影角度推定部によって推定された前記撮影角度に対する視点特有辞書とに基づいて、前記特徴量抽出部によって抽出された前記特徴量をスパース表現に変換するスパース表現変換部と、
人物の行動を識別するための予め学習された識別器と、前記スパース表現変換部によって変換された前記スパース表現とに基づいて、前記入力された映像が表す人物の行動を認識する行動認識部と、
を含む行動認識装置。
【請求項４】
特徴量抽出部が、入力された映像から特徴量を抽出するステップと、
撮影角度推定部が、前記入力された映像に基づいて、前記映像を撮影した被写体に対する撮影角度を推定するステップと、
スパース表現変換部が、全ての撮影角度に共通して前記映像の特徴量からスパース表現を得るための予め学習された共通辞書と、各撮影角度に対する、前記撮影角度からの映像の特徴量からスパース表現を得るための予め学習された視点特有辞書のうち、前記撮影角度推定部によって推定された前記撮影角度に対する視点特有辞書とに基づいて、前記特徴量抽出部によって抽出された前記特徴量をスパース表現に変換するステップと、
を含むスパース表現変換方法。
【請求項５】
識別器学習部を更に含み、
前記入力された映像には、前記映像が表す人物の行動を表すラベルが付与されており、
前記識別器学習部が学習するステップは、前記スパース表現変換部によって変換された前記スパース表現と、前記入力された映像に付与された前記ラベルとに基づいて、人物の行動を識別するための識別器を学習する請求項４記載のスパース表現変換方法。
【請求項６】
特徴量抽出部が、入力された人物を表す映像から特徴量を抽出するステップと、
撮影角度推定部が、前記入力された映像に基づいて、前記映像を撮影した前記人物に対する撮影角度を推定するステップと、
スパース表現変換部が、全ての撮影角度に共通して前記映像の特徴量からスパース表現を得るための予め学習された共通辞書と、各撮影角度に対して、前記撮影角度からの映像の特徴量からスパース表現を得るための予め学習された視点特有辞書のうち、前記撮影角度推定部によって推定された前記撮影角度に対する視点特有辞書とに基づいて、前記特徴量抽出部によって抽出された前記特徴量をスパース表現に変換するステップと、
行動認識部が、人物の行動を識別するための予め学習された識別器と、前記スパース表現変換部によって変換された前記スパース表現とに基づいて、前記入力された映像が表す人物の行動を認識するステップと、
を含む行動認識方法。
【請求項７】
コンピュータを、請求項１若しくは請求項２に記載のスパース表現変換装置、又は請求項３に記載の行動認識装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スパース表現変換装置、行動認識装置、方法、及びプログラムに係り、特に、人物の行動を認識するためのスパース表現変換装置、行動認識装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
コンピュータビジョン分野では、映像を用いて、映像中の人物の行動や状況を理解する研究がなされている。提案手法のうち最高精度のものは、行動ラベルの付いた映像中から形状特徴や動き特徴を抽出し、それらを用いてＳＶＭといった識別器を学習するといった手法を用いている。
【０００３】
このような行動認識の一分野として、Multi View Action Recognitionと呼ばれる分野が存在する。これは、多視点で取られた映像のうち、ある一視点を識別対象とし、残りの視点の映像を学習データとするもので、識別時に、学習時とは異なる見えの行動が入力となっていても精度よく認識することを目指すものであり、学習データセットが十分に得られない場合において有効である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】J. Zheng and Z. Jiang. Learning View-invariant Sparse Representations for Cross-view Action. in Proc. IEEE ICCV, pp. 533-547, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ある一つの行動を対象とする場合であっても、カメラの撮影角度によって、見えは大きく異なる。一般的な手法では、精度の観点から、ＳＶＭなどの識別器を学習させるために、異なる見えのデータを網羅的に得ることが望ましいが、実際にはそのようなことは非常に困難である。
【０００６】
そのような問題を解決する手段として、Multi View Action Recognitionで用いられるような手法を用いることができる。この分野で、現在トップレベルの精度を報告している手法は、非特許文献１のような手法であるが、精度が高い一方で、識別時にその行動がどの角度から撮影されたかの情報が必要であり、このような制約は実用を考えるうえで現実的ではない。
【０００７】
本発明は、上記問題点を解決するために成されたものであり、撮影角度が未知の場合であっても、映像の内容を精度よく認識するためのスパース表現を得ることができるスパース表現変換装置、行動認識装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第１の発明に係るスパース表現変換装置は、入力された映像から特徴量を抽出する特徴量抽出部と、前記入力された映像に基づいて、前記映像を撮影した被写体に対する撮影角度を推定する撮影角度推定部と、全ての撮影角度に共通して前記映像の特徴量からスパース表現を得るための予め学習された共通辞書と、各撮影角度に対する、前記撮影角度からの映像の特徴量からスパース表現を得るための予め学習された視点特有辞書のうち、前記撮影角度推定部によって推定された前記撮影角度に対する視点特有辞書とに基づいて、前記特徴量抽出部によって抽出された前記特徴量をスパース表現に変換するスパース表現変換部と、を含んで構成されている。
【０００９】
また、第１の発明に係るスパース表現変換装置において、識別器学習部を更に含み、前記入力された映像には、前記映像が表す人物の行動を表すラベルが付与されており、前記識別器学習部は、前記スパース表現変換部によって変換された前記スパース表現と、前記入力された映像に付与された前記ラベルとに基づいて、人物の行動を識別するための識別器を学習するようにしてもよい。
【００１０】
第２の発明に係る行動認識装置は、入力された人物を表す映像から特徴量を抽出する特徴量抽出部と、前記入力された映像に基づいて、前記映像を撮影した前記人物に対する撮影角度を推定する撮影角度推定部と、全ての撮影角度に共通して前記映像の特徴量からスパース表現を得るための予め学習された共通辞書と、各撮影角度に対して、前記撮影角度からの映像の特徴量からスパース表現を得るための予め学習された視点特有辞書のうち、前記撮影角度推定部によって推定された前記撮影角度に対する視点特有辞書とに基づいて、前記特徴量抽出部によって抽出された前記特徴量をスパース表現に変換するスパース表現変換部と、人物の行動を識別するための予め学習された識別器と、前記スパース表現変換部によって変換された前記スパース表現とに基づいて、前記入力された映像が表す人物の行動を認識する行動認識部と、を含んで構成されている。
【００１１】
第３の発明に係るスパース表現変換方法は、特徴量抽出部が、入力された映像から特徴量を抽出するステップと、撮影角度推定部が、前記入力された映像に基づいて、前記映像を撮影した被写体に対する撮影角度を推定するステップと、スパース表現変換部が、全ての撮影角度に共通して前記映像の特徴量からスパース表現を得るための予め学習された共通辞書と、各撮影角度に対する、前記撮影角度からの映像の特徴量からスパース表現を得るための予め学習された視点特有辞書のうち、前記撮影角度推定部によって推定された前記撮影角度に対する視点特有辞書とに基づいて、前記特徴量抽出部によって抽出された前記特徴量をスパース表現に変換するステップと、を含んで実行することを特徴とする。
【００１２】
また、第３の発明に係るスパース表現変換方法において、識別器学習部を更に含み、前記入力された映像には、前記映像が表す人物の行動を表すラベルが付与されており、前記識別器学習部が学習するステップは、前記スパース表現変換部によって変換された前記スパース表現と、前記入力された映像に付与された前記ラベルとに基づいて、人物の行動を識別するための識別器を学習するようにしてもよい。
【００１３】
第４の発明に係る行動認識方法は、特徴量抽出部が、入力された人物を表す映像から特徴量を抽出するステップと、撮影角度推定部が、前記入力された映像に基づいて、前記映像を撮影した前記人物に対する撮影角度を推定するステップと、スパース表現変換部が、全ての撮影角度に共通して前記映像の特徴量からスパース表現を得るための予め学習された共通辞書と、各撮影角度に対して、前記撮影角度からの映像の特徴量からスパース表現を得るための予め学習された視点特有辞書のうち、前記撮影角度推定部によって推定された前記撮影角度に対する視点特有辞書とに基づいて、前記特徴量抽出部によって抽出された前記特徴量をスパース表現に変換するステップと、行動認識部が、人物の行動を識別するための予め学習された識別器と、前記スパース表現変換部によって変換された前記スパース表現とに基づいて、前記入力された映像が表す人物の行動を認識するステップと、を含んで実行することを特徴とする。
【００１４】
第５の発明に係るプログラムは、コンピュータを、上記第１の発明に係るスパース表現変換装置、又は上記第２の発明に係る行動認識装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１５】
本発明のスパース表現変換装置、行動認識装置、方法、及びプログラムによれば、映像から特徴量を抽出し、映像を撮影した被写体に対する撮影角度を推定し、共通辞書と、撮影角度推定部によって推定された撮影角度に対する視点特有辞書とに基づいて、抽出された特徴量をスパース表現に変換することにより、撮影角度が未知の場合であっても、映像の内容を精度よく認識するためのスパース表現を得ることができる、という効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態に係る撮影角度学習装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る撮影角度学習装置における撮影角度学習処理ルーチンを示すフローチャートである。
【図３】本発明の実施の形態に係るスパースコーティング用学習装置の構成を示すブロック図である。
【図４】本発明の実施の形態に係るスパースコーティング用学習装置におけるスパースコーティング用学習処理ルーチンを示すフローチャートである。
【図５】本発明の実施の形態に係る行動認識学習装置の構成を示すブロック図である。
【図６】本発明の実施の形態に係る行動認識学習装置における行動認識学習処理ルーチンを示すフローチャートである。
【図７】本発明の実施の形態に係る行動認識装置の構成を示すブロック図である。
【図８】本発明の実施の形態に係る行動認識装置における行動認識処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１８】
＜本発明の実施の形態に係る概要＞
【００１９】
まず、本発明の実施の形態における概要を説明する。
【００２０】
本発明の実施の形態に係る行動認識装置は、映像から適切な特徴量を抽出し、それらの特徴量を用いて、被写体の行動を学習し、新たに入力のあった映像に対して、被写体の行動を認識するための行動認識装置である。
【００２１】
また、識別時に、撮影角度の情報が得られなくても高精度に認識を可能にするため、撮影角度学習装置によって、あらかじめ収集したラベル付したデータから、撮影角度を推定する識別器を学習しておくことを一つ目の特徴とする。
【００２２】
また、学習データにはない見えのデータが識別時に入ってきても、精度よく認識を可能にするため、スパースコーティング用学習装置によって、あらかじめ、別途撮影した多視点映像から、非特許文献１のような方法で視点特有のスパースコーディングの辞書と全視点共有の辞書を学習することを二つ目の特徴とする。
【００２３】
＜本発明の実施の形態に係る撮影角度学習装置の構成＞
【００２４】
次に、本発明の実施の形態に係る撮影角度学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係る撮影角度学習装置１００は、ＣＰＵと、ＲＡＭと、プログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この撮影角度学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０とを備えている。
【００２５】
入力部１０は、被写体に対する複数の角度の各々から撮影された映像データの各々を受け付ける。映像データはそれぞれが異なる角度の視点から同一の人物が写り込むよう撮影されたものである。また、映像データには、撮影角度を表す撮影角度ラベルが付与されている。
【００２６】
演算部２０は、特徴量抽出部３０と、撮影角度推定器学習部３２とを含んで構成されている。
【００２７】
特徴量抽出部３０は、映像データの各フレームから、画像特徴量を抽出する。撮影角度推定のための特徴量としては、非特許文献２で用いられているPoselet Activation Vectorを用いる。
【００２８】
撮影角度推定器学習部３２は、特徴量抽出部３０で抽出した映像データの各々の各フレームについての特徴量と、映像データに付与されている撮影角度ラベルとを用いて、複数の撮影角度の何れであるかを推定するための撮影角度推定器パラメータ４０を学習し、保存する。本実施の形態では、撮影角度推定器パラメータの学習にＳＶＭを用い、撮影角度ラベル毎に、当該撮影角度ラベルが付与されている映像データの各々の各フレームについての特徴量に基づいて、当該撮影角度であるか否かを推定する識別器を推定する。なお、この撮影角度推定器パラメータ４０により推定される角度は、後述する行動認識学習装置、及び行動認識装置におけるスパース表現処理において用いられる視点毎の視点特有辞書と対応づくものとする。
【００２９】
＜本発明の実施の形態に係る撮影角度学習装置の作用＞
【００３０】
次に、本発明の実施の形態に係る撮影角度学習装置１００の作用について説明する。入力部１０において、被写体に対する複数の角度から撮影された映像データの各々を受け付けると、撮影角度学習装置１００は、図２に示す撮影角度学習処理ルーチンを実行する。
【００３１】
まず、ステップＳ１００では、入力部１０において受け付けた映像データの各々から映像データを選択し、１枚目のフレームをセットする。
【００３２】
ステップＳ１０２では、ステップＳ１００で選択された映像データにおいてセットされたフレームから、画像特徴量を抽出する。
【００３３】
ステップＳ１０４では、映像データの次のフレームがないかを判定し、フレームがあればステップＳ１０６へ移行して次のフレームを選択してステップＳ１０２へ戻り処理を繰り返し、フレームがなければ、ステップＳ１０８へ移行する。
【００３４】
ステップＳ１０８では、全ての映像データについて画像特徴量を抽出したかを判定し、抽出していればステップＳ１１０へ移行し、抽出していなければステップＳ１００へ戻って次の映像データを選択して１枚目のフレームをセットし、画像特徴量の抽出を繰り返す。
【００３５】
次に、ステップＳ１１０では、ステップＳ１０２で抽出した映像データの各フレームについての特徴量と、各フレームに対応する時刻の撮影角度ラベルとを用いて、複数の撮影角度の何れであるかを推定するための撮影角度推定器パラメータを学習する。
【００３６】
ステップＳ１１２では、ステップＳ１１０で学習された撮影角度推定器パラメータを撮影角度推定器パラメータ４０として保存し、処理を終了する。
【００３７】
＜本発明の実施の形態に係るスパースコーティング用学習装置の構成＞
【００３８】
次に、本発明の実施の形態に係るスパースコーティング用学習装置の構成について説明する。
【００３９】
図３に示すように、本発明の実施の形態に係るスパースコーティング用学習装置２００は、ＣＰＵと、ＲＡＭと、プログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このスパースコーティング用学習装置２００は、機能的には図３に示すように入力部２１０と、演算部２２０とを備えている。
【００４０】
入力部２１０は、被写体に対する複数の角度の各々から撮影された映像データの各々を受け付ける。映像データはそれぞれが異なる角度の視点から同一の人物が写り込むよう撮影されたものである。また、映像データには、撮影角度を表す撮影角度ラベルが付与されている。
【００４１】
演算部２２０は、特徴量抽出部２３０と、スパース辞書学習部２３２とを含んで構成されている。
【００４２】
特徴量抽出部２３０は、映像データの各フレームから、画像特徴量を抽出する。特徴量抽出部２３０において抽出する特徴量は、後述する行動認識学習装置、及び行動認識装置と同様の特徴量を用いなければならない。本実施の形態では、行動認識のための特徴量として、非特許文献１と同様にＳＴＩＰ特徴量を用いる。
【００４３】
スパース辞書学習部２３２は、特徴量抽出部２３０で抽出した映像データの各々の各フレームについての特徴量を用いて、非特許文献１と同様の手法を用いて、複数の撮影角度の全てに共通して映像の特徴量からスパース表現を得るための共通辞書２４２と、複数の撮影角度の各々に対応する、当該撮影角度から撮影した映像の特徴量からスパース表現を得るための視点特有辞書２４４とを学習し、保存する。共通辞書２４２は、複数の撮影角度の全ての映像に共通して、各要素に対する係数からなるスパース表現を得るための、各要素の特徴量を格納した辞書である。また、視点特有辞書２４４は、複数の撮影角度の各々に対応する、当該撮影角度から撮影された映像特有の、各要素に対する係数からなるスパース表現を得るための、各要素の特徴量を格納した辞書である。
【００４４】
＜本発明の実施の形態に係るスパースコーティング用学習装置の作用＞
【００４５】
次に、本発明の実施の形態に係るスパースコーティング用学習装置２００の作用について説明する。入力部２１０において、被写体に対する複数の角度から撮影された映像データの各々を受け付けると、スパースコーティング用学習装置２００は、図４に示すスパースコーティング用学習処理ルーチンを実行する。
【００４６】
まず、ステップＳ２００では、入力部２１０において受け付けた映像データの各々から映像データを選択し、１枚目のフレームをセットする。
【００４７】
次に、ステップＳ２０２では、ステップＳ２００で選択された映像データにおいてセットされたフレームから、画像特徴量を抽出する。
【００４８】
ステップＳ２０４では、映像データの次のフレームがないかを判定し、フレームがあればステップＳ２０６へ移行して次のフレームをセットしてステップＳ２００へ戻り処理を繰り返す。フレームがなければ、ステップＳ２０８へ移行する。
【００４９】
ステップＳ２０８では、全ての映像データについて画像特徴量を抽出したかを判定し、抽出していればステップＳ２１０へ移行し、抽出していなければステップＳ２００へ戻って次の映像データを選択して１枚目のフレームをセットし、画像特徴量の抽出を繰り返す。
【００５０】
ステップＳ２１０では、ステップＳ２０２で抽出した映像データの各々の各フレームについての特徴量を用いて、共通辞書を学習する。
【００５１】
ステップＳ２１２では、撮影角度毎に、ステップＳ２０２で抽出した、当該撮影角度の映像データの各フレームについての特徴量を用いて、当該撮影角度の視点特有辞書を学習する。
【００５２】
ステップＳ２１４では、ステップＳ２１０で学習された共通辞書を共通辞書２４２として、ステップＳ２１２で学習された、複数の視点特有辞書を視点特有辞書２４４として保存し、処理を終了する。
【００５３】
＜本発明の実施の形態に係る行動認識学習装置の構成＞
【００５４】
次に、本発明の実施の形態に係る行動認識学習装置の構成について説明する。図５に示すように、本発明の実施の形態に係る行動認識学習装置３００は、ＣＰＵと、ＲＡＭと、プログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この行動認識学習装置３００は、機能的には図５に示すように入力部３１０と、演算部３２０とを備えている。
【００５５】
入力部３１０は、人物を撮影した複数の映像データを受け付ける。また、映像データには、各フレームについて、映像に写る人物の行動を表す行動ラベルが付与されている。
【００５６】
演算部３２０は、特徴量抽出部３３０と、撮影角度推定部３３２と、スパース表現変換部３３４と、識別器学習部３３６と、撮影角度推定器パラメータ３４０と、共通辞書３４２と、視点特有辞書３４４とを含んで構成されている。
【００５７】
特徴量抽出部３３０は、入力部３１０で受け付けた複数の映像データの各フレームから特徴量を抽出する。本実施の形態では、行動認識のための特徴量として、非特許文献１と同様にＳＴＩＰ特徴量を用いる。また、撮影角度推定のための特徴量として、非特許文献２で用いられているPoselet Activation Vectorを用いる。
【００５８】
撮影角度推定器パラメータ３４０には、上記撮影角度学習装置１００で学習された上記撮影角度推定器パラメータ４０と同じものが格納されている。
【００５９】
撮影角度推定部３３２は、複数の映像データの各々について、特徴量抽出部３３０で当該映像データの各フレームについて抽出した特徴量と、撮影角度推定器パラメータ３４０とに基づいて、当該映像データを撮影した撮影角度として、複数の撮影角度の何れか１つを推定する。本実施の形態では、Poselet Activation Vector特徴量を用いて、撮影角度推定器パラメータ３４０を用いた撮影角度毎の識別器により、被写体に対する撮影角度を推定する。
【００６０】
共通辞書３４２には、上記スパースコーティング用学習装置２００で学習された共通辞書２４２と同じものが格納されている。
【００６１】
視点特有辞書３４４には、上記スパースコーティング用学習装置２００で学習された視点特有辞書２４４と同じものが格納されている。
【００６２】
スパース表現変換部３３４は、複数の映像データの各フレームについて、共通辞書３４２と、視点特有辞書３４４のうち、撮影角度推定部３３２によって推定された当該フレームの撮影角度に対する視点特有辞書とに基づいて、特徴量抽出部３３０によって抽出された当該フレームの特徴量をスパース表現に変換する。本実施の形態では、特徴量抽出部３３０で抽出したＳＴＩＰ特徴量を、共通辞書３４２を用いて、非特許文献１に記載の手法と同様の手法により、スパース表現に変換し、推定された撮影角度に対する視点特有辞書を用いて、非特許文献１に記載の手法と同様の手法により、スパース表現に変換し、スパース表現の和を計算する。
【００６３】
識別器学習部３３６は、スパース表現変換部３３４により複数の映像データの各フレームについてスパース表現に変換された特徴量と、複数の映像データの各フレームに付与された行動ラベルとに基づいて、行動ラベル毎に、人物の行動を識別するための識別器３４６を学習し、保存する。具体的には、行動ラベル毎に、当該行動ラベルが付与されたフレームについてスパース表現に変換された特徴量に基づいて、人物の行動が、当該行動ラベルが表す行動であるか否かを識別する識別器を学習する。なお、本実施の形態では、識別器としてＳＶＭを学習するが、その他の識別器を学習しても構わない。
【００６４】
＜本発明の実施の形態に係る行動認識学習装置の作用＞
【００６５】
次に、本発明の実施の形態に係る行動認識学習装置３００の作用について説明する。入力部３１０において人物を撮影した複数の映像データを受け付けると、映像データの１枚目のフレームをセットし、行動認識学習装置３００は、図６に示す行動認識学習処理ルーチンを実行する。
【００６６】
まず、ステップＳ３００では、入力部３１０において受け付けた映像データの各々から映像データを選択し、１枚目のフレームをセットする。
【００６７】
まず、ステップＳ３０２では、選択された映像データのフレームから、特徴量を抽出する。
【００６８】
次に、ステップＳ３０４では、ステップＳ３０２で映像データの当該フレームについて抽出した特徴量と、撮影角度推定器パラメータ３４０とに基づいて、当該映像データを撮影した撮影角度として、複数の撮影角度の何れか１つを推定する。
【００６９】
ステップＳ３０６では、共通辞書３４２と、視点特有辞書３４４のうち、ステップＳ３０４で推定された当該映像データの撮影角度に対する視点特有辞書とに基づいて、特徴量抽出部３３０によって抽出された当該フレームの特徴量をスパース表現に変換する。
【００７０】
ステップＳ３０８では、映像データの次のフレームがないかを判定し、フレームがあればステップＳ３１０へ移行して次のフレームを選択してステップＳ３０２へ戻り処理を繰り返す。フレームがなければ、ステップＳ３１２へ移行する。
【００７１】
ステップＳ３１２では、全ての映像データについて特徴量を抽出したかを判定し、抽出していればステップＳ２１４へ移行し、抽出していなければステップＳ３００へ戻って次の映像データを選択して１枚目のフレームをセットし、特徴量の抽出を繰り返す。
【００７２】
ステップＳ３１４では、ステップＳ３０６でスパース表現に変換された特徴量と、複数の映像データの各フレームに付与された行動ラベルとに基づいて、行動ラベル毎に、人物の行動を識別するための識別器を学習する。
【００７３】
ステップＳ３１６では、ステップＳ３１４で学習された識別器を識別器３４６として保存し、処理を終了する。
【００７４】
以上説明したように、本発明の実施の形態に係る行動認識学習装置によれば、人物を撮影した映像データから特徴量を抽出し、映像を撮影した被写体に対する撮影角度として、複数の撮影角度の何れか１つを推定し、共通辞書と、撮影角度推定部によって推定された撮影角度に対する視点特有辞書とに基づいて、抽出された特徴量をスパース表現に変換し、スパース表現と、映像に付与された行動ラベルとに基づいて、行動ラベル毎に、人物の行動を識別するための識別器を学習することにより、撮影角度が未知の場合であっても、映像の内容を精度よく識別するための識別器を学習することができる。
【００７５】
＜本発明の実施の形態に係る行動認識装置の構成＞
【００７６】
次に、本発明の実施の形態に係る行動認識装置の構成について説明する。
【００７７】
図７に示すように、本発明の実施の形態に係る行動認識装置４００は、ＣＰＵと、ＲＡＭと、プログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この行動認識装置４００は、機能的には図７に示すように入力部４１０と、演算部４２０と、出力部４５０とを備えている。
【００７８】
入力部４１０は、人物を表し、かつ、被写体に対するある撮影角度から撮影された映像データを受け付ける。
【００７９】
演算部４２０は、特徴量抽出部４３０と、撮影角度推定部４３２と、スパース表現変換部４３４と、行動認識部４３６と、撮影角度推定器パラメータ４４０と、共通辞書４４２と、視点特有辞書４４４と、識別器４４６とを含んで構成されている。
【００８０】
特徴量抽出部４３０は、特徴量抽出部３３０と同様の処理を行って、入力部４１０で受け付けた映像データの各フレームから特徴量を抽出する。
【００８１】
撮影角度推定器パラメータ４４０には、上記撮影角度学習装置１００で学習された上記撮影角度推定器パラメータ４０と同じものが格納されている。
【００８２】
撮影角度推定部４３２は、撮影角度推定部３３２と同様の処理を行って、映像データについて、特徴量抽出部４３０で当該映像データの各フレームについて抽出した特徴量と、撮影角度推定器パラメータ４４０とに基づいて、当該映像データを撮影した撮影角度として、複数の撮影角度の何れか１つを推定する。
【００８３】
共通辞書４４２には、上記スパースコーティング用学習装置２００で学習された共通辞書２４２と同じものが格納されている。
【００８４】
視点特有辞書４４４には、上記スパースコーティング用学習装置２００で学習された視点特有辞書２４４と同じものが格納されている。
【００８５】
スパース表現変換部４３４は、スパース表現変換部３３４と同様の処理を行って、映像データの各フレームについて、共通辞書４４２と、視点特有辞書４４４のうち、撮影角度推定部４３２によって推定された当該フレームの撮影角度に対する視点特有辞書とに基づいて、特徴量抽出部４３０によって抽出された当該フレームの特徴量をスパース表現に変換する。
【００８６】
識別器４４６には、上記行動認識学習装置３００で学習された識別器３４６と同じものが格納されている。
【００８７】
行動認識部４３６は、人物の行動を識別するための予め学習された識別器４４６と、スパース表現変換部４３４によりスパース表現に変換された特徴量とに基づいて、入力された映像が表す人物の行動を認識し、出力部４５０に出力する。
【００８８】
＜本発明の実施の形態に係る行動認識装置の作用＞
【００８９】
次に、本発明の実施の形態に係る行動認識装置４００の作用について説明する。なお、上記の行動認識装置４００と同様の作用となる箇所については同一符号を付して説明を省略する。
【００９０】
入力部４１０において人物を表し、かつ、被写体に対するある撮影角度から撮影された映像データを受け付けると、映像データの１枚目のフレームをセットし、行動認識装置４００は、図８に示す行動認識学習処理ルーチンを実行する。
【００９１】
まず、ステップＳ４００では、セットされた映像データのフレームから、特徴量を抽出する。
【００９２】
次に、ステップＳ４０２では、ステップＳ４００で映像データの当該フレームについて抽出した特徴量と、撮影角度推定器パラメータ４４０とに基づいて、当該映像データを撮影した撮影角度として、複数の撮影角度の何れか１つを推定する。
【００９３】
ステップＳ４０４では、共通辞書４４２と、視点特有辞書４４４のうち、ステップＳ４０２で推定された当該映像データの撮影角度に対する視点特有辞書とに基づいて、特徴量抽出部３３０によって抽出された当該フレームの特徴量をスパース表現に変換する。
【００９４】
ステップＳ４０６では、行動ラベル毎に学習された識別器４４６と、ステップＳ４０４でスパース表現に変換された特徴量とに基づいて、当該フレームにおける人物の行動を認識する。
【００９５】
ステップＳ４０８では、映像データの次のフレームがないかを判定し、フレームがあればステップＳ４１０へ移行して次のフレームを選択してステップＳ４００へ戻り処理を繰り返す。フレームがなければ、ステップＳ４１２へ移行する。
【００９６】
ステップＳ４１２では、ステップＳ４０６で映像データの全てのフレームに対して認識された人物の行動を出力部４５０に出力し、処理を終了する。
【００９７】
以上説明したように、本発明の実施の形態に係る行動認識装置によれば、複数の撮影角度の何れか１つから撮影された映像から特徴量を抽出し、映像を撮影した撮影角度として、複数の撮影角度の何れか１つを推定し、共通辞書と、撮影角度推定部によって推定された撮影角度に対する視点特有辞書とに基づいて、抽出された特徴量をスパース表現に変換し、予め学習した識別器と、スパース表現とに基づいて、人物の行動を認識することにより、撮影角度が未知の場合であっても、映像の内容を精度よく認識することができる。
【００９８】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００９９】
例えば、上述した実施の形態においては行動認識学習装置によって識別器の学習を行う場合を例に説明したが、これに限定されるものではなく、特徴量抽出部３３０と、撮影角度推定部３３２と、スパース表現変換部３３４と、撮影角度推定器パラメータ３４０と、共通辞書３４２と、視点特有辞書３４４とによって、特徴量をスパース表現に変換するスパース表現変換装置を構成するようにしてもよい。
【０１００】
また、上述した実施の形態では、本実施の形態では、行動認識に用いるための特徴量と、撮影角度推定に用いる特徴量に異なる特徴量を用いる場合を例に説明したが、これに限定されるものではなく、同じ特徴量を用いて、映像角度推定器パラメータ、共通辞書、及び視点特有辞書を学習しても構わない。
【０１０１】
また、上述した、撮影角度学習装置、スパースコーティング用学習装置、行動認識学習装置、及び行動認識装置の各装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムを、コンピュータを用いて実行して本発明を実現することができる。また、核装置の作用において示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【符号の説明】
【０１０２】
１０、２１０、３１０、４１０       入力部
２０、２２０、３２０、４２０       演算部
３０、２３０、３３０、４３０       特徴量抽出部
３２   撮影角度推定器学習部
４０、３４０、４４０ 撮影角度推定器パラメータ
１００ 撮影角度学習装置
２００ スパースコーティング用学習装置
２３２ スパース辞書学習部
２４２、３４２、４４２      共通辞書
２４４、３４４、４４４      視点特有辞書
３００ 行動認識学習装置
３３２、４３２       撮影角度推定部
３３４、４３４       スパース表現変換部
３３６ 識別器学習部
３４６、４４６       識別器
４００ 行動認識装置
４３６ 行動認識部
４５０ 出力部
【図１】
2017097492.tif 000003
【図２】
2017097492.tif 000004
【図３】
2017097492.tif 000005
【図４】
2017097492.tif 000006
【図５】
2017097492.tif 000007
【図６】
2017097492.tif 000008
【図７】
2017097492.tif 000009
【図８】
2017097492.tif 000010