(57)【要約】【課題】一人称映像に対する高精度な行動認識装置を提供する。また、当該行動認識における認識器を構築する。【解決手段】映像の各フレームに対し、物体認識部20は物体とその尤度を認識し、注意推定部30はその注意度合いの分布として注意マップを推定する。注目物体判定部40は、物体領域における注意マップを参照して、各物体が注意物体であるか否かを判定する。物体尤度情報生成部50は、物体に対して注意物体であるか否かの区別を設けたうえで、その尤度と対応づけた物体尤度情報を生成する。行動認識部60は、物体尤度情報を識別器に対する入力として、行動認識を行う。注意マップには、顕著性マップや自己運動に基づく視覚的注意マップを利用する。認識器は、以上に対応する構成により構築する。【選択図】図１
2015011526.tif 000002
【特許請求の範囲】
【請求項１】
一人称視点の映像より、当該一人称の人物の行動を認識する行動認識装置であって、
前記映像の各フレームより、当該フレーム内の物体をその尤度と共に認識する物体認識部と、
前記映像の各フレームより、当該フレーム内における前記一人称の人物の注意度合いの分布として注意マップを推定する注意推定部と、
前記認識された各物体の占める領域において、前記推定された注意マップを参照することにより、当該各物体が注目物体であるか否かを判定する注目物体判定部と、
前記認識された各物体において、その尤度に、当該物体に対して前記注目物体であると判定されたか否かの情報を注目情報として追加することで、前記認識された各物体の注目情報付の物体尤度情報を生成する物体尤度情報生成部と、
前記映像の各フレームにおいて、前記認識された全ての物体における注目情報付の物体尤度情報を、所定の認識器に対して入力することで、当該各フレームにおける前記一人称の人物の行動を認識する行動認識部と、を備えることを特徴とする行動認識装置。
【請求項２】
前記注意推定部が、
前記映像の各フレームより求めた顕著性マップとして、
前記映像の各フレームより前記一人称の人物の視点についての自己運動を推定し、当該推定された自己運動に基づく視覚的注意マップとして、または、
当該顕著性マップ及び視覚的注意マップを組み合わせたマップとして、前記注意マップを推定することを特徴とする請求項１に記載の行動認識装置。
【請求項３】
前記映像の各フレームにおいては、前記一人称の人物の視点位置座標の情報が付随しており、
前記注意推定部が、前記映像の各フレームより、前記視点位置座標においてピークをなす所定の分布として、前記注意マップを推定することを特徴とする請求項１に記載の行動認識装置。
【請求項４】
前記注目物体判定部は、前記認識された各物体の占める領域において、前記推定された注意マップの値の所定の統計値を求めて当該物体の注目度となし、当該注目度に基づいて各物体が注目物体であるか否かを判定することを特徴とする請求項１ないし３のいずれかに記載の行動認識装置。
【請求項５】
前記所定の統計値が平均値であることを特徴とする請求項４に記載の行動認識装置。
【請求項６】
前記物体尤度情報生成部は、前記物体認識部にて認識された物体の尤度を、前記注目物体判定部にて求めた当該物体の注目度に基づいて更新して、前記注目情報付の物体尤度情報を生成することを特徴とする請求項４または５に記載の行動認識装置。
【請求項７】
前記物体尤度情報生成部は、前記物体の尤度を更新するに際して、前記注目物体と判定された物体については、その注目度が高いほど、更新された尤度が高くなるようにし、前記注目物体とは判定されなかった物体については、その注目度が低いほど、更新された尤度が高くなるようにすることを特徴とする請求項６に記載の行動認識装置。
【請求項８】
一人称視点の映像より、当該一人称の人物の行動を認識する行動認識方法であって、
前記映像の各フレームより、当該フレーム内の物体をその尤度と共に認識する一方で、前記映像の各フレームより、当該フレーム内における前記一人称の人物の注意度合いの分布として注意マップを推定する、物体認識及び注意推定段階と、
前記認識された各物体の占める領域において、前記推定された注意マップを参照することにより、当該各物体が注目物体であるか否かを判定する注目物体判定段階と、
前記認識された各物体において、その尤度に、当該物体に対して前記注目物体であると判定されたか否かの情報を注目情報として追加することで、前記認識された各物体の注目情報付の物体尤度情報を生成する物体尤度情報生成段階と、
前記映像の各フレームにおいて、前記認識された全ての物体における注目情報付の物体尤度情報を、所定の認識器に対して入力することで、当該各フレームにおける前記一人称の人物の行動を認識する行動認識段階と、を備えることを特徴とする行動認識方法。
【請求項９】
コンピュータに、請求項８に記載の各段階を実行させることを特徴とする、一人称視点の映像より、当該一人称の人物の行動を認識する行動認識プログラム。
【請求項１０】
請求項１ないし７のいずれかに記載の行動認識装置における行動認識部が用いる認識器を構築する認識器構築装置であって、
複数の画像と、当該画像の各々に付与された行動ラベルとのセットを学習データとして蓄積している学習データ蓄積部と、
前記学習データの画像の各々より、当該画像内の物体をその尤度と共に認識する物体認識部と、
前記学習データの画像の各々より、当該画像内における注意度合いの分布として注意マップを推定する注意推定部と、
前記認識された各物体の占める領域において、前記推定された注意マップを参照することにより、当該各物体が注目物体であるか否かを判定する注目物体判定部と、
前記認識された各物体において、その尤度に、当該物体に対して前記注目物体であると判定されたか否かの情報を注目情報として追加することで、前記認識された各物体の注目情報付の物体尤度情報を生成する物体尤度情報生成部と、
前記学習データにおいて、各画像につき前記認識された全ての物体における注目情報付の物体尤度情報と、当該画像に対して付与された行動ラベルと、の組み合わせを学習することにより、前記認識器を構築する認識器構築部と、を備えることを特徴とする認識器構築装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像から人物の行動を認識することに関し、特に、人物が装着したカメラにより撮影された一人称視点映像から人物の行動を認識する行動認識装置、方法及びプログラムと、当該行動認識を可能にするための認識器を構築する認識器構築装置と、に関する。
【背景技術】
【０００２】
非特許文献１では、映像から人物の行動を認識する方法が提案されており、特に、一人称の視点で映像が撮影できる小型カメラをユーザが装着し、食事・料理・テレビ視聴等の18種類程度の日常生活の行動を推定することを目的としている。
【０００３】
具体的には、次の手順(1),(2)が提案されている。すなわち、(1)画像内に含まれる個々の物体を認識し、(2)物体の物体尤度情報からユーザ行動を推定する行動推定方法が提案されている。例えば、図６に当該手順(1),(2)を概念的に示す通り、視野映像内で高い信頼度で認識できた物体が「テレビ・テーブル・リモコン」であった場合、あらかじめ学習した識別器に照らし合わせ、各物体の物体尤度をヒストグラムで表現する物体尤度情報から、ユーザ行動として「テレビ視聴」が推定される。
【０００４】
手順(2)にて、ユーザ行動を推定する際、判定の基準となる物体尤度情報とユーザ行動の普遍的な関係は、事前に多数の学習用サンプル（物体尤度情報とユーザ行動を表現するキーワードのセット）を用い、SVM(サポートベクトルマシン)に代表される機械学習方法等で学習する。
【０００５】
なお、手順(1)における画像内に含まれる物体の認識、物体尤度情報の取得は、非特許文献2に記載されている一般物体認識方法を適用することによって計算機上で実現が可能である。
【０００６】
また、非特許文献1では、手順(1)にて物体認識を行う際に、その物体が能動的(active)物体か受動的(passive)物体かを区別して認識し、物体尤度情報からユーザ行動推定を行う際にも、当該物体として区別された情報を用いることを提案している。非特許文献1では、能動的物体と受動的物体を区別して扱うことで、ユーザ行動を推定する精度が大幅に向上することが報告されている。非特許文献1によると、能動的物体とは、人間の手により直接操作を受けている物体のことであり、例えば手によって掴まれたマグカップや、手によって開かれた冷蔵庫などが該当する。一方、受動的物体とは、能動的物体ではない物体のことである。
【０００７】
ここで、同一の物体であっても、シーンによって能動的物体と認識すべき場合と、受動的物体と認識すべき場合がある。例えばマグカップは、手に掴まれているシーンでは「能動的マグカップ」と認識され、テーブルに置かれているシーンでは「受動的マグカップ」と認識される。人間の行動を推定するうえで、人の手により操作された能動的物体は重要であるため、ユーザ行動の推定において、能動的物体と受動的物体を区別して扱うことで、行動認識精度が向上する。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】H. Pirsiavash and D. Ramanan. "Detecting activities of daily living in first-person camera views," In Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012.
【非特許文献２】P. Felzenszwalb, R. Girshick, D. McAllester, D. Ramanan, "Object Detection with Discriminatively Trained Part Based Models," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 32, No. 9, pp. 1627-1645, Sep. 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述の通り、上記従来手法（非特許文献1）では、能動的物体と受動的物体を区別して扱うことで行動認識の精度を向上させることを提案している。しかし、以下のような課題が存在する。
【００１０】
第一に、一人称視点映像において、手の操作を受けた（能動的な状態の）物体が常に映像内に含まれるとは限らない。例えば、「テレビ視聴」という行動においては、リモコンを手で操作しているシーンもあるが、手がどの物体にも触れていないシーンや、手が一人称視点映像中に含まれないシーンも多い。したがって、能動的物体と受動的物体を区別して扱うことによる精度向上の恩恵を受けられないシーンが多いという問題がある。
【００１１】
第二に、能動的物体と受動的物体を区別して扱うことができる物体は、手により直接操作される物体に限られており、物体全体の種類に対して少ないという問題がある。非特許文献1に関連して著者らにより公開されているデータセットによると、物体認識された21種類の物体うち、能動的物体と受動的物体を区別して扱うことができた物体は5種類に過ぎない。
【００１２】
例えば、テレビはリモコンを通じて操作されるものの、手によって直接操作されることはなく、常に受動的物体となってしまう。より精度を向上するためには、能動的/受動的とは異なる区別により、重要であるか否かを区別可能な物体の種類を増加させる必要がある。より明確には、全種類の物体に対し、フレーム単位で重要であるか否かを区別可能であることが望ましい。
【００１３】
上記従来技術の課題に鑑み、本発明は、能動的物体/受動的物体とは異なる手法によって当該手法の制約を回避し、シーンや物体の種類によらず物体が重要か否かの区別を行うことで、精度の高い行動認識を行うことのできる、行動認識装置、方法及びプログラムを提供することを目的とする。また、これに対応して、本発明は、当該行動認識を可能にする認識器を構築する認識器構築装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するため、本発明は、一人称視点の映像より、当該一人称の人物の行動を認識する行動認識装置であって、前記映像の各フレームより、当該フレーム内の物体をその尤度と共に認識する物体認識部と、前記映像の各フレームより、当該フレーム内における前記一人称の人物の注意度合いの分布として注意マップを推定する注意推定部と、前記認識された各物体の占める領域において、前記推定された注意マップを参照することにより、当該各物体が注目物体であるか否かを判定する注目物体判定部と、前記認識された各物体において、その尤度に、当該物体に対して前記注目物体であると判定されたか否かの情報を注目情報として追加することで、前記認識された各物体の注目情報付の物体尤度情報を生成する物体尤度情報生成部と、前記映像の各フレームにおいて、前記認識された全ての物体における注目情報付の物体尤度情報を、所定の認識器に対して入力することで、当該各フレームにおける前記一人称の人物の行動を認識する行動認識部と、を備えることを特徴とする。
【００１５】
また、本発明は、前記行動認識装置の各部に対応する各段階を備えた行動認識方法であることを特徴とする。また、本発明は、当該行動認識方法の各段階をコンピュータに実行させる行動認識プログラムであることを特徴とする。
【００１６】
さらに、本発明は、前記行動認識装置における行動認識部が用いる認識器を構築する認識器構築装置であって、複数の画像と、当該画像の各々に付与された行動ラベルとのセットを学習データとして蓄積している学習データ蓄積部と、前記学習データの画像の各々より、当該画像内の物体をその尤度と共に認識する物体認識部と、前記学習データの画像の各々より、当該画像内における注意度合いの分布として注意マップを推定する注意推定部と、前記認識された各物体の占める領域において、前記推定された注意マップを参照することにより、当該各物体が注目物体であるか否かを判定する注目物体判定部と、前記認識された各物体において、その尤度に、当該物体に対して前記注目物体であると判定されたか否かの情報を注目情報として追加することで、前記認識された各物体の注目情報付の物体尤度情報を生成する物体尤度情報生成部と、前記学習データにおいて、各画像につき前記認識された全ての物体における注目情報付の物体尤度情報と、当該画像に対して付与された行動ラベルと、の組み合わせを学習することにより、前記認識器を構築する認識器構築部と、を備えることを特徴とする。
【発明の効果】
【００１７】
本発明の行動認識装置、方法又はプログラムによれば、推定された注意マップに基づいて各物体が注目されているか否かに関する注目情報を取得し、認識された物体において当該注目情報による区別を設けたものと当該物体の尤度とが入力が認識器の入力となるので、高精度に行動認識を行うことが可能となる。
【００１８】
また、本発明の認識器構築装置によれば、上記行動認識を行う際に必要となる認識器を構築することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】一実施形態に係る行動認識装置の機能ブロック図である。
【図２】注目物体判定部における処理を模式的に示すための図である。
【図３】一実施形態に係る認識器構築装置の機能ブロック図である。
【図４】行動認識装置による行動認識処理の一実施形態に係るフローチャートである。
【図５】認識器構築装置による認識器の構築処理の一実施形態に係るフローチャートである。
【図６】非特許文献１における行動認識の手順を概念的に示す図である。
【発明を実施するための形態】
【００２０】
まず、本発明の要旨を以下に説明する。
【００２１】
本発明では、一人称視点映像の各フレーム画像において認識された全ての物体に対し、注目物体であるか非注目物体であるか識別し、ユーザ行動推定において同種の物体であっても注目物体と非注目物体とを区別して扱うことで行動認識の精度を向上させる。注目物体とは、一人称視点映像を撮影しているユーザが注目している（注意を払っている）物体のことであり、非注目物体とは、注目物体ではない物体のことである。
【００２２】
人間の注意を推定する方法としては、例えば以下の非特許文献3や非特許文献4のように、映像から得られる情報を用いて各フレーム画像に対する人間の注意をマップの形で推定する方法と、例えば以下の特許文献1のように、頭部に装着した視線方向検出装置により、高精度に視線方向を検出し、各フレーム画像に対する人間の注意を視線位置座標の形で推定する方法がある。上記のいずれかにより推定された注意に基づいて注目物体検出を行い、注目物体として検出された物体以外の物体は非注目物体とすることで、各物体が注目物体であるか、非注目物体であるかを識別する。
【００２３】
[特許文献１]特許第3038375号公報
[非特許文献３]Itti, L., Koch, C., Niebur, E.: A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 20(11), 1254-1259 (1998)
[非特許文献４]K. Yamada, Y. Sugano, T. Okabe, Y. Sato, A. Sugimoto, and K. Hiraki, "Attention prediction in egocentric video using motion and visual saliency," in Proc. 5th Pacific-Rim Symposium on Image and Video Technology (PSIVT) 2011, vol.1, pp. 277-288, Nov. 2011.
【００２４】
前者のように注意マップの形で推定された注意に基づく場合には、各フレーム画像において、各物体の領域中の画素に対応する注意マップの値の平均値を各物体の注目度とし、これに基づいて注目物体を検出する。例えば、注目度が閾値を超えた場合に注目物体とすることもできるし、各フレーム画像において注目度が最も高い物体を注目物体とすることもできる。
【００２５】
また、後者のように視線位置座標の形で推定された注意に基づく場合には、当該視線位置座標を認識された物体領域として含む物体を注目物体とすることができる。または、視線位置座標を中心とした二次元ガウス分布状の注意マップを生成することにより、前者（注意マップから注目物体検出）と同様の方法で注目物体を検出することもできる。
【００２６】
各物体を注目物体であるか非注目物体であるか識別した後は、それぞれを異なる種類の物体として区別することで注目情報付の物体尤度情報を生成し、ユーザ行動との組み合わせを学習して識別器を構築し、非特許文献1と同様にしてユーザ行動を認識する。上記の注目物体/非注目物体という区別は、能動的物体/受動的物体という区別とは異なり、シーンや物体の種類よらず物体が重要か否か区別を行うことができるため、能動的物体/受動的物体という区別を行う従来手法（非特許文献1）に比べ、より行動認識の精度を向上させることが期待できる。
【００２７】
以上、本発明の要旨を説明した。本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。
【００２８】
なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００２９】
図１は、本発明の一実施形態に係る行動認識装置１のブロック図である。行動認識装置１は、カメラ映像に対して一般物体認識と注意推定を適用し、物体の検出・認識に加え、注目/非注目の区別を行い、あらかじめ学習により構築された行動認識器に入力することで、行動認識を行う。
【００３０】
行動認識装置1は、カメラ部10、物体認識部20、注意推定部30、注目物体判定部40、物体尤度情報生成部50及び行動認識部60を備える。各部の詳細は以下の通りである。
【００３１】
カメラ部10は、行動を認識する対象の人物に装着され、カメラ視野内を連続して撮影する。撮影された複数の画像（以下、この画像の各々を「フレーム画像」という）は、時系列順に物体認識部20及び、注意推定部30に入力される。
【００３２】
物体認識部20は、入力されたフレーム画像から、物体を検出し、物体の種類を識別する。当該物体の検出と識別は、例えば、前述の非特許文献2に記載されている公知の一般物体認識手法を適用することによって計算機上で実現が可能である。また、当該検出・識別する際に、当該一般物体認識手法によって、当該物体の尤度も算出される。
【００３３】
注意推定部30は、入力されたフレーム画像から、カメラを装着した人物の注意分布を推定し、入力画像に対応した注意マップを生成する。注意マップは、入力画像の各画素が視覚的な注意をどれだけひくかを推定した値を示した二次元マップである。当該注意マップの推定は、例えば前述の非特許文献3（顕著性を推定）や非特許文献4（顕著性及び自己運動を推定）に記載されている、顕著性及び／又は自己運動の推定に基づく注意推定方法を適用することによって計算機上で実現が可能である。
【００３４】
なお、顕著性に基づく注意マップは、非特許文献３，４その他に開示の種々の公知手法により、フレーム画像・映像のみを解析して顕著性マップを生成することができるので、当該顕著性マップを注意マップとして利用すればよい。
【００３５】
一方、自己運動に基づく注意マップは、次のように求めればよい。すなわち、非特許文献４に開示の公知手法により、まず、フレーム映像（一連のフレーム画像）を解析することで、自己運動（カメラ姿勢の変化、すなわち、カメラ装着人物の視点の位置姿勢の変化）が推定され、さらに、当該推定された自己運動に基づいて視覚的注意マップを生成できるので、当該視覚的注意マップを注意マップとして利用すればよい。ここで、自己運動は、フレーム間（例えば１つ前のフレームと現在のフレーム）から特徴点抽出・マッチングを行い、マッチングした点の幾何的対応情報により推定する。当該推定の際、事前に与えられたカメラパラメータを利用する。あるいは、当該カメラパラメータは、事前に与えることなく、以下の文献の手法によって、映像(フレーム間の2枚の画像)の解析により自己運動の推定と同時に取得されてもよい。
「山田健人，金澤靖，金谷健一，菅谷保之， 2画像からの3次元復元の最新アルゴリズム， 情報処理学会研究報告, 2009-CVIM-168-15 (2009-8), pp. 1-8.」
【００３６】
あるいは、非特許文献４の手法のように、映像解析によって自己運動を推定する代わりに、次のようにしてもよい。すなわち、カメラ部10から自己運動の情報が直接得られる（例えば加速度センサ10をカメラ部が含む等）場合であれば、当該直接得た自己運動から視覚的注意マップを生成（当該生成は非特許文献４と同様）して、注意マップとして利用するようにしてもよい。
【００３７】
さらに、上記顕著性によるマップと、上記自己運動推定によるマップと、の両者で注意マップを生成する際は、非特許文献4に開示のように、当該両者におけるマップを組み合わせたマップを、注意マップとして利用すればよい。当該組み合わせる際は、各マップの値を予め規格化しておいてから、両者のマップの値を各位置において足し合わせるなどすればよい。
【００３８】
注目物体判定部40は、物体認識部20により認識された物体の情報と、注意推定部30により推定された注意マップを用いて、物体認識部20により認識された物体の各々につき、注目物体であるか否かを判定する。
【００３９】
図２は、当該注目物体であるか否かを判定する処理を模式的に示すための図である。図２では、(1)に示す映像の各時刻tのフレーム画像f(x, y, t)（fは画素値、xは横位置、yは縦位置とし、概念的に示すため、具体的な画像内容は不図示）に対して、物体認識部20により(2)に示すような各物体Oi(i=1, 2, ..., n)が認識され、その領域R(Oi)が得られると共に、注意推定部30により、(3)に示すような注意マップc(x, y, t)（cは当該注意マップの各位置での値）が得られている。なお、認識される各物体Oi（及びその領域R(Oi)）も一般には各時刻tに依存して変化するが、ここでは簡略化のため、t依存性の明示は省略している。
【００４０】
注目物体判定部40は、当該(2)及び(3)の結果を参照して、(4)に示すように、物体認識部20により認識された各物体Oi(i=1, 2, ..., n)のフレーム画像における領域R(Oi)中の画素に対応する注意マップの値c(x, y, t)の、当該領域R(Oi)内で算出した平均値mean(Oi)を当該物体Oiの注目度C(Oi)とし、これに基づいて注目物体を検出する。
【００４１】
あるいは、平均値mean(Oi)の代わりに、各物体Oiの領域R(Oi)内の注意マップの値c(x, y, t)の最大値や、中央値、最頻値その他の統計的な値を、注目度C(Oi)として採用してもよい。その他にも、領域R(Oi)の代表位置、例えば、重心(xg, yg)などにおける注意マップの値c(xg, yg, t)を注目度C(Oi)として採用してもよい。
【００４２】
注目物体判定部40は、当該算出した各物体Oi(i=1, 2, ..., n)の注目度C(Oi)により、各物体Oiが注目物体であるか否かを、各時刻tのフレーム画像において次のように判定する。一例では、注目度C(Oi)が所定の閾値Thを超える物体Oiを注目物体として判定し、超えない物体Oiは注目物体でないと判定することができる。また、一例では、各時刻tのフレーム画像において注目度が最も高い物体Oiを注目物体として判定し、残りの全ての物体を注目物体ではないと判定することもできる。同様に、注目度が上位の所定数の物体のみを注目物体とし、残りを注目物体ではないと判定してもよい。
【００４３】
物体尤度情報生成部50は、注目物体判定部40により判定された注目物体であるか否かの情報と、物体認識部20により認識された物体の情報（物体尤度）と、を組み合わせて注目情報付の物体尤度情報を生成する。物体尤度情報は、各物体（識別された物体の種類）を一つのビンとし、各物体の物体尤度を値としたヒストグラムである。
【００４４】
ここで、注目物体判定部40により注目物体として判定された物体と、注目物体ではないとして判定された物体とは、区別して注目情報付の物体尤度情報は生成される。すなわち、物体認識部20により認識される１種類の物体に対し、注目物体/非注目物体の２つのビンが物体尤度情報に用意される。
【００４５】
例えば、物体認識部20により「テレビ」として認識された物体が、注目物体であると判定された場合には当該物体の物体尤度は「注目テレビ」というビンの値となり、注目物体であるとは判定されなかった場合には、当該物体の物体尤度は「非注目テレビ」というビンの値として、注目情報付の物体尤度情報が生成される。
【００４６】
なお、当該「テレビ」等の認識された各物体Oiにつき、「注目テレビ」又は「非注目テレビ」のいずれかのビンを上記のように区別して与えたうえで、当該区別されたビンにおける具体的な値には、一実施形態では、物体認識部20において「テレビ」等として認識される際に算出された物体尤度L(Oi)を用いればよい。
【００４７】
また、別の一実施形態では、当該区別されたビンにおける具体的な値を、上記物体認識部20の算出したL(Oi)としてではなく、次のように定めてもよい。すなわち、注目物体判定部40により推定された物体Oiの注目度C(Oi)をさらに用いてL(Oi)を更新した値として、以下のように求めてもよい。
【００４８】
この際まず、当該時刻tの画像において、最も注目度の高い物体Oimaxの注目度C(Oimax)を1.0、最も注目度の低い物体Oiminの注目度C(Oimin)が0となるように各物体Oiの注目度C(Oi)を正規化し、正規化注目度C(Oi)[正規化]を得る。更に、１から正規化注目度C(Oi)[正規化]を引いた値を正規化非注目度C(Oi)[正規化/非注目]（=1-C(Oi)[正規化]）とする。
【００４９】
以上の２種類の正規化された値を用いることにより、注目物体又は非注目物体と判定され、注目物体としてのビン又は非注目物体としてのビンを与えられたそれぞれの物体Oiについて、物体尤度を当初の値L(Oi)から更新して、次のように定めてもよい。
【００５０】
注目物体と判定された物体については、当該物体Oiの当初の物体尤度L(Oi)と、当該物体の正規化注目度C(Oi)[正規化]とを掛け合わせたものL(Oi)*C(Oi)[正規化]を、当該注目物体Oiのビンの値とする。また、非注目物体と判定された物体については、当該物体Oiの当初の物体尤度L(Oi)と、正規化非注目度C(Oi)[正規化/非注目]とを掛け合わせたものL(Oi)*C(Oi)[正規化/非注目]を、当該非注目物体Oiのビンの値とする。以上により、注目情報付の物体尤度情報を生成することが出来る。
【００５１】
上記手法によれば、注目物体と判定された物体Oiは、当初の注目度（規格化する前の注目度）C(Oi)が高いほど、物体尤度が相対的に高くなり、非注目物体と判定された物体Oiは、逆に、当初の注目度C(Oi)が低いほど、物体尤度が相対的に高くなるよう、当初の物体尤度L(Oi)が更新されて、注目情報付の物体尤度情報が生成されることとなる。同様の傾向となるその他の手法で更新を行ってもよい。
【００５２】
行動認識部60は、物体尤度情報生成部50から入力される、注目情報付の物体尤度情報に基づき、行動認識を行う。ここで、当該時刻tのフレームにおいて認識された全物体Oi(i=1, 2, ..., n)における注目情報付の物体尤度情報を、SVM等の統計的機械学習その他によって既に学習済みの認識器に対して入力することで、当該フレームに対する行動認識の結果が得られる。すなわち、映像における当該時刻tのフレームが、何の行動に対応しているかについての認識結果が得られる。
【００５３】
図３は、行動認識部60における当該認識器を構築するための認識器構築装置100の一実施形態に係る機能ブロック図である。認識器構築装置100は、学習データ蓄積部110、物体認識部120、注意推定部130、注目物体判定部140、物体尤度情報生成部150及び学習部160を備える。
【００５４】
学習データ蓄積部110は、複数の画像データと、当該画像データの各々におけるユーザ行動を表現するキーワードラベル（以下、行動ラベルと言う）とのセットを、学習データとして蓄積している。
【００５５】
物体認識部120は物体認識部20と、注意推定部130は注意推定部30と、注目物体判定部140は注目物体判定部40と、物体尤度情報生成部150は物体尤度情報生成部50と同等の機能を持つ。
【００５６】
従って、学習データ蓄積部110に蓄積された学習データのうち、（行動ラベルの情報を含まない）複数の画像データの各々は、図１の行動認識装置1に入力される映像の各時刻tのフレーム画像に対応するものとして、図１の場合と同様に図３の構成においても、物体認識部120及び注意推定部130に入力され処理された後、さらに注目物体判定部140及び物体尤度情報生成部150による処理を経て、各画像で認識された全物体につき生成された注目情報付の物体尤度情報となり、学習部160へと出力される。
【００５７】
学習部160は、上記のように物体尤度情報生成部150から入力された、各画像で認識された全物体につき生成された注目情報付の物体尤度情報と、学習データ蓄積部110から入力された、当該各画像に対応する行動ラベルとの組み合わせにおける対応関係を、当該学習データ全体に渡って、SVMに代表される機械学習方法等で学習し、図１の行動認識部60が利用する認識器を構築する。当該予め築された認識器を用いることで、行動認識部60による行動認識が可能となる。
【００５８】
図４は、図１の行動認識装置1が行う行動認識処理の一実施形態に係るフローチャートであり、その各ステップ(S1〜S6)は以下の通りである。
【００５９】
ステップS1において、カメラ部10は、カメラ視野内を連続して撮影し、フレーム画像を取得する。
【００６０】
ステップS2において、物体認識部20はカメラ部10から入力された各フレーム画像から、物体を検出し、物体の種類を識別する。当該識別の際に、識別された物体の尤度も取得する。
【００６１】
ステップS3において、注意推定部30はカメラ部10から入力された各フレーム画像から、注意推定を行い、注意マップを生成する。
【００６２】
ステップS4において、注目物体判定部40は、物体認識部20により認識された物体の情報と、注意推定部30により推定された注意マップを用いて、当該認識された物体の各々につき、注目物体であるか否かを判定する。
【００６３】
ステップS5において、物体尤度情報生成部50は、注目物体判定部40から入力される、注目物体か否かの判定結果と、物体認識部20から入力される物体の物体尤度を元に、注目情報付の物体尤度情報を生成する。
【００６４】
ステップS6において、行動認識部60は、物体尤度情報生成部50から入力される注目情報付の物体尤度情報に基づき、行動認識を行う。
【００６５】
図５は、図３の認識器構築装置100が行う認識器の構築処理の一実施形態に係るフローチャートであり、その各ステップ(S11〜S17)は以下の通りである。
【００６６】
ステップS11において、学習データ蓄積部110は、画像データを学習データとして物体認識部120及び注意推定部130に入力する。
【００６７】
ステップS12において、物体認識部120は、学習データ蓄積部110から入力された画像データから、物体を検出し、物体の種類を識別する。また、当該識別した物体の尤度を求める。
【００６８】
ステップS13において、注意推定部130は学習データ蓄積部110から入力された画像データから、注意推定を行い、注意マップを生成する。
【００６９】
ステップS14において、注目物体判定部140は、物体認識部120により認識された物体の情報と、注意推定部130により推定された注意マップを用いて、各物体が注目物体であるか否かを判定する。
【００７０】
ステップS15において、物体尤度情報生成部150は、注目物体判定部140から入力される、注目物体か否かの判定結果と、物体認識部120から入力される物体の物体尤度を元に、注目情報付の物体尤度情報を生成する。
【００７１】
ステップS16において、学習データ蓄積部110は、行動ラベルを学習データとして学習部160に入力する。
【００７２】
ステップS17において、学習部160は、物体尤度情報生成部150から入力される、画像データから生成された注目情報付の物体尤度情報と、学習データ蓄積部110から入力される、画像データに対応した行動ラベルと、を組み合わせて、全学習データを対象として当該組み合わせにおける対応関係を学習し、認識器を構築する。
【００７３】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。以下、（１）〜（４）として補足的事項を説明する。
【００７４】
（１）図４のフローにおけるステップS2とS3、及び、図５のフローにおけるステップS12とS13、はそれぞれ、逆の順序で実施されてもよいし、同時並行で実施されてもよい。
【００７５】
（２）カメラ部10は、人物に装着されているものとしたが、何らかの人物の一人称映像又はこれと同等ないしこれに準ずる映像が得られるのであれば、必ずしも装着されていなくともよい。例えば、当該人物がカメラを持ち続けて撮影してもよいし、編集などにより人工的に得られた一人称映像であってもよい。
【００７６】
（３）上記実施形態では、注意推定部30及び注意推定部130には、顕著性及び／又は自己運動の推定に基づく注意推定方法を適用することとしたが、前述の特許文献1のように、頭部に装着した視線方向検出装置により、高精度に視線方向を検出し、各フレーム画像に対する人間の注意を視線位置座標の形で推定することもできる。従って、当該推定結果を利用する場合には、各フレームには、通常の映像としての時系列上の画像情報に加えてさらに、当該人間の視点位置座標の情報が付随しているとみなしてよい。
【００７７】
視線位置座標の形で注意を推定する場合の実施例を、以下に３つ説明する。
【００７８】
第一実施例では、注意推定部30及び注意推定部130は上記実施形態における注意マップに該当するものは求めない。そして、注目物体判定部40及び注目物体判定部140は、当該視線位置座標を物体領域として含む物体を、あるいは、当該視点位置座標に最も近い物体領域を有する物体を、注目物体として判定し、残りの物体を非注目物体と判定することができる。
【００７９】
第二実施例では、注意推定部30及び注意推定部130が視線位置座標を中心（ピーク位置）とした二次元ガウス分布状の注意マップを生成した後に、注目物体判定部40及び注目物体判定部140が上記実施形態と同様の方法で注目物体を判定することもできる。当該二次元ガウス分布のピーク位置以外のパラメータは予め設定しておけばよい。
【００８０】
ただし、第一実施例にて、視線位置座標を物体領域として含む物体を、あるいは、視点位置座標に最も近い物体領域を有する物体を、注目物体として検出した場合には、各物体Oiの注目度C(Oi)は定義されないことに伴い、上記実施形態の場合と比べて次の制約がある。すなわち、物体尤度情報生成部50及び物体尤度情報生成部150は、注目度C(Oi)を用いて当初の尤度L(Oi)を更新した形では、物体尤度情報を生成することはできない。（注目/非注目の判定結果を用い、当初の尤度L(Oi)をそのまま採用した物体尤度情報生成に限られる。）
【００８１】
あるいは、上記制約を形式上回避するため、第一実施例にて、視点位置座標の点においてのみ所定値A(A>0)を有し、その他の点では値がゼロとなる注意マップが生成されたものとみなして、注目物体判定部40及び注目物体判定部140が上記実施形態と同様に注目物体の判定を行うようにしてもよい。
【００８２】
第三実施例では、より一般に、視点位置座標でピークの値を取る所定の２次元分布として、注意推定部30,130が注意マップを生成し、注目物体判定部40,140は上記実施形態と同様にするようにしてもよい。なお、第一実施例は、当該所定の２次元分布としてデルタ関数的な分布を採用し、第二実施例は、当該所定の２次元分布としてガウス分布を採用した、第三実施例の特別な場合とみなすこともできる。
【００８３】
（４）本発明は、コンピュータに読み取られ、コンピュータに図４の各ステップを実行させる、あるいは、コンピュータを図１の各部として機能させる、行動認識プログラムとして提供することもできる。同様に、本発明は、コンピュータに読み取られ、コンピュータに図５の各ステップを実行させる、あるいは、コンピュータを図３の各部として機能させる、認識器構築プログラムとして提供することもできる。
【符号の説明】
【００８４】
1…行動認識装置、10…カメラ部、20…物体認識部、30…注意推定部、40…注目物体判定部、50…物体尤度情報生成部、60…行動認識部、100…認識器構築装置、110…学習データ蓄積部、120…物体認識部、130…注意推定部、140…注目物体判定部、150…物体尤度情報生成部、160…学習部
【図１】
2015011526.tif 000003
【図２】
2015011526.tif 000004
【図３】
2015011526.tif 000005
【図４】
2015011526.tif 000006
【図５】
2015011526.tif 000007
【図６】
2015011526.tif 000008