(57)【要約】    【課題】  対象別の動作の学習を簡便に行うことができ、高い信頼度で対象を認識することができ、対象の動作に基づいて機器操作制御することができる動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラムを提供する。    【解決手段】  動作認識装置は、被写体認識装置３から認識結果である被写体カテゴリを入力し、動作パターンの特徴を抽出する前段階としての被写体に関するプリミティブな特徴量を抽出し、被写体の画像に形状モデルを当てはめ、パーツ単位での代表点位置の時系列画像データを抽出し、抽出した時系列画像データとモデルデータとの照合を行い、時系列画像データに対応するモデルデータが存在するときは、モデルデータとの類似度が最も高い動作カテゴリを出力し、時系列画像データに対応するモデルデータが存在しないときは、時系列画像データに対応付けた動作カテゴリの学習を行う。【選択図】      図４
2005202653.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する入力手段と、前記画像データから動物体を検出する動物体検出手段と、前記画像データに基づいて前記検出された動物体を特定する動物体特定手段と、前記画像データから前記動物体の状態又は動作を検出する状態検出手段と、前記検出された状態又は動作を前記特定された動物体に固有の意味情報に対応付けて学習する学習手段とを備えることを特徴とする動作認識装置。
【請求項２】
前記学習手段は、前記画像データから検出される前記動物体の動作を所定の動作カテゴリと対応付けて記憶することを特徴とする請求項１記載の動作認識装置。
【請求項３】
前記学習手段は、前記動作カテゴリを前記特定された動物体に固有の意味情報と対応付けて記憶することを特徴とする請求項１又は２記載の動作認識装置。
【請求項４】
前記状態検出手段は、前記動物体の主として存在する場所及び前記動作カテゴリを検出することを特徴とする請求項１乃至３のいずれか１項に記載の動作認識装置。
【請求項５】
前記状態検出手段は、前記動物体の状態又は動作の頻度を検出し、該頻度に基づいて前記状態又は動作が習慣的か否かを判定することを特徴とする請求項１乃至４のいずれか１項に記載の動作認識装置。
【請求項６】
前記状態検出手段は、前記動物体が接触する物体を検出することを特徴とする請求項１乃至５のいずれか１項に記載の動作認識装置。
【請求項７】
画像データを入力する入力手段と、前記画像データから動物体を検出する動物体検出手段と、前記画像データから前記検出された動物体の状態又は動作を検出する状態検出手段と、前記検出された状態又は動作と前記動物体の画像データとから前記動物体を特定する動物体特定手段とを備えることを特徴とする動物体認識装置。
【請求項８】
前記画像データに基づいて予め記憶された第１のモデルデータとの類似度を出力する第１の類似度出力手段と、前記検出された状態又は動作に基づいて第２のモデルデータとの類似度を出力する第２の類似度出力手段と、前記画像データ及び前記検出された状態又は動作の信頼度を夫々出力する信頼度出力手段と、前記出力された信頼度に基づいて前記第１の類似度算出手段及び前記第２の類似度算出手段の出力を制御する出力制御手段とを備え、前記動物体特定手段は、前記第１の類似度算出手段及び前記第２の類似度算出手段の出力に基づいて前記動物体を特定することを特徴とする請求項７記載の動物体認識装置。
【請求項９】
所定の機器を制御する機器制御装置において、画像データを入力する入力手段と、前記画像データから動物体を検出する動物体検出手段と、前記画像データに基づいて前記動物体を特定する動物体特定手段と、前記画像データから前記動物体の状態を検出する状態検出手段と、前記検出された状態を前記特定された動物体に固有の前記所定の機器を制御する機器制御情報に対応付けて学習する学習手段と、前記検出された状態に基づいて前記所定の機器を制御する制御信号を発生する制御信号出力手段とを備えることを特徴とする機器制御装置。
【請求項１０】
画像データを入力する入力ステップと、前記画像データから動物体を検出する動物体検出ステップと、前記画像データに基づいて前記検出された動物体を特定する動物体特定ステップと、前記画像データから前記動物体の状態又は動作を検出する状態検出ステップと、前記検出された状態又は動作を前記特定された動物体に固有の意味情報に対応付けて学習する学習ステップとを備えることを特徴とする動作認識方法。
【請求項１１】
前記学習ステップは、前記画像データから検出される前記動物体の動作を所定の動作カテゴリと対応付けて記憶することを特徴とする請求項１０記載の動作認識方法。
【請求項１２】
前記学習ステップは、前記動作カテゴリを前記特定された動物体に固有の意味情報と対応付けて記憶することを特徴とする請求項１０又は１１記載の動作認識方法。
【請求項１３】
前記状態検出ステップは、前記動物体の主として存在する場所及び前記動作カテゴリを検出することを特徴とする請求項１０乃至１２のいずれか１項に記載の動作認識方法。
【請求項１４】
前記状態検出ステップは、前記動物体の状態又は動作の頻度を検出し、該頻度に基づいて前記状態又は動作が習慣的か否かを判定することを特徴とする請求項１０乃至１３のいずれか１項に記載の動作認識方法。
【請求項１５】
前記状態検出ステップは、前記動物体が接触する物体を検出することを特徴とする請求項１０乃至１４のいずれか１項に記載の動作認識方法。
【請求項１６】
画像データを入力する入力ステップと、前記画像データから動物体を検出する動物体検出ステップと、前記画像データから前記検出された動物体の状態又は動作を検出する状態検出ステップと、前記検出された状態又は動作と前記動物体の画像データとから前記動物体を特定する動物体特定ステップとを備えることを特徴とする動物体認識方法。
【請求項１７】
前記画像データに基づいて予め記憶された第１のモデルデータとの類似度を出力する第１の類似度出力ステップと、前記検出された状態又は動作に基づいて第２のモデルデータとの類似度を出力する第２の類似度出力ステップと、前記画像データ及び前記検出された状態又は動作の信頼度を夫々出力する信頼度出力ステップと、前記出力された信頼度に基づいて前記第１の類似度算出ステップ及び前記第２の類似度算出ステップの出力を制御する出力制御ステップとを備え、前記動物体特定ステップは、前記第１の類似度算出ステップ及び前記第２の類似度算出ステップの出力に基づいて前記動物体を特定することを特徴とする請求項１６記載の動物体認識方法。
【請求項１８】
所定の機器を制御する機器制御方法において、画像データを入力する入力ステップと、前記画像データから動物体を検出する動物体検出ステップと、前記画像データに基づいて前記動物体を特定する動物体特定ステップと、前記画像データから前記動物体の状態を検出する状態検出ステップと、前記検出された状態を前記特定された動物体に固有の前記所定の機器を制御する機器制御情報に対応付けて学習する学習ステップと、前記検出された状態に基づいて前記所定の機器を制御する制御信号を発生する制御信号出力ステップとを備えることを特徴とする機器制御方法。
【請求項１９】
画像データを入力する入力モジュールと、前記画像データから動物体を検出する動物体検出モジュールと、前記画像データに基づいて前記検出された動物体を特定する動物体特定モジュールと、前記画像データから前記動物体の状態又は動作を検出する状態検出モジュールと、前記検出された状態又は動作を前記特定された動物体に固有の意味情報に対応付けて学習する学習モジュールとをコンピュータに実行させることを特徴とする動作認識プログラム。
【請求項２０】
画像データを入力する入力モジュールと、前記画像データから動物体を検出する動物体検出モジュールと、前記画像データから前記検出された動物体の状態又は動作を検出する状態検出モジュールと、前記検出された状態又は動作と前記動物体の画像データとから前記動物体を特定する動物体特定モジュールとをコンピュータに実行させることを特徴とする動物体認識プログラム。
【請求項２１】
所定の機器を制御する機器制御プログラムにおいて、画像データを入力する入力モジュールと、前記画像データから動物体を検出する動物体検出モジュールと、前記画像データに基づいて前記動物体を特定する動物体特定モジュールと、前記画像データから前記動物体の状態を検出する状態検出モジュールと、前記検出された状態を前記特定された動物体に固有の前記所定の機器を制御する機器制御情報に対応付けて学習する学習モジュールと、前記検出された状態に基づいて前記所定の機器を制御する制御信号を発生する制御信号出力モジュールとをコンピュータに実行させることを特徴とする機器制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、画像から人物の行動パターンを検出する手法としては、隠れマルコフモデルを用い、標準的な行動の確率モデルを自動的に習得する行動検出システム（例えば、特許文献１，２）や、いわゆるジェスチャ認識方法の技術（例えば、特許文献３）が提案されている。
【０００３】
また、得られた行動パターンや動作の情報を利用した応用技術が提案され（例えば、特許文献４〜１１）、一方、動作パターンから個人認証を行う方法が提案されている（例えば、特許文献１２〜１４）。
【０００４】
また、パスワード解析や指紋判定等から操作員を個別に識別し、その操作員にあった操作画面を備えるインターフェースがある（例えば、特許文献１５）。
【特許文献１】特開平１１−２５９６４３号公報
【特許文献２】米国特許第６２１２５１０号明細書
【特許文献３】特開平１０−１６２１５１号公報
【特許文献４】特開平８−２５７０１７号公報
【特許文献５】特開平９−８１３０９号公報
【特許文献６】特開平９−１６１１０２号公報
【特許文献７】特開平１１−２４９７７３号公報
【特許文献８】特開２０００−２９３６８５号公報
【特許文献９】特開２０００−１０１８９８号公報
【特許文献１０】特許第２８０１３６２号公報
【特許文献１１】特許第３１４０９１１号公報
【特許文献１２】特開２０００−２２２３６１号公報
【特許文献１３】特開２００１−３４７６４号公報
【特許文献１４】特開２００１−２０２５２４号公報
【特許文献１５】特開平１０−１４９２０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の行動パターンを検出する手法及び検出された行動パターン情報を利用する方法では、対象となる人物等の動物体を個別に特定し、その特定された動物体に固有な動作や状態を認識し、学習することはできない。例えば、上記特許文献６に開示される方式においては、歩行パターンから個人の識別を行うので、歩行パターンが類似する人物の間での識別は困難である。従って、個人別にジェスチャ等の動作パターンに応じた環境設定、各種機器の操作方法又は機器の動作モードの設定（パーソナル化）を自動的に行うことは困難であり、行動の癖や習慣的な行動や日常的に常用している物のカテゴリを個人別に自動学習することは困難であった。
【０００６】
動作パターンから個人認証をする方法に関する上記従来例では、認証すべき対象の数が増えるほど該当する動作を厳格に規定しておかなければならず、一方では認証のために登録した動作が忠実に再現されるように利用者側が注意して動作を行わなければならないという点で負担が大きいものであった。そのため動作パターンのみでは個人認証を行うことは困難であった。
【０００７】
本発明の目的は、対象別の動作の学習を簡便に行うことができ、高い信頼度で対象を認識することができ、対象の動作に基づいて機器操作制御することができる動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上述の目的を達成するために、請求項１記載の動作認識装置は、画像データを入力する入力手段と、前記画像データから動物体を検出する動物体検出手段と、前記画像データに基づいて前記検出された動物体を特定する動物体特定手段と、前記画像データから前記動物体の状態又は動作を検出する状態検出手段と、前記検出された状態又は動作を前記特定された動物体に固有の意味情報に対応付けて学習する学習手段とを備えることを特徴とする。
【０００９】
請求項２記載の動作認識装置は、請求項１記載の動作認識装置において、前記学習手段は、前記画像データから検出される前記動物体の動作を所定の動作カテゴリと対応付けて記憶することを特徴とする。
【００１０】
請求項３記載の動作認識装置は、請求項１又は２記載の動作認識装置において、前記学習手段は、前記動作カテゴリを前記特定された動物体に固有の意味情報と対応付けて記憶することを特徴とする。
【００１１】
請求項４記載の動作認識装置は、請求項１乃至３のいずれか１項に記載の動作認識装置において、前記状態検出手段は、前記動物体の主として存在する場所及び前記動作カテゴリを検出することを特徴とする。
【００１２】
請求項５記載の動作認識装置は、請求項１乃至４のいずれか１項に記載の動作認識装置において、前記状態検出手段は、前記動物体の状態又は動作の頻度を検出し、該頻度に基づいて前記状態又は動作が習慣的か否かを判定することを特徴とする。
【００１３】
請求項６記載の動作認識装置は、請求項１乃至５のいずれか１項に記載の動作認識装置において、前記状態検出手段は、前記動物体が接触する物体を検出することを特徴とする。
【００１４】
請求項７記載の動物体認識装置は、画像データを入力する入力手段と、前記画像データから動物体を検出する動物体検出手段と、前記画像データから前記検出された動物体の状態又は動作を検出する状態検出手段と、前記検出された状態又は動作と前記動物体の画像データとから前記動物体を特定する動物体特定手段とを備えることを特徴とする。
【００１５】
請求項８記載の動物体認識装置は、請求項７記載の動物体認識装置において、前記画像データに基づいて予め記憶された第１のモデルデータとの類似度を出力する第１の類似度出力手段と、前記検出された状態又は動作に基づいて第２のモデルデータとの類似度を出力する第２の類似度出力手段と、前記画像データ及び前記検出された状態又は動作の信頼度を夫々出力する信頼度出力手段と、前記出力された信頼度に基づいて前記第１の類似度算出手段及び前記第２の類似度算出手段の出力を制御する出力制御手段とを備え、前記動物体特定手段は、前記第１の類似度算出手段及び前記第２の類似度算出手段の出力に基づいて前記動物体を特定することを特徴とする。
【００１６】
請求項９記載の機器制御装置は、所定の機器を制御する機器制御装置において、画像データを入力する入力手段と、前記画像データから動物体を検出する動物体検出手段と、前記画像データに基づいて前記動物体を特定する動物体特定手段と、前記画像データから前記動物体の状態を検出する状態検出手段と、前記検出された状態を前記特定された動物体に固有の前記所定の機器を制御する機器制御情報に対応付けて学習する学習手段と、前記検出された状態に基づいて前記所定の機器を制御する制御信号を発生する制御信号出力手段とを備えることを特徴とする。
【００１７】
請求項１０記載の動作認識方法は、画像データを入力する入力ステップと、前記画像データから動物体を検出する動物体検出ステップと、前記画像データに基づいて前記検出された動物体を特定する動物体特定ステップと、前記画像データから前記動物体の状態又は動作を検出する状態検出ステップと、前記検出された状態又は動作を前記特定された動物体に固有の意味情報に対応付けて学習する学習ステップとを備えることを特徴とする。
【００１８】
請求項１１記載の動作認識方法は、請求項１０記載の動作認識方法において、前記学習ステップは、前記画像データから検出される前記動物体の動作を所定の動作カテゴリと対応付けて記憶することを特徴とする。
【００１９】
請求項１２記載の動作認識方法は、請求項１０又は１１記載の動作認識方法において、前記学習ステップは、前記動作カテゴリを前記特定された動物体に固有の意味情報と対応付けて記憶することを特徴とする。
【００２０】
請求項１３記載の動作認識方法は、請求項１０乃至１２のいずれか１項に記載の動作認識方法において、前記状態検出ステップは、前記動物体の主として存在する場所及び前記動作カテゴリを検出することを特徴とする。
【００２１】
請求項１０記載の動作認識方法は、請求項１０乃至１３のいずれか１項に記載の動作認識方法において、前記状態検出ステップは、前記動物体の状態又は動作の頻度を検出し、該頻度に基づいて前記状態又は動作が習慣的か否かを判定することを特徴とする。
【００２２】
請求項１５記載の動作認識方法は、請求項１０乃至１４のいずれか１項に記載の動作認識方法において、前記状態検出ステップは、前記動物体が接触する物体を検出することを特徴とする。
【００２３】
請求項１６記載の動物体認識方法は、画像データを入力する入力ステップと、前記画像データから動物体を検出する動物体検出ステップと、前記画像データから前記検出された動物体の状態又は動作を検出する状態検出ステップと、前記検出された状態又は動作と前記動物体の画像データとから前記動物体を特定する動物体特定ステップとを備えることを特徴とする。
【００２４】
請求項１７記載の動物体認識方法は、請求項１６記載の動物体認識方法において、前記画像データに基づいて予め記憶された第１のモデルデータとの類似度を出力する第１の類似度出力ステップと、前記検出された状態又は動作に基づいて第２のモデルデータとの類似度を出力する第２の類似度出力ステップと、前記画像データ及び前記検出された状態又は動作の信頼度を夫々出力する信頼度出力ステップと、前記出力された信頼度に基づいて前記第１の類似度算出ステップ及び前記第２の類似度算出ステップの出力を制御する出力制御ステップとを備え、前記動物体特定ステップは、前記第１の類似度算出ステップ及び前記第２の類似度算出ステップの出力に基づいて前記動物体を特定することを特徴とする。
【００２５】
請求項１８記載の機器制御方法は、所定の機器を制御する機器制御方法において、画像データを入力する入力ステップと、前記画像データから動物体を検出する動物体検出ステップと、前記画像データに基づいて前記動物体を特定する動物体特定ステップと、前記画像データから前記動物体の状態を検出する状態検出ステップと、前記検出された状態を前記特定された動物体に固有の前記所定の機器を制御する機器制御情報に対応付けて学習する学習ステップと、前記検出された状態に基づいて前記所定の機器を制御する制御信号を発生する制御信号出力ステップとを備えることを特徴とする。
【００２６】
請求項１９記載の動作認識プログラムは、画像データを入力する入力モジュールと、前記画像データから動物体を検出する動物体検出モジュールと、前記画像データに基づいて前記検出された動物体を特定する動物体特定モジュールと、前記画像データから前記動物体の状態又は動作を検出する状態検出モジュールと、前記検出された状態又は動作を前記特定された動物体に固有の意味情報に対応付けて学習する学習モジュールとをコンピュータに実行させることを特徴とする。
【００２７】
請求項２０記載の動物体認識プログラムは、画像データを入力する入力モジュールと、前記画像データから動物体を検出する動物体検出モジュールと、前記画像データから前記検出された動物体の状態又は動作を検出する状態検出モジュールと、前記検出された状態又は動作と前記動物体の画像データとから前記動物体を特定する動物体特定モジュールとをコンピュータに実行させることを特徴とする。
【００２８】
請求項２１記載の機器制御プログラムは、所定の機器を制御する機器制御プログラムにおいて、画像データを入力する入力モジュールと、前記画像データから動物体を検出する動物体検出モジュールと、前記画像データに基づいて前記動物体を特定する動物体特定モジュールと、前記画像データから前記動物体の状態を検出する状態検出モジュールと、前記検出された状態を前記特定された動物体に固有の前記所定の機器を制御する機器制御情報に対応付けて学習する学習モジュールと、前記検出された状態に基づいて前記所定の機器を制御する制御信号を発生する制御信号出力モジュールとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００２９】
請求項１記載の動作認識装置、請求項１０記載の動作認識方法、請求項１９記載の動作認識プログラムによれば、検出された状態又は動作を特定された動物体に固有の意味情報に対応付けて学習するので、対象別の動作の学習を簡便に行うことができる。
【００３０】
請求項７記載の動物体認識装置、請求項１６記載の動物体認識方法、請求項２０記載の動物体認識プログラムによれば、検出された状態又は動作と動物体の画像データとから動物体を特定するので、高い信頼度で対象を認識することができる。
【００３１】
請求項９記載の機器制御装置、請求項１８記載の機器制御方法、請求項２１記載の機器制御プログラムによれば、検出された状態を特定された動物体に固有の前記所定の機器を制御する機器制御情報に対応付けて学習し、検出された状態に基づいて所定の機器を制御する制御信号を発生するので、対象の動作に基づいて機器操作制御することができる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明の実施の形態を図面を参照しながら説明する。
【００３３】
図１は、本発明の第１の実施の形態に係る動作認識装置の概略構成を示す図である。
【００３４】
図１において、動作認識装置は、不図示の撮像装置又はデータベースから動画像データを入力する画像入力装置１と、入力された動画像データから動きベクトルその他の特徴を用いて動領域を検出して出力する動体検出装置２と、検出された動領域にある人物や物体等の対象の認識を行って、その認識結果を出力する被写体認識装置３と、被写体認識装置３が認識した対象となる人物の動作や状態を検出する状態検出装置４と、状態検出装置４が検出した動作又は状態がその対象となる人物に対応した固有の意味を有する内容を学習し、所定の記憶手段に格納する学習装置５と、動体検出装置２、被写体認識装置３、状態検出装置４、及び学習装置５が夫々行う処理の起動、停止及び処理モードの変更等を制御する処理制御装置６とを備える。
【００３５】
ここで、動作とは、対象が人物である場合、身振り、手振り、目付き、表情の変化等、身体の動きを伴う変化を指す。また、状態とは、「座っている」、「倒れている」等の殆ど静止している所定の姿勢、又は「食事をしている」、「笑っている」等一連の動作の変化の組み合わせであって、特に何らかの意味的解釈ができる場合をいう。以下で用いる動作又は状態カテゴリは、「食事をしている」、「歩いている」等複数の身体部分を同時に動かす意味的動作のほか、「手を振る」、「髪の毛を触る」、「手を挙げる」等のように身体の限られた部分を使った運動を表すものであってもよい。
【００３６】
図２は、図１の動作認識装置によって実行される機器制御処理のフローチャートである。
【００３７】
図２において、まず、動体検出装置２は、画像入力装置１により入力された時系列画像データから動領域を検出し（ステップＳ１０１）、被写体認識装置３は、後述する図３の被写体認識処理を実行して、動領域の画像データを用いて動作を行う主体である対象となる人物の認識を行い（ステップＳ１０２）、状態検出装置４は、後述する図４の動作認識処理を実行して、その対象となる人物の動作に対応した動作カテゴリを抽出し（ステップＳ１０３）、この対象となる人物及び動作カテゴリに固有の機器制御情報を学習装置５内の不図示の辞書データ作成部から抽出する（ステップＳ１０４）。
【００３８】
次いで、処理制御装置６は、対象となる人物に対し、ディスプレイへのメッセージ表示又は音声により、抽出された機器制御情報の内容の確認動作（例えば、身振り、表情、頷き又は首振りの動作、音声による肯定又は否定等）を要求し（ステップＳ１０５）、対象となる人物が抽出した機器制御情報に対して肯定する確認動作をしたか否かを判別し（ステップＳ１０６）、肯定する確認動作をしたときは、抽出された機器制御情報を機器制御信号として出力して（ステップＳ１０７）、本処理を終了し、肯定する確認動作をしなかったときは、機器制御信号を出力することなく、本処理を終了する。対象となる人物からの確認動作は、対象となる人物毎に予め設定してもよく、又は、共通のサインやメッセージにしてもよい。
【００３９】
図２の処理によれば、対象となる人物及び動作カテゴリに固有の機器制御情報を学習装置５内の不図示の辞書データ作成部から抽出する（ステップＳ１０４）ので、対象となる人物の動作に基づいて機器操作制御することができる。
【００４０】
機器制御情報は、例えば、左手の指を握り、部屋の中のある機器に向かって突き出すというある対象となる人物の動作に対して、「その機器を起動する」という機器制御内容を設定することができる。機器操作内容は、「テレビをＯＮにする（ＯＦＦにする）」、「テレビの音量を上げる（下げる）」、「照明をＯＮにする（ＯＦＦにする）」、「お湯を沸かす」、「コンピュータを起動する」、「コンピュータの特定のプログラムを起動する」等、多種多様に設定することができる。なお、動作によって制御すべき機器が特定されるので、必ずしも制御したい機器に対してその対象となる人物が注目している状態にあることを示す行為を行わなくてもよい。
【００４１】
また、機器制御内容は、上記のような単一の操作制御カテゴリに分類付けられる内容以外に、例えば、「テレビをＯＮにして、照明を暗くする」のように、一連の制御の組み合わせであってもよい。
【００４２】
このようにして対応付けられる動作と機器制御内容とは、個々の対象となる人物に応じて設定さされ、上述したように姿と動作とから認証された人物以外は操作又は制御を行えないように設定することもできる。
【００４３】
また、機器制御情報を抽出する為の動作は、日常的にその対象がとる動作とは明らかに異なる動作であればよい。
【００４４】
図３は、図２のステップＳ１０２の被写体認識処理のフローチャートである。
【００４５】
本処理において、学習装置５は、予め特定人物の複数の姿勢に対応した画像データのモデルデータ、及び人物特有の動作に関するモデルデータを被写体カテゴリと対応付けて不図示の記録装置に記録しているものとする。
【００４６】
図３において、まず、動領域の画像データから画像データの幾何学的特徴又は色成分に関する特徴を抽出し（ステップＳ２０１）、抽出した画像データの特徴と予め対象となる人物ごとに設定されたモデルデータとの類似度を評価する（ステップＳ２０２）。この類似度は、モデルデータとの相関係数の値、又は特定被写体カテゴリの顕著度として評価する。顕著度は、例えばモデルデータとの相関係数最大値Ｃｍａｘと次の順位の相関係数値Ｃｎｅｘｔとの比Ｃｍａｘ／Ｃｎｅｘｔ、又は被写体カテゴリ別の相関係数分布の尖度即ちkurtosisを用いて評価する。ここに分布ａのkurtosisは、ａの分散σと平均ａ及びサンプル数Ｎを用いて
kurtosis（ａ）＝（１／Ｎ）・（ａ−ａ）４／σ（ａ）４−３
で与えられる。平均ａはａの平均を示す。
【００４７】
幾何学的特徴の類似度は、例えば、局所的な領域で検出される複数の特徴を比較的単純なパターン（例えば、所定の方向成分を有する線分レベル、その組み合わせで得られるＶ字、Ｌ字、Ｔ字型コーナパターンレベル等）、単純なパターンの組み合わせ又は相対位置関係等により記述される中程度の複雑さを有するパターン、及び中程度の複雑さを有するパターンの組み合わせにより得られる上位の複雑パターンと、階層的に用意しておき、各階層レベルにおける局所的なテンプレートマッチングすることにより評価する（本出願人による特許第３０７８１６６号公報）。
【００４８】
次いで、被写体認識装置３は、状態検出装置４から抽出された動作パターンの特徴を入力し、動作パターンの特徴と、動作に関するモデルデータとの類似度評価を行い（ステップＳ２０３）、画像データの特徴と動作パターンの特徴についての信頼度を算出し（ステップＳ２０４）、算出した信頼度に応じて各特徴の類似度を重み付けして出力し（ステップＳ２０５）、出力された類似度を検出して最大検出レベルが閾値以上であるか否かを判別し（ステップＳ２０６）、最大検出レベルが閾値以上であるときは、最大検出レベルを与えるモデルデータに対応する被写体カテゴリを被写体認識結果として出力し（ステップＳ２０７）、最大検出レベルが閾値以上でないときは、画像データ又は動作パターンの特徴に対応付けた被写体カテゴリの学習を行って（ステップＳ２０８）、本処理を終了する。
【００４９】
本処理は、例えば、人物の上半身、特に、頭部の検出を行って得られる頭部の画像とその人物の動作とから行う。学習装置５は、予め特定人物の複数の姿勢に対応した人物頭部のモデルデータ、及び人物特有の動作パターンに関するモデルデータを不図示の記録装置に格納している。なお、モデルデータの生成を行うべき人物の姿勢は、離散的に所定の角度幅でサンプリングしておけばよく、連続的に殆ど全ての姿勢状態をカバーするようにモデルデータを大量に用意する必要はない。
【００５０】
ここで行うマッチングの処理方式としては、既存のモデルデータのサイズを動体検出装置２で検出される動領域のサイズに応じて変えて生成し、テンプレートマッチングを行う方式、又はマッチングの処理性能が被写体サイズの変化に対して不変であるような方式（本出願人による特許第３０７８１６６号公報）のいずれを用いてもよい。
【００５１】
また、マッチング結果の信頼度が低いと予測される場合（例えば、対象が後ろ姿である場合、照明の影響で頭部の顔画像のコントラストが低い場合等）には、被写体カテゴリの抽出は、動作カテゴリとの整合性判定により行う。具体的には、画像ベースで推定された対象に固有の動作特徴（例えば、歩行パターン、姿勢）を有しているか否かの判定を行う。この場合、被写体認識装置３は学習装置５内部の辞書データを参照し、その対象が顕著な動作特徴を有していない場合には、対象の判別が困難であることを出力し、これを受けて処理制御装置６は以降の処理を中断する。
【００５２】
画像データの特徴についての信頼度は、被写体カテゴリの候補を検出するのに必要な特徴の類似度の検出レベルと、その画像データに対応する視点位置（正面位置か背面位置か等）と、検出された被写体の向きとによって重み付けをして評価し、被写体の認識に最適な視点位置又は方向で最も重み係数が高く、逆に認識に適さない視点位置からの画像については重み係数を低くする。
【００５３】
例えば、人物の認証のために正面の顔を所定サイズ以上検出できたときは、最大の信頼度とし、後ろ向きの姿は正面と比べて一般的にパターンとしての識別性が低い場合が多いので、低い信頼度を与えるように予め設定しておく。ただし、後ろ向きの姿であってもその特定人物に顕著な特徴を有しており、その特徴が検出された場合には、信頼度は高くなるように修正する必要がある。従って信頼度は、顕著度（個性の指標）のファクタ−を乗算した値を用いる。なお、顕著度がある閾値より低い場合には、所定の定数（例えば１）となるようにしておく。
【００５４】
顕著度（個性の指標）の算出手順としては、例えば、平均的な人物頭部の後ろ姿（男女別）を画像ベクトル又は特徴抽出後の特徴ベクトルにより求め、その特徴ベクトルに関する共分散行列から固有ベクトルを求める。次に、顕著度を固有ベクトル空間での座標値の平均ベクトルからの偏差（差の絶対値）として抽出する。
【００５５】
一方、動作パターンの特徴の信頼度は、時系列特徴データのＳＮ比、時系列特徴データのモデルデータに対する類似度と閾値の比、又は所定時間幅で算出される最大類似度の分散値等により評価される。また、検出された動作パターンが対象となる人物に特有なものか否かを表す指標（即ち、個性の程度）を予めその動作特徴カテゴリについて評価しておき、その指標を信頼度に乗じてもよい。
【００５６】
動作パターンを検出する目的は、機器制御のための意味的情報を抽出することと個体の認証を行うことの２つがある。画像データで姿のみから被写体認識を行って動作パターンを検出して後述するような機器制御を行うか、又は、動作パターンのみから被写体認識を行い、更に異なる動作パターンから機器制御情報を抽出することにより、機器制御を対象となる人物の動作に基づいてパーソナライズすることができる。また、画像パターンの特徴と動作パターンの特徴とから被写体の認証を行い、特定の動作パターンから機器制御を行うこともできる。
【００５７】
上述した認証目的の動作検出においても信頼度を上げるために、対象となる人物の動作パターンと画像データとを組み合わせて認証を行う。例えば、対象となる人物の歩行パターンデータと頭部の画像とにより行う。歩行パターンの検出は画像からシルエットパターンを抽出して、そのシルエットの輪郭線から特徴量（水平・垂直方向のヒストグラム等）を抽出し、その特徴量の変化のパターンを照合する方式等を用いればよい。
【００５８】
動作の個性に関する特徴量として、動作パターン検出に使われる時系列特徴データから平均的な動作パターンを抽出し、更に時系列特徴データの共分散行列から固有動作ベクトルを抽出し、その固有ベクトル空間内の座標値の平均ベクトルからの偏差を個性として抽出してもよい。
【００５９】
図３の処理によれば、姿と動作とを組み合わせて認証を行うことにより（ステップＳ２０２〜ステップＳ２０３）、高い信頼度で対象となる人物を認識することができる。
【００６０】
図４は、図２のステップＳ１０３の動作認識処理のフローチャートである。
【００６１】
本処理は、上記図２の被写体認識処理（ステップＳ１０２）の終了後に実行され、特定された人物が意図する所定の意味を持った動作又は状態の検出を行う。ここでは、動作に関与する身体各部（顔、目付き、腕、手先、足等）の検出、検出された特徴点又は特徴量の抽出、及び特徴点又は特徴量の時系列的変化の分析を行うが、それ以外の方法で行ってもよい。
【００６２】
学習装置５内部の記録装置には、画像データから抽出される特徴点又は特徴量のモデルデータと対応付けられた動作カテゴリが予め格納されているものとする。
【００６３】
図４において、被写体認識装置３から認識結果である被写体カテゴリを入力し（ステップＳ３０１）、動作パターンの特徴を抽出する前段階としての被写体に関するプリミティブな特徴量を抽出する（ステップＳ３０２）。ここでは、動作パターンの検出に用いる特徴量として、背景画像との差分画像から抽出される幾何学的特徴又は色成分ベースの特徴量を用いるか、又はエッジ抽出を画像フレーム毎に行い、そのフレーム間差分により得られるエッジ特徴を用いる。
【００６４】
次いで、被写体の画像に形状モデルを当てはめる（ステップＳ３０３）。例えば、被写体が人物である場合には、動作パターン検出のための特徴抽出は、予め単純化された３次元パーツモデル（円筒、楕円体、super-quadrics等）により近似された人体各部の形状モデルを用いた人体モデルに基づき、人体各部のパーツ検出と各パーツの特徴量を検出することにより行うか、又は、人体頭部の検出を先に行い、次に頭部の位置・姿勢を基準として腕、手、足等の存在範囲を推定する。後者の場合、該当する領域で肌色検出又は動きベクトル分布の検出を行うことにより各パーツの検出を行ってもよい。
【００６５】
次いで、対象となる人物を構成するパーツごとの特徴量（局所的かつ幾何学的な特徴、動きベクトル、色成分特徴等）をパーツの代表点付近での平均的特徴量として所定の記憶手段に格納し、パーツ単位での代表点位置の時系列画像データを抽出し（ステップＳ３０４）、抽出した時系列画像データとモデルデータとの照合を行い（ステップＳ３０５）、時系列画像データに対応するモデルデータが存在する否かを判別し（ステップＳ３０６）、時系列画像データに対応するモデルデータが存在するときは、モデルデータとの類似度が最も高い動作カテゴリを出力して（ステップＳ３０７）、本処理を終了し、時系列画像データに対応するモデルデータが存在しないときは、時系列画像データに対応付けた動作カテゴリの学習を行って（ステップＳ３０８）、本処理を終了する。
【００６６】
図４の処理によれば、時系列画像データに対応するモデルデータが存在しないときは（ステップＳ３０６でＮＯ）、時系列画像データに対応付けた動作カテゴリの学習を行う（ステップＳ３０８）ので、対象となる人物別の動作の学習を簡便に行うことができる。
【００６７】
なお、人物動作の抽出技術の詳細については、文献（星野、「人物動作における個性の抽出と再構成」画像電子学会誌第３０巻、ｐｐ．６３１−６４０，  ２００１）等に記載の技術を用いればよい。モデルデータとのマッチング処理の基本的な方法としては、入力画像の遷移系列とモデルとの対応付けをDynamic time warpingという手法で行う方法（T.J.Darell and A.P.Pentland, 1993 “Space-Time Gestures,”）、動作の状態遷移を確率モデルで行う隠れマルコフモデルを用いた手法(J.Yamato, J.Ohya, and K.Ishii, 1992 “Recognizing Human Action in Time-Sequential Images Using Hidden Markov Model,” Proc. CVPR, pp. 379-385) 、時空間エッジ画像ベクトル列の連続動的計画法 (Continuous Dynamic Programming) による方法（西村、岡「ジェスチャ動画像の逆時間動作や静止動作をスポッティング認識するためのNon-monotonic連続ＤＰ」、信学技報、PRMU96-32、pp. 49-56, 1996）等がある。
【００６８】
状態検出装置４で行われる動作の認識は、上述した方法以外に、動作カテゴリに対応するモデル特徴量の時系列パターンと検出された特徴量の時系列パターンとの所定の特徴量空間での距離を求め、最小距離を与えるような動作カテゴリを認識結果としてもよい。また、その最小距離が所定の閾値以下であることを条件とし、最小距離がその閾値より大となる場合には、未分類の動作カテゴリが検出されたことを表すようにしてもよい。
【００６９】
学習装置５で行われる動作パターンの学習処理（ステップＳ３０８）は、動作パターンを表す特徴量系列とモデル特徴量系列データとの距離が一定閾値より小さくならない場合は、検出された動作に対応する特徴点又は特徴量に関する時系列画像データ又は時系列画像データを保存し、またその動作パターンに対して仮のラベルが与えられ、該当する動作パターンの意味的情報を登録する為の学習シーケンスが処理制御装置６により起動される。学習シーケンスとしては、音声ベースでの対話により行う方法を用いてもよい。
【００７０】
また、動作カテゴリの照合ができずに記録保持された動作パターンの画像データを所定のディスプレイに再生し、その動作パターンを人物が確認した後で該当する機器の操作を行うと動作パターンと機器操作との対応付けが自動的に行われるようにしてもよい。なお、この確認は、音声、動作、キーボード操作、ボタンスイッチの操作等、予め定められた方法で行えばよい。
【００７１】
さらに、動作カテゴリの照合ができなかったことを人物に示す表示をディスプレイ上の表示又は所定のランプの点灯、又は音声等により行うことにより、システムが直前に行われた動作に対応する意味的情報を登録可能な状態にあることを人物に知らせたうえで、その人物が機器操作を行うと、その機器操作内容が直前の動作と自動的に対応付けられるようにしてもよい。
【００７２】
登録済みの動作パターンと機器制御情報との関連付けに対して、修正や再登録を行うこともできる。修正とは、同じ動作パターンであっても異なる機器制御情報に変更することであり、再登録とは、所定の機器制御情報と対応付けられた所定の動作を類似の動作パターンに変更することを意味するものとする。
【００７３】
その方法としては、修正又は再登録モードを意味するものとして対象となる人物によらずに予め標準的に定められる動作又は状態をその対象となる人物が本発明に係る動作認識装置に対して示すか、動作認識装置が埋め込まれた機器に付属する所定の端末上のボタン操作等により修正又は再登録モードに自動的にセットされるように構成しておけばよい。
【００７４】
更に、本実施の形態で説明した動作認識装置を用いれば、同一機器を複数の人物が動作により操作することができると共に、人物間で優先順位をつけておくこともできる。また、人物別の優先順位を時間帯ごとに設定してもよい。
【００７５】
本実施の形態で説明した動作認識装置をマンマシンインターフェースに用いる場合には、身振り等の動作と対応付けられた操作意志の伝達に先立って機器操作を意図しているか否かにかかわらず、対象となる人物の認証が自動的に行われる。また対象となる人物の行う動作は機器操作情報と対応付けられているので、人物は操作対象の注目意志の伝達を前もって行わなくてよいことはいうまでもない。
【００７６】
上述した動作認識装置は、自律的にユーザの意図を学習するマンマシンインターフェース装置として家庭又はオフィス内の機器（例えば、テレビ、ステレオ、パソコン、ディスプレイ、ロボット、照明器具、エアコン、冷蔵庫）や、机、ロボット等に搭載し、機器制御に用いることができる。また、建物内部の天井、壁面、扉等に埋め込んで身振り、表情等から個々の人物の意図する機器操作内容を学習し、検出する自動機器制御システムを構成することができる。
【００７７】
上記第１の実施例によれば、図４の処理により対象別の動作の学習を簡便に行うことができ、図３の処理により高い信頼度で対象を認識することができ、図２の処理により対象の動作に基づいて機器操作制御することができる。
【００７８】
図５は、本発明の第２の実施の形態に係る動作認識装置の概略構成を示す図である。
【００７９】
図５の動作認識装置は、学習装置５が後述する図６に示す構成を有する点、状態検出装置４及び学習装置５に接続され、常用物の検出及び登録を行う常用物検出装置７を備えている点で図１の装置と異なるのみであって、他の構成要素は図１のものと同じである。常用物とは、対象となる人物が日ごろ使う頻度の高い道具、器具、装置等の物体（例えば、対象となる人物が日常的に用いるコーヒーカップ、寝具、歯ブラシ、本）をいう。
【００８０】
本実施の形態の動作認識装置は、建物内に設置された状態監視システム（複数台のカメラと一つ又は複数の本実施の形態に係る動作認識装置とを含む）に組み込むことにより、特定人物の常用物の所在を特別な発信機やマーカを取り付けずに短時間で検出することができる。
【００８１】
図６は、図５における学習装置５の内部構成を示すブロック図である。
【００８２】
図６において、学習装置５は、カテゴリを学習して記録する物体カテゴリ辞書データ生成記録装置５０と、音声又はディスプレイ上の表示により対象となる人物に質問をするダイアローグプロセス制御装置５１とを備える。
【００８３】
図７は、図５における常用物検出装置７によって実行される常用物検出処理のフローチャートである。
【００８４】
図７において、常用物の検出に先立って、特定人物を検出し（ステップＳ４０１）、後述する図８の常用物候補抽出処理を行って、その特定人物が一定時間（例えば３秒）以上接触する物体を検出し（ステップＳ４０２）、学習装置５の内部にある物体カテゴリ辞書データ生成記録装置５０を検索して、既に登録されている常用物候補のモデルデータと検出された特徴データとの類似度の評価を行い（ステップＳ４０３）、検出された特徴データに対応する物体カテゴリが物体カテゴリ辞書データ生成記録装置５０に登録されているか否かを判別する（ステップＳ４０４）。
【００８５】
ステップＳ４０２において、接触とは、手、足、又は体全体が所定の物体に触れる行為（例えば、把持する、掴む、寝る、履く、撫でる、叩く、着る）をいい、この接触状態を検出するためには、接触する身体の各部の検出と接触対象である物体の検出を行う必要がある。ここでは接触の例として物体を把持する場合を考えているが、この場合には手首から先の運動と一体的に動く物体を接触された物体として検出する。
【００８６】
ステップＳ４０４の判別の結果、検出された特徴データに対応する物体カテゴリが登録されていないか、又は判別が困難であるときは、常用物候補の学習を行った（ステップＳ４０５）後、検出された物体の特徴データに対応する物体カテゴリが登録されているときは、ステップＳ４０５の学習を行うことなく、常用物候補が特定人物の手の先と接触する頻度を週単位又は月単位で算出し（ステップＳ４０６）、算出した頻度が所定の閾値（例えば週５回等）より高ければ常用物と判定し（ステップＳ４０７）、本処理を終了する。
【００８７】
ステップＳ４０５の学習処理は、学習装置５の内部にあるダイアローグプロセス制御装置５１が起動され、対象となる人物に対して音声又はディスプレイ上の表示により、その物体の名称を示すよう要求する。例えば、常用物候補の画像を所定のディスプレイに表示して、「この物は何ですか？」という質問を音声又は文字表示により行う。この質問に対する音声又は文字入力等による応答を認識、解析して得られる物体の名称を、既に格納されている画像データ及び関連情報と共に物体カテゴリ辞書に登録する。例えば、接触を行っている主体である特定人物の名称とその常用物カテゴリ名称又は常用物候補の画像データ、及び接触の平均頻度又は累積回数とを記録保存すればよい。
【００８８】
図８は、図７のステップＳ４０２の常用物候補抽出処理のフローチャートである。
【００８９】
図８において、まず、動領域としての人物頭部を検出する（ステップＳ５０１）。頭部の検出は、画像中の動きを伴う楕円近似可能な動領域であって、顔の検出が行われること、又は、毛髪色の検出（後頭部の場合）又は肌色成分の検出（正面から側面の範囲で検出される場合）がされることを条件として行われる。
【００９０】
次いで、手の先（又は手のひら、手の甲、指先等）を検出する（ステップＳ５０２）。手の先の検出は、頭部近傍にある肌色成分を有する動領域であって頭部ではない領域の先端領域を手領域候補として検出し、その候補領域について手首から先の部分に関するテンプレートマッチング等を適用して行う。ここで先端領域は手首から指先までの領域を指し、該当する領域の３次元形状モデルを用い、その形状モデルを用いて透視変換により生成される画像データと実際の画像データとの類似度評価又は対応付けを行うことにより抽出する。手領域候補の大きさは検出された頭部サイズを基準に定められ、頭部サイズより著しく大きいか又は小さい領域は候補から除かれる。手の先の検出としては、このような方法に特に限定せず他の方法を用いてもよいことは言うまでもない。
【００９１】
次いで、予め動きに関する一体性を評価するために、手先領域の動きベクトルを検出し（ステップＳ５０３）、手の領域（手先を含む）に隣接する領域であって動きベクトルがほぼ手領域と一致する領域を動きベクトルの分布に基づいて領域分割することにより抽出し（ステップＳ５０４）、その領域の物体を常用物の候補とし（ステップＳ５０５）、その物体領域の追跡を行う（ステップＳ５０６）。把持動作後の非接触状態、即ち手の先が候補物体から離れた後、この検出された物体の画像データを所定の記憶手段に格納し（ステップＳ５０７）、常用物候補を認識するための特徴抽出を行い（ステップＳ５０８）、本処理を終了する。
【００９２】
上記第２の実施の形態によれば、図７において、図８の常用物候補抽出処理を行って特定人物が一定時間以上接触する物体を検出し（ステップＳ４０２）、検出された特徴データに対応する物体カテゴリが物体カテゴリ辞書データ生成記録装置５０に登録されていないか、又は判別が困難であるときは、常用物候補の学習を行う（ステップＳ４０５）ので、特定人物の常用物の検出をその人物と対応付けて学習することにより、ある物体が不特定多数の人により使われるのか否かを判定することができる。
【００９３】
また、本実施の形態に係る動作認識装置を監視システム又はロボット等に組み込むことにより、特定人物が常用する物体を第三者が使おうとした場合に警告を発することができる。
【００９４】
図９は、本発明の第３の実施の形態に係る動作認識装置の概略構成を示す図である。
【００９５】
図９の動作認識装置は、状態検出装置４に接続され、後述する図１２の注視物体カテゴリ抽出処理を行う注視対象検出装置９と、状態検出装置４に接続され、対象となる人物の習慣的行動の検出及び学習を所定の視点位置からの時系列画像を用いて行う習慣的行動判定装置１０とを備えている点で図５の装置と異なるのみであり、他の構成要素は図５のものと同じである。
【００９６】
習慣的行動とは、ある対象となる人物がとる行動のうち場所と時間帯の少なくとも一方に関連付けられ、かつ、頻度の比較的高いものをいう。このような習慣的行動を学習し、検出することにより、人物の認証への適用や習慣的行動パターンに対応した機器や環境の自動設定を行うことができる。人物の認証へ適用する場合には、このような習慣的行動パターンの検出を主とし、当該人物の顔その他の姿からの認証を補助的に行うことにより、視点位置から比較的遠方に居る人物の認証を行う目的等に使うことができる。
【００９７】
状態検出装置４により検出される状態とは、一般的には前述したように殆ど静止の所定の姿勢又は動きの変化が小さい場合である。ここでは、状態検出装置４は後述する図１０の状態カテゴリ２０に対応する時系列画像と特徴量データを記録し、対象となる人物の姿勢、表情、基本動作カテゴリ２１の検出、及びその対象となる人物が注視している又は接触している目的物体カテゴリ２３の検出により、意味解釈のできる状態カテゴリの抽出を行う。
【００９８】
意味的解釈ができる状態とは、「テレビを見ている」、「本を読んでいる」、「食事をしている」、「瞑想をしている」等のように目的物体（テレビ、本等）と動作（見る、する等）との対応付けが可能な場合、又は、「食事」、「瞑想」等のように目的物体が物理的実体ではなく、かつ一義的に動作との対応付けは存在せず、予め意味のある状態として表情又は手足の動作に関する複数の動作パターン及び場所又は時間帯が学習装置５の辞書データ作成記録手段５０内部の記憶手段に記憶されている場合をいう。
【００９９】
図１０は、状態カテゴリの辞書データ内部での表現形式を示す図であり、（ａ）は行為の対象となる目的物体を有する場合、（ｂ）は目的物体を有しない場合を示す。
【０１００】
図１０（ｂ）において、目的物体を有する状態カテゴリ２０は、姿勢、表情、基本動作カテゴリ２１、観測される居場所又は時間帯２２、及び目的物体カテゴリ２３により記述される。目的物体カテゴリ２３は、接触物体カテゴリ２４及び注視物体カテゴリ２５の少なくとも１つから成る。
【０１０１】
例えば、「テレビを見ている」という状態カテゴリ２０は、「注視している」という基本動作カテゴリ２１、及び「テレビ」という注視物体カテゴリの２つのカテゴリを検出することにより状態が記述される。
【０１０２】
図１０（ａ）において、目的物体を有しない状態カテゴリ２０（例えば、「瞑想している」等）は、姿勢、表情、基本動作カテゴリ２１、及び観測される居場所又は時間帯２２により記述される。
【０１０３】
これにより、注視物体も接触物体も有しない状態（例えば、「瞑想」については、目を閉じて体を起こした姿勢を所定時間継続した状態として定義）についても意味的解釈のある状態として予め簡単な複数の構成要素（例えば、「瞑想」については、「目を閉じている」、「上半身の（半）直立固定姿勢」、「前方固定の顔の向き」等のように）の組み合わせとして表現しておくことができる。
【０１０４】
本実施の形態においては、殆どの場合、少なくとも接触物体及び注視物体の少なくとも１つからなる物体カテゴリ、及び動作カテゴリを検出することにより特定可能な状態カテゴリが検出される。状態カテゴリを特定する際に、前述したように観測される場所又時間帯に関する情報２２を更に抽出してもよい。
【０１０５】
これにより、例えば、ダイニングテーブルを前にして（居場所に関する情報）接触又は注視対象として「料理の盛られた食器」が検出され、動作カテゴリとして「手を口の近傍に動かす」が検出された場合を「食事をする」の状態カテゴリとする。なお、同じ状態カテゴリであっても接触対象（注視対象）カテゴリ及び動作カテゴリがそれぞれ特定の一つのカテゴリが検出されるような場合にのみ限定する必要はない。即ち、ある状態カテゴリを記述するとき、接触物体カテゴリ及び動作カテゴリをそれぞれ複数個用意しておきそのうちのいずれかが検出されることにより、その状態カテゴリを特定するようにしてもよい。
【０１０６】
図１１は、図９における習慣的行動判定装置１０によって実行される習慣的行動判定処理のフローチャートである。
【０１０７】
図１１において、状態カテゴリと時系列特徴データとの対応付けを行う（ステップＳ６０１）。状態カテゴリと時系列特徴データとの対応付けは、前述したように、学習装置５内部の辞書データ生成装置を用いて対話的に行うか、予め標準的な状態カテゴリに対応する動作パターンに関する特徴量の時系列画像データとして辞書データ作成装置の記憶手段に格納されているものとする。次いで、入力された動画像から対象となる人物を検出し、前記実施の形態と同様の被写体認識処理を人物の示す動作パターン又は姿に基づいて行う（ステップＳ６０２）。
【０１０８】
次に、その特定された人物の動作パターンの特徴量時系列画像データ（対象となる人物を構成するパーツの代表点ごとの時系列位置情報等）を検出し（ステップＳ６０３）、状態検出装置４はその時系列画像データと辞書内部の状態カテゴリとの照合を行う（ステップＳ６０４）。ステップＳ６０４では、前述した注視物体カテゴリ又は接触物体カテゴリの抽出、及び動作カテゴリの抽出を行い、次にそれらのデータを用いた状態カテゴリの分類をニューラルネットワーク、統計的処理、又はファジー推論等の技術を用いて行う。
【０１０９】
次いで、時系列画像データと辞書内部の状態カテゴリの対応付けが可能であるか否かを判別し（ステップＳ６０５）、時系列画像データと辞書内部の状態カテゴリの対応付けが可能でないか、又は困難であるときは、状態カテゴリの学習を行い（ステップＳ６０６）、時系列画像データと辞書内部の状態カテゴリの対応付けが可能であるときは、さらに状態カテゴリと関連付けられる場所、時間帯の少なくとも一方と共に所定の記憶装置に格納する（ステップＳ６０７）。
【０１１０】
ステップＳ６０６の学習は、学習装置５により時系列特徴量データと動作・状態カテゴリとの対応付けの辞書データを作成することによって行われる。学習処理はユーザとシステムとの間で対話的に行ってもよい。
【０１１１】
次いで、抽出された状態カテゴリの観測頻度を算出して、例えば、週に３回以上の頻度の状態又は動作を習慣的行動とすることにより、習慣性の判定を行って（ステップＳ６０８）、本処理を終了する。
【０１１２】
図１１の処理によれば、その特定された人物の動作パターンの特徴量時系列画像データを検出し（ステップＳ６０３）、時系列画像データと辞書内部の状態カテゴリの対応付けが可能でないか、又は困難であるときは、状態カテゴリの学習を行う（ステップＳ６０６）ので、状態カテゴリを学習し、その状態カテゴリの頻度を算出することにより習慣性の判定を行うことができる。
【０１１３】
次に、図１０における注視物体カテゴリ２５の検出処理の流れについて説明する。先ず、対象となる人物の視線方向、又は顔の向きの検出を行う。その検出された方向が一定時間以上ほぼ同じ方向（視野角にして±１０度以内）に留まっていることが検出された場合に「注視している」という状態にあると判定される。但し、顔の向きはほぼ一定であっても、視線方向は定まっていないことが検出できる場合には「注視している」の状態には該当しないものとする。
【０１１４】
なお、顔の向きは判別できても、正面の顔画像を検出できないために目が開いているか分からない場合には、目が開いているものとして処理するが、「注視している」という状態に対応する動作や姿勢に関する状態は必ずしも一つに定まらないので、他の動作・姿勢を検出してもよいことはいうまでもない。
【０１１５】
注視対象検出装置９が行う注視物体カテゴリの抽出処理は、視線方向又は顔の向きの方向にある物体であって、注視対象となり得る物体を注視物体カテゴリとして状態認識装置４内部の記憶部に記憶し、画像データを記憶された注視物体カテゴリと照合して最大類似度を与える注視物体カテゴリを抽出することにより行う。
【０１１６】
図１２は、図９における注視対象検出装置９によって実行される注視物体カテゴリ抽出処理を説明するのに用いられる図であり、（ａ）は観測位置が人物の上方である場合、（ｂ）は観測位置が人物の後方である場合を示す。
【０１１７】
図１２（ａ）に示すように、観測位置が人物の上方であるとき、例えば、カメラが天井に設置される等、人物の存在位置より充分に高い所にあって下を見下ろすようなときは、注視対象は、人物の顔の向き（又は視線方向）を中心とする所定範囲（例えば、３０度が目安となる）の視野角内にある注視物体カテゴリに属する物体をいう。顔の向きは頭部中心と鼻の頂点（又は上から見た頭部の凸部頂点）を結ぶ方向とする。
【０１１８】
図１２（ｂ）に示すように、観測位置が人物の後方であり、かつ人物の注視対象がその人物により遮蔽されていないときは、画像中にある物体であって人物の（後ろ姿の）近傍領域にあるものから該当する物体カテゴリを抽出する。この注視対象の探索範囲は一般的には、動作認識装置の視点位置から見た人物及び注視対象となり得る物体の相対距離に依存する。ここでは、動作認識装置の視点位置から見た人物頭部のサイズから人物までの距離を推定し、その人物を中心とした所定の視野角範囲を探索範囲とする。
【０１１９】
この場合、可能であれば動作認識装置は後頭部の画像から予め行う画像ベースでの対応付け（キャリブレーション）等により顔の向きを大まかに推定し、その推定された方向を中心とする範囲であって人物位置を基準とする所定の視野角範囲を探索範囲としてもよい。
【０１２０】
注視物体カテゴリの特定は、複数の観測位置からの画像を用いて行ってもよい。例えば、人物の上方及び後方の観測位置から候補となる注視物体カテゴリをそれぞれ抽出し、共通するカテゴリから特定してもよい。また、上記いずれにも該当しない位置に動作認識装置の画像入力手段（撮像装置）が存在する場合、例えば、人物の横顔が観測されるような場合には、その観測位置からの注視対象の推定を行わない。
【０１２１】
図１２の処理によれば、対象が注視する物体の注視物体カテゴリを抽出することができる。
【０１２２】
上記第３の実施の形態によれば、図１２の処理により注視物体カテゴリを抽出し、図１１の処理により状態カテゴリを学習し、その状態カテゴリの頻度を算出することにより習慣性の判定を行うことができる。
【０１２３】
上記第１〜第３の実施の形態によれば、画像データ及び動作パターンの両方からそれぞれの信頼度に基づいて人物等の対象となる人物を特定することができ、対象となる人物が比較的遠方にいる場合や照明条件等が大きく変動してもその対象となる人物の特定を高い精度で行うことができる。また、動作の意味をその特定の対象となる人物と対応付けて学習することにより、機器制御のパーソナライズ化を行うことができる。更に、特定の人物の常用物、習慣的行動パターンの検出及び学習を簡便に行うことができる。
【０１２４】
また、本発明の目的は、上記実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム又は装置に供給し、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出して実行することによっても達成されることは言うまでもない。
【０１２５】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２６】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(ＯＳ)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１２７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１２８】
また、上記プログラムは、上述した実施の形態の機能をコンピュータで実現することができればよく、その形態は、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給されるスクリプトデータ等の形態を有するものでもよい。
【０１２９】
プログラムを供給する記録媒体としては、例えば、ＲＡＭ、ＮＶ−ＲＡＭ、フロッピー（登録商標）ディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ）、磁気テープ、不揮発性のメモリカード、他のＲＯＭ等の上記プログラムを記憶できるものであればよい。又は、上記プログラムは、インターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続される不図示の他のコンピュータやデータベース等からダウンロードすることにより供給される。
【図面の簡単な説明】
【０１３０】
【図１】本発明の第１の実施の形態に係る動作認識装置の概略構成を示す図である。
【図２】図１の動作認識装置によって実行される動作認識処理のフローチャートである。
【図３】図２のステップＳ１０２の被写体認識処理のフローチャートである。
【図４】図２のステップＳ１０３の動作パターン抽出処理のフローチャートである。
【図５】本発明の第２の実施の形態に係る動作認識装置の概略構成を示す図である。
【図６】図５における学習装置５の内部構成を示すブロック図である。
【図７】図５における常用物検出装置７によって実行される常用物検出処理のフローチャートである。
【図８】図７のステップＳ４０２の常用物候補抽出処理のフローチャートである。
【図９】本発明の第３の実施の形態に係る動作認識装置の概略構成を示す図である。
【図１０】状態カテゴリの辞書データ内部での表現形式を示す図であり、（ａ）は行為の対象となる目的物体を有しない場合、（ｂ）は目的物体を有する場合を示す。
【図１１】図９における習慣的行動判定装置１０によって実行される習慣的行動判定処理のフローチャートである。
【図１２】図９における注視対象検出装置９によって実行される注視物体カテゴリ抽出処理を説明するのに用いられる図であり、（ａ）は観測位置が人物の上方である場合、（ｂ）は観測位置が人物の後方である場合を示す。
【符号の説明】
【０１３１】
１  画像入力装置
２  動体検出装置
３  被写体認識装置
４  状態検出装置
５  学習装置
６  処理制御装置
７  常用物検出装置
８  表示装置
９  注視対象検出装置
１０  習慣的行動判定装置
【図１】
2005202653.tif 000003
【図２】
2005202653.tif 000004
【図３】
2005202653.tif 000005
【図４】
2005202653.tif 000006
【図５】
2005202653.tif 000007
【図６】
2005202653.tif 000008
【図７】
2005202653.tif 000009
【図８】
2005202653.tif 000010
【図９】
2005202653.tif 000011
【図１０】
2005202653.tif 000012
【図１１】
2005202653.tif 000013
【図１２】
2005202653.tif 000014