(57)【要約】【課題】  人物の撮影画像に基づく姿勢解析、行動解析を効率的に実行する装置および方法を提供する。【解決手段】  カメラの撮影画像フレームに含まれる人物画像に基づいて、フレーム対応姿勢判定パラメータを取得し、記憶部に格納された複数の登録姿勢に対応する登録パラメータとの比較を実行して、フレーム対応姿勢判定パラメータに類似する登録パラメータを持つ登録姿勢を、撮影画像フレームに含まれる人物の姿勢として分類し、分類された登録姿勢に基づいて解析情報を生成する。本構成により、姿勢解析処理効率が向上し、蓄積データ量の削減が実現される。姿勢の評価情報、姿勢とその時間的占有率情報を対応付けた情報、行動とその時間的占有率情報を対応付けた情報などを解析情報として取得、提供することが可能となる。【選択図】  図７
2007048232.tif 000002
【特許請求の範囲】
【請求項１】
対象領域を撮影する撮影部と、
前記撮影部の撮影画像に含まれる人物画像に基づいて、姿勢判定情報を取得する姿勢判定処理部と、
複数の登録姿勢に対応する姿勢判定情報を登録情報として記憶した記憶部と、
前記姿勢判定情報と、前記記憶部に格納された複数の登録情報とを比較し、前記姿勢判定情報に類似する登録情報を持つ登録姿勢を、前記撮影画像に含まれる人物の姿勢として分類する姿勢分類処理部と、
前記姿勢分類処理部において分類された登録姿勢に基づいて解析情報を生成する解析情報生成部と、
前記解析情報生成部の生成した解析情報を出力する情報出力部と、
を有することを特徴とする情報処理装置。
【請求項２】
前記記憶部は、
前記複数の登録姿勢に対応する登録情報として各登録姿勢の評価判定情報有し、
前記解析情報生成部は、
前記姿勢分類処理部において分類された登録姿勢に対応して設定された評価判定情報に基づいて、前記撮影画像に含まれる人物の姿勢についての評価情報を生成する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記情報出力部は、
前記解析情報生成部の生成した評価情報について、インジケータ表示処理を実行する構成であることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記情報出力部は、
前記撮影画像に含まれる人物の頭部および胴体の傾き情報を、人物画像に併せて表示する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記情報出力部は、
前記姿勢判定処理部において、生成した姿勢の角度の基準を示す基準線と、姿勢の傾きを示す線とを姿勢を示す画像に重畳して表示する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記解析情報生成部は、
予め定めた測定期間内における人物の姿勢解析情報を生成する構成であり、
前記測定期間内に取得された前記撮影画像に基づいて前記姿勢分類処理部が分類した各前記撮影画像に対応する分類登録姿勢に基づいて、登録姿勢と、前記測定期間内における該登録姿勢の時間的占有率情報を対応付けた情報を解析情報として生成する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記解析情報生成部は、
予め定めた測定期間内における人物の行動解析情報を生成する構成であり、
前記測定期間内に取得された前記撮影画像に基づいて前記姿勢分類処理部が分類した各撮影画像の分類登録姿勢に基づいて、該登録姿勢に対応付けられる行動態様と、前記測定期間内における該行動の時間的占有率を対応付けた情報を解析情報として生成する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記記憶部は、
複数の登録姿勢に対応する登録パラメータと、各登録姿勢に対応する行動情報を記録データとして有し、
前記解析情報生成部は、
前記測定期間内に取得されたフレーム画像に基づいて前記姿勢分類処理部が分類した各フレームの分類登録姿勢に基づいて、記憶部から登録姿勢対応の行動情報を取得し、取得した行動情報に基づいて、行動態様と前記測定期間内における該行動の時間的占有率情報を生成する構成であることを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記姿勢判定処理部は、
前記撮影画像に含まれる人物画像の姿勢判定情報として、人物の輪郭に基づいて設定されるポリゴン、または人物の構成部位に対応付けられる楕円、重心位置、角度の少なくともいずれかの情報を取得する構成であり、
前記姿勢分類処理部は、
前記姿勢判定情報と、前記記憶部に格納された複数の登録情報との比較を、人物の輪郭に基づいて設定されるポリゴン、または人物の構成部位に対応付けられる楕円、重心位置、角度の少なくともいずれかの情報を適用して実行する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記姿勢判定処理部は、
前記撮影部の撮影する連続フレームから一部のフレームを選択し、該選択フレームの撮影画像に含まれる人物画像に基づいて、姿勢判定情報を取得する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項１１】
前記撮影部は、
前記情報出力部が情報を出力する表示画面に隣接して設けられ、撮影対象者の上半身を撮影範囲として設定した撮影を実行する構成であり、
前記姿勢判定処理部は、
前記撮影部の撮影画像に含まれる人物画像に基づいて、前記撮影対象者の頭部および胴体を分けて姿勢判定処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項１２】
前記姿勢判定処理部は、
前記撮影対象者の頭部および胴体の各々に対応する楕円と、該楕円の長軸および短軸を求め、各楕円における長軸の垂直軸に対する傾きに基づいて姿勢を判定する処理を実行する構成であることを特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
前記情報処理装置は、さらに、
音声入力部を有し、
前記解析情報生成部は、
前記音声入力部から入力する音声情報に基づいて、解析情報を生成する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項１４】
前記解析情報生成部は、
前記姿勢分類処理部において分類された登録姿勢に基づいて、健康管理情報または生産性管理情報を生成する処理を実行する構成であり、
前記情報出力部は、
前記解析情報生成部の生成した健康管理情報または生産性管理情報を出力する構成であることを特徴とする請求項１に記載の情報処理装置。
【請求項１５】
対象領域を撮影する撮影ステップと、
前記撮影ステップにおいて撮影した撮影画像に含まれる人物画像に基づいて、姿勢判定情報を取得する姿勢判定処理ステップと、
前記姿勢判定情報と、記憶部に格納された複数の登録姿勢に対応する姿勢判定情報としての登録情報とを比較し、前記姿勢判定情報に類似する登録情報を持つ登録姿勢を、前記撮影画像に含まれる人物の姿勢として分類する姿勢分類処理ステップと、
前記姿勢分類処理ステップにおいて分類された登録姿勢に基づいて解析情報を生成する解析情報生成ステップと、
前記解析情報生成ステップにおいて生成した解析情報を出力する情報出力ステップと、
を有することを特徴とする情報処理方法。
【請求項１６】
前記解析情報生成ステップは、
前記姿勢分類処理ステップにおいて分類された登録姿勢に対応して設定された評価判定情報に基づいて、前記撮影画像に含まれる人物の姿勢についての評価情報を生成するステップであることを特徴とする請求項１５に記載の情報処理方法。
【請求項１７】
前記解析情報生成ステップは、
予め定めた測定期間内における人物の姿勢解析情報を生成するステップであり、
前記測定期間内に取得された前記撮影画像に基づいて前記姿勢分類処理ステップにおいて分類された各撮影画像の分類登録姿勢に基づいて、登録姿勢と、前記測定期間内における該登録姿勢の時間的占有率情報を対応付けた情報を解析情報として生成することを特徴とする請求項１５に記載の情報処理方法。
【請求項１８】
前記解析情報生成ステップは、
予め定めた測定期間内における人物の行動解析情報を生成するステップであり、
前記測定期間内に取得された前記撮影画像に基づいて前記姿勢分類処理ステップにおいて分類された各撮影画像の分類登録姿勢に基づいて、該登録姿勢に対応付けられる行動態様と、前記測定期間内における該行動の時間的占有率を対応付けた情報を解析情報として生成することを特徴とする請求項１５に記載の情報処理方法。
【請求項１９】
前記姿勢判定処理ステップは、
前記撮影画像に含まれる人物画像の姿勢判定情報として、人物画像の姿勢判定パラメータとして、人物の輪郭に基づいて設定されるポリゴン、または人物の構成部位に対応付けられる楕円、重心位置、角度の少なくともいずれかの情報を取得するステップであり、
前記姿勢分類処理ステップは、
前記姿勢判定情報と、前記記憶部に格納された複数の登録情報との比較を、人物の輪郭に基づいて設定されるポリゴン、または人物の構成部位に対応付けられる楕円、重心位置、角度の少なくともいずれかの情報を適用して実行するステップであることを特徴とする請求項１５に記載の情報処理方法。
【請求項２０】
姿勢解析処理を情報処理装置において実行させるコンピュータ・プログラムであり、
対象領域を撮影する撮影ステップと、
前記撮影ステップにおいて撮影した撮影画像に含まれる人物画像に基づいて、姿勢判定情報を取得する姿勢判定処理ステップと、
前記姿勢判定情報と、記憶部に格納された複数の登録姿勢に対応する姿勢判定情報としての登録情報とを比較し、前記姿勢判定情報に類似する登録情報を持つ登録姿勢を、前記撮影画像に含まれる人物の姿勢として分類する姿勢分類処理ステップと、
前記姿勢分類処理ステップにおいて分類された登録姿勢に基づいて解析情報を生成する解析情報生成ステップと、
前記解析情報生成ステップにおいて生成した解析情報を出力する情報出力ステップと、
を有することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザを撮影した画像や音声を入力し、ユーザの姿勢検出や、ユーザの姿勢、行動解析処理を行なう情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、例えばカメラによるユーザの撮影画像からユーザの姿勢を判定し、判定情報を提供する処理や、一定期間の撮影画像や取得音声に基づいてユーザの姿勢や行動サマリーを生成して提供することを可能とした情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
人物をカメラによって撮影し、その撮影画像に基づいてユーザの動作や姿勢などを解析するシステムについての研究、開発が盛んに行なわれている。例えば特許文献１には、人物の顔を含む画像データを取得して顔画像領域とその他の身体画像領域とに基づいて人物の動作内容を解析するシステムについて開示している。
【０００３】
また、ＰＣなどの情報処理装置に対するデータ入力処理において、マウスやキーボードのような物理的なデバイスを使わずに、ユーザの身振りや手振りなどのジェスチャーを解析して、この解析結果に基づいてデータ入力を行なう方法が提案されている。例えば、非特許文献１〜３は、このようなユーザの身振りや手振りなどのジェスチャーを識別して、コマンド入力を行なう手法を開示している。
【０００４】
この方法では、まず、ビデオカメラで人物や人物の一部、例えば手を撮影し、画像処理によって背景から身体領域を切り出す。その後、その身体領域の部分が身体のどの部分に相当するかを特定する。これには身体モデルとのマッチングが必要となる。
【０００５】
次に、身体形状の連続的な変化にもとづいて身振り（ジェスチャー）の意味を推定する。この推定は、身体形状の時系列的な変化とその意味を対応付けた辞書（身振り辞書）にもとづいて行なわれる。
【０００６】
さらに、その他の画像に基づく動作識別処理を開示した従来技術としては、例えば、特許文献２に記載の技術がある。特許文献２には、被写体を複数のカメラで異なる方向から撮影し、これらの複数の画像の解析を行うことで、被写体の３次元の動きを解析する手法が示されている。また、特許文献３には、人物の頭部の撮影画像に基づいて頭部の動きと、視線方向を検出して、人物のうなずき動作を高精度に検出する構成が示されている。
【特許文献１】特開２００５−７８２５７号公報
【特許文献２】特開平１０−３３４２７０号公報
【特許文献３】特開２０００−１６３１９６号公報
【非特許文献１】Ｓ．Ｍａｒｃｅｌ，"Ｇｅｓｔｕｒｅｓ  ｆｏｒ  ｍｕｌｔｉ−ｍｏｄａｌ  ｉｎｔｅｒｆａｃｅｓ：Ａ  ｒｅｖｉｅｗ"，Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ＩＤＩＡＰ−ＲＲ０２−３４，２００２．
【非特許文献２】Ｖ．Ｉ．Ｐａｖｌｏｖｉｃ，Ｒ．Ｓｈａｒｍａ＆Ｔ．Ｓ．Ｈｕａｎｇ，"Ｖｉｓｕａｌ  ｉｎｔｅｒｐｒｅｔａｔｉｏｎ  ｏｆ  ｈａｎｄ  ｇｅｓｔｕｒｅｓ  ｆｏｒ  ｈｕｍａｎ−ｃｏｍｐｕｔｅｒ  ｉｎｔｅｒａｃｔｉｏｎ：ａ  ｒｅｖｉｅｗ"，ＩＥＥＥ  Ｔｒａｎｓ，ｏｎ  ＰＡＭＩ，１９（７），６７７−６９５，１９９７．
【非特許文献３】Ｍ．Ｔｕｒｋ，"Ｇｅｓｔｕｒｅ  ｒｅｃｏｇｎｉｔｉｏｎ"，Ｉｎ  Ｋ．Ｓｔａｎｎｅｙ（Ｅｄ．），Ｈａｎｄｂｏｏｋ  ｏｆ  Ｖｉｒｔｕａｌ  Ｅｎｖｉｒｏｎｍｅｎｔ  Ｔｅｃｈｎｏｌｏｇｙ．
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、上述した、従来技術に示されているユーザの動作検出、姿勢検出処理は、撮影画像データに基づく極めて複雑なアルゴリズムによる解析を必要とするものであり、効率的な処理とは言えず、専用のシステムの構築の必要性、コスト高、処理負荷が大きいといった問題を有している。すなわち、計算量が膨大であり、しかも認識精度が低いという欠点がある。また、ビデオ画像から人物や人物の一部を切り出して追尾させるためには、従来の方法では、機械学習による学習を必要としており、この学習に手間がかかるという問題がある。
【０００８】
本発明は、これらの問題点に鑑みて行なわれたもので、その目的は、物理的なデバイスを一切装着することなく、また多大な機械学習によるチューニングなしに、カメラによるユーザの撮影画像から効率的にユーザの姿勢を判定し、判定情報を提供する処理や、一定期間の撮影画像や取得音声に基づいてユーザの姿勢や行動サマリーを生成して提供することを可能とした情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供することである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面は、対象領域を撮影する撮影部と、前記撮影部の撮影画像に含まれる人物画像に基づいて、姿勢判定情報を取得する姿勢判定処理部と、複数の登録姿勢に対応する姿勢判定情報を登録情報として記憶した記憶部と、前記姿勢判定情報と、前記記憶部に格納された複数の登録情報とを比較し、前記姿勢判定情報に類似する登録情報を持つ登録姿勢を、前記撮影画像に含まれる人物の姿勢として分類する姿勢分類処理部と、前記姿勢分類処理部において分類された登録姿勢に基づいて解析情報を生成する解析情報生成部と、前記解析情報生成部の生成した解析情報を出力する情報出力部とを有することを特徴とする情報処理装置にある。
【００１０】
本構成によれば、多数の撮影フレーム画像を入力して姿勢解析を実行する場合、撮影画像に含まれる人物画像を特定の限られた数の登録姿勢に分類して、分類登録姿勢に基づく解析を実行する構成としたので、処理効率が向上し、蓄積データ量の削減も実現される。また、登録姿勢に基づく解析情報の生成、ユーザに対する解析情報の提供も処理負担が軽減され効率的に行なうことが可能となる。
【００１１】
さらに、本発明の情報処理装置の一実施態様において、前記記憶部は、前記複数の登録姿勢に対応する登録情報として各登録姿勢の評価判定情報有し、前記解析情報生成部は、前記姿勢分類処理部において分類された登録姿勢に対応して設定された評価判定情報に基づいて、前記撮影画像に含まれる人物の姿勢についての評価情報を生成する構成であることを特徴とする。
【００１２】
本構成によれば、ユーザに対するフィードバック情報として姿勢の評価情報を提供することが可能となり、ユーザは、評価情報に基づいて、姿勢の修正を行なうことが可能となる。
【００１３】
さらに、本発明の情報処理装置の一実施態様において、前記情報出力部は、前記解析情報生成部の生成した評価情報について、インジケータ表示処理を実行する構成であることを特徴とする。
【００１４】
本構成によれば、自分の姿勢の状態をインジケータで確認することが可能となり、姿勢の修正をインジケータを確認しながら正しく実行することができる。
【００１５】
さらに、本発明の情報処理装置の一実施態様において、前記情報出力部は、撮影画像フレームに含まれる人物の頭部および胴体の傾き情報を、人物画像に併せて表示する処理を実行する構成であることを特徴とする。
【００１６】
本構成によれば、自分の姿勢の状態を人物画像と頭部および胴体の傾き情報で確認することが可能となり、姿勢の修正を画像を確認しながら正しく実行することができる。
【００１７】
さらに、本発明の情報処理装置の一実施態様において、前記情報出力部は、前記姿勢判定処理部において、生成した姿勢の角度の基準を示す基準線と、姿勢の傾きを示す線とを姿勢を示す画像に重畳して表示する処理を実行する構成であることを特徴とする。
【００１８】
本構成によれば、自分の姿勢の状態を人物画像と姿勢の角度の基準を示す基準線と、姿勢の傾きを示す線線で確認することが可能となり、姿勢の修正を画像を確認しながら正しく実行することができる。
【００１９】
さらに、本発明の情報処理装置の一実施態様において、前記解析情報生成部は、
予め定めた測定期間内における人物の姿勢解析情報を生成する構成であり、前記測定期間内に取得された前記撮影画像に基づいて前記姿勢分類処理部が分類した各前記撮影画像に対応する分類登録姿勢に基づいて、登録姿勢と、前記測定期間内における該登録姿勢の時間的占有率情報を対応付けた情報を解析情報として生成する構成であることを特徴とする。
【００２０】
本構成によれば、姿勢とその時間的占有率情報を対応付けた情報を解析情報として取得することが可能となり、情報を例えば、健康管理や業務管理に適用することも可能となる。
【００２１】
さらに、本発明の情報処理装置の一実施態様において、前記解析情報生成部は、予め定めた測定期間内における人物の行動解析情報を生成する構成であり、前記測定期間内に取得された前記撮影画像に基づいて前記姿勢分類処理部が分類した各撮影画像の分類登録姿勢に基づいて、該登録姿勢に対応付けられる行動態様と、前記測定期間内における該行動の時間的占有率を対応付けた情報を解析情報として生成する構成であることを特徴とする。
【００２２】
本構成によれば、行動とその時間的占有率情報を対応付けた情報を解析情報として取得することが可能となり、情報を例えば生産性管理や業務管理に適用することも可能となる。
【００２３】
さらに、本発明の情報処理装置の一実施態様において、前記記憶部は、複数の登録姿勢に対応する登録パラメータと、各登録姿勢に対応する行動情報を記録データとして有し、前記解析情報生成部は、前記測定期間内に取得されたフレーム画像に基づいて前記姿勢分類処理部が分類した各フレームの分類登録姿勢に基づいて、記憶部から登録姿勢対応の行動情報を取得し、取得した行動情報に基づいて、行動態様と前記測定期間内における該行動の時間的占有率情報を生成する構成であることを特徴とする。
【００２４】
本構成によれば、予め記憶部に登録した姿勢情報に行動情報を対応付けて記憶させる構成としたので、ユーザ固有の行動がある場合であってもこれらの行動情報を姿勢に対応付けて登録することで、ユーザに対応した固有の行動解析を行なうことが可能となる。
【００２５】
さらに、本発明の情報処理装置の一実施態様において、前記姿勢判定処理部は、前記撮影画像に含まれる人物画像の姿勢判定情報として、人物の輪郭に基づいて設定されるポリゴン、または人物の構成部位に対応付けられる楕円、重心位置、角度の少なくともいずれかの情報を取得する構成であり、前記姿勢分類処理部は、前記姿勢判定情報と、前記記憶部に格納された複数の登録情報との比較を、人物の輪郭に基づいて設定されるポリゴン、または人物の構成部位に対応付けられる楕円、重心位置、角度の少なくともいずれかの情報を適用して実行する構成であることを特徴とする。
【００２６】
本構成によれば、画像データ事態の比較ではなく、人物の輪郭に基づいて設定されるポリゴン、または人物の構成部位に対応付けられる楕円、重心位置、角度などをパラメータとして比較処理を行なう構成であるので、データ量が削減され、処理後列を高めることが可能となる。
【００２７】
さらに、本発明の情報処理装置の一実施態様において、前記姿勢判定処理部は、前記撮影部の撮影する連続フレームから一部のフレームを選択し、該選択フレームの撮影画像に含まれる人物画像に基づいて、姿勢判定情報を取得する構成であることを特徴とする。
【００２８】
本構成によれば、フレームを間欠的に処理する構成としたので、処理負担が軽減され、効率的な処理が可能となる。
【００２９】
さらに、本発明の情報処理装置の一実施態様において、前記撮影部は、前記情報出力部が情報を出力する表示画面に隣接して設けられ、撮影対象者の上半身を撮影範囲として設定した撮影を実行する構成であり、前記姿勢判定処理部は、前記撮影部の撮影画像に含まれる人物画像に基づいて、前記撮影対象者の頭部および胴体を分けて姿勢判定処理を実行する構成であることを特徴とする。
【００３０】
本構成によれば、撮影対象者の頭部および胴体を分けて姿勢判定処理を実行する構成としたので、より正確な姿勢判定が実現される。
【００３１】
さらに、本発明の情報処理装置の一実施態様において、前記姿勢判定処理部は、前記撮影対象者の頭部および胴体の各々に対応する楕円と、該楕円の長軸および短軸を求め、各楕円における長軸の垂直軸に対する傾きに基づいて姿勢を判定する処理を実行する構成であることを特徴とする。
【００３２】
本構成によれば、撮影対象者の頭部および胴体の各々に対応する楕円と、該楕円の長軸および短軸を求め、各楕円における長軸の垂直軸に対する傾きに基づいて姿勢を判定する構成としたので、より簡略かした処理アルゴリズムの実行に基づく姿勢判定が実現される。
【００３３】
さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、音声入力部を有し、前記解析情報生成部は、前記音声入力部から入力する音声情報に基づいて、解析情報を生成する構成であることを特徴とする。
【００３４】
本構成によれば、音声入力部から入力する音声情報に基づいて、解析情報を生成する構成としたので、例えば電話中、あるいは会話中などの行動を解析することができる。
【００３５】
さらに、本発明の情報処理装置の一実施態様において、前記解析情報生成部は、前記姿勢分類処理部において分類された登録姿勢に基づいて、健康管理情報または生産性管理情報を生成する処理を実行する構成であり、前記情報出力部は、前記解析情報生成部の生成した健康管理情報または生産性管理情報を出力する構成であることを特徴とする。
【００３６】
本構成によれば、登録姿勢に基づく健康管理情報または生産性管理情報を生成してユーザに提供する構成としたので、ユーザは、情報の活用範囲として、自己の健康管理や生産性管理を行なうことができる。
【００３７】
さらに、本発明の第２の側面は、対象領域を撮影する撮影ステップと、前記撮影ステップにおいて撮影した撮影画像に含まれる人物画像に基づいて、姿勢判定情報を取得する姿勢判定処理ステップと、前記姿勢判定情報と、記憶部に格納された複数の登録姿勢に対応する姿勢判定情報としての登録情報とを比較し、前記姿勢判定情報に類似する登録情報を持つ登録姿勢を、前記撮影画像に含まれる人物の姿勢として分類する姿勢分類処理ステップと、前記姿勢分類処理ステップにおいて分類された登録姿勢に基づいて解析情報を生成する解析情報生成ステップと、前記解析情報生成ステップにおいて生成した解析情報を出力する情報出力ステップと、を有することを特徴とする情報処理方法にある。
【００３８】
本構成によれば、多数の撮影フレーム画像を入力して姿勢解析を実行する場合、フレーム画像に含まれる人物画像を特定の限られた数の登録姿勢に分類して、分類登録姿勢に基づく解析を実行する構成としたので、処理効率が向上し、蓄積データ量の削減も実現される。また、登録姿勢に基づく解析情報の生成、ユーザに対する解析情報の提供も処理負担が軽減され効率的に行なうことが可能となる。
【００３９】
さらに、本発明の情報処理方法の一実施態様において、前記解析情報生成ステップは、前記姿勢分類処理ステップにおいて分類された登録姿勢に対応して設定された評価判定情報に基づいて、前記撮影画像に含まれる人物の姿勢についての評価情報を生成するステップであることを特徴とする。
【００４０】
本構成によれば、ユーザに対するフィードバック情報として姿勢の評価情報を提供することが可能となり、ユーザは、評価情報に基づいて、姿勢の修正を行なうことが可能となる。
【００４１】
さらに、本発明の情報処理方法の一実施態様において、前記解析情報生成ステップは、予め定めた測定期間内における人物の姿勢解析情報を生成するステップであり、前記測定期間内に取得された前記撮影画像に基づいて前記姿勢分類処理ステップにおいて分類された各撮影画像の分類登録姿勢に基づいて、登録姿勢と、前記測定期間内における該登録姿勢の時間的占有率情報を対応付けた情報を解析情報として生成することを特徴とする。
【００４２】
本構成によれば、姿勢とその時間的占有率情報を対応付けた情報を解析情報として取得することが可能となり、情報を例えば、健康管理や業務管理に適用することも可能となる。
【００４３】
さらに、本発明の情報処理方法の一実施態様において、前記解析情報生成ステップは、予め定めた測定期間内における人物の行動解析情報を生成するステップであり、前記測定期間内に取得された前記撮影画像に基づいて前記姿勢分類処理ステップにおいて分類された各撮影画像の分類登録姿勢に基づいて、該登録姿勢に対応付けられる行動態様と、前記測定期間内における該行動の時間的占有率を対応付けた情報を解析情報として生成することを特徴とする。
【００４４】
本構成によれば、行動とその時間的占有率情報を対応付けた情報を解析情報として取得することが可能となり、情報を例えば生産性管理や業務管理に適用することも可能となる。
【００４５】
さらに、本発明の情報処理方法の一実施態様において、前記姿勢判定処理ステップは、
前記撮影画像に含まれる人物画像の姿勢判定情報として、人物画像の姿勢判定パラメータとして、人物の輪郭に基づいて設定されるポリゴン、または人物の構成部位に対応付けられる楕円、重心位置、角度の少なくともいずれかの情報を取得するステップであり、前記姿勢分類処理ステップは、前記姿勢判定情報と、前記記憶部に格納された複数の登録情報との比較を、人物の輪郭に基づいて設定されるポリゴン、または人物の構成部位に対応付けられる楕円、重心位置、角度の少なくともいずれかの情報を適用して実行するステップであることを特徴とする。
【００４６】
本構成によれば、画像データ事態の比較ではなく、人物の輪郭に基づいて設定されるポリゴン、または人物の構成部位に対応付けられる楕円、重心位置、角度などをパラメータとして比較処理を行なう構成であるので、データ量が削減され、処理後列を高めることが可能となる。
【００４７】
さらに、本発明の第３の側面は、姿勢解析処理を情報処理装置において実行させるコンピュータ・プログラムであり、対象領域を撮影する撮影ステップと、前記撮影ステップにおいて撮影した撮影画像に含まれる人物画像に基づいて、姿勢判定情報を取得する姿勢判定処理ステップと、前記姿勢判定情報と、記憶部に格納された複数の登録姿勢に対応する姿勢判定情報としての登録情報とを比較し、前記姿勢判定情報に類似する登録情報を持つ登録姿勢を、前記撮影画像に含まれる人物の姿勢として分類する姿勢分類処理ステップと、前記姿勢分類処理ステップにおいて分類された登録姿勢に基づいて解析情報を生成する解析情報生成ステップと、前記解析情報生成ステップにおいて生成した解析情報を出力する情報出力ステップとを有することを特徴とするコンピュータ・プログラムにある。
【００４８】
本構成によれば、多数のフレーム画像を入力して姿勢解析を実行する場合、フレーム画像に含まれる人物画像を特定の限られた数の登録姿勢に分類して、分類登録姿勢に基づく解析を実行する構成としたので、処理効率が向上し、蓄積データ量の削減も実現される。また、登録姿勢に基づく解析情報の生成、ユーザに対する解析情報の提供も処理負担が軽減され効率的に行なうことが可能となる。
【００４９】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。
【００５０】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００５１】
本発明の構成によれば、カメラの撮影画像フレームに含まれる人物画像に基づいて、フレーム対応姿勢判定パラメータを取得し、記憶部に格納された複数の登録姿勢に対応する登録パラメータとの比較を実行して、フレーム対応姿勢判定パラメータに類似する登録パラメータを持つ登録姿勢を、撮影画像フレームに含まれる人物の姿勢として分類し、分類された登録姿勢に基づいて解析情報を生成する構成とした。本構成により、姿勢解析処理効率が向上し、蓄積データ量の削減が実現される。さらに、姿勢の評価情報、姿勢とその時間的占有率情報を対応付けた情報、行動とその時間的占有率情報を対応付けた情報などを解析情報として取得、提供することが可能となる。提供情報は、例えば健康管理、生産性管理や業務管理に適用可能である。
【発明を実施するための最良の形態】
【００５２】
以下、図面を参照しながら本発明の情報処理装置、および情報処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００５３】
まず、図１を参照して、本発明の情報処理装置の実行する処理の概要について説明する。図１に示すように、情報処理装置１００は、ビデオカメラ１０１、およびマイク１０２を備え、ユーザ１０を撮影した画像データおよび周囲の音声データを入力する。情報処理装置１００は、ビデオカメラ１０１によって撮影される画像データと、マイク１０２の取得する音声データを入力して、ユーザの姿勢や行動を解析する。
【００５４】
情報処理装置１００のハードディスクなどの記憶手段には、背景画像情報や、ユーザの複数の姿勢情報が登録されており、登録された姿勢情報と、入力画像の解析に基づくユーザの姿勢解析結果に基づいて、アラーム出力などの処理を行なう。画像解析によるユーザの姿勢情報は、情報処理装置１００のディスプレイに設定された姿勢情報表示領域１０５に表示される。姿勢情報表示は、例えばユーザの撮影画像に所定の姿勢判定の可能なラインを重畳した表示や、ユーザの姿勢が良い状態にあるか悪い常態にあるかなどを判別可能としたインジケータ表示など、各種の態様で表示される。これらの具体的内容については後段で説明する。
【００５５】
情報処理装置１００は、さらに、ビデオカメラ１０１によって撮影される画像データに基づくユーザの姿勢解析を実行し、一定期間、例えば朝から夕方までの１日のワーキングタイムにおけるユーザの姿勢のサマリーを生成する。すなわち、オフィスにおいてユーザが１日仕事をしている間の姿勢の推移を蓄積し、どのような姿勢が多くとられているかなどのサマリーを生成する。また、情報処理装置１００は、さらに、ビデオカメラ１０１によって撮影される画像データや、マイク１０２の取得する音声データの解析によって、ユーザの行動解析を実行する。例えばＰＣに対して情報入力を行なっている時間や、電話をしている時間などの一連のユーザの行動を解析する。
【００５６】
図２以下を参照して、本発明の情報処理装置の構成、および処理の詳細について説明する。図２は、本発明の情報処理装置の全体構成を示すブロック図である。なお、情報処理装置の実行するデータ処理は、情報処理装置の有するハードウェアと、コンピュータ・プログラムを適用することによって実行されるものであり、図２に示す図は、これらの各処理を処理機能別のブロックとして示したブロック図である。なお、情報処理装置のハードウェア構成の具体例については、後段で説明する。
【００５７】
カメラ１０１は、ユーザの画像を撮影する。マイク１０２は、ユーザの音声、その他の周囲の音声を取得する。入力手段２０１は、キーボード、マウスなどの入力手段である。入力情報解析部２０２は、カメラ１０１、マイク１０２を介して入力される情報に基づいて、ユーザの姿勢解析などを実行する。さらに、初期設定処理として実行されるユーザによる複数の姿勢の登録や、アラーム条件の登録などの処理を実行する。記憶部２０３は、これらの登録情報や、背景画像情報、カメラ１０１、マイク１０２を介して入力される情報に基づいて、入力情報解析部２０２が解析した結果データなどを格納する。
【００５８】
入力情報解析部２０２は、カメラ１０１、マイク１０２を介して入力される画像情報および音声情報に基づくデータ解析を実行して、例えば以下のような処理を実行する。
（１）入力画像の解析に基づくユーザの姿勢解析結果に基づいて、アラーム出力、出力手段（ディスプレイ）２０４に対する姿勢情報出力を行なう。
（２）画像データに基づくユーザの姿勢解析を実行し、一定期間におけるユーザの姿勢のサマリーを生成する。
（３）画像データや、音声データの解析によって、ユーザの行動解析を実行する。
これらの処理の詳細については、後段で説明する。
【００５９】
出力手段（ディスプレイ）２０４は、入力情報解析部２０２の生成した姿勢情報出力を行なう。
【００６０】
図３に本発明の情報処理装置の実行する処理の全体シーケンスを説明するフローチャートを示す。まず、ステップＳ１１において初期設定を実行する。初期設定処理は、ユーザのいない背景画像の取得、アラーム条件設定処理、さらに、姿勢サマリーや、行動解析などの解析を行なう期間の設定などの処理である。ユーザのいない背景画像は、ユーザの撮影画像からユーザのみを抽出する際に利用される。
【００６１】
ステップＳ１２において、複数の姿勢登録処理が行なわれる。これは、予め複数の姿勢をデータベースとしての記憶手段２０３に登録する処理である。この姿勢登録は、ユーザの様々な姿勢をカメラ１０２が撮影し、所定の姿勢の際に、ユーザが入力手段２０１を介して登録コマンドを入力することによって行なわれる。
【００６２】
これらの処理の終了後、ステップＳ１３において、ユーザのモニタリングが開始され、
（１）入力画像の解析に基づくユーザの姿勢解析結果に基づいて、アラーム出力、出力手段（ディスプレイ）２０４に対する姿勢情報出力、
（２）画像データに基づくユーザの姿勢解析を実行し、一定期間におけるユーザの姿勢のサマリーを生成、
（３）画像データや、音声データの解析によって、ユーザの行動解析、
これらの処理が実行される。
【００６３】
ステップＳ１２における姿勢登録処理の具体例について、図４以下を参照して説明する。例えば、図４（ａ）〜（ｄ）に示すような様々な異なるポーズをユーザがとり、これらの姿勢を登録姿勢情報として設定するものとする。図４（ａ）〜（ｄ）は、カメラ１０１による撮影画像を示している。入力情報解析部２０２は、これらの撮影画像に基づいて、記憶手段に各姿勢に対応するパラメータを登録する。
【００６４】
登録されるパラメータの例を図５に示す。図５に示すように、ユーザによる登録姿勢（ａ）〜（ｄ）の各々に対応して、以下の各データが登録される。
＊頭部垂直長（ｘｈ）
＊胴体垂直長（ｘｔ）
＊全体垂直長（ｘａ）
＊頭部重心位置（ｘ１，ｙ１）
＊胴体重心位置（ｘ２，ｙ２）
＊全体重心位置（ｘ３、Ｙ３）
＊垂直軸からの頭部の傾き（α度）
＊垂直軸からの胴体の傾き（β度）
＊垂直軸からの全体の傾き（δ度）
＊垂直軸からの肩の傾き（γ度）
＊ポリゴン頂点位置（（ｐｘ１、ｐｙ１）、（ｐｘ２、ｐｙ２）・・・、（ｐｘｎ、ｐｙｎ））
＊評価判定情報（Ｇｏｏｄ，Ｂａｄなど）
これらのデータがユーザの登録姿勢情報として記憶部２０３に格納される。
【００６５】
図６に上記各登録情報の具体的例を示す。頭部重心位置（ｘ１，ｙ１）は、図６に示す重心２２１、胴体重心位置（ｘ２，ｙ２，）は、図６に示す重心２２２、垂直軸からの頭部の傾き（α度）は、図６に示す垂直軸２３０と、頭部の傾きに基づいて生成されるライン２３１とのなす角［α］、垂直軸からの胴体の傾き（β度）は、図６に示す垂直軸２３０と、胴体の傾きに基づいて生成されるライン２３２とのなす角［β］、垂直軸からの全体の傾き（δ度）は、図6に示す垂直軸２３０と全体の傾きに基づいて生成されるライン２３４とのなす角〔δ〕、垂直軸からの肩の傾き（γ度）は、図６に示す垂直軸２３０と、肩の傾きに基づいて生成されるライン２３３とのなす角［γ］に相当する。なお、これらのデータの算出手法の詳細については、データ解析処理の欄において説明する。
【００６６】
これらの各パラメータの他に、良い姿勢（Ｇｏｏｄ）であるか悪い姿勢（Ｂａｄ）であるかなどを示す評価判定情報を登録する。これは、ユーザの判断に基づいて入力することができる。あるいは、予め良い姿勢であると判断されるパラメータを持つ良い模範姿勢対応のデータを情報処理装置内に記録済みデータとして保持し、この模範姿勢データと、ユーザによって新たに登録された姿勢データとを比較照合して、模範姿勢データに近いパラメータを持つ登録データを良い姿勢（Ｇｏｏｄ）の登録情報とし、模範姿勢データと大きく異なるパラメータを持つ登録データを悪い姿勢（Ｂａｄ）の登録情報とする設定としてもよい。
【００６７】
次に、図２に示す情報解析部２０２の具体的な構成および処理について、図７以下を参照して説明する。図７は、入力情報解析部２０２の具体的な構成を示すブロック図である。
【００６８】
カメラ１０１から入力されたユーザを含む撮影画像データは、背景画像情報削除処理部２５１に入力され、背景画像情報削除処理が実行される。先に図３を参照して説明したステップＳ１１の初期設定処理において、撮影され記憶部２０３に格納済みのユーザのいない背景画像と、カメラ１０１から入力されたユーザを含む撮影画像データとを比較して、両画像の一致画像部を削除することで背景画像情報削除処理が実行される。
【００６９】
なお、さらに、例えば目的とする認識対象オブジェクトである人物のスキン（皮膚）領域を抽出するために、カラーフィルタリングを適用する構成としてもよい。スキン検出アルゴリズムとしては、例えば文献、［A. Jaimes. Conceptual Structures and Computational Methods for Indexing and Organization of Visual Information, Ph.D. Thesis, Department of Electrical Engineering, Columbia University, February 2003］に記述されたアルゴリズムをベースとすることが可能である。
【００７０】
スキン領域抽出アルゴリズムについて説明する。まず、入力する各画像フレーム［ｆｉ］の画素値データをＨＳＶカラー空間座標へ展開する。ＨＳＶカラー空間座標は、色相（Ｈ）、彩度（Ｓ）、輝度（Ｖ）の３次元座標である。このＨＳＶ空間において、特定の領域がスキン（皮膚）のカラー領域に対応する。
【００７１】
各フレーム［ｆｉ］の画素値データ中、ＨＳＶカラー空間座標におけるスキン（皮膚）のカラー領域に対応する画素をスキン画像領域として判定し、ＨＳＶカラー空間座標におけるスキン（皮膚）のカラー領域以外に属する画素データは、スキン領域以外であると判定する。
【００７２】
上述のカラーフィルタリングによるスキン領域の抽出は、カメラ１０１から入力する各フレーム［ｆｉ］各々に対して実行される。ただし、このカラーフィルタリング処理によっても、人のスキン（皮膚）と類似する画素値を持つ例えば壁やテーブルなどスキン（皮膚）領域以外の領域がスキン（皮膚）領域と判断される場合がある。
【００７３】
これを避けるためには、カラーフィルタリングによって抽出されたスキン領域をグルーピングし、スキン領域として判定された隣接する画素の集合をグループとして設定し、その境界を設定した境界領域としてのバウンディングボックスＳｂｂを検出する。なお、一定の大きさより小さい領域は排除する。次に、バウンディングボックスＳｂｂと同一の中心を設定したバウンディングボックスＳｂｂの近接領域を含むアクティブバウンディングボックスＡｂｂを設定し、このアクティブバウンディングボックスＡｂｂ内においてフレーム間で動きが検出されているか否かを判定する。動きの有無は、現フレームと過去に数フレーム遡ったフレーム間の差分情報に基づいて判定可能である。この処理によって動きのある領域がスキン領域、すなわち人物であると判定する。
【００７４】
背景画像情報削除処理部２５１における背景画像情報削除処理が済んだ画像データは、画像処理部２５２に入力されて、人物（ユーザ）の画像を示すピクセル集合を明確にするための処理がなされる。具体手的には、スムージング処理、クロージング処理、ピクセルグループ化処理などが実行される。これは、背景画像削除処理の過程で誤って削除されてしまった人物の構成画素などを補填する処理や、輪郭をなめらかにするスムージング処理や、とびとびの画素を１つの人物を構成するようにグループ化する処理として実行される。この処理によって、少なくとも人物（ユーザ）の輪郭が明確になった画像データが取得される。
【００７５】
次に、画像処理によって取得された人物（ユーザ）画像データは、姿勢判定処理部２５３に入力される。姿勢判定処理部２５３では、人物画像に基づく姿勢判定処理が実行される。
【００７６】
姿勢判定処理部２５３において実行される人物画像に基づく姿勢判定処理の詳細シーケンスについて、図８に示すフローチャートを参照して説明する。まず、姿勢判定処理部２５３は、ステップＳ１０１において、重心抽出処理を実行し、ステップＳ１０２において、重心からの放射状線を設定する。これらの処理について、図９を参照して説明する。
【００７７】
図９（ａ）は撮影画像から得られた人物（ユーザ）画像であるとする。この画像データに基づいて、図９（ｂ）に示す人物の重心点２６１が算出される。この重心点２４１は、人物領域の占める画素分布に基づいて算出される。次にこの重心点２４１から複数の放射状の線が設定される。図９（ｂ）に示す例では、水平、垂直ラインおよびこれらのラインから４５度の角度を持つラインを設定した例であり、４本のラインが設定される。
【００７８】
次に、図８に示すフローのステップＳ１０３において、放射状線のオブジェクト短部の点を検出し、ステップＳ１０４において、この端部を結んだポリゴン（多角形）を生成する。図９（ｂ）に示すポリゴン（多角形）２６２である。
【００７９】
次に、ステップＳ１０５において、人物画像データの構成画素数に基づくヒストグラムを水平（Ｘ）軸、および垂直（Ｙ）軸、各々について生成する。図１０（ｃ）にヒストグラムの例を示す。水平（Ｘ）軸、および垂直（Ｙ）軸、各々について画素数に基づくヒストグラム２６３，２６４が生成される。
【００８０】
次に、ステップＳ１０６において、垂直（Ｙ）軸ヒストグラムの最小値ポイントを検出する。図１０（ｃ）に示す例では、ポイント２６５である。ステップＳ１０７において、垂直軸ヒストグラムの最小部を首と判定して頭部、および胴体部を識別する。すなわち、図１０（ｃ）に示す例では、ポイント２６５の位置を人物の首を構成するポイントであると判定し、その上部を頭部、下部を胴体と判断する。
【００８１】
次に、ステップＳ１０８において、頭部、胴体の各々に楕円を対応付けて、対応付けた楕円の長軸、短軸の長さを算出し、頭部、胴体の重心を求め、さらに、各楕円に基づいて、頭部、胴体の各々の傾き、肩の傾き（垂直軸または水平軸からの傾き）をめる。
【００８２】
図１１を参照して、この処理について説明する。まず、図１１（ｄ）に示すように、頭部、胴体の各々に楕円２７１，２７２を対応付ける。この処理は、例えば、頭部対応楕円２７１は、頭部の輪郭に内接する楕円、あるいは外接する楕円を設定することによって行なわれる。胴体についても胴体の輪郭に内接する楕円、あるいは外接する楕円を設定することによって胴体対応楕円２７２が設定される。
【００８３】
次に、頭部、胴体の各々に対応付けた楕円２７１，２７２の長軸、短軸を設定し、これらの交点を頭部、胴体の重心２７３，２７４として求める。さらに、各楕円２７１，２７２に基づいて、頭部、胴体の各々の傾き（垂直軸または水平軸からの傾き）を求め、さらに、人物の輪郭に基づいて肩の傾きを示すライン２７５に基づいて、肩の傾き（垂直軸または水平軸からの傾き）を求める。
【００８４】
これらの各パラメータについて、図１２を参照して説明する。図１２（ｅ）には、頭部、胴体の各々に対応付けた楕円２７１，２７２の長軸、短軸の交点としての頭部、胴体の重心２７３，２７４を示し、さらに、垂直軸２９０に対する頭部の傾き［α］、胴体の傾き［β］、肩の傾き［γ］を示している。ライン２９１は、頭部に対応付けられた楕円の長軸方向に延びるラインである。ライン２９２は、胴体に対応付けられた楕円の長軸方向に延びるラインである。ライン２９３は、人物の輪郭に基づいて求められる肩の傾きを示すラインである。
同様に、頭部と胴体の両方に対応付けた楕円２７６と重心２７７が算出され、楕円２７６について、その長軸方向に延びるライン２９４を得、垂直軸２９０に対する全体の傾き〔δ〕が得られる。
【００８５】
このようにして、
＊頭部垂直長（ｘｈ）
＊胴体垂直長（ｘｔ）
＊全体垂直長（ｘａ）
＊頭部重心位置（ｘ１，ｙ１）
＊胴体重心位置（ｘ２，ｙ２，）
＊全体重心位置（ｘ３、Ｙ３）
＊垂直軸からの頭部の傾き（α度）
＊垂直軸からの胴体の傾き（β度）
＊垂直軸からの全体の傾き（δ度）
＊垂直軸からの肩の傾き（γ度）
＊ポリゴン頂点位置（（ｐｘ１、ｐｙ１）、（ｐｘ２、ｐｙ２）・・・、（ｐｘｎ、ｐｙｎ））
これらのデータがユーザの姿勢に対応するパラメータとして取得される。
【００８６】
なお、先に、図５、図６を参照して説明したように、これらのパラメータは、登録姿勢情報のパラメータと同様のパラメータであり、図３に示すフローチャートのステップＳ１２の姿勢登録処理では、上述したと同様の処理が実行されて、各登録姿勢に対応するパラメータの取得が行なわれ記憶部２０３に格納される。なお、登録姿勢情報には、これらのパラメータの他、図５を参照して説明したように、［Ｇｏｏｄ］、［Ｂａｄ］などの評価判定情報も含まれる。
【００８７】
図７に示す入力情報解析部２０２の構成において、データ登録部２５４は、各登録姿勢についてのパラメータを姿勢判定処理部２５３から受領して、入力手段からの登録コマンドの入力に基づいて、上述した各パラメータと、入力手段２０１から入力される評価判定情報を各登録姿勢情報の登録情報として記憶部２０３に記録する。
【００８８】
図３に示すフローチャートのステップＳ１３の情報入力、解析処理においても、ユーザの撮影画像について、図７に示す背景画像情報削除処理部２５１における背景画像情報削除処理、画像処理部２５２における人物（ユーザ）画像データの取得、姿勢判定処理部２５３における姿勢判定処理に基づいて算出される姿勢判定パラメータ、すなわち、
＊頭部垂直長（ｘｈ）
＊胴体垂直長（ｘｔ）
＊全体垂直長（ｘａ）
＊頭部重心位置（ｘ１，ｙ１）
＊胴体重心位置（ｘ２，ｙ２，）
＊全体重心位置（ｘ３、Ｙ３）
＊垂直軸からの頭部の傾き（α度）
＊垂直軸からの胴体の傾き（β度）
＊垂直軸からの全体の傾き（δ度）
＊垂直軸からの肩の傾き（γ度）
＊ポリゴン頂点位置（（ｐｘ１、ｐｙ１）、（ｐｘ２、ｐｙ２）・・・、（ｐｘｎ、ｐｙｎ））
これらの姿勢判定パラメータの取得が実行される。
【００８９】
なお、図７に示す入力情報解析部２０２の姿勢判定部２５３は、カメラ１０１から入力されるフレーム画像について、予め定めた間隔でフレームを選択して、上述の姿勢判定に基づく姿勢判定パラメータ算出処理を実行する。算出された姿勢判定パラメータは、姿勢分類処理部２５５に出力される。
【００９０】
姿勢分類処理部２５５は、所定フレーム間隔で算出されるフレーム対応の姿勢判定パラメータを入力する。すなわち、姿勢判定処理部２５３における姿勢判定処理に基づいて算出される姿勢判定パラメータを所定フレーム間隔で入力する。
【００９１】
姿勢分類処理部２５５は、入力するフレーム対応の姿勢判定パラメータと、登録済みの登録姿勢情報に対応するパラメータ、すなわち、先に図５を参照して説明した登録姿勢情報に対応するパラメータとの比較を実行する。このパラメータ比較処理において、入力するフレーム対応の姿勢判定パラメータに最も近いパラメータ値を持つ登録姿勢情報を、そのフレームにおけるユーザの姿勢であると判定する。
【００９２】
さらに、姿勢分類処理部２５５の姿勢分類情報は、フィードバック姿勢解析情報生成部２５６に出力される。フィードバック姿勢解析情報生成部２５６は、類似パラメータを持つと判定された登録姿勢情報に対応して設定された評価判定情報が良い姿勢［Ｇｏｏｄ］として設定されているか、悪い姿勢［Ｂａｄ］として登録されているかを判定し、これらの評価判定情報を情報出力部２５８を介して、出力手段（ディスプレイ）２０４に出力する。
【００９３】
図１３に、評価判定情報の出力例を示す。図１３は、ユーザの利用する情報処理装置のディスプレイであり、ディスプレイの部分領域に姿勢インジケータ３０１が表示される。姿勢インジケータ３０１はスライダ３０２が表示され、モニタリングされているユーザの現在の姿勢が良い［Ｇｏｏｄ］であるか悪い［Ｂａｄ］であるかを示す設定となっている。姿勢インジケータ３０１の中央部領域が良い［Ｇｏｏｄ］姿勢であることを示し、姿勢インジケータ３０１の両サイドが悪い［Ｂａｄ］姿勢であることを示している。フィードバック姿勢解析情報生成部２５６は、類似パラメータを持つと判定された登録姿勢情報に対応して設定された評価判定情報が良い姿勢［Ｇｏｏｄ］として設定されているか、悪い姿勢［Ｂａｄ］として登録されているかの評価判定情報に基づいて、スライダ３０２を左右に移動させて表示する。
【００９４】
ユーザは、このインジケータの表示を観察することで、自分の姿勢が良いか悪いかをリアルタイムに確認することができる。また、予め定めたアラーム設定条件によって、情報処理装置のスピーカを介する警告音によるアラームや、ディスプレイに対するアラーム表示などを行なう構成としてもよい。
【００９５】
ユーザは、先に、図３のフローにおけるステップＳ１１の初期設定において、例えば、予め定めた時間以上、悪いと判定される姿勢が継続した場合にアラームを出力するなどのアラーム条件を設定し、記憶部２０３に登録情報を格納する。フィードバック姿勢解析情報生成部２５６は、このアラーム条件と、ユーザの画像解析による姿勢検出情報を比較して、アラーム出力条件を満たすか否かを判定して、アラーム出力条件を満たすと判断した場合は、情報出力部２５８を介してアラーム出力を実行する。
【００９６】
図１４を参照して、姿勢分類処理部２５５と、フィードバック姿勢解析情報生成部２５６の実行する処理を中心とした処理シーケンスについて説明する。ステップＳ３０１においてモニタ画像に基づくユーザ検出処理がなされ、ステップＳ３０２において、ユーザ検出情報に基づく姿勢判定パラメータが選択フレームに基づいて求められる。これらの処理は、姿勢判定処理部２５３の処理として実行される。
【００９７】
姿勢分類処理部２５５は、ステップＳ３０３において、姿勢判定処理部２５３から入力するフレーム対応の姿勢判定パラメータと、登録済みの登録姿勢情報に対応するパラメータ、すなわち、先に図５を参照して説明した登録姿勢情報に対応するパラメータとの比較を実行する。
【００９８】
このパラメータ比較処理において、入力するフレーム対応の姿勢判定パラメータに最も近いパラメータ値を持つ登録姿勢情報を、そのフレームにおけるユーザの姿勢であると判定する。
【００９９】
ステップＳ３０４では、フィードバック姿勢解析情報生成部２５６は、類似パラメータを持つと判定された登録姿勢情報に対応して設定された評価判定情報が良い姿勢［Ｇｏｏｄ］として設定されているか、悪い姿勢［Ｂａｄ］として登録されているかを判定し、これらの評価判定情報に基づいて、出力手段（ディスプレイ）２０４に提示された姿勢インジケータ３０１（図１３参照）のスライダ３０２を左右に移動させて表示する。
【０１００】
さらに、ステップＳ３０５において、フィードバック姿勢解析情報生成部２５５は、ユーザによって予め設定されたアラーム条件と、ユーザの画像解析による姿勢検出情報を比較して、アラーム出力条件を満たすか否かを判定する。アラーム出力条件を満たすと判断した場合は、ステップＳ３０６において、情報出力部２５８を介してアラーム出力を実行する。
【０１０１】
このように、ユーザは、このインジケータの表示を観察することで、自分の姿勢が良いか悪いかをリアルタイムに確認することができ、また、アラームによって悪い姿勢であることが通知され、姿勢を正すことが可能となる。
【０１０２】
なお、出力手段（ディスプレイ）２０４に出力する表示は、図１３を参照して説明したインジケータに限らず、例えば、先に図１２等を参照して説明した胴体や頭、肩の傾きを示すラインをユーザの画像に重畳させて表示する構成としてもよい。例えば、図１５に示すように、姿勢情報表示部３１２に、先に図１２等を参照して説明した胴体や頭、肩の傾きを示すラインをユーザの画像に重畳させて表示する。ユーザは、この表示データを見るこことで、自分の姿勢の現在の状況を明確に知ることが可能となる。
【０１０３】
次に図７に示す入力情報解析部２０２における姿勢解析情報生成部２５７の処理について説明する。姿勢解析情報生成部２５７は、姿勢解析情報の生成処理と、行動解析情報の生成処理を実行する。まず、姿勢解析情報生成処理について説明する。
【０１０４】
姿勢解析情報生成部２５７の生成する姿勢解析情報の一例を図１６に示す。図１６に示す姿勢解析情報は、あるユーザの１日のワーキングタイムにおける姿勢の種類と、その姿勢をとっている時間を表として示した姿勢解析情報である。すなわち測定時間を２００５、８、１２のＡＭ１０：００〜ＰＭ５：３０として、その間にカメラ１０１を介して取得されるユーザの画像データについて、所定フレーム間隔で処理を実行し、選択フレームの姿勢判定パラメータを求め、登録姿勢情報の登録パラメータとの比較を行い、最も類似するパラメータを持つ登録姿勢を選択して、測定フレーム間隔において、その登録姿勢が保持されたものとして判定して、姿勢の時間の推移に伴う履歴を取得する。この情報を解析することで１日のユーザの姿勢分布を算出し、図１６に示すような姿勢解析サマリーが生成される。
【０１０５】
図１６に示すデータは、ユーザは２００５、８、１２のＡＭ１０：００〜ＰＭ５：３０の期間において、（ａ）に示す姿勢を４０％、（ｂ）に示す姿勢を２０％、（ｃ）に示す姿勢を２５％、（ｄ）に示す姿勢を１５％していたことを示す情報である。ユーザは、これらの姿勢情報サマリーを見ることで、１日の姿勢状況を容易に把握することができる。
【０１０６】
図１７に示すフローチャートを参照して、姿勢解析情報生成部２５７の実行する姿勢解析処理を中心とした処理シーケンスについて説明する。ステップＳ４０１においてモニタ画像に基づくユーザ検出処理がなされ、ステップＳ４０２において、ユーザ検出情報に基づく姿勢判定パラメータが選択フレームに基づいて求められる。これらの処理は、姿勢判定処理部２５３の処理として実行される。
【０１０７】
次に、ステップＳ４０３において、姿勢分類処理部２５５は、姿勢判定処理部２５３から入力するフレーム対応の姿勢判定パラメータと、登録済みの登録姿勢情報に対応するパラメータ、すなわち、先に図５を参照して説明した登録姿勢情報に対応するパラメータとの比較を実行し、入力するフレーム対応の姿勢判定パラメータに最も近いパラメータ値を持つ登録姿勢情報を、そのフレームにおけるユーザの姿勢であると判定する。
【０１０８】
ステップＳ４０４以降が、姿勢解析情報生成部２５７の処理であり、まず、ステップＳ４０４において、姿勢分類処理部２５５が選択した登録姿勢情報を姿勢解析情報（サマリー）生成用データとして登録する。例えば、姿勢判定パラメータを取得するフレーム時間間隔が１分であれば、各フレームにおいて選択された登録姿勢情報に相当する姿勢が１分継続しているものとしてデータ登録する。
【０１０９】
次に、ステップＳ４０５において、予め定めた姿勢解析情報の測定時間Ｔ１が経過したか否かを判定する。例えばＡＭ１０：００〜ＰＭ：５：００などの測定時間が設定される。測定開始からの経過時間Ｔ１（例えば７時間）が経過した場合は、測定を終了し、ステップＳ４０７に進む。測定時間が残っている場合は、ステップＳ４０６において、測定間隔［ｔ］が経過したか否かを判定する。これは、姿勢判定パラメータを取得するフレーム時間間隔に相当する。姿勢解析情報の測定時間Ｔ１や、姿勢判定パラメータを取得するフレーム時間間隔ｔは、ユーザによる初期設定において設定される。
【０１１０】
ステップＳ４０６において、測定間隔［ｔ］が経過した場合は、その時点のフレームに基づいて、ステップＳ４０１〜Ｓ４０４の処理が実行され、姿勢解析情報（サマリー）生成用データとして登録する。ステップＳ４０５において、予め定めた姿勢解析情報の測定時間Ｔ１が経過したと判定されると、測定を終了し、ステップＳ４０７に進む。
【０１１１】
ステップＳ４０７では、姿勢解析情報（サマリ−）を生成し、記憶部２０３に記憶する。姿勢解析情報（サマリ−）は、例えば図１６を参照して説明した解析情報である。ステップＳ４０８において、入力手段２０１を介してユーザからの姿勢解析情報出力要求があったと判定されると、ステップＳ４０９において、図７に示す情報出力部２５８を介して出力手段（ディスプレイ）２０４に解析情報（例えば図１６に示す解析情報）を出力する。
【０１１２】
次に、姿勢解析情報生成部２５７の実行する行動解析処理について説明する。姿勢解析情報生成部２５７の実行する行動解析処理は、カメラ１０１によって撮影されるユーザの画像、およびマイク１０２によって取得される音声情報に基づいて実行される。
【０１１３】
例えば登録姿勢情報として、図１８に示すように、図５を参照して説明した登録姿勢情報に、さらに行動情報を登録する。（ａ）に示す姿勢の場合は、キーボード操作などのＰＣの操作を行なっている行動状態であり、（ｂ）に示す姿勢状態は休憩状態であるなどである。
【０１１４】
カメラ１０１によって撮影されるユーザの画像に基づく姿勢解析処理によって取得される姿勢判定パラメータに最も類似するパラメータを持つユーザの登録姿勢情報に基づいて、ユーザの作業を判定する。この判定処理によって、前述の姿勢解析情報と同様、例えば１日におけるユーザの行動解析情報が得られる。なお、この行動解析においては、マイク１０２によって取得される音圧情報に基づいて、ユーザが電話をしている、キーボードを操作しているなどの情報を取得し、解析情報の補助情報として利用することができる。
【０１１５】
姿勢解析情報生成部２５７の生成する行動解析情報の一例を図１９に示す。図１９に示す行動解析情報は、あるユーザの１日のワーキングタイムにおける行動の種類と、その行動をとっている時間を表として示した行動解析情報である。すなわち測定時間を２００５、８、１２のＡＭ１０：００〜ＰＭ５：３０として、その間にカメラ１０１を介して取得されるユーザの画像データについて、所定フレーム間隔で処理を実行し、選択フレームの姿勢判定パラメータを求め、登録姿勢情報の登録パラメータとの比較を行い、最も類似するパラメータを持つ登録姿勢を選択して、測定フレーム間隔において、その登録姿勢が保持され、その姿勢に対応する行動が実行されていると判定して、時間の推移に伴う行動履歴を取得する。この情報に、マイクから取得される情報を加え、解析を実行することで１日のユーザの行動分布を算出し、図１９に示すような行動解析サマリーが生成される。
【０１１６】
図１９に示すデータは、ユーザは２００５、８、１２のＡＭ１０：００〜ＰＭ５：３０の期間において、（ａ）ＰＣ操作を４０％、（ｂ）電話を２０％、（ｃ）読書を２５％、（ｄ）休憩を１５％していたことを示す情報である。ユーザは、これらの行動情報サマリーを見ることで、１日の行動状況を容易に把握することができる。
【０１１７】
図２０に示すフローチャートを参照して、姿勢解析情報生成部２５７の実行する行動解析処理を中心とした処理シーケンスについて説明する。ステップＳ５０１においてモニタ画像に基づくユーザ検出処理がなされ、ステップＳ５０２において、ユーザ検出情報に基づく姿勢判定パラメータが選択フレームに基づいて求められる。これらの処理は、姿勢判定処理部２５３の処理として実行される。
【０１１８】
次に、ステップＳ５０３において、姿勢分類処理部２５５は、姿勢判定処理部２５３から入力するフレーム対応の姿勢判定パラメータと、登録済みの登録姿勢情報に対応するパラメータ、すなわち、図１８に示す登録姿勢情報に対応するパラメータとの比較を実行し、入力するフレーム対応の姿勢判定パラメータに最も近いパラメータ値を持つ登録姿勢情報に対応する姿勢および行動が、そのフレームにおけるユーザの姿勢と行動であると判定する。
【０１１９】
ステップＳ５０４以降が、姿勢解析情報生成部２５７の処理であり、まず、ステップＳ５０４において、姿勢分類評理部２５５が選択した登録姿勢情報を行動解析情報（サマリー）生成用データとして登録する。例えば、姿勢判定パラメータを取得するフレーム時間間隔が１分であれば、各フレームにおいて選択された登録姿勢情報に相当する行動が１分継続しているものとしてデータ登録する。
【０１２０】
次に、ステップＳ５０５において、予め定めた行動解析情報の測定時間Ｔ１が経過したか否かを判定する。例えばＡＭ１０：００〜ＰＭ：５：００などの測定時間が設定される。測定開始からの経過時間Ｔ１（例えば７時間）が経過した場合は、測定を終了し、ステップＳ５０７に進む。測定時間が残っている場合は、ステップＳ５０６において、測定間隔［ｔ］が経過したか否かを判定する。これは、姿勢判定パラメータを取得するフレーム時間間隔に相当する。姿勢解析情報の測定時間Ｔ１や、姿勢判定パラメータを取得するフレーム時間間隔ｔは、ユーザによる初期設定において設定される。
【０１２１】
ステップＳ５０６において、測定間隔［ｔ］が経過した場合は、その時点のフレームに基づいて、ステップＳ５０１〜Ｓ５０４の処理が実行され、行動解析情報（サマリー）生成用データとして登録する。ステップＳ５０５において、予め定めた姿勢解析情報の測定時間Ｔ１が経過したと判定されると、測定を終了し、ステップＳ５０７に進む。
【０１２２】
ステップＳ５０７では、行動解析情報（サマリ−）を生成し、記憶部２０３に記憶する。行動解析情報（サマリ−）は、例えば図１９を参照して説明した解析情報である。ステップＳ５０８において、入力手段２０１を介してユーザからの行動解析情報出力要求があったと判定されると、ステップＳ５０９において、図７に示す情報出力部２５８を介して出力手段（ディスプレイ）２０４に解析情報（例えば図１９に示す解析情報）を出力する。
【０１２３】
なお、図２０に示すフローにおいてはマイクからの取得情報を利用した行動解析処理を行なっていないが、前述したようにマイクからの取得情報に基づいて、行動パターンを解析する処理を行なう構成としてもよい。
【０１２４】
このように、本発明の構成では、予め登録された登録姿勢情報とカメラ１０１から入力するユーザ画像の姿勢判定パラメータの比較によって、ユーザの姿勢を分類し、分類情報に基づいて、以下の処理、すなわち、
（１）ユーザの姿勢解析結果に基づいて、アラーム出力、出力手段（ディスプレイ）２０４に対する姿勢情報出力、
（２）一定期間のユーザの姿勢解析情報を生成して提供、
（３）一定期間のユーザの行動解析情報を生成して提供、
これらの処理を実行する構成とした。
【０１２５】
基本的に登録姿勢情報に基づくユーザの姿勢解析をリアルタイムで行なうことになり、入力するフレームに基づく解析結果は、登録姿勢情報に対応付けられた後は、不要となり、膨大な情報を蓄積すること不要となり、効率的な処理が実現される。
【０１２６】
なお、上述の実施例では、姿勢分類処理部２５５において、入力フレーム対応の姿勢判定パラメータと、登録姿勢情報のパラメータとの比較に基づく類似判定処理によって、入力フレーム対応の姿勢をいずれかの登録姿勢情報に分類する処理を実行する構成とし、比較パラメータを図５に示す各パラメータ、すなわち、
＊頭部垂直長（ｘｈ）
＊胴体垂直長（ｘｔ）
＊全体垂直長（ｘａ）
＊頭部重心位置（ｘ１，ｙ１）
＊胴体重心位置（ｘ２，ｙ２，）
＊全体重心位置（ｘ３、Ｙ３）
＊垂直軸からの頭部の傾き（α度）
＊垂直軸からの胴体の傾き（β度）
＊垂直軸からの全体の傾き（δ度）
＊垂直軸からの肩の傾き（γ度）
＊ポリゴン頂点位置（（ｐｘ１、ｐｙ１）、（ｐｘ２、ｐｙ２）・・・、（ｐｘｎ、ｐｙｎ））
これらのパラメータの比較処理を行なう例として説明したが、さらに、これらのパラメータの他に、このポリゴンの特徴情報を登録パラメータとして保持し、入力フレーム画像に基づいて、生成されるポリゴン（多角形）との比較を実行して類似性判定を実行する構成としてもよい。さらに、図１１、図１２を参照して説明した頭部や胴体の楕円情報をパラメータとして保持し、これらの楕円情報の比較によって類似判定を実行する構成としてもよい。
【０１２７】
本発明の情報処理装置によって得られる各種の解析情報は、例えば健康管理や、生産性管理に適用可能である。
【０１２８】
例えば健康管理情報として適用する場合の処理も例について説明する。先に、図１６を参照して説明したように、姿勢解析情報生成部２５７は、姿勢解析情報としてユーザのある期間の姿勢の時間的分布を取得することができる。例えばあるユーザが腰痛や肩こりなどの症状を発生させた場合、図１６に示す姿勢解析情報を医者に提示して自分の症状を説明することで、症状を改善するための良い姿勢についてのアドバイスを受けることができる。
【０１２９】
図５を参照して説明したように、ユーザは予め複数の姿勢を登録姿勢情報として登録し、この登録姿勢情報中に評価判定情報としてよい姿勢［Ｇｏｏｄ］や悪い姿勢［Ｂａｄ］等の評価判定情報を含めることができる。医者からアドバイスされた症状を改善するための良い姿勢を、登録姿勢情報中に良い姿勢［Ｇｏｏｄ］として登録することで、この良い姿勢によって評価された姿勢の評価情報が、図１３を参照して説明した姿勢インジケータ３０１によって示されることになり、ユーザは、インジケータ３０１によって示される情報に基づいて、医者の指定した良い姿勢を保持することが可能となる。
【０１３０】
また、生産性管理に適用する例について説明する。先に、図１９を参照して説明したように、姿勢解析情報生成部２５７は、行動解析情報としてユーザのある期間の行動の時間的分布を取得することができる。また、前述したように、フィードバック姿勢解析情報生成部２５６は、一定の条件のアラーム条件に基づいて、例えばある同じ姿勢が継続して所定時間続いた場合などにアラーム出力を行なうことができる。
【０１３１】
このような構成を適用した生産性管理構成について説明する。例えば、ユーザがキーボード操作と判定される姿勢を１時間以上継続した場合、アラーム出力を行なう設定としたり、あるいは電話をしている時間が１時間以上続いた場合に、アラームを出力する設定とすることで、同じ作業が長時間、継続して行なわれていることをユーザに警告することが可能となる。このように、本発明の構成を適用することで、同一作業の継続による作業能率の低下を未然に防止させることが可能となる。
【０１３２】
またユーザの作業の評価に、行動解析情報を用いることもできる。例えば、営業を仕事としているユーザの行動を監視し、電話をかけている時間が長いほど、熱心な営業を行なっているとの評価尺度を適用する場合、姿勢解析情報生成部２５７の生成する行動解析情報に基づいて、ユーザの電話時間を判定することが可能であり、行動解析による行動評価、生産性管理が実現される。
【０１３３】
最後に、図２１を参照して、本発明の情報処理装置のハードウェア構成例について説明する。
【０１３４】
ＣＰＵ（Central Processing Unit）５０１は、ＯＳ（Operating System)、上述の実施例において説明した画像処理、姿勢判定処理、姿勢分類、評価処理、姿勢解析情報生成処理などの各処理の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。
【０１３５】
ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【０１３６】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【０１３７】
キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。
【０１３８】
ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、例えば、図５、図１８を参照して説明した登録姿勢情報、アラーム条件設定情報などの各種設定情報の格納部としての役割、さらに各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納領域として利用される。
【０１３９】
ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。
【０１４０】
接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、ＣＰＵ５０１、またはＨＤＤ５１１等からの供給データの送信、データ受信を実行する。カメラ５３１は、ユーザの画像情報を撮影し、マイク５３２は、音声データを取得して入力する。
【０１４１】
なお、図２１に示す情報処理装置のハードウェア構成例は、ＰＣを適用して構成した装置の一例であり、本発明の情報処理装置は、図２１に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。
【０１４２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４３】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１４４】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１４５】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１４７】
以上、説明したように、本発明の構成によれば、カメラの撮影画像フレームに含まれる人物画像に基づいて、フレーム対応姿勢判定パラメータを取得し、記憶部に格納された複数の登録姿勢に対応する登録パラメータとの比較を実行して、フレーム対応姿勢判定パラメータに類似する登録パラメータを持つ登録姿勢を、撮影画像フレームに含まれる人物の姿勢として分類し、分類された登録姿勢に基づいて解析情報を生成する構成とした。本構成により、姿勢解析処理効率が向上し、蓄積データ量の削減が実現される。さらに、姿勢の評価情報、姿勢とその時間的占有率情報を対応付けた情報、行動とその時間的占有率情報を対応付けた情報などを解析情報として取得、提供することが可能となる。提供情報は、例えば健康管理、生産性管理や業務管理に適用可能である。
【図面の簡単な説明】
【０１４８】
【図１】本発明の情報処理装置の処理の概要について説明する図である。
【図２】本発明の情報処理装置の構成を説明する図である。
【図３】本発明の情報処理装置の実行する全体処理シーケンスを説明するフローチャートを示す図である。
【図４】本発明の情報処理装置において登録される登録姿勢情報の例について説明する図である。
【図５】本発明の情報処理装置において登録される登録姿勢情報の姿勢判定パラメータを含む登録情報のデータ例を示す図である。
【図６】本発明の情報処理装置において登録される登録姿勢情報の姿勢判定パラメータについて説明する図である。
【図７】本発明の情報処理装置の入力情報解析部の構成を説明するブロック図である。
【図８】本発明の情報処理装置の入力情報解析部における姿勢判定処理部の実行する処理シーケンスを説明するフローチャートを示す図である。
【図９】本発明の情報処理装置の入力情報解析部における姿勢判定処理部の実行する処理の具体例について説明する図である。
【図１０】本発明の情報処理装置の入力情報解析部における姿勢判定処理部の実行する処理の具体例について説明する図である。
【図１１】本発明の情報処理装置の入力情報解析部における姿勢判定処理部の実行する処理の具体例について説明する図である。
【図１２】本発明の情報処理装置の入力情報解析部における姿勢判定処理部の実行する処理の具体例について説明する図である。
【図１３】本発明の情報処理装置の実行する姿勢インジケータの表示例について説明する図である。
【図１４】本発明の情報処理装置の入力情報解析部における姿勢分類処理部およびフィードバック姿勢解析情報生成部の実行する処理シーケンスを説明するフローチャートを示す図である。
【図１５】本発明の情報処理装置の実行する姿勢情報の表示例について説明する図である。
【図１６】本発明の情報処理装置の入力情報解析部における姿勢解析情報生成理部の生成する姿勢解析情報の具体例について説明する図である。
【図１７】本発明の情報処理装置の入力情報解析部における姿勢解析情報生成理部の姿勢解析情報の生成処理シーケンスについて説明するフローチャートを示す図である。
【図１８】本発明の情報処理装置において登録される登録姿勢情報の姿勢判定パラメータを含む登録情報のデータ例を示す図である。
【図１９】本発明の情報処理装置の入力情報解析部における姿勢解析情報生成理部の生成する行動解析情報の具体例について説明する図である。
【図２０】本発明の情報処理装置の入力情報解析部における姿勢解析情報生成理部の行動解析情報の生成処理シーケンスについて説明するフローチャートを示す図である。
【図２１】本発明の情報処理装置のハードウェア構成例を示す図である。
【符号の説明】
【０１４９】
１０  ユーザ
１００  情報処理装置
１０１  カメラ
１０２  マイク
１０５  姿勢情報表示領域
２０１  入力手段
２０２  入力情報解析部
２０３  記憶部
２０４  出力手段
２５１  背景画像情報削除処理部
２５２  画像処理部
２５３  姿勢判定処理部
２５４  データ登録部
２５５  姿勢分類処理部
２５６  フィードバック姿勢解析情報生成部
２５７  姿勢解析情報生成部
２５８  情報出力部
３０１  姿勢インジケータ
３０２  スライダ
３１２  姿勢情報表示部
５０１  ＣＰＵ(Central processing Unit)
５０２  ＲＯＭ（Read-Only-Memory）
５０３  ＲＡＭ（Random Access Memory）
５０４  ホストバス
５０５  ブリッジ
５０６  外部バス
５０７  インタフェース
５０８  キーボード
５０９  ポインティングデバイス
５１０  ディスプレイ
５１１  ＨＤＤ（Hard Disk Drive）
５１２  ドライブ
５１４  接続ポート
５１５  通信部
５２１  リムーバブル記録媒体
５２２  外部接続機器
５３１  カメラ
５３２  マイク
【図１】
2007048232.tif 000003
【図２】
2007048232.tif 000004
【図３】
2007048232.tif 000005
【図４】
2007048232.tif 000006
【図５】
2007048232.tif 000007
【図６】
2007048232.tif 000008
【図７】
2007048232.tif 000009
【図８】
2007048232.tif 000010
【図９】
2007048232.tif 000011
【図１０】
2007048232.tif 000012
【図１１】
2007048232.tif 000013
【図１２】
2007048232.tif 000014
【図１３】
2007048232.tif 000015
【図１４】
2007048232.tif 000016
【図１５】
2007048232.tif 000017
【図１６】
2007048232.tif 000018
【図１７】
2007048232.tif 000019
【図１８】
2007048232.tif 000020
【図１９】
2007048232.tif 000021
【図２０】
2007048232.tif 000022
【図２１】
2007048232.tif 000023