(57)【要約】【課題】認識環境に関わらず認識対象を認識することが可能な認識装置、認識方法及び認識プログラムを提供する。【解決手段】認識装置１は、動画を構成する時系列のフレーム画像から、人物の特定部位のフレーム画像内での位置を検出し（ステップＳ１）、検出した部位の位置及び位置の変化を示す複数種のパラメータの値を、パラメータ値群としてフレーム画像毎に導出し（ステップＳ２）、そして、対象物に対応付けて、複数のパラメータ値群を時系列で並べたパラメータ値群列を予め記録しているデータベースの記録内容を参照することにより、導出したパラメータ値群の時系列の並びに基づき、動作の対象となった対象物を認識する（ステップＳ３，４）。【選択図】図４
2011164778.tif 000002
【特許請求の範囲】
【請求項１】
人物を含む動画から人物の動作の対象となる対象物を認識する認識装置において、
動画を構成する時系列のフレーム画像から、人物の特定部位のフレーム画像内での位置を検出する検出手段と、
該検出手段が検出した部位の位置及び／又は該位置の変化を示す複数種のパラメータの値を、パラメータ値群としてフレーム画像毎に導出する導出手段と、
対象物に対応付けて、複数のパラメータ値群を時系列で並べたパラメータ値群列を予め記録している記録手段と、
前記導出手段が導出したパラメータ値群の時系列の並びの一部又は全部と、一致又は近似するパラメータ値群列を特定する特定手段と、
該特定手段が特定したパラメータ値群列に対応付けて前記記録手段に記録されている対象物を、人物の動作の対象となった対象物として認識する認識手段と
を備えることを特徴とする認識装置。
【請求項２】
前記特定手段は、前記導出手段が導出したパラメータ値群の時系列の並びと、前記記録手段に記録している各対象物に係る夫々のパラメータ値群列との一致度合いに応じて求められる指標値に基づいて、パラメータ値群列を特定するようにしてあることを特徴とする請求項１に記載の認識装置。
【請求項３】
前記記録手段は、予め算出してある対象物毎の既知の動作に係るパラメータ値群から、複数の対象物間で共通するパラメータの値を夫々除去することで算出したパラメータ値群列を記録していることを特徴とする請求項１又は請求項２に記載の認識装置。
【請求項４】
動画内で動作する動作体の動作の対象となる対象物を認識する認識装置において、
動画を構成する時系列のフレーム画像から、動作体に含まれる検出対象のフレーム画像内での位置を検出する検出手段と、
該検出手段が検出した検出対象の位置及び／又は該位置の変化を示す複数種のパラメータの値を、パラメータ値群としてフレーム画像毎に導出する導出手段と、
対象物に対応付けて、複数のパラメータ値群を時系列で並べたパラメータ値群列を予め記録している記録手段と、
前記導出手段が導出したパラメータ値群の時系列の並びの一部又は全部と、一致又は近似するパラメータ値群列を特定する特定手段と、
該特定手段が特定したパラメータ値群列に対応付けて前記記録手段に記録されている対象物を、動作体の動作の対象となった対象物として認識する認識手段と
を備えることを特徴とする認識装置。
【請求項５】
人物を含む動画から人物の動作の対象となる対象物を認識する認識方法において、
動画を構成する時系列のフレーム画像から、人物の特定部位のフレーム画像内での位置を検出し、
検出した部位の位置及び／又は該位置の変化を示す複数種のパラメータの値を、パラメータ値群としてフレーム画像毎に導出し、
対象物に対応付けて、複数のパラメータ値群を時系列で並べたパラメータ値群列を予め記録しているデータベースに基づいて、導出したパラメータ値群の時系列の並びの一部又は全部と、一致又は近似するパラメータ値群列を特定し、
特定したパラメータ値群列に対応付けて前記データベースに記録されている対象物を、人物の動作の対象となった対象物として認識する
ことを特徴とする認識方法。
【請求項６】
動画内で動作する動作体の動作の対象となる対象物をコンピュータに認識させる認識プログラムにおいて、
コンピュータに、
動画を構成する時系列のフレーム画像から、動作体に含まれる検出対象のフレーム画像内での位置を検出させる手順と、
検出した検出対象の位置及び／又は該位置の変化を示す複数種のパラメータの値を、パラメータ値群としてフレーム画像毎に導出させる手順と、
対象物に対応付けて、複数のパラメータ値群を時系列で並べたパラメータ値群列を予め記録しているデータベースに基づいて、導出したパラメータ値群の時系列の並びの一部又は全部と、一致又は近似するパラメータ値群列を特定させる手順と、
特定したパラメータ値群列に対応付けて前記データベースに記録されている対象物を、動作体の動作の対象となった対象物として認識させる手順と
を実行させることを特徴とする認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、動画から対象物を認識する認識装置、該認識装置を用いた認識方法、及び前記認識装置を実現するための認識プログラムに関する。
【背景技術】
【０００２】
近年、オフィス内、家屋内等の屋内環境において、自立的に移動して種々のサービスを提供するロボットの研究開発が進められている。このようなロボットの要素技術の一つとして環境認識があり、特に環境内の物体の種別を認識するカテゴリ認識は、環境内の物体に関わる事象をロボットが扱うために重要であると考えられる。
【０００３】
これまでの物体認識を目的とした研究の多くは、物体の形状、色、テクスチャ等の外観情報を認識の手がかりとするものであった。しかしながら、人物が行動する室内環境は、基本的に未知環境であり、オクルージョン、物体の散乱等の要因が、外観情報に基づく物体認識の障害となっている。
【０００４】
そこで、物体の外観情報だけでなく、物体と物体との関係、物体と人物の動作との相互作用といった環境のコンテクストを利用した物体の認識が試みられている。このような認識の方法としては、非特許文献１に係る物体認識方法が提案されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】三木博史、他３名，「ＤＢＮを用いた人物の動作パターンに基づく物体認識」，画像の認識・理解シンポジウム（ＭＩＲＵ２００８）論文集ＩＳ３−３，ｐｐ．８７７−８８４（２００８）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に示したような物体の外観情報だけに頼らない物体認識の方法については、例えば、家庭用ロボットの普及等の要因に伴い、今後、更なる発展が見込まれていることから、様々な認識方法の提案が求められている。
【０００７】
本発明は斯かる事情に鑑みてなされたものであり、人物等の動作体の一連の動作を、複数種のパラメータ値群の時系列での並びとして捉え、当該並びを示すパラメータ値群列に基づいて、動作体の動作の対象となった対象物を認識する認識装置、認識方法及び認識プログラムの提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る認識装置、認識方法及び認識プログラムは、人物を含む動画から人物の動作の対象となる対象物を認識する認識装置において、動画を構成する時系列のフレーム画像から、人物の特定部位のフレーム画像内での位置を検出する検出手段と、該検出手段が検出した部位の位置及び／又は該位置の変化を示す複数種のパラメータの値を、パラメータ値群としてフレーム画像毎に導出する導出手段と、対象物に対応付けて、複数のパラメータ値群を時系列で並べたパラメータ値群列を予め記録している記録手段と、前記導出手段が導出したパラメータ値群の時系列の並びの一部又は全部と、一致又は近似するパラメータ値群列を特定する特定手段と、該特定手段が特定したパラメータ値群列に対応付けて前記記録手段に記録されている対象物を、人物の動作の対象となった対象物として認識する認識手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明では、対象物の外観ではなく、対象物に対する一連の動作に基づくパラメータ値群列に基づいて、対象物を認識する。これにより、認識環境に関わらず認識対象を認識することが可能で、しかも、動作のカテゴリを特定せずとも認識対象を認識することが可能である等、優れた効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】本発明の認識方法に係る学習の手順の一例を示す模式図である。
【図２】本発明の認識方法に係るパラメータの一例を示す図表である。
【図３】本発明の認識装置の構成例を示すブロック図である。
【図４】本発明の認識装置に係る認識処理の一例を示すフローチャートである。
【図５】本発明の認識方法に係る認識テストの結果を示す図表である。
【発明を実施するための形態】
【００１１】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
【００１２】
本発明に係る認識方法は、人物等の動作体を撮影した動画から、動作体の動作の対象となる対象物を、その種類（カテゴリ）として認識する方法である。人物の動作は、パラメータ化したパラメータ値群列として捉えられる。そして、動作に対応付けて、パラメータ値群列をｎ−ｇｒａｍとして記録しているデータベースを参照することにより、対象物の種類を認識する。このため、データベースに記録すべき、対象物とパラメータ値群列とを関連付ける学習が必要となる。
【００１３】
図１は、本発明の認識方法に係る学習の手順の一例を示す模式図である。図１中の左欄は、対象物に対して動作する人物の動画を模式的に示している。学習は、対象物に対して動作する人物を撮影した動画に基づいて行われる。対象物に対する動作とは、例えば、棚に対する動作であれば、人物が棚の扉を開け、物を取り出し、扉を閉めて棚から離れるまでの一連の動作を示す。撮影は、例えば、異なる固定位置から撮影するステレオカメラ等の複数台のカメラを用いて実施することにより、人物の各部位の位置を三次元的に捉えることができ、認識精度を向上させることができる。
【００１４】
対象物に対する一連の動作を撮影した動画は、動画を構成する時系列のフレーム画像を示す画像系列として取り扱われる。なお、動画を構成する全てのフレーム画像を用いる必要はなく、例えば、３０ｆｐｓの動画から１秒間に６枚のフレーム画像を抽出した画像系列を取り扱うようにしてもよい。図１では、机に対する動作を示す画像系列１，２、椅子に対する動作を示す画像系列３，４，５等の画像系列を示している。
【００１５】
図１中の中欄は、画像系列から、人物の動作を記号列化したパラメータ値群列の導出を示している。パラメータ値群列は、フレーム画像内における人物の特定部位の位置及び位置の変化を示す複数種のパラメータの値を時系列で並べた記号列である。本発明では、パラメータ値群列を、ｎ−ｇｒａｍ表現により記号列化することで対象物の認識に用いる。
【００１６】
図１中の右欄は、対象物に対応付けたパラメータ値群列の記録を示している。対象物に対する動作毎に導出したパラメータ値群列は、対象物の種類（カテゴリ）に対応付けてデータベースに記録される。図１に示す例では、導出したパラメータ値群列を、机カテゴリ、椅子カテゴリ等の対象物に対応付けて記録する。画像認識により、対象物として椅子そのものの認識処理を行う場合、椅子のデザイン毎にデータベースを作成しなければならない。しかしながら、本発明の認識方法では、椅子に対する人物の動作、例えば、引く、座る、立つ等の動作に基づいて認識を行うため、デザインの異なる個々の椅子に関する情報を登録するのではなく、椅子というカテゴリに対する情報を登録するだけで、認識処理が実行可能になる。従って、記録に関する容量負荷、処理負荷等の各種負荷を軽減することができる。
【００１７】
このようにしてデータベースに記録された学習結果は、動作する人物を撮影した動画から導出したパラメータ値群の時系列の並びとの比較に用いられ、動画に基づく対象物の認識に用いられる。
【００１８】
次に、本発明に係る認識方法において、人物の動作の特徴量を示すパラメータ値群の抽出の具体例について詳述する。以降の説明では、人物の特定部位として追跡した顔及び手の動きに基づく動作の特徴量の抽出を例示して説明する。特定部位として顔の位置を追跡することにより、立位、座位等の人物の姿勢が得られることから、動作の特徴の分類が容易になり、認識精度を向上させることができる。また、対象物に対する動作の多くが手を使う動作であるため、特定部位として手の位置を追跡することにより、対象物に対する動作の違いを明確化し、認識精度を向上させることができる。
【００１９】
顔及び手の動きを追跡する方法としては、既存の様々な技術を適用することが可能である。例えば、フレーム画像から肌色領域を抽出することにより、顔及び手の動きを追跡することができる。肌色領域を抽出する方法としては、肌色の確率分布を肌色モデルとして作成し、フレーム画像中の肌色確率を求める方法を例示することができる。このような方法では、例えば、フレーム画像内の色をL*a*b*表色系にて示す場合において、a*値及びb*値を用いて作成した肌色モデルに基づいて肌色領域を抽出することができる。そして、抽出した肌色領域のうち、最も高い位置にある領域を顔領域とみなして追跡する。また、顔領域以外の領域で、顔領域からの三次元距離が一定範囲内で、最も領域サイズの大きい領域を手領域とみなして追跡する。
【００２０】
そして、フレーム画像内の顔及び手の三次元位置から、人物が物体を扱う際の動作の特徴を示すパラメータ値を抽出する。動作の特徴を示すパラメータ値とは、顔及び手の位置及び位置の変化を示す複数種のパラメータの値である。
【００２１】
図２は、本発明の認識方法に係るパラメータの一例を示す図表である。図２では、動作の特徴を示すパラメータの種類として「顔の高さ」、「手と顔との距離」、「手から顔への方向」、「手と顔との距離の変化」、「顔の動く速さ」、「手の動く速さ」、「顔の動く方向」及び「手の動く方向」を示している。また、夫々のパラメータを示すラベルとして「Ｈf 」、「Ｄfh」、「Ａfh」、「Ｒfh」、「Ｓf 」、「Ｓh 」、「Ｍf 」及び「Ｍh 」が示されている。さらに、夫々のパラメータの量子化数を示す数値が示されている。量子化数とは、各パラメータに係る状態を示す区分の数である。
【００２２】
図２に示すパラメータの種類のうち、「顔の高さ；Ｈf 」、「手と顔との距離；Ｄfh」及び「手から顔への方向；Ａfh」は、一のフレーム画像から導出される部位の位置を示すパラメータである。また、「手と顔との距離の変化；Ｒfh」、「顔の動く速さ；Ｓf 」、「手の動く速さ；Ｓh 」、「顔の動く方向；Ｍf 」及び「手の動く方向；Ｍh 」は、導出の対象となるフレーム画像とその直前の所定数Ｔ（Ｔは自然数）分のフレーム画像とから導出される部位の位置の変化を示すパラメータである。
【００２３】
カメラによる撮影にて得られた動画に基づいて想定された三次元座標系において、水平方向をｘ、鉛直上向きをｙ、そして奥行きをｚとし、時刻ｔにおける顔の位置をＦ(t) ＝（ｆx(t)，ｆy(t)，ｆz(t)）とし、手の位置をＨ(t) ＝（ｈx(t)，ｈy(t)，ｈz(t)）とすると、各パラメータは、下記の式１ａ〜１ｈのように示すことができる。
【００２４】
【数１】
2011164778.tif 000003
【００２５】
ここで、Ａfh、Ｍf 及びＭf は、鉛直下向きからの角度として示している。即ち、水平方向への動作であれば、これらの角度は、ラジアン単位でπ／２である。
【００２６】
次に各パラメータを以下のように量子化する。これは、各時刻における人物の動作を離散的に表現し、記号化するためである。
【００２７】
顔の高さ（Ｈf ）の量子化について説明する。顔の高さを量子化するためには、立位、座位及び臥位の３の状態を区別するための閾値を設定する。立位及び座位における顔の高さの平均値、並びに座位及び臥位における顔の高さの平均値を夫々の閾値として設定することにより、顔の高さを３の状態に量子化することができる。
【００２８】
顔の動く速さ（Ｓf ）及び手の動く速さ（Ｓh ）の量子化について説明する。対象となるフレーム画像及び直前の所定数のフレーム画像に基づいて、静止している状態、ゆっくり動いている状態及び早く動いている状態の３の状態を区別するための閾値を設定する。ゆっくり動く状態の速さは、物を取る場合における手の動く速さを基準とする。また、早く動く状態の速さは、歩行時の顔の動く速さを基準とする。そして、これらの基準の速さ及び静止を示す速度「０」に基づいて、静止している状態とゆっくり動いている状態との閾値、及びゆっくり動いている状態と早く動いている状態との閾値を設定することにより、顔の動く速さ及び手の動く速さを、３の状態に量子化することができる。
【００２９】
顔の動く方向（Ｍf ）、手の動く方向（Ｍh ）及び手から顔への方向（Ａfh）の量子化について説明する。これらの方向は、鉛直下向きからの角度を５段階に量子化した方向と、静止時を示す１の状態とを含めて６の状態に量子化することできる。なお、鉛直下向きからの５段階の方向を区別するための閾値としては、π／８、３π／８、５π／８及び７π／８の４の閾値が用いられる。
【００３０】
手と顔との距離（Ｄfh）の量子化について説明する。手と顔との距離は、手と顔との距離が近い状態、肘を曲げた状態及び肘を伸ばした状態の３の状態に量子化する。これら３の状態の場合における手及び顔の距離に基づいて、手と顔との距離が近い状態及び肘を曲げた状態の閾値、並びに肘を曲げた状態及び肘を伸ばした状態の閾値を設定することにより、手と顔との距離を、３の状態に量子化することができる。
【００３１】
手と顔との距離の変化（Ｒfh）の量子化について説明する。対象となるフレーム画像及び直前の所定数のフレーム画像に基づいて、手と顔との距離が、変わらない状態、近づいている状態及び遠ざかっている状態の３の状態に量子化する。
【００３２】
以上のように人物の動作の特徴を示すパラメータを量子化することにより、各フレーム画像におけるパラメータの値をパラメータ値群として示すことができる。パラメータ値群は、下記の式２として定義される動作記号ｘt として示される。
【００３３】
ｘt ＝（Ｈf ，Ｄfh，Ａfh，Ｒfh，Ｓf ，Ｓh ，Ｍf ，Ｍh ）      …式（２）
【００３４】
そして、複数のパラメータ値群を時系列で並べることで、人物の動作を示す記号系列としてパラメータ値群列（ｘ0 ，ｘ1 ，…，ｘt ，…）を導出する。導出したパラメータ値群列は、対象物の種類（カテゴリ）に対する人物の動作の学習に用いられる。本発明に係る認識方法では、パラメータ値群列をｎ−ｇｒａｍを用いて表現し、対象物の種類としてデータベースに記録することにより学習を行う。
【００３５】
本発明に係る認識方法では、ｎフレーム分のパラメータ値群列に基づくｎ−ｇｒａｍを下記の式３として表現する。
【００３６】
ｗt n ＝ｘt ｘt+1…ｘt+n-1       …式（３）
【００３７】
上記式３により得られたｎ−ｇｒａｍ；ｗt n （ｎ＝１，２，…，Ｌ）は、対象物の種類毎にデータベースに記録される。ただし、Ｌは考慮すべきフレーム数の最大値を示している。
【００３８】
式３により得られたｗt n の集合により対象物の種類が表現される。なお、データベースへの記録に際し、対象物のカテゴリ間で共通するｎ−ｇｒａｍを除去することにより、更に認識精度を向上させることができる。具体的には、座位、立位等の人物の姿勢に大きく影響を与える動作の特徴を除去し、更に、異なる対象物の種類に重複して現れる動作の特徴を除去することにより、対象物の認識に有効な動作集合のみが残されることになる。
【００３９】
共通するｎ−ｇｒａｍの除去は、下記の式４として表現することができる。なお、式４では、対象物の種類「ｏ」に対する人物の動作「ｗt n 」の集合を「Ｓo 」とし、新たに学習させる動作の集合を「Ｓ′o」として示している。
【００４０】
【数２】
2011164778.tif 000004
【００４１】
式４により、人物の動作のｎ−ｇｒａｍのうち、対象物に対する動作に係るｎ−ｇｒａｍのみが導出されることになる。即ち、式４により、対象物の種類毎の既知の動作に係るパラメータ値群列に係るｎ−ｇｒａｍから、複数の対象物の種類間で共通するパラメータの値を夫々除去することで算出したパラメータ値群列に係るｎ−ｇｒａｍを導出するのである。
【００４２】
次に、対象物の認識について説明する。認識に際しては、撮影により得られた動画に基づいて、パラメータ値群の時系列の並びを示す記号列を導出する。記号列の導出は、学習時におけるパラメータ値群列の導出と同様の方法が用いられる。そして、認識の対象となる対象物に係る記号列と、データベースに記録されている各種対象物のパラメータ値群列に係るｎ−ｇｒａｍとの一致度合いを示す指標値を、対象物の種類に係るスコアとして下記の式５により求める。なお、式５では、認識の対象となる対象物「Ｑ」に係るｎ−ｇｒａｍの集合を「ＳQ 」として示し、データベースに記録されている比較の対象となる対象物「Ｏ」に係るｎ−ｇｒａｍの集合を「Ｓ′o」として示し、指標値を示すスコアを「score （Ｑ，Ｏ）」として示している。
【００４３】
score （Ｑ，Ｏ）＝｜ＳQ ∩Ｓ′o｜      …式（５）
【００４４】
式５は、一連の動画の中から導出されたｎ個の記号を含むｎ−ｇｒａｍの集合を、データベースに記録されているｎ個の記号を含むｎ−ｇｒａｍの集合であるＳ′oと比較し、一致した個数をscore （Ｑ，Ｏ）として求めることを示している。比較に用いるｎ−ｇｒａｍは、例えば、ｎ以上の記号を含むパラメータ値群列のうちから、最初の連続するｎ個を導出し、次に開始位置を１等の所定個数分ずらした位置とし、その位置から連続するｎ個を導出するという処理を繰り返すことにより、夫々複数導出される。
【００４５】
なお、式５では、指標値を導出する簡単な例を示したものであり、認識精度を高めるため、更なる要素を考慮することも可能である。例えば、式５に係るスコアが高いｎ−ｇｒａｍの出現頻度、出現パターン等の要素を考慮し、それらの要素に応じた係数をスコアに乗じて指標値を補正することにより、更に認識精度の向上を見込むことができる。
【００４６】
式５にて求められる指標値を、対象物の各種類に対して求め、最も指標値が高い対象物の種類を、認識の対象となった対象物の種類であるとして認識する。
【００４７】
次に、本発明の認識方法を適用した認識装置について説明する。図３は、本発明の認識装置の構成例を示すブロック図である。図３において、認識装置１は、例えばパーソナルコンピュータ等のコンピュータを用いて構成される。認識装置１は、制御部１０、補助記憶部１１、記録部１２、記憶部１３、動画入力部１４、操作部１５及び表示部１６を備えている。
【００４８】
制御部１０は、装置全体を制御するＣＰＵ等の機構である。
【００４９】
補助記憶部１１は、本発明に係る認識プログラム２及びデータ等の各種情報を記録するＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等の記録媒体から各種情報を読み取る光学ドライブ等の機構である。
【００５０】
記録部１２は、補助記憶部１１に読み取った各種情報を記録するハードディスク、ＳＳＤ（Solid State Drive ）等の機構である。
【００５１】
記憶部１３は、制御部１０の処理により一時的に発生する情報を記憶するＲＡＭ等の機構である。
【００５２】
動画入力部１４は、ＣＣＤカメラ等の複数台の撮影装置３から時系列のフレーム画像を含む動画情報の入力を受け付ける接続回路等の機構である。なお、撮影装置３から直接動画情報の入力を受け付けるのではなく、記録媒体を介して動画情報を読み込むようにしても良い。
【００５３】
操作部１５は、操作者の操作を受け付けるマウス、キーボード等の機構であり、表示部１６は、モニタ等の機構である。
【００５４】
そして、記録部１２に記録した本発明の認識プログラム２を記憶部１３に記憶させ、制御部１０の制御にて実行することにより、コンピュータは、本発明の認識装置１として動作する。本発明の認識装置１として動作することにより、制御部１０は、検出手段、導出手段、特定手段及び認識手段等の手段として機能し、これらの手段に係る処理手順を実行する。
【００５５】
検出手段とは、動画を構成する時系列のフレーム画像から、人物の特定部位の位置を検出する処理手順を、制御部１０に実行させるプログラムモジュール等の構成要素である。
【００５６】
導出手段とは、特定部位の位置及びその変化をパラメータ値群としてフレーム画像毎に導出する処理手順を、制御部１０に実行させるプログラムモジュール等の構成要素である。
【００５７】
特定手段とは、パラメータ値群の時系列変化と比較することにより、予め記録している学習内容から、一致又は近似するパラメータ値群列を特定する処理手順を、制御部１０に実行させるプログラムモジュール等の構成要素である。
【００５８】
認識手段とは、パラメータ値群列に基づいて対象物を認識する処理手順を、制御部１０に実行させるプログラムモジュール等の構成要素である。
【００５９】
なお、これら検出手段、導出手段、特定手段及び認識手段等の各種手段は、ソフトウェアとして構成するのではなく、ＶＬＳＩ等のハードウェア回路として実装するようにしてもよい。
【００６０】
また、認識装置１の記録部１２の記録領域の一部は、対象物に対する動作を示す記号系列として導出したパラメータ値群列に係るｎ−ｇｒａｍを記録するデータベース１２１として用いられている。データベース１２１には、各種類の対象物に対応付けて、パラメータ値群列に係るｎ−ｇｒａｍが事前の学習結果として予め記録されている。なお、記録部１２の記録領域の一部をデータベース１２１として用いるのではなく、認識装置１に他の記録装置を接続し、接続した記録装置を認識装置１からアクセスすることが可能なデータベース１２１として用いるようにしてもよい。
【００６１】
次に、本発明の認識装置１を用いた認識処理について説明する。図４は、本発明の認識装置１に係る認識処理の一例を示すフローチャートである。認識装置１は、認識プログラム２を実行する制御部１０の処理により、以下に例示する認識処理を実行する。制御部１０は、動画を構成する時系列のフレーム画像から、人物の特定部位のフレーム画像内での位置を検出する（ステップＳ１）。ステップＳ１では、人物の手及び顔を特定部位として、フレーム画像内における特定部位の位置を認識する。
【００６２】
制御部１０は、検出した部位の位置及び位置の変化を示す複数種のパラメータの値を、パラメータ値群としてフレーム画像毎に導出する（ステップＳ２）。ステップＳ２では、顔の位置を示す「顔の高さ」、顔の位置の変化を示す「顔の動く速さ」等の各パラメータについての値を、予め量子化された区分に従い導出する。パラメータ値群は、例えば、前述の式２として示される。
【００６３】
制御部１０は、導出したパラメータ値群の時系列の並びと、一致又は近似するパラメータ値群列を特定する（ステップＳ３）。パラメータ値群の時系列の並びとは、複数のパラメータ値群を時系列で並べることで、人物の動作を示す記号系列として示したものであり、本発明では、例えば、前述の式３として示されたｎ−ｇｒａｍとして表現される。ステップＳ３では、導出したパラメータ値群列の時系列の並びを、データベース１２１に予め学習結果として記録しているｎ−ｇｒａｍとして表現されたパラメータ値群列と比較する。
【００６４】
データベース１２１には、各対象物に係る種類（カテゴリ）に対応付けて、ｎ−ｇｒａｍとして表現されたパラメータ値群列が夫々記録されている。ステップＳ３の特定では、導出したパラメータ値群列の並びと、データベース１２１に記録されているパラメータ値群列との一致度合いに応じて求められる指標値に基づいて、パラメータ値群列が特定される。指標値としては、例えば、前述の式５として示されるスコアが用いられる。
【００６５】
制御部１０は、パラメータ値群列に対応付けてデータベース１２１に記録されている対象物の種類を、動作の対象となった対象物の種類として認識する（ステップＳ４）。
【００６６】
認識の結果は、撮影された室内における各種対象物の配置として、記録部１２に記録される。記録部１２に記録された配置を示す情報は、例えば、その室内にて使用される掃除用ロボット等の装置に入力され、例えば、障害物の配置を示すデータとして処理される。従って、掃除用ロボット等の装置自体に、本発明の認識方法を適用し、本発明に係る認識装置として動作させ、自動的に室内の配置を認識するように実装することも可能である。
【００６７】
このように、対象物に対する動作に基づいて、対象物を認識することにより、オクルージョン、物体の散乱状況等の認識環境に関わらず認識対象を認識することが可能である。また、対象物のデザイン上の差異による外観の相違を考慮せずとも、対象物の種類を認識することが可能である。また、動作のカテゴリを特定せずとも認識対象を認識することが可能である。そして、未知の形状の椅子であっても、椅子と認識することが可能であり、更には、本来の椅子ではない物、例えば、箱であっても、椅子として用いた場合には、椅子として認識することが可能となる。
【００６８】
次に、本発明の認識方法に係る認識テストについて説明する。認識対象として用いられる対象物の種類は、ゴミ箱、棚、プリンタ、ハンガー、扉、椅子、コップ、パソコン、本、ペン及び引き出しの１１種類である。当該テストに際し、各種類に対して、３人の人物が３０回ずつ動作を行い、合計９０シーケンス分の撮影を行った。個々のシーケンスでは、物体に対する一連の動作の全てが含まれている。例えば、棚に対する動作では、開く、物を取り出す（収容する）、閉めるという一連の動作が含まれている。
【００６９】
なお、これらの１１種類の対象物のうち、ゴミ箱、棚、プリンタ、ハンガー及び扉は、立位で扱う対象物であり、椅子は、立位と座位とが変化する動作を受ける対象物であり、コップ、パソコン、本、ペン及び引き出しは、座位で扱う対象物である。また、撮影条件を変化させるため、一の物体に対して異なる３方向からの撮影を行った。
【００７０】
対象物の撮影には、SRI Internationl社製ステレオカメラを用い、３２０×２４０ピクセルの解像度、１５ｆｐｓのフレームレートで撮影を行った。なお、ステレオカメラによる奥行値計算には、ステレオカメラに付属のライブラリを使用した。
【００７１】
先ず、各対象物について、２０×３人分＝６０シーケンスを学習データとして記録し、残りの３０シーケンスをテストデータとした。全てのシーケンスについてテストすることができるように、学習データとテストデータとを入れ替え、９０シーケンス全てについての認識テストを行った。このとき、学習データ及びテストデータには、同じ人物が行った動作が夫々含まれている。なお、当該テストにおいて、位置の変化を求めるフレーム画像数Ｔを５とし、ｎ−ｇｒａｍの最大長Ｌを１０とした。
【００７２】
図５は、本発明の認識方法に係る認識テストの結果を示す図表である。図５では、認識対象の種類と、認識率との関係はマトリクスとして示している。図５の図表において、認識対象とは、ゴミ箱、棚等の対象物の種類を示している。認識率とは、認識対象に対して、どのような対象物であると認識したかを、百分率にて示している。例えば、認識対象「Ａ：ゴミ箱」は、９３％の割合で「Ａ：ゴミ箱」として認識され、３％の割合で「Ｅ：扉」として認識されたことを示している。
【００７３】
図５の図表に示す左上から右下にかけての対角成分が、正しい認識がなされた割合となる。当該認識テストにおいて、プリンタ以外の対象物に対しては、正解となる対象物に対する認識率が最も高く、正しい認識がなされている。また、立位で扱う対象物と、座位で扱う対象物とを混合して認識されることはなかった。
【００７４】
当該認識テストから明らかな対象物による認識の正解率の違い以外にも、条件によって正解率が異なる場合がある。例えば、ｎ−ｇｒａｍの最大長Ｌを変化させた場合には、Ｌの値を大きくするほど正解率が向上するが、Ｌ＝７でサチュレートするという結果が得られた。このように本発明の認識方法の適用に際しては、十分に条件を検討し、適正化することにより、更なる正解率の向上が期待できる。
【００７５】
前記実施の形態は、本願の無数に存在する形態の一部を例示したに過ぎず、各種ハードウェアの構成、処理の手順、その他の条件の設定は、目的、用途等に応じて適宜設計することが可能である。例えば、前記実施の形態では、人物の顔及び手を検出に係る部位としたが、鍵盤楽器、弦楽器等の楽器を演奏する人物の両手の各指を検出対象とし、個々の弦、鍵盤等を動作対象として認識する等、様々な形態に展開することが可能である。また、動作対象は、人物に限らず、犬、猫等のヒト以外の動物であってもよい。
【符号の説明】
【００７６】
１  認識装置
１０  制御部
１１  補助記憶部
１２  記録部
１３  記憶部
１４  動画入力部
１５  操作部
１６  表示部
２  認識プログラム
３  撮影装置
【図１】
2011164778.tif 000005
【図２】
2011164778.tif 000006
【図３】
2011164778.tif 000007
【図４】
2011164778.tif 000008
【図５】
2011164778.tif 000009