(57)【要約】      （修正有）【課題】対象物の動作を正確に、かつ短時間で認識する。【解決手段】  ステレオ像撮像手段による複数フレームの左右画像から特定色部分を切出してラベリングを行い、左右画像の一方で得られたオブジェクトの特性に最も近いラベルを左右画像の他方から探索して両画像のオブジェクトの重心の差から簡易視差を求め、簡易視差を求めた左右画像に対して時間差分をとり、時間差分をとった画像に対して視差の最も大きいオブジェクトを対象領域として有効画像とし、他の領域の濃淡値を０とした画像に対して、その画像と動きのｘ成分検出正弦波空間フィルタ及び動きのｙ成分検出正弦波空間フィルタを重畳しフーリエ変換してスペクトル解析することにより得られたパワースペクトル値を時系列に並べた動作紋を取得する。この動作紋を、ニューラルネットを用いた学習法により複数種類の既知の動作紋と比較することにより対象物の動作を認識する。【選択図】図７
2006268639.tif 000002
【特許請求の範囲】
【請求項１】
ステレオ動画像撮像手段により撮像した複数フレームの左右画像の画像処理により対象物の動作を認識する方法であって、
該ステレオ動画像撮像手段で左右画像を撮像し画像処理手段に取り込むステップと、
撮像された複数フレームの前記左右画像の特定の色の部分を切出す切出し処理のステップと、
前記切出し処理がなされた左右画像に対して簡易視差を求めるステップと、
前記求められた簡易視差に対し視差の最も大きいオブジェクトを対象領域として有効画像とし、他の領域の濃淡値を０とした画像に対して、該画像と動きのｘ成分検出正弦波空間フィルタ及び動きのｙ成分検出正弦波空間フィルタを重畳しフーリエ変換してスペクトル解析することにより得られたパワースペクトル値を時系列に並べた動作紋を得るステップと、
前記撮像された画像から得られた動作紋を予め得られた複数種類の既知の動作についての動作紋と比較することにより前記撮像された画像における対象物の動作を認識するステップと、
の各ステップを含むことを特徴とする対象物の動作を認識する方法。
【請求項２】
前記切出し処理のステップが前記左右画像に対して、ＴＳＬ変換を行い特定の色（ＴとＳのある範囲の値で指定される肌色）の部分を取出して該部分のＬ値（グレーのレベル）で肌色部分を置き換え、他の部分の濃淡値を０にすることを含むことを特徴とする請求項１に記載の対象物の動作を認識する方法。
【請求項３】
前記簡易視差を求めるステップが前記切出し処理がなされた左右画像に対してラベリングを行い、画像中のラベルを付したオブジェクト（ＴＳＬ値で指定される肌色の連結する画素領域）の特性を求めるステップと、
前記左右画像の一方で得られたオブジェクトの特性に最も近いラベルを左右画像の他方から探索して、両画像のオブジェクトの重心の差から簡易視差を求めるステップとからなることを特徴とする請求項１、２のいずれかに記載の対象物の動作を認識する方法。
【請求項４】
前記オブジェクトの特性がオブジェクトの面積、サイズ（縦横）、平均濃淡値（Ｌ値の平均値）のいずれかであることを特徴とする請求項３に記載の対象物の動作を認識する方法。
【請求項５】
前記簡易視差を求めた画像に対して時間差分をとるステップをさらに含み、該時間差分をとった画像に対して動作紋を得るようにしたことを特徴とする請求項１〜４のいずれかに記載の対象物の動作を認識する方法。
【請求項６】
前記撮像された画像から得られた動作紋を予め得られた既知の動作についての動作紋と比較することにより前記撮像された画像における対象物の動作を認識するステップが、前記撮像された画像から得られた動作紋を予めニューラルネットを用いた学習法により得られた複数種類の既知の動作についての動作紋と比較することによりなされるものであることを特徴とする請求項１〜５のいずれかに記載の対象物の動作を認識する方法。
【請求項７】
左右画像を撮像するためのステレオ動画像撮像手段と、
該ステレオ動画像撮像手段で撮像された左右画像を処理可能にするために取込む手段と、
該取込み手段により取込まれた複数フレームの左右画像の特定の色の部分の切出し処理を行う手段と、
該切出し処理がなされた左右画像に対して簡易視差を求める手段と、
前記求められた簡易視差に対し視差の最も大きいオブジェクトを対象領域として有効画像とし、他の領域の濃淡値を０とした画像に対して、該画像と動きのｘ成分検出正弦波空間フィルタ及び動きのｙ成分検出正弦波空間フィルタを重畳しフーリエ変換してスペクトル解析することにより得られたパワースペクトル値を時系列に並べた動作紋を得る手段と、
前記撮像された画像から得られた動作紋を予め得られた複数種類の既知の動作についての動作紋と比較することにより前記撮像された画像における対象物の動作を認識する手段と、
からなることを特徴とする対象物の動作の認識装置。
【請求項８】
前記切出し処理を行う手段が前記左右画像に対して、ＴＳＬ変換を行い特定の色（ＴとＳのある範囲の値で指定される肌色）の部分を取出して該部分をＬ値のモノクロ濃淡値（グレー）にするとともに他の部分の濃淡値を０にするものであることを特徴とする請求項７に記載の対象物の動作の認識装置。
【請求項９】
前記簡易視差を求める手段が前記特定の色（ＴとＳのある範囲の値で指定される肌色）の部分の切出し処理がなされた左右画像のラベリング処理を行い、画像中のラベルを付したオブジェクト（ＴＳＬ値で指定される肌色の連結する画素領域）の特性を求める手段と、
前記左右画像の一方で得られたオブジェクトの特性に最も近いラベルを左右画像の他方から探索して両画像のオブジェクトの重心の差から簡易視差を求める手段と、
からなることを特徴とする請求項７、８のいずれかに記載の対象物の動作の認識装置。
【請求項１０】
前記オブジェクトの特性がオブジェクトの面積、サイズ（縦横）、平均濃淡値（Ｌ値の平均値）のいずれかであることを特徴とする請求項９に記載の対象物の動作の認識装置。
【請求項１１】
前記簡易視差を求めた画像に対して時間差分をとる手段をさらに有し、該時間差分をとった画像に対して動作紋を得るようにしたことを特徴とする請求項７〜１０のいずれかに記載の対象物の動作の認識装置。
【請求項１２】
前記撮像された画像から得られた動作紋を予め得られた複数種類の既知の動作についての動作紋と比較することにより前記撮像された画像における対象物の動作を認識する手段が、前記撮像された画像から得られた動作紋を予めニューラルネットを用いた学習法により得られた複数種類の既知の動作についての動作紋と比較することにより前記撮像された画像における対象物の動作を認識するものであることを特徴とする請求項７〜１１のいずれかに記載の対象物の動作の認識装置。
【請求項１３】
前記２台のビデオカメラが同期をとって撮像を行うものであることを特徴とする請求項７〜１２のいずれかに記載の対象物の動作の認識装置。
【請求項１４】
ディスプレイ上に入力操作に必要な質問事項を表示する手段と、
請求項７〜１３のいずれかに記載の対象物の動作の認識装置により得られた対象物の動作を前記質問事項に対する応答として取込む手段と、
を備えてなる入力装置。
【請求項１５】
ステレオ動画像撮像手段で左右画像を撮像し、
撮像された複数フレームの前記左右画像の特定の色の部分を切出し、
前記切出し処理がなされた左右画像に対して簡易視差を求め、
前記求められた簡易視差に対し視差の最も大きいオブジェクトを対象領域として有効画像とし、他の領域の濃淡値を０とした画像に対して、該画像と動きのｘ成分検出正弦波空間フィルタ及び動きのｙ成分検出正弦波空間フィルタを重畳しフーリエ変換してスペクトル解析することにより得られたパワースペクトル値を時系列に並べた動作紋を形成し、
前記撮像された画像から得られた動作紋を予め得られた複数種類の既知の動作についての動作紋と比較することにより前記撮像された画像における対象物の動作を認識することを含むステレオ動画像撮像手段により撮像した複数フレームの左右画像の画像処理により対象物の動作の認識をコンピュータ上で実現するためのプログラムを記録した記録媒体。
【請求項１６】
前記特定の色の部分の切出しが前記左右画像に対してＴＳＬ変換を行い特定の色（ＴとＳのある範囲の値で指定される肌色）の部分を取出して該部分をＬ値（グレーの濃淡レベル）にするとともに他の部分の濃淡値を０にすることを含むことを特徴とする請求項１５に記載のプログラムを記録した記録媒体。
【請求項１７】
前記簡易視差を求めることが前記切出し処理がなされた左右画像に対してラベリングを行い、画像中のラベルを付したオブジェクト（ＴＳＬ値で指定される肌色の連結する画素領域）の特性を求め、
前記左右画像の一方で得られたオブジェクトの特性に最も近いラベルを左右画像の他方から探索して両画像のオブジェクトの重心の差から簡易視差を求める
ことによりなされるものであることを特徴とする請求項１５、１６のいずれかに記載のプログラムを記録した記録媒体。
【請求項１８】
前記オブジェクトの特性がオブジェクトの面積、サイズ（縦横）、平均濃淡値（Ｌ値の平均値）のいずれかであることを特徴とする請求項１７に記載のプログラムを記録した記録媒体。
【請求項１９】
前記簡易視差を求めた画像に対して時間差分をとり、該時間差分をとった画像に対して動作紋を得るようにしたことを特徴とする請求項１５〜１８のいずれかに記載のプログラムを記録した記録媒体。
【請求項２０】
前記撮像された画像から得られた動作紋を予め得られた複数種類の既知の動作についての動作紋と比較することにより前記撮像された画像における対象物の動作を認識することが、前記撮像された画像から得られた動作紋を予めニューラルネットを用いた学習法により得られた複数種類の既知の動作についての動作紋と比較することによりなされるものであることを特徴とする請求項１５〜１９のいずれかに記載のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラによって撮像したステレオ動画像から対象人物の動作を認識する方法及び装置に関し、特にマンマシーン・インタフェース、福祉機器のヒューマン・インタフェース、入力機器に適用される動作の認識の方法及び装置に関する。
【背景技術】
【０００２】
コンピュータやコンピュータにより制御される機器類の操作のために、利用する者の意図、判断はキーボード、コントローラ等の入力インタフェースを介して機器類に伝えられる必要があるが、このような入力インタフェースはあまり馴染みのない者にとって利用し難いことがあり、キーボードやコントローラ等に馴染みの少ない者にも利用し易い形態の入力インタフェースについて種々提案されており、利用する者をカメラで撮像し、画像処理により動作を認識する手法を用いることについてもいくつか提案がなされている。
【０００３】
この従来の技術の例として、次のようなものがある。
【特許文献１】特開平２００２−８０４２号
【特許文献２】特開２００４−３０２９９２号
【特許文献３】特開２００４−３４８３０３号
【特許文献４】特開２０００−３３１１７０号
【非特許文献１】動画像のリアルタイムビジョンを用いた動作認識手法：「リアルタイムビジョンを用いたヒューマン・インタフェース」（小笠原、松本、２０００年：知能メカトロニクスワークショップ講演論文集）
【非特許文献２】「空間フィルタを用いた動画像処理による動作特徴の可視化」(治部、長、三池、２００４年：画像の認識・理解シンポジウム（ＭＩＲＵ  ２００４）Ｐｒｏｃｅｅｄｉｎｇｓ  ｐｐ．Ｉ−１４９〜Ｉ−１５０)
【０００４】
特許文献１は、移動する物体の動画像を物体像と背景像に分離し、所定の時刻に物体像が存在する領域の画素に所定の濃度値を割り当て、画像中の特定の範囲及び濃度値を所定の割合で変化させるための制御パラメータに基づいて所定の領域の範囲と濃度値とを変化させ、この領域における濃度値の分布から特徴量を抽出し、この特徴量を規定値と照合して動作を認識する手法について開示している。
【０００５】
特許文献２は、検出された対象人物の顔位置及び手先位置から「顔位置手先位置との相対的な位置関係」及び「顔位置を基準とした差異の手先位置の変位」を検出し、記憶部におけるポスチャデータまたはジェスチャデータとの比較により対象人物のポスチャまたはジェスチャを認識する手法について開示している。
【０００６】
特許文献３は、動画像の移動領域を検出し、検出した移動領域を取り囲むように設定した追跡ブロックの中で相関演算を行い、予め設定したフレームの間での移動領域の速さと方向を検出してテンプレートを生成し、このテンプレートを用いてマッチング処理を行うことにより移動物体の追跡処理、手振り等の動作を検出する手法について開示している。
特許文献４は、異なる方向から複数の手を撮影する複数のカメラの中から処理に最適なものを選択し、さらにオクルージョンを発生せず追跡可能な画像を選択し、それをもとにそれぞれの手の位置を予測し、手の回転角に基づいて手の形状を認識する画像を選択してＰ型フーリエ記述子に基づいて手の形状を認識し、これらの統合によりジェスチャを認識する手振り認識装置について開示している。
【０００７】
非特許文献１は、カメラで撮像した映像信号の画像処理により顔の位置、姿勢及び視線を認識するシステムと、その車椅子への適用について開示している。
これらの技術においては、動作の認識の段階で照合される規定の動作パターンのデータの作成が煩雑であり、動作を認識すべき対称物体の特定にも制約が多く、認識される動作の内容や種類にも制約があり、動作認識の過程に時間を要してリアルタイム性が得難く、認識の精度もそれほど上げられなかった。
【０００８】
非特許文献２は、本発明者らが提案し、空間フィルタ速度計測法により人物の動作の特徴を表す動作紋を算出し、この動作紋から動作を同定する手法について開示したものである。しかしながら、この動作紋を単純に用いた手法では、
ａ．対象者以外に動く物体がない。
ｂ．対象者の位置（カメラからの距離）を変えない。
という条件が課せられるという問題があることがわかった。この動作紋を用いる手法は本発明におけるステレオ動画像画像処理による対象物の動作認識の前提をなすものであり、詳細は後述する。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
このように撮像した動画像の画像処理による従来の手法においては、認識される対称物の動作の内容や種類に制限が課せられ、あるいは対象物が移動しない条件が求められるというような制約があり、動作認識の過程に時間を要しリアルタイム性が得難く、認識率も十分ではないものであり、これらの制約を極力なくして認識率を高めることが求められていた。また、それに対する改善として提案した動作紋を単純に用いる手法による動作の認識でも、対象者以外に動く物体がないこと、対象者の位置（カメラからの距離）を変えないこと、という制約があった。
【課題を解決するための手段】
【００１０】
本発明はこのような課題を解決するためになしたものであり、本発明による対象物の動作を認識する方法は、ステレオ動画像撮像手段により撮像した複数フレームの左右画像の画像処理により対象物の動作を認識する方法であって、ステレオ動画像撮像手段で左右画像を撮像し画像処理手段に取り込むステップと、撮像された複数フレームの前記左右画像の特定の色の部分を切出す切出し処理のステップと、前記切出し処理がなされた左右画像に対して簡易視差を求めるステップと、前記求められた簡易視差に対し視差の最も大きいオブジェクトを対象領域として有効画像とし、他の領域の濃淡値を０とした画像に対して、該画像に動きのｘ成分検出正弦波空間フィルタ及び動きのｙ成分検出正弦波空間フィルタを重畳しフーリエ変換してスペクトル解析することにより得られたパワースペクトル値を時系列に並べた動作紋を得るステップと、前記撮像された画像から得られた動作紋を予め得られた複数種類の既知の動作についての動作紋と比較することにより前記撮像された画像における対象物の動作を認識するステップと、の各ステップを含むものである。
【００１１】
本発明による対象物の動作の認識装置は、左右画像を撮像するためのステレオ動画像撮像手段と、該ステレオ動画像撮像手段で撮像された左右画像を処理可能にするために取込む手段と、該取込み手段により取込まれた複数フレームの左右画像の特定の色の部分の切出し処理を行う手段と、該切だし処理がなされた左右画像に対して簡易視差を求める手段と、前記求められた簡易視差に対し視差の最も大きいオブジェクトを対象領域として有効画像とし、他の領域の濃淡値を０とした画像に対して、該画像に動きのｘ成分検出正弦波空間フィルタ及び動きのｙ成分検出正弦波空間フィルタを重畳しフーリエ変換してスペクトル解析することにより得られたパワースペクトル値を時系列に並べた動作紋を得る手段と、前記撮像された画像から得られた動作紋を予め得られた複数種類の既知の動作についての動作紋と比較することにより前記撮像された画像における対象物の動作を認識する手段と、からなるものである。
ステレオ動画像撮像手段は同期をとって撮像を行うものとしてもよい。
【００１２】
本発明による入力装置は、ディスプレイ上に入力操作に必要な質問事項を表示する手段と、本発明による対象物の動作の認識装置により得られた対象物の動作を前記質問事項に対する応答として取込む手段とを備えたものである。
また、本発明は、ステレオ動画像撮像手段で左右画像を撮像し、撮像された複数フレームの前記左右画像の特定の色の部分を切出し、前記切出し処理がなされた左右画像に対して簡易視差を求め、前記求められた簡易視差に対し視差の最も大きいオブジェクトを対象領域として有効画像とし、他の領域の濃淡値を０とした画像に対して、該画像に動きのｘ成分検出正弦波空間フィルタ及び動きのｙ成分検出正弦波空間フィルタを重畳しフーリエ変換してスペクトル解析することにより得られたパワースペクトル値を時系列に並べた動作紋を形成し、前記撮像された画像から得られた動作紋を予め得られた複数種類の既知の動作についての動作紋と比較することにより前記撮像された画像における対象物の動作を認識することを含むステレオ動画像撮像手段により撮像した複数フレームの左右画像の画像処理により対象物の動作の認識をコンピュータ上で実現するためのプログラムを記録した記録媒体としても構成される。
【００１３】
対象物の動作を認識する方法、対象物の動作の認識装置、対象物の動作認識を行うためのプログラムを記録した記録媒体において、切出し処理は、前記左右画像に対してＴＳＬ変換を行い特定の色の部分を取出して該部分をグレーにするとともに他の部分の濃淡値を０にするようにしてもよい。簡易視差を求めるステップは、切出し処理がなされた左右画像に対してラベリングを行い、画像中のラベルを付したオブジェクト（ＴＳＬ値で指定される肌色の連結する画素領域）の特性を求め、左右画像の一方で得られたオブジェクトの特性に最も近いラベルを左右画像の他方から探索して両画像のオブジェクトの重心の差から簡易視差を求めるようにしてもよく、オブジェクトの特性は、オブジェクトの面積、サイズ（縦横）、平均濃淡値（Ｌ値の平均値）のいずれかであるようにしてもよい。また、簡易視差を求めた画像に対して時間差分をとり、時間差分をとった画像に対して動作紋を得るようにするのがよい。さらに、撮像された画像から得られた動作紋を予め得られた既知の動作についての動作紋と比較することにより撮像された画像における対象物の動作を認識することは、撮像された画像から得られた動作紋を予めニューラルネットを用いた学習法により得られた複数種類の既知の動作についての動作紋と比較することによりなされるものとしてもよい。
【発明の効果】
【００１４】
本発明によれば、動作紋を用いた動作の認識においてラベリングの手法を用いて奥行情報を取得することにより、対象物までの距離、背景での対象物以外の動きに左右されず動作のリアルタイムでの認識を行うことが可能になり、奥行情報を少ない計算コストで求めることができるとともに、認識のロバスト性、認識率が大幅に改善される。それにより、キーボードやマウス等の従来の入力機器によらず画像情報を用いることによって従来の入力機器に馴染みのない者も容易に情報入力を行うことできるようになり、ひいては機械と人間との意志疎通の支援に寄与がなされるものである。
【発明を実施するための最良の形態】
【００１５】
まず、本発明による対象物の動作の認識における前提となるのは、動作紋を用いた画像処理の手法であるが、これは対象物の撮像により得られた動画像と並進空間フィルタとの畳み込み演算を行うことにより、動画像中の対象物の特定の動作の特徴を動作紋の形で抽出し、これにより動作を同定するものである。はじめにこの動作紋を用いた画像処理の手法について説明する。
［動作紋を用いた画像処理］
【００１６】
（１）空間フィルタ速度計測法
元動画像信号Ｓ（ｘ，ｙ，ｔ）に並進する正弦波状の空間フィルタを重畳すると、座標（ｘ，ｙ）、時刻ｔでの輝度信号Ｉ（ｘ，ｙ，ｔ）は
Ｉ（ｘ，ｙ，ｔ）＝Ｓ（ｘ，ｙ，ｔ）・ｓｉｎ｛Ｋ・（ｒ−ｖｓ・ｔ）｝    （１）
で与えられる。Ｋは空間フィルタの波数ベクトルであり、空間フィルタの波長をＤとしたときに、｜Ｋ｜＝２π／Ｄで与えられ、その方向は空間フィルタのスリットに直交する方向である。ｒは原点（０，０）からはかった観測画素の座標（ｘ，ｙ）の位置ベクトルであり、ｖｓは空間フィルタの並進速度ベクトルである。式（１）でＫ、ｒ、ｖｓはベクトル量であり、Ｋ・（ｒ−ｖｓ・ｔ）は内積を表しており、以下においても同様とする。空間フィルタは基本的に波面に垂直な方向に移動するものとし、その移動速度をｖｓとすると、静止した物体があれば相対運動により偏移周波数ｆｓ＝｜ｖｓ｜／Ｄのスペクトルが含まれることになる。
【００１７】
次に、時刻ｔにおけるフレームについて、空間フィルタを通した輝度信号の総和Ａ（ｔ）を
Ａ（ｔ）＝ΣΣＩ（ｘ，ｙ，ｔ）
＝ΣΣＳ（ｘ，ｙ，ｔ）・ｓｉｎ｛Ｋ・（ｒ−ｖｓ・ｔ）｝        （２）
として求める。式（２）でΣΣはｘ，ｙについての和であり、以下同様とする。時系列データＡ（ｔ）をスペクトル解析（フーリエ変換）することにより、一連の画像中の運動物体の速度情報が得られる。ここで、波数ベクトルＫの正弦波の場の中を粒子が速度ｖ０で動いていれば、ｆ０＝（Ｋ・ｖ０）／２πの周波数を持つ信号がＡ（ｔ）の中に含まれることになる。このスペクトル成分は、速度ｖｓで移動する空間フィルタを用いた場合（周波数偏移法）
ｆ＝（Ｋ・ｖｓ）／２π±（Ｋ・ｖ０）／２π＝ｆｓ±ｆ０        （３）
のスペクトルとして観測されることになる。＋，−はそれぞれ物体の移動方向と空間フィルタの移動方向が逆向きか同じ向きかに対応する。この手続を互いに直交する２つの空間フィルタを用いて実行すれば、物体の移動速度のｘ、ｙ成分が解析できることになる。
【００１８】
（２）動作紋の作成
空間フィルタ速度計測法を用いて動作の特徴を描出するための動作紋の作成について説明する。
Ａ．まず、撮像した動画像信号Ｓ（ｘ，ｙ，ｔ）に前処理として時間差分を行う。時間ｔの単位はフレームとし、ｔに対してｔ−１は１つ前のフレームに対応する時間になる。時間差分を行うことにより、
ａ．照明条件による動画像濃淡信号への影響を軽減する
ｂ．動きのある部分を検出できる
という利点が得られる。
【００１９】
時間差分ΔＳ（ｘ、ｙ、ｔ）＝Ｓ（ｘ、ｙ、ｔ）−Ｓ（ｘ、ｙ、ｔ−１）として、ΔＳがある閾値より大きければΔＳ＝α（一定値；α＞０、通常α＝２５５）、ΔＳがその閾値値以下であればΔＳ＝０というように二値化する。図１（ａ）に示されるような原動画像に対して、このように時間差分を行って得られた画像（差分画像）は図１（ｂ）のようになり、原動画像の隣接フレームの間での動き、変化を示すものになる。原動画像の前号の画像で動き、変化がなければ、差分画像では画面全体でΔＳ＝０、すなわち濃淡値０の画像になる。この時間差分画像に対して、互いに直交する空間フィルタとして波長の異なる、例えば波長がそれぞれ２０，６４，８０ｐｉｘｅｌｓの図２（ａ）に示されるような動きのｘ成分検出正弦波フィルタと、波長がそれぞれ２０，６０，８０ｐｉｘｅｌｓの図２（ｂ）に示されるような動きのｙ成分検出正弦波空間フィルタを重畳して（２）式の時系列データＡ（ｔ）を
Ａ（ｔ）＝ΣΣΔＳ（ｘ，ｙ，ｔ）・ｓｉｎ｛Ｋ・（ｒ−ｖｓ・ｔ）｝
として求める。また動きのｘ成分検出正弦波空間フィルタを右方向に、動きのｙ成分検出正弦波空間フィルタを下方向に．それぞれ例えば７．５Ｈｚで並進移動させる。
Ｂ．それぞれの波長において、現フレームと直前の複数の（例えば３１の）フレームとを用いてフーリエ変換によりスペクトル解析を行う。
なおこの際、差分画像ΔＳのうち、簡易視差に対し視差の最も大きいオブジェクト（ＴＳＬ値で指定される肌色の連結する画素領域）のみを残し、空間フィルタへの入力２値画像データとしている。
【００２０】
Ｃ．それぞれの波長のスペクトル解析で周波数とパワースペクトルの情報を得る。パワースペクトル値は、周波数ｆ（Ｈｚ）及び時間（ｆｒａｍｅｓ）の関数として、動きのｘ成分検出正弦波空間フィルタ波長４０，６４，８０ｐｉｘｅｌｓについて
ｍｐｘ４０（ｆ，ｔ），ｍｐｘ６４（ｆ，ｔ），ｍｐｘ８０（ｆ，ｔ）
動きのｙ成分検出正弦波空間フィルタ波長４０，６０，８０ｐｉｘｅｌｓについて
ｍｐｙ４０（ｆ，ｔ），ｍｐｙ６０（ｆ，ｔ），ｍｐｙ８０（ｆ，ｔ）
と定義する。このパワースペクトル値を時系列に並べ、周波数（Ｈｚ）を縦軸、時間（ｆｒａｍｅ）を横軸、各パワースペクトルを濃淡値として、ＲＧＢの各チャンネルについて、図３に示すようにプロットしたものをここでは動作紋と称する。周波数の値域は［０，１６］であるが、これはＡ（ｔ）の３２点についてスペクトル解析を行っており、サンプリング定理により解析可能な周波数がサンプリング周波数の１／２に制限されるためである。
【００２１】
（３）動作紋を用いた動作の認識
動作紋は画面内の上下左右の動き、例えば人物の「頷く（肯定）」、「首を振る（否定）」、「手を上げる」、「手招き」等の動作に特徴に対応して動作の特徴を可視化するものになり、これらの特徴をバックプロパゲーション法等の学習法を用いてニューラルネットにより認識することができる。バックプロパゲーション法を用いてニューラルネットにより行う学習は、図４に示すような３層のネットワーク構成でなされる。
バックプロパゲーション法を適用するにあたり、次の処理を行う。
【００２２】
ａ．ｘ方向成分とｙ方向成分の各パワースペクトル値の平均
ｍｐｘ（ｆ，ｔ）＝１／３｛ｍｐｘ４０（ｆ，ｔ）＋ｍｐｘ６４（ｆ，ｔ）
＋ｍｐｘ８０（ｆ，ｔ）｝
ｍｐｙ（ｆ，ｔ）＝１／３｛ｍｐｙ４０（ｆ，ｔ）＋ｍｐｙ６０（ｆ，ｔ）
＋ｍｐｙ８０（ｆ，ｔ）｝
を求める。
【００２３】
ｂ．ｍｐｘ（ｆ，ｔ）、ｍｐｙ（ｆ，ｔ）に対して、ｔのサイズ及びｆのサイズに応じたアルゴリズムにより動作紋を１次元の情報に落とし込みニューラルネットの入力とする。具体的な入力数は、ｆサイズが１６、ｔサイズが４０の場合にＦＳＩＺＥ×４＋ＴＳＩＺＥ×２（ｘ、ｙ方向）＝１９２である。この１９２個の入力素子における入力の組み合わせで複数種類の動作パターン（「頷く」、「首を振る」、「手を上げる」等）が規定され、Ｎ個の出力素子で表されるが、このアルゴリズムでは中間過程として２Ｎ個の中間素子を設定しておく。学習の過程においては、Ｎ種類の動作パターンを別個に提示して、動作紋を作成し、各動作パターンがに１９２個の入力のどのような組み合わせになるかを規定し、Ｎ個の動作パターンについての行った結果を記憶保持する。
【００２４】
ｃ．ニューラルネットの入力の最大値で入力値全体を割り、０〜１の値に変換する。
以上の手順で得られた値をバックプロパゲーションの入力値として、認識する動作数Ｎについて、Ｎ個の０．０〜１．０の数値が出力さる。この出力により動作を認識するに際して、例えば
・一連の出力の中で一番大きくかつ０．７以上の数値をとる。
・他の出力が０．５以下である。
というルールを設け、これらの条件を満たす出力を採用する。
このように動作紋を用いて動作の認識を行うことにより認識率が向上する。これは、
・パワースペクトル値の時間変化の情報が加わる
・上下左右方向の動きを区別して検出ができる
ことによるものと考えられる。
【００２５】
この動作紋を用いて動作を認識する手法において、
ａ．対象者以外に動く物体がない。
ｂ．対象者の位置（カメラからの距離）を変えない。
という条件が課せられるという問題点がある。問題点のａは、画像中の認識しようとする部分とは別の動きがある（例えば、頭の動きを認識するのに対して手の動きがある）ことにより、誤認識が生ずることである。問題点のｂは、対象物の大きさにより反応する空間フィルタの波長が違ってくることによるものであり、解像度を維持する上で空間フィルタの波長と対象物までの距離の比が等しくなるように制御することが必要になるためと考えられる。
【００２６】
［ステレオ動画像による動作紋を用いた画像処理］
次に、本発明によるステレオ動画像に対し動作紋を用いた画像処理について説明する。このステレオ動画像による画像処理では、ラベリングの手法を適用し奥行情報を取得することにより前述のａ、ｂの問題点の解決を図るものであり、まずラベリングと、奥行情報の取得について説明する。
【００２７】
ラベリングは画像中のある物体にラベルを付し、他の物体と画像中の領域を区別する手法である。図５のように２値画像において、注目画像をＡとして、周りの画素（６近傍）の位置関係をＡ〜Ｄとした場合に、２値画像を次のアルゴリズムでラベリングする。
【００２８】
ｉ，ｊの初期化
ラベル値配列Ｌ（Ａ）〜Ｌ（Ｄ）の初期化
ｗｈｉｌｅ（ｉ，ｊ）∈画像全体ｄｏ
ｉｆ  ｂ（Ａ）＝１  ｔｈｅｎ
ｉｆ  ｂ（Ｄ）＝１  ｔｈｅｎ  Ｌ（Ａ）＝Ｌ（Ｄ）
ｅｌｓｅ  ｉｆ  ｂ（Ｂ）＝１＆ｂ（Ｃ）＝０  ｔｈｅｎ  Ｌ（Ａ）＝Ｌ（Ｂ）
ｅｌｓｅ  ｉｆ  ｂ（Ｂ）＝０＆ｂ（Ｃ）＝１  ｔｈｅｎ  Ｌ（Ａ）＝Ｌ（Ｃ）
ｅｌｓｅ  ｉｆ  ｂ（Ｂ）＝０＆ｂ（Ｃ）＝０  ｔｈｅｎ
Ｌ（Ａ）←新しいラベルを代入
ｅｌｓｅ
ｉｆ  ｂ（Ｂ）＝１＆ｂ（Ｃ）＝１  ｔｈｅｎ
Ｌ（Ｃ）＝Ｌ（Ａ）
Ｌ（Ｃ）とＬ（Ｂ）が等価であることを記録
ｅｎｄ  ｉｆ
ｅｎｄ  ｉｆ
ｅｎｄ  ｉｆ
位置（ｉ，ｊ）を変える。
ｅｎｄ  ｗｈｉｌｅ
【００２９】
ステレオ動画像撮像手段を用いて撮像した複数の物体（人物の顔、手等各部分を別個の物体としてみる場合を含む）を含む左右画像に対して、このアルゴリズムによるラベリングを用いて奥行情報を求めるために、次の処理を行う。
ａ．左右画像に対してＲＧＢ表示からＴＳＬ表示へ変換し、肌色領域の抽出を行う。その際、肌色値の設定は、例えば０．５７＜Ｔ＜０．７０、０．０２＜Ｓ＜０．１０とする。
ｂ．左右画像の抽出された肌色領域に対してラベリングを行う。その際、肌色のＬ値（濃淡値）が０でない画素は１として扱う。
ｃ．左右両画像のラベルを付したオブジェクトの面積、平均濃淡値、重心、サイズ（縦横）を求める。
ｄ．左画像のｃの工程で得られた面積、平均濃淡値、重心、サイズに最も近いラベルを右画像から探索し、その重心の差から視差を求める。
以上の手順により求めた視差をここでは「簡易視差」と称する。
視差を求めるより精度の高い方法として、他にステレオマッチング法、テンプレートマッチング法、多層レイヤー法等があり、それらを用いてもよい（が計算に時間がかかる）。
【００３０】
画面内に複数の物体がある場合に、それぞれの前後関係を得ることができるので、カメラから最も近い位置にある物体を対象オブジェクトと定義すると、簡易視差を用いて後方の物体を排除することで対象オブジェクトの抽出が行える。
【００３１】
この簡易視差を用いる手法を実際の画像に対して行うために、特に人物の肌の色を正確に識別する必要性から、ＲＧＢ表色系では肌色の定義が難しいので、赤みを取り易いＴＳＬ表色系を用いるのがよい。ＴＳＬ表色系は、Ｔ（ｔｉｎｔ、色合い）、Ｓ（ｓａｔｕｒａｔｉｏｎ、彩度）、Ｌ（ｌｕｍｉｎａｎｃｅ、光度）により表され、ＲＧＢ表色系からＴＳＬ表色系への変換は次のように行う。
【００３２】
ＲＧＢチャンネルのそれぞれの濃淡値を０〜１に標準化た値をＲ、Ｇ、Ｂとしてｒとｇを、ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）、ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）とする。このｒ、ｇから、ｒ′＝ｒ−１／３、ｇ′＝g′―１／３としてg′の値に応じてＴを
Ｔ＝ａｒｃｔａｎ（ｒ′／ｇ′）／２π＋１／４  （ｇ′＞０），
＝ａｒｃｔａｎ（ｒ′／ｇ′）／２π＋３／４  （ｇ′＜０）
＝０                                        （ｇ′＝０）
として求める。Ｓの値は
Ｓ＝｛９（ｒ′２＋ｇ′２）／５｝１／２
で与えられ、Ｌの値は
Ｌ＝０．２９９・Ｒ＋０．５８７・Ｇ＋０．１１４・Ｂ
で与えられる。ただし、Ｔの値域は［０，1 ］、ＳとＬの値域も［０，１］である。
ＴとＳの互いに独立で均一に分布するため、ＴとＳの値で直線分離することにより物体抽出が可能になり、実際には、動画のある撮影条件のもとで、Ｔ、Ｓ、Ｌのサンプルをとり、対応の範囲をそのＴ、Ｓの値域として定義する。
【００３３】
［動作の認識］
前述した手法を用いて、ステレオ動画像の画像処理により対象物の動作を認識する過程について説明する。実際に用いる機材としては、パーソナルコンピュータとしてＣＰＵが２．４０ＧＨｚでメモリが５１２ＭＢのもの、ディスプレイのほかに、ステレオ動画像撮像手段としてのフレームレートが３０フレーム／秒のＵＳＢカメラ（２台）があり、画像取り込み用のプログラムはマイクロソフト株式会社から提供されているＶＦＷ（Ｖｉｄｅｏ  ｆｏｒ  Ｗｉｎｄｏｗｓ（登録商標））のライブラリーを用いて作製した。必要なプログラムを含むシステムの構成は図６のようになる。
このシステム構成により対象物の動作を認識する過程は図７のようなフローで表されるようなものである。最初に、簡易視差を求める過程は、次のようになる。
【００３４】
１）左右画像を撮像する。（各画像は、３２０×２４０ｐｉｘｅｌｓ，ＲＧＢ  ２４ｂｉｔ  ｃｏｌｏｒ）
２）左右の画像に対して、ＴＳＬ変換を行い、肌色の部分を取り出す。肌色の部分はＴＳＬ表色系のＬ（ｌｕｍｉｎａｎｃｅ）の値を用い、肌色以外の部分は濃淡値を０にしてモノクロの濃淡画像（グレー画像）を作成する。
３）２）により得られた画像に対してラベリングを行う。ただし、濃淡値が０以外の部分（ｌｕｍｉｎａｎｃｅの値がある部分）を１として扱う。
４）左右両画像のラベルを付した対象オブジェクトの面積、平均濃淡値、重心、サイズ（縦横）を求め、面積が５００ｐｉｘｅｌｓ以下のオブジェクトに対してはラベルを消す。
５）左画像の４）の工程で得られた面積、平均濃淡値、サイズ（縦横）に最も近いラベルを右画像から探索し、その重心の差から簡易視差を求める。
【００３５】
この簡易視差の演算を行うのに必要な時間は、理想的な画像について１０〜１２ｍｓｅｃ、実画像についても１２〜１７ｍｓｅｃ程度である。また画像内の物体の前後関係が計測でき、対象を選定できる程度の精度が得られた。
１）〜５）により簡易視差を求め、視差の最も大きいオブジェクトを対象領域とし、さらに、
６）簡易視差を求めた画像に対して時間差分をとり、簡易視差処理によって求められた対象領域内のみ時間差分画像を有効にし、対象領域外の画素は濃淡値を０にする。これを入力として、
７）６）で時間差分を取った画像に対して動作紋を求める
過程に移り、この動作紋を用いて
８）バックプロパゲーション法を用いてニューラルネットによる学習で得られたデータをもとに動作紋から対象物の動作を認識する
という過程により動作の認識としては完了する。
【００３６】
７）及び８）の過程は、１台のビデオカメラの場合について説明したのと同様になされるが、動作紋としては、２台のビデオカメラを用いて撮像した左右画像から奥行情報を得て、対象物を特定しているので、１台のカメラを用いた場合の動作紋による動作の認識について前述した
ａ．対象者以外に動く物体がない。
ｂ．対象者の位置（カメラからの距離）を変えない。
という拘束が解消される。そこで、この点について説明する。
【００３７】
＜対象者以外に動く物体がない＞という拘束は、画像中の対象部分のみを選定するという手順により解消される。簡易視差による対象による対象オブジェクトの領域の画素のみを、時間差分画像を有効にすることで背後の動きなどを排除することができる。例えば、動作中の対象の顔の部分があり、その背後に動く手がある場合、簡易視差を用いて対象領域（顔の部分）のみを抽出することにより、時間差分画像における背後の動く手の部分が排除され、対象領域のみが残る時間差分画像が得られる。このように、対象部分の動きと背後の動き等との分離が可能になり、認識率の向上に寄与する。
【００３８】
＜対象者の位置（カメラからの距離）を変えない＞という拘束は、空間フィルタの波長と対象物体の大きさとの比を常に等しく制御することにより解消される。対象オブジェクトの絶対サイズを用いることにより、ニューラルネットで学習した時点と同じ空間フィルタの波長と対象物体の大きさとの比率で適切に選定できる。カメラからの距離６０ｃｍで学習した対象オブジェクト（顔領域）の大きさは横が約９０ｐｉｘｅｌｓ、縦が約１５０ｐｉｘｅｌｓであるが、各フレームにおいてオブジェクトサイズを横Ｘｐｉｘｅｌｓ、縦Ｙｐｉｘｅｌｓとして定義した場合、動きのｘ成分検出正弦波空間フィルタの波長Ｄｘ１，Ｄｘ２，Ｄｘ３ｐｉｘｅｌｓと動きのｙ成分検出正弦波空間フィルタの波長Ｄｙ１，Ｄｙ２，Ｄｙ３ｐｉｘｅｌｓは、それぞれ
Ｄｘ１＝４０・Ｘ／９０，Ｄｘ２＝６４・Ｘ／９０，Ｄｘ３＝８０・Ｘ／９０
Ｄｙ１＝４０・Ｙ／１５０，Ｄｙ２＝６０・Ｙ／１５０，Ｄｙ３＝８０・Ｙ／１５０
で求める。
【００３９】
前述した本発明での実際の形態において、特に画面内に複数の動く対象部分が混在するような条件においても、動作認識における高い認識率が得られ、また動作認識における演算時間が短くリアルタイム性としても良好になると言える。
ステレオ動画像撮像手段として動作確認の段階では２台のＵＳＢカメラを用いたため、カメラ間の同期は取っていないが、同期をとった２台のビデオカメラ、あるいは１台のステレオビデオカメラを用いれば、さらに左右画像の処理は正確になされ、動作認識の精度も上がる。
【００４０】
以上は、本発明による左右画像の画像処理により対象物の動作を認識する手法についての説明を主としたものであるが、本発明は、左右画像の画像処理による対象物の動作を認識する方法であるとともに、ステレオ動画像撮像手段と、それにより撮像された左右画像の画像処理を行う要素を備えた対象物の動作を認識する装置として構成し得ることはあきらかである。また、本発明は、対象物の動作を認識する手法をコンピュータ上で実現するためのプログラムの形態をとるものでもある。
【００４１】
さらに、前述した左右画像の画像処理による対象物の動作の認識の結果をコンピュータ等への入力データとして用いることにより、動作認識に基づいた入力装置として適用することもできる。これは、２台のビデオカメラを備えた動作認識装置に加えて、ディスプレイ上にメニュー画面を表示し、メニュー画面に対する対象物となる者の対話型の応答の動作をビデオカメラによる左右画像から動作認識して入力データとする手段を備えることによりなされる。また、対話型応答のための画面として、一覧型のメニュー画面ではなく、コンピュータに馴染みのない者にも応じやすい人形等のキャラクターを用いることにより、多様な機器の入力装置として適用することができる。さらに、左右画像による動作の認識とともに、マイクロフォン及び音声認識装置を備えて音声による質問とそれに対する音声による応答を補助的ないし並列的に用いられるようにしてもよい。
【００４２】
以上のように、簡易視差を求める手法と動作紋を求めて動作を認識する手法を適用した本発明の手法より、
ユーザと端末が非接触、
演算時間が短くリアルタイム処理が可能、
動作する物体（人物）の部位を問わない、
装置が安価である、
認識率が高い
多くの動作の認識が可能（実施した例よりも増加可能）
対象物体までの距離を問わない
動く物体が複数存在しても動作認識可能
という利点が得られる。
【図面の簡単な説明】
【００４３】
【図１】（ａ）はビデオカメラで撮像された画像であり、（ｂ）は（ａ）の画像に対して時間差分をとった画像である。
【図２】（ａ）は動きのｘ成分検出正弦波フィルタを示す図であり、（ｂ）は動きのｙ成分検出正弦波フィルタを示す図である。
【図３】動作紋の例を示す図である。図中、（ａ）は波長８０pixelsの空間フィルタを用いたＲスペクトルの画像、（ｂ）は波長６４pixelsの空間フィルタを用いたＧスペクトル画像、（ｃ）は波長４０pixelsの空間フィルタを用いたＢスペクトル画像、そして（ｄ）はＲ，Ｇ，Ｂのスペクトル画像を合成したカラー表示画像（動作紋）である（図はモノクロ出力）。
【図４】学習を行う際のニューラルネットワークの構成例を示す図である。
【図５】ラベリングアルゴリズムにおける注目画素Ａの周囲の連結領域の位置設定を示す図である。
【図６】本発明によるステレオ動画像を用いた動作の認識を行うシステムの構成を示す図である。
【図７】本発明によるステレオ動画像を用いた動作の認識における画像処理を示すフロー図である。
【図２】
2006268639.tif 000003
【図３】
2006268639.tif 000004
【図４】
2006268639.tif 000005
【図５】
2006268639.tif 000006
【図６】
2006268639.tif 000007
【図７】
2006268639.tif 000008
【図１】
2006268639.tif 000009