(57)【要約】【課題】撮影画像を利用した情報処理を効率的かつ精度よく行う。【解決手段】画像記憶部４８には、撮像装置から送信された複数の解像度の撮影画像のデータを格納する。そのうち複数の解像度レベルのステレオ画像を用いて複数の解像度の奥行き画像１５２を生成する（Ｓ１０）。続いて所望の形状およびサイズを表現する基準テンプレート画像１５４を用いてテンプレートマッチングを行うことにより、当該形状およびサイズを有する対象物の像の候補領域を、各解像度に対応する距離範囲ごとに抽出する（Ｓ１２）。抽出した候補領域について、画像記憶部４８に格納しておいた撮影画像を用いてさらに詳細な解析を行う（Ｓ１４）。場合によってはその解析結果に基づきさらに解像度レベルの高い撮影画像を用いてさらなる画像解析を行う（Ｓ１６ａ、Ｓ１６ｂ）。【選択図】図４
2014106732.tif 000002
【特許請求の範囲】
【請求項１】
被写体のカメラからの奥行き方向の距離を画素値として画像平面上に表した奥行き画像に対し、解析対象の対象物の形状およびサイズを表すテンプレート画像を用いてテンプレートマッチングを行うことにより、撮影画像において前記対象物の像が存在すると推定される候補領域を抽出する候補領域抽出部と、
前記候補領域抽出部が抽出した候補領域に係る情報を利用して、前記撮影画像の画像解析を行う詳細情報取得部と、
前記詳細情報取得部が行った画像解析の結果に基づき出力情報を生成し出力する出力情報生成部と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記詳細情報取得部は、前記撮影画像である動画像の各フレームにおいて、対応する前記奥行き画像のうち前記候補領域抽出部が抽出した候補領域内で画素値が所定範囲内の画素からなる領域を、前記対象物の像の領域とすることにより、次のフレームにおける当該対象物の像の領域を推定してトラッキングを行うことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記詳細情報取得部は、前記撮影画像である動画像における対象物のトラッキングを行い、当該動画像の各フレームに対し得られた追跡結果を、対応する前記奥行き画像から前記候補領域抽出部が抽出した、当該対象物に対する候補領域に基づき補正することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記候補領域抽出部は、複数の解像度の奥行き画像のそれぞれから、各解像度に対応づけられた奥行き方向の距離の範囲に存在する像に限定して、前記候補領域を抽出し、
前記詳細情報取得部は、前記候補領域が抽出された奥行き画像の解像度に対応づけられた解像度を有する撮影画像の画像解析を行うことを特徴とする請求項１から３のいずれかに記載の情報処理装置。
【請求項５】
前記候補領域抽出部が前記候補領域を抽出する奥行き画像の解像度は、前記詳細情報取得部が当該候補領域に係る情報を利用して画像解析を行う撮影画像の解像度より小さいことを特徴とする請求項１から４のいずれかに記載の情報処理装置。
【請求項６】
前記詳細情報取得部は、撮影画像のうち前記候補領域抽出部が抽出した候補領域内の輝度が適正範囲外であるとき、当該輝度が適正範囲側に変化するように前記カメラに対し露出値の調整要求を行うことを特徴とする請求項１から５のいずれかに記載の情報処理装置。
【請求項７】
前記候補領域抽出部は対象物である人の頭部の前記候補領域を抽出し、
前記詳細情報取得部は、撮影画像のうち抽出された前記候補領域に対し顔検出処理を行うことにより顔領域を検出し、検出した顔領域に対する顔認識処理を、顔検出処理に用いた撮影画像より高い解像度の撮影画像を用いて行うことにより、像の人物を特定することを特徴とする請求項１から６のいずれかに記載の情報処理装置。
【請求項８】
情報処理装置が、カメラが撮影した撮影画像を用いて行う情報処理方法であって、
被写体のカメラからの奥行き方向の距離を画素値として画像平面上に表した奥行き画像に対し、メモリから読み出した、解析対象の対象物の形状およびサイズを表すテンプレート画像を用いてテンプレートマッチングを行うことにより、前記撮影画像において前記対象物の像が存在すると推定される候補領域を抽出するステップと、
抽出した候補領域に係る情報を利用して、前記撮影画像の画像解析を行うステップと、
前記画像解析の結果を反映させた出力画像を生成し表示装置に出力するステップと、
を含むことを特徴とする情報処理方法。
【請求項９】
被写体のカメラからの奥行き方向の距離を画素値として画像平面上に表した奥行き画像に対し、メモリから読み出した、解析対象の対象物の形状およびサイズを表すテンプレート画像を用いてテンプレートマッチングを行うことにより、撮影画像において前記対象物の像が存在すると推定される候補領域を抽出する機能と、
抽出した候補領域に係る情報を利用して、前記撮影画像の画像解析を行う機能と、
前記画像解析の結果を反映させた出力画像を生成し表示装置に出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項１０】
被写体のカメラからの奥行き方向の距離を画素値として画像平面上に表した奥行き画像に対し、メモリから読み出した、解析対象の対象物の形状およびサイズを表すテンプレート画像を用いてテンプレートマッチングを行うことにより、撮影画像において前記対象物の像が存在すると推定される候補領域を抽出する機能と、
抽出した候補領域に係る情報を利用して、前記撮影画像の画像解析を行う機能と、
前記画像解析の結果を反映させた出力画像を生成し表示装置に出力する機能と、
をコンピュータに実現させるコンピュータプログラムを記録したことを特徴とするコンピュータにて読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像に基づいた処理を行う情報処理装置、および当該装置が行う情報処理方法に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータやゲーム機などにカメラを搭載し、ユーザの姿を撮像して様々な形で利用することが一般的に行われるようになってきた。例えばテレビ電話、ビデオチャットなど、ユーザの画像を、ネットワークを介してそのまま相手に伝送するものや、画像解析によってユーザの動きを認識してゲームや情報処理の入力情報とするものなどが実用化されている（例えば特許文献１参照）。近年ではさらに、カメラからの奥行き方向を含む３次元空間における対象物の動きを精度よく検出することにより、より臨場感のあるゲームや画像表現を実現できるようになってきた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＷＯ  ２００７／０５０８８５  Ａ２公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
多様な物が存在する空間を撮影し、その画像から所望の対象物のみを判別したり動きを追跡したりするには様々な課題が存在する。例えば光源などの撮影環境の変化により処理結果に影響が生じる可能性がある。また精度を上げるために時間解像度、空間解像度を上げて対象物の検出処理を行うと処理の負荷が高くなる。結果として被写体の撮影から処理結果の出力までに時間を要し、被写体の動きに対する応答性が悪化する。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、その目的は、撮影画像を用いた情報処理を効率的かつ高精度に行うことのできる技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様は情報処理装置に関する。この情報処理装置は、被写体のカメラからの奥行き方向の距離を画素値として画像平面上に表した奥行き画像に対し、解析対象の対象物の形状およびサイズを表すテンプレート画像を用いてテンプレートマッチングを行うことにより、撮影画像において対象物の像が存在すると推定される候補領域を抽出する候補領域抽出部と、候補領域抽出部が抽出した候補領域に係る情報を利用して、撮影画像の画像解析を行う詳細情報取得部と、詳細情報取得部が行った画像解析の結果に基づき出力情報を生成し出力する出力情報生成部と、を備えたことを特徴とする。
【０００７】
本発明の別の態様は情報処理方法に関する。この情報処理方法は、情報処理装置が、カメラが撮影した撮影画像を用いて行う情報処理方法であって、被写体のカメラからの奥行き方向の距離を画素値として画像平面上に表した奥行き画像に対し、メモリから読み出した、解析対象の対象物の形状およびサイズを表すテンプレート画像を用いてテンプレートマッチングを行うことにより、撮影画像において対象物の像が存在すると推定される候補領域を抽出するステップと、抽出した候補領域に係る情報を利用して、撮影画像の画像解析を行うステップと、画像解析の結果を反映させた出力画像を生成し表示装置に出力するステップと、を含むことを特徴とする。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によると、撮影画像を入力情報として利用する情報処理を応答性よく実現することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態を適用できる情報処理システムの構成例を示す図である。
【図２】本実施の形態における情報処理装置の内部回路構成を示す図である。
【図３】本実施の形態における撮像装置と情報処理装置の構成を詳細に示す図である。
【図４】本実施の形態において情報処理装置が行う処理手順と画像の関係を模式的に示す図である。
【図５】本実施の形態におけるステレオ画像における視差と被写体の奥行き方向の位置の関係を説明するための図である。
【図６】本実施の形態の撮影空間における奥行き方向の軸について説明するための図である。
【図７】本実施の形態において基準テンプレート画像のサイズを調整しその後にマッチング評価値を算出する具体的な手法を説明するための図である。
【図８】本実施の形態において各時間ステップにおける追跡対象の輪郭を、候補領域抽出部による処理結果により更新しながらトラッキングを行う処理手順を模式的に示す図である。
【図９】本実施の形態における情報処理装置がトラッキングを行う処理手順を示すフローチャートである。
【図１０】本実施の形態において各時間ステップにおいて推定した追跡対象の輪郭を補正する手法を説明するための図である。
【図１１】本実施の形態における情報処理装置が被写体である人物を特定する処理手順を示すフローチャートである。
【図１２】本実施の形態の情報処理装置によって撮像装置の露出値を調整する処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
図１は本実施の形態を適用できる情報処理システムの構成例を示す。情報処理システム２は、ユーザ１などの被写体を撮影する２つのカメラを搭載した撮像装置１２、撮影した画像に基づき、ユーザの要求に応じた情報処理を行う情報処理装置１０、情報処理装置１０が処理した結果得られた画像データを出力する表示装置１６を含む。情報処理装置１０はインターネットなどのネットワークと接続可能としてもよい。
【００１２】
情報処理装置１０と、撮像装置１２、表示装置１６とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。撮像装置１２、情報処理装置１０、表示装置１６のうちいずれか２つ、または全てが組み合わされて一体的に装備されていてもよい。また、撮像装置１２は必ずしも表示装置１６の上に設置されていなくてもよい。さらに被写体の数や種類は限定されない。
【００１３】
撮像装置１２は、それぞれがＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えた２つのデジタルビデオカメラを既知の間隔で左右に配置した構成を有する。２つのデジタルビデオカメラはそれぞれ、同一空間に存在する被写体を左右の位置から所定のフレームレートで撮影する。以後、このように撮影されたフレームの対を「ステレオ画像」とも呼ぶ。
【００１４】
情報処理装置１０は、撮像装置１２が撮影するステレオ画像等を解析してユーザ１などの被写体の像を特定し、それに基づく情報処理を実施する。例えばユーザ１の頭部の位置を検出し、当該頭部領域に対し顔認識処理を施すことにより、人物を認識したり表情を判別したりする。また検出した頭部やその他の部位の位置に基づきトラッキングを行い、ジェスチャ認識、ゲーム画像への反映、コマンドへ変換することにより当該コマンドに対応した情報処理などを行ってもよい。このように本実施の形態で画像を解析することによって得られる情報の使用目的は特に限定されない。
【００１５】
このとき情報処理装置１０は、まず、あらかじめ準備した対象物の形状およびサイズに基づき、撮影画像中、当該対象物の像が存在すると推定される領域を抽出する。そして、当該領域に限定してさらなる画像解析を詳細度を上げて実施する。このように、まず巨視的に画像を解析して対象物の像が存在すると推定される領域を抽出し、その後、領域を限定して微視的に解析する、という段階を踏むことにより、全体としての処理効率を向上させる。また１つの段階においても、撮像装置１２からの対象物の距離によって処理の詳細度を調整することにより、対象物の位置に対し頑健性のある情報処理を実現する。
【００１６】
表示装置１６は、情報処理装置１０が行った処理の結果を、必要に応じて画像として表示する。表示装置１６は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、例えば液晶テレビ、プラズマテレビ、ＰＣディスプレイ等である。
【００１７】
図２は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２２、ＧＰＵ（Graphics Porcessing Unit)２４、メインメモリ２６を含む。ＣＰＵ２２は、オペレーティングシステムやアプリケーションなどのプログラムに基づいて、情報処理装置１０内部の構成要素における処理や信号伝送を制御する。ＧＰＵ２４は画像処理を行う。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
【００１８】
これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インタフェースや、有線又は無線ＬＡＮのネットワークインタフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６やスピーカなどの出力装置へデータを出力する出力部３６、キーボード、マウス、撮像装置１２、マイクロホンなどの入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
【００１９】
ＣＰＵ２２は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。
【００２０】
ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６などに出力する。
【００２１】
図３は撮像装置１２と情報処理装置１０の構成を詳細に示している。図３に示す各機能ブロックは、ハードウェア的には、図２に示したＣＰＵ、ＧＰＵ、ＲＡＭ、各種プロセッサなどの構成で実現でき、ソフトウェア的にはデータ入力機能、データ保持機能、画像解析機能、描画機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００２２】
撮像装置１２は第１カメラ１３ａ、第２カメラ１３ｂを含む。各カメラはそれぞれ、既知の幅を隔てた左右の位置から所定のフレームレートで被写体を撮影する。撮影して得られるステレオ画像は情報処理装置１０からの要求により一般的な手法で随時、情報処理装置１０へ送信される。
【００２３】
情報処理装置１０は、撮像装置１２からステレオ画像を取得する画像取得部４２、ユーザからの指示入力を取得する入力情報取得部４４、奥行き画像を用いて対象物の像が存在すると推定される領域を候補領域として抽出する候補領域抽出部４６、撮影画像を用いて候補領域に対しさらに詳細な解析を行い所定の情報を取得する詳細情報取得部４７、詳細な解析結果に基づき出力情報を生成する出力情報生成部５０、撮像装置１２から入力されたステレオ画像および候補領域抽出部４６が生成した奥行き画像などのデータを記憶する画像記憶部４８を含む。
【００２４】
入力情報取得部４４は、処理の開始指示や終了指示など、撮像装置１２以外の手段によるユーザからの指示入力を受け付け、それに応じた処理要求信号をその他の機能ブロックに送信する。入力情報取得部４４は、ボタン、キーボード、マウス、トラックボール、タッチパネルなど一般的な入力装置と、当該入力装置になされた操作内容を解釈して処理要求信号を生成するＣＰＵなどの協働により実現する。
【００２５】
画像取得部４２は、入力情報取得部４４からの要求に従い撮像装置１２が撮影した画像のデータを逐次取得し、画像記憶部４８に格納する。取得する画像データは、画像の対であるステレオ画像のデータに限らず、候補領域抽出部４６、詳細情報取得部４７、出力情報生成部５０が行う処理の内容に応じて適宜決定してよい。また取得頻度も様々であってよい。例えば第１カメラ１３ａが撮影した画像のみを撮影時のフレームレートで取得し、それより低いレート、すなわち頻度で第１カメラ１３ａ、第２カメラ１３ｂが撮影したステレオ画像を取得するなどでよい。このように第１カメラ１３ａが撮影した画像と第２カメラ１３ｂが撮影した画像の取得レートは独立に設定できるようにしてもよい。
【００２６】
また撮像装置１２は、第１カメラ１３ａ、第２カメラ１３ｂの少なくとも一方が撮影した動画像をフレームごとに複数段階に縮小して複数の解像度の画像を生成してもよい。この場合、画像取得部４２は、撮像装置１２が生成した複数解像度の画像のうち処理に必要ないずれかの画像、あるいは全ての画像のデータを撮像装置１２に要求する。そして各時刻で取得した画像のデータを、逐次、画像記憶部４８に格納する。以後、ステレオ画像か否かに関わらず撮像装置１２が撮影または生成した画像を総称して「撮影画像」とも呼ぶ。
【００２７】
候補領域抽出部４６は、画像記憶部４８に格納されたステレオ画像のデータを用いて奥行き画像を生成したうえ、所定の対象物の形状およびサイズを表すテンプレート画像を用いてテンプレートマッチングを行うことにより、当該対象物の像が存在すると推定される領域を抽出する。奥行き画像は、撮像装置１２の視野内に存在する被写体の奥行き方向の位置分布を表し、各被写体の撮像装置１２からの奥行き方向の距離を、画像平面の２次元座標にマッピングし画素値として表した画像である。
【００２８】
被写体の奥行き方向の距離は、ステレオ画像法など一般的な技術によって求められる。ここでステレオ画像法は、ステレオ画像相互で対応する特徴点を検出し、それらの視差から被写体の奥行き方向の位置を算出する手法である。結果として奥行き画像には、人など主たる被写体のほか、椅子や机など撮影対象の空間に存在する各種物体の奥行き方向の位置が、その形状を伴って表される。なお撮像装置１２において画像撮影用のカメラを１つとし、被写体に照射した赤外線などの参照光の反射時間を解析することにより被写体の３次元空間での位置を取得する参照光照射型のカメラを別途設けてもよい。このとき画像取得部４２は、通常の撮影画像のデータと被写体の位置情報を取得し、候補領域抽出部４６は後者に基づき奥行き画像を生成する。奥行き画像のデータ自体をカメラから取得してもよい。
【００２９】
候補領域抽出部４６はこのような奥行き画像に対しテンプレートマッチングを行うことにより、所定の形状およびサイズを有する対象物の像が存在すると推定される領域を候補領域として抽出する。そのため、当該形状およびサイズを表すマッチング用の基準テンプレート画像のデータを準備しておき、奥行き画像が表す各像の奥行き方向の距離に応じて基準テンプレート画像のサイズを調整したうえでマッチング処理を行う。基準テンプレート画像のデータは候補領域抽出部４６がアクセス可能なメモリなどに格納しておく。
【００３０】
頭部など１種類の対象物の像を抽出すれば足りる場合、準備する基準テンプレート画像は１つでよい。一方、複数種類の対象物や複数のサイズに対応させて複数の基準テンプレート画像を準備しておき、後段の処理やユーザの要求に従い切り替えられるようにしてもよい。例えば情報処理装置１０が実行するプログラム内部で指定するようにしたり、自らが行いたい処理によってユーザが選択できるようにしたりしてもよい。
【００３１】
そして各被写体の奥行き方向の位置に応じて基準テンプレート画像のサイズを調整したうえで、当該被写体とのマッチングを行い、合致の度合いを表すマッチング評価値を算出する。高いマッチング評価値が得られるときのテンプレート画像の位置およびサイズを取得することにより、所望の対象物に対応する候補領域を抽出する。このようにすることで、同じ形状であってもサイズの異なる被写体は抽出されず、結果として形状およびサイズを限定した候補領域の抽出が可能となる。
【００３２】
候補領域抽出部４６は、画像記憶部４８に格納された複数の解像度のステレオ画像を利用し、複数の解像度の奥行き画像を生成してもよい。そして被写体の奥行き方向からの距離の範囲に応じて、マッチング対象の奥行き画像の解像度を切り替えてもよい。具体的には、撮像装置１２からの距離が近い被写体は低解像度の奥行き画像、遠い被写体は高解像度の奥行き画像を用いてテンプレートマッチングを行う。このようにすると、被写体の距離によらず、その像が保持する情報量を均一化できるとともに、基準テンプレート画像のサイズ調整幅が限定的になる。結果として、距離によらず候補領域の抽出精度を同程度とできるとともに、無駄に細かい解析を行うなど過分な処理を行わずにすみ処理の負荷を制御できる。
【００３３】
詳細情報取得部４７は、候補領域抽出部４６が抽出した候補領域に対して、最終的な情報処理の目的に応じた、より詳細な画像解析を行う。例えば人の頭部の像と考えられる候補領域に対し顔検出処理を施し、当該領域が実際に頭部であるか否かを判別する。顔が検出された領域に対し、さらに顔認識処理を施し人物を特定してもよい。あるいは各時刻の候補領域に基づき次の時間ステップの対象物の位置および形状を推定することによりトラッキングを行う。いずれの場合も、前段で抽出した候補領域を含む所定範囲に処理を限定することにより、高解像度で処理を行ってもその負荷や所要時間を抑えることができる。
【００３４】
出力情報生成部５０は、詳細情報取得部４７による処理の結果に基づき、画像記憶部４８から読み出した撮影画像にさらに描画処理を施すなど、使用目的に応じた処理を適宜行う。ここで行う処理は特に限定されず、入力情報取得部４４が受け付けたユーザからの指示や実行するプログラムなどに応じて適宜切り替えてよい。処理の結果得られた画像のデータは、表示装置１６に出力され表示される。あるいはネットワークを介して別の装置へ送信してもよい。
【００３５】
図４は情報処理装置１０が行う処理手順と画像の関係を模式的に示している。まず画像記憶部４８には、撮像装置１２から送信された撮影画像のデータが格納される。ここでは上述のように、複数の解像度、すなわち解像度の小さい方から「Ｌｖ０」（レベル０）、「Ｌｖ１」（レベル１）、「Ｌｖ２」（レベル２）、「Ｌｖ３」（レベル３）なる４つの解像度レベルのステレオ画像のデータが格納されている。ただし画像記憶部４８に格納する画像をこれに限定する主旨ではない。また全ての画像が同じ色空間で表されていなくてもよく、表示に用いない低解像度の画像は輝度値のみを保持する画像などとしてもよい。この場合、色空間の変換は情報処理装置１０自身が行ってもよい。
【００３６】
画像データの解像度レベルは例えば、ＨＤ（１２８０×８００画素）、ＶＧＡ（６４０×４００画素）、ＱＶＧＡ（３２０×２００画素）、ＱＱＶＧＡ（１６０×１００画素）などとする。このようなステレオ画像を用い、まず候補領域抽出部４６は奥行き画像１５２を生成する（Ｓ１０）。このとき複数の解像度レベルのステレオ画像を用いて複数の解像度の奥行き画像１５２を生成する。
【００３７】
例えば解像度レベルが「Ｌｖ０」〜「Ｌｖ２」の３組のステレオ画像を用いてそれぞれにステレオマッチングを行い、３つの解像度の奥行き画像１５２を生成する。このとき生成する奥行き画像１５２の解像度は、それぞれ元のステレオ画像の解像度より小さくてもよい。例えば元のステレオ画像の４×４画素単位で被写体の奥行き方向の位置を取得する。この場合、図示するように、奥行き画像１５２は、元の解像度レベル「Ｌｖ０」〜「Ｌｖ２」のステレオ画像のそれぞれに対し、縦方向、横方向に１／４のサイズを有する画像となる。なお同図ではわかりやすさのために奥行き画像１５２を拡大してその右側に示している。
【００３８】
奥行き画像１５２は、画素値が大きいほど奥行き方向の距離Ｚが小さい、すなわちカメラから近いことを表す画像である。ただし奥行き画像のデータ形式をそれに限る主旨ではない。このような奥行き画像１５２を画像として表示すると、カメラから近い被写体ほど輝度が大きくなる。同図では画素値が大きい領域ほど網掛けの密度を小さくすることで画像表示上の輝度の差を表している。
【００３９】
このような奥行き画像１５２に対し、所望の形状およびサイズを表現する基準テンプレート画像１５４を用いてテンプレートマッチングを行うことにより、当該形状およびサイズを有する対象物の像の候補領域を抽出する（Ｓ１２）。奥行き画像１５２は、各被写体の奥行き方向の位置を画素値としているため、画素値に対応する位置に対象物が存在するとした場合の画像上での大きさに基づき基準テンプレート画像１５４のサイズを調整し、各被写体の像と比較する。これにより、形状のみならずサイズについても限定して所望の対象物と推定される像の候補領域を抽出できる。
【００４０】
このとき上述のように、被写体の奥行き方向の距離範囲に応じて、マッチング対象の奥行き画像の解像度を切り替える。例えば図４のように、３つの解像度の奥行き画像１５２を生成する場合、距離範囲を３つに分け、近距離は最低解像度、中距離は中間の解像度、遠距離は最高解像度の奥行き画像に対応づける。そして各奥行き画像に対しテンプレートマッチングを行うが、この際、対応づけた距離範囲内に存在する被写体の像のみとマッチングを行う。このようにすることで、マッチング処理においては被写体の像の大きさがその位置によらず同等となる。結果として被写体の位置によらず同様の精度で像の領域を抽出できる。
【００４１】
同図の例では、基準テンプレート画像１５４として、頭部を表す楕円形の画像を準備している。これにより、被写体の頭部の像と推定できる領域が、各距離範囲に対して定まる。この例では中距離に対し画像１５６ｂの白抜きした領域、遠距離に対し画像１５６ａの白抜きした領域が、頭部の像の候補領域として抽出されたことを示している。また低解像度の画像１５６ｃは白抜きした領域がないことから、近距離の範囲の被写体については頭部の像と推定できる領域がなかったことを示している。
【００４２】
詳細情報取得部４７は、このようにして得られた候補領域について、画像記憶部４８に格納しておいた撮影画像を用いてさらに詳細な解析を行う（Ｓ１４）。このため、候補領域抽出部４６が領域抽出に用いた奥行き画像の解像度と、詳細情報取得部４７が解析対象とする解像度のレベルとを対応づけておく。例えば各奥行き画像を生成するのに用いた元の解像度レベル「Ｌｖ０」〜「Ｌｖ２」の撮影画像をそれぞれ対応づける。ただしこれに限定する主旨ではない。
【００４３】
この場合、図４に示すように、中距離にて抽出された候補領域（画像１５６ｂの白抜き領域）に対応する、解像度レベルＬｖ１の画像内の領域１５８ｂに対し、顔検出処理などの画像解析を行う。同様に、遠距離にて抽出された候補領域（画像１５６ａの白抜き領域）に対応する、解像度レベルＬｖ２の画像内の領域１５８ａ内に対し顔検出処理などを行う。ここで解析対象とする領域１５８ａ、１５８ｂは、候補領域抽出部４６が抽出した領域を含む所定サイズの矩形領域とする。
【００４４】
詳細情報取得部４７は、顔検出処理などの画像解析結果を用いてさらに別の解析処理を行ってもよい。例えば候補領域のうち顔が検出された領域のみを用いて顔認識処理を行ってもよい。このとき必要に応じて、解像度レベルをさらに切り替えてもよい。例えば顔検出を行った画像よりさらに高い解像度レベルの画像を用いることにより、認識精度を高めることができる（Ｓ１６ａ、Ｓ１６ｂ）。
【００４５】
このように対象物が存在すると推定される領域を抜けなく抽出する処理と、抽出された領域を詳細に解析する処理とを互いに独立させ、段階を追って処理を進捗させることにより、それぞれの処理に求められる精度に応じて処理対象の画像や処理内容を切り替えられる。また各処理においても被写体の位置に応じて処理対象の画像を切り替える。その結果、高精度な処理結果を高い効率で得ることができる。
【００４６】
次に候補領域抽出部４６がマッチングを行うときの、被写体の奥行き方向の位置と、テンプレート画像のサイズの関係について説明する。ここで長さの単位は記載がない限りメートル等で揃えているものとする。図５はステレオ画像における視差と被写体の奥行き方向の位置の関係を説明するための図である。第１カメラ１３ａ、第２カメラ１３ｂは距離Ｌを隔てた平行な光軸を有するように設置される。これらのステレオカメラに対し、被写体は奥行き方向に距離Ｚ離れた右端の矢印の位置に存在するとする。
【００４７】
各カメラが撮影した画像の１画素が表す実空間での幅Δｘは、距離Ｚに比例して次のように表される。
Δｘ＝Ｚ×ｗ／Ｗ  （１）
ここでＷはカメラの横方向の画素数、ｗは距離Ｚが１のときの実空間の横方向の視野範囲であり視角によって定まる。
【００４８】
距離Ｌだけ離れたカメラで撮影された同一の被写体は、その画像上でおよそ下記のような画素数上の視差Ｄ（画素）を有する。
Ｄ＝Ｌ／Δｘ＝Ｌ×（Ｗ／ｗ）×（１／Ｚ）＝Ｃ／Ｚ  （２）
ここでＣはカメラおよびそのセッティングにより定まる値であり、運用時は定数とみなせる。距離Ｚが１のときの視差Ｄａｔ１（画素）を既知とすると、任意の視差Ｄ（画素）に対し奥行き方向の距離Ｚは次のように求められる。
Ｚ＝Ｄａｔ１／Ｄ  （３）
【００４９】
一方、候補領域抽出部４６が用いる基準テンプレート画像が、対象物を画素数上の幅ｐｔｍｐ（画素）で表しているとすると、任意の距離Ｚにいるときの対象物の画素数上の幅ｐ（画素）は、視差Ｄ（画素）と同様、奥行き方向の距離Ｚに反比例し、次のように表される。
ｐ＝ｐｔｍｐ ×（Ｚｔｍｐ／Ｚ）  （４）
ここでＺｔｍｐは、撮影画像中、基準テンプレートに合致するサイズで対象物が表されるときの当該対象物の奥行き方向の距離である。
【００５０】
基準テンプレート１画素が表す実空間での幅をΔｘｔｍｐ、距離Ｚが１における、カメラが撮影した画像の１画素が表す実空間での幅をΔｘａｔ１とすると、式（１）より、
Δｘｔｍｐ＝Ｚｔｍｐ ×ｗ／Ｗ      （５）
Δｘａｔ１＝ｗ／Ｗ               （６）
であるから、下式が得られる。
Ｚｔｍｐ ＝ Δｘｔｍｐ／Δｘａｔ１     （７）
【００５１】
したがって式（４）は
ｐ＝ｐｔｍｐ×Δｘｔｍｐ／Δｘａｔ１／Ｚ  （８）
となり、結果として、任意の距離Ｚにいるときの被写体の画像上のサイズに合わせるために基準テンプレート画像にかけるべき倍率Ｍは次の式により求められる。
Ｍ＝Δｘｔｍｐ／Δｘａｔ１／Ｚ    （９）
【００５２】
Δｘａｔ１はカメラなどに依存する固定値であるため、準備する基準テンプレート画像に応じてΔｘｔｍｐを決定することによりサイズ調整を実現できる。例えば人の頭部の位置を特定する場合、頭部の幅を０．２ｍ程度とし、周囲のマージン領域を含め実際の幅０．３ｍを幅１６画素で表した基準テンプレート画像を準備した場合、Δｘｔｍｐ＝０．３／１６＝０．０１９ｍなどとなる。なお本実施の形態では上述のとおり奥行き画像と、サイズを調整したテンプレート画像とでマッチング処理を行うため、撮影画像と奥行き画像の解像度が異なる場合は、奥行き画像の１画素が表す実空間の幅をΔｘａｔ１とする。
【００５３】
図６は撮影空間における奥行き方向の軸について説明するための図である。同図上段は撮影空間を上から見た模式図５６ａ、下段は横から見た模式図５６ｂである。第１カメラ１３ａ、第２カメラ１３ｂの視野内には被写体である人物５８および人物５９が存在している。
【００５４】
なお図５に示したように、第１カメラ１３ａ、第２カメラ１３ｂの光軸は平行で、縦方向のずれはないとする。実際にはずれが生じている場合があるが、そのような環境で撮影された画像は、一般的な手法によりずれのない状態に補正されているものとする。図中、点線は等視差面を表している。ここで等視差面とは、面上の全ての点において視差が等しい平面であり、ひいては（２）式より、カメラからの距離Ｚが等しく算出される面である。したがって奥行き方向の距離Ｚは、図示するように当該等視差面に対し垂直な軸（光軸）上での、カメラの撮影面（センサ面）からの距離によって定義される。
【００５５】
図７は基準テンプレート画像のサイズを調整し、その後にマッチング評価値を算出する具体的な手法を説明するための図である。図７の基準テンプレート画像６０は、格子状に区分けすることにより１つの区画で１つの画素を表している。また奥行き画像６２はわかりやすさのために被写体６４、６８の頭部の輪郭のみを実線で示している。なお上述のように奥行き画像の画素値は被写体の奥行き方向の距離を一意に定める数値であればそのデータ形式は限定されないが、以下の説明では画素値を適宜、距離に換算しているものとする。
【００５６】
基準テンプレート画像６０の横方向の画素数ｐｗ（画素）および縦方向の画素数ｐｈ（画素）は同図の場合、ｐｗ＝ｐｈ＝８としている。ただしこれに限る主旨ではない。候補領域抽出部４６は、まず奥行き画像６２の各画素をラスタ順等で走査し、画素値が所定範囲内にある画素を検出する。ここで「所定範囲」とは、各奥行き画像に対応づけた被写体の距離範囲に対応する画素値の範囲である。
【００５７】
同図ではそのように検出した画素の１つを、画素の座標（ｉ１，ｊ１）で表している。この画素は被写体６８の像の領域に含まれている。このような画素が検出されたら、当該画素の位置を中心としてテンプレート画像７２を配置する。ただしこの画素の画素値、ひいては奥行き方向の距離Ｚ６８に応じた倍率Ｍ６８（Ｍ６８＜１）で基準テンプレート画像６０を縮小するため、配置するテンプレート画像７２の横方向の幅は画素数に換算するとｐｗ×Ｍ６８（画素）、縦方向の幅はｐｈ×Ｍ６８（画素）となる。
【００５８】
上述のとおり基準テンプレート画像とは、あらかじめ設定された奥行き方向の距離Ｚｔｍｐに対象物があるときの、画像に表れる像のサイズで当該対象物の形状を表した画像である。したがって検出した画素が表す距離Ｚが距離Ｚｔｍｐより大きければ、すなわち遠ければ、（７）、（９）式より倍率Ｍは１未満となり基準テンプレート画像は縮小される。逆に画素が表す距離Ｚが距離Ｚｔｍｐより小さければ、すなわち近ければ、倍率Ｍは１より大きくなり基準テンプレート画像は拡大される。なお基準の距離Ｚｔｍｐは、準備する基準テンプレート画像全てについて共通の値でもよいし、基準テンプレートごとに異なる値でもよい。
【００５９】
そしてテンプレート画像７２の画素値と奥行き画像６２の画素値を同じ位置で比較する。同図に示すように被写体６８に対しては基準テンプレート画像６０を縮小するため、テンプレート画像７２の画素同士の間隔は奥行き画像６２の画素同士の間隔より小さくなる。すなわち比較対象の画素同士が一対一に対応しないことがあり得る。この場合、基本的にはテンプレート画像７２の画素に距離が近い奥行き画像６２の画素を「同じ位置」とみなす。結果的にテンプレート画像７２の複数の画素を奥行き画像６２の１つの画素と比較することもあり得る。
【００６０】
テンプレート画像７２における各画素の座標を（ｘ，ｙ）とすると、奥行き画像６２上において「同じ位置」とみなされる画素の座標（ｉ，ｊ）は例えば次のように求められる。
ｉ＝ｉ１＋（ｘ−ｐｗ／２）× Ｍ１  （１０）
ｊ＝ｊ１＋（ｙ−ｐｈ／２）× Ｍ１  （１１）
ここで右辺第２項は四捨五入や切り捨てなどによって整数とする。
【００６１】
被写体６４に対するマッチングも同様である。すなわち走査によって検出された画素の１つの座標（ｉ０，ｊ０）が被写体６４の像の領域内にあった場合、この画素の画素値は被写体６４の奥行き方向の距離Ｚ６４であるため、それに従い倍率Ｍ６４（Ｍ６４＞１）を算出する。そして基準テンプレート画像６０を倍率Ｍ６４で拡大したテンプレート画像７０を、当該画素が中心となるように配置する。ここでテンプレート画像７０の横方向の幅はｐｗ×Ｍ６４（画素）、縦方向の幅はｐｈ×Ｍ６４（画素）である。
【００６２】
そしてテンプレート画像７０の画素値と奥行き画像６２の画素値を同じ位置で比較する。この場合、基準テンプレート画像６０を拡大しているため、テンプレート画像７０の画素同士の間隔は奥行き画像６２の画素同士の間隔より大きくなるが、式（１０）、（１１）と同様にして、テンプレート画像７０の各画素と同じ位置にあるとみなされる奥行き画像６２の画素を決定できる。
【００６３】
このようにしてテンプレート画像の画素と奥行き画像の画素とを対応づけたら、双方の画素値を用いてマッチング評価値を算出する。マッチング評価値の算出手法は一般的なマッチング処理で適用されているものを用いることができるが、本実施の形態では特に次のように算出する。まずテンプレート画像の各画素に対応する奥行き画像の画素の値、すなわち奥行き方向の距離Ｚを取得したら、その値が、テンプレート画像を配置するきっかけとなった画素、図７の例では座標（ｉ１，ｊ１）や（ｉ０，ｊ０）の画素の画素値であるＺ６８やＺ６４から所定の範囲内にあるか否かを判定する。
【００６４】
画素値が所定範囲内にあれば、奥行き画像において座標（ｉ１，ｊ１）や座標（ｉ０，ｊ０）で検出されたのと同一の被写体が該当画素まで連続していると推定できるためである。例えば頭部の位置を検出する場合、前後に１０〜３０ｃｍ程度の範囲内にあれば頭部の連続した面の一部であると判断できる。具体的な範囲は対象物の実際の形状に応じて決定する。
【００６５】
そしてマッチング評価値Ｖを次にように算出する。
Ｖ＝Σｕｎ×Ｂｎ      （１２）
ここでΣはテンプレート画像の全画素についての合計、ｕｎはテンプレート画像のｎ番目の画素に対応する奥行き画像の画素値が上記のとおり所定の範囲内にある場合に＋１、ない場合に−１の値をとる。Ｂｎはテンプレート画像におけるｎ番目の画素の画素値であり、上述のように対象物の形状の内部にあれば１、なければ０の値をとる。
【００６６】
このような算出手法により、奥行き方向の距離が所定範囲内にある、ひいては一体的な物体であり、かつテンプレート画像として準備した形状およびサイズに近い被写体ほど、あるテンプレート画像の位置において高い評価値Ｖが得られることになる。なおこの算出手法は一例であり、各画像のデータ形式等によって様々に応用できることは当業者には理解されるところである。
【００６７】
候補領域抽出部４６は、奥行き画像の画素に対しマッチング評価値を対応づけたマッチング評価値分布を生成する。そして当該分布において、マッチング評価値が所定のしきい値以上で極大となる点およびそのときのテンプレート画像のサイズを出力値として決定する。このような処理を、複数の解像度の奥行き画像に対して実施することにより、図４に示すように、被写体の奥行き方向の距離範囲に応じた解像度レベルごとに、頭部などの対象物の像が存在すると推定される領域を詳細情報取得部４７に出力できる。
【００６８】
なお候補領域抽出部４６は、頭部など、被写体の基準となる部位の候補領域を一旦決定したうえで、さらに別の部位の候補領域を抽出してもよい。例えば手、足、胴体などは、頭部からの相対的な位置が限定的である。本実施の形態では奥行き画像を用いることにより、抽出した像の奥行き方向の位置が既知であるため、それを利用することにより、他の部位の３次元空間での可動範囲を限定することができる。そして限定した領域についてのみ上述のテンプレートマッチングを、基準テンプレートを当該部位用に準備されたものに切り替えて繰り返すことにより、効率的かつ精度よく複数の部位の候補領域を抽出できる。
【００６９】
あるいはＧＰＵ２４によって候補領域抽出部４６を実現し、パターンマッチング処理を行わせることにより、複数の部位の基準テンプレート画像を用いて同様のパターンマッチング処理を並列に行ってもよい。ＧＰＵに搭載されたマルチレンダーターゲット機構やカラープレーンの機構を利用することにより、このような並列処理を高速に行える。これにより各部位の像の候補領域を投機的に全て抽出したうえで、その相対位置などによって信頼性の高い候補領域のみを詳細情報取得部４７に供給してもよい。
【００７０】
次に候補領域抽出部４６による処理の結果を利用して詳細情報取得部４７が実施する処理の具体例を説明する。
【００７１】
（１）対象物のトラッキング
トラッキングは一般的に、追跡対象の所定の特徴量を特徴量空間で時間発展的に推定していくことにより、追跡対象の動きや形状変化を追跡する技術である。例えば追跡対象の輪郭を表す曲線を定義するパラメータを特徴量とし、ある時間ステップにおいて推定された輪郭に基づき、当該パラメータ空間における移動ベクトルを推定する。そして推定した移動ベクトルから得られる次の時間ステップの輪郭候補と、実際の画像から生成したエッジ画像とを比較することにより輪郭候補を評価し、最も確からしい輪郭を決定する。
【００７２】
ここで、追跡対象とは異なる物体のエッジによって、ある輪郭候補に偶然高い評価値が得られてしまった場合、その結果が次の時間ステップにおける輪郭候補の決定に影響を与え、ひいては以降の追跡結果に常時、その影響が含まれることになる。結果として、各時間ステップにおいて発生した小さな誤差が徐々に蓄積し、追跡結果が実際の追跡対象の動きや形状と乖離してしまうこともあり得る。
【００７３】
そこで本実施の形態では、候補領域抽出部４６による処理結果を利用して誤差の蓄積を防止する。図８は、各時間ステップにおける追跡対象の輪郭を、候補領域抽出部４６による処理結果により更新しながらトラッキングを行う処理手順を模式的に示している。同図は横軸に時間経過を示しており、画像１０２は時間ステップｔ１、ｔ２、ｔ３、・・・における処理対象の撮影画像である。またこの例は頭部を追跡対象としているが、それに限定する主旨ではない。
【００７４】
ここで、時間ステップｔ１において追跡対象の人物の頭部輪郭１０３が推定されたとする。上述の一般的な技術では、頭部輪郭１０３に基づき次の時間ステップｔ２の頭部輪郭を推定する。一方、本実施の形態では、候補領域抽出部４６が生成した奥行き画像１０４と、抽出した頭部の像の領域を利用することにより、推定した頭部輪郭の情報を更新する。具体的には、時間ステップｔ１の奥行き画像１０４において、頭部の像の領域を含む所定サイズの矩形範囲１０５内で、当該像の中心の画素と同じ画素値あるいは所定範囲内の画素値を有する画素からなる領域の輪郭１０６を用いて、次の時間ステップｔ２における追跡対象の頭部輪郭１０８を推定する。
【００７５】
同様に、時間ステップｔ２に対し推定した頭部輪郭１０８に代え、時間ステップｔ２の奥行き画像から得られる輪郭１１０を用いて、次の時間ステップｔ３における頭部輪郭１１２を推定する、といった処理を各時間ステップについて繰り返す。なおこの例では頭部輪郭を定義するパラメータを特徴量とした場合を想定し、輪郭線に着目したが、適用するトラッキング技術によって特徴量は様々である。したがって奥行き画像１０４や抽出した候補領域を利用して更新する情報は適宜変化させてよい。例えば輪郭に変え、それによって囲まれる領域を利用し、その内部における特徴量の分布の変化を推定することにより、次の時間ステップの輪郭を推定してもよい。
【００７６】
奥行き画像１０４において、像の中心と同じ画素値あるいはそれに近い所定範囲内の画素値を有する画素からなる領域は、同一の被写体の像を表していると考えられるため、その領域の輪郭はすなわち追跡対象、この場合は頭部の輪郭と考えられる。もし前の時間ステップで推定された頭部輪郭１０３、１０８などに誤差が含まれていても、それを使用せずに候補領域抽出部４６における処理結果を用いて次の時間ステップの輪郭を推定することにより、時間ステップごとに誤差をリセットすることができる。結果として誤差が蓄積していくことによる実際の追跡対象との乖離を防止することができる。
【００７７】
次にトラッキングを行う場合の情報処理装置１０の動作について説明する。図９は情報処理装置１０がトラッキングを行う処理手順を示すフローチャートである。まずユーザが入力情報取得部４４に対し処理の開始を指示すると、画像取得部４２を介した撮影開始要求により、撮像装置１２は被写体の撮影を開始する（Ｓ１００）。画像取得部４２は、そのようにして撮影された動画像のフレームデータを順次取得し、画像記憶部４８に格納する。以後の処理は、各時間ステップの撮影画像のデータが格納されるのと並行して順次実施する。
【００７８】
候補領域抽出部４６は、最初の時間ステップｔ＝０のフレームのステレオ画像を画像記憶部４８から読み出し、それを用いて奥行き画像を生成する（Ｓ１０４）。そして、頭部など追跡対象の形状およびサイズを表す基準テンプレート画像を用いてマッチング処理を実施することにより、追跡対象の像が存在すると推定される領域を抽出する（Ｓ１０６）。このとき上述のように、複数の解像度の奥行き画像に対しマッチングを行うことにより、異なる距離範囲ごとに候補領域を抽出する。あるいは距離範囲を分けず、１つの奥行き画像に対しマッチングを実施してもよい。
【００７９】
候補領域抽出部４６は、このようにして抽出した候補領域の位置およびサイズを、候補領域リストとして詳細情報取得部４７に供給する。複数の解像度の奥行き画像から候補領域を抽出した場合は、その解像度レベルごとに候補領域リストを作成し、解像度レベルに対応づけて供給する。すると詳細情報取得部４７は、追跡対象の像が候補領域リストに含まれているか否かを確認する（Ｓ１０８）。
【００８０】
例えば全ての人物の頭部を追跡対象とする場合は、頭部の候補領域に対し顔検出処理を施すことにより、実際に頭部であることを確認する。あるい特定の人物の頭部のみを追跡対象とする場合は、検出した顔領域にさらに顔認識処理を施すことにより、当該人物の頭部であることを確認する。これらの処理は上述のように、候補領域の抽出に用いた奥行き画像の解像度レベルに対応する解像度レベルの撮影画像を用いて行う。
【００８１】
追跡対象の像が抽出されている場合（Ｓ１０８のＹ）、詳細情報取得部４７は抽出に用いられた奥行き画像のうち、当該像の領域を含む所定サイズの領域のデータを画像記憶部４８から読み出して内部のメモリ（図示せず）に格納する（Ｓ１１０）。そして像の中心の画素と同じ画素値あるいは所定範囲内の画素値を有する領域を特定し、その輪郭を追跡対象の輪郭として設定する（Ｓ１１２）。
【００８２】
この段階でユーザから処理を停止させる指示入力がない場合（Ｓ１１４のＮ）、詳細情報取得部４７は、画像記憶部４８から次の時間ステップｔ＝ｔ＋Δｔの撮影画像を読み出し、それに基づき当該時間ステップにおける輪郭を推定する（Ｓ１１６、Ｓ１１８）。つまりＳ１１２で設定した輪郭に基づき推定した特徴量の移動ベクトルから得られる次の時間ステップの輪郭候補と、当該時間ステップの画像における実際のエッジ等を比較することにより、最も確からしい輪郭を決定する。なおここで用いる撮影画像についても、候補輪郭を抽出した奥行き画像の解像度レベルに対応づけた解像度レベルのものを選択してよい。
【００８３】
出力情報生成部５０は、そのようにして推定した時間ステップｔ＝ｔ＋Δｔにおける追跡対象の輪郭を線などの図形で表し、最高解像度の撮影画像上に重ね合わせるなどして出力画像を生成し、追跡結果として表示装置１６に表示する（Ｓ１２０）。あるいはジェスチャ認識など追跡結果を利用して実施される別の情報処理を行ってもよい。これと並行して候補領域抽出部４６は、時間ステップｔ＝ｔ＋Δｔのステレオ画像を用いて奥行き画像を生成し、テンプレートマッチングによって追跡対象の候補領域を新たに抽出する（Ｓ１０４、Ｓ１０６）。
【００８４】
そして詳細情報取得部４７が、抽出された候補領域と奥行き画像を用いて追跡対象の輪郭を設定し、それに基づき、さらに次の時間ステップにおける輪郭を推定する（Ｓ１０８のＹ〜Ｓ１１８）。そして出力情報生成部５０が、推定された輪郭を撮影画像上に表した画像を生成し追跡結果として出力する（Ｓ１２０）。基本的にはこのような処理を、処理を停止させる指示入力があるまで（Ｓ１１４のＹ）、時間ステップごとに繰り返す。これにより、追跡対象の動きや形状の変化に追随するように、輪郭を表した図形が変化する動画像を表示したり、それを利用した情報処理を進捗させたりできる。一旦、追跡が開始されれば、前の時間ステップにおける追跡対象の輪郭からの可動範囲に基づきＳ１０８における確認処理を行ってもよい。
【００８５】
一方、候補領域抽出部４６から供給された候補領域リストに追跡対象の像が含まれていなかった場合（Ｓ１０８のＮ）、詳細情報取得部４７は、自らが推定した輪郭に基づき次の時間ステップにおける輪郭を推定するようにする。詳細には、候補領域抽出部４６が最後に追跡対象の像の領域を抽出したときの当該像の位置から所定範囲内に、自らが推定した輪郭がある間は（Ｓ１２２のＹ）、その推定結果を有効として、それに基づき次の時間ステップの輪郭を推定する（Ｓ１２４、Ｓ１１６、Ｓ１１８）。この場合の推定処理やその後の追跡結果の出力は上述と同様である。
【００８６】
一方、自らが推定した輪郭が、候補領域抽出部４６によって最後に抽出された追跡対象の像の位置から所定範囲外に逸脱したら、次の時間ステップにおける輪郭推定は行わず（Ｓ１２２のＮ）、候補領域抽出部４６が次に追跡対象の像を抽出できるまで待機する（Ｓ１０４〜Ｓ１０８のＹ）。最初のフレームで追跡対象の像の領域が抽出されなかった場合は、別の手法で追跡対象の輪郭の初期値を与えてもよい。また奥行き画像から抽出した像の輪郭を追跡対象の輪郭として更新する処理は、輪郭推定を行うトラッキング処理と異なる時間間隔で行ってもよい。
【００８７】
いずれにしろ、一般的には時間発展的に対象物の輪郭を推定していくトラッキング技術において、時間に対して独立に得られた像の情報を導入することにより、誤差が蓄積しにくい高精度な追跡を効率的に実現できる。上述の例は候補領域抽出部４６における処理結果を利用して輪郭の情報を更新し、それに基づき次の時間ステップにおける輪郭を推定したが、ある時間ステップにおいて推定した輪郭を、候補領域抽出部４６における処理結果を利用して補正し追跡結果とすることも考えられる。図１０は、各時間ステップにおいて推定した追跡対象の輪郭を補正する手法を説明するための図である。
【００８８】
画像領域１１４において網掛けした領域が追跡対象の像を表し、時間ステップｔ１、ｔ２、ｔ３に対し、像１１６ａ、１１６ｂ、１１６ｃのように移動するとする。ここで各像の輪郭は、図８における奥行き画像１０４の輪郭１０６、１１０などと同等である。このとき候補領域抽出部４６が時間ステップｔ１、ｔ２、ｔ３で抽出した像の領域の中心座標をそれぞれ（Ｄｘ（ｔ１），Ｄｙ（ｔ１））、（Ｄｘ（ｔ２），Ｄｙ（ｔ２））、（Ｄｘ（ｔ３），Ｄｙ（ｔ３））とする。
【００８９】
一方、詳細情報取得部４７では、一般的なトラッキング処理により円形で示したような輪郭が推定され、その中心座標がそれぞれ（Ｔｘ（ｔ１），Ｔｙ（ｔ１））、（Ｔｘ（ｔ２），Ｔｙ（ｔ２））、（Ｔｘ（ｔ３），Ｔｙ（ｔ３））であるとする。図示するように時間ステップｔ１において両者の位置座標が一致していたとしても、時間ステップｔ２、ｔ３ではベクトル（Ｍｘ（ｔ２），Ｍｙ（ｔ２））、（Ｍｘ（ｔ３），Ｍｙ（ｔ３））分の差が生じている。
【００９０】
このとき、出力結果たる追跡対象の輪郭の中心位置（Ｏｘ（ｔ），Ｏｙ（ｔ））（ｔ＝ｔ１，ｔ２，ｔ３，・・・を、次のように補正する。
Ｏｘ（ｔ）＝Ｔｘ（ｔ）＋Ｍｘ（ｔ）×Δｍ
＝Ｔｘ（ｔ）＋（Ｄｘ（ｔ）−Ｔｘ（ｔ））×Δｍ
Ｏｙ（ｔ）＝Ｔｙ（ｔ）＋Ｍｙ（ｔ）×Δｍ
＝Ｔｙ（ｔ）＋（Ｄｙ（ｔ）−Ｔｙ（ｔ））×Δｍ
【００９１】
ここでΔｍは補正の重みを決定づける係数であり、例えば０．１などの値をあらかじめ決定しておく。追跡対象の特性や画像の特性などに応じて最適値を変化させてもよい。このようにしても、補正後の座標を用いて各時間ステップにおける追跡対象の輪郭を決定し、それに基づき次の時間ステップの輪郭を推定すれば、誤差が蓄積することによる実際の像との乖離を抑えることができる。
【００９２】
（２）人物認識
図１１は情報処理装置１０が被写体である人物を特定する処理手順を示すフローチャートである。Ｓ２００〜Ｓ２０６の処理は、図９のＳ１００〜Ｓ１０６の処理と同様である。すなわちユーザの指示などにより撮像装置１２が被写体の撮影を開始し（Ｓ２００）、候補領域抽出部４６は最初の時間ステップｔ＝０のステレオ画像を用いて奥行き画像を生成する（Ｓ２０２、Ｓ２０４）。そして基準テンプレート画像を用いてマッチング処理を実施するが、ここでは頭部の基準テンプレート画像を用いる。そして頭部の候補領域を抽出する（Ｓ２０６）。
【００９３】
候補領域抽出部４６は、抽出した領域の位置およびサイズを、頭部候補領域リストとして詳細情報取得部４７に供給する。複数の解像度の奥行き画像から領域を抽出した場合はその解像度レベルも対応づけて供給する。すると詳細情報取得部４７は、対応する解像度レベルの撮影画像のうち、少なくとも抽出された候補領域を含む所定サイズの領域の画像のデータを画像記憶部４８から読み出す（Ｓ２０８）。
【００９４】
上述の通り複数の解像度の奥行き画像から、異なる距離範囲にいる被写体の像の領域が抽出されている場合は、それぞれに対応づけられた解像度レベルの撮影画像を読み出す。つまり遠い被写体は高解像度、近い被写体は低解像度の画像を読み出す。これにより、被写体の距離によらず検出処理の精度を揃えることができる。図１１のフローチャートでは、このステップで読み出す画像の解像度レベルを総称して「第１レベル」としている。
【００９５】
そして詳細情報取得部４７は、候補領域を含む所定サイズの領域のみに対し顔検出処理を施す（Ｓ２１０）。この処理は、顔の特徴点を抽出したり、輝度分布を一般的な顔における輝度分布と比較したりするなど、一般的な技術を適用できる。どの技術を用いる場合でも、処理対象の領域およびそのサイズが限定的であるため、画像全体を処理対象とするのに比べ格段に処理負荷を抑えることができる。
【００９６】
Ｓ２１０は実際には、顔である確率を表す評価値を、候補領域リストにある全ての候補領域に対して算出し、それをしきい値と比較することにより、所定値以上の確率で顔と考えられる領域を抽出する処理となる。これにより、候補領域抽出部４６が抽出した頭部の候補領域のうち、実際に顔が検出された領域を絞り込み、さらにそのうち顔部分の領域を特定する。このステップで同フローチャートの処理を抜け、それを利用した別の処理を行ってもよい。例えば図９で示したトラッキングにおけるＳ１０８の追跡対象の確認に利用してもよい。
【００９７】
次に詳細情報取得部４７は、Ｓ２０８で読み出した画像より高解像度の撮影画像のうち、少なくとも顔部分の領域を含む所定サイズの領域の画像のデータを画像記憶部４８から読み出す（Ｓ２１２）。Ｓ２０８で読み出した画像と同様、この処理においても複数の解像度レベルの画像を読み出してよい。同図ではそれらの解像度レベルを総称して「第２レベル」としている。またＳ２０８で読み出した画像より高解像度の撮影画像がなければ、Ｓ２０８で読み出した画像で代用してもよい。そして詳細情報取得部４７は、顔部分の領域を含む所定サイズの領域のみに対し顔認識処理を施す（Ｓ２１４）。
【００９８】
この処理はあらかじめ取得しておいた各人物の顔における特徴点の構成との比較により、一致率の高い人物を顔領域ごとに検索するなど一般的な技術を適用できる。この場合も、処理対象の領域およびそのサイズが限定的であるため解像度の高い画像を用いても処理の負荷を抑えられる。出力情報生成部５０は、そのようにして認識した人物に対応するキャラクタを撮影画像上の対応する領域に描画するなどして出力画像を生成し、認識結果として表示装置１６に表示する（Ｓ１２６）。あるいは人物を限定したトラッキングなど別の情報処理を行ってもよい。
【００９９】
処理を停止させる指示入力がない間は（Ｓ２１８のＮ）、時間ステップをインクリメントしながら（Ｓ２２０）、各時間ステップで撮影された画像を用いてＳ２０４〜Ｓ２１６の処理を繰り返す。停止させる指示入力がなされたら処理を停止する（Ｓ２１８のＹ）。以上の処理により、像と人物を応答性よく対応づけることができ、複数の人物が写っていてもそれぞれの動作を判別し、表示画像や情報処理に反映させることができる。
【０１００】
（３）撮像装置の露出補正
撮影環境が変わることにより撮像装置１２の適正露出が変化し、撮影画像をそのまま表示させた際に人の顔など重要な領域が見づらかったり、顔認識処理やトラッキングなどを行う際に処理精度が低下したりすることが考えられる。そこで候補領域抽出部４６による処理結果を利用して露出を調整することにより、それらの不具合を防止する。この場合、撮像装置１２には、情報処理装置１０からの要求に従い露出値を調整する機構を設けておく。図１２は情報処理装置１０によって撮像装置１２の露出値を調整する処理手順を示すフローチャートである。
【０１０１】
このフローチャートは、人の顔に露出を合わせる場合を示しているが、露出を合わせる対象はこれに限定されない。Ｓ３００、Ｓ３０２、Ｓ３０４、Ｓ３０６、Ｓ３０８の処理は、それぞれ、図１１のＳ２００、Ｓ２０４、Ｓ２０６、Ｓ２０８、Ｓ２１０の処理と同様である。すなわちユーザの指示などにより撮像装置１２が被写体の撮影を開始し（Ｓ３００）、候補領域抽出部４６がステレオ画像を用いて奥行き画像を生成する（Ｓ３０２）。なおこのステレオ画像は撮影開始後の最初のフレームなど、露出補正が必要なタイミングにおける任意のフレームのステレオ画像でよい。
【０１０２】
そして頭部の基準テンプレート画像を用いて奥行き画像に対しマッチング処理を実施し、頭部の候補領域を抽出する（Ｓ３０４）。候補領域抽出部４６は、抽出した領域の位置およびサイズを、頭部候補領域リストとして詳細情報取得部４７に供給する。複数の解像度の奥行き画像から領域を抽出した場合は、その解像度レベルも対応づけて供給する。すると詳細情報取得部４７は、対応する解像度レベルの撮影画像のうち、少なくとも抽出された候補領域を含む所定サイズの領域の画像のデータを画像記憶部４８から読み出す（Ｓ３０６）。この場合も複数の解像度の奥行き画像から、異なる距離範囲にいる被写体の像の領域が抽出されている場合は、それぞれに対応づけられた解像度レベルの撮影画像を読み出す。
【０１０３】
次に詳細情報取得部４７は、候補領域を含む所定サイズの領域のみに対し顔検出処理を施し、顔である確率を表す評価値を全ての候補領域に対して算出する（Ｓ３０８）。そして候補領域ごとの評価値と、当該候補領域における輝度を比較し、適正な輝度が得られているかどうか、すなわち露出値が適正か否かを判定する（Ｓ３１０、Ｓ３１２）。例えば候補領域のうち評価値が最も高い、すなわち顔である確率が最も高い領域を決定し、その領域の輝度の平均値が所定の適正輝度範囲にあれば露出値が適正であり、範囲外にあれば適正でないと判定する。
【０１０４】
露出値が適正でない場合（Ｓ３１２のＮ）、輝度の平均値が適正輝度範囲より小さければ露出を上げ、大きければ露出を下げる方向で撮像装置１２の露出値を調整する（Ｓ３１４）。露出値が適正の場合はそのまま処理を終了する（Ｓ３１２のＹ）。すなわち少しでも顔と判別できる領域があればその領域に露出を合わせる。ただし顔の領域が暗すぎたり明るすぎたりして、顔かそれ以外の類似の物体かも判別できない状態も考えられる。これに備え、顔検出の評価値が全ての候補領域で所定のしきい値以下である場合は、Ｓ３１２において露出値が適正でないと判定する。
【０１０５】
この場合、候補領域のいずれか１つまたは複数を抽出し、その輝度の平均値が適正範囲より大きいか小さいかによって調整方向を決定する。Ｓ３１４における撮像装置１２の露出値の調整に代えて、画像記憶部４８に格納済みの撮影画像の輝度値を調整するようにしてもよい。あるいは双方を実施してもよい。また露出値を調整したり輝度値を調整することによって顔検出の評価値が改善されることが考えられるため、露出値や輝度値が適正になるまで顔検出および調整処理を繰り返してもよい。
【０１０６】
いずれにしろＳ３０４における頭部の候補領域の抽出処理は、奥行き画像に基づくため、顔の造作など細部の情報が適切に得られていなくとも抽出精度を維持しやすく撮影環境に対し頑健性を有するといえる。そのためこの抽出結果を利用して、限定された領域にのみ着目して露出を合わせることにより、重要な部分の詳細情報を確実に得ることができる。結果として、このような処理を行ったあと、図１１で示した人物認識処理や図９で示したトラッキング処理を行うなどすると、そのような後段の処理も高精度に実施できる。
【０１０７】
以上述べた本実施の形態によれば、撮像装置が撮影したステレオ画像を用いて、被写体の奥行き方向の距離を画像平面上に表した奥行き画像を生成する。そして対象物の基準テンプレート画像を、奥行き画像に表された被写体の奥行き方向の位置に基づきサイズ調整したうえでテンプレートマッチングを行うことにより、対象物の像が存在すると推定される領域を抽出する。
【０１０８】
この際、奥行き画像を複数の解像度レベルで準備し、被写体の距離範囲ごとにその像の領域を抽出する。これにより被写体の位置によらず同様の精度で、かつ処理の無駄なく領域を抽出できる。そして抽出された領域を利用してトラッキング、顔検出、顔認識、露出補正などを行う。いずれの処理においても、奥行き画像のテンプレートマッチングという独立した処理による結果に基づく限定した領域のみを処理対象とできるため、処理効率がよく、多角的な解析により精度も向上する。
【０１０９】
例えばトラッキングにおいては、前の時間ステップの追跡結果を用いずに、奥行き画像のテンプレートマッチングによる領域抽出結果を用いて次の時間ステップにおける追跡対象を推定することにより、誤差の蓄積を抑制し実際の追跡対象と追跡結果との乖離を防止できる。このようなトラッキング、顔検出処理、顔認識処理、露出調整などにおいて高解像度の画像を用いても、処理対象とする領域が限定的であるため、結果として処理の負荷を増大させることなく高精度な処理を実現できる。
【０１１０】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１１１】
２  情報処理システム、  １０  情報処理装置、  １２  撮像装置、  １６  表示装置、  １３ａ  第１カメラ、  １３ｂ  第２カメラ、  ２２  ＣＰＵ、  ２４  ＧＰＵ、  ２６  メインメモリ、  ４２  画像取得部、  ４４  入力情報取得部、  ４６  候補領域抽出部、  ４７  詳細情報取得部、  ４８  画像記憶部、  ５０  出力情報生成部。
【図１】
2014106732.tif 000003
【図２】
2014106732.tif 000004
【図３】
2014106732.tif 000005
【図４】
2014106732.tif 000006
【図５】
2014106732.tif 000007
【図６】
2014106732.tif 000008
【図７】
2014106732.tif 000009
【図８】
2014106732.tif 000010
【図９】
2014106732.tif 000011
【図１０】
2014106732.tif 000012
【図１１】
2014106732.tif 000013
【図１２】
2014106732.tif 000014