(57)【要約】【課題】色情報と距離情報とを用いて対象物を正確に追跡すること。【解決手段】  撮像装置２で取得された画像データが入力される画像入力部４と、初期の前記画像データから対象物を抽出する領域抽出部５と、後続の前記画像データにおける対象物を追跡処理する追跡処理部６と、各前記画像データにおける対象物の距離情報を作成し、連続する前記画像データにおける距離情報を比較し、その比較結果に基づいて前記追跡処理の際の対象物のフレームサイズを調整させるフレーム更新処理部８と、を備えることを特徴とする。【選択図】図１
2007094536.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で取得された画像データが入力される画像入力部と、
初期の前記画像データから対象物を抽出する領域抽出部と、
後続の前記画像データにおける対象物を追跡処理する追跡処理部と、
各前記画像データにおける対象物の距離情報を作成し、連続する前記画像データにおける距離情報を比較し、その比較結果に基づいて前記追跡処理の際のフレームが対象物を的確に囲むようにフレームサイズを調整させるフレーム更新処理部と、
を備えることを特徴とする対象物追跡装置。
【請求項２】
前記追跡処理部は、色分布ヒストグラムに基づいて追跡処理することを特徴とする請求項１に記載の対象物追跡装置。
【請求項３】
前記対象物は、人物の顔であることを特徴とする請求項１又は２に記載の対象物追跡装置。
【請求項４】
前記撮像装置はステレオ画像を撮影するものであり、
前記ステレオ画像を立体視することにより距離画像を生成させる距離画像生成部を備え、
前記フレーム更新処理部は前記距離画像に基づいて距離情報を作成することを特徴とする請求項１〜３のいずれか一項に記載の対象物追跡装置。
【請求項５】
撮像装置で取得された画像データを画像入力部に入力する工程と、
領域抽出部により初期の前記画像データから対象物を抽出する工程と、
追跡処理部により後続の前記画像データにおける対象物を追跡処理する工程と、
フレーム更新処理部により、各前記画像データにおける対象物の距離情報を作成し、連続する前記画像データにおける距離情報を比較し、その比較結果に基づいて前記追跡処理の際のフレームが対象物を的確に囲むようにフレームサイズを調整させる工程と、
を行うことを特徴とする対象物追跡方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物追跡装置及び対象物追跡方法にかかり、特に、色情報と距離情報とを併用して対象物を追跡する領域追跡装置及び領域追跡方法に関する。
【背景技術】
【０００２】
従来、ステレオ画像入力手段を用いて色情報と距離情報とを取得し、色情報及び距離情報に基づいて人物の顔領域を検出する顔領域検出装置が知られている（特許文献１参照）。このような顔領域検出装置は、色情報から肌色領域を抽出し、距離情報から顔の輪郭を与える輪郭モデルを生成し、肌色領域と輪郭モデルとの相関を利用して顔領域を特定するようになっている。そのため、従来のテンプレートマッチング法よりも高速で顔領域を検出することができるようになっている。
【特許文献１】特開２００２−２１６１２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の顔領域検出装置によれば、距離情報を用いるのは初期の顔領域検出の輪郭モデルを決定する際だけであり、一旦顔領域を検出すると同じ輪郭モデルを用いて顔領域を追跡するようになっている。そのため、図８に示すように対象人物が撮像装置との距離を保ったまま平行に移動する場合には顔領域の大きさが変化しないので正確に追跡可能であるが、追跡対象と撮像装置との距離が変化した場合には輪郭モデルと顔領域との大きさが異なってしまい、輪郭モデル内に顔以外の物体が存在し、誤検出が起こってしまうという問題があった。
【０００４】
本発明はこのような点に鑑みてなされたものであり、色情報と距離情報とを用いて対象物を正確に追跡することを目的とするものである。
【課題を解決するための手段】
【０００５】
前記課題を解決するために、請求項１に記載の発明は、対象物追跡装置において、
撮像装置で取得された画像データが入力される画像入力部と、
初期の前記画像データから対象物を抽出する領域抽出部と、
後続の前記画像データにおける対象物を追跡処理する追跡処理部と、
各前記画像データにおける対象物の距離情報を作成し、連続する前記画像データにおける距離情報を比較し、その比較結果に基づいて前記追跡処理の際のフレームが対象物を的確に囲むようにフレームサイズを調整させるフレーム更新処理部と、
を備えることを特徴とする。
【０００６】
請求項１に記載の発明によれば、領域抽出部により対象物が抽出され、追跡処理部により対象物の追跡処理が行われる。そして、フレーム更新処理部は、それぞれの画像データにおける対象物の距離情報を作成し、連続する画像データにおける距離情報を比較し、その比較結果に基づいて追跡処理の際のフレームが対象物を的確に囲むようにフレームサイズの調整を行う。
【０００７】
請求項２に記載の発明は、請求項１に記載の対象物追跡装置において、
前記追跡処理部は、色分布ヒストグラムに基づいて追跡処理することを特徴とする。
【０００８】
請求項２に記載の発明によれば、追跡処理部は、初期の画像データにおける追跡対象の色情報を元に、類似する色分布ヒストグラムを有する領域を追跡対象として検出することにより対象物を追跡する。
【０００９】
請求項３に記載の発明は、請求項１又は２に記載の対象物追跡装置において、
前記対象物は、人物の顔であることを特徴とする。
【００１０】
請求項３に記載の発明によれば、肌色情報を用いて対象となる人物の顔の追跡を行う。
【００１１】
請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の対象物追跡装置において、
前記撮像装置はステレオ画像を撮影するものであり、
前記ステレオ画像を立体視することにより距離画像を生成させる距離画像生成部を備え、
前記フレーム更新処理部は前記距離画像に基づいて距離情報を作成することを特徴とする。
【００１２】
請求項４に記載の発明によれば、ステレオ画像を立体視することにより距離画像が生成され、距離画像の濃淡値に基づいて距離情報が作成され、距離情報の比較が容易に行われる。
【００１３】
請求項５に記載の発明は、対象物追跡方法において、
撮像装置で取得された画像データを画像入力部に入力する工程と、
領域抽出部により初期の前記画像データから対象物を抽出する工程と、
追跡処理部により後続の前記画像データにおける対象物を追跡処理する工程と、
フレーム更新処理部により、各前記画像データにおける対象物の距離情報を作成し、連続する前記画像データにおける距離情報を比較し、その比較結果に基づいて前記追跡処理の際のフレームが対象物を的確に囲むようにフレームサイズを調整させる工程と、
を行うことを特徴とする。
【００１４】
請求項５に記載の発明によれば、領域抽出部により対象物が抽出され、追跡処理部により対象物の追跡処理が行われる。そして、フレーム更新処理部は、それぞれの画像データにおける対象物の距離情報を作成し、連続する画像データにおける距離情報を比較し、その比較結果に基づいて追跡処理の際のフレームが対象物を的確に囲むようにフレームサイズの調整を行う。
【発明の効果】
【００１５】
請求項１に記載の発明によれば、フレーム更新処理部は、連続する画像データにおける距離情報を比較するので、追跡対象の距離情報の変化により追跡対象と撮像装置との距離の変化を検出することができるようになっている。従って、追跡対象の光軸方向における移動に応じて追跡処理の際のフレームサイズを調整することにより、的確なサイズのフレームで対象物を検出することができ、誤検出を防止して正確な追跡処理が可能である。
【００１６】
請求項２に記載の発明によれば、追跡処理部による対象物の追跡処理は色情報に基づいて行われるので、対象物の形状などに基づいて検出するよりも処理に要する時間の短縮化や処理の簡略化が可能である。
【００１７】
請求項３に記載の発明によれば、対象となる人物の顔の検出を行うので、対象人物の正確な追跡が可能であり、顔認証装置などに用いることも可能である。
【００１８】
請求項４に記載の発明によれば、距離情報は濃淡値に基づくので、三次元形状を計測する装置を別途備えることなく、フレーム更新処理部は距離情報の比較を用意に行うことができる。
【００１９】
請求項５に記載の発明によれば、フレーム更新処理部は、連続する画像データにおける距離情報を比較し、追跡対象の距離情報の変化により追跡対象と撮像装置との距離の変化を検出することができるようになっている。従って、追跡対象の光軸方向における移動に応じて追跡処理の際のフレームサイズを調整し、的確なサイズのフレームで対象物を検出することができ、誤検出を防止して正確な追跡処理が可能である。
【発明を実施するための最良の形態】
【００２０】
以下に、本発明に係る対象物追跡装置の一実施形態について、図面を参照して説明する。ただし、発明の範囲を図示例に限定するものではない。
【００２１】
本実施形態の対象物追跡装置は、対象となる人物の顔を対象物として検出して追跡する顔追跡装置１である。
図１に示すように、顔追跡装置１には、所定方向の画像を撮影する撮像装置２が備えられている。撮像装置２は一対のＣＣＤカメラなどを備えており、所定時間間隔でカラーステレオ画像が撮影されるようになっている。撮像装置２には、図２（ａ）に示すようなカラーステレオ画像を読み込んで、ＲＧＢ座標の画像データに変換する画像入力手段３が接続されている。画像入力手段３には、画像入力手段３から画像データが入力され、連続する画像データを順次格納する画像入力部４が接続されている。
【００２２】
画像入力部４には、追跡開始の際の初期画像データから対象人物の顔領域を抽出する領域抽出部５が接続されている。領域抽出部５は画像入力部４から伝達された初期の画像データから顔領域を抽出し、顔領域の色情報、初期位置情報、初期サイズ情報を初期情報として設定するようになっている。ここで、顔領域の色情報とは、色分布ヒストグラムで表されるものである。また、顔領域の位置情報とは、画像データにおける平面座標系で表されるものである。さらに、顔領域のサイズ情報とは、画像データにおける顔領域の縦横幅の長さ寸法などで表されるものである。
【００２３】
領域抽出部５は、いわゆるテンプレートマッチング法により顔領域を抽出するようになっている。テンプレートマッチング法とは、さまざまな顔領域の画像をテンプレートとして予め準備し、画像データ中の肌色に相当する領域（図２（ａ）における斜線部）を検出し、テンプレートとのマッチングを調べることにより顔領域を抽出する方法である。領域抽出部５による顔領域の抽出法としては、テンプレートマッチング法のほか、従来より公知の方法が適宜適用可能であり、一例として手動抽出による領域指定法などが挙げられる。
【００２４】
また、画像入力部４には、画像入力部４から出力された後続の画像データにおける顔領域を追跡処理する追跡処理部６が接続されている。追跡処理部６は、領域抽出部５にも接続されており、伝達された初期情報に基づいて正方形のフレーム内の顔領域を検出する。詳しくは、追跡処理部６は、後続の画像データにおいて、初期情報に類似する色分布ヒストグラムを有する領域を検出し、当該領域を顔領域とする。この際、追跡処理部６により画像データにおける顔領域のサイズ情報と位置情報が算出されるようになっている。
【００２５】
さらに、画像入力部４には、カラーステレオ画像の画像データを用いて立体視することにより、濃度の濃淡で距離が表される距離画像を作成する距離画像生成部７が接続されている。図２（ｂ）に示すように、距離画像においては、撮像装置２からの距離が遠いほど高い濃度の画素で表され、逆に距離が近いほど低い濃度の画素で表されるようになっている。
【００２６】
領域抽出部５、追跡処理部６及び距離画像生成部７には、それぞれの画像データにおける距離情報を作成し、連続する画像データの距離情報を比較して、追跡処理部６による追跡処理の際のフレームサイズの調整を行うフレーム更新処理部８が接続されている。フレーム更新処理部８には、領域抽出部５と追跡処理部６から伝達された全ての画像データにおける顔領域のサイズ情報と位置情報が順次格納されるようになっている。また、フレーム更新処理部８には、距離画像生成部７から伝達された全ての距離画像が順次格納されるようになっている。
【００２７】
フレーム更新処理部８は、各画像データにおける顔領域のサイズ情報と位置情報と、対応する距離画像に基づいて、それぞれの画像データにおける距離情報を作成するようになっている。距離情報は顔領域の濃淡値の平均で表されるようになっており、撮像装置２と対象人物との距離が近いほど値が小さく、当該距離が離れているほど値が大きいようになっている。
【００２８】
また、フレーム更新処理部８は、連続する画像データの距離情報を比較し、その比較結果に基づいて追跡処理部６により顔領域が検出される際のフレームサイズを調整するようになっている。詳しくは、図３に示すように、フレーム更新処理部８は、距離情報がより大きな値に変化していた場合、対象物と撮像装置２との距離が遠くなったと判断し、フレームサイズを縮小させる。逆に距離情報が小さな値に変化していた場合、対象物と撮像装置２との距離が近くなったと判断し、フレームサイズを拡大させる。この際、フレーム更新処理部８は、フレームが対象物の周囲を的確に囲み、対象物以外のものがフレーム内にほとんど存在しないようにフレームサイズを拡大／縮小して調整するようになっている。
【００２９】
次に、図４を用いて本実施形態における対象物追跡方法について説明する。
顔追跡装置１は対象物追跡を開始する際には、まず初期設定を行う。図５に示すように、撮像装置２によりカラーステレオ画像の撮影が開始される（ステップＳ１ａ）。撮影された初期のカラーステレオ画像は画像入力手段３に出力され、画像入力手段３により初期画像データに変換される。初期画像データは画像入力部４に格納され、領域抽出部５、距離画像生成部７に出力される。領域抽出部５は、初期画像データから、テンプレートマッチング法などにより対象人物の顔領域を抽出する（ステップＳ１ｂ）。
【００３０】
続いて、領域抽出部５は、抽出した顔領域の位置とサイズを算出する（ステップＳ１ｃ）。また、領域抽出部５は、初期画像データの顔領域に関する色情報としての色分布ヒストグラムを生成する（ステップＳ１ｄ）。
【００３１】
距離画像生成部７は、画像入力部４から初期に撮影した一対の初期画像データを伝達され、これら二つの初期画像データを用いて立体視することにより距離画像を生成する。生成された距離画像はフレーム更新処理部８に伝達され、初期の距離情報Ｄ０が作成される（ステップＳ１ｅ）。このようにして生成された顔領域の色分布ヒストグラム、サイズ情報及び位置情報が初期情報として設定される（ステップＳ１ｆ）。
【００３２】
続いて、撮像装置２により撮影された後続のカラーステレオ画像が画像入力手段３により読み取られ、画像データが取得される（ステップＳ２）。取得された画像データは画像入力部４に格納され、追跡処理部６、距離画像生成部７に伝達される。追跡処理部６は、後続の画像データにおいて初期情報を元に類似する色分布ヒストグラムを有する領域を検出して対象人物の顔を追跡する（ステップＳ３）。この際のフレームサイズは初期情報に基づいて調整されている。また、追跡処理部６は顔領域のサイズ情報と位置情報を算出し、フレーム更新処理部８に伝達する。
【００３３】
距離画像生成部７は、画像入力部４から後続の画像データを伝達され、これらにより距離画像を生成する（ステップＳ４）。生成された距離画像はフレーム更新処理部８に伝達され、フレーム更新処理部８は対応する画像データにおけるサイズ情報及び位置情報に基づいて距離情報Ｄ１を作成する。
【００３４】
フレーム更新処理部８は、距離情報Ｄ０と距離情報Ｄ１を比較し（ステップＳ５）、初期画像撮影後から後続画像データの撮影までの間に、対象人物が撮像装置２との距離を変化させるように移動したか否かを判断する。判断方法としては、例えば、距離情報とは顔領域の濃淡値の平均により示されるものであり、距離情報の比較とは濃淡値の平均同士の比較である。図６に示すように、距離情報が変化して濃淡値が大きくなるほど、濃度が濃くなる位置に対象物が移動したことを示し、対象物と撮像装置２との距離が遠くなったことを示す。逆に、図７に示すように、距離情報が変化して濃淡値が小さくなるほど、明度の高い位置に対象物が移動したことを示し、対象物と撮像装置２との距離が近付いたことを示す。
【００３５】
具体的には、フレーム更新処理部８は、まず距離情報Ｄ０が距離情報Ｄ１より小さいか否かを判断する（ステップＳ６）。距離情報Ｄ０が距離情報Ｄ１より小さい場合（ステップＳ６；Ｙｅｓ）、対象物が撮像装置２から遠くに移動したと判断してフレームサイズを縮小させる（ステップＳ７）。フレームサイズが縮小されると、フレームは対象人物の顔を的確に囲むようになり、対象物以外のものがフレーム内にほとんど存在しない状態となる。
【００３６】
距離情報Ｄ０が距離情報Ｄ１より小さくない場合（ステップＳ６；Ｎｏ）、距離情報Ｄ０が距離情報Ｄ１より大きいか否かを判断する（ステップＳ８）。距離情報Ｄ０が距離情報Ｄ１より大きい場合（ステップＳ８；Ｙｅｓ）、対象物が撮像装置２に近付いたと判断してフレームサイズを拡大させる（ステップＳ９）。フレームサイズが拡大されると、フレームは対象人物の顔がフレームの外に出ないように的確に囲む状態となる。
【００３７】
距離情報Ｄ０が距離情報Ｄ１より小さくも大きくもない場合（ステップＳ８；Ｎｏ）、対象物と撮像装置２との距離は変化していないと判断してフレームサイズを変えずにそのまま保持する（ステップＳ１０）。
【００３８】
このようにしてフレームサイズを調整させてから、撮像装置２がさらに後続の撮影を継続している場合（ステップＳ１１；Ｙｅｓ）、ステップＳ２に戻って以上の処理を繰り返す。詳しくは、画像入力部４に格納されている第ｎ番目の画像データが、距離画像生成部７と追跡処理部６にそれぞれ出力される（ステップＳ２）。追跡処理部６は第（ｎ−１）番目の画像データにおける位置情報及びサイズ情報に基づいて顔領域を探索する（ステップＳ３）。また、距離画像生成部７は距離情報Ｄｎを作成し（ステップＳ４）、フレーム更新処理部８に伝達される（ステップＳ５）。そして、フレーム更新処理部８は距離情報Ｄｎ−１と距離情報Ｄｎとを比較し（ステップＳ６，Ｓ８）、比較結果に基づいてフレームサイズの拡大縮小調整を行う（ステップＳ７，Ｓ９，Ｓ１０）。
【００３９】
一方、撮像装置２が撮影を継続していない場合（ステップＳ１１；Ｎｏ）、対象物追跡を終了する。
【００４０】
以上のように、本実施形態の顔追跡装置１によれば、フレーム更新処理部８は、連続する画像データにおける距離情報Dｎ−１とDｎを比較するので、距離情報の変化により対象人物と撮像装置２との距離の変化を検出することができるようになっている。従って、対象人物の光軸方向における移動に応じて追跡処理の際のフレームサイズを調整することにより、的確なサイズのフレームで顔領域を検出することができ、誤検出を防止して正確な追跡処理が可能である。
また、追跡処理部６による顔領域の追跡処理は色情報に基づいて行われるので、顔領域の形状などに基づいて検出するよりも処理に要する時間の短縮化や処理の簡略化が可能である。
さらに、距離情報は濃淡値に基づくので、レンジファインダのような三次元形状を計測する装置を別途備えることなく、対象人物の光軸方向の移動を検出することができる。
【００４１】
なお、本実施形態の顔追跡装置１においては対象人物の撮像装置２の光軸方向における移動のみに応じてフレームサイズを調整させることとしたが、顔領域の位置情報に基づいて撮像装置２をパン／チルト制御して対象人物が画角から外れないようにすることとしてもよい。
【００４２】
また、本実施形態においては追跡する対象物を人物の顔としたが、色情報で検出可能な領域に適応可能であり、特に限定されない。その場合、フレームの形状も対象物の形状に合わせて変更することとしてもよい。
【図面の簡単な説明】
【００４３】
【図１】本実施形態の顔追跡装置の制御構成を示すブロック図である。
【図２】図２（ａ）は本実施形態におけるカラーステレオ画像の一つを表す説明図であり、図２（ｂ）は本実施形態における距離画像を表す説明図である。
【図３】本実施形態のフレーム更新処理を示す説明図である。
【図４】本実施形態の対象物追跡方法を示すフローチャートである。
【図５】本実施形態の初期設定を示すフローチャートである。
【図６】図６（ａ）は対象人物が撮像装置から遠くに移動した際のカラーステレオ画像の一つを表す説明図であり、図６（ｂ）は対象人物が撮像装置から遠くに移動した際の距離画像を表す説明図である。
【図７】図７（ａ）は対象人物が撮像装置の近くに移動した際のカラーステレオ画像の一つを表す説明図であり、図７（ｂ）は対象人物が撮像装置の近くに移動した際の距離画像を表す説明図である。
【図８】図８（ａ）は対象人物が撮像装置との距離を保ったまま移動した際のカラーステレオ画像の一つを表す説明図であり、図８（ｂ）は対象人物が撮像装置との距離を保ったまま移動した際の距離画像を表す説明図である。
【符号の説明】
【００４４】
１     顔追跡装置
２     撮像装置
３     画像入力手段
４     画像入力部
５     領域抽出部
６     追跡処理部
７     距離画像生成部
８     フレーム更新処理部
【図１】
2007094536.tif 000003
【図２】
2007094536.tif 000004
【図３】
2007094536.tif 000005
【図４】
2007094536.tif 000006
【図５】
2007094536.tif 000007
【図６】
2007094536.tif 000008
【図７】
2007094536.tif 000009
【図８】
2007094536.tif 000010