(57)【要約】【課題】  移動する物体を画像中で精度よく追跡することができる画像処理装置および画像処理方法を提供する。【解決手段】  画像処理装置１における不特定画素検出・追跡部１１では、画像内における顔の口特有の特徴点である口元に対応する９個の担当不特定画素位置を設定し、担当不特定画素の追跡を行う。特徴点存在範囲算出部１２では、９個の担当不特定画素位置から、特徴点存在範囲を推定する。特徴点追跡部１３では、推定された特徴点存在範囲内において、特徴点を検出することにより、特徴点の追跡を行う。【選択図】  図１
2005301697.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段で撮影した画像内における物体を追跡する画像処理装置であって、
前記画像内における前記物体特有の特徴点に対応する複数の担当不特定画素を設定する担当不特定画素設定手段と、
前記担当不特定画素を追跡する担当不特定画素追跡手段と、
前記担当不特定画素の追跡結果に基づいて、前記特徴点の存在範囲を算出する特徴点存在範囲算出手段と、
前記特徴点の存在範囲内で前記特徴点を検出することにより、前記特徴点を追跡する特徴点追跡手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記担当不特定画素追跡手段は、ＫＬＴ法によって前記担当不特定画素を追跡する請求項１に記載の画像処理装置。
【請求項３】
撮像手段で撮影した画像内における物体を追跡する画像処理方法であって、
前記画像内における前記物体特有の特徴点に対応する複数の担当不特定画素を設定する担当不特定画素設定工程と、
前記担当不特定画素を追跡する担当不特定画素追跡工程と、
前記担当不特定画素の追跡結果に基づいて、前記特徴点の存在範囲を算出する特徴点存在範囲算出工程と、
前記特徴点の存在範囲内で前記特徴点を検出することにより、前記特徴点を追跡する特徴点追跡工程と、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に係り、特に、撮像手段で撮像された画像中における顔などの物体を追跡する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
画像中における人の顔などの物体を追跡するための画像処理装置として、特開平１１−６３９２７号公報に開示されたものがある。この画像処理装置は、人の顔における眉、目、鼻、口、ほくろなどを特徴点とし、これらの各特徴点を追跡することによって、顔の向きを判断するというものである。
【特許文献１】特開平１１−６３９２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記特許文献１に開示された画像処理装置においては、各特徴点のおおまかな移動位置を求めるにあたり、正規相関によるパターンマッチングを用いている。このため、各特徴点の探索領域が画像内で広汎にわたってしまい、場合によっては追跡に失敗するという問題があった。
【０００４】
そこで、本発明の課題は、移動する物体を画像中で精度よく追跡することができる画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決した本発明に係る画像処理装置は、撮像手段で撮影した画像内における物体を追跡する画像処理装置であって、画像内における物体特有の特徴点に対応する複数の担当不特定画素を設定する担当不特定画素設定手段と、担当不特定画素を追跡する担当不特定画素追跡手段と、担当不特定画素の追跡結果に基づいて、特徴点の存在範囲を算出する特徴点存在範囲算出手段と、特徴点の存在範囲内で特徴点を検出することにより、特徴点を追跡する特徴点追跡手段と、を備えるものである。
【０００６】
また、上記課題を解決した本発明に係る画像処理方法は、撮像手段で撮影した画像内における物体を追跡する画像処理方法であって、画像内における物体特有の特徴点に対応する複数の担当不特定画素を設定する担当不特定画素設定工程と、担当不特定画素を追跡する担当不特定画素追跡工程と、担当不特定画素の追跡結果に基づいて、特徴点の存在範囲を算出する特徴点存在範囲算出工程と、特徴点の存在範囲内で特徴点を検出することにより、特徴点を追跡する特徴点追跡工程と、を含むことを特徴とするものである。
【０００７】
本発明に係る画像処理装置および画像処理方法においては、物体特有の特徴点に対応する複数の担当不特定画素を設定し、その担当不特定画素の追跡を行って、追跡対象となる特徴点の存在範囲を算出している。このため、複数の担当不特定画素は、特徴点と同様の動きをしていると考えられるので、担当不特定画素の追跡結果から特徴点の存在範囲を算出することにより、精度のよい特徴点の追跡を行うことができる。
【０００８】
また、担当不特定画素追跡手段は、ＫＬＴ法によって担当不特定画素を追跡する態様とすることができる。
【０００９】
担当不特定画素の追跡をＫＬＴ（Kanade-lucas tracker）法によって行うことにより、担当不特定画素の追跡を行う際の計算負荷を低いものとすることができる。
【発明の効果】
【００１０】
本発明に係る画像処理装置および画像処理方法によれば、移動する物体を画像中で精度よく追跡することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して、本発明の好適な実施形態について説明する。図１は本発明の実施形態に係る画像処理装置のブロック構成図である。
【００１２】
図１に示すように、本実施形態に係る画像処理装置１は、担当不特定画素設定手段および担当不特定画素追跡手段である不特定画素検出・追跡部１１、特徴点存在範囲算出部１２、および特徴点追跡部１３を備えている。また、画像処理装置１には、撮像手段であるカメラ２が接続されている。カメラ２は、人の顔などを撮影した画像を画像処理装置１における不特定画素検出・追跡部１１に出力している。本実施形態では、人の顔を追跡対象となる物体としている。
【００１３】
不特定画素検出・追跡部１１には、カメラ２から画像が出力されるとともに、特徴点追跡部１３から前フレームにおける特徴点の情報が出力される。不特定画素検出・追跡部１１では、出力された画像および特徴点の情報に基づいて、担当不特定画素を設定するとともに、担当不特定画素の追跡を行う。
【００１４】
不特定画素検出・追跡部１１における担当不特定画素の追跡結果は、特徴点存在範囲算出部１２に出力される。特徴点存在範囲算出部１２では、出力された担当不特定画素の追跡結果に基づいて、特徴点の存在範囲を算出する。また、特徴点存在範囲算出部１２は、算出した特徴点の存在範囲を特徴点追跡部１３に出力する。
【００１５】
特徴点追跡部１３では、出力された特徴点の存在範囲と、カメラ２で撮影された画像から、特徴点の追跡を行う。追跡結果は、図示しない出力手段に出力されるとともに、不特定画素検出・追跡部１１に出力される。また、画像処理装置１は、図示しない特徴点設定部を有しており、カメラ２で撮影された画像から、顔特有の特徴部分を検出し、この特徴部分に基づいて特徴点を設定し、特徴点追跡部１３に出力している。
【００１６】
以上の構成を有する本実施形態に係る画像処理装置を用いて画像処理方法について説明する。本実施形態に係る画像処理方法では、最初に初期フレームの設定を行い、続いて初期フレーム設定以降における特徴点の追跡処理を行う。図２は、本実施形態に係る画像処理方法のうち、初期フレームの設定を行う手順を示すフローチャート、図３は、初期フレーム設定以降における特徴点の追跡処理の手順を示すフローチャートである。
【００１７】
図２に示すように、初期フレームの設定を行う際には、まずカメラ２で撮影した画像が画像処理装置１における図示しない特徴点設定部に出力される。画像処理装置１では、カメラ２から出力された画像中における顔の特徴部分となる口、目、鼻、眉などをたとえばパターンマッチングにより検出する。続いて、これらの特徴部分に対応する各特長部分特有の特徴点位置Ｆ＿ｉ，ｉ＝１，２，…，ｍを設定する（Ｓ１）。特徴点位置は、特徴部分に対応して設定され、図４（ａ）に示すように、たとえば顔ＦＡにおける口Ｍが特徴部分となる場合には、口元の点が口特有の特徴点となり、この位置を特徴点位置Ｆ＿１として設定する。また、その他の目、鼻、眉などの特徴部分についても、同様にしてそれぞれ特有の特徴点の位置を、特徴点位置Ｆ＿ｉ，ｉ＝２，３，…，ｍとして設定する。
【００１８】
また、不特定画素検出・追跡部１１では、カメラ２から出力された画像において、輝度が周辺輝度分布に対して特徴的となっている画素を不特定画素として抽出する（Ｓ２）。不特定画素は、画像中における各画素の評価を行い、下記（１）式を満たすものを抽出することによって行われる。
【００１９】
【数１】
2005301697.tif 000003
【００２０】
上記（１）式を満たす画素が複数抽出されたら、各特徴点位置Ｆ＿ｉ，ｉ＝１，２，…，ｍについて、それぞれ担当不特定画素位置Ｐ＿ｉ＿ｊ，ｊ＝１，２，…，ｎを設定する（Ｓ３）。初期フレームにおいて、口元の特徴点位置Ｆ＿１の周囲における不特定画素を複数、本実施形態では９個選択し、これらを担当不特定画素の担当不特定画素位置Ｐ＿１＿ｊ，ｉ＝１，２，…，９として設定する。
【００２１】
また、他の特徴部分における特徴点位置Ｆ＿ｉ，ｉ＝２，３，…，ｍについても、同様にして、担当不特定画素位置Ｐ＿ｉ＿ｊ，ｊ＝１，２，３，…，ｎを設定する。不特定画素の数は特に限定されないが、多すぎると、計算負荷が大きくない、少なすぎると、特徴点追跡の精度が低くなる。そのため、担当不特定画素の数ｎは、１０個程度とするのが好適である。このようにして初期フレームの設定が行われる。
【００２２】
次に、初期フレーム以降のフレームにおける特徴点の追跡について説明する。初期フレーム以降で、初期フレームで決定した各不特定画素の最近特徴点位置を推定するために、各担当不特定画素位置を使用する。ここでは、初期フレームの次のフレームを現フレームとした特徴点位置Ｆ＿１の追跡について説明する。追跡対象である人の顔は、移動する物体であり、初期フレームと現フレームとの間で、顔の位置関係は移動した状態となっている。
【００２３】
図３に示すように、初期フレーム以降の特徴点の追跡を行う際には、まず、特徴点存在範囲算出部１２において、初期フレームにおける各担当不特定画素位置Ｐ＿１＿ｊ，ｊ＝１，２，…，９を追跡処理する。この追跡処理により、図４（ｂ）に示すように、現フレームにおける担当不特定画素位置Ａ＿１＿ｊ，ｊ＝１，２，…，９を検出する（Ｓ１１）。
【００２４】
担当不特定画素位置の追跡処理は、たとえばＫＬＴ（Kanade-lucas tracker）法を用いて行われる。ＫＬＴ法は、追跡精度は高くはないものの、演算処理にかかる時間を短時間で済ませることができる。したがって、ＫＬＴ法を用いることにより、迅速に担当不特定画素の追跡を行うことができる。
【００２５】
担当不特定画素の追跡により、現フレームにおける担当不特定画素位置Ａ＿１＿ｊ，ｊ＝１，２，…，９を検出したら、担当不特定画素位置Ａ＿１＿ｊ，ｊ＝１，２，…，９から、特徴点存在範囲を算出する。そのために、まず、特徴点の移動先となる推定位置を内部に含み、担当不特定画素位置Ａ＿１＿ｊ，ｊ＝１，２，…，９を領域端点とする画像上の平面凸閉領域を仮定する。
【００２６】
ここで、現フレームと初期フレームとの間では、フレーム間の顔向き変化は画像上では小さなものとなる。このため、担当不特定画素位置Ａ＿１＿ｊ，ｊ＝１，２，…，９を領域端点とする平面閉領域は、フレーム間では２次元的なアフィン変換をするとみなすことができる。
【００２７】
いま、これらの現フレームと初期フレームとの間で担当不特定画素位置が得られれば、（２）式に示すアフィンパラメータａ〜ｆを求めることができる。そこで、初期フレームと現フレームの担当不特定画素位置から、２次元的なアフィン変換を示す下記（２）式のアフィンパラメータａ〜ｆを算出する（Ｓ１２）。
【００２８】
【数２】
2005301697.tif 000004
【００２９】
上記（２）式におけるアフィンパラメータａ〜ｆは、現フレームと初期フレームとの間で、位置が既知である点が３組あれば算出することができる。したがって、担当不特定画素位置Ａ＿１＿ｊ，ｊ＝１，２，…，９は、３つ以上である９つの既知点となるので、これらの担当不特定画素位置Ａ＿１＿ｊ，ｊ＝１，２，…，９により、上記（２）式のアフィンパラメータを推定することができる。アフィンパラメータの推定は最小二乗法を用いて行うことができる。
【００３０】
こうして、アフィンパラメータａ〜ｆを推定したら、初期フレームの特徴点位置Ｆ＿１から、現フレームにおける特徴点の移動後の推定位置Ｆ′＿１を算出する（Ｓ１３）。現フレームにおける特徴点の移動後の推定位置Ｆ′＿１は、初期フレームの特徴点位置Ｆ＿１から、下記（３）式を用いて表すことができる。
【００３１】
Ｆ′＿１＝Ａ（Ｆ＿１）  …（３）
但し、（３）式において、Ａは、（２）式のアフィン変換を表し、Ａのアフィンパラメータａ〜ｆは、最小２乗法を用いて推定したものである。このように、特徴点位置Ｆ＿１の現フレームにおける移動後の推定位置Ｆ′＿１を推定することができる。
【００３２】
さらに、特徴点位置が移動可能な範囲である特徴点存在範囲は、現フレームと初期フレームとの間の各不特定画素位置の移動量から推定することができる。そこで、現フレームでの特徴点位置を推定したら、続いて、現フレームにおける特徴点の存在範囲を決定する（Ｓ１４）。
【００３３】
いま、特徴点位置および担当不特定画素位置は平面運動をしていることから、追跡対象となる特徴点位置は、水平・垂直方向でそれを囲むように存在する担当不特定画素の画像上におけるみかけの動き量の最小値と最大値との間を動くものと考えられる。
【００３４】
したがって、特徴点が移動可能と考えられる最小ｘ座標を下記（４）式によって算出する。また、特徴点が移動可能と考えられる最大ｘ座標、最小ｙ座標、および最大ｙ座標をそれぞれ下記（５）式〜（７）式によって算出する。
【００３５】
【数３】
2005301697.tif 000005
【００３６】
こうして、（４）式〜（７）式で表される範囲を現フレームにおける移動後の推定位置を中心として設定する。この設定された範囲は、特徴点存在範囲算出部１２から、特徴点追跡部１３に出力される。特徴点追跡部１３では、設定された範囲内において、たとえばテンプレートマッチングを行うことにより、もっとも特徴点らしい位置を推定することによって（Ｓ１５）、特徴点の追跡を行う。このようにして、初期フレームから現フレームに移行した際の特徴点の追跡を行うにあたり、テンプレートマッチングをする範囲を担当不特定画素位置から画定することができるので、特徴点の誤追跡を防止することができる。
【００３７】
さらに、特徴点追跡部１３は、特徴点の追跡結果を不特定画素検出・追跡部１１に出力する。不特定画素検出・追跡部１１では、特徴点の追跡結果を、次のフレームにおける特徴点の追跡を行うために利用する。
【００３８】
ここまで、特徴点位置Ｆ＿１の追跡について説明したが、他の特徴点位置Ｆ＿ｉ，ｉ＝２，３，…，ｍについても同様にして、設定した担当不特定画素位置Ｐ＿ｉ＿ｊ，ｊ＝１，２，…，ｎから、特徴点の追跡を行うことができる。また、初期フレームの次のフレームを現フレームとして説明したが、それ以降のフレームについては、現フレームの前のフレームを上記の態様における初期フレームに当てはめることにより、同様の特徴点の追跡を行うことができる。
【００３９】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態において、移動する物体として人の顔を例示しているが、たとえば自動車などの移動体などを移動する物体とすることができる。また、上記実施形態では、複数の特徴点の追跡を行っているが、１つの特徴点のみの追跡を行うこともできる。
【図面の簡単な説明】
【００４０】
【図１】本発明に係る画像処理装置のブロック構成図である。
【図２】本発明に係る画像処理方法のうち、初期フレームの設定を行う手順を示すフローチャートである。
【図３】初期フレーム設定以降における特徴点の追跡処理の手順を示すフローチャートである。
【図４】（ａ）は、初期フレームにおける画像内の顔を模式的に示す図、（ｂ）は、現フレームにおける画像内の顔を模式的に示す図である。
【符号の説明】
【００４１】
１…画像処理装置、２…カメラ、１１…不特定画素検出・追跡部、１２…特徴点存在範囲算出部、１３…特徴点追跡部、ＦＡ…顔、Ｍ…口。
【図１】
2005301697.tif 000006
【図２】
2005301697.tif 000007
【図３】
2005301697.tif 000008
【図４】
2005301697.tif 000009