(57)【要約】【課題】  本発明では、距離画像を用いてオブジェクト検出用の部分画像の取りうる位置と大きさを絞り込むことで、オブジェクトの高速な検出が可能になる。【解決手段】  部分画像としてスキャン可能な範囲を、距離画像内で距離の格差の存在する点を抽出し、点の近傍を部分画像の中心が移動できないようにし、前記距離画像に対応する入力画像内で位置と大きさを変えて部分画像を移動してスキャンを行い、スキャンされた部分画像がオブジェクトであるかどうかを判定する。【選択図】  図２
2010108262.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を入力する撮像手段と、
前記入力画像に映っている各物体までの距離を測定する測距手段と、
前記入力画像に対応する距離画像を作成する距離画像作成手段と、
前記距離画像を用いて物体までの距離に応じてオブジェクト検出枠を設定するオブジェクト検出枠設定手段と、
前記設定されたオブジェクト検出枠のうち、部分画像としてスキャン可能な領域を設定するスキャン領域設定手段と、
オブジェクトの特徴を記憶した辞書と、
前記設定された領域を用いてスキャンされた部分画像がオブジェクトであるかどうかを、前記辞書を用いて判定するオブジェクト検出手段とを有し、
前記スキャン領域設定手段は、前記部分画像としてスキャン可能な範囲を、前記距離画像内で距離の格差の存在する点を抽出し、前記点の近傍を部分画像の中心が移動できないようにし、
前記オブジェクト検出手段は、前記距離画像に対応する入力画像内で位置と大きさを変えて部分画像を移動してスキャンを行うことを特徴とするオブジェクト検出装置。
【請求項２】
前記オブジェクトは顔であることを特徴とする請求項１記載のオブジェクト検出装置。
【請求項３】
前記距離画像の作成は、レンズ焦点法、ステレオ法、光レーダー法のいずれかによって行うことを特徴とする請求項１記載のオブジェクト検出装置。
【請求項４】
前記距離画像の作成は、一定の時間間隔で行うことを特徴とする請求項３記載のオブジェクト検出装置。
【請求項５】
撮像手段により、入力画像を入力する撮像工程と、
測距手段により、前記入力画像に映っている各物体までの距離を測定する測距工程と、
距離画像作成手段により、前記入力画像に対応する距離画像を作成する距離画像作成工程と、
オブジェクト検出枠設定手段により、前記距離画像を用いて物体までの距離に応じてオブジェクト検出枠を設定するオブジェクト検出枠設定工程と、
スキャン領域設定手段により、前記設定されたオブジェクト検出枠のうち、部分画像としてスキャン可能な領域を設定するスキャン領域設定工程と、
オブジェクト検出手段により、前記設定された領域を用いてスキャンされた部分画像がオブジェクトであるかどうかを、オブジェクトの特徴が記憶された辞書を用いて判定するオブジェクト検出工程とを有し、
前記スキャン領域設定工程は、前記部分画像としてスキャン可能な範囲を、前記距離画像内で距離の格差の存在する点を抽出し、前記点の近傍を部分画像の中心が移動できないようにし、
前記オブジェクト検出工程は、前記距離画像に対応する入力画像内で位置と大きさを変えて部分画像を移動してスキャンを行うことを特徴とするオブジェクト検出装置の制御方法。
【請求項６】
請求項１〜４の何れか１項に記載のオブジェクト検出装置を構成する手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔などのオブジェクトを検出するオブジェクト検出装置および方法に関する。
【背景技術】
【０００２】
特許文献１に述べられている顔検出方法では、距離画像を作成し、肌色領域画像とエッジ画像を抽出し、距離画像の奥行き情報に応じた輪郭モデルを作成する。そして、輪郭モデルと肌色画像およびエッジ画像との相関によって顔領域を抽出している。
【０００３】
また、特許文献２に述べられているオブジェクト検出方法では、入力画像内で位置と大きさを変えて部分画像が移動する。そして、部分画像が顔であるかどうかを、矩形特徴（弱仮説）との比較によって判定する（弱識別）。弱仮説が正しいかどうかは積分画像法によって計算する。各弱仮説の重み付け係数は予め学習によって獲得しておく。部分画像が顔かどうかは、弱仮説の重み付け多数決で行う（強識別）。
【０００４】
特許文献３に述べられている画像処理方法では、車両の位置と地図データから信号機の位置を参照して、車両から信号機までの距離を算出する。そして、車両前方にある信号機の位置と距離に基づき、大きさを調節したテンプレートで信号機を検出する。
【特許文献１】特開２００２−２１６１２９号公報
【特許文献２】ＵＳ７０９９５１０号公報
【特許文献３】特開２００７−００４２５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１では、距離画像と肌色によって顔領域を抽出しているが、実際の肌色は曖昧なので正確な顔領域の抽出は難しい。この方法だと目や口のなどのある程度位置と大きさの決まっている特徴からなるオブジェクトの検出には向いていない。
【０００６】
また、特許文献２では、入力画像の全領域で位置と大きさを変えて部分画像を移動しているので、計算量が多くなる。
【０００７】
また、特許文献３による方法では、人間の顔のように様々な位置に存在できて異なるパターンの存在するオブジェクトの検出ができない。
【０００８】
本発明は上述した問題を解決するためになされたものであり、距離画像を用いてオブジェクト検出用の部分画像の取りうる範囲を絞り込むことで、オブジェクトの高速な検出が可能にすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明のオブジェクト検出装置は、入力画像を入力する撮像手段と、前記入力画像に映っている各物体までの距離を測定する測距手段と、前記入力画像に対応する距離画像を作成する距離画像作成手段と、前記距離画像を用いて物体までの距離に応じてオブジェクト検出枠を設定するオブジェクト検出枠設定手段と、前記設定されたオブジェクト検出枠のうち、部分画像としてスキャン可能な領域を設定するスキャン領域設定手段と、オブジェクトの特徴を記憶した辞書と、前記設定された領域を用いてスキャンされた部分画像がオブジェクトであるかどうかを、前記辞書を用いて判定するオブジェクト検出手段とを有し、前記スキャン領域設定手段は、前記部分画像としてスキャン可能な範囲を、前記距離画像内で距離の格差の存在する点を抽出し、前記点の近傍を部分画像の中心が移動できないようにし、前記オブジェクト検出手段は、前記距離画像に対応する入力画像内で位置と大きさを変えて部分画像を移動してスキャンを行うことを特徴とする。
【発明の効果】
【００１０】
本発明では、距離画像を用いてオブジェクト検出用の部分画像の取りうる位置と大きさを絞り込む。その結果、目や口などの位置と大きさの決まっている特徴からなるオブジェクトの高速な検出が可能になる。
【発明を実施するための最良の形態】
【００１１】
＜第１実施形態＞
以下、図面を参照しながら本発明の好適な実施例について説明していく。
【００１２】
図１は、本発明におけるオブジェクト検出装置の構成図である。本実施例では、顔検出機能のついたカメラ（ビデオカメラでもよい）について述べる。本実施例では顔検出について述べるが、顔以外のオブジェクトの検出も同様の方法で行うことが出来る。図１に示すように、オブジェクト検出装置１０は、撮像部１１、測距部１２、距離画像作成部１３、オブジェクト検出枠設定部１４、スキャン領域設定部１５、オブジェクト検出部１６、顔辞書１７、ＣＰＵ１８、ＲＯＭ１９、ＲＡＭ２０から構成されている。
【００１３】
図２は、オブジェクト検出装置１０における顔検出処理の流れ図である。
【００１４】
まず、ステップＳ１０１では、撮像部１１から画像を入力する。入力画像を図３（ａ）に示す。
【００１５】
ステップＳ１０２では、測距部１２を用いて入力画像内に映っている各物体までの距離を測定する。
【００１６】
ステップＳ１０３では、距離画像測定部１３で、各物体までの距離に基づいて、入力画像（図３（ａ））に対応する距離画像（図３（ｂ））を作成する。ここで、距離画像は、レンズ焦点法、ステレオ法、光レーダー法など如何なる方法を用いて作成しても良い。図３（ｂ）の距離画像においては、近くにある物体ほど色が薄く表示している。図３（ｂ）に示すように、撮像部からの距離がほぼ同じとみなされる領域を撮像部から近い順に、Ａ１、Ａ２、Ａ３・・・Ａ１０のように分割する。
【００１７】
ステップＳ１０４において、オブジェクト検出枠設定部１４で、顔を検出するための検出枠を設定する。ここでは、まず図３（ｃ）のように、最も近い領域Ａ１を含む検出枠Ｆｒａｍｅ１を設定する。
【００１８】
ステップＳ１０５において、スキャン領域設定部１５で、距離画像内において距離の格差が存在する点を抽出する。図４（ａ）のように設定した検出枠Ｆｒａｍｅ１内で、一定の間隔で距離画像をスキャンして、領域Ａ１に対して一定値以上の（例えば２０ｃｍ以上の奥行きの）距離の格差が存在する点を抽出する（図４（ｂ））。領域Ａ１に対する距離格差点ＧＰは、図４（ｃ）のようになる。また、非スキャン領域ＮＧは、図４（ｄ）のようになる。
【００１９】
次に、ステップＳ１０６において、スキャン領域設定部１５で、図５（ａ）のように、距離格差点ＧＰの近傍に対して部分画像ＳＷ（図５（ｄ））の非スキャン領域ＮＧを設定する。このときの非スキャン領域の大きさは、対象としている領域ＡＸ（Ｘ＝１，２・・・）内で大きさを変えてスキャンしながら顔検出する部分画像ＳＷ（図５（ｄ））の最小サイズの大きさに設定する。領域Ａ１に対して抽出した全ての距離格差点ＧＰに対して非スキャン領域ＮＧを設定すると、図５（ｂ）のようになる。その結果、領域Ａ１に対して設定した検出枠Ｆｒａｍｅ１内で、顔検出を行う部分画像ＳＷの中心が移動する（図５（ｄ））スキャン領域ＯＫ（スキャン可能な領域）は、図５（ｃ）のようになる。
【００２０】
ステップＳ１０７において、オブジェクト検出部１６で、距離画像に対応する入力画像（図６（ｂ））内で、距離画像から得られたスキャン領域（図６（ａ））を用いて、部分画像ＳＷ（矩形）をスキャンして顔を検出する。図６〜図１０を用いて顔検出について述べる。図６（ｂ）のように、部分画像ＳＷは、その中心がスキャン領域ＯＫ内にあるという条件で、入力画像内に設定した検出枠Ｆｒａｍｅ１内で、位置と大きさを変えて移動する。部分画像ＳＷ（図６（ｂ））が顔であるかどうかは、以下に述べるように、ＵＳ７０９９５１０と同様の方法で判定する。まず、位置と大きさの異なる矩形特徴Ｆｅａｔｕｒｅ（ｉ）（例を図８（ａ）〜（ｄ）に示す）とそれに対応する重み付けの係数Ｃ（ｉ）（図９）とを記憶した顔辞書ＤＩＣ（図９）を用意する。図９の顔辞書ＤＩＣにおいて、矩形特徴Ｆｅａｔｕｒｅ（ｉ）は訓練画像セットを用いた学習によって重要な順に並べられている。まず、部分画像ＳＷ（図６（ｂ））が顔の弱識別の条件を満たしているかどうか積分画像法を用いて判定する。積分画像法では、入力された画像の各点（ｘ，ｙ）に対して、積分画像値、
ＩＩ（ｘ，ｙ）＝∫［０，ｘ］∫［０，ｙ］Ｉ（ｘ，ｙ）ｄｘｄｙ
という値が割り振られる。ここで、Ｉ（ｘ，ｙ）は画像平面上の輝度値である。この積分画像値ＩＩ（ｘ，ｙ）は下記の漸化式によって、各画素の輝度値Ｉ（ｘ，ｙ）のただ一度の参照で計算可能である。
Ｓ（ｘ，ｙ）＝Ｓ（ｘ，ｙ−１）＋Ｉ（ｘ，ｙ）
ＩＩ（ｘ，ｙ）＝ＩＩ（ｘ−１，ｙ）＋Ｓ（ｘ，ｙ）
Ｓ（ｘ，−１）＝０
ＩＩ（−１，ｙ）＝０
【００２１】
ひとたび全画像内のＩＩ（ｘ，ｙ）が計算されると、画像内の任意の矩形領域の平均輝度値は、その各頂点の積分画像値のみから計算可能になる。例えば、図７における矩形領域ＡＣＤＢの平均輝度値Ｍ（ＡＣＤＢ）は、次のようになる。
Ｍ（ＡＣＤＢ）＝（ＩＩ（Ｄ）−ＩＩ（Ｂ）−ＩＩ（Ｃ）＋ＩＩ（Ａ））／｜ＡＣＤＢ｜
【００２２】
次に、図１０の入力画像の部分画像ＳＷにおいて、矩形特長Ｆｅａｔｕｒｅ（ｉ）に対応する白色小矩形領域の平均輝度値から黒色小矩形領域の平均輝度値を引いた値ｆ（ｉ）を積分画像法によって求める。ｆ（ｉ）が一定の閾値条件を満たせば、部分画像ＳＷは顔の弱識別の条件を満たしていると判定して弱識別条件ｈ（ｉ）＝１とし、そうでなければｈ（ｉ）＝０とする。次に、部分画像ＳＷが顔の強識別の条件を満たしているかどうかを判定する。図９の顔辞書には、顔を構成する矩形特徴とそれに対応する係数Ｃ（ｔ）（ｔ＝１〜Ｔ｜Ｔは学習の際に決められる値）とが記憶されている。各弱識別条件ｈ（ｔ）（ｔ＝１〜Ｔ）に対して、次の強識別の条件が成り立てば、図１０の部分画像ＳＷは最終的に顔であると判定する。
Σ［ｔ＝１〜Ｔ］Ｃ（ｔ）×ｈ（ｔ）≧（１／２）×θ×Σ［ｔ＝１〜Ｔ］Ｃ（ｔ）（θは閾値）
【００２３】
ところで、図３（ｃ）のＦｒａｍｅ１は、距離画像を用いて領域Ａ１に対して設定したが、領域Ａ１までのおよその距離と実物の顔の大きさとから領域Ａ１に映っている顔の大きさの範囲は絞られる。領域Ａ１に存在しうる標準的な顔の大きさをＦＳＩＺＥ（Ａ１）とする。すると、図６（ｂ）のＦｒａｍｅ１内の部分画像ＳＷは、ＦＳＩＺＥ（Ａ１）の１／√２倍から√２倍の範囲で１．２の倍率で大きさを変えて移動して顔を検出する。今、入力画像が縦２４０×横３６０ピクセル、部分画像の最小サイズが縦２０×横２０ピクセルであるとする。従来の、ＵＳ７０９９５１０の方法だと、部分画像のとる大きさのレンジはおよそｌｏｇ（２４０／２０）／ｌｏｇ（１．２）である。本実施例では撮像部からの距離によって顔の大きさを推測し、ＦＳＩＺＥ（Ａ１）の１／√２倍から√２倍の範囲で部分画像の大きさを変える。すると、部分画像のとる大きさのレンジはおよそｌｏｇ（２）／ｌｏｇ（１．２）である。すなわち、従来例に比べて、部分画像のとる大きさのレンジはおよそｌｏｇ（２）／ｌｏｇ（２４０／２０）〜０．２９倍になる。また、図５（ｃ）のＦｒａｍｅ１内におけるスキャン領域ＯＫの割合をＰ１（＜１）とすると、Ｆｒａｍｅ１内で顔を検出するための計算量は、０．２９×Ｐ１倍（＜０．２９）になる。
【００２４】
ステップＳ１０８において、次の検出枠があるかどうかを判定し、次の検出枠がある場合は、次の検出枠に対して、ステップＳ１０４〜ステップＳ１０７の処理を行って顔を検出する。本実施例では、図１１（ａ）のように、領域Ａ２に対して検出枠Ｆｒａｍｅ２を設定し、処理を行う。以下同様に、図１１（ｂ）、（ｃ）、（ｄ）のように、領域Ａ３、Ａ４、Ａ５に対して検出枠を設定して顔を検出する。全ての領域Ａ１〜Ａ１０において、顔検出を行った結果は、図１２のようになる。
【００２５】
＜変形例１＞
第１実施形態の図２のＳステップ１０５で、距離の格差の存在する点を抽出する際の走査線の間隔（図４（ａ））はもっと狭くてもよく、最小１ピクセルの間隔で走査して距離の格差の存在する点を抽出してもよい。逆に、距離の格差の存在する点を抽出する際の走査線の間隔（図４（ａ））はもっと広くても良い。
【００２６】
＜変形例２＞
図２のステップＳ１０２の測距と、ステップＳ１０３の距離画像作成は随時行うのではなく、一定の時間間隔（例えば、１０秒、３０秒、６０秒などの間隔）で行っても良い。
【００２７】
＜他の実施形態＞
上述した第１実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００２８】
本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮影装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００２９】
本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、実施形態において図に示したフローチャートに対応したコンピュータ可読のプログラムである。
【００３０】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００３１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【００３２】
プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００３３】
プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの（又は圧縮され自動インストール機能を含むファイル）をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００３４】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。
【００３５】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００３６】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことが可能である。
【図面の簡単な説明】
【００３７】
【図１】本発明におけるオブジェクト検出装置の構成図である。
【図２】顔検出処理の流れ図である。
【図３】（ａ）は、入力画像の図である。（ｂ）は、入力画像に対応する距離画像の図である。（ｃ）は、領域Ａ１に対して検出枠を設定した図である。
【図４】（ａ）は、検出枠内で距離の格差が存在する点を抽出するために走査を行う図である。（ｂ）は、一定の間隔で距離画像をスキャンして検出枠内で距離の格差が存在する点を抽出する図である。（ｃ）は、検出枠内で距離の格差が存在する点を抽出した図である。（ｄ）は、非スキャン領域の図である。
【図５】（ａ）は、距離の格差が存在する点の近傍の非スキャン領域の図である。（ｂ）は、すべての距離の格差が存在する点に対して非スキャン領域を設定した図である。（ｃ）は、最終的に得られたスキャン領域の流れ図である。（ｄ）は、顔を検出する部分画像の中心が移動する図である。
【図６】（ａ）は、距離画像から得られた顔を検出する部分画像の図である。（ｂ）は、入力画像内で顔を検出する部分画像の図である。
【図７】積分画像法を示す図である。
【図８】矩形特徴の図である。
【図９】顔辞書の図である。
【図１０】弱識別の図である。
【図１１】（ａ）〜（ｄ）は、それぞれ、領域Ａ２〜Ａ５に対して検出枠を設定した図である。
【図１２】顔検出結果を表す図である。
【符号の説明】
【００３８】
１１  撮像部
１２  測距部
１３  距離画像作成部
１４  オブジェクト検出枠設定部
１５  スキャン領域設定部
１６  オブジェクト検出部
１７  顔辞書
１８  ＣＰＵ
１９  ＲＯＭ
２０  ＲＡＭ
【図１】
2010108262.tif 000003
【図２】
2010108262.tif 000004
【図３】
2010108262.tif 000005
【図４】
2010108262.tif 000006
【図５】
2010108262.tif 000007
【図６】
2010108262.tif 000008
【図７】
2010108262.tif 000009
【図８】
2010108262.tif 000010
【図９】
2010108262.tif 000011
【図１０】
2010108262.tif 000012
【図１１】
2010108262.tif 000013
【図１２】
2010108262.tif 000014