(57)【特許請求の範囲】
【請求項１】
２つの撮像系によって同一タイミングで撮影された第１画像及び第２画像に映り込んだ検出対象を検出する検出装置であって、
前記第１画像及び前記第２画像から、第１積分画像及び第２積分画像を算出する積分画像算出手段と、
前記第１積分画像及び前記第２積分画像から、第１単位画像及び第２単位画像によって構成される単位画像ペアを取得する手段であって、単位画像の切り取り位置を順次ずらして、互いに切り取り位置の異なる複数の単位画像ペアを取得する取得手段と、
Ｎ個（Ｎは、２以上の自然数）の設定領域のそれぞれの単位画像内における位置及びサイズ、並びに、各設定領域が前記第１単位画像及び前記第２単位画像の内のいずれに設定されるかを示す設定画像情報によって定義される、Ｍ（Ｍは、２以上の自然数）個の交差領域パターンのそれぞれを、各単位画像ペアに対して設定する設定手段と、
前記設定手段によって交差領域パターンが設定された各画像領域における特徴量を算出し、当該算出された特徴量から、各交差領域パターンに関する総合特徴量を算出する特徴量算出手段と、
前記Ｍ個の交差領域パターンのそれぞれに関する総合特徴量と、複数の弱識別器から構成され且つ各弱識別器が前記Ｍ個の交差領域パターンのいずれかと対応する強識別器とに基づいて、前記検出対象を検出する検出手段と、
を具備する検出装置。
【請求項２】
前記設定手段は、入力される複数のサンプル単位画像ペアのそれぞれに対して、Ｋ（Ｋは、Ｍ以上の自然数）個の交差領域パターンから構成される交差領域パターングループを設定し、
前記特徴量算出手段は、前記設定手段によって設定された前記交差領域パターングループを構成する交差領域パターンが設定された各画像領域における特徴量を算出し、当該算出された特徴量から、各交差領域パターンに関する総合特徴量を算出し、
前記Ｋ個の交差領域パターンのそれぞれに関する総合特徴量と、前記交差領域パターングループを構成する各交差領域パターンに対応する弱識別器候補とに基づいて、前記弱識別器を決定する決定手段、をさらに具備する、
請求項１に記載の検出装置。
【請求項３】
前記特徴量算出手段は、前記算出された特徴量を用いて代数演算することにより、前記総合特徴量を算出する、
請求項１又は請求項２に記載の検出装置。
【請求項４】
２つの撮像系によって同一タイミングで撮影された第１画像及び第２画像に映り込んだ検出対象を検出する検出方法であって、
前記第１画像及び前記第２画像から、第１積分画像及び第２積分画像を算出する積分画像算出ステップと、
前記第１積分画像及び前記第２積分画像から、第１単位画像及び第２単位画像によって構成される単位画像ペアを取得するステップであって、単位画像の切り取り位置を順次ずらして、互いに切り取り位置の異なる、複数の単位画像ペアを取得する取得ステップと、
Ｎ個（Ｎは、２以上の自然数）の設定領域のそれぞれの単位画像内における位置及びサイズ、並びに、各設定領域が前記第１単位画像及び前記第２単位画像の内のいずれに設定されるかを示す設定画像情報によって定義される、Ｍ（Ｍは、２以上の自然数）個の交差領域パターンのそれぞれを、各単位画像ペアに対して設定する設定ステップと、
前記設定ステップによって交差領域パターンが設定された各画像領域における特徴量を算出し、当該算出された特徴量から、各交差領域パターンに関する総合特徴量を算出する特徴量算出ステップと、
前記Ｍ個の交差領域パターンのそれぞれに関する総合特徴量と、複数の弱識別器から構成され且つ各弱識別器が前記Ｍ個の交差領域パターンのいずれかと対応する強識別器とに基づいて、前記検出対象を検出する検出ステップと、
を具備する検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出装置及び検出方法に関し、特に２つの撮像系によって同一タイミングで撮影されたステレオ画像を用いて検出対象を検出する検出装置及び検出方法に関する。
【背景技術】
【０００２】
視線検出や表情検出などにおいて瞳孔中心の検出を行なう際、照度が低い場合に赤目現象が起きることがある。通常の瞳孔検出手法では、画像において瞳孔に対応する部分の輝度がその周辺の輝度に比べて通常低くなることを利用して、瞳孔を検出する。しかしながら、赤目現象が発生すると、瞳孔に対応する画像領域の輝度が高くなる。このため、赤目現象が発生している場合には、通常の瞳孔を対象にした瞳孔検出手法によっては、瞳孔を安定して検出することが困難となる。
【０００３】
この課題に対して、特許文献１に開示されている技術では、積極的に瞳孔全体に赤目現象を発生させる施策をとると共に、撮像タイミングの異なる複数の画像を用いて、瞳孔検出を行なっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2005-182247号公報
【非特許文献】
【０００５】
【非特許文献１】Paul Viola and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, 2001.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した従来技術によっては、瞳孔全体が赤くならず、瞳孔の一部分でしか赤目現象が発生しない場合がある。この場合には、上記した従来技術によっては、赤目現象が発生している「瞳孔の部分領域」しか検出することができない。また、赤目現象が発生する「瞳孔の部分領域」の位置は、視線方向、又は、撮像装置と顔との位置関係等に大きく依存する。従って、赤目現象が発生している「瞳孔の部分領域」を検出できたとしても、この検出結果から瞳孔の中心位置を特定することは困難である。
【０００７】
本発明の目的は、検出対象物体と撮像装置との相対的な位置関係によって検出対象の映り方が大きく異なると共にその映り方が多岐にわたる場合でも、検出対象を安定して検出することができる検出装置及び検出方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の一態様の検出装置は、２つの撮像系によって同一タイミングで撮影された第１画像及び第２画像に映り込んだ検出対象を検出する検出装置であって、前記第１画像及び前記第２画像から、第１積分画像及び第２積分画像を算出する積分画像算出手段と、前記第１積分画像及び前記第２積分画像から、第１単位画像及び第２単位画像によって構成される単位画像ペアを取得する手段であって、単位画像の切り取り位置を順次ずらして、互いに切り取り位置の異なる複数の単位画像ペアを取得する取得手段と、Ｎ個（Ｎは、２以上の自然数）の設定領域のそれぞれの単位画像内における位置及びサイズ、並びに、各設定領域が前記第１単位画像及び前記第２単位画像の内のいずれに設定されるかを示す設定画像情報によって定義される、Ｍ（Ｍは、２以上の自然数）個の交差領域パターンのそれぞれを、各単位画像ペアに対して設定する設定手段と、前記設定手段によって交差領域パターンが設定された各画像領域における特徴量を算出し、当該算出された特徴量から、各交差領域パターンに関する総合特徴量を算出する特徴量算出手段と、前記Ｍ個の交差領域パターンのそれぞれに関する総合特徴量と、複数の弱識別器から構成され且つ各弱識別器が前記Ｍ個の交差領域パターンのいずれかと対応する強識別器とに基づいて、前記検出対象を検出する検出手段と、を具備する。
【０００９】
本発明の一態様の検出方法は、２つの撮像系によって同一タイミングで撮影された第１画像及び第２画像に映り込んだ検出対象を検出する検出方法であって、前記第１画像及び前記第２画像から、第１積分画像及び第２積分画像を算出する積分画像算出ステップと、前記第１積分画像及び前記第２積分画像から、第１単位画像及び第２単位画像によって構成される単位画像ペアを取得するステップであって、単位画像の切り取り位置を順次ずらして、互いに切り取り位置の異なる、複数の単位画像ペアを取得する取得ステップと、Ｎ個（Ｎは、２以上の自然数）の設定領域のそれぞれの単位画像内における位置及びサイズ、並びに、各設定領域が前記第１単位画像及び前記第２単位画像の内のいずれに設定されるかを示す設定画像情報によって定義される、Ｍ（Ｍは、２以上の自然数）個の交差領域パターンのそれぞれを、各単位画像ペアに対して設定する設定ステップと、前記設定ステップによって交差領域パターンが設定された各画像領域における特徴量を算出し、当該算出された特徴量から、各交差領域パターンに関する総合特徴量を算出する特徴量算出ステップと、前記Ｍ個の交差領域パターンのそれぞれに関する総合特徴量と、複数の弱識別器から構成され且つ各弱識別器が前記Ｍ個の交差領域パターンのいずれかと対応する強識別器とに基づいて、前記検出対象を検出する検出ステップと、を具備する。
【発明の効果】
【００１０】
本発明によれば、検出対象物体と撮像装置との相対的な位置関係によって検出対象の映り方が大きく異なると共にその映り方が多岐にわたる場合でも、検出対象を安定して検出することができる検出装置及び検出方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施の形態に係る検出装置の主要構成を示すブロック図
【図２】本発明の一実施の形態に係る検出装置の構成を示すブロック図
【図３】検出装置による検出処理の説明に供するフロー図
【図４】各種の画像の説明に供するイメージ図
【図５】検出装置による学習処理の説明に供するフロー図
【図６】人物を撮影したときの画像の部分画像を示す図
【図７】従来から用いられている特徴の例を示す図
【図８】交差領域パターンの説明に供する図
【発明を実施するための形態】
【００１２】
以下、本発明の一実施の形態について図面を参照して詳細に説明する。
【００１３】
［検出装置の主要構成］
図１は、本発明の一実施の形態に係る検出装置１００の主要構成を示す。図１において、検出装置１００は、積分画像算出部１０４と、単位画像取得部１０５と、交差領域パターン設定部１０６と、特徴量算出部１０７と、検出部１０８とを有する。
【００１４】
積分画像算出部１０４は、２つの撮像系によって同一タイミングで撮影されたステレオ画像である第１画像及び第２画像から、「第１積分画像」及び「第２積分画像」を算出する。「積分画像」とは、ある矩形領域の画素値の総和を効率的に計算するためのデータ構造であり、「integral image」とも呼ばれている。第１の撮像系によって撮影された第１画像から算出された積分画像が「第１積分画像」であり、第２の撮像系によって撮影された第２画像から算出された積分画像を「第２積分画像」である。
【００１５】
単位画像取得部１０５は、第１積分画像及び第２積分画像から、所定のサイズを持つ単位画像を取得する。以降では、第１積分画像から取得される単位画像を「第１単位画像」と呼び、第２積分画像から取得される「第２単位画像」と呼ぶ。すなわち、単位画像取得部１０５は、第１積分画像及び第２積分画像のそれぞれから、第１単位画像及び第２単位画像から成る「単位画像ペア」を取得する。
【００１６】
第１単位画像及び第２単位画像は、それぞれ、同一の撮影対象が映り込んでいる、第１画像及び第２画像における部分画像に対応する。すなわち、第１の撮像系と第２の撮像系との間には視差が存在するので、第１画像及び第２画像に同じ座標系を設定した場合、第１単位画像の座標と第２単位画像の座標との間には、その視差分のズレが生じる。
【００１７】
単位画像取得部１０５は、第１積分画像及び第２積分画像のそれぞれから、単位画像の切り取り位置を順次ずらして、単位画像を取得する。これにより、単位画像取得部１０５は、互いに切り取り位置の異なる、複数の単位画像ペアを取得することができる。
【００１８】
交差領域パターン設定部１０６は、各単位画像ペアに対して、複数の「交差領域パターン」のそれぞれを順次設定する。交差領域パターンは、Ｎ個（Ｎは、２以上の自然数）の領域のそれぞれの単位画像内における位置（つまり、単位画像平面の座標）及びサイズ、並びに、各領域が第１単位画像及び第２単位画像の内のいずれに設定されるかを示す設定画像情報によって定義される。また、１つの交差領域パターンを構成する領域の単位画像平面座標は、他の交差領域パターンを構成する領域の単位画像平面座標と異なっている。
【００１９】
特徴量算出部１０７は、交差領域パターン設定部１０６によって交差領域パターンが設定された各画像領域における特徴量を算出し、当該算出された特徴量から、各交差領域パターンに関する総合特徴量を算出する。
【００２０】
検出部１０８は、複数の交差領域パターンのそれぞれに関する総合特徴量と、複数の弱識別器から構成され且つ各弱識別器が複数の交差領域パターンのいずれかと対応する強識別器とに基づいて、検出対象を検出する。
【００２１】
なお、以下では、撮像対象物が人物の顔であり、また、検出対象が瞳孔中心である場合を例にとり説明する。
【００２２】
［検出装置１００の具体的構成］
図２は、本発明の一実施の形態に係る検出装置１００の構成を示す。図１において、検出装置１００は、第１撮像部１０１と、第２撮像部１０２と、同期部１０３と、積分画像算出部１０４と、単位画像取得部１０５と、交差領域パターン設定部１０６と、特徴量算出部１０７と、検出部１０８と、交差領域パターン設定部１０９と、特徴量算出部１１０と、特徴学習部１１１と、識別器記憶部１１２とを有する。
【００２３】
第１撮像部１０１は、同期部１０３から出力される同期信号を受け取り、当該同期信号に応じたタイミングにおいて、人物の顔を撮影する。第１撮像部１０１によって撮影された画像（単に「第１画像」と呼ぶ）は、積分画像算出部１０４へ出力される。
【００２４】
第１撮像部１０１は、例えば、テレビの上、車のハンドルの上、又は、ダッシュボード上など、顔を容易に撮影できる場所に設置される。また、第１撮像部１０１は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサを備えている。
【００２５】
第２撮像部１０２は、第１撮像部１０１と同様の構成を有する。すなわち、第２撮像部１０２は、同期部１０３から出力される同期信号を受け取り、当該同期信号に応じたタイミングにおいて、人物の顔を撮影する。これにより、第１撮像部１０１及び第２撮像部１０２は、同じタイミングで人物の顔を撮影することができる。
【００２６】
また、第２撮像部１０２は、第１撮像部１０１と所定の距離だけ離れ、且つ、第１撮像部１０１と同じ撮像対象を撮影できる位置に設置される。第２撮像部１０２によって撮影された画像（単に「第２画像」と呼ぶ）は、積分画像算出部１０４へ出力される。すなわち、第１画像と第２画像とは、同一撮影対象が同一タイミングで異なる方向から撮影されたものである。
【００２７】
なお、以下では、撮像された第１画像及び第２画像において、画像横方向がＸ軸、画像縦方向がＹ軸であり、１画素が１座標点であるものとして説明する。
【００２８】
同期部１０３は、第１撮像部１０１及び第２撮像部１０２へ同期信号を出力する。同期部１０３は、例えば、露光開始から終了までに相当する時間だけ、同期信号を出力する。これにより、第１撮像部１０１及び第２撮像部１０２は、同じタイミングで撮影することができる。なお、同期部１０３に対する同期信号出力のトリガ信号は、ユーザの手動で与えられても良いし、自動的に与えられても良い。
【００２９】
以上の第１撮像部１０１、第２撮像部１０２、及び同期部１０３は、例えば、ステレオカメラとして実装され、同期したタイミングで、異なる視点で顔を撮影する。すなわち、上記の通り、第１撮像部１０１と第２撮像部１０２との位置関係は固定であり、撮影の度にその位置関係が変化することはない。
【００３０】
積分画像算出部１０４は、第１画像及び第２画像を入力とし、第１画像及び第２画像のそれぞれから、積分画像を算出する。第１画像から算出された積分画像が第１積分画像であり、第２画像から算出された積分画像が第２積分画像である。
【００３１】
単位画像取得部１０５は、第１積分画像及び第２積分画像から、第１単位画像及び第２単位画像から成る「単位画像ペア」を取得する。
【００３２】
単位画像取得部１０５は、第１積分画像及び第２積分画像のそれぞれから、単位画像の切り取り位置を順次ずらすことにより、互いに切り取り位置の異なる、複数の単位画像ペアを取得する。
【００３３】
交差領域パターン設定部１０６は、各単位画像ペアに対して、複数の「交差領域パターン」のそれぞれを順次設定する。
【００３４】
具体的には、交差領域パターン設定部１０６は、第１の交差領域パターングループを保持している。第１の交差領域パターングループは、Ｍ（Ｍは、２以上の自然数）個の交差領域パターンから構成される。そして、交差領域パターン設定部１０６は、第１の交差領域パターングループの構成パターンの全てが設定されるように、構成パターンを各単位画像ペアに対して順次設定する。
【００３５】
特徴量算出部１０７は、交差領域パターン設定部１０６によって交差領域パターンが設定された各画像領域における特徴量を算出し、当該算出された特徴量から、各交差領域パターンに関する総合特徴量を算出する。
【００３６】
検出部１０８は、第１の交差領域パターングループの各構成パターンに関する総合特徴量と、識別器記憶部１１２に記憶されている、複数の弱識別器から構成される強識別器とに基づいて、検出対象を検出する。強識別器を構成する複数の弱識別器は、第１の交差領域パターングループを構成する複数の交差領域パターンとそれぞれ対応する。すなわち、第１の交差領域パターングループがＭ（Ｍは、２以上の自然数）個の交差領域パターンから構成されるので、強識別器を構成する弱識別器の個数もＭ個である。
【００３７】
交差領域パターン設定部１０９は、学習サンプルである、複数のサンプル単位画像ペアを入力とする。複数のサンプル単位画像ペアには、ポジティブサンプルと、ネガティブサンプルとが含まれる。ポジティブサンプルに分類されるサンプル単位画像ペアは、単位画像の中心に瞳孔中心の画像が映っている第１画像及び第２画像から算出された第１単位画像及び第２単位画像により構成されている。逆に、ネガティブサンプルに分類されるサンプル単位画像ペアは、単位画像の中心以外に瞳孔中心の画像が映っている第１単位画像及び第２単位画像、又は、瞳孔中心の画像が映っていない第１単位画像及び第２単位画像から構成されている。すなわち、ネガティブサンプルに分類されるサンプル単位画像ペアは、瞳孔画像から所定以上の距離だけ離れた部分に対応する単位画像から構成されている。
【００３８】
そして、交差領域パターン設定部１０９は、各サンプル単位画像ペアに対して、複数の「交差領域パターン」のそれぞれを順次設定する。具体的には、交差領域パターン設定部１０９は、第２の交差領域パターングループを保持している。第２の交差領域パターングループは、Ｋ（Ｋは、Ｍ以上の自然数）個の交差領域パターンから構成される。そして、交差領域パターン設定部１０９は、第２の交差領域パターングループの構成パターンの全てが設定されるように、構成パターンを各サンプル単位画像ペアに対して順次設定する。
【００３９】
特徴量算出部１１０は、交差領域パターン設定部１０９によって交差領域パターンが設定された各画像領域における特徴量を算出し、当該算出された特徴量から、各交差領域パターンに関する総合特徴量を算出する。
【００４０】
特徴学習部１１１は、第２の交差領域パターングループを構成するＫ個の交差領域パターンのそれぞれに対応する弱識別器候補を少なくとも１つ生成する。ここで、弱識別器は、例えば、特徴量が所定の閾値以上であれば１、所定の閾値未満では−１を返すような関数として表現される。また、１つの弱識別器は１つの交差領域パターンに対応するので、弱識別器は、Ｎ個（Ｎは、２以上の自然数）の領域のそれぞれの単位画像内における位置（つまり、単位画像平面の座標）及びサイズ、各領域が第１単位画像及び第２単位画像の内のいずれに設定されるかを示す設定画像情報、並びに、所定の閾値によって特定される。
【００４１】
そして、特徴学習部１１１は、Ｋ個の交差領域パターンのそれぞれに関する総合特徴量と、各交差領域パターンに対応する弱識別器候補とに基づいて、「抽出基準」を満たす弱識別器候補を抽出（決定）する。「抽出基準」には、例えば、弱識別器候補がポジティブサンプル及びネガティブサンプルを判定する際の正解率が用いられる。そして、特徴学習部１１１は、抽出基準を満たした弱識別器候補を識別器記憶部１１２に出力する。
【００４２】
識別器記憶部１１２は、特徴学習部１１１から出力された弱識別器候補を、強識別器を構成する弱識別器として記憶する。識別器記憶部１１２は、初期段階であれば、特徴学習部１１１から出力された弱識別器候補を、強識別器を構成する弱識別器として記憶する。一方、既に強識別器を記憶している状態では、識別器記憶部１１２は、弱識別器候補に対応する弱識別器が既に記憶されている場合に、弱識別器候補で既存の弱識別器を上書きする。ここで、強識別器は、例えば、当該強識別器を構成する複数の弱識別器による得点の和を出力する関数として表現される。
【００４３】
［検出装置１００の動作］
以上の構成を有する検出装置１００の動作について説明する。図３は、検出装置１００による検出処理の説明に供するフロー図である。図４は、各種の画像の説明に供するイメージ図である。図３に示す処理フローは、撮影作業の開始と共にスタートする。撮影作業は、ユーザの操作によって開始されても良いし、外的な何らかの信号をトリガとして開始されても良い。
【００４４】
ステップＳＴ１１において、第１撮像部１０１、第２撮像部１０２、及び同期部１０３は、協働して、同じタイミングで異なる視点から顔を撮影し、第１画像及び第２画像を取得する。図４Ａ及び図４Ｆには、第１画像及び第２画像がそれぞれ示されている。具体的には、第１撮像部１０１および第２撮像部１０２としては、例えば、ＣＭＯＳイメージセンサとレンズとを備えたデジタルカメラが想定され、これにより投光器と同期して撮影されるＰＰＭ（Portable Pix Map file format）形式の画像等が、第１撮像部１０１および第２撮像部１０２の中に存在する画像記憶部（例えば、ＰＣのメモリ空間）に一時記憶される。そして、この一時記憶されている画像が、ＰＰＭ形式で積分画像算出部１０４へ出力される。
【００４５】
ステップＳＴ１２において、積分画像算出部１０４は、第１画像及び第２画像のそれぞれから、積分画像を生成する。第１画像から算出された積分画像が第１積分画像であり、第２画像から算出された積分画像が第２積分画像である。図４Ｂ及び図４Ｇには、第１積分画像及び第２積分画像がそれぞれ示されている。
【００４６】
具体的には、第１積分画像及び第２積分画像は、第１画像及び第２画像の各画素に対して式（１）を適用し、この演算結果を各画素の値とすることにより求められる。
【数１】
0005603258.tif 000002
【００４７】
このとき、第１積分画像又は第２積分画像における任意の矩形の輝度値の和Ｄは、式（２）によって高速に求めることができる。
【数２】
0005603258.tif 000003
ただし、Ｄは、左上原点の座標系を持つ画像において、右下の頂点が（ｘ，ｙ）であり、幅Ｗ、高さＬの矩形の輝度値の和である。
【００４８】
ステップＳＴ１３において、単位画像取得部１０５は、第１積分画像及び第２積分画像から、第１単位画像及び第２単位画像から成る「単位画像ペア」を取得する。図４Ｃ及び図４Ｈには、第１単位画像（Ｇ１５１）及び第２単位画像（Ｇ１５２）がそれぞれ示されており、これらが１つの単位画像ペアを構成する。単位画像取得部１０５は、第１積分画像及び第２積分画像から、単位画像の切り取り位置を順次ずらすことにより、互いに切り取り位置の異なる、複数の単位画像ペアを取得する。
【００４９】
第１単位画像及び第２単位画像は、それぞれ、同一の撮影対象が映り込んでいる、第１画像及び第２画像における部分画像に対応する。すなわち、第１の撮像系と第２の撮像系との間には視差が存在するので、第１画像及び第２画像に同じ座標系を設定した場合、第１単位画像の座標と第２単位画像の座標との間には、その視差分のズレが生じる。このズレは、例えばステレオカメラの場合、あらかじめキャリブレーションした結果を用いて、被写体のおよその奥行きから算出される。
【００５０】
ステップＳＴ１４において、交差領域パターン設定部１０６は、第１の交差領域パターングループの構成パターンの全てが設定されるように、構成パターンを各単位画像ペアに対して順次設定する。第１の交差領域パターングループは、Ｍ（Ｍは、２以上の自然数）個の交差領域パターンから構成される。
【００５１】
Ｍ（Ｍは、２以上の自然数）個の交差領域パターンには、構成領域の内の全てが第１単位画像に設定される交差領域パターン、構成領域の内の全てが第２単位画像に設定される交差領域パターン、及び構成領域の内の一部が第１単位画像に設定され且つ残りが第２単位画像に設定される交差領域パターンが含まれる。交差領域パターンの各領域の形状は、積分画像による高速化の効果を得るために矩形であることが好ましいが、これに限定されるものではなく、円、三角形、閉曲線などでも良い。また、交差領域パターンの各領域の形状は、同じでなくても良い。また、交差領域パターンの各領域のサイズは、同じであっても良いし、異なっていても良い。図４Ｅ及び図４Ｊには、領域Ａ１６１及び領域Ａ１６２から構成される交差領域パターンが第１単位画像及び第２単位画像に適用されている様子が示されている。この交差領域パターンに関しては、領域Ａ１６１が第１単位画像に設定され、領域Ａ１６２が第２単位画像に設定されている。また、この交差領域パターンを構成する各領域の形状は、矩形である。図４Ｄ及び図４Ｉには、便宜上、第１単位画像及び第２単位画像に対応する、第１画像及び第２画像の部分画像（Ｇ１７１及びＧ１７２）に、領域Ａ１６１，Ａ１６２が設定されている様子が示されている。
【００５２】
次に、特徴量算出部１０７は、交差領域パターン設定部１０６によって交差領域パターンが設定された各画像領域における特徴量を算出し、各交差領域パターンに関する総合特徴量を算出する。
【００５３】
具体的には、以下のステップＳＴ１５〜１７において、各交差領域パターンに関する総合特徴量に関する算出値が求められる。
【００５４】
ステップＳＴ１５において、特徴量算出部１０７は、交差領域パターン設定部１０６によって交差領域パターンが設定された各画像領域における特徴量（つまり、領域特徴量）を算出する。領域特徴量は、各領域に属する画素の輝度を用いて算出される値であり、例えば、領域内の輝度の総和、平均値、又は中央値などである。ここでは、処理高速化のため、上記Ｄが領域特徴量として用いられる。
【００５５】
ステップＳＴ１６において、特徴量算出部１０７は、ステップＳＴ１５において算出された、各交差領域パターンの領域特徴量を用いて代数演算を行うことにより、各交差領域パターンに関する交差特徴量Ｖを算出する。
【００５６】
各交差領域パターンが構成領域として２つの領域（領域１及び領域２）を有し、領域１についての領域特徴量をＸ、領域２についての領域特徴量をＹとする場合、交差特徴量Ｖは、例えば、次の式のいずれかによって求めることができる。
Ｖ＝（Ｘ＋Ｙ）
Ｖ＝（Ｘ−Ｙ）
Ｖ＝Ｘ／Ｙ
Ｖ＝（Ｘ＋Ｙ）／（Ｘ−Ｙ）
Ｖ＝（Ｘ−Ｙ）／（Ｘ＋Ｙ）
【００５７】
ステップＳＴ１７において、特徴量算出部１０７は、交差特徴量Ｖを量子化することにより、総合特徴量である量子化交差特徴量Ｑを算出する。量子化は、データ処理を高速に行なうために、スカラー値である交差特徴量を、所定の範囲の値を取るビンのいずれかに変換する作業である。ここでの量子化は、例えば、次の式（３）によって行われる。
【数３】
0005603258.tif 000004
ただし、式（３）において、Ｓは、所定の範囲に属するビンの数であり、ｍａｘ（Ｖ）は、Ｖのとりうる最大値、ｍｉｎ（Ｖ）は、Ｖの取りうる最小値である。
【００５８】
ステップＳＴ１８において、検出部１０８は、第１の交差領域パターングループの各構成パターンに関する総合特徴量と、識別器記憶部１１２に記憶されている、複数の弱識別器から構成される強識別器とに基づいて、検出対象である瞳孔中心を探索する。瞳孔中心の探索は、単位画像の中心を瞳孔中心と仮定し、各単位画像に対して、強識別器を適用する。このとき、最も強識別器の得点が高かった単位画像の中心を瞳孔中心として決定する。
【００５９】
図５は、検出装置１００による学習処理の説明に供するフロー図である。
【００６０】
ステップＳＴ２１において、学習サンプルである、複数のサンプル単位画像ペアが交差領域パターン設定部１０９に入力される。
【００６１】
ステップＳＴ２２において、交差領域パターン設定部１０９は、第２の交差領域パターングループの構成パターンの全てが設定されるように、構成パターンを各サンプル単位画像ペアに対して順次設定する。第２の交差領域パターングループは、Ｋ（Ｋは、Ｍ以上の自然数）個の交差領域パターンから構成される。
【００６２】
ステップＳＴ２３において、特徴量算出部１０７は、交差領域パターン設定部１０６によって交差領域パターンが設定された各画像領域における特徴量を算出し、当該算出された特徴量から、各交差領域パターンに関する総合特徴量を算出する。ステップＳＴ２３における処理は、上述のステップＳＴ１５〜１７の処理と同等の処理である。
【００６３】
ステップＳＴ２４において、特徴学習部１１１は、第２の交差領域パターングループを構成するＫ個の交差領域パターンのそれぞれに対応する弱識別器候補を少なくとも１つ生成する。
【００６４】
ステップＳＴ２５において、特徴学習部１１１は、Ｋ個の交差領域パターンのそれぞれに関する総合特徴量と、各交差領域パターンに対応する弱識別器候補とに基づいて、「抽出基準」を満たす弱識別器候補を抽出する。
【００６５】
ステップＳＴ２６において、識別器記憶部１１２は、特徴学習部１１１から出力された弱識別器候補を、強識別器を構成する弱識別器として保存する。
【００６６】
［対比技術］
１ｍ以下のような至近距離から顔を照射し、それを撮影する場合、瞳孔が部分的に光る現象が発生する。この現象の発生態様は、投光器と撮像装置との位置関係、頭部姿勢、眼球方向など多数の要因によって変わる。このため、あらかじめ瞳孔内の光る箇所を容易に推測することは困難である。図６には、人物を撮影したときの画像の部分画像が示されている。図６Ａ〜Ｃは、同一人物を同一環境で撮影した画像である。しかしながら、図６Ａ〜Ｃでは、人物の頭部姿勢又は眼球方向が異なるため、赤目現象の発生箇所又は強度が大きく異なる。また、近赤外線画像で撮影した場合には、白目部分と虹彩部分との輝度差がほとんど無く、虹彩輪郭から瞳孔中心を推定することも困難である。さらに、赤目現象の発生に偏りがある場合、瞳孔の暗い部分と虹彩の輝度差が小さいことが多く、瞳孔輪郭を検出することは難しい。さらに、図６Ｄのように、撮像対象の人物が眼鏡をかけている場合、レンズ反射によって、赤目現象と酷似した円形の反射が発生する場合がある。近赤外線画像では、色相による識別が出来ないため、このようなレンズ反射は、瞳孔として頻繁に誤検出される。
【００６７】
一般的な瞳孔検出手法では、（１）瞳孔輪郭を円又は楕円として画像上を探索するか、又は、（２）目領域の画像を学習させるといったパターン認識によって、瞳孔の検出を行なう。しかし、本発明が取り扱うような赤目現象が部分的に発生する状況では、手法（１）は、輪郭を画像から取得することが難しいため困難であり、手法（２）では、瞳孔の光る箇所及びその強度のパターンが多すぎるため、誤検出が頻発する。
【００６８】
一般的な撮像装置によって撮影された画像から特徴を抽出する場合、図７に示すように、同一画像内の隣接する領域の組み合わせを特徴することが多く、異なる画像間で特徴を生成することはない。これは、異なる画像間においては被写対象の写る位置又は姿勢は異なることが多いので、意味のある特徴を表現することが困難なためである。なお、図７の各特徴（Ｐ２０１−Ｐ２１５）は、白い領域と黒い領域との組み合わせからなる矩形特徴で表現されている。これらの特徴は、Haar-like特徴と呼ばれる（例えば、非特許文献１参照）。図７の各矩形特徴の黒い領域の画素値の合計から白い領域の画素値の合計を引いた値が、特徴量として扱われる。
【００６９】
これに対して、本実施の形態の検出装置１００では、視点の異なる２つの撮像系によって撮影された画像の見え方の違いを特徴として採用する。これにより、従来方式では検出が困難であった部分的に赤目現象が発生した瞳孔とその中心を検出することができる。
【００７０】
具体的には、本実施の形態では、構成領域が異なる積分画像に設定する交差領域パターンも、特徴量の算出に用いられる。このように算出された特徴量を用いることにより、赤目現象発生時の瞳孔のように、撮像装置の位置によって見え方が異なる検出対象でも、高い確率で検出することができる。
【００７１】
詳細には、交差領域パターン設定部１０６は、各単位画像ペアに対して、複数の「交差領域パターン」のそれぞれを順次設定する。そして、特徴量算出部１０７は、交差領域パターン設定部１０６によって交差領域パターンが設定された各画像領域における特徴量を算出し、当該算出された特徴量から、各交差領域パターンに関する総合特徴量を算出する。
【００７２】
図８は、交差領域パターンの説明に供する図である。図８では、便宜上、第１単位画像及び第２単位画像に対応する、第１画像及び第２画像の部分画像（Ｇ３０１及びＧ３０２）に領域候補（Ａ３０３−Ａ３０６）が設定されている。
【００７３】
このような領域候補を用いて交差領域パターンを生成する場合、Ａ３０３及びＡ３０４の領域から構成される交差領域パターン１、Ａ３０３及びＡ３０５の領域から構成される交差領域パターン２、Ａ３０３及びＡ３０６の領域から構成される交差領域パターン３、Ａ３０４及びＡ３０５の領域から構成される交差領域パターン４、Ａ３０４及びＡ３０６の領域から構成される交差領域パターン５、及び、Ａ３０５及びＡ３０６の領域から構成される交差領域パターン６という、６つの交差領域パターンを生成することができる。
【００７４】
図８において、領域Ａ３０３と領域Ａ３０５と、領域Ａ３０４と領域Ａ３０６とには、それぞれ、顔上の同じ箇所が映されている。しかしながら、領域Ａ３０３と領域Ａ３０５とに映されている画像は、ほぼ同じ見え方をするのに対して、領域Ａ３０４と領域Ａ３０６とに映されている画像では、瞳孔部分が異なる見え方をしている。また、領域Ａ３０３と領域Ａ３０４とは、同一の画像上に設定されているのにも拘わらず、一方の画像のみが光っているのに対して、領域Ａ３０５と領域Ａ３０６では、輝度は異なるものの、両方の画像で光る円が存在する。
【００７５】
このように、構成領域の内の一部が第１単位画像に設定され且つ残りが第２単位画像に設定される交差領域パターンを用いて、特徴量を算出することにより、その特徴量には、構成領域の内の全てが同一画像内に設定される交差領域パターンによっては得られない情報を得ることができる。また、本実施の形態では、このような交差領域パターンを基にした特徴量を大量に収集し、学習することによって、赤目現象が発生した瞳孔をパターン認識によって検出することができる。
【００７６】
なお、以上の説明では、特徴量算出部１０７が交差特徴量Ｖを量子化することにより算出される量子化交差特徴量Ｑを用いているが、これに限定されるものではなく、交差特徴量Ｖを総合特徴量として用いても良い。
【００７７】
このように本実施の形態によれば、検出装置１００において、単位画像取得部１０５が、第１積分画像及び第２積分画像のそれぞれから、単位画像の切り取り位置を順次ずらすことにより、互いに切り取り位置の異なる、複数の単位画像ペアを取得する。そして、交差領域パターン設定部１０６が、第１の交差領域パターングループの構成パターンの全てが設定されるように、構成パターンを各単位画像ペアに対して順次設定する。各交差領域パターンは、Ｎ個（Ｎは、２以上の自然数）の領域のそれぞれの単位画像内における位置（つまり、単位画像平面の座標）及びサイズ、並びに、各領域が第１単位画像及び第２単位画像の内のいずれに設定されるかを示す設定画像情報によって定義される。そして、特徴量算出部１０７が、交差領域パターン設定部１０６によって交差領域パターンが設定された各画像領域における特徴量を算出し、当該算出された特徴量から、各交差領域パターンに関する総合特徴量を算出する。そして、検出部１０８が、第１の交差領域パターングループの各構成パターンに関する総合特徴量と、識別器記憶部１１２に記憶されている、複数の弱識別器から構成される強識別器とに基づいて、検出対象を検出する。
【００７８】
こうすることで、視点の異なる２つの撮像系によって撮影された画像の見え方の違いを特徴として採用することができる。これにより、従来方式では検出が困難であった検出対象（例えば、部分的に赤目現象が発生した瞳孔とその中心）を検出することができる。
【００７９】
なお、図２に示した検出装置１００において、積分画像算出部１０４の入力段に、第１画像及び第２画像に対して「前処理」を行う前処理部を設けても良い。「前処理」とは、例えば、第１画像と第２画像に対する平滑化、コントラスト調節、ヒストグラム正規化、ノイズ除去などの処理である。
【００８０】
また、図２に示した検出装置１００においては、交差領域パターン設定部１０６と交差領域パターン設定部１０９とを別の機能部として説明したが、単一の機能部としても良い。同様に、特徴量算出部１０７と特徴量算出部１１０とについても、単一の機能部としても良い。
【００８１】
また、上記各部の機能は、マイクロコンピュータが、制御プログラムを実行して実現されても良い。すなわち、検出装置１００は、制御部であるＣＰＵ、制御プログラムが記録されたＲＯＭ、及びプログラム実行用のＲＡＭ等、撮像装置であるカメラ、投光器、表示・警報装置である表示部を有し、この制御部が検出装置１００の各部の動作を制御しても良い。図２の各部は、制御部が実行する視線方向判定処理をブロックとして明示したものである。
【００８２】
また、検出装置１００は、パーソナルコンピュータ、ＯＡ機器、携帯電話などの情報端末や、自動車、飛行機、船、電車などの移動手段に搭載される情報提供装置として有用である。また、監視、警報装置や、ロボット、映像音響再生装置などの用途にも応用できる。
【産業上の利用可能性】
【００８３】
本発明の検出装置及び検出方法は、検出対象物体と撮像装置との相対的な位置関係によって検出対象の映り方が大きく異なると共にその映り方が多岐にわたる場合でも、検出対象を安定して検出することができるものとして有用である。
【符号の説明】
【００８４】
１００  検出装置
１０１  第１撮像部
１０２  第２撮像部
１０３  同期部
１０４  積分画像算出部
１０５  単位画像取得部
１０６，１０９  交差領域パターン設定部
１０７，１１０  特徴量算出部
１０８  検出部
１１１  特徴学習部
１１２  識別器記憶部
【図１】
0005603258.tif 000005
【図２】
0005603258.tif 000006
【図３】
0005603258.tif 000007
【図４】
0005603258.tif 000008
【図５】
0005603258.tif 000009
【図７】
0005603258.tif 000010
【図６】
0005603258.tif 000011
【図８】
0005603258.tif 000012