(57)【特許請求の範囲】
【請求項１】
画像の中の所定のパターンの位置を検出するための処理を行う画像処理装置であって、
画素データを抽出するための複数の窓が一部に配置された複数のテンプレートを記憶するテンプレート記憶手段と、
前記複数のテンプレートの中から選択されたテンプレートにしたがって、前記画像から、前記複数の窓に対応する複数の領域の画素データを抽出する抽出手段と、
前記複数の領域それぞれの画素データを正規化し、その複数の領域それぞれについて、正規化データを出力する正規化手段と、
前記複数の領域それぞれについての正規化データに基づいて、前記所定のパターンの位置を検出する検出手段と
を備え、
前記テンプレートの複数の窓は、そのテンプレートによって検出するパターンに応じた形状に配置されており、
瞳の位置を検出する前記テンプレートでは、前記窓が、
目の形状の瞳の位置と、
前記目の形状の上側の輪郭上の複数の位置と、
前記目の形状の下側に平行に並ぶ、上下方向に延びる複数の線分上の複数の位置と
に配置されている
画像処理装置。
【請求項２】
前記抽出手段は、前記画像から、前記複数の領域それぞれを構成する画素の輝度値を抽出する
請求項１に記載の画像処理装置。
【請求項３】
前記複数の領域それぞれには、複数の画素データが含まれる
請求項１に記載の画像処理装置。
【請求項４】
前記正規化手段は、前記複数の領域それぞれの複数の画素データから、前記複数の領域それぞれを代表する代表値を求める
請求項３に記載の画像処理装置。
【請求項５】
前記正規化手段は、前記複数の領域それぞれの複数の画素データの平均値、前記複数の領域それぞれの複数の画素データの分布範囲の中央の値、または前記複数の領域それぞれの複数の画素データの最大値若しくは最小値を、前記複数の領域それぞれの代表値として求める
請求項４に記載の画像処理装置。
【請求項６】
前記正規化手段は、前記複数の領域それぞれの代表値と、所定の閾値とを比較することで、前記複数の領域それぞれの代表値を１ビットの値に変換する
請求項４に記載の画像処理装置。
【請求項７】
前記所定の閾値を求める閾値算出手段をさらに備える
請求項６に記載の画像処理装置。
【請求項８】
前記閾値算出手段は、前記複数の領域それぞれの代表値の最大値と最小値との差、前記複数の領域それぞれの代表値の平均値、または前記複数の領域それぞれの代表値の分布範囲の中央の値に比例する値を、前記所定の閾値として求める
請求項７に記載の画像処理装置。
【請求項９】
画像の中の所定のパターンの位置を検出するための処理を行う画像処理方法であって、
画素データを抽出するための複数の窓が一部に配置された複数のテンプレートを記憶するテンプレート記憶手段に記憶された複数のテンプレートの中から選択されたテンプレートにしたがって、前記画像から、前記複数の窓に対応する複数の領域の画素データを抽出する抽出ステップと、
前記複数の領域それぞれの画素データを正規化し、その複数の領域それぞれについて、正規化データを出力する正規化ステップと、
前記複数の領域それぞれについての正規化データに基づいて、前記所定のパターンの位置を検出する検出ステップと
を備え、
前記テンプレートの複数の窓は、そのテンプレートによって検出するパターンに応じた形状に配置されており、
瞳の位置を検出する前記テンプレートでは、前記窓が、
目の形状の瞳の位置と、
前記目の形状の上側の輪郭上の複数の位置と、
前記目の形状の下側に平行に並ぶ、上下方向に延びる複数の線分上の複数の位置と
に配置されている
画像処理方法。
【請求項１０】
画像の中の所定のパターンの位置を検出するための処理を行う画像処理装置であって、
入力された光を光電変換し、前記画像を出力する撮像手段と、
画素データを抽出するための複数の窓が一部に配置された複数のテンプレートを記憶するテンプレート記憶手段と、
前記複数のテンプレートの中から選択されたテンプレートにしたがって、前記画像から、前記複数の窓に対応する複数の領域の画素データを抽出する抽出手段と、
前記複数の領域それぞれの画素データを正規化し、その複数の領域それぞれについて、正規化データを出力する正規化手段と、
前記複数の領域それぞれについての正規化データに基づいて、前記所定のパターンの位置を検出する検出手段と
を備え、
前記テンプレートの複数の窓は、そのテンプレートによって検出するパターンに応じた形状に配置されており、
瞳の位置を検出する前記テンプレートでは、前記窓が、
目の形状の瞳の位置と、
前記目の形状の上側の輪郭上の複数の位置と、
前記目の形状の下側に平行に並ぶ、上下方向に延びる複数の線分上の複数の位置と
に配置されている
画像処理装置。
【請求項１１】
前記所定のパターンの位置の検出結果に基づいて、所定の機器を制御する制御手段をさらに備える
請求項１０に記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関し、例えば、画像に表示された所定の物体を検出することができるようにする画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
画像に表示された物体の検出方法については、従来より種々のものが提案されているが、そのうちの１つに、例えば、「音声と画像のディジタル信号処理」、谷荻  著、１９９６年、コロナ社の１２８乃至１３０ページなどに記載されているスリット法がある。
【０００３】
スリット法では、長方形状のスリットが、処理対象の画像の中の所定の位置に配置され、そのスリット内の画素値のヒストグラムの分布が検出される。そして、そのヒストグラム分布を、基準となるヒストグラム分布と比較することなどによって、処理対象の画像に表示された、例えば、人の顔の各部分（例えば、目など）などが検出される。
【０００４】
【発明が解決しようとする課題】
しかしながら、スリット法では、人を撮影するときの照明の位置や明るさが変化すると、得られるヒストグラムの形状も変化し、基準となるヒストグラムの形状からずれるため、そのような場合に対処するのが困難であった。
【０００５】
また、顔の形状、さらには、顔の中の目や、鼻、口などの顔の構成要素の位置、あるいは髪型などには、個人差がある。このため、人によっては、得られるヒストグラムの形状が、基準となるヒストグラムの形状と大きく異なるものとなり、従って、スリット法では、不特定多数の人間に対処することが困難であった。
【０００６】
さらに、スリット法では、空間的に２次元の情報である画像を、スリットを介して観察することで、いわば１次元の情報に変換して評価を行うため、処理対象の画像を回転させた場合や、画像に表示されている人の顔が傾いている場合には、得られるヒストグラムの形状が、基準となるヒストグラムの形状と大きく異なるものとなり、そのような場合に対処することが困難であった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、例えば、個人差や、画像の傾き、照明の変化などによる影響を軽減して、より精度良く、物体の検出等を行うことができるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の第１の側面の画像処理装置は、画像の中の所定のパターンの位置を検出するための処理を行う画像処理装置であって、画素データを抽出するための複数の窓が一部に配置された複数のテンプレートを記憶するテンプレート記憶手段と、前記複数のテンプレートの中から選択されたテンプレートにしたがって、前記画像から、前記複数の窓に対応する複数の領域の画素データを抽出する抽出手段と、前記複数の領域それぞれの画素データを正規化し、その複数の領域それぞれについて、正規化データを出力する正規化手段と、前記複数の領域それぞれについての正規化データに基づいて、前記所定のパターンの位置を検出する検出手段とを備え、前記テンプレートの複数の窓は、そのテンプレートによって検出するパターンに応じた形状に配置されており、瞳の位置を検出する前記テンプレートでは、前記窓が、目の形状の瞳の位置と、前記目の形状の上側の輪郭上の複数の位置と、前記目の形状の下側に平行に並ぶ、上下方向に延びる複数の線分上の複数の位置とに配置されている画像処理装置である。
【０００９】
本発明の第１の側面の画像処理方法は、画像の中の所定のパターンの位置を検出するための処理を行う画像処理方法であって、画素データを抽出するための複数の窓が一部に配置された複数のテンプレートを記憶するテンプレート記憶手段に記憶された複数のテンプレートの中から選択されたテンプレートにしたがって、前記画像から、前記複数の窓に対応する複数の領域の画素データを抽出する抽出ステップと、前記複数の領域それぞれの画素データを正規化し、その複数の領域それぞれについて、正規化データを出力する正規化ステップと、前記複数の領域それぞれについての正規化データに基づいて、前記所定のパターンの位置を検出する検出ステップとを備え、前記テンプレートの複数の窓は、そのテンプレートによって検出するパターンに応じた形状に配置されており、瞳の位置を検出する前記テンプレートでは、前記窓が、目の形状の瞳の位置と、前記目の形状の上側の輪郭上の複数の位置と、前記目の形状の下側に平行に並ぶ、上下方向に延びる複数の線分上の複数の位置とに配置されている画像処理方法である。
【００１０】
本発明の第２の側面の画像処理装置は、画像の中の所定のパターンの位置を検出するための処理を行う画像処理装置であって、入力された光を光電変換し、前記画像を出力する撮像手段と、画素データを抽出するための複数の窓が一部に配置された複数のテンプレートを記憶するテンプレート記憶手段と、前記複数のテンプレートの中から選択されたテンプレートにしたがって、前記画像から、前記複数の窓に対応する複数の領域の画素データを抽出する抽出手段と、前記複数の領域それぞれの画素データを正規化し、その複数の領域それぞれについて、正規化データを出力する正規化手段と、前記複数の領域それぞれについての正規化データに基づいて、前記所定のパターンの位置を検出する検出手段とを備え、前記テンプレートの複数の窓は、そのテンプレートによって検出するパターンに応じた形状に配置されており、瞳の位置を検出する前記テンプレートでは、前記窓が、目の形状の瞳の位置と、前記目の形状の上側の輪郭上の複数の位置と、前記目の形状の下側に平行に並ぶ、上下方向に延びる複数の線分上の複数の位置とに配置されている画像処理装置である。
【００１１】
本発明の第１及び第２の側面においては、画素データを抽出するための複数の窓が一部に配置された複数のテンプレートの中から選択されたテンプレートにしたがって、前記画像から、前記複数の窓に対応する複数の領域の画素データが抽出され、前記複数の領域それぞれの画素データが正規化される。そして、その複数の領域それぞれについて、正規化データが出力され、前記複数の領域それぞれについての正規化データに基づいて、前記所定のパターンの位置が検出される。前記テンプレートの複数の窓は、そのテンプレートによって検出するパターンに応じた形状に配置されており、瞳の位置を検出する前記テンプレートでは、前記窓が、目の形状の瞳の位置と、前記目の形状の上側の輪郭上の複数の位置と、前記目の形状の下側に平行に並ぶ、上下方向に延びる複数の線分上の複数の位置とに配置されている。
【００１４】
【発明の実施の形態】
図１は、本発明を適用した位置検出装置の一実施の形態の構成例を示している。
【００１５】
この位置検出装置においては、例えば、画像に表示された物体の位置が検出されるようになされている。
【００１６】
即ち、フレームメモリ１には、処理対象のディジタル画像データが供給されるようになされており、フレームメモリ１は、その画像データを、例えば、１フレーム単位で記憶するようになされている。
【００１７】
領域抽出部２（抽出手段）は、テンプレート選択部６から供給されるテンプレートにしたがって、フレームメモリ１に記憶された画像から、複数の領域の画素データを抽出し、正規化部３および閾値算出部７に供給するようになされている。さらに、領域抽出部２は、画素データを抽出するときに、テンプレートを、処理対象の画像（フレームメモリ１に記憶された画像）の、どの位置に配置したかを表す位置情報を、位置検出部４に供給するようにもなされている。
【００１８】
正規化部３（正規化手段）は、領域抽出部２から供給される、処理対象の画像から抽出された複数の領域それぞれの画素データを正規化し、その複数の領域それぞれについて、正規化データを、位置検出部４に供給するようになされている。即ち、領域抽出部２からの複数の領域それぞれは、複数の画素データを有しており、正規化部３は、その複数の領域それぞれの複数の画素データから、複数の領域それぞれを代表する代表値を求める。さらに、正規化部３は、複数の領域それぞれを代表する代表値を、閾値計算部７から供給される所定の閾値と比較することで、例えば、１ビットの正規化データとし、位置検出部４に供給する。
【００１９】
位置検出部４（検出手段）は、正規化部３から供給される、複数の領域それぞれについての正規化データに基づいて、処理対象の画像の中の所定のパターンの位置を検出するようになされている。即ち、位置検出部４には、上述したように、正規化部３から、処理対象の画像の中の複数の領域それぞれについての正規化データが供給されるとともに、領域抽出部２から、位置情報が供給される他、テンプレート選択部６から、領域抽出部２で用いられたテンプレートの種類を表す選択情報が供給されるようにもなされている。そして、位置検出部４は、テンプレート選択部６からの選択情報に基づいて、検出用パターン記憶部８から、所定の検出用パターンを読み出し、その検出用パターンと、正規化部３からの正規化データのパターンとを比較する。さらに、位置検出部４は、その比較結果に基づいて、領域抽出部２からの位置情報に対応する、処理対象の画像の中の位置に、所定のパターンが存在するかどうかを判定し、その判定結果にしたがって、処理対象の画像に表示された物体の位置を検出するようになされている。
【００２０】
テンプレート記憶部５は、処理対象の画像から、種々のパターンに対応する領域の画素データをそれぞれ抽出するための複数のテンプレートを記憶している。テンプレート選択部６は、テンプレート記憶部５に記憶された複数のテンプレートの中から、あらかじめ設定された種類のパターンのテンプレートを選択し、領域抽出部２に供給するようになされている。また、テンプレート選択部６は、選択したテンプレートの種類を表す選択情報を、位置検出部４に供給するようにもなされている。閾値計算部７（閾値算出手段）は、領域抽出部２からの、処理対象の画像から抽出された複数の領域それぞれの画素データに基づいて、正規化部３において正規化データを求めるのに用いる所定の閾値を算出し、正規化部３に供給するようになされている。検出用パターン記憶部８は、位置検出部４において物体の位置を求めるのに用いる、正規化データの、いわば基準のパターンを表す検出用パターンを、テンプレート記憶部５に記憶されたテンプレートごとに記憶している。
【００２１】
次に、図２のフローチャートを参照して、その動作について説明する。
【００２２】
フレームメモリ１に、処理対象の画像データが供給されると、フレームメモリ１では、ステップＳ１において、その画像データが記憶される。ここで、例えば、いま、図３（Ａ）に示すような、大小２種類の円が表示された画像が、フレームメモリ１に記憶されたとし、この画像から、大きい円または小さい円のうちの、例えば、小さい円の位置を検出するものとする。なお、ここでは、フレームメモリ１に供給される画像が、グレースケールで表現されているものとし、円が表示されている部分は、他の部分と比較して輝度が低いものとする（このように仮定しても、処理の一般性は失われるものではない）。
【００２３】
フレームメモリ１に、例えば、１フレーム分の画像データが記憶されると、ステップＳ２に進み、テンプレート選択部６は、あらかじめ設定された種類のテンプレートを、テンプレート記憶部５に記憶されているテンプレートの中から選択し、領域抽出部２に供給するとともに、その選択したテンプレートの種類を表す選択情報を、位置検出部４に供給する。即ち、いまの場合、図３（Ａ）に示した大小の円のうちの小さい円の位置を検出するため、テンプレート選択部６では、例えば、図３（Ｂ）に示すような、その小さい円と同一の形状をした窓を中心に配置し、さらに、その中心に配置した窓の周りに、それと同一形状の８個の窓を、比較的密に配置して正方形（正四角形）状にしたテンプレートが選択され、領域抽出部２に供給されるとともに、そのテンプレートに対応する選択情報が、位置検出部４に供給される。
【００２４】
領域抽出部２は、テンプレート選択部６からテンプレートを受信すると、ステップＳ３において、そのテンプレートにしたがって、フレームメモリ１に記憶された画像から、複数の領域の画素データを抽出する。即ち、ステップＳ３では、領域抽出部２において、テンプレート選択部６からのテンプレートが、例えば、図３（Ｃ）に示すように、フレームメモリ１に記憶された画像の左上などの所定の位置に配置され、そのテンプレートのパターンに対応する複数の領域の画素データが抽出される。具体的には、例えば、図３（Ｃ）に示すように、フレームメモリ１に記憶された画像の左上に配置されたテンプレートの９個の窓（ここでは、上述したように、位置を検出する小さい円と同一形状の窓）それぞれから見える画像の領域を構成する画素データが抽出される。
【００２５】
さらに、ステップＳ３では、領域抽出部２において、テンプレートにしたがって抽出された複数の領域、即ち、ここでは、図３（Ｂ）に示したテンプレートが有する窓の個数に等しい９個の領域の画素データが、正規化部３および閾値計算部７に供給されるとともに、テンプレートが配置された、処理対象の画像上の位置を表す位置情報（例えば、図３（Ｂ）のテンプレートの中央の窓である円の中心の位置など）が、位置検出部４に供給され、ステップＳ４に進む。
【００２６】
ステップＳ４では、閾値計算部７において、所定の閾値が求められる。即ち、閾値計算部７は、まず、領域抽出部２からの複数の領域それぞれの画素データを代表する代表値を算出する。具体的には、閾値計算部７は、ある領域に注目した場合に、その領域の複数の画素データの、例えば、平均値を、その代表値として算出する（なお、領域が１の画素データしか有しない場合は、例えば、その１の画素データがそのまま代表値とされる）。さらに、閾値計算部７は、例えば、複数の領域それぞれの代表値の最大値または最小値を、それぞれＶmaxまたはＶminとすると、（Ｖmax−Ｖmin）／２を、所定の閾値εとして算出する。この閾値εは、正規化部３に供給される。
【００２７】
正規化部３は、領域抽出部２から複数の領域の画素データを受信するとともに、閾値計算部７から閾値εを受信すると、ステップＳ５において、複数の領域の画素データを、１の１ビットの値に正規化する。即ち、正規化部３は、例えば、上述の閾値計算部７と同様にして、領域抽出部２からの複数の領域についての代表値を計算する。なお、正規化部３と閾値計算部７とでは、異なる手法で代表値を計算することが可能である。上述した手法以外の手法による代表値の計算については、後述する。
【００２８】
正規化部３は、複数の領域それぞれについての代表値を求めると、その代表値を、閾値計算部７から供給される所定の閾値と比較することで、１ビットの正規化データとする。即ち、正規化部３は、複数の領域それぞれの代表値と、閾値εとを比較し、代表値の方が閾値εより大きい場合（以上の場合）、その代表値を、０または１のうちの、例えば１とし、代表値が閾値ε以下である場合（未満である場合）、その代表値を０とする。そして、正規化部３は、複数の領域それぞれについての１ビットの正規化データを、位置検出部４に出力する。
【００２９】
位置検出部４では、ステップＳ６において、正規化部３から供給される、複数の領域それぞれについての正規化データに基づいて、処理対象の画像の中の所定のパターンの位置が検出される。即ち、位置検出部４は、テンプレート選択部６からの選択情報に基づいて、検出用パターン記憶部８から、所定の検出用パターンを読み出す。具体的には、位置検出部４は、例えば、図３（Ｂ）に示すようなテンプレートを表す選択情報を受信した場合、例えば、図３（Ｄ）に示すような、図３（Ｂ）のテンプレートと同一パターンの９個の窓を有し、中心の窓に割り当てられた値が０で、他の窓に割り当てられた値が１の検出用パターンを読み出す。
【００３０】
さらに、位置検出部４は、複数の領域それぞれについての正規化データと、検出用パターンの、対応する窓に割り当てられた値とを比較する。そして、位置検出部４は、それらがすべて一致している場合のみ、領域抽出部４からの位置情報を、位置の検出結果として出力し、そうでない場合は、領域抽出部４からの位置情報を破棄する。
【００３１】
ここで、図３（Ａ）の画像では、上述したように、円が表示されている部分は、他の部分と比較して輝度が低くなっている。従って、図３（Ｂ）に示したテンプレートの９個の窓のうちの中心の窓の位置が、図３（Ａ）の画像に表示された小さな円の位置に一致した場合のみ、図３（Ｂ）のテンプレートにしたがって抽出される９個の領域の正規化データは、一般に、図３（Ｄ）に示すように、テンプレートの中心の窓に対応する領域については１になり、その他の領域については０となるから、正規化データがそのようになるときのテンプレートの位置は、図３（Ａ）の画像に表示された小さな円の位置に一致することになる。
【００３２】
ステップＳ６の処理後は、ステップＳ７に進み、フレームメモリ１に記憶された画像のすべての領域について、ステップＳ３乃至Ｓ６の処理を行ったかどうかが判定される。ステップＳ７において、フレームメモリ１に記憶された画像のすべての領域について、まだ処理を行っていないと判定された場合、例えば、図３（Ｃ）に矢印で示すように、テンプレートの位置が、現在位置から、例えば、１画素分だけラインスキャン順に移動され、ステップＳ３に戻り、以下、同様の処理が繰り返される。
【００３３】
また、ステップＳ７において、フレームメモリ１に記憶された画像のすべての領域について処理を行ったと判定された場合、処理を終了する。
【００３４】
次に、図３においては、大小２種類の円が表示された画像から、小さい円の位置を検出するようにしたが、その他、例えば、異なる形状および大きさの図形が表示された画像から、所定の大きさの図形の位置を検出することも可能である。
【００３５】
即ち、例えば、図４（Ａ）に示すような大小の円や、正方形、八角形、ハート型が表示された画像から、小さな図形だけを検出する場合には（図４（Ａ）の画像も、図３（Ａ）における場合と同様にグレースケールで表現されているものとし、図形が表示されている部分は、他の部分と比較して輝度が低いものとする）、例えば、図４（Ｂ）に示すように、その小さな図形よりも幾分小さい円形状をした窓を中心に配置し、さらに、その中心に配置した窓の周りに、それと同一形状の窓を、疎らに８個配置して正方形（正四角形）状にしたテンプレートを用いる。さらに、この場合も、図４（Ｂ）のテンプレートを、図４（Ａ）の画像に対して、図４（Ｃ）に矢印で示すように、ラインスキャン順に移動しながら、そのテンプレートにしたがって、複数の領域それぞれの画素データを抽出し、正規化データを求める。そして、複数の領域それぞれの正規化データ、即ち、いまの場合、図４（Ｂ）のテンプレートにしたがって抽出された９個の領域の正規化データが、図４（Ｄ）に示すようなパターン（中心の窓に０、他の窓の１が割り当てられた検出用パターン）に一致すれば、そのときのテンプレートの位置が、図４（Ａ）に示した画像に表示された大小の図形のうちの小さな図形の位置に一致することになる。
【００３６】
次に、例えば、図５（Ａ）に示すような人の顔が表示された画像から、瞳や、鼻の穴、軽くあけた口などの、比較的、小さな円形状に近い、輝度の低い部分だけを検出する場合には（図５（Ａ）の画像も、図３（Ａ）における場合と同様にグレースケールで表現されているものとする）、例えば、図５（Ｂ）に示すように、その小さな円形状をした窓を中心に配置し、さらに、その中心に配置した窓の周りに、それと同一形状の窓を、疎らに８個配置してひし形状にしたテンプレートを用いる。さらに、この場合も、図５（Ｂ）のテンプレートを、図５（Ａ）の画像に対して、図５（Ｃ）に矢印で示すように、ラインスキャン順に移動しながら、そのテンプレートにしたがって、複数の領域それぞれの画素データを抽出し、正規化データを求める。そして、複数の領域それぞれの正規化データ、即ち、いまの場合、図５（Ｂ）のテンプレートにしたがって抽出された９個の領域の正規化データが、図５（Ｄ）に示すような検出用パターンに一致すれば、そのときのテンプレートの位置が、図５（Ａ）に示した画像に表示された瞳や、鼻の穴、軽くあけた口などの、比較的、小さな円形状に近い、輝度の低い部分の位置に一致することになる。
【００３７】
次に、例えば、図５（Ａ）と同様の図６（Ａ）に示すような人の顔が表示された画像から、瞳だけを検出する場合には（図６（Ａ）の画像も、図３（Ａ）における場合と同様にグレースケールで表現されているものとする）、瞳の大きさと同程度の大きさの円形状をした窓を、例えば、図６（Ｂ）に示すように配置したテンプレートを用いる。さらに、この場合も、図６（Ｂ）のテンプレートを、図６（Ａ）の画像に対して、図６（Ｃ）に矢印で示すように、ラインスキャン順に移動しながら、そのテンプレートにしたがって、複数の領域それぞれの画素データを抽出し、正規化データを求める。そして、複数の領域それぞれの正規化データ、即ち、いまの場合、図６（Ｂ）のテンプレートにしたがって抽出された正規化データが、図６（Ｄ）に示すような検出用パターンに一致すれば、そのときのテンプレートの位置が、図６（Ａ）に示した画像に表示された瞳の位置に一致することになる。即ち、人が表示された画像では、その人の目の下の部分は、比較的に、輝度が高く、安定（輝度変化が小さい）していることが多い。このため、図６（Ｂ）に示すようなテンプレートと、図６（Ｄ）に示すような検出用パターンとを用いることで、人が表示された画像から、比較的精度良く、瞳の位置を検出することができる。
【００３８】
次に、図７は、本発明を適用したカメラシステム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。このカメラシステムにおいては、被写体である人の、例えば、瞳の位置が、常時、フレームの所定の位置に表示されるようになされている。
【００３９】
即ち、ビデオカメラ１１（撮像手段）では、被写体である人からの光が光電変換され、その人が表示された画像信号とされる。この画像信号は、Ａ／Ｄ（Analog/Digital）変換器１２に供給され、Ａ／Ｄ変換されることにより、ディジタル画像データとされ、位置検出装置１３に供給される。位置検出装置１３は、図１に示した位置検出装置と同様に構成されており、Ａ／Ｄ変換器１２からの画像データから、被写体である人の瞳の位置を検出し、その位置を表す位置情報を、制御部１４に供給する。制御部１４（制御手段）は、位置検出装置１３からの位置情報が、所定の位置を表すようになるように、パン／チルト機構１５を制御する。パン／チルト機構１５では、制御部１４の制御にしたがい、ビデオカメラ１１が出力する画像に表示された人の瞳が、所定の位置に一致するように、ビデオカメラ１１がパンニングまたはチルティングされる。
【００４０】
以上のように、テンプレートに形成された複数の窓にしたがって、画像から、複数の領域それぞれの画素データを抽出し、位置の検出に用いるようにしたので、テンプレートの窓どうしの間にある画素データは、位置の検出に関して、いわば不感帯となり（位置の検出に影響を及ぼさなくなり）、個人差や、姿勢の違い、照明の変化などによる悪影響を軽減した、そのような要因に対する耐性の高い位置検出が可能となる。さらに、不感帯の画素データは、演算に用いられないから、演算時間の短縮化を図ることができる。
【００４１】
また、複数の領域それぞれについて、連続した値をとる代表値を、閾値εによって、いわば量子化した正規化データに変換し、さらに、その正規化データのパターンに基づいて、位置の検出を行うようにしたので、やはり、個人差や、姿勢の違い、照明の変化などによる悪影響を軽減した、そのような要因に対する耐性の高い位置検出が可能となる。
【００４２】
なお、テンプレートのパターン（テンプレートに形成される窓のパターン）は、上述したものに限定されるものではない。ここで、個人差や姿勢の違いなどは、テンプレートに形成された窓どうしの間隔等を調整することによって吸収すること（個人差や姿勢の違いなどの影響を受けにくくすること）が可能である。
【００４３】
また、本実施の形態では、瞳などの物体の位置を検出するようにしたが、物体の位置を検出することができれば、例えば、膨張処理などを行うことで、その物体が表示された領域も抽出することができる。従って、本発明は、画像に表示された物体の位置だけでなく、領域を検出する場合にも適用可能である。さらに、本発明は、画像に表示された物体の位置の他、画像に表示された模様などの所定のパターンの位置を検出する場合にも適用可能である。
【００４４】
また、本実施の形態では、テンプレートにしたがって抽出されたある領域の複数の画素データの平均値を、その領域の代表値とするようにしたが、その他、例えば、その領域の複数の画素データの分布範囲の中央の値（複数の画素データを、例えば、昇順に並べた場合に、その中央に位置する値（中央に位置する値が、２つ存在する場合には、それらのうちのいずれか一方や平均値など））や、複数の画素データの最大値若しくは最小値などを、代表値として用いることが可能である。
【００４５】
さらに、本実施の形態では、複数の領域それぞれの代表値の最大値または最小値を、それぞれＶmaxまたはＶminとするとき、（Ｖmax−Ｖmin）／２を、所定の閾値εとして用いるようにしたが、その他、例えば、（Ｖmax−Ｖmin）／２以外の、複数の領域それぞれの代表値の最大値Ｖmaxと最小値Ｖminとの差に比例する値や、複数の領域それぞれの代表値の平均値Ｖaveに比例する値、または複数の領域それぞれの代表値の分布範囲の中央の値Ｖmedに比例する値などを、閾値として用いることが可能である。具体的には、例えば、３×（Ｖmax−Ｖmin）／４や、Ｖave／２，Ｖmed／２などの、式Ｎ×（Ｖmax−Ｖmin）／２Nや、Ｎ×Ｖave／２N，Ｎ×Ｖmed／２Nで表現可能な値などを、閾値として用いることが可能である（但し、Ｍ，Ｎは正の整数）。
【００４６】
また、本実施の形態では、処理の対象とする画像がグレースケールで表現されるものとしたことから、画素データとしては、輝度値を用いることとなるが、その他、画素データとしては、色差信号の色信号を用いることも可能である。
【００４７】
さらに、本実施の形態では、テンプレートを、ラインスキャン順に移動していくようにしたが、テンプレートの移動のさせ方は、ラインスキャン順に限定されるものではない。
【００４８】
また、本実施の形態では、１フレームの空間方向に分布する画素データを抽出するためのテンプレートを用いるようにしたが、テンプレートとしては、その他、例えば、時間方向に分布する画素データも抽出するようなものを用いることが可能である。即ち、例えば、図８に示すように、注目しているフレームを、第Ｎフレームとして、第Ｎフレームの他に、その前後の第Ｎ−１フレームおよび第Ｎ＋１フレームから、画素データを抽出するテンプレートを用いることが可能である。
【００４９】
【発明の効果】
本発明の第１及び第２の側面によれば、例えば、個人差や、画像の傾き、照明の変化等による影響を軽減して、より精度良く、物体の検出等を行うことが可能となる。特に、人が表示された画像から、比較的精度良く、瞳の位置を検出することができる。
【図面の簡単な説明】
【図１】本発明を適用した位置検出装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の位置検出装置の処理を説明するためのフローチャートである。
【図３】図１の位置検出装置の処理を説明するための図である。
【図４】図１の位置検出装置の処理を説明するための図である。
【図５】図１の位置検出装置の処理を説明するための図である。
【図６】図１の位置検出装置の処理を説明するための図である。
【図７】本発明を適用したカメラシステムの一実施の形態の構成例を示すブロック図である。
【図８】空間および時間の両方向に分布するテンプレートを示す図である。
【符号の説明】
１  フレームメモリ，  ２  領域抽出部（抽出手段），  ３  正規化部（正規化手段），  ４  位置検出部（検出手段），  ５  テンプレート記憶部，  ６  テンプレート選択部，  ７  閾値計算部（閾値算出手段），  ８  検出用パターン記憶部，  １１  ビデオカメラ（撮像手段），  １２  Ａ／Ｄ変換器，  １３位置検出装置，  １４  制御部（制御手段），  １５  パン／チルト機構
【図１】
0004264599.tif 000002
【図２】
0004264599.tif 000003
【図３】
0004264599.tif 000004
【図４】
0004264599.tif 000005
【図５】
0004264599.tif 000006
【図６】
0004264599.tif 000007
【図７】
0004264599.tif 000008
【図８】
0004264599.tif 000009