(57)【要約】【課題】輝度画像と距離画像とを併用して、物体の位置を、従来よりも精度良く検出可能にする。【解決手段】人の顔についてレンジファインダなどによって距離画像を得て（Ｓ２３１）、その距離画像において鼻の位置を探索する（Ｓ２３２）。一方、距離画像と各座標が対応付けられた輝度画像を得て（Ｓ２３３）、その輝度画像において目の位置を探索する（Ｓ２３４）。そして、目と鼻の相対的な位置関係の情報を参照して、目の位置を最終的に決定する（Ｓ２３５）。【選択図】　図８
2004038531.tif 000002
【特許請求の範囲】
【請求項１】
被写体について、距離画像を得るステップと、
前記被写体について、前記距離画像と各座標が対応付けられた輝度画像を得るステップと、
前記距離画像において、第１の物体の位置を探索するとともに、前記輝度画像において、第２の物体の位置を探索するステップとを備え、
前記探索ステップにおいて、前記第１および第２の物体の相対的な位置関係の情報を参照して、前記第１および第２の物体の少なくともいずれか一方の、２次元位置を決定する
ことを特徴とする物体位置検出方法。
【請求項２】
請求項１において、
前記探索ステップにおいて、
前記第１の物体の探索の結果得られた位置候補に応じて、前記輝度画像における探索領域を絞り込み、
この絞り込まれた探索領域において、前記第２の物体の位置を探索する
ことを特徴とする物体位置検出方法。
【請求項３】
請求項１において、
２次元位置が決定された前記第１および第２の物体の少なくともいずれか一方について、前記距離画像と、決定された２次元位置とを用いて、３次元位置を決定するステップを備えた
ことを特徴とする物体位置検出方法。
【請求項４】
請求項１において、
前記被写体は、人物であり、
前記第１の物体は鼻であり、前記第２の物体は目である
ことを特徴とする物体位置検出方法。
【請求項５】
請求項４において、
目の距離値を、距離画像における頬周辺の距離値を用いて、決定するステップを備えた
ことを特徴とする物体位置検出方法。
【請求項６】
請求項１において、
前記探索ステップにおいて、
前記第１の物体の位置の探索を、前記距離画像と、前記第１の物体の距離値から構成された距離テンプレートとのマッチングによって、行う
ことを特徴とする物体位置検出方法。
【請求項７】
請求項６において、
前記距離画像から、前記被写体の概略距離を算出し、この概略距離と、前記距離画像を撮影したカメラの画角と、前記第１の物体の推定サイズとを基にして、前記距離テンプレートのサイズを決定するステップを備えた
ことを特徴とする物体位置検出方法。
【請求項８】
被写体について、距離画像を取得する距離画像取得部と、
前記被写体について、前記距離画像と各座標が対応付けられた輝度画像を取得する輝度画像取得部と、
前記距離画像において、第１の物体の位置を探索するとともに、前記輝度画像において、第２の物体の位置を探索する探索部とを備え、
前記探索部は、前記第１および第２の物体の相対的な位置関係の情報を参照して、前記第１および第２の物体の少なくともいずれか一方の、２次元位置を決定するものである
ことを特徴とする物体位置検出装置。
【請求項９】
請求項８において、
前記探索部は、
前記第１の物体の探索の結果得られた位置候補に応じて、前記輝度画像における探索領域を絞り込み、
この絞り込まれた探索領域において、前記第２の物体の位置を探索するものである
ことを特徴とする物体位置検出装置。
【請求項１０】
請求項８において、
前記距離画像取得部は、レンジファインダを備えており、
前記レンジファインダは、
複数の光源が配列された光源アレイ部と、
前記光源アレイ部の各光源の発光様態を制御することによって、前記光源アレイ部から、少なくとも２種類の光パタンを投射させる光源制御部と、
前記光源アレイ部から投射された各光パタンに対する前記被写体からの反射光を、それぞれ原輝度画像として撮影するカメラと、
前記カメラによって撮像された原輝度画像から、前記距離画像を得る画像処理部とを備えたものであり、
前記輝度画像取得部は、前記レンジファインダの前記カメラによって撮像された原輝度画像の少なくとも１つから、前記輝度画像を得るものである
ことを特徴とする物体位置検出装置。
【請求項１１】
被写体について、距離画像を得るステップと、
前記距離画像において、物体の位置を探索するステップとを備え、
前記探索ステップにおいて、
前記物体の位置の探索を、前記距離画像と、前記物体の距離値から構成された距離テンプレートとのマッチングによって、行う
ことを特徴とする物体の位置検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像から、人間の目のような特定の物体の位置を検出する技術に属する。
【０００２】
【従来の技術】
近年、様々な技術分野において、人間の目などの顔部品の位置を精度良く検出できることへのニーズが、高まっている。その代表的なものに、生体情報を用いた個人認証（バイオメトリクス個人認証）技術がある。
【０００３】
例えば、虹彩認証では、２カメラ構成の虹彩認識システムが提案されている（特開平１０−４０３８６号公報参照）。このシステムでは、第１のカメラで顔全体を撮影し、撮影された顔画像を解析して目の位置を検出する。次に、第２のカメラを機械的に制御して、検出された目の位置に向けて、虹彩の拡大画像を得る。このシステムでは、被認証者は単に装置の前に立つだけでよいので、認証動作を楽に行うことができる。ただし、目の位置を高精度に検出できることが必要条件となる。
【０００４】
また、顔認証では、通常、顔を含む画像中から目を含む顔の特徴点を検出し、その特徴点を基に顔位置と大きさを正規化した後、顔認証を行っている。このため、顔認証を精度良く行うためには、目を含む顔の特徴点の位置を高精度に検出することが必要条件となる。
【０００５】
個人認証以外の分野でも、例えば、視線検出や居眠り検知などの用途では、目位置を検出する必要がある。
【０００６】
ところで、目位置検出方式の多くは、局所的な目のテンプレートを用いてマッチングを行っているため、目に似た形状の眉や、眼鏡のフレーム、口等を誤って目と認識してしまう可能性が高いという問題がある。
【０００７】
この問題に対して、まず鼻の位置を検出し、鼻の位置から目の探索領域を決定し、その探索領域内から目の位置を検出するという方式が提案されている。すなわち、探索領域を限定することによって、目の誤検出を減らすというものである。例えば、特開２０００−１０５８２９号公報では、鼻画像のテンプレートを用いてマッチングを行い鼻の位置を検出し、鼻の位置よりも上を目の探索領域として設定している。また特開２０００−１９３４２０号公報では、顔の斜め方向から照明を照射して顔画像を撮影し、顔画像中からエッジ情報を利用して鼻筋を検出する。そして鼻筋の上方に、目の探索領域を設定している。
【０００８】
【発明が解決しようとする課題】
ところが、これら従来の方法では、輝度画像における鼻の画像は、照明の方向によって大きく変動するため、鼻の位置を正確に検出するためには、一定の照明環境を必要としていた。このため、精度の高い検出を実現するためには、システムの使用条件が大きく制限されてしまうことになり、あまり汎用的ではない。
【０００９】
前記の問題に鑑み、本発明は、画像から、物体の位置を、従来よりも精度良く、検出できるようにすることを課題とする。
【００１０】
【発明を解決するための手段】
前記の課題を解決するために、請求項１の発明が講じた解決手段は、物体の位置検出方法として、被写体について距離画像を得るステップと、前記被写体について、前記距離画像と各座標が対応付けられた輝度画像を得るステップと、前記距離画像において第１の物体の位置を探索するとともに、前記輝度画像において第２の物体の位置を探索するステップとを備え、前記探索ステップにおいて、前記第１および第２の物体の相対的な位置関係の情報を参照して、前記第１および第２の物体の少なくともいずれか一方の２次元位置を決定するものである。
【００１１】
請求項１の発明によると、距離画像において第１の物体が探索されるとともに、輝度画像において第２の物体が探索される。そして、その両者の相対的な位置関係の情報を参照して、第１および第２の物体の少なくともいずれか一方の位置が最終的に決定される。すなわち、立体形状に特徴があり距離画像で探索が容易な第１の物体と、輝度に特徴があり輝度画像で探索が容易な第２の物体とについて、相対的な位置関係が既知であるとき、高精度に、その位置を検出することができる。
【００１２】
請求項２の発明では、前記請求項１における探索ステップにおいて、前記第１の物体の探索の結果得られた位置候補に応じて前記輝度画像における探索領域を絞り込み、この絞り込まれた探索領域において前記第２の物体の位置を探索するものとする。
【００１３】
請求項２の発明によると、第１の物体の位置候補に応じて、輝度画像における第２の物体の探索領域が絞り込まれるので、輝度画像の探索における処理量を削減することができるとともに、誤検出を減らすことができる。
【００１４】
請求項３の発明では、前記請求項１において、２次元位置が決定された前記第１および第２の物体の少なくともいずれか一方について、前記距離画像と決定された２次元位置とを用いて、３次元位置を決定するステップを備えたものとする。
【００１５】
請求項４の発明では、前記請求項１において、前記被写体は人物であり、前記第１の物体は鼻であり、前記第２の物体は目であるものとする。
【００１６】
請求項５の発明では、前記請求項４において、目の距離値を、距離画像における頬周辺の距離値を用いて決定するステップを備えたものとする。
【００１７】
請求項６の発明では、前記請求項１の探索ステップにおいて、前記第１の物体の位置の探索を、前記距離画像と前記第１の物体の距離値から構成された距離テンプレートとのマッチングによって行うものとする。
【００１８】
請求項７の発明では、前記請求項６において、前記距離画像から前記被写体の概略距離を算出し、この概略距離と、前記距離画像を撮影したカメラの画角と、前記第１の物体の推定サイズとを基にして、前記距離テンプレートのサイズを決定するステップを備えたものとする。
【００１９】
また、請求項８の発明が講じた解決手段は、物体の位置検出装置として、被写体について距離画像を取得する距離画像取得部と、前記被写体について前記距離画像と各座標が対応付けられた輝度画像を取得する輝度画像取得部と、前記距離画像において第１の物体の位置を探索するとともに、前記輝度画像において第２の物体の位置を探索する探索部とを備え、前記探索部は、前記第１および第２の物体の相対的な位置関係の情報を参照して、前記第１および第２の物体の少なくともいずれか一方の２次元位置を決定するものである。
【００２０】
請求項８の発明によると、距離画像において第１の物体が探索されるとともに、輝度画像において第２の物体が探索される。そして、その両者の相対的な位置関係の情報を参照して、第１および第２の物体の少なくともいずれか一方の位置が最終的に決定される。すなわち、立体形状に特徴があり距離画像で探索が容易な第１の物体と、輝度に特徴があり輝度画像で探索が容易な第２の物体とについて、相対的な位置関係が既知であるとき、高精度に、その位置を検出することができる。
【００２１】
請求項９の発明では、前記請求項８における探索部は、前記第１の物体の探索の結果得られた位置候補に応じて前記輝度画像における探索領域を絞り込み、この絞り込まれた探索領域において前記第２の物体の位置を探索するものとする。
【００２２】
請求項１０の発明では、前記請求項８において、前記距離画像取得部は、レンジファインダを備えており、前記レンジファインダは、複数の光源が配列された光源アレイ部と、前記光源アレイ部の各光源の発光様態を制御することによって、前記光源アレイ部から少なくとも２種類の光パタンを投射させる光源制御部と、前記光源アレイ部から投射された各光パタンに対する前記被写体からの反射光をそれぞれ原輝度画像として撮影するカメラと、前記カメラによって撮像された原輝度画像から前記距離画像を得る画像処理部とを備えたものとし、前記輝度画像取得部は、前記レンジファインダの前記カメラによって撮像された原輝度画像の少なくとも１つから前記輝度画像を得るものとする。
【００２３】
また、請求項１１の発明が講じた解決手段は、物体の位置検出方法として、被写体について距離画像を得るステップと、前記距離画像において物体の位置を探索するステップとを備え、前記探索ステップにおいて、前記物体の位置の探索を、前記距離画像と前記物体の距離値から構成された距離テンプレートとのマッチングによって行うものである。
【００２４】
請求項１１の発明によると、距離画像における物体の位置検出を、距離テンプレートを用いたマッチングによって行うので、従来よりも検出精度を向上させることができる。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００２６】
図１は本発明の一実施形態に係る虹彩認証装置の正面図、図２は図１の虹彩認証装置１０によって、その前面に位置する被写体としての人物ＰＰの虹彩認証を行う様子を示す図である。本実施形態では、虹彩認証装置１０内のレンジファインダ装置によって得た人物ＰＰの顔の距離画像から、第１の物体としての鼻ＮＳの位置を探索し、この鼻ＮＳの位置を参照して第２の物体としての目ＥＹの３次元位置を求めて、虹彩認証を行うものとする。
【００２７】
図１および図２に示すように、虹彩認証装置１０は、広角カメラ用照明１０１、広角カメラ１０２および虹彩撮影ユニット１０５を備えている。虹彩撮影ユニット１０５は可動であり、内部に、望遠カメラ用照明１０３および望遠カメラ１０４が固定されている。虹彩撮影ユニット１０５は、望遠カメラ用照明１０３と望遠カメラ１０４の相対位置関係を変えることなく、照明（撮影）する方向を変化させることができる。
【００２８】
本実施形態では、広角カメラ用照明１０１と広角カメラ１０２、およびこれらの制御に係る部分が、被写体の３次元位置を測定するレンジファインダ１００として機能する。図３はこのレンジファインダ１００を含む、本実施形態に係る物体位置検出装置の構成を機能的に示すブロック図である。本実施形態に係る距離画像取得部は、照明１０１，カメラ１０２，光源制御部１０６および画像処理部１０７を有するレンジファインダ１００を備えている。また、画像処理部１０７は、カメラ１０２によって撮像された原輝度画像から、距離画像および輝度画像を得るものであり、距離画像取得部を構成するとともに、輝度画像取得部を構成する。探索部１０８は、距離画像から鼻ＮＳの位置を探索するとともに、輝度画像から目ＥＹの位置を探索し、鼻ＮＳと目ＥＹの相対的な位置関係の情報を参照して、例えば、鼻ＮＳと目ＥＹの相対的な位置関係の事前知識を利用して、目ＥＹの位置を最終的に決定する。
【００２９】
広角カメラ用照明１０１は、光源としてのＬＥＤ１１が複数個配列された光源アレイ部によって構成されている。図１において、各ＬＥＤ１１は○印で表されており、広角カメラ用照明１０１は１１×１１個のＬＥＤ１１によって構成されている。また、広角カメラ１０２はＶＧＡ画素数（横４８０画素×縦６４０画素）を有しており、縦長の視野が得られるように設置される。この広角カメラ１０２によって、図４に示すような人物ＰＰの顔を含む上半身画像が撮影される。
【００３０】
光源制御部１０６は、広角カメラ用照明１０１に対して、ＬＥＤ毎に（例えばアレイの列または行毎に）、ＰＷＭ（Ｐｕｌｓｅ　Ｗｉｄｔｈ　Ｍｏｄｕｌａｔｉｏｎ）によって発光時間を制御することができる。広角カメラ１０２の露出時間内において、発光時間が長いほどのべ光量が大きくなるので、発光時間の制御によって、任意の光パタンの生成が可能となる。
【００３１】
ここでは、行（水平方向）毎に発光時間を制御するものとする。この場合には、光パタンにおいて、図２における垂直方向に変調がかかることになる。また光源制御部１０６は、カメラの露出タイミング（露出時間）に合わせて、２種類の光パタンを切り替える。図５は発光時間の制御によって生成した２種類の光パタンを示す図である。同図中、（ａ）はＬＥＤの発光時間を行番号に従って単調に増加させる光パタンＡであり、（ｂ）はＬＥＤの発光時間を行番号に従って単調に減少させる光パタンＢである。光源制御部１０６は照明１０１から図５のような２種類のパタンを照射させる。
【００３２】
図１および図２に示す虹彩認証装置１０の動作について、図６〜図８のフローチャートに従って、説明する。
【００３３】
まずステップＳ１０において、広角カメラ用照明１０１は図５に示すような２種類の光パタンを照射し、広角カメラ１０２はこの２種類の光パタンに対する反射光画像を原輝度画像としてそれぞれ撮影する。図９は広角カメラ１０２の露出タイミングと広角カメラ用照明１０１から投射される光パタンとの関係を示す図である。画像処理部１０７は、照明１０１から光パタンＡ，Ｂがそれぞれ投射されたときの２枚の原輝度画像から、距離画像を生成する。光源アレイを用いたレンジファインダの距離計測の原理については、特願２００１−２８６６４６に示されており、ここでは説明を省略する。
【００３４】
次にステップＳ２０において、目の３次元位置を計算する。図７はステップＳ２０の詳細を示す。まずステップＳ２１において、人物の奥行き値を推定する。具体的には、画像処理部１０７は、横４８０画素×縦６４０画素の距離画像について、全画素の距離値のヒストグラムを求め、このヒストグラムから、人物ＰＰをカメラ１０２の光軸と垂直な平面と見做した場合の、カメラ１０２からの距離を推定する。
【００３５】
図１０は人物ＰＰがカメラ１０２から約６０ｃｍの距離にいる場合の距離画像から得た距離値ヒストグラムの一例である。図１０において、縦軸は頻度（画素数）、横軸は距離値であり、５ｃｍ毎に階級化している。図１０のデータでは、６０〜６５ｃｍの階級において頻度が最大になっている。
【００３６】
次に、距離画像について、距離値ヒストグラムを参照して二値化を行う。ここで、頻度が最大の階級の下限値と上限値の平均値を、代表値ｄｍとする。図１０の例では、ｄｍ＝６２．５（ｃｍ）となる。そして、距離画像の各座標（距離値ｄ）について、
ｄｍ−ａ＜ｄ＜ｄｍ＋ａ　のとき　“１”
それ以外（計測不能点含む）は、　“０”
のように二値化を行う。ａは所定の値であり、ここではａ＝１０ｃｍとする。
【００３７】
図１１は二値化された距離画像の例である。図１１では、二値化の結果‘１’の領域を白、‘０’の領域を黒で表現している。なお、頭髪、黒色の眼鏡フレーム、目、眉など反射率の小さい領域や、首、衣服のしわ部など影が生じる領域では、距離がうまく測定できないため、二値化の際に背景領域すなわち‘０’に決定されている。
【００３８】
本実施形態では、奥行き値を用いて人物領域の切り出しを行うため、カメラの視野内に複数の人物が映っていても、このような簡易な方法で、距離値を基に人物を抽出することができる。もちろん、他の方法、例えば輝度画像を用いて人物領域の切り出しを行うような方法を採用してもよい。
【００３９】
次にステップＳ２２において、人物の顔領域を推定する。人物の顔領域の推定には、図１１に示したような奥行き二値化画像を用いる。ここで、顔領域は、少なくとも両目と鼻を含む領域と定義する。
【００４０】
まず図１２のように、二値距離データを水平方向に射影し、ヒストグラムＨ１（ｙ）を作成する。そして、ヒストグラムＨ１（ｙ）を用いて、顔領域の上下範囲を決定する。
【００４１】
ここで、図１０のヒストグラムからカメラと人物との間の距離は６２．５（ｃｍ）と推定された。そして、顔の大きさは人物によらず一定であると仮定し、カメラの画角を既知とすれば、画像内における顔の大きさは推定可能である。推定した顔幅をｗ１とすると、顔の上側の境界ｙｔは、ヒストグラムＨ１（ｙ）＞ｗ１×ｂ（例えばｂ＝０．１）を満たす最小のｙと決定することができる。そして、顔の上側の境界ｙｔから、少なくとも鼻全体までが範囲に入るように、顔幅ｗ１の定数倍の距離だけ下方に移動した位置を、顔の下側の境界ｙｂとして決定する。すなわち、
ｙｂ＝ｙｔ＋ｗ１×ｃ　（ｃ＝１．２）
本実施形態では、照明の反射光を用いて距離を測定しているため、髪の毛等の反射率の小さい領域は計測できない。よって、顔の上側の境界ｙｔは、額が広いか狭いか、または、髪の毛が額にかかっているか否かによって、大きく異なる。そこでここでは、定数ｃは頭頂が境界ｙｔと決定された場合でも、顔領域に鼻が含まれるような値に設定した。決定された顔の上下位置を図１３に示す。
【００４２】
なお、目の位置を検出して虹彩認証を行うためには、顔領域は、少なくとも目の位置を含むように設定されればよい。これに対して、本実施形態において、顔領域を、目だけでなく鼻も含まれるように決定したのは、距離画像を用いて鼻位置を検出すれば、眼鼻の位置関係を用いて眼位置の検出精度を向上させることができるからである。また、鼻位置を利用して眼位置の探索領域を絞り込むことができるからである。
【００４３】
次に、顔の左右の位置を決定する。図１４のように、上下位置が決定された顔領域の二値画像を、垂直方向に射影してヒストグラムＨ２（ｘ）を作成する。そして、
Ｈ２（ｘ）＞（ｙｂ−ｙｔ＋１）／３
となる最小のｘを顔の左位置ｘｌとし、
Ｈ２（ｘ）＞（ｙｂ−ｙｔ＋１）／３
を満たす最大のｘを顔の右位置ｘｒとする。このようにして決定された顔領域を図１５に示す。
【００４４】
なお、ここでは、距離画像のみを利用して簡易に顔領域を検出する方法を説明したが、もちろん他の方法でもよい。例えば、後述するような方法によって輝度画像を作成し、輝度画像における顔の平均画像を顔テンプレートとして、輝度画像中から顔領域を探索してもよい。この場合は、顔のテンプレートサイズは、人物までの奥行き値から決定できる。また、輝度画像において、図１１のような距離画像から算出した人物領域のみを探索すればよいため、探索に要する処理量を低減することが可能である。
【００４５】
次にステップＳ２３において、ステップＳ２２で推定した顔領域内から目の３次元位置を推定する。図８はこのステップＳ２３の詳細を示す。
【００４６】
まずステップＳ２３１において、画像処理部１０７は、顔領域の距離画像を取得する。ここでは、図１５に示す距離画像から、顔領域（幅ｆｗ（ｘｌ〜ｘｒ），高さｆｈ（ｙｔ〜ｙｂ））を切り出すものとする。
【００４７】
次にステップＳ２３２において、探索部１０８は、距離画像から鼻位置を探索する。
【００４８】
ここでは、鼻位置の探索のために、距離テンプレートとしての鼻形状のテンプレートを利用する。図１６は鼻形状のテンプレートの一例である。図１６の鼻テンプレートは、正面から測定したＮ（Ｎ＝２０）人の顔の３次元データから鼻領域を手動で切り出し、縦横サイズの正規化および位置合わせを行った後に平均化したものである。図１６では距離値がグレーの濃淡によって表現されており、グレーが濃く輝度が低いほど、カメラに近いことを、グレーがうすく輝度が高いほど、カメラから遠いことを表している。図１６の鼻テンプレートは底辺Ｔｘ，高さＴｙの台形の形状であり、その外接矩形における左上および右上部分の領域は、距離画像が眼鏡等の影響を受けるおそれがあるので、テンプレートとしては採用していない。なお、テンプレートを作成する際の３次元データは、レンジファインダによって得る必要は必ずしもなく、別の手法によって得てもかまわない。
【００４９】
そして、顔領域内で鼻探索領域を決定する。図１７のように、顔領域の水平方向中央に帯状の領域を設定する。ここで、ｒ１の値は実験的に求められ、ここでは０．５とする。本実施形態では、被認証者はカメラのほぼ正面に立ち、カメラに正対することを想定している。この場合は、鼻は必ず顔領域の中心線付近に位置するため、図１７のように帯状の鼻探索領域を設定することによって、探索時間を縮小することができる。もちろん、例えば斜め方向から顔を撮影するような用途では、顔領域の全体から鼻を探索すればよい。
【００５０】
次に顔領域の距離画像から、顔の奥行き値を推定し、推定した奥行き値から鼻テンプレートのサイズＴｘ，Ｔｙを変更する。
【００５１】
まず、ステップＳ２１と同様に距離値のヒストグラムを算出し、最も頻度の高い階級の下限値と上限値との平均値を、顔の奥行き値の推定値とする。ステップＳ２１では、顔、首、体など距離値が異なる領域全体を利用して距離値を推定していたが、ここでは、顔領域の奥行き値を正確に推定するために、顔領域の距離値のみを用い、ヒストグラムの階級の刻み幅もより小さい値にして、再度、距離値の推定を行う。第１の物体の推定サイズとしての鼻の大きさを、人物によらず一定であると仮定して、実世界での大きさに関する事前知識から推定し、距離画像を撮影したカメラの画角を既知とすれば、被写体の概略距離としての顔の奥行き値から、画像内における鼻の大きさが推定可能であり、これにより鼻テンプレートのサイズを決定することができる。推定した顔幅に合わせて、鼻テンプレートのサイズＴｘ，Ｔｙを変更する。そして、距離値を補間することによって、新たな鼻テンプレートを作成する。補間の方法は、線形補間、バイキュービック法、ニアレストネイバー法等を用いることができる。
【００５２】
そして図１７の鼻探索領域内で、サイズを変更した後のテンプレートをマッチングさせ、マッチングスコアが上位の位置を鼻位置の候補として、マッチングスコアとともに保存する。ここでは、マッチングスコアが所定の閾値以上のものを全て候補として残し、その総数をＰ個とする。ここで、鼻位置とは、テンプレートがマッチした領域における所定の座標、例えば、左上の点、中心点、鼻の最も凸である位置などを用いることができる。また、マッチングスコアの指標としては正規化相関を用いたが、例えばユークリッド距離等、他の距離尺度でもかまわない。
【００５３】
ここで、通常のテンプレートマッチングでは、画像中に含まれた探索対象の大きさが分からないので、サイズが異なる複数のテンプレートを用いてマッチングを行い、その中でマッチングスコアが最良のものを検出結果とすることが多い。しかしながら、複数のテンプレートを用いる場合は処理時間が増加してしまう。本実施形態では、距離画像から対象物までの概略距離が得られるため、画像内の対象物の大きさを推定可能である。よって、単一のテンプレートで高速にマッチングを行うことができる。
【００５４】
もちろん、距離が分からない場合でも、図１５のようにニ値化距離画像から検出した顔領域の幅から、テンプレートのサイズを決定することも可能である。ところが、本実施形態のように反射光の強度を用いて距離を測定する場合には、髪の毛の影響を受けて、正確な顔幅を必ずしも検出することができない。すなわち、黒い髪の毛のように反射率が小さい領域の距離は測定できないため、女性に多くあるように、頬に髪の毛がかかっている人物の場合は、検出される顔幅は実際よりも小さくなってしまう。一方、金髪や茶髪のように、反射率が比較的高い髪の場合は、髪の毛の領域も距離が測定できるため、検出される顔幅が実際よりも大きくなってしまう。これに対して、距離値からテンプレートのサイズを決定することによって、髪の毛に左右されないで、安定してテンプレートのサイズを決定することができる。
【００５５】
なお、ここでは、被認証者はカメラのほぼ正面に立ち、カメラに正対することを想定しているので、単一形状の鼻テンプレートを用いた。これに対して、斜め方向から顔を撮影したり、顔が上下に傾いているような場合には、鼻テンプレートを回転させて様々な姿勢に対応したものを予め作成しておき、マッチングに用いればよい。または、顔の距離画像および輝度画像から顔の３次元姿勢を推定し、距離データを正面から見た状態に回転補正し、補正後の距離画像を用いて、鼻テンプレートのマッチングを行えばよい。
【００５６】
また、鼻位置の検索は、鼻テンプレートマッチング以外の方法によって、行ってもよい。例えば、顔領域中で最もカメラに距離が近い領域を鼻の最凸部とみなす、等である。しかしながら、本実施形態では、反射光の強度を基にして距離を計測しているため、例えば、皮脂による顔の“てかり”や目の角膜反射などにより、距離画像において測距誤差が大きい領域が部分的に存在する。このような誤差を含む距離画像では、１点の距離値のみを参照して単純に鼻位置を決定することは、精度的に問題がある。このような場合には、距離テンプレートを用いたマッチングが有効であるといえる。
【００５７】
次にステップＳ２３３において、画像処理部１０７は、顔領域の輝度画像を取得する。すでに、ステップＳ１０において、距離画像を算出するために２種類の光パタンに対応した２つの原輝度画像が撮影されている。そこで、ここでは、図１５に示す顔領域について、２つの原輝度画像の各画素値を平均化したものを、輝度画像（幅ｆｗ（ｘｌ〜ｘｒ）、高さｆｈ（ｙｔ〜ｙｂ））として得る。
【００５８】
図５に示すように、照射される２種類の光パタンは、一方は行番号が増加するにつれて暗から明となり、もう一方は明から暗となる。したがって、２つの原輝度画像を平均化することによって、一様な照明を照射した場合に相当する輝度画像が得られる。
【００５９】
なお、２つの原輝度画像の画素値の平均値ではなく、画素値が大きい方の値を採用して輝度画像を合成してもよい。この場合は、全体的に輝度が高く、コントラストが明瞭な画像が得られるため、以降の目位置検出を行いやすいという利点がある。
【００６０】
なお、２つの原輝度画像のいずれか一方を輝度画像としてもよい。本実施形態のように、上方から照明を行い、図４のようにカメラ視野の上方に対象（人間の顔）が含まれることが分かっている場合は、上方から明→暗となる照明に対応した原輝度画像を単独で輝度画像として用いても、以降の目位置検出を、精度低下を招くことなく行うことができる。
【００６１】
次にステップＳ２３４において、探索部１０８は、輝度画像から目位置を探索する。まず、図１８に示すように、顔領域において、人物の右目（向かって左目）を探索するための目探索領域１と、人物の左目（向かって右目）を探索するための目探索領域２とを帯状に設定する。定数ｒ２，ｒ３は実験的に定められ、ここでは、ｒ２＝０．３５，ｒ３＝０．１とする。各目探索領域内から、目の検出を行う。本実施形態では、被認証者はカメラのほぼ正面に立ち、カメラに正対することを想定している。この場合は、目のｙ座標は必ず図１８の目探索領域１，２内にそれぞれ位置するので、探索時間を縮小することができる。もちろん、斜め方向から顔を撮影するような用途では、顔領域の全体から目を探索すればよい。
【００６２】
輝度画像からの目位置の探索は、任意の方法でよく、本実施形態では、特開２００２−５６３９４号公報に記載された方法を用いる。すなわち、図１９に示すような目テンプレートを予め作成しておく。図１９の各矢印は目の輝度エッジ上の点における２次元の輝度勾配ベクトルを表す。そして、輝度画像から、水平方向および垂直方向に差分をとった輝度勾配画像を作成し、この輝度勾配画像と図１９の目テンプレートとの相関値を計算し、相関値が高いものを目位置として探索する。本実施形態では、両目位置の組み合わせにおいて、相関値が最高のものを目位置として決定するのではなく、両目の相関値が所定の閾値以上のものを、全て両目位置の候補として、相関値とともに残す。その総数をＱ個とする。
【００６３】
ここで、目位置とは、目テンプレートがマッチした領域における所定の座標、例えば、左上の点、中心点、テンプレートにおける虹彩領域の中心点などを用ればよい。また、ステップＳ２３２と同様に、顔の奥行き値から目テンプレートのサイズを決定することによって、単一のテンプレートによって、精度のよい探索が可能になる。
【００６４】
次にステップＳ２３５において、探索部１０８は、３次元の目位置を決定する。ここまでの処理によって、ステップＳ２３２ではＰ個の鼻位置候補が得られており、ステップＳ２３４ではＱ個の目位置候補が得られている。ここでは、目と鼻の相対的な位置関係の情報を参照して、Ｐ×Ｑ個の鼻位置候補と目位置候補との組み合わせの中から、相対的な位置関係からみて適当でないものを除外し、残った組み合わせの中で、マッチングスコアを合成した結果が最高のものを、最終的な目および鼻の２次元位置として決定する。ここでは、鼻のマッチングスコアと目のマッチングスコアの平均値を、合成スコアとする。なお、合成スコアは、重み付きの線形和でもよく、その場合の重みは、鼻のスコアの信頼性と目のスコアの信頼性を考慮して決定すればよい。
【００６５】
目と鼻の相対的な位置関係のチェックは、例えば次のような方法によって行う。すなわち図２０に示すように、右目位置候補と左目位置候補とを結ぶ線分に対して垂直二等分線を引き、この垂直二等分線上で下方にＤ１×ｒ４だけ離れた点Ａを中心として、幅Ｄ１×ｒ５，高さＤ１×ｒ６の矩形を鼻存在領域として設定する。そして、鼻位置候補がこの鼻存在領域に含まれない場合は、目と鼻の相対的な位置関係からみて、この位置候補の組み合わせは適当ではないと判定する。ここで、Ｄ１は両目の位置候補間の距離であり、ｒ４，ｒ５，ｒ６は多数の人物について実測して定めた値とする。
【００６６】
または図２１に示すように、鼻位置候補から上方にＤ２×ｒ４だけ移動した点Ｂから、左右にＤ２／２だけ移動した点Ｂ１，Ｂ２を中心として、幅Ｄ２×ｒ７，高さＤ２×ｒ８の矩形を片目存在領域として設定する。そして、片目の位置候補がこの片目存在領域に含まれない場合は、目と鼻の相対的な位置関係からみて、この位置候補の組み合わせは適当ではないと判定する。ここで、Ｄ２とは顔の奥行き値から推定した顔幅からさらに推定した両目間の距離であり、ｒ４，ｒ７，ｒ８は多数の人物について実測して定めた値とする。
【００６７】
なお、ステップＳ２３２において算出したＰ個の鼻位置候補に対して、輝度画像において、図２０のような片目存在領域を目探索領域として設定し、その領域内のみから目位置を探索してもよい。この場合、最終的な結果は上述の例と等しくなる。Ｐの個数によっては、図１８のような帯状領域よりも探索面積が小さくなるので、処理速度の向上が期待できる。
【００６８】
逆に、輝度画像から先に目位置を探索して位置候補を得て、その後、図１９のような鼻存在領域を鼻探索領域として設定し、距離画像のその領域内のみから鼻位置を探索することも可能である。しかしながら、距離画像において鼻に類似した形状を持つ箇所よりも、輝度画像において目に類似した輝度を持つ箇所の方が多いため、先に距離画像から鼻を探索した方が、効率的である。
【００６９】
また、鼻位置と両目間の理想的な位置関係を定義し、その位置関係から外れるほど０に近い値になり、その位置関係に近づくほど１に近い値になるような評価関数を定義し、鼻のマッチングスコアと目のマッチングスコアの合成スコアにこの評価関数の値を乗じたものを統合スコアとし、統合スコアが最高のものを、最終的な目および鼻の２次元位置として決定してもよい。
【００７０】
このように、距離画像から鼻の位置を探索し、輝度画像から目の位置を探索し、その両者の相対的な位置関係を利用して最終的に目の位置を決定することによって、輝度画像において目に類似した眉や眼鏡のフレーム、口等を誤って検出してしまうというような検出ミスを大幅に低減することができる。
【００７１】
そしてステップＳ２３６において、目の奥行き値を推定する。すなわち、ステップＳ２３５で決定された目の２次元位置から、すでに取得されている距離画像を用いて、目の３次元位置を求める。
【００７２】
図２２はＣ−ＸＹＺのカメラ座標系である。図２２において、Ｚ軸はカメラの光軸であり、Ｚ軸上のレンズ中心Ｃから焦点距離ｆだけ離れた位置に、画像中心ｃを原点とする仮想画像平面があると考える。画像平面上の点ｍ（ｘｍ，ｙｍ）に対応する計測点Ｍの奥行き値ＺＭは、距離画像における（ｘｍ，ｙｍ）に対応する画素値として算出することができる。よって、ＸＭ＝ＺＭ・ｘｍ／ｆ、ＹＭ＝ＺＭ・ｙｍ／ｆとして、カメラ座標における３次元位置が算出できる。輝度画像および距離画像の座標系から図２１の仮想画像平面上の座標系に変換するためには、予めカメラの内部パラメータ（ｆを含む）を求めておけばよい。また、レンズの周辺では歪みがあるため、歪み補正を行っておく。
【００７３】
このように、輝度画像および距離画像を併用することによって、目および鼻の３次元位置を容易に決定できる。
【００７４】
本実施形態で用いるＬＥＤアレイレンジファインダは、本願発明者らが実際にシステム開発した結果、測距誤差として相対誤差１％（測定距離５００ｍｍの場合でも５ｍｍの誤差）を達成している。被写体の凹凸がなだらかな場合、周辺の距離を平滑化することによって、測定した距離の信頼性はさらに増す。すなわち、２次元画像中の特定画素の距離を測定したい場合、超音波センサなどのスポットセンサによって測定する方法もあるが、本実施形態のように、レンジファインダによって取得した距離画像を利用することによって、その特定画素の周辺の距離値も有効に用いることができるので、安定した距離計測が可能になる。
【００７５】
次にステップＳ３０において、望遠カメラを目の３次元位置に向けて、虹彩画像を撮影する。そして、ステップＳ４０において、撮影された目の画像から虹彩認証を行う。虹彩認証は、例えば特表平８−５０４９７９号公報記載の方法によって行えばよい。
【００７６】
以上のように本実施形態によると、距離画像において、立体形状に特徴がある鼻の位置が探索されるとともに、輝度画像において、輝度に特徴がある目の位置が探索される。そして、目と鼻の相対的な位置関係の情報を参照して、目の位置が最終的に決定される。すなわち、従来よりも高精度に、目の位置を検出することができる。
【００７７】
なお、ステップＳ２３６において、目の距離値を、距離画像における頬周辺部分の距離値を用いて決定するようにしてもよい。すでに述べたように、本実施形態のように光強度比を基にして距離を測定する場合には、反射率の低い領域や、拡散反射でなく鏡面反射を起こす領域では、距離の測定誤差が大きくなる。そして目付近の奥行き値は、次の点で誤差が大きくなると考えられる。
・虹彩が濃い茶褐色の場合は、反射率が低い
・角膜の表面で鏡面反射が起きる
・被写体の人物が眼鏡をかけている場合、濃色のフレームは反射率が低い。また、レンズや金属のフレームによる鏡面反射が目付近に位置する場合がある。
【００７８】
このため、目付近の奥行き値の代わりに、頬周辺の奥行き値を算出して、目の奥行き値を間接的に推定する。図２３はある人物を真横から見た図であるが、目の奥行き値は鼻のほぼ真横あたりの頬とほぼ同じである。本願発明者が複数人の横顔を同じように観察したところ、目の奥行き値は、頬とほぼ同じであるか、少し奥側（大きくても１ｃｍ程度）にあるという知見を得た。そこでここでは、目の奥行き値＝頬の奥行き値＋０．５ｃｍとする。
【００７９】
頬の奥行き値は次のようにして求める。図２４に示すように、両目位置を結ぶ線分（長さＤ）を距離Ｄ×ｒ９だけ下方に平行移動し、その両端Ｃ１，Ｃ２を中心とする半径Ｄ×ｒ１０の円を頬領域として設定する。そして、この頬領域内の距離画像の画素値の平均値を頬の奥行き値とする。ここで、ｒ９，ｒ１０は実験的に求めるものとし、ここではｒ９＝０．６５、ｒ１０＝０．１とする。
【００８０】
ただし、この方法では、人物の頭部が前後左右に傾いていないことが必要条件となる。ここでは、個人認証という用途から、被認証者が撮影に協力してくれるということを前提として、この方法を採用した。これに対して、被写体となる人物に、もう少し自由な姿勢を許容する用途の場合には、距離画像および輝度画像から顔の姿勢推定を行い、顔の傾きを考慮して、頬の奥行き値を眼の奥行き値に変換する必要がある。
【００８１】
なお、本実施形態では、図１および図２に示すように、レンジファインダの光源１０１とカメラ１０２を上下に配置したが、このような配置に特に限定されるものではなく、カメラが上にあり、光源が下にあってもかまわない。もちろん、カメラと光源を左右に配置してもよい。また、距離の測定精度を向上させるために、複数個の光源を設けてもかまわない。
【００８２】
また、本実施形態では、予め登録された複数人のデータと比較して認証を行い、どの人物かを判定する１：Ｎ認証を前提として、説明を行った。この場合、認証装置では、顔幅や、鼻と目との相対的な位置関係、目テンプレートや鼻テンプレートの形状などは、複数の人物について平均的なものが利用される。これに対して、被認証者が自分のＩＤを認証装置に申告し、申告されたＩＤについて予め登録された個人と被認証者とが一致するか否かを判定する１：１認証の場合には、顔幅や、鼻と目との相対的な位置関係、目テンプレートや鼻テンプレートの形状などは、個人ごとに準備される。このため、より精度の高い検出が可能になる。ＩＤの申告には、キー入力、ＩＤカード（非接触ＩＤカードを含む）、音声入力などが利用可能である。
【００８３】
また、本発明において、本実施形態で示したような方式のレンジファインダは必須ではなく、距離画像が得られるものであれば、他の方式を採用してもかまわない。例えば、光切断法、モアレ法、ステレオ視など他の距離測定方法と組み合わせて利用することも可能である。また、本実施形態では、輝度画像は、レンジファインダから得た原輝度画像から生成したが、これ以外の生成方法でもよく、例えば輝度画像取得のための専用の撮影系を設けてもよい。ただし、輝度画像は、距離画像との間で各座標が対応付けられている必要がある。
【００８４】
なお、本実施形態では、虹彩認証を行うために目の３次元位置を検出するものとしたが、本発明に係る物体位置検出の適用範囲はこれに限られるものではない。例えば、顔認証のために、目、鼻、口などの顔部品の２次元位置を検出する場合に、本発明を用いてもよい。すなわち、距離画像から鼻位置を探索し、輝度画像から目および口を探索し、各顔部品の候補の相対的な位置関係から、最終的な顔部品の位置を決定してもよい。
【００８５】
もちろん、鼻以外の、形状（距離）に特徴のある物体と、眼以外の、濃度パタン（輝度）に特徴のある物体とを検出するために用いることも可能である。例えば、ロボット等の人工物において、形状に特徴のある部位と、濃度パタンに特徴のある部位が設計されている場合には、これらの部位の検出を行う際に、本発明を用いることができる。
【００８６】
本発明のように、形状に特徴のある部位と、濃度パタンに特徴のある部位とを分離して位置検出を行うことによって、次のような利点がある。濃度パタンに特徴のある部位が特徴的な形状をしていた場合、視点によって濃度パタンの見え方が変化してしまい、輝度画像からの部位検出が困難になる可能性がある。また、形状に特徴のある部位が特徴的な濃度パタンを有していた場合、本実施形態のようにレンジファインダによって形状計測を行うとすると、反射光の強度が被写体の濃度パタンによって左右されてしまい、反射率が低い個所が生じた場合は、形状計測の誤差が大きくなってしまう可能性がある。よって、形状に特徴のある部位と、濃度パタンに特徴のある部位とを分けて、それぞれを検出し、両者の相対的な位置関係を基に、最終的な位置検出を行うことによって、検出精度が格段に向上する。
【００８７】
【発明の効果】
以上のように本発明によると、鼻と目のように、一方は、立体形状に特徴があり距離画像で探索が容易であり、他方は、輝度に特徴があり輝度画像で探索が容易であって、かつ、相対的な位置関係が既知の物体について、高精度に、その位置を検出することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る虹彩認証装置を正面から見た図である。
【図２】図１の虹彩認証装置を側方から見た図である。
【図３】本発明の一実施形態に係る物体位置検出装置の構成を機能的に示すブロック図である。
【図４】図１の虹彩認証装置によって撮影された人物画像の模式図である。
【図５】レンジファインダが投射する光パタンの例である。
【図６】図１の虹彩認証装置の動作を示すフローチャートである。
【図７】図６におけるステップＳ２０の詳細を示すフローチャートである。
【図８】図７におけるステップＳ２３の詳細を示すフローチャートであり、本発明の一実施形態に係る物体位置検出方法を示す図である。
【図９】２種類の光パタンの切り替えタイミングを示す図である。
【図１０】距離画像から求めた距離値ヒストグラムの一例である。
【図１１】ニ値化された距離画像の例である。
【図１２】図１１の二値化された距離画像を水平方向に射影して作成したヒストグラムの例である。
【図１３】図１１の二値化距離画像において、決定された顔領域の上下範囲を示す図である。
【図１４】図１３の上下範囲で切り取った二値化距離画像を垂直方向に射影して得たヒストグラムの例である。
【図１５】図１１の二値化距離画像において、決定された顔領域を示す図である。
【図１６】距離値から構成された鼻テンプレートの一例である。
【図１７】距離画像の顔領域において設定した鼻探索領域を示す図である。
【図１８】輝度画像の顔領域において設定した目探索領域を示す図である。
【図１９】輝度勾配方向ベクトルから構成された目テンプレートの例である。
【図２０】両目の位置と鼻存在領域との位置関係を示す図である。
【図２１】鼻の位置と両目の存在領域との位置関係を示す図である。
【図２２】画像座標系とカメラ座標系との関係を示す図である。
【図２３】人物の横顔を示す図である。
【図２４】目の奥行き値を推定するために用いる頬領域を示す図である。
【符号の説明】
１００　レンジファインダ
１０１　広角カメラ用照明（光源アレイ部）
１０２　カメラ
１０６　光源制御部
１０７　画像処理部
１０８　探索部
ＰＰ　人物（被写体）
ＮＳ　鼻（第１の物体）
ＥＹ　目（第２の物体）
【図１】
2004038531.tif 000003
【図２】
2004038531.tif 000004
【図３】
2004038531.tif 000005
【図４】
2004038531.tif 000006
【図５】
2004038531.tif 000007
【図６】
2004038531.tif 000008
【図７】
2004038531.tif 000009
【図８】
2004038531.tif 000010
【図９】
2004038531.tif 000011
【図１０】
2004038531.tif 000012
【図１１】
2004038531.tif 000013
【図１２】
2004038531.tif 000014
【図１３】
2004038531.tif 000015
【図１４】
2004038531.tif 000016
【図１５】
2004038531.tif 000017
【図１６】
2004038531.tif 000018
【図１７】
2004038531.tif 000019
【図１８】
2004038531.tif 000020
【図１９】
2004038531.tif 000021
【図２０】
2004038531.tif 000022
【図２１】
2004038531.tif 000023
【図２２】
2004038531.tif 000024
【図２３】
2004038531.tif 000025
【図２４】
2004038531.tif 000026