(57)【要約】【課題】対比可能なレベルの虹彩データを容易に得ることが可能な技術を提供する。【解決手段】第１撮像部２０は、主に顔全体を撮像する。第２撮像部４０は、主に目の中の虹彩を撮像する。表示部６０は、第１撮像部２０により撮像された画像、および第２撮像部４０により撮像された画像を、表示領域を分割して同時に表示して、ユーザに対して、第２撮像部４０の撮像範囲内に自ら虹彩が入るような動作を自然に促す。ユーザがこの表示を見て、直感的に顔や認証装置を動かすと、虹彩と当該撮像装置との相対的な位置や方向を所望の状態にすることができる。【選択図】図１
2005334402.tif 000002
【特許請求の範囲】
【請求項１】
登録された虹彩データと、認証の際に撮像される画像から得られる虹彩データとを照合して認証する方法であって、
顔画像および虹彩画像を用いて、虹彩の基準位置を決定することを特徴とする認証方法。
【請求項２】
登録された虹彩データと、認証の際に撮像される画像から得られる虹彩データとを照合して認証する方法であって、
顔画像および虹彩画像を用いて、虹彩の所定の基準パターンからの回転角度を特定することを特徴とする認証方法。
【請求項３】
登録された虹彩データと、認証の際に撮像される画像から得られる虹彩データとを照合して認証する装置であって、
顔画像を撮像するための第１撮像部と、
虹彩画像を撮像するための第２撮像部と、を備え、
前記顔画像および前記虹彩画像を用いて、虹彩の基準位置を決定することを特徴とする認証装置。
【請求項４】
登録された虹彩データと、認証の際に撮像される画像から得られる虹彩データとを照合して認証する装置であって、
顔画像を撮像するための第１撮像部と、
虹彩画像を撮像するための第２撮像部と、を備え、
前記顔画像および前記虹彩画像を用いて、虹彩の所定の基準パターンからの回転角度を特定することを特徴とする認証装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は認証方法および認証装置に関し、登録された虹彩データと認証の際に撮像される虹彩データとを照合して認証する認証方法および認証装置に関する。
【背景技術】
【０００２】
近年、高度情報化社会の進展により、個人情報の保護の要求が高まっている。そこで、パスワード入力等と比較して、偽造やなりすましが困難なバイオメトリクス認証が試みられている。その中で、目の中の虹彩を利用した認証方法は、非接触で認証可能であり、生涯殆ど変化しないこともあり、注目を集めている。「虹彩」とは、瞳孔より外側のドーナツ状の部分を指し、その部分の皺模様が各人物に固有のパターンを形成するため、精度が高い認証を実現することができる。
【０００３】
特許文献１は、登録された虹彩データと、認証時に提供される虹彩データとを照合する手法を開示する。
【特許文献１】特表平８−５０４９７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に開示されたような照合を成功させるためには、登録される虹彩データも、認証時に撮像される虹彩データも対比可能なレベルのものでなければならない。例えば、撮像する画像内に虹彩が収まっていない場合や、登録時と認証時とで大きく虹彩パターンが回転してしまっているような場合、そのままでは精度よく対比することができない。特に、認証する装置側が、携帯機器のように視点が一定でない撮像部を搭載している場合、その傾向が強くなる。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、その目的は、対比可能なレベルの虹彩データを容易に得ることが可能な認証方法および認証装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の認証方法は、登録された虹彩データと、認証の際に撮像される画像から得られる虹彩データとを照合して認証する方法であって、顔画像および虹彩画像を用いて、虹彩の基準位置を決定する。なお、「顔画像」とは、顔全体または顔の一部が欠けた画像を含むが、両目が入る程度の範囲の画像も含む。「虹彩画像」とは、虹彩の模様を識別できる程度の解像度の虹彩が写っている画像に加えて、このような虹彩を撮像しようとしている過程で撮像される画像を含む。「基準位置」は、ユーザガイドのための表示画像内の基準位置、座標上の基準位置を含む。
【０００７】
この態様によると、顔画像を利用して、顔と虹彩との位置関係を考慮することにより、虹彩画像内における虹彩の位置決めを容易に行うことができる。
【０００８】
本発明の別の態様もまた、認証方法である。この方法は、登録された虹彩データと、認証の際に撮像される画像から得られる虹彩データとを照合して認証する方法であって、顔画像および虹彩画像を用いて、虹彩の所定の基準パターンからの回転角度を特定する。ここで、顔画像上の注目位置と、虹彩画像上の注目位置との相対位置を基に、回転角度を特定してもよい。なお、「所定の基準パターン」には、座標上の水平方向の軸や、登録された虹彩パターン上の目じりを結んだ軸等が含まれてもよい。
【０００９】
この態様によると、顔画像を利用して、顔と虹彩との位置関係を考慮することにより、比較対象からの虹彩の回転角度を求めることができ、その回転角度で虹彩データを補正してやれば、対比可能なレベルのデータを容易に生成することができる。
【００１０】
本発明のさらに別の態様は、認証装置である。この装置は、登録された虹彩データと、認証の際に撮像される画像から得られる虹彩データとを照合して認証する装置であって、顔画像を撮像するための第１撮像部と、虹彩画像を撮像するための第２撮像部と、を備える。顔画像および虹彩画像を用いて、虹彩の基準位置を決定する。
【００１１】
この態様によると、顔画像を利用して、顔と虹彩との位置関係を考慮することにより、虹彩画像内における虹彩の位置決めを容易に行うことができる。また、複数の撮像部を備えることにより、虹彩の模様を識別できる程度の解像度で、顔画像を撮像することができる撮像デバイスを用いる必要がなく、撮像部を低コスト化することができる。
【００１２】
本発明のさらに別の態様もまた、認証装置である。この装置は、登録された虹彩データと、認証の際に撮像される画像から得られる虹彩データとを照合して認証する装置であって、顔画像を撮像するための第１撮像部と、虹彩画像を撮像するための第２撮像部と、を備え、顔画像および虹彩画像を用いて、虹彩の所定の基準パターンからの回転角度を特定する。
【００１３】
第２撮像部から入力される画像上の所定の位置に、虹彩を移動するよう第１撮像部から入力される画像、および第２撮像部から入力される画像を表示する表示部をさらに備えてもよく、第２撮像部から入力される画像上の所定の位置に、虹彩を移動するよう第１撮像部から入力される画像および所定のガイドを表示する表示部をさらに備えてもよい。このような表示部を備えることにより、虹彩が虹彩画像の所定位置に写るようユーザに促すことができる。
【００１４】
本発明のさらに別の態様は、携帯装置である。この携帯装置は、上述した認証装置を備え、認証装置による認証がなされたユーザに使用を許可する。第１撮像部の取付位置と第２撮像部の取付位置との距離が実質的に最大になるよう筐体上に第１撮像部および第２撮像部を取り付けるとよい。
【００１５】
この態様によると、対比可能なレベルの虹彩データを容易に得ることができるため、携帯装置に虹彩認証機能を搭載しても、精度の高い認証を実現することができる。また、距離の離れた複数の撮像部を搭載すると、精度の高い３次元的情報を得ることができる。
【００１６】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１７】
本発明によれば、対比可能なレベルの虹彩データを容易に得ることができる。
【発明を実施するための最良の形態】
【００１８】
（第１実施形態）
第１実施形態は、撮像した画像内の虹彩上に座標や方向等の基準を容易に決定するために、顔と虹彩の両方の画像を利用するものである。
【００１９】
図１は、第１実施形態における携帯機器の第１例を示す図である。図１の携帯機器は、第１の携帯電話機１０である。第１の携帯電話機１０は、ヒンジ部を介して表示側筐体と操作側筐体とが回動自在に連結された構成である。表示側筐体には、第１撮像部２０、第２撮像部４０、表示部６０が備えられている。
【００２０】
第１撮像部２０は、可視光カメラ等が用いられ、主に顔全体を撮像するために用いられる。第２撮像部４０は、高精細の赤外光カメラ等が用いられ、主に目の中の虹彩を撮像するために用いられる。
【００２１】
表示部６０は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（ElectroLuminescent）ディスプレイ等が用いられ、第１撮像部２０から入力される画像、および第２撮像部４０から入力される画像を、表示領域を分割して同時に表示することができる。図１では、表示部６０は、左の表示領域６０Ａに第１撮像部２０から入力される画像を、右の表示領域６０Ｂに第２撮像部４０から入力される画像を表示している。
【００２２】
具体的には、表示部６０は、左の表示領域６０Ａに顔画像を、右の表示領域６０Ｂに虹彩画像を同時に表示している。ユーザの虹彩と撮像している認証装置との相対的な位置や方向が、表示される顔画像を用いて虹彩画像の基準を決定できるような状態になるように、ユーザの動作を自然に促すようにしている。虹彩撮像用のカメラの撮像可能範囲は、顔撮像用のカメラの範囲より狭くなるのが一般的であるため、虹彩撮像用のカメラの撮像範囲に虹彩を持ってくる必要が生じる。ユーザが顔画像の表示を見て、直感的に顔や上記認証装置を動かすと、虹彩と当該認証装置との相対的な位置や方向を所望の状態にすることができる。
【００２３】
また、異なるカメラ、図１では第１撮像部２０と第２撮像部４０で取得した顔画像と虹彩画像を、単一の表示デバイス、図１では表示部６０に表示することにより、複数の表示デバイスが不要となり、ユーザが顔と目の状態を同時に確認することができる状態を簡単に実現することができる。
【００２４】
なお、表示部６０は、第２撮像部４０で撮像した虹彩または虹彩近傍の画像、および第１撮像部２０で撮像した顔画像に重ねて、後述する図３に示すようなスケールガイドやグリッド線等のガイドを表示して、水平方向の位置決めを補助してもよい。
【００２５】
図２は、第１実施形態における認証装置の機能ブロックを示す図である。ここに示す各ブロックは、ハードウェア的には、プロセッサ、ＲＡＭ等の各種素子、カメラ、ディスプレイ等の各種デバイスで実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
【００２６】
第１撮像部２０および第２撮像部４０は、撮像した画像データを処理部８０に出力する。処理部８０は、入力された画像データに各種の信号処理を行う。本実施形態では、２種類の画像データを利用して、後述する虹彩の方向や、被写体までの距離等の３次元的情報を算出する。表示制御部６２は、表示部６０における画像の表示態様を制御する。例えば、表示部６０の表示領域や解像度を考慮して、上述した分割表示等の制御を行う。表示部６０は、表示制御部６２の指示に基づき、画像データを表示する。
【００２７】
図３は、第１撮像部から入力される顔画像と第２撮像部から入力される虹彩画像を示し、（ａ）は虹彩パターン登録時の画像を示し、（ｂ）は認証時の画像を示す。処理部８０は、第１撮像部２０から顔画像を、第２撮像部４０から虹彩画像を取得し、その相対的な位置関係から虹彩の方向を決定する。例えば、顔画像の目の位置、および虹彩画像の瞳孔中心位置の相対的な位置関係から、虹彩の方向、即ち回転角度を決定する。なお、顔の基準位置と瞳孔中心位置とが２つの撮像部２０、４０で同時に取得できるのであれば、必ずしも、顔および虹彩を表示する必要はない。
【００２８】
図３（ａ）は、登録時に虹彩パターンの水平方向、即ち角度の基準を定義している様子を示す。左上の画像内のスケールガイドは、第１撮像部２０で撮像した画像内の目５０の位置を座標で認識している様子を示す。右上の画像内のスケールガイドは、第２撮像部４０で撮像した画像内の目５２Ａの位置を座標で認識している様子を示す。そして、第２撮像部４０で撮像され、水平方向が定義された目５２Ｂの虹彩パターンが登録される。
【００２９】
図３（ｂ）は、認証時に第１撮像部２０で撮像した画像内の目５４の位置と、第２撮像部４０で撮像した画像内の目５６Ａの位置関係から、虹彩パターンの水平方向からの回転角度を決定している様子を示す。第２撮像部４０で撮像された目５６Ｂの虹彩パターンから、登録された虹彩パターンの水平方向からの回転角度を決定することができる。具体的には、第１撮像部２０で撮像した画像上の顔の基準となる位置、例えば左目じりと、第２撮像部４０で撮像した画像上の虹彩の基準となる位置、例えば右目瞳孔中心との位置関係から虹彩の方向を決定することができる。特に、第２撮像部４０で撮像した画像の範囲に目じり等が入っていない場合でも、上記回転角度を決定することができる。また、顔画像上の両目または反対の目の位置も考慮することができ、片目のみで当該回転角度を決定する場合より精度を高めることができる。
【００３０】
図４は、第１実施形態における携帯機器の第２例を示す図である。図４の携帯機器は、第２の携帯電話機１２である。第２の携帯電話機１２の表示部６０は、図示しない顔撮像用の撮像部が撮像した顔の画像に重ねて、図示しない虹彩撮像用の撮像部の撮像領域、即ち撮像可能範囲を示す枠をガイドとして表示する。これにより、ユーザに対して、虹彩撮像用の撮像部の撮像範囲内に自ら虹彩が入るような動作を自然に促すことができる。ユーザがこの表示を見て、直感的に顔や認証装置を動かすと、虹彩と当該撮像装置との相対的な位置や方向を所望の状態にすることができる。ユーザは、鏡を見る時に手鏡を動かして見たい部分を映すような感覚で、自然に、虹彩画像の撮りやすい状態に第２の携帯電話機１２を動かすことができる。
【００３１】
図５は、第２例における携帯機器の他の表示例を示す図である。この表示例は、表示部６０に撮像可能範囲を示す枠の中に虹彩撮像用の撮像部で撮像した画像６６を表示するものである。ピクチャインピクチャのように表示し、虹彩、目の位置を同時に合わせられるようユーザに促すことができる。
【００３２】
図６は、第１実施形態における携帯機器の第３例を示す図である。図６の携帯機器は、第３の携帯電話機１４である。第３の携帯電話機１４は、第１の携帯電話機１０と比較して、第２撮像部４０が操作側筐体の外側の端に取り付けられている。なお、右の表示領域６０Ｂに顔画像が表示されているが、第１撮像部２０と第２撮像部４０を図６のように配置すると、視差画像を得やすくなることを便宜的に示したものであり、基本的にはどちらかの表示領域５０Ａ／Ｂには、虹彩画像が表示される。
【００３３】
図７は、図６の携帯機器でユーザの顔画像および虹彩画像を撮像している様子を示す。図７に示すように、複数のカメラ、ここでは第１撮像部２０と第２撮像部４０を機器または機器の一体化された部分の両端に配置することにより、複数のカメラで、視差の大きい画像を得ることができる。したがって、限られたスペースに搭載するカメラで、機器から被写体までの距離ｄ１、その他の３次元的な情報を効率的に取得することができる。例えば、第３の携帯電話機１４の傾きを得て、上述した虹彩の方向を決定し易くすることができる。また、上記距離ｄ１が求められると、撮像した虹彩画像と登録虹彩パターンとを比較する際に、対比するに適した大きさに当該撮像した虹彩画像を拡大または縮小処理することができる。さらに、上記距離ｄ１が離れすぎていて、虹彩を認識できない場合、”目を近づけて下さい”といったメッセージを表示して、ユーザに上記距離ｄ１を縮めるよう促すこともできる。
【００３４】
このように第１実施形態によれば、 顔の全部または一部の画像と虹彩画像を用いることにより、虹彩上の基準となる位置、方向を容易にかつ正確に決定することができる。これをズーム機能等で実現した場合、小型化が困難であり用途がゲートアクセス用等に限定されてしまうが、本実施形態によれば、小型化でき、携帯機器に適用することができる。また、小型の撮像専用装置を覗き込むような動作をユーザに強いるものでもなく、利便性が高い。
【００３５】
（第２実施形態）
第２実施形態は、小容量メモリで虹彩認証を実現するものである。図８は、第２実施形態における認証装置の機能ブロックを示す図である。撮像部３０は、ＣＣＤ（Charge Coupled Device）等が用いられ、虹彩画像を行もしくは列または面単位の格子状の画像データとして処理部８０に出力する。撮像部３０は、１つでもよいし、第１実施形態で説明したように複数であってもよい。処理部８０は、画像バッファ８２、画像処理部８４、画像照合部８６、および画像登録部８８を含む。
【００３６】
画像バッファ８２は、撮像部３０から入力される画像データを一時記憶しておくためのメモリ領域である。本実施形態では、画像処理部８４の作業領域としても利用される。画像処理部８４は、画像バッファ８２内の画像データに後述する各種の加工を施す。画像照合部８６は、画像バッファ８２内の画像データと、画像登録部８８に登録された虹彩パターンとを比較して、同一人物の虹彩であるか否かを判定する。画像登録部８８は、予め撮像された虹彩パターンのテンプレートを登録している。
【００３７】
発光部７０は、一般のフィラメント電球やＬＥＤ（Light Emitting Diode）等が用いられ、処理部８０からの指示によりユーザに向けて発光する。発光部７０は、オプションであり、搭載しなくてもよい。発光部７０の用途の詳細は後述する。
【００３８】
まず、第２実施形態における認証装置の第１動作例は、撮像部３０が虹彩を検出したことを受けて、テンプレートの生成を開始する例である。図９は、顔の目周辺の画像を格子状に取り込んでテンプレートを作成している様子を示し、（ａ）は取り込んだ画像が虹彩である場合を示し、（ｂ）は取り込んだ画像が虹彩でない場合を示す。
【００３９】
図９（ａ）において、撮像部３０は、顔の目周辺の画像を上から下にスキャンして、格子状の画像データ１０２を画像バッファ８２に出力していく。画像処理部８４は、画像バッファ８２内の画像データ１０２から虹彩、虹彩周辺の一部等を示す何らかのパターンを検出すると、テンプレート１０４の作成を開始する。図９（ａ）では、目の上端で台形の形状を検出したことにより、テンプレート１０４の作成を開始している。このように、虹彩全体の画像を取得する以前にテンプレート１０４の生成を開始することができる。そして、スキャン、虹彩検出、テンプレート１０４作成をパイプライン的に処理している。このようなパイプライン処理で生成されたテンプレートは、登録時であれば、画像登録部８８に登録され、認証時であれば、画像照合部８６に渡される。
【００４０】
図９（ｂ）において、画像処理部８４は、画像バッファ８２内の画像データ１０６を基にテンプレート１０８を生成しているときに、生成中のテンプレート１０８が照合に不適切と判断した場合に、途中でもこれを廃棄等して、新たなテンプレート生成を開始する。即ち、テンプレート生成完了以前に、別のテンプレート生成を開始する。ここで、照合に不適切と判断する場合とは、虹彩を検出しない場合、または途中から虹彩ではなくなる場合等が該当する。
【００４１】
このように第１動作例は、画像を全て取り込んでから照合のための処理を開始するのではなく、リアルタイムで虹彩の検出を行い、検出と同時にテンプレートの生成を開始することにより、画像バッファ８２に必要なメモリ容量を削減することができる。また、照合までの時間も短縮することができる。さらに、テンプレート生成途中で、虹彩ではないと判断すると、あるいは、生成中のテンプレートの質等が一定の基準を満たさないと判断すると、そのテンプレート生成を中止して新たなテンプレート生成を開始する。これにより、より一層、メモリ容量を削減し、照合までの時間を短縮することができる。
【００４２】
次に、第２実施形態における認証装置の第２動作例は、画像データをリアルタイムに処理してテンプレートを生成する例である。図１０は、取得した画像データに各種の処理を施しながらテンプレートを生成している様子を示す。
【００４３】
画像処理部８４は、虹彩画像データを採取する際に、撮像部３０から画像バッファ８２に取り込み中の画像データの品質等を判定し、その判定結果を用いて当該画像データを間引く。より具体的には、画像処理部８４は、テンプレート１１０をリアルタイムに生成している途中で、「まつげに隠れて充分な画質のデータが採れない部分」や「ライト等の写りこみで虹彩画像の画質が低い部分」等、品質が悪いと判断した部分をすぐに間引く。これにより、不要なデータによりメモリが占領されてしまうのを防止することができ、画像登録部８８に登録される虹彩パターンの容量を削減することができる。また、認証時にも小さいメモリ容量で照合することができる。
【００４４】
画像処理部８４は、虹彩画像のデータを採取する際に、撮像部３０から画像バッファ８２に取り込み中の画像データに平均化処理等を施す。より具体的には、画像処理部８４は、テンプレート１１０生成中に、ほとんど重複する行があった場合等に、複数行のデータを平均化してまとめる等の処理を行う。平均化処理は、横同士のピクセルを平均化してもよいし、縦横４ピクセルを平均化するといったものでもよい。これにより、画像データを圧縮することができ画像登録部８８に登録される虹彩パターンの容量を削減することができる。また、認証時にも小さいメモリ容量で照合することができる。なお、データの圧縮は、可逆性がない方式でもよい。この場合、可逆性がある方式よりも圧縮効率を高めることができる。図１０の上のテンプレート１１０は、画像データ取り込み中に順次圧縮や間引き、平均化等の処理が施された後のテンプレートを示し、下のテンプレート１１２は、虹彩情報を生かす形式に縦横比を変えて生成したテンプレートを示す。
【００４５】
次に、第２実施形態における認証装置の第３動作例は、格子状に虹彩のテンプレートを生成する例である。虹彩画像のデータを採取する際に、画像バッファ８２内のメモリ配列に合うように、ＣＣＤ等の撮像部３０を用いて水平ラインごとに画像データを取得する。
【００４６】
画像処理部８４は、ＣＣＤ等からの出力データあるいは、ＣＣＤ等の出力データを格納した画像バッファ８２内のメモリ配列に合わせて、虹彩画像データを行や列の格子状に分割することで、最後まで虹彩画像を取得できていなくても、テンプレートの作成を開始することができる。これにより、メモリ容量の削減、および高速化を図ることができる。
【００４７】
図１１は、画像バッファ内の画像データをひし形に補正している様子を示す。虹彩画像のデータは、取得毎に瞳孔の開き具合が異なるため補正が必要となる。ＣＣＤ等からの出力データは、画像バッファ８２内のメモリ配列１１４に合わせて、格子状に取得される。画像処理部８４は、画像バッファ８２内の画像データをひし形形状で補正する。瞳孔が開いたらひし形を開き、瞳孔が閉じたらひし形を閉じるように補正する。図１１の補正後のメモリ配列１１６内の画像データは、ひし形形状に変形されている。このように、ひし形形状で補正することにより、演算量、データ容量を削減することができる。さらに、中心からの距離に対して同心円形状で補正するのではなく、ひし形形状で補正することにより、一部の行や列のみで、例えば数行あれば補正可能となり、テンプレートも早期に作成開始することができる。また、簡易な処理でありながら、一定の精度を維持することができ、瞳孔の動きに対して簡単に追従させることができる。
【００４８】
図１２は、虹彩画像のメモリ行ごとに各種の処理を実行することにより、順次照合処理を実行している様子を示し、（ａ）は虹彩画像全体のテンプレートと照合している様子を示し、（ｂ）は虹彩画像の一部のテンプレートと照合している様子を示す。図１２（ａ）の左は登録されている虹彩のテンプレートを示し、右は撮像部３０から入力されてくる格子状のデータ１１８を示す。画像照合部８６は、画像登録部８８に登録された虹彩のテンプレートと、画像バッファ８２に入力されてくる格子状のデータ１１８とを、メモリ行または列ごとに周波数変換、ハミング距離、畳み込み積分等の各種の照合アルゴリズムを利用して、比較照合する。これにより、画像をスキャンしながらの順次照合処理が実施可能となり、メモリ容量削減、照合時間の短縮を図ることができる。ここで、周波数変換とは、ある模様を複数の周波数成分に分解し、各周波数成分の重み付け計数同士を比較する照合方法である。
【００４９】
図１２（ｂ）の左は格子状単位で登録されている虹彩のテンプレートを示し、右は撮像部３０から入力されてくる格子状のデータ１１８を示す。左は網掛け部分１２０〜１２８のみが画像登録部８８に登録されているテンプレートとなる。画像処理部８４は、虹彩を直線的に並んだ部分毎に複数の部分に分割し、画像照合部８６は、各々の部分同士で照合を行い、その結果を複数の部分について統合し、その統合結果で本人か否かの認証を行う。即ち、行または列ごとにデータを比較する際に、複数行や複数列を比較するのではなく、個々の行や列毎に成功か失敗かを判定し、その結果を統合して最終的に本人か否かを判断する。
【００５０】
統合の仕方の具体例としては、一定の個数の領域、例えば一定数の行について照合結果が成功となった場合に、最終的に本人と判断する方法がある。例えば、図１２（ｂ）では５行のテンプレート１２０〜１２８のうち、４行以上一致したら認証成功とすることができる。なお、一致する個数だけでなく、一致する順番等を考慮してもよい。このように、スキャンしながら単一行または単位列ごとに照合することにより、行や列に対して判定を行った後、その行や列のデータが不要になり、すぐにメモリから削除することが可能になる。その分、メモリ容量を少なくすることができる。また、登録される虹彩画像データも軽くすることができる。
【００５１】
図１３は、虹彩画像データに重み付けを行う様子を示し、（ａ）は虹彩画像データの列毎に重み付けした様子を示し、（ｂ）は虹彩画像データの行毎に重み付けした様子を示し、（ｃ）は虹彩画像データの行および列毎に重み付けをした様子を示す。
【００５２】
画像照合部８６は、上記統合を行う際、虹彩画像データの行毎および／または列毎にデータの信頼性に応じて、理論的または経験的に重み付けを行う。あるいは、データの行または列を削除、即ち重みをゼロにする。例えば、「良い画質で撮像できた行は重みを重くする」、「個人の特徴が顕著にでている部分の重みを重くする」、「まぶたに隠れた等により撮像できなかった部分は重みをゼロにする」等の重み付けを行う。このような重み付けを行うことにより、照合精度を向上させることができる。
【００５３】
次に、第２実施形態における認証装置の第４動作例は、虹彩の回転角度をＣＣＤ等にフィードバックする例である。図１４は、虹彩の角度ずれが補正されていく過程を示す。画像処理部８４は、画像バッファ８２内の虹彩部分を含む画像データから、虹彩の向き、即ち回転角方向を検出する。例えば、目じりの角度θ１等を検出することにより、虹彩の回転角を検出することができる。画像処理部８４は、検出した角度を補正機能付きＣＣＤ３２にフィードバックする。補正機能付きＣＣＤ３２は、ＣＣＤの基板上に形成された回路で、フィードバックされた回転角度に従い、撮像した画像を回転させることができる。また、アクチュエータでＣＣＤ自体を回転させてもよい。さらに、ＣＣＤからの直接の出力に補正を行うために設けられているＬＳＩ等で回転角度の補正を行ってもよい。
【００５４】
このようなフィードバック機構を設けることにより、常に、向きが一定となる画像を取得することができる。さらに、この取得した画像からテンプレートを生成することで、照合時に登録データと照合用データとの間の相対的な角度の違いを考慮することを不要にすることができる。特に上述したような行や列による分割を行う場合、虹彩の回転方向を登録時と認証時でそろえておく必要がある。通常は、このための補正を認証部分で行うことになるが、この補正をＣＣＤ等で行うことにより認証部分の処理を軽くすることができる。
【００５５】
次に、第２実施形態における認証装置の第５動作例は、瞳孔の開き具合が一定になるようにする例である。上述したような行または列ごとに処理する方法では、同心円による分割を用いる方法に比較して、瞳孔の拡大や縮小に対する補正に手間がかかる。これに対しては、目の瞳孔を縮小あるいは拡大させる方法を用いることより、登録時あるいは認証時に虹彩画像を取得する際の虹彩の状態、例えば瞳孔の開き具合を一定にすればよい。
【００５６】
図８に示した発光部７０は、虹彩画像の撮像前または撮像時に光を目に照射して、瞳孔を縮小させる。これにより、異なる環境で虹彩画像を撮像する場合であっても、常に瞳孔が縮小した状態で虹彩画像を取得することができる。したがって、瞳孔の大きさを一定にするための補正が不要、あるいは簡略化することができる。例えば、折畳式の携帯電話機の認証に適用した場合、ユーザが筐体を開くときに発光部７０が発光するように制御されていてもよい。
【００５７】
このように第２実施形態によれば、虹彩画像を行や列の格子状で分割して照合を行うことにより、ＣＣＤ等からの虹彩部分の画像データの出力の完了を待たずに処理を開始すること等が可能になる。即ち、虹彩画像全体を作業メモリ領域へおく必要はなく、必要最小限の作業メモリ領域で虹彩認証が可能となる。よって、モジュールの小型化や低コスト化を実現することができる。
【００５８】
これに対し、虹彩画像を同心円で分割する場合、虹彩画像全体を記録してからそのデータを処理する必要があり、虹彩画像全体を作業メモリ領域へおくことを余儀なくされ、多大なＬＳＩ面積が必要なる。一方、ＣＣＤ等の撮像デバイスでは、行または列を基本として画像データを取得、出力等することが一般的であるため、本実施形態を容易に実現することができる。
【００５９】
（第３実施形態）
第３実施形態は、虹彩撮像の際に虹彩近傍の画像をも取り込み、それを有効に利用するものである。第３実施形態における認証装置の機能ブロックは、基本的に図８に示した機能ブロックど同様であるため省略する。
【００６０】
まず、第３実施形態における認証装置の第１動作例は、虹彩の近傍の画像を虹彩と同時または虹彩に引き続いて取得し、そこから得られる虹彩以外の情報を用いる例である。図１５は、虹彩および虹彩近傍の画像を示す。画像照合部８６は、画像バッファ８２に取り込まれた虹彩および虹彩近傍の画像内の虹彩以外の情報を利用して認証を行う。例えば、まゆげと目との距離ｄ２、瞳孔の中心から鼻下までの垂直距離ｄ３、瞳孔の中心から鼻の中心までの水平距離ｄ４、または各パーツ同士の位置関係等を上記虹彩以外の情報として用いることができる。これらの情報を予め画像登録部８８に登録しておけば、認証時に照合することができる。
【００６１】
次に、第３実施形態における認証装置の第２動作例は、虹彩の近傍の画像を虹彩と同時または虹彩に引き続いて取得し、そこから得られる虹彩以外の情報を生体検出に用いる例である。ここで、「生体検出」とは、「つくりもの」等の虹彩ではなく、「生きている人間」のものであることを検出するという趣旨である。画像照合部８６は、画像バッファ８２に取り込まれた画像内の目の形、まつげの状態、眼球の白目部分の血管形状、まゆげの形状、鼻の形、鼻の一部の形、ほくろの位置等の情報を生体検出に用いる。
【００６２】
図１６は、目全体の画像を示し、（ａ）はまつげがある目の画像を示し、（ｂ）はまつげがない目の画像を示す。例えば、画像照合部８６は、まつげがあるか否かを確認する。したがって、（ｂ）のような画像であれば、虹彩のみが写った写真等であり、生体でないと判断することができる。この確認とともにまゆげがあるか否かも確認してもよい。また、虹彩の内側にある黒い部分である瞳孔部分に反射する光のパターンが、当該認証装置に付いている照明のパターンに一致していることを確認してもよい。これらの確認処理により、偽造による「なりすまし」等の不正を防止することができる。
【００６３】
次に、第３実施形態における認証装置の第３動作例は、虹彩の近傍の画像の全部または一部を用いる認証を虹彩認証と複合的に用いる例である。画像照合部８６は、画像バッファ８２に取り込まれた画像内の目の形、まつげの状態、眼球の白目部分の血管形状、まゆげの形状、鼻の形、鼻の一部の形、ほろくの位置等の情報と虹彩から得られる情報とを複合的に用いて認証を行う。
【００６４】
例えば、目の形と虹彩画像の照合を行い、これらが両方一致した場合のみ認証成功とする。この他、目の形以外を利用してもよいし、また複合の方法も、両方一致した場合に認証するという方法以外でもよい。さらに、目の形だけでなく他の対象も加えて、２つ以上の対象を複合化してもよい。例えば、図１５に示すように、まゆげ部分１３０、目部分１３２、鼻部分１３４といった対象を用いて複合認証し、それぞれの認証がすべて成功したら認証し、いずれかが失敗すれば認証しないといった処理を行うことができる。
【００６５】
このように、虹彩といっしょに取り込んだ画像を、認証に利用することにより、容易に虹彩認証を補完することができ、高精度化を図ることができる。しかも、ユーザに対して、指紋採取のために指を撮像部３０に掲げる等の他の動作を強いるものでもない。
【００６６】
次に、第３実施形態における認証装置の第４動作例は、虹彩の近傍の画像を利用して虹彩データベースのデータを分類する例である。画像照合部８６は、画像バッファ８２に取り込まれた画像から、目の形、まつげの状態、眼球の白目部分の血管形状、眉毛の形状、鼻の形、鼻の一部の形、ほくろの位置等の情報を虹彩画像データの分類に用いる。
【００６７】
画像登録部８８は、虹彩画像データを登録する際、例えば、一重まぶたか否かによって分類して予め登録する。図１７は、まぶたが一重か否かで分類したデータベースを用いて照合する例を示すフローチャートである。画像照合部８６は、画像バッファ８２に取り込まれた画像を取得する（Ｓ１０）。そして、その画像から一重まぶたであるか否かを判定する（Ｓ１２）。一重まぶたであれば（Ｓ１２のＹ）、一重まぶたの虹彩画像データを登録しているデータベースと照合する（Ｓ１４）。一致する画像データがあれば（Ｓ１６のＹ）、照合が成功し（Ｓ１８）、一致する画像データがなければ（Ｓ１６のＮ）、照合が失敗する（Ｓ２４）。
【００６８】
ステップＳ１２において、一重まぶたでなければ（Ｓ１２のＮ）、一重以外のまぶたの虹彩画像データを登録しているデータベースと照合する（Ｓ２０）。一致する画像データがあれば（Ｓ２２のＹ）、照合が成功し（Ｓ１８）、一致する画像データがなければ（Ｓ２２のＮ）、照合が失敗する（Ｓ２４）。
【００６９】
画像照合部８６は、認証しようとした虹彩を含む目が一重まぶたであると分かれば、それ用のデータベース内の登録データとのみ照合処理を行えばよいことから、照合時間を短縮することができる。一対一の照合でももちろん照合時間の短縮が求められるが、多対一で照合する場合、特に短時間での照合が求めらる。例えば、ビルへの入室管理等の場合に登録者が１０００人規模になると、全データとの照合に多大な時間が必要になってしまう。そこで、虹彩の近傍の画像を利用することにより、ＩＤ番号入力等による対象の絞込み等を用いなくても、照合対象を絞込みすることができ、照合時間を短縮化することができる。しかも、ユーザに他の動作を強いるものでもない。
【００７０】
次に、第３実施形態における認証装置の第５動作例は、虹彩の近傍の画像を用いて虹彩上の座標軸や基準となる方向等の基準を特定する例である。図１８は、目の画像を利用して基準を決定している様子を示す。画像照合部８６は、虹彩といっしょに取り込んだ画像を利用して、目の形状の両端部分を結ぶ線を虹彩上に設定して、座標軸の基準を決定する。図１８では、目の両端を結ぶ直線と平行で、かつ瞳孔の中心を通る直線をＸ軸に、また、瞳孔の中心を垂直に通る直線をＹ軸に設定している。このＸ軸を基準に、認証時に取り込まれる虹彩画像の回転角度θ２が求められる。
【００７１】
この他にも、画像照合部８６は、まぶたの形状、まつげの状態、眼球の白目部分の血管形状、まゆげの形状、鼻の形、鼻の一部の形、ほくろの位置等あるいは、これらのうちの複数の形状と虹彩の位置関係を用いて虹彩上の位置を特定することができる。
【００７２】
第５動作例によれば、虹彩といっしょに取り込んだ画像によって基準を決定することにより、虹彩画像比較の際の基準となる座標を、登録時と認証時で容易に一致させることができ、高精度化することができる。特に、虹彩は二重の円に囲まれた部分であり、外の円の外側が白目部分、内の円の内側が黒い瞳孔部分となり、ほぼ点対象の形状である。そのため、基準となる方向をそろえて照合を行うか、または、もともと比較対象同士が互いに回転している可能性があることを考慮する必要がある。これらを考慮しないと、本人でも誤って他人と判定されてしまう可能性がある。本動作例によれば、容易に基準を一致させることができ、誤判定を防止することができる。
【００７３】
このように第３実施形態によれば、虹彩近傍の画像を虹彩の画像といっしょに取り込み、この虹彩近傍の画像を積極的に利用することにより、ユーザに煩雑な動作をさせずに、複合認証、データベースの分類、位置決め等を行うことができる。なお、顔と虹彩を１つのカメラで撮像することは、虹彩部分の画質、特に画素数を認証に耐えうるレベルにするために非常に高性能、即ち多画素の素子が必要になってしまう。しかしながら、虹彩近傍の画像ならば、比較的容易にいっしょに撮像することが可能である。例えば、カメラ付き携帯電話機を用いて、目を携帯電話機の極近くまで接近させない状態で虹彩を撮像すると、自然に目全体、まゆ、鼻の一部、ほくろ等も撮像することができる。カメラ付き携帯電話機に限らず、ＰＤＡ（Personal Digital Assistants）等の他の携帯機器も同様である。
【００７４】
以上、実施形態をもとに本発明を説明した。なお本発明はこれらの実施形態に限定されることなく、そのさまざまな変形例もまた、本発明の態様として有効である。例えば、上述した携帯機器は、携帯電話機に限るものではなく、ＰＤＡ、ＰＨＳ（Personal Handyphone System）、小型のＰＣ（Personal Computer）、デジタルカメラ等も含まれる。
【図面の簡単な説明】
【００７５】
【図１】第１実施形態における携帯機器の第１例を示す図である。
【図２】第１実施形態における認証装置の機能ブロックを示す図である。
【図３】第１撮像部から入力される顔画像と第２撮像部から入力される虹彩画像を示し、（ａ）は虹彩パターン登録時の画像を示し、（ｂ）は認証時の画像を示す図である。
【図４】第１実施形態における携帯機器の第２例を示す図である。
【図５】第２例における携帯機器の他の表示例を示す図である。
【図６】第１実施形態における携帯機器の第３例を示す図である。
【図７】図６の携帯機器でユーザの顔画像および虹彩画像を撮像している様子を示す図である。
【図８】第２実施形態における認証装置の機能ブロックを示す図である。
【図９】顔の目周辺の画像を格子状に取り込んでテンプレートを作成している様子を示し、（ａ）は取り込んだ画像が虹彩である場合を示し、（ｂ）は取り込んだ画像が虹彩でない場合を示す図である。
【図１０】取得した画像データに各種の処理を施しながらテンプレートを生成している様子を示す図である。
【図１１】画像バッファ内の画像データをひし形に補正している様子を示す図である。
【図１２】虹彩画像のメモリ行ごとに各種の処理を実行することにより、順次照合処理を実行している様子を示し、（ａ）は虹彩画像全体のテンプレートと照合している様子を示し、（ｂ）は虹彩画像の一部のテンプレートと照合している様子を示す図である。
【図１３】虹彩画像データに重み付けを行う様子を示し、（ａ）は虹彩画像データの列毎に重み付けした様子を示し、（ｂ）は虹彩画像データの行毎に重み付けした様子を示し、（ｃ）は虹彩画像データの行および列毎に重み付けをした様子を示す図である。
【図１４】虹彩の角度ずれが補正されていく過程を示す図である。
【図１５】虹彩および虹彩近傍の画像を示す図である。
【図１６】目全体の画像を示し、（ａ）はまつげがある目の画像を示し、（ｂ）はまつげがない目の画像を示す図である。
【図１７】まぶたが一重かそれ以外かで分類したデータベースを用いて照合する例を示すフローチャートである。
【図１８】目の画像を利用して基準を決定している様子を示す図である。
【符号の説明】
【００７６】
２０  第１撮像部、  ４０  第２撮像部、  ６０  表示部、  ６２  表示制御部、  ８０  処理部。
【図１】
2005334402.tif 000003
【図２】
2005334402.tif 000004
【図３】
2005334402.tif 000005
【図４】
2005334402.tif 000006
【図５】
2005334402.tif 000007
【図６】
2005334402.tif 000008
【図７】
2005334402.tif 000009
【図８】
2005334402.tif 000010
【図９】
2005334402.tif 000011
【図１０】
2005334402.tif 000012
【図１１】
2005334402.tif 000013
【図１２】
2005334402.tif 000014
【図１３】
2005334402.tif 000015
【図１４】
2005334402.tif 000016
【図１５】
2005334402.tif 000017
【図１６】
2005334402.tif 000018
【図１７】
2005334402.tif 000019
【図１８】
2005334402.tif 000020