(57)【要約】本発明は二台以上のカメラを使うとかそれに相応する方法を利用して顔のステレオ画像を得て、画像の大きさが距離によって変わってもこれを補完できるようにステレオカメラを装着した移動端末機を利用した顔認識及び/又は虹彩認識システム及び虹彩認識方法に関する。従来の多くのシステムで具現された虹彩認識方法では自動ズーム調節及び自動焦点調節機能を持つカメラを利用して虹彩画像を撮影して使っているが、ボリュ―ム及び価格的な要因を考慮すれば移動端末機に設置して使うには現実的に無理である。従って、本発明ではステレオカメラが装着された移動端末機に焦点深度が大きい短焦点レンズを設置して虹彩画像の焦点が合った合焦画像を得るようにして、使用者が虹彩画像を得るのに適切な位置ではない場合、使用者にメッセージを送って、手軽く虹彩画像を得るようにする。また、距離による画像補正作業を実施して虹彩画像の大きさが変更されても認識率が落ちないように構成した発明である。【選択図】図１
2009522683.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラ、デジタルカメラチップ及びビデオ入力ユニットを含む移動端末機を利用した虹彩認識装置であって、
前記移動端末機は、他の移動端末機、遠距離サーバー又は保安装置に登録及び保存された虹彩画像と協働して動作するものであり、
前記虹彩認識装置は、
顔及び虹彩を撮影してステレオ画像を獲得するための焦点深度が大きい短焦点レンズを具備したステレオカメラと、
前記ステレオカメラによって得られた前記ステレオ画像をデジタル信号に変換し、前記ステレオカメラと虹彩との間の距離を計算する手段と、
前記計算された距離情報を利用して焦点が合っているか否か及び虹彩の位置がカメラの撮影範囲を脱したか否かを判断して、前記ステレオ画像が個人識別に適合した虹彩画像か否かを判断する手段と、
前記ステレオ画像から虹彩領域を抽出し、さらに極座標変換法及び補完法を利用して標準化された大きさの虹彩画像を獲得する手段とを具備したステレオカメラを装着した移動端末機を利用した虹彩認識装置。
【請求項２】
前記ステレオカメラは、二つ以上のカメラを使って左側虹彩画像と右側虹彩画像を獲得するか又は一つの画像センサに二つ以上の光学レンズを利用して二つ以上の画像を一つの画像センサを通じて獲得するように構成されたことを特徴とする請求項１に記載のステレオカメラを装着した移動端末機を利用した虹彩認識装置。
【請求項３】
前記ステレオ画像を獲得する手段は、赤外線領域でカメラ感度を高めて鮮明な虹彩画像を獲得できるように特殊赤外線フィルタを機械的又は電子的に制御できるように設置して、赤外線照明を照射して虹彩の左側及び右側のステレオ画像を獲得することを特徴とする請求項１又は２に記載のステレオカメラを装着した移動端末機を利用した虹彩認識装置。
【請求項４】
虹彩認識精度を改善するためにステレオカメラを含む移動端末機を利用した虹彩認識方法において、
焦点深度が大きい短焦点レンズを具備したステレオカメラを利用して顔及び／又は虹彩のステレオ画像を獲得する段階と、
前記獲得したステレオ画像に基づいて焦点が合っているか否か及び虹彩の位置がカメラの撮影範囲を脱したか否かを判断して、前記ステレオ画像が個人識別に適合した画像か否かを判断する段階と、
獲得したステレオ画像が虹彩認識に適合した画像だと判断された場合に、前記ステレオ画像から前記ステレオカメラと虹彩との間の距離を計算する段階と、
前記距離情報を利用して虹彩画像の大きさの変化を補正するために、瞳孔の中心を基準とした同じ半径を持つ複数の円を形成し且つそれぞれの円を一定角度ごとに分割して極座標を形成する極座標変換及び補完法を利用し、標準化された大きさの虹彩画像を獲得する段階とを備えていることを特徴とするステレオカメラを装着した移動端末機を利用した虹彩認識方法。
【請求項５】
前記個人識別に適合した画像か否かを判断する段階において、獲得したステレオ画像が個人識別に適合していないと判断された場合に、獲得したステレオ画像に基づいて前記ステレオカメラを基準に使用者の虹彩の位置座標を計算した後、使用者に音声、文字又は画像で位置移動を知らせる段階をさらに含むことを特徴とする請求項４に記載のステレオカメラを装着した移動端末機を利用した虹彩認識方法。
【請求項６】
前記獲得したステレオ画像が個人識別に適合しているか否かを判断する段階は、瞳孔と虹彩が成す境界線を楕円で抽出して、抽出された楕円が虹彩以外の領域で遮られる場合に個人識別に適合していないと判断する段階をさらに含むことを特徴とする請求項４又５に記載のステレオカメラを装着した移動端末機を利用した虹彩認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカメラが装着されている携帯電話、携帯端末機或いはノートブックコンピューターなどのようなカメラ装着移動端末機で顔認識及び／又は虹彩認識を実行する方法及びシステムに関することで、もっと詳しくはステレオカメラを利用しながらもボリュ―ムを減らすことができるし、また認識率を高めるようにするステレオカメラを装着した移動端末機を利用した虹彩認識システム及び虹彩認識方法に関する。
【背景技術】
【０００２】
一般的に、既存の鍵、出入カードなどの場合盗用、紛失、複製などの余地が多くて相対的に保安性が低く、必ず携帯をしなければならないしパスワードを覚えるなどの手数が必要だと言う短所がある。そこで、するためでより保安性と便利性が高い個人識別技術に対する研究が行われている。
【０００３】
この中の１つとして生体認識システムが徐々に常用化されている。趨勢において、生体認識と言うのは人によって違う生体情報（指紋、顔、虹彩、角膜、手の模様、手の甲静脈、音声など）を抽出して判別できるようにすることとして、カメラを利用して該当の生体を撮影して認識のための情報を抽出することで、比較的に虹彩認識を通じる個人識別システムが広く利用されている。
【０００４】
虹彩を撮影するためには専用のカメラシステムを利用する。次のように、認識のために顔及び／又は虹彩画像を撮影するには大きく二つの方法がある。
【０００５】
一番目の方法は、韓国特許出願１０−２００３−０００２８２２（“ステレオ顔認識を利用した虹彩認識システム及び虹彩認識方法”）で開示されているように、顔認識用ステレオカメラを使って位置調整機能を実行した後、虹彩の正確な位置を把握して焦点が合っている虹彩画像を撮影する方法がある。
【０００６】
二番目の方法は、ＬＧ、Ｐａｎａｓｏｎｉｃ、ＯＫＩなどの各社で使っている方法のように、自動ズーム調節（Auto Zooming）及び自動焦点調整（Auto Focusing）機能を持つカメラを使って焦点が合った虹彩画像を撮影する方法がある。
【０００７】
後者の方法はカメラのボリュームが大きくなるので生産費用が上昇する短所があるから移動端末機に適用するには困難な技術として評価されている。
【０００８】
一方、最近ではカメラが装着された移動端末機が広く普及され始めており、このような移動端末機上で顔認識及び／又は虹彩認識を実行するシステムの開発及び方法に対する研究はいま手始めの段階である。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は前記のような事情を勘案して発明したもので、本発明の一番目の目的は、移動端末機上にステレオカメラを装着して顔認識及び／又は虹彩認識に適合した画像を撮影するようにしてカメラと顔の間の距離計算を通じて距離による画像の大きさの偏差を補正できるようにしたステレオカメラを装着した移動端末機を利用した虹彩認識システム及び虹彩認識方法を提供することにある。
【００１０】
本発明の二番目の目的は、使用者の顔の位置が顔及び／又は虹彩画像を撮影するのに適合していない場合、ステレオ画像から使用者の位置を計算した後、使用者に音声やその他文字又は画像で知らせて、顔認識及び／又は虹彩認識に適合した位置にカメラを手軽く動かして調整できるようにしたステレオカメラを装着した移動端末機を利用した虹彩認識システム及び虹彩認識方法を提供することである。
【００１１】
本発明の三番目の目的は、特殊赤外線フィルタを機械的又は電子的に利用して虹彩認識の時にカメラの感度（Sensitivity）を高めるようにしたステレオカメラを装着した移動端末機を利用した虹彩認識システム及び虹彩認識方法を提供することである。
【課題を解決するための手段】
【００１２】
これを実現するための本発明は、移動端末機に装着されて虹彩画像を撮影するためのステレオカメラ、前記ステレオカメラで撮影されたアナログ画像をデジタル画像に変換するデジタルカメラチップ、前記デジタルカメラチップで出力されるデジタル画像を、ビデオ入力を制御するビデオ入力ユニットを通じて受信して虹彩認識、顔認識又は虹彩認識と顔認識をするコントローラを含んで成り立っている。
【００１３】
前記において、前記ステレオカメラは二つ以上のカメラを使うか、又は一つの画像センサに二つ以上の光学レンズを利用して二つ以上の画像を一つの画像センサを通じて取得するように行われたことを特徴とする。
【００１４】
前記において、前記ステレオカメラには特殊赤外線フィルタを機械的又は電子的に制御するように設置されることと同時に、必要な時に赤外線照明をつけて、赤外線領域でカメラ感度を高めて鮮明な虹彩撮影が成り立つようになったことを特徴とする。
【００１５】
また、本発明によるステレオカメラを装着した移動端末機を利用した虹彩認識方法は、焦点深度が大きい短焦点レンズ（single-focus lens）を利用したステレオカメラを利用して顔や虹彩、又は顔と虹彩を撮影してステレオ画像を生成する段階、前記ステレオ画像が個人識別に適合しているか否かを判断する段階、前記判断段階の結果前記ステレオ画像が虹彩認識に適合した画像だと判断される場合に前記ステレオ画像からカメラと顔間の距離を計算する段階、前記距離情報を利用して画像の大きさを補正する標準化（Normalization）を実施する段階を実行して、虹彩撮影の時にカメラと顔間の距離による画像の大きさの偏差を補完して虹彩認識の正確度を高めるように成り立っている。
【００１６】
前記において、前記ステレオ画像が個人識別に適合していないと判断される場合前記ステレオ画像から使用者の位置を計算した後、使用者に音声や文字又は画像で位置移動を知らせてくれる段階を実行して、顔認識及び／又は虹彩認識するのに適合した位置でカメラを使用者が手軽く動いて調整するようにすることを特徴とする。
【００１７】
また、前記において、前記ステレオ画像が個人識別に適合しているか否かを判断する段階は瞳孔と虹彩が成す境界線を円で抽出して、抽出された円が切られる場合個人識別に適合していないことと判断するようにすることを特徴とする。
【発明の効果】
【００１８】
前記のような本発明はステレオカメラが装着された移動端末機を利用して使用者にメッセージを送って手軽く虹彩画像を得ることができ、補正された虹彩画像を得ることができるから高い認識率を持つ顔認識及び／又は虹彩認識を実行することができるようになって、既存の方法のようにボリュ―ムが大きくて高い自動ズーム調節及び自動焦点調節機能を持つカメラを利用した虹彩認識システムなしで、高い認識率を持つ顔認識及び／又は虹彩認識を小型移動端末機で実行することができると言う長所を持つ。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の望ましい一実施例に対する構成及び作用を例示図面に基づいて詳しく説明する。
【００２０】
図１は本発明による虹彩認識システムの要部構成図である。ステレオカメラ（１０）は左側と右側の目玉特に瞳孔を含む虹彩領域を撮影して、前記ステレオカメラ（１０）で撮影されたアナログ画像はデジタルカメラチップ（２０）によってデジタル画像に変換される。前記デジタルカメラチップ（２０）で出力されるデジタル画像はビデオ入力ユニット（３０）を通じてコントローラ（４０）に入力される。
【００２１】
コントローラ（４０）は移動端末機の全般的な動作を制御する手段として、本発明では前記デジタル画像から虹彩領域を抽出して、それから虹彩情報を生成して保存手段（５０）に保存する一方、既登録された基準虹彩情報と比べて同一人なの否かを確認する作用をする。同一人なのか否かを外部の他のシステムで確認する場合は虹彩認識用テンプレート（template）のみ計算して出力する。
【００２２】
前記コントローラ（４０）の出力端子にはカメラの感度を高めるための赤外線照明部（６０）が繋がれて、また使用者に案内メッセージを音声信号で出力するための音声出力部（７０）と文字で知らせるための表示部（８０）が繋がれおり、使用者が虹彩認識機能を操作するキーパッド（９０）が繋がれている。
【００２３】
前記ステレオカメラ（１０）は図２（ａ）に図示されたようにＣＣＤカメラ（１０Ａ）とＣＣＤカメラ（１０Ｂ）をステレオ方式で構成して、例えばＣＣＤカメラ（１０Ａ）では左側の目を撮影してＣＣＤカメラ（１０Ｂ）では右側の目を撮影した後、後述されるところのような虹彩認識動作を実行するようにするとか、あるいは図２（ｂ）に図示されたところのように一つのＣＣＤ（Charge Coupled Device）（１２）の領域を二つに分けてそれぞれのＣＣＤ部分に別途のプリズムレンズ（１３Ａ）（１３Ｂ）を設置して左右側の目がそれぞれのプリズムレンズ（１３Ａ）（１３Ｂ）を通じてＣＣＤ（１２）の該当の部分に映るようにすることでステレオ画像を抽出できるようにする。また、ステレオカメラ（１０）には赤外線フィルタを機械的又は電子的に駆動できるように設置されることと同時に前記赤外線照明部（６０）も電子的にターンオンできるように設置されて、使用者のキーパッド（９０）操作によってコントローラ（４０）がこれらの動作可否を制御するように設置される。
【００２４】
前記のように成り立った本発明の動作を図３に図示されたフローチャートを通じて見れば、使用者が本移動端末機を利用して虹彩認識をしようとする時、キーパッド（９０）に具備されている例えば〈スタート〉ボタンを押す等の行為を開始した後、目の位置をステレオカメラ（１０）全面の適切な所に移動させる。この時、虹彩認識機能が進行されるためには二つの方法があるのに、一番目の方法は、キーパッド（９０）で〈虹彩画像収集完了〉の意味を持つボタンを受動で押す方法があって、二番目の方法は、使用者の動きを感知することができるセンサを移動端末機に附着して自動で次の段階に移るようにする方法がある。
【００２５】
このように虹彩の撮影が完了すれば、入力された虹彩画像はビデオ入力ユニット（３０）を通じてコントローラ（４０）へ伝達される。前記コントローラ（４０）は大きく区分して三種類以上の機能を持つ。一番目の機能は入力した虹彩画像が虹彩認識に適合しているのかを判断するプリプロセッサ（Preprocessor）機能であり、二番目の機能は入力した虹彩画像を虹彩認識用テンプレートで変換する機能であり、三番目の機能は入力されたテンプレートを既登録されているテンプレートと比べて結果値を出力する機能で構成されている。
【００２６】
コントローラ（４０）の一番目の機能で、虹彩画像が虹彩認識に適合していない場合、即ち焦点が合わなくて薄暗い場合及び虹彩の位置がカメラの範囲を脱して虹彩の一部だけ収集された場合には音声出力部（６０）を通じる音声メッシュだ又は表示部（８０）のようなその他有効な手段を使って使用者に再撮影を誘導する。
【００２７】
これは虹彩画像はＣＣＤ（１２）の決まった領域内に入って来なければならないし、領域を脱すれば虹彩領域の一部が切られる現象が発生するので、この場合切られた虹彩領域での情報損失が発生されて正確な虹彩認識ができないからである。
【００２８】
虹彩画像が領域を脱する場合を判断する方法は次のようである。図４に図示されたように虹彩及び瞳孔は境界を基準で二つの丸で表現することができる。図４（ａ）は虹彩認識に適合するように抽出された画像を表しており、図４（ｂ）は虹彩認識に適合しない画像の場合として、図示されたように丸の一部が全体四角形領域を脱するから瞳孔及び虹彩領域を分析して虹彩認識に適合した画像か否かを判断することができる。
【００２９】
一方、このように決まった領域を脱する場合外にも虹彩の一部がまぶた等によって遮られる場合にも虹彩情報が損失されるので、この場合は物理的な方法で目を大きく開く方法で解決しなければならない。使用者がカメラにあまり身近にいるとか遠くいる場合にも決まった領域を脱する場合であり、ステレオカメラを使うからこのような場合にも容易く判断できる。
【００３０】
虹彩画像が領域を脱する場合には前記の方法などを使ってその状況を感知した後、くだんのように音声出力部（７０）又は表示部（８０）を通じて適切な音声メッセージや文字メッセージ等を出力して使用者の位置を移動させる方法を使うことができる。
【００３１】
そして、三番目の機能で、既存に登録されたテンプレートは移動端末機の目的に従って移動端末機内部の保存手段に保存されたことかも知れなくて、或いは移動ネットワーク機能を通じて遠距離サーバーに接続して受信することかも知れない。このような遠距離サーバーに保存された登録テンプレートを利用する場合にはデータ送信量を減らすために虹彩認証のために撮影して生成したテンプレートをサーバー側に送ってその結果値を渡されることもできる。
【００３２】
図５はステレオカメラから対象物の間の距離を計算する方法を説明するための図面である。ステレオカメラ（１０）を構成するＣＣＤカメラ（１０Ａ）（１０Ｂ）を利用してステレオ顔画像を撮影してカメラと顔又は虹彩間の距離を計算する方法と、焦点深度が大きい短焦点レンズを使うことによって距離による虹彩画像の大きさ偏差を補正する方法が必要であり、これを図５に基づいて説明する。
【００３３】
ステレオ画像を通じて右目と左目の中心の間のＸ軸上の距離を測定することでカメラから対象物即ち、目までの距離を評価できるようになる。即ち、等しい物体に対してお互いに違う観点から見た二つの画像を通じて3次元的な位置を把握することができるのである。
【００３４】
これを数式化するためにいくつかの用語を定義すれば次のようである。左側の画像をＬ-image、右側の画像をＲ-imageにして、これを合してステレオ双(stereo-pair)と定義する。そしてＬ-imageとＲ-imageは物体表面の等しい地点を示しているのでこれを対応点（corresponding point）と表現する。例えば、図５のように、空間上に位置するＡ地点に対してＲ-imageではＲ点として、Ｌ-imageではＬ点として表示される。従ってＬとＲは対応点になる。同じく、Ａ地点が移動した空間上のＢ支店からＬ´とＲ点を求めることができる。
【００３５】
この時、事前にカメラキャリブレーション（calibration）過程を通じて距離測定に対する参照データを予め求めておいた場合、このようなＬ-imageの一点での不一致とＲ-image上の対応点を通じて距離を測定することができる。
一般的に表示すれば次のようである。
【数１】
2009522683.tif 000003
【００３６】
ここで、ＤＸとＤＹは投影された値であり、ＯＸとＯＹ軸上でＲ−ｉｍａｇｅに対するポイント（ｘ，ｙ）の不一致を表している。Ｌ（ｘ，ｙ）はＲ（ｘ，ｙ）はそれぞれＬ−ｉｍａｇｅ、Ｒ−ｉｍａｇｅを表しておりＮ（ｘ，ｙ）は光と影などの条件によって発生した雑音及び変化された状態などを表す関数である。
【００３７】
図５で目的平面（objective plane）OXYはカメラレンズに対して垂直であり、カメラから適切な距離において、ｌで表示することにする。ｚ＝ζ（ｘ，ｙ）は表面を評価するためのフィールドを表しており、ｚは目的表面（ｚ＝０）からの距離を表している。対象物の特定地点に対する距離の偏差はΔｌ＝ζ（ｘ，ｙ）  で表している。目的表面上の点は基礎的な不一致（basic disparity）ｄθで登録される。そういういくつかの点に対する不一致値の偏差はΔdを表している。目的表面はＢ地点を含む。この場合Ｂによって基礎的な不一致が発生する（ｄθ=Ｌ´-Ｒ）。
【００３８】
A地点は目的平面上に置かれていないし、実際にそれの不一致は他の値を持つ（ｄA＝Ｌ−Ｒ）。普通、表面上の特徴点の間の距離は対象物とカメラの間の距離よりもっと小さい。従ってこのような関係は次のように表すことができる。
【数２】
2009522683.tif 000004
【００３９】
これから距離を評価する公式は次のように誘導される。
【数３】
2009522683.tif 000005
【００４０】
図６は本発明によって距離による虹彩画像の大きさの偏差を標準化する方法を説明するための図面である。虹彩画像の内部境界と外部境界の間のデータは極座標（polar coordinate）方法によって変換される。
【００４１】
図６のように、虹彩の内部境界と外部境界は中心が必ず一致する必要はないし、それぞれはｍ個の等しい間隔を持つ角度で分割される。またｉ番目内部境界セグメントからｉ番目外部境界セグメントで求められる画像セグメントはｎ個の放射状（radial）のサンプルで分けられる。このようなｐ（ｒ，θ）で表示されるそれぞれのサンプルは双一次補完（bilinear interpolation）方法などによって計算される。
【００４２】
この時基準になる０度は６時方向に表示して、瞳孔の中心からすぐ下側方向を示して、角度を半時計方向で徐々に増加させる。そして０渡である場合内部境界に一番近接したピクセルから下位住所で表示して、次に位置したピクセルは等しい半径を持つ円に対して角度を徐々に増加させながら求める。このような過程は一つの丸が終わるまで繰り返される。
【００４３】
その次の過程は、次の大きさの半径を持つ円に対して等しい過程を繰り返すようになる。即ち、極座標方法によって求められたデータはすべてｎ×ｍ個のサンプルとして表示することができるようになる。ベースサイズ（Base Size）を求める簡単な公式は次のようである。
Ｂ＝Ｋ／（Ｄ−Ｄ０）
【００４４】
ここでＤは顔の位置調整過程で測定されたカメラから目までの距離であり、ＫとＤ０はカメラのキャリブレーション（Calibration）過程で評価された定数値である。
【図面の簡単な説明】
【００４５】
【図１】本発明による虹彩認識システムの要部構成図である。
【図２】本発明によるステレオカメラの実施例を示した図面である。
【図３】本発明による虹彩認識方法を説明するためのフローチャートである。
【図４】本発明によって撮影された虹彩画像が個人識別に適切か否かを説明するための図面である。
【図５】本発明によってステレオカメラから対象物の間の距離を計算する方法を説明するための図面である。
【図６】本発明によって距離による虹彩画像の大きさ偏差を標準化する方法を説明するための図面である。
【符号の説明】
【００４６】
１０  ステレオカメラ、    １０Ａ、１０Ｂ  ＣＣＤカメラ、    １２  ＣＣＤ、    １３Ａ、１３Ｂ  プリズムレンズ、    １４  赤外線フィルタ、    ２０  デジタルカメラチップ、    ３０  ビデオ入力ユニット、    ４０  コントローラ、    ５０  保存手段、    ６０  赤外線照明部、    ７０  音声出力部、    ８０  表示部、    ９０  キーパット
【図１】
2009522683.tif 000006
【図２】
2009522683.tif 000007
【図３】
2009522683.tif 000008
【図５】
2009522683.tif 000009
【図６】
2009522683.tif 000010
【図４】
2009522683.tif 000011
【国際調査報告】
2009522683.tif 000012
2009522683.tif 000013