(57)【要約】【課題】ライン毎に検出された画像データを検出する画像検出方法、及び、画像処理方法、画像検出装置、並びに、情報処理装置関し、撮像対象の画像を歪みなく再構成できる画像検出方法、及び、画像処理方法、画像検出装置、並びに、情報処理装置を提供することを目的とする。【解決手段】本発明はライン毎に供給される画像データ（Ｌt-1、Ｌt）に基づいて撮像対象に移動情報を検出する画像検出方法であって、所定ライン分の画像データ（Ｌt-1、Ｌt）を取得し、取得した所定ライン分の画像データを比較して、その比較結果に基づいて撮像対象の移動情報（Ｘt、Ｙt）を取得することを特徴とする。【選択図】図２
2007179444.tif 000002
【特許請求の範囲】
【請求項１】
ライン毎に供給される画像データに基づいて撮像対象に移動情報を検出する画像検出方法であって、
所定ライン分の画像データを取得する画像データ取得手順と、
前記画像データ取得手順で取得した所定ライン分の画像データを比較する比較手順と、
前記比較手順の比較結果に基づいて前記撮像対象の移動情報を取得する移動情報取得手順とを有することを特徴とする画像処理方法。
【請求項２】
前記画像データ取得手順は、２ライン毎に画像データを取得し、
前記比較手順は、前記画像データ取得手順で取得した２ラインの画像データを比較し、
前記移動取得手順は、前記比較手順の比較結果に基づいて前記撮像対象の移動情報を取得することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記画像データ取得手順は、１ライン毎に画像データを取得し、
前記比較手順は、前記画像データ取得手順で今回取得したラインの画像データと前回取得したラインの画像データを比較し、
前記移動取得手順は、前記比較手順の比較結果に基づいて前記撮像対象の移動情報を取得することを特徴とする請求項１記載の画像処理方法。
【請求項４】
前記画像データを前記移動情報取得手順で取得された移動情報により修正しつつ、前記撮像対象の画像を再構成する画像再構成手順を有することを特徴とする請求項１記載の画像処理方法。
【請求項５】
前記移動情報取得手順で取得された移動情報により表示画面上に表示されたカーソル又はポインタを移動させることを特徴とする請求項１記載の画像処理方法。
【請求項６】
ライン毎に供給される画像データに基づいて撮像対象に移動情報を検出する画像検出装置であって、
所定ライン毎に画像データを検出する画像検出手段と、
前記画像検出手段で検出された所定ライン分の画像データを比較し、その比較結果に基づいて前記撮像対象の移動情報を取得する画像処理手段とを有することを特徴とする画像検出装置。
【請求項７】
前記画像検出手段は、２ライン毎に画像データを検出し、
前記画像処理手段は、前記画像データ取得手順で取得した２ラインの画像データを比較し、その比較結果に基づいて前記撮像対象の移動情報を取得することを特徴とする請求項６記載の画像検出装置。
【請求項８】
前記画像検出手段は、１ライン毎に画像データを取得し、
前記画像処理手段は、前記画像データ取得手順で今回取得したラインの画像データと前回取得したラインの画像データを比較し、その比較結果に基づいて前記撮像対象の移動情報を取得することを特徴とする請求項６記載の画像検出装置。
【請求項９】
前記画像処理手段は、前記画像検出手段で検出した画像データを前記移動情報取得手順で取得した移動情報に基づいて移動させて、前記撮像対象の画像を再構成することを特徴とする請求項６記載の画像検出装置。
【請求項１０】
前記画像処理手段で取得された移動情報に基づいて表示画面上に表示されたカーソル又はポインタを移動させることを特徴とする請求項６記載の画像検出装置を用いた情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検出方法、及び、画像処理方法、画像検出装置、並びに、情報処理装置に係り、特に、ライン毎に検出された画像データを検出する画像検出方法、及び、画像処理方法、画像検出装置、並びに、情報処理装置に関する。
【背景技術】
【０００２】
近年、セキュリティの観点から、コンピュータ等の電子機器、携帯電話等の携帯通信機器において個人認証のために手の指の指紋を識別する指紋センサを備えることが要求されている。
【０００３】
指紋画像を得るための光の観点で見ると、指紋センサは、指の表面で反射した光を利用する方式と、指の内部で散乱して指の表面から出る指内散乱光を利用する方式とに大別される。
【０００４】
また、面画像である指紋画像の取得の方式の観点でみると、指紋センサには、受光素子がマトリクス状に並んでおり、指先を押し付ければ面画像が得られるエリア型指紋センサと、受光素子が直線状に並んでおり、指先を押し付けつつスライドさせることによって、各時点で線画像を得て、この線画像から面画像を得るライン型指紋センサとがある。
【０００５】
ここで、指紋センサとしては、信頼性が十分で製造コストが低いことの他に、携帯通信機器のように小型の機器にも組み込めるように、サイズが出来るだけ小さいことが要求される。
【０００６】
指内散乱光方式の指紋センサは、通常、光を指先に当てる光源と、光センサと、指先からの光を光センサに導く導光イメージガイド部材を有する構成である（特許文献１参照）。
【０００７】
このような原理を用いたライン型指紋検出装置では、基板上に発光素子及びイメージセンサを搭載し、さらに、発光素子上に導光ブロックを搭載し、イメージセンサ上にイメージガイドを搭載した後に樹脂モールドして検出面を形成していた（特許文献２参照）。
【特許文献１】米国特許 ４，９３２，７７６号公報
【特許文献２】特開２００５−２２７４９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかるに、従来の指紋検出装置では、十分な画像組立精度、認証精度が得られていなかった。また、従来の指紋検出装置では、小型化についても考慮されていなかった。さらに、指紋画像を検出する機能しか設けられていなかった。
【０００９】
本発明は、画像組み立て精度を改善し、認証精度を上げることができ、また、小型化が可能であり、さらに、機能性の高い画像検出方法、及び、画像処理方法、画像検出装置、並びに、情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明はライン毎に供給される画像データ（Ｌt-1、Ｌt）に基づいて撮像対象に移動情報を検出する画像検出方法であって、所定ライン分の画像データ（Ｌt-1、Ｌt）を取得し、取得した所定ライン分の画像データを比較して、その比較結果に基づいて撮像対象の移動情報（Ｘt、Ｙt）を取得することを特徴とする。このとき、例えば、２ライン毎に画像データ（Ｌt-1、Ｌt）を取得し、取得した２ラインの画像データ（Ｌt-1、Ｌt）の比較結果に基づいて撮像対象の移動情報（Ｘt、Ｙt）を取得することを特徴とする。また、１ライン毎に画像データを取得し、今回取得したラインの画像データと前回取得したラインの画像データを比較し、その比較結果に基づいて撮像対象の移動情報を取得することを特徴とする。
【００１１】
また、本発明は、画像データを取得した移動情報により移動させて、撮像対象の画像を再構成したり、表示画面上に表示されたカーソル又はポインタを移動させることを特徴とする。
【００１２】
なお、上記参照符号は、あくまでも参考であり、これによって、特許請求の範囲の記載が限定されるものではない。
【発明の効果】
【００１３】
本発明によれば、ライン毎に供給される画像データから撮像対象の画像を歪みなく検出することが可能となる。
【発明を実施するための最良の形態】
【００１４】
〔構成〕
図１は本発明の一実施例のブロック構成図を示す。
【００１５】
本実施例の情報処理装置１００は、スイープ型指紋センサ１１１、ホスト装置１１２から構成されている。
【００１６】
スイープ型指紋センサ１１１は、イメージガイド１２１、ラインセンサ１２２、コントローラ１２３、ホストインタフェース１２４などから構成されている。ラインセンサ１２１は、イメージガイド１２１を通して供給される画像を１ライン又は２ライン毎に電気信号に変換する。ラインセンサ１２１で変換された電気信号は、コントローラ１２３に供給される。コントローラ１２３は、ラインセンサ１２１からの電気信号をディジタルデータに変換し、バッファリングする。コントローラ１２３にバッファリングされたデータは、ホストインタフェース１２４を介してホスト装置１１２に供給される。
【００１７】
ホスト装置１１２は、インタフェース１３１、ＣＰＵ１３２、メモリ１３３、記憶装置１３４、入力装置１３５、表示装置１３６から構成されている。
【００１８】
インタフェース１３１は、指紋センサ１１１とのインタフェースを取り、指紋センサ１１１から供給されたデータを受信する。ＣＰＵ１３２は、記憶装置１３４にインストールされた画像組立プログラムに基づいて指紋センサ１１１から供給されたライン毎のデータから指紋画像を再構成する。また、ＣＰＵ１３２は、指紋センサ１１１を用いたポインティングプログラムにより、指紋センサ１１１の操作に応じて表示装置１３６に表示されているポインタを移動させる処理を行なう。なお、メモリ１３３は、ＣＰＵ１３２の作業用記憶領域として作用しており、指紋画像を再構成する画像メモリを含んでいる。さらに、記憶装置１３４は、ハードディスクドライブなどから構成されており、ＣＰＵ１３２で実行される画像組立プログラム及びポインティングプログラムが予めインストールされている。
〔画像組立処理〕
次に、画像組立処理について説明する。ここでは、ラインセンサ１２２が１ラインずつ画像を検出する構成とされている場合の処理について説明する。
【００１９】
図２は指紋検出時の処理フローチャートを示す。
【００２０】
ＣＰＵ１３２は、ステップＳ１−１で、指紋認証指示があると、ステップＳ１−２で指紋センサ１１１に駆動指示を行なう。
【００２１】
指紋センサ１１１は、ホストインタフェース１２４でホスト装置１１２からの駆動指示を受信する。ホストインタフェース１２４は、ホスト装置１１２からの駆動開始指示を受信すると、コントローラ１２３を起動させる。コントローラ１２３は、ラインセンサ１２２を制御し、１ラインの画像を１００μｓｅｃ毎に取得する。
【００２２】
なお、このとき、コントローラ１２３は、Ａ／Ｄコンバータ１２３ａ及びフレームメモリ１２３ｂを内蔵している。Ａ／Ｄコンバータ１２３ａは、ラインセンサ１２２からの電気信号を８ビットのディジタルデータに変換する。コントローラ１２３は、Ａ／Ｄコンバータ１２３ａで変換されたディジタルデータをフレームメモリ１２３ｂに格納する。なお、このとき、コントローラ１２３に内蔵されたフレームメモリ１２３ｂは２フレーム（２５６×２×２＝１０２４バイト）の画像が格納可能とされている。
【００２３】
コントローラ１２３は、内蔵されたフレームメモリ１２３ｂ内の２つのフレーム、すなわち、２ラインの画像データを比較し、フレーム間のＸ、Ｙ方向の移動量＋１、−１、０ドットを計算し、ホストインタフェース１２４に出力する。
【００２４】
ホストインタフェース１２４は、コントローラ１２３で検知された移動量及びラインｌのデータを対応付けてホストに出力する。
【００２５】
ホストインタフェース１２４は、時刻ｔ（ｔ＝０、・・・・）に出力されたラインｌのデータＬt、時刻（ｔ−１）から時刻ｔの間のＸ方向の移動量Ｘt、Ｘ方向に直交するＹ方向の移動量Ｙtを出力する。なお、このとき、時刻ｔ＝０における移動量Ｘ0、Ｙ0は０とする。
【００２６】
ホスト装置１１２のＣＰＵ１３２は、ステップＳ１−３で指紋センサ１１１から１ライン分の画像データ及びその前のラインからの移動量のデータを受信すると、ステップＳ１−４で受信した１ラインの画像データ及び移動量のデータに基づいて画像を組み立てる画像組立処理を実行する。
【００２７】
ＣＰＵ１３２は、画像組立後、ステップＳ１−５で既登録指紋画像を読み出し、組立指紋画像と比較する。ＣＰＵ１３２は、ステップＳ１−６で既登録指紋画像の中に組立指紋画像と一致するものがあれば、ステップＳ１−７で要求された処理を許可する。また、ＣＰＵ１３２は、ステップＳ１−６で既登録指紋画像の中に組立指紋画像と一致するものがなければ、ステップＳ１−８でユーザにエラー通知を行なう。
【００２８】
ここで、画像組立処理について説明する。
【００２９】
画像組立処理においては、最初の１ライン画像データＬ0は無条件に採用する。また、今回取得された画像データＬtは例えば、メモリ１３３に設定された画像メモリ上において前回取得された画像データＬt-1に対して移動量Ｘt、Ｙtだけ移動した位置に格納する。
【００３０】
図３、図４、図５は画像組立処理の動作説明図処理を示す。
【００３１】
まず、移動量Ｘtによる格納動作について説明する。
【００３２】
移動量Ｘtが「０」の時には、図３（Ａ）に示すように前回取得された画像データＬt-1に対してＸ方向にずれないように今回取得された画像データｔを画像メモリに格納する。
【００３３】
また、移動量Ｘtが「-１」の時には、図３（Ｂ）に示すように前回取得された画像データＬt-1に対してＸ＋方向に「１」画素ずらした位置に画像データＬtを格納する。
【００３４】
さらに、移動量Ｘtが「+１」の時には、図３（Ｃ）に示すように前回取得された画像データＬt-1に対してＸ−方向に「１」画素ずらした位置に画像データＬtを格納する。
【００３５】
次に、移動量Ｙtによる格納動作について説明する。
【００３６】
移動量Ｙtが「０」の時には、図４に示すように今回取得された画像データＬty(0)を前回取得された画像データＬt-1に対してＹ方向に１画素ずれた位置に格納する。
【００３７】
また、移動量Ｙtが「-１」の時には、図４に示すように今回取得された画像データＬty(-1)を前回取得された画像データＬt-1に対してＹ-方向に「１」画素ずれた位置に格納する。
【００３８】
さらに、移動量Ｙtが「−１」の時には、図４に示すように今回取得された画像データＬty(+1)を前回取得された画像データＬt-1に対してＹ＋方向に「１」画素ずれた位置に格納する。
【００３９】
なお、画像メモリを超える分については指先端側の画像データを優先する。そこで、図５に示すように指先端側の画像データＬy(+1)が画像メモリを越えた場合、指根元側の画像データＬ0の記憶領域に指先端側の画像データである旨のポインタを設定して、上書きする。また、図５に示すように指根元側にはみ出した画像データＬ-1については破棄する。
【００４０】
なお、ＣＰＵ１３２は、上記画像組立処理をスイープが終了するまで実行する。
【００４１】
以上により、例えば、指がラインセンサに対して斜めにスイープされても指がラインセンサに対して直交した状態で、手前にスイープされたように取得した画像を補正しつつ、再構成できる。よって、スイープ状態によらない指紋画像を取得することができる。
〔変形例〕
なお、上記画像組立処理は、ラインセンサが２ラインの構成の指紋センサによるものであったが、ラインセンサが１ラインの構成の指紋センサを用いて前回取得したラインの画像データと今回取得したラインの画像データとを用いて移動情報を決定するようにしてもよい。
【００４２】
本変形例では、指紋センサ１１１からは、１ライン毎に画像データが供給され、ホスト装置１１２で移動情報を決定するとともに、指紋画像の再構成を行なっている。
【００４３】
まず、指紋センサ１１１は、ホスト装置１１２からの駆動開始指示をホストＩＦが受信すると、ホストＩＦはコントローラを起動させる。コントローラは、ラインセンサを制御して、ライン画像を４００μｓｅｃ毎に取得する。ホストＩ／Ｆは、内部ＦＩＦＯ（２Ｋバイト＝７ライン分）を経由してホストへライン画像を４００μｓｅｃ毎に出力する。なお、このとき、時刻ｔ（ｔ＝０・・・）で取得されたラインをＬtとして出力する。
【００４４】
ホスト装置１１２は、ホストＩＦから供給されたライン画像データに基づいて画像を組み立てる。このとき、以下のａ)、ｂ）、ｃ）の条件を用いて指紋画像を再構成する。
【００４５】
ａ）画像データＬ0は無条件に採用する。ｓ＝０、ｔ＝０とする。
【００４６】
ｂ）次に、ｔ＝ｔ＋１とし、Ｌtを取得する。
【００４７】
ｃ）データＬsとデータＬtについて隣接するデータの差分の和Ｓｕｍの計算を行なう。  
【００４８】
【数１】
2007179444.tif 000003
なお、Ｌs(i)、Ｌt(i)はピクセルｉ（i＝０〜２５５）のＡ／Ｄ変換値である。
【００４９】
ｄ）Ｓｕｍ-1、Ｓｕｍ0、Ｓｕｍ+1のうちの最小値Ｓｕｍnが閾値を超えているときには、データＬtを採用し、ｓ＝ｔとする。
【００５０】
このとき、データＬtは画像メモリ上でデータＬsの次のライン位置に配置し、かつ、左右方向にｎピクセルずらせて配置する。
【００５１】
スイープが終了するまで、ｂ）、ｃ）、ｄ）を繰り返す。
【００５２】
なお、画像メモリを超える分については、次の１）〜３）の条件を適用する。
【００５３】
１）指先端側の画像を優先する。そこで、指先端側の画像であれば、指根元側の画像に指先端側の画像である旨のポインタを設定して、上書きするようにする。
【００５４】
２）指根元側にはみ出した分については破棄する。
【００５５】
３）左右方向にはみ出した分については破棄する。
【００５６】
以上により、指紋センサ１１１から供給された１ラインの画像データから指紋画像を再構成できる。
〔他の変形例〕
なお、上記実施例では、指紋センサにより指紋を検出する用い方について説明を行なったが、指紋センサで取得した移動量のデータによって指紋センサをポインティングデバイスとして構成することも可能である。
【００５７】
図６はポインティングデバイスとして用いるときの指紋センサ１１１の処理フローチャートを示す。
【００５８】
まず、処理部は、ステップＳ２−１で現在の２ライン分の画像を取得する。次に、処理部は、ステップＳ２−２で前回の２ライン分の画像のうち予め決められた比較対象部分の画像を読み出す。処理部は、ステップＳ２−３で前回の２ライン分の画像と現在の２ライン分の画像とを比較してその一致数、マッチング量を算出する。
【００５９】
処理部は、ステップＳ２−４でマッチング量が所定の範囲内であれば、ステップＳ２−５でマッチング量に応じて指の移動方向を判定する。処理部はステップＳ２−５の判定結果、ステップＳ２−６で指が左右方向に移動していると判定すると、ステップＳ２−７でＸ値カウンタを加減算する。例えば、指が右方向に移動していればＸ値カウンタを減算し、左方向に移動していればＸ値カウンタを加算する。
【００６０】
また、処理部は、ステップＳ２−５の判定結果、ステップＳ２−７で指が前向に移動していれば、ステップＳ２−８でＹ値カウンタを加算し、ステップＳ２−５の判定の結果、後方に移動していれば、ステップＳ２−８でＹ値カウンタを減算する。
【００６１】
さらに、処理部は、ステップＳ２−５での判定結果、指が移動していないとき、及び、ステップＳ２−４でのマッチング量が所定範囲外のときには、ステップＳ２−９で指が静止状態であると判定してＸ値カウンタ及びＹ値カウンタの加減算は行なわない。
【００６２】
次に、処理部は、ステップＳ２−１０でＸ値カウンタ及びＹ値カウンタのカウンタ値がホスト装置に読み出されると、ステップＳ２−１１でＸ値カウンタ及びＹ値カウンタをクリアする。
【００６３】
次に処理部は、ステップＳ２−１２で静止状態か否かを判定する。処理部はステップＳ２−１１で静止状態であると判定されたときには、比較対象となる画像データの更新は行なわず、ステップＳ２−１に戻って処理を続ける。また、処理部は、ステップＳ２−１２で静止状態でないときには、ステップＳ２−１３で比較対象の画像データを抽出し、保存し、ステップＳ２−１に戻って処理を続ける。
【００６４】
上記処理により、指の移動方向及び移動量を検出できる。
【００６５】
図７はホストインタフェースの処理フローチャートを示す。
【００６６】
ホストインタフェースは、ステップＳ３−１でホスト装置１１２からアクセスがあると、ステップＳ３−２で処理部で取得したＸ値及びＹ値をホスト装置１１２に送信する。
【００６７】
ホスト装置１１２は、指紋センサ１１１から供給されたＸ値に応じてカーソルを画面のＸ軸方向に移動させる。また、ホスト装置１１２は、指紋センサ１１１から供給されたＹ値に応じてカーソルを画面のＹ軸方向に移動させる。
【００６８】
以上により、指紋センサ１１１を用いてカーソルの移動が可能となる。
【００６９】
なお、本実施例では、スイープ型指紋センサ１１１により取得されたイメージデータを処理する例について説明したが、指紋のイメージに限定されるものではなく、他に静脈などであってもよく、要は、ライン毎に検出された画像データを検出する場合に適用可能である。
【００７０】
上記実施例によれば、画像組み立て精度を改善し、認証精度を上げることができる。
【００７１】
また、装置内部で組み立て処理を行うことで、ホストへ送信するデータ量を減らし、これにより、ホストの負荷を下げ、認証処理に必要なハードウェアのコストを下げることができる。
【００７２】
さらに、指紋画像検出機能を用いて指紋画像の取得及びポインティングデバイスの二つの機能を実現することで、搭載される装置全体を小型化でき、デザイン上の制約を緩和することができる。
【図面の簡単な説明】
【００７３】
【図１】本発明の一実施例のシステム構成図である。
【図２】指紋検出時の処理フローチャートである。
【図３】画像組立処理の動作説明図処理である。
【図４】画像組立処理の動作説明図処理である。
【図５】画像組立処理の動作説明図処理である。
【図６】ポインティングデバイスとして用いるときの指紋センサ１１１の処理フローチャートである。
【図７】ホストインタフェースの処理フローチャート
【符号の説明】
【００７４】
１１１  指紋センサ、１１２  ホスト装置
１２１  イメージガイド、１２２  ラインセンサ、１２３  コントローラ
１２４  インタフェース
１３１  インタフェース、１３２  ＣＰＵ、１３３  メモリ、１３４  記憶装置
１３５  入力装置、１３６  表示装置
【図１】
2007179444.tif 000004
【図２】
2007179444.tif 000005
【図３】
2007179444.tif 000006
【図４】
2007179444.tif 000007
【図５】
2007179444.tif 000008
【図６】
2007179444.tif 000009
【図７】
2007179444.tif 000010