(57)【要約】【課題】  認証精度を向上させることができる画像処理が可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。【解決手段】  画像処理装置は、タッチパネルに接触しながら移動する生体を撮影することで得られる生体画像から画素の飽和領域を検出する飽和領域検出部と、前記飽和領域検出部による検出結果に応じて、前記生体画像または前記生体画像から抽出された生体特徴のスケールを補正する補正部と、を備える。【選択図】  図６
2020126302.tif 000002
【特許請求の範囲】
【請求項１】
タッチパネルに接触しながら移動する生体を撮影することで得られる生体画像から画素の飽和領域を検出する飽和領域検出部と、
前記飽和領域検出部による検出結果に応じて、前記生体画像または前記生体画像から抽出された生体特徴のスケールを補正する補正部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記補正部は、前記飽和領域検出部によって前記飽和領域が検出された場合、固定の倍率を用いて前記生体画像または前記生体特徴を縮小することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記補正部は、前記飽和領域の大きさに応じた倍率を用いて前記生体画像または前記生体特徴を縮小することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記生体画像から手のひら領域を抽出する抽出部を備え、
前記飽和領域検出部は、前記手のひら領域において、前記飽和領域を検出することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項５】
前記タッチパネル上での前記生体の移動量と、前記生体画像における前記生体の移動量とに基づいて、前記生体画像を取得する撮影装置と前記生体との距離を検出する距離検出部を備えることを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
前記距離検出部は、前記飽和領域検出部によって前記生体画像に前記飽和領域が検出されなかった場合に、前記撮影装置と前記生体との距離を検出することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記補正部は、前記距離検出部による距離検出の可否と、前記飽和領域検出部による検出結果とに応じて、前記生体画像または前記生体特徴のスケールを補正する場合の倍率を変更することを特徴とする請求項５記載の画像処理装置。
【請求項８】
飽和検出部が、タッチパネルに接触しながら移動する生体を撮影することで得られる生体画像から画素の飽和領域を検出し、
補正部が、前記飽和領域検出部による検出結果に応じて、前記生体画像または前記生体画像から抽出された生体特徴のスケールを補正する、ことを特徴とする画像処理方法。
【請求項９】
コンピュータに、
タッチパネルに接触しながら移動する生体を撮影することで得られる生体画像から画素の飽和領域を検出する処理と、
前記飽和領域の検出結果に応じて、前記生体画像または前記生体画像から抽出された生体特徴のスケールを補正する処理と、を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本件は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
小型のモバイル端末等でも利用可能な生体認証の開発が進められている。モバイル端末の多くは、端末を手で保持して端末に備えられたタッチパネル等を操作する使い方がなされる。このようなモバイル端末特有の構造を利用し、タッチパネルに表示された操作用のガイドをなぞらせることで、生体の姿勢を安定させた状態で、照合に必要な生体特徴を読み取ることができる。
【０００３】
一方、登録生体画像と照合生体画像との間で、撮影時の撮影装置からの距離が異なると画像の縮尺度の整合が求められる。これに対応するため、生体のタッチパネル上の移動量と画像上の移動量との関係から、撮影装置から生体までの距離を推定し、推定した距離に応じて、両画像でスケールの整合を行うことで、認証精度を担保する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１３６１３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮影装置と生体とが近い場合、照明光の強度が強くなって画像上に白飛びが生じ、距離検出が困難になる。その結果、認証精度が低下する。
【０００６】
１つの側面では、本発明は、認証精度を向上させることができる画像処理が可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
１つの態様では、画像処理装置は、タッチパネルに接触しながら移動する生体を撮影することで得られる生体画像から画素の飽和領域を検出する飽和領域検出部と、前記飽和領域検出部による検出結果に応じて、前記生体画像または前記生体画像から抽出された生体特徴のスケールを補正する補正部と、を備える。
【発明の効果】
【０００８】
認証精度を向上させることができる画像処理を可能とする。
【図面の簡単な説明】
【０００９】
【図１】（ａ）〜（ｃ）は画像に生じる白飛びを説明するための図である。
【図２】（ａ）〜（ｃ）は距離とスケールとの関係を説明するための図である。
【図３】白飛びを説明するための図である。
【図４】（ａ）は実施例１に係る画像処理装置のハードウェア構成を説明するためのブロック図であり、（ｂ）は画像処理プログラムの実行によって実現される各機能のブロック図である。
【図５】画像処理装置が実行するフローチャートを例示する図である。
【図６】実施例１の概略を説明するための図である。
【図７】手のひら領域の抽出を例示する図である。
【図８】（ａ）は実施例２に係る画像処理装置が実行するフローチャートを例示する図であり、（ｂ）はテーブルに格納されているテーブルを例示する図である。
【図９】実施例３に係る画像処理装置が実行するフローチャートを例示する図である。
【発明を実施するための形態】
【００１０】
実施例の説明に先立って、画像の一部に生じる白飛びについて説明する。図１（ａ）は、画像処理装置２００を例示する図である。図１（ａ）で例示するように、画像処理装置２００は、タッチパネル２０１および生体センサ２０２を備える。生体センサ２０２には、ＬＥＤなどの照明と撮影装置とが備わっている。
【００１１】
例えば、図１（ａ）で例示するように、タッチパネル２０１の画面に、認証用ガイドが表示される。図１（ａ）の例では、２本の認証用ガイドが表示されている。画像処理装置２００のユーザは、図１（ｂ）および図１（ｃ）で例示するように、この２本の認証用ガイド上を、指定された２本の指でなぞる。例えば、ユーザは、親指と人差し指の２本の指を認証用ガイドのそれぞれに接触させ、ガイドの指示（例えば矢印）に沿って手を移動させる。この場合、ユーザの手のひらがタッチパネル２０１に対向された状態で移動することになる。
【００１２】
生体センサ２０２の照明は、手のひらに光を照射する。生体センサ２０２の撮影装置は、手のひらからの反射光を利用して、手のひらを撮影する。具体的には、生体センサ２０２の撮影装置は、分割した画像を連続的に撮影することで、手のひらの所定の範囲を撮影する。画像処理装置２００は、撮影された手のひらから生体特徴を読み取る。
【００１３】
しかしながら、手のひらの大きさ、指の長さの個人差や、異なる日での操作によって手のひらの高さが不安定になるため、手のひらの高さにバラツキが生じる。例えば、図２（ａ）は、手のひらと生体センサ２０２の撮影装置との距離が適正値である場合を例示する図である。図２（ｂ）は、手のひらと生体センサ２０２の撮影装置との距離が適正値と比較して小さい場合を例示する図である。
【００１４】
図２（ａ）の場合がユーザの生体特徴の登録時で、図２（ｂ）の場合が当該ユーザの認証時であれば、図２（ｃ）で例示するように、照合用の生体画像から検出された距離に応じて照合用の生体画像または当該生体画像から抽出された生体特徴を縮小する処理を行う。それにより、登録用の生体画像と照合用の生体画像との間で、スケールが整合して照合が可能となり、生体認証の安定性を維持することができる。
【００１５】
しかしながら、手のひらが生体センサ２０２の撮影装置に近いと、生体センサ２０２の照明から照射される照明光の光強度が高くなる。この場合、図３で例示するように、画像の一部に白飛びが生じる場合がある。図３では、網掛けの部分が白飛びを表している。白飛びが生じると、生体画像から距離を検出する場合の精度が低下する。それにより、距離の検出に失敗するか、実際の距離とは異なる距離が検出される。その結果、照合用の生体画像のスケール調整精度が低下し、生体認証の安定性が低下するおそれがある。
【００１６】
以下の実施例では、白飛びを利用することで、認証精度を向上させることができる画像処理を可能とする画像処理装置、画像処理方法および画像処理プログラムについて説明する。
【実施例１】
【００１７】
図４（ａ）は、実施例１に係る画像処理装置１００のハードウェア構成を説明するためのブロック図である。図４（ａ）で例示するように、画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、表示装置１０４、入力装置１０５、生体センサ１０６などを備える。これらの各機器は、バスなどによって接続されている。
【００１８】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。
【００１９】
記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。本実施例に係る画像処理プログラムは、記憶装置１０３に記憶されている。
【００２０】
表示装置１０４は、液晶ディスプレイ、エレクトロルミネッセンスパネル等であり、後述する各処理の結果などを表示する。入力装置１０５は、タッチセンサであり、表示装置１０４上に設けられている。それにより、表示装置１０４および入力装置１０５は、タッチパネルとして機能する。入力装置１０５は、ユーザが表示装置１０４の画面に対して手の指などの生体を接触させる領域を検知することができる。
【００２１】
生体センサ１０６は、照明１０７、撮影装置１０８などを備えるセンサである。照明１０７は、手のひらなどの生体に光を照射する。撮影装置１０８は、生体からの反射光を利用して、ユーザの生体画像を取得する。具体的には、撮影装置１０８は、分割した画像を連続的に撮影することで、生体の所定の範囲を撮影する。
【００２２】
記憶装置１０３に記憶されている画像処理プログラムは、実行可能にＲＡＭ１０２に展開される。ＣＰＵ１０１は、ＲＡＭ１０２に展開された画像処理プログラムを実行する。それにより、画像処理装置１００による各処理が実行される。画像処理プログラムが実行されることによって、登録処理、認証処理などが実行される。
【００２３】
登録処理は、生体センサ１０６が取得した登録用の生体画像から抽出された生体特徴を登録生体特徴として登録する処理である。本実施例においては、手のひら画像から抽出された局所特徴が生体特徴として登録される。局所特徴として、手のひら掌紋の一部である特定のシワなどを用いることができる。認証処理は、認証処理時に生体センサ１０６が取得した照合用の生体画像から抽出された照合生体特徴と、登録生体特徴とを照合する処理である。本実施例においては、一例として、認証処理時に取得された照合生体特徴と登録生体特徴との類似度がしきい値以上であれば、被認証者が登録されたユーザと同一人物であると判定される。
【００２４】
図４（ｂ）は、画像処理プログラムの実行によって実現される各機能のブロック図である。画像処理プログラムの実行によって、接触位置検出部１０、ガイド移動部２０、移動量算出部３０、生体画像取得部４０、白飛び検出部５０、テーブル５５、距離検出部６０、スケール変換部７０、生体特徴抽出部８０、認証部９０などとして機能する。
【００２５】
表示装置１０４は、画面に認証用ガイドおよび矢印を表示させる。接触位置検出部１０は、入力装置１０５におけるユーザの生体の接触位置を検出する。ガイド移動部２０は、ユーザの接触位置が認証用ガイドに沿って移動したか否かを判定する。ユーザの接触位置が認証用ガイドに沿って移動したと判定された場合、移動量算出部３０は、接触位置検出部１０が検出する接触位置の変化を検出することで、接触位置の移動量を算出する。
【００２６】
照明１０７は、ユーザの生体に向かって照明光を照射する。生体画像取得部４０は、撮影装置１０８から生体画像を取得する。白飛び検出部５０は、生体画像取得部４０が取得した生体画像の白飛び領域を検出する。白飛び領域は、生体画像のうち画素が飽和した飽和領域のことである。例えば、輝度値が０から２５５までの値で検出される場合には、輝度値が２５５となる領域のことである。白飛び検出部５０は、生体画像から画素の飽和領域の有無を判定することで、白飛び領域を検出することができる。白飛び検出部５０は、生体画像における白飛び領域を検出することで、白飛び領域の有無を判定する。また、白飛び検出部５０は、検出した白飛び領域の面積などを算出する。例えば、白飛び検出部５０は、ノイズの誤検知抑制のために、飽和領域の面積が所定の閾値を上回る場合に、白飛び領域が有ると判定してもよい。
【００２７】
距離検出部６０は、生体画像取得部４０が取得した画像における生体の移動量と移動量算出部３０が算出した接触位置の移動量とを用いて、手のひらと撮影装置１０８との距離を検出する。例えば、距離検出部６０は、手のひらと撮影装置１０８との距離に応じて画像における特徴点の移動量が変化することを利用して、手のひらと生体センサ１０６との距離を検出する。
【００２８】
スケール変換部７０は、白飛び検出部５０の検出結果または距離検出部６０の検出結果を用いて、生体画像のスケールを補正する。生体特徴抽出部８０は、生体画像から生体特徴を抽出する。認証部９０は、生体特徴抽出部８０が抽出した照合生体特徴と、予め登録された登録生体特徴とを照合し、類似度が閾値以上であれば被認証者が本人であると認証する。
【００２９】
図５は、画像処理装置１００が実行するフローチャートを例示する図である。図５で例示するように、生体画像取得部４０は、生体画像を取得する（ステップＳ１）。次に、白飛び検出部５０は、ステップＳ１で取得された生体画像に白飛び領域が有るか否かを判定する（ステップＳ２）。
【００３０】
ステップＳ２で「Ｙｅｓ」と判定された場合は、生体画像に白飛びが生じていることになり、手のひらと撮影装置１０８との距離が小さいことになる。そこで、生体画像のスケールを小さくすることが望まれる。そこで、ステップＳ２で「Ｙｅｓ」と判定された場合、スケール変換部７０は、テーブル５５に格納されている個別スケール（１よりも小さい値であって、例えば０．８）を倍率として取得する（ステップＳ３）。
【００３１】
ステップＳ２で「Ｎｏ」と判定された場合は、生体画像に白飛びが生じていないことになる。そこで、ステップＳ２で「Ｎｏ」と判定された場合は、距離検出部６０は、手のひらと撮影装置１０８との距離を検出する（ステップＳ４）。次に、スケール変換部７０は、ステップＳ４で検出された距離に応じて、倍率を算出する（ステップＳ５）。例えば、距離が小さいほど倍率が小さくなるようにし、距離が大きいほど倍率が大きくなるようにする。
【００３２】
ステップＳ３またはステップＳ５の実行後、スケール変換部７０は、生体画像のスケールに倍率を掛け合わせることで、生体画像のスケールを補正する（ステップＳ６）。この処理により、倍率が小さければ生体画像が縮小され、倍率が大きければ生体画像が拡大される。生体特徴抽出部８０は、スケール調整後の生体画像から生体特徴を照合生体特徴として抽出する（ステップＳ７）。次に、認証部９０は、照合生体特徴と登録生体特徴とを照合する（ステップＳ８）。例えば、認証部９０は、照合生体特徴と登録生体特徴との類似度が閾値以上であれば、被認証者であるユーザが本人であると認証する。
【００３３】
本実施例によれば、タッチパネルに接触しながら移動する生体を撮影することで得られる生体画像から画素の飽和領域の有無が検出される。図６で例示するように、生体画像に飽和領域が検出された場合に、生体画像のスケールが補正される。本実施例においては、固定の倍率を用いて生体画像が縮小される。この構成によれば、白飛びを利用して、登録用の生体画像と照合用の生体画像との間で、スケールが整合するようになる。すなわち、認証精度を向上させることができる画像処理が可能となるのである。
【００３４】
なお、本実施例においては、生体画像のスケールを補正しているが、それに限られない。例えば、生体画像から抽出された生体特徴のスケールを補正してもよい。以下の実施例でも同様である。
【００３５】
また、手のひらの背景が飽和領域として検出されるおそれがあるため、生体画像取得部４０は、撮影装置１０８が取得した画像から手のひら領域を抽出し、当該手のひら領域を生体画像とし取得してもよい。以下の実施例でも同様である。例えば、生体画像取得部４０は、図７で例示するように、エッジ法などを用いて、照合用の生体画像から手の輪郭を検出し、当該手の輪郭の内部を手のひら領域として抽出し、生体画像として取得する。この場合、手のひらの飽和領域以外の飽和領域が検出されることを抑制することができる。手のひら領域の生体画像から白飛び領域が検出されれば、生体画像または当該生体画像から抽出された生体特徴が縮小される。その後、照合生体特徴と登録生体特徴とが照合される。
【実施例２】
【００３６】
実施例１では、白飛び領域が検出されれば、１つの個別スケールを用いてスケール補正を行ったが、それに限られない。例えば、生体センサ１０６の照明からは、カメラの撮影範囲全体が撮影されるように、発散する光が照射される。その光の強度が一定であるとした場合、手のひらと生体センサ１０６との距離に応じて、白飛び領域の大きさが変化する。実施例２では、この現象を利用する。
【００３７】
例えば、手のひらが生体センサ１０６に最も近づいた場合に白飛び領域が最大となり、手のひらが生体センサ１０６から離れるに従って、白飛び領域は小さくなる。手のひらが生体センサ１０６からさらに離れると、白飛び領域は消滅する。この現象を利用し、白飛び領域の大きさに応じて、それぞれ個別の倍率を適用して生体画像のスケールを調整する。この場合、白飛び領域と係数との関係をテーブル５５に予め格納しておく。
【００３８】
図８（ａ）は、画像処理装置１００が実行するフローチャートを例示する図である。図８（ａ）のフローチャートが図５のフローチャートと異なる点は、ステップＳ３の代わりにステップＳ３´が実行される点である。ステップＳ３´について説明する。ステップＳ２で「Ｙｅｓ」と判定された場合、白飛び検出部５０は、検出された白飛び領域の面積を算出する。スケール変換部７０は、この白飛び領域の面積に対応する倍率をテーブル５５から読み込む（ステップＳ３´）。
【００３９】
図８（ｂ）は、テーブル５５に格納されているテーブルを例示する図である。図８（ｂ）で例示するように、白飛び領域の面積と、倍率とが関連付けて格納されている。このテーブルは、予め作成しておくことができる。なお、各倍率に関連付けられる面積には、所定の範囲（幅）が設定されていてもよい。
【００４０】
本実施例によれば、白飛び領域の面積に応じた倍率が取得される。この構成によれば、登録用の生体画像と照合用の生体画像との間で、より高い精度でスケールが整合するようになる。
【実施例３】
【００４１】
上記各例においては、生体画像に白飛び領域が検出されなかった場合に距離が検出されているが、それに限られない。実施例３では、生体画像に白飛び領域が検出された場合でも距離検出を行う例について説明する。
【００４２】
図９は、画像処理装置１００が実行するフローチャートを例示する図である。図９で例示するように、生体画像取得部４０は、生体画像を取得する（ステップＳ１１）。次に、白飛び検出部５０は、ステップＳ１１で取得された生体画像に白飛び領域が有るか否かを判定する（ステップＳ１２）。
【００４３】
ステップＳ１２で「Ｙｅｓ」と判定された場合、白飛び検出部５０は、ステップＳ１２で「Ｙｅｓ」と判定された結果を記憶する（ステップＳ１３）。ステップＳ１２で「Ｎｏ」と判定された場合またはステップＳ１３の実行後、距離検出部６０は、手のひらと撮影装置１０８との距離を検出する（ステップＳ１４）。
【００４４】
次に、距離検出部６０は、手のひらと撮影装置１０８との距離を検出できたか否かを判定する（ステップＳ１５）。ステップＳ１５で「Ｙｅｓ」と判定された場合には、スケール変換部７０は、ステップＳ１４で検出された距離に応じて、倍率を算出する（ステップＳ１６）。例えば、距離が小さいほど倍率が小さくなるようにし、距離が大きいほど倍率が大きくなるようにする。
【００４５】
ステップＳ１５で「Ｎｏ」と判定された場合、スケール変換部７０は、ステップＳ１２で「Ｙｅｓ」と判定された結果が白飛び検出部５０に記憶されているか否かを判定する（ステップＳ１７）。ステップＳ１７で「Ｎｏ」と判定された場合、スケール変換部７０は、テーブル５５から倍率１を読み込む（ステップＳ１８）。ステップＳ１７で「Ｙｅｓ」と判定された場合、スケール変換部７０は、テーブル５５から倍率２を読み込む（ステップＳ１９）。倍率２は、例えば倍率１よりも小さい値である。
【００４６】
ステップＳ１６の実行後、ステップＳ１８の実行後、またはステップＳ１９の実行後、スケール変換部７０は、生体画像のスケールに倍率を掛け合わせることで、生体画像のスケールを補正する（ステップＳ２０）。この処理により、倍率が小さければ生体画像が縮小され、倍率が大きければ生体画像が拡大される。生体特徴抽出部８０は、スケール調整後の生体画像から照合生体特徴を抽出する（ステップＳ２１）。次に、認証部９０は、照合生体特徴と登録生体特徴とを照合する（ステップＳ２２）。例えば、認証部９０は、照合生体特徴と登録生体特徴との類似度が閾値以上であれば、被認証者であるユーザが本人であると認証する。
【００４７】
本実施例によれば、距離検出部６０による距離検出の可否と、白飛び検出部５０による検出結果とに応じて、生体画像または生体特徴のスケールを補正する場合の倍率を変更することができる。この構成では、白飛びが検出されなかったものの距離検出に失敗した場合においても、スケールの補正が可能となる。
【００４８】
上記各例において、白飛び検出部５０が、タッチパネルに接触しながら移動する生体を撮影することで得られる生体画像から画素の飽和領域を検出する飽和領域検出部の一例として機能する。スケール変換部７０が、前記飽和領域検出部による検出結果に応じて、前記生体画像または前記生体画像から抽出された生体特徴のスケールを補正する補正部の一例として機能する。生体画像取得部が、前記生体画像から手のひら領域を抽出する抽出部の一例として機能する。距離検出部６０が、前記タッチパネル上での前記生体の移動量と、前記生体画像における前記生体の移動量とに基づいて、前記生体画像を取得する撮影装置と前記生体との距離を検出する距離検出部の一例として機能する。
【００４９】
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００５０】
１０  接触位置検出部
２０  ガイド移動部
３０  移動量算出部
４０  生体画像取得部
５０  白飛び検出部
５５  テーブル
６０  距離検出部
７０  スケール変換部
８０  生体特徴抽出部
９０  認証部
１００  画像処理装置
１０４  表示装置
１０５  入力装置
１０６  生体センサ
１０７  照明
１０８  撮影装置
【図１】
2020126302.tif 000003
【図２】
2020126302.tif 000004
【図３】
2020126302.tif 000005
【図４】
2020126302.tif 000006
【図５】
2020126302.tif 000007
【図６】
2020126302.tif 000008
【図７】
2020126302.tif 000009
【図８】
2020126302.tif 000010
【図９】
2020126302.tif 000011