(57)【要約】【課題】生体部分の撮像画像から生体部分の方向を算出する際の精度低下を抑制する。【解決手段】画像処理装置は、判定部、推定部、角度算出画像作成部、角度算出部を備える。判定部は、生体部分の全体または一部が含まれて撮像された撮像画像から、生体部分の全体または一部のいずれであるかを判定する。推定部は、判定部により撮像画像に生体部分の一部が含まれると判定された場合に、生体部分の一部が、生体部分の全体のうちのいずれの部分であるかを推定する。角度算出画像作成部は、推定部により生体部分の一部が生体部分の全体のうちのいずれの部分であるかが推定された撮像画像から、生体部分の角度を特徴付ける情報を強調した角度算出画像を作成する。角度算出部は、角度算出画像作成部により作成された角度算出画像における角度を特徴付ける情報からベクトルを生成し、生成したベクトルをもとに、所定の基準方向に対する生体部分の角度を算出する。【選択図】図５
2019091311.tif 000002
【特許請求の範囲】
【請求項１】
生体部分の全体または一部が含まれて撮像された撮像画像から、前記生体部分の全体または一部のいずれであるかを判定する判定部と、
前記判定部により前記撮像画像に前記生体部分の一部が含まれると判定された場合に、前記生体部分の一部が、前記生体部分の全体のうちのいずれの部分であるかを推定する推定部と、
前記推定部により前記生体部分の一部が前記生体部分の全体のうちのいずれの部分であるかが推定された前記撮像画像から、前記生体部分の角度を特徴付ける情報を強調した角度算出画像を作成する角度算出画像作成部と、
前記角度算出画像作成部により作成された角度算出画像における前記角度を特徴付ける情報からベクトルを生成し、生成したベクトルをもとに、所定の基準方向に対する前記生体部分の角度を算出する角度算出部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記生体部分の角度を特徴付ける情報は、強度が所定値以上の強い情報と、強度が前記所定値未満の弱い情報とを含み、
前記角度算出部は、前記角度算出画像における前記強い情報毎および前記弱い情報毎にベクトルを生成し、前記強い情報から生成したベクトルをもとに前記所定の基準方向に対する前記生体部分の角度を算出するとともに、前記弱い情報から生成したベクトルをもとに前記算出した前記生体部分の角度を補正する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記角度算出部は、前記角度算出画像を複数のエリアへ分割し、分割したエリア毎に、前記角度を特徴付ける情報からベクトルを生成する、
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記推定部は、前記生体部分の一部が、前記生体部分の全体のうちのいずれの部分であるかを示す部分候補を複数推定し、
前記角度算出画像作成部は、前記部分候補毎に、前記撮像画像から前記角度算出画像を作成し、
前記角度算出部は、前記部分候補毎に、前記角度算出画像における前記角度を特徴付ける情報からベクトルを生成する、
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記部分候補毎に、前記部分候補が示す手のひら部分の確からしさを算出する確信度算出部と、
前記確信度算出部により算出された確からしさに基づいて前記所定の基準方向に対する前記生体部分の角度を確定させる確定部と、
をさらに備えたことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
画像処理装置が行う画像処理方法であって、
生体部分の全体または一部が含まれて撮像された撮像画像から、前記生体部分の全体または一部のいずれであるかを判定し、
前記撮像画像に前記生体部分の一部が含まれると判定された場合に、前記生体部分の一部が、前記生体部分の全体のうちのいずれの部分であるかを推定し、
前記生体部分の一部が前記生体部分の全体のうちのいずれの部分であるかが推定された前記撮像画像から、前記生体部分の角度を特徴付ける情報を強調した角度算出画像を作成し、
前記角度算出画像における前記角度を特徴付ける情報からベクトルを生成し、生成したベクトルをもとに、所定の基準方向に対する前記生体部分の角度を算出する、
各処理を含んだことを特徴とする画像処理方法。
【請求項７】
コンピュータを、
生体部分の全体または一部が含まれて撮像された撮像画像から、前記生体部分の全体または一部のいずれであるかを判定する判定部と、
前記判定部により前記撮像画像に前記生体部分の一部が含まれると判定された場合に、前記生体部分の一部が、前記生体部分の全体のうちのいずれの部分であるかを推定する推定部と、
前記推定部により前記生体部分の一部が前記生体部分の全体のうちのいずれの部分であるかが推定された前記撮像画像から、前記生体部分の角度を特徴付ける情報を強調した角度算出画像を作成する角度算出画像作成部と、
前記角度算出画像作成部により作成された角度算出画像における前記角度を特徴付ける情報からベクトルを生成し、生成したベクトルをもとに、所定の基準方向に対する前記生体部分の角度を算出する角度算出部、
として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
例えば、生体認証装置において、生体の手のひらの撮像画像を取得する際、生体認証装置に対する手のひらの高さを計測する技術がある（例えば特許文献１参照）。また、生体認証装置において、生体認証装置に対する手のひらの高さを判定し、高さが所定以内である場合に、手のひらの撮像画像を取得する技術がある（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１７０３２２号公報
【特許文献２】特開２０１５−０２６２０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、生体認証装置によって、手のひら全体が撮像されることを前提としている。そして、生体認証装置は、撮像画像に含まれる手の両端、指、手首などを手がかりに手のひらの外郭を特定することで、撮像画像において、背景から手のひら全体の画像を切り出す処理を行う。生体認証装置は、このようにして撮像画像から切り出された手のひら全体の画像をもとに、後段の各種処理を行う。
【０００５】
ここで、近年、生体認証装置に用いられる撮像素子の小型化が進み、生体認証装置のサイズが小さくなってきている。撮像対象が手のひらである場合、手のひらは、生体認証装置に対して一定以上の距離から撮影されることで、手のひら全体が撮像されることになる。生体認証装置に用いられる撮像素子のサイズがある程度の大きさであれば、生体認証装置に対する手のひらの距離が近距離であったとしても、手のひら全体が撮像される。
【０００６】
しかし、生体認証装置に用いられる撮像素子のサイズが小さいと、生体認証装置に対する手のひらの距離が近距離である場合、手のひらが部分的に撮像されることになる。すなわち、従来技術では、近距離で撮像された手のひらの撮像画像、例えば手のひらの左右両端、指、手首のいずれか、または、これらの全てが含まれない撮像画像からは、手のひら全体ではなく手のひらの部分しか取り出せないため、手のひらの方向を算出する際の精度が低下するという問題がある。手のひらの方向を算出する際の精度が低下すると、後段の各種処理で不都合が生じる。
【０００７】
本願の開示技術は、上記に鑑みてなされたものであって、例えば、生体部分の撮像画像から生体部分の方向を算出する際の精度低下を抑制する画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
開示技術の一例では、画像処理装置は、判定部、推定部、角度算出画像作成部、角度算出部を備える。判定部は、生体部分の全体または一部が含まれて撮像された撮像画像から、生体部分の全体または一部のいずれであるかを判定する。推定部は、判定部により撮像画像に生体部分の一部が含まれると判定された場合に、生体部分の一部が、生体部分の全体のうちのいずれの部分であるかを推定する。角度算出画像作成部は、推定部により生体部分の一部が生体部分の全体のうちのいずれの部分であるかが推定された撮像画像から、生体部分の角度を特徴付ける情報を強調した角度算出画像を作成する。角度算出部は、角度算出画像作成部により作成された角度算出画像における角度を特徴付ける情報からベクトルを生成し、生成したベクトルをもとに、所定の基準方向に対する生体部分の角度を算出する。
【発明の効果】
【０００９】
開示技術の一例によれば、生体部分の撮像画像から生体部分の方向を算出する際の精度低下を抑制する。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１にかかる生体認証装置の外観の一例を示す斜視図である。
【図２】図２は、実施例１にかかる生体認証装置の一例を示すＩ−Ｉ断面図である。
【図３】図３は、実施例１にかかる生体認証装置が有する基板の一例を示す平面図である。
【図４】図４は、実施例１にかかる生体認証装置の一例を示す機能ブロック図である。
【図５】図５は、実施例１にかかる生体認証装置の正規化部の詳細の一例を示す機能ブロック図である。
【図６】図６は、実施例１にかかる正規化処理の一例を示すフローチャートである。
【図７】図７は、従来技術における角度算出処理の成功例を示す図である。
【図８】図８は、従来技術において誤った角度が算出される例を示す図である。
【図９】図９は、従来技術において角度算出が失敗する例を示す図である。
【図１０】図１０は、左右手判定結果の一例を示す図である。
【図１１】図１１は、実施例１における手のひら部分の推定結果の一例を示す図である。
【図１２】図１２は、実施例１における手のひら部分の推定結果の一例を示す図である。
【図１３Ａ】図１３Ａは、実施例１において手のひらが左右いずれの手であるか指定された場合の手のひら部分の複数の推定結果の一例を示す図である。
【図１３Ｂ】図１３Ｂは、実施例１において手のひらが左右いずれの手であるか指定された場合の手のひら部分の複数の推定結果の一例を示す図である。
【図１３Ｃ】図１３Ｃは、実施例１において手のひらが左右いずれの手であるか指定された場合の手のひら部分の複数の推定結果の一例を示す図である。
【図１４】図１４は、実施例１における手のひら部分の撮像画像に対し、ノイズ除去後、必要情報を強調した角度算出画像の一例を示す図である。
【図１５】図１５は、実施例１における手のひら部分の角度算出画像のエリア分割の一例を示す図である。
【図１６】図１６は、実施例１における手のひら部分をエリア分割した角度算出画像に対し、必要情報に基づいて、分割エリア毎の方向性を算出した方向性算出結果の一例を示す図である。
【図１７】図１７は、実施例１における手のひらモデルの一例を示す図である。
【図１８】図１８は、実施例１における複数の手のひら部分候補の推定結果の一例を示す図である。
【図１９】図１９は、実施例１における角度算出処理の成功例を示す図である。
【図２０】図２０は、実施例２にかかる生体認証装置の正規化部の詳細の一例を示す機能ブロック図である。
【図２１】図２１は、実施例２にかかる正規化処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に、本願の開示技術にかかる画像処理装置、画像処理方法および画像処理プログラムの実施例を図面に基づいて詳細に説明する。以下の実施例によって、本願の開示技術が限定されるものではない。以下の実施例では、生体認証において、生体の部分を手のひらとし、手のひらを生体センサにかざして取得した手のひらの画像を画像処理する画像処理装置を含む、手のひら静脈を用いる生体認証装置を例として説明する。しかし、開示技術は、これに限られず、指、瞳、顔などの生体のその他の部分を、生体センサに非接触でかざして取得した生体画像を画像処理する場合にも適用可能である。
【００１２】
生体認証装置は、生体部分（例えば手のひら）を予め撮像した撮像画像から抽出した手のひら静脈の特徴データを「登録データ」としてデータベースに登録しておく。そして、生体認証装置は、コンピュータシステムへのログインやドアの入退出等使用の際に、生体部分を撮像し、撮像画像から抽出した手のひら静脈の特徴データを「認証データ」として、「登録データ」とを照合することで、生体を認証するものである。
【００１３】
以下の実施例および変形例の説明において、既出の構成要素および処理については、同一名称または同一符号を付与し、説明を省略する。また、以下の各実施例および各変形例は、矛盾しない範囲でその一部または全部を組合せて実施できる。
【実施例１】
【００１４】
（実施例１にかかる生体認証装置）
図１は、実施例１にかかる生体認証装置の外観の一例を示す斜視図である。図１に示すように、生体認証装置１は、筐体１ａ−１に撮像ユニット１ｂが収容され、赤外光に対して透光性を有するカバー１ａ−２により覆蓋されている。生体認証装置１は、カバー１ａ−２の上方からかざされた手のひらを撮像する。
【００１５】
図２は、実施例１にかかる生体認証装置の一例を示すＩ−Ｉ断面図である。図２に示すように、生体認証装置１の撮像ユニット１ｂは、基板２上に、撮像素子２００、発光素子３００、レンズユニット３、導光体４を有し、制御基板５上にマイクロコンピュータおよびメモリなどを含む処理装置１００を有する。発光素子３００が出射する光は、リング状の導光体４を透して照明光としてカバー１ａ−２から上方へ出射される。この光は、カバー１ａ−２の上方からかざされた手のひらを照明し、手のひらにおいて反射または吸収される。撮像素子２００は、レンズユニット３のレンズを透して、カバー１ａ−２の上方からかざされた手のひらを撮像する。
【００１６】
図３は、実施例１にかかる生体認証装置が有する基板の一例を示す平面図である。図３に示すように、基板２の中央に、撮像素子２００が搭載される。基板２上で、撮像素子２００の周囲の略円に沿って、レンズユニット３が配置される。また、基板２上で、レンズユニット３の周囲の略円に沿って、複数の発光素子３００が配置される。なお、複数の発光素子３００は、波長が異なる２種類の発光素子群に分けられるが、実施例１では区別していない。また、基板２上には、複数の発光素子３００が発した光を受光する受光素子が配置されるが、図示を省略している。
【００１７】
さらに、基板２の四隅には、生体認証装置１と手のひらとの距離を計測するための４つの測距用発光素子４００が設けられる。図３に示すように、この４つの測距用発光素子４００は、基板２の対角線上に配置され、かつ各測距用発光素子４００の間隔は、最も距離の遠い対角線上に配置される。この４つの測距用発光素子４００による測定距離から、生体認証装置１と対象物との距離や、対象物の傾きを検出する。なお、測距用発光素子４００の数は、４つに限られない。
【００１８】
なお、図１〜図３は、実施例１にかかる生体認証装置１の一例を示すに過ぎず、同様の機能を実現できる他のハードウェア形態であってもよい。
【００１９】
（実施例１にかかる生体認証装置の機能構成）
図４は、実施例１にかかる生体認証装置の一例を示す機能ブロック図である。図４に示すように、生体認証装置１は、撮像部１１０、正規化部１２０、特徴抽出部１４０、撮像素子２００、発光素子３００、測距用発光素子４００、撮像ＤＢ（Data  Base）５００、候補ＤＢ６００を有する。なお、図４では、生体認証装置１の主たる構成のみを示す。
【００２０】
撮像素子２００は、発光素子３００により照射された近赤外光が利用者の手のひらで反射した近赤外光をもとに、利用者の手のひら画像を取得するための、例えばＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサなどである。発光素子３００は、利用者の手のひらに対して近赤外光を照射するための、例えばＬＥＤ（Light  Emitting  Diode）などである。測距用発光素子４００は、生体認証装置１と生体認証装置１にかざされた手のひらとの距離を測定するために、スポット光（ビーム光）を手のひらに照射するための、例えばＬＥＤなどである。
【００２１】
撮像ＤＢ５００は、撮像素子２００を介して撮像部１１０により撮像された手のひらの撮像画像を格納する半導体記憶装置などである。候補ＤＢ６００は、正規化部１２０により推定された、手のひらの撮像画像が手のひらの部分のいずれの部分であるかを示す１または複数の推定結果を格納する半導体記憶装置などである。
【００２２】
撮像部１１０、正規化部１２０、特徴抽出部１４０は、ＭＰＵ（Micro  Processing  Unit）などの処理装置である。撮像部１１０は、撮像素子２００および発光素子３００を制御して、生体認証装置１の上方にかざされた生体の手のひらの撮像画像を取得する。撮像部１１０は、取得した手のひらの撮像画像を撮像ＤＢ５００に格納する。また、撮像部１１０は、測距用発光素子４００から手のひらに照射されたスポット光の反射光をもとに、生体認証装置１と生体認証装置１にかざされた手のひらとの距離を算出する。
【００２３】
正規化部１２０は、撮像部１１０により取得された手のひらの撮像画像に対して、背景やノイズを除去した上で、回転を補正する正規化処理を行う。正規化部１２０の詳細は、図５を参照して後述する。なお、回転とは、撮像部１１０により手のひらが撮像される際、手のひらが生体認証装置１に本来かざされるべき３次元の基準方向に対する、手のひらが生体認証装置１に実際にかざされた３次元の方向のずれであり、角度で表される。
【００２４】
特徴抽出部１４０は、正規化部１２０により正規化処理された手のひらの撮像画像から、手のひら静脈情報を抽出する。登録部１５０は、特徴抽出部１４０により抽出された手のひら静脈情報、および、手のひら静脈情報の登録環境などの付帯情報を、データベース（不図示）に格納する。照合部１６０は、特徴抽出部１４０により抽出された手のひら静脈情報と、登録部１５０によりデータベースに格納された手のひら静脈情報とを照合する。
【００２５】
（実施例１にかかる生体認証装置の正規化部の詳細）
図５は、実施例１にかかる生体認証装置の正規化部の詳細の一例を示す機能ブロック図である。図５に示すように、生体認証装置１の正規化部１２０は、全体判定部１２１、左右判定部１２２、左右指定部１２３、手全体推定部１２４、手のひら部分推定部１２５、確信度算出部１２６、角度算出画像作成部１２７、補助情報抽出部１２８、補助情報確信度算出部１２９、角度算出部１_１３０、確信度再算出部１３１、１位確定部１３２、手のひら取出部１３３、角度算出部２_１３４、回転部１３５を有する。
【００２６】
なお、正規化部１２０は、画像処理装置の一例である。また、手のひら取出部１３３、角度算出部２_１３４、回転部１３５は、従来技術にかかる正規化部と同様の構成である。
【００２７】
全体判定部１２１は、撮像部１１０により撮像された生体の手の撮像画像から背景およびノイズを除去した画像を生成し、この画像が手のひら全体画像であるか否かを判定する。手のひら全体画像は、手のひら全体が含まれている画像である。なお、手のひら部分画像は、手のひらが部分的に含まれている画像である。
【００２８】
左右判定部１２２は、全体判定部１２１により判定された手のひら部分画像に含まれている手のひらの外郭から、この手のひらが左右のいずれの手であるか判定する。例えば、左右判定部１２２は、全体判定部１２１により判定された手のひら部分画像に含まれている手のひらの親指と人差し指との間の形状から、この手のひらが、右手の手のひらまたは左手の手のひらのいずれであるかを判定する。左右判定部１２２は、例えば、手のひらの親指と人差し指との間の形状が、Ｌ字状であれば左手の手のひらであると判定し、Ｌ字の鏡文字状であれば右手の手のひらであると判定する。
【００２９】
左右指定部１２３は、左右判定部１２２により手のひら部分画像に含まれている手のひらが左右のいずれの手であるか判定不可能な場合に、ユーザ入力や生体認証装置１のログ情報等をもとに左右のいずれの手であるかを指定する。左右判定部１２２により手のひら部分画像に含まれている手のひらが左右のいずれの手であるか判定可能な場合とは、手のひら部分画像に含まれている手のひらの撮像面積が、少なくとも手のひら全体の例えば６０〜７０［％］の場合である。また、左右判定部１２２により手のひら部分画像に含まれている手のひらが左右のいずれの手であるか判定不可能な場合とは、手のひら部分画像に含まれている手のひらの撮像面積が、手のひら全体の例えば３０［％］未満の場合である。
【００３０】
手全体推定部１２４は、左右指定部１２３により左右いずれかの手であると指定された手のひら部分画像から手のひら表皮画像を生成し、生成した手のひら表皮画像と手のひらモデル（図１７参照）とから、手のひら部分画像が手のひら全体のいずれの部分であるかを推定する（図１１参照）。
【００３１】
なお、手のひらモデルは、手のひらのモデル画像の解析結果に基づく、手のひら部分画像が手のひら全体のいずれの部分であるかを推定するための、手のひら全体のモデルを示すアルゴリズムである。手のひらモデルは、後述の主情報（強い情報）毎、補助情報（弱い情報）毎のモデルであってもよいし、主情報（強い情報）および補助情報（弱い情報）を両方含むモデルであってもよい。
【００３２】
手のひら部分推定部１２５は、手のひら部分画像から、撮像範囲外の手のひらを考慮した手のひら表皮画像を生成し、生成した手のひら表皮画像と手のひらモデルとから、１または複数の手のひら部分候補を推定する（図１１、図１２、図１３Ａ〜図１３Ｃ参照）。手のひら部分推定部１２５は、手のひら部分画像に含まれる手のひらの撮像面積が、手のひら全体の面積に対して例えば６０〜９０［％］であると判定される場合、１つの手のひら部分を推定する（図１１、図１２参照）。一方、手のひら部分推定部１２５は、手のひら部分画像に含まれる手のひらの撮像面積が、手のひら全体の面積に対して例えば５０［％］以下であると判定される場合、複数の手のひら部分候補を推定する（図１３Ａ〜図１３Ｃ、図１７参照）。手のひら部分候補は、手のひら部分画像が手のひら全体のいずれの部分であるかを示す情報を含む画像である。
【００３３】
そして、手のひら部分推定部１２５は、推定した手のひら部分候補に対して、所定のソートを行って手のひら部分候補を順序付け、順序に応じたインデックスｎを付与した上で候補ＤＢ６００に格納する。ただし、ｎ＝１、・・・、Ｎ（Ｎは、推定した手のひら部分候補の総数）である。なお、手のひら部分推定部１２５は、推定した手のひら部分候補が１つである場合は、この１つの手のひら部分候補にインデックス１を付与した上で候補ＤＢ６００に格納する。
【００３４】
以下、確信度算出部１２６、角度算出画像作成部１２７、補助情報抽出部１２８、補助情報確信度算出部１２９、角度算出部１_１３０、確信度再算出部１３１は、手のひら部分推定部１２５により推定された手のひら部分候補が複数（ｎ個）である場合、この複数の手のひら部分候補毎に行う一連のステップＳ１０８〜ステップＳ１１３（図６参照）の処理を、全ての手のひら部分候補について完了するまで繰り返して行う。ただし、ｎ＝１、・・・、Ｎ（Ｎは、推定した手のひら部分候補の総数）である。
【００３５】
確信度算出部１２６は、手のひら部分推定部１２５により推定された１または複数の手のひら部分候補それぞれの確信度ｋｎを下記（１）式に基づき算出する。確信度ｋｎは、手のひら部分候補が示す手のひら部分の確からしさを表す。下記（１）式において、ｎは、後述のステップＳ１０８（図６参照）で未選択の手のひら部分候補のなかから１つの手のひら部分候補を選択するｎ回目の処理に対応する。また、ｎが限界値、例えば６以上の場合は下記（２）式に基づき算出する。ただし、ｎが上限値、例えば１０を超える場合は判定不能とし処理を中断する。
【００３６】
（数１）
ｋｎ＝５０−ｎ×１０［％］・・・（１）
（数２）
ｋｎ＝５０−５０／ｎ［％］・・・（２）
【００３７】
なお、確信度算出部１２６は、左右判定部１２２または左右指定部１２３により手のひら部分画像が左右いずれの手であるかが特定されている場合には、例えば、確信度ｋ１＝８０［％］とする。また、確信度算出部１２６は、手のひら部分推定部１２５により推定された手のひら部分候補が１つである場合には、例えば、確信度ｋ１＝５０［％］とする。
【００３８】
角度算出画像作成部１２７は、手のひら部分画像もしくは手のひら部分候補と手のひらモデルとから画像範囲外の手のひら部分を含んだ合成画像を生成し、合成画像において平滑化などによりノイズを除去して必要情報を強調した角度算出画像を作成する（図１４参照）。必要情報とは、手のひらの表皮や可動部のシワなどの、手のひらの方向（角度）を特徴付ける表皮情報であり、強い情報（以下、「主情報」と呼ぶ）および弱い情報（以下、「補助情報」と呼ぶ）の強度情報を含む。例えば、主情報は、表皮のシワのエッジ強度が所定以上である表皮情報であり、補助情報は、表皮のシワのエッジ強度が所定未満である表皮情報である。補助情報は、生体認証装置１に対して通常の所定の高さ以上で撮像された手のひらの通常画像に含まれる表皮情報よりも、より詳細な表皮情報である。
【００３９】
補助情報抽出部１２８は、角度算出画像作成部１２７により作成された角度算出画像から、補助情報を抽出する。補助情報確信度算出部１２９は、補助情報抽出部１２８により抽出された補助情報の確信度（補助情報確信度θ）を、所定アルゴリズムにより算出する。補助情報確信度θは、補助情報に基づく、手のひら部分候補が示す手のひら部分の確からしさを表す。
【００４０】
角度算出部１_１３０は、角度算出画像作成部１２７により作成された角度算出画像を複数のエリア（分割領域）へ分割し、各エリアから主情報および補助情報のエッジを抽出する。エリアは、例えばｍ×ｎ（ｍ、ｎは、２以上の正整数）のグリッドである。ただし、グリッドに限られず、メッシュ、ヘックスなどであってもよい。そして、角度算出部１_１３０は、抽出したエリア毎の主情報および補助情報のエッジをベクトル化する（図１５、図１６参照）。エッジのベクトル化では、例えば、エッジの方向をベクトルの方向とするベクトルを生成する。そして、角度算出部１_１３０は、主情報のエッジのベクトルと、所定モデルに含まれるベクトルとの内積をエリア毎に演算するとともに、補助情報のエッジのベクトルと、所定モデルに含まれるベクトルとの内積をエリア毎に演算する。
【００４１】
なお、所定モデルとは、モデルとなる手のひら全体の表皮情報のエッジをベクトル化した、予め用意されたモデルである。以下、各エリアの主情報のエッジのベクトルと、所定モデルに含まれるベクトルとの内積を、「主内積」と呼ぶ。また、各エリアの補助情報のエッジのベクトルと、所定モデルに含まれるベクトルとの内積を「補助内積」と呼ぶ。
【００４２】
すなわち、角度算出部１_１３０は、角度算出画像をあてはめる所定モデルの部分領域を選択し、部分領域毎に、主内積をエリア単位で演算するとともに、補助内積をエリア単位で演算する。そして、角度算出部１_１３０は、全てのエリアの主内積および補助内積がともに所定誤差内の略同一値となる所定モデルの部分領域を角度算出画像が示す手のひら部分とし、その際の各エリアの主情報のベクトルを各エリアにおける主ベクトルとし、補助情報のベクトルを各エリアにおける補助ベクトルとする。なお、“全てのエリアの内積が所定誤差内の略同一値となる”とは、ベクトルの方向が所定範囲内で概ね揃うことをいう。
【００４３】
一方、角度算出部１_１３０は、主内積または補助内積が所定誤差内の略同一値とならないエリアがある場合、角度算出画像からノイズ除去処理により、ノイズとなる補助情報のエッジを除去した上で補助情報のエッジを再度ベクトル化する。そして、角度算出部１_１３０は、角度算出画像をあてはめる所定モデルの部分領域を再選択し、主内積および補助内積それぞれをエリア単位で再演算し、各エリアにおける主ベクトルおよび補助ベクトルを再算出する。
【００４４】
角度算出部１_１３０は、上述の処理を、全てのエリアについて主内積および補助内積がともに所定誤差内の略同一値となる所定モデルの部分領域が選択されるまで繰り返す。そして、角度算出部１_１３０は、全てのエリアについて主内積および補助内積がともに所定誤差内の略同一値となった際の主内積から手のひら部分候補の角度を推定するとともに、補助内積をもとに手のひら部分候補の推定角度を補正する。例えば、全てのエリアについて主内積および補助内積がともに所定誤差内の略同一値となった際の各エリアにおける主ベクトルを足し合わせたベクトルの方向が、手のひら部分候補の推定角度である。また、例えば、各エリアにおける補助ベクトルを足し合わせたベクトルの方向が、手のひら部分候補に基づく推定角度を補正するための補正情報である。
【００４５】
確信度再算出部１３１は、確信度算出部１２６により算出された確信度ｋｎと、補助情報確信度算出部１２９により算出された補助情報確信度θとから、手のひら部分推定部１２５により推定された複数の手のひら部分候補それぞれの修正確信度ｋｎ’を下記（３）式に基づき算出する。修正確信度ｋｎ’は、確信度ｋｎと補助情報確信度θとに基づく、手のひら部分候補が示す手のひら部分の確からしさを表す。下記（３）式において、ｎは、後述のステップＳ１０８（図６参照）で未選択の手のひら部分候補のなかから１つの手のひら部分候補を選択するｎ回目の処理に対応する。
【００４６】
（数３）
ｋｎ’＝ｋｎ×θ・・・（３）
【００４７】
以上、確信度算出部１２６、角度算出画像作成部１２７、補助情報抽出部１２８、補助情報確信度算出部１２９、角度算出部１_１３０、確信度再算出部１３１により、手のひら部分推定部１２５により推定されたＮ個の手のひら部分候補について手のひら部分候補毎に行なわれる一連のステップＳ１０８〜ステップＳ１１３（図６参照）の処理が、全ての手のひら部分候補について完了すると、１位確定部１３２は、確信度再算出部１３１により算出された修正確信度ｋｎ’が最大である１位の手のひら部分候補を確定させる。
【００４８】
なお、１位確定部１３２は、確信度再算出部１３１により算出された修正確信度ｋｎ’が最大である１位の手のひら部分候補を確定させることに限られず、修正確信度ｋｎ’が上位の所定数の手のひら部分候補を確定させるとしてもよい。
【００４９】
手のひら取出部１３３は、全体判定部１２１により判定された手のひら全体画像から背景やノイズを除去して手のひらを切り出す。角度算出部２_１３４は、手のひら取出部１３３により切り出された手のひらにおける手のひらの向きや傾きを算出する。手のひら取出部１３３および角度算出部２_１３４は、既存技術に基づいて処理を行う。
【００５０】
回転部１３５は、１位確定部１３２により１位の手のひら部分候補が確定された手のひら部分画像を、１位の手のひら部分候補に基づく推定角度および補正情報に応じて回転させることにより、手のひら静脈画像を作成するための元画像を生成する。また、回転部１３５は、角度算出部２_１３４により手のひらの向きや傾きが算出された手のひら画像を、その手のひらの向きや傾きに応じて回転させることにより、手のひら静脈画像を作成するための元画像を生成する。
【００５１】
なお、回転部１３５は、手のひら全体画像および手のひら部分画像の推定角度、補正情報、修正確信度の少なくともいずれかを、手のひら静脈画像を作成するための元画像とともに出力してもよい。
【００５２】
（実施例１にかかる正規化処理）
図６は、実施例１にかかる正規化処理の一例を示すフローチャートである。実施例１にかかる正規化処理は、撮像部１１０により生体の手のひらが撮像され、正規化部１２０へ入力される都度、正規化部１２０により実行される。図６に示すように、先ず、ステップＳ１０１では、全体判定部１２１は、撮像部１１０により撮像された生体の手のひら画像の入力を受け付ける。
【００５３】
次に、ステップＳ１０２では、全体判定部１２１は、ステップＳ１０１で入力を受け付けた手のひら画像について、全体判定処理を行う。具体的には、全体判定部１２１は、ステップＳ１０１で入力を受け付けた手のひら画像に手のひら全体が含まれているか否かを判定する。
【００５４】
全体判定部１２１は、ステップＳ１０１で入力を受け付けた手のひら画像に手のひら全体が含まれている場合（ステップＳ１０３Ｙｅｓ）、ステップＳ１２３へ処理を移す。以下、手のひら全体が含まれている手のひら画像を、手のひら全体画像と呼ぶ。一方、全体判定部１２１は、ステップＳ１０１で入力を受け付けた手のひら画像に手のひらが部分的に含まれている場合（ステップＳ１０３Ｎｏ）、ステップＳ１０４へ処理を移す。以下、手のひらが部分的に含まれている手のひら画像を、手のひら部分画像と呼ぶ。
【００５５】
ステップＳ１０４では、左右判定部１２２は、ステップＳ１０３で全体判定部１２１により判定された手のひら部分画像に含まれている手のひらが左手であるかを判定する。左右判定部１２２は、手のひら部分画像に含まれている手のひらが左手であると判定した場合（ステップＳ１０４Ｙｅｓ）、ステップＳ１１６へ処理を移す。一方、左右判定部１２２は、手のひら部分画像に含まれている手のひらが左手であると判定できなかった場合（ステップＳ１０４Ｎｏ）、ステップＳ１０５へ処理を移す。
【００５６】
ステップＳ１０５では、左右判定部１２２は、ステップＳ１０３で全体判定部１２１により判定された手のひら部分画像に含まれている手のひらが右手であるかを判定する。左右判定部１２２は、手のひら部分画像に含まれている手のひらが右手であると判定した場合（ステップＳ１０５Ｙｅｓ）、ステップＳ１１７へ処理を移す。一方、左右判定部１２２は、手のひら部分画像に含まれている手のひらが右手であると判定できなかった場合（ステップＳ１０５Ｎｏ）、ステップＳ１０６へ処理を移す。
【００５７】
ステップＳ１０６では、手のひら部分推定部１２５は、左右判定部１２２により左右のいずれの手であるかが判定できなかった手のひら部分画像に含まれている手のひらが、手のひら全体のいずれの部分であるかを示す、１または複数の手のひら部分候補を推定する。ステップＳ１０７では、手のひら部分推定部１２５は、ステップＳ１０６で推定した手のひら部分候補が複数か否かを判定する。手のひら部分推定部１２５は、ステップＳ１０６で推定した手のひら部分候補が複数である場合（ステップＳ１０７Ｙｅｓ）、ステップＳ１０８へ処理を移す。一方、手のひら部分推定部１２５は、ステップＳ１０６で推定した手のひら部分候補が１つである場合（ステップＳ１０７Ｎｏ）、ステップＳ１１９へ処理を移す。
【００５８】
次に、確信度算出部１２６、角度算出画像作成部１２７、補助情報抽出部１２８、補助情報確信度算出部１２９、角度算出部１_１３０、確信度再算出部１３１は、ステップＳ１０６で手のひら部分推定部１２５により推定された複数の手のひら部分候補全てについて、手のひら部分候補毎に、ステップＳ１０８〜ステップＳ１１３の処理を行う。
【００５９】
ステップＳ１０８では、確信度算出部１２６は、手のひら部分推定部１２５により推定された複数の手のひら部分候補のなかから未選択の手のひら部分候補を１つ選択し、上記（１）式においてｎ＝１とおき、選択した手のひら部分候補の確信度ｋ１を算出する。次に、ステップＳ１０９では、角度算出画像作成部１２７は、ステップＳ１０８で選択された手のひら部分候補をもとに角度算出画像を作成する。
【００６０】
次に、ステップＳ１１０では、補助情報抽出部１２８は、ステップＳ１０９で角度算出画像作成部１２７により作成された角度算出画像から補助情報を抽出する。次に、ステップＳ１１１では、補助情報確信度算出部１２９は、ステップＳ１１０で補助情報抽出部１２８により抽出された補助情報の確信度（補助情報確信度θ）を算出する。
【００６１】
次に、ステップＳ１１２では、角度算出部１_１３０は、ステップＳ１０９で角度算出画像作成部１２７により作成された角度算出画像から抽出してベクトル化した主情報および補助情報のエッジをもとに、この角度算出画像の角度を算出する。次に、ステップＳ１１３では、確信度再算出部１３１は、ステップＳ１０８で確信度算出部１２６により算出された確信度ｋ１と、ステップＳ１１１で補助情報確信度算出部１２９により算出された補助情報確信度θとから、ステップＳ１０８で選択した手のひら部分候補の修正確信度ｋ１’を上記（３）式に基づき算出する。
【００６２】
次に、ステップＳ１０８へ戻り、確信度算出部１２６は、手のひら部分推定部１２５により推定された複数の手のひら部分候補のなかから未選択の手のひら部分候補を１つ選択し、上記（１）式においてｎ＝２とおき、選択した手のひら部分候補の確信度ｋ２を算出する。以下、角度算出画像作成部１２７、補助情報抽出部１２８、補助情報確信度算出部１２９、角度算出部１_１３０、確信度再算出部１３１は、ステップＳ１０９〜ステップＳ１１３の処理を、ステップＳ１０８で選択した手のひら部分候補について行う。
【００６３】
そして、確信度算出部１２６、角度算出画像作成部１２７、補助情報抽出部１２８、補助情報確信度算出部１２９、角度算出部１_１３０、確信度再算出部１３１は、手のひら部分推定部１２５により推定された複数の手のひら部分候補のうちのステップＳ１０８で未選択の手のひら部分候補全てについて、ｎ＝３、・・・、Ｎとし、ステップＳ１０８〜ステップＳ１１３の処理を行う。正規化部１２０は、ステップＳ１０８で最後に選択された手のひら部分候補についてステップＳ１１３の処理が終了すると、ステップＳ１１４へ処理を移す。
【００６４】
ステップＳ１１４では、１位確定部１３２は、ステップＳ１０６で推定されたＮ個の手のひら部分候補のうち、確信度再算出部１３１により算出された修正確信度ｋｎ’（ｎ＝１、・・・、Ｎ）が最大である１位の手のひら部分候補を確定させる。次に、ステップＳ１１５では、回転部１３５は、ステップＳ１１４で１位確定部１３２により確定された手のひら部分候補、または、ステップＳ１２２もしくはステップＳ１２４で角度算出処理された手のひら画像を、その推定角度に応じて回転させ、角度を補正することにより、手のひら静脈画像を作成するための元画像を生成する。ステップＳ１１５が終了すると、正規化部１２０は、実施例１にかかる正規化処理を終了する。
【００６５】
他方、ステップＳ１１６では、手全体推定部１２４は、ステップＳ１０４で左右指定部１２３により左手であると判定された手のひら部分画像から手のひら表皮画像を生成し、生成した手のひら表皮画像と手のひらモデルとを比較して、手のひら部分画像が左手のひら全体のいずれの部分であるかを推定する。ステップＳ１１６が終了すると、正規化部１２０は、ステップＳ１１８へ処理を移す。
【００６６】
また、ステップＳ１１７では、手全体推定部１２４は、ステップＳ１０５で左右指定部１２３により右手であると判定された手のひら部分画像から手のひら表皮画像を生成し、生成した手のひら表皮画像と手のひらモデルとから、手のひら部分画像が右手のひら全体のいずれの部分であるかを推定する。ステップＳ１１７が終了すると、正規化部１２０は、ステップＳ１１８へ処理を移す。
【００６７】
ステップＳ１１８では、確信度算出部１２６は、ステップＳ１１６またはステップＳ１１７で左右の手のひら全体のいずれの部分であるかが推定された手のひら部分画像の確信度を、例えば８０［％］とする。ステップＳ１１８が終了すると、正規化部１２０は、ステップＳ１２０へ処理を移す。
【００６８】
また、ステップＳ１１９では、確信度算出部１２６は、ステップＳ１０７で推定された唯一の手のひら部分候補の確信度を、例えば５０［％］とする。ステップＳ１１９が終了すると、正規化部１２０は、ステップＳ１２０へ処理を移す。
【００６９】
ステップＳ１２０では、角度算出画像作成部１２７は、ステップＳ１１８またはステップＳ１１９で確信度が設定された手のひら部分画像または手のひら部分候補をもとに角度算出画像を作成する。次に、ステップＳ１２１では、補助情報抽出部１２８は、ステップＳ１２０で角度算出画像作成部１２７により作成された角度算出画像から補助情報を抽出する。次に、ステップＳ１２２では、角度算出部１_１３０は、ステップＳ１２０で角度算出画像作成部１２７により作成された角度算出画像から抽出してベクトル化した主情報および補助情報のエッジをもとに、この角度算出画像の角度を算出する。ステップＳ１２２が終了すると、正規化部１２０は、ステップＳ１１５へ処理を移す。
【００７０】
また、他方で、ステップＳ１２３では、手のひら取出部１３３は、ステップＳ１０３で判定された手のひら全体画像から、背景やノイズを除去する手のひら取出処理を行う。次に、ステップＳ１２４では、角度算出部２_１３４は、ステップＳ１２４で手のひら取出部１３３により手のひら取出処理された手のひら全体画像をもとに、手のひらの角度や傾きを算出する。ステップＳ１２４が終了すると、正規化部１２０は、ステップＳ１１５へ処理を移す。
【００７１】
なお、ステップＳ１１９における確信度＝５０［％］が、ステップＳ１１８における確信度＝８０［％］よりも低い確信度であるのは、ステップＳ１１９の手のひら部分候補が、ステップＳ１１８の手のひら部分画像と比較して、左右いずれの手であるかが確定されていないためである。また、ステップＳ１０８での確信度ｋｎが、ステップＳ１１９での確信度＝５０［％］よりも低い確信度であるのは、手のひら部分候補が、１つではなく複数存在するためである。
【００７２】
（従来技術における角度算出処理の成功例）
図７は、従来技術における角度算出処理の成功例を示す図である。全体判定部１２１は、図７の（ａ−１）が左手の手のひら全体画像であると判定できる。手のひら取出部１３３は、図７の（ａ−１）の左手の手のひら全体画像から、図７の（ａ−２）の囲み破線で示すように、手のひらを切り出す。そして、角度算出部２_１３４は、図７の（ａ−３）の矢印で示すように、手のひら取出部１３３により切り出された左手の手のひらの向き（角度）を算出する。同様に、全体判定部１２１は、図７の（ｂ−１）が右手の手のひら全体画像であると判定できる。手のひら取出部１３３は、図７の（ｂ−１）の右手の手のひら全体画像から、図７の（ｂ−２）の囲み破線で示すように、右手の手のひらを切り出す。そして、角度算出部２_１３４は、図７の（ｂ−３）の実線矢印で示すように、手のひら取出部１３３により切り出された右手の手のひらの向き（角度）を算出する。このように、従来技術は、手のひら全体画像から手のひらを切り出す場合には、手のひらの角度を正しく算出することができる。
【００７３】
（従来技術において誤った角度が算出される例）
図８は、従来技術において誤った角度が算出される例を示す図である。手のひら取出部１３３は、図８の（ａ−１）に示す右手の手のひら部分画像からは、図８の（ａ−２）の囲み破線で示すように、部分的な右手の手のひらを切り出すことしかできない。しかし、角度算出部２_１３４は、切り出された右手の手のひらが部分的であることを認識しないまま、図８の（ｂ−３）の実線矢印で示すように、左手の手のひらの向き（角度）を算出する。このため、図８の（ａ−３）の実線矢印は、破線矢印で示す左手の手のひらの正しい向き（角度）と乖離している。
【００７４】
同様に、手のひら取出部１３３は、図８の（ｂ−１）に示す右手の手のひら部分画像からは、図８の（ｂ−２）の囲み破線で示すように、部分的な右手の手のひらを切り出すことしかできない。しかし、角度算出部２_１３４は、切り出された右手の手のひらが部分的であることを認識しないまま、図８の（ｂ−３）の実線矢印で示すように、右手の手のひらの向き（角度）を算出する。このため、図８の（ｂ−３）の実線矢印は、破線矢印で示す右手の手のひらの正しい向き（角度）と乖離している。このように、従来技術は、手のひら部分画像から手のひらを切り出す場合には、手のひらの角度を正しく算出することができない。
【００７５】
（従来技術において角度算出が失敗する例）
図９は、従来技術において角度算出が失敗する例を示す図である。図９の（ａ）〜（ｄ）に示す例は、手のひら部分画像に含まれる手のひらの撮像面積が、手のひら全体の面積に対して例えば５０［％］未満である。また、図９の（ａ）〜（ｃ）に示す手のひら部分画像には、いずれかの指と指との間であると推定できる部分が存在するが、図９の（ｃ）では、その部分が手のひら部分画像の左右いずれかではなく、中央に位置していることから、手のひら部分画像が左右いずれの手であるかを判定することができない。
【００７６】
また、図９の（ｄ）に示す手のひら部分画像には、いずれかの指と指との間であると推定できる部分が存在しないことから、手のひら部分画像が左右いずれの手であるかを判定することができない。このため、手のひら取出部１３３は、図９の（ａ）〜（ｄ）に示す手のひら部分画像に含まれる手のひらが、左右のいずれの手のひら全体におけるいずれの部分に該当するかが不明であり、手のひら部分画像から手のひらを抽出できない。よって、図９の（ａ）〜（ｄ）に示す例では、手のひらの角度の算出自体を行うことができない。
【００７７】
（左右手判定）
図１０は、左右手判定結果の一例を示す図である。図１０の（ａ）に示す例は、手のひら部分画像のなかの右手の親指と人差し指とがなすＬ字状の部分（図１０の（ａ）中の実線矢印部分）が手のひら部分画像の右方に位置するため、左右手判定により、手のひら部分画像が右手の撮像画像であると判定できる。また、図１０の（ｂ）に示す例は、手のひら部分画像のなかの左手の親指と人差し指とがなすＬ字の鏡文字状の部分（図１０の（ｂ）中の実線矢印部分）が手のひら部分画像の左方に位置するため、左右手判定により、手のひら部分画像が左手の撮像画像であると判定できる。
【００７８】
また、図１０の（ｃ）に示す例は、手のひら部分画像のなかの左手の親指と人差し指とがなすＬ字状の部分（図１０の（ｃ）中の実線矢印部分）手のひら部分画像の左方に位置するため、左右手判定により、手のひら部分画像が左手の撮像画像であると判定できる。また、図１０の（ｄ）に示す例は、手のひら部分画像のなかの右手の親指と人差し指とがなすＬ字状の部分（図１０の（ｄ）中の実線矢印部分）が手のひら部分画像の右方に位置するため、左右手判定により、手のひら部分画像が右手の撮像画像であると判定できる。
【００７９】
しかし、図１０の（ｅ）に示す例は、手のひら部分画像のなかに、手の親指と人差し指とがなすＬ字状またはＬ字の鏡文字状の部分が含まれるものの、その部分が、想定される箇所に位置しないため、左右手判定による手のひら部分画像が左右いずれの手の撮像画像であるかが判定できない。また、図１０の（ｆ）に示す例は、手のひら部分画像のなかに、手の親指と人差し指とがなすＬ字状またはＬ字の鏡文字状の部分が含まれないため、左右手判定が行えず、手のひら部分画像が左右いずれの手の撮像画像であるかが判定できない。
【００８０】
（実施例１における手のひら部分の推定結果）
図１１および図１２は、実施例１における手のひら部分の推定結果の一例を示す図である。図１１は、手のひら部分推定部１２５が、手のひら部分画像に含まれる手のひらの撮像面積が、手のひら全体の面積に対して例えば６０〜９０［％］である場合に、１つだけ推定する手のひら部分の推定結果を示す。例えば、図１１の（ａ）は、手のひら部分推定部１２５が、図８の（ａ−１）に示す手のひら部分画像を入力として、手のひら部分画像が手のひら全体のいずれの部分であるかを示す手のひら全体の外郭（図１１の（ａ）中の破線部分）を推定した結果である。また、例えば、図１１の（ｂ）は、手のひら部分推定部１２５が、図８の（ｂ−１）に示す手のひら部分画像を入力として、手のひら部分画像が手のひら全体のいずれの部分であるかを示す手のひら全体の外郭（図１１の（ｂ）中の破線部分）を推定した結果である。
【００８１】
図１２は、手のひら部分推定部１２５が、手のひら部分画像に含まれる手のひらの撮像面積が、手のひら全体の面積に対して例えば５０［％］以下である場合に推定する、複数の手のひら部分を示す。例えば、図１２の（ａ−１）および（ａ−２）は、手のひら部分推定部１２５が、図９の（ａ）に示す手のひら部分画像を入力として、手のひら部分画像が手のひら全体のいずれの部分であるかを示す手のひら全体の外郭（図１２の（ａ−１）および（ａ−２）中の破線部分）を２通り推定した結果である。また、例えば、図１２の（ｂ−１）および（ｂ−２）は、手のひら部分推定部１２５が、図９の（ｂ）に示す手のひら部分画像を入力として、手のひら部分画像が手のひら全体のいずれの部分であるかを示す手のひら全体の外郭（図１２の（ｂ−１）および（ｂ−２）中の破線部分）を２通り推定した結果である。
【００８２】
図１３Ａ〜図１３Ｃは、実施例１において手のひらが左右いずれの手であるか指定された場合の手のひら部分の複数の推定結果の一例を示す図である。例えば、図１３Ａの（ａ−１）は、図９の（ｃ）に示す手のひら部分画像に対し、左右指定部１２３により“右手”の指定がされた場合に、手全体推定部１２４が、手のひら全体における手のひら部分画像の部分を推定した結果である。また、例えば、図１３Ａの（ａ−１）は、図９の（ｃ）に示す手のひら部分画像に対し、左右指定部１２３により“右手”の指定がされた場合に、手のひら部分推定部１２５が、手のひら部分画像を入力として、手のひら部分画像が手のひら全体のいずれの部分であるかを示す手のひら全体の外郭（図１３Ａの（ａ−２）中の破線部分）を推定した結果である。
【００８３】
また、例えば、図１３Ｂの（ｂ−１−１）および図１３Ｃの（ｂ−２−１）は、図９の（ｄ）に示す手のひら部分画像に対し、左右指定部１２３により“右手”の指定がされた場合に、手全体推定部１２４が、手のひら全体における手のひら部分画像の部分を２通り推定した結果である。また、例えば、図１３Ｂの（ｂ−１−２）および図１３Ｃの（ｂ−２−２）は、図９の（ｄ）に示す手のひら部分画像に対し、左右指定部１２３により“右手”の指定がされた場合に、手のひら部分推定部１２５が、手のひら部分画像を入力として、手のひら部分画像が手のひら全体のいずれの部分であるかを示す手のひら全体の外郭（図１３Ｂの（ｂ−１−２）中の破線部分）を２通り推定した結果のうちの１つである。
【００８４】
（実施例における手のひら部分の撮像画像に基づく角度算出画像）
図１４は、実施例１における手のひら部分の撮像画像に対し、ノイズ除去後、必要情報を強調した角度算出画像の一例を示す図である。例えば、図１４は、角度算出画像作成部１２７が、図９の（ｄ）に示す手のひら部分画像（もしくは手のひら部分候補）と手のひらモデルとから画像範囲外の手のひら部分を含んだ合成画像を生成し、合成画像において平滑化などによりノイズを除去して必要情報を強調した角度算出画像である。
【００８５】
（実施例１における手のひら部分の強調画像のエリア分割）
図１５は、実施例１における手のひら部分の角度算出画像のエリア分割の一例を示す図である。例えば、図１５は、角度算出部１_１３０が、角度算出画像作成部１２７により作成された角度算出画像を４×４のグリッドに分割した例を示す。
【００８６】
（実施例１における手のひら部分のエリア分割画像の分割エリア毎の方向性）
図１６は、実施例１における手のひら部分をエリア分割した角度算出画像に対し、必要情報に基づいて、分割エリア毎の方向性を算出した方向性算出結果の一例を示す図である。図１６の（ａ）は、図１５に示す４×４のエリアに分割した角度算出画像から、主情報のみを抽出し、エリア毎の主情報のエッジのベクトルを、分割エリア毎の主情報の方向性として算出した例を示す。図１６の（ｂ）は、図１５に示す４×４のエリアに分割した角度算出画像から、補助情報のみを抽出し、エリア毎の補助情報のエッジのベクトルを、分割エリア毎の補助情報の方向性として算出した例を示す。
【００８７】
（実施例１における手のひらモデル）
図１７は、実施例１における手のひらモデルの一例を示す図である。図１７（ａ）は、必要情報のうち、主情報（強い情報）に関する手のひらモデルの一例を示す。主情報（強い情報）に関する手のひらモデルは、手のひら全体の外郭と、その外郭内に含まれる主情報のエッジとを含む。図１７（ｂ）は、必要情報のうち、補助情報（弱い情報）に関する手のひらモデルの一例を示す。補助情報（弱い情報）に関する手のひらモデルは、手のひら全体の外郭と、その外郭内に含まれる補助情報のエッジとを含む。
【００８８】
（実施例１における複数の手のひら部分候補の推定結果）
図１８は、実施例１における複数の手のひら部分候補の推定結果の一例を示す図である。図１８の（ａ）に例示する２つの実線矩形囲み部分が、手のひら部分画像と、主情報（強い情報）に関する手のひらモデル（図１７の（ａ）参照）ならびに補助情報（弱い情報）に関する手のひらモデル（図１７の（ｂ）参照）とから推定された、複数の手のひら部分候補である。また、図１８の（ｂ）は、推定された例えば２つの手のひら部分候補（図１８の（ａ）参照）のうちの一方を示し、図１８の（ｃ）は、推定された例えば２つの手のひら部分候補のうちの他方を示す。このように、実施例では、１つの手のひら部分画像から、この手のひら部分画像の複数の手のひら部分候補が推定される。
【００８９】
（実施例１における角度算出処理の成功例）
図１９は、実施例１における角度算出処理の成功例を示す図である。図１９の（ａ）は、図８の（ａ−３）に示す、実線矢印（算出結果）で示す手のひらの向き（角度）と、破線矢印（正解）で示す手のひらの正しい向き（角度）との乖離が生じず、算出結果と正解とが一致した場合を例示する。同様に、図１９の（ｂ）は、図８の（ｂ−３）に示す、実線矢印（算出結果）で示す手のひらの向き（角度）と、破線矢印（正解）で示す手のひらの正しい向き（角度）との乖離が生じず、算出結果と正解とが一致した場合を例示する。
【００９０】
このように、実施例１は、手のひら部分画像の手のひら部分候補を複数推定し、推定した複数の手のひら部分候補毎に、手のひら部分候補と手のひらモデルとを比較して、主情報から手のひら部分候補に基づく角度を算出し、算出した角度を補助情報に基づき補正する。そして、手のひらとして確からしい手のひら部分候補の角度を、手のひら部分画像の角度とする。よって、手のひら部分画像の角度算出処理結果を正しいものとし、算出角度の精度低下を抑制することができる。
【００９１】
また、実施例１によれば、生体認証装置１に対して所定距離未満の近距離で撮影され、手のひら全体の面積に対して、例えば少なくとも６０〜７０［％］程度が撮影されている場合には、外郭が一部しかない、または、外郭がほぼない手のひら部分画像であっても、手のひらの角度を正しく算出できる。また、実施例１によれば、生体認証装置１に対して所定距離未満の近距離で撮影され、手のひら全体の面積に対して、例えば３０［％］未満が撮影されている場合には、回転が大きく左右のいずれの手のひらであるかを判定できないことがあるため、左右いずれの手であるかを予め指定することで、角度を正確に算出することができる。
【００９２】
実施例１では、手のひらが部分的にしか撮像されてない場合は、手のひら全体が撮像された場合と比較して、より詳細な情報（手のひら全体が撮像された場合には脆弱な情報）を補助情報として活用し、撮像された手のひらの部分が手のひらのいずれの位置であるかを推定する。また、実施例１では、撮像された手のひらの部分の手のひらにおける位置に応じて、補助情報の抽出方法を動的に変更する。よって、実施例１によれば、補助情報の情報量および精度を向上させ、手のひらの角度をより正確に算出できることから、延いては、認証精度の向上に貢献することになる。
【実施例２】
【００９３】
実施例２は、１つの手のひら部分画像から複数の手のひら部分候補を推定し、推定した複数の手のひら部分候補のなかから確信度が１位である手のひら部分候補を確定し、確定した手のひら部分候補に基づく角度で手のひら部分画像を回転させて、手のひら静脈画像を作成するための元画像を生成するとした。しかし、これに限られず、実施例２では、１位の手のひら部分候補を確定せず、推定した複数の手のひら部分候補それぞれの角度で手のひら部分画像を回転させて、手のひら静脈画像を作成するための元画像を複数生成する。
【００９４】
（実施例２にかかる生体認証装置の機能構成）
実施例２にかかる生体認証装置１Ａは、実施例１にかかる生体認証装置１と比較して、正規化部１２０に代えて正規化部１２０Ａを有する（図４参照）。
【００９５】
（実施例２にかかる生体認証装置の正規化部の詳細）
図２０は、実施例２にかかる生体認証装置の正規化部の詳細の一例を示す機能ブロック図である。実施例２にかかる生体認証装置１Ａの正規化部１２０Ａは、実施例１にかかる正規化部１２０と比較して、１位確定部１３２が省略され、回転部１３５に代えて回転部１３５−１を有する。なお、正規化部１２０Ａは、画像処理装置の一例である。
【００９６】
また、実施例２において、確信度算出部１２６、角度算出画像作成部１２７、補助情報抽出部１２８、補助情報確信度算出部１２９、角度算出部１_１３０、確信度再算出部１３１、回転部１３５−１は、手のひら部分推定部１２５により推定された手のひら部分候補が複数（Ｎ個）である場合、この複数の手のひら部分候補毎に行う一連の処理を、全ての手のひら部分候補について完了するまで繰り返して行う。
【００９７】
回転部１３５−１は、確信度再算出部１３１により修正確信度が算出された手のひら部分候補に基づく推定角度および補正情報に応じて手のひら部分画像を回転させることにより、手のひら静脈画像を作成するための元画像を生成する。この場合、手のひら静脈画像を作成するための元画像は、手のひら部分推定部１２５により推定された複数の手のひら部分候補毎に生成されることになる。また、回転部１３５−１は、角度算出部２_１３４により手のひらの向きや傾きが算出された手のひら画像を、その手のひらの向きや傾きに応じて回転させることにより、手のひら静脈画像を作成するための元画像を生成する。
【００９８】
以上、確信度算出部１２６、角度算出画像作成部１２７、補助情報抽出部１２８、補助情報確信度算出部１２９、角度算出部１_１３０、確信度再算出部１３１、回転部１３５−１により、手のひら部分推定部１２５により推定されたＮ個の手のひら部分候補毎に行なわれる一連の処理が、全ての手のひら部分候補について完了すると、正規化部１２０Ａは、回転部１３５−１により生成された手のひら静脈画像を作成するための元画像を出力する。
【００９９】
なお、回転部１３５−１は、手のひら全体画像および手のひら部分画像の推定角度、補正情報、修正確信度の少なくともいずれかを、手のひら静脈画像を作成するための元画像とともに出力してもよい。
【０１００】
（実施例２にかかる正規化処理）
図２１は、実施例２にかかる正規化処理の一例を示すフローチャートである。実施例２にかかる正規化処理は、実施例１にかかる正規化処理と比較して、確信度再算出部１３１により修正確信度が算出される都度、手のひら部分推定部１２５により推定された複数の手のひら部分候補のうちの該当の手のひら部分候補に基づく推定角度および補正情報に応じて、手のひら部分画像が回転される。
【０１０１】
図２１に示すように、確信度算出部１２６、角度算出画像作成部１２７、補助情報抽出部１２８、補助情報確信度算出部１２９、角度算出部１_１３０、確信度再算出部１３１、回転部１３５−１は、手のひら部分推定部１２５により推定されたＮ個の手のひら部分候補について手のひら部分候補毎に行なわれる一連のステップＳ１０８〜ステップＳ１１５ａの処理を、全ての手のひら部分候補について行う。
【０１０２】
すなわち、回転部１３５−１は、ステップＳ１１３で確信度再算出部１３１により修正確信度ｋｎ’が算出されると、ステップＳ１０８で選択された手のひら部分候補に基づく推定角度および補正情報に応じて手のひら部分画像を回転させることにより、手のひら静脈画像を作成するための元画像を生成する。
【０１０３】
そして、確信度算出部１２６、角度算出画像作成部１２７、補助情報抽出部１２８、補助情報確信度算出部１２９、角度算出部１_１３０、確信度再算出部１３１、確信度再算出部１３１は、手のひら部分推定部１２５により推定された複数の手のひら部分候補のうちのステップＳ１０８で未選択の手のひら部分候補全てについて、ステップＳ１０８〜ステップＳ１１３の処理を行う。正規化部１２０Ａは、ステップＳ１０８で最後に選択された手のひら部分候補についてステップＳ１１５ａの処理が終了すると、実施例２にかかる正規化処理を終了する。
【０１０４】
他方、ステップＳ１１５ｂでは、回転部１３５−１は、ステップＳ１２２もしくはステップＳ１２４で角度算出処理された手のひら画像を、その推定角度に応じて回転させ、角度を補正することにより、手のひら静脈画像を作成するための元画像を生成する。ステップＳ１１５ｂが終了すると、正規化部１２０Ａは、実施例２にかかる正規化処理を終了する。
【０１０５】
上述の実施例で示した各装置または機器の構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散または統合の具体的状態は図示のものに限られず、その全部または一部を、処理負荷や処理効率性などに応じて、任意の単位で機能的または物理的に、分散または統合して構成することができる。
【０１０６】
例えば、確信度算出部１２６、補助情報確信度算出部１２９、確信度再算出部１３１の少なくとも２つは、統合されてもよい。また、角度算出部１_１３０および角度算出部２_１３４は、統合されてもよい。
【０１０７】
また、生体認証装置１、１Ａの各処理部にて行なわれる各処理機能は、その全部または任意の一部が、マイクロコンピュータなどの半導体処理装置および半導体処理装置にて解析実行されるプログラムにて実現されうる。
【０１０８】
以上の実施例で例示した各部の構成は、開示技術にかかる画像処理装置、画像処理方法および画像処理プログラムの技術範囲を逸脱しない程度に変更、追加または省略可能である。また、実施例はあくまで例示に過ぎず、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の態様も、開示の技術に含まれる。
【符号の説明】
【０１０９】
１、１Ａ  生体認証装置
１００  処理装置
１１０  撮像部
１２０、１２０Ａ  正規化部
１２１  全体判定部
１２２  左右判定部
１２３  左右指定部
１２４  手全体推定部
１２５  手のひら部分推定部
１２６  確信度算出部
１２７  角度算出画像作成部
１２８  補助情報抽出部
１２９  補助情報確信度算出部
１３０  角度算出部１
１３１  確信度再算出部
１３２  １位確定部
１３３  手のひら取出部
１３４  角度算出部２
１３５、１３５−１  回転部
１４０  特徴抽出部
１５０  登録部
１６０  照合部
２００  撮像素子
３００  発光素子
４００  測距用発光素子
５００  撮像ＤＢ
６００  候補ＤＢ
【図１】
2019091311.tif 000003
【図２】
2019091311.tif 000004
【図３】
2019091311.tif 000005
【図４】
2019091311.tif 000006
【図５】
2019091311.tif 000007
【図６】
2019091311.tif 000008
【図７】
2019091311.tif 000009
【図８】
2019091311.tif 000010
【図９】
2019091311.tif 000011
【図１０】
2019091311.tif 000012
【図１１】
2019091311.tif 000013
【図１２】
2019091311.tif 000014
【図１３Ａ】
2019091311.tif 000015
【図１３Ｂ】
2019091311.tif 000016
【図１３Ｃ】
2019091311.tif 000017
【図１４】
2019091311.tif 000018
【図１５】
2019091311.tif 000019
【図１６】
2019091311.tif 000020
【図１７】
2019091311.tif 000021
【図１８】
2019091311.tif 000022
【図１９】
2019091311.tif 000023
【図２０】
2019091311.tif 000024
【図２１】
2019091311.tif 000025