(57)【要約】【課題】対象画像の位置合わせの精度を向上させて、対象画像を高解像度化する。【解決手段】画像処理装置は、高解像度化処理部を備える。高解像度化処理部は、参照画像を用いて、対象画像に対して高解像度化処理を実行して、高解像度化画像を生成するものである。参照画像は第１の解像度を有する。対象画像は第２の解像度を有する。第２の解像度は、第１の解像度よりも低い。すなわち、高解像度化処理においては、解像度の高い参照画像が用いられ、対象画像の解像度は高解像度化される。【選択図】図１
2020071627.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度を有する参照画像を用いて、前記第１の解像度よりも低い第２の解像度を有する対象画像に対して高解像度化処理を実行して高解像度化画像を生成する高解像度化処理部を具備する画像処理装置。
【請求項２】
前記高解像度化処理部は、
前記対象画像の所定のブロックに近似する画像領域を前記参照画像において探索して所定の動きベクトルを生成する探索部と、
前記所定の動きベクトルに従って移動した前記所定のブロックにおける特定の画素と前記参照画像における画素との距離を生成する距離生成部と、
前記距離が所定の条件を満たす場合に前記特定の画素を前記参照画像に貼り合わせて前記高解像度化画像を生成する画像生成部と
を備える
請求項１記載の画像処理装置。
【請求項３】
前記画像生成部は、前記距離が予め規定された範囲内に入る場合に、前記所定の条件を満たすものとして前記貼り合わせを行う
請求項２記載の画像処理装置。
【請求項４】
前記画像生成部は、異なる前記対象画像について前記高解像度化処理が複数回実行されるときには、前記距離が予め規定された範囲内に入り、かつ、以前の前記高解像度化処理よりも前記距離が小さい場合に、前記所定の条件を満たすものとして前記貼り合わせを行う
請求項２記載の画像処理装置。
【請求項５】
前記所定のブロックは、前記対象画像におけるローカル動きベクトルのブロックである
請求項２記載の画像処理装置。
【請求項６】
前記画像生成部は、前記高解像度化画像において前記貼り合わせが行われなかった画素について補間処理を行う
請求項２記載の画像処理装置。
【請求項７】
前記参照画像と前記高解像度化画像とを比較して認証処理を行う認証処理部をさらに具備する請求項１記載の画像処理装置。
【請求項８】
被写体を撮像して撮像画像を生成する撮像部をさらに具備し、
前記対象画像は、前記撮像画像の少なくとも一部である
請求項７記載の画像処理装置。
【請求項９】
前記撮像部は、前記認証処理の結果に応じてさらに前記被写体を撮像する
請求項８記載の画像処理装置。
【請求項１０】
前記認証処理部は、前記認証処理として虹彩認証を行う
請求項７記載の画像処理装置。
【請求項１１】
第１の解像度を有する参照画像を用いて、前記第１の解像度よりも低い第２の解像度を有する対象画像に対して高解像度化処理を実行して高解像度化画像を生成する画像処理方法。
【請求項１２】
前記高解像度化処理は、
前記対象画像の所定のブロックに近似する画像領域を前記参照画像において探索する探索手順と、
前記対象画像の前記所定のブロックにおける特定の画素と前記参照画像における画素との距離を生成する距離生成手順と、
前記距離が所定の条件を満たす場合に前記特定の画素を前記参照画像に貼り合わせて前記高解像度化画像を生成する画像生成手順と
を具備する請求項１１記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置に関する。詳しくは、対象画像を高解像度化する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年の携帯機器においては、予め登録された個人のみに使用を許可する認証処理が行われている。このような認証処理として、目の虹彩画像に基づいて認証を行う虹彩認証処理が知られている。この虹彩認証においては、周囲の明るさにより瞳孔の大きさが変化するため、認証精度が低下するという問題がある。そのため、例えば、認証対象者の眼を連続撮像して、複数枚の撮像画像を用いて高解像度画像を生成して、虹彩認証を行う装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２８２９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、複数枚の撮像画像の内、瞳孔の大きさが規定の大きさと一致しない撮像画像を補正対象画像として、瞳孔の中心方向に相対的に圧縮または拡大して補正を行っている。しかしながら、この従来技術では、解像度の低い撮像画像を基準として位置合わせを行っており、位置合わせの精度が低くなるという問題がある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、対象画像の位置合わせの精度を向上させて、対象画像を高解像度化することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、第１の解像度を有する参照画像を用いて、上記第１の解像度よりも低い第２の解像度を有する対象画像に対して高解像度化処理を実行して高解像度化画像を生成する高解像度化処理部を具備する画像処理装置および画像処理方法である。これにより、第１の解像度を有する参照画像を用いて、第１の解像度よりも低い第２の解像度を有する対象画像を高解像度化するという作用をもたらす。
【０００７】
また、この第１の側面において、上記高解像度化処理部は、上記対象画像の所定のブロックに近似する画像領域を上記参照画像において探索して所定の動きベクトルを生成する探索部と、上記所定の動きベクトルに従って移動した上記所定のブロックにおける特定の画素と上記参照画像における画素との距離を生成する距離生成部と、上記距離が所定の条件を満たす場合に上記特定の画素を上記参照画像に貼り合わせて上記高解像度化画像を生成する画像生成部とを備えるようにしてもよい。これにより、動きベクトルに従って移動した所定のブロックにおける特定の画素と参照画像における画素との距離に応じて、所定のブロックにおける特定の画素を高解像度化画像に貼り合わせるという作用をもたらす。
【０００８】
また、この第１の側面において、上記画像生成部は、上記距離が予め規定された範囲内に入る場合に、上記所定の条件を満たすものとして上記貼り合わせを行うようにしてもよい。また、上記画像生成部は、異なる上記対象画像について上記高解像度化処理が複数回実行されるときには、上記距離が予め規定された範囲内に入り、かつ、以前の上記高解像度化処理よりも上記距離が小さい場合に、上記所定の条件を満たすものとして上記貼り合わせを行うようにしてもよい。
【０００９】
また、この第１の側面において、上記所定のブロックは、上記対象画像におけるローカル動きベクトルのブロックであってもよい。これにより、瞳孔の大きさなどに柔軟に対応するという作用をもたらす。
【００１０】
また、この第１の側面において、上記画像生成部は、上記高解像度化画像において上記貼り合わせが行われなかった画素について補間処理を行ってもよい。これにより、貼り合わせが行われなかった画素についても高解像度化画像の画素を生成するという作用をもたらす。
【００１１】
また、この第１の側面において、上記参照画像と上記高解像度化画像とを比較して認証処理を行う認証処理部をさらに具備してもよい。この認証処理部は、認証処理として虹彩認証を行ってもよい。
【００１２】
また、この第１の側面において、被写体を撮像して撮像画像を生成する撮像部をさらに具備してもよい。このとき、上記対象画像は、上記撮像画像の少なくとも一部である。また、この場合において、上記撮像部は、上記認証処理の結果に応じてさらに上記被写体を撮像してもよい。
【図面の簡単な説明】
【００１３】
【図１】本技術の実施の形態における画像処理装置の構成例を示す図である。
【図２】本技術の実施の形態における高解像度化処理部１４０の構成例を示す図である。
【図３】本技術の実施の形態における特定の人物の登録時の様子の一例を示す図である。
【図４】本技術の実施の形態における人物の認証時の様子の一例を示す図である。
【図５】本技術の実施の形態における認証処理までの流れの例を示す図である。
【図６】本技術の実施の形態における動きベクトルのブロックの例を示す図である。
【図７】本技術の実施の形態による画像の高解像度化の態様例を示す図である。
【図８】本技術の実施の形態における距離と規定範囲との関係例を示す図である。
【図９】本技術の実施の形態における画像処理方法の処理手順の一例を示す図である。
【図１０】本技術の実施の形態における高解像度化処理の処理手順の一例を示す図である。
【図１１】本技術の実施の形態における貼り合わせ処理の処理手順の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．画像処理装置の構成
２．高解像度化処理の内容
【００１５】
＜１．画像処理装置の構成＞
［画像処理装置］
図１は、本技術の実施の形態における画像処理装置の構成例を示す図である。
【００１６】
画像処理装置は、参照画像を用いて対象画像を高解像度化して、対象画像が参照画像と合致するか否かを認証するものである。例えば、携帯装置のディスプレイ側のフロントカメラを想定すると、使用されるレンズは広角であるため、虹彩がセンサに写りこむ画素数は、一般に認証に必要とされる画素数と対比して不足するおそれがある。そこで、この実施の形態における画像処理装置では、予め保存した登録画像を用いて、複数枚画像による高解像度化処理を行うことにより、瞳孔の変化に対応しながら、認証性能の向上を図る。この画像処理装置は、撮像部１１０と、制御部１２０と、登録画像記憶部１３０と、高解像度化処理部１４０と、認証処理部１５０とを備える。
【００１７】
撮像部１１０は、被写体を撮像して撮像画像を生成するものである。ここでは、被写体として、人物の顔を想定する。この撮像画像の少なくとも一部が、高解像度化の対象画像になる。例えば、後述するように、撮像画像に含まれる人物の顔から、眼の部分が切り出されて対象画像になる。
【００１８】
登録画像記憶部１３０は、認証を行う特定の人物の眼の画像を、予め登録画像として記憶するものである。この登録画像の解像度（第１の解像度）は、撮像部１１０による撮像画像の解像度（第２の解像度）よりも高い。この登録画像は、高解像度化処理および認証処理における参照画像として用いられる。
【００１９】
高解像度化処理部１４０は、登録画像記憶部１３０に記憶される登録画像を参照画像として用いて、対象画像を高解像度化するものである。この高解像度化処理においては、後述するように、参照画像の画素を基準として位置合わせが行われる。上述のように、参照画像の解像度は対象画像の解像度よりも高いため、生成される画像は元の対象画像の解像度よりも高くなる。
【００２０】
認証処理部１５０は、参照画像と高解像度化された対象画像とを比較して、認証処理を行うものである。すなわち、認証処理部１５０は、撮像部１１０により撮像された人物が、登録画像記憶部１３０に予め登録された人物であるか否かを認証する。すなわち、この認証処理部１５０は、生体認証を行うものであり、その一手法として、例えば、人物の眼の虹彩認証を行う。
【００２１】
制御部１２０は、画像処理装置における各部の動作を制御するものである。具体的には、制御部１２０は、高解像度化処理に必要な撮像画像を撮像部１１０に撮像させて、高解像度化処理部１４０に高解像度化処理を指示する。そして、その後の認証処理部１５０における認証処理の結果に応じて、さらに撮像部１１０に撮像させて、高解像度化処理部１４０に高解像度化処理を指示する。
【００２２】
［高解像度化処理部］
図２は、本技術の実施の形態における高解像度化処理部１４０の構成例を示す図である。
【００２３】
この高解像度化処理部１４０は、探索部１４１と、距離生成部１４２と、画像生成部１４３とを備える。
【００２４】
探索部１４１は、対象画像のブロックに近似する画像領域を、参照画像において探索してローカル動きベクトル（ＬＭＶ：Local Motion Vector）を生成するものである。後述するように、ローカル動きベクトルを生成するためのブロックは、対象画像における虹彩を囲む領域内におけるローカルなブロック（以下、「ＬＭＶブロック」と称する場合がある。）である。
【００２５】
距離生成部１４２は、探索部１４１によって生成されたローカル動きベクトルに従って移動したＬＭＶブロックにおける特定の画素と、参照画像における画素との距離を生成するものである。すなわち、この距離は、ローカル動きベクトルに従って移動した場合に、基準となる参照画像とどれだけ近い位置に配置されるかを示す指標である。理想的には、この距離はゼロになることが望ましい。
【００２６】
画像生成部１４３は、距離生成部１４２によって生成された距離が所定の条件を満たす場合に、対象画像の所定のブロックにおける特定の画素を高解像度化画像に貼り合わせるものである。所定の条件については後述するが、ローカル動きベクトルに従って移動した際にＬＭＶブロックにおける特定の画素が規定範囲内に収まることが必要である。また、異なる対象画像について繰り返して処理が行われた場合、過去のものよりも距離が小さい方が優先される。
【００２７】
＜２．高解像度化処理の内容＞
［登録と認証］
図３は、本技術の実施の形態における特定の人物の登録時の様子の一例を示す図である。
【００２８】
ここでは、携帯機器１００を使って特定の人物の登録を行うことを想定する。上述のように、登録画像記憶部１３０に記憶される登録画像の解像度は、その後に撮像される撮像画像の解像度よりも高いことが要求される。そのため、登録画像の登録時には、同図におけるａに示すように、携帯機器１００を顔に近づけて撮像することが望ましい。これにより、同図におけるｂに示すように、画像における眼の占める画素数が多くなり、登録画像の解像度を実質的に向上させることができる。
【００２９】
図４は、本技術の実施の形態における人物の認証時の様子の一例を示す図である。
【００３０】
ここでは、携帯機器１００を使用する人物の認証を行うことを想定する。近年のスマートフォン等においては、使用する人物が手に持った段階で認証処理が開始されることが想定される。すなわち、同図におけるａに示すように、携帯機器１００を顔に近づけることなく、認証が行われることになる。ユーザ視点とすれば、その方が使い勝手がよいものと考えられる。この場合、同図におけるｂに示すように、画像における眼の占める画素数が少なくなり、解像度は低下することになる。そこで、この実施の形態では、認証時に撮像された撮像画像を高解像度化した上で認証処理を行う。
【００３１】
［認証までの流れ］
図５は、本技術の実施の形態における認証処理までの流れの例を示す図である。
【００３２】
携帯機器１００を使用する人物の認証を行う際には、認証対象となる人物の顔を含む撮像画像６２０が撮像部１１０によって撮像される。そして、同図におけるａに示すように、その撮像画像６２０から眼の部分の画像６３０が切り出される。
【００３３】
そして、眼の部分の画像６３０について、登録画像記憶部１３０に記憶される登録画像６１０に対して眼全体の位置合わせを行う。この場合、例えば、眼の部分の画像６３０と登録画像６１０との間で全体で１つの動きベクトル（ＧＭＶ：Global Motion Vector）を求めて、眼の全体的な位置合わせを行う。すなわち、同図におけるｂに示すように、画像６３０を全体的に移動させて、眼の大きさや空白部分を登録画像６１０に一致させる。
【００３４】
これらの処理により得られた画像６３１を対象画像として、虹彩模様を登録画像６１０の位置に合わせて画素の貼り合わせを行う。この場合、例えば、同図におけるｃに示すように、登録画像６１０のＬＭＶブロック６１５と、画像６３１のＬＭＶブロック６３５との間のローカル動きベクトル６３６を生成する。そして、このローカル動きベクトル６３６に従ってＬＭＶブロック６３５を移動させた場合に、そのＬＭＶブロック６３５の特定の画素と登録画像６１０における画素との距離を生成する。この距離が所定の条件を満たす場合に、ＬＭＶブロック６３５における特定の画素を高解像度化画像に貼り合わせて画像を生成する。
【００３５】
ローカル動きベクトルを生成するためには、例えば、一般的なブロックマッチング法を利用することができる。一例として、４×４画素の領域でＬＭＶブロックを定義して、さらにその周辺３画素などを探索範囲として定義する。なお、このＬＭＶブロックのブロックサイズは画像に示す虹彩の割合などに応じて変化させることができる。
【００３６】
そして、ＬＭＶブロック６１５と６３５との間で画素値を比較する。比較する手法としては、例えば、差分絶対値和を用いることが想定される。すなわち、ＬＭＶブロック６１５の各画素とＬＭＶブロック６３５の各画素の差分絶対値を計算する（４×４画素の領域であれば１６画素分）。そして、ブロックを１画素ずらして再度差分絶対値を計算する。これを探索範囲内で繰り返し、最終的に差分絶対値和が最も小さい位置に動くことがもっともらしいと判断される。この場合の動き（量および向き）をローカル動きベクトル６３６とする。
【００３７】
このように、撮像画像６２０から切り出された画像６３０を高解像度化する際、登録画像６１０を基準として眼の位置合わせを行うことにより、位置合わせの精度を向上させ、高解像度化の精度を向上させることができる。そして、これにより、その後の認証処理の認証性能を向上させることができる。すなわち、本人を誤って拒否してしまう確率である本人拒否率（ＦＲＲ：False Rejection Rate）、および、他人を誤って受け入れてしまう確率である他人受入率（ＦＡＲ：False Acceptance Rate）をともに低下させることができる。
【００３８】
［動きベクトルのブロック］
図６は、本技術の実施の形態における動きベクトルのブロックの例を示す図である。
【００３９】
上述のように、眼の位置合わせの際には、２種類の動きベクトルを求めることが想定される。まず、眼の全体的な位置合わせを行うためには、全体で１つの動きベクトル（ＧＭＶ）を求める。そのため、同図に示すように眼球領域の全体を覆うブロック６４０が利用される。
【００４０】
また、虹彩模様の位置合わせを行うためには、ローカル動きベクトル（ＬＭＶ）を求める。そのため、同図に示すようにＬＭＶブロック６５０が利用される。これにより、細かい虹彩模様に対して高い精度で位置合わせを行うことができる。また、認証を行う際に複数の撮像画像を撮像することを想定すると、その間に周囲の明るさなどにより瞳孔の大きさが変化する場合があり、その場合には瞳孔周辺にアーチファクトと呼ばれる偽像が発生するおそれがある。アーチファクトは、その後の認証性能に大きく影響を及ぼす。この点、ＬＭＶを利用することにより、瞳孔の大きさの変化に対応することが可能となり、アーチファクトを発生を抑制することができる。
【００４１】
［高解像度化の成否］
図７は、本技術の実施の形態による画像の高解像度化の態様例を示す図である。
【００４２】
登録画像６１０と撮像画像６２０の人物が同一の場合、動きベクトルが正しく求められる。そのため、高解像度化画像として得られる画像には、その人物の虹彩模様が形成されることになる。例えば、同図におけるａに示すように、その人物の虹彩模様６６１が形成される。
【００４３】
一方、登録画像６１０と撮像画像６２０の人物が異なる場合、動きベクトルが正しく求められない。そのため、高解像度化画像として得られる画像は正常な虹彩模様とはならない。例えば、同図におけるｂに示すように、虹彩模様６６２は崩れた形状として表れることになる。
【００４４】
［距離］
図８は、本技術の実施の形態における距離と規定範囲との関係例を示す図である。
【００４５】
上述のように、この実施の形態では、ローカル動きベクトル（ＬＭＶ）を求めて、このローカル動きベクトルに従って対象画像のＬＭＶブロックを移動させた場合に、そのＬＭＶブロックの特定の画素と登録画像６１０における画素との距離を、距離生成部１４２によって生成する。ここで、特定の画素は、例えば、ＬＭＶブロックの中央に位置する画素である。
【００４６】
そして、この生成された距離が所定の条件を満たす場合に、ＬＭＶブロックにおける特定の画素を高解像度化画像に貼り合わせる。このときの所定の条件について以下に説明する。
【００４７】
同図において、画素５１０は、登録画像６１０の画素である。また、規定範囲５２０は、画素５１０の中心から一定の半径により形成される円内の範囲である。また、ローカル動きベクトルに従って対象画像のＬＭＶブロックを移動させた際の移動前の画素を白色の円により表し、移動後の画素を灰色の円により表している。すなわち、移動前の画素から移動後の画素を結ぶ矢印がローカル動きベクトルを表している。また、異なる対象画像について繰り返して処理が行われた場合、過去に貼り合わせが行われた画素を黒色の円により表している。なお、この例では、規定範囲５２０が円状であることを想定したが、これに限定されるものではなく、例えば正方形などであってもよい。
【００４８】
ローカル動きベクトルに従って対象画像の画素を移動した際に、ＬＭＶブロックにおける特定の画素が規定範囲内に収まる場合に、その特定の画素を高解像度化画像に貼り合わせる。ただし、また、異なる対象画像について繰り返して処理が行われた場合、過去のものよりも距離が小さい方が優先される。
【００４９】
例えば、ケース１に示すように、移動後の画素が規定範囲５２０に入っており、かつ、その距離が過去のものよりも小さい場合には、その対象画像の画素が採用され、貼り合わせが行われる。
【００５０】
一方、ケース２に示すように、移動後の画素が規定範囲５２０に入っていても、その距離が過去のものよりも大きい場合には、その対象画像の画素は採用されず、貼り合わせは行われない。
【００５１】
また、ケース３に示すように、移動後の画素が規定範囲５２０に入っていなければ、過去に貼り合わせが行われていなくても、その対象画像の画素は採用されず、貼り合わせは行われない。
【００５２】
［処理手順］
図９は、本技術の実施の形態における画像処理方法の処理手順の一例を示す図である。ここでは、ユーザが上述の画像処理装置を備える携帯機器などを手にした際に、そのユーザの顔を撮像して認証を行う場合の処理手順について説明する。
【００５３】
まず、撮像部１１０は、ユーザの顔を撮像する（ステップＳ９０１）。そして、その撮像画像について高解像度化処理を行い（ステップＳ９０２）、その高解像度化された画像を用いて予め登録された人物であるか否かの認証処理を行う（ステップＳ９０３）。認証に成功した場合には（ステップＳ９０４：Ｙｅｓ）、一連の処理を終了して、その携帯機器などの使用をユーザに許可する。
【００５４】
認証に失敗した場合には（ステップＳ９０４：Ｎｏ）、撮像処理（ステップＳ９０１）以降の処理を繰り返す。なお、この繰り返しの回数は予め設定しておくようにしてもよい。その場合、設定された回数を繰り返しても認証に成功しない場合には、ユーザはその携帯機器などを使用することができない。
【００５５】
図１０は、本技術の実施の形態における高解像度化処理（ステップＳ９０２）の処理手順の一例を示す図である。
【００５６】
まず、予め登録画像記憶部１３０に記憶されていた登録画像を取得する（ステップＳ９２１）。そして、ローカル動きベクトル生成のためのＬＭＶブロック数をカウントする変数Ｌに「１」を設定する（ステップＳ９２２）。
【００５７】
撮像画像のブロックＬについて、登録画像との間でローカル動きベクトルを生成する（ステップＳ９２３）。そして、生成されたローカル動きベクトルを用いてブロックＬの画素の貼り合わせ処理を行う（ステップＳ９２４）。その後、変数Ｌに「１」を加算する（ステップＳ９２５）。変数Ｌの値から、全てのローカル動きベクトルの探索が終了していないと判断すると（ステップＳ９２６：Ｎｏ）、次のブロックＬについて処理を繰り返す（ステップＳ９２３）。
【００５８】
全てのローカル動きベクトルを探索したと判断すると（ステップＳ９２６：Ｙｅｓ）、貼り合わせが行われていない画素が有るか否かが判断される（ステップＳ９２７）。貼り合わせが行われていない画素が有る場合には（ステップＳ９２７：Ｙｅｓ）、その画素について補間処理を行う（ステップＳ９２８）。この場合の補間処理としては、例えば、周囲の画素値の平均値により補間することが考えられる。
【００５９】
図１１は、本技術の実施の形態における貼り合わせ処理（ステップＳ９２４）の処理手順の一例を示す図である。
【００６０】
まず、ブロックＬの特定の画素と登録画像の画素との距離を計測する（ステップＳ９３１）。そして、この距離が規定範囲５２０内に入らなければ（ステップＳ９３２：Ｎｏ）、貼り合わせは行われない（ステップＳ９３５）。これは、上述のケース３に該当する場合である。
【００６１】
また、得られた距離が規定範囲５２０内に入ったとしても（ステップＳ９３２：Ｙｅｓ）、過去の距離の方が小さい場合には（ステップＳ９３３：Ｎｏ）、貼り合わせは行われない（ステップＳ９３５）。これは、上述のケース２に該当する場合である。
【００６２】
一方、得られた距離が規定範囲５２０内に入り（ステップＳ９３２：Ｙｅｓ）、かつ、過去の距離よりも小さい場合には（ステップＳ９３３：Ｙｅｓ）、ブロックＬの特定の画素を貼り合わせる（ステップＳ９３４）。これは、上述のケース１に該当する場合である。なお、貼り付け先の画素について繰り返し処理が行われていない場合、すなわちその貼り合わせ先の画素についてまだ画素が貼り合わせられていない場合には、過去の距離を考慮することなく貼り合わせを行う。
【００６３】
このように、本技術の実施の形態によれば、高解像度の登録画像を基準として位置合わせを行って、対象画像の画素を貼り合わせることにより、対象画像を高解像度化することができる。特に、登録画像と対象画像を比較する際にローカル動きベクトルを利用することにより、瞳孔の大きさの変化に対応することが可能となり、アーチファクトの発生を抑制して、対象画像を正確に高解像度化することができる。そして、これにより、認証処理の精度を向上させることができる。したがって、ユーザが携帯機器などに顔を近づけることを要せずに、高い精度で生体認証を行うことができる。
【００６４】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００６５】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【００６６】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【００６７】
なお、本技術は以下のような構成もとることができる。
（１）第１の解像度を有する参照画像を用いて、前記第１の解像度よりも低い第２の解像度を有する対象画像に対して高解像度化処理を実行して高解像度化画像を生成する高解像度化処理部を具備する画像処理装置。
（２）前記高解像度化処理部は、
前記対象画像の所定のブロックに近似する画像領域を前記参照画像において探索して所定の動きベクトルを生成する探索部と、
前記所定の動きベクトルに従って移動した前記所定のブロックにおける特定の画素と前記参照画像における画素との距離を生成する距離生成部と、
前記距離が所定の条件を満たす場合に前記特定の画素を前記参照画像に貼り合わせて前記高解像度化画像を生成する画像生成部と
を備える
前記（１）に記載の画像処理装置。
（３）前記画像生成部は、前記距離が予め規定された範囲内に入る場合に、前記所定の条件を満たすものとして前記貼り合わせを行う
前記（２）に記載の画像処理装置。
（４）前記画像生成部は、異なる前記対象画像について前記高解像度化処理が複数回実行されるときには、前記距離が予め規定された範囲内に入り、かつ、以前の前記高解像度化処理よりも前記距離が小さい場合に、前記所定の条件を満たすものとして前記貼り合わせを行う
前記（２）に記載の画像処理装置。
（５）前記所定のブロックは、前記対象画像におけるローカル動きベクトルのブロックである
前記（２）から（４）のいずれかに記載の画像処理装置。
（６）前記画像生成部は、前記高解像度化画像において前記貼り合わせが行われなかった画素について補間処理を行う
前記（２）から（５）のいずれかに記載の画像処理装置。
（７）前記参照画像と前記高解像度化画像とを比較して認証処理を行う認証処理部をさらに具備する前記（１）から（６）のいずれかに記載の画像処理装置。
（８）被写体を撮像して撮像画像を生成する撮像部をさらに具備し、
前記対象画像は、前記撮像画像の少なくとも一部である
前記（７）に記載の画像処理装置。
（９）前記撮像部は、前記認証処理の結果に応じてさらに前記被写体を撮像する
前記（８）に記載の画像処理装置。
（１０）前記認証処理部は、前記認証処理として虹彩認証を行う
前記（７）から（９）のいずれかに記載の画像処理装置。
（１１）第１の解像度を有する参照画像を用いて、前記第１の解像度よりも低い第２の解像度を有する対象画像に対して高解像度化処理を実行して高解像度化画像を生成する画像処理方法。
（１２）
前記高解像度化処理は、
前記対象画像の所定のブロックに近似する画像領域を前記参照画像において探索する探索手順と、
前記対象画像の前記所定のブロックにおける特定の画素と前記参照画像における画素との距離を生成する距離生成手順と、
前記距離が所定の条件を満たす場合に前記特定の画素を前記参照画像に貼り合わせて前記高解像度化画像を生成する画像生成手順と
を具備する前記（１１）に記載の画像処理方法。
【符号の説明】
【００６８】
１００  携帯機器
１１０  撮像部
１２０  制御部
１３０  登録画像記憶部
１４０  高解像度化処理部
１４１  探索部
１４２  距離生成部
１４３  画像生成部
１５０  認証処理部
【図１】
2020071627.tif 000003
【図２】
2020071627.tif 000004
【図３】
2020071627.tif 000005
【図４】
2020071627.tif 000006
【図５】
2020071627.tif 000007
【図６】
2020071627.tif 000008
【図７】
2020071627.tif 000009
【図８】
2020071627.tif 000010
【図９】
2020071627.tif 000011
【図１０】
2020071627.tif 000012
【図１１】
2020071627.tif 000013