(57)【要約】【課題】部分画像等の小画像から合成画像を生成する画像処理において、重ね合わせの精度を低下されることなく、合成画像の生成の処理時間を短縮することができる画像処理装置及び画像処理方法を提供することを目的とする。【解決手段】  入力された１のフレームの小画像の重ね合わせラインを、予測手段によって予測された予測重ね合わせ画素ラインから離れるほど大きく間引いて指定する。【選択図】図４
2010026571.tif 000002
【特許請求の範囲】
【請求項１】
フレームとして順次出力され、各々が複数の画素ラインからなる小画像を重ね合わせて合成画像を生成する画像処理装置であって、
入力された１のフレームの小画像における重ね合わせ画素ラインを順次変化させて指定する重ね合わせライン指定手段と、
前記重ね合わせライン指定手段によって指定された重ね合わせ画素ライン各々について前記１のフレームの小画像と前記１のフレームより前のフレームの小画像との重ね合わせ部分の画素ごとの輝度レベルの差分の累計を算出する累計算出手段と、
前記累計算出手段によって算出された累計結果の値が最小となる重ね合わせ画素ラインで前記１のフレームの小画像と前記前のフレームの小画像とを合成して合成画像を生成する画像合成手段と、
前記画像合成手段によって生成された合成画像の重ね合わせ画素ラインに応じて予測重ね合わせ画素ラインを指定する予測手段と、を備え、
前記重ね合わせライン指定手段は、次に入力された１のフレームの小画像の重ね合わせ画素ラインを、前記予測手段によって指定された予測重ね合わせ画素ラインから離れるほど大きく間引いて指定することを特徴とする画像処理装置。
【請求項２】
前記重ね合わせライン手段は、前記次に入力された１のフレームの小画像の重ね合わせ画素ラインを、前記予測重ね合わせ画素ラインからライン順番又はその逆の順番に従って指定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記重ね合わせライン手段は、前記次に入力された１のフレームの小画像の重ね合わせ画素ラインを、前記予測重ね合わせ画素ラインからそれに近いライン順に指定することを特徴とする請求項１記載の画像処理装置。
【請求項４】
フレームとして順次出力され、各々が複数の画素ラインからなる小画像を重ね合わせて合成画像を生成する画像処理方法であって、
入力された１のフレームの小画像における重ね合わせ画素ラインを順次変化させて指定する重ね合わせライン指定ステップと、
前記重ね合わせライン指定ステップにおいて指定された重ね合わせ画素ライン各々について前記１のフレームの小画像と前記１のフレームより前のフレームの小画像との重ね合わせ部分の画素ごとの輝度レベルの差分の累計を算出する累計算出ステップと、
前記累計算出ステップにおいて算出された累計結果の値が最小となる重ね合わせ画素ラインで前記１のフレームの小画像と前記前のフレームの小画像とを合成して合成画像を生成する画像合成処理と、
前記画像合成ステップにおいて生成された合成画像の重ね合わせ画素ラインに応じて予測重ね合わせ画素ラインを指定する予測ステップと、を備え、
前記重ね合わせライン指定ステップでは、次に入力された１のフレームの小画像の重ね合わせ画素ラインを、前記予測ステップによって指定された予測重ね合わせ画素ラインから離れるほど大きく間引いて指定することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に、重複部分のある部分画像を重ね合わせて合成画像を生成する画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
指の指紋を認証する指紋認証装置においては、指紋の読み取りのためにスイープ型のセンサが用いられ、そのセンサの読み取り部に対して指を移動させることにより小画像（すなわち、指紋の部分画像（フレーム））が順次出力される。また、指紋認証装置においては、スイープ型センサから順次出力される指紋の部分画像の最適な重ね合わせ画素ライン（合成画素ライン）を探索し、最適な重ね合わせ画素ライン（合成画素ライン）にて部分画像を重ね合わせて指紋画像を構築する画像処理装置が備えられている。構築された指紋画像は、登録時には登録画像として保存され、認証時には認証画像として保存され、その認証画像と登録画像とが同一であるか否かが判定される。特許文献１には、このような画像処理装置を備える指紋認証装置の具体例が記載されている。以下に、特許文献１に記載された画像処理装置及びそれを備える指紋認証装置を図１乃至３を参照しつつ説明する。
【０００３】
図１は、特許文献１に記載された指紋認証装置１００の構成図である。指紋認装置１００は、センサ１０１、画像処理装置１０２及び認証回路１０３から構成されている。センサ１０１は、縦幅が０．５〜５ｍｍ程度の細長い読み取り部（図示せず）を有し、読み取り部によって読み取られた指紋の部分画像をデータとして画像処理装置１０２に供給する。認証回路１０３は、画像処理装置１０２に指紋全体の合成画像が蓄積されたときに、かかる指紋全体の合成画像を用いて指紋認証を行う。
【０００４】
画像処理装置１０２は、部分画像メモリ１１、合成画素ライン算出回路１２及び合成画像メモリ１３から構成されている。部分画像メモリ１１は、センサ１０１に接続し、センサ１０１から周期的に供給される指紋の部分画像を蓄積する。また、部分画像メモリ１１には、合成画素ライン算出回路１２及び合成画像メモリ１３が接続されている。合成画素ライン算出回路１２は、部分画像メモリ１１から供給される現フレームと、現フレームよりも時間的に前、すなわち、1フレーム前に供給される前フレームとを画素ごとに比較し、両フレームが最も類似して重なっているときの現フレームにおける前フレームとの重なり開始の画素ラインを合成画素ラインとして算出する。更に、合成画像メモリ１３には、認証回路１０３が接続されている。
【０００５】
また、合成画素ライン算出回路１２は、重ね合わせ回路１２ａ、画素選択回路１２ｂ、画素比較回路１２ｃ及び画素ライン決定回路１２ｄから構成されている。重ね合わせ回路１２ｂは、入力された画像の１フレーム前の前フレームと現在のフレームである現フレームとを縦方向に重ね合わせて重なり部分の画像を抽出する。画素選択回路１２ｂは重ね合わせ回路１２ａに接続され、前フレームと現フレームとの輝度レベルの差分を取るべき画素を選択する。画素比較回路１２ｃは重ね合わせ回路１２ａ及び画素選択回路１２ｂに接続され、画素選択回路１２ｂが選択した画素の輝度レベルの差分を取り、その累計値と重ね合わせ画素ラインが異なる場合における画素の輝度レベルの差分の累計値とを比較する。画素ライン決定回路１２ｄは画素比較回路１２ｃに接続され、画素比較回路１２ｃの結果に基づいて当該差分の累計値が最小になる重ね合わせ画素ラインを決定する。
【０００６】
図２は、図１の合成画素ライン算出回路１２の動作を示す処理フロー図である。ここでは、フレームの縦方向の重ね合わせ処理について説明するが、横方向についても同様の処理が行われている。
【０００７】
処理が開始されると、前フレームと現フレームとの重ね合わせ画素ラインＡがゼロ（Ａ＝０）に設定される（ステップＳ１）。重ね合わせ画素ラインＡ＝０の場合は、前フレームと現フレームとが完全に重なった状態を示す。また、重ね合わせ画素ラインＡの値が１加算（Ａ＝Ａ+１）された場合は、現フレームに対して前フレームの重ね合わせ画素ラインＡを１画素ライン分のみ下方向に移動させた状態を示す。更に加算された場合は、上述した１画素ライン分のみ下方向に移動させた状態から更に下方向に移動させた状態を示す。重ね合わせ画素ラインＡが決定すると（ステップＳ２）、合成画素ライン算出回路１２は前フレームとの間で輝度レベルの差分を算出すべき現フレームの画素であるか否かを判定する（ステップＳ３）。これは、現フレームの画素順に判定され、重ね合わせ画素ラインＡで定まる現フレームと前フレームとの重なり部分内の画素だけについて画素の輝度レベルの差分を算出するための判定である。輝度レベルの差分を算出する画素である場合は輝度レベルの差分を求め（ステップＳ４）、輝度レベルの差分を算出する画素でない場合はステップＳ６へ進む。
【０００８】
合成画素ライン算出回路１２は、求めた輝度レベルの差を累計に加算し（ステップＳ５）、更に重なり部分の処理が終了したか否かを判定する（ステップＳ６）。また、合成画素ライン算出回路１２は、重なり部分の処理が終了していなければステップＳ３に戻り、重なり部分の処理が終了していれば、合成画素ライン算出回路１３は算出した累計と過去の累計結果とを比較する（ステップＳ７）。算出した累計が過去の累計結果より小さい場合に、合成画素ライン算出回路１２はそのときの重ね合わせ画素ラインＡを合成画素ラインとして更新する（ステップＳ８）。現フレームと前フレームとの重ね合わせが終了したときに、重ね合わせ画素ラインＡがＭ−１（Ｍ：フレームの縦の画素数）であれば（ステップＳ９）、合成画素ライン算出回路１２は、処理動作を終了する。一方で、重ね合わせ画素ラインＡがＭ−１に達していなければ、合成画素ライン算出回路１２は、Ａに１を加算して（ステップＳ１０）、ステップＳ２に戻り、ステップＳ２からステップＳ９までの動作を繰り返す。
【０００９】
図３は、合成画素ライン算出回路１２の動作説明図である。図３では処理手順の概略として、フレームのサイズが８×８画素の場合を示している。合成画素ライン算出回路１２は、処理が開始されると処理（１）で重ね合わせ画素ラインＡをゼロ（Ａ＝０）に設定し、前フレームと現フレームとの重なり部分の画素の輝度レベルの差を算出し、算出した輝度レベル差を累計する。このときの累計結果を４０とすると、合成画素ライン算出回路１２はこの累計結果の４０を過去の累計結果として保持する。
【００１０】
次の処理（２）において、合成画素ライン算出回路１２は重ね合わせ画素ラインＡに１を加算してＡ＝１とし、処理（１）と同様にして重ね合わせ画素ラインＡ＝１のときの輝度レベルの差分の累計を算出する。このときの輝度レベルの差分の累計結果が４５とすると、前回の累計結果（４０）より今回の累計結果（４５）が大きいため、合成画素ライン算出回路１２は過去の累計結果を更新せず、重ね合わせ画素ラインＡ＝０の累計結果を継続して保持する。更に、合成画素ライン算出回路１３は、次の処理（３）においても同様にして輝度レベルの差分の累計を行う。重ね合わせ画素ラインＡ＝２での輝度レベルの差分の累計結果が３０とすると、過去の累計結果よりも小さいため、合成画素ライン算出回路１２はこの累計結果（３０）を過去の累計結果として更新して保持し、同時に重ね合わせ画素ラインＡ＝２を合成画素ラインとして保持する。合成画素ライン算出回路１２は、上述した処理をＡ＝７（処理（８））まで繰り返し、最小の累計結果が保持されている重ね合わせ画素ラインＡ（図３の場合は、Ａ＝３）を、再構築画像の合成画素ラインとして出力する。
【特許文献１】特開２００３−３３１２６９
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した画像処理装置１０２における合成画素ライン算出回路１２は、すべて画素ラインに対して順番に画素の輝度レベルの差分の累計を行い、過去の累計結果と比較している。このため、入力されるフレームのサイズが大きくなった場合に、当該差分の累計を行う画素が増加して処理量が増大し、合成画像の生成が完了するまでの時間が長くなるという問題があった。また、処理時間を短縮するために当該差分の累計を行う画素を削減するという方法も考えられるが、そのように画素を削減するとフレーム間の重ね合わせの精度が悪くなる。
【００１２】
本発明は、以上の如き事情に鑑みてなされたものであり、部分画像等の小画像から合成画像を生成する画像処理において、重ね合わせの精度を低下されることなく、合成画像の生成の処理時間を短縮することができる画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【００１３】
上述した課題を解決するために、本発明の画像処理装置は、入力された１のフレームの小画像における重ね合わせ画素ラインを順次変化させて指定する重ね合わせライン指定手段と、重ね合わせライン指定手段によって指定された重ね合わせ画素ライン各々について１のフレームの小画像と１のフレームより前のフレームの小画像との重ね合わせ部分の画素ごとの輝度レベルの差分の累計を算出する累計算出手段と、累計算出手段によって算出された累計結果の値が最小となる重ね合わせ画素ラインで１のフレームの小画像と前のフレームの小画像とを合成して合成画像を生成する画像合成手段と、画像合成手段によって生成された合成画像の重ね合わせ画素ラインに応じて予測重ね合わせ画素ラインを指定する予測手段と、を備え、重ね合わせライン指定手段は、次に入力された１のフレームの小画像の重ね合わせ画素ラインを、予測手段によって指定された予測重ね合わせ画素ラインから離れるほど大きく間引いて指定することを特徴とする。
【００１４】
また、上述した課題を解決するために、本発明の画像処理方法は、入力された１のフレームの小画像における重ね合わせ画素ラインを順次変化させて指定する重ね合わせライン指定ステップと、重ね合わせライン指定ステップにおいて指定された重ね合わせ画素ライン各々について１のフレームの小画像と１のフレームより前のフレームの小画像との重ね合わせ部分の画素ごとの輝度レベルの差分の累計を算出する累計算出ステップと、累計算出ステップにおいて算出された累計結果の値が最小となる重ね合わせ画素ラインで１のフレームの小画像と前のフレームの小画像とを合成して合成画像を生成する画像合成処理と、画像合成ステップにおいて生成された合成画像の重ね合わせ画素ラインに応じて予測重ね合わせ画素ラインを指定する予測ステップと、を備え、重ね合わせライン指定ステップでは、次に入力された１のフレームの小画像の重ね合わせ画素ラインを、予測ステップによって指定された予測重ね合わせ画素ラインから離れるほど大きく間引いて指定することを特徴とする。
【発明の効果】
【００１５】
本発明の画像処理装置によれば、入力された１のフレームの小画像の重ね合わせラインを、予測された予測重ね合わせ画素ラインから離れるほど大きく間引いて指定することによって、小画像から合成画像を生成する画像処理において、フレーム間の重ね合わせの精度を低下させることなく合成画像生成の処理時間を短縮することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施例について添付図面を参照しつつ詳細に説明する。
【実施例１】
【００１７】
図２は、指紋認証装置２００の構成図である。指紋認証２００は、センサ２０１、画像処理装置２０２及び認証回路２０３から構成されている。センサ２０１は、縦幅が０．５〜５ｍｍ程度の細長い読み取り部（図示せず）を有し、読み取り部によって読み取られた小画像（すなわち、指紋の部分画像（フレーム））をデータとして画像処理装置２０２に入力する。認証回路２０３は、画像処理装置２０２に指紋全体の合成画像が蓄積されたときに、かかる指紋全体の合成画像を用いて指紋認証を行う。
【００１８】
画像処理装置２０２は、部分画像メモリ４１、合成画素ライン算出回路４２及び合成画像メモリ４３から構成されている。部分画像メモリ４１は、センサ２０１に接続し、センサ２０１から周期的に入力される指紋の部分画像を蓄積する。また、部分画像メモリ４１には、合成画素ライン算出回路４２及び合成画像メモリ４３が接続されている。合成画素ライン算出回路４２は、部分画像メモリ４１から与えられる現フレームと、現フレームよりも１フレームだけ前の前フレームとを画素ごとに比較し、両フレームが最も類似して重なっているときの現フレームにおける前フレームとの重なり開始の画素ラインを合成画素ライン（すなわち、最適な重ね合わせ画素ライン）として算出する。更に、合成画像メモリ４３には、認証回路２０３が接続されている。
【００１９】
また、合成画素ライン算出回路４２は、重ね合わせ回路４４、画素選択回路４５、画素比較回路４６、画素ライン決定回路４７及び画素ライン予測回路５０から構成されている。重ね合わせ回路４４は、部分画像メモリ４１に接続され、部分画像メモリ４１に保持された現在の部分画像である現フレームと、時間的に過去の部分画像である前フレームとを、重ね合わせ画素ラインの初期値ＩＮＩに従って重ね合わせを実施し、当該重ね合わせによる重なり部分の画像を抽出する。重ね合わせ回路４４の出力端子には画素選択回路４５及び画素比較回路４６が接続されている。画素選択回路４６は、前フレームと現フレームとの輝度レベルの差分を取るべき画素を選択する。画素比較回路４６は、画素選択回路４５が選択した画素ごとの輝度レベルの差分を取り、その累計値と重ね合わせ画素ラインが異なる場合における画素ごとの輝度レベルの差分の累計値とを比較する。また、画素比較回路４６は、上述した画素ごとの輝度レベルの差分の累計結果が前の重ね合わせ画素ラインで算出した過去の累計結果を越えた時点で、その重ね合わせ画素ラインに対する累計処理を終了する。
【００２０】
画素ライン決定回路４７は、画素比較回路４６に接続されている。画素ライン決定回路４７は、画素比較回路４６の結果に基づいて画素ごとの輝度レベルの差分の累計値が最小になる重ね合わせ画素ラインを決定する。更に、画素ライン決定回路４７は、当該決定された重ね合わせ画素ラインの画素ライン信号（以下、予測合成画素ラインＬＩＮと称する）と共に有効信号ＶＡＬを画素ライン予測回路５０に供給する。また、画素ライン決定回路４７は、合成画素ラインＬＩＮを合成画像メモリ４３にも供給する。
【００２１】
画素ライン予測回路５０は、重ね合わせ回路４４及び画素ライン決定回路４７に接続している。画素ライン予測回路５０は、合成画素ラインＬＩＮの変化速度を検出することにより、前フレームの相対的な移動速度から現フレームの合成画素ラインを予測する。更に、画素ライン予測回路５０は、当該合成画素ラインの予測結果を重ね合わせ画素ラインの初期値ＩＮＩとして重ね合わせ回路４４に供給する。
【００２２】
図５に示されているように、画素ライン予測回路５０は、２つのセレクタ（ＳＥＬ）５１、５２と、２つのレジスタ（ＲＥＧ）５３、５４と、減算器５５と、加算器５６と、範囲判定部５７とから構成されている。図５に示された構成によって、画素ライン決定回路４７から供給される合成画素ラインＬＩＮは、セレクタ５１の第１入力端子に入力され、更にセレクタ５１を介してレジスタ５３に供給される。
【００２３】
レジスタ５３の出力端子は、セレクタ５１の第２入力端子及びセレクタ５２の第１入力端子に接続されている。すなわち、レジスタ５３によって保持された合成画素ラインＬＩＮは、セレクタ５２を介してレジスタ５４に供給される。レジスタ５４の出力端子は、セレクタ５２の第２入力端子に接続されている。なお、セレクタ５１、５２は、画素ライン決定回路４７から供給される有効信号ＶＡＬによって合成画素ラインＬＩＮが有効であることが示された場合に、第１入力端子から供給される合成画素ラインＬＩＮを選択する。また、レジスタ５３、５４は、フレームに対応するクロック信号によって、それぞれに接続されているセレクタ５１、５２の出力を保持する。
【００２４】
レジスタ５３、５４は、減算器５５に接続されている。また、レジスタ５３及び減算器５５は加算器５６に接続されている。かかる構成によって、レジスタ５３に保持された１フレーム前の合成画素ラインＬＩＮ及びレジスタ５４に保持された２フレーム前の合成画素ラインＬＩＮは、減算器５５によってその差分が取られる。更に、減算器５５の減算結果と、レジスタ５３によって保持された１フレーム前の合成画素ラインＬＩＮとが、加算器５６によって加算される。加算器５６には範囲判定部が接続されている。加算器５６のおける加算結果は、予測結果信号（以下、予測値ＰＲＥと称する）として範囲判定部５７に供給される。
【００２５】
範囲判定部５７は、加算器５６から出力される予測値ＰＲＥがフレームの縦方向又は横方向の範囲内の値であるか否かを判定する。加算器５６から出力される予測値ＰＲＥがフレームの範囲外である場合には、範囲判定部５７は加算器から供給される予測値ＰＲＥを修正する。範囲判定部５７は、加算器から供給される予測値ＰＲＥ又はそれに応じて修正した値を重ね合わせ画素ラインの初期値ＩＮＩとし、重ね合わせ回路４４に供給する。すなわち、初期値ＩＮＩが、画素ライン予測回路５０によって予測された予測重ね合わせ画素ライン（以下、予測合成画素ラインとも称する）である。具体的には、予測値ＰＲＥがゼロ（ＰＲＥ＝０）乃至フレームの縦方向又は横方向の画素数Ｍからマイナス１の値（ＰＲＥ＝Ｍ−１）の間の場合に、範囲判定部５７は、その値を初期値ＩＮＩとして重ね合わせ回路４４に供給する。また、予測値ＰＲＥが負の場合に、範囲判定部５７は、ゼロ（ＩＮＩ=０）を出力する。更に、予測ＰＲＥがＭ以上の場合に、範囲判定部５７は、フレーム数Ｍからマイナス１（ＩＮＩ=Ｍ−１）を出力する。
【００２６】
重ね合わせ回路４４は、画素ライン予測回路５０によって予測された予測合成画素ラインから順番にすべての画素において重ね合わせを実施せずに、図６に示されているように予測合成画素ラインの近辺においては密に重ね合わせを実施し、予測合成画素ラインから離間するにつれて粗に重ね合わせを実施する。すなわち、予測合成画素ラインから離れるほど大きく間引いて重ね合わせ画素ラインを順次変化させて指定し、現フレームと前フレームとの重ね合わせを実施する。具体的には、重ね合わせ回路４４は、画素ライン予測回路５０によって予測合成画素ライン及び当該予測合成画素ラインから１、２、４、７、１１、１５画素数だけ離間した画素ラインにおいて重ね合わせを実施し、当該予測合成画素ラインから３、５、６、８、９、１０、１２、１３、１４画素数だけ離間した画素ラインにおいては重ね合わせを実施しない。すなわち、重ね合わせ回路４４は、予測合成画素ラインに応じて選択的に重ね合わせを行う画素を決定する。なお、重ね合わせを実施する画素ラインは上述した画素ラインに限られることはなく、適宜変更することができる。また、図６は、画素ライン予測回路５０によって予測された予測合成画素ラインから１５画素数以内の重ね合わせ画素ラインを示しているが、予測合成画素ラインから１５画素より離間した場合にも当該予測合成画素ラインから離間するほど、重ね合わせ画素ラインは間引かれて指定される。
【００２７】
図７は、フレームサイズが縦方向１６画素の場合において、予測合成画素ラインを１画素ずつ変化させたときの重ね合わせを実施する画素ラインの分布を示している。図７の最も左側の列は、画素ライン予測回路５０によって予測された予測合成画素ラインがゼロ（ＩＮＩ＝０）の場合の重ね合わせ画素ラインの分布を示している。一方で、図７の最も右側の列は、画素ライン予測回路５０によって予測された予測合成画素ラインが１５（ＩＮＩ＝１５）の場合の重ね合わせ画素ラインの分布を示している。図７に示された重ね合わせ分布に基づいて、各予測合成画素ラインにおける重ね合わせ順序を下記の表１に示す。
【００２８】
【表１】
2010026571.tif 000003
【００２９】
表１に示されているように、各予測合成画素ラインにおいて、重ね合わせ回路４４は当該予測合成画素ラインにおいて重ね合わせを実施し、その後、フレームの重ね合わせの基準となる重ね合わせ画素ラインＡを昇順に変化させて重ね合わせを実施する。重ね合わせ画素ラインＡがフレーム数のマイナス１（Ｍ−１）に到達すると、重ね合わせ回路４４は重ね合わせ画素ラインＡを最小値から予測された予測合成画素ラインまで昇順に変化させて重ね合わせを実施する。すなわち、重ね合わせ回路４４は、予測合成画素ラインからライン順番に変化させる。なお、表１においては、昇順に重ね合わせ画素ラインＡを変化されているが、重ね合わせ画素ラインＡを降順（すなわち、上述したライン順の逆の順番）に変化さても良い。
【００３０】
図８は、フレームサイズが縦方向１６画素、横方向８画素であって、表１の予測合成画素ライン（初期値）ＩＮＩ＝０、ＩＮＩ＝８、ＩＮＩ＝１５の場合に、実際に重ね合わせによる評価を実施する画素ラインをＭ−１番目のフレームに表わしたフレームの状態を示している。図８に示されているように、画素ライン予測回路５０によって予測された予測合成画素ラインの近辺においては密に重ね合わせを実施し、予測した合成画素ラインから離間する画素ラインにおいては粗く重ね合わせを実施されることが判る。
【００３１】
画素ライン予測回路５０によってフレームの合成する画素ラインが予測され、その予測結果に基づいて重ね合わせを実施する場合には、従来のように重ね合わせ画素ラインＡがゼロ（Ａ＝０）から順次重ね合わせを実施する場合に比べて、合成画素ラインの決定及びそのラインを利用した合成画素生成までの時間を短縮することができる。しかしながら、フレームサイズが大きくなり、輝度レベルの差分を行う画素数が増加すると処理量が増大し、処理時間の短縮を図ることが困難な場合もある。
【００３２】
その点、本実施例における画像処理装置２０２においては、重ね合わせ回路４４における重ね合わせ画素ラインを画素ライン予測回路５０によって予測された予測合成画素ラインから離れるほど大きく間引いて指定することにより、差分を行う画素数を減少することができる。従って、本実施例における画像処理装置２０２においては、フレームサイズが大きくなった場合にも、画像処理精度の低下を抑えつつ画像処理時間の増加を防止することができる。
【００３３】
次に、図９の指紋認証フローを参照しつつ、本発明の実施例における画像処理装置２０２の動作を説明する。
【００３４】
センサ２０１が指紋の部分画像を取得すると（ステップＳ８１）、指紋の部分画像がバッファ領域（指紋部分画像メモリ４１）に蓄積される（ステップＳ８２）。その後、合成画素ライン算出回路４２は、蓄積された指紋の部分画像を重ね合わせて所定時間内に合成画像を生成し、生成した合成画像を合成画像メモリ４３に蓄積する（ステップＳ８３）。すべての画像取得が終了していない場合には（ステップＳ８４：Ｎｏ）、画像処理装置２０２は、ステップＳ８１に戻って再び部分画像の取得（ステップＳ８１）から合成画像の生成（ステップＳ８３）を行う。一方で、すべての画像取得が終了している場合には（ステップＳ８４：Ｙｅｓ）、画像処理装置２０２は、合成画像メモリ４３に蓄積された合成画像を用いて指紋認証を実施する（ステップＳ８５）。
【００３５】
次に、図４、５、１０乃至１２を参照しつつ合成画素ライン算出回路４２の動作を説明する。図１０は合成画素ライン算出回路４２の動作を示す合成画素ライン算出フローであり、図１１は合成画素ラインＬＩＮの速度算出方法の説明図であり、図１２は合成画素ライン算出回路４２の動作説明図である。なお、以下の説明においては、縦方向の合成画素ラインＬＩＮの検出について説明するが、横方向の合成画素ラインの検出も同様の処理で行われるため、その説明を省略する。また、入力されるフレームサイズを１６×８画素とする。
【００３６】
重ね合わせ回路４４には、部分画像メモリ４１から指紋の部分画像信号（以下、フレームＩＮと称する）が順次供給される。また、画素ライン決定回路４７によって１つのフレームＩＮに対する合成画素ラインＬＩＮが決定された時点で、画素ライン決定回路４７から有効信号ＶＡＬとともに、その決定されたフレームの合成画素ラインＬＩＮ（すなわち、画素の輝度レベルの差分の累計が最小である重ね合わせ画素ラインＡ）が画素ライン予測回路５０に供給される。以下、かかる画素の輝度レベルの差分の累計が最小である重ね合わせ画素ラインを前回結果Ａ１と称する。
【００３７】
合成結果ＬＩＮの前回結果Ａ１は、画素ライン決定回路４７から合成画像メモリ４３にも供給される。画素ライン予測回路５０に供給された合成結果ＬＩＮの前回結果Ａ１は、レジスタ５２によって保持される。これと同時に、前回結果Ａ１の前のフレームの重ね合わせにおいて画素の輝度レベルの差分の累計が最小である重ね合わせ画素ラインＡが、レジスタ５２からレジスタ５４にシフトし、レジスタ５４によって保持される。以下、かかる画素の輝度レベルの差分の累計が最小である重ね合わせ画素ラインを前々回結果Ａ２と称する。これにより、画素ライン予測回路５０の減算器５５及び加算器５６においては、図１１に示すように、部分画像のフレームＩＮが一定の速度で移動していると想定し、次のフレームの重ね合わせを最初に行う重ね合わせ画素ラインＡの予測値ＰＲＥを、前回結果Ａ１と前々回結果Ａ２に基づいて、次式によって算出する。
【００３８】
【数１】
2010026571.tif 000004
【００３９】
予測値ＰＲＥは範囲判定部５７に供給される。予測値ＰＲＥが０からフレームの縦方向の画素数１６−１の間であれば、範囲判定部５７はその値を初期値ＩＮＩとして出力し、負の場合は初期値ＩＮＩとして０を出力し、１６以上の場合は１５を出力する。更に、重ね合わせ回路４４は、範囲判定部５７から供給される初期値ＩＮＩに基づいて、最初に重ね合わせを行う重ね合わせ画素ラインＡをこの初期値ＩＮＩに設定する（図１０のステップＳ１０１）。その後、重ね合わせ回路４４は、供給された初期値ＩＮＩに基づいて、画素の評価実施する重ね合わせ画素ラインＡ及びその順序を決定する（ステップＳ１０２）。以下に、予測された予測合成画素ライン（初期値）がＩＮＩ＝８の場合について説明をする。
【００４０】
次のフレームＩＮ（Ｎ番目のフレーム）が重ね合わせ回路４４に供給されると、重ね合わせ回路４４は、設定された重ね合わせ画素ラインＡに従って、Ｎ番目のフレームとＮ−１番目のフレームとを重ね合わせる（ステップＳ１０３）。具体的には、ＩＮＩ＝８とすると、重ね合わせ回路４４は、図１２に示すように、Ｎ−１番目のフレームがＮ番目のフレームから相対的に８画素だけ下方に移動させた状態（Ａ＝８）を１回目として重ね合わせを行う。
【００４１】
次に、画素選択回路４５は、前フレームとの間で輝度レベルの差分を算出すべき現フレームの画素であるか否かを判定する（ステップS１０４）。これは、現フレームの画素順に判定され、重ね合わせ画素ラインＡで定まる現フレームと前フレームとの重なり部分内の画素だけについて画素の輝度レベルの差分を算出するための判定である。画素比較回路４６は、画素選択回路４５で選択された対象画素に対して輝度レベルの差分を算出し（ステップＳ１０５）、更にその累計を求める（ステップＳ１０６）。ステップＳ１０４からステップＳ１０６を繰り返すことによって、１画素ごとの輝度レベルの差分が算出され、重ね合わせ画素ラインＡごとの差分の累計結果が求められる。
【００４２】
次に、画素比較回路４６は、その累計結果を過去の累計結果と比較する（ステップＳ１０７）。ここでは、１回目の累計であって比較する対象が存在しないためステップＳ１０８に進み、素比較回路４８によって重なり部分の処理が終了している否かが判断される（ステップＳ１０８）。重なり部分の処理が終了していなければステップＳ１０４に戻り、ステップＳ１０４からステップＳ１０８まで処理が再度実施される。一方で、重なり部分の処理が終了していれば、累計結果が過去の累計結果として保持し、累計結果が最小の重ね合わせ画素ラインが合成画素ラインとして保持される（ステップＳ１０９）。続いて、すべての重ね合わせが完了していなければ（ステップＳ１１０：Ｎｏ）、重ね合わせ回路４４によって重ね合わせ画素ラインＡが次の重ね合わせ画素ラインに更新される（ステップＳ１１１）。具体的には、画素ライン予測回路５０によって予測された重ね合わせ画素ラインＡが８（Ａ＝８）であるため、表１に示されているように次の重ね合わせ画素ラインＡは９（Ａ＝９）に更新される。一方で、すべての重ね合わせが完了していれば（ステップＳ１１０：Ｙｅｓ）、合成画素ライン算出回路４２の動作が終了する。
【００４３】
２回目の対象画素の差分算出は、上述したように図１２の処理（２）に示された、Ｎ−１のフレームが更に下方に移動させた状態（Ａ＝９）で実施される。画素選択回路４５は、１回目（重ね合わせ画素ラインＡ＝８）と同様に、重ね合わせられた状態において差分を算出するか否かを選択し（ステップS１０４）、選択された対象画素に対して差分を算出し（ステップＳ１０５）、更にその累計を求める（ステップＳ１０６）。
【００４４】
次に、画素比較回路４６は、今回（重ね合わせ画素ラインＡ＝９）の累計結果と前回（Ａ＝８）の累計結果とを比較（ステップＳ１０７）。今回の累計結果が前回の累計結果より小さければ、残りの対象画素に対する輝度レベルの差分の算出と累計処理を更に繰り返す（ステップＳ１０４からステップＳ１０８）。そして、全対象画素に対する差分の累計処理が終了した場合は（ステップＳ１０８：Ｙｅｓ）、今回の累計結果が前回の累計結果より小さいこと（ステップＳ１０７：Ｙｅｓ）も満足しているため、その累計結果を過去の累計結果として更新する。また、ステップＳ１０７において今回の累計結果が過去の累計結果よりも大きい場合は、残りの処理画素の有無にかかわらず、重ね合わせ回路４４は、現在設定されている重ね合わせ画素ラインＡでの処理は終了して次の重ね合わせ画素ラインに対する処理に移る（ステップＳ１１０、１１１）。
【００４５】
上記処理を表１に記載されている順序ですべて繰り返し、重ね合わせ画素ラインＡ＝７の処理が終了すると、画素ライン決定回路４７から有効信号ＶＡＬが画素ライン予測回路５０に供給される。また、画素ライン決定回路４７から合成画像メモリ４３及び画素ライン予測回路５０に供給される合成画素ラインＬＩＮは、累計結果が一番小さい重ね合わせ画素ラインＡの値となる。
【００４６】
なお、合成画素ライン算出回路４２におけるフレームの重ね合わせ方向は、縦及び横方向だけなく、斜め方向においても同様の方法を用いて実施することができる。
【００４７】
以上のように、本発明の画像処理装置２０２によれば、画素ライン予測回路５０によって予測された予測合成画素ラインに基づいて重ね合わせ実施する重ね合わせ画素ラインを選択することによって、小画像である部分画像から合成画像を生成する画像処理において、フレーム間の重ね合わせの精度を低下させることなく合成画像生成の処理時間を短縮することができる。
【実施例２】
【００４８】
第１の実施例においては重ね合わせ回路によって重ね合わせ画素ラインが昇順に変化されていたが、重ね合わせ回路４４は画素ライン予測回路５０によって予測された予測合成画素ラインの近辺から順次（すなわち、予測合成画素ラインから近いライン順）重ね合わせの処理を実施しても良い。このような重ね合わせの順序を採用することによって、より早期に最小となる画素の累計を算出することができ、画像処理の短縮を実現できる。以下にその具体例を表２及び図１３を参照しつつ説明する。なお、画像処理装置２０２の構成及びその動作には変更はないため、当該構成及び動作については説明を省略する。
【００４９】
第１の実施例と同様に、フレームサイズが縦方向１６画素における各予測合成画素ラインにおける重ね合わせ順序を下記の表２に示す。
【００５０】
【表２】
2010026571.tif 000005
【００５１】
表２及び図１３に示されているように、重ね合わせ回路４４は当該予測合成画素ラインにおいて重ね合わせを実施し、その後、当該予測合成画素ラインの近辺から順次変化させて重ね合わせを実施する。すなわち、予測合成画素ラインから離れるほど大きく間引いて重ね合わせ画素ライン指定し、当該予測合成画素ラインの近辺から重ね合わせ画像ラインを順次変化させ、現フレームと前フレームとの重ね合わせを実施する。具体的には、予測合成画素ライン（初期値）がＩＮＩ＝８の場合に、重ね合わせ回路４４は、Ｎ−１番目のフレームがＮ番目のフレームから相対的に８画素だけ下方に移動させた状態（Ａ＝８）を１回目（処理（１））として重ね合わせを行う。次に、重ね合わせ回路４４は、Ｎ−１番目のフレームがＮ番目のフレームから相対的に９画素だけ下方に移動させた状態（Ａ＝９）を２回目（処理（２））として重ね合わせを行う。更に、重ね合わせ回路４４は、Ｎ−１番目のフレームがＮ番目のフレームから相対的に７画素だけ下方に移動させた状態（Ａ＝７）を３回目（処理（３））として重ね合わせを行う。その後、重ね合わせ回路４４は、重ね合わせ画素ラインＡを１０、６、１２、４、１５、１と変化させて（すなわち、予測合成画素ラインの近辺から順次）重ね合わせを実施する。
【００５２】
以上のように、第２の実施例においては、画素ライン予測回路５０によって予測された予測合成画素ラインの近辺から順次重ね合わせが実施されることにより、当該予測合成画素ラインの近辺に存在する可能性が高い最小の画素の累計値を早期に発見することができる。また、このような累計値の早期に発見は、演算回数の削減及び合成画素ライン決定処理の処理時間の短縮に繋がり、画像処理装置２０２の低消費電力化を実現することができる。
【００５３】
なお、上記した各実施例においては、連続する２フレームを縦方向に重ね合わせるために重ね合わせ画素ラインは横方向に伸長したラインであるが、連続する２フレームを横方向に重ね合わせる場合には重ね合わせ画素ラインは横方向に伸長したラインとなる。また、重ね合わせ画素ラインは斜めの画素ラインでも良く、更には縦方向の画素ラインと横方向の画素ラインとを組み合わせてフレーム間の重ね合わせ状態を指定しても良い。
【００５４】
また、上記した各実施例においては、現フレームとそれより１つ前のフレームとの重ね合わせを行っているが、現フレームとそれより２以上前のフレームとの重ね合わせでも良い。
【図面の簡単な説明】
【００５５】
【図１】従来の指紋認証装置の構成図である。
【図２】従来の画像処理装置の合成画素ライン算出回路の動作を示す処理フロー図である。
【図３】従来の画像処理装置の合成画素ライン算出回路の動作説明図である。
【図４】本発明の第１の実施例としての画像処理装置を含む指紋認証装置の構成図である。
【図５】本発明の第１の実施例としての画像処理装置の合成画素予測回路の構成図である。
【図６】予測された予測合成画素ラインからの重ね合わせ画素ラインの説明図である。
【図７】予測合成画素ラインを１画素ずつ移動させたときの重ね合わせを実施する画素ラインの分布図である。
【図８】予測合成画素ラインごとの重ね合わせ画素ラインの説明図である。
【図９】本発明の実施例としての画像処理装置を含む指紋認証装置の動作を示す処理フロー図である。
【図１０】本発明の実施例としての画像処理装置の合成画素ライン算出回路の動作を示す処理フロー図である。
【図１１】本発明の実施例としての画像処理装置の速度検出方法の説明図である。
【図１２】本発明の第１の実施例としての画像処理装置の合成画素ライン算出回路の動作の説明図である。
【図１３】本発明の第２の実施例としての画像処理装置の合成画素ライン算出回路の動作の説明図である。
【符号の説明】
【００５６】
４１  部分画像メモリ
４２  合成画素ライン算出回路
４３  合成画像メモリ
４４  重ね合わせ回路
４５  画素選択回路
４６  画素比較回路
４７  画素ライン決定回路
５０  合成画素予測回路
２００  指紋認証装置
２０１  センサ
２０２  画像処理装置
２０３  認証回路
【図１】
2010026571.tif 000006
【図２】
2010026571.tif 000007
【図３】
2010026571.tif 000008
【図４】
2010026571.tif 000009
【図５】
2010026571.tif 000010
【図６】
2010026571.tif 000011
【図７】
2010026571.tif 000012
【図８】
2010026571.tif 000013
【図９】
2010026571.tif 000014
【図１０】
2010026571.tif 000015
【図１１】
2010026571.tif 000016
【図１２】
2010026571.tif 000017
【図１３】
2010026571.tif 000018