(57)【要約】      （修正有）【課題】画像の統合枚数により、画像の領域ごとに画質の改善度合いが異なる場合において、統合画像の高画質化処理を行う技術を提供する。【解決手段】画像処理装置は、複数枚の画像の位置合わせ処理を行う位置合わせ部１０２と、位置合わせ部１０２による位置合わせ処理の結果に基づいて、複数枚の画像を統合して統合画像を生成する画像統合部１０４と、画像統合部１０４で統合された統合画像において統合枚数の異なる領域ごとの統合枚数情報、および、統合画像の画像データを用いて、統合画像の高画質化処理を行う信号処理部（高画質化処理部）１０６とを備える。【選択図】図１
2009259032.tif 000002
【特許請求の範囲】
【請求項１】
複数枚の画像の位置合わせ処理を行う位置合わせ部と、
前記位置合わせ部による位置合わせ処理の結果に基づいて、前記複数枚の画像を統合して統合画像を生成する画像統合部と、
前記画像統合部により生成された統合画像において、統合枚数の異なる領域ごとの統合枚数情報、および、前記統合画像の画像データを用いて、前記統合画像の高画質化処理を行う高画質化処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記高画質化処理部は、前記統合画像の任意の領域について、その領域の画像統合枚数以上で画像が統合された領域の画像データを用いて高画質化処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記高画質化処理部は、前記統合画像の任意の領域について、その領域の画像統合枚数以上で画像が統合された領域のうち、統合枚数の数が多い領域の画像データをより優先的に用いて高画質化処理を行うことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記高画質化処理部は、前記統合画像を複数の部分領域に分割し、前記複数の部分領域のうち、高画質化処理を行う任意の処理対象部分領域について、前記処理対象部分領域の画像統合枚数以上の部分領域であって、前記処理対象部分領域と相関の高い部分領域の画像データを用いて、前記処理対象部分領域の高画質化処理を行うことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
前記処理対象部分領域の画像統合枚数以上の部分領域の画像を劣化させる画像劣化部をさらに備え、
前記高画質化処理部は、前記画像劣化部により劣化処理が行われた部分領域のうち、前記処理対象部分領域と相関の高い部分領域を求め、求めた部分領域の劣化処理前の画像データを用いて、前記処理対象部分領域の高画質化処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記高画質化処理部は、前記処理対象部分領域の画像統合枚数以上の部分領域であって、前記処理対象部分領域と最も相関の高い部分領域の画像データを、前記処理対象部分領域の画像データとすることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記高画質化処理部は、前記処理対象部分領域の画像統合枚数以上の部分領域であって、前記処理対象部分領域と相関の高い所定数の部分領域の画像データに対して、相関の高さに応じた重み付け平均を行うことにより得られた画像データを、前記処理対象部分領域の画像データとすることを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記統合画像のデータ構造を学習する学習部をさらに備え、  前記高画質化処理部は、前記統合画像の任意の領域について、その領域の画像統合枚数以上で統合された領域のデータ構造の学習結果を用いて、高画質化処理を行うことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
【請求項９】
前記学習部は、前記統合画像のデータ構造の学習処理として、前記統合画像を基底画像に分解する処理を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記高画質化処理部は、高画質化処理を行う任意の処理対象領域の画像データとして、その処理対象領域の画像統合枚数以上で統合された領域の基底画像の画像データを用いることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記基底画像を劣化させる画像劣化部をさらに備え、
前記高画質化処理部は、前記処理対象領域の画像データと、前記画像データ劣化部により劣化処理が行われた基底画像の画像データとに基づいて、高画質化処理を行うために用いる基底画像を決定し、決定した基底画像の画像データを、前記処理対象領域の画像データとして用いることを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
前記位置合わせ部による位置合わせ処理の結果に基づいて、前記位置合わせの誤りを判定する位置合わせ誤り判定部をさらに備えることを特徴とする請求項１から請求項１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記画像統合部は、前記位置合わせ誤り判定部によって位置合わせ誤りと判定された画像の領域の統合処理を行わないことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
請求項１から請求項１３のいずれか一項に記載の画像処理装置を有することを特徴とする電子機器
【請求項１５】
複数枚の画像の位置合わせ処理を行うステップと、
前記位置合わせ処理の結果に基づいて、前記複数枚の画像を統合して統合画像を生成するステップと、
前記統合画像における統合枚数の異なる領域ごとの統合枚数情報、および、前記統合画像の画像データを用いて、前記統合画像の高画質化処理を行うステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１６】
複数枚の画像の位置合わせ処理を行うステップと、
前記位置合わせ処理の結果に基づいて、前記複数枚の画像を統合して統合画像を生成するステップと、
前記統合画像における統合枚数の異なる領域ごとの統合枚数情報、および、前記統合画像の画像データを用いて、前記統合画像の高画質化処理を行うステップと、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚画像の位置合わせを行い、その位置合わせ情報を用いて統合処理を行って一枚の統合画像を作成する際に、統合画像の画質の改善を行う技術に関する。
【背景技術】
【０００２】
従来、複数枚画像の位置合わせを行い、その位置合わせ情報を用いて統合処理を行い、一枚の統合画像を作成することで、高画質化を行う方法が提案されている。例えば、複数枚画像を統合することで、ノイズの平均化や低減を行ったり、より微細な構造を再現可能な超解像処理（特許文献１参照）を行うことが可能であった。
【特許文献１】ＷＯ２００４／０６８８６２
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の技術では、複数枚画像の位置合わせ情報を用いて高画質化を行う場合に、画像の領域ごとに、画像の位置合わせが成功したり、失敗したりすることがあった。このような場合、位置合わせ誤りが存在するために、画像は画像の領域ごとに画質が改善されたり、改善されなかったりすることで、全体的に不自然な仕上がりになることがあった。また、画像の位置合わせが成功したり、失敗したりすることがある場合に、画像の位置合わせ誤りを検出しながら画質の改善を行うという手法が存在するが（情報科学技術フォーラムFIT2006、「レジストレーション誤差を考慮した超解像処理」）、このような処理を行った場合にも、画像の統合枚数が画像の領域ごとに異なり、その結果、画質の改善度合いが画像の領域ごとに異なり、統合画像が不自然な仕上がりとなる可能性があった。
【０００４】
本発明は、上述した課題を解決するための手段を提供することを目的としており、画像の統合枚数が統合画像の領域ごとに異なる場合において、統合画像の高画質化処理を行う技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明のある態様に係る画像処理装置は、複数枚の画像の位置合わせ処理を行う位置合わせ部と、前記位置合わせ部による位置合わせ処理の結果に基づいて、前記複数枚の画像を統合して統合画像を生成する画像統合部と、前記画像統合部により生成された統合画像において、統合枚数の異なる領域ごとの統合枚数情報、および、前記統合画像の画像データを用いて、前記統合画像の高画質化処理を行う高画質化処理部と、を備えることを特徴とする。
【０００６】
本発明の別の態様に係る画像処理プログラムは、複数枚の画像の位置合わせ処理を行うステップと、前記位置合わせ処理の結果に基づいて、前記複数枚の画像を統合して統合画像を生成するステップと、前記統合画像における統合枚数の異なる領域ごとの統合枚数情報、および、前記統合画像の画像データを用いて、前記統合画像の高画質化処理を行うステップと、をコンピュータに実行させることを特徴とする。
【０００７】
本発明のさらに別の態様に係る画像処理方法は、複数枚の画像の位置合わせ処理を行うステップと、前記位置合わせ処理の結果に基づいて、前記複数枚の画像を統合して統合画像を生成するステップと、前記統合画像における統合枚数の異なる領域ごとの統合枚数情報、および、前記統合画像の画像データを用いて、前記統合画像の高画質化処理を行うステップと、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像の統合枚数が統合画像の領域ごとに異なる場合において、統合枚数の少ない領域の画質を向上させることができる。
【発明を実施するための最良の形態】
【０００９】
−第１の実施の形態−
図１は、本発明における画像処理装置の第１の実施の形態の構成を示す図である。第１の実施の形態における画像処理装置は、入力部１００、記録部１０１、位置合わせ部１０２、位置合わせ誤り判定部１０３、画像統合部１０４、統合枚数算出部１０５、信号処理部１０６、制御部１０７、外部Ｉ／Ｆ部１０８、および、出力部１０９を備える。この実施の形態に係る画像処理装置は電子機器に搭載される。電子機器とは、正しく作動するために電流または電磁界に依存する装置であって、例えば、電子計算機、デジタルカメラ、デジタルビデオカメラ、内視鏡などの装置を指す。
【００１０】
入力部１００に入力された複数枚の画像は、記録部１０１に送られて記録される。なお、入力部１００には、例えば、図示しない撮像装置や外部装置から、異なる時刻に撮像された複数枚の画像が入力される。
【００１１】
記録部１０１に記録された画像は、位置合わせ部１０２に送られる。ただし、後述する信号処理部１０６で高画質化処理が行われた後、記録部１０１に記録された画像は、出力部１０９に送られて、本発明による画像処理装置の外部へと出力されて、外部リソースとして利用され得る。
【００１２】
位置合わせ部１０２は、複数枚の画像に対して、位置合わせ処理を行う。位置合わせを行う方法としては、従来、利用されている手法、例えば、ブロックマッチング法や勾配法等を用いることができる。また、画像を小さな部分領域に分け、複数の画像間における点の対応を取ることにより、より複雑な動きの位置合わせを行っても良いものとする。例えば、複数の画像間の位置対応を求め、一つの射影変換パラメータを推定するという構成としてもよい。
【００１３】
また、位置合わせにおいては、ブロックマッチング等、本来ピクセル単位の位置合わせのみ行う手法があるが、実際はより高精度の位置合わせを行うために、画素単位よりもより精度の高い、サブピクセルレベルの位置合わせをさらに後段に加えても良い。このサブピクセルレベルの位置合わせ処理には、従来用いられているパラボラフィッティング手法等を用いることができる。
【００１４】
なお、ここで説明した位置合わせ処理は、単純に複数枚画像の位置合わせを行う処理である。その他の形態として、例えば画像のモザイキング処理を行う場合等では、画像のより端の方の位置合わせを行う傾向があるが、そのような場合でも、同様の位置合わせ処理を行うことができる。従って、位置合わせ処理を行い、モザイキング時に画像の張り合わせを行った場合に、画像の部分ごとに画像の統合枚数が異なる場合にも、本発明は有効である。すなわち、後述する本発明特有の処理を行うことで、画像の統合枚数が異なる場合に、統合枚数の多い領域（一般的に画像の端部となる）の画像データを用いて、統合枚数の少ない領域（一般的に画像の中央部となる）の高画質化を行う処理が可能となる。
【００１５】
位置合わせ部１０２で位置合わせが行われた複数枚の画像、およびその位置合わせを行った結果のパラメータは、位置合わせ誤り判定部１０３へと送られる。位置合わせ誤り判定部１０３は、実際に位置合わせが正しかったかどうかの判定を行う。位置合わせ判定は、位置合わせを行った二つの画像のレジストレーション処理を行い、二つの画像間のエラー値を求める、等の処理により行うことができる。このような手法は、例えば、特開２００６−１４０８８６号公報等に開示されている。
【００１６】
ここで、レジストレーション処理とは、位置合わせを行った二つの画像の位置を用いて、画像を重ねる処理のことを言う。このような処理を行い、二つの画像間のエラー値を求め、そのエラー値がある閾値よりも大きい値だった場合は、二つの画像の間の位置合わせ処理は誤りであるとみなす処理を行う。なお、ここでは、画像の位置合わせを画像の部分毎に行ったならば、その画像の部分毎に位置合わせの誤りを判定するという構成とする。
【００１７】
位置合わせ部１０２で位置合わせが行われた複数枚の画像、位置合わせ部１０２で位置合わせを行った結果の位置合わせパラメータ、および、位置合わせ誤り判定部１０３において位置合わせの誤り判定が行われた位置合わせ誤り判定情報は、画像統合部１０４へと送信される。
【００１８】
画像統合部１０４は、複数枚の画像に対し、位置合わせパラメータを用いて画像のレジストレーション処理を行い、統合画像を生成する。このとき、位置合わせ誤り判定情報を用いて、位置合わせ処理が誤りであると判定された領域については、レジストレーション処理を行わないこととする。この様な処理を行うことで、統合画像の各領域のうち、位置合わせの誤りが多い領域では、画像の統合枚数が少なくなり、位置合わせ誤りが少ない領域では、画像の統合枚数が多くなる。
【００１９】
画像の統合枚数は、統合枚数算出部１０５において、算出、記憶される。なお、画像の統合枚数は、位置合わせがすべて誤りと判定された場合でも、位置合わせの基準となる画像（位置合わせ処理を行わない画像）が少なくとも一枚はレジストレーション処理に含まれるため、画像の統合枚数は少なくとも一枚以上となる。
【００２０】
なお、ここでの統合画像の生成は、位置合わせ処理を行う画像と同一の解像度の画像としてもよいが、位置合わせ処理を行う画像よりも多い解像度の画像としてもよい。例えば、画像の超解像度処理を行う場合は、統合画像の解像度を２倍〜１６倍程度に大きくし、解像度を大きくした画像に対してレジストレーション処理を行っても良いものとする。
【００２１】
画像統合部１０４において画像の統合処理が行われた画像、および、統合枚数算出部１０５において算出された統合枚数情報は、信号処理部１０６に送られ、統合画像の高画質化処理に利用される。ここで、高画質化処理の方法として、統合枚数の少ない領域の画像データを、統合枚数の多い領域の画像データを用いて得られる新たな画像データとすることにより、統合枚数の少ない領域の画質を向上させる処理を行う。ここで、画像データとは、画像を形成するデータであり、例えば、画素値である。
【００２２】
図２は、アルファベットを撮影した統合画像を示す図である。図２において、画像中央の点線部よりも左側の領域２１の統合枚数が４枚、右側の領域２２の統合枚数が２枚であったとする。左側の領域２１の統合枚数が４枚であるから、統合枚数２枚の右側の領域２２にくらべ高画質となる。このとき、左側の画像領域２１を利用して、右側の画像領域２２の高画質化処理を行う。具体的には、以下のような処理を行う。
【００２３】
はじめに、統合画像を画像の統合枚数毎に領域分けする。図２の場合は、画像の統合枚数の違いにより、左右二つの領域に別れる。ここで、図２に示す例では、２種類の領域に分かれることを想定しているが、領域の分割は画像の統合枚数の違いにより、３つ以上の領域に分かれてもかまわないのは当然のことである。
【００２４】
統合枚数の違いにより領域分けされたそれぞれの領域は、信号処理部１０６において、それぞれ、複数の画像パッチに分割される。画像パッチとは、画像の細かい部分領域を表し、画像全体の大きさが例えば３００×３００[pixel]程度であれば、例えば５×５〜１５×１５[pixel]程度の正方形の領域のことを表す。このような画像パッチをそれぞれの領域より複数取得し、それぞれの領域においてパッチ群を得る。
【００２５】
次にそれぞれの画像パッチにおいて、画像パッチ内の各画素の画素値から、その画像パッチの平均値を引き、ゼロ平均化する。画像パッチの平均値は、その画像パッチ内の全画素の画素値に基づいて求められる平均値であり、画像パッチ毎に保持しておく。そして、統合枚数の多い領域の画像パッチと、統合枚数の少ない領域の画像パッチとの間において、画像パッチ間の相関値を計算する。相関値の計算には例えば、正規化相互自己相関等を用いる。正規化相互自己相関の式の一例を次式（１）に示す。
【００２６】
【数１】
2009259032.tif 000003
【００２７】
ここで、Ｒ（ｙ1、ｙ2）は、正規化相互自己相関値、ｙ1（ｉ）は統合枚数の多い領域における画像パッチの画素値、ｙ2（ｉ）は統合枚数の少ない領域における画像パッチの画素値、ｙ1_aveは統合枚数の多い領域における全画像パッチの画素値の平均値、ｙ2_aveは統合枚数の少ない領域における全画像パッチの画素値の平均値、Ωは画像パッチの全領域を表す。式（１）により、統合枚数の少ない領域における画像パッチｙ2と似た、統合枚数の多い領域における画像パッチｙ1を得ることができる。
【００２８】
なお、ここでは、統合枚数の多い領域における画像パッチとして、図２の右側の領域２２の統合枚数よりも統合枚数の多い左側の領域２１の画像パッチを用いているが、この形態に限定されることはない。例えば、統合枚数の少ない領域２２の統合枚数以上の統合枚数を持つ領域の画像パッチを用いても良いものとする。すなわち、統合枚数の少ない右側の領域２２も、比較の領域として含め、左側の領域２１および右側の領域２２の両方をｙ1に属する画像パッチとするという形態をとっても良い。
【００２９】
また、さらに、統合枚数の多い領域を優先的に用いる構成とするために、統合枚数に応じた重み係数を上記正規化相互相関に用いても良いものとする。統合枚数に応じた重み係数を用いた場合の正規化相互自己相関の式を次式（２）に示す。
【００３０】
【数２】
2009259032.tif 000004
【００３１】
式（２）におけるαは、統合枚数に応じた重み係数である。αの設定方法の例としては、例えば統合枚数をそのまま重み係数としてもよい。例えば、統合枚数が４枚の場合はα＝４となる。ただし、αの設定方法は、任意の設定法として良いものとし、この方法によらない。
【００３２】
なお、式（１）により相関値を求める場合には、統合枚数を考慮しないため、統合枚数の多い領域として、最も統合枚数の多い領域を用いることが好ましい。一方、式（２）により相関値を求める場合には、高画質化処理の対象である領域よりも統合枚数の多い領域を用いる。例えば、統合枚数がそれぞれ２枚、３枚、４枚の領域がある場合に、高画質化処理の対象領域が統合枚数２枚の領域であれば、統合枚数３枚の領域および統合枚数４枚の領域を対象として、式（２）より相関値を求める。統合枚数の違いにより、４つ以上の領域に分割される場合でも同じである。ただし、相関値を求める方法は、式（１）や式（２）に限定されることはなく、他の方法を用いてもよい。
【００３３】
また、統合枚数の少ない領域と統合枚数の多い領域の画質が著しく異なる場合は、統合枚数の多い領域の画像を統合枚数の少ない領域に合わせるように劣化させてから、相関値を算出しても良いものとする。例えば、統合枚数の少ない領域の画像が、統合枚数の多い領域の画像よりも鮮鋭度が低くボケた印象である場合は、統合枚数の多い領域の画像データにガウシアンフィルタを畳み込み、統合枚数の少ない画像領域と同一の鮮鋭度に変換した後、上記相関値を算出しても良い。ただし、ここで行う劣化処理は相関値を良好に取得するための手段であり、次に示す高画質化処理の段階では劣化した画像データは用いず、統合枚数の多い領域の画像データそのものを用いる。なお、ここでは劣化の例として、ガウシアンフィルタの畳み込みを挙げたが、その他、画像に劣化を施す処理であれば劣化の方法はどの様な形態をとることも可能である。また劣化の種類は、予め決められた劣化処理を施しても良いし、統合枚数の違いにより劣化処理の内容を変えても良いものとする。この画像の劣化処理は、信号処理部１０６により行うことができ、この場合、信号処理部１０６は、高画質化処理部として機能するだけでなく、画像劣化部としても機能することになる。
【００３４】
次に、上記方法で得られた画像パッチにより、統合枚数が少ない領域の画像パッチの高画質化を行う。高画質化のためには、最も相関の高いパッチをそのまま用いる方法、または相関の高い画像パッチの重み付け平均により高画質化を行う方法などを用いる。最も相関の高い画像パッチをそのまま用いる方法では、上式（１）または（２）により算出されるＲ（ｙ1、ｙ2）のうち、最も高い値を持つｙ1を、ｙ2に代わる画像パッチとして用いる。すなわち、処理対象の画像パッチｙ2に対して、Ｒ（ｙ1、ｙ2）が最も大きくなる画像パッチｙ1を求め、求めた画像パッチｙ1を、画像パッチｙ2の代わりに用いる。
【００３５】
一方、相関の高いパッチの重み付け平均により高画質化を行う方法では、例えば次式（３）を用いる。
【００３６】
【数３】
2009259032.tif 000005
【００３７】
上式（３）では、Ｒ（ｙ1、ｙ2）を重み係数として、高画質化のために用いる画像パッチｙ1の画素値の重み平均をとることにより、統合枚数の少ない領域における画像パッチｙ2の画素値の高画質化処理後の推定値を算出している。ここで、Ｌは、統合枚数の少ない領域における画像パッチｙ2と比較される、統合枚数の多い領域の画像パッチの任意の集合であるが、計算量を考慮し、一般的にはＲ（ｙ1、ｙ2）が大きい値をとる相関の高い画像パッチに限定したものとなる。具体的には、相関の高い所定の数（例えば、１０個）の画像パッチの集合をとることができる。
【００３８】
以上の処理を繰り返し行うことで、統合枚数の少ない領域の全ての画像パッチについて、統合枚数の多い領域の画像パッチの画像データを用いて高画質化処理を行う。
【００３９】
なお、統合枚数の少ない領域というのは、統合枚数が最も多い領域よりも統合枚数の少ない領域のことである。従って、例えば、統合枚数がそれぞれ２枚、３枚、４枚の領域がある場合には、統合枚数が２枚の領域だけでなく、統合枚数が３枚の領域についても上述した高画質化処理を行う。
【００４０】
上記の手順により、高画質化の対象となった画像パッチ（統合枚数の少ない領域における画像パッチ）について高画質化処理を行った後、再度その画像パッチを高画質化された状態で取得した画像の部分へ加算しながら戻し、予め引いた平均値を加えることで、画像パッチ情報を画像の情報へと反映する。このとき加える平均値は、高画質化処理の対象となった画像パッチの平均値である。
【００４１】
このような処理で高画質化された画像パッチを、画像パッチを取得した場所へ加算しながら戻した場合、画像パッチの取得を画像パッチ間の重なりを許容しながら行った場合には、画像パッチを取得した場所へ加算しながら戻すときに、加算の枚数に応じて平均化処理を行う。例えば、あるピクセルにおいて、画像パッチを４つ重複してとった場合、画像パッチを取得した場所へ戻すときに４つの値を加算することになるので、平均化のために４で割る処理を行うこととする。
【００４２】
信号処理部１０６において高画質化処理が行われた統合画像は、記録部１０１へと転送され、記録部１０１において記録保持される。記録部１０１に記録された画像は、出力部１０９へ送られた後、画像処理装置の外部へと出力され、外部リソースとして利用される。
【００４３】
図３は、第１の実施の形態における画像処理装置によって行われる高画質化処理の処理手順を示すフローチャートである。
【００４４】
ステップＳ１において、位置合わせ部１０２は、記録部１０１から複数枚の画像を読み込む処理を行う。ステップＳ２において、位置合わせ部１０２は、ステップＳ１で読み込んだ複数枚の画像に対して、位置合わせ処理を行う。
【００４５】
ステップＳ３において、位置合わせ誤り判定部１０３は、位置合わせ誤り判定処理を行う。位置合わせ誤り判定処理には、例えば位置合わせを行った２枚の画像間のＳＳＤ（Sum of Squared Difference：差の２乗和）を演算し、そのＳＳＤのエラーが大きい場合に、位置合わせ誤りであると評価するような処理を行う。ＳＳＤが小さいほど、２枚の画像間の一致度は高いため、例えば、演算したＳＳＤが所定のしきい値より大きい場合に、位置合わせ処理が誤りであると判定する。
【００４６】
ステップＳ４において、画像統合部１０４は、画像の統合処理をおこなう。すなわち、位置合わせ処理により得られる位置合わせパラメータ、および位置合わせ誤り判定処理により得られる位置合わせ誤り判定情報を用いて、複数枚画像の位置合わせ処理が正しく行われたと判定された画像部分を統合し、一枚の統合画像を生成する。
【００４７】
ステップＳ５において、統合枚数算出部１０６は、画像の統合枚数を算出する。ステップＳ４において、位置合わせ誤り判定処理により位置合わせが誤りであると判定された回数や画像データの変形により、画像の統合枚数が統合画像の部分領域により異なるため、これを算出、記録保持しておく。
【００４８】
ステップＳ６〜ステップＳ１３の処理は、信号処理部１０５によって行われる。ステップＳ６では、統合画像を統合枚数により分割する。例えば、画像の統合枚数が１枚の場合、２枚の場合等のように、統合枚数の違いに応じて画像の領域を分割する。ステップＳ７では、ステップＳ６で分割した画像の領域ごとに、領域内の画像データを複数の画像パッチへと分割する。
【００４９】
ステップＳ８では、ステップＳ７で生成された画像パッチ内の各画素の画素値から、その画像パッチの平均値を引くことで、全ての画像パッチの画素値をゼロ平均化する。このとき、後の画像統合処理（ステップＳ１３）のために、画像パッチの平均値は記録・保持しておく。
【００５０】
ステップＳ９では、ステップＳ８でゼロ平均化された画像パッチのうち、統合枚数の少ない領域における画像パッチと相関の高い画像パッチの候補を、統合枚数の多い領域における画像パッチの中から求める。相関値の計算には、正規化相互相関値等を用いる。この処理により、統合枚数の少ない画像パッチについて、その画像パッチと相関の高い、統合枚数の多い画像パッチを求める。
【００５１】
ステップＳ１０では、ステップＳ９で求めた、統合枚数の少ない画像パッチに対する、その画像パッチとの相関の高い統合枚数の多い画像パッチを用いて、統合枚数の少ない画像パッチの高画質化処理を行う。具体的には、上述したように、最も相関の高い画像パッチを用いる方法や、相関の高い複数の画像パッチの重み平均により高画質化を行う方法がある。
【００５２】
ステップＳ１１では、ステップＳ１０における高画質化処理が、処理の対象となる画像パッチ、すなわち、統合枚数の少ない領域における画像パッチの全てに対して行われたか否かの判定を行う。判定を肯定するとステップＳ１３に進み、否定するとステップＳ１２に進む。
【００５３】
ステップＳ１２では、高画質化処理の対象となる画像パッチの変更を行う。高画質化処理の対象となる画像パッチは、統合枚数の少ない領域から取得するようにするが、場合により画像全体から取得するような構成としても良いものとする。
【００５４】
ステップＳ１３では、全ての高画質化の対象となる画像パッチについて高画質化処理が行われたので、画像パッチを元の画像領域に戻し、全ての画像パッチを統合する処理を行う。統合処理では、全ての画像パッチを取得した場所へと加算し、予め引いた画像パッチの平均値を加えた後、加算した枚数で平均化する処理を行う。
【００５５】
ステップＳ１４では、ステップＳ１３で画像パッチが統合された画像を高画質化された統合画像として記録部１０１に記録し、その後、出力部１０９から、最終的な出力結果とし、信号出力する。
【００５６】
以上、第１の実施の形態における画像処理装置によれば、複数枚の画像の位置合わせ処理を行い、位置合わせ処理の結果に基づいて、複数枚の画像を統合して統合画像を生成し、統合画像における統合枚数の異なる領域ごとの統合枚数情報、および、統合画像を用いて、統合画像の高画質化処理を行う。特に、統合枚数の少ない画像の領域の高画質化処理を、その領域の画像統合枚数以上で画像が統合された領域の画像データを用いて行うので、統合枚数の少ない画像の領域の画質を、統合枚数の多い画像の領域の画質と同等のレベルに改善することができる。これにより、画像の画質が画像の領域ごとに異なる不自然さを改善することができる。
【００５７】
また、統合枚数の少ない画像領域の高画質化処理を行う際に、統合枚数の数が多い領域の画像データをより優先的に用いることによって、より高画質の画像を得ることができる。
【００５８】
さらに、第１の実施の形態における画像処理装置によれば、統合画像を複数の画像パッチ（部分領域）に分割し、複数の画像パッチのうち、高画質化処理を行う任意の処理対象画像パッチについて、処理対象画像パッチの画像統合枚数以上の画像パッチであって、処理対象画像パッチと相関の高い画像パッチの画像データを用いて、処理対象画像パッチの高画質化処理を行う。これにより、精度の高い高画質化処理を行うことができる。
【００５９】
−第２の実施の形態−
図４は、第２の実施の形態における画像処理装置の構成を示す図である。第２の実施の形態における画像処理装置は、図１に示す第１の実施の形態における画像処理装置の構成に対して、画像学習部１１０をさらに備えている。
【００６０】
第２の実施の形態における画像処理装置の信号処理部１０６は、統合画像を画像の統合枚数毎に領域分けし、領域分けしたそれぞれの領域を、複数の画像パッチに分割した後、それぞれの画像パッチにおいて、画像パッチの画素値から、その画像パッチの平均値を引き、ゼロ平均化する。信号処理部１０６によってゼロ平均化処理が行われた画像パッチは、画像学習部１１０に送信される。
【００６１】
画像学習部１１０は、統合画像のデータ構造を学習する。具体的には、信号処理部１０６から送信されてきた画像パッチのうち、統合枚数の多い領域の画像パッチを用いて、基底学習を行う。ここでの基底学習とは、学習に用いた画像パッチを幾つかの基底画像に分解した場合の、最適な分解を可能とする基底画像を求めることに相当し、例えば、従来から行われている手法であるＫ−ＳＶＤ法を用いた基底学習法等を用いることができる。Ｋ−ＳＶＤ法では、次式（４）をｘ、Ｄについて解くことで、基底画像の集まりＤを求める。
【００６２】
【数４】
2009259032.tif 000006
【００６３】
式（４）において、Ｍは統合枚数の多い領域における画像パッチのインデックスの集合、Ｄは画像パッチを近似する基底画像の組、ｘはどの基底画像を利用するかを指定する係数ベクトル、ｙ1（ｉ）は統合枚数の多い領域における画像パッチの画素値、Ｌはｘ（ｉ）のＬ０ノルムの大きさの許容量を表す。また、「subject to A」は、「Ａの条件の下で」という意味を表し、次式（５）で表される記号はＬ２ノルムの二乗、次式（６）で表される記号はＬ０ノルムの０乗を表す。
【００６４】
【数５】
2009259032.tif 000007
【００６５】
【数６】
2009259032.tif 000008
【００６６】
なお、ここでは、統合枚数の多い領域における画像パッチとして、図２の右側の領域２２の統合枚数よりも統合枚数の多い左側の領域２１の画像パッチを用いているが、この形態に限定されることはない。例えば、統合枚数の少ない領域２２の統合枚数以上の統合枚数を持つ領域の画像パッチを用いても良いものとする。すなわち、統合枚数の少ない右側の領域２２も、比較の領域として含め、左側の領域２１および右側の領域２２の両方を画素値ｙ1（ｉ）に属する画像パッチとするという形態をとっても良い。
【００６７】
上記のように、式（４）を用いて基底画像Ｄの学習を行い、その学習結果Ｄを利用することで、統合枚数の少ない領域における画像パッチの高画質化を行う。統合枚数の少ない画像パッチの高画質化については、次式（７）をｘについて解くことで、統合枚数の少ない画像パッチの高画質化を行う。ただし、Ｎは、統合枚数の少ない領域における画像パッチのインデックスの集合、ｙ2は統合枚数の少ない領域における画像パッチの画素値である。
【００６８】
【数７】
2009259032.tif 000009
【００６９】
なお、統合枚数の多い領域と統合枚数の少ない領域の間の画質が著しく異なる場合は、上式（７）上に劣化作用素Ｂを付加しても良いものとする（下記（８）式）。
【００７０】
【数８】
2009259032.tif 000010
【００７１】
ここで、劣化作用素Ｂは基底画像に劣化を施す演算処理を行うものとし、例えば、統合枚数の少ない領域の画像が、統合枚数の多い領域の画像よりもぼけていた場合には、劣化作用素Ｂとして、基底画像Ｄに対してガウシアンフィルタを畳み込む演算を行う等の処理をとる。ここでは劣化作用素Ｂの例として、ガウシアンフィルタの畳み込みを挙げたが、その他、画像に劣化を施す劣化作用素であれば、劣化作用素Ｂはどの様な形態をとることも可能である。また劣化の種類は、予め決められた劣化処理を施しても良いし、統合枚数の違いにより劣化処理の内容を変えても良いものとする。この画像の劣化処理も、信号処理部１０６により行う。
【００７２】
上式（７）または式（８）で得られたｘを用い、次式（９）の演算を行うことにより、高画質化された画像パッチを求める。
【００７３】
【数９】
2009259032.tif 000011
【００７４】
なお、Ｋ−ＳＶＤ法についての詳細は、国際公開ＷＯ２００６／１０６５０８や、非特許文献M. Elad and M. Aharon, "Image denoising via learned dictionaries and sparse representation", CVPR, NY, June 17-22, 2006.等に記載がある。
【００７５】
画像学習部１１０によって高画質化処理が行われた画像パッチは、信号処理部１０６に送られる。信号処理部１０６は、高画質化処理が行われた画像パッチを高画質化された状態で、取得した画像の部分へ加算しながら戻し、予め引かれた画像パッチの平均値を加えることで、画像パッチ情報を画像の情報へと反映する。このとき加える平均値は、高画質化の対象となった画像パッチの平均値である。
【００７６】
このような処理で高画質化された画像パッチを、画像パッチを取得した場所へ加算しながら戻した場合、画像パッチの取得を画像パッチ間の重なりを許容しながら行った場合には、画像パッチを取得した場所へ加算しながら戻すときに、加算の枚数に応じて平均化処理を行う。例えば、あるピクセルにおいて、画像パッチを４つ重複してとった場合、画像パッチを取得した場所へ戻すときに４つの値を加算することになるので、平均化のために４で割る処理を行うこととする。
【００７７】
信号処理部１０６において高画質化処理が行われた統合画像は、記録部１０１へと転送され、記録部１０１において記録保持される。記録部１０１に記録された画像は、出力部１０９へ送られた後、画像処理装置の外部へと出力され、外部リソースとして利用される。
【００７８】
図５は、第２の実施の形態における画像処理装置によって行われる高画質化処理の処理手順を示すフローチャートである。図３に示すフローチャートの処理と同一の処理を行うステップには、同一の符号を付して詳しい説明は省略する。
【００７９】
ステップＳ１〜ステップＳ８の処理が終わると、ステップＳ２０に進む。ステップＳ２０において、画像学習部１１０は、ステップＳ８でゼロ平均化処理が行われた画像パッチのうち、画像の統合枚数の多い画像パッチを用いて基底画像の学習を行う。基底画像の学習については、上述したように、式（４）を用いる。
【００８０】
ステップＳ２１において、画像学習部１１０は、ステップＳ２０で求められた、統合枚数の多い画像パッチを用いて基底画像を学習した学習結果を利用することで、統合枚数のより少ない画像パッチの高画質化処理を行う。画像パッチの高画質化処理については、上述したように、式（７）または式（８）、式（９）を用いる。
【００８１】
ステップＳ１１以降の処理は、図３に示すフローチャートのステップＳ１１以降の処理と同じである。
【００８２】
なお、上述した第１および第２の実施の形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、図３に示すフローチャートの処理、および、図５に示すフローチャートの処理は、ソフトウェアで処理する構成とすることもできる。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えるように構成する。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行する。
【００８３】
なお、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００８４】
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【図面の簡単な説明】
【００８５】
【図１】本発明における画像処理装置の第１の実施の形態の構成を示す図である。
【図２】アルファベットを撮影した統合画像を示す図である。
【図３】第１の実施の形態における画像処理装置によって行われる高画質化処理の処理手順を示すフローチャートである。
【図４】第２の実施の形態における画像処理装置の構成を示す図である。
【図５】第２の実施の形態における画像処理装置によって行われる高画質化処理の処理手順を示すフローチャートである。
【符号の説明】
【００８６】
１００…入力部
１０１…記録部
１０２…位置合わせ部
１０３…位置合わせ誤り判定部
１０４…画像統合部
１０５…統合枚数算出部
１０６…信号処理部
１１０…画像学習部
【図１】
2009259032.tif 000012
【図２】
2009259032.tif 000013
【図３】
2009259032.tif 000014
【図４】
2009259032.tif 000015
【図５】
2009259032.tif 000016