(57)【要約】【課題】フラクタル符号化を利用した高解像化を高精度に行うことが可能な画像処理方法を提供する。【解決手段】画像処理方法は、撮影画像に基づく対象画像の一部である第１の画像を抽出するステップと、第１の画像と複数の第２の画像のそれぞれとの相関値を算出するステップと、相関値に基づいて、複数の第２の画像から第１の画像に対応する第３の画像を選択するステップと、第１の画像と第３の画像との相関関係を示す情報を取得するステップと、第３の画像および情報を用いて対象画像を高解像化するステップとを有し、対象画像を高解像化するステップは、第３の画像の精度に応じて処理を切り替えるステップを含み、対象画像を高解像化するステップを複数回繰り返す反復演算を行い、ｎを２以上の自然数、ｍをｎより小さい自然数とする場合、ｎ回目の反復演算において、ｍ回目の反復演算にて用いられた対象画像に基づいて第３の画像の精度を判定する。【選択図】図１
2015119427.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像に基づく対象画像の一部である第１の画像を抽出するステップと、
前記第１の画像と複数の第２の画像のそれぞれとの相関値を算出するステップと、
前記相関値に基づいて、前記複数の第２の画像から前記第１の画像に対応する第３の画像を選択するステップと、
前記第１の画像と前記第３の画像との相関関係を示す情報を取得するステップと、
前記第３の画像および前記情報を用いて前記対象画像を高解像化するステップと、を有し、
前記対象画像を高解像化するステップは、前記第３の画像の精度に応じて処理を切り替えるステップを含み、
前記対象画像を高解像化するステップを複数回繰り返す反復演算を行い、
ｎを２以上の自然数、ｍをｎより小さい自然数とする場合、ｎ回目の反復演算において、ｍ回目の反復演算にて用いられた前記対象画像に基づいて前記第３の画像の精度を判定する、ことを特徴とする画像処理方法。
【請求項２】
前記精度の判定は、ｍ回目の反復演算における前記対象画像の一部である前記第１の画像Ｒｍと、ｎ回目の反復演算における前記第１の画像に対応する前記第３の画像Ａｎとの相関値ｆ（Ｒ-ｍ，Ａｎ）に基づいて行われることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記精度が低いと判定された場合、前記第３の画像および前記情報を変更して前記対象画像を高解像化することを特徴とする請求項２に記載の画像処理方法。
【請求項４】
ｉ回目の反復演算における対象画像のレンジブロックをＲｉとするとき、前記精度の判定にて該精度が低いと判定された場合、レンジブロックＲｍを用いてレンジブロックＲｎに対応する変換情報を更新することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
【請求項５】
ｉ回目の反復演算におけるドメインブロックをＤｉとするとき、前記変換情報の更新を、相関値ｆ（Ｒｎ，Ｄｎ）および相関値ｆ（Ｒｍ，Ｄｎ）を算出して前記変換情報を更新することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記変換情報の更新への寄与は、前記相関値ｆ（Ｒｎ，Ｄｎ）のほうが前記相関値ｆ（Ｒｍ，Ｄｎ）よりも大きいことを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記ｍは、前記ｎの半分以下であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。
【請求項８】
前記ｍは、１であることを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記複数の第２の画像のそれぞれの画素数は、前記第１の画像の画素数よりも多いことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理方法。
【請求項１０】
前記複数の第２の画像はそれぞれ、前記撮影画像に基づく前記対象画像の一部であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理方法。
【請求項１１】
前記第３の画像は、前記第１の画像と相似な構造を含む画像であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理方法。
【請求項１２】
前記精度の判定は、２回目以降の反復演算の全てに対して行われることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理方法。
【請求項１３】
撮影画像に基づく対象画像の一部である第１の画像を抽出する画像抽出手段と、
前記第１の画像と複数の第２の画像のそれぞれとの相関値を算出する相関値算出手段と、
前記相関値に基づいて、前記複数の第２の画像から前記第１の画像に対応する第３の画像を選択する画像選択手段と、
前記第１の画像と前記第３の画像との相関関係を示す情報を取得する情報取得手段と、
前記第３の画像および前記情報を用いて前記対象画像を高解像化する高解像化手段と、を有し、
前記高解像化手段は、
前記対象画像の高解像化の精度に応じて高解像化処理を行い、
前記対象画像の高解像化を複数回繰り返す反復演算を行うように構成されており、
ｎを２以上の自然数、ｍをｎより小さい自然数とする場合、ｎ回目の反復演算において、ｍ回目の反復演算にて用いられた前記対象画像に基づいて前記第３の画像の精度を判定する、ことを特徴とする画像処理装置。
【請求項１４】
光学像を光電変換して撮影画像を出力する撮像素子と、
前記撮影画像に基づく対象画像の一部である第１の画像を抽出する画像抽出手段と、
前記第１の画像と複数の第２の画像のそれぞれとの相関値を算出する相関値算出手段と、
前記相関値に基づいて、前記複数の第２の画像から前記第１の画像に対応する第３の画像を選択する画像選択手段と、
前記第１の画像と前記第３の画像との相関関係を示す情報を取得する情報取得手段と、
前記第３の画像および前記情報を用いて前記対象画像を高解像化する高解像化手段と、を有し、
前記高解像化手段は、
前記対象画像の高解像化の精度に応じて高解像化処理を行い、
前記対象画像の高解像化を複数回繰り返す反復演算を行うように構成されており、
ｎを２以上の自然数、ｍをｎより小さい自然数とする場合、ｎ回目の反復演算において、ｍ回目の反復演算にて用いられた前記対象画像に基づいて前記第３の画像の精度を判定する、ことを特徴とする撮像装置。
【請求項１５】
撮影画像に基づく対象画像の一部である第１の画像を抽出するステップと、
前記第１の画像と複数の第２の画像のそれぞれとの相関値を算出するステップと、
前記相関値に基づいて、前記複数の第２の画像から前記第１の画像に対応する第３の画像を選択するステップと、
前記第１の画像と前記第３の画像との相関関係を示す情報を取得するステップと、
前記第３の画像および前記情報を用いて前記対象画像を高解像化するステップと、をコンピュータに実行させるように構成された画像処理プログラムであって、
前記対象画像を高解像化するステップは、前記第３の画像の精度に応じて処理を切り替えるステップを含み、
前記対象画像を高解像化するステップを複数回繰り返す反復演算を行い、
ｎを２以上の自然数、ｍをｎより小さい自然数とする場合、ｎ回目の反復演算において、ｍ回目の反復演算にて用いられた前記対象画像に基づいて前記第３の画像の精度を判定する、ことを特徴とする画像処理プログラム。
【請求項１６】
請求項１５に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像に対する画像処理方法に関する。
【背景技術】
【０００２】
近年、表示装置の高精細化に伴い、画像の高解像化が望まれている。高解像化とは、画像の拡大や画像からボケを取り除く処理のことである。ここでボケとは、撮像装置で画像を取得する際に発生する、光学系の収差、回折、デフォーカス、または、露光中のブレなどに起因する劣化である。
【０００３】
画像内における被写体のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）は、粗いサンプリングやボケなどの劣化により、ある空間周波数においてゼロまたは非常に小さくなっており、高解像化ではこれらのＭＴＦを復元する必要がある。しかしこの問題は、いわゆる不良設定の逆問題であるため、高精度に解を求めることは難しい。
【０００４】
特許文献１には、画像のフラクタル自己相似性を利用して拡大画像を得る方法が開示されている。すなわち、画像をフラクタル符号化し、その復号によって高解像化を図り、更にその復号処理を反復することで結果を収束させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２６０３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１には、復号（高解像化）処理を反復する際の拘束条件について記載されていない。高解像化は不良設定の逆問題であるため、解は一意的に決定されず、求めた結果には誤差が生じる。また、高解像化の前後で発生した画像の差分は、その差分が誤差または復元された高周波情報のいずれであるかを区別することができない。このため、高解像化を反復する際に誤差を抑制する拘束条件がない場合、誤差の乗った画像から次の高解像画像を推定することとなり、徐々に誤差が蓄積してしまう可能性がある。すなわち、反復演算により収束した先が、誤差の抑制された解であるとは限らないのである。このため、最終的に得られた高解像画像では、充分な復元精度を保障することができない。
【０００７】
そこで本発明は、フラクタル符号化を利用した高解像化を高精度に行うことが可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理方法は、撮影画像に基づく対象画像の一部である第１の画像を抽出するステップと、前記第１の画像と複数の第２の画像のそれぞれとの相関値を算出するステップと、前記相関値に基づいて、前記複数の第２の画像から前記第１の画像に対応する第３の画像を選択するステップと、前記第１の画像と前記第３の画像との相関関係を示す情報を取得するステップと、前記第３の画像および前記情報を用いて前記対象画像を高解像化するステップとを有し、前記対象画像を高解像化するステップは、前記第３の画像の精度に応じて処理を切り替えるステップを含み、前記対象画像を高解像化するステップを複数回繰り返す反復演算を行い、ｎを２以上の自然数、ｍをｎより小さい自然数とする場合、ｎ回目の反復演算において、ｍ回目の反復演算にて用いられた前記対象画像に基づいて前記第３の画像の精度を判定する。
【０００９】
本発明の他の側面としての画像処理装置は、撮影画像に基づく対象画像の一部である第１の画像を抽出する画像抽出手段と、前記第１の画像と複数の第２の画像のそれぞれとの相関値を算出する相関値算出手段と、前記相関値に基づいて、前記複数の第２の画像から前記第１の画像に対応する第３の画像を選択する画像選択手段と、前記第１の画像と前記第３の画像との相関関係を示す情報を取得する情報取得手段と、前記第３の画像および前記情報を用いて前記対象画像を高解像化する高解像化手段とを有し、前記高解像化手段は、前記対象画像の高解像化の精度に応じて高解像化処理を行い、前記対象画像の高解像化を複数回繰り返す反復演算を行うように構成されており、ｎを２以上の自然数、ｍをｎより小さい自然数とする場合、ｎ回目の反復演算において、ｍ回目の反復演算にて用いられた前記対象画像に基づいて前記第３の画像の精度を判定する。
【００１０】
本発明の他の側面としての撮像装置は、光学像を光電変換して撮影画像を出力する撮像素子と、前記撮影画像に基づく対象画像の一部である第１の画像を抽出する画像抽出手段と、前記第１の画像と複数の第２の画像のそれぞれとの相関値を算出する相関値算出手段と、前記相関値に基づいて、前記複数の第２の画像から前記第１の画像に対応する第３の画像を選択する画像選択手段と、前記第１の画像と前記第３の画像との相関関係を示す情報を取得する情報取得手段と、前記第３の画像および前記情報を用いて前記対象画像を高解像化する高解像化手段とを有し、前記高解像化手段は、前記対象画像の高解像化の精度に応じて高解像化処理を行い、前記対象画像の高解像化を複数回繰り返す反復演算を行うように構成されており、ｎを２以上の自然数、ｍをｎより小さい自然数とする場合、ｎ回目の反復演算において、ｍ回目の反復演算にて用いられた前記対象画像に基づいて前記第３の画像の精度を判定する。
【００１１】
本発明の他の側面としての画像処理プログラムは、撮影画像に基づく対象画像の一部である第１の画像を抽出するステップと、前記第１の画像と複数の第２の画像のそれぞれとの相関値を算出するステップと、前記相関値に基づいて、前記複数の第２の画像から前記第１の画像に対応する第３の画像を選択するステップと、前記第１の画像と前記第３の画像との相関関係を示す情報を取得するステップと、前記第３の画像および前記情報を用いて前記対象画像を高解像化するステップと、をコンピュータに実行させるように構成された画像処理プログラムであって、前記対象画像を高解像化するステップは、前記第３の画像の精度に応じて処理を切り替えるステップを含み、前記対象画像を高解像化するステップを複数回繰り返す反復演算を行い、ｎを２以上の自然数、ｍをｎより小さい自然数とする場合、ｎ回目の反復演算において、ｍ回目の反復演算にて用いられた前記対象画像に基づいて前記第３の画像の精度を判定する。
【００１２】
本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。
【００１３】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１４】
本発明によれば、フラクタル符号化を利用した高解像化を高精度に行うことが可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】実施例１における撮像装置のブロック図である。
【図２】実施例１における撮像装置の外観図である。
【図３】実施例１乃至３における変換情報取得処理（第１の処理）を示すフローチャートである。
【図４】実施例１乃至３における復号による高解像化処理（第２の処理）を示すフローチャートである。
【図５】実施例１乃至３において、レンジブロックとドメインブロックの相関算出に関する説明図である。
【図６】実施例１乃至３において、高解像化の精度評価に関する説明図である。
【図７】実施例１乃至３において、新たな対応ドメインブロックの探索に関する説明図である。
【図８】実施例２における画像処理システムのブロック図である。
【図９】実施例２における画像処理システムの外観図である。
【図１０】実施例３における撮像システムのブロック図である。
【図１１】実施例３における撮像システムの外観図である。
【図１２】実施例３における撮像装置（結像光学系）の構成図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
【００１７】
まず、本実施形態における高解像化処理（画像処理方法）の概要について説明する。処理は大きく分けて、フラクタル符号化を用いた変換情報の取得と、高解像化（フラクタル符号化に対する復号に相当する）の２つである。説明を簡潔にするため、高解像化のうち、画像拡大に絞って概要について述べる。
【００１８】
まず、フラクタル符号化を行って変換情報を得る。そして、取得した入力画像からレンジブロックと呼ばれる部分領域Ｒ０を抽出し、部分領域Ｒ０と相似な構造（形状）を有し、より画素数の多いドメインブロックＤ０を探索する。相似性の高いドメインブロックＤ０が見つかった場合、これを対応ドメインブロックＡ０とし、レンジブロックＲ０と対応ドメインブロックＡ０の相関関係（画像上の位置関係や画素数の比など）を変換情報として取得する。これらを高解像化したい全レンジブロックＲ０に対して行い、変換情報の取得工程を終了する。
【００１９】
次に、高解像化処理へ移行する。この処理工程では、高解像化しようとする対象画像を、前述の変換情報を用いて高解像化する。反復演算の初回には、入力画像を対象画像とする。ここで、ｉ回目の反復演算における対象画像のレンジブロックをＲｉ、ドメインブロックをＤｉ、対応ドメインブロックをＡｉと定義する。まず、反復演算の１回目を考える。対応ドメインブロックＡ１は、レンジブロックＲ１の相似構造であるから、画素数を増加した（すなわち、拡大した）レンジブロックＲ１であると考えることができる。このため、対応ドメインブロックＡ１でレンジブロックＲ１を置換することにより、画像の拡大処理を行うことができる。全てのレンジブロックＲ１に対して置換を行うと、１回目の高解像化が終了する。
【００２０】
次に、この高解像画像を新たな対象画像として高解像化を反復し、結果を収束させる。この際、置換に用いられる対応ドメインブロックＡｉは、ｉ−１回目の反復演算により高解像化されている。このため、反復演算を繰り返すたびにレンジブロックＲｉを高解像化することができる。また、２回目以降の反復演算でも、レンジブロックＲｉと対応ドメインブロックＡｉの関係は、誤差を考えなければ初期の関係から変わらない。このため、初期の変換情報をそのまま用いることができる。
【００２１】
しかし実際には、前述のように誤差の蓄積が行われるため、本実施形態では、ｎ（任意の自然数）回目の反復演算時に、高解像化の精度判定を実行する。この精度判定では、ｎ回目の反復演算における対応ドメインブロックＡｎが、ｍ（ｎより小さい自然数）回目の反復演算における対象画像のレンジブロックＲｍとどの程度異なるかを見る。精度判定で精度が低いと判定された場合、精度を増大するための処理を行う。
【００２２】
以上の処理により、誤差の蓄積を回避し、高精度の高解像画像を得ることが可能になる。
【実施例１】
【００２３】
次に、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１００のブロック図である。図２は、撮像装置１００の外観図である。
【００２４】
図１において、画像取得部１０１は、結像光学系１０１ａおよび撮像素子１０１ｂを有する。撮像素子１０１ｂは、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などを備えて構成される。そして撮像素子１０１ｂは、結像光学系１０１ａを介して得られた光学像（被写体像）を光電変換して撮影画像（画像信号）を出力する。
【００２５】
撮影の際において、画像取得部１０１に入射した光は、結像光学系１０１ａにより集光され、撮像素子１０１ｂによりアナログ電気信号に変換される。撮像素子１０１ｂからの出力信号（アナログ電気信号）は、Ａ／Ｄコンバータ１０２によりデジタル信号に変換され、画像処理部１０３（画像処理装置）に入力される。画像処理部１０３は、所定の画像処理に加えて、撮影に伴って失われた周波数成分の復元処理（高解像化処理）を行う。
【００２６】
画像処理部１０３は、高解像化処理を行うため、画像抽出手段１０３ａ、画像選択手段１０３ｂ、情報取得手段１０３ｃ、および、高解像化手段１０３ｄを有する。画像抽出手段１０３ａは、撮影画像に基づく対象画像（撮影画像それ自体、または、撮影画像に対して高解像化処理を行った画像）の一部であるレンジブロック（第１の画像）を抽出する。画像選択手段１０３ｂは、ドメインブロック（複数の第２の画像）からレンジブロック（第１の画像）に対応する対応ドメインブロック（第３の画像）を選択する。情報取得手段１０３ｃは、レンジブロック（第１の画像）と対応ドメインブロック（第３の画像）との相関関係を示す情報（変換情報）を取得する。高解像化手段１０３ｄは、対応ドメインブロック（第３の画像）および情報（変換情報）を用いて対象画像を高解像化する。また高解像化手段１０３ｄは、対象画像の高解像化の精度に応じて高解像化処理を行う。なお、高解像化処理の詳細については、後述する。
【００２７】
ここで高解像化処理とは、画像の拡大、またはボケの除去を行う処理である。画像の拡大は、サンプリングピッチを細かくする処理であり、アップコンバートやデジタルズームに用いられる。ボケとは、画像取得部１０１にて発生する収差、回折、デフォーカス、または、露光時のブレなどによる劣化である。高解像化処理後の画像は、画像記録媒体１０４に所定のフォーマットで保存される。また、既に画像記録媒体１０４に保存されている画像を読み出して、前述と同様に画像処理部１０３により高解像化処理を行ってもよい。画像記録媒体１０４に保存された画像を鑑賞する際には、画像が液晶ディスプレイなどの表示部１０５へ出力される。以上に説明した一連の処理は、システムコントローラ１０６により制御される。また、画像取得部１０１の機械的な駆動は、システムコントローラ１０６の指令に基づいて制御部１０７により行われる。
【００２８】
次に、図３乃至図７を参照して、画像処理部１０３により行われる高解像化処理について詳述する。高解像化処理は、高解像化に必要な情報を取得する第１の処理（変換情報取得処理）、および、実際に画像を高解像化する第２の処理の２段階に分かれている。まず、図３および図５を参照して、第１の処理（変換情報取得処理）に関して詳述する。
【００２９】
図３は、本実施例における第１の処理（変換情報取得処理）を示すフローチャートである。図５は、レンジブロックとドメインブロックの相関算出に関する説明図である。図３の各ステップは、主に、撮像装置１００のシステムコントローラ１０６の指令に基づいて画像処理部１０３（画像処理装置）により実行される。
【００３０】
まずステップＳ１０１において、画像処理部１０３は、画像取得部１０１により得られた入力画像（撮影画像）を取得する。入力画像は、撮影に伴う劣化（荒いサンプリングやボケ）により被写体空間よりも情報が減少している。続いてステップＳ１０２において、画像処理部１０３（画像抽出手段１０３ａ）は、入力画像（撮影画像に基づく対象画像）から、入力画像の一部であるレンジブロックＲ０（第１の画像）を抽出する。例えば図５に示されるように、画像抽出手段１０３ａは、入力画像２００（撮影画像）からレンジブロック２０１（第１の画像）を抽出する。ただし本実施例において、レンジブロック２０１のサイズ、形状、および、抽出位置（レンジブロック２０１の位置）はこれに限定されるものではない。また、入力画像から複数のレンジブロックＲ０を抽出する際、複数のレンジブロックＲ０が互いに重なるようにしてもよい。
【００３１】
続いてステップＳ１０３において、画像処理部１０３は、ドメインブロックＤ０（第２の画像）を取得する。ドメインブロックＤ０は、入力画像から取得することができる。すなわちドメインブロック（複数の第２の画像のそれぞれ）は、撮影画像に基づく対象画像の一部である。ただし本実施例はこれに限定されるものではなく、入力画像とは異なる画像から取得してもよい。また、入力画像のある色成分（例えば、Ｇｒｅｅｎ）からレンジブロックＲ０を抽出している場合、入力画像の他の色成分（ＲｅｄやＢｌｕｅ）からドメインブロックＤ０を取得してもよい。ただし、被写体空間のフラクタル性を利用するという観点から、ドメインブロックＤ０を取得する画像は、入力画像と同一または類似の被写体が存在する画像であることが好ましい。例えば図５に示されるように、画像処理部１０３は、ドメインブロックＤ０として、ドメインブロック２０２を取得する。図５では、入力画像２００（撮影画像）からドメインブロック２０２を取得している。ただし、ドメインブロックＤ０のサイズ、形状、および、抽出位置（ドメインブロックＤ０の位置）は、これに限定されるものではない。
【００３２】
ここで、高解像化が画像の拡大により達成される場合、ドメインブロックＤ０（複数の第２の画像のそれぞれ）の画素数は、レンジブロックＲ０（第１の画像）の画素数より多くなるように設定される。ただし、ボケの除去を目的とする場合、画素数よりもブロックに存在するボケの有無が問題であるため、レンジブロックＲ０より画素数が少なくても構わない。
【００３３】
続いてステップＳ１０４において、画像処理部１０３（相関値算出手段１０３ｅ）は、レンジブロックＲ０（第１の画像）とドメインブロックＤ０（複数の第２の画像のそれぞれ）との相関（相関値ｆ（Ｒ０，Ｄ０））を算出する。相関値の算出には、相関関数ｆが用いられる。まず、相関値ｆ（Ｒ０，Ｄ０）を算出するため、画像処理部１０３は、ステップＳ１０３にて取得されたドメインブロックＤ０を変換して相関算出用ドメインブロックを生成する。ここでの変換は、例えば、アフィン変換、複素変換、射影変換などである。図５はその例を示しており、画像処理部１０３は、リサイズと回転のアフィン変換を施し、相関算出用ドメインブロック２０３を生成する。
【００３４】
リサイズは、ドメインブロックＤ０とレンジブロックＲ０の相関を算出しやすくするために行われる。回転や反転などの等長変換は、レンジブロックＲ０の相似形を見つけやすくするために行われる。ただし、施すべき変換は、これに限定されるものではない。例えば、ボケを除去しようとする場合、画像処理部１０３は、除去しようとするボケをドメインブロックＤ０に付与して相関算出用ドメインブロックを生成する。また、画像処理部１０３は、ドメインブロックＤ０に変換を施す代わりに、レンジブロックＲ０を変換してもよい。この場合、画像処理部１０３は、レンジブロックＲ０をドメインブロックＤ０へ合わせて相関を算出する。ただし、レンジブロックＲ０は、ドメインブロックＤ０よりも情報量が少ないため、変換には補間や推定が必要となる。このため、精度の観点から、ドメインブロックＤ０に変換を施すほうが好ましい。
【００３５】
ここで、例として２つの相関関数ｆを挙げる。ただし、本実施例はこれに限定されるものではない。例えば、画素数の異なるレンジブロックＲ０をドメインブロックＤ０の相関値を直接算出可能な相関関数ｆを用意する場合、前述の相関算出用ドメインブロックの生成は不要となる。その例として、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）などが挙げられる。ただしこれらの手法より、後述するような画素数を合わせて相関算出する手法のほうが相似性の算出精度が高いため、後述の相関関数ｆを用いることが好ましい。また、以下の説明に際しては、簡単のため色成分（ＲＧＢ）を考慮せず、単信号の場合について式を記述するが、複数の色成分を有する場合にも同様に適用可能である。
【００３６】
＜相関関数の例１＞
レンジブロックＲ０の総画素数をｋＲ０、各画素の信号値を成分とした信号値ベクトルをｒ０とする。同様に、ドメインブロックＤ０の総画素数をｋＤ０、信号値ベクトルをｄ０とする。探索対象は、レンジブロックＲ０と相似な構造（形状）を含むドメインブロックＤ０であるから、信号の直流成分（平均値を示し、画像の明るさに相当する）は無関係である。このため、信号ベクトルから直流成分を減算する。このとき、相関算出に用いるレンジブロックＲ０の信号ベクトルρ０は、以下の式（１）のように表される。
【００３７】
【数１】
2015119427.tif 000003
【００３８】
式（１）において、ｒ０，ａｖｅはレンジブロックＲ０の平均信号値、ｅは各成分が１のｋＲ０次元ベクトルである。ｒ０，ａｖｅは均一の重みで算出してもよいし、加重平均にしてもよい。
【００３９】
同様に、相関算出用ドメインブロックの信号ベクトルδ０は、以下の式（２）で表される。
【００４０】
【数２】
2015119427.tif 000004
【００４１】
式（２）において、δ０，ａｖｅはドメインブロックＤ０の平均信号値、σ（ｄ０，ｋＲ０／ｋＤ０）は信号ベクトルｄ０をｋＤ０次元からｋＲ０次元へリサイズする変換、εは等長変換である。リサイズには、バイリニア補間やバイキュービック補間などを用いてもよい。等長変換には、例えば恒等変換、回転変換、または、反転変換などがある。ここでは、リサイズ後に等長変換を行って計算負荷を抑制しているが、順番は逆でもよい。また、他のアフィン変換、複素変換、または、射影変換を利用してもよい。
【００４２】
式（１）および式（２）により、信号ベクトルρ０と信号ベクトルδ０の次元が一致するため、各画素における信号（ベクトルの各成分）差の絶対値和を求める。この場合の相関算出式ｇは、以下の式（３）で表される。
【００４３】
【数３】
2015119427.tif 000005
【００４４】
式（３）において、ρ０，ｊは信号ベクトルρ０のｊ番目の成分、δ０，ｊは信号ベクトルδ０のｊ番目の成分、ｗｊはｊ番目の成分の重みである。
【００４５】
このとき、信号ベクトルδ０と信号ベクトルρ０の相関が最も高くなるように、コントラストを調整してもよい。すなわち、｜ρ０−ｃδ０｜が最小となるような係数ｃを決定する。そのような係数ｃは、最小二乗法から、以下の式（４）のように表される。
【００４６】
【数４】
2015119427.tif 000006
【００４７】
式（４）のコントラスト調整も考慮する場合、式（３）の相関算出式ｇにおける絶対値の中をρ０，ｊ−ｃδ０，ｊとすればよい。
【００４８】
式（３）の相関算出式ｇの値が小さいほど、２つの信号ベクトルの相関が強いことを示す。この例における相関関数ｆは、式（１）〜式（４）で表されることになる。
【００４９】
＜相関関数の例２＞
また相関関数ｆの例として、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒｅ  Ｓｉｍｉｌａｒｉｔｙ）を使用してもよい。ＳＳＩＭは、以下の式（５）で表される。
【００５０】
【数５】
2015119427.tif 000007
【００５１】
式（５）において、Ｌ、Ｃ、Ｓは、それぞれ、明るさ、コントラスト、その他の構造に関する評価関数であり、０〜１の値をとる。各々の値が１に近いほど、比較する２つの信号が近いことを意味する。α、β、γは、各評価項目の重みを調整するパラメータである。ここで、α＝０とすれば直流成分（明るさ）の差し引かれた相関算出が行われ、これにより式（１）で表されるような演算を行う必要がなくなる。また、β＝０とすれば、交流成分のスカラー倍（コントラストの調整）を相関算出時に加味する必要がなくなり、式（４）で表した演算を行う必要がなくなる。なお相関関数ｆは、複数の評価関数を組み合わせて使用しても構わない。図３のステップＳ１０２〜Ｓ１０４の流れは、図５に示されるとおりである。
【００５２】
続いてステップＳ１０５において、画像処理部１０３は、ステップＳ１０４にて算出された相関値ｆ（Ｒ０，Ｄ０）が既定の条件（所定の条件）を満たすか否かを判定する。画像処理部１０３は、相関値ｆ（Ｒ０，Ｄ０）が既定の条件を満たさなく相関が低いと判定した場合、ステップＳ１０３へ戻り、新たなドメインブロックＤ０を取得する。または、画像処理部１０３は、ドメインブロックＤ０に対して新たな変換を施して相関を算出し直してもよい。
【００５３】
一方、画像処理部１０３は、相関値ｆ（Ｒ０，Ｄ０）が条件を満たし、レンジブロックＲ０とドメインブロックＤ０の相関が高いと判定した場合、ドメインブロックＤ０をレンジブロックＲ０に対応する対応ドメインブロックＡ０（第３の画像）として選択する。このように画像処理部１０３（画像選択手段１０３ｂ）は、対象画像（複数の第２の画像）からレンジブロック（第１の画像）に対応する対応ドメインブロック（第３の画像）を選択する。画像選択手段１０３ｂは、ステップＳ１０４にて相関値算出手段１０３ｅにより算出された相関値に基づいて、ドメインブロック（複数の第２の画像）からレンジブロック（第１の画像）に対応する対応ドメインブロック（第３の画像）を選択する。そして、ステップＳ１０６へ進む。対応ドメインブロックＡ０は、高解像化されたレンジブロックＲ０に相当する。例えば図５に示されるように、画像処理部１０３は、対応ドメインブロックＡ０として、対応ドメインブロック２０４を選択する。
【００５４】
ステップＳ１０６において、画像処理部１０３（情報取得手段１０３ｃ）は、レンジブロックＲ０（第１の画像）と対応ドメインブロックＡ０（第３の画像）との相関関係を示す情報（相関関係の変換情報）を取得する。変換情報には、画像内におけるレンジブロックＲ０および対応ドメインブロックＡ０の位置と範囲、ステップＳ１０４にて施された変換、および、各種パラメータが含まれる。続いてステップＳ１０７において、画像処理部１０３（または、システムコントローラ１０６）は、入力画像の既定の領域内（所定の領域内）で変換情報取得処理が終了したか否かを判定する。既定の領域は、入力画像の全域または一部の領域のいずれでもよい。変換情報取得処理が終了した場合、本フローを終了する。一方、変換情報取得処理が終了していない場合、ステップＳ１０２へ戻り、画像処理部１０３は新たなレンジブロックＲ０を抽出する。
【００５５】
次に、図４、図６、および、図７を参照して、高解像化処理について詳述する。高解像化処理は、処理を複数回反復して結果の収束を図る。図４は、図４は、本実施例における復号による高解像化処理（第２の処理）を示すフローチャートである。図６は、高解像化の精度評価に関する説明図である。図７は、新たな対応ドメインブロックの探索に関する説明図である。図４の各ステップは、主に、システムコントローラ１０６の指令に基づいて画像処理部１０３（高解像化手段１０３ｄなど）により実行される。
【００５６】
まず、図４のステップＳ２０１において、画像処理部１０３は、高解像化の対象画像（撮影画像に基づく対象画像）を取得する。反復演算の初回には、画像処理部１０３は入力画像（撮影画像）を対象画像として取得する。ただし、高解像化するのは入力画像の全体またはその一部のいずれでも構わない。入力画像の一部のみを高解像化する場合、特に収差などの影響で劣化が強い領域のみを高解像化する場合などが考えられる。またこの際、入力画像にエッジ強調などの処理を適用してもよい。
【００５７】
続いてステップＳ２０２において、画像処理部１０３は、対象画像からレンジブロックＲｉとそれに対応する変換情報を取得する。ここでＲｉは、ｉ回目の反復演算におけるレンジブロックである。ｉ＝１の場合、対象画像が入力画像となるため、Ｒ１＝Ｒ０である。続いてステップＳ２０３において、画像処理部１０３は、反復演算の回数が高解像化の精度判定を行う既定の回数（所定の回数）であるか否かを判定する。反復演算の回数が既定の回数であることにより精度判定を行う場合、ステップＳ２０４へ進む。一方、精度判定を行わない場合、ステップＳ２１０へ進む。ここでは、既定の回数としてｎ回目の反復演算の際に精度判定を行うものとする。なお、ｎは２以上の自然数である。
【００５８】
ステップＳ２０４において、画像処理部１０３は、高解像化の精度を判定するために相関値ｆ（Ｒｍ，Ａｎ）を算出する。ここでｍは、ｎ未満の自然数である。前述のとおり、高解像化は、レンジブロックＲｎを対応ドメインブロックＡｎで置換することにより行われる。しかし、反復演算を繰り返すことで誤差が蓄積し、高解像画像は初期の入力画像から誤った方向に乖離している可能性がある。そこで図６に示されるように、画像処理部１０３は、ｎ回目の反復演算における対応ドメインブロックＡｎ（２０７）と、ｍ回目における対象画像のレンジブロックＲｍ（２０５）との相関を算出することにより、高解像化の精度を判定する。図６では、左側に対象画像を、右側に高解像化に用いる対応ドメインブロックＡｉを抽出する画像を示しており、ここでは対象画像そのものから対応ドメインブロックＡｉを抽出している。図６中のｉは、反復演算の回数を示しており、下に行くほど反復演算が進んでいることを表している。また図６では、簡単のため、ｍ＝１として説明しているが、ｍはこれに限定されるものではない。相関値ｆ（Ｒｍ，Ａｎ）が高いと誤差の影響は小さく、相関が低いと誤差が蓄積して高解像化の精度が劣化していると考えられる。
【００５９】
このように本実施例において、画像処理部１０３（高解像化手段１０３ｄ）は、対象画像を高解像化するステップを複数回繰り返す反復演算を行う。また高解像化手段１０３ｄは、ｎを２以上の自然数、ｍをｎより小さい自然数とする場合、ｎ回目の反復演算において、ｍ回目の反復演算にて用いられた対象画像に基づいて第３の画像の精度を判定する。
【００６０】
好ましくは、精度の判定（ステップＳ２０４）は、ｍ回目の反復演算における対象画像の一部である第１の画像Ｒｍと、ｎ回目の反復演算における第１の画像に対応する第３の画像Ａｎとの相関値ｆ（Ｒ-ｍ，Ａｎ）に基づいて行われる。より好ましくは、高解像化手段１０３ｄは、相関値ｆ（Ｒ-ｍ，Ａｎ）が所定値以上である場合、精度が高いと判定する。一方、相関値ｆ（Ｒ-ｍ，Ａｎ）が所定値よりも小さい場合、精度が低いと判定する。また好ましくは、高解像化手段１０３ｄは、精度が低いと判定された場合、第３の画像および情報（変換情報）を変更して対象画像を高解像化する。
【００６１】
続いてステップＳ２０５において、画像処理部１０３は、相関値ｆ（Ｒｍ，Ａｎ）が既定の条件（所定の条件）に反するか否かを判定する。ここで既定の条件とは、高解像化の精度が保たれている条件である。条件に反しない、すなわち精度が保たれていると判定された場合、ステップＳ２１０へ進む。一方、条件に反すると判定された場合、ステップＳ２０６へ進む。
【００６２】
ステップＳ２０６において、画像処理部１０３は、新たにドメインブロックＤｎを取得する。ステップＳ２０５で高解像化の精度が悪いと判定されているため、対応ドメインブロックＡｎを更新して精度を回復させる。例えば図７に示されるように、ｎ回目の反復演算で新たなドメインブロックＤｎ（２０８）を取得する。また、新たな対応ドメインブロックＡｎの探索を行わず、精度が悪いと判定された領域に関しては、それ以上誤差が大きくならないように反復演算を行わないようにするだけでもよい。ただし、高解像化の精度を向上させるには、対応ドメインブロックＡｎの探索を行うほうが好ましい。また、ドメインブロックＤｎは、対象画像とは異なる画像から抽出してもよい。
【００６３】
続いてステップＳ２０７において、画像処理部１０３は、相関値ｆ（Ｒｎ，Ｄｎ）および相関値ｆ（Ｒｍ，Ｄｎ）を算出する。この際、必要に応じてステップＳ１０４と同様に、画像処理部１０３は相関算出用ドメインブロックを生成する。相関値の算出は、例えば図７に示されるように、新たなドメインブロックＤｎ（２０８）と、レンジブロックＲｎ（２０６）およびレンジブロックＲ１（２０５）（図７ではｍ＝１）のそれぞれとの相関を求める。２つの相関値を算出することにより、現在（ｎ回目の反復演算）と誤差蓄積前（ｍ回目の反復演算）におけるそれぞれのレンジブロックＲｎ、Ｒｍに近似した構造（相似な形状）を有するドメインブロックＤｎを見つけることができる。これにより、誤差により発生した初期画像（入力画像）からの乖離を補正することができる。なお、相関値の算出には、変換情報の取得で用いた相関関数とは異なる相関関数を用いてもよい。
【００６４】
続いてステップＳ２０８において、画像処理部１０３は、相関値ｆ（Ｒｎ，Ｄｎ）および相関値ｆ（Ｒｍ，Ｄｎ）が既定の条件を満たすか否かを判定する。ここで既定の条件とは、高解像化の精度が保たれている条件である。相関値の評価では、例えば、相関値ｆ（Ｒｎ，Ｄｎ）および相関値ｆ（Ｒｍ，Ｄｎ）の各々にしきい値を設ける方法や、両者の加重平均、または、線型和をとってしきい値と比較する方法などがある。相関が高いと判定された場合、画像処理部１０３は、ドメインブロックＤｎを新たな対応ドメインブロックＡｎとしてステップＳ２０９へ進む。相関が低いと判定された場合、ステップＳ２０６へ戻り、新たなドメインブロックＤｎを取得する。また、ドメインブロックＤｎに新たな変換を施して相関を算出し直してもよい。
【００６５】
続いてステップＳ２０９において、画像処理部１０３は、レンジブロックＲｎの変換情報を、前ステップで取得した新たな対応ドメインブロックＡｎとの相関関係に基づいて更新する。続いてステップＳ２１０において、画像処理部１０３は、レンジブロックＲｎに対応する変換情報を用いて対応ドメインブロックＡｎを取得し、置換による高解像化を行う。例えば相関関数の例１を使用している場合、以下の式（６）で表されるように、変換情報内の変換パラメータを用いて、対応ドメインブロックＡｎを変換した信号ベクトルαｎで信号ベクトルｒｎを置き換えればよい。
【００６６】
【数６】
2015119427.tif 000008
【００６７】
式（６）において、ｒｎとａｎは、それぞれ、ｎ回目の反復演算におけるレンジブロックＲｎと対応ドメインブロックＡｎの信号ベクトルである。ｒｎ，ａｖｅとａｎ，ａｖｅは、それぞれ、信号ベクトルｒｎとａｎの各成分の平均値である。または、置換処理の代わりに、対応ドメインブロックＡｎを参考にして、学習型超解像などの手法を用い、レンジブロックＲｎの高解像化を行ってもよい。
【００６８】
続いてステップＳ２１１において、画像処理部１０３は、対象画像の既定の領域内（所定の領域内）で高解像化処理が終了したか否かを判定する。既定領域は対象画像の全域または一部の領域のいずれでもよい。既定の領域内で高解像化処理が終了している場合、ステップＳ２１２へ進む。一方、高解像化処理が終了していない場合、ステップＳ２０２へ戻り、画像処理部１０３は新たなレンジブロックＲｎを抽出する。
【００６９】
続いてステップＳ２１２において、画像処理部１０３は、反復演算の終了条件を満たしたか否かを判定する。終了条件の例としては、反復演算の回数が既定の回数（所定の回数）に到達したか否か、または、ｎ回目とｎ−１回目の演算における差分が所定の値よりも小さくなったか否かなどである。終了条件を満たした場合、画像処理部１０３は処理を終了して高解像画像（出力画像）を出力する。一方、終了条件を満たしていない場合、ステップＳ２１３へ進む。ステップＳ２１３において、画像処理部１０３は、高解像画像を新たな対象画像に置き換える。その後、ステップＳ２０１へ戻り、再び高解像化を行う。
【００７０】
このように本実施例において、画像処理部１０３（高解像化手段１０３ｄ）は、対応ドメインブロック（第３の画像）および情報（変換情報）を用いて対象画像を高解像化する（図４のステップＳ２０１〜Ｓ２１３）。また、対象画像を高解像化するステップは、第３の画像の精度に応じて処理を切り替えるステップ（ステップＳ２０５）を含む。以上のような処理により、フラクタル符号化を利用した高解像化を高精度に行うことができる。
【００７１】
次に、本実施例の効果を高めるための好ましい条件に関して説明する。図４のステップＳ２０８の判定では、相関値ｆ（Ｒｎ，Ｄｎ）の寄与がｆ（Ｒｍ，Ｄｎ）より大きくなることが好ましい。ｍ回目の反復演算におけるレンジブロックＲｍに、より近くなるように対応ドメインブロックＡｎを探索すると、誤差の影響は減少するものの、高解像化の効果まで減退してしまう可能性があるためである。高解像化と演算誤差の低減を同時に図るには、判定に対する相関値ｆ（Ｒｎ，Ｄｎ）の優先性が、ｆ（Ｒｍ，Ｄｎ）と同等以上であることが好ましい。例えば、相関値を２つの値の加重平均で判定する場合、相関値ｆ（Ｒｎ，Ｄｎ）の重みが相関値ｆ（Ｒｍ，Ｄｎ）の重み以上となるように設定する。また、２つの相関値のそれぞれにしきい値を設定する場合、相関値ｆ（Ｒｎ，Ｄｎ）のしきい値が相関値ｆ（Ｒｍ，Ｄｎ）のしきい値以上に厳しくなるように、すなわち、より相似な構造（形状）でないと判定を満たさないように設定するとよい。
【００７２】
また好ましくは、高解像化の精度評価（ステップＳ２０５）に用いられるＲｍの自然数ｍは、評価する際の反復演算回数（自然数ｎ）の半分以下であるように設定する。これは、ｍがｎに近すぎると、ｍ回目の反復演算の段階で既に誤差が蓄積している可能性があるためである。ｍを反復演算の早期な段階に設定することにより、より初期の入力画像から誤差の少ない評価が可能となる。
【００７３】
より好ましくは、自然数ｍを１に設定することにより、さらに初期の入力画像から誤差の少ない評価が可能となる。加えて、高解像化の精度評価は、２回目以降の反復演算全てにおいて行われることが好ましい。これにより、高解像化の際に逐次、誤差の評価が行われるため、高解像化と演算誤差の抑制をバランスよく行うことができる。
【００７４】
また本実施例において、変換情報の取得の後、高解像化を繰り返しているが、高解像化を反復する際に毎回変換情報の取得を行ってもよい。この際においても、レンジブロックＲｎに対応する対応ドメインブロックＡｎの探索に、相関値ｆ（Ｒｍ，Ｄｎ）を用いることが好ましい。ただし、反復演算の度に全ての変換情報取得をやり直すと計算時間がかかるため、本実施例のような処理構成が好ましい。
【００７５】
以上のような構成により、本実施例によれば、フラクタル符号化を利用した高解像化を高精度に行うことが可能な撮像装置および画像処理装置を提供することができる。
【実施例２】
【００７６】
次に、図８および図９を参照して、本発明の実施例２における画像処理システムについて説明する。図８は、本実施例における画像処理システム３００のブロック図である。図９は、画像処理システム３００の外観図である。本実施例では、撮像装置と画像処理装置が個別に設けられており、それらを接続することにより画像の高解像化を行うことが可能となる。
【００７７】
撮像装置３０１により取得された入力画像（撮影画像）は、通信部３０３を介して、画像処理装置３０２へ入力される。記憶部３０４は、入力画像（撮影画像）と入力画像の取得時における撮影条件情報（撮影時の焦点距離、絞り値、フォーカス位置など）を記憶する。画像高解像化部３０５は、高解像化処理を行う。画像高解像化部３０５により高解像度化された画像（高解像画像）は、通信部３０３を介して、表示装置３０６、記録媒体３０７、出力装置３０８のいずれか、または複数に出力される。表示装置３０６は、例えば液晶ディスプレイやプロジェクタなどである。ユーザは、表示装置３０６を介して、処理途中の画像を確認しながら作業を行うことができる。記録媒体３０７は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力装置３０８は、プリンタなどである。画像処理装置３０２は、必要に応じて、現像処理やその他の画像処理を行う機能を有してもよい。
【００７８】
また、本実施例の画像処理方法を画像処理装置３０２（コンピュータ）に実行させる画像処理プログラム（画像処理ソフトウエア）を記憶しているＣＤ−ＲＯＭなどの記憶媒体３０９を用いてもよい。この場合、画像処理プログラムを画像処理装置３０２（コンピュータ）にインストールすることにより、画像処理装置３０２は画像処理プログラムを読み出して画像処理方法を実行可能になる。
【００７９】
本実施例における画像高解像化部３０５の処理フロー（画像処理方法）は、図３および図４に示されるとおりである。本実施例において、図３および図４の各ステップは、画像高解像化部３０５（図１の画像処理部１０３と同様の構成を有する）により実行される。なお、以下の説明では、実施例１と同様の部分についての説明は省略する。
【００８０】
図３のステップＳ１０１において、画像処理装置３０２は、撮像装置３０１で撮影した入力画像（撮影画像）を取得する。高解像化がボケ補正である場合、ステップＳ１０４およびステップＳ２０７において、画像処理装置３０２は撮像装置３０１で発生したボケ情報を取得し、ドメインブロックＤ０、Ｄ-ｎに作用させて相関算出用ドメインブロックを生成する。ここでボケ情報とは、収差や回折などのＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）、或いはＯＴＦ（Ｏｐｔｉｃａｌ  Ｔｒａｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）などである。
【００８１】
以上のような構成により、本実施例によれば、フラクタル符号化を利用した高解像化を高精度に行うことが可能な画像処理システム、画像処理プログラム、および、記憶媒体を提供することができる。
【実施例３】
【００８２】
次に、図１０および図１１を参照して、本発明の実施例３における撮像システムについて説明する。図１０は、本実施例における撮像システム４００のブロック図である。図１１は、撮像システム４００の外観図である。本実施例では、撮像装置と画像処理装置とは無線で接続されており、撮像装置からの画像は画像処理装置へ転送され、画像処理装置が高解像化を行う。
【００８３】
サーバー４０３は、通信部４０４を有し、ネットワーク４０２を介して撮像装置４０１と接続されている。撮像装置４０１により撮影が行われると、入力画像（撮影画像）が自動的または手動でサーバー４０３へ入力される。そして記憶部４０５は、入力画像と撮影条件情報を記憶する。その後、画像処理部４０６は、入力画像（撮影画像）に対して高解像化処理（画像処理方法）を行い、出力画像（高解像画像）を生成する。出力画像は、撮像装置４０１へ出力されるか、または、記憶部４０５に記憶される。
【００８４】
図１２は、本実施例における撮像装置４０１（結像光学系）の構成図である。図１２に示されるように、撮像装置４０１は多眼構成であり、４種類の結像光学系が４つずつ配列されている。結像光学系は種類ごとに互いに異なる焦点距離を有する。結像光学系４１０ａ〜４１０ｄは広角レンズ、結像光学系４２０ａ〜４２０ｄは標準レンズ、結像光学系４３０ａ〜４３０ｄは中望遠レンズ、結像光学系４４０ａ〜４４０ｄは望遠レンズである。ただし、結像光学系の種類、数、または配置は、これに限定されるものではない。また、各結像光学系に対応する撮像素子は、それぞれ互いに画素数が異なっていてもよい。
【００８５】
本実施例における画像処理部４０６の処理フロー（画像処理方法）は、図３および図４に示されるとおりである。本実施例において、図３および図４の各ステップは、画像処理部４０６（図１の画像処理部１０３と同様の構成を有する）により実行される。なお、以下の説明では、実施例１と同様の部分についての説明は省略する。
【００８６】
図３のステップＳ１０１において、画像処理部４０６（画像処理装置）は、撮像装置４０１で撮影された画像のうち、１つの結像光学系に対応する画像を入力画像（撮影画像）として取得する。ただし、入力画像を変えながら図３および図４の処理を繰り返し、撮像装置４０１の撮影画像の全てに対して高解像化を行ってもよい。
【００８７】
ステップＳ１０３において、画像処理部４０６は、ドメインブロックＤ０-を取得する。この際、画像処理部４０６は、入力画像からだけでなく、撮像装置４０１の他の結像光学系で得られた画像からもドメインブロックＤ０を抽出する。撮像装置４０１の結像光学系には、それぞれ、視点および画角の相違があるが、全て共通の被写体を撮像している。このため、それらの画像からドメインブロックＤ０-を抽出することにより、高解像化の効果をより高めることができる。
【００８８】
特に、入力画像が広角レンズである結像光学系４１０ａ〜４１０ｄを介して得られた場合、より望遠側の結像光学系の撮影画像からドメインブロックＤ０-を抽出することにより、より高い高解像化効果が得られる。これは、望遠側は撮影倍率が大きく、より細かい構造を含む画像が取得されているためである。以上の説明は、ステップＳ２０６に関しても同様である。
以上のような構成により、本実施例によれば、フラクタル符号化を利用した高解像化を高精度に行うことが可能な撮像システムを提供することができる。
【００８９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００９０】
１０３    画像処理部
１０３ａ  画像抽出手段
１０３ｂ  画像選択手段
１０３ｃ  情報取得手段
１０３ｄ  高解像化手段
１０３ｅ  相関値算出手段
【図１】
2015119427.tif 000009
【図８】
2015119427.tif 000010
【図１０】
2015119427.tif 000011
【図２】
2015119427.tif 000012
【図３】
2015119427.tif 000013
【図４】
2015119427.tif 000014
【図５】
2015119427.tif 000015
【図６】
2015119427.tif 000016
【図７】
2015119427.tif 000017
【図９】
2015119427.tif 000018
【図１１】
2015119427.tif 000019
【図１２】
2015119427.tif 000020