(57)【要約】【課題】位置合わせ誤りに関する誤判断を防止する。【解決手段】複数の画像間の位置合わせ処理を行う位置合わせ手段（１０６、Ｓ３３）と、前記位置合わせ手段で位置合わせされた前記複数の画像を重ね合わせて合成し、合成画像を生成する画像合成手段（１０７、Ｓ３４）と、前記合成画像の周波数特性を測定する周波数特性測定手段（１０９、Ｓ３６）と、前記合成画像の前記測定された周波数特性に基づいて、前記複数の画像間の位置合わせ処理の誤りを検出する位置合わせ誤り検出手段（１１０、Ｓ３８）と、を備えることを特徴とする画像処理装置。【選択図】図１
2008293185.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像間の位置合わせ処理を行う位置合わせ手段と、
前記位置合わせ手段で位置合わせされた前記複数の画像を重ね合わせて合成し、合成画像を生成する画像合成手段と、
前記合成画像の周波数特性を測定する周波数特性測定手段と、
前記合成画像の前記測定された周波数特性に基づいて、前記複数の画像間の位置合わせ処理の誤りを検出する位置合わせ誤り検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記周波数特性測定手段は、前記合成画像の部分領域毎に周波数特性の測定を行い、
前記位置合わせ誤り検出手段は、前記合成画像の部分領域毎に位置合わせ処理の誤りの検出を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記位置合わせ手段は、前記複数の画像の部分領域毎に位置合わせを行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記位置合わせ手段は、前記複数の画像の高周波成分を含む部分において位置合わせ処理を行うことを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記位置合わせ手段は、
前記複数の画像のうちの１つの基準画像とその他の参照画像との位置合わせし、
前記基準画像に対する前記参照画像の画像変位を、画素単位よりも高い分解能で検出することを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記画像合成手段は、検出された前記画像変位に基づいて、前記基準画像及び前記参照画像の画素単位よりも分解能の高い解像度空間において、前記基準画像と前記参照画像を合成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像合成手段は、さらに、未定義画素に画素値を付与するように前記合成画像を変換する画像変換手段を含むことを特徴とする請求項１から請求項６のいずれかに記載の画像処理装置。
【請求項８】
前記画像変換手段は、前記合成画像の補間処理を行う補間手段を有することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像変換手段は、画像の超解像処理を行う超解像処理手段を有することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
さらに、前記位置合わせ誤り検出手段において位置合わせ処理の誤りを検出した場合に、位置合わせ処理の誤りが生じた部分領域を位置合わせ処理から除外する誤り画像除外手段を含むことを特徴とする請求項２から請求項９のいずれかに記載の画像処理装置。
【請求項１１】
さらに、前記位置合わせ誤り検出手段において位置合わせ処理の誤りを検出した場合に、位置合わせ処理の誤りが生じた部分領域について、再度、位置合わせ処理を行う再位置合わせ手段を含むことを特徴とする請求項２から請求項１０のいずれかに記載の画像処理装置。
【請求項１２】
前記周波数特性測定手段は、前記画像合成手段によって生成された前記合成画像の１次元フーリエ変換により、前記合成画像の周波数特性を測定することを特徴とする請求項１から請求項１１のいずれかに記載の画像処理装置。
【請求項１３】
前記周波数特性測定手段は、前記画像合成手段によって生成された前記合成画像の２次元フーリエ変換により、前記合成画像の周波数特性を測定することを特徴とする請求項１から請求項１２のいずれかに記載の画像処理装置。
【請求項１４】
前記位置合わせ誤り検出手段は、前記位置合わせ手段で位置合わせされる前記複数の画像の解像度と前記画像合成手段で合成される前記合成画像の解像度との関係から、位置合わせ処理の誤りにより変化する特定の周波数成分を求め、前記合成画像の周波数特性の前記特定の周波数成分を抽出することを特徴とする請求項１２又は１３に記載の画像処理装置。
【請求項１５】
前記周波数特性測定手段は、フィルタリング処理により前記合成画像の周波数特性を測定することを特徴とする請求項１から請求項１４のいずれかに記載の画像処理装置。
【請求項１６】
前記フィルタリング処理に用いるフィルタが、前記位置合わせ手段で位置合わせされる前記複数の画像の解像度と前記画像合成手段で合成される前記合成画像の解像度との関係から特定される周波数成分を抽出するバンドパスフィルタであることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記複数の画像の解像度と前記合成画像の解像度との関係が、前記複数の画像の解像度に対する前記合成画像の解像度の比となる拡大率であることを特徴とする請求項１４から請求項１６のいずれかに記載の画像処理装置。
【請求項１８】
さらに、前記複数の画像のうちの一つを前記画像変換手段により変換したものに対して、周波数特性を検出する周波数特性検出手段を備え、
前記位置合わせ誤り検出手段が、前記周波数特性検出手段によって検出された周波数特性を用いて、位置合わせ処理の誤りを検出することを特徴とする請求項７から請求項１７に記載の画像処理装置。
【請求項１９】
さらに、前記画像合成手段によって重ね合わせられる前の状態での前記複数の画像のうちの一つに対して、周波数特性を検出する周波数特性検出手段を備え、
前記位置合わせ誤り検出手段が、前記周波数特性検出手段によって検出された周波数特性を用いて、位置合わせ処理の誤りを検出することを特徴とする請求項１から請求項１７に記載の画像処理装置。
【請求項２０】
前記画像合成手段によって重ね合わせられる前の状態が、前記複数の画像のうちの一つがその画像サイズを前記合成画像のサイズと同一とするよう変換された状態であることを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
複数の画像間の位置合わせ処理を行う位置合わせ手順と、
前記位置合わせ手順で位置合わせされた前記複数の画像を重ね合わせて合成し、合成画像を生成する画像合成手順と、
前記合成画像の周波数特性を測定する周波数特性測定手順と、
前記合成画像の前記測定された周波数特性に基づいて、前記複数の画像間の位置合わせ処理の誤りを検出する位置合わせ誤り検出手順と、
を備えることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の画像間の位置合わせ処理を行う技術に関わり、特に複数枚の画像間において、その位置合わせ処理に誤りが生じた場合に、その誤りを検出する技術に関する。
【背景技術】
【０００２】
従来、画像処理技術の基礎として、複数枚画像を扱う場合は、画像間の位置対応をとるために、画像間の位置合わせ処理を行うことは必須の技術となっている。例えば、イメージモザイキング処理（重なりのある複数の画像の位置を合わせ一枚の全体画像を得る処理）や、超解像処理を行う場合は、複数枚画像の合成処理が必須となり、その時に用いられる画像の位置合わせ処理に誤りがあれば、画像の合成処理として破綻し、本来得たい画像処理結果が得られないこととなる。
【０００３】
例えば、複数枚画像を用いた画像高解像度化手法として、画像の超解像処理が提案されている（特許文献１参照）。この手法では、複数枚画像を画像の画素単位以上の分解能で位置合わせを行わなければならないが、今まで、位置合わせが破綻した場合の対処法について考慮がなされておらず、処理が破綻した場合でもそのまま画像処理結果を出力していた。
【０００４】
以上の様な課題を解決するために、近年では、画像の位置合わせ処理を行った場合の、位置合わせ誤りを検出する手法についての報告が幾つかなされている（非特許文献１、２参照）。
【特許文献１】国際公開第０６／０５２０２９号パンフレット
【非特許文献１】張馴、清水、奥富「照明変化やオクルージョンにロバストな領域選択2段階レジストレーション」、画像の認識・理解シンポジウム（MIRU2006）講演論文集、２００６年７月、p.229-234
【非特許文献２】戸田、塚田、井上「レジストレーション誤差を考慮した超解像処理」第５回情報科学技術フォーラム(FIT2006) 講演論文集、２００６年、p.63-64
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、この様な従来の位置合わせ誤りを検出する手法は、位置合わせ処理後の対応する画素間の画素値の誤差量等を指標としているが、この指標では、画像にエイリアシングが乗っている場合、エッジ部などの高周波を持つ画像部分で、画像の大局的構造が一致していても、エイリアシングの効果により画像間の画素値単位では画素値に差が生じ、その結果、画素選択により位置合わせ処理された画素を除外してしまうという問題点があった。また、従来より、超解像処理のように、複数枚画像間の位置合わせ処理をすると同時に、画像の解像度を上げるような処理を行う場合に、画像の解像度を上げた状態において位置合わせ処理の誤りを検出するような手法は提案されていなかった。
【０００６】
本発明は、複数枚画像間位置合わせ処理の位置合わせ誤り検出における上記の問題点に鑑みて発明されたものであり、位置合わせ誤りに関する誤判断を防止すること、及び、画像の解像度を上げた状態において位置合わせ処理の誤りを検出することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置（画像処理プログラム）は、複数の画像間の位置合わせ処理を行う位置合わせ手段（手順）と、前記位置合わせ手段（手順）で位置合わせされた前記複数の画像を重ね合わせて合成し、合成画像を生成する画像合成手段（手順）と、前記合成画像の周波数特性を測定する周波数特性測定手段（手順）と、前記合成画像の前記測定された周波数特性に基づいて、前記複数の画像間の位置合わせ処理の誤りを検出する位置合わせ誤り検出手段（手順）と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明では、複数の画像間で位置合わせ処理を行った場合の、画像の位置合わせ処理の誤りを、画像を合成した後に検出できる。合成画像上で画像間の位置合わせ処理の誤り検出を行う為に、エイリアシング存在するエッジ部などについても良好な、位置合わせ誤り判別が可能となる。
【発明を実施するための最良の形態】
【０００９】
図１は、第一実施形態に係る画像処理装置を示す構成図である。
【００１０】
レンズ系１００、カラーフィルタアレイ（ＣＦＡ）１０１、電荷結合素子（ＣＣＤ）１０２を介して撮影された映像信号は、増幅器（Ｇａｉｎ）１０３にて増幅され、Ａ-Ｄ変換器（Ａ/Ｄ）１０４にてデジタル信号へ変換される。Ａ-Ｄ変換器１０４はバッファ１０５（バッファメモリ）と接続されている。バッファ１０５は、位置合わせ部（位置合わせ手段）１０６、画像記録部（画像記録手段）１１１と接続されている。位置合わせ部１０６は、画像合成部（画像合成手段）１０７、画像変換部（画像変換手段）１０８と接続されている。画像合成部１０７は、画像変換部１０８と接続されている。画像変換部１０８は、周波数特性測定部（周波数特性測定手段、周波数特性検出手段）１０９、画像記録部１１１と接続されている。周波数特性測定部１０９は位置合わせ誤り検出部（位置合わせ誤り検出手段）１１０と接続されている。位置合わせ誤り検出部１１０は、位置合わせ部１０６と接続されている。画像記録部１１１は映像信号を外部へ出力する為の、出力インターフェース（output）と接続されている。
【００１１】
以下、図１における映像信号の流れを説明する。外部ユーザインターフェース部（外部Ｉ／Ｆ部）１１３を介してＩＳＯ感度などの撮影条件を設定した後、外部Ｉ／Ｆ部１１３に備え付けられたシャッターボタンを半押しにすることでプリ撮像モード（事前撮影モード）に入る。外部Ｉ／Ｆ部１１３は、種々の構成を取り得るものであり、例えば、表示画面上で各種の設定を行うタッチセンサや、シャッターボタン等の操作ボタン又は操作ダイヤルなどから構成されて良い。レンズ系１００、ＣＦＡ１０１、ＣＣＤ１０２を介して撮影された映像信号は、アナログ信号として出力される。なお、本実施形態において、ＣＣＤ１０２としては、撮像系にBayer（ベイヤー）型原色フィルタをＣＦＡ１０１として前面に配置した単板ＣＣＤが用いられている。Bayer型原色フィルタは２×２画素を基本単位とし、基本単位中に赤(Ｒ)、青(Ｂ) フィルタが１画素ずつ、緑(Ｇ) フィルタが２画素配置される（図２参照）。
【００１２】
ここでＣＣＤ１０２は、外部Ｉ／Ｆ部１１３に備え付けられたシャッターボタンが押された場合、画像の撮影を行う。増幅器１０３、Ａ-Ｄ変換器１０４、バッファ１０５を介して、画像データは順次、位置合わせ部１０６または画像記録部１１１（画像記録メモリ）へ送信される。ここで、撮影された画像データを位置合わせ部１０６へ転送するか、画像記録部１１１へ転送するかは外部Ｉ／Ｆ部１１３を介して設定された保存方法により異なる。すなわち、画像をそのまま画像記録部１１１へ保存する設定をとった場合は、複数枚画像間の位置合わせ処理を行わないため、撮影された画像データは画像記録部１１１へ記録される。画像記録部１１１への保存を行わない場合、バッファ１０５を介して撮影された画像データは順次、位置合わせ部１０６により位置合わせ処理（座標変換処理）が行われる。その後、位置合わせ部１０６において位置合わせ処理がされた画像は、画像合成部１０７に転送され画像の合成処理が行われる。画像合成部１０７において画像合成された合成画像は、画像変換部１０８へ転送される。また、同時に位置合わせ部１０６に転送された画像データをそのままの形で画像変換部１０８へ転送しても良い。この転送を行うか行わないかは、外部Ｉ／Ｆ部１１３による設定処理により決定される。
【００１３】
画像変換部１０８において画像変換がなされた画像は、周波数特性測定部１０９へ転送が行われる。周波数特性測定部１０９において、画像変換部１０８において変換がなされた画像に対し、周波数特性値が測定され、その周波数特性値は、位置合わせ誤り検出部１１０へ転送される。位置合わせ誤り検出部１１０では、周波数特性測定部１０９より転送された周波数特性値に基づき、位置合わせ誤り判定が行われ、判定結果として出力される位置合わせ誤り判定情報を位置合わせ部１０６へ転送する。位置合わせ部１０６は位置合わせ誤り検出部１１０から転送された位置合わせ誤り判定情報を元に、位置合わせ画像除外処理、再位置合わせ処理等を施し、順次位置合わせ処理を行っていく。位置合わせ処理、画像変換処理が終了した時点で、画像変換部１０８で画像変換された画像は、画像記録部１１１に転送され画像記録が行われる。
【００１４】
画像記録部１１１に記録された、画像は外部入出力インターフェースを介し、本画像処理装置の外部の機器と相互接続を行い、画像リソースとして自由に利用できる。
【００１５】
以下に、位置合わせ部１０６の位置合わせ処理について説明を行う。
【００１６】
上述の様に、レンズ系１００、ＣＦＡ１０１、ＣＣＤ１０２を介して撮影された映像信号は、増幅器１０３にて増幅され、Ａ／Ｄ１０４にてデジタル信号へ変換され、バッファ１０５を介して順次位置合わせ部へ転送され、位置合わせ処理が行われる。位置合わせ部１０６の構成図を図３に示す。位置合わせ部１０６は、複数枚画像保持部１０６ａ、画像選択部１０６ｂ、位置合わせ量推定部１０６ｃで構成される。複数枚画像保持部１０６ａは、バッファ１０５からの入力線、画像変換部１０８への出力線、画像選択部１０６ｂ、位置合わせ量推定部１０６ｃとそれぞれ接続されている。画像選択部１０６ｂは、複数枚画像保持部１０６ａ、制御部１１２からの制御信号線とそれぞれ接続されている。位置合わせ量推定部１０６ｃは複数枚画像保持部１０６ａ、位置合わせ誤り検出部１１０からの入力線、画像合成部１０７への出力線とそれぞれ接続されている。
【００１７】
以下に、図３における信号の流れを説明する。バッファ１０５から入力される画像データは順次複数枚画像保持部１０６ａへと転送される。複数枚画像保持部１０６ａには、複数枚の画像を保持することが可能である。複数枚画像保持部１０６ａにおいて、画像データが２枚以上蓄えられた場合、画像選択部１０６ｂにおいて、位置合わせ処理を行う為の画像選択が行われる。画像選択部１０６ｂでは、位置合わせ処理の基準となる基準画像、及び基準画像との間の位置合わせ量を推定すべき参照画像が選択される。基準画像及び参照画像の選択方法は、例えば、あるタイミングで外部Ｉ／Ｆ部１１３において指定された画像を、制御部１１２を介して基準画像として指定し、それ以降に撮影された画像を順次参照画像として選択していく方法を取り得る。また、その他の構成としては、はじめに撮影された画像を基準画像として選択し、それ以降に撮影された画像を順次参照画像として選択していく構成をとっても良い。このように画像選択部１０６ｂにおいて選択された基準画像及び参照画像は、複数枚画像保持部１０６ａから、位置合わせ量推定部１０６ｃへと転送する。位置合わせ量推定部１０６ｃへ転送された基準画像及び参照画像は、位置合わせ量推定部１０６ｃにおいて、基準画像を基準とした位置合わせ量推定処理が行われる。位置合わせ量推定処理は、以下のように行われる。
【００１８】
図４のフローチャートに、位置合わせ量としての画像変位量（ずれベクトル）を推定する推定手段として、画素対応位置を求める画像変位量推定のアルゴリズムの詳細を示す。以下、アルゴリズムの流れに従って説明を行う。
【００１９】
ステップＳ１において、画像変位量の推定対象となる参照画像及び基準画像をそれぞれ読み込む。ステップＳ２において、基準画像と参照画像の間で、大局的な位置合わせ処理を行う。大局的な位置合わせ処理には、領域ベースピクセルマッチング法や、特徴点ベースの勾配法に基づく位置合わせ方法等の方法が利用できる。
【００２０】
ステップＳ３において、基準画像を複数の画像変位で変形させ、画像列を生成する。ステップＳ４において、基準画像を複数変形させた画像列と参照画像間の類似度値を算出する。例えば、類似度値として、ＳＳＤ（Sum of Squared Difference）値が使用できる。
【００２１】
ステップＳ５において、画像変位と類似度値との関係を用いて、離散的な類似度マップを作成する。ステップＳ６において、ステップＳ５で作成した離散的な類似度マップを補間することで得られる、連続的な類似度値の極値を探索し、連続的な類似度値の極値を求める。その極値を持つ画像変位が求める位置合わせ量となる。類似度マップの極値の探索法には、パラボラフィッティング（二次関数フィッティング）、スプライン補間法等がある。
【００２２】
図５には、画像変位推定をパラボラフッティングで行った例を示している。縦軸は類似度値を表し、類似度値が小さいほど、変形した基準画像と参照画像間の類似性が強くなる。ステップＳ６におけるパラボラフィッティング又はスプライン補間等による類似度マップの極値探索法では、基準画像及び参照画像の画素単位より細かい分解能の位置合わせ量を推定できる。複数の画像のうちの１つの基準画像とその他の参照画像との位置合わせし、基準画像に対する参照画像の位置合わせ量を、画素単位よりも高い分解能で検出するので、より高い分解能の位置合わせ誤り検出が可能となる。
【００２３】
位置合わせ量推定部１０６ｃにおいて上記のように推定された位置合わせ量は、画像合成部１０７への出力線を介して、画像合成部１０７へと転送される。また同時に、位置合わせ量推定部１０６ｃにおいて位置合わせが行われた、基準画像及び参照画像も画像合成部１０７への出力線を介し、画像合成部１０７へと転送される。ここで３枚以上の画像の位置合わせ処理を行う場合、基準画像は位置合わせ量推定部１０６ｃにおいて複数回用いられることがあるが、その場合、一度画像合成部１０７へと基準画像を転送すれば、再び同一の基準画像を転送する必要はない。
【００２４】
以上のようにして、位置合わせ部１０６で推定された位置合わせ推定量、及び位置合わせ処理を行った基準画像及び参照画像は、画像合成部１０７へと転送され、画像合成処理が行われる。画像合成部１０７における画像合成処理は、以下のように行われる。
【００２５】
図６に、画像合成部１０７の構成図を示す。画像合成部１０７は、合成部１０７ａ、合成画像保持部１０７ｂ、拡大率選択部１０７ｃで構成される。合成部１０７ａは、位置合わせ部１０６からの入力線、合成画像保持部１０７ｂ、拡大率選択部１０７ｃ、画像変換部１０８への出力線とそれぞれ接続されている。合成画像保持部１０７ｂは合成部１０７ａと接続されている。拡大率選択部１０７ｃは、合成部１０７ａ、制御部１１２からの制御信号線とそれぞれ接続されている。
【００２６】
以下に、図６における信号の流れを説明する。位置合わせ部１０６から入力される基準画像及び参照画像の画像データ及び位置合わせ量は順次合成部１０７ａへと転送され、順次画像合成処理が行われる。画像合成処理を行う前に、合成画像の拡大率が定められている。拡大率は、拡大率選択部１０７ｃにおいて選択され、その拡大率が合成部１０７ａへと転送される。拡大率選択部１０７ｃにおける拡大率としては、例えば、あるタイミングで外部Ｉ／Ｆ部１１３において指定された拡大率を制御部１１２を介して拡大率選択部１０７ｃへ転送し、その拡大率を用いても良い。また、画像合成を行う複数枚画像の枚数が予め決定している場合は、その枚数に応じた拡大率を設定するという構成にしても良いものとする。
【００２７】
拡大率選択部１０７ｃにおいて選択され、合成部１０７ａに転送された拡大率は、合成部１０７ａにおいて利用される。合成部１０７ａに、拡大率に応じたサイズのメモリ領域が設けられ、そのメモリ領域に合成画像が生成される。拡大率に応じたサイズとは、例えば、画像合成部１０７へと転送される前の基準画像及び参照画像のサイズに、拡大率の二乗を乗算したものである。画像合成処理において、基準画像を基準とし、はじめに上記拡大率で拡大された基準画像の画素データを合成画像の上記メモリ領域にコピーする。次に、その基準画像の座標から相対的にずれた情報を、位置合わせ部１０６より転送された位置合わせ量（ずれベクトル）から算出し（例えば、位置合わせ量に拡大率を乗算して算出する）、その位置合わせ量に相当する分だけずれた合成画像の座標の位置に上記拡大率で拡大された参照画像の画素データをコピーしていく処理を行う。ここで、合成画像の画素単位以上に細かい位置情報が得られている場合は、その情報は無視して良い。ただし、その情報に基づき画素の補間処理を行っても良いものとする。
【００２８】
このように、基準画像及び参照画像は、拡大してから合成され、位置合わせ量に基づいて、当初の基準画像及び参照画像の画素単位よりも分解能の高い解像度空間において合成される。従って、より高い解像度の合成画像を取得することができる。また、より詳細な、周波数特性の測定を行うことができる。
【００２９】
このようにして合成画像のメモリ領域に合成画像を生成していく。このような処理を行うと、合成画像のメモリ領域に一度も画素がコピーされないメモリ領域が存在することがあるが、そのメモリ領域に属す画素を未定義画素（画素値の存在しない画素）と定義し、例えば０の値を代入しておく。以上の様にして最終的な合成画像を生成する。合成画像生成の概念図を図７に示す。
【００３０】
図７（ａ）は、合成部１０７aにおいて画像合成処理が行われる基準画像及び参照画像である。模式的に基準画像は画素Ａ〜Ｉ、参照画像は画素Ｊ〜Ｒを持つように表現している。図７（ｂ）は、合成画像のメモリ領域上で、位置合わせ部１０６より転送された位置合わせ量に基づいて、基準画像及び参照画像を位置合わせ処理をした様子を模式的に表している。ここで、基準画像は合成画像の基準となる画像なのでピクセル単位で確定的に位置合わせ処理を行うことが可能である。一方、参照画像については、位置合わせ量が、合成画像の画素単位より細かい精度となっている為、合成画像の画素単位より細かい精度の位置合わせを合成画像の画素単位に確定する処理を行う。つまり、参照画像の画素を、最も近い合成画像の画素単位に適合させながら位置合わせ処理を行う。この合成画像の画素単位に、位置合わせ処理を行ったものが図７（ｃ）である。この図７（ｃ）の位置合わせ処理により合成画像が生成する。
【００３１】
画像合成処理の時に、同一画素位置に２回以上の画素位置合わせ処理が為される場合には、複数の画素の平均化処理を行う処理を行う。また、基準画像、参照画像がBayer型フィルタを介して撮影されたＲＧＢ画像であれば、以上の処理をＲＧＢ独立に行い、ＲＧＢ３色の合成画像をそれぞれ生成し、その３色の合成画像を合わせて出力画像とする。
【００３２】
上記のように、合成部１０７ａにおいて生成された合成画像は、画像変換部１０８への出力線を介して画像変換部１０８へと転送される。ここで、３枚以上の画像の画像合成処理を行う場合、基準画像と参照画像の組で生成された合成画像は、合成画像保持部１０７ｂへと保持される。この合成画像保持部１０７ｂに保持された合成画像は、再び基準画像と参照画像のペアの画像合成処理が行われる場合の合成画像のメモリ領域として、再び合成部１０７ａへ転送され、利用され得る。その後、生成された合成画像が再び合成画像保持部１０７ｂへ転送され保持され、再び基準画像と参照画像のペアの画像合成処理が行われる場合、合成画像のメモリ領域として再び合成部１０７ａへ転送され、利用され得る。以上のことを繰り返して、３枚以上の画像の画像合成処理が行われる。
【００３３】
以上の様にして画像合成部１０７で生成された合成画像は、画像変換部１０８へと転送され、画像変換処理が行われる。ここで、画像合成部１０７から転送される合成画像は、画像合成部で参照画像が合成された合成画像だけでなく、参照画像を合成する以前の合成画像を同時に転送しても良い。
【００３４】
画像変換部１０８における画像変換処理は、以下のように行われる。
【００３５】
一例として、画像変換部１０８において、画像合成部１０７より転送されてきた合成画像に対して、その合成画像内に含まれる未定義画素の補間または推定を行い、全ての画素について画素値を定義する処理を行う。合成画像中の画素の中に、未定義画素が存在した場合、その未定義画素に画素値を付与することにより、周波数特性取得の演算処理が簡単化される。また、補間処理を行うことで、高速に未定義画素の画素値推定を行うことが可能となる。
【００３６】
例えば、合成画像について未定義画素の画素値を補間処理によって定義していく場合、具体的な方法としては、２次元ガウシアン関数を用いた重み付け補間処理を用いた画素補間処理等が利用できる。２次元ガウシアン関数を用いた重み付け補間処理では、例えば、合成画像の画素位置（i,j）において未定義画素が存在する場合、その画素位置(i,j)の画素値をp(i,j)と定義すると、下記の数式１の
【００３７】
【数１】
2008293185.tif 000003
【００３８】
のようにp(i,j)を補間算出する方法を用いても良い。ここで、wkはガウシアン重み係数であり、画素位置(i,j)より遠ざかるに従い、2次元ガウシアン関数値に従った重み量を持つ重み係数であるとする。また、kは画素位置に関するインデックス（指標）であり、wkはインデックスkにおけるガウシアン重み係数、pkはインデックスkにおける画素値を表す。D(i,j)は画素位置(i,j)における近傍でかつ画素値が定義されている画素位置の集合を現す。以上で説明した、2次元ガウシアン関数を用いた重み付け補間処理を用いることで、合成画像の未定義画素を補間し、画像変換部１０８における画像変換処理を終了することができる。ここでは、２次元ガウシアン関数を用いた重み付け補間処理を未定義画素の補間に用いたが、未定義画素の画素値を未定義画素の周辺の情報から補間処理する方法であれば、どのような手法を用いても構わない。
【００３９】
その他の画像変換処理の例として、画像復元処理の一種である超解像処理を用いることができる。
【００４０】
以下に、他の例として、画像合成部１０７で生成された合成画像に対する画像変換部１０８の処理として、超解像処理を適用した場合を説明する。ここで、超解像処理とは、高解像度画像を仮定し、撮像システムの点広がり関数（Point Spread Function：ＰＳＦ）に基づき仮定した高解像度画像から低解像度画像を推定し、その推定画像と観測された画像の差が小さくなるような高解像度画像を探索する。例えば、超解像処理として、国際公開第０６／０５２０２９号、国際公開第０４／０６８８６２号に記載されたものが使用できる。
【００４１】
合成画像の画素の中に、未定義画素が存在した場合に、画像変換処理において画像の超解像処理を行うことで、高精度に未定義画素の画素値推定を行ない、また、未定義画素以外の画像についても、高精細な画素値を復元、推定することが可能となる。
【００４２】
具体的な、超解像処理のアルゴリズムを図８のフローチャートに示す。以下、アルゴリズムの処理の流れに添って説明を行う。
【００４３】
ステップＳ１１において、合成画像ｙの入力処理を行う。ステップＳ１２において、初期の出力画像を生成する。例えば、この処理は、上述の２次元ガウシアン関数を用いた重み付け補間処理を用いることができる。この処理によって合成画像の未定義画素を補間し定義した、初期の出力画像z0を生成しておく。
【００４４】
ステップＳ１３において、以下の数式２の評価関数f(z)を最急降下法により最小化する超解像処理を開始する。
【００４５】
【数２】
2008293185.tif 000004
【００４６】
ここでyはＳ１１で入力された合成画像（ベクトル表現）、zは高解像度化された結果画像（ベクトル表現）、ＡはＰＳＦ等を含めた撮像システムをあらわす画像変換行列である。g(z)は画像の滑らかさや画像の色の相関を考慮した正規化項（拘束項）等である。は重み付け係数である。最急降下法を用いた場合、f(z)のzにおける微分値∂f(z)／∂ｚを計算し、その微分値をzに付加し、画像を更新させて、f(z)の最小値を得る。f(z)の微分値（勾配）は、ＡT（ｙ−Ａｚ）と∂g(z)／∂ｚを重み付け加算したものとなる。ここでＡTはＡの転置行列である。
【００４７】
以下の数式３のように、微分値∂f(z)／∂ｚをzに付加して、画像を更新させf(z)の最小値を得る。
【００４８】
【数３】
2008293185.tif 000005
【００４９】
ここでznは繰り返しn回目の高解像度化された結果画像を表し、αは更新量の歩み幅を表す。
【００５０】
ステップＳ１３において、ステップＳ１２またはＳ１８より得られた出力画像ｚに対しＰＳＦ（Point Spread Function：点広がり関数）とのコンボリューション処理（畳み込み積分処理）を行う。即ち、Ａｚを演算する。ここで、ＰＳＦデータは、例えば画像変換部１０８に予め保持しておいた、ＰＳＦデータを用いることができる。また、ＰＳＦデータは複数保持しておき、光学伝達関数(ＯＴＦ)、ＣＣＤアパーチャ（ＣＣＤ開口）等の撮像特性を考慮したカメラの撮影パラメータに従い適切なＰＳＦデータを選択する構成としても良いものとする。ＰＳＦデータは基本的に２次元ガウシアン関数の形状のものを利用する。また、ＰＳＦデータはそのデータ係数の和が１に正規化されているものとする。また、出力画像がＲＧＢのカラーを含むであれば、以上の処理をＲＧＢ独立に行う。
【００５１】
ステップＳ１４において、ステップＳ１１で入力された合成画像ｙ及びステップＳ１３で生成された出力画像Ａｚについて、その差分をとり差分画像（ｙ−Ａｚ）を取る。このとき、合成画像には未定義画素が含まれるが、その未定義画素部分では、差分が定義できない為、差分画像でも未定義画素のままとする。出力画像がＲＧＢのカラーを含むであれば、以上の処理をＲＧＢ独立に行う。
【００５２】
ステップＳ１５において、ステップＳ１４で生成された差分画像（ｙ−Ａｚ）について、ＰＳＦのコンボリューション処理を行う。即ち、ＡT（ｙ−Ａｚ）を演算する。ＰＳＦのコンボリューション処理を行う場合に、コンボリューション処理に用いる画素として未定義画素が含まれることがあるが、その未定義画素においてコンボリューション処理が行なわれた場合、未定義画素についてはコンボリューションが定義できない為、その画素についてはコンボリューション処理を行わないこととする。この時、定義画素のみでＰＳＦのコンボリューション処理を行うと、使用するＰＳＦデータのデータ係数の和が１に満たない場合があるが、その場合は、使用するＰＳＦデータのデータ係数の和を１に設定する処理を、正規化処理により施す。出力画像がＲＧＢのカラーを含むであれば、以上の処理をＲＧＢに対して独立に行う。
【００５３】
ステップＳ１６において、ステップＳ１５で求めた画像ＡT（ｙ−Ａｚ）に加え、Ｓ１２またはＳ１８から与えられた出力画像の解を好ましい画像へ収束させる為の正則化画像（∂ｇ／∂ｚ）を生成する。例えば、出力画像のエッジは滑らかであるという正則化条件を考慮する為に、Ｓ１２またはＳ１８で与えられた出力画像について、正則化項g(z)をＳ１６で与えることができる。具体的には、Ｓ１２またはＳ１８で与えられた出力画像について２度ラプラシアンでコンボリューション処理（畳み込み積分処理）をした画像等を生成する処理を行う。Ｓ１６での処理は、場合により省略してもかまわないものとする。出力画像がＲＧＢのカラーを含むであれば、以上の処理をＲＧＢから得られる輝度信号について行うという処理構成をとっても良い。
【００５４】
ステップＳ１７において、Ｓ１５及びＳ１６において生成された画像ＡT（ｙ−Ａｚ）、（∂ｇ／∂ｚ）を、出力画像へ重み付け加算する処理（数式３の計算）を行う。これは、出力画像の更新処理であり、出力画像zn+1が得られる。Ｓ１５及びＳ１６で得られた画像ＡT（ｙ−Ａｚ）、（∂ｇ／∂ｚ）の重み付け係数をそれぞれλ１及びλ２をする。出力画像の更新幅は、λ１及びλ２の値により変化する。この、λ１及びλ２は予め適切な値を設定しておくか、または、外部Ｉ/Ｆ部１１３において外部より適切な値に設定しておいても良いものとする。
【００５５】
ステップＳ１８において、Ｓ１５及びＳ１６において生成された画像の画素値の絶対値の和をスカラーの更新量とした時、その更新量がある閾値Ｔよりも小さい場合は、Ｓ１７において得られた出力画像を最終的な出力画像とみなし、Ｓ１９においてこの最終的な出力画像を出力する。更新量が閾値Ｔ以上の場合は、Ｓ１７で得られた出力画像を再びＳ１３で入力し、Ｓ１３〜Ｓ１７を介し再び出力画像を更新する。この処理は、Ｓ１８において更新量が閾値Ｔより小さくなるまで繰り返される。なお、繰り返し回数がある一定回数を超えた場合（例えば２０回の繰り返し）、繰り返し処理を終了し、出力画像をＳ１９へ進んで最終的な出力画像として出力するという処理をとっても良い。
【００５６】
このように、以上のＳ１１からＳ１８の処理によって、最終的に出力された出力画像が画像変換部１０８における画像変換後の画像となる。画像変換部１０８において、画像変換処理が行なわれた画像は、周波数特性測定部１０９へ送られ、空間周波数特性の測定が行なわれる。
【００５７】
また、画像変換部１０８は、上記画像合成部１０７からの合成画像の画像変換以外に、位置合わせ部１０６から転送される基準画像の画像変換を行なっても良い。本実施例のようにベイヤー型色フィルタを用いて撮影された基準画像での画像変換は、欠けている色チャネルを色モザイク状の生データから推定するカラーデモザイキング処理（補間処理）をとして良い。デモザイキング処理により、ベイヤー型色フィルタを解して撮影された基準画像は、それぞれの画素位置においてＲ、Ｇ、Ｂの画素値が揃ったフルカラーの画像となる。さらに、画像変換処理は基準画像と、合成画像の画像サイズ（又は画像解像度）を同一とするために、画像拡大処理を行う。ここで用いる画像拡大手法は、公知のバイキュービック（bicubic）拡大法、バイリニア（bilinear）拡大法等を用いる。この処理によって、補間・拡大処理が行われた基準画像は、周波数特性測定部１０９へ転送される。ただし、この画像変換された基準画像の周波数特性測定部１０９への転送処理は必ずしも必要ないものとする。
【００５８】
また、画像合成部１０７から転送される合成画像として、画像合成部１０７における参照画像を含まない画像（つまり、画像合成部１０７において所定の拡大率で拡大された基準画像）も画像変換部１０８に転送される場合も有る。その場合は、画像変換部１０８において、上記参照画像を含む合成画像の画像変換処理と同様に、画像変換処理を施し、周波数特性測定部１０９へ転送されるものとする。ただし、画像合成部１０７における参照画像を含まない画像の、画像変換後の画像の周波数特性測定部１０９への転送は、必ずしも必要ないものとする。
【００５９】
なお、以上のようにバッファ１０５より転送され、位置合わせ部１０６、画像合成部１０７、画像変換部１０８を介して生成される画像は、画像の部分領域に分けての処理されても良い。この場合、画像のそれぞれの部分領域に多少重複を含めた部分領域として処理を行うことが好ましい。また、位置合わせ部１０６、画像合成部１０７、画像変換部１０８を介した画像生成を画像の部分領域に分けて行なった場合、その部分領域を、以下に説明する、周波数特性測定部の画像領域選択部１０９ａで選択される画像領域としても良いものとする。画像の部分領域毎に位置合わせを行えば、位置合わせする画像中の部分ごとに異なる位置ずれが混在する場合の位置合わせ処理であっても、高精度に位置合わせ処理を行うことができる。また、周波数特性測定部は、合成画像の部分領域毎に周波数特性の測定を行う場合、合成画像の部分領域毎に位置合わせ処理の誤りの検出が可能となる。
【００６０】
また、上記バッファ１０５より転送され、位置合わせ部１０６、画像合成部１０７、画像変換部１０８を介して生成される画像は、画像の部分領域であり、かつその中の高周波成分を持つ部分領域であっても良いものとする。画像の高周波成分の部分領域において画像の位置合わせを行うことで、テクスチャが豊富な画像領域で位置合わせ処理が可能となり、高精度に位置合わせ処理を行うことができる。また、テクスチャが豊富な画像領域で位置合わせ誤り検出を行うことが可能となり、高精度な位置合わせ誤り検出を行うことができる。
【００６１】
周波数特性測定部１０９における周波数特性測定方法は、２次元フーリエ変換、１次元フーリエ変換、画像のコンボリューション処理（畳み込み積分処理）などによって行われる。なお、1次元フーリエ変換処理により、2次元フーリエ変換よりも高速に周波数特性値を測定することができる。２次元フーリエ変換では、合成画像の詳細な周波数特性値を測定することができる。
【００６２】
以下、周波数特性測定部１０９について、説明を行う。周波数特性測定部１０９の構成図を図９（ａ）に示す。周波数特性測定部１０９は、画像領域選択部１０９ａ及び２次元ＤＦＴ（離散フーリエ変換）部１０９ｂで構成される。画像領域選択部１０９ａは、画像変換部１０８からの入力線、２次元ＤＦＴ部１０９ｂと接続されている。２次元ＤＦＴ部１０９ｂは、画像領域選択部１０９ａ及び位置合わせ誤り検出部１１０への出力線により接続されている。
【００６３】
図９（ａ）において、信号の流れを説明する。画像変換部１０８からの入力線より、画像変換後の画像が入力され、画像領域選択部１０９ａへと転送される。画像領域選択部１０９ａにおいて、選択される画像領域である選択画像は、選択された画像領域の位置情報と共に２次元ＤＦＴ部１０９ｂへと転送される。２次元ＤＦＴ部１０９ｂにおいて、選択画像の２次元ＤＦＴ演算（２次元離散フーリエ変換演算）が行なわれ、２次元ＤＦＴ演算の演算値が周波数特性出力として、位置合わせ誤り検出部１１０への出力線を介し、位置合わせ誤り検出部１１０へと転送される。
【００６４】
ここで、画像変換部１０８から入力される画像は、画像変換部１０８で上記補間・拡大処理が行われた基準画像や、画像合成部１０７における参照画像を含まない画像に対して画像変換部１０８において画像変換が施された画像（つまり、画像合成部１０７において所定の拡大率で拡大された基準画像を画像変換部１０８において画像変換したもの）、等を含んでも良い。このような画像を、画像の位置合わせに誤りがない誤りなし画像と定義する。なお、ここで、基準画像は、位置合わせ処理が行われる前の画像の一例として示したものである。また、画像合成部１０７における参照画像を含まない画像とは、画像合成部１０７で重ね合わせられる前の状態の画像の一例として示したものである。さらに、画像合成部１０７において、参照画像と基準画像との画像合成を行い、画像変換部１０８において画像変換が施された合成画像を誤り検証画像と定義する。
【００６５】
周波数特性測定部１０９内の画像領域選択部１０９ａは、誤り検証画像及び誤りなし画像において、画像領域選択を行い、その選択画像及び、選択された画像領域の位置情報が２次元ＤＦＴ部１０９ｂへ転送される。このとき、誤り検証画像と誤りなし画像が、ＲＧＢ画素を持つカラー画像である場合は、ＲＧＢの画素値から輝度値を算出しその輝度値を新たな画素値として２次元ＤＦＴ部１０９ｂへ転送しても良いものとする。
【００６６】
２次元ＤＦＴ部１０９ｂでは、画像領域選択部１０９ａにおいて領域選択された選択画像について、２次元ＤＦＴ演算を行う。この処理によって、誤り検証画像の２次元ＤＦＴ演算値が算出される。ここで、２次元ＤＦＴ部１０９ｂに転送された画像に、誤りなし画像が含まれている場合、誤り検証画像のＤＦＴ演算値に加え、誤りなし画像のＤＦＴ演算値が算出される。さらに、誤り検証画像と誤りなし画像のＤＦＴ演算値の差分の絶対値を取り、周波数特性測定部１０９より出力される最終的な周波数特性出力としてよい。位置合わせ処理が行なわれる前の画像を画像変換した画像や画像合成部によって重ね合わせられる前の画像等の誤りなし画像の周波数特性を利用することにより、合成画像の周波数特性中の、位置合わせ誤りによる周波数特性を際立たせ、高精度に位置合わせ処理の誤り判別を行うことができる。また、画像合成部によって重ね合わせられる前の画像と合成画像のサイズが同一であれば、簡便に、位置合わせ処理の誤り判別を行うことができる。なお、誤りなし画像が含まれていない場合は、誤り検出画像のＤＦＴ演算値が周波数特性出力となる。
【００６７】
図１０（ａ）に誤り検証画像の画像データ、図１０（ｂ）に誤りなし画像の画像データ、図１０（ｃ）に誤り検証画像と誤りなし画像のＤＦＴ演算値の差分の例を示す。ここで、誤り検証画像の画像データは、位置合わせ処理に誤りが生じているために、粒立った態様でアーチファクトが生じ、その結果それぞれのＤＦＴ演算値の差分のＤＦＴ演算値は、垂直方向周期３ピクセル、水平方向周期３ピクセルのところに特有のピーク値が現れている。なお、この例では、画像合成部１０７における拡大率は３倍であるため、３ピクセル周期のところに、特有のピークが生じる。画像が拡大されているため、拡大率がＦ倍であれば、画像の位置合わせ処理の誤りにより顕著に変化する周波数成分（周期成分）は、Ｆピクセル周期の成分となる。このため、誤り検証画像と誤りなし画像のＤＦＴ演算値の差分は、Ｆピクセル周期のところに特有のピークが生じることになる。
【００６８】
また、上記周波数特性測定部１０９においては、周波数特性測定手段として、２次元ＤＦＴ演算を用いているが、この処理以外に１次元ＤＦＴ演算処理を用いても良いものとする。
【００６９】
また、ＤＦＴ演算処理以外にも、上述した、特有のピークを検出できるバンドパスフィルタリング処理を用いても良い。この場合の周波数特性測定部１０９の構成図を図９（ｂ）に示す。図９（ｂ）は図９（ａ）と異なり、２次元ＤＦＴ部１０９ｂがフィルタリング部１０９ｂに置き換えられている。フィルタリング部１０９ｂでは、例えば、上述の画像合成部１０７における拡大率は３倍である場合、垂直方向周期３ピクセル、水平方向周期３ピクセルの周波数領域に属する画像成分を抽出するようなバンドパスフィルタリングを行う。その様な、バンドパスフィルタの例として、ウェーブレット変換係数の一部を抽出するバンドパスフィルタを用いても良い。図９（ａ）の場合と同様に、２次元ＤＦＴ部１０９ｂに転送された画像に、誤りなし画像が含まれている場合、誤り検証画像のフィルタリング結果に加え、誤りなし画像のフィルタリング結果が算出される。誤り検証画像と誤りなし画像のフィルタリング結果の差分の絶対値を取り、最終的な周波数特性測定部１０９より出力される周波数特性出力とする。誤りなし画像が含まれていない場合は誤り検出画像のフィルタリング結果が周波数特性出力となる。フィルタリング処理により周波数特性を測定することで、任意の周波数成分値をピンポイントで抽出することが可能となる。また、複数のフィルタ係数を用意しておくことで、汎用的なコンボリューション処理（畳み込み処理）により、周波数成分値を抽出可能となる。
【００７０】
また、周波数特性測定部からは、周波数特性測定部で周波数特性が測定された選択画像の画像領域の位置情報についても、位置合わせ誤り検出部１１０へと転送する。
【００７１】
上述の様に、周波数特性測定部１０９からの周波数特性出力および周波数特性が測定された選択画像の画像領域の位置情報は、位置合わせ誤り検出部１１０へと転送され、位置合わせ誤り検出部１１０において位置合わせ誤りの検出処理が行われる。
【００７２】
以下に、図１１を参照して、位置合わせ誤り検出部１１０における位置合わせ誤り検出処理について説明を行う。図１１のフローチャートはは、位置合わせ誤り検出処理のアルゴリズムを示す。
【００７３】
ステップＳ２１において、上記の周波数特性出力について、例えば画像合成部１０７における拡大率が３倍である場合は、周波数特性出力結果の、水平方向周期３ピクセル及び垂直方向周期３ピクセル付近の周波数特性についての周波数成分の抽出（つまり、周期成分の抽出）が行なわれる。上述のバンドパスフィルタリングにおける、周波数特性測定では、既に水平方向周期３ピクセル及び垂直方向周期３ピクセル付近の周波数特性についてのみ成分抽出を行なっている為、この処理は必要ない。ここでは、拡大率が３倍である場合をとっているが、拡大率は任意の場合をとっても良く、その拡大率に従って、周波数特性の成分抽出領域は異なる。例えば拡大率がＦ倍の場合、周期成分の抽出は、水平方向周期Ｆピクセル及び垂直方向周期Ｆピクセル付近の周波数特性について行なわれる。このように、位置合わせされる複数の画像の解像度と合成画像の解像度との関係（即ち、拡大率）から、位置合わせ処理の誤りにより変化する特定の周波数成分を抽出することにより、その周波数成分だけの影響を取り扱うことができるため、高精度かつ効率的に位置合わせ誤りの判別処理を行うことが可能となる。
【００７４】
ステップＳ２２において、次にステップＳ２１において抽出された成分量が、所定の閾値より大きいか否か判断される。抽出された周波数成分量が、所定の閾値より大きい場合には、ステップＳ２３において、位置合わせ部１０６における位置合わせ処理は、選択画像の属する位置に関して位置合わせの誤りがあるとみなせ、位置合わせが誤りであることを伝達する信号が位置合わせ部１０６へと転送される。抽出された成分量が、所定の閾値より小さい場合には、ステップＳ２４において、位置合わせ部１０６における位置合わせ処理は、選択画像の属する位置に関しては、位置合わせ処理が正しく行われているとみなされ、位置合わせ処理が正しいことを伝達する信号が位置合わせ部１０６へと転送される。
【００７５】
以上の様にして、周波数特性測定部１０９において選択された選択画像について、位置合わせ誤り検出処理が順次行われていく。
【００７６】
このようにして、位置合わせが誤りであるか、誤りでないかの伝達を位置合わせ誤り検出部１１０より受けた位置合わせ部は、位置合わせ処理を行なった画像合成の除外を行うか、また、再位置合わせ処理を行うかの選択を行うことができる。なお、位置合わせ部１０６、画像合成部１０７、画像変換部１０８を介した画像生成を画像の部分領域に分けて行なった場合、位置合わせ処理の誤りが生じた部分領域を位置合わせ処理から除外してよい。
【００７７】
例えば、位置合わせが誤りであると判定された場合において、位置合わせ処理を行なった画像合成の除外を行う場合、位置合わせ部１０６は、位置合わせ誤り検出部１１０より受けた位置合わせ処理の誤りを伝達する信号をさらに画像合成部１０７へ転送し、画像合成部１０７は合成画像保持部１０７ｂ内の保持された合成画像において、合成に用いられた参照画像の除外処理を行う。その結果合成画像に位置合わせ誤りが含まれない結果を得ることができる。参照画像が除外された領域は、再び未定義画素として定義される。
【００７８】
また、例えば、位置合わせが誤りであると判定された場合において、位置合わせ誤り検出部１１０において位置誤りであると判定された画像部分領域情報は、位置合わせ部１０６に転送され、その誤りと判定された画像の部分領域について、再び画像の位置合わせ処理を位置合わせ部１０６において行う。その結果合成画像に位置合わせ誤りが含まれない結果を得ることができる。また、位置合わせ誤り検出部１１０において位置誤りであると判定された画像領域情報は、画像合成部１０７に転送され、画像合成部１０７、画像変換部１０８、周波数特性測定部１０９、位置合わせ誤り検出部１１０において同様に、再度、画像合成処理、画像変換処理、周波数特性測定処理、位置合わせ誤り検出処理を行っても良い。また、この処理を何度繰り返しても良いものとする。
【００７９】
以上の様にして、順次位置合わせ部１０６において位置合わせ処理、位置合わせ誤り検出を行い、位置合わせ誤りがある参照画像を除外した状態で、画像変換部１０８において画像変換処理を行い、その画像変換処理結果が画像変換部１０８より画像記録部１１１に記録される。画像記録部１１１に記録された画像は、外部との入出力ンターフェースにより、外部機器との連携を行い、様々な情報資源（リソース）として利用できる。
【００８０】
上記実施形態では、メモリや論理回路等からなるハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０２からの複数のカラー映像信号を未処理のままのＲａｗデータ（生データ）として、制御部１１２からカラーフィルタや撮影時の露光条件や彩度補正処理に用いる関数の情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【００８１】
図１２は、上記の画像処理をコンピュータ上で動作するソフトウェア（プログラム）が行う場合のフローチャートを示す。ステップＳ３１にて、複数の画像とカラーフィルタ種別等のヘッダ情報を読み込む。ステップＳ３２にて、ステップＳ３１で入力された複数枚画像のうちの一枚を位置合わせ処理の基準として選択して基準画像とする。ステップＳ３３にて、基準画像及び基準画像以外の画像（その中のそれぞれの画像を参照画像と呼ぶ）の間において順次、位置合わせ処理を行う。ステップＳ３３における位置合わせ処理の詳細は、上述の位置合わせ部１０６における処理を、ソフトウェア処理上で実現したものとする。ステップＳ３４にて、Ｓ３３において位置合わせ処理が行われた、基準画像、参照画像及び画像間の位置合わせ量に基づき、画像合成処理が行われる。Ｓ３４における画像合成処理の詳細は、上述の画像合成部１０７における処理を、ソフトウェア処理上で実現したものとする。ステップＳ３５にて、Ｓ３４にて画像合成処理が行われた合成画像について、画像変換処理が行われる。Ｓ３５における画像変換処理の詳細は、上述の画像変換部１０８における処理を、ソフトウェア上で実現したものとする。ステップＳ３６にて、Ｓ３５にて画像変換処理が行われた画像について、周波数特性測定処理が行われる。Ｓ３６における周波数特性測定処理の詳細は、上述の周波数特性測定部１０９における処理を、ソフトウェア処理上での２次元ＤＦＴ演算処理等により実現したものとする。ステップＳ３７にて、Ｓ３６にて測定された画像の周波数特性を用いて、位置合わせ誤り検出処理を行う。Ｓ３７において、上述の位置合わせ誤り検出部１１０における周波数成分抽出処理と抽出した成分量の閾値との比較処理を、ソフトウェア処理上で実現したものとする。ステップＳ３８において、Ｓ３７における位置合わせ誤り検出結果を用いて、位置合わせ処理が正しく行なわれたかを判断する。位置合わせ処理が正しく行なわれなかった場合はＳ３９へすすむ。位置合わせ処理が正しく行なわれた場合はステップＳ４３へ進む。Ｓ３９において、位置合わせが正しく行なわれなかった画像領域において、その画像領域を除外するかどうかを判断する。画像領域の除外を行うと判断した場合は、ステップＳ４０へすすむ。画像領域の除外を行なわないと判断した場合は、ステップＳ４１へ進む。Ｓ４０において、画像領域の除外処理を行う。この除外処理では、Ｓ３４において画像合成処理を行った合成画像について、位置合わせ処理が正しく行なわれない画像領域について画像データの除外処理を行う。除外処理を行った後、Ｓ４３へ進む。Ｓ４１において、位置合わせ処理が正しく行なわれなかった画像領域において、再位置合わせを行うかどうかの判断を行う。再位置合わせを行う場合は、ステップＳ４２へ進む。再位置合わせ処理を行なわない場合は、Ｓ４３へ進む。Ｓ４２において、位置合わせ処理が正しく行われなかった画像領域について、再位置合わせ処理を行う。再位置合わせ処理の詳細は、Ｓ３３における画像間位置合わせ処理と同様の手法を用いる。再位置合わせ処理を行なった後、Ｓ４３へ進む。Ｓ４３において複数枚画像の全画像において、位置合わせ処理が行なわれたかを判断する。全画像において位置合わせ処理が行なわれた場合は、Ｓ４４へ進む。全画像において位置合わせ処理が行なわれていない場合は、Ｓ３２へ戻り、位置合わせの未だ行なわれていない基準画像及び参照画像を選択し、再び順次Ｓ３３以降の処理を行い位置合わせ処理、画像合成処理、画像変換処理、周波数特性測定処理、位置合わせ誤り検出処理を行う。Ｓ４４において、画像出力を行うかどうかを判別する。画像出力を行う場合は、ステップＳ４５に進み、Ｓ３５で画像変換処理がされた画像を最終的な出力結果として、画像出力を行う。画像出力を行なわない場合は、Ｓ３５で画像変換処理がされた画像をソフトウェア上のメモリ記憶部に保持したままソフトウェア処理を終了する。ソフトウェア上のメモリ記憶部に保持した画像は、後処理により、メモリ記憶部上から読み込み、利用することが可能である。以上の処理により、別途ソフトウェアにて処理する構成が実現できる。
【００８２】
次に、図１３を参照して、第二の実施形態について説明する。第二の実施形態において、第一の実施形態のレンズ系１００、ＣＦＡ１０１、ＣＣＤ１０２、増幅器１０３、Ａ/Ｄ１０４、バッファ１０５が、画像入力部２０１に置き換えられている。
【００８３】
画像入力部２０１は、画像入力部２０１は、外部からの画像データを入力する入力インターフェース等からなり、位置合わせ部２０２、画像記録部２０７、制御部２０８と接続されている。位置合わせ部２０２は、画像入力部２０１、画像合成部２０３、画像変換部２０４、制御部２０８と接続されている。画像合成部２０３は、位置合わせ部２０２、画像変換部２０４、制御部２０８と接続されている。画像変換部２０４は、位置合わせ部２０２、画像合成部２０３、周波数特性測定部２０５、画像記録部２０７、制御部２０８と接続されている。周波数特性測定部２０５は、画像変換部２０４、位置合わせ誤り検出部２０６、制御部２０８と接続されている。位置合わせ誤り検出部２０６は、位置合わせ部２０２、周波数特性測定部２０５、制御部２０８と接続されている。画像記録部２０７は、外部への画像リソース出力インターフェース、画像入力部２０１、画像変換部２０４、制御部２０８とそれぞれ接続されている。制御部２０８は、画像入力部２０１、位置合わせ部２０２、画像合成部２０３、画像変換部２０４、周波数特性測定部２０５、位置合わせ誤り検出部２０６、画像記録部２０７、外部Ｉ/Ｆ部２０９と接続されている。外部Ｉ/Ｆ部２０９は制御部２０８と接続されている。
【００８４】
図１３における画像信号の流れを説明する。外部入力インターフェースを介して画像入力された複数枚画像は、画像入力部２０１を介して位置合わせ部２０２へ順次入力される。ここで、外部入力インターフェースを介して画像入力された画像が単数枚の場合、または複数枚であっても、画像間で位置合わせが行なえる相関がない場合には、外部Ｉ/Ｆ部２０９、制御部２０８を介し、画像入力部２０１より画像記録部２０７へ画像転送を行い、入力部２０１より入力された画像を画像記録部２０７において画像を記録保持することができる。画像記録部２０７への記録保持を行なわない場合、画像データは順次、位置合わせ部２０２により位置合わせ処理が行われる。
【００８５】
その後、位置合わせ部２０２において位置合わせ処理がされた画像は、画像合成部２０３に転送され画像の合成処理が行われる。画像合成部２０３において画像合成された合成画像は、画像変換部２０４へ転送される。また、同時に位置合わせ部２０２に転送された画像データをそのままの形で画像変換部２０４へ転送しても良い。この転送処理を行うか行わないかは、外部Ｉ/Ｆ部２０９による設定処理により決定される。
【００８６】
画像変換部２０４において画像変換がなされた画像は、周波数特性測定部２０５へ転送が行われる。周波数特性測定部２０５において、画像変換部２０４において変換がなされた画像に対し、周波数特性値が測定され、その周波数特性値は、位置合わせ誤り検出部２０６へ転送される。位置合わせ誤り検出部２０６では、周波数特性測定部２０５より転送された周波数特性値に基づき、位置合わせ誤り判定が行われ、出力される位置合わせ誤り判定情報を位置合わせ部２０２へ転送する。位置合わせ部２０２は位置合わせ誤り検出部２０６から転送された位置合わせ誤り判定情報を元に、位置合わせ画像除外処理、再位置合わせ処理等を施し、順次位置合わせ処理を行っていく。位置合わせ処理、画像変換処理が終了した時点で、画像変換部２０４で画像変換された画像は、画像記録部２０７に転送され画像記録が行われる。画像記録部２０７に記録された、画像は外部出力インターフェースを介し、画像処理装置の外部の機器と相互接続を行い、画像情報資源として自由に利用できる。
【００８７】
位置合わせ部２０２の位置合わせ処理については、第一の実施形態の位置合わせ部１０６と同様の処理を行うものとする。画像合成部２０３における画像合成処理については、第１の実施形態の画像合成部１０７と同様の処理を行うものとする。画像変換部２０４における画像変換処理については、第１の実施形態の画像変換部108と同様の処理を行うものとする。周波数特性測定部２０５における周波数特性測定処理については、第１の実施形態の周波数特性測定部１０９と同様の処理を行うものとする。位置合わせ誤り検出部２０６における位置合わせ誤り検出処理については、第１の実施形態の位置合わせ誤り検出部１１０と同様の処理を行うものとする。
【００８８】
さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、入力される画像をRawデータとし、撮影時のカラーフィルタの配置情報などをヘッダ情報として出力しておけば、別途ソフトウェアにて処理する構成も可能である。この場合の信号処理のソフトウェア処理は、第一の実施形態と同様に、図１２のフローチャートに示される処理であってよい。
【００８９】
以上のように、本発明では、複数枚画像間の位置合わせ処理を行う時に、位置合わせ処理により推定された画像間変位の推定量に応じて、あらかじめ画像間の合成を行い、位置合わせ処理に誤りが生じた場合にその画像合成結果に生じる特有のアーチファクトを検出し、そのアーチファクトの有無により、複数枚画像間の位置合わせ誤り検出を行う。従って、本発明によれば、画像にエイリアシングが乗っている場合でも、そのエイリアシングの影響による位置合わせ誤りに関する誤判断を防ぎ、安定して位置合わせ誤りを検出することができる。また、画像の解像度を上げた状態において位置合わせ処理の誤りを検出できる。
【００９０】
本発明は上記の実施の形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【図面の簡単な説明】
【００９１】
【図１】第一実施形態に係る画像処理装置を示す構成図である。
【図２】ベイヤー型原色フィルタを示す図である。
【図３】位置合わせ部（位置合わせ手段）の構成図である。
【図４】画像位置合わせ処理を示すフローチャートである。
【図５】パラボラフッティングによる画像変位量の推定を示す図である。
【図６】画像合成部（画像合成手段）の構成図である。
【図７】（ａ）画像合成処理が行われる基準画像及び参照画像である。（ｂ）基準画像及び参照画像を位置合わせ処理をした様子を示す図である。（ｃ）参照画像の画素を、最も近い合成画像の画素単位に適合させた図である。
【図８】超解像処理（超解像処理手段）を示すフローチャートである。
【図９】（ａ）周波数特性測定部（周波数特性測定手段）の構成図である。（ｂ）周波数特性測定部の他の構成図である。
【図１０】（ａ）誤り検証画像を示す図である。（ｂ）誤りなし画像を示す図である。（ｃ）誤り検証画像と誤りなし画像のＤＦＴ演算値の差分を示す図である。
【図１１】位置合わせ誤り検出処理（位置合わせ誤り検出手段）を示すフローチャートである。
【図１２】ソフトウェアが実行する画像処理を示すフローチャートである。
【図１３】第二の実施形態に係る画像処理装置を示す構成図である。
【符号の説明】
【００９２】
１００  レンズ系
１０１  カラーフィルタアレイ（ＣＦＡ）
１０２  電荷結合素子（ＣＣＤ）
１０３  増幅器（Ｇａｉｎ）
１０４  Ａ-Ｄ変換器（Ａ/Ｄ）
１０５  バッファ
１０６  位置合わせ部（位置合わせ手段）
１０７  画像合成部（画像合成手段）
１０８  画像変換部（画像変換手段）
１０９  周波数特性測定部（周波数特性測定手段）
１１０  位置合わせ誤り検出部（位置合わせ誤り検出手段）
１１１  画像記録部（画像記録手段）
１１２  制御部（制御手段）
１１３  外部ユーザインターフェース部（外部Ｉ／Ｆ部）
【図１】
2008293185.tif 000006
【図２】
2008293185.tif 000007
【図３】
2008293185.tif 000008
【図４】
2008293185.tif 000009
【図５】
2008293185.tif 000010
【図６】
2008293185.tif 000011
【図７】
2008293185.tif 000012
【図８】
2008293185.tif 000013
【図９】
2008293185.tif 000014
【図１０】
2008293185.tif 000015
【図１１】
2008293185.tif 000016
【図１２】
2008293185.tif 000017
【図１３】
2008293185.tif 000018