(57)【要約】【課題】高解像度化処理に利用する画像の枚数を、画質に影響のない範囲で削減する【解決手段】互いに異なる低解像度画像間の動き量に基づいて低解像度画像Ｆ1〜Ｆ4間の位置ずれを補正し、位置ずれ補正後の低解像度画像Ｆ1〜Ｆ4の画素を共通座標系上に配置して考える。画像Ｆ1を基準画像に設定すると共に画像Ｆ2〜Ｆ4の夫々を非基準画像に設定する。基準画像Ｆ1の注目画素位置４０１ａと、２枚の非基準画像Ｆ2及びＦ4の注目画素位置４０２ａ及び４０４ａとを結んで形成される三角形の中に、残りの非基準画像Ｆ3の注目画素位置４０３ａが内包されるとき、画像Ｆ1〜Ｆ4から画像Ｆ3を除外して、３枚の画像Ｆ1、Ｆ2及びＦ4を高解像度処理部（超解像処理部）に出力する。【選択図】図８
2010068100.tif 000002
【特許請求の範囲】
【請求項１】
１枚の基準画像と（ｎ−１）枚の非基準画像とから成るｎ枚の低解像度画像を受ける画像入力部と（ｎは４以上の整数）、
前記ｎ枚の低解像度画像に含まれる互いに異なる低解像度画像間の動き量を検出する動き量検出部と、
前記動き量検出部による検出動き量に基づいて特定条件を満たす非基準画像の存否を判定し、前記特定条件を満たす非基準画像が存在する場合、前記ｎ枚の低解像度画像に基づくｍ枚の低解像度画像を生成する画像枚数削減部（ｍはｎ未満且つ２以上の整数）と、
前記動き量検出部による検出動き量及び前記ｍ枚の低解像度画像に基づいて、前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度処理部と、を備え、
前記（ｎ−１）枚の非基準画像は、第１〜第（ｎ−１）の非基準画像から成り、
前記動き量検出部による検出動き量に基づき前記ｎ枚の低解像度画像を共通座標系に配置して考えた場合、第ｉの非基準画像上の注目画素位置は、前記第ｉの非基準画像上の画素位置群の内の、前記基準画像上の注目画素位置の最近傍に配置される画素位置であり（ｉは１以上（ｎ−１）以下の整数）、
前記画像枚数削減部は、前記基準画像上の注目画素位置と２枚以上の非基準画像上の注目画素位置とを結んで形成される多角形の中に、他の非基準画像上の注目画素位置が内包されるか否かを判断することによって前記特定条件を満たす非基準画像の存否を判定する
ことを特徴とする画像処理装置。
【請求項２】
前記他の非基準画像を目標非基準画像と呼び、
前記画像枚数削減部は、前記多角形の中に前記目標非基準画像上の注目画素位置が内包される場合、前記ｎ枚の低解像度画像から前記目標非基準画像を削除することによって、前記ｍ枚の低解像度画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記多角形を形成する前記２枚以上の非基準画像の夫々を参照非基準画像と呼ぶと共に前記他の非基準画像を目標非基準画像と呼び、
前記画像枚数削減部は、前記多角形の中に前記目標非基準画像上の注目画素位置が内包される場合において、前記目標非基準画像上の注目画素位置と特定の参照非基準画像上の注目画素位置との距離が所定距離以下であるとき、前記目標非基準画像と前記特定の参照非基準画像とを合成することによって１枚の合成画像を生成し、前記基準画像と前記特定の参照非基準画像以外の参照非基準画像と前記合成画像とによって前記ｍ枚の低解像度画像を形成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記他の非基準画像を目標非基準画像と呼び、
前記画像枚数削減部は、前記多角形の中に前記目標非基準画像上の注目画素位置が内包される場合において、前記目標非基準画像上の注目画素位置と前記基準画像上の注目画素位置との距離が所定距離以下であるとき、前記目標非基準画像と前記基準画像とを合成することによって１枚の合成画像を生成し、前記合成画像と前記目標非基準画像以外の非基準画像とによって前記ｍ枚の低解像度画像を形成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記多角形を形成する前記２枚以上の非基準画像の夫々を参照非基準画像と呼ぶと共に前記他の非基準画像を目標非基準画像と呼び、
前記画像枚数削減部は、前記多角形の中に前記目標非基準画像上の注目画素位置が内包される場合において、
前記目標非基準画像上の注目画素位置と特定の参照非基準画像上の注目画素位置との距離が所定距離以下であるときは、前記ｎ枚の低解像度画像から前記目標非基準画像又は前記特定の参照非基準画像を削除することによって、
前記目標非基準画像上の注目画素位置と前記基準画像上の注目画素位置との距離が所定距離以下であるときは、前記ｎ枚の低解像度画像から前記目標非基準画像又は前記基準画像を削除することによって、
前記ｍ枚の低解像度画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
画像処理装置を備え、
ｎ枚の画像を撮影によって又は外部からの入力によって取得して、前記ｎ枚の画像の画像信号を前記画像処理装置に与える電子機器であって、
前記画像処理装置として請求項１〜請求項５の何れかに記載の画像処理装置を用い、
前記画像処理装置は、前記ｎ枚の画像を前記ｎ枚の低解像度画像として受ける
ことを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対して画像処理を施す画像処理装置に関する。また、本発明は、画像処理装置を有する電子機器に関する。
【背景技術】
【０００２】
複数の低解像度画像から１枚の高解像度画像を生成する高解像度化処理（超解像処理）が提案されている。超解像処理の中で、繰り返し演算（反復演算）を利用した再構成型の超解像処理が代表的な処理として知られている。繰り返し演算を利用した再構成型の超解像処理方法は、超解像処理方法の中で現在最も有効な方法であるが、多くの反復演算を必要とする最適化計算方法であるため、処理に比較的多くの時間がかかる。
【０００３】
処理時間を削減するための方法として、超解像処理に利用する画像の枚数を削減する方法がある。超解像処理に利用する画像の枚数が削減されれば、超解像処理の演算負荷が減少し、処理時間が削減されるからである。この方法では、画像処理装置にｎ枚の低解像度画像が入力された時、そのｎ枚の低解像度画像の内の一部を削除し、ｍ枚の低解像度画像を超解像処理の対象とする（ｎ＞ｍ）。
【０００４】
例えば、下記特許文献１に係る画像処理装置では、時系列に並ぶ複数の画像の中から基準画像を設定する一方で、その複数の画像の撮影時の状況（ＩＳＯ感度や露出時間）を表す画像情報を取得し、撮影時の状況が基準画像のそれと類似していない非基準画像を高解像度化処理の対象から除外している。
【０００５】
【特許文献１】特開２００６−３３２３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１の方法によれば、高解像度化処理に適していないことを撮影時の状況から判断されうる画像のみが、高解像度化処理の対象から除外される。しかしながら、撮影時の状況だけでは判断できない、他の除外可能な画像も存在し、それをも除外することができたならば、画像枚数削減効果は高まる。但し、高解像度化処理に利用する画像枚数をむやみに削減すれば、生成される高解像度画像の画質に無視できない影響が生じるため、そのような影響が生じないように配慮する必要がある。
【０００７】
そこで本発明は、生成されるべき高解像度画像の画質への影響を抑制しつつ、高解像度画像の生成処理に利用する低解像度画像の枚数を削減することが可能な画像処理装置及び電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、１枚の基準画像と（ｎ−１）枚の非基準画像とから成るｎ枚の低解像度画像を受ける画像入力部と（ｎは４以上の整数）、前記ｎ枚の低解像度画像に含まれる互いに異なる低解像度画像間の動き量を検出する動き量検出部と、前記動き量検出部による検出動き量に基づいて特定条件を満たす非基準画像の存否を判定し、前記特定条件を満たす非基準画像が存在する場合、前記ｎ枚の低解像度画像に基づくｍ枚の低解像度画像を生成する画像枚数削減部（ｍはｎ未満且つ２以上の整数）と、前記動き量検出部による検出動き量及び前記ｍ枚の低解像度画像に基づいて、前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度処理部と、を備え、前記（ｎ−１）枚の非基準画像は、第１〜第（ｎ−１）の非基準画像から成り、前記動き量検出部による検出動き量に基づき前記ｎ枚の低解像度画像を共通座標系に配置して考えた場合、第ｉの非基準画像上の注目画素位置は、前記第ｉの非基準画像上の画素位置群の内の、前記基準画像上の注目画素位置の最近傍に配置される画素位置であり（ｉは１以上（ｎ−１）以下の整数）、前記画像枚数削減部は、前記基準画像上の注目画素位置と２枚以上の非基準画像上の注目画素位置とを結んで形成される多角形の中に、他の非基準画像上の注目画素位置が内包されるか否かを判断することによって前記特定条件を満たす非基準画像の存否を判定することを特徴とする。
【０００９】
前記多角形に注目画素位置が内包されるような非基準画像が存在する場合、例えば、その非基準画像を除外することによって、或いは、その非基準画像と他の画像を合成することによって、高解像度化処理に利用する画像枚数を削減することが可能である。一方で、その削減による高解像度画像への画質への影響は軽微である。高解像度化処理に利用する画像枚数の削減は、処理負荷の軽減及び高解像度画像の取得速度の高速化に寄与する。
【００１０】
具体的には例えば、前記他の非基準画像を目標非基準画像と呼び、前記画像枚数削減部は、前記多角形の中に前記目標非基準画像上の注目画素位置が内包される場合、前記ｎ枚の低解像度画像から前記目標非基準画像を削除することによって、前記ｍ枚の低解像度画像を生成する。
【００１１】
或いは例えば、前記多角形を形成する前記２枚以上の非基準画像の夫々を参照非基準画像と呼ぶと共に前記他の非基準画像を目標非基準画像と呼び、前記画像枚数削減部は、前記多角形の中に前記目標非基準画像上の注目画素位置が内包される場合において、前記目標非基準画像上の注目画素位置と特定の参照非基準画像上の注目画素位置との距離が所定距離以下であるとき、前記目標非基準画像と前記特定の参照非基準画像とを合成することによって１枚の合成画像を生成し、前記基準画像と前記特定の参照非基準画像以外の参照非基準画像と前記合成画像とによって前記ｍ枚の低解像度画像を形成する。
【００１２】
更に或いは例えば、前記他の非基準画像を目標非基準画像と呼び、前記画像枚数削減部は、前記多角形の中に前記目標非基準画像上の注目画素位置が内包される場合において、前記目標非基準画像上の注目画素位置と前記基準画像上の注目画素位置との距離が所定距離以下であるとき、前記目標非基準画像と前記基準画像とを合成することによって１枚の合成画像を生成し、前記合成画像と前記目標非基準画像以外の非基準画像とによって前記ｍ枚の低解像度画像を形成する。
【００１３】
更に或いは例えば、前記多角形を形成する前記２枚以上の非基準画像の夫々を参照非基準画像と呼ぶと共に前記他の非基準画像を目標非基準画像と呼び、前記画像枚数削減部は、前記多角形の中に前記目標非基準画像上の注目画素位置が内包される場合において、前記目標非基準画像上の注目画素位置と特定の参照非基準画像上の注目画素位置との距離が所定距離以下であるときは、前記ｎ枚の低解像度画像から前記目標非基準画像又は前記特定の参照非基準画像を削除することによって、前記目標非基準画像上の注目画素位置と前記基準画像上の注目画素位置との距離が所定距離以下であるときは、前記ｎ枚の低解像度画像から前記目標非基準画像又は前記基準画像を削除することによって、前記ｍ枚の低解像度画像を生成する。
【００１４】
本発明に係る他の画像処理装置は、１枚の基準画像と（ｎ−１）枚の非基準画像とから成るｎ枚の低解像度画像を受ける画像入力部と（ｎは３以上の整数）、前記ｎ枚の低解像度画像に含まれる互いに異なる低解像度画像間の動き量を検出する動き量検出部と、前記動き量検出部による検出動き量に応じて前記画像入力部が受けた低解像度画像の枚数を削減する削減処理を実行し、削除処理の実行後に得られる複数の低解像度画像を出力する画像枚数削減部と、前記動き量検出部による検出動き量及び前記画像枚数削減部から出力される前記複数の低解像度画像に基づいて、前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度処理部と、を備え、前記（ｎ−１）枚の非基準画像は、第１〜第（ｎ−１）の非基準画像から成り、前記動き量検出部による検出動き量に基づき前記ｎ枚の低解像度画像を共通座標系に配置して考えた場合、第ｉの非基準画像上の注目画素位置は、前記第ｉの非基準画像上の画素位置群の内の、前記基準画像上の注目画素位置の最近傍に配置される画素位置であり（ｉは１以上（ｎ−１）以下の整数）、前記画像枚数削減部は、第ｉAの非基準画像上の注目画素位置と第ｉBの非基準画像上の注目画素位置との距離を評価し、その距離が所定距離以下であるとき、第ｉA又は第ｉBの非基準画像を前記ｎ枚の低解像度画像から削除することによって前記削減処理を実現する（ｉA及びｉBは１以上（ｎ−１）以下の整数であってｉA≠ｉB）ことを特徴とする。
【００１５】
本発明に係る電子機器は、前記画像処理装置を備え、ｎ枚の画像を撮影によって又は外部からの入力によって取得して、前記ｎ枚の画像の画像信号を前記画像処理装置に与える電子機器である。前記画像処理装置は、前記ｎ枚の画像を前記ｎ枚の低解像度画像として受ける。
【発明の効果】
【００１６】
本発明によれば、生成されるべき高解像度画像の画質への影響を抑制しつつ、高解像度画像の生成処理に利用する低解像度画像の枚数を削減することが可能な画像処理装置及び電子機器を提供することができる。
【００１７】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第６実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００１９】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画像及び静止画像を撮影可能となっていると共に、動画像撮影中に静止画像を同時に撮影することも可能となっている。
【００２０】
［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＤＲＡＭ（Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、ＶＲＡＭ（Video Random Access Memory）２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。
【００２１】
ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。
【００２２】
撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。被写体からの入射光は、光学系及び絞りを介して、撮像素子３３に入射する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。
【００２３】
撮像素子３３は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３は、光学系及び絞りを介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素（図１において不図示）を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。
【００２４】
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施し、画像処理後の画像についての映像信号を生成する。映像信号は、通常、画像の輝度を表す輝度信号Ｙと、画像の色を表す色差信号Ｕ及びＶと、から構成される。
【００２５】
マイク１４は撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００２６】
圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画像または静止画像の撮影及び記録時において、圧縮された映像信号は外部メモリ１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画像撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に記録される。
【００２７】
録画ボタン２６ａは、動画像の撮影及び記録の開始／終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、静止画像の撮影及び記録を指示するための押しボタンスイッチである。
【００２８】
撮像装置１の動作モードには、動画像及び静止画像の撮影が可能な撮影モードと、外部メモリ１８に格納された動画像及び静止画像を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００２９】
撮影モードでは、所定のフレーム周期にて順次撮影が行われ、撮像素子３３から撮影画像列が取得される。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。また、画像を表すデータを画像データと呼ぶ。画像データも、映像信号の一種と考えることができる。１つのフレーム周期分の画像データによって１枚分の画像が表現される。１つのフレーム周期分の画像データによって表現される１枚分の画像を、フレーム画像とも呼ぶ。
【００３０】
撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後に得られる映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介して外部メモリ１８に記録される。動画像撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、映像信号及び音声信号の外部メモリ１８への記録は終了し、１つの動画像の撮影は完了する。また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画像の撮影及び記録が行われる。
【００３１】
再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、外部メモリ１８に記録された動画像又は静止画像を表す圧縮された映像信号は、伸張処理部１９にて伸張されＶＲＡＭ２０に書き込まれる。尚、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６ｂに対する操作内容に関係なく、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号はＶＲＡＭ２０に書き込まれる。
【００３２】
表示部２７は、液晶ディスプレイなどの表示装置であり、ＶＲＡＭ２０に書き込まれている映像信号に応じた画像を表示する。また、再生モードにおいて動画像を再生する際、外部メモリ１８に記録された動画像に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。
【００３３】
映像信号処理部１３は、ＣＰＵ２３と協働しつつ、超解像処理を実施することが可能に形成されている。超解像処理によって、複数の低解像度画像から１枚の高解像度画像が生成される。この高解像度画像の映像信号を、圧縮処理部１６を介して外部メモリ１８に記録することができる。高解像度画像の解像度は、低解像度画像のそれよりも高く、高解像度画像の水平方向及び垂直方向の画素数は、低解像度画像のそれよりも多い。例えば、静止画の撮影指示がなされた時に、複数の低解像度画像としての複数のフレーム画像を取得し、それらに対して超解像処理を実施することにより高解像度画像を生成する。或いは例えば、動画撮影時に得られた複数の低解像度画像としての複数のフレーム画像に対して、超解像処理は実施される。
【００３４】
［超解像処理の基本概念］
超解像処理の基本概念について簡単に説明する。超解像処理の方式の一種として再構成型と呼ばれる方式が存在する。一方で、超解像処理を繰り返し演算（繰り返し型の計算アルゴリズム）にて実現する方式が存在し、この繰り返し演算を再構成型の超解像処理に適用することもできる。本実施形態では、繰り返し演算にて実現できる超解像処理の一種である、繰り返し演算を利用したＭＡＰ（Maximum A Posterior）法に基づく再構成型の超解像処理を主たる例にとる。
【００３５】
図２に、繰り返し演算を利用したＭＡＰ法に基づく再構成型の超解像処理の概念図を示す。この超解像処理では、実際の撮影によって得られた複数の低解像度画像から１枚の高解像度画像を推定し、この推定した高解像度画像を劣化させることによって元の複数の低解像度画像を推定する。実際の撮影によって得られた低解像度画像を特に「実低解像度画像」と呼び、推定された低解像度画像を特に「推定低解像度画像」と呼ぶ。その後、実低解像度画像と推定低解像度画像との誤差が最小化されるように、高解像度画像と低解像度画像を反復推定し、最終的に取得される高解像度画像を出力する。
【００３６】
尚、後述の説明からも明らかとなるが、複数の実低解像度画像を合成することによって１枚の低解像度画像が生成されることもある。この合成によって得られる低解像度画像は、厳密には、実際の撮影によって得られた低解像度画像とは言えないが、以下の説明では、合成によって得られる低解像度画像も、実低解像度画像と呼ぶことがある。
【００３７】
図３に、図２に対応する超解像処理の流れをフローチャートにて表す。まず、ステップＳ１１にて、実低解像度画像から初期高解像度画像を生成する。続くステップＳ１２にて、現時点の高解像度画像を構築する元の実低解像度画像を推定する。推定された画像を、上述したように推定低解像度画像と呼ぶ。続くステップＳ１３では、実低解像度画像と推定低解像度画像との差分（差分画像）に基づいて現時点の高解像度画像に対する更新量を導出する。この更新量は、ステップＳ１２〜Ｓ１４の各処理の反復実行によって実低解像度画像と推定低解像度画像との誤差が最小化されるように導出される。そして、続くステップＳ１４にて、その更新量を用いて現時点の高解像度画像を更新し、新たな高解像度画像を生成する。この後、ステップＳ１２に戻り、新たに生成された高解像度画像を現時点の高解像度画像と捉えて、ステップＳ１２〜Ｓ１４の各処理が反復実行される。基本的に、ステップＳ１２〜Ｓ１４の各処理の反復回数が増大するほど、得られる高解像度画像の解像度が実質的に向上し（解像力が向上し）、理想に近い高解像度画像が得られる。
【００３８】
上述した動作の流れを基本とする超解像処理が、撮像装置１内にて実施される。ＭＡＰ法に基づく超解像処理以外に、ＭＬ（Maximum-Likelihood）法、ＰＯＣＳ（Projection Onto Convex Set）法、または、ＩＢＰ（Iterative Back Projection）法に基づく超解像処理を利用することも可能である。
【００３９】
ＭＡＰ法に代表される再構成型の超解像処理では、初期高解像度画像を生成した後、更新量の算出及び該更新量による高解像度画像の更新を含む演算処理（超解像演算処理）が反復実行されるが、この演算処理の反復実行は必須ではない。即ち、複数の低解像度画像から初期高解像度画像を生成し、この初期高解像度画像を、更新することなく、最終的に得られるべき高解像度画像として取り扱うようにしてもよい。
【００４０】
［画像枚数削減処理］
上述のような演算処理の反復実行には、比較的多くの処理時間がかかる。これを考慮し、本発明の実施形態では、超解像処理に利用される低解像度画像の枚数をなるだけ削減する。この削減をむやみに行うと、超解像処理によって生成される高解像度画像の画質が低下する。従って、削減による高解像度画像の画質への影響が無視できるような低解像度画像が存在する場合にのみ、削減処理を行う。このような、超解像処理に利用される低解像度画像の枚数を削減するための処理を、以下「画像枚数削減処理」と呼ぶ。画像枚数削減処理により、高解像度画像の画質に影響を与えることなく、超解像処理の演算負荷が軽減され、結果、高解像度画像の取得速度の高速化が図られる。
【００４１】
画像枚数削減処理の基本指針を説明する。この基本指針の説明では、説明の簡略化上、各画像が１次元の画像であるものとし、且つ、互いに異なる時刻の撮影によって得られた３枚の実低解像度画像の内の１枚が削減される場合を想定する。この場合、削減されなかった残りの２枚の実低解像度画像を用いた超解像処理によって高解像度画像が生成される。３枚の実低解像度画像が第１〜第３の実低解像度画像から形成されるものとし、また、高解像度画像は低解像度画像の２倍の解像度を有しているものとする。
【００４２】
第１〜第３の実低解像度画像の撮影間において撮像装置１が手ぶれ等によって動いたことを想定する。第１〜第３の実低解像度画像の撮影間において被写体が静止していたとすれば、第２及び第３の実低解像度画像の夫々は、第１の実低解像度画像を位置ずれさせた画像とみなすことができる。第１の実低解像度画像を基準とした、第２及び第３の実低解像度画像の位置ずれ量を、夫々、Ｄ12及びＤ13にて表す。
【００４３】
図４は、第１〜第３の実低解像度画像上の画素を、共通座標系に配置して示した図である。但し、この共通座標系への配置の際、位置ずれ量Ｄ12及びＤ13に相当する分だけ、第１の実低解像度画像の画素を基準として、第２及び第３の実低解像度画像の画素をずらして配置する。図４において、黒三角、黒四角、黒丸は、夫々、共通座標系上における第１〜３の実低解像度画像の画素（及び画素位置）を示している。画素が配置される位置を、画素位置と呼ぶ。図４には、第１の低解像度画像の画素位置を基準に配置された、高解像度画像の画素も白丸にて示されている。また、低解像度画像の隣接画素間隔をｐｐLにて表す。今、高解像度画像が低解像度画像の２倍の解像度を有していることを想定しているため、高解像度画像の隣接画素間隔はｐｐL／２である。
【００４４】
図４の曲線３０１は、第１の実低解像度画像の撮影時における撮像素子３３の撮像面上のアナログ輝度信号を表している。このアナログ輝度信号は、撮像装置１の被写体の輝度分布に応じた信号である。撮像素子３３がこのアナログ輝度信号３０１をサンプリング間隔ｐｐLにてサンプリングすることによって、実低解像度画像の各画素の輝度値が得られる。
【００４５】
高解像度画像の画素位置が第１の実低解像度画像の画素位置を基準にして定められている場合、第１の実低解像度画像上の隣接画素３１１及び３１２の画素位置と同じ画素位置に、高解像度画像上の２つの画素３２１及び３２２が配置され、その画素３２１及び３２２の中間に、補間画素とも言うべき高解像度画像の画素３２３が更に配置される。画素３２１及び３２２の輝度値は画素３１１及び３１２の輝度値から生成することができるが、画素３１１及び３１２の輝度値だけでは画素３２３の輝度値を理想値（画素３２３の位置における実際の被写体の輝度値）に近づけることは困難である。そこで、画素３２３の輝度値の生成に、第２又は第３の実低解像度画像を利用する。この際、図４に示す如く、Ｄ12＜Ｄ13≒ｐｐL／２であれば、第２の実低解像度画像の輝度値よりも、第３の実低解像度画像の輝度値の方が、より理想値に近い値を有している。
【００４６】
従って、この場合は、第２の実低解像度画像を削減し、第１及び第３の実低解像度画像を用いて超解像処理を行うようにする。第２の実低解像度画像を削減しても、第３の実低解像度画像の輝度値を参照することによって理想値（実際の被写体の輝度値）に近い補間画素の画素値を取得することができるため、削減による高解像度画像の画質への影響は軽微である。
【００４７】
上述のような基本指針に基づいて画像枚数削減処理は実行される。以下、画像枚数削減処理の具体的実現方法、超解像処理の内容、及び／又は、それらに関連する技術的事項を、第１〜第６実施例にて説明する。矛盾が生じない限り、或る実施例にて述べた事項を他の実施例に適用することも可能である。特に、第１実施例内で説明した事項は、矛盾が生じない限り、第１実施例以外の各実施例に適用される。
【００４８】
以下の説明では、特に記述しない限り、撮影によって得られたフレーム画像が実低解像度画像として取り扱われ、低解像度画像及び高解像度画像に代表される任意の画像は、水平及び垂直方向の夫々に複数の画素がマトリクス状に配列された二次元画像であるとする。また、時刻ｔkの撮影によって得られた実低解像度画像（フレーム画像）をＦkにて表す。ここで、ｋは自然数である。時刻ｔkと時刻ｔk+1との間の時間長さは、例えば、フレーム周期に相当する。また、時刻ｔkについてのフレームを特に第ｋフレームと呼ぶ。
【００４９】
また、本明細書では、記述の簡略化上、記号を用いることによって、その記号に対応する名称を略記又は省略することがある。例えば、本明細書において、実低解像度画像Ｆ1を単に「画像Ｆ1」又は「Ｆ1」と表現することもあるが、前者と後者は同じものを指す。
【００５０】
＜＜第１実施例＞＞
本発明の第１実施例を説明する。図５は、撮像装置１内の、超解像処理に関与する部位のブロック図を示している。図５の映像信号処理部１３は、符号４１〜４９にて参照される各部位を含む。
【００５１】
フレームメモリ４１は、ＡＦＥ１２からのデジタル信号によって表される、１フレーム分の実低解像度画像の画像データを一時的に記憶する。フレームメモリ４２は、フレームメモリ４１に記憶された１フレーム分の実低解像度画像の画像データを一時的に記憶する。フレームメモリ４３は、フレームメモリ４２に記憶された１フレーム分の実低解像度画像の画像データを一時的に記憶する。フレームメモリ４４は、フレームメモリ４３に記憶された１フレーム分の実低解像度画像の画像データを一時的に記憶する。フレームメモリ４１の記憶内容は、１フレームが経過する毎に、順次、フレームメモリ４２、４３及び４４に転送される。これにより、第４フレームの終了時点においては、フレームメモリ４４、４３、４２及び４１に、夫々、実低解像度画像Ｆ1、Ｆ2、Ｆ3及びＦ4の画像データが記録される。
【００５２】
動き量算出部４５には、ＡＦＥ１２より現フレームの実低解像度画像の画像データと、フレームメモリ４１より前回フレームの実低解像度画像の画像データとが与えられる。動き量算出部４５は、与えられた両画像データを比較することにより、与えられた２枚の実低解像度画像間の位置ずれ量を表す動き量を算出する。この動き量は、水平成分及び垂直成分を含む二次元量であり、所謂動きベクトルとして表現される。現フレームが第２、第３、第４フレームと変化していくことにより、図６に示す如く、動き算出部４５では、画像Ｆ1及びＦ2間についての動き量ＭＶ12と、画像Ｆ2及びＦ3間についての動き量ＭＶ23と、画像Ｆ3及びＦ4間についての動き量ＭＶ34と、が求められる。求められた各動き量は、動き量記憶部４６に記憶される。また、動き量ＭＶ12、ＭＶ23及びＭＶ34から、画像Ｆ1及びＦ3間についての動き量ＭＶ13、画像Ｆ2及びＦ4間についての動き量ＭＶ24及び画像Ｆ1及びＦ4間についての動き量ＭＶ14も算出され、これらも動き量記憶部４６に記憶される。
【００５３】
動き量算出部４５は、代表点マッチング法やブロックマッチング法、勾配法などを用いて、２枚の実低解像度画像間の動き量を算出する。ここで算出される動き量は、実低解像度画像の画素間隔よりも分解能の高い、所謂サブピクセルの分解能を有している。つまり、実低解像度画像内の、水平又は垂直方向に隣接する２つの画素の間隔ｐｐLよりも短い距離を最小単位として動き量が算出される。サブピクセルの分解能を有する位置ずれ量の算出方法として、公知の算出方法を用いることができる。例えば、特開平１１-３４５３１５号公報に記載された方法や、“奥富，「ディジタル画像処理」，第二版，ＣＧ−ＡＲＴＳ協会，２００７年３月１日発行”に記載された方法（ｐ．２０５参照）を用いればよい。
【００５４】
画像枚数削減部４７には、フレームメモリ４１〜４４を含むメモリ４０から、ｎ枚の実低解像度画像の画像データが与えられる。映像信号処理部１３に内在する基準画像設定部（不図示）は、画像枚数削減部４７に与えられるｎ枚の実低解像度画像の内、１枚の実低解像度画像を基準画像に設定すると共に残りの（ｎ−１）枚の実低解像度画像の夫々を非基準画像に設定する。その上で、画像枚数削減部４７は、動き量記憶部４６に記憶された各動き量に基づいて、（ｎ−１）枚の非基準画像の中に所定の削減条件を満たす非基準画像が存在するか否かを判定し、削減条件を満たす非基準画像が存在すると判断した場合は、メモリ４０から与えられるｎ枚の実低解像度画像よりｍ枚の実低解像度画像を生成して、そのｍ枚の実低解像度画像の画像データを超解像処理部４８に出力する。一方、削減条件を満たす非基準画像が存在しないと判断した場合は、メモリ４０から与えられるｎ枚の実低解像度画像の画像データを、そのまま超解像処理部４８に出力する。
【００５５】
図５に示す例の場合、ｎ＝４であるが、ｎは４以上の任意の整数とされる。ｎ≠４の場合、メモリ４０を形成するフレームメモリの個数を、適宜、図５に示すものから変形すればよい。ｍは、不等式「ｎ＞ｍ」を満たす、３以上の任意の整数である。ｎ枚の実低解像度画像からｍ枚の実低解像度画像を生成する処理は後述される。
【００５６】
基準画像の設定方法として任意の方法を採用することができる。例えば、ｎ枚の実低解像度画像の内、最も遅い時刻に取得された実低解像度画像（即ち、ｎ＝４の場合は、画像Ｆ4）、又は、最も早い時刻に取得された実低解像度画像（即ち、ｎ＝４の場合は、画像Ｆ1）が、基準画像として設定される。勿論、それら以外の実低解像度画像（即ち、ｎ＝４の場合は、画像Ｆ2又はＦ3）を基準画像に設定することも可能である。ｎ枚の実低解像度画像の内、何れの実低解像度画像を基準画像に設定するのかを、予め定めておくことができる。以下の説明では、画像Ｆ1〜Ｆ4を含むｎ枚の実低解像度画像の内、画像Ｆ1が基準画像に設定されるものとする（後述の他の実施例においても同様）。
【００５７】
超解像処理部４８は、画像枚数削減部４７からｎ枚の実低解像度画像が与えられた時は、そのｎ枚の実低解像度画像に含まれる、互いに異なる実低解像度画像間の動き量を動き量記憶部４６から受け、その動き量と画像枚数削減部４７からのｎ枚の実低解像度画像とを用いた超解像処理によって１枚の高解像度画像を生成する。一方、画像枚数削減部４７からｍ枚の実低解像度画像が与えられた時、超解像処理部４８は、そのｍ枚の実低解像度画像に含まれる、互いに異なる実低解像度画像間の動き量を動き量記憶部４６から受け、その動き量と画像枚数削減部４７からのｍ枚の実低解像度画像とを用いた超解像処理によって１枚の高解像度画像を生成する。
【００５８】
超解像処理部４８にて実行される超解像処理の方法として、上述の方法を含む、任意の方法を採用である。高解像度画像は、例えば、低解像度画像の２倍の解像度を有するように生成される。この場合、高解像度画像上の、水平又は垂直方向に沿った隣接画素の間隔はｐｐL／２である。
【００５９】
信号処理部４９は、超解像処理部４８にて生成された高解像度画像の画像データに基づき、その高解像度画像の映像信号（輝度信号及び色差信号）を生成する。尚、超解像処理が行われない場合は、ＡＦＥ１２から出力される実低解像度画像の画像データに基づく映像信号を信号処理部４９にて生成することも可能である。信号処理部４９にて生成された映像信号を、圧縮処理部１６による圧縮処理を介して外部メモリ１８に記憶することができる。
【００６０】
画像枚数削減部４７の画像枚数削減処理を詳細に説明する。第１実施例では、ｎ＝４且つｍ＝３である場合を想定する。
【００６１】
メモリ４０から画像枚数削減部４７に入力されたｎ枚の実低解像度画像Ｆ1〜Ｆnは、二次元の共通の座標系（以下、共通座標系という）上に配置して考えられる。図７に、共通座標系に配置された各実低解像度画像の格子及び画素を示す。符号４０１が付された黒三角形は画像Ｆ1の画素を表すと共に画像Ｆ1の画素が配置される位置を表し、符号４０２が付された黒四角形は画像Ｆ2の画素を表すと共に画像Ｆ2の画素が配置される位置を表し、符号４０３が付された黒丸は画像Ｆ3の画素を表すと共に画像Ｆ3の画素が配置される位置を表し、符号４０４が付された星型図形（十角形）は画像Ｆ4の画素を表すと共に画像Ｆ4の画素が配置される位置を表している。尚、図７（及び後述する図８等）では、画像Ｆ1を形成する画素群を表す三角形群の一部に対してのみ符号４０１が付されている。符号４０２〜４０４についても同様である。
【００６２】
画像Ｆk上の画素は共通座標系の水平方向及び垂直方向に等間隔で格子状に配列される（ｋ＝１，２，３，４）。画像Ｆkを形成する画素が共通座標系において二次元配列される格子を画像Ｆkの格子と呼ぶ。
【００６３】
画像Ｆ2は、画像Ｆ1を動き量ＭＶ12に相当する分だけ位置ずれさせた画像であるとみなすことができる。画像枚数削減部４７は、画像Ｆ1を基準とした画像Ｆ2の位置ずれが打ち消されるように、共通座標系上に画像Ｆ1及びＦ2の格子を設定する。例えば、画像Ｆ1から見た画像Ｆ2の動き量の方向が右方向であって且つ該動き量の大きさがｐｐL／２である場合、画像Ｆ1の格子から、左方向にｐｐL／２だけずらした位置に画像Ｆ2の格子を設定する。同様に、画像Ｆ1の格子を基準として、画像Ｆ3及びＦ4の格子が共通座標系上に設定される。画像Ｆ1の格子を基準に考える場合、動き量ＭＶ12、ＭＶ13及びＭＶ14に基づいて画像Ｆ1〜Ｆ4の格子位置が定まる。
【００６４】
今、画像Ｆ1が基準画像であるため、画像Ｆ2〜Ｆ4は非基準画像である。画像枚数削減部４７は、画像Ｆ2〜Ｆ4の中に、削減条件を満たす非基準画像が存在するかを判定する。具体的には、基準画像の注目画素位置と第１及び第２の非基準画像の注目画素位置とを結んで形成される三角形の中に第３の非基準画像の注目画素位置が内包されるか否かを判定し、その三角形の中に第３の非基準画像の注目画素位置が内包される場合に削減条件は満たされる、と判断する。この場合、削減条件を満たす非基準画像は第３の非基準画像である。第１実施例において、第１〜第３の非基準画像の夫々は、画像Ｆ2〜Ｆ4の何れかであるが、第１〜第３の非基準画像は互いに異なる。
【００６５】
基準画像Ｆ1の注目画素位置は、基準画像Ｆ1上の任意の１つの画素位置である。図８の符号４０１ａが付された黒三角形の配置位置が、画像Ｆ1の注目画素位置であった場合を考える。画像枚数削減部４７は、基準画像Ｆ1の注目画素位置４０１ａを中心とする基準矩形領域４１０を設定する。基準矩形領域（今の例において、基準矩形領域４１０）は正方形形状の領域であって、その正方形の一辺の長さはｐｐLである。
【００６６】
非基準画像Ｆ2、Ｆ3及びＦ4の注目画素位置は、夫々、基準矩形領域４１０内に位置する、非基準画像Ｆ2、Ｆ3及びＦ4の画素位置４０２ａ、４０３ａ及び４０４ａである。ここで、基準矩形領域４１０の内と外との境界線上に位置する画素位置も、基準矩形領域４１０内に位置する画素位置と取り扱われる（基準矩形領域４１０以外の基準矩形領域についても同様）。画素位置４０２ａは、画像Ｆ2の画素位置群の内、画像Ｆ1の注目画素位置４０１ａの最近傍に位置する画素位置であり、画素位置４０３ａは、画像Ｆ3の画素位置群の内、画像Ｆ1の注目画素位置４０１ａの最近傍に位置する画素位置であり、画素位置４０４ａは、画像Ｆ4の画素位置群の内、画像Ｆ1の注目画素位置４０１ａの最近傍に位置する画素位置である。
【００６７】
図８に示す例の場合、画素位置４０１ａ、４０２ａ及び４０４ａを結んで形成される三角形の中に画素位置４０３ａが位置している。このため、第１及び第２の非基準画像を画像Ｆ2及びＦ4と捉え且つ第３の非基準画像を画像Ｆ3と捉えたならば、第３の非基準画像としての画像Ｆ3は削減条件を満たす。一方、各画像の画素位置関係が図９に示すような状況にある時においては、画像Ｆ2〜Ｆ4の何れもが削減条件を満たさない。
【００６８】
削減条件を満たす非基準画像が存在すると判断した時、画像枚数削減部４７は、画像除外処理又は画像合成処理によって、ｎ枚の実低解像度画像からｍ枚の実低解像度画像を生成する。ｍ枚の実低解像度画像の生成は、原則として画像除外処理によって実現され、特定の条件が成立する場合にのみ、画像合成処理によって実現される。但し、ｍ枚の実低解像度画像の生成を、常に画像除外処理によって実現するようにしても良い。
【００６９】
［画像除外処理］
画像除外処理では、画像枚数削減部４７に与えられるｎ枚の実低解像度画像の中から削減条件を満たす非基準画像を単に除外することによって、ｍ枚の実低解像度画像を生成する。つまり、図８に示す例に如く、画像Ｆ3が削減条件を満たす場合は、画像Ｆ1〜Ｆ4の中から画像Ｆ3が除外され、画像Ｆ1、Ｆ2及びＦ4から成る３枚の実低解像度画像が超解像処理部４８に出力される。
【００７０】
［画像合成処理］
画像合成処理は、削減条件を満たす非基準画像の注目画素位置と、それ以外の非基準画像の注目画素位置又は基準画像の注目画素位置との、共通座標系上における距離が所定の基準距離ｄREF以下である時にのみ実行される。図８に示す例の場合、削減条件を満たす非基準画像の注目画素位置は画像Ｆ3の画素位置４０３ａであるので、画像枚数削減部４７は、動き量記憶部４６に記憶された各動き量に基づいて、画素位置４０３ａと画素位置４０２ａとの距離ｄ23、画素位置４０３ａと画素位置４０４ａとの距離ｄ34、及び、画素位置４０３ａと画素位置４０１ａとの距離ｄ13を求め、距離ｄ23、ｄ34及びｄ13と基準距離ｄREFとを比較する。
【００７１】
そして、画像枚数削減部４７は、
ｄ23≦ｄREFである場合、画像Ｆ2及びＦ3を合成することによって１枚の合成画像ＦＣ23を生成し、画像Ｆ1、Ｆ4及び合成画像ＦＣ23を３枚の実低解像度画像として超解像処理部４８に出力し、
ｄ34≦ｄREFである場合、画像Ｆ3及びＦ4を合成することによって１枚の合成画像ＦＣ34を生成し、画像Ｆ1、Ｆ2及び合成画像ＦＣ34を３枚の実低解像度画像として超解像処理部４８に出力し、
ｄ13≦ｄREFである場合、画像Ｆ1及びＦ3を合成することによって１枚の合成画像ＦＣ13を生成し、画像Ｆ2、Ｆ4及び合成画像ＦＣ13を３枚の実低解像度画像として超解像処理部４８に出力する。
【００７２】
基準距離ｄREFは、基準距離ｄREFと対比される距離に対応する２枚の実低解像度画像の画素位置が実質的に等しいか否かを判断するための境界距離であり、例えば、実低解像度画像の隣接画素間隔ｐｐLの１／８〜１／１６程度に設定される。基準距離ｄREFを、動き量の検出精度に応じて定めるようにしてもよい。
【００７３】
仮に、各画像の画素位置関係が図１０に示すような状況にある時においては、ｄ23≦ｄREFが成立し、高解像度画像の生成にとって、画像Ｆ2及びＦ3は実質的に同じ画像であるとみなせる。そのため、そのような場合は、画像Ｆ2及びＦ3を合成することによって、超解像処理に利用される画像枚数を削減しつつ超解像処理に利用される画像の信号対雑音比（以下、Ｓ／Ｎ比という）を向上させる。
【００７４】
例えば、画像Ｆ2と画像Ｆ3との合成画像ＦＣ23は、以下のようにして生成される。他の合成画像（例えば、合成画像ＦＣ13、ＦＣ34）の生成方法も同様である。
【００７５】
画像Ｆ2を形成する各画素の画素値に対して合成用重み係数ｋW（但し、０＜ｋW＜１）を乗算する一方で、画像Ｆ3を形成する各画素の画素値に対して合成用重み係数（１−ｋW）を乗算し、それらの乗算後の画像Ｆ2及びＦ3の画素値を足し合わせることで、合成画像ＦＣ23の対応画素の画素値を生成する。つまり、画像Ｆ2、Ｆ3及びＦＣ23の、共通座標系上における座標値（ｘ，ｙ）の画素の画素値を、夫々、Ｐ2（ｘ，ｙ）、Ｐ3（ｘ，ｙ）及びＰ23（ｘ，ｙ）とした場合、式“Ｐ23（ｘ，ｙ）＝ｋW・Ｐ2（ｘ，ｙ）＋（１−ｋW）・Ｐ3（ｘ，ｙ）”に従って、合成画像ＦＣ23の各画素値が求められる。
【００７６】
画像Ｆ2、Ｆ3及びＦＣ23の座標値（ｘ，ｙ）の画素は、共通座標系上において同一の画素位置に配置された画素である。但し、画像Ｆ2及びＦ3の注目画素位置が、基準距離ｄREF以下の距離だけずれていることに鑑み、画素値Ｐ23（ｘ，ｙ）の算出の際、着目した２つの画素位置が基準距離ｄREF以下の距離だけずれていたとしても、それらの画素位置は同じであるとみなす。尚、或る着目した画素に関し、画素値とは、その着目した画素の輝度及び／又は色を表す情報である。
【００７７】
ｋWの値を予めおくこともできる。典型的には、ｋWは０．５に設定されるが、ｋWは０．５以外であっても良い。
【００７８】
基準画像Ｆ1は、通常、超解像処理部４８による超解像処理において基準フレームとして取り扱われ、超解像処理による高解像度化は基準フレームを基準にして実行されるため、基準画像Ｆ1の撮影時刻に、より近い時刻に撮影された実低解像度度画像に対して、より大きな合成用重み係数を対応させるようにしてもよい。つまり、画像Ｆ2と画像Ｆ3とを合成する際には、画像Ｆ2の撮影時刻の方が画像Ｆ3の撮影時刻よりも基準画像Ｆ1の撮影時刻に近いため、画像Ｆ2に対する合成用重み係数ｋWを画像Ｆ3に対する合成用重み係数（１−ｋW）よりも大きくしても構わない。
【００７９】
また、各実低解像度画像の撮影時におけるＩＳＯ感度に基づいて合成用重み係数を決定しても良い。この際、ＩＳＯ感度が大きい画像ほど画像のＳ／Ｎ比が小さいことを考慮し、なるだけＳ／Ｎ比の高い高解像度画像を生成するべく、よりＩＳＯ感度が高い実低解像度画像に対して、より小さい合成用重み係数を設定するとよい。今、合成画像（例えば、ＦＣ13、ＦＣ23又はＦＣ34）を生成するための２枚の実低解像度画像を第１及び第２の合成対象画像と呼ぶ。第１の合成対象画像に対する合成用重み係数がｋwであって、第２の合成対象画像に対する合成用重み係数が（１−ｋW）であるとする。合成画像ＦＣ23を生成する場合であれば、第１及び第２の合成対象画像は、夫々、画像Ｆ2及びＦ3である。
【００８０】
そして例えば、第１の合成対象画像の撮影時におけるＩＳＯ感度と第２の合成対象画像の撮影時におけるＩＳＯ感度とを比較し、前者が後者よりも大きい場合は“ｋW＜（１−ｋW）”が成立するように、前者が後者よりも小さい場合は“ｋW＞（１−ｋW）”が成立するように、ｋWの値を設定すればよい。
【００８１】
ＩＳＯ感度は、ＩＳＯ（International Organization for Standardization）によって規定された感度を意味し、ＩＳＯ感度を調節することでフレーム画像の明るさ（輝度レベル）を調節することができる。実際には、ＩＳＯ感度に応じてＡＦＥ１２における信号増幅の増幅度が決定される。その増幅度はＩＳＯ感度に比例している。ＩＳＯ感度が２倍になれば、その増幅度も２倍となり、これによってフレーム画像の各画素の輝度値も２倍となる（但し、増幅時の飽和を無視）。
【００８２】
また、各実低解像度画像に対して求められたＡＦ評価値に基づいて合成用重み係数を決定しても良い。ＡＦ評価値は、オートフォーカス制御を実現するために映像信号処理部１３においてフレーム画像ごとに算出される評価値であり、ＡＦ評価値が高くなるほど、基本的に、主要な被写体にピントが合っている可能性が高い。そこで、よりＡＦ評価値が高い実低解像度画像に対して、より大きな合成用重み係数を設定するとよい。例えば、第１の合成対象画像のＡＦ評価値と第２の合成対象画像のＡＦ評価値とを比較し、前者が後者よりも大きい場合は“ｋW＞（１−ｋW）”が成立するように、前者が後者よりも小さい場合は“ｋW＜（１−ｋW）”が成立するように、ｋWの値を設定すればよい。
【００８３】
ＡＦ評価値の算出方法について説明する。図１１に、映像信号処理部１３に備えられたＡＦ評価部９０の内部ブロック図を示す。ＡＦ評価部９０は、抽出部９１、ＨＰＦ（ハイパスフィルタ）９２及び積算部９３を備える。ＡＦ評価部９０は、フレーム画像ごとにＡＦ評価値を算出する。抽出部９１には、フレーム画像のＡＦ評価領域内における映像信号が与えられる。ＡＦ評価領域は、フレーム画像の全体画像領域、又は、一部画像領域である。典型的には例えば、フレーム画像の中央付近に位置する矩形領域がＡＦ評価領域として設定される。抽出部９１は、与えられた映像信号の中から輝度信号を抽出する。ＨＰＦ９２は、抽出部９１によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。例えば、ＨＰＦ９２を所定のフィルタサイズを有するラプラシアンフィルタにて形成し、そのラプラシアンフィルタをＡＦ評価領域内の各画素に作用させる空間フィルタリングを行う。そうすると、ＨＰＦ９２からは、そのラプラシアンフィルタのフィルタ特性に応じた出力値が順次得られる。積算部９３は、ＨＰＦ９２によって抽出された高域周波数成分の大きさ（即ち、ＨＰＦ９２の出力値の絶対値）を積算し、積算値をＡＦ評価値として出力する。
【００８４】
また、第１の合成対象画像が画像Ｆ1である場合、“ｋW＞（１−ｋW）”が成立するようにｋWの値を設定してもよい。
【００８５】
尚、上述の例では、第１の合成対象画像の全画素に対して共通の合成用重み係数ｋWが設定されていると共に第２の合成対象画像の全画素に対しても共通の合成用重み係数（１−ｋW）が設定されているが、第１及び第２の合成対象画像の各画素に対する合成用重み係数を個別に設定するようにしても構わない。
【００８６】
また、画像Ｆ3が削減条件を満たす時において、例えばｄ23≦ｄREFが成立する場合、画像Ｆ2及びＦ3の何れか一方を画像Ｆ1〜Ｆ4から除外し、残った３枚の実低解像度画像を超解像処理部４８に出力するようにしてもよい。画像Ｆ2が除外されたならば画像Ｆ1、Ｆ3及びＦ4が超解像処理部４８に出力され、画像Ｆ3が除外されたならば画像Ｆ1、Ｆ2及びＦ4が超解像処理部４８に出力される。このような除外処理を、第１変形画像除外処理と呼ぶ。ｄ34≦ｄREFが成立する場合も同様に処理することができる。
【００８７】
画像Ｆ3が削減条件を満たし且つｄ23≦ｄREFが成立する場合、画像Ｆ2及びＦ3のどちらを画像Ｆ1〜Ｆ4から除外するのかを、画像Ｆ2及びＦ3の撮影時刻に基づいて、或いは、画像Ｆ2及びＦ3のＩＳＯ感度に基づいて、或いは、画像Ｆ2及びＦ3のＡＦ評価値に基づいて決定するようにしてもよい。例えば、画像Ｆ2の撮影時刻の方が画像Ｆ3の撮影時刻よりも基準画像Ｆ1の撮影時刻に近いことに鑑み、画像Ｆ2及びＦ3の内、画像Ｆ3を画像Ｆ1〜Ｆ4から除外するようにしてもよい。また例えば、画像Ｆ2及びＦ3の内、ＩＳＯ感度がより高い方の画像を画像Ｆ1〜Ｆ4から除外するようにしてもよい。また例えば、画像Ｆ2及びＦ3の内、ＡＦ評価値がより低い方の画像を画像Ｆ1〜Ｆ4から除外するようにしてもよい。
【００８８】
また、画像Ｆ3が削減条件を満たす時において、例えばｄ13≦ｄREFが成立する場合、画像Ｆ1及びＦ3の何れか一方を画像Ｆ1〜Ｆ4から除外し、残った３枚の実低解像度画像を超解像処理部４８に出力するようにしてもよい。画像Ｆ1が除外されたならば画像Ｆ2、Ｆ3及びＦ4が超解像処理部４８に出力され、画像Ｆ3が除外されたならば画像Ｆ1、Ｆ2及びＦ4が超解像処理部４８に出力される。このような除外処理を、第２変形画像除外処理と呼ぶ。
【００８９】
画像Ｆ3が削減条件を満たし且つｄ13≦ｄREFが成立する場合、画像Ｆ1及びＦ3のどちらを画像Ｆ1〜Ｆ4から除外するのかを、画像Ｆ1及びＦ3のＩＳＯ感度に基づいて、或いは、画像Ｆ1及びＦ3のＡＦ評価値に基づいて決定するようにしてもよい。例えば、画像Ｆ1及びＦ3の内、ＩＳＯ感度がより高い方の画像を画像Ｆ1〜Ｆ4から除外するようにしてもよい。また例えば、画像Ｆ1及びＦ3の内、ＡＦ評価値がより低い方の画像を画像Ｆ1〜Ｆ4から除外するようにしてもよい。
【００９０】
上述のような画像枚数削減処理を実施することにより、生成されるべき高解像度画像の画質に影響のない範囲で超解像処理に利用される画像の枚数が削減され、超解像処理の演算負荷の軽減及び高解像度画像の取得速度の高速化が図られる。
【００９１】
＜＜第２実施例＞＞
本発明の第２実施例を説明する。第２実施例に係る映像信号処理部１３は、図５に示すそれと同様であり、第１実施例に記載した事項が第２実施例にも適用される。但し、第２実施例では、ｍ＝４であるものとする。ｎは５以上であれば幾つでも良いが、説明の具体化のため、ｎ＝５であると想定する。
【００９２】
これに伴い、５枚の実低解像度画像がメモリ４０を介して画像枚数削減部４７に入力され、動き量算出部４５によって、動き量ＭＶ12、ＭＶ23及びＭＶ34に加えて、実低解像度画像Ｆ4及びＦ5間の動き量ＭＶ45も算出される。動き量記憶部４６に記憶されたそれらの動き量に基づいて、共通座標系上における画像Ｆ1〜Ｆ5の画素位置関係が決定される。
【００９３】
図１２に、ｎ＝５の時における、共通座標系上の画像Ｆ1〜Ｆ5の画素位置関係を示す。図１２は、図７に対して、画像Ｆ5の格子を追記した図である。図１２において、黒三角、黒四角形、黒丸及び星型図形が意味するものは、第１実施例で述べた通りである。符号４０５が付された白菱形は画像Ｆ5の画素を表すと共に画像Ｆ5の画素が配置される位置を表している。
【００９４】
上述したように、画像Ｆ1が基準画像であるとすると、画像Ｆ2〜Ｆ5は非基準画像である。画像枚数削減部４７は、画像Ｆ2〜Ｆ5の中に、削減条件を満たす非基準画像が存在するかを判定する。具体的には、基準画像の注目画素位置と第１〜第３の非基準画像の注目画素位置とを結んで形成される四角形の中に第４の非基準画像の注目画素位置が内包されるか否かを判定し、その四角形の中に第４の非基準画像の注目画素位置が内包される場合に削減条件は満たされる、と判断する。この場合、削減条件を満たす非基準画像は第４の非基準画像である。第２実施例においては、第１〜第４の非基準画像の夫々は、画像Ｆ2〜Ｆ5の何れかであるが、第１〜第４の非基準画像は互いに異なる。
【００９５】
基準画像Ｆ1の注目画素位置は、基準画像Ｆ1上の任意の１つの画素位置である。第１実施例と同様、図１３の配置位置４０１ａが、画像Ｆ1の注目画素位置であった場合を考える。第１実施例と同様、注目画素位置４０１ａを中心とする基準矩形領域４１０が設定され、非基準画像Ｆ2、Ｆ3及びＦ4の注目画素位置は、夫々、基準矩形領域４１０内に位置する、非基準画像Ｆ2、Ｆ3及びＦ4の画素位置４０２ａ、４０３ａ及び４０４ａである。また、非基準画像Ｆ5の注目画素位置は、基準矩形領域４１０内に位置する、非基準画像Ｆ5の画素位置４０５ａである。
【００９６】
図１３に示す例の場合、画素位置４０１ａ、４０２ａ、４０５ａ及び４０４ａを結んで形成される四角形の中に画素位置４０３ａが位置している。このため、第１、第２及び第３の非基準画像を画像Ｆ2、Ｆ4及びＦ5と捉え且つ第４の非基準画像を画像Ｆ3と捉えたならば、第４の非基準画像としての画像Ｆ3は削減条件を満たすと判断される。一方、各画像の画素位置関係が図１４に示すような状況にある時においては、画像Ｆ2〜Ｆ5の何れもが削減条件を満たさない。
【００９７】
削減条件を満たす非基準画像が存在すると判断した時、画像枚数削減部４７は、画像除外処理又は画像合成処理によって、５枚の実低解像度画像から４枚の実低解像度画像を生成する。画像除外処理及び画像合成処理の何れを実行するかは、第１実施例で述べた方法に従って決定される。画像除外処理及び画像合成処理の内容は、第１実施例で述べたものと同様である。
【００９８】
画像除外処理が実行される場合であって、図１３に示す例に如く画像Ｆ3が削減条件を満たす場合は、画像Ｆ1〜Ｆ5の中から画像Ｆ3が除外され、画像Ｆ1、Ｆ2、Ｆ4及びＦ5から成る４枚の実低解像度画像が超解像処理部４８に出力される。
【００９９】
また、図１３に示す例に如く画像Ｆ3が削減条件を満たす場合、画像枚数削減部４７は、動き量記憶部４６に記憶された各動き量に基づいて、画素位置４０３ａと画素位置４０２ａとの距離ｄ23、画素位置４０３ａと画素位置４０４ａとの距離ｄ34、画素位置４０３ａと画素位置４０５ａとの距離ｄ35、及び、画素位置４０３ａと画素位置４０１ａとの距離ｄ13を求め、それらと基準距離ｄREFとの比較を介して画像合成処理を行うこともできる。
【０１００】
例えば、画像枚数削減部４７は、
ｄ23≦ｄREFである場合、画像Ｆ2及びＦ3を合成することによって１枚の合成画像ＦＣ23を生成し、画像Ｆ1、Ｆ4、Ｆ5及び合成画像ＦＣ23を４枚の実低解像度画像として超解像処理部４８に出力するようにしてもよく、
ｄ34≦ｄREFである場合、画像Ｆ3及びＦ4を合成することによって１枚の合成画像ＦＣ34を生成し、画像Ｆ1、Ｆ2、Ｆ5及び合成画像ＦＣ34を４枚の実低解像度画像として超解像処理部４８に出力するようにしてもよく、
ｄ35≦ｄREFである場合、画像Ｆ3及びＦ5を合成することによって１枚の合成画像ＦＣ35を生成し、画像Ｆ1、Ｆ2、Ｆ4及び合成画像ＦＣ35を４枚の実低解像度画像として超解像処理部４８に出力するようにしてもよく、
ｄ13≦ｄREFである場合、画像Ｆ1及びＦ3を合成することによって１枚の合成画像ＦＣ13を生成し、画像Ｆ2、Ｆ4、Ｆ5及び合成画像ＦＣ13を４枚の実低解像度画像として超解像処理部４８に出力するようにしてもよい。
合成用重み係数の設定方法を含む合成画像の生成方法は、第１実施例で述べたものと同様である。
【０１０１】
また、削減条件を満たす非基準画像が存在すると判断した時、第１変形画像除外処理又は第２変形画像除外処理によって、５枚の実低解像度画像から４枚の実低解像度画像を生成するようにしてもよい。第１変形画像除外処理又は第２変形画像除外処理の内容は、第１実施例で述べたものと同様である。
【０１０２】
第１及び第２実施例ではｍ＝３及びｍ＝４であることを想定したため、削減条件の成否判定に注目される多角形は三角形及び四角形であるが、ｍは５以上であってもよい。ｍを一般化して考えると、画像枚数削減部４７は、基準画像の注目画素位置と第１〜第（ｍ−１）の非基準画像の注目画素位置とを結んで形成されるｍ角形の中に第ｍの非基準画像の注目画素位置が内包されるか否かを判定し、そのｍ角形の中に第ｍの非基準画像の注目画素位置が内包される場合に削減条件は満たされる、と判断する。この場合、削減条件を満たす非基準画像は第ｍの非基準画像である。そして、第ｍの非基準画像が削減条件を満たすと判断した場合は、画像除外処理、画像合成処理、第１変形画像除外処理又は第２変形画像除外処理によって、基準画像及び第１〜第ｍの非基準画像より成るｎ枚の実低解像度画像からｍ枚の実低解像度画像を生成して超解像処理部４８に出力する。
【０１０３】
上述の説明では、ｎ＝ｍ＋１であることを前提としている。即ち、画像枚数削減部４７にて削減されうる画像の枚数が１であることを前提として、画像枚数削減部４７の動作を説明したが、画像枚数削減部４７にて削減されうる画像の枚数は２以上であってもよい。例えば、ｎ＝５である場合において、図１５に示す例の如く、画像Ｆ1、Ｆ2及びＦ4の注目画素位置を結んで形成される三角形の中に画像Ｆ3及びＦ5の注目画素位置が内包される場合、画像Ｆ3及びＦ5が共に削減条件を満たすと判断し、画像Ｆ1〜Ｆ5から３枚の実低解像度画像を生成して超解像処理部４８に出力するようにしてもよい。
【０１０４】
図１５に示す例において、画像除外処理を利用する場合は、画像Ｆ1〜Ｆ5から画像Ｆ3及びＦ5を除外し、画像Ｆ1、Ｆ2及びＦ4から成る３枚の実低解像度画像を超解像処理部４８に出力する。このような場合においても、上述の画像合成処理、第１変形画像除外処理又は第２変形画像除外処理は適用されうる。例えば、図１５に示す例において、画像Ｆ2及びＦ3の注目画素位置間の距離が基準距離ｄREF以下であるならば、画像Ｆ1〜Ｆ5から画像Ｆ5を除外する一方で画像Ｆ2及びＦ3から合成画像ＦＣ23を作成して３枚の画像Ｆ1、ＦＣ23、Ｆ4を超解像処理部４８に出力するようにしてもよいし、画像Ｆ1〜Ｆ5から画像Ｆ5を除外する一方で画像Ｆ2及びＦ3の撮影時刻、ＩＳＯ感度又はＡＦ評価値に基づいて画像Ｆ2及びＦ3の何れか一方を更に画像Ｆ1〜Ｆ5から除外することにより３枚の画像Ｆ1、Ｆ2、Ｆ4又は３枚の画像Ｆ1、Ｆ2、Ｆ3を超解像処理部４８に出力するようにしてもよい。
【０１０５】
＜＜第３実施例＞＞
本発明の第３実施例を説明する。第３実施例に係る映像信号処理部１３は、図５に示すそれと同様であり、第１実施例に記載した事項が第３実施例にも適用される。但し、第３実施例では、ｍは２以上の任意の整数とされ、且つ、ｎは、ｎ＞ｍを満たす、３以上の任意の整数とされる。説明の具体化のため、第３実施例の以下の説明においては、ｎ＝４であるとする。
【０１０６】
第１及び第２実施例と同様、原則的に、画像枚数削減部４７は、メモリ４０から与えられる４枚の実低解像度度画像をそのまま超解像処理部４８に出力するが、特定の条件が満たされるときは、画像枚数削減処理を実行する。第３実施例に係る画像枚数削減部４７は、動き量記憶部４６に記憶された動き量に基づき、以下のようにして画像枚数削減処理を実行する（図６参照）。
【０１０７】
基準画像Ｆ1との間の動き量が実質的に等しい２枚の非基準画像が存在する場合、その２枚の非基準画像の内の一方を超解像処理部４８に対する出力画像群（ｍ枚の実低解像度画像）から除外する、或いは、２枚の非基準画像を合成することにより合成画像を生成し、２枚の非基準画像の代わりに合成画像を超解像処理部４８に出力する。
【０１０８】
例えば、動き量ＭＶ12及びＭＶ13が実質的に等しい場合、高解像度画像の生成にとって画像Ｆ2及びＦ3は実質的に同じ画像であるとみなせるため、画像Ｆ2及びＦ3の何れか一方を超解像処理部４８に対する出力画像群から除外し、画像Ｆ1、Ｆ2及びＦ4、又は、画像Ｆ1、Ｆ3及びＦ4を超解像処理部４８に出力する。或いは、動き量ＭＶ12及びＭＶ13が実質的に等しい場合、画像Ｆ2及びＦ3の合成画像ＦＣ23を生成し、画像Ｆ1、ＦＣ23及びＦ4を超解像処理部４８に出力する。動き量ＭＶ13及びＭＶ14が実質的に等しいと判断される場合も同様に処理することが可能である。また、合成用重み係数の設定方法を含む、合成画像ＦＣ23の生成方法は、第１実施例で述べたものと同じである。
【０１０９】
２つの動き量が実質的に等しいとは、一方の動き量の水平成分と他方の動き量の水平成分との差分値及び一方の動き量の垂直成分と他方の動き量の垂直成分との差分値が、共に所定の閾値ＭTH1以下であることを意味する、或いは、一方の動き量としての動きベクトルと他方の動き量としての動きベクトルとの差分ベクトルの大きさが所定の閾値ＭTH2以下であることを意味する。
【０１１０】
また、画像枚数削減部４７に入力された（ｎ−１）枚の非基準画像の内の、２枚の非基準画像における注目画素位置間の距離が所定の基準距離ｄREF以下である時、その２枚の非基準画像の一方を超解像処理４８に対する出力画像群（ｍ枚の実低解像度画像）から除外するようにしてもよい、或いは、その２枚の非基準画像を合成することにより合成画像を生成して２枚の非基準画像の代わりに合成画像を超解像処理部４８に出力するようにしてもよい。
【０１１１】
例えば、基準画像Ｆ1並びに非基準画像Ｆ2、Ｆ3及びＦ4が画像枚数削減部４７に入力された場合、非基準画像Ｆ2及びＦ3の注目画素位置間の距離ｄ23と非基準画像Ｆ2及びＦ4の注目画素位置間の距離ｄ24と非基準画像Ｆ3及びＦ4の注目画素位置間の距離ｄ34を求め、仮に不等式「ｄ23≦ｄREF」が成立するのであれば、画像Ｆ2及びＦ3の内の一方を超解像処理４８に対する出力画像群から除外し、画像Ｆ1、Ｆ2及びＦ4、又は、画像Ｆ1、Ｆ3及びＦ4を超解像処理部４８に出力するようにしてもよい（基準距離ｄREFの意義は第１実施例で述べた通りである）。不等式「ｄ23≦ｄREF」が成立する場合、高解像度画像の生成にとって画像Ｆ2及びＦ3は実質的に同じ画像であるとみなせるためである。或いは、不等式「ｄ23≦ｄREF」が成立する場合、画像Ｆ2及びＦ3の合成画像ＦＣ23を生成し、画像Ｆ1、ＦＣ23及びＦ4を超解像処理部４８に出力するようにしてもよい。不等式「ｄ24≦ｄREF」又は「ｄ34≦ｄREF」が成立する場合も同様に処理することが可能である。また、合成用重み係数の設定方法を含む、合成画像ＦＣ23の生成方法は、第１実施例で述べたものと同じである。
【０１１２】
２つの画像の内のどちらかを超解像処理部４８に対する出力画像群から除外する場合、その２つの画像の夫々を除外候補画像と呼ぶことができる。例えば、動き量ＭＶ12及びＭＶ13が実質的に等しいと判断される場合或いは不等式「ｄ23≦ｄREF」が成立する場合、画像Ｆ2及びＦ3が第１及び第２の除外候補画像である。２枚の除外候補画像の内、どちらを超解像処理部４８に対する出力画像群から除外するのかの決定を、基準画像Ｆ1の撮影時刻から見た、その２枚の除外候補画像の撮影時刻に基づいて、或いは、その２枚の除外候補画像のＩＳＯ感度に基づいて、或いは、その２枚の除外候補画像のＡＦ評価値に基づいて、行っても良い。例えば、画像Ｆ2及びＦ3が第１及び第２の除外候補画像であるときを考える。この場合、画像Ｆ2の撮影時刻の方が画像Ｆ3の撮影時刻よりも基準画像Ｆ1の撮影時刻に近いことに鑑み、画像Ｆ2及びＦ3の内、画像Ｆ3を超解像処理部４８に対する出力画像群から除外するようにしても良い。また例えば、画像Ｆ2及びＦ3の内、ＩＳＯ感度がより高い方の画像を超解像処理部４８に対する出力画像群から除外するようにしてもよい。また例えば、画像Ｆ2及びＦ3の内、ＡＦ評価値がより低い方の画像を超解像処理部４８に対する出力画像群から除外するようにしてもよい。
【０１１３】
＜＜第４実施例＞＞
本発明の第４実施例を説明する。第４実施例では、図５の超解像処理部４８の構成例を説明する。図１６は、第４実施例に係る超解像処理部４８の内部ブロック図である。図１６の超解像処理部４８は、符号６１〜６５によって参照される部位を備える。
【０１１４】
超解像処理部４８は、動き量記憶部４６に記憶された動き量と、図５の画像枚数削減部４７から与えられたｎ枚又はｍ枚の実低解像度画像とを用いた超解像処理によって１枚の高解像度画像を生成する。メモリ４０からのｎ枚の実低解像度画像が画像枚数削減部４７を介してそのまま超解像処理部４８に与えられた時は、そのｎ枚の実低解像度画像に基づく超解像処理が実行され、メモリ４０からのｎ枚の実低解像度画像に基づきｍ枚の実低解像度画像が画像枚数削減部４７の画像枚数削減処理によって生成された場合は、ｍ枚の実低解像度画像に基づく超解像処理が実行される。
【０１１５】
以下の説明では、画像枚数削減処理によって生成されたｍ枚の実低解像度画像が超解像処理部４８に与えられた時の動作を説明する。また、ｍ＝３であるとする。ｎ枚の実低解像度画像が超解像処理部４８に与えられた時は、以下の説明文におけるｍをｎに読み替えると共にｎ＝３であると考えればよい。超解像処理部４８に与えられる３枚の実低解像度画像には、第１実施例で述べた合成画像（画像Ｆ2と画像Ｆ3の合成画像ＦＣ23など）が含まれうる。
【０１１６】
ｍ＝３であるため、第１実施例で述べたような状況を想定した場合、超解像処理部４８に与えられる３枚の実低解像度画像は、例えば、画像Ｆ1、Ｆ2及びＦ4であるか、画像Ｆ1、ＦＣ23及びＦ4であるか、画像Ｆ1、Ｆ2及びＦＣ34であるか、又は、画像ＦＣ13、Ｆ2及びＦ4である。勿論、これら以外の組み合わせによる画像群も超解像処理部４８に与えられうる。
【０１１７】
超解像処理部４８では、ｍ枚の実低解像度画像の内、１枚が基準フレームとして且つ残りの（ｍ−１）枚の夫々が参照フレームとして設定される。実低解像度画像Ｆ1を含むｍ枚の実低解像度画像が超解像処理部４８に与えられた時は、実低解像度画像Ｆ1を基準フレームとして設定し、残りの（ｍ−１）枚の実低解像度画像を参照フレームとして設定することができる。画像枚数削減部４７における画像合成処理によって実低解像度画像Ｆ1と他の実低解像度画像との合成画像が生成され、結果として、超解像処理部４８に与えられるｍ枚の実低解像度画像の中に画像Ｆ1が含まれていない代わりに画像Ｆ1に基づく合成画像（例えば、合成画像ＦＣ13）が含まれている場合は、その合成画像を基準フレームとして設定し、その合成画像以外の実低解像度画像を参照フレームとして設定することができる。
【０１１８】
また、画像枚数削減部４７における第２変形画像除外処理により、超解像処理部４８に与えられるｍ枚の実低解像度画像の中に画像Ｆ1が含まれていない場合は、画像Ｆ1以外の実低解像度画像を基準フレームに設定すればよい。例えば、第１実施例で述べたように、画像Ｆ3が削減条件を満たし且つｄ13≦ｄREFが成立する場合において、第２変形画像除外処理により画像Ｆ2〜Ｆ4が超解像処理部４８に出力された時は、画像Ｆ1の代わりに画像Ｆ3を基準フレームに設定し、画像Ｆ2及びＦ4を参照フレームに設定すればよい。
【０１１９】
以下、基準フレームとしての実低解像度画像をＦａにて表し、２枚の参照フレームとしての２枚の実低解像度画像をＦｂ及びＦｃにて表す。また、低解像度画像の画素数がｕであって、且つ、高解像度画像の画素数がｖであるとする。ｖはｕより大きな任意の値とされるが、今、高解像度画像の解像度が垂直及び水平方向の夫々において低解像度画像のそれの２倍とされる場合を想定する。そうすると、ｖはｕの４倍である。
【０１２０】
ｕ画素から成る実低解像度画像Ｆａの画素値を書き並べた行列をＹａにて表し、ｕ画素から成る実低解像度画像Ｆｂの画素値を書き並べた行列をＹｂにて表し、ｕ画素から成る実低解像度画像Ｆｃの画素値を書き並べた行列をＹｃにて表す。
【０１２１】
初期高解像度推定部６１は、図３のステップＳ１１に対応する処理を実行する。具体的には、初期高解像度推定部６１は、動き量記憶部４６に記憶された、基準フレームと各参照フレームとの間の動き量に基づいて基準フレームに対する各参照フレームの位置ずれを検出し、それらの位置ずれを打ち消すための位置ずれ補正を行う。そして、位置ずれ補正後の基準フレーム及び２枚の参照フレームを組み合わせることによって、初期高解像度画像を生成する。初期高解像度画像の生成方法として、特開２００６−４１６０３号公報にも記載されているような、補間処理を用いた方法を利用可能である。
【０１２２】
超解像処理部４８にて生成される高解像度画像の画素位置は、基準フレームの画素位置を基準に設定される。図１７に、共通座標系上における基準フレームの画素と高解像度画像の画素との位置関係を示す。この位置関係は、水平及び垂直方向において高解像度画像が低解像度画像の２倍の解像度を有している場合の位置関係である。図１７において、４つの白丸は基準フレーム上の４つの画素を表し、９つの白三角は高解像度画像上の９つの画素を表している。図１７に示す例では、基準フレーム上における４つの画素の配置位置と、高解像度画像上における４つの画素の配置位置とが一致している。つまり、高解像度画像は第１種類の画素と第２種類の画素とを備え、共通座標系において、第１種類の画素は、基準フレームの画素が配置される位置と同じ位置に配置される。そして、水平方向に隣接する第１種類の画素の中間位置、垂直方向に隣接する第１種類の画素の中間位置、及び、斜め方向に隣接する第１種類の画素の中間位置に、夫々、補間画素である第２種類の画素が配置される。
【０１２３】
初期高解像度画像を記号Ｆｘ１にて表し、ｖ画素から成る初期高解像度画像Ｆｘ１の画素値を書き並べた行列をＸにて表す。初期高解像度画像Ｆｘ１は、後段の処理によって更新されて高解像度画像Ｆｘ２が生成され、その後、更に更新処理を介して順次、高解像度画像Ｆｘ３、Ｆｘ４、・・・、が生成される。初期高解像度画像Ｆｘ１以外の高解像度画像（例えば、Ｆｘ２）の画素値を書き並べた行列もＸにて表すこととする。但し、高解像度画像Ｆｘｉの行列Ｘの内容と高解像度画像Ｆｘｊの行列Ｘの内容は異なる（ｉ≠ｊ）。
【０１２４】
選択部６２は、初期高解像度推定部６１にて生成された高解像度画像（初期高解像度画像）とフレームメモリ６５に一時的に記憶された高解像度画像の何れか１つを選択して出力する。選択部６２では、１回目の選択動作において、初期高解像度推定部６１で推定された初期高解像度画像を選択し、２回目以降の各選択動作において、フレームメモリ６５に一時記憶された高解像度画像を選択する。
【０１２５】
高解像度更新量算出部（以下、更新量算出部と略記する）６３は、選択部６２にて選択された高解像度画像と、実低解像度画像Ｆａ、Ｆｂ及びＦｃと、動き量記憶部４６に記憶された動き量に基づいて、選択部６２から与えられた高解像度画像に対する実低解像度画像Ｆａ、Ｆｂ及びＦｃの位置ずれを算出する。その後、選択部６２からの高解像度画像を劣化させて元の低解像度画像（即ち、実低解像度画像Ｆａ、Ｆｂ及びＦｃ）を推定するために、算出した各位置ずれ、低解像度化によって生じる画像ぼけ、及び、ｖ画素の高解像度画像からｕ画素の低解像度画像へのダウンサンプリング量をパラメータとするカメラパラメータ行列Ｗａ、Ｗｂ及びＷｃを求める。
【０１２６】
そして、更新量算出部６３は、図３のステップＳ１２の如く、選択部６２にて選択された高解像度画像の行列Ｘに対してカメラパラメータ行列Ｗａ、Ｗｂ及びＷｃの夫々を個別に乗じることによって、実低解像度画像Ｆａ、Ｆｂ及びＦｃの推定画像に相当する３枚の推定低解像度画像を生成する。この３枚の推定低解像度画像は、行列Ｗａ・Ｘ、Ｗｂ・Ｘ及びＷｃ・Ｘによって表現される。
【０１２７】
推定低解像度画像と実低解像度画像との誤差は｜Ｗａ・Ｘ−Ｙａ｜、｜Ｗｂ・Ｘ−Ｙｂ｜及び｜Ｗｃ・Ｘ−Ｙｃ｜によって表される。従って、その誤差を見積もるための評価関数として下記式（１）の評価関数Ｉを定義し、この評価関数Ｉを最小化するように高解像度画像に対する更新量を求める。式（１）の右辺の第４項は、選択部６２からの高解像度画像に基づく拘束項である。この拘束項γ｜Ｃ・Ｘ｜2における行列Ｃは、事前確率モデルに基づく行列である。行列Ｃは、「高解像度画像には高域成分が少ない」という事前知識に基づき設定され、例えばラプラシアンフィルタなどのハイパスフィルタによって形成される。また、係数γは、評価関数Ｉに対する拘束項の重みを表すパラメータである。
Ｉ＝｜Ｗａ・Ｘ−Ｙａ｜2＋｜Ｗｂ・Ｘ−Ｙｂ｜2＋
｜Ｗｃ・Ｘ−Ｙｃ｜2＋γ｜Ｃ・Ｘ｜2                    ・・・（１）
【０１２８】
評価関数Ｉを最小化する手法として任意の手法を採用可能であるが、今、勾配法を用いる場合を想定する。この場合、更新量算出部６３では、評価関数Ｉに対する勾配∂Ｉ／∂Ｘが求められる。勾配∂Ｉ／∂Ｘは、下記式（２）によって表される。式（２）において、添え字Ｔが付与された行列は、元の行列の転置行列を表す。従って例えば、ＷａTは行列Ｗａの転置行列を表す。
∂Ｉ／∂Ｘ＝２×｛ＷａT・（Ｗａ・Ｘ−Ｙａ）＋ＷｂT・（Ｗｂ・Ｘ−Ｙｂ）＋
ＷｃT・（Ｗｃ・Ｘ−Ｙｃ）＋γＣT・Ｃ・Ｘ｝                                                                                                ・・・（２）
【０１２９】
高解像度画像Ｆｘｉの行列Ｘに基づいて求められた勾配∂Ｉ／∂Ｘは、高解像度画像Ｆｘｉに対する更新量として算出される（ここで、ｉは自然数）。この算出処理は図３のステップＳ１３の処理に相当する。
【０１３０】
減算部６４は、図３のステップＳ１４のように、選択部６２にて選択された高解像度画像Ｆｘｉの行列Ｘから、その高解像度画像Ｆｘｉに対する更新量∂Ｉ／∂Ｘを減算することにより、下記式（３）の行列Ｘ'を算出する（ここで、ｉは自然数）。行列Ｘ'は、高解像度画像Ｆｘ（ｉ＋１）の画素値を書き並べた行列に相当し、減算部６４における減算処理によって、高解像度画像Ｆｘｉが更新されて更新後の高解像度画像Ｆｘ（ｉ＋１）が生成される。
Ｘ'＝Ｘ−∂Ｉ／∂Ｘ                                ・・・（３）
【０１３１】
フレームメモリ６５は、減算部６４から与えられた、更新量による画像更新後の高解像度画像を一時的に記憶し、これを選択部６２に与える。これにより、減算部６４から出力された高解像度画像が、再度、更新量算出部６３及び減算部６４によって更新される。
【０１３２】
更新量算出部６３等による高解像度画像の更新処理を含む超解像演算処理は繰り返し実行されるが、この繰り返しの回数に上限回数を設定しておくことができる。超解像演算処理の繰り返し回数が上限回数に達した場合、その時点で減算部６４にて得られている最新の高解像度画像を減算部６４から図５の信号処理部４９に出力する。また、超解像演算処理の繰り返し回数に関わらず、高解像度画像に対する更新量が十分に小さくなったと判断される場合には、その時点で減算部６４にて得られている最新の高解像度画像を減算部６４から信号処理部４９に出力するようにしても構わない。
【０１３３】
超解像演算処理を反復実行する超解像処理部の構成例を説明したが、既に述べたように、この反復を行うことなく、初期高解像度画像を、最終的に得られるべき高解像度画像として信号処理部４９に出力することも可能である。
【０１３４】
＜＜第５実施例＞＞
本発明の第５実施例を説明する。第５実施例では、図５の超解像処理部４８の他の構成例を説明する。図１８は、第５実施例に係る超解像処理部４８ａの内部ブロック図である。図１８の超解像処理部４８ａを、図５の超解像処理部４８として利用することができる。図１８の超解像処理部４８ａは、符号６１、６２、６３ａ、６４、６５及び６６によって参照される各部位を備える。超解像処理部４８ａは、図１６の超解像処理部４８の一部を変形したものであり、超解像処理部４８ａ内の、符号６１、６２、６４及び６５によって参照される部位の動作は、図１６のそれらと同様である。また、第４実施例にて述べた事項は、矛盾なき限り、第５実施例にも適用される。以下、更新量算出部６３ａと重み係数設定部６６の動作について説明する。
【０１３５】
重み係数設定部６６は、画像枚数削減部４７から超解像処理部４８ａに与えられる実低解像度画像に対する重み係数を設定する。重み係数設定部６６によって設定された重み係数は更新量算出部６３ａに与えられ、更新量算出部６３ａが、この重み係数に応じた演算を実行することによって超解像処理を実現する。
【０１３６】
重み係数設定部６６にて設定される重み係数は、画像枚数削減部４７から超解像処理部４８ａに入力される実低解像度画像ごとに設定され、重み係数が大きくなるほど、それに対応する実低解像度画像の高解像度画像に対する寄与度が増大する。重み係数設定部６６は、基本的に、画像合成処理による合成によって得られた実低解像度画像に対する重み係数が他の低解像度画像に対するそれよりも大きくなるように、各重み係数を設定する。重み係数に応じた演算は後に詳説されるが、この重み係数に応じた演算が実行される点を除き、更新量算出部６３ａは、図１６の更新量算出部６３と同様の機能を有する。
【０１３７】
図１６の更新量算出部６３と同様、更新量算出部６３ａでは高解像度画像を更新するための勾配が求められる。この勾配を、∂Ｊ／∂Ｘによって表す。勾配∂Ｊ／∂Ｘは、下記式（４）によって算出される。重み係数設定部６６は、画像枚数削減部４７にて画像合成処理がなされたか否か及び画像合成処理がなされたならば何れの画像が合成されたのかに基づいて、重み係数Ｋａ、Ｋｂ及びＫｃを算出する。Ｋａ、Ｋｂ及びＫｃは、夫々、画像Ｆａ、Ｆｂ及びＦｃに対する重み係数である。
∂Ｊ／∂Ｘ＝２×｛ＷａT・Ｋａ・（Ｗａ・Ｘ−Ｙａ）
＋ＷｂT・Ｋｂ・（Ｗｂ・Ｘ−Ｙｂ）
＋ＷｃT・Ｋｃ・（Ｗｃ・Ｘ−Ｙｃ）＋γＣT・Ｃ・Ｘ｝  ・・・（４）
【０１３８】
画像枚数削減部４７にて画像合成処理がなされていない場合（例えば、画像Ｆａ、Ｆｂ及びＦｃが画像Ｆ1、Ｆ2及びＦ4である場合）は、Ｋａ、Ｋｂ及びＫｃは全て１とされる。この場合における超解像処理は、第４実施例におけるそれと同じである。
【０１３９】
一方、画像枚数削減部４７にて画像合成処理がなされており、画像Ｆａ、Ｆｂ及びＦｃの中に合成画像が含まれている場合は、合成によって得られた実低解像度画像に対する重み係数が、合成がなされていない実低解像度画像に対する重み係数よりも大きくなるように、重み係数Ｋａ、Ｋｂ及びＫｃを設定する。例えば、前者の重み係数を後者の重み係数の２倍に設定してもよい。より具体的には例えば、画像Ｆａ及びＦｃが画像Ｆ1及びＦ4であって且つ画像Ｆｂが合成画像ＦＣ23である場合、Ｋａ＝ＫｃとしつつＫｂをＫａ及びＫｃの２倍に設定する。
【０１４０】
減算部６４は、∂Ｊ／∂Ｘを、第４実施例にて述べた∂Ｉ／∂Ｘとして用いて、第４実施例で述べた減算処理を実行する。これにより、更新量∂Ｊ／∂Ｘに基づく高解像度画像の更新が行われる。
【０１４１】
２枚の実低解像度画像の画素値を足し合わせるようにして得られた合成画像のＳ／Ｎ比は、合成がなされていない実低解像度画像のそれよりも高い。これを考慮して、合成画像に対する重み係数を比較的高い値に設定する。これにより、超解像処理によって得られる高解像度画像のＳ／Ｎ比が向上する。
【０１４２】
上述の例では、着目した画像が合成画像であるか否かを、重み係数設定用の判断基準として用い、その判断基準に従って、着目した画像に対する重み係数を設定している。但し、重み係数設定用の判断基準は、これに限定されない。
【０１４３】
例えば、基準フレームとしての実低解像度画像に対する重み係数Ｋａを、他の実低解像度画像に対する重み係数（Ｋｂ及び／又はＫｃ）よりも大きくしてもよい。
また例えば、基準フレーム（Ｆａ）から見た動き量に注目し、その動き量が小さくなるほど対応する重み係数を大きくしてもよい。例えば、画像Ｆａ、Ｆｂ及びＦｃがそれぞれ画像Ｆ1、Ｆ2及びＦ4である場合において、画像Ｆ1及びＦ4間の動き量ＭＶ14の大きさが画像Ｆ1及びＦ2間の動き量ＭＶ12よりも小さいとき、Ｋｃ＞Ｋｂが成立するように重み係数Ｋａ〜Ｋｃを設定しても良い。
また例えば、基準フレームの撮影時刻からみて、より近い時刻に取得された実低解像度画像ほど、対応する重み係数を大きくしても良い。例えば、画像Ｆａ、Ｆｂ及びＦｃがそれぞれ画像Ｆ1、Ｆ2及びＦ4である場合は、Ｋｂ＞Ｋｃが成立するように重み係数Ｋａ〜Ｋｃを設定しても良い。
更に、重み係数を設定するための、これらの判断基準を組み合わせて実際の重み係数Ｋａ〜Ｋｃを設定しても良い。
【０１４４】
＜＜第６実施例＞＞
本発明の第６実施例を説明する。上述の説明では、超解像処理を含む画像処理を、電子機器の一種である撮像装置１内にて行っているが、その画像処理を撮像装置１と異なる電子機器にて実現することも可能である。この電子機器は、例えば、図１９に示すような、画像を再生可能な画像再生装置１０１である。画像再生装置１０１は、図５の映像信号処理部１３と同じ構成及び機能を有する映像信号処理部（画像処理部）１０２と、液晶ディスプレイパネルなどから成る表示部１０３と、を備える。画像再生装置１０１の外部から映像信号処理部１０２に実低解像度画像列の画像データが供給される。例えば、撮像装置１又は他の撮像装置にて取得されたｎ枚の実低解像度画像の画像データが、無線又は有線にて或いは記録媒体を介して映像信号処理部１０２に供給される。このｎ枚の実低解像度画像に対して、映像信号処理部１０２にて画像枚数削減処理及び超解像処理を実行することにより、高解像度画像が生成される。この高解像度画像を表示部１０３にて再生表示することが可能である。
【０１４５】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１４６】
［注釈１］
高解像度画像が低解像度画像の２倍の解像度を有している例、即ち、低解像度画像に対する高解像度画像の解像度拡大率を２倍にする例を上述したが、その解像度拡大率は２倍以外であってもよい。
【０１４７】
［注釈２］
上述の説明では、画像データに基づく演算によって実低解像度画像間の動き量を導出しているが、実空間上における撮像装置１の動きを検出するセンサ（不図示）の検出結果に基づいて、実低解像度画像間の動き量を導出するようにしてもよい。撮像装置１の動きを検出するセンサは、例えば、撮像装置１の角速度を検出する角速度センサ、撮像装置１の角加速度を検出する角加速度センサ、若しくは、撮像装置１の加速度を検出する加速度センサ、又は、それらの組み合わせである。また、そのようなセンサの検出結果と画像データの双方に基づいて、実低解像度画像間の動き量を導出してもよい。
【０１４８】
［注釈３］
図１の撮像装置１及び図１９の画像再生装置１０１の夫々は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、映像信号処理部１３又は１０２内で実行される処理の一部を、ソフトウェアを用いて実現することも可能である。勿論、映像信号処理部１３又は１０２をハードウェアのみで形成することも可能である。ソフトウェアを用いて撮像装置１又は画像再生装置１０１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【図面の簡単な説明】
【０１４９】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】繰り返し演算を利用したＭＡＰ法に基づく再構成型の超解像処理の概念図である。
【図３】図２に対応する超解像処理の流れを表すフローチャートである。
【図４】本発明の実施形態に係る画像枚数削減処理の基本指針を説明するための図であって、第１〜第３の実低解像度画像上の画素を共通座標系に配置して示した図である。
【図５】本発明の実施形態に係り、図１の撮像装置内の、超解像処理に関与する部位のブロック図である。
【図６】本発明の実施形態に係り、４枚の実低解像度画像に対して求められる動き量を示した図である。
【図７】本発明の第１実施例に係り、検出動き量に基づき４枚の実低解像度画像の画素が共通座標系上に配置される様子を示した図である。
【図８】本発明の第１実施例に係り、４枚の実低解像度画像の画素位置関係の例を示す図である。
【図９】本発明の第１実施例に係り、４枚の実低解像度画像の画素位置関係の、他の例を示す図である。
【図１０】本発明の第１実施例に係り、４枚の実低解像度画像の画素位置関係の、更に他の例を示す図である。
【図１１】図１の映像信号処理部に内蔵されるＡＦ評価部の内部ブロック図である。
【図１２】本発明の第２実施例に係り、検出動き量に基づき５枚の実低解像度画像の画素が共通座標系上に配置される様子を示した図である。
【図１３】本発明の第２実施例に係り、５枚の実低解像度画像の画素位置関係の例を示す図である。
【図１４】本発明の第２実施例に係り、５枚の実低解像度画像の画素位置関係の、他の例を示す図である。
【図１５】本発明の第２実施例に係り、５枚の実低解像度画像の画素位置関係の、更に他の例を示す図である。
【図１６】本発明の第４実施例に係る超解像処理部の内部ブロック図である。
【図１７】本発明の第４実施例に係り、基準フレームの画素と高解像度画像の画素との位置関係を示す図である。
【図１８】本発明の第５実施例に係る超解像処理部の内部ブロック図である。
【図１９】本発明の第６実施例に係る画像再生装置の内部ブロック図である。
【符号の説明】
【０１５０】
１  撮像装置
１１  撮像部
１３  映像信号処理部
３３  撮像素子
４５  動き量算出部
４６  動き量記憶部
４７  画像枚数削減部
４８  超解像処理部
【図１】
2010068100.tif 000003
【図２】
2010068100.tif 000004
【図３】
2010068100.tif 000005
【図４】
2010068100.tif 000006
【図５】
2010068100.tif 000007
【図６】
2010068100.tif 000008
【図７】
2010068100.tif 000009
【図８】
2010068100.tif 000010
【図９】
2010068100.tif 000011
【図１０】
2010068100.tif 000012
【図１１】
2010068100.tif 000013
【図１２】
2010068100.tif 000014
【図１３】
2010068100.tif 000015
【図１４】
2010068100.tif 000016
【図１５】
2010068100.tif 000017
【図１６】
2010068100.tif 000018
【図１７】
2010068100.tif 000019
【図１８】
2010068100.tif 000020
【図１９】
2010068100.tif 000021