(57)【要約】【課題】高解像度画像の画質向上にとって最適な低解像度画像を選択する。【解決手段】互いに異なる低解像度画像間の動き量に基づいて低解像度画像Ｆ1〜Ｆ4間の位置ずれを補正し、位置ずれ補正後の低解像度画像Ｆ1〜Ｆ4の画素を共通座標系上に配置して考える。４枚の低解像度画像から２枚の低解像度画像を選択する。４枚の低解像度画像から２枚をとってできる4Ｃ2通り（＝６通り）の組み合わせを想定し、２枚の低解像度画像の画素位置間距離を各組み合わせに対して求める。そして、第１〜第６の組み合わせに対して求められた６つの画素位置間距離の内、低解像度画像の隣接画素間距離の半分に最も近いものを特定し、特定した画素位置間距離に対応する２枚の低解像度画像を選択する。【選択図】図８
2010068093.tif 000002
【特許請求の範囲】
【請求項１】
ｎ枚の低解像度画像を受ける画像入力部と（ｎは３以上の整数）、
前記ｎ枚の低解像度画像に含まれる互いに異なる低解像度画像間の動き量を検出する動き量検出部と、
前記動き量検出部の検出結果に基づいて、前記ｎ枚の低解像度画像の内のｍ枚をｍ枚の演算対象画像として選択する画像選択部（ｍは２以上の整数であって、ｎ＞ｍが成立）と、
前記ｍ枚の演算対象画像と前記動き量検出部の検出結果に基づいて、前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度処理部と、を備えた画像処理装置であって、
前記画像選択部は、前記ｎ枚の低解像度画像からｍ枚をとってできるnＣm通りの組み合わせの夫々に対して、前記動き量検出部の検出結果に基づく評価を行い、その評価結果から１つの組み合わせを選択することにより前記ｍ枚の演算対象画像を選択する
ことを特徴とする画像処理装置。
【請求項２】
夫々の組み合わせについてのｍ枚の低解像度画像をｍ枚の評価画像と呼んだ場合、
前記画像選択部は、前記ｍ枚の評価画像間の検出動き量に基づき各評価画像を共通座標系に配置して考えたときの、前記ｍ枚の評価画像間の画素位置関係を、各組み合わせに対して評価し、その評価結果から１つの組み合わせを選択することにより前記ｍ枚の演算対象画像を選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ｍ枚の評価画像は、第１及び第２の評価画像を含み、
各組み合わせにおいて、前記第２の評価画像上の注目画素位置は、前記第２の評価画像上の画素位置群の内の、第１の評価画像上の注目画素位置の最近傍に配置される画素位置であり、
前記画像選択部は、前記第１の評価画像上の注目画素位置と第２の評価画像上の注目画素位置との間の距離を導出する距離導出処理を、各組み合わせに対して実行し、各組み合わせに対して導出された距離の内、前記低解像度画像の隣接画素間距離に基づく所定距離に最も近い距離を判定して、その最も近い距離に対応する前記ｍ枚の評価画像を前記ｍ枚の演算対象画像として選択する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
ｍは３以上であって、前記ｍ枚の評価画像は第１〜第ｍの評価画像から成り、
各組み合わせにおいて、第ｉの評価画像上の注目画素位置は、前記第ｉの評価画像上の画素位置群の内の、第１の評価画像上の注目画素位置の最近傍に配置される画素位置であり（ｉは２以上ｍ以下の整数）、
前記画像選択部は、前記ｍ枚の評価画像についてのｍ個の注目画素位置を結んで形成される多角形の面積を導出する面積導出処理を、各組み合わせに対して実行し、各組み合わせに対して導出された前記面積の大小関係に基づいて１つの組み合わせを選択することにより前記ｍ枚の演算対象画像を選択する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
ｍは３以上であり、前記ｍ枚の評価画像は第１〜第ｍの評価画像から成り、
各組み合わせにおいて、第ｉの評価画像上の注目画素位置は、前記第ｉの評価画像上の画素位置群の内の、第１の評価画像上の注目画素位置の最近傍に配置される画素位置であり（ｉは２以上ｍ以下の整数）、
前記画像選択部は、前記ｍ枚の評価画像についてのｍ個の注目画素位置に含まれる２つの注目画素位置の組を複数組注目して夫々の組に対して２つの注目画素位置間の距離を求め、求めた距離の総和を導出する総和導出処理を、各組み合わせに対して実行し、各組み合わせに対して導出された前記総和の大小関係に基づいて１つの組み合わせを選択することにより前記ｍ枚の演算対象画像を選択する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
画像処理装置を備え、
ｎ枚の画像を撮影によって又は外部からの入力によって取得して、前記ｎ枚の画像の画像信号を前記画像処理装置に与える電子機器であって、
前記画像処理装置として請求項１〜請求項５の何れかに記載の画像処理装置を用い、
前記画像処理装置は、前記ｎ枚の画像を前記ｎ枚の低解像度画像として受ける
ことを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対して画像処理を施す画像処理装置に関する。また、本発明は、画像処理装置を有する電子機器に関する。
【背景技術】
【０００２】
複数の低解像度画像から１枚の高解像度画像を生成する高解像度化処理（超解像処理）が提案されている。超解像処理の中で、繰り返し演算（反復演算）を利用した再構成型の超解像処理が代表的な処理として知られている。繰り返し演算を利用した再構成型の超解像処理方法は、超解像処理方法の中で現在最も有効な方法であるが、多くの反復演算を必要とする最適化計算方法であるため、処理に比較的多くの時間がかかる。
【０００３】
処理時間を削減するための方法として、画像処理装置に入力されるｎ枚の低解像度画像の中から超解像処理に利用するｍ枚の低解像度画像を選択する方法が存在する（ｎ＞ｍ）。超解像処理に利用する画像の枚数が選択処理を介して削減されれば、超解像処理の演算負荷が減少し、処理時間が削減されるからである。
【０００４】
通常、このような選択を行う場合は、動画像の中から１枚の基準フレームを決めた後、基準フレームと（ｎ−１）枚の非基準フレームとから成るｎ枚の画像を取得する。一方で、基準フレームと非基準フレームとの間の位置ずれを表す動き量を検出し、検出動き量に基づいて、基準フレームを含むｎ枚の画像の中から基準フレームを含むｍ枚の画像を選択する。
【０００５】
例えば、下記特許文献１では、動画像の中から１枚の基準フレームを決めた後、基準フレーム及び（ｎ−１）枚の調査対象フレームから成るｎ枚のフレームを取得する。そして、基準フレームとの位置ずれ量（動き量）が比較的小さい調査対象フレームを選択し、基準フレームと選択した調査対象フレームとに基づいて高解像度画像を生成するようにしている。
【０００６】
【特許文献１】特開２００６−４１６０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
選択されるべきｍ枚の画像は、高解像度画像の画質向上にとって最適な画像であることが望ましい。しかしながら、上述したような方法では、選択処理前に基準フレームが設定され、選択されるｍ枚の画像に必ず基準フレームが含まれることになる。これは、最適な画像の選択を妨げうる。
【０００８】
例えば、第１〜第４の画像の中から３枚の画像を選択する場合において、第１の画像が基準フレームとして設定されたと想定する。この場合において、仮に、第２〜第４の画像を選択することが高解像度画像の画質向上にとって最適であったとしても、第１の画像が基準フレームとして設定されている以上、そのような選択は成し得ない。即ち、選択される３枚の画像は、第１、第２及び第３の画像、第１、第２及び第４の画像、又は、第１、第３及び第４の画像にしかなり得ない。
【０００９】
尚、特許文献１の手法のような、位置ずれ量の大小関係のみに基づく選択処理では、高解像度画像の実質的な解像度向上（画質向上）にとって最適な画像が選択されるとは限らない。尚、高解像度画像の実質的な解像度向上にとって最適な画像が、如何なる画像であるかは、後述の、本発明の実施形態の説明からも明らかとなる。
【００１０】
そこで本発明は、複数の低解像度画像から高画質な高解像度画像を低処理負荷で生成する画像処理装置及び電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、ｎ枚の低解像度画像を受ける画像入力部と（ｎは３以上の整数）、前記ｎ枚の低解像度画像に含まれる互いに異なる低解像度画像間の動き量を検出する動き量検出部と、前記動き量検出部の検出結果に基づいて、前記ｎ枚の低解像度画像の内のｍ枚をｍ枚の演算対象画像として選択する画像選択部（ｍは２以上の整数であって、ｎ＞ｍが成立）と、前記ｍ枚の演算対象画像と前記動き量検出部の検出結果に基づいて、前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度処理部と、を備えた画像処理装置であって、前記画像選択部は、前記ｎ枚の低解像度画像からｍ枚をとってできるnＣm通りの組み合わせの夫々に対して、前記動き量検出部の検出結果に基づく評価を行い、その評価結果から１つの組み合わせを選択することにより前記ｍ枚の演算対象画像を選択することを特徴とする。
【００１２】
これにより、高解像度画像の高画質化にとって最適な低解像度画像を選択することが可能となる。また、選択によって高解像度画像生成用の演算に利用される低解像度画像の枚数が削減されるので、処理負荷の低減も図られる。
【００１３】
具体的には例えば、夫々の組み合わせについてのｍ枚の低解像度画像をｍ枚の評価画像と呼んだ場合、前記画像選択部は、前記ｍ枚の評価画像間の検出動き量に基づき各評価画像を共通座標系に配置して考えたときの、前記ｍ枚の評価画像間の画素位置関係を、各組み合わせに対して評価し、その評価結果から１つの組み合わせを選択することにより前記ｍ枚の演算対象画像を選択する。
【００１４】
より具体的には例えば、前記ｍ枚の評価画像は、第１及び第２の評価画像を含み、各組み合わせにおいて、前記第２の評価画像上の注目画素位置は、前記第２の評価画像上の画素位置群の内の、第１の評価画像上の注目画素位置の最近傍に配置される画素位置であり、前記画像選択部は、前記第１の評価画像上の注目画素位置と第２の評価画像上の注目画素位置との間の距離を導出する距離導出処理を、各組み合わせに対して実行し、各組み合わせに対して導出された距離の内、前記低解像度画像の隣接画素間距離に基づく所定距離に最も近い距離を判定して、その最も近い距離に対応する前記ｍ枚の評価画像を前記ｍ枚の演算対象画像として選択する。
【００１５】
或いは例えば、ｍは３以上であって、前記ｍ枚の評価画像は第１〜第ｍの評価画像から成り、各組み合わせにおいて、第ｉの評価画像上の注目画素位置は、前記第ｉの評価画像上の画素位置群の内の、第１の評価画像上の注目画素位置の最近傍に配置される画素位置であり（ｉは２以上ｍ以下の整数）、前記画像選択部は、前記ｍ枚の評価画像についてのｍ個の注目画素位置を結んで形成される多角形の面積を導出する面積導出処理を、各組み合わせに対して実行し、各組み合わせに対して導出された前記面積の大小関係に基づいて１つの組み合わせを選択することにより前記ｍ枚の演算対象画像を選択する。
【００１６】
或いは例えば、ｍは３以上であり、前記ｍ枚の評価画像は第１〜第ｍの評価画像から成り、各組み合わせにおいて、第ｉの評価画像上の注目画素位置は、前記第ｉの評価画像上の画素位置群の内の、第１の評価画像上の注目画素位置の最近傍に配置される画素位置であり（ｉは２以上ｍ以下の整数）、前記画像選択部は、前記ｍ枚の評価画像についてのｍ個の注目画素位置に含まれる２つの注目画素位置の組を複数組注目して夫々の組に対して２つの注目画素位置間の距離を求め、求めた距離の総和を導出する総和導出処理を、各組み合わせに対して実行し、各組み合わせに対して導出された前記総和の大小関係に基づいて１つの組み合わせを選択することにより前記ｍ枚の演算対象画像を選択する。
【００１７】
本発明に係る電子機器は、前記画像処理装置を備え、ｎ枚の画像を撮影によって又は外部からの入力によって取得して、前記ｎ枚の画像の画像信号を前記画像処理装置に与える電子機器である。前記画像処理装置は、前記ｎ枚の画像を前記ｎ枚の低解像度画像として受ける。
【発明の効果】
【００１８】
本発明によれば、複数の低解像度画像から高画質な高解像度画像を低処理負荷で生成する画像処理装置及び電子機器を提供することが可能となる。
【００１９】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第１０実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２１】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画像及び静止画像を撮影可能となっていると共に、動画像撮影中に静止画像を同時に撮影することも可能となっている。
【００２２】
［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＤＲＡＭ（Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、ＶＲＡＭ（Video Random Access Memory）２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。
【００２３】
ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。
【００２４】
撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。被写体からの入射光は、光学系及び絞りを介して、撮像素子３３に入射する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。
【００２５】
撮像素子３３は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３は、光学系及び絞りを介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素（図１において不図示）を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。
【００２６】
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施し、画像処理後の画像についての映像信号を生成する。映像信号は、通常、画像の輝度を表す輝度信号Ｙと、画像の色を表す色差信号Ｕ及びＶと、から構成される。
【００２７】
マイク１４は撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００２８】
圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画像または静止画像の撮影及び記録時において、圧縮された映像信号は外部メモリ１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画像撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に記録される。
【００２９】
録画ボタン２６ａは、動画像の撮影及び記録の開始／終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、静止画像の撮影及び記録を指示するための押しボタンスイッチである。
【００３０】
撮像装置１の動作モードには、動画像及び静止画像の撮影が可能な撮影モードと、外部メモリ１８に格納された動画像及び静止画像を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００３１】
撮影モードでは、所定のフレーム周期にて順次撮影が行われ、撮像素子３３から撮影画像列が取得される。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。また、画像を表すデータを画像データと呼ぶ。画像データも、映像信号の一種と考えることができる。１つのフレーム周期分の画像データによって１枚分の画像が表現される。１つのフレーム周期分の画像データによって表現される１枚分の画像を、フレーム画像とも呼ぶ。
【００３２】
撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後に得られる映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介して外部メモリ１８に記録される。動画像撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、映像信号及び音声信号の外部メモリ１８への記録は終了し、１つの動画像の撮影は完了する。また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画像の撮影及び記録が行われる。
【００３３】
再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、外部メモリ１８に記録された動画像又は静止画像を表す圧縮された映像信号は、伸張処理部１９にて伸張されＶＲＡＭ２０に書き込まれる。尚、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６ｂに対する操作内容に関係なく、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号はＶＲＡＭ２０に書き込まれる。
【００３４】
表示部２７は、液晶ディスプレイなどの表示装置であり、ＶＲＡＭ２０に書き込まれている映像信号に応じた画像を表示する。また、再生モードにおいて動画像を再生する際、外部メモリ１８に記録された動画像に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。
【００３５】
映像信号処理部１３は、ＣＰＵ２３と協働しつつ、超解像処理を実施することが可能に形成されている。超解像処理によって、複数の低解像度画像から１枚の高解像度画像が生成される。この高解像度画像の映像信号を、圧縮処理部１６を介して外部メモリ１８に記録することができる。高解像度画像の解像度は、低解像度画像のそれよりも高く、高解像度画像の水平方向及び垂直方向の画素数は、低解像度画像のそれよりも多い。例えば、静止画の撮影指示がなされた時に、複数の低解像度画像としての複数のフレーム画像を取得し、それらに対して超解像処理を実施することにより高解像度画像を生成する。或いは例えば、動画撮影時に得られた複数の低解像度画像としての複数のフレーム画像に対して、超解像処理は実施される。
【００３６】
［超解像処理の基本概念］
超解像処理の基本概念について簡単に説明する。超解像処理の方式の一種として再構成型と呼ばれる方式が存在する。一方で、超解像処理を繰り返し演算（繰り返し型の計算アルゴリズム）にて実現する方式が存在し、この繰り返し演算を再構成型の超解像処理に適用することもできる。本実施形態では、繰り返し演算にて実現できる超解像処理の一種である、繰り返し演算を利用したＭＡＰ（Maximum A Posterior）法に基づく再構成型の超解像処理を主たる例にとる。
【００３７】
図２に、繰り返し演算を利用したＭＡＰ法に基づく再構成型の超解像処理の概念図を示す。この超解像処理では、実際の撮影によって得られた複数の低解像度画像から１枚の高解像度画像を推定し、この推定した高解像度画像を劣化させることによって元の複数の低解像度画像を推定する。実際の撮影によって得られた低解像度画像を特に「実低解像度画像」と呼び、推定された低解像度画像を特に「推定低解像度画像」と呼ぶ。その後、実低解像度画像と推定低解像度画像との誤差が最小化されるように、高解像度画像と低解像度画像を反復推定し、最終的に取得される高解像度画像を出力する。
【００３８】
図３に、図２に対応する超解像処理の流れをフローチャートにて表す。まず、ステップＳ１１にて、実低解像度画像から初期高解像度画像を生成する。続くステップＳ１２にて、現時点の高解像度画像を構築する元の実低解像度画像を推定する。推定された画像を、上述したように推定低解像度画像と呼ぶ。続くステップＳ１３では、実低解像度画像と推定低解像度画像との差分（差分画像）に基づいて現時点の高解像度画像に対する更新量を導出する。この更新量は、ステップＳ１２〜Ｓ１４の各処理の反復実行によって実低解像度画像と推定低解像度画像との誤差が最小化されるように導出される。そして、続くステップＳ１４にて、その更新量を用いて現時点の高解像度画像を更新し、新たな高解像度画像を生成する。この後、ステップＳ１２に戻り、新たに生成された高解像度画像を現時点の高解像度画像と捉えて、ステップＳ１２〜Ｓ１４の各処理が反復実行される。基本的に、ステップＳ１２〜Ｓ１４の各処理の反復回数が増大するほど、得られる高解像度画像の解像度が実質的に向上し（解像力が向上し）、理想に近い高解像度画像が得られる。
【００３９】
上述した動作の流れを基本とする超解像処理が、撮像装置１内にて実施される。ＭＡＰ法に基づく超解像処理以外に、ＭＬ（Maximum-Likelihood）法、ＰＯＣＳ（Projection Onto Convex Set）法、または、ＩＢＰ（Iterative Back Projection）法に基づく超解像処理を利用することも可能である。
【００４０】
ＭＡＰ法に代表される再構成型の超解像処理では、初期高解像度画像を生成した後、更新量の算出及び該更新量による高解像度画像の更新を含む演算処理（超解像演算処理）が反復実行されるが、この演算処理の反復実行は必須ではない。即ち、複数の低解像度画像から初期高解像度画像を生成し、この初期高解像度画像を、更新することなく、最終的に得られるべき高解像度画像として取り扱うようにしてもよい。
【００４１】
［低解像度画像の選択指針：選択最適化処理］
超解像処理を行う際、高解像度画像の推定に用いられる複数の実低解像度画像がフレーム画像列から選択されるが、この選択された実低解像度画像が高解像度画像の推定に適したものでないと、高い解像感を有する良好な高解像度画像を生成しがたい。映像信号処理部１３は、良好な高解像度画像の生成にとって最適な実低解像度画像を選択する機能を有する。この機能を実現する処理を以下「選択最適化処理」と呼ぶと共に、選択最適化処理によって選択された低解像度画像の夫々を「演算対象画像」と呼ぶ。
【００４２】
この選択最適化処理により、良好な高解像度画像の生成が可能となる。また、この選択を行うことは、高解像度画像の生成に用いられる実低解像度画像の枚数を制限することに対応する。従って、この選択の実行により、映像信号処理部１３での超解像処理の演算負荷が軽減されると共に高解像度画像の取得速度の高速化が図られる。
【００４３】
選択最適化処理による演算対象画像の基本選択指針を説明する。この基本選択指針の説明では、説明の簡略化上、各画像が１次元の画像であるものとし、且つ、互いに異なる時刻の撮影によって得られた３枚の実低解像度画像の内の２枚が、２枚の演算対象画像として選択されるものとする。３枚の実低解像度画像が第１〜第３の実低解像度画像から形成されるものとし、また、高解像度画像は低解像度画像の２倍の解像度を有しているものとする。
【００４４】
第１〜第３の実低解像度画像の撮影間において撮像装置１が手ぶれ等によって動いたことを想定する。第１〜第３の実低解像度画像の撮影間において被写体が静止していたとすれば、第２及び第３の実低解像度画像の夫々は、第１の実低解像度画像を位置ずれさせた画像とみなすことができる。第１の実低解像度画像を基準とした、第２及び第３の実低解像度画像の位置ずれ量を、夫々、Ｄ12及びＤ13にて表す。
【００４５】
図４は、第１〜第３の実低解像度画像上の画素を、共通座標系に配置して示した図である。但し、この共通座標系への配置の際、位置ずれ量Ｄ12及びＤ13に相当する分だけ、第１の実低解像度画像の画素を基準として、第２及び第３の実低解像度画像の画素をずらして配置する。図４において、黒三角、黒四角、黒丸は、夫々、共通座標系上における第１〜３の実低解像度画像の画素（及び画素位置）を示している。画素が配置される位置を、画素位置と呼ぶ。図４には、第１の低解像度画像の画素位置を基準に配置された、高解像度画像の画素も白丸にて示されている。また、低解像度画像の隣接画素間隔をｐｐLにて表す。今、高解像度画像が低解像度画像の２倍の解像度を有していることを想定しているため、高解像度画像の隣接画素間隔はｐｐL／２である。
【００４６】
図４の曲線３０１は、第１の実低解像度画像の撮影時における撮像素子３３の撮像面上のアナログ輝度信号を表している。このアナログ輝度信号は、撮像装置１の被写体の輝度分布に応じた信号である。撮像素子３３がこのアナログ輝度信号３０１をサンプリング間隔ｐｐLにてサンプリングすることによって、実低解像度画像の各画素の輝度値が得られる。
【００４７】
高解像度画像の画素位置が第１の実低解像度画像の画素位置を基準にして定められている場合、第１の実低解像度画像上の隣接画素３１１及び３１２の画素位置と同じ画素位置に、高解像度画像上の２つの画素３２１及び３２２が配置され、その画素３２１及び３２２の中間に、補間画素とも言うべき高解像度画像の画素３２３が更に配置される。画素３２１及び３２２の輝度値は画素３１１及び３１２の輝度値から生成することができるが、画素３１１及び３１２の輝度値だけでは画素３２３の輝度値を理想値（画素３２３の位置における実際の被写体の輝度値）に近づけることは困難である。そこで、画素３２３の輝度値の生成に、第２又は第３の実低解像度画像を利用する。この際、図４に示す如く、Ｄ12＜Ｄ13≒ｐｐL／２であれば、第２の実低解像度画像の輝度値よりも、第３の実低解像度画像の輝度値の方が、より理想値に近い値を有している。
【００４８】
従って、２枚の演算対象画像の内の一方が第１の実低解像度画像として定まっているならば、第３の実低解像度画像を、他方の演算対象画像として選択する。結果、理想値（実際の被写体の輝度値）により近い値に基づいて補間画素の画素値を取得することができるようになり、高解像度画像における実質的な解像度向上が見込める。
【００４９】
また、以下のような考え方もできる。仮に、Ｄ12≒０であるならば、第１及び第２の実低解像度画像は高解像度画像の生成にとって実質的に同じ画像であり、第２の実低解像度画像の存在は、高解像度画像の解像感向上に殆ど或いは全く寄与しない。よって、第１の実低解像度画像との間の位置ずれ量がなるだけｐｐL／２に近い実低解像度画像を演算対象画像に含めるべきである。
【００５０】
上述のような基本選択指針に基づいて選択最適化処理は実行される。上述の例では、第１の実低解像度画像が演算対象画像に含まれることを前提としているが、仮に、第２の実低解像度画像が一方の演算対象画像として定まっていたならば、第１及び第２の実低解像度画像又は第２及び第３の実低解像度画像が２枚の演算対象画像として選択されることとなり、最も理想的な２枚の実低解像度画像（即ち、第１及び第３の実低解像度画像）を２枚の演算対象画像として選択することができなくなる。これを考慮し、実際の選択最適化処理では、何れかの実低解像度画像が演算対象画像に含まれることを前提とすることなく、最適な演算対象画像の組み合わせを、いわゆる総当り式に探索する。
【００５１】
以下、選択最適化処理の具体的実現方法、超解像処理の内容、及び／又は、それらに関連する技術的事項を、第１〜第１０実施例にて説明する。矛盾が生じない限り、或る実施例にて述べた事項を他の実施例に適用することも可能である。特に、第１実施例内で説明した事項は、矛盾が生じない限り、第１実施例以外の各実施例に適用される。
【００５２】
以下の説明では、特に記述しない限り、撮影によって得られたフレーム画像が実低解像度画像として取り扱われ、低解像度画像及び高解像度画像に代表される任意の画像は、水平及び垂直方向の夫々に複数の画素がマトリクス状に配列された二次元画像であるとする。また、時刻ｔkの撮影によって得られた実低解像度画像（フレーム画像）をＦkにて表す。ここで、ｋは自然数である。時刻ｔkと時刻ｔk+1との間の時間長さは、例えば、フレーム周期に相当する。また、時刻ｔkについてのフレームを特に第ｋフレームと呼ぶ。
【００５３】
また、本明細書では、記述の簡略化上、記号を用いることによって、その記号に対応する名称を略記又は省略することがある。例えば、本明細書において、実低解像度画像Ｆ1を単に「画像Ｆ1」又は「Ｆ1」と表現することもあるが、前者と後者は同じものを指す。
【００５４】
＜＜第１実施例＞＞
本発明の第１実施例を説明する。図５は、撮像装置１内の、超解像処理に関与する部位のブロック図を示している。図５の映像信号処理部１３は、符号４１〜４９にて参照される各部位を含む。
【００５５】
フレームメモリ４１は、ＡＦＥ１２からのデジタル信号によって表される、１フレーム分の実低解像度画像の画像データを一時的に記憶する。フレームメモリ４２は、フレームメモリ４１に記憶された１フレーム分の実低解像度画像の画像データを一時的に記憶する。フレームメモリ４３は、フレームメモリ４２に記憶された１フレーム分の実低解像度画像の画像データを一時的に記憶する。フレームメモリ４４は、フレームメモリ４３に記憶された１フレーム分の実低解像度画像の画像データを一時的に記憶する。フレームメモリ４１の記憶内容は、１フレームが経過する毎に、順次、フレームメモリ４２、４３及び４４に転送される。これにより、第４フレームの終了時点においては、フレームメモリ４４、４３、４２及び４１に、夫々、実低解像度画像Ｆ1、Ｆ2、Ｆ3及びＦ4の画像データが記録される。
【００５６】
動き量算出部４５には、ＡＦＥ１２より現フレームの実低解像度画像の画像データと、フレームメモリ４１より前回フレームの実低解像度画像の画像データとが与えられる。動き量算出部４５は、与えられた両画像データを比較することにより、与えられた２枚の実低解像度画像間の位置ずれ量を表す動き量を算出する。この動き量は、水平成分及び垂直成分を含む二次元量であり、所謂動きベクトルとして表現される。現フレームが第２、第３、第４フレームと変化していくことにより、図６に示す如く、動き算出部４５では、画像Ｆ1及びＦ2間についての動き量ＭＶ12と、画像Ｆ2及びＦ3間についての動き量ＭＶ23と、画像Ｆ3及びＦ4間についての動き量ＭＶ34と、が求められる。求められた各動き量は、動き量記憶部４６に記憶される。また、動き量ＭＶ12、ＭＶ23及びＭＶ34から、画像Ｆ1及びＦ3間についての動き量ＭＶ13、画像Ｆ2及びＦ4間についての動き量ＭＶ24及び画像Ｆ1及びＦ4間についての動き量ＭＶ14も算出され、これらも動き量記憶部４６に記憶される。
【００５７】
動き量算出部４５は、代表点マッチング法やブロックマッチング法、勾配法などを用いて、２枚の実低解像度画像間の動き量を算出する。ここで算出される動き量は、実低解像度画像の画素間隔よりも分解能の高い、所謂サブピクセルの分解能を有している。つまり、実低解像度画像内の、水平又は垂直方向に隣接する２つの画素の間隔ｐｐLよりも短い距離を最小単位として動き量が算出される。サブピクセルの分解能を有する位置ずれ量の算出方法として、公知の算出方法を用いることができる。例えば、特開平１１-３４５３１５号公報に記載された方法や、“奥富，「ディジタル画像処理」，第二版，ＣＧ−ＡＲＴＳ協会，２００７年３月１日発行”に記載された方法（ｐ．２０５参照）を用いればよい。
【００５８】
画像選択部４７には、フレームメモリ４１〜４４を含むメモリ４０から、ｎ枚の実低解像度画像の画像データが与えられる。そして、動き量記憶部４６に記憶された各動き量に基づき、選択最適化処理によってｎ枚の実低解像度画像の中からｍ枚の実低解像度画像を選択し、選択したｍ枚の実低解像度画像をｍ枚の演算対象画像として超解像処理部４８に出力する。図５に示す例の場合、ｎ＝４であるが、ｎは３以上の任意の整数とされる。ｎ≠４の場合、メモリ４０を形成するフレームメモリの個数を、適宜、図５に示すものから変形すればよい。ｍは、不等式「ｎ＞ｍ」を満たす、２以上の任意の整数である。
【００５９】
超解像処理部４８は、ｍ枚の演算対象画像に含まれる、互いに異なる演算対象画像間の動き量を動き量記憶部４６から受け、その動き量と画像選択部４７からのｍ枚の演算対象画像（ｍ枚の実低解像度画像）とを用いた超解像処理によって１枚の高解像度画像を生成する。超解像処理部４８にて実行される超解像処理の方法として、上述の方法を含む、任意の方法を採用可能である。高解像度画像は、例えば、低解像度画像の２倍の解像度を有するように生成される。この場合、高解像度画像上の、水平又は垂直方向に沿った隣接画素の間隔はｐｐL／２である。
【００６０】
信号処理部４９は、超解像処理部４８にて生成された高解像度画像の画像データに基づき、その高解像度画像の映像信号（輝度信号及び色差信号）を生成する。尚、超解像処理が行われない場合は、ＡＦＥ１２から出力される実低解像度画像の画像データに基づく映像信号を信号処理部４９にて生成することも可能である。信号処理部４９にて生成された映像信号を、圧縮処理部１６による圧縮処理を介して外部メモリ１８に記憶することができる。
【００６１】
画像選択部４７の選択最適化処理による演算対象画像の選択方法を詳細に説明する。第１実施例では、ｎ＝４且つｍ＝２である場合を想定する。
【００６２】
メモリ４０から画像選択部４７に入力されたｎ枚の実低解像度画像Ｆ1〜Ｆnは、二次元の共通の座標系（以下、共通座標系という）上に配置して考えられる。図７に、共通座標系に配置された各実低解像度画像の格子及び画素を示す。符号４０１が付された黒三角形は画像Ｆ1の画素を表すと共に画像Ｆ1の画素が配置される位置を表し、符号４０２が付された黒四角形は画像Ｆ2の画素を表すと共に画像Ｆ2の画素が配置される位置を表し、符号４０３が付された黒丸は画像Ｆ3の画素を表すと共に画像Ｆ3の画素が配置される位置を表し、符号４０４が付された星型図形（十角形）は画像Ｆ4の画素を表すと共に画像Ｆ4の画素が配置される位置を表している。尚、図７（及び後述する図８等）では、画像Ｆ1を形成する画素群を表す三角形群の一部に対してのみ符号４０１が付されている。符号４０２〜４０４についても同様である。
【００６３】
画像Ｆk上の画素は共通座標系の水平方向及び垂直方向に等間隔で格子状に配列される（ｋ＝１，２，３，４）。画像Ｆkを形成する画素が共通座標系において二次元配列される格子を画像Ｆkの格子と呼ぶ。
【００６４】
画像Ｆ2は、画像Ｆ1を動き量ＭＶ12に相当する分だけ位置ずれさせた画像であるとみなすことができる。画像選択部４７は、画像Ｆ1を基準とした画像Ｆ2の位置ずれが打ち消されるように、共通座標系上に画像Ｆ1及びＦ2の格子を設定する。例えば、画像Ｆ1から見た画像Ｆ2の動き量の方向が右方向であって且つ該動き量の大きさがｐｐL／２である場合、画像Ｆ1の格子から、左方向にｐｐL／２だけずらした位置に画像Ｆ2の格子を設定する。同様に、画像Ｆ1の格子を基準として、画像Ｆ3及びＦ4の格子が共通座標系上に設定される。画像Ｆ1の格子を基準に考える場合、動き量ＭＶ12、ＭＶ13及びＭＶ14に基づいて画像Ｆ1〜Ｆ4の格子位置が定まる。尚、画像Ｆ2、Ｆ3又はＦ4を基準にして、共通座標系上における画像Ｆ1〜Ｆ4の格子位置の設定を行うようにしても良い。
【００６５】
画像選択部４７は、４枚の画像Ｆ1〜Ｆ4の中から２枚の画像（演算対象画像）を選択するべく、画像Ｆ1〜Ｆ4に含まれる２枚の画像についての、画素位置間距離を算出する。この算出は、４枚の画像Ｆ1〜Ｆ4から２枚の画像を選ぶ組み合わせの数だけ行われる。ｎ個のものからｍ個のものをとってできる組み合わせの個数は、nＣmである。今の例では、ｎ＝４且つｍ＝２を想定しているため、nＣm＝4Ｃ2＝６であり、４枚の画像Ｆ1〜Ｆ4から２枚の画像を選ぶ組み合わせには、第１〜第６の組み合わせがある。
【００６６】
画素位置間距離の算出対象となる２枚の画像の夫々を評価画像と呼び、２枚の評価画像を記号ＦA及びＦBにて表す。そうすると、第１、第２、第３、第４、第５、第６の組み合わせにおいて、夫々、（Ａ，Ｂ）＝（１，２）、（１，３）、（１，４）、（２，３），（２，４）及び（３，４）である。評価画像は、動き量に基づいて共通座標系に配置された、何れかの実低解像度画像である（後述の他の実施例においても同様）。
【００６７】
第１の組み合わせについての画素位置間距離の算出方法を説明する。画素位置間距離は、共通座標系上における距離である。第１の組み合わせについての画素位置間距離を算出する際、（Ａ，Ｂ）＝（１，２）より画像Ｆ1及びＦ2が評価画像ＦA及びＦBとして取り扱われ、画像Ｆ1の注目画素位置と画像Ｆ2の注目画素位置との、共通座標系上における距離ｄ12が算出される。
【００６８】
距離ｄ12を算出する際において、画像Ｆ1の注目画素位置は、画像Ｆ1上の任意の１つの画素位置である。図８の符号４０１ａが付された黒三角形の配置位置が、画像Ｆ1の注目画素位置であった場合を考える。
【００６９】
画像選択部４７は、評価画像ＦAの注目画素位置を中心とする基準矩形領域を設定する。基準矩形領域は正方形形状の領域であって、その正方形の一辺の長さはｐｐLである。第１の組み合わせについて考える場合、評価画像ＦAは画像Ｆ1であって且つ評価画像ＦAの注目画素位置は画素位置４０１ａであるから、図８に示す、画素位置４０１ａを中心とする、一辺の長さがｐｐLの正方形領域４１０が基準矩形領域として設定される。
【００７０】
そして、第１の組み合わせについての画素位置間距離を算出する際、画像Ｆ2の注目画素位置は、基準矩形領域４１０内に位置する、画像Ｆ2の画素位置４０２ａである。ここで、基準矩形領域４１０の内と外との境界線上に位置する画素位置も、基準矩形領域４１０内に位置する画素位置と取り扱われる（基準矩形領域４１０以外の基準矩形領域についても同様）。画素位置４０２ａは、画像Ｆ2の画素位置群の内、画像Ｆ1の注目画素位置４０１ａの最近傍に位置する画素位置である。第１の組み合わせについての画素位置間距離に相当する距離ｄ12は、画素位置４０１ａと画素位置４０２ａとの間の距離である。
【００７１】
第２及び第３の組み合わせについての画素位置間距離も同様にして算出される。第２の組み合わせについての画素位置間距離に相当する距離ｄ13は、画像Ｆ1の画素位置４０１ａと、基準矩形領域４１０内に位置する、画像Ｆ3の画素位置４０３ａとの間の距離であり、第３の組み合わせについての画素位置間距離に相当する距離ｄ14は、画像Ｆ1の画素位置４０１ａと、基準矩形領域４１０内に位置する、画像Ｆ4の画素位置４０４ａとの間の距離である。
【００７２】
第４の組み合わせについての画素位置間距離を算出する際は、（Ａ，Ｂ）＝（２，３）より画像Ｆ2及びＦ3が評価画像ＦA及びＦBとして取り扱われ、第５の組み合わせについての画素位置間距離を算出する際は、（Ａ，Ｂ）＝（２，４）より画像Ｆ2及びＦ4が評価画像ＦA及びＦBとして取り扱われる。このため、図９に示す如く、画像Ｆ2上の任意の１つの画素位置である注目画素位置４０２ｂを中心として、基準矩形領域４２０が設定される。この基準矩形領域４２０も、上述したように、一辺の長さがｐｐLの正方形領域である。
【００７３】
そして、第４及び第５の組み合わせに関し、評価画像ＦBの注目画素位置は、夫々、基準矩形領域４２０内に位置する、画像Ｆ3の画素位置４０３ｂ及び画像Ｆ4の画素位置４０４ｂとされる。このため、第４の組み合わせについての画素位置間距離に相当する距離ｄ23は、画素位置４０２ｂと画素位置４０３ｂとの間の距離であり、第５の組み合わせについての画素位置間距離に相当する距離ｄ24は、画素位置４０２ｂと画素位置４０４ｂとの間の距離である。
【００７４】
第６の組み合わせについての画素位置間距離に相当する距離ｄ34も、同様にして算出される。図９に示される画素位置４０３ｂ及び４０４ｂ間の距離が、基準距離ｄREF以下であるならば、画素位置４０３ｂ及び４０４ｂ間の距離が距離ｄ34である。ここで、基準距離ｄREFは、基準矩形領域の対角線の長さの半分に相当する。即ち、基準距離ｄREFは、ｐｐL／２に、２の平方根を乗じたものである。
【００７５】
上述の如く、画像選択部４７は、評価画像ＦAの注目画素位置と評価画像ＦBの注目画素位置との距離を求める距離導出処理を第１〜第６の組み合わせの夫々に対して実行することにより、６つの距離ｄ12、ｄ13、ｄ14、ｄ23、ｄ24及びｄ34を求める。そして、その６つの距離の内、最大の距離を特定する。距離導出処理によって求められる距離は、常に基準距離ｄREF以下であるから、ここで特定される最大の距離は、６つの距離の内の、基準距離ｄREFに最も近い距離である。そして、画像選択部４７は、特定した距離に対応する２枚の実低解像度画像を２枚の演算対象画像として選択する。図８及び図９に示す例では、６つの距離の内、距離ｄ24が最も大きいため、距離ｄ24に対応する実低解像度画像Ｆ2及びＦ4が２枚の演算対象画像として選択される。
【００７６】
４枚の画像Ｆ1〜Ｆ4の内の何れかを基準画像として固定的に設定した後、その基準画像の画素位置と他の画像の画素位置との関係に基づいて、基準画像を含む２枚の演算対象画像を選択するという方法も考えられる。この方法を採用した場合において、基準画像が図８及び図９に示す例における画像Ｆ2又はＦ4であったならば、画像Ｆ2及びＦ4を２枚の演算対象画像として選択することも可能であるが、基準画像が画像Ｆ1又はＦ3であったならば、画像Ｆ2及びＦ4を２枚の演算対象画像として選択することができない。このように、基準画像を決めた後に、基準画像を含むｍ枚の演算対象画像を選択する方法では、基準画像の設定の仕方によって、最適な演算対象画像を選択することができなくなる。
【００７７】
一方、上述の選択最適化処理では、基準画像を定めることなく、ｎ枚の実低解像度画像の中から、超解像処理にとって最適なｍ枚の演算対象画像を選択することが可能である。即ち、演算対象画像の基本選択指針の説明で述べたように、高解像度画像の実質的な解像度向上に最適な演算対象画像を選択することが可能となり、高解像度画像の実質的な解像度（解像力）の最大化が図られる。
【００７８】
＜＜第２実施例＞＞
本発明の第２実施例を説明する。第２実施例に係る映像信号処理部１３は、図５に示すそれと同様であり、第１実施例に記載した事項が第２実施例にも適用される。但し、第２実施例では、ｍ＝３であるものとする。ｎは４以上であれば幾つでも良いが、説明の具体化のため、ｎ＝４であると想定する。
【００７９】
この場合、画像選択部４７は、動き量記憶部４６に記憶された各動き量に基づき、選択最適化処理によって４枚の実低解像度画像Ｆ1〜Ｆ4の中から３枚の実低解像度画像を選択し、選択した３枚の実低解像度画像を３枚の演算対象画像として超解像処理部４８に出力する。
【００８０】
第２実施例では、４枚の画像Ｆ1〜Ｆ4の中から３枚の画像（演算対象画像）を選択するべく、画像Ｆ1〜Ｆ4に含まれる３枚の画像を３枚の評価画像として抽出し、３枚の評価画像に対して、超解像処理に対する適性を評価する。ｎ個のものからｍ個のものをとってできる組み合わせの個数は、nＣmである。今の例では、ｎ＝４且つｍ＝３を想定しているため、nＣm＝4Ｃ3＝４であり、４枚の画像Ｆ1〜Ｆ4から３枚の画像を選ぶ組み合わせには、第１〜第４の組み合わせがある。
【００８１】
３枚の評価画像を記号ＦA、ＦB及びＦCにて表す。そうすると、第１、第２、第３、第４の組み合わせにおいて、夫々、（Ａ，Ｂ，Ｃ）＝（１，２，３）、（１，２，４）、（１，３，４）、（２，３，４）である。
【００８２】
画像選択部４７は、評価画像ＦAの注目画素位置と評価画像ＦBの注目画素位置と評価画像ＦCの注目画素位置とを結ぶ三角形の面積を導出する三角形面積導出処理を、第１〜第４の組み合わせの夫々に対して実行し、第１〜第４の組み合わせに対して導出された４つの面積の内、最大の面積に対応する３枚の実低解像度画像を３枚の演算対象画像として選択する。
【００８３】
三角形面積導出処理について説明する。まず、評価画像ＦAの注目画素位置は、評価画像ＦA上の任意の１つの画素位置である。第１実施例と同様、画像選択部４７は、評価画像ＦAの注目画素位置を中心とする基準矩形領域を設定する。その基準矩形領域内に位置する、評価画像ＦB及びＦCの画素位置が、評価画像ＦB及びＦCの注目画素位置である。よって、評価画像ＦBの注目画素位置は、評価画像ＦBの画素位置群の内、評価画像ＦAの注目画素位置の最近傍に位置する画素位置であり、評価画像ＦCの注目画素位置は、評価画像ＦCの画素位置群の内、評価画像ＦAの注目画素位置の最近傍に位置する画素位置である。
【００８４】
従って、図８及び図９に示す例では、第１の組み合わせに対して画素位置４０１ａ、４０２ａ及び４０３ａを結ぶ三角形の面積ＳT1が算出され、第２の組み合わせに対して画素位置４０１ａ、４０２ａ及び４０４ａを結ぶ三角形の面積ＳT2が算出され、第３の組み合わせに対して画素位置４０１ａ、４０３ａ及び４０４ａを結ぶ三角形の面積ＳT3が算出され、第４の組み合わせに対して画素位置４０２ｂ、４０３ｂ及び４０４ｂを結ぶ三角形の面積ＳT4が算出される。
【００８５】
そして、画像選択部４７は、面積ＳT1〜ＳT4の内、最大の面積を特定し、最大の面積に対応する３枚の実低解像度画像を３枚の演算対象画像として選択する。例えば、面積ＳT1〜ＳT4の内、面積ＳT1が最大であるのならば、面積ＳT1に対応する画像Ｆ1、Ｆ2及びＦ3が３枚の演算対象画像として選択され、面積ＳT4が最大であるのならば、面積ＳT4に対応する画像Ｆ2、Ｆ3及びＦ4が３枚の演算対象画像として選択される。
【００８６】
図１０は、画像Ｆ1〜Ｆ3が３枚の演算対象画像として選択される時の、共通座標系上における画像Ｆ1〜Ｆ4の画素位置関係を示している。図１０の例では、画像Ｆ1〜Ｆ3の注目画素位置によって形成される三角形が、底辺及び高さがｐｐL／２の二等辺三角形となっている。この二等辺三角形が形成されるとき、三角形の面積は最大化される。この二等辺三角形になるだけ近い（即ち、面積がなるだけ大きい）三角形に対応する３枚の実低解像度画像を３枚の演算対象画像として選択することにより、高解像度画像の実質的な解像度の最大化が図られる。
【００８７】
仮に、共通座標系上における画像Ｆ1〜Ｆ4の画素位置関係が図１１に示すような状況にある時において、画像Ｆ1〜Ｆ3を３枚の演算対象画像として選択しても、画像Ｆ2及びＦ3の存在は、高解像度画像の実質的な解像度向上に殆ど寄与しない。この点からも、面積に基づく選択最適化処理の意義が理解される。
【００８８】
＜＜第３実施例＞＞
本発明の第３実施例を説明する。第３実施例に係る映像信号処理部１３は、図５に示すそれと同様であり、第１実施例に記載した事項が第３実施例にも適用される。但し、第３実施例では、ｍ＝４であるものとする。これに伴い、ｎは５以上の整数とされ、５枚以上の実低解像度画像がメモリ４０を介して画像選択部４７に入力される。説明の具体化のため、今、ｎ＝５であるものとする。この場合、動き量算出部４５によって、動き量ＭＶ12、ＭＶ23及びＭＶ34に加えて、実低解像度画像Ｆ4及びＦ5間の動き量ＭＶ45も算出される。動き量記憶部４６に記憶されたそれらの動き量に基づいて、共通座標系上における画像Ｆ1〜Ｆ5の画素位置関係が決定される。
【００８９】
画像選択部４７は、動き量記憶部４６に記憶された各動き量に基づき、選択最適化処理によって５枚の実低解像度画像Ｆ1〜Ｆ5の中から４枚の実低解像度画像を選択し、選択した４枚の実低解像度画像を４枚の演算対象画像として超解像処理部４８に出力する。
【００９０】
第３実施例では、５枚の画像Ｆ1〜Ｆ5の中から４枚の画像（演算対象画像）を選択するべく、画像Ｆ1〜Ｆ5に含まれる４枚の画像を４枚の評価画像として抽出し、４枚の評価画像に対して、超解像処理に対する適性を評価する。ｎ個のものからｍ個のものをとってできる組み合わせの個数は、nＣmである。今の例では、ｎ＝５且つｍ＝４を想定しているため、nＣm＝5Ｃ4＝５であり、５枚の画像Ｆ1〜Ｆ5から４枚の画像を選ぶ組み合わせには、第１〜第５の組み合わせがある。
【００９１】
４枚の評価画像を記号ＦA、ＦB、ＦC及びＦDにて表す。そうすると、第１、第２、第３、第４、第５の組み合わせにおいて、夫々、（Ａ，Ｂ，Ｃ，Ｄ）＝（１，２，３，４）、（１，２，３，５）、（１，２，４，５）、（１，３，４，５）、（２，３，４，５）である。
【００９２】
画像選択部４７は、評価画像ＦAの注目画素位置と評価画像ＦBの注目画素位置と評価画像ＦCの注目画素位置と評価画像ＦDの注目画素位置とを結ぶ四角形の面積を導出する四角形面積導出処理を、第１〜第５の組み合わせの夫々に対して実行し、第１〜第５の組み合わせに対して導出された５つの面積の内、最大の面積に対応する４枚の実低解像度画像を４枚の演算対象画像として選択する。
【００９３】
四角形面積導出処理について説明する。まず、評価画像ＦAの注目画素位置は、評価画像ＦA上の任意の１つの画素位置である。第１実施例と同様、画像選択部４７は、評価画像ＦAの注目画素位置を中心とする基準矩形領域を設定する。その基準矩形領域内に位置する、評価画像ＦB、ＦC及びＦDの画素位置が、評価画像ＦB、ＦC及びＦDの注目画素位置である。よって、評価画像ＦBの注目画素位置は、評価画像ＦBの画素位置群の内、評価画像ＦAの注目画素位置の最近傍に位置する画素位置であり、評価画像ＦCの注目画素位置は、評価画像ＦCの画素位置群の内、評価画像ＦAの注目画素位置の最近傍に位置する画素位置であり、評価画像ＦDの注目画素位置は、評価画像ＦDの画素位置群の内、評価画像ＦAの注目画素位置の最近傍に位置する画素位置である。
【００９４】
従って、仮に共通座標系上において画像Ｆ1〜Ｆ4の画素が図８に示すような位置に配置されているならば、第１の組み合わせに対して画素位置４０１ａ、４０２ａ、４０３ａ及び４０４ａを結ぶ四角形の面積ＳR1が算出される。同様にして、第２〜第５の組み合わせに対して、夫々、四角形の面積ＳR2〜ＳR5が算出される。
【００９５】
画像選択部４７は、面積ＳR1〜ＳR5の内、最大の面積を特定し、最大の面積に対応する４枚の実低解像度画像を４枚の演算対象画像として選択する。例えば、面積ＳR1〜ＳR5の内、面積ＳR1が最大であるのならば、面積ＳR1に対応する画像Ｆ1〜Ｆ4が４枚の演算対象画像として選択され、面積ＳR5が最大であるのならば、面積ＳR5に対応する画像Ｆ2〜Ｆ5が４枚の演算対象画像として選択される。
【００９６】
図１２は、画像Ｆ1〜Ｆ4が４枚の演算対象画像として選択される時の、共通座標系上における画像Ｆ1〜Ｆ4の画素位置関係を示している。図１２の例では、画像Ｆ1〜Ｆ4の注目画素位置によって形成される四角形が、一辺の長さがｐｐL／２の正方形となっている。この正方形が形成されるとき、四角形の面積は最大化される。この正方形になるだけ近い（即ち、面積がなるだけ大きい）四角形に対応する４枚の実低解像度画像を４枚の演算対象画像として選択することにより、高解像度画像の実質的な解像度の最大化が図られる。
【００９７】
＜＜第４実施例＞＞
本発明の第４実施例を説明する。第２及び第３実施例では、ｍ＝３及びｍ＝４であることを想定し、三角形及び四角形の面積の導出を介して演算対象画像の選択を行っているが、第４実施例では、ｍが３以上の任意の整数であることを想定して、選択最適化処理を一般化する。ｎ＞ｍであるため、第４実施例では、ｎは４以上の整数である。ｎ＝４且つｍ＝３であるならば第４実施例に係る選択最適化処理は第２実施例のそれと同じであり、ｎ＝５且つｍ＝４であるならば、第４実施例に係る選択最適化処理は第３実施例のそれと同じである。
【００９８】
第４実施例に係る画像選択部４７には、ｎ枚の実低解像度画像がメモリ４０を介して画像選択部４７に入力される。動き量算出部４５は、画像Ｆiと画像Ｆj間の動き量を算出し、動き量算出部４５によって算出された動き量は動き量記憶部４６に記憶される。ここで、ｉ及びｊは、１以上ｎ以下の整数である。但し、ｉ≠ｊである。動き量記憶部４６に記憶された各動き量に基づいて、共通座標系上における画像Ｆ1〜Ｆnの画素位置関係が決定される。
【００９９】
画像選択部４７は、動き量記憶部４６に記憶された各動き量に基づき、選択最適化処理によってｎ枚の実低解像度画像Ｆ1〜Ｆnの中からｍ枚の実低解像度画像を選択し、選択したｍ枚の実低解像度画像をｍ枚の演算対象画像として超解像処理部４８に出力する。
【０１００】
画像選択部４７は、ｎ枚の画像Ｆ1〜Ｆnの中からｍ枚の画像（演算対象画像）を選択するべく、画像Ｆ1〜Ｆnに含まれるｍ枚の画像をｍ枚の評価画像として抽出し、ｍ枚の評価画像に対して、超解像処理に対する適性を評価する。ｎ個のものからｍ個のものをとってできる組み合わせの個数は、nＣmである。従って、評価画像の組み合わせには、第１〜第nＣmの組み合わせがある。各組み合わせにおいて、ｍ枚の評価画像は第１〜第ｍの評価画像から形成される。
【０１０１】
画像選択部４７は、第１〜第ｍの評価画像の注目画素位置を結んで形成されるｍ角形の面積を導出する多角形面積導出処理を、第１〜第nＣmの組み合わせの夫々に対して実行し、第１〜第nＣmの組み合わせに対して導出されたnＣm個の面積の内、最大の面積に対応するｍ枚の実低解像度画像をｍ枚の演算対象画像として選択する。
【０１０２】
多角形面積導出処理について説明する。まず、第１の評価画像の注目画素位置は、第１の評価画像上の任意の１つの画素位置である。第１実施例と同様、画像選択部４７は、第１の評価画像の注目画素位置を中心とする基準矩形領域を設定する。その基準矩形領域内に位置する、第２〜第ｍの評価画像の画素位置が、第２〜第ｍの評価画像の注目画素位置である。よって、ｉを２以上ｍ以下の整数として考えたならば、第ｉの評価画像の注目画素位置は、第ｉの評価画像の画素位置群の内、第１の評価画像の注目画素位置の最近傍に位置する画素位置である。
【０１０３】
＜＜第５実施例＞＞
本発明の第５実施例を説明する。第５実施例に係る映像信号処理部１３は、図５に示すそれと同様であり、第１実施例に記載した事項が第５実施例にも適用される。第２〜第４実施例では、ｍ≧３の時、多角形の面積を導出することによって選択最適化処理を実現しているが、第５実施例では、面積を導出するのではなく、多角形の頂点間距離の総和を導出することによって選択最適化処理を実現する。基本的に、多角形の面積が増大するにつれて多角形の頂点間距離の総和も増大するので、第５実施例によっても第２〜第４実施例と同様の効果が得られる。
【０１０４】
第５実施例において、ｍは３以上の任意の整数であってよいが、説明の具体化のため、第５実施例では、ｍ＝３であるとする。更に、ｎ＝４であるとする。
【０１０５】
この場合、画像選択部４７は、動き量記憶部４６に記憶された各動き量に基づき、選択最適化処理によって４枚の実低解像度画像Ｆ1〜Ｆ4の中から３枚の実低解像度画像を選択し、選択した３枚の実低解像度画像を３枚の演算対象画像として超解像処理部４８に出力する。
【０１０６】
画像選択部４７は、４枚の画像Ｆ1〜Ｆ4の中から３枚の画像（演算対象画像）を選択するべく、画像Ｆ1〜Ｆ4に含まれる３枚の画像を３枚の評価画像として抽出し、３枚の評価画像に対して、超解像処理に対する適性を評価する。ｎ個のものからｍ個のものをとってできる組み合わせの個数は、nＣmである。今の例では、ｎ＝４且つｍ＝３を想定しているため、nＣm＝4Ｃ3＝４であり、４枚の画像Ｆ1〜Ｆ4から３枚の画像を選ぶ組み合わせには、第１〜第４の組み合わせがある。
【０１０７】
第２実施例と同様、３枚の評価画像を記号ＦA、ＦB及びＦCにて表す。そうすると、第１、第２、第３、第４の組み合わせにおいて、夫々、（Ａ，Ｂ，Ｃ）＝（１，２，３）、（１，２，４）、（１，３，４）、（２，３，４）である。
【０１０８】
画像選択部４７は、評価画像ＦAの注目画素位置と評価画像ＦBの注目画素位置と評価画像ＦCの注目画素位置とを結ぶ三角形の頂点間距離の総和を導出する総和導出処理を、第１〜第４の組み合わせの夫々に対して実行し、第１〜第４の組み合わせに対して導出された４つの総和の内、最大の総和に対応する３枚の実低解像度画像を３枚の演算対象画像として選択する。第１〜第４の組み合わせに対して導出される総和を、夫々、ＳＵＭ1〜ＳＵＭ4にて表す。
【０１０９】
総和導出処理について説明する。評価画像ＦA〜ＦCの注目画素位置の意義は、第２実施例で述べたものと同じである。ｉが１、２、３又は４である場合、第ｉの組み合わせに対する総和導出処理では、評価画像ＦA及びＦBの注目画素位置間の距離と、評価画像ＦB及びＦCの注目画素位置間の距離と、評価画像ＦA及びＦCの注目画素位置間の距離との総和ＳＵＭiが求められる。従って、図８及び図９に示す例では、第１の組み合わせに対して、画素位置４０１ａ及び４０２ａ間の距離ｄ12と画素位置４０２ａ及び４０３ａ間の距離ｄ23と画素位置４０１ａ及び４０３ａ間の距離ｄ13との総和（ｄ12＋ｄ23＋ｄ13）が求められ、その総和（ｄ12＋ｄ23＋ｄ13）がＳＵＭ1とされる。同様に、第２の組み合わせに対して、画素位置４０１ａ及び４０２ａ間の距離ｄ12と画素位置４０２ａ及び４０４ａ間の距離ｄ24と画素位置４０１ａ及び４０４ａ間の距離ｄ14との総和（ｄ12＋ｄ24＋ｄ14）が求められ、その総和（ｄ12＋ｄ24＋ｄ14）がＳＵＭ2とされる。第３及び第４の組み合わせについても同様である。
【０１１０】
そして、画像選択部４７は、総和ＳＵＭ1〜ＳＵＭ4の内、最大の総和を特定し、最大の総和に対応する３枚の実低解像度画像を３枚の演算対象画像として選択する。例えば、総和ＳＵＭ1〜ＳＵＭ4の内、総和ＳＵＭ1が最大であるのならば、総和ＳＵＭ1に対応する画像Ｆ1、Ｆ2及びＦ3が３枚の演算対象画像として選択され、総和ＳＵＭ4が最大であるのならば、総和ＳＵＭ4に対応する画像Ｆ2、Ｆ3及びＦ4が３枚の演算対象画像として選択される。
【０１１１】
尚、図８に示す状況と異なるが、仮に画素位置４０１ａ、４０２ａ及び４０３ａが一直線上に並ぶ場合、総和（ｄ12＋ｄ23＋ｄ13）として算出されるＳＵＭ1は、三角形の頂点間距離の総和とは呼べない。総和ＳＵＭ2〜ＳＵＭ4についても同様のことが言える。このような場合においても、総和ＳＵＭiの算出方法及び総和ＳＵＭiに基づく３枚の演算対象画像の選択方法は、上述したものと同様である（上述の説明では、図８に示す状況との整合を考慮して、総和（ｄ12＋ｄ23＋ｄ13）を三角形の頂点間距離の総和と呼んだに過ぎない）。
【０１１２】
また、以下のように、多角形の頂点間の水平及び垂直方向距離を個別に求め、水平及び垂直方向距離の総和を求めるようにしてもよい。このような総和を求める処理を変形総和導出処理と呼ぶ。ｉが１、２、３又は４である場合、第ｉの組み合わせに対する変形総和導出処理では、図１３に示す如く、評価画像ＦA及びＦBの注目画素位置間の水平方向距離ｄABH、評価画像ＦB及びＦCの注目画素位置間の水平方向距離ｄBCH、評価画像ＦA及びＦCの注目画素位置間の水平方向距離ｄACH、評価画像ＦA及びＦBの注目画素位置間の垂直方向距離ｄABV、評価画像ＦB及びＦCの注目画素位置間の垂直方向距離ｄBCV、並びに、評価画像ＦA及びＦCの注目画素位置間の垂直方向距離ｄACVが求められ、それらの距離の総和（ｄABH＋ｄBCH＋ｄACH＋ｄABV＋ｄBCV＋ｄACV）が、総和ＳＵＭiとして算出される。総和ＳＵＭiが算出された後の動作は、上述したものと同じである。図１３において、位置４５０Ａ、４５０Ｂ及び４５０Ｃは、夫々、評価画像ＦA、ＦB及びＦCの注目画素位置を表している。
【０１１３】
尚、図１３に示す状況と異なるが、仮に位置４５０Ａ、４５０Ｂ及び４５０Ｃが一直線上に並ぶ場合は、総和（ｄABH＋ｄBCH＋ｄACH＋ｄABV＋ｄBCV＋ｄACV）として算出されるＳＵＭiは三角形の頂点間の水平及び垂直方向距離とは呼べない。但し、このような場合においても、水平及び垂直方向距離に基づく総和ＳＵＭiの算出方法は、上述したものと同様である。
【０１１４】
＜＜第６実施例＞＞
本発明の第６実施例を説明する。第６実施例では、ｍが３以上の任意の整数であることを想定して、第５実施例における総和導出処理を用いた選択最適化処理を一般化する。ｎ＞ｍであるため、第６実施例では、ｎは４以上の整数である。ｎ＝４且つｍ＝３であるならば第６実施例に係る選択最適化処理は第５実施例にて具体的に示したものと同じである。
【０１１５】
第６実施例に係る画像選択部４７には、ｎ枚の実低解像度画像がメモリ４０を介して入力される。動き量算出部４５は、画像Ｆiと画像Ｆj間の動き量を算出し、動き量算出部４５によって算出された動き量は動き量記憶部４６に記憶される。ここで、ｉ及びｊは、１以上ｎ以下の整数である。但し、ｉ≠ｊである。動き量記憶部４６に記憶された各動き量に基づいて、共通座標系上における画像Ｆ1〜Ｆnの画素位置関係が決定される。
【０１１６】
画像選択部４７は、動き量記憶部４６に記憶された各動き量に基づき、選択最適化処理によってｎ枚の実低解像度画像Ｆ1〜Ｆnの中からｍ枚の実低解像度画像を選択し、選択したｍ枚の実低解像度画像をｍ枚の演算対象画像として超解像処理部４８に出力する。
【０１１７】
画像選択部４７は、ｎ枚の画像Ｆ1〜Ｆnの中からｍ枚の画像（演算対象画像）を選択するべく、画像Ｆ1〜Ｆnに含まれるｍ枚の画像をｍ枚の評価画像として抽出し、ｍ枚の評価画像に対して、超解像処理に対する適性を評価する。ｎ個のものからｍ個のものをとってできる組み合わせの個数は、nＣmである。従って、評価画像の組み合わせには、第１〜第nＣmの組み合わせがある。各組み合わせにおいて、ｍ枚の評価画像は第１〜第ｍの評価画像から形成される。
【０１１８】
画像選択部４７は、第１〜第ｍの評価画像の注目画素位置を結んで形成されるｍ角形の頂点間距離の総和を導出する総和導出処理を、第１〜第nＣmの組み合わせの夫々に対して実行し、第１〜第nＣmの組み合わせに対して導出されたnＣm個の総和の内、最大の総和に対応するｍ枚の実低解像度画像をｍ枚の演算対象画像として選択する。
【０１１９】
総和導出処理について説明する。第１〜第ｍの評価画像の注目画素位置の意義は、第４実施例で述べたものと同じである。ｉを１以上であって且つnＣm以下の整数とし且つ変数ｐ及びｑを１以上ｍ以下の整数とした場合（但し、ｐ≠ｑ）、第ｉの組み合わせに対する総和導出処理では、第ｐ及び第ｑの評価画像の注目画素位置間の距離を、変数ｐとｑの全ての組み合わせに対して求め、求めた全距離の合算値を、第ｉの組み合わせに対して求められるべき総和とする。尚、第５実施例で述べた変形総和導出処理によって総和を求めることも可能である。
【０１２０】
また、第５実施例でも述べたのと同様、第１〜第ｍの評価画像の注目画素位置の位置関係によっては（例えば、それらが一直線上に並ぶ場合においては）、上記の全距離の合算値はｍ角形の頂点間距離の総和とは呼べないが、このような場合においても、総和の算出方法及び該総和に基づくｍ枚の演算対象画像の選択方法は、上述したものと同様である。
【０１２１】
＜＜第７実施例＞＞
本発明の第７実施例を説明する。第７実施例では、共通座標系上におけるｎ枚の実低解像度画像の画素位置関係だけでなく、動き量の方向にも基づいて選択最適化処理が行われる。第７実施例に係る映像信号処理部１３は、図５に示すそれと同様であり、第１実施例に記載した事項が第７実施例にも適用される。ｎは４以上であれば幾つでも良いが、説明の具体化のため、ｎ＝４であると想定する。ｍは２以上ｎ未満であれば幾つでも良いが、説明の具体化のため、ｍ＝３であると想定する。この場合、画像選択部４７は、動き量記憶部４６に記憶された各動き量に基づき、選択最適化処理によって４枚の実低解像度画像Ｆ1〜Ｆ4の中から３枚の実低解像度画像を選択し、選択した３枚の実低解像度画像を３枚の演算対象画像として超解像処理部４８に出力する。
【０１２２】
画像選択部４７は、４枚の画像Ｆ1〜Ｆ4の中から３枚の画像（演算対象画像）を選択するべく、画像Ｆ1〜Ｆ4に含まれる３枚の画像を３枚の評価画像ＦA、ＦB及びＦCとして抽出し、３枚の評価画像に対して、超解像処理に対する適性を評価する。４枚の画像Ｆ1〜Ｆ4から３枚の評価画像を選ぶ組み合わせには、第１〜第４の組み合わせがある。第１、第２、第３、第４の組み合わせにおいて、夫々、（Ａ，Ｂ，Ｃ）＝（１，２，３）、（１，２，４）、（１，３，４）、（２，３，４）である。
【０１２３】
画像選択部４７は、超解像処理に対する適性に応じた評価値を導出する評価値算出処理を、第１〜第４の組み合わせの夫々に対して実行し、第１〜第４の組み合わせに対して導出された４つの評価値の内、最大の評価値に対応する３枚の実低解像度画像を３枚の演算対象画像として選択する。第１〜第４の組み合わせに対して導出される評価値を、夫々、ＥＶ1〜ＥＶ4にて表す。
【０１２４】
評価値算出処理を説明する。画像選択部４７は、動き記憶部４６に記憶された動き量に基づき、評価画像ＦA及びＦB間の動き量と画像ＦB及びＦC間の動き量の平均動き量を基準動き量として算出する。また、図１４に示す如く、画像の左下と右上を結ぶ方向を右斜め方向と呼び、画像の右下と左上を結ぶ方向を左斜め方向と呼ぶ。画像の垂直方向は上下方向に対応し、画像の水平方向は左右方向に対応する。
【０１２５】
算出された基準動き量の方向に最も近い方向が、右斜め方向、左斜め方向、上下方向及び左右方向の中から選択される。
選択された方向が右斜め方向である場合、右斜め方向が第１方向に設定され、それに直交する左斜め方向が第２方向に設定される。
選択された方向が左斜め方向である場合、左斜め方向が第１方向に設定され、それに直交する右斜め方向が第２方向に設定される。
選択された方向が上下方向である場合、上下方向が第１方向に設定され、それに直交する左右方向が第２方向に設定される。
選択された方向が左右方向である場合、左右方向が第１方向に設定され、それに直交する上下方向が第２方向に設定される。
【０１２６】
第１及び第２方向を定めた後、画像選択部４７は、評価画像ＦA及びＦBの注目画素位置間の第２方向に沿った距離と、評価画像ＦA及びＦCの注目画素位置間の第２方向に沿った距離との総和を求める。第ｉの組み合わせに対して求められた総和が評価値ＥＶiとして取り扱われる。評価画像ＦA〜ＦCの注目画素位置の意義は、第２実施例で述べたものと同じである。
【０１２７】
例として、第１方向が右斜め方向に設定された場合における、第１の組み合わせに対する評価値算出処理を説明する。画像の動きの支配的方向、即ち第１方向が右斜め方向である場合、右斜め方向に比較的大きな画像の動きが存在するため、図１５（ａ）に示すような、濃淡が右斜め方向に沿って変化するようなエッジ（以下、右斜めエッジという）はぼける。従って、このような場合に、右斜めエッジの解像度（解像力）増大を目指すような超解像処理を行っても効果は薄い。従って、第１方向が右斜め方向である場合は、図１５（ｂ）に示すような、濃淡が左斜め方向に沿って変化するようなエッジ（以下、左斜めエッジという）の高解像度化を目指す。
【０１２８】
第１方向が右斜め方向である場合、距離の導出に関与する第２方向は、上述したように左斜め方向である。従って、画像Ｆ1及びＦ2の注目画素位置間の左斜め方向に沿った距離ｄAB2と画像Ｆ1及びＦ3の注目画素位置間の左斜め方向に沿った距離ｄAC2との総和が求められ、その総和（ｄAB2＋ｄAC2）を評価値ＥＶ1として取り扱う。この総和（ｄAB2＋ｄAC2）の増大は、画像Ｆ1〜Ｆ3の画像情報に含まれる左斜め方向の情報量の増加につながり、この総和が増大すればするほど、画像Ｆ1〜Ｆ3を用いて得た高解像度画像上の左斜めエッジが理想的なものに近づく。
【０１２９】
第２〜第４の組み合わせに対しても同様の評価値算出処理がなされ、上述したように、最大の評価値に対応する３枚の実低解像度画像が３枚の演算対象画像として選択される。これにより、画像の動きの方向に応じた最適な実低解像度画像が演算対象画像として選択され、高解像度画像の実質的な解像度の最大化が図られる。
【０１３０】
上述の説明では、ｍ＝３である場合を想定したが、ｍ＝２である場合は、以下のようにすればよい。ｍ＝２である場合、画像選択部４７は、画像Ｆ1〜Ｆ4に含まれる２枚の画像を２枚の評価画像ＦA及びＦBとして抽出し、２枚の評価画像に対して、超解像処理に対する適性を評価する。４枚の画像Ｆ1〜Ｆ4から２枚の評価画像を選ぶ組み合わせには、第１〜第６の組み合わせがある。第１、第２、第３、第４、第５、第６の組み合わせにおいて、夫々、（Ａ，Ｂ）＝（１，２）、（１，３）、（１，４）、（２，３），（２，４）及び（３，４）である。
【０１３１】
画像選択部４７は、超解像処理に対する適性に応じた評価値を導出する評価値算出処理を、第１〜第６の組み合わせの夫々に対して実行する。第１〜第６の組み合わせに対して導出される評価値を、夫々、ＥＶ1〜ＥＶ6にて表す。
【０１３２】
ｍ＝２の場合は、評価画像ＦA及びＦB間の動き量を基準動き量として取り扱った上で、上述した方法に従って第１及び第２方向を設定する。そして、画像選択部４７は、評価画像ＦA及びＦBの注目画素位置間の第２方向に沿った距離を求める。第ｉの組み合わせに対して求められた距離が評価値ＥＶiとして取り扱われる。そして、画像選択部４７は、評価値ＥＶ1〜ＥＶ6の内、最大の評価値に対応する２枚の実低解像度画像を２枚の演算対象画像として選択する。これにより、画像の動きの支配的方向の直交方向に沿って濃淡変化が表れるようなエッジの高解像度化が促進される。
【０１３３】
＜＜第８実施例＞＞
本発明の第８実施例を説明する。第８実施例では、上述の各実施例にて説明された選択最適化処理の変形例を説明する。従って、第１〜第７実施例にて説明された事項は、適宜、第８実施例に取り込まれる。
【０１３４】
第１実施例では、ｍ枚の評価画像に対して、注目画素位置間の距離を１つだけ算出することを想定しているが、第１実施例における距離の算出処理を以下のように変形することもできる。この変形された算出処理を、変形算出処理と呼ぶ。
【０１３５】
まず、第８実施例では、動き量算出部４５により２枚の実低解像度画像間に対して算出される動き量が、画像座標系上の様々な位置に対して求められた動きベクトル（動き量）の束から形成されることを前提とする。図１６（ｂ）の画像５０１及び５０２は、動き量算出用に対比される２枚の実低解像度画像を表しており、図１６（ａ）の画像５００は、画像５０１又は５０２である。今、図１６（ａ）に示す如く、画像５００の全体画像領域が９つの一部画像領域ＡＲ1〜ＡＲ9に分割され、一部画像領域ＡＲ1〜ＡＲ9の夫々に対して１つの動きベクトルが求められる場合を想定する。但し、一部画像領域の個数を９以外にすることも可能である。そして、図１６（ｂ）に示す如く、一部画像領域ＡＲ1〜ＡＲ9に対して求められた、画像５０１及び５０２間の動きベクトルを、それぞれ記号Ｍ1〜Ｍ9によって表す。動きベクトルＭ1〜Ｍ9の夫々は、第１実施例で述べた動き量と同様、実低解像度画像の画素間隔よりも分解能の高い、いわゆるサブピクセルの分解能を有している。求められた各動きベクトルは、動き量記億部４６に記憶される。
【０１３６】
第１実施例では、動き量ＭＶ12に基づいて画像Ｆ1及びＦ2の全体の格子位置を決定したが、変形算出処理では、これを、一部画像領域ごとに行う。即ち、一部画像領域ＡＲ1に対する画像Ｆ1及びＦ2間の動きベクトルＭ1に基づき、一部画像領域ＡＲ1において画像Ｆ1の基準とした画像Ｆ2の位置ずれが打ち消されるように、一部画像領域ＡＲ1における画像Ｆ1及びＦ2の格子を共通座標系上に設定する。一部画像領域ＡＲ2〜ＡＲ9に対しても同様の格子設定処理を行う。更に、画像Ｆ1及びＦ2以外の、２枚の実低解像度画像に対しても同様の格子設定処理を行う。このような、一部画像領域ごとの格子設定処理を、便宜上、変形格子設定処理と呼ぶ。
【０１３７】
その後、評価画像ＦAの注目画素位置と評価画像ＦBの注目画素位置との距離を求める処理を一部画像領域ＡＲ1〜ＡＲ9の夫々に対して個別に行い、求められた９つの距離の合計距離を求める。この合計距離を求める演算は、第１〜第６の組み合わせの夫々に対して実行される。そして、画像選択部４７は、第１〜第６の組み合わせに対して求められた６つの合計距離の内、最大の合計距離に対応する２枚の実低解像度画像を２枚の演算対象画像として選択する。
【０１３８】
尚、評価画像ＦAの注目画素位置と評価画像ＦBの注目画素位置との距離を求める処理を一部画像領域ＡＲ1〜ＡＲ9の夫々に対して個別に行い、一部画像領域ごとに、演算対象画像の選択を行うことも可能である。この、一部画像領域ごとに演算対象画像の選択を行う処理を、変形選択処理と呼ぶ。
【０１３９】
変形選択処理では、変形格子設定処理の実行後、評価画像ＦAの注目画素位置と評価画像ＦBの注目画素位置との距離を求める処理を一部画像領域ＡＲ1〜ＡＲ9の夫々に対して且つ第１〜第６の組み合わせの夫々に対して実行する。その後、一部画像領域ＡＲ1に関して、第１〜第６の組み合わせに対して求められた６つの距離の内の最大距離を特定し、最大距離に対応する２枚の実低解像度画像を、一部画像領域ＡＲ1に対する２枚の演算対象画像として選択する。同様にして、一部画像領域ＡＲ2〜ＡＲ9に対する２枚の演算対象画像を選択する。結果、或る一部画像領域に対する２枚の演算対象画像と、他の一部画像領域に対する２枚の演算対象画像は異なりうる。
【０１４０】
例えば、一部画像領域ＡＲ1に対する演算対象画像として画像Ｆ1及びＦ2が選択され、一部画像領域ＡＲ2〜ＡＲ9に対する演算対象画像として画像Ｆ3及びＦ4が選択された場合、画像Ｆ1及びＦ2の一部画像領域ＡＲ1内の画像データと、画像Ｆ3及びＦ4の一部画像領域ＡＲ2〜ＡＲ9内の画像データとが、超解像処理部４８に出力され、超解像処理部４８は、一部画像領域ごとに超解像処理を行うことによって高解像度画像の全体の画像データを生成する。この場合、一部画像領域ＡＲ1に対応する高解像度画像の部分領域は、画像Ｆ1及びＦ2の一部画像領域ＡＲ1内の画像データに基づいて生成され、一部画像領域ＡＲ2〜ＡＲ9に対応する高解像度画像の部分領域は、画像Ｆ3及びＦ4の一部画像領域ＡＲ2〜ＡＲ9内の画像データに基づいて生成されることになる。
【０１４１】
上述の変形算出処理は、第１実施例以外の他の実施例に適用することも可能である。例えば、第４実施例に変形算出処理を適用する場合、変形格子設定処理の実行後、第１〜第ｍの評価画像の注目画素位置を結んで形成されるｍ角形の面積を導出する処理を一部画像領域ＡＲ1〜ＡＲ9の夫々に対して個別に行い、求められた９つの面積の合計面積を求める。この合計面積を求める演算は、第１〜第nＣmの組み合わせの夫々に対して実行される。そして、画像選択部４７は、第１〜第nＣmの組み合わせに対して求められたnＣm個の合計面積の内、最大の合計面積に対応するｍ枚の実低解像度画像をｍ枚の演算対象画像として選択する。
【０１４２】
また、第６実施例に変形算出処理を適用する場合、変形格子設定処理の実行後、第１〜第ｍの評価画像の注目画素位置を結んで形成されるｍ角形の頂点間距離の総和を導出する処理を一部画像領域ＡＲ1〜ＡＲ9の夫々に対して個別に行い、求められた９つの総和の合計値を求める。この合計値を求める演算は、第１〜第nＣmの組み合わせの夫々に対して実行される。そして、画像選択部４７は、第１〜第nＣmの組み合わせに対して求められたnＣm個の合計値の内、最大の合計値に対応するｍ枚の実低解像度画像をｍ枚の演算対象画像として選択する。
【０１４３】
上述の変形選択処理は、第１実施例以外の他の実施例に適用することも可能である。例えば、第４実施例に変形選択処理を適用する場合、変形格子設定処理の実行後、第１〜第ｍの評価画像の注目画素位置を結んで形成されるｍ角形の面積を導出する処理を一部画像領域ＡＲ1〜ＡＲ9の夫々に対して且つ第１〜第nＣmの組み合わせの夫々に対して実行する。その後、一部画像領域ＡＲiに関して、第１〜第nＣmの組み合わせに対して求められたnＣm個の面積の内の最大面積を特定し、最大面積に対応するｍ枚の実低解像度画像を、一部画像領域ＡＲiに対するｍ枚の演算対象画像として選択する。この選択は、ｉ＝１、２、３、４、５、６、７、８、９の夫々に対して実行される。一部画像領域ごとに選択された演算対象画像の画像データが超解像処理部４８に出力され、その画像データに基づく高解像度画像が超解像処理によって生成される。
【０１４４】
また、第６実施例に変形選択処理を適用する場合、変形格子設定処理の実行後、第１〜第ｍの評価画像の注目画素位置を結んで形成されるｍ角形の頂点間距離の総和を導出する処理を一部画像領域ＡＲ1〜ＡＲ9の夫々に対して且つ第１〜第nＣmの組み合わせの夫々に対して実行する。その後、一部画像領域ＡＲiに関して、第１〜第nＣmの組み合わせに対して求められたnＣm個の総和の内の最大値を特定し、最大値に対応するｍ枚の実低解像度画像を、一部画像領域ＡＲiに対するｍ枚の演算対象画像として選択する。この選択は、ｉ＝１、２、３、４、５、６、７、８、９の夫々に対して実行される。一部画像領域ごとに選択された演算対象画像の画像データが超解像処理部４８に出力され、その画像データに基づく高解像度画像が超解像処理によって生成される。
【０１４５】
＜＜第９実施例＞＞
本発明の第９実施例を説明する。第９実施例では、図５の超解像処理部４８の構成例を説明する。図１７は、第９実施例に係る超解像処理部４８の内部ブロック図である。図１７の超解像処理部４８は、符号６１〜６５によって参照される部位を備える。
【０１４６】
初期高解像度推定部６１は、図５の画像選択部４７から出力されるｍ枚の演算対象画像としてのｍ枚の実低解像度画像と動き量記憶部４６に記憶された動き量とに基づいて、初期高解像度画像を生成する。超解像処理部４８では、ｍ枚の演算対象画像としてのｍ枚の実低解像度画像の内、１枚が基準フレームとして且つ残りの（ｍ−１）枚の夫々が参照フレームとして設定される。
【０１４７】
初期高解像度推定部６１は、動き量記憶部４６に記憶された動き量に基づいて基準フレームに対する各参照フレームの位置ずれを検出し、それらの位置ずれを打ち消すための位置ずれ補正を行う。そして、位置ずれ補正後の基準フレーム及び参照フレームを組み合わせることによって、初期高解像度画像を生成する。初期高解像度画像の生成方法として、特開２００６−４１６０３号公報にも記載されているような、補間処理を用いた方法を利用可能である。
【０１４８】
超解像処理部４８にて生成される高解像度画像の画素位置は、基準フレームの画素位置を基準に設定される。図１８に、共通座標系上における基準フレームの画素と高解像度画像の画素との位置関係を示す。この位置関係は、水平及び垂直方向において高解像度画像が低解像度画像の２倍の解像度を有している場合の位置関係である。図１８において、４つの白丸は基準フレーム上の４つの画素を表し、９つの白三角は高解像度画像上の９つの画素を表している。図１８に示す例では、基準フレーム上における４つの画素の配置位置と、高解像度画像上における４つの画素の配置位置とが一致している。つまり、高解像度画像は第１種類の画素と第２種類の画素とを備え、共通座標系において、第１種類の画素は、基準フレームの画素が配置される位置と同じ位置に配置される。そして、水平方向に隣接する第１種類の画素の中間位置、垂直方向に隣接する第１種類の画素の中間位置、及び、斜め方向に隣接する第１種類の画素の中間位置に、夫々、補間画素である第２種類の画素が配置される。
【０１４９】
選択部６２は、初期高解像度推定部６１にて生成された高解像度画像（初期高解像度画像）とフレームメモリ６５に一時的に記憶された高解像度画像の何れか１つを選択して出力する。選択部６２では、１回目の選択動作において、初期高解像度推定部６１で推定された初期高解像度画像を選択し、２回目以降の各選択動作において、フレームメモリ６５に一時記憶された高解像度画像を選択する。
【０１５０】
高解像度更新量算出部６３（以下、更新量算出部６３と略記する）は、選択部６２にて選択された高解像度画像と、ｍ枚の演算対象画像と、動き量記憶部４６に記憶された動き量に基づいて、高解像度画像に対する更新量を求める。より具体的には、選択部６２にて選択された高解像度画像の画素値を書き並べた行列Ｘに対して、動き量記憶部４６に記憶された動き量に基づくｍ個のカメラパラメータ行列を乗じることにより、ｍ枚の演算対象画像の推定画像に相当するｍ枚の推定低解像度画像を生成する。そして、例えば、ＭＡＰ法に従い、そのｍ枚の推定低解像度画像とｍ枚の演算対象画像（ｍ枚の実低解像度画像）との誤差に応じた評価関数Ｉを定義し、その評価関数Ｉが最小化されるように高解像度画像に対する更新量を求める。
【０１５１】
減算部６４は、選択部６２にて選択された高解像度画像の画素値の行列Ｘから、更新量算出部６３にて算出された更新量を減算することにより、高解像度画像を更新する。更新後の高解像度画像は、行列Ｘから更新量を減算した行列Ｘ’の要素を画素値として有する。更新後の高解像度画像は、フレームメモリ６５に与えられる。フレームメモリ６５は、減算部６４から与えられた、更新量による画像更新後の高解像度画像を一時的に記憶し、これを選択部６２に与える。これにより、減算部６４から出力された高解像度画像が、更新量算出部６３及び減算部６４によって再度更新される。
【０１５２】
更新量算出部６３等による高解像度画像の更新処理を含む超解像演算処理は繰り返し実行されるが、この繰り返しの回数に上限回数を設定しておくことができる。超解像演算処理の繰り返し回数が上限回数に達した場合、その時点で減算部６４にて得られている最新の高解像度画像を減算部６４から図５の信号処理部４９に出力する。また、超解像演算処理の繰り返し回数に関わらず、高解像度画像に対する更新量が十分に小さくなったと判断される場合には、その時点で減算部６４にて得られている最新の高解像度画像を減算部６４から信号処理部４９に出力するようにしても構わない。
【０１５３】
超解像演算処理を反復実行する超解像処理部の構成例を説明したが、既に述べたように、この反復を行うことなく、初期高解像度画像を、最終的に得られるべき高解像度画像として信号処理部４９に出力することも可能である。
【０１５４】
＜＜第１０実施例＞＞
本発明の第１０実施例を説明する。上述の説明では、超解像処理を含む画像処理を、電子機器の一種である撮像装置１内にて行っているが、その画像処理を撮像装置１と異なる電子機器にて実現することも可能である。この電子機器は、例えば、図１９に示すような、画像を再生可能な画像再生装置１０１である。画像再生装置１０１は、図５の映像信号処理部１３と同じ構成及び機能を有する映像信号処理部（画像処理部）１０２と、液晶ディスプレイパネルなどから成る表示部１０３と、を備える。画像再生装置１０１の外部から映像信号処理部１０２に実低解像度画像列の画像データが供給される。例えば、撮像装置１又は他の撮像装置にて取得されたｎ枚の実低解像度画像の画像データが、無線又は有線にて或いは記録媒体を介して映像信号処理部１０２に供給される。このｎ枚の実低解像度画像に対して、映像信号処理部１０２にて選択最適化処理及び超解像処理を実行することにより、高解像度画像が生成される。この高解像度画像を表示部１０３にて再生表示することが可能である。
【０１５５】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１５６】
［注釈１］
高解像度画像が低解像度画像の２倍の解像度を有している例、即ち、低解像度画像に対する高解像度画像の解像度拡大率を２倍にする例を上述したが、その解像度拡大率は２倍以外であってもよい。
【０１５７】
［注釈２］
上述の説明では、画像データに基づく演算によって実低解像度画像間の動き量を導出しているが、実空間上における撮像装置１の動きを検出するセンサ（不図示）の検出結果に基づいて、実低解像度画像間の動き量を導出するようにしてもよい。撮像装置１の動きを検出するセンサは、例えば、撮像装置１の角速度を検出する角速度センサ、撮像装置１の角加速度を検出する角加速度センサ、若しくは、撮像装置１の加速度を検出する加速度センサ、又は、それらの組み合わせである。また、そのようなセンサの検出結果と画像データの双方に基づいて、実低解像度画像間の動き量を導出してもよい。
【０１５８】
［注釈３］
図１の撮像装置１及び図１９の画像再生装置１０１の夫々は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、映像信号処理部１３又は１０２内で実行される処理の一部を、ソフトウェアを用いて実現することも可能である。勿論、映像信号処理部１３又は１０２をハードウェアのみで形成することも可能である。ソフトウェアを用いて撮像装置１又は画像再生装置１０１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【図面の簡単な説明】
【０１５９】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】繰り返し演算を利用したＭＡＰ法に基づく再構成型の超解像処理の概念図である。
【図３】図２に対応する超解像処理の流れを表すフローチャートである。
【図４】本発明の実施形態に係る選択最適化処理の基本選択指針を説明するための図であって、第１〜第３の実低解像度画像上の画素を共通座標系に配置して示した図である。
【図５】本発明の実施形態に係り、図１の撮像装置内の、超解像処理に関与する部位のブロック図である。
【図６】本発明の実施形態に係り、４枚の実低解像度画像に対して求められる動き量を示した図である。
【図７】本発明の第１実施例に係り、検出動き量に基づき４枚の実低解像度画像の画素が共通座標系上に配置される様子を示した図である。
【図８】本発明の第１実施例に係り、画素位置間の距離を説明するための図である。
【図９】本発明の第１実施例に係り、画素位置間の距離を説明するための図である。
【図１０】本発明の第２実施例に係り、３つの注目画素位置に３頂点を有する三角形の面積が最大化される様子を示した図である。
【図１１】本発明の第２実施例に係り、共通座標系上の画素位置関係の例を示す図である。
【図１２】本発明の第３実施例に係り、４つの注目画素位置に４頂点を有する四角形の面積が最大化される様子を示した図である。
【図１３】本発明の第５実施例に係る水平方向距離及び垂直方向距離の意義を説明するための図である。
【図１４】本発明の第７実施例に係り、共通座標系上の画素位置関係の例を示す図である。
【図１５】画像上に存在しうる右斜めエッジ（ａ）及び左斜めエッジ（ｂ）を表す図である。
【図１６】本発明の第８実施例に係り、１枚の実低解像度画像の全体画像領域が９つの一部画像領域に分割される様子を示す図（ａ）と、２枚の実低解像度画像に対して一部画像領域ごとに動きベクトルが算出される様子を示す図（ｂ）である。
【図１７】本発明の第９実施例に係る超解像処理部の内部ブロック図である。
【図１８】本発明の第９実施例に係り、基準フレームの画素と高解像度画像の画素との位置関係を示す図である。
【図１９】本発明の第１０実施例に係る画像再生装置の内部ブロック図である。
【符号の説明】
【０１６０】
１  撮像装置
１１  撮像部
１３  映像信号処理部
３３  撮像素子
４５  動き量算出部
４６  動き量記憶部
４７  画像選択部
４８  超解像処理部
【図１】
2010068093.tif 000003
【図２】
2010068093.tif 000004
【図３】
2010068093.tif 000005
【図４】
2010068093.tif 000006
【図５】
2010068093.tif 000007
【図６】
2010068093.tif 000008
【図７】
2010068093.tif 000009
【図８】
2010068093.tif 000010
【図９】
2010068093.tif 000011
【図１０】
2010068093.tif 000012
【図１１】
2010068093.tif 000013
【図１２】
2010068093.tif 000014
【図１３】
2010068093.tif 000015
【図１４】
2010068093.tif 000016
【図１５】
2010068093.tif 000017
【図１６】
2010068093.tif 000018
【図１７】
2010068093.tif 000019
【図１８】
2010068093.tif 000020
【図１９】
2010068093.tif 000021