(57)【要約】【課題】超解像処理によって得られる高解像度画像において、輪郭部のジャギーを低減する。【解決手段】超解像部は、互いに位置ずれを含む複数の低解像度画像から１枚の高解像度画像を生成する。配置位置決定部は、複数の低解像度画像間の位置ずれ量（ｌｘ）に基づいて複数の低解像度画像を共通座標面上にずらして配置するとともに、共通座標面上における高解像度画像の配置位置（ｘ）を決定する。この際、高解像度画像における画素とその画素に対応する各低解像度画像における画素との距離（ｄ11とｄ21とｄ12とｄ22又はｄ22’）を参照し、その距離のばらつきに基づいて、高解像度画像の配置位置を決定する。例えば、そのばらつきが最小化されるように配置位置を決定する。【選択図】図９
2009237650.tif 000002
【特許請求の範囲】
【請求項１】
互いに位置ずれを含む複数の低解像度画像から１枚の高解像度画像を生成する画像処理装置において、
前記複数の低解像度画像間の位置ずれ量を導出する位置ずれ量導出手段と、
前記複数の低解像度画像が共通座標面上でずれるように前記位置ずれ量に基づいて前記共通座標面上における前記複数の低解像度画像の配置位置を決定するとともに、前記共通座標面上における前記高解像度画像の配置位置を決定する配置位置決定手段と、を備え、
前記配置位置決定手段は、前記高解像度画像における画素とその画素に対応する各低解像度画像における画素との距離を参照し、前記距離のばらつきに基づいて、前記共通座標面上における前記高解像度画像の配置位置を決定する
ことを特徴とする画像処理装置。
【請求項２】
前記距離は、前記高解像度画像の着目画素の最近傍に配置される、各低解像度画像の画素の位置と、前記着目画素の位置との距離を含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記高解像度画像の画素はｍ種類に分類されて（ｍは２以上の整数）、第１〜第ｍの種類に属する第１〜第ｍの着目画素が設定され、
前記配置位置決定手段は、
前記第１〜第ｍの着目画素の夫々に対する前記距離を参照し、
参照する全ての距離のばらつきに基づいて、前記共通座標面上における前記高解像度画像の配置位置を決定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記複数の低解像度画像は第１及び第２の低解像度画像を含み、
第ｊの着目画素に対する前記距離は第１及び第２の距離を含み（ｊは１以上ｍ以下の整数）、
前記第ｊの着目画素に対する前記第１及び第２の距離は、夫々、前記第ｊの着目画素と、前記第ｊの着目画素の最近傍に配置される、第１及び第２の低解像度画像における画素との距離であり、
前記配置位置決定手段は、前記距離のばらつきだけでなく、前記着目画素ごとの、前記第１及び第２の距離間の差分の大きさにも基づいて、前記共通座標面上における前記高解像度画像の配置位置を決定する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記配置位置決定手段は、前記距離のばらつきが最小化されるように、前記共通座標面上における前記高解像度画像の配置位置を決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記配置位置決定手段は、前記差分の大きさを前記着目画素ごとに求めて、求めた前記差分の大きさの和を導出し、前記距離のばらつきと前記和とを含む評価関数の値が最小化されるように、前記共通座標面上における前記高解像度画像の配置位置を決定する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記複数の低解像度画像は、３枚以上の低解像度画像であって、第１〜第３の低解像度画像を含み、
前記位置ずれ量導出手段によって導出される前記位置ずれ量は、第１及び第２の低解像度画像間の位置ずれ量と第１及び第３の低解像度画像間の位置ずれ量とを含み、
前記配置位置決定手段は、
前記高解像度画像における画素とその画素に対応する第ｉの低解像度画像における画素との距離を導出する距離導出手段を備え（ｉは１、２又は３）、
前記第１〜第３の低解像度画像に対して導出された複数の距離のばらつきに応じた評価値に基づいて、前記共通座標面上における前記高解像度画像の配置位置を決定し、
各位置ずれ量の信頼度に応じて、前記評価値に対する各距離の寄与度を変化させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記配置位置決定手段によって決定された前記高解像度画像の配置位置に前記高解像度画像を配置した場合における前記距離のばらつきに応じて、前記高解像度画像の鮮鋭度を調節する鮮鋭度調節手段を更に備えた
ことを特徴とする請求項１〜請求項７の何れかに記載の画像処理装置。
【請求項９】
順次撮影によって時系列で並ぶ複数の撮影画像を取得する撮像手段と、
前記撮像手段によって取得された前記複数の撮影画像を互いに位置ずれを含む複数の低解像度画像と捉えて、前記複数の低解像度画像から１枚の高解像度画像を生成する請求項１〜請求項８の何れかに記載の画像処理装置と、を備えた
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理を行う画像処理装置及び撮像装置に関する。特に本発明は、複数の低解像度画像から高解像度画像を生成する超解像処理技術に関する。
【背景技術】
【０００２】
低い解像度の画像を高解像度化する画像処理技術として超解像処理が提案されている。超解像処理を行う装置は、位置ずれのある複数の低解像度画像を参照し、複数の低解像度画像間の位置ずれ量と複数の低解像度画像の画像データに基づいて低解像度画像の高解像度化を行うことにより１枚の高解像度画像を生成する。
【０００３】
位置ずれ量を検出する部位は、複数の低解像度画像の内の一つを基準画像として設定すると共に残りの低解像度画像を参照画像として設定し、基準画像と参照画像の画像データに基づいて、基準画像と参照画像との間の位置ずれ量を、サブピクセルの分解能を有するように算出する。
【０００４】
複数の低解像度画像は共通座標面上に配置して考えられ、複数の低解像度画像間の配置位置関係は上記位置ずれ量によって定まる。複数の低解像度画像が基準画像としての第１の低解像度画像と参照画像としての第２の低解像度画像から成る場合、第１及び第２の低解像度画像の画素は共通座標面上に図１８（ａ）に示すように配置される。但し、説明の簡単化のため、各画像が一次元画像である場合を考える。図１８（ａ）及び後述する図１８（ｂ）及び（ｃ）において、各三角形は第１の低解像度画像を形成する画素を表し、各四角形は第２の低解像度画像を形成する画素を表している。第１の低解像度画像内の或る１つの画素が配置される位置を基準位置と考えた場合、その画素と、その画像に対応する第２の低解像度画像内の画素との距離は、算出された位置ずれ量ｌｘに合致する。
【０００５】
超解像処理を行う装置は、上記の共通座標面上に更に高解像度画像の各画素を配置する。そして、高解像度画像の画素の画素値を、その画素の近傍に位置する、第１及び第２の低解像度画像の画素の画素値から求め、これによって高解像度画像を生成する。
【０００６】
例えば、共通座標面上における高解像度画像の配置位置は、基準画像の配置位置を基準にして決定される。即ち、或る従来方法（以下、従来方法１という）では、図１８（ｂ）に示す如く、基準画像の基準位置と同じ位置を基準として高解像度画像の各画素を配列している（特許文献１参照）。或いは、他の従来方法（以下、従来方法２という）では、図１８（ｃ）に示す如く、基準画像の基準位置からｌｘ／２だけ移動した位置を基準として、高解像度画像の各画素を配列している（特許文献２参照）。
【０００７】
図１８（ｂ）及び（ｃ）において、黒丸ＰA［０］〜ＰA［２］及び白丸ＰB［０］〜ＰB［２］は高解像度画像を形成する画素を表している。また、図１８（ｂ）及び（ｃ）は、低解像度画像に対する高解像度画像の拡大率が２であって、且つ、位置ずれ量ｌｘが低解像度画像の隣接画素間隔の１／８である場合に対応している。低解像度画像の画素の位置との関係において、画素ＰA［０］〜ＰA［２］を含む画素群は第１の種類の画素群と考えられ、画素ＰB［０］〜ＰB［２］を含む画素群は第２の種類の画素群と考えられる。
【０００８】
【特許文献１】特開２００５−１０９８２２号公報
【特許文献２】特開２００６−２４５６７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来方法１を用いた場合、黒丸によって表される画素（例えばＰA［０］）と該画素の最近傍に位置する低解像度画像の画素との距離は小さいが、白丸によって表される画素（例えばＰB［０］）と該画素の最近傍に位置する低解像度画像の画素との距離は大きくなる。従来方法２を用いた場合も同様である。
【００１０】
従って、今の例において従来方法１又は２を用いた場合は、第１の種類に属する画素群に含まれる高域周波数成分と第２の種類に属する画素群に含まれる高域周波数成分との間でばらつきが生じる。このばらつきは、高解像度画像の輪郭部にジャギー（ギザギザとした階段状の輪郭）を生じさせる。ジャギーに代表されるような、画質への悪影響は極力排除されるべきである。
【００１１】
そこで本発明は、複数の低解像度画像から高画質の高解像度画像を生成することができる画像処理装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る画像処理装置は、互いに位置ずれを含む複数の低解像度画像から１枚の高解像度画像を生成する画像処理装置において、前記複数の低解像度画像間の位置ずれ量を導出する位置ずれ量導出手段と、前記複数の低解像度画像が共通座標面上でずれるように前記位置ずれ量に基づいて前記共通座標面上における前記複数の低解像度画像の配置位置を決定するとともに、前記共通座標面上における前記高解像度画像の配置位置を決定する配置位置決定手段と、を備え、前記配置位置決定手段は、前記高解像度画像における画素とその画素に対応する各低解像度画像における画素との距離を参照し、前記距離のばらつきに基づいて、前記共通座標面上における前記高解像度画像の配置位置を決定することを特徴とする。
【００１３】
これにより、高解像度画像の輪郭部におけるジャギーの低減が期待される。
【００１４】
図１９に、２枚の低解像度画像を用いた場合において、距離のばらつきを考慮して決定された、各画像の配置位置例を示す。
【００１５】
具体的に例えば、前記距離は、前記高解像度画像の着目画素の最近傍に配置される、各低解像度画像の画素の位置と、前記着目画素の位置との距離を含む。
【００１６】
より具体的には例えば、前記高解像度画像の画素はｍ種類に分類されて（ｍは２以上の整数）、第１〜第ｍの種類に属する第１〜第ｍの着目画素が設定され、前記配置位置決定手段は、前記第１〜第ｍの着目画素の夫々に対する前記距離を参照し、参照する全ての距離のばらつきに基づいて、前記共通座標面上における前記高解像度画像の配置位置を決定する。
【００１７】
更に具体的には例えば、前記複数の低解像度画像は第１及び第２の低解像度画像を含み、第ｊの着目画素に対する前記距離は第１及び第２の距離を含み（ｊは１以上ｍ以下の整数）、前記第ｊの着目画素に対する前記第１及び第２の距離は、夫々、前記第ｊの着目画素と、前記第ｊの着目画素の最近傍に配置される、第１及び第２の低解像度画像における画素との距離であり、前記配置位置決定手段は、前記距離のばらつきだけでなく、前記着目画素ごとの、前記第１及び第２の距離間の差分の大きさにも基づいて、前記共通座標面上における前記高解像度画像の配置位置を決定する。
【００１８】
また例えば、前記配置位置決定手段は、前記距離のばらつきが最小化されるように、前記共通座標面上における前記高解像度画像の配置位置を決定する。
【００１９】
これに代えて例えば、前記配置位置決定手段は、前記差分の大きさを前記着目画素ごとに求めて、求めた前記差分の大きさの和を導出し、前記距離のばらつきと前記和とを含む評価関数の値が最小化されるように、前記共通座標面上における前記高解像度画像の配置位置を決定する。
【００２０】
また例えば、前記複数の低解像度画像は、３枚以上の低解像度画像であって、第１〜第３の低解像度画像を含み、前記位置ずれ量導出手段によって導出される前記位置ずれ量は、第１及び第２の低解像度画像間の位置ずれ量と第１及び第３の低解像度画像間の位置ずれ量とを含み、前記配置位置決定手段は、前記高解像度画像における画素とその画素に対応する第ｉの低解像度画像における画素との距離を導出する距離導出手段を備え（ｉは１、２又は３）、前記第１〜第３の低解像度画像に対して導出された複数の距離のばらつきに応じた評価値に基づいて、前記共通座標面上における前記高解像度画像の配置位置を決定し、各位置ずれ量の信頼度に応じて、前記評価値に対する各距離の寄与度を変化させる。
【００２１】
これにより、高解像度画像の配置位置の決定に寄与する、検出精度の低い距離の寄与度を相対的に下げるといったことが可能となる。結果、配置位置の決定の最適化がより促進される。
【００２２】
また例えば、当該画像処理装置は、前記配置位置決定手段によって決定された前記高解像度画像の配置位置に前記高解像度画像を配置した場合における前記距離のばらつきに応じて、前記高解像度画像の鮮鋭度を調節する鮮鋭度調節手段を更に備えている。
【００２３】
これによっても、ジャギーの低減が図られる。
【００２４】
本発明に係る撮像装置は、順次撮影によって時系列で並ぶ複数の撮影画像を取得する撮像手段と、前記撮像手段によって取得された前記複数の撮影画像を互いに位置ずれを含む複数の低解像度画像と捉えて、前記複数の低解像度画像から１枚の高解像度画像を生成する上記画像処理装置と、を備えたことを特徴とする。
【発明の効果】
【００２５】
本発明によれば、複数の低解像度画像から高画質の高解像度画像を生成することができる画像処理装置及び撮像装置を提供することが可能となる。
【００２６】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２８】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。尚、動画撮影機能を省略し、撮像装置１を静止画のみを撮影可能なデジタルスチルカメラとすることも可能である。
【００２９】
［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、ＶＲＡＭ（Video Random Access Memory）２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。
【００３０】
ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。
【００３１】
撮像部１１は、撮像素子（イメージセンサ）３３の他、光学系、絞り及びドライバ（図１において不図示）を備える。被写体からの入射光は、光学系及び絞りを介して、撮像素子３３に入射する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。
【００３２】
撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系及び絞りを介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。
【００３３】
ＡＦＥ１２は、撮像素子３３から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施し、画像処理後の画像についての映像信号を生成する。映像信号は、画像の輝度を表す輝度信号Ｙと、画像の色を表す色差信号Ｕ及びＶと、から構成される。
【００３４】
マイク１４は撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００３５】
圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画の撮影及び記録時において、圧縮された映像信号は外部メモリ１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に記録される。
【００３６】
録画ボタン２６ａは、動画の撮影及び記録の開始／終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、静止画の撮影及び記録を指示するための押しボタンスイッチである。
【００３７】
撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、外部メモリ１８に格納された動画及び静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。撮影モードでは、所定のフレーム周期にて順次撮影が行われ、撮像素子３３から時系列で並ぶ画像列が取得される。この画像列を形成する各画像を「フレーム画像」と呼ぶ。
【００３８】
撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後に得られる各フレーム画像の映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介して外部メモリ１８に記録される。動画撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、映像信号及び音声信号の外部メモリ１８への記録は終了し、１つの動画の撮影は完了する。また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影及び記録が行われる。
【００３９】
再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、外部メモリ１８に記録された動画又は静止画を表す圧縮された映像信号は、伸張処理部１９にて伸張されてからＶＲＡＭ２０に書き込まれる。尚、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６ｂに対する操作内容に関係なく、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は順次ＶＲＡＭ２０に書き込まれる。
【００４０】
表示部２７は、液晶ディスプレイなどの表示装置であり、ＶＲＡＭ２０に書き込まれた映像信号に応じた画像を表示する。また、再生モードにおいて動画を再生する際、外部メモリ１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。
【００４１】
映像信号処理部１３は、ＣＰＵ２３と協働しつつ、超解像処理を実施することが可能に形成されている。超解像処理によって、複数の低解像度画像から１枚の高解像度画像が生成される。この高解像度画像の映像信号を、圧縮処理部１６を介して外部メモリ１８に記録することができる。高解像度画像の解像度は、低解像度画像のそれよりも高く、高解像度画像の水平方向及び垂直方向の画素数は、低解像度画像のそれよりも多い。例えば、静止画の撮影指示がなされた時に、複数の低解像度画像としての複数のフレーム画像を取得し、それらに対して超解像処理を実施することにより高解像度画像を生成する。或いは例えば、動画撮影時に得られた複数の低解像度画像としての複数のフレーム画像に対して、超解像処理は実施される。
【００４２】
超解像処理の基本概念について簡単に説明する。例として、再構築型方式を用いた超解像処理を説明する。図２に、再構築型方式の一種であるＭＡＰ（Maximum A Posterior）方式を用いた超解像処理の概念図を示す。この超解像処理では、実際の撮影によって得られた複数の低解像度画像から１枚の高解像度画像を推定し、この推定した高解像度画像を劣化させることによって元の複数の低解像度画像を推定する。実際の撮影によって得られた低解像度画像を特に「観測低解像度画像」と呼び、推定された低解像度画像を特に「推定低解像度画像」と呼ぶ。その後、観測低解像度画像と推定低解像度画像との誤差が最小化されるように、高解像度画像と低解像度画像を反復推定し、最終的に取得される高解像度画像を出力する。
【００４３】
図３に、超解像処理の流れをフローチャートにて表す。まず、ステップＳ１１にて、観測低解像度画像から初期高解像度画像を生成する。続くステップＳ１２にて、現時点の高解像度画像を構築する元の観測低解像度画像を推定する。推定された画像を、上述したように推定低解像度画像と呼ぶ。続くステップＳ１３では、観測低解像度画像と推定低解像度画像との差分画像に基づいて現時点の高解像度画像に対する更新量を導出する。この更新量は、ステップＳ１２〜Ｓ１４の各処理の反復実行によって観測低解像度画像と推定低解像度画像との誤差が最小化されるように導出される。そして、続くステップＳ１４にて、その更新量を用いて現時点の高解像度画像を更新し、新たな高解像度画像を生成する。この後、ステップＳ１２に戻り、新たに生成された高解像度画像を現時点の高解像度画像と捉えて、ステップＳ１２〜Ｓ１４の各処理が反復実行される。基本的に、ステップＳ１２〜Ｓ１４の各処理の反復回数が増大するほど、得られる高解像度画像の解像度が実質的に向上し、理想に近い高解像度画像が得られる。
【００４４】
上述した動作の流れを基本とする超解像処理が、撮像装置１内にて実施される。撮像装置１にて実施される超解像処理は、どのような方式の超解像処理であっても構わないが、本実施形態では再構成型方式の超解像処理を採用した場合を説明する。再構成型方式は、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法などを含むが、本実施形態では、ＭＡＰ法を採用した構成を例にとる。
【００４５】
超解像処理に関する実施例として、以下に第１〜第４実施例を説明する。或る実施例（特に第１実施例）に記載した事項は、矛盾なき限り、他の実施例にも適用可能される。
【００４６】
＜＜第１実施例＞＞
まず、第１実施例について説明する。図４は、超解像処理を担う超解像部５０の内部ブロック図である。符号５２〜５６にて参照される各部位は図１の映像信号処理部１３内に設けられ、低解像度画像用フレームメモリ６１及び高解像度画像フレームメモリ６２（以下に、単にフレームメモリ６１及び６２という）は図１の内部メモリ１７内に設けられる。基準画像設定部５１の機能はＣＰＵ２３にて実現される。但し、基準画像設定部５１の機能を映像信号処理部１３にて実現させるようにしてもよい。フレームメモリ６１は、観測低解像度画像としてのフレーム画像の画像データを記憶するためのメモリであり、フレームメモリ６２は、高解像度画像の画像データを記憶するためのメモリである。
【００４７】
撮像部１１によって連続して撮影されたｋNUM枚のフレーム画像は、超解像部５０においてｋNUM枚の観測低解像度画像として捉えられる（ｋNUMは２以上の整数）。ｋNUM枚の観測低解像度画像の画像データはフレームメモリ６１に記憶され、超解像部５０内の各部位は、その画像データを必要に応じてフレームメモリ６１から読み出す。
【００４８】
基準画像設定部５１は、そのｋNUM枚の観測低解像度画像の内の１つを基準画像として設定し、残りの（ｋNUM−１）枚の観測低解像度画像を参照画像として設定する。基準画像を、基準フレーム又は基準フレーム画像と読み替えることもでき、参照画像を、参照フレーム又は参照フレーム画像と読み替えることもできる。例えば、ｋNUM枚のフレーム画像の内、最初に撮影されたフレーム画像、最後に撮影されたフレーム画像、又は、中間時点で撮影されたフレーム画像を基準画像として設定する。或いは、各観測低解像度画像の画像データに基づいて各観測低解像度画像に含まれるぼけの大きさ（以下、ぼけ量という）を推定し、最もぼけ量の少ない観測低解像度画像を基準画像として設定するようにしてもよい。例えば、観測低解像度画像における所定の高域周波数成分の量（強度）を算出し、その量を該観測低解像度画像のぼけ量として推定する。
【００４９】
位置ずれ量検出部５２は、代表点マッチング法やブロックマッチング法、勾配法などを用いて、２枚の観測低解像度画像間の位置ずれ量を算出する。ここで算出される位置ずれ量は、観測低解像度画像の画素間隔よりも分解能の高い、所謂サブピクセルの分解能を有している。つまり、観測低解像度画像内の隣接する２つの画素の間隔よりも短い距離を最小単位として位置ずれ量が算出される。位置ずれ量は、水平成分及び垂直成分を含む二次元量であり、動き量又は動きベクトルとも呼ばれる。観測低解像度画像内の隣接する２つの画素の間隔をｐｐLで表す。
【００５０】
位置ずれ検出部５２は、基準画像を基準とし、基準画像と各参照画像との間における位置ずれ量を算出する。サブピクセルの分解能を有する位置ずれ量の算出方法として、公知の算出方法を用いることができる。例えば、特開平１１-３４５３１５号公報に記載された方法や、“奥富，「ディジタル画像処理」，第二版，ＣＧ−ＡＲＴＳ協会，２００７年３月１日発行”に記載された方法（ｐ．２０５参照）を用いればよい。
【００５１】
ｋNUM枚の観測低解像度画像又はｋNUM枚の推定低解像度画像であるｋNUM枚の低解像度画像、及び、初期高解像度画像を含む１枚の高解像度画像（後述のＨ0やＨ1など）は、夫々、二次元格子状に配列された複数の画素から形成され、超解像部５０において、それらの画像は二次元の共通の座標面（以下、共通座標面という）上に配置して考えられる。ｋNUM枚の低解像度画像が、基準画像としての第１の低解像度画像及び参照画像としての第２の低解像度画像を含むものとする。
【００５２】
図５に、共通座標面に配置された各画像の格子及び画素を示す。図５において、符号２０１が付された三角形は第１の低解像度画像の画素を表すと共に該画素が配列される位置を表し、符号２０２が付された四角形は第２の低解像度画像の画素を表すと共に該画素が配列される位置を表し、符号２０３が付された丸は高解像度画像の画素を表すと共に該画素が配列される位置を表している。尚、図５では、第１の低解像度画像を形成する画素群を表す三角形群の一部に対してのみ符号２０１が付されている。符号２０２及び２０３についても同様である。
【００５３】
第１及び第２の低解像度画像間には回転方向の位置ずれも存在しうるが、図示の煩雑化防止及び説明の簡略化上、それらの間に、並進方向の位置ずれしか存在していない場合を考える。１枚の低解像度画像において水平方向及び垂直方向の画素間隔は同じであるとし、その画素間隔は、全ての低解像度画像に対して共通であるとする。また、１枚の高解像度画像において水平方向及び垂直方向の画素間隔は同じであるとする。図５の例では、高解像度画像における画素間隔は、低解像度画像のそれの１／２となっている。また更に、第１及び第２の低解像度画像間の位置ずれ量の水平成分及び垂直成分が、共に、低解像度画像の画素間隔ｐｐL未満である場合を考える。
【００５４】
また、共通座標面の水平方向及び垂直方向が、夫々、Ｘ方向及びＹ方向に合致しているものとする。また、共通座標面の水平方向及び垂直方向は、夫々、低解像度画像の水平方向及び垂直方向に合致していると共に、高解像度画像の水平方向及び垂直方向にも合致しているものとする。
【００５５】
三角形２０１は共通座標面の水平方向及び垂直方向に等間隔で格子状に配列される。三角形２０１が配列される格子（図５において破線で示される格子）、即ち、第１の低解像度画像を形成する画素群が共通座標面において配列される格子を第１の低解像度格子と呼ぶ。四角形２０２は共通座標面の水平方向及び垂直方向に等間隔で格子状に配列される。四角形２０２が配列される格子（図５において一点鎖線で示される格子）、即ち、第２の低解像度画像を形成する画素群が共通座標面において配列される格子を第２の低解像度格子と呼ぶ。丸２０３は共通座標面の水平方向及び垂直方向に等間隔で格子状に配列される。丸２０３が配列される格子（図５において実線で示される格子）、即ち、高解像度画像を形成する画素群が共通座標面において配列される格子を高解像度格子と呼ぶ。
【００５６】
符号Ｏは、共通座標面上の原点を表している。第１の低解像度画像を形成する画素群の内、原点Ｏに最も近い画素が位置する点を、第１の低解像度画像の基準点と呼び、その基準点の、共通座標面上における位置を、第１の低解像度画像の基準位置と呼ぶ。図５の例では、その基準点は原点Ｏと一致している。第２の低解像度画像を形成する画素群の内、原点Ｏに最も近い画素が位置する点を、第２の低解像度画像の基準点と呼び、その基準点の、共通座標面上における位置を、第２の低解像度画像の基準位置と呼ぶ。高解像度画像を形成する画素群の内、原点Ｏに最も近い画素が位置する点を、高解像度画像の基準点と呼び、その基準点の、共通座標面上における位置を、高解像度画像の基準位置と呼ぶ。
【００５７】
第１の低解像度画像の基準点から見た、第１の低解像度画像の基準位置と第２の低解像度画像の基準位置との位置変位（共通座標面上における位置変位）は、位置ずれ検出部５２によって算出された両画像間の位置ずれ量である。
【００５８】
配置位置決定部５３は、その位置ずれ量に基づいて共通座標面に第１及び第２の低解像度格子を設定する。換言すれば、位置ずれ量に基づき、第１の低解像度画像の配置位置を基準として、第２の低解像度画像を共通座標面上にずらして配置する。低解像度画像の枚数が３枚以上であって第３の低解像度画像が存在する場合は、基準画像である第１の低解像度画像と参照画像である第３の低解像度画像との間の位置ずれ量に基づき、第１の低解像度画像の配置位置を基準として、第３の低解像度画像を共通座標面上にずらして配置する（第４の低解像度画像も同様）。
【００５９】
更に、配置位置決定部５３は、共通座標面上における各低解像度画像の配置位置に基づいて、共通座標面における高解像度格子の配置位置（即ち、高解像度画像の配置位置）を決定する。具体的には、高解像度画像の配置位置を表す、後述のｘ及びｙの値を決定する。この決定方法については後に詳説する。
【００６０】
配置位置決定部５３によって決定されたｋNUM枚の低解像度画像及び１枚の高解像度画像の配置位置に従って、初期高解像度画像生成部５４（以下、生成部５４と略記する）、選択部５５及び超解像処理部５６による超解像処理が実行される。
【００６１】
生成部５４は、画素補間を用い、基準画像としての観測低解像度画像を用いて初期高解像度画像Ｈ0を生成する。この生成処理は、図３のステップＳ１１の処理に相当する。初期高解像度画像Ｈ0は、最終的に生成されるべき高解像度画像の初期画像に相当する。以下、初期高解像度画像Ｈ0を、単に高解像度画像Ｈ0又は画像Ｈ0と呼ぶこともある。例えば、基準画像としての観測低解像度画像を参照し、線形補間やバイキュービック補間を用いて、第１の低解像度格子の格子点に位置する、基準画像の画素の画素値から、高解像度格子の格子点に位置する、画像Ｈ0の画素の画素値を算出する。或る画素の画素値とは、その画素の輝度及び色を表す情報を含むデジタル値である。尚、基準画像と参照画像の双方の画素値を用いて、画像Ｈ0の画素の画素値を算出するようにしてもよい。生成された画像Ｈ0の画像データはフレームメモリ６２に記憶される。
【００６２】
選択部５５は、生成部５４にて生成された画像（即ち、画像Ｈ0）及びフレームメモリ６２に記憶されている画像の内の一方を選択し、選択した画像の画像データを超解像処理部５６に与える。画像Ｈ0が生成された直後は画像Ｈ0が選択部５５にて選択され、画像Ｈ0と異なる高解像度画像が超解像処理部５６にて生成された後は、フレームメモリ６２に記憶されている画像が選択部５５にて選択される。
【００６３】
また、超解像処理部５６には、フレームメモリ６１からｋNUM枚の観測低解像度画像の画像データが入力される。超解像処理部５６は、ＭＡＰ法に基づき、画像Ｈ0とｋNUM枚の観測低解像度画像と位置ずれ検出部５２によって算出された位置ずれ量とを用い、推定低解像度画像の生成を介して画像Ｈ0に対する更新量を求める。この処理は、１回目のステップＳ１２及びＳ１３の処理に相当する（図３参照）。そして、画像Ｈ0を該更新量にて更新することにより高解像度画像Ｈ1（以下、画像Ｈ1と略記することがある）を生成する。これは、１回目のステップＳ１４の処理に相当する（図３参照）。尚、画像Ｈ1が生成された後は、図４において太線で示されたラインだけが有意に機能する。
【００６４】
生成された画像Ｈ1の画像データはフレームメモリ６２に上書き記憶されると共に選択部５５を介して超解像処理部５６に再度入力される。超解像処理部５６は、画像Ｈ0から画像Ｈ1を生成したのと同様の方法にて画像Ｈ1を更新することにより高解像度画像Ｈ2（以下、画像Ｈ2と略記することがある）を生成する。画像Ｈ2の画像データはフレームメモリ６２に上書き記憶される。画像Ｈ1から画像Ｈ2が生成される処理は、２回目のステップＳ１２〜Ｓ１４の処理に相当する。
【００６５】
このように、超解像処理部５６にて、高解像度画像を更新して新たな高解像度画像を生成するための、ステップＳ１２〜Ｓ１４の各処理から成る演算処理が反復実行される。この演算処理を、以下、超解像演算処理と呼ぶ。ｎを自然数とした場合、ｎ回目の超解像演算処理によって高解像度画像Ｈn-1から高解像度画像Ｈnが生成される。以下の説明では、ｎは０以上の整数であるとする。
【００６６】
図６に、観測低解像度画像の枚数が３枚である場合における（即ち、ｋNUM＝３である場合における）、超解像処理部５６の内部ブロック図を示す。３枚の観測低解像度画像が、第１、第２及び第３の観測低解像度画像Ｌ1、Ｌ2及びＬ3から成るものとする。今、行列表現された高解像度画像Ｈnをｈnで表し、行列表現された観測低解像度画像Ｌkをｌkで表す。即ち例えば、行列ｈnは、高解像度画像Ｈnを形成する各画素の画素値を書き並べたものである。ｋは１、２又は３の値をとる。
【００６７】
そうすると、高解像度画像Ｈn+1に対する行列ｈn+1は下記式（Ａ−１）に従って導出され、この導出によって高解像度画像Ｈn+1が生成される。式（Ａ−１）の右辺第２項は、超解像処理部５６によって算出されるべき、高解像度画像Ｈnに対する更新量を表している。式（Ａ−１）に基づいて高解像度画像を更新していくことにより、下記式（Ａ−２）に表す、ＭＡＰ法における評価関数Ｉが最小化されることになる。式（Ａ−２）におけるｈは、或る回数分だけ超解像演算処理を行った時の、行列表現された高解像度画像を表している。
【００６８】
【数１】
2009237650.tif 000003
【００６９】
行列Ｗkと行列ｈnとの積によって、観測低解像度画像Ｌkの推定画像としての推定低解像度画像が表される。Ｗkは、高解像度画像Ｈnから観測低解像度画像Ｌkの推定画像を生成するための行列であって、位置ずれ検出部５２で算出した位置ずれ量、高解像度画像から低解像度画像への低解像度化によって生じる画像ぼけを表す点広がり関数（Point Spread Function）、及び、高解像度画像から低解像度画像へのダウンサンプリングを含めた画像変換行列である。（ｌk−Ｗkｈn）は、観測低解像度画像Ｌkとそれの推定画像に相当する推定低解像度画像との差分画像を表している。尚、添え字Ｔが付された行列は、元の行列の転置行列を表す。従って例えば、ＷkTは行列Ｗkの転置行列を表す。
【００７０】
また、Ｃは正則化のための行列であり、αは正則化パラメータである。行列Ｃは、例えば「高解像度画像には高域成分が少ない」という事前知識に基づき設定され、行列表現されたラプラシアンフィルタなどによって形成される。また、βは、フィードバック量を制御するためのパラメータである。
【００７１】
超解像処理部５６における超解像演算処理の反復回数が規定回数に達すると、規定回数分の超解像演算処理によって得られた最新の高解像度画像が、最終的に求められるべき高解像度画像として超解像処理部５６から出力される。また、超解像演算処理の反復回数に関わらず、最新の高解像度画像に対する更新量が十分に小さくなり更新量が収束したと判断される場合は、その最新の高解像度画像を最終的に求められるべき高解像度画像として超解像処理部５６から出力するようにしてもよい。
【００７２】
［高解像度格子の配置位置の決定方法］
配置位置決定部５３による高解像度格子の配置位置（即ち、高解像度画像の配置位置）の決定方法を詳細に説明する。以下の説明において、画素間隔、距離及び位置等は、特に断りなき限り、共通座標面上における、画素間隔、距離及び位置等を指すものとする。また、低解像度画像における隣接画素間の間隔ｐｐLを単位として考え（図５参照）、共通座標面上において、ｐｐLによって表される距離が１．０であるとする。
【００７３】
まず、ｋNUM＝２であり、且つ、第１及び第２の低解像度画像及び高解像度画像が、図５のＸ方向にのみ複数画素が配列された１次元画像である場合を考える。この場合、勿論、位置ずれ量もＸ方向成分のみを有する１次元量となる。上述したように、第１の低解像度画像が基準画像であり且つ第２の低解像度画像が参照画像であるとする。そして、基準画像を基準とする、基準画像と参照画像との間の位置ずれ量の小数点部分をｌｘで表す。説明の簡略化上、位置ずれ量の整数部分がゼロである場合を考える。尚、Ｘ方向に沿ったＸ軸を定義し、基準画像を基準として参照画像がＸ軸の正の方向へずれている場合に、ｌｘは正の値を有するものとする。
【００７４】
図７に、第１及び第２の低解像度画像の画素配置を示す。但し、不等式「０≦ｌｘ≦０．５」が成立すると仮定する。三角形Ｌ1［０］、Ｌ1［１］、Ｌ1［２］・・・は、第１の低解像度画像の連続する画素を表し、四角形Ｌ2［０］、Ｌ2［１］、Ｌ2［２］・・・は、第２の低解像度画像の連続する画素を表している。画素Ｌ1［０］は、第１の低解像度画像の基準点に位置し、この基準点を基準として、Ｘ軸の正の方向に向かって画素Ｌ1［０］、Ｌ1［１］、Ｌ1［２］、・・・がこの順番で配列される。画素Ｌ2［０］は、第２の低解像度画像の基準点に位置し、この基準点を基準として、Ｘ軸の正の方向に向かって画素Ｌ2［０］、Ｌ2［１］、Ｌ2［２］、・・・がこの順番で配列される。図８（ａ）に、ｌｘが画素間隔ｐｐLの１／４の場合、即ち、ｌｘ＝０．２５の場合における、第１及び第２の低解像度画像の画素配置を示す。
【００７５】
尚、実際に算出されたｌｘが、不等式「０．５＜ｌｘ＜１．０」を満たす場合は、配置位置を左右反転させて考えればよい。即ち例えば、ｌｘ＝０．７５の場合、第１及び第２の低解像度画像の画素配置は実際には図８（ｂ）のように表されるが、Ｘ軸の正と負の方向を反転させた図８（ｃ）に示すような画素配置を想定すれば不等式「０≦ｌｘ≦０．５」を満たす場合と同様に考えることができる。
【００７６】
今、高解像度画像の基準位置（即ち、高解像度画像の基準点の位置）をｘにて表す。また、低解像度画像に対する高解像度画像の拡大率が２であるとする。そうすると、高解像度画像の隣接画素間の距離は０．５となり、配置位置決定部５３は、不等式「０≦ｘ＜０．５」を満たすように基準位置ｘを決定する。
【００７７】
図７に示した第１及び第２の低解像度画像の画素に、高解像度画像の画素を重畳した図を図９（ａ）に示す。図９（ａ）における黒丸ＨA［０］〜ＨA［２］及び白丸ＨB［０］〜ＨB［２］は共に高解像度画像の画素である。高解像度画像を形成する各画素は、低解像度画像の画素の位置との関係において、複数種類に分類することがされる。一次元で考え且つ拡大率が２である場合は、高解像度画像は、第１の種類に属する画素群と第２の種類に属する画素群とから形成される。前者の画素群は画素ＨA［０］〜ＨA［２］を含み、後者の画素群は画素ＨB［０］〜ＨB［２］を含む。ｕを０以上の整数とした場合、画素ＨA［ｕ］は画素Ｌ1［ｕ］と画素Ｌ2［ｕ］との間に配置される画素であり、画素ＨB［ｕ］は画素Ｌ2［ｕ］と画素Ｌ1［ｕ＋１］との間に配置される画素である。画素ＨA［０］は高解像度画像の基準点に位置し、この基準点を基準として、Ｘ軸の正の方向に向かって画素ＨA［０］、ＨB［０］、ＨA［１］、ＨB［１］、ＨA［２］、ＨB［２］・・・がこの順番で配列される。
【００７８】
配置位置決定部５３は、高解像度画像の画素と、その画素の近傍に位置する第１及び第２の低解像度画像の画素との距離を、上記の種類ごとに算出する。ここにおける近傍とは最近傍を少なくとも含む。本例では、高解像度画像の画素の最近傍に位置する第１及び第２の低解像度画像の画素のみを考慮する。故に、配置位置決定部５３は、下記式（Ｂ−１）〜（Ｂ−４）に従い、４つの距離ｄ11（ｘ）、ｄ21（ｘ）、ｄ12（ｘ）及びｄ22（ｘ）を算出する。ｄ11（ｘ）、ｄ21（ｘ）及びｄ12（ｘ）は、夫々、図９（ｂ）に示す距離ｄ11、ｄ21及びｄ12であり、ｄ22（ｘ）は図９（ｃ）に示すｄ22又はｄ22’である。
【００７９】
【数２】
2009237650.tif 000004
【００８０】
配置位置決定部５３は、下記式（Ｂ−５）で表される、異なる距離間の差分絶対値の和Ｄ（ｘ）と、下記式（Ｂ−６）で表される、距離のばらつきの程度を表す指標σ（ｘ）と、に基づいて、高解像度画像の最適な配置位置を決定する。距離のばらつきの程度を表す指標を、以下、ばらつき量という。ここで、式（Ｂ−６）におけるｓj（ｘ）及びａｖｅ（ｘ）の値は、式（Ｂ−７）及び（Ｂ−８）で表される。
【００８１】
【数３】
2009237650.tif 000005
【００８２】
和Ｄ（ｘ）は、高解像度画像の基準位置ｘを、ｌｘ／２とした場合に０となる。和Ｄ（ｘ）が大きい場合、高解像度画像における一方の種類に属する画素群（例えば、画素ＨA［０］を含む画素群）に対して、第１の低解像度画像からのフィードバック量（換言すれば、寄与率）が大きくなる一方で第２の低解像度画像からのフィードバック量が小さくなる。逆に、高解像度画像における他方の種類に属する画素群（例えば、画素ＨB［０］を含む画素群）に対しては、第１の低解像度画像からのフィードバック量が小さくなる一方で第２の低解像度画像からのフィードバック量が大きくなる。この場合において、第１及び第２の低解像度画像間で含まれる高域周波数成分に差がある時は、両画素群間で高域周波数成分にばらつきが生じてしまい、高解像度画像の輪郭部においてジャギー（ギザギザとした階段状の輪郭）が生じうる。従って、和Ｄ（ｘ）をなるだけ小さくすることが望ましい。尚、超解像演算処理において、上述の如く高解像度画像は更新量に基づいて更新されるが、その更新量に、各低解像度画像からのフィードバック量が反映される。
【００８３】
例えば、図８（ａ）に示すような状況において高解像度画像の基準位置ｘを０．１としたならば、画素ＨA［０］〜ＨA［２］を含む第１の種類の画素群に対して、第１の低解像度画像からのフィードバック量が大きくなる。画素ＨA［０］と画素Ｌ1［０］との間の距離が０．１となる一方で画素ＨA［０］と画素Ｌ2［０］との間の距離が０．１５となり、第１の低解像度画像に対応する前者の距離（０．１）の方が後者の距離よりも短くなるからである。逆に、画素ＨB［０］〜ＨB［２］を含む第２の種類の画素群に対しては、第２の低解像度画像からのフィードバック量が大きくなる。画素ＨB［０］と画素Ｌ1［１］との間の距離が０．４（＝｜０．６−１｜）となる一方で画素ＨB［０］と画素Ｌ2［０］との間の距離が０．３５（＝０．６−０．２５）となり、第２の低解像度画像に対応する後者の距離（０．３５）の方が前者の距離よりも短くなるからである。このような場合において、第１の低解像度画像に含まれる高域周波数成分の量が第２の低解像度画像のそれよりも大きい場合、第１の低解像度画像からのフィードバック量の大きな第１の種類の画素群における高域周波数成分は大きくなる一方で、第２の低解像度画像からのフィードバック量の大きな第２の種類の画素群における高域周波数成分は小さくなる。この高域周波数成分のばらつきは、生成される高解像度画像の輪郭部においてジャギーを生じさせる。
【００８４】
また、距離のばらつき量σ（ｘ）が大きい場合も、高解像度画像の異なる画素間におけるフィードバック量のばらつきが大きくなり、高解像度画像における或る画素群は高域周波数成分を多く含むが、別の画素群に含まれる高域周波数成分は少ないといった現象が生じうる。上述したように、高域周波数成分のばらつきは高解像度画像の輪郭部においてジャギーを生じさせるため、距離のばらつき量σ（ｘ）もなるだけ小さくすることが望ましい。
【００８５】
図１０において、折れ線３０１は、「σ（ｘ）＝０」の時における基準位置ｘの位置ずれ量ｌｘ依存性を表しており、折れ線３０２は、「Ｄ（ｘ）＝０」の時における基準位置ｘの位置ずれ量ｌｘ依存性を表している。図１０のグラフにおいて、横軸は位置ずれ量ｌｘを表し、縦軸は基準位置ｘを表している。図１０より、σ（ｘ）とＤ（ｘ）が共にゼロとなるのは、位置ずれ量ｌｘが０又は０．５の時のみであることが分かる。つまり、それ以外の時には、σ（ｘ）とＤ（ｘ）のバランスを考慮して基準位置ｘを定めることが望ましい。
【００８６】
図１１において、折れ線３１１は、「σ（ｘ）＝０」の時における和Ｄ（ｘ）の位置ずれ量ｌｘ依存性を表しており、折れ線３１２は、「Ｄ（ｘ）＝０」の時における距離のばらつき量σ（ｘ）の位置ずれ量ｌｘ依存性を表している。図１１のグラフにおいて、横軸は位置ずれ量ｌｘを表し、縦軸はＤ（ｘ）又はσ（ｘ）を表している。図１１より、位置ずれ量ｌｘが０．２程度までの場合には「Ｄ（ｘ）＝０」時におけるσ（ｘ）の値が比較的大きく、位置ずれ量ｌｘが０．２より大きくなる場合には「σ（ｘ）＝０」時におけるＤ（ｘ）の値が比較的大きくなることが分かる。
【００８７】
従って、σ（ｘ）とＤ（ｘ）のバランスを考慮して、例えば、高解像度画像の基準位置ｘを下記式（Ｂ−９）に従って決定すればよい。ここで、ＴＨは、不等式「０＜ＴＨ＜０．５」を満たす、予め設定された閾値である。この場合、ｌｘが０以上ＴＨ未満である時にはσ（ｘ）が最小化されるように（今の例において、σ（ｘ）＝０となるように）基準位置ｘが決定され、ｌｘがＴＨ以上０．５以下である時にはＤ（ｘ）が最小化されるように（今の例において、Ｄ（ｘ）＝０となるように）基準位置ｘが決定されることになる。
【００８８】
【数４】
2009237650.tif 000006
【００８９】
図１２の折れ線３２１は、ＴＨ＝０．２５とした場合における、決定されるべき基準位置ｘの位置ずれ量ｌｘ依存性を示している。
【００９０】
上述の考え方を二次元に拡張した場合、即ち、図５に示す如く、第１及び第２の低解像度画像及び高解像度画像が二次元画像である場合、配置位置決定部５３は、位置ずれ量（ｌｘ，ｌｙ）に対する高解像度画像の基準位置（ｘ，ｙ）を、以下の式（Ｃ−１）〜（Ｃ−４）に基づき、式（Ｃ−５）に従って決定する。但し、ｋNUM＝２であり、また、上述したように、第１の低解像度画像が基準画像であって且つ第２の低解像度画像が参照画像であるとする。
【００９１】
【数５】
2009237650.tif 000007
【００９２】
Ｘ方向に対して上述した事項が、同様に、Ｙ方向に対する各値にも適用される。即ち、ｌｘ及びｌｙは、夫々、基準画像と参照画像との間の位置ずれ量の小数点部分におけるＸ方向成分及びＹ方向成分である。不等式「０≦ｌｘ≦０．５」且つ「０≦ｌｙ≦０．５」が成立すると仮定する。ｘ及びｙは、夫々、高解像度画像の基準位置（即ち、高解像度画像の基準点の位置）のＸ方向成分及びＹ方向成分である。また、低解像度画像に対する高解像度画像の拡大率は、水平方向及び垂直方向において２であるとする。そうすると、高解像度画像の隣接画素間の距離は０．５となり、配置位置決定部５３は、不等式「０≦ｘ＜０．５」且つ「０≦ｙ＜０．５」を満たすように基準位置（ｘ，ｙ）を決定する。
【００９３】
一次元で考えた場合に拡大率が２であると高解像度画像を形成する画素が２つの種類の画素に分類されることを上述したが、二次元で考えるとＹ方向に対しても同様の分類が発生する。つまり、Ｘ方向及びＹ方向の夫々に対して同様の画素の分類分けがなされ、結果、高解像度画像を形成する各画素は第１〜第４の種類の何れかに分類される。高解像度画像内の第ｊの種類に属する画素の内、原点Ｏに最も近い画素を、便宜上、第ｊの着目画素と呼ぶ（ここで、ｊは１、２、３又は４）。第１〜第４の着目画素は、図５の左上隅に位置する、高解像度画像内の４画素である。
【００９４】
ｄ1j（ｘ，ｙ）は、第ｊの着目画素と、第ｊの着目画素の最近傍に配置される、第１の低解像度画像内における画素と、の距離である。ｄ2j（ｘ，ｙ）は、第ｊの着目画素と、第ｊの着目画素の最近傍に配置される、第２の低解像度画像内における画素と、の距離である。
【００９５】
σ（ｘ，ｙ）は、第１〜第４の着目画素に対して求められる全距離のばらつき量を表すこととなり、Ｄ（ｘ，ｙ）は、第１〜第４の着目画素に対して求められる、距離の差分絶対値の総和を表すこととなる。式（Ｃ−５）から理解されるように、配置位置決定部５３は、ｌｘ及びｌｙの値に応じて、σ（ｘ，ｙ）又はＤ（ｘ，ｙ）が最小化されるようにｘ及びｙの値を決定する。
【００９６】
本実施例に示した高解像度画像の配置位置の決定方法を用いた場合において、２枚の観測低解像度画像から得られる高解像度画像を図１３（ａ）に示す。各観測低解像度画像には、垂直方向に伸びる複数本の直線状エッジが描画されているものとし、一方の観測低解像度画像と他方の観測低解像度画像との間の位置ずれ量（ｌｘ，ｌｙ）は（０．５，０）である。これと対比するために、本実施例で示した方法と異なる方法にて得られた高解像度画像を図１３（ｂ）及び（ｃ）に示す。図１３（ｂ）の高解像度画像は、高解像度画像の基準位置を一方の観測低解像度画像の基準位置と同じに設定した場合に得られ、これは、上記従来方法１に対応する（図１８（ｂ）参照）。図１３（ｃ）の高解像度画像は、高解像度画像の基準位置を２枚の観測低解像度画像の基準位置の中間位置に設定した場合に得られ、これは、上記従来方法２に対応する（図１８（ｃ）参照）。
【００９７】
図１３（ａ）〜（ｃ）からも分かるように、本実施例に示した高解像度画像の配置位置の決定方法を用いれば、高解像度画像に含まれる高域周波数成分のばらつきが少なくなり、輪郭部（ステップエッジ部）におけるジャギーが低減される。
【００９８】
また、Ｄ（ｘ，ｙ）及びσ（ｘ，ｙ）の、より一般化された算出式を式（Ｄ−１）〜（Ｄ−４）に示す。ｋNUM枚の低解像度画像は、第１〜第ｋNUMの低解像度画像から形成される。
【００９９】
【数６】
2009237650.tif 000008
【０１００】
ここで、ｍは、低解像度画像に対する高解像度画像の拡大率（水平方向及び垂直方向の拡大率）である。ｍは整数であるとする。二次元で考え且つ拡大率がｍである場合、高解像度画像を形成する各画素は第１〜第ｍ2の種類の何れかに分類される。高解像度画像内の第ｊの種類に属する画素の内、原点Ｏに最も近い画素を、便宜上、第ｊの着目画素と呼ぶ（ここで、ｊは１以上ｍ2以下の整数）。そうすると、ｄij（ｘ，ｙ）は、第ｊの着目画素と、第ｊの着目画素の最近傍に配置される、第ｉの低解像度画像内における画素と、の距離である（ここで、ｉは１以上ｋNUM以下の整数）。ｄkj（ｘ，ｙ）は、第ｊの着目画素と、第ｊの着目画素の最近傍に配置される、第ｋの低解像度画像内における画素と、の距離である（ここで、ｋは（ｉ＋１）以上且つｋNUM以下の整数）。
【０１０１】
式（Ｄ−２）に従うσ（ｘ，ｙ）は、第１〜第ｍ2の着目画素に対して求められる全距離のばらつき量を表すこととなり、式（Ｄ−１）に従うＤ（ｘ，ｙ）は、第１〜第ｍ2の着目画素に対して求められる、距離の差分絶対値の総和を表すこととなる。配置位置決定部５３は、ｌｘ及びｌｙの値に応じて、式（Ｄ−１）〜（Ｄ−４）に基づいて算出されるＤ（ｘ，ｙ）又はσ（ｘ，ｙ）が最小化されるように、位置ずれ量（ｌｘ，ｌｙ）に対する高解像度画像の基準位置（ｘ，ｙ）を決定する。
【０１０２】
＜＜第２実施例＞＞
次に、第２実施例を説明する。第２実施例は、第１実施例の一部を変形した実施例に相当する。第１実施例との相違点に着目して以下の説明を行う。特に述べられない事項に関しては、第１実施例の記述が適用される。
【０１０３】
まず、説明の簡単化のため、ｋNUM＝２であり、且つ、第１及び第２の低解像度画像及び高解像度画像が、図５のＸ方向にのみ複数画素が配列された１次元画像である場合を考える。上述したように、第１の低解像度画像が基準画像であって且つ第２の低解像度画像が参照画像であり、また、低解像度画像に対する高解像度画像の拡大率が２であるとする。この他、一次元で考える場合において考慮すべき、第１実施例で述べた事項が第２実施例にも適用される。
【０１０４】
第１実施例では、位置ずれ量ｌｘに応じてＤ（ｘ）とσ（ｘ）の何れか一方が最小化されるように高解像度画像の基準位置ｘを決定したが、第２実施例では、「Ｅ（ｘ）＝Ｄ（ｘ）＋ｇσ（ｘ）」にて表される評価関数Ｅ（ｘ）を導入し、評価関数Ｅ（ｘ）が最小化されるように基準位置ｘを決定する。ここで、ｇは所定の係数である。
【０１０５】
上記式（Ｂ−５）で表されるＤ（ｘ）を展開すると下記式（Ｅ−１）が得られ、上記式（Ｂ−６）で表されるσ（ｘ）を展開すると下記式（Ｅ−２）が得られる。そして、式（Ｅ−１）及び（Ｅ−２）を用いて評価関数Ｅ（ｘ）を展開すると、評価関数Ｅ（ｘ）は下記式（Ｅ−３）にて表される。
【０１０６】
【数７】
2009237650.tif 000009
【０１０７】
図１４に、ｇ＝２とした場合における、評価関数Ｅ（ｘ）を最小化するための基準位置ｘの位置ずれ量ｌｘ依存性及び評価関数Ｅ（ｘ）の最小値の位置ずれ量ｌｘ依存性を示す。折れ線３５１が前者の依存性を表し、折れ線３５２が後者の依存性を表している。図１４のグラフにおいて、横軸は位置ずれ量ｌｘを表す。折れ線３５１に対する縦軸は基準位置ｘを表し、折れ線３５２に対する縦軸は評価関数Ｅ（ｘ）の最小値を表す。
【０１０８】
図１４より、位置ずれ量ｌｘが０．２５である時を境に、評価関数Ｅ（ｘ）を最小化するための基準位置ｘの算出式が変化する。具体的には、本数値例における基準位置ｘは、下記式（Ｅ−４）に従って算出される。式（Ｅ−４）は、折れ線３５１を数式化したものである。また、式（Ｅ−４）は、第１実施例で述べた、基準位置ｘの算出式（Ｂ−９）と同じである。即ち、ｇ＝２とした場合は、評価関数Ｅ（ｘ）を最小化する基準位置ｘと第１実施例で述べた方法によって決定される基準位置ｘとは、結果的に同じとなる（ｇ≠２の場合、両者は異なりうる）。
【０１０９】
【数８】
2009237650.tif 000010
【０１１０】
上述の考え方を二次元に拡張する場合、第１実施例と同様、配置位置決定部５３は、上記式（Ｃ−１）〜（Ｃ−４）に従ってＤ（ｘ、ｙ）及びσ（ｘ，ｙ）を算出する。但し、ｋNUM＝２であって且つ低解像度画像に対する高解像度画像の拡大率が２であるとする。この他、二次元で考える場合において考慮すべき、第１実施例で述べた事項が第２実施例にも適用されるものとする。そして、「Ｅ（ｘ，ｙ）＝Ｄ（ｘ，ｙ）＋ｇσ（ｘ，ｙ）」で表される評価関数Ｅ（ｘ，ｙ）が最小化されるように、位置ずれ量（ｌｘ，ｌｙ）に対する高解像度画像の基準位置（ｘ，ｙ）を決定する。一次元で考えた場合と同様、ｇ＝２とするならば、基準位置（ｘ，ｙ）は上記式（Ｃ−５）に従って決定されることになる。
【０１１１】
第２実施例においても、第１実施例と同様、距離の差分絶対値の和Ｄ（ｘ、ｙ）と距離のばらつき量σ（ｘ，ｙ）とのバランスを考慮した上で高解像度画像の配置位置が決定されるため、高解像度画像に含まれる高域周波数成分のばらつきが少なくなり、輪郭部（ステップエッジ部）におけるジャギーが低減される。
【０１１２】
尚、距離のばらつき量の定義の仕方は変形可能である。一次元で考えた場合、例えば、σ（ｘ）の代わりに、下記式（Ｅ−５）で表されるσ’（ｘ）を距離のばらつき量として捉えても良い。この場合、「Ｅ’（ｘ）＝Ｄ（ｘ）＋ｇ’σ’（ｘ）」にて表される評価関数Ｅ’（ｘ）を導入し、評価関数Ｅ’（ｘ）が最小化されるように基準位置ｘを決定すればよい。式（Ｅ−５）におけるａｖｅ（ｘ）は、式（Ｅ−６）によって表される（尚、式（Ｅ−６）は、上記式（Ｂ−８）を変形した式である）。式（Ｅ−７ａ）及び（Ｅ−７ｂ）は、評価関数Ｅ’（ｘ）をｘ及びｌｘを用いて表した式である。ｌｘ＜ｘの時、評価関数Ｅ’（ｘ）の値は式（Ｅ−７ａ）に従って算出され、ｌｘ≧ｘの時、評価関数Ｅ’（ｘ）の値は式（Ｅ−７ｂ）に従って算出される。ｇ’は所定の係数である。
【０１１３】
【数９】
2009237650.tif 000011
【０１１４】
図１５に、ｇ’＝１とした場合における、評価関数Ｅ’（ｘ）を最小化するための基準位置ｘの位置ずれ量ｌｘ依存性及び評価関数Ｅ’（ｘ）の最小値の位置ずれ量ｌｘ依存性を示す。折れ線３６１が前者の依存性を表し、折れ線３６２が後者の依存性を表している。図１５のグラフにおいて、横軸は位置ずれ量ｌｘを表す。折れ線３６１に対する縦軸は基準位置ｘを表し、折れ線３６２に対する縦軸は評価関数Ｅ’（ｘ）の最小値を表す。
【０１１５】
二次元に拡張して考える場合は、一次元関数であるσ（ｘ）及びＥ（ｘ）を二次元関数であるσ（ｘ，ｙ）及びＥ（ｘ，ｙ）に拡張した場合と同様にして、関数σ’（ｘ）及びＥ’（ｘ）を二次元に拡張した関数σ’（ｘ，ｙ）及びＥ’（ｘ，ｙ）を求め、Ｅ’（ｘ，ｙ）が最小化されるように基準位置（ｘ，ｙ）を決定すればよい。
【０１１６】
＜＜第３実施例＞＞
次に、第３実施例を説明する。第１及び第２実施例では、距離の差分絶対値の和（Ｄ（ｘ）又はＤ（ｘ，ｙ））を複数距離の単純加算によって求めているが、第３実施例では、距離の差分絶対値の和を複数距離の加重加算によって求める。加重加算における重み付け係数の値は、図４の位置ずれ量検出部５２によって算出された位置ずれ量の信頼度に基づいて決定される。
【０１１７】
第３実施例において、位置ずれ量検出部５２は、位置ずれ量を算出すると共に位置ずれ量の信頼度を評価する。様々な方法を用いて、位置ずれ量の信頼度を評価可能である。基準画像と参照画像との間の位置ずれ量は、基準画像内に設定された検出ブロック内の画像と参照画像内に設定された検出ブロック内の画像とを対比することによって求められるが、例えば、基準画像における検出ブロック内の画像の平坦度に基づいて、その位置ずれ量の信頼度を求める。着目した画像の平坦度とは、その画像の平坦性を意味し、その画像が平坦であればあるほど、平坦度が大きく且つ信頼度は低くなる。例えば、基準画像における検出ブロック内の画像に含まれる高域周波数成分の量から、その画像の平坦度を推定する（高域周波数成分の量が小さいほど、平坦度は大きいと推定される）。
【０１１８】
また或いは、公知の任意の方法を用いて位置ずれ量の信頼度を評価してもよい。例えば、特開２００３−０７８８０７号公報に記載された方法や特開２００２-０１６８３６号公報に記載された方法を用いて、位置ずれ量の信頼度を評価していもよい。それらの公報における動きベクトルの信頼性が、本実施例における位置ずれ量の信頼度に相当する。
【０１１９】
今、ｋNUM＝３であるとし、第１の観測低解像度画像が基準画像であって且つ第２及び第３の観測低解像度画像が参照画像である場合を考える。そして、評価した位置ずれ量の信頼度を数値化して考える。第１及び第２の観測低解像度画像間における位置ずれ量の信頼度をＲ2にて表し、第１及び第３の観測低解像度画像間における位置ずれ量の信頼度をＲ3にて表す。また、便宜上、信頼度Ｒ1も導入する。信頼度Ｒiは不等式「０≦Ｒi≦１」を満たし、また、Ｒ1は常に１であるとする（ここで、ｉは１、２又は３）。
【０１２０】
説明の簡単化のため、Ｘ方向の一次元にのみ着目する。また、低解像度画像に対する高解像度画像の拡大率が２であるとする。また、第１及び第２の観測低解像度画像間における位置ずれ量の小数点部分、並びに、第１及び第３の観測低解像度画像間における位置ずれ量の小数点部分は、共通座標面上において、０以上０．５以下であるとする。この他、一次元で考える場合において考慮すべき、第１実施例で述べた事項が第３実施例にも適用される。
【０１２１】
図１６に、第１〜第３の低解像度画像及び高解像度画像の画素配置を示す。図１６において、内部が空白の菱形が、第３の低解像度画像を形成する画素を表している。
【０１２２】
第３実施例において、配置位置決定部５３は、下記式（Ｆ−１）で表される、異なる距離間の差分絶対値の和ＤA（ｘ）と、下記式（Ｆ−２）で表される、距離のばらつき量σA（ｘ）と、を求める。ここで、式（Ｆ−２）におけるｓj（ｘ）及びａｖｅ（ｘ）の値は、式（Ｆ−３）及び（Ｆ−４）で表される。また、距離ｄ31（ｘ）は、画素ＨA［０］と画素ＨA［０］の最近傍に配置される第３の低解像度画像内の画素との距離であり、距離ｄ32（ｘ）は、画素ＨB［０］と画素ＨB［０］の最近傍に配置される第３の低解像度画像内の画素との距離である。
【０１２３】
【数１０】
2009237650.tif 000012
【０１２４】
そして、配置位置決定部５３は、ＤA（ｘ）及びσA（ｘ）を第１実施例におけるＤ（ｘ）及びσ（ｘ）として用いて、第１実施例で述べたように、ＤA（ｘ）又はσA（ｘ）が最小化されるように、高解像度画像の基準位置ｘを求める。或いは、配置位置決定部５３は、ＤA（ｘ）及びσA（ｘ）を第２実施例におけるＤ（ｘ）及びσ（ｘ）として用いて「Ｅ（ｘ）＝ＤA（ｘ）＋ｇσA（ｘ）」に従って評価関数Ｅ（ｘ）の値を算出し、評価関数Ｅ（ｘ）が最小化されるように基準位置ｘを決定する。
【０１２５】
例えば、Ｒ1＝１．０、Ｒ2＝１．０且つＲ3＝０．５である場合、距離ｄ3j（ｘ）の精度は距離ｄ2j（ｘ）のそれよりも低くなる。これを考慮し、式（Ｆ−１）〜（Ｆ−４）を用いることで、第３の低解像度画像に対して求められた距離ｄ3j（ｘ）のＤA（ｘ）及びσA（ｘ）への影響度合いを他の距離のそれよりも小さくする。これにより、高解像度画像の配置位置の決定に寄与する、検出精度の低い距離の寄与度が相対的に減少し、決定の最適化がより促進される。
【０１２６】
一次元画像に対する処理を詳説したが、勿論、第１又は第２実施例で述べたのと同様に、その処理を二次元画像に対する処理に拡張して考えることができる。
【０１２７】
＜＜第４実施例＞＞
次に、第４実施例を説明する。第４実施例は、第１〜第３実施例の何れかと組み合わせて実施される。第４実施例では、上述の方法に従って高解像度画像の配置位置を決定した後の距離のばらつき量に応じて、図４の超解像処理部５６にて生成される高解像度画像の鮮鋭度を調節する。以下、第１〜第３実施例の何れかに記載された方法に従い配置位置決定部５３によって決定された、高解像度画像の配置位置を表す（ｘ，ｙ）を特に（ｘ0，ｙ0）と記載する。
【０１２８】
超解像処理部５６又は配置位置決定部５３は、（ｘ，ｙ）＝（ｘ0，ｙ0）とした場合における距離のばらつき量、即ち、σ（ｘ0，ｙ0）を算出する。そして、超解像処理部５６は、距離のばらつき量σ（ｘ0，ｙ0）に応じて、自身が生成する高解像度画像の鮮鋭度を調節する。具体的には、σ（ｘ0，ｙ0）が比較的大きい場合は鮮鋭度を比較的低くし、σ（ｘ0，ｙ0）が比較的小さい場合は鮮鋭度を比較的高くする。鮮鋭度が高い画像ではエッジ付近の画素値変化が急峻となって画像中に含まれる高域周波数成分の量は比較的大きくなり、鮮鋭度が低い画像ではエッジ付近の画素値変化が緩やかなって画像中に含まれる高域周波数成分の量は比較的小さくなる。
【０１２９】
ＭＡＰ方式を採用し、上記式（Ａ−１）に従って高解像度画像の更新を行う場合は、正則化パラメータαの値を調節することによって上記の鮮鋭度を調節する。式（Ａ−１）における行列Ｃがラプラシアンフィルタ等で形成される場合、正則化パラメータαの値を増加させると、超解像処理部５６にて生成される高解像度画像の鮮鋭度は低下する。従って、σ（ｘ0，ｙ0）が比較的大きい場合は正則化パラメータαの値を比較的大きくする。これによって高解像度画像がぼけるが、σ（ｘ0，ｙ0）が大きいことに由来する高解像度画像のジャギーが低減される。一方、σ（ｘ0，ｙ0）が比較的小さい場合は、正則化パラメータαの値を比較的小さくして鮮鋭度を増加させ、実質的な解像度向上を図る。
【０１３０】
例えば、図１７に示す如く、σ（ｘ0，ｙ0）≦０．２の時は、α＝０．５×σ（ｘ0，ｙ0）に従ってαの値を決定し、σ（ｘ0，ｙ0）＞０．２の時は、α＝０．１にて固定する。
【０１３１】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１３２】
［注釈１］
上述の実施形態では、超解像処理として再構築型方式の一種であるＭＡＰ方式を用いた超解像処理を例示したが、本発明にて利用可能な超解像処理はどのような方式の超解像処理であっても構わない。上述の実施形態では、初期高解像度画像を生成した後、更新量の算出及び該更新量による高解像度画像の更新を含む超解像演算処理を繰り返し実行しているが、この超解像演算処理の繰り返しは必須ではなく、１回だけ超解像演算処理を行って得た高解像度画像Ｈ1を最終的に求めるべき高解像度画像として取り扱うことも可能である。
【０１３３】
［注釈２］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図４の超解像部５０内で実行される演算処理の一部又は全部を、ソフトウェアを用いて実現することも可能である。勿論、超解像部５０をハードウェアのみで形成することも可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【０１３４】
［注釈３］
超解像部５０の機能を撮像装置１と異なる外部機器（例えば、パーソナルコンピュータ；不図示）にて実現することも可能である。この場合、その外部機器内に超解像部５０と同等の超解像部を設けるようにし、撮像装置１にて複数の低解像度画像を取得した後、その複数の低解像度画像の画像データを無線又は有線にて或いは記録媒体を介して上記外部機器に供給すればよい。
【０１３５】
［注釈４］
例えば、以下のように考えることができる。図４の超解像部５０を、画像処理装置と呼ぶこともできる。配置位置決定部５３には、上述の距離（ｄ12（ｘ，ｙ）等）を導出する距離導出手段が内在していると考えることもできる。第４実施例にて述べた鮮鋭度の調節機能は、超解像処理部５６に内在する鮮鋭度調節手段によって実現される。
【図面の簡単な説明】
【０１３６】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】ＭＡＰ方式を用いた超解像処理の概念図である。
【図３】本発明の実施形態に係る超解像処理の流れを表すフローチャートである。
【図４】本発明の第１実施例に係る超解像処理を担う超解像部の内部ブロック図である。
【図５】本発明の第１実施例に係り、共通座標面に配置された各画像の格子及び画素を示す図である。
【図６】本発明の第１実施例に係り、観測低解像度画像の枚数が３枚である場合における図４の超解像処理部の内部ブロック図を示す。
【図７】本発明の第１実施例に係り、第１及び第２の低解像度画像の画素配置を示す図である。
【図８】本発明の第１実施例に係り、第１及び第２の低解像度画像の画素配置の具体例を示す図である。
【図９】本発明の第１実施例に係り、第１及び第２の低解像度画像並びに高解像度画像の画素配置を示す図である。
【図１０】本発明の第１実施例に係り、距離のばらつき量（σ（ｘ））がゼロの時における高解像度画像の基準位置（ｘ）の位置ずれ量（ｌｘ）依存性と、距離の差分絶対値の和（Ｄ（ｘ））がゼロの時における高解像度画像の基準位置（ｘ）の位置ずれ量（ｌｘ）依存性と、を示すグラフである。
【図１１】本発明の第１実施例に係り、距離のばらつき量（σ（ｘ））がゼロの時における距離の差分絶対値の和（Ｄ（ｘ））の位置ずれ量（ｌｘ）依存性と、その和がゼロの時における距離のばらつき量（σ（ｘ））の位置ずれ量（ｌｘ）依存性と、を示すグラフである。
【図１２】本発明の第１実施例に係り、或る条件化において決定されるべき、高解像度度画像の基準位置（ｘ）の位置ずれ量（ｌｘ）依存性を示すグラフである。
【図１３】本発明の第１実施例に係る方法を用いて得られる高解像度画像（ａ）と、他の方法を用いて得られる高解像度画像（ｂ）及び（ｃ）を表す図である。
【図１４】本発明の第２実施例に係り、評価関数を最小化するための高解像度画像の基準位置（ｘ）の位置ずれ量（ｌｘ）依存性と、評価関数の最小値の位置ずれ量（ｌｘ）依存性と、を示すグラフである。
【図１５】本発明の第２実施例に係り、他の評価関数を最小化するための高解像度画像の基準位置（ｘ）の位置ずれ量（ｌｘ）依存性と、他の評価関数の最小値の位置ずれ量（ｌｘ）依存性と、を示すグラフである。
【図１６】本発明の第３実施例に係り、第１〜第３の低解像度画像及び高解像度画像の画素配置を示す図である。
【図１７】本発明の第４実施例に係り、ＭＡＰ方式における正則化パラメータの値の決定方法を説明するための図である。
【図１８】従来技術に係り、第１及び第２の低解像度画像の画素配置を示す図（ａ）と、第１及び第２の低解像度画像並びに高解像度画像の画素配置を示す図（ｂ），（ｃ）である。
【図１９】本発明に係り、複数の低解像度画像と高解像度画像の配置位置例を示す図である。
【符号の説明】
【０１３７】
１  撮像装置
１１  撮像部
１３  映像信号処理部
５０  超解像部
５１  基準画像設定部
５２  位置ずれ検出部
５３  配置位置決定部
５４  初期高解像度画像生成部
５５  選択部
５６  超解像処理部
【図１】
2009237650.tif 000013
【図２】
2009237650.tif 000014
【図３】
2009237650.tif 000015
【図４】
2009237650.tif 000016
【図５】
2009237650.tif 000017
【図６】
2009237650.tif 000018
【図７】
2009237650.tif 000019
【図８】
2009237650.tif 000020
【図９】
2009237650.tif 000021
【図１０】
2009237650.tif 000022
【図１１】
2009237650.tif 000023
【図１２】
2009237650.tif 000024
【図１４】
2009237650.tif 000025
【図１５】
2009237650.tif 000026
【図１６】
2009237650.tif 000027
【図１７】
2009237650.tif 000028
【図１８】
2009237650.tif 000029
【図１９】
2009237650.tif 000030
【図１３】
2009237650.tif 000031