(57)【要約】【課題】再生画像の画質劣化を殆ど招くことなく、画像の記録データサイズを低減する。【解決手段】撮影によってＭ画素を有する入力画像を取得し、その入力画像をリサンプリング対象画像（３００）として取り扱ってリサンプリングすることにより、各々がＭ／４画素を有する第１の縮小画像（３１１）及び第２の縮小画像（３１２）を生成する。このリサンプリングは、第１及び第２の縮小画像間でサンプリング位置のずれが生じるように実行される。撮影時には、入力画像の代わりに第１及び第２の縮小画像の画像データを外部メモリに記録する。再生時には、外部メモリから読み出した第１及び第２の縮小画像の画像データと両画像間の位置ずれ情報に基づいて縮小画像の高解像度化を行い、入力画像と同等の解像度を有する出力画像を生成及び表示する。【選択図】図１０
2010251882.tif 000002
【特許請求の範囲】
【請求項１】
撮影によってＭ画素から成る入力画像を取得する撮像部と、
前記入力画像から各々がＮ画素を有するＰ枚の縮小画像を生成する縮小画像生成部と（Ｍ、Ｎ及びＰは２以上の整数であって、Ｍ＞Ｎ×Ｐ）、
前記Ｐ枚の縮小画像を記録媒体に記録する記録制御部と、を備えた
ことを特徴とする撮像装置。
【請求項２】
複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度化部を含み、前記記録媒体に記録された前記Ｐ枚の縮小画像を前記複数の低解像度画像として前記高解像度化部に入力することにより前記高解像度画像としての出力画像を生成する出力画像生成部を更に備えた
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記縮小画像生成部によって生成された前記Ｐ枚の縮小画像に対して所定の画像処理を実行する画像処理部を更に備え、
前記記録制御部は、前記画像処理後のＰ枚の縮小画像を前記記録媒体に記録する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
請求項１に記載の記録媒体に記録されたＰ枚の縮小画像から出力画像を生成する画像再生装置であって、
複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度化部を含み、前記Ｐ枚の縮小画像を前記複数の低解像度画像として前記高解像度化部に入力することにより前記高解像度画像としての前記出力画像を生成する出力画像生成部を備えた
ことを特徴とする画像再生装置。
【請求項５】
撮影によってＭ画素から成る入力画像を取得する撮像部と、
前記入力画像から各々がＮ画素を有するＰ枚の縮小画像を生成する縮小画像生成部と（Ｍ、Ｎ及びＰは２以上の整数であって、Ｍ＞Ｎ×Ｐ）、
前記Ｐ枚の縮小画像に対して所定の画像処理を実行する画像処理部と、
複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度化部を含み、前記画像処理後のＰ枚の縮小画像を前記複数の低解像度画像として前記高解像度化部に入力することにより前記高解像度画像としての出力画像を生成する出力画像生成部と、
前記出力画像を記録媒体に記録する記録制御部と、を備えた
ことを特徴とする撮像装置。
【請求項６】
前記縮小画像生成部は、前記入力画像をリサンプリングすることによって各縮小画像を生成し、
前記入力画像上のリサンプリングされる位置は、前記Ｐ枚の縮小画像間で異なり、
前記高解像度化部は、前記Ｐ枚の縮小画像間の、リサンプリングされる位置のずれを用いて、前記高解像度画像としての前記出力画像を生成する
ことを特徴とする請求項１〜請求項３及び請求項５の何れかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ等の撮像装置、及び、画像の再生を行う画像再生装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラ等の撮像装置には、通常、半導体メモリや磁気ディスク等の記録媒体が搭載されており、撮影画像の画像データが該記録媒体に記録される。近年、ＣＣＤ等の高精細化に伴って撮影画像のデータサイズが増大してきている。記録媒体に記録可能な画像枚数をなるだけ多くするために、記録データサイズの低減は、当然の如く切望されている。
【０００３】
また、画像データを記録媒体に記録する過程において、撮像装置に搭載された内部メモリ（ＳＤＲＡＭなど）を利用しつつ各種の画像処理（ノイズ低減処理など）を画像データに施すことが多い。画像処理が施されるべき画像データのサイズが小さければ小さいほど、画像処理の実行に必要な電力消費量が低減する。Ｌ枚の処理対象画像間の相関を利用してノイズ低減を行う画像処理（例えば、三次元デジタルノイズ低減処理）においては、（Ｌ−１）枚の処理対象画像の画像データを内部メモリに保存した状態で残りの１枚の処理対象画像の画像データを画像処理部に入力することで上記画像処理が実現される（Ｌは２以上の整数）。この種の画像処理において、処理対象画像１枚当たりのデータサイズが低減されると、規定容量の内部メモリに格納可能な画像枚数が増大するため、Ｌの値を増加させることが可能となる。上記のノイズ低減のための画像処理において、Ｌの値を増加させると一般的にノイズ低減効果が増す。このため、画像処理の効果増大の観点からも、画像処理が施される画像データのサイズ低減が望まれる。
【０００４】
一方、複数の低解像度画像から１枚の高解像度画像を生成する高解像度化処理（超解像処理）が提案されている。超解像処理を実行可能に形成された撮像装置では、動画像撮影又は静止画像の連続撮影によって複数の撮影画像を複数の低解像度画像として取得し、複数の撮影画像に超解像処理を施すことによって撮影画像の解像度を超える高解像度画像を生成する（例えば、下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−４１６０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、記録されるべき画像データのサイズの低減及び画像処理が施されるべき画像データのサイズの低減が望まれている。
【０００７】
そこで本発明は、記録されるべき画像データのサイズ又は画像処理が施されるべき画像データのサイズを低減可能な撮像装置を提供することを目的とする。また、データサイズの低減がなされた記録データから高精細な画像を生成可能な画像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、撮影によってＭ画素から成る入力画像を取得する撮像部と、  前記入力画像から各々がＮ画素を有するＰ枚の縮小画像を生成する縮小画像生成部と（Ｍ、Ｎ及びＰは２以上の整数であって、Ｍ＞Ｎ×Ｐ）、前記Ｐ枚の縮小画像を記録媒体に記録する記録制御部と、を備えたことを特徴とする。
【０００９】
これにより、Ｍ画素分のデータを記録する代わりに（Ｎ×Ｐ）画素分のデータが記録される。ここで、Ｍ＞（Ｎ×Ｐ）である。従って、記録されるべき画像データのサイズが低減される。
【００１０】
具体的には例えば、複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度化部を含み、前記記録媒体に記録された前記Ｐ枚の縮小画像を前記複数の低解像度画像として前記高解像度化部に入力することにより前記高解像度画像としての出力画像を生成する出力画像生成部を、当該撮像装置に更に設けるとよい。
【００１１】
これにより、Ｐ枚の縮小画像から、入力画像と同程度の解像度を有する出力画像を生成することも可能となる。つまり、再生画像の画質劣化を殆ど招くことなく、記録データサイズを低減することが可能となる。
【００１２】
また例えば、当該撮像装置は、前記縮小画像生成部によって生成された前記Ｐ枚の縮小画像に対して所定の画像処理を実行する画像処理部を更に備え、前記記録制御部は、前記画像処理後のＰ枚の縮小画像を前記記録媒体に記録する。
【００１３】
また、本発明に係る画像再生装置は、前記記録媒体に記録されたＰ枚の縮小画像から出力画像を生成する画像再生装置であって、複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度化部を含み、前記Ｐ枚の縮小画像を前記複数の低解像度画像として前記高解像度化部に入力することにより前記高解像度画像としての前記出力画像を生成する出力画像生成部を備えたことを特徴とする。
【００１４】
これにより、Ｐ枚の縮小画像から、上記の入力画像と同程度の解像度を有する出力画像を生成することも可能となる。
【００１５】
また、本発明に係る他の撮像装置は、撮影によってＭ画素から成る入力画像を取得する撮像部と、前記入力画像から各々がＮ画素を有するＰ枚の縮小画像を生成する縮小画像生成部と（Ｍ、Ｎ及びＰは２以上の整数であって、Ｍ＞Ｎ×Ｐ）、前記Ｐ枚の縮小画像に対して所定の画像処理を実行する画像処理部と、複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する高解像度化部を含み、前記画像処理後のＰ枚の縮小画像を前記複数の低解像度画像として前記高解像度化部に入力することにより前記高解像度画像としての出力画像を生成する出力画像生成部と、前記出力画像を記録媒体に記録する記録制御部と、を備えたことを特徴とする。
【００１６】
これにより、画像処理が施されるべき画像データのサイズが低減され、結果、画像処理の実行に必要な電力消費量の低減が期待される。また、画像処理が施されるべき画像データのサイズ低減によって、画像処理の実行に必要なメモリ容量が低減される。或いは、所定容量のメモリにて取り扱い可能な画像枚数が増大し、画像処理の内容によっては、その効果の増大も期待される。
【００１７】
また、上記撮像装置において、例えば、前記縮小画像生成部は、前記入力画像をリサンプリングすることによって各縮小画像を生成し、前記入力画像上のリサンプリングされる位置は、前記Ｐ枚の縮小画像間で異なり、前記高解像度化部は、前記Ｐ枚の縮小画像間の、リサンプリングされる位置のずれを用いて、前記高解像度画像としての前記出力画像を生成する。
【発明の効果】
【００１８】
本発明によれば、記録されるべき画像データのサイズ又は画像処理が施されるべき画像データのサイズを低減可能な撮像装置を提供することができる。また、データサイズの低減がなされた記録データから高精細な画像を生成可能な画像再生装置を提供することができる。
【００１９】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である
【図２】繰り返し演算を利用したＭＡＰ法に基づく再構成型の超解像処理の概念図である。
【図３】図２に対応する超解像処理の流れを表すフローチャートである。
【図４】二次元画像の画素配列を示す図（ａ）と、二次元画像が定義される画像座標面ＸＹを示す図（ｂ）である。
【図５】図１の撮像素子のカラーフィルタ配列を示す図である。
【図６】本発明の第１実施例に係り、画像撮影及び記録時における処理を担う部位のブロック図（ａ）と、画像再生時における処理を担う部位のブロック図（ｂ）である。
【図７】本発明の第１実施例に係り、原画像及び原画像に基づく色補間画像の画素数を表す図である。
【図８】本発明の第１実施例に係り、リサンプリング対象画像と２枚の縮小画像との関係を示す図である。
【図９】本発明の第１実施例に係るリサンプリング対象画像の画素配列を示す図である。
【図１０】本発明の第１実施例のリサンプリング方法（Ａ1）における、リサンプリング対象画像上の画素と第１及び第２の縮小画像上の画素との位置関係を示す図（ａ）、第１の縮小画像の画素配列を示す図（ｂ）、及び、第２の縮小画像の画素配列を示す図（ｃ）である。
【図１１】リサンプリング方法の基本方針を説明するための図である。
【図１２】本発明の第１実施例のリサンプリング方法（Ａ2）における、リサンプリング対象画像上の画素と第１及び第２の縮小画像上の画素との位置関係を示す図である。
【図１３】本発明の第１実施例のリサンプリング方法（Ａ3）における、リサンプリング対象画像上の画素と第１及び第２の縮小画像上の画素との位置関係を示す図である。
【図１４】本発明の第１実施例のリサンプリング方法（Ａ4）における、リサンプリング対象画像上の画素と第１及び第２の縮小画像上の画素との位置関係を示す図である。
【図１５】本発明の第１実施例のリサンプリング方法（Ａ5）における、リサンプリング対象画像上の画素と第１及び第２の縮小画像上の画素との位置関係を示す図である。
【図１６】本発明の第１実施例のリサンプリング方法（Ａ6）における、リサンプリング対象画像上の画素と第１及び第２の縮小画像上の画素との位置関係を示す図である。
【図１７】本発明の第２実施例に係り、画像撮影及び記録時における処理を担う部位のブロック図である。
【図１８】本発明の第２実施例のリサンプリング方法（Ｂ1）における、リサンプリング対象画像上に示された第１及び第２の縮小画像の画素信号の様子を示す図である。
【図１９】本発明の第２実施例に係り、Ｌ枚の原画像とＬ枚の原画像に基づく計（Ｌ×Ｐ）枚の縮小画像を示す図である。
【図２０】本発明の第２実施例に係り、画像撮影及び記録時における処理を担う部位の変形ブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第３実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２２】
［基本的な構成の説明］
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。但し、撮像装置１を、静止画像のみを撮影可能なデジタルスチルカメラとして構成するようにしてもよい。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものであってもよい。
【００２３】
撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３の各受光画素は、光学系及び絞りを介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。
【００２４】
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００２５】
圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を記録する。
【００２６】
伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。
【００２７】
ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ及び操作キー２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。
【００２８】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００２９】
撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表すデジタルの映像信号を画像データとも呼ぶ。１つのフレーム周期分の画像データによって１枚分の画像が表現される。１つのフレーム周期分の画像データによって表現される１枚分の画像を、フレーム画像とも呼ぶ。
【００３０】
映像信号処理部１３は、ＣＰＵ２３と協働しつつ、超解像処理を実施することが可能に形成されている。超解像処理を担う部位を超解像処理部（後述の、図６（ｂ）の超解像処理部６１に対応）という。超解像処理によって、複数の低解像度画像から１枚の高解像度画像が生成される。この高解像度画像の映像信号を、圧縮処理部１６を介して外部メモリ１８に記録することができる。高解像度画像の解像度は、低解像度画像のそれよりも高く、高解像度画像の水平方向及び垂直方向の画素数は、低解像度画像のそれよりも多い。例えば、静止画の撮影指示がなされた時に、複数の低解像度画像としての複数のフレーム画像を取得し、それらに対して超解像処理を実施することにより高解像度画像を生成することができる。或いは例えば、動画像撮影時に得られた複数の低解像度画像としての複数のフレーム画像に対して、超解像処理は実施される。
【００３１】
［超解像処理の基本概念］
超解像処理の基本概念について簡単に説明する。超解像処理の方式の一種として再構成型と呼ばれる方式が存在する。一方で、超解像処理を繰り返し演算（繰り返し型の計算アルゴリズム）にて実現する方式が存在し、この繰り返し演算を再構成型の超解像処理に適用することもできる。本実施形態では、繰り返し演算にて実現できる超解像処理の一種である、繰り返し演算を利用したＭＡＰ（Maximum A Posterior）法に基づく再構成型の超解像処理を主たる例にとる。
【００３２】
図２に、繰り返し演算を利用したＭＡＰ法に基づく再構成型の超解像処理の概念図を示す。この超解像処理では、超解像処理部に入力された複数の低解像度画像から１枚の高解像度画像を推定し、この推定した高解像度画像を劣化させることによって元の複数の低解像度画像を推定する。超解像処理部に入力される低解像度画像を特に「実低解像度画像」と呼び、推定された低解像度画像を特に「推定低解像度画像」と呼ぶ。その後、実低解像度画像と推定低解像度画像との誤差が最小化されるように、高解像度画像と低解像度画像を反復推定し、最終的に取得される高解像度画像を出力する。
【００３３】
図３に、図２に対応する超解像処理の流れをフローチャートにて表す。まず、ステップＳ１１にて、実低解像度画像から初期高解像度画像を生成する。続くステップＳ１２にて、現時点の高解像度画像を構築する元の実低解像度画像を推定する。推定された画像を、上述したように推定低解像度画像と呼ぶ。続くステップＳ１３では、実低解像度画像と推定低解像度画像との差分（差分画像）に基づいて現時点の高解像度画像に対する更新量を導出する。この更新量は、ステップＳ１２〜Ｓ１４の各処理の反復実行によって実低解像度画像と推定低解像度画像との誤差が最小化されるように導出される。そして、続くステップＳ１４にて、その更新量を用いて現時点の高解像度画像を更新し、新たな高解像度画像を生成する。この後、ステップＳ１２に戻り、新たに生成された高解像度画像を現時点の高解像度画像と捉えて、ステップＳ１２〜Ｓ１４の各処理が反復実行される。基本的に、ステップＳ１２〜Ｓ１４の各処理の反復回数が増大するほど、得られる高解像度画像の解像力（実質的な解像度）が向上し、理想に近い高解像度画像が得られる。
【００３４】
上述した動作の流れを基本とする超解像処理が、撮像装置１内の超解像処理部にて実施される。ＭＡＰ法に基づく超解像処理以外に、ＭＬ（Maximum-Likelihood）法、ＰＯＣＳ（Projection Onto Convex Set）法、または、ＩＢＰ（Iterative Back Projection）法に基づく超解像処理を利用することも可能である。
【００３５】
尚、ＭＡＰ法に代表される再構成型の超解像処理では、初期高解像度画像を生成した後、更新量の算出及び該更新量による高解像度画像の更新を含む演算処理（超解像演算処理）が反復実行されるが、この演算処理の反復実行は必須ではない。即ち、複数の低解像度画像から初期高解像度画像を生成し、この初期高解像度画像を、更新することなく、最終的に得られるべき高解像度画像として取り扱うようにしてもよい。
【００３６】
［画素配列］
【００３７】
ＡＦＥ１２の出力信号をＲＡＷデータと呼び、１フレーム周期分のＲＡＷデータによって表される二次元画像を原画像と呼ぶ。
【００３８】
図４（ａ）は、原画像を含む任意の二次元画像２００の画素配列を示している。二次元画像２００は、二次元直交座標系である画像座標面ＸＹ上に二次元配列された画素群から形成されている、と考えることができる（図４（ｂ）参照）。
【００３９】
記号Ｐ［ｘ，ｙ］は、二次元画像２００上の画素を表す。二次元画像２００を形成する全画素の内、二次元画像２００の原点に最も近い画素は画素Ｐ［１，１］である。二次元画像２００において、画素Ｐ［ｘ，ｙ］の右、左、上、下に隣接する画素は、夫々、画素Ｐ［ｘ＋１，ｙ］、Ｐ［ｘ−１，ｙ］、Ｐ［ｘ，ｙ＋１］、Ｐ［ｘ，ｙ−１］である。二次元画像２００において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。
【００４０】
二次元画像２００上の位置（画像座標面ＸＹ上の位置）を記号［ｘ，ｙ］にて表す。ｘ及びｙが整数であるならば、二次元画像２００における位置［ｘ，ｙ］は、二次元画像２００の画素Ｐ［ｘ，ｙ］の中心位置と合致する。また、以下の説明では、画素の位置を示すことを明示すべく、記号［ｘ，ｙ］を、画素位置を表す記号として用いることもある。
【００４１】
撮像装置１は、１枚のイメージセンサのみを用いる、いわゆる単板方式を採用している。図５は、撮像素子３３の各受光画素の前面に配置されたカラーフィルタの配列を示している。図５に示される配列は、一般に、ベイヤ配列と呼ばれる。カラーフィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。図５において、赤フィルタに対応する部位をＲにて表し、緑フィルタに対応する部位をＧにて表し、青フィルタに対応する部位をＢにて表している。
【００４２】
原画像の画素Ｐ［ｘ，ｙ］の画素信号は、画素Ｐ［ｘ，ｙ］に対応する受光画素についてのＡＦＥ１２の出力信号である。より具体的には、原画像において、画素Ｐ［２ｎA−１，２ｎB］の画素信号は、赤フィルタが配置された受光画素についてのＡＦＥ１２の出力信号であって赤成分の強度を表すＲ信号のみから成り、画素Ｐ［２ｎA，２ｎB−１］の画素信号は、青フィルタが配置された受光画素についてのＡＦＥ１２の出力信号であって青成分の強度を表すＢ信号のみから成り、画素Ｐ［２ｎA−１，２ｎB−１］又はＰ［２ｎA，２ｎB］の画素信号は、緑フィルタが配置された受光画素についてのＡＦＥ１２の出力信号であって緑成分の強度を表すＧ信号のみから成る。ｎA及びｎBは自然数である。尚、Ｒ信号、Ｇ信号及びＢ信号の何れかを色信号と呼ぶこともあり、それらを総称して、色信号と呼ぶこともある。
【００４３】
上述したように、撮像装置１は、撮影画像そのものであるフレーム画像を低解像度画像として用いて超解像処理を行うことにより該フレーム画像の解像度を超える高解像度画像を生成する機能を備えるが、この機能をユーザが利用しない時においては、超解像処理部の存在が無駄になる。これを考慮し、撮像装置１では、この機能が利用されない時においても、超解像処理部の有効利用を行う。
【００４４】
以下、超解像処理部の有効利用に関する実施例として、第１〜第３実施例を説明する。或る実施例において記載した事項は、矛盾が生じない限り、他の実施例にも適用される。
【００４５】
＜＜第１実施例＞＞
まず、第１実施例について説明する。図６（ａ）は、撮像装置１に内包される、画像撮影及び記録時における処理を担う部位のブロック図である。図６（ｂ）は、撮像装置１に内包される、画像再生時における処理を担う部位のブロック図である。図６（ａ）に示される符号５１〜５３によって参照される各部位は映像信号処理部１３ａに設けられ、図６（ｂ）に示される符号６１〜６４によって参照される各部位は表示処理部２０ａに設けられる。映像信号処理部１３ａは、内部メモリ１７を利用して各種の処理を行う。映像信号処理部１３ａ及び表示処理部２０ａを、夫々、図１の映像信号処理部１３及び表示処理部２０として用いることができる。
【００４６】
ＡＦＥ１２からのＲＡＷデータは、デモザイキング処理部５１に送られる。図７に示す如く、ＲＡＷデータによって表される原画像の水平方向及び垂直方向における画素数を、夫々、Ｍｘ及びＭｙで表す（Ｍｘ及びＭｙは２以上の整数であって、例えば数１００〜数１０００）。原画像には、Ｒ信号がベイヤ配列に従ってモザイク状に配置される（Ｇ信号及びＢ信号についても同様）。デモザイキング処理部５１は、ＲＡＷデータに対して周知のデモザイキング処理を実行することにより、ＲＧＢ形式の画像データを生成する。デモザイキング処理によって生成される二次元画像においては、１つ１つの画素にＲ、Ｇ及びＢ信号の全てが割り当てられる。原画像に対してデモザイキング処理を施すことで生成される二次元画像を、色補間画像と呼ぶ。
【００４７】
色補間画像の画素数は、原画像の画素数と同じである。即ち、色補間画像（及び後述のリサンプリング対象画像３００；図８参照）の水平方向及び垂直方向における画素数は、図７に示す如く、それぞれＭｘ及びＭｙである。色補間画像の画素Ｐ［ｘ，ｙ］のＲ、Ｇ及びＢ信号は、原画像の画素Ｐ［ｘ，ｙ］における画素信号及び原画像の画素Ｐ［ｘ，ｙ］の周辺画素における画素信号に基づき、周知の補間処理を用いて生成される。
【００４８】
画像処理部５２は、色補間画像に対して必要な画像処理（ノイズ低減処理やエッジ強調処理など）を施す。図８に示す如く、リサンプリング処理部５３は、その画像処理後の色補間画像をリサンプリング対象画像３００として取り扱い、リサンプリング対象画像３００をリサンプリングすることによってＰ枚の縮小画像を生成する。Ｐは２以上の整数である。図８は、Ｐが２である場合を例示している。リサンプリング処理部５３によって生成される各縮小画像の水平方向及び垂直方向における画素数を、夫々、Ｎｘ及びＮｙで表す。Ｎｘ及びＮｙは２以上の整数（例えば数１００〜数１０００）であるが、常に不等式「（Ｍｘ×Ｍｙ）＞Ｐ×（Ｎｘ×Ｎｙ）」が満たされる。また、リサンプリング対象画像に対する縮小画像の縮小率を、単に縮小率という。縮小率が１／Ｑである時、Ｎｘ＝Ｍｘ／Ｑ、Ｎｙ＝Ｍｙ／Ｑである。
【００４９】
Ｐ枚の縮小画像の画像データは、圧縮処理部１６において所定の圧縮方式（例えば、ＪＰＥＧ（Joint Photographic Experts Group）方式）にて圧縮され、圧縮後の画像データは外部メモリ１８に記録される。
【００５０】
リサンプリングの内容を詳説する前に、図６（ｂ）に示される各部位の動作について説明する。再生モードにおいて、伸張処理部１９は、外部メモリ１８から読み出されたＰ枚の縮小画像の圧縮画像データを伸張することで圧縮前の画像データを生成する。圧縮されていないＰ枚の縮小画像の画像データは、超解像処理部６１に入力される。超解像処理部６１は、Ｐ枚の縮小画像をＰ枚の低解像度画像と捉え、そのＰ枚の低解像度画像に対して超解像処理を施すことにより１枚の高解像度画像を生成する。生成された高解像度画像の水平方向及び垂直方向における画素数は、原画像のそれと同じとされる。
【００５１】
超解像処理部６１にて生成された高解像度画像の映像信号は、表示用映像処理部６２に送られる。表示用映像処理部６２は、与えられた映像信号によって表される画像が表示部２７上にて表示可能となるように、必要に応じて、その画像の解像度変換を行い、解像度変換後の画像の映像信号をＶＲＡＭ６３（Video Random Access Memory）に書き込む。ＶＲＡＭ６３は、表示部２７に対するビデオ表示部分のメモリである。表示ドライバ６４は、ＶＲＡＭ６３に書き込まれた映像信号によって表される画像を表示部２７の表示画面に表示させる。
【００５２】
Ｐ枚の縮小画像を生成するためのリサンプリングの方法を説明する。例として、リサンプリング方法Ａ1〜Ａ6を説明する。尚、矛盾なき限り、或るリサンプリング方法にて説明した事項を他のリサンプリング方法に適用することもできる。
【００５３】
――リサンプリング方法Ａ1――
リサンプリング方法Ａ1を説明する。リサンプリング方法Ａ1では、Ｐが２であって上記縮小率が１／２である。リサンプリング方法Ａ1における２枚の縮小画像を符号３１１及び３１２によって参照する。
【００５４】
図９に、リサンプリング対象画像３００の画素配列を示す。図９には、リサンプリング対象画像３００上における（８×８）個分の画素が示されている。上述したように、ｘ及びｙが整数であるならば、リサンプリング対象画像３００上における位置［ｘ，ｙ］は、リサンプリング対象画像３００の画素Ｐ［ｘ，ｙ］の中心位置を表す。
【００５５】
図１０（ａ）に、リサンプリング対象画像３００上の画素と、第１及び第２の縮小画像３１１及び３１２上の画素との位置関係を示す。第１の縮小画像３１１は、図１０（ａ）の太い実線で囲まれた各画素から形成され、第２の縮小画像３１２は、図１０（ａ）の太い破線で囲まれた各画素から形成される。図１０（ｂ）及び（ｃ）は、夫々、第１及び第２の縮小画像３１１及び３１２の画素配列を示している。リサンプリング対象画像３００上における（８×８）画素から、縮小画像３１１上における（４×４）画素と縮小画像３１２上における（４×４）画素が生成される。
【００５６】
リサンプリング対象画像３００上における位置［２ｎA−１，２ｎB−１］の画素信号（Ｒ、Ｇ及びＢ信号）が縮小画像３１１上における位置［ｎA，ｎB］の画素信号（Ｒ、Ｇ及びＢ信号）となるように、且つ、リサンプリング対象画像３００上における位置［２ｎA，２ｎB］の画素信号（Ｒ、Ｇ及びＢ信号）が縮小画像３１２上における位置［ｎA，ｎB］の画素信号（Ｒ、Ｇ及びＢ信号）となるように、リサンプリングが行われる（上述したように、ｎA及びｎBは自然数）。
【００５７】
リサンプリング対象画像３００上における位置［２ｎA−１，２ｎB−１］及び位置［２ｎA，２ｎB］の画素信号は、リサンプリング対象画像３００上の画素Ｐ［２ｎA−１，２ｎB−１］及び［２ｎA，２ｎB］の画素信号に他ならない。故に、リサンプリング方法Ａ1におけるリサンプリングは、単なる間引き処理とも言える（後述の、図１６に対応するリサンプリング方法Ａ6においても同様）。
【００５８】
ここで、図１１を参照して、リサンプリングの基本方針を説明する。この基本方針は、リサンプリング方法Ａ1を含む各リサンプリング方法に当てはまる。図１１の曲線３０５は、リサンプリング対象画像３００の注目水平ライン（ｙが奇数の水平ライン）上のアナログＲ信号の波形を表している。図１１における２つの黒丸は、注目水平ライン上におけるｘ＝１及びｘ＝３のデジタルＲ信号を表し、図１１における２つの白三角は、注目水平ライン上におけるｘ＝２及びｘ＝４のデジタルＲ信号を表す。リサンプリング対象画像３００の画像データは、これら４つのデジタルＲ信号を包含しているが、第１の縮小画像３１１の画像データは、ｘ＝１及びｘ＝３のデジタルＲ信号のみを包含している。第１及び第２の縮小画像を用いてアナログＲ信号３０５を精度良く再現するためには、リサンプリング対象画像３００上のｘ＝２及びｘ＝４におけるＲ信号情報を、第２の縮小画像に含ませた方が良い（Ｇ及びＢ信号についても同様）。水平ラインに注目したが、垂直ラインに注目した場合も同様のことが言える。
【００５９】
この基本方針に従い、リサンプリング方法Ａ1では、第１の縮小画像３１１に加えて、ｘ＝２ｎAにおける信号情報を包含する、上述のような第２の縮小画像３１２を生成する。
【００６０】
Ｐ枚の縮小画像をリサンプリングによって生成する際のサンプリング位置（リサンプリング位置）がＰ枚の縮小画像間で異なる。リサンプリング処理部５３は、Ｐ枚の縮小画像を生成する際、このサンプリング位置（リサンプリング位置）の相違を表す位置ずれ情報も作成する。位置ずれ情報は、Ｐ枚の縮小画像の圧縮画像データに関連付けられつつ外部メモリ１８に記録される。尚、位置ずれ情報の作成及び記録は、リサンプリング方法Ａ1と異なる他のリサンプリング方法においても同様に実行される。また、位置ずれ情報とＰ枚の縮小画像の圧縮画像データとの関連付け方法は任意である。例えば、外部メモリ１８内に、本体領域とヘッダ領域とを有する画像ファイルを作成し、該画像ファイルの本体領域にＰ枚の縮小画像の圧縮画像データを格納する一方で位置ずれ情報を該画像ファイルのヘッダ領域に格納しておけばよい。同一の画像ファイル内の本体領域とヘッダ領域は互いに関連付けられた記録領域であるため、このような格納によってＰ枚の縮小画像の圧縮画像データと位置ずれ情報は互いに関連付けられる。
【００６１】
位置ずれ情報は、第１の縮小画像を基準とした、第１の縮小画像と第ｐの縮小画像との間のサンプリング位置（リサンプリング位置）の相違を表す、水平及び垂直成分を含むベクトル情報である。ここで、ｐは２以上Ｐ以下の整数である。第１の縮小画像３１１のサンプリング位置（例えば、縮小画像３１１上における位置［１，１］）から見て、第２の縮小画像３１２の対応サンプリング位置（例えば、縮小画像３１２上における位置［１，１］）は、リサンプリング対象画像３００上の１画素分だけ右方向にずれていると共にリサンプリング対象画像３００上の１画素分だけ下方向にずれている。
【００６２】
“第１の縮小画像のサンプリング位置から見て、第ｐの縮小画像の対応サンプリング位置が、リサンプリング対象画像上のΔｘ画素分だけ右方向にずれていると共にリサンプリング対象画像上のΔｙ画素分だけ下方向にずれている”という内容をＤＩＳp［Δｘ，Δｙ］にて表す。そうすると、リサンプリング方法Ａ1では、ＤＩＳ2［１，１］が位置ずれ情報として生成される。尚、本例では、リサンプリング対象画像の隣接画素間隔を単位としてΔｘ及びΔｙを表現しているが、縮小画像の隣接画素間隔を単位としてΔｘ及びΔｙを表現するようにしてもよい。
【００６３】
――リサンプリング方法Ａ2――
リサンプリング方法Ａ2を説明する。リサンプリング方法Ａ2では、Ｐが２であって上記縮小率が１／３である。リサンプリング方法Ａ2における２枚の縮小画像を符号３２１及び３２２によって参照する。
【００６４】
図１２に、リサンプリング対象画像３００上の画素と、第１及び第２の縮小画像３２１及び３２２上の画素との位置関係を示す。第１の縮小画像３２１は、図１２の太い実線で囲まれた各画素から形成され、第２の縮小画像３２２は、図１２の太い破線で囲まれた各画素から形成される。
【００６５】
リサンプリング対象画像３００上における位置［３ｎA−２，３ｎB−２］の画素信号（Ｒ、Ｇ及びＢ信号）が縮小画像３２１上における位置［ｎA，ｎB］の画素信号（Ｒ、Ｇ及びＢ信号）となるように、且つ、リサンプリング対象画像３００上における位置［３ｎA−０．５，３ｎB−０．５］の画素信号（Ｒ、Ｇ及びＢ信号）が縮小画像３２２上における位置［ｎA，ｎB］の画素信号（Ｒ、Ｇ及びＢ信号）となるように、リサンプリングが行われる。
【００６６】
位置［３ｎA−０．５，３ｎB−０．５］の如く、リサンプリング対象画像３００上における位置［ｘ，ｙ］を表す値ｘ及び／又はｙが小数を含む値である場合、リサンプリング対象画像３００上の位置［ｘ，ｙ］の画素信号は、位置［ｘ，ｙ］の周辺に配置されている、リサンプリング対象画像３００上の画素の画素信号を用いて補間（例えば、線形補間やバイリニア補間）により生成される。例えば、第２の縮小画像３２２上における位置［１，１］の画素信号となるべきリサンプリング対象画像３００上の位置［２．５，２．５］の画素信号は、リサンプリング対象画像３００の画素Ｐ［２，２］、Ｐ［２，３］、Ｐ［３，２］及びＰ［３，３］の画素信号から補間によって生成される（具体的には、それらの平均信号とされる）。勿論、補間は、Ｒ、Ｇ及びＢ信号の夫々に対して個別に行われる。
【００６７】
リサンプリング方法Ａ2においては、ＤＩＳ2［１．５，１．５］が位置ずれ情報として生成される。
【００６８】
――リサンプリング方法Ａ3――
リサンプリング方法Ａ3を説明する。リサンプリング方法Ａ3では、Ｐが３であって上記縮小率が１／２である。リサンプリング方法Ａ3における３枚の縮小画像を符号３３１〜３３３によって参照する。
【００６９】
図１３に、リサンプリング対象画像３００上の画素と、第１〜第３の縮小画像３３１〜３３３上の画素との位置関係を示す。第１の縮小画像３３１は、図１３の太い実線で囲まれた各画素から形成され、第２の縮小画像３３２は、図１３の太い破線で囲まれた各画素から形成され、第３の縮小画像３３３は、図１３の一点破線で囲まれた各画素（斜線部位に対応）から形成される。
【００７０】
リサンプリング対象画像３００上における位置［２ｎA−１，２ｎB−１］、［２ｎA，２ｎB］及び［２ｎA−０．５，２ｎB−０．５］の画素信号（Ｒ、Ｇ及びＢ信号）が、夫々、縮小画像３３１、３３２及び３３３上における位置［ｎA，ｎB］の画素信号（Ｒ、Ｇ及びＢ信号）となるようにリサンプリングが行われ、ＤＩＳ2［１，１］及びＤＩＳ3［０．５，０．５］が位置ずれ情報として生成される。
【００７１】
――リサンプリング方法Ａ4――
リサンプリング方法Ａ4を説明する。リサンプリング方法Ａ4では、Ｐが３であって上記縮小率が１／２である。リサンプリング方法Ａ4における３枚の縮小画像を符号３４１〜３４３によって参照する。
【００７２】
図１４に、リサンプリング対象画像３００上の画素と、第１〜第３の縮小画像３４１〜３４３上の画素との位置関係を示す。第１の縮小画像３４１は、図１４の太い実線で囲まれた各画素から形成され、第２の縮小画像３４２は、図１４の太い破線で囲まれた各画素から形成され、第３の縮小画像３４３は、図１４の一点破線で囲まれた各画素（斜線部位に対応）から形成される。
【００７３】
リサンプリング対象画像３００上における位置［２ｎA−１，２ｎB−１］、［２ｎA，２ｎB−１］及び［２ｎA−０．５，２ｎB−０．５］の画素信号（Ｒ、Ｇ及びＢ信号）が、夫々、縮小画像３４１、３４２及び３４３上における位置［ｎA，ｎB］の画素信号（Ｒ、Ｇ及びＢ信号）となるようにリサンプリングが行われ、ＤＩＳ2［１，０］及びＤＩＳ3［０．５，０．５］が位置ずれ情報として生成される。
【００７４】
――リサンプリング方法Ａ5――
リサンプリング方法Ａ5を説明する。リサンプリング方法Ａ5では、Ｐが３であって上記縮小率が１／３である。リサンプリング方法Ａ5における３枚の縮小画像を符号３５１〜３５３によって参照する。
【００７５】
図１５に、リサンプリング対象画像３００上の画素と、第１〜第３の縮小画像３５１〜３５３上の画素との位置関係を示す。第１の縮小画像３５１は、図１５の太い実線で囲まれた各画素から形成され、第２の縮小画像３５２は、図１５の太い破線で囲まれた各画素から形成され、第３の縮小画像３５３は、図１５の一点破線で囲まれた各画素（斜線部位に対応）から形成される。
【００７６】
リサンプリング対象画像３００上における位置［３ｎA−２，３ｎB−２］、［３ｎA−０．５，３ｎB−０．５］及び［３ｎA−１．５，３ｎB−１．５］の画素信号（Ｒ、Ｇ及びＢ信号）が、夫々、縮小画像３５１、３５２及び３５３上における位置［ｎA，ｎB］の画素信号（Ｒ、Ｇ及びＢ信号）となるようにリサンプリングが行われ、ＤＩＳ2［１．５，１．５］及びＤＩＳ3［０．５，０．５］が位置ずれ情報として生成される。
【００７７】
――リサンプリング方法Ａ6――
リサンプリング方法Ａ6を説明する。リサンプリング方法Ａ6では、Ｐが３であって上記縮小率が１／３である。リサンプリング方法Ａ6における３枚の縮小画像を符号３６１〜３６３によって参照する。
【００７８】
図１６に、リサンプリング対象画像３００上の画素と、第１〜第３の縮小画像３６１〜３６３上の画素との位置関係を示す。第１の縮小画像３６１は、図１６の太い実線で囲まれた各画素から形成され、第２の縮小画像３６２は、図１６の太い破線で囲まれた各画素から形成され、第３の縮小画像３６３は、図１６の一点破線で囲まれた各画素（斜線部位に対応）から形成される。
【００７９】
リサンプリング対象画像３００上における位置［３ｎA−２，３ｎB−２］、［３ｎA，３ｎB］及び［３ｎA−１，３ｎB−１］の画素信号（Ｒ、Ｇ及びＢ信号）が、夫々、縮小画像３６１、３６２及び３６３上における位置［ｎA，ｎB］の画素信号（Ｒ、Ｇ及びＢ信号）となるようにリサンプリングが行われ、ＤＩＳ2［２，２］及びＤＩＳ3［１，１］が位置ずれ情報として生成される。
【００８０】
尚、上述のリサンプリング方法Ａ1〜Ａ6では、Ｐが２又は３であって縮小率が１／２又は１／３である時のリサンプリングの方法を例示しているが、Ｐを４以上とすることも可能であるし、該縮小率を１／２又は１／３以外とすることも可能である（第２実施例においても同様）。また、上述の各リサンプリング方法において、上下を反転させて考えることも左右を反転させて考えることも可能であるし、上下方向と左右方向を入れ替えて考えることも可能である（第２実施例においても同様）。例えば、上述のリサンプリング方法Ａ6では、位置ずれ情報がＤＩＳ2［２，２］及びＤＩＳ3［１，１］となっているが、位置ずれ情報がＤＩＳ2［２，１］及びＤＩＳ3［１，２］となるようにリサンプリングを行っても良い。
【００８１】
［超解像処理部の動作］
再生モードにおいて、外部メモリ１８から伸張処理部１９を介してＰ枚の縮小画像の画像データ及び位置ずれ情報が超解像処理部６１に入力される。この位置ずれ情報は、Ｐ枚の縮小画像間の位置ずれを、縮小画像の画素間隔よりも分解能の高い所謂サブピクセルの分解能で示している。超解像処理部６１は、この位置ずれ情報及びＰ枚の低解像度画像としてのＰ枚の縮小画像に基づいて１枚の高解像度画像を生成する。サブピクセルの分解能を有する位置ずれ情報及びＰ枚の低解像度画像に基づいて１枚の高解像度画像を生成する超解像処理として、公知の超解像処理を含む任意の超解像処理を利用可能である。
【００８２】
第１実施例では、以下のような撮像装置１の使用例が想定される。ユーザが撮影画像の記録サイズの低減を望む場合、ユーザが、その旨を表す操作を操作部２６に対して施してからシャッタボタン２６ｂの押下による静止画像の撮影指示を行う。そうすると、映像信号処理部１３ａは、シャッタボタン２６ｂの押下後に取得される原画像に基づいてＰ枚の縮小画像を生成し、原画像の画像データの代わりに、Ｐ枚の縮小画像の画像データを圧縮して外部メモリ１８に記録する。その後、ユーザによる再生指示があった場合は、伸張処理部１９及び表示処理部２０ａを用いてＰ枚の縮小画像から、原画像と同等の解像度（画素数）を有する１枚の高解像度画像を生成して表示する。このような使用例は、後述の第２実施例にも適用される。
【００８３】
このような動作を実行可能としておくことにより、ユーザの希望に応じて、再生画像の画質劣化を殆ど招くことなく、画像の記録サイズを削減することができる。また、上述のようなリサンプリングを行わない通常の撮影動作と比べて、リサンプリング処理部の後段における処理の取り扱い画素数が低減されるため、撮影動作における消費電力削減も可能となりうる。
【００８４】
＜＜第２実施例＞＞
次に、第２実施例について説明する。図１７は、撮像装置１に内包される、画像撮影及び記録時における処理を担う部位のブロック図である。第２実施例に係る、画像再生時における処理を担う部位のブロック図は、第１実施例のそれ（図６（ｂ））と同じである。図１７に示される符号７１〜７３によって参照される各部位は映像信号処理部１３ｂに設けられる。映像信号処理部１３ｂは、内部メモリ１７を利用して各種の処理を行う。映像信号処理部１３ｂを、図１の映像信号処理部１３として用いることができる。
【００８５】
ＡＦＥ１２からのＲＡＷデータは、リサンプリング処理部７１に送られる。リサンプリング処理部７１は、ＲＡＷデータによって表される原画像をリサンプリング対象画像として取り扱い、そのリサンプリング対象画像からＰ枚の縮小画像を生成する（Ｐは２以上の整数）。リサンプリング対象画像及び各縮小画像の水平及び垂直方向における画素数は、第１実施例におけるそれと同じであり（図８参照）、第２実施例においても、常に不等式「（Ｍｘ×Ｍｙ）＞Ｐ×（Ｎｘ×Ｎｙ）」が満たされる。尚、リサンプリング処理部７１は、リサンプリングの際、第１実施例で述べたような位置ずれ情報の作成も行う
【００８６】
リサンプリング処理部７１にて生成される縮小画像では、原画像と同様、Ｒ，Ｇ及びＢ信号がモザイク状に存在している。デモザイキング処理部７２は、リサンプリング処理部７１にて生成された各縮小画像に対して周知のデモザイキング処理を施すことにより、各縮小画像の１つ１つの画素にＲ、Ｇ及びＢ信号の全てを割り当てる。画像処理部７３は、デモザイキング処理後の縮小画像に対して所定の画像処理を施す。デモザイキング処理及び画像処理後のＰ枚の縮小画像の画像データは、圧縮処理部１６において所定の圧縮方式（例えば、ＪＰＥＧ方式）にて圧縮され、圧縮後の画像データは上記位置ずれ情報と共に外部メモリ１８に記録される。
【００８７】
再生モードにおいて、図６（ｂ）の伸張処理部１９は、外部メモリ１８から読み出されたＰ枚の縮小画像（上記デモザイキング処理及び画像処理後におけるＰ枚の縮小画像）の圧縮画像データを伸張することで圧縮前の画像データを生成する。圧縮されていないＰ枚の縮小画像の画像データは位置ずれ情報と共に超解像処理部６１に入力される。つまり、画像処理部７３から出力される画像データが、圧縮処理部１６、外部メモリ１８及び伸張処理部１９を介して超解像処理部６１に入力される。Ｐ枚の縮小画像が入力された後の表示処理部２０ａの動作は、第１実施例で述べたものと同様である。
【００８８】
リサンプリング処理部７１にて採用される、Ｐ枚の縮小画像を生成するためのリサンプリングの方法を説明する。例として、上述のリサンプリング方法Ａ1〜Ａ6に対応するリサンプリング方法Ｂ1〜Ｂ6を説明する。リサンプリング方法Ｂ1〜Ｂ6において生成される位置ずれ情報は、夫々、リサンプリング方法Ａ1〜Ａ6において生成されるそれと同じである。尚、矛盾なき限り、或るリサンプリング方法にて説明した事項を他のリサンプリング方法に適用することもできる。また、リサンプリング処理部７１におけるリサンプリング対象画像を符号４００によって参照する。
【００８９】
――リサンプリング方法Ｂ1――
リサンプリング方法Ｂ1を説明する。リサンプリング方法Ｂ1では、Ｐが２であって上記縮小率が１／２である。リサンプリング方法Ｂ1における２枚の縮小画像を符号４１１及び４１２によって参照する。
【００９０】
リサンプリング対象画像４００の画素配列は図９に示すリサンプリング対象画像３００のそれと同様であり、リサンプリング対象画像４００上の画素と第１及び第２の縮小画像４１１及び４１２上の画素との位置関係は図１０（ａ）に示すそれと同様である。
【００９１】
そして、リサンプリング方法Ａ1と同様、リサンプリング対象画像４００上における位置［２ｎA−１，２ｎB−１］及び［２ｎA，２ｎB］の画素信号が、夫々、縮小画像４１１及び４１２上における位置［ｎA，ｎB］の画素信号となるようにリサンプリングが行われる（上述したように、ｎA及びｎBは自然数）。
【００９２】
但し、リサンプリング方法Ｂ1では、縮小画像上の色信号の配列がベイヤ配列となるようにリサンプリングが行われる（後述のリサンプリング方法Ｂ2〜Ｂ6においても同様）。即ち、第１実施例に係るリサンプリング方法では縮小画像上の１つ１つの画素にＲ、Ｇ及びＢ信号の全てが割り当てられるに対して、第２実施例に係るリサンプリング方法では縮小画像上の１つの画素にＲ、Ｇ及びＢ信号の何れか１つのみをベイヤ配列に従って割り当てる。よって、第２実施例に係るリサンプリング方法によって得られた各縮小画像上において、画素Ｐ［２ｎA−１，２ｎB］の画素信号はＲ信号のみを有し、画素Ｐ［２ｎA，２ｎB−１］の画素信号はＢ信号のみを有し、画素Ｐ［２ｎA−１，２ｎB−１］及びＰ［２ｎA，２ｎB］の画素信号はＧ信号のみを有する。
【００９３】
リサンプリング方法Ｂ1において、より具体的には以下のように処理すればよい。図１８は、リサンプリング対象画像４００上に示された第１及び第２の縮小画像４１１及び４１２の画素信号の様子を示している。図１８における［１，１］等の位置情報は、リサンプリング対象画像４００上の位置情報を表している。尚、上述の説明からも明らかなように、例えば、リサンプリング対象画像４００上の画素位置［５，５］は第１の縮小画像４１１上の画素位置［３，３］と一致し、リサンプリング対象画像４００上の画素位置［６，６］は第２の縮小画像４１２上の画素位置［３，３］と一致する。
【００９４】
縮小画像４１１上の位置［３，３］の画素信号であるＧ信号４１５は、リサンプリング対象画像４００上の位置［５，５］の画素信号であるＧ信号そのものとされる。或いは、Ｇ信号４１５は、リサンプリング対象画像４００上の位置［５，５］及び位置［５，５］周辺の画素位置におけるＧ信号から生成される（例えば、位置［５，５］、［４，４］、［４，６］、［６，４］及び［６，６］のＧ信号を混合することで生成される）。
縮小画像４１１上の位置［４，４］の画素信号であるＧ信号４１６は、リサンプリング対象画像４００上の位置［７，７］の画素信号であるＧ信号そのものとされる。或いは、Ｇ信号４１６は、リサンプリング対象画像４００上の位置［７，７］及び位置［７，７］周辺の画素位置におけるＧ信号から生成される（例えば、位置［７，７］、［６，６］、［６，８］、［８，６］及び［８，８］のＧ信号を混合することで生成される）。
縮小画像４１１上の位置［３，４］の画素信号であるＲ信号４１７は、リサンプリング対象画像４００上の位置［５，６］及び［５，８］の画素信号であるＲ信号を混合することで生成される。
縮小画像４１１上の位置［４，３］の画素信号であるＢ信号４１８は、リサンプリング対象画像４００上の位置［６，５］及び［８，５］の画素信号であるＢ信号を混合することで生成される。
【００９５】
２×２画素の領域内の画素信号の算出方法を説明したが、縮小画像４１１上の他の画素位置の画素信号も同様にして算出される。また、縮小画像４１２上の各画素の画素信号も同様にして算出される。Ｇ信号同士、Ｒ信号同士又はＢ信号同士を混合することによって縮小画像上の色信号を生成する上述の方法は、後述の他のリサンプリング方法にも適用される。
【００９６】
――リサンプリング方法Ｂ2――
リサンプリング方法Ｂ2を説明する。リサンプリング方法Ｂ2では、Ｐが２であって上記縮小率が１／３である。リサンプリング方法Ｂ2における２枚の縮小画像を符号４２１及び４２２によって参照する。リサンプリング対象画像４００上の画素と第１及び第２の縮小画像４２１及び４２２上の画素との位置関係は、リサンプリング方法Ａ2におけるものと同様である（図１２参照）。そして、リサンプリング方法Ａ2と同様、リサンプリング対象画像４００上における位置［３ｎA−２，３ｎB−２］及び［３ｎA−０．５，３ｎB−０．５］の画素信号が、夫々、縮小画像４２１及び４２２上における位置［ｎA，ｎB］の画素信号となるようにリサンプリングが行われる。但し、このリサンプリングは、各縮小画像上の色信号の配列がベイヤ配列となるように行われる。
【００９７】
尚、第１実施例でも述べたように、リサンプリング対象画像上における位置［ｘ，ｙ］を表す値ｘ及び／又はｙが小数を含む値である場合、リサンプリング対象画像上の位置［ｘ，ｙ］の画素信号は、位置［ｘ，ｙ］の周辺に配置されている、リサンプリング対象画像上の画素の画素信号を用いて補間（例えば、線形補間やバイリニア補間）により生成される。勿論、補間に用いられる画素信号の色は、補間によって生成されるべき画素信号の色と同一である。
【００９８】
――リサンプリング方法Ｂ3――
リサンプリング方法Ｂ3を説明する。リサンプリング方法Ｂ3では、Ｐが３であって上記縮小率が１／２である。リサンプリング方法Ｂ3における３枚の縮小画像を符号４３１〜４３３によって参照する。リサンプリング対象画像４００上の画素と第１〜第３の縮小画像４３１〜４３３上の画素との位置関係は、リサンプリング方法Ａ3におけるものと同様である（図１３参照）。そして、リサンプリング方法Ａ3と同様、リサンプリング対象画像４００上における位置［２ｎA−１，２ｎB−１］、［２ｎA，２ｎB］及び［２ｎA−０．５，２ｎB−０．５］の画素信号が、夫々、縮小画像４３１、４３２及び４３３上における位置［ｎA，ｎB］の画素信号となるようにリサンプリングが行われる。但し、このリサンプリングは、各縮小画像上の色信号の配列がベイヤ配列となるように行われる。
【００９９】
――リサンプリング方法Ｂ4――
リサンプリング方法Ｂ4を説明する。リサンプリング方法Ｂ4では、Ｐが３であって上記縮小率が１／２である。リサンプリング方法Ｂ4における３枚の縮小画像を符号４４１〜４４３によって参照する。リサンプリング対象画像４００上の画素と第１〜第３の縮小画像４４１〜４４３上の画素との位置関係は、リサンプリング方法Ａ4におけるものと同様である（図１４参照）。そして、リサンプリング方法Ａ4と同様、リサンプリング対象画像４００上における位置［２ｎA−１，２ｎB−１］、［２ｎA，２ｎB−１］及び［２ｎA−０．５，２ｎB−０．５］の画素信号が、夫々、縮小画像４４１、４４２及び４４３上における位置［ｎA，ｎB］の画素信号となるようにリサンプリングが行われる。但し、このリサンプリングは、各縮小画像上の色信号の配列がベイヤ配列となるように行われる。
【０１００】
――リサンプリング方法Ｂ5――
リサンプリング方法Ｂ5を説明する。リサンプリング方法Ｂ5では、Ｐが３であって上記縮小率が１／３である。リサンプリング方法Ｂ5における３枚の縮小画像を符号４５１〜４５３によって参照する。リサンプリング対象画像４００上の画素と第１〜第３の縮小画像４５１〜４５３上の画素との位置関係は、リサンプリング方法Ａ5におけるものと同様である（図１５参照）。そして、リサンプリング方法Ａ5と同様、リサンプリング対象画像４００上における位置［３ｎA−２，３ｎB−２］、［３ｎA−０．５，３ｎB−０．５］及び［３ｎA−１．５，３ｎB−１．５］の画素信号が、夫々、縮小画像４５１、４５２及び４５３上における位置［ｎA，ｎB］の画素信号となるようにリサンプリングが行われる。但し、このリサンプリングは、各縮小画像上の色信号の配列がベイヤ配列となるように行われる。
【０１０１】
――リサンプリング方法Ｂ6――
リサンプリング方法Ｂ6を説明する。リサンプリング方法Ｂ6では、Ｐが３であって上記縮小率が１／３である。リサンプリング方法Ｂ6における３枚の縮小画像を符号４６１〜４６３によって参照する。リサンプリング対象画像４００上の画素と第１〜第３の縮小画像４６１〜４６３上の画素との位置関係は、リサンプリング方法Ａ6におけるものと同様である（図１６参照）。そして、リサンプリング方法Ａ6と同様、リサンプリング対象画像４００上における位置［３ｎA−２，３ｎB−２］、［３ｎA，３ｎB］及び［３ｎA−１，３ｎB−１］の画素信号が、夫々、縮小画像４６１、４６２及び４６３上における位置［ｎA，ｎB］の画素信号となるようにリサンプリングが行われる。但し、このリサンプリングは、各縮小画像上の色信号の配列がベイヤ配列となるように行われる。
【０１０２】
［画像処理部について］
図１７の画像処理部７３にて実行される画像処理は、例えば、エッジ強調処理、ノイズ低減処理である。特に、ノイズ低減処理の一種である、三次元デジタルノイズ低減処理（3-Dimensional Digital Noise Reduction；以下、３ＤＤＮＲという）を画像処理部７３における画像処理として実行するようにしてもよい。
【０１０３】
３ＤＤＮＲは、周知の如く、複数の処理対象画像間の相関に基づいて複数の処理対象画像に含まれるノイズを除去する。画像処理部７３の３ＤＤＮＲにおける処理対象画像は、デモザイキング処理部７２から送られてくるデモザイキング処理後の縮小画像である。以下、説明の簡略化上、デモザイキング処理の存在を無視する場合がある。
【０１０４】
３ＤＤＮＲにおいて、１枚の原画像に基づくＰ枚の縮小画像をＰ枚の処理対象画像として捉えた上で、Ｐ枚の縮小画像に基づき各縮小画像のノイズを低減することもできる。例えば、リサンプリング方法Ｂ1を利用する場合、２枚の縮小画像４１１及び４１２のみに基づいて縮小画像４１１及び４１２のノイズを３ＤＤＮＲによって低減することもできる。しかしながら、１枚の原画像に基づく２枚の縮小画像４１１及び４１２間には位置ずれが存在している。故に、２枚の縮小画像４１１及び４１２のみに基づいて３ＤＤＮＲを実行したならば、その縮小画像４１１及び４１２間の相関は位置ずれの影響を受け、結果、３ＤＤＮＲによるノイズ低減効果が劣化する。これは、リサンプリング方法Ｂ2〜Ｂ6を利用した場合においても同様である。
【０１０５】
このノイズ低減効果の劣化を防止するために、複数の原画像に基づく複数の縮小画像の相関を利用して複数の縮小画像に対する３ＤＤＮＲを実行するようにしてもよい。具体的には、以下のように処理すればよい。
【０１０６】
撮影モードにおいてシャッタボタン２６ｂが押下された時、図１９に示す如く、第１〜第Ｌの原画像から成るＬ枚の原画像を連続撮影によって取得する（Ｌは２以上の整数）。リサンプリング処理部７１は、このＬ枚の原画像の夫々に対して上述のリサンプリングを行う。そうすると、第１の原画像に基づくＰ枚の縮小画像、第２の原画像に基づくＰ枚の縮小画像、・・・、第（Ｌ−１）の原画像に基づくＰ枚の縮小画像、及び、第Ｌの原画像に基づくＰ枚の縮小画像が得られる。即ち、合計（Ｌ×Ｐ）枚の縮小画像が得られる。この（Ｌ×Ｐ）枚の縮小画像には、互いに位置ずれを有さないＬ枚の縮小画像の組がＰセット含まれている。画像処理部７３は、得られた（Ｌ×Ｐ）枚の縮小画像の内の、互いに位置ずれを有さないＬ枚の縮小画像をＬ枚の処理対象画像と捉えた上で３ＤＤＮＲを実行する。
【０１０７】
例えば、リサンプリング方法Ｂ1を利用する場合、Ｌ枚の原画像からＬ枚の第１の縮小画像４１１及びＬ枚の第２の縮小画像４１２が得られる。Ｌ枚の第１の縮小画像４１１は互いに位置ずれを有さないＬ枚の縮小画像の組を形成し、Ｌ枚の第２の縮小画像４１２は互いに位置ずれを有さないＬ枚の縮小画像の組を形成する。画像処理部７３は、Ｌ枚の第１の縮小画像４１１に基づいて３ＤＤＮＲを実行することにより各縮小画像４１１のノイズを低減することができ、Ｌ枚の第２の縮小画像４１２に基づいて３ＤＤＮＲを実行することにより各縮小画像４１２のノイズを低減することができる。第１〜第Ｌの原画像の内の１枚の原画像に基づくＰ枚の縮小画像の画素データ（より厳密には、デモザイキング処理及び３ＤＤＮＲが施された後の、Ｐ枚の縮小画像の圧縮画像データ）が、外部メモリ１８に記録される。
【０１０８】
第２実施例においても、ユーザの希望に応じて、再生画像の画質劣化を殆ど招くことなく、画像の記録サイズを削減することができる。また、上述のようなリサンプリングを行わない通常の撮影動作と比べて、リサンプリング処理部の後段における処理の取り扱い画素数が低減されるため、撮影動作における消費電力削減も可能となりうる。特に、リサンプリングが第１実施例よりも前段側で行われるため、消費電力削減効果はより高く期待される。
【０１０９】
また、Ｌ枚の処理対象画像に基づく３ＤＤＮＲは、第１〜第（Ｌ−１）番目の処理対象画像を内部メモリ１７に保存した状態で第Ｌ番目の処理対象画像を画像処理部７３に入力することで実施される。このため、処理対象画像を縮小画像とすることで処理対象画像１枚当たりの必要メモリ容量が低減し、結果、原画像等を処理対象画像にする場合と比べてＬの値を増大させることが可能である。Ｌの値を増大、即ち処理対象画像の枚数の増大によって、３ＤＤＮＲによるノイズ低減効果を高めることができる。
【０１１０】
尚、上述の例では、画像処理部７３がデモザイキング処理部７２の後段に設けられているが、画像処理部７３をデモザイキング処理部７２の前段に設けるようにしてもよい。
【０１１１】
また、図２０に示す如く、リサンプリング処理部７１、デモザイキング処理部７２及び画像処理部７３を介して得られたＰ枚の縮小画像の画像データ（より厳密には、デモザイキング処理及び３ＤＤＮＲ等の画素処理が施された後の、Ｐ枚の縮小画像の画像データ）を、位置ずれ情報と共に超解像処理部６１に直接入力し、これによって超解像処理部６１から得られた高解像度画像の画像データを圧縮処理部１６による圧縮処理を介して外部メモリ１８に記録するようにしてもよい。図２０の構成によれば、画像の記録サイズの削減効果は得られないものの、図１７及び図６（ｂ）の構成と同様、消費電力削減効果及び３ＤＤＮＲによるノイズ低減効果の向上が見込める。
【０１１２】
＜＜第３実施例＞＞
外部メモリ１８の記録データに基づく、第１又は第２実施例にて示した超解像処理を、撮像装置１と異なる電子機器（例えば、画像再生装置；不図示）にて実現することも可能である。この場合、その電子機器内に、図６（ｂ）の伸張処理部１９、映像信号処理部２０ａ及び表示部２７を設けておき、外部メモリ１８の記録データを電子機器に与えればよい。外部メモリ１８の記録データには、第１又は第２実施例で示した、縮小画像に関する画像データ及び位置ずれ情報が含まれる。
【０１１３】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１４】
［注釈１］
図１の撮像装置１又は第３実施例に係る電子機器は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、映像信号処理部１３及び表示処理部２０内で実行される処理の全部又は一部を、ソフトウェアを用いて実現することも可能である。勿論、それらをハードウェアのみで形成することも可能である。ソフトウェアを用いて撮像装置１又は第３実施例に係る電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【０１１５】
［注釈２］
例えば、以下のように考えることができる。１枚の原画像からＰ枚の縮小画像を生成する縮小画像生成部は、リサンプリング部５３又は７１を含む部位であると考えることができる（図６（ａ）、図１７、図２０参照）。画像データ及び位置ずれ情報を外部メモリ１８に記録させる動作は記録制御部（不図示）によって制御される。この記録制御部の機能は、ＣＰＵ２３、圧縮処理部１６、及び／又は、外部メモリ１８の前段に設けられたメモリドライバ（不図示）により実現される、と考えることができる。超解像処理部６１は、複数の低解像度画像から１枚の高解像度画像を生成する高解像度化部として機能する。Ｐ枚の縮小画像をＰ枚の低解像度画像として高解像度画像部に入力することにより高解像度画像としての出力画像を生成する出力画像生成部は、超解像処理部６１を含む。出力画像生成部に、更に表示用映像処理部６２等が含まれていると考えることも可能である。
【符号の説明】
【０１１６】
１  撮像装置
１１  撮像部
１３、１３ａ、１３ｂ  映像信号処理部
１８  外部メモリ
２０、２０ａ  表示処理部
３３  撮像素子
５１、７２  デモザイキング処理部
５２、７３  画像処理部
５３、７１  リサンプリング処理部
６１  超解像処理部
【図１】
2010251882.tif 000003
【図２】
2010251882.tif 000004
【図３】
2010251882.tif 000005
【図４】
2010251882.tif 000006
【図５】
2010251882.tif 000007
【図６】
2010251882.tif 000008
【図７】
2010251882.tif 000009
【図８】
2010251882.tif 000010
【図９】
2010251882.tif 000011
【図１０】
2010251882.tif 000012
【図１１】
2010251882.tif 000013
【図１２】
2010251882.tif 000014
【図１３】
2010251882.tif 000015
【図１４】
2010251882.tif 000016
【図１５】
2010251882.tif 000017
【図１６】
2010251882.tif 000018
【図１７】
2010251882.tif 000019
【図１８】
2010251882.tif 000020
【図１９】
2010251882.tif 000021
【図２０】
2010251882.tif 000022