(57)【特許請求の範囲】
【請求項１】
複数の受光画素から成り、前記複数の受光画素に複数色の色フィルタを設けた単板方式の撮像素子と、
前記撮像素子上における抽出領域内の受光画素信号から出力画像の画像データを生成する信号処理部と、を備えた撮像装置において、
前記信号処理部は、前記出力画像の各画素に対して複数の色信号が割り当てられるように前記抽出領域内の受光画素信号に対して色補間処理を実行することで前記出力画像の画像データを生成し、
前記抽出領域内の受光画素数である入力画素数と前記出力画像の画素数である出力画素数とに応じて前記色補間処理の内容を制御することで、前記出力画像の空間周波数特性を制御する
ことを特徴とする撮像装置。
【請求項２】
前記信号処理部は、前記入力画素数に対する前記出力画素数の比の変化に伴って前記色補間処理の内容を変化させることで、前記出力画像の空間周波数特性を変化させる
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記信号処理部は、
前記比が第１の比である場合、前記色補間処理として第１の色補間処理を実行し、
前記比が第１の比よりも大きな第２の比である場合、前記色補間処理として第２の色補間処理を実行し、
前記第１の色補間処理による平滑化の強度は前記第２の色補間処理による平滑化の強度よりも大きい、或いは、前記第２の色補間処理によるエッジ強調の強度は前記第１の色補間処理によるエッジ強調の強度よりも大きい
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
指定されたズーム倍率に応じて前記抽出領域の大きさを設定する抽出領域設定部を更に備え、
前記ズーム倍率の変化に伴って前記抽出領域の大きさが変化し、
前記信号処理部は、前記ズーム倍率の変化に連動して前記出力画像の空間周波数特性を変化させる
ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
【請求項５】
前記信号処理部は、前記入力画素数及び前記出力画素数と、前記受光画素信号に基づく動き情報又は当該撮像装置の動きを検出するセンサの検出結果に基づく動き情報とに応じて、前記出力画像の空間周波数特性を制御する
ことを特徴とする請求項１〜請求項４の何れかに記載の撮像装置。
【請求項６】
複数の受光画素から成る撮像素子と、
前記撮像素子上における抽出領域内の受光画素信号から出力画像の画像データを生成する信号処理部と、を備えた撮像装置において、
前記信号処理部は、前記抽出領域内の受光画素数である入力画素数と、前記出力画像の画素数である出力画素数と、前記受光画素信号に基づく動き情報又は当該撮像装置の動きを検出するセンサの検出結果に基づく動き情報とに応じて、前記出力画像の空間周波数特性を制御する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
撮像素子における全受光画素領域の内、一部分の領域内の受光画素信号のみを利用し、出力画像を得る方法が提案されている（例えば、特許文献１参照）。このような方法は、図２８（ａ）及び（ｂ）に示すような方法であると考えることができる。
【０００３】
図２８（ａ）及び（ｂ）に示す方法では、ユーザの指定ズーム倍率に応じた大きさを有する抽出枠（抽出領域）を撮像素子３３上に設定し、抽出枠内の受光画素信号からＤＩＮメガの画像データを得た後、ＤＩＮメガの画像を縮小することで規定のＤＯＵＴメガ（例えば２メガ）の画像データを出力画像の画像データとして得る。ＤＩＮ≧ＤＯＵＴであり、ＲＡＷズーム倍率が大きくなるに従ってＤＩＮはＤＯＵＴに近づく。従って、ＲＡＷズーム倍率が増加するに伴い、抽出枠が小さくなって出力画像の画角が小さくなる。即ち、ＲＡＷズーム倍率を上げることで、画質劣化を伴うことなく、光学ズーム倍率が上がったかのような効果が得られる。また、信号処理における初期の段階で画像データ量を縮減できるため、高フレームレートが必要となる動画像撮影にとってＲＡＷズームは特に有益である。
【０００４】
図２８（ａ）の画像９０１及び９０２は、夫々、ＲＡＷズーム倍率が比較的小さいときに得られる８メガの入力画像及び２メガの出力画像であり、図２８（ｂ）の画像９１１及び９１２は、夫々、ＲＡＷズーム倍率が比較的大きいとき（ＲＡＷズーム倍率が上限倍率に一致するとき）に得られる２メガの入力画像及び２メガの出力画像である。即ち、図２８（ａ）のケースでは、√（ＤＯＵＴ／ＤＩＮ）＝０．５であり、図２８（ｂ）のケースでは、√（ＤＯＵＴ／ＤＩＮ）＝１．０である。
【０００５】
２メガの出力画像９０２にて表現可能な最大の空間周波数は８メガの入力画像９０１のそれよりも低い。一方、２メガの出力画像９１２にて表現可能な最大の空間周波数は２メガの入力画像９１１のそれと同等である。しかしながら、従来の一手法では、比（ＤＯＵＴ／ＤＩＮ）の如何に関わらず、即ちＲＡＷズーム倍率の如何に関わらず、同じ信号処理（例えば、デモザイキング処理）を行っていた。
【０００６】
尚、ノイズ除去を目的として、入力画像（ＲＡＷデータ）に対してフィルタリング処理を成す技術が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１７１５４８号公報
【特許文献２】特開２００８−１５３９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
入力画像又は出力画像に対して行われる信号処理が√（ＤＯＵＴ／ＤＩＮ）＝１である状態に適した信号処理である場合において、√（ＤＯＵＴ／ＤＩＮ）が実際には０．５である場合、８メガの入力画像９０１では表現できるが２メガの出力画像９０２では表現できない高周波の空間周波数成分が出力画像９０２に混入し、出力画像９０２に折り返し歪みが発生することがある。折り返し歪みは、偽色やノイズとなって現れる。
【０００９】
このような折り返し歪みの発生を抑制すべく、信号処理に、平滑化（ローパスフィルタ）の機能を内在させておくこともできる。しかし、信号処理に一律に平滑化の機能を内在させておくと、√（ＤＯＵＴ／ＤＩＮ）＝１である場合において信号を無駄に平滑化してしまい、出力画像の解像力が不足することがある。
【００１０】
折り返し歪みの抑制と解像力不足の抑制をバランス良く両立させることが有益であることは言うまでもない。尚、特許文献２の方法では、このような両立は実現されない。
【００１１】
そこで本発明は、折り返し歪みの抑制と解像力不足の抑制をバランス良く両立させることが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る撮像装置は、複数の受光画素から成る撮像素子と、前記撮像素子上における抽出領域内の受光画素信号から出力画像の画像データを生成する信号処理部と、を備えた撮像装置において、前記信号処理部は、前記抽出領域内の受光画素数である入力画素数と、前記出力画像の画素数である出力画素数とに応じて、前記出力画像の空間周波数特性を制御することを特徴とする。
【００１３】
これにより、入力画像数及び出力画像数に応じて適切な空間周波数制御を成すことができ、折り返し歪みの抑制と解像力不足の抑制をバランス良く両立させることも可能となる。
【００１４】
具体的には例えば、前記信号処理部は、前記入力画素数に対する前記出力画素数の比の変化に伴って、前記出力画像の空間周波数特性を変化させる。
【００１５】
より具体的には例えば、前記撮像素子は、前記複数の受光画素に複数色の色フィルタを設けた単板方式の撮像素子であり、前記信号処理部は、前記出力画像の各画素に対して複数の色信号が割り当てられるように前記抽出領域内の受光画素信号に対して色補間処理を実行することで前記出力画像の画像データを生成し、前記比の変化に伴って前記色補間処理の内容を変化させることで、前記出力画像の空間周波数特性を変化させる。
【００１６】
これにより、元々必要な色補間処理の中で空間周波数制御を実現することができ、空間周波数制御用の専用処理を設ける必要ななくなる。
【００１７】
より具体的には例えば、前記信号処理部は、前記比が第１の比である場合、前記色補間処理として第１の色補間処理を実行し、前記比が第１の比よりも大きな第２の比である場合、前記色補間処理として第２の色補間処理を実行し、前記第１の色補間処理による平滑化の強度は前記第２の色補間処理による平滑化の強度よりも大きい、或いは、前記第２の色補間処理によるエッジ強調の強度は前記第１の色補間処理によるエッジ強調の強度よりも大きい。
【００１８】
また例えば、指定されたズーム倍率に応じて前記抽出領域の大きさを設定する抽出領域設定部を当該撮像装置に更に設けてもよい。そして例えば、前記ズーム倍率の変化に伴って前記抽出領域の大きさが変化し、前記信号処理部は、前記ズーム倍率の変化に連動して前記出力画像の空間周波数特性を変化させる。
【００１９】
また例えば、前記信号処理部は、前記入力画素数及び前記出力画素数と、前記受光画素信号に基づく動き情報又は当該撮像装置の動きを検出するセンサの検出結果に基づく動き情報とに応じて、前記出力画像の空間周波数特性を制御する。
【００２０】
これにより、動き情報をも考慮した上で、最適な空間周波数制御を成すことが可能となる。
【発明の効果】
【００２１】
本発明によれば、折り返し歪みの抑制と解像力不足の抑制をバランス良く両立させることが可能な撮像装置を提供することが可能である。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】撮像素子における受光画素配列を示す図（ａ）と、撮像素子の有効画素領域を示す図（ｂ）である。
【図４】撮像素子における色フィルタ配列を示す図である。
【図５】有効画素領域と抽出枠とＲＡＷ画像との関係を示す図である。
【図６】撮像装置の一部ブロック図である。
【図７】抽出枠とＲＡＷ画像と変換結果画像との関係を示す図である。
【図８】撮像装置の一部ブロック図である。
【図９】ＹＵＶ画像と最終結果画像とを示す図である。
【図１０】総合ズーム倍率、光学ズーム倍率、電子ズーム倍率及びＲＡＷズーム倍率の関係例を示す図である。
【図１１】注目画素と対象画素との関係を示す図である。
【図１２】色補間処理に用いられるフィルタを示す図（ａ）（ｃ）と、フィルタの各要素に対応する受光画素信号の値を示す図（ｂ）（ｄ）である。
【図１３】基本色補間処理にてＧ信号を生成する際に用いられるフィルタを示す図である。
【図１４】基本色補間処理にてＲ信号を生成する際に用いられるフィルタを示す図である。
【図１５】基本色補間処理にてＢ信号を生成する際に用いられるフィルタを示す図である。
【図１６】撮像装置の一部ブロック図である。
【図１７】ＲＡＷズーム倍率が０．５倍の条件下における、入力ＲＡＷ画像及び出力ＲＡＷ画像を示す図（ａ）と入力ＲＡＷ画像及び出力ＲＡＷ画像の変調伝達関数を示す図（ｂ）（ｃ）である（ぶれによる劣化無し）。
【図１８】ＲＡＷズーム倍率が１．０倍の条件下における、入力ＲＡＷ画像及び出力ＲＡＷ画像を示す図（ａ）と入力ＲＡＷ画像及び出力ＲＡＷ画像の変調伝達関数を示す図（ｂ）（ｃ）である（ぶれによる劣化無し）。
【図１９】本発明の第１実施例に係り、色補間処理にてＧ信号を生成する際に用いられるフィルタを示す図である。
【図２０】本発明の第１実施例に係り、色補間処理にてＧ信号を生成する際に用いられるフィルタを示す図である。
【図２１】本発明の第２実施例に係り、色補間処理にてＲ信号を生成する際に用いられるフィルタを示す図である。
【図２２】ＲＡＷズーム倍率が０．５倍の条件下における、入力ＲＡＷ画像及び出力ＲＡＷ画像を示す図（ａ）と入力ＲＡＷ画像及び出力ＲＡＷ画像の変調伝達関数を示す図（ｂ）（ｃ）である（ぶれによる劣化有り）。
【図２３】ＲＡＷズーム倍率が１．０倍の条件下における、入力ＲＡＷ画像及び出力ＲＡＷ画像を示す図（ａ）と入力ＲＡＷ画像及び出力ＲＡＷ画像の変調伝達関数を示す図（ｂ）（ｃ）である（ぶれによる劣化有り）。
【図２４】撮像装置の一部ブロック図である。
【図２５】本発明の第３実施例に係り、色補間処理にてＧ信号を生成する際に用いられるフィルタを示す図である。
【図２６】本発明の第４実施例に係る撮像装置の一部ブロック図である。
【図２７】本発明の第４実施例に係る撮像装置の変形一部ブロック図である。
【図２８】従来技術に係り、ＲＡＷズームの概要を説明するための図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を付記することによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。例えば、ＲＡＷズーム倍率を記号ＺＦＲＡＷによって表す場合、ＲＡＷズーム倍率ＺＦＲＡＷを、例えば倍率ＺＦＲＡＷ又は単にＺＦＲＡＷに表記する場合もある。
【００２４】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものである、と解釈することも可能である。
【００２５】
撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ＣＰＵ２３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度が制御される。
【００２６】
撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。
【００２７】
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００２８】
圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を記録する。
【００２９】
伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。
【００３０】
ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ、並びに、ズーム倍率を指定するためのズームボタン２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。操作部２６はタッチパネルを含んでいても良い。
【００３１】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作部２６に対する操作に応じて、各モード間の遷移は実施される。以下の説明は、特に述べない限り、撮影モードにおける撮像装置１の動作説明である。
【００３２】
撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表す映像信号を画像データとも呼ぶ。或る画素に対する画像データを、画素信号と呼ぶこともある。或る画像の大きさ又は画像領域の大きさを、画像サイズとも呼ぶ。注目画像又は注目画像領域の画像サイズを、注目画像を形成する画素の数又は注目画像領域に属する画素の数にて表現することができる。
【００３３】
尚、本明細書では、或る画像の画像データのことを単に画像と言うこともある。従って、例えば、或る画像の生成、取得、記録、加工、変形、編集又は保存とは、当該画像の画像データの生成、取得、記録、加工、変形、編集又は保存を意味する。また、画像データの圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、画像データの圧縮及び伸張の存在を無視する。従って例えば、或る画像についての圧縮された画像データを記録することを、単に、画像データを記録する又は画像を記録すると表現する。
【００３４】
図３（ａ）は、撮像素子３３の有効画素領域３３Ａ内の受光画素配列を示している。図３（ｂ）に示す如く、撮像素子３３の有効画素領域３３Ａは長方形形状を有しており、その長方形の一頂点を撮像素子３３の原点と捉える。原点が有効画素領域３３Ａの左上隅に位置するものとする。図３（ｂ）に示す如く、撮像素子３３の水平方向における有効画素数ＭＨと垂直方向における有効画素数ＭＶとの積（ＭＨ×ＭＶ）に相当する個数の受光画素が二次元配列されることによって、有効画素領域３３Ａが形成される。ＭＨ及びＭＶは、２以上の整数であり、例えば、数１００〜数１０００の範囲内の値をとる。以下では、説明の具体化のため、ＭＨ＝４０００且つＭＶ＝２０００、であるとする。また、１００００００を１メガとも呼ぶ。従って、（４０００×２０００）は８メガとも称される。
【００３５】
有効画素領域３３Ａ内の各受光画素をＰＳ［ｘ，ｙ］にて表す。ここで、ｘ及びｙは整数である。撮像素子３３において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。撮像素子３３において、受光画素ＰＳ［ｘ，ｙ］の右側、左側、上側、下側に隣接する受光画素は、夫々、受光画素ＰＳ［ｘ＋１，ｙ］、ＰＳ［ｘ−１，ｙ］、ＰＳ［ｘ，ｙ−１］、ＰＳ［ｘ，ｙ＋１］である。各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号を受光画素信号として出力する。
【００３６】
撮像装置１は、１枚のイメージセンサのみを用いる、いわゆる単板方式を採用している。即ち、撮像素子３３は、単板方式の撮像素子である。図４は、撮像素子３３の各受光画素の前面に配置された色フィルタの配列を示している。図４に示される配列は、一般に、ベイヤー配列と呼ばれる。色フィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。赤フィルタは、受光画素ＰＳ［２ｎＡ，２ｎＢ−１］の前面に配置され、青フィルタは、受光画素ＰＳ［２ｎＡ−１，２ｎＢ］の前面に配置され、緑フィルタは、受光画素ＰＳ［２ｎＡ−１，２ｎＢ−１］又はＰＳ［２ｎＡ，２ｎＢ］の前面に配置される。ここで、ｎＡ及びｎＢは整数である。尚、図４並びに後述の図１３（ａ）等において、赤フィルタに対応する部位をＲにて表し、緑フィルタに対応する部位をＧにて表し、青フィルタに対応する部位をＢにて表す。
【００３７】
赤フィルタ、緑フィルタ、青フィルタが前面に配置された受光画素を、夫々、赤受光画素、緑受光画素、青受光画素とも呼ぶ。赤受光画素、緑受光画素及び青受光画素は、夫々、光学系の入射光の、赤成分、緑成分及び青成分にのみ反応する。各受光画素は、自身の前面に配置された色フィルタを介して自身に入射した光を光電変換によって電気信号に変換し、得られた電気信号を受光画素信号として出力する。
【００３８】
各受光画素信号はＡＦＥ１２によって増幅されると共にデジタル化され、増幅及びデジタル化された各受光画素信号はＲＡＷデータとしてＡＦＥ１２から出力される。但し、以下の説明では、説明の簡略化上、ＡＦＥ１２における信号デジタル化及び信号増幅の存在を無視し、受光画素から出力される受光画素信号そのものもＲＡＷデータと呼ぶ。
【００３９】
図５には、撮像素子３３の有効画素領域３３Ａ内に抽出枠ＥＦが設定される様子が示されている。抽出枠ＥＦは矩形枠であって、抽出枠ＥＦのアスペクト比は有効画素領域３３Ａのアスペクト比と等しく且つ抽出枠ＥＦの中心位置と有効画素領域３３Ａの中心位置は一致しているものとする。そして、抽出枠ＥＦ内の受光画素信号から形成される二次元画像、即ち、抽出枠ＥＦ内のＲＡＷデータを画像データとして持つ二次元画像を、ＲＡＷ画像と呼ぶ。ＲＡＷ画像を抽出画像と呼ぶこともできる。また、説明の具体化及び簡略化のため、本実施形態で述べられる任意の画像のアスペクト比は抽出枠ＥＦのアスペクト比と同じであるとする。尚、抽出枠ＥＦ内の領域を抽出領域（又は抽出対象領域）と呼ぶことができる。従って、本実施形態における抽出枠を抽出領域（又は抽出対象領域）と読み替えても良く、後述の抽出枠設定部を抽出領域設定部又は抽出対象領域設定部と読み替えても良い。抽出枠の設定又は変化等は抽出領域の設定又は変化等と同義であり、抽出枠の大きさの設定又は変化等は抽出領域の大きさの設定又は変化等と同義である。
【００４０】
本実施形態では、抽出枠ＥＦの大きさ変化によって画像サイズ変化を実現するＲＡＷズームという概念が導入される。ＲＡＷズームによる画像サイズの変化の度合いをＲＡＷズーム倍率と呼ぶ。図６は、ＲＡＷズームに関与する部位のブロック図である。例えば、抽出枠設定部５０を図１のＣＰＵ２３にて実現することができ、色補間処理部５１及び解像度変換部５２を図１の映像信号処理部１３に設けておくことが可能である。
【００４１】
抽出枠設定部５０には、ＲＡＷズーム倍率が入力される。詳細は後述されるが、ユーザ操作に基づいてＲＡＷズーム倍率が設定される。ユーザ操作とは、ユーザが操作部２６に対して成す操作を指す。抽出枠設定部５０は、ＲＡＷズーム倍率に従って抽出枠ＥＦの大きさを設定する。抽出枠ＥＦに属する受光画素の個数を（ＤＩＮ×１００００００）で表す（ＤＩＮは正の実数）。抽出枠設定部５０は、読み出し制御部としても機能し、抽出枠ＥＦに属するＤＩＮメガ分の受光画素からＤＩＮメガ分のＲＡＷデータを読み出す。読み出されたＤＩＮメガ分のＲＡＷデータは色補間処理部５１に与えられる。換言すれば、ＤＩＮメガ分のＲＡＷデータを画像データとして持つＲＡＷ画像が色補間処理部５１に与えられる。
【００４２】
１つのＲＡＷデータは、赤、緑及び青の何れか１つについての色信号である。従って、ＲＡＷデータによって表される二次元画像には、赤の色信号が色フィルタ配列に従ってモザイク状に配置される（緑及び青についても同様）。色補間処理部５１は、ＤＩＮメガ分のＲＡＷデータに対して色補間処理を実行することにより、ＤＩＮメガ個の画素から成る色補間画像（換言すれば、ＤＩＮメガの画像サイズを有する色補間画像）を生成する。周知のデモザイキング処理を色補間処理として利用することができる。色補間画像の１つ１つの画素には、互いに異なる色信号としてのＲ、Ｇ及びＢ信号が割り当てられる、或いは、輝度信号Ｙと色差信号Ｕ及びＶが割り当てられる。以下の説明では、色補間処理によってＲＡＷデータからＲ、Ｇ及びＢ信号が生成されるものとし、Ｒ、Ｇ及びＢ信号によって表現される画像データをＲＧＢデータとも呼ぶ。そうすると、色補間処理部５１によって生成される色補間画像は、ＤＩＮメガ分のＲＧＢデータを有する。ＤＩＮメガ分のＲＧＢデータは、ＤＩＮメガ分のＲ信号とＤＩＮメガ分のＧ信号とＤＩＮメガ分のＢ信号とから成る（後述のＤＯＵＴ分のＲＧＢデータ又はＹＵＶデータ等も同様）。
【００４３】
解像度変換部５２は、色補間画像の画像サイズをＤＩＮメガからＤＯＵＴメガに変換する解像度変換を行い、解像度変換後の色補間画像（即ち、ＤＯＵＴメガの画像サイズを有する色補間画像）を変換結果画像として生成する。解像度変換は、公知の再標本化によって実現される。解像度変換部５２にて生成される変換結果画像は、ＤＯＵＴメガ個の画素から成り、ＤＯＵＴメガ分のＲＧＢデータを有する。ＤＯＵＴは正の実数であって、ＤＩＮ≧ＤＯＵＴを満たす。ＤＩＮ＝ＤＯＵＴである場合、解像度変換部５２にて生成される変換結果画像は、色補間処理部５１にて生成される色補間画像と一致する。
【００４４】
解像度変換部５２には、ＤＯＵＴの値が入力される。ユーザは、操作部２６に対する所定操作によってＤＯＵＴの値を指定することができる。或いは、ＤＯＵＴの値は固定値であっても良い。以下の説明では、特に断りなき限り、ＤＯＵＴ＝２であるとする。そうすると、ＤＩＮは２以上且つ８以下である（上述したように、ＭＨ＝４０００且つＭＶ＝２０００であることを想定しているため；図３（ｂ）参照））。
【００４５】
図７（ａ）及び（ｂ）を参照して、ＲＡＷズーム倍率と抽出枠ＥＦとの関係等を説明する。図７（ａ）、（ｂ）における破線矩形枠ＥＦ３１１、ＥＦ３２１は、夫々、ＲＡＷズーム倍率が０．５倍、１．０倍の時における抽出枠ＥＦである。図７（ａ）には、ＲＡＷズーム倍率が０．５倍の時におけるＲＡＷ画像３１２及び変換結果画像３１３が示されており、図７（ｂ）には、ＲＡＷズーム倍率が１倍の時におけるＲＡＷ画像３２２及び変換結果画像３２３が示されている。
【００４６】
抽出枠設定部５０は、
定義式：（ＲＡＷズーム倍率）
＝√（（変換結果画像の画像サイズ）／（抽出枠ＥＦの画像サイズ））
＝√（（ＤＯＵＴメガ）／（ＤＩＮメガ））
＝√（ＤＯＵＴ／ＤＩＮ）
に従って、ＲＡＷズーム倍率から抽出枠ＥＦの画像サイズ（大きさ）を決定する。即ち、（ＤＯＵＴ／ＤＩＮ）の正の平方根がＲＡＷズーム倍率と一致（又は略一致）するように、抽出枠ＥＦの大きさ（換言すれば、抽出枠ＥＦの画像サイズ）を決定する。本実施形態では、ＤＯＵＴ＝２であることを想定しているため、ＲＡＷズーム倍率の可変範囲は０．５倍以上且つ１倍以下の範囲である。
【００４７】
ＲＡＷズーム倍率が０．５倍の時には、上記定義式より抽出枠ＥＦの画像サイズは８メガとなるため、図７（ａ）に示す如く、有効画素領域３３Ａと同じ大きさを有する抽出枠ＥＦ３１１が設定され、結果、８メガの画像サイズを有するＲＡＷ画像３１２が読み出される。この場合、解像度変換部５２は、ＲＡＷ画像３１２に基づく８メガの画像サイズを有する色補間画像（不図示）を水平及び垂直方向に夫々１／２に縮小し、これによって２メガの画像サイズを有する変換結果画像３１３を生成する。尚、図７（ａ）では、図示の便宜上、抽出枠ＥＦ３１１が有効画素領域３３Ａの外枠よりも若干小さく示されている。
【００４８】
ＲＡＷズーム倍率が１倍の時には、上記定義式より抽出枠ＥＦの画像サイズは２メガとなるため、図７（ｂ）に示す如く、有効画素領域３３Ａ内に２メガの画像サイズを有する抽出枠ＥＦ３２１が設定され、結果、２メガの画像サイズを有するＲＡＷ画像３２２が読み出される。この場合、解像度変換部７２は、ＲＡＷ画像３２２に基づく２メガの画像サイズを有する色補間画像（不図示）を、変換結果画像３２３として出力する。
【００４９】
上記定義式並びに図７（ａ）及び（ｂ）からも理解されるように、ＲＡＷズーム倍率が増加するに伴って抽出枠ＥＦが小さくなって、変換結果画像の画角が小さくなる。即ち、ＲＡＷズーム倍率を上げることで、画質劣化を伴うことなく、光学ズーム倍率が上がったかのような効果が得られる。変換結果画像の画角とは、変換結果画像にて表現される撮影空間の範囲を角度にて表したものである（変換結果画像以外の任意の画像の画角、及び、有効画素領域３３Ａ上に結像する画像の画角についても同様）。
【００５０】
ＲＡＷズーム倍率に基づく解像度変換によって画像サイズが低減されると、その分だけ、後段の信号処理（ＹＵＶ変換や信号圧縮など）における演算負荷が軽減される。よって、信号処理についての時間的制約が比較的厳しい動画像の撮影及び記録時において、ＲＡＷズームの利用は特に有益である。
【００５１】
撮像装置１では、上述のＲＡＷズームに加えて、光学ズーム及び電子ズームを成すこともできる。図８は、撮影によって取得されるべき画像の画角調整に特に関与する部位のブロック図である。図８に示される全ての部位を撮像装置１に設けておくことができる。ズーム主制御部６０は、例えば、ＣＰＵ２３によって実現される。光学ズーム処理部６１は、例えば、図２のドライバ３４及びズームレンズ３０によって実現される。ＹＵＶ変換部５３及び電子ズーム処理部５４は、例えば、図１の映像信号処理部１３内に設けられる。
【００５２】
ユーザによる、ズームボタン２６ｃに対する操作をズーム操作と呼ぶ。ズーム主制御部６０は、ズーム操作に従って総合ズーム倍率を決定し、該総合ズーム倍率から光学ズーム倍率、ＲＡＷズーム倍率及び電子ズーム倍率を設定する。抽出枠設定部５０は、ズーム主制御部６０にて設定されたＲＡＷズーム倍率に従い、抽出枠ＥＦの大きさを設定する。
【００５３】
光学ズーム処理部６１は、有効画素領域３３Ａ上に形成される画像の画角がズーム主制御部６０にて設定された光学ズーム倍率に従った画角となるようにズームレンズ３０の位置を制御する。即ち、光学ズーム処理部６１は、光学ズーム倍率に従ってズームレンズ３０の位置を制御することにより、撮像素子３３の有効画素領域３３Ａ上に形成される画像の画角を設定する。光学ズーム倍率が或る倍率を起点としてｋＣ倍になれば、有効画素領域３３Ａ上に形成される画像の画角は、撮像素子３３の水平及び垂直方向の夫々において、１／ｋＣ倍となる（ｋＣは正の数であって、例えば２倍）。
【００５４】
ＹＵＶ変換部５３は、解像度変換部５２にて得られた変換結果画像の画像データのデータ形式をＹＵＶ変換によってＹＵＶ形式に変換することでＹＵＶ画像を生成する。即ち、変換結果画像のＲ、Ｇ及びＢ信号を輝度信号Ｙと色差信号Ｕ及びＶに変換し、これによって得られた輝度信号Ｙと色差信号Ｕ及びＶを有するＹＵＶ画像を生成する。輝度信号Ｙと色差信号Ｕ及びＶによって表現される画像データをＹＵＶデータとも呼ぶ。そうすると、ＹＵＶ変換部５３にて生成されるＹＵＶ画像は、ＤＯＵＴメガ分のＹＵＶデータを有する。
【００５５】
電子ズーム処理部５４は、ズーム主制御部６０にて設定された電子ズーム倍率に従う電子ズーム処理をＹＵＶ画像に施すことで最終結果画像を生成する。電子ズーム処理とは、図９に示す如く電子ズーム倍率に応じた大きさを有する切り出し枠をＹＵＶ画像の画像領域内に設定し、ＹＵＶ画像上における切り出し枠内の画像（以下、切り出し画像という）に対して画像サイズ拡大処理を施して得た画像を最終結果画像として生成する処理を指す。電子ズーム倍率が１倍のとき、切り出し枠の画像サイズはＹＵＶ画像の画像サイズと一致し（従って、最終結果画像はＹＵＶ画像と一致し）、電子ズーム倍率が増大するにつれて切り出し枠の画像サイズは小さくなる。最終結果画像の画像サイズを、ＹＵＶ画像の画像サイズと一致させることができる。最終結果画像の画像データを、表示部２７に表示することができると共に外部メモリ１８に記録することができる。
【００５６】
総合ズーム倍率、光学ズーム倍率、電子ズーム倍率及びＲＡＷズーム倍率を、夫々、記号ＺＦＴＯＴ、ＺＦＯＰＴ、ＺＦＥＬ及びＺＦＲＡＷにて表す。そうすると、
ＺＦＴＯＴ＝ＺＦＯＰＴ×ＺＦＥＬ×ＺＦＲＡＷ×２
である。従って、最終結果画像の画角は、総合ズーム倍率が増大するにつれて減少する。
【００５７】
本実施形態では、光学ズーム倍率及び電子ズーム倍率の夫々の可変範囲が１倍以上且つ１０倍以下の範囲であるとする。そうすると、総合ズーム倍率の可変範囲は１倍以上且つ２００倍以下の範囲になる。図１０に、倍率ＺＦＴＯＴ、ＺＦＯＰＴ、ＺＦＥＬ及びＺＦＲＡＷの関係例を示す。実線折れ線３４０ＯＰＴは倍率ＺＦＴＯＴ及びＺＦＯＰＴ間の関係を示し、実線折れ線３４０ＥＬは倍率ＺＦＴＯＴ及びＺＦＥＬ間の関係を示し、破線折れ線３４０ＲＡＷは倍率ＺＦＴＯＴ及びＺＦＲＡＷ間の関係を示している。
１≦ＺＦＴＯＴ≦２０を満たす範囲内においては、倍率ＺＦＥＬは１倍に固定される一方で、倍率ＺＦＴＯＴが１倍から２０倍へと増大するにつれて、倍率ＺＦＯＰＴが１倍から１０倍へと増大すると共に倍率ＺＦＲＡＷが０．５倍から１倍へと増大する。
２０≦ＺＦＴＯＴ≦２００を満たす範囲内においては、倍率ＺＦＯＰＴは１０倍に固定されると共に倍率ＺＦＲＡＷは１倍に固定され、一方で、倍率ＺＦＴＯＴが２０倍から２００倍へと増大するにつれて倍率ＺＦＥＬが１倍から１０倍へと増大する。
１≦ＺＦＴＯＴ≦２０を満たす範囲内においては、倍率ＺＦＴＯＴの変化に伴って倍率ＺＦＲＡＷも変化し、倍率ＺＦＲＡＷの変化に伴って抽出枠ＥＦの大きさ（従って、抽出枠ＥＦ内の受光画素数）も変化する。
【００５８】
次に、色補間処理について詳細に説明する。色補間処理では、図１１に示す如く、抽出枠ＥＦ内の１つの受光画素を注目画素として捉え、注目画素に対応する対象画素のＲ、Ｇ及びＢ信号を生成する。対象画素は、色補間画像上の画素である。抽出枠ＥＦ内の各受光画素を順次注目画素に設定して、各注目画素に対して色補間処理を順次行うことにより、色補間画像の全画素に対するＲ、Ｇ及びＢ信号が生成される。以下の説明において述べられるフィルタとは、特に記述なき限り、色補間処理に用いられる空間フィルタを指す。
【００５９】
受光画素ＰＳ［ｐ，ｑ］が注目画素である場合、５×５のフィルタサイズを有する、図１２（ａ）のフィルタＦＩＬＡを用いて色補間処理を実行することができ、この場合、下記式（１）に従って得た値ＶＡが、受光画素ＰＳ［ｐ，ｑ］に対応する対象画素の信号値になる。ｐ及びｑは自然数である。ｋＡ１〜ｋＡ２５はフィルタＦＩＬＡのフィルタ係数である。受光画素ＰＳ［ｐ，ｑ］が注目画素である場合、図１２（ｂ）に示す如く、ａ１〜ａ２５は、夫々、受光画素
PS[p-2,q-2],PS[p-1,q-2],PS[p,q-2],PS[p+1,q-2],PS[p+2,q-2],
PS[p-2,q-1],PS[p-1,q-1],PS[p,q-1],PS[p+1,q-1],PS[p+2,q-1],
PS[p-2,q  ],PS[p-1,q  ],PS[p,q  ],PS[p+1,q  ],PS[p+2,q  ],
PS[p-2,q+1],PS[p-1,q+1],PS[p,q+1],PS[p+1,q+1],PS[p+2,q+1],
PS[p-2,q+2],PS[p-1,q+2],PS[p,q+2],PS[p+1,q+2],PS[p+2,q+2]
の受光画素信号の値である。 
【００６０】
【数１】
0005748513.tif 000002
【００６１】
或いは、受光画素ＰＳ［ｐ，ｑ］が注目画素である場合、７×７のフィルタサイズを有する、図１２（ｃ）のフィルタＦＩＬＢを用いて色補間処理を実行することができ、この場合、下記式（２）に従って得た値ＶＢが、受光画素ＰＳ［ｐ，ｑ］に対応する対象画素の信号値になる。ｋＢ１〜ｋＢ４９はフィルタＦＩＬＢのフィルタ係数である。受光画素ＰＳ［ｐ，ｑ］が注目画素である場合、図１２（ｄ）に示す如く、ｂ１〜ｂ４９は、夫々、
受光画素
PS[p-3,q-3],PS[p-2,q-3],PS[p-1,q-3],PS[p,q-3],PS[p+1,q-3],PS[p+2,q-3],PS[p+3,q-3],
PS[p-3,q-2],PS[p-2,q-2],PS[p-1,q-2],PS[p,q-2],PS[p+1,q-2],PS[p+2,q-2],PS[p+3,q-2],
PS[p-3,q-1],PS[p-2,q-1],PS[p-1,q-1],PS[p,q-1],PS[p+1,q-1],PS[p+2,q-1],PS[p+3,q-1],
PS[p-3,q  ],PS[p-2,q  ],PS[p-1,q  ],PS[p,q  ],PS[p+1,q  ],PS[p+2,q  ],PS[p+3,q  ],
PS[p-3,q+1],PS[p-2,q+1],PS[p-1,q+1],PS[p,q+1],PS[p+1,q+1],PS[p+2,q+1],PS[p+3,q+1],
PS[p-3,q+2],PS[p-2,q+2],PS[p-1,q+2],PS[p,q+2],PS[p+1,q+2],PS[p+2,q+2],PS[p+3,q+2],
PS[p-3,q+3],PS[p-2,q+3],PS[p-1,q+3],PS[p,q+3],PS[p+1,q+3],PS[p+2,q+3],PS[p+3,q+3]
の受光画素信号の値である。 
【００６２】
【数２】
0005748513.tif 000003
【００６３】
色補間処理部５１は、注目画素を中心とする所定領域内の緑受光画素の受光画素信号を抽出し、抽出した受光画素信号を混合することで対象画素のＧ信号を生成する（但し、抽出した受光画素信号が１つの場合には、抽出した受光画素信号そのものを対象画素のＧ信号にすることができる）。同様に、
色補間処理部５１は、注目画素を中心とする所定領域内の赤受光画素の受光画素信号を抽出し、抽出した受光画素信号を混合することで対象画素のＲ信号を生成する（但し、抽出した受光画素信号が１つの場合には、抽出した受光画素信号そのものを対象画素のＲ信号にすることができる）。同様に、
色補間処理部５１は、注目画素を中心とする所定領域内の青受光画素の受光画素信号を抽出し、抽出した受光画素信号を混合することで対象画素のＢ信号を生成する（但し、抽出した受光画素信号が１つの場合には、抽出した受光画素信号そのものを対象画素のＢ信号にすることができる）。
【００６４】
［基本色補間処理］
図１３（ａ）〜（ｃ）、図１４（ａ）〜（ｄ）及び図１５（ａ）〜（ｄ）に、基本的な色補間処理（以下、基本色補間処理という）の内容を示す。
【００６５】
基本色補間処理によってＧ信号を生成する際、色補間処理部５１は、
図１３（ａ）に示す如く注目画素が緑受光画素であるなら、フィルタ４０１を用いて対象画素のＧ信号を生成し、
図１３（ｂ）又は（ｃ）に示す如く注目画素が赤受光画素又は青受光画素であるなら、フィルタ４０２を用いて対象画素のＧ信号を生成する。
【００６６】
基本色補間処理によってＲ信号を生成する際、色補間処理部５１は、
図１４（ａ）に示す如く注目画素が赤受光画素であるなら、フィルタ４０１を用いて対象画素のＲ信号を生成し、
図１４（ｂ）に示す如く注目画素が緑受光画素ＰＳ［２ｎＡ−１，２ｎＢ−１］であるなら、フィルタ４０３を用いて対象画素のＲ信号を生成し、
図１４（ｃ）に示す如く注目画素が緑受光画素ＰＳ［２ｎＡ，２ｎＢ］であるなら、フィルタ４０４を用いて対象画素のＲ信号を生成し、
図１４（ｄ）に示す如く注目画素が青受光画素であるなら、フィルタ４０５を用いて対象画素のＲ信号を生成する。
【００６７】
図１５（ａ）〜（ｄ）に示す如く、基本色補間処理によってＢ信号を生成する際に用いるフィルタは、基本色補間処理によってＲ信号を生成する際に用いるフィルタと同様である。これは、後述の第１〜第４実施例における色補間処理においても当てはまる。但し、注目画素が赤受光画素であるときに用いられるフィルタ及び注目画素が青受光画素であるときに用いられるフィルタは、Ｒ信号を生成する場合とＢ信号を生成する場合との間で逆であり、注目画素が緑受光画素ＰＳ［２ｎＡ−１，２ｎＢ−１］であるときに用いられるフィルタ及び注目画素が緑受光画素ＰＳ［２ｎＡ，２ｎＢ］であるときに用いられるフィルタは、Ｒ信号を生成する場合とＢ信号を生成する場合との間で逆である（後述の第１〜第４実施例の色補間処理においても同様）。
【００６８】
フィルタ４０１〜４０５の夫々は、フィルタＦＩＬＡの例である。
フィルタ４０１におけるフィルタ係数ｋＡ１〜ｋＡ２５の内、ｋＡ１３のみが１であり、その他のフィルタ係数は全てゼロである。
フィルタ４０２におけるフィルタ係数ｋＡ１〜ｋＡ２５の内、ｋＡ８、ｋＡ１２、ｋＡ１４及びｋＡ１８のみが１であり、その他のフィルタ係数は全てゼロである。
フィルタ４０３におけるフィルタ係数ｋＡ１〜ｋＡ２５の内、ｋＡ１２及びｋＡ１４のみが１であり、その他のフィルタ係数は全てゼロである。
フィルタ４０４におけるフィルタ係数ｋＡ１〜ｋＡ２５の内、ｋＡ８及びｋＡ１８のみが１であり、その他のフィルタ係数は全てゼロである。
フィルタ４０５におけるフィルタ係数ｋＡ１〜ｋＡ２５の内、ｋＡ７、ｋＡ９、ｋＡ１７及びｋＡ１９のみが１であり、その他のフィルタ係数は全てゼロである。
【００６９】
図１３（ａ）に示す如く注目画素が緑受光画素であるときに基本色補間処理によってＧ信号を生成した場合（即ち、緑受光画素に対応する対象画素のＧ信号を基本色補間処理によって生成した場合）、当該Ｇ信号についての空間周波数特性は、色補間処理前後で変化しない。一方で、ＲＡＷズーム倍率が０．５倍であるときに生成される変換結果画像３１３（図７（ａ）参照）において表現可能な最大の空間周波数は、ＲＡＷ画像３１２のそれよりも小さい。従って仮に、ＲＡＷズーム倍率が０．５倍であるときに、緑受光画素に対応する対象画素のＧ信号を基本色補間処理によって生成したならば、２メガの変換結果画像３１３にて表現できない高周波の空間周波数成分が変換結果画像３１３に混入し、変換結果画像３１３に折り返し歪みが発生することがある。折り返し歪みは、例えば、いわゆる偽色やノイズとして現われる。従って、ＲＡＷズーム倍率が比較的小さい場合（例えば０．５倍である場合）において、緑受光画素に対応する対象画素のＧ信号を生成する際、平滑化機能を色補間処理に持たせた方が良い。
【００７０】
逆に、図１３（ｂ）のフィルタ４０２は平滑化の機能を有するため、図１３（ｂ）に示す如く注目画素が赤受光画素であるときに基本色補間処理によってＧ信号を生成した場合（即ち、赤受光画素に対応する対象画素のＧ信号を基本色補間処理によって生成した場合）、ＲＡＷ画像には含まれていた高周波の空間周波数成分が基本色補間処理により減衰される。一方で、ＲＡＷズーム倍率が１倍であるときに生成される変換結果画像３２３（図７（ｂ）参照）において表現可能な最大の空間周波数は、ＲＡＷ画像３２２のそれと同じである。従って仮に、ＲＡＷズーム倍率が１倍であるときに、赤受光画素に対応する対象画素のＧ信号を基本色補間処理によって生成したならば、フィルタ４０２の平滑化機能により、変換結果画像３２３の解像力（resolving power）が不足することがある。故に、ＲＡＷズーム倍率が比較的大きい場合（例えば１倍である場合）において、赤受光画素に対応する対象画素のＧ信号を色補間処理によって生成する際、Ｇ信号の高周波成分を強調又は復元する機能を色補間処理に持たせた方が良い。
青受光画素に対応する対象画素のＧ信号を生成する場合も同様である。また、対象画素のＲ信号及びＢ信号を生成する場合にも、上述と同様のことが当てはまりうる。
【００７１】
上述の事項に鑑み、図１６に示す如く、色補間処理部５１は、ＲＡＷズーム倍率に応じて色補間処理に用いるフィルタの内容を制御し、これによって色補間処理後の画像の空間周波数特性を制御する。色補間画像、変換結果画像、ＹＵＶ画像及び最終結果画像の夫々は、色補間処理部５１によって空間周波数特性が制御されるべき、色補間処理後の画像である。説明の具体化のため、以下の説明では、主として変換結果画像に着目した上で、空間周波数特性の制御方法を説明するが、変換結果画像における空間周波数特性の制御及び変化は、色補間画像、ＹＵＶ画像又は最終結果画像における空間周波数特性の制御及び変化でもある。
【００７２】
色補間処理部５１（及び解像度変換部５２）は、抽出枠ＥＦ内の受光画素数（即ち、抽出枠ＥＦに属する受光画素の個数）を表すＤＩＮメガと、変換結果画像の画素数を表すＤＯＵＴメガとの比“ＤＯＵＴ／ＤＩＮ”に応じて、変換結果画像の空間周波数特性を制御することができる。この際、色補間処理部５１（及び解像度変換部５２）は、比“ＤＯＵＴ／ＤＩＮ”の変化に伴って色補間処理の内容（色補間処理に用いるフィルタの内容）を変化させることで変換結果画像の空間周波数特性を変化させることができる。ＲＡＷズーム倍率の変化は比“ＤＯＵＴ／ＤＩＮ”の変化をもたらすのであるから、色補間処理部５１（及び解像度変換部５２）は、ＲＡＷズーム倍率又は総合ズーム倍率の変化に連動して変換結果画像の空間周波数特性を変化させるとも言える。
【００７３】
記述の簡略化上、変換結果画像の空間周波数特性の制御を、以下、単に周波数特性制御とも言う。周波数特性制御は、色補間画像、ＹＵＶ画像又は最終結果画像の空間周波数特性の制御でもある。周波数特性制御の具体的方法又はそれに関連する方法の具体例として、以下に第１〜第４実施例を示す。矛盾なき限り、第１〜第４実施例の内、複数の実施例を組み合わせることが可能であり、或る実施例で記載した事項を他の実施例に適用することもできる。
【００７４】
＜＜第１実施例＞＞
色補間処理による周波数特性制御の第１実施例を説明する。後述の幾つかの実施例においては、手振れ等に由来するぶれがＲＡＷ画像に含まれることを想定するが、第１実施例及び後述の第２実施例では、ＲＡＷ画像にぶれが含まれていないことを想定する。
【００７５】
今、図１７（ａ）に示す入力ＲＡＷ画像４５１及び出力ＲＡＷ画像４５２と、図１８（ａ）に示す入力ＲＡＷ画像４６１及び出力ＲＡＷ画像４６２と、を考える。入力ＲＡＷ画像４５１及び４６１はＲＡＷ画像の例である。出力ＲＡＷ画像４５２は、ＺＦＲＡＷ＝０．５の条件の下で、入力ＲＡＷ画像４５１に対して解像度変換部５２の解像度変換を施して得た画像である。即ち、出力ＲＡＷ画像４５２は、入力ＲＡＷ画像４５１の画像サイズを水平及び垂直方向の夫々において１／２に減少させて得たＲＡＷ画像である。出力ＲＡＷ画像４６２は、ＺＦＲＡＷ＝１．０の条件の下で、入力ＲＡＷ画像４６１に対して解像度変換部５２の解像度変換を施して得た画像である。即ち、出力ＲＡＷ画像４６２は、入力ＲＡＷ画像４６１と同じものである。
【００７６】
図１７（ｂ）及び（ｃ）の曲線ＭＴＦ４５１及びＭＴＦ４５２は、夫々、入力ＲＡＷ画像４５１及び出力ＲＡＷ画像４５２の変調伝達関数（ＭＴＦ；modulation transfer function）を表している。図１８（ｂ）及び（ｃ）の曲線ＭＴＦ４６１及びＭＴＦ４６２は、夫々、入力ＲＡＷ画像４６１及び出力ＲＡＷ画像４６２の変調伝達関数を表している。ＦＮは、入力ＲＡＷ画像４５１及び４６１におけるナイキスト周波数を表している。
【００７７】
ＺＦＲＡＷ＝０．５であるとき、垂直及び水平方向の夫々において出力ＲＡＷ画像の画素数は入力ＲＡＷ画像のそれの１／２である。故に、出力ＲＡＷ画像４５２のナイキスト周波数は０．５ＦＮとなる。即ち、出力ＲＡＷ画像４５２において表現可能な最大の空間周波数は、入力ＲＡＷ画像４５１において表現可能な最大の空間周波数の半分である。
一方、ＺＦＲＡＷ＝１．０であるとき、垂直及び水平方向の夫々において出力ＲＡＷ画像の画素数は入力ＲＡＷ画像のそれと等しい。従って、出力ＲＡＷ画像４６２のナイキスト周波数は１．０ＦＮとなる。即ち、出力ＲＡＷ画像４６２において表現可能な最大の空間周波数は、入力ＲＡＷ画像４６１において表現可能な最大の空間周波数と等しい。
【００７８】
このようなＲＡＷズーム倍率ＺＦＲＡＷに応じた周波数特性の相違を考慮し、第１実施例における色補間処理では、上述の折り返し歪み及び解像力不足を抑制すべく、図１９（ａ）及び（ｂ）に示すフィルタを色補間処理に用いる。
【００７９】
即ち、ＺＦＲＡＷ＝０．５の条件下においてＧ信号を生成する際、色補間処理部５１は、
図１９（ａ）に示す如く注目画素が緑受光画素であるなら、フィルタ５０１を用いて対象画素のＧ信号を生成し、
図１９（ｂ）に示す如く注目画素が赤受光画素であるなら、フィルタ５１１を用いて対象画素のＧ信号を生成する（注目画素が青受光画素であるときも同様）。
一方、ＺＦＲＡＷ＝１．０の条件下においてＧ信号を生成する際、色補間処理部５１は、
図１９（ａ）に示す如く注目画素が緑受光画素であるなら、フィルタ５０２を用いて対象画素のＧ信号を生成し、
図１９（ｂ）に示す如く注目画素が赤受光画素であるなら、フィルタ５１２を用いて対象画素のＧ信号を生成する（注目画素が青受光画素であるときも同様）。
【００８０】
フィルタ５０１、５０２、５１１及び５１２の夫々は、フィルタＦＩＬＡの例である（図１２（ａ）参照）。
フィルタ５０１におけるフィルタ係数ｋＡ１〜ｋＡ２５の内、ｋＡ１３が８であり、ｋＡ３、ｋＡ７、ｋＡ９、ｋＡ１１、ｋＡ１５、ｋＡ１７、ｋＡ１９及びｋＡ２３は１であり、その他のフィルタ係数は全てゼロである。
フィルタ５０２及び５１１のフィルタ係数は、夫々、図１３（ａ）及び（ｂ）のフィルタ４０１及び４０２のフィルタ係数と同じである。
フィルタ５１２におけるフィルタ係数ｋＡ１〜ｋＡ２５の内、ｋＡ８、ｋＡ１２、ｋＡ１４及びｋＡ１８が６であり、ｋＡ２、ｋＡ４、ｋＡ６、ｋＡ１０、ｋＡ１６、ｋＡ２０、ｋＡ２２及びｋＡ２４は（−１）であり、その他のフィルタ係数は全てゼロである。
【００８１】
フィルタ５０１はＲＡＷ画像を平滑化する機能を有する一方、フィルタ５０２はＲＡＷ画像を平滑化する機能を有さない（ＲＡＷ画像の平滑化は、ＲＡＷデータ又は受光画素信号の平滑化と同義である）。従って、フィルタ５０１を用いた色補間処理による平滑化の強度はフィルタ５０２を用いた色補間処理による平滑化の強度（即ちゼロ）よりも大きいと言える。結果、フィルタ５０１を用いてＧ信号を生成した場合、Ｇ信号の空間周波数の高域成分が減衰するが、フィルタ５０２を用いてＧ信号を生成した場合には、そのような減衰は発生しない。
【００８２】
フィルタ５１１はＲＡＷ画像を平滑化する機能を有する一方、フィルタ５１２はＲＡＷ画像のエッジを強調する機能を有する（ＲＡＷ画像のエッジの強調は、ＲＡＷデータ又は受光画素信号のエッジの強調と同義である）。従って、フィルタ５１２を用いた色補間処理によるエッジ強調の強度はフィルタ５１１を用いた色補間処理によるエッジ強調の強度（即ち、ゼロ）よりも大きいと言える。結果、フィルタ５１１を用いてＧ信号を生成した場合、Ｇ信号の空間周波数の高域成分が減衰するが、フィルタ５１２を用いてＧ信号を生成した場合には、Ｇ信号の空間周波数の高域成分はあまり減衰しない又は増大する。或いは、色補間処理によるＧ信号の空間周波数の高域成分の減衰度合いは、フィルタ５１２を用いた方が、フィルタ５１１を用いるよりも少ない。
【００８３】
このように、色補間処理部５１は、ＲＡＷズーム倍率に応じて色補間処理の内容を制御することで、折り返し歪みの抑制と解像力不足の抑制を両立させる。但し、ここにおける空間周波数はＧ信号の空間周波数である。具体的には、ＺＦＲＡＷ＝０．５の場合には、フィルタ５０１及び５１１の平滑化機能により、変換結果画像における折り返し歪みが抑制される。一方、ＺＦＲＡＷ＝１．０の場合には、フィルタ５０２及び５１２を用いることで変換結果画像の解像度不足が解消又は軽減する。
【００８４】
代表例としてＺＦＲＡＷ＝０．５の場合とＺＦＲＡＷ＝１．０の場合のフィルタを示したが、ＺＦＲＡＷ＝０．５又はＺＦＲＡＷ＝１．０の場合も含め、０．５≦ＺＦＲＡＷ≦１．０の場合には、ＺＦＲＡＷが減少するにつれてフィルタによる平滑化の強度を増加させればよい或いはＺＦＲＡＷが増大するにつれてフィルタによるエッジ強調の強度を増加させればよい。例えば、
ＦＲＡＷ＝０．７の条件下においてＧ信号を生成する際、色補間処理部５１は、
図２０（ａ）に示す如く注目画素が緑受光画素であるなら、フィルタ５０３を用いて対象画素のＧ信号を生成し、
図２０（ｂ）に示す如く注目画素が赤受光画素であるなら、フィルタ５１３を用いて対象画素のＧ信号を生成する（注目画素が青受光画素であるときも同様）。
フィルタ５０３におけるフィルタ係数ｋＡ１〜ｋＡ２５の内、ｋＡ１３が１０であり、ｋＡ７、ｋＡ９、ｋＡ１７及びｋＡ１９は１であり、その他のフィルタ係数は全てゼロである。
フィルタ５１３におけるフィルタ係数ｋＡ１〜ｋＡ２５の内、ｋＡ８、ｋＡ１２、ｋＡ１４及びｋＡ１８が８であり、ｋＡ２、ｋＡ４、ｋＡ６、ｋＡ１０、ｋＡ１６、ｋＡ２０、ｋＡ２２及びｋＡ２４は（−１）であり、その他のフィルタ係数は全てゼロである。
【００８５】
フィルタ５０１及び５０３はＲＡＷ画像を平滑化する機能を有するが、フィルタ５０１を用いた色補間処理による平滑化の強度はフィルタ５０３を用いた色補間処理による平滑化の強度よりも大きい。フィルタ５１２及び５１３はＲＡＷ画像のエッジを強調する機能を有するが、フィルタ５１２を用いた色補間処理によるエッジ強調の強度はフィルタ５１３を用いた色補間処理によるエッジ強調の強度よりも大きい。
【００８６】
Ｒ、Ｇ及びＢ信号の内、Ｇ信号の空間周波数特性の変化が視覚的に最も目立つ。従って、ＲＡＷズーム倍率に応じた周波数特性制御をＧ信号のみに適用し、Ｒ信号及びＢ信号については基本色補間処理を用いる。
【００８７】
＜＜第２実施例＞＞
但し、ＲＡＷズーム倍率に応じた色補間処理の変更を、Ｒ信号及びＢ信号の生成にも適用することができる。この方法を、第２実施例として説明する。ここではＲ信号に対する色補間処理のみを説明するが、Ｂ信号に対する色補間処理もＲ信号のそれと同様とすることができる。
【００８８】
ＺＦＲＡＷ＝０．５の条件下においてＲ信号を生成する際、色補間処理部５１は、
図２１（ａ）に示す如く注目画素が赤受光画素であるなら、フィルタ５５１を用いて対象画素のＲ信号を生成し、
図２１（ｂ）に示す如く注目画素が緑受光画素ＰＳ［２ｎＡ−１，２ｎＢ−１］であるなら、フィルタ５６１を用いて対象画素のＲ信号を生成する。
ＺＦＲＡＷ＝１．０の条件下においてＲ信号を生成する際、色補間処理部５１は、
図２１（ａ）に示す如く注目画素が赤受光画素であるなら、フィルタ５５２を用いて対象画素のＲ信号を生成し、
図２１（ｂ）に示す如く注目画素が緑受光画素ＰＳ［２ｎＡ−１，２ｎＢ−１］であるなら、フィルタ５６２を用いて対象画素のＲ信号を生成する。
【００８９】
フィルタ５５１、５５２及び５６１の夫々はフィルタＦＩＬＡの例であり、フィルタ５６２はフィルタＦＩＬＢの例である（図１２（ａ）及び（ｃ）参照）。
フィルタ５５１におけるフィルタ係数ｋＡ１〜ｋＡ２５の内、ｋＡ１３が８であり、ｋＡ３、ｋＡ１１、ｋＡ１５及びｋＡ２３は１であり、その他のフィルタ係数は全てゼロである。
フィルタ５５２及び５６１のフィルタ係数は、夫々、図１４（ａ）及び（ｂ）のフィルタ４０１及び４０３のフィルタ係数と同じである。
フィルタ５６２におけるフィルタ係数ｋＢ１〜ｋＢ４９の内、ｋＢ２４及びｋＢ２６が６であり、ｋＢ１０、ｋＢ１２、ｋＢ２２、ｋＢ２８、ｋＢ３８及びｋＢ４０は（−１）であり、その他のフィルタ係数は全てゼロである。
【００９０】
フィルタ５５１はＲＡＷ画像を平滑化する機能を有する一方、フィルタ５５２はＲＡＷ画像を平滑化する機能を有さない。従って、フィルタ５５１を用いた色補間処理による平滑化の強度はフィルタ５５２を用いた色補間処理による平滑化の強度（即ちゼロ）よりも大きいと言える。結果、フィルタ５５１を用いてＲ信号を生成した場合、Ｒ信号の空間周波数の高域成分が減衰するが、フィルタ５５２を用いてＲ信号を生成した場合には、そのような減衰は発生しない。
【００９１】
フィルタ５６１はＲＡＷ画像を平滑化する機能を有する一方、フィルタ５６２はＲＡＷ画像のエッジを強調する機能を有する。従って、フィルタ５６２を用いた色補間処理によるエッジ強調の強度はフィルタ５６１を用いた色補間処理によるエッジ強調の強度（即ち、ゼロ）よりも大きいと言える。結果、フィルタ５６１を用いてＲ信号を生成した場合、Ｒ信号の空間周波数の高域成分が減衰するが、フィルタ５６２を用いてＲ信号を生成した場合には、Ｒ信号の空間周波数の高域成分はあまり減衰しない又は増大する。或いは、色補間処理によるＲ信号の空間周波数の高域成分の減衰度合いは、フィルタ５６２を用いた方が、フィルタ５６１を用いるよりも少ない。
【００９２】
このように、色補間処理部５１は、ＲＡＷズーム倍率に応じて色補間処理の内容を制御することで、折り返し歪みの抑制と解像力不足の抑制を両立させる。但し、ここにおける空間周波数はＲ信号の空間周波数である。具体的には、ＺＦＲＡＷ＝０．５の場合には、フィルタ５５１及び５６１の平滑化機能により、変換結果画像における折り返し歪みが抑制される。一方、ＺＦＲＡＷ＝１．０の場合には、フィルタ５５２及び５６２を用いることで変換結果画像の解像度不足が解消又は軽減する。
【００９３】
代表例としてＺＦＲＡＷ＝０．５の場合とＺＦＲＡＷ＝１．０の場合のフィルタを示したが、ＺＦＲＡＷ＝０．５又はＺＦＲＡＷ＝１．０の場合も含め、０．５≦ＺＦＲＡＷ≦１．０の場合には、第１実施例と同様、ＺＦＲＡＷが減少するにつれてフィルタによる平滑化強度を増加させればよい或いはＺＦＲＡＷが増大するにつれてフィルタによるエッジ強調強度を増加させればよい。後述の他の実施例においても同様である。
【００９４】
注目画素が緑受光画素ＰＳ［２ｎＡ，２ｎＢ］又は青受光画素であるときに用いられるフィルタの例の図示及び説明は割愛するが、注目画素が緑受光画素ＰＳ［２ｎＡ，２ｎＢ］又は青受光画素であるときにも、上述と同様の主旨に従い、ＲＡＷズーム倍率に応じたフィルタを色補間処理に用いればよい。
【００９５】
＜＜第３実施例＞＞
色補間処理による周波数特性制御の第３実施例を説明する。第３実施例では、ＲＡＷ画像の撮影時において撮像装置１に動きが発生し、これによって、ぶれによる劣化がＲＡＷ画像に含まれたことを想定する。
【００９６】
今、図２２（ａ）に示す入力ＲＡＷ画像４７１及び出力ＲＡＷ画像４７２と、図２３（ａ）に示す入力ＲＡＷ画像４８１及び出力ＲＡＷ画像４８２と、を考える。入力ＲＡＷ画像４７１及び４８１はＲＡＷ画像の例である。但し、入力ＲＡＷ画像４７１及び４８１の夫々には、ぶれによる劣化が含まれているものとする。出力ＲＡＷ画像４７２は、ＺＦＲＡＷ＝０．５の条件の下で、入力ＲＡＷ画像４７１に対して解像度変換部５２の解像度変換を施して得た画像である。即ち、出力ＲＡＷ画像４７２は、入力ＲＡＷ画像４７１の画像サイズを水平及び垂直方向の夫々において１／２に減少させて得たＲＡＷ画像である。出力ＲＡＷ画像４８２は、ＺＦＲＡＷ＝１．０の条件の下で、入力ＲＡＷ画像４８１に対して解像度変換部５２の解像度変換を施して得た画像である。即ち、出力ＲＡＷ画像４８２は、入力ＲＡＷ画像４８１と同じものである。
【００９７】
図２２（ｂ）及び（ｃ）の曲線ＭＴＦ４７１及びＭＴＦ４７２は、夫々、入力ＲＡＷ画像４７１及び出力ＲＡＷ画像４７２の変調伝達関数（ＭＴＦ；modulation transfer function）を表している。図２３（ｂ）及び（ｃ）の曲線ＭＴＦ４８１及びＭＴＦ４８２は、夫々、入力ＲＡＷ画像４８１及び出力ＲＡＷ画像４８２の変調伝達関数を表している。ＦＮは、入力ＲＡＷ画像４７１及び４８１におけるナイキスト周波数を表している。
【００９８】
ぶれによる劣化のため、入力ＲＡＷ画像４７１及び４８１に含まれうる最大の空間周波数は、ナイキスト周波数ＦＮよりも小さく、図２２（ｂ）及び図２３（ｂ）の例では（０．７×ＦＮ）程度である。曲線ＭＴＦ４７１及びＭＴＦ４８１の内、周波数が（０．７×ＦＮ）以上の部分４９０は、劣化に基づく周波数成分に相当し、被写体を反映したものではない（曲線ＭＴＦ４８２も同様）。
ＺＦＲＡＷ＝０．５であるとき、垂直及び水平方向の夫々において出力ＲＡＷ画像の画素数は入力ＲＡＷ画像のそれの１／２である。故に、出力ＲＡＷ画像４７２のナイキスト周波数は０．５ＦＮとなる。
一方、ＺＦＲＡＷ＝１．０であるとき、垂直及び水平方向の夫々において出力ＲＡＷ画像の画素数は入力ＲＡＷ画像のそれと等しい。故に、出力ＲＡＷ画像４８２のナイキスト周波数は１．０ＦＮとなる。しかしながら、入力ＲＡＷ画像４８１に含まれうる最大の空間周波数がナイキスト周波数ＦＮより小さいため、出力ＲＡＷ画像４８２に含まれうる最大の空間周波数もナイキスト周波数ＦＮより小さい。
【００９９】
ぶれによる劣化が含まれている場合においても、第１又は第２実施例と同様のフィルタを色補間処理に用いることができ、これによって折り返し歪み及び解像力不足の抑制を図ることができる。
【０１００】
但し、ぶれによる劣化がＲＡＷ画像に含まれていない場合を基準として、ぶれによる劣化がＲＡＷ画像に含まれている場合には、変調伝達関数が劣化しているため、その劣化をも考慮してフィルタのフィルタ係数を決定することができる。即ち例えば、色補間処理部５１は、ぶれによる劣化がＲＡＷ画像に含まれているケース（以下、ケースαＢＬＵＲと呼ぶ）とぶれによる劣化がＲＡＷ画像に含まれていない場合（以下、ケースαＮＯＮＢＬＵＲと呼ぶ）との間で色補間処理の内容を互いに異ならせても良い（即ち、色補間処理で用いるフィルタのフィルタ係数を互いに異ならせても良い）。ケースαＢＬＵＲ及びαＮＯＮＢＬＵＲ間において、色補間処理の内容の一部のみを互いに異ならせても良いし、色補間処理の内容の全部を互いに異ならせても良い。
【０１０１】
これを実現すべく、第３実施例では、図２４に示す如く、動き情報を生成する動き検出部６２を撮像装置１に追加し、ＲＡＷズーム倍率及び動き情報に基づいて色補間処理の内容を決定する。図２４に示すブロック図は、図１６に示すブロック図に動き検出部６２を追加したものである。
【０１０２】
動き検出部６２を、例えば、撮像装置１の動きを検出する動きセンサにて形成することができる。動きセンサは、例えば、撮像装置１の角加速度を検出する角加速度センサ又は撮像装置１の加速度を検出する加速度センサである。動き検出部６２が動きセンサにて形成されている場合、動き検出部６２は、動きセンサによって検出された撮像装置１の動きを表す動き情報を生成する。動きセンサの検出結果に基づく動き情報は、少なくとも撮像装置１の動きの大きさを表す動き大きさ情報を含み、撮像装置１の動きの向きを表す動き向き情報をも更に含みうる。
或いは、動き検出部６２は、撮像素子３３からの受光画素信号に基づいて動き情報を生成してもよい。この場合、動き検出部６２は、例えば、時間的に隣接する２回の撮影によって得られた２枚の画像（ＲＡＷ画像、色補間画像、変換結果画像、ＹＵＶ画像又は最終結果画像）の画像データから当該２枚の画像間のオプティカルフローを導出し、該オプティカルフローから上記動き大きさ情報及び動き向き情報を含む動き情報を生成することができる。
【０１０３】
第３実施例に係る色補間処理部５１は、ＲＡＷズーム倍率と動き情報に基づいて色補間処理に用いるフィルタの内容を制御し、これによって、色補間処理後の画像の空間周波数特性を制御する。
【０１０４】
説明の具体化上、今、ＲＡＷ画像６００（不図示）のＲＡＷデータが色補間処理部５１に入力された場合を考える。色補間処理部５１は、ＲＡＷ画像６００に対して求められた動き情報に基づき、ＲＡＷ画像６００がケースαＢＬＵＲ及びαＮＯＮＢＬＵＲのどちらに当てはまるか判断する。例えば、動き情報によって示される撮像装置１の動きの大きさが所定値以上の場合には、ケースαＢＬＵＲがＲＡＷ画像６００に当てはまる（即ち、ぶれによる劣化がＲＡＷ画像６００に含まれている）と判断し、そうでない場合には、ケースαＮＯＮＢＬＵＲがＲＡＷ画像６００に当てはまる（即ち、ぶれによる劣化がＲＡＷ画像６００に含まれていない）と判断する。
【０１０５】
そして、ケースαＮＯＮＢＬＵＲがＲＡＷ画像６００に当てはまる場合には、第１実施例で述べた方法によって（即ち、図１９（ａ）のフィルタ５０１及び５０２を用いた色補間処理によって）対象画素のＧ信号を生成する一方、ケースαＢＬＵＲがＲＡＷ画像６００に当てはまる場合には、図２５のフィルタ６０１及び６０２を用いた色補間処理によって対象画素のＧ信号を生成する。
【０１０６】
ケースαＢＬＵＲにおいて、フィルタ６０１は、ＺＦＲＡＷ＝０．５であって且つ注目画素が緑受光画素である場合に用いられ、フィルタ６０２は、ＺＦＲＡＷ＝１．０であって且つ注目画素が緑受光画素である場合に用いられる。フィルタ６０１及び６０２の夫々は、フィルタＦＩＬＡの例である（図１２（ａ）参照）。フィルタ６０１のフィルタ係数ｋＡ１３が１２である点を除き、フィルタ６０１は図１９（ａ）のフィルタ５０１と同じものである。フィルタ６０２は、図１９（ａ）のフィルタ５０２と同じものである。
【０１０７】
ケースαＢＬＵＲ及びαＮＯＮＢＬＵＲにおいて得られたＲＡＷ画像６００を、夫々、符号６００ＢＬＵＲ及び６００ＮＯＮＢＬＵＲにて表すと、ＲＡＷ画像６００ＢＬＵＲ及び６００ＮＯＮＢＬＵＲの変調伝達関数は、夫々、図２２（ａ）の曲線ＭＴＦ４７１及び図１７（ａ）の曲線ＭＴＦ４５１のようになる。従って、ＲＡＷ画像６００ＢＬＵＲに含まれる高周波成分の量は、ＲＡＷ画像６００ＮＯＮＢＬＵＲのそれよりも比較的少ない。故に、ＺＦＲＡＷ＝０．５の条件下において、ＲＡＷ画像６００ＢＬＵＲに適用すべきフィルタの平滑化強度は、ＲＡＷ画像６００ＮＯＮＢＬＵＲに適用すべきそれよりも小さくて済む。言い換えれば、ＺＦＲＡＷ＝０．５の条件下において、ＲＡＷ画像６００ＢＬＵＲに適用するフィルタの平滑化強度をＲＡＷ画像６００ＮＯＮＢＬＵＲに適用するそれよりも小さくしたほうが、過度の平滑化が抑制される。過度の平滑化は望ましくない。このような観点から、ケースαＢＬＵＲ及びαＮＯＮＢＬＵＲ間において、色補間処理に用いるフィルタ（５０１及び６０１）を互いに異ならせる。図２５のフィルタ６０１を用いた色補間処理による平滑化の強度は、図１９（ａ）のフィルタ５０１を用いた色補間処理による平滑化の強度よりも小さい。
【０１０８】
一方、ＺＦＲＡＷ＝１．０の場合、ＲＡＷ画像の空間周波数成分と同等の空間周波数成分を変換結果画像上で表現できるため、解像力不足の抑制を優先し、用いるフィルタをケースαＢＬＵＲ及びαＮＯＮＢＬＵＲ間で同じにしている（図１９（ａ）のフィルタ５０２及び図２５のフィルタ６０２を参照）。但し、フィルタ６０２をフィルタ５０２と異ならせることも可能である。
【０１０９】
また、撮像装置１の動きの大きさが増大すれば、ぶれによる劣化の度合いが増大し、ＲＡＷ画像６００に高周波成分が含まれにくくなる。逆に、ケースαＢＬＵＲにおいても、撮像装置１の動きの大きさが小さければ、ＲＡＷ画像６００に比較的多くの高周波成分が含まれやすい。従って、ケースαＢＬＵＲにおいて、色補間処理部５１は、ＲＡＷズーム倍率を考慮しつつ、動き大きさ情報に応じた色補間処理を行ってもよい。例えば、動き大きさ情報にて示される撮像装置１の動きの大きさが第１の大きさである場合と第２の大きさである場合とで、色補間処理の内容を互いに異ならせても良い（即ち、色補間処理で用いるフィルタのフィルタ係数を互いに異ならせても良い）。ここで、第１の大きさと第２の大きさは互いに異なる。
【０１１０】
注目画素が緑受光画素であるときにＧ信号を生成する場合のフィルタについて説明したが、注目画素が赤又は青受光画素であるときにＧ信号を生成する場合、及び、注目画素が緑、赤又は青受光画素であるときにＲ又はＢ信号を生成する場合も、上述と同様の主旨に従い、ＲＡＷズーム倍率及び動き情報に応じたフィルタを色補間処理に用いればよい。
【０１１１】
＜＜第４実施例＞＞
第４実施例を説明する。第１〜第３実施例に示すものを含む上述の周波数特性制御は、色補間処理の内容制御によって実現されているが、上述の周波数特性制御と同等の周波数特性制御を、色補間処理以外の処理にて実現してもよい。例えば、図２６又は図２７に示されるような構成を撮像装置１に設けても良い。フィルタリング部７１は、例えば、図１の映像信号処理部１３に設けられる。
【０１１２】
図２６又は図２７の構成では、ＲＡＷ画像の画像データであるＤＩＮメガのＲＡＷデータが各受光画素よりフィルタリング部７１に入力される。フィルタリング部７１は、ＲＡＷズーム倍率に応じたフィルタリング、又は、ＲＡＷズーム倍率及び動き情報に応じたフィルタリングを、ＲＡＷ画像に対して（即ち、ＤＩＮメガのＲＡＷデータに対して）実行する。フィルタリング部７１におけるフィルタリングは、空間フィルタリングであっても良いし、周波数フィルタリングであっても良い。
【０１１３】
図２６又は図２７における色補間処理部５１は、フィルタリング部７１を介して供給されるＲＡＷデータに対して、図１３（ａ）等を参照して説明した基本色補間処理を実行する。フィルタリング部７１を介して供給されるＲＡＷデータは、基本的に、フィルタリング部７１によるフィルタリング後のＲＡＷデータであるが、フィルタリング部７１に入力されるＲＡＷデータがそのままフィルタリング部７１を介して色補間処理部５１に供給されることもある。フィルタリング部７１によるフィルタリング及び色補間処理部５１による基本色補間処理を経て得られたＤＩＮメガのＲＧＢデータは、色補間画像の画像データとして解像度変換部５２に送られる。符号５０、５２〜５４、６０及び６１によって参照される各部位の動作は、上述したものと同様である。
【０１１４】
フィルタリング部７１は、ＲＡＷズーム倍率に応じて（換言すれば、比“ＤＯＵＴ／ＤＩＮ”に応じて）、又は、ＲＡＷズーム倍率及び動き情報に応じて、ＲＡＷデータの空間周波数特性を制御することができる。ＲＡＷデータの空間周波数特性の制御によって、変換結果画像の空間周波数特性も制御されることになる。この際、フィルタリング部７１は、比“ＤＯＵＴ／ＤＩＮ”の変化に伴ってフィルタリングの内容を変化させることで変換結果画像の空間周波数特性を変化させることができる。ＲＡＷズーム倍率の変化は比“ＤＯＵＴ／ＤＩＮ”の変化をもたらすのであるから、フィルタリング部７１は、ＲＡＷズーム倍率又は総合ズーム倍率の変化に連動して変換結果画像の空間周波数特性を変化させるとも言える。
【０１１５】
色補間処理部５１から得られる色補間画像及び解像度変換部５２から得られる変換結果画像の空間周波数特性が、第４実施例の構成と第１、第２又は第３実施例の構成との間で同等となるように、フィルタリング部７１は、ＲＡＷズーム倍率に応じたフィルタリング、又は、ＲＡＷズーム倍率及び動き情報に応じたフィルタリングを、ＲＡＷ画像に対して（即ち、ＤＩＮメガのＲＡＷデータに対して）実行する。これを実現するために、フィルタリング部７１は、以下のような動作を行うことができる。
【０１１６】
例えば、フィルタリング部７１は、ＺＦＲＡＷ＜ＺＨＴＨ１の場合にのみ、フィルタリング部７１へ入力されるＲＡＷデータに対してローパスフィルタによるフィルタリングを実行し、ＺＦＲＡＷ≧ＺＨＴＨ１の場合には、フィルタリングを成すことなくフィルタリング部７１へ入力されるＲＡＷデータをそのまま色補間処理部５１に送る。ここで、ＺＨＴＨ１は、０．５＜ＺＨＴＨ１≦１．０を満たす所定の閾値であり、例えば、ＺＨＴＨ１＝１．０である。
【０１１７】
或いは例えば、フィルタリング部７１は、ＺＦＲＡＷの値に関わらず常にフィルタリング部７１へ入力されるＲＡＷデータに対してローパスフィルタによるフィルタリングを実行し、ＺＦＲＡＷが１から０．５へと減少するにつれて、当該ローパスフィルタの強度を増大させる。例えば、ローパスフィルタのカットオフ周波数を低減することは、ローパスフィルタの強度を増大させることに属する。
【０１１８】
上記ローパスフィルタの強度を動き情報に応じて変更することも可能である。即ち例えば、フィルタリング部７１は、自身に入力されるＲＡＷデータによるＲＡＷ画像がケースαＢＬＵＲ及びαＮＯＮＢＬＵＲのどちらに当てはまるのかを動き情報に基づいて判断し、ケースαＢＬＵＲ及びαＮＯＮＢＬＵＲ間において、フィルタリングの内容を互いに異ならせても良い。より具体的には例えば、ＺＦＲＡＷ＝０．５の条件下において、第３実施例と同等の作用が得られるように、ケースαＢＬＵＲにおけるＲＡＷ画像に対して成すローパスフィルタの強度をケースαＮＯＮＢＬＵＲにおけるそれよりも弱くする。
【０１１９】
尚、フィルタリング部７１によるフィリタリングと色補間処理部５１による色補間処理の実行順序を逆にすることもできる。即ち、色補間処理の実行後にフィルタリング部７１によるフィリタリングを行うようにしても良い。
【０１２０】
第４実施例によっても、第１、第２又は第３実施例と同様の効果が得られる。但し、第４実施例では、色補間処理部５１とは別にフィルタリング部７１が必要になる。従って、色補間処理の中でＲＡＷズーム倍率等に応じた周波数特性制御を成すことができる第１〜第３実施例の方が、処理速度及び処理負荷量の面でメリットがある。
【０１２１】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１２２】
［注釈１］
図１６等に示される構成では、色補間処理の実行後に画像データの量をＤＩＮメガからＤＯＵＴメガに変更する解像度変換が成されているが、それらの処理の実行順序を逆にすることも可能である。即ち、ＲＡＷズーム倍率（又はＤＯＵＴの値）に基づく解像度変換によってＤＩＮメガのＲＡＷデータをＤＯＵＴメガのＲＡＷデータに変換した後、ＤＯＵＴメガのＲＡＷデータに対して色補間処理を実行することでＤＯＵＴメガのＲＧＢデータ（即ち、変換結果画像の画像データ）を生成するようにしてもよい。実際には、上記解像度変換と色補間処理を同時に行うことができる。
【０１２３】
［注釈２］
図１６等に示される構成では、ＲＧＢデータの生成後に、ＹＵＶ変換部５３によるＹＵＶ変換を行うようにしているが、最終的にＹＵＶデータを作るのであれば、色補間処理によって一気にＹＵＶデータを生成するようにしても良い。
【０１２４】
［注釈３］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【０１２５】
［注釈４］
例えば、以下のように考えることができる。
撮像装置１には、特定信号処理によって、撮像素子３３上における抽出枠ＥＦ内の受光画素信号から出力画像の画像データを生成する特定信号処理部を備えている。変換結果画像、ＹＵＶ画像又は最終結果画像の夫々は、出力画像の一種である。特定信号処理は、抽出枠ＥＦ内の受光画素信号から出力画像の画像データを生成するために、抽出枠ＥＦ内の受光画素信号及び抽出枠ＥＦ内の受光画素信号に基づく信号に対して成される処理である。
【０１２６】
特定信号処理部は、色補間処理部５１及び解像度変換部５２を含んで構成され、或いは、フィルタリング部７１、色補間処理部５１及び解像度変換部５２を含んで構成され、更に、ＹＵＶ変換部５３、電子ズーム処理部５４及びフィルタリング部７１を更に含みうる。従って、第１〜第３実施例における特定信号処理は色補間処理及び解像度変換を含み、第４実施例における特定信号処理はフィルタリング（フィルタリング部７１のフィルタリング）、色補間処理及び解像度変換を含む。図１６等には示されていないが、特定信号処理に、ノイズ低減処理などが更に含まれていても構わない。特定信号処理部は、比（ＤＯＵＴ／ＤＩＮ）に応じて特定信号処理を制御することにより出力画像の空間周波数特性を制御することができる。より具体的には、特定信号処理部は、比（ＤＯＵＴ／ＤＩＮ）の変化に伴って特定信号処理の内容（色補間処理の内容又はフィルタリングの内容）を変化させることにより出力画像の空間周波数特性を変化させることができる。
【符号の説明】
【０１２７】
１  撮像装置
１１  撮像部
３３  撮像素子
３３Ａ  有効画素領域
５０  抽出枠設定部
５１  色補間処理部
５２  解像度変換部
６２  動き検出部
７１  フィルタリング部
ＰＳ［ｘ，ｙ］  受光画素
ＥＦ  抽出枠
【図１】
0005748513.tif 000004
【図２】
0005748513.tif 000005
【図３】
0005748513.tif 000006
【図４】
0005748513.tif 000007
【図５】
0005748513.tif 000008
【図６】
0005748513.tif 000009
【図７】
0005748513.tif 000010
【図８】
0005748513.tif 000011
【図９】
0005748513.tif 000012
【図１０】
0005748513.tif 000013
【図１１】
0005748513.tif 000014
【図１２】
0005748513.tif 000015
【図１３】
0005748513.tif 000016
【図１４】
0005748513.tif 000017
【図１５】
0005748513.tif 000018
【図１６】
0005748513.tif 000019
【図１７】
0005748513.tif 000020
【図１８】
0005748513.tif 000021
【図１９】
0005748513.tif 000022
【図２０】
0005748513.tif 000023
【図２１】
0005748513.tif 000024
【図２２】
0005748513.tif 000025
【図２３】
0005748513.tif 000026
【図２４】
0005748513.tif 000027
【図２５】
0005748513.tif 000028
【図２６】
0005748513.tif 000029
【図２７】
0005748513.tif 000030
【図２８】
0005748513.tif 000031