"複数の波長帯域の光をそれぞれ受光して光電変換し、第1の帯域の第1の画像と第2の帯域の第2の画像と第3の帯域の第3の画像とを生成するカラーの撮像素子と、被写体像を前記撮像素子に結像する撮像光学系と、前記撮像光学系を経て前記撮像素子に至る撮影光束の光路上に配設されていて、前記撮像光学系の瞳領域の一部である第1の領域を通過しようとする撮影光束中の前記第1の帯域の光を遮断し前記第2の帯域および前記第3の帯域の光を通過させる第1の帯域制限と、前記撮像光学系の瞳領域の他の一部である第2の領域を通過しようとする撮影光束中の第2の帯域の光を遮断し前記第1の帯域および前記第3の帯域の光を通過させる第2の帯域制限と、を行う帯域制限フィルタと、前記第1の画像と前記第2の画像との位相差量を演算する距離演算部と、前記距離演算部により演算された位相差量に基づき、前記第2の画像および前記第3の画像のボケの重心位置を前記第1の画像のボケの重心位置の方向へ移動させた一の片目用カラー画像を生成するとともに、前記第1の画像および前記第3の画像のボケの重心位置を前記第2の画像のボケの重心位置の方向へ移動させた他の片目用カラー画像を生成することにより、カラーの立体視画像を生成するステレオ画像生成部と、を具備したことを特徴とする撮像装置。前記距離演算部により演算された位相差量に基づき、前記第1の画像のボケの重心位置を前記第3の画像のボケの重心位置に近接させることにより該第3の画像に対する該第1の画像の第1の位置ズレを補正するとともに、前記第2の画像のボケの重心位置を前記第3の画像のボケの重心位置に近接させることにより該第3の画像に対する該第2の画像の第2の位置ズレを補正する画像補正部をさらに具備し、前記ステレオ画像生成部は、前記画像補正部により補正されたカラー画像を、部分領域毎に補正前の第1の画像のボケの重心位置の方向へシフトさせることにより前記一の片目用カラー画像を生成するとともに、部分領域毎に補正前の第2の画像のボケの重心位置の方向へシフトさせることにより前記他の片目用カラー画像を生成するものであることを特徴とする請求項1に記載の撮像装置。前記ステレオ画像生成部は、前記補正されたカラー画像のシフト量を、前記位相差量に所定の定数を乗算した量とするものであることを特徴とする請求項2に記載の撮像装置。前記ステレオ画像生成部は、さらに、前記位相差量が大きくなるにつれて、前記シフトを行う単位となる部分領域の大きさを大きくするものであることを特徴とする請求項3に記載の撮像装置。前記ステレオ画像生成部は、前記距離演算部により演算された位相差量が斜め方向の位相差量である場合には、前記画像補正部により補正されたカラー画像を、部分領域毎に補正前の第1の画像のボケの重心位置の方向の水平成分側へシフトさせることにより前記一の片目用カラー画像を生成するとともに、部分領域毎に補正前の第2の画像のボケの重心位置の方向の水平成分側へシフトさせることにより前記他の片目用カラー画像を生成するものであることを特徴とする請求項2に記載の撮像装置。前記画像補正部は、さらに、前記第1の領域の形状と前記第2の領域の形状と前記瞳領域の形状とに基づき、前記第1の画像のボケ形状および前記第2の画像のボケ形状が前記第3の画像のボケ形状に近似するように、該第1の画像および該第2の画像を補正するものであることを特徴とする請求項1に記載の撮像装置。前記ステレオ画像生成部は、前記距離演算部により演算された位相差量に基づき、前記第2の画像および前記第3の画像を部分領域毎に前記第1の画像のボケの重心位置の方向へシフトさせることにより一のシフトカラー画像を生成するとともに、前記第1の画像および前記第3の画像を部分領域毎に前記第2の画像のボケの重心位置の方向へシフトさせることにより他のシフトカラー画像を生成し、前記第1の領域の形状と前記第2の領域の形状と前記瞳領域の形状とに基づき、前記一のシフトカラー画像における前記第1の画像のボケ形状および前記第2の画像のボケ形状が前記第3の画像のボケ形状に近似するように該第1の画像および該第2の画像を補正することにより前記一の片目用カラー画像を生成するとともに、前記他のシフトカラー画像における前記第1の画像のボケ形状および前記第2の画像のボケ形状が前記第3の画像のボケ形状に近似するように該第1の画像および該第2の画像を補正することにより前記他の片目用カラー画像を生成するものであることを特徴とする請求項1に記載の撮像装置。前記ステレオ画像生成部は、前記シフトカラー画像を生成する際のシフト量を、前記位相差量に所定の定数を乗算した量とするものであることを特徴とする請求項7に記載の撮像装置。前記ステレオ画像生成部は、前記一のシフトカラー画像および前記他のシフトカラー画像のそれぞれに対して、前記第1の画像のボケ形状を前記第3の画像のボケ形状に近似する第1のフィルタカーネルを該第1の画像に作用させ、前記第2の画像のボケ形状を前記第3の画像のボケ形状に近似する第2のフィルタカーネルを該第2の画像に作用させることにより、前記ボケ形状の近似を行うものであることを特徴とする請求項7に記載の撮像装置。前記第1のフィルタカーネルおよび第2のフィルタカーネルは、ボケフィルタとして構成されたものであることを特徴とする請求項9に記載の撮像装置。前記ステレオ画像生成部は、前記位相差量が大きくなるにつれて、第1のフィルタカーネルおよび前記第2のフィルタカーネルの大きさおよびフィルタ形状を大きくするものであることを特徴とする請求項10に記載の撮像装置。前記ステレオ画像生成部は、前記位相差量が大きくなるにつれて、第1のフィルタカーネルおよび前記第2のフィルタカーネルのボケフィルタのボケの広がり度合いを大きくするものであることを特徴とする請求項11に記載の撮像装置。前記ボケフィルタは楕円型ガウシアンフィルタであり、前記ステレオ画像生成部は、前記位相差量が大きくなるにつれて、該位相差が生じている方向の楕円型ガウシアンフィルタの標準偏差を大きくするものであることを特徴とする請求項12に記載の撮像装置。前記ステレオ画像生成部は、前記一のシフトカラー画像および前記他のシフトカラー画像のそれぞれに対して、前記第1の画像に対する前記撮像光学系の前記位相差に応じたPSFPointSpreadFunction:点広がり関数の逆演算を該第1の画像に行うことにより、ボケのないまたはボケの大きさを小さくした復元第1画像を作成し、前記第2の画像に対する前記撮像光学系の前記位相差に応じたPSFの逆演算を該第2の画像に行うことにより、ボケのないまたはボケの大きさを小さくした復元第2画像を作成し、さらに、前記第3の画像に対する前記撮像光学系のPSFを、前記復元第1画像および前記復元第2画像に各演算することにより、前記ボケ形状の近似を行うものであることを特徴とする請求項7に記載の撮像装置。前記ステレオ画像生成部は、さらに、前記第3の画像に対する前記撮像光学系の前記位相差に応じたPSFの逆演算を該第3の画像に行うことにより、ボケのないまたはボケの大きさを小さくした復元第3画像を作成し、さらに、所望のボケの大きさに対応する前記第3の画像に対する前記撮像光学系のPSFを、前記復元第1画像、前記復元第2画像、および前記復元第3画像に各演算することにより、前記第1の画像、前記第2の画像、および前記第3の画像のボケの大きさを所望にコントロールするものであることを特徴とする請求項14に記載の撮像装置。複数の波長帯域の光をそれぞれ受光して光電変換し、第1の帯域の第1の画像と第2の帯域の第2の画像と第3の帯域の第3の画像とを生成するカラーの撮像素子と、被写体像を前記撮像素子に結像する撮像光学系と、前記撮像光学系を経て前記撮像素子に至る撮影光束の光路上に配設されていて、前記撮像光学系の瞳領域の一部である第1の領域を通過しようとする撮影光束中の前記第1の帯域の光を遮断し前記第2の帯域および前記第3の帯域の光を通過させる第1の帯域制限と、前記撮像光学系の瞳領域の他の一部である第2の領域を通過しようとする撮影光束中の第2の帯域の光を遮断し前記第1の帯域および前記第3の帯域の光を通過させる第2の帯域制限と、を行う帯域制限フィルタと、を有する撮像装置により得られた画像を処理するための画像処理装置であって、前記第1の画像と前記第2の画像との位相差量を演算する距離演算部と、前記距離演算部により演算された位相差量に基づき、前記第2の画像および前記第3の画像のボケの重心位置を前記第1の画像のボケの重心位置の方向へ移動させた一の片目用カラー画像を生成するとともに、前記第1の画像および前記第3の画像のボケの重心位置を前記第2の画像のボケの重心位置の方向へ移動させた他の片目用カラー画像を生成することにより、カラーの立体視画像を生成するステレオ画像生成部と、を具備したことを特徴とする画像処理装置。しかしながら、上記特開2001-174696号公報や特開平11-344662号公報に記載されたような技術を用いた場合には、撮像素子から得られる各色画像にずれが生じるために、得られた画像の用途はAFに限ったものとなり、カラー立体視画像として観賞するには不適切であった。また、上記特開平4-251239号公報に記載された技術では、複数の開口部からの画像を同時に取得するために、色の異なる部分瞳青とオレンジから視差画像を得て立体視画像を生成しているが、観察する際には立体視用の色メガネを着用しなければならず、立体視画像をフルカラーの画像として鑑賞することができなかった。本発明は上記事情に鑑みてなされたものであり、帯域によって撮像光学系の異なる瞳領域を通過した光により撮影された画像から、鑑賞用として好ましいカラーの立体視画像を得ることができる撮像装置、画像処理装置を提供することを目的としている。上記の目的を達成するために、本発明の一態様による撮像装置は、複数の波長帯域の光をそれぞれ受光して光電変換し、第1の帯域の第1の画像と第2の帯域の第2の画像と第3の帯域の第3の画像とを生成するカラーの撮像素子と、被写体像を前記撮像素子に結像する撮像光学系と、前記撮像光学系を経て前記撮像素子に至る撮影光束の光路上に配設されていて、前記撮像光学系の瞳領域の一部である第1の領域を通過しようとする撮影光束中の前記第1の帯域の光を遮断し前記第2の帯域および前記第3の帯域の光を通過させる第1の帯域制限と、前記撮像光学系の瞳領域の他の一部である第2の領域を通過しようとする撮影光束中の第2の帯域の光を遮断し前記第1の帯域および前記第3の帯域の光を通過させる第2の帯域制限と、を行う帯域制限フィルタと、前記第1の画像と前記第2の画像との位相差量を演算する距離演算部と、前記距離演算部により演算された位相差量に基づき、前記第2の画像および前記第3の画像のボケの重心位置を前記第1の画像のボケの重心位置の方向へ移動させた一の片目用カラー画像を生成するとともに、前記第1の画像および前記第3の画像のボケの重心位置を前記第2の画像のボケの重心位置の方向へ移動させた他の片目用カラー画像を生成することにより、カラーの立体視画像を生成するステレオ画像生成部と、を具備している。また、本発明の他の態様による画像処理装置は、複数の波長帯域の光をそれぞれ受光して光電変換し、第1の帯域の第1の画像と第2の帯域の第2の画像と第3の帯域の第3の画像とを生成するカラーの撮像素子と、被写体像を前記撮像素子に結像する撮像光学系と、前記撮像光学系を経て前記撮像素子に至る撮影光束の光路上に配設されていて、前記撮像光学系の瞳領域の一部である第1の領域を通過しようとする撮影光束中の前記第1の帯域の光を遮断し前記第2の帯域および前記第3の帯域の光を通過させる第1の帯域制限と、前記撮像光学系の瞳領域の他の一部である第2の領域を通過しようとする撮影光束中の第2の帯域の光を遮断し前記第1の帯域および前記第3の帯域の光を通過させる第2の帯域制限と、を行う帯域制限フィルタと、を有する撮像装置により得られた画像を処理するための画像処理装置であって、前記第1の画像と前記第2の画像との位相差量を演算する距離演算部と、前記距離演算部により演算された位相差量に基づき、前記第2の画像および前記第3の画像のボケの重心位置を前記第1の画像のボケの重心位置の方向へ移動させた一の片目用カラー画像を生成するとともに、前記第1の画像および前記第3の画像のボケの重心位置を前記第2の画像のボケの重心位置の方向へ移動させた他の片目用カラー画像を生成することにより、カラーの立体視画像を生成するステレオ画像生成部と、を具備している。本発明の撮像装置、画像処理装置によれば、帯域によって撮像光学系の異なる瞳領域を通過した光により撮影された画像から、鑑賞用として好ましいカラーの立体視画像を得ることが可能となる。以下、図面を参照して本発明の実施の形態を説明する。[実施形態1]図1から図36は本発明の実施形態1を示したものであり、図1は撮像装置の構成を示すブロック図である。本実施形態の撮像装置は、例えばデジタルスチルカメラとして構成されている。ただし、ここではデジタルスチルカメラを例に挙げているが、撮像装置は、カラー撮像素子を備え、撮像機能を有する装置であればどのようなものでも良く、幾つかの例を挙げれば、上述したデジタルスチルカメラ、ビデオカメラ、カメラ付携帯電話、カメラ付携帯情報端末カメラ付PDA、カメラ付パーソナルコンピュータ、監視カメラ、内視鏡などである。撮像装置は、レンズユニット1と、このレンズユニット1がレンズマウントを介して着脱自在に取り付けられる本体部であるボディユニット2と、を備えている。なお、ここではレンズユニット1が着脱式である場合を例に挙げて説明するが、勿論、着脱式でなくても構わない。レンズユニット1は、レンズ10と絞り11とを含む撮像光学系9と、帯域制限フィルタ12と、レンズ制御部14と、レンズ側通信コネクタ15と、を備えている。ボディユニット2は、シャッタ21と、撮像素子22と、撮像回路23と、撮像駆動部24と、画像処理部25と、画像メモリ26と、表示部27と、インターフェースIF28と、システムコントローラ30と、センサ部31と、操作部32と、ストロボ制御回路33と、ストロボ34と、ボディ側通信コネクタ35と、を備えている。なお、図1のボディユニット2内には記録媒体29も記載されているが、この記録媒体29は撮像装置に対して着脱自在な例えばメモリカードスマートメディア、SDカード、xDピクチャーカード等で構成されているために、撮像装置に固有の構成でなくても構わない。まず、レンズユニット1における撮像光学系9は、被写体像を撮像素子22に結像するためのものである。この撮像光学系9のレンズ10は、焦点調節を行うためのフォーカスレンズを備えて構成されている。レンズ10は、一般的には複数枚のレンズで構成されることが多いが、図1においては簡単のために1枚のレンズのみを図示している。撮像光学系9の絞り11は、レンズ10を通過する被写体光束の通過範囲を規制することにより、撮像素子22上に結像される被写体像の明るさを調節するためのものである。帯域制限フィルタ12は、撮像光学系9を経て撮像素子22に至る撮影光束の光路上望ましくは、撮像光学系9の絞り11の位置またはその近傍に配設されており、撮像光学系9の瞳領域の一部である第1の領域を通過しようとする撮影光束中の第1の帯域の光を遮断し第2の帯域および第3の帯域の光を通過させる第1の帯域制限と、撮像光学系9の瞳領域の他の一部である第2の領域を通過しようとする撮影光束中の第2の帯域の光を遮断し第1の帯域および第3の帯域の光を通過させる第2の帯域制限と、を行うフィルタである。ここに、図3は帯域制限フィルタ12の一構成例を説明するための図である。この図3に示す構成例の帯域制限フィルタ12は、撮像光学系9の瞳領域が、第1の領域と第2の領域とに2分されたものとなっている。すなわち、帯域制限フィルタ12は、撮像装置を標準姿勢いわゆる、カメラを通常の横位置に構えた姿勢として撮像素子22から見たときに、左半分がG緑成分およびR赤成分を通過させB青成分を遮断するすなわち、B青成分は第1の帯域と第2の帯域との内の一方の帯域であるRGフィルタ12r、右半分がG成分およびB成分を通過させR成分を遮断するすなわち、R成分は第1の帯域と第2の帯域との内の他方の帯域であるGBフィルタ12bとなっている。従って、帯域制限フィルタ12は、撮像光学系9の絞り11の開口を通過する光に含まれるG成分を全て通過させすなわち、G成分は第3の帯域である、R成分を開口の半分の領域だけ通過させ、B成分を開口の残り半分の領域だけ通過させる。なお、帯域制限フィルタ12のRGB各分光透過特性が、撮像素子22にオンチップで構成されている素子フィルタ図2参照のRGB各分光透過特性と異なると、RGフィルタ12rとGBフィルタ12bの空間位置の相違に基づいて得られる画像から後述するように取得する位置情報の精度が低下したり、分光特性のミスマッチによる光量ロスが発生したりすることになる。従って、帯域制限フィルタ12の分光透過特性は、撮像素子22の素子フィルタの分光透過特性と、同一または可能な限り近似していることが望ましい。また、帯域制限フィルタ12の他の構成例については、後で図12~図15等を参照して説明する。レンズ制御部14は、レンズユニット1の制御を行うものである。すなわち、レンズ制御部14は、レンズ側通信コネクタ15およびボディ側通信コネクタ35を介してシステムコントローラ30から受信した指令に基づき、レンズ10内のフォーカスレンズを駆動して合焦させたり、絞り11を駆動して絞り開口径を変更させたりするものである。レンズ側通信コネクタ15は、レンズユニット1とボディユニット2とがレンズマウントにより結合されてボディ側通信コネクタ35と接続されることにより、レンズ制御部14とシステムコントローラ30との間の通信を可能にするコネクタである。次に、ボディユニット2におけるシャッタ21は、レンズ10から撮像素子22に到達する被写体光束の通過時間を規制することにより、撮像素子22の露光時間を調節するための光学シャッタである。なお、ここでは光学シャッタを用いているが、光学シャッタに代えて、または光学シャッタに加えて、撮像素子22による素子シャッタ電子シャッタを用いるようにしても構わない。撮像素子22は、撮像光学系9により結像される被写体像を、複数の波長帯例えば、RGBが挙げられるが、これに限るものではない光毎にそれぞれ受光して光電変換し、電気信号として出力するカラー撮像素子であり、例えば、CCDやCMOS等として構成されている。ここに、カラー撮像素子の構成としては、オンチップの素子カラーフィルタを備えた単板の撮像素子でも良いし、RGB各色光への色分解を行うダイクロイックプリズムを用いた3板式であっても良いし、同一の画素位置で半導体の深さ方向位置に応じてRGBの撮像情報を取得可能な方式の撮像素子であっても良いし、複数の波長帯光の撮像情報を取得可能であればどのようなものでも構わない。例えば、図2を参照して、一般的なデジタルスチルカメラに用いられることが多い単板のカラー撮像素子の構成例を説明する。ここに、図2は撮像素子22の画素配列を説明するための図である。本実施形態においては、オンチップで搭載される素子カラーフィルタが透過する複数の波長帯光はR、G、およびBとなっており、この図2に示すように、原色ベイヤー配列の単板カラー撮像素子が構成されている。従って、撮像素子22がこの図2に示したような構成である場合には、1画素に付き1色の色成分のみが得られることになるために、画像処理部25においてデモザイキング処理を行い1画素につきRGBの3色が揃ったカラー画像を生成するようになっている。撮像回路23は、撮像素子22から出力される画像信号を増幅ゲイン調整したり、撮像素子22がアナログ撮像素子であってアナログの画像信号を出力する場合には、A/D変換してデジタル画像信号以下では画像情報ともいうを生成したりするものである撮像素子22がデジタル撮像素子である場合には、撮像回路23に入力される時点で既にデジタルとなっているためにA/D変換は行わない。撮像回路23は、後述するように撮像駆動部24で切り換えられた撮像モードに対応するフォーマットで、画像信号を画像処理部25へ出力する。撮像駆動部24は、システムコントローラ30の指令に基づいて、撮像素子22および撮像回路23にタイミング信号および電力を供給して、撮像素子に露光、読出、素子シャッタ等を行わせるとともに、撮像素子22の動作に同期させて撮像回路23によるゲイン調整およびA/D変換を実行させるように制御するものである。また、この撮像駆動部24は、撮像素子22の撮像モードを切り換える制御も行う。画像処理部25は、WBホワイトバランス調整、黒レベルの補正、γ補正、欠陥画素の補正、デモザイキング、画像情報の色情報の変換処理、画像情報の画素数変換処理、等のデジタル画像処理を行うものである。この画像処理部25は、さらに、色間補正部36と、画像補正部たる色画像生成部37と、ステレオ画像生成部40と、を備えている。上述したように、帯域制限フィルタ12は通過させる光の帯域色によって、撮像光学系9の瞳領域における通過領域を制限しているために、通過する光は、帯域によって明るさが異なることになる。色間補正部36は、このような帯域間色間の明るさの違いを補正するためのものである。この帯域間色間の明るさの違いの補正は、簡易的には、帯域毎の通過領域の面積に応じて補正することが考えられるが、画像の中心よりも周辺の方が光量が低下する傾向があることを考慮して、撮像光学系9の光学特性に応じたより詳細な補正を行うようにしても勿論構わない。このときには、撮像装置内で補正値を算出するに限るものではなく、テーブルデータ等として補正値を保持するようにしても構わない。具体例として、帯域制限フィルタ12が図3に示したように構成されている場合には、RとBはGの半分の通過光量となるために、Rの色信号とBの色信号を2倍にする処理を簡易的な色間補正として行うことが考えられる同様に、後述する図12~図15の構成の場合には、それぞれの帯域毎の通過領域の面積に応じて補正することになる。このような処理を行うことにより、光量バランスの点においては図3の帯域制限フィルタ12が挿入されていない撮像装置と同様な画像として扱うことが可能となり、各種機能例えば画像生成処理などを利用することが可能となる。色画像生成部37は、カラー画像情報を形成するためのデジタル処理であるカラー化の処理を行うものである。図3に示したような帯域制限フィルタ12を用いた場合には、R画像とB画像とに空間的な位置ズレが発生することがあるために、この空間的な位置ズレを補正するのが色画像生成部37が行うカラー化処理の一例である。まず、各色画像の空間的な位置ズレについて、図4~図11を参照して説明する。ここに、図4は合焦位置にある被写体を撮像するときの被写体光束集光の様子を示す平面図、図5は合焦位置よりも近距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図、図6は合焦位置よりも近距離側にある被写体上の1点からの光により形成されるボケの形状を示す図、図7は合焦位置よりも近距離側にある被写体上の1点からの光により形成されるボケの形状を色成分毎に示す図、図8は合焦位置よりも遠距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図、図9は合焦位置よりも遠距離側にある被写体上の1点からの光により形成されるボケの形状を示す図、図10は合焦位置よりも遠距離側にある被写体上の1点からの光により形成されるボケの形状を色成分毎に示す図、図11は合焦位置とそれよりも近距離および遠距離にある被写体を撮像したときの画像の様子を示す図である。なお、ボケ形状の説明に際しては、絞り11の開口が円形状である場合を例に挙げて説明する。被写体OBJcが合焦位置にあるときには、被写体OBJc上の1点から放射された光は、図4に示すように、帯域制限フィルタ12全体を通過するG成分も、帯域制限フィルタ12の半分のRGフィルタ12rのみを通過するR成分も、帯域制限フィルタ12の他の半分のGBフィルタ12bのみを通過するB成分も、撮像素子22上の1点に集光され、点像IMGrgbを形成するために、上述したような通過領域の面積に応じた光量の相違はあるものの、色間に位置ズレは発生しない。従って、合焦位置にある被写体OBJcを撮像したときには、図11に示すように、色にじみのない被写体像IMGrgbが結像される。これに対して、被写体OBJnが例えば合焦位置よりも近距離側にある場合には、被写体OBJn上の1点から放射された光により、図5~図7に示すように、G成分については円形ボケをなす被写体像IMGgが形成され、R成分については左半分の半円形ボケをなす被写体像IMGrが形成され、B成分については右半分の半円形ボケをなす被写体像IMGbが形成される。従って、合焦位置よりも近距離側にある被写体OBJnを撮像したときには、図11に示すように、R成分の被写体像IMGrが左側にずれ、B成分の被写体像IMGbが右側にずれたボケ画像が形成され、このボケ画像におけるR成分とB成分の左右位置は、撮像素子22から見たときの帯域制限フィルタ12におけるR成分透過領域RGフィルタ12rとB成分透過領域GBフィルタ12bの左右位置と同じであるなお、図11においてはズレを強調して示しており、実際に生じているボケ形状の図示は省略している下記遠距離側の場合も同様。そして、被写体OBJnが合焦位置から近距離側へ離れるほど、ボケが大きくなって、R成分の被写体像IMGrの重心位置とB成分の被写体像IMGbの重心位置との離間距離が大きくなることになる。なお、G成分の被写体像IMGgについては、図6、図7に示すように、R成分の被写体像IMGrとB成分の被写体像IMGbとにまたがったボケ画像となる。このG成分の被写体像IMGgは、帯域制限フィルタ12を使用しない場合のボケ画像と同じ情報になるために、上述した色画像生成部37が行うカラー化処理における標準画像として使用することが可能である。一方、被写体OBJfが例えば合焦位置よりも遠距離側にある場合には、被写体OBJf上の1点から放射された光により、図8~図10に示すように、G成分については円形ボケをなす被写体像IMGgが形成され、R成分については右半分の半円形ボケをなす被写体像IMGrが形成され、B成分については左半分の半円形ボケをなす被写体像IMGbが形成される。従って、合焦位置よりも遠距離側にある被写体OBJfを撮像したときには、図11に示すように、R成分の被写体像IMGrが右側にずれ、B成分の被写体像IMGbが左側にずれたボケ画像が形成され、このボケ画像におけるR成分とB成分の左右位置は、撮像素子22から見たときの帯域制限フィルタ12におけるR成分透過領域RGフィルタ12rとB成分透過領域GBフィルタ12bの左右位置と逆である。そして、被写体OBJfが合焦位置から遠距離側へ離れるほど、ボケが大きくなって、R成分の被写体像IMGrの重心位置とB成分の被写体像IMGbの重心位置との離間距離が大きくなることになる。なお、G成分の被写体像が、R成分の被写体像IMGrとB成分の被写体像IMGbとにまたがったボケ画像となる図9、図10参照のは、この遠距離側においても同様である。そして、遠距離側においても、G成分の被写体像IMGgは、帯域制限フィルタ12を使用しない場合のボケ画像と同じ情報になるために、上述した色画像生成部37が行うカラー化処理における標準画像として使用することが可能である。図1の説明に戻って、そこで色画像生成部37は、カラー化処理として、図2に示すようなベイヤー配列における画素数が最も多くかつ輝度信号に対する寄与が最も大きいG成分の画像を標準画像として、R成分の画像およびB成分の画像の各色ズレを補正する処理を、後で詳しく説明するように行うようになっている。このように、絞り11の開口全域の情報を取得可能なG色を基準として画像を生成することにより、観賞に耐え得る高品質な画像を得ることが可能となる。ステレオ画像生成部40は、撮像素子22から取得された1枚の画像データに基づいて、後述する距離演算部39により演算された位相差量に基づき、第2の画像および第3の画像のボケの重心位置を第1の画像のボケの重心位置の方向へ移動させた一の片目用カラー画像左目画像と右目画像との何れか一方を生成するとともに、第1の画像および第3の画像のボケの重心位置を第2の画像のボケの重心位置の方向へ移動させた他の片目用カラー画像左目画像と右目画像との何れか他方を生成することにより、カラーの立体視画像を生成するものである。このステレオ画像生成部40の処理については、後で詳しく説明する。画像メモリ26は、高速な書き込みや読み出しが可能なメモリであり、例えばSDRAMSynchronousDynamicRandomAccessMemoryにより構成されていて、画像処理用のワークエリアとして使用されるとともに、システムコントローラ30のワークエリアとしても使用される。例えば、画像メモリ26は、画像処理部25により処理された最終的な画像を記憶するだけでなく、画像処理部25による複数の処理過程における各中間画像も適宜記憶する。表示部27は、LCD等を有して構成されていて、画像処理部25により表示用に処理された画像記録媒体29から読み出されて画像処理部25により表示用に処理された画像も含むを表示するものである。具体的には、この表示部27は、ライブビュー画像の表示、静止画像記録時の確認表示、記録媒体29から読み出した静止画像または動画像の再生表示、等を行う。また、本実施形態においては、表示部27は、立体視画像を表示可能に構成されているものとする。インターフェースIF28は、記録媒体29を着脱可能に接続するものであり、記録媒体29へ記録する情報の伝達、および記録媒体29から読み出した情報の伝達を行う。記録媒体29は、画像処理部25により記録用に処理された画像や、該画像に関連する各種データを記録するものであり、上述したように例えばメモリカード等として構成されている。センサ部31は、例えば、撮像装置のブレを検出するための加速度センサ等で構成される手振れセンサ、撮像素子22の温度を測定するための温度センサ、撮像装置周辺の明るさを測定するための明るさセンサ、等を含んでいる。このセンサ部31による検出結果はシステムコントローラ30に入力される。ここに、手振れセンサによる検出結果は撮像素子22やレンズ10を駆動して手振れ補正を行ったり、画像処理による手振れ補正を行ったりするために用いられる。また、温度センサによる検出結果は撮像駆動部24による駆動クロックの制御や撮像素子22から得られる画像中のノイズ量を推定するのに用いられる。さらに、明るさセンサによる検出結果は、例えば、周囲の明るさに応じて表示部27の輝度を適正に制御するために用いられる。操作部32は、撮像装置の電源をオン/オフするための電源スイッチ、静止画像や動画像等の撮像動作を指示入力するための2段式の押圧ボタンでなるレリーズボタン、撮像モード等を変更するためのモードボタン、選択項目や数値などを変更するのに用いられる十字キー、等を含んでいる。この操作部32の操作により発生した信号は、システムコントローラ30に入力される。ストロボ制御回路33は、システムコントローラ30の指令に基づいて、ストロボ34の発光量や発光タイミングを制御するものである。ストロボ34は、ストロボ制御回路33の制御により、被写体へ照明光を照射する発光源である。ボディ側通信コネクタ35は、上述したように、レンズユニット1とボディユニット2とがレンズマウントにより結合されてレンズ側通信コネクタ15と接続されることにより、レンズ制御部14とシステムコントローラ30との間の通信を可能にするコネクタである。システムコントローラ30は、このボディユニット2の制御を行うとともに、レンズ制御部14を介してレンズユニット1の制御も行うものであり、この撮像装置を統合的に制御する制御部である。このシステムコントローラ30は、図示しないフラッシュメモリ等の不揮発性メモリから撮像装置の基本制御プログラムを読み出して、操作部32からの入力に応じて、撮像装置全体を制御するようになっている。例えば、システムコントローラ30は、レンズ制御部14を介して絞り11の絞り調整を制御したり、シャッタ21を制御して駆動したり、センサ部31の加速度センサによる検出結果に基づいて図示しない手振れ補正機構を制御駆動して手振れ補正を行ったり、等を行う。さらに、システムコントローラ30は、操作部32のモードボタンからの入力に応じて、撮像装置のモード設定静止画像を撮像するための静止画モード、動画像を撮像するための動画モード、立体視画像を撮像するための3Dモード等の設定を行うものとなっている。さらに、システムコントローラ30は、コントラストAF制御部38と、距離演算部39とを備え、コントラストAF制御部38によりAF制御を行わせ、あるいは、距離演算部39により算出された距離情報に基づきレンズユニット1を制御してAFを行うものである。コントラストAF制御部38は、画像処理部25から出力される画像信号この画像信号は、輝度成分を含む割合が高いG画像であっても良いし、後述するカラー化処理により色ずれが補正された画像に係る輝度信号画像であっても構わないからコントラスト値AF評価値ともいうを生成し、レンズ制御部14を介してレンズ10内のフォーカスレンズを制御するものである。すなわち、コントラストAF制御部38は、画像信号にフィルタ、例えばハイパスフィルタを作用させて高周波成分を抽出し、コントラスト値とする。そして、コントラストAF制御部38は、フォーカスレンズ位置を異ならせてコントラスト値を取得し、コントラスト値が大きくなる方向へフォーカスレンズを移動させて、さらにコントラスト値を取得する。このような処理を繰り返して行うことにより、最大のコントラスト値が得られるフォーカスレンズ位置合焦位置へフォーカスレンズを駆動するように制御するものである。次に、距離演算部39は、撮像素子22から得られた、第1の帯域の第1の画像と第2の帯域の第2の画像との位相差量を演算し、演算した位相差量に基づき、被写体までの距離を演算するものである。具体的には、距離演算部39は、図7、図10、図11等に示したようなR成分とB成分とのズレ量から、レンズの公式により距離情報を演算する。すなわち、距離演算部39は、撮像画像として得られたRGB各色の成分の内の、R成分とB成分とを抽出する。そして、R成分とB成分とに相関演算を行うことにより、R成分の画像とB成分の画像とに生じているズレの方向とズレの大きさとを算出するただしこれに限定されるものではなく、R画像とG画像との間、またはB画像とG画像との間に生じているズレの方向とズレの大きさとを算出することも不可能ではない。ここに、例えば図3に示したような帯域制限フィルタ12を用いる場合には、図5~図11を参照して説明したように、被写体が合焦位置よりも近いか遠いかによって、画像におけるR成分とB成分のズレの方向が逆になる。従って、ズレの方向は、着目する被写体が合焦位置よりも近いか遠いかを判別するための情報となる。また、合焦位置から近距離側または遠距離側へ離れれば離れるほど、R成分とB成分のズレの大きさが大きくなる。従って、ズレの大きさは、着目する被写体が合焦位置からどの程度の距離だけ離れているかを判定するための情報となる。こうして、距離演算部39は、算出したズレの方向とズレの大きさとに基づいて、着目する被写体が、合焦位置よりも近い側または遠い側へ、どの程度の距離だけ離れているかを算出するようになっている。距離演算部39は、操作部32からの入力に基づき、または撮像装置の基本制御プログラムに基づき、システムコントローラ30により決定された距離演算領域例えば、撮像画像の全領域、あるいは撮像画像における距離情報を取得したい一部の領域について、上述したような距離演算を行う。このような、ズレ量を取得して距離情報を演算する技術は、例えば上記特開2001-16611号公報に記載された技術を用いることができる。距離演算部39により取得された距離情報は、例えばオートフォーカスAFに利用することができる。すなわち、距離演算部39によりR成分とB成分のズレに基づく距離情報を取得し、取得した距離情報に基づきシステムコントローラ30がレンズ制御部14を介してレンズ10のフォーカスレンズを駆動するAF、すなわち位相差AFを行うことができる。これにより、1枚の撮像画像に基づいて、高速なAFが可能となる。ただし、システムコントローラ30内には上述したように距離演算部39とコントラストAF制御部38とが設けられているために、AF制御を距離演算部39による算出結果に基づいて行っても良いが、コントラストAF制御部38により行っても構わない。ここに、コントラストAF制御部38によるコントラストAFは合焦精度が高い反面、複数枚の撮像画像が必要になるために、合焦速度が早いとはいえない課題がある。一方、距離演算部39による被写体距離の算出は、1枚の撮像画像に基づいて行うことができるために、合焦速度が早い反面、合焦精度はコントラストAFよりも劣ることがある。そこで、コントラストAF制御部38内に設けられているAFアシスト制御部38aが、コントラストAF制御部38と距離演算部39とを組み合わせてAFを行わせるようにしても良い。すなわち、帯域制限フィルタ12を介して取得した画像のR成分とB成分のズレに基づく距離演算を、距離演算部39に行わせて、被写体が現在のフォーカス位置よりも遠距離側にあるのか、あるいは近距離側にあるのかを取得する。あるいはさらに、被写体が現在のフォーカス位置から離れている距離を取得する。次に、AFアシスト制御部38aは、取得した遠距離側または近距離側へ取得した距離の分だけフォーカスレンズを駆動し、コントラストAFを行わせるようにコントラストAF制御部38を制御する。このような処理を行うことにより、早い合焦速度で高い合焦精度を得ることが可能となる。また、撮像素子22から得られたR画像とB画像とは、例えばステレオ立体視画像3D画像として用いることができる。3D画像は、左側の瞳からの画像を左目で観察し、右側の瞳からの画像を右目で観察できれば良い。このような3D画像の観察方式として、従来よりアナグリフ方式が知られている上述した特開平4-251239号公報も参照。このアナグリフ方式は、一般に、赤色の左目画像と青色の右目画像とを生成して両方を表示し、左目側に赤色透過フィルタ、右目側に青色透過フィルタを配置したアナグリフ用の赤青メガネを用いてこの画像を観察することにより、モノクロの立体視画像を観察可能とする方式である。そこで本実施形態においては、標準姿勢の撮像素子22から得られたR画像とB画像色画像生成部37における、R成分とB成分の位置ズレを補正するカラー化処理を行わない画像を、このアナグリフ方式の赤青メガネで観察すればそのまま立体視が可能となるように構成している。すなわち、図3を参照して説明したように、撮像装置を標準姿勢とすると、帯域制限フィルタ12のRGフィルタ12rが撮像素子22から被写体を見たときの左側に配置され、GBフィルタ12bが右側に配置されるように構成している。これにより赤青メガネをかければ、左側のRGフィルタ12rを透過したR成分光が左目のみにより観察され、右側のGBフィルタ12bを透過したB成分光が右目のみにより観察されて、立体視が可能となる。また、本実施形態においては、上述したように、ステレオ画像生成部40により、アナグリフ方式ではない、カラーの立体視画像を生成することもできるようになっている。次に、図12~図15を参照して、帯域制限フィルタ12の変形例について説明する。まず、図12は帯域制限フィルタ12の第1の変形例を示す図である。図12に示す帯域制限フィルタ12は、撮像光学系9の瞳領域が、第1の領域と第2の領域との間に第1の帯域制限および第2の帯域制限の両方を受ける撮影光束が通過する領域が挟まれる構成となっている。すなわち、図3に示した帯域制限フィルタ12は、撮像装置を標準姿勢にして撮像素子22から見たときに、左半分がRGフィルタ12r、右半分がGBフィルタ12bであった。これに対して、この図12に示す帯域制限フィルタ12は、左側のRGフィルタ12rと右側のGBフィルタ12bとの間に、G成分のみを通過させるGフィルタ12gを配置したものとなっている。このような構成においても、撮像光学系9の絞り11の開口を通過する光に含まれるG成分が全て通過するのは図3の帯域制限フィルタ12と同様である。ただし、RGフィルタ12rとGBフィルタ12bとが離間して配置されているために、非合焦位置にある被写体の撮像素子22上における像の、R成分とB成分の位置ズレがより明瞭化されるために、距離演算部39による距離演算精度が向上する利点がある。従って、高い精度の距離情報を得たい場合には、この図12に示すような構成の帯域制限フィルタ12を用いると良い。また、図13は帯域制限フィルタ12の第2の変形例を示す図である。この図13に示す帯域制限フィルタ12は、撮像光学系9の瞳領域が、第1の領域と第2の領域との間に帯域制限を受けない撮影光束が通過する領域が挟まれる構成となっている。すなわち、帯域制限フィルタ12は、左側のRGフィルタ12rと右側のGBフィルタ12bとの間に、RGB全色の成分つまり、白色光Wを通過させるWフィルタ12wを配置したものとなっている。このような構成においても、撮像光学系9の絞り11の開口を通過する光に含まれるG成分が全て通過するのは図3の帯域制限フィルタ12と同様である。これに対して、R成分はRGフィルタ12rおよびWフィルタ12wを通過する一方で、GBフィルタ12bに遮断される。同様に、B成分はGBフィルタ12bおよびWフィルタ12wを通過する一方で、RGフィルタ12rに遮断される。このような構成によれば、Wフィルタ12wの部分についてはG成分のみでなく、R成分およびB成分も透過されるために、帯域制限フィルタ12を透過するR成分およびB成分の光量が増加し、明るい撮像画像を取得することができる利点があるただし、距離演算部39により算出される距離情報は精度が低下する可能性がある。従って、距離情報としてはそれ程高い精度は必要でない場合に用いると、必要な効果を得られるとともに、例えば明るい高品位の3D画像を取得することが可能となる。さらに、図14は帯域制限フィルタ12の第3の変形例を示す図である。この図14に示す帯域制限フィルタ12は、第1の領域と第2の領域とが、撮像装置が標準姿勢であるときの上下方向位置および左右方向位置を異ならせて配置されたものとなっている。すなわち、帯域制限フィルタ12は、例えば円形をなすフィルタを十字状に4分割して、左下グラフにおける第3象限にRGフィルタ12r、右上グラフにおける第1象限にGBフィルタ12bを配置するとともに、左上グラフにおける第2象限に第1のGフィルタ12g1を、右下グラフにおける第4象限に第2のGフィルタ12g2を、それぞれ配置したものとなっている。なお、図14に示した帯域制限フィルタにより、取得される位相差の方向は斜め45度の方向の位相差である。この位相差情報を用いて、後の色画像生成部によりカラー化処理を行った後、ステレオ画像生成部においてステレオ画像生成を行う。その際、色画像生成部においてカラー化処理を行う場合には、通常の帯域制限フィルタ図14に示した帯域制限フィルタ以外のフィルタ例では水平方向の位相差を利用していたところを、斜め45度の位相差方向でカラー化処理を行う。そして、ステレオ画像生成部において、ステレオ画像生成処理を行う場合には、通常の水平方向の位相差を利用してステレオ画像の生成処理を行う水平方向の位相差は、斜め45度の位相差の水平成分だけを抽出すれば、容易に取得可能である。このようにすることで、帯域制限フィルタで取得される位相差が斜め方向の場合でも、人が見た上で自然な水平方向に位相差を持つステレオ画像を生成することが出来ることになる。上述した図3、図12、図13に示したような帯域制限フィルタ12の構成の場合には、垂直方向のエッジを有する被写体の距離情報取得は容易であるが、水平方向のエッジを有する被写体の距離情報取得は困難となる。これに対して、この図14に示したような帯域制限フィルタ12の構成を採用すれば、垂直方向のエッジを有する被写体と、水平方向のエッジを有する被写体と、の何れに対しても、距離情報を容易に取得することができる利点がある。このようにRGフィルタ12rとGBフィルタ12bの水平方向位置および垂直方向位置を異ならせることにより、距離情報取得における被写体エッジの方向依存性特に、水平/垂直方向依存性を改善することが可能となる。なお、帯域制限フィルタ12が図12~図14等に示すように構成されている場合でも、R画像とB画像のズレ量の大きさや、後述するようなボケのPSFの形状が変化するだけであるために、下記に説明するような色画像生成部37におけるR成分とB成分の位置ズレを補正するカラー化処理を同様に適用して、色ズレの補正された画像を生成することができる。続いて、図15は帯域制限フィルタ12の第4の変形例を示す図である。図3や図12~図14に示した帯域制限フィルタ12は通常のカラーフィルタであったが、この図15に示す帯域制限フィルタ12は、色選択透過素子18により構成したものとなっている。ここに、色選択透過素子18は、色波長に対応して偏光透過軸を回転可能な部材と、例えばLCDのような偏光透過軸の回転する/しないを選択制御可能な部材と、を複数組み合わせることにより実現された、色分布を変更可能な素子である。この色選択透過素子18は、具体例としては、西暦2000年4月にSID2000においてSID’00DigestVol31p92として開示されたようなカラーリンク社のカラースイッチが挙げられる。この色選択透過素子18は、撮像装置を標準姿勢横位置にして撮像素子22から見たときに、左半分が第1色選択透過素子18L、右半分が第2色選択透過素子18Rとして構成されている。ここに、第1色選択透過素子18Lは、G成分およびR成分を通過させB成分を遮断するRG状態と、RGB全成分Wを通過させるW状態と、を選択的に取り得るようになっている。また、第2色選択透過素子18Rは、G成分およびB成分を通過させR成分を遮断するGB状態と、RGB全成分Wを通過させるW状態と、を選択的に取り得るようになっている。これら第1色選択透過素子18Lと第2色選択透過素子18Rとは、図示しない色選択駆動部により各独立に駆動されるようになっていて、第1色選択透過素子18LにRG状態を取らせ、かつ第2色選択透過素子18RにGB状態を取らせることにより、図3に示した帯域制限フィルタ12と同様の機能を果たすことができる。さらに、構成を別のものに変更すれば、色選択透過素子18が図12~図14に示した帯域制限フィルタ12と同様の機能を果たすようにすることも可能であるし、さらに他の構成の帯域制限フィルタ12を構成することもできる。次に、色画像生成部37において行われる、各色画像同士のずれ色ズレを補正するためのカラー化処理について説明する。[実施例1]まず、図16~図24は、カラー化処理の実施例1を示す図である。図3に示した帯域制限フィルタ12を用いて、合焦位置よりも遠距離側にある被写体を撮影したときには図7に示すようなボケが形成され、合焦位置よりも近距離側にある被写体を撮影したときには図10に示すようなボケが形成される。カラー化処理は、これら図7または図10に示したような形状のボケを、図16に示すような形状のボケに補正するための処理である。ここに、図16は、カラー化処理後のボケ形状の概要を示す図である。以下では、説明を簡単にするために、被写体が合焦位置よりも遠距離側にある場合図10に示す場合を例に挙げて説明するが、被写体が合焦位置よりも近距離側にある場合には、図7を図10と比較すれば分かるように、R画像のボケとB画像のボケの形状や位置が左右反対になるだけであるために、以下の処理を適宜変更すれば同様に適用することが可能である。図17は実施例1のカラー化処理において合焦位置よりも遠距離側にある被写体のR画像に対して適用されるR用フィルタの形状を示す図、図18は実施例1のカラー化処理において合焦位置よりも遠距離側にある被写体のB画像に対して適用されるB用フィルタの形状を示す図である。このカラー化処理は、色ズレの補正およびボケ形状の補正を、フィルタリング処理フィルタカーネルを画像に畳み込み演算する処理により行うものとなっている。すなわち、R画像に対してR用のフィルタリング処理を行うことにより、R画像のボケの形状および重心位置を、標準画像であるG画像のボケの形状および重心位置に近似させるとともに、B画像に対してB用のフィルタリング処理を行うことにより、B画像のボケの形状および重心位置を、標準画像であるG画像のボケの形状および重心位置に近似させる処理となっている。ここに、重心位置を近似させるのは色ズレを補正するためであり、ボケの形状を近似させるのは各色毎にボケの形状が異なるのを補正してカラー画像におけるボケを自然な形状のボケとするためである。特に、ここでは、R画像およびB画像のボケの形状を、標準画像であるG画像のボケの形状に合わせているが、その理由としては、G画像のボケが円形状をしており自然なボケであること、G画像のボケの大きさがR画像およびB画像のボケの大きさよりも大きいために、R画像およびB画像のボケ形状をG画像のボケ形状に合わせる方が処理が容易であること、等が挙げられる。図17に示すR用フィルタカーネルは、R画像に畳み込み演算するためのものであり、ボケフィルタの一例としてガウシアンフィルタを配置したものとなっている。このR用フィルタカーネルは、ガウシアンフィルタのフィルタ係数のピークフィルタ係数の重心位置にほぼ対応するが、カーネル中心の位置カーネルの上下を2等分する横ラインChと、カーネルの左右を2等分する縦ラインでありG画像のボケ形状の重心を通る縦ラインCgとが交差する位置から、Gの画像とRの画像の間の位相差分ずれた位置横ラインChと、R画像のボケ形状の重心を通る縦ラインCrとが交差する位置にあるフィルタ形状となっている。図18に示すB用フィルタカーネルは、B画像に畳み込み演算するためのものであり、R用フィルタカーネルと同様に、ボケフィルタの一例としてガウシアンフィルタを配置したものとなっている。このB用フィルタカーネルは、ガウシアンフィルタのフィルタ係数のピークフィルタ係数の重心位置にほぼ対応するが、カーネル中心の位置横ラインChと縦ラインCgとが交差する位置から、Gの画像とBの画像の間の位相差分ずれた位置横ラインChと、B画像のボケ形状の重心を通る縦ラインCbとが交差する位置にあるフィルタ形状となっている。このようなフィルタ形状のR用フィルタカーネルおよびB用フィルタカーネルをR画像およびB画像にそれぞれ作用させることにより、色ズレの補正と、ボケ形状の補正と、を同時に行うことが可能となっている。次に、図19および図20を参照して、カラー化処理の変形例を説明する。ここに、図19は実施例1の変形例のカラー化処理における合焦位置よりも遠距離側にある被写体のR画像およびB画像のシフトの様子を示す図、図20は実施例1の変形例のカラー化処理においてR画像およびB画像に対して適用されるフィルタの形状を示す図である。この例のカラー化処理は、色ズレの補正を平行移動シフトにより行い、ボケ形状の補正をフィルタリング処理により行うものとなっている。すなわちまず、図10に示すR画像に対して位相差に応じたR用のシフト処理を行うことにより、図19に示すようにR画像の重心位置を標準画像であるG画像のボケの重心位置に近似させるとともに、図10に示すB画像に対して位相差に応じたB用のシフト処理を行うことにより、図19に示すようにB画像の重心位置を標準画像であるG画像の重心位置に近似させる。その後に、R画像およびB画像に対して図20に示すような同一のフィルタリング処理を行うことにより、R画像およびB画像のボケの形状を、標準画像であるG画像のボケの形状に近似させるようになっている図16参照。ここに、図20に示すフィルタカーネルは、R画像およびB画像に畳み込み演算するためのものであり、ボケフィルタの一例としてガウシアンフィルタを配置したものとなっている。このフィルタカーネルは、ガウシアンフィルタのフィルタ係数のピークフィルタ係数の重心位置に対応するが、カーネル中心の位置横ラインChと縦ラインCgとが交差する位置にあるフィルタ形状となっている。ただし、ここでは図3に示したような、第1の領域と第2の領域とが左右対称の帯域制限フィルタ12を想定しているために、R画像およびB画像に対して同一のフィルタリング処理を行っているが、第1の領域と第2の領域とが非対称である場合には、R画像とB画像とに対して異なるフィルタリング処理を行うようにしても良いことは勿論である。また、上述ではボケフィルタとしてガウシアンフィルタ円型ガウシアンフィルタを例に挙げているが、勿論これに限定されるものではない。例えば図3に示したフィルタ形状の場合には、図7や図10に示したように、R画像およびB画像に発生するボケは縦方向の半月状すなわち、円形よりも横方向に短い形状となる。従って、横方向より一般には、位相差が生じている方向を長軸方向とする、図21や図22等に示すような楕円型ガウシアンフィルタを用いれば、より高精度にボケを円形状に近づける補正処理を行うことが可能となる。ここに、図21は実施例1において横方向の標準偏差を大きくした楕円型ガウシアンフィルタの形状を示す図、図22は実施例1において縦方向の標準偏差を小さくした楕円型ガウシアンフィルタの形状を示す図である。なお、図21および図22には図20に対応したフィルタカーネルの中心にフィルタ係数のピークフィルタ係数の重心位置に対応するが位置する例を示したが、図17や図18に対応させる場合には、フィルタカーネルの中心からフィルタ係数のピークフィルタ係数の重心位置にほぼ対応するをずらすことは勿論である。さらに、ボケフィルタは、円型ガウシアンフィルタや楕円型ガウシアンフィルタに限るものでないことも勿論であり、R画像やB画像のボケ形状を、G画像のボケ形状に近似することができるようなボケフィルタであれば、広く適用することが可能である。次に、図23は、実施例1において色画像生成部37により行われるカラー化処理を示すフローチャートである。ステップS1この処理を開始すると、初期設定を行う。この初期設定においては、まず、処理対象のRGB画像つまり、R画像、G画像、およびB画像の読み込みを行う。次に、R画像のコピーであるRコピー画像と、B画像のコピーであるBコピー画像と、を作成する。ステップS2続いて、位相差検出を行うための注目画素を設定する。ここでは、注目画素を、R画像とB画像との内の何れか一方、ここでは例えばR画像に設定する。ステップS3ステップS2で設定された注目画素に対する位相差を検出する。この位相差の検出は、注目画素を中心位置に含む部分領域をR画像に設定して基準画像とし、B画像に同一サイズの部分領域を設定して参照画像として図26等参照、参照画像の位置を位相差が発生している方向にずらしながら距離演算部39において基準画像と参照画像との間で相関演算を行い、最も相関値が高いと判定された参照画像と基準画像との間の位置ズレ量なお、位置ズレ量の符号が位置ズレの方向の情報を与えるを位相差量とする。なお、部分領域は任意のサイズに設定することができるが、安定的に位相差を検出するためには縦横それぞれ30[ピクセル]以上の部分領域を利用することが好ましく、一例としては51×51[ピクセル]の領域が挙げられる。そして、距離演算部39における相関演算は、具体的には、例えばZNCC演算、あるいは予めフィルタ処理が施された画像に対するSAD演算などの処理により行う。まず、ZNCCによる相関演算は、以下の数式1に基づき行う。[数1]ここに、IはR画像の部分領域、TはB画像の部分領域Iと同一サイズの部分領域、IバーはIの平均値、TバーはTの平均値、Mは部分領域の横幅[ピクセル]、Nは部分領域の縦幅[ピクセル]である。この数式1に基づきZNCC演算を行い、その結果の絶対値|RZNCC|を相関演算の結果として得られた相関値とする。また、予めフィルタ処理が施された画像に対するSAD演算を行う場合は、はじめにR画像およびB画像に対してソーベルフィルタなどに代表される微分フィルタや、LOGフィルタなどのバンドパスフィルタなどのフィルタリング処理を施しておく。そしてその後に、以下の数式2に示すSAD演算により相関演算を行う。[数2]ここに、I’はフィルタリング処理が施された後のR画像の部分領域、T’はフィルタリング処理が施された後のB画像の部分領域I’と同一サイズの部分領域、Mは部分領域の横幅[ピクセル]、Nは部分領域の縦幅[ピクセル]である。この場合には、RSADが相関演算の結果得られた相関値である。ステップS4画像内における全ての注目画素に対する位相差検出処理が完了したか否かを判定する。そして、完了するまで、注目画素の位置をずらしながらステップS2およびステップS3の処理を繰り返して行う。ここに、画像内における全ての注目画素とは、画像内において位相差検出可能な全ての画素のことを指している。なお、位相差検出不可能な画素については、検出を行わないままとするか、あるいは周囲の注目画素の検出結果に基づいて補間等を行って位相差量を算出するかすれば良い。ステップS5次に、補正処理を行うための注目画素を、位相差量が求められた画素に対して設定する。ここに、注目画素の画素位置は、R画像とB画像とで同一のつまり共通の画素位置である。なお、以下では補正処理として、図17および図18を参照して説明したように、平行移動シフトを伴わないフィルタのみを用いたカラー化処理を行う場合について説明する。ステップS6注目画素の位相差量に応じて、R画像にフィルタリング処理を行うためのR画像用フィルタの形状を取得する。ここに、位相差量とR画像用のフィルタ形状との関係は、例えば以下の表1に示すようなテーブルとして、撮像装置内に予め保持されている。この表1に示す例では、フィルタ形状を決定するのは、フィルタカーネルの大きさ、フィルタカーネル中心からのガウシアンフィルタのずれ、ガウシアンフィルタの標準偏差σこの標準偏差σは、ボケフィルタのボケの広がり度合いを示しているである。従って、注目画素の位相差量に基づきテーブル参照を行うことにより、R画像用フィルタの形状を取得することができる。[表1]ステップS7次に、R画像における注目画素とその近傍の画素とでなる近傍領域に対してフィルタリング処理を行い、注目画素におけるフィルタ出力値を取得する。そして、取得したフィルタ出力値を、Rコピー画像の注目画素位置にコピーして、Rコピー画像を更新する。ステップS8注目画素の位相差量に応じて、B画像にフィルタリング処理を行うためのB画像用フィルタの形状を取得する。ここに、位相差量とB画像用のフィルタ形状との関係は、例えば以下の表2に示すようなテーブルとして、撮像装置内に予め保持されている。この表2に示す例においても、フィルタ形状を決定するのは、フィルタカーネルの大きさ、フィルタカーネル中心からのガウシアンフィルタのずれ、ガウシアンフィルタの標準偏差σである。従って、注目画素の位相差量に基づきテーブル参照を行うことにより、B画像用フィルタの形状を取得することができる。[表2]ステップS9次に、B画像における注目画素とその近傍の画素とでなる近傍領域に対してフィルタリング処理を行い、注目画素におけるフィルタ出力値を取得する。そして、取得したフィルタ出力値を、Bコピー画像の注目画素位置にコピーして、Bコピー画像を更新する。ステップS10画像内における全ての注目画素に対するフィルタリング処理が完了したか否かを判定する。そして、処理が完了するまで、注目画素の位置をずらしながらステップS5~S9の処理を繰り返して行う。こうして、全ての注目画素に対するフィルタリング処理が完了したと判定された場合には、Rコピー画像およびBコピー画像をR画像およびB画像に対する補正画像として出力し、このカラー化処理を終了する。なお、ステップS6やステップS8において、円型ガウシアンフィルタを用いるのに代えて、図21や図22等に示したような楕円型ガウシアンフィルタを用いる場合は、楕円形ガウシアンフィルタの標準偏差値をx方向とy方向とで別々に設定すると良いために、撮像装置内に保持するフィルタ形状に関するパラメータテーブルは、フィルタカーネル中心からのずれを除いて、例えば以下の表3に示すようになる。[表3]ここに記載は省略したが、ステップS6において楕円型ガウシアンフィルタを用いる場合のフィルタカーネル中心からのずれは例えば表1と同様、ステップS8において楕円型ガウシアンフィルタを用いる場合のフィルタカーネル中心からのずれは例えば表2と同様とすれば良い。さらに、上述では表1や表2を参照して、テーブルを用いて位相差量に応じたフィルタの形状を取得する例を説明したが、これに限るものでもない。例えば、フィルタの形状を決定するための各パラメータと位相差量との対応関係を例えば数式等として保持しておいて、位相差量を数式に代入して、演算等によりフィルタの形状を決定するようにしても構わない。なお、帯域制限フィルタ12を介して撮影した画像から位相差を検出する処理および色ズレを補正するカラー化処理は、必ずしも撮像装置という形態において行う必要はなく、撮像装置とは別途の画像処理装置41例えば、画像処理プログラムを実行するコンピュータなどにおいて行うようにしても構わない。図24は実施例1における画像処理装置41の構成を示すブロック図である。この画像処理装置41は、図1に示した撮像装置のボディユニット2から、撮像機構に係る図示しないレンズマウント、シャッタ21、撮像素子22、撮像回路23、撮像駆動部24や、レンズユニット1のAF制御に係るコントラストAF制御部38AFアシスト制御部38aを含む、レンズユニット1との通信に係るボディ側通信コネクタ35、被写体の照明に係るストロボ制御回路33およびストロボ34、撮像装置の状態を取得するためのセンサ部31などを取り除き、インターフェースIF28から入力された情報を記録するための記録部42をさらに設けたものとなっている。この記録部42は、インターフェース28を介して入力し記録した情報を、画像処理部25へ出力するようになっている。なお、画像処理部25から記録部42へ情報を記録することも可能である。そして、記録部42は、インターフェース28とともに、システムコントローラ30AコントラストAF制御部38を取り除いたことに伴い、システムコントローラの符号を30Aとしているにより制御されるようになっている。また、撮像に係るレリーズボタン等も不要であるために、操作部の符号を32Aとしている。また、画像処理装置41における一連の処理は、例えば次のように行う。まず、帯域制限フィルタ12を備えた撮像装置を用いて、画像を撮影し、撮像回路23から出力されたままのRAW画像として記録媒体29に記録する。さらに、帯域制限フィルタ12の形状等に係る情報や、撮像光学系9のレンズデータ等も記録媒体29に併せて記録する。次に、この記録媒体29を画像処理装置41のインターフェース28に接続して、画像および各種情報を記録部42に記録する。記録が終了したら、記録媒体29はインターフェース28から取り外しても構わない。その後は、記録部42に記録されている画像および各種情報を読み出して、上述した撮像装置と同様にして、距離演算部39による位相差の演算を行ったり、色画像生成部37による色ズレを補正するカラー化処理を行ったり、後述するようなステレオ画像生成部40による立体視画像の生成処理を行ったりする。こうして、画像処理装置41により処理されたカラー化後の画像や立体視画像は、再び記録部42に記録される。また、記録部42に記録されたカラー化後の画像や立体視画像は、表示部に表示されたり、インターフェース28を介して外部機器に送信されたりする。こうして、外部機器においては、カラー化後の画像や立体視画像を様々な用途に利用することができる。このようなカラー化処理の実施例1によれば、ボケフィルタ自体を用いることにより、またはボケフィルタを用いる前に平行移動シフトすることにより、R画像およびB画像の重心位置を、標準画像であるG画像の重心位置に近似させているために、色ずれが軽減された鑑賞用としてより好ましい画像を得ることができる。このときさらに、ボケフィルタにより、R画像およびB画像のボケ形状を、標準画像であるG画像のボケ形状に近似させているために、自然なボケ形状の、鑑賞用としてより好ましい画像を得ることができる。[実施例2]図25から図30はカラー化処理の実施例2を示したものであり、図25は実施例2において色画像生成部37により行われるカラー化処理の概要を示す図である。この実施例2において、上述の実施例1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。本実施例は、色画像生成部37におけるカラー化処理を上述した実施例1とは異ならせたものとなっている。すなわち、上述した実施例1は、色ズレの補正を、ボケフィルタを用いて行っていたが、本実施例は画像のコピー加算処理により行うものとなっている。図25を参照して、被写体が合焦位置よりも遠距離側にある場合の、本実施例におけるカラー化処理の概念を説明する。被写体が合焦位置よりも遠距離側にある場合には、図10に示したように、R画像のボケは、G画像のボケの左半分が欠けた形状であり、B画像のボケは、G画像のボケの右半分が欠けた形状である。そこで、図25に示すように、R画像のボケをG画像のボケに近似させるために、R画像のボケを、R画像のボケの欠損部分へコピー加算し、B画像のボケを、B画像のボケの欠損部分へコピー加算するようにしたものである。コピー加算する部分領域の形状は、R画像およびB画像におけるボケの欠損部分の各形状と合致することが望ましいが、ここでは処理を簡単にするために、矩形状例えば正方形状の領域としている。G画像における円形状をなすボケ拡散領域の中に、ボケ拡散部分領域G1と、ボケ拡散部分領域G2と、を示している。ここに、ボケ拡散部分領域G1とボケ拡散部分領域G2とは、G画像の円形状をなすボケ拡散領域の重心を通る縦ラインCgに対して左右対称の位置に、同一の大きさとして配置されている。また、部分領域G1,G2の大きさは、色ズレ補正の機能を果たすことを考慮すると、円形状をなすボケ拡散領域の半径程度の大きさであることが望ましい。一方、R画像に対して示したボケ拡散部分領域R1は、ボケ拡散部分領域G2と同じ大きさで同一位置の領域である。そして、R画像のボケ拡散領域には、ボケ拡散部分領域G1と同じ大きさで同一位置のボケ拡散部分領域R2が不足している。同様に、B画像に対して示したボケ拡散部分領域B1は、ボケ拡散部分領域G1と同じ大きさで同一位置の領域である。そして、B画像のボケ拡散領域には、ボケ拡散部分領域G2と同じ大きさで同一位置のボケ拡散部分領域B2が不足している。そこで、R画像のボケ拡散部分領域R1を、ボケ拡散部分領域G2を移動させたときにボケ拡散部分領域G1に完全に重なる移動量例えば、円形状をなすボケ拡散領域の半径程度の移動量になると考えられるだけ移動させて、後述するように、R画像のコピーであるRコピー画像に対してコピー加算することにより、R画像のボケ拡散部分領域R2を生成する。このボケ拡散部分領域R2は、G画像のボケ拡散部分領域G1あるいはB画像のボケ拡散部分領域B1に相当する領域となる。同様に、B画像のボケ拡散部分領域B1を、ボケ拡散部分領域G1を移動させたときにボケ拡散部分領域G2に完全に重なる移動量同上だけ移動させて、後述するように、B画像のコピーであるBコピー画像に対してコピー加算することにより、B画像のボケ拡散部分領域B2を生成する。このボケ拡散部分領域B2は、G画像のボケ拡散部分領域G2あるいはR画像のボケ拡散部分領域R1に相当する領域となる。このような処理により、R画像およびB画像においてそれぞれ不足しているボケ拡散部分領域を補うことができ、その結果としてG画像、R画像、B画像のボケ拡散領域を近似させることができる。そして、これにより、R画像のボケ拡散領域の重心はG画像のボケ拡散領域の重心に近接し、B画像のボケ拡散領域の重心はG画像のボケ拡散領域の重心に近接することになる。このような処理を、R画像およびB画像の全体に対して行うことにより、色ずれが補正されたカラー画像を得ることができる。次に、図26は実施例2において位相差検出を行う際にR画像およびB画像に設定する部分領域を示す図、図27は実施例2においてオリジナルR画像のボケ拡散部分領域をRコピー画像にコピー加算する様子を示す図、図28は実施例2においてオリジナルB画像のボケ拡散部分領域をBコピー画像にコピー加算する様子を示す図、図29は実施例2において位相差量に応じてボケ拡散部分領域のサイズを変更する例を示す線図、図30は実施例2において色画像生成部37により行われるカラー化処理を示すフローチャートである。図26~図29を適宜参照しながら、図30に沿って説明する。ステップS21この処理を開始すると、初期設定を行う。この初期設定においては、まず、処理対象のRGB画像つまり、R画像、G画像、およびB画像の読み込みを行う。ここで、入力画像がベイヤー画像である場合には、事前に画像処理部25においてデモザイキング処理を行っておくものとする。次に、R画像とB画像との位相差を補正するのに、R画像およびB画像自体を使用するのに代えて、色差Cr,Cbを用いることにする。これは、一般的な被写体においては、RGB画像よりも色差画像の方が画素値の変動が滑らかであるために、補正処理を安定して行うことができる利点があるためであるただし、R画像およびB画像をそのまま用いても構わない。この場合には以下の処理において、Cr→RCb→Bの読み替えを行えば良い。すなわち、例えば下記の数式3に基づき、R画像とG画像との色差量を計算して色差画像であるCr画像を生成するとともに、B画像とG画像との色差量を計算して色差画像であるCb画像を生成する。[数3]Cr=R-GCb=B-Gなお、RGB信号から色差信号Cr,Cbおよび輝度信号Yを算出するその他の演算方法としては、[数4]Y=0.29900R0.58700G0.11400BCr=0.50000R-0.41869G-0.08131BCb=-0.16874R-0.33126G0.50000Bが広く知られているために、数式3に代えて、数式4を用いても構わない。次に、オリジナルのCr画像Cr0のコピー画像であるCrコピー画像Cr1図27参照と、オリジナルのCb画像Cb0のコピー画像であるCbコピー画像Cb1図28参照と、を作成する。さらに、Crコピー画像Cr1およびCbコピー画像Cb1と同一サイズの、Crカウント画像およびCbカウント画像を生成するここに、これらのカウント画像は、画素値の初期値を、全画素について1としておく。ステップS22続いて、位相差検出を行うための部分領域を設定する。ここでは、部分領域を、R画像とB画像との内の何れか一方、ここでは例えばR画像に設定する。ステップS23ステップS22で設定された部分領域に対する位相差を検出する。この位相差の検出は、R画像に設定した部分領域を基準画像とし、B画像における基準画像と同一サイズの部分領域を参照画像として、上述したステップS3と同様の処理を図26に示すように行うことにより、R画像とB画像の間で位相差検出を行う。ステップS24ステップS23の処理により得られた位相差量に基づいて、G画像の円形ボケの半径または、R画像およびB画像の半円ボケの半径ということもできるを取得する。ここに、位相差量とG画像のボケ半径との関係は、テーブルや数式等として撮像装置内に予め保持されている。従って、位相差量に基づいて、テーブル参照したり、数式を用いた演算を行ったりすることにより、ボケ半径を取得することができる。なお、このステップS24の処理を省略して、ステップS23において取得した位相差量をボケ半径に代えて用いる簡易的な方法を適用しても構わない。この場合には、位相差量とボケ半径との関係を撮像装置内に予め保持しておく必要はない。ステップS25次に、オリジナルのCr画像Cr0から部分領域を読み出して、ステップS23で検出した位相差量に応じた所定量だけずらしてから、Crコピー画像Cr1にコピー加算する。ここに、部分領域をずらす所定量は、ずらす方向も含む量であり、その大きさは例えばステップS24において取得したボケ半径とする。上述したステップS21においてCrコピー画像Cr1を作成したのは、コピー加算により画素値が変化しているCrコピー画像Cr1とは別に、オリジナルのCr画像Cr0を保持しておく必要があるためであるCbコピー画像Cb1についても同様。ただし、部分領域を例えばラスタスキャンの順序でシーケンシャルに処理する代わりに、並列動作により処理する場合などには、コピー画像を用意する必要は必ずしもない。ステップS26続いて、Crカウント画像のステップS25においてコピー加算処理を行った位置の領域に、加算された回数が分かるように1を加算する。このCrカウント画像は、後段のステップS30において、画素値の正規化処理を行うために利用する。ステップS27また、オリジナルのCb画像Cb0におけるステップS25においてCrコピー画像Cr1にコピーした位置と同一の位置から部分領域を読み出して、Cbコピー画像Cb1のステップS25においてオリジナルのCr画像Cr0からコピー元のデータを取得した位置にコピー加算する。これにより、Cb画像をずらす所定量は、Cr画像をずらす所定量と絶対値が同じで向きが逆となる。ステップS28そして、Cbカウント画像のステップS25においてオリジナルのCr画像Cr0からコピー元のデータを取得した位置つまり、ステップS27においてコピー加算処理を行った位置の領域に、加算された回数が分かるように1を加算する。このCbカウント画像も、後段のステップS30において、画素値の正規化処理を行うために利用する。なお、上述したステップS25やステップS27においては、コピー加算処理を画像の部分領域毎に行っているが、この部分領域は、ステップS23において位相差検出処理を行った部分領域と同一であっても良い一方で、位相差検出処理とは異なる大きさの部分領域としても構わない。また、コピー加算処理に用いる部分領域の大きさは、画像全体で一定すなわち、グローバルな大きさとしても構わないが、画像内に設定する各部分領域毎に異ならせてもすなわち、ローカルな大きさとしても良い。例えば、ステップS25~S28で用いる部分領域の大きさを、ステップS23において検出された位相差量に応じて、図29に示すように変化させても良い。この図29に示す例では、位相差量が0である場合に、部分領域の縦サイズおよび横サイズは共に1となり、部分領域は1画素となる。なお、この場合には、位相差量が0であるために上述したコピー加算処理も行わないことになり、実質的に何の処理も行わないことになる。従って、位相差量が0であるか否かに応じて処理を分岐させて、位相差量が0であるときには何の処理も行わないようにしても良い。また、図29に示す例では、位相差量に比例して、部分領域の大きさが大きくなるように構成されている。このときの直線の傾きは、光学系の構成に応じて適切に設定することになるために、図29には具体的なスケールを示していない。なお、図29には、位相差量と部分領域の大きさとの関係が比例関係となる例を示しているが、勿論、比例関係とするに限るものではなく、例えば主観的な画質の評価に応じて位相差量に対する部分領域の大きさが適切となるように設計しても良い。また、点光源からの光線がボケとなるときの拡散量PSFPointSpreadFunction:点広がり関数の点拡がりの量は、ボケが発生している領域内において均一であるとは限らず、例えばボケの周辺部においては中央部よりも拡散量が少ないつまり、輝度が低いことなどが考えられる。そこで、上述したような部分領域のコピー加算を行うときに、ボケの拡散量に応じた重み係数を乗算するようにしても良い。例えば、部分領域の周辺部の各画素には1/2の重み係数を乗算し、部分領域の中央部の各画素には1の重み係数を乗算してから、コピー加算を行うなどである。このときには、ステップS26およびステップS28におけるカウント画像も、部分領域の周辺部については1/2を加算し、部分領域の中央部については1を加算することになる。ステップS29その後、画像内における全ての部分領域に対する処理が完了したか否かを判定する。そして、処理が完了するまで、部分領域の位置をずらしながらステップS22~S28の処理を繰り返して行う。ここに、部分領域をずらすときのステップは任意の値を設定可能であるが、部分領域の幅よりも小さい値であることが好ましい。ステップS30こうして、ステップS29において全ての部分領域に対する処理が完了したと判定された場合には、同一画素位置毎に、Crコピー画像の画素値をCrカウント画像の画素値で割ることにより正規化されたCrコピー画像を得るとともに、Cbコピー画像の画素値をCbカウント画像の画素値で割ることにより正規化されたCbコピー画像を得る。ステップS31そして、G画像またはY画像と、ステップS30において正規化されたCrコピー画像およびCbコピー画像と、を用いて、R画像、B画像、G画像を生成する。ここに、色差画像の算出に数式3を用いた場合には、[数5]R=CrGB=CbGを用いてR画像およびB画像を生成するなお、G画像は、ステップS22におけるG画像をそのまま用いる。また、色差画像の算出に数式4を用いた場合には、[数6]R=Y1.40200CrG=Y-0.71414Cr-0.34414CbB=Y1.77200Cbを用いてR画像、B画像、G画像を生成する。このステップS31において算出されたRGB画像が、色画像生成部37におけるカラー化処理により得られた画像となる。このようなカラー化処理の実施例2によれば、画像のコピー加算処理により色ズレの補正を行うことにより、上述した実施例1とほぼ同様の効果を奏することができる。また、コピー加算を行う場合には、フィルタリング処理の場合よりも処理負荷を軽減することが可能となる利点がある。従って、処理回路の低コスト化や、低消費電力化を図ることもできる。[実施例3]図31から図34はカラー化処理の実施例3を示したものであり、図31は実施例3において位相差量に応じた各色のPSFのテーブルの概要を示す図、図32は実施例3において色画像生成部37により行われるカラー化処理の概要を示す図、図33は実施例3において色画像生成部37により行われるボケ量コントロールを伴うカラー化処理の概要を示す図、図34は実施例3において色画像生成部37により行われるカラー化処理を示すフローチャートである。この実施例3において、上述の実施例1,2と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。本実施例は、色画像生成部37におけるカラー化処理を上述した実施例1,2と異ならせたものとなっている。すなわち、本実施例は、カラー化処理を、ぼけた画像をぼけていない画像に復元する復元処理逆フィルタリング処理と、復元されたぼけていない画像を被写体距離に応じた円形のボケ形状が得られるようにするフィルタリング処理と、を組み合わせることにより行うものとなっている。図3に示したような帯域制限フィルタ12を用いた場合には、位相差量に応じて、RGB各色のPSFは、図31に示すように変化する。なお、この図31において、点光源からの光が到達しない暗部にはハッチングを付している。例えば、R画像のPSFであるPSFrは、位相差量の絶対値が大きくなるほど、大きな半月形状を示し、位相差量が0、つまり合焦位置においては1点に収束する。さらに、合焦位置よりも近距離である場合には図31の上半分に示すように左半月形状であるが、合焦位置よりも遠距離である場合には図31の下半分に示すように右半月形状となる。同様に、B画像のPSFであるPSFbは、位相差量の絶対値が大きくなるほど、大きな半月形状を示し、位相差量が0、つまり合焦位置においては1点に収束する。さらに、合焦位置よりも近距離である場合には図31の上半分に示すように右半月形状であるが、合焦位置よりも遠距離である場合には図31の下半分に示すように左半月形状となる。さらに、G画像のPSFであるPSFgは、位相差量の絶対値が大きくなるほど、大きな満月形状を示し、位相差量が0、つまり合焦位置においては1点に収束する。また、PSFgは、1点に収束したときを除いて、合焦位置よりも近距離であるか遠距離であるかに関わらず、常に満月形状である。この図31に示したような、位相差量に応じた各色のPSFのテーブルが、例えば色画像生成部37内の図示しない不揮発性メモリに予め記憶されているものとするただし、図1に示したようなレンズ交換式の撮像装置の場合には、レンズ制御部14内に記憶されているテーブルを、通信により受信して用いても勿論構わない。このようなPSFを用いた復元処理およびフィルタリング処理について、図32を参照して説明する。この図32は、被写体が合焦位置よりも遠距離である場合の例であるが、被写体が合焦位置よりも近距離である場合にも同様の処理を適用することができる。まず、R画像にPSFrの逆演算右肩の-1が逆演算であることを示している。以下同様。を行うことにより、右半円形状のボケを、点光源が1点に収束するボケのない像復元第1画像と復元第2画像との何れか一方に変換する。同様に、B画像にPSFbの逆演算を行うことにより、左半円形状のボケを、点光源が1点に収束するボケのない像復元第1画像と復元第2画像との何れか他方に変換する。このような処理により、R画像およびB画像の復元処理を行う。次に、復元処理されたR画像および復元処理されたB画像に対して、G画像に対するPSFであるPSFgをそれぞれ作用させる。これにより、R画像およびB画像に、G画像と同様の満月形状のボケが生成される。具体的な処理は、次のようにして行う。まず、ある画素位置におけるR画像のボケのPSFがPr1、B画像の同一画素位置におけるボケのPSFがPb1、G画像の同一画素位置におけるボケのPSFがPg1であるとする。ボケのPSFは、図31に示したように、R画像とB画像との間の位相差に応じて異なり、位相差は基本的に画素位置毎に異なるために、PSFは各画素位置毎に決定されるものとなる。また、PSFは、着目画素位置を中心として、近傍の複数画素を含む部分領域に対して定義されているものとする図31参照。処理を開始すると、着目画素に対して求められた位相差を取得し、図31に示したようなテーブルを参照することにより、R画像における着目画素を中心としたPSFであるPr1と、B画像における同一位置の着目画素を中心としたPSFであるPb1と、G画像における同一位置の着目画素を中心としたPSFであるPg1と、を取得する。次に、取得したPr1、Pb1、およびPg1と、R画像における着目画素を中心とする部分領域rと、B画像における着目画素を中心とする部分領域bと、に対して次の数式7に示すように、2次元フーリエ変換FFT2を行い、各変換後の値PR1,PB1,PG1,R,Bを得る。[数7]PR1=FFT2Pr1PB1=FFT2Pb1PG1=FFT2Pg1R=FFT2rB=FFT2b次に、下記の数式8に示すように、RをPR1で除算し、BをPB1で除算することにより復元処理を行い、さらにそれぞれにPG1を乗算することによりフィルタリング処理を行って、その結果に2次元逆フーリエ変換IFFT2を施し、G画像と同様のボケが得られたR画像r’およびB画像b’を算出する。[数8]r’=IFFT2R×PG1/PR1b’=IFFT2B×PG1/PB1なお、数式8の逆フィルタリング処理による復元処理をより安定的にするために、以下の数式9のように復元処理の復元量を制御しても構わないものとするウィナーフィルターの方式。[数9]r’=IFFT2R×PG1/PR1×|PR1|2/|PR1|2Γb’=IFFT2B×PG1/PB1×|PB1|2/|PB1|2Γここに、数式9における記号2は2乗を表し以下同様、ΓはPR1、PB1の形状に応じて適切に設定される任意の定数である。この数式9のような処理を採用することにより、復元処理時のノイズの増幅が抑制され、より好ましいR画像、B画像を生成することができる。なお、Γの設定方法として、例えばPR1の周波数係数の絶対値|PR1|、|PB1|と、この絶対値|PR1|、|PB1|に対するΓの好ましい値との関係を撮像装置内に予め保持しておき、この関係に基づいて周波数係数毎にΓを指定する方法が考えられる。また、その他の方法としては、撮像装置の各種パラメータISO値、焦点距離、開口値などに基づいて、画像に含まれるノイズ量を推定し、推定したノイズ量に応じてΓを変化させる構成例えば、ISO200の場合Γ=0.01とし、ISO800の場合Γ=0.04とするなどを採用しても構わない。上述したような復元処理およびフィルタリング処理は、画像の部分領域毎に行い、ある部分領域で補正処理が完了したら、次に位置を少しずらして部分領域を指定し、指定した部分領域に対して再び同様の復元処理およびフィルタリング処理を行う。このような処理を繰り返して行うことにより、復元処理およびフィルタリング処理を画像の全領域に対して行う。その後、重複して処理された画素位置に関しては、その画素位置で処理された複数の補正画素値の総和を補正回数で割って平均化することにより、正規化された補正画像を得る。なお、復元処理およびフィルタリング処理を行う部分領域の大きさは、ボケの形状よりも大きいことが好ましい。従って、ボケの大きさに応じて、部分領域の大きさを適応的に変化させることが考えられる。あるいは、位相差に応じてボケの形状がどの範囲で変化するかが予め分かっている場合には、そのボケの最大サイズ以上の部分領域を固定的に用いるようにしても良い。次に、図34を参照して、色画像生成部37により行われる上述したような復元処理およびフィルタリング処理によるカラー化処理の流れについて説明する。ステップS41この処理を開始すると、初期設定を行う。この初期設定においては、まず、処理対象のRGB画像つまり、R画像、G画像、およびB画像の読み込みを行う。次に、R画像のコピーであるRコピー画像と、B画像のコピーであるBコピー画像と、を作成する。続いて、Rコピー画像およびBコピー画像と同一サイズの、Rカウント画像およびBカウント画像を生成するここに、これらのカウント画像は、画素値の初期値を、全画素について1としておく。ステップS42続いて、位相差検出を行うための部分領域を設定する。ここでは、部分領域を、R画像とB画像との内の何れか一方、ここでは例えばR画像に設定する。ステップS43ステップS42で設定された部分領域に対する位相差を検出する。この位相差の検出は、R画像に設定した部分領域を基準画像とし、B画像における基準画像と同一サイズの部分領域を参照画像として、上述したステップS3と同様の処理を図26に示したように行うことにより、R画像とB画像の間で位相差検出を行う。ステップS44ステップS43の処理により得られた位相差量に基づいて、G画像の円形ボケの半径または、R画像およびB画像の半円ボケの半径ということもできるを、上述したステップS24と同様にして取得する。ステップS45次に、オリジナルのR画像に対して、上述したステップS42で指定した部分領域に対して、上述したような復元処理およびフィルタリング処理を行う。こうして得られた処理結果を、Rコピー画像におけるオリジナルのR画像の部分領域と同位置にコピー加算する。なお、ここでは、カラー化処理を行うための部分領域を、位相差検出を行うための部分領域と同一とする例について説明するが、勿論異なる領域を設定しても構わないし、上述したように、検出された位相差に応じた適応的な大きさの部分領域としても良い後述するB画像についても同様。ステップS46続いて、Rカウント画像のステップS42で指定した部分領域に、加算された回数が分かるように1を加算する。このRカウント画像は、後段のステップS50において、画素値の正規化処理を行うために利用する。ステップS47また、オリジナルのB画像に対して、上述したステップS42で指定した部分領域に対して、上述したような復元処理およびフィルタリング処理を行う。こうして得られた処理結果を、Bコピー画像におけるオリジナルのB画像の部分領域と同位置にコピー加算する。ステップS48そして、Bカウント画像のステップS42で指定した部分領域に、加算された回数が分かるように1を加算する。このBカウント画像も、後段のステップS50において、画素値の正規化処理を行うために利用する。ステップS49その後、画像内における全ての部分領域に対する処理が完了したか否かを判定する。そして、処理が完了するまで、部分領域の位置をずらしながらステップS42~S48の処理を繰り返して行う。ここに、部分領域をずらすときのステップは任意の値を設定可能であるが、部分領域の幅よりも小さい値であることが好ましい。ステップS50こうして、ステップS49において全ての部分領域に対する処理が完了したと判定された場合には、同一画素位置毎に、Rコピー画像の画素値をRカウント画像の画素値で割ることにより正規化されたRコピー画像を得るとともに、Bコピー画像の画素値をBカウント画像の画素値で割ることにより正規化されたBコピー画像を得る。このステップS50において算出されたRGB画像が、色画像生成部37におけるカラー化処理により得られた画像となる。こうして、ステップS50の処理が終了したところで、この図34に示す処理を終了する。なお、上述では、フーリエ変換を利用して実空間から周波数空間へ変換した後に、復元処理およびフィルタリング処理を行っている。しかし、これに限るものではなく、実空間における例えばMAP推定処理などの復元処理やフィルタリング処理を適用しても構わない。また、上述ではR画像およびB画像のボケ形状をG画像のボケ形状に整合させる処理を行っているが、これに加えて、ボケ量コントロールを行うようにしても構わない。この場合には、図33に示すように、まず、R画像にPSFrの逆演算を、B画像にPSFbの逆演算を、それぞれ行うとともに、さらに、G画像にPSFgの逆演算を行うことにより円形状のボケを点光源が1点に収束するボケのない像復元第3画像に変換する。これにより、R画像、B画像、およびG画像の復元が行われる。次に、復元処理されたR画像、B画像、およびG画像に対して、G画像に対する所望のPSFであるPSF’gをそれぞれ作用させる。これにより、R画像、B画像、およびG画像に、所望の大きさの満月形状のボケを生成し、ボケ量コントロールを行うことができる。具体的には、図31に示したようなテーブルを参照することにより、G画像における同一位置の着目画素を中心としたPSFとして、所望のPg1’をさらに取得しておく。次に、上述した数式7の処理に加えて、さらに、取得したPg1’と、G画像における着目画素を中心とする部分領域gと、に対して次の数式10に示すように、2次元フーリエ変換FFT2を行い、各変換後の値PG1’,Gを得る。[数10]PG1’=FFT2Pg1’G=FFT2gそして、下記の数式11に示すように、RをPR1で除算し、BをPB1で除算し、GをPG1で除算することにより復元処理を行い、さらにそれぞれにPG1’を乗算することによりフィルタリング処理を行って、その結果に2次元逆フーリエ変換IFFT2を施し、所望のボケ量のボケが得られたR画像r、B画像b、およびG画像gを算出する。[数11]r=IFFT2R×PG1’/PR1b=IFFT2B×PG1’/PB1g=IFFT2G×PG1’/PG1なお、上述した数式9と同様に、数式11に代えて、次の数式12に示すようなウィナーフィルターの方式を採用しても構わない。[数12]r=IFFT2R×PG1’/PR1×|PR1|2/|PR1|2Γb=IFFT2B×PG1’/PB1×|PB1|2/|PB1|2Γg=IFFT2G×PG1’/PG1×|PG1|2/|PG1|2Γここに、ΓはPR1、PB1、PG1の形状に応じて適切に設定される任意の定数である。このようなカラー化処理の実施例3によれば、PSFを用いた復元処理およびフィルタリング処理による色ズレ補正を行うことにより、上述した実施例1,2とほぼ同様の効果を奏することができる。さらに、G画像についても復元処理を行い、その後にG画像に対する任意のPSFを用いたフィルタリング処理をR画像、B画像、およびG画像に対して行えば、RGBカラー画像のボケ量を所望にコントロールすることも可能となる。上述した実施例1~3の何れかの処理を行うことにより、色ズレのない2次元画像が生成される。本実施形態のステレオ画像生成部40は、この色ズレのない2次元画像と、位相差情報とに基づいて、カラーの立体視画像3D画像を生成するものとなっている。図35はカラー化処理後の2次元画像から左目画像および右目画像を生成する様子を示す図、図36はステレオ画像生成部40による立体視画像の生成処理を示すフローチャートである。ステップS61この処理を開始すると、初期設定を行う。この初期設定においては、まず、カラー化処理により色ズレが補正されたカラー画像RGB0図35参照の読み込みを行う。次に、処理対象となる画像の各部分領域に対応する位相差量の情報を予め用意しておく。ここに位相差量の情報は、実施例1~3の何れかのカラー化処理において既に取得されているために、この情報を用いるものとするただし、位相差量が取得されていない画素がある場合例えば、デモザイキング前の画像に基づき位相差量が取得された場合や、位相差量を取得することができなかった画素が存在した場合などには、補間処理等を行うことにより、全画素についての位相差量を生成しておく。さらに、左目画像RGB-Lおよび右目画像RGB-Rと、左目カウント画像および右目カウント画像とを生成するここに、これら4つの各画像は、画素値の初期値を、全画素について0としておく。ステップS62次に、色ズレが補正されたカラー画像RGB0に、図35に示すように部分領域を設定する。この部分領域の大きさは、位相差量の計測に利用した部分領域と同サイズであってもよいが、任意の大きさであっても構わない。例えば、図29を参照して説明したのと同様に、位相差量に応じて例えば、比例して部分領域の大きさが大きくなるようにしても構わない。ステップS63続いて、ステップS61において予め用意しておいた位相差量の情報から、ステップS62において設定した部分領域に対応する位相差量を取得する。ステップS64そして、R画像とB画像との間に生じている位相差量位相差の方向および位相差の大きさに応じて、カラー画像RGB0の部分領域を、左目画像RGB-L内の位相差量の2分の1だけずらした部分領域にコピー加算する図35参照。ステップS65さらに、左目カウント画像のステップS64でコピー加算された部分領域と同一領域における各画素の画素値に、1を加算する。この左目カウント画像は、後段のステップS69において、画素値の正規化処理を行うために利用する。ステップS66同様に、R画像とB画像との間に生じている位相差量に応じて、カラー画像RGB0の部分領域を、右目画像RGB-R内の位相差量の2分の1だけステップS64とは逆方向にずらした部分領域にコピー加算する図35参照。ステップS67さらに同様に、右目カウント画像のステップS66でコピー加算された部分領域と同一領域における各画素の画素値に、1を加算する。この右目カウント画像は、後段のステップS69において、画素値の正規化処理を行うために利用する。ステップS68その後、カラー画像RGB0内における全ての部分領域に対する処理が完了したか否かを判定する。そして、処理が完了するまで、部分領域の位置をずらしながらステップS62~S67の処理を繰り返して行う。ここに、部分領域をずらすときのステップは任意の値を設定可能であるが、部分領域の幅よりも小さい値であることすなわち、部分領域が重複しながら順次設定されていくことが好ましい。具体例を挙げれば、サイズが51×51[ピクセル]である部分領域に対して、10[ピクセル]ずつずらしながら部分領域を設定する等が挙げられる。ただし、重複しなければならないものではなく、タイルを敷き詰めるように設定しても構わない例えばサイズが51×51[ピクセル]の部分領域に対して、51[ピクセル]ずつずらしながら部分領域を設定するなど。ステップS69こうして、ステップS68において全ての部分領域に対する処理が完了したと判定された場合には、同一画素位置毎に、左目画像RGB-Lの画素値を左目カウント画像の画素値で割ることにより正規化された左目画像を得るとともに、右目画像RGB-Rの画素値を右目カウント画像の画素値で割ることにより正規化された右目画像を得る。なお、この処理を終えたところで、画素値が与えられていない画素が残っている場合には、補間処理を行って該画素の画素値を与えるものとする。こうして、ステップS69の処理が終了したところで、この図34に示す処理を終了する。なお、上述では、カラー画像RGB0の部分領域を左目画像RGB-Lおよび右目画像RGB-Rへコピー加算する際に、位相差量の2分の1だけ部分領域をずらしているが、これは、位相差量の2分の1であることが実際に観測された立体視画像の視差量に忠実であり好ましいためである。しかし、これに限るものではない。例えば、取得された位相差量に1よりも大きい所定の定数を乗算した値を補正された位相差量として用いれば、立体感をより際立たせた立体視画像を生成することができる。また、取得された位相差量に1よりも小さい所定の定数を乗算した値を補正された位相差量として用いれば、立体感をより抑制した立体視画像を生成することができる。このような位相差量に乗算する所定の定数は、立体視画像を表示部27に表示しながら、表示された画像を見たユーザが撮像装置の操作部32を操作することにより、好みに応じて調整することができるようにしても良いGUIを介したユーザによる所望の調整。あるいは、撮影対象である被写体に応じて例えば、被写体が人物であるか否かや、被写体までの距離、構図などに応じて、適切な立体感が得られるようにシステムコントローラ30が自動的に設定するようにしても良い。このような実施形態1によれば、帯域によって撮像光学系の異なる瞳領域を通過した光により撮影された画像から、鑑賞用として好ましいカラーの立体視画像を得ることができる。さらに、本実施形態においてはカラー化処理を行った結果を利用してカラーの立体視画像を生成するようにしているために、処理過程で得られるカラー化処理後の画像を保存しておけば、立体視画像と色ズレの低減されたカラー化後の画像とを両方とも取得し、所望に観察することができる利点がある。[実施形態2]図37から図40は本発明の実施形態2を示したものであり、図37は立体視画像の生成処理において合焦位置よりも遠距離側にある被写体の像から左目画像を生成する際のシフトの様子を示す図、図38は立体視画像の生成処理において合焦位置よりも遠距離側にある被写体の像から右目画像を生成する際のシフトの様子を示す図、図39はシフト後の左目画像における各色のボケ形状を近似させるフィルタ処理を行った後の様子を示す図、図40はシフト後の右目画像における各色のボケ形状を近似させるフィルタ処理を行った後の様子を示す図である。この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。上述した実施形態1は、色画像生成部37によるカラー化処理の結果を利用して立体視画像を生成するものであったが、本実施形態は、カラー化処理の結果を要することなく立体視画像を生成するようにしたものである。以下においても説明を簡単にするために、被写体が合焦位置よりも遠距離側にある場合を例に挙げて説明するが、被写体が合焦位置よりも近距離側にある場合でも以下の処理を適宜変更すれば同様に適用することが可能である。まず、図3に示したような帯域制限フィルタ12を用いた場合には、被写体が合焦位置よりも遠距離側にあると、各色画像のボケは図10に示すようになる。図3を見れば分かるように、RGフィルタ12rは左目側に位置し、GBフィルタ12bは右目側に位置している。従って、図10に示すR成分の被写体像IMGrの重心位置Crが左目画像における各色成分の重心位置となるべき位置であり、図10に示すB成分の被写体像IMGbの重心位置Cbが右目画像における各色成分の重心位置となるべき位置である。そこでまず、図26を参照して説明したように、位相差量の検出を行う。そして、左目画像を生成する際には、図37に示すように、B成分の被写体像IMGbを位相差量だけ移動シフトさせて重心位置をR成分の被写体像IMGrの重心位置Crに一致あるいは近接させ、G成分の被写体像IMGgを位相差量の1/2だけ移動させて重心位置をR成分の被写体像IMGrの重心位置Crに一致あるいは近接させる。同様に、右目画像を生成する際には、図38に示すように、R成分の被写体像IMGrを位相差量だけ移動シフトさせて重心位置をB成分の被写体像IMGbの重心位置Cbに一致あるいは近接させ、G成分の被写体像IMGgを位相差量の1/2だけ移動させて重心位置をB成分の被写体像IMGbの重心位置Cbに一致あるいは近接させる。こうして、図37、図38に示したシフトが行われた後のカラー画像が、シフトカラー画像である。次に、シフト後の左目画像におけるR画像およびB画像に対して、例えば図20に示したような円型ガウシアンフィルタ、あるいは図21や図22に示したような楕円型ガウシアンフィルタ等のフィルタカーネルを有するボケフィルタを作用させることにより、図39に示すように、ボケ形状をG画像に近似させる。さらに、シフト後の右目画像におけるR画像およびB画像に対して、左目画像と同様の図20に示したような円型ガウシアンフィルタ、あるいは図21や図22に示したような楕円型ガウシアンフィルタ等のフィルタカーネルを有するボケフィルタを作用させることにより、図40に示すように、ボケ形状をG画像に近似させる。なお、楕円型ガウシアンフィルタを用いる場合に、例えば表3に示したように、位相差に応じてフィルタ形状を変化させながらフィルタリング処理を行うことは、上述と同様である。また、ここではR画像およびB画像のボケ形状をG画像のボケ形状に近似させるためにボケフィルタを用いる例を説明したが、カラー化処理の実施例3に対して図31~図34を参照して説明したのとほぼ同様に、復元処理とフィルタリング処理とを組み合わせることにより、ボケの形状を近似させ、あるいはさらにボケの大きさをコントロールするようにしても構わない。さらに、本実施形態においても、シフトさせる移動量を、補正された位相差量位相差量に所定の定数を乗算した値に基づき大きくしたり小さくしたりするようにして、立体感をより際立たせたり、立体感をより抑制したりしても構わない。このような実施形態2によれば、上述した実施形態1とほぼ同様の効果を奏するとともに、カラー化処理を行う必要がないために、立体視画像のみを取得したい場合に処理の負荷を軽減することが可能となる。なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。"