(57)【要約】【課題】合焦部、非合焦部を目視で容易に確認することができる、製造コストが抑制された撮像装置を提供する。【解決手段】ＲＧＢ画像を生成するカラーの撮像素子２２と、被写体像を撮像素子２２に結像する撮像光学系９と、撮影光束の光路上に配設されていて、第１の部分瞳を通過しようとするＢの光を遮断しＲ、Ｇの光を通過させる第１の帯域制限と、第２の部分瞳を通過しようとするＲの光を遮断しＢ、Ｇの光を通過させる第２の帯域制限と、を行う帯域制限フィルタ１２と、Ｒ画像とＢ画像との位相差を示す位相差画像を表示する表示部２７と、を備えた撮像装置。【選択図】図１
2013044806.tif 000002
【特許請求の範囲】
【請求項１】
複数の波長帯域の光をそれぞれ受光して光電変換し、第１の帯域の第１の画像と第２の帯域の第２の画像と第３の帯域の第３の画像とを生成するカラーの撮像素子と、
被写体像を前記撮像素子に結像する撮像光学系と、
前記撮像光学系を経て前記撮像素子に至る撮影光束の光路上に配設されていて、前記撮像光学系の瞳領域の一部である第１の領域を通過しようとする撮影光束中の前記第１の帯域の光を遮断し前記第２の帯域および前記第３の帯域の光を通過させる第１の帯域制限と、前記撮像光学系の瞳領域の他の一部である第２の領域を通過しようとする撮影光束中の第２の帯域の光を遮断し前記第１の帯域および前記第３の帯域の光を通過させる第２の帯域制限と、を行う帯域制限フィルタと、
前記第１の画像と前記第２の画像との位相差を示す位相差画像を表示する表示部と、
を具備したことを特徴とする撮像装置。
【請求項２】
前記第１の画像と前記第２の画像との位相差量を演算する距離演算部と、
前記距離演算部により演算された位相差量に基づき、前記第２の画像および前記第３の画像のボケの重心位置を前記第１の画像のボケの重心位置の方向へ移動させた一の片目用カラー画像を生成するとともに、前記第１の画像および前記第３の画像のボケの重心位置を前記第２の画像のボケの重心位置の方向へ移動させた他の片目用カラー画像を生成することにより、カラーの立体視画像を生成するステレオ画像生成部と、
をさらに具備し、
前記表示部は、前記位相差画像として、前記一の片目用カラー画像と前記他の片目用カラー画像とを同時に表示するものであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ステレオ画像生成部は、前記距離演算部により演算された位相差量に１よりも大きい所定の係数を乗算した補正位相差量に基づき、立体感を強調したカラーの立体視画像を生成するものであることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第１の帯域の色の前記第１の画像と、前記第２の帯域の色の前記第２の画像と、を合成してスプリット画像を生成するスプリット画像生成部をさらに具備し、
前記表示部は、前記位相差画像として、前記スプリット画像を表示するものであることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第１の画像と前記第２の画像とをモノクロ画像として合成し、モノクロスプリット画像を生成するモノクロスプリット画像生成部をさらに具備し、
前記表示部は、前記位相差画像として、前記モノクロスプリット画像を表示するものであることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記第１の画像と前記第２の画像との位相差量を演算する距離演算部と、
位相差量の大きさに応じて予め定められた色を、位相差量が演算された画像全体に適用することにより、疑似カラー画像を生成する疑似カラー画像生成部と、
をさらに具備し、
前記表示部は、前記位相差画像として、前記疑似カラー画像を表示するものであることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記第１の帯域と前記第２の帯域との内の、一方の帯域は青（Ｂ）の帯域、他方の帯域は赤（Ｒ）の帯域であり、前記第３の帯域は緑（Ｇ）の帯域であることを特徴とする請求項１の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から得られた画像に基づき被写体の合焦状態を確認し得る撮像装置に関する。
【背景技術】
【０００２】
従来より、撮像装置から被写体までの距離を測定する技術は種々のものが提案されており、例えば、照明光を照射し被写体からの反射光を受光して測距を行うアクティブ測距方式や、基線長を設けて配置した複数の撮像装置（例えばステレオカメラ）の取得画像から三角測距の原理により測距を行う方式、あるいは撮像装置自体により取得した画像のコントラストが高くなるようにフォーカスレンズを駆動するコントラストＡＦ方式など、様々な方式が提案されている。
【０００３】
しかし、アクティブ測距方式は測距用投光装置などの測距専用の部材が必要であり、また、三角測距方式では複数の撮像装置が必要であるために、撮像装置が大型化したりコストが上昇したりする要因となる。一方、コントラストＡＦ方式は、撮像装置自体により取得した画像を利用するために、測距専用部材等は不要であるが、フォーカスレンズの位置を変化させながら複数回の撮像を行ってコントラスト値のピークを探す方式であるために、合焦位置に対応するピークを探すのに時間を要し、高速のＡＦを行うことが困難である。
【０００４】
このような背景の下、大型化やコストの上昇を抑えながら距離情報を取得する技術として、レンズの瞳を通過する光束を複数に分割して受光し、レンズ内の一瞳領域を通過した光束から得られた画素信号と、レンズ内の他の瞳領域を通過した光束から得られた画素信号と、の間で相関演算を行うことにより、被写体までの距離情報を取得する技術が提案されている。
【０００５】
このような瞳分割画像を同時に取得する技術としては、例えば、距離検出用の画素上に遮光板（マスク）を配置する技術がある。例えば特開２００９−１４７６６５号公報には、撮像素子の一部の画素上に瞳分割を行い得るような遮光膜を形成して焦点検出用画素とし、焦点検出用画素から得られた画像から位相差を取得し、スプリット画像を生成すると共に、平面画像も生成する技術が記載されている。
【０００６】
また、瞳分割を遮光板（マスク）によることなく行う技術として、例えば特開２００１−１７４６９６号公報には、部分瞳毎に異なる分光特性を持たせた瞳色分割用フィルタを撮影光学系に介在させ、撮影光学系からの被写体像をカラー撮像素子により受光することで、色による瞳分割を行う技術が記載されている。すなわち、カラー撮像素子から出力される画像信号を色分離して、各色画像上の同一被写体間の相対的なズレ量を検知することにより、合焦位置から近距離側にずれているのか遠距離側にずれているのかのフォーカシングズレ方向と、その方向への合焦位置からのズレ量であるフォーカシングズレ量と、の２つのフォーカシング情報が取得される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１４７６６５号公報
【特許文献２】特開２００１−１７４６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記特開２００９−１４７６６５号公報に記載の技術は、微細加工技術を用いて画素との位置合わせをしながら撮像素子上に遮光膜を形成する必要があり、汎用の撮像素子をそのまま利用することができず、製造コストが高くなってしまう。
【０００９】
また、上記特開２００１−１７４６９６号公報に記載の技術は、単に位相差量の検出についてしか記載されておらず、被写体のどの部分が合焦しどの部分が非合焦であるかをユーザが目視で確認するための技術については何等開示されていない。
【００１０】
本発明は上記事情に鑑みてなされたものであり、合焦部、非合焦部を目視で容易に確認することができる、製造コストが抑制された撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明の一態様による撮像装置は、複数の波長帯域の光をそれぞれ受光して光電変換し、第１の帯域の第１の画像と第２の帯域の第２の画像と第３の帯域の第３の画像とを生成するカラーの撮像素子と、被写体像を前記撮像素子に結像する撮像光学系と、前記撮像光学系を経て前記撮像素子に至る撮影光束の光路上に配設されていて、前記撮像光学系の瞳領域の一部である第１の領域を通過しようとする撮影光束中の前記第１の帯域の光を遮断し前記第２の帯域および前記第３の帯域の光を通過させる第１の帯域制限と、前記撮像光学系の瞳領域の他の一部である第２の領域を通過しようとする撮影光束中の第２の帯域の光を遮断し前記第１の帯域および前記第３の帯域の光を通過させる第２の帯域制限と、を行う帯域制限フィルタと、前記第１の画像と前記第２の画像との位相差を示す位相差画像を表示する表示部と、を具備している。
【発明の効果】
【００１２】
本発明の撮像装置によれば、製造コストが抑制されるとともに、合焦部、非合焦部を目視で容易に確認することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る３Ｄ実施例１における撮像装置の構成を示すブロック図。
【図２】上記実施形態に係る３Ｄ実施例１における撮像素子の画素配列を説明するための図。
【図３】上記実施形態に係る３Ｄ実施例１における帯域制限フィルタの一構成例を説明するための図。
【図４】上記実施形態に係る３Ｄ実施例１において、合焦位置にある被写体を撮像するときの被写体光束集光の様子を示す平面図。
【図５】上記実施形態に係る３Ｄ実施例１において、合焦位置よりも近距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図。
【図６】上記実施形態に係る３Ｄ実施例１において、合焦位置よりも近距離側にある被写体上の１点からの光により形成されるボケの形状を示す図。
【図７】上記実施形態に係る３Ｄ実施例１において、合焦位置よりも近距離側にある被写体上の１点からの光により形成されるボケの形状を色成分毎に示す図。
【図８】上記実施形態に係る３Ｄ実施例１において、合焦位置よりも遠距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図。
【図９】上記実施形態に係る３Ｄ実施例１において、合焦位置よりも遠距離側にある被写体上の１点からの光により形成されるボケの形状を示す図。
【図１０】上記実施形態に係る３Ｄ実施例１において、合焦位置よりも遠距離側にある被写体上の１点からの光により形成されるボケの形状を色成分毎に示す図。
【図１１】上記実施形態に係る３Ｄ実施例１において、合焦位置とそれよりも近距離および遠距離にある被写体を撮像したときの画像の様子を示す図。
【図１２】上記実施形態に係る３Ｄ実施例１における帯域制限フィルタの第１の変形例を示す図。
【図１３】上記実施形態に係る３Ｄ実施例１における帯域制限フィルタの第２の変形例を示す図。
【図１４】上記実施形態に係る３Ｄ実施例１における帯域制限フィルタの第３の変形例を示す図。
【図１５】上記実施形態に係る３Ｄ実施例１における帯域制限フィルタの第４の変形例を示す図。
【図１６】上記実施形態に係る３Ｄ実施例１において、カラー化処理後のボケ形状の概要を示す図。
【図１７】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例１のカラー化処理において、合焦位置よりも遠距離側にある被写体のＲ画像に対して適用されるＲ用フィルタの形状を示す図。
【図１８】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例１のカラー化処理において、合焦位置よりも遠距離側にある被写体のＢ画像に対して適用されるＢ用フィルタの形状を示す図。
【図１９】上記実施形態に係る３Ｄ実施例１において、２Ｄ実施例１の変形例のカラー化処理における合焦位置よりも遠距離側にある被写体のＲ画像およびＢ画像のシフトの様子を示す図。
【図２０】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例１の変形例のカラー化処理においてＲ画像およびＢ画像に対して適用されるフィルタの形状を示す図。
【図２１】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例１において、横方向の標準偏差を大きくした楕円型ガウシアンフィルタの形状を示す図。
【図２２】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例１において、縦方向の標準偏差を小さくした楕円型ガウシアンフィルタの形状を示す図。
【図２３】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例１において、色画像生成部により行われるカラー化処理を示すフローチャート。
【図２４】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例１における画像処理装置の構成を示すブロック図。
【図２５】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例２において、色画像生成部により行われるカラー化処理の概要を示す図。
【図２６】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例２において、位相差検出を行う際にＲ画像およびＢ画像に設定する部分領域を示す図。
【図２７】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例２において、オリジナルＲ画像のボケ拡散部分領域をＲコピー画像にコピー加算する様子を示す図。
【図２８】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例２において、オリジナルＢ画像のボケ拡散部分領域をＢコピー画像にコピー加算する様子を示す図。
【図２９】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例２において、位相差量に応じてボケ拡散部分領域のサイズを変更する例を示す線図。
【図３０】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例２において、色画像生成部により行われるカラー化処理を示すフローチャート。
【図３１】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例３において、位相差量に応じた各色のＰＳＦのテーブルの概要を示す図。
【図３２】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例３において、色画像生成部により行われるカラー化処理の概要を示す図。
【図３３】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例３において、色画像生成部により行われるボケ量コントロールを伴うカラー化処理の概要を示す図。
【図３４】上記実施形態に係る３Ｄ実施例１の２Ｄ実施例３において、色画像生成部により行われるカラー化処理を示すフローチャート。
【図３５】上記実施形態に係る３Ｄ実施例１において、カラー化処理後の２次元画像から左目画像および右目画像を生成する様子を示す図。
【図３６】上記実施形態に係る３Ｄ実施例１において、ステレオ画像生成部による立体視画像の生成処理を示すフローチャート。
【図３７】上記実施形態に係る３Ｄ実施例２の立体視画像の生成処理において合焦位置よりも遠距離側にある被写体の像から左目画像を生成する際のシフトの様子を示す図。
【図３８】上記実施形態に係る３Ｄ実施例２の立体視画像の生成処理において合焦位置よりも遠距離側にある被写体の像から右目画像を生成する際のシフトの様子を示す図。
【図３９】上記実施形態に係る３Ｄ実施例２において、シフト後の左目画像における各色のボケ形状を近似させるフィルタ処理を行った後の様子を示す図。
【図４０】上記実施形態に係る３Ｄ実施例２において、シフト後の右目画像における各色のボケ形状を近似させるフィルタ処理を行った後の様子を示す図。
【図４１】本発明の実施形態１の撮像装置の表示部に表示される位相差画像の例を示す図。
【図４２】上記実施形態１の撮像装置における表示処理を示すフローチャート。
【図４３】本発明の実施形態２の撮像装置の表示部に表示される位相差画像の例を示す図。
【図４４】上記実施形態２の撮像装置における表示処理を示すフローチャート。
【図４５】本発明の実施形態３の撮像装置における画像処理部およびシステムコントローラの詳細な構成を示すブロック図。
【図４６】上記実施形態３の撮像装置の表示部に表示される位相差画像の例を示す図。
【図４７】上記実施形態３の撮像装置における表示処理を示すフローチャート。
【図４８】本発明の実施形態４の撮像装置における画像処理部およびシステムコントローラの詳細な構成を示すブロック図。
【図４９】上記実施形態４の撮像装置の表示部に表示される位相差画像の例を示す図。
【図５０】上記実施形態４の撮像装置における表示処理を示すフローチャート。
【図５１】本発明の実施形態５の撮像装置における画像処理部およびシステムコントローラの詳細な構成を示すブロック図。
【図５２】上記実施形態５の撮像装置の表示部に表示される位相差画像の例を示す図。
【図５３】上記実施形態５の撮像装置における表示処理を示すフローチャート。
【図５４】上記実施形態５において、位相差量の大きさに応じて予め定められた色の一例を示す線図。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態を説明する。
【００１５】
まず、図１から図４０を参照して、本発明の各実施形態に係る技術について説明する。ここに、図１から図３６を参照して３次元立体視画像に係る３Ｄ実施例１を、図３７から図４０を参照して３次元立体視画像に係る３Ｄ実施例２を、それぞれ説明する。また、平面画像に関しては、３Ｄ実施例１中において、２Ｄ実施例１〜２Ｄ実施例３として説明する。
［３Ｄ実施例１］
【００１６】
図１から図３６は本発明の実施形態に係る３Ｄ実施例１を示したものであり、図１は撮像装置の構成を示すブロック図である。
【００１７】
本３Ｄ実施例１の撮像装置は、例えばデジタルスチルカメラとして構成されている。ただし、ここではデジタルスチルカメラを例に挙げているが、撮像装置は、カラー撮像素子を備え、撮像機能を有する装置であればどのようなものでも良く、幾つかの例を挙げれば、上述したデジタルスチルカメラ、ビデオカメラ、カメラ付携帯電話、カメラ付携帯情報端末（カメラ付ＰＤＡ）、カメラ付パーソナルコンピュータ、監視カメラ、内視鏡、デジタル顕微鏡（デジタルマイクロスコープ）などである。
【００１８】
撮像装置は、レンズユニット１と、このレンズユニット１がレンズマウントを介して着脱自在に取り付けられる本体部であるボディユニット２と、を備えている。なお、ここではレンズユニット１が着脱式である場合を例に挙げて説明するが、勿論、着脱式でなくても構わない。
【００１９】
レンズユニット１は、レンズ１０と絞り１１とを含む撮像光学系９と、帯域制限フィルタ１２と、レンズ制御部１４と、レンズ側通信コネクタ１５と、を備えている。
【００２０】
ボディユニット２は、シャッタ２１と、撮像素子２２と、撮像回路２３と、撮像駆動部２４と、画像処理部２５と、画像メモリ２６と、表示部２７と、インターフェース（ＩＦ）２８と、システムコントローラ３０と、センサ部３１と、操作部３２と、ストロボ制御回路３３と、ストロボ３４と、ボディ側通信コネクタ３５と、を備えている。なお、図１のボディユニット２内には記録媒体２９も記載されているが、この記録媒体２９は撮像装置に対して着脱自在な例えばメモリカード（スマートメディア、ＳＤカード、ｘＤピクチャーカード等）で構成されているために、撮像装置に固有の構成でなくても構わない。
【００２１】
まず、レンズユニット１における撮像光学系９は、被写体像を撮像素子２２に結像するためのものである。この撮像光学系９のレンズ１０は、焦点調節を行うためのフォーカスレンズを備えて構成されている。レンズ１０は、一般的には複数枚のレンズで構成されることが多いが、図１においては簡単のために１枚のレンズのみを図示している。
【００２２】
撮像光学系９の絞り１１は、レンズ１０を通過する被写体光束の通過範囲を規制することにより、撮像素子２２上に結像される被写体像の明るさを調節するためのものである。
【００２３】
帯域制限フィルタ１２は、撮像光学系９を経て撮像素子２２に至る撮影光束の光路上（望ましくは、撮像光学系９の絞り１１の位置またはその近傍）に配設されており、撮像光学系９の瞳領域の一部である第１の領域を通過しようとする撮影光束中の第１の帯域の光を遮断し第２の帯域および第３の帯域の光を通過させる第１の帯域制限と、撮像光学系９の瞳領域の他の一部である第２の領域を通過しようとする撮影光束中の第２の帯域の光を遮断し第１の帯域および第３の帯域の光を通過させる第２の帯域制限と、を行うフィルタである。
【００２４】
ここに、図３は帯域制限フィルタ１２の一構成例を説明するための図である。この図３に示す構成例の帯域制限フィルタ１２は、撮像光学系９の瞳領域が、第１の領域と第２の領域とに２分されたものとなっている。すなわち、帯域制限フィルタ１２は、撮像装置を標準姿勢（いわゆる、カメラを通常の横位置に構えた姿勢）として撮像素子２２から見たときに、左半分がＧ（緑）成分およびＲ（赤）成分を通過させＢ（青）成分を遮断する（すなわち、Ｂ（青）成分は第１の帯域と第２の帯域との内の一方の帯域である）ＲＧフィルタ１２ｒ、右半分がＧ成分およびＢ成分を通過させＲ成分を遮断する（すなわち、Ｒ成分は第１の帯域と第２の帯域との内の他方の帯域である）ＧＢフィルタ１２ｂとなっている。従って、帯域制限フィルタ１２は、撮像光学系９の絞り１１の開口を通過する光に含まれるＧ成分を全て通過させ（すなわち、Ｇ成分は第３の帯域である）、Ｒ成分を開口の半分の領域だけ通過させ、Ｂ成分を開口の残り半分の領域だけ通過させる。なお、帯域制限フィルタ１２のＲＧＢ各分光透過特性が、撮像素子２２にオンチップで構成されている素子フィルタ（図２参照）のＲＧＢ各分光透過特性と異なると、ＲＧフィルタ１２ｒとＧＢフィルタ１２ｂの空間位置の相違に基づいて得られる画像から後述するように取得する位置情報の精度が低下したり、分光特性のミスマッチによる光量ロスが発生したりすることになる。従って、帯域制限フィルタ１２の分光透過特性は、撮像素子２２の素子フィルタの分光透過特性と、同一または可能な限り近似していることが望ましい。また、帯域制限フィルタ１２の他の構成例については、後で図１２〜図１５等を参照して説明する。
【００２５】
レンズ制御部１４は、レンズユニット１の制御を行うものである。すなわち、レンズ制御部１４は、レンズ側通信コネクタ１５およびボディ側通信コネクタ３５を介してシステムコントローラ３０から受信した指令に基づき、レンズ１０内のフォーカスレンズを駆動して合焦させたり、絞り１１を駆動して絞り開口径を変更させたりするものである。
【００２６】
レンズ側通信コネクタ１５は、レンズユニット１とボディユニット２とがレンズマウントにより結合されてボディ側通信コネクタ３５と接続されることにより、レンズ制御部１４とシステムコントローラ３０との間の通信を可能にするコネクタである。
【００２７】
次に、ボディユニット２におけるシャッタ２１は、レンズ１０から撮像素子２２に到達する被写体光束の通過時間を規制することにより、撮像素子２２の露光時間を調節するための光学シャッタである。なお、ここでは光学シャッタを用いているが、光学シャッタに代えて、または光学シャッタに加えて、撮像素子２２による素子シャッタ（電子シャッタ）を用いるようにしても構わない。
【００２８】
撮像素子２２は、撮像光学系９により結像される被写体像を、複数の波長帯（例えば、ＲＧＢが挙げられるが、これに限るものではない）光毎にそれぞれ受光して光電変換し、電気信号として出力するカラー撮像素子であり、例えば、ＣＣＤやＣＭＯＳ等として構成されている。ここに、カラー撮像素子の構成としては、オンチップの素子カラーフィルタを備えた単板の撮像素子でも良いし、ＲＧＢ各色光への色分解を行うダイクロイックプリズムを用いた３板式であっても良いし、同一の画素位置で半導体の深さ方向位置に応じてＲＧＢの撮像情報を取得可能な方式の撮像素子であっても良いし、複数の波長帯光の撮像情報を取得可能であればどのようなものでも構わない。
【００２９】
例えば、図２を参照して、一般的なデジタルスチルカメラに用いられることが多い単板のカラー撮像素子の構成例を説明する。ここに、図２は撮像素子２２の画素配列を説明するための図である。本３Ｄ実施例１においては、オンチップで搭載される素子カラーフィルタが透過する複数の波長帯光はＲ、Ｇ、およびＢとなっており、この図２に示すように、原色ベイヤー配列の単板カラー撮像素子が構成されている。従って、撮像素子２２がこの図２に示したような構成である場合には、１画素に付き１色の色成分のみが得られることになるために、画像処理部２５においてデモザイキング処理を行い１画素につきＲＧＢの３色が揃ったカラー画像を生成するようになっている。
【００３０】
撮像回路２３は、撮像素子２２から出力される画像信号を増幅（ゲイン調整）したり、撮像素子２２がアナログ撮像素子であってアナログの画像信号を出力する場合には、Ａ／Ｄ変換してデジタル画像信号（以下では「画像情報」ともいう）を生成したりするものである（撮像素子２２がデジタル撮像素子である場合には、撮像回路２３に入力される時点で既にデジタルとなっているためにＡ／Ｄ変換は行わない）。撮像回路２３は、後述するように撮像駆動部２４で切り換えられた撮像モードに対応するフォーマットで、画像信号を画像処理部２５へ出力する。
【００３１】
撮像駆動部２４は、システムコントローラ３０の指令に基づいて、撮像素子２２および撮像回路２３にタイミング信号および電力を供給して、撮像素子に露光、読出、素子シャッタ等を行わせるとともに、撮像素子２２の動作に同期させて撮像回路２３によるゲイン調整およびＡ／Ｄ変換を実行させるように制御するものである。また、この撮像駆動部２４は、撮像素子２２の撮像モードを切り換える制御も行う。
【００３２】
画像処理部２５は、ＷＢ（ホワイトバランス）調整、黒レベルの補正、γ補正、欠陥画素の補正、デモザイキング、画像情報の色情報の変換処理、画像情報の画素数変換処理、等のデジタル画像処理を行うものである。この画像処理部２５は、さらに、色間補正部３６と、色画像生成部３７と、ステレオ画像生成部４０と、を備えている。
【００３３】
上述したように、帯域制限フィルタ１２は通過させる光の帯域（色）によって、撮像光学系９の瞳領域における通過領域を制限しているために、通過する光は、帯域によって明るさが異なることになる。色間補正部３６は、このような帯域間（色間）の明るさの違いを補正するためのものである。この帯域間（色間）の明るさの違いの補正は、簡易的には、帯域毎の通過領域の面積に応じて補正することが考えられるが、画像の中心よりも周辺の方が光量が低下する傾向があることを考慮して、撮像光学系９の光学特性に応じたより詳細な補正を行うようにしても勿論構わない。このときには、撮像装置内で補正値を算出するに限るものではなく、テーブルデータ等として補正値を保持するようにしても構わない。具体例として、帯域制限フィルタ１２が図３に示したように構成されている場合には、ＲとＢはＧの半分の通過光量となるために、Ｒの色信号とＢの色信号を２倍にする処理を簡易的な色間補正として行うことが考えられる（同様に、後述する図１２〜図１５の構成の場合には、それぞれの帯域毎の通過領域の面積に応じて補正することになる）。このような処理を行うことにより、光量バランスの点においては図３の帯域制限フィルタ１２が挿入されていない撮像装置と同様な画像として扱うことが可能となり、各種機能（例えば画像生成処理など）を利用することが可能となる。
【００３４】
色画像生成部３７は、カラー画像情報を形成するためのデジタル処理であるカラー化の処理を行うものである。図３に示したような帯域制限フィルタ１２を用いた場合には、Ｒ画像とＢ画像とに空間的な位置ズレが発生することがあるために、この空間的な位置ズレを補正するのが色画像生成部３７が行うカラー化処理の一例である。
【００３５】
まず、各色画像の空間的な位置ズレについて、図４〜図１１を参照して説明する。ここに、図４は合焦位置にある被写体を撮像するときの被写体光束集光の様子を示す平面図、図５は合焦位置よりも近距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図、図６は合焦位置よりも近距離側にある被写体上の１点からの光により形成されるボケの形状を示す図、図７は合焦位置よりも近距離側にある被写体上の１点からの光により形成されるボケの形状を色成分毎に示す図、図８は合焦位置よりも遠距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図、図９は合焦位置よりも遠距離側にある被写体上の１点からの光により形成されるボケの形状を示す図、図１０は合焦位置よりも遠距離側にある被写体上の１点からの光により形成されるボケの形状を色成分毎に示す図、図１１は合焦位置とそれよりも近距離および遠距離にある被写体を撮像したときの画像の様子を示す図である。なお、ボケ形状の説明に際しては、絞り１１の開口が円形状である場合を例に挙げて説明する。
【００３６】
被写体ＯＢＪｃが合焦位置にあるときには、被写体ＯＢＪｃ上の１点から放射された光は、図４に示すように、帯域制限フィルタ１２全体を通過するＧ成分も、帯域制限フィルタ１２の半分のＲＧフィルタ１２ｒのみを通過するＲ成分も、帯域制限フィルタ１２の他の半分のＧＢフィルタ１２ｂのみを通過するＢ成分も、撮像素子２２上の１点に集光され、点像ＩＭＧｒｇｂを形成するために、上述したような通過領域の面積に応じた光量の相違はあるものの、色間に位置ズレは発生しない。従って、合焦位置にある被写体ＯＢＪｃを撮像したときには、図１１に示すように、色にじみのない被写体像ＩＭＧｒｇｂが結像される。
【００３７】
これに対して、被写体ＯＢＪｎが例えば合焦位置よりも近距離側にある場合には、被写体ＯＢＪｎ上の１点から放射された光により、図５〜図７に示すように、Ｇ成分については円形ボケをなす被写体像ＩＭＧｇが形成され、Ｒ成分については左半分の半円形ボケをなす被写体像ＩＭＧｒが形成され、Ｂ成分については右半分の半円形ボケをなす被写体像ＩＭＧｂが形成される。従って、合焦位置よりも近距離側にある被写体ＯＢＪｎを撮像したときには、図１１に示すように、Ｒ成分の被写体像ＩＭＧｒが左側にずれ、Ｂ成分の被写体像ＩＭＧｂが右側にずれたボケ画像が形成され、このボケ画像におけるＲ成分とＢ成分の左右位置は、撮像素子２２から見たときの帯域制限フィルタ１２におけるＲ成分透過領域（ＲＧフィルタ１２ｒ）とＢ成分透過領域（ＧＢフィルタ１２ｂ）の左右位置と同じである（なお、図１１においてはズレを強調して示しており、実際に生じているボケ形状の図示は省略している（下記遠距離側の場合も同様））。そして、被写体ＯＢＪｎが合焦位置から近距離側へ離れるほど、ボケが大きくなって、Ｒ成分の被写体像ＩＭＧｒの重心位置とＢ成分の被写体像ＩＭＧｂの重心位置との離間距離が大きくなることになる。なお、Ｇ成分の被写体像ＩＭＧｇについては、図６、図７に示すように、Ｒ成分の被写体像ＩＭＧｒとＢ成分の被写体像ＩＭＧｂとにまたがったボケ画像となる。このＧ成分の被写体像ＩＭＧｇは、帯域制限フィルタ１２を使用しない場合のボケ画像と同じ情報になるために、上述した色画像生成部３７が行うカラー化処理における標準画像として使用することが可能である。
【００３８】
一方、被写体ＯＢＪｆが例えば合焦位置よりも遠距離側にある場合には、被写体ＯＢＪｆ上の１点から放射された光により、図８〜図１０に示すように、Ｇ成分については円形ボケをなす被写体像ＩＭＧｇが形成され、Ｒ成分については右半分の半円形ボケをなす被写体像ＩＭＧｒが形成され、Ｂ成分については左半分の半円形ボケをなす被写体像ＩＭＧｂが形成される。従って、合焦位置よりも遠距離側にある被写体ＯＢＪｆを撮像したときには、図１１に示すように、Ｒ成分の被写体像ＩＭＧｒが右側にずれ、Ｂ成分の被写体像ＩＭＧｂが左側にずれたボケ画像が形成され、このボケ画像におけるＲ成分とＢ成分の左右位置は、撮像素子２２から見たときの帯域制限フィルタ１２におけるＲ成分透過領域（ＲＧフィルタ１２ｒ）とＢ成分透過領域（ＧＢフィルタ１２ｂ）の左右位置と逆である。そして、被写体ＯＢＪｆが合焦位置から遠距離側へ離れるほど、ボケが大きくなって、Ｒ成分の被写体像ＩＭＧｒの重心位置とＢ成分の被写体像ＩＭＧｂの重心位置との離間距離が大きくなることになる。なお、Ｇ成分の被写体像が、Ｒ成分の被写体像ＩＭＧｒとＢ成分の被写体像ＩＭＧｂとにまたがったボケ画像となる（図９、図１０参照）のは、この遠距離側においても同様である。そして、遠距離側においても、Ｇ成分の被写体像ＩＭＧｇは、帯域制限フィルタ１２を使用しない場合のボケ画像と同じ情報になるために、上述した色画像生成部３７が行うカラー化処理における標準画像として使用することが可能である。
【００３９】
図１の説明に戻って、そこで色画像生成部３７は、カラー化処理として、図２に示すようなベイヤー配列における画素数が最も多くかつ輝度信号に対する寄与が最も大きいＧ成分の画像を標準画像として、Ｒ成分の画像およびＢ成分の画像の各色ズレを補正する処理を、後で詳しく説明するように行うようになっている。このように、絞り１１の開口全域の情報を取得可能なＧ色を基準として画像を生成することにより、観賞に耐え得る高品質な画像を得ることが可能となる。
【００４０】
ステレオ画像生成部４０は、撮像素子２２から取得された１枚の画像データに基づいて、後述する距離演算部３９により演算された位相差量に基づき、第２の画像および第３の画像のボケの重心位置を第１の画像のボケの重心位置の方向へ移動させた一の片目用カラー画像（左目画像と右目画像との何れか一方）を生成するとともに、第１の画像および第３の画像のボケの重心位置を第２の画像のボケの重心位置の方向へ移動させた他の片目用カラー画像（左目画像と右目画像との何れか他方）を生成することにより、カラーの立体視画像を生成するものである。このステレオ画像生成部４０の処理については、後で詳しく説明する。
【００４１】
画像メモリ２６は、高速な書き込みや読み出しが可能なメモリであり、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）により構成されていて、画像処理用のワークエリアとして使用されるとともに、システムコントローラ３０のワークエリアとしても使用される。例えば、画像メモリ２６は、画像処理部２５により処理された最終的な画像を記憶するだけでなく、画像処理部２５による複数の処理過程における各中間画像も適宜記憶する。
【００４２】
表示部２７は、ＬＣＤ等を有して構成されていて、画像処理部２５により表示用に処理された画像（記録媒体２９から読み出されて画像処理部２５により表示用に処理された画像も含む）を表示するものである。具体的には、この表示部２７は、ライブビュー画像の表示、静止画像記録時の確認表示、記録媒体２９から読み出した静止画像または動画像の再生表示、等を行う。また、本３Ｄ実施例１においては、表示部２７は、立体視画像を表示可能に構成されているものとする。
【００４３】
インターフェース（ＩＦ）２８は、記録媒体２９を着脱可能に接続するものであり、記録媒体２９へ記録する情報の伝達、および記録媒体２９から読み出した情報の伝達を行う。
【００４４】
記録媒体２９は、画像処理部２５により記録用に処理された画像や、該画像に関連する各種データを記録するものであり、上述したように例えばメモリカード等として構成されている。
【００４５】
センサ部３１は、例えば、撮像装置のブレを検出するための加速度センサ等で構成される手振れセンサ、撮像素子２２の温度を測定するための温度センサ、撮像装置周辺の明るさを測定するための明るさセンサ、等を含んでいる。このセンサ部３１による検出結果はシステムコントローラ３０に入力される。ここに、手振れセンサによる検出結果は撮像素子２２やレンズ１０を駆動して手振れ補正を行ったり、画像処理による手振れ補正を行ったりするために用いられる。また、温度センサによる検出結果は撮像駆動部２４による駆動クロックの制御や撮像素子２２から得られる画像中のノイズ量を推定するのに用いられる。さらに、明るさセンサによる検出結果は、例えば、周囲の明るさに応じて表示部２７の輝度を適正に制御するために用いられる。
【００４６】
操作部３２は、撮像装置の電源をオン／オフするための電源スイッチ、静止画像や動画像等の撮像動作を指示入力するための２段式の押圧ボタンでなるレリーズボタン、撮像モード等を変更するためのモードボタン、選択項目や数値などを変更するのに用いられる十字キー、等を含んでいる。この操作部３２の操作により発生した信号は、システムコントローラ３０に入力される。
【００４７】
ストロボ制御回路３３は、システムコントローラ３０の指令に基づいて、ストロボ３４の発光量や発光タイミングを制御するものである。
【００４８】
ストロボ３４は、ストロボ制御回路３３の制御により、被写体へ照明光を照射する発光源である。
【００４９】
ボディ側通信コネクタ３５は、上述したように、レンズユニット１とボディユニット２とがレンズマウントにより結合されてレンズ側通信コネクタ１５と接続されることにより、レンズ制御部１４とシステムコントローラ３０との間の通信を可能にするコネクタである。
【００５０】
システムコントローラ３０は、このボディユニット２の制御を行うとともに、レンズ制御部１４を介してレンズユニット１の制御も行うものであり、この撮像装置を統合的に制御する制御部である。このシステムコントローラ３０は、図示しないフラッシュメモリ等の不揮発性メモリから撮像装置の基本制御プログラムを読み出して、操作部３２からの入力に応じて、撮像装置全体を制御するようになっている。
【００５１】
例えば、システムコントローラ３０は、レンズ制御部１４を介して絞り１１の絞り調整を制御したり、シャッタ２１を制御して駆動したり、センサ部３１の加速度センサによる検出結果に基づいて図示しない手振れ補正機構を制御駆動して手振れ補正を行ったり、等を行う。さらに、システムコントローラ３０は、操作部３２のモードボタンからの入力に応じて、撮像装置のモード設定（静止画像を撮像するための静止画モード、動画像を撮像するための動画モード、立体視画像を撮像するための３Ｄモード等の設定）を行うものとなっている。
【００５２】
さらに、システムコントローラ３０は、コントラストＡＦ制御部３８と、距離演算部３９とを備え、コントラストＡＦ制御部３８によりＡＦ制御を行わせ、あるいは、距離演算部３９により算出された距離情報に基づきレンズユニット１を制御してＡＦを行うものである。
【００５３】
コントラストＡＦ制御部３８は、画像処理部２５から出力される画像信号（この画像信号は、輝度成分を含む割合が高いＧ画像であっても良いし、後述するカラー化処理により色ずれが補正された画像に係る輝度信号画像であっても構わない）からコントラスト値（ＡＦ評価値ともいう）を生成し、レンズ制御部１４を介してレンズ１０内のフォーカスレンズを制御するものである。すなわち、コントラストＡＦ制御部３８は、画像信号にフィルタ、例えばハイパスフィルタを作用させて高周波成分を抽出し、コントラスト値とする。そして、コントラストＡＦ制御部３８は、フォーカスレンズ位置を異ならせてコントラスト値を取得し、コントラスト値が大きくなる方向へフォーカスレンズを移動させて、さらにコントラスト値を取得する。このような処理を繰り返して行うことにより、最大のコントラスト値が得られるフォーカスレンズ位置（合焦位置）へフォーカスレンズを駆動するように制御するものである。
【００５４】
次に、距離演算部３９は、撮像素子２２から得られた、第１の帯域の第１の画像と第２の帯域の第２の画像との位相差量を演算し、演算した位相差量に基づき、被写体までの距離を演算するものである。具体的には、距離演算部３９は、図７、図１０、図１１等に示したようなＲ成分とＢ成分とのズレ量から、レンズの公式により距離情報を演算する。
【００５５】
すなわち、距離演算部３９は、撮像画像として得られたＲＧＢ各色の成分の内の、Ｒ成分とＢ成分とを抽出する。そして、Ｒ成分とＢ成分とに相関演算を行うことにより、Ｒ成分の画像とＢ成分の画像とに生じているズレの方向とズレの大きさとを算出する（ただしこれに限定されるものではなく、Ｒ画像とＧ画像との間、またはＢ画像とＧ画像との間に生じているズレの方向とズレの大きさとを算出することも不可能ではない）。
【００５６】
ここに、例えば図３に示したような帯域制限フィルタ１２を用いる場合には、図５〜図１１を参照して説明したように、被写体が合焦位置よりも近いか遠いかによって、画像におけるＲ成分とＢ成分のズレの方向が逆になる。従って、ズレの方向は、着目する被写体が合焦位置よりも近いか遠いかを判別するための情報となる。
【００５７】
また、合焦位置から近距離側または遠距離側へ離れれば離れるほど、Ｒ成分とＢ成分のズレの大きさが大きくなる。従って、ズレの大きさは、着目する被写体が合焦位置からどの程度の距離だけ離れているかを判定するための情報となる。
【００５８】
こうして、距離演算部３９は、算出したズレの方向とズレの大きさとに基づいて、着目する被写体が、合焦位置よりも近い側または遠い側へ、どの程度の距離だけ離れているかを算出するようになっている。
【００５９】
距離演算部３９は、操作部３２からの入力に基づき、または撮像装置の基本制御プログラムに基づき、システムコントローラ３０により決定された距離演算領域（例えば、撮像画像の全領域、あるいは撮像画像における距離情報を取得したい一部の領域）について、上述したような距離演算を行う。このような、ズレ量を取得して距離情報を演算する技術は、例えば上記特開２００１−１６６１１号公報に記載された技術を用いることができる。
【００６０】
距離演算部３９により取得された距離情報は、例えばオートフォーカス（ＡＦ）に利用することができる。
【００６１】
すなわち、距離演算部３９によりＲ成分とＢ成分のズレに基づく距離情報を取得し、取得した距離情報に基づきシステムコントローラ３０がレンズ制御部１４を介してレンズ１０のフォーカスレンズを駆動するＡＦ、すなわち位相差ＡＦを行うことができる。これにより、１枚の撮像画像に基づいて、高速なＡＦが可能となる。
【００６２】
ただし、システムコントローラ３０内には上述したように距離演算部３９とコントラストＡＦ制御部３８とが設けられているために、ＡＦ制御を距離演算部３９による算出結果に基づいて行っても良いが、コントラストＡＦ制御部３８により行っても構わない。
【００６３】
ここに、コントラストＡＦ制御部３８によるコントラストＡＦは合焦精度が高い反面、複数枚の撮像画像が必要になるために、合焦速度が早いとはいえない課題がある。一方、距離演算部３９による被写体距離の算出は、１枚の撮像画像に基づいて行うことができるために、合焦速度が早い反面、合焦精度はコントラストＡＦよりも劣ることがある。
【００６４】
そこで、コントラストＡＦ制御部３８内に設けられているＡＦアシスト制御部３８ａが、コントラストＡＦ制御部３８と距離演算部３９とを組み合わせてＡＦを行わせるようにしても良い。すなわち、帯域制限フィルタ１２を介して取得した画像のＲ成分とＢ成分のズレに基づく距離演算を、距離演算部３９に行わせて、被写体が現在のフォーカス位置よりも遠距離側にあるのか、あるいは近距離側にあるのかを取得する。あるいはさらに、被写体が現在のフォーカス位置から離れている距離を取得する。次に、ＡＦアシスト制御部３８ａは、取得した遠距離側または近距離側へ（取得した距離の分だけ）フォーカスレンズを駆動し、コントラストＡＦを行わせるようにコントラストＡＦ制御部３８を制御する。このような処理を行うことにより、早い合焦速度で高い合焦精度を得ることが可能となる。
【００６５】
また、撮像素子２２から得られたＲ画像とＢ画像とは、例えばステレオ立体視画像（３Ｄ画像）として用いることができる。
【００６６】
３Ｄ画像は、左側の瞳からの画像を左目で観察し、右側の瞳からの画像を右目で観察できれば良い。このような３Ｄ画像の観察方式として、従来よりアナグリフ方式が知られている（上述した特開平４−２５１２３９号公報も参照）。このアナグリフ方式は、一般に、赤色の左目画像と青色の右目画像とを生成して両方を表示し、左目側に赤色透過フィルタ、右目側に青色透過フィルタを配置したアナグリフ用の赤青メガネを用いてこの画像を観察することにより、モノクロの立体視画像を観察可能とする方式である。
【００６７】
そこで本３Ｄ実施例１においては、標準姿勢の撮像素子２２から得られたＲ画像とＢ画像（色画像生成部３７における、Ｒ成分とＢ成分の位置ズレを補正するカラー化処理を行わない画像）を、このアナグリフ方式の赤青メガネで観察すればそのまま立体視が可能となるように構成している。すなわち、図３を参照して説明したように、撮像装置を標準姿勢とすると、帯域制限フィルタ１２のＲＧフィルタ１２ｒが撮像素子２２から被写体を見たときの左側に配置され、ＧＢフィルタ１２ｂが右側に配置されるように構成している。これにより赤青メガネをかければ、左側のＲＧフィルタ１２ｒを透過したＲ成分光が左目のみにより観察され、右側のＧＢフィルタ１２ｂを透過したＢ成分光が右目のみにより観察されて、立体視が可能となる。
【００６８】
また、本３Ｄ実施例１においては、上述したように、ステレオ画像生成部４０により、アナグリフ方式ではない、カラーの立体視画像を生成することもできるようになっている。
【００６９】
次に、図１２〜図１５を参照して、帯域制限フィルタ１２の変形例について説明する。
【００７０】
まず、図１２は帯域制限フィルタ１２の第１の変形例を示す図である。
【００７１】
図１２に示す帯域制限フィルタ１２は、撮像光学系９の瞳領域が、第１の領域と第２の領域との間に第１の帯域制限および第２の帯域制限の両方を受ける撮影光束が通過する領域が挟まれる構成となっている。すなわち、図３に示した帯域制限フィルタ１２は、撮像装置を標準姿勢にして撮像素子２２から見たときに、左半分がＲＧフィルタ１２ｒ、右半分がＧＢフィルタ１２ｂであった。これに対して、この図１２に示す帯域制限フィルタ１２は、左側のＲＧフィルタ１２ｒと右側のＧＢフィルタ１２ｂとの間に、Ｇ成分のみを通過させるＧフィルタ１２ｇを配置したものとなっている。
【００７２】
このような構成においても、撮像光学系９の絞り１１の開口を通過する光に含まれるＧ成分が全て通過するのは図３の帯域制限フィルタ１２と同様である。ただし、ＲＧフィルタ１２ｒとＧＢフィルタ１２ｂとが離間して配置されているために、非合焦位置にある被写体の撮像素子２２上における像の、Ｒ成分とＢ成分の位置ズレがより明瞭化されるために、距離演算部３９による距離演算精度が向上する利点がある。従って、高い精度の距離情報を得たい場合には、この図１２に示すような構成の帯域制限フィルタ１２を用いると良い。
【００７３】
また、図１３は帯域制限フィルタ１２の第２の変形例を示す図である。
【００７４】
この図１３に示す帯域制限フィルタ１２は、撮像光学系９の瞳領域が、第１の領域と第２の領域との間に帯域制限を受けない撮影光束が通過する領域が挟まれる構成となっている。すなわち、帯域制限フィルタ１２は、左側のＲＧフィルタ１２ｒと右側のＧＢフィルタ１２ｂとの間に、ＲＧＢ全色の成分（つまり、白色光Ｗ）を通過させるＷフィルタ１２ｗを配置したものとなっている。
【００７５】
このような構成においても、撮像光学系９の絞り１１の開口を通過する光に含まれるＧ成分が全て通過するのは図３の帯域制限フィルタ１２と同様である。これに対して、Ｒ成分はＲＧフィルタ１２ｒおよびＷフィルタ１２ｗを通過する一方で、ＧＢフィルタ１２ｂに遮断される。同様に、Ｂ成分はＧＢフィルタ１２ｂおよびＷフィルタ１２ｗを通過する一方で、ＲＧフィルタ１２ｒに遮断される。
【００７６】
このような構成によれば、Ｗフィルタ１２ｗの部分についてはＧ成分のみでなく、Ｒ成分およびＢ成分も透過されるために、帯域制限フィルタ１２を透過するＲ成分およびＢ成分の光量が増加し、明るい撮像画像を取得することができる利点がある（ただし、距離演算部３９により算出される距離情報は精度が低下する可能性がある）。従って、距離情報としてはそれ程高い精度は必要でない場合に用いると、必要な効果を得られるとともに、例えば明るい高品位の３Ｄ画像を取得することが可能となる。
【００７７】
さらに、図１４は帯域制限フィルタ１２の第３の変形例を示す図である。
【００７８】
この図１４に示す帯域制限フィルタ１２は、第１の領域と第２の領域とが、撮像装置が標準姿勢であるときの上下方向位置および左右方向位置を異ならせて配置されたものとなっている。すなわち、帯域制限フィルタ１２は、例えば円形をなすフィルタを十字状に４分割して、左下（グラフにおける第３象限）にＲＧフィルタ１２ｒ、右上（グラフにおける第１象限）にＧＢフィルタ１２ｂを配置するとともに、左上（グラフにおける第２象限）に第１のＧフィルタ１２ｇ１を、右下（グラフにおける第４象限）に第２のＧフィルタ１２ｇ２を、それぞれ配置したものとなっている。
【００７９】
なお、図１４に示した帯域制限フィルタにより、取得される位相差の方向は斜め４５度の方向の位相差である。この位相差情報を用いて、後の色画像生成部によりカラー化処理を行った後、ステレオ画像生成部においてステレオ画像生成を行う。その際、色画像生成部においてカラー化処理を行う場合には、通常の帯域制限フィルタ（図１４に示した帯域制限フィルタ以外のフィルタ例）では水平方向の位相差を利用していたところを、斜め４５度の位相差方向でカラー化処理を行う。そして、ステレオ画像生成部において、ステレオ画像生成処理を行う場合には、通常の水平方向の位相差を利用してステレオ画像の生成処理を行う（水平方向の位相差は、斜め４５度の位相差の水平成分だけを抽出すれば、容易に取得可能である）。このようにすることで、帯域制限フィルタで取得される位相差が斜め方向の場合でも、人が見た上で自然な水平方向に位相差を持つステレオ画像を生成することが出来ることになる。
【００８０】
上述した図３、図１２、図１３に示したような帯域制限フィルタ１２の構成の場合には、垂直方向のエッジを有する被写体の距離情報取得は容易であるが、水平方向のエッジを有する被写体の距離情報取得は困難となる。これに対して、この図１４に示したような帯域制限フィルタ１２の構成を採用すれば、垂直方向のエッジを有する被写体と、水平方向のエッジを有する被写体と、の何れに対しても、距離情報を容易に取得することができる利点がある。このようにＲＧフィルタ１２ｒとＧＢフィルタ１２ｂの水平方向位置および垂直方向位置を異ならせることにより、距離情報取得における被写体エッジの方向依存性（特に、水平／垂直方向依存性）を改善することが可能となる。
【００８１】
なお、帯域制限フィルタ１２が図１２〜図１４等に示すように構成されている場合でも、Ｒ画像とＢ画像のズレ量の大きさや、後述するようなボケのＰＳＦの形状が変化するだけであるために、下記に説明するような色画像生成部３７におけるＲ成分とＢ成分の位置ズレを補正するカラー化処理を同様に適用して、色ズレの補正された画像を生成することができる。
【００８２】
続いて、図１５は帯域制限フィルタ１２の第４の変形例を示す図である。
【００８３】
図３や図１２〜図１４に示した帯域制限フィルタ１２は通常のカラーフィルタであったが、この図１５に示す帯域制限フィルタ１２は、色選択透過素子１８により構成したものとなっている。
【００８４】
ここに、色選択透過素子１８は、色（波長）に対応して偏光透過軸を回転可能な部材と、例えばＬＣＤのような偏光透過軸の回転する／しないを選択制御可能な部材と、を複数組み合わせることにより実現された、色分布を変更可能な素子である。この色選択透過素子１８は、具体例としては、西暦２０００年４月にＳＩＤ２０００において「SID ’00 Digest, Vol. 31, p. 92」として開示されたようなカラーリンク社のカラースイッチが挙げられる。
【００８５】
この色選択透過素子１８は、撮像装置を標準姿勢（横位置）にして撮像素子２２から見たときに、左半分が第１色選択透過素子１８Ｌ、右半分が第２色選択透過素子１８Ｒとして構成されている。ここに、第１色選択透過素子１８Ｌは、Ｇ成分およびＲ成分を通過させＢ成分を遮断するＲＧ状態と、ＲＧＢ全成分（Ｗ）を通過させるＷ状態と、を選択的に取り得るようになっている。また、第２色選択透過素子１８Ｒは、Ｇ成分およびＢ成分を通過させＲ成分を遮断するＧＢ状態と、ＲＧＢ全成分（Ｗ）を通過させるＷ状態と、を選択的に取り得るようになっている。これら第１色選択透過素子１８Ｌと第２色選択透過素子１８Ｒとは、図示しない色選択駆動部により各独立に駆動されるようになっていて、第１色選択透過素子１８ＬにＲＧ状態を取らせ、かつ第２色選択透過素子１８ＲにＧＢ状態を取らせることにより、図３に示した帯域制限フィルタ１２と同様の機能を果たすことができる。
【００８６】
さらに、構成を別のものに変更すれば、色選択透過素子１８が図１２〜図１４に示した帯域制限フィルタ１２と同様の機能を果たすようにすることも可能であるし、さらに他の構成の帯域制限フィルタ１２を構成することもできる。
【００８７】
次に、色画像生成部３７において行われる、各色画像同士のずれ（色ズレ）を補正するためのカラー化処理について説明する。
［２Ｄ実施例１］
【００８８】
まず、図１６〜図２４は、カラー化処理の２Ｄ実施例１を示す図である。
【００８９】
図３に示した帯域制限フィルタ１２を用いて、合焦位置よりも遠距離側にある被写体を撮影したときには図７に示すようなボケが形成され、合焦位置よりも近距離側にある被写体を撮影したときには図１０に示すようなボケが形成される。
【００９０】
カラー化処理は、これら図７または図１０に示したような形状のボケを、図１６に示すような形状のボケに補正するための処理である。ここに、図１６は、カラー化処理後のボケ形状の概要を示す図である。
【００９１】
以下では、説明を簡単にするために、被写体が合焦位置よりも遠距離側にある場合（図１０に示す場合）を例に挙げて説明するが、被写体が合焦位置よりも近距離側にある場合には、図７を図１０と比較すれば分かるように、Ｒ画像のボケとＢ画像のボケの形状や位置が左右反対になるだけであるために、以下の処理を適宜変更すれば同様に適用することが可能である。
【００９２】
図１７は２Ｄ実施例１のカラー化処理において合焦位置よりも遠距離側にある被写体のＲ画像に対して適用されるＲ用フィルタの形状を示す図、図１８は２Ｄ実施例１のカラー化処理において合焦位置よりも遠距離側にある被写体のＢ画像に対して適用されるＢ用フィルタの形状を示す図である。
【００９３】
このカラー化処理は、色ズレの補正およびボケ形状の補正を、フィルタリング処理（フィルタカーネルを画像に畳み込み演算する処理）により行うものとなっている。すなわち、Ｒ画像に対してＲ用のフィルタリング処理を行うことにより、Ｒ画像のボケの形状および重心位置を、標準画像であるＧ画像のボケの形状および重心位置に近似させるとともに、Ｂ画像に対してＢ用のフィルタリング処理を行うことにより、Ｂ画像のボケの形状および重心位置を、標準画像であるＧ画像のボケの形状および重心位置に近似させる処理となっている。ここに、重心位置を近似させるのは色ズレを補正するためであり、ボケの形状を近似させるのは各色毎にボケの形状が異なるのを補正してカラー画像におけるボケを自然な形状のボケとするためである。
【００９４】
特に、ここでは、Ｒ画像およびＢ画像のボケの形状を、標準画像であるＧ画像のボケの形状に合わせているが、その理由としては、Ｇ画像のボケが円形状をしており自然なボケであること、Ｇ画像のボケの大きさがＲ画像およびＢ画像のボケの大きさよりも大きいために、Ｒ画像およびＢ画像のボケ形状をＧ画像のボケ形状に合わせる方が処理が容易であること、等が挙げられる。
【００９５】
図１７に示すＲ用フィルタカーネルは、Ｒ画像に畳み込み演算するためのものであり、ボケフィルタの一例としてガウシアンフィルタを配置したものとなっている。このＲ用フィルタカーネルは、ガウシアンフィルタのフィルタ係数のピーク（フィルタ係数の重心位置にほぼ対応する）が、カーネル中心の位置（カーネルの上下を２等分する横ラインＣｈと、カーネルの左右を２等分する縦ラインでありＧ画像のボケ形状の重心を通る縦ラインＣｇとが交差する位置）から、Ｇの画像とＲの画像の間の位相差分ずれた位置（横ラインＣｈと、Ｒ画像のボケ形状の重心を通る縦ラインＣｒとが交差する位置）にあるフィルタ形状となっている。
【００９６】
図１８に示すＢ用フィルタカーネルは、Ｂ画像に畳み込み演算するためのものであり、Ｒ用フィルタカーネルと同様に、ボケフィルタの一例としてガウシアンフィルタを配置したものとなっている。このＢ用フィルタカーネルは、ガウシアンフィルタのフィルタ係数のピーク（フィルタ係数の重心位置にほぼ対応する）が、カーネル中心の位置（横ラインＣｈと縦ラインＣｇとが交差する位置）から、Ｇの画像とＢの画像の間の位相差分ずれた位置（横ラインＣｈと、Ｂ画像のボケ形状の重心を通る縦ラインＣｂとが交差する位置）にあるフィルタ形状となっている。
【００９７】
このようなフィルタ形状のＲ用フィルタカーネルおよびＢ用フィルタカーネルをＲ画像およびＢ画像にそれぞれ作用させることにより、色ズレの補正と、ボケ形状の補正と、を同時に行うことが可能となっている。
【００９８】
次に、図１９および図２０を参照して、カラー化処理の変形例を説明する。ここに、図１９は２Ｄ実施例１の変形例のカラー化処理における合焦位置よりも遠距離側にある被写体のＲ画像およびＢ画像のシフトの様子を示す図、図２０は２Ｄ実施例１の変形例のカラー化処理においてＲ画像およびＢ画像に対して適用されるフィルタの形状を示す図である。
【００９９】
この例のカラー化処理は、色ズレの補正を平行移動（シフト）により行い、ボケ形状の補正をフィルタリング処理により行うものとなっている。
【０１００】
すなわちまず、図１０に示すＲ画像に対して位相差に応じたＲ用のシフト処理を行うことにより、図１９に示すようにＲ画像の重心位置を標準画像であるＧ画像のボケの重心位置に近似させるとともに、図１０に示すＢ画像に対して位相差に応じたＢ用のシフト処理を行うことにより、図１９に示すようにＢ画像の重心位置を標準画像であるＧ画像の重心位置に近似させる。
【０１０１】
その後に、Ｒ画像およびＢ画像に対して図２０に示すような同一のフィルタリング処理を行うことにより、Ｒ画像およびＢ画像のボケの形状を、標準画像であるＧ画像のボケの形状に近似させるようになっている（図１６参照）。
【０１０２】
ここに、図２０に示すフィルタカーネルは、Ｒ画像およびＢ画像に畳み込み演算するためのものであり、ボケフィルタの一例としてガウシアンフィルタを配置したものとなっている。このフィルタカーネルは、ガウシアンフィルタのフィルタ係数のピーク（フィルタ係数の重心位置に対応する）が、カーネル中心の位置（横ラインＣｈと縦ラインＣｇとが交差する位置）にあるフィルタ形状となっている。
【０１０３】
ただし、ここでは図３に示したような、第１の領域と第２の領域とが左右対称の帯域制限フィルタ１２を想定しているために、Ｒ画像およびＢ画像に対して同一のフィルタリング処理を行っているが、第１の領域と第２の領域とが非対称である場合には、Ｒ画像とＢ画像とに対して異なるフィルタリング処理を行うようにしても良いことは勿論である。
【０１０４】
また、上述ではボケフィルタとしてガウシアンフィルタ（円型ガウシアンフィルタ）を例に挙げているが、勿論これに限定されるものではない。例えば図３に示したフィルタ形状の場合には、図７や図１０に示したように、Ｒ画像およびＢ画像に発生するボケは縦方向の半月状（すなわち、円形よりも横方向に短い形状）となる。従って、横方向（より一般には、位相差が生じている方向）を長軸方向とする、図２１や図２２等に示すような楕円型ガウシアンフィルタを用いれば、より高精度にボケを円形状に近づける補正処理を行うことが可能となる。ここに、図２１は２Ｄ実施例１において横方向の標準偏差を大きくした楕円型ガウシアンフィルタの形状を示す図、図２２は２Ｄ実施例１において縦方向の標準偏差を小さくした楕円型ガウシアンフィルタの形状を示す図である。なお、図２１および図２２には図２０に対応したフィルタカーネルの中心にフィルタ係数のピーク（フィルタ係数の重心位置に対応する）が位置する例を示したが、図１７や図１８に対応させる場合には、フィルタカーネルの中心からフィルタ係数のピーク（フィルタ係数の重心位置にほぼ対応する）をずらすことは勿論である。
【０１０５】
さらに、ボケフィルタは、円型ガウシアンフィルタや楕円型ガウシアンフィルタに限るものでないことも勿論であり、Ｒ画像やＢ画像のボケ形状を、Ｇ画像のボケ形状に近似することができるようなボケフィルタであれば、広く適用することが可能である。
【０１０６】
次に、図２３は、２Ｄ実施例１において色画像生成部３７により行われるカラー化処理を示すフローチャートである。
【０１０７】
（ステップＳ１）
この処理を開始すると、初期設定を行う。この初期設定においては、まず、処理対象のＲＧＢ画像（つまり、Ｒ画像、Ｇ画像、およびＢ画像）の読み込みを行う。次に、Ｒ画像のコピーであるＲコピー画像と、Ｂ画像のコピーであるＢコピー画像と、を作成する。
【０１０８】
（ステップＳ２）
続いて、位相差検出を行うための注目画素を設定する。ここでは、注目画素を、Ｒ画像とＢ画像との内の何れか一方、ここでは例えばＲ画像に設定する。
【０１０９】
（ステップＳ３）
ステップＳ２で設定された注目画素に対する位相差を検出する。この位相差の検出は、注目画素を中心位置に含む部分領域をＲ画像に設定して基準画像とし、Ｂ画像に同一サイズの部分領域を設定して参照画像として（図２６等参照）、参照画像の位置を位相差が発生している方向にずらしながら距離演算部３９において基準画像と参照画像との間で相関演算を行い、最も相関値が高いと判定された参照画像と基準画像との間の位置ズレ量（なお、位置ズレ量の符号が位置ズレの方向の情報を与える）を位相差量とする。
【０１１０】
なお、部分領域は任意のサイズに設定することができるが、安定的に位相差を検出するためには縦横それぞれ３０［ピクセル］以上の部分領域を利用することが好ましく、一例としては５１×５１［ピクセル］の領域が挙げられる。
【０１１１】
そして、距離演算部３９における相関演算は、具体的には、例えばＺＮＣＣ演算、あるいは予めフィルタ処理が施された画像に対するＳＡＤ演算などの処理により行う。
【０１１２】
まず、ＺＮＣＣによる相関演算は、以下の数式１に基づき行う。
［数１］
2013044806.tif 000003
ここに、ＩはＲ画像の部分領域、ＴはＢ画像の部分領域（Ｉと同一サイズの部分領域）、Ｉ（バー）はＩの平均値、Ｔ（バー）はＴの平均値、Ｍは部分領域の横幅［ピクセル］、Ｎは部分領域の縦幅［ピクセル］である。この数式１に基づきＺＮＣＣ演算を行い、その結果の絶対値｜ＲZNCC｜を相関演算の結果として得られた相関値とする。
【０１１３】
また、予めフィルタ処理が施された画像に対するＳＡＤ演算を行う場合は、はじめにＲ画像およびＢ画像に対してソーベルフィルタなどに代表される微分フィルタや、ＬＯＧフィルタなどのバンドパスフィルタなどのフィルタリング処理を施しておく。そしてその後に、以下の数式２に示すＳＡＤ演算により相関演算を行う。
［数２］
2013044806.tif 000004
ここに、Ｉ’はフィルタリング処理が施された後のＲ画像の部分領域、Ｔ’はフィルタリング処理が施された後のＢ画像の部分領域（Ｉ’と同一サイズの部分領域）、Ｍは部分領域の横幅［ピクセル］、Ｎは部分領域の縦幅［ピクセル］である。この場合には、ＲSADが相関演算の結果得られた相関値である。
【０１１４】
（ステップＳ４）
画像内における全ての注目画素に対する位相差検出処理が完了したか否かを判定する。そして、完了するまで、注目画素の位置をずらしながらステップＳ２およびステップＳ３の処理を繰り返して行う。ここに、画像内における全ての注目画素とは、画像内において位相差検出可能な全ての画素のことを指している。なお、位相差検出不可能な画素については、検出を行わないままとするか、あるいは周囲の注目画素の検出結果に基づいて補間等を行って位相差量を算出するかすれば良い。
【０１１５】
（ステップＳ５）
次に、補正処理を行うための注目画素を、位相差量が求められた画素に対して設定する。ここに、注目画素の画素位置は、Ｒ画像とＢ画像とで同一の（つまり共通の）画素位置である。なお、以下では補正処理として、図１７および図１８を参照して説明したように、平行移動（シフト）を伴わないフィルタのみを用いたカラー化処理を行う場合について説明する。
【０１１６】
（ステップＳ６）
注目画素の位相差量に応じて、Ｒ画像にフィルタリング処理を行うためのＲ画像用フィルタの形状を取得する。ここに、位相差量とＲ画像用のフィルタ形状との関係は、例えば以下の表１に示すようなテーブルとして、撮像装置内に予め保持されている。この表１に示す例では、フィルタ形状を決定するのは、フィルタカーネルの大きさ、フィルタカーネル中心からのガウシアンフィルタのずれ、ガウシアンフィルタの標準偏差σ（この標準偏差σは、ボケフィルタのボケの広がり度合いを示している）である。従って、注目画素の位相差量に基づきテーブル参照を行うことにより、Ｒ画像用フィルタの形状を取得することができる。
［表１］
2013044806.tif 000005
【０１１７】
（ステップＳ７）
次に、Ｒ画像における注目画素とその近傍の画素とでなる近傍領域に対してフィルタリング処理を行い、注目画素におけるフィルタ出力値を取得する。そして、取得したフィルタ出力値を、Ｒコピー画像の注目画素位置にコピーして、Ｒコピー画像を更新する。
【０１１８】
（ステップＳ８）
注目画素の位相差量に応じて、Ｂ画像にフィルタリング処理を行うためのＢ画像用フィルタの形状を取得する。ここに、位相差量とＢ画像用のフィルタ形状との関係は、例えば以下の表２に示すようなテーブルとして、撮像装置内に予め保持されている。この表２に示す例においても、フィルタ形状を決定するのは、フィルタカーネルの大きさ、フィルタカーネル中心からのガウシアンフィルタのずれ、ガウシアンフィルタの標準偏差σである。従って、注目画素の位相差量に基づきテーブル参照を行うことにより、Ｂ画像用フィルタの形状を取得することができる。
［表２］
2013044806.tif 000006
【０１１９】
（ステップＳ９）
次に、Ｂ画像における注目画素とその近傍の画素とでなる近傍領域に対してフィルタリング処理を行い、注目画素におけるフィルタ出力値を取得する。そして、取得したフィルタ出力値を、Ｂコピー画像の注目画素位置にコピーして、Ｂコピー画像を更新する。
【０１２０】
（ステップＳ１０）
画像内における全ての注目画素に対するフィルタリング処理が完了したか否かを判定する。そして、処理が完了するまで、注目画素の位置をずらしながらステップＳ５〜Ｓ９の処理を繰り返して行う。
【０１２１】
こうして、全ての注目画素に対するフィルタリング処理が完了したと判定された場合には、Ｒコピー画像およびＢコピー画像をＲ画像およびＢ画像に対する補正画像として出力し、このカラー化処理を終了する。
【０１２２】
なお、ステップＳ６やステップＳ８において、円型ガウシアンフィルタを用いるのに代えて、図２１や図２２等に示したような楕円型ガウシアンフィルタを用いる場合は、楕円形ガウシアンフィルタの標準偏差値をｘ方向とｙ方向とで別々に設定すると良いために、撮像装置内に保持するフィルタ形状に関するパラメータテーブルは、フィルタカーネル中心からのずれを除いて、例えば以下の表３に示すようになる。
［表３］
2013044806.tif 000007
【０１２３】
ここに記載は省略したが、ステップＳ６において楕円型ガウシアンフィルタを用いる場合のフィルタカーネル中心からのずれは例えば表１と同様、ステップＳ８において楕円型ガウシアンフィルタを用いる場合のフィルタカーネル中心からのずれは例えば表２と同様とすれば良い。
【０１２４】
さらに、上述では表１や表２を参照して、テーブルを用いて位相差量に応じたフィルタの形状を取得する例を説明したが、これに限るものでもない。例えば、フィルタの形状を決定するための各パラメータと位相差量との対応関係を例えば数式等として保持しておいて、位相差量を数式に代入して、演算等によりフィルタの形状を決定するようにしても構わない。
【０１２５】
なお、帯域制限フィルタ１２を介して撮影した画像から位相差を検出する処理および色ズレを補正するカラー化処理は、必ずしも撮像装置という形態において行う必要はなく、撮像装置とは別途の画像処理装置４１（例えば、画像処理プログラムを実行するコンピュータなど）において行うようにしても構わない。
【０１２６】
図２４は２Ｄ実施例１における画像処理装置４１の構成を示すブロック図である。
【０１２７】
この画像処理装置４１は、図１に示した撮像装置のボディユニット２から、撮像機構に係る図示しないレンズマウント、シャッタ２１、撮像素子２２、撮像回路２３、撮像駆動部２４や、レンズユニット１のＡＦ制御に係るコントラストＡＦ制御部３８（ＡＦアシスト制御部３８ａを含む）、レンズユニット１との通信に係るボディ側通信コネクタ３５、被写体の照明に係るストロボ制御回路３３およびストロボ３４、撮像装置の状態を取得するためのセンサ部３１などを取り除き、インターフェース（ＩＦ）２８から入力された情報を記録するための記録部４２をさらに設けたものとなっている。この記録部４２は、インターフェース２８を介して入力し記録した情報を、画像処理部２５へ出力するようになっている。なお、画像処理部２５から記録部４２へ情報を記録することも可能である。そして、記録部４２は、インターフェース２８とともに、システムコントローラ３０Ａ（コントラストＡＦ制御部３８を取り除いたことに伴い、システムコントローラの符号を３０Ａとしている）により制御されるようになっている。また、撮像に係るレリーズボタン等も不要であるために、操作部の符号を３２Ａとしている。
【０１２８】
また、画像処理装置４１における一連の処理は、例えば次のように行う。まず、帯域制限フィルタ１２を備えた撮像装置を用いて、画像を撮影し、撮像回路２３から出力されたままのＲＡＷ画像として記録媒体２９に記録する。さらに、帯域制限フィルタ１２の形状等に係る情報や、撮像光学系９のレンズデータ等も記録媒体２９に併せて記録する。
【０１２９】
次に、この記録媒体２９を画像処理装置４１のインターフェース２８に接続して、画像および各種情報を記録部４２に記録する。記録が終了したら、記録媒体２９はインターフェース２８から取り外しても構わない。
【０１３０】
その後は、記録部４２に記録されている画像および各種情報を読み出して、上述した撮像装置と同様にして、距離演算部３９による位相差の演算を行ったり、色画像生成部３７による色ズレを補正するカラー化処理を行ったり、後述するようなステレオ画像生成部４０による立体視画像の生成処理を行ったりする。
【０１３１】
こうして、画像処理装置４１により処理されたカラー化後の画像や立体視画像は、再び記録部４２に記録される。また、記録部４２に記録されたカラー化後の画像や立体視画像は、表示部に表示されたり、インターフェース２８を介して外部機器に送信されたりする。こうして、外部機器においては、カラー化後の画像や立体視画像を様々な用途に利用することができる。
【０１３２】
このようなカラー化処理の２Ｄ実施例１によれば、ボケフィルタ自体を用いることにより、またはボケフィルタを用いる前に平行移動（シフト）することにより、Ｒ画像およびＢ画像の重心位置を、標準画像であるＧ画像の重心位置に近似させているために、色ずれが軽減された鑑賞用としてより好ましい画像を得ることができる。
【０１３３】
このときさらに、ボケフィルタにより、Ｒ画像およびＢ画像のボケ形状を、標準画像であるＧ画像のボケ形状に近似させているために、自然なボケ形状の、鑑賞用としてより好ましい画像を得ることができる。
［２Ｄ実施例２］
【０１３４】
図２５から図３０はカラー化処理の２Ｄ実施例２を示したものであり、図２５は２Ｄ実施例２において色画像生成部３７により行われるカラー化処理の概要を示す図である。
【０１３５】
この２Ｄ実施例２において、上述の２Ｄ実施例１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１３６】
本２Ｄ実施例は、色画像生成部３７におけるカラー化処理を上述した２Ｄ実施例１とは異ならせたものとなっている。すなわち、上述した２Ｄ実施例１は、色ズレの補正を、ボケフィルタを用いて行っていたが、本２Ｄ実施例は画像のコピー加算処理により行うものとなっている。
【０１３７】
図２５を参照して、被写体が合焦位置よりも遠距離側にある場合の、本２Ｄ実施例におけるカラー化処理の概念を説明する。
【０１３８】
被写体が合焦位置よりも遠距離側にある場合には、図１０に示したように、Ｒ画像のボケは、Ｇ画像のボケの左半分が欠けた形状であり、Ｂ画像のボケは、Ｇ画像のボケの右半分が欠けた形状である。
【０１３９】
そこで、図２５に示すように、Ｒ画像のボケをＧ画像のボケに近似させるために、Ｒ画像のボケを、Ｒ画像のボケの欠損部分へコピー加算し、Ｂ画像のボケを、Ｂ画像のボケの欠損部分へコピー加算するようにしたものである。
【０１４０】
コピー加算する部分領域の形状は、Ｒ画像およびＢ画像におけるボケの欠損部分の各形状と合致することが望ましいが、ここでは処理を簡単にするために、矩形状（例えば正方形状）の領域としている。
【０１４１】
Ｇ画像における円形状をなすボケ拡散領域の中に、ボケ拡散部分領域Ｇ１と、ボケ拡散部分領域Ｇ２と、を示している。ここに、ボケ拡散部分領域Ｇ１とボケ拡散部分領域Ｇ２とは、Ｇ画像の円形状をなすボケ拡散領域の重心を通る縦ラインＣｇに対して左右対称の位置に、同一の大きさとして配置されている。また、部分領域Ｇ１，Ｇ２の大きさは、色ズレ補正の機能を果たすことを考慮すると、円形状をなすボケ拡散領域の半径程度の大きさであることが望ましい。
【０１４２】
一方、Ｒ画像に対して示したボケ拡散部分領域Ｒ１は、ボケ拡散部分領域Ｇ２と同じ大きさで同一位置の領域である。そして、Ｒ画像のボケ拡散領域には、ボケ拡散部分領域Ｇ１と同じ大きさで同一位置のボケ拡散部分領域Ｒ２が不足している。
【０１４３】
同様に、Ｂ画像に対して示したボケ拡散部分領域Ｂ１は、ボケ拡散部分領域Ｇ１と同じ大きさで同一位置の領域である。そして、Ｂ画像のボケ拡散領域には、ボケ拡散部分領域Ｇ２と同じ大きさで同一位置のボケ拡散部分領域Ｂ２が不足している。
【０１４４】
そこで、Ｒ画像のボケ拡散部分領域Ｒ１を、ボケ拡散部分領域Ｇ２を移動させたときにボケ拡散部分領域Ｇ１に完全に重なる移動量（例えば、円形状をなすボケ拡散領域の半径程度の移動量になると考えられる）だけ移動させて、（後述するように、Ｒ画像のコピーであるＲコピー画像に対して）コピー加算することにより、Ｒ画像のボケ拡散部分領域Ｒ２を生成する。このボケ拡散部分領域Ｒ２は、Ｇ画像のボケ拡散部分領域Ｇ１（あるいはＢ画像のボケ拡散部分領域Ｂ１）に相当する領域となる。
【０１４５】
同様に、Ｂ画像のボケ拡散部分領域Ｂ１を、ボケ拡散部分領域Ｇ１を移動させたときにボケ拡散部分領域Ｇ２に完全に重なる移動量（同上）だけ移動させて、（後述するように、Ｂ画像のコピーであるＢコピー画像に対して）コピー加算することにより、Ｂ画像のボケ拡散部分領域Ｂ２を生成する。このボケ拡散部分領域Ｂ２は、Ｇ画像のボケ拡散部分領域Ｇ２（あるいはＲ画像のボケ拡散部分領域Ｒ１）に相当する領域となる。
【０１４６】
このような処理により、Ｒ画像およびＢ画像においてそれぞれ不足しているボケ拡散部分領域を補うことができ、その結果としてＧ画像、Ｒ画像、Ｂ画像のボケ拡散領域を近似させることができる。そして、これにより、Ｒ画像のボケ拡散領域の重心はＧ画像のボケ拡散領域の重心に近接し、Ｂ画像のボケ拡散領域の重心はＧ画像のボケ拡散領域の重心に近接することになる。
【０１４７】
このような処理を、Ｒ画像およびＢ画像の全体に対して行うことにより、色ずれが補正されたカラー画像を得ることができる。
【０１４８】
次に、図２６は２Ｄ実施例２において位相差検出を行う際にＲ画像およびＢ画像に設定する部分領域を示す図、図２７は２Ｄ実施例２においてオリジナルＲ画像のボケ拡散部分領域をＲコピー画像にコピー加算する様子を示す図、図２８は２Ｄ実施例２においてオリジナルＢ画像のボケ拡散部分領域をＢコピー画像にコピー加算する様子を示す図、図２９は２Ｄ実施例２において位相差量に応じてボケ拡散部分領域のサイズを変更する例を示す線図、図３０は２Ｄ実施例２において色画像生成部３７により行われるカラー化処理を示すフローチャートである。図２６〜図２９を適宜参照しながら、図３０に沿って説明する。
【０１４９】
（ステップＳ２１）
この処理を開始すると、初期設定を行う。この初期設定においては、まず、処理対象のＲＧＢ画像（つまり、Ｒ画像、Ｇ画像、およびＢ画像）の読み込みを行う。ここで、入力画像がベイヤー画像である場合には、事前に画像処理部２５においてデモザイキング処理を行っておくものとする。
【０１５０】
次に、Ｒ画像とＢ画像との位相差を補正するのに、Ｒ画像およびＢ画像自体を使用するのに代えて、色差Ｃｒ，Ｃｂを用いることにする。これは、一般的な被写体においては、ＲＧＢ画像よりも色差画像の方が画素値の変動が滑らかであるために、補正処理を安定して行うことができる利点があるためである（ただし、Ｒ画像およびＢ画像をそのまま用いても構わない。この場合には以下の処理において、Ｃｒ→Ｒ,Ｃｂ→Ｂの読み替えを行えば良い）。
【０１５１】
すなわち、例えば下記の数式３に基づき、Ｒ画像とＧ画像との色差量を計算して色差画像であるＣｒ画像を生成するとともに、Ｂ画像とＧ画像との色差量を計算して色差画像であるＣｂ画像を生成する。
［数３］
Ｃｒ＝Ｒ−Ｇ
Ｃｂ＝Ｂ−Ｇ
【０１５２】
なお、ＲＧＢ信号から色差信号Ｃｒ，Ｃｂ（および輝度信号Ｙ）を算出するその他の演算方法としては、
［数４］
Ｙ ＝  ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｒ＝  ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
が広く知られているために、数式３に代えて、数式４を用いても構わない。
【０１５３】
次に、オリジナルのＣｒ画像Ｃｒ０のコピー画像であるＣｒコピー画像Ｃｒ１（図２７参照）と、オリジナルのＣｂ画像Ｃｂ０のコピー画像であるＣｂコピー画像Ｃｂ１（図２８参照）と、を作成する。さらに、Ｃｒコピー画像Ｃｒ１およびＣｂコピー画像Ｃｂ１と同一サイズの、Ｃｒカウント画像およびＣｂカウント画像を生成する（ここに、これらのカウント画像は、画素値の初期値を、全画素について１としておく）。
【０１５４】
（ステップＳ２２）
続いて、位相差検出を行うための部分領域を設定する。ここでは、部分領域を、Ｒ画像とＢ画像との内の何れか一方、ここでは例えばＲ画像に設定する。
【０１５５】
（ステップＳ２３）
ステップＳ２２で設定された部分領域に対する位相差を検出する。この位相差の検出は、Ｒ画像に設定した部分領域を基準画像とし、Ｂ画像における基準画像と同一サイズの部分領域を参照画像として、上述したステップＳ３と同様の処理を図２６に示すように行うことにより、Ｒ画像とＢ画像の間で位相差検出を行う。
【０１５６】
（ステップＳ２４）
ステップＳ２３の処理により得られた位相差量に基づいて、Ｇ画像の円形ボケの半径（または、Ｒ画像およびＢ画像の半円ボケの半径ということもできる）を取得する。ここに、位相差量とＧ画像のボケ半径との関係は、テーブルや数式等として撮像装置内に予め保持されている。従って、位相差量に基づいて、テーブル参照したり、数式を用いた演算を行ったりすることにより、ボケ半径を取得することができる。なお、このステップＳ２４の処理を省略して、ステップＳ２３において取得した位相差量をボケ半径に代えて用いる簡易的な方法を適用しても構わない。この場合には、位相差量とボケ半径との関係を撮像装置内に予め保持しておく必要はない。
【０１５７】
（ステップＳ２５）
次に、オリジナルのＣｒ画像Ｃｒ０から部分領域を読み出して、ステップＳ２３で検出した位相差量に応じた所定量だけずらしてから、Ｃｒコピー画像Ｃｒ１にコピー加算する。ここに、部分領域をずらす所定量は、ずらす方向も含む量であり、その大きさは例えばステップＳ２４において取得したボケ半径とする。上述したステップＳ２１においてＣｒコピー画像Ｃｒ１を作成したのは、コピー加算により画素値が変化しているＣｒコピー画像Ｃｒ１とは別に、オリジナルのＣｒ画像Ｃｒ０を保持しておく必要があるためである（Ｃｂコピー画像Ｃｂ１についても同様）。ただし、部分領域を例えばラスタスキャンの順序でシーケンシャルに処理する代わりに、並列動作により処理する場合などには、コピー画像を用意する必要は必ずしもない。
【０１５８】
（ステップＳ２６）
続いて、Ｃｒカウント画像の「ステップＳ２５においてコピー加算処理を行った位置」の領域に、加算された回数が分かるように＋１を加算する。このＣｒカウント画像は、後段のステップＳ３０において、画素値の正規化処理を行うために利用する。
【０１５９】
（ステップＳ２７）
また、オリジナルのＣｂ画像Ｃｂ０における「ステップＳ２５においてＣｒコピー画像Ｃｒ１にコピーした位置」と同一の位置から部分領域を読み出して、Ｃｂコピー画像Ｃｂ１の「ステップＳ２５においてオリジナルのＣｒ画像Ｃｒ０からコピー元のデータを取得した位置」にコピー加算する。これにより、Ｃｂ画像をずらす所定量は、Ｃｒ画像をずらす所定量と絶対値が同じで向きが逆となる。
【０１６０】
（ステップＳ２８）
そして、Ｃｂカウント画像の「ステップＳ２５においてオリジナルのＣｒ画像Ｃｒ０からコピー元のデータを取得した位置」（つまり、ステップＳ２７においてコピー加算処理を行った位置）の領域に、加算された回数が分かるように＋１を加算する。このＣｂカウント画像も、後段のステップＳ３０において、画素値の正規化処理を行うために利用する。
【０１６１】
なお、上述したステップＳ２５やステップＳ２７においては、コピー加算処理を画像の部分領域毎に行っているが、この部分領域は、ステップＳ２３において位相差検出処理を行った部分領域と同一であっても良い一方で、位相差検出処理とは異なる大きさの部分領域としても構わない。
【０１６２】
また、コピー加算処理に用いる部分領域の大きさは、画像全体で一定（すなわち、グローバルな大きさ）としても構わないが、画像内に設定する各部分領域毎に異ならせても（すなわち、ローカルな大きさとしても）良い。
【０１６３】
例えば、ステップＳ２５〜Ｓ２８で用いる部分領域の大きさを、ステップＳ２３において検出された位相差量に応じて、図２９に示すように変化させても良い。
【０１６４】
この図２９に示す例では、位相差量が０である場合に、部分領域の縦サイズおよび横サイズは共に１となり、部分領域は１画素となる。なお、この場合には、位相差量が０であるために上述したコピー加算処理も行わないことになり、実質的に何の処理も行わないことになる。従って、位相差量が０であるか否かに応じて処理を分岐させて、位相差量が０であるときには何の処理も行わないようにしても良い。
【０１６５】
また、図２９に示す例では、位相差量に比例して、部分領域の大きさが大きくなるように構成されている。このときの直線の傾きは、光学系の構成に応じて適切に設定することになるために、図２９には具体的なスケールを示していない。
【０１６６】
なお、図２９には、位相差量と部分領域の大きさとの関係が比例関係となる例を示しているが、勿論、比例関係とするに限るものではなく、例えば主観的な画質の評価に応じて位相差量に対する部分領域の大きさが適切となるように設計しても良い。
【０１６７】
また、点光源からの光線がボケとなるときの拡散量（ＰＳＦ（Point Spread Function：点広がり関数）の点拡がりの量）は、ボケが発生している領域内において均一であるとは限らず、例えばボケの周辺部においては中央部よりも拡散量が少ない（つまり、輝度が低い）ことなどが考えられる。そこで、上述したような部分領域のコピー加算を行うときに、ボケの拡散量に応じた重み係数を乗算するようにしても良い。例えば、部分領域の周辺部の各画素には１／２の重み係数を乗算し、部分領域の中央部の各画素には１の重み係数を乗算してから、コピー加算を行うなどである。このときには、ステップＳ２６およびステップＳ２８におけるカウント画像も、部分領域の周辺部については１／２を加算し、部分領域の中央部については１を加算することになる。
【０１６８】
（ステップＳ２９）
その後、画像内における全ての部分領域に対する処理が完了したか否かを判定する。そして、処理が完了するまで、部分領域の位置をずらしながらステップＳ２２〜Ｓ２８の処理を繰り返して行う。ここに、部分領域をずらすときのステップは任意の値を設定可能であるが、部分領域の幅よりも小さい値であることが好ましい。
【０１６９】
（ステップＳ３０）
こうして、ステップＳ２９において全ての部分領域に対する処理が完了したと判定された場合には、同一画素位置毎に、Ｃｒコピー画像の画素値をＣｒカウント画像の画素値で割ることにより正規化されたＣｒコピー画像を得るとともに、Ｃｂコピー画像の画素値をＣｂカウント画像の画素値で割ることにより正規化されたＣｂコピー画像を得る。
【０１７０】
（ステップＳ３１）
そして、Ｇ画像（またはＹ画像）と、ステップＳ３０において正規化されたＣｒコピー画像およびＣｂコピー画像と、を用いて、Ｒ画像、Ｂ画像、Ｇ画像を生成する。ここに、色差画像の算出に数式３を用いた場合には、
［数５］
Ｒ＝Ｃｒ＋Ｇ
Ｂ＝Ｃｂ＋Ｇ
を用いてＲ画像およびＢ画像を生成する（なお、Ｇ画像は、ステップＳ２２におけるＧ画像をそのまま用いる）。
【０１７１】
また、色差画像の算出に数式４を用いた場合には、
［数６］
Ｒ＝Ｙ＋１．４０２００Ｃｒ
Ｇ＝Ｙ−０．７１４１４Ｃｒ−０．３４４１４Ｃｂ
Ｂ＝Ｙ                    ＋１．７７２００Ｃｂ
を用いてＲ画像、Ｂ画像、Ｇ画像を生成する。
【０１７２】
このステップＳ３１において算出されたＲＧＢ画像が、色画像生成部３７におけるカラー化処理により得られた画像となる。
【０１７３】
このようなカラー化処理の２Ｄ実施例２によれば、画像のコピー加算処理により色ズレの補正を行うことにより、上述した２Ｄ実施例１とほぼ同様の効果を奏することができる。
【０１７４】
また、コピー加算を行う場合には、フィルタリング処理の場合よりも処理負荷を軽減することが可能となる利点がある。従って、処理回路の低コスト化や、低消費電力化を図ることもできる。
［２Ｄ実施例３］
【０１７５】
図３１から図３４はカラー化処理の２Ｄ実施例３を示したものであり、図３１は２Ｄ実施例３において位相差量に応じた各色のＰＳＦのテーブルの概要を示す図、図３２は２Ｄ実施例３において色画像生成部３７により行われるカラー化処理の概要を示す図、図３３は２Ｄ実施例３において色画像生成部３７により行われるボケ量コントロールを伴うカラー化処理の概要を示す図、図３４は２Ｄ実施例３において色画像生成部３７により行われるカラー化処理を示すフローチャートである。
【０１７６】
この２Ｄ実施例３において、上述の２Ｄ実施例１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１７７】
本２Ｄ実施例は、色画像生成部３７におけるカラー化処理を上述した２Ｄ実施例１，２と異ならせたものとなっている。すなわち、本２Ｄ実施例は、カラー化処理を、ぼけた画像をぼけていない画像に復元する復元処理（逆フィルタリング処理）と、復元されたぼけていない画像を被写体距離に応じた円形のボケ形状が得られるようにするフィルタリング処理と、を組み合わせることにより行うものとなっている。
【０１７８】
図３に示したような帯域制限フィルタ１２を用いた場合には、位相差量に応じて、ＲＧＢ各色のＰＳＦは、図３１に示すように変化する。なお、この図３１において、点光源からの光が到達しない暗部にはハッチングを付している。
【０１７９】
例えば、Ｒ画像のＰＳＦであるＰＳＦｒは、位相差量の絶対値が大きくなるほど、大きな半月形状を示し、位相差量が０、つまり合焦位置においては１点に収束する。さらに、合焦位置よりも近距離である場合には図３１の上半分に示すように左半月形状であるが、合焦位置よりも遠距離である場合には図３１の下半分に示すように右半月形状となる。
【０１８０】
同様に、Ｂ画像のＰＳＦであるＰＳＦｂは、位相差量の絶対値が大きくなるほど、大きな半月形状を示し、位相差量が０、つまり合焦位置においては１点に収束する。さらに、合焦位置よりも近距離である場合には図３１の上半分に示すように右半月形状であるが、合焦位置よりも遠距離である場合には図３１の下半分に示すように左半月形状となる。
【０１８１】
さらに、Ｇ画像のＰＳＦであるＰＳＦｇは、位相差量の絶対値が大きくなるほど、大きな満月形状を示し、位相差量が０、つまり合焦位置においては１点に収束する。また、ＰＳＦｇは、１点に収束したときを除いて、合焦位置よりも近距離であるか遠距離であるかに関わらず、常に満月形状である。
【０１８２】
この図３１に示したような、位相差量に応じた各色のＰＳＦのテーブルが、例えば色画像生成部３７内の図示しない不揮発性メモリに予め記憶されているものとする（ただし、図１に示したようなレンズ交換式の撮像装置の場合には、レンズ制御部１４内に記憶されているテーブルを、通信により受信して用いても勿論構わない）。
【０１８３】
このようなＰＳＦを用いた復元処理およびフィルタリング処理について、図３２を参照して説明する。この図３２は、被写体が合焦位置よりも遠距離である場合の例であるが、被写体が合焦位置よりも近距離である場合にも同様の処理を適用することができる。
【０１８４】
まず、Ｒ画像にＰＳＦｒの逆演算（右肩の−１が逆演算であることを示している。以下同様。）を行うことにより、右半円形状のボケを、点光源が１点に収束するボケのない像（復元第１画像と復元第２画像との何れか一方）に変換する。同様に、Ｂ画像にＰＳＦｂの逆演算を行うことにより、左半円形状のボケを、点光源が１点に収束するボケのない像（復元第１画像と復元第２画像との何れか他方）に変換する。このような処理により、Ｒ画像およびＢ画像の復元処理を行う。
【０１８５】
次に、復元処理されたＲ画像および復元処理されたＢ画像に対して、Ｇ画像に対するＰＳＦであるＰＳＦｇをそれぞれ作用させる。これにより、Ｒ画像およびＢ画像に、Ｇ画像と同様の満月形状のボケが生成される。
【０１８６】
具体的な処理は、次のようにして行う。
【０１８７】
まず、ある画素位置におけるＲ画像のボケのＰＳＦがＰｒ１、Ｂ画像の同一画素位置におけるボケのＰＳＦがＰｂ１、Ｇ画像の同一画素位置におけるボケのＰＳＦがＰｇ１であるとする。ボケのＰＳＦは、図３１に示したように、Ｒ画像とＢ画像との間の位相差に応じて異なり、位相差は基本的に画素位置毎に異なるために、ＰＳＦは各画素位置毎に決定されるものとなる。また、ＰＳＦは、着目画素位置を中心として、近傍の複数画素を含む部分領域に対して定義されているものとする（図３１参照）。
【０１８８】
処理を開始すると、着目画素に対して求められた位相差を取得し、図３１に示したようなテーブルを参照することにより、Ｒ画像における着目画素を中心としたＰＳＦであるＰｒ１と、Ｂ画像における同一位置の着目画素を中心としたＰＳＦであるＰｂ１と、Ｇ画像における同一位置の着目画素を中心としたＰＳＦであるＰｇ１と、を取得する。
【０１８９】
次に、取得したＰｒ１、Ｐｂ１、およびＰｇ１と、Ｒ画像における着目画素を中心とする部分領域ｒと、Ｂ画像における着目画素を中心とする部分領域ｂと、に対して次の数式７に示すように、２次元フーリエ変換ＦＦＴ２を行い、各変換後の値ＰＲ１，ＰＢ１，ＰＧ１，Ｒ，Ｂを得る。
［数７］
ＰＲ１＝ＦＦＴ２（Ｐｒ１）
ＰＢ１＝ＦＦＴ２（Ｐｂ１）
ＰＧ１＝ＦＦＴ２（Ｐｇ１）
Ｒ ＝ＦＦＴ２（ｒ）
Ｂ ＝ＦＦＴ２（ｂ）
【０１９０】
次に、下記の数式８に示すように、ＲをＰＲ１で除算し、ＢをＰＢ１で除算することにより復元処理を行い、さらにそれぞれにＰＧ１を乗算することによりフィルタリング処理を行って、その結果に２次元逆フーリエ変換ＩＦＦＴ２を施し、Ｇ画像と同様のボケが得られたＲ画像ｒ’およびＢ画像ｂ’を算出する。
［数８］
ｒ’＝ＩＦＦＴ２（Ｒ×ＰＧ１／ＰＲ１）
ｂ’＝ＩＦＦＴ２（Ｂ×ＰＧ１／ＰＢ１）
【０１９１】
なお、数式８の逆フィルタリング処理による復元処理をより安定的にするために、以下の数式９のように復元処理の復元量を制御しても構わないものとする（ウィナーフィルターの方式）。
［数９］
ｒ’＝ＩＦＦＴ２（Ｒ×ＰＧ１／ＰＲ１×｜ＰＲ１｜^2／（｜ＰＲ１｜^2＋Γ））
ｂ’＝ＩＦＦＴ２（Ｂ×ＰＧ１／ＰＢ１×｜ＰＢ１｜^2／（｜ＰＢ１｜^2＋Γ））
ここに、数式９における記号「^2」は２乗を表し（以下同様）、ΓはＰＲ１、ＰＢ１の形状に応じて適切に設定される任意の定数である。
【０１９２】
この数式９のような処理を採用することにより、復元処理時のノイズの増幅が抑制され、より好ましいＲ画像、Ｂ画像を生成することができる。
【０１９３】
なお、Γの設定方法として、例えばＰＲ１の周波数係数の絶対値｜ＰＲ１｜、｜ＰＢ１｜と、この絶対値｜ＰＲ１｜、｜ＰＢ１｜に対するΓの好ましい値との関係を撮像装置内に予め保持しておき、この関係に基づいて周波数係数毎にΓを指定する方法が考えられる。また、その他の方法としては、撮像装置の各種パラメータ（ＩＳＯ値、焦点距離、開口値など）に基づいて、画像に含まれるノイズ量を推定し、推定したノイズ量に応じてΓを変化させる構成（例えば、ＩＳＯ２００の場合Γ＝０．０１とし、ＩＳＯ８００の場合Γ＝０．０４とするなど）を採用しても構わない。
【０１９４】
上述したような復元処理およびフィルタリング処理は、画像の部分領域毎に行い、ある部分領域で補正処理が完了したら、次に位置を少しずらして部分領域を指定し、指定した部分領域に対して再び同様の復元処理およびフィルタリング処理を行う。このような処理を繰り返して行うことにより、復元処理およびフィルタリング処理を画像の全領域に対して行う。その後、重複して処理された画素位置に関しては、その画素位置で処理された複数の補正画素値の総和を補正回数で割って平均化することにより、正規化された補正画像を得る。
【０１９５】
なお、復元処理およびフィルタリング処理を行う部分領域の大きさは、ボケの形状よりも大きいことが好ましい。従って、ボケの大きさに応じて、部分領域の大きさを適応的に変化させることが考えられる。あるいは、位相差に応じてボケの形状がどの範囲で変化するかが予め分かっている場合には、そのボケの最大サイズ以上の部分領域を固定的に用いるようにしても良い。
【０１９６】
次に、図３４を参照して、色画像生成部３７により行われる上述したような復元処理およびフィルタリング処理によるカラー化処理の流れについて説明する。
【０１９７】
（ステップＳ４１）
この処理を開始すると、初期設定を行う。この初期設定においては、まず、処理対象のＲＧＢ画像（つまり、Ｒ画像、Ｇ画像、およびＢ画像）の読み込みを行う。次に、Ｒ画像のコピーであるＲコピー画像と、Ｂ画像のコピーであるＢコピー画像と、を作成する。
【０１９８】
続いて、Ｒコピー画像およびＢコピー画像と同一サイズの、Ｒカウント画像およびＢカウント画像を生成する（ここに、これらのカウント画像は、画素値の初期値を、全画素について１としておく）。
【０１９９】
（ステップＳ４２）
続いて、位相差検出を行うための部分領域を設定する。ここでは、部分領域を、Ｒ画像とＢ画像との内の何れか一方、ここでは例えばＲ画像に設定する。
【０２００】
（ステップＳ４３）
ステップＳ４２で設定された部分領域に対する位相差を検出する。この位相差の検出は、Ｒ画像に設定した部分領域を基準画像とし、Ｂ画像における基準画像と同一サイズの部分領域を参照画像として、上述したステップＳ３と同様の処理を図２６に示したように行うことにより、Ｒ画像とＢ画像の間で位相差検出を行う。
【０２０１】
（ステップＳ４４）
ステップＳ４３の処理により得られた位相差量に基づいて、Ｇ画像の円形ボケの半径（または、Ｒ画像およびＢ画像の半円ボケの半径ということもできる）を、上述したステップＳ２４と同様にして取得する。
【０２０２】
（ステップＳ４５）
次に、オリジナルのＲ画像に対して、上述したステップＳ４２で指定した部分領域に対して、上述したような復元処理およびフィルタリング処理を行う。こうして得られた処理結果を、Ｒコピー画像におけるオリジナルのＲ画像の部分領域と同位置にコピー加算する。なお、ここでは、カラー化処理を行うための部分領域を、位相差検出を行うための部分領域と同一とする例について説明するが、勿論異なる領域を設定しても構わないし、上述したように、検出された位相差に応じた適応的な大きさの部分領域としても良い（後述するＢ画像についても同様）。
【０２０３】
（ステップＳ４６）
続いて、Ｒカウント画像の「ステップＳ４２で指定した部分領域」に、加算された回数が分かるように＋１を加算する。このＲカウント画像は、後段のステップＳ５０において、画素値の正規化処理を行うために利用する。
【０２０４】
（ステップＳ４７）
また、オリジナルのＢ画像に対して、上述したステップＳ４２で指定した部分領域に対して、上述したような復元処理およびフィルタリング処理を行う。こうして得られた処理結果を、Ｂコピー画像におけるオリジナルのＢ画像の部分領域と同位置にコピー加算する。
【０２０５】
（ステップＳ４８）
そして、Ｂカウント画像の「ステップＳ４２で指定した部分領域」に、加算された回数が分かるように１を加算する。このＢカウント画像も、後段のステップＳ５０において、画素値の正規化処理を行うために利用する。
【０２０６】
（ステップＳ４９）
その後、画像内における全ての部分領域に対する処理が完了したか否かを判定する。そして、処理が完了するまで、部分領域の位置をずらしながらステップＳ４２〜Ｓ４８の処理を繰り返して行う。ここに、部分領域をずらすときのステップは任意の値を設定可能であるが、部分領域の幅よりも小さい値であることが好ましい。
【０２０７】
（ステップＳ５０）
こうして、ステップＳ４９において全ての部分領域に対する処理が完了したと判定された場合には、同一画素位置毎に、Ｒコピー画像の画素値をＲカウント画像の画素値で割ることにより正規化されたＲコピー画像を得るとともに、Ｂコピー画像の画素値をＢカウント画像の画素値で割ることにより正規化されたＢコピー画像を得る。このステップＳ５０において算出されたＲＧＢ画像が、色画像生成部３７におけるカラー化処理により得られた画像となる。
【０２０８】
こうして、ステップＳ５０の処理が終了したところで、この図３４に示す処理を終了する。
【０２０９】
なお、上述では、フーリエ変換を利用して実空間から周波数空間へ変換した後に、復元処理およびフィルタリング処理を行っている。しかし、これに限るものではなく、実空間における（例えばＭＡＰ推定処理などの）復元処理やフィルタリング処理を適用しても構わない。
【０２１０】
また、上述ではＲ画像およびＢ画像のボケ形状をＧ画像のボケ形状に整合させる処理を行っているが、これに加えて、ボケ量コントロールを行うようにしても構わない。
【０２１１】
この場合には、図３３に示すように、まず、Ｒ画像にＰＳＦｒの逆演算を、Ｂ画像にＰＳＦｂの逆演算を、それぞれ行うとともに、さらに、Ｇ画像にＰＳＦｇの逆演算を行うことにより円形状のボケを点光源が１点に収束するボケのない像（復元第３画像）に変換する。これにより、Ｒ画像、Ｂ画像、およびＧ画像の復元が行われる。
【０２１２】
次に、復元処理されたＲ画像、Ｂ画像、およびＧ画像に対して、Ｇ画像に対する所望のＰＳＦであるＰＳＦ’ｇをそれぞれ作用させる。これにより、Ｒ画像、Ｂ画像、およびＧ画像に、所望の大きさの満月形状のボケを生成し、ボケ量コントロールを行うことができる。
【０２１３】
具体的には、図３１に示したようなテーブルを参照することにより、Ｇ画像における同一位置の着目画素を中心としたＰＳＦとして、所望のＰｇ１’をさらに取得しておく。
【０２１４】
次に、上述した数式７の処理に加えて、さらに、取得したＰｇ１’と、Ｇ画像における着目画素を中心とする部分領域ｇと、に対して次の数式１０に示すように、２次元フーリエ変換ＦＦＴ２を行い、各変換後の値ＰＧ１’，Ｇを得る。
［数１０］
ＰＧ１’＝ＦＦＴ２（Ｐｇ１’）
Ｇ ＝ＦＦＴ２（ｇ）
【０２１５】
そして、下記の数式１１に示すように、ＲをＰＲ１で除算し、ＢをＰＢ１で除算し、ＧをＰＧ１で除算することにより復元処理を行い、さらにそれぞれにＰＧ１’を乗算することによりフィルタリング処理を行って、その結果に２次元逆フーリエ変換ＩＦＦＴ２を施し、所望のボケ量のボケが得られたＲ画像ｒ”、Ｂ画像ｂ”、およびＧ画像ｇ”を算出する。
［数１１］
ｒ”＝ＩＦＦＴ２（Ｒ×ＰＧ１’／ＰＲ１）
ｂ”＝ＩＦＦＴ２（Ｂ×ＰＧ１’／ＰＢ１）
ｇ”＝ＩＦＦＴ２（Ｇ×ＰＧ１’／ＰＧ１）
【０２１６】
なお、上述した数式９と同様に、数式１１に代えて、次の数式１２に示すようなウィナーフィルターの方式を採用しても構わない。
［数１２］
ｒ”＝ＩＦＦＴ２（Ｒ×ＰＧ１’／ＰＲ１×｜ＰＲ１｜^2／（｜ＰＲ１｜^2＋Γ））
ｂ”＝ＩＦＦＴ２（Ｂ×ＰＧ１’／ＰＢ１×｜ＰＢ１｜^2／（｜ＰＢ１｜^2＋Γ））
ｇ”＝ＩＦＦＴ２（Ｇ×ＰＧ１’／ＰＧ１×｜ＰＧ１｜^2／（｜ＰＧ１｜^2＋Γ））
ここに、ΓはＰＲ１、ＰＢ１、ＰＧ１の形状に応じて適切に設定される任意の定数である。
【０２１７】
このようなカラー化処理の２Ｄ実施例３によれば、ＰＳＦを用いた復元処理およびフィルタリング処理による色ズレ補正を行うことにより、上述した２Ｄ実施例１，２とほぼ同様の効果を奏することができる。
【０２１８】
さらに、Ｇ画像についても復元処理を行い、その後にＧ画像に対する任意のＰＳＦを用いたフィルタリング処理をＲ画像、Ｂ画像、およびＧ画像に対して行えば、ＲＧＢカラー画像のボケ量を所望にコントロールすることも可能となる。
【０２１９】
上述した２Ｄ実施例１〜３の何れかの処理を行うことにより、色ズレのない２次元画像が生成される。本３Ｄ実施例のステレオ画像生成部４０は、この色ズレのない２次元画像と、位相差情報とに基づいて、カラーの立体視画像（３Ｄ画像）を生成するものとなっている。
【０２２０】
図３５はカラー化処理後の２次元画像から左目画像および右目画像を生成する様子を示す図、図３６はステレオ画像生成部４０による立体視画像の生成処理を示すフローチャートである。
【０２２１】
（ステップＳ６１）
この処理を開始すると、初期設定を行う。この初期設定においては、まず、カラー化処理により色ズレが補正されたカラー画像ＲＧＢ０（図３５参照）の読み込みを行う。次に、処理対象となる画像の各部分領域に対応する位相差量の情報を予め用意しておく。ここに位相差量の情報は、２Ｄ実施例１〜３の何れかのカラー化処理において既に取得されているために、この情報を用いるものとする（ただし、位相差量が取得されていない画素がある場合（例えば、デモザイキング前の画像に基づき位相差量が取得された場合や、位相差量を取得することができなかった画素が存在した場合など）には、補間処理等を行うことにより、全画素についての位相差量を生成しておく）。さらに、左目画像ＲＧＢ−Ｌおよび右目画像ＲＧＢ−Ｒと、左目カウント画像および右目カウント画像とを生成する（ここに、これら４つの各画像は、画素値の初期値を、全画素について０としておく）。
【０２２２】
（ステップＳ６２）
次に、色ズレが補正されたカラー画像ＲＧＢ０に、図３５に示すように部分領域を設定する。この部分領域の大きさは、位相差量の計測に利用した部分領域と同サイズであってもよいが、任意の大きさであっても構わない。例えば、図２９を参照して説明したのと同様に、位相差量に応じて（例えば、比例して）部分領域の大きさが大きくなるようにしても構わない。
【０２２３】
（ステップＳ６３）
続いて、ステップＳ６１において予め用意しておいた位相差量の情報から、ステップＳ６２において設定した部分領域に対応する位相差量を取得する。
【０２２４】
（ステップＳ６４）
そして、Ｒ画像とＢ画像との間に生じている位相差量（位相差の方向および位相差の大きさ）に応じて、カラー画像ＲＧＢ０の部分領域を、左目画像ＲＧＢ−Ｌ内の位相差量の２分の１だけずらした部分領域にコピー加算する（図３５参照）。
【０２２５】
（ステップＳ６５）
さらに、左目カウント画像の「ステップＳ６４でコピー加算された部分領域」と同一領域における各画素の画素値に、＋１を加算する。この左目カウント画像は、後段のステップＳ６９において、画素値の正規化処理を行うために利用する。
【０２２６】
（ステップＳ６６）
同様に、Ｒ画像とＢ画像との間に生じている位相差量に応じて、カラー画像ＲＧＢ０の部分領域を、右目画像ＲＧＢ−Ｒ内の位相差量の２分の１だけステップＳ６４とは逆方向にずらした部分領域にコピー加算する（図３５参照）。
【０２２７】
（ステップＳ６７）
さらに同様に、右目カウント画像の「ステップＳ６６でコピー加算された部分領域」と同一領域における各画素の画素値に、＋１を加算する。この右目カウント画像は、後段のステップＳ６９において、画素値の正規化処理を行うために利用する。
【０２２８】
（ステップＳ６８）
その後、カラー画像ＲＧＢ０内における全ての部分領域に対する処理が完了したか否かを判定する。そして、処理が完了するまで、部分領域の位置をずらしながらステップＳ６２〜Ｓ６７の処理を繰り返して行う。ここに、部分領域をずらすときのステップは任意の値を設定可能であるが、部分領域の幅よりも小さい値であること（すなわち、部分領域が重複しながら順次設定されていくこと）が好ましい。具体例を挙げれば、サイズが５１×５１［ピクセル］である部分領域に対して、１０［ピクセル］ずつずらしながら部分領域を設定する等が挙げられる。ただし、重複しなければならないものではなく、タイルを敷き詰めるように設定しても構わない（例えばサイズが５１×５１［ピクセル］の部分領域に対して、５１［ピクセル］ずつずらしながら部分領域を設定するなど）。
【０２２９】
（ステップＳ６９）
こうして、ステップＳ６８において全ての部分領域に対する処理が完了したと判定された場合には、同一画素位置毎に、左目画像ＲＧＢ−Ｌの画素値を左目カウント画像の画素値で割ることにより正規化された左目画像を得るとともに、右目画像ＲＧＢ−Ｒの画素値を右目カウント画像の画素値で割ることにより正規化された右目画像を得る。なお、この処理を終えたところで、画素値が与えられていない画素が残っている場合には、補間処理を行って該画素の画素値を与えるものとする。
【０２３０】
こうして、ステップＳ６９の処理が終了したところで、この図３４に示す処理を終了する。
【０２３１】
なお、上述では、カラー画像ＲＧＢ０の部分領域を左目画像ＲＧＢ−Ｌおよび右目画像ＲＧＢ−Ｒへコピー加算する際に、位相差量の２分の１だけ部分領域をずらしているが、これは、位相差量の２分の１であることが実際に観測された立体視画像の視差量に忠実であり好ましいためである。しかし、これに限るものではない。例えば、取得された位相差量に１よりも大きい所定の定数を乗算した値を補正された位相差量として用いれば、立体感をより際立たせた立体視画像を生成することができる。また、取得された位相差量に１よりも小さい所定の定数を乗算した値を補正された位相差量として用いれば、立体感をより抑制した立体視画像を生成することができる。このような位相差量に乗算する所定の定数は、立体視画像を表示部２７に表示しながら、表示された画像を見たユーザが撮像装置の操作部３２を操作することにより、好みに応じて調整することができるようにしても良い（ＧＵＩを介したユーザによる所望の調整）。あるいは、撮影対象である被写体に応じて（例えば、被写体が人物であるか否かや、被写体までの距離、構図などに応じて）、適切な立体感が得られるようにシステムコントローラ３０が自動的に設定するようにしても良い。
【０２３２】
このような３Ｄ実施例１によれば、帯域によって撮像光学系の異なる瞳領域を通過した光により撮影された画像から、鑑賞用として好ましいカラーの立体視画像を得ることができる。
【０２３３】
さらに、本３Ｄ実施例１においてはカラー化処理を行った結果を利用してカラーの立体視画像を生成するようにしているために、処理過程で得られるカラー化処理後の画像を保存しておけば、立体視画像と色ズレの低減されたカラー化後の画像とを両方とも取得し、所望に観察することができる利点がある。
［３Ｄ実施例２］
【０２３４】
図３７から図４０は本発明の実施形態に係る３Ｄ実施例２を示したものであり、図３７は立体視画像の生成処理において合焦位置よりも遠距離側にある被写体の像から左目画像を生成する際のシフトの様子を示す図、図３８は立体視画像の生成処理において合焦位置よりも遠距離側にある被写体の像から右目画像を生成する際のシフトの様子を示す図、図３９はシフト後の左目画像における各色のボケ形状を近似させるフィルタ処理を行った後の様子を示す図、図４０はシフト後の右目画像における各色のボケ形状を近似させるフィルタ処理を行った後の様子を示す図である。
【０２３５】
この３Ｄ実施例２において、上述の３Ｄ実施例１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２３６】
上述した３Ｄ実施例１は、色画像生成部３７によるカラー化処理の結果を利用して立体視画像を生成するものであったが、本３Ｄ実施例２は、カラー化処理の結果を要することなく立体視画像を生成するようにしたものである。
【０２３７】
以下においても説明を簡単にするために、被写体が合焦位置よりも遠距離側にある場合を例に挙げて説明するが、被写体が合焦位置よりも近距離側にある場合でも以下の処理を適宜変更すれば同様に適用することが可能である。
【０２３８】
まず、図３に示したような帯域制限フィルタ１２を用いた場合には、被写体が合焦位置よりも遠距離側にあると、各色画像のボケは図１０に示すようになる。
【０２３９】
図３を見れば分かるように、ＲＧフィルタ１２ｒは左目側に位置し、ＧＢフィルタ１２ｂは右目側に位置している。従って、図１０に示すＲ成分の被写体像ＩＭＧｒの重心位置Ｃｒが左目画像における各色成分の重心位置となるべき位置であり、図１０に示すＢ成分の被写体像ＩＭＧｂの重心位置Ｃｂが右目画像における各色成分の重心位置となるべき位置である。
【０２４０】
そこでまず、図２６を参照して説明したように、位相差量の検出を行う。
【０２４１】
そして、左目画像を生成する際には、図３７に示すように、Ｂ成分の被写体像ＩＭＧｂを位相差量だけ移動（シフト）させて重心位置をＲ成分の被写体像ＩＭＧｒの重心位置Ｃｒに一致（あるいは近接）させ、Ｇ成分の被写体像ＩＭＧｇを位相差量の１／２だけ移動させて重心位置をＲ成分の被写体像ＩＭＧｒの重心位置Ｃｒに一致（あるいは近接）させる。
【０２４２】
同様に、右目画像を生成する際には、図３８に示すように、Ｒ成分の被写体像ＩＭＧｒを位相差量だけ移動（シフト）させて重心位置をＢ成分の被写体像ＩＭＧｂの重心位置Ｃｂに一致（あるいは近接）させ、Ｇ成分の被写体像ＩＭＧｇを位相差量の１／２だけ移動させて重心位置をＢ成分の被写体像ＩＭＧｂの重心位置Ｃｂに一致（あるいは近接）させる。
【０２４３】
こうして、図３７、図３８に示したシフトが行われた後のカラー画像が、シフトカラー画像である。
【０２４４】
次に、シフト後の左目画像におけるＲ画像およびＢ画像に対して、例えば図２０に示したような円型ガウシアンフィルタ、あるいは図２１や図２２に示したような楕円型ガウシアンフィルタ等のフィルタカーネルを有するボケフィルタを作用させることにより、図３９に示すように、ボケ形状をＧ画像に近似させる。
【０２４５】
さらに、シフト後の右目画像におけるＲ画像およびＢ画像に対して、左目画像と同様の図２０に示したような円型ガウシアンフィルタ、あるいは図２１や図２２に示したような楕円型ガウシアンフィルタ等のフィルタカーネルを有するボケフィルタを作用させることにより、図４０に示すように、ボケ形状をＧ画像に近似させる。
【０２４６】
なお、楕円型ガウシアンフィルタを用いる場合に、例えば表３に示したように、位相差に応じてフィルタ形状を変化させながらフィルタリング処理を行うことは、上述と同様である。
【０２４７】
また、ここではＲ画像およびＢ画像のボケ形状をＧ画像のボケ形状に近似させるためにボケフィルタを用いる例を説明したが、カラー化処理の２Ｄ実施例３に対して図３１〜図３４を参照して説明したのとほぼ同様に、復元処理とフィルタリング処理とを組み合わせることにより、ボケの形状を近似させ、あるいはさらにボケの大きさをコントロールするようにしても構わない。
【０２４８】
さらに、本３Ｄ実施例２においても、シフトさせる移動量を、補正された位相差量（位相差量に所定の定数を乗算した値）に基づき大きくしたり小さくしたりするようにして、立体感をより際立たせたり、立体感をより抑制したりしても構わない。
【０２４９】
このような３Ｄ実施例２によれば、上述した３Ｄ実施例１とほぼ同様の効果を奏するとともに、カラー化処理を行う必要がないために、立体視画像のみを取得したい場合に処理の負荷を軽減することが可能となる。
［実施形態１］
【０２５０】
図４１および図４２は本発明の実施形態１を示したものであり、図４１は撮像装置の表示部に表示される位相差画像の例を示す図、図４２は撮像装置における表示処理を示すフローチャートである。
【０２５１】
本実施形態の撮像装置は、図１に示したように構成されており、複数の波長帯域の光をそれぞれ受光して光電変換し、第１の帯域の第１の画像と第２の帯域の第２の画像と第３の帯域の第３の画像とを生成するカラーの撮像素子２２と、被写体像を撮像素子２２に結像する撮像光学系９と、撮像光学系９を経て撮像素子２２に至る撮影光束の光路上に配設されていて、撮像光学系９の瞳領域の一部である第１の領域を通過しようとする撮影光束中の第１の帯域の光を遮断し第２の帯域および第３の帯域の光を通過させる第１の帯域制限と、撮像光学系９の瞳領域の他の一部である第２の領域を通過しようとする撮影光束中の第２の帯域の光を遮断し第１の帯域および第３の帯域の光を通過させる第２の帯域制限と、を行う帯域制限フィルタ１２と、第１の画像と第２の画像との位相差量を演算する距離演算部３９と、距離演算部３９により演算された位相差量に基づき、第２の画像および第３の画像のボケの重心位置を第１の画像のボケの重心位置の方向へ移動させた一の片目用カラー画像を生成するとともに、第１の画像および第３の画像のボケの重心位置を第２の画像のボケの重心位置の方向へ移動させた他の片目用カラー画像を生成することにより、カラーの立体視画像を生成するステレオ画像生成部４０と、第１の画像と第２の画像との位相差を示す位相差画像として、一の片目用カラー画像と他の片目用カラー画像とを同時に表示する表示部２７と、を備えている。
【０２５２】
ここに、本実施形態においては、例えば上述したように、第１の帯域と第２の帯域との内の、一方の帯域が青（Ｂ）の帯域、他方の帯域が赤（Ｒ）の帯域であり、第３の帯域は緑（Ｇ）の帯域である。
【０２５３】
そして、図４１に示すように、表示部２７が画面２７ａに表示する位相差画像は、ステレオ画像生成部４０により生成されたカラーの左目画像とカラーの右目画像とを重畳した画像である。
【０２５４】
この場合には、上述したように、合焦位置にある被写体ＯＢＪｃはカラーの２重像とはならず、合焦位置よりも遠距離側または近距離側にある被写体ＯＢＪｆ，ＯＢＪｎが、合焦位置からのズレ量に応じたスプリットを示すカラーの２重像となる。従って、どの被写体が合焦し、どの被写体が非合焦であるかを、目視により容易に確認することが可能となっている。
【０２５５】
このような画像を表示するための処理を、図４２を参照して説明する。この図４２に示す処理は、既に詳細に説明したステップを幾つか含んでいるために、簡潔に説明する。
【０２５６】
この処理を開始すると、まず、行う表示がライブビュー表示であるか否かを判定する（ステップＳ７１）。
【０２５７】
ここで、ライブビュー表示であると判定された場合には、さらに、フォーカスモードがマニュアルフォーカスモードに設定されているか否かを判定する（ステップＳ７２）。
【０２５８】
マニュアルフォーカスモードに設定されていると判定された場合には、撮像素子２２から画像を入力して（ステップＳ７３）、色間補正部３６により色間補正を行うとともに画像処理部２５によりデモザイキングを行い（ステップＳ７４）、デモザイキングされたＲ画像とＢ画像とに基づいて距離演算部３９が位相差量の検出を行う（ステップＳ７５）。
【０２５９】
そして、ステレオ画像生成部４０が例えば３Ｄ実施例１により立体視画像を生成する場合には、まず、色画像生成部３７によりカラー化処理を行う（ステップＳ７６）。ただし、ステレオ画像生成部４０が上述した３Ｄ実施例２の技術により立体視画像を生成する場合には、このステップＳ７６のカラー化処理を不要とすることが可能である。
【０２６０】
続いて、カラー化処理の結果に基づき、ステレオ画像生成部４０が、カラーの左目画像データを作成するとともに（ステップＳ７７）、カラーの右目画像データを作成する（ステップＳ７８）。
【０２６１】
さらに、作成された左目画像と右目画像とを画像合成して（ステップＳ７９）、合成された画像を画像処理部２５により表示データに変換した後に（ステップＳ８０）、表示部２７の画面２７ａに例えば図４１に示したように表示する（ステップＳ８１）。
【０２６２】
また、ステップＳ７２においてマニュアルフォーカスモードに設定されていないと判定された場合には、オートフォーカスモードであると判定して、色画像生成部３７によりカラー化処理が行われた色ズレのない２次元（２Ｄ）ライブ画像を表示部２７の画面２７ａに表示する（ステップＳ８２）。
【０２６３】
ステップＳ８１またはステップＳ８２の処理を行ったら、ライブビュー表示を終了するか否かを判定し（ステップＳ８３）、終了しない場合にはステップＳ７１へ戻って上述したような処理を行う。
【０２６４】
一方、ステップＳ７１において、ライブビュー表示でないと判定された場合には、撮影された画像を再生する再生表示を行い（ステップＳ８４）、再生表示が終了するまで（ステップＳ８５）、ステップＳ８４の再生表示を繰り返して行う。
【０２６５】
ステップＳ８３においてライブビュー表示を終了すると判定された場合、またはステップＳ８５において再生表示を終了すると判定された場合には、この処理を終了する。
【０２６６】
このような実施形態１によれば、合焦位置にある被写体は２重像とはならず、合焦位置にない被写体は２重像となるために、画像中の合焦部と非合焦部とを目視で容易に確認することができる。しかも、合焦位置にない被写体は合焦位置からのズレ量に応じたスプリットを示す２重像となるために、合焦位置からどの程度ずれているかを感覚的に把握することが容易となる。加えて、位相差画像がカラー画像であるために、自然な感覚で被写体を認識することができる。そして、撮像素子２２として汎用の撮像素子を利用することができるために、画素上に遮光膜を形成した専用の撮像素子を用いる場合に比べて、製造コストを抑制することが可能となる。
［実施形態２］
【０２６７】
図４３および図４４は本発明の実施形態２を示したものであり、図４３は撮像装置の表示部に表示される位相差画像の例を示す図、図４４は撮像装置における表示処理を示すフローチャートである。
【０２６８】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２６９】
本実施形態の撮像装置の構成は、上述した実施形態１と同様に、図１に示したものとなっている。
【０２７０】
ただし、本実施形態においては、ステレオ画像生成部４０が、距離演算部３９により演算された位相差量に１よりも大きい所定の係数を乗算した補正位相差量に基づき、立体感を強調したカラーの立体視画像を生成するものとなっている。
【０２７１】
すなわち、上述した実施形態１の図４１に示した例えば遠距離側にある被写体ＯＢＪｆの左目画像と右目画像とのずれ量がｚであるとすると、本実施形態においては図４３に示すように、１よりも大きい所定の係数ｋをｚに乗算したｋ×ｚが被写体ＯＢＪｆの左目画像と右目画像とのずれ量となるように位相差画像の表示が行われる。
【０２７２】
このような画像を表示するための処理は、図４４に示すようになる。この処理は、ほぼ図４２に示した処理と同様であるが、左目画像データを作成する際に位相差強調を行い（ステップＳ７７Ａ）、右目画像データを作成する際に位相差強調を行う（ステップＳ７８Ａ）点が異なっている。
【０２７３】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、位相差が強調され、合焦位置にない被写体の合焦位置からのズレ量が大きくなるために、画像中の合焦部と非合焦部とをより容易に目視で確認することが可能となる。
［実施形態３］
【０２７４】
図４５から図４７は本発明の実施形態３を示したものであり、図４５は撮像装置における画像処理部およびシステムコントローラの詳細な構成を示すブロック図、図４６は撮像装置の表示部に表示される位相差画像の例を示す図、図４７は撮像装置における表示処理を示すフローチャートである。
【０２７５】
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２７６】
図４５に示すように、本実施形態の画像処理部２５は、スプリット画像生成部４５を備えたものとなっている。なお、画像処理部２５中にステレオ画像生成部４０は図示していないが、設けられていても構わないし、省略されていても良い。
【０２７７】
スプリット画像生成部４５は、撮像素子２２により撮像され、色間補正部３６により色間補正が行われ、画像処理部２５によりデモザイキングが行われた、第１の帯域の色の第１の画像と第２の帯域の色の第２の画像とを合成して、スプリット画像を生成するものである。具体的には、スプリット画像生成部４５は、デモザイキング後のＲ画像とＢ画像とを合成して、スプリット画像を生成する。
【０２７８】
従って、表示部２７の画面２７ａに表示される位相差画像はスプリット画像となり、合焦位置にある被写体ＯＢＪｃはＲ画像とＢ画像とが重畳しているが、合焦位置よりも遠距離側または近距離側にある被写体ＯＢＪｆ，ＯＢＪｎは合焦位置からのズレ量に応じてＲ画像とＢ画像とがスプリットした色ズレを示す２重像となる。
【０２７９】
このような画像を表示するための処理を、図４７を参照して説明する。
【０２８０】
この処理を開始して、ステップＳ７４までの処理を行ったものとする。
【０２８１】
すると次に、Ｒ画像およびＢ画像のみを画像合成するか、これらに加えてさらにＧ画像も画像合成するかを判定する（ステップＳ９１）。ここに、Ｒ画像およびＢ画像のみを画像合成した位相差画像は非合焦部を明確に確認することができる利点があり、Ｒ画像、Ｂ画像、およびＧ画像を画像合成した位相差画像は全体的な色が通常のカラー画像と同様であり違和感が少ない利点がある。そこで、操作部３２からの入力により、画像合成にＧ画像も加えるか否かをユーザが所望に選択することができるように構成されている。従って、ここでは、ユーザによる設定がどうなっているかを判定する。
【０２８２】
そして、スプリット画像生成部４５は、Ｇ画像を画像合成すると判定された場合には、デモザイキング後のＲ画像、Ｂ画像、およびＧ画像を画像合成し（ステップＳ９２）、Ｇ画像を画像合成しないと判定された場合には、デモザイキング後のＲ画像およびＢ画像のみを画像合成する（ステップＳ９３）。
【０２８３】
その後は、ステップＳ８０以降の処理を上述したように行う。
【０２８４】
このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、非合焦部に発生する色ズレにより、どの被写体が合焦し、どの被写体が非合焦であるかを、目視により容易に確認することが可能となる。さらに、色ズレの程度により、合焦位置からのズレ量を把握することができる。加えて、色ズレの左右位置（Ｒ画像とＢ画像の何れが左側にあり、他の何れが右側にあるか）によって、対象被写体が近距離側にあるか遠距離側にあるかを把握することができる。
【０２８５】
また、カラー立体視画像を作成する処理が不要となるために、画像処理がより簡易となり、処理負荷を軽減することが可能となる。
［実施形態４］
【０２８６】
図４８から図５０は本発明の実施形態４を示したものであり、図４８は撮像装置における画像処理部およびシステムコントローラの詳細な構成を示すブロック図、図４９は撮像装置の表示部に表示される位相差画像の例を示す図、図５０は撮像装置における表示処理を示すフローチャートである。
【０２８７】
この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２８８】
図４８に示すように、本実施形態の画像処理部２５は、モノクロスプリット画像生成部４６を備えたものとなっている。なお、画像処理部２５中にステレオ画像生成部４０は図示していないが、設けられていても構わないし、省略されていても良い。
【０２８９】
モノクロスプリット画像生成部４６は、撮像素子２２により撮像され、色間補正部３６により色間補正が行われて、画像処理部２５によりデモザイキングが行われた、第１の画像と第２の画像とをモノクロ画像として合成し、モノクロスプリット画像を生成するものである。具体的には、モノクロスプリット画像生成部４６は、各画素値を輝度値であると見なして、色間補正により正規化されたデモザイキング後のＲ画像とＢ画像とを画像合成し、モノクロスプリット画像を生成する。
【０２９０】
従って、表示部２７の画面２７ａに表示される位相差画像はモノクロスプリット画像となる。このモノクロスプリット画像において、合焦位置にある被写体ＯＢＪｃはモノクロ２重像とはならず（図４９に示す完全重畳した像ｍｒｂ）、合焦位置よりも遠距離側または近距離側にある被写体ＯＢＪｆ，ＯＢＪｎは合焦位置からのズレ量に応じたスプリットを示すモノクロ２重像（図４９に示すように、Ｒ画像に基づくモノクロ画像ｍｒと、Ｂ画像に基づくモノクロ画像ｍｂと、のモノクロ２重像）となる。
【０２９１】
このような画像を表示するための処理を、図５０を参照して説明する。
【０２９２】
この処理を開始して、ステップＳ７４までの処理を行ったものとする。
【０２９３】
すると次に、各画素の画素値を輝度値と見なして、色間補正部３６により、Ｒ画像の輝度値の正規化を行うと共に（ステップＳ１０１）、Ｂ画像の輝度値の正規化を行う（ステップＳ１０２）。
【０２９４】
そして、モノクロスプリット画像生成部４６は、正規化されたＲ画像の画素値とＢ画像の画素値とを画素位置毎に加算（あるいは加算平均）して、モノクロ画像合成を行う（ステップＳ１０３）。
【０２９５】
その後は、ステップＳ８０以降の処理を上述したように行う。
【０２９６】
なお、モノクロ画像合成にＧ画像の画素値も用いると、非合焦部に発生するのが輝度の３重像となるために、ズレが不明確にならないように本実施形態ではＧ画像の画素値は用いていない。しかし、必要に応じて（例えば、違和感のない自然なモノクロ画像を得るために）用いるようにしても構わない。
【０２９７】
このような実施形態４によれば、上述した実施形態１〜３とほぼ同様の効果を奏するとともに、非合焦部に発生する輝度の２重像により、どの被写体が合焦し、どの被写体が非合焦であるかを、目視により容易に確認することが可能となる。さらに、２重像のズレの程度により、合焦位置からのズレ量を把握することができる。そして、実施形態３と同様に、カラー立体視画像を作成する処理が不要となるために、画像処理がより簡易となり、処理負荷を軽減することが可能となる。加えて、モノクロ処理であるために、実施形態３と比べても処理がより軽くなり、短時間での表示が可能となる。
［実施形態５］
【０２９８】
図５１から図５４は本発明の実施形態５を示したものであり、図５１は撮像装置における画像処理部およびシステムコントローラの詳細な構成を示すブロック図、図５２は撮像装置の表示部に表示される位相差画像の例を示す図、図５３は撮像装置における表示処理を示すフローチャート、図５４は位相差量の大きさに応じて予め定められた色の一例を示す線図である。
【０２９９】
この実施形態５において、上述の実施形態１〜４と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０３００】
図５１に示すように、本実施形態の画像処理部２５は、疑似カラー画像生成部４７を備えたものとなっている。なお、画像処理部２５中にステレオ画像生成部４０は図示していないが、設けられていても構わないし、省略されていても良い。
【０３０１】
まず、距離演算部３９は、画像全体に対して、第１の画像と第２の画像との位相差量、具体的には、Ｒ画像とＢ画像との位相差量を演算するようになっている。
【０３０２】
そして、疑似カラー画像生成部４７は、図５４に示すような位相差量の大きさに応じて予め定められた色を、位相差量が演算された画像全体に適用することにより、疑似カラー画像を生成するものである。
【０３０３】
図５４に示す具体的な色割り当ては、各色が８ビット階調、つまり０〜２５５の値を取る場合の例を示している。
【０３０４】
まず、位相差０、つまり合焦している被写体についてはＢ：Ｇ：Ｒ＝０：２５５：０の色が割り当てられ、緑色で表示される。
【０３０５】
合焦位置よりも近距離側にある被写体については、合焦位置から近距離側へ離れるに従って、まずＢ成分の値が増加され、Ｂ成分が２５５となったところでＧ成分の減少が開始されて、至近距離に対応する位相差−ＭＡＸＮにおいてＧ成分が０となり、Ｂ：Ｇ：Ｒ＝２５５：０：０の色が割り当てられ、青色で表示される。
【０３０６】
また、合焦位置よりも遠距離側にある被写体については、合焦位置から遠距離側へ離れるに従って、まずＲ成分の値が増加され、Ｒ成分が２５５となったところでＧ成分の減少が開始されて、無限遠距離に対応する位相差＋ＭＡＸＦにおいてＧ成分が０となり、Ｂ：Ｇ：Ｒ＝０：０：２５５の色が割り当てられ、赤色で表示される。
【０３０７】
このような色割り当てを行うことにより、緑色であれば合焦位置もしくはその近傍にあること、および青色成分を高い純度で含むほど合焦位置よりも近距離側にあり、赤色成分を高い純度で含むほど合焦位置よりも遠距離側にあることを、目視により容易に確認することが可能となる。
【０３０８】
こうして疑似カラー画像生成部４７により生成された疑似カラー画像は、表示部２７の画面２７ａに表示される。すなわち、例えば図５２に示すように、合焦位置にある被写体ＯＢＪｃは緑色領域Ａｇとして表され、合焦位置よりも遠距離側にある被写体ＯＢＪｆは合焦位置からのズレ量に応じた赤色成分を含む領域Ａｒとして表され、合焦位置よりも近距離側にある被写体ＯＢＪｎは合焦位置からのズレ量に応じた青色成分を含む領域Ａｂとして表される。
【０３０９】
このような画像を表示するための処理を、図５３を参照して説明する。
【０３１０】
この処理を開始して、ステップＳ７５までの処理を行ったものとする。
【０３１１】
するとこの時点で、画像全体の各画素位置における位相差量の分布が得られていることになる。
【０３１２】
そこで、疑似カラー画像生成部４７が、画素位置の位相差量に応じて図５４に示すような色を割り当てる疑似カラー画像生成の処理を行う（ステップＳ１１１）。これにより、例えば図５２に示したような疑似カラー画像が生成される。
【０３１３】
その後は、ステップＳ８０以降の処理を上述したように行う。
【０３１４】
なお、上述では合焦位置にＧ色、近距離側にＢ色、遠距離側にＲ色を割り当てる例を示したが、勿論これは一例であり、その他の色配合を適用しても構わないし、ユーザが所望に設定することができるようにしても構わない。
【０３１５】
このような実施形態５によれば、上述した実施形態１〜４とほぼ同様の効果を奏するとともに、色を見ることにより、どの被写体が合焦し、どの被写体が非合焦であるかを、目視により容易に確認することが可能となる。このような擬似カラー表示は、合焦部位を瞬時に判別し易い利点がある。しかも、Ｒ成分を含むかＢ成分を含むかによって、遠距離側であるか近距離側であるかを容易に判別することができる。さらに、Ｒ成分またはＢ成分をどの程度の純度で含むかによって、合焦位置から離れている程度を容易に認識することができる。加えて、実施形態３、４と同様に、カラー立体視画像を作成する処理が不要となるために、画像処理がより簡易となり、処理負荷を軽減することが可能となる。
【０３１６】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０３１７】
１…レンズユニット
２…ボディユニット
９…撮像光学系
１０…レンズ（フォーカスレンズを含む）
１１…絞り
１２…帯域制限フィルタ
１２ｂ…ＧＢフィルタ
１２ｒ…ＲＧフィルタ
１２ｇ，１２ｇ１，１２ｇ２…Ｇフィルタ
１２ｗ…Ｗフィルタ
１４…レンズ制御部
１５…レンズ側通信コネクタ
１８…色選択透過素子
１８Ｌ…第１色選択透過素子
１８Ｒ…第２色選択透過素子
２１…シャッタ
２２…撮像素子（カラーの撮像素子）
２３…撮像回路
２４…撮像駆動部
２５…画像処理部
２６…画像メモリ
２７…表示部
２７ａ…画面
２８…インターフェース（ＩＦ）
２９…記録媒体
３０，３０Ａ…システムコントローラ
３１…センサ部
３２，３２Ａ…操作部
３３…ストロボ制御回路
３４…ストロボ
３５…ボディ側通信コネクタ
３６…色間補正部
３７…色画像生成部
３８…コントラストＡＦ制御部
３８ａ…ＡＦアシスト制御部
３９…距離演算部
４０…ステレオ画像生成部
４１…画像処理装置
４２…記録部
４５…スプリット画像生成部
４６…モノクロスプリット画像生成部
４７…疑似カラー画像生成部
【図１】
2013044806.tif 000008
【図２】
2013044806.tif 000009
【図３】
2013044806.tif 000010
【図４】
2013044806.tif 000011
【図５】
2013044806.tif 000012
【図６】
2013044806.tif 000013
【図７】
2013044806.tif 000014
【図８】
2013044806.tif 000015
【図９】
2013044806.tif 000016
【図１０】
2013044806.tif 000017
【図１１】
2013044806.tif 000018
【図１２】
2013044806.tif 000019
【図１３】
2013044806.tif 000020
【図１４】
2013044806.tif 000021
【図１５】
2013044806.tif 000022
【図１６】
2013044806.tif 000023
【図１７】
2013044806.tif 000024
【図１８】
2013044806.tif 000025
【図１９】
2013044806.tif 000026
【図２０】
2013044806.tif 000027
【図２１】
2013044806.tif 000028
【図２２】
2013044806.tif 000029
【図２３】
2013044806.tif 000030
【図２４】
2013044806.tif 000031
【図２５】
2013044806.tif 000032
【図２６】
2013044806.tif 000033
【図２７】
2013044806.tif 000034
【図２８】
2013044806.tif 000035
【図２９】
2013044806.tif 000036
【図３０】
2013044806.tif 000037
【図３１】
2013044806.tif 000038
【図３２】
2013044806.tif 000039
【図３３】
2013044806.tif 000040
【図３４】
2013044806.tif 000041
【図３５】
2013044806.tif 000042
【図３６】
2013044806.tif 000043
【図３７】
2013044806.tif 000044
【図３８】
2013044806.tif 000045
【図３９】
2013044806.tif 000046
【図４０】
2013044806.tif 000047
【図４１】
2013044806.tif 000048
【図４２】
2013044806.tif 000049
【図４３】
2013044806.tif 000050
【図４４】
2013044806.tif 000051
【図４５】
2013044806.tif 000052
【図４６】
2013044806.tif 000053
【図４７】
2013044806.tif 000054
【図４８】
2013044806.tif 000055
【図４９】
2013044806.tif 000056
【図５０】
2013044806.tif 000057
【図５１】
2013044806.tif 000058
【図５２】
2013044806.tif 000059
【図５３】
2013044806.tif 000060
【図５４】
2013044806.tif 000061