(57)【要約】【課題】３Ｄ映像における視差量のコントロールは演出効果上重要であり、どの被写体がどれ程の視差量を有するかを確認しながら撮影したいという要請があった。しかし、撮像部に備え付けられた表示部は、ユーザが視差量を確認するには小さかったり、そもそも３Ｄ表示に対応していなかったりする。【解決手段】撮像装置は、受光した被写体像を３Ｄ画像データに変換する撮像部と、変換された３Ｄ画像データにおける視差画像間の視差量を演算する演算部と、撮像部により取得された取得画像データの表示画像に重畳して視差量を視差画像間の像ずれとは異なる表示形式で表示部に表示させる表示制御部とを備える。【選択図】図８
2014135642.tif 000002
【特許請求の範囲】
【請求項１】
受光した被写体像を３Ｄ画像データに変換する撮像部と、
変換された前記３Ｄ画像データにおける視差画像間の視差量を演算する演算部と、
前記撮像部により取得された取得画像データの表示画像に重畳して前記視差量を前記視差画像間の像ずれとは異なる表示形式で表示部に表示させる表示制御部と
を備える撮像装置。
【請求項２】
前記３Ｄ画像データは、ユーザの撮影指示に基づいて実行される本撮影処理に先立って変換される画像データである請求項１に記載の撮像装置。
【請求項３】
前記取得画像データは、前記３Ｄ画像データと共に生成された、または、前記３Ｄ画像データに基づいて生成された２Ｄ画像データを含む請求項１または２に記載の撮像装置。
【請求項４】
前記取得画像データは、逐次取得されて更新されるライブビュー画像データを含む請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記表示画像の指定箇所をユーザから受け付ける受付部を備え、
前記表示制御部は、前記指定箇所に対応する予め定められた範囲の前記視差量を前記表示部に表示させる請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記表示制御部は、前記視差量に基づいて前記範囲の大きさを変更する請求項５に記載の撮像装置。
【請求項７】
前記表示制御部は、前記指定箇所を含む水平ラインおよび垂直ラインの少なくともいずれかに対応する範囲の前記視差量を、重畳するライン表示からの離間量で表して表示させる請求項５または６に記載の撮像装置。
【請求項８】
前記表示制御部は、予め定められた色を基準として彩度、明度および色相の少なくともいずれかを変化させることにより前記範囲の視差量を表して表示させる請求項５または６に記載の撮像装置。
【請求項９】
前記表示制御部は、前記範囲に対する前記視差量をヒストグラム化して表示させる請求項５または６に記載の撮像装置。
【請求項１０】
前記表示制御部は、前記範囲において同一レンジの視差量を示す領域ごとに区分して境界線を表示させる請求項５または６に記載の撮像装置。
【請求項１１】
前記演算部は、前記被写体像の受光に関して光学条件を変更した場合における仮想視差量を演算し、
前記表示部は、前記仮想視差量を前記視差量と共に、または、前記視差量に代えて表示させる請求項１から１０のいずれか１項に記載の撮像装置。
【請求項１２】
受光した被写体像を３Ｄ画像データに変換する変換処理を撮像部に実行させる撮像ステップと、
変換された前記３Ｄ画像データにおける視差画像間の視差量を演算部に演算させる演算ステップと、
前記撮像部により取得された取得画像データの表示画像に重畳して前記視差量を前記視差画像間の像ずれとは異なる表示形式で表示部に表示させる表示制御ステップと
をコンピュータに実行させる撮像装置の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御プログラムに関する。
【背景技術】
【０００２】
３Ｄ画像を取得する３Ｄ撮像装置が知られている。例えば特許文献１には、取得した３Ｄ画像が適切な視差量を超える場合に、表示部に警告を表示する撮像装置が紹介されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１２−１５６２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
３Ｄ映像における視差量のコントロールは演出効果上重要であり、どの被写体がどれ程の視差量を有するかを確認しながら撮影したいという要請があった。しかし、撮像部に備え付けられた表示部は、ユーザが視差量を確認するには小さかったり、そもそも３Ｄ表示に対応していなかったりする。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における撮像装置は、受光した被写体像を３Ｄ画像データに変換する撮像部と、変換された３Ｄ画像データにおける視差画像間の視差量を演算する演算部と、撮像部により取得された取得画像データの表示画像に重畳して視差量を視差画像間の像ずれとは異なる表示形式で表示部に表示させる表示制御部とを備える。
【０００５】
本発明の第２の態様における撮像装置の制御プログラムは、受光した被写体像を３Ｄ画像データに変換する変換処理を撮像部に実行させる撮像ステップと、変換された３Ｄ画像データにおける視差画像間の視差量を演算部に演算させる演算ステップと、撮像部により取得された取得画像データの表示画像に重畳して視差量を視差画像間の像ずれとは異なる表示形式で表示部に表示させる表示制御ステップとをコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係るデジタルカメラの背面斜視図である。
【図２】デジタルカメラの構成を説明する図である。
【図３】撮像素子の一部を拡大した様子を概念的に表す概念図である。
【図４】２Ｄ画像データと視差画像データの生成処理の例を説明する図である。
【図５】被写体位置と視差量の関係を説明する説明図である。
【図６】視差マップの生成処理を説明する説明図である。
【図７】絞り値、コントラストおよび視差量の関係を模式的に示す図である。
【図８】第１実施例に係る表示形式による視差量表示の様子を示す図である。
【図９】第２実施例に係る表示形式による視差量表示の様子を示す図である。
【図１０】第３実施例に係る表示形式による視差量表示の様子を示す図である。
【図１１】第４実施例に係る表示形式による視差量表示の様子を示す図である。
【図１２】仮想視差量を併せて重畳表示した様子を示す図である。
【図１３】視差量表示に係る一連の処理を示すフロー図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、本実施形態に係るデジタルカメラ１０の背面斜視図である。デジタルカメラ１０は、カメラ本体３０に交換レンズ２０が装着されて構成される。カメラ本体３０には、焦点距離、開放Ｆ値等の異なる複数の交換レンズ２０が交換可能に装着される。
【００１０】
本実施形態に係るデジタルカメラ１０は、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。本実施形態におけるデジタルカメラは、中央視点による視差のない視差なし画像も、視差画像と共に生成できる。
【００１１】
カメラ本体３０の背面には、表示部２０７が設けられている。表示部２０７には、逐次取得されて更新されるライブビュー画像が表示される。表示部２０７には、ライブビュー画像が表示されるだけでなく、例えばバッテリー情報、撮影条件情報といった付随情報が併せて表示される。また、表示部２０７には、後述の視差量情報が重畳表示され得る。その他、メニュー画面、再生画像等が表示される。
【００１２】
なお、本実施形態における表示部２０７は、例えば液晶パネルである、２Ｄ用の表示パネルである。したがって、右視差画像と左視差画像を同時あるいは交互に表示する３Ｄ表示には対応しておらず、ユーザは、表示画像を２Ｄ画像として視認する。詳細については後述するが、ライブビュー画像には視差なし画像が利用される。
【００１３】
カメラ本体３０の背面には、操作部２０８が複数設けられている。ユーザは、操作部２０８を操作することにより、メニュー項目の選択および決定、撮影条件の変更、再生画像の表示等に関する指示をカメラ本体に与えることができる。
【００１４】
表示部２０７には、操作部２０８の類として、タッチパネル２０９が重ねて設けられている。ユーザは、表示部２０７に表示された表示画像の一部を触れるようにタッチパネル２０９を操作して、当該表示画像の一部箇所を指定箇所として指定することができる。
【００１５】
図２は、デジタルカメラ１０の構成を説明する図である。交換レンズ２０は、光軸に沿って入射する被写体光束を、カメラ本体３０に設けられた撮像素子２００へ導く。なお、図示するように、撮像素子２００へ向かう光軸に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１６】
交換レンズ２０は、複数のレンズ群１２１から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図２ではレンズ群１２１を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。また、瞳近傍には、光軸を中心として同心状に入射光束を制限する絞り１２２が配置されている。
【００１７】
カメラ本体３０は、上述の撮像素子２００、表示部２０７、操作部２０８、タッチパネル２０９の他にも、制御部２０１、Ａ／Ｄ変換回路２０２、揮発性メモリ２０３、撮像素子駆動回路２０４、画像処理部２０５、表示部駆動回路２０６、不揮発性メモリ２１０、メモリカードＩＦ２１１を主に備える。
【００１８】
撮像素子２００は、交換レンズ２０の焦点面近傍に配置されている。撮像素子２００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子２００は、撮像素子駆動回路２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００１９】
Ａ／Ｄ変換回路２０２は、撮像素子２００が出力する画像信号をデジタル信号に変換して揮発性メモリ２０３へ出力する。画像処理部２０５は、揮発性メモリ２０３をワークスペースとして種々の画像処理を施し、撮影画像データを生成する。撮影画像データは、後述するように、撮像素子２００の視差なし画素の出力から生成される基準画像データと、撮像素子２００の視差画素の出力から生成される視差画像データを包含する。
【００２０】
撮影画像データを生成するまでの処理部を撮像部とする場合、撮像部は、撮像素子２００、Ａ／Ｄ変換回路２０２、揮発性メモリ２０３、制御部２０１および画像処理部２０５を含んで構成される。なお、撮影画像データの元となる画像信号を出力する意味においては、撮像素子２００を撮像部と捉えても良い。
【００２１】
制御部２０１は、デジタルカメラ１０を統合的に制御する。例えば、ユーザによる操作部２０８の操作を検出して、表示部２０７へ表示させる表示内容を変更する。また、撮像素子駆動回路２０４に対してタイミング制御信号を送信し、撮像素子２００から出力される画像信号が画像処理部２０５で撮影画像データに処理されるまでの一連のシーケンスを管理する。
【００２２】
画像処理部２０５は、撮影画像データを生成する他にも、ライブビュー画像を生成したり、後述の視差マップを生成したりする。また、画像処理部２０５は、選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された撮影画像データは、メモリカードＩＦ２１１に装着されているメモリカード２２０に記録される。なお、メモリカード２２０に記録すると共に、あるいはメモリカード２２０への記録に代えて、生成された撮影画像データを例えば無線ＬＡＮを介して外部装置に記録するように構成しても良い。
【００２３】
不揮発性メモリ２１０は、表示部２０７に表示するアイコン、メニュー項目等のコンテンツ画像データを記憶すると共に、後述する処理フローを実行する制御プログラム、その他デジタルカメラ１０を動作させる様々な定数、プログラム等も記憶する。制御部２０１は、これらの定数、プログラム等を不揮発性メモリ２１０から適宜呼び出して参照する。
【００２４】
図３は、撮像素子２００の一部を拡大した様子を概念的に表す概念図である。画素領域には例えば２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する８画素×８画素の６４画素が一つの基本格子を形成する。基本格子は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配される。
【００２５】
基本格子は、視差画素と視差なし画素を含む。視差画素は、交換レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光する画素である。視差画素には、当該部分光束のみを透過させるように、画素中心から偏位した偏位開口を有する開口マスクが設けられている。開口マスクは、例えば、カラーフィルタに重ねて設けられる。本実施形態においては、開口マスクにより、部分光束が画素中心に対して左側に到達するように規定された視差Ｌｔ画素と、部分光束が画素中心に対して右側に到達するように規定された視差Ｒｔ画素の２種類が存在する。一方、視差なし画素は、開口マスクが設けられていない画素であり、交換レンズ２０を透過する入射光束の全体を受光する画素である。
【００２６】
なお、視差画素は、光軸から偏位した部分光束を受光するにあたり、開口マスクに限らず、受光領域と反射領域が区分された選択的反射膜、偏位したフォトダイオード領域など、様々な構成を採用し得る。すなわち、視差画素は、交換レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光できるように構成されていれば良い。
【００２７】
基本格子内の画素をＰＩＪで表す。例えば、左上画素はＰ１１であり、右上画素はＰ８１である。図に示すように、視差画素は以下のように配列されている。
【００２８】
Ｐ１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。
【００２９】
撮像素子２００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分され、基本格子には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素が少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素が、基本格子内においてランダム性を有して配置されると良い。ランダム性を有して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、高品質な視差画像データが得られる。
【００３０】
次に、撮像素子２００から出力される撮影画像データから２Ｄ画像データと視差画像データを生成する処理の概念を説明する。図４は、基準画像データとしての２Ｄ画像データと視差画像データの生成処理の例を説明する図である。
【００３１】
基本格子における視差画素および視差なし画素の配列からもわかるように、撮像素子２００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子２００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、左右の視差画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。
【００３２】
画像処理部２０５は、撮像素子２００の画素配列順にその出力値（画素値）が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を示す。
【００３３】
２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ−１−１、Ｐ２−１、Ｐ−１２、Ｐ２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ４３、Ｐ６１、Ｐ８３、Ｐ６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ５６、Ｐ７４、Ｐ９６、Ｐ７８の画素値を平均化演算して算出する。
【００３４】
このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等の、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って一般的な２Ｄ画像としての画像処理を行う。
【００３５】
本実施形態において画像処理部２０５は、表示部２０７の表示サイズに一致させるように、２Ｄ−ＲＧＢプレーンデータに間引き処理を施してライブビュー画像データを生成する。なお、メモリカード２２０への記録および視差マップ生成を伴わない、単にライブビュー表示を行うためのライブビュー画像データの生成処理の場合、間引き処理は様々な段階で行い得る。例えば、撮像素子２００からの信号読み出しを間引いても良いし、ＲＡＷ元画像データから２Ｄ画像データの生成処理の段階で間引いても良い。
【００３６】
画像処理部２０５は、２Ｄ−ＲＧＢプレーンデータをさらに色ごとに分離し、上述のような補間処理を施して、基準画像データとしての各プレーンデータを生成する。すなわち、緑色の基準画像プレーンデータとしてのＧｎ０プレーンデータ、赤色の基準画像プレーンデータとしてのＲｎ０プレーンデータ、および青色の基準画像プレーンデータとしてのＢｎ０プレーンデータの３つを生成する。これらのプレーンデータは、視差画素に対して密度の高い視差なし画素をベースとして生成されるので、次に述べる視差画像データのプレーンデータよりは高解像である。
【００３７】
図の右列は、視差画素データを構成するプレーンデータとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。
【００３８】
ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子２００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ１１とＰ５５の２つの画素値が残る。そこで、基本格子を縦横に４等分し、左上の１６画素分をＰ１１の出力値で代表させ、右下の１６画素分をＰ５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。
【００３９】
同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子２００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ５１とＰ１５の２つの画素値が残る。そこで、基本格子を縦横に４等分し、右上の１６画素分をＰ５１の出力値で代表させ、左下の１６画素分をＰ１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。このようにして、Ｇｎ０プレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。
【００４０】
ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子２００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ２７の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子２００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ６３の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。このようにして、Ｒｎ０プレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。
【００４１】
ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子２００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ３２の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子２００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ７６の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。このようにして、Ｂｎ０プレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。
【００４２】
本実施形態においては、画像処理部２０５は、これらのプレーンデータを用いて、高解像な左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。
【００４３】
赤色視差プレーン（ＲＬｔ０プレーンデータとＲＲｔ０プレーンデータ）は、Ｒｎ０プレーンデータの画素値と、ＲＬｔプレーンデータおよびＲＲｔプレーンデータの画素値とを用いて生成する。具体的には、例えばＲＬｔ０プレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＬｔ０ｍｎを算出する場合、まず、画像処理部２０５は、Ｒｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎ０ｍｎを抽出する。次に、画像処理部２０５は、ＲＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＬｔｍｎを、ＲＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＲｔｍｎを抽出する。そして、画像処理部２０５は、画素値Ｒｎ０ｍｎを、画素値ＲＬｔｍｎとＲＲｔｍｎの比で分配して画素値ＲＬｔ０ｍｎを算出する。具体的には、以下の式（１）により算出する。
【００４４】
ＲＬｔ０ｍｎ＝２Ｒｎ０ｍｎ×ＲＬｔｍｎ／（ＲＬｔｍｎ＋ＲＲｔｍｎ）            …（１）
同様に、ＲＲｔ０プレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＲｔ０ｍｎを算出する場合も、画像処理部２０５は、画素値Ｒｎ０ｍｎを画素値ＲＬｔｍｎと画素値ＲＲｔｍｎの比で分配して算出する。具体的には、以下の式（２）により算出する。
【００４５】
ＲＲｔ０ｍｎ＝２Ｒｎ０ｍｎ×ＲＲｔｍｎ／（ＲＬｔｍｎ＋ＲＲｔｍｎ）            …（２）
画像処理部２０５は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ０，ｊ０）まで順次実行する。
【００４６】
そして、高解像な赤色視差プレーンであるＲＬｔ０プレーンデータとＲＲｔ０プレーンデータの生成処理が完了したら、次に高解像な緑色視差プレーンであるＧＬｔ０プレーンデータとＧＲｔ０プレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎ０ｍｎを抽出する代わりに、Ｇｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｇｎ０ｍｎを抽出して、同様に処理する。さらに、高解像な緑色視差プレーンであるＧＬ０ｔプレーンデータとＧＲｔ０プレーンデータの生成処理が完了したら、次に高解像な青色視差プレーンであるＢＬｔ０プレーンデータとＢＲｔ０プレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎ０ｍｎを抽出する代わりに、Ｂｎ０プレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｂｎ０ｍｎを抽出して、同様に処理する。
【００４７】
以上の処理により、左側視点の高解像なカラー画像データ（ＲＬｔ０プレーンデータ、ＧＬｔ０プレーンデータ、ＢＬｔ０プレーンデータ）および右側視点の高解像なカラー画像データ（ＲＲｔ０プレーンデータ、ＧＲｔ０プレーンデータ、ＢＲｔ０プレーンデータ）が生成される。すなわち、実際には撮像素子２００の画素として存在しない、ＲＧＢいずれかのカラーフィルタを併せ持つ視差Ｌ画素および視差Ｒ画素の仮想的な出力として、左側視点および右側視点のカラー画像データを、比較的簡易な処理により取得することができる。したがって、これらの画像データを３Ｄ画像対応の再生装置で再生すれば、ユーザは、カラー画像としての高解像な３Ｄ映像を鑑賞できる。特に、処理が簡易なので高速に画像データを生成することができ、動画像に対しても対応できる。
【００４８】
次に視差量について説明する。図５は、被写体位置と視差量の関係を説明する説明図である。図５（ａ）は、被写体の同一微小領域から放射される被写体光束が、被写体位置の違いに対して、各画像データに対応する２Ｄ画像、左視差画像および右視差画像のどの領域に現れるかを、概念的に示す図である。
【００４９】
ここで、被写体位置とは、ｚ軸方向に沿った奥行き方向における位置である。図においては、被写体が、交換レンズ２０に対して合焦位置（Ｆｏｃｕｓ）と、非合焦位置である−焦点位置（Ｏｕｔ  Ｆｏｃｕｓ）および＋焦点位置（Ｉｎ  Ｆｏｃｕｓ）に存在する場合を表す。−焦点位置は、合焦位置よりも遠い位置であり、＋焦点位置は、合焦位置よりも近い位置である。また、図５の説明においては、説明を簡単にするため図３の画素配列から離れ、ベイヤー配列の一パターンである縦２画素および横２画素の４画素を１画素ブロックとする、画素ブロック単位を用いる。
【００５０】
被写体が合焦点位置、＋焦点位置、−焦点位置のいずれに存在しても、同一の微小領域から放射される被写体光束は、２Ｄ画像に対して、同一画素ブロック（図ではブロック２）に現れる。左視差画像に対しては、被写体が合焦点位置に存在すれば、同じ微小領域から放射される被写体光束は、瞳の部分領域ＰＬを通過して、２Ｄ画像と同じくブロック２に現れる。一方、被写体が＋焦点位置に存在すれば、同じ微小領域から放射される被写体光束は、瞳の部分領域ＰＬを通過して、ブロック１に現れ、被写体が−焦点位置に存在すれば、ブロック３に現れる。右視差画像に対しては、被写体が合焦点位置に存在すれば、同じ微小領域から放射される被写体光束は、瞳の部分領域ＰＲを通過して、２Ｄ画像と同じくブロック２に現れる。一方、被写体が＋焦点位置に存在すれば、同じ微小領域から放射される被写体光束は、瞳の部分領域ＰＲを通過して、ブロック３に現れ、被写体が−焦点位置に存在すれば、ブロック１に現れる。
【００５１】
すなわち、被写体が合焦位置に存在すれば、同一の微小領域から放射される被写体光束は、いずれの画像に対しても互いに対応する同一のブロックに現れる。一方、被写体が非合焦位置に存在すれば、画像間で互いにずれたブロックに現れる。しかも、被写体が＋焦点位置に存在する場合と−焦点位置に存在する場合とで、ずれる方向が反対になる。また、図における被写体位置の相対的な関係からも理解されるように、非合焦位置が合焦位置に対して大きく離れる程、ずれ量が大きくなる。
【００５２】
図５（ｂ）は、図５（ａ）で示す画像間の視差量の関係を示す図である。上述のように、右視差画像と左視差画像では、被写体が非合焦位置に存在する場合に、ブロック２とは異なるブロック番号が記述されることになる。このとき、図の右端列で示す視差量は、基準画像とする２Ｄ画像に対して右視差画像が何ブロックずれているかを表している。
【００５３】
本実施形態においては、瞳の部分領域ＰＬとＰＲは、光軸に対して対称に設定されているので、同一被写体の２Ｄ画像に対する右画像の視差量は、２Ｄ画像に対する左画像の視差量と、大きさが同じで向きが反対となる。したがって、図の右端列で示す視差量は、符号を逆転させれば、基準画像とする２Ｄ画像に対して右視差画像が何ブロックずれているかを表していることになる。
【００５４】
なお、視差量の基準単位は、ベイヤー配列の画素ブロック単位であっても、１画素単位であっても良い。または、画像の横幅に対するずれ幅の割合として定義しても良い。視差量の基準単位は、画像データ群のそれぞれの画像データがどれだけ像を解像しているか、必要とされる精度はどの程度か、全体の演算負荷量が適切か、などのさまざまな要因によって決定されれば良い。
【００５５】
上述の説明においては、被写体の同一微小領域から放射される被写体光束がどの画素ブロックに現れるかについて説明した。逆に、視差画像間で像のマッチング処理を行えば、それぞれの視差ブロックにおける視差量を算出することができる。また、上述のように、基準画像との視差量は、視差画像間の視差量の半分である。したがって、全ブロックに亘ってそれぞれ基準画像に対して右視差画像が何ブロックずれているかを羅列することができ、羅列された数列はいわゆる視差マップを形成する。
【００５６】
図６は、視差マップの生成処理を説明する説明図である。画像処理部２０５は、視差画像データを受け取って、以下の視差マップ生成処理を実行する。ここで、画像処理部２０５は、高精細な視差マップを作成する場合には、高解像なプレーンデータの組み合わせ（例えばＧＬｔ０プレーンデータとＧＲｔ０プレーンデータ）を視差画像データとして受け取る。一方、高速に視差マップを作成する場合には、低解像なプレーンデータの組み合わせ（例えばＧＬｔプレーンデータとＧＲｔプレーンデータ）を視差画像データとして受け取る。
【００５７】
画像処理部２０５は、対象画素３１１を決定し、この対象画素３１１に対して局所ウィンドウ３１２を定める。そして、局所ウィンドウ３１２を基準として２画像間でマッチング処理を行い、対象画素３１１における視差量を決定する。具体的には、画像処理部２０５は、左視差画像上の局所ウィンドウ３１２に対応して右視差画像上に局所ウィンドウ３１４を設定して、局所ウィンドウ３１４を局所ウィンドウ３１２に対して左右方向に相対的にずらしながら互いにマッチングの良い画像領域を探索する。そして、マッチングが良いと判断される局所ウィンドウ３１４の位置を定め、その中心座標である探索画素３１３の座標値を算出する。視差量は、対象画素３１１の座標値と探索画素３１３の座標値の差により決定される。そして、画像処理部２０５は、左視差画像上において対象画素３１１を左上から右下まで順次走査しながら上記のマッチング処理を逐次実行して、左視差画像と右視差画像の視差量を算出する。
【００５８】
そして、画像処理部２０５は、２Ｄ画像を基準画像とすべく、算出された視差量をそれぞれ半分の値として視差マップを完成させる。視差マップは、上述の算出結果として、例えば図の例において同一レンジの視差量ごとに区分された境界線により可視化すると、各被写体である少年３０１、少女３０２、女性３０３および背景３０４に等高線が表われる。なお、等高線は、高解像なプレーンデータの組み合わせを用いれば滑らかになり、低解像なプレーンデータの組み合わせを用いれば粗くなる。
【００５９】
次に絞り値、コントラストおよび視差量の関係について説明する。図７は、交換レンズ２０における絞り値、画像の鮮鋭度を示すコントラストおよび視差量の関係を模式的に示す図である。横軸は、デジタルカメラ１０からの距離を表し、縦軸は、視差量とコントラストの高さを表す。また、図７（ａ）は、絞り値がＦ１.４の状態を表し、図７（ｂ）は、絞り値がＦ４の状態を表し、図７（ｃ）は、絞り値がＦ８の状態を表す。なお、交換レンズ２０の焦点距離はいずれの状態においても同一であり、また、デジタルカメラ１０は、距離Ｌ１０に位置する主要被写体に焦点を合わせている。
【００６０】
コントラスト曲線１６１は、いずれの状態においても焦点位置までの距離である距離Ｌ１０で最も高い。一方で、絞り値が大きくなるほど焦点距離前後でも比較的高い値を示す。すなわち、絞り１２２を絞った状態で撮影された画像ほど被写界深度が深くなることを示す。
【００６１】
視差量曲線１６２は、距離Ｌ１０において視差量０を示し、距離Ｌ１０よりデジタルカメラ１０側に近づくにつれ、傾きが大きくなるカーブを示す。すなわち、視差量曲線１６２は距離Ｌ１０より手前側で正の値を示し、より近い被写体ほど大きく浮き上がって視認されることを表している。
【００６２】
他方、視差量曲線１６２は、距離Ｌ１０よりデジタルカメラ１０側から遠ざかるにつれ、傾きが小さくなるカーブを示す。すなわち、視差量曲線１６２は距離Ｌ１０より奥側で負の値を示し、より遠い被写体ほど緩やかに沈み込んで視認されることを表している。
【００６３】
また、視差量曲線１６２は、絞り値が大きくなるほど、その変化がなだらかになる。すなわち、絞り値がＦ１.４の場合に比べ、Ｆ４、Ｆ８と推移するに従い、焦点位置より手前の視差量および奥の視差量が小さくなる。
【００６４】
本実施形態に係る撮像素子２００の出力から生成される視差画像データは、その画像におけるぼけ領域に視差が生じるという特徴を有する。さらに言えば、ぼけ量が大きくなるほど視差量が大きくなるが、その変化のしかたは、前ピンぼけに対する視差量の変化量（＋側への変化量）の方が、後ピンぼけに対する視差量の変化量（−側への変化量）よりも大きい。また、図から被写界深度内でも視差量が変化することがわかる。したがって、構図、焦点位置等を変化させることにより、いわゆるピントが合った状態を維持したまま、視差量だけを変化させることもできる。つまり、ユーザは、意思に即して、ぼけ量と視差量を撮影前、撮影中に調整することができる。
【００６５】
視差量が大きくなり過ぎると、鑑賞している３Ｄ映像に対して違和感を覚え、また、眼精疲労の原因ともなる。視差量が−ｍから＋ｍの範囲に含まれる場合に、鑑賞者が違和感、疲労感を覚えないとすると、絞り値がＦ８の場合であれば視差量曲線１６２がこの範囲に収まっているので、いずれの距離に被写体が存在しても鑑賞者は心地よく３Ｄ映像を鑑賞できる。一方、絞り値がＦ１.４およびＦ４の場合は、視差量曲線１６２の近距離側で＋ｍを超えている。したがって、被写体が＋ｍを超える近距離に存在すれば鑑賞者は違和感、疲労感を覚える。
【００６６】
そこで、撮影者であるユーザは、動画、静止画の撮影前に、あるいは動画撮影中に、シーンに存在する各被写体がどれ程の視差量をもって撮影されるかを知りたい場合がある。この場合、鑑賞時に違和感を与える視差量であるか否かに限らず、被写体間の相対的な視差量差なども併せて確認したい場合もある。特に、３Ｄ動画映像においては、視差量のコントロールは演出効果上重要であり、ユーザは、視差量を確認しながら撮影を行いたい場合がある。一方で、撮像装置に備え付けられた表示部は、一般的に小型であり、３Ｄ表示に対応した表示パネルが採用されていたとしても、表示された３Ｄ画像を見て視差量を判断することは困難であった。また、撮影中に３Ｄ表示に対応した３Ｄメガネを装着する必要があるなど、手間を要する場合もあった。ましてや、表示部が３Ｄ表示に対応していなければ、そもそも画像として視差量を確認することができなかった。
【００６７】
そこで本実施形態においては、表示部２０７に、ライブビュー画像を表示しつつ、これに重ねて、画像そのもののずれとは異なる表示形式により視差量を認識できるように表示する。当該表示形式の例を、いくつかの実施例により説明する。
【００６８】
図８は、第１実施例に係る表示形式による視差量表示の様子を示す図である。ここでは、ライブビュー画像として表示部２０７に表示された少女３０２の顔付近をユーザがタッチし、タッチパネル２０９によりその座標が認識された場合の表示について説明する。
【００６９】
図８（ａ）は、認識された座標によって規定される、画像の水平ライン上の視差量を表示する様子を示す図である。認識された座標には、タッチポイントアイコン４０１が重畳され、この座標を含む水平ライン４０２が併せて重畳される。視差量を表示する対象画素は、この水平ライン４０２と重なる画素である。また、水平ライン４０２は、視差量０を表す基準軸でもある。プラスアイコン４０４によって示される水平ライン４０２よりも上の領域が正の領域であり、マイナスアイコン４０５によって示される水平ライン４０２よりも下の領域が負の領域である。
【００７０】
対象画素に対応する視差量は、図７を用いて説明した視差マップを参照して抽出される。そして、抽出された視差量に対するプロットポイントは、正負のいずれかであるかと予め定められたスケールとに従って、水平ライン４０２に対する上下の方向と離間量により決定される。このように決定された各対象画素のプロットポイントを互いに接続すると、図に示すような視差量ライン４０３を描画することができる。図の例によれば、視差量ライン４０３は少年３０１付近において０近傍を示しているので、少年３０１については、３Ｄ映像においてそれ程浮き上がることも沈み込むこともないことがわかる。視差量ライン４０３は女性３０３付近においては若干のマイナス量を示しているので、女性３０３については、３Ｄ映像において多少沈み込むことがわかる。一方、視差量ライン４０３は少女３０２付近においては大きめのプラス量を示しているので、少女３０２については、３Ｄ映像において大きく浮き上がることがわかる。
【００７１】
ユーザは、このように描画された視差量ライン４０３により、表示画像の指定箇所に対応する水平ライン４０２上の視差量を、視覚的に確認することができる。この表示形式は、左右の視差画像のずれそのものによって視差量を表すのではないので、表示部２０７が多少小さくても、３Ｄ表示に対応していなくても、視差量を視認性良く効果的に示すことができる。
【００７２】
なお、ライブビュー画像には、撮影に関する設定条件４１１等の付随情報も併せて重畳されている。ユーザは、例えば絞り値と視差量ライン４０３を同時に確認することにより、視差量をコントロールすべく絞り値を変更するといった判断を行うことができる。
【００７３】
図８（ｂ）は、認識された座標によって規定される、画像の垂直ライン上の視差量を表示する様子を示す図である。認識された座標には、タッチポイントアイコン４０１が重畳され、この座標を含む垂直ライン４０６が併せて重畳される。視差量を表示する対象画素は、この垂直ライン４０６と重なる画素である。また、垂直ライン４０６は、視差量０を表す基準軸でもある。プラスアイコン４０４によって示される垂直ライン４０６よりも右の領域が正の領域であり、マイナスアイコン４０５によって示される垂直ライン４０６よりも左の領域が負の領域である。
【００７４】
上述と同様に、対象画素に対応する視差量は、図７を用いて説明した視差マップを参照して抽出される。そして、抽出された視差量に対するプロットポイントは、正負のいずれかであるかと予め定められたスケールとに従って、垂直ライン４０６に対する左右の方向と離間量とによって決定される。このように決定された各対象画素のプロットポイントを互いに接続すると、図に示すような視差量ライン４０７を描画することができる。図の例によれば、視差量ライン４０７は少女３０２と重なる位置において大きめのプラス量を示しているので、少女３０２については、３Ｄ映像において大きく浮き上がることがわかる。
【００７５】
ユーザは、このように描画された視差量ライン４０７により、表示画像の指定箇所に対応する垂直ライン４０６上の視差量を、視覚的に確認することができる。なお、指定箇所に対して水平ライン４０２に対する視差量を示すか（図８（ａ））、垂直ライン４０６に対する視差量を示すか（図８（ｂ））は、予め設定された設定内容によって決定されても良いし、操作部２０８の操作によって決定されても良い。また、指定箇所に対して水平ライン４０２に対する視差量と共に垂直ライン４０６に対する視差量も同時に重ねて表示しても良い。
【００７６】
なお、付随情報は、表示画像においてユーザによって指定された指定箇所に応じて、重畳箇所が変更される。例えば、図８（ｂ）においては、視差量ライン４０７等の表示により、表示部２０７の右上領域は占有されている。この場合、図８（ａ）のように右上領域に設定条件４１１を重ねてしまうと、視認性が低下する。そこで、他の重畳表示がなされていない左下領域で設定条件４１１の表示を行う。
【００７７】
図９は、第２実施例に係る表示形式による視差量表示の様子を示す図である。図８と同様に、ライブビュー画像として表示部２０７に表示された少女３０２の顔付近をユーザがタッチし、タッチパネル２０９によりその座標が認識された場合の表示について説明する。
【００７８】
認識された座標には、タッチポイントアイコン４０１が重畳されるが、本実施例においては、この認識された座標を中心とする予め定められた大きさの範囲に含まれる画素を対象画素として視差量を表示する。表示部２０７には、この範囲に相当する対象枠４２１が重畳表示される。
【００７９】
対象画素に対応する視差量は、図７を用いて説明した視差マップを参照して抽出される。本実施例では、視差量をラインで表すのではなく、対象画素に対応する視差量をヒストグラムで表示する。ヒストグラムは、横軸を一定の視差量ごとにレンジ区分し、対象画素の視差量を該当するレンジ区分に出現頻度として積み上げる表示形式である。
【００８０】
表示部２０７には、ヒストグラムウィンドウ４３１が重畳される。ヒストグラムウィンドウ４３１は、視差量０を中心に左側をマイナス視差量のレンジ、右側をプラス視差量のレンジとする横軸４０９を含む。横軸４０９は、図においては斜線で表すように、鑑賞者が３Ｄ映像に対して違和感、疲労感を覚えるとされる限界視差量（図６の例では−ｍから＋ｍの範囲）の境界が視認できる態様で表示される。
【００８１】
ユーザは、出現頻度として積み上げられたヒストグラム４３２により、対象枠４２１に含まれる対象画素の視差量分布を認識することができる。同時に、限界視差量を超えた画素の存否も認識できるので、ヒストグラム４３２は、その後の視差量のコントロールに有用な情報となる。なお、限界視差量を超えた対象画素を、点滅処理、高輝度処理等による警告表示４２２としてライブビュー画像に重畳すれば、ユーザは、より直感的に当該画素の存在を認識することができる。
【００８２】
図９の例では、予め定められた矩形の対象枠４２１を採用したが、ユーザが、対象とする画素範囲の大きさ、形状を変更できるように構成しても良い。あるいは、被写体情報等を利用して、制御部２０１が対象とする画素範囲の大きさ、形状を最適化するように構成しても良い。
【００８３】
図１０は、第３実施例に係る表示形式による視差量表示の様子を示す図である。図８と同様に、ライブビュー画像として表示部２０７に表示された少女３０２の顔付近をユーザがタッチし、タッチパネル２０９によりその座標が認識された場合の表示について説明する。
【００８４】
本実施例においては、少女３０２の輪郭におよそ一致させた対象枠４２１が採用される。具体的には、制御部２０１は、視差マップを参照して、認識された座標に対応する画素の視差量を抽出し、当該視差量を基準として予め定められた視差量範囲に含まれる視差量を有する隣接画素を対象画素として拡張していく。そして、当該視差量範囲に含まれない画素に到達したときにそこを境界として対象枠を決定する。
【００８５】
本実施例においても、図９の例と同様に、ヒストグラムウィンドウ４３１を用いたヒストグラム４３２で視差量を表示する。ただし、本実施例においては、対象画素の視差量は、予め定められた視差量範囲に含まれるので、レンジ区分を細かく設定することができる。この場合、ユーザによって指定された座標に対応する画素の視差量を横軸４０９の中心値とすれば、より視認性が高まる。
【００８６】
このような表示形式を採用すれば、特定の被写体に対する視差量の分布を確認することができる。特に、ユーザは、視差量限界を超えそうな領域を有する被写体を指定すれば、警告表示４２２も一助となって、より直感的に視差量のコントロールの必要性を認識することができる。
【００８７】
図１１は、第４実施例に係る表示形式による視差量表示の様子を示す図である。図８と同様に、ライブビュー画像として表示部２０７に表示された少女３０２の顔付近をユーザがタッチし、タッチパネル２０９によりその座標が認識された場合の表示について説明する。
【００８８】
図９と図１０の例では、視差量をヒストグラムで表示したが、本実施例においては、より直感的に、等高線を利用して表示する。具体的には、制御部２０１は、図１０の手法と同様にして少女３０２の輪郭におよそ一致させた対象枠４２１を確定する。そして、視差マップを参照することにより、対象枠４２１の内部に対応する視差量を、概念的に示した図６の視差マップのように、同一レンジの視差量ごとに区分された等高線により可視化する。
【００８９】
なお、等高線として表さなくても、同一レンジに含まれる画素を同一色で着色し、異なるレンジに含まれる画素を異なる色で着色しても視差量を表現することができる。この場合、予め定められた色を基準として、隣接するレンジに対して、色の彩度、明度および色相の少なくともいずれかを徐々に変化させれば、ユーザはより直感的に視差量の分布を認識することができる。例えば、視差量がマイナスであれば寒色系、プラスであれば暖色系の色を採用すれば、視認性が向上する。なお、着色により視差量を表現する場合は、少女３０２も同時に視認できるように、半透過処理を行うことが好ましい。
【００９０】
視差量は、被写体像の受光に関して光学条件を変更すると変化する。図７の例では絞り１２２の変更に伴って視差量曲線１６２が変化する様子を説明したが、視差量に影響を与える光学条件は絞りに限らず、レンズ群１２１の焦点距離、奥行方向に対する被写体分布なども含まれる。撮影者であるユーザは、これらの光学条件を適宜調整することにより、視差量をコントロールする。ユーザが、動画、静止画の撮影前に、あるいは動画撮影中に、シーンに存在する各被写体がどれ程の視差量をもって撮影されるかを知りたいのは、視差量をコントロールしたいからと言える。そこで、現に演算された視差量を表示するだけでなく、光学条件を変更した場合における視差量も仮想的に算出して重畳表示すると良い。
【００９１】
図１２は、仮想視差量を併せて重畳表示した様子を示す図である。図１２は、図８（ａ）の実施例に、算出した仮想視差量を重畳表示した様子を示す。
【００９２】
図において太線で示す視差量ライン４０３は、図８を用いて説明した手順により実際の取得画像から生成したラインである。一方、細線で示す仮想視差量ライン４０８は、シミュレーションによって仮想的に算出した視差量を、同じスケールで変換して描画したラインである。光学条件４１２としてウィンドウ表示されているように、太線が現在設定されている絞り値（図ではＦ８）を示し、細線が変更される場合の絞り値（図ではＦ１．４）を示す。
【００９３】
変更される場合の絞り値は、ユーザが操作部２０８を操作することにより変更され得る。変更される対象項目は、絞り値以外にも焦点距離などの他の対象へ、ユーザが操作部２０８を操作することにより変更され得る。
【００９４】
仮想視差量は、例えば、被写体の焦点情報と指定された変更条件を入力パラメータとして、図７の関係が記述されたルックアップテーブルを参照して算出される。ルックアップテーブルは、絞り値、被写体距離、焦点距離など光学条件として変更を受け入れるパラメータの各値に関して、シミュレーション、実験等により視差量が算出されて予め作成されている。ルックアップテーブルは、不揮発性メモリ２１０に記憶されている。
【００９５】
次に、視差量表示に係る一連の処理について説明する。図１３は、視差量表示に係る一連の処理を示すフロー図である。図のフローは、ユーザがライブビュー画像を視認しながら静止画の撮影を実行する場合を想定している。
【００９６】
制御部２０１は、ステップＳ１０１でライブビュー画像の取得を実行する。このときの撮影条件は、ユーザによって設定された絞り値を採用するが、ライブビュー画像は周期的に取得されるので、シャッタ速度については予め定められた値に固定される。制御部２０１は、光量の過不足に対して、出力ゲインを調整することにより、適正露出に調整する。制御部２０１は、ライブビュー画像を、上述の間引き処理により生成する。ただし、視差画素の画素値は逐次揮発性メモリに記憶しておく。
【００９７】
制御部２０１は、ステップＳ１０２へ進み、生成したライブビュー画像を、表示部駆動回路２０６を介して表示部２０７へ表示する。表示中のライブビュー画像に対して、タッチパネル２０９を介してユーザから指示を受けた場合には、割り込み処理として、ステップＳ１１０からステップＳ１１３の処理を並行して実行する。
【００９８】
制御部２０１は、生成したライブビュー画像の表示中にステップＳ１０３へ進み、ユーザから撮影の指示があったか否かを判断する。撮影指示がないと判断すれば、制御部２０１は、ステップＳ１０４へ進み、生成したライブビュー画像を表示する周期期間であるフレーム更新時間が経過したか否かを判断する。経過していないと判断すれば、ステップＳ１０２へ戻って、当該生成したライブビュー画像の表示を継続する。経過したと判断すれば、ステップＳ１０１へ戻って、新たにライブビュー画像を取得する。
【００９９】
制御部２０１は、ステップＳ１０２のライブビュー画像の表示中にタッチパネル２０９の操作を検出したら、ステップＳ１１０において、ライブビュー画像に対する座標をその検出結果により決定する。そして、その座標を基準とする予め定められた範囲を対象領域として決定する。
【０１００】
制御部２０１は、ステップＳ１１１で、揮発性メモリに記憶してある視差画素の画素値を読み出し、３Ｄ画像データとして上述の視差画像データを生成する。さらに、ステップＳ１１２へ進み、生成した視差画像データから、上述のマッチング処理により視差量を演算して、視差マップを生成する。なお、ステップＳ１１０と、ステップＳ１１１およびステップＳ１１２とは順序が逆でも良い。
【０１０１】
制御部２０１は、ステップＳ１１３へ進み、ステップＳ１１０で決定された対象領域における視差量を、ステップＳ１１１およびステップＳ１１２を通して生成した視差マップから抽出する。そして、指定された表示形式に即してスケール変換等を施し、重畳表示画面を生成する。制御部２０１は、重畳表示画面を生成したら、この時点で表示部２０７に表示しているライブビュー画像に当該重畳表示画面を割り込み処理により重ねて表示する。つまり、ステップＳ１１０からステップＳ１１３の処理がフレーム更新時間内に終了すれば、視差量を演算したライブビュー画像に対して重ねて表示することができるが、そうでなくても、更新されたライブビュー画像に重ねて表示することができる。
【０１０２】
制御部２０１は、ステップＳ１０３でユーザから撮影の指示があったと判断したら、ステップＳ１０５へ進み、本撮影処理を実行する。本撮影処理は、図４を用いて説明したように、ＲＡＷ元画像データを取得してプレーン処理を実行し、高解像な左側視点および右側視点のカラー画像データを生成する処理である。もちろん、ユーザの設定に即して、高解像な２Ｄ画像データを併せて生成しても良い。制御部２０１は、ステップＳ１０５の本撮影処理が終了したら、一連の処理を終了する。なお、次の撮影指示を受け付けるべく、再びステップＳ１０１へ戻っても良い。
【０１０３】
上述のフローにおいては静止画撮影の場合について説明したが、動画撮影の場合には、動画撮影中のライブビュー表示に対してステップＳ１１０からステップＳ１１３の割り込み処理を実行し得る。また、上述のフローにおいては、タッチパネル２０９の操作を受けた時点で表示していたライブビュー画像に対して視差量演算を施したが、操作を受けた時点で、視差量演算用の画像を取得し直しても良い。この場合、ライブビュー画像の取得については視差量演算を考慮しなくて良いので、より簡易に間引き処理等を実行し得る。
【０１０４】
以上の説明においては、視差量の表示形式においていくつかの実施例を示したが、それぞれ共通して採用し得る表示形式であれば、組み合わせることもできる。例えば、視差量ラインを着色しても良いし、等高線とヒストグラムを同時に表示しても良い。
【０１０５】
以上の実施形態においては、デジタルカメラ１０としてレンズ交換式のカメラを例に説明したが、撮影レンズが固定されたデジタルカメラであっても良い。また、本実施形態においては、視差画素および視差無し画素を備える撮像素子２００を採用する、単眼３Ｄ撮像装置としてのデジタルカメラ１０を例に説明したが、撮像装置としてはこの形式に限らない。一般的な撮像素子を２個備える、２眼式の撮像装置であっても、本実施形態における表示形式を採用し得る。また、デジタルカメラに限らず、撮影機能を備えるＰＣ、携帯電話等であっても、これらを撮像装置と捉えることができる。
【０１０６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１０７】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１０８】
１０  デジタルカメラ、２０  交換レンズ、３０  カメラ本体、１２１  レンズ群、１２２  絞り、１６１  コントラスト曲線、１６２  視差量曲線、２００  撮像素子、２０１  制御部、２０２  Ａ／Ｄ変換回路、２０３  揮発性メモリ、２０４  撮像素子駆動回路、２０５  画像処理部、２０６  表示部駆動回路、２０７  表示部、２０８  操作部、２０９  タッチパネル、２１０  不揮発性メモリ、２１１  メモリカードＩＦ、２２０  メモリカード、３０１  少年、３０２  少女、３０３  女性、３０４  背景、３１１  対象画素、３１２  局所ウィンドウ、３１３  探索画素、３１４  局所ウィンドウ、４０１  タッチポイントアイコン、４０２  水平ライン、４０３  視差量ライン、４０４  プラスアイコン、４０５  マイナスアイコン、４０６  垂直ライン、４０７  視差量ライン、４０８  仮想視差量ライン、４０９  横軸、４１１  設定条件、４１２  光学条件、４２１  対象枠、４２２  警告表示、４３１  ヒストグラムウィンドウ、４３２  ヒストグラム
【図１】
2014135642.tif 000003
【図２】
2014135642.tif 000004
【図３】
2014135642.tif 000005
【図４】
2014135642.tif 000006
【図５】
2014135642.tif 000007
【図６】
2014135642.tif 000008
【図７】
2014135642.tif 000009
【図８】
2014135642.tif 000010
【図９】
2014135642.tif 000011
【図１０】
2014135642.tif 000012
【図１１】
2014135642.tif 000013
【図１２】
2014135642.tif 000014
【図１３】
2014135642.tif 000015