(57)【要約】      （修正有）【課題】シーンにおける被写体の配置に起因して左右の画像間に極度に視差による、鑑賞時の違和感、疲労感を覚えることがない画像処理装置、撮像装置及び画像処理プログラムを提供する。【解決手段】画像処理装置は、画像データを取得する取得部と、画像データの画像に含まれる複数の被写体それぞれの視差量を算出する算出部２３１と、画像データから視差画像データを生成するときに適用される、視差量を調整する調整パラメータ値を、算出された視差量に応じて複数の被写体のそれぞれに対して決定する決定部２３２と、画像データに調整パラメータ値を適用して、互いに調整された視差量を有する画像となる視差画像データを生成する生成部２３３とを備える。【選択図】図１
2017108194.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する取得部と、
前記画像データの画像に含まれる複数の被写体それぞれの視差量を算出する算出部と、
前記画像データから視差画像データを生成するときに適用される、前記視差量を調整する調整パラメータ値を、算出された前記視差量に応じて前記複数の被写体のそれぞれに対して決定する決定部と、
前記画像データに前記調整パラメータ値を適用して、互いに調整された前記視差量を有する画像となる視差画像データを生成する生成部と
を備える画像処理装置。
【請求項２】
前記決定部は、前記複数の被写体のうち前記算出部によって算出された前記視差量が予め定められた閾値を超えた被写体に対しては、前記視差量が前記閾値未満に調整されるように前記調整パラメータ値を決定する請求項１に記載の画像処理装置。
【請求項３】
前記決定部は、前記複数の被写体のうち、少なくとも一部の被写体がシーンの奥行き方向に連続する場合に、調整された前記視差量が前記少なくとも一部の被写体に関し、前記奥行き方向において連続するように前記調整パラメータ値を決定する請求項１または２に記載の画像処理装置。
【請求項４】
前記決定部は、前記複数の被写体のうち、少なくとも一部の被写体がシーンの奥行き方向に連続する場合に、調整された前記視差量の微分値が前記少なくとも一部の被写体に関し、前記奥行き方向において連続するように前記調整パラメータ値を決定する請求項３に記載の画像処理装置。
【請求項５】
調整された前記視差量を定めるために前記決定部に用いられる関数を使用者に選択させる選択部を備える請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記複数の被写体から前記調整パラメータ値を適用して前記視差量を抑制したい被写体を使用者に指定させる指定部を備える請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記複数の被写体それぞれの輝度値を演算する演算部を備え、
前記決定部は、前記輝度値が小さいほど前記視差量が小さくなるように前記調整パラメータ値を決定する請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像データは、互いに視差を有する第１視差画像データと第２視差画像データを包含し、
前記生成部は、前記第１視差画像データと前記第２視差画像データに前記調整パラメータ値を適用して、互いに前記第１視差画像データと前記第２視差画像データのそれぞれの画像間における視差量とは異なる視差量を有する画像となるように第３視差画像データと第４視差画像データを生成する請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
光学系を通過する入射光束のうち前記光学系の光軸に対して第１方向へ偏位した第１部分光束を受光する第１視差画素群と、前記第１方向とは異なる第２方向へ偏位した第２部分光束を受光する第２視差画素群とを含む撮像素子と、
前記第１視差画素群の出力に基づいて生成された第１視差画像データと前記第２視差画素群の出力に基づいて生成された第２視差画像データとを含む前記画像データを前記取得部によって取得する請求項１から８のいずれか１項に記載の画像処理装置と
を備える撮像装置。
【請求項１０】
画像データを取得する取得ステップと、
前記画像データの画像に含まれる複数の被写体それぞれの視差量を算出する算出ステップと、
前記画像データから視差画像データを生成するときに適用される、前記視差量を調整する調整パラメータ値を、算出された前記視差量に応じて前記複数の被写体のそれぞれに対して決定する決定ステップと、
前記画像データに前記調整パラメータ値を適用して、互いに調整された前記視差量を有する画像となる視差画像データを生成する生成ステップと
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を取得するステレオ撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］  特開平８−４７００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ステレオ撮像装置によって撮影されたステレオ画像データは、シーンにおける被写体の配置に起因して左右の画像間に極度に視差が生じている場合があり、鑑賞者は、鑑賞時に違和感、疲労感を覚えることがあった。一方、視差量を調整して、このような極度に生じた視差を抑制する場合であっても、主要な被写体については立体感を残して欲しいとの要望がある。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における画像処理装置は、画像データを取得する取得部と、画像データの画像に含まれる複数の被写体それぞれの視差量を算出する算出部と、画像データから視差画像データを生成するときに適用される、視差量を調整する調整パラメータ値を、算出された視差量に応じて複数の被写体のそれぞれに対して決定する決定部と、画像データに調整パラメータ値を適用して、互いに調整された視差量を有する画像となる視差画像データを生成する生成部とを備える。
【０００５】
本発明の第２の態様における画像処理プログラムは、画像データを取得する取得ステップと、画像データの画像に含まれる複数の被写体それぞれの視差量を算出する算出ステップと、画像データから視差画像データを生成するときに適用される、視差量を調整する調整パラメータ値を、算出された視差量に応じて複数の被写体のそれぞれに対して決定する決定ステップと、画像データに調整パラメータ値を適用して、互いに調整された視差量を有する画像となる視差画像データを生成する生成ステップとをコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係るデジタルカメラの構成を説明する図である。
【図２】撮像素子の一部を拡大した様子を概念的に表す概念図である。
【図３】２Ｄ画像データと視差画像データの生成処理の例を説明する図である。
【図４】デフォーカスの概念を説明する図である。
【図５】視差画素が出力する光強度分布を示す図である。
【図６】調整視差量の概念を説明するための光強度分布を示す図である。
【図７】カラー視差プレーンデータの生成処理を説明する図である。
【図８】視差量と立体調整パラメータの値との関係を模式的に示す図である。
【図９】ルックアップテーブルを示す図である。
【図１０】撮影条件の違いにより視差量曲線の形状が異なる場合での視差量と、視差量の目標値との関係を示す図である。
【図１１】ＲＧＢの光強度分布の変化を説明する図である。
【図１２】鑑賞者の輻輳角と視差量の関係を示す図である。
【図１３】画像の鮮鋭度を示すコントラストと視差量の関係を模式的に示す図である。
【図１４】被写体分布と視差量の関係を模式的に示す図である。
【図１５】絞り値と視差量の関係を模式的に示す図である。
【図１６】フォーカスシフトの概念を模式的に示す図である。
【図１７】視差量と立体調整パラメータの値と絞り値等との関係を模式的に示す図である。
【図１８】被写体指定を説明する図である。
【図１９】第１実施例に係る動画撮影における処理フローである。
【図２０】視差カラー画像データを生成するまでの処理フローである。
【図２１】第２実施例に係る動画撮影における処理フローである。
【図２２】好ましい開口形状を説明する図である。
【図２３】デジタルカメラとＴＶモニタとの連携を説明する図である。
【図２４】視差量と立体調整パラメータの値との関係を模式的に示す図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。本実施形態におけるデジタルカメラは、中央視点による視差のない視差なし画像も、視差画像と共に生成できる。
【００１０】
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９およびＬＣＤ駆動回路２１０を備える。
【００１１】
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１２】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。また、瞳近傍には、光軸２１を中心として同心状に入射光束を制限する絞り２２が配置されている。
【００１３】
撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００１４】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとしてデジタル画像信号に種々の画像処理を施し、撮影画像データを生成する。撮影画像データは、後述するように、撮像素子１００の視差なし画素の出力から生成される基準画像データと、撮像素子１００の視差画素の出力から生成される視差画像データを包含する。
【００１５】
制御部２０１は、デジタルカメラ１０を統合的に制御する。例えば、設定された絞り値に応じて絞り２２の開口を調整し、ＡＦ評価値に応じて撮影レンズ２０を光軸方向に進退させる。また、撮影レンズ２０の位置を検出して、撮影レンズ２０の焦点距離、フォーカスレンズ位置を把握する。さらに、駆動部２０４に対してタイミング制御信号を送信し、撮像素子１００から出力される画像信号が画像処理部２０５で撮影画像データに処理されるまでの一連の撮像制御を管理して、撮影画像データを取得する。
【００１６】
また、制御部２０１は、奥行情報検出部２３０を包含する。奥行情報検出部２３０は、シーンに対して奥行き方向の被写体分布を検出する。具体的には、制御部２０１が、オートフォーカスに用いるデフォーカス情報を利用して、細分化された領域ごとのデフォーカス量から被写体分布を検出する。なお、デフォーカス情報は、専用に設けられた位相差センサの出力を利用しても良いし、撮像素子１００の視差画素の出力を利用しても良い。視差画素の出力を利用する場合は、画像処理部２０５によって処理された視差画像データを用いることもできる。あるいは、デフォーカス情報を利用しなくても、フォーカスレンズを進退させ、細分化された領域ごとにコントラストＡＦ方式によるＡＦ評価値を算出しても被写体分布を検出することができる。
【００１７】
画像処理部２０５は、上述の通り、撮像素子１００から出力される画像信号を処理して撮影画像データを生成する。また、画像処理部２０５は、算出部２３１、決定部２３２、視差画像データ生成部２３３および動画生成部２３４を包含する。
【００１８】
算出部２３１は、撮影画像データの画像に含まれる各被写体の視差量、つまり未調整の視差量を、後述の左右視差画像データから算出する。決定部２３２は、算出部２３１が算出した各被写体の視差量に応じて、その視差量を変更するための変更条件を決定する。より具体的には、決定部２３２は、出力視差画像間の視差量がターゲットとする視差量に収まるように、立体調整パラメータの値を決定する。この立体調整パラメータは、撮影画像データから視差画像データを生成するときに視差画像データの視差量を調整するために適用されるパラメータである。
【００１９】
視差画像データ生成部２３３は、撮影画像データに立体調整パラメータを適用して、互いに調整された視差量を有する画像となる視差画像データを生成する。なお、以上の算出部２３１、決定部２３２および視差画像データ生成部２３３については、詳細を後述する。動画生成部２３４は、視差画像データを繋ぎ合わせて、３Ｄの動画ファイルを生成する。
【００２０】
画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された撮影画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００２１】
操作部２０８は、ユーザの操作を受け付けて制御部２０１へ指示を伝達する受付部の一部として機能する。操作部２０８は、撮影開始指示を受け付けるシャッタボタン等、複数の操作部材を含む。
【００２２】
図２は、撮像素子１００の一部を拡大した様子を概念的に表す概念図である。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する８画素×８画素の６４画素が一つの基本格子１１０を形成する。基本格子１１０は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配される。
【００２３】
基本格子１１０は、視差画素と視差なし画素を含む。視差画素は、撮影レンズ２０を透過する入射光束のうち、撮影レンズ２０の光軸に対して偏位した部分光束を受光する画素である。視差画素には、当該部分光束のみを透過させるように、画素中心から偏位した偏位開口を有する開口マスクが設けられている。開口マスクは、例えば、カラーフィルタに重ねて設けられる。本実施形態においては、開口マスクにより、部分光束が画素中心に対して左側に到達するように規定された視差Ｌｔ画素と、部分光束が画素中心に対して右側に到達するように規定された視差Ｒｔ画素の２種類が存在する。一方、視差なし画素は、開口マスクが設けられていない画素であり、撮影レンズ２０を透過する入射光束の全体を受光する画素である。
【００２４】
なお、視差画素は、光軸から偏位した部分光束を受光するにあたり、開口マスクに限らず、受光領域と反射領域が区分された選択的反射膜、偏位したフォトダイオード領域など、様々な構成を採用し得る。すなわち、視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光できるように構成されていれば良い。
【００２５】
基本格子１１０内の画素をＰＩＪで表す。例えば、左上画素はＰ１１であり、右上画素はＰ８１である。図に示すように、視差画素は以下のように配列されている。
【００２６】
Ｐ１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。
【００２７】
撮像素子１００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分され、基本格子１１０には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素が少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素が、基本格子１１０内においてランダム性を有して配置されると良い。ランダム性を有して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、高品質な視差画像データが得られる。
【００２８】
次に、撮像素子１００から出力される撮影画像データから２Ｄ画像データと視差画像データを生成する処理の概念を説明する。図３は、２Ｄ画像データと視差画像データの生成処理の例を説明する図である。
【００２９】
基本格子１１０における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、左右の視差画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。
【００３０】
画像処理部２０５は、撮像素子１００の画素配列順にその出力値（画素値）が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を示す。
【００３１】
２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ−１−１、Ｐ２−１、Ｐ−１２、Ｐ２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ４３、Ｐ６１、Ｐ８３、Ｐ６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ５６、Ｐ７４、Ｐ９６、Ｐ７８の画素値を平均化演算して算出する。
【００３２】
このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等の、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って一般的な２Ｄ画像としての画像処理を行う。
【００３３】
本実施形態においては、画像処理部２０５は、２Ｄ−ＲＧＢプレーンデータをさらに色ごとに分離し、上述のような補間処理を施して、基準画像データとしての各プレーンデータを生成する。すなわち、緑色の基準画像プレーンデータとしてのＧｎプレーンデータ、赤色の基準画像プレーンデータとしてのＲｎプレーンデータ、および青色の基準画像プレーンデータとしてのＢｎプレーンデータの３つを生成する。
【００３４】
図の右列は、視差画素データとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。
【００３５】
ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ１１とＰ５５の２つの画素値が残る。そこで、基本格子１１０を縦横に４等分し、左上の１６画素分をＰ１１の出力値で代表させ、右下の１６画素分をＰ５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。
【００３６】
同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ５１とＰ１５の２つの画素値が残る。そこで、基本格子１１０を縦横に４等分し、右上の１６画素分をＰ５１の出力値で代表させ、左下の１６画素分をＰ１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。
【００３７】
ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ２７の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ６３の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。
【００３８】
ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ３２の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ７６の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。
【００３９】
本実施形態においては、生成される画像間の視差量がターゲットとする視差量に収まるように、出力画像データに対して画像処理を施す場合がある。この場合、画像処理部２０５は、これらのプレーンデータを用いて、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。特に、立体調整パラメータを導入することにより、２Ｄカラー画像のぼけ量を維持したまま３Ｄ画像としての視差量を調整したカラー画像データを生成する。具体的な処理に先立って、まず生成原理について説明する。
【００４０】
図４は、デフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対称に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本実施形態の光学系においては、実際の被写体光束はレンズ瞳の全体を通過するので、視差画素に到達するまでは、視差仮想瞳に対応する光強度分布が互いに区別されるのではない。しかし、視差画素は、それぞれが有する開口マスクの作用により、視差仮想瞳を通過した部分光束のみを光電変換した画像信号を出力する。したがって、視差画素の出力が示す画素値分布は、それぞれ対応する視差仮想瞳を通過した部分光束の光強度分布と比例関係にあると考えても良い。
【００４１】
図４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、それぞれの視差画素の出力は、対応する像点の画素を中心として急峻な画素値分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。
【００４２】
一方、図４（ｂ）に示すように、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す画素値分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。視差Ｒｔ画素が示す画素値分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の画素値分布が、互いに等距離に離間して現れる。また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の画素値分布が、より離間して現れる。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。別言すれば、デフォーカスに応じて、ぼけ量と視差量は連動して変化する。すなわち、ぼけ量と視差量は、一対一に対応する関係を有する。
【００４３】
また、図４（ｂ）（ｃ）は、物点が焦点位置から遠ざかる方向へずれる場合を示すが、物点が焦点位置から近づく方向へずれる場合は、図４（ｄ）に示すように、図４（ｂ）（ｃ）と比べて、視差Ｌｔ画素が示す画素値分布と視差Ｒｔ画素が示す画素値分布の相対的な位置関係が逆転する。このようなデフォーカス関係により、視差画像を鑑賞するときに鑑賞者は、焦点位置より奥に存在する被写体を遠くに視認し、手前に存在する被写体を近くに視認する。
【００４４】
図４（ｂ）（ｃ）で説明した画素値分布の変化をそれぞれグラフ化すると、図５のように表される。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値（画素値）を表す。この出力値は上述の通り実質的に光強度に比例する。
【００４５】
分布曲線１８０４と分布曲線１８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図４（ｂ）の状況に対する視差なし画素の画素値分布、すなわち被写体光束の全体を受光した場合の画素値分布と略相似形状を示す。
【００４６】
分布曲線１８０７と分布曲線１８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図４（ｃ）の状況に対する視差なし画素の画素値分布と略相似形状を示す。
【００４７】
本実施形態において立体調整パラメータを利用して画像処理する場合は、実際に撮像素子１００の出力値として取得され、空格子が補間処理された、このような画素値分布の視差Ｌｔ画素の画素値と視差Ｒｔ画素の画素値とを用いて、仮想的な画素値分布をつくり出す。このとき、画素値分布の広がりによって表現されるぼけ量はおよそ維持しつつ、ピーク間の間隔として表現される視差量を調整する。つまり、本実施形態において画像処理部２０５は、２Ｄ画像のぼけ量をほぼそのまま維持しつつも、視差無し画素から生成される２Ｄ画像と視差画素から生成される３Ｄ画像との間に調整された視差量を有する画像を生成する。図６は、調整視差量の概念を説明するための画素値分布を示す図である。
【００４８】
図において実線で示すＬｔ分布曲線１９０１とＲｔ分布曲線１９０２は、ＬｔプレーンデータとＲｔプレーンデータの実際の画素値をプロットした分布曲線である。例えば、図５における分布曲線１８０４、１８０５に相当する。そして、Ｌｔ分布曲線１９０１とＲｔ分布曲線１９０２のそれぞれのピーク間距離は３Ｄ視差量を表し、この距離が大きいほど、画像再生時の立体感が強くなる。
【００４９】
Ｌｔ分布曲線１９０１とＲｔ分布曲線１９０２とをそれぞれ５割として足し合わせた２Ｄ分布曲線１９０３は、左右に偏りのない凸形状となる。２Ｄ分布曲線１９０３は、図５における合成分布曲線１８０６の高さを１／２にした形状に相当する。すなわち、この分布に基づく画像は、視差量０の２Ｄ画像となる。
【００５０】
調整Ｌｔ分布曲線１９０５は、Ｌｔ分布曲線１９０１の８割と、Ｒｔ分布曲線１９０２の２割を足し合わせた曲線である。調整Ｌｔ分布曲線１９０５のピークは、Ｒｔ分布曲線１９０２の成分が加えられる分だけ、Ｌｔ分布曲線１９０１のピークよりも中心寄りに変位する。同様に、調整Ｒｔ分布曲線１９０６は、Ｌｔ分布曲線１９０１の２割と、Ｒｔ分布曲線１９０２の８割を足し合わせた曲線である。調整Ｒｔ分布曲線１９０６のピークは、Ｌｔ分布曲線１９０１の成分が加えられる分だけ、Ｒｔ分布曲線１９０２のピークよりも中心寄りに変位する。
【００５１】
したがって、調整Ｌｔ分布曲線１９０５と調整Ｒｔ分布曲線１９０６のそれぞれのピーク間距離で表される調整視差量は、３Ｄ視差量よりも小さくなる。したがって、画像再生時の立体感は、緩和される。一方で、調整Ｌｔ分布曲線１９０５と調整Ｒｔ分布曲線１９０６のそれぞれの分布の広がりは、２Ｄ分布曲線１９０３の広がりと同等なので、ぼけ量は２Ｄ画像のそれと等しいと言える。
【００５２】
すなわち、Ｌｔ分布曲線１９０１とＲｔ分布曲線１９０２をそれぞれどれくらいの割合で加算するかにより、調整視差量を制御することができる。そして、この調整された画素値分布を、視差なし画素から生成されたカラー画像データの各プレーンに適用することにより、視差画素から生成された視差画像データとは異なる立体感を与える左側視点のカラー画像データと右側視点のカラー画像データとを生成することができる。
【００５３】
本実施形態においては、図３を用いて説明した９つのプレーンデータから、左側視点のカラー画像データと右側視点のカラー画像データを生成する。左側視点のカラー画像データは、左側視点に対応する赤色プレーンデータであるＲＬｔｃプレーンデータ、緑色プレーンデータであるＧＬｔｃプレーンデータ、および青色プレーンデータであるＢＬｔｃプレーンデータの３つのカラー視差プレーンデータによって構成される。同様に、右側視点のカラー画像データは、右側視点に対応する赤色プレーンデータであるＲＲｔｃプレーンデータ、緑色プレーンデータであるＧＲｔｃプレーンデータ、および青色プレーンデータであるＢＲｔｃプレーンデータの３つのカラー視差プレーンデータによって構成される。
【００５４】
図７は、カラー視差プレーンデータの生成処理を説明する図である。特に、カラー視差プレーンのうち赤色視差プレーンである、ＲＬｔｃプレーンデータとＲＲｔｃプレーンデータの生成処理について示す。
【００５５】
赤色視差プレーンは、図３を用いて説明したＲｎプレーンデータの画素値と、ＲＬｔプレーンデータおよびＲＲｔプレーンデータの画素値とを用いて生成する。具体的には、例えばＲＬｔｃプレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＬｔｍｎを算出する場合、まず、画像処理部２０５の視差画像データ生成部２３３は、Ｒｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎｍｎを抽出する。次に、視差画像データ生成部２３３は、ＲＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＬｔｍｎを、ＲＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＲｔｍｎを抽出する。そして、視差画像データ生成部２３３は、画素値Ｒｎｍｎに、画素値ＲＬｔｍｎとＲＲｔｍｎを立体調整パラメータＣの値で分配した値を乗じて、画素値ＲＬｔｃｍｎを算出する。具体的には、以下の式（１）により算出する。
【数１】
2017108194.tif 000003
【００５６】
同様に、ＲＲｔｃプレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＲｔｃｍｎを算出する場合も、視差画像データ生成部２３３は、抽出した画素値Ｒｎｍｎに、画素値ＲＬｔｍｎと画素値ＲＲｔｍｎを立体調整パラメータＣの値で分配した値を乗じて算出する。具体的には、以下の式（２）により算出する。
【数２】
2017108194.tif 000004
視差画像データ生成部２３３は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ０，ｊ０）まで順次実行する。
【００５７】
そして、赤色視差プレーンであるＲＬｔｃプレーンデータとＲＲｔｃプレーンデータの生成処理が完了したら、次に緑色視差プレーンであるＧＬｔｃプレーンデータとＧＲｔｃプレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎｍｎを抽出する代わりに、Ｇｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｇｎｍｎを抽出する。また、ＲＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＬｔｍｎを抽出する代わりに、ＧＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＧＬｔｍｎを抽出する。同様に、ＲＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＲｔｍｎを抽出する代わりに、ＧＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＧＲｔｍｎを抽出する。そして、式（１）および式（２）の各パラメータの値を適宜変更して同様に処理する。
【００５８】
さらに、緑色視差プレーンであるＧＬｔｃプレーンデータとＧＲｔｃプレーンデータの生成処理が完了したら、次に青色視差プレーンであるＢＬｔｃプレーンデータとＢＲｔｃプレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎｍｎを抽出する代わりに、Ｂｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｂｎｍｎを抽出する。また、ＲＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＬｔｍｎを抽出する代わりに、ＢＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＢＬｔｍｎを抽出する。同様に、ＲＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＲｔｍｎを抽出する代わりに、ＢＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＢＲｔｍｎを抽出する。そして、式（１）および式（２）の各パラメータの値を適宜変更して同様に処理する。
【００５９】
以上の処理により、左側視点のカラー画像データ（ＲＬｔｃプレーンデータ、ＧＬｔｃプレーンデータ、ＢＬｔｃプレーンデータ）および右側視点のカラー画像データ（ＲＲｔｃプレーンデータ、ＧＲｔｃプレーンデータ、ＢＲｔｃプレーンデータ）が生成される。すなわち、実際には撮像素子１００の画素として存在しない仮想的な出力として、左側視点および右側視点のカラー画像データを、比較的簡易な処理により取得することができる。
【００６０】
しかも、立体調整パラメータＣの値を０．５＜Ｃ＜１の範囲で変更できるので、視差無し画素による２Ｄカラー画像のぼけ量を維持したまま、３Ｄ画像としての視差量の大きさを調整することができる。したがって、これらの画像データを３Ｄ画像対応の再生装置で再生すれば、立体映像表示パネルの鑑賞者は、カラー画像として立体感が適度に調整された３Ｄ映像を鑑賞できる。特に、処理が簡易なので高速に画像データを生成することができ、動画像にも対応できる。
【００６１】
但し、本実施形態では、以上のようなカラー視差プレーンデータの生成処理において、被写体ごとに立体調整パラメータＣの値を０．５＜Ｃ＜１の範囲で決定して用いる。この点、立体調整パラメータＣの値の決定に関する具体的な説明に先立って、まずは被写体ごとに決定される立体調整パラメータＣを用いてカラー視差プレーンデータを生成する利点について説明する。
【００６２】
図８は、視差量と立体調整パラメータの値との関係を模式的に示す図である。この図において、横軸はデジタルカメラ１０からの距離、つまりシーンに対する奥行きを表し、縦軸は視差量を表す。
【００６３】
なお、デジタルカメラ１０は、距離Ｌ１０に位置する被写体（図中の合焦被写体を参照）に焦点を合わせている。また、本実施形態においては、許容される視差量の閾値が±ｍとして予め定められている。
【００６４】
撮影画像データの画像に含まれる複数の被写体は、左右視差画像データにおいてそれぞれ未調整の視差量を有している。例えば、図８で表されるシーンの撮影画像では、距離Ｌ１０に位置する被写体に加え、距離Ｌ２０及び距離Ｌ３０に位置する２つの被写体（図中の近点被写体及び遠点被写体を参照）が含まれている。これら３つの被写体についての未調整の視差量は視差量ｍ１０（ｍ１０＝０）、視差量ｍ２０（ｍ２０＞ｍ）及び視差量ｍ３０（ｍ３０＜−ｍ）となっている。
【００６５】
そして、本実施形態では、このような未調整の視差量に応じて被写体のそれぞれに対して立体調整パラメータＣの値が決定され、視差量の調整に用いられている。例えば、合焦被写体に対しては立体調整パラメータＣの値がＣ１０として決定され、この値Ｃ１０によって未調整の視差量ｍ１０は視差量の目標値ｍ１００に調整されている。但し、視差量ｍ１０は合焦被写体の視差量であるので、未調整の視差量ｍ１０及び視差量の目標値ｍ１００はいずれも０である。
【００６６】
また、近点被写体に対しては立体調整パラメータＣの値がＣ２０として決定され、この値Ｃ２０によって未調整の視差量ｍ２０は視差量の目標値ｍ２００（ｍ２００≦ｍ）に調整されている。また、遠点被写体に対しては立体調整パラメータＣの値がＣ３０として決定され、この値Ｃ３０によって未調整の視差量ｍ３０は視差量の目標値ｍ３００（ｍ３００≧−ｍ）に調整されている。
【００６７】
同様に、図８で表されるシーンに他の被写体が存在する場合には、この被写体についての未調整の視差量は、図中の視差量曲線１６２２で示される値となる。そして、視差量の目標値は、図中の調整視差量曲線１６２３で示される値となる。
【００６８】
ここで、図中の視差量曲線１６２２は、デジタルカメラ１０からの距離と、各距離に被写体が位置したと仮定した場合に各被写体で生じる未調整の視差量との関係を表す。この視差量曲線１６２２は、−ｍ〜＋ｍの範囲外の領域を含んでいる。理解を容易にする観点から、図では、視差量曲線１６２２のうち、−ｍ〜＋ｍの範囲外の領域を枠Ｗ１で囲っており、−ｍ〜＋ｍの範囲内の領域を枠Ｗ２で囲っている。
【００６９】
また、調整視差量曲線１６２３は、デジタルカメラ１０からの距離と、各距離に被写体が位置したと仮定した場合に各被写体で生じさせる視差量の目標値との関係を表す。この調整視差量曲線１６２３で示される視差量の目標値は、視差量曲線１６２２が設定された距離の範囲において、−ｍ〜＋ｍの範囲内に含まれる。
【００７０】
以上のような調整視差量曲線１６２３は、少なくとも−ｍ〜＋ｍの範囲内の被写体と、−ｍ〜＋ｍの範囲外の被写体とに対して異なる立体調整パラメータＣの値が設定されるような形状となっている。具体的な形状は後述する。
【００７１】
なお、これらの視差量曲線１６２２および調整視差量曲線１６２３の関数では、被写体同士の奥行き関係、つまり、デジタルカメラ１０からの距離と、視差量との関係が崩れていない。具体的には、デジタルカメラ１０からの距離が大きいほど、視差量が小さくなり、視差量が０を超えると負の値が大きくなる。換言すると、デジタルカメラ１０からの距離が大きい被写体の視差量ｍａと、距離が小さい被写体の視差量ｍｂとがｍｂ≧ｍａを満たしている。
なお、視差量曲線１６２３では、+ｍより大きい視差量は、許容視差量の上限である+ｍになるように調整され、−ｍより小さい視差量は、許容視差量の下限である−ｍになるように調整される。このようにすると、主要被写体でない被写体の視差を必要以上に抑制することがなく、かつ、被写体関係の奥行き関係が崩れることもない。
【００７２】
以上のような調整視差量曲線１６２３によれば、未調整の視差量が−ｍ〜＋ｍの範囲内の被写体では、この被写体について視差量曲線１６２２に沿う未調整の視差量が概ね維持されるように立体調整パラメータＣの値が決定されて視差量が調整される。これにより、−ｍ〜＋ｍの範囲内の被写体では、立体感が維持される。ここで、未調整の視差量が概ね維持されるよう視差量が調整されるとは、未調整の視差量が維持されるか、或いは未調整の視差量に近い値になるよう、視差量が調整されることを意味する。
【００７３】
一方、未調整の視差量が−ｍ〜＋ｍの範囲に含まれない被写体では、−ｍ〜＋ｍの範囲内に含まれるように、−ｍ〜＋ｍの範囲内の被写体とは異なる立体調整パラメータＣの値が決定されて視差量が調整される。これにより、−ｍ〜＋ｍの範囲外の被写体では視差量が抑制され、鑑賞時の疲労感、違和感が低減される。
【００７４】
このように、被写体ごとに決定された立体調整パラメータＣの値を用いてカラー視差プレーンデータを生成する場合には、未調整の視差量が大きい被写体と、視差量が小さい被写体とで、視差量の調整量を意図的に相違させることができる。そのため、主要な被写体については立体感を残しつつ、主要でない被写体では視差量を抑制することができるため、鑑賞時の違和感、疲労感を低減することができる。
【００７５】
なお、デジタルカメラ１０からの距離が等しい被写体が複数存在する場合には、これら複数の被写体については未調整の視差量同士が等しいため、この視差量を調整するための立体調整パラメータＣの値同士も等しくなる。このことから、画像に含まれる被写体のそれぞれに対し、未調整の視差量に応じて立体調整パラメータＣの値が決定されるとは、画像に含まれる複数の被写体についての未調整の視差量それぞれに対して立体調整パラメータＣの値が決定されることと同義である。
【００７６】
続いて、被写体ごとに立体調整パラメータＣを決定する原理について説明する。なお、以下で説明する原理は、後述のルックアップテーブル２３１０を理解しやすくするためのものである。従って、必ずしもこの原理の通りにデジタルカメラ１０内で立体調整パラメータＣの値が決定されなくても良い。
【００７７】
上述したように、本実施形態では、画像に含まれる複数の被写体のうち−ｍ〜＋ｍの範囲内の被写体に対しては、未調整の視差量が概ね維持されるような立体調整パラメータＣの値が算出される。また、−ｍ〜＋ｍの範囲外の被写体に対しては、−ｍ〜＋ｍの範囲内に視差量が調整されるように立体調整パラメータＣの値が決定される。
【００７８】
このように立体調整パラメータＣの値を決定するには、まず、被写体の視差量が左右視差画像データから演算される。これにより、例えば、合焦被写体、近点被写体、遠点被写体についての未調整の視差量ｍ１０、ｍ２０、ｍ３０がそれぞれ検出される。
【００７９】
また、焦点位置からのデフォーカス量に基づいて、デジタルカメラ１０から、この被写体までの距離が算出される。これにより、例えば、デジタルカメラ１０から合焦被写体、近点被写体、遠点被写体までの距離Ｌ１０、Ｌ２０、Ｌ３０が算出される。
【００８０】
次に、−ｍ〜＋ｍの範囲外に位置する各被写体について、算出された距離に対応する視差量の目標値が調整視差量曲線１６２３から決定される。具体的には、調整視差量曲線１６２３上から、算出された距離に対応する点が決定され、この点の縦軸座標が視差量の目標値として決定される。これにより、例えば、合焦被写体、近点被写体、遠点被写体についての視差量の目標値ｍ１００、目標値ｍ２００、目標値ｍ３００が決定される。
【００８１】
そして、被写体ごとに未調整の視差量が視差量の目標値に調整されるような立体調整パラメータＣの値が算出される。これにより、例えば、未調整の視差量ｍ１０（ｍ１０＝０）の合焦被写体については、視差量ｍ１０が概ね維持されるような立体調整パラメータＣの値が算出される。また、近点被写体についての未調整の視差量ｍ２０が視差量の目標値ｍ２００に調整されるような値Ｃ２０が算出される。また、遠点被写体についての未調整の視差量ｍ３０が視差量の目標値ｍ３００に調整されるような値Ｃ３０が算出される。
【００８２】
なお、或る被写体についての未調整の視差量を視差量の目標値に調整するような立体調整パラメータＣの値を算出するには、まず、或る立体調整パラメータＣを用いて３Ｄ画像を生成した後、その被写体の視差量を算出する処理を行う。そして、算出結果をフィードバックしつつ、この処理を繰り返し行ことで、未調整の視差量が視差量の目標値に調整されるときの立体調整パラメータＣの値を算出する。好ましくは、このようにして得られる未調整の視差量と、視差量の目標値と、立体調整パラメータＣの値との対応関係から予めルックアップテーブルを生成しておき、このルックアップテーブルを用いて立体調整パラメータＣの値を算出する。
【００８３】
ここで、以上のような立体調整パラメータＣの値の決定に用いられる調整視差量曲線１６２３の具体的な形状について説明する。調整視差量曲線１６２３は、枠Ｗ１で囲まれた領域内の部分と、枠Ｗ２で囲まれた領域内の部分とから構成されている。これにより、調整視差量曲線１６２３は、少なくとも−ｍ〜＋ｍの範囲内の被写体と、−ｍ〜＋ｍの範囲外の被写体とに対して異なる立体調整パラメータＣの値を設定できるようになっている。
【００８４】
また、調整視差量曲線１６２３のうち、枠Ｗ１で囲まれた領域内の部分は、視差量の目標値が−ｍ〜＋ｍの範囲内に含まれるように形成されている。また、調整視差量曲線１６２３のうち、枠Ｗ２で囲まれた領域内の部分は、視差量曲線１６２２に近似して形成されている。
【００８５】
ここで、被写体がシーンの奥行き方向に連続する場合、換言すれば、被写体が奥行き方向に並んでいる場合について検討する。この場合、これらの被写体の間では、奥行き方向に対して視差量が滑らかに推移することが好ましい。
【００８６】
そのため、調整視差量曲線１６２３は、奥行き方向、つまりデジタルカメラ１０からの距離方向において連続することが好ましく、微分値が連続することがより好ましい。この場合には、調整された視差量が奥行き方向において連続するように、立体調整パラメータＣの値が決定される。また、調整された視差量の微分値が奥行き方向において連続するように立体調整パラメータＣの値が決定される。
【００８７】
調整視差量曲線１６２３を距離方向に連続させるには、調整視差量曲線１６２３のうち、枠Ｗ２で囲まれた領域内の部分の形状を調整すれば良い。具体的には、枠Ｗ２で囲まれた領域内の部分のうち、枠Ｗ１との境界付近の部分を、枠Ｗ１で囲まれた部分に対して連続するように変形すれば良い。
【００８８】
また、調整視差量曲線１６２３の微分値を距離方向に連続させるには、調整視差量曲線１６２３のうち、枠Ｗ２で囲まれた領域内の部分の形状を調整すれば良い。具体的には、枠Ｗ２で囲まれた領域内の部分のうち、枠Ｗ１との境界付近の部分を、枠Ｗ１で囲まれた部分に対して微分値が連続するように変形すれば良い。
【００８９】
調整視差量曲線１６２３を選定するには、例えば、まず−ｍ〜＋ｍの範囲内における少なくとも一部の視差量区間で視差量曲線１６２２に重なり、かつ、±ｍを漸近線とするような曲線を生成することで、調整視差量曲線１６２３のうち、枠Ｗ１で囲まれた部分を生成する。このような曲線は、ハイパボリックタンジェント曲線から導出される。
【００９０】
また、調整視差量曲線１６２３のうち、枠Ｗ２で囲まれた部分を、視差量曲線１６２２から生成する。そして、枠Ｗ２で囲まれた領域内の部分のうち、枠Ｗ１との境界付近の部分を、枠Ｗ１で囲まれた部分に対して連続するように変形する。このとき、枠Ｗ１および枠Ｗ２の境界で調整視差量曲線１６２３の微分値が連続するようにする。これにより調整視差量曲線１６２３が選定される。
【００９１】
なお、上述の視差量曲線１６２２および調整視差量曲線１６２３の関数は、視差量に影響を与える撮像条件（例えば絞り値、フォーカス位置、撮影レンズ２０がズームレンズである場合の焦点距離等）によってそれぞれ変化し得る。従って、上述のような原理により調整視差量曲線１６２３を用いて立体調整パラメータＣの値を決定する場合には、撮像条件ごとに調整視差量曲線１６２３の関数をデジタルカメラ１０内に記憶させておけばよい。
【００９２】
しかしながら、撮像条件は絞り値、フォーカス位置および焦点距離などについての各値の組み合わせによって、無数に存在する。従って、撮像条件ごとに調整視差量曲線１６２３の関数を記憶させると、データ量が多くなってしまう。
【００９３】
そのため、本実施形態では、調整視差量曲線１６２３についての複数の関数をデジタルカメラ１０に記憶させることなく、上述の原理に従って立体調整パラメータＣの値を予め実験により取得しておく。以下、具体的な構成について説明する。図９は、本実施の形態における決定部２３２によって記憶されるルックアップテーブル２３１０を示す図である。
【００９４】
ルックアップテーブル２３１０は、決定部２３２が立体調整パラメータＣの値を決定するときに参照されるテーブルである。このルックアップテーブル２３１０は、デジタルカメラ１０の記憶部に予め記憶されている。図９に示すように、ルックアップテーブル２３１０では、視差量ｍが取り得る各値（ｍ１０、ｍ２０、ｍ３０、…）と、各値に対応する立体調整パラメータＣの値（Ｃ１０、Ｃ２０、Ｃ３０、…）とがペアで記述されている。
【００９５】
ここで、ルックアップテーブル２３１０における視差量ｍのうち、−ｍ〜＋ｍの範囲内の各値に対応する立体調整パラメータＣの値は、未調整の視差量が概ね維持されるように決定されている。また、−ｍ〜＋ｍの範囲外の各値に対応する立体調整パラメータＣの値は、−ｍ〜＋ｍの範囲内に視差量が調整されるように決定されている。
【００９６】
このようなルックアップテーブル２３１０は、例えば試作機を用いた実験を通じて生成される。具体的には、デジタルカメラ１０の試作機において、視差量に影響を与える撮像条件を任意の何れかの条件に設定する。
【００９７】
このとき、撮影条件を一定にしたままシーンに対する奥行き方向に被写体の位置を移動させつつ画像を撮影する。各々の撮影画像データには、被写体までの距離を対応付ける。
【００９８】
次に、各撮影画像データにおける左右の視差画像データから被写体の視差量を算出し、この視差量と、撮影時点でのデジタルカメラ１０から被写体までの距離との対応データを座標平面にプロットする。なお、この座標平面では、上述の図８に示したように、横軸はデジタルカメラ１０からの距離、つまりシーンに対する奥行きであり、縦軸は視差量である。
【００９９】
そして、これらのプロットの近似曲線を生成することにより、視差量曲線１６２２を生成する。視差量曲線１６２２が生成されたら、次に、上述したように調整視差量曲線１６２３を選定する。
【０１００】
これらの視差量曲線１６２２および調整視差量曲線１６２３が得られたら、横軸上の１点を選択し、この点に対応する未調整の視差量を視差量曲線１６２２から検出する。つまり、デジタルカメラ１０からの距離を選択し、この距離に被写体が位置したときの未調整の視差量を検出する。
【０１０１】
そして、検出された未調整の視差量が視差量の目標値に調整されるような立体調整パラメータＣの値を決定する。これにより、未調整の視差量（例えば視差量ｍ１０）が−ｍ〜＋ｍの範囲内であるときは、未調整の視差量が概ね維持されるような立体調整パラメータＣの値（例えば値Ｃ１０）が決定される。
【０１０２】
一方、検出された未調整の視差量（例えば視差量ｍ２０）が−ｍ〜＋ｍの範囲外であるときは、未調整の視差量が−ｍ〜＋ｍの範囲内に調整されるような立体調整パラメータＣの値（例えば値Ｃ２０）が決定される。よって、主要被写体については立体感を残しつつ、主要被写体でない被写体では視差量を抑制することができるため、鑑賞時の違和感、疲労感を低減することができる。
【０１０３】
なお、或る被写体についての未調整の視差量を視差量の目標値に調整するような立体調整パラメータＣの値を算出するには、上述したように、まず、或る立体調整パラメータＣを用いて３Ｄ画像を生成した後、その被写体の視差量を算出する処理を行う。そして、算出結果をフィードバックしつつ、この処理を繰り返し行ことで、未調整の視差量が視差量の目標値に調整されるときの立体調整パラメータＣの値を算出する。好ましくは、このようにして得られる未調整の視差量と、視差量の目標値と、立体調整パラメータＣの値との対応関係から予めルックアップテーブルを生成しておき、このルックアップテーブルを用いて立体調整パラメータＣの値を算出する。
【０１０４】
そして、この点についての未調整の視差量と、立体調整パラメータＣの値とを対応付けてルックアップテーブル２３１０に記憶させる。以降、同様にして、横軸上の他の点を選択して、その点に対応する未調整の視差量と、立体調整パラメータＣの値とを対応付けてルックアップテーブル２３１０に記憶させる。これにより、ルックアップテーブル２３１０が生成される。
【０１０５】
以上のようなルックアップテーブル２３１０によれば、被写体距離を検出することなく、未調整の視差量から立体調整パラメータＣの値を決定することができる。逆言すれば、シーンにおける被写体の配置に関わらず、未調整の視差量さえ検出できれば、ルックアップテーブル２３１０により立体調整パラメータＣの値を決定することができる。
【０１０６】
ここで、視差量の目標値は調整視差量曲線１６２３を用いて決定されており、この曲線では被写体同士の奥行き関係（デジタルカメラ１０からの距離と視差量との関係）が崩れていない。そのため、撮影画像において被写体の奥行き関係が崩れていない限り、視差量を調整しても被写体の奥行き関係が崩れることはない。
【０１０７】
このことから、ルックアップテーブル２３１０は、視差量に影響を与える撮像条件（絞り値やフォーカス位置、撮影レンズ２０がズームレンズである場合の焦点距離）に関わらず、同一のものを用いることができる。以下、この点について具体例を挙げて説明する。
【０１０８】
図１０は、撮影条件の違いにより視差量曲線の形状が異なる場合での視差量と、視差量の目標値との関係を示す図である。この図においては、図８と同様に、横軸はデジタルカメラ１０からの距離を表し、縦軸は視差量を表す。
【０１０９】
なお、デジタルカメラ１０は、距離Ｌ１１、Ｌ１２に位置する被写体（図中の合焦被写体を参照）に焦点を合わせている。また、図１０（ａ）、図１０（ｂ）に示す２つの図の間では、視差量に影響を与える撮影条件としての焦点位置及び絞り値が変更されており、その結果、視差量曲線１６２６、１６２８が互いに異なっている。
【０１１０】
これらの図１０（ａ）、図１０（ｂ）で表されるシーンでは、デジタルカメラ１０から各被写体までの距離が互いに異なっている。具体的には、デジタルカメラ１０から合焦被写体までの距離は、図１０（ａ）で表されるシーンでは距離Ｌ１１となっており、図１０（ｂ）で表されるシーンでは距離Ｌ１２となっている。
【０１１１】
また、デジタルカメラ１０から近点被写体までの距離は、図１０（ａ）で表されるシーンでは距離Ｌ２１となっており、図１０（ｂ）で表されるシーンでは距離Ｌ２２となっている。また、デジタルカメラ１０から遠点被写体までの距離は、図１０（ａ）で表されるシーンでは距離Ｌ３１となっており、図１０（ｂ）で表されるシーンでは距離Ｌ３２となっている。
【０１１２】
一方、合焦被写体についての未調整の視差量は、いずれも視差量ｍ１０（＝０）となっている。また、近点被写体についての未調整の視差量はいずれも視差量ｍ２０となっており、遠点被写体についての未調整の視差量はいずれも視差量ｍ３０となっている。
【０１１３】
このような場合において、ルックアップテーブル２３１０を用いて立体調整パラメータＣを決定すると、図１０（ａ）における合焦被写体、近点被写体および遠点被写体に対しては、未調整の視差量ｍ１０、ｍ２０、ｍ３０が視差量ｍ１００、ｍ２００、ｍ３００に調整されるように立体調整パラメータＣの値がそれぞれ決定される。同様に、図１０（ｂ）における合焦被写体、近点被写体および遠点被写体に対しては、未調整の視差量ｍ１０、ｍ２０、ｍ３０が視差量ｍ１００、ｍ２００、ｍ３００に調整されるように立体調整パラメータＣの値がそれぞれ決定される。
【０１１４】
同様に、デジタルカメラ１０からの各距離に被写体が位置したと仮定した場合に、その距離と、各被写体に対して立体調整パラメータＣにより生じさせる視差量の目標値との関係は、図１０（ａ）、図１０（ｂ）に太線の破線で表した曲線１６２７，１６２９の通りとなる。このことから、視差量に影響を与える撮像条件（絞り値やフォーカス位置、撮影レンズ２０がズームレンズである場合の焦点距離）に関わらず、同一のルックアップテーブル２３１０を用いて立体調整パラメータＣの値を決定できることがわかる。
【０１１５】
そして、以上のルックアップテーブル２３１０によれば、撮像条件ごとに調整視差量曲線１６２３の関数をデジタルカメラ１０内に記憶させる場合と同様の効果を得ることができる。すなわち、主要被写体については立体感を残しつつ、主要被写体でない被写体では視差量を抑制することができるため、鑑賞時の違和感、疲労感を低減することができる。
【０１１６】
次に、以上の処理を画素値分布とカラーの観点から説明する。図１１は、ＲＧＢの画素値分布の変化を説明する図である。図１１（ａ）は、焦点位置から一定量だけずれた位置に存在する物点からのある白色被写体光束を受光した場合の、Ｇ（Ｌｔ）画素、Ｇ（Ｒｔ）画素、Ｒ（Ｌｔ）画素、Ｒ（Ｒｔ）画素、Ｂ（Ｌｔ）画素およびＢ（Ｒｔ）画素のそれぞれの出力値を並べたグラフである。
【０１１７】
図１１（ｂ）は、図１１（ａ）における物点からのある白色被写体光束を受光した場合の、視差無し画素であるＲ（Ｎ）画素、Ｇ（Ｎ）画素およびＢ（Ｎ）画素の出力値を並べたグラフである。このグラフも、各色の画素値分布を表すと言える。
【０１１８】
Ｃ＝０．８として対応する画素ごとに上述の処理を施すと、図１１（ｃ）のグラフで表される画素値分布となる。図から分かるように、ＲＧＢそれぞれの画素値に応じた分布が得られる。
【０１１９】
次に、３Ｄ画像データを再生装置で再生した場合の、鑑賞者と映像との関係について説明する。図１２は、鑑賞者の輻輳角と視差量の関係を示す図である。眼球５０は、鑑賞者の眼球を表し、図は、右目５１と左目５２が離間している様子を示す。
【０１２０】
表示部４０には、視差量が調整されていない非調整画像データが再生され、右目用画像の被写体６１と左目用画像の被写体６２が表示されている。被写体６１と被写体６２は同一の被写体であり、撮影時において焦点位置からずれた位置に存在していたので、表示部４０においては、視差量Ｄ１をもって離間して表示されている。
【０１２１】
眼球５０は、これらを一致させて視認しようとするので、鑑賞者は、右目５１と被写体６１を結ぶ直線と、左目５２と被写体６２を結ぶ直線とが交差する、浮き上がり距離Ｌ１の位置（図において四角で表す）に被写体が存在するように認識する。
【０１２２】
このときの輻輳角は、図示するようにθ１である。一般的に、輻輳角が大きくなると、映像に対して違和感を覚え、また、眼精疲労の原因ともなる。そこで、本実施形態において立体調整パラメータを利用して画像処理する場合は、上述のように視差量を立体調整パラメータによって調整した調整画像データを生成する。なお、図は、非調整画像データに重ねて調整画像データが再生されている様子を示す。
【０１２３】
表示部４０には、調整画像データの右目用画像の被写体７１と左目用画像の被写体７２が表示されている。被写体７１と被写体７２は同一の被写体であり、また被写体６１、６２とも同一の被写体である。被写体７１と被写体７２は、表示部４０においては、視差量Ｄ２をもって離間して表示されている。鑑賞者は、右目５１と被写体７１を結ぶ直線と、左目５２と被写体７２を結ぶ直線とが交差する、浮き上がり距離Ｌ２の位置（図において三角で表す）に被写体が存在するように認識する。
【０１２４】
このときの輻輳角は、θ１よりも小さいθ２である。したがって、鑑賞者は極端な浮き上がり感を感じることなく、また眼精疲労の蓄積も軽減できる。なお、視差量は、後述するように適度に調整されるので、鑑賞者は、心地良い浮き上がり感（デフォーカス関係が逆転した場合の沈み込み感も合せて立体感）をもって映像を鑑賞できる。
【０１２５】
なお、図１２の説明として用いた視差量は、表示部４０における離間距離で表わされたが、視差量は、さまざまな形式で定義され得る。撮影画像データにおけるピクセル単位で定義しても良いし、画像の横幅に対するずれ幅で定義しても良い。
【０１２６】
また、視差量の調整は、立体調整パラメータＣの値を変更する手法を用いなくても、さまざまな手法で実行され得る。以下、立体調整パラメータＣの値の変更によらずに視差量を調整する手法について説明する。
【０１２７】
図１３は、画像の鮮鋭度を示すコントラストと視差量の関係を模式的に示す図である。横軸は、デジタルカメラ１０からの距離を表し、縦軸は、視差量とコントラストの高さを表す。デジタルカメラ１０は、距離Ｌｐに位置する主要被写体に焦点を合わせている。
【０１２８】
コントラスト曲線１６１０は、焦点位置までの距離である距離Ｌｐで最も高い凸状の曲線を成す。すなわち、距離Ｌｐから前後に離れるにつれて徐々にぼけていく様子を示す。
【０１２９】
視差量曲線１６２０は、距離Ｌｐにおいて視差量０を示し、距離Ｌｐよりデジタルカメラ１０側に近づくにつれ、傾きが大きくなるカーブを示す。すなわち、視差量曲線１６２０は距離Ｌｐより手前側で正の値を示し、より近い被写体ほど大きく浮き上がって視認されることを表している。
【０１３０】
他方、視差量曲線１６２０は、距離Ｌｐよりデジタルカメラ１０側から遠ざかるにつれ、傾きが小さくなるカーブを示す。すなわち、視差量曲線１６２０は距離Ｌｐより奥側で負の値を示し、より遠い被写体ほど緩やかに沈み込んで視認されることを表している。
【０１３１】
視差量が−ｍから＋ｍの範囲に含まれる場合に鑑賞者が違和感、疲労感を覚えないとすると、シーンを構成する被写体が距離Ｌｆ（このときの視差量は＋ｍ）から距離Ｌｒ（このときの視差量は−ｍ）の間に分布していれば良い。すなわち、デジタルカメラ１０から最も近い近点被写体が距離Ｌｆに存在し、最も遠い遠点被写体が距離Ｌｒに存在すれば、後段の画像処理で視差量を調整しなくても、鑑賞者は心地よく３Ｄ映像を鑑賞できる。一方、近点被写体が距離Ｌｆよりも手前の距離Ｌｆ'（このときの視差量は＋ｍ'）に存在すると、許容される視差量を超えてしまうので、鑑賞者は違和感、疲労感を覚える。
【０１３２】
さらに被写体分布と視差量の関係について説明を続ける。図１４は、被写体分布と視差量の関係を模式的に示す図である。
【０１３３】
図１４の各図は、図１１のうち、コントラスト曲線１６１０を除いた図に対応する。また、焦点を合わせる対象である主要被写体としての合焦被写体の他に、近点被写体と遠点被写体とが存在する場合を想定している。図１４（ａ）においては、合焦被写体は距離Ｌ１０に、近点被写体はＬ２０に、遠点被写体はＬ３０に存在する。
【０１３４】
許容範囲として設定された視差量範囲が−ｍから＋ｍである場合、遠点被写体の距離Ｌ３０に対する視差量曲線１６２０の値はこの範囲に収まっている。しかし、近点被写体の距離Ｌ２０に対する視差量曲線１６２０の値は＋ｍを超えている。
【０１３５】
図１４（ｂ）は、図１４（ａ）の被写体状況から、合焦被写体が距離Ｌ１０から奥側の距離Ｌ１１へ移動した場合の視差量の概念を示す図である。この場合、距離Ｌ１１が焦点位置となるので、移動していない近点被写体（距離Ｌ２０）の像に対する視差量は、視差量曲線１６２０で示されるように、図１４（ａ）に比べて相当大きくなる。すなわち、許容範囲からの超過量が大きくなる。
【０１３６】
図１４（ｃ）は、図１４（ｂ）の被写体状況から、近点被写体が距離Ｌ２０から奥側の距離Ｌ２１へ、さらには距離Ｌ２２へ移動した場合の視差量の概念を示す図である。焦点位置は距離Ｌ１１のままなので視差量曲線１６２０は図１４（ｂ）と同じ曲線を描くが、近点被写体が奥側にずれたことにより、距離Ｌ２１の時点での視差量は、許容範囲を超えているものの、その超過量は、図１４（ｂ）の超過量よりも小さくなる。さらに距離Ｌ２２まで移動すれば、その視差量は許容範囲に収まる。
【０１３７】
すなわち、シーンに対する奥行き方向の被写体分布と、焦点を合わせる被写体の位置は、設定された許容範囲に視差量が収まるか否かを決定するパラメータであると言える。
【０１３８】
次に、絞り値と視差量の関係について説明する。図１５は、絞り値と視差量の関係を模式的に示す図である。図１３と同様に、横軸は、デジタルカメラ１０からの距離を表し、縦軸は、視差量とコントラストの高さを表す。また、図１５（ａ）は、絞り値がＦ１．４の状態を表し、図１５（ｂ）は、絞り値がＦ４の状態を表し、図１５（ｃ）は、絞り値がＦ８の状態を表す。なお、撮影レンズ２０の焦点距離はいずれの状態においても同一であり、また、デジタルカメラ１０は、距離Ｌ１０に位置する主要被写体に焦点を合わせている。
【０１３９】
コントラスト曲線１６１０は、いずれの状態においても焦点位置までの距離である距離Ｌ１０で最も高い。一方で、絞り２２を絞るほど、すなわち絞り値が大きくなるほど焦点距離前後でも比較的高い値を示す。すなわち、絞り２２を絞った状態で撮影された画像ほど被写界深度が深くなることを示す。視差量曲線１６２０は、距離Ｌ１０において視差量０を示し、距離Ｌ１０よりデジタルカメラ１０側に近づくにつれ、傾きが大きくなるカーブを示す。他方、視差量曲線１６２０は、距離Ｌ１０よりデジタルカメラ１０側から遠ざかるにつれ、傾きが小さくなるカーブを示す。
【０１４０】
視差量曲線１６２０は、絞り値が大きくなるほど、その変化がなだらかになる。すなわち、絞り値がＦ１．４の場合に比べ、Ｆ４、Ｆ８と推移するに従い、焦点位置より手前の視差量および奥の視差量が小さくなる。視差量が−ｍから＋ｍの範囲に含まれる場合に鑑賞者が違和感、疲労感を覚えないとすると、絞り値がＦ８の場合であれば視差量曲線１６２０の全体がこの範囲に収まっているので、いずれの距離に被写体が存在しても鑑賞者は心地よく３Ｄ映像を鑑賞できる。
【０１４１】
一方、絞り値がＦ１．４およびＦ４の場合では、視差量は、視差量曲線１６２０の近距離側で＋ｍを超えている。具体的には、Ｆ１．４の場合で、距離Ｌ２４よりも手前の領域で＋ｍを超えており、Ｆ４の場合で、距離Ｌ２５よりも手前の領域で＋ｍを超えている。この場合、Ｆ４における視差量曲線１６２０の傾きの方が、Ｆ１．８における視差量曲線１６２０傾きよりも緩やかであるので、Ｌ２５＜Ｌ２４の関係が成り立つ。これらの絞り値において、距離Ｌ２４または距離Ｌ２５よりも近距離に被写体が存在すれば、撮影された３Ｄ映像の鑑賞時において、鑑賞者は違和感、疲労感を覚える。
【０１４２】
そこで、本実施形態においては、生成される画像間の視差量がターゲットとする視差量（許容視差量：例えば±ｍの範囲）に収まるように、視差量を変更するための変更条件を変更する。具体的には、視差量に影響を与える撮像条件を変更したり、画像処理に用いる立体調整パラメータの値を変更したりする。
【０１４３】
まず、撮像条件の変更について説明する。図１５を用いて説明したように絞り値が視差量に影響を与えるので、出力視差画像間の視差量が許容視差量に収まるように、検出した被写体分布に応じて絞り値を変更すると良い。例えば図１５（ａ）の状況（初期絞り値がＦ１．４、合焦被写体が距離Ｌ１０）において、近点被写体が距離Ｌ２５に存在すると、その視差量は＋ｍを超えてしまう。そこで、決定部２３２は、絞り値をＦ１．４から、距離Ｌ２５における被写体に対する視差量が＋ｍとなる絞り値であるＦ４に変更する。
【０１４４】
近点被写体が許容視差量の範囲を超える場合に限らず、遠点被写体が許容視差量の範囲を超える場合でも、絞り値を大きな値に変更する。なお、近点被写体および遠点被写体の視差量が、許容視差量に対して余裕がある場合には、絞り値を小さな値、すなわち絞り２２を開く方向に変更しても良い。この場合、シャッタ速度を高速側に変更したり、ＩＳＯ感度を低感度側に変更したりすることができる。
【０１４５】
各絞り値に対する合焦被写体距離と視差量曲線１６２０の関係は、ルックアップテーブルとして予め用意されている。決定部２３２は、被写体分布と許容視差量を入力値として当該ルックアップテーブルを参照すれば、変更すべき絞り値を抽出、決定することができる。
【０１４６】
撮像条件の変更として、絞り値を変更する以外にも、フォーカス位置を変更するフォーカスシフトの手法がある。図１６は、フォーカスシフトの概念を模式的に示す図である。縦軸および横軸は、図１３と同様である。
【０１４７】
コントラスト曲線１６１０と視差量曲線１６２０は、合焦被写体が距離Ｌ１０に存在し、フォーカスレンズを移動させてこの被写体に焦点を合わせたときのコントラスト曲線と視差量曲線を表す。この場合、コントラスト曲線１６１０のピーク値は、合焦と評価される合焦閾値Ｅｓを上回っている。
【０１４８】
近点被写体が距離Ｌ２７の位置に存在すると、その視差量は、視差量曲線１６２０を参照すると＋ｍ０であり、許容視差量＋ｍを超えている。そこで、フォーカスシフトにおいては、合焦閾値Ｅｓを上回る範囲でフォーカスレンズ位置を修正し、距離Ｌ２７における視差量を許容範囲に収める。
【０１４９】
図の例の場合、近点被写体に対する視差量が＋ｍとなる視差量曲線１６２１を選択し、この視差量曲線１６２１において視差量が０となる距離Ｌｐを抽出する。そして、フォーカスレンズ位置を変更して、距離Ｌｐを合焦位置とする。コントラスト曲線１６１１は、このときのコントラスト曲線である。実際には距離Ｌ１０に被写体が存在するので、当該被写体に対するコントラスト値は、図示するようにΔｅだけ低下する。このときのコントラスト値が合焦閾値Ｅｓを上回っていれば良い。このようにフォーカスレンズ位置を変更して撮影された画像は、主要被写体に対するコントラスト値は若干低下するものの、画像としては合焦と評価でき、かつ、近点被写体に対する視差量は許容範囲に収まっている。
【０１５０】
距離Ｌｐに対するコントラスト値が合焦閾値Ｅｓを上回っていない場合には、フォーカスレンズ位置の修正は、許容されない。すなわち、視差量曲線１６２０において近点被写体に対する視差量が許容視差量を大きく上回る場合には、合焦閾値Ｅｓを上回る範囲でフォーカスレンズ位置を変更しても、当該視差量を許容範囲に収めることができない。この場合、例えば絞り値を大きな値に変更するなど、他の手法と併用すると良い。
【０１５１】
フォーカスシフトによる視差量調整の場合も、各絞り値に対する合焦被写体距離と視差量曲線の関係として予め用意されているルックアップテーブルを利用すれば良い。決定部２３２は、被写体分布と許容視差量を入力値として当該ルックアップテーブルを参照すれば、距離Ｌｐを抽出、決定できる。制御部２０１は、距離Ｌｐに対応してフォーカスレンズの位置を変更する。制御部２０１は、その結果得られるコントラスト値が合焦閾値Ｅｓを上回るか否かを判断する。上回ると判断すれば、そのまま撮影シーケンスを続行する。上回らないと判断すれば、フォーカスレンズ位置を戻して、他の手法を併用するなどの制御に移行する。あるいは、実際に制御部２０１がフォーカスレンズを移動させることなく、焦点位置がＬ１０からＬｐへシフトしたときのコントラストの減衰量を決定部２３２が演算し、合焦閾値Ｅｓを上回るか否かを判断しても良い。この場合、例えばコントラストＡＦ方式であれば、距離Ｌ１０に対するフォーカス調整時の、すでに取得されている実際の評価値を参照することもできる。
【０１５２】
ここで、上述したように、立体調整パラメータＣの値を決定するためのルックアップテーブル２３１０は、視差量に影響を与える撮像条件（絞り値やフォーカス位置、撮影レンズ２０がズームレンズである場合の焦点距離）に関わらず、同一のものを用いることができる。そのため、以上のような視差量の調整の手法は、立体調整パラメータＣの値の変更により視差量を調整する手法と併せて用いることができる。
【０１５３】
図１７は、視差量と立体調整パラメータの値と絞り値等との関係を模式的に示す図である。この図においては、図８と同様に、横軸はデジタルカメラ１０からの距離を表し、縦軸は視差量を表す。
【０１５４】
なお、デジタルカメラ１０は、距離Ｌ１０に位置する被写体（図中の合焦被写体を参照）に焦点を合わせている。但し、デジタルカメラ１０で撮影される画像には、距離Ｌ１０に位置する被写体に加え、距離Ｌ２０及び距離Ｌ３０に位置する２つの被写体（図中の近点被写体及び遠点被写体を参照）が含まれている。これら３つの被写体についての未調整の視差量は視差量ｍ１０、視差量ｍ２０及び視差量ｍ３０となっている。
【０１５５】
立体調整パラメータＣの値の変更による手法と、他の手法とを併用して視差量を調整する場合には、まず決定部２３２が絞り値の変更により視差量の調整を行う。これにより、視差量曲線１６２２は視差量曲線１６２４に変形され、合焦被写体、近点被写体、遠点被写体に与えられる視差量は視差量ｍ１０１、視差量ｍ２０１及び視差量ｍ３０１となる。なお、絞り値に代えてフォーカス位置を変更しても良い。
【０１５６】
次に、算出部２３１は、絞り値及びフォーカス位置等の変更により調整された視差量ｍ１０１、視差量ｍ２０１及び視差量ｍ３０１を、立体調整パラメータＣの値によっては未だ調整されていない未調整の視差量として左右の視差画像データから算出する。そして、決定部２３２は、図１０を用いて説明したのと同様に、ルックアップテーブル２３１０を用いて、これらの未調整の視差量ｍ１０１、視差量ｍ２０１及び視差量ｍ３０１に対応する立体調整パラメータＣの値を被写体のそれぞれに対して決定する。
【０１５７】
このようにして決定される立体調整パラメータＣの値は、以下の手法で決定される値と等しい。つまり、まず視差量曲線１６２２ではなく視差量曲線１６２４に対して調整視差量曲線１６２５を生成する。そして、未調整の視差量が視差量の目標値に調整されるような立体調整パラメータＣの値を算出する。この場合、視差量が許容視差量を超える被写体については、鑑賞者が違和感、疲労感を感じないように視差を抑制しつつ、視差量が許容視差量に収まる被写体については、より視差を強調することができる。
【０１５８】
よって、以上のようにして撮像条件の変更による視差量の調整と、立体調整パラメータＣの値の変更による視差量の調整とを併せて行えば、異なる形状の調整視差量曲線を視差量の目標値の決定に用いた場合と同様の効果を得ることができる。そのため、視差量の調整量のバリエーションを増やすことができる。
なお、撮像条件ごとに調整視差量曲線１６２５となるように、視差量の目標値を定めるために用いられる関数をあらかじめ設定することもできる。この場合、データ量は大きくなるが、撮影条件を変更しなくても視差量が調整できる。
【０１５９】
図１８は、被写体指定を説明する図である。特に図１８（ａ）は、あるシーンにおけるデジタルカメラ１０から奥行方向の被写体分布を示し、図１８（ｂ）は、そのシーンをライブビューで表示するデジタルカメラ１０の背面図である。
【０１６０】
図１８（ａ）に示すように、シーンは、デジタルカメラ１０から近い順に大人３０１（距離Ｌｆ）、少年３０２（距離Ｌｐ）、少女３０３（距離Ｌｒ）から構成される。そして図１８（ｂ）に示すように、このシーンを捉えたライブビュー画像が、表示部２０９に表示されている。ここでは、少年３０２が合焦被写体である。
【０１６１】
これまでの説明においては、図８を用いて説明したように、未調整の視差量が−ｍ〜＋ｍの範囲外となっている被写体については、視差量の調整量が大きくなるような立体調整パラメータＣの値を算出した。また、未調整の視差量が−ｍ〜＋ｍの範囲内となっている被写体については、未調整の視差量が概ね維持されるような立体調整パラメータＣの値を算出した。
【０１６２】
しかしながら、視差量が−ｍ〜＋ｍの範囲内であるか否かに関わらず、撮影者にとって主要被写体ではない被写体に対しては、視差量の調整量を大きくすることで視差量を抑制することが好ましい。したがって、必ずしも視差量が−ｍ〜＋ｍの範囲内の被写体に対し、視差量を概ね維持しなくても良い。
【０１６３】
例えば、図１８（ａ）のシーンにおいて少年３０２と少女３０３を主な被写体とすると、鑑賞時において鑑賞者はこの２人を注視することが想定される。したがって、大人３０１の被写体像については鑑賞者が違和感、疲労感を覚えないように視差量を抑制しても良い。そこで、制御部２０１は、いずれの被写体を主要被写体とすべきか、撮影者の指示を受け付ける。
【０１６４】
表示部２０９には、ユーザ指示を受け付ける状態であることを示す、タイトル３２０（例えば「主要被写体の領域を設定して下さい」）が表示されている。この状態において、ユーザは、枠３１０の位置及び大きさを調整することで、主要被写体にしたい被写体像の含まれる領域を範囲指定する。表示部２０９には操作部２０８の一部としてタッチパネル２０８３が重ねて設けられており、制御部２０１は、タッチパネル２０８３の出力を取得して、いずれの被写体を主要被写体とするかを決定する。
【０１６５】
これにより、枠３１０に含まれない大人３０１の被写体が、視差量を小さくしたい被写体として指定される。そして、大人３０１の被写体については、決定部２３２は、未調整の視差量が−ｍ〜＋ｍの範囲内であるか否かに関わらず、ルックアップテーブル２３１０から算出される値よりも０．５に近い値を立体調整パラメータＣの値として決定する。但し、この場合には、大人３０１の被写体と、他の被写体との間で奥行き関係が崩れないように立体調整パラメータＣの値を決定することが好ましい。
【０１６６】
これにより、大人３０１の被写体では、ルックアップテーブル２３１０から算出される立体調整パラメータＣの値をそのまま用いる場合と比較して視差量の調整量が大きくなり、視差量が抑制される。その結果、各被写体についての視差量の調整量は、例えば図１８（ｂ）において各被写体に重ねて示す通りとなる。
【０１６７】
ここで、これらの調整量は、絶対値が大きいほど、視差量の調整度合いが大きいことを意味する。また、正の値（例えば＋２）はデジタルカメラ１０からの距離が大きくなる方向に視差量が調整されることを意味し、負の値（例えば−１）はデジタルカメラ１０からの距離が小さくなる方向に視差量が調整されることを意味する。
【０１６８】
これらの調整量から分かるように、以上のような処理によれば、主要被写体としての少年３０２及び少女３０３では視差量の調整量が小さくなって立体感が維持される。一方、主要被写体ではない大人３０１では視差量の調整量が大きくなって、視差量が小さくなる。
【０１６９】
次にデジタルカメラ１０の動画撮影における処理フローについて説明する。上述のように、生成される画像間の視差量が許容視差量に収まるようにするには、画像処理に用いる立体調整パラメータＣの値を変更する場合と、視差量に影響を与える撮像条件及び立体調整パラメータＣの値をそれぞれ変更する場合とがある。
【０１７０】
＜第１実施例＞
第１実施例として、画像処理に用いる立体調整パラメータＣの値を変更することで視差量を調整する動画撮影の処理フローを説明する。図１９は、第１実施例に係る動画撮影における処理フローである。
【０１７１】
なお、図のフローは、撮影者によりモードボタンが操作されてオート３Ｄ動画モードが開始された時点から始まる。視差量範囲は、事前に撮影者により設定されている。
【０１７２】
オート３Ｄ動画モードが開始されると、決定部２３２は、ステップＳ１１で、撮影者が設定した視差量範囲をシステムメモリから取得する。制御部２０１は、ステップＳ１２で、ＡＦ、ＡＥを実行する。
【０１７３】
ステップＳ１３へ進み、制御部２０１は、例えば図１８を用いて説明したように、タッチパネル２０８３を介して主要被写体にしたい被写体像の含まれる領域の範囲指定をユーザから受け付ける。ステップＳ１５へ進み、制御部２０１は、撮影者が録画開始ボタンを押下げる録画開始指示を待つ。
【０１７４】
録画開始指示を検出すると（ステップＳ１５のＹＥＳ）、制御部２０１は、ステップＳ１７へ進む。指示を検出しない場合は、ステップＳ１２へ戻る。なお、ステップＳ１２へ戻った後においては、指定された被写体の追従を行い、ステップＳ１３の処理をスキップしても良い。
【０１７５】
制御部２０１は、ステップＳ１７では、変更された撮像条件に従って、再びＡＦ，ＡＥを実行する。そして、制御部２０１は、ステップＳ１８で、駆動部２０４を介して撮像素子１００の電荷蓄積、読み出しを実行し、１フレームとしての撮影画像データを取得する。ここで取得された撮影画像データにおける視差画像間の視差量は、被写体分布および撮影条件によっては、設定された視差量に収まっていない。
【０１７６】
ステップＳ３３では、視差画像データ生成部２３３は、決定部２３２により決定される立体調整パラメータＣの値と撮影画像データとを受け取り、左側視点のカラー画像データ（ＲＬｔｃプレーンデータ、ＧＬｔｃプレーンデータ、ＢＬｔｃプレーンデータ）および右側視点のカラー画像データ（ＲＲｔｃプレーンデータ、ＧＲｔｃプレーンデータ、ＢＲｔｃプレーンデータ）を生成する。具体的な処理は後述する。
【０１７７】
ステップＳ１９では、動画撮影中に主要被写体を撮影者が変更したいと考えた場合のために、制御部２０１は、主要被写体にしたい被写体像の含まれる領域の範囲指定をユーザから受け付ける。そして、制御部２０１は、ステップＳ２１で、撮影者から録画停止指示を受けていないと判断すればステップＳ１７へ戻り次のフレーム処理を実行する。録画停止指示を受けたと判断すればステップＳ２２へ進む。
【０１７８】
ステップＳ２２では、動画生成部２３４は、連続的に生成された左側視点のカラー画像データと右側視点のカラー画像データを繋ぎ合わせ、Ｂｌｕ−ｒａｙ３Ｄなどの３Ｄ対応動画フォーマットに従ってフォーマット処理を実行し、動画ファイルを生成する。そして、制御部２０１は、生成された動画ファイルを、メモリカードＩＦ２０７を介してメモリカード２２０へ記録し、一連のフローを終了する。
【０１７９】
なお、メモリカード２２０への記録は、左側視点のカラー画像データと右側視点のカラー画像データの生成に同期して逐次実行し、録画停止指示に同期してファイル終端処理を実行しても良い。また、制御部２０１は、メモリカード２２０へ記録するに限らず、例えばＬＡＮを介して外部機器に出力するように構成しても良い。
【０１８０】
図２０は、左側視点のカラー画像データと右側視点のカラー画像データである視差カラー画像データを生成するまでの、ステップＳ３３の処理フローである。
【０１８１】
視差画像データ生成部２３３は、ステップＳ１０１で、撮影画像データを取得する。そして、ステップＳ１０２において、図３を用いて説明したように、撮影画像データを、視差なし画像データと視差画像データにプレーン分離する。視差画像データ生成部２３３は、ステップＳ１０３で、図３を用いて説明したように分離した各プレーンデータに存在する空格子を補間する補間処理を実行する。
【０１８２】
視差画像データ生成部２３３は、ステップＳ１０４で、各変数の初期化を行う。具体的には、まず、カラー変数Ｃｓｅｔに１を代入する。カラー変数Ｃｓｅｔは、１＝赤、２＝緑、３＝青を表す。また、座標変数であるｉとｊに１を代入する。さらに、視差変数Ｓに１を代入する。視差変数Ｓは、１＝左、２＝右を表す。
【０１８３】
視差画像データ生成部２３３は、ステップＳ１０５において、Ｃｓｅｔプレーンの対象画素位置（ｉ，ｊ）から画素値を抽出する。例えばＣｓｅｔ＝１で、対象画素位置が（１，１）である場合、抽出する画素値は、Ｒｎ１１である。さらに、視差画像データ生成部２３３は、ステップＳ１０６において、ＬｔＣｓｅｔプレーンデータ、ＲｔＣｓｅｔプレーンデータの対象画素位置（ｉ，ｊ）から画素値を抽出する。例えば対象画素位置が（１，１）である場合、抽出する画素値は、ＬｔＣｓｅｔ１１とＲｔＣｓｅｔ１１である。
【０１８４】
算出部２３１は、ステップＳ１０７において対象画素位置（ｉ，ｊ）の画素で表示される被写体についての未調整の視差量を、左右の視差画像データから算出する。そして決定部２３２は、ステップＳ１０８において、算出部２３１が算出した視差量に対応する立体調整パラメータＣの値をルックアップテーブル２３１０から取得する。
【０１８５】
このとき、決定部２３２は、図１８を用いて説明したように、視差量が−ｍ〜＋ｍの範囲内の被写体であっても、撮影者により主要被写体ではないとされた被写体に対しては、ルックアップテーブル２３１０から算出される値よりも１に近い値を立体調整パラメータＣの値として決定しても良い。また、決定部２３２は、画像に含まれる被写体の輝度値を演算し、輝度値が小さいほど視差量が小さくなるよう、更に立体調整パラメータＣの値を調整しても良い。
【０１８６】
視差画像データ生成部２３３は、ステップＳ１０９において、視差変数Ｓに対応する対象画素位置（ｉ，ｊ）の画素値を算出する。例えばＣｓｅｔ＝１、Ｓ＝１で、対象画素位置が（１，１）である場合、ＲＲＬｔＣ１１を算出する。具体的には、例えば、上述の式（１）により算出する。ここで、立体調整パラメータＣの値は、対象画素により表示される被写体についてステップＳ１０８で決定された値である。
【０１８７】
視差画像データ生成部２３３は、ステップＳ１１０で、視差変数Ｓをインクリメントする。そして、ステップＳ１１１で、視差変数Ｓが２を超えたか否かを判断する。超えていなければステップＳ１０９へ戻る。超えていればステップＳ１１２へ進む。
【０１８８】
視差画像データ生成部２３３は、ステップＳ１１２で、視差変数Ｓに１を代入すると共に、座標変数ｉをインクリメントする。そして、ステップＳ１１３で、座標変数ｉがｉ０を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていればステップＳ１１４へ進む。
【０１８９】
視差画像データ生成部２３３は、ステップＳ１１４で、座標変数ｉに１を代入すると共に、座標変数ｊをインクリメントする。そして、ステップＳ１１５で、座標変数ｊがｊ０を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていればステップＳ１１６へ進む。
【０１９０】
ステップＳ１１６まで進むと、Ｃｓｅｔに対する左右それぞれの全画素の画素値が揃うので、視差画像データ生成部２３３は、これらの画素値を並べて、プレーン画像データを生成する。例えばＣｓｅｔ＝１である場合、ＲＬｔｃプレーンデータとＲＲｔｃプレーンデータを生成する。
【０１９１】
ステップＳ１１７ヘ進み、視差画像データ生成部２３３は、座標変数ｊに１を代入すると共に、カラー変数Ｃｓｅｔをインクリメントする。そして、ステップＳ１１８で、カラー変数Ｃｓｅｔが３を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていれば、左側視点のカラー画像データ（ＲＬｔｃプレーンデータ、ＧＬｔｃプレーンデータ、ＢＬｔｃプレーンデータ）および右側視点のカラー画像データ（ＲＲｔｃプレーンデータ、ＧＲｔｃプレーンデータ、ＢＲｔｃプレーンデータ）の全てが揃ったとして、図１９のフローに戻る。
【０１９２】
＜第２実施例＞
第２実施例として、視差量に影響を与える撮像条件及び立体調整パラメータＣの値を変更することで視差量を調整する動画撮影の処理フローを説明する。図２１は、第２実施例に係る動画撮影における処理フローである。図１９の処理フローの各処理と関連する処理については同一のステップ番号を付すことにより、異なる処理および追加的な処理の説明を除いて、その説明を省略する。
【０１９３】
本フローにおいては、制御部２０１は、ステップＳ１５で録画開始指示を検出すると（ステップＳ１５のＹＥＳ）、ステップＳ１６へ進む。ステップＳ１６において決定部２３２は、撮影条件を変更し、ステップＳ１７へ進む。
【０１９４】
具体的には、ステップＳ１６において決定部２３２は、図１５を用いて説明したように絞り値を変更したり、図１６を用いて説明したようにフォーカスレンズ位置を変更したりする。この他にも、視差量に影響を与える撮像条件を、設定された視差量範囲に収まるように変更しても良い。例えば、撮影レンズ２０がズームレンズであれば焦点距離を変更することもできる。
【０１９５】
そして、ステップＳ３３の処理におけるステップＳ１０７の処理において算出部２３１は、対象画素位置（ｉ，ｊ）の画素で表示される被写体についての未調整の視差量を、左右の視差画像データから算出する。この視差量は、絞り値及びフォーカス位置等の変更により調整された視差量である。また、本フローにおいて制御部２０１は、ステップＳ２１で、撮影者から録画停止指示を受けていないと判断すればステップＳ１６へ戻り次のフレーム処理を実行する。
【０１９６】
次に、図２を用いて説明した開口マスクの好ましい開口形状について説明する。図２３は、好ましい開口形状を説明する図である。
【０１９７】
視差Ｌｔ画素の開口部１０５、および視差Ｒｔ画素の開口部１０６は、それぞれ対応する画素に対して中心を含んで互いに反対方向に偏位していることが好ましい。具体的には、開口部１０５および１０６のそれぞれが、画素中心を通る仮想的な中心線３２２と接する形状であるか、あるいは、中心線３２２を跨ぐ形状であることが好ましい。
【０１９８】
特に、図示するように、開口部１０５の形状と開口部１０６の形状は、視差なし画素の開口部１０４の形状を中心線３２２で分割したそれぞれの形状と同一であることが好ましい。別言すれば、開口部１０４の形状は、開口部１０５の形状と開口部１０６の形状を隣接させた形状に等しいことが好ましい。
【０１９９】
以上の説明においては、視差画像データ生成部２３３が用いる計算式は、加重相加平均を利用した上記式（１）（２）を採用したが、これに限らず様々な計算式を採用することができる。例えば、加重相乗平均を利用すれば、上記式（１）（２）と同様に表して、
【数３】
2017108194.tif 000005
【数４】
2017108194.tif 000006
を計算式として採用できる。この場合、維持されるぼけ量が、視差なし画素の出力によるぼけ量ではなく、視差画素の出力によるぼけ量となる。
【０２００】
また、他の計算式としては、上記式（１）（２）と同様に表して、
【数５】
2017108194.tif 000007
【数６】
2017108194.tif 000008
を採用しても良い。この場合、ＧＬｔｃｍｎ、ＧＲｔｃｍｎ、ＢＬｔｃｍｎ、ＢＲｔｃｍｎをそれぞれ算出するときも、立方根の項は変化しない。
【０２０１】
さらには、
【数７】
2017108194.tif 000009
【数８】
2017108194.tif 000010
を採用しても良い。この場合も、ＧＬｔｃｍｎ、ＧＲｔｃｍｎ、ＢＬｔｃｍｎ、ＢＲｔｃｍｎをそれぞれ算出するときも、立方根の項は変化しない。
【０２０２】
次に表示装置との連携について説明する。図２３は、デジタルカメラ１０とＴＶモニタ８０との連携を説明する図である。ＴＶモニタ８０は、例えば液晶から構成される表示部４０、デジタルカメラ１０から取り出されたメモリカード２２０を受容するメモリカードＩＦ８１、鑑賞者が手元で操作するリモコン８２等により構成されている。ＴＶモニタ８０は３Ｄ画像の表示に対応している。３Ｄ画像の表示形式は、特に限定されない。例えば、右目用画像と左目用画像を時分割で表示しても良いし、水平方向または垂直方向に短冊状にそれぞれが並んだインターレースであっても良い。また、画面の一方側と他方側に並ぶサイドバイサイド形式であっても良い。
【０２０３】
ＴＶモニタ８０は、左側視点のカラー画像データと右側視点のカラー画像データを含んでフォーマット化された動画ファイルをデコードして、３Ｄ画像を表示部４０に表示する。この場合、ＴＶモニタ８０は、規格化された動画ファイルを表示する一般的な表示装置としての機能を担う。
【０２０４】
しかしながら、ＴＶモニタ８０は、図１を用いて説明した制御部２０１の機能の少なくとも一部、および画像処理部２０５の少なくとも一部の機能を担う画像処理装置として機能させることもできる。具体的には、図１で説明した算出部２３１、決定部２３２、視差画像データ生成部２３３及び動画生成部２３４を包含する画像処理部をＴＶモニタ８０に組み込む。このように構成することにより、実施例２におけるデジタルカメラ１０とＴＶモニタ８０の組み合わせによる機能分担とは異なる機能分担を実現することができる。
【０２０５】
具体的には、デジタルカメラ１０は、立体調整パラメータによる画像処理を実行せず、奥行情報検出部２３０が検出した奥行情報を、生成した撮影画像データに関連付ける。そして、ＴＶモニタ８０は、画像処理装置として、関連付けられた奥行情報を参照して立体調整パラメータＣの値を被写体ごとに決定し、取得した画像データに対して立体調整パラメータＣを用いた画像処理を実行する。ＴＶモニタ８０は、このように視差量が調整された３Ｄ画像を表示部４０に表示する。
【０２０６】
上記の変形例においては、鑑賞者が、ＴＶモニタ８０での再生時に、一部の調整情報を入力できるように構成しても良い。例えば、鑑賞者は、リモコン８２を操作して、視差量範囲を入力できる。ＴＶモニタ８０は、入力された視差量範囲を調整情報として取得し、決定部２３２は、この視差量範囲に従って立体調整パラメータＣの値を決定する。このように構成すれば、ＴＶモニタ８０は、鑑賞者ごとの好みに応じた３Ｄ画像を表示することができる。
【０２０７】
以上の実施形態によれば、撮影画像データの画像に含まれる複数の被写体それぞれの視差量が算出され、算出された視差量に応じて複数の被写体のそれぞれに対して立体調整パラメータＣの値が決定され、この立体調整パラメータＣの値が撮影画像データに適用されて視差画像データが生成される。従って、撮影画像データの全体に対して単一の立体調整パラメータＣの値を適用する場合と異なり、主要被写体と、主要被写体ではない被写体との間で視差量の調整量を意図的に相違させることができる。よって、主要被写体については立体感を残しつつ、主要被写体でない被写体では視差量を抑制することができるため、鑑賞時の違和感、疲労感を低減することができる。
【０２０８】
また、画像に含まれる複数の被写体のうち視差量が閾値を超えた被写体に対しては、閾値未満に視差量が調整されるように立体調整パラメータＣの値が決定されるので、鑑賞時の違和感、疲労感を確実に低減することができる。
【０２０９】
また、画像に含まれる複数の被写体うち、少なくとも一部の被写体が奥行き方向に連続する場合に、調整された視差量がこれらの被写体に関し奥行き方向において連続するように立体調整パラメータＣの値が決定される。従って、奥行き方向に連続する被写体の間で視差量が離散的に変化してしまうのが防止される。よって、鑑賞時の違和感、疲労感を確実に低減することができる。
【０２１０】
また、画像に含まれる複数の被写体のうち、少なくとも一部の被写体が奥行き方向に連続する場合に、調整された視差量の微分値がこれらの被写体に関し奥行き方向において連続するように立体調整パラメータＣの値が決定される。従って、奥行き方向に連続する被写体の間で視差量の変化を滑らかにすることができる。よって、鑑賞時の違和感、疲労感を確実に低減することができる。
【０２１１】
また、画像に含まれる複数の被写体から、立体調整パラメータＣの値を適用して視差量を抑制したい被写体が使用者に指定されるので、指定される被写体の視差量が抑制される。従って、鑑賞時の違和感、疲労感を確実に低減することができる。
【０２１２】
また、画像に含まれる複数の被写体それぞれの輝度値が演算され、輝度値が小さいほど視差量が小さくなるように立体調整パラメータＣの値が決定される。従って、画像内で輝度値が小さい領域、つまり明度の低い領域に対して大きな視差が与えられるのが防止される。よって、鑑賞時の違和感、疲労感を確実に低減することができる。
【０２１３】
なお、以上の実施形態では、ＴＶモニタ８０を画像処理装置の一例として説明したが、画像処理装置はさまざまな形態を採り得る。例えば、ＰＣ、携帯電話、ゲーム機器など、表示部を備える、あるいは表示部に接続される機器は画像処理装置になり得る。
【０２１４】
また、以上の実施形態では動画撮影を前提として説明したが、検出した奥行情報に基づいて視差量を調整した画像データを出力する構成は、もちろん静止画撮影についても適用できる。このように撮影された静止画像は、左右の画像間に極端な視差を生じさせず、鑑賞者に違和感を与えない。
【０２１５】
また、以上の実施形態では、対象とする被写体をユーザの指示により受け付けたが、制御部２０１が自動的に対象とする被写体を選定しても良い。例えば、制御部２０１は、人物認識処理により、シーンに含まれる人物像に限って対象被写体とすることができる。
【０２１６】
また、以上の実施形態では、撮影画像データから視差画像データ（Ｌｔｃ視差プレーンデータ及びＲｔｃ視差プレーンデータ）を生成することとして説明した。しかしながら、撮影画像ではない画像データ（ＣＧ画像など）から視差画像データを生成しても良い。
【０２１７】
また、以上の実施形態では、決定部２３２は１つのルックアップテーブル２３１０を用いて立体調整パラメータＣの値を決定することとして説明した。しかしながら、決定部２３２に複数のルックアップテーブル２３１０を記憶させておき、撮影者に選択されるルックアップテーブル２３１０を用いて立体調整パラメータＣの値を決定しても良い。この場合には、各被写体についての視差量の調整量を選択することができる。なお、ルックアップテーブル２３１０を選択することは、視差量の目標値を定めるために用いられる関数、つまり調整視差量曲線１６２３等の関数を選択することに等しい。
【０２１８】
この場合には、視差量の調整量のバリエーションを増やすことができる。なお、複数のルックアップテーブル２３１０は、形状の異なる調整視差量曲線から生成することができる。
【０２１９】
また、以上の実施形態では、ルックアップテーブル２３１０を用いて立体調整パラメータＣの値を決定することとして説明した。しかしながら、上述の原理に従って撮像条件ごとに調整視差量曲線１６２３の関数をデジタルカメラ１０内に記憶させておき、これらの関数と、奥行き方向の被写体分布およびフォーカス位置の情報とを用いて立体調整パラメータＣの値を決定しても良い。更に、この場合には、同一の撮影条件に対して調整視差量曲線１６２３の関数をデジタルカメラ１０内に複数記憶させておき、使用者が操作部２０８を操作することで、いずれかの関数を使用対象として選択しても良い。
【０２２０】
また、以上の実施形態では、一部の被写体がシーンの奥行き方向に連続する場合に、これら連続する被写体に関し、調整された視差量の微分値が奥行き方向において連続するように立体調整パラメータＣの値を決定することとして説明した。しかしながら、このような場合に、必ずしも微分値が連続するように立体調整パラメータＣの値を決定しなくても良い。
【０２２１】
例えば、図２４に示すように、画像に含まれる複数の被写体のうち、未調整の視差量が−ｍ〜＋ｍの範囲内に含まれない被写体、つまり図中の枠Ｗ１で囲まれた領域内に位置する被写体に対しては、±ｍに視差量が調整されるように立体調整パラメータＣの値を決定しても良い。この場合には、枠Ｗ１と枠Ｗ２との境界で微分値が不連続となる。この場合、−ｍ〜＋ｍの範囲内に含まれない視差量のみ調整すればよいので処理が簡単になるとともに、−ｍ〜＋ｍの範囲内に含まれる被写体については、視差が抑制されないので立体感が失われることがない。
【０２２２】
また、以上の実施形態では、画像に含まれる被写体がシーンの奥行き方向に連続する場合に、これらの被写体の間で奥行き方向に対し視差量を滑らかに推移させることとして説明した。しかしながら、シーンの奥行き方向に連続する被写体は、画像に含まれる一部の被写体であっても良い。
【０２２３】
また、以上の実施形態では、許容される視差量の閾値を±ｍとして説明した。しかしながら、許容される視差量の上限値および下限値に対し、互いに絶対値の異なる値を用いても良い。
【０２２４】
以上の本実施形態において説明した各処理フローは、制御部を制御する制御プログラムによって実行される。制御プログラムは、内蔵する不揮発性メモリに記録されており、適宜ワークメモリに展開されて各処理を実行する。あるいは、サーバに記録された制御プログラムが、ネットワークを介して各装置に送信され、ワークメモリに展開されて各処理を実行する。または、サーバに記録された制御プログラムがサーバ上で実行され、各装置は、ネットワークを介して送信されてくる制御信号に即して処理を実行する。
【０２２５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０２２６】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０２２７】
１０  デジタルカメラ、２０  撮影レンズ、２１  光軸、２２  絞り、５０  眼球、５１  右目、５２  左目、４０  表示部、６１、６２、７１、７２  被写体、８０  ＴＶモニタ、８１  メモリカードＩＦ、８２  リモコン、１００  撮像素子、１０４、１０５、１０６  開口部、１１０  基本格子、２０１  制御部、２０２  Ａ／Ｄ変換回路、２０３  メモリ、２０４  駆動部、２０５  画像処理部、２０７  メモリカードＩＦ、２０８  操作部、２０９  表示部、２１０  ＬＣＤ駆動回路、２２０  メモリカード、２３０  奥行情報検出部、２３１  算出部、２３２  決定部、２３３  視差画像データ生成部、２３４  動画生成部、３０１  大人、３０２  少年、３０３  少女、３１０  枠、３２０  タイトル、３２２  中心線、１６１０、１６１１  コントラスト曲線、１６２０、１６２１、１６２２、１６２４、１６２６、１６２８  視差量曲線、１６２３、１６２５  調整視差量曲線、１６２７、１６２９  曲線、１８０４、１８０５、１８０７、１８０８  分布曲線、１８０６、１８０９  合成分布曲線、１９０１  Ｌｔ分布曲線、１９０２  Ｒｔ分布曲線、１９０３  ２Ｄ分布曲線、１９０５  調整Ｌｔ分布曲線、１９０６  調整Ｒｔ分布曲線、２０８３  タッチパネル、２３１０  ルックアップテーブル
【図１】
2017108194.tif 000011
【図２】
2017108194.tif 000012
【図３】
2017108194.tif 000013
【図４】
2017108194.tif 000014
【図５】
2017108194.tif 000015
【図６】
2017108194.tif 000016
【図７】
2017108194.tif 000017
【図８】
2017108194.tif 000018
【図９】
2017108194.tif 000019
【図１０】
2017108194.tif 000020
【図１１】
2017108194.tif 000021
【図１２】
2017108194.tif 000022
【図１３】
2017108194.tif 000023
【図１４】
2017108194.tif 000024
【図１５】
2017108194.tif 000025
【図１６】
2017108194.tif 000026
【図１７】
2017108194.tif 000027
【図１８】
2017108194.tif 000028
【図１９】
2017108194.tif 000029
【図２０】
2017108194.tif 000030
【図２１】
2017108194.tif 000031
【図２２】
2017108194.tif 000032
【図２３】
2017108194.tif 000033
【図２４】
2017108194.tif 000034