(57)【特許請求の範囲】
【請求項１】
画像データを取得する取得部と、
前記画像データの画像に含まれる被写体の領域の評価値を前記被写体の領域の位置に対応させて二次元的に配列した評価マップを生成する評価マップ生成部と、
前記画像データから視差画像データを生成するときに適用される、視差量を調整する調整パラメータ値を、前記評価マップの前記評価値に対応させて決定する決定部と、
前記画像データに前記調整パラメータ値を適用して、互いに調整された視差量を有する画像となる視差画像データを生成する生成部と
を備え、
前記画像データは、互いに視差を有する第１視差画像データと第２視差画像データを包含し、
前記画像データは、前記第１視差画像データおよび前記第２視差画像データとは異なる基準画像データを更に包含し、
前記評価マップ生成部は、前記基準画像データから前記評価マップを生成する画像処理装置。
【請求項２】
画像データを取得する取得部と、
前記画像データの画像に含まれる被写体の領域の評価値を前記被写体の領域の位置に対応させて二次元的に配列した評価マップを生成する評価マップ生成部と、
前記画像データから視差画像データを生成するときに適用される、視差量を調整する調整パラメータ値を、前記評価マップの前記評価値に対応させて決定する決定部と、
前記画像データに前記調整パラメータ値を適用して、互いに調整された視差量を有する画像となる視差画像データを生成する生成部と
を備え、
前記画像データは、互いに視差を有する第１視差画像データと第２視差画像データを包含し、
前記評価マップ生成部は、前記第１視差画像データおよび前記第２視差画像データからそれぞれ予備評価マップを生成し、前記予備評価マップを合成して前記評価マップを生成する画像処理装置。
【請求項３】
前記生成部は、前記第１視差画像データと前記第２視差画像データに前記調整パラメータ値を適用して、互いに前記第１視差画像データと前記第２視差画像データのそれぞれの画像間における視差量とは異なる視差量を有する画像となるように第３視差画像データと第４視差画像データを生成する請求項１又は２に記載の画像処理装置。
【請求項４】
前記評価マップ生成部は、前記被写体の領域と周辺領域との差異を鑑賞者が注視する確度と関連づけて数値化した値を前記評価値とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記決定部は、前記評価値が小さい場合の前記評価値の単位増分に対する前記調整パラメータ値の増分を、前記評価値が大きい場合の前記評価値の単位増分に対する前記調整パラメータ値の増分よりも大きくする請求項４に記載の画像処理装置。
【請求項６】
画像データを取得する取得部と、
前記画像データの画像に含まれる被写体の領域の評価値を前記被写体の領域の位置に対応させて二次元的に配列した評価マップを生成する評価マップ生成部と、
前記画像データから視差画像データを生成するときに適用される、視差量を調整する調整パラメータ値を、前記評価マップの前記評価値に対応させて決定する決定部と、
前記画像データに前記調整パラメータ値を適用して、互いに調整された視差量を有する画像となる視差画像データを生成する生成部と
を備え、
前記評価マップ生成部は、前記被写体の領域と周辺領域との差異を鑑賞者が注視する確度と関連づけて数値化した値を前記評価値とし、
前記決定部は、前記評価値が小さい場合の前記評価値の単位増分に対する前記調整パラメータ値の増分を、前記評価値が大きい場合の前記評価値の単位増分に対する前記調整パラメータ値の増分よりも大きくする画像処理装置。
【請求項７】
前記評価マップ生成部は、前記画像データに連動して前記取得部により取得された、前記画像データよりも画素数が少ない予備画像データから前記評価マップを生成する請求項６に記載の画像処理装置。
【請求項８】
前記決定部は、前記画像データの画素ごとに前記調整パラメータ値を決定する請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
撮像素子と、
前記取得部が前記撮像素子の出力信号を処理して前記画像データを取得する請求項１から８のいずれか１項に記載の画像処理装置と
を備える撮像装置。
【請求項１０】
画像データを取得する取得ステップと、
前記画像データの画像に含まれる被写体の領域の評価値を前記被写体の領域の位置に対応させて二次元的に配列した評価マップを生成する評価マップ生成ステップと、
前記画像データから視差画像データを生成するときに適用される、視差量を調整する調整パラメータ値を、前記評価マップの前記評価値に対応させて決定する決定ステップと、
前記画像データに前記調整パラメータ値を適用して、互いに調整された視差量を有する画像となる視差画像データを生成する生成ステップと
をコンピュータに実行させる画像処理プログラムであって、
前記画像データは、互いに視差を有する第１視差画像データと第２視差画像データを包含し、
前記画像データは、前記第１視差画像データおよび前記第２視差画像データとは異なる基準画像データを更に包含し、
前記評価マップ生成ステップは、前記基準画像データから前記評価マップを生成する画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を取得するステレオ撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］  特開平８−４７００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ステレオ撮像装置によって撮影されたステレオ画像データを用いて三次元画像を作成する際に、視差量を調整することで、立体視における奥行きを調整することができる。より自然な三次元画像を生成するために、被写体ごと（或いは画像を構成する画素ごと）に視差量の調整量を設定するには、レンズの焦点距離や絞り値等の複数のパラメータによって調整することが考えられるが、これら複数のパラメータを自動で調整して被写体ごと（画素ごと）に最適な調整量を設定することは難しかった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における画像処理装置は、画像データを取得する取得部と、画像データの画像に含まれる被写体の領域の評価値を被写体の領域の位置に対応させて二次元的に配列した評価マップを生成する評価マップ生成部と、画像データから視差画像データを生成するときに適用される、視差量を調整する調整パラメータ値を、評価マップの評価値に対応させて決定する決定部と、画像データに調整パラメータ値を適用して、互いに調整された視差量を有する画像となる視差画像データを生成する生成部とを備える。
【０００５】
本発明の第２の態様における画像処理プログラムは、画像データを取得する取得ステップと、画像データの画像に含まれる被写体の領域の評価値を被写体の領域の位置に対応させて二次元的に配列した評価マップを生成する評価マップ生成ステップと、画像データから視差画像データを生成するときに適用される、視差量を調整する調整パラメータ値を、評価マップの評価値に対応させて決定する決定ステップと、画像データに調整パラメータ値を適用して、互いに調整された視差量を有する画像となる視差画像データを生成する生成ステップとをコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係るデジタルカメラの構成を説明する図である。
【図２】撮像素子の一部を拡大した様子を概念的に表す概念図である。
【図３】２Ｄ画像データと視差画像データの生成処理の例を説明する図である。
【図４】デフォーカスの概念を説明する図である。
【図５】視差画素が出力する光強度分布を示す図である。
【図６】調整視差量の概念を説明するための画素値分布を示す図である。
【図７】カラー視差プレーンデータの生成処理を説明する図である。
【図８】ＲＧＢの画素値分布の変化を説明する図である。
【図９】入力画像と顕著性マップの画像とを示す図である。
【図１０】立体調整パラメータのパラメータ値算出関数を例示する図である。
【図１１】鑑賞者の輻輳角と視差量の関係を示す図である。
【図１２】視差量制限のメニュー画面を表示するデジタルカメラの背面図である。
【図１３】動画撮影における処理フローである。
【図１４】視差カラー画像データを生成するまでの処理フローである。
【図１５】好ましい開口形状を説明する図である。
【図１６】デジタルカメラとＴＶモニタとの連携を説明する図である。
【図１７】変形例としてのデジタルカメラの動画撮影における処理フローである。
【図１８】変形例としてのＴＶモニタにおける処理フローである。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。本実施形態におけるデジタルカメラは、中央視点による視差のない視差なし画像も、視差画像と共に生成できる。
【００１０】
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９およびＬＣＤ駆動回路２１０を備える。
【００１１】
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１２】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。また、瞳近傍には、光軸２１を中心として同心状に入射光束を制限する絞り２２が配置されている。
【００１３】
撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００１４】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとしてデジタル画像信号に種々の画像処理を施し、撮影画像データを生成する。撮影画像データは、後述するように、撮像素子１００の視差なし画素の出力から生成される基準画像データと、撮像素子１００の視差画素の出力から生成される視差画像データを包含する。撮影画像データを生成するまでの処理部を撮像部とする場合、撮像部は、撮像素子１００、Ａ／Ｄ変換回路２０２、メモリ２０３、制御部２０１および画像処理部２０５を含んで構成される。
【００１５】
制御部２０１は、デジタルカメラ１０を統合的に制御する。例えば、設定された絞り値に応じて絞り２２の開口を調整し、ＡＦ評価値に応じて撮影レンズ２０を光軸方向に進退させる。また、撮影レンズ２０の位置を検出して、撮影レンズ２０の焦点距離、フォーカスレンズ位置を把握する。さらに、駆動部２０４に対してタイミング制御信号を送信し、撮像素子１００から出力される画像信号が画像処理部２０５で撮影画像データに処理されるまでの一連のシーケンスを管理して、撮影画像データを取得する。
【００１６】
画像処理部２０５は、評価マップ生成部２３１、調整パラメータ値決定部２３２、視差画像データ生成部２３３および動画生成部２３４を包含する。評価マップ生成部２３１は、撮影画像データを評価するための評価マップを生成する。
【００１７】
調整パラメータ値決定部２３２は、撮影画像データから視差画像データを生成するときに適用される、視差量を調整する立体調整パラメータ値を決定する。視差画像データ生成部２３３は、撮影画像データに立体調整パラメータ値を適用して、互いに調整された視差量を有する画像となる視差画像データを生成する。動画生成部２３４は、視差画像データ生成部が生成した新たな視差画像データを繋ぎ合わせて、３Ｄの動画ファイルを生成する。
【００１８】
画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された撮影画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００１９】
図２は、撮像素子１００の一部を拡大した様子を概念的に表す概念図である。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する８画素×８画素の６４画素が一つの基本格子１１０を形成する。基本格子１１０は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配される。
【００２０】
基本格子１１０は、視差画素と視差なし画素を含む。視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光する画素である。視差画素には、当該部分光束のみを透過させるように、画素中心から偏位した偏位開口を有する開口マスクが設けられている。
【００２１】
開口マスクは、例えば、カラーフィルタに重ねて設けられる。本実施形態においては、開口マスクにより、部分光束が画素中心に対して左側に到達するように規定された視差Ｌｔ画素と、部分光束が画素中心に対して右側に到達するように規定された視差Ｒｔ画素の２種類が存在する。一方、視差なし画素は、開口マスクが設けられていない画素であり、撮影レンズ２０を透過する入射光束の全体を受光する画素である。
【００２２】
なお、視差画素は、光軸から偏位した部分光束を受光するにあたり、開口マスクに限らず、受光領域と反射領域が区分された選択的反射膜、偏位したフォトダイオード領域など、様々な構成を採用し得る。すなわち、視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光できるように構成されていれば良い。
【００２３】
基本格子１１０内の画素をＰＩＪで表す。例えば、左上画素はＰ１１であり、右上画素はＰ８１である。図に示すように、視差画素は以下のように配列されている。
Ｐ１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。
【００２４】
撮像素子１００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分され、基本格子１１０には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素が少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素が、基本格子１１０内においてランダム性を有して配置されると良い。ランダム性を有して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、高品質な視差画像データが得られる。
【００２５】
次に、撮像素子１００から出力される撮影画像データから２Ｄ画像データと視差画像データを生成する処理の概念を説明する。図３は、２Ｄ画像データと視差画像データの生成処理の例を説明する図である。
【００２６】
基本格子１１０における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、左右の視差画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。
【００２７】
画像処理部２０５は、撮像素子１００の画素配列順にその出力値（画素値）が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を示す。
【００２８】
２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺画素の画素値を用いて補間処理により算出する。
【００２９】
例えば、空格子Ｐ１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ−１−１、Ｐ２−１、Ｐ−１２、Ｐ２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ４３、Ｐ６１、Ｐ８３、Ｐ６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ５６、Ｐ７４、Ｐ９６、Ｐ７８の画素値を平均化演算して算出する。
【００３０】
このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等の、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って一般的な２Ｄ画像としての画像処理を行う。
【００３１】
本実施形態においては、画像処理部２０５は、２Ｄ−ＲＧＢプレーンデータをさらに色ごとに分離し、上述のような補間処理を施して、基準画像データとしての各プレーンデータを生成する。すなわち、緑色の基準画像プレーンデータとしてのＧｎプレーンデータ、赤色の基準画像プレーンデータとしてのＲｎプレーンデータ、および青色の基準画像プレーンデータとしてのＢｎプレーンデータの３つを生成する。
【００３２】
図の右列は、視差画素データとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。
【００３３】
ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ１１とＰ５５の２つの画素値が残る。そこで、基本格子１１０を縦横に４等分し、左上の１６画素分をＰ１１の出力値で代表させ、右下の１６画素分をＰ５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。
【００３４】
同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ５１とＰ１５の２つの画素値が残る。そこで、基本格子１１０を縦横に４等分し、右上の１６画素分をＰ５１の出力値で代表させ、左下の１６画素分をＰ１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。
【００３５】
ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ２７の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ６３の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。
【００３６】
ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ３２の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ７６の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。
【００３７】
本実施形態においては、画像処理部２０５は、これらのプレーンデータを用いて、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。特に、立体調整パラメータを導入することにより、ぼけ量を維持したまま視差量を調整したカラー画像データを生成する。以下、本実施形態における具体的な処理に先立って、視差量を調整したカラー画像データの生成原理と、本実施形態の処理に対する比較例の処理とについて、図４〜図８を参照しつつ説明する。
【００３８】
図４は、デフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対称に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。
【００３９】
本実施形態の光学系においては、実際の被写体光束はレンズ瞳の全体を通過するので、視差画素に到達するまでは、視差仮想瞳に対応する光強度分布が互いに区別されるのではない。しかし、視差画素は、それぞれが有する開口マスクの作用により、視差仮想瞳を通過した部分光束のみを光電変換した画像信号を出力する。したがって、視差画素の出力が示す画素値分布は、それぞれ対応する視差仮想瞳を通過した部分光束の画素値分布と比例関係にあると考えても良い。
【００４０】
図４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、それぞれの視差画素の出力は、対応する像点の画素を中心として急峻な画素値分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。
【００４１】
一方、図４（ｂ）に示すように、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す画素値分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。視差Ｒｔ画素が示す画素値分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の画素値分布が、互いに等距離に離間して現れる。また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の画素値分布が、より離間して現れる。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。別言すれば、デフォーカスに応じて、ぼけ量と視差量は連動して変化する。すなわち、ぼけ量と視差量は、一対一に対応する関係を有する。
【００４２】
また、図４（ｂ）（ｃ）は、物点が焦点位置から遠ざかる方向へずれる場合を示すが、物点が焦点位置から近づく方向へずれる場合は、図４（ｄ）に示すように、図４（ｂ）（ｃ）と比べて、視差Ｌｔ画素が示す画素値分布と視差Ｒｔ画素が示す画素値分布の相対的な位置関係が逆転する。このようなデフォーカス関係により、視差画像を鑑賞するときに鑑賞者は、焦点位置より奥に存在する被写体を遠くに視認し、手前に存在する被写体を近くに視認する。
【００４３】
図４（ｂ）（ｃ）で説明した画素値分布の変化をそれぞれグラフ化すると、図５のように表される。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値（画素値）を表す。この出力値は上述の通り実質的に光強度に比例する。
【００４４】
分布曲線１８０４と分布曲線１８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図４（ｂ）の状況に対する視差なし画素の画素値分布、すなわち被写体光束の全体を受光した場合の画素値分布と略相似形状を示す。
【００４５】
分布曲線１８０７と分布曲線１８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図４（ｃ）の状況に対する視差なし画素の画素値分布と略相似形状を示す。
【００４６】
以上から分かるように、実際に撮像素子１００の出力値として取得され、空格子が補間処理された、画素値分布の視差Ｌｔ画素の画素値と視差Ｒｔ画素の画素値とを用いれば、仮想的な画素値分布をつくり出すことができる。このとき、画素値分布の広がりによって表現されるぼけ量はおよそ維持しつつ、ピーク間の間隔として表現される視差量を調整することもできる。つまり、２Ｄ画像のぼけ量をほぼそのまま維持しつつも、視差無し画素から生成される２Ｄ画像と視差画素から生成される３Ｄ画像との間に調整された視差量を有する画像を生成することができる。
【００４７】
図６は、調整視差量の概念を説明するための画素値分布を示す図である。図において実線で示すＬｔ分布曲線１９０１とＲｔ分布曲線１９０２は、ＬｔプレーンデータとＲｔプレーンデータの実際の画素値をプロットした分布曲線である。例えば、図５における分布曲線１８０４、１８０５に相当する。そして、Ｌｔ分布曲線１９０１とＲｔ分布曲線１９０２のそれぞれのピーク間距離は３Ｄ視差量を表し、この距離が大きいほど、画像再生時の立体感が強くなる。
【００４８】
Ｌｔ分布曲線１９０１とＲｔ分布曲線１９０２とをそれぞれ５割として足し合わせた２Ｄ分布曲線１９０３は、左右に偏りのない凸形状となる。２Ｄ分布曲線１９０３は、図５における合成分布曲線１８０６の高さを１／２にした形状に相当する。すなわち、この分布に基づく画像は、視差量「０」の２Ｄ画像となる。
【００４９】
調整Ｌｔ分布曲線１９０５は、Ｌｔ分布曲線１９０１の８割と、Ｒｔ分布曲線１９０２の２割を足し合わせた曲線である。調整Ｌｔ分布曲線１９０５のピークは、Ｒｔ分布曲線１９０２の成分が加えられる分だけ、Ｌｔ分布曲線１９０１のピークよりも中心寄りに変位する。同様に、調整Ｒｔ分布曲線１９０６は、Ｌｔ分布曲線１９０１の２割と、Ｒｔ分布曲線１９０２の８割を足し合わせた曲線である。調整Ｒｔ分布曲線１９０６のピークは、Ｌｔ分布曲線１９０１の成分が加えられる分だけ、Ｒｔ分布曲線１９０２のピークよりも中心寄りに変位する。
【００５０】
したがって、調整Ｌｔ分布曲線１９０５と調整Ｒｔ分布曲線１９０６のそれぞれのピーク間距離で表される調整視差量は、３Ｄ視差量よりも小さくなる。したがって、画像再生時の立体感は、緩和される。一方で、調整Ｌｔ分布曲線１９０５と調整Ｒｔ分布曲線１９０６のそれぞれの分布の広がりは、２Ｄ分布曲線１９０３の広がりと同等なので、ぼけ量は２Ｄ画像のそれと等しいと言える。
【００５１】
すなわち、Ｌｔ分布曲線１９０１とＲｔ分布曲線１９０２をそれぞれどれくらいの割合で加算するかにより、調整視差量を制御することができる。そして、この調整された画素値分布を、視差なし画素から生成されたカラー画像データの各プレーンに適用することにより、視差画素から生成された視差画像データとは異なる立体感を与える左側視点のカラー画像データと右側視点のカラー画像データとを生成することができる。
【００５２】
具体的には、図３を用いて説明した９つのプレーンデータから、左側視点のカラー画像データと右側視点のカラー画像データを生成することができる。左側視点のカラー画像データは、左側視点に対応する赤色プレーンデータであるＲＬｔｃプレーンデータ、緑色プレーンデータであるＧＬｔｃプレーンデータ、および青色プレーンデータであるＢＬｔｃプレーンデータの３つのカラー視差プレーンデータによって構成される。同様に、右側視点のカラー画像データは、右側視点に対応する赤色プレーンデータであるＲＲｔｃプレーンデータ、緑色プレーンデータであるＧＲｔｃプレーンデータ、および青色プレーンデータであるＢＲｔｃプレーンデータの３つのカラー視差プレーンデータによって構成される。
【００５３】
図７は、比較例としてのカラー視差プレーンデータの生成処理を説明する図である。特に、カラー視差プレーンのうち赤色視差プレーンである、ＲＬｔｃプレーンデータとＲＲｔｃプレーンデータの生成処理について示す。
【００５４】
赤色視差プレーンは、図３を用いて説明したＲｎプレーンデータの画素値と、ＲＬｔプレーンデータおよびＲＲｔプレーンデータの画素値とを用いて生成する。具体的には、例えばＲＬｔｃプレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＬｔｍｎを算出する場合、まず、Ｒｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎｍｎを抽出する。次に、ＲＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＬｔｍｎを、ＲＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＲｔｍｎを抽出する。そして、画素値Ｒｎｍｎに、画素値ＲＬｔｍｎとＲＲｔｍｎを立体調整パラメータＣで分配した値を乗じて、画素値ＲＬｔｃｍｎを算出する。具体的には、以下の式（１）により算出する。ただし、比較例のカラー視差プレーンの生成処理では、立体調整パラメータＣは画素によらず０．５≦Ｃ≦１．０の範囲で単一の値に設定される。
【数１】
0006439285.tif 000002
同様に、ＲＲｔｃプレーンデータの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＲｔｃｍｎを算出する場合も、抽出した画素値Ｒｎｍｎに、画素値ＲＬｔｍｎと画素値ＲＲｔｍｎを立体調整パラメータＣで分配した値を乗じて算出する。具体的には、以下の式（２）により算出する。
【数２】
0006439285.tif 000003
このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ０，ｊ０）まで順次実行する。
【００５５】
そして、赤色視差プレーンであるＲＬｔｃプレーンデータとＲＲｔｃプレーンデータの生成処理が完了したら、次に緑色視差プレーンであるＧＬｔｃプレーンデータとＧＲｔｃプレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎｍｎを抽出する代わりに、Ｇｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｇｎｍｎを抽出する。また、ＲＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＬｔｍｎを抽出する代わりに、ＧＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＧＬｔｍｎを抽出する。同様に、ＲＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＲｔｍｎを抽出する代わりに、ＧＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＧＲｔｍｎを抽出する。そして、式（１）および式（２）の各パラメータを適宜変更して同様に処理する。
【００５６】
さらに、緑色視差プレーンであるＧＬｔｃプレーンデータとＧＲｔｃプレーンデータの生成処理が完了したら、次に青色視差プレーンであるＢＬｔｃプレーンデータとＢＲｔｃプレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎｍｎを抽出する代わりに、Ｂｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｂｎｍｎを抽出する。また、ＲＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＬｔｍｎを抽出する代わりに、ＢＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＢＬｔｍｎを抽出する。同様に、ＲＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＲＲｔｍｎを抽出する代わりに、ＢＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値ＢＲｔｍｎを抽出する。そして、式（１）および式（２）の各パラメータを適宜変更して同様に処理する。
【００５７】
以上の処理により、左側視点のカラー画像データ（ＲＬｔｃプレーンデータ、ＧＬｔｃプレーンデータ、ＢＬｔｃプレーンデータ）および右側視点のカラー画像データ（ＲＲｔｃプレーンデータ、ＧＲｔｃプレーンデータ、ＢＲｔｃプレーンデータ）が生成される。すなわち、実際には撮像素子１００の画素として存在しない仮想的な出力として、左側視点および右側視点のカラー画像データを、比較的簡易な処理により取得することができる。
【００５８】
しかも、立体調整パラメータＣの値を０．５≦Ｃ≦１．０の範囲で変更できるので、視差無し画素による２Ｄカラー画像のぼけ量を維持したまま、３Ｄ画像としての視差量の大きさを調整することができる。したがって、これらの画像データを３Ｄ画像対応の再生装置で再生すれば、立体映像表示パネルの鑑賞者は、カラー画像として立体感が適度に調整された３Ｄ映像を鑑賞できる。特に、処理が簡易なので高速に画像データを生成することができ、動画像にも対応できる。
【００５９】
次に、以上の処理を画素値分布とカラーの観点から説明する。図８は、ＲＧＢの画素値分布の変化を説明する図である。図８（ａ）は、焦点位置から一定量だけずれた位置に存在する物点からのある白色被写体光束を受光した場合の、Ｇ（Ｌｔ）画素、Ｇ（Ｒｔ）画素、Ｒ（Ｌｔ）画素、Ｒ（Ｒｔ）画素、Ｂ（Ｌｔ）画素およびＢ（Ｒｔ）画素のそれぞれの出力値を並べたグラフである。
【００６０】
図８（ｂ）は、図８（ａ）における物点からのある白色被写体光束を受光した場合の、視差無し画素であるＲ（Ｎ）画素、Ｇ（Ｎ）画素およびＢ（Ｎ）画素の出力値を並べたグラフである。このグラフも、各色の画素値分布を表すと言える。
【００６１】
Ｃ＝０．８として対応する画素ごとに上述の処理を施すと、図８（ｃ）のグラフで表される画素値分布となる。図から分かるように、ＲＧＢそれぞれの画素値に応じた分布が得られる。
【００６２】
続いて、本実施形態における視差量の調整について説明する。上述した比較例としての視差量の調整においては、プレーンデータの画像を表示する各画素の画素値に対して単一の立体調整パラメータＣを適用することで視差プレーンデータにおける対応画素の画素値を算出した。
【００６３】
これに対し、本実施形態における視差量の調整においては、プレーンデータを評価するための評価マップを用いて画素ごとに異なる立体調整パラメータＣの値を適用することで、視差プレーンデータにおける対応画素の画素値を算出する。
【００６４】
本実施形態における画像処理部２０５の評価マップ生成部２３１は、撮影画像データの画像に含まれる被写体の表示画素の評価値を、画素の位置に対応させて二次元的に配列した評価マップを生成する。ここでは、評価マップ生成部２３１は、撮影画像データから評価マップを生成する。
【００６５】
好ましくは、評価マップ生成部２３１は、撮影画像データにおけるＬｔプレーンデータおよびＲｔプレーンデータからそれぞれ予備評価マップを生成し、これらの予備評価マップ同士を合成して評価マップを生成する。より好ましくは、評価マップ生成部２３１は、被写体を表示する画素と周辺画素との差異を、鑑賞者が注視する確度と関連づけて数値化した予備評価値（後述の顕著度）の分布データ、換言すれば、いわゆる顕著性マップを予備評価マップとして用いる。
【００６６】
このように顕著性マップとしての予備評価マップ同士を合成して評価マップを生成する場合には、評価マップにおける被写体の表示画素の評価値は、予備評価マップにおける各画素の予備評価値を画素ごとに合成した値となる。そのため、この場合の評価マップにおける被写体の表示画素の評価値は、この画素の予備評価値と同様に、被写体を表示する画素と周辺画素との差異を、鑑賞者が注視する確度と関連づけて数値化した値と言える。
【００６７】
ここで、確度とは、確からしさの度合い、確実さである。また、鑑賞者が注視する確度とは、鑑賞者が注視することの確からしさを数値で表したものである。
【００６８】
また、予備評価マップ同士を合成するとは、本実施形態では、Ｌｔプレーンデータ及びＲｔプレーンデータの予備評価マップにおける被写体の表示画素ごとに、その予備評価値同士の相乗平均をとることを意味する。
【００６９】
Ｌｔ、Ｒｔプレーンデータにおける被写体の表示画素ごとの予備評価値同士を画素ごとに合成することで評価マップを生成する場合には、鑑賞時の違和感や疲労感が抑えられる。この効果を説明するため、デジタルカメラ１０のデフォーカス領域において手前側の被写体と奥側の被写体とが画像上で上下や左右に隣接するような視差画像データを生成する場合を考える。
【００７０】
この場合、予備評価マップにおける画素ごとの予備評価値には、視点ごとに顕著度が異なって視野闘争を生じやすい画素の予備評価値と、視点ごとの顕著度が共通して視野闘争を生じにくい画素の予備評価値とが混在する。そして、このような予備評価値を画素ごとに合成すると、視点ごとに顕著度が異なって視野闘争を生じやすい画素の評価値と、視点ごとの顕著度が共通して視野闘争を生じにくい画素の評価値との差が明確になる。
【００７１】
これにより、視野闘争を生じやすい画素に対する立体調整パラメータＣの値と、視野闘争を生じにくい画素に対する立体調整パラメータＣの値とを相違させることが容易となる。よって、視野闘争を生じやすい画素に対して付与される視差量を、視野闘争を生じにくい画素に対して付与される視差量よりも小さくすることで、鑑賞時の違和感や疲労感が抑えられる。
【００７２】
なお、顕著性マップとは、人間の視覚受容野の働きを模倣し、視覚注意を呼ぶ箇所を抽出することで得られる画像データであり、換言すれば、被写体を表示する画素と周辺画素との差異を、鑑賞者が注視する確度と関連づけて数値化した顕著度の分布データである。顕著性マップは、色、輝度及びエッジ方向の３つの指標を用いて周囲との相違度に応じた各画素の顕著度（saliency value）を計算することで生成される。
【００７３】
このような顕著性マップは、例えばItti等による論文"A Model of Saliency-Based Visual Attention for Rapid Scene Analysis"（刊行物名：The IEEE Transactions on Pattern Analysis and Machine Intelligence、発行国：USA、発行所：IEEE Computer Society、発行年月： Nov 1998、巻数：Volume 20、ページ：pp.1254〜1259）に記載の手法により生成される。この手法では、まずカラー画像を色、輝度、エッジ方向の３つの特徴に分解し、それぞれのガウシアンピラミッドを生成し、これら３つのガウシアンピラミッドを用いてcenter-surround演算を行うことで特徴マップを生成した後、全ての特徴マップを正規化し統合することで顕著性マップを生成する。
【００７４】
図９は、この手法により生成された顕著性マップの例を示す図である。ここで、図中の右側の画像は顕著性マップを示す画像であり、左側の画像は顕著性マップを生成するために用いた元画像、つまり入力画像である。
【００７５】
この入力画像は複数のドット３００を図示したカラーの抽象画であり、背景色は白色、ドット３００の色は赤色となっている。より詳細には、いくつかのドット３００では色が掠れており、右側の下から２番目のドット３００には中心を横断するように緑色のライン３０１が描画されている。
【００７６】
また、画像の全面に亘り、薄い緑色の小点によって斑に網掛けが施されている。このような入力画像を人間が鑑賞すると、人間の感性によって右側の下から２番目のドット３００が最も注目されやすい。
【００７７】
一方、顕著性マップの画像は、例えば２５６階調のグレースケール画像であり、色の薄い画素ほど顕著度が高く、色の濃い画素ほど顕著度が低いことを示している。この図では、右側から２番目のドット３００の顕著度が最も高くなっており、人間の感性に沿って顕著度が評価されていることが分かる。
【００７８】
このような顕著性マップにおける被写体の顕著度は、その被写体がぼやけていると低くなりやすい。そのため、撮影画像の顕著性マップを生成すると、フォーカス位置の被写体では輪郭がはっきりしているので、顕著度が高くなりやすい。また、フォーカス位置から離れた被写体では輪郭がぼやけているので、顕著度が低くなりやすい。
【００７９】
なお、顕著性マップを生成する手法としては、従来公知の他の手法を用いても良い。このような手法としては、例えばHarel等による論文"Graph Based Visual Saliency"（刊行物名：Advances in Neural Information Processing Systems (NIPS)、発行年： 2007、ページ：pp.545〜552）、及びJiang等による論文"Automatic salient object segmentation based on context and shape prior"（刊行物名：British Machine Vision Conference、発行年： 2011、ページ：pp.1〜12）等に記載の手法を用いることができる。
【００８０】
本実施形態における画像処理部２０５の調整パラメータ値決定部２３２は、立体調整パラメータＣの値を、評価マップの評価値に対応させて画素ごとに決定する。換言すれば、調整パラメータ値決定部２３２は、評価マップの画素ごとのデータ、つまり画素ごとの評価値に基づき、Ｌｔプレーンデータ及びＲｔプレーンデータの対応画素に対して立体調整パラメータＣの値をそれぞれ決定する。
【００８１】
より詳細には、調整パラメータ値決定部２３２は、評価マップにおける画素ごとの評価値が取りうる各値から立体調整パラメータＣの値を算出するためのパラメータ値算出関数を記憶している。そして、調整パラメータ値決定部２３２は、このパラメータ値算出関数を用いて画素ごとに立体調整パラメータＣの値を算出し、対応画素に対して決定する。
【００８２】
このパラメータ値算出関数では、評価値が大きいほど立体調整パラメータＣの値を１に近づけて視差量が変化しないようにし、評価値が小さいほど立体調整パラメータＣの値を０．５に近づけて視差量を小さくすることが好ましい。また、評価値が小さい場合の立体調整パラメータＣの変化量よりも、評価値が大きい場合の立体調整パラメータＣの変化量が大きいことが好ましい。具体的には、評価値が小さい場合の評価値の単位増分に対する立体調整パラメータＣの値の増分は、評価値が大きい場合の単位増分に対する立体調整パラメータＣの値の増分よりも大きいことが好ましい。
【００８３】
更に、パラメータ値算出関数としては、非線形の関数が好ましく、例えばガンマ値γが０＜γ＜１を満たすようなガンマ補正を表す関数を用いることができる。図１０は、パラメータ値算出関数の具体例を示す図である。
【００８４】
ここで、図中の横軸（ｘ軸）は入力値としての評価値（ここでは２５６段階で表される顕著度の相乗平均）を示しており、０≦ｘ≦２５５となっている。また、縦軸（ｙ軸）は出力値としての立体調整パラメータＣの値を示しており、０．５０≦ｙ≦１．００となっている。
【００８５】
この図で示される関数のうち、ガンマ値γが０＜γ＜１を満たすようなガンマ補正の関数としては、「ｙ＝ｘ１／４．４」または「ｙ＝ｘ１／２．２」を用いることができる。なお、パラメータ値算出関数は図１０に示した関数に限らず、立体調整パラメータＣの値の範囲が０．７５から１．００になるよう正規化したパラメータ値算出関数を用いても良い。
【００８６】
本実施形態における画像処理部２０５の視差画像データ生成部２３３は、プレーンデータから、視差画像データを生成する。この視差画像データには、互いに視差を有するＬｔｃ視差プレーンデータ及びＲｔｃ視差プレーンデータが包含される。
【００８７】
より具体的には、視差画像データ生成部２３３は、例えば上述の式（１）などを用い、ＬｔプレーンデータとＲｔプレーンデータとの各画素に対し、対応する立体調整パラメータＣの値を適用する。これにより、Ｌｔプレーンデータ及びＲｔプレーンデータの画像間における視差量とは異なる視差量を互いとの間に有するＬｔｃ視差プレーンデータ及びＲｔｃ視差プレーンデータを生成する。
【００８８】
次に、以上のような３Ｄ画像データを再生装置で再生した場合の、鑑賞者と映像との関係について説明する。図１１は、鑑賞者の輻輳角と視差量の関係を示す図である。眼球５０は、鑑賞者の眼球を表し、図は、右目５１と左目５２が離間している様子を示す。
【００８９】
表示部４０には、視差量が調整されていない非調整画像データが再生され、右目用画像の被写体６１と左目用画像の被写体６２が表示されている。被写体６１と被写体６２は同一の被写体であり、撮影時において焦点位置からずれた位置に存在していたので、表示部４０においては、視差量Ｄ１をもって離間して表示されている。
【００９０】
眼球５０は、これらを一致させて視認しようとするので、鑑賞者は、右目５１と被写体６１を結ぶ直線と、左目５２と被写体６２を結ぶ直線とが交差する、浮き上がり距離Ｌ１の位置（図において四角で表す）に被写体が存在するように認識する。
【００９１】
このときの輻輳角は、図示するようにθ１である。一般的に、輻輳角が大きくなると、映像に対して違和感を覚え、また、眼精疲労の原因ともなる。そこで、本実施形態においては、上述のように、評価マップにおいて評価値の小さい画素ほど視差量が小さくなるよう立体調整パラメータで視差量を調整した調整画像データを生成する。図は、非調整画像データに重ねて調整画像データが再生されている様子を示す。
【００９２】
表示部４０には、調整画像データの右目用画像の被写体７１と左目用画像の被写体７２が表示されている。被写体７１と被写体７２は同一の被写体であり、また被写体６１、６２とも同一の被写体である。これらの被写体は、評価マップにおいて評価値が小さい画素で表示される。被写体７１と被写体７２は、表示部４０においては、視差量Ｄ２をもって離間して表示されている。鑑賞者は、右目５１と被写体７１を結ぶ直線と、左目５２と被写体７２を結ぶ直線とが交差する、浮き上がり距離Ｌ２の位置（図において三角で表す）に被写体が存在するように認識する。
【００９３】
このときの輻輳角は、θ１よりも小さいθ２である。したがって、鑑賞者は極端な浮き上がり感を感じることなく、また眼精疲労の蓄積も軽減できる。なお、視差量は、後述するように適度に調整されるので、鑑賞者は、心地良い浮き上がり感（デフォーカス関係が逆転した場合の沈み込み感も合せて立体感）をもって映像を鑑賞できる。
【００９４】
なお、図１１の説明として用いた視差量は、表示部４０における離間距離で表わされたが、視差量は、さまざまな形式で定義され得る。撮影画像データにおけるピクセル単位で定義しても良いし、画像の横幅に対するずれ幅で定義しても良い。
【００９５】
本実施形態における視差量の調整によれば、フォーカス位置の被写体を表示する画素では、評価値が大きくなる（顕著度が高くなる）結果、視差量が維持されるように立体調整パラメータＣの値が決定される。そして、フォーカス位置から被写体が離れるに従って、その被写体を表示する画素では、評価値が小さくなる（顕著度が低くなる）結果、視差量が小さくなるように立体調整パラメータＣの値が決定される。
【００９６】
しかしながら、このようにして立体調整パラメータＣの値を決定しても、フォーカス位置から離れた被写体の視差量が依然として大きく残ってしまうと、鑑賞者が違和感、疲労感を覚えてしまう。そのため、本実施形態において画像処理部２０５は、鑑賞者が違和感、疲労感を覚えてしまうのを確実に防止すべく、設定された下限値と上限値の間に視差量が収まるように調整画像データを生成しても良い。
【００９７】
まず、視差量の制限について説明する。図１２は、視差量制限のメニュー画面を表示するデジタルカメラ１０の背面図である。
【００９８】
視差量の制限は、例えば下限値−ｍ、上限値＋ｍのように設定される。下限値と上限値の絶対値は異なっていても良い。ここでは、視差量を調整視差画像データにおける視差画像のピクセル単位で表す。
【００９９】
鑑賞者が違和感、疲労感を覚える視差量は、鑑賞者ごとに異なる。したがって、撮影時においてデジタルカメラ１０のユーザである撮影者が視差量制限の設定を変更できるように、デジタルカメラ１０を構成することが好ましい。
【０１００】
デジタルカメラ１０には、視差量制限のメニューとして、例えば、図示するように４つの選択肢が設けられている。具体的には、標準的な鑑賞者が心地よいと感じる範囲がプリセットされた「標準」、標準よりも広い範囲がプリセットされ、より大きな視差量を許容する「強め」、標準よりも狭い範囲がプリセットされ、より小さな視差量しか許容しない「弱め」、および撮影者が上限値、下限値を数値入力する「マニュアル」が設けられている。「マニュアル」を選択した場合には、撮影者は、上限値としての「最大浮き上がり量」と下限値としての「最大沈み込み量」を、ピクセル単位で順次指定することができる。撮影者は、操作部２０８の一部であるダイヤルボタン２０８１を操作することにより、これらの選択、指定を行う。
【０１０１】
このように視差量制限として許容される視差量の範囲が設定されると、画像処理部２０５は、この範囲に収まるように視差量を調整した調整視差画像データを生成する。このとき、調整パラメータ値決定部２３２は、設定された範囲に各被写体の視差量が収まるよう、立体調整パラメータＣの値を決定する。
【０１０２】
具体的には、調整パラメータ値決定部２３２は、設定されうる視差量の範囲に予め対応付けて複数種類記憶されたパラメータ値算出関数から、設定された視差量の範囲に対応するパラメータ値算出関数を検出する。これらのパラメータ算出関数では、出力値としての立体調整パラメータＣの最大値が異なっている。そして、このようなパラメータ値算出関数を用いることで、当該範囲に被写体の視差量が収まるよう立体調整パラメータＣの値を決定する。
【０１０３】
なお、例えば視差量制限のメニューの「標準」に対応するパラメータ算出関数としては、立体調整パラメータＣの最大値が１の関数を用いることができる。また、視差量制限のメニューの「強め」に対応するパラメータ算出関数としては、立体調整パラメータＣの最大値が１よりも大きい関数を用いることができる。
【０１０４】
また、視差量制限のメニューの「弱め」に対応するパラメータ算出関数としては、立体調整パラメータＣの最大値が１より小さい関数を用いることができる。また、視差量制限のメニューの「マニュアル」に対応するパラメータ算出関数では、立体調整パラメータＣの最大値が任意に変更されるようになっている。
【０１０５】
本実施形態における視差量の調整処理は、従来技術のように被写体オブジェクトごとに切り出し、デプスマップの情報を用いつつオブジェクト単位で水平方向に移動させるような複雑な処理を必要としない。したがって、従来技術に比べて高速に演算できるので、画像処理部２０５は、被写体の状況が刻々と変化する動画撮影に対してもリアルタイムに調整視差画像データを出力することに容易に対応できる。
【０１０６】
本実施形態におけるデジタルカメラ１０は、心地良い視差量に調整された視差画像データを連続的に生成し、これらを繋ぎ合わせて動画ファイルを生成するオート３Ｄ動画モードを、動画撮影モードのひとつとして備える。撮影者は、撮影に先立ち、操作部２０８の一部であるモードボタン２０８２を操作して、オート３Ｄ動画モードを選択する。
【０１０７】
次に、デジタルカメラ１０の一連の処理フローについて説明する。図１３は、動画撮影における処理フローである。
【０１０８】
図のフローは、撮影者によりモードボタン２０８２が操作されてオート３Ｄ動画モードが開始された時点から始まる。なお、視差量範囲は、事前に撮影者により設定されているオート３Ｄ動画モードが開始されると、制御部２０１は、ステップＳ１１で、撮影者が設定した視差量範囲をシステムメモリから取得する。
【０１０９】
制御部２０１は、ステップＳ１２で、撮影者が録画開始ボタンを押下げる録画開始指示を待つ。録画開始指示を検出すると（ステップＳ１２のＹＥＳ）、制御部２０１は、ステップＳ１３へ進み、ＡＦ、ＡＥを実行する。そして、制御部２０１は、ステップＳ１４で、駆動部２０４を介して撮像素子１００の電荷蓄積、読み出しを実行し、１フレームとしての撮影画像データを取得する。なお、制御部２０１は、この間、ステップＳ１３の検出結果に応じてフォーカスレンズ駆動、絞り２２の駆動を継続していても良い。
【０１１０】
ステップＳ１７では、画像処理部２０５は、評価マップにおける画素ごとのデータに基づき撮影画像データの対応画素にそれぞれ立体調整パラメータＣの値を決定し、左側視点のカラー画像データ（ＲＬｔｃプレーンデータ、ＧＬｔｃプレーンデータ、ＢＬｔｃプレーンデータ）および右側視点のカラー画像データ（ＲＲｔｃプレーンデータ、ＧＲｔｃプレーンデータ、ＢＲｔｃプレーンデータ）を生成する。具体的な処理は後述する。
【０１１１】
制御部２０１は、ステップＳ１８で、撮影者から録画停止指示を受けていないと判断すればステップＳ１３へ戻り次のフレーム処理を実行する。録画停止指示を受けたと判断すればステップＳ１９へ進む。
【０１１２】
ステップＳ１９では、動画生成部２３４は、連続的に生成された左側視点のカラー画像データと右側視点のカラー画像データを繋ぎ合わせ、Ｂｌｕ−ｒａｙ３Ｄなどの３Ｄ対応動画フォーマットに従ってフォーマット処理を実行し、動画ファイルを生成する。そして、制御部２０１は、生成された動画ファイルを、メモリカードＩＦ２０７を介してメモリカード２２０へ記録し、一連のフローを終了する。なお、メモリカード２２０への記録は、左側視点のカラー画像データと右側視点のカラー画像データの生成に同期して逐次実行し、録画停止指示に同期してファイル終端処理を実行しても良い。また、制御部２０１は、メモリカード２２０へ記録するに限らず、ＬＡＮを介して外部機器に出力するように構成しても良い。
【０１１３】
次に、図１３のステップＳ１７の処理について詳細に説明する。図１４は、左側視点のカラー画像データと右側視点のカラー画像データである視差カラー画像データを生成するまでの、ステップＳ１７の処理フローである。
【０１１４】
視差画像データ生成部２３３は、ステップＳ１０１で、撮影画像データを取得する。そして、ステップＳ１０２において、図３を用いて説明したように、撮影画像データを、視差なし画像データと視差画像データにプレーン分離する。視差画像データ生成部２３３は、ステップＳ１０３で、図３を用いて説明したように分離した各プレーンデータに存在する空格子を補間する補間処理を実行する。そして、Ｌｔプレーンデータと、Ｒｔプレーンデータに基づいて、左側視点及び右側視点の仮のカラー視差画像データを生成する。
【０１１５】
評価マップ生成部２３１は、ステップＳ１０４で評価マップを生成する。例えば、評価マップ生成部２３１は、Ｌｔプレーンデータから生成した仮のカラー視差画像データの顕著性マップ（予備評価マップ）と、Ｒｔプレーンデータから生成した仮のカラー視差画像データの顕著性マップとをそれぞれ生成する。そして、Ｌｔプレーンデータにおける画素ごとの顕著度（予備評価値）と、Ｒｔプレーンデータにおける画素ごとの顕著度とを画素ごとに合成することで、被写体の表示画素の評価値を２次元的に配列した評価マップを生成する。
【０１１６】
視差画像データ生成部２３３は、ステップＳ１０５で、各変数の初期化を行う。具体的には、まず、カラー変数Ｃｓｅｔに１を代入する。カラー変数Ｃｓｅｔは、１＝赤、２＝緑、３＝青を表す。また、座標変数であるｉとｊに１を代入する。さらに、視差変数Ｓに１を代入する。視差変数Ｓは、１＝左、２＝右を表す。
【０１１７】
視差画像データ生成部２３３は、ステップＳ１０６で、評価マップにおける画素位置（ｉ，ｊ）の評価値を抽出する。そして、ステップＳ１０７で調整パラメータ値決定部２３２は、抽出された評価値に対応させて立体調整パラメータＣの値を決定する。
【０１１８】
このとき視差画像データ生成部２３３は、撮影者が設定した視差量範囲に対応するパラメータ値算出関数を用いることで、当該範囲に被写体の視差量が収まるよう立体調整パラメータを決定する。なお、視差画像データ生成部２３３が更に画素の種類、換言すればプレーンデータの種類に応じてパラメータ値算出関数を複数種類記憶しておき、処理対象の画素の種類に対応するパラメータ値算出関数を用いて立体調整パラメータの値を決定することとしても良い。
【０１１９】
視差画像データ生成部２３３は、ステップＳ１０８において、Ｃｓｅｔプレーンの対象画素位置（ｉ，ｊ）から画素値を抽出する。例えばＣｓｅｔ＝１で、対象画素位置が（１，１）である場合、抽出する画素値は、Ｒｎ１１である。さらに、視差画像データ生成部２３３は、ステップＳ１０９において、ＬｔＣｓｅｔプレーンデータ、ＲｔＣｓｅｔプレーンデータの対象画素位置（ｉ，ｊ）から画素値を抽出する。例えば対象画素位置が（１，１）である場合、抽出する画素値は、ＬｔＣｓｅｔ１１とＲｔＣｓｅｔ１１である。
【０１２０】
視差画像データ生成部２３３は、ステップＳ１１０において、視差変数Ｓに対応する対象画素位置（ｉ，ｊ）の画素値を算出する。例えばＣｓｅｔ＝１、Ｓ＝１で、対象画素位置が（１，１）である場合、ＲＲＬｔＣ１１を算出する。具体的には、例えば、上述の式（１）により算出する。ここで、立体調整パラメータＣの値は、ステップＳ１０７で設定された値である。
【０１２１】
視差画像データ生成部２３３は、ステップＳ１１１で、視差変数Ｓをインクリメントする。そして、ステップＳ１１２で、視差変数Ｓが２を超えたか否かを判断する。超えていなければステップＳ１１０へ戻る。超えていればステップＳ１１３へ進む。
【０１２２】
視差画像データ生成部２３３は、ステップＳ１１３で、視差変数Ｓに１を代入すると共に、座標変数ｉをインクリメントする。そして、ステップＳ１１４で、座標変数ｉがｉ０を超えたか否かを判断する。超えていなければステップＳ１０６へ戻る。超えていればステップＳ１１５へ進む。
【０１２３】
視差画像データ生成部２３３は、ステップＳ１１５で、座標変数ｉに１を代入すると共に、座標変数ｊをインクリメントする。そして、ステップＳ１１６で、座標変数ｊがｊ０を超えたか否かを判断する。超えていなければステップＳ１０６へ戻る。超えていればステップＳ１１７へ進む。
【０１２４】
ステップＳ１１７まで進むと、Ｃｓｅｔに対する左右それぞれの全画素の画素値が揃うので、視差画像データ生成部２３３は、これらの画素値を並べて、視差量調整済みのプレーンデータを生成する。例えばＣｓｅｔ＝１である場合、ＲＬｔｃプレーンデータとＲＲｔｃプレーンデータを生成する。
【０１２５】
ステップＳ１１８ヘ進み、視差画像データ生成部２３３は、座標変数ｊに１を代入すると共に、カラー変数Ｃｓｅｔをインクリメントする。そして、ステップＳ１１９で、カラー変数Ｃｓｅｔが３を超えたか否かを判断する。超えていなければステップＳ１０６へ戻る。超えていれば、視差画像データ生成部２３３は、ステップＳ１２０で、左側視点のプレーンデータ（ＲＬｔｃプレーンデータ、ＧＬｔｃプレーンデータ、ＢＬｔｃプレーンデータ）をまとめて左側視点のカラー画像データとし、かつ、右側視点のプレーンデータ（ＲＲｔｃプレーンデータ、ＧＲｔｃプレーンデータ、ＢＲｔｃプレーンデータ）をまとめて右側視点のカラー画像データとして、図１３のフローに戻る。
【０１２６】
次に、図２を用いて説明した開口マスクの好ましい開口形状について説明する。図１５は、好ましい開口形状を説明する図である。
【０１２７】
視差Ｌｔ画素の開口部１０５、および視差Ｒｔ画素の開口部１０６は、それぞれ対応する画素に対して中心を含んで互いに反対方向に偏位していることが好ましい。具体的には、開口部１０５および１０６のそれぞれが、画素中心を通る仮想的な中心線３２２と接する形状であるか、あるいは、中心線３２２を跨ぐ形状であることが好ましい。
【０１２８】
特に、図示するように、開口部１０５の形状と開口部１０６の形状は、視差なし画素の開口部１０４の形状を中心線３２２で分割したそれぞれの形状と同一であることが好ましい。別言すれば、開口部１０４の形状は、開口部１０５の形状と開口部１０６の形状を隣接させた形状に等しいことが好ましい。
【０１２９】
以上の実施形態によれば、被写体の表示画素の評価値を二次元的に配列した評価マップを生成し、視差量を調整する立体調整パラメータＣの値を、評価マップの評価値に対応させて決定して視差画像データを生成する。従って、評価値の大きい画素と、評価値の小さい画素との間で立体調整パラメータＣの値を相違させて視差画像データを生成することができる。
【０１３０】
これにより、評価値の大きい画素と、評価値の小さい画素とのいずれか一方の画素では視差量が変化しないようにし、他方の画素では視差量を小さくすることができる。その結果、鑑賞者が注目している被写体の表示画素では視差量を変化させずに立体感を維持しつつ、鑑賞者が注目していない被写体の表示画素では視差量を小さくすることができる。よって、視差量の調整量を一律に定める従来の場合と異なり、メリハリのある三次元画像を生成することができる。
【０１３１】
また、シーンの奥行き方向の被写体分布に関するデータを用いることなく、視差量を調整した視差画像データを生成することができるため、撮影画像データの生成時に奥行き方向の被写体分布に関するデータを生成する手間を省くことができる。また、視差画像データの生成時に奥行き方向の被写体分布に関するデータを解析する手間を省くことができる分、視差画像データを生成するための処理を簡略化することができる。
【０１３２】
また、被写体の領域と周辺領域との差異を、鑑賞者が注視する確度と関連づけて数値化した値を画素の予備評価値、或いは評価値として用いるので、注視されやすい被写体の視差量を確実に調整することができる。従って、視差画像データに基づく立体画像を鑑賞者が見たときの違和感を確実に低減することができる。
【０１３３】
また、或る画素について鑑賞者が注視する確度が小さい（または大きい）とは、当該画素に表示される被写体が画像撮影時にフォーカス領域から遠い（またはフォーカス領域に近い）ことを概ね意味する。そのため、確度に応じて立体調整パラメータＣの値を調整することにより、フォーカス領域から遠く違和感を生じやすい被写体に付与される視差量を、フォーカス領域に近く違和感を生じにくい被写体に付与される視差量よりも小さくすることができる。よって、視差画像データに基づく立体画像を鑑賞者が見たときの違和感をよりいっそう確実に低減することができる。
【０１３４】
なお、以上の説明においては、視差画像データ生成部２３３が用いる計算式は、加重相加平均を利用した上記式（１）（２）を採用したが、これに限らず様々な計算式を採用することができる。例えば、加重相乗平均を利用すれば、上記式（１）（２）と同様に表して、
【数３】
0006439285.tif 000004
【数４】
0006439285.tif 000005
を計算式として採用できる。この場合、維持されるぼけ量が、視差なし画素の出力によるぼけ量ではなく、視差画素の出力によるぼけ量となる。
【０１３５】
また、他の計算式としては、上記式（１）（２）と同様に表して、
【数５】
0006439285.tif 000006
【数６】
0006439285.tif 000007
を採用しても良い。この場合、ＧＬｔｃｍｎ、ＧＲｔｃｍｎ、ＢＬｔｃｍｎ、ＢＲｔｃｍｎをそれぞれ算出するときも、立方根の項は変化しない。
【０１３６】
さらには、
【数７】
0006439285.tif 000008
【数８】
0006439285.tif 000009
を採用しても良い。この場合も、ＧＬｔｃｍｎ、ＧＲｔｃｍｎ、ＢＬｔｃｍｎ、ＢＲｔｃｍｎをそれぞれ算出するときも、立方根の項は変化しない。
【０１３７】
次に表示装置との連携について説明する。図１６は、デジタルカメラ１０とＴＶモニタ８０との連携を説明する図である。ＴＶモニタ８０は、例えば液晶から構成される表示部４０、デジタルカメラ１０から取り出されたメモリカード２２０を受容してメモリカード２２０から撮影画像データを取得するメモリカードＩＦ８１、鑑賞者が手元で操作するリモコン８２等により構成されている。ＴＶモニタ８０は３Ｄ画像の表示に対応している。３Ｄ画像の表示形式は、特に限定されない。右目用画像と左目用画像を時分割で表示しても良いし、水平方向または垂直方向に短冊状にそれぞれが並んだインターレースであっても良い。また、画面の一方側と他方側に並ぶサイドバイサイド形式であっても良い。
【０１３８】
ＴＶモニタ８０は、左側視点のカラー画像データと右側視点のカラー画像データを含んでフォーマット化された動画ファイルをデコードして、３Ｄ画像を表示部４０に表示する。この場合、ＴＶモニタ８０は、規格化された動画ファイルを表示する一般的な表示装置としての機能を担う。しかしながら、ＴＶモニタ８０は、図１を用いて説明した制御部２０１の機能の少なくとも一部、および画像処理部２０５の少なくとも一部の機能を担う画像処理装置として機能させることもできる。具体的には、図１で説明した評価マップ生成部２３１、調整パラメータ値決定部２３２、視差画像データ生成部２３３及び動画生成部２３４を包含する画像処理部をＴＶモニタ８０に組み込む。このように構成することにより、上述の実施形態におけるデジタルカメラ１０とＴＶモニタ８０の組み合わせによる機能分担とは異なる機能分担を実現することができる。以下にその変形例を説明する。
【０１３９】
変形例においては、視差量を立体調整パラメータによって調整した調整画像データの生成処理を、デジタルカメラ１０側ではなく、ＴＶモニタ８０側に担わせる。したがって、デジタルカメラ１０は、図１の構成に対して評価マップ生成部２３１と調整パラメータ値決定部２３２と視差画像データ生成部２３３とを備えなくて良い。
【０１４０】
具体的に変形例におけるデジタルカメラ１０の処理動作について説明する。図１７は、変形例としてのデジタルカメラ１０の動画撮影における処理フローである。図１３の処理フローの各処理と関連する処理については同一のステップ番号を付すことにより、異なる処理および追加的な処理の説明を除いて、その説明を省略する。
【０１４１】
ステップＳ２０では、連続的に生成された撮影画像データを繋ぎ合わせて動画ファイル化を実行する。なお、動画ファイルは、連続するフレームの撮影画像データとして基準画像データと左右視点の視差画像データを包含すれば、図３を用いて説明したいずれの段階のデータであっても良い。すなわち、分離処理、補間処理、プレーンデータ処理は、デジタルカメラ１０の処理としてステップＳ１４で行っても良いし、一部または全部を画像処理装置としてのＴＶモニタ８０で行っても良い。そして、制御部２０１は、生成された動画ファイルをメモリカード２２０へ出力して、一連のフローを終了する。
【０１４２】
次に、変形例におけるＴＶモニタ８０の処理動作について説明する。図１８は、変形例としてのＴＶモニタ８０の動画再生における処理フローである。図１３の処理フローの各処理と関連する処理については同一のステップ番号を付すことにより、異なる処理および追加的な処理の説明を除いて、その説明を省略する。ただし、ＴＶモニタ８０は、評価マップ生成部２３１、調整パラメータ値決定部２３２、視差画像データ生成部２３３及び動画生成部２３４を包含する画像処理部を備える。画像処理部は、図１を用いて説明した画像処理部２０５に対応する。
【０１４３】
制御部は、３Ｄ画像の再生指示を検出すると、上述の図１４に示したステップＳ１７で、視差量調整された左側視点および右側視点のカラー画像データを生成する。但し、この処理において制御部は、メモリカードＩＦ８１内の動画ファイルをデコードすることで、撮影画像データを取得する。
【０１４４】
ステップＳ３３へ進み、制御部は、視差量調整された左側視点および右側視点のカラー画像データによる３Ｄ画像を表示部４０に表示する。そして、制御部は、ステップＳ３４で、鑑賞者から再生停止の指示があったか、あるいは、再生すべき画像データが終了したかを判断し、いずれにも該当しない場合には、ステップＳ３１へ戻って、次のフレームの再生処理を開始する。一方、いずれかに該当する場合には、一連の再生処理を終了する。
【０１４５】
なお、上記の変形例においては、鑑賞者がＴＶモニタ８０での再生時にリモコン８２を操作して、視差量範囲を入力できるように構成しても良い。ＴＶモニタ８０の調整パラメータ値決定部２３２は、入力された視差量範囲を取得し、この視差量範囲に従って立体調整パラメータＣの値を決定する。このように構成すれば、ＴＶモニタ８０は、鑑賞者ごとの好みに応じた３Ｄ画像を表示することができる。
【０１４６】
また、以上の本実施形態では、動画撮影を前提として説明したが、視差量を調整した視差画像データを出力する構成は、もちろん静止画撮影についても適用できる。このように撮影された静止画像は、左右の画像間に極端な視差を生じさせず、鑑賞者に違和感を与えない。
【０１４７】
また、以上の実施形態では、ＴＶモニタ８０を画像処理装置の一例として説明したが、画像処理装置はさまざまな形態を採り得る。例えば、ＰＣ、携帯電話、ゲーム機器など、表示部を備える、あるいは表示部に接続される機器は画像処理装置になり得る。
【０１４８】
また、以上の実施形態では、撮像素子１００は視差なし画素と視差画素とを有することとして説明した。しかしながら、撮像素子１００は視差画素のみを有することとしても良い。この場合には、例えば上記の式（１）においてＲｎプレーンデータの画素値の代わりに、ＲＬｔプレーンデータの画素値と、ＲＲｔプレーンデータの画素値との加算平均を用いる。
【０１４９】
また、以上の実施形態では、評価マップ及び視差画像データ（Ｌｔｃ視差プレーンデータ及びＲｔｃ視差プレーンデータ）を生成するために同一の撮影画像データを用いることとして説明した。しかしながら、同一シーンについての画像データを用いる限りにおいて、撮影画像ではない同一の画像データ（ＣＧ画像など）を用いても良いし、互いに異なる画像データを用いても良い。
【０１５０】
異なる画像データを用いる具体例としては、動画撮影において連続して撮影される前後フレームの撮影画像データを視差画像データ及び評価マップの生成に用いる場合が挙げられる。また、デジタルカメラによる撮影画像データを視差画像データの生成に用い、この撮影画像データに連動して取得される、撮影画像データよりも画素数の少ない予備画像データを評価マップの生成に用いる場合も挙げられる。
【０１５１】
このような予備画像データとしては、デジタルカメラによる撮影画像データの取得時に表示部２０９に表示されるライブビュー画像の画像データを用いることができる。画素数の異なる画像データを用いる場合であっても、画素間の対応関係を参酌すれば、一方の画像データから生成される評価マップの画素ごとのデータに基づいて、他方の画像データの対応画素にそれぞれ立体調整パラメータＣの値を決定し、視差画像データを生成することができる。
【０１５２】
また、以上の実施形態では、評価マップに配列される評価値として、被写体の表示画素の評価値を用いることとして説明したが、被写体の表示領域の評価値を用いても良い。この場合には、調整パラメータ値決定部２３２は被写体の表示領域ごとに立体調整パラメータＣの値を決定することになる。
【０１５３】
また、以上の実施形態では、予備評価マップにおける被写体の表示画素ごとに、その予備評価値同士の相乗平均をとることで予備評価マップ同士を合成することとして説明した。しかしながら、被写体の表示画素ごとに予備評価値同士を単純に乗算することで予備評価マップ同士を合成しても良い。
【０１５４】
また、被写体の表示画素ごとに予備評価値同士を単純に加算するか、或いは相加平均をとることで予備評価マップ同士を合成しても良い。また、被写体の表示画素ごとにＬｔプレーンデータ及びＲｔプレーンデータの間で共通する予備評価値のみを残すようにＡＮＤ演算を行うことで、予備評価マップ同士を合成しても良い。
【０１５５】
また、以上の実施形態では、Ｌｔプレーンデータの予備評価マップ（好ましくは顕著性マップ）と、Ｒｔプレーンデータの予備評価マップとを合成することで評価マップを生成することとして説明した。しかしながら、２Ｄ画像データの画像についての顕著性マップを評価マップとして生成しても良い。また、Ｌｔプレーンデータの予備評価マップ（好ましくは顕著性マップ）と、Ｒｔプレーンデータの予備評価マップと、２Ｄ画像データの予備評価マップとを合成することで評価マップを生成しても良い。３つの予備評価マップを合成する場合には、予備評価マップの種類ごとに重み付けして合成しても良い。
【０１５６】
また、以上の実施形態では、調整パラメータ値決定部２３２はパラメータ値算出関数を記憶し、このパラメータ値算出関数を用いて立体調整パラメータＣの値を決定することとして説明した。しかしながら、調整パラメータ値決定部２３２は、評価マップにおける画素ごとの評価値が取り得る値と、立体調整パラメータＣの値とを対応付けたルックアップテーブルを記憶し、このルックアップテーブルを用いて立体調整パラメータＣの値を決定しても良い。
【０１５７】
以上の本実施形態において説明した各処理フローは、制御部を制御する制御プログラムによって実行される。制御プログラムは、内蔵する不揮発性メモリに記録されており、適宜ワークメモリに展開されて各処理を実行する。あるいは、サーバに記録された制御プログラムが、ネットワークを介して各装置に送信され、ワークメモリに展開されて各処理を実行する。または、サーバに記録された制御プログラムがサーバ上で実行され、各装置は、ネットワークを介して送信されてくる制御信号に即して処理を実行する。
【０１５８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１５９】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１６０】
１０  デジタルカメラ、２０  撮影レンズ、２１  光軸、２２  絞り、５０  眼球、５１  右目、５２  左目、４０  表示部、６１、６２、７１、７２  被写体、８０  ＴＶモニタ、８１  メモリカードＩＦ、８２  リモコン、１００  撮像素子、１０４、１０５、１０６  開口部、１１０  基本格子、２０１  制御部、２０２  Ａ／Ｄ変換回路、２０３  メモリ、２０４  駆動部、２０５  画像処理部、２０７  メモリカードＩＦ、２０８  操作部、２０９  表示部、２１０  ＬＣＤ駆動回路、２３１  評価マップ生成部、２３２  調整パラメータ値決定部、２３３  視差画像データ生成部、２３４  動画生成部、３２２  中心線、１８０４、１８０５、１８０７、１８０８  分布曲線、１８０６、１８０９  合成分布曲線、１９０１  Ｌｔ分布曲線、１９０２  Ｒｔ分布曲線、１９０３  ２Ｄ分布曲線、１９０５  調整Ｌｔ分布曲線、１９０６  調整Ｒｔ分布曲線、２０８１  ダイヤルボタン、２０８２  モードボタン
【図１】
0006439285.tif 000010
【図２】
0006439285.tif 000011
【図３】
0006439285.tif 000012
【図４】
0006439285.tif 000013
【図５】
0006439285.tif 000014
【図６】
0006439285.tif 000015
【図７】
0006439285.tif 000016
【図８】
0006439285.tif 000017
【図９】
0006439285.tif 000018
【図１０】
0006439285.tif 000019
【図１１】
0006439285.tif 000020
【図１２】
0006439285.tif 000021
【図１３】
0006439285.tif 000022
【図１４】
0006439285.tif 000023
【図１５】
0006439285.tif 000024
【図１６】
0006439285.tif 000025
【図１７】
0006439285.tif 000026
【図１８】
0006439285.tif 000027