(57)【要約】【課題】右目用の画像と左目用の画像との間に生じる視差量が時間的に急激に変化すると、見ている者が輻輳角の変化に追従できずに違和感が生じる。【解決手段】画像処理装置であって、同一の対象に対する視差を示す視差量を時系列的に取得し、視差量の時間的な変化量を算出する変化量算出部と、変化量算出部により取得された変化量が閾値よりも大きい場合に、少なくとも対象に対する変化量を低減した動画を生成する動画生成部とを備える。【選択図】図３
2014086984.tif 000002
【特許請求の範囲】
【請求項１】
同一の対象に対する視差を示す視差量を時系列的に取得し、前記視差量の時間的な変化量を算出する変化量算出部と、
前記変化量算出部により取得された前記変化量が閾値よりも大きい場合に、少なくとも前記対象に対する前記変化量を低減した動画を生成する動画生成部と
を備える画像処理装置。
【請求項２】
前記動画生成部は、前記変化量を前記閾値以下に低減した前記動画を生成する請求項１に記載の画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置と、
入射光を電気信号に光電変換する、二次元的に配列された複数の光電変換素子、および、前記入射光の断面領域内の部分領域からの光を、対応する前記複数の光電変換素子にそれぞれ入射させる開口を設けた遮光部を有し、前記対象を撮影して画像を生成する撮影部と
を備え、
前記動画生成部は、前記撮影部で時系列的に撮影した前記対象の複数の画像から前記動画を生成する撮影装置。
【請求項４】
前記撮影部に入射する前記入射光の周辺領域を遮光する、絞り値が可変な絞りをさらに備え、
前記動画生成部は、前記変化量算出部により取得された前記変化量が閾値よりも大きい場合に、前記変化量が閾値よりも小さい場合に比べて前記絞り値を大きくした状態で前記撮影部で時系列的に撮影されて生成された複数の画像から前記動画を生成する請求項３に記載の撮影装置。
【請求項５】
前記動画生成部は、前記変化量算出部により取得された前記変化量が閾値よりも大きい場合に、前記変化量が閾値よりも小さい場合に比べて高いフレームレートで前記撮影部で撮影されて生成された複数の画像から前記動画を生成する請求項３に記載の撮影装置。
【請求項６】
前記動画生成部は、前記フレームレートの情報を前記動画に対応付けて出力する請求項５に記載の撮影装置。
【請求項７】
基準画像、前記基準画像に対して第１視差を有する第１視差画像、および、前記基準画像に対して前記第１視差とは反対の方向の第２視差を有する第２視差画像を取得する画像取得部をさらに備え、
前記動画生成部は、対応する画素ごとに前記第１視差画像の示す視差量と前記第２視差画像の示す視差量とに基づいた視差量を前記基準画像に割り付けた、新たな一対の視差画像に基づいて前記動画を生成し、
前記動画生成部は、前記変化量算出部により取得された前記変化量が閾値よりも大きい場合に、前記変化量が閾値よりも小さい場合に比べて、前記第１視差画像の示す視差量の重みと前記第２視差画像の示す視差量の重みとがより近くなる前記視差量を前記基準画像に割り付ける請求項１に記載の画像処理装置。
【請求項８】
前記動画生成部は、前記変化量算出部により取得された前記変化量が閾値よりも大きい場合に、前記変化量が閾値よりも小さい場合に比べて長い再生時間で再生される前記動画を生成する請求項１に記載の画像処理装置。
【請求項９】
同一の対象に対する視差を示す視差量を時系列的に取得し、前記視差量の時間的な変化量を算出する変化量算出手順と、
前記変化量算出手順により取得された前記変化量が閾値よりも大きい場合に、少なくとも前記対象に対する前記変化量を低減した動画を生成する動画生成手順と
を備える画像処理方法。
【請求項１０】
同一の対象に対する視差を示す視差量を時系列的に取得し、前記視差量の時間的な変化量を算出する変化量算出手順と、
前記変化量算出手順により取得された前記変化量が閾値よりも大きい場合に、少なくとも前記対象に対する前記変化量を低減した動画を生成する動画生成手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮影装置およびプログラムに関する。
【背景技術】
【０００２】
２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を取得するステレオ撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］  特開平８−４７００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ステレオ画像を動画のように時系列で再生する場合において、右目用の画像と左目用の画像との間に生じる視差量が時間的に急激に変化すると、鑑賞者が輻輳角の変化に追従できずに違和感が生じる。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における画像処理装置は、同一の対象に対する視差を示す視差量を時系列的に取得し、視差量の時間的な変化量を算出する変化量算出部と、変化量算出部により取得された変化量が閾値よりも大きい場合に、少なくとも対象に対する変化量を低減した動画を生成する動画生成部とを備える。
【０００５】
本発明の第２の態様における画像処理方法は、同一の対象に対する視差を示す視差量を時系列的に取得し、前記視差量の時間的な変化量を算出する変化量算出手順と、前記変化量算出手順により取得された前記変化量が閾値よりも大きい場合に、少なくとも前記対象に対する前記変化量を低減した動画を生成する動画生成手順とを備える。
【０００６】
本発明の第２の態様におけるプログラムは、同一の対象に対する視差を示す視差量を時系列的に取得し、前記視差量の時間的な変化量を算出する変化量算出手順と、前記変化量算出手順により取得された前記変化量が閾値よりも大きい場合に、少なくとも前記対象に対する前記変化量を低減した動画を生成する動画生成手順とをコンピュータに実行させる。
【０００７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係るデジタルカメラおよびＰＣを示す。
【図２】被写体の移動量、鑑賞者の輻輳角および表示装置上の視差量の関係を示す。
【図３】視差量の時間的な変化量を低減する方法を説明する図である。
【図４】デジタルカメラの構成を説明する図である。
【図５】撮像素子の一部を拡大した様子を概念的に表す概念図である。
【図６】２Ｄ画像データと視差画像データの生成処理の例を説明する図である。
【図７】デフォーカスの概念を説明する図である。
【図８】視差画素が出力する光強度分布を示す図である。
【図９】視差マップの生成処理を説明する説明図である。
【図１０】視差マップを参照して原色情報を移植する処理の概念を示す図である。
【図１１】デジタルカメラにおける絞り値、画像の鮮鋭度を示すコントラストおよび視差量の関係を模式的に示す。
【図１２】デジタルカメラの動作を示すフローチャートである。
【図１３】デジタルカメラの他の動作を示すフローチャートである。
【図１４】図６に示すＲＡＷ画像データセットから右目用のカラー画像データおよび左目用のカラー画像データを生成する他の例を示す。
【図１５】図６に示すＲＡＷ画像データセットから右目用のカラー画像データおよび左目用のカラー画像データを生成する他の例を示す。
【図１６】デジタルカメラの他の動作を示すフローチャートである。
【図１７】デジタルカメラの他の動作を示すフローチャートである。
【図１８】図１７のステップＳ１１４で生成される動画の例を示す。
【図１９】ＰＣの本体の機能ブロックを示す。
【図２０】本体の動作を示すフローチャートである。
【図２１】図２０のフローチャートにより生成される補正動画の一例を示す。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
図１は、本実施形態に係るデジタルカメラ１０およびパーソナルコンピュータ４０（ＰＣということがある）を示す。デジタルカメラ１０は撮像装置の一例であるとともに、動画を生成する画像処理装置の一例でもある。
【００１１】
デジタルカメラ１０とＰＣ４０とは、例えば接続ケーブル３２を介して動画等の画像データを送受信する。ＰＣ４０は、互いに接続されたディスプレイ４２、本体４４およびキーボード４６を有する。ＰＣ４０も画像処理装置の一例であって、キーボード４６の入力に基づいて、本体４４により生成された動画をディスプレイ４２に表示する。
【００１２】
図２は、被写体の移動量、ディスプレイを鑑賞している鑑賞者５０の輻輳角およびディスプレイ４２上の視差量の関係を示す。図中の三角を現実の物体とすると、鑑賞者５０は、物体が位置Ｌ０にあるときに右目５１と左目５２との視差で生じる輻輳角θ０に基づいて、物体の前後方向の位置Ｌ０を認識する。さらに、鑑賞者５０は、物体が位置Ｌ０にあるときと位置Ｌ１にあるときとで輻輳角θ０、θ１が異なることにより、物体の大きさの変化等の他の情報と合わせて、物体が前後方向に移動していることを認識する。
【００１３】
また、鑑賞者５０の輻輳角θ０に対応して、右目５１に向けた右目用画像５５と、左目５２に向けた左目用画像５６とがディスプレイ４２上に表示されることにより、鑑賞者５０は擬似的に物体の前後方向の立体感を得ることができる。ここで、右目用画像５５および左目用画像５６のディスプレイ４２上の位置の差が、視差量Ｄ０の一例である。当該視差量Ｄ０は、上記位置の差を画素数で数えて、ディスプレイ４２の水平方向の全画素数で割り算することにより正規化されてもよい。
【００１４】
さらに、輻輳角θ０に対応した視差量Ｄ０を有する右目用画像５５および左目用画像５６と、輻輳角θ１に対応した視差量Ｄ１の右目用画像５７および左目用画像５８とが時系列的に動画として表示されることにより、鑑賞者５０は擬似的に物体が前後方向に移動した立体感を得ることができる。ここで、視差量Ｄ０と視差量Ｄ１とが急激に変化すると、鑑賞者５０が輻輳角の変化に追従できずに違和感が生じる（輻輳と調整の矛盾、といわれることがある）。そこで、本実施形態においては、デジタルカメラ１０またはＰＣ４０において、視差の時間変化を低減した動画を生成する。
【００１５】
なお、ディスプレイ４２上に右目用画像５５と左目用画像５６とを表示する方法はいずれであってもよい。例えば、時分割で表示されてもよいし、水平方向または垂直方向に短冊状にそれぞれが並んだインターレースであってもよいし、画面の一方側と他方側に並ぶサイドバイサイドであってもよい。
【００１６】
図３は、視差量の時間的な変化量を低減する方法を説明する図である。図３は、動画Ｃ１が時刻Ｔ０の視差量Ｄ０から時刻Ｔ１の視差量Ｄ１へ変化する例を示す。
【００１７】
動画Ｃ１の視差の時間的な変化量を低減する場合に、少なくとも二つの方法が考えられる。一つ目は、時刻Ｔ１において視差量Ｄ１よりも小さい視差量Ｄ２を用いて動画Ｃ２を生成することである。二つ目は、同じ視差量Ｄ１に到達するのを時刻Ｔ１よりも遅い時刻Ｔ２にして動画Ｃ３を生成することである。上記二つの方法は、動画の撮影時に実行されてもよいし、動画の撮像後に表示装置への表示時に実行されてもよい。それぞれの具体例については後述する。
【００１８】
画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラ１０は、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
【００１９】
図４は、デジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、被写体光を特定のフレームレートで時系列的に順次撮影した、複数の視差画像を生成し、当該複数の視差画像のそれぞれに基づいたフレームを時系列的に並べることにより、視差情報を含む動画を生成する。
【００２０】
デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。デジタルカメラ１０は、被写体光束の周辺を遮光する絞り２２をさらに備える。撮影レンズ２０は絞り２２と共に、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。
【００２１】
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。撮影における構図との関係はＸ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図４の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００２２】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図４では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。
【００２３】
絞り２２は、撮影レンズ２０の瞳近傍に配され、撮像素子１００へ入射する被写体光束の周辺領域を遮光する。絞り２２の絞り量は可変であって、制御部２０１からの制御により設定される。当該絞り２２の一例は虹彩絞りであるが、これに限られない。
【００２４】
撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００２５】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。
【００２６】
制御部２０１は、デジタルカメラ１０を統合的に制御する。例えば、設定された絞り値に応じて絞り２２の開口を調整し、ＡＦ評価値に応じて撮影レンズ２０を光軸方向に進退させる。また、撮影レンズ２０の位置を検出して、撮影レンズ２０の焦点距離、フォーカスレンズ位置を把握する。さらに、駆動部２０４に対してタイミング制御信号を送信し、撮像素子１００から出力される画像信号が画像処理部２０５で撮影画像データに処理されるまでの一連のシーケンスを管理する。
【００２７】
画像処理部２０５は、同一の対象に対する視差画像データを時系列的に取得して視差量を算出する視差量算出部２３１、視差量の時間的な変化量を算出する変化量算出部２３２、および、当該変化量が閾値よりも大きい場合に、少なくとも上記対象に対する変化量を低減した動画を生成する動画生成部２３３を有する。それぞれの処理の詳細については、後述する。
【００２８】
画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００２９】
ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。
【００３０】
図５は、撮像素子１００の一部を拡大した様子を概念的に表す概念図である。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する８画素×８画素の６４画素が一つの基本格子１１０を形成する。基本格子１１０は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配される。
【００３１】
基本格子１１０は、視差画素と視差なし画素を含む。視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光する画素である。視差画素には、当該部分光束のみを透過させるように、画素中心から偏位した偏位開口を有する開口マスクが設けられている。開口マスクは、例えば、カラーフィルタに重ねて設けられる。本実施形態においては、開口マスクにより、部分光束が画素中心に対して左側に到達するように規定された視差Ｌｔ画素と、部分光束が画素中心に対して右側に到達するように規定された視差Ｒｔ画素の２種類が存在する。一方、視差なし画素は、開口マスクが設けられていない画素であり、撮影レンズ２０を透過する入射光束の全体を受光する画素である。
【００３２】
なお、視差画素は、光軸から偏位した部分光束を受光するにあたり、開口マスクに限らず、受光領域と反射領域が区分された選択的反射膜、偏位したフォトダイオード領域など、様々な構成を採用し得る。すなわち、視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光できるように構成されていれば良い。
【００３３】
基本格子１１０内の画素をＰＩＪで表す。例えば、左上画素はＰ１１であり、右上画素はＰ８１である。図に示すように、視差画素は以下のように配列されている。
Ｐ１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。
【００３４】
撮像素子１００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分され、基本格子１１０には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素が少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素が、基本格子１１０内においてランダム性を有して配置されると良い。ランダム性を有して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、高品質な視差画像データが得られる。
【００３５】
次に、撮像素子１００から出力される撮影画像データから２Ｄ画像データと視差画像データを含むＲＡＷ画像データセットを生成する処理の概念を説明する。図６は、２Ｄ画像データと視差画像データの生成処理の例を説明する図である。
【００３６】
基本格子１１０における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、左右の視差画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。
【００３７】
画像処理部２０５は、撮像素子１００の画素配列順にその出力値（画素値）が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を示す。
【００３８】
２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ−１−１、Ｐ２−１、Ｐ−１２、Ｐ２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ４３、Ｐ６１、Ｐ８３、Ｐ６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ５６、Ｐ７４、Ｐ９６、Ｐ７８の画素値を平均化演算して算出する。
【００３９】
このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等の、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って一般的な２Ｄ画像としての画像処理を行う。
【００４０】
本実施形態においては、画像処理部２０５は、２Ｄ−ＲＧＢプレーンデータをさらに色ごとに分離し、上述のような補間処理を施して、基準画像データとしての各プレーンデータを生成する。すなわち、緑色の基準画像プレーンデータとしてのＧｎプレーンデータ、赤色の基準画像プレーンデータとしてのＲｎプレーンデータ、および青色の基準画像プレーンデータとしてのＢｎプレーンデータの３つを生成する。
【００４１】
図の右列は、視差画素得データとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。
【００４２】
ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ１１とＰ５５の２つの画素値が残る。そこで、基本格子１１０を縦横に４等分し、左上の１６画素分をＰ１１の出力値で代表させ、右下の１６画素分をＰ５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。
【００４３】
同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ５１とＰ１５の２つの画素値が残る。そこで、基本格子１１０を縦横に４等分し、右上の１６画素分をＰ５１の出力値で代表させ、左下の１６画素分をＰ１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。
【００４４】
ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ２７の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ６３の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。
【００４５】
ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ３２の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ７６の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。
【００４６】
本実施形態においては、画像処理部２０５は、これらのプレーンデータを用いて、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。上記プレーンデータを時系列的に並べて動画としてもよいし、後述する視差マップを用いて原色情報を移植した各色の画像を時系列に並べて動画としてもよい。
【００４７】
図７は、デフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本実施形態の光学系においては、実際の被写体光束はレンズ瞳の全体を通過するので、視差画素に到達するまでは、視差仮想瞳に対応する光強度分布が互いに区別されるのではない。しかし、視差画素は、それぞれが有する開口マスクの作用により、視差仮想瞳を通過した部分光束のみを光電変換した画像信号を出力する。したがって、視差画素の出力が示す画素値分布は、それぞれ対応する視差仮想瞳を通過した部分光束の光強度分布と比例関係にあると考えても良い。
【００４８】
図７（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、それぞれの視差画素の出力は、対応する像点の画素を中心として急峻な画素値分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。
【００４９】
一方、図７（ｂ）に示すように、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す画素値分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。視差Ｒｔ画素が示す画素値分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の画素値分布が、互いに等距離に離間して現れる。また、図７（ｃ）に示すように、さらに物点が焦点位置からずれると、図７（ｂ）の状態に比べて、さらになだらかとなった同一の画素値分布が、より離間して現れる。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。別言すれば、デフォーカスに応じて、ぼけ量と視差量は連動して変化する。すなわち、ぼけ量と視差量は、一対一に対応する関係を有する。
【００５０】
また、図７（ｂ）（ｃ）は、物点が焦点位置から遠ざかる方向へずれる場合を示すが、物点が焦点位置から近づく方向へずれる場合は、図７（ｄ）に示すように、図７（ｂ）（ｃ）と比べて、視差Ｌｔ画素が示す画素値分布と視差Ｒｔ画素が示す画素値分布の相対的な位置関係が逆転する。このようなデフォーカス関係により、視差画像を鑑賞するときに鑑賞者は、焦点位置より奥に存在する被写体を遠くに視認し、手前に存在する被写体を近くに視認する。
【００５１】
図７（ｂ）（ｃ）で説明した画素値分布の変化をそれぞれグラフ化すると、図８のように表される。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値（画素値）を表す。この出力値は上述の通り実質的に光強度に比例する。
【００５２】
分布曲線１８０４と分布曲線１８０５は、それぞれ図７（ｂ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図７（ｂ）の状況に対する視差なし画素の画素値分布、すなわち被写体光束の全体を受光した場合の画素値分布と略相似形状を示す。
【００５３】
分布曲線１８０７と分布曲線１８０８は、それぞれ図７（ｃ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図７（ｃ）の状況に対する視差なし画素の画素値分布と略相似形状を示す。
【００５４】
図９は、視差マップの生成処理を説明する説明図である。図９に示す例において、視差量算出部２３１は、上記ＧＬｔプレーンデータおよびＧＲｔプレーンデータに基づいて、以下の視差マップ生成処理を実行する。
【００５５】
視差量算出部２３１は、対象ブロックに含まれる画素のうち画素値を有する対象画素３１１を決定し、この対象画素３１１に対して局所ウィンドウ３１２を定める。そして、局所ウィンドウ３１２を基準として２画像間でマッチング処理を行い、対象画素３１１を含む対象ブロックにおける視差画素量を決定する。具体的には、視差量算出部２３１は、Ｌｔプレーン画像上の局所ウィンドウ３１２に対応してＧＲｔプレーンデータが示すＧＲｔプレーン画像上に局所ウィンドウ３１４を設定して、局所ウィンドウ３１４を局所ウィンドウ３１２に対して相対的にずらしながら互いにマッチングの良い画像領域を探索する。そして、マッチングが良いと判断される局所ウィンドウ３１４の位置を定め、その中心座標である探索画素３１３の座標値を算出する。視差画素量は、対象画素３１１の座標値と探索画素３１３の座標値との差を視差ブロック単位に換算して決定される。そして、視差量算出部２３１は、ＧＬｔプレーン画像上において対象画素３１１を左上から右下まで順次走査しながら上記のマッチング処理を逐次実行して、ＧＬｔプレーン画像とＧＲｔプレーン画像の視差画素量を算出する。
【００５６】
そして、視差量算出部２３１は、２Ｄ画像を基準画像とすべく、算出された視差画素量をそれぞれ半分の値として視差マップを完成させる。視差マップは、上述の算出結果として、例えば図の例において、各被写体である少年３０１、少女３０２、女性３０３および背景３０４の各被写体領域に対応した視差画素量として表現される。図の例においては、少年３０１に合焦しており、少年３０１の領域では視差画素量が０となり、少年３０１より手前に存在する少女３０２の領域では−１、奥に存在する女性３０３の領域では＋１、さらに遠方の背景は＋４の値を示している。
【００５７】
ＧＬｔプレーンデータとＧＲｔプレーンデータとの間で像のマッチング処理を行えば、それぞれの視差ブロックにおける視差画素量を算出することができるので、一方の視差画像のどの画素ブロックが他方の視差画像のどの画素ブロックと対応するかがわかる。すなわち、両視差画像間で、被写体の同一微小領域を捉えている画素ブロックの相対的な位置関係を把握することができる。また、上述のように、基準画像との視差画素量は、視差画像間の視差画素量の半分である。したがって、全ブロックに亘ってそれぞれ視差なし画像に対してＧＬｔプレーンデータが示すＧＬｔプレーン画像が何ブロックずれているかを羅列することができ、羅列された数列はいわゆる視差マップを形成する。
【００５８】
図１０は、視差マップを参照して原色情報を移植する処理の概念を示す図である。上述のように、視差マップが生成されると、動画生成部２３３は、視差マップを参照して、視差情報を含むカラー画像データのフレームを生成する。
【００５９】
基準画像であるカラー画像データは、図６に示すＲｎプレーンデータ等の各画素ブロックにおいて、ＲＧＢフィルタのそれぞれに対応する画素値を原色情報として有する。ｎ，ｍを自然数としたとき、画素ブロック（ｎ，ｍ）に対する原色情報を、Ｃｎｍと表す。そして、動画生成部２３３は、視差画像データにおける画素ブロック（ｎ，ｍ）の原色情報として、視差マップを参照して、Ｒｎプレーンデータ等の画素ブロック（ｎ'，ｍ'）の原色情報Ｃｎ'ｍ'を移植する。動画生成部２３３は、全ブロックに対してこの作業を繰り返し、視差情報を含むカラー画像データのフレームを生成する。
【００６０】
図の例を用いて具体的に説明する。左視差画像データの画素ブロック（１，１）の原色情報を取得する場合は、視差マップの画素ブロック（１，１）を参照する。このとき視差マップの画素ブロック（１，１）は、視差画素量０を示しているので、動画生成部２３３は、そのまま対応する画素ブロックとして２Ｄ画像データの画素ブロック（１，１）を検索する。そして、動画生成部２３３は、２Ｄ画像データの画素ブロック（１，１）の原色情報Ｃ１１を、左視差画像データの画素ブロック（１，１）へ移植することにより原色情報を取得する。動画生成部２３３は、視差画素量が０であるので、右視差画像データの画素ブロック（１，１）についても同様に、２Ｄ画像データの画素ブロック（１，１）の原色情報Ｃ１１を移植する。
【００６１】
次に、左視差画像データの画素ブロック（１，２）の原色情報を取得する場合は、視差マップの画素ブロック（１，２）を参照する。このとき視差マップの画素ブロック（１，２）は、視差画素量１を示しているので、動画生成部２３３は、カラー画像データの対応する画素ブロック（１，２）のひとつ右側である画素ブロック（１，３）を検索する。そして、動画生成部２３３は、２Ｄ画像データの画素ブロック（１，３）の原色情報Ｃ１３を、左視差画像データの画素ブロック（１，２）へ移植することにより原色情報を取得する。
【００６２】
続いて動画生成部２３３は、右視差画像データの画素ブロック（１，２）の原色情報を取得する。参照した視差マップの画素ブロック（１，２）の視差画素量は１を示していたが、右視差画素データへ原色情報を移植する場合は符号を逆転させるので、ここでは視差画素量を−１とする。したがって、動画生成部２３３は、２Ｄ画像データの対応する画素ブロック（１，２）のひとつ左側である画素ブロック（１，１）を検索する。そして、動画生成部２３３は、２Ｄ画像データの画素ブロック（１，１）の原色情報Ｃ１１を、右視差画像データの画素ブロック（１，２）へ移植することにより原色情報を取得する。
【００６３】
つまり、動画生成部２３３は、左視差画像データの画素ブロック（ｎ，ｍ）へは、視差画素量がｋであるとき、２Ｄ画像データの原色情報Ｃｎｍ＋ｋを、右視差画像データの画素ブロック（ｎ，ｍ）へは、２Ｄ画像データの原色情報Ｃｎｍ−ｋを移植して、それぞれの視差画像データ原色情報を取得する。
【００６４】
図１１は、デジタルカメラ１０における絞り値、画像の鮮鋭度を示すコントラストおよび視差量の関係を模式的に示す。図４から図１０のデジタルカメラ１０においては、視差情報のない２Ｄ画像を得るデジタルカメラと同様に、図１１（ａ）から（ｃ）に示すように、絞り値が大きいほどピント位置の前後のコントラストが高く、いわゆる被写界深度の深い画像を得る。
【００６５】
さらに本実施形態のデジタルカメラ１０においては、図１１（ａ）から（ｃ）に示すように、絞り値が大きいほどピント位置の前後の視差量が小さい視差画像となる。これは、デジタルカメラ１０の撮像素子１００の視差画素が、図４等に示すように、射出瞳における偏った位置からの光束を受光するので、絞り値が大きいほど絞り２２が絞られて射出瞳における偏った側からの光束が遮られることに基づく。すなわち、図１１（ａ）から（ｃ）を比較すると、絞り２２のＦ値が１．４の場合に比べ、Ｆ値が４、８となるに従い、ピント位置より前の視差量および後の視差量が小さくなる。
【００６６】
図１２は、デジタルカメラ１０の動作を示すフローチャートである。図１２のフローチャートは図１１の絞り値と視差量との関係を用いて、視差量を低減することにより、視差の時間的な変化量を低減して動画を生成する一例である。図１２に示すフローチャートは、ユーザによりデジタルカメラ１０へ動画生成の指示が入力された場合に開始する。
【００６７】
制御部２０１は、絞り２２の絞り値を初期値に設定する（Ｓ１００）。絞り値の初期値は、最小値である開放値であってもよいし、被写体光束の光量等の他の撮影条件から決定されてもよい。
【００６８】
制御部２０１は駆動部２０４を介して撮像素子１００を駆動することにより、当該絞り値で被写体光を撮像した仮画像を生成する（Ｓ１０２）。ここで仮画像は視差量を計算するのに用いられる画像であるが、その一例は、後述する本画像と同様に、図４から図６に示す動作および処理により得られるＲＡＷ画像データセットである。なお、仮画像を本画像とは別個の方法で生成することにより処理を速めてもよい。別個の方法の例は、間引き読出し、補間処理の省略等が挙げられる。
【００６９】
視差量算出部２３１は、仮画像から視差量を計算する（Ｓ１０４）。この場合に視差量算出部２３１は、例えば図９で説明した処理を行い、視差マップを生成することにより視差画素量を計算する。
【００７０】
変化量算出部２３２は、上記ステップＳ１０４により算出された視差量と、時系列的に前回生成された仮画像に対して同ステップＳ１０４により算出された視差量とを比較して、視差の時間的な変化量を計算する（Ｓ１０６）。この場合に、変化量算出部２３２は例えば、時間的に前後する仮画像に対する二つの視差マップにおける同一の被写体の視差画素量をフレームレートが示す時間間隔で除することにより変化量を算出する。
【００７１】
動画生成部２３３は、ステップＳ１０６により算出された変化量が閾値よりも大きいか否かを判断する（Ｓ１０８）。この場合に、動画生成部２３３は例えば、ステップＳ１０６により算出された変化量が被写体ごとに異なる場合に、最も大きい変化量と閾値とを比較する。当該閾値は、絞りの初期設定値で生成した動画を表示したときに鑑賞者５０が違和感を生じるか否かに基づいて予め設定されてもよいし、立体感を感じさせる表示についての業界のガイドライン等に基づいて設定されてもよい。
【００７２】
ステップＳ１０８において変化量が閾値よりも大きい場合に（Ｓ１０８：Ｙｅｓ）、動画生成部２３３は、絞り値を大きくする旨を制御部２０１に入力する（Ｓ１１０）。この場合に、制御部２０１は閾値からの乖離度合に合わせて絞り値が設定されたテーブルを参照して絞り値を設定してもよいし、乖離度合にかかわらず初期値に対して１段分または数段分だけ絞り値を大きくしてもよい。
【００７３】
上記ステップＳ１１０において、制御部２０１は、動画生成部２３３から絞り値の変更を受け付けた場合に、他の撮像条件、例えば光電変換素子１０８の蓄積時間、感度等を再設定する。これにより、絞り値の変更の前後で画像の明るさが急激に変化する等の不自然さを緩和することができる。
【００７４】
ステップＳ１１０に続いてまたは上記ステップＳ１０８において変化量が閾値以下である場合に（Ｓ１０８：Ｎｏ）、制御部２０１は駆動部２０４を介して撮像素子１００を駆動することにより、被写体光を撮像した本画像を生成する（Ｓ１１２）。動画生成部２３３は、当該本画像に基づいて視差情報を有する１フレーム分の画像を生成し、前回のフレームと時間的に並べることにより、視差情報を有する動画を生成する（Ｓ１１４）。この場合に、動画生成部２３３は例えば、本画像から図６に示す各原色のプレーンデータのセットにより右目用画像と左目用画像とを含む１フレーム分の画像を生成する。これに代えて、動画生成部２３３は、視差量算出部２３１の上記処理により視差マップを得て、当該視差マップを用いた図１０の処理により、右目用画像と左目用画像とを含む１フレーム分の画像を生成してもよい。
【００７５】
ユーザから動画の終了の指示が入力されない限り（Ｓ１１６：Ｎｏ）、上記ステップＳ１００からＳ１１４の処理が繰り返される。ユーザから動画の終了の指示が入力された場合に（Ｓ１１６：Ｙｅｓ）、当該フローチャートが終了する。これにより、動画生成部２３３は、視差の時間的な変化量が閾値よりも大きい場合に、変化量が閾値よりも小さい場合に比べて絞り値を大きくした状態で時系列的に撮影されて生成された複数の画像から動画を生成する。よって、動画生成部２３３は、視差の時間的な変化量を低減した動画を生成して、鑑賞者５０が当該動画を見た場合の違和感を低減することができる。
【００７６】
図１３は、デジタルカメラ１０の他の動作を示すフローチャートである。図１３のフローチャートは図９および図１０の視差マップを用いて、視差量を低減することにより、視差の時間的な変化量を低減して動画を生成する一例である。図１３のフローチャートにおいて、図１２のフローチャートと同一の動作は同一の参照番号を付して説明を省略する。
【００７７】
図１３のフローチャートにおいて、制御部２０１は、絞り値等の撮影条件を設定して、撮像素子１００を駆動することにより、被写体光を撮像した画像を生成する（Ｓ１３０）。当該画像に基づいて、視差量算出部２３１は図９で説明した処理を行い、視差マップを生成する（Ｓ１３２）。続くステップＳ１０６およびＳ１０８は図１２のフローチャートと同じ動作である。
【００７８】
ステップＳ１０８において、変化量が閾値より大きい場合に（Ｓ１０８：Ｙｅｓ）、動画生成部２３３は、視差マップを補正する（Ｓ１３４）。動画生成部２３３は例えば閾値を超える変化量に対応する被写体の視差画素量を、当該閾値以下に低減するように視差マップを補正する。
【００７９】
動画生成部２３３は、上記ステップＳ１３４で視差マップが補正された場合には補正後の視差マップを用いて、上記ステップＳ１０８で変化量が閾値以下と判断された場合（Ｓ１０８：Ｎｏ）には補正していない視差マップを用いて、図１０の処理により、右目用画像と左目用画像とを含む１フレーム分の画像を生成する。
【００８０】
これにより、動画生成部２３３は、視差の時間的な変化量が閾値よりも大きい場合に、変化量を当該閾値以下に低減した動画を生成する。よって、動画生成部２３３は、視差の時間的な変化量を低減した動画を生成して、鑑賞者５０が当該動画を見た場合の違和感を低減することができる。
【００８１】
図１４および図１５は、図６に示すＲＡＷ画像データセットから右目用のカラー画像データおよび左目用のカラー画像データを生成する他の例を示す。特に、図１４および図１５の例において、立体調整パラメータを導入することにより、主要被写体のぼけを感じさせない範囲で視差量を任意に調整したカラー画像データを生成する。
【００８２】
図１４を用いて、カラー画像データのうち赤色の右視差画像データおよび赤色の左視差画像データの生成処理の例を示す。
【００８３】
赤色の視差画像データは、図６を用いて説明したＲｎプレーンデータの画素値と、ＲＬｔプレーンデータおよびＲＲｔプレーンデータの輝度値とを用いて生成する。具体的には、例えば左視差画像データの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＬｔｍｎを算出する場合、まず、動画生成部２３３は、Ｒｎプレーンデータの同一画素位置（ｉｍ，ｊｎ）から画素値Ｒｎｍｎを抽出する。次に、動画生成部２３３は、ＲＬｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から輝度値ＲＬｔｍｎを、ＲＲｔプレーンデータの同一画素位置（ｉｍ，ｊｎ）から輝度値ＲＲｔｍｎを抽出する。そして、動画生成部２３３は、画素値Ｒｎｍｎに、輝度値ＲＬｔｍｎとＲＲｔｍｎを立体調整パラメータＣで分配した値を乗じて、画素値ＲＬｃｔｍｎを算出する。具体的には、以下の式（１）により算出する。ただし、立体調整パラメータＣは、０．５＜Ｃ＜１の範囲で予め設定される。
ＲＬｃｔｍｎ＝２Ｒｎｍｎ×｛Ｃ・ＲＬｔｍｎ＋（１−Ｃ）・ＲＲｔｍｎ｝／（ＲＬｔｍｎ＋ＲＲｔｍｎ）…（１）
【００８４】
同様に、右視差画像データの対象画素位置（ｉｍ，ｊｎ）の画素値ＲＲｃｔｍｎを算出する場合も、動画生成部２３３は、画素値Ｒｎｍｎに輝度値ＲＬｔｍｎと輝度値ＲＲｔｍｎを立体調整パラメータＣで分配した値を乗じて算出する。具体的には、以下の式（２）により算出する。
ＲＲｃｔｍｎ＝２Ｒｎｍｎ×｛Ｃ・ＲＲｔｍｎ＋（１−Ｃ）・ＲＬｔｍｎ｝／（ＲＬｔｍｎ＋ＲＲｔｍｎ）…（２）
【００８５】
動画生成部２３３は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ０，ｊ０）まで順次実行する。
【００８６】
そして、赤色の右視差画像データおよび左視差画像データの生成処理が完了したら、次に緑色の右視差画像データと左視差画像データ、および、青色の右視差画像データと左視差画像データを同様に生成する。以上の処理により、視差情報を含むカラー画像データの１フレームを完成させる。さらに、動画生成部２３３は、当該フレームを時系列的に並べて、動画を生成する。
【００８７】
図１５は、ＲＧＢの画素値分布の変化を説明する図である。図１５（ａ）は、焦点位置から一定量だけずれた位置に存在する物点からのある白色被写体光束を受光した場合の、Ｇ（Ｌｔ）画素、Ｇ（Ｒｔ）画素、Ｒ（Ｌｔ）画素、Ｒ（Ｒｔ）画素、Ｂ（Ｌｔ）画素およびＢ（Ｒｔ）画素のそれぞれの出力値を並べたグラフである。
【００８８】
図１５（ｂ）は、図１５（ａ）における物点からのある白色被写体光束を受光した場合の、視差無し画素であるＲ（Ｎ）画素、Ｇ（Ｎ）画素およびＢ（Ｎ）画素の出力値を並べたグラフである。このグラフも、各色の画素値分布を表すと言える。
【００８９】
Ｃ＝０．８として対応する画素ごとに上述の処理を施すと、図１５（ｃ）のグラフで表される光強度分布となる。図１５および上記式（１）（２）から分かるように、０．５＜Ｃ＜１の範囲で立体調整パラメータＣが１に近いほど視差量が大きく、０．５に近いほど視差量が小さくなる。すなわち、立体調整パラメータＣは、視差Ｌｔ画素の示す視差量と視差Ｒｔ画素の示す視差量とに基づいた視差量を視差なし画素に割り付ける場合の、視差Ｌｔ画素の示す視差量と視差Ｒｔ画素の示す視差量との重みを調整している。そして、立体調整パラメータＣが１に近いほど視差Ｌｔ画素の示す視差量と視差Ｒｔ画素の示す視差量の一方の重みが大きく、０．５に近いほどそれらの重みが近い視差量が、視差なし画素に割り付けられる。
【００９０】
図１６は、デジタルカメラ１０の他の動作を示すフローチャートである。図１６のフローチャートは図１４および図１５の立体調整パラメータＣを用いて視差量を低減することにより、視差の時間的な変化量を低減して動画を生成する一例である。図１６のフローチャートにおいて、図１２および図１３のフローチャートと同一の動作は同一の参照番号を付して説明を省略する。
【００９１】
図１６のフローチャートにおいて、ステップＳ１３０により生成された画像に基づいて、視差量算出部２３１は、例えば図９で説明した処理を行い、視差量を計算する（Ｓ１０４）。続くステップＳ１０６およびＳ１０８は図１２のフローチャートと同じ動作である。
【００９２】
ステップＳ１０８において、変化量が閾値より大きい場合に（Ｓ１０８：Ｙｅｓ）、動画生成部２３３は、立体調整パラメータＣを補正する（Ｓ１４２）。この場合に、動画生成部２３３は例えば閾値を超える変化量に対応する被写体に対して、より０．５に近い、予め定められた立体調整パラメータＣを用いる。例えば、補正前の立体調整パラメータＣを１とし、補正後の立体調整パラメータＣを０．７５とする。
【００９３】
動画生成部２３３は、上記ステップＳ１３４で立体調整パラメータＣが補正された場合には補正後の立体調整パラメータＣを用いて、上記ステップＳ１０８で変化量が閾値以下と判断された場合（Ｓ１０８：Ｎｏ）には補正していない立体調整パラメータを用いて、図１４および図１５の処理により、右目用画像と左目用画像とを含む１フレーム分の画像を生成する。
【００９４】
これにより、動画生成部２３３は、視差の時間的な変化量が閾値よりも大きい場合に、変化量を当該閾値以下に低減した動画を生成する。よって、動画生成部２３３は、視差の時間的な変化量を低減した動画を生成して、鑑賞者５０が当該動画を見た場合の違和感を低減することができる。
【００９５】
ここで、立体調整パラメータＣで視差の時間的な変化量を低減するので、視差無し画素による２Ｄカラー画像のぼけ量を維持したまま、視差量の大きさを調整することができる。したがって、これらの画像データを３Ｄ画像対応の再生装置で再生すれば、鑑賞者５０は、カラー画像として立体感が適度に調整された３Ｄ映像を鑑賞できる。特に処理が容易で高速に画像データを生成することができ、動画像に適している。
【００９６】
図１７は、デジタルカメラ１０の他の動作を示すフローチャートである。図１７のフローチャートは撮影時のフレームレートを高くして、表示時にある視差量になるまでの時間を遅くすることにより、視差の時間的な変化量を低減して動画を生成する一例である。図１７のフローチャートにおいて、図１２のフローチャートと同一の動作には同一の参照番号を付して説明を省略する。
【００９７】
制御部２０１は、フレームレートを初期値に設定する（Ｓ１２０）。絞り値の初期値は、予め定められた一定値であってもよいし、被写体光束の光量等の他の撮影条件から決定されてもよい。
【００９８】
制御部２０１は駆動部２０４を介して撮像素子１００を駆動することにより、当該フレームレートで仮画像を生成する（Ｓ１０２）。さらに図１２と同様に、視差量および変化量が計算されて、変化量が閾値と比較される（Ｓ１０４、Ｓ１０６、Ｓ１０８）。
【００９９】
ステップＳ１０８において変化量が閾値よりも大きい場合に（Ｓ１０８：Ｙｅｓ）、動画生成部２３３は、フレームレートを上げる旨を制御部２０１に入力する（Ｓ１２２）。この場合に、制御部２０１は閾値からの乖離度合に合わせてフレームレートが設定されたテーブルを参照してフレームレートを設定してもよいし、乖離度合にかかわらず初期値に対して１段分または数段分だけフレームレートを上げてもよい。
【０１００】
上記ステップＳ１１０において、制御部２０１は、動画生成部２３３からフレームレートの変更を受け付けた場合に、他の撮像条件、例えば光電変換素子１０８の蓄積時間、感度等を再設定する。これにより、フレームレートの変更の前後で画像の明るさが急激に変化する等の不自然さを緩和することができる。
【０１０１】
ステップＳ１１０に続いてまたは上記ステップＳ１０８において変化量が閾値以下である場合に（Ｓ１０８：Ｎｏ）、制御部２０１はその時点で設定されているフレームレートで本画像を生成し（Ｓ１１２）、視差情報を有する動画を生成する（Ｓ１１４）。これにより、動画生成部２３３は、視差の時間的な変化量が閾値よりも大きい場合に、変化量が閾値よりも小さい場合に比べて高いフレームレートで撮像されて生成された複数の画像から動画を生成する。
【０１０２】
図１８は、図１７のステップＳ１１４で生成される動画３３０および補正動画３４０の例を示す。図１８の例において、時間ｔ２での視差の変化量が閾値を超えているとする。この場合に、閾値以下の他の時間ｔ１、ｔ３のフレームレート６０ｆｐｓよりも高いフレームレート１２０ｆｐｓ分のフレーム３３２が生成される。
【０１０３】
動画生成部２３３は、高いフレームレート１２０ｆｐｓでのフレーム３３２を、低いフレームレート６０ｆｐｓに変換したフレーム３４２により、補正動画３４０を生成する。これにより、視差の変化量が閾値を超えていた時間ｔ２が、長い時間（ｔ５＋ｔ６）に変換される。補正後の補正動画３４０をＰＣ４０等で通常通りに再生することにより、時間ｔ５、ｔ６では撮影時の実時間ｔ２よりも長い、いわゆるスロー再生となり、視差の時間的な変化量が低減される。視差の時間的な変化量を低減することにより、鑑賞者５０が当該動画を見た場合の違和感を低減することができる。
【０１０４】
動画生成部２３３は、フレームレートを合わせた補正動画３４０を生成するのに代えて、撮影時のフレームレートを反映した動画３３０を生成してもよい。この場合に、動画生成部２３３はさらに、時間ｔ２でのフレームレートが他の時間ｔ１、ｔ３よりも高い旨、または、時間ｔ２での視差の変化量が閾値を越えている旨の情報を動画３３０のヘッダ部分等に格納することが好ましい。これにより、ＰＣ４０等の表示装置は、動画３３０のヘッダ情報を参照して、補正動画３４０のように再生して視差の時間的な変化量を低減することができる。また、鑑賞者５０の指示等により、視差の変化量を低減せずに実時間に対応した再生をすることもできる。
【０１０５】
図１９は、ＰＣ４０の本体４４の機能ブロックを示す。本体４４は、動画取得部４１０と、変化量算出部４１２と、動画補正部４１４とを有する。本体４４は、ディスプレイ４２を用いて動画を表示する。
【０１０６】
動画取得部４１０は、デジタルカメラ１０等から動画を取得する。動画取得部４１０は、デジタルカメラ１０と直接的に通信して動画を取得するのに代えて、メモリまたはネットワークのサーバ等から取得してもよい。
【０１０７】
変化量算出部４１２は、動画取得部４１０により取得された動画に基づいて、同一の対象に対する視差を示す視差量を時系列的に取得するとともに、視差量の時間的な変化を算出する。動画補正部４１４は、変化量算出部４１２により取得された変化量が閾値よりも大きい場合に、元の動画に対して少なくとも当該対象に対する変化量を低減した補正後の動画を生成する。
【０１０８】
図２０は本体４４の動作を示すフローチャートである。図２０のフローチャートは、動画を表示する装置側で視差の時間的な変化を低減した当該動画を補正して表示する例を示す。図２０のフローチャートにおいて、図１２、２１、２４と同一の動作には同一の参照番号を付して説明を省略する。
【０１０９】
図１６のフローチャートにおいて、動画取得部４１０は、デジタルカメラ１０等から少なくとも立体情報が含まれている元動画を取得する（Ｓ１５０）。当該立体情報は、図１０および図１４のような一対の視差画像データであってもよいし、図９のように視差量自体に関する情報であってもよい。
【０１１０】
変化量算出部４１２は、動画取得部４１０により取得された元動画に基づいて、視差量を計算する（Ｓ１０４）。 動画取得部４１０により取得された元動画に視差量を示す情報が直接的に含まれている場合に、変化量算出部４１２は当該情報を取得する。一方、動画取得部４１０により取得された元動画に視差量を示す情報が直接的に含まれていない場合に、変化量算出部４１２は元動画の各フレームに基づいて、図９に示す視差マップを生成する等により、視差量を算出する。変化量算出部４１２はさらに、上記ステップＳ１０４の視差量を時系列的な複数のフレーム間で比較し、同一の対象に対する視差量の時間的な変化を算出する（Ｓ１０６）。
【０１１１】
ステップＳ１０８において、変化量が閾値より大きい場合に（Ｓ１０８：Ｙｅｓ）、動画補正部４１４は、視差量を補正する（Ｓ１５２）。この場合に、動画補正部４１４は、上記対象に対する各フレームにおける視差量を低減してもよいし、同じ視差量分だけ変化するまでの時間を遅くしてもよい。
【０１１２】
各フレームにおける視差量を低減する場合に、例えば、動画補正部４１４は、元動画が図９に示す視差マップを用いている場合には、当該視差マップにおける視差量を低減する。これに代えて、または、これに加えて、動画補正部４１４は、元動画の一対の視差画像データに対して図１４の立体調整パラメータＣを１から０．５の間、例えば０．７５とした新たな一対の視差画像データを生成することで、視差量を低減したフレームを生成してもよい。
【０１１３】
動画補正部４１４は、上記ステップＳ１５２で視差量が低減された補正後のフレームを用いて動画を生成する（Ｓ１５４）。この場合に動画補正部４１４は、上記ステップＳ１０８で閾値を越えなかったフレームはそのまま用いる。
【０１１４】
動画補正部４１４は、上記ステップＳ１５４で生成した補正後の動画を、ディスプレイ４２の表示方法に合わせて表示する。以上で図２０のフローチャートを終了する。なお、図２０に示すフローチャートの各手順は、ＣＤ−ＲＯＭ４１６等の媒体またはネットワークを介して本体４４にインストールされたコンピュータプログラムにより実行されてもよい。
【０１１５】
図２１は、図２０のフローチャートにより生成される補正動画３６０の一例を示す。動画補正部４１４は、上記ステップＳ１５２において、同じ視差量分だけ変化するまでの時間を遅くなるように補正した補正動画３６０を生成してもよい。
【０１１６】
この場合に、例えば、元動画３５０において、時間ｔ１２における視差量の変化が閾値よりも大きく、時間ｔ１１、ｔ１３では閾値よりも小さいとする。この場合に、動画補正部４１４は、元動画３５０の時間ｔ１２における各フレーム３５２を、補正動画３６０において、２倍の時間（ｔ１５＋ｔ１６）にフレーム３６２として割り付ける。さらに、動画補正部４１４は、他の時間ｔ１４等と同じフレームレート、例えば６０ｆｐｓを保つように、補間フレーム３６４を生成する。当該補間フレーム３６４の一例は直前のフレーム３６２をそのままコピーすることであるが、これに代えて他の方法で補間フレーム３６４を生成してもよい。
【０１１７】
上記補正動画３６０を時間ｔ１４からｔ１７に渡って同一のフレームレートで再生することにより、元動画３５０において視差の変化量が大きかった時間ｔ１２が、再生時に２倍に引き伸ばされて時間（ｔ１５＋ｔ１６）で再生される。これにより、視差の変化量が大きかった時間ｔ１２を元動画３５０よりも長い再生時間で再生することにより、視差の時間当たりの変化量を低減してディスプレイ４２に表示することができる。
【０１１８】
以上、図１から図２１の実施形態によれば、視差の時間的な変化が大きい動画に対して、視差を低減することにより、鑑賞者５０が当該動画を見た場合の違和感を低減することができる。なお図１においてデジタルカメラ１０とＰＣ４０とが示されているが、本実施形態はこれらの少なくとも一方に適用されればよい。
【０１１９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１２０】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１２１】
１０  デジタルカメラ、２０  撮影レンズ、２１  光軸、２２  絞り、３２  接続ケーブル、４０  パーソナルコンピュータ、４２  ディスプレイ、４４  本体、４６  キーボード、５０  鑑賞者、５１  右目、５２  左目、５５  右目用画像、５６  左目用画像、５７  右目用画像、５８  左目用画像、１００  撮像素子、１１０  基本格子、２０１  制御部、２０２  Ａ／Ｄ変換回路、２０３  メモリ、２０４  駆動部、２０５  画像処理部、２０７  メモリカードＩＦ、２０８  操作部、２０９  表示部、２１０  ＬＣＤ駆動回路、２１１  ＡＦセンサ、２２０  メモリカード、２３１  視差量算出部、２３２  変化量算出部、２３３  動画生成部、３０１  少年、３０２  少女、３０３  女性、３０４  背景、３１１  対象画素、３１２  局所ウィンドウ、３１４  局所ウィンドウ、３１３  探索画素、４１０  動画取得部、４１２  変化量算出部、４１４  動画補正部、４１６  ＣＤ−ＲＯＭ、３３０  動画、３３２  フレーム、３４０  補正動画、３４２  フレーム、３５０  元動画、３５２  フレーム、３６０  補正動画、３６２  フレーム、３６４  補間フレーム、１８０４  分布曲線、１８０５  分布曲線、１８０６  合成分布曲線、１８０７  分布曲線、１８０８  分布曲線、１８０９  合成分布曲線
【図１】
2014086984.tif 000003
【図２】
2014086984.tif 000004
【図３】
2014086984.tif 000005
【図４】
2014086984.tif 000006
【図５】
2014086984.tif 000007
【図６】
2014086984.tif 000008
【図７】
2014086984.tif 000009
【図８】
2014086984.tif 000010
【図９】
2014086984.tif 000011
【図１０】
2014086984.tif 000012
【図１１】
2014086984.tif 000013
【図１２】
2014086984.tif 000014
【図１３】
2014086984.tif 000015
【図１４】
2014086984.tif 000016
【図１５】
2014086984.tif 000017
【図１６】
2014086984.tif 000018
【図１７】
2014086984.tif 000019
【図１８】
2014086984.tif 000020
【図１９】
2014086984.tif 000021
【図２０】
2014086984.tif 000022
【図２１】
2014086984.tif 000023