(57)【要約】立体動画の視差調整によって、元々の視差が大きく損なわれるのを防止する。本発明は、立体動画の視差幅が出力許容視差幅に不適合な場合、立体動画を複数のシーンに分離し、シーンごとのシーン視差幅が出力許容視差幅に適合するか否かを判断し、その判断結果に応じてシーンの代表視差を調整する。立体動画の視差幅の全体が一律に調整されるのではなく、シーンごとに視差幅が調整されるため、立体動画の立体感が全体的に失われるのを防げる。
2012014708.tif 000002
【特許請求の範囲】
【請求項１】
立体動画の全部または所定の一部の範囲を構成する複数の立体画像フレームごとの代表視差を取得する代表視差取得部と、
前記代表視差取得部の取得した各立体画像フレームの代表視差の最大値および最小値で規定される視差幅が、予め定められた最大許容視差および最小許容視差で規定される許容視差幅に不適合な場合、前記立体動画を複数のシーンに分離するシーン分離部と、
前記シーン分離部の分離したシーンごとに、前記シーンを構成する立体画像フレームの代表視差の最大値および最小値で規定されるシーン視差幅が前記許容視差幅に適合するか否かを判断し、前記判断結果に応じて前記シーンを構成する各立体画像フレームの代表視差を前記許容視差幅に適合するよう一律に調整する視差調整部と、
前記視差調整部が代表視差を調整した立体画像フレームを出力する出力部と、
を備える画像処理装置。
【請求項２】
前記視差調整部は、任意のシーンのシーン視差幅が前記許容視差幅に適合するが、前記任意のシーンを構成する立体画像フレームの代表視差の最大値が予め定められた代表視差の上限を超える場合、前記任意のシーンを構成する各立体画像フレームの代表視差が前記代表視差の上限以下となるよう前記代表視差を調整する請求項１に記載の画像処理装置。
【請求項３】
前記視差調整部は、連続する２以上のシーンに対応する各シーン視差幅が前記許容視差幅に適合するが、前記連続する２以上のシーンを構成する立体画像フレームの代表視差の最大値が前記代表視差の上限を超える場合、前記連続する２以上のシーンを構成する各立体画像フレームの代表視差が前記代表視差の上限以下となるよう前記代表視差を一律に調整する請求項２に記載の画像処理装置。
【請求項４】
前記視差調整部は、任意のシーンのシーン視差幅が前記許容視差幅に適合するが、前記任意のシーンを構成する立体画像フレームの代表視差の最小値が予め定められた代表視差の下限未満となる場合、前記任意のシーンを構成する各立体画像フレームの代表視差が前記代表視差の下限以上となるよう前記代表視差を調整する請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記視差調整部は、連続する２以上のシーンに対応する各シーン視差幅が前記許容視差幅に適合するが、前記連続する２以上のシーンを構成する立体画像フレームの代表視差の最小値が前記代表視差の下限未満の場合、前記連続する２以上のシーンを構成する各立体画像フレームの代表視差が前記代表視差の下限以上となるよう前記代表視差を一律に調整する請求項４に記載の画像処理装置。
【請求項６】
前記シーン分離部は、所定の第１の基準に従って分離されたシーンのシーン視差幅が前記許容視差幅に不適合な場合、前記所定の第１の基準および前記所定の第１の基準と異なる第２の基準に従って前記立体動画を分離する請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
前記第２の基準は、前記第１の基準よりも前記シーン変化の推定確度が低い請求項６に記載の画像処理装置。
【請求項８】
前記視差調整部は、前記シーン分離部が前記第１の基準および前記第２の基準に従って分離したシーンごとに、前記シーンのシーン視差幅が前記許容視差幅に適合するか否かを判断し、前記シーンのシーン視差幅が前記許容視差幅に不適合と判断した場合、前記シーンを構成する各立体画像フレームの代表視差を前記許容視差幅に適合するよう調整する請求項６または７に記載の画像処理装置。
【請求項９】
前記視差調整部は、隣接する２つのシーン間での代表視差の調整量の差が所定の閾値を超える場合、前記隣接する２つのシーン間での代表視差の調整量を平滑化する請求項１〜８のいずれかに記載の画像処理装置。
【請求項１０】
画像処理装置が、
立体動画の全部または所定の一部の範囲を構成する複数の立体画像フレームごとの代表視差を取得するステップと、
前記取得した各立体画像フレームの代表視差の最大値および最小値で規定される視差幅が、予め定められた最大許容視差および最小許容視差で規定される許容視差幅に不適合な場合、前記立体動画を複数のシーンに分離するステップと、
前記分離したシーンごとに、前記シーンを構成する立体画像フレームの代表視差の最大値および最小値で規定されるシーン視差幅が前記許容視差幅に適合するか否かを判断し、前記判断結果に応じて前記シーンを構成する各立体画像フレームの代表視差を前記許容視差幅に適合するよう一律に調整するステップと、
前記代表視差を調整した立体画像フレームを出力するステップと、
を実行する画像処理方法。
【請求項１１】
画像処理装置が、
立体動画の全部または所定の一部の範囲を構成する複数の立体画像フレームごとの代表視差を取得するステップと、
前記取得した各立体画像フレームの代表視差の最大値および最小値で規定される視差幅が、予め定められた最大許容視差および最小許容視差で規定される許容視差幅に不適合な場合、前記立体動画を複数のシーンに分離するステップと、
前記分離したシーンごとに、前記シーンを構成する立体画像フレームの代表視差の最大値および最小値で規定されるシーン視差幅が前記許容視差幅に適合するか否かを判断し、前記判断結果に応じて前記シーンを構成する各立体画像フレームの代表視差を前記許容視差幅に適合するよう一律に調整するステップと、
前記代表視差を調整した立体画像フレームを出力するステップと、
を実行するための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関し、特に、立体動画の各立体画像フレームの両眼視差の調整に関する。
【背景技術】
【０００２】
特許文献１に開示の立体画像を処理装置は、二次元画像生成部、及び、ユーザに表示する立体画像の立体感を調整する立体感調整部を有する。かかる立体画像処理装置では、表示された被写体が限界視差に達すると、立体感調整部が応答し、取得された適正視差情報に従い、視差制御部が以降の立体表示において当該適正視差を実現するよう視差画像を生成する。このとき、視差の制御は、三次元データに遡ってカメラパラメータを最適設定することで実現する。また、二次元画像生成部は、適正視差を満たすデプスＦｘｙを計算する。かかるＦｘｙは、デプスの範囲をＫ１〜Ｋ２とし、各画素のデプス値をＧｘｙとしたとき、Ｆｘｙ＝Ｊ１＋（Ｇｘｙ−Ｋ１）×（Ｊ２−Ｊ１）／（Ｋ２−Ｋ１）にて求められる。なお、Ｆｘｙが整数にならない場合は、四捨五入や近置視差が小さくなるような処理が施される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2004-221699号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、視差を用いた立体動画は、適切な視差量で表示しないと、視聴者の疲労を誘発するおそれがある。適切な視差量は表示するディスプレイのサイズや視聴者の立体融合限界などによって変化するため、それに合わせた視差調整を行う必要がある。【０００５】
視差調整の結果、撮影時の視差とは異なった視差で立体画像が再生されると、視聴者に違和感を与えるおそれがある。このため、立体動画の撮影時の本来の視差をなるべく保つように視差調整を行うことが好ましい。【０００６】
特許文献１では、適正視差を満たすデプスＦｘｙを計算して四捨五入するため、フレーム間で視差が同じになり、フレーム遷移に伴う立体感の変化が感じられなかったり、逆にフレーム間で大きな視差の変化がつきすぎて視聴者に疲労を与えるおそれがある。【０００７】
本発明は、立体動画の視差調整によって、元々の視差が大きく損なわれるのを防止することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、立体動画の全部または所定の一部の範囲を構成する複数の立体画像フレームごとの代表視差を取得する代表視差取得部と、代表視差取得部の取得した各立体画像フレームの代表視差の最大値および最小値で規定される視差幅が、予め定められた最大許容視差および最小許容視差で規定される許容視差幅に不適合な場合、立体動画を複数のシーンに分離するシーン分離部と、シーン分離部の分離したシーンごとに、シーンを構成する立体画像フレームの代表視差の最大値および最小値で規定されるシーン視差幅が許容視差幅に適合するか否かを判断し、判断結果に応じてシーンを構成する各立体画像フレームの代表視差を許容視差幅に適合するよう一律に調整する視差調整部と、視差調整部が代表視差を調整した立体画像フレームを出力する出力部と、を備える画像処理装置を提供する。なお、ここでいう「代表視差」とは、例えば、立体動画フレーム内における注目被写体等の代表的な視差といった、立体動画フレーム内における代表的な視差をいうものである。【０００９】
また、視差調整部は、任意のシーンのシーン視差幅が許容視差幅に適合するが、任意のシーンを構成する立体画像フレームの代表視差の最大値が予め定められた代表視差の上限を超える場合、任意のシーンを構成する各立体画像フレームの代表視差が代表視差の上限以下となるよう代表視差を調整することが好ましい。【００１０】
更に、視差調整部は、連続する２以上のシーンに対応する各シーン視差幅が許容視差幅に適合するが、連続する２以上のシーンを構成する立体画像フレームの代表視差の最大値が代表視差の上限を超える場合、連続する２以上のシーンを構成する各立体画像フレームの代表視差が代表視差の上限以下となるよう代表視差を一律に調整する。【００１１】
更にまた、視差調整部は、任意のシーンのシーン視差幅が許容視差幅に適合するが、任意のシーンを構成する立体画像フレームの代表視差の最小値が予め定められた代表視差の下限未満の場合、任意のシーンを構成する各立体画像フレームの代表視差が代表視差の下限以上となるよう代表視差を調整することが好ましい。【００１２】
加えて、視差調整部は、連続する２以上のシーンに対応する各シーン視差幅が許容視差幅に適合するが、連続する２以上のシーンを構成する立体画像フレームの代表視差の最小値が代表視差の下限未満の場合、連続する２以上のシーンを構成する各立体画像フレームの代表視差が代表視差の下限以上となるよう代表視差を一律に調整することが好ましい。【００１３】
加えてまた、シーン分離部は、所定の第１の基準に従って分離されたシーンのシーン視差幅が許容視差幅に不適合な場合、所定の第１の基準および所定の第１の基準と異なる第２の基準に従って立体動画を分離することが好ましい。【００１４】
また、第２の基準は、第１の基準よりもシーン変化の推定確度が低いことが好ましい。【００１５】
更にまた、視差調整部は、シーン分離部が第１の基準および第２の基準に従って分離したシーンごとに、シーンのシーン視差幅が許容視差幅に適合するか否かを判断し、シーンのシーン視差幅が許容視差幅に不適合と判断した場合、シーンを構成する各立体画像フレームの代表視差を許容視差幅に適合するよう調整することが好ましい。【００１６】
加えて、視差調整部は、隣接する２つのシーン間での代表視差の調整量の差が所定の閾値を超える場合、隣接する２つのシーン間での代表視差の調整量を平滑化することが好ましい。【００１７】
また、本発明は、画像処理装置が、立体動画の全部または所定の一部の範囲を構成する複数の立体画像フレームごとの代表視差を取得するステップと、取得した各立体画像フレームの代表視差の最大値および最小値で規定される視差幅が、予め定められた最大許容視差および最小許容視差で規定される許容視差幅に不適合な場合、立体動画を複数のシーンに分離するステップと、分離したシーンごとに、シーンを構成する立体画像フレームの代表視差の最大値および最小値で規定されるシーン視差幅が許容視差幅に適合するか否かを判断し、判断結果に応じてシーンを構成する各立体画像フレームの代表視差を許容視差幅に適合するよう一律に調整するステップと、代表視差を調整した立体画像フレームを出力するステップと、を実行する画像処理方法を提供する。【００１８】
さらに、本発明は、画像処理装置が、立体動画の全部または所定の一部の範囲を構成する複数の立体画像フレームごとの代表視差を取得するステップと、取得した各立体画像フレームの代表視差の最大値および最小値で規定される視差幅が、予め定められた最大許容視差および最小許容視差で規定される許容視差幅に不適合な場合、立体動画を複数のシーンに分離するステップと、分離したシーンごとに、シーンを構成する立体画像フレームの代表視差の最大値および最小値で規定されるシーン視差幅が許容視差幅に適合するか否かを判断し、判断結果に応じてシーンを構成する各立体画像フレームの代表視差を許容視差幅に適合するよう一律に調整するステップと、代表視差を調整した立体画像フレームを出力するステップと、を実行するための画像処理プログラムを提供する。
【発明の効果】
【００１９】
本発明によれば、立体動画の視差幅が出力許容視差幅に不適合な場合、立体動画を複数のシーンに分離し、シーンごとのシーン視差幅が出力許容視差幅に適合するか否かを判断し、その判断結果に応じてシーンの代表視差を調整する。これにより、立体動画の視差幅の全体が一律に調整されるのではなく、シーンごとに視差幅が調整されるため、立体動画の立体感が全体的に失われるのを防げることが可能となる。
【図面の簡単な説明】
【００２０】
【図１】デジタルカメラの正面斜視図
【図２】デジタルカメラの背面斜視図
【図３】デジタルカメラのブロック図
【図４】開散方向の視差の限界の模式図
【図５】視差調整処理のフローチャート
【図６】立体動画の代表視差−出力視差変換表の一例を示す図
【図７】第１実施形態に係る視差シフトの模式図
【図８】第２実施形態に係る視差シフトの模式図
【図９】表示再生装置のブロック図
【発明を実施するための形態】
【００２１】
図１は、本発明の一実施形態であるデジタルカメラ１０の外観構成を示す正面斜視図である。図２は、そのデジタルカメラの一例の外観構成を示す背面斜視図である。
【００２２】
デジタルカメラ１０は、複数の撮像手段（図１では二つを例示）を備えており、同一被写体を複数視点（図１では左右二つの視点を例示）から撮影可能となっている。なお、本例では、説明の便宜のため二つの撮像手段を備えた場合を例に説明するが、本発明はこれに限定されず、三つ以上の撮像手段を備えた場合であっても同様に適用可能である。
【００２３】
本例のデジタルカメラ１０のカメラボディ１１２は、矩形の箱状に形成されており、その正面には、図１に示すように、一対の撮影光学系１１Ｒ、１１Ｌと、ストロボ１１６が設けられている。また、カメラボディ１１２の上面には、レリーズボタン１４、電源／モードスイッチ１２０、モードダイヤル１２２等が設けられている。また、カメラボディ１１２の背面には、図２に示すように、液晶表示装置（ＬＣＤ）などで構成されたモニタ１３、ズームボタン１２６、十字ボタン１２８、ＭＥＮＵ／ＯＫボタン１３０、ＤＩＳＰボタン１３２、ＢＡＣＫボタン１３４等が設けられている。モニタ１３はデジタルカメラ１０に内蔵されていてもよいし外部機器でもよい。
【００２４】
左右一対の撮影光学系１１Ｒ、１１Ｌは、それぞれ沈胴式のズームレンズ（図３の１８Ｒ、１８Ｌ）を含んで構成されており、デジタルカメラ１０の電源をＯＮすると、カメラボディ１１２から繰り出される。なお、撮影光学系におけるズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な説明を省略する。
【００２５】
モニタ１３は、半円筒状のレンズ群を有したいわゆるレンチキュラレンズが前面に配置されたカラー液晶パネル等の表示装置である。このモニタ１３は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また、撮影時には、撮像素子で捉えた画像がスルー表示され、電子ファインダとして利用される。なお、モニタ１３の立体画像の表示方式は、パララックスバリア方式に限られない。例えば、アナグリフ方式、偏光フィルタ方式、液晶シャッタ方式など、めがねを利用した立体画像の表示方式でもよい。
【００２６】
レリーズボタン１４は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ１０は、静止画撮影時（例えば、モードダイヤル１２２またはメニューによる静止画撮影モード選択時）、このレリーズボタン１４を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押しすると、画像の撮影・記録処理を行う。また、立体動画撮影時（例えば、モードダイヤル１２２またはメニューにより立体動画撮影モード選択時）、このレリーズボタン１４を全押しすると、立体動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、レリーズボタン１４を全押ししている間、立体動画の撮影を行い、全押しを解除すると、撮影を終了するようにもできる。なお、静止画撮影専用のレリーズボタンおよび立体動画撮影専用のレリーズボタンを設けてもよい。
【００２７】
電源／モードスイッチ１２０（電源スイッチ及びモードスイッチ）は、デジタルカメラ１０の電源スイッチとして機能するとともに、デジタルカメラ１０の再生モードと撮影モードとを切り替える切替手段として機能する。モードダイヤル１２２は、撮影モードの設定に用いられる。デジタルカメラ１０は、このモードダイヤル１２２を「２Ｄ静止画位置」にセットすることにより、２Ｄの静止画を撮影する２Ｄ静止画撮影モードに設定され、「３Ｄ静止画位置」にセットすることにより、３Ｄの静止画を撮影する３Ｄ静止画撮影モードに設定される。さらに、「３Ｄ動画位置」にセットすることにより、３Ｄの動画を撮影する３Ｄ動画撮影モードに設定される。
【００２８】
ズームボタン１２６は、撮影光学系１１Ｒ、１１Ｌのズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。十字ボタン１２８は、上下左右４方向に押圧操作可能に設けられており、各方向の押圧操作に対して、カメラの設定状態に応じた機能が割り当てられる。ＭＥＮＵ／ＯＫボタン１３０は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられる。ＤＩＳＰボタン１３２は、モニタ１３の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタン１３４は入力操作のキャンセル等の指示の入力に用いられる。
【００２９】
図３は、デジタルカメラ１０の要部を示すブロック図である。
【００３０】
デジタルカメラ１０は、右視点用の撮影光学系１１Ｒおよび撮像素子２９Ｒを有する右視点用の撮像手段と、左視点用の撮影光学系１１Ｌおよび撮像素子２９Ｌを有する左視点用の撮像手段を備える。
【００３１】
２つの撮影光学系１１（１１Ｒ、１１Ｌ）は、それぞれ、ズームレンズ１８（１８Ｒ、１８Ｌ）、フォーカスレンズ１９（１９Ｒ、１９Ｌ）、および、絞り２０（２０Ｒ、２０Ｌ）を有する。これらのズームレンズ１８、フォーカスレンズ１９、および、絞り２０は、それぞれ、ズームレンズ制御部２２（２２Ｒ、２２Ｌ）、フォーカスレンズ制御部２３（２３Ｒ、２３Ｌ）、絞り制御部２４（２４Ｒ、２４Ｌ）により駆動される。各制御部２２、２３、２４は、ステッピングモータからなり、ＣＰＵ２６に接続された不図示のモータドライバから与えられる駆動パルスにより制御される。
【００３２】
２つの撮影光学系１１（１１Ｒ、１１Ｌ）の背後には、それぞれ、ＣＣＤイメージセンサ（以下単に「ＣＣＤ」という）２９（２９Ｒ、２９Ｌ）が配置されている。なお、ＣＣＤ２９の代りに、ＭＯＳ型のイメージセンサを用いるようにしてもよい。ＣＣＤ２９は、周知のように、複数の光電変換素子が並べられた光電変換面を有し、この光電変換面に撮影光学系１１を介して被写体光が入射することにより、被写体像が結像される。ＣＣＤ２９には、ＣＰＵ２６によって制御されるタイミングジェネレータ：ＴＧ３１（３１Ｒ、３１Ｌ）が接続され、このＴＧ３１から入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度（各光電変換素子の電荷蓄積時間である）が決定される。
【００３３】
ＣＣＤ２９から出力された撮像信号は、アナログ信号処理回路３３（３３Ｒ、３３Ｌ）に入力される。アナログ信号処理回路３３は、相関二重サンプリング回路（ＣＤＳ）、増幅器（ＡＭＰ）などを有する。ＣＤＳは、撮像信号から各画素の蓄積電荷時間に対応したＲ、Ｇ、Ｂの画像データを生成する。ＡＭＰは、生成された画像データを増幅する。
【００３４】
ＡＭＰは、ＣＣＤ２９の感度を調節する感度調節手段として機能する。ＣＣＤ２９のＩＳＯ感度は、ＡＭＰのゲインによって決定される。Ａ／Ｄ変換器３６（３６Ｒ、３６Ｌ）は、増幅された画像データをアナログからデジタルに変換する。Ａ／Ｄ変換器３６（３６Ｒ、３６Ｌ）から出力されたデジタルの画像データは、画像入力コントローラ３８（３８Ｒ、３８Ｌ）を介して、作業用のメモリであるＳＤＲＡＭ３９によりそれぞれ右の視点の画像データ、左の視点の画像データとして一時的に記憶される。
【００３５】
デジタル信号処理部４１は、ＳＤＲＡＭ３９から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種画像処理を施し、この画像データを再度ＳＤＲＡＭ３９に記憶させる。デジタル信号処理部４１による画像処理済みの画像データは、ＶＲＡＭ６５にスルー画として取得されたのち、表示制御部４２で映像出力用のアナログ信号に変換され、モニタ１３に表示される。また、レリーズボタン１４の全押しに伴って取得された画像処理済みの画像データは、圧縮伸張処理部４３で所定の圧縮形式（例えばＪＰＥＧ形式）で圧縮された後、メディア制御部１５を経由して、記録用画像としてメモリカード１６に記録される。
【００３６】
操作部２５は、デジタルカメラ１０の各種操作を行うためのものであり、図１および図２に示した各種のボタン・スイッチ１２０〜１３４から構成されている。
【００３７】
ＣＰＵ２６は、デジタルカメラ１０を統括的に制御するために設けられている。ＣＰＵ２６は、フラッシュＲＯＭ６０やＲＯＭ６１に記憶された各種制御用のプログラムや設定情報、姿勢検出センサ７３や操作部２５からの入力信号などに基づいて、バッテリー７０、電源制御部７１、時計部７２など各部を制御する。
【００３８】
また、デジタルカメラ１０には、ＡＥ(Auto Exposure)／ＡＷＢ(Auto White Balance)制御を行うＡＥ／ＡＷＢ制御部４７、複数の立体画像フレームの各々の代表視差の検出を行う視差検出部４９が設けられている。また、デジタルカメラ１０は、フラッシュ５の発光タイミングや発光量を制御するフラッシュ制御部２３を備える。
【００３９】
ＡＥ／ＡＷＢ制御部４７は、レリーズボタン１４が半押しされたときに、ＣＣＤ２９により得られた画像（撮像画像）を解析して、被写体の輝度情報等に基づき、絞り２０の絞り値およびＣＣＤ２９の電子シャッタのシャッタ速度を算出する。そして、これらの算出結果に基づきＡＥ／ＡＷＢ制御部４７は、絞り制御部２４を介して絞り値を制御し、ＴＧ３１を介してシャッタ速度を制御する。
【００４０】
例えば、ふたつの撮影光学系１１Ｒ、１１Ｌのうち一方の撮影光学系のＣＣＤ２９Ｒまたは２９Ｌにより得られた撮像画像（右視点画像または左視点画像）に基づいて、両方の撮影光学系１１Ｒ、１１Ｌの絞り値およびシャッタ速度を算出する。両方の撮影光学系１１Ｒおよび１１Ｌにより得られた撮像画像（右視点画像および左視点画像）に基づいて、それぞれの撮影光学系１１Ｒ、１１Ｌの絞り値およびシャッタ速度を算出してもよい。
【００４１】
ＡＦ制御部４５は、レリーズボタン１４が半押しされたときに、フォーカスレンズ１９Ｒ、１９Ｌを光軸方向に沿って移動させてコントラスト値を算出するＡＦサーチ制御、および、コントラスト値に基づく合焦レンズ位置にフォーカスレンズ１９Ｒ、１９Ｌを移動させる合焦制御を行う。ここで、「コントラスト値」は、ＣＣＤ２９Ｒ、２９Ｌにより得られた撮像画像の所定の合焦評価値算出領域内の画像信号に基づいて算出される。「合焦レンズ位置」は、フォーカスレンズ１９Ｒ、１９Ｌが少なくとも主要被写体に合焦するフォーカスレンズ１９Ｒ、１９Ｌの位置である。
【００４２】
例えば、ふたつの撮影光学系１１Ｒ、１１Ｌのフォーカスレンズ１９Ｒ、１９Ｌのうち少なくとも一方を、モータドライバ２７Ｒまたは２７Ｌの駆動により移動させながら、一方の撮影光学系１１Ｒまたは１１Ｌの撮像画像（右視点画像または左視点画像）にて、コントラスト値を算出する。そのコントラスト値に基づき、ふたつの撮影光学系１１Ｒ、１１Ｌのフォーカスレンズ１９Ｒ、１９Ｌの合焦レンズ位置をそれぞれ決定し、モータドライバ２７Ｒおよび２７Ｌをそれぞれ駆動して、各フォーカスレンズ１９Ｒ、１９Ｌをそれぞれの合焦レンズ位置に移動させる。両方の撮影光学系１１Ｒ、１１ＬにてそれぞれＡＦサーチを行って、それぞれの合焦レンズ位置を決定してもよい。
【００４３】
姿勢検出センサ７３は、撮影光学系１１Ｒ、１１Ｌが予め決められた姿勢に対して回転された方向および角度を検出する。
【００４４】
手ブレ制御部６２は、撮影光学系１１Ｒ、１１Ｌに設けられた図示しない補正レンズをモータによって駆動することで、姿勢検出センサ７３の検出した光軸のずれを補正して手ブレを防止する。
【００４５】
ＣＰＵ２６は、撮影光学系１１Ｒ、１１Ｌの被写体像に対応する左右の画像データから顔認識を行うよう顔認識部６４を制御する。顔認識部６４は、ＣＰＵ２６の制御に応じて顔認識を開始し、左右の画像データからそれぞれ顔認識を行う。顔認識部６４は、顔認識の結果、左右の画像データからそれぞれから認識された顔領域の位置情報を含む顔領域情報をＳＤＲＡＭ３９に記憶する。顔認識部６４は、テンプレートマッチングなど公知の方法により、ＳＤＲＡＭ３９に記憶された画像から顔領域を認識することができる。なお被写体の顔領域とは、撮像画像中の人物や動物の顔領域が挙げられる。
【００４６】
顔対応判定部６６は、右の画像データから認識された顔領域と左の画像データから認識された顔領域の対応関係を判定する。すなわち、顔対応判定部６６は、左右の画像データからそれぞれから認識された顔領域の位置情報同士が最も近接する顔領域の組を特定する。そして、顔対応判定部６６は、当該組を構成する顔領域同士の画像情報をマッチングし、両者の同一性の確度が所定の閾値を超えた場合、当該組を構成する顔領域同士は対応関係にあると判定する。
【００４７】
視差検出部４９は、左右画像データの所定の領域間の代表視差を算出する。
【００４８】
例えば、代表視差の算出は、次のようにする。まず、視差検出部４９は、組を構成する顔領域間で対応する特定の点（対応点）間の位置の差（対応点間距離）を算出する。そして、視差検出部４９は、当該組の顔領域に含まれる点の視差の平均値を算出し、これを当該組の代表視差とする。視差検出部４９は、対応関係にあると判定された顔領域が複数存在する場合、それらの顔領域のうち、主要な顔領域についてのみ代表視差の算出を行い、この主要な顔領域の代表視差をＳＤＲＡＭ３９に記憶する。主要な顔領域とは、画面中央に最も近い顔領域、合焦評価値算出領域に最も近い顔領域、サイズの最も大きい顔領域などである。
【００４９】
あるいは、視差検出部４９は、左右の画像で対応関係にある所定の領域、例えば、画像中央領域や合焦評価値算出領域内の対応点間の視差の平均値を算出し、これを当該組の代表視差とする。
【００５０】
対応関係にある所定の領域の位置情報とその代表視差は、左右の画像データと対応づけられてＳＤＲＡＭ３９に記憶される。例えば、対応関係にある顔領域の位置情報とその代表視差は、画像データの付帯情報（ヘッダ、タグ、メタ情報など）として記憶される。画像データがメモリカード１６に記録用画像として圧縮記録される際は、例えば、Ｅｘｉｆなどのタグ情報として、この顔領域の位置情報と代表視差が合わせて記録用画像の付帯情報に記録される。
【００５１】
表示許容視差幅取得部２０４は、表示許容最小視差Ｄｍｉｎおよび表示許容最大視差Ｄｍａｘを取得し、視差調整部２０２に入力する。取得の態様は任意であり、操作部２５から入力されてもよいし、ＲＯＭ６１や立体動画データの付帯情報などから入力してもよいし、モニタ１３から制御情報として入力されてもよい。
【００５２】
表示許容最大視差Ｄｍａｘは、開散方向の視差（モニタ１３上の立体画像が引っ込む方向）の限界を規定する。図４Ａに例示するように、人の目は外側には開かないので、瞳孔間距離を超える視差を有する左右像は融合せず、視聴者が１つの像として認識できないので、眼精疲労を引き起こす。子供の視聴者を考慮すると、瞳孔間距離は、約５ｃｍであるので、この距離に相当するモニタ１３のピクセル数が表示許容最大視差Ｄｍａｘとなる。例えば、モニタ１３が１６：９インチサイズのハイビジョンテレビであり、解像度が１９２０×１０８０とすると、モニタ１３のサイズごとの表示許容最小視差Ｄｍｉｎは、図４Ｂのようになる。デジタルカメラや携帯電話の内蔵画面のようにモニタ１３のサイズが小さければ、開散方向の視差は問題となりにくいが、テレビのように表示面のサイズが大きいモニタ１３の場合は、開散方向の視差が問題になる。
【００５３】
表示許容最小視差Ｄｍｉｎは、過大視差（モニタ１３上の立体画像が飛び出す方向）の限界を規定する。表示許容最小視差Ｄｍｉｎは表示許容最大視差Ｄｍａｘと異なり瞳孔間距離から一意に決定することができない。例えば、表示許容最小視差Ｄｍｉｎを決定する出力条件としては、（１）モニタ１３のサイズ、（２）モニタ１３の解像度、（３）観視距離（視聴者からモニタ１３までの距離）、（４）視聴者個人の立体融合限界がある。
【００５４】
標準的な例として、（２）ハイビジョンテレビのモニタ１３の解像度は１９２０×１０８０、（３）観視距離はモニタ１３の画面高さの３倍である。これらを前提とすると、（４）一般的な立体融合限界は５７ピクセル（視差角１度程度）である。閾値設定部２０５は、（１）〜（４）の情報をユーザ操作やモニタ１３の設定情報などに基づいて外部から入力してもよい。例えば、ユーザは操作部２５を介して、自分の観ているモニタ１３の解像度、観視距離、立体融合限界を入力できる。ただし、（２）〜（４）について特に外部から入力がない場合、閾値設定部２０５は、上記標準的な例をＲＯＭ６１などから読み出して視差調整部２０２に入力する。
【００５５】
視差調整部２０２は、左右の画像データの代表視差の幅を、表示許容最小視差Ｄｍｉｎから表示許容最大視差Ｄｍａｘまでの範囲からなる表示許容視差幅に収まる調整を行う。
【００５６】
図５は視差調整処理のフローチャートを示す。この処理はＣＰＵ２６によって制御される。この処理をＣＰＵ２６に実行させるプログラムはＲＯＭ６１などのコンピュータ読み取り可能な記録媒体に記録されている。この処理は、画像データの付帯情報に上記の領域の位置情報と代表視差が記憶された後に実行される。
【００５７】
Ｓ１では、視差調整部２０２は、ＳＤＲＡＭ３９またはメモリカード１６に記憶された立体動画の全部または所定の一部の範囲を構成する各立体画像フレームの左右の画像データと、当該立体動画の付帯情報から、立体画像フレームごとの代表視差の読み出しを試みる。立体動画の所定の一部の範囲は、操作部２５で指定されてもよいし、ＲＯＭ６１などに規定されてもよい。当該範囲の位置と長さの単位も任意であり、フレーム番号、撮影時刻、時間間隔、フレーム数などで指定されうる。
【００５８】
Ｓ２では、表示許容視差幅取得部２０４は、表示許容視差幅をＳＤＲＡＭ３９に取得する。表示許容視差幅は、表示許容最小視差Ｄｍｉｎから表示許容最大視差Ｄｍａｘまでの範囲をいう。表示許容視差幅の取得元は、操作部２５、内蔵のＲＯＭ６１、外部のモニタ１３や電子機器などを含む。
【００５９】
Ｓ３では、視差調整部２０２は、各立体画像フレームの代表視差から、代表視差の最大値ｐｍａｘと代表視差の最小値ｐｍｉｎを特定し、立体動画視差幅＝ｐｍａｘ−ｐｍｉｎを計算する。そして、視差調整部２０２は、立体動画視差幅＜表示許容視差幅であるか否かを判断する。Ｙｅｓの場合はＳ４に進み、Ｎｏの場合はＳ７に進む。
【００６０】
Ｓ４では、視差調整部２０２は、代表視差の最大値ｐｍａｘ＞表示許容最大視差Ｄｍａｘであるか否かを判断する。Ｙｅｓの場合はＳ６に進み、Ｎｏの場合はＳ５に進む。
【００６１】
Ｓ５では、視差調整部２０２は、代表視差の最小値ｐｍｉｎ＜表示許容最小視差Ｄｍｉｎであるか否かを判断する。Ｙｅｓの場合はＳ６に進み、Ｎｏの場合はＳ１６に進む。
【００６２】
Ｓ６では、視差調整部２０２は、立体動画視差幅が表示許容視差幅に収まるよう各立体画像フレームの代表視差をシフトする。すなわち、Ｓ４でＹｅｓと判断された場合は、各代表視差を負（下）の方向にシフトし、各代表視差がＤｍａｘ〜Ｄｍｉｎの範囲に収まるようにする。Ｓ５でＹｅｓと判断された場合は、各代表視差を正（上）の方向にシフトし、各代表視差がＤｍａｘ〜Ｄｍｉｎの範囲に収まるようにする。
【００６３】
Ｓ７では、シーン分離部２０６は、各立体画像フレームのシーンの変化の検出を行う。シーン分離部２０６によるシーンの検出のレベルは可変である。ここでは、シーンの検出のレベルは、レベル１〜３の間で段階的に可変であるとする。最初のＳ７の実行時の初期検出レベルはレベル１であり、後述のＳ１３でレベルが変更されるまでは初期検出レベルでシーン変化が検出される。また、レベル１＞レベル２＞レベル３の順に、シーン変化の検出の推定確度が低下するものとする。
【００６４】
シーン変化の検出方法はレベルに応じて異なる。最もシーン変化の検出の推定確度が高いレベル１では、操作部２５などから入力されたユーザの明示的なシーンの区切り指定操作を基準にシーン変化が検出される、例えば、編集操作によってシーンの区切りに指定された立体画像フレームをシーン変化のあった立体画像フレームと検出する。編集操作は、立体動画の中での立体画像フレームの切り取り箇所の指定や、異なる立体動画の接合箇所の指定などを含む。レリーズボタン１４のオン・オフのあった立体画像フレームをシーン変化のあった立体画像フレームと検出することもできる。
【００６５】
レベル１よりも検出の推定確度が低いレベル２では、ズームボタン１２６によるズームレンズ１８の変倍操作のあった時点で取得された立体画像フレームをシーン変化のあった立体画像フレームと検出する。
【００６６】
レベル２よりも検出の推定確度が低いレベル３では、隣り合う２つの立体画像フレームａ・ｂ間の画像情報の相違が所定の閾値を超えた場合、立体画像フレームｂをシーン変化のあった立体画像フレームと検出する。この画像情報には、輝度情報、色情報、あるいはそれらの情報を統計処理した情報（ヒストグラムなど）などが含まれる。
【００６７】
各レベルに対応するシーン検出方法は、シーン分離情報入力部２０７を介してユーザが自由に設定できてもよい。シーン分離情報入力部２０７と操作部２５は共通の手段でもよい。
【００６８】
シーン分離部２０６は、シーン変化の検出された立体画像フレームを基準に立体動画をｎ個（ｎ＝２、３・・）のセクションに分離する。シーン変化の検出された立体画像フレームを境に立体動画を区切ることで、分離された立体動画の各セクションがそれぞれ異なるシーンを構成する。シーン分離部２０６は、各シーンＳ（ｋ）の最初の立体画像フレームと最後の立体画像フレームを示すシーン情報を視差調整部２０２に入力する。ここで、ｋ＝１〜ｎであるが、ｋの初期値は１であり、Ｓ７〜Ｓ１５のループが繰り返される度にｋの値は１だけインクリメントされるものとする。
【００６９】
Ｓ８では、視差調整部２０２は、シーン情報に従って識別されるシーンＳ（ｋ）内の各立体画像フレームの代表視差から、代表視差の最大値ｐｍａｘ（ｋ）と代表視差の最小値ｐｍｉｎ（ｋ）を特定し、シーンＳ（ｋ）の立体動画視差幅＝ｐｍａｘ（ｋ）−ｐｍｉｎ（ｋ）を計算する。そして、視差調整部２０２は、シーンＳ（ｋ）の立体動画視差幅＜表示許容視差幅であるか否かを判断する。Ｙｅｓの場合はＳ９に進み、Ｎｏの場合はＳ１２に進む。
【００７０】
Ｓ９では、視差調整部２０２は、シーンＳ（ｋ）の代表視差の最大値ｐｍａｘ（ｋ）＞表示許容最大視差Ｄｍａｘであるか否かを判断する。Ｙｅｓの場合はＳ１１に進み、Ｎｏの場合はＳ１０に進む。
【００７１】
Ｓ１０では、視差調整部２０２は、シーンＳ（ｋ）の代表視差の最小値ｐｍｉｎ＜表示許容最小視差Ｄｍｉｎであるか否かを判断する。Ｙｅｓの場合はＳ１１に進み、Ｎｏの場合はＳ１５に進む。
【００７２】
Ｓ１１では、視差調整部２０２は、シーンＳ（ｋ）の代表視差がＤｍａｘ〜Ｄｍｉｎの範囲に収まるよう、シーンＳ（ｋ）の各立体画像フレームの代表視差を正または負の方向にシフトする。
【００７３】
Ｓ１２では、シーン分離部２０６は、現在設定されているシーンの分離レベルよりも低い分離レベルのシーンの検出方法が設定可能であるか否かを判断する。例えば、上記のようにシーンの検出のレベルがレベル１〜３の間で可変の場合、現在の設定レベルがレベル１または２ならばＹｅｓと判断され、現在の設定レベルがレベル３ならばＮｏと判断される。
【００７４】
Ｓ１３では、シーン分離部２０６は、シーンの分離レベルを変更する。例えば、シーン分離部２０６は、現在のレベルよりも１段階推定確度の低いレベルを、新たな検出レベルに設定する。その後Ｓ７に戻り、新たな検出レベルで立体動画のシーンの変化の検出が行われる。あるいは、以前に設定されたレベルと今回設定されたレベルの双方でシーンの変化の検出が行われてもよい。
【００７５】
Ｓ１４では、視差調整部２０２は、シーンＳ（ｋ）の立体動画視差幅が表示許容視差幅に収まるようシーンＳ（ｋ）の各立体画像フレームの代表視差を調整する。例えば、シーンＳ（ｋ）の立体動画視差幅がＸ、表示許容視差幅がＹであり、かつＸ＞Ｙである場合、シーンＳ（ｋ）の各立体画像フレームの代表視差を一律な縮減率（Ｘ−Ｙ）／Ｘで縮減する。
【００７６】
Ｓ１５では、ＣＰＵ２６は、ｋ＝ｎ、すなわち、Ｓ７〜Ｓ１５のループが全てのシーンＳ（１）〜Ｓ（ｎ）に対して実行されたか否かを判断する。Ｙｅｓの場合はＳ１６に進み、Ｎｏの場合はｋの値を１だけインクリメントしてＳ８に戻る。
【００７７】
Ｓ１６では、視差調整部２０２は、ＲＯＭ６１などに記憶されている立体動画視差−出力視差変換表をＳＤＲＡＭ３９に読み出す。図６は立体動画視差−出力視差変換表の一例を示す。この表は、各立体画像フレームの任意の値の代表視差に対応する整数の出力視差を規定する。例えば、この表によると、Ｍ〜Ｍ＋ｔの代表視差はＮの出力視差，Ｍ〜Ｍ＋２ｔの代表視差はＮ＋１の出力視差に対応する。なお、画像の最小表示単位は１画素であるため、画素単位で出力視差を示すと整数となる。
【００７８】
視差調整部２０２は、ＲＯＭ６１などに記憶された立体動画視差−出力視差変換表に従って、各立体画像フレームの代表視差（シフト後あるいは縮減後の代表視差も含む）に対応する出力視差を決定する。
【００７９】
表示制御部４２は、決定された出力視差で各立体画像フレームを順次モニタ１３に表示することで立体動画を再生する。
【００８０】
図７は本処理による視差幅調整の様子を例示する。
【００８１】
例えば、図７Ａに示すように、ある立体動画の動画視差幅が表示許容視差幅を超えているとする。この場合、Ｓ３でＮｏとなり、Ｓ７にてこの動画のシーン分離が行われる。図７Ｂは分離されたシーンを例示する。この図では、１つの立体動画が３つのシーンＳＮ１〜ＳＮ３に分離されている。
【００８２】
シーンの分離後、Ｓ８にて、シーンごとの動画視差幅が表示許容視差幅と比較される。シーンの動画視差幅が表示許容視差幅を超える場合、Ｓ８でＮｏとなり、Ｓ１３にてシーン変化の検出レベルが変更され、変更後のレベルで再びシーン変化が検出される。
【００８３】
シーンの動画視差幅が表示許容視差幅を超えない場合、Ｓ８でＹｅｓとなり、Ｓ９および／またはＳ１０にて、当該シーンについて代表視差のシフトの要否が判断される。Ｓ９にて当該シーンの最大視差が表示許容最大視差を超えていると判断されるか、Ｓ１０にて当該シーンの最小視差が表示許容最小視差を下回っていると判断された場合は、Ｓ１１にて当該シーンに含まれる各立体画像フレームの代表視差が表示許容視差の最小値から最大値の範囲に収まるようシフトされる。
【００８４】
図７Ｃは分離されたシーンごとの代表視差のシフトを例示する。この図では、シーンＳＮ１の各代表視差は一律Δ１だけ下側にシフトされ、シーンＳＮ２の各代表視差は一律Δ２だけ下側にシフトされて、シーンＳＮ３の各代表視差は一律Δ３だけ下側にシフトされている。
【００８５】
上記の処理を実行するのに必要なブロックは、デジタルカメラ以外の電子機器に備えられていてもよい。例えば、図８に示すような、ＣＰＵ２６、ＶＲＡＭ６５、ＳＤＲＡＭ３９、フラッシュＲＯＭ６０、ＲＯＭ６１、圧縮伸張処理部４３、メディア制御部１５、視差検出部４９、視差調整部２０２、画像入力部２０１（例えば画像入力コントローラ３８、メディア制御部１５など）、表示許容視差幅取得部２０４、シーン分離部２０６、シーン分離情報入力部２０７、画像出力部２０８（例えばモニタ１３、メディア制御部１５など）などの平面または立体画像を表示するブロックを備えた画像出力装置がこの処理を実行することもできる。
【００８６】
画像入力部２０１の入力する立体動画は、撮像手段から直接出力されたものに限られない。例えば、メディア制御部１５がメモリカード１６などのメディアから読み出したものや、ネットワーク経由で受信したものでもよい。
【００８７】
画像出力部２０８が視差調整の完了した画像を出力する先は、表示制御部４２およびモニタ１３に限られず、画像は視差調整後に即時に表示されなくてもよい。例えば、メディア制御部１５は、立体画像フレームごとの調整後の代表視差すなわち出力視差を各立体画像フレームと対応づけた立体動画データとしてメモリカード１６などのメディアに記録してもよい。あるいは、当該立体動画データをネットワーク経由で送信してもよい。あるいはそれぞれの立体画像フレームをレンチキュラプリントのような印刷物とすることもできる。
【００８８】
また、視差調整処理を動作させるか否かのモード設定やタイミングも任意である。例えば、撮影モードの開始時は視差調整処理を行わないが、レリーズボタン１４が全押しされたときから視差調整処理を開始する。あるいは、メモリカード１６の立体動画データをテレビなどの外部のモニタ１３に表示する際に、視差調整処理を開始する。
【００８９】
以上の処理により、各立体画像フレームの代表視差が表示許容視差幅を超える場合は、シーンごとに視差幅圧縮の可否が判断され、シーン単位で視差幅が調整される。よって、撮影時の立体動画の代表視差を保って出力することができる。
【００９０】
＜第２実施形態＞
シーンごとに視差量の調整を行うと、シーンの変化に伴う出力視差の変動が撮影時のオリジナルの視差の変動と異なったものとなり、視聴者に違和感を与える可能性がある。そこで、Ｓ１１において、視差調整部２０２は、１つ前のシーンＳ（ｋ−１）と現在のシーンＳ（ｋ）（ただしここでは２＜ｋ≦ｎ）について、いずれのシーンＳ（ｋ−１）・Ｓ（ｋ）の視差幅も表示許容視差幅を超えないか否かをさらに判断し、いずれのシーンＳ（ｋ−１）・Ｓ（ｋ）の視差幅も表示許容視差幅を超えないと判断した場合、シーンＳ（ｋ）をシーンＳ（ｋ−１）と共通のシフト量で表示許容視差幅内にシフトするとよい。この処理をｋのインクリメントに伴って繰り返し、連続する２以上のシーンの動画視差幅がいずれも表示許容視差幅を超えなければ、それらの２以上のシーンは、表示許容視差の範囲内に収まるよう、上にまたは下に共通のシフト量でシフトされる。
【００９１】
例えば、図９Ａに示すように、ある立体動画の立体画像フレームの代表視差が推移しているとする。図９Ｂはこの立体動画から分離されたシーンを例示する。この図では、１つの立体動画が３つのシーンＳＮ１〜ＳＮ３に分離されている。
【００９２】
２つのシーンＳＮ１・ＳＮ２における視差幅Ｗ１は、表示許容視差幅Ｗ０を超える。一方、２つのシーンＳＮ２・ＳＮ３における視差幅Ｗ２は、表示許容視差幅Ｗ０を超えない。この場合、Ｓ９および／またはＳ１０にて、２つのシーンＳＮ２・ＳＮ３について代表視差のシフトの要否が判断される。Ｓ９にて当該シーンの最大視差が表示許容最大視差を超えていると判断されるか、Ｓ１０にて当該シーンの最小視差が表示許容最小視差を下回っていると判断された場合は、Ｓ１１にて、２つのシーンＳＮ２・ＳＮ３に含まれる各立体画像フレームの代表視差が表示許容視差幅に収まるようシフトされる。
【００９３】
図９Ｃは分離されたシーンごとの代表視差のシフトを例示する。この図では、シーンＳＮ１の各代表視差は一律Δ１だけ下側にシフトされ、シーンＳＮ２・ＳＮ３の各代表視差ははともにΔ２だけ下側にシフトされている。
【００９４】
このように、連続するシーンの代表視差の視差幅が表示許容視差幅に収まる場合、それらのシーンの代表視差のシフト量を共通の値にすれば、シーンの変化の前後における視差の遷移が撮影時のものと同様となり、視聴者にとって観やすい立体画像となる。
【００９５】
＜第３実施形態＞
第１または２実施形態において、隣接するシーン間での代表視差の調整量（視差幅縮減による代表視差の変動量および／または代表視差のシフトによる変動量）の差異が大きいと、当該シーン間でのシーンの変化時に被写体の距離が急激に変化する可能性が高い。そこで、当該シーン間での代表視差の調整量の差異が所定の閾値以上である場合、当該シーン間での代表視差の調整量を平滑化するとよい。
【００９６】
具体的には、シーンＡとシーンＢが時間的に隣接し、シーンＡの代表視差の調整量がａ、シーンＢの代表視差の調整量がｂとする。視差調整部２０２は、｜ａ−ｂ｜＜所定の閾値（例えば５画素）であるかを判断する。Ｎｏの場合、視差調整部２０２は、シーンＡの代表視差の調整量ａとシーンＢの視差調整量ｂを、所定の範囲で平滑化する。
【００９７】
例えば、視差調整部２０２は、シーンＢの先頭の立体画像フレームから１００フレーム程度後の立体画像フレームにかけて、視差調整量を、ａからｂに徐々に変化させる。あるいは、視差調整部２０２は、シーンＡの最後尾から５０フレーム程度遡った立体画像フレームからシーンＢの先頭から５０フレーム程度進んだ立体画像フレームにかけて、視差調整量を、ａからｂに徐々に変化させる。こうすれば、シーンの変化に伴う視差調整量の急激な変化を緩和できる。なお、シーン間での視差調整量の変化は、時間軸をパラメータとする所定の関数、例えば１次関数に従って行えばよい。
【符号の説明】
【００９８】
４９：視差検出部、２０２：視差調整部、２０４：表示許容視差幅取得部、２０６：シーン分離部、２０７：シーン分離情報入力部
【図１】
2012014708.tif 000003
【図２】
2012014708.tif 000004
【図３】
2012014708.tif 000005
【図４】
2012014708.tif 000006
【図５】
2012014708.tif 000007
【図６】
2012014708.tif 000008
【図７】
2012014708.tif 000009
【図８】
2012014708.tif 000010
【図９】
2012014708.tif 000011
【国際調査報告】
2012014708.tif 000012
2012014708.tif 000013
2012014708.tif 000014
2012014708.tif 000015