(57)【要約】【課題】左眼用撮像系及び右眼用撮像系の光軸のずれの補正、撮影時の手ぶれの補正、及び左眼用画像及び右眼用画像の間の視差の調整を施し、快適な３Ｄ画像の撮影を行うことができる３Ｄ画像撮影装置を提供する【解決手段】光軸ずれ判定部１２１は記憶部１３３に記憶された第一及び第二の撮影画像から光軸のずれを判定し、光軸ずれ補正領域決定部１２２は光軸のずれの補正に使用する画像領域を決定する。視差調整部１２３は第一及び第二の撮影画像の視差調整を実施するか否かを判定し、視差調整領域決定部１２４は視差の調整に使用する画像領域を決定する。手ぶれ補正判定部１２５は手ぶれ補正の必要性を判定し、手ぶれ補正領域決定部１２６は手ぶれ補正に使用する画像領域を決定する。出力部１４２は、前記第一及び第二の撮影画像から前記３つの画像領域を除いた撮影画像を出力する。【選択図】図１
2012165207.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して第一の撮影画像を出力する第一の撮像部及び第二の撮影画像を出力する第二の撮像部と、
前記第一の撮影画像及び前記第二の撮影画像を記憶する記憶部と、
前記第一の撮像部と前記第二の撮像部との間の光軸のずれの有無を判定する光軸ずれ判定部と、
前記光軸ずれ判定部が光軸がずれていると判定した場合、前記第一の撮影画像と前記第二の撮影画像から、その光軸のずれを補正するための光軸ずれ補正画像の領域を決定する光軸ずれ画像領域決定部と、
前記第一の撮影画像から前記光軸ずれ補正画像の領域を除いた第三の撮影画像と、前記第二の撮影画像から前記光軸ずれ補正画像の領域を除いた第四の撮影画像との間の水平方向の視差を調整するか否かを判定する視差調整部と、
前記視差調整部が水平方向の視差を調整すると判定した場合、前記第三の撮影画像と前記第四の撮影画像から、水平方向の視差を調整するための視差調整画像の領域を決定する視差調整画像領域決定部と、
前記第三の撮影画像から前記視差調整画像の領域を除いた第五の撮影画像と、前記第四の撮影画像から前記視差調整画像の領域を除いた第六の撮影画像の手ぶれを補正するか否かを判定する手ぶれ補正判定部と、
前記手ぶれ補正判定部が手ぶれを補正すると判定した場合、前記第五の撮影画像と前記第六の撮影画像から、手ぶれ補正のための手ぶれ補正画像の領域を決定する手ぶれ補正領域決定部と、
前記第六の撮影画像から手ぶれ補正画像の領域を除いた第七の撮影画像と、前記第六の撮影画像から前記手ぶれ補正画像の領域を除いた第八の撮影画像とを出力する出力部と
を備えることを特徴とする３Ｄ画像撮影装置。
【請求項２】
前記３Ｄ画像撮影装置はさらに出力画像領域決定部を備え、
前記出力画像領域決定部は前記第一の撮影画像と前記第二の撮影画像、前記第三の撮影画像と前記第四の撮影画像、前記第五の撮影画像と前記第六の撮影画像、または前記第七の撮影画像と前記第八の撮影画像の組み合わせのうち、少なくとも何れか一つの組み合わせの撮影画像に対し、アスペクト比を考慮してそれら二つの撮影画像の領域を決定することを特徴とする請求項１に記載の３Ｄ画像撮影装置。
【請求項３】
前記光軸ずれ判定部は、前記第一の撮影画像と前記第二の撮影画像との間の垂直方向の差分ベクトルの大きさが所定の閾値を超える場合に前記第一の撮像部と前記第二の撮像部との間の光軸がずれていると判定することを特徴とする請求項１及び２に記載の３Ｄ画像撮影装置。
【請求項４】
前記視差調整画像領域決定部は、前記出力部が前記第七の撮影画像及び前記第八の撮影画像を出力する画像表示装置の表示面幅に基づいて、前記視差調整画像領域の大きさを決定することを特徴とする請求項１から請求項３の何れか１項に記載の３Ｄ画像撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３Ｄ画像撮影装置に関し、より詳細には、左眼用撮像系及び右眼用撮像系の光軸のずれを補正し、左眼用画像及び右眼用画像に適切な視差調整と手ぶれ補正とを行う３Ｄ画像撮影装置に関する。
【背景技術】
【０００２】
近年、水平方向に視差を有する２つの画像が左眼用画像及び右眼用画像としてディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された被写体があたかも立体的に存在するかのように知覚できる３Ｄ画像に関する技術の開発が盛んに行われている。
【０００３】
３Ｄ画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像がディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式がよく知られている。
また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式等もよく知られている。
【０００４】
これらの３Ｄ画像に関する技術では、観察者から見て３Ｄ画像中の被写体画像が、表示面に対しどの程度前方に飛び出しているように知覚されるか、又は表示面に対しどの程度後方に引っ込んでいるように知覚されるかは、左眼用画像と右眼用画像との間の水平方向の視差によって決定される。一方で、左眼用画像及び右眼用画像の水平方向の視差が適切に調節されていない３Ｄ画像は、例えば被写体画像の前方への飛び出し又は後方への引っ込みが大きすぎた場合に、観察者に負担をかけ、眼精疲労や画像酔い等の原因となる可能性が指摘されている。
そこで、左眼用画像及び右眼用画像の水平方向の視差を適切に調整しつつ３Ｄ画像を撮影する撮像装置に関する技術が盛んに開発されている。
【０００５】
左眼用画像及び右眼用画像の水平方向の視差調整に関しては、撮像装置に搭載された左眼用撮像系と右眼用撮像系との間の輻輳角を調整して行う方法と、固体撮像素子を介してメモリに一時記憶された左眼用撮影画像データ及び右眼用撮影画像データのそれぞれから出力する画像の範囲を調整して行う方法とがある。
後者の例として、特許文献１には、被写体の距離に応じて、一時記憶された左眼用撮影画像データ及び右眼用撮影画像データのそれぞれから出力する画像のアスペクト比を変更することで、立体画像の視差を調整する撮影装置に関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１４７７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、左眼用撮像系及び右眼用撮像系の２つの撮像系を有する、いわゆる多眼式の撮像装置では、両撮像系の光軸のずれを補正した上で撮影を行うことが３Ｄ画像の撮影では重要となる。両撮像系の光軸が垂直方向にずれていると、左眼用画像と右眼用画像とで撮影されている風景や被写体の位置がずれてしまうことになる。このような垂直方向のずれが生じると、その風景や被写体の画像は３Ｄ画像として知覚されにくく、そのズレが大きくなると適切な３Ｄ画像として知覚できないことが実験により報告されているためである（３Ｄコンテンツに関する調査研究報告書  財団法人  デジタルコンテンツ協会）。
【０００８】
さらに、３Ｄ画像の撮影においても、２Ｄ画像の撮影同様に撮影時の手ぶれを補正することが重要となる。３Ｄ画像における手ぶれは、通常の手ぶれによる画像の見づらさに加え、左眼用画像及び右眼用画像の上下左右方向の変化がそのまま視差の変化につながることから、知覚される立体度を不安定なものにする原因ともなり、画像酔いを誘発する可能性があるためである。
【０００９】
以上から、３Ｄ画像の撮影においては、左眼用撮像系及び右眼用撮像系の光軸のずれの補正、撮影時の手ぶれの補正、及び左眼用画像及び右眼用画像の間の視差の調整のそれぞれを、いかにして適切に施すかが問題となる。
【００１０】
本発明はこのような問題に鑑みてなされたものであり、撮像素子からの画像の切り出し範囲を調整することで、左眼用撮像系及び右眼用撮像系の光軸のずれの補正、撮影時の手ぶれの補正、及び左眼用画像及び右眼用画像の間の視差の調整を施し、眼精疲労や画像酔いを誘発しにくい、快適な３Ｄ画像の撮影を行うことができる３Ｄ画像撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記目的を達成するために、本発明は、被写体を撮影して第一の撮影画像を出力する第一の撮像部（Ｌ１００）及び第二の撮影画像を出力する第二の撮像部（Ｒ１００）と、前記第一の撮影画像及び前記第二の撮影画像を記憶する記憶部（１３３）と、前記第一の撮像部（Ｌ１００）と前記第二の撮像部（Ｒ１００）との間の光軸のずれの有無を判定する光軸ずれ判定部（１２１）と、前記光軸ずれ判定部（１２１）が光軸がずれていると判定した場合、前記第一の撮影画像と前記第二の撮影画像から、その光軸のずれを補正するための光軸ずれ補正画像の領域を決定する光軸ずれ画像領域決定部（１２２）と、前記第一の撮影画像から前記光軸ずれ補正画像の領域を除いた第三の撮影画像と、前記第二の撮影画像から前記光軸ずれ補正画像の領域を除いた第四の撮影画像との間の水平方向の視差を調整するか否かを判定する視差調整部（１２３）と、前記視差調整部（１２３）が水平方向の視差を調整すると判定した場合、前記第三の撮影画像と前記第四の撮影画像から、水平方向の視差を調整するための視差調整画像の領域を決定する視差調整画像領域決定部（１２４）と、前記第三の撮影画像から前記視差調整画像の領域を除いた第五の撮影画像と、前記第四の撮影画像から前記視差調整画像の領域を除いた第六の撮影画像の手ぶれを補正するか否かを判定する手ぶれ補正判定部（１２５）と、前記手ぶれ補正判定部が手ぶれを補正すると判定した場合、前記第五の撮影画像と前記第六の撮影画像から、手ぶれ補正のための手ぶれ補正画像の領域を決定する手ぶれ補正領域決定部（１２６）と、前記第六の撮影画像から手ぶれ補正画像の領域を除いた第七の撮影画像と、前記第六の撮影画像から前記手ぶれ補正画像の領域を除いた第八の撮影画像とを出力する出力部（１４２）とを備えることを特徴とする３Ｄ画像撮影装置を提供する。
【００１２】
上述の３Ｄ画像撮影装置は、出力画像領域決定部（１２７）をさらに備え、その出力画像領域決定部（１２７）は前記第一の撮影画像と前記第二の撮影画像、前記第三の撮影画像と前記第四の撮影画像、前記第五の撮影画像と前記第六の撮影画像、または前記第七の撮影画像と前記第八の撮影画像の組み合わせのうち、少なくとも何れか一つの組み合わせの撮影画像に対し、アスペクト比を考慮してそれら二つの撮影画像の領域を決定してもよい。
【００１３】
上述の３Ｄ画像撮影装置の光軸ずれ判定部（１２２）は、前記第一の撮影画像と前記第二の撮影画像との間の垂直方向の差分ベクトルの大きさが所定の閾値を超える場合に第一の撮像部（Ｌ１００）と第二の撮像部（Ｒ１００）との間の光軸がずれていると判定してもよい。
【００１４】
上述の３Ｄ画像撮影装置の視差調整画像領域決定部（１２４）は、前記出力部が前記第七の撮影画像及び前記第八の撮影画像を出力する画像表示装置の表示面幅に基づいて、前記視差調整画像領域の大きさを決定してもよい。
【発明の効果】
【００１５】
本発明に係る３Ｄ画像撮影装置によれば、撮像素子からの画像の切り出し範囲を調整することで、左眼用撮像系及び右眼用撮像系の光軸のずれの補正、撮影時の手ぶれの補正、及び左眼用画像及び右眼用画像の間の視差の調整を施し、眼精疲労や画像酔いを誘発しにくい、快適な３Ｄ画像の撮影を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の内部構成を示すブロック図である。
【図２】撮像装置１が備える液晶モニタ１４３の構成を示す図である。
【図３】撮像装置１による３Ｄ画像の撮影の処理を説明するフローチャートである。
【図４】撮像装置１が備える左眼用撮像系Ｌ１００の光軸ＡＬ１００と右眼用撮像系Ｒ１００の光軸ＡＲ１００の垂直方向のずれが生じた場合の、左眼用撮影画像データ及び右眼用撮影画像データを説明するための概念図である。
【図５】撮像装置１が備える光軸ずれ判定部１２１による光軸ずれの判定の処理を説明するための概念図である。
【図６】撮像装置１が備える光軸ずれ補正領域決定部１２２による、光軸のずれの補正に使用する領域を決定するための概念図である。
【図７】モニタに表示される左眼用画像中及び右眼用画像中の被写体画像の視差と、モニタの表示面に対する前方への飛び出し又は後方への引っ込み等の関係を説明するための図である。
【図８】撮像装置１が備える視差調整領域決定部１２４による、視差の調整に使用する領域を決定するための概念図である。
【図９】撮像装置１が備える手ぶれ補正領域決定部１２６による、手ぶれ補正に使用する領域を決定するための概念図である。
【発明を実施するための形態】
【００１７】
以下に図面を参照しながら、本発明に係る３Ｄ画像撮影装置の好適な実施形態を説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
図１は、本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の内部構成の例を示すブロック図である。撮像装置１は動画及び静止画を撮影することができる。
なお、本実施形態に係る撮像装置では二つの撮像部を有し、それぞれの光軸のなす輻輳角を調整できる構成としているが、両光軸が平行となるように固定され輻輳角を調整できない撮像装置においても本発明は採用できる。また、本発明は、撮像系を複数備えているものであれば、デジタルスチルカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、撮影が可能なその他の電子機器においても採用することができる。また、複数のカメラを使用して３Ｄ画像を撮影する場合においても採用することができる。
【００１９】
ＣＰＵ１２０は、撮影、表示、記録等の撮像装置１全体の動作を統括制御する。また、ＣＰＵ１２０は、操作部１４５からの入力に基づき所定の制御プログラムに従って各部を制御する。
【００２０】
撮像装置１には、左右一対の左眼用画像撮像部Ｌ１００及び右眼用画像撮像部Ｒ１００が、人の眼の間隔より少し短い所定の間隔（例えば５ｃｍ）離れて設置されている。左眼用画像撮像部Ｌ１００及び右眼用画像撮像部Ｒ１００は、それぞれズームレンズＬ１０１及びＲ１０１、フォーカスレンズＬ１０２及びＲ１０２、絞りＬ１０３及びＲ１０３、並びに固体撮像素子Ｌ１０４及びＲ１０４を備える。
【００２１】
ズームレンズＬ１０１及びＲ１０１は、図示しないズームアクチュエータによって光軸ＡＬ１００及びＡＲ１００に沿って移動する。フォーカスレンズＬ１０２及びＲ１０２は、図示しないフォーカスアクチュエータによって光軸ＡＬ１００及びＡＲ１００に沿って移動する。絞りＬ１０３及びＲ１０３は、図示しない絞りアクチュエータに駆動されて動作する。
【００２２】
左眼用画像撮像部Ｌ１００及び右眼用撮像部Ｒ１００は輻輳角アクチュエータＬ１０９及びＲ１０９とそれぞれ接続されており、輻輳角アクチュエータＬ１０９及びＲ１０９はＣＰＵ１２０から指令を受けて、両撮像部を駆動し、光軸ＡＬ１００とＡＲ１００とのなす輻輳角を調整する。
【００２３】
ＲＯＭ１３１はバス１２７を介してＣＰＵ１２０に接続されており、ＣＰＵ１２０が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ１３２は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。
ＳＤＲＡＭ１３３は、ＣＰＵ１２０の演算作業領域として使用されるとともに、画像データの一時記憶領域としても使用される。ＶＲＡＭ１３４は、表示用の画像データの一時記憶領域として使用される。
【００２４】
撮影装置１を用いた立体画像の撮影は以下の手順で行われる。左眼用の固体撮像素子Ｌ１０４及び右眼用の固体撮像素子Ｒ１０４がそれぞれ、左眼用画像撮像部Ｌ１００と右眼用撮像部Ｒ１００とを通過した光を光電変換して、左右それぞれの被写体のアナログ撮像信号を生成する。
アナログ信号処理部Ｌ１０５及びＲ１０５が両アナログ撮像信号を増幅した後、Ａ／Ｄ変換器Ｌ１０６及びＲ１０６がその増幅された信号をデジタルデータに変換する。画像入力コントローラＬ１０７及びＲ１０７は、Ａ／Ｄ変換機Ｌ１０６及びＲ１０６から出力されたデジタルデータを取り込んで、ＳＤＲＡＭ１３３に格納する。
【００２５】
デジタル信号処理部Ｌ１０８及びＲ１０８は、ＣＰＵ１２０からの指令に基づき、ＳＤＲＡＭ１３３に格納されたデジタルデータを取り込み、所定の信号処理を施して輝度信号と色差信号とからなる信号を生成する。
デジタル信号処理部Ｌ１０８及びＲ１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
【００２６】
光軸ずれ判定部１２１は、ＳＤＲＡＭ１３３に一時記憶された左眼用撮影画像データ及び右眼用撮影画像データの垂直方向のずれから、左眼用撮像系Ｌ１００及び右眼用撮像系Ｒ１００の光軸の垂直方向のずれの有無を判定する。
光軸ずれ補正領域決定部１２３は、ＳＤＲＡＭ１３３に一時記憶された左眼用撮影画像データ及び右眼用撮影画像データから左眼用撮像系Ｌ１００及び右眼用撮像系Ｒ１００の光軸のずれの補正に使用する領域のデータを決定する。
【００２７】
視差調整部１２３は、ＳＤＲＡＭ１３３に一時記憶された左眼用撮影画像データ及び右眼用撮影画像データの水平方向の視差を調整する。
視差調整領域決定部１２４は、ＳＤＲＡＭ１３３に格納された左眼用撮影画像データ及び右眼用撮影画像データから視差調整に使用する領域のデータを決定する。
【００２８】
手ぶれ補正判定部１２５は、ＳＤＲＡＭ１３３に一時記憶された左眼用撮影画像データ及び右眼用撮影画像データに手ぶれ補正を施すか否かを判定する。
手ぶれ補正領域決定部１２６は、ＳＤＲＡＭ１３３に格納された左眼用撮影画像データ及び右眼用撮影画像データから手ぶれ補正に使用する領域のデータを決定する。
【００２９】
出力画像領域決定部１２６は、ＳＤＲＡＭ１３３に格納された左眼用撮影画像データ及び右眼用撮影画像データからＨＤＤ  Ｉ／Ｆ１３８、カードＩ／Ｆ１４０、又は入出力Ｉ／Ｆに出力する領域のデータを決定する。
【００３０】
圧縮・伸張処理部１３５、メディア制御部１３６、音声・画像処理部１３７、ＨＤＤ  Ｉ／Ｆ１３８、カードＩ／Ｆ１４０及び入出力Ｉ／Ｆ１４２はデータバス１２７に接続されている。
【００３１】
圧縮・伸張処理部１３５は、ＣＰＵ１２０からの指令に従い、ＳＤＲＡＭ１３３に格納されたデータに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１２０からの指令に従い、カード型記録媒体１４１等に格納された圧縮画像データに所定形式の伸張処理を施し、非圧縮画像データを生成する。
なお、本実施の形態の撮像装置１では、静止画に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。
【００３２】
メディア制御部１３６は、ＣＰＵ１２０からの指令に従い、ＨＤＤ  Ｉ／Ｆ１３８を通じてＨＤＤ１３９、又はカードＩ／Ｆ１４０を通じてカード型記録媒体１４１へのデータの書き込みやそれらからのデータの読み出しを制御する。
液晶モニタ１４３、スピーカ１４４、操作部１４５及び入出力端子１４６は入出力Ｉ／Ｆ１４２に接続されている。
【００３３】
図２は、３Ｄ画像を表示可能な液晶モニタ１４３の構造の例を説明するための図である。図２においては、撮像装置１の通常の使用姿勢における液晶モニタ１４０に対して、水平方向をＸ軸、垂直方向をＹ軸、及び液晶モニタ１４０の直交
方向をＺ軸として以下を説明する。
液晶モニタ１４３と観察者の左眼ＬＥ２０及び右眼ＲＥ２０の間には、レンチキュラ・レンズＬＬ２０が配置されている。このレンチキュラ・レンズＬＬ２０は、複数の円筒状凸レンズを図２のＸ軸方向に連ねることで構成されている。
【００３４】
液晶モニタ１４３に表示される３Ｄ画像の表示領域は、左眼用短冊画像表示領域Ｌと右眼用短冊画像表示領域Ｒとから構成されている。左眼用短冊画像表示領域Ｌ及び右眼用短冊画像表示領域Ｒは、それぞれ図２のＺ軸方向に細長い短冊形状をしており、Ｘ軸方向に交互に配置されている。
レンチキュラ・レンズＬＬ２０を構成する各凸レンズは、観察者の所定の観察点を基準として、それぞれ一組の左眼用短冊画像表示領域Ｌ及び右眼用短冊画像表示領域Ｒを含む各短冊集合画像領域に対応した位置に形成される。
【００３５】
そして、レンチキュラ・レンズＬＬ２０を構成する各凸レンズは、観察者の左眼ＬＥ２０には液晶モニタ１４０の左眼用短冊画像表示領域Ｌに表示された左眼用短冊画像が入射され、観察者の右眼ＲＥ２０には液晶モニタ１４０の右眼用短冊画像表示領域Ｒに表示された右眼用短冊画像が入射されるように、その曲率等が設定される。
【００３６】
従って、観察者の左眼は左眼用短冊画像のみを、右眼は右眼用短冊画像のみを観察することになり、観察者は撮像装置１によって撮影している画像を、液晶モニタ１４３を通じて３Ｄ画像として知覚することができる。
【００３７】
なお、３Ｄ画像の表示のための液晶モニタ１４３の構造として、図２によるレンチキュラ方式を用いた場合の例を説明したが、本発明はレンチキュラ方式には限定されず、視差バリア方式や光方向制御方式等、３Ｄ画像表示のための別方式を採用することもできる。
液晶モニタ１４０は、撮影画像を３Ｄで表示するだけでなく、左眼用画像又は右眼用画像のいずれか一方を２Ｄで表示することもできる。また、左右眼画像の両方をいわゆるサイド・バイ・サイド方式で、二つ並べて２Ｄで表示することもできる。
【００３８】
操作部１４５は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ１４３上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。
入出力端子１４６は、図示しないテレビモニタやＰＣ（Personal  Computer）等に接続される。
【００３９】
音声・画像処理部１３７は、例えば、ＳＤＲＡＭ１３３から読み出したデジタル撮像信号に所定の画像処理を施す。ＣＰＵ１２０の指示を受けて、音声・画像処理部１３７は、各種処理のための画像データを生成し、その画像データをＳＤＲＡＭ１３３から読み出されたオリジナルの撮像データに重畳させて液晶モニタ１４３に出力する。この出力によって、液晶モニタ１４３に表示される画像は各種画像データが合成されたものとなる。
【００４０】
＜撮像装置１による３Ｄ画像の撮影＞
図３は、撮像装置１による３Ｄ画像の撮影の際の処理を説明するためのフローチャートである。本処理は、ユーザが操作部１４５の図示しない録画ボタンを押したとき、図１のＣＰＵ１２０の統括制御によりプログラムに従い実行される。また、ユーザが撮像装置１の電源を入れ、操作部１４２の図示しないボタン等を使用して撮影モードを選択したとき、或は録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【００４１】
上述の通り、風景や被写体が左眼用撮像系Ｌ１００及び右眼用撮像系Ｒ１００を介して撮影される（ステップＳ１０１）。そして、撮影された風景や被写体は、左眼用の固体撮像素子Ｌ１０４及び右眼用の固体撮像素子Ｒ１０４を介して、左眼用撮影画像データ及び右眼用撮影画像データとして、ＳＤＲＡＭ１３３に一時記録される（ステップＳ１０２）。
【００４２】
次に、光軸ずれ判定部１２１がステップＳ１０２でＳＤＲＡＭに一時記憶された左眼用撮影画像データ及び右眼用撮影画像データの垂直方向のずれの有無から、左眼用撮像系Ｌ１００及び右眼用撮像系Ｒ１００の光軸の垂直方向のずれの有無を検出し、補正の必要性を判定する（ステップＳ１０３）。撮像装置１のような多眼式の撮像装置では、機器の特性や設定、又は撮影時の装置の向きや温度といったユーザの撮影状態等によって、左眼用撮像系Ｌ１００の光軸ＡＬ１００と右眼用撮像系Ｒ１００の光軸ＡＲ１００が垂直方向にずれてしまっていることがある。この光軸のずれにより、左眼用撮影画像と右眼用撮影画像に垂直方向のずれが生じると、その被写体は３Ｄ画像として知覚されにくく、場合によっては３Ｄ画像と知覚できないことは上述の通りである。
【００４３】
図４に、左眼用撮像系Ｌ１００の光軸ＡＬ１００と右眼用撮像系Ｒ１００の光軸ＡＲ１００の垂直方向のずれが生じた場合の、左眼用撮影画像データ及び右眼用撮影画像データを説明するための概念図を示す。光軸ＡＬ１００と光軸ＡＲ１００の垂直方向のずれにより、ＳＤＲＡＭ１３３に一時記憶された左眼用撮影画像データＬＰ１０１と右眼用撮影画像データＲＰ１０１中の被写体画像データＬＰ１０２及びＲＰ１０２が垂直方向にずれてしまっている。これにより被写体画像は３Ｄ画像として知覚されにくいか、場合によっては３Ｄ画像として知覚されないことになる。
【００４４】
そこで、光軸ずれ判定部１２１は、例えばＭＰＥＧにおける同一の被写体がフレーム間でどれだけ動いたかを特定する、いわゆる動きベクトルを算出するアルゴリズムを応用した手法により、左眼用撮影画像データＬＰ１０１及び右眼用撮影画像データＲＰ１０１の垂直方向のずれの有無から、光軸ＡＬ１００と光軸ＡＲ１００が垂直方向のずれの有無を検出する。
【００４５】
動画圧縮技術であるＭＰＥＧにおいては、ブロックマッチングに基づいて動きベクトルを検出するアルゴリズムが用いられる。ここで、動きベクトルとは２つのフレームデータ間における同一被写体の変位をベクトルで表したものである。
現在のフレームデータと過去のフレームデータとを比較し、同一の大きさで最も類似したブロックをそれぞれから抽出し、両者の位置関係から動きベクトルを算出する。
【００４６】
光軸ずれ判定部１２１は、上記動きベクトル算出のアルゴリズムを利用して、左眼用撮影画像データ及び右眼用撮影画像データにおける同一被写体画像データを特定し、その同一被写体画像データについて、点対点、画素対画素で対応する点を左眼用撮影画像データ及び右眼用撮影画像データから抽出し、それらの差分ベクトルを左眼用画像及び右眼用画像における被写体画像の視差として算出する。
【００４７】
より詳細には、図５に示すように光軸ずれ判定部１２１は、左眼用撮影画像データＬＰ１０１中の被写体画像データＬＰ１０２と同一の被写体画像データとして右眼用画像データＲＰ１０１中の被写体画像データＲＰ１０２を特定する。次に、光軸ずれ判定部１２１は、左眼用撮影画像データＬＰ１０１中の被写体画像データＬＰ１０２から基準点ＬＰ１０３を抽出する。そして、光軸ずれ判定部１２１は、右眼用撮影画像撮影画像データＲＰ１０１から、基準点ＬＰ１０３に対応する対応点ＲＰ１０３を抽出し、基準点ＬＰ１０３と対応点ＲＰ１０３との間の差分ベクトルＶＶ１０１を検出する。光軸判定部１２１は、差分ベクトルが検出された場合は光軸ＡＬ１００と光軸ＡＲ１００は垂直方向にずれており補正が必要と判定し、差分ベクトルが検出されない場合（差分ベクトルがゼロだった場合）は光軸ＡＬ１００と光軸ＡＲ１００はずれていないため補正は不要と判定する。
なお、光軸ずれ判定部１２１は右眼用撮影画像データから基準点を、左眼用撮影画像データから対応点を抽出し、差分ベクトルを算出することもできる。
【００４８】
なお、光軸ずれ判定部１２１は、検出された差分ベクトルの大きさが所定の閾値以上の場合は補正が必要と判定し、所定の閾値未満の場合は補正は不要と判定するようにしてもよい。例えば、左眼用画像と右眼用画像の垂直方向のずれの大きさが表示画面の高さの０．７％以上であると適切な３Ｄ画像として知覚できないことが実験により報告されている（３Ｄコンテンツに関する調査研究報告書  財団法人  デジタルコンテンツ協会）ことから、差分ベクトルの大きさが液晶モニタ１４３又は入出力端子１４６を介して接続される外部モニタの高さの０．７%以上であるかどうかを、所定の閾値と使用してもよい。
【００４９】
図３に戻り、光軸ずれ判定部１２１が光軸のずれを補正する必要があると判定した場合（ステップＳ１０３でＹＥＳ）、光軸ずれ補正領域決定部１２２は、左眼用撮影画像データ又は右眼用撮影画像データの少なくとも何れかから、光軸のずれの補正に使用する領域を決定する（Ｓ１０４）。
【００５０】
図６に、光軸ずれ補正領域決定部１２２による、光軸のずれの補正に使用する領域を決定するための概念図を示す。光軸ずれ補正領域決定部１２２は、左眼用撮影画像データＬＰ１０１から、差分ベクトルＶＶ１０１の大きさと同じ高さをもった領域（図６においてハッチングで示した領域）を、光軸ずれ補正領域ＬＰ１０４として切り出すことを決定する。同様に、光軸ずれ補正領域決定部１２２は、右眼用撮影画像データＲＰ１０１から、差分ベクトルＶＶ１０１の大きさと同じ高さをもった領域（図６においてハッチングで示した領域）を、光軸ずれ補正領域ＲＰ１０４として切り出すことを決定する。以上のような補正を行うことで、光軸ＡＬ１００と光軸ＡＲ１００の光軸のずれによる左眼用撮影画像データと右眼用撮影画像データの垂直方向のずれを、補正することができる。
【００５１】
図６では、左眼用撮影画像データＬＰ１０１及び右眼用撮影画像データＲＰ１０１の垂直方向のみから光軸ずれ補正領域を切り出すこと決定したが、液晶モニタ１４３等に出力する左眼用画画像及び右眼用画像のアスペクト比を整えるため、出力画像領域決定部１２７が水平方向からも一定の領域を切り出してもよい。
【００５２】
図３のステップＳ１０４で光軸のずれの補正が完了すると、或はステップＳ１０３で光軸ずれ判定部１２１が補正不要と判定すると（ステップＳ１０３でＮＯ）、視差調整部１２３が左眼用撮影画像データ及び右眼用撮影画像データの調整が必要かどうかを判定する（ステップＳ１０５）。左眼用画像及び右眼用画像中のそれぞれの被写体の間の水平方向の視差が大きいと、その被写体画像は観察者からみて表示面の前方に飛び出しすぎているように知覚される、或は表示面の後方に引っ込みすぎているように知覚されることになる。これらの度合いが大きすぎると観察者に大きな負担となるからである。
【００５３】
視差調整部１２３は、前述のステップＳ１０３における光軸のずれの検出と同様に、いわゆる動きベクトルを算出するアルゴリズムを応用した手法により左眼用撮影画像データと右眼用撮影画像データとの間の水平方向の視差を差分ベクトルとして抽出し、観察者に負担を掛ける被写体画像データの有無を検出する。
【００５４】
図７を参照して、液晶モニタ１４３又は入出力端子を介して接続される外部モニタに表示される左眼用画像中及び右眼用画像中の被写体画像に関し、左眼用画像と右眼用画像との間の視差と、モニタの表示面に対する前方への飛び出し又は後方への引っ込みの関係を説明する。
【００５５】
図７において、液晶モニタ１４３又は入出力端子１４６を介して接続される外部モニタの表示面をＤＰ７０、観察者と表示面ＤＰ７０の距離をＤとし、観察者の左眼ＬＥ７０と右眼ＲＥ７０の距離をＥとする。
【００５６】
図７（ａ）において、表示面ＤＰ７０上の左眼用画像中の被写体画像の表示位置をＬf、右眼用画像中の被写体画像の表示位置をＲfとすると、観察者が左眼ＬＥ７０でＬf、右眼ＲＥ７０でＲfを観察した場合、両被写体画像はＰfの位置で結像する。これにより３Ｄ画像では、観察者からは被写体画像が表示面ＤＰ７０に対して前方に飛び出しているかのように知覚されることになる。
【００５７】
このとき、像ＬfとＲfの視差をＶfとすると、表示面ＤＰ７０から結像位置Ｐfまでの距離Ｚfは以下の式（１）の通りとなる。
【００５８】
（Ｅ＋Ｖf）Ｚf＝Ｄ・Ｖf  ・・・（１）
【００５９】
ここで、観察者は被写体画像をディスプレイ面Ｄ７０とは異なるところで知覚することになる。一方で、ピントはディスプレイ面ＤＰ７０にあっていることになるため、この両者の乖離が大きいと、観察者に視覚疲労や不快感を生じるおそれがある。また、視差Ｖfが大きすぎると、被写体は飛び出しているようには知覚されず、単なる二重の画像として知覚されてしまうおそれがある。
【００６０】
上記観察者の左眼ＬＥ７０と右眼ＲＥ７０の距離Ｅを一般的な人の瞳孔間隔である６．５ｃｍとし、上記観察者からディスプレイ面ＤＰ７０までの視聴距離Ｄを標準観視距離であるディスプレイの長辺の３倍距離とした場合に、観察者の眼に負担をかけず、快適に３Ｄ画像として認識できる左眼用画像と右眼用画像との間の視差量として、ディスプレイ面の幅の２．９％（視差角にして約１度）以下とすることが望ましい旨が報告されている（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」  ３Ｄコンソーシアム安全ガイドライン部会発行  ２０１０年４月２０日改訂版）。
【００６１】
そこで、視差調整部１２３は、図７（ａ）に示すディスプレイ面幅ＤＷと視差Ｖfが以下の式（２）の関係となる被写体画像が含まれている場合に、視差の調整が必要であると判定する。
【００６２】
Ｖf＞０．０２９ＤＷ・・・（２）
【００６３】
ここで、上記ディスプレイ面幅ＤＷには、撮像装置１が備える液晶モニタ１４３の幅が予め設定されている値として採用される。ユーザが所有しているＴＶディスプレイ等の外部モニタに画像を表示させる場合は、その幅を入力し、その値を採用するようにしてもよい。
【００６４】
図７（ｂ）において、表示面ＤＰ７０上の左眼用画像中の被写体画像の表示位置をＬb、右眼用画像中の被写体画像の位置をＲbとすると、観察者が左眼ＬＥ７０でＬb、右眼ＲＥ７０でＲbを観察した場合、被写体画像はＰbの位置で結像する。これにより３Ｄ画像では、観察者からは被写体画像が表示面ＤＰ７０に対して後方に引っ込んでいるかのように知覚されることになる。
【００６５】
このとき、像ＬbとＲbの視差をＶfとすると、表示面ＤＰ７０から結像位置までの距離Ｚfは以下の式（３）の通りとなる。
【００６６】
（Ｅ−Ｖb）Ｚb＝Ｄ・Ｖb  ・・・（３）
【００６７】
被写体画像が表示面に対して後方に引っ込んでいるかのように知覚される場合においても、左右眼画像間の視差によっては、観察者に視覚疲労や不快感を生じるおそれがあること、被写体が引き込んでいるようには知覚されず、単なる二重の画像として知覚されるおそれがあることは、上述した被写体画像が表示面に対して前方に飛び出しているかのように知覚される場合と同様である。
【００６８】
そこで、視差調整部１２３は、図７（ｂ）に示すディスプレイ面幅ＤＷと視差Ｖfが以下の式（４）の関係となる被写体画像が含まれている場合に、視差の調整が必要であると判定する。
【００６９】
Ｖb＞０．０２９ＤＷ  ・・・（４）
【００７０】
ここで、上記ディスプレイ面幅ＤＷには、撮像装置１が備える液晶モニタ１４３の幅が予め設定されている値として採用される。ユーザが所有しているＴＶディスプレイ等の外部モニタに画像を表示させる場合は、その幅を入力し、その値を採用するようにしてもよい。
【００７１】
さらに、表示面から引き込んでいるかのうように知覚される３Ｄ画像では、ディスプレイ上における水平方向の視差が５ｃｍを超えないようにすることが望ましい旨が方向されている（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」  ３Ｄコンソーシアム安全ガイドライン部会発行  ２０１０年４月２０日改訂版）。人の両眼は外側には開かないことから、両眼の瞳孔間隔以上に離れた被写体を左眼及び右眼でそれぞれ独立して観察することは、眼精疲労や３Ｄ画像の破綻を誘発するおそれがあるためである。
【００７２】
そこで、視差調整部１２３は、Ｖｂが５ｃｍを超える被写体画像が含まれている場合に視差の調製が必要であると判定するようにしても良い。Ｖｂが５ｃｍ以上かどうかの判定及び、５ｃｍとする調整は、予め設定又は入力されているＤＷの値から５ｃｍ相当のピクセル数を算出することで行われる。
【００７３】
なお、視差調整部１２３は上記の例では、観察者の負担を軽減する観点から視差の調整が必要かどうかを判定したが、撮像装置１に左眼用撮影画像と右眼用撮影画像との水平方向の視差を調整する旨の設定が予めなされている場合は視差の調整が必要であると判定し、視差の調整を行わない旨の設定がなされている場合は視差の調整が不要であると判定するようにしてもよい。
【００７４】
図３に戻り、視差調整部１２３が左眼用撮影画像データと右眼用撮影画像データの水平方向の視差の調整が必要であると判定すると（ステップＳ１０５でＹＥＳ）、視差調整領域決定部１２４は、左眼用撮影画像データ又は右眼用撮影画像データの少なくとも何れかから、視差の調整に使用する領域を決定する（Ｓ１０６）。
【００７５】
図８に、視差調整領域決定部１２４による、視差の調整に使用する領域を決定するための概念図を示す。視差調整部１２４は左眼用撮影画像データＬＰ１０１から視差調整領域ＬＰ１０５を、右眼用撮影画像データＲＰ１０１から視差調整領域ＲＰ１０５をそれぞれ切り出すことを決定する。ここで、視差調整領域ＬＰ１０５及びＲＰ１０５のサイズは、被写体画像ＬＰ１０２及びＲＰ１０２の視差量が、上述した快適に３Ｄ画像として認識できる左眼用画像と右眼用画像との間の視差量となるように決定してもよいし、撮像装置１に予め記録されている値に基づいて決定してもよい。
【００７６】
図８では、左眼用撮影画像データＬＰ１０１及び右眼用撮影画像データＲＰ１０１の水平方向のみから視差調整領域を切り出すこと決定したが、液晶モニタ１４３等に出力する左眼用画画像及び右眼用画像のアスペクト比を整えるため、出力画像領域決定部１２７が垂直方向からも一定の領域を切り出してもよい。
【００７７】
図３のステップＳ１０６で視差の調整が完了すると、或はステップＳ１０５で視差調整部１２３が視差の調整は不要と判定すると（ステップＳ１０５でＮＯ）、視差調整部１２３が左眼用撮影画像データ及び右眼用撮影画像データの手ぶれ補正が必要かどうかを判定する（ステップＳ１０７）。３Ｄ画像における手ぶれは、通常の手ぶれによる画像の見づらさに加え、左眼用画像及び右眼用画像の上下左右方向の変化がそのまま視差の変化につながることから、知覚される立体度を不安定なものにする原因ともなり、画像酔いを誘発する可能性があるためである。
【００７８】
手ぶれ補正判定部１２５は、既知の手法によりジャイロセンサ１４７の出力結果又は左眼用撮影画像データ及び右眼用撮影画像データのベクトル演算の少なくとも何れか一方から手ぶれ補正が必要か否かを判定する。
【００７９】
手ぶれ補正判定部１２５が手ぶれ補正が必要であると判定すると（ステップＳ１０８でＹＥＳ）、手ぶれ補正領域決定部１２６が左眼用撮影画像データ又は右眼用撮影画像データの少なくとも何れかから、手ぶれ補正に使用する領域を決定する（Ｓ１０８）。
【００８０】
図９に、手ぶれ補正領域決定部１２６による、手ぶれ補正に使用する領域を決定するための概念図を示す。手ぶれ補正領域決定部１２６は、左眼用撮影画像データＬＰ１０１から手ぶれ補正領域ＬＰ１０６を、右眼用撮影画像データＲＰ１０１から手ぶれ補正領域ＲＰ１０６をそれぞれ切り出すことを決定する。
これら手ぶれ補正領域ＬＰ１０６及びＲＰ１０６の範囲は撮影時のズーム倍率に基づいて決定され、例えば以下の式（５）及び（６）の関係を満たすように決定される。
【００８１】
（１−Ｖｂ／Ｖａ）×１００＝（ズーム倍率＋２）％  ・・・（５）
【００８２】
（１−Ｈｂ／Ｈａ）×１００＝（ズーム倍率＋２）％  ・・・（６）
【００８３】
ステップＳ１０８で手ぶれの補正が完了する、或は手ぶれ補正判定部１２５が手ぶれ補正が不要との判定をする（ステップＳ１０７でＮＯ）と、出力画像領域決定部がアスペクト比を調整し、最終的に出力する左眼用出力画像データ及び右眼用出力画像データの領域を決定し、これらの画像データをＨＤＤ  Ｉ／Ｆ１３８、カードＩ／Ｆ１４０、又は入出力Ｉ／Ｆ１４２に出力する（ステップＳ１０９）。なお、手ぶれ補正領域決定部１２６ではズーム倍率に関係なく予め定められた一律の手ぶれ補正領域を確保することもできる。
【００８４】
ユーザが操作部１４５の図示しない録画ボタンを離し撮影を終了すると撮像装置１は、この３Ｄ画像の撮影の処理を終了する。又は、ユーザが撮像装置１の電源を切る、或は半押しにした録画ボタンを離すとスルー画像に対するこの処理を終了する。
【００８５】
以上に説明したように、本発明に係る撮像装置１によれば、固体撮像素子Ｌ１０４及びＲ１０４からの画像の切り出し範囲を調整することで、左眼用撮像系及び右眼用撮像系の光軸のずれの補正、撮影時の手ぶれの補正、及び左眼用画像及び右眼用画像の間の視差の調整を施し、眼精疲労や画像酔いを誘発しにくい、快適な３Ｄ画像の撮影を行うことができる。
【符号の説明】
【００８６】
１  撮像装置
１２０  ＣＰＵ
１２１  光軸ずれ判定部
１２２  光軸ずれ補正領域決定部
１２３  視差調整部
１２４  視差調整領域決定部
１２５  手ぶれ補正判定部
１２６  手ぶれ補正領域決定部
１２７  出力画像領域決定部
１３３  ＳＤＲＡＭ
１３８  ＨＤＤ  Ｉ／Ｆ
１３９  カードＩ／Ｆ
１４２  入出力Ｉ／Ｆ
１４３  液晶モニタ
１４５  操作部
【図１】
2012165207.tif 000003
【図２】
2012165207.tif 000004
【図３】
2012165207.tif 000005
【図４】
2012165207.tif 000006
【図５】
2012165207.tif 000007
【図６】
2012165207.tif 000008
【図７】
2012165207.tif 000009
【図８】
2012165207.tif 000010
【図９】
2012165207.tif 000011