(57)【要約】【課題】メモリからの画像データの水平方向の読み出し範囲の調整により左右眼用撮影画像間の水平視差を調整した後に、ズーム倍率が変更された場合、ズーム倍率変更後も変更前に意図した立体感を維持した３Ｄ画像を生成する３Ｄ画像撮影装置を提供する【解決手段】記憶部１３３は第一撮影画像及び第二撮影画像を記録し、視差決定部１２１はその第一及び第二の撮影画像間の視差を決定し、視差調整部１２２は視差調整用画像を生成し、決定された視差に基づき第一の撮影画像から第三の撮影画像を、第二の撮影画像から第四の撮影画像を生成することで視差の調整を行う。撮影情報記録部１２３は、第一及び第二の撮影画像取得時のズーム倍率と、視差調整用画像の大きさを撮影情報として記録する。ズーム倍率が変更されると、視差調整部１２２は、変更されたズーム倍率と撮影情報記録部１２３が記録した撮影情報とに基づいて、新たな視差調整用画像を生成する。【選択図】図１
2012182786.tif 000002
【特許請求の範囲】
【請求項１】
第一変倍レンズと、その第一変倍レンズを光軸に沿って駆動する第一駆動部とを有し第一撮影画像データを取得する第一撮像部と、
第二変倍レンズと、その第二変倍レンズを光軸に沿って駆動する第二駆動部とを有し第二撮影画像データを取得する第二撮像部と、
前記第一撮影画像と前記第二撮影画像とを一時記憶する記憶部と、
前記記憶部に記憶された前記第一撮影画像と第二撮影画像との間の水平方向の視差を決定する視差決定部と、
前記視差決定部が決定した水平方向の視差に基づいて、前記第一撮影画像から第一視差調整用画像を除いた第三撮影画像を生成するとともに、前記第二撮影画像から第二視差調整用画像を除いた第四撮影画像を生成する視差調整部と、
前記第一撮影画像取得時の前記第一変倍レンズの倍率、前記第二撮影画像取得時の前記第二変倍レンズの倍率、前記第一視差調整用画像の大きさ、及び前記第二視差調整用画像の大きさに関する情報を記録する撮影情報記録部とを備え、
前記第三撮影画像から前記第一駆動部により前記第一変倍レンズの倍率が変更された第五撮影画像が取得され、前記第四撮影画像から前記第二駆動部により前記第二変倍レンズの倍率が変更された第六撮影画像が取得された場合は、前記視差調整部は、それら変更された倍率と前記撮影情報記録部が記録した前記撮影情報とに基づいて第三視差調整用画像及び第四視差調整用画像の大きさ決定し、前記第五撮影画像から前記第三視差調整用画像を除いた第七撮影画像を生成するとともに、前記第六撮影画像から前記第四視差調整用画像を除いた第八撮影画像を生成する
ことを特徴とする３Ｄ画像撮影装置
【請求項２】
前記第一撮影画像及び前記第二撮影画像から人物の顔画像を検出する顔検出部をさらに備え、
前記視差決定部は前記顔検出部が検出した顔画像に基づき、前記第一撮影画像と第二撮影画像との間の水平方向の視差を決定することを特徴とする請求項１に記載の３Ｄ画像撮影装置。
【請求項３】
前記視差決定部は、前記第一撮影画像と前記第二撮影画像の差分ベクトルから最も大きい差分ベクトルと、全差分ベクトルの平均とを算出し、その最も大きい差分ベクトルがその全差分ベクトルの平均となるよう前記第一撮影画像と第二撮影画像との間の水平方向の視差を決定することを特徴とする請求項１又は請求項２に記載の３Ｄ画像撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３Ｄ画像撮影装置に関し、より詳細にはズーム倍率にあわせた被写体画像の立体感の調整を行う３Ｄ画像撮影装置に関する。
【背景技術】
【０００２】
近年、水平方向に視差を有する２つの画像が左眼用画像及び右眼用画像として同一ディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された被写体画像があたかも立体的に存在するかのように知覚できる３Ｄ画像に関する技術の開発が盛んに行われている。
【０００３】
３Ｄ画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像が同一ディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式がよく知られている。
【０００４】
また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式等もよく知られている。
【０００５】
これらの３Ｄ画像に関する技術では、被写体画像が観察者から見てディスプレイ面に対しどの程度前方に飛び出しているかのように知覚されるか、又は被写体画像が観察者から見てディスプレイ面に対しどの程度後方に引っ込んでいるかのように知覚されるかは、左眼用画像と右眼用画像との間の水平方向の視差によって決定される。
【０００６】
そこで、左眼用画像と右眼用画像との間の水平方向の視差を調整しつつ３Ｄ画像を撮影する撮像装置に関する技術が盛んに開発されており、例えば、特許文献１には、メモリに一時記録された左眼用及び右眼用の撮影画像データから被写体となる人物の顔画像データを検出し、それら顔画像データ間の差分ベクトルに基づいて左眼用及び右眼用の撮影データの切り出し範囲を調整することで、左眼用画像と右眼用画像との間の水平方向の視差を調整した３Ｄ画像を撮影することができる撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１４７９４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記特許文献１に記載の撮像装置では、メモリからの各撮影画像データの読み出し範囲を調整することで、左眼用撮影画像と右眼用撮影画像との間の視差の調整を行っている。
【０００９】
しかし、メモリからの画像データの水平方向の読み出し範囲を変更した場合は、撮像系のレンズの光軸と、メモリから読み出される撮影画像に対し擬似的に認識される光軸とが不一致となる。従って、ユーザが撮影中に、視差の調整を行った際のズーム倍率から別のズーム倍率に設定を変更した場合、撮像系のレンズの光軸の交わる輻輳点の位置は変化しないのに、観察者が撮影画像に対し擬似的に認識する光軸の交わる輻輳点の位置は変化してしまう。その結果、撮影される３Ｄ画像はズーム倍率変更前に意図したものとは異なる立体感、すなわち意図したものとは異なる飛び出し度合い又は引き込み度合いへと変化してしまうという問題があった。
【００１０】
本発明はこの問題に鑑みてなされたものであり、メモリからの画像データの水平方向の読み出し範囲が調整されることで左眼用撮影画像と右眼用撮影画像との間の視差が調整された後に、ズーム倍率が変更された場合であっても、そのズーム倍率の変更に併せて左眼用撮影画像と右眼用撮影画像の読み出し範囲が変更されることで、ズーム倍率変更後もズーム倍率変更前に意図した立体感を維持した３Ｄ画像を生成することができる３Ｄ画像撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記目的を達成するために、本発明は、第一変倍レンズ（Ｌ１０１）と、その第一変倍レンズ（Ｌ１０１）を光軸に沿って駆動する第一駆動部（Ｌ１１０）とを有し第一撮影画像を取得する第一撮像部（Ｌ１００）と、第二変倍レンズ（Ｒ１０１）と、その第二変倍レンズを光軸に沿って駆動する第二駆動部（Ｒ１１０）とを有し第二撮影画像を取得する第二撮像部（Ｒ１００）と、前記第一撮影画像と前記第二撮影画像とを一時記憶する記憶部（１３３）と、前記記憶部（１３３）に記憶された前記第一撮影画像と第二撮影画像との間の水平方向の視差を決定する視差決定部（１２１）と、前記視差決定部（１２１）が決定した水平方向の視差に基づいて、前記第一撮影画像から第一視差調整用画像を除いた第三撮影画像を生成するとともに、前記第二撮影画像から第二視差調整用画像を除いた第四撮影画像を生成する視差調整部（１２２）と、前記第一撮影画像取得時の前記第一変倍レンズの倍率、前記第二撮影画像取得時の前記第二変倍レンズの倍率、前記第一視差調整用画像の大きさ、及び前記第二視差調整用画像の大きさに関する情報を記録する撮影情報記録部（１２３）とを備え、前記第三撮影画像から前記第一駆動部により前記第一変倍レンズの倍率が変更された第五撮影画像が取得され、前記第四撮影画像から前記第二駆動部により前記第二変倍レンズの倍率が変更された第六撮影画像が取得された場合は、前記視差調整部（１２２）は、それら変更された倍率と前記撮影情報記録部（１２３）が記録した前記撮影情報とに基づいて第三視差調整用画像及び第四視差調整用画像の大きさ決定し、前記第五撮影画像から前記第三視差調整用画像を除いた第七撮影画像を生成するとともに、前記第六撮影画像から前記第四視差調整用画像を除いた第八撮影画像を生成することを特徴とする３Ｄ画像撮影装置を提供する。
【００１２】
上記３Ｄ画像撮影装置は、前記第一撮影画像及び前記第二撮影画像から人物の顔画像を検出する顔検出部（１２４）をさらに備え、前記視差決定部（１２１）は前記顔検出部が検出した顔画像に基づき、前記第一撮影画像と第二撮影画像との間の水平方向の視差を決定するようにしてもよい。
【００１３】
上記３Ｄ画像撮影装置の視差決定部（１２１）は、前記第一撮影画像と前記第二撮影画像の差分ベクトルから最も大きい差分ベクトルと、全差分ベクトルの平均とを算出し、その最も大きい差分ベクトルがその全差分ベクトルの平均となるよう前記第一撮影画像と第二撮影画像との間の水平方向の視差を決定するようにしてもよい。
【発明の効果】
【００１４】
本発明の３Ｄ画像撮影装置によれば、メモリからの画像データの水平方向の読み出し範囲が調整されることで左眼用撮影画像と右眼用撮影画像との間の視差が調整された後に、ズーム倍率が変更された場合であっても、そのズーム倍率の変更に併せて左眼用撮影画像と右眼用撮影画像の読み出し範囲が変更されることで、ズーム倍率変更後もズーム倍率変更前に意図した立体感を維持した３Ｄ画像を生成することができることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る撮像装置１の内部構成の例を示すブロック図である。
【図２】撮像装置１が備える液晶モニタ１４１の構成を示す図である。
【図３】撮像装置１による、ズーム倍率変更後も、ズーム倍率変更前に意図した立体感を維持した３Ｄ画像を生成する処理を説明するためのフローチャートである。
【図４】視差決定部１２１による左眼用撮影画像データと右眼用撮影画像データとの間の視差の決定と、視差調整部１２２による両撮影画像データ間の視差の調整について説明するための概念図である。
【図５】顔検出部１４１による顔検出の結果を液晶モニタ１４１に表示する際の、表示例を説明するための図である。
【図６】視差決定部１２１による顔画像の領域の算出を説明する概念図である。
【図７】視差決定部１２１によるによる顔画像中の基準点及び対応点の算出を説明する概念図である。
【図８】視差決定部１２１による左眼用撮影画像データと右眼用撮影画像データとの間の視差の決定と、視差調整部１２２による両撮影画像データ間の視差の調整の別の例について説明するための概念図である。
【図９】ＳＤＲＡＭ１３３に記録された左眼用撮影画像データ及び右眼用撮影画像データから視差調整用画像を除いた後、ズーム倍率が変更された場合の問題について説明する概念図である。
【図１０】ズーム倍率が変更された場合の視差調整部１２２による左眼用画像データと右眼用画像データとの間の視差の再調整について説明する概念図である。
【図１１】視差調整部１２２による水平方向の視差の調整について説明するための図である。
【図１２】視差調整部１２２による水平方向の視差調整の結果について説明するための図である。
【図１３】視差調整部１２２により視差調整が行われた後の画像出力領域に係る左眼用撮影画像データと画像出力領域に係る右眼用撮影画像データ、及び左眼用撮像部の光軸と右眼用撮像部の光軸との関係を示す概念図である。
【図１４】ＳＤＲＡＭ１３３に記録された左眼用撮影画像データ及び右眼用撮影画像データから視差調整用画像を除いた後、ズーム倍率が変更された場合の問題について説明する概念図である。
【図１５】ズーム倍率が変更された場合の視差調整部１２２による左眼用画像データと右眼用画像データとの間の視差の再調整について説明する概念図である。
【図１６】視差調整が行われた後にズーム倍率が変更された場合に、そのズーム倍率の変更に合わせ視差を再調整した結果について説明するための図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１７】
図１は、本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の内部構成の例を示すブロック図である。撮像装置１は動画及び静止画を撮影することができる。
【００１８】
なお、本実施形態に係る撮像装置１では二つの撮像部を有し、それぞれの光軸のなす輻輳角を調整できる構成としているが、両光軸が平行となるように固定され輻輳角を調整できない撮像装置においても本発明は採用できる。また、本発明は、デジタルスチルカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、撮影が可能なその他の電子機器においても採用することができる。
【００１９】
ＣＰＵ１２０は、撮影、表示又は記録等の撮像装置１全体の動作を統括制御する。また、ＣＰＵ１２０は、操作部１４２からの入力に基づき所定の制御プログラムに従って各部を制御する。
【００２０】
撮像装置１には、左右一対の左眼用画像撮像部Ｌ１００及び右眼用画像撮像部Ｒ１００が、人の眼の間隔より少し短い所定の間隔（例えば５ｃｍ）離れて設置されている。左眼用画像撮像部Ｌ１００及び右眼用画像撮像部Ｒ１００は、それぞれズームレンズＬ１０１及びＲ１０１、フォーカスレンズＬ１０２及びＲ１０２、絞りＬ１０３及びＲ１０３、並びに固体撮像素子Ｌ１０４及びＲ１０４を備える。
【００２１】
ズームレンズＬ１０１及びＲ１０１は、ズームアクチュエータＬ１１０及びＲ１１０によって光軸ＡＬ１００及びＡＲ１００に沿って移動する。ズームアクチュエータＬ１１０及びＲ１１０は、ステッピングモータから構成される。
【００２２】
フォーカスレンズＬ１０２及びＲ１０２は、図示しないフォーカスアクチュエータによって光軸ＡＬ１００及びＡＲ１００に沿って移動する。絞りＬ１０３及びＲ１０３は、図示しない絞りアクチュエータに駆動されて動作する。
【００２３】
左眼用画像撮像部Ｌ１００及び右眼用画像Ｒ１００は輻輳角アクチュエータＬ１０９及びＲ１０９とそれぞれ接続されており、輻輳角アクチュエータＬ１０９及びＲ１０９はＣＰＵ１２０から指令を受けて、両撮像部を駆動し、光軸ＡＬ１００とＡＲ１００とのなす輻輳角を調整する。
【００２４】
ＲＯＭ１３１はバス１３０を介してＣＰＵ１２０に接続されており、ＣＰＵ１２０が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ１３２は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。
【００２５】
ＳＤＲＡＭ１３３は、ＣＰＵ１２０の演算作業領域として使用されるとともに、画像データの一時記憶領域としても使用される。ＶＲＡＭ１３４は、表示用の画像データの一時記憶領域として使用される。
【００２６】
撮影装置１を用いた３Ｄ画像の撮影は以下の手順で行われる。左眼用の固体撮像素子Ｌ１０４及び右眼用の固体撮像素子Ｒ１０４がそれぞれ、左眼用画像撮像部Ｌ１００と右眼用撮像部Ｒ１００とを通過した光を光電変換して、左右それぞれの被写体のアナログ撮像信号を生成する。
【００２７】
アナログ信号処理部Ｌ１０５及びＲ１０５が両アナログ撮像信号を増幅した後、Ａ／Ｄ変換器Ｌ１０６及びＲ１０６がその増幅された信号をデジタルデータに変換する。画像入力コントローラＬ１０７及びＲ１０７は、Ａ／Ｄ変換機Ｌ１０６及びＲ１０６から出力されたデジタルデータを取り込んで、ＳＤＲＡＭ１３３に格納する。
【００２８】
デジタル信号処理部Ｌ１０８及びＲ１０８は、ＣＰＵ１２０からの指令に基づき、ＳＤＲＡＭ１３３に格納されたデジタルデータを取り込み、所定の信号処理を施して輝度信号と色差信号とからなる信号を生成する。デジタル信号処理部Ｌ１０８及びＲ１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
【００２９】
圧縮・伸張処理部１３５、メディア制御部１３６、画像処理部１３７、カードＩ／Ｆ１３８及び入出力Ｉ／Ｆ１４０はデータバス１３０に接続されている。
【００３０】
圧縮・伸張処理部１３５は、ＣＰＵ１２０からの指令に従い、ＳＤＲＡＭ１３３に格納されたデジタルデータに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１２０からの指令に従い、カード型記録媒体１３９等に格納された圧縮画像データに所定形式の伸張処理を施し、非圧縮画像データを生成する。なお、本実施の形態の撮像装置１では、動画に対してはＭＰＥＧ規格やＨ．２６４／ＡＶＣ、静止画に対してはＪＰＥＧ規格に準拠した圧縮方式が採用される。
【００３１】
メディア制御部１３６は、ＣＰＵ１２０からの指令に従い、カードＩ／Ｆ１３８を介してカード型記録媒体１３９へのデータの書き込み、又はカード型記録媒体１３９からのデータの読み出しを制御する。
【００３２】
液晶モニタ１４１、操作部１４２及び入出力端子１４３は入出力Ｉ／Ｆ１４０に接続されている。
【００３３】
図２は、３Ｄ画像を表示可能な液晶モニタ１４１の構造の例を説明するための図である。図２においては、撮像装置１の通常の使用姿勢における液晶モニタ１４１に対して、水平方向をＸ軸、垂直方向をＹ軸、及び液晶モニタ１４１の直交
方向をＺ軸として以下を説明する。
【００３４】
液晶モニタ１４１と観察者の左眼ＬＥ２０及び右眼ＲＥ２０の間には、レンチキュラ・レンズＬＬ２０が設置されている。このレンチキュラ・レンズＬＬ２０は、複数の円筒状凸レンズを図２のＸ軸方向に連ねることで構成されている。
【００３５】
液晶モニタ１４１に表示される３Ｄ画像の表示領域は、左眼用短冊画像表示領域Ｌと右眼用短冊画像表示領域Ｒとから構成されている。左眼用短冊画像表示領域Ｌ及び右眼用短冊画像表示領域Ｒは、それぞれ図２のＹ軸方向に細長い短冊形状をしており、Ｘ軸方向に交互に配置されている。
【００３６】
レンチキュラ・レンズＬＬ２０を構成する各凸レンズは、観察者の所定の観察点を基準として、それぞれ一組の左眼用短冊画像表示領域Ｌ及び右眼用短冊画像表示領域Ｒを含む各短冊集合画像領域に対応した位置に形成される。
【００３７】
そして、レンチキュラ・レンズＬＬ２０を構成する各凸レンズは、観察者の左眼ＬＥ２０には液晶モニタ１４１の左眼用短冊画像表示領域Ｌに表示された左眼用短冊画像が入射され、観察者の右眼ＲＥ２０には液晶モニタ１４１の右眼用短冊画像表示領域Ｒに表示された右眼用短冊画像が入射されるように、その曲率等が設定される。
【００３８】
従って、観察者の左眼は左眼用短冊画像のみを、右眼は右眼用短冊画像のみを観察することになり、撮像装置１によって撮影している画像を、液晶モニタ１４１を通じて３Ｄ画像として知覚することができる。
【００３９】
なお、３Ｄ画像の表示のための液晶モニタ１４１の構造として、図２に基づきレンチキュラ方式を用いた場合の例を説明したが、本発明はレンチキュラ方式には限定されず、視差バリア方式や光方向制御方式等、３Ｄ画像表示のための別方式を採用することもできる。
【００４０】
液晶モニタ１４１は、撮影画像を３Ｄで表示するだけでなく、左眼用画像又は右眼用画像のいずれか一方を２Ｄで表示することもできる。また、左右眼画像の両方をいわゆるサイド・バイ・サイド方式で、二つ並べて２Ｄで表示することもできる。
【００４１】
操作部１４２は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ１４１上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。
入出力端子１４３は、図示しないテレビモニタやＰＣ（Personal  Computer）等に接続される。
【００４２】
画像処理部１３７は、例えば、ＳＤＲＡＭ１３３から読み出したデジタル撮像信号に所定の画像処理を施す。ＣＰＵ１２０の指示を受けて、画像処理部１３７は、各種処理のための画像データを生成し、その画像データをＳＤＲＡＭ１３３から読み出されたオリジナルの撮像データに重畳させて液晶モニタ１４１に出力する。この出力によって、液晶モニタ１４１に表示される画像は各種画像データが合成されたものとなる。
【００４３】
例えば、詳細を後述する、ユーザが左眼用撮影画像と右眼用撮影画像との間の視差を調整する際の、「オート視差調整モード」、「マニュアル視差調整モード」、及び「視差調整不実施モード」の何れかのモードの選択ための選択画像や、顔検出部１２４による顔検出の結果を示す画像等を生成する。そして、画像処理部１３７は左眼用画像又は右眼用画像の少なくとも何れか一方等にそれらの画面を重畳して液晶モニタ１４１に出力する。
【００４４】
視差決定部１２１は、ＳＤＲＡＭ１３３に一時記憶された左眼用撮影画像データと右眼用撮影画像データとの間の水平方向の視差を決定する。この視差の決定は、例えば予め設定された値となるように、又は顔検出部１２４が顔画像データを検出した被写体画像や、その他ユーザが指定した被写体画像の視差がゼロになるように決定することで行われる。
【００４５】
視差調整部１２２は、ＳＤＲＡＭ１３３に一時記憶されている左眼用撮影画像データ及び右眼用撮影画像データのそれぞれから、少なくとも水平方向の画像データの一部を視差調整用画像として除くことで、視差決定部１２１が決定した視差となるように、左眼用撮影画像データ及び右眼用撮影画像データの視差を調整する。
【００４６】
撮影情報記録部１２３は、ズームアクチュエータＬ１１０及びＲ１１０によって調整された左眼用撮影画像及び右眼用撮影画像のズーム倍率と、視差調整部が左眼用撮影画像データと右眼用撮影画像データの視差の調整に使用した視差調整用画像の大きさとを記録する。
【００４７】
＜ズーム倍率に併せて被写体画像の立体感を調整する３Ｄ画像撮影処理＞
以下に撮像装置１による、ズーム倍率に併せて被写体画像の立体感を調整する３Ｄ画像の撮影の処理（方法）について説明する。図３は、撮像装置１による、ズーム倍率変更後も、ズーム倍率変更前に意図した立体感を維持した３Ｄ画像を撮影するための処理について説明するためのフローチャートである。
【００４８】
本処理は、ユーザが操作部１４２の図示しない録画ボタンを押したとき、図１のＣＰＵ１２０の統括制御によりプログラムに従い実行される。また、ユーザが撮像装置１の電源を入れ、操作部１４２の図示しないボタン等を使用して撮影モードを選択したとき、或は録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【００４９】
上述の通り、ズームアクチュエータＬ１１０及びＲ１１０が駆動され所定のズーム倍率が設定された後、或は電源投入時に設定されていたズーム倍率のまま、風景や被写体が左眼用撮像系Ｌ１００及び右眼用撮像系Ｒ１００を介して撮影される（ステップＳ１０１）。
【００５０】
そして、撮影された風景や被写体は、左眼用の固体撮像素子Ｌ１０４及び右眼用の固体撮像素子Ｒ１０４を介して、左眼用撮影画像データ及び右眼用撮影画像データとして、ＳＤＲＡＭ１３３に一時記録される（ステップＳ１０２）。ここで、一時記憶された左眼用撮影画像データ及び右眼用撮影画像データは入出力Ｉ／Ｆを介して液晶モニタ１４１に表示される。
【００５１】
次にステップＳ１０２でＳＤＲＡＭ１３３に一時記憶された左眼用撮影画像データ及び右眼用撮影画像データの水平方向の視差を調整するか否かが選択される（ステップＳ１０３）。
【００５２】
ここで、例えば、フラッシュＲＯＭ１３２には、予め定められた大きさだけ水平方向の視差を調整する「オート視差調整モード」、ユーザが手動で特定の被写体の視差を決定する「マニュアル視差調整モード」、及び視差調整を行わない「視差調整不実施モード」の少なくとも３つのモードと、それぞれのモードに対応した処理が記録されている。
【００５３】
そして視差決定部１２１は、ユーザが「オート視差調整モード」又は「マニュアル視差調整モード」を選択した場合、又は選択している場合は、視差の調整を行う旨を決定し、「視差調整不実施モード」を選択した場合は、視差の調整を行わない旨の決定をする。
【００５４】
ステップＳ１０３で、視差決定部１２１が左眼用画像データと右眼用画像データの視差を調整する旨の決定をした場合（ステップＳ１０３でＹＥＳ）、視差決定部１２１はＳＤＲＡＭ１３３に記録された左眼用画像データ及び右眼用画像データの視差を決定し（ステップＳ１０４）、視差調整部１２２は視差決定部１２１が決定した視差に基づき、左眼用撮影画像データ及び右眼用撮影画像データの視差を調整する（ステップＳ１０５）。これら視差の決定及び調整の処理は、例えば「オート視差調整モード」、「マニュアル視差調整モード」のそれぞれのモードにおいて、以下のように行われる。
【００５５】
＜オート視差調整モードにおける視差調整＞
ユーザが「オート視差調整モード」を選択した場合は、視差決定部１２１は予め定められた大きさの視差を左眼用撮影画像データ及び右眼用撮影画像データの視差として決定する。この予め定められた視差の大きさは固定の値としてもよいし、左眼用画像データ及び右眼用画像データそれぞれの画像全体の視差の平均の値としてもよい。
【００５６】
視差決定部１２１は、例えばＭＰＥＧにおける同一の被写体がフレーム間でどれだけ動いたかを特定する、いわゆる動きベクトルを算出するアルゴリズムを応用した手法により、左眼用撮影画像データの各被写体画像と右眼用撮影画像データの各被写体画像データの差分ベクトルを算出し、左眼用撮影画像データと右眼用撮影画像データとの間の視差を決定する。
【００５７】
動画圧縮技術であるＭＰＥＧにおいては、ブロックマッチングに基づいて動きベクトルを検出するアルゴリズムが用いられる。ここで、動きベクトルとは２つのフレームデータ間における同一被写体の変位をベクトルで表したものである。現在のフレームデータと過去のフレームデータとを比較し、同一の大きさで最も類似したブロックをそれぞれから抽出し、両者の位置関係から動きベクトルを算出する。
【００５８】
視差決定部１２１は、上記動きベクトル算出のアルゴリズムを利用して、左眼用撮影画像データ及び右眼用撮影画像データにおける同一被写体画像データを特定し、その同一被写体画像データについて、点対点、画素対画素で対応する点を左眼用撮影画像データ及び右眼用撮影画像データから抽出し、それらの差分ベクトルを左眼用撮影画像データ及び右眼用撮影画像データにおける被写体画像データの視差として算出する。
【００５９】
視差決定部１２１は、上述のようにして算出された全ての差分ベクトルの平均となるベクトルを算出し、最も大きい差分ベクトルを有する被写体画像が、算出された平均の差分ベクトルを有するように左眼用撮影画像データと右眼用撮影画像データとの視差を決定する。
【００６０】
上述のように視差決定部１２１が、左眼用撮影画像データと右眼用撮影画像データの間の視差を決定すると、視差調整部１２２が、左眼用撮影画像データと右眼用撮影画像データのそれぞれから視差調整用画像の領域を決定する。図４に、この処理の概念図を示す。
【００６１】
図４（ａ）に、例として、左眼用撮影画像データＬＰ４０１中の被写体画像データＬＰ４０２の基準点ＬＰ４０３と、右眼用撮影画像データＲＰ４０１中の被写体画像データＲＰ４０２の対応点ＲＰ４０３との間の差分ベクトルＶＭが、上述の手法により最大の差分ベクトルＶＭとして算出され、左眼用撮影画像データＬＰ４０１と右眼用撮影画像データＲＰ４０１との間の全ての差分ベクトルの平均がＶＡとして算出された場合を示す。
【００６２】
視差決定部１２１は、以下の式（１）からＬ１を算出し、左眼用撮影画像データＬＰ４０１から除く視差調整用画像データＬＰ４０４（図４（ａ）中にハッチングで示した領域）及び右眼用撮影画像データＲＰ４０１から除く視差調整用画像データＲＰ４０４（図４（ａ）中にハッチングで示した領域）の各領域を決定する。
【００６３】
Ｌ１＝│ＶＭ−ＶＡ│／２  ・・・（１）
【００６４】
以上のように視差調整部１２２が視差調整用画像データＬＰ４０４及びＲＰ４０４を決定し、図４（ｂ）に示すように左眼用撮影画像データＬＰ４０１から視差調整用画像データＬ４０４を除いた左眼用撮影画像データＬＰ４０５、右眼用画像データＲＰ４０１から視差調整用画像データＲＰ４０４を除いた右眼用撮影画像データＲＰ４０５を新たな撮影画像データとして生成する。これにより、被写体画像ＬＰ４０２とＲＰ４０２は、平均の差分ベクトルＶＡに相当する視差を有する画像となる。
【００６５】
以上に述べたように、「オート視差調整モード」において、最大の差分ベクトルとなる視差を有する被写体画像を平均の差分ベクトルとなる視差を有するように視差を調整することで、視差が大きすぎることにより知覚される立体感が大きくなり過ぎ、観察者に負担を与える可能性のある画像の視差を適切に調整することができる。
【００６６】
＜マニュアル視差調整モードにおける視差調整＞
ユーザが「マニュアル視差調整モード」を選択した場合は、視差決定部１２１は、例えば、ユーザが指定した任意の被写体画像の視差がゼロとなるように左眼用撮影画像データ及び右眼用撮影画像データの間の視差を決定する。このユーザによる被写体画像の指定は、例えば以下に述べるように被写体の顔画像検出を利用した手法で行われる。
【００６７】
まず、顔検出部１２４が、左眼用撮影画像データ及び右眼用撮影画像データから顔画像データの検出を行う。この顔画像データの検出は顔画像の特徴点に基づく既知の手法を用いるが、例えば、特開２００１−１６５７３号公報等に記載された処理によって顔画像を検出する手法が採用され、特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、顔の頂点や顎の下端点等が用いられる。なお、顔検出部１２４が顔画像データの検出に用いるアルゴリズムは上述したものに限定されず、任意のアルゴリズムを用いることができる。
【００６８】
図５に顔画像データが検出された場合の、液晶モニタ１４１の表示態様の例を示す。液晶モニタ１４１は図５に示すように左眼用画像データＬＰ５０１及び右眼用画像データＲＰ５０１をサイド・バイ・サイドで表示する。
【００６９】
左眼用画像データＬＰ５０１中には人物画像ＬＰ５０２が、右眼用画像データＲＰ５０１中には人物画像ＲＰ５０２が表示されている。そして、画像処理部１３７が生成した図形画像ＬＳ５０１及びＲＳ５０１が人物画像ＬＰ５０２及びＲＰ５０２中の検出された顔画像の付近に重畳して表示される。
【００７０】
次にユーザは、液晶モニタ１４１上に設けられた操作部１４２の図示しないタッチパネルで、図形画像ＬＳ５０１又はＲＳ５０１の何れか一方をタッチし、これらの人物画像ＬＰ５０２とＲＰ５０２との視差をゼロにする旨を指定する。なお、撮像装置１は上述のユーザの指定を行わなくても、顔画像の検出された被写体画像の視差を自動的にゼロとする設定とすることもできる。
【００７１】
人物画像ＬＰ５０２とＲＰ５０２との視差をゼロとする旨の指定が行われると、まず視差決定部１２１は、以下のようにして人物画像ＬＰ５０２とＲＰ５０２との間の視差を算出する。
【００７２】
視差決定部１２１は、既知の方法により被写体画像ＬＰ５０２及びＲＰ５０２の顔画像の中心座標を算出する。例えば特開２０００−３３９４７６号公報等に記載された手法が採用される。
【００７３】
すなわち、図６に示すように視差決定部１２１は先ず検出された顔画像の中心線ｆｃを特定する。この中心線ｆｃの特定は顔画像中の左右の画素値の対象性が高いｘ座標を求めることで行われる。
【００７４】
顔画像の中心線が特定されると、顔画像の濃淡からｘ方向及びｙ方向のエッジを強調したｘ方向エッジ情報とｙ方向エッジ情報が算出される。そして、算出部１２３は先ずｘ方向エッジ情報をｘ方向に投影加算処理し、ｘ方向エッジ投影ヒストグラムＸＨＧを求める。
【００７５】
顔画像の場合、ｘ方向のエッジは通常顔の輪郭の部分の多くに現れる。視差決定部１２１は、ｘ方向エッジ投影ヒストグラムＸＨＧの値の高いところを顔中心線から左右方向に探索し、顔画像の領域の横幅Ｗhを決定する。
【００７６】
横幅Ｗhが決定されると、ｙ方法エッジ情報をｙ方向に投影加算処理し、ｙ方向エッジ投影ヒストグラムＹＨＧを求める。顔の縦幅を決定する場合、目の付近にｙ方向エッジが集中的に現れ、その下の頬の部分にはｙ方向エッジがほとんど現れないことを利用して、目のｙ座標候補位置を検出し、その目のｙ座標候補と横エッジ投影ヒストグラムＨＨＧから顔画像の領域の縦幅Ｗvを決定する。
【００７７】
以上のようにして、視差決定部１２１は、顔画像の領域を特定する。そして、視差決定部１２１は、図７に示すように顔画像の領域の４つの頂点Ｐ７１、Ｐ７２、Ｐ７３、及びＰ７４の座標を算出し、この４つの頂点座標から顔画像の領域の中央座標ＣＰ７０を算出する。そして、左眼用画像中の顔画像の中央座標が基準点とされ、右眼用画像中の顔画像の中央座標が対応点とされる。
【００７８】
なお、右眼用画像中の顔画像の中央座標を基準点とし、左眼用が像中の中央座標を対応点としてもよい。また、顔画像の領域の特定は、上記に述べた以外にも既知の他のアルゴリズムを使用して行ってもよい。
【００７９】
視差決定部１２１は、上述のようにして算出された基準点及び対応点からユーザが指定した被写体画像の視差を算出し、この視差がゼロとなるように左眼用撮影画像データ及び右眼用撮影画像データの視差を決定する。
【００８０】
上述のように視差決定部１２１が、左眼用撮影画像データと右眼用撮影画像データの間の視差を決定すると、視差調整部１２２が、左眼用撮影画像データと右眼用撮影画像データのそれぞれから視差調整用画像の領域を決定する。図８に、この処理の概念図を示す。
【００８１】
図８（ａ）に示すように、視差決定部１２１が、左眼用撮影画像データＬＰ８０１中の被写体画像データＬＰ８０２の基準点ＬＰ８０３と、右眼用撮影画像データＲＰ８０１中の被写体画像データＲＰ８０２の対応点ＲＰ８０３との間の差分ベクトルＤＶを算出する。
【００８２】
この視差をゼロとする旨の決定がされると、視差調整部１２２は、以下の式（２）から算出される水平方向の長さを有する画像領域を、左眼用撮影画像データＬＰ８０１から除く視差調整用画像データＬＰ８０４（図８（ａ）中にハッチングで示した領域）及び右眼用撮影画像データＲＰ８０１から除く視差調整用画像データＲＰ８０４（図８（ａ）中にハッチングで示した領域）の各領域を決定する。
【００８３】
Ｌ２＝│ＤＶ│／２  ・・・（２）
【００８４】
以上のように視差調整部１２２が視差調整用画像データＬ８０４及びＲ８０４を決定し、図８（ｂ）に示すように左眼用撮影画像データＬＰ８０１から視差調整用画像データＬ８０４を除いたＬＰ８０５、右眼用画像データＬＰ８０１から視差調整用画像データＬＰ８０４を除いたＲＰ８０５を新たな撮影画像データとして生成する。これにより、被写体画像ＬＰ８０２とＲＰ８０２との間の視差はゼロとなる。
【００８５】
以上に述べたように、「マニュアル視差調整モード」では、視差がゼロとなる被写体画像をユーザが指定することで、ユーザは好みの立体感を有する３Ｄ画像を生成することができる。
【００８６】
なお、撮像装置１では、ユーザが指定した被写体の視差をゼロとするだけでなく、予め設定されている値とすることもできるものとする。
【００８７】
図３に戻り、ステップＳ１０５で左眼用撮影画像データ及び右眼用撮影画像データの視差が調整されると、撮影情報記録部１２３は、その視差調整時のズームレンズＬ１０１及びＲ１０１の倍率と、視差調整用画像データの大きさを撮影情報として記録する（ステップＳ１０６）。
【００８８】
なお、ステップＳ１０３で、左眼用撮影画像データと右眼用撮影画像データとの間の視差を調整しない旨の決定をした場合は（ステップＳ１０３でＮＯ）、撮影情報記録部１２３はステップＳ１０２でＳＤＲＡＭ１３３に記録した左眼用撮影画像データ及び右眼用撮影画像データを生成した際の、レンズＬ１０１及びＲ１０１の倍率と、視差調整用画像の大きさがゼロである旨とを記録する。
【００８９】
次に、ユーザがズームアクチュエータＬ１１０及びＲ１１０を駆動し、撮影の際のズーム倍率を変更した場合には（ステップＳ１０７でＹＥＳ）、視差調整部１２２がＳＤＲＡＭ１３３に記録された左眼用撮影画像データ及び右眼用撮影画像データ中の視差調整用画像データの大きさを変更し、再度左眼用撮影画像及び右眼用撮影画像の視差の再調整を行なう（ステップＳ１０８）。
【００９０】
図９にＳＤＲＡＭ１３３に記録された左眼用撮影画像データ及び右眼用撮影画像データから視差調整用画像データを除いた後、ズーム倍率が変更された場合の問題について説明する概念図を示す。
【００９１】
図９（ａ）はズーム倍率を１倍とし、視差調整部１２２により左眼用撮影画像データＬＰ９０１から視差調整用画像データＬＰ９０４（図９（ａ）中にハッチングで示した領域）を除き、右眼用撮影画像データＲＰ９０１から視差調整用画像データＲＰ９０４（図９（ａ）中にハッチングで示した領域）を除き、被写体画像データＬＰ９０２と被写体画像データＲＰ９０２との視差がゼロとなるように調整された場合の図である。
【００９２】
ここで、左眼用撮影画像データＬＰ９０１から視差調整用画像データＬ９０４を除いた左眼用撮影画像データＬＰ９０６、及び右眼用画像データＲＰ９０１から視差調整用画像データＲＰ９０４を除いた右眼用撮影画像データＲＰ９０６が新たな撮影画像データとして生成される。
【００９３】
左眼用撮影画像データと右眼用撮影画像データとが図９（ａ）の状態にあるとき、左眼用撮影画像データＬＰ９０１中の基準点ＬＰ９０３と、右眼用撮影画像データＲＰ９０１中の対応点ＲＰ９０３とは３Ｄ画像中で一致しており、これら二つの点が重なる位置で視差がゼロとなっている。すなわち、ユーザからは左眼用撮影画像の光軸と右眼用撮影画像の光軸が、この位置で交わっているかのように擬似的に認識される。
【００９４】
一方で、ズームアクチュエータＬ１１０及びＲ１１０を駆動して、ズーム倍率を変更すると、ステップＳ１０２でＳＤＲＡＭ１３３に一時記憶された左眼用撮影画像データＬＰ９０１の中心ＬＰ９０５及び右眼用撮影画像データＲＰ９０１の中心ＲＰ９０５を中心として倍率が変更されることになる。撮像系Ｌ１００の光軸ＡＬ１００の中心がＬＰ９０５に、撮像系Ｒ１００の光軸ＡＲ１００の中心がＲＰ９０５に結像するためである。
【００９５】
以上のように、メモリからの画像データの水平方向の読み出し範囲を変更した場合は、撮像系のレンズの光軸と、メモリから読み出される撮影画像に対し擬似的に認識される光軸とが不一致となる。
【００９６】
従って、例えば、図９（ｂ）に示すようにズーム倍率を１．５倍に変更した場合には、ＳＤＲＡＭ１３３に記録された撮影画像データの中心を中心に図９の左眼用撮影画像データＬＰ９０１が１．５倍に拡大された左眼用撮影画像データＬＰ９１１が、右眼用撮影画像データＲＰ９０１が１．５倍に拡大された右眼用撮影画像データＲＰ９１１がそれぞれ生成される。
【００９７】
そして図９の被写体画像ＬＰ９０２が１．５倍に拡大された被写体画像ＬＰ９１２が、被写体画像ＲＰ９０２が１．５倍に拡大された被写体画像ＲＰ９１２が生成され、この被写体画像ＬＰ９１２の基準点ＬＰ９１３と被写体画像ＲＰ９１２の対応点ＲＰ９１３との間には再び視差ＶＮが生じてしまうことになる。
【００９８】
これにより、一旦撮影画像データ中に視差調整用画像を確保することで、視差を調整し、任意の被写体画像の視差がゼロとなるように視差調整を行っても、ズーム倍率を変更することで、その被写体画像に再び視差が生じてしまい、視差がゼロとなる位置は別のところに移ってしまう。
【００９９】
従って、ズーム倍率変更後の３Ｄ画像の立体感は、変更前にユーザが意図した３Ｄ画像の立体感とは異なるものとなってしまう。このことは、ＳＤＲＡＭ１３３に記憶された左眼用撮影画像データ及び右眼用撮影画像データから視差調整用画像を除いて視差調整を行った場合は、全て同様である。視差調整用画像を除いたことにより、ズームの中心となる各撮影画像データの中心の位置と、視差がゼロとなる位置とがずれてしまうためである。
【０１００】
そこで、視差調整部１２２は、ズーム倍率の変更があった場合は、そのズーム倍率の変更に応じて、撮影画像データから除く視差調整画像の大きさを変更する。この処理を説明するための概念図を図１０に示す。変更前のズーム倍率をＺＤ１、変更後のズーム倍率をＺＤ２とすると、視差調整部１２２は、以下の式（３）で算出される左眼用撮影画像データＬＰ９１１から除く視差調整用画像ＬＰ９１４（図１０中にハッチングで示した領域）及び右眼用撮影画像データＲＰ９１１から除く視差調整用画像ＲＰ９１４（図１０中にハッチングで示した領域）の大きさを決定する。
【０１０１】
Ｌ４＝Ｌ３×ＺＤ２／ＺＤ１・・・（３）
【０１０２】
そして、図１０に示すように左眼用撮影画像データＬＰ９１１から新たに決定された視差調整用画像データＬ９１４を除いた左眼用撮影画像データＬＰ９１５、右眼用画像データＲＰ９１１から新たに決定された視差調整用画像データＲＰ９１４を除いた右眼用撮影画像データＲＰ９１５を新たな撮影画像データとして生成する。これにより、被写体画像ＬＰ９１２とＲＰ９１２との間の視差はゼロのまま維持される。
【０１０３】
以上のように、ズームレンズＬ１０１及びＲ１０１の倍率の変更に応じて、視差調整部１２２が視差調整用画像の大きさを変更するので、視差がゼロとなる被写体の画像は変化せず、ユーザはズーム倍率を変更する前に意図した立体感を有する３Ｄ画像をズーム倍率変更後も取得することができる。
【０１０４】
ステップＳ１０８で視差調整部１２２が左眼用撮影画像データ及び右眼用撮影画像データの視差を再調整すると、撮影情報記録部１２３は、その視差調整時のズームレンズＬ１０１及びＲ１０１の倍率と、視差調整用画像の大きさを再記録する（ステップＳ１０９）。
【０１０５】
この撮影情報の記録の処理は、ステップＳ１０６と同様にして行われる。なお、ユーザがズームアクチュエータＬ１１０及びＲ１１０を駆動し、ズーム倍率を変更すると、変更されたズーム倍率に関する情報が都度、撮影情報記録部１２３に記録され、上記の処理が実施される。従って、撮像装置１では、ユーザが最終的に設定するズーム倍率も含め、それまでの変更に追従して、視差の調整を行うことができる。
【０１０６】
そして、ステップＳ１０９で撮影情報の再記録が完了すると、或はユーザがズーム倍率を変更しなかった場合は（ステップＳ１０７でＮＯ）、ユーザが操作部１４２の図示しない録画ボタンを離すと、図１のＣＰＵ１２０の統括制御によりプログラムに従い撮影が終了される（ステップＳ１１０でＹＥＳ）。
【０１０７】
又は、ユーザが撮像装置１の電源を切り、操作部１４２の図示しないボタン等を使用して撮影モードを解除したとき、或は半押しにした録画ボタンを離したとき、それまで取得されていたスルー画像に対する本処理を終了するようにしてもよい。ユーザが撮影を終了しなかった場合は（ステップＳ１０９でＮＯ）、再度ステップＳ１０１から同様の処理を繰り返す。
【０１０８】
以上のように、本発明に係る撮像装置１によれば、メモリからの切り出し範囲を調整することで左眼用画像データと右眼用画像データとの間の視差を調整した後に、ズーム倍率が変更された場合であっても、そのズーム倍率の変更に追従して左眼用画像データと右眼用画像データの切り出し範囲も併せて変更することで、ズーム倍率変更後もズーム倍率変更前に意図した立体感を維持した３Ｄ画像を生成することができる。
【０１０９】
なお、上述の説明では、都度生成された撮影画像データはＳＤＲＡＭ１３３からバス１３１等を介して、カード型記録媒体１３９に記録される、又は液晶モニタ１４１に出力される等する。また、上記では、ＳＤＲＡＭ１３３に一時記憶された左眼用撮影画像データ及び右眼用撮影画像データ内での処理を前提に記載したが、その他のメモリや、撮像素子上で実施しても同様の効果を得ることができる。
【０１１０】
上記では、本発明の実施形態に係る撮像装置１が、ズーム倍率に併せて被写体画像の立体感を調整する３Ｄ画像の撮影の処理を実施する際に、視差調整部１２２が視差調整用画像データを除くことで、左眼用撮影画像データと右眼用撮影画像データとの間の視差を調整する旨の説明を行った。
【０１１１】
上記視差の調整は、別の側面からみれば、視差調整部１２２が、ＳＤＲＡＭ１３３に一時記憶された左眼用撮影画像データ及び右眼用撮影画像データの中から、都度、視差調整を行った新たな撮影画像データの画像出力領域を特定する処理として説明できる。すなわち、左右眼撮影画像データから視差調整用画像データを除いた画像領域に係るデータが、新たな撮影画像データの画像出力領域として特定されるということである。
【０１１２】
以下に、本発明の実施形態に係る撮像装置１が、ズーム倍率に併せて被写体画像の立体感を調整する３Ｄ画像の撮影の処理について、上記画像出力領域の特定の側面から捉えた視差調整の説明を交え、図１及び図３を参照して説明する。
【０１１３】
上述した通り、本処理は、ユーザが操作部１４２の図示しない録画ボタンを押したとき、図１のＣＰＵ１２０の統括制御によりプログラムに従い実行される。また、ユーザが撮像装置１の電源を入れ、操作部１４２の図示しないボタン等を使用して撮影モードを選択したとき、或は録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
【０１１４】
上述した通り、図３のステップＳ１０１で、ズームアクチュエータＬ１１０及びＲ１１０が駆動され所定のズーム倍率が設定された後、或は電源投入時に設定されていたズーム倍率のまま、風景や被写体が左眼用撮像系Ｌ１００及び右眼用撮像系Ｒ１００を介して撮影される。
【０１１５】
そして、撮影された風景や被写体は、左眼用の固体撮像素子Ｌ１０４及び右眼用の固体撮像素子Ｒ１０４を介して、左眼用撮影画像データ及び右眼用撮影画像データとして、ＳＤＲＡＭ１３３に一時記録される（ステップＳ１０２）。ここで、一時記憶された左眼用撮影画像データ及び右眼用撮影画像データ中の所定の領域分の画像データが、カードＩ／Ｆ１３８又は入出力Ｉ／Ｆ１４０に画像出力領域として出力される。
【０１１６】
次にステップＳ１０２でＳＤＲＡＭ１３３に一時記憶された左眼用撮影画像データ及び右眼用撮影画像データの水平方向の視差を調整するか否かが選択される（ステップＳ１０３）。
【０１１７】
ステップＳ１０３で、視差決定部１２１が左眼用画像データと右眼用画像データの視差を調整する旨の決定をした場合（ステップＳ１０３でＹＥＳ）、視差決定部１２１はＳＤＲＡＭ１３３に記録された左眼用画像データ及び右眼用画像データの視差を決定し（ステップＳ１０４）、視差調整部１２２は視差決定部１２１が決定した視差に基づき、左眼用撮影画像データ及び右眼用撮影画像データの視差を調整する（ステップＳ１０５）。視差の決定及び調整の処理は、「オート視差調整モード」、「マニュアル視差調整モード」のそれぞれのモードにおいて、上述した通り実施される。
【０１１８】
以下に、図１１を参照して、視差決定部１２１による水平方向の視差の決定、及び視差調整部１２２による水平方向の視差の調整について、上記で既に説明したものとは別の側面から説明する。
【０１１９】
図１１は、視差調整部１２２による水平方向の視差の調整の例として、顔検出部１２４が顔画像データを検出した被写体画像データＬＰ１１４と被写体画像データＲＰ１１４との間の水平方向の視差をゼロにする視差調整について説明するための概念図である。
【０１２０】
図１１では、ステップＳ１０２でＳＤＲＡＭ１３３に一時記憶された左眼用撮影画像データＬＰ１１１及び右眼用撮影画像データＲＰ１１１のなかから、カードＩ／Ｆ１３８又は入出力Ｉ／Ｆ１４０に出力される出力画像領域として、左眼用撮影画像データＬＰ１１２（図１１中に破線で示した領域）及び右眼用撮影画像データＲＰ１１２（図１１中に破線で示した領域）が特定されている。
【０１２１】
また、図１１では、視差決定部１２１は、左眼用撮影画像データＬＰ１１２中の基準点ＬＰ１１５と右眼用撮影画像データＲＰ１１２中の対応点ＲＰ１１５との間の差分ベクトルＶ１１を視差として算出している。
【０１２２】
視差決定部１２１は、算出された差分ベクトルＶ１１の向きと大きさから、ステップＳ１０２で一時記憶された左眼用撮影画像データＬＰ１１１中において、現在画像出力領域として特定されている左眼用撮影画像データＬＰ１１２から、新たな画像出力領域を特定するための画像領域のシフトの向き及び大きさを決定する。
【０１２３】
同様に、視差決定部１２１は、算出された差分ベクトルＶ１１の向きと大きさから、ステップＳ１０２で一時記憶された右眼用撮影画像データＲＰ１１１中において、現在画像出力領域として特定されている右眼用撮影画像データＲＰ１１２から、新たな画像出力領域を特定するための画像領域のシフトの向き及び大きさを決定する。
【０１２４】
そして、視差調整部１２２が、視差決定部１２１が決定した上記画像領域をシフトさせる向き及び大きさに従い、左眼用画像データ中及び右眼用画像データ中から出力する画像出力領域をシフトさせ、新たな出力画像領域に係る撮影画像データを特定する。
【０１２５】
図１１では、視差調整部１２２は、左眼用撮像データＬＰ１１１において、視差調整前の左眼用撮影画像データＬＰ１１２（図９中では破線で示した領域）を、差分ベクトルＶ１１と反対の向きに、差分ベクトルＶ０１の大きさの１／２の大きさのＬＳ１だけ位置をシフトさせた領域を新たな出力画像領域に係る左眼用撮影画像データＬＰ１１３として特定している。
【０１２６】
また、視差調整部１２２は、右眼用撮像データＲＰ１１１において、視差調整前の右眼用撮像データＲＰ１１２（図９中では破線で示した領域）を、差分ベクトルＶ１１の向きに、差分ベクトルＶ０１の大きさの１／２の大きさのＲＳ１だけ位置をシフトさせた領域を新たな出力画像領域に係る右眼用撮像データＲＰ１１３として特定している。
【０１２７】
ここで、シフト前の画像出力領域と、シフト後の画像出力領域との差分の領域が、上述の視差調整用領域として除かれているといえる。
【０１２８】
以上のように視差調整部１２２は、左眼用撮影画像データから抽出される画像出力領域に係る左眼用撮影画像データ及び右眼用撮影画像データから抽出される画像出力領域に係る右眼用撮影画像データの位置を水平方向にシフトさせ、新たな画像出力領域の位置を特定することで、水平方向の視差を調整する。
【０１２９】
図１１では、この視差調整により、左眼用出力画像データＬＰ１１３中の被写体画像データＬＰ１１４と右眼用出力画像データＲＰ１１３中の被写体画像データＲＰ１１４との間の視差がゼロとなる。
【０１３０】
図１２に、顔検出部１２４が顔画像データを検出した被写体画像データＬＰ１１４とＲＰ１１４との間の水平方向の視差をゼロに調整した後の、新たな出力画像領域に係る左眼用撮影画像データＬＰ１１３及び新たな出力画像領域に係る右眼用撮影画像データＲＰ１１３とを示す。
【０１３１】
図１２に示したように、左眼用撮影画像データＬＰ１１３における基準点ＬＰ１１５と右眼用撮影画像データＲＰ１１３における対応点ＲＰ１１５との間の視差はゼロとなる。これらの撮影画像データが出力され、液晶モニタ１４１等にこれらの画像データに係る画像が表示されると、被写体画像は丁度モニタ上にあるかのように、観察者に知覚されることになる。
【０１３２】
なお、上記の図１１では、被写体画像が表示面に対して飛び出しているかのように知覚される際に、その被写体画像を丁度表示面上にあるかのように知覚されるように視差を調整する場合について示している。逆に、被写体画像が表示面に対して引き込んでいるかのように知覚される際に、その被写体画像を丁度表示面上にあるかのように知覚されるように視差を調整する場合については、画像出力領域に係る左眼用撮影画像データを差分ベクトルの向きに、画像出力領域に係る右眼用撮影画像データを差分ベクトルの向きと反対の向きにシフトさせることになる。
【０１３３】
図３に戻り、ステップＳ１０５で左眼用撮影画像データ及び右眼用撮影画像データの視差が調整されると、撮影情報記録部１２３は、その視差調整時のズームレンズＬ１０１及びＲ１０１の倍率と、ステップＳ１０５で特定された画像出力領域の位置を撮影情報として記録する（ステップＳ１０６）。
【０１３４】
なお、ステップＳ１０３で、左眼用撮影画像データと右眼用撮影画像データとの間の視差を調整しない旨の決定をした場合は（ステップＳ１０３でＮＯ）、撮影情報記録部１２３はステップＳ１０２でＳＤＲＡＭ１３３に記録した左眼用撮影画像データ及び右眼用撮影画像データを生成した際の、レンズＬ１０１及びＲ１０１の倍率と、画像出力領域のシフトがゼロである旨とを記録する。
【０１３５】
次に、ユーザがズームアクチュエータＬ１１０及びＲ１１０を駆動し、撮影の際のズーム倍率を変更した場合には（ステップＳ１０７でＹＥＳ）、視差調整部１２２がＳＤＲＡＭ１３３に記録された左眼用撮影画像データ及び右眼用撮影画像データ中の画像出力領域の位置を変更し、再度、左眼用撮影画像及び右眼用撮影画像の視差の再調整を行なう（ステップＳ１０８）。
【０１３６】
この撮影の際のズーム倍率の変更に応じた視差の調整について説明する前に、視差調整部１２２が左眼用撮影画像と右眼用撮影画像の視差の調整を行った後、ズーム倍率が変更された場合の問題について図１３及び図１４を参照して以下に説明する。
【０１３７】
図１３は、視差調整部１２２により視差調整が行われた後の画像出力領域に係る左眼用撮影画像データＬＰ１１３と画像出力領域に係る右眼用撮影画像データＲＰ１１３、及び左眼用画像撮像部Ｌ１００の光軸ＡＬ１００と右眼用画像撮像部Ｒ１１０の光軸ＡＲ１００との関係を示す概念図である。
【０１３８】
図１３では、視差調整部１２２が左眼用撮影画像データＬＰ１１３の基準点ＬＰ１１５と右眼用撮影データＲＰ１１３の対応点ＲＰ１１５との間の視差がゼロとなるように、各画像出力領域の位置が特定されたところを示している。
【０１３９】
左眼用撮影画像データＬＰ１１３と右眼用撮影画像データＲＰ１１３とが図１３の状態にあるとき、左眼用撮影画像データＬＰ１１３中の基準点ＬＰ１１５と、右眼用撮影画像データＲＰ１１３中の対応点ＲＰ１１５とは液晶モニタ３０５等上に表示される３Ｄ画像中で一致しており、これら二つの点が重なる位置で視差がゼロとなっている。すなわち、ユーザからは左眼用撮影画像の光軸と右眼用撮影画像の光軸が、この位置で交わっているかのように擬似的に認識される。
【０１４０】
一方で、ズームアクチュエータＬ１１０及びＲ１１０を駆動して、ズーム倍率を変更すると、メインメモリ１３３に一時記憶された左眼用撮影画像データＬＰ１１１の中心ＬＰ１１６及び右眼用撮影画像データＲＰ１１１の中心ＲＰ１１５を中心として倍率が変更されることになる。左眼用画像撮像部Ｌ１００の光軸ＡＬ１００がＬＰ１１６の位置に、右眼用画像撮像部Ｒ１００の光軸ＡＲ１００がＲＰ１１６の位置に結像するためである。
【０１４１】
以上のように、メモリからの画像データの水平方向の読み出し範囲を変更した場合は、撮像系のレンズの光軸と、メモリから読み出される撮影画像に対し擬似的に認識される光軸とが不一致となる。
【０１４２】
ここで、光学ズーム倍率を変更して、撮像画像を拡大すると、撮影画像データ内では、画像撮像部の光軸と一致する位置を中心に被写体画像が拡大されることになる。
【０１４３】
図１４に、視差がゼロとなるように視差調整を行った被写体画像が光学ズームにより拡大された場合の撮像データについて説明するための図を示す。
【０１４４】
図１４に示すように光学ズーム倍率を変更して、撮像画像を拡大した場合は、左眼用撮像データＬＰ１１１内において、図１３中の被写体画像データＬＰ１１４がＬＰ１１６を中心にして拡大された被写体画像データＬＰ１２４を有する撮影画像データＬＰ１２１が生成される。
【０１４５】
同様に、右眼用撮像データＲＰ１１１内において、図１３中の被写体画像データＲＰ１１４がＲＰ１１６を中心にして拡大された被写体画像データＲＰ１２４を有する撮影画像データＲＰ１２１が生成される。
【０１４６】
そして、被写体画像データＬＰ１１４の基準点ＬＰ１１５に対応する被写体画像データＬＰ１２４の基準点ＬＰ１２５と、被写体画像データＲＰ１１４の対応点ＲＰ１１５に対応する被写体画像データＲＰ１２４の対応点ＲＰ１２５との間に、視差Ｖ１２が生じてしまうことになる。
【０１４７】
これにより、左眼用撮影画像データから抽出される画像出力領域に係る左眼用撮影画像データ及び右眼用撮影画像データから抽出される画像出力領域に係る右眼用撮影画像データの位置を調整することで視差を調整し、任意の被写体画像の視差がゼロとなるように視差調整を行っても、光学ズーム倍率を変更することで、その被写体画像に再び視差が生じてしまい、視差がゼロとなる輻輳位置は別のところに移ってしまう問題が生じる。
【０１４８】
そこで、図３に戻り、視差調整部１２２は、ズーム倍率の変更があった場合は、そのズーム倍率の変更に応じて、抽出される画像出力領域に係る左眼用撮影画像データ及び右眼用撮影画像データのシフト量をさらに漸増させていくことで、再度左眼用撮影画像及び右眼用撮影画像の視差の再調整を行なう（ステップＳ１０８）。
【０１４９】
以下に、図１５を参照して、視差調整が行われた後にズーム倍率が変更された場合に、そのズーム倍率の変更に追従した視差の再調整について説明する。
【０１５０】
図１５では、光学ズーム倍率の変更により左眼用撮像データＬＰ１２１中の被写体画像データＬＰ１２４の基準点ＬＰ１２５と、右眼用撮像データＲＰ１２１中の被写体画像データＲＰ１２４の対応点ＲＰ１２５との間に差分ベクトルＶ１２が生じてしまうところを示している。
【０１５１】
視差調整時の光学ズーム倍率をＺＤ３、視差調整後の光学ズーム倍率をＺＤ４とし、光学ズーム倍率変更前の出力画像データのシフト量をＳ１とすると、光学ズーム倍率変更前の輻輳位置に対応する位置を光学ズーム倍率の変更後も輻輳位置とするための総シフト量Ｓ２は、以下の式（４）により算出される。
【０１５２】
Ｓ２＝Ｓ１×ＺＤ４／ＺＤ３  ・・・（４）
【０１５３】
従って、図１５では、ズーム倍率変更前の輻輳位置に対応する位置をズーム倍率の変更後も輻輳位置とするために、すなわち図１２に示したズーム倍率変更前の基準点ＬＰ１１５に対応するズーム倍率変更後の基準点ＬＰ１２５と、図１２に示したズーム倍率変更前の対応点ＲＰ１１５に対応するズーム倍率変更後の対応点ＲＰ１２５との間の差分ベクトルＶ１２をゼロとするために、左眼用撮影画像データＬＰ１２１（図１５中で破線で示した領域）を差分ベクトルと反対の向きにＬＳ２だけシフトさせた左眼用撮影画像データＬＰ１２２の位置、及び右眼用撮影画像データＲＰ１２１（図１５中で破線で示した領域）を差分ベクトルの向きにＲＳ２だけシフトさせた右眼用撮影画像データＲＰ１２２の位置が、それぞれ新たな画像出力領域として特定される。
【０１５４】
ここで、上記ＬＳ２及びＲＳ２のシフトの大きさΔＳａは、以下の式（５）から導出される。
【０１５５】
ΔＳａ＝Ｓ２−Ｓ１  ・・・（５）
【０１５６】
以上のように、ズームレンズＬ１０１及びＲ１０１の倍率の変更に追従して、視差調整部１２２が左眼用撮影画像データから抽出される画像出力領域に係る左眼用左眼用撮影画像データ及び右眼用左眼用撮影画像データから抽出される画像出力領域に係る右眼用撮影画像データの位置をシフトしていく。
【０１５７】
これによって、図１６に示したよう被写体画像データＬＰ１２４及びＲＰ１２４の視差はゼロのまま維持され、撮像装置１は、ユーザが光学ズーム倍率を変更する前に意図した立体感を維持した３Ｄ画像を出力することができる。
【０１５８】
ステップＳ１０８で視差調整部１２２が左眼用撮影画像データ及び右眼用撮影画像データの視差を再調整すると、撮影情報記録部１２３は、その視差調整時のズームレンズＬ１０１及びＲ１０１の倍率と、視差調整用画像の大きさを再記録する（ステップＳ１０９）。
【０１５９】
この撮影情報の記録の処理は、ステップＳ１０６と同様にして行われる。なお、ユーザがズームアクチュエータＬ１１０及びＲ１１０を駆動し、ズーム倍率を変更すると、変更されたズーム倍率に関する情報が都度、撮影情報記録部１２３に記録され、上記の処理が実施される。従って、撮像装置１では、ユーザが最終的に設定するズーム倍率も含め、それまでの変更に追従して、視差の調整を行うことができる。
【０１６０】
そして、ステップＳ１０９で撮影情報の再記録が完了すると、或はユーザがズーム倍率を変更しなかった場合は（ステップＳ１０７でＮＯ）、ユーザが操作部１４２の図示しない録画ボタンを離すと、図１のＣＰＵ１２０の統括制御によりプログラムに従い撮影が終了される（ステップＳ１１０でＹＥＳ）。
【０１６１】
又は、ユーザが撮像装置１の電源を切り、操作部１４２の図示しないボタン等を使用して撮影モードを解除したとき、或は半押しにした録画ボタンを離したとき、それまで取得されていたスルー画像に対する本処理を終了するようにしてもよい。ユーザが撮影を終了しなかった場合は（ステップＳ１０９でＮＯ）、再度ステップＳ１０１から同様の処理を繰り返す。
【０１６２】
以上のように、本発明に係る撮像装置１によれば、メモリからの切り出し範囲を調整することで左眼用画像データと右眼用画像データとの間の視差を調整した後に、ズーム倍率が変更された場合であっても、そのズーム倍率の変更に追従して左眼用画像データと右眼用画像データの切り出し範囲も併せて変更することで、ズーム倍率変更後もズーム倍率変更前に意図した立体感を維持した３Ｄ画像を生成することができる。
【０１６３】
上記では、ＳＤＲＡＭ１３３に一時記憶された左眼用撮影画像データ及び右眼用撮影画像データ内で、画像出力領域を特定し、シフトに係る画像領域を視差調整用領域として、視差調整を行う処理を前提に記載したが、その他のメモリや、撮像素子上で同様の処理を実施しても同様の効果を得ることができる。
【０１６４】
上記では、説明の簡略化のため撮像部Ｌ１００の光軸ＡＬ１００及び撮像部Ｒ１００の光軸ＡＲ１００の垂直方向のずれ等による、左眼用撮影画像データと右眼用撮影画像データの垂直方向の視差の調整についての、説明を省略したが、既知の方法により、この垂直方向のずれを補正した後に、本発明に係る処理を実施しても同様の効果が得られることはいうまでもない。
【符号の説明】
【０１６５】
１  撮像装置
Ｌ１０１  左眼用ズームレンズ
Ｒ１０１  右眼用ズームレンズ
Ｌ１１０  左眼用ズームアクチュエータ
Ｒ１１０  右眼用ズームアクチュエータ
１２０  ＣＰＵ
１２１  視差決定部
１２２  視差調整部
１２３  撮影情報記録部
１２４  顔検出部
１３３  ＳＤＲＡＭ
１３８  カードＩ／Ｆ  １３８
１３９  カード型記録媒体
１４０  入出力Ｉ／Ｆ
１４１  液晶モニタ
１４２  操作部
１４３  入出力端子１４３
【図１】
2012182786.tif 000003
【図２】
2012182786.tif 000004
【図３】
2012182786.tif 000005
【図４】
2012182786.tif 000006
【図５】
2012182786.tif 000007
【図６】
2012182786.tif 000008
【図７】
2012182786.tif 000009
【図８】
2012182786.tif 000010
【図９】
2012182786.tif 000011
【図１０】
2012182786.tif 000012
【図１１】
2012182786.tif 000013
【図１２】
2012182786.tif 000014
【図１３】
2012182786.tif 000015
【図１４】
2012182786.tif 000016
【図１５】
2012182786.tif 000017
【図１６】
2012182786.tif 000018