(57)【要約】従来例では、被写体までの距離に応じてステレオベースを変更することで、適切な立体画像を撮影する装置が提案されているが、被写体の大きさが不明のため、被写体までの距離だけでは、適切な焦点距離やステレオベースを選択することができなかった。ステレオ画像用撮像装置（１０００）では、通常の２Ｄカメラに搭載されている撮影モードに基づいて、撮影モードから被写体の大きさを推定し、推定した被写体の大きさと焦点距離とから、被写体までの距離を推定し、さらに被写体までの距離から最適な視差を実現するステレオベースを算出し、ステレオベースを決定して、２つの撮像部（第１撮像部（１０３）及び第２撮像部（１０４））の位置を調整することで、適切な立体感をもつステレオ画像撮影が可能となる。
2011086630.tif 000002
【特許請求の範囲】
【請求項１】
ステレオ画像を撮影する撮像装置であって、
被写体を撮影し、前記被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する撮影部と、
前記第１視点画像および前記第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、前記被写体の大きさに関する情報である被写体サイズ情報を取得する取得部と、
前記被写体サイズ情報に基づいて、前記撮像装置から前記被写体までの距離である被写体距離を推定する推定部と、
少なくとも前記推定部が推定した前記被写体距離に関する情報を基に、前記第１視点画像と前記第２視点画像とから得られる視差が変更されるように、前記撮影部における撮影パラメータを調整する調整部と、
を備える撮像装置。
【請求項２】
異なる複数の撮影モードからいずれかの撮影モードを設定する設定部と、
異なる被写体サイズ情報を前記複数の撮影モードのそれぞれに対応づけた状態で格納する格納部と、
をさらに備え、
前記取得部は、前記格納部に格納されている複数の被写体サイズ情報から前記設定部が設定する撮影モードに対応する被写体サイズ情報を取得する、
請求項１に記載の撮像装置。
【請求項３】
前記第１視点画像および前記第２視点画像のうち少なくともひとつの画像を基に、前記被写体が撮影されている画像領域を検出する検出部をさらに備え、
前記取得部は、前記検出部が検出した領域に関する情報を基に、前記被写体サイズ情報を取得する、
請求項１または２に記載の撮像装置。
【請求項４】
前記検出部は、人間の顔を形成する画像領域を検出することで、前記被写体が撮影されている画像領域を検出する、
請求項３に記載の撮像装置。
【請求項５】
前記推定部は、前記第１視点画像および前記第２視点画像の垂直方向のサイズに関する情報と、前記第１視点画像および前記第２視点画像を撮影する際の焦点距離に関する情報と、前記被写体サイズ情報を基に、前記被写体距離を推定する、
請求項１から４のいずれかに記載の撮像装置。
【請求項６】
撮像装置の起動時に設定されている撮影モードに基づいて、前記撮影パラメータとして、少なくとも、初期焦点距離、初期視点間距離、初期輻輳角のいずれか１つを設定する、
請求項１から５のいずれかに記載の撮像装置。
【請求項７】
前記調整部は、前記被写体距離と、前記第１視点画像及び前記第２視点画像を視聴する際の当該第１視点画像及び当該第２視点画像を表示する表示装置と視聴者との距離を示す視聴距離と、前記被写体に設定される目標視差量と、に基づいて、前記第１視点と、前記第２視点と、で決定される目標の相対位置である視点間距離を算出し、算出した前記視点間距離に基づいて、前記撮像部の視点間距離を調整する、
請求項１から５のいずれかに記載の撮像装置。
【請求項８】
前記調整部が算出した前記視点間距離に基づいて、前記撮像部の視点間距離を調整することが不可能な場合、撮影者に警告情報を表示する警告情報表示部をさらに備える、
請求項７に記載の撮影装置。
【請求項９】
撮影者に、前記調整部が算出した前記視点間距離を提示する情報提示部をさらに備える、
請求項７または８に記載の撮像装置。
【請求項１０】
所定の情報を撮影者に提示する表示部をさらに備え、
前記撮像部は、前記被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得する第１撮像部と、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する第２撮像部と、を含み、
前記調整部が算出した前記視点間距離に基づいて、前記撮像部の視点間距離を調整することが可能な場合、前記撮像部は、前記第１撮像部及び前記第２撮像部の両方を用いてステレオ画像を取得する２眼撮影モードにより撮影を行い、
前記視点間距離調整部が算出した前記視点間距離に基づいて、前記撮像部の視点間距離を調整することが不可能な場合、前記撮像部は、前記ステレオ画像用撮像装置を略水平方向にスライドさせながら少なくとも２回以上撮影することによりステレオ画像を取得する２回撮影モードにより撮影を行い、
前記２眼撮影モードにより撮影が実行される場合、前記調整部は、前記視点間距離に基づいて、前記撮影パラメータを調整した後、前記第１撮像部及び前記第２撮像部により前記第１視点画像及び前記第２視点画像を取得することでステレオ画像を取得し、
前記２回撮影モードにより撮影が実行される場合、前記表示部は前記２回撮影モードを促す表示を行う、
請求項７から９のいずれかに記載の撮像装置。
【請求項１１】
前記調整部は、前記被写体距離と、前記第１視点画像及び、前記第２視点画像を視聴する際の当該第１視点画像及び当該第２視点画像を表示する表示装置と視聴者との距離を示す視聴距離と、前記被写体に設定される目標視差量と、に基づいて、前記第１光学系の光軸と前記第２光学系の光軸との交点位置である輻輳位置を算出し、算出した前記輻輳位置に基づいて、前記撮像部の輻輳位置を調整する、
請求項１から６のいずれかに記載の撮像装置。
【請求項１２】
前記調整部が算出した前記輻輳位置に基づいて、前記撮像部の輻輳位置を調整することが不可能な場合、撮影者に警告情報を表示する警告情報表示部をさらに備える、
請求項１１に記載の撮像装置。
【請求項１３】
撮影者に、前記調整部が算出した前記輻輳位置を提示する情報提示部をさらに備える、
請求項１１または１２に記載の撮像装置。
【請求項１４】
前記調整部は、視聴者が前記第１視点画像と、前記第２視点画像と、をステレオ画像として視認した場合、前記被写体を融合して視認可能な領域内に規定される視差量を、前記目標視差量として設定する、
請求項７から１３のいずれかに記載の撮像装置。
【請求項１５】
前記第１視点画像と、前記第２視点画像と、を記録する画像記録部をさらに備え、
前記画像記録部は、前記調整部が前記撮影パラメータを調整した後に、前記撮像部で取得される前記第１視点画像および前記第２視点画像を記録する、
請求項７から１４のいずれかに記載の撮像装置。
【請求項１６】
ステレオ画像を撮影する撮像装置であって、
被写体を撮影し、前記被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する撮影部を備える撮像装置により用いられる撮像方法であって、
前記第１視点画像および前記第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、前記被写体の大きさに関する情報である被写体サイズ情報を取得する取得ステップと、
前記被写体サイズ情報に基づいて、前記撮像装置から前記被写体までの距離である被写体距離を推定する推定ステップと、
少なくとも前記推定部が推定した前記被写体距離に関する情報を基に、前記第１視点画像と前記第２視点画像とから得られる視差が変更されるように、前記撮影部における撮影パラメータを調整する調整ステップと、
を備える撮像方法。
【請求項１７】
ステレオ画像を撮影する撮像装置であって、
被写体を撮影し、前記被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する撮影部を備える撮像装置により用いられる撮像方法をコンピュータに実行させるプログラムであって、
前記第１視点画像および前記第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、前記被写体の大きさに関する情報である被写体サイズ情報を取得する取得ステップと、
前記被写体サイズ情報に基づいて、前記撮像装置から前記被写体までの距離である被写体距離を推定する推定ステップと、
少なくとも前記推定部が推定した前記被写体距離に関する情報を基に、前記第１視点画像と前記第２視点画像とから得られる視差が変更されるように、前記撮影部における撮影パラメータを調整する調整ステップと、
を備える撮像方法をコンピュータに実行させるプログラム。
【請求項１８】
ステレオ画像を撮影する撮像装置であって、
被写体を撮影し、前記被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する撮影部を備える撮像装置に用いられる集積回路であって、
前記第１視点画像および前記第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、前記被写体の大きさに関する情報である被写体サイズ情報を取得する取得部と、
前記被写体サイズ情報に基づいて、前記撮像装置から前記被写体までの距離である被写体距離を推定する推定部と、
少なくとも前記推定部が推定した前記被写体距離に関する情報を基に、前記第１視点画像と前記第２視点画像とから得られる視差が変更されるように、前記撮影部における撮影パラメータを調整する調整部と、
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ立体視用の右眼画像及び左眼画面を撮影する撮影装置（ステレオ画像用撮像装置）、撮像方法（ステレオ画像取得方法）、プログラム及び集積回路に関する。
【背景技術】
【０００２】
従来のステレオ画像撮影カメラ（ステレオ画像用撮像装置）では、左眼用撮影カメラと右眼用撮影カメラとのカメラ間距離（ステレオベース）を、人間の平均的な瞳間距離である約６．５〜７ｃｍに設定して固定するのが一般的であった。このため、遠景シーンを撮影する場合は、立体感が不足し、近景シーンを撮影する場合は、両眼視差が大きすぎたり、撮影対象物が、右眼もしくは左眼のどちらかの画像にしか含まれず、立体視しづらくなったりするという課題がある。
図２に、被写体が近い場合の被写体距離と視差との関係を説明するための図を示す。また、図３に、被写体が遠い場合の被写体距離と視差との関係を説明するための図を示す。
図２（ａ）は、被写体距離が短い場合の被写体距離と視差との関係を説明するための図であり、図２（ｂ）は、被写体距離が長い場合の被写体距離と視差との関係を説明するための図である。【０００３】
図２に示すように、被写体距離が短い場合は、被写体距離が長い場合に比べ、仮想スクリーン面上での視差が大きくなる。このように被写体距離が短い状態で撮像装置によりステレオ画像を取得する場合、両眼視差が大きい状態でステレオ画像が取得されることになる。したがって、取得されたステレオ画像を表示装置で立体画像として表示させた場合、表示装置のスクリーン面上での視差が大きく（スクリーン面上での左眼画像と右眼画像のズレ量が大きく）、当該立体画像は、視聴者にとって、見づらい立体画像になる可能性がある。
図３も同様に被写体距離と視差との関係を説明するための図である。図３（ａ）は、被写体距離が短い場合の被写体距離と視差との関係を説明するための図であり、図３（ｂ）は被写体距離が長い場合の被写体距離と視差との関係を説明するための図である。【０００４】
具体的には、図３は、被写体の２つのポイントについて、仮想スクリーン上の視差を考慮し、被写体の２つのポイント間の視差の差により立体感がどのようになるかを説明するための図である。図３に示すように、被写体距離が短い場合は、視差の差が大きく、このような状況で撮像されたステレオ画像（３次元画像）は、立体感が不足する可能性が低いと考えられる。一方、被写体距離が長い場合は、視差の差が小さくなり、このような状況で撮像されたステレオ画像（３次元画像）は、立体感が不足する可能性がある。
こうした問題を解決するため、従来のステレオ画像用撮像装置では、右視野画面作成用の右視点及び左視野画面作成用の左視点の視点間距離を場面に応じて変化させ、近くのシーンの画面作成時には視点間距離を狭く設定し、遠くのシーンの画面作成時には視点間距離を広く設定する。これにより、従来のステレオ画像用撮像装置では、近距離から遠距離のシーンにわたって良好な立体視画像を生成することができ、さらに、近距離のシーンに対しては右目及び左目の融像を良好に行うことができる立体視画像を生成することができる。例えば、特許文献１には、このような処理により立体画像を生成する立体視画像生成方法及びその表示装置が開示されている。【０００５】
次に、被写体距離に応じた最適な視点間距離の設定について、説明する。
図４に、上記従来例（特許文献１）でも示されている、被写体距離に応じた最適な視点間距離の設定に関する説明図を示す。
図４（ａ）は、被写体が近い場合における被写体距離に応じた最適な視点間距離の設定についての説明図であり、図４（ｂ）は、被写体が遠い場合における被写体距離に応じた最適な視点間距離の設定についての説明図である。
図４（ａ）では、視点間距離を狭めることにより、仮想スクリーン上の視差が小さくなるように調整する例を示している。また、図４（ｂ）では、視点間距離を広げることにより、被写体の２つのポイントについて、仮想スクリーン上における被写体の２つのポイント間の視差の差が大きくなるように調整する例を示している。なお、この場合、２つの被写体の視差の差が大きくなるように調整されるので、この状況で取得されるステレオ画像の立体感を強めることができる。【０００６】
上記従来技術（特許文献１に開示されている従来技術）において、左右の画像データ（ステレオ画像データ）は、所定のストーリに従って作成される。このようなストーリは、必要に応じて任意に作成することができる。ここでは、予め作成されたストーリに従って、近景から遠景にわたるシーンの画像データを作成する場合を想定して、従来技術における視点間距離の設定動作について、説明する。
図１７に、従来技術の視点間距離の設定動作を示すフローチャート図を示す。
図１７中では、観者の大きさに基づく視点間距離ｄの設定のステップが含まれるが、本発明には関係しないため、ステップＳ１６及びステップＳ１８の説明は省略する。
まず、画像データの作成が開始されると、作成予定画像のストーリの解釈が実行される（ステップＳ１０）。【０００７】
次に、このストーリ解釈の結果、シーンの遠近に基づく視点間距離ｄの設定が必要か否かの判断が行われる（ステップＳ１２）。ここで、ＹＥＳと判断されると、次にステップＳ１４において、視点間距離ｄの設定が行われる。一方、ステップＳ１２で、ＮＯと判断された場合には、次に、上記ストーリ解釈の結果、観者の大きさに基づく視点間距離ｄの設定が必要か否かの判断が行われる（ステップＳ１６）。
このような一連の視点間距離の設定動作を、画像データの生成が終了するまで繰り返して実行され、画像生成動作終了と判断された時点（ステップＳ２０）で、視点間距離の設定動作は終了する。
図１８は、上記ステップＳ１４の視点間距離設定動作の一例を示す図である。
まず、次のシーンのポイントは遠距離にあるか、通常の距離範囲にあるか、近距離にあるかの各判断が行われる（ステップＳ３０，Ｓ３２，Ｓ３４）。遠距離にあると判断された場合には、視点間距離ｄを基準距離ｄｓより大きく設定する（ステップＳ３６）。通常範囲にあると判断された場合には、視点間距離ｄを基準距離ｄｓに設定する（ステップＳ３８）。近距離にあると判断された場合には、視点間距離ｄを基準距離ｄｓより小さく設定する（ステップＳ４０）。なお、視点間距離ｄは、判断された距離に基づき連続的に変化させるようにしてもよく、段階的に変化させるようにしてもよい。見る者に違和感を与えないようにするためには、視点間距離ｄを連続的に変化させることが好ましい。【０００８】
上記のようにして、従来技術では、対象となるシーンの遠近に基づく視点間距離ｄが最適値に設定される。
以上のように、従来技術では、所定のストーリに従って視点間距離を変化させ、近距離から遠距離にわたり変化するシーンについての立体画像を生成（取得）する。そして、このようにして生成（取得）された立体画像を表示装置に表示したとき、観者は、当該立体画像を自然な遠近感及び立体感のある良好な立体視画像として認識する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平８−９８２１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上記の先行技術文献には、ストーリが設定された場合、当該ストーリに応じて視点間距離を設定することで立体画像の立体感を調整する技術が開示されている。しかしながら、上記の先行技術文献に開示されている従来技術では、ストーリがない実写画像を撮影する場合、視点間距離を設定し、立体画像の立体感を適切に調整することが出来ない。なお、視点間距離を適切に設定するためには、被写体までの距離に関する情報を取得する必要があるが、従来技術においては、被写体までの距離に関する情報を取得する手段については開示されていない。
本発明は、上記問題点に鑑み、立体撮影時のステレオベース（視点間距離）を、撮影モードに応じて、適切に設定することで、鑑賞時に、自然な立体感（自然な遠近感）を再現することが可能な立体画像（３次元画像）を取得することができるステレオ画像用撮像装置、ステレオ画像取得方法、プログラム及び集積回路を提供することを目的とする。
【課題を解決するための手段】
【００１１】
第１の発明は、ステレオ画像を撮影する撮像装置であって、撮影部と、取得部と、推定部と、調整部と、を備える。
撮影部は、被写体を撮影し、被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する。取得部は、第１視点画像および第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、被写体の大きさに関する情報である被写体サイズ情報を取得する。推定部は、被写体サイズ情報に基づいて、撮像装置から被写体までの距離である被写体距離を推定する。調整部は、少なくとも推定部が推定した被写体距離に関する情報を基に、第１視点画像と第２視点画像とから得られる視差が変更されるように、撮影部における撮影パラメータを調整する。【００１２】
この撮像装置では、立体撮影時の撮影パラメータ（例えば、ステレオベース（視点間距離）や輻輳角）を、取得部が取得した被写体の大きさに関する情報に応じて（例えば、撮影モードに応じて、被写体の大きさに関する情報を取得して）、適切に設定することで、鑑賞時に、自然な立体感（自然な遠近感）を再現することが可能な立体画像（３次元画像）を取得することができる。
なお、「被写体距離」とは、撮像部の撮像素子（例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ）面上に焦点を結んでいる物体からカメラ（撮像装置）までの距離をいい、物点距離と、共役距離（物像間距離）を含む概念である。また、「被写体距離」は、撮像装置から被写体までの概略の距離を含む概念であり、例えば、（１）撮像装置の光学系のレンズ全体の重心位置から被写体までの距離、（２）撮像部の撮像素子面から被写体までの距離、（３）撮像装置の重心（あるいは中心）から被写体までの距離等を含む概念である。【００１３】
第２の発明は、第１の発明であって、撮像装置である。設定部と、格納部と、をさらに備える。
設定部は、異なる複数の撮影モードからいずれかの撮影モードを設定する。格納部は、異なる被写体サイズ情報を複数の撮影モードのそれぞれに対応づけた状態で格納する。取得部は、格納部に格納されている複数の被写体サイズ情報から設定部が設定する撮影モードに対応する被写体サイズ情報を取得する。
この撮像装置では、格納部により、複数の撮影モード（例えば、「人物モード」、「子供モード」、「ペットモード」等）に対応付けて被写体サイズ情報（例えば、「人物モード」に対応付けられた被写体サイズ情報「１．６ｍ」、「子供モード」に対応付けられた被写体サイズ情報「１．０ｍ」、「ペットモード」に対応付けられた被写体サイズ情報「０．５ｍ」等）を保持することができ、設定部が撮影モードに対応する被写体サイズ情報を取得する。これにより、この撮像装置では、設定された撮影モードに基づいて決定（推定された）被写体サイズにより、被写体距離を適切に推定することができる。そして、この撮像装置では、推定した被写体距離から、自然な立体画像を取得するための視差を算出することができ、算出した視差に基づいて、撮像部における撮像パラメータ（例えば、視点間距離や輻輳角）を調整する。これにより、この撮像装置において、撮像部の撮影パラメータを調整した状態で撮像される立体画像は、自然な立体画像となる。【００１４】
第３の発明は、第１または第２の発明であって、第１視点画像および第２視点画像のうち少なくともひとつの画像を基に、被写体が撮影されている画像領域を検出する検出部をさらに備える。
取得部は、検出部が検出した領域に関する情報を基に、被写体サイズ情報を取得する。
これにより、この撮像装置では、第１視点画像または第２視点画像上の所定の被写体を形成する画像領域に関する情報を用いて、被写体サイズ情報を取得することができる。
第４の発明は、第３の発明であって、検出部は、人間の顔を形成する画像領域を検出することで、被写体が撮影されている画像領域を検出する。
これにより、この撮像装置では、第１視点画像または第２視点画像上の人間の顔を形成する画像領域に関する情報を用いて、被写体サイズ情報を取得することができる。【００１５】
第５の発明は、第１から第４のいずれかの発明であって、推定部は、第１視点画像および第２視点画像の垂直方向のサイズに関する情報と、第１視点画像および第２視点画像を撮影する際の焦点距離に関する情報と、被写体サイズ情報を基に、被写体距離を推定する。
第６の発明は、第１から第５のいずれかの発明であって、撮像装置の起動時に設定されている撮影モードに基づいて、撮影パラメータとして、少なくとも、初期焦点距離、初期視点間距離、初期輻輳角のいずれか１つを設定する。
第７の発明は、第１から第５のいずれかの発明であって、調整部は、被写体距離と、第１視点画像及び第２視点画像を視聴する際の当該第１視点画像及び当該第２視点画像を表示する表示装置と視聴者との距離を示す視聴距離と、被写体に設定される目標視差量と、に基づいて、第１視点と、第２視点と、で決定される目標の相対位置である視点間距離を算出し、算出した視点間距離に基づいて、撮像部の視点間距離を調整する。【００１６】
この撮像装置では、被写体距離と、視聴距離と、被写体に設定される目標視差量とに基づいて、視点間距離を算出し、算出結果に基づいて、視点間距離（ステレオベース）を決定する。
これにより、撮像装置により、撮像部の撮影パラメータが調整された状態で撮像された立体画像は、適切な立体感をもつ立体画像となる。
第８の発明は、第７の発明であって、調整部が算出した視点間距離に基づいて、撮像部の視点間距離を調整することが不可能な場合、撮影者に警告情報を表示する警告情報表示部をさらに備える。
第９の発明は、第７または第８の発明であって、撮影者に、調整部が算出した視点間距離を提示する情報提示部をさらに備える。【００１７】
第１０の発明は、第７から第９のいずれかの発明であって、所定の情報を撮影者に提示する表示部をさらに備える。
撮像部は、被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得する第１撮像部と、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する第２撮像部と、を含む。
そして、撮像部は、調整部が算出した視点間距離に基づいて、撮像部の視点間距離を調整することが可能な場合、撮像部は、第１撮像部及び第２撮像部の両方を用いてステレオ画像を取得する２眼撮影モードにより撮影を行う。
一方、撮像部は、視点間距離調整部が算出した視点間距離に基づいて、撮像部の視点間距離を調整することが不可能な場合、撮像部は、ステレオ画像用撮像装置を略水平方向にスライドさせながら少なくとも２回以上撮影することによりステレオ画像を取得する２回撮影モードにより撮影を行う。【００１８】
そして、２眼撮影モードにより撮影が実行される場合、調整部は、視点間距離に基づいて、撮影パラメータを調整した後、第１撮像部及び第２撮像部により第１視点画像及び第２視点画像を取得することでステレオ画像を取得し、２回撮影モードにより撮影が実行される場合、表示部は２回撮影モードを促す表示を行う。
第１１の発明は、第１から第６のいずれかの発明であって、調整部は、被写体距離と、第１視点画像及び、第２視点画像を視聴する際の当該第１視点画像及び当該第２視点画像を表示する表示装置と視聴者との距離を示す視聴距離と、被写体に設定される目標視差量と、に基づいて、第１光学系の光軸と第２光学系の光軸との交点位置である輻輳位置を算出し、算出した輻輳位置に基づいて、撮像部の輻輳位置を調整する。
この撮像装置では、例えば、撮影モードから被写体の大きさ（被写体サイズ情報）を推定し、推定した被写体の大きさに基づいて、被写体までの距離を推定する。さらに、この撮像装置では、被写体までの距離から最適な視差（例えば、立体視可能領域（視聴者が第１視点画像と、第２視点画像と、をステレオ画像として視認した場合、被写体を融合して視認可能な領域）を満たす視差（視差量））を実現する輻輳位置情報（あるいは輻輳角）を算出し、算出結果に基づいて、輻輳位置（あるいは輻輳角）を決定する。そして、この撮像装置では、決定された輻輳位置（あるいは輻輳角）が実現されるように、撮像部の位置や角度等を調整する。【００１９】
これにより、この撮像装置で、撮像部の撮影パラメータ（輻輳位置あるいは輻輳角）が調整された状態で撮像された立体画像は、自然な立体感を実現する立体画像となる。
第１２の発明は、第１１の発明であって、調整部が算出した輻輳位置に基づいて、撮像部の輻輳位置を調整することが不可能な場合、撮影者に警告情報を表示する警告情報表示部をさらに備える。
第１３の発明は、第１１または第１２の発明であって、撮影者に、調整部が算出した輻輳位置を提示する情報提示部をさらに備える。
第１４の発明は、第７から第１３のいずれかの発明であって、調整部は、視聴者が第１視点画像と、第２視点画像と、をステレオ画像として視認した場合、被写体を融合して視認可能な領域内に規定される視差量を、目標視差量として設定する。【００２０】
この撮像装置では、目標視差量が、立体視可能領域内に規定される視差量に設定される。したがって、この撮像装置により取得されるステレオ画像において、被写体距離の最大値に相当する融像位置と被写体距離の最小値に相当する融像位置との両方が、立体視可能領域に含まれることが保証されるため、より適切な立体感をもつステレオ画像撮影が可能となる。
第１５の発明は、第７から第１４のいずれかの発明であって、第１視点画像と、第２視点画像と、を記録する画像記録部をさらに備える。
画像記録部は、調整部が撮影パラメータを調整した後に、撮像部で取得される第１視点画像および第２視点画像を記録する。
これにより、この撮像装置では、画像記録部により、ステレオ画像を記録することができる。【００２１】
第１６の発明は、ステレオ画像を撮影する撮像装置であって、被写体を撮影し、被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する撮影部を備える撮像装置により用いられる撮像方法である。この撮像方法は、取得ステップと、推定ステップと、調整ステップと、を備える。
取得ステップでは、第１視点画像および第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、被写体の大きさに関する情報である被写体サイズ情報を取得する。
推定ステップでは、被写体サイズ情報に基づいて、撮像装置から被写体までの距離である被写体距離を推定する。【００２２】
調整ステップでは、少なくとも推定部が推定した被写体距離に関する情報を基に、第１視点画像と第２視点画像とから得られる視差が変更されるように、撮影部における撮影パラメータを調整する。
これにより、第１の発明と同様の効果を奏する撮像方法を実現することができる。
第１７の発明は、ステレオ画像を撮影する撮像装置であって、被写体を撮影し、被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する撮影部を備える撮像装置により用いられる撮像方法をコンピュータに実行させるプログラムである。撮像方法は、取得ステップと、推定ステップと、調整ステップと、を備える。【００２３】
取得ステップでは、第１視点画像および第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、被写体の大きさに関する情報である被写体サイズ情報を取得する。
推定ステップでは、被写体サイズ情報に基づいて、撮像装置から被写体までの距離である被写体距離を推定する。
調整ステップでは、少なくとも推定部が推定した被写体距離に関する情報を基に、第１視点画像と第２視点画像とから得られる視差が変更されるように、撮影部における撮影パラメータを調整する。
これにより、第１の発明と同様の効果を奏する撮像方法をコンピュータに実行させるプログラムを実現することができる。【００２４】
第１８の発明は、ステレオ画像を撮影する撮像装置であって、被写体を撮影し、被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する撮影部を備える撮像装置に用いられる集積回路である。この集積回路は、取得部と、推定部と、調整部と、を備える。
取得部は、第１視点画像および第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、被写体の大きさに関する情報である被写体サイズ情報を取得する。
推定部は、被写体サイズ情報に基づいて、撮像装置から被写体までの距離である被写体距離を推定する。【００２５】
調整部は、少なくとも推定部が推定した被写体距離に関する情報を基に、第１視点画像と第２視点画像とから得られる視差が変更されるように、撮影部における撮影パラメータを調整する。
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
【発明の効果】
【００２６】
本発明によれば、立体撮影時の撮影パラメータ（例えば、ステレオベース（視点間距離）や輻輳角）を、被写体の大きさに関する情報に応じて（例えば、撮影モードに応じて、被写体の大きさに関する情報を取得して）、適切に設定することで、鑑賞時に、自然な立体感（自然な遠近感）を再現することが可能な立体画像（３次元画像）を取得することができるステレオ画像用撮像装置、ステレオ画像取得方法、プログラム及び集積回路を実現することができる。
【図面の簡単な説明】
【００２７】
【図１】第１実施形態のステレオ画像用撮像装置１０００の概略構成図
【図２】被写体距離と視差との関係に関する説明図
【図３】被写体距離と視差との関係に関する説明図
【図４】被写体距離に応じた最適な視点間距離の設定に関する説明図
【図５】撮影モードと推定被写体サイズとを対応付けたテーブルの一例を示す図
【図６】被写体サイズと焦点距離から被写体距離を推定する方法に関する説明図
【図７】被写体距離と視点間距離と仮想スクリーンまでの距離についての説明図
【図８】被写体距離と視点間距離と仮想スクリーンまでの距離についての説明図
【図９】第１実施形態のステレオ画像用撮像装置１０００の処理フローを示すフローチャート
【図１０】顔検出結果から被写体サイズを推定する方法に関する説明図
【図１１】被写体サイズを推定しやすい撮影モード例に関する説明図
【図１２】第１実施形態の変形例のステレオ画像用撮像装置１０００Ａの概略構成図
【図１３】第２実施形態のステレオ画像用撮像装置２０００の概略構成図
【図１４】第２実施形態の変形例のステレオ画像用撮像装置２０００Ａの概略構成図
【図１５】輻輳位置に関する説明図
【図１６】第２実施形態のステレオ画像用撮像装置２０００の処理フローを示すフローチャート
【図１７】従来例の視点間距離の設定動作を示すフローチャート図
【図１８】従来例の図１６中のステップＳ１４の詳細なフローチャート図
【発明を実施するための形態】
【００２８】
以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
＜１．１：ステレオ画像撮影装置の構成＞
図１に、第１実施形態のステレオ画像用撮像装置１０００の概略構成図を示す。
図１に示すように、ステレオ画像用撮像装置１０００は、光学系１０１と、光学系１０２と、第１撮像部１０３と、第２撮像部１０４と、カメラ信号処理部１０５と、画像記録部１０６と、撮影モード選択部１０７と、被写体サイズ推定部１０８と、被写体距離推定部１０９と、視点間距離情報算出部１１０と、視点間距離調整部１１１と、を備える。
なお、ステレオ画像用撮像装置１０００は、ステレオ画像用撮像装置１０００の各機能部の全部又は一部を制御する制御部（不図示）を備える。この制御部は、例えば、マイクロプロセッサ、ＲＯＭ及びＲＡＭにより実現される。
【００２９】
また、ステレオ画像用撮像装置１０００の各機能部の全部又は一部及び制御部は、直接接続されるものであってもよいし、バスを介して接続されるものであってもよい。
以下、ステレオ画像用撮像装置１０００の各構成要素に関して詳細に説明を行なう。
光学系１０１は、対物レンズ、ズームレンズ、絞り、フォーカスレンズを含む構成となっており、被写体からの光を集光し被写体像を形成する。光学系１０１は、形成した被写体像を第１撮像部１０３に出力する。光学系１０１には、撮影モード選択部１０７により選択された撮影モードに応じた制御信号がステレオ画像用撮像装置１０００全体を制御するコントローラから入力される。そして、光学系１０１は、当該制御信号に基づいて撮影パラメータ（焦点距離、露光量、絞り量、レンズ位置等）が調整される。
第１撮像部１０３は、光学系１０１で集光した被写体像を撮像し、画像信号を生成する。そして、第１撮像部１０３は、生成した画像信号を第１視点画像としてカメラ信号処理部１０５に出力する。また、第１撮像部１０３は、視点間距離調整部１１１から入力される第１調整信号により、第１撮像部１０３の位置調整が実行できる機構を有している。なお、第１撮像部１０３は、ＣＭＯＳ若しくはＣＣＤ等の撮像素子で構成される。
【００３０】
なお、光学系１０１及び、第１撮像部１０３は、第１調整信号により、光学系１０１と第１撮像部１０３とが連動して位置調整される機構を有していてもよい。また、光学系１０１及び第１撮像部１０３は、１つのユニットに収納され、当該ユニットが、第１調整信号により、位置調整されるものであってもよい。
光学系１０２は、光学系１０１と同様に、対物レンズ、ズームレンズ、絞り、フォーカスレンズを含む構成となっており、被写体からの光を集光し被写体像を形成する。光学系１０２は、ステレオ画像が撮影できるように、光学系１０１とは別視点に配置されている。光学系１０２には、撮影モード選択部１０７により選択された撮影モードに応じた制御信号がステレオ画像用撮像装置１０００全体を制御するコントローラから入力される。そして、光学系１０２は、当該制御信号に基づいて撮影パラメータ（焦点距離、露光量、絞り量、レンズ位置等）が調整される。
【００３１】
第２撮像部１０４は、光学系１０２で集光した被写体像を撮像し、画像信号を生成する。そして、第２撮像部１０４は、生成した画像信号を第２視点画像としてカメラ信号処理部１０５に出力する。また、第２撮像部１０４は、視点間距離調整部１１１から入力される第２調整信号により、第２撮像部１０４の位置調整が実行できる機構を有している。
なお、光学系１０２及び、第２撮像部１０４は、第２調整信号により、光学系１０２と、第２撮像部１０４とが連動して位置調整される機構を有していてもよい。また、光学系１０２及び第２撮像部１０４は、１つのユニットに収納され、当該ユニットが、第２調整信号により、位置調整されるものであってもよい。また、第１撮像部１０３と、第２撮像部１０４と、が同一の撮像部で構成しても構わない。例えば、同一の撮像部がＣＭＯＳで構成されている場合、ＣＭＯＳの全領域（ＣＭＯＳ型撮像素子の撮像素子面の全領域）のうち、第１領域が光学系１０１で集光した光を受光する構成となる。また、ＣＭＯＳの全領域のうち、第１領域とは異なる第２領域が光学系１０２で集光した光を受光する構成となる。また、第１調整信号と、第２調整信号とで調整されるものは、光学系１０１及び、光学系１０２となる。なお、第２撮像部１０４は、第１撮像部１０３と同様にＣＭＯＳ若しくはＣＣＤ等の撮像素子で構成される。
【００３２】
カメラ信号処理部１０５は、第１撮像部１０３から出力される第１視点画像及び、第２撮像部１０４から出力される第２視点画像を入力とし、第１視点画像及び第２視点画像に対して、それぞれ、カメラ信号処理（ゲイン調整処理、ガンマ補正処理、アパーチャー調整処理、ＷＢ（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）処理、フィルタ処理等）を実行する。
さらに、カメラ信号処理部１０５は、カメラ信号処理を実行した第１視点画像及び／又は第２視点画像を被写体距離推定部１０９に出力する。
また、カメラ信号処理部１０５は、カメラ信号処理を実行した第１視点画像及び第２視点画像を画像記録部１０６に出力する。このとき、カメラ信号処理部１０５は、カメラ信号処理を実行した第１視点画像及び第２視点画像を、例えばＪＰＥＧ等の所定の記録フォーマットに変換した後、画像記録部１０６に出力してもよい。
【００３３】
画像記録部１０６は、カメラ信号処理部１０５から出力されるカメラ信号処理が実行された第１視点画像及び第２視点画像を、例えば、内部のメモリ若しくは、外部に接続されたメモリ（例えば、不揮発性メモリ）に記録する。なお、画像記録部１０６は、ステレオ画像用撮像装置１０００の外部の記録媒体に第１視点画像及び第２視点画像を記録するものであってもよい。
撮影モード選択部１０７は、ユーザが選択した撮影モードに関する撮影モード情報を取得し、取得した撮影モード情報を被写体サイズ推定部１０８に出力する。
ここで、「撮影モード」とは、ユーザが想定する撮影シーンを示すものであり、例えば、（１）人物モード、（２）子供モード、（３）ペットモード、（４）マクロモード、（５）風景モードなどがある。ステレオ画像用撮像装置１０００は、この撮影モードを基に、適切な撮影パラメータを設定することになる。なお、ステレオ画像用撮像装置１０００が自動設定を行うカメラ自動設定モードを含めるようにしてもよい。このカメラ自動設定モードは、ステレオ画像用撮像装置１０００が複数の撮影モードから、自動的に適切な撮影モードを選択するモードである。
【００３４】
被写体サイズ推定部１０８は、撮影モード選択部１０７から出力される撮影モードに関する情報を入力とし、選択されている撮影モードから推定被写体サイズを決定（推定）する機能を備える。ここで、「被写体のサイズ」とは、実際の被写体の大きさ情報を示すものであり、例えば被写体の高さ、被写体の幅等となる。
なお、被写体サイズ推定部１０８は、撮影モードと、当該撮影モードに対応する推定被写体サイズと、を対応付けた推定テーブルを備える。図５は、撮影モードと推定被写体サイズとを対応付けた推定テーブルの一例を示す。被写体サイズ推定部１０８は、推定テーブルを用いて、選択されている撮影モードから推定被写体サイズを決定（推定）する。
そして、被写体サイズ推定部１０８は、少なくとも決定（推定）した推定被写体サイズを含む被写体情報を被写体距離推定部１０９に出力する。なお、被写体情報は、選択されている撮影モードに関する情報を含むものであってもよい。なお、被写体サイズ推定部１０８は、推定テーブルを持つ構成に限定されるものではなく、撮影モードと、推定被写体サイズとの関係を関数として保持する構成でも構わない。
【００３５】
被写体距離推定部１０９は、被写体サイズ推定部１０８から出力される被写体情報と、制御部により取得されている光学系１０１の焦点距離ｆ１及び／又は光学系１０２の焦点距離ｆ２に関する情報と、カメラ信号処理部１０５から出力されるカメラ信号処理を実行した第１視点画像及び／又は第２視点画像（以下、「スルー画像信号」と称す）と、を入力とし、ステレオ画像用撮像装置１０００から被写体までの距離である被写体距離Ｌを算出する。
具体的には、被写体距離推定部１０９は、スルー画像信号を基に、第１撮像部１０３及び／又は第２撮像部１０４における撮像素子における被写体の高さを取得し、取得した高さと、焦点距離ｆ１及び／又は焦点距離ｆ２と、被写体情報から取得可能な被写体サイズと、を用いて幾何学的特性から被写体距離Ｌを算出する。ここで、撮像素子の大きさＳは予めステレオ画像用撮像装置１０００に蓄積される。なお、スルー画像信号は、第１視点画像及び第２視点画像のどちらか一方だけでもよい。被写体距離推定部１０９は、スルー画像信号が、第１視点画像のみである場合、焦点距離ｆ１を用いて被写体距離を推定し、スルー画像信号が、第２視点画像のみである場合、焦点距離ｆ２を用いて被写体距離を推定する。また、スルー画像信号を、第１視点画像及び第２視点画像のどちらか一方に固定する場合、被写体距離推定部１０９は、固定した画像信号に対応する焦点距離についての情報のみを取得すればよい。
【００３６】
被写体距離推定部１０９は、推定した被写体距離Ｌに関する被写体距離情報を視点間距離情報算出部１１０に出力する。
視点間距離情報算出部１１０は、予め設定される視聴距離と、被写体距離推定部１０９から出力される被写体距離情報と、を入力とし、視聴時における被写体の視差量が目標とする視差量（以下、「目標視差量」と称す）となるように視点間距離（ステレオベース）を算出する。視点間距離情報算出部１１０は、算出した視点間距離（ステレオベース）に関する情報である視点間距離情報を視点間距離調整部１１１に出力する。
ここで、「視聴距離」とは、画像記録部１０６に記録される第１視点画像及び、第２視点画像を視聴する際の、当該第１視点画像及び当該第２視点画像を表示する表示装置と、視聴者と、の距離を示す。視聴距離は、ユーザが撮影する際に設定しても構わないし、ステレオ画像用撮像装置１０００の出荷時にメーカー側で、標準値を決めて、視聴距離を設定するようにしてもよい。さらに、視聴距離は、ユーザが各家庭での状況に応じて設定されるものであってもよいし、ユーザが保有するテレビのインチ数を設定して、テレビ画面のインチ数に基づいて、カメラ内部で標準視距離（例えば、画面の高さの３倍の距離等）に変換して設定されるものであってもよい。また、メーカー側で、出荷時に、標準インチ数を想定して、標準視距離に基づいて設定されるものであってもよい。
【００３７】
また、「目標視差量」とは、例えば、ステレオ画像用撮像装置１０００の設計者が安全性を重視する場合、撮影した画像信号を視聴した際に、視聴者が当該画像信号を立体として認識可能な視差量若しくは、当該画像信号を視聴した際に視聴者の身体の安全が保障される視差量となる。
視点間距離調整部１１１は、視点間距離情報算出部１１０から出力される視点間距離情報を基に、第１撮像部１０３及び／又は光学系１０１の位置調整を指示する第１調整信号及び、第２撮像部１０４及び／又は光学系１０２の位置調整を指示する第２調整信号を算出する。具体的には、視点間距離調整部１１１は、第１撮像部１０３と第２撮像部１０４との相対位置（光学系１０１及び第１撮像部１０３と、光学系１０２及び第２撮像部１０４との相対位置）が、視点間距離情報算出部１１０により算出された視点間距離に一致するように第１調整信号及び、第２調整信号を算出する。
【００３８】
なお、視点間距離調整部１１１の第１撮像部１０３と第２撮像部１０４との相対位置の調整処理は、以下の（１）、（２）によるものであってもよい。
（１）視点間距離調整部１１１から出力される第１調整信号により、光学系１０１及び第１撮像部１０３が連動して移動する。さらに、第２調整信号により光学系１０２及び第２撮像部１０４が連動して移動する。これにより、相対位置を調整する。
（２）光学系１０１及び第１撮像部１０３によって構成されるユニットが、第１調整信号に基づいて移動する。さらに、光学系１０２及び第２撮像部１０４によって構成されるユニットが、第２調整信号に基づいて移動する。これにより、相対位置を調整する。
また、第１画像信号（第１視点画像を形成する画像信号）と、第２画像信号（第２視点画像を形成する画像信号）とが、視点間距離情報に規定される視点間距離に一致する状態で取得されたものであればよいので、第１撮像部１０３及び第２撮像部１０４の物理的な距離が必ずしも当該視点間距離に一致していなくてもよい。例えば、光学系１０１及び、光学系１０２が被写体からの光を集光する際の光路を変更させる機構を備え、当該光路を変更することにより当該視点間距離に一致する第１視点画像と、第２視点画像とを撮影する構成にしても構わない。
【００３９】
＜１．２：ステレオ画像撮影装置の動作＞
以上のように構成されたステレオ画像用撮像装置１０００の動作について、以下、図１〜図１１を参照しながら説明する。なお、図９は、ステレオ画像用撮像装置１０００で実行されるステレオ画像取得方法の処理フローを示すフローチャートである。
以下、説明の便宜上、被写体サイズ推定部１０８では、被写体の高さｈを決定（推定）するものとする。また、被写体サイズ推定部１０８は、図５に示す推定テーブルを保持しているものとする。
（ステップＳ１０１）：
まず、撮影モード選択部１０７は、ステレオ画像用撮像装置１０００に設定される撮影モードを取得する。そして、撮影モード選択部１０７は、取得した撮影モード情報を被写体サイズ推定部１０８に出力する。
【００４０】
（ステップＳ１０２）：
次に、被写体サイズ推定部１０８は、撮影モード選択部１０７から出力される撮影モード情報を基に、被写体の高さｈを決定（推定）する。そして、少なくとも決定（推定）した被写体の高さｈの情報を含む被写体情報を被写体距離推定部１０９に出力する。具体的に被写体サイズ推定部１０８は、撮影モード情報に規定される撮影モードに応じて推定テーブルから、被写体の高さｈを取得する。例えば、撮影モード選択部１０７で選択された撮影モードが「人物モード」である場合、被写体サイズ推定部１０８は、推定テーブルを参照し、「人物モード」に対応する「推定被写体サイズ」である「１．６ｍ」を取得する。そして、被写体サイズ推定部１０８は、取得した「１．６ｍ」に関する情報と、「人物モード」に関する撮影モード情報を含む被写体情報を被写体距離推定部１０９に出力する。
【００４１】
（ステップＳ１０３）：
次に、被写体距離推定部１０９は、被写体サイズ推定部１０８から出力される被写体情報と、光学系１０１の焦点距離ｆ１及び／又は光学系１０２の焦点距離ｆ２に関する情報と、カメラ信号処理部１０５から入力されるスルー画像信号と、に基づいて、被写体距離Ｌを算出する。
図６は、被写体サイズと焦点距離とから被写体距離を推定する方法を説明するための図である。以下、被写体距離推定部１０９における被写体距離Ｌの算出方法について具体的に説明する。
被写体距離推定部１０９は、スルー画像信号を基に、第１撮像部１０３及び／又は第２撮像部１０４における撮像素子における目的の被写体の高さを取得する。具体的には、撮像素子の大きさ（高さ）をｓであり、スルー画像の縦１０８０ピクセルのうち８１０ピクセルが被写体の高さである場合、撮像素子における目的の被写体の高さは、３／４ｓと算出される。
【００４２】
さらに、被写体距離推定部１０９は、焦点距離をｆ、被写体の高さをｈ、撮像素子面における目的の被写体の高さをｓとした場合、（数１）に基づいて被写体距離Ｌを算出する。つまり、撮像素子面における目的の被写体の高さＳと、焦点距離ｆと、被写体の高さｈとの幾何学的特性を基に、被写体距離Ｌを算出する。
（数１）
Ｌ＝４／３×（ｈ×ｆ／ｓ）
そして、被写体距離推定部１０９は、算出した被写体距離Ｌを含む被写体距離情報を視点間距離情報算出部１１０に出力する。
（ステップＳ１０４）：
次に、視点間距離情報算出部１１０は、被写体距離推定部１０９により推定された被写体距離Ｌから所定の条件に基づいて、第１撮像部１０３と第２撮像部１０４とに対して設定すべき視点間距離情報を算出する。例えば、視点間距離情報算出部１１０は、仮想スクリーン面上の視差が第１の閾値以下となるように、視点間距離情報を算出する。また、視点間距離情報算出部１１０は、仮想スクリーン面上の視差の差が第２の閾値以上となるように、視点間距離情報を算出する。そして、視点間距離情報算出部１１０は、算出した視点間距離情報を視点間距離調整部１１１に出力する。ここで、「仮想スクリーン」とは、第１視点画像と、第２視点画像と、を表示するディスプレイを仮想的に設定したものである。
【００４３】
ここで、光学系１０１は、図４の右眼用カメラ（の光学系）に相当し、光学系１０２は、図４の左眼用カメラ（の光学系）に相当する。つまり、図４の右眼用カメラで取得される画像が、第１画像信号に相当し、図４の左眼用カメラで取得される画像が、第２画像信号に相当する。
なお、被写体距離Ｌを基に視点間距離情報を作成する詳細な動作については後述する。
（ステップＳ１０５）：
次に、視点間距離調整部１１１は、視点間距離情報算出部１１０から出力される視点間距離情報を基に、第１調整信号及び、第２調整信号を生成し、それぞれ第１撮像部１０３及び、第２撮像部１０４に出力する。そして、第１撮像部１０３は、第１調整信号に基づいて、当該第１撮像部の相対位置の調整を行う。また、第２撮像部１０４は、第２調整信号に基づいて、当該第２撮像部の相対位置の調整を行う。
【００４４】
（ステップＳ１０６）：
この調整後、第１撮像部１０３及び第２撮像部１０４により、被写体を撮像することで、視点間距離情報算出部１１０で算出された視点間距離による画像（ステレオ画像）が取得される。
そして、この状態で、第１撮像部１０３及び第２撮像部１０４により撮像された画像信号は、それぞれ、カメラ信号処理部１０５によりカメラ処理を実行された後、画像記録部１０６により、ステレオ画像データとして記録される。
＜１．３：視点間距離情報算出部１１０の具体的動作＞
以下、視点間距離情報算出部１１０の視点間距離を算出する動作について図面を参照しながら説明を行う。
【００４５】
（１．３．１：視差量を調整する被写体が１つの場合）
以下、視差量を調整する被写体が１つだけ存在する場合を説明する。
図７は、目的の被写体までの距離Ｌと、視聴距離Ｋと、視点間距離Ｖ（光学系１０１の入光位置と光学系１０２の入光位置との距離）と、仮想スクリーン上の目標視差量Ｄとの関係を説明するための図である。なお、目標視差量Ｄは所定の条件を基に決定される変数である。ここで、入光位置とは、被写体からの光が光学系１０１若しくは、光学系１０２に入ってくる位置、つまり、光学系１０１若しくは、光学系１０２を１つのレンズと仮想したときの当該レンズの主点に相当する位置のことである。本実施形態における入光位置はレンズの主点に限定されるものではなく、当該レンズ全体の重心位置、第１撮像部１０３若しくは第２撮像部１０４におけるセンサ面等、ステレオ画像用撮像装置１０００における任意の位置を用いることが出来る。さらに、図７において視聴距離Ｋは、カメラ位置と仮想スクリーンとの距離として示される。
【００４６】
視点間距離情報算出部１１０は、図７（ａ）に示すように、被写体が仮想スクリーンの奥に存在する場合、幾何学的特性に基づいて設定される（数２）を用いて視点間距離Ｖを算出する。
（数２）
Ｖ＝Ｄ・Ｌ／（Ｌ−Ｋ）
また、視点間距離情報算出部１１０は、図７（ｂ）に示すように、被写体が仮想スクリーンの手前に存在する場合、幾何学的特性に基づいて設定される（数３）を用いて視点間距離Ｖを算出する。
（数３）
Ｖ＝−Ｄ・Ｌ／（Ｌ−Ｋ）
なお、上記の目標視差量はどのような値に設定しても良く、ステレオ画像用撮像装置１０００により取得されるステレオ画像が自然な立体感を再現するものとなるように、目標視差量の値が設定されることが好ましい。「自然な立体感」を再現するステレオ画像とは、例えば、（１）適切な視差が設定されており、視聴者が当該ステレオ画像を見たとき、（２重像とならず）適切に融像されるステレオ画像や、（２）適切な視差が設定されており、視聴者が当該ステレオ画像を見たとき、所定の物体の立体感が適切に再現される（例えば、所定の物体が平板状になる現象（書き割り現象）等を発生させず、当該物体の実際の立体感（例えば、当該物体の凹凸感）が適切に再現される）ステレオ画像である。
【００４７】
目標視差量を設定するときに、例えば、ステレオ画像用撮像装置１０００の設計者が視聴時における立体感を重要視する場合、図７（ａ）に示す被写体との成す角α１と、仮想スクリーンと成す角β１との差分絶対値が１°以内となるように設定される構成等、一般にステレオ画像を視聴した際に２重像とは見えない領域である立体視可能領域内の視差量に基づいて、目標視差量を設定するようにしても構わない。なお、立体視可能領域の視差量は、上記の値に限定されるものではなく表示デバイスの性能若しくは、視聴環境等によって変動するものであってもよい。また、他の基準がある場合は当該基準に従って目標視差量が設定される。
そして、視点間距離情報算出部１１０は、算出した視点間距離Ｖに関する情報である視点間距離情報を視点間距離調整部１１１に出力する。
【００４８】
（１．３．２：視差量を調整する被写体が複数の場合）
次に、視差量を調整する被写体が複数存在する場合を説明する。
図８は、図７とは異なり被写体が２つ存在する場合を示す図である。図７と同一のものについては同じ呼称を付し、説明を省略する。
視点間距離情報算出部１１０は、２つの被写体における視差量が目標視差量となるように視点間距離Ｖを設定する。設定する目標視差量は、どのような値に設定しても良く、所定の基準に従って視差量が設定される。
以下、ステレオ画像用撮像装置１０００の設計者が安全性を重要視する場合における視差量の調整について説明を行なう。ここで、ステレオ画像用撮像装置１０００で撮影する最も手前の被写体位置をＰｍｉｎとし、ステレオ画像用撮像装置１０００で撮影する最も奥の被写体位置をＰｍａｘと設定する。
【００４９】
この場合、位置Ｐｍｉｎ〜位置Ｐｍａｘの領域内の視差量が、一般の人がステレオ画像を融像できる視差量となるように、ステレオ画像用視点間距離Ｖを調整することが好ましい。例えば、図８に示す位置Ｐｍｉｎ〜位置Ｐｍａｘの領域が、立体視可能領域内となるように、視点間距離Ｖを調整することが好ましい。ここで、立体視可能領域について、図８（ｂ）を用いて説明する。
図８（ｂ）に示すように、光学系１０１の入光位置をＰ１とし、光学系１０２の入光位置をＰ２とし、図８に示すように位置Ｐ３、Ｐ４を設定した場合、直線Ｐ１−Ｐ３と直線Ｐ３−Ｐ２のなす角α２と、直線Ｐ１−Ｐ４と直線Ｐ４−Ｐ２のなす角β２との間に、（数４）の関係がある場合、図８に示したＰ３、Ｐ４間の領域は、立体視可能領域となり、この領域に被写体位置があれば、その状態で撮像されたステレオ画像は、多くの人にとって融像可能なステレオ画像となる。
（数４）
｜α２−β２｜≦１°
したがって、ステレオ画像用撮像装置１０００において、例えば、位置Ｐｍｉｎ〜位置Ｐｍａｘの領域が、上記立体視可能領域内となるように、視点間距離情報算出部１１０が視点間距離Ｖを算出する。
そして、視点間距離情報算出部１１０は、算出した視点間距離Ｖに関する情報である視点間距離情報を視点間距離調整部１１１に出力する。
以上のように、ステレオ画像用撮像装置１０００では、撮影モードから被写体の大きさを決定（推定）し、決定（推定）した被写体の大きさと焦点距離とから、被写体までの距離である被写体距離Ｌを算出する。さらに、ステレオ画像用撮像装置１０００では、被写体までの距離から最適な視差（例えば、立体視可能領域内となる視差）を実現する視点間距離（ステレオベース）を算出し、算出結果に基づいて、視点間距離（ステレオベース）を決定する。そして、ステレオ画像用撮像装置１０００では、決定された視点間距離となるように（決定された視点間距離によりステレオ画像が取得できるように）、２つの撮像部（第１撮像部１０３及び第２撮像部１０４）の位置を調整した後、２つの撮像部（第１撮像部１０３及び第２撮像部１０４）によりステレオ画像を取得する。このようにして取得されたステレオ画像を表示装置に表示させた場合、仮想スクリーン上（表示装置の表示画面上）での視差が適切な視差となるため、適切な立体感を持つステレオ画像表示が可能となる。すなわち、ステレオ画像用撮像装置１０００では、上記処理により、適切な立体感をもつステレオ画像撮影が可能となる。
【００５０】
なお、上記では、ステレオ画像用撮像装置１０００において、立体視可能領域内となる視差に基づいて、最適な視差を決定する例について説明したが、これに限定されることはなく、例えば、ステレオ画像用撮像装置１０００において、所定の物体が適切な立体感（例えば、書き割り現象の発生を抑制し、適切な凹凸感）を実現させるための基準により、最適な視差を決定するようにしてもよい。
また、ステレオ画像用撮像装置１０００において、視点間距離調整部１１１がない場合、ステレオ画像用撮像装置１０００が撮影者に設定すべき視点間距離情報を提示し、撮影者自身が、視点間距離を設定するようにしてもよい。
また、視点間距離情報算出部１１０において、視点間距離情報が所定の範囲を超え、物理的に視点間距離を設定できない場合、ステレオ画像用撮像装置１０００は、撮影者に、モニタ画面やランプなどを通して、警告情報を表示する構成であってもよい。
【００５１】
また、ステレオ画像用撮像装置１０００において、第１撮像部１０３と第２撮像部１０４の両方を用いてステレオ画像を撮影する２眼撮影モードと、第１撮像部１０３もしくは第２撮像部１０４のどちらかを一方のみ用いて、少なくとも２回以上撮影することによりステレオ画像を撮影する２回撮影モードを有する場合、視点間距離情報算出部１１０にて、視点間距離情報が所定の範囲内（例えば、立体視可能領域内）の場合は２眼撮影モード、視点間距離情報が所定の範囲（例えば、立体視可能領域）を超える場合は２回撮影モードを選択して、動作するものであってもよい。この場合、ステレオ画像用撮像装置１０００では、以下のような処理を行うものであってもよい。すなわち、２眼撮影モードが選択された場合、ステレオ画像用撮像装置１０００では、視点間距離調整部１１１にて第１撮像部１０３及び第２撮像部１０４の相対位置を調整して撮影し、２回撮影モードが選択された場合、第１撮像部１０３もしくは第２撮像部１０４のいずれかを用いて、撮影者が所定の距離をずらして２回撮影するように促す。
【００５２】
また、被写体距離推定部１０９において、顔検出処理（画像上において、顔を形成する画像領域を検出する処理）を行い、顔検出処理により検出された顔領域サイズあるいは顔領域位置を算出し、算出された顔領域サイズあるいは顔領域位置に基づいて、被写体サイズを推定するようにしてもよい。
図１０に、顔検出結果から被写体サイズを推定する方法に関する説明図を示す。顔の大きさ（高さ）を０．２５ｍと想定した場合、顔検出結果の検出枠の高さｋとし、撮影画面（スルー画像信号により形成される画像）の高さをｙとした場合、図６と同様の考え方により、被写体距離Ｌは、（数５）を用いて推定することが出来る。
（数５）
Ｌ＝ｙ／ｋ×（ｈ×ｆ／ｓ）
なお、被写体距離推定部１０９において、検出枠の高さｋの代わりに、図中の検出枠の位置ｊを用いて算出するようにしてもよい。
また、ステレオ画像用撮像装置１０００において、被写体サイズを推定しやすい、被写体の撮影部分を表わす撮影モードを追加することで、被写体サイズの推定精度を高めることが可能である。図１１に、被写体サイズを推定しやすい撮影モード例に関する説明図を示す。図１１中に示すように、人物モードをさらに分類し、（１）人物全体を撮影することを想定した全身モード、（２）上半身を撮影することを想定したバストアップモード、（３）顔を撮影することを想定した顔アップモードなどのモードを追加することで、ステレオ画像用撮像装置１０００において、人物の大きさをより精度よく推定することが可能となる。また、ステレオ画像用撮像装置１０００において追加する撮影モードについては、被写体の撮影部分を表わすことができれば、人物モードに限らない。
【００５３】
なお、ステップＳ１０１からステップＳ１０５の動作を、ステレオ画像用撮像装置１０００を用いて被写体を撮影する際の初期設定時にのみ行う構成にしても構わない。このように構成することで、初期設定後に使用者の撮影目的に応じて自動設定された視点間距離を、自動設定された後に自由に設定することが可能となる効果を奏する。
なお、Ｓ１０３以降の動作を、ステレオ画像用撮像装置１０００が備えるシャッターが半押しされたときのみ動作させる構成にしても構わない。
また、Ｓ１０３以降の動作は、撮影モードが一定である場合、光学系１０１の焦点距離ｆ１及び／又は光学系１０２の焦点距離ｆ２に関する情報が変更されたときのみ動作させる構成にしても構わない。
≪まとめ≫
以上のように、本実施形態のステレオ画像用撮像装置では、被写体の大きさに関する情報である被写体サイズ情報を、例えば、撮影モードから決定（推定）し、その被写体サイズ情報に基づいて、例えば、ステレオ画像用撮像装置の焦点距離を用いて、当該被写体までの被写体距離を推定する。さらに、本実施形態のステレオ画像用撮像装置では、推定した被写体距離に基づいて、適切な立体感を再現することができるステレオ画像を取得できるように、ステレオ画像撮像装置の撮影パラメータ（例えば、視点間距離）を調整する。
【００５４】
これにより、本実施形態のステレオ画像用撮像装置で取得されるステレオ画像は、適切な立体感を再現するステレオ画像となる。
また、本実施形態のステレオ画像用撮像装置では、撮影モードに応じて被写体距離を推定し、適切な撮影パラメータを設定するので、立体視に関する専門知識を必要とせず、撮影者の撮影意図に応じて、簡便な立体撮影を実現することができる。
なお、第１撮像部１０３および第２撮像部１０４は、「撮像部」の一例である。
また、被写体サイズ推定部は、「取得部」の一例である。
また、被写体距離推定部１０９は、「推定部」の一例である。
また、視点間距離情報算出部１１０および視点間距離調整部１１１は、「調整部」の一例である。
【００５５】
また、撮影モード選択部１０７は、「設定部」の一例である。
また、被写体サイズ推定部１０８は、例えば、図５に示した撮影モードと推定被写体サイズとを対応づけた情報を格納する機能を有しており、この被写体サイズ推定部１０８の機能により「格納部」の機能が実現される。
また、カメラ信号処理部１０５から出力されるスルー画像を用いて、被写体距離推定部１０９が、被写体が撮影されている画像領域を検出することにより、「検出部」の機能が実現される。
≪変形例≫
次に、本実施形態の変形例について、説明する。
図１２に、本変形例に係るステレオ画像用撮像装置１０００Ａの概略構成部を示す。
【００５６】
図１２に示すように、本変形例に係るステレオ画像用撮像装置１０００Ａは、第１実施形態に係るステレオ画像用撮像装置１０００から、（１）撮影モード選択部１０７を削除し、（２）被写体検出部１１２を追加し、そして、（３）被写体サイズ推定部１０８を被写体サイズ推定部１０８Ａに置換した構成となっている。これらの点以外については、本変形例に係るステレオ画像用撮像装置１０００Ａは、第１実施形態に係るステレオ画像用撮像装置１０００と同様の構成である。
以下では、本変形例に係るステレオ画像用撮像装置１０００Ａにおいて、第１実施形態に係るステレオ画像用撮像装置１０００と相違する部分について、説明する。
被写体検出部１１２は、カメラ信号処理部１０５からの出力（スルー画像）を入力とし、入力されたスルー画像を解析し、当該スルー画像内に含まれる所定の被写体（例えば、人間の顔や、人物全体等）に相当する画像領域を検出する。例えば、検出しようとする対象が人間の顔である場合、被写体検出部１１２は、スルー画像内に含まれる人間の顔を形成する画像領域を検出する。そして、被写体検出部１１２は、検出した被写体の種類（例えば、人間の顔や、人物全体等）と、スルー画像の画面の高さに対する検出した画像領域の占める割合、あるいは、スルー画像の画面の高さ（例えば、図１０のｙに相当する情報）および検出した画像領域の高さ（例えば、図１０のｋに相当する情報）を、被写体サイズ推定部１０８に出力する。
【００５７】
以下では、説明便宜のために、図１０と同様に、被写体検出部１１２で検出する対象を「人間の顔」とし、スルー画像の画面の高さをｙ、顔領域の高さをｋとする。
被写体サイズ推定部１０８Ｂでは、被写体検出部１１２から、検出対象が「人間の顔」であることを示す情報と、スルー画像の画面の高さｙに関する情報と、検出した顔領域の高さｋに関する情報と、を入力とする。
そして、被写体サイズ推定部１０８Ｂは、図１０を用いて説明したのと同様に、被写体距離（ステレオ画像用撮像装置１０００Ａから検出した人間の顔に相当する被写体までの距離）をＬとし、撮像素子の大きさ（高さ）をｓとし、
Ｌ＝ｙ／ｋ×（ｈ×ｆ／ｓ）
により、被写体距離Ｌ（ステレオ画像用撮像装置１０００Ａから検出した人間の顔に相当する被写体までの距離）を算出する。
【００５８】
なお、ここでは、検出対象が「人間の顔」であるので、被写体サイズ推定部１０８Ｂは、上記数式のｈを、例えば、「０．２５ｍ」に設定する。
また、検出対象が「人間の顔」以外の場合、被写体サイズ推定部１０８Ｂは、検出対象に合わせて、上記数式のｈを設定する。例えば、検出対象が「大人の人物全体」である場合、上記数式のｈを、例えば、「１．６ｍ」に設定し、検出対象が「子供の人物全体」である場合、上記数式のｈを、例えば、「１．０ｍ」に設定する。さらに、被写体距離Ｌの推定精度を高めるために、ステレオ画像用撮像装置１０００Ａにおいて、特定の人物のデータ（例えば、当該特定の人物の画像データや当該特定の人物の身体的特徴（例えば、身長や肌の色等）を示すデータ）を予め設定しておき、当該特定の人物が検出されたときには、その特定の人物のデータを用いるようにしてもよい。例えば、特定の人物Ａの身長データ（例えば、これを「１．７４ｍ」とする）および人物Ａの特徴データ（身体的特徴データ）を、予め、ステレオ画像用撮像装置１０００Ａに登録しておき、被写体検出部１１２が、人物Ａの特徴データに基づいて、人物Ａの全体がスルー画像内において確認できた場合、当該人物Ａの全体を検出対象として検出する。そして、被写体検出部１１２は、上記と同様、検出対象が「人物Ａの全体」であることを示す情報と、スルー画像における人物Ａの高さｋに関する情報と、スルー画像の高さｙに関する情報と、を被写体サイズ推定部１０８に出力する。
【００５９】
そして、被写体サイズ推定部１０８では、被写体検出部１１２から取得した情報に基づいて、被写体距離Ｌ（ステレオ画像用撮像装置１０００Ａから人物Ａまでの距離）を、
Ｌ＝ｙ／ｋ×（ｈ×ｆ／ｓ）
により、算出する。そして、この場合、ｈを、より精度の高いデータである、人物Ａの身長データ（例えば、「１．７４ｍ」）とすることができるので、ステレオ画像用撮像装置１０００Ａにおいて、より高精度に被写体距離Ｌを推定することができる。
なお、以降の処理（視点間距離情報算出部１１０、視点間距離調整部１１１等での処理）は、第１実施形態と同様である。
以上により、本変形例に係るステレオ画像用撮像装置１０００Ａでは、特定の被写体を形成する画像領域を検出し、予め登録されている当該特定の被写体のデータを用いることで、さらに被写体距離の推定精度を高めることができる。その結果、本変形例に係るステレオ画像用撮像装置１０００Ａでは、より高精度に推定された被写体距離に基づいて、立体撮影時の撮影パラメータ（例えば、ステレオベース（視点間距離））を適切に設定することで、鑑賞時に、自然な立体感（自然な遠近感）を再現することが可能な立体画像（３次元画像）を取得することができる。
【００６０】
なお、被写体検出部１１２は、「検出部」の一例である。
また、被写体サイズ推定部１０８Ａは、「取得部」の一例である。
［第２実施形態］
以下、本発明の第２実施形態について、図面を参照しながら説明する。
＜２．１：ステレオ画像用撮像装置の構成＞
図１３に、本実施形態のステレオ画像用撮像装置２０００の概略構成図を示す。本実施形態のステレオ画像用撮像装置２０００は、第１実施形態のステレオ画像用撮像装置１０００において、視点間距離情報算出部１１０及び視点間距離調整部１１１を、輻輳位置情報算出部２１０及び輻輳角調整部２１１に変更した構成である。それ以外について、本実施形態のステレオ画像用撮像装置２０００は、第１実施形態のステレオ画像用撮像装置１０００と同様である。なお、本実施形態において、第１実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【００６１】
輻輳位置情報算出部２１０は、被写体距離推定部１０９から出力される被写体距離に関する情報を入力とし、被写体距離から輻輳位置を算出する。輻輳位置情報算出部２１０は、算出した輻輳位置に関する情報を輻輳角調整部２１１に出力する。
輻輳角調整部２１１は、輻輳位置情報算出部２１０から出力される輻輳位置に関する情報を入力とする。輻輳角調整部２１１は、第１撮像部１０３と第２撮像部１０４との相対位置（光学系１０１及び第１撮像部１０３と、光学系１０２及び第２撮像部１０４との相対位置）が、輻輳位置情報算出部２１０により算出された輻輳位置（輻輳角）に一致するように制御する。このために、輻輳角調整部２１１は、第１撮像部１０３に対して、第１撮像部１０３の位置調整を行うための制御信号である第１輻輳角調整信号を出力する。また、輻輳角調整部２１１は、第２撮像部１０４に対して、第２撮像部１０４の位置調整を行うための制御信号である第２輻輳角調整信号を出力する。
【００６２】
なお、輻輳角調整部２１１の第１撮像部１０３と第２撮像部１０４との相対位置の調整処理（輻輳角の調整処理）は、以下の（１）、（２）によるものであってもよい。
（１）輻輳角調整部２１１から出力される制御信号により、光学系１０１及び第１撮像部１０３が連動して移動し、そして、光学系１０２及び第２撮像部１０４が連動して移動する。これにより、相対位置（輻輳位置（輻輳角））を調整する。
（２）光学系１０１及び第１撮像部１０３が１つのユニットを構成し、そのユニットが、輻輳角調整部２１１から出力される制御信号に基づいて移動し、そして、光学系１０２及び第２撮像部１０４が別の１つのユニットを構成し、そのユニットが、輻輳角調整部２１１から出力される制御信号に基づいて移動する。これにより、相対位置（輻輳位置（輻輳角））を調整する。
【００６３】
また、第１撮像部１０３で取得される画像と、第２撮像部１０４で取得される画像とが、輻輳位置情報算出部２１０により算出された輻輳位置（輻輳角）に一致する状態で取得されたものであればよいので、第１撮像部１０３及び第２撮像部１０４の物理的な位置関係が必ずしも輻輳位置情報算出部２１０により算出された輻輳位置（輻輳角）に一致していなくてもよい。例えば、光学系により光路を変更させることで、第１撮像部１０３で取得される画像と、第２撮像部１０４で取得される画像とが、輻輳位置情報算出部２１０により算出された輻輳位置（輻輳角）に一致する状態で取得されたものと同一のものとなるようにしてもよい。
＜２．２：ステレオ画像用撮像装置の動作＞
以上のように構成されたステレオ画像用撮像装置２０００の動作について、以下、説明する。なお、図１６は、ステレオ画像用撮像装置２０００で実行されるステレオ画像取得方法の処理フローを示すフローチャートである。
【００６４】
（ステップＳ２０４）：
輻輳位置情報算出部２１０は、被写体距離及び第１撮像部１０３及び第２撮像部１０４との視点間距離情報とから所定の条件に基づいて、第１撮像部１０３の光軸（光学系１０１の光軸）と第２撮像部１０４の光軸（光学系１０２の光軸）との交点位置である輻輳位置を算出する。
図１５に、輻輳位置に関する説明図を示す。図１５に示すように、第１撮像部１０３の光軸（光学系１０１の光軸）及び第２撮像部１０４の光軸（光学系１０２の光軸）の交点が輻輳位置であり、輻輳位置と被写体位置とが一致する場合、仮想スクリーンに被写体が定位する。一般に、仮想スクリーンの前後に定位するように、輻輳位置を調整することで、見やすい立体画像を実現することが可能である。このため、例えば、被写体距離に合わせるように輻輳位置が設定される。
【００６５】
（ステップＳ２０５）：
次に、輻輳角調整部２１１は、輻輳位置情報算出部２１０により算出された輻輳位置情報に基づいて、第１撮像部１０３（光学系１０１）の光軸角度と第２撮像部１０４（光学系１０２）の光軸角度を調整する。具体的には、輻輳角調整部２１１は、輻輳位置情報算出部２１０で算出した輻輳位置情報に基づいて、第１画像信号及び、第２画像信号が、輻輳位置情報算出部２１０で算出された輻輳位置により取得された画像信号となるように、第１輻輳角調整信号と、第２輻輳角調整信号とを算出する。そして、輻輳角調整部２１１は、第１撮像部１０３に対して、第１輻輳角調整信号を出力し、第２撮像部１０４に対して、第２輻輳角調整信号を出力する。
なお、ステレオ画像用撮像装置２０００において、第１輻輳角調整信号により光学系１０１と第１撮像部１０３とが連動して位置調整されるものであってもよい。また、ステレオ画像用撮像装置２０００において、第２輻輳角調整信号により光学系１０２と第２撮像部１０４とが連動して位置調整されるものであってもよい。
【００６６】
第１撮像部１０３は、輻輳角調整部２１１から出力される第１輻輳角調整信号に基づいて、その位置（輻輳位置（輻輳角））を調整する。さらに、第２撮像部１０４は、輻輳角調整部２１１から出力される第２輻輳角調整信号に基づいて、その位置（輻輳位置（輻輳角））を調整する。
（ステップＳ２０６）：
この調整後、第１撮像部１０３及び第２撮像部１０４により、被写体を撮像することで、輻輳位置情報算出部２１０で算出された輻輳位置（輻輳角）による画像（ステレオ画像）が取得される。
そして、この状態で、第１撮像部１０３及び第２撮像部１０４により撮像された画像信号は、それぞれ、カメラ信号処理部１０５によりカメラ処理を実行された後、画像記録部１０６により、ステレオ画像データとして記録される。
【００６７】
≪まとめ≫
以上のように、ステレオ画像用撮像装置２０００では、撮影モードから被写体の大きさを推定し、推定した被写体の大きさと焦点距離とから、被写体までの距離を推定する。さらに、ステレオ画像用撮像装置２０００では、被写体までの距離から最適な視差（例えば、立体視可能領域内となる視差）を実現する輻輳位置を算出し、算出結果に基づいて輻輳角を決定する。そして、ステレオ画像用撮像装置２０００では、２つの撮像部（第１撮像部１０３（光学系１０１）及び第２撮像部１０４（光学系１０２））の光軸を調整した後、２つの撮像部（第１撮像部１０３及び第２撮像部１０４）によりステレオ画像を取得する。このようにして取得されたステレオ画像を表示装置に表示させた場合、仮想スクリーン上（表示装置の表示画面上）での視差が適切な視差となるため、適切な立体感を持つステレオ画像表示が可能となる。すなわち、ステレオ画像用撮像装置２０００では、上記処理により、適切な立体感をもつステレオ画像撮影が可能となる。
【００６８】
なお、上記では、ステレオ画像用撮像装置２０００において、立体視可能領域内となる視差に基づいて、最適な視差を決定する例について説明したが、これに限定されることはなく、例えば、ステレオ画像用撮像装置２０００において、所定の物体が適切な立体感（例えば、書き割り現象の発生を抑制し、適切な凹凸感）を実現させるための基準により、最適な視差を決定するようにしてもよい。
また、第１撮像部１０３および第２撮像部１０４は、「撮像部」の一例である。
また、被写体サイズ推定部１０８は、「取得部」の一例である。
また、被写体距離推定部１０９は、「推定部」の一例である。
また、輻輳位置情報算出部２１０および輻輳角調整部２１１は、「調整部」の一例である。
【００６９】
また、撮影モード選択部１０７は、「設定部」の一例である。
また、被写体サイズ推定部１０８は、例えば、図５に示した撮影モードと推定被写体サイズとを対応づけた情報を格納する機能を有しており、この被写体サイズ推定部１０８の機能により「格納部」の機能が実現される。
また、カメラ信号処理部１０５から出力されるスルー画像を用いて、被写体距離推定部１０９が、被写体が撮影されている画像領域を検出することにより、「検出部」の機能が実現される。
≪変形例≫
次に、本実施形態の変形例について、説明する。
図１４に、本変形例に係るステレオ画像用撮像装置２０００Ａの概略構成部を示す。
【００７０】
図１４に示すように、本変形例に係るステレオ画像用撮像装置２０００Ａは、第１実施形態の変形例に係るステレオ画像用撮像装置１０００Ａにおいて、（１）視点間距離情報算出部１１０を輻輳位置情報算出部２１０に置換し、（２）視点間距離調整部１１１を輻輳角調整部２１１に置換した構成となっている。これらの点以外については、本変形例に係るステレオ画像用撮像装置２０００Ａは、第１実施形態の変形例に係るステレオ画像用撮像装置１０００Ａと、同様の構成である。
なお、本変形例に係るステレオ画像用撮像装置２０００Ａでは、調整する撮影パラメータが輻輳角であるのに対して、第１実施形態の変形例に係るステレオ画像用撮像装置１０００Ａでは、調整する撮影パラメータが視点間距離である。本変形例に係るステレオ画像用撮像装置２０００Ａの動作についても、この点のみが、第１実施形態の変形例に係るステレオ画像用撮像装置１０００Ａの動作と相違する。
【００７１】
したがって、本変形例に係るステレオ画像用撮像装置２０００Ａでは、第１実施形態の変形例に係るステレオ画像用撮像装置１０００Ａと同様に、特定の被写体を形成する画像領域を検出し、予め登録されている当該特定の被写体のデータを用いることで、さらに被写体距離の推定精度を高めることができる。その結果、本変形例に係るステレオ画像用撮像装置２０００Ａでは、より高精度に推定された被写体距離に基づいて、立体撮影時の撮影パラメータ（例えば、ステレオベース（視点間距離））を適切に設定することで、鑑賞時に、自然な立体感（自然な遠近感）を再現することが可能な立体画像（３次元画像）を取得することができる。
［他の実施形態］
なお、上記実施形態では、２つの撮像部（第１撮像部１０３および第２撮像部１０４）により、ステレオ画像（左眼用画像および右眼用画像）を取得（撮像）している場合について説明した。しかし、これに限定されることはなく、例えば、１つの撮像素子（撮像部）により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、１つの撮像素子の撮像素子面を２分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。また、第１視点からの被写体光の光路と、第２視点からの被写体光の光路とを光学的に切り換える機構を設け、１つの撮像部により、左眼用画像と右眼用画像とを取得するようにしてもよい。
【００７２】
また、第２実施形態において、ステレオ画像用撮像装置２０００に、輻輳角調整部２１１の代わりに、輻輳位置情報算出部２１０により算出された輻輳位置情報に基づいて、第１撮像部１０３の撮像素子面及び／又は第２撮像部１０４の撮像素子面をずらすことで、輻輳位置を調整する撮像素子面シフト調整部をさらに備えるようにしてもよい。そして、この撮像素子面シフト調整部により、輻輳位置を調整するようにしてもよい。
また、第２実施形態において、ステレオ画像用撮像装置２０００に、輻輳位置情報算出部２１０により算出された輻輳位置情報に基づいて、第１撮像部１０３及び／又は第２撮像部１０４の撮像素子面の所定の範囲に相当する画像データを読み出すことで、輻輳位置を調整する撮像素子面所定領域抽出部をさらに備えるようにしてもよい。そして、この撮像素子面所定領域抽出部により、輻輳位置を調整するようにしてもよい。
【００７３】
また、上記実施形態において、左右の対応関係（例えば、第１視点（例えば、左眼視点に対応）および第２視点（例えば、右眼視点に対応）の左右対応関係や、第１視点により取得される画像（例えば、左眼用画像に対応）および第２視点により取得される画像（例えば、右眼用画像に対応）の左右対応関係）は、必ずしも、上記実施形態の記載に限定されるものではなく、発明の要旨を逸脱しない範囲で、左右関係を入れ替えてもよい。
また、上記実施形態で説明したステレオ画像用撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００７４】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェア及びハードウェアの混在処理により実現しても良い。なお、上記実施形態に係るステレオ画像用撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【００７５】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕｅ−ｒａｙ  Ｄｉｓｃ）、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【００７６】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更及び修正が可能である。
【産業上の利用可能性】
【００７７】
本発明の撮像装置、撮像方法、プログラム及び集積回路では、ステレオ画像撮影機能を有するデジタルカメラ、デジタルビデオカメラにおいて、適切な立体感をもつステレオ画像を撮影する用途に有用である。したがって、本発明は、映像関連分野において、実施することができる。
【符号の説明】
【００７８】
１０００、１０００Ａ、２０００、２０００Ａ  ステレオ画像用撮像装置
１０１  第１光学系
１０２  第２光学系
１０３  第１撮像部
１０４  第２撮像部
１０５  カメラ信号処理部
１０６  画像記録部
１０７  撮影モード選択部
１０８  被写体サイズ推定部
１０９  被写体距離推定部
１１０  視点間距離情報算出部
１１１  視点間距離調整部
２１０  輻輳位置情報算出部
２１１  輻輳角調整部
【図１】
2011086630.tif 000003
【図２】
2011086630.tif 000004
【図３】
2011086630.tif 000005
【図４】
2011086630.tif 000006
【図５】
2011086630.tif 000007
【図６】
2011086630.tif 000008
【図７】
2011086630.tif 000009
【図８】
2011086630.tif 000010
【図９】
2011086630.tif 000011
【図１０】
2011086630.tif 000012
【図１１】
2011086630.tif 000013
【図１２】
2011086630.tif 000014
【図１３】
2011086630.tif 000015
【図１４】
2011086630.tif 000016
【図１５】
2011086630.tif 000017
【図１６】
2011086630.tif 000018
【図１７】
2011086630.tif 000019
【図１８】
2011086630.tif 000020
【手続補正書】
【提出日】平成24年5月11日(2012.5.11)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】明細書
【発明の名称】撮像装置、撮像方法、プログラム及び集積回路
【技術分野】
【０００１】
本発明は、ステレオ立体視用の右眼画像及び左眼画面を撮影する撮影装置（ステレオ画像用撮像装置）、ステレオ画像取得方法、プログラム及び集積回路に関する。
【背景技術】
【０００２】
従来のステレオ画像撮影カメラ（ステレオ画像用撮像装置）では、左眼用撮影カメラと右眼用撮影カメラとのカメラ間距離（ステレオベース）を、人間の平均的な瞳間距離である約６．５〜７ｃｍに設定して固定するのが一般的であった。このため、遠景シーンを撮影する場合は、立体感が不足し、近景シーンを撮影する場合は、両眼視差が大きすぎたり、撮影対象物が、右眼もしくは左眼のどちらかの画像にしか含まれず、立体視しづらくなったりするという課題がある。
【０００３】
図２に、被写体が近い場合の被写体距離と視差との関係を説明するための図を示す。また、図３に、被写体が遠い場合の被写体距離と視差との関係を説明するための図を示す。
図２（ａ）は、被写体距離が短い場合の被写体距離と視差との関係を説明するための図であり、図２（ｂ）は、被写体距離が長い場合の被写体距離と視差との関係を説明するための図である。
【０００４】
図２に示すように、被写体距離が短い場合は、被写体距離が長い場合に比べ、仮想スクリーン面上での視差が大きくなる。このように被写体距離が短い状態で撮像装置によりステレオ画像を取得する場合、両眼視差が大きい状態でステレオ画像が取得されることになる。したがって、取得されたステレオ画像を表示装置で立体画像として表示させた場合、表示装置のスクリーン面上での視差が大きく（スクリーン面上での左眼画像と右眼画像のズレ量が大きく）、当該立体画像は、視聴者にとって、見づらい立体画像になる可能性がある。
【０００５】
図３も同様に被写体距離と視差との関係を説明するための図である。図３（ａ）は、被写体距離が短い場合の被写体距離と視差との関係を説明するための図であり、図３（ｂ）は被写体距離が長い場合の被写体距離と視差との関係を説明するための図である。
具体的には、図３は、被写体の２つのポイントについて、仮想スクリーン上の視差を考慮し、被写体の２つのポイント間の視差の差により立体感がどのようになるかを説明するための図である。図３に示すように、被写体距離が短い場合は、視差の差が大きく、このような状況で撮像されたステレオ画像（３次元画像）は、立体感が不足する可能性が低いと考えられる。一方、被写体距離が長い場合は、視差の差が小さくなり、このような状況で撮像されたステレオ画像（３次元画像）は、立体感が不足する可能性がある。
【０００６】
こうした問題を解決するため、従来のステレオ画像用撮像装置では、右視野画面作成用の右視点及び左視野画面作成用の左視点の視点間距離を場面に応じて変化させ、近くのシーンの画面作成時には視点間距離を狭く設定し、遠くのシーンの画面作成時には視点間距離を広く設定する。これにより、従来のステレオ画像用撮像装置では、近距離から遠距離のシーンにわたって良好な立体視画像を生成することができ、さらに、近距離のシーンに対しては右目及び左目の融像を良好に行うことができる立体視画像を生成することができる。例えば、特許文献１には、このような処理により立体画像を生成する立体視画像生成方法及びその表示装置が開示されている。
【０００７】
次に、被写体距離に応じた最適な視点間距離の設定について、説明する。
図４に、上記従来例（特許文献１）でも示されている、被写体距離に応じた最適な視点間距離の設定に関する説明図を示す。
図４（ａ）は、被写体が近い場合における被写体距離に応じた最適な視点間距離の設定についての説明図であり、図４（ｂ）は、被写体が遠い場合における被写体距離に応じた最適な視点間距離の設定についての説明図である。
【０００８】
図４（ａ）では、視点間距離を狭めることにより、仮想スクリーン上の視差が小さくなるように調整する例を示している。また、図４（ｂ）では、視点間距離を広げることにより、被写体の２つのポイントについて、仮想スクリーン上における被写体の２つのポイント間の視差の差が大きくなるように調整する例を示している。なお、この場合、２つの被写体の視差の差が大きくなるように調整されるので、この状況で取得されるステレオ画像の立体感を強めることができる。
【０００９】
上記従来技術（特許文献１に開示されている従来技術）において、左右の画像データ（ステレオ画像データ）は、所定のストーリに従って作成される。このようなストーリは、必要に応じて任意に作成することができる。ここでは、予め作成されたストーリに従って、近景から遠景にわたるシーンの画像データを作成する場合を想定して、従来技術における視点間距離の設定動作について、説明する。
【００１０】
図１７に、従来技術の視点間距離の設定動作を示すフローチャート図を示す。
図１７中では、観者の大きさに基づく視点間距離ｄの設定のステップが含まれるが、本発明には関係しないため、ステップＳ１６及びステップＳ１８の説明は省略する。
まず、画像データの作成が開始されると、作成予定画像のストーリの解釈が実行される（ステップＳ１０）。
【００１１】
次に、このストーリ解釈の結果、シーンの遠近に基づく視点間距離ｄの設定が必要か否かの判断が行われる（ステップＳ１２）。ここで、ＹＥＳと判断されると、次にステップＳ１４において、視点間距離ｄの設定が行われる。一方、ステップＳ１２で、ＮＯと判断された場合には、次に、上記ストーリ解釈の結果、観者の大きさに基づく視点間距離ｄの設定が必要か否かの判断が行われる（ステップＳ１６）。
【００１２】
このような一連の視点間距離の設定動作を、画像データの生成が終了するまで繰り返して実行され、画像生成動作終了と判断された時点（ステップＳ２０）で、視点間距離の設定動作は終了する。
図１８は、上記ステップＳ１４の視点間距離設定動作の一例を示す図である。
まず、次のシーンのポイントは遠距離にあるか、通常の距離範囲にあるか、近距離にあるかの各判断が行われる（ステップＳ３０，Ｓ３２，Ｓ３４）。遠距離にあると判断された場合には、視点間距離ｄを基準距離ｄｓより大きく設定する（ステップＳ３６）。通常範囲にあると判断された場合には、視点間距離ｄを基準距離ｄｓに設定する（ステップＳ３８）。近距離にあると判断された場合には、視点間距離ｄを基準距離ｄｓより小さく設定する（ステップＳ４０）。なお、視点間距離ｄは、判断された距離に基づき連続的に変化させるようにしてもよく、段階的に変化させるようにしてもよい。見る者に違和感を与えないようにするためには、視点間距離ｄを連続的に変化させることが好ましい。
【００１３】
上記のようにして、従来技術では、対象となるシーンの遠近に基づく視点間距離ｄが最適値に設定される。
以上のように、従来技術では、所定のストーリに従って視点間距離を変化させ、近距離から遠距離にわたり変化するシーンについての立体画像を生成（取得）する。そして、このようにして生成（取得）された立体画像を表示装置に表示したとき、観者は、当該立体画像を自然な遠近感及び立体感のある良好な立体視画像として認識する。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開平８−９８２１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
上記の先行技術文献には、ストーリが設定された場合、当該ストーリに応じて視点間距離を設定することで立体画像の立体感を調整する技術が開示されている。しかしながら、上記の先行技術文献に開示されている従来技術では、ストーリがない実写画像を撮影する場合、視点間距離を設定し、立体画像の立体感を適切に調整することが出来ない。なお、視点間距離を適切に設定するためには、被写体までの距離に関する情報を取得する必要があるが、従来技術においては、被写体までの距離に関する情報を取得する手段については開示されていない。
【００１６】
本発明は、上記問題点に鑑み、立体撮影時のステレオベース（視点間距離）を、撮影モードに応じて、適切に設定することで、鑑賞時に、自然な立体感（自然な遠近感）を再現することが可能な立体画像（３次元画像）を取得することができるステレオ画像用撮像装置、ステレオ画像取得方法、プログラム及び集積回路を提供することを目的とする。
【課題を解決するための手段】
【００１７】
第１の発明は、ステレオ画像を撮影する撮像装置であって、撮影部と、取得部と、推定部と、調整部と、を備える。
撮影部は、被写体を撮影し、被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する。取得部は、第１視点画像および第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、被写体の大きさに関する情報である被写体サイズ情報を取得する。推定部は、被写体サイズ情報に基づいて、撮像装置から被写体までの距離である被写体距離を推定する。調整部は、少なくとも推定部が推定した被写体距離に関する情報を基に、第１視点画像と第２視点画像とから得られる視差が変更されるように、撮影部における撮影パラメータを調整する。
【００１８】
この撮像装置では、立体撮影時の撮影パラメータ（例えば、ステレオベース（視点間距離）や輻輳角）を、取得部が取得した被写体の大きさに関する情報に応じて（例えば、撮影モードに応じて、被写体の大きさに関する情報を取得して）、適切に設定することで、鑑賞時に、自然な立体感（自然な遠近感）を再現することが可能な立体画像（３次元画像）を取得することができる。
【００１９】
なお、「被写体距離」とは、撮像部の撮像素子（例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ）面上に焦点を結んでいる物体からカメラ（撮像装置）までの距離をいい、物点距離と、共役距離（物像間距離）を含む概念である。また、「被写体距離」は、撮像装置から被写体までの概略の距離を含む概念であり、例えば、（１）撮像装置の光学系のレンズ全体の重心位置から被写体までの距離、（２）撮像部の撮像素子面から被写体までの距離、（３）撮像装置の重心（あるいは中心）から被写体までの距離等を含む概念である。
【００２０】
第２の発明は、第１の発明であって、撮像装置である。設定部と、格納部と、をさらに備える。
設定部は、異なる複数の撮影モードからいずれかの撮影モードを設定する。格納部は、異なる被写体サイズ情報を複数の撮影モードのそれぞれに対応づけた状態で格納する。取得部は、格納部に格納されている複数の被写体サイズ情報から設定部が設定する撮影モードに対応する被写体サイズ情報を取得する。
【００２１】
この撮像装置では、格納部により、複数の撮影モード（例えば、「人物モード」、「子供モード」、「ペットモード」等）に対応付けて被写体サイズ情報（例えば、「人物モード」に対応付けられた被写体サイズ情報「１．６ｍ」、「子供モード」に対応付けられた被写体サイズ情報「１．０ｍ」、「ペットモード」に対応付けられた被写体サイズ情報「０．５ｍ」等）を保持することができ、設定部が撮影モードに対応する被写体サイズ情報を取得する。これにより、この撮像装置では、設定された撮影モードに基づいて決定（推定された）被写体サイズにより、被写体距離を適切に推定することができる。そして、この撮像装置では、推定した被写体距離から、自然な立体画像を取得するための視差を算出することができ、算出した視差に基づいて、撮像部における撮像パラメータ（例えば、視点間距離や輻輳角）を調整する。これにより、この撮像装置において、撮像部の撮影パラメータを調整した状態で撮像される立体画像は、自然な立体画像となる。
【００２２】
第３の発明は、第１または第２の発明であって、第１視点画像および第２視点画像のうち少なくともひとつの画像を基に、被写体が撮影されている画像領域を検出する検出部をさらに備える。
取得部は、検出部が検出した領域に関する情報を基に、被写体サイズ情報を取得する。
これにより、この撮像装置では、第１視点画像または第２視点画像上の所定の被写体を形成する画像領域に関する情報を用いて、被写体サイズ情報を取得することができる。
【００２３】
第４の発明は、第３の発明であって、検出部は、人間の顔を形成する画像領域を検出することで、被写体が撮影されている画像領域を検出する。
これにより、この撮像装置では、第１視点画像または第２視点画像上の人間の顔を形成する画像領域に関する情報を用いて、被写体サイズ情報を取得することができる。
【００２４】
第５の発明は、第１から第４のいずれかの発明であって、推定部は、第１視点画像および第２視点画像の垂直方向のサイズに関する情報と、第１視点画像および第２視点画像を撮影する際の焦点距離に関する情報と、被写体サイズ情報を基に、被写体距離を推定する。
【００２５】
第６の発明は、第１から第５のいずれかの発明であって、撮像装置の起動時に設定されている撮影モードに基づいて、撮影パラメータとして、少なくとも、初期焦点距離、初期視点間距離、初期輻輳角のいずれか１つを設定する。
【００２６】
第７の発明は、第１から第５のいずれかの発明であって、調整部は、被写体距離と、第１視点画像及び第２視点画像を視聴する際の当該第１視点画像及び当該第２視点画像を表示する表示装置と視聴者との距離を示す視聴距離と、被写体に設定される目標視差量と、に基づいて、第１視点と、第２視点と、で決定される目標の相対位置である視点間距離を算出し、算出した視点間距離に基づいて、撮像部の視点間距離を調整する。
【００２７】
この撮像装置では、被写体距離と、視聴距離と、被写体に設定される目標視差量とに基づいて、視点間距離を算出し、算出結果に基づいて、視点間距離（ステレオベース）を決定する。
これにより、撮像装置により、撮像部の撮影パラメータが調整された状態で撮像された立体画像は、適切な立体感をもつ立体画像となる。
【００２８】
第８の発明は、第７の発明であって、調整部が算出した視点間距離に基づいて、撮像部の視点間距離を調整することが不可能な場合、撮影者に警告情報を表示する警告情報表示部をさらに備える。
【００２９】
第９の発明は、第７または第８の発明であって、撮影者に、調整部が算出した視点間距離を提示する情報提示部をさらに備える。
【００３０】
第１０の発明は、第７から第９のいずれかの発明であって、所定の情報を撮影者に提示する表示部をさらに備える。
撮像部は、被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得する第１撮像部と、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する第２撮像部と、を含む。
【００３１】
そして、撮像部は、調整部が算出した視点間距離に基づいて、撮像部の視点間距離を調整することが可能な場合、撮像部は、第１撮像部及び第２撮像部の両方を用いてステレオ画像を取得する２眼撮影モードにより撮影を行う。
一方、撮像部は、調整部が算出した視点間距離に基づいて、撮像部の視点間距離を調整することが不可能な場合、撮像部は、ステレオ画像用撮像装置を略水平方向にスライドさせながら少なくとも２回以上撮影することによりステレオ画像を取得する２回撮影モードにより撮影を行う。
【００３２】
そして、２眼撮影モードにより撮影が実行される場合、調整部は、視点間距離に基づいて、撮影パラメータを調整した後、第１撮像部及び第２撮像部により第１視点画像及び第２視点画像を取得することでステレオ画像を取得し、２回撮影モードにより撮影が実行される場合、表示部は２回撮影モードを促す表示を行う。
【００３３】
第１１の発明は、第１から第６のいずれかの発明であって、調整部は、被写体距離と、第１視点画像及び、第２視点画像を視聴する際の当該第１視点画像及び当該第２視点画像を表示する表示装置と視聴者との距離を示す視聴距離と、被写体に設定される目標視差量と、に基づいて、第１光学系の光軸と第２光学系の光軸との交点位置である輻輳位置を算出し、算出した輻輳位置に基づいて、撮像部の輻輳位置を調整する。
【００３４】
この撮像装置では、例えば、撮影モードから被写体の大きさ（被写体サイズ情報）を推定し、推定した被写体の大きさに基づいて、被写体までの距離を推定する。さらに、この撮像装置では、被写体までの距離から最適な視差（例えば、立体視可能領域（視聴者が第１視点画像と、第２視点画像と、をステレオ画像として視認した場合、被写体を融合して視認可能な領域）を満たす視差（視差量））を実現する輻輳位置情報（あるいは輻輳角）を算出し、算出結果に基づいて、輻輳位置（あるいは輻輳角）を決定する。そして、この撮像装置では、決定された輻輳位置（あるいは輻輳角）が実現されるように、撮像部の位置や角度等を調整する。
これにより、この撮像装置で、撮像部の撮影パラメータ（輻輳位置あるいは輻輳角）が調整された状態で撮像された立体画像は、自然な立体感を実現する立体画像となる。
【００３５】
第１２の発明は、第１１の発明であって、調整部が算出した輻輳位置に基づいて、撮像部の輻輳位置を調整することが不可能な場合、撮影者に警告情報を表示する警告情報表示部をさらに備える。
【００３６】
第１３の発明は、第１１または第１２の発明であって、撮影者に、調整部が算出した輻輳位置を提示する情報提示部をさらに備える。
【００３７】
第１４の発明は、第７から第１３のいずれかの発明であって、調整部は、視聴者が第１視点画像と、第２視点画像と、をステレオ画像として視認した場合、被写体を融合して視認可能な領域内に規定される視差量を、目標視差量として設定する。
この撮像装置では、目標視差量が、立体視可能領域内に規定される視差量に設定される。したがって、この撮像装置により取得されるステレオ画像において、被写体距離の最大値に相当する融像位置と被写体距離の最小値に相当する融像位置との両方が、立体視可能領域に含まれることが保証されるため、より適切な立体感をもつステレオ画像撮影が可能となる。
【００３８】
第１５の発明は、第７から第１４のいずれかの発明であって、第１視点画像と、第２視点画像と、を記録する画像記録部をさらに備える。
画像記録部は、調整部が撮影パラメータを調整した後に、撮像部で取得される第１視点画像および第２視点画像を記録する。
これにより、この撮像装置では、画像記録部により、ステレオ画像を記録することができる。
【００３９】
第１６の発明は、ステレオ画像を撮影する撮像装置であって、被写体を撮影し、被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する撮影部を備える撮像装置により用いられる撮像方法である。この撮像方法は、取得ステップと、推定ステップと、調整ステップと、を備える。
【００４０】
取得ステップでは、第１視点画像および第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、被写体の大きさに関する情報である被写体サイズ情報を取得する。
推定ステップでは、被写体サイズ情報に基づいて、撮像装置から被写体までの距離である被写体距離を推定する。
調整ステップでは、少なくとも推定ステップにて推定した被写体距離に関する情報を基に、第１視点画像と第２視点画像とから得られる視差が変更されるように、撮影部における撮影パラメータを調整する。
これにより、第１の発明と同様の効果を奏する撮像方法を実現することができる。
【００４１】
第１７の発明は、ステレオ画像を撮影する撮像装置であって、被写体を撮影し、被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する撮影部を備える撮像装置により用いられる撮像方法をコンピュータに実行させるプログラムである。撮像方法は、取得ステップと、推定ステップと、調整ステップと、を備える。
【００４２】
取得ステップでは、第１視点画像および第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、被写体の大きさに関する情報である被写体サイズ情報を取得する。
推定ステップでは、被写体サイズ情報に基づいて、撮像装置から被写体までの距離である被写体距離を推定する。
【００４３】
調整ステップでは、少なくとも推定ステップにて推定した被写体距離に関する情報を基に、第１視点画像と第２視点画像とから得られる視差が変更されるように、撮影部における撮影パラメータを調整する。
これにより、第１の発明と同様の効果を奏する撮像方法をコンピュータに実行させるプログラムを実現することができる。
【００４４】
第１８の発明は、ステレオ画像を撮影する撮像装置であって、被写体を撮影し、被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する撮影部を備える撮像装置に用いられる集積回路である。この集積回路は、取得部と、推定部と、調整部と、を備える。
【００４５】
取得部は、第１視点画像および第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、被写体の大きさに関する情報である被写体サイズ情報を取得する。
推定部は、被写体サイズ情報に基づいて、撮像装置から被写体までの距離である被写体距離を推定する。
【００４６】
調整部は、少なくとも推定部が推定した被写体距離に関する情報を基に、第１視点画像と第２視点画像とから得られる視差が変更されるように、撮影部における撮影パラメータを調整する。
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
【発明の効果】
【００４７】
本発明によれば、立体撮影時の撮影パラメータ（例えば、ステレオベース（視点間距離）や輻輳角）を、被写体の大きさに関する情報に応じて（例えば、撮影モードに応じて、被写体の大きさに関する情報を取得して）、適切に設定することで、鑑賞時に、自然な立体感（自然な遠近感）を再現することが可能な立体画像（３次元画像）を取得することができるステレオ画像用撮像装置、ステレオ画像取得方法、プログラム及び集積回路を実現することができる。
【図面の簡単な説明】
【００４８】
【図１】第１実施形態のステレオ画像用撮像装置１０００の概略構成図
【図２】被写体距離と視差との関係に関する説明図
【図３】被写体距離と視差との関係に関する説明図
【図４】被写体距離に応じた最適な視点間距離の設定に関する説明図
【図５】撮影モードと推定被写体サイズとを対応付けたテーブルの一例を示す図
【図６】被写体サイズと焦点距離から被写体距離を推定する方法に関する説明図
【図７】被写体距離と視点間距離と仮想スクリーンまでの距離についての説明図
【図８】被写体距離と視点間距離と仮想スクリーンまでの距離についての説明図
【図９】第１実施形態のステレオ画像用撮像装置１０００の処理フローを示すフローチャート
【図１０】顔検出結果から被写体サイズを推定する方法に関する説明図
【図１１】被写体サイズを推定しやすい撮影モード例に関する説明図
【図１２】第１実施形態の変形例のステレオ画像用撮像装置１０００Ａの概略構成図
【図１３】第２実施形態のステレオ画像用撮像装置２０００の概略構成図
【図１４】第２実施形態の変形例のステレオ画像用撮像装置２０００Ａの概略構成図
【図１５】輻輳位置に関する説明図
【図１６】第２実施形態のステレオ画像用撮像装置２０００の処理フローを示すフローチャート
【図１７】従来例の視点間距離の設定動作を示すフローチャート図
【図１８】従来例の図１６中のステップＳ１４の詳細なフローチャート図
【発明を実施するための形態】
【００４９】
以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
＜１．１：ステレオ画像撮影装置の構成＞
図１に、第１実施形態のステレオ画像用撮像装置１０００の概略構成図を示す。
図１に示すように、ステレオ画像用撮像装置１０００は、光学系１０１と、光学系１０２と、第１撮像部１０３と、第２撮像部１０４と、カメラ信号処理部１０５と、画像記録部１０６と、撮影モード選択部１０７と、被写体サイズ推定部１０８と、被写体距離推定部１０９と、視点間距離情報算出部１１０と、視点間距離調整部１１１と、を備える。
【００５０】
なお、ステレオ画像用撮像装置１０００は、ステレオ画像用撮像装置１０００の各機能部の全部又は一部を制御する制御部（不図示）を備える。この制御部は、例えば、マイクロプロセッサ、ＲＯＭ及びＲＡＭにより実現される。
また、ステレオ画像用撮像装置１０００の各機能部の全部又は一部及び制御部は、直接接続されるものであってもよいし、バスを介して接続されるものであってもよい。
【００５１】
以下、ステレオ画像用撮像装置１０００の各構成要素に関して詳細に説明を行なう。
光学系１０１は、対物レンズ、ズームレンズ、絞り、フォーカスレンズを含む構成となっており、被写体からの光を集光し被写体像を形成する。光学系１０１は、形成した被写体像を第１撮像部１０３に出力する。光学系１０１には、撮影モード選択部１０７により選択された撮影モードに応じた制御信号がステレオ画像用撮像装置１０００全体を制御するコントローラから入力される。そして、光学系１０１は、当該制御信号に基づいて撮影パラメータ（焦点距離、露光量、絞り量、レンズ位置等）が調整される。
【００５２】
第１撮像部１０３は、光学系１０１で集光した被写体像を撮像し、画像信号を生成する。そして、第１撮像部１０３は、生成した画像信号を第１視点画像としてカメラ信号処理部１０５に出力する。また、第１撮像部１０３は、視点間距離調整部１１１から入力される第１調整信号により、第１撮像部１０３の位置調整が実行できる機構を有している。なお、第１撮像部１０３は、ＣＭＯＳ若しくはＣＣＤ等の撮像素子で構成される。
【００５３】
なお、光学系１０１及び、第１撮像部１０３は、第１調整信号により、光学系１０１と第１撮像部１０３とが連動して位置調整される機構を有していてもよい。また、光学系１０１及び第１撮像部１０３は、１つのユニットに収納され、当該ユニットが、第１調整信号により、位置調整されるものであってもよい。
光学系１０２は、光学系１０１と同様に、対物レンズ、ズームレンズ、絞り、フォーカスレンズを含む構成となっており、被写体からの光を集光し被写体像を形成する。光学系１０２は、ステレオ画像が撮影できるように、光学系１０１とは別視点に配置されている。光学系１０２には、撮影モード選択部１０７により選択された撮影モードに応じた制御信号がステレオ画像用撮像装置１０００全体を制御するコントローラから入力される。そして、光学系１０２は、当該制御信号に基づいて撮影パラメータ（焦点距離、露光量、絞り量、レンズ位置等）が調整される。
【００５４】
第２撮像部１０４は、光学系１０２で集光した被写体像を撮像し、画像信号を生成する。そして、第２撮像部１０４は、生成した画像信号を第２視点画像としてカメラ信号処理部１０５に出力する。また、第２撮像部１０４は、視点間距離調整部１１１から入力される第２調整信号により、第２撮像部１０４の位置調整が実行できる機構を有している。
なお、光学系１０２及び、第２撮像部１０４は、第２調整信号により、光学系１０２と、第２撮像部１０４とが連動して位置調整される機構を有していてもよい。また、光学系１０２及び第２撮像部１０４は、１つのユニットに収納され、当該ユニットが、第２調整信号により、位置調整されるものであってもよい。また、第１撮像部１０３と、第２撮像部１０４と、が同一の撮像部で構成しても構わない。例えば、同一の撮像部がＣＭＯＳで構成されている場合、ＣＭＯＳの全領域（ＣＭＯＳ型撮像素子の撮像素子面の全領域）のうち、第１領域が光学系１０１で集光した光を受光する構成となる。また、ＣＭＯＳの全領域のうち、第１領域とは異なる第２領域が光学系１０２で集光した光を受光する構成となる。また、第１調整信号と、第２調整信号とで調整されるものは、光学系１０１及び、光学系１０２となる。なお、第２撮像部１０４は、第１撮像部１０３と同様にＣＭＯＳ若しくはＣＣＤ等の撮像素子で構成される。
【００５５】
カメラ信号処理部１０５は、第１撮像部１０３から出力される第１視点画像及び、第２撮像部１０４から出力される第２視点画像を入力とし、第１視点画像及び第２視点画像に対して、それぞれ、カメラ信号処理（ゲイン調整処理、ガンマ補正処理、アパーチャー調整処理、ＷＢ（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）処理、フィルタ処理等）を実行する。
さらに、カメラ信号処理部１０５は、カメラ信号処理を実行した第１視点画像及び／又は第２視点画像を被写体距離推定部１０９に出力する。
【００５６】
また、カメラ信号処理部１０５は、カメラ信号処理を実行した第１視点画像及び第２視点画像を画像記録部１０６に出力する。このとき、カメラ信号処理部１０５は、カメラ信号処理を実行した第１視点画像及び第２視点画像を、例えばＪＰＥＧ等の所定の記録フォーマットに変換した後、画像記録部１０６に出力してもよい。
画像記録部１０６は、カメラ信号処理部１０５から出力されるカメラ信号処理が実行された第１視点画像及び第２視点画像を、例えば、内部のメモリ若しくは、外部に接続されたメモリ（例えば、不揮発性メモリ）に記録する。なお、画像記録部１０６は、ステレオ画像用撮像装置１０００の外部の記録媒体に第１視点画像及び第２視点画像を記録するものであってもよい。
【００５７】
撮影モード選択部１０７は、ユーザが選択した撮影モードに関する撮影モード情報を取得し、取得した撮影モード情報を被写体サイズ推定部１０８に出力する。
ここで、「撮影モード」とは、ユーザが想定する撮影シーンを示すものであり、例えば、（１）人物モード、（２）子供モード、（３）ペットモード、（４）マクロモード、（５）風景モードなどがある。ステレオ画像用撮像装置１０００は、この撮影モードを基に、適切な撮影パラメータを設定することになる。なお、ステレオ画像用撮像装置１０００が自動設定を行うカメラ自動設定モードを含めるようにしてもよい。このカメラ自動設定モードは、ステレオ画像用撮像装置１０００が複数の撮影モードから、自動的に適切な撮影モードを選択するモードである。
【００５８】
被写体サイズ推定部１０８は、撮影モード選択部１０７から出力される撮影モードに関する情報を入力とし、選択されている撮影モードから推定被写体サイズを決定（推定）する機能を備える。ここで、「被写体のサイズ」とは、実際の被写体の大きさ情報を示すものであり、例えば被写体の高さ、被写体の幅等となる。
なお、被写体サイズ推定部１０８は、撮影モードと、当該撮影モードに対応する推定被写体サイズと、を対応付けた推定テーブルを備える。図５は、撮影モードと推定被写体サイズとを対応付けた推定テーブルの一例を示す。被写体サイズ推定部１０８は、推定テーブルを用いて、選択されている撮影モードから推定被写体サイズを決定（推定）する。
【００５９】
そして、被写体サイズ推定部１０８は、少なくとも決定（推定）した推定被写体サイズを含む被写体情報を被写体距離推定部１０９に出力する。なお、被写体情報は、選択されている撮影モードに関する情報を含むものであってもよい。なお、被写体サイズ推定部１０８は、推定テーブルを持つ構成に限定されるものではなく、撮影モードと、推定被写体サイズとの関係を関数として保持する構成でも構わない。
【００６０】
被写体距離推定部１０９は、被写体サイズ推定部１０８から出力される被写体情報と、制御部により取得されている光学系１０１の焦点距離ｆ１及び／又は光学系１０２の焦点距離ｆ２に関する情報と、カメラ信号処理部１０５から出力されるカメラ信号処理を実行した第１視点画像及び／又は第２視点画像（以下、「スルー画像信号」と称す）と、を入力とし、ステレオ画像用撮像装置１０００から被写体までの距離である被写体距離Ｌを算出する。
【００６１】
具体的には、被写体距離推定部１０９は、スルー画像信号を基に、第１撮像部１０３及び／又は第２撮像部１０４における撮像素子における被写体の高さを取得し、取得した高さと、焦点距離ｆ１及び／又は焦点距離ｆ２と、被写体情報から取得可能な被写体サイズと、を用いて幾何学的特性から被写体距離Ｌを算出する。ここで、撮像素子の大きさＳは予めステレオ画像用撮像装置１０００に蓄積される。なお、スルー画像信号は、第１視点画像及び第２視点画像のどちらか一方だけでもよい。被写体距離推定部１０９は、スルー画像信号が、第１視点画像のみである場合、焦点距離ｆ１を用いて被写体距離を推定し、スルー画像信号が、第２視点画像のみである場合、焦点距離ｆ２を用いて被写体距離を推定する。また、スルー画像信号を、第１視点画像及び第２視点画像のどちらか一方に固定する場合、被写体距離推定部１０９は、固定した画像信号に対応する焦点距離についての情報のみを取得すればよい。
【００６２】
被写体距離推定部１０９は、推定した被写体距離Ｌに関する被写体距離情報を視点間距離情報算出部１１０に出力する。
視点間距離情報算出部１１０は、予め設定される視聴距離と、被写体距離推定部１０９から出力される被写体距離情報と、を入力とし、視聴時における被写体の視差量が目標とする視差量（以下、「目標視差量」と称す）となるように視点間距離（ステレオベース）を算出する。視点間距離情報算出部１１０は、算出した視点間距離（ステレオベース）に関する情報である視点間距離情報を視点間距離調整部１１１に出力する。
【００６３】
ここで、「視聴距離」とは、画像記録部１０６に記録される第１視点画像及び、第２視点画像を視聴する際の、当該第１視点画像及び当該第２視点画像を表示する表示装置と、視聴者と、の距離を示す。視聴距離は、ユーザが撮影する際に設定しても構わないし、ステレオ画像用撮像装置１０００の出荷時にメーカー側で、標準値を決めて、視聴距離を設定するようにしてもよい。さらに、視聴距離は、ユーザが各家庭での状況に応じて設定されるものであってもよいし、ユーザが保有するテレビのインチ数を設定して、テレビ画面のインチ数に基づいて、カメラ内部で標準視距離（例えば、画面の高さの３倍の距離等）に変換して設定されるものであってもよい。また、メーカー側で、出荷時に、標準インチ数を想定して、標準視距離に基づいて設定されるものであってもよい。
【００６４】
また、「目標視差量」とは、例えば、ステレオ画像用撮像装置１０００の設計者が安全性を重視する場合、撮影した画像信号を視聴した際に、視聴者が当該画像信号を立体として認識可能な視差量若しくは、当該画像信号を視聴した際に視聴者の身体の安全が保障される視差量となる。
視点間距離調整部１１１は、視点間距離情報算出部１１０から出力される視点間距離情報を基に、第１撮像部１０３及び／又は光学系１０１の位置調整を指示する第１調整信号及び、第２撮像部１０４及び／又は光学系１０２の位置調整を指示する第２調整信号を算出する。具体的には、視点間距離調整部１１１は、第１撮像部１０３と第２撮像部１０４との相対位置（光学系１０１及び第１撮像部１０３と、光学系１０２及び第２撮像部１０４との相対位置）が、視点間距離情報算出部１１０により算出された視点間距離に一致するように第１調整信号及び、第２調整信号を算出する。
【００６５】
なお、視点間距離調整部１１１の第１撮像部１０３と第２撮像部１０４との相対位置の調整処理は、以下の（１）、（２）によるものであってもよい。
（１）視点間距離調整部１１１から出力される第１調整信号により、光学系１０１及び第１撮像部１０３が連動して移動する。さらに、第２調整信号により光学系１０２及び第２撮像部１０４が連動して移動する。これにより、相対位置を調整する。
（２）光学系１０１及び第１撮像部１０３によって構成されるユニットが、第１調整信号に基づいて移動する。さらに、光学系１０２及び第２撮像部１０４によって構成されるユニットが、第２調整信号に基づいて移動する。これにより、相対位置を調整する。
【００６６】
また、第１画像信号（第１視点画像を形成する画像信号）と、第２画像信号（第２視点画像を形成する画像信号）とが、視点間距離情報に規定される視点間距離に一致する状態で取得されたものであればよいので、第１撮像部１０３及び第２撮像部１０４の物理的な距離が必ずしも当該視点間距離に一致していなくてもよい。例えば、光学系１０１及び、光学系１０２が被写体からの光を集光する際の光路を変更させる機構を備え、当該光路を変更することにより当該視点間距離に一致する第１視点画像と、第２視点画像とを撮影する構成にしても構わない。
【００６７】
＜１．２：ステレオ画像撮影装置の動作＞
以上のように構成されたステレオ画像用撮像装置１０００の動作について、以下、図１〜図１１を参照しながら説明する。なお、図９は、ステレオ画像用撮像装置１０００で実行されるステレオ画像取得方法の処理フローを示すフローチャートである。
以下、説明の便宜上、被写体サイズ推定部１０８では、被写体の高さｈを決定（推定）するものとする。また、被写体サイズ推定部１０８は、図５に示す推定テーブルを保持しているものとする。
【００６８】
（ステップＳ１０１）：
まず、撮影モード選択部１０７は、ステレオ画像用撮像装置１０００に設定される撮影モードを取得する。そして、撮影モード選択部１０７は、取得した撮影モード情報を被写体サイズ推定部１０８に出力する。
（ステップＳ１０２）：
次に、被写体サイズ推定部１０８は、撮影モード選択部１０７から出力される撮影モード情報を基に、被写体の高さｈを決定（推定）する。そして、少なくとも決定（推定）した被写体の高さｈの情報を含む被写体情報を被写体距離推定部１０９に出力する。具体的に被写体サイズ推定部１０８は、撮影モード情報に規定される撮影モードに応じて推定テーブルから、被写体の高さｈを取得する。例えば、撮影モード選択部１０７で選択された撮影モードが「人物モード」である場合、被写体サイズ推定部１０８は、推定テーブルを参照し、「人物モード」に対応する「推定被写体サイズ」である「１．６ｍ」を取得する。そして、被写体サイズ推定部１０８は、取得した「１．６ｍ」に関する情報と、「人物モード」に関する撮影モード情報を含む被写体情報を被写体距離推定部１０９に出力する。
【００６９】
（ステップＳ１０３）：
次に、被写体距離推定部１０９は、被写体サイズ推定部１０８から出力される被写体情報と、光学系１０１の焦点距離ｆ１及び／又は光学系１０２の焦点距離ｆ２に関する情報と、カメラ信号処理部１０５から入力されるスルー画像信号と、に基づいて、被写体距離Ｌを算出する。
【００７０】
図６は、被写体サイズと焦点距離とから被写体距離を推定する方法を説明するための図である。以下、被写体距離推定部１０９における被写体距離Ｌの算出方法について具体的に説明する。
被写体距離推定部１０９は、スルー画像信号を基に、第１撮像部１０３及び／又は第２撮像部１０４における撮像素子における目的の被写体の高さを取得する。具体的には、撮像素子の大きさ（高さ）をｓであり、スルー画像の縦１０８０ピクセルのうち８１０ピクセルが被写体の高さである場合、撮像素子における目的の被写体の高さは、３／４ｓと算出される。
【００７１】
さらに、被写体距離推定部１０９は、焦点距離をｆ、被写体の高さをｈ、撮像素子面における目的の被写体の高さをｓとした場合、（数１）に基づいて被写体距離Ｌを算出する。つまり、撮像素子面における目的の被写体の高さＳと、焦点距離ｆと、被写体の高さｈとの幾何学的特性を基に、被写体距離Ｌを算出する。
【００７２】
【数１】
Ｌ＝４／３×（ｈ×ｆ／ｓ）
そして、被写体距離推定部１０９は、算出した被写体距離Ｌを含む被写体距離情報を視点間距離情報算出部１１０に出力する。
【００７３】
（ステップＳ１０４）：
次に、視点間距離情報算出部１１０は、被写体距離推定部１０９により推定された被写体距離Ｌから所定の条件に基づいて、第１撮像部１０３と第２撮像部１０４とに対して設定すべき視点間距離情報を算出する。例えば、視点間距離情報算出部１１０は、仮想スクリーン面上の視差が第１の閾値以下となるように、視点間距離情報を算出する。また、視点間距離情報算出部１１０は、仮想スクリーン面上の視差の差が第２の閾値以上となるように、視点間距離情報を算出する。そして、視点間距離情報算出部１１０は、算出した視点間距離情報を視点間距離調整部１１１に出力する。ここで、「仮想スクリーン」とは、第１視点画像と、第２視点画像と、を表示するディスプレイを仮想的に設定したものである。
【００７４】
ここで、光学系１０１は、図４の右眼用カメラ（の光学系）に相当し、光学系１０２は、図４の左眼用カメラ（の光学系）に相当する。つまり、図４の右眼用カメラで取得される画像が、第１画像信号に相当し、図４の左眼用カメラで取得される画像が、第２画像信号に相当する。
なお、被写体距離Ｌを基に視点間距離情報を作成する詳細な動作については後述する。
【００７５】
（ステップＳ１０５）：
次に、視点間距離調整部１１１は、視点間距離情報算出部１１０から出力される視点間距離情報を基に、第１調整信号及び、第２調整信号を生成し、それぞれ第１撮像部１０３及び、第２撮像部１０４に出力する。そして、第１撮像部１０３は、第１調整信号に基づいて、当該第１撮像部の相対位置の調整を行う。また、第２撮像部１０４は、第２調整信号に基づいて、当該第２撮像部の相対位置の調整を行う。
【００７６】
（ステップＳ１０６）：
この調整後、第１撮像部１０３及び第２撮像部１０４により、被写体を撮像することで、視点間距離情報算出部１１０で算出された視点間距離による画像（ステレオ画像）が取得される。
そして、この状態で、第１撮像部１０３及び第２撮像部１０４により撮像された画像信号は、それぞれ、カメラ信号処理部１０５によりカメラ処理を実行された後、画像記録部１０６により、ステレオ画像データとして記録される。
【００７７】
＜１．３：視点間距離情報算出部１１０の具体的動作＞
以下、視点間距離情報算出部１１０の視点間距離を算出する動作について図面を参照しながら説明を行う。
（１．３．１：視差量を調整する被写体が１つの場合）
以下、視差量を調整する被写体が１つだけ存在する場合を説明する。
【００７８】
図７は、目的の被写体までの距離Ｌと、視聴距離Ｋと、視点間距離Ｖ（光学系１０１の入光位置と光学系１０２の入光位置との距離）と、仮想スクリーン上の目標視差量Ｄとの関係を説明するための図である。なお、目標視差量Ｄは所定の条件を基に決定される変数である。ここで、入光位置とは、被写体からの光が光学系１０１若しくは、光学系１０２に入ってくる位置、つまり、光学系１０１若しくは、光学系１０２を１つのレンズと仮想したときの当該レンズの主点に相当する位置のことである。本実施形態における入光位置はレンズの主点に限定されるものではなく、当該レンズ全体の重心位置、第１撮像部１０３若しくは第２撮像部１０４におけるセンサ面等、ステレオ画像用撮像装置１０００における任意の位置を用いることが出来る。さらに、図７において視聴距離Ｋは、カメラ位置と仮想スクリーンとの距離として示される。
【００７９】
視点間距離情報算出部１１０は、図７（ａ）に示すように、被写体が仮想スクリーンの奥に存在する場合、幾何学的特性に基づいて設定される（数２）を用いて視点間距離Ｖを算出する。
【００８０】
【数２】
Ｖ＝Ｄ・Ｌ／（Ｌ−Ｋ）
また、視点間距離情報算出部１１０は、図７（ｂ）に示すように、被写体が仮想スクリーンの手前に存在する場合、幾何学的特性に基づいて設定される（数３）を用いて視点間距離Ｖを算出する。
【００８１】
【数３】
Ｖ＝−Ｄ・Ｌ／（Ｌ−Ｋ）
なお、上記の目標視差量はどのような値に設定しても良く、ステレオ画像用撮像装置１０００により取得されるステレオ画像が自然な立体感を再現するものとなるように、目標視差量の値が設定されることが好ましい。「自然な立体感」を再現するステレオ画像とは、例えば、（１）適切な視差が設定されており、視聴者が当該ステレオ画像を見たとき、（２重像とならず）適切に融像されるステレオ画像や、（２）適切な視差が設定されており、視聴者が当該ステレオ画像を見たとき、所定の物体の立体感が適切に再現される（例えば、所定の物体が平板状になる現象（書き割り現象）等を発生させず、当該物体の実際の立体感（例えば、当該物体の凹凸感）が適切に再現される）ステレオ画像である。
【００８２】
目標視差量を設定するときに、例えば、ステレオ画像用撮像装置１０００の設計者が視聴時における立体感を重要視する場合、図７（ａ）に示す被写体との成す角α１と、仮想スクリーンと成す角β１との差分絶対値が１°以内となるように設定される構成等、一般にステレオ画像を視聴した際に２重像とは見えない領域である立体視可能領域内の視差量に基づいて、目標視差量を設定するようにしても構わない。なお、立体視可能領域の視差量は、上記の値に限定されるものではなく表示デバイスの性能若しくは、視聴環境等によって変動するものであってもよい。また、他の基準がある場合は当該基準に従って目標視差量が設定される。
そして、視点間距離情報算出部１１０は、算出した視点間距離Ｖに関する情報である視点間距離情報を視点間距離調整部１１１に出力する。
【００８３】
（１．３．２：視差量を調整する被写体が複数の場合）
次に、視差量を調整する被写体が複数存在する場合を説明する。
図８は、図７とは異なり被写体が２つ存在する場合を示す図である。図７と同一のものについては同じ呼称を付し、説明を省略する。
【００８４】
視点間距離情報算出部１１０は、２つの被写体における視差量が目標視差量となるように視点間距離Ｖを設定する。設定する目標視差量は、どのような値に設定しても良く、所定の基準に従って視差量が設定される。
以下、ステレオ画像用撮像装置１０００の設計者が安全性を重要視する場合における視差量の調整について説明を行なう。ここで、ステレオ画像用撮像装置１０００で撮影する最も手前の被写体位置をＰｍｉｎとし、ステレオ画像用撮像装置１０００で撮影する最も奥の被写体位置をＰｍａｘと設定する。
【００８５】
この場合、位置Ｐｍｉｎ〜位置Ｐｍａｘの領域内の視差量が、一般の人がステレオ画像を融像できる視差量となるように、ステレオ画像用視点間距離Ｖを調整することが好ましい。例えば、図８に示す位置Ｐｍｉｎ〜位置Ｐｍａｘの領域が、立体視可能領域内となるように、視点間距離Ｖを調整することが好ましい。ここで、立体視可能領域について、図８（ｂ）を用いて説明する。
【００８６】
図８（ｂ）に示すように、光学系１０１の入光位置をＰ１とし、光学系１０２の入光位置をＰ２とし、図８に示すように位置Ｐ３、Ｐ４を設定した場合、直線Ｐ１−Ｐ３と直線Ｐ３−Ｐ２のなす角α２と、直線Ｐ１−Ｐ４と直線Ｐ４−Ｐ２のなす角β２との間に、（数４）の関係がある場合、図８に示したＰ３、Ｐ４間の領域は、立体視可能領域となり、この領域に被写体位置があれば、その状態で撮像されたステレオ画像は、多くの人にとって融像可能なステレオ画像となる。
【００８７】
【数４】
｜α２−β２｜≦１°
したがって、ステレオ画像用撮像装置１０００において、例えば、位置Ｐｍｉｎ〜位置Ｐｍａｘの領域が、上記立体視可能領域内となるように、視点間距離情報算出部１１０が視点間距離Ｖを算出する。
【００８８】
そして、視点間距離情報算出部１１０は、算出した視点間距離Ｖに関する情報である視点間距離情報を視点間距離調整部１１１に出力する。
以上のように、ステレオ画像用撮像装置１０００では、撮影モードから被写体の大きさを決定（推定）し、決定（推定）した被写体の大きさと焦点距離とから、被写体までの距離である被写体距離Ｌを算出する。さらに、ステレオ画像用撮像装置１０００では、被写体までの距離から最適な視差（例えば、立体視可能領域内となる視差）を実現する視点間距離（ステレオベース）を算出し、算出結果に基づいて、視点間距離（ステレオベース）を決定する。そして、ステレオ画像用撮像装置１０００では、決定された視点間距離となるように（決定された視点間距離によりステレオ画像が取得できるように）、２つの撮像部（第１撮像部１０３及び第２撮像部１０４）の位置を調整した後、２つの撮像部（第１撮像部１０３及び第２撮像部１０４）によりステレオ画像を取得する。このようにして取得されたステレオ画像を表示装置に表示させた場合、仮想スクリーン上（表示装置の表示画面上）での視差が適切な視差となるため、適切な立体感を持つステレオ画像表示が可能となる。すなわち、ステレオ画像用撮像装置１０００では、上記処理により、適切な立体感をもつステレオ画像撮影が可能となる。
【００８９】
なお、上記では、ステレオ画像用撮像装置１０００において、立体視可能領域内となる視差に基づいて、最適な視差を決定する例について説明したが、これに限定されることはなく、例えば、ステレオ画像用撮像装置１０００において、所定の物体が適切な立体感（例えば、書き割り現象の発生を抑制し、適切な凹凸感）を実現させるための基準により、最適な視差を決定するようにしてもよい。
【００９０】
また、ステレオ画像用撮像装置１０００において、視点間距離調整部１１１がない場合、ステレオ画像用撮像装置１０００が撮影者に設定すべき視点間距離情報を提示し、撮影者自身が、視点間距離を設定するようにしてもよい。
また、視点間距離情報算出部１１０において、視点間距離情報が所定の範囲を超え、物理的に視点間距離を設定できない場合、ステレオ画像用撮像装置１０００は、撮影者に、モニタ画面やランプなどを通して、警告情報を表示する構成であってもよい。
【００９１】
また、ステレオ画像用撮像装置１０００において、第１撮像部１０３と第２撮像部１０４の両方を用いてステレオ画像を撮影する２眼撮影モードと、第１撮像部１０３もしくは第２撮像部１０４のどちらかを一方のみ用いて、少なくとも２回以上撮影することによりステレオ画像を撮影する２回撮影モードを有する場合、視点間距離情報算出部１１０にて、視点間距離情報が所定の範囲内（例えば、立体視可能領域内）の場合は２眼撮影モード、視点間距離情報が所定の範囲（例えば、立体視可能領域）を超える場合は２回撮影モードを選択して、動作するものであってもよい。この場合、ステレオ画像用撮像装置１０００では、以下のような処理を行うものであってもよい。すなわち、２眼撮影モードが選択された場合、ステレオ画像用撮像装置１０００では、視点間距離調整部１１１にて第１撮像部１０３及び第２撮像部１０４の相対位置を調整して撮影し、２回撮影モードが選択された場合、第１撮像部１０３もしくは第２撮像部１０４のいずれかを用いて、撮影者が所定の距離をずらして２回撮影するように促す。
【００９２】
また、被写体距離推定部１０９において、顔検出処理（画像上において、顔を形成する画像領域を検出する処理）を行い、顔検出処理により検出された顔領域サイズあるいは顔領域位置を算出し、算出された顔領域サイズあるいは顔領域位置に基づいて、被写体サイズを推定するようにしてもよい。
図１０に、顔検出結果から被写体サイズを推定する方法に関する説明図を示す。顔の大きさ（高さ）を０．２５ｍと想定した場合、顔検出結果の検出枠の高さｋとし、撮影画面（スルー画像信号により形成される画像）の高さをｙとした場合、図６と同様の考え方により、被写体距離Ｌは、（数５）を用いて推定することが出来る。
【００９３】
【数５】
Ｌ＝ｙ／ｋ×（ｈ×ｆ／ｓ）
なお、被写体距離推定部１０９において、検出枠の高さｋの代わりに、図中の検出枠の位置ｊを用いて算出するようにしてもよい。
【００９４】
また、ステレオ画像用撮像装置１０００において、被写体サイズを推定しやすい、被写体の撮影部分を表わす撮影モードを追加することで、被写体サイズの推定精度を高めることが可能である。図１１に、被写体サイズを推定しやすい撮影モード例に関する説明図を示す。図１１中に示すように、人物モードをさらに分類し、（１）人物全体を撮影することを想定した全身モード、（２）上半身を撮影することを想定したバストアップモード、（３）顔を撮影することを想定した顔アップモードなどのモードを追加することで、ステレオ画像用撮像装置１０００において、人物の大きさをより精度よく推定することが可能となる。また、ステレオ画像用撮像装置１０００において追加する撮影モードについては、被写体の撮影部分を表わすことができれば、人物モードに限らない。
【００９５】
なお、ステップＳ１０１からステップＳ１０５の動作を、ステレオ画像用撮像装置１０００を用いて被写体を撮影する際の初期設定時にのみ行う構成にしても構わない。このように構成することで、初期設定後に使用者の撮影目的に応じて自動設定された視点間距離を、自動設定された後に自由に設定することが可能となる効果を奏する。
なお、Ｓ１０３以降の動作を、ステレオ画像用撮像装置１０００が備えるシャッターが半押しされたときのみ動作させる構成にしても構わない。
【００９６】
また、Ｓ１０３以降の動作は、撮影モードが一定である場合、光学系１０１の焦点距離ｆ１及び／又は光学系１０２の焦点距離ｆ２に関する情報が変更されたときのみ動作させる構成にしても構わない。
【００９７】
≪まとめ≫
以上のように、本実施形態のステレオ画像用撮像装置では、被写体の大きさに関する情報である被写体サイズ情報を、例えば、撮影モードから決定（推定）し、その被写体サイズ情報に基づいて、例えば、ステレオ画像用撮像装置の焦点距離を用いて、当該被写体までの被写体距離を推定する。さらに、本実施形態のステレオ画像用撮像装置では、推定した被写体距離に基づいて、適切な立体感を再現することができるステレオ画像を取得できるように、ステレオ画像撮像装置の撮影パラメータ（例えば、視点間距離）を調整する。
【００９８】
これにより、本実施形態のステレオ画像用撮像装置で取得されるステレオ画像は、適切な立体感を再現するステレオ画像となる。
また、本実施形態のステレオ画像用撮像装置では、撮影モードに応じて被写体距離を推定し、適切な撮影パラメータを設定するので、立体視に関する専門知識を必要とせず、撮影者の撮影意図に応じて、簡便な立体撮影を実現することができる。
【００９９】
なお、第１撮像部１０３および第２撮像部１０４は、「撮像部」の一例である。
また、被写体サイズ推定部は、「取得部」の一例である。
また、被写体距離推定部１０９は、「推定部」の一例である。
また、視点間距離情報算出部１１０および視点間距離調整部１１１は、「調整部」の一例である。
【０１００】
また、撮影モード選択部１０７は、「設定部」の一例である。
また、被写体サイズ推定部１０８は、例えば、図５に示した撮影モードと推定被写体サイズとを対応づけた情報を格納する機能を有しており、この被写体サイズ推定部１０８の機能により「格納部」の機能が実現される。
また、カメラ信号処理部１０５から出力されるスルー画像を用いて、被写体距離推定部１０９が、被写体が撮影されている画像領域を検出することにより、「検出部」の機能が実現される。
【０１０１】
≪変形例≫
次に、本実施形態の変形例について、説明する。
図１２に、本変形例に係るステレオ画像用撮像装置１０００Ａの概略構成部を示す。
図１２に示すように、本変形例に係るステレオ画像用撮像装置１０００Ａは、第１実施形態に係るステレオ画像用撮像装置１０００から、（１）撮影モード選択部１０７を削除し、（２）被写体検出部１１２を追加し、そして、（３）被写体サイズ推定部１０８を被写体サイズ推定部１０８Ａに置換した構成となっている。これらの点以外については、本変形例に係るステレオ画像用撮像装置１０００Ａは、第１実施形態に係るステレオ画像用撮像装置１０００と同様の構成である。
【０１０２】
以下では、本変形例に係るステレオ画像用撮像装置１０００Ａにおいて、第１実施形態に係るステレオ画像用撮像装置１０００と相違する部分について、説明する。
被写体検出部１１２は、カメラ信号処理部１０５からの出力（スルー画像）を入力とし、入力されたスルー画像を解析し、当該スルー画像内に含まれる所定の被写体（例えば、人間の顔や、人物全体等）に相当する画像領域を検出する。例えば、検出しようとする対象が人間の顔である場合、被写体検出部１１２は、スルー画像内に含まれる人間の顔を形成する画像領域を検出する。そして、被写体検出部１１２は、検出した被写体の種類（例えば、人間の顔や、人物全体等）と、スルー画像の画面の高さに対する検出した画像領域の占める割合、あるいは、スルー画像の画面の高さ（例えば、図１０のｙに相当する情報）および検出した画像領域の高さ（例えば、図１０のｋに相当する情報）を、被写体サイズ推定部１０８Ａに出力する。
【０１０３】
以下では、説明便宜のために、図１０と同様に、被写体検出部１１２で検出する対象を「人間の顔」とし、スルー画像の画面の高さをｙ、顔領域の高さをｋとする。
被写体サイズ推定部１０８Ａでは、被写体検出部１１２から、検出対象が「人間の顔」であることを示す情報と、スルー画像の画面の高さｙに関する情報と、検出した顔領域の高さｋに関する情報と、を入力とする。
【０１０４】
そして、被写体サイズ推定部１０８Ａは、図１０を用いて説明したのと同様に、被写体距離（ステレオ画像用撮像装置１０００Ａから検出した人間の顔に相当する被写体までの距離）をＬとし、撮像素子の大きさ（高さ）をｓとし、
Ｌ＝ｙ／ｋ×（ｈ×ｆ／ｓ）
により、被写体距離Ｌ（ステレオ画像用撮像装置１０００Ａから検出した人間の顔に相当する被写体までの距離）を算出する。
【０１０５】
なお、ここでは、検出対象が「人間の顔」であるので、被写体サイズ推定部１０８Ａは、上記数式のｈを、例えば、「０．２５ｍ」に設定する。
また、検出対象が「人間の顔」以外の場合、被写体サイズ推定部１０８Ａは、検出対象に合わせて、上記数式のｈを設定する。例えば、検出対象が「大人の人物全体」である場合、上記数式のｈを、例えば、「１．６ｍ」に設定し、検出対象が「子供の人物全体」である場合、上記数式のｈを、例えば、「１．０ｍ」に設定する。さらに、被写体距離Ｌの推定精度を高めるために、ステレオ画像用撮像装置１０００Ａにおいて、特定の人物のデータ（例えば、当該特定の人物の画像データや当該特定の人物の身体的特徴（例えば、身長や肌の色等）を示すデータ）を予め設定しておき、当該特定の人物が検出されたときには、その特定の人物のデータを用いるようにしてもよい。例えば、特定の人物Ａの身長データ（例えば、これを「１．７４ｍ」とする）および人物Ａの特徴データ（身体的特徴データ）を、予め、ステレオ画像用撮像装置１０００Ａに登録しておき、被写体検出部１１２が、人物Ａの特徴データに基づいて、人物Ａの全体がスルー画像内において確認できた場合、当該人物Ａの全体を検出対象として検出する。そして、被写体検出部１１２は、上記と同様、検出対象が「人物Ａの全体」であることを示す情報と、スルー画像における人物Ａの高さｋに関する情報と、スルー画像の高さｙに関する情報と、を被写体サイズ推定部１０８Ａに出力する。
【０１０６】
そして、被写体サイズ推定部１０８Ａでは、被写体検出部１１２から取得した情報に基づいて、被写体距離Ｌ（ステレオ画像用撮像装置１０００Ａから人物Ａまでの距離）を、
Ｌ＝ｙ／ｋ×（ｈ×ｆ／ｓ）
により、算出する。そして、この場合、ｈを、より精度の高いデータである、人物Ａの身長データ（例えば、「１．７４ｍ」）とすることができるので、ステレオ画像用撮像装置１０００Ａにおいて、より高精度に被写体距離Ｌを推定することができる。
【０１０７】
なお、以降の処理（視点間距離情報算出部１１０、視点間距離調整部１１１等での処理）は、第１実施形態と同様である。
以上により、本変形例に係るステレオ画像用撮像装置１０００Ａでは、特定の被写体を形成する画像領域を検出し、予め登録されている当該特定の被写体のデータを用いることで、さらに被写体距離の推定精度を高めることができる。その結果、本変形例に係るステレオ画像用撮像装置１０００Ａでは、より高精度に推定された被写体距離に基づいて、立体撮影時の撮影パラメータ（例えば、ステレオベース（視点間距離））を適切に設定することで、鑑賞時に、自然な立体感（自然な遠近感）を再現することが可能な立体画像（３次元画像）を取得することができる。
なお、被写体検出部１１２は、「検出部」の一例である。
また、被写体サイズ推定部１０８Ａは、「取得部」の一例である。
【０１０８】
［第２実施形態］
以下、本発明の第２実施形態について、図面を参照しながら説明する。
＜２．１：ステレオ画像用撮像装置の構成＞
図１３に、本実施形態のステレオ画像用撮像装置２０００の概略構成図を示す。本実施形態のステレオ画像用撮像装置２０００は、第１実施形態のステレオ画像用撮像装置１０００において、視点間距離情報算出部１１０及び視点間距離調整部１１１を、輻輳位置情報算出部２１０及び輻輳角調整部２１１に変更した構成である。それ以外について、本実施形態のステレオ画像用撮像装置２０００は、第１実施形態のステレオ画像用撮像装置１０００と同様である。なお、本実施形態において、第１実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【０１０９】
輻輳位置情報算出部２１０は、被写体距離推定部１０９から出力される被写体距離に関する情報を入力とし、被写体距離から輻輳位置を算出する。輻輳位置情報算出部２１０は、算出した輻輳位置に関する情報を輻輳角調整部２１１に出力する。
輻輳角調整部２１１は、輻輳位置情報算出部２１０から出力される輻輳位置に関する情報を入力とする。輻輳角調整部２１１は、第１撮像部１０３と第２撮像部１０４との相対位置（光学系１０１及び第１撮像部１０３と、光学系１０２及び第２撮像部１０４との相対位置）が、輻輳位置情報算出部２１０により算出された輻輳位置（輻輳角）に一致するように制御する。このために、輻輳角調整部２１１は、第１撮像部１０３に対して、第１撮像部１０３の位置調整を行うための制御信号である第１輻輳角調整信号を出力する。また、輻輳角調整部２１１は、第２撮像部１０４に対して、第２撮像部１０４の位置調整を行うための制御信号である第２輻輳角調整信号を出力する。
【０１１０】
なお、輻輳角調整部２１１の第１撮像部１０３と第２撮像部１０４との相対位置の調整処理（輻輳角の調整処理）は、以下の（１）、（２）によるものであってもよい。
（１）輻輳角調整部２１１から出力される制御信号により、光学系１０１及び第１撮像部１０３が連動して移動し、そして、光学系１０２及び第２撮像部１０４が連動して移動する。これにより、相対位置（輻輳位置（輻輳角））を調整する。
（２）光学系１０１及び第１撮像部１０３が１つのユニットを構成し、そのユニットが、輻輳角調整部２１１から出力される制御信号に基づいて移動し、そして、光学系１０２及び第２撮像部１０４が別の１つのユニットを構成し、そのユニットが、輻輳角調整部２１１から出力される制御信号に基づいて移動する。これにより、相対位置（輻輳位置（輻輳角））を調整する。
【０１１１】
また、第１撮像部１０３で取得される画像と、第２撮像部１０４で取得される画像とが、輻輳位置情報算出部２１０により算出された輻輳位置（輻輳角）に一致する状態で取得されたものであればよいので、第１撮像部１０３及び第２撮像部１０４の物理的な位置関係が必ずしも輻輳位置情報算出部２１０により算出された輻輳位置（輻輳角）に一致していなくてもよい。例えば、光学系により光路を変更させることで、第１撮像部１０３で取得される画像と、第２撮像部１０４で取得される画像とが、輻輳位置情報算出部２１０により算出された輻輳位置（輻輳角）に一致する状態で取得されたものと同一のものとなるようにしてもよい。
【０１１２】
＜２．２：ステレオ画像用撮像装置の動作＞
以上のように構成されたステレオ画像用撮像装置２０００の動作について、以下、説明する。なお、図１６は、ステレオ画像用撮像装置２０００で実行されるステレオ画像取得方法の処理フローを示すフローチャートである。
（ステップＳ２０４）：
輻輳位置情報算出部２１０は、被写体距離及び第１撮像部１０３及び第２撮像部１０４との視点間距離情報とから所定の条件に基づいて、第１撮像部１０３の光軸（光学系１０１の光軸）と第２撮像部１０４の光軸（光学系１０２の光軸）との交点位置である輻輳位置を算出する。
【０１１３】
図１５に、輻輳位置に関する説明図を示す。図１５に示すように、第１撮像部１０３の光軸（光学系１０１の光軸）及び第２撮像部１０４の光軸（光学系１０２の光軸）の交点が輻輳位置であり、輻輳位置と被写体位置とが一致する場合、仮想スクリーンに被写体が定位する。一般に、仮想スクリーンの前後に定位するように、輻輳位置を調整することで、見やすい立体画像を実現することが可能である。このため、例えば、被写体距離に合わせるように輻輳位置が設定される。
【０１１４】
（ステップＳ２０５）：
次に、輻輳角調整部２１１は、輻輳位置情報算出部２１０により算出された輻輳位置情報に基づいて、第１撮像部１０３（光学系１０１）の光軸角度と第２撮像部１０４（光学系１０２）の光軸角度を調整する。具体的には、輻輳角調整部２１１は、輻輳位置情報算出部２１０で算出した輻輳位置情報に基づいて、第１画像信号及び、第２画像信号が、輻輳位置情報算出部２１０で算出された輻輳位置により取得された画像信号となるように、第１輻輳角調整信号と、第２輻輳角調整信号とを算出する。そして、輻輳角調整部２１１は、第１撮像部１０３に対して、第１輻輳角調整信号を出力し、第２撮像部１０４に対して、第２輻輳角調整信号を出力する。
【０１１５】
なお、ステレオ画像用撮像装置２０００において、第１輻輳角調整信号により光学系１０１と第１撮像部１０３とが連動して位置調整されるものであってもよい。また、ステレオ画像用撮像装置２０００において、第２輻輳角調整信号により光学系１０２と第２撮像部１０４とが連動して位置調整されるものであってもよい。
第１撮像部１０３は、輻輳角調整部２１１から出力される第１輻輳角調整信号に基づいて、その位置（輻輳位置（輻輳角））を調整する。さらに、第２撮像部１０４は、輻輳角調整部２１１から出力される第２輻輳角調整信号に基づいて、その位置（輻輳位置（輻輳角））を調整する。
【０１１６】
（ステップＳ２０６）：
この調整後、第１撮像部１０３及び第２撮像部１０４により、被写体を撮像することで、輻輳位置情報算出部２１０で算出された輻輳位置（輻輳角）による画像（ステレオ画像）が取得される。
そして、この状態で、第１撮像部１０３及び第２撮像部１０４により撮像された画像信号は、それぞれ、カメラ信号処理部１０５によりカメラ処理を実行された後、画像記録部１０６により、ステレオ画像データとして記録される。
【０１１７】
≪まとめ≫
以上のように、ステレオ画像用撮像装置２０００では、撮影モードから被写体の大きさを推定し、推定した被写体の大きさと焦点距離とから、被写体までの距離を推定する。さらに、ステレオ画像用撮像装置２０００では、被写体までの距離から最適な視差（例えば、立体視可能領域内となる視差）を実現する輻輳位置を算出し、算出結果に基づいて輻輳角を決定する。そして、ステレオ画像用撮像装置２０００では、２つの撮像部（第１撮像部１０３（光学系１０１）及び第２撮像部１０４（光学系１０２））の光軸を調整した後、２つの撮像部（第１撮像部１０３及び第２撮像部１０４）によりステレオ画像を取得する。このようにして取得されたステレオ画像を表示装置に表示させた場合、仮想スクリーン上（表示装置の表示画面上）での視差が適切な視差となるため、適切な立体感を持つステレオ画像表示が可能となる。すなわち、ステレオ画像用撮像装置２０００では、上記処理により、適切な立体感をもつステレオ画像撮影が可能となる。
【０１１８】
なお、上記では、ステレオ画像用撮像装置２０００において、立体視可能領域内となる視差に基づいて、最適な視差を決定する例について説明したが、これに限定されることはなく、例えば、ステレオ画像用撮像装置２０００において、所定の物体が適切な立体感（例えば、書き割り現象の発生を抑制し、適切な凹凸感）を実現させるための基準により、最適な視差を決定するようにしてもよい。
【０１１９】
また、第１撮像部１０３および第２撮像部１０４は、「撮像部」の一例である。
また、被写体サイズ推定部１０８は、「取得部」の一例である。
また、被写体距離推定部１０９は、「推定部」の一例である。
また、輻輳位置情報算出部２１０および輻輳角調整部２１１は、「調整部」の一例である。
【０１２０】
また、撮影モード選択部１０７は、「設定部」の一例である。
また、被写体サイズ推定部１０８は、例えば、図５に示した撮影モードと推定被写体サイズとを対応づけた情報を格納する機能を有しており、この被写体サイズ推定部１０８の機能により「格納部」の機能が実現される。
また、カメラ信号処理部１０５から出力されるスルー画像を用いて、被写体距離推定部１０９が、被写体が撮影されている画像領域を検出することにより、「検出部」の機能が実現される。
【０１２１】
≪変形例≫
次に、本実施形態の変形例について、説明する。
図１４に、本変形例に係るステレオ画像用撮像装置２０００Ａの概略構成部を示す。
図１４に示すように、本変形例に係るステレオ画像用撮像装置２０００Ａは、第１実施形態の変形例に係るステレオ画像用撮像装置１０００Ａにおいて、（１）視点間距離情報算出部１１０を輻輳位置情報算出部２１０に置換し、（２）視点間距離調整部１１１を輻輳角調整部２１１に置換した構成となっている。これらの点以外については、本変形例に係るステレオ画像用撮像装置２０００Ａは、第１実施形態の変形例に係るステレオ画像用撮像装置１０００Ａと、同様の構成である。
【０１２２】
なお、本変形例に係るステレオ画像用撮像装置２０００Ａでは、調整する撮影パラメータが輻輳角であるのに対して、第１実施形態の変形例に係るステレオ画像用撮像装置１０００Ａでは、調整する撮影パラメータが視点間距離である。本変形例に係るステレオ画像用撮像装置２０００Ａの動作についても、この点のみが、第１実施形態の変形例に係るステレオ画像用撮像装置１０００Ａの動作と相違する。
【０１２３】
したがって、本変形例に係るステレオ画像用撮像装置２０００Ａでは、第１実施形態の変形例に係るステレオ画像用撮像装置１０００Ａと同様に、特定の被写体を形成する画像領域を検出し、予め登録されている当該特定の被写体のデータを用いることで、さらに被写体距離の推定精度を高めることができる。その結果、本変形例に係るステレオ画像用撮像装置２０００Ａでは、より高精度に推定された被写体距離に基づいて、立体撮影時の撮影パラメータ（例えば、輻輳角）を適切に設定することで、鑑賞時に、自然な立体感（自然な遠近感）を再現することが可能な立体画像（３次元画像）を取得することができる。
【０１２４】
［他の実施形態］
なお、上記実施形態では、２つの撮像部（第１撮像部１０３および第２撮像部１０４）により、ステレオ画像（左眼用画像および右眼用画像）を取得（撮像）している場合について説明した。しかし、これに限定されることはなく、例えば、１つの撮像素子（撮像部）により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、１つの撮像素子の撮像素子面を２分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。また、第１視点からの被写体光の光路と、第２視点からの被写体光の光路とを光学的に切り換える機構を設け、１つの撮像部により、左眼用画像と右眼用画像とを取得するようにしてもよい。
【０１２５】
また、第２実施形態において、ステレオ画像用撮像装置２０００に、輻輳角調整部２１１の代わりに、輻輳位置情報算出部２１０により算出された輻輳位置情報に基づいて、第１撮像部１０３の撮像素子面及び／又は第２撮像部１０４の撮像素子面をずらすことで、輻輳位置を調整する撮像素子面シフト調整部をさらに備えるようにしてもよい。そして、この撮像素子面シフト調整部により、輻輳位置を調整するようにしてもよい。
【０１２６】
また、第２実施形態において、ステレオ画像用撮像装置２０００に、輻輳位置情報算出部２１０により算出された輻輳位置情報に基づいて、第１撮像部１０３及び／又は第２撮像部１０４の撮像素子面の所定の範囲に相当する画像データを読み出すことで、輻輳位置を調整する撮像素子面所定領域抽出部をさらに備えるようにしてもよい。そして、この撮像素子面所定領域抽出部により、輻輳位置を調整するようにしてもよい。
【０１２７】
また、上記実施形態において、左右の対応関係（例えば、第１視点（例えば、左眼視点に対応）および第２視点（例えば、右眼視点に対応）の左右対応関係や、第１視点により取得される画像（例えば、左眼用画像に対応）および第２視点により取得される画像（例えば、右眼用画像に対応）の左右対応関係）は、必ずしも、上記実施形態の記載に限定されるものではなく、発明の要旨を逸脱しない範囲で、左右関係を入れ替えてもよい。
【０１２８】
また、上記実施形態で説明したステレオ画像用撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１２９】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０１３０】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェア及びハードウェアの混在処理により実現しても良い。なお、上記実施形態に係るステレオ画像用撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【０１３１】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕｅ−ｒａｙ  Ｄｉｓｃ）、半導体メモリを挙げることができる。
【０１３２】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更及び修正が可能である。
【産業上の利用可能性】
【０１３３】
本発明の撮像装置、撮像方法、プログラム及び集積回路では、ステレオ画像撮影機能を有するデジタルカメラ、デジタルビデオカメラにおいて、適切な立体感をもつステレオ画像を撮影する用途に有用である。したがって、本発明は、映像関連分野において、実施することができる。
【符号の説明】
【０１３４】
１０００、１０００Ａ、２０００、２０００Ａ  ステレオ画像用撮像装置
１０１  第１光学系
１０２  第２光学系
１０３  第１撮像部
１０４  第２撮像部
１０５  カメラ信号処理部
１０６  画像記録部
１０７  撮影モード選択部
１０８  被写体サイズ推定部
１０９  被写体距離推定部
１１０  視点間距離情報算出部
１１１  視点間距離調整部
２１０  輻輳位置情報算出部
２１１  輻輳角調整部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ステレオ画像を撮影する撮像装置であって、
被写体を撮影し、前記被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する撮影部と、
前記第１視点画像および前記第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、前記被写体の大きさに関する情報である被写体サイズ情報を取得する取得部と、
前記被写体サイズ情報に基づいて、前記撮像装置から前記被写体までの距離である被写体距離を推定する推定部と、
少なくとも前記推定部が推定した前記被写体距離に関する情報を基に、前記第１視点画像と前記第２視点画像とから得られる視差が変更されるように、前記撮影部における撮影パラメータを調整する調整部と、
を備える撮像装置。
【請求項２】
異なる複数の撮影モードからいずれかの撮影モードを設定する設定部と、
異なる被写体サイズ情報を前記複数の撮影モードのそれぞれに対応づけた状態で格納する格納部と、
をさらに備え、
前記取得部は、前記格納部に格納されている複数の被写体サイズ情報から前記設定部が設定する撮影モードに対応する被写体サイズ情報を取得する、
請求項１に記載の撮像装置。
【請求項３】
前記第１視点画像および前記第２視点画像のうち少なくともひとつの画像を基に、前記被写体が撮影されている画像領域を検出する検出部をさらに備え、
前記取得部は、前記検出部が検出した領域に関する情報を基に、前記被写体サイズ情報を取得する、
請求項１または２に記載の撮像装置。
【請求項４】
前記検出部は、人間の顔を形成する画像領域を検出することで、前記被写体が撮影されている画像領域を検出する、
請求項３に記載の撮像装置。
【請求項５】
前記推定部は、前記第１視点画像および前記第２視点画像の垂直方向のサイズに関する情報と、前記第１視点画像および前記第２視点画像を撮影する際の焦点距離に関する情報と、前記被写体サイズ情報を基に、前記被写体距離を推定する、
請求項１から４のいずれかに記載の撮像装置。
【請求項６】
撮像装置の起動時に設定されている撮影モードに基づいて、前記撮影パラメータとして、少なくとも、初期焦点距離、初期視点間距離、初期輻輳角のいずれか１つを設定する、
請求項１から５のいずれかに記載の撮像装置。
【請求項７】
前記調整部は、前記被写体距離と、前記第１視点画像及び前記第２視点画像を視聴する際の当該第１視点画像及び当該第２視点画像を表示する表示装置と視聴者との距離を示す視聴距離と、前記被写体に設定される目標視差量と、に基づいて、前記第１視点と、前記第２視点と、で決定される目標の相対位置である視点間距離を算出し、算出した前記視点間距離に基づいて、前記撮像部の視点間距離を調整する、
請求項１から５のいずれかに記載の撮像装置。
【請求項８】
前記調整部が算出した前記視点間距離に基づいて、前記撮像部の視点間距離を調整することが不可能な場合、撮影者に警告情報を表示する警告情報表示部をさらに備える、
請求項７に記載の撮影装置。
【請求項９】
撮影者に、前記調整部が算出した前記視点間距離を提示する情報提示部をさらに備える、
請求項７または８に記載の撮像装置。
【請求項１０】
所定の情報を撮影者に提示する表示部をさらに備え、
前記撮像部は、前記被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得する第１撮像部と、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する第２撮像部と、を含み、
前記調整部が算出した前記視点間距離に基づいて、前記撮像部の視点間距離を調整することが可能な場合、前記撮像部は、前記第１撮像部及び前記第２撮像部の両方を用いてステレオ画像を取得する２眼撮影モードにより撮影を行い、
前記調整部が算出した前記視点間距離に基づいて、前記撮像部の視点間距離を調整することが不可能な場合、前記撮像部は、前記ステレオ画像用撮像装置を略水平方向にスライドさせながら少なくとも２回以上撮影することによりステレオ画像を取得する２回撮影モードにより撮影を行い、
前記２眼撮影モードにより撮影が実行される場合、前記調整部は、前記視点間距離に基づいて、前記撮影パラメータを調整した後、前記第１撮像部及び前記第２撮像部により前記第１視点画像及び前記第２視点画像を取得することでステレオ画像を取得し、
前記２回撮影モードにより撮影が実行される場合、前記表示部は前記２回撮影モードを促す表示を行う、
請求項７から９のいずれかに記載の撮像装置。
【請求項１１】
前記調整部は、前記被写体距離と、前記第１視点画像及び、前記第２視点画像を視聴する際の当該第１視点画像及び当該第２視点画像を表示する表示装置と視聴者との距離を示す視聴距離と、前記被写体に設定される目標視差量と、に基づいて、第１光学系の光軸と第２光学系の光軸との交点位置である輻輳位置を算出し、算出した前記輻輳位置に基づいて、前記撮像部の輻輳位置を調整する、
請求項１から６のいずれかに記載の撮像装置。
【請求項１２】
前記調整部が算出した前記輻輳位置に基づいて、前記撮像部の輻輳位置を調整することが不可能な場合、撮影者に警告情報を表示する警告情報表示部をさらに備える、
請求項１１に記載の撮像装置。
【請求項１３】
撮影者に、前記調整部が算出した前記輻輳位置を提示する情報提示部をさらに備える、
請求項１１または１２に記載の撮像装置。
【請求項１４】
前記調整部は、視聴者が前記第１視点画像と、前記第２視点画像と、をステレオ画像として視認した場合、前記被写体を融合して視認可能な領域内に規定される視差量を、前記目標視差量として設定する、
請求項７から１３のいずれかに記載の撮像装置。
【請求項１５】
前記第１視点画像と、前記第２視点画像と、を記録する画像記録部をさらに備え、
前記画像記録部は、前記調整部が前記撮影パラメータを調整した後に、前記撮像部で取得される前記第１視点画像および前記第２視点画像を記録する、
請求項７から１４のいずれかに記載の撮像装置。
【請求項１６】
ステレオ画像を撮影する撮像装置であって、
被写体を撮影し、前記被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する撮影部を備える撮像装置により用いられる撮像方法であって、
前記第１視点画像および前記第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、前記被写体の大きさに関する情報である被写体サイズ情報を取得する取得ステップと、
前記被写体サイズ情報に基づいて、前記撮像装置から前記被写体までの距離である被写体距離を推定する推定ステップと、
少なくとも前記推定ステップが推定した前記被写体距離に関する情報を基に、前記第１視点画像と前記第２視点画像とから得られる視差が変更されるように、前記撮影部における撮影パラメータを調整する調整ステップと、
を備える撮像方法。
【請求項１７】
ステレオ画像を撮影する撮像装置であって、
被写体を撮影し、前記被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する撮影部を備える撮像装置により用いられる撮像方法をコンピュータに実行させるプログラムであって、
前記第１視点画像および前記第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、前記被写体の大きさに関する情報である被写体サイズ情報を取得する取得ステップと、
前記被写体サイズ情報に基づいて、前記撮像装置から前記被写体までの距離である被写体距離を推定する推定ステップと、
少なくとも前記推定ステップが推定した前記被写体距離に関する情報を基に、前記第１視点画像と前記第２視点画像とから得られる視差が変更されるように、前記撮影部における撮影パラメータを調整する調整ステップと、
を備える撮像方法をコンピュータに実行させるプログラム。
【請求項１８】
ステレオ画像を撮影する撮像装置であって、
被写体を撮影し、前記被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を取得する撮影部を備える撮像装置に用いられる集積回路であって、
前記第１視点画像および前記第２視点画像を構成する画像データに基づく情報または、当該第１視点画像および当該第２視点画像を撮影する際の設定に基づく情報から、前記被写体の大きさに関する情報である被写体サイズ情報を取得する取得部と、
前記被写体サイズ情報に基づいて、前記撮像装置から前記被写体までの距離である被写体距離を推定する推定部と、
少なくとも前記推定部が推定した前記被写体距離に関する情報を基に、前記第１視点画像と前記第２視点画像とから得られる視差が変更されるように、前記撮影部における撮影パラメータを調整する調整部と、
を備える集積回路。
【国際調査報告】
2011086630.tif 000021
2011086630.tif 000022
2011086630.tif 000023
2011086630.tif 000024