(57)【要約】従来例では、左右の顔検出領域が同一座標に位置するように撮像部の輻輳角を調整することで、表示の際に、表示面上に定位する立体画像を撮影することが可能であるが、被写体を所望の立体位置に定位させることができなかった。本発明のステレオ画像用撮像装置（１０００）では、右画像から各々顔領域を検出し、左右の顔領域から視差量を検出し、検出した視差量が、所望の被写体定位位置となる視差量になるように撮影条件（被写体距離、焦点距離、ステレオベース、輻輳角など）を設定する。これにより、対象となる被写体について、所望の立体位置に定位した、適切な立体視が可能なステレオ画像を撮影することが可能となる。また、顔検出処理の対象領域を制限することにより、顔検出の演算量を削減することが可能となる。
2011086636.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影し、当該被写体を第１視点から見た撮影シーンに対応する第１視点画像を生成するとともに、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を生成する撮影部と、
前記第１視点画像から被写体領域を第１被写体領域として検出するとともに、前記第２視点画像から被写体領域を第２被写体領域として検出する被写体検出部と、
前記第１視点画像と前記第２視点画像とにおける両眼視差のうち、前記第１被写体領域と前記第２被写体領域とにおける両眼視差を示す視差情報を検出する視差検出部と、
前記視差検出部により検出した視差情報に基づいて、前記被写体を撮影する際の撮影パラメータを算出する算出部と、
前記算出部にて算出された撮影パラメータに基づき、前記撮影部を調整する調整部と、
を備えるステレオ画像用撮像装置。
【請求項２】
前記算出部は、前記視差検出部により検出した視差を、所定の位置に定位するための目標視差に一致、もしくは近づけるための撮影パラメータを算出する、
請求項１に記載のステレオ画像用撮像装置。
【請求項３】
前記被写体検出部は、検出対象を人物被写体の顔領域として、前記第１被写体領域および前記第２被写体領域を検出する、
請求項１または２に記載のステレオ画像用撮像装置。
【請求項４】
前記被写体検出部は、
前記第１被写体領域に対応する、前記第２視点画像上の領域および当該領域の周辺領域で構成される部分画像領域を被写体検出対象の画像領域として、前記第２被写体領域を検出する、
請求項１から３のいずれかに記載のステレオ画像用撮像装置。
【請求項５】
前記被写体検出部により、複数の被写体領域が検出された場合、
前記視差検出部は、前記複数の被写体領域についての視差情報をそれぞれ検出し、検出された各被写体領域の面積を算出し、面積の大きさにより前記各被写体領域の優先度を決定し、
前記算出部は、前記視差検出部により決定された前記各被写体領域の優先度に基づいて、前記撮影パラメータを算出する、
請求項１から４のいずれかに記載のステレオ画像用撮像装置。
【請求項６】
前記被写体検出部により、複数の被写体領域が検出された場合、
前記視差検出部は、面積が最大の被写体領域を主要被写体領域として、前記主要被写体領域の視差を検出する、
請求項５に記載のステレオ画像用撮像装置。
【請求項７】
前記被写体検出部で、複数の被写体領域が検出された場合、前記第１被写体領域もしくは前記第２被写体領域の面積を算出し、面積の大きさにより被写体の優先度を決定し、
前記算出部は、面積が最大の被写体領域についての視差を最大飛び出し視差とし、面積が最小の被写体領域についての視差を最大奥行き視差として、前記最大飛び出し視差および前記最大奥行き視差が、所定の視差範囲に収まるように、前記撮影パラメータを算出する、
請求項１から６のいずれかに記載のステレオ画像用撮像装置。
【請求項８】
前記第１視点画像と前記第２視点画像とから、所定の被写体領域以外の被写体領域について、第１の精度で視差を粗視差として検出する粗視差検出部をさらに備え、
前記視差検出部は、前記第１の精度より高い精度である第２の精度で、前記所定の被写体領域についての視差を詳細視差として検出し、
前記調整部は、前記粗視差および前記詳細視差に基づいて、前記撮影パラメータを算出する、
請求項１に記載のステレオ画像用撮像装置。
【請求項９】
前記視差検出部は、前記所定の被写体領域についての視差を最大飛び出し視差として検出し、
前記粗視差検出部は、前記所定の被写体領域以外の被写体領域についての視差から奥行きの最大視差を最大奥行き視差として抽出し、
前記算出部は、前記最大飛び出し視差および前記最大奥行き視差が、所定の視差範囲に収まるように、前記撮影パラメータを算出する、
請求項８に記載のステレオ画像用撮像装置。
【請求項１０】
第１視点における第１視点画像および第２視点における第２視点画像を表示することで立体画像を表示させるステレオ画像用表示装置であって、
前記第１視点画像および前記第２視点画像を再生する画像再生部と、
前記第１視点画像から第１被写体領域を検出するとともに、前記第２視点画像から第２被写体領域を検出する被写体検出部と、
前記第１被写体検出領域と前記第２被写体検出領域とから、視差を検出する視差検出部と、
前記前記視差検出部で検出された視差に基づいて、自然な立体感を再現するための表示位置情報を決定する決定部と、
前記表示位置情報に基づき、表示位置を設定する設定部と、
前記設定部により設定された前記表示位置に基づいて、前記第１視点画像および前記第２視点画像を表示する表示部と、
を備えるステレオ画像用表示装置。
【請求項１１】
前記決定部は、前記前記視差検出部で検出された視差を、所定の位置に定位するための目標視差に一致、もしくは近づけるための表示位置情報を決定する、
請求項１０に記載のステレオ画像用表示装置。
【請求項１２】
被写体を撮影し、当該被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を生成する撮影部を備えるステレオ画像用撮像装置に用いられるステレオ画像用撮像方法であって、
前記第１視点画像から被写体領域を第１被写体領域として検出するとともに、前記第２視点画像から被写体領域を第２被写体領域として検出する被写体検出ステップと、
前記第１視点画像と前記第２視点画像とにおける両眼視差のうち、前記第１被写体領域と前記第２被写体領域とにおける両眼視差を示す視差情報を検出する視差検出ステップと、
前記視差検出ステップにより検出した視差情報に基づいて、前記被写体を撮影する際の撮影パラメータを算出する算出ステップと、
前記算出ステップにて算出された撮影パラメータに基づき、前記撮影部の撮影パラメータを調整する変更ステップと、
前記撮影部が前記変更ステップにより撮影パラメータが調整された状態で、前記第１視点画像および前記第２視点画像を取得することにより立体撮影を行う撮影ステップと、
を備えるステレオ画像用撮像方法。
【請求項１３】
被写体を撮影し、当該被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を生成する撮影部を備えるステレオ画像用撮像装置に用いられるステレオ画像用撮像方法をコンピュータに実行させるためのプログラムであって、
前記第１視点画像から被写体領域を第１被写体領域として検出するとともに、前記第２視点画像から被写体領域を第２被写体領域として検出する被写体検出ステップと、
前記第１視点画像と前記第２視点画像とにおける両眼視差のうち、前記第１被写体領域と前記第２被写体領域とにおける両眼視差を示す視差情報を検出する視差検出ステップと、
前記視差検出ステップにより検出した視差情報に基づいて、前記被写体を撮影する際の撮影パラメータを算出する算出ステップと、
前記算出ステップにて算出された撮影パラメータに基づき、前記撮影部の撮影パラメータを調整する変更ステップと、
前記撮影部が前記変更ステップにより撮影パラメータが調整された状態で、前記第１視点画像および前記第２視点画像を取得することにより立体撮影を行う撮影ステップと、
を備えるステレオ画像用撮像方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ立体視用の右眼画像および左眼画面を撮影・表示する撮影装置（ステレオ画像用撮像装置）、表示装置およびその方法、プログラム、集積回路に関する。
【背景技術】
【０００２】
一般に、左眼用撮影カメラと右眼用撮影カメラとを用いて立体画像（ステレオ画像）を撮影し、その撮影した立体画像（ステレオ画像）を表示装置に表示させる場合、表示スクリーン画面上の左右画像の視差により、被写体の定位位置が変化する。
図３に、被写体定位位置に関する説明図を示す。図３（ａ）は、被写体の定位位置が飛び出し位置（表示スクリーンより手前の位置）である場合の説明図である。図３（ｂ）は、被写体の定位位置が表示スクリーン位置（表示スクリーン上の位置）である場合の説明図である。図３（ｃ）は、被写体の定位位置が奥行き位置（引き込み位置）（表示スクリーンより奥の位置）である場合の説明図である。
図３に示すように、左右の画像と視点を結ぶ線の交点位置に被写体が定位する。
一般に、人間にとって、図３（ｂ）のスクリーン位置前後に被写体を定位させるステレオ画像が、見やすい、安全な立体画像（ステレオ画像）であると言われている。【０００３】
また、例えば、視差１度（視差角１度）以内の範囲に収まるように、飛び出し量が最大となる被写体定位位置（例えば、図３（ａ）の飛び出し位置）と引き込み量が最大となる被写体定位位置（例えば、図３（ｃ）の奥行き位置（引き込み位置））とを設定して立体画像（ステレオ画像）を取得（撮影）することで、当該立体画像（ステレオ画像）は、見やすい、安全な立体画像となると言われている。
さらに、図３（ｃ）の場合で、表示スクリーン上の視差（視差量）が人間の眼間距離（５〜７ｃｍ）よりも広くなると両眼立体視が困難になると言われている。
こうした問題を解決するため、顔を検出する技術を活用することによって視認者に立体視を行なわせるのに適した画像データを生成することができる撮像装置が提案されている（例えば、特許文献１参照）。【０００４】
図２３に、従来の撮像装置９００の構成図を示す。図２３に示すように、撮像装置９００では、撮像装置９００により取得した左右の画像データから、ＣＰＵ１０の顔検出アルゴリズムにより、それぞれ顔の位置を抽出する。そして、撮像装置９００では、顔の位置が複数の撮影画像内で互いに同一の座標に位置する様に撮像ユニット１１および撮像ユニット１２の向きをそれぞれ調節してから撮影を行う、つまり、輻輳角を調節してから撮影を行なう構成になっている。
図４に、従来技術（従来の撮像装置９００）における輻輳角調整による被写体定位位置をスクリーン位置に調整する場合の説明図を示す。図４（ａ）は、輻輳角調整前の被写体定位位置と表示スクリーンとの関係、並びに、そのときの左眼画像、右眼画像および合成画像を模式的に示した図である。図４（ｂ）は、輻輳角調整後の被写体定位位置と表示スクリーンとの関係、並びに、そのときの左眼画像、右眼画像および合成画像を模式的に示した図である。【０００５】
図４（ａ）の場合、被写体が飛び出し位置に定位している、すなわち、被写体定位位置が表示スクリーンの手前となっている。従来技術（従来の撮像装置９００）では、図４（ｂ）に示すように、左右の顔検出領域を一致させるように輻輳角を調整することにより、被写体を表示スクリーン上に定位させる。これにより、従来技術（従来の撮像装置９００）では、被写体定位位置が表示スクリーン上となる立体画像（ステレオ画像）を撮影（取得）することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２２１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術では、左右画像の顔検出結果の一致により表示スクリーン上に被写体を定位させることができるものの、被写体を所望の位置に定位させることができないという課題がある。
本発明は、上記問題点に鑑み、被写体検出結果（例えば、顔検出結果）を用いて視差量を算出し、算出した視差量に基づいて、所定の定位位置に被写体を定位するように撮影パラメータを設定することで、撮影者が所望する立体感、奥行き感の立体画像を取得することができ、かつ、飛び出しすぎ等のない適切な立体視が可能な立体画像を取得することが可能なステレオ画像用撮像装置、ステレオ画像用撮像方法、プログラム、集積回路およびステレオ画像用表示装置、ステレオ画像用表示方法、プログラム、集積回路を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の発明は、撮影部と、被写体検出部と、視差検出部と、算出部と、調整部と、を備えるステレオ画像用撮像装置である。
撮影部は、被写体を撮影し、当該被写体を第１視点から見た撮影シーンに対応する第１視点画像を生成するとともに、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を生成する。
被写体検出部は、第１視点画像から被写体領域を第１被写体領域として検出するとともに、第２視点画像から被写体領域を第２被写体領域として検出する。
視差検出部は、第１視点画像と第２視点画像とにおける両眼視差のうち、第１被写体領域と第２被写体領域とにおける両眼視差を示す視差情報を検出する。
算出部は、視差検出部により検出した視差情報に基づいて、被写体を撮影する際の撮影パラメータを算出する。【０００９】
調整部は、算出部にて算出された撮影パラメータに基づき、撮影部を調整する。
このステレオ画像用撮像装置では、ステレオ画像（第１視点画像および第２視点画像）において、被写体領域の検出を行い、検出した被写体領域を用いて視差量（仮想（表示）スクリーン上の視差量（第１視点画像と第２視点画像とにおける両眼視差））を算出する。そして、このステレオ画像用撮像装置では、算出部が、視差検出部により検出した視差（両眼視差を示す視差情報）を用いて、自然な立体感を実現するステレオ画像を取得できるように撮影パラメータを算出する。そして、このステレオ画像用撮像装置では、算出された撮影パラメータに基づき、第１撮像部および／または第２撮像部の撮影パラメータが調整される。このため、このステレオ画像用撮像装置において、撮影パラメータ調整後に取得されるステレオ画像は、撮影者（ユーザー）が所定の被写体を所望の位置に定位させたステレオ画像であり、かつ、当該ステレオ画像は、飛び出しすぎ等のない適切な立体視（自然な立体感、奥行き感）が可能な立体画像（ステレオ画像）となる。【００１０】
第２の発明は、第１の発明であって、算出部は、視差検出部により検出した視差を、所定の位置に定位するための目標視差に一致、もしくは近づけるための撮影パラメータを算出する。
このステレオ画像用撮像装置では、ステレオ画像（第１視点画像および第２視点画像）において、被写体領域の検出を行い、検出した被写体領域を用いて視差量（仮想（表示）スクリーン上の視差量（第１視点画像と第２視点画像とにおける両眼視差））を算出する。そして、このステレオ画像用撮像装置では、算出部が、視差検出部により検出した視差（両眼視差を示す視差情報）を、所定の位置に定位するための目標視差に一致、もしくは近づけるように撮影パラメータを算出する。そして、このステレオ画像用撮像装置では、算出された撮影パラメータに基づき、第１撮像部および／または第２撮像部の撮影パラメータが調整される。このため、このステレオ画像用撮像装置において、撮影パラメータ調整後に取得されるステレオ画像は、撮影者（ユーザー）が所定の被写体を所望の位置に定位させたステレオ画像であり、かつ、当該ステレオ画像は、飛び出しすぎ等のない適切な立体視（自然な立体感、奥行き感）が可能な立体画像（ステレオ画像）となる。【００１１】
第３の発明は、第１または第２の発明であって、被写体検出部は、検出対象を人物被写体の顔領域として、第１被写体領域および第２被写体領域を検出する。
これにより、このステレオ画像用撮像装置では、検出対象（被写体領域）を人物被写体の顔領域として、視差を検出することができる。
第４の発明は、第１から第３のいずれかの発明であって、被写体検出部は、第１被写体領域に対応する、第２視点画像上の領域および当該領域の周辺領域で構成される部分画像領域を被写体検出対象の画像領域として、第２被写体領域を検出する。
このステレオ画像用撮像装置では、第２被写体領域の検出処理において、制限された画像領域が対象となるので、演算量を削減することができ、ステレオ画像用撮像装置での処理をより高速にすることができる。【００１２】
なお、「当該領域の周辺領域」とは、第２被写体領域を検出するのに十分な領域をいい、例えば、第１被写体領域の画像上での高さをｈとし、第１視点画像および第２視点画像の横の長さをｗとしたとき、高さｈ×幅ｗの画像領域を含む領域である。
第５の発明は、第１から第４のいずれかの発明であって、被写体検出部により、複数の被写体領域が検出された場合、視差検出部は、複数の被写体領域についての視差情報をそれぞれ検出し、検出された各被写体領域の面積を算出し、面積の大きさにより各被写体領域の優先度を決定する。そして、算出部は、視差検出部により決定された各被写体領域の優先度に基づいて、撮影パラメータを算出する。
これにより、このステレオ画像用撮像装置では、複数の複数の被写体領域が検出された場合であっても、各被写体領域の優先度に基づいて、撮影パラメータを算出することができる。【００１３】
第６の発明は、第５の発明であって、被写体検出部により、複数の被写体領域が検出された場合、視差検出部は、面積が最大の被写体領域を主要被写体領域として、主要被写体領域の視差を検出する。
これにより、このステレオ画像用撮像装置では、主要被写体領域の視差を用いて、撮影パラメータを調整することができるので、主要被写体に関して適切なステレオ画像を取得することができる。
第７の発明は、第１から第６のいずれかの発明であって、被写体検出部で、複数の被写体領域が検出された場合、第１被写体領域もしくは第２被写体領域の面積を算出し、面積の大きさにより被写体の優先度を決定する。算出部は、面積が最大の被写体領域についての視差を最大飛び出し視差とし、面積が最小の被写体領域についての視差を最大奥行き視差として、最大飛び出し視差および最大奥行き視差が、所定の視差範囲に収まるように、撮影パラメータを算出する。【００１４】
このステレオ画像用撮像装置では、複数の被写体領域が検出された場合であっても、最大飛び出し視差および最大奥行き視差が、所定の視差範囲に収まるように、撮影パラメータを算出することができる。これにより、このステレオ画像用撮像装置では、複数の被写体領域が検出された場合であっても、当該複数の被写体の全てを適切な位置に定位しつつ、適切な立体感を実現するステレオ画像を取得することができる。
なお、「所定の視差範囲」とは、適切な立体感を実現する視差範囲のことをいい、例えば、立体視可能領域に相当する視差範囲をいう。「立体視可能領域」とは、例えば、図９（ａ）に示す被写体との成す角α１と、仮想スクリーンと成す角β１との差分絶対値が１°以内となるように設定される領域のことをいう。
第８の発明は、第１の発明であって、第１視点画像と第２視点画像とから、所定の被写体領域以外の被写体領域について、第１の精度で視差を粗視差として検出する粗視差検出部をさらに備える。【００１５】
視差検出部は、第１の精度より高い精度である第２の精度で、所定の被写体領域についての視差を詳細視差として検出する。
調整部は、粗視差および詳細視差に基づいて、撮影パラメータを算出する。
視差検出部は、第１の精度より高い精度である第２の精度で、所定の被写体領域についての視差を詳細視差として検出する。撮影パラメータ変更部は、粗視差および詳細視差に基づいて、撮影パラメータを算出する。
これにより、このステレオ画像用撮像装置では、所定の被写体領域（例えば、顔領域）と所定の被写体以外の領域とで視差検出精度を変えることができる。その結果、このステレオ画像用撮像装置では、視差検出に必要となる演算量を削減し、装置コストや消費電力を削減することが可能となる。【００１６】
第９の発明は、第８の発明であって、視差検出部は、所定の被写体領域についての視差を最大飛び出し視差として検出する。粗視差検出部は、所定の被写体領域以外の被写体領域についての視差から奥行きの最大視差を最大奥行き視差として抽出する。算出部は、最大飛び出し視差および最大奥行き視差が、所定の視差範囲に収まるように、撮影パラメータを算出する。
これにより、このステレオ画像用撮像装置では、所定の被写体領域（例えば、顔領域）に対応する被写体を最大飛び出し視差に相当する位置に定位させ、かつ、最大奥行き視差に対応する被写体を最大奥行き視差に相当する位置に定位させることができる。さらに、このステレオ画像用撮像装置では、最大飛び出し視差および最大奥行き視差が、所定の視差範囲（例えば、立体視可能領域に相当する視差範囲）に収まるように、撮影パラメータを算出することができるので、所定の被写体領域に対応する被写体を所望の飛び出し位置に定位させつつ、所定の被写体領域に対応する被写体以外の被写体についても適切な位置に定位させることができる。これにより、このステレオ画像用撮像装置では、適切な立体感を実現するステレオ画像を取得することができる。【００１７】
第１０の発明は、第１視点における第１視点画像および第２視点における第２視点画像を表示することで立体画像を表示させるステレオ画像用表示装置であって、画像再生部と、被写体検出部と、視差検出部と、決定部と、設定部と、表示部と、を備える。
画像再生部は、第１視点画像および第２視点画像を再生する。
被写体検出部は、第１視点画像から第１被写体領域を検出するとともに、第２視点画像から第２被写体領域を検出する。
視差検出部は、第１被写体検出領域と第２被写体検出領域とから、視差を検出する。
決定部は、視差検出部で検出された視差に基づいて、自然な立体感を再現するための表示位置情報を決定する。
設定部は、表示位置情報に基づき、表示位置を設定する。【００１８】
表示部は、設定部により設定された表示位置に基づいて、第１視点画像および第２視点画像を表示する。
このステレオ画像用表示装置では、撮影された立体画像（ステレオ画像）である左右の表示画像（第１視点画像および第２視点画像）に対して、被写体検出処理（例えば、顔検出処理）を実施し、被写体検出結果を用いて視差量を算出する。そして、このステレオ画像用表示装置では、算出した視差量に基づいて、適切な立体感、奥行き感を実現する立体画像（ステレオ画像）表示を行うことができる。
第１１の発明は、第１０の発明であって、決定部は、視差検出部で検出された視差を、所定の位置に定位するための目標視差に一致、もしくは近づけるための表示位置情報を決定する。【００１９】
このステレオ画像用表示装置では、撮影された立体画像（ステレオ画像）である左右の表示画像（第１視点画像および第２視点画像）に対して、被写体検出処理（例えば、顔検出処理）を実施し、被写体検出結果を用いて視差量を算出する。そして、このステレオ画像用表示装置では、算出した視差量に基づいて、所定の定位位置（例えば、ユーザーが所望する定位位置）に被写体を定位させつつ、飛び出しすぎ等のない適切な立体感、奥行き感を実現する立体画像（ステレオ画像）表示を行うことができる。
第１２の発明は、被写体を撮影し、当該被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を生成する撮影部を備えるステレオ画像用撮像装置に用いられるステレオ画像用撮像方法であって、被写体検出ステップと、視差検出ステップと、算出ステップと、変更ステップと、撮影ステップと、を備える。【００２０】
被写体検出ステップでは、第１視点画像から被写体領域を第１被写体領域として検出するとともに、第２視点画像から被写体領域を第２被写体領域として検出する。
視差検出ステップでは、第１視点画像と第２視点画像とにおける両眼視差のうち、第１被写体領域と第２被写体領域とにおける両眼視差を示す視差情報を検出する。
算出ステップでは、視差検出ステップにより検出した視差情報に基づいて、被写体を撮影する際の撮影パラメータを算出する。
変更ステップでは、算出ステップにて算出された撮影パラメータに基づき、撮影部の撮影パラメータを調整する。
撮影ステップでは、撮影部が変更ステップにより撮影パラメータが調整された状態で、第１視点画像および第２視点画像を取得することにより立体撮影を行う。【００２１】
これにより、第１の発明と同様の効果を奏するステレオ画像用撮像方法を実現することができる。
第１３の発明は、被写体を撮影し、当該被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を生成する撮影部を備えるステレオ画像用撮像装置に用いられるステレオ画像用撮像方法をコンピュータに実行させるためのプログラムである。ステレオ画像用撮像方法は、被写体検出ステップと、視差検出ステップと、算出ステップと、変更ステップと、撮影ステップと、を備える。
被写体検出ステップでは、第１視点画像から被写体領域を第１被写体領域として検出するとともに、第２視点画像から被写体領域を第２被写体領域として検出する。【００２２】
視差検出ステップでは、第１視点画像と第２視点画像とにおける両眼視差のうち、第１被写体領域と第２被写体領域とにおける両眼視差を示す視差情報を検出する。
算出ステップでは、視差検出ステップにより検出した視差情報に基づいて、被写体を撮影する際の撮影パラメータを算出する。
変更ステップでは、算出ステップにて算出された撮影パラメータに基づき、撮影部の撮影パラメータを調整する。
撮影ステップでは、撮影部が変更ステップにより撮影パラメータが調整された状態で、第１視点画像および第２視点画像を取得することにより立体撮影を行う。
これにより、第１の発明と同様の効果を奏するステレオ画像用撮像方法をコンピュータに実行させるためのプログラムを実現することができる。
【発明の効果】
【００２３】
本発明によれば、被写体検出結果（例えば、顔検出結果）を用いて視差量を算出し、算出した視差量に基づいて、所定の定位位置に被写体を定位するように撮影パラメータを設定することで、撮影者が所望する立体感、奥行き感の立体画像を取得することができ、かつ、飛び出しすぎ等のない適切な立体視が可能な立体画像を取得することができる。
【図面の簡単な説明】
【００２４】
【図１】第１実施形態のステレオ画像用撮像装置１０００の概略構成図
【図２】第１撮像部１０１および第２撮像部１０２の概略構成図
【図３】被写体定位位置に関する説明図
【図４】従来技術の輻輳角調整による被写体定位位置をスクリーン位置に調整する場合の説明図
【図５】顔検出結果からの視差量検出の一例に関する説明図
【図６】被写体距離と視差量との関係に関する説明図
【図７】視点間距離と視差量との関係に関する説明図
【図８】輻輳点と被写体定位位置との関係に関する説明図
【図９】仮想スクリーン面上での視差量の調整を説明するための図
【図１０】仮想スクリーン面上での視差量の調整を説明するための図
【図１１】ステレオ画像用撮像装置１０００の処理フロー図
【図１２】第１変形例のステレオ画像用撮像装置１０００Ａの概略構成図
【図１３】第２変形例のステレオ画像用撮像装置１０００Ｂの概略構成図
【図１４】顔検出結果に基づいて視差検出対象領域を決定する場合の説明図
【図１５】顔検出結果に基づいて視差検出対象領域を決定する場合の説明図
【図１６】人物以外の被写体が撮影される場合の一例に関する説明図
【図１７】第３変形例のステレオ画像用撮像装置１０００Ｃの概略構成図
【図１８】複数の顔領域が検出される一例に関する説明図
【図１９】複数の顔検出領域に対して被写体低位置を決定する一例に関する説明図
【図２０】第２実施形態のステレオ画像用表示装置２０００の概略構成図
【図２１】顔検出結果に基づいて表示位置を調整する一例に関する説明図
【図２２】ステレオ画像用表示装置２０００の処理フロー図
【図２３】従来技術のステレオ画像用撮像装置のブロック図
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
＜１．１：ステレオ画像用撮像装置の構成＞
図１に、第１実施形態のステレオ画像用撮像装置１０００の概略構成図を示す。
図１に示すように、被写体からの光を集光し光電変換により画像信号（映像信号）を第１画像信号として取得（撮像）する第１撮像部１０１と、被写体からの光を集光し光電変換により画像信号（映像信号）を第２画像信号として取得（撮像）する第２撮像部１０２と、を備える。
また、ステレオ画像用撮像装置１０００は、第１撮像部１０１から出力される第１画像信号に基づいて顔検出処理を行う第１顔検出部１０４と、第２撮像部１０２から出力される第２画像信号に基づいて顔検出処理（画像上において、顔を形成する画像領域を検出する処理）を行う第２顔検出部１０５と、第１画像信号および第２画像信号を記録する画像記録部１０３と、を備える。
【００２６】
また、ステレオ画像用撮像装置１０００は、第１顔検出部１０４の出力と第２顔検出部１０５の出力とに基づいて視差を検出する視差検出部１０６と、被写体定位位置を設定する被写体定位位置設定部１０８とを備える。
また、ステレオ画像用撮像装置１０００は、被写体定位位置設定部１０８で設定された被写体定位位置と視差検出部１０６の視差検出結果とに基づいて、撮影パラメータを算出する撮影パラメータ算出部１０７と、撮影パラメータ算出部１０７により算出された撮影パラメータにより撮影パラメータを変更する撮影パラメータ変更部１０９と、を備える。
第１撮像部１０１は、図２（ａ）に示すように、第１光学系１と、第１撮像素子部２と、第１カメラ信号処理部３と、を備える。
第１光学系１は、被写体からの光が第１撮像素子部２の撮像素子面に照射されるように、被写体からの光を集光する。第１光学系１は、例えば、フォーカスレンズ、ズームレンズ、絞り等から構成される。また、第１光学系１は、第１撮影パラメータ調整部４により、位置調整が可能な機構を有していてもよい。なお、第１光学系１は、複数のレンズを含むものであってもよい。
【００２７】
第１撮像素子部２は、ＣＭＯＳイメージセンサ等の撮像素子を有し、第１光学系１により集光された光を光電変換し、画像信号（映像信号）を第１画像信号として取得（撮像）する。そして、第１撮像素子部２は、取得した第１画像信号を第１カメラ信号処理部３に出力する。なお、第１撮像素子部２は、第１撮影パラメータ調整部４により、位置調整が可能な機構を有していてもよい。
第１カメラ信号処理部３は、第１撮像素子部２から出力される第１画像信号を入力とし、第１画像信号に対して、カメラ信号処理（ゲイン調整処理、ガンマ補正処理、アパーチャー調整処理、ＷＢ（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）処理、フィルタ処理等）を実行する。第１カメラ信号処理部３は、カメラ信号処理を実行した第１画像信号を第１顔検出部１０４および画像記録部１０３に出力する。
【００２８】
第１撮影パラメータ調整部４は、撮影パラメータ変更部１０９から出力される第１撮影パラメータ調整制御信号に基づいて、第１撮像部１０１の撮影パラメータを変更する。例えば、以下のようにして、第１撮影パラメータ調整部４は、第１撮像部１０１の撮影パラメータを変更（調整）する。
すなわち、第１撮像部１０１が１つのユニットとして構成されている場合（例えば、第１撮像部１０１の各部が１つの筐体にユニットとして収納されている場合）、第１撮影パラメータ調整部４は、第１パラメータ調整制御信号に基づいて、当該ユニットを移動させる、および／または、第１撮像部１０１の各部の位置調整を行うことで、第１撮像部１０１の撮影パラメータを変更（調整）する。なお、第１撮像部１０１の撮影パラメータの変更方法は、例えば、以下の（Ａ）〜（Ｅ）のようにして行う。
（Ａ）視点間距離についての制御：
第１撮影パラメータ調整部４は、左右方向（例えば、図２の矢印Ｒ１の方向）に当該ユニットを移動させることで、当該ユニットの位置調整を行い、第１撮像部１０１の撮影パラメータ（主として、視点間距離）を変更（調整）する。
（Ｂ）被写体距離についての制御：
第１撮影パラメータ調整部４は、前後方向（例えば、図２の矢印Ｒ２の方向）に当該ユニットを移動させることで、当該ユニットの位置調整を行い、第１撮像部１０１の撮影パラメータ（主として、被写体距離）を変更（調整）する。なお、「被写体距離」とは、撮像部の撮像素子（例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ）面上に焦点を結んでいる物体からカメラ（ステレオ画像用撮像装置）までの距離をいい、物点距離と、共役距離（物像間距離）を含む概念である。また、「被写体距離」は、ステレオ画像用撮像装置から被写体までの概略の距離を含む概念であり、例えば、（１）ステレオ画像用撮像装置の光学系のレンズ全体（第１光学系１および／または第２光学系５）の重心位置から被写体までの距離、（２）撮像部（第１撮像部１０１および／または第２撮像部１０２）の撮像素子面から被写体までの距離、（３）ステレオ画像用撮像装置の重心（あるいは中心）から被写体までの距離等を含む概念である。
（Ｃ）輻輳角（輻輳点）についての制御：
第１撮影パラメータ調整部４は、所定の回転軸を設定し、当該回転軸により回転方向（例えば、図２の矢印Ｒ３の方向）に回転させることで、当該ユニットの位置調整を行い、第１撮像部１０１の撮影パラメータ（主として、輻輳角（輻輳点））を変更（調整）する。
（Ｄ）焦点距離についての制御：
第１撮影パラメータ調整部４は、所定の焦点距離となるように、第１光学系１を制御することで、第１撮像部１０１の撮影パラメータ（主として、焦点距離）を変更（調整）する。なお、第１撮影パラメータ調整部４は、所定の焦点距離となるように、第１光学系１および第１撮像素子部２の両方に対して、制御（例えば、位置調整についての制御）を行うものであってもよい。
（Ｅ）上記（Ａ）〜（Ｄ）の全部または一部を組み合わせて、当該ユニットおよび／または当該ユニット内の各部の位置調整を行い、第１撮像部１０１のパラメータを変更（調整）する。
【００２９】
第２撮像部１０２は、図２（ｂ）に示すように、第２光学系５と、第２撮像素子部６と、第２カメラ信号処理部７と、を備える。
第２光学系５は、被写体からの光が第２撮像素子部６の撮像素子面に照射されるように、被写体からの光を集光する。第２光学系５は、例えば、フォーカスレンズ、ズームレンズ、絞り等から構成される。また、第２光学系５は、第１撮影パラメータ調整部４により、位置調整が可能な機構を有していてもよい。なお、第２光学系５は、複数のレンズを含むものであってもよい。
なお、第２光学系５は、ステレオ画像用撮像装置１０００において、ステレオ画像が取得できるように、第１光学系１とは異なる光路の光を集光する位置に配置される。
第２撮像素子部６は、ＣＭＯＳイメージセンサ等の撮像素子を有し、第２光学系５により集光された光を光電変換し、画像信号（映像信号）を第２画像信号として取得（撮像）する。そして、第２撮像素子部６は、取得した第２画像信号を第２カメラ信号処理部７に出力する。なお、第２撮像素子部６は、第２撮影パラメータ調整部８により、位置調整が可能な機構を有していてもよい。
【００３０】
第２カメラ信号処理部７は、第２撮像素子部６から出力される第２画像信号を入力とし、第２画像信号に対して、カメラ信号処理（ゲイン調整処理、ガンマ補正処理、アパーチャー調整処理、ＷＢ（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）処理、フィルタ処理等）を実行する。第２カメラ信号処理部７は、カメラ信号処理を実行した第２画像信号を第２顔検出部１０５および画像記録部１０３に出力する。
第２撮影パラメータ調整部８は、撮影パラメータ変更部１０９から出力される第２撮影パラメータ調整制御信号に基づいて、第２撮像部１０２の撮影パラメータを変更する。なお、第２撮影パラメータ調整部８は、第１撮影パラメータ調整部４と同様の機能を有している。また、第２撮影パラメータ調整部８における第２撮像部１０２の撮影パラメータの変更（調整）方法は、上記で説明した、第１撮影パラメータ調整部４における第１撮像部１０１の撮影パラメータの変更（調整）方法と同様である。
【００３１】
第１顔検出部１０４は、第１撮像部１０１から出力される第１画像信号に基づいて顔検出処理を行う。具体的には、第１顔検出部１０４は、第１画像信号により形成される画像から顔部分を構成する画像領域を抽出し、抽出した顔部分を構成する画像領域（顔領域）に関する情報を視差検出部１０６に出力する。
第２顔検出部１０５は、第２撮像部１０２から出力される第２画像信号に基づいて顔検出処理を行う。具体的には、第２顔検出部１０５は、第２画像信号により形成される画像から顔部分を構成する画像領域を抽出し、抽出した顔部分を構成する画像領域（顔領域）に関する情報を視差検出部１０６に出力する。
画像記録部１０３は、第１撮像部１０１から出力される第１画像信号と、第２撮像部１０２から出力される第２画像信号とを入力とし、第１画像信号および第２画像信号を、所定の記録形式で記録する。なお、第１画像信号および第２画像信号は、ステレオ画像データを構成するものであり、画像記録部１０３は、ステレオ画像データ（ステレオ画像に適した形式のデータ）として、記録するものであってもよい。また、画像記録部１０３は、例えば、外部の記録メディアに、第１画像信号および第２画像信号（ステレオ画像データ）を記録するものであってもよい。
【００３２】
視差検出部１０６は、第１顔検出部１０４の出力と第２顔検出部１０５の出力とを入力とし、第１顔検出部１０４により検出（抽出）された顔領域に関する情報と、第２顔検出部１０５により検出（抽出）された顔領域に関する情報と、に基づいて、視差を検出する。そして、視差検出部１０６は、検出した視差に関する情報を撮影パラメータ算出部１０７に出力する。
被写体定位位置設定部１０８は、被写体定位位置を設定する。被写体定位位置は、例えば、ユーザーの指示により設定されるものであってもよいし、ステレオ画像用撮像装置１０００において、予め設定されている、あるいは、自動設定されるものであってもよい。被写体定位位置設定部１０８は、設定した被写体定位位置に関する情報を撮影パラメータ算出部１０７に出力する。
【００３３】
撮影パラメータ算出部１０７は、被写体定位位置設定部１０８により設定された被写体定位位置に関する情報と、視差検出部１０６により検出された視差に関する情報とを入力とし、被写体定位位置および検出された視差に基づいて、撮影パラメータを算出する。そして、撮影パラメータ算出部１０７は、算出した撮影パラメータに関する情報を撮影パラメータ変更部１０９に出力する。
撮影パラメータ変更部１０９は、撮影パラメータ算出部１０７により算出された撮影パラメータに関する情報を入力とする。撮影パラメータ変更部１０９は、撮影パラメータ算出部１０７により算出された撮影パラメータに基づいて、第１撮像部１０１の撮影パラメータを変更（調整）するための第１撮影パラメータ調整制御信号と、第２撮像部１０２の撮影パラメータを変更（調整）するための第２撮影パラメータ調整制御信号と、を生成する。そして、撮影パラメータ変更部１０９は、第１撮影パラメータ調整制御信号を第１撮像部１０１に出力し、第２撮影パラメータ調整制御信号を第２撮像部１０２に出力する。
【００３４】
＜１．２：ステレオ画像用撮像装置の動作＞
以上のように構成されたステレオ画像用撮像装置１０００の動作について、以下、説明する。なお、図１１は、ステレオ画像用撮像装置１０００で実行されるステレオ画像用撮像方法の処理フローを示すフローチャートである。
（ステップＳ１０１）：
ステレオ画像が取得できる状態に設置された第１撮像部１０１と第２撮像部１０２により、ステレオ画像を構成することができる第１画像信号および第２画像信号が取得される。
第１撮像部１０１により取得（撮像）された第１画像信号は、第１顔検出部１０４に出力され、第２撮像部１０２により取得（撮像）された第２画像信号は、第２顔検出部１０５に出力される。
【００３５】
第１顔検出部１０４では、第１撮像部１０１で撮影（取得）された画像データ（第１画像信号）により形成される画像上において、顔部分を構成する画像領域（第１顔検出領域）が検出（抽出）される。
第２顔検出部１０５では、第２撮像部１０２で撮影（取得）された画像データ（第２画像信号）により形成される画像上において、顔部分を構成する画像領域（第２顔検出領域）が検出（抽出）される。
なお、第１顔検出部１０４および第２顔検出部１０５では、既知の顔検出アルゴリズムを用いて顔領域が検出（抽出）される。また、本実施形態では、人物被写体の顔領域を検出する場合について説明しているが、例えば、ステレオ画像用撮像装置１０００において、被写体の色情報や特徴情報を用いて、顔以外の被写体を検出（抽出）するようにしても構わない。
【００３６】
第１顔検出部１０４で検出（抽出）された第１顔検出領域に関する情報と、第２顔検出部１０５で検出（抽出）された第２顔検出領域に関する情報とは、視差検出部１０６に出力される。
（ステップＳ１０２）：
視差検出部１０６では、第１顔検出部１０４で検出された第１顔検出領域と、第２顔検出部１０５で検出された第２顔検出領域とから、視差量（仮想（表示）スクリーン上の視差量）が検出される。
図５は、顔検出結果からの視差量を検出する処理の一例を説明するための図である。なお、図５（ａ）は左眼画像（第２撮像部１０２で取得される画像に対応。）を模式的に示した図であり、図５（ｂ）は右眼画像（第１撮像部１０１で取得される画像に対応。）を模式的に示した図である。
【００３７】
図５に示すように、通常の顔検出処理では、画像上において、矩形の顔領域を検出する。このため、例えば、左眼画像の顔検出領域と右眼画像の顔検出領域の矩形の左上座標の水平方向の差を視差量（仮想（表示）スクリーン上の視差量）とする方法が考えられる。
この方法によると、図５の場合、視差量（仮想（表示）スクリーン上の視差量）は、右眼画像顔検出領域ＲＡの左上端点のＸ座標である「ｘ３」と、左眼画像顔検出領域ＬＡの左上端点のＸ座標である「ｘ１」の差で求められる。なお、上記において、矩形領域の左上座標の水平方向の差を用いて視差量（仮想（表示）スクリーン上の視差量）を検出する方法について説明したが、これに限定されることはなく、例えば、矩形領域の対応する各座標の水平方向の差を用いて視差量（仮想（表示）スクリーン上の視差量）を検出してもよいし、矩形領域の中心座標の水平方向の差を用いて視差量（仮想（表示）スクリーン上の視差量）を検出してもよい。
【００３８】
また、顔検出結果を視差量検出に用いる場合は、顔検出の座標精度によっては、視差量の誤差が大きい場合があるため、ステレオ画像用撮像装置１０００において、左右の顔検出領域（左眼画像顔検出領域および右眼画像顔検出領域）に対して、視差マッチング処理を実行して、視差量を算出するようにしてもよい。視差マッチング処理は、ブロックマッチング法や、位相限定相関法などの手法を用いて実行すればよい。
視差量については、画素単位でも算出可能なため、視差検出部１０６により、顔検出領域において、画素単位で視差量を算出し、飛び出し最大の視差量（飛び出し量が最大となる視差量）（これを「飛び出し最大視差量」という。）と奥行き最大の視差量（引き込み量が最大となる視差量）（これを「奥行き最大視差量」という。）とを求めるようにしてもよい。そして、視差検出部１０６は、求めた飛び出し最大視差量および奥行き最大視差量を撮影パラメータ算出部１０７に出力するようにしてもよい。
（ステップＳ１０３）：
被写体定位位置設定部１０８では、撮影者（ユーザ）が所望の定位位置を設定することで、被写体定位位置が設定される。あるいは、被写体定位位置設定部１０８により、安全で見やすい定位位置の範囲内に、被写体定位位置が自動設定される。
【００３９】
被写体定位位置設定部１０８により設定された被写体定位位置に関する情報は、撮影パラメータ算出部１０７に出力される。
（ステップＳ１０４）：
撮影パラメータ算出部１０７では、視差検出部１０６で検出された視差量と、被写体定位位置設定部１０８で設定された被写体定位位置とに基づいて、第１撮像部１０１および第２撮像部１０２に設定すべき撮影パラメータが算出される。具体的には、撮影パラメータ算出部１０７では、被写体定位位置設定部１０８で設定された被写体定位位置に被写体が定位するための目標視差量が算出され、その算出された目標視差量と視差検出部１０６で検出された視差量とが一致、もしくは近づく（所定の範囲内の差となる）ように、第１撮像部１０１および第２撮像部１０２に設定すべき撮影パラメータが算出される。
【００４０】
そして、算出された撮影パラメータに関する情報は、撮影パラメータ変更部１０９に出力される。
≪撮影パラメータと視差量調整について≫
ここで、図６から図８を用いて、撮影パラメータと視差量調整について説明する。
撮影パラメータとして、（１）被写体距離、（２）視点間距離、（３）輻輳角（輻輳点）、（４）焦点距離などが想定される。
図６は、被写体距離と視差量との関係を説明するための図である。図７は、視点間距離と視差量との関係を説明するための図である。図８は、輻輳点と被写体定位位置との関係を説明するための図である。
図６に示すように、例えば、被写体までの距離が短いと仮想スクリーン上の視差量が大きくなるため、被写体までの距離を長く設定することで視差量（仮想スクリーン上の視差量）が小さくなるように調整することができる。
【００４１】
また、図７に示すように、例えば、視点間距離が長いと仮想スクリーン上の視差量が大きくなるため、視点間距離を短く設定することで視差量が小さくなるように調整することができる。
さらに、図８に示すように、例えば、２つの撮像部の輻輳角等を変更して輻輳点を調整することにより、仮想スクリーンと被写体との距離関係、および、仮想スクリーン上の視差量を調整することができる。
図には示していないが、同じ距離にある被写体を、撮像部の光学系の焦点距離を変更して撮影した場合、焦点距離が短いほど、視差量（仮想スクリーン上の視差量）が小さくなるため、撮像部の光学系の焦点距離を短く設定すれことで、仮想スクリーン上の視差量が小さくなるように調整することができる。
【００４２】
なお、２つの撮像部を平行に保って撮影する平行法で、被写体撮影し、ステレオ画像を取得する場合、取得したステレオ画像を表示する際の視点間距離（人間の両眼視差に相当する距離）を考慮した上で、視差量を調整する必要がある。つまり、平行法により取得したステレオ画像の仮想（表示）スクリーン上の視差量が、人間の両眼視差以上である場合、当該ステレオ画像は、（後方発散し）融像しないので、当該ステレオ画像を観た人は、３次元画像ではなく、単なる二重写りの画像として認識する。このような状態にならないように、視差量を調整する必要がある。
≪仮想スクリーン面上での視差量の調整≫
次に、仮想スクリーン面上での視差量の調整について、図９、図１０を用いて、説明する。
【００４３】
図９は、被写体までの距離Ｌと、想定表示画面（仮想スクリーン）までの距離Ｋと、視点間距離Ｖ（第１光学系１の入光位置（被写体からの光が第１光学系１に入ってくる位置、つまり、第１光学系１を１つのレンズと仮想したときの当該レンズの主点に相当する位置）と第２光学系５の入光位置との距離）と、想定表示画面（仮想スクリーン）上の視差量Ｄとの関係を説明するための図である。なお、本実施形態における入光位置は、レンズの主点に限定されるものではなく、当該レンズ全体の重心位置、第１撮像部１０１若しくは第２撮像部１０２におけるセンサ面（撮像素子面）等、ステレオ画像用撮像装置１０００における任意の位置を用いることが出来る。
図９（ａ）に示すように、被写体が想定表示画面（仮想スクリーン）の奥に存在する場合、（引き込み側の）視差量Ｄは、
Ｄ＝（Ｌ−Ｋ）×Ｖ／Ｌ
により算出できる。
【００４４】
また、図９（ｂ）に示すように、被写体が想定表示画面（仮想スクリーン）の手前に存在する場合、（飛び出し側の）視差量Ｄは、
Ｄ＝−（Ｌ−Ｋ）×Ｖ／Ｌ
により算出できる。
図１０に示すように、ステレオ画像用撮像装置１０００で撮影する最も手前の被写体位置Ｐｍｉｎとし、ステレオ画像用撮像装置１０００で撮影する最も奥の被写体位置Ｐｍａｘとしたとき、位置Ｐｍｉｎ〜位置Ｐｍａｘの領域が、一般の人がステレオ画像を融像できる範囲（安全な立体視が可能な領域）となるように、ステレオ画像用撮像装置１０００において、視差量Ｄを調整することが好ましい。例えば、ステレオ画像用撮像装置１０００の設計者が視聴時における立体感を重要視する場合、図９（ａ）に示す被写体とのなす角α１と、仮想スクリーンと成す角β１との差分絶対値が１°以内となるように設定される構成等、一般にステレオ画像を視聴した際に２重像とは見えない領域である立体視可能領域内の視差量としても構わない。なお、立体視可能領域の視差量は、上記の値に限定されるものではなく、表示デバイスの性能若しくは、視聴環境等によって変動するものであってもよい。また、他の基準がある場合は当該基準に従って目標視差量が設定される。
【００４５】
図１０に示す位置Ｐｍｉｎ〜位置Ｐｍａｘの領域が、上記のような安全な立体視が可能な領域（例えば、立体視可能領域に含まれる領域）内となるように、ステレオ画像用撮像装置１０００において、視差量Ｄを調整することが好ましい。ここで、安全な立体視が可能な領域（例えば、立体視可能領域に含まれる領域）について、図１０（ｂ）を用いて説明する。
図１０に示すように、視点間距離をＶとし、第１光学系１の入光位置をＰ１とし、第２光学系５の入光位置をＰ２とし、図１０に示すように位置Ｐ３、Ｐ４を設定した場合、直線Ｐ１−Ｐ３と直線Ｐ３−Ｐ２のなす角度（視差角）αと、直線Ｐ１−Ｐ４と直線Ｐ４−Ｐ２のなす角度（視差角）βとの間に、
α−β≦１°
の関係があるとき、図１０に示したＰ３、Ｐ４間の領域は、立体視可能領域内の領域となり、この領域に被写体位置があれば、その状態で撮像されたステレオ画像は、多くの人にとって融像可能なステレオ画像となり、かつ、安全性が確保されたステレオ画像となることが知られている。
【００４６】
したがって、ステレオ画像用撮像装置１０００において、例えば、位置Ｐｍｉｎ〜位置Ｐｍａｘの領域が、上記安全な立体視が可能な領域（例えば、立体視可能領域に含まれる領域）内となるように、撮影パラメータ算出部１０７が撮影パラメータを算出することが好ましい。
なお、ステレオ画像用撮像装置１０００における撮影パラメータ算出方法として、上記以外に、ステレオ画像用撮像装置１０００により取得されるステレオ画像が自然な立体感を再現するものとなるように、撮影パラメータ算出部１０７が撮影パラメータを算出するようにしてもよい。「自然な立体感」を再現するステレオ画像とは、例えば、（１）適切な視差が設定されており、視聴者が当該ステレオ画像を見たとき、（２重像とならず）適切に融像されるステレオ画像や、（２）適切な視差が設定されており、視聴者が当該ステレオ画像を見たとき、所定の物体の立体感が適切に再現される（例えば、所定の物体が平板状になる現象（書き割り現象）等を発生させず、当該物体の実際の立体感（例えば、当該物体の凹凸感）が適切に再現される）ステレオ画像である。
【００４７】
また、ステレオ画像用撮像装置１０００において、想定表示画面（仮想スクリーン）までの距離Ｋを、ユーザーが設定しても構わないし、ステレオ画像用撮像装置１０００の出荷時にメーカー側で、標準値を決めて、想定表示画面（仮想スクリーン）までの距離Ｋを設定するようにしてもよい。そして、上記のようにして設定される想定表示画面（仮想スクリーン）までの距離Ｋに基づいて、被写体定位位置設定部１０８が、被写体定位位置を設定する、あるいは、被写体定位位置の設定許容範囲を設定するようにしてもよい。
また、ステレオ画像用撮像装置１０００において、想定表示画面（仮想スクリーン）までの距離Ｋは、ユーザーが各家庭での状況に応じて設定されるものであってもよいし、ユーザーが保有するテレビのインチ数を設定して、テレビ画面のインチ数に基づいて、カメラ内部で標準視距離（例えば、画面の高さの３倍の距離等）に変換して設定されるものであってもよい。また、メーカー側で、出荷時に、標準インチ数を想定して、標準視距離に基づいて、想定表示画面（仮想スクリーン）までの距離Ｋが設定されるものであってもよい。そして、上記のようにして設定される想定表示画面（仮想スクリーン）までの距離Ｋに基づいて、被写体定位位置設定部１０８が、被写体定位位置を設定する、あるいは、被写体定位位置の設定許容範囲を設定するようにしてもよい。
【００４８】
以上を考慮して、撮影パラメータ算出部１０７で算出された撮影パラメータに関する情報は、撮影パラメータ変更部１０９に出力される。
（ステップＳ１０５）：
撮影パラメータ変更部１０９では、撮影パラメータ算出部１０７にて算出された撮影パラメータに基づき、第１撮像部１０１および第２撮像部１０２の撮影パラメータを変更する（ステップＳ１０５）。
撮影パラメータ変更部１０９では、撮影パラメータ算出部１０７により算出された撮影パラメータに基づいて、第１撮像部１０１の撮影パラメータを変更（調整）するための第１撮影パラメータ調整制御信号と、第２撮像部１０２の撮影パラメータを変更（調整）するための第２撮影パラメータ調整制御信号とが生成される。そして、第１撮影パラメータ調整制御信号は、第１撮像部１０１の第１撮影パラメータ調整部４に出力され、第２撮影パラメータ調整制御信号は、第２撮像部１０２の第２撮影パラメータ調整部８に出力される。
【００４９】
第１撮像部１０１の第１撮影パラメータ調整部４では、第１撮影パラメータ調整制御信号に基づいて、第１撮像部１０１の撮影パラメータが撮影パラメータ算出部１０７で算出された値となるように、調整される。
例えば、第１撮像部１０１が１つのユニットとして構成されている場合（例えば、第１撮像部１０１の各部が１つの筐体にユニットとして収納されている場合）、第１撮影パラメータ調整部４は、第１パラメータ調整制御信号に基づいて、当該ユニットを移動させる、および／または、第１撮像部１０１の各部の位置調整を行うことで、第１撮像部１０１の撮影パラメータを変更（調整）する。なお、第１撮像部１０１の撮影パラメータの変更方法は、例えば、以下の（Ａ）〜（Ｅ）のようにして行う。
（Ａ）視点間距離についての制御：
第１撮影パラメータ調整部４は、左右方向（例えば、図２の矢印Ｒ１の方向）に当該ユニットを移動させることで、当該ユニットの位置調整を行い、第１撮像部１０１の撮影パラメータ（主として、視点間距離）を変更（調整）する。
（Ｂ）被写体距離についての制御：
第１撮影パラメータ調整部４は、前後方向（例えば、図２の矢印Ｒ２の方向）に当該ユニットを移動させることで、当該ユニットの位置調整を行い、第１撮像部１０１の撮影パラメータ（主として、被写体距離）を変更（調整）する。
（Ｃ）輻輳角（輻輳点）についての制御：
第１撮影パラメータ調整部４は、所定の回転軸を設定し、当該回転軸により回転方向（例えば、図２の矢印Ｒ３の方向）に回転させることで、当該ユニットの位置調整を行い、第１撮像部１０１の撮影パラメータ（主として、輻輳角（輻輳点））を変更（調整）する。
（Ｄ）焦点距離についての制御：
第１撮影パラメータ調整部４は、所定の焦点距離となるように、第１光学系１を制御することで、第１撮像部１０１の撮影パラメータ（主として、焦点距離）を変更（調整）する。なお、第１撮影パラメータ調整部４は、所定の焦点距離となるように、第１光学系１および第１撮像素子部２の両方に対して、制御（例えば、位置調整についての制御）を行うものであってもよい。
（Ｅ）上記（Ａ）〜（Ｄ）の全部または一部を組み合わせて、当該ユニットおよび／または当該ユニット内の各部の位置調整を行い、第１撮像部１０１のパラメータを変更（調整）する。
【００５０】
また、第２撮像部１０２の第２撮影パラメータ調整部８でも、上記の第１撮像部１０１の第１撮影パラメータ調整部４での調整処理と同様にして、第２撮影パラメータ調整制御信号に基づいて、第２撮像部１０２の撮影パラメータが撮影パラメータ算出部１０７で算出された値となるように、調整される。
（ステップＳ１０６）：
以上のようにして、撮影パラメータが撮影パラメータ算出部１０７で算出された値となるよう調整された後、ステレオ画像用撮像装置１０００で被写体を撮像し、第１撮像部１０１および第２撮像部１０２により取得された第１画像信号および第２画像信号（ステレオ画像）を画像記録部１０３に出力する。
画像記録部１０３では、撮影パラメータ変更部１０９により撮影パラメータを変更して撮影された第１撮像部１０１および第２撮像部１０２からの出力画像データ（第１画像信号および第２画像信号（ステレオ画像））を所定の記録形式（例えば、ＪＰＥＧ等の所定の記録フォーマット）で記録する。なお、画像記録部１０３は、外部の記録メディアに第１画像信号および第２画像信号（ステレオ画像）を出力し、当該外部の記録メディアに第１画像信号および第２画像信号（ステレオ画像）を記録するようにしてもよい。
【００５１】
≪まとめ≫
以上のように、本実施形態のステレオ画像用撮像装置１０００では、ステレオ画像（左眼画像および右眼画像）において、顔領域の検出を行い、検出した顔領域（顔検出結果）を用いて視差量（仮想（表示）スクリーン上の視差量）を算出する。そして、ステレオ画像用撮像装置１０００では、適切な融合域（例えば、立体視可能領域）を考慮しつつ算出した視差量に基づいて、所定の定位位置に被写体を定位するように撮影パラメータを設定する。これにより、ステレオ画像用撮像装置１０００では、撮影者（ユーザー）が所望する立体感、奥行き感を実現する立体画像（ステレオ画像）を取得することや、飛び出しすぎ等のない適切な立体視が可能な立体画像（ステレオ画像）を撮影（取得）することができる。
【００５２】
なお、ステレオ画像用撮像装置１０００において、顔検出処理を、顔検出対象領域を制限して実行することで、顔検出処理に必要となる演算量を削減し、装置コストや消費電力を削減することが可能となる。
なお、第１撮像部１０１および第２撮像部１０２は、「撮影部」の一例である。
また、第１顔検出部１０４および第２顔検出部１０５は、「被写体検出部」の一例である。
また、視差検出部１０６は、「視差検出部」の一例である。
また、撮影パラメータ算出部１０７は、「算出部」の一例である。
また、撮影パラメータ変更部１０９は、「調整部」の一例である。
≪第１変形例（顔検出対象領域を制限する場合）≫
次に、第１変形例について、説明する。なお、上記で説明した部分と同様の部分については、説明を省略する。
【００５３】
図１２に、第１変形例のステレオ画像用撮像装置１０００Ａの概略構成図を示す。
第１変形例のステレオ画像用撮像装置１０００Ａは、図１２に示すように、第１実施形態のステレオ画像用撮像装置１０００において、顔検出対象領域決定部２０１が追加された構成となっている。
ステレオ画像用撮像装置１０００Ａでは、第２顔検出部１０５による顔検出処理を実施するにあたって、第２撮像部１０２で撮影（取得）された画像（第１画像信号により形成される画像）のうち、第１顔検出部１０４で検出された顔領域に対応する領域およびその周辺を含む部分領域に範囲を限定して顔検出処理が実施される。
つまり、第１変形例のステレオ画像用撮像装置１０００Ａでは、顔検出結果に基づいて視差検出対象領域を制限することで、視差検出処理に必要となる演算量を削減し、装置コストや消費電力を削減することが可能となる。
【００５４】
なお、第１顔検出部１０４、第２顔検出部１０５および顔検出対象領域決定部２０１は、「被写体検出部」の一例である。
≪第２変形例（顔検出結果に基づいて視差検出対象領域を決定する場合）≫
次に、第２変形例について、説明する。なお、上記で説明した部分と同様の部分については、説明を省略する。
図１３に、第２変形例のステレオ画像用撮像装置１０００Ｂの概略構成図を示す。また、図１４に、顔検出結果に基づいて視差検出対象領域を決定する場合の説明図を示す。
第２変形例のステレオ画像用撮像装置１０００Ｂは、図１３に示すように、第１実施形態のステレオ画像用撮像装置１０００において、第２顔検出部１０５が省略され、その代わりに視差検出領域決定部２０２が追加された構成となっている。
【００５５】
第２変形例のステレオ画像用撮像装置１０００Ｂでは、視差検出領域決定部２０２が、第１顔検出部１０４で検出された顔検出領域に基づいて、第２撮像部１０２で撮影（取得）された画像データ（第２画像信号）から、図１４に示すように、対応する領域およびその周辺を含む部分領域に、視差検出対象領域（図１４の視差マッチング対象領域ＶＭＡがこれに相当する。）を制限する。そして、第２変形例のステレオ画像用撮像装置１０００Ｂでは、視差検出部１０６が、視差検出領域決定部２０２により制限された視差検出対象領域において、左眼画像および右眼画像（第１画像信号および第２画像信号）から視差量を検出する。
視差検出領域決定部２０２は、第１顔検出部１０４により検出された顔検出領域に関する情報と、制限された視差検出対象領域である視差マッチング対象領域に関する情報と、視差マッチング対象領域において検出された第２画像信が形成する画像上の顔検出領域に関する情報を視差検出部１０６に出力する。
【００５６】
視差検出部１０６では、第１顔検出部１０４により検出された顔検出領域に関する情報と、制限された視差検出対象領域である視差マッチング対象領域に関する情報と、視差マッチング対象領域において検出された第２画像信が形成する画像上の顔検出領域に関する情報とに基づいて、視差量を検出する。
なお、ここで、視差検出領域決定部２０２による視差検出対象領域の設定方法について、図１５を用いて、説明する。図１５に示す左眼画像が第１撮像部１０１により取得され、図１５に示す右眼画像が第２撮像部１０２により取得されるものとして、説明する。
第１顔検出部１０４により、図１５（ａ）に示す左眼画像顔検出領域ＬＡ（（ｘ１，ｙ１）−（ｘ２，ｙ２）の矩形領域）が検出された場合、視差検出領域決定部２０２は、図１５（ｂ）に示すように、視差マッチング対象領域ＶＭＡを矩形領域（ｘ５，ｙ５）−（ｘ６、ｙ６）に設定し、顔領域マッチング処理を実行する。
【００５７】
このとき、視差マッチング対象領域ＶＭＡとして設定される矩形領域（ｘ５，ｙ５）−（ｘ６、ｙ６）を、視差マッチング対象領域ＶＭＡの縦方向の長さが左眼画像顔検出領域ＬＡの縦方向の長さ以上の値となるように設定し、かつ、視差マッチング対象領域ＶＭＡの横方向の長さが全体の画像領域（第１画像信号／第２画像信号により形成される画像（有効画像）の全体の画像領域）の横方向の長さに一致する値となるように設定することが好ましい。すなわち、
ｙ６−ｙ５＝ｙ２−ｙ１
ｘ６−ｘ５＝（画像（有効画像領域）の横方向（Ｘ軸方向）の長さ）
となるように、視差マッチング対象領域ＶＭＡを設定することが好ましい。なお、図１５において、左眼画像および右眼画像の左上端点を原点として、右方向がＸ軸正方向であり、下方向がＹ軸正方向であるものとする。
【００５８】
このようにして、視差検出領域決定部２０２が、視差マッチング対象領域ＶＭＡを設定することで、ステレオ画像用撮像装置１０００Ｂにおいて、確実に、顔領域のマッチング処理を実行することができる。
なお、第１顔検出部１０４および視差検出領域決定部２０２は、「被写体検出部」の一例である。
≪第３変形例（顔検出領域と他の領域とで視差検出精度を変える場合）≫
次に、第３変形例について、説明する。なお、上記で説明した部分と同様の部分については、説明を省略する。
第３変形例のステレオ画像用撮像装置１０００Ｃは、顔検出領域（顔領域）と他の領域とで視差検出精度を変えることができる。
【００５９】
ステレオ画像を撮像（取得）する場合において、顔領域以外の被写体領域（顔以外の被写体の画像領域）についても、視差量を検出する場合が想定される。
図１６は、人物以外の被写体が撮影される場合の撮像画像を模式的に示す図である。
図１６に示されているように、遠方に人物以外の被写体が撮影されている場合、ステレオ画像用撮像装置において、顔領域についての視差の検出だけでなく、顔領域以外の領域についても視差の検出を実行することが好ましい。つまり、ステレオ画像用撮像装置において、撮影パラメータ算出部１０７が、視差量に基づいて撮影パラメータを算出する際に、顔検出領域以外の領域の視差量も考慮し、撮影パラメータを算出することが好ましい。たとえば、顔検出領域以外の領域が遠方被写体の場合、撮影パラメータ算出部１０７が、取得したステレオ画像において後方発散しないように（融像できないステレオ画像とならないように）撮影パラメータを調整することで、ステレオ画像用撮像装置において、破綻のない立体画像を撮影することが可能となる。
【００６０】
図１７に、第３変形例のステレオ画像用撮像装置１０００Ｃの概略構成図を示す。
図１７に示すように、第３変形例のステレオ画像用撮像装置１０００Ｃは、第１実施形態のステレオ画像用撮像装置１０００において、第２顔検出部１０５を省略し、視差検出領域決定部２０２と、詳細視差検出部２０３と、粗視差検出部２０４とを追加した構成となっている。
ステレオ画像用撮像装置１０００Ｃでは、以下の（１）、（２）の処理が並行して実行される。
（１）顔領域についての詳細視差量の算出処理：
詳細視差検出部２０３では、第１顔検出部１０４で検出された顔領域に基づいて、視差検出領域決定部２０２で制限した部分領域で詳細な視差量を検出する処理が実行される。なお、この処理は、上記第２変形例で説明した処理と同様の処理である。
（２）顔領域以外の領域についての粗視差量の算出処理：
粗視差検出部２０４では、第１撮像部１０１および第２撮像部１０２で撮影（取得）された画像データ（ステレオ画像データ）（第１画像信号および第２画像信号）から視差量を検出する処理が実行される。このとき、顔領域以外の領域については、マッチング処理を実行するための画像ブロックの画素数を、顔領域マッチング処理を行うときの画像ブロックの画素数よりも少なくして（粗くして）（例えば、マッチング処理を実行するための画像ブロック内において画素を間引いて）、第１画像信号により形成される画像および第２画像信号により形成される画像（右眼画像および左眼画像）内において、マッチング処理を行い、視差量を検出する。
【００６１】
そして、撮影パラメータ算出部１０７では、上記（１）で算出された顔検出領域の視差量と、上記（２）で算出された顔検出領域以外の領域の視差量と、被写体定位位置設定部により設定された被写体定位位置とに基づいて、撮影パラメータが決定される。
以上のように、ステレオ画像用撮像装置１０００Ｃでは、顔検出結果を利用し、顔検出領域と他の領域とで視差検出精度を変えることで、視差検出に必要となる演算量を削減し、装置コストや消費電力を削減することが可能となる。
次に、ステレオ画像用撮像装置１０００Ｃにおいて、顔検出処理で、複数の顔領域が検出される場合の処理について、説明する。
図１８は、ステレオ画像用撮像装置１０００Ｃにおいて取得（撮像）される画像上において、複数の顔領域が検出される場合の画像の一例を模式的に示した図である。
【００６２】
ステレオ画像用撮像装置１０００Ｃにより取得（撮像）される画像において、複数の被写体領域が検出された場合、ステレオ画像用撮像装置１０００Ｃでは、検出された顔領域の面積の大きさにより被写体の優先度を決め、例えば、面積の一番大きい顔領域を主要被写体の顔領域と想定し、面積の一番大きい顔領域について視差量を検出し、撮影パラメータを調整する。また、ステレオ画像用撮像装置１０００Ｃにおいて、複数の顔領域のうち面積の大きい（最大の）被写体についての視差量を最大飛び出し視差量とし、面積の小さい（最小の）被写体についての視差量を最大奥行き視差量とする。そして、ステレオ画像用撮像装置１０００Ｃにおいて、最大飛び出し視差量に対応する被写体位置と、最大奥行き視差量に対応する被写体位置とが、ともに、所定の視差範囲（例えば、立体視可能領域）に収まるように調整して、撮影パラメータ算出部１０７にて、撮影パラメータを算出する。これにより、ステレオ画像用撮像装置１０００Ｃでは、検出されたすべての顔被写体について、適切な立体画像を撮影することが可能となる。
【００６３】
なお、図１８の場合において、３つの顔検出領域に対応する被写体が全て奥行き領域（仮想スクリーンより奥の領域）に存在する場合は、ステレオ画像用撮像装置１０００Ｃにおいて、面積の一番大きい顔領域に対応する視差量を最小奥行き視差量とし、面積の一番小さい顔領域に対応する視差量を最大奥行き視差量とし、最小奥行き視差量に対応する被写体位置と最大奥行き視差量に対応する被写体位置が、ともに、所定の視差範囲（例えば、立体視可能領域）に収まるように調整して、撮影パラメータ算出部１０７にて、撮影パラメータを算出する。これにより、ステレオ画像用撮像装置１０００Ｃでは、検出されたすべての顔被写体について、適切な立体画像を撮影することが可能となる。
また、図１８の場合において、３つの顔検出領域に対応する被写体が全て飛び出し領域（仮想スクリーンより手前の領域）に存在する場合は、ステレオ画像用撮像装置１０００Ｃにおいて、面積の一番大きい顔領域に対応する視差量を最大飛び出し視差量とし、面積の一番小さい顔領域に対応する視差量を最小飛び出し視差量とし、最大飛び出し視差量に対応する被写体位置と最小飛び出し視差量に対応する被写体位置が、ともに、所定の視差範囲（例えば、立体視可能領域）に収まるように調整して、撮影パラメータ算出部１０７にて、撮影パラメータを算出する。これにより、ステレオ画像用撮像装置１０００Ｃでは、検出されたすべての顔被写体について、適切な立体画像を撮影することが可能となる。
【００６４】
図１９に、複数の顔検出領域に対して被写体定位位置を決定する一例に関する説明図を示す。図１９に示すように、ステレオ画像用撮像装置１０００Ｃでは、例えば、図１８の複数の顔検出領域のうち、顔領域の面積の一番大きい被写体Ｂは視聴者（ユーザー）からみて一番手前に定位させ、面積が二番目に大きい被写体Ａは二番目に手前の位置に定位させ、面積が一番小さい被写体Ｃが一番奥に定位させ、かつ、それらの定位位置が所定の範囲（例えば、立体視可能領域）に収まるように撮影パラメータを決定する。
なお、ステレオ画像用撮像装置１０００Ｃでは、まず、複数の顔検出領域について、左眼画像および右眼画像の配置から、その定位位置が仮想スクリーンの手前（飛び出し側）であるのか、それとも、仮想スクリーンの奥（引き込み側）にあるのかを判断し、その後、複数の顔検出領域に相当する被写体をどの位置に定位させるかを決定するようにしてもよい。例えば、図１９の場合、被写体Ｂの定位位置が所定の範囲（例えば、立体視可能領域）外の飛び出し位置にあるとき、ステレオ画像用撮像装置１０００Ｃでは、以下の処理を行うようにしてもよい。すなわち、
（１）ステレオ画像用撮像装置１０００Ｃは、被写体Ｂの定位位置が仮想スクリーンの手前（飛び出し側）であることを認識する。
（２）そして、その後、ステレオ画像用撮像装置１０００Ｃでは、被写体Ｂの定位位置を仮想スクリーンにより近づく位置に定位させるように、撮影パラメータを算出する。
（３）算出した撮影パラメータに設定した後、複数の被写体（図１９の場合では、被写体Ａ、Ｂ、Ｃ）の全てが所定の範囲（例えば、立体視可能領域）内に定位されているか否かを確認する。
（４）複数の被写体（図１９の場合では、被写体Ａ、Ｂ、Ｃ）の全てが所定の範囲（例えば、立体視可能領域）内に定位されていることが確認された場合、ステレオ画像用撮像装置１０００Ｃでは、ステレオ画像を取得する。一方、複数の被写体（図１９の場合では、被写体Ａ、Ｂ、Ｃ）の全てが所定の範囲（例えば、立体視可能領域）内に定位されていない場合、ステレオ画像用撮像装置１０００Ｃでは、さらに、撮影パラメータを調整し、複数の被写体（図１９の場合では、被写体Ａ、Ｂ、Ｃ）の全てが所定の範囲（例えば、立体視可能領域）内に定位される状態となるまで、上記（１）〜（３）の処理を繰り返す。
【００６５】
以上により、ステレオ画像用撮像装置１０００Ｃでは、ユーザーの所望の定位位置に被写体（この場合は複数の人物）を定位させつつ、検出されたすべての顔被写体（人物被写体）について、適切な立体感を実現させる立体画像（ステレオ画像）を撮影（取得）することが可能となる。
なお、第１顔検出部１０４および視差検出領域決定部２０２は、「被写体検出部」の一例である。
［第２実施形態］
次に、本発明の第２実施形態について、図面を参照しながら、説明する。
＜２．１：ステレオ画像用表示装置の構成＞
図２０に、第２実施形態のステレオ画像用表示装置２０００の概略構成図を示す。
【００６６】
図２０に示すように、ステレオ画像用表示装置２０００は、第１視点画像および第２視点画像から構成されるステレオ画像を読み出し再生する画像再生部３０１と、画像再生部３０１から出力される第１視点画像を表示する第１表示部と、画像再生部３０１から出力される第２視点画像を表示する第２表示部と、を備える。
また、ステレオ画像用表示装置２０００は、画像再生部３０１から出力される第１視点画像から被写体領域を検出（抽出）する第１被写体検出部と、画像再生部３０１から出力される第２視点画像から被写体領域を検出（抽出）する第２被写体検出部３０５と、第１被写体検出部３０４および第２被写体検出部３０５により検出（抽出）された被写体領域に基づいて視差量（表示スクリーン上の視差量）を検出する視差検出部３０６と、を備える。
【００６７】
また、ステレオ画像用表示装置２０００は、被写体定位位置を設定する被写体定位位置設定部３０９と、視差検出部３０６により検出された視差量（表示スクリーン上の視差量）および被写体定位位置設定部３０９により設定された被写体定位位置に基づいて表示位置を決定する表示位置決定部３０７と、表示位置決定部３０７により決定された表示位置に基づいて、ステレオ画像（第１視点画像および第２視点画像）の表示位置を変更するための制御を第１表示部３０２および第２表示部３０３に対して行う表示位置変更部３０８と、を備える。
画像再生部３０１は、第１視点画像および第２視点画像から構成されるステレオ画像を記録保持しており、所定のタイミングで、ステレオ画像（映像）を構成する第１視点画像（映像）および第２視点画像（映像）を読み出す。画像再生部３０１は、第１視点画像を、第１表示部および第１被写体検出部３０４に出力し、第２視点画像を、第２表示部３０３および第２被写体検出部３０５に出力する。なお、画像再生部３０１は、ステレオ画像（映像）が保存されている外部記録メディア等からステレオ画像（映像）を読み出し、再生するものであってもよい。
【００６８】
第１表示部３０２は、画像再生部３０１から出力される第１視点画像を表示スクリーン上に表示させる。また、第１表示部３０２は、表示位置変更部３０８から出力される第１表示部用制御信号に基づいて、第１視点画像の表示スクリーン上の位置を調整（変更）する。
第２表示部３０３は、画像再生部３０１から出力される第２視点画像を表示スクリーン上に表示させる。また、第２表示部３０３は、表示位置変更部３０８から出力される第２表示部用制御信号に基づいて、第２視点画像の表示スクリーン上の位置を調整（変更）する。
第１被写体検出部は、画像再生部３０１から出力される第１視点画像から被写体領域（例えば、顔領域）を検出（抽出）する。被写体領域の検出（抽出）方法は、上記実施形態と同様である。そして、第１被写体検出部は、検出した被写体領域に関する情報を視差検出部３０６に出力する。
【００６９】
第２被写体検出部３０５は、画像再生部３０１から出力される第２視点画像から被写体領域（例えば、顔領域）を検出（抽出）する。被写体領域の検出（抽出）方法は、上記実施形態と同様である。そして、第２被写体検出部は、検出した被写体領域に関する情報を視差検出部３０６に出力する。
視差検出部３０６は、第１被写体検出部３０４および第２被写体検出部３０５により検出（抽出）された被写体領域に基づいて視差量（表示スクリーン上の視差量）を検出する。視差量の検出方法については、上記実施形態と同様である。そして、視差検出部３０６は、検出した視差量（表示スクリーン上の視差量）に関する情報を表示位置決定部３０７に出力する。
被写体定位位置設定部３０９は、被写体定位位置を設定する。被写体定位位置は、例えば、ユーザーの指示により設定されるものであってもよいし、ステレオ画像用表示装置２０００において、予め設定されている、あるいは、自動設定されるものであってもよい。被写体定位位置設定部３０９は、設定した被写体定位位置に関する情報を表示位置決定部３０７に出力する。
【００７０】
表示位置決定部３０７は、視差検出部３０６により検出された視差量（表示スクリーン上の視差量）および被写体定位位置設定部３０９により設定された被写体定位位置に基づいて表示位置（第１視点画像に関する表示位置および第２視点画像に関する表示位置）を決定する。このとき、表示位置決定部３０７は、適切な視差量となるように（立体視可能領域内の視差量となるように）表示位置を決定する。そして、表示位置決定部３０７は、決定した表示位置（第１視点画像に関する表示位置および第２視点画像に関する表示位置）に関する情報を表示位置変更部３０８に出力する。
表示位置変更部３０８は、表示位置決定部３０７により決定された表示位置に基づいて、ステレオ画像（第１視点画像および第２視点画像）の表示位置を変更するための制御を第１表示部３０２および第２表示部３０３に対して行う。具体的には、表示位置変更部３０８は、第１視点画像の表示位置を変更するための制御信号（第１表示部用制御信号）および第２視点画像の表示位置を変更するための制御信号（第２表示部用制御信号）を生成する。そして、表示位置変更部３０８は、第１表示部用制御信号を第１表示部３０２に出力し、第２表示部用制御信号を第２表示部３０３に出力する。
【００７１】
＜２．２：ステレオ画像用表示装置の動作＞
以上のように構成されたステレオ画像用表示装置２０００の動作について、以下、説明する。なお、図２２は、ステレオ画像用表示装置２０００で実行されるステレオ画像用撮像方法の処理フローを示すフローチャートである。
（ステップＳ２０１）：
画像再生部３０１は、第１視点画像および第２視点画像を所定のタイミングにより再生する。そして、第１視点画像は、第１被写体検出部３０４および第１表示部３０２に出力される。第２視点画像は、第２被写体検出部３０５および第２表示部３０３に出力される。
（ステップＳ２０２）：
第１被写体検出部３０４では、画像再生部３０１から出力された第１視点画像から被写体領域（第１被写体領域）（例えば、顔領域）が検出される。そして、検出された第１被写体領域に関する情報は、視差検出部３０６に出力される。
【００７２】
第２被写体検出部３０５では、画像再生部３０１から出力された第２視点画像から被写体領域（第２被写体領域）（例えば、顔領域）が検出される。そして、検出された第２被写体領域に関する情報は、視差検出部３０６に出力される。
（ステップＳ２０３）：
視差検出部３０６では、第１被写体検出領域と第２被写体検出領域とから視差量（表示スクリーン上の視差量）が検出される。視差量の検出方法は、第１実施形態と同様である。
（ステップＳ２０４）：
被写体定位位置設定部３０９では、視聴者（ユーザー）が所望の定位位置を設定することで、被写体定位位置が設定される。あるいは、被写体定位位置設定部３０９により、安全で見やすい定位位置の範囲内に、被写体定位位置が自動設定される。
【００７３】
被写体定位位置設定部３０９により設定された被写体定位位置に関する情報は、表示位置決定部３０７に出力される。
（ステップＳ２０５）：
表示位置決定部３０７では、視差検出部３０６で検出された視差量と、被写体定位位置設定部３０９で設定された被写体定位位置とに基づいて、第１表示部３０２および第２表示部３０３に設定すべき表示位置が算出（決定）される。具体的には、表示位置決定部３０７では、被写体定位位置設定部３０９で設定された被写体定位位置に被写体が定位するための目標視差量が算出され、その算出された目標視差量と視差検出部３０６で検出された視差量とが一致、もしくは近づく（所定の範囲内の差となる）ように、第１表示部３０２および第２表示部３０３に設定すべき表示位置が算出される。そして、算出された第１表示部３０２および第２表示部３０３に設定すべき表示位置に関する情報は、表示位置変更部３０８に出力される。
【００７４】
なお、視差検出部３０６で検出された視差量と目標視差量とを合わせこむ考え方は、第１実施形態と同様である。ただし、第１実施形態では、撮影パラメータを変更するのに対し、第２実施形態では、表示位置を変更する点が異なる。
（ステップＳ２０６）：
表示位置変更部３０８では、表示位置決定部３０７にて決定された表示位置情報に基づき、第１表示部３０２および第２表示部３０３の表示位置を変更（調整）する。具体的には、表示位置変更部３０８では、第１視点画像の表示位置を変更するための制御信号（第１表示部用制御信号）および第２視点画像の表示位置を変更するための制御信号（第２表示部用制御信号）が生成される。そして、第１表示部用制御信号は、第１表示部３０２に出力され、第２表示部用制御信号は、第２表示部３０３に出力される。
【００７５】
第１表示部３０２では、第１表示部用制御信号に基づいて、第１視点画像の表示位置（表示スクリーン上の表示位置）が変更（調整）される。
第２表示部３０３では、第２表示部用制御信号に基づいて、第２視点画像の表示位置（表示スクリーン上の表示位置）が変更（調整）される。
以上により、ステレオ画像用表示装置２０００では、所望の定位位置に被写体を定位させつつ、適切な立体感を実現するステレオ画像（映像）表示を行うことができる。
≪顔検出結果に基づく表示位置の調整≫
図２１に、顔検出結果に基づいて表示位置を調整する一例に関する説明図を示す。
図２１（ａ）は、表示位置調整前のステレオ画像（左眼画像および右眼画像）と被写体定位置と表示スクリーン上の視差量との関係を模式的に示す図である。図２１（ｂ）は、表示位置調整後のステレオ画像（左眼画像および右眼画像）と被写体定位置と表示スクリーン上の視差量との関係を模式的に示す図である。
【００７６】
例えば、図２１（ａ）のように、表示スクリーン上の視差量が大きく、被写体定位位置が表示スクリーンから大きく飛び出して見づらい場合、ステレオ画像用表示装置２０００では、視聴者が希望する被写体定位位置（図２１（ｂ）の被写体定位位置Ｐ１）を設定して、その設定した被写体定位位置Ｐ１に基づいて、視差量が算出される。この場合、図２１に示すように、視差量が小さくなるように設定されているので、ステレオ画像用表示装置２０００では、図２１に示すように、左眼画像を左に、右眼画像を右にずらすように表示位置が決定される。これにより、ステレオ画像用表示装置２０００では、被写体定位位置の飛び出しが抑制され、図２１（ｂ）に示すように、被写体定位位置が表示スクリーンに近づいた立体画像が表示される。このため、ステレオ画像用表示装置２０００に表示される立体画像（ステレオ画像）は、ユーザーにとって見やすい立体画像となる。
【００７７】
なお、ステレオ画像用表示装置２０００における顔検出処理量の低減や、視差検出処理量の低減については、第１実施形態と同様の構成にすることで実現可能である。
≪まとめ≫
以上のように、本実施形態のステレオ画像用表示装置２０００では、撮影された立体画像（ステレオ画像）である左右の表示画像に対して、顔検出処理（被写体検出処理）を実施し、顔検出結果（被写体検出結果）を用いて視差量を算出する。そして、ステレオ画像用表示装置２０００では、算出した視差量に基づいて、所定の定位位置（例えば、ユーザーが所望する定位位置）に被写体を定位させつつ、飛び出しすぎ等のない適切な立体感、奥行き感を実現する立体画像（ステレオ画像）表示を行うことができる。
なお、画像再生部３０１は、「画像再生部」の一例である。
【００７８】
また、第１被写体検出部３０４および第２被写体検出部３０５は、「被写体検出部」の一例である。
また、視差検出部３０６は、「視差検出部」の一例である。
また、表示位置決定部３０７は、「決定部」の一例である。
また、表示位置変更部３０８は、「設定部」の一例である。
また、第１表示部３０２および第２表示部３０３は、「表示部」の一例である。
［他の実施形態］
なお、上記実施形態では、２つの撮像部（第１撮像部１０１および第２撮像部１０２）により、ステレオ画像（左眼用画像および右眼用画像）を取得（撮像）している場合について説明した。しかし、これに限定されることはなく、例えば、１つの撮像素子（撮像部）により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、１つの撮像素子の撮像素子面を２分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。また、第１視点からの被写体光の光路と、第２視点からの被写体光の光路とを光学的に切り換える機構を設け、１つの撮像部により、左眼用画像と右眼用画像とを取得するようにしてもよい。
【００７９】
また、上記実施形態において、ステレオ画像を構成する右眼画像および左眼画像の左右関係については、左右を入れ替えても上記と同様の処理が可能な場合は、左右関係を上記実施形態の例と入れ替えた状態で、本発明を実施してもよいことは言うまでもない。
また、図２に示す第１撮像部１０１の第１カメラ信号処理部３は、第１撮像部１０１の外に設置されるものであってもよい。また、第２撮像部１０２の第２カメラ信号処理部７は、第２撮像部１０２の外に設置されるものであってもよい。
また、上記実施形態において、第１顔検出部および第２顔検出部を１つの被写体検出部として構成し、第１撮像部から出力される第１画像信号および第２撮像部から出力される第２画像信号に対して、時分割処理により被写体領域（例えば、顔領域）検出を行うようにしてもよい。これにより、ステレオ画像用撮像装置の回路規模や製造コストを削減することができる。
【００８０】
また、上記実施形態で説明したステレオ画像用撮像装置および／またはステレオ画像用表示装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【００８１】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係るステレオ画像用撮像装置および／またはステレオ画像用表示装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【００８２】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕｅ−ｒａｙ  Ｄｉｓｃ）、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【００８３】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【００８４】
本発明のステレオ画像用撮像装置、ステレオ画像用撮像方法、ステレオ画像表示装置、ステレオ画像用表示方法、および、プログラムは、ステレオ画像撮影機能を有するデジタルカメラ、デジタルビデオカメラにおいて、適切な立体感をもつステレオ画像を撮影、表示する用途に有用である。
【符号の説明】
【００８５】
１０００、１０００Ａ、１０００Ｂ、１０００Ｃ  ステレオ画像用撮像装置
１  第１光学系
２  第１撮像素子部
３  第１カメラ信号処理部
４  第１撮影パラメータ調整部
５  第２光学系
６  第２撮像素子部
７  第２カメラ信号処理部
８  第２撮影パラメータ調整部
１０１  第１撮像部
１０２  第２撮像部
１０３  画像記録部
１０４  第１顔検出部（第１被写体検出部）
１０５  第２顔検出部（第２被写体検出部）〜
１０６  視差検出部
１０７  撮影パラメータ算出部
１０８  被写体定位位置設定部
１０９  撮影パラメータ変更部
２０１  顔検出対象領域決定部
２０２  視差検出領域決定部
２０３  詳細視差検出部
２０４  粗視差検出部
２０００  ステレオ画像用表示装置
３０１  画像再生部
３０２  第１表示部
３０３  第２表示部
３０４  第１顔検出部
３０５  第２顔検出部
３０６  視差検出部
３０７  表示位置決定部
３０８  表示位置変更部
３０９  被写体定位位置設定部
【図１】
2011086636.tif 000003
【図２】
2011086636.tif 000004
【図３】
2011086636.tif 000005
【図４】
2011086636.tif 000006
【図５】
2011086636.tif 000007
【図６】
2011086636.tif 000008
【図７】
2011086636.tif 000009
【図８】
2011086636.tif 000010
【図９】
2011086636.tif 000011
【図１０】
2011086636.tif 000012
【図１１】
2011086636.tif 000013
【図１２】
2011086636.tif 000014
【図１３】
2011086636.tif 000015
【図１４】
2011086636.tif 000016
【図１５】
2011086636.tif 000017
【図１６】
2011086636.tif 000018
【図１７】
2011086636.tif 000019
【図１８】
2011086636.tif 000020
【図１９】
2011086636.tif 000021
【図２０】
2011086636.tif 000022
【図２１】
2011086636.tif 000023
【図２２】
2011086636.tif 000024
【図２３】
2011086636.tif 000025
【手続補正書】
【提出日】平成24年5月18日(2012.5.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ立体視用の右眼画像および左眼画面を撮影・表示する撮影装置（ステレオ画像用撮像装置）、表示装置およびその方法、プログラム、集積回路に関する。
【背景技術】
【０００２】
一般に、左眼用撮影カメラと右眼用撮影カメラとを用いて立体画像（ステレオ画像）を撮影し、その撮影した立体画像（ステレオ画像）を表示装置に表示させる場合、表示スクリーン画面上の左右画像の視差により、被写体の定位位置が変化する。
【０００３】
図３に、被写体定位位置に関する説明図を示す。図３（ａ）は、被写体の定位位置が飛び出し位置（表示スクリーンより手前の位置）である場合の説明図である。図３（ｂ）は、被写体の定位位置が表示スクリーン位置（表示スクリーン上の位置）である場合の説明図である。図３（ｃ）は、被写体の定位位置が奥行き位置（引き込み位置）（表示スクリーンより奥の位置）である場合の説明図である。
【０００４】
図３に示すように、左右の画像と視点を結ぶ線の交点位置に被写体が定位する。
一般に、人間にとって、図３（ｂ）のスクリーン位置前後に被写体を定位させるステレオ画像が、見やすい、安全な立体画像（ステレオ画像）であると言われている。
【０００５】
また、例えば、視差１度（視差角１度）以内の範囲に収まるように、飛び出し量が最大となる被写体定位位置（例えば、図３（ａ）の飛び出し位置）と引き込み量が最大となる被写体定位位置（例えば、図３（ｃ）の奥行き位置（引き込み位置））とを設定して立体画像（ステレオ画像）を取得（撮影）することで、当該立体画像（ステレオ画像）は、見やすい、安全な立体画像となると言われている。
【０００６】
さらに、図３（ｃ）の場合で、表示スクリーン上の視差（視差量）が人間の眼間距離（５〜７ｃｍ）よりも広くなると両眼立体視が困難になると言われている。
こうした問題を解決するため、顔を検出する技術を活用することによって視認者に立体視を行なわせるのに適した画像データを生成することができる撮像装置が提案されている（例えば、特許文献１参照）。
【０００７】
図２３に、従来の撮像装置９００の構成図を示す。図２３に示すように、撮像装置９００では、撮像装置９００により取得した左右の画像データから、ＣＰＵ１０の顔検出アルゴリズムにより、それぞれ顔の位置を抽出する。そして、撮像装置９００では、顔の位置が複数の撮影画像内で互いに同一の座標に位置する様に撮像ユニット１１および撮像ユニット１２の向きをそれぞれ調節してから撮影を行う、つまり、輻輳角を調節してから撮影を行なう構成になっている。
【０００８】
図４に、従来技術（従来の撮像装置９００）における輻輳角調整による被写体定位位置をスクリーン位置に調整する場合の説明図を示す。図４（ａ）は、輻輳角調整前の被写体定位位置と表示スクリーンとの関係、並びに、そのときの左眼画像、右眼画像および合成画像を模式的に示した図である。図４（ｂ）は、輻輳角調整後の被写体定位位置と表示スクリーンとの関係、並びに、そのときの左眼画像、右眼画像および合成画像を模式的に示した図である。
【０００９】
図４（ａ）の場合、被写体が飛び出し位置に定位している、すなわち、被写体定位位置が表示スクリーンの手前となっている。従来技術（従来の撮像装置９００）では、図４（ｂ）に示すように、左右の顔検出領域を一致させるように輻輳角を調整することにより、被写体を表示スクリーン上に定位させる。これにより、従来技術（従来の撮像装置９００）では、被写体定位位置が表示スクリーン上となる立体画像（ステレオ画像）を撮影（取得）することができる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００８−２２１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、従来技術では、左右画像の顔検出結果の一致により表示スクリーン上に被写体を定位させることができるものの、被写体を所望の位置に定位させることができないという課題がある。
【００１２】
本発明は、上記問題点に鑑み、被写体検出結果（例えば、顔検出結果）を用いて視差量を算出し、算出した視差量に基づいて、所定の定位位置に被写体を定位するように撮影パラメータを設定することで、撮影者が所望する立体感、奥行き感の立体画像を取得することができ、かつ、飛び出しすぎ等のない適切な立体視が可能な立体画像を取得することが可能なステレオ画像用撮像装置、ステレオ画像用撮像方法、プログラム、集積回路およびステレオ画像用表示装置、ステレオ画像用表示方法、プログラム、集積回路を提供することを目的とする。
【課題を解決するための手段】
【００１３】
第１の発明は、撮影部と、被写体検出部と、視差検出部と、算出部と、調整部と、を備えるステレオ画像用撮像装置である。
撮影部は、被写体を撮影し、当該被写体を第１視点から見た撮影シーンに対応する第１視点画像を生成するとともに、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を生成する。
【００１４】
被写体検出部は、第１視点画像から被写体領域を第１被写体領域として検出するとともに、第２視点画像から被写体領域を第２被写体領域として検出する。
視差検出部は、第１視点画像と第２視点画像とにおける両眼視差のうち、第１被写体領域と第２被写体領域とにおける両眼視差を示す視差情報を検出する。
【００１５】
算出部は、視差検出部により検出した視差情報に基づいて、被写体を撮影する際の撮影パラメータを算出する。
調整部は、算出部にて算出された撮影パラメータに基づき、撮影部を調整する。
【００１６】
このステレオ画像用撮像装置では、ステレオ画像（第１視点画像および第２視点画像）において、被写体領域の検出を行い、検出した被写体領域を用いて視差量（仮想（表示）スクリーン上の視差量（第１視点画像と第２視点画像とにおける両眼視差））を算出する。そして、このステレオ画像用撮像装置では、算出部が、視差検出部により検出した視差（両眼視差を示す視差情報）を用いて、自然な立体感を実現するステレオ画像を取得できるように撮影パラメータを算出する。そして、このステレオ画像用撮像装置では、算出された撮影パラメータに基づき、第１撮像部および／または第２撮像部の撮影パラメータが調整される。このため、このステレオ画像用撮像装置において、撮影パラメータ調整後に取得されるステレオ画像は、撮影者（ユーザー）が所定の被写体を所望の位置に定位させたステレオ画像であり、かつ、当該ステレオ画像は、飛び出しすぎ等のない適切な立体視（自然な立体感、奥行き感）が可能な立体画像（ステレオ画像）となる。
【００１７】
第２の発明は、第１の発明であって、算出部は、視差検出部により検出した視差を、所定の位置に定位するための目標視差に一致、もしくは近づけるための撮影パラメータを算出する。
【００１８】
このステレオ画像用撮像装置では、ステレオ画像（第１視点画像および第２視点画像）において、被写体領域の検出を行い、検出した被写体領域を用いて視差量（仮想（表示）スクリーン上の視差量（第１視点画像と第２視点画像とにおける両眼視差））を算出する。そして、このステレオ画像用撮像装置では、算出部が、視差検出部により検出した視差（両眼視差を示す視差情報）を、所定の位置に定位するための目標視差に一致、もしくは近づけるように撮影パラメータを算出する。そして、このステレオ画像用撮像装置では、算出された撮影パラメータに基づき、第１撮像部および／または第２撮像部の撮影パラメータが調整される。このため、このステレオ画像用撮像装置において、撮影パラメータ調整後に取得されるステレオ画像は、撮影者（ユーザー）が所定の被写体を所望の位置に定位させたステレオ画像であり、かつ、当該ステレオ画像は、飛び出しすぎ等のない適切な立体視（自然な立体感、奥行き感）が可能な立体画像（ステレオ画像）となる。
【００１９】
第３の発明は、第１または第２の発明であって、被写体検出部は、検出対象を人物被写体の顔領域として、第１被写体領域および第２被写体領域を検出する。
これにより、このステレオ画像用撮像装置では、検出対象（被写体領域）を人物被写体の顔領域として、視差を検出することができる。
【００２０】
第４の発明は、第１から第３のいずれかの発明であって、被写体検出部は、第１被写体領域に対応する、第２視点画像上の領域および当該領域の周辺領域で構成される部分画像領域を被写体検出対象の画像領域として、第２被写体領域を検出する。
【００２１】
このステレオ画像用撮像装置では、第２被写体領域の検出処理において、制限された画像領域が対象となるので、演算量を削減することができ、ステレオ画像用撮像装置での処理をより高速にすることができる。
【００２２】
なお、「当該領域の周辺領域」とは、第２被写体領域を検出するのに十分な領域をいい、例えば、第１被写体領域の画像上での高さをｈとし、第１視点画像および第２視点画像の横の長さをｗとしたとき、高さｈ×幅ｗの画像領域を含む領域である。
【００２３】
第５の発明は、第１から第４のいずれかの発明であって、被写体検出部により、複数の被写体領域が検出された場合、視差検出部は、複数の被写体領域についての視差情報をそれぞれ検出し、検出された各被写体領域の面積を算出し、面積の大きさにより各被写体領域の優先度を決定する。そして、算出部は、視差検出部により決定された各被写体領域の優先度に基づいて、撮影パラメータを算出する。
【００２４】
これにより、このステレオ画像用撮像装置では、複数の被写体領域が検出された場合であっても、各被写体領域の優先度に基づいて、撮影パラメータを算出することができる。
【００２５】
第６の発明は、第５の発明であって、被写体検出部により、複数の被写体領域が検出された場合、視差検出部は、面積が最大の被写体領域を主要被写体領域として、主要被写体領域の視差を検出する。
これにより、このステレオ画像用撮像装置では、主要被写体領域の視差を用いて、撮影パラメータを調整することができるので、主要被写体に関して適切なステレオ画像を取得することができる。
【００２６】
第７の発明は、第１から第６のいずれかの発明であって、被写体検出部で、複数の被写体領域が検出された場合、第１被写体領域もしくは第２被写体領域の面積を算出し、面積の大きさにより被写体の優先度を決定する。算出部は、面積が最大の被写体領域についての視差を最大飛び出し視差とし、面積が最小の被写体領域についての視差を最大奥行き視差として、最大飛び出し視差および最大奥行き視差が、所定の視差範囲に収まるように、撮影パラメータを算出する。
【００２７】
このステレオ画像用撮像装置では、複数の被写体領域が検出された場合であっても、最大飛び出し視差および最大奥行き視差が、所定の視差範囲に収まるように、撮影パラメータを算出することができる。これにより、このステレオ画像用撮像装置では、複数の被写体領域が検出された場合であっても、当該複数の被写体の全てを適切な位置に定位しつつ、適切な立体感を実現するステレオ画像を取得することができる。
【００２８】
なお、「所定の視差範囲」とは、適切な立体感を実現する視差範囲のことをいい、例えば、立体視可能領域に相当する視差範囲をいう。「立体視可能領域」とは、例えば、図９（ａ）に示す被写体との成す角α１と、仮想スクリーンと成す角β１との差分絶対値が１°以内となるように設定される領域のことをいう。
【００２９】
第８の発明は、第１の発明であって、第１視点画像と第２視点画像とから、所定の被写体領域以外の被写体領域について、第１の精度で視差を粗視差として検出する粗視差検出部をさらに備える。
【００３０】
視差検出部は、第１の精度より高い精度である第２の精度で、所定の被写体領域についての視差を詳細視差として検出する。
調整部は、粗視差および詳細視差に基づいて、撮影パラメータを算出する。
【００３１】
これにより、このステレオ画像用撮像装置では、所定の被写体領域（例えば、顔領域）と所定の被写体以外の領域とで視差検出精度を変えることができる。その結果、このステレオ画像用撮像装置では、視差検出に必要となる演算量を削減し、装置コストや消費電力を削減することが可能となる。
【００３２】
第９の発明は、第８の発明であって、視差検出部は、所定の被写体領域についての視差を最大飛び出し視差として検出する。粗視差検出部は、所定の被写体領域以外の被写体領域についての視差から奥行きの最大視差を最大奥行き視差として抽出する。算出部は、最大飛び出し視差および最大奥行き視差が、所定の視差範囲に収まるように、撮影パラメータを算出する。
【００３３】
これにより、このステレオ画像用撮像装置では、所定の被写体領域（例えば、顔領域）に対応する被写体を最大飛び出し視差に相当する位置に定位させ、かつ、最大奥行き視差に対応する被写体を最大奥行き視差に相当する位置に定位させることができる。さらに、このステレオ画像用撮像装置では、最大飛び出し視差および最大奥行き視差が、所定の視差範囲（例えば、立体視可能領域に相当する視差範囲）に収まるように、撮影パラメータを算出することができるので、所定の被写体領域に対応する被写体を所望の飛び出し位置に定位させつつ、所定の被写体領域に対応する被写体以外の被写体についても適切な位置に定位させることができる。これにより、このステレオ画像用撮像装置では、適切な立体感を実現するステレオ画像を取得することができる。
【００３４】
第１０の発明は、第１視点における第１視点画像および第２視点における第２視点画像を表示することで立体画像を表示させるステレオ画像用表示装置であって、画像再生部と、被写体検出部と、視差検出部と、決定部と、設定部と、表示部と、を備える。
【００３５】
画像再生部は、第１視点画像および第２視点画像を再生する。
被写体検出部は、第１視点画像から第１被写体領域を検出するとともに、第２視点画像から第２被写体領域を検出する。
【００３６】
視差検出部は、第１被写体検出領域と第２被写体検出領域とから、視差を検出する。
決定部は、視差検出部で検出された視差に基づいて、自然な立体感を再現するための表示位置情報を決定する。
【００３７】
設定部は、表示位置情報に基づき、表示位置を設定する。
表示部は、設定部により設定された表示位置に基づいて、第１視点画像および第２視点画像を表示する。
【００３８】
このステレオ画像用表示装置では、撮影された立体画像（ステレオ画像）である左右の表示画像（第１視点画像および第２視点画像）に対して、被写体検出処理（例えば、顔検出処理）を実施し、被写体検出結果を用いて視差量を算出する。そして、このステレオ画像用表示装置では、算出した視差量に基づいて、適切な立体感、奥行き感を実現する立体画像（ステレオ画像）表示を行うことができる。
【００３９】
第１１の発明は、第１０の発明であって、決定部は、視差検出部で検出された視差を、所定の位置に定位するための目標視差に一致、もしくは近づけるための表示位置情報を決定する。
【００４０】
このステレオ画像用表示装置では、撮影された立体画像（ステレオ画像）である左右の表示画像（第１視点画像および第２視点画像）に対して、被写体検出処理（例えば、顔検出処理）を実施し、被写体検出結果を用いて視差量を算出する。そして、このステレオ画像用表示装置では、算出した視差量に基づいて、所定の定位位置（例えば、ユーザーが所望する定位位置）に被写体を定位させつつ、飛び出しすぎ等のない適切な立体感、奥行き感を実現する立体画像（ステレオ画像）表示を行うことができる。
【００４１】
第１２の発明は、被写体を撮影し、当該被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を生成する撮影部を備えるステレオ画像用撮像装置に用いられるステレオ画像用撮像方法であって、被写体検出ステップと、視差検出ステップと、算出ステップと、変更ステップと、撮影ステップと、を備える。
【００４２】
被写体検出ステップでは、第１視点画像から被写体領域を第１被写体領域として検出するとともに、第２視点画像から被写体領域を第２被写体領域として検出する。
視差検出ステップでは、第１視点画像と第２視点画像とにおける両眼視差のうち、第１被写体領域と第２被写体領域とにおける両眼視差を示す視差情報を検出する。
【００４３】
算出ステップでは、視差検出ステップにより検出した視差情報に基づいて、被写体を撮影する際の撮影パラメータを算出する。
変更ステップでは、算出ステップにて算出された撮影パラメータに基づき、撮影部の撮影パラメータを調整する。
【００４４】
撮影ステップでは、撮影部が変更ステップにより撮影パラメータが調整された状態で、第１視点画像および第２視点画像を取得することにより立体撮影を行う。
これにより、第１の発明と同様の効果を奏するステレオ画像用撮像方法を実現することができる。
【００４５】
第１３の発明は、被写体を撮影し、当該被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、被写体を第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を生成する撮影部を備えるステレオ画像用撮像装置に用いられるステレオ画像用撮像方法をコンピュータに実行させるためのプログラムである。ステレオ画像用撮像方法は、被写体検出ステップと、視差検出ステップと、算出ステップと、変更ステップと、撮影ステップと、を備える。
【００４６】
被写体検出ステップでは、第１視点画像から被写体領域を第１被写体領域として検出するとともに、第２視点画像から被写体領域を第２被写体領域として検出する。
視差検出ステップでは、第１視点画像と第２視点画像とにおける両眼視差のうち、第１被写体領域と第２被写体領域とにおける両眼視差を示す視差情報を検出する。
【００４７】
算出ステップでは、視差検出ステップにより検出した視差情報に基づいて、被写体を撮影する際の撮影パラメータを算出する。
変更ステップでは、算出ステップにて算出された撮影パラメータに基づき、撮影部の撮影パラメータを調整する。
【００４８】
撮影ステップでは、撮影部が変更ステップにより撮影パラメータが調整された状態で、第１視点画像および第２視点画像を取得することにより立体撮影を行う。
これにより、第１の発明と同様の効果を奏するステレオ画像用撮像方法をコンピュータに実行させるためのプログラムを実現することができる。
【発明の効果】
【００４９】
本発明によれば、被写体検出結果（例えば、顔検出結果）を用いて視差量を算出し、算出した視差量に基づいて、所定の定位位置に被写体を定位するように撮影パラメータを設定することで、撮影者が所望する立体感、奥行き感の立体画像を取得することができ、かつ、飛び出しすぎ等のない適切な立体視が可能な立体画像を取得することができる。
【図面の簡単な説明】
【００５０】
【図１】第１実施形態のステレオ画像用撮像装置１０００の概略構成図
【図２】第１撮像部１０１および第２撮像部１０２の概略構成図
【図３】被写体定位位置に関する説明図
【図４】従来技術の輻輳角調整による被写体定位位置をスクリーン位置に調整する場合の説明図
【図５】顔検出結果からの視差量検出の一例に関する説明図
【図６】被写体距離と視差量との関係に関する説明図
【図７】視点間距離と視差量との関係に関する説明図
【図８】輻輳点と被写体定位位置との関係に関する説明図
【図９】仮想スクリーン面上での視差量の調整を説明するための図
【図１０】仮想スクリーン面上での視差量の調整を説明するための図
【図１１】ステレオ画像用撮像装置１０００の処理フロー図
【図１２】第１変形例のステレオ画像用撮像装置１０００Ａの概略構成図
【図１３】第２変形例のステレオ画像用撮像装置１０００Ｂの概略構成図
【図１４】顔検出結果に基づいて視差検出対象領域を決定する場合の説明図
【図１５】顔検出結果に基づいて視差検出対象領域を決定する場合の説明図
【図１６】人物以外の被写体が撮影される場合の一例に関する説明図
【図１７】第３変形例のステレオ画像用撮像装置１０００Ｃの概略構成図
【図１８】複数の顔領域が検出される一例に関する説明図
【図１９】複数の顔検出領域に対して被写体定位位置を決定する一例に関する説明図
【図２０】第２実施形態のステレオ画像用表示装置２０００の概略構成図
【図２１】顔検出結果に基づいて表示位置を調整する一例に関する説明図
【図２２】ステレオ画像用表示装置２０００の処理フロー図
【図２３】従来技術のステレオ画像用撮像装置のブロック図
【発明を実施するための形態】
【００５１】
以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
＜１．１：ステレオ画像用撮像装置の構成＞
図１に、第１実施形態のステレオ画像用撮像装置１０００の概略構成図を示す。
【００５２】
図１に示すように、被写体からの光を集光し光電変換により画像信号（映像信号）を第１画像信号として取得（撮像）する第１撮像部１０１と、被写体からの光を集光し光電変換により画像信号（映像信号）を第２画像信号として取得（撮像）する第２撮像部１０２と、を備える。
【００５３】
また、ステレオ画像用撮像装置１０００は、第１撮像部１０１から出力される第１画像信号に基づいて顔検出処理を行う第１顔検出部１０４と、第２撮像部１０２から出力される第２画像信号に基づいて顔検出処理（画像上において、顔を形成する画像領域を検出する処理）を行う第２顔検出部１０５と、第１画像信号および第２画像信号を記録する画像記録部１０３と、を備える。
【００５４】
また、ステレオ画像用撮像装置１０００は、第１顔検出部１０４の出力と第２顔検出部１０５の出力とに基づいて視差を検出する視差検出部１０６と、被写体定位位置を設定する被写体定位位置設定部１０８とを備える。
【００５５】
また、ステレオ画像用撮像装置１０００は、被写体定位位置設定部１０８で設定された被写体定位位置と視差検出部１０６の視差検出結果とに基づいて、撮影パラメータを算出する撮影パラメータ算出部１０７と、撮影パラメータ算出部１０７により算出された撮影パラメータにより撮影パラメータを変更する撮影パラメータ変更部１０９と、を備える。
【００５６】
第１撮像部１０１は、図２（ａ）に示すように、第１光学系１と、第１撮像素子部２と、第１カメラ信号処理部３と、を備える。
第１光学系１は、被写体からの光が第１撮像素子部２の撮像素子面に照射されるように、被写体からの光を集光する。第１光学系１は、例えば、フォーカスレンズ、ズームレンズ、絞り等から構成される。また、第１光学系１は、第１撮影パラメータ調整部４により、位置調整が可能な機構を有していてもよい。なお、第１光学系１は、複数のレンズを含むものであってもよい。
【００５７】
第１撮像素子部２は、ＣＭＯＳイメージセンサ等の撮像素子を有し、第１光学系１により集光された光を光電変換し、画像信号（映像信号）を第１画像信号として取得（撮像）する。そして、第１撮像素子部２は、取得した第１画像信号を第１カメラ信号処理部３に出力する。なお、第１撮像素子部２は、第１撮影パラメータ調整部４により、位置調整が可能な機構を有していてもよい。
【００５８】
第１カメラ信号処理部３は、第１撮像素子部２から出力される第１画像信号を入力とし、第１画像信号に対して、カメラ信号処理（ゲイン調整処理、ガンマ補正処理、アパーチャー調整処理、ＷＢ（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）処理、フィルタ処理等）を実行する。第１カメラ信号処理部３は、カメラ信号処理を実行した第１画像信号を第１顔検出部１０４および画像記録部１０３に出力する。
【００５９】
第１撮影パラメータ調整部４は、撮影パラメータ変更部１０９から出力される第１撮影パラメータ調整制御信号に基づいて、第１撮像部１０１の撮影パラメータを変更する。例えば、以下のようにして、第１撮影パラメータ調整部４は、第１撮像部１０１の撮影パラメータを変更（調整）する。
【００６０】
すなわち、第１撮像部１０１が１つのユニットとして構成されている場合（例えば、第１撮像部１０１の各部が１つの筐体にユニットとして収納されている場合）、第１撮影パラメータ調整部４は、第１パラメータ調整制御信号に基づいて、当該ユニットを移動させる、および／または、第１撮像部１０１の各部の位置調整を行うことで、第１撮像部１０１の撮影パラメータを変更（調整）する。なお、第１撮像部１０１の撮影パラメータの変更方法は、例えば、以下の（Ａ）〜（Ｅ）のようにして行う。
【００６１】
（Ａ）視点間距離についての制御：
第１撮影パラメータ調整部４は、左右方向（例えば、図２の矢印Ｒ１の方向）に当該ユニットを移動させることで、当該ユニットの位置調整を行い、第１撮像部１０１の撮影パラメータ（主として、視点間距離）を変更（調整）する。
【００６２】
（Ｂ）被写体距離についての制御：
第１撮影パラメータ調整部４は、前後方向（例えば、図２の矢印Ｒ２の方向）に当該ユニットを移動させることで、当該ユニットの位置調整を行い、第１撮像部１０１の撮影パラメータ（主として、被写体距離）を変更（調整）する。なお、「被写体距離」とは、撮像部の撮像素子（例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ）面上に焦点を結んでいる物体からカメラ（ステレオ画像用撮像装置）までの距離をいい、物点距離と、共役距離（物像間距離）を含む概念である。また、「被写体距離」は、ステレオ画像用撮像装置から被写体までの概略の距離を含む概念であり、例えば、（１）ステレオ画像用撮像装置の光学系のレンズ全体（第１光学系１および／または第２光学系５）の重心位置から被写体までの距離、（２）撮像部（第１撮像部１０１および／または第２撮像部１０２）の撮像素子面から被写体までの距離、（３）ステレオ画像用撮像装置の重心（あるいは中心）から被写体までの距離等を含む概念である。
【００６３】
（Ｃ）輻輳角（輻輳点）についての制御：
第１撮影パラメータ調整部４は、所定の回転軸を設定し、当該回転軸により回転方向（例えば、図２の矢印Ｒ３の方向）に回転させることで、当該ユニットの位置調整を行い、第１撮像部１０１の撮影パラメータ（主として、輻輳角（輻輳点））を変更（調整）する。
【００６４】
（Ｄ）焦点距離についての制御：
第１撮影パラメータ調整部４は、所定の焦点距離となるように、第１光学系１を制御することで、第１撮像部１０１の撮影パラメータ（主として、焦点距離）を変更（調整）する。なお、第１撮影パラメータ調整部４は、所定の焦点距離となるように、第１光学系１および第１撮像素子部２の両方に対して、制御（例えば、位置調整についての制御）を行うものであってもよい。
【００６５】
（Ｅ）上記（Ａ）〜（Ｄ）の全部または一部を組み合わせて、当該ユニットおよび／または当該ユニット内の各部の位置調整を行い、第１撮像部１０１のパラメータを変更（調整）する。
【００６６】
第２撮像部１０２は、図２（ｂ）に示すように、第２光学系５と、第２撮像素子部６と、第２カメラ信号処理部７と、を備える。
第２光学系５は、被写体からの光が第２撮像素子部６の撮像素子面に照射されるように、被写体からの光を集光する。第２光学系５は、例えば、フォーカスレンズ、ズームレンズ、絞り等から構成される。また、第２光学系５は、第１撮影パラメータ調整部４により、位置調整が可能な機構を有していてもよい。なお、第２光学系５は、複数のレンズを含むものであってもよい。
【００６７】
なお、第２光学系５は、ステレオ画像用撮像装置１０００において、ステレオ画像が取得できるように、第１光学系１とは異なる光路の光を集光する位置に配置される。
第２撮像素子部６は、ＣＭＯＳイメージセンサ等の撮像素子を有し、第２光学系５により集光された光を光電変換し、画像信号（映像信号）を第２画像信号として取得（撮像）する。そして、第２撮像素子部６は、取得した第２画像信号を第２カメラ信号処理部７に出力する。なお、第２撮像素子部６は、第２撮影パラメータ調整部８により、位置調整が可能な機構を有していてもよい。
【００６８】
第２カメラ信号処理部７は、第２撮像素子部６から出力される第２画像信号を入力とし、第２画像信号に対して、カメラ信号処理（ゲイン調整処理、ガンマ補正処理、アパーチャー調整処理、ＷＢ（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）処理、フィルタ処理等）を実行する。第２カメラ信号処理部７は、カメラ信号処理を実行した第２画像信号を第２顔検出部１０５および画像記録部１０３に出力する。
【００６９】
第２撮影パラメータ調整部８は、撮影パラメータ変更部１０９から出力される第２撮影パラメータ調整制御信号に基づいて、第２撮像部１０２の撮影パラメータを変更する。なお、第２撮影パラメータ調整部８は、第１撮影パラメータ調整部４と同様の機能を有している。また、第２撮影パラメータ調整部８における第２撮像部１０２の撮影パラメータの変更（調整）方法は、上記で説明した、第１撮影パラメータ調整部４における第１撮像部１０１の撮影パラメータの変更（調整）方法と同様である。
【００７０】
第１顔検出部１０４は、第１撮像部１０１から出力される第１画像信号に基づいて顔検出処理を行う。具体的には、第１顔検出部１０４は、第１画像信号により形成される画像から顔部分を構成する画像領域を抽出し、抽出した顔部分を構成する画像領域（顔領域）に関する情報を視差検出部１０６に出力する。
【００７１】
第２顔検出部１０５は、第２撮像部１０２から出力される第２画像信号に基づいて顔検出処理を行う。具体的には、第２顔検出部１０５は、第２画像信号により形成される画像から顔部分を構成する画像領域を抽出し、抽出した顔部分を構成する画像領域（顔領域）に関する情報を視差検出部１０６に出力する。
【００７２】
画像記録部１０３は、第１撮像部１０１から出力される第１画像信号と、第２撮像部１０２から出力される第２画像信号とを入力とし、第１画像信号および第２画像信号を、所定の記録形式で記録する。なお、第１画像信号および第２画像信号は、ステレオ画像データを構成するものであり、画像記録部１０３は、ステレオ画像データ（ステレオ画像に適した形式のデータ）として、記録するものであってもよい。また、画像記録部１０３は、例えば、外部の記録メディアに、第１画像信号および第２画像信号（ステレオ画像データ）を記録するものであってもよい。
【００７３】
視差検出部１０６は、第１顔検出部１０４の出力と第２顔検出部１０５の出力とを入力とし、第１顔検出部１０４により検出（抽出）された顔領域に関する情報と、第２顔検出部１０５により検出（抽出）された顔領域に関する情報と、に基づいて、視差を検出する。そして、視差検出部１０６は、検出した視差に関する情報を撮影パラメータ算出部１０７に出力する。
【００７４】
被写体定位位置設定部１０８は、被写体定位位置を設定する。被写体定位位置は、例えば、ユーザーの指示により設定されるものであってもよいし、ステレオ画像用撮像装置１０００において、予め設定されている、あるいは、自動設定されるものであってもよい。被写体定位位置設定部１０８は、設定した被写体定位位置に関する情報を撮影パラメータ算出部１０７に出力する。
【００７５】
撮影パラメータ算出部１０７は、被写体定位位置設定部１０８により設定された被写体定位位置に関する情報と、視差検出部１０６により検出された視差に関する情報とを入力とし、被写体定位位置および検出された視差に基づいて、撮影パラメータを算出する。そして、撮影パラメータ算出部１０７は、算出した撮影パラメータに関する情報を撮影パラメータ変更部１０９に出力する。
【００７６】
撮影パラメータ変更部１０９は、撮影パラメータ算出部１０７により算出された撮影パラメータに関する情報を入力とする。撮影パラメータ変更部１０９は、撮影パラメータ算出部１０７により算出された撮影パラメータに基づいて、第１撮像部１０１の撮影パラメータを変更（調整）するための第１撮影パラメータ調整制御信号と、第２撮像部１０２の撮影パラメータを変更（調整）するための第２撮影パラメータ調整制御信号と、を生成する。そして、撮影パラメータ変更部１０９は、第１撮影パラメータ調整制御信号を第１撮像部１０１に出力し、第２撮影パラメータ調整制御信号を第２撮像部１０２に出力する。
【００７７】
＜１．２：ステレオ画像用撮像装置の動作＞
以上のように構成されたステレオ画像用撮像装置１０００の動作について、以下、説明する。なお、図１１は、ステレオ画像用撮像装置１０００で実行されるステレオ画像用撮像方法の処理フローを示すフローチャートである。
【００７８】
（ステップＳ１０１）：
ステレオ画像が取得できる状態に設置された第１撮像部１０１と第２撮像部１０２により、ステレオ画像を構成することができる第１画像信号および第２画像信号が取得される。
【００７９】
第１撮像部１０１により取得（撮像）された第１画像信号は、第１顔検出部１０４に出力され、第２撮像部１０２により取得（撮像）された第２画像信号は、第２顔検出部１０５に出力される。
【００８０】
第１顔検出部１０４では、第１撮像部１０１で撮影（取得）された画像データ（第１画像信号）により形成される画像上において、顔部分を構成する画像領域（第１顔検出領域）が検出（抽出）される。
【００８１】
第２顔検出部１０５では、第２撮像部１０２で撮影（取得）された画像データ（第２画像信号）により形成される画像上において、顔部分を構成する画像領域（第２顔検出領域）が検出（抽出）される。
【００８２】
なお、第１顔検出部１０４および第２顔検出部１０５では、既知の顔検出アルゴリズムを用いて顔領域が検出（抽出）される。また、本実施形態では、人物被写体の顔領域を検出する場合について説明しているが、例えば、ステレオ画像用撮像装置１０００において、被写体の色情報や特徴情報を用いて、顔以外の被写体を検出（抽出）するようにしても構わない。
【００８３】
第１顔検出部１０４で検出（抽出）された第１顔検出領域に関する情報と、第２顔検出部１０５で検出（抽出）された第２顔検出領域に関する情報とは、視差検出部１０６に出力される。
【００８４】
（ステップＳ１０２）：
視差検出部１０６では、第１顔検出部１０４で検出された第１顔検出領域と、第２顔検出部１０５で検出された第２顔検出領域とから、視差量（仮想（表示）スクリーン上の視差量）が検出される。
【００８５】
図５は、顔検出結果からの視差量を検出する処理の一例を説明するための図である。なお、図５（ａ）は左眼画像（第２撮像部１０２で取得される画像に対応。）を模式的に示した図であり、図５（ｂ）は右眼画像（第１撮像部１０１で取得される画像に対応。）を模式的に示した図である。
【００８６】
図５に示すように、通常の顔検出処理では、画像上において、矩形の顔領域を検出する。このため、例えば、左眼画像の顔検出領域と右眼画像の顔検出領域の矩形の左上座標の水平方向の差を視差量（仮想（表示）スクリーン上の視差量）とする方法が考えられる。
【００８７】
この方法によると、図５の場合、視差量（仮想（表示）スクリーン上の視差量）は、右眼画像顔検出領域ＲＡの左上端点のＸ座標である「ｘ３」と、左眼画像顔検出領域ＬＡの左上端点のＸ座標である「ｘ１」の差で求められる。なお、上記において、矩形領域の左上座標の水平方向の差を用いて視差量（仮想（表示）スクリーン上の視差量）を検出する方法について説明したが、これに限定されることはなく、例えば、矩形領域の対応する各座標の水平方向の差を用いて視差量（仮想（表示）スクリーン上の視差量）を検出してもよいし、矩形領域の中心座標の水平方向の差を用いて視差量（仮想（表示）スクリーン上の視差量）を検出してもよい。
【００８８】
また、顔検出結果を視差量検出に用いる場合は、顔検出の座標精度によっては、視差量の誤差が大きい場合があるため、ステレオ画像用撮像装置１０００において、左右の顔検出領域（左眼画像顔検出領域および右眼画像顔検出領域）に対して、視差マッチング処理を実行して、視差量を算出するようにしてもよい。視差マッチング処理は、ブロックマッチング法や、位相限定相関法などの手法を用いて実行すればよい。
【００８９】
視差量については、画素単位でも算出可能なため、視差検出部１０６により、顔検出領域において、画素単位で視差量を算出し、飛び出し最大の視差量（飛び出し量が最大となる視差量）（これを「飛び出し最大視差量」という。）と奥行き最大の視差量（引き込み量が最大となる視差量）（これを「奥行き最大視差量」という。）とを求めるようにしてもよい。そして、視差検出部１０６は、求めた飛び出し最大視差量および奥行き最大視差量を撮影パラメータ算出部１０７に出力するようにしてもよい。
【００９０】
（ステップＳ１０３）：
被写体定位位置設定部１０８では、撮影者（ユーザ）が所望の定位位置を設定することで、被写体定位位置が設定される。あるいは、被写体定位位置設定部１０８により、安全で見やすい定位位置の範囲内に、被写体定位位置が自動設定される。
被写体定位位置設定部１０８により設定された被写体定位位置に関する情報は、撮影パラメータ算出部１０７に出力される。
【００９１】
（ステップＳ１０４）：
撮影パラメータ算出部１０７では、視差検出部１０６で検出された視差量と、被写体定位位置設定部１０８で設定された被写体定位位置とに基づいて、第１撮像部１０１および第２撮像部１０２に設定すべき撮影パラメータが算出される。具体的には、撮影パラメータ算出部１０７では、被写体定位位置設定部１０８で設定された被写体定位位置に被写体が定位するための目標視差量が算出され、その算出された目標視差量と視差検出部１０６で検出された視差量とが一致、もしくは近づく（所定の範囲内の差となる）ように、第１撮像部１０１および第２撮像部１０２に設定すべき撮影パラメータが算出される。
【００９２】
そして、算出された撮影パラメータに関する情報は、撮影パラメータ変更部１０９に出力される。
【００９３】
≪撮影パラメータと視差量調整について≫
ここで、図６から図８を用いて、撮影パラメータと視差量調整について説明する。
撮影パラメータとして、（１）被写体距離、（２）視点間距離、（３）輻輳角（輻輳点）、（４）焦点距離などが想定される。
図６は、被写体距離と視差量との関係を説明するための図である。図７は、視点間距離と視差量との関係を説明するための図である。図８は、輻輳点と被写体定位位置との関係を説明するための図である。
【００９４】
図６に示すように、例えば、被写体までの距離が短いと仮想スクリーン上の視差量が大きくなるため、被写体までの距離を長く設定することで視差量（仮想スクリーン上の視差量）が小さくなるように調整することができる。
【００９５】
また、図７に示すように、例えば、視点間距離が長いと仮想スクリーン上の視差量が大きくなるため、視点間距離を短く設定することで視差量が小さくなるように調整することができる。
【００９６】
さらに、図８に示すように、例えば、２つの撮像部の輻輳角等を変更して輻輳点を調整することにより、仮想スクリーンと被写体との距離関係、および、仮想スクリーン上の視差量を調整することができる。
【００９７】
図には示していないが、同じ距離にある被写体を、撮像部の光学系の焦点距離を変更して撮影した場合、焦点距離が短いほど、視差量（仮想スクリーン上の視差量）が小さくなるため、撮像部の光学系の焦点距離を短く設定することで、仮想スクリーン上の視差量が小さくなるように調整することができる。
【００９８】
なお、２つの撮像部を平行に保って撮影する平行法で、被写体撮影し、ステレオ画像を取得する場合、取得したステレオ画像を表示する際の視点間距離（人間の両眼視差に相当する距離）を考慮した上で、視差量を調整する必要がある。つまり、平行法により取得したステレオ画像の仮想（表示）スクリーン上の視差量が、人間の両眼視差以上である場合、当該ステレオ画像は、（後方発散し）融像しないので、当該ステレオ画像を観た人は、３次元画像ではなく、単なる二重写りの画像として認識する。このような状態にならないように、視差量を調整する必要がある。
【００９９】
≪仮想スクリーン面上での視差量の調整≫
次に、仮想スクリーン面上での視差量の調整について、図９、図１０を用いて、説明する。
【０１００】
図９は、被写体までの距離Ｌと、想定表示画面（仮想スクリーン）までの距離Ｋと、視点間距離Ｖ（第１光学系１の入光位置（被写体からの光が第１光学系１に入ってくる位置、つまり、第１光学系１を１つのレンズと仮想したときの当該レンズの主点に相当する位置）と第２光学系５の入光位置との距離）と、想定表示画面（仮想スクリーン）上の視差量Ｄとの関係を説明するための図である。なお、本実施形態における入光位置は、レンズの主点に限定されるものではなく、当該レンズ全体の重心位置、第１撮像部１０１若しくは第２撮像部１０２におけるセンサ面（撮像素子面）等、ステレオ画像用撮像装置１０００における任意の位置を用いることが出来る。
【０１０１】
図９（ａ）に示すように、被写体が想定表示画面（仮想スクリーン）の奥に存在する場合、（引き込み側の）視差量Ｄは、
Ｄ＝（Ｌ−Ｋ）×Ｖ／Ｌ
により算出できる。
【０１０２】
また、図９（ｂ）に示すように、被写体が想定表示画面（仮想スクリーン）の手前に存在する場合、（飛び出し側の）視差量Ｄは、
Ｄ＝−（Ｌ−Ｋ）×Ｖ／Ｌ
により算出できる。
【０１０３】
図１０に示すように、ステレオ画像用撮像装置１０００で撮影する最も手前の被写体位置Ｐｍｉｎとし、ステレオ画像用撮像装置１０００で撮影する最も奥の被写体位置Ｐｍａｘとしたとき、位置Ｐｍｉｎ〜位置Ｐｍａｘの領域が、一般の人がステレオ画像を融像できる範囲（安全な立体視が可能な領域）となるように、ステレオ画像用撮像装置１０００において、視差量Ｄを調整することが好ましい。例えば、ステレオ画像用撮像装置１０００の設計者が視聴時における立体感を重要視する場合、図９（ａ）に示す被写体とのなす角α１と、仮想スクリーンと成す角β１との差分絶対値が１°以内となるように設定される構成等、一般にステレオ画像を視聴した際に２重像とは見えない領域である立体視可能領域内の視差量としても構わない。なお、立体視可能領域の視差量は、上記の値に限定されるものではなく、表示デバイスの性能若しくは、視聴環境等によって変動するものであってもよい。また、他の基準がある場合は当該基準に従って目標視差量が設定される。
【０１０４】
図１０に示す位置Ｐｍｉｎ〜位置Ｐｍａｘの領域が、上記のような安全な立体視が可能な領域（例えば、立体視可能領域に含まれる領域）内となるように、ステレオ画像用撮像装置１０００において、視差量Ｄを調整することが好ましい。ここで、安全な立体視が可能な領域（例えば、立体視可能領域に含まれる領域）について、図１０（ｂ）を用いて説明する。
【０１０５】
図１０に示すように、視点間距離をＶとし、第１光学系１の入光位置をＰ１とし、第２光学系５の入光位置をＰ２とし、図１０に示すように位置Ｐ３、Ｐ４を設定した場合、直線Ｐ１−Ｐ３と直線Ｐ３−Ｐ２のなす角度（視差角）αと、直線Ｐ１−Ｐ４と直線Ｐ４−Ｐ２のなす角度（視差角）βとの間に、
α−β≦１°
の関係があるとき、図１０に示したＰ３、Ｐ４間の領域は、立体視可能領域内の領域となり、この領域に被写体位置があれば、その状態で撮像されたステレオ画像は、多くの人にとって融像可能なステレオ画像となり、かつ、安全性が確保されたステレオ画像となることが知られている。
【０１０６】
したがって、ステレオ画像用撮像装置１０００において、例えば、位置Ｐｍｉｎ〜位置Ｐｍａｘの領域が、上記安全な立体視が可能な領域（例えば、立体視可能領域に含まれる領域）内となるように、撮影パラメータ算出部１０７が撮影パラメータを算出することが好ましい。
【０１０７】
なお、ステレオ画像用撮像装置１０００における撮影パラメータ算出方法として、上記以外に、ステレオ画像用撮像装置１０００により取得されるステレオ画像が自然な立体感を再現するものとなるように、撮影パラメータ算出部１０７が撮影パラメータを算出するようにしてもよい。「自然な立体感」を再現するステレオ画像とは、例えば、（１）適切な視差が設定されており、視聴者が当該ステレオ画像を見たとき、（２重像とならず）適切に融像されるステレオ画像や、（２）適切な視差が設定されており、視聴者が当該ステレオ画像を見たとき、所定の物体の立体感が適切に再現される（例えば、所定の物体が平板状になる現象（書き割り現象）等を発生させず、当該物体の実際の立体感（例えば、当該物体の凹凸感）が適切に再現される）ステレオ画像である。
【０１０８】
また、ステレオ画像用撮像装置１０００において、想定表示画面（仮想スクリーン）までの距離Ｋを、ユーザーが設定しても構わないし、ステレオ画像用撮像装置１０００の出荷時にメーカー側で、標準値を決めて、想定表示画面（仮想スクリーン）までの距離Ｋを設定するようにしてもよい。そして、上記のようにして設定される想定表示画面（仮想スクリーン）までの距離Ｋに基づいて、被写体定位位置設定部１０８が、被写体定位位置を設定する、あるいは、被写体定位位置の設定許容範囲を設定するようにしてもよい。
【０１０９】
また、ステレオ画像用撮像装置１０００において、想定表示画面（仮想スクリーン）までの距離Ｋは、ユーザーが各家庭での状況に応じて設定されるものであってもよいし、ユーザーが保有するテレビのインチ数を設定して、テレビ画面のインチ数に基づいて、カメラ内部で標準視距離（例えば、画面の高さの３倍の距離等）に変換して設定されるものであってもよい。また、メーカー側で、出荷時に、標準インチ数を想定して、標準視距離に基づいて、想定表示画面（仮想スクリーン）までの距離Ｋが設定されるものであってもよい。そして、上記のようにして設定される想定表示画面（仮想スクリーン）までの距離Ｋに基づいて、被写体定位位置設定部１０８が、被写体定位位置を設定する、あるいは、被写体定位位置の設定許容範囲を設定するようにしてもよい。
以上を考慮して、撮影パラメータ算出部１０７で算出された撮影パラメータに関する情報は、撮影パラメータ変更部１０９に出力される。
【０１１０】
（ステップＳ１０５）：
撮影パラメータ変更部１０９では、撮影パラメータ算出部１０７にて算出された撮影パラメータに基づき、第１撮像部１０１および第２撮像部１０２の撮影パラメータを変更する（ステップＳ１０５）。
【０１１１】
撮影パラメータ変更部１０９では、撮影パラメータ算出部１０７により算出された撮影パラメータに基づいて、第１撮像部１０１の撮影パラメータを変更（調整）するための第１撮影パラメータ調整制御信号と、第２撮像部１０２の撮影パラメータを変更（調整）するための第２撮影パラメータ調整制御信号とが生成される。そして、第１撮影パラメータ調整制御信号は、第１撮像部１０１の第１撮影パラメータ調整部４に出力され、第２撮影パラメータ調整制御信号は、第２撮像部１０２の第２撮影パラメータ調整部８に出力される。
【０１１２】
第１撮像部１０１の第１撮影パラメータ調整部４では、第１撮影パラメータ調整制御信号に基づいて、第１撮像部１０１の撮影パラメータが撮影パラメータ算出部１０７で算出された値となるように、調整される。
【０１１３】
例えば、第１撮像部１０１が１つのユニットとして構成されている場合（例えば、第１撮像部１０１の各部が１つの筐体にユニットとして収納されている場合）、第１撮影パラメータ調整部４は、第１パラメータ調整制御信号に基づいて、当該ユニットを移動させる、および／または、第１撮像部１０１の各部の位置調整を行うことで、第１撮像部１０１の撮影パラメータを変更（調整）する。なお、第１撮像部１０１の撮影パラメータの変更方法は、例えば、以下の（Ａ）〜（Ｅ）のようにして行う。
【０１１４】
（Ａ）視点間距離についての制御：
第１撮影パラメータ調整部４は、左右方向（例えば、図２の矢印Ｒ１の方向）に当該ユニットを移動させることで、当該ユニットの位置調整を行い、第１撮像部１０１の撮影パラメータ（主として、視点間距離）を変更（調整）する。
【０１１５】
（Ｂ）被写体距離についての制御：
第１撮影パラメータ調整部４は、前後方向（例えば、図２の矢印Ｒ２の方向）に当該ユニットを移動させることで、当該ユニットの位置調整を行い、第１撮像部１０１の撮影パラメータ（主として、被写体距離）を変更（調整）する。
【０１１６】
（Ｃ）輻輳角（輻輳点）についての制御：
第１撮影パラメータ調整部４は、所定の回転軸を設定し、当該回転軸により回転方向（例えば、図２の矢印Ｒ３の方向）に回転させることで、当該ユニットの位置調整を行い、第１撮像部１０１の撮影パラメータ（主として、輻輳角（輻輳点））を変更（調整）する。
【０１１７】
（Ｄ）焦点距離についての制御：
第１撮影パラメータ調整部４は、所定の焦点距離となるように、第１光学系１を制御することで、第１撮像部１０１の撮影パラメータ（主として、焦点距離）を変更（調整）する。なお、第１撮影パラメータ調整部４は、所定の焦点距離となるように、第１光学系１および第１撮像素子部２の両方に対して、制御（例えば、位置調整についての制御）を行うものであってもよい。
【０１１８】
（Ｅ）上記（Ａ）〜（Ｄ）の全部または一部を組み合わせて、当該ユニットおよび／または当該ユニット内の各部の位置調整を行い、第１撮像部１０１のパラメータを変更（調整）する。
【０１１９】
また、第２撮像部１０２の第２撮影パラメータ調整部８でも、上記の第１撮像部１０１の第１撮影パラメータ調整部４での調整処理と同様にして、第２撮影パラメータ調整制御信号に基づいて、第２撮像部１０２の撮影パラメータが撮影パラメータ算出部１０７で算出された値となるように、調整される。
【０１２０】
（ステップＳ１０６）：
以上のようにして、撮影パラメータが撮影パラメータ算出部１０７で算出された値となるよう調整された後、ステレオ画像用撮像装置１０００で被写体を撮像し、第１撮像部１０１および第２撮像部１０２により取得された第１画像信号および第２画像信号（ステレオ画像）を画像記録部１０３に出力する。
【０１２１】
画像記録部１０３では、撮影パラメータ変更部１０９により撮影パラメータを変更して撮影された第１撮像部１０１および第２撮像部１０２からの出力画像データ（第１画像信号および第２画像信号（ステレオ画像））を所定の記録形式（例えば、ＪＰＥＧ等の所定の記録フォーマット）で記録する。なお、画像記録部１０３は、外部の記録メディアに第１画像信号および第２画像信号（ステレオ画像）を出力し、当該外部の記録メディアに第１画像信号および第２画像信号（ステレオ画像）を記録するようにしてもよい。
【０１２２】
≪まとめ≫
以上のように、本実施形態のステレオ画像用撮像装置１０００では、ステレオ画像（左眼画像および右眼画像）において、顔領域の検出を行い、検出した顔領域（顔検出結果）を用いて視差量（仮想（表示）スクリーン上の視差量）を算出する。そして、ステレオ画像用撮像装置１０００では、適切な融合域（例えば、立体視可能領域）を考慮しつつ算出した視差量に基づいて、所定の定位位置に被写体を定位するように撮影パラメータを設定する。これにより、ステレオ画像用撮像装置１０００では、撮影者（ユーザー）が所望する立体感、奥行き感を実現する立体画像（ステレオ画像）を取得することや、飛び出しすぎ等のない適切な立体視が可能な立体画像（ステレオ画像）を撮影（取得）することができる。
【０１２３】
なお、ステレオ画像用撮像装置１０００において、顔検出処理を、顔検出対象領域を制限して実行することで、顔検出処理に必要となる演算量を削減し、装置コストや消費電力を削減することが可能となる。
【０１２４】
なお、第１撮像部１０１および第２撮像部１０２は、「撮影部」の一例である。
また、第１顔検出部１０４および第２顔検出部１０５は、「被写体検出部」の一例である。
【０１２５】
また、視差検出部１０６は、「視差検出部」の一例である。
また、撮影パラメータ算出部１０７は、「算出部」の一例である。
また、撮影パラメータ変更部１０９は、「調整部」の一例である。
【０１２６】
≪第１変形例（顔検出対象領域を制限する場合）≫
次に、第１変形例について、説明する。なお、上記で説明した部分と同様の部分については、説明を省略する。
【０１２７】
図１２に、第１変形例のステレオ画像用撮像装置１０００Ａの概略構成図を示す。
第１変形例のステレオ画像用撮像装置１０００Ａは、図１２に示すように、第１実施形態のステレオ画像用撮像装置１０００において、顔検出対象領域決定部２０１が追加された構成となっている。
【０１２８】
ステレオ画像用撮像装置１０００Ａでは、第２顔検出部１０５による顔検出処理を実施するにあたって、第２撮像部１０２で撮影（取得）された画像（第２画像信号により形成される画像）のうち、第１顔検出部１０４で検出された顔領域に対応する領域およびその周辺を含む部分領域に範囲を限定して顔検出処理が実施される。
【０１２９】
つまり、第１変形例のステレオ画像用撮像装置１０００Ａでは、顔検出結果に基づいて視差検出対象領域を制限することで、視差検出処理に必要となる演算量を削減し、装置コストや消費電力を削減することが可能となる。
なお、第１顔検出部１０４、第２顔検出部１０５および顔検出対象領域決定部２０１は、「被写体検出部」の一例である。
【０１３０】
≪第２変形例（顔検出結果に基づいて視差検出対象領域を決定する場合）≫
次に、第２変形例について、説明する。なお、上記で説明した部分と同様の部分については、説明を省略する。
【０１３１】
図１３に、第２変形例のステレオ画像用撮像装置１０００Ｂの概略構成図を示す。また、図１４に、顔検出結果に基づいて視差検出対象領域を決定する場合の説明図を示す。
第２変形例のステレオ画像用撮像装置１０００Ｂは、図１３に示すように、第１実施形態のステレオ画像用撮像装置１０００において、第２顔検出部１０５が省略され、その代わりに視差検出領域決定部２０２が追加された構成となっている。
【０１３２】
第２変形例のステレオ画像用撮像装置１０００Ｂでは、視差検出領域決定部２０２が、第１顔検出部１０４で検出された顔検出領域に基づいて、第２撮像部１０２で撮影（取得）された画像データ（第２画像信号）から、図１４に示すように、対応する領域およびその周辺を含む部分領域に、視差検出対象領域（図１４の視差マッチング対象領域ＶＭＡがこれに相当する。）を制限する。そして、第２変形例のステレオ画像用撮像装置１０００Ｂでは、視差検出部１０６が、視差検出領域決定部２０２により制限された視差検出対象領域において、左眼画像および右眼画像（第１画像信号および第２画像信号）から視差量を検出する。
【０１３３】
視差検出領域決定部２０２は、第１顔検出部１０４により検出された顔検出領域に関する情報と、制限された視差検出対象領域である視差マッチング対象領域に関する情報と、視差マッチング対象領域において検出された第２画像信が形成する画像上の顔検出領域に関する情報を視差検出部１０６に出力する。
【０１３４】
視差検出部１０６では、第１顔検出部１０４により検出された顔検出領域に関する情報と、制限された視差検出対象領域である視差マッチング対象領域に関する情報と、視差マッチング対象領域において検出された第２画像信が形成する画像上の顔検出領域に関する情報とに基づいて、視差量を検出する。
【０１３５】
なお、ここで、視差検出領域決定部２０２による視差検出対象領域の設定方法について、図１５を用いて、説明する。図１５に示す左眼画像が第１撮像部１０１により取得され、図１５に示す右眼画像が第２撮像部１０２により取得されるものとして、説明する。
【０１３６】
第１顔検出部１０４により、図１５（ａ）に示す左眼画像顔検出領域ＬＡ（（ｘ１，ｙ１）−（ｘ２，ｙ２）の矩形領域）が検出された場合、視差検出領域決定部２０２は、図１５（ｂ）に示すように、視差マッチング対象領域ＶＭＡを矩形領域（ｘ５，ｙ５）−（ｘ６、ｙ６）に設定し、顔領域マッチング処理を実行する。
【０１３７】
このとき、視差マッチング対象領域ＶＭＡとして設定される矩形領域（ｘ５，ｙ５）−（ｘ６、ｙ６）を、視差マッチング対象領域ＶＭＡの縦方向の長さが左眼画像顔検出領域ＬＡの縦方向の長さ以上の値となるように設定し、かつ、視差マッチング対象領域ＶＭＡの横方向の長さが全体の画像領域（第１画像信号／第２画像信号により形成される画像（有効画像）の全体の画像領域）の横方向の長さに一致する値となるように設定することが好ましい。すなわち、
ｙ６−ｙ５＝ｙ２−ｙ１
ｘ６−ｘ５＝（画像（有効画像領域）の横方向（Ｘ軸方向）の長さ）
となるように、視差マッチング対象領域ＶＭＡを設定することが好ましい。なお、図１５において、左眼画像および右眼画像の左上端点を原点として、右方向がＸ軸正方向であり、下方向がＹ軸正方向であるものとする。
【０１３８】
このようにして、視差検出領域決定部２０２が、視差マッチング対象領域ＶＭＡを設定することで、ステレオ画像用撮像装置１０００Ｂにおいて、確実に、顔領域のマッチング処理を実行することができる。
なお、第１顔検出部１０４および視差検出領域決定部２０２は、「被写体検出部」の一例である。
【０１３９】
≪第３変形例（顔検出領域と他の領域とで視差検出精度を変える場合）≫
次に、第３変形例について、説明する。なお、上記で説明した部分と同様の部分については、説明を省略する。
【０１４０】
第３変形例のステレオ画像用撮像装置１０００Ｃは、顔検出領域（顔領域）と他の領域とで視差検出精度を変えることができる。
ステレオ画像を撮像（取得）する場合において、顔領域以外の被写体領域（顔以外の被写体の画像領域）についても、視差量を検出する場合が想定される。
【０１４１】
図１６は、人物以外の被写体が撮影される場合の撮像画像を模式的に示す図である。
図１６に示されているように、遠方に人物以外の被写体が撮影されている場合、ステレオ画像用撮像装置において、顔領域についての視差の検出だけでなく、顔領域以外の領域についても視差の検出を実行することが好ましい。つまり、ステレオ画像用撮像装置において、撮影パラメータ算出部１０７が、視差量に基づいて撮影パラメータを算出する際に、顔検出領域以外の領域の視差量も考慮し、撮影パラメータを算出することが好ましい。たとえば、顔検出領域以外の領域が遠方被写体の場合、撮影パラメータ算出部１０７が、取得したステレオ画像において後方発散しないように（融像できないステレオ画像とならないように）撮影パラメータを調整することで、ステレオ画像用撮像装置において、破綻のない立体画像を撮影することが可能となる。
【０１４２】
図１７に、第３変形例のステレオ画像用撮像装置１０００Ｃの概略構成図を示す。
図１７に示すように、第３変形例のステレオ画像用撮像装置１０００Ｃは、第１実施形態のステレオ画像用撮像装置１０００において、第２顔検出部１０５を省略し、視差検出領域決定部２０２と、詳細視差検出部２０３と、粗視差検出部２０４とを追加した構成となっている。
【０１４３】
ステレオ画像用撮像装置１０００Ｃでは、以下の（１）、（２）の処理が並行して実行される。
（１）顔領域についての詳細視差量の算出処理：
詳細視差検出部２０３では、第１顔検出部１０４で検出された顔領域に基づいて、視差検出領域決定部２０２で制限した部分領域で詳細な視差量を検出する処理が実行される。なお、この処理は、上記第２変形例で説明した処理と同様の処理である。
【０１４４】
（２）顔領域以外の領域についての粗視差量の算出処理：
粗視差検出部２０４では、第１撮像部１０１および第２撮像部１０２で撮影（取得）された画像データ（ステレオ画像データ）（第１画像信号および第２画像信号）から視差量を検出する処理が実行される。このとき、顔領域以外の領域については、マッチング処理を実行するための画像ブロックの画素数を、顔領域マッチング処理を行うときの画像ブロックの画素数よりも少なくして（粗くして）（例えば、マッチング処理を実行するための画像ブロック内において画素を間引いて）、第１画像信号により形成される画像および第２画像信号により形成される画像（右眼画像および左眼画像）内において、マッチング処理を行い、視差量を検出する。
【０１４５】
そして、撮影パラメータ算出部１０７では、上記（１）で算出された顔検出領域の視差量と、上記（２）で算出された顔検出領域以外の領域の視差量と、被写体定位位置設定部により設定された被写体定位位置とに基づいて、撮影パラメータが決定される。
【０１４６】
以上のように、ステレオ画像用撮像装置１０００Ｃでは、顔検出結果を利用し、顔検出領域と他の領域とで視差検出精度を変えることで、視差検出に必要となる演算量を削減し、装置コストや消費電力を削減することが可能となる。
【０１４７】
次に、ステレオ画像用撮像装置１０００Ｃにおいて、顔検出処理で、複数の顔領域が検出される場合の処理について、説明する。
図１８は、ステレオ画像用撮像装置１０００Ｃにおいて取得（撮像）される画像上において、複数の顔領域が検出される場合の画像の一例を模式的に示した図である。
【０１４８】
ステレオ画像用撮像装置１０００Ｃにより取得（撮像）される画像において、複数の被写体領域が検出された場合、ステレオ画像用撮像装置１０００Ｃでは、検出された顔領域の面積の大きさにより被写体の優先度を決め、例えば、面積の一番大きい顔領域を主要被写体の顔領域と想定し、面積の一番大きい顔領域について視差量を検出し、撮影パラメータを調整する。また、ステレオ画像用撮像装置１０００Ｃにおいて、複数の顔領域のうち面積の大きい（最大の）被写体についての視差量を最大飛び出し視差量とし、面積の小さい（最小の）被写体についての視差量を最大奥行き視差量とする。そして、ステレオ画像用撮像装置１０００Ｃにおいて、最大飛び出し視差量に対応する被写体位置と、最大奥行き視差量に対応する被写体位置とが、ともに、所定の視差範囲（例えば、立体視可能領域）に収まるように調整して、撮影パラメータ算出部１０７にて、撮影パラメータを算出する。これにより、ステレオ画像用撮像装置１０００Ｃでは、検出されたすべての顔被写体について、適切な立体画像を撮影することが可能となる。
【０１４９】
なお、図１８の場合において、３つの顔検出領域に対応する被写体が全て奥行き領域（仮想スクリーンより奥の領域）に存在する場合は、ステレオ画像用撮像装置１０００Ｃにおいて、面積の一番大きい顔領域に対応する視差量を最小奥行き視差量とし、面積の一番小さい顔領域に対応する視差量を最大奥行き視差量とし、最小奥行き視差量に対応する被写体位置と最大奥行き視差量に対応する被写体位置が、ともに、所定の視差範囲（例えば、立体視可能領域）に収まるように調整して、撮影パラメータ算出部１０７にて、撮影パラメータを算出する。これにより、ステレオ画像用撮像装置１０００Ｃでは、検出されたすべての顔被写体について、適切な立体画像を撮影することが可能となる。
【０１５０】
また、図１８の場合において、３つの顔検出領域に対応する被写体が全て飛び出し領域（仮想スクリーンより手前の領域）に存在する場合は、ステレオ画像用撮像装置１０００Ｃにおいて、面積の一番大きい顔領域に対応する視差量を最大飛び出し視差量とし、面積の一番小さい顔領域に対応する視差量を最小飛び出し視差量とし、最大飛び出し視差量に対応する被写体位置と最小飛び出し視差量に対応する被写体位置が、ともに、所定の視差範囲（例えば、立体視可能領域）に収まるように調整して、撮影パラメータ算出部１０７にて、撮影パラメータを算出する。これにより、ステレオ画像用撮像装置１０００Ｃでは、検出されたすべての顔被写体について、適切な立体画像を撮影することが可能となる。
【０１５１】
図１９に、複数の顔検出領域に対して被写体定位位置を決定する一例に関する説明図を示す。図１９に示すように、ステレオ画像用撮像装置１０００Ｃでは、例えば、図１８の複数の顔検出領域のうち、顔領域の面積の一番大きい被写体Ｂは視聴者（ユーザー）からみて一番手前に定位させ、面積が二番目に大きい被写体Ａは二番目に手前の位置に定位させ、面積が一番小さい被写体Ｃが一番奥に定位させ、かつ、それらの定位位置が所定の範囲（例えば、立体視可能領域）に収まるように撮影パラメータを決定する。
【０１５２】
なお、ステレオ画像用撮像装置１０００Ｃでは、まず、複数の顔検出領域について、左眼画像および右眼画像の配置から、その定位位置が仮想スクリーンの手前（飛び出し側）であるのか、それとも、仮想スクリーンの奥（引き込み側）にあるのかを判断し、その後、複数の顔検出領域に相当する被写体をどの位置に定位させるかを決定するようにしてもよい。例えば、図１９の場合、被写体Ｂの定位位置が所定の範囲（例えば、立体視可能領域）外の飛び出し位置にあるとき、ステレオ画像用撮像装置１０００Ｃでは、以下の処理を行うようにしてもよい。すなわち、
【０１５３】
（１）ステレオ画像用撮像装置１０００Ｃは、被写体Ｂの定位位置が仮想スクリーンの手前（飛び出し側）であることを認識する。
（２）そして、その後、ステレオ画像用撮像装置１０００Ｃでは、被写体Ｂの定位位置を仮想スクリーンにより近づく位置に定位させるように、撮影パラメータを算出する。
（３）算出した撮影パラメータに設定した後、複数の被写体（図１９の場合では、被写体Ａ、Ｂ、Ｃ）の全てが所定の範囲（例えば、立体視可能領域）内に定位されているか否かを確認する。
【０１５４】
（４）複数の被写体（図１９の場合では、被写体Ａ、Ｂ、Ｃ）の全てが所定の範囲（例えば、立体視可能領域）内に定位されていることが確認された場合、ステレオ画像用撮像装置１０００Ｃでは、ステレオ画像を取得する。一方、複数の被写体（図１９の場合では、被写体Ａ、Ｂ、Ｃ）の全てが所定の範囲（例えば、立体視可能領域）内に定位されていない場合、ステレオ画像用撮像装置１０００Ｃでは、さらに、撮影パラメータを調整し、複数の被写体（図１９の場合では、被写体Ａ、Ｂ、Ｃ）の全てが所定の範囲（例えば、立体視可能領域）内に定位される状態となるまで、上記（１）〜（３）の処理を繰り返す。
【０１５５】
以上により、ステレオ画像用撮像装置１０００Ｃでは、ユーザーの所望の定位位置に被写体（この場合は複数の人物）を定位させつつ、検出されたすべての顔被写体（人物被写体）について、適切な立体感を実現させる立体画像（ステレオ画像）を撮影（取得）することが可能となる。
【０１５６】
なお、第１顔検出部１０４および視差検出領域決定部２０２は、「被写体検出部」の一例である。
【０１５７】
［第２実施形態］
次に、本発明の第２実施形態について、図面を参照しながら、説明する。
＜２．１：ステレオ画像用表示装置の構成＞
図２０に、第２実施形態のステレオ画像用表示装置２０００の概略構成図を示す。
図２０に示すように、ステレオ画像用表示装置２０００は、第１視点画像および第２視点画像から構成されるステレオ画像を読み出し再生する画像再生部３０１と、画像再生部３０１から出力される第１視点画像を表示する第１表示部と、画像再生部３０１から出力される第２視点画像を表示する第２表示部と、を備える。
【０１５８】
また、ステレオ画像用表示装置２０００は、画像再生部３０１から出力される第１視点画像から被写体領域を検出（抽出）する第１被写体検出部と、画像再生部３０１から出力される第２視点画像から被写体領域を検出（抽出）する第２被写体検出部３０５と、第１被写体検出部３０４および第２被写体検出部３０５により検出（抽出）された被写体領域に基づいて視差量（表示スクリーン上の視差量）を検出する視差検出部３０６と、を備える。
【０１５９】
また、ステレオ画像用表示装置２０００は、被写体定位位置を設定する被写体定位位置設定部３０９と、視差検出部３０６により検出された視差量（表示スクリーン上の視差量）および被写体定位位置設定部３０９により設定された被写体定位位置に基づいて表示位置を決定する表示位置決定部３０７と、表示位置決定部３０７により決定された表示位置に基づいて、ステレオ画像（第１視点画像および第２視点画像）の表示位置を変更するための制御を第１表示部３０２および第２表示部３０３に対して行う表示位置変更部３０８と、を備える。
【０１６０】
画像再生部３０１は、第１視点画像および第２視点画像から構成されるステレオ画像を記録保持しており、所定のタイミングで、ステレオ画像（映像）を構成する第１視点画像（映像）および第２視点画像（映像）を読み出す。画像再生部３０１は、第１視点画像を、第１表示部および第１被写体検出部３０４に出力し、第２視点画像を、第２表示部３０３および第２被写体検出部３０５に出力する。なお、画像再生部３０１は、ステレオ画像（映像）が保存されている外部記録メディア等からステレオ画像（映像）を読み出し、再生するものであってもよい。
【０１６１】
第１表示部３０２は、画像再生部３０１から出力される第１視点画像を表示スクリーン上に表示させる。また、第１表示部３０２は、表示位置変更部３０８から出力される第１表示部用制御信号に基づいて、第１視点画像の表示スクリーン上の位置を調整（変更）する。
【０１６２】
第２表示部３０３は、画像再生部３０１から出力される第２視点画像を表示スクリーン上に表示させる。また、第２表示部３０３は、表示位置変更部３０８から出力される第２表示部用制御信号に基づいて、第２視点画像の表示スクリーン上の位置を調整（変更）する。
【０１６３】
第１被写体検出部は、画像再生部３０１から出力される第１視点画像から被写体領域（例えば、顔領域）を検出（抽出）する。被写体領域の検出（抽出）方法は、上記実施形態と同様である。そして、第１被写体検出部は、検出した被写体領域に関する情報を視差検出部３０６に出力する。
【０１６４】
第２被写体検出部３０５は、画像再生部３０１から出力される第２視点画像から被写体領域（例えば、顔領域）を検出（抽出）する。被写体領域の検出（抽出）方法は、上記実施形態と同様である。そして、第２被写体検出部は、検出した被写体領域に関する情報を視差検出部３０６に出力する。
【０１６５】
視差検出部３０６は、第１被写体検出部３０４および第２被写体検出部３０５により検出（抽出）された被写体領域に基づいて視差量（表示スクリーン上の視差量）を検出する。視差量の検出方法については、上記実施形態と同様である。そして、視差検出部３０６は、検出した視差量（表示スクリーン上の視差量）に関する情報を表示位置決定部３０７に出力する。
【０１６６】
被写体定位位置設定部３０９は、被写体定位位置を設定する。被写体定位位置は、例えば、ユーザーの指示により設定されるものであってもよいし、ステレオ画像用表示装置２０００において、予め設定されている、あるいは、自動設定されるものであってもよい。被写体定位位置設定部３０９は、設定した被写体定位位置に関する情報を表示位置決定部３０７に出力する。
【０１６７】
表示位置決定部３０７は、視差検出部３０６により検出された視差量（表示スクリーン上の視差量）および被写体定位位置設定部３０９により設定された被写体定位位置に基づいて表示位置（第１視点画像に関する表示位置および第２視点画像に関する表示位置）を決定する。このとき、表示位置決定部３０７は、適切な視差量となるように（立体視可能領域内の視差量となるように）表示位置を決定する。そして、表示位置決定部３０７は、決定した表示位置（第１視点画像に関する表示位置および第２視点画像に関する表示位置）に関する情報を表示位置変更部３０８に出力する。
【０１６８】
表示位置変更部３０８は、表示位置決定部３０７により決定された表示位置に基づいて、ステレオ画像（第１視点画像および第２視点画像）の表示位置を変更するための制御を第１表示部３０２および第２表示部３０３に対して行う。具体的には、表示位置変更部３０８は、第１視点画像の表示位置を変更するための制御信号（第１表示部用制御信号）および第２視点画像の表示位置を変更するための制御信号（第２表示部用制御信号）を生成する。そして、表示位置変更部３０８は、第１表示部用制御信号を第１表示部３０２に出力し、第２表示部用制御信号を第２表示部３０３に出力する。
【０１６９】
＜２．２：ステレオ画像用表示装置の動作＞
以上のように構成されたステレオ画像用表示装置２０００の動作について、以下、説明する。なお、図２２は、ステレオ画像用表示装置２０００で実行されるステレオ画像用撮像方法の処理フローを示すフローチャートである。
【０１７０】
（ステップＳ２０１）：
画像再生部３０１は、第１視点画像および第２視点画像を所定のタイミングにより再生する。そして、第１視点画像は、第１被写体検出部３０４および第１表示部３０２に出力される。第２視点画像は、第２被写体検出部３０５および第２表示部３０３に出力される。
【０１７１】
（ステップＳ２０２）：
第１被写体検出部３０４では、画像再生部３０１から出力された第１視点画像から被写体領域（第１被写体領域）（例えば、顔領域）が検出される。そして、検出された第１被写体領域に関する情報は、視差検出部３０６に出力される。
【０１７２】
第２被写体検出部３０５では、画像再生部３０１から出力された第２視点画像から被写体領域（第２被写体領域）（例えば、顔領域）が検出される。そして、検出された第２被写体領域に関する情報は、視差検出部３０６に出力される。
【０１７３】
（ステップＳ２０３）：
視差検出部３０６では、第１被写体検出領域と第２被写体検出領域とから視差量（表示スクリーン上の視差量）が検出される。視差量の検出方法は、第１実施形態と同様である。
【０１７４】
（ステップＳ２０４）：
被写体定位位置設定部３０９では、視聴者（ユーザー）が所望の定位位置を設定することで、被写体定位位置が設定される。あるいは、被写体定位位置設定部３０９により、安全で見やすい定位位置の範囲内に、被写体定位位置が自動設定される。
被写体定位位置設定部３０９により設定された被写体定位位置に関する情報は、表示位置決定部３０７に出力される。
【０１７５】
（ステップＳ２０５）：
表示位置決定部３０７では、視差検出部３０６で検出された視差量と、被写体定位位置設定部３０９で設定された被写体定位位置とに基づいて、第１表示部３０２および第２表示部３０３に設定すべき表示位置が算出（決定）される。具体的には、表示位置決定部３０７では、被写体定位位置設定部３０９で設定された被写体定位位置に被写体が定位するための目標視差量が算出され、その算出された目標視差量と視差検出部３０６で検出された視差量とが一致、もしくは近づく（所定の範囲内の差となる）ように、第１表示部３０２および第２表示部３０３に設定すべき表示位置が算出される。そして、算出された第１表示部３０２および第２表示部３０３に設定すべき表示位置に関する情報は、表示位置変更部３０８に出力される。
【０１７６】
なお、視差検出部３０６で検出された視差量と目標視差量とを合わせこむ考え方は、第１実施形態と同様である。ただし、第１実施形態では、撮影パラメータを変更するのに対し、第２実施形態では、表示位置を変更する点が異なる。
【０１７７】
（ステップＳ２０６）：
表示位置変更部３０８では、表示位置決定部３０７にて決定された表示位置情報に基づき、第１表示部３０２および第２表示部３０３の表示位置を変更（調整）する。具体的には、表示位置変更部３０８では、第１視点画像の表示位置を変更するための制御信号（第１表示部用制御信号）および第２視点画像の表示位置を変更するための制御信号（第２表示部用制御信号）が生成される。そして、第１表示部用制御信号は、第１表示部３０２に出力され、第２表示部用制御信号は、第２表示部３０３に出力される。
【０１７８】
第１表示部３０２では、第１表示部用制御信号に基づいて、第１視点画像の表示位置（表示スクリーン上の表示位置）が変更（調整）される。
第２表示部３０３では、第２表示部用制御信号に基づいて、第２視点画像の表示位置（表示スクリーン上の表示位置）が変更（調整）される。
【０１７９】
以上により、ステレオ画像用表示装置２０００では、所望の定位位置に被写体を定位させつつ、適切な立体感を実現するステレオ画像（映像）表示を行うことができる。
【０１８０】
≪顔検出結果に基づく表示位置の調整≫
図２１に、顔検出結果に基づいて表示位置を調整する一例に関する説明図を示す。
図２１（ａ）は、表示位置調整前のステレオ画像（左眼画像および右眼画像）と被写体定位置と表示スクリーン上の視差量との関係を模式的に示す図である。図２１（ｂ）は、表示位置調整後のステレオ画像（左眼画像および右眼画像）と被写体定位置と表示スクリーン上の視差量との関係を模式的に示す図である。
【０１８１】
例えば、図２１（ａ）のように、表示スクリーン上の視差量が大きく、被写体定位位置が表示スクリーンから大きく飛び出して見づらい場合、ステレオ画像用表示装置２０００では、視聴者が希望する被写体定位位置（図２１（ｂ）の被写体定位位置Ｐ１）を設定して、その設定した被写体定位位置Ｐ１に基づいて、視差量が算出される。この場合、図２１に示すように、視差量が小さくなるように設定されているので、ステレオ画像用表示装置２０００では、図２１に示すように、左眼画像を左に、右眼画像を右にずらすように表示位置が決定される。これにより、ステレオ画像用表示装置２０００では、被写体定位位置の飛び出しが抑制され、図２１（ｂ）に示すように、被写体定位位置が表示スクリーンに近づいた立体画像が表示される。このため、ステレオ画像用表示装置２０００に表示される立体画像（ステレオ画像）は、ユーザーにとって見やすい立体画像となる。
なお、ステレオ画像用表示装置２０００における顔検出処理量の低減や、視差検出処理量の低減については、第１実施形態と同様の構成にすることで実現可能である。
【０１８２】
≪まとめ≫
以上のように、本実施形態のステレオ画像用表示装置２０００では、撮影された立体画像（ステレオ画像）である左右の表示画像に対して、顔検出処理（被写体検出処理）を実施し、顔検出結果（被写体検出結果）を用いて視差量を算出する。そして、ステレオ画像用表示装置２０００では、算出した視差量に基づいて、所定の定位位置（例えば、ユーザーが所望する定位位置）に被写体を定位させつつ、飛び出しすぎ等のない適切な立体感、奥行き感を実現する立体画像（ステレオ画像）表示を行うことができる。
【０１８３】
なお、画像再生部３０１は、「画像再生部」の一例である。
また、第１被写体検出部３０４および第２被写体検出部３０５は、「被写体検出部」の一例である。
【０１８４】
また、視差検出部３０６は、「視差検出部」の一例である。
また、表示位置決定部３０７は、「決定部」の一例である。
また、表示位置変更部３０８は、「設定部」の一例である。
また、第１表示部３０２および第２表示部３０３は、「表示部」の一例である。
【０１８５】
［他の実施形態］
なお、上記実施形態では、２つの撮像部（第１撮像部１０１および第２撮像部１０２）により、ステレオ画像（左眼用画像および右眼用画像）を取得（撮像）している場合について説明した。しかし、これに限定されることはなく、例えば、１つの撮像素子（撮像部）により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、１つの撮像素子の撮像素子面を２分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。また、第１視点からの被写体光の光路と、第２視点からの被写体光の光路とを光学的に切り換える機構を設け、１つの撮像部により、左眼用画像と右眼用画像とを取得するようにしてもよい。
【０１８６】
また、上記実施形態において、ステレオ画像を構成する右眼画像および左眼画像の左右関係については、左右を入れ替えても上記と同様の処理が可能な場合は、左右関係を上記実施形態の例と入れ替えた状態で、本発明を実施してもよいことは言うまでもない。
【０１８７】
また、図２に示す第１撮像部１０１の第１カメラ信号処理部３は、第１撮像部１０１の外に設置されるものであってもよい。また、第２撮像部１０２の第２カメラ信号処理部７は、第２撮像部１０２の外に設置されるものであってもよい。
【０１８８】
また、上記実施形態において、第１顔検出部および第２顔検出部を１つの被写体検出部として構成し、第１撮像部から出力される第１画像信号および第２撮像部から出力される第２画像信号に対して、時分割処理により被写体領域（例えば、顔領域）検出を行うようにしてもよい。これにより、ステレオ画像用撮像装置の回路規模や製造コストを削減することができる。
【０１８９】
また、上記実施形態で説明したステレオ画像用撮像装置および／またはステレオ画像用表示装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
【０１９０】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０１９１】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０１９２】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係るステレオ画像用撮像装置および／またはステレオ画像用表示装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【０１９３】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【０１９４】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕｅ−ｒａｙ  Ｄｉｓｃ）、半導体メモリを挙げることができる。
【０１９５】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【０１９６】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【０１９７】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【０１９８】
本発明のステレオ画像用撮像装置、ステレオ画像用撮像方法、ステレオ画像表示装置、ステレオ画像用表示方法、および、プログラムは、ステレオ画像撮影機能を有するデジタルカメラ、デジタルビデオカメラにおいて、適切な立体感をもつステレオ画像を撮影、表示する用途に有用である。
【符号の説明】
【０１９９】
１０００、１０００Ａ、１０００Ｂ、１０００Ｃ  ステレオ画像用撮像装置
１  第１光学系
２  第１撮像素子部
３  第１カメラ信号処理部
４  第１撮影パラメータ調整部
５  第２光学系
６  第２撮像素子部
７  第２カメラ信号処理部
８  第２撮影パラメータ調整部
１０１  第１撮像部
１０２  第２撮像部
１０３  画像記録部
１０４  第１顔検出部（第１被写体検出部）
１０５  第２顔検出部（第２被写体検出部）
１０６  視差検出部
１０７  撮影パラメータ算出部
１０８  被写体定位位置設定部
１０９  撮影パラメータ変更部
２０１  顔検出対象領域決定部
２０２  視差検出領域決定部
２０３  詳細視差検出部
２０４  粗視差検出部
２０００  ステレオ画像用表示装置
３０１  画像再生部
３０２  第１表示部
３０３  第２表示部
３０４  第１顔検出部
３０５  第２顔検出部
３０６  視差検出部
３０７  表示位置決定部
３０８  表示位置変更部
３０９  被写体定位位置設定部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を撮影し、当該被写体を第１視点から見た撮影シーンに対応する第１視点画像を生成するとともに、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を生成する撮影部と、
前記第１視点画像から被写体領域を第１被写体領域として検出するとともに、前記第２視点画像から被写体領域を第２被写体領域として検出する被写体検出部と、
前記第１視点画像と前記第２視点画像とにおける両眼視差のうち、前記第１被写体領域と前記第２被写体領域とにおける両眼視差を示す視差情報を検出する視差検出部と、
前記視差検出部により検出した視差情報に基づいて、前記被写体を撮影する際の撮影パラメータを算出する算出部と、
前記算出部にて算出された撮影パラメータに基づき、前記撮影部を調整する調整部と、
を備えるステレオ画像用撮像装置。
【請求項２】
前記算出部は、前記視差検出部により検出した視差を、所定の位置に定位するための目標視差に一致、もしくは近づけるための撮影パラメータを算出する、
請求項１に記載のステレオ画像用撮像装置。
【請求項３】
前記被写体検出部は、検出対象を人物被写体の顔領域として、前記第１被写体領域および前記第２被写体領域を検出する、
請求項１または２に記載のステレオ画像用撮像装置。
【請求項４】
前記被写体検出部は、
前記第１被写体領域に対応する、前記第２視点画像上の領域および当該領域の周辺領域で構成される部分画像領域を被写体検出対象の画像領域として、前記第２被写体領域を検出する、
請求項１から３のいずれかに記載のステレオ画像用撮像装置。
【請求項５】
前記被写体検出部により、複数の被写体領域が検出された場合、
前記視差検出部は、前記複数の被写体領域についての視差情報をそれぞれ検出し、検出された各被写体領域の面積を算出し、面積の大きさにより前記各被写体領域の優先度を決定し、
前記算出部は、前記視差検出部により決定された前記各被写体領域の優先度に基づいて、前記撮影パラメータを算出する、
請求項１から４のいずれかに記載のステレオ画像用撮像装置。
【請求項６】
前記被写体検出部により、複数の被写体領域が検出された場合、
前記視差検出部は、面積が最大の被写体領域を主要被写体領域として、前記主要被写体領域の視差を検出する、
請求項５に記載のステレオ画像用撮像装置。
【請求項７】
前記被写体検出部で、複数の被写体領域が検出された場合、前記第１被写体領域もしくは前記第２被写体領域の面積を算出し、面積の大きさにより被写体の優先度を決定し、
前記算出部は、面積が最大の被写体領域についての視差を最大飛び出し視差とし、面積が最小の被写体領域についての視差を最大奥行き視差として、前記最大飛び出し視差および前記最大奥行き視差が、所定の視差範囲に収まるように、前記撮影パラメータを算出する、
請求項１から６のいずれかに記載のステレオ画像用撮像装置。
【請求項８】
前記第１視点画像と前記第２視点画像とから、所定の被写体領域以外の被写体領域について、第１の精度で視差を粗視差として検出する粗視差検出部をさらに備え、
前記視差検出部は、前記第１の精度より高い精度である第２の精度で、前記所定の被写体領域についての視差を詳細視差として検出し、
前記調整部は、前記粗視差および前記詳細視差に基づいて、前記撮影パラメータを算出する、
請求項１に記載のステレオ画像用撮像装置。
【請求項９】
前記視差検出部は、前記所定の被写体領域についての視差を最大飛び出し視差として検出し、
前記粗視差検出部は、前記所定の被写体領域以外の被写体領域についての視差から奥行きの最大視差を最大奥行き視差として抽出し、
前記算出部は、前記最大飛び出し視差および前記最大奥行き視差が、所定の視差範囲に収まるように、前記撮影パラメータを算出する、
請求項８に記載のステレオ画像用撮像装置。
【請求項１０】
第１視点における第１視点画像および第２視点における第２視点画像を表示することで立体画像を表示させるステレオ画像用表示装置であって、
前記第１視点画像および前記第２視点画像を再生する画像再生部と、
前記第１視点画像から第１被写体領域を検出するとともに、前記第２視点画像から第２被写体領域を検出する被写体検出部と、
前記第１被写体検出領域と前記第２被写体検出領域とから、視差を検出する視差検出部と、
前記前記視差検出部で検出された視差に基づいて、自然な立体感を再現するための表示位置情報を決定する決定部と、
前記表示位置情報に基づき、表示位置を設定する設定部と、
前記設定部により設定された前記表示位置に基づいて、前記第１視点画像および前記第２視点画像を表示する表示部と、
を備えるステレオ画像用表示装置。
【請求項１１】
前記決定部は、前記前記視差検出部で検出された視差を、所定の位置に定位するための目標視差に一致、もしくは近づけるための表示位置情報を決定する、
請求項１０に記載のステレオ画像用表示装置。
【請求項１２】
被写体を撮影し、当該被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を生成する撮影部を備えるステレオ画像用撮像装置に用いられるステレオ画像用撮像方法であって、
前記第１視点画像から被写体領域を第１被写体領域として検出するとともに、前記第２視点画像から被写体領域を第２被写体領域として検出する被写体検出ステップと、
前記第１視点画像と前記第２視点画像とにおける両眼視差のうち、前記第１被写体領域と前記第２被写体領域とにおける両眼視差を示す視差情報を検出する視差検出ステップと、
前記視差検出ステップにより検出した視差情報に基づいて、前記被写体を撮影する際の撮影パラメータを算出する算出ステップと、
前記算出ステップにて算出された撮影パラメータに基づき、前記撮影部の撮影パラメータを調整する変更ステップと、
前記撮影部が前記変更ステップにより撮影パラメータが調整された状態で、前記第１視点画像および前記第２視点画像を取得することにより立体撮影を行う撮影ステップと、
を備えるステレオ画像用撮像方法。
【請求項１３】
被写体を撮影し、当該被写体を第１視点から見た撮影シーンに対応する第１視点画像を取得するとともに、前記被写体を前記第１視点とは異なる位置の視点である第２視点から見た撮影シーンに対応する第２視点画像を生成する撮影部を備えるステレオ画像用撮像装置に用いられるステレオ画像用撮像方法をコンピュータに実行させるためのプログラムであって、
前記第１視点画像から被写体領域を第１被写体領域として検出するとともに、前記第２視点画像から被写体領域を第２被写体領域として検出する被写体検出ステップと、
前記第１視点画像と前記第２視点画像とにおける両眼視差のうち、前記第１被写体領域と前記第２被写体領域とにおける両眼視差を示す視差情報を検出する視差検出ステップと、
前記視差検出ステップにより検出した視差情報に基づいて、前記被写体を撮影する際の撮影パラメータを算出する算出ステップと、
前記算出ステップにて算出された撮影パラメータに基づき、前記撮影部の撮影パラメータを調整する変更ステップと、
前記撮影部が前記変更ステップにより撮影パラメータが調整された状態で、前記第１視点画像および前記第２視点画像を取得することにより立体撮影を行う撮影ステップと、
を備えるステレオ画像用撮像方法をコンピュータに実行させるためのプログラム
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2011086636.tif 000026
【図２】
2011086636.tif 000027
【図３】
2011086636.tif 000028
【図４】
2011086636.tif 000029
【図５】
2011086636.tif 000030
【図６】
2011086636.tif 000031
【図７】
2011086636.tif 000032
【図８】
2011086636.tif 000033
【図９】
2011086636.tif 000034
【図１０】
2011086636.tif 000035
【図１１】
2011086636.tif 000036
【図１２】
2011086636.tif 000037
【図１３】
2011086636.tif 000038
【図１４】
2011086636.tif 000039
【図１５】
2011086636.tif 000040
【図１６】
2011086636.tif 000041
【図１７】
2011086636.tif 000042
【図１８】
2011086636.tif 000043
【図１９】
2011086636.tif 000044
【図２０】
2011086636.tif 000045
【図２１】
2011086636.tif 000046
【図２２】
2011086636.tif 000047
【図２３】
2011086636.tif 000048
【国際調査報告】
2011086636.tif 000049
2011086636.tif 000050
2011086636.tif 000051
2011086636.tif 000052