(57)【要約】【課題】視聴者に与える疲労感を軽減しつつ、立体映像の効果をより良く得る事ができる立体映像制御装置を提供する事。【解決手段】本発明の立体映像制御装置を含む立体映像カメラ１００は、左目映像および右目映像により構成される立体映像の輻輳角を制御する装置であって、立体映像の画角内における主要被写体の位置を取得する画角内位置取得部１１０と、画角内における主要被写体の位置に応じて立体映像の輻輳角を制御する輻輳角制御部１２０とを有する。【選択図】図２
2011205385.tif 000002
【特許請求の範囲】
【請求項１】
左目映像および右目映像により構成される立体映像の輻輳角を制御する立体映像制御装置であって、
前記立体映像の画角内における主要被写体の位置を取得する画角内位置取得部と、
前記画角内における前記主要被写体の位置に応じて前記立体映像の輻輳角を制御する輻輳角制御部と、
を有する立体映像制御装置。
【請求項２】
前記輻輳角制御部は、
前記主要被写体が前記画角の端部の近傍に位置するか否かを判定し、前記主要被写体が前記端部の近傍に位置するときに前記主要被写体の輻輳角矛盾が低減するように、前記立体映像の輻輳角を制御する、
請求項１記載の立体映像制御装置。
【請求項３】
前記輻輳角制御部は、
前記主要被写体の位置が前記端部近傍のとき、前記端部に対する前記主要被写体の位置が、前記左目映像と前記右目映像との間で近付くように、前記立体映像の輻輳角を制御する、
請求項２記載の立体映像制御装置。
【請求項４】
前記輻輳角制御部は、
前記主要被写体の位置の前記端部までの距離に応じて、段階的に、前記立体映像の輻輳角を制御する、
請求項１記載の立体映像制御装置。
【請求項５】
前記輻輳角制御部は、
前記主要被写体の位置が画角の左端部および右端部の少なくとも一方の近傍のとき、前記主要被写体の輻輳角矛盾が低減するように前記立体映像の輻輳角を制御する、
請求項２記載の立体映像制御装置。
【請求項６】
前記輻輳角制御部は、
前記主要被写体の位置が画角の上端部および下端部の少なくとも一方の近傍のとき、前記主要被写体の輻輳角矛盾が低減するように前記立体映像の輻輳角を制御する、
請求項２記載の立体映像制御装置。
【請求項７】
前記左目映像を撮影するカメラの光軸と前記右目映像を撮影するカメラの光軸とが成す角としてのカメラ輻輳角を制御する事により、前記立体映像の輻輳角を制御する、
請求項１記載の立体映像制御装置。
【請求項８】
前記左目映像および前記右目映像のそれぞれに対してトリミングを行う映像形成部、を更に有し、
前記輻輳角制御部は、
前記トリミングの位置を制御する事により、前記立体映像の輻輳角を制御する、
請求項１記載の立体映像制御装置。
【請求項９】
前記主要被写体の実世界における位置を取得する被写体位置取得部、を更に有し、
前記画角内位置取得部は、
前記主要被写体の実世界における位置から、前記主要被写体の画角内における位置を取得する、
請求項１記載の立体映像制御装置。
【請求項１０】
前記被写体位置取得部は、
前記主要被写体から発せられる無線信号に基づいて、前記主要被写体の実世界における位置を取得する、
請求項９記載の立体映像制御装置。
【請求項１１】
前記輻輳角制御部は、
前記主要被写体の位置に応じて、異なる追従速度で、前記主要被写体の輻輳角の変化に対して前記立体映像の輻輳角の変化を追従させる、
請求項１記載の立体映像制御装置。
【請求項１２】
左目映像および右目映像により構成される立体映像の輻輳角を制御する立体映像制御方法であって、
前記立体映像の画角内における主要被写体の位置を取得するステップと、
前記画角内における前記主要被写体の位置に応じて前記立体映像の輻輳角を制御するステップと、
を有する立体映像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、左目映像および右目映像により構成される立体映像を制御する立体映像制御装置および立体映像制御方法に関する。
【背景技術】
【０００２】
近年、立体（３Ｄ：3 Dimension）映像技術が映画コンテンツなどの分野で一般に広まりつつある。
【０００３】
立体映像から立体視が得られる仕組みは以下の通りである。人間が肉眼で被写体を見る際、左目と被写体とを結ぶ線と右目と被写体とを結ぶ線とが成す角である輻輳角は、左右の眼球の位置の違いから、被写体までの距離に応じて異なる。人間は、被写体に視線を合わせたときの輻輳角の感覚に基づいて、各被写体までの距離の大小を認識し、立体視を得る。立体映像の技術は、画角内における像の位置に微妙な差異（視差）を有する左目映像と右目映像とを生成し、それぞれを視聴者の左右の目に見せる事により、あたかも目の前に立体物が存在するかのような錯覚を視聴者に与えるものである。
【０００４】
現実の立体物を見たときの映像（以下「実映像」という）と、立体映像との相違点は、眼から像までの実際の距離と、輻輳角により擬似的に得られる結像距離との間に、差異があるか否かである。実映像の場合は差異がなく、立体映像の場合は差異があり得る。なぜならば、実際に立体映像が存在する映像面（例えば、ディスプレイパネルの表示面）の位置と視聴者との距離は変わる事はないにもかかわらず、立体効果を得るために、結像距離を様々に変化させるためである。
【０００５】
このような、眼から像までの実際の距離と、輻輳角により擬似的に得られる結像距離との差異を、一般には「輻輳角矛盾」と呼ぶ。
【０００６】
立体映像に輻輳角矛盾がない状況とは、映像面までの距離と、結像距離とが一致している状況である。この状況下においては、左目に投影する像と、右目に投影する像の、画面上の表示位置が概一致する。端的には、立体視用の眼鏡を外して映像を見た場合に、対象像が二重になって見える事がなく、一つの像として見える状況にある事が知られている。逆の言い方をすれば、眼鏡を外すと像が二重に見える場合は、その対象像には輻輳角矛盾があるといえる。
【０００７】
３Ｄ映画等では、視聴者に見せたい被写体に意図的に輻輳角矛盾を付けたり、輻輳角に変化を持たせる事が行われている。これにより、被写体があたかも映像面から手前に飛び出した位置に見えたり、奥に引っ込んだ位置に見えたりする効果を出し、より演出性の高いアトラクティブな立体視映像が実現されている。
【０００８】
従来、立体映像技術は、左右に並べて配置した２台のカメラを用いて左目映像および右目映像を撮影する事が広く行われている（例えば特許文献１参照）。また、立体映像技術は、肉眼で見たときの実際の被写体に対する輻輳角（以下「本来の輻輳角」という）に対して、立体映像の画面に映し出される被写体に対する輻輳角（以下「立体映像の輻輳角」という）を制御する事が行われている。輻輳角を制御する技術は、例えば特許文献１および特許文献２のものが知られている。
【０００９】
特許文献１および特許文献２記載の技術は、カメラから被写体までの距離に応じて、左目映像および右目映像に対するトリミング範囲をそれぞれ決定し、左目映像および右目映像のトリミングを行う。これにより、画角内における像の位置を制御し、立体映像の輻輳角を制御する事ができるようになっている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−１９４６９４号公報
【特許文献２】特開平７−９５６２３号公報
【特許文献３】特開平７−３８２６７号公報
【特許文献４】特開２００９−１２９４２０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ところで、画面の端部（画面と画面周辺部との境界、つまり画角端部）に対する適切な輻輳角は、通常、立体映像の輻輳角とは関係なく一定である。なぜなら、画角端部に存在する画枠（例えばテレビの外枠部品）は、現実その場所に存在する立体物であり、この立体物を人間の目が見る時は、物理的な距離に完全に対応した状態で両眼の輻輳角が決まり、輻輳角矛盾は発生しない。一方、立体映像は、輻輳角矛盾を伴う事がしばしばある。
【００１２】
画枠と立体映像を同時に注視した際には、両者の輻輳角矛盾の有無の違い（輻輳角矛盾が有るか、無いかの違い）は、著しいミスマッチとして視覚に捉えられ、視聴者に大きな違和感を与える場合がある。
【００１３】
そこで、上述の特許文献１および特許文献２記載の技術を用いて、立体映像の輻輳角矛盾を低減させる事が考えられる。これにより、視聴者に対して疲労感を軽減する事ができる。ところが、このように輻輳角矛盾を低減させると、立体映像の輻輳角の変化は狭い範囲に限定される事になる。すなわち、結像距離が映像面までの距離と常時一致してしまうため、立体視による飛出しや奥行きといった立体映像ならではの演出効果が充分に得られない。
【００１４】
そこで、画角端部の映像を見え難くする技術が、従来提案されている（例えば特許文献３および特許文献４参照）。
【００１５】
特許文献３記載の技術は、画角端部を仮想フレームで覆い隠す。また、特許文献４記載の技術は、画角端部にぼかしを入れる。これにより、画角端部における立体映像の輻輳角矛盾を認識し難くする事ができる。
【００１６】
しかしながら、特許文献３および特許文献４記載の技術では、やはり映像の立体感を十分に得る事は難しい。なぜなら、立体感を十分表現するためには、大きな輻輳角で被写体を表示するために画角をできるだけ大きく活用する事が望ましいが、特許文献３および特許文献４記載の技術では、画角端部を実質的に活用する事ができないからである。
【００１７】
本発明の目的は、視聴者に与える疲労感を軽減しつつ、立体映像の効果をより良く得る事ができる立体映像制御装置および立体映像制御方法を提供する事である。
【課題を解決するための手段】
【００１８】
本発明の立体映像制御装置は、左目映像および右目映像により構成される立体映像の輻輳角を制御する立体映像制御装置であって、前記立体映像の画角内における主要被写体の位置を取得する画角内位置取得部と、前記画角内における前記主要被写体の位置に応じて前記立体映像の輻輳角を制御する輻輳角制御部とを有する。
【００１９】
本発明の立体映像制御方法は、左目映像および右目映像により構成される立体映像の輻輳角を制御する立体映像制御方法であって、前記立体映像の画角内における主要被写体の位置を取得するステップと、前記画角内における前記主要被写体の位置に応じて前記立体映像の輻輳角を制御するステップとを有するようにした。
【発明の効果】
【００２０】
本発明によれば、映像の立体感を出すべき画角中央部では輻輳角矛盾を増大させ、輻輳角矛盾の有無の違いが認識され易い画角端部では輻輳角矛盾を低減させるという事が可能となり、視聴者に与える疲労感を軽減しつつ、立体映像の効果をより良く得る事ができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態１に係る立体映像制御装置を含む立体映像カメラの外観の一例を示す図
【図２】本実施の形態１に係る立体映像カメラの構成の一例を示すブロック図
【図３】本実施の形態１に係る画角内位置取得部の構成の一例を示すブロック図
【図４】本実施の形態１に係る立体映像カメラの全体動作の一例を示すフローチャート
【図５】本実施の形態１における画角被写体位置の取得処理の一例を説明するための図
【図６】本実施の形態１における画角被写体位置の取得処理の他の例を説明するための図
【図７】本実施の形態１における被写体距離の取得処理および被写体輻輳角の算出処理を説明するための第１の図
【図８】本実施の形態１における被写体距離の取得処理および被写体輻輳角の算出処理を説明するための第２の図
【図９】本実施の形態１における補正係数の第１の例を示す図
【図１０】本実施の形態１における補正係数の第２の例を示す図
【図１１】本実施の形態１における主要被写体の見え方のイメージを示す図
【図１２】本実施の形態１における主要被写体の像の欠けに対する効果を説明するための図
【図１３】本発明の実施の形態２に係る立体映像制御装置を含む立体映像カメラの使用の様子を示す図
【図１４】本実施の形態２に係る立体映像カメラの構成の一例を示すブロック図
【図１５】本実施の形態２に係る画角内位置取得部の構成の一例を示すブロック図
【図１６】本実施の形態２に係る立体映像カメラの全体動作の一例を示すフローチャート
【図１７】本実施の形態２における空間被写体位置を定義する座標系の一例を示す図
【図１８】本実施の形態２における画角被写体位置の取得処理を説明するための第１の図
【図１９】本実施の形態２における画角被写体位置の取得処理を説明するための第２の図
【図２０】本実施の形態２における画角被写体位置の取得処理を説明するための第３の図
【図２１】本実施の形態２における補正係数の一例を示す図
【図２２】本発明の実施の形態における画角被写体位置が画角中心部にあるときの追従速度の一例を示す図
【図２３】本発明の実施の形態における画角被写体位置が画角端部近傍にあるときの追従速度の第１の例を示す図
【図２４】本発明の実施の形態における画角被写体位置が画角端部近傍にあるときの追従速度の第２の例を示す図
【発明を実施するための形態】
【００２２】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００２３】
（実施の形態１）
図１は、本発明の実施の形態１に係る立体映像制御装置を含む立体映像カメラの外観の一例を示す図である。本実施の形態は、本発明を、立体映像を撮影可能な家庭用ビデオカメラに適用した例である。
【００２４】
図１において、立体映像カメラ１００は、左カメラ部２００、右カメラ部３００、制御部４００、表示部５００、および入力部６００を有する。
【００２５】
左カメラ部２００および右カメラ部３００は、それぞれ、２眼式立体映像を構成する左目映像および右目映像を撮影するビデオカメラであり、例えば光学レンズおよび撮像素子を備えた電子部品である。以下、左目映像および右目映像を特に区別しないときは、単に「映像」と総称する。左カメラ部２００および右カメラ部３００（以下、適宜「カメラ」と総称する）は、視聴者の目に対応するもので、撮影された立体映像から立体視効果を得られるように、適切な距離を置いて水平に配置される。また、左カメラ部２００の光軸方向と右カメラ部３００の光軸方向とが成す角（以下「カメラ輻輳角」という）は、少なくとも一方のパン制御（光軸方向を左右方向に制御）により、調整可能となっている。
【００２６】
制御部４００は、立体映像カメラ１００全体の動作を制御し、カメラの駆動、撮影、および映像処理等を行う電子部品である。制御部４００は、立体映像に映し出される主要被写体の、立体映像の画角内における位置（以下「画角被写体位置」という）を取得する。なお、主要被写体は、立体映像に映し出される被写体の中で視聴者が主に注目すべき対象、または、立体映像の製作者が視聴者に注目させたい対象をいう。主要被写体は、人物、動物、模型等、各種の被写体が成り得るものである。そして、制御部４００は、画角被写体位置が、画角の左端部および右端部の少なくとも一方（以下「画角端部」と総称する）の近傍のとき、主要被写体の輻輳角矛盾が低減するように、立体映像の輻輳角を制御する。具体的には、主要被写体の輻輳角が該当する画角端部の物理的な物体（例えばテレビのフレーム）を注視する場合と同一の輻輳角に近付くように、立体映像の輻輳角を制御する。
【００２７】
本実施の形態では、制御部４００は、左カメラ部２００と右カメラ部３００の少なくとも一方のパン制御（以下、単に「パン制御」という）を行う事により、立体映像の輻輳角を所望の角度に制御する。
【００２８】
表示部５００は、ユーザに情報や画像を提示するためのユーザインタフェースであり、例えば、液晶ディスプレイを有する。
【００２９】
入力部６００は、ユーザが立体映像カメラ１００の操作を行うもので、ポインティング、決定、取り消し等のユーザ操作を受け付けるためのユーザインタフェースである。入力部６００は、例えば、ボタン、レバー、キーパッド、および液晶ディスプレイに一体的に配置されたタッチパネルの少なくとも何れかを有する。入力部６００におけるユーザ操作受け付けの具体的な実施方法は、家庭用ビデオカメラやパーソナルコンピュータ等、一般的な電子機器に広く採用されている公知のユーザインタフェース技術を参照すれば良い。
【００３０】
左カメラ部２００、右カメラ部３００、表示部５００、および入力部６００は、それぞれ、制御部４００に一体的に設けられている。制御部４００は、例えば、図示しないが、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）などの記憶媒体、およびＲＡＭ（random access memory）などの作業用メモリ等を搭載し、ＣＰＵによる制御プログラムの実行によってその機能を実現する。
【００３１】
このような立体映像カメラ１００は、主要被写体が立体映像の画角端部の近傍に位置するときのみ、主要被写体の輻輳角矛盾を低減させる事ができる。
【００３２】
次に、立体映像カメラ１００の構成について、図２および図３を用いて説明する。図２および図３において、図１と同一部分には同一の符号を付し、これについての説明を一部省略する。
【００３３】
図２は、立体映像カメラ１００の構成の一例を示すブロック図である。
【００３４】
立体映像カメラ１００は、左カメラ部２００および右カメラ部３００に加えて、画角内位置取得部１１０、輻輳角制御部１２０、および記憶部１３０を有する。輻輳角制御部１２０と、画角内位置取得部１１０と、左カメラ部２００および右カメラ部３００とは、互いに接続している。記憶部１３０は、左カメラ部２００および右カメラ部３００に接続している。
【００３５】
画角内位置取得部１１０は、主要被写体を特定し、画角被写体位置と、カメラから主要被写体までの距離（以下「被写体距離」という）とを取得する。そして、画角内位置取得部１１０は、取得した画角被写体位置および被写体距離を、輻輳角制御部１２０へ出力する。
【００３６】
輻輳角制御部１２０は、入力される画角被写体位置および被写体距離に基づいて、上述のパン制御を行う。具体的には、輻輳角制御部１２０は、画角被写体位置から、立体映像において主要被写体の輻輳角矛盾を低減させるか否か、および、低減させる場合にはどの程度低減させるのかを決定する。つまり、輻輳角制御部１２０は、主要被写体の輻輳角の目標値（以下「調整後映像輻輳角」という）を決定する。そして、輻輳角制御部１２０は、被写体距離から、決定した調整後映像輻輳角を実現するカメラ輻輳角（以下「調整後カメラ輻輳角」という）を算出する。そして、輻輳角制御部１２０は、算出した調整後カメラ輻輳角に一致するように、カメラのパン制御を行う。
【００３７】
左カメラ部２００および右カメラ部３００は、左目映像と右目映像とをそれぞれ記憶部１３０へ出力する。
【００３８】
記憶部１３０は、入力される左目映像および右目映像を、それぞれの時間軸を対応付けた状態で、複数の静止画フレームの時系列データとして、外部から読み取り可能な状態で記憶する。具体的には、記憶部１３０は、例えば、画質調整、静止画フレームの生成、および動画記録フォーマットへの変換等の所定の処理を映像データに施し、記録媒体（例えば、ＨＤＤ、メモリカード、ディスク）への記録を行う。記憶部１３０は、例えば、ブルーレイ（Blu-ray）ディスクレコーダおよびこのレコーダに装着されたブルーレイディスクを有する。
【００３９】
なお、立体映像カメラ１００は、記憶部１３０に代えて、または記憶部１３０と共に、映像データを有線または無線により外部装置へ出力する通信部を備えても良い。
【００４０】
図３は、画角内位置取得部１１０の構成の一例を示すブロック図である。
【００４１】
図３に示すように、画角内位置取得部１１０は、画像認識部１１１、表示部５００、および入力部６００を有する。
【００４２】
表示部５００は、例えば、左カメラ部２００から入力される左目映像の画像のみを表示する。なお、表示部５００は、右目映像を表示するようにしても良い。但し、パン制御が、一方のカメラ部を固定して他方のカメラ部のみを動かす事によって行われる場合には、固定されたほうのカメラ部の映像が表示される事が望ましい。
【００４３】
画像認識部１１１は、例えば、表示部５００に表示中の画像に対するユーザ操作を、入力部６００を介して受け付け、表示中の画像から主要被写体を特定する。また、画像認識部１１１は、例えば、一旦特定された主要被写体を、映像において追尾する。そして、画像認識部１１１は、逐次、画角被写体位置を取得し、輻輳角制御部１２０へ出力する。画角被写体位置は、例えば、画角内において主要被写体の像が占める映像領域全体の位置でも良いし、主要被写体の像の中心や重心等の代表点の位置でも良い。但し、主要被写体の像の大きさによらずに適切な輻輳角制御を行うためには、画角被写体位置には、主要被写体の像の左端の位置と右端の位置の情報を持たせる事が望ましい。なぜなら、主要被写体の中心部が画角の中心付近にある場合でも、被写体が大きくアップで表示されるような場合には、その端部は画角端部に掛かる事が有り得るためである。なお、図３に示す画像認識部１１１と、図２に示す輻輳角制御部１２０および記憶部１３０とは、図１に示す制御部４００に包含されている。
【００４４】
このような構成を有する事により、立体映像カメラ１００は、主要被写体が立体映像の画角端部の近傍に位置するときに、これを検出する事ができる。そして、立体映像カメラ１００は、主要被写体が画角端部に位置すると検出したときにのみ輻輳角矛盾を低減させるという効果を奏する事ができる。
【００４５】
次に、立体映像カメラ１００の動作について説明する。
【００４６】
図４は、立体映像カメラ１００の全体動作の一例を示すフローチャートである。ここでは、大まかな処理の流れについてまず説明し、各処理の詳細については後述する。
【００４７】
左カメラ部２００および右カメラ部３００は、立体映像カメラ１００の動作中、左目映像および右目映像を、それぞれ画角内位置取得部１１０へフレーム単位で連続的に出力している。
【００４８】
まず、ステップＳ１０００において、画像認識部１１１は、表示部５００の表示映像に対するユーザ操作等に基づき、映像から主要被写体を認識する。
【００４９】
そして、ステップＳ２０００において、画像認識部１１１は、認識した主要被写体について、画角被写体位置を取得し、輻輳角制御部１２０へ出力する。また、画像認識部１１１は、認識した主要被写体について、左目映像および右目映像と左カメラ部２００および右カメラ部３００のパラメータとに基づいて被写体距離を取得し、輻輳角制御部１２０へ出力する。画角被写体位置の取得処理および被写体距離の取得処理については、後述する。
【００５０】
そして、ステップＳ３０００において、輻輳角制御部１２０は、画角被写体位置が、画角端部近傍であるか否かを判定する。輻輳角制御部１２０は、画角被写体位置が画角端部近傍である場合には（Ｓ３０００：ＹＥＳ）、ステップＳ４０００へ進み、画角被写体位置が画角端部近傍ではない場合には（Ｓ３０００：ＮＯ）、ステップＳ５０００へ進む。
【００５１】
ステップＳ４０００において、輻輳角制御部１２０は、主要被写体の輻輳角矛盾が低減するように、つまり、主要被写体の輻輳角が画角端部の輻輳角に近付くように、カメラ輻輳角を調整する。具体的には、輻輳角制御部１２０は、被写体距離から、カメラに対する主要被写体の本来の輻輳角（以下「被写体輻輳角」という）を算出する。そして、輻輳角制御部１２０は、被写体輻輳角に補正係数を適用した値を、調整後カメラ輻輳角として算出する。補正係数は、主要被写体が画角内を移動する際にその主要被写体の輻輳角を滑らかに変化させるためのパラメータである。被写体輻輳角の算出処理、補正係数、および調整後カメラ輻輳角の算出処理については、後述する。そして、輻輳角制御部１２０は、調整後カメラ輻輳角にカメラ輻輳角が一致するように、カメラのパン制御を行う。
【００５２】
そして、ステップＳ５０００において、立体映像カメラ１００は、設定された調整後カメラ輻輳角で立体映像を撮影する。すなわち、左カメラ部２００および右カメラ部３００は、角被写体位置が画角端部近傍ではない場合には通常のカメラ輻輳角で、角被写体位置が画角端部近傍である場合には調整後カメラ輻輳角で、立体映像をそれぞれ撮影する。このとき、録画モードとなっている場合には、左カメラ部２００および右カメラ部３００は、左目映像および右目映像をそれぞれ記憶部１３０に出力し、立体映像のデータとして記録する。
【００５３】
そして、ステップＳ６０００において、立体映像カメラ１００は、ユーザ操作等により処理の終了を指示されたか否かを判断する。立体映像カメラ１００は、処理の終了を指示されていない場合には（Ｓ６０００：ＮＯ）、ステップＳ１０００へ戻り、処理の終了を指示された場合には（Ｓ６０００：ＹＥＳ）、一連の処理を終了する。
【００５４】
このような動作により、立体映像カメラ１００は、主要被写体が画角端部の近傍に位置するときには輻輳角矛盾を低減し、主要被写体が画角端部の近傍に位置しないときには本来の輻輳角矛盾を維持して、立体映像の撮影を行う事ができる。
【００５５】
以下、上述の、画角被写体位置の取得処理、被写体距離の取得処理、被写体輻輳角の算出処理、補正係数、および調整後カメラ輻輳角の算出処理の詳細について、順に説明する。
【００５６】
図５は、画角被写体位置の取得処理の一例を説明するための図である。この例では、主要被写体の特定は、画像に対するユーザ指定により行われる。
【００５７】
表示部５００は、例えば、図５に示すような被写体指定画面７１０を表示する。被写体指定画面７１０は、被写体７１１を含む画像７１２に重畳して、入力部６００のポインティング操作によって移動可能なポインタ７１３を表示する。画像７１２は、例えば、左カメラ部２００から入力された、最新の左目映像または過去の左目映像である。ポインタ７１３は、画像７１２に重ねて描画される仮想的な表示物であり、入力部６００のポインティング操作により、任意の位置に移動し、任意の位置に対する指定操作を受け付ける事ができる。すなわち、ユーザは、表示部５００の被写体指定画面７１０に映っている被写体７１１をポインタ７１３で指定することによって、主要被写体を指定することができる。なお、入力部６００がタッチパネルを含む場合には、必ずしもポインタ７１３は必要ではない。
【００５８】
画像認識部１１１は、被写体指定画面７１０に映し出される映像７１２のうち、指定操作がされた位置周辺の領域に対して、画像認識処理を行う。これにより、画像認識部１１１は、ユーザが指定した被写体を特定する。そして、画像認識部１１１は、特定された被写体を主要被写体として扱い、以降、画像処理による追尾を行うと共に、主要被写体の画角内における位置（画角被写体位置）の取得を継続する。すなわち、画像認識部１１１は、まず、ポインティング時に決定された主要被写体の代表点を求める。そして、画像認識部１１１は、画像特徴を基準にして、以降の各時刻において、求めた代表点の移動先と推定される画像内位置を逐次計算し、画角被写体位置（Ｘｓ,Ｙｓ）として取得する。これにより、画角内位置取得部１１０は、画角内を移動する主要被写体の位置を取得し続ける事ができる。
【００５９】
なお、ポインティングによる対象指定の具体的な手法や、画像処理による対象追尾の具体的な手法は、それぞれ、例えばデジタルスチルカメラやデジタルビデオカメラに広く採用されている公知の各種手法を適宜採用すれば良い。
【００６０】
図６は、画角被写体位置の取得処理の他の例を説明するための図である。この例では、主要被写体の特定は、主要被写体の特徴に対する画像認識処理により行われる。
【００６１】
この例では、撮影される被写体のうち、各主要被写体は、予め定められたマーカを発する装置を装着している。マーカは、例えば発光信号であり、波長、輝度、明滅周期、明滅パターン等において、光学的に識別可能な予め定められた特性を有する事により、固有性を確保するものである。この場合、表示部５００は、例えば、図６に示すような被写体指定画面７２０を表示する。被写体指定画面７２０には、複数の被写体７２１が映し出された映像７２２が表示される。
【００６２】
画像認識部１１１は、被写体指定画面７２０に映し出される映像７２２から、マーカ７２３を探索し、探索されたマーカ７２３の位置周辺の領域に対して、画像認識処理を行う。これにより、画像認識部１１１は、マーカ７２３を装着した被写体の画像を認識する。これにより、画角内位置取得部１１０は、主要被写体が画角内を移動した場合でも、主要被写体の位置を取得し続ける事ができる。
【００６３】
なお、画像認識部１１１は、主要被写体のマーカとして取り扱うマーカの種類を切り換えても良い。この場合、例えば、画像認識部１１１は、黄色のマーカが付された被写体を主要被写体のマーカとする事が指定されているときには、黄色のマーカを探索する。そして、画像認識部１１１は、赤色のマーカが付された被写体を主要被写体のマーカとする事が指定されているときには、赤色のマーカを探索する。これにより、立体映像カメラ１００は、主要被写体のマーカを切り換える事なく、主要被写体となる被写体を切り換える事ができる。
【００６４】
また、マーカとして、被写体に取り付けた所定の光学パターンを持つマークや、被写体が予め有する視覚的特徴（例えば、服の色、服に描かれた模様、顔、または身体の個人的特徴等）等、他の各種画像特徴を採用しても良い。
【００６５】
また、画像認識による主要被写体特定の具体的手法は、公知の画像処理技術および信号処理技術等で採用されている各種手法を適宜採用すれば良い。
【００６６】
次に、被写体距離の取得処理および被写体輻輳角の算出処理について、説明する。画像認識部１１１は、左目映像と右目映像と間の主要被写体の位置のずれ量の画角に対する比率と、映像の画角と、左カメラ部２００および右カメラ部３００との光軸が成す角から、被写体距離を求める。そして、画像認識部１１１は、被写体距離と左カメラ部２００と右カメラ部３００との距離から、三角測量法に基づいて、被写体輻輳角を算出する。
【００６７】
図７および図８は、被写体距離の取得処理および被写体輻輳角の算出処理を説明するための図である。
【００６８】
図７に示すように、立体映像カメラ１００は、左カメラ部２００の視点と右カメラ部３００の視点が異なるため、同時に撮影した映像であっても、左目映像７３０と右目映像７４０とは同一の映像とはならない。通常、同一対象物の像であっても、左目映像７３０における対象物の像７３１の位置と、右目映像７４０における対象物の像７４１の位置との間には、差異が生じる。
【００６９】
画像認識部１１１は、例えば、左目映像７３０にて像７３１を主要対象物として認識した場合、同一の対象物の像７４１を、右目映像７４０から探索する。この像７４１の探索手法は、例えば、輝度、色、形状およびこれら組み合わせを用いた、公知の特徴抽出、パターンマッチング等の画像処理技術を、適宜採用すれば良い。
【００７０】
そして、画像認識部１１１は、例えば以下の式（１）を用いて、像７３１、７４１の画角左右方向における位置の差分（視差）ｄの、画角の幅ｗに対する比を、視差量Ｄとして算出する。
Ｄ ＝ ｄ／ｗ      ・・・・・・（１）
【００７１】
ここで、図８に示すように、左カメラ部２００および右カメラ部３００から、左カメラ部２００の光軸と右カメラ部３００の光軸との交差点までのそれぞれの距離は、近似的に同一の距離ｖとする。カメラ輻輳角θｃ、左カメラ部２００と右カメラ部３００との間隔である基線長ｂ、および光軸交差点までの距離ｖについて、以下の式（２）が成り立つ。
ｖ ＝ ｂ／ｔａｎθｃ      ・・・・・・（２）
【００７２】
ここでは、図８に示すように、左カメラ部２００の画角および右カメラ部３００の画角を近似的に同一の画角θｆとする。カメラ輻輳角θｃは、輻輳角制御部１２０によって制御されるパラメータであるため、例えば、輻輳角制御部１２０から取得する事が可能である。
【００７３】
カメラ輻輳角θｃがゼロに近似するとき、以下の式（３）が成り立つ。
２ｄｚ・ｔａｎ（θｆ／２） ＝ ｂ      ・・・・・・（３）
【００７４】
したがって、この場合、画角内位置取得部１１０は、被写体距離ｚを、例えば以下の式（４）を用いて算出する。
ｚ ＝ ｂ／｛２ｄ・ｔａｎ（θｆ／２）｝      ・・・・・・（４）
【００７５】
一方、輻輳角矛盾がゼロのとき、つまり、左カメラ部２００および右カメラ部３００からそれぞれの光軸の交差点までのｚ軸方向の距離が、被写体距離ｚと一致しているとき、以下の式（５）および式（６）が成り立つ。
【００７６】
２ｖ・ｔａｎ（θｃ／２） ＝ ｂ      ・・・・・・（５）
２（ｖ−ｚ）・ｔａｎ（θｃ／２） ＝ ２ｄｚ・ｔａｎ（θｆ／２）  ・・・（６）
【００７７】
すなわち、この場合、以下の式（７）が成り立つ。
ｂ−２ｚ・ｔａｎ（θｃ／２）＝２ｄｚ・ｔａｎ（θｆ／２）    ・・・（７）
【００７８】
したがって、この場合、画角内位置取得部１１０は、被写体距離ｚを、例えば以下の式（８）を用いて算出する。
ｚ ＝ ｂ／｛２・ｔａｎ（θｃ／２）＋２ｄ・ｔａｎ（θｆ／２）｝  ・・・（８）
【００７９】
このようにして、画角内位置取得部１１０は、被写体距離ｚを算出し、輻輳角制御部１２０へ出力する。
【００８０】
輻輳角制御部１２０は、被写体距離ｚおよび基線長ｂから、例えば、以下の式（９）が成り立つθｃ'を、被写体輻輳角として算出する。
ｔａｎ（θｃ'／２）＝ｂ／２ｚ      ・・・・・・（９）
【００８１】
輻輳角制御部１２０は、上述の通り、画角被写体位置が、画角端部近傍であると判断した場合に、主要被写体の輻輳角矛盾が低減するように、カメラ輻輳角を調整する。
【００８２】
画角端部近傍か否かの判断は、例えば、画面の中心から所定の範囲外にあるか否かによって判断する事ができる。最もシンプルな例としては、例えば、所定の範囲は、画角中心を０％、画角の左右端をそれぞれ１００％としたときの、７０％以下の範囲と定義される。この場合には、輻輳角制御部１２０は、主要被写体が７０％を超える位置にあるとき、画角被写体位置が画角端部近傍であると判断し、主要被写体が７０％以下の位置にあるとき、画角被写体位置が画角端部近傍ではないと判断する。例えば、画角被写体位置が上述のように主要被写体の像の左端の位置と右端の位置を含む場合には、輻輳角制御部１２０は、これら２点の少なくとも１つが７０％を超える位置にあるとき、画角被写体位置が画角端部近傍であると判断する。
【００８３】
そして、輻輳角制御部１２０は、予め定められた補正係数を被写体輻輳角に適用する事により、調整後カメラ輻輳角を算出する。
【００８４】
図９は、補正係数の第１の例を示す図である。図１０は、補正係数の第２の例を示す図である。図９および図１０において、横軸は、画角中心を０％とし画角の左右端をそれぞれ１００％として、画角被写体位置をパーセントで示し、縦軸は補正係数をパーセントで示す。なお、画角被写体位置が上述のように主要被写体の像の左端の位置と右端の位置を含む場合、輻輳角制御部１２０は、画面の左側について、画角の左端を１００％とし、主要被写体の像の左端の位置を画角被写体位置とする。そして、輻輳角制御部１２０は、補正係数を決定し、被写体輻輳角を算出する。一方、輻輳角制御部１２０は、画面の右側については、画角の右端を１００％とし、主要被写体の像の右端の位置を画角被写体位置として、補正係数を決定し、被写体輻輳角を算出する。
【００８５】
輻輳角制御部１２０は、例えば、図９または図１０にグラフ化して示すような、補正係数７５１、７５２を、予め格納する。図９および図１０に示す補正係数７５１、７５２は、画角中心から上述の所定の距離以下の範囲の位置に対応してほぼゼロであり、上述の所定の距離を超えて画角中心からより離れた位置ほど１００に近付く。その変化は、滑らかな増加となっている。図９に示す補正係数７５１は、二次関数的に１００に向かって増加する。一方、図１０に示す補正係数７５２は、画角端部において変化が緩やかになっている。
【００８６】
輻輳角制御部１２０は、画角被写体位置に対応する補正係数ｐ（ｉ）を取得する。ここで、記号ｉは、画角被写体位置を示す。また、ここで、そのシーンで意図される主要被写体の飛出し量に対応する輻輳角は、基本輻輳角θｃ０と定義する。基本輻輳角θｃ０は、ユーザが任意に決める事ができる。例えば、調整後カメラ輻輳角θｃ”が基本輻輳角θｃ０よりも大きい場合、主要被写体は、画面よりも手前に位置するように見える。そして、逆に、調整後カメラ輻輳角θｃ”が基本輻輳角θｃ０よりも小さい場合、主要被写体は、画面よりも奥に位置するように見える。
【００８７】
輻輳角制御部１２０は、例えば、被写体輻輳角θｃ'、基本輻輳角θｃ０、および補正係数ｐ（ｉ）から、以下の式（１０）を用いて調整後カメラ輻輳角θｃ”を算出する。
θｃ”＝θｃ０＋（θｃ'−θｃ０）ｐ（ｉ）／１００      ・・・・・・（１０）
【００８８】
調整後カメラ輻輳角θｃ”が被写体輻輳角θｃ'に一致している状態は、被写体距離で光軸が交差している状態であり、左目映像と右目映像とで画角内において同じ位置に主要被写体が位置する状態である。すなわち、調整後カメラ輻輳角θｃ”が被写体輻輳角θｃ'に一致しているときとは、主要被写体の輻輳角矛盾が無い状態である。また、調整後カメラ輻輳角θｃ”に対する被写体輻輳角θｃ'の差分は、立体映像における画枠の輻輳角に対する主要被写体の輻輳角の差分となる。
【００８９】
図９に示す補正係数７５１および図１０に示す補正係数７５２を適用した場合、調整後カメラ輻輳角θｃ”は、主要被写体が画角中心部から端部へ移動するに従って、基本輻輳角θｃ０から被写体輻輳角θｃ'へと変化する。すなわち、このような調整後カメラ輻輳角θｃ”となるようにパン制御が行われて撮影された主要被写体は、画角中心部に位置するときには、そのシーンで意図される飛出し量で見え、画角端部に近付くにつれ、画枠の距離に近付いて見える。
【００９０】
図９に示す補正係数７５１を適用した場合に比べて、図１０に示す補正係数７５２を適用した場合の方が、画枠における主要被写体の飛び出し量の変化が滑らかとなるため、より違和感の少ない立体視を実現する事ができる。また、図１０に示す補正係数７５２を適用した場合の方が、カメラ輻輳角の調整をより滑らかに行う事ができるので、立体映像の輻輳角の制御がより容易である。
【００９１】
なお、調整後カメラ輻輳角θｃ”は、必ずしも、基本輻輳角θｃ０に完全に一致するまで基本輻輳角θｃ０に近付けなくても良い。この場合、例えば、最大値が８０％であるような補正係数ｐ（ｉ）を採用する。これにより、立体映像の効果を優先させつつ、視聴者に与える疲労感の軽減を図る事ができる。
【００９２】
以下、上記で説明した立体映像の輻輳角の制御によって得られる効果について説明する。
【００９３】
図１１は、立体映像カメラ１００により生成された立体映像における、主要被写体の見え方のイメージを示す図である。
【００９４】
図１１に示すように、画枠７６１の右端部から左端部へと主要被写体７６２が移動する場合を想定する。主要被写体７６２が画枠７６１の端部近傍に位置するときは、視聴者７６３は、画枠７６１を強めに認識する。一方、主要被写体７６２が画枠７６１の中心部に位置するときは、視聴者７６３は、画枠７６１をほとんど認識しない。立体映像カメラ１００により生成された立体映像では、主要被写体７６２は、画枠７６１の右端部近傍の区間および左端部近傍の区間では、画枠とほぼ同じ距離に見え、その間の区間では、意図される飛出し量に対応する距離に見える。
【００９５】
立体視における主要被写体７６２の距離は、画枠７６１の位置に応じて、変化する事になる。しかし、主要被写体７６２の立体視による仮想空間上での位置は、主要被写体の絶対的な距離によってではなく、主に、背景等、他の被写体との間の相対的な位置関係によって得られる。したがって、輻輳角が上述のように調整され、主要被写体７６２の距離が変化しても、主要被写体７６２の仮想空間上での位置はほとんど変化せず、視聴者に与える違和感は少ないといえる。
【００９６】
図１２は、主要被写体の像の欠けに対する効果を説明するための図である。
【００９７】
主要被写体が画枠の端部に位置し、カメラ輻輳角が被写体輻輳角に一致していないとき、図１２に示すように、像の欠けにより、左目映像における像７７１と右目映像における像７７２とが大きく異なる場合がある。像７７１、７７２がこのように大きく異なると、主要被写体の立体視が得難くなる。
【００９８】
この点、立体映像カメラ１００により生成された立体映像では、主要被写体は、画枠の端部に位置するときには左目映像と右目映像とで画角内において同じ位置となるため、欠けが生じたとしても像７７１、７７２はほぼ同一となる。
【００９９】
したがって、立体映像カメラ１００により生成された立体映像は、立体視をできるだけ損なわずに、画面を最大限に使って映像表示を行う事ができる。
【０１００】
以上説明したように、本実施の形態に係る立体映像カメラ１００は、画角被写体位置が画角端部の近傍のとき、主要被写体の輻輳角が画角端部の輻輳角に近付くように、撮影される立体映像の輻輳角を制御する。すなわち、立体映像カメラ１００は、特に主要被写体が画枠の近くに位置するときには、被写体距離と画角被写体位置に応じて輻輳角を制御し、主要被写体の輻輳角矛盾が低減するように、立体映像を形成する。
【０１０１】
これにより、立体映像カメラ１００は、主要被写体が立体映像の画角端部の近傍に位置するとき、つまり輻輳角矛盾が認識され易い場合にのみ、輻輳角矛盾を低減し、その他の場合には、元の輻輳角矛盾を維持する事ができる。すなわち、映像作成者（ここでは撮影者）が本来狙った立体感をできるだけ損なう事なく、画面を最大限に使って立体映像を表示する事ができる。すなわち、立体映像カメラ１００は、視聴者に与える疲労感や違和感が少なく、かつ、立体視による飛出しや奥行きといった立体映像ならではの演出効果ができるだけ保持された映像を形成する事ができる。
【０１０２】
また、立体映像カメラ１００は、主要被写体が立体映像の画角端部の近傍に位置するか否かを判断し、判断結果に応じて、輻輳角を適切に制御する。これにより、例えば、撮影者もしくは映像編集者は、主要被写体の位置に応じて逐一輻輳角を手動で調整する必要が無い。
【０１０３】
なお、立体映像の輻輳角の制御手法は、カメラのパン制御に限定されない。例えば、立体映像カメラ１００は、カメラ輻輳角を物理的に固定とし（この場合、カメラの光軸が並行、つまりカメラ輻輳角がゼロである事が望ましい）、撮影された映像に対するトリミングを行う事により、輻輳角の制御を行っても良い。
【０１０４】
この場合、立体映像カメラ１００は、例えば、左カメラ部２００および右カメラ部３００から出力される左目映像および右目映像に対して、指定範囲の切り出し（トリミング）を行う映像形成部を備えれば良い。
【０１０５】
映像形成部は、例えば、カメラ輻輳角とトリミング範囲との対応関係を予め格納しておき、輻輳角制御部１２０が算出した調整後カメラ輻輳角θｃ”に基づいて、対応するトリミング範囲でトリミングを行う。または、映像形成部は、例えば、右目映像における主要被写体の位置と右目映像における主要被写体の位置とが一致するように、トリミング範囲を決定しても良い。具体的には、例えば、映像形成部は、カメラ輻輳角がゼロのとき、左目映像のトリミング範囲と右目映像のトリミング範囲とのずれ量が視差量Ｄに一致するように、トリミング範囲を決定する。
【０１０６】
また、上記説明では、通常、画角の上端および下端は水平な直線であり、かつ画面の周囲には視認され易いものが配置される事が少ない事から、主要被写体が画角の上端部および下端部の近傍に位置する場合についての説明を省いた。しかし、立体映像カメラ１００は、主要被写体が上下端部の近傍に位置する場合においても、輻輳角矛盾を低減させるように、本願発明を適用することができる。これにより、立体映像カメラ１００は、画角の上端／下端が水平な直線ではない場合や、画面の周囲に視認され易いものが配置される場合でも、視聴者に与える疲労感を軽減しつつ立体映像の効果を保持した立体映像を生成する事ができる。
【０１０７】
（実施の形態２）
本発明の実施の形態２は、主要被写体および画角被写体位置の特定を、実世界における主要被写体の位置に基づいて行う例である。
【０１０８】
図１３は、本実施の形態に係る立体映像制御装置を含む立体映像カメラの使用の様子を示す図であり、実施の形態１の図１に対応するものである。図１と同一部分には同一符号を付し、これについての説明を省略する。
【０１０９】
図１３に示すように、本実施の形態に係る立体映像カメラ１００ａは、実施の形態１の制御部４００とは異なる制御部４００ａと、更に、被写体位置取得部８００ａを備える。
【０１１０】
被写体位置取得部８００ａは、例えば、主要被写体が身に付ける無線通信装置９００ａから発せされる無線信号に基づいて、無線通信装置９００ａの位置、つまり主要被写体の実世界における位置を取得する。例えば、無線通信装置９００ａは無線タグを含み、被写体位置取得部８００ａはタグリーダを含む。
【０１１１】
図１４は、本実施の形態に係る立体映像カメラ１００ａの構成の一例を示すブロック図であり、実施の形態１の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。
【０１１２】
立体映像カメラ１００ａは、実施の形態１の画角内位置取得部１１０とは異なる画角内位置取得部１１０ａを有する。画角内位置取得部１１０ａは、主要被写体が身に付けている無線通信装置９００ａに備えられた被写体位置発信部９１０ａから、所定の無線信号を受信する。
【０１１３】
図１５は、本実施の形態に係る画角内位置取得部１１０ａの構成の一例を示すブロック図である。
【０１１４】
図１５に示すように、画角内位置取得部１１０ａは、被写体位置取得部８００ａ、画角取得部１１２ａ、および画角内位置計算部１１３ａを有する。
【０１１５】
被写体位置取得部８００ａは、受信した被写体位置発信部９１０ａからの無線信号に基づいて、立体映像カメラ１００ａに対する被写体位置発信部９１０ａの相対的な位置および姿勢（以下「空間被写体位置」という）を取得する。そして、被写体位置取得部８００ａは、取得した空間被写体位置を、画角内位置計算部１１３ａへ出力する。
【０１１６】
無線信号による空間被写体位置の計測手法は、例えば、ＧＰＳ（global positioning system）情報を用いる手法を採用する事ができる。この場合、被写体位置発信部９１０ａは、ＧＰＳ受信機を有し、ＧＰＳ受信機の機能により自己の位置情報（緯度、経度、および高度等）を取得し、この位置情報を含む無線信号を送信する。そして、被写体位置取得部８００ａは、ＧＰＳ受信機と、更に、地磁気の向きから自己の方位を取得する方位計（コンパス）と、重力加速度の向きから自身の仰角を得る仰角計（傾きセンサ）とを有する。そして、被写体位置取得部８００ａは、自身の位置、方位、および仰角と、被写体位置発信部９１０ａから受信した主要被写体の位置情報とを用いて、空間被写体位置を算出する。
【０１１７】
または、無線信号による空間被写体位置の計測手法は、例えば、ＵＷＢ（ultra wide band）通信による距離計測を用いる手法を採用する事ができる。この場合、被写体位置発信部９１０ａは、ＵＷＢアンテナを有し、被写体位置取得部８００ａは、立体映像カメラ１００ａに固定された複数のＵＷＢアンテナを有する。そして、被写体位置取得部８００ａは、被写体位置発信部９１０ａと被写体位置取得部８００ａとの間の無線信号の往復時間と三角測量法とに基づいて、空間被写体位置を算出する。
【０１１８】
なお、空間被写体位置の計測手法は、上述の例に限定されるものではないが、電波（電磁波）による無線接続等、間に遮蔽物がある場合でも計測が可能な手法である事が望ましい。
【０１１９】
画角取得部１１２ａは、カメラが撮影する映像の画角（以下「撮影画角」という）を取得し、取得した撮影画角を、画角内位置計算部１１３ａへ出力する。取得される撮影画角は、左カメラ部２００の撮影画角でも良いし、右カメラ部３００の撮影画角でも良い。但し、パン制御が、一方のカメラ部を固定して他方のカメラ部のみを動かす事によって行われ、かつ、左カメラ部２００と右カメラ部３００とで撮影画角が異なる場合には、固定された方のカメラ部の撮影画角が取得される事が望ましい。
【０１２０】
撮影画角は、レンズの設定およびズーム度合いに関係する。したがって、画角取得部１１２ａは、例えば、レンズのズーム機構（図示せず）から焦点距離を取得し、取得した焦点距離を撮影画角に換算する。焦点距離の取得は、市販のビデオカメラ等で用いられている、ズーム機構の回転部の回転量をロータリーエンコーダで読み取る方法などを用いて行えば良い。また焦点距離から撮影画角への換算は、カメラ固有の固定値を用いた単純な乗除演算を用いて行えば良い。
【０１２１】
画角内位置計算部１１３ａは、空間被写体位置および撮影画角から、画角被写体位置を算出する。また、画角内位置計算部１１３ａは、例えば、空間被写体位置から、被写体距離を取得する。
【０１２２】
図１６は、立体映像カメラ１００ａの全体動作の一例を示すフローチャートであり、実施の形態１の図４に対応するものである。図４と同一部分には同一ステップ番号を付し、これについての説明を省略する。
【０１２３】
まず、ステップＳ１１００ａにおいて、被写体位置取得部８００ａは、被写体位置発信部９１０ａが発する無線信号を読み取り、被写体位置発信部９１０ａの存在位置（空間被写体位置）を取得する。そして、被写体位置取得部８００ａは、取得した空間被写体位置を、画角内位置計算部１１３ａへ出力する。被写体位置の取得処理については、後述する。
【０１２４】
なお、被写体位置取得部８００ａは、被写体位置発信部９１０ａが複数存在する場合には、その中の１つを選択し、画角内位置計算部１１３ａへ出力する事が望ましい。例えば、被写体位置取得部８００ａは、被写体位置発信部９１０ａが複数存在する場合には、本来の輻輳角が最も大きい被写体、つまり、最も距離が近い被写体を、主要被写体として取り扱う。
【０１２５】
そして、ステップＳ１２００ａにおいて、画角取得部１１２ａは、撮影画角を取得し、画角内位置計算部１１３ａへ出力する。
【０１２６】
そして、ステップＳ２１００ａにおいて、画角内位置計算部１１３ａは、空間被写体位置および撮影画角から、画角被写体位置を算出すると共に、被写体距離を取得する。そして、画角内位置計算部１１３ａは、画角被写体位置および被写体距離を、輻輳角制御部１２０へ出力する。以降の動作（Ｓ３０００〜Ｓ６０００）は、実施の形態１と同様である。
【０１２７】
このような立体映像カメラ１００ａは、主要被写体および画角被写体位置の特定を、画像認識処理を行う事なく、実世界における主要被写体の位置に基づいて行う事ができる。
【０１２８】
以下、上述の、空間被写体位置の取得処理、被写体距離の取得処理、および画角被写体位置の取得処理の詳細について、順に説明する。
【０１２９】
図１７は、空間被写体位置を定義する座標系の一例を示す図である。
【０１３０】
図１７に示すように、被写体位置取得部８００ａは、立体映像カメラ１００ａの位置および姿勢を基準とするｘｙｚ軸から成る座標系を設定する。例えば、ｚ軸の正の方向は、左カメラ部２００の光軸方向である。ｘ軸の正の方向は、左カメラ部２００のレンズ中心から右カメラ部３００のレンズ中心へ向かう方向である。ｙ軸の正の方向は、ｘ軸およびｚ軸に直交する方向のうち、通常の撮影状態において下側に向かう方向である。各軸の単位は、メートル等、一般的な距離単位を採用する事ができる。
【０１３１】
ここで、被写体位置発信部９１０ａが図１７に示す位置にある時、被写体位置取得部８００ａは、座標値から成る空間被写体位置（ｘ，ｙ，ｚ）を取得する。空間被写体位置（ｘ，ｙ，ｚ）は、例えば、主要被写体に取り付けられた無線通信装置９００ａの被写体位置発信部９１０ａの代表点の位置である。
【０１３２】
そして、被写体位置取得部８００ａは、この空間被写体位置（ｘ，ｙ，ｚ）のうち、例えば、ｚ軸の値を、被写体距離として取得する。
【０１３３】
図１８〜図２０は、画角被写体位置の取得処理を説明するための図である。
【０１３４】
図１８および図１９に示すように、被写体位置取得部８００ａは、水平画角θｆｈ、垂直画角θｆｖ、および空間被写体位置（ｘ，ｙ，ｚ）を取得する。水平画角θｆｈは、カメラの水平方向の撮影画角である。垂直画角θｆｖは、カメラの垂直方向の撮影画角である。
【０１３５】
そして、被写体位置取得部８００ａは、例えば、以下の式（１１）および式（１２）を用いて、主要被写体７８１の画角被写体位置（Ｘｓ,Ｙｓ）を算出する。画角被写体位置（Ｘｓ,Ｙｓ）は、図２０に示すように、左目映像７８２の中心７８３を基準とした座標系における主要被写体の像７８２の位置を示す値である。具体的には、画角被写体位置（Ｘｓ,Ｙｓ）は、座標系の原点（画角中心）を０％とし画角の左右端および上下端をそれぞれ１００％として、主要被写体７８２の位置をパーセントで示す値である。
【０１３６】
Ｘｓ＝ｘ／｛ｚ・ｔａｎ（θｆｈ／２）｝      ・・・・・・（１１）
Ｙｓ＝ｙ／｛ｚ・ｔａｎ（θｆｖ／２）｝      ・・・・・・（１２）
【０１３７】
なお、立体映像カメラ１００ａが画角被写体位置の取得に用いる座標系は、上述の例に限定されない。例えば、かかる座標系は、左カメラ部２００の輻輳角がゼロの際の左カメラ部２００の光軸をｚ軸としても良い。このようにしても、画角被写体位置の演算結果はほぼ同一の値が得られる。
【０１３８】
また、立体映像カメラ１００は、画枠の上端部近傍および下端部近傍については、実施の形態１と同様に、輻輳角矛盾を少なくする制御を行わなくても良い。この場合、立体映像カメラ１００は、画角被写体位置として、左右方向の位置のみを算出し、画枠の左端部近傍および右端部近傍のみについて輻輳角矛盾を少なくする制御を行う。
【０１３９】
このように、本実施の形態に係る立体映像カメラ１００ａは、画像認識によらずに画角被写体位置を取得するので、主要被写体に対する画像認識を行う事ができない場合でも、適切な輻輳角制御を行う事ができる。これにより、例えば、主要被写体の像に障害物や画枠によって欠けが生じている場合にも、適正な輻輳角を得て立体映像を形成する事ができる。
【０１４０】
なお、主要被写体の像の一部は画角内に位置するにも関わらず、画角被写体位置は画角外となっている場合が起こり得る。そこで、立体映像カメラ１００ａは、画角被写体位置が画角外の範囲（つまり１００％を超える範囲）についても、被写体輻輳角に適用する補正係数を格納している事が望ましい。
【０１４１】
図２１は、補正係数の一例を示す図であり、実施の形態１の図９および図１０に対応するものである。図２１に示すように、補正係数７９１は、例えば、画角被写体位置が１００％を超える範囲において、画角被写体位置１００％に対応する値（ここでは１００％）とする。これにより、主要被写体の像の一部は画角内に位置するにも関わらず、画角被写体位置は画角外となっている場合でも、主要被写体の像の輻輳角矛盾を低減する事ができる。特に、主要被写体が画枠から出るときや入るときに、主要被写体の輻輳角が滑らかに変化し、視聴者への負担をより軽減する事ができる。
【０１４２】
また、以上説明した各実施の形態では、輻輳角制御部は、被写体輻輳角の変化に対して、対応する調整後カメラ輻輳角への輻輳角の調整をほぼリアルタイムに行うものとしたが、これに制限されない。例えば、輻輳角制御部は、輻輳角の調整に、画角被写体位置に応じた遅延時間を持たせても良い。すなわち、立体映像制御装置は、被写体距離の変化に対する輻輳角変換の追従速度（以下、単に「追従速度」という）を、画角被写体位置に応じて変化させても良い。
【０１４３】
例えば、輻輳角制御部は、画角被写体位置が画角中心部にあるときには、追従速度を遅くする。これにより、例えば、被写体距離の急激な変化が、時刻ｔ＝０から時刻ｔ＝１に掛けて発生した場合、図２２に示すように、後続の時刻ｔ＝２〜５において、緩やかに輻輳角矛盾をなくす方向に変化する動きとなる。
【０１４４】
そして、輻輳角制御部は、画角被写体位置が画角端部近傍にあるときには、追従速度を速くする。これにより、被写体距離の変化が、図２３に示すように、後続の時刻ｔ＝２〜５において、急速に輻輳角矛盾をなくす方向に変化する動きとなる。また、特に、追従速度が最大（つまり遅延時間がほぼゼロ）の場合には、図２４に示すように、後続の時刻ｔ＝２〜５において、瞬時に輻輳角矛盾をなくす方向に変化する動きとなる。
【０１４５】
このように、立体映像制御装置は、輻輳角制御の追従速度を画角被写体位置に応じて変化させる事により、視聴者への負担をより軽減するという効果を得る事ができる。具体的には、立体映像制御装置は、画角中心部、画角端部近傍それぞれに適した様態で、短時間的、瞬間的には立体演出効果（例えば画面から飛び出たり、奥に引っ込んだりという見せ方）を得つつも、長時間的には輻輳角矛盾を減少させることができる。
【０１４６】
また、以上説明した各実施の形態では、本発明を、立体映像を撮影可能な家庭用ビデオカメラに適用した例について説明したが、本発明の適用はこれに制限されない。本発明は、例えば、映画を撮影するためのビデオカメラ等、立体映像を制御または生成する各種装置に適用する事ができる。立体映像が映画である場合には、主要被写体は、例えば、主人公等の主要な役割を持つ登場人物や、各シーンにおいて視聴者の着目を集めたい登場人物あるいは物体である。
【０１４７】
また、立体映像制御装置の各装置部は、必ずしも１つの装置に一体的に設ける必要はない。例えば、立体映像制御装置は、制御部を、他の各装置部と有線または無線により接続された別体装置としても良い。
【産業上の利用可能性】
【０１４８】
本発明に係る立体映像制御装置および立体映像制御方法は、視聴者に与える疲労感を軽減しつつ、立体映像の効果をより良く得る事ができる立体映像制御装置および立体映像制御方法として有用である。具体的には、本発明に係る立体映像制御装置および立体映像制御方法は、例えば、業務用または家庭用ビデオカメラ、映像編集機、映像編集ソフトウェア等、立体映像を制御または生成する装置に有用である。
【符号の説明】
【０１４９】
１００、１００ａ  立体映像カメラ
１１０、１１０ａ  画角内位置取得部
１１１  画像認識部
１１２ａ  画角取得部
１１３ａ  画角内位置計算部
１２０  輻輳角制御部
１３０  記憶部
２００  左カメラ部
３００  右カメラ部
４００、４００ａ  制御部
５００  表示部
６００  入力部
８００ａ  被写体位置取得部
９００ａ  無線通信装置
９１０ａ  被写体位置発信部
【図１】
2011205385.tif 000003
【図２】
2011205385.tif 000004
【図３】
2011205385.tif 000005
【図４】
2011205385.tif 000006
【図５】
2011205385.tif 000007
【図６】
2011205385.tif 000008
【図７】
2011205385.tif 000009
【図８】
2011205385.tif 000010
【図９】
2011205385.tif 000011
【図１０】
2011205385.tif 000012
【図１１】
2011205385.tif 000013
【図１２】
2011205385.tif 000014
【図１３】
2011205385.tif 000015
【図１４】
2011205385.tif 000016
【図１５】
2011205385.tif 000017
【図１６】
2011205385.tif 000018
【図１７】
2011205385.tif 000019
【図１８】
2011205385.tif 000020
【図１９】
2011205385.tif 000021
【図２０】
2011205385.tif 000022
【図２１】
2011205385.tif 000023
【図２２】
2011205385.tif 000024
【図２３】
2011205385.tif 000025
【図２４】
2011205385.tif 000026