(57)【要約】【課題】立体映像撮像装置の姿勢に応じて、立体映像の表示と２Ｄ映像の表示の切り換えを適切に行い、また、立体映像符号化データの記録と２Ｄ映像符号化データの記録の切り換えを適切に行う。【解決手段】立体映像撮像装置１００は、両眼視差を有する左眼用映像データと右眼用映像データとを生成する撮像部１０２ａ、１０２ｂと、基準姿勢からの傾斜角度を導出する角度導出部１３２と、傾斜角度と所定の閾値を比較し、その比較結果に基づいて、左眼用映像データおよび右眼用映像データを併合した立体映像データ、または、左眼用映像データもしくは右眼用映像データのうち予め定められた一方の映像データである２Ｄ映像データのいずれかの映像データを選択する映像選択部１７２と、映像を表示する表示部１０６と、選択された映像データに基づく映像を表示部１０６に表示させる表示制御部１７４とを備える。【選択図】図６
2012114751.tif 000002
【特許請求の範囲】
【請求項１】
両眼視差を有する左眼用映像データと右眼用映像データとを生成する撮像部と、
基準姿勢からの傾斜角度を導出する角度導出部と、
前記傾斜角度と所定の閾値を比較し、その比較結果に基づいて、前記左眼用映像データおよび前記右眼用映像データを併合した立体映像データ、または、前記左眼用映像データもしくは前記右眼用映像データのうち予め定められた一方の映像データである２Ｄ映像データのいずれかの映像データを選択する映像選択部と、
映像を表示する表示部と、
選択された前記映像データに基づく映像を前記表示部に表示させる表示制御部と、
を備えることを特徴とする立体映像撮像装置。
【請求項２】
前記立体映像データから前記２Ｄ映像データへの切り換えに用いられる所定の閾値と、前記２Ｄ映像データから前記立体映像データへの切り換えに用いられる所定の閾値とが異なることを特徴とする請求項１に記載の立体映像撮像装置。
【請求項３】
両眼視差を有する左眼用映像データと右眼用映像データとを生成する撮像部と、
基準姿勢からの傾斜角度を導出する角度導出部と、
前記傾斜角度と所定の閾値を比較し、その比較結果に基づいて、前記左眼用映像データおよび前記右眼用映像データを併合した立体映像データ、または、前記左眼用映像データもしくは前記右眼用映像データのうち予め定められた一方の映像データである２Ｄ映像データのいずれかの映像データを選択するデータ選択部と、
映像データを符号化した映像符号化データを記録する記録部と、
選択された前記映像データを符号化した映像符号化データを前記記録部に記録させる記録制御部と、
を備えることを特徴とする立体映像撮像装置。
【請求項４】
前記立体映像データから前記２Ｄ映像データへの切り換えに用いられる所定の閾値と、前記２Ｄ映像データから前記立体映像データへの切り換えに用いられる所定の閾値とが異なることを特徴とする請求項３に記載の立体映像撮像装置。
【請求項５】
前記角度導出部は、加速度を検出する加速度センサで構成されることを特徴とする請求項１から４のいずれか１項に記載の立体映像撮像装置。
【請求項６】
前記角度導出部は、角速度を検出する角速度センサで構成されることを特徴とする請求項１から４のいずれか１項に記載の立体映像撮像装置。
【請求項７】
前記基準姿勢を設定する基準姿勢設定部をさらに備えることを特徴とする請求項１から６のいずれか１項に記載の立体映像撮像装置。
【請求項８】
撮像者の操作入力を受け付ける操作部をさらに備え、
前記所定の閾値は、前記操作部を通じて変更可能であることを特徴とする請求項１から７のいずれか１項に記載の立体映像撮像装置。
【請求項９】
前記所定の閾値は、予め定められた複数の撮像モード毎に個別に設定されることを特徴とする請求項１から８のいずれか１項に記載の立体映像撮像装置。
【請求項１０】
両眼視差を有する左眼用映像データと右眼用映像データとを生成する撮像部と、
基準姿勢からの傾斜角度を導出する角度導出部と、
前記傾斜角度と所定の閾値を比較し、その比較結果に基づいて、前記左眼用映像データおよび前記右眼用映像データを併合した立体映像データ、または、前記左眼用映像データもしくは前記右眼用映像データのうち予め定められた一方の映像データである２Ｄ映像データのいずれかの映像データを選択する映像選択部と、
映像を表示する表示部と、
選択された前記映像データに基づく映像を前記表示部に表示させる表示制御部と、
前記傾斜角度と所定の閾値を比較し、その比較結果に基づいて、前記立体映像データ、または、前記２Ｄ映像データのいずれかの映像データを選択するデータ選択部と、
映像データを符号化した映像符号化データを記録する記録部と、
選択された前記映像データを符号化した映像符号化データを前記記録部に記録させる記録制御部と、
を備え、
前記映像選択部が映像データを選択するために用いる所定の閾値と、前記データ選択部が映像データを選択するために用いる所定の閾値とが異なることを特徴とする立体映像撮像装置。
【請求項１１】
両眼視差を有する左眼用映像データと右眼用映像データとを生成し、
基準姿勢からの傾斜角度を導出し、
前記傾斜角度と所定の閾値を比較し、その比較結果に基づいて、生成した前記左眼用映像データおよび前記右眼用映像データを併合した立体映像データ、または、前記左眼用映像データもしくは前記右眼用映像データのうち予め定められた一方の映像データである２Ｄ映像データのいずれかの映像データを選択し、
選択した前記映像データに基づく映像を表示部に表示することを特徴とする立体映像撮像方法。
【請求項１２】
両眼視差を有する左眼用映像データと右眼用映像データとを生成し、
基準姿勢からの傾斜角度を導出し、
前記傾斜角度と所定の閾値を比較し、その比較結果に基づいて、前記左眼用映像データおよび前記右眼用映像データを併合した立体映像データ、または、前記左眼用映像データもしくは前記右眼用映像データのうち予め定められた一方の映像データである２Ｄ映像データのいずれかの映像データを選択し、
選択した前記映像データを符号化した映像符号化データを記録部に記録することを特徴とする立体映像撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中の被写体を立体的に存在するかのように知覚させる立体映像データを生成する立体映像撮像装置および立体映像撮像方法に関する。
【背景技術】
【０００２】
映像のアスペクト比は、４：３や１６：９等、横長に構成されるのが一般的であり、表示装置の表示領域も横長となっていることが多い。そのため、横長の映像を撮像することを目的としている撮像装置を傾け、光軸回りに９０度回転した姿勢で、意図的に縦長になる映像を撮像、記録すると、その映像を別体の表示装置に表示した場合の映像が、表示装置の表示画面に対して９０度回転して表示されてしまう。このとき、表示装置の映像を観察している観察者は、映像を基準とした（映像内の重力場に基づく）重力方向を、左眼と右眼との結線に沿った方向（以下、単に「両眼結線方向」と言う。）に視認することとなるので、非常に見にくくなる。このような事象が生じるのを回避すべく、撮像時において、撮像装置の傾きを検出し、その傾きが縦長の映像を生成する撮像とみなせるほどの傾きであった場合、映像の記録部への記録を禁止したり、動画の記録を静止画の記録に切り換えたりする単眼の撮像装置が提案されている（例えば、特許文献１）。
【０００３】
ところで、近年、両眼視差を有する２つの映像を表示部に表示し、観察者に対してあたかも被写体が立体的に存在するかのように知覚させる映像（立体映像）を提供する、複眼の撮像装置（立体映像撮像装置）が脚光を浴びている。このような立体映像撮像装置として、例えば、映像の中央部付近の被写体の視差の大きさに基づいて、撮像中の映像が立体映像として認識できる範囲にあるか否かを判定し、その判定結果に応じて、表示部に立体映像を表示するモードと２Ｄ映像（２次元映像）を表示するモードとを切り換える提案がなされている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−５３７７４号公報
【特許文献２】特開平９−００９３００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
立体映像撮像装置に一体的に設けられた表示部において、両眼視差を有する立体映像中の被写体（正確には被写体の映像）を立体的に存在するかのように知覚させるためには、表示部に表示させた立体映像における視差の方向（以下、単に「視差方向」と言う。）と撮像者の両眼結線方向とが略平行になっている必要がある。仮に、立体映像撮像装置を傾けて、立体映像撮像装置の表示部に表示された立体映像の視差方向が、撮像者の両眼結線方向に対して９０度傾いている状態になると、撮像者は、その立体映像を正しく知覚（結像）できず、所望の撮像処理を実行できなくなる。
【０００６】
また、上述したように立体映像撮像装置を傾けて、複数ある撮像部同士の結線に沿った方向（以下、単に「撮像結線方向」と言う。）が絶対空間を基準とした重力方向となるように立体映像を撮像、記録し、立体映像表示装置に表示して観察する場合、観察者は、映像を基準とした重力方向を両眼結線方向に視認しながら映像を観察しなければならなくなり、非常に見にくくなる。しかし、頭を９０度傾け、映像を基準とした水平方向（映像を基準とした重力方向に垂直な方向）と両眼結線方向とを合わせた状態で映像を観察しようとすると、立体映像の視差方向と観察者の両眼結線方向とが略垂直になってしまい立体映像を正しく知覚できなくなる。
【０００７】
ここで、上述した特許文献１や特許文献２の技術の適用を試みたとしても、特許文献１の技術では、撮像装置が傾くと強制的に映像の記録が禁止されてしまい、映像の記録が途絶える結果を招き、また、特許文献２の技術では、被写体の視差の大きさだけを判断しているので、撮像装置の傾きを検出することすらできなかった。
【０００８】
そこで本発明は、このような課題に鑑み、立体映像撮像装置の姿勢に応じて、立体映像の表示と２Ｄ映像の表示の切り換えを適切に行うこと、または、立体映像にかかる立体映像符号化データの記録と２Ｄ映像にかかる２Ｄ映像符号化データの記録の切り換えを適切に行うことが可能な、立体映像撮像装置および立体映像撮像方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の立体映像撮像装置は、両眼視差を有する左眼用映像データと右眼用映像データとを生成する撮像部と、基準姿勢からの傾斜角度を導出する角度導出部と、傾斜角度と所定の閾値を比較し、その比較結果に基づいて、左眼用映像データおよび右眼用映像データを併合した立体映像データ、または、左眼用映像データもしくは右眼用映像データのうち予め定められた一方の映像データである２Ｄ映像データのいずれかの映像データを選択する映像選択部と、映像を表示する表示部と、選択された映像データに基づく映像を表示部に表示させる表示制御部とを備えることを特徴とする。
【００１０】
立体映像データから２Ｄ映像データへの切り換えに用いられる所定の閾値と、２Ｄ映像データから立体映像データへの切り換えに用いられる所定の閾値とを異ならせてもよい。
【００１１】
上記課題を解決するために、本発明の他の立体映像撮像装置は、両眼視差を有する左眼用映像データと右眼用映像データとを生成する撮像部と、基準姿勢からの傾斜角度を導出する角度導出部と、傾斜角度と所定の閾値を比較し、その比較結果に基づいて、左眼用映像データおよび右眼用映像データを併合した立体映像データ、または、左眼用映像データもしくは右眼用映像データのうち予め定められた一方の映像データである２Ｄ映像データのいずれかの映像データを選択するデータ選択部と、映像データを符号化した映像符号化データを記録する記録部と、選択された映像データを符号化した映像符号化データを記録部に記録させる記録制御部とを備えることを特徴とする。
【００１２】
立体映像データから２Ｄ映像データへの切り換えに用いられる所定の閾値と、２Ｄ映像データから立体映像データへの切り換えに用いられる所定の閾値とが異なっていてもよい。
【００１３】
角度導出部は、加速度を検出する加速度センサで構成されてもよい。
【００１４】
角度導出部は、角速度を検出する角速度センサで構成されてもよい。
【００１５】
立体映像撮像装置は、基準姿勢を設定する基準姿勢設定部をさらに備えてもよい。
【００１６】
立体映像撮像装置は、撮像者の操作入力を受け付ける操作部をさらに備え、所定の閾値は、操作部を通じて変更可能であってもよい。
【００１７】
所定の閾値は、予め定められた複数の撮像モード毎に個別に設定されてもよい。
【００１８】
上記課題を解決するために、本発明の他の立体映像撮像装置は、両眼視差を有する左眼用映像データと右眼用映像データとを生成する撮像部と、基準姿勢からの傾斜角度を導出する角度導出部と、傾斜角度と所定の閾値を比較し、その比較結果に基づいて、左眼用映像データおよび右眼用映像データを併合した立体映像データ、または、左眼用映像データもしくは右眼用映像データのうち予め定められた一方の映像データである２Ｄ映像データのいずれかの映像データを選択する映像選択部と、映像を表示する表示部と、選択された映像データに基づく映像を表示部に表示させる表示制御部と、傾斜角度と所定の閾値を比較し、その比較結果に基づいて、立体映像データ、または、２Ｄ映像データのいずれかの映像データを選択するデータ選択部と、映像データを符号化した映像符号化データを記録する記録部と、選択された映像データを符号化した映像符号化データを記録部に記録させる記録制御部とを備え、映像選択部が映像データを選択するために用いる所定の閾値と、データ選択部が映像データを選択するために用いる所定の閾値とが異なることを特徴とする。
【００１９】
上記課題を解決するために、本発明の立体映像撮像方法は、両眼視差を有する左眼用映像データと右眼用映像データとを生成し、基準姿勢からの傾斜角度を導出し、傾斜角度と所定の閾値を比較し、その比較結果に基づいて、生成した左眼用映像データおよび右眼用映像データを併合した立体映像データ、または、左眼用映像データもしくは右眼用映像データのうち予め定められた一方の映像データである２Ｄ映像データのいずれかの映像データを選択し、選択した映像データに基づく映像を表示部に表示することを特徴とする。
【００２０】
上記課題を解決するために、本発明の他の立体映像撮像方法は、両眼視差を有する左眼用映像データと右眼用映像データとを生成し、基準姿勢からの傾斜角度を導出し、傾斜角度と所定の閾値を比較し、その比較結果に基づいて、左眼用映像データおよび右眼用映像データを併合した立体映像データ、または、左眼用映像データもしくは右眼用映像データのうち予め定められた一方の映像データである２Ｄ映像データのいずれかの映像データを選択し、選択した映像データを符号化した映像符号化データを記録部に記録することを特徴とする。
【発明の効果】
【００２１】
以上説明したように本発明では、立体映像撮像装置の姿勢に応じて、立体映像の表示と２Ｄ映像の表示の切り換えを適切に行い、また、立体映像符号化データの記録と２Ｄ映像符号化データの記録の切り換えを適切に行うことが可能となる。
【図面の簡単な説明】
【００２２】
【図１】立体映像を正しく知覚させるための、立体映像撮像装置の表示部に表示された立体映像の視差方向と撮像者の両眼結線方向との関係を説明すると共に基準姿勢を定義するための説明図である。
【図２】基準面を定義するための説明図である。
【図３】立体映像撮像装置の傾斜角度を定義するための説明図である。
【図４】立体映像撮像装置の姿勢の変化による視差方向と両眼結線方向との関係を説明するための説明図である。
【図５】絶対空間を基準とした重力方向に視差のある映像を示した説明図である。
【図６】立体映像撮像装置の概略的な構成を示した機能ブロック図である。
【図７】立体映像記録処理と２Ｄ映像記録処理との切り換え角度を説明するための説明図である。
【図８】斜面における撮像を説明するための説明図である。
【図９】立体映像と２Ｄ映像との切り換えにおけるヒステリシス特性を説明するための説明図である。
【図１０】立体映像撮像方法の処理の流れを示すフローチャートである。
【図１１】基準姿勢の設定割り込み処理の流れを示すフローチャートである。
【図１２】立体映像撮像方法の処理の流れを示すフローチャートである。
【図１３】基準姿勢の設定割り込み処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２４】
本実施形態において、撮像者は、立体映像撮像装置を用いて立体映像または２Ｄ映像を撮像する者を示し、観察者は、その撮像された立体映像や２Ｄ映像を、立体映像表示装置を通じて観察する者を示す。また、本実施形態中で用いられる立体映像データや２Ｄ映像データを総称して映像データという場合や、立体映像符号化データや２Ｄ映像符号化データを総称して映像符号化データという場合もある。本実施形態においては、立体映像撮像装置が２つの撮像部を有する場合を例示しているが、撮像部の数は、かかる場合に限定されず、例えば３つ以上といったように任意の数で構成することができる。立体映像撮像装置として２つの撮像部を有する場合、２つの撮像部の２つの光軸は交わるように、または、略平行となるように配置されるが、本実施形態においては、光軸が交わるように配置される例を挙げて説明する。また、撮像は、撮像部を通じて映像データを生成することを言い、記録は、取得した映像データを符号化して記録部に記録することを言う。また、画角は、各撮像部における撮像可能な範囲を角度で表したものであり、２つの撮像部それぞれの光軸を含む面における画角を水平画角とし、２つの撮像部それぞれの光軸を含む面に垂直であり、かつ２つの光軸が成す角を２等分する線を含む面における画角を垂直画角とする。
【００２５】
図１は、立体映像を正しく知覚させるための、立体映像撮像装置１００の表示部１０６に表示された立体映像の視差方向１６と撮像者１０の両眼結線方向との関係を説明すると共に基準姿勢を定義するための説明図であり、図２は、基準面１２を定義するための説明図である。立体映像撮像装置１００では、立体映像を表示部１０６に表示すると、例えば１６：９のアスペクト比で構成された表示画面１０６ａの長手方向に立体映像の視差が生じる（図１中、視差方向１６で示す。）。ここで、図１に示すように、撮像者１０の左眼２０ａと右眼２０ｂとの結線を延長した線分（以下、単に「両眼結線」と言う。）２２と、視差方向１６とが略平行となると、撮像者１０は、表示部１０６に表示された立体映像の視差方向１６を、自身の両眼結線２２に沿った方向である両眼結線方向に視認することとなり、立体映像を正しく知覚できる。
【００２６】
本実施形態では、立体映像撮像装置１００において、立体映像の表示と２Ｄ映像の表示の切り換えや、立体映像符号化データの記録と２Ｄ映像符号化データの記録の切り換えが行われる。このとき、表示の切り換えや記録の切り換えを行うための基準（中心）となる立体映像撮像装置１００の姿勢（基準姿勢）が必要となる。ここでは、図１を用いて説明した、撮像者１０の両眼結線方向（両眼結線２２）と立体映像撮像装置１００の視差方向１６とが略平行になる立体映像撮像装置１００の姿勢を基準姿勢とし、立体映像撮像装置１００の姿勢が基準姿勢になっている場合に、図２に示すように、撮像部１０２ａ、１０２ｂの光軸１３８ａ、１３８ｂが含まれる面を基準面１２とする。
【００２７】
図３は、立体映像撮像装置１００の傾斜角度θを定義するための説明図である。本実施形態では、立体映像撮像装置１００が、表示の切り換えや記録の切り換えを行うため、視差方向１６が基準姿勢からどれだけ傾いたかを算出している。立体映像撮像装置１００において、視差方向１６と、撮像部１０２ａ、１０２ｂ同士の結線を延長した線分（以下、単に「撮像結線」と言う。）１４とは略平行となるように構成されているため、視差方向１６の傾きは撮像結線１４の傾きを導出することによって求められる。立体映像撮像装置１００の姿勢が基準姿勢になっている場合、図３（ａ）に示すように、立体映像撮像装置１００の撮像結線１４は基準面１２に含まれる。ここで、立体映像撮像装置１００が基準姿勢から傾くと、図３（ｂ）のように、撮像結線１４と基準面１２との角度が０ではなくなる（撮像結線１４と基準面１２とが平行でなくなる）。本実施形態では、立体映像撮像装置１００が傾いたときの撮像結線１４と基準面１２との成す角を傾斜角度θとする。
【００２８】
重力場において、撮像者は、頭を絶対空間を基準とした重力方向に立てた状態、即ち、撮像者の両眼結線が水平面（絶対空間を基準とした重力方向に垂直な面）に含まれている状態で撮像することが多い。したがって、撮像者が、自身の両眼結線が水平面に含まれている状態で撮像することを想定し、図３（ｃ）の如く、例えば、水平面２４を基準面１２としてもよい。以下の実施形態では、特に断る場合を除いて、水平面２４を基準面１２として説明する。この場合、傾斜角度θは、撮像結線１４と水平面２４との成す角となる。
【００２９】
図４は、立体映像撮像装置１００の姿勢の変化による視差方向と両眼結線方向との関係を説明するための説明図である。特に、図４（ａ）は、基準姿勢で被写体１０４を撮像した場合の上面視図を示し、図４（ｂ）は、図４（ａ）の姿勢で被写体１０４を撮像した場合における、立体映像撮像装置１００の表示部１０６に表示された立体映像のイメージを示し、図４（ｃ）は、図４（ｂ）における表示部１０６を撮像者が観察した場合の上面視図を示す。
【００３０】
また、図４（ｄ）は、立体映像撮像装置１００を傾け、撮像結線方向が、絶対空間を基準とした重力方向となる姿勢（基準姿勢から９０度傾いた姿勢）で被写体１０４を撮像した場合の上面視図を示し、図４（ｅ）は、図４（ｄ）の姿勢で被写体１０４を撮像した場合における、立体映像撮像装置１００の表示部１０６に表示された立体映像のイメージを示し、図４（ｆ）は、図４（ｅ）における表示部１０６を撮像者が観察した場合の上面視図を示す。
【００３１】
図４（ａ）に示すように、立体映像撮像装置１００が基準姿勢となっている状態で、撮像者が、被写体１０４を撮像した場合、図４（ｂ）に示すように、撮像部１０２ａで生成した左眼用映像データと、撮像部１０２ｂで生成した右眼用映像データとを併合した立体映像データに基づく立体映像には、映像を基準とした水平方向に視差が生じる。そうすると、図４（ｃ）に示すように、立体映像の視差方向が、絶対空間を基準とした重力方向に頭を立てた状態で撮像している撮像者の両眼結線方向と略平行となるので、撮像者は、立体映像を正しく知覚し、例えば、被写体１０４が表示部１０６の表示画面１０６ａよりも手前（撮像者側）の点１０８の位置に結像される。
【００３２】
しかし、図４（ｄ）に示すように、撮像者が、立体映像撮像装置１００を傾け、撮像結線方向が絶対空間を基準とした重力方向となる姿勢で被写体１０４を撮像した場合、立体映像撮像装置１００の一部である表示部１０６が９０度傾き、図４（ｅ）に示すように、立体映像には、映像を基準とした重力方向に視差が生じる。すなわち、図４（ｆ）に示すように、絶対空間を基準とした重力方向に頭を立てた状態で撮像している撮像者の両眼結線方向と視差方向とが略垂直を成すこととなる。そのため、撮像者は、例えば、頭を９０度傾けて、両眼結線方向を、映像を基準とした重力方向に合わせる等、無理な姿勢をとらなければ、傾いた表示部１０６に表示された立体映像を正しく知覚することができない。ただし、仮に頭を９０度傾けても、撮像者は、表示部１０６中の映像を基準とした重力方向を両眼結線方向に視認しながら立体映像を見なければならず、非常に見にくくなる。
【００３３】
そこで、図４（ｄ）に示したような、撮像結線方向が絶対空間を基準とした重力方向となる姿勢で生成された、左眼用映像データと右眼用映像データを用いて、９０度傾いた表示部１０６に表示する立体映像の視差方向が、撮像者の両眼結線方向と略平行とになるように加工することを試みる。例えば、左眼用映像データと右眼用映像データとにトリミング処理を行い、撮像者の両眼結線方向に視差が生じるように、左眼用映像データと右眼用映像データの一部である左眼用部分映像データと右眼用部分映像データとを、それぞれ切出位置をずらして切り出すことが考えられる。しかし、映像を基準とした重力方向に視差がある左眼用映像データと右眼用映像データから、映像を基準とした水平方向に視差がある左眼用部分映像データと右眼用部分映像データを生成することは以下の理由によって困難な場合がある。
【００３４】
図５は、絶対空間を基準とした重力方向に視差のある映像を示した説明図である。図５ではカップ１１０を比較的近距離で撮像しており、特に、図５（ａ）は、撮像部１０２ａが、絶対空間を基準とした重力方向に高い位置からカップ１１０を撮像した場合の左眼用映像データに基づく左眼用映像であり、図５（ｂ）は、撮像部１０２ｂが、絶対空間を基準とした重力方向に低い位置からカップ１１０を撮像した場合の右眼用映像データに基づく右眼用映像である。図５（ａ）、（ｂ）に示すように、映像を基準とした重力方向に視差のある左眼用映像と右眼用映像では、例えば、カップ１１０の中の内容物１１０ａが視認可能か否かといった違いがある。
【００３５】
しかし、本来、映像を基準とした水平方向に視差のある左眼用映像と右眼用映像では、たとえ近距離で撮像したとしても、内容物１１０ａが視認可能か否かといった、絶対空間を基準とした重力方向に視点を移動したときのような映像の違いは生じない。このように、映像を基準とした重力方向に視差のある左眼用映像と右眼用映像と、映像を基準とした水平方向に視差のある左眼用映像と右眼用映像とは、視差によって生じる映像自体が異なっている。そのため、トリミング処理によって、映像を基準とした重力方向に視差がある左眼用映像データと右眼用映像データから、映像を基準とした水平方向に視差がある左眼用部分映像データと右眼用部分映像データを生成したとしても、左眼用部分映像データと右眼用部分映像データとの映像の違いから正しく結像されない場合がある。したがって、映像を基準とした重力方向に視差がある左眼用映像データと右眼用映像データから、映像を基準とした水平方向に視差がある左眼用部分映像データと右眼用部分映像データを生成することは困難となる。
【００３６】
そこで、以下の実施形態では、立体映像撮像装置１００の姿勢に応じて、立体映像の表示と２Ｄ映像の表示の切り換えを適切に行い、かつ、立体映像符号化データの記録と２Ｄ映像符号化データの記録の切り換えを適切に行う立体映像撮像装置１００について説明する。
【００３７】
（立体映像撮像装置１００）
図６は、立体映像撮像装置１００の概略的な構成を示した機能ブロック図である。図６に示すように、立体映像撮像装置１００は、撮像部１０２（図６中、１０２ａ、１０２ｂで示す。）と、操作部１２０と、映像処理部１２２と、映像併合部１２４と、映像圧縮部１２６と、表示部１０６と、外部出力部１２８と、記録部１３０と、角度導出部１３２と、中央制御部１３４とを含んで構成される。ここでは、立体映像撮像装置１００として、主に動画の撮像を目的としたビデオカメラを挙げて説明するが、デジタルスチルカメラ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、様々な電子機器を採用することができる。
【００３８】
撮像部１０２ａ、１０２ｂは、それぞれ、焦点調整に用いられるフォーカスレンズ１５０（図６中、１５０ａ、１５０ｂで示す。）と、露光調整に用いられる絞り（アイリス）１５２（図６中、１５２ａ、１５２ｂで示す。）と、撮像レンズ１５４（図６中、１５４ａ、１５４ｂで示す。）と、各レンズを通じて入射した光を光電変換し映像データにＡ／Ｄ変換する撮像素子１５６（図６中、１５６ａ、１５６ｂで示す。）と、フォーカスレンズ１５０、絞り１５２、撮像レンズ１５４および撮像素子１５６を駆動させる駆動回路１５８（図６中、１５８ａ、１５８ｂで示す。）とを含んで構成される。また、撮像部１０２ａ、１０２ｂは、映像中の被写体を立体的に存在するかのように知覚させるための、両眼視差を有する左眼用映像データと右眼用映像データとを生成する。左眼用映像データおよび右眼用映像データは、動画および静止画のいずれの映像としても形成可能である。
【００３９】
操作部１２０は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、表示部１０６の表示画面に配されたタッチパネル等で構成され、撮像者による操作入力を受け付ける。
【００４０】
映像処理部１２２は、撮像部１０２で生成された左眼用映像データおよび右眼用映像データに対して、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（映像データからＲＧＢデータへの変換、γ補正、色補正等）、エンハンス処理、ノイズ低減処理、ホワイトバランス調整処理等の映像処理を行う。
【００４１】
そして、映像処理部１２２は、後述する表示制御部１７４の制御指令に応じて、映像処理を行った、左眼用映像データおよび右眼用映像データの両映像データを映像併合部１２４に出力したり、映像処理を行った、左眼用映像データまたは右眼用映像データのうち予め定められた一方の映像データである２Ｄ映像データを、映像圧縮部１２６、表示部１０６、または、外部出力部１２８に出力したりする。
【００４２】
映像併合部１２４は、映像処理部１２２から出力された左眼用映像データおよび右眼用映像データを、サイドバイサイド方式、トップアンドボトム方式等の、立体映像における所定の収録方式で併合して立体映像データを生成し、映像圧縮部１２６、表示部１０６、または、外部出力部１２８に出力する。
【００４３】
映像圧縮部１２６は、後述するデータ選択部１７６の制御指令に応じ、映像併合部１２４で併合された立体映像データを、Ｈ．２６４などの既存の様々な符号化方式で符号化して立体映像符号化データを生成し、記憶制御部１７８の制御指令に応じ、生成した立体映像符号化データを記録部１３０に記録させる。また、映像圧縮部１２６は、データ選択部１７６の制御指令に応じ、映像処理部１２２から出力された２Ｄ映像データを既存の様々な符号化方式で符号化して２Ｄ映像符号化データを生成し、記憶制御部１７８の制御指令に応じ、生成した２Ｄ映像符号化データを記録部１３０に記録させる。
【００４４】
さらに、映像圧縮部１２６は、表示制御部１７４の制御指令に応じ、記録部１３０に記録された立体映像符号化データを復号して立体映像データを生成し、表示部１０６または外部出力部１２８に出力する。また、映像圧縮部１２６は、表示制御部１７４の制御指令に応じて、記録部１３０に記録された２Ｄ映像符号化データを復号して２Ｄ映像データを生成し、表示部１０６または外部出力部１２８に出力する。
【００４５】
表示部１０６は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等で構成される。例えば、表示部１０６をラインバイライン方式に対応させる場合、表示部１０６は、その表示画面の偏光特性が表示ラインの１ライン毎に異なるように形成される。このとき、表示部１０６は、表示制御部１７４の制御指令に応じ、映像併合部１２４もしくは映像圧縮部１２６が出力した立体映像データに基づく立体映像を表示し、または、映像処理部１２２もしくは映像圧縮部１２６が出力した２Ｄ映像データに基づく２Ｄ映像を表示する。
【００４６】
具体的に、表示部１０６は、入力された映像データが、例えば、サイドバイサイド方式で併合された立体映像データであれば、その立体映像データを、ラインバイライン方式に変換し、例えば、右眼用映像データに基づく映像を奇数ラインに表示し、左眼用映像データに基づく映像を、奇数ラインとは偏光特性の異なる偶数ラインに表示することで、立体映像データに基づく立体映像を表示する。撮像者は、表示部１０６に表示された立体映像を、左右で偏光特性が異なる眼鏡を通じて視認することで、映像中の被写体を立体的に存在するかのように知覚する。また、例えば、フレームシーケンシャル方式に対応した表示部１０６の場合、撮像者は、立体映像データのフレーム周期と同期して開閉するシャッタ式の眼鏡を通じて、映像中の被写体を立体的に存在するかのように知覚する。また、入力された映像データが２Ｄ映像データであれば、表示部１０６は２Ｄ映像データに基づく２Ｄ映像を表示し、撮像者は、裸眼でその２Ｄ映像を視認することができる。
【００４７】
外部出力部１２８は、表示制御部１７４の制御指令に応じて、立体映像データまたは２Ｄ映像データのいずれかを選択し、例えば、立体映像撮像装置１００に接続された立体映像表示装置１４０に出力する。立体映像表示装置１４０は、表示部１０６と同様、液晶ディスプレイ、有機ＥＬディスプレイ等で構成され、立体映像データに基づく立体映像または２Ｄ映像データに基づく２Ｄ映像を表示する。
【００４８】
記録部１３０は、立体映像撮像装置１００と一体的に形成された、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＨＤＤ等の記録媒体であり、後述する記録制御部１７８の制御指令に応じて、立体映像符号化データ、または、２Ｄ映像符号化データを記録する。
【００４９】
また、記録部１３０として、立体映像撮像装置１００から着脱可能な、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、磁気テープ、磁気ディスクといった磁気媒体、フラッシュメモリ、ポータブルＨＤＤ等の外部記録媒体を適用してもよい。
【００５０】
角度導出部１３２は、立体映像撮像装置１００自体の基準姿勢からの傾斜角度を導出する。
【００５１】
角度導出部１３２は、例えば、加速度を検出する加速度センサを含んで構成される。本実施形態では、基準姿勢からの傾斜角度として、図３（ｃ）に示した、撮像結線１４と基準面（ここでは水平面２４）とが成す傾斜角度θを導出する。絶対空間を基準とした重力方向に所定の重力加速度が生じている状況下では、撮像結線方向への重力加速度成分から傾斜角度θを導き出せる。したがって、加速度センサを撮像結線方向の加速度を検出できるように設置し、角度導出部１３２は、加速度センサが検出した加速度値を、三角関数（例えば、ａｒｃｓｉｎ関数等）を用いて傾斜角度θに換算する。かかる三角関数を用いた換算は既存の技術なので、ここでは、その詳細な説明を省略する。
【００５２】
加速度センサは、地球上のどの位置でも絶対空間を基準とした重力方向に、ほぼ固定の値（１Ｇ）を示す重力加速度を検出できる。したがって、角度導出部１３２を加速度センサで構成することにより、立体映像撮像装置１００の基準姿勢からの傾きを容易に導出することが可能となる。
【００５３】
また、角度導出部１３２は、加速度センサの代わりに、角速度を検出する角速度センサを含んで構成されてもよい。角速度センサは、例えば、ジャイロセンサであり、立体映像撮像装置１００において予め定められた１または複数の軸回りの角速度をそれぞれ検出し、角度導出部１３２は、角速度センサで検出された角速度値を時間積分し、かつ三角関数を用いて傾斜角度θに換算する。上述したように三角関数を用いた換算は既存の技術なので、ここでも、その詳細な説明を省略する。ここでは、角速度を時間積分して傾斜角度θを導出しているが、かかる場合に限られず、角加速度センサを用いて角加速度を検出し、時間積分を２回行って傾斜角度θを導出してもよい。
【００５４】
ただし、角速度センサは、加速度センサのように絶対空間を基準とした重力方向を把握することができないので、角速度センサのみの構成では、図３（ｃ）の如く、水平面２４を基準面１２とすることができない。そこで、角度導出部１３２として角速度センサを用いる場合、撮像者から基準姿勢の設定を指示する操作入力を受けることとし、基準姿勢の設定を指示する操作入力があると、角度導出部１３２は、その時点における立体映像撮像装置１００の姿勢を基準姿勢とし、角速度センサによる角速度の積分値をリセットして、その時点から新たに検出された角速度を時間積分し、傾斜角度θを導出する。
【００５５】
このように、角速度センサを用いた角度導出部１３２は、角速度によって傾斜角度θを導出できる。したがって、宇宙などの無重力空間や、立体映像撮像装置１００自体が加速度を伴った直線運動をしている（加速度が０でない）状態においても、正確に傾斜角度θを導出することができる。
【００５６】
中央制御部１３４は、中央処理装置（ＣＰＵ）（図示せず）、中央制御部１３４を動作するためのプログラムおよび撮像モード等に対応した所定の閾値等を格納したＲＯＭ（図示せず）、一時的なデータ保存およびワークエリアとして利用されるＲＡＭ（図示せず）等を含む半導体集積回路により、立体映像撮像装置１００全体を管理および制御する。ただし、後述するように、基準姿勢の角度を示す基準姿勢値や所定の閾値等を変更可能とする場合、中央制御部１３４は、さらにデータの書き込みも可能なＥＥＰＲＯＭや不揮発性ＲＡＭ等も備えることとし、基準姿勢値や所定の閾値等はそのＥＥＰＲＯＭ等に格納される。
【００５７】
また、本実施形態において、中央制御部１３４は、撮像制御部１７０、映像選択部１７２、表示制御部１７４、データ選択部１７６、記録制御部１７８、基準姿勢設定部１８０としても機能する。
【００５８】
撮像制御部１７０は、焦点調整や露光調整等を行う。具体的に、撮像制御部１７０は、撮像を制御するための制御指令を撮像部１０２の駆動回路１５８（１５８ａ、１５８ｂ）に伝達し、駆動回路１５８（１５８ａ、１５８ｂ）は、撮像制御部１７０からの制御指令に従って、フォーカスレンズ１５０（１５０ａ、１５０ｂ）、絞り１５２（１５２ａ、１５２ｂ）、撮像レンズ１５４（１５４ａ、１５４ｂ）、撮像素子１５６（１５６ａ、１５６ｂ）を調整する。
【００５９】
映像選択部１７２は、角度導出部１３２が導出した傾斜角度θと所定の閾値を比較し、その比較結果に基づいて、左眼用映像データおよび右眼用映像データを併合した立体映像データ、または、左眼用映像データもしくは右眼用映像データのうち予め定められた一方の映像データである２Ｄ映像データのいずれかの映像データを選択する。
【００６０】
表示制御部１７４は、映像選択部１７２が選択した映像データに基づく映像を表示部１０６に表示させる。また、表示制御部１７４は、記録部１３０に記録可能な残り時間や各種メッセージも表示部１０６に表示させることができる。以下、映像選択部１７２が立体映像データを選択し、表示制御部１７４が立体映像データに基づく立体映像を表示させる一連の処理を「立体映像表示処理」と言い、映像選択部１７２が２Ｄ映像データを選択し、表示制御部１７４が２Ｄ映像データに基づく２Ｄ映像を表示させる一連の処理を「２Ｄ映像表示処理」と言う。
【００６１】
仮に、立体映像撮像装置１００を背面側から見た場合において、立体映像撮像装置１００が基準姿勢から時計回りに傾いた角度を正、反時計回りに傾いた角度を負とし、所定の閾値が例えば３度であったとき（所定の閾値は絶対値で示す。）、上述した角度導出部１３２が導出した傾斜角度θが、−３度から３度までの範囲に含まれていれば、映像選択部１７２は、立体映像データに基づく立体映像を表示部１０６に表示しても、立体映像中の視差方向と撮像者の両眼結線方向とが略平行になるので、その立体映像を撮像者に正しく知覚させることが可能であると判断する。そして、映像選択部１７２は、表示部１０６に表示させる映像の基となる映像データとして立体映像データを選択する。
【００６２】
逆に、角度導出部１３２が導出した傾斜角度θが、３度より大きかったり、−３度未満であった場合（傾斜角度θの絶対値が３度より大きい場合）、映像選択部１７２は、立体映像データに基づく立体映像の視差方向と両眼結線方向とが略平行とならず、立体映像を正しく知覚させることができないと判断する。その場合、映像選択部１７２は、表示部１０６に表示させる映像の基となる映像データとして２Ｄ映像データを選択する。ここでは、所定の閾値を３度としたが、この数値は例示に過ぎず、任意の値を設定することができる。
【００６３】
このように、映像選択部１７２は、立体映像撮像装置１００自体が、その表示部１０６の立体映像を撮像者が知覚可能な姿勢となっているか否かを判断し、立体映像を知覚できない姿勢であるときには、傾いた状態でも視認可能な２Ｄ映像データを選択する。かかる構成により、撮像者は、立体映像撮像装置１００の姿勢に拘わらず、表示部１０６に表示された映像を正常に視認することが可能となる。
【００６４】
データ選択部１７６は、角度導出部１３２が導出した傾斜角度θと所定の閾値を比較し、その比較結果に基づいて、立体映像データまたは２Ｄ映像データのいずれかの映像データを選択し、選択した映像データを符号化するように映像圧縮部１２６に指令する。
【００６５】
記録制御部１７８は、データ選択部１７６が選択した映像データについて、映像圧縮部１２６が符号化した映像符号化データを記録部１３０に記録するよう映像圧縮部１２６に指令することで、映像符号化データを記録部１３０に記録させる（以下、単に「映像符号化データを記録部１３０に記録させる」という表現を用いる。）。以下、データ選択部１７６が立体映像データを選択し、記録制御部１７８が立体映像符号化データを記録させる一連の処理を「立体映像記録処理」と言い、データ選択部１７６が２Ｄ映像データを選択し、記録制御部１７８が２Ｄ映像符号化データを記録させる一連の処理を「２Ｄ映像記録処理」と言う。
【００６６】
図７は、立体映像記録処理と２Ｄ映像記録処理との切り換え角度を説明するための説明図である。仮に、立体映像撮像装置１００を、図７（ａ）のように、立体映像撮像装置１００を背面側から見て時計回りに１０度傾いた姿勢（撮像結線１４と基準面（ここでは水平面２４）とが成す傾斜角度θが１０度となる場合）にして撮像、記録したとする（ただし、図７（ａ）、（ｂ）の立体映像撮像装置１００は背面を示しているため、水平面２４は面であるが線状に表される。）。その記録された立体映像符号化データを復号した立体映像データに基づく立体映像を、立体映像表示装置１４０に表示すると、映像を基準とした水平方向１６４が立体映像表示装置１４０の表示画面１４０ａを基準とした水平方向（立体映像表示装置１４０の水平走査方向）１６６に対して、画面を視認する方向から見て反時計回りに１０度傾くので、被写体１０４が立体映像表示装置１４０に対して傾いて知覚されることとなる。観察者は、このような映像の傾きをある程度までは許容できるが、図７（ｂ）のように、立体映像撮像装置１００を、例えば、立体映像撮像装置１００を背面側から見て時計回りに４０度傾いた姿勢にして撮像、記録し、被写体１０４が、立体映像表示装置１４０の表示画面１４０ａを基準とした水平方向１６６に対して反時計回りに４０度程、過度に斜めになるように表示される場合には、トリミング処理等を用い、図７（ｂ）中、白抜き矢印のように、立体映像を立体映像表示装置１４０の表示画面１４０ａの中心を回転中心として時計回りに回転して表示した方が、観察者は観察し易いということになる。
【００６７】
しかし、観察者が、自身の両眼結線２２が水平面に含まれている状態で立体映像表示装置１４０を観察している場合に、両眼視差を有する立体映像を、単純に立体映像表示装置１４０の表示画面１４０ａの中心を回転中心として回転すると、図７（ｃ）に示すように、回転後の立体映像の視差方向と両眼結線方向とが４０度の角度を成してしまい、回転した立体映像を正しく知覚できなくなる。
【００６８】
そこで、過度に回転した（傾いた）映像に関しては、映像自体を回転させたとしても正常に視認することが可能な、２Ｄ映像符号化データとして記録するのが望ましい。このような理由から、本実施形態の立体映像撮像装置１００では、映像の傾きを観察者が許容できる範囲までは立体映像記録処理を行い、その許容できる範囲を超えた場合には２Ｄ映像記録処理を行う。
【００６９】
したがって、データ選択部１７６は、立体映像撮像装置１００が、観察者が許容する傾斜角度θに相当する姿勢となっているか否かを判断し、許容する傾斜角度θに相当する姿勢である場合、符号化して記録する映像データとして立体映像データを選択し、観察者が許容しない傾斜角度θに相当する姿勢である場合、符号化して記録する映像データとして、映像自体を回転させても視認することが可能な２Ｄ映像データを選択する。記録制御部１７８は、選択された映像データを符号化した映像符号化データを記録部１３０に記録させる。こうして、記録された映像符号化データに対し、撮像時の立体映像撮像装置１００の傾斜角度θが、観察者が許容する所定の傾斜角度θを超えている２Ｄ映像符号化データに関しては、復号後にトリミング処理等回転調整した２Ｄ映像を表示することで、観察者は、立体映像表示装置１４０において、許容する所定の傾斜角度θ内で２Ｄ映像を観察することができる。
【００７０】
ところで、例えば、山の斜面等においては、その斜面の傾斜に応じて立体映像撮像装置１００が常に傾いた状態で撮像が行われる場合がある。このように立体映像撮像装置１００が常に傾いている状態では、立体映像撮像装置１００がさらに少し傾いただけで、傾斜角度θが所定の閾値を超え、２Ｄ映像に切り換わってしまう問題が生じ得る。
【００７１】
図８は、斜面における撮像を説明するための説明図である。例えば、図８において、水平面２４を基準面とし、撮像者の足場となる斜面１９０の水平面２４からの傾きが８度、所定の閾値１９２が１０度である場合に、立体映像撮像装置１００を斜面１９０に平行な姿勢（即ち、基準姿勢から８度傾いた姿勢）１９６に維持して撮像を行うと、図８中、実線の片矢印で示したように、立体映像撮像装置１００が現在傾いている方向にさらに２度以上傾いただけで所定の閾値１９２を超えてしまい、立体映像を継続して表示するのが難しくなる。立体映像を継続して表示するには、撮像者は、傾斜角度θの絶対値が所定の閾値である１０度以下となるように、立体映像撮像装置１００を足場の傾き（傾斜）と相殺する方向（図８中、白抜き矢印で示す。）に傾けて把持しなければならない。しかし、立体映像を撮像している間、立体映像撮像装置１００を傾けて把持した状態を維持し続けることは難しい。そこで、基準姿勢を、水平面２４からオフセットした撮像が可能となるように、以下の基準姿勢設定部１８０が設けられている。
【００７２】
基準姿勢設定部１８０は、操作部１２０を通じた撮像者の操作入力を受けて基準姿勢を設定する。具体的に、角度導出部１３２として加速度センサを用いている場合、基準姿勢設定部１８０は、撮像者による、基準姿勢の設定を指示する操作入力があると、操作入力があった時点の立体映像撮像装置１００の傾斜角度θを基準姿勢値として中央制御部１３４のＥＥＰＲＯＭに記録する。その後、角度導出部１３２は、加速度センサを用いて導出された傾斜角度θから、中央制御部１３４のＥＥＰＲＯＭに記録されている基準姿勢値を減算して、新たに傾斜角度θを導出する。また、基準姿勢設定部１８０が基準姿勢を設定する処理には、上記の基準姿勢自体を設定する処理に限られず、基準姿勢からのオフセットを一時的に設定する処理等、結果的に基準姿勢に相当する角度が設定される様々な処理も含まれる。
【００７３】
また、撮像者が、基準姿勢として、所定の姿勢に相当する角度（姿勢角）を設定することを望む場合、基準姿勢設定部１８０は、撮像者の基準姿勢の設定を指示する操作入力により示された角度を基準姿勢値として中央制御部１３４のＥＥＰＲＯＭに記録してもよい。さらに、基準姿勢設定部１８０は、撮像者の所定の操作に応じて、基準姿勢値を０度にリセットすることもできる。
【００７４】
かかる基準姿勢設定部１８０を設けることで、撮像者は、基準姿勢を所望する角度だけ水平面２４からオフセットさせることができる。立体映像撮像装置１００は、このようにして設定された基準姿勢によって、立体映像表示処理と２Ｄ映像表示処理とを切り換え、また、立体映像記録処理と２Ｄ映像記録処理とを切り換えるので、撮像者が所望する映像を得ることが可能となる。
【００７５】
また、傾斜角度θが所定の閾値近辺となってしまう角度での撮像を行う場合、撮像者の手ぶれやちょっとした動きによって、傾斜角度θが所定の閾値を頻繁にまたぐことが考えられる。すると、表示部１０６では、立体映像と２Ｄ映像の表示が頻繁に切り換わってしまい、撮像者は煩わしい思いをすることとなる。そこで、立体映像と２Ｄ映像との切り換えにヒステリシス特性を持たせるように、所定の閾値を設定する。
【００７６】
図９は、立体映像と２Ｄ映像との切り換えにおけるヒステリシス特性を説明するための説明図である。図９において、横軸は傾斜角度θ、縦軸は立体映像表示処理または２Ｄ映像表示処理のどちらの表示処理を行うかを示す。ここでは、説明の便宜のため、表示処理の選択について説明するが、記録処理の選択にも適応できるのは言うまでもない。図９において、α１は、２Ｄ映像表示処理から、立体映像表示処理への切り換えに用いられる所定の閾値であり、α２は、立体映像表示処理から、２Ｄ映像表示処理への切り換えに用いられる所定の閾値である。ただし、０度＜α１＜α２＜９０度とする。
【００７７】
例えば、傾斜角度θが０度の状態で撮像を開始した場合、傾斜角度θが−α２以上α２以下である間、立体映像表示処理が行われる。そして、傾斜角度θが−α２未満またはα２より大きくなると、表示処理が立体映像表示処理から２Ｄ映像表示処理に切り換えられる。
【００７８】
その後、傾斜角度θが−α２以上またはα２以下となっても、２Ｄ映像表示処理を維持したまま立体映像表示処理には移行しない。そして、傾斜角度θが−α１以上またはα１以下となると、表示処理が２Ｄ映像表示処理から立体映像表示処理に切り換えられる。
【００７９】
ただし、立体映像表示処理から２Ｄ映像表示処理への切り換えに用いられる所定の閾値α２は、９０度までのどのような値でもよいという訳ではなく、例えば、５〜２０度といったように、比較的小さな角度とするのが望ましい。これは、仮に、所定の閾値α２として８０度といった大きな角度を設定すると、撮像者が、立体映像撮像装置１００を基準姿勢から９０度傾けた場合に、その傾きが基準姿勢から８０度になるまで２Ｄ映像表示処理が開始されず、立体映像撮像装置１００を傾ける動作が終わり、立体映像撮像装置１００が９０度傾いた姿勢になっても、２Ｄ映像表示処理への切り換え処理が完了するまでに暫く時間を要することがあり、立体映像および２Ｄ映像のいずれも視認できない時間が生じる可能性があるからである。
【００８０】
上述したように、立体映像表示処理から、２Ｄ映像表示処理への切り換えに用いられる所定の閾値α２と、２Ｄ映像表示処理から、立体映像表示処理への切り換えに用いられる所定の閾値α１とを異ならせることができるのと同様に、立体映像記録処理から２Ｄ映像記録処理への切り換えに用いられる所定の閾値と、２Ｄ映像記録処理から立体映像記録処理への切り換えに用いられる所定の閾値とを異ならせることも可能である。
【００８１】
立体映像表示処理と２Ｄ映像表示処理の切り換え、および、立体映像記録処理と２Ｄ映像記録処理の切り換えについてヒステリシス特性を設けることで、表示処理や記録処理が煩雑に切り換わってしまう事態を防止し、立体映像撮像装置１００は、撮像者や観察者が視認しやすい映像を提供することが可能となる。
【００８２】
また、所定の閾値に関し、２Ｄ映像表示処理と立体映像表示処理の切り換えのための（映像選択部１７２が映像データを選択するための）所定の閾値と、２Ｄ映像記録処理と立体映像記録処理の切り換えのための（データ選択部１７６が映像データを選択するための）所定の閾値とは同じ値を用いてもよいが、異なる値を用いてもよく、２Ｄ映像表示処理と立体映像表示処理の切り換えのための所定の閾値より、２Ｄ映像記録処理と立体映像記録処理の切り換えのための所定の閾値を比較的大きくしてもよい。
【００８３】
上述したように、表示処理の場合、表示部１０６に表示される映像の視差方向と撮像者の両眼結線方向とが略平行とならないと、撮像者は立体映像を知覚できない。したがって、立体映像撮像装置１００が傾き、表示部１０６に表示される映像の視差方向と撮像者の両眼結線方向とが略平行ではなくなっただけで、２Ｄ映像表示処理に切り換えなければならない。
【００８４】
一方、記録処理の場合、図７を用いて説明したように、立体映像撮像装置１００が基準姿勢から傾いた状態で撮像、記録された立体映像符号化データを、立体映像表示装置１４０で、復号、表示した場合であっても、映像を基準とした水平方向１６４が立体映像表示装置１４０の表示画面１４０ａを基準とした水平方向１６６に対して傾くだけであり、立体映像表示装置１４０に表示された立体映像の視差方向と観察者の両眼結線方向とは略平行となるので、観察者は、立体映像を正しく知覚できる。したがって、観察者が、映像が傾いているのを許容できる範囲までは、立体映像記録処理を継続することが可能ということになる。
【００８５】
このように、２Ｄ映像表示処理と立体映像表示処理の切り換えのための所定の閾値は、立体映像撮像装置１００の表示部１０６を、撮像者の両眼結線方向に維持しないと立体映像は知覚されないという理由により、小さくせざるを得ないが、２Ｄ映像記録処理と立体映像記録処理の切り換えのための所定の閾値は、観察者が、立体映像中の映像の傾きを許容できる範囲内で、表示処理の切り換えのための所定の閾値よりも大きく設定することができる。
【００８６】
また、所定の閾値は、撮像者が所望する値に、操作部１２０を通じて変更することができる。
【００８７】
例えば、撮像の状態によっては、立体映像撮像装置１００を把持した撮像者が立ち止まった状態で撮像する場合や、撮像者が移動しながら撮像する場合がある。撮像者は、立ち止まった状態で撮像する場合、立体映像表示処理と２Ｄ映像表示処理の切り換えを厳密に行いたいと考えることもあり、一方、撮像者が移動しながら撮像する場合、立体映像の視差方向と両眼結線方向とが、平行よりある程度傾いている状態を許容してでも立体映像表示処理や立体映像記録処理を継続したいと考えることもある。ここでは、撮像の状態に合わせて、所定の閾値を設定できるように構成することによって、撮像者は所望の撮像を行うことができる。
【００８８】
また、上述したように、操作部１２０を通じたマニュアル操作で詳細な数値を入力しなくとも、予め複数の撮像モードを準備し、所定の閾値が撮像モード毎に個別に設定される構成としてもよい。
【００８９】
以下、複数の撮像モードについて、具体的に例示する。例えば、本実施形態の立体映像撮像装置１００には、撮像モードとしてノーマルモードとアクティブモード、および、静止画撮像モードと動画撮像モードが準備されているとする。ノーマルモードは、立ち止まった（静止した）状態で撮像することを想定したモードであり、アクティブモードは、移動しながら撮像することを想定したモードである。また、静止画撮像モードは、静止画像を生成するモードであり、動画撮像モードは、動画を生成するモードである。ノーマルモードとアクティブモードは排他的に選択され、静止画撮像モードと動画撮像モードも排他的に選択されるが、ノーマルモードと静止画撮像モード等、それぞれのモードは重複して設定することが可能である。
【００９０】
続いて、各モードにおける表示処理に用いられる所定の閾値（α１、α２）および記録処理の切り換えに用いられる所定の閾値（α３、α４）を例示する。所定の閾値（α１、α２）は、それぞれ、２Ｄ映像表示処理から立体映像表示処理へ切り換えるための所定の閾値と、立体映像表示処理から２Ｄ映像表示処理へ切り換えるための所定の閾値であり、所定の閾値（α３、α４）は、それぞれ、２Ｄ映像記録処理から立体映像記録処理へ切り換えるための所定の閾値と、立体映像記録処理から２Ｄ映像記録処理へ切り換えるための所定の閾値である。ここで、表示処理および記録処理に、切り換え方向（立体映像表示処理と２Ｄ映像表示処理との切り換え方向、および、立体映像記録処理と２Ｄ映像記録処理との切り換え方向）によって、それぞれ所定の閾値（α１とα２、および、α３とα４）に差が設けられているのは上述したヒステリシス特性を持たせるためである。
【００９１】
また、静止画撮像モードと動画撮像モードでは、動画撮像モードの方が静止画撮像モードより撮像時間が比較的長くなる傾向にあり、撮像時間が長くなると、撮像者が立体映像撮像装置１００の姿勢を、基準姿勢に維持し続けることが困難となる。そのため、その間に立体映像と２Ｄ映像が頻繁に切り換わらないように、動画撮像モードの所定の閾値を静止画撮像モードの所定の閾値よりも大きくしている。また、アクティブモードは撮像者が移動しながら撮像するモードであり、移動中には、撮像者が立体映像撮像装置１００の姿勢を、基準姿勢に維持し続けることが困難となる。そのため、移動しながら撮像する場合に、立体映像と２Ｄ映像が頻繁に切り換わらないように、アクティブモードの所定の閾値をノーマルモードの所定の閾値よりも大きくしている。
（表示処理の切り換え）
ａ．静止画撮像モード時ノーマルモード（α１＝３度、α２＝８度）
ｂ．静止画撮像モード時アクティブモード（α１＝８度、α２＝１５度）
ｃ．動画撮像モード時ノーマルモード（α１＝５度、α２＝１２度）
ｄ．動画撮像モード時アクティブモード（α１＝１０度、α２＝１７度）
（記録処理の切り換え）
ａ．静止画撮像モード時ノーマルモード（α３＝５度、α４＝１０度）
ｂ．静止画撮像モード時アクティブモード（α３＝１５度、α４＝２５度）
ｃ．動画撮像モード時ノーマルモード（α３＝１０度、α４＝２０度）
ｄ．動画撮像モード時アクティブモード（α３＝２０度、α４＝３０度）
ここで、各撮像モードに対する所定の閾値については、各撮像モードに関連付けて中央制御部１３４のＲＯＭに記録されているものとする。
【００９２】
かかる複数の撮像モードを備える構成により、撮像者は、煩雑な操作入力を行うことなく、予め定められた撮像モードを指定するだけで、所望する所定の閾値を容易に設定することができ、好みにあった映像を得ることが可能となる。
【００９３】
上述したように、本実施形態の立体映像撮像装置１００によれば、立体映像撮像装置１００の姿勢に応じて、立体映像表示処理と２Ｄ映像表示処理との切り換えを適切に行い、かつ、立体映像記録処理と２Ｄ映像記録処理との切り換えを適切に行うことが可能となる。
【００９４】
（立体映像撮像方法）
さらに、上述した立体映像撮像装置１００を用いた立体映像撮像方法も提供される。図１０および図１２は、立体映像撮像方法の処理の流れを示すフローチャートであり、図１１および図１３は、基準姿勢の設定割り込み処理の流れを示すフローチャートである。特に、図１０および図１１は、角度導出部１３２として加速度センサを用いた場合の処理を、図１２および図１３は、角度導出部１３２として角速度センサを用いた場合の処理をそれぞれ示す。また、図１１に示す処理は、図１０に示す処理に対し、撮像者の操作入力による割り込み処理として実行され、図１３に示す処理は、図１２に示す処理に対し、撮像者の操作入力による割り込み処理として実行される。
【００９５】
まず、図１０を用いて、角度導出部１３２として加速度センサを用いた場合における、立体映像撮像方法の処理の流れを説明する。ここでは、撮像者の操作入力に応じて、予め設定された現在の撮像モードが中央制御部１３４のＲＡＭに記録されているものとする。まず、映像選択部１７２およびデータ選択部１７６は、予め設定されている現在の撮像モードを中央制御部１３４のＲＡＭから取得し（Ｓ３５２）、映像選択部１７２は、現在の撮像モードに対応する所定の閾値α１、α２をＥＥＰＲＯＭから読み出し、表示処理の切り換えに用いられる変数ｎ１、ｎ２を初期値０に設定し、データ選択部１７６は、現在の撮像モードに対応する所定の閾値α３、α４を中央制御部１３４のＥＥＰＲＯＭから読み出し、記録処理の切り換えに用いられる変数ｎ３、ｎ４を初期値０に設定する（Ｓ３５４）。
【００９６】
ここで所定の閾値α１、α２は、上述したように、それぞれ、２Ｄ映像表示処理から立体映像表示処理へ切り換えるための所定の閾値と、立体映像表示処理から２Ｄ映像表示処理へ切り換えるための所定の閾値であり、所定の閾値α３、α４は、それぞれ、２Ｄ映像記録処理から立体映像記録処理へ切り換えるための所定の閾値と、立体映像記録処理から２Ｄ映像記録処理へ切り換えるための所定の閾値である。
【００９７】
続いて、角度導出部１３２は、中央制御部１３４のＥＥＰＲＯＭに記録されている基準姿勢値を読み出し（Ｓ３５６）、加速度センサの加速度値に基づいて現在の傾斜角度θを求め（Ｓ３５８）、傾斜角度θから基準姿勢値を減算して新たに傾斜角度θを導出する（Ｓ３６０）。
【００９８】
そして、映像選択部１７２は、傾斜角度θの絶対値が所定の閾値α２より大きく、かつ、現在の表示処理が立体映像表示処理であるか否かを判断する（Ｓ３６２）。ここで、立体映像表示処理であるか否かを判断しているのは、すでに、２Ｄ映像表示処理を行っている場合に、２Ｄ映像表示処理に切り換える処理、例えば後述する変数ｎ２をインクリメントする処理を実行しないようにするためである。傾斜角度θの絶対値が所定の閾値α２より大きく、かつ、現在の表示処理が立体映像表示処理であった場合（Ｓ３６２におけるＹＥＳ）、映像選択部１７２は、変数ｎ２をインクリメントし（Ｓ３６４）、変数ｎ２が第１所定回数以上か否かを判断する（Ｓ３６６）。
【００９９】
変数ｎ２が第１所定回数以上である場合（Ｓ３６６におけるＹＥＳ）、映像選択部１７２は、２Ｄ映像データを選択し、表示制御部１７４は、選択された２Ｄ映像データに基づく２Ｄ映像を表示部１０６に表示させることで、立体映像表示処理を２Ｄ映像表示処理に切り換え（Ｓ３６８）、変数ｎ２をリセット（変数ｎ２に０を代入）する（Ｓ３７０）。変数ｎ２が第１所定回数未満であれば（Ｓ３６６におけるＮＯ）、α１判断ステップＳ３７４に進む。
【０１００】
α２判断ステップＳ３６２において、傾斜角度θの絶対値が所定の閾値α２以下であるか、または、現在の表示処理が立体映像表示処理ではなかった場合（Ｓ３６２におけるＮＯ）、映像選択部１７２は、変数ｎ２をリセット（変数ｎ２に０を代入）して（Ｓ３７２）、α１判断ステップＳ３７４に進む。
【０１０１】
続いて、映像選択部１７２は、傾斜角度θの絶対値が所定の閾値α１以下であり、かつ、現在の表示処理が２Ｄ映像表示処理であるか否かを判断する（Ｓ３７４）。ここで、２Ｄ映像表示処理であるか否かを判断しているのは、すでに立体映像表示処理を行っている場合に、立体映像表示処理に切り換える処理、例えば後述する変数ｎ１をインクリメントする処理を実行しないようにするためである。傾斜角度θの絶対値が所定の閾値α１以下であり、かつ、現在の表示処理が２Ｄ映像表示処理であった場合（Ｓ３７４におけるＹＥＳ）、映像選択部１７２は、変数ｎ１をインクリメントし（Ｓ３７６）、変数ｎ１が第２所定回数以上か否かを判断する（Ｓ３７８）。
【０１０２】
変数ｎ１が第２所定回数以上である場合（Ｓ３７８におけるＹＥＳ）、映像選択部１７２は、立体映像データを選択し、表示制御部１７４は、立体映像データに基づく立体映像を表示部１０６に表示させることで、２Ｄ映像表示処理を立体映像表示処理に切り換え（Ｓ３８０）、変数ｎ１をリセット（変数ｎ１に０を代入）する（Ｓ３８２）。変数ｎ１が第２所定回数未満であれば（Ｓ３７８におけるＮＯ）、記録指示判断ステップＳ３８６に進む。
【０１０３】
α１判断ステップＳ３７４において、傾斜角度θの絶対値が所定の閾値α１より大きい、または、現在の表示処理が２Ｄ映像表示処理ではなかった場合（Ｓ３７４におけるＮＯ）、映像選択部１７２は、変数ｎ１をリセット（変数ｎ１に０を代入）して（Ｓ３８４）、記録指示判断ステップＳ３８６に進む。
【０１０４】
次に、データ選択部１７６は、操作部１２０を通じて、撮像者から、映像符号化データの記録処理を指示する操作入力があったか否か判断し（Ｓ３８６）、記録処理の指示がなければ、または、記録処理の終了を指示する操作入力があれば（Ｓ３８６におけるＮＯ）、終了判断ステップＳ４１２に進む。記録指示があれば（Ｓ３８６におけるＹＥＳ）、データ選択部１７６は、傾斜角度θの絶対値が所定の閾値α４より大きく、かつ、現在の記録処理が立体映像記録処理であるか否かを判断する（Ｓ３８８）。ここで、立体映像記録処理であるか否かを判断しているのは、すでに、２Ｄ映像記録処理を行っている場合に、２Ｄ映像記録処理に切り換える処理、例えば後述する変数ｎ４をインクリメントする処理を実行しないようにするためである。傾斜角度θの絶対値が所定の閾値α４より大きく、かつ、現在の記録処理が立体映像記録処理であった場合（Ｓ３８８におけるＹＥＳ）、データ選択部１７６は、変数ｎ４をインクリメントし（Ｓ３９０）、変数ｎ４が第３所定回数以上か否かを判断する（Ｓ３９２）。
【０１０５】
変数ｎ４が第３所定回数以上である場合（Ｓ３９２におけるＹＥＳ）、データ選択部１７６は、２Ｄ映像データを選択し、映像圧縮部１２６は、選択された２Ｄ映像データを符号化して２Ｄ映像符号化データを生成し、記録制御部１７８は、２Ｄ映像符号化データを記録部１３０に記録させることで、立体映像記録処理を２Ｄ映像記録処理に切り換え（Ｓ３９４）、変数ｎ４をリセット（変数ｎ４に０を代入）する（Ｓ３９６）。変数ｎ４が第３所定回数未満であれば（Ｓ３９２におけるＮＯ）、α３判断ステップＳ４００に進む。
【０１０６】
α４判断ステップＳ３８８において、傾斜角度θの絶対値が所定の閾値α４以下であるか、または、現在の記録処理が立体映像記録処理ではなかった場合（Ｓ３８８におけるＮＯ）、データ選択部１７６は、変数ｎ４をリセット（変数ｎ４に０を代入）して（Ｓ３９８）、α３判断ステップＳ４００に進む。
【０１０７】
続いて、データ選択部１７６は、傾斜角度θの絶対値が所定の閾値α３以下であり、かつ、現在の記録処理が２Ｄ映像記録処理であるか否かを判断する（Ｓ４００）。ここで、２Ｄ映像記録処理であるか否かを判断しているのは、すでに立体映像記録処理を行っている場合に、立体映像記録処理に切り換える処理、例えば後述する変数ｎ３をインクリメントする処理を実行しないようにするためである。傾斜角度θの絶対値が所定の閾値α３以下であり、かつ、現在の記録処理が２Ｄ映像記録処理であった場合（Ｓ４００におけるＹＥＳ）、データ選択部１７６は、変数ｎ３をインクリメントし（Ｓ４０２）、変数ｎ３が第４所定回数以上か否かを判断する（Ｓ４０４）。
【０１０８】
変数ｎ３が第４所定回数以上である場合（Ｓ４０４におけるＹＥＳ）、データ選択部１７６は、立体映像データを選択し、映像圧縮部１２６は、選択された立体映像データを符号化して立体映像符号化データを生成し、記録制御部１７８は、立体映像符号化データを記録部１３０に記録させることで、２Ｄ映像記録処理を立体映像記録処理に切り換え（Ｓ４０６）、変数ｎ３をリセット（変数ｎ３に０を代入）する（Ｓ４０８）。変数ｎ３が第４所定回数未満であれば（Ｓ４０４におけるＮＯ）、終了判断ステップＳ４１２に進む。
【０１０９】
α３判断ステップＳ４００において、傾斜角度θの絶対値が所定の閾値α３より大きい、または、現在の記録処理が２Ｄ映像記録処理ではなかった場合（Ｓ４００におけるＮＯ）、データ選択部１７６は、変数ｎ３をリセット（変数ｎ３に０を代入）して（Ｓ４１０）、終了判断ステップＳ４１２に進む。
【０１１０】
次に、中央制御部１３４は、撮像者からの映像の表示処理の終了を示す操作入力があったか否かを判断し（Ｓ４１２）、終了を指示する操作入力があると（Ｓ４１２におけるＹＥＳ）、当該立体映像撮像方法の処理を終了する。終了を示す操作入力が無かった場合（Ｓ４１２におけるＮＯ）、中央制御部１３４は、傾斜角度θの所定の閾値α１〜α４に対する判断を所定時間間隔で行うために、所定時間経過したか否かを判断する（Ｓ４１４）。所定時間が経過していない場合（Ｓ４１４におけるＮＯ）、終了判断ステップＳ４１２に戻り、所定時間が経過すると（Ｓ４１４におけるＹＥＳ）、基準姿勢値読出ステップＳ３５６からを繰り返す。こうして、所定時間間隔で表示処理や記録処理が実現される。
【０１１１】
上述した、ｎ２判断ステップＳ３６６、ｎ１判断ステップＳ３７８、ｎ４判断ステップＳ３９２、ｎ３判断ステップＳ４０４は、傾斜角度θが所定の閾値を跨いで変化した状態が所定の時間（回数）以上、継続したか否かを判断するステップであり、所定の時間以上、継続しない場合には、立体映像表示処理と２Ｄ映像表示処理の切り換え、または、立体映像記録処理と２Ｄ映像記録処理との切り換えを行わないようにするために必要となる。これらのステップを設けることで、立体映像表示処理と２Ｄ映像表示処理との切り換えが頻繁に行われたり、または、立体映像記録処理と２Ｄ映像記録処理との切り換えが頻繁に行われたりして、撮像者が煩わしいと感じてしまう事態を回避することができる。また、何らかの原因による誤った傾斜角度θが導出されたときに、その誤った傾斜角度θが１回でも所定の閾値を跨ぐことで表示処理や記録処理が切り換わってしまう事態も回避することが可能となる。
【０１１２】
次に、図１１を用いて、基準姿勢の設定割り込み処理の流れを説明する。図１１のフローチャートは、図１０の処理の実行中において、撮像者が基準姿勢の設定を所望する場合に、撮像者の操作入力による割り込み処理として実行される。撮像者から基準姿勢の設定を指示する操作入力があると、図１１に示す、基準姿勢の設定割り込み処理が発生し、角度導出部１３２は、加速度センサに基づいて、立体映像撮像装置１００の傾斜角度θを導出し（Ｓ４３０）、基準姿勢設定部１８０は、その傾斜角度θを、基準姿勢値として中央制御部１３４のＥＥＰＲＯＭに記録させ（Ｓ４３２）、図１０の立体映像撮像方法で用いられる変数ｎ１、ｎ２、ｎ３、ｎ４を０に初期化する（Ｓ４３４）。かかる図１１に示した基準姿勢の設定割り込み処理によって、撮像者は、基準姿勢を所望する角度だけ水平面２４からオフセットした撮像が可能となる。
【０１１３】
続いて、図１２を用いて、角度導出部１３２として角速度センサを用いた場合における、立体映像撮像方法の処理の流れを説明する。ここで、α２判断ステップＳ３６２から所定時間経過判断ステップＳ４１４までの処理は、図１０を用いて上述した処理と実質的に等しいため、同一の符号を付けて説明を省略する。
【０１１４】
上述したように、宇宙などの無重力空間における撮像では、映像を撮像する方向は地球上での撮像のように重力加速度を参照することができないので、撮像者が所望する立体映像撮像装置１００の姿勢を基準姿勢として設定できるようにする必要がある。撮像者が所望する立体映像撮像装置１００の姿勢を基準姿勢として設定することは、現在の傾斜角度θを０度にリセットすることに等しい。したがって、撮像者から、立体映像撮像装置１００の姿勢を基準姿勢として設定する操作入力があると、傾斜角度θを０度にすべく、角速度センサの積分値をリセットすることとする。
【０１１５】
角速度センサを用いた場合、図１２に示すように、撮像者に、所望する立体映像撮像装置１００の姿勢を基準姿勢として設定するように促し（Ｓ４５０）、撮像者からの操作入力を待つ（Ｓ４５２におけるＮＯ）。ここで、撮像者から、立体映像撮像装置１００の姿勢を基準姿勢として設定する操作入力があると（Ｓ４５２におけるＹＥＳ）、角度導出部１３２は、操作入力があった時点の傾斜角度θを０度にリセット（角速度センサの積分値をクリア）し、角速度の時間積分を開始する（Ｓ４５４）。
【０１１６】
続いて、映像選択部１７２およびデータ選択部１７６は、中央制御部１３４のＲＡＭから予め設定されている現在の撮像モードを取得し（Ｓ４５６）、映像選択部１７２は、現在の撮像モードに対応する所定の閾値α１、α２をＥＥＰＲＯＭから読み出し、変数ｎ１、ｎ２を初期値０に設定し、データ選択部１７６は、現在の撮像モードに対応する所定の閾値α３、α４を中央制御部１３４のＥＥＰＲＯＭから読み出し、変数ｎ３、ｎ４を初期値０に設定する（Ｓ４５８）。角度導出部１３２は、角速度センサの角速度値を時間積分し、三角関数を用いて傾斜角度θに換算する（Ｓ４６０）。ここで所定の閾値α１、α２、α３、α４は、図１０の場合と同様、表示処理および記録処理を切り換えるための所定の閾値である。
【０１１７】
そして、α２判断ステップＳ３６２以下の処理へと移行し、図１０と実質的に等しい処理が遂行される。ただし、所定時間が経過した後（Ｓ４１４におけるＹＥＳ）、戻る処理は、図１０に示した基準姿勢値読出ステップＳ３５６ではなく、傾斜角度導出ステップＳ４６０となる。
【０１１８】
また、角速度センサを用いた場合、傾斜角度θを求めるために角速度を積分しなければならないが、角速度を検出する時間の間隔が不規則であると、検出間隔の測定を要すこととなり計算負荷が高くなる。そのため、角速度の検出を予め定められた所定時間間隔で行い、検出された角速度の単純な加算によって傾斜角度θを導出するのが望ましい。本実施形態では、上述した所定時間経過判断ステップＳ４１４により、所定時間間隔での角速度の検出が可能となる。
【０１１９】
次に、図１３を用いて、基準姿勢の設定割り込み処理の流れを説明する。図１３のフローチャートは、図１２の処理の実行中において、撮像者が基準姿勢の再設定を所望する場合に、撮像者の操作入力による割り込み処理として実行される。現在の立体映像撮像装置１００の姿勢を基準姿勢として設定する操作入力があると、図１３に示す、基準姿勢の設定割り込み処理が発生し、角度導出部１３２は、角速度センサの積分値を０度にリセットすることで傾斜角度θを０度にリセットする（Ｓ４７０）。そして、図１２の立体映像撮像方法で用いられる変数ｎ１、ｎ２、ｎ３、ｎ４を０に初期化する（Ｓ４７２）。かかる図１３に示した基準姿勢の設定割り込み処理によって、撮像者は、立体映像撮像装置１００の所望の姿勢を基準姿勢として設定することが可能となる。
【０１２０】
上述したように、立体映像撮像装置１００を用いた立体映像撮像方法によれば、立体映像撮像装置１００の姿勢に応じて、立体映像表示処理と２Ｄ映像表示処理との切り換えを適切に行い、かつ、立体映像記録処理と２Ｄ映像記録処理との切り換えを適切に行うことが可能となる。
【０１２１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１２２】
なお、本明細書の立体映像撮像方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１２３】
本発明は、映像中の被写体を立体的に存在するかのように知覚させる立体映像データを生成する立体映像撮像装置および立体映像撮像方法に利用することができる。
【符号の説明】
【０１２４】
１００  …立体映像撮像装置
１０２ａ、１０２ｂ  …撮像部
１０６  …表示部
１２０  …操作部
１３０  …記録部
１３２  …角度導出部
１３８ａ、１３８ｂ  …光軸
１７２  …映像選択部
１７４  …表示制御部
１７６  …データ選択部
１７８  …記録制御部
１８０  …基準姿勢設定部
【図１】
2012114751.tif 000003
【図２】
2012114751.tif 000004
【図３】
2012114751.tif 000005
【図４】
2012114751.tif 000006
【図５】
2012114751.tif 000007
【図６】
2012114751.tif 000008
【図７】
2012114751.tif 000009
【図８】
2012114751.tif 000010
【図９】
2012114751.tif 000011
【図１０】
2012114751.tif 000012
【図１１】
2012114751.tif 000013
【図１２】
2012114751.tif 000014
【図１３】
2012114751.tif 000015