(57)【要約】【課題】光軸の角度が異なる複数の撮像装置で生成された複数の映像データに基づく映像をそれぞれ変換し、ユーザに違和感のない自然な立体映像として知覚させる。【解決手段】立体映像処理装置１００のデータ取得部１１０は、左眼用映像データと右眼用映像データとを取得する。撮像状態情報取得部１１２は、基線長、輻輳点距離、輻輳角のうち、少なくとも２以上の撮像状態を示す撮像状態情報を取得する。映像変換部１１４は、撮像状態情報に基づいて、左眼用映像データに基づく左眼用映像を、左眼用映像データが生成された撮像装置１０２ａの光軸１０６ａに直交する左眼用仮想面１５２ａから表示面１０８に写像するように映像変換し、右眼用映像データに基づく右眼用映像を、右眼用映像データが生成された撮像装置１０２ｂの光軸１０６ｂに直交する右眼用仮想面１５２ｂから表示面に写像するように映像変換する。【選択図】図１
2012204904.tif 000002
【特許請求の範囲】
【請求項１】
水平視差を有する左眼用映像データと右眼用映像データとを取得するデータ取得部と、
前記左眼用映像データと前記右眼用映像データとが生成された複数の撮像装置間の距離である基線長、前記複数の撮像装置から前記複数の撮像装置それぞれの光軸が交差する輻輳点までの距離である輻輳点距離、前記光軸が成す角である輻輳角のうち、少なくとも２以上の撮像状態を示す撮像状態情報を取得する撮像状態情報取得部と、
前記撮像状態情報に基づいて、前記左眼用映像データに基づく左眼用映像を、前記左眼用映像データが生成された撮像装置の光軸に直交する左眼用仮想面から表示面に写像するように映像変換し、前記右眼用映像データに基づく右眼用映像を、前記右眼用映像データが生成された撮像装置の光軸に直交する右眼用仮想面から表示面に写像するように映像変換する映像変換部と、
を備えることを特徴とする立体映像処理装置。
【請求項２】
前記映像変換部は、前記左眼用映像および前記右眼用映像の画面中心線からの水平方向の座標ｐを、左眼用映像の場合、数式１に従って座標変換し、右眼用映像の場合、数式２に従って座標変換することを特徴とする請求項１に記載の立体映像処理装置。
【数１】
2012204904.tif 000015
…（数式１）
【数２】
2012204904.tif 000016
…（数式２）
ただし、Ｄは輻輳点距離、αは輻輳角である。
【請求項３】
水平視差を有する左眼用映像データと右眼用映像データとを生成する複数の撮像部をさらに備え、
前記撮像状態情報取得部は、前記複数の撮像部に関する撮像状態情報を取得することを特徴とする請求項１または２に記載の立体映像処理装置。
【請求項４】
前記輻輳角を変更する輻輳角変更部をさらに備えることを特徴とする請求項３に記載の立体映像処理装置。
【請求項５】
前記左眼用映像および前記右眼用映像を表示するモニタ部をさらに備えることを特徴とする請求項１から４のいずれか１項に記載の立体映像処理装置。
【請求項６】
水平視差を有する左眼用映像データと右眼用映像データとを取得すると共に、前記左眼用映像データと前記右眼用映像データとが生成された複数の撮像装置間の距離である基線長、前記複数の撮像装置から前記複数の撮像装置それぞれの光軸が交差する輻輳点までの距離である輻輳点距離、前記光軸が成す角である輻輳角のうち、少なくとも２以上の撮像状態を示す撮像状態情報を取得し、
前記撮像状態情報に基づいて、前記左眼用映像データに基づく左眼用映像を、前記左眼用映像データが生成された撮像装置の光軸に直交する左眼用仮想面から表示面に写像するように映像変換し、前記右眼用映像データに基づく右眼用映像を、前記右眼用映像データが生成された撮像装置の光軸に直交する右眼用仮想面から表示面に写像するように映像変換することを特徴とする立体映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体像を立体的に知覚させるための、水平視差（両眼視差）を有する２つの映像データを生成する立体映像処理装置および立体映像処理方法に関する。
【背景技術】
【０００２】
近年、立体映像表示装置上に、水平視差を有する２つの映像を提示し、ユーザ（観察者）に対してあたかも被写体像が立体的に存在するかのように知覚させる立体映像の技術が脚光を浴びている。かかる技術で用いられる２つの映像は、異なる複数の光軸（視点）それぞれに基づいて撮像された映像、または、異なる複数の光軸で撮像したものに相当するＣＧ（Computer Graphics）の映像である。
【０００３】
このような立体映像においては、立体映像の知覚に伴うユーザの疲労を軽減するため種々の提案が為されている。例えば、水平方向以外の視差となる垂直方向に生じるずれや回転方向のずれを補正することで、ユーザの眼への負担を軽減する技術が公開されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１３０３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
２つの撮像装置それぞれの光軸が成す角である輻輳角を適切な角度に設定することで、２つの撮像装置で生成される２つの映像データ（左眼用映像データおよび右眼用映像データ）間には、被写体の前後位置に応じた水平視差が生じる。このようにして生成された２つの映像データに基づく２つの映像は、立体映像の表示方式であるラインバイライン方式やフレームシーケンシャル方式等を通じ、１つの立体映像表示装置に並行して表示される。ユーザは、その２つの映像を左右眼で個別に視認することで被写体を立体的に知覚できる。
【０００６】
しかし、２つの撮像装置では、被写体を、それぞれ異なる光軸方向から捉えているにも拘わらず、撮像装置で生成された２つの映像データに基づく２つの映像は１の立体映像表示装置の同一表示面に同一の表示方向となるように表示される。したがって、ユーザは、水平方向に離隔した自身の左右眼でその映像を観察すると、撮像方向（または視認方向）と表示方向のずれ（傾き）により違和感を覚えることとなる。また、このような方向のずれは、表示面の水平方向端部に近づくほど顕著に現れる。
【０００７】
そこで本発明は、光軸の角度が異なる複数の撮像装置で生成された複数の映像データに基づく映像をそれぞれ変換し、ユーザに違和感のない自然な立体映像として知覚させることが可能な立体映像処理装置および立体映像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の立体映像処理装置（１００）は、水平視差を有する左眼用映像データと右眼用映像データとを取得するデータ取得部（１１０）と、左眼用映像データと右眼用映像データとが生成された複数の撮像装置間の距離である基線長（Ｅ）、複数の撮像装置から複数の撮像装置それぞれの光軸が交差する輻輳点までの距離である輻輳点距離（Ｄ）、光軸が成す角である輻輳角（α）のうち、少なくとも２以上の撮像状態を示す撮像状態情報を取得する撮像状態情報取得部（１１２）と、撮像状態情報に基づいて、左眼用映像データに基づく左眼用映像を、左眼用映像データが生成された撮像装置（１０２ａ）の光軸に直交する左眼用仮想面（１５２ａ）から表示面（１０８）に写像するように映像変換し、右眼用映像データに基づく右眼用映像を、右眼用映像データが生成された撮像装置（１０２ｂ）の光軸に直交する右眼用仮想面（１５２ｂ）から表示面に写像するように映像変換する映像変換部（１１４）とを備えることを特徴とする。
【０００９】
映像変換部は、左眼用映像および右眼用映像の画面中心線からの水平方向の座標ｐを、左眼用映像の場合、数式１に従って座標変換し、右眼用映像の場合、数式２に従って座標変換してもよい。ただし、Ｄは輻輳点距離、αは輻輳角である。
【数１】
2012204904.tif 000003
…（数式１）
【数２】
2012204904.tif 000004
…（数式２）
【００１０】
立体映像処理装置は、水平視差を有する左眼用映像データと右眼用映像データとを生成する複数の撮像部（２１２）をさらに備え、撮像状態情報取得部は、複数の撮像部に関する撮像状態情報を取得してもよい。
【００１１】
立体映像処理装置は、輻輳角を変更する輻輳角変更部（２４０）をさらに備えてもよい。
【００１２】
立体映像処理装置は、左眼用映像および右眼用映像を表示するモニタ部（２１６）をさらに備えてもよい。
【００１３】
上記課題を解決するために、本発明の立体映像処理方法は、水平視差を有する左眼用映像データと右眼用映像データとを取得すると共に、左眼用映像データと右眼用映像データとが生成された複数の撮像装置間の距離である基線長、複数の撮像装置から複数の撮像装置それぞれの光軸が交差する輻輳点までの距離である輻輳点距離、光軸が成す角である輻輳角のうち、少なくとも２以上の撮像状態を示す撮像状態情報を取得し、撮像状態情報に基づいて、左眼用映像データに基づく左眼用映像を、左眼用映像データが生成された撮像装置の光軸に直交する左眼用仮想面から表示面に写像するように映像変換し、右眼用映像データに基づく右眼用映像を、右眼用映像データが生成された撮像装置の光軸に直交する右眼用仮想面から表示面に写像するように映像変換することを特徴とする。
【発明の効果】
【００１４】
以上説明したように本発明の立体映像処理装置は、光軸の角度が異なる複数の撮像装置で生成された複数の映像データに基づく映像を適宜変換するので、ユーザに違和感のない自然な立体映像として知覚させることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態における立体映像処理装置の概略的な構成を示した説明図である。
【図２】基線長、輻輳点距離、輻輳角の関係を説明するための説明図である。
【図３】視差と立体感との関係を示す説明図である。
【図４】左眼用映像および右眼用映像を直接再配置した場合の問題点を説明するための説明図である。
【図５】映像変換部の処理を示す説明図である。
【図６】映像変換部の処理を示す説明図である。
【図７】映像変換部による、具体的な処理を説明するための説明図である。
【図８】第２の実施形態における立体映像処理装置の概略的な構成を示した機能ブロック図である。
【図９】第３の実施形態における立体映像処理装置の概略的な構成を示した機能ブロック図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１７】
（第１の実施形態：立体映像処理装置１００）
図１は、立体映像処理装置１００の概略的な構成を示した説明図であり、図２は、基線長、輻輳点距離、輻輳角の関係を説明するための説明図である。以下、両図を用いて立体映像処理装置１００の構成を簡単に説明する。図１（ｂ）では、データの流れを実線の矢印で、制御信号を破線の矢印で示している。
【００１８】
図１（ｂ）に示すように、立体映像処理装置１００は、データ取得部１１０と、撮像状態情報取得部１１２と、映像変換部１１４と、映像再配置部１１６とを含んで構成され、例えば、図１（ａ）に示す外部の２つの撮像装置１０２ａ、１０２ｂから入力された映像データを加工して立体映像表示装置１０４に出力する。ここでは、２つの撮像装置１０２ａ、１０２ｂによって、２つの映像データ（左眼用映像データおよび右眼用映像データ）が生成される例を挙げているが、撮像装置１０２の数はかかる場合に限定されず、例えば３つ以上といったように任意の数で構成することができる。
【００１９】
データ取得部１１０は、外部の２つの撮像装置１０２ａ、１０２ｂから、水平視差を有する左眼用映像データと右眼用映像データとを取得する。
【００２０】
撮像状態情報取得部１１２は、図２に示した、データ取得部１１０が取得した左眼用映像データと右眼用映像データとが生成された２つの撮像装置１０２ａ、１０２ｂ間の距離である基線長Ｅ、２つの撮像装置１０２ａ、１０２ｂから（正確には、２つの撮像装置１０２ａ、１０２ｂの中点Ｃから）２つの撮像装置１０２ａ、１０２ｂそれぞれの光軸１０６ａ、１０６ｂが交差する輻輳点Ｏまでの距離である輻輳点距離Ｄ、光軸１０６ａ、１０６ｂが成す角である輻輳角αのうち、少なくとも２以上の撮像状態を示す撮像状態情報を取得する。かかる撮像状態情報は、左眼用映像データと右眼用映像データに関連付けられ、左眼用映像データや右眼用映像データと共に取得されてもよいし、立体映像処理装置１００における何らかの入力手段を通じて自動入力または手動入力されるとしてもよい。
【００２１】
本実施形態の立体映像処理装置１００では、映像データを加工する上で、最終的に輻輳点距離Ｄおよび輻輳角αを要する。したがって、撮像状態情報が基線長Ｅと輻輳点距離Ｄとを示している場合は数式３を用いて輻輳角αを導出し、撮像状態情報が基線長Ｅと輻輳角αとを示している場合は数式４を用いて輻輳点距離Ｄを導出する。
【数３】
2012204904.tif 000005
…（数式３）
【数４】
2012204904.tif 000006
…（数式４）
【００２２】
さらに、上記２つの撮像装置１０２ａ、１０２ｂにおいて、フォーカスレンズの焦点位置に輻輳点Ｏが重なるように制御されている場合、２つの撮像装置１０２ａ、１０２ｂそれぞれから焦点までの距離に基づいて輻輳点距離Ｄを導出することもできる。
【００２３】
映像変換部１１４は、撮像状態情報取得部１１２が取得した撮像状態情報に示された撮像状態に基づいて、左眼用映像データに基づく左眼用映像を、左眼用映像データが生成された撮像装置１０２ａの光軸１０６ａに直交する左眼用仮想面から表示面に写像（投影）するように映像変換し、右眼用映像データに基づく右眼用映像を、右眼用映像データが生成された撮像装置１０２ｂの光軸１０６ｂに直交する右眼用仮想面から表示面に写像（投影）するように映像変換する。かかる映像変換については、後ほど詳述する。
【００２４】
映像再配置部１１６は、ラインバイライン方式やフレームシーケンシャル方式といった既存の立体映像の表示方式に従って映像変換部１１４が変換した左眼用映像および右眼用映像を再配置する。例えば、ラインバイライン方式が採用されている場合、立体映像表示装置１０４の表示面１０８に、偏光特性が異なる２種類の偏光フィルタを隔行で（水平ライン毎に）交互に配置し、一方の偏光フィルタが配置された偶数ラインに左眼用映像を表示させ、他方の偏光フィルタが配置された奇数ラインに右眼用映像を表示させ、左眼側と右眼側で偏光が異なる偏光メガネを通じて、左眼用映像をユーザの左眼にのみ視認させ、右眼用映像をユーザの右眼にのみ視認させる。フレームシーケンシャル方式が採用されている場合、左眼用映像と右眼用映像とを交互に立体映像表示装置１０４に表示し、排他的に開閉する電子シャッタを通じて、左眼用映像をユーザの左眼にのみ視認させ、右眼用映像をユーザの右眼にのみ視認させる。
【００２５】
（立体映像処理装置１００における立体映像処理）
ここでは、まず、立体映像処理装置１００の概略的な動作を説明する。立体映像処理装置１００では、データ取得部１１０が左眼用映像データと右眼用映像データとを取得し、最終的に映像再配置部１１６が左眼用映像と右眼用映像を再配置することで、１つの立体映像表示装置１０４の同一面上に、左眼用映像と右眼用映像とを並行して表示する。左眼用映像および右眼用映像の両映像に含まれる被写体像は水平視差を有し、左眼用映像と右眼用映像とがそれぞれユーザの左眼と右眼とにのみ視認されることで、ユーザは被写体像を立体的に存在するかのように知覚する。
【００２６】
図３は、視差と立体感との関係を示す説明図である。ここでは、ラインバイライン方式によって、左眼用映像データに基づく左眼用映像と右眼用映像データに基づく右眼用映像とが立体映像表示装置１０４に並行して表示されている。図３（ａ）では、左眼用映像の任意の被写体像Ｌ０と右眼用映像に対応する被写体像Ｒ０とが立体映像表示装置１０４上の同一位置（水平視差無し）に表示されている。このとき、ユーザは、両被写体像Ｌ０、Ｒ０による立体映像Ｓ０が、立体映像表示装置１０４の表示面１０８上に存在するかのように知覚する。
【００２７】
また、図３（ｂ）では、立体映像表示装置１０４の表示面１０８上において、左眼用映像の任意の被写体像Ｌ１が、対応する右眼用映像の被写体像Ｒ１よりもユーザから見て右側に位置している。この状態では、被写体像Ｌ１と被写体像Ｒ１による立体映像Ｓ１は、表示面１０８より手前（ユーザ側）に結像され、ユーザは、立体映像Ｓ１が飛び出しているかのように知覚する。一方、図３（ｃ）では、立体映像表示装置１０４の表示面１０８上において、左眼用映像の任意の被写体像Ｌ２が、対応する右眼用映像の被写体像Ｒ２よりもユーザから見て左側に位置している。この状態では、被写体像Ｌ２と被写体像Ｒ２による立体映像Ｓ２は、表示面１０８より後ろに結像され、ユーザは、立体映像Ｓ２が奥まっているかのように知覚する。このとき図３（ａ）、（ｂ）、（ｃ）における輻輳角α０、α１、α２の大きさの関係は、α１＞α０＞α２となる。
【００２８】
（映像データの映像変換が必要な理由）
このような立体映像処理装置１００において、仮に、映像変換部１１４を機能させず、映像再配置部１１６が、左眼用映像および右眼用映像を直接再配置した場合、図４を用いて説明する以下のような問題が生じる。図４では、２つの撮像装置１０２ａ、１０２ｂの光軸１０６ａ、１０６ｂが輻輳角αを成しており、その２つの撮像装置１０２ａ、１０２ｂによってオブジェクト１５０を撮像して生成された左眼用映像データおよび右眼用映像データに基づく映像が立体映像表示装置１０４に表示されている。
【００２９】
撮像装置１０２ａ、１０２ｂは、図４（ａ）に示すような輻輳角αを伴う位置関係でオブジェクト１５０を撮像する。このとき、左眼用の撮像装置１０２ａで生成された左眼用映像データに基づく左眼用映像は、図４（ｂ）に示すように、撮像装置１０２ａの光軸１０６ａに垂直な左眼用仮想面１５２ａに投影した映像に相当するので、オブジェクト１５０は、左眼用映像中のオブジェクト像１５４ａの位置に写像される。また、右眼用の撮像装置１０２ｂで生成された右眼用映像データに基づく右眼用映像は、図４（ｃ）に示すように、撮像装置１０２ｂの光軸１０６ｂに垂直な右眼用仮想面１５２ｂに投影した映像に相当するので、オブジェクト１５０は、右眼用映像中のオブジェクト像１５４ｂの位置に写像される。
【００３０】
しかし、このようにして生成された左眼用映像データに基づく左眼用映像および右眼用映像データに基づく右眼用映像は、本来表示されるべき左眼用仮想面１５２ａや右眼用仮想面１５２ｂの位置には表示されず、両面の中間的な位置（両面の位置から互いに逆方向にα／２回転した位置）にある１つの立体映像表示装置１０４の表示面１０８上に表示される。したがって、左眼用映像のオブジェクト像１５４ａは、立体映像表示装置１０４における表示面１０８上の対応する位置にオブジェクト像１５４ａ’として表示され、右眼用映像のオブジェクト像１５４ｂは、立体映像表示装置１０４における表示面１０８上の対応する位置にオブジェクト像１５４ｂ’として表示される。即ち、本来、図４（ｂ）のように左眼用仮想面１５２ａの位置に表示されるべき左眼用映像が、図４（ｄ）中、輻輳点Ｏを中心にα／２だけ反時計回りに回転して表示面１０８上に表示され、図４（ｃ）のように右眼用仮想面１５２ｂの位置に表示されるべき右眼用映像が、図４（ｅ）中、輻輳点Ｏを中心にα／２だけ時計回りに回転して表示面１０８上に表示されることとなる。
【００３１】
図４（ｄ）に示すオブジェクト像１５４ａ’と、図４（ｅ）に示すオブジェクト像１５４ｂ’とが図４（ｆ）のように１つの立体映像表示装置１０４に表示されると、ユーザは、オブジェクト１５６が立体的に存在するかのように知覚する。しかし、かかる図４（ｆ）のオブジェクト１５６は、図４（ａ）に示した本来のオブジェクト１５０とその位置、角度および大きさが異なるので（歪みが生じるので）、ユーザは、違和感を覚え、不自然な感覚を得てしまう。
【００３２】
（映像データの映像変換処理の概略）
そこで、本実施形態の映像変換部１１４は、左眼用映像および右眼用映像があたかも左眼用仮想面１５２ａおよび右眼用仮想面１５２ｂにそれぞれ表示されているかのように見せるため、左眼用映像および右眼用映像を立体映像表示装置１０４の表示面１０８に写像する。
【００３３】
ここでは、左眼用映像データと右眼用映像データに予め輻輳点距離Ｄと輻輳角αを示す情報が関連付けられているとする。立体映像処理装置１００では、データ取得部１１０が左眼用映像データと右眼用映像データとを取得し、撮像状態情報取得部１１２が撮像状態情報として輻輳点距離Ｄと輻輳角αを示す情報を取得する。
【００３４】
図５および図６は、映像変換部１１４の処理を示す説明図である。映像変換部１１４は、輻輳点距離Ｄおよび輻輳角αに基づいて、図５（ａ）の如く、左眼用映像データを生成した撮像装置１０２ａの光軸１０６ａに直交する左眼用仮想面１５２ａから、ユーザが撮像装置（正確には撮像装置１０２ａ、１０２ｂの中心位置）の方向からオブジェクトを視認する向きにおいて撮像装置１０２ａ、１０２ｂの光軸１０６ａ、１０６ｂが交差する輻輳点に設置すると想定した立体映像表示装置１０４の表示面１０８に、その撮像装置１０２ａの光軸方向に左眼用映像を写像する。また、図５（ｂ）の如く、右眼用映像データを生成した撮像装置１０２ｂの光軸１０６ｂに直交する右眼用仮想面１５２ｂから、同じく、ユーザが撮像装置の方向からオブジェクトを視認する向きにおいて撮像装置１０２ａ、１０２ｂの光軸１０６ａ、１０６ｂが交差する輻輳点に設置すると想定した立体映像表示装置１０４の表示面１０８に、その撮像装置１０２ｂの光軸方向に右眼用映像を写像する。こうして、映像変換部１１４は、図５（ａ）に示されたオブジェクト像１５４ａをオブジェクト像１５８ａに変換し、図５（ｂ）に示されたオブジェクト像１５４ｂをオブジェクト像１５８ｂに変換する。
【００３５】
映像変換が施された左眼用映像と右眼用映像とが、図５（ｃ）のように１つの立体映像表示装置１０４に表示されると、ユーザは、オブジェクト像１５８ａとオブジェクト像１５８ｂとによるオブジェクト１６０が立体的に存在するかのように知覚する。かかる図５（ｃ）のオブジェクト１６０は、図５（ａ）、（ｂ）に示す本来のオブジェクト１５０とその位置および角度が等しいので、ユーザに違和感のない自然な立体映像を知覚させることができる。
【００３６】
かかる現象は、図５で説明したように、オブジェクト１６０が立体映像表示装置１０４の表示面１０８より飛び出しているかのように知覚する場合のみならず、図６のように、オブジェクト１７０が立体映像表示装置１０４の表示面１０８より奥まっているかのように知覚する場合にも適応できる。例えば、映像変換部１１４は、図６（ａ）に示されたオブジェクト像１７４ａをオブジェクト像１７８ａに変換し、図６（ｂ）に示されたオブジェクト像１７４ｂをオブジェクト像１７８ｂに変換する。したがって、ユーザは、図６（ａ）、（ｂ）に示す本来のオブジェクト１７０と位置および角度を等しくして、図６（ｃ）の如く、オブジェクト像１７８ａとオブジェクト像１７８ｂとによるオブジェクト１８０が奥まっているかのうように知覚する。
【００３７】
（具体的な映像変換処理）
続いて、映像変換部１１４による、具体的な映像変換処理（写像処理）を、図７を用いて説明する。図７では、左眼用の撮像装置１０２ａの光軸１０６ａに直交する左眼用仮想面１５２ａをＸ軸、その垂線（光軸１０６ａ）をＹ軸とし、左眼用仮想面１５２ａ（Ｘ軸）上の任意の点Ｐを立体映像表示装置１０４の表示面１０８をＸ’軸、その垂線をＹ’軸とした表示面１０８（Ｘ’軸）上の点Ｐ’に写像する計算式を求める。
【００３８】
図７中、点Ｏは輻輳点であり、点Ｐ’は、撮像装置１０２ａの主点Ｑと点Ｐとの結線を延長した線分と表示面１０８との交点であり、ＸＹ座標系において点Ｐの座標を（ｐ，０）、輻輳点Ｏの座標を（０，０）、点Ｐ’の座標を（ｘｐ，ｙｐ）とする（ただし、ここでは、ｐ＜０、ｘｐ＜０、ｙＰ＜０である。）。このとき線分ＯＱの長さは、輻輳点距離Ｄを用いて数式５で表すことができる。かかる数式５は主点ＱのＹ軸の値にも相当する。
【数５】
2012204904.tif 000007
…（数式５）
【００３９】
線分ＰＱの傾きは、（線分ＯＱの長さ）／（線分ＯＰの長さ）となるので、線分ＰＱは数式６によって表される。
【数６】
2012204904.tif 000008
…（数式６）
【００４０】
また、表示面１０８の横断面線に相当する線分ＯＰ’と線分ＯＰとが成す角はα／２なので、線分ＯＰ’は数式７によって表される。
【数７】
2012204904.tif 000009
…（数式７）
【００４１】
点Ｐ’は、線分ＰＱを延長した線と線分ＯＰ’との交点なので、数式６および数式７から、点Ｐ’の座標（ｘｐ，ｙｐ）は、数式８のように求められる。
【数８】
2012204904.tif 000010
…（数式８）
【００４２】
また、表示面１０８を基準とするＸ’Ｙ’座標系では、点Ｐ’のＸ’座標は線分ＯＰ’の長さに相当するので、数式９のように導出される。
【数９】
2012204904.tif 000011
…（数式９）
【００４３】
したがって、点Ｐから点Ｐ’への写像（座標変換）は、数式１０のように示すことができる。したがって、左眼用映像の水平方向の座標をｐとしたとき、それを数式１１に従って座標変換することで新たな左眼用映像を得ることが可能となることが理解できる。
【数１０】
2012204904.tif 000012
…（数式１０）
【数１１】
2012204904.tif 000013
…（数式１１）
【００４４】
右眼用映像の水平方向の座標をｐとしたときも、左眼映像同様、数式１２に従って座標変換することで新たな右眼用映像を得ることが可能となる。
【数１２】
2012204904.tif 000014
…（数式１２）
【００４５】
以上説明したように立体映像処理装置１００は、光軸の角度が異なる複数の撮像装置で生成された複数の映像データに基づく映像を適宜変換（写像）するので、ユーザに違和感のない自然な立体映像として知覚させることが可能となる。
【００４６】
（第２の実施形態：立体映像処理装置２００）
第１の実施形態では、立体映像処理装置１００が、２つの撮像装置１０２と立体映像表示装置１０４とを中継する例を挙げたが、ここでは、立体映像処理装置が撮像装置１０２と一体的に形成される例を挙げて説明する。特に、ここでは、多眼の立体映像撮像装置との一体化を想定している。
【００４７】
図８は、立体映像処理装置２００の概略的な構成を示した機能ブロック図である。図８でも、データの流れを実線の矢印で、制御信号を破線の矢印で示している。第２の実施形態における立体映像処理装置２００は、操作部２１０と、撮像部２１２（図８中、２１２ａ、２１２ｂで示す。）と、データ処理部２１４と、撮像状態情報取得部１１２と、映像変換部１１４と、映像再配置部１１６と、モニタ部２１６と、映像保持部２１８と、中央制御部２２０とを含んで構成される。したがって、立体映像処理装置２００は、上記の構成を含む、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、ゲーム機器等、様々な電子機器に適用できる。第１の実施形態における構成要素として既に述べた撮像状態情報取得部１１２と、映像変換部１１４と、映像再配置部１１６とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する操作部２１０と、撮像部２１２と、データ処理部２１４と、モニタ部２１６と、映像保持部２１８と、中央制御部２２０とを主に説明する。
【００４８】
操作部２１０は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、モニタ部２１６に重畳されたタッチパネル等で構成され、ユーザの操作入力を受け付ける。
【００４９】
撮像部２１２ａ、２１２ｂは、撮像レンズ２３０ａ、２３０ｂと、焦点調整に用いられるフォーカスレンズ２３２ａ、２３２ｂと、露光調整に用いられる絞り２３４ａ、２３４ｂと、撮像レンズ２３０ａ、２３０ｂを通じて入射した入射光を電気データ（映像データ）に変換する撮像素子２３６ａ、２３６ｂと、フォーカスレンズ２３２ａ、２３２ｂ、絞り２３４ａ、２３４ｂおよび撮像素子２３６ａ、２３６ｂをそれぞれ駆動させる駆動部２３８ａ、２３８ｂと、光軸を水平方向に回転させることで輻輳角を変更する輻輳角変更部２４０ａ、２４０ｂとを含んで構成され、光軸方向に存在する被写体を撮像して映像データ（静止画および動画のいずれのデータも含む）を生成してデータ処理部２１４に送信する。また、撮像部２１２は、上述したデータ取得部１１０としても機能する。また、輻輳角変更部２４０によって、被写体像の飛び出し具合や奥まり具合を調整できる。このように輻輳角が、逐次変更されたとしても、本実施形態の映像変換部１１４によって左眼用映像および右眼用映像が適宜変換されるので、ユーザに違和感のない自然な立体映像を知覚させることが可能となる。
【００５０】
データ処理部２１４は、撮像部２１２ａ、２１２ｂから受信した映像データに、ガンマ補正、ニー処理等の所定の処理を施し、処理後の映像データを映像変換部１１４または中央制御部２２０に送信する。
【００５１】
撮像状態情報取得部１１２は、撮像時において、上述した第１の実施形態における外部の２つの撮像装置１０２ａ、１０２ｂの代わりに、２つの撮像部２１２ａ、２１２ｂに関する撮像状態情報を取得する。また、撮像状態情報取得部１１２は、再生時において、映像保持部２１８に保持されている映像データに関連付けられた撮像状態情報を取得する。そして、第１の実施形態同様、映像変換部１１４は、撮像状態情報取得部１１２が取得した撮像状態情報に示された撮像状態に基づいて、左眼用映像データに基づく左眼用映像および右眼用映像データに基づく右眼用映像を、２つの撮像部２１２ａ、２１２ｂそれぞれの光軸１０６ａ、１０６ｂに直交する左眼用仮想面１５２ａ、右眼用仮想面１５２ｂから同一の表示面１０８に写像（投影）するように映像変換する。映像再配置部１１６は、立体映像の表示方式に従って映像変換部１１４が変換した左眼用映像および右眼用映像を再配置する。再配置された左眼用映像および右眼用映像は、モニタ部２１６に表示されるか外部の立体映像表示装置１０４に出力される。
【００５２】
モニタ部（ビューファインダ）２１６は、液晶表示器、有機ＥＬ(Electro Luminescence)表示器、ＬＥＤ（Light Emitting Diode）表示器等で構成され、後述する表示制御部２５４の制御指令に基づき、映像再配置部１１６で再配置された左眼用映像および右眼用映像を表示する。ユーザは、モニタ部２１６に表示された映像を視認しつつ操作部２１０を操作することで、被写体を所望する位置および占有面積で捉えることが可能となる。
【００５３】
映像保持部２１８は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、不揮発性ＲＡＭ（Random Access Memory）等で構成され、後述する記憶制御部２５２の制御指令に基づき、データ処理部２１４で処理された映像データを保持する。また、映像変換部１１４で映像変換した映像データを、データ処理部２１４で処理された映像データに代えて、または、加えて保持することもできる。また、映像保持部２１８は、ＤＶＤ（Digital Versatile Disk）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ポータブルメモリカード等、着脱可能な記憶媒体に映像データを保持させる装置として構成されてもよい。このとき、映像データをＭ−ＪＰＥＧ（Motion JPEG）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４／ＡＶＣなどの所定の符号化方式で符号化することもできる。
【００５４】
中央制御部２２０は、中央処理装置（ＣＰＵ）や信号処理装置（ＤＳＰ：Digital Signal Processor）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体映像処理装置２００全体を管理および制御する。また、中央制御部２２０は、映像制御部２５０、記憶制御部２５２、表示制御部２５４としても機能する。
【００５５】
映像制御部２５０は、ユーザの操作入力に応じて撮像部２１２を制御する。例えば、映像制御部２５０は、適切な映像データが得られるように、フォーカスレンズ２３２ａ、２３２ｂ、絞り２３４ａ、２３４ｂ、撮像素子２３６ａ、２３６ｂを駆動部２３８ａ、２３８ｂに駆動させ、被写体に焦点を合わせたり、露光、ズーム倍率を調整する。また、映像制御部２５０は、操作部２１０を通じたユーザの操作に応じて、または、立体映像処理装置２００内の何らかの動作に連動して輻輳角変更部２４０を制御し輻輳角を調整する。記憶制御部２５２は、撮像時に、データ処理部２１４での処理が完了した映像データ（または、映像変換部１１４で映像変換した映像データ）を映像保持部１１８に保持させる。表示制御部２５４は、映像変換部１１４における映像データの参照先を、撮像時にはデータ処理部２１４に、再生時には映像保持部２１８に切り換え、映像再配置部１１６で再配置された左眼用映像および右眼用映像をモニタ部２１６に表示させる。
【００５６】
（第３の実施形態：立体映像処理装置３００）
また、立体映像処理装置を立体映像表示装置１０４と一体的に形成することもできる。図９は、立体映像処理装置３００の概略的な構成を示した機能ブロック図である。図９でも、データの流れを実線の矢印で、制御信号を破線の矢印で示している。第３の実施形態における立体映像処理装置３００は、操作部２１０と、データ取得部１１０と、撮像状態情報取得部１１２と、映像変換部１１４と、映像再配置部１１６と、ディスプレイ部（テレビジョンやパーソナルコンピュータのディスプレイ部分）３１６とを含んで構成される。かかる構成は、第１の実施形態および第２の実施形態における構成要素として既に述べた操作部２１０と、データ取得部１１０と、撮像状態情報取得部１１２と、映像変換部１１４と、映像再配置部１１６と、モニタ部２１６と実質的に機能が同一なので重複説明を省略する。
【００５７】
第２の実施形態および第３の実施形態に示した立体映像処理装置２００、３００においても、光軸の角度が異なる複数の撮像部（撮像装置）で生成された複数の映像データに基づく映像を適宜変換するので、ユーザに違和感のない自然な立体映像として知覚させることが可能となる。
【００５８】
また、コンピュータを、立体映像処理装置１００、２００、３００として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。
【００５９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【００６０】
本発明は、被写体像を立体的に知覚させるための、水平視差を有する２つの映像データを生成する立体映像処理装置および立体映像処理方法に利用することができる。
【符号の説明】
【００６１】
１００、２００、３００  …立体映像処理装置
１１０  …データ取得部
１１２  …撮像状態情報取得部
１１４  …映像変換部
１１６  …映像再配置部
２１２  …撮像部
２１６  …モニタ部
２４０  …輻輳角変更部
３１６  …ディスプレイ部
【図１】
2012204904.tif 000017
【図２】
2012204904.tif 000018
【図３】
2012204904.tif 000019
【図４】
2012204904.tif 000020
【図５】
2012204904.tif 000021
【図６】
2012204904.tif 000022
【図７】
2012204904.tif 000023
【図８】
2012204904.tif 000024
【図９】
2012204904.tif 000025