(57)【要約】【課題】映像データの製作者に表示データ内の被写体像の視差を容易かつ正確に把握させる。【解決手段】立体映像処理装置１０６は、水平視差を有する２つの映像データを取得する映像データ取得部１１２と、２つの映像データを合成して表示データを生成する分離合成部１１４と、２つの映像データにおける所定の対象物の視差を導出し、視差を示す視差情報を生成する視差情報導出部１２４と、生成された視差情報を映像データに付された時刻情報に関連付けて保持する情報保持部１１６と、視差情報が示す視差と時刻情報が示す時刻とを対応させて２次元で表した映像を示す視差時間映像データを生成するデータ生成部１３０と、生成された視差時間映像データを表示データに重畳するデータ重畳部１４０と、視差時間映像データが重畳された表示データを表示部１４２に表示させる表示制御部１３２とを備える。【選択図】図２
2012182678.tif 000002
【特許請求の範囲】
【請求項１】
水平視差を有する２つの映像データを取得する映像データ取得部と、
前記２つの映像データを合成して表示データを生成する分離合成部と、
前記２つの映像データにおける所定の対象物の視差を導出し、前記視差を示す視差情報を生成する視差情報導出部と、
生成された前記視差情報を前記映像データに付された時刻情報に関連付けて保持する情報保持部と、
前記視差情報が示す視差と前記時刻情報が示す時刻とを対応させて２次元で表した映像を示す視差時間映像データを生成するデータ生成部と、
生成された前記視差時間映像データを前記表示データに重畳するデータ重畳部と、
前記視差時間映像データが重畳された表示データを表示部に表示させる表示制御部と、
を備えることを特徴とする立体映像処理装置。
【請求項２】
前記視差時間映像データは、前記視差情報が示す視差を前記時刻情報が示す時刻に関連付けたグラフを示す映像データであることを特徴とする請求項１に記載の立体映像処理装置。
【請求項３】
前記データ生成部は、前記所定の対象物を特定する指標を示す対象指標データを生成し、
前記データ重畳部は、前記２つの映像データのうちいずれか一方または両方に前記対象指標データを重畳することを特徴とする請求項１または２に記載の立体映像処理装置。
【請求項４】
水平視差を有する２つの映像データを取得し、
前記２つの映像データにおける所定の対象物の視差を導出し、前記視差を示す視差情報を生成し、
生成した前記視差情報を前記映像データに付された時刻情報に関連付けて保持し、
前記視差情報と前記時刻情報とを対応させて２次元で表した映像を示す視差時間映像データを生成し、
前記２つの映像データを合成して表示データを生成し、
生成した前記視差時間映像データを前記表示データに重畳し、
前記視差時間映像データが重畳された表示データを表示部に表示させることを特徴とする立体映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像を知覚させるための表示データを表示する立体映像処理装置および立体映像処理方法に関する。
【背景技術】
【０００２】
近年、ディスプレイ上に、水平視差（両眼視差）を有する２つの映像を提示し、観察者に対してあたかも被写体像が立体的に存在するように知覚させる立体映像の技術が脚光を浴びている。かかる技術で用いられる２つの映像は、異なる光軸（視点）それぞれにおいて撮像された映像、または、異なる光軸で撮像したものに相当するＣＧ（Computer Graphics）の映像である。かかる２つの映像に含まれる被写体像の遠近方向の結像位置は、被写体像の２つの映像間における視差の大小によって定まる。
【０００３】
このように被写体像の２つの映像間の視差を調整すれば被写体像の遠近方向の結像位置を変化させることができるが、視差を大きくとり過ぎて、被写体像が過度に飛び出して結像されたり、過度に奥まって結像されたりすると、観察者の目に負担がかかる場合がある。そこで、２つの映像データにおいて、所定の人物の顔を検出し、その人物の顔の視差を導出し、導出した視差が目標値と一致しない場合、２つの映像データのうちいずれか一方の被写体像を画像上の水平方向に移動させることで、視差が目標値となるように自動調整する技術が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１４７９４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的に立体映像を知覚させるための２つの映像を製作する場合、製作者（作業者）は、撮像により、またはＣＧ等の製作によりシーンごとに映像データを生成し、その後、各シーンの映像データをつなぎ合わせる。なお、シーンは、例えば、所定の場所で行われる動作を所定時間ごとに区切ったものである。
【０００６】
ここで、特許文献１の技術を利用した場合、シーンごとに視差の調整をすることはできるが、製作者は、視差がどのくらいであるかを定量的に把握することはできない。また、特許文献１の技術を利用して、視差を単に目標値にしてしまうと、被写体像の飛び出し量や奥まり量が目標値に低減し、映像が単調になってしまうおそれがある。
【０００７】
そこで本発明は、このような課題に鑑み、映像データの製作者に表示データ内の被写体像の視差を容易かつ正確に把握させることが可能な、立体映像処理装置および立体映像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の立体映像処理装置は、水平視差を有する２つの映像データを取得する映像データ取得部と、２つの映像データを合成して表示データを生成する分離合成部と、２つの映像データにおける所定の対象物の視差を導出し、視差を示す視差情報を生成する視差情報導出部と、生成された視差情報を映像データに付された時刻情報に関連付けて保持する情報保持部と、視差情報が示す視差と時刻情報が示す時刻とを対応させて２次元で表した映像を示す視差時間映像データを生成するデータ生成部と、生成された視差時間映像データを表示データに重畳するデータ重畳部と、視差時間映像データが重畳された表示データを表示部に表示させる表示制御部とを備えることを特徴とする。
【０００９】
視差時間映像データは、視差情報が示す視差を時刻情報が示す時刻に関連付けたグラフを示す映像データであってもよい。
【００１０】
データ生成部は、所定の対象物を特定する指標を示す対象指標データを生成し、データ重畳部は、２つの映像データのうちいずれか一方または両方に対象指標データを重畳してもよい。
【００１１】
上記課題を解決するために、本発明の立体映像処理方法は、水平視差を有する２つの映像データを取得し、２つの映像データにおける所定の対象物の視差を導出し、視差を示す視差情報を生成し、生成した視差情報を映像データに付された時刻情報に関連付けて保持し、視差情報と時刻情報とを対応させて２次元で表した映像を示す視差時間映像データを生成し、２つの映像データを合成して表示データを生成し、生成した視差時間映像データを表示データに重畳し、視差時間映像データが重畳された表示データを表示部に表示させることを特徴とする。
【発明の効果】
【００１２】
以上説明したように本発明は、映像データの製作者に表示データ内の被写体像の視差を容易かつ正確に把握させることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】立体映像製作システムの概略的な関係を示した機能ブロック図である。
【図２】立体映像処理装置の概略的な機能を示した機能ブロック図である。
【図３】視差表示モードにおける分離合成部の処理を説明するための説明図である。
【図４】オブジェクト検出部の動作を説明するための説明図である。
【図５】視差情報導出部の処理を説明するための説明図である。
【図６】記憶制御部の処理の一例を説明するための説明図である。
【図７】データ生成部による視差時間映像データの生成処理を説明するための説明図である。
【図８】データ生成部による視差時間映像データの生成処理を説明するための説明図である。
【図９】データ重畳部の処理を説明するための説明図である。
【図１０】視差表示モードにおいて表示部に表示された表示データを説明するための説明図である。
【図１１】立体映像処理方法の処理の流れを説明するためのフローチャートである。
【図１２】立体映像処理方法の処理の流れを説明するためのフローチャートである。
【図１３】視差導出モードと視差表示モードとを並行して行う場合に表示部に表示される視差時間映像データを説明するための説明図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１５】
（立体映像製作システム１００）
図１は、立体映像製作システム１００の概略的な関係を示した機能ブロック図である。立体映像処理システム１００は、製作者１０が水平視差を有する２つの映像データを生成するための装置、例えば、撮像のための立体映像撮像装置１０２やＣＧ生成のためのコンピュータ１０４と、生成された映像データを表示する立体映像処理装置１０６とを含んでなる。このように立体映像製作システム１００で製作された映像データは、例えば、映画館のスクリーン１０８等を通じて観察者１２に提供され、観察者１２は、偏光メガネ等を通じて提供された映像データを観察することができる。ここでは、理解を容易にするため、映像データを製作する者を製作者１０、その映像データを観察する者を観察者１２としているが、本実施形態が利用者によって限定されないのは言うまでもない。
【００１６】
本実施形態では、製作者１０が、製作した２つの映像データを編集等する際に、立体映像処理装置１０６に表示させることで、その２つの映像データにおける所定の被写体像の視差を容易に確認することができる。以下、立体映像処理装置１０６の具体的な構成について説明する。
【００１７】
（立体映像処理装置１０６）
図２は、立体映像処理装置１０６の概略的な機能を示した機能ブロック図である。図２に示すように、立体映像処理装置１０６は、操作部１１０と、映像データ取得部１１２と、分離合成部１１４と、情報保持部１１６と、中央制御部１１８と、データ重畳部１４０と、表示部１４２とを含んで構成される。図２中、実線はデータの流れを示し、破線は制御信号の流れを示している。
【００１８】
本実施形態では、製作者１０による操作部１１０への操作入力に応じて、中央制御部１１８が、映像データ取得部１１２が取得した２つの映像データの視差を順次抽出して、例えば、一度、１コンテンツ全体の映像データを流して１コンテンツ分の視差を導出する視差導出モードと、導出された視差に基づいて視差時間映像データを生成し、その視差時間映像データを表示データに重畳させたデータを表示部１４２に表示させる視差表示モードとに切り換える。なお、視差時間映像データについては、後に詳述する。
【００１９】
操作部１１０は、電源スイッチを含む操作キー、十字キー、ジョイスティック、表示部１４２の表示面に重畳されたタッチパネル等で構成され、製作者１０の操作入力を受け付ける。また、遠隔操作のためのリモートコントローラが設けられる場合、当該リモートコントローラも操作部１１０として機能する。
【００２０】
映像データ取得部１１２は、視差導出モードおよび視差表示モードにおいて、立体映像を知覚するための、異なる光軸（視点）それぞれにおいて撮像された映像、または、異なる光軸で撮像したものに相当するＣＧの映像をデータ化した、水平視差を有する左右２つの映像データ（以下、左右を識別する必要がある場合には、それぞれを右眼用映像データ、左眼用映像データと表現する。）を、ＨＤＭＩ（High-Definition Multimedia Interface）端子等の映像信号入力用の端子を通じて取得する。ここで、左右２つの映像データは独立して個々に取得されてもよいし、一体的なデータとして取得されてもよい。
【００２１】
ここで、一体的なデータのフォーマット形式としては、２つの映像データを左右並置したＬＲ独立方式、２つの映像データを水平方向に１／２圧縮して左右並置したサイドバイサイド方式、２つの映像データを垂直方向（鉛直方向）に１／２圧縮して上下並置したアバヴアンドビロウ方式、２つの映像データを時間方向に交互に配置したフレームシーケンシャル方式等が挙げられる。
【００２２】
分離合成部１１４は、視差導出モードにおいて、後述するフォーマット判別部１２０から出力された制御信号に応じて、映像データ取得部１１２が取得した２つの映像データを分離して、後述するオブジェクト検出部１２２による検出処理や、視差情報導出部１２４による視差導出処理に利用する。
【００２３】
また、分離合成部１１４は、視差表示モードにおいて、フォーマット判別部１２０から出力された制御信号に応じて、映像データ取得部１１２が取得した２つの映像データを一旦分離し、表示データを表示するために、表示部１４２の表示方式に応じて、分離された２つの映像データを合成する。表示方式としては、パッシブタイプの、ラインバイライン方式、チェッカーボード方式、アナグリフ方式、カラーコード３Ｄ方式、アクティブタイプのフレームシーケンシャル方式等が挙げられる。
【００２４】
ラインバイライン方式は、表示部１４２の表示面に、偏光特性が異なる２種類の偏光フィルタを隔行で（水平ライン毎に）交互に配置し、一方の偏光フィルタが配置された奇数ラインに右眼用映像データを、他方の偏光フィルタが配置された偶数ラインに左眼用映像データを表示させる方式である。チェッカーボード方式は、偏光特性が異なる２種類の偏光フィルタをラインではなく画素毎に配置した方式である。アナグリフ方式は、右眼用映像データおよび左眼用映像データをそれぞれ異なる色、例えば赤と青で表し、観察者１２に赤と青のカラーフィルタが施された色メガネで映像データを右眼および左眼に排他的に視認させる方式である。カラーコード３Ｄ方式は、アナグリフ方式における２つの色を青色とアンバー系の色に代えて色の再現性を高めた方式である。フレームシーケンシャル方式は、右眼用映像データと左眼用映像データを交互に表示部１４２に表示し、排他的に開閉する電子シャッタを通じて、右眼用映像データを製作者１０の右眼にのみ、左眼用映像データを製作者１０の左眼にのみ視認させる方式である。
【００２５】
図３は、視差表示モードにおける分離合成部１１４の処理を説明するための説明図である。例えば、映像データ取得部１１２が、図３（ａ）に示すような、２つの映像データが一体化されたサイドバイサイド方式の映像データ１５０を取得した場合、分離合成部１１４は、まず、図３（ｂ）のように、映像データ１５０を右眼用映像データ１５０ａと左眼用映像データ１５０ｂとに分離し、図３（ｃ）のように、右眼用映像データ１５０ａから奇数ラインの映像データを抽出し、左眼用映像データ１５０ｂからは偶数ラインの映像データを抽出すると共に、水平方向に画像を２倍に拡大し、最後に、右眼用映像データ１５０ａの奇数ラインと左眼用映像データ１５０ｂの偶数ラインとを合成して、図３（ｄ）のようなラインバイライン方式の表示データ１５２を生成する。ここでは、説明の便宜のためライン総数を８としているが、実際のライン総数は走査線数分（例えば１０８０本）あるので、当該表示データ１５２をそのまま裸眼で観察すると被写体像が視差を伴って重畳されているように錯覚する。
【００２６】
製作者１０は、視差表示モードにおいて、偏光特性が異なる２つの偏光フィルタが左右に設けられた偏光メガネを通じて上記の表示データ１５２を観察し、右眼用映像データ１５０ａを右眼のみで視認し、左眼用映像データ１５０ｂを左眼のみで視認する。したがって、製作者１０は、被写体像を表示部１４２より飛び出し側または奥行き側で結像して立体映像を知覚することができる。
【００２７】
情報保持部１１６は、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、不揮発性ＲＡＭ等の記憶媒体で構成され、様々な情報を保持する。視差導出モードにおいて、情報保持部１１６は、視差情報導出部１２４が導出した視差情報を、タイムコード取得部１２６が取得した時刻情報に関連付けて順次保持し、視差表示モードに備える。なお、視差情報は、視差を示す情報であり、時刻情報は、時刻を示す情報である。
【００２８】
中央制御部１１８は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体映像処理装置１０６全体を管理および制御する。また、本実施形態において、中央制御部１１８は、フォーマット判別部１２０、オブジェクト検出部１２２、視差情報導出部１２４、タイムコード取得部１２６、記憶制御部１２８、データ生成部１３０、表示制御部１３２としても機能する。
【００２９】
フォーマット判別部１２０は、視差導出モードおよび視差表示モードにおいて、映像データ取得部１１２が取得した２つの映像データが独立して個々に取得されたものか、または、一体的なデータとして取得されたものかを判定する。また、フォーマット判別部１２０は、２つの映像データが一体的なデータとして取得されたものであると判定すると、さらに、そのフォーマット形式がＬＲ独立方式、サイドバイサイド方式、アバヴアンドビロウ方式、フレームシーケンシャル方式等のいずれの方式であるかを判定して、その判定結果を分離合成部１１４に出力する。分離合成部１１４は、かかる判定結果によって２つの映像データのフォーマット形式を認識し、そのフォーマット形式に基づいて２つの映像データを分離する。また、フォーマット判別部１２０は、映像データ取得部１１２が取得した２つの映像データを自動判定せず、製作者１０の操作入力に応じて選択されたフォーマット形式を分離合成部１１４に出力するとしてもよい。
【００３０】
オブジェクト検出部１２２は、視差導出モードおよび視差表示モードにおいて、例えば、人の顔らしさを示す評価値に基づいて顔認識を行う既存の顔認識技術および抽出した顔のパターンマッチング等を利用し、２つの映像データにおける所定の対象物を検出する。オブジェクト検出部１２２は、視差導出モードにおいて、さらに、２つの映像データにおける所定の対象物の検出とともに、その所定の対象物を識別するための管理番号を生成して情報保持部１１６に保持させる。ここで、オブジェクト検出部１２２が検出する、所定の対象物（例えば、撮像を所望する対象者の顔等）は、製作者１０による操作入力に基づいて決定されてもよいし、予め定められていてもよい。
【００３１】
図４は、オブジェクト検出部１２２の動作を説明するための説明図である。オブジェクト検出部１２２は、例えば、製作者１０による操作入力に基づいて、１フレーム分の右眼用映像データ１５０ａおよび左眼用映像データ１５０ｂのそれぞれにおいて、所定の対象物（ここでは、所定の人物の顔）を検出する。そして、オブジェクト検出部１２２は、例えば、右眼用映像データ１５０ａおよび左眼用映像データ１５０ｂそれぞれにおいて、所定の人物の顔の範囲を示す顔検出枠１６０（図４中、１６０ａ、１６０ｂで示す）を生成する。続いて、オブジェクト検出部１２２は、映像データ１５０の左端と下端が交差する点Ｐを原点として、右眼用映像データ１５０ａにおける顔検出枠１６０ａの代表座標Ａと、左眼用映像データ１５０ｂにおける顔検出枠１６０ｂの代表座標Ｂを導出する。ここでは、例えば、図４中、顔検出枠１６０の左端と下端が交差する点を代表座標としている。
【００３２】
視差情報導出部１２４は、視差導出モードにおいて、オブジェクト検出部１２２が導出した代表座標Ａ、Ｂに基づいて、右眼用映像データ１５０ａにおける所定の人物の顔と左眼用映像データ１５０ｂにおける所定の人物の顔の視差ΔＸを導出する。ここでは、視差情報導出部１２４は、１フレームごとに視差ΔＸを導出する。
【００３３】
図５は、視差情報導出部１２４の処理を説明するための説明図である。図５に示すように、まず視差情報導出部１２４は、右眼用映像データ１５０ａにおいて、原点Ｐから代表座標Ａまでの水平方向の距離Ｍを導出する。また、視差情報導出部１２４は、左眼用映像データ１５０ｂにおいて、原点Ｐから代表座標Ｂまでの水平方向の距離Ｎを導出する。そして、視差情報導出部１２４は、以下の数式（１）を用いて視差ΔＸを導出する。なお、ここで距離Ｎ、距離Ｍ、視差ΔＸは、画素数（ｐｉｘｅｌ）で導出される。
ΔＸ＝Ｎ−Ｍ
…数式（１）
【００３４】
また、視差情報導出部１２４は、以下の数式（２）を用いて、視差ΔＸと表示幅Ｘとの比（％）である視差率Ｑを導出してもよい。
Ｑ＝ΔＸ／Ｘ×１００（％）
…数式（２）
【００３５】
そして視差情報導出部１２４は、所定数のフレーム分の視差ΔＸを平均化し、所定数のフレーム分の視差率Ｑを平均化し、その平均値を示す視差情報をそれぞれ生成する。
【００３６】
タイムコード取得部１２６は、視差導出モードおよび視差表示モードにおいて、映像データに付された、映像データの生成された時刻を示す時刻情報を取得する。
【００３７】
記憶制御部１２８は、視差導出モードにおいて、視差情報導出部１２４が生成した視差情報をタイムコード取得部１２６が取得した時刻情報に関連付けて情報保持部１１６に保持させる。
【００３８】
図６は、記憶制御部１２８の処理の一例を説明するための説明図である。図６（ａ）に示すように、例えば、視差情報導出部１２４が、時刻ｔ１、ｔ２、…の前後所定数（例えば、前後合わせて１２０フレーム）のフレーム分の視差ΔＸの平均値および視差率Ｑの平均値を導出したとする。
【００３９】
この場合、図６（ｂ）に示すように、タイムコード取得部１２６は、例えば、所定数のフレームのうち、中心に位置するフレームの時刻情報を取得し、記憶制御部１２８は、その時刻情報が示す「時刻１７０」に関連付けて、映像データ取得部１１２が取得した映像データを識別するための「識別コード１７２ａ」、オブジェクト検出部１２２が検出した対象物を識別するための管理番号「管理番号１７２ｂ」、時刻１７０の前後所定数のフレーム分の視差ΔＸの平均値「視差（ｐｉｘｅｌ）１７２ｃ」、時刻１７０の前後所定数のフレーム分の視差率Ｑの平均値「視差率（％）１７２ｄ」をデータベース化した視差データベース１７４を情報保持部１１６に保持させる。
【００４０】
データ生成部１３０は、視差表示モードにおいて、情報保持部１１６に保持された視差データベース１７４を参照して、視差情報が示す視差率Ｑの平均値と時刻情報が示す時刻とを対応させて２次元で表した映像を示す視差時間映像データを生成する。ここでは、データ生成部１３０が１コンテンツ（ストリーム）分の視差時間映像データを生成する場合を例に挙げて説明する。
【００４１】
図７、図８は、データ生成部１３０による視差時間映像データの生成処理を説明するための説明図である。図７に示すように、例えば、データ生成部１３０は、時刻を横軸として、視差率（％）を縦軸として、情報保持部１１６に保持された、時刻情報に基づいて視差率をグラフ化した映像を示す視差時間映像データ１８０を生成する。ここでは、視差率をグラフ化しているが、視差（ｐｉｘｅｌ）をグラフ化してもよい。図７（ａ）は視差率を棒グラフでグラフ化した例を、図７（ｂ）は視差率を折れ線グラフでグラフ化した例を、図７（ｃ）は視差率を棒グラフおよび折れ線グラフでグラフ化した例を示す。
【００４２】
このようにデータ生成部１３０が生成した視差時間映像データ１８０を、表示制御部１３２が表示部１４２に表示させることにより、製作者１０は、１コンテンツ分の映像データ１５０全体の視差の経時変化を把握することができる。したがって製作者１０は、１つのコンテンツにおいてストーリーが盛り上がる時間等に視差の変化を対応させることができ、製作者１０が所望する映像データ１５０を作成することが可能となる。
【００４３】
また、製作者１０は一般的に、シーンごとに映像データを生成して、そのシーンごとの映像データをつなぎ合わせて１つのコンテンツを作成することが多い。本実施形態では、視差時間映像データ１８０を表示部１４２に表示させることにより、製作者１０は、１つのコンテンツ分の視差の経時変化を把握することができるので、シーン間の視差の変化を容易に把握することが可能となる。
【００４４】
さらに、視差の変化が大きいところは、シーンや状態が頻繁に変わる、いわゆるコンテンツにおける要所（見どころ）であることが多い。したがって、製作者１０は、視差時間映像データ１８０を視認することで、視差の変化が大きいところを容易に把握することができ、その視差の変化が大きい映像データ１５０を集めることで、見どころを集めた映像データ（ダイジェスト版、予告版）を簡単に作成することが可能となる。
【００４５】
また、図７（ａ）、（ｂ）、（ｃ）に示すように、データ生成部１３０は、視差時間映像データ１８０に超過値を示す線１８２ａ、１８２ｂを重畳してもよい。ここで、超過値は、視差を調整するか否かを判断する際の目安となる視差である。超過値は、製作者１０等により予め設定される値であり、例えば、飛び出し側の超過値を＋２０％、奥行き側の超過値を−４％とする。ここで、線１８２ａは、飛び出し側の値を、線１８２ｂは、奥行き側の値を示す。
【００４６】
このように、視差時間映像データ１８０に超過値を示す線１８２ａ、１８２ｂを重畳させることで、製作者１０は、人の目に負担がかかるおそれのある視差に超過値を設定しておけば、視差時間映像データ１８０を視認するだけで、映像データ１５０における視差が超過値を超えたか否かを瞬時に把握することができる。したがって、超過値を超えた映像データ１５０を、再度製作しなおしたり、既存の方法で視差を調整したりすることで、観察者１２の目に負担をかけない自然な映像データ１５０を製作することが可能となる。
【００４７】
さらに、データ生成部１３０は、任意の時刻の視差と次の時刻の視差との変化量（％／Ｔ）を導出することもできる。この場合、データ生成部１３０は、時刻を横軸として、変化量（％／Ｔ）を縦軸として、導出した変化量をグラフ化した映像を示す視差時間映像データ１８４を生成する。図８は、変化量を棒グラフでグラフ化し、視差率（％）を折れ線グラフでグラフ化した例を示す。なお、データ生成部１３０は、視差率の経時変化を示す折れ線グラフを生成し、その折れ線グラフの傾きを求めることで、変化量を導出することもできる。
【００４８】
このように、データ生成部１３０が、導出した変化量をグラフ化した映像を示す視差時間映像データ１８４を生成することにより、製作者１０は、１つのコンテンツ分の映像データ１５０全体の視差の変化量を把握することができる。したがって、製作者１０はシーン間の視差の変化量をも容易に把握することができ、シーン間で急激に視差が変化しているか否かを判定することが可能となる。
【００４９】
また、データ生成部１３０は、視差表示モードにおいて、視差時間映像データにおける、表示部１４２に現在表示されている表示データの時刻位置を指す映像（指標）を示す現在指標データ、および、視差時間映像データに対応する対象物を特定する映像（指標）を示す対象指標データを生成する。本実施形態において、データ生成部１３０はオブジェクト検出部１２２が生成した顔検出枠１６０ａ、１６０ｂを対象指標データとして利用する。なお、データ生成部１３０は、データ重畳部１４０が右眼用映像データ１５０ａに重畳する対象指標データと、左眼用映像データ１５０ｂに重畳する対象指標データとの表示態様が異なるように対象指標データを生成してもよい。
【００５０】
そして、データ生成部１３０は、視差表示モードにおいて、生成した視差時間映像データ、現在指標データと、対象指標データとを、これらを表示させる位置（座標）を示す情報とともにデータ重畳部１４０に送信する。
【００５１】
表示制御部１３２は、視差表示モードにおいて、表示データ１５２に、視差時間映像データ、現在指標データ、対象指標データを重畳したデータである、後述する重畳データ１９０を表示部１４２に表示させる。
【００５２】
データ重畳部１４０は、例えば、キャラクタジェネレータで構成され、視差表示モードにおいて、データ生成部１３０から送信された視差時間映像データ１８０、現在指標データ１８６、対象指標データ１８８や、表示部１４２の表示状態を示すＯＳＤ等を表示データ１５２に重畳する。なお、データ重畳部１４０は、２つの映像データ１５０のうちいずれか一方または両方に対象指標データを重畳するが、ここでは、２つの映像データ１５０両方に対象指標データを重畳する場合を例に挙げて説明する。
【００５３】
図９は、データ重畳部１４０の処理を説明するための説明図である。図９に示すように、データ重畳部１４０は、視差表示モードにおいて、分離合成部１１４から送信された表示データ１５２に、視差時間映像データ１８０と、現在指標データ１８６と、対象指標データ１８８ａ、１８８ｂとを重畳して重畳データ１９０を生成する。
【００５４】
表示部１４２は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、表示制御部１３２の制御信号に応じて表示データを表示する。表示部１４２は、視差表示モードにおいて、データ生成部１３０が生成したデータ（視差時間映像データ１８０、現在指標データ１８６、対象指標データ１８８）がデータ重畳部１４０により表示データ１５２に重畳された重畳データ１９０を表示する。
【００５５】
図１０は、視差表示モードにおいて表示部１４２に表示された重畳データ１９０を説明するための説明図である。図１０に示すように、重畳データ１９０には、表示データ１５２に、視差時間映像データ１８０と、現在指標データ１８６と、対象指標データ１８８ａ、１８８ｂとが重畳されている。
【００５６】
このように、重畳データ１９０を表示部１４２に表示することで、製作者１０は、視差時間映像データ１８０を視認して、視差の経時変化や視差の変化量を迅速かつ直感的に把握することができる。
【００５７】
また、製作者１０は現在指標データ１８６を視認することで、現在表示されている表示データ１５２の視差がどの程度であるかを瞬時に把握することができる。なお、ダイヤル等で構成される操作部１１０を回転させることにより早送りや巻き戻しができる場合、データ生成部１３０は、操作部１１０の回転に対応して、現在指標データ１８６を表示させる位置を、図１０中左右方向（図１０中、白抜き矢印で示す）に変更する。
【００５８】
さらに、製作者１０は、対象指標データ１８８を視認することで、どの対象物の視差に関する視差時間映像データ１８０が表示されているかを把握することが可能となる。
【００５９】
以上説明したように、本実施形態の立体映像処理装置１０６によれば、製作者１０は、視差情報導出部１２４によって２次元化された映像を示す視差時間映像データ１８０、１８４を視認して、視差の経時変化や視差の変化量を迅速かつ直感的に把握することができるので、所望する表示状態となる映像データ１５０を容易に製作することが可能となる。
【００６０】
（立体映像処理方法）
図１１、図１２は、本実施形態にかかる立体映像処理方法の処理の流れを説明するためのフローチャートであり、図１１は、視差導出モードの処理の流れを、図１２は、視差表示モードの処理の流れを示す。
【００６１】
（視差導出モード）
図１１に示すように、製作者１０による操作部１１０への操作入力に応じて、視差導出モードが選択される（Ｓ２００におけるＹＥＳ）と、映像データ取得部１１２は、１コンテンツ分の２つの映像データ１５０を１フレームずつ順次取得する（Ｓ２０２）。フォーマット判別部１２０は、取得された映像データ１５０のフォーマット形式を判定して判定結果を分離合成部１１４に出力し、分離合成部１１４は、この判定結果によってフォーマット形式を認識してそのフォーマット形式に基づいて２つの映像データ１５０を右眼用映像データ１５０ａと、左眼用映像データ１５０ｂとに分離する（Ｓ２０４）。
【００６２】
そして、オブジェクト検出部１２２は、右眼用映像データ１５０ａおよび左眼用映像データ１５０ｂから所定の対象物を検出する（Ｓ２０６）。視差情報導出部１２４は、オブジェクト検出部１２２が検出した所定の対象物の視差を導出する（Ｓ２０８）。そして、視差情報導出部１２４は、所定数のフレーム分の視差を導出したか否かを判定し（Ｓ２１０）、所定数のフレーム分の視差を導出したら（Ｓ２１０におけるＹＥＳ）、導出した視差を平均化し、その平均値を示す視差情報を生成する（Ｓ２１２）。
【００６３】
一方、タイムコード取得部１２６は、例えば、視差情報導出部１２４が視差の平均値の導出の際に用いた所定数のフレームのうち、中心に位置するフレームの時刻情報を取得する（Ｓ２１４）。そして、記憶制御部１２８は、タイムコード取得部１２６が導出した時刻情報に関連付けて、視差情報導出部１２４が導出した視差情報を情報保持部１１６に順次保持させ、視差データベース１７４を生成する（Ｓ２１６）。
【００６４】
中央制御部１１８は、映像データ取得部１１２が取得した１コンテンツ分の映像データのすべてのフレームに関して、映像データ取得処理Ｓ２０２から視差情報記憶処理Ｓ２１６までの処理が行われたか否かを判定する（Ｓ２１８）。すべてのフレームに関してＳ２０２〜Ｓ２１６の処理が終了したと判定されると（Ｓ２１８におけるＹＥＳ）、視差導出モードを終了する。
【００６５】
（視差表示モード）
続いて、視差時間映像データを表示する視差表示モードについて説明する。なお、映像データ取得処理Ｓ２０２、映像データ分離処理Ｓ２０４、オブジェクト検出処理Ｓ２０６は、上述した視差導出モードにおいて、説明した処理と実質的に処理が等しいので、同一の符号を付して説明を省略する。
【００６６】
図１２に示すように、製作者１０による操作部１１０への操作入力に応じて、視差表示モードが選択されると（Ｓ２５０におけるＹＥＳ）、立体映像処理装置１０６は、映像データ取得処理Ｓ２０２、映像データ分離処理Ｓ２０４、オブジェクト検出処理Ｓ２０６を遂行する。
【００６７】
そして、データ生成部１３０は、視差導出モードにおける視差情報記憶処理Ｓ２１６で生成された視差データベース１７４を参照して、視差時間映像データ１８０を生成する（Ｓ２５２）。また、データ生成部１３０は、映像データ分離処理Ｓ２０４において分離合成部１１４が分離した映像データ１５０に付された時刻情報に基づいて現在指標データ１８６を生成し、オブジェクト検出処理Ｓ２０６においてオブジェクト検出部１２２が生成した顔検出枠１６０を取得して対象指標データ１８８とする（Ｓ２５４）。
【００６８】
分離合成部１１４は、映像データ分離処理Ｓ２０４において一旦分離した映像データ１５０を、表示部１４２の表示方式に応じて、合成して表示データ１５２を生成する（Ｓ２５６）。データ重畳部１４０は、視差時間映像データ生成処理Ｓ２５２で生成された視差時間映像データ１８０と、指標生成処理Ｓ２５４で生成された現在指標データ１８６と、対象指標データ１８８とを、表示データ生成処理Ｓ２５６で生成した表示データ１５２に重畳して重畳データ１９０を生成する（Ｓ２５８）。そして、表示制御部１３２は、重畳データ１９０を表示部１４２に表示させる（Ｓ２６０）。
【００６９】
中央制御部１１８は、映像データ取得部１１２が取得した１コンテンツ分の映像データのすべてのフレームに関して、表示処理Ｓ２６０が終了したか、または製作者１０による操作部１１０への表示の停止を遂行する旨の操作入力があると（Ｓ２６２におけるＹＥＳ）、視差表示モードを終了する。
【００７０】
以上説明したように、立体映像処理装置１０６を用いた映像処理方法においても、映像データの製作者に表示データ内の被写体像の視差を容易かつ正確に把握させることが可能となる。
【００７１】
また、コンピュータを立体映像処理装置１０６として機能させる立体映像処理プログラムや、その立体映像処理プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記録媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００７２】
なお、上述した実施形態では、１つの対象物に関する視差時間映像データ１８０を表示させる例について説明したが、複数の対象物に関するそれぞれの視差時間映像データを表示させることもできる。この場合、同一の対象物について、対象指標データの表示態様と、視差時間映像データの表示態様とを関連づけて（例えば、同じ色の枠で表示する等）おいてもよい。
【００７３】
また、上述した実施形態では、視差導出モードで１つのコンテンツすべての視差を導出し、その後、視差表示モードで視差時間映像データを生成して、表示制御部１３２が表示部１４２に視差時間映像データを表示させているが、視差導出モードと視差表示モードとを並行して行うこともできる。
【００７４】
図１３は、視差導出モードと視差表示モードとを並行して行う場合に、表示部１４２に表示される視差時間映像データを説明するための説明図である。図１３に示すように、視差導出モードと視差表示モードとを並行して行う場合、視差情報導出部１２４が導出した視差で視差時間映像データ１８０を順次生成し、表示データの生成とともに視差時間映像データ１８０を順次表示させる。こうすることで、製作者１０は、視差の変化をほぼリアルタイムで把握することができる。ただし、この場合、現在の視差情報を表示させることはできないため、現在指標データ１８６は表示させない。
【００７５】
また、立体映像処理装置１０６では、映像データ取得部１１２が他の装置が生成した映像データ１５０を取得している構成を例に挙げて説明したが、映像データ取得部１１２が撮像部として機能してもよい。この場合、図１３に示すように、視差導出モードと視差表示モードとを並行させて処理することで、製作者１０が撮像しながら視差の変化を把握することが可能となる。
【００７６】
さらに、上述した立体映像処理方法において、視差情報導出部１２４は、所定数のフレーム毎に視差情報を導出しているが、これに限定されず、１フレームごとに生成しても、製作者１０による操作部１１０への操作入力に基づくタイミングで生成しても、所定時間間隔ごとに生成してもよい。
【００７７】
また、視差情報導出部１２４は、超過値と視差率との差分（超過視差）を導出し、表示制御部１３２は、超過視差を表示部１４２に表示させることもできる。これにより、製作者１０は、超過視差を視認することができ、これを視認することで、どの程度視差を調整すればよいかを簡単に把握することができる。
【００７８】
さらに、上述した立体映像処理装置１０６では、分離合成部１１４やデータ重畳部１４０がハードウェアで構成される例を挙げているが、かかる場合に限られず、すべての映像処理を中央制御部１１８内のソフトウェアで実行し、視差時間映像データ、現在指標データ、対象指標データが重畳された最終的な重畳データ１９０を表示部１４２に表示させるとしてもよい。
【００７９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８０】
例えば、上述した実施形態においては、各機能部が立体映像処理装置１０６単体内で処理されているが、その機能部を別体の装置で実現し、合わせて本発明の目的を達成するとしてもよい。例えば、分離合成部１１４による映像データ１５０の分離機能や合成機能を別体の３Ｄコンバータで実現したり、データ重畳部１４０の機能を別体のプロジェクタ等で実現したりしてもよい。
【００８１】
なお、本明細書の立体映像処理方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００８２】
本発明は、立体映像を知覚させるための表示データを表示する立体映像処理装置および立体映像処理方法に利用することができる。
【符号の説明】
【００８３】
１０６  …立体映像処理装置
１１２  …映像データ取得部
１１４  …分離合成部
１１６  …情報保持部
１２４  …視差情報導出部
１３０  …データ生成部
１３２  …表示制御部
１４０  …データ重畳部
１４２  …表示部
【図１】
2012182678.tif 000003
【図２】
2012182678.tif 000004
【図３】
2012182678.tif 000005
【図４】
2012182678.tif 000006
【図５】
2012182678.tif 000007
【図６】
2012182678.tif 000008
【図７】
2012182678.tif 000009
【図８】
2012182678.tif 000010
【図９】
2012182678.tif 000011
【図１０】
2012182678.tif 000012
【図１１】
2012182678.tif 000013
【図１２】
2012182678.tif 000014
【図１３】
2012182678.tif 000015