(57)【要約】【課題】  ビデオデータとビデオデータ以外のデータとを適切な三次元映像として表示することができる電子機器を提供すること。【解決手段】  実施形態によれば、電子機器は第１生成手段、配置制御手段、第２生成手段及び表示制御手段を具備する。第１生成手段は、前記ビデオデータの画像フレームを解析することによって当該画像フレームに含まれる画素毎の奥行き位置を推定し、前記画素毎の奥行き位置に基づいた視差の、前記画像フレームに対応する第１の左眼用画像データと第１の右眼用画像データとを生成する。配置制御手段は、前記画素毎の奥行き位置の内で最も手前の奥行き位置に基づいて、副画像を表示する奥行き位置を決定する。第２生成手段は、前記決定された副画像の奥行き位置に基づいた視差の、前記追加データに対応する第２の左眼用画像データと第２の右眼用画像データとを生成する。表示制御手段は生成した画像データを画面に表示させる。【選択図】図５
2012023635.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータと副画像を表示するための追加データとを含むコンテンツデータを再生する電子機器であって、
前記ビデオデータの画像フレームを解析することによって当該画像フレームに含まれる画素毎の奥行き位置を推定し、前記推定した画素毎の奥行き位置に基づいた視差の、前記画像フレームに対応する第１の左眼用画像データと第１の右眼用画像データとを生成する第１生成手段と、
前記画像フレーム内の画素毎の奥行き位置の内で最も手前の奥行き位置に基づいて、前記副画像を表示する奥行き位置を決定する配置制御手段と、
前記決定された副画像の奥行き位置に基づいた視差の、前記追加データに対応する第２の左眼用画像データと第２の右眼用画像データとを生成する第２生成手段と、
前記第１の左眼用画像データ、前記第１の右眼用画像データ、前記第２の左眼用画像データ、及び前記第２の右眼用画像データを用いて生成された画像フレームをディスプレイの画面に表示させる表示制御手段とを具備する電子機器。
【請求項２】
前記配置制御手段は、前記最も手前の奥行き位置が前記ディスプレイの画面に対応する奥行き位置よりも手前である場合、前記副画像を表示する奥行き位置を前記ディスプレイの画面に対応する奥行き位置に決定する、請求項１記載の電子機器。
【請求項３】
前記配置制御手段は、前記最も手前の奥行き位置が前記ディスプレイの画面に対応する奥行き位置よりも手前でない場合、前記副画像を表示する奥行き位置を前記最も手前の奥行き位置に決定する、請求項１記載の電子機器。
【請求項４】
前記配置制御手段は、前記画像フレーム内の画素毎の奥行き位置が推定される毎に、前記副画像を表示する、奥行き位置を決定する請求項１記載の電子機器。
【請求項５】
前記配置制御手段は、一定期間毎に、前記副画像を表示する奥行き位置を決定する、請求項１記載の電子機器。
【請求項６】
前記表示制御手段は、前記第１の左眼用画像データ及び前記第２の左眼用画像データを用いた画像フレームと、前記第１の右眼用画像データ及び前記第２の右眼用画像データを用いた画像フレームとを交互に表示する、請求項１記載の電子機器。
【請求項７】
前記表示制御手段は、前記第１の左眼用画像データ及び前記第２の左眼用画像データを用いた画像フレームと、前記第１の右眼用画像データ及び前記第２の右眼用画像データを用いた画像フレームとを走査線単位でインタリーブした画像を表示する、請求項１記載の電子機器。
【請求項８】
前記配置制御手段は、前記副画像を表示する奥行き位置を、ユーザによって指定された奥行き位置に決定する、請求項１記載の電子機器。
【請求項９】
前記追加データは、ブロードキャスト・マークアップ・ランゲージに基づいて記述されたデータを含む、請求項１記載の電子機器。
【請求項１０】
前記追加データは、ユーザからの操作入力を受け付けるための画像についてのデータを含む、請求項１記載の電子機器。
【請求項１１】
ビデオデータと副画像を表示するための追加データとを含むコンテンツデータを再生する画像処理方法であって、
前記ビデオデータの画像フレームを解析することによって画像フレームに含まれる画素毎の奥行き位置を推定し、前記推定した画素毎の奥行き位置に基づいた視差の、前記画像フレームに対応する第１の左眼用画像データと第１の右眼用画像データとを生成し、
前記画像フレーム内の画素毎の奥行き位置の内で最も手前の奥行き位置に基づいて、前記副画像を表示する奥行き位置を決定し、
前記決定された副画像の奥行き位置に基づいた視差の、前記追加データに対応する第２の左眼用画像データと第２の右眼用画像データとを生成し、
前記第１の左眼用画像データ、前記第１の右眼用画像データ、前記第２の左眼用画像データ、及び前記第２の右眼用画像データを用いて生成された画像フレームをディスプレイの画面に表示させる画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、三次元映像コンテンツを再生する電子機器及び該機器に適用される画像処理方法に関する。
【背景技術】
【０００２】
従来から、三次元映像を観賞可能にする様々な映像表示装置が提供されている。このような映像表示装置では、例えば、両眼視差に基づく左眼用映像と右眼用映像とを用いて、ユーザに三次元映像（立体映像）を知覚させる。
【０００３】
一般に、放送やネットワークを介して受信される映像コンテンツのほとんどは、二次元映像を含む映像コンテンツデータである。そのような映像コンテンツデータを用いて三次元映像を視聴するために、二次元映像を三次元映像に変換する種々の技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−３２７４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、映像コンテンツデータには、地上デジタル放送信号に含まれるデータ放送信号のように、映像データ以外の追加データ、例えば静止画像やテキストのように三次元化に適さないデータも含まれている。したがって、二次元映像を三次元映像に変換する技術を用いて、静止画像やテキストに対して三次元化処理を施しても、その静止画像やテキストに適切な立体感を持たせることは困難である。そのため、映像データと、映像データ以外の追加データ（静止画像やテキスト）とに三次元化処理を施して生成された三次元映像では、ユーザは、例えば、映像が立体化された領域に、静止画像やテキストが立体化された領域がめり込むような違和感を覚える可能性がある。
【０００６】
本発明は、ビデオデータとビデオデータ以外のデータとを適切な三次元映像として表示することができる電子機器及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態によれば、電子機器は、ビデオデータと副画像を表示するための追加データとを含むコンテンツデータを再生する電子機器であって、第１生成手段、配置制御手段、第２生成手段、及び表示制御手段を具備する。第１生成手段は、前記ビデオデータの画像フレームを解析することによって当該画像フレームに含まれる画素毎の奥行き位置を推定し、前記推定した画素毎の奥行き位置に基づいた視差の、前記画像フレームに対応する第１の左眼用画像データと第１の右眼用画像データとを生成する。配置制御手段は、前記画像フレーム内の画素毎の奥行き位置の内で最も手前の奥行き位置に基づいて、前記副画像を表示する奥行き位置を決定する。第２生成手段は、前記決定された副画像の奥行き位置に基づいた視差の、前記追加データに対応する第２の左眼用画像データと第２の右眼用画像データとを生成する。表示制御手段は、前記第１の左眼用画像データ、前記第１の右眼用画像データ、前記第２の左眼用画像データ、及び前記第２の右眼用画像データを用いて生成された画像フレームをディスプレイの画面に表示させる。
【図面の簡単な説明】
【０００８】
【図１】一実施形態に係る電子機器の外観を示す斜視図。
【図２】同実施形態の電子機器のシステム構成を示すブロック図。
【図３】同実施形態の電子機器による映像コンテンツデータ再生の流れを示す概念図。
【図４】同実施形態の電子機器によって実行される奥行き決定処理の手順の例を示すフローチャート。
【図５】同実施形態の電子機器によって実行される映像再生アプリケーションプログラムの構成を示すブロック図。
【図６】同実施形態の電子機器によって実行される映像再生アプリケーションプログラムによって表示される画面の例を示す図。
【図７】同実施形態の電子機器によって実行される映像再生アプリケーションプログラムによって表示される画面の別の例を示す図。
【図８】同実施形態の電子機器によって実行される映像再生アプリケーションプログラムによって決定される副画像が表示される奥行き方向の位置の例を示す図。
【図９】同実施形態の電子機器によって実行される映像再生アプリケーションプログラムによって決定される副画像が表示される奥行き方向の位置の別の例を示す図。
【図１０】同実施形態の電子機器によって実行される映像再生処理の手順の例を示すフローチャート。
【図１１】同実施形態の電子機器によって実行される奥行き決定処理の手順の別の例を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、実施の形態について図面を参照して説明する。  
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１として実現される。図１に示すように、本コンピュータ１は、コンピュータ本体２と、ディスプレイユニット３とから構成される。
【００１０】
ディスプレイユニット３には、ＬＣＤ（liquid crystal display）１５が組み込まれている。ディスプレイユニット３は、コンピュータ本体２の上面が露出される開放位置とコンピュータ本体２の上面を覆う閉塞位置との間を回動自在にコンピュータ本体２に取り付けられている。
【００１１】
コンピュータ本体２は、薄い箱形の筐体を有しており、その上面には、キーボード２６、本コンピュータ１を電源オン／電源オフするためのパワーボタン２８、入力操作パネル２９、タッチパッド２７、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル２９上には、各種操作ボタンが設けられている。これらボタン群には、ＴＶ機能（視聴、録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。また、コンピュータ本体２の正面には、本コンピュータ１のＴＶ機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部３０が設けられている。リモコンユニットインタフェース部３０は、例えば赤外線信号受信部などから構成されている。
【００１２】
コンピュータ本体２の例えば右側面には、ＴＶ放送用のアンテナ端子３２が設けられている。また、コンピュータ本体２の例えば背面には、例えばＨＤＭＩ（high-definition multimedia interface）規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ（動画像データ）を外部ディスプレイに出力するために用いられる。
【００１３】
図２は、本コンピュータ１のシステム構成を示す図である。  
本コンピュータ１は、図２に示すように、ＣＰＵ１１、ノースブリッジ１２、主メモリ１３、表示コントローラ１４、ビデオメモリ（ＶＲＡＭ）１４Ａ、ＬＣＤ（Liquid Crystal Display）１５、サウスブリッジ１６、サウンドコントローラ１７、スピーカ１８Ａ，１８Ｂ、ＢＩＯＳ−ＲＯＭ１９、ＬＡＮコントローラ２０、ハードディスクドライブ（ＨＤＤ）２１、光ディスクドライブ（ＯＤＤ）２２、無線ＬＡＮコントローラ２３、ＵＳＢコントローラ２４、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）２５、キーボード（ＫＢ）２６、ポインティングデバイス２７、リモコンユニットインタフェース部３０、ＴＶチューナ３１等を備えている。
【００１４】
ＣＰＵ１１は、本コンピュータ１の動作を制御するプロセッサである。ＣＰＵ１１は、ＨＤＤ２１から主メモリ１３にロードされる、オペレーティングシステム（ＯＳ）１３Ａ、及び映像コンテンツ再生アプリケーションプログラム１３Ｂ等のようなアプリケーションプログラムを実行する。映像コンテンツ再生アプリケーションプログラム１３Ｂは、映像コンテンツデータを視聴するための機能を有するソフトウェアである。この映像コンテンツ再生アプリケーション１３Ｂは、ＴＶチューナ３１によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＨＤＤ２１に記録する録画処理、ＨＤＤ２１に記録された放送番組データ／ビデオデータを再生する再生処理、ネットワークを介して受信された映像コンテンツデータを再生する再生処理等を実行する。さらに、映像コンテンツ再生アプリケーション１３Ｂは、三次元映像を視聴するための機能も有する。映像コンテンツ再生アプリケーション１３Ｂは、映像コンテンツデータに含まれる二次元映像を三次元映像にリアルタイムで変換してＬＣＤ１５の画面上に表示する。
【００１５】
三次元映像の表示には、例えば、シャッター方式（時分割方式とも云う）を用いてもよい。シャッター方式の三次元映像表示では、左眼用ビデオデータと右眼用ビデオデータとを含むステレオペア映像が用いられる。ＬＣＤ１５は、例えば、通常のリフレッシュレート（例えば６０Ｈｚ）の２倍のリフレッシュレート（例えば１２０Ｈｚ）で駆動される。左眼用ビデオデータ内の左眼用フレームデータと右眼用ビデオデータ内の右眼用フレームデータは例えば１２０Ｈｚのリフレッシュレートで交互にＬＣＤ１５上に表示される。ユーザは、例えば、液晶シャッターメガネのような３Ｄグラス（図示せず）を用いることで、左眼用フレームに対応する画像を左眼で、右眼用フレームに対応する画像を右眼で見ることができる。３Ｄグラスは、左眼用フレームデータ及び右眼用フレームデータそれぞれの表示タイミングを示す同期信号をコンピュータ１から赤外線などを用いて受信するように構成してもよい。３Ｄグラス内の左眼用シャッター及び右眼用シャッターは、ＬＣＤ１５への左眼用及び右眼用フレームデータそれぞれの表示タイミングに同期して開閉される。
【００１６】
代わりに、三次元映像の表示には、例えば、Ｘｐｏｌ（登録商標）方式等の偏光方式を用いてもよい。この場合、例えば、左眼用画像と右眼用画像とが例えば走査線単位でインタリーブされたインタリーブフレーム群が生成され、これらインタリーブフレーム群がＬＣＤ１５に表示される。ＬＣＤ１５の画面を覆う偏向フィルタは、ＬＣＤ１５の画面上の例えば奇数番目のライン群に表示される左眼用画像と偶数番目のライン群に表示される右眼用画像とを異なる方向に偏光する。ユーザは、偏向メガネを用いることにより、左眼用画像を左眼で、右眼用画像を右眼で見ることができる。
【００１７】
また、ＣＰＵ１１は、ＢＩＯＳ−ＲＯＭ１９に格納されたＢＩＯＳ（Basic Input/Output System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１８】
ノースブリッジ１２は、ＣＰＵ１１のローカルバスとサウスブリッジ１６との間を接続するブリッジデバイスである。ノースブリッジ１２には、主メモリ１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１２は、表示コントローラ１４との通信を実行する機能も有している。
【００１９】
表示コントローラ１４は、本コンピュータ１のディスプレイとして使用されるＬＣＤ１５を制御するデバイスである。この表示コントローラ１４によって生成される表示信号はＬＣＤ１５に送られる。ＬＣＤ１５は、表示信号に基づいて映像を表示する。
【００２０】
サウスブリッジ１６は、ＰＣＩ（Peripheral Component Interconnect）バス上及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１６は、ＨＤＤ２１及びＯＤＤ２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラ、及びＢＩＯＳ−ＲＯＭ１９をアクセス制御するメモリコントローラが内蔵されている。さらに、サウスブリッジ１６は、サウンドコントローラ１７及びＬＡＮコントローラ２０との通信を実行する機能も有している。
【００２１】
サウンドコントローラ１７は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ２０は、例えばEthernet（登録商標）規格の有線通信を実行する有線通信デバイスであり、無線ＬＡＮコントローラ２３は、例えばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。また、ＵＳＢコントローラ２４は、例えばUSB2.0規格のケーブルを介して外部機器との通信を実行する。
【００２２】
ＥＣ／ＫＢＣ２５は、電力管理を行うためのエンベデッドコントローラと、キーボード（ＫＢ）２６、及びポインティングデバイス２７を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このＥＣ／ＫＢＣ２５は、ユーザの操作に応じて本コンピュータ１をパワーオン／パワーオフする機能を有している。さらに、ＥＣ／ＫＢＣ２５は、リモコンユニットインタフェース部３０との通信を実行する機能を有している。
【００２３】
ＴＶチューナ３１はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子３２に接続されている。このＴＶチューナ３１は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ３１は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
【００２４】
次に、図３を参照して、本実施形態の映像コンテンツ再生機能について説明する。再生対象のソースデータ（映像コンテンツデータ）５１は、例えば、映像（動画像）を表示するためのビデオデータと副画像を表示するための追加データとを含む。この追加データは、例えば、ＢＭＬ（Broadcast Markup Language）を用いて記述されたＢＭＬデータを含む。また、この追加データは、例えばユーザからの操作入力を受け付けるための画像についてのデータを含む。すなわちユーザは、追加データに基づいて生成された副画像に含まれるオブジェクト（例えば、ボタン、リンクを示すテキスト等）を指示することによって、オブジェクトに対応する処理を要求する操作を入力することができる。
【００２５】
ソースデータ５１内のビデオデータは、デコーダ１０２に出力される。このビデオデータは一般に符号化（圧縮符号化）されている。デコーダ１０２は符号化されたビデオデータを復号する。そして、復号したビデオデータを２Ｄｔｏ３Ｄ変換部１０４に出力する。
【００２６】
２Ｄｔｏ３Ｄ変換部１０４は、復号されたビデオデータを用いて、ビデオデータに含まれる画像フレームそれぞれを解析することによって、各画像フレームに含まれる画素毎の深さ（depth）を推定する。なお以下では、「深さ」と「奥行き」とを同様の意味で用いるものとする。２Ｄｔｏ３Ｄ変換部１０４は、推定した画素毎の深さを用いて、ビデオデータを三次元ビデオデータに変換する。この三次元ビデオデータは、例えば、画像フレーム内の画素毎の深さに基づいた視差の、第１の左眼用画像データと第１の右眼用画像データとを含む。２Ｄｔｏ３Ｄ変換部１０４は、三次元ビデオデータを三次元画像合成部１０９に出力する。
【００２７】
また、ソースデータ５１内のＢＭＬデータ（追加データ）では、表示する静止画像やテキスト等が指定され、その静止画像やテキストの配置や大きさ等が指定される。したがって、ＢＭＬデータに基づいて、ＬＣＤ１５の画面上に表示する副画像が生成される。なお、この副画像を表示する深さ方向の位置は、２Ｄｔｏ３Ｄ変換部１０４によって推定された、画像フレーム内の画素毎の深さに基づいて決定される。より具体的には、画像フレーム内の画素毎の深さの内で最も手前の深さに基づいて、副画像を表示する深さが決定される。そして、決定された副画像の深さに基づいた視差の、ＢＭＬデータに対応する第２の左眼用画像データと第２の右眼用画像データとが生成される。生成された第２の左眼用画像データと第２の右眼用画像データとは、三次元画像合成部１０９に出力される。なお、以下では、ＢＭＬデータに基づいて生成された画像をＢＭＬ画像とも云う。また、副画像を表示する深さの決定にかかる処理については図４を参照して後述する。
【００２８】
また、アプリケーション１３Ｃは、映像コンテンツデータ５１（画面に表示される映像及び副画像等）を操作するためのメニュー等のユーザインタフェース画像データ（ＵＩ画像データ）を生成する。そして、生成したＵＩ画像データを三次元画像合成部１０９に出力する。
【００２９】
三次元画像合成部１０９は、ＵＩ画像、副画像及び三次元映像を合成する。具体的には、三次元画像合成部１０９は、第１の左眼用画像データ、第２の左眼用画像データ及びＵＩ画像データを用いて、左眼用画像フレームを生成する。また、三次元画像合成部１０９は、第１の右眼用画像データ、第２の右眼用画像データ及びＵＩ画像データを用いて、右眼用画像フレームを生成する。なお、上述の各画像データは、それぞれ画像レイヤとして生成されたものであってもよい。三次元画像合成部１０９は、例えばアルファブレンディングによってそれら画像レイヤを重ね合わせて、画像フレームを生成する。そして、三次元画像合成部１０９は、生成した左眼用及び右眼用画像フレームを表示部１１０に出力する。
【００３０】
表示部１１０は、三次元画像合成部１０９によって出力された左眼用画像フレームと右眼用画像フレームとを画面（ＬＣＤ１５）に交互に表示させる。ユーザは、上述のように、例えば液晶シャッターメガネを用いて画面を見ることによって、三次元画像を知覚することができる。また、表示部１１０は、左眼用画像フレームと右眼用画像フレームとを走査線単位でインタリーブしたインタリーブ画像を画面に表示してもよい。その場合、ユーザは、例えば偏光メガネを用いて画面を見ることによって、三次元画像を知覚することができる。
【００３１】
図４に示すフローチャートは、副画像を表示する深さ（奥行き）方向の位置を決定するための処理の手順を表す。  
まず、副画像を表示する深さ方向の最適な位置が決定されているか否かが判定される（ブロックＢ１１）。最適な表示位置が決定されている場合（ブロックＢ１１のＹＥＳ）、副画像は決定された最適な表示位置に表示される。なお最適な表示位置が決定されている場合とは、副画像を表示する深さ方向の位置が、例えば予めユーザにより設定されている場合等を指す。
【００３２】
最適な表示位置が決定されていない場合（ブロックＢ１１のＮＯ）、ビデオデータ部分（動画部分）の深さが算出される（ブロックＢ１２）。なお、この深さには、上述の２Ｄｔｏ３Ｄ変換部１０４によって推定された、画像フレーム内の画素毎の深さが用いられてもよい。
【００３３】
次いで、動画部分の深さがディスプレイ面（ＬＣＤ１５の画面）よりも飛び出しているか否かを判定する（ブロックＢ１３）。具体的には、例えば、画像フレーム内の画素毎の深さに基づいて、ディスプレイ面よりも飛び出している画素が存在するか否かが判定される。動画部分の深さがディスプレイ面よりも飛び出していない場合（ブロックＢ１３のＮＯ）、画像フレーム内の画素毎の深さに基づいて、最も飛び出している画素に対応する位置（すなわち、映像コンテンツ（動画部分）内においてユーザに最も近い位置）が、副画像を表示する深さ方向の位置に決定される（ブロックＢ１４）。
【００３４】
動画部分の深さがディスプレイ面よりも飛び出している場合（ブロックＢ１３のＹＥＳ）、ディスプレイ面が、副画像を表示する深さ方向の位置に決定される（ブロックＢ１５）。そして、ブロックＢ１４又はブロックＢ１５において決定された位置に、副画像が表示される（ブロックＢ１６）。
【００３５】
以上の処理により、副画像を表示するための深さ方向の位置が決定される。次いで、決定された深さ方向の表示位置に対応する視差が算出される。そして、ＢＭＬデータを用いて、算出された視差を有する第２の左眼用画像データと第２の右眼用画像データとが生成される。第２の左眼用画像データと第２の右眼用画像データとは、三次元画像合成部１０９に出力される。
【００３６】
図５は、本実施形態の映像コンテンツ再生アプリケーションプログラム１３Ｂの一構成例を示す。映像コンテンツ再生アプリケーション１３Ｂは映像コンテンツデータ５１を再生する機能を有する。映像コンテンツデータ５１は、例えばビデオデータとＢＭＬデータとを含む。ビデオデータは、映像（二次元映像）を表示するためのデータである。ＢＭＬデータは、ＢＭＬ（Broadcast Markup Language）を用いて記述された、ビデオデータに関連する静止画像やテキスト等を含む画像（以下、ＢＭＬ画像と呼ぶ）を表示するためのデータである。なお映像コンテンツ再生アプリケーションプログラム１３Ｂの構成の詳細については、図６及び図７の説明の後に述べる。
【００３７】
図６は、映像とＢＭＬ画像とが表示された画面の例を示す。図６に示す画面７１は、映像が表示された領域７１ＡとＢＭＬ画像が表示された領域７１Ｂとを含む。  
ここで当該領域７１Ｂには、ＢＭＬ画像として、静止画像、動画像、文字情報、映像７１Ａに対する操作を行うためのボタン（画像）等が表示されうる。そして領域７１Ｂに表示されるこれらのＢＭＬ画像は、選択操作可能な画像であってもよい。即ち、マウス等のポインティングデバイス２７から当該ＢＭＬ画像に対する操作入力が入力された場合、コンピュータ１は、操作を受けた画像に応じた処理を実行し、当該処理に基づいた画面をＬＣＤ１５に表示させる。
【００３８】
なお画面７１において、ＢＭＬ画像の領域７１Ｂは、映像が表示される領域７１Ａの右（横）及び下の両方の位置に表示されている。しかし当該領域７１Ｂの表示位置はこれに限るものではなく、例えば領域７１Ａの下のみ、あるいは領域７１Ａの横のみであっても良い。
【００３９】
二次元映像を三次元映像に変換する技術を用いて、画面７１に示すような映像領域７１ＡとＢＭＬ画像領域７１Ｂとに三次元化処理を施して生成された三次元映像では、ユーザは、例えば、映像が立体化された領域に、ＢＭＬ画像が立体化された領域がめり込むような違和感を覚える可能性がある。また、マウス等のポインティングデバイス２７の操作位置を示すカーソルに対応する奥行き位置と、ＢＭＬ画像が表示された奥行き位置とが異なる際には、カーソルを移動して、ＢＭＬ画像上のボタン等の操作対象を指示することが困難である可能性がある。つまり、マウスカーソルが表示される平面に対応する奥行き位置と、ＢＭＬ画像が表示される平面に対応する奥行き位置とが異なるために、ユーザがポインティングデバイス２７を直感的に操作できない可能性がある。
【００４０】
また、図７は映像とユーザインタフェース画像とが表示された画面の例を示す。図７に示す画面７２は、映像が表示された領域７２Ａ、映像の再生を制御するメニューが表示された領域７２Ｂ、及び映像に関する情報が表示された領域７２Ｃを含む。画面７２に三次元化処理を施した際にも、画面７１に三次元化処理を施した場合と同様のことが云える。
【００４１】
本実施形態のコンテンツ再生アプリケーション１３Ｂは、映像と副画像（例えば、ＢＭＬ画像やＵＩ画像）とを適切な三次元画像としてユーザに知覚させるように、映像と副画像に対して別々に処理を施す。つまり、コンテンツ再生アプリケーション１３Ｂは、映像内の画像フレームと副画像とを含む画像に対して三次元化処理を施すのではなく、映像内の画像フレームと副画像とをそれぞれ三次元化する。したがって、コンテンツ再生アプリケーション１３Ｂは、映像内の画像フレームに対応する第１の左眼用画像データ及び第１の右眼用画像データと、副画像に対応する第２の左眼用画像データ及び第２の右眼用画像データとを生成する。具体的には、コンテンツ再生アプリケーション１３Ｂは、二次元映像を三次元映像に変換する技術を用いて、ビデオデータに三次元化処理を施す、すなわち、映像内の画像フレームそれぞれに対応する第１の左眼用画像データと第１の右眼用画像データとを生成する。そして、コンテンツ再生アプリケーション１３Ｂは、ビデオデータを三次元化した際に推定された、画像フレーム内の画素毎の奥行き位置を用いて、副画像を表示する奥行き方向の位置を決定し、副画像に対応する第２の左眼用画像データと第２の右眼用画像データとを生成する。
【００４２】
以下では、再度図５を参照して映像コンテンツ再生アプリケーション１３Ｂの詳細な構成について説明する。映像コンテンツ再生アプリケーション１３Ｂは、データ抽出部１０１、デコーダ１０２、ＢＭＬ画像生成部１０３、２Ｄ−３Ｄ変換部１０４、奥行き決定部１０５、視差決定部１０６、ＢＭＬ画像変換部１０７、ＵＩ画像生成部１０８、三次元画像合成部１０９、及び表示部１１０を備える。
【００４３】
データ抽出部１０１は、入力された映像コンテンツデータ５１からビデオデータとＢＭＬデータとを抽出する。データ抽出部１０１は、抽出したビデオデータをデコーダ１０２に出力する。また、データ抽出部１０１は、抽出したＢＭＬデータをＢＭＬ画像生成部１０３に出力する。
【００４４】
ＢＭＬ画像生成部１０３は、データ抽出部１０１によって出力されたＢＭＬデータに基づいてＢＭＬ画像データを生成する。ＢＭＬデータは、上述のように、ビデオデータに関連する静止画像やテキスト等を含む画像を表示するためのデータである。ＢＭＬ画像生成部１０３は、ＢＭＬデータに基づいて、例えば、指定された位置に指定された大きさで配置された静止画像やテキスト等を含むＢＭＬ画像データを生成する。ＢＭＬ画像生成部１０３は、生成したＢＭＬ画像データをＢＭＬ画像変換部１０７に出力する。
【００４５】
デコーダ１０２は、データ抽出部１０１によって出力されたビデオデータを復号する。ビデオデータは、一般に符号化（圧縮符号化）されている。デコーダ１０２は符号化されたビデオデータを復号する。そして、デコーダ１０２は、復号されたビデオデータを２Ｄ−３Ｄ変換部１０４に出力する。
【００４６】
２Ｄ−３Ｄ変換部１０４は、デコーダによって出力された、復号されたビデオデータを２Ｄ−３Ｄ変換する。具体的には、２Ｄ−３Ｄ変換部１０４は、復号されたビデオデータを用いて、該ビデオデータの画像フレームそれぞれを解析することによって、各画像フレームに含まれる画素毎の奥行き位置（depth）を推定する。２Ｄ−３Ｄ変換部１０４は、例えば、画像フレーム間の動きや画像フレーム内の画素値の差分等を用いて、画素毎の奥行き位置を推定する。そして、２Ｄ−３Ｄ変換部１０４は、推定した画素毎の奥行き位置に基づいて、その画像フレームに対応する第１の左眼用画像データと第１の右眼用画像データとを生成する。２Ｄ−３Ｄ変換部１０４は、生成した第１の左眼用画像データと第１の右眼用画像データとを三次元画像合成部１０９に出力する。また、２Ｄ−３Ｄ変換部１０４は、推定した画像フレーム内の画素毎の奥行き位置を奥行き決定部１０５に出力する。
【００４７】
奥行き決定部１０５は、２Ｄ−３Ｄ変換部１０４によって推定された、画像フレーム内の画素毎の奥行き位置を用いて、ＢＭＬ画像生成部１０３によって生成されたＢＭＬ画像を表示する奥行き位置を決定する。奥行き決定部１０５は、例えば、画像フレーム内の画素毎の奥行き位置の内で最も手前の奥行き位置に基づいて、ＢＭＬ画像を表示する奥行き位置を決定する。具体的には、奥行き決定部１０５は、まず、画像フレーム内の画素毎の奥行き位置に基づいて、奥行き方向に対して最も手前にある画素（最も飛び出している画素）を検出する。そして、奥行き決定部１０５は、検出した画素がディスプレイ（ＬＣＤ）１５の画面に対応する奥行き位置よりも手前にあるか否かを判定する。検出した画素が画面に対応する奥行き位置よりも手前にある場合、奥行き決定部１０５は、ＢＭＬ画像を表示する奥行き位置を、画面（ディスプレイ面）に対応する奥行き位置に決定する。一方、検出した画素が画面に対応する奥行き位置よりも手前にない場合、奥行き決定部１０５は、ＢＭＬ画像を表示する奥行き位置を、検出した最も手前にある画素に対応する奥行き位置に決定する。
【００４８】
ここで図８及び図９を参照して、奥行き決定部１０５による奥行き位置の決定処理例について説明する。図８及び図９は、ＢＭＬ画像（副画像）が表示される奥行き位置を決定する方法を説明するための概念図を示す。図８及び図９に示す例では、ＬＣＤ１５の画面に対応する奥行き位置を表すディスプレイ面８１、画像フレーム内の画素毎の奥行き位置のうち、奥行き方向に対して最も手前にある画素に対応する奥行き位置を表す最大飛び出し面８２、及び画像フレーム内の画素毎の奥行き位置のうち、奥行き方向に対して最も奥にある画素に対応する奥行き位置を表す最背面８３がそれぞれ示されている。
【００４９】
図８に示す例では、最大飛び出し面８２がディスプレイ面８１よりも奥行き方向に対して手前に存在する。そのため、奥行き決定部１０５は、ＢＭＬ画像を表示する奥行き位置を、ディスプレイ面８１に対応する奥行き位置に決定する。
【００５０】
図９に示す例では、最大飛び出し面８２がディスプレイ面８１よりも奥行き方向に対して奥に存在する。そのため、奥行き決定部１０５は、ＢＭＬ画像を表示する奥行き位置を、最大飛び出し面８２に対応する奥行き位置に決定する。
【００５１】
なお、ＢＭＬ画像を表示する奥行き位置は、ユーザインタフェース等を用いてユーザによって指定されてもよい。その場合、ユーザは、ＢＭＬ画像を表示する奥行き位置として、最背面８３に対応する奥行き位置、ディスプレイ面８１に対応する奥行き位置、最大飛び出し面８２に対応する奥行き位置、任意の奥行き位置等を指定することができる。更にコンピュータ１は、ＢＭＬ画像を表示する奥行き位置を、ポインティングデバイス２７が操作入力を受けているか否かにより異なる位置としても良い。つまり、ポインティングデバイス２７が操作入力を受けていない場合にはＢＭＬ画像を例えば最背面８３に表示させ、操作入力を受けた場合には当該ＢＭＬ画像をディスプレイ面８１又は最大飛び出し面８２に表示させてもよい。
【００５２】
再度図５を参照して映像コンテンツ再生アプリケーション１３Ｂの構成を説明する。奥行き決定部１０５は、ＢＭＬ画像を表示する奥行き位置を決定すると、当該決定した奥行き位置を視差決定部１０６に出力する。
【００５３】
視差決定部１０６は、奥行き決定部１０５によって出力された奥行き位置に基づいて、該奥行き位置に対応する視差（両眼視差）を算出する。すなわち、視差決定部１０６は、奥行き決定部１０５によって決定された奥行き位置にＢＭＬ画像を表示するための、第２の左眼用画像と第２の右眼用画像との視差を算出する。視差決定部１０６は、算出した視差をＢＭＬ画像変換部１０７に出力する。
【００５４】
ＢＭＬ画像変換部１０７は、ＢＭＬ画像生成部１０３によって出力されたＢＭＬ画像データを用いて、視差決定部１０６によって出力された視差を有する第２の左眼用画像データと第２の右眼用画像データとを生成する。換言すると、視差決定部１０６は、奥行き決定部１０５によって決定された奥行き位置にＢＭＬ画像が表示されているようにユーザに知覚させるために、該奥行き位置に対応する視差を有する第２の左眼用画像データと第２の右眼用画像データとを生成する。ＢＭＬ画像変換部１０７は、生成した第２の左眼用画像データと第２の右眼用画像データとを三次元画像合成部１０９に出力する。
【００５５】
また、ＵＩ画像生成部１０８は、映像の再生を制御するためのメニュー等を含むユーザインタフェース画像データ（ＵＩ画像データ）を生成する。ＵＩ画像生成部１０８は、生成したユーザインタフェース画像を三次元画像合成部１０９に出力する。
【００５６】
三次元画像合成部１０９は、２Ｄ−３Ｄ変換部１０４によって出力された第１の左眼用画像データ及び第１の右眼用画像データ、ＢＭＬ画像変換部１０７によって出力された第２の左眼用画像データ及び第２の右眼用画像データ、並びにＵＩ画像生成部１０８によって出力されたＵＩ画像データを用いて、ＬＣＤ１５の画面に表示する画像フレームを生成する。具体的には、三次元画像合成部１０９は、第１の左眼用画像データ、第２の左眼用画像データ及びＵＩ画像データを重ね合わせて（所定の位置に配置して）、画面に表示する左眼用画像フレームを生成する。また、三次元画像合成部１０９は、第１の右眼用画像データ、第２の右眼用画像データ及びＵＩ画像データを重ね合わせて、画面に表示する右眼用画像フレームを生成する。そして、三次元画像合成部１０９は、生成した左眼用画像フレームと右眼用画像フレームとを表示部１１０に出力する。
【００５７】
表示部１１０は、２Ｄ−３Ｄ変換部１０４によって出力された第１の左眼用画像データ及び第１の右眼用画像データと、ＢＭＬ画像変換部１０７によって出力された第２の左眼用画像データ及び第２の右眼用画像データとを用いて生成された画像フレームをＬＣＤ１５の画面に表示する。具体的には、表示部１１０は、三次元画像合成部１０９によって出力された左眼用画像フレームと右眼用画像フレームの各々を所定のタイミングで画面（ＬＣＤ）１５に表示する。シャッター方式の三次元映像表示では、表示部１１０は、所定のリフレッシュレート（例えば、１２０Ｈｚ）で、左眼用画像フレームと右眼用画像フレームとをＬＣＤ１５上に交互に表示する。ユーザは、例えば、液晶シャッターメガネを用いることで、左眼用画像フレームを左眼で、右眼用画像フレームを右眼で見ることができる。これによりユーザは、三次元画像（立体画像）を知覚することができる。
【００５８】
また、偏光方式の三次元映像表示では、表示部１１０は、例えば、左眼用画像フレームと右眼用画像フレームとが走査線単位でインタリーブされたインタリーブ画像フレームを生成する。表示部１１０は、生成したインタリーブ画像フレームをＬＣＤ１５上に、所定のリフレッシュレート（例えば、６０Ｈｚ）で表示する。表示されたインタリーブ画像フレームは、ＬＣＤ１５の画面を覆う偏光フィルタによって偏光される。具体的には、偏光フィルタは、例えば、画面上の奇数番目の走査線群に表示される左眼用画像と、偶数番目の走査線群に表示される右眼用画像とを異なる方向に偏光する。ユーザは、偏光メガネを用いることにより、左眼用画像を左眼で、右眼用画像を右眼で見ることができる。これによりユーザは、三次元画像（立体画像）を知覚することができる。
【００５９】
以上の構成により、ユーザが、画面に表示されるＢＭＬ画像に対応する領域が、映像に対応する領域にめり込むような違和感を覚えることを回避することができる。また、ユーザは、ポインティングデバイス２７を用いて、ＢＭＬ画像上のボタン等を直感的に操作することができる。なお、上述の構成では、奥行き決定部１０５によってＢＭＬ画像を表示する奥行き位置を決定したが、映像コンテンツデータに含まれないデータに基づいて生成された画像についても同様に、その画像を表示する奥行き位置を決定してもよい。映像コンテンツデータに含まれないデータに基づいて生成された画像は、例えば、ＯＳ１３Ａや各種のアプリケーションプログラムによって生成されるＵＩ画像である。例えば、奥行き決定部１０５によってＵＩ画像を表示する奥行き位置が決定された際には、その奥行き位置に対応する視差が算出され、算出された視差を有する左眼用ＵＩ画像データと右眼用ＵＩ画像データとが生成される。そして、三次元画像合成部１０９は、第１の左眼用画像データ、第２の左眼用画像データ及び左眼用ＵＩ画像データを用いて、画面に表示する左眼用画像フレームを生成する。また、三次元画像合成部１０９は、第１の右眼用画像データ、第２の右眼用画像データ及び右眼用ＵＩ画像データを用いて、画面に表示する右眼用画像フレームを生成する。また、ＢＭＬ画像とＵＩ画像とを含む画像を副画像と見なし、その副画像を表示する奥行き位置を上述の方法によって決定してもよい。
【００６０】
次いで、図１０のフローチャートを参照して、映像再生処理の手順の例を説明する。  
まず、データ抽出部１０１に映像コンテンツデータ５１が入力される（ブロックＢ１０１）。そして、データ抽出部１０１は、映像コンテンツデータ５１からビデオデータとＢＭＬデータとを抽出する（ブロックＢ１０２）。データ抽出部１０１は、デコーダ１０２にビデオデータを出力する。また、データ抽出部１０１は、ＢＭＬ画像生成部１０３にＢＭＬデータを出力する。
【００６１】
次いで、デコーダ１０２は、データ抽出部１０１によって出力されたビデオデータを復号する（ブロックＢ１０３）。デコーダ１０２は、２Ｄ−３Ｄ変換部１０４に復号したビデオデータを出力する。ＢＭＬ画像生成部１０３は、データ抽出部１０１によって出力されたＢＭＬデータに基づいてＢＭＬ画像データを生成する（ブロックＢ１０４）。ＢＭＬ画像生成部１０３は、ＢＭＬ画像変換部１０７に生成したＢＭＬ画像データを出力する。また、ＵＩ画像生成部１０８は、映像の再生を制御するためのメニュー等を含むユーザインタフェース画像データ（ＵＩ画像データ）を生成する（ブロックＢ１０５）。ＵＩ画像生成部１０８は、三次元画像合成部１０９に生成したＵＩ画像データを出力する。
【００６２】
２Ｄ−３Ｄ変換部１０４は、デコーダ１０２によって出力された、復号されたビデオデータを用いて、該ビデオデータの画像フレームそれぞれを解析して、各画像フレーム内の画素毎の奥行き位置を推定する（ブロックＢ１０６）。そして、２Ｄ−３Ｄ変換部１０４は、推定した画像フレーム内の画素毎の奥行き位置に基づいて、第１の左眼用画像データと第１の右眼用画像データとを生成する（ブロックＢ１０７）。２Ｄ−３Ｄ変換部１０４は、推定した画像フレーム内の画素毎の奥行き位置に基づいた視差の、当該画像フレームに対応する第１の左眼用画像データと第１の右眼用画像データとを生成する。２Ｄ−３Ｄ変換部１０４は、生成した第１の左眼用画像データと第１の右眼用画像データとを三次元画像合成部１０９に出力する。また、２Ｄ−３Ｄ変換部１０４は、推定した画像フレーム内の画素毎の奥行き位置を奥行き決定部１０５に出力する。
【００６３】
奥行き決定部１０５は、２Ｄ−３Ｄ変換部１０４によって出力された、画像フレーム内の画素毎の奥行き位置を用いて、ＢＭＬ画像を表示する奥行き位置を決定する（ブロックＢ１０８）。奥行き決定部１０５は、画像フレーム内の画素毎の奥行き位置の内で最も手前の奥行き位置に基づいて、ＢＭＬ画像を表示する奥行き位置を決定する。奥行き決定部１０５は、決定した奥行き位置を視差決定部１０６に出力する。ＢＭＬ画像を表示する奥行き位置を決定する奥行き決定処理の手順の詳細は、図１１を参照して後述する。
【００６４】
視差決定部１０６は、奥行き決定部１０５によって出力された奥行き位置に基づいて、該奥行き位置に対応する視差（両眼視差）を算出する（ブロックＢ１０９）。そして、視差決定部１０６は、算出した視差をＢＭＬ画像変換部１０７に出力する。
【００６５】
ＢＭＬ画像変換部１０７は、視差決定部１０６によって出力された視差とＢＭＬ画像生成部１０３によって出力されたＢＭＬ画像データとを用いて、当該視差を有する第２の左眼用画像データと第２の右眼用画像データとを生成する（ブロックＢ１１０）。すなわち、決定されたＢＭＬ画像（副画像）の奥行き位置に基づいた視差の、ＢＭＬデータ（追加データ）に対応する第２の左眼用画像データと第２の右眼用画像データとを生成する。ＢＭＬ画像変換部１０７は、三次元画像合成部１０９に生成した第２の左眼用画像データと第２の右眼用画像データとを出力する。
【００６６】
次いで、三次元画像合成部１０９は、２Ｄ−３Ｄ変換部１０４によって出力された第１の左眼用画像データ、ＢＭＬ画像変換部１０７によって出力された第２の左眼用画像データ、及びＵＩ画像生成部１０８によって出力されたＵＩ画像データを用いて左眼用画像フレームを生成する（ブロックＢ１１１）。三次元画像合成部１０９は、表示部１１０に生成した左眼用画像フレームを出力する。表示部１１０は、三次元画像合成部１０９によって出力された左眼用画像フレームをＬＣＤ１５の画面に表示させる（ブロックＢ１１２）。
【００６７】
そして、三次元画像合成部１０９は、２Ｄ−３Ｄ変換部１０４によって出力された第１の右眼用画像データ、ＢＭＬ画像変換部１０７によって出力された第２の右眼用画像データ、及びＵＩ画像データを用いて右眼用画像フレームを生成する（ブロックＢ１１３）。三次元画像合成部１０９は、表示部１１０に生成した右眼用画像フレームを出力する。表示部１１０は、三次元画像合成部１０９によって出力された右眼用画像フレームをＬＣＤ１５の画面に表示させる（ブロックＢ１１４）。
【００６８】
次いで、２Ｄ−３Ｄ変換部１０４は、映像データにおいて、表示対象の画像フレームに後続する画像フレームがあるか否かを判定する（ブロックＢ１１５）。後続する画像フレームがある場合（ブロックＢ１１５のＹＥＳ）、後続する画像フレームを新たな表示対象の画像フレームに設定し、この画像フレームについてブロックＢ１０６以降の処理を実行する。また、後続する画像フレームがない場合（ブロックＢ１１５のＮＯ）、映像再生処理を終了する。
【００６９】
図１１のフローチャートは、図１０のブロックＢ１０８に示す奥行き決定処理の詳細な手順の例を示す。  
まず、奥行き決定部１０５は、ＢＭＬ画像（副画像）を表示する奥行き位置が指定されているか否かを判定する（ブロックＢ２１）。ＢＭＬ画像を表示する奥行き位置は、例えばユーザによって指定される。奥行き位置が指定されている場合（ブロックＢ２１のＹＥＳ）、奥行き決定部１０５は、ＢＭＬ画像が表示される奥行き位置を指定された奥行き位置に決定する（ブロックＢ２２）。
【００７０】
奥行き位置が指定されていない場合（ブロックＢ２１のＮＯ）、奥行き決定部１０５は、２Ｄ−３Ｄ変換部１０４によって推定された、画像フレーム内の画素毎の奥行き値に基づいて、奥行き方向に対して最も手前にある画素（最も飛び出している画素）を検出する（ブロックＢ２３）。そして、奥行き決定部１０５は、検出した画素に対応する奥行き位置がディスプレイ（ＬＣＤ）１５の画面に対応する奥行き位置よりも手前にあるか否かを判定する（ブロックＢ２４）。
【００７１】
検出した画素の奥行き位置がディスプレイ１５の画面に対応する奥行き位置よりも手前にある場合（ブロックＢ２４のＹＥＳ）、奥行き決定部１０５は、ＢＭＬ画像の奥行き位置をディスプレイ１５の画面に対応する奥行き位置に決定する（ブロックＢ２５）。
【００７２】
検出した画素の奥行き位置がディスプレイ１５の画面に対応する奥行き位置よりも手前にない場合（ブロックＢ２４のＮＯ）、奥行き決定部１０５は、ＢＭＬ画像の奥行き位置を検出した画素に対応する奥行き位置に決定する（ブロックＢ２６）。
【００７３】
以上、図１０及び図１１のフローチャートに示す処理により、映像コンテンツ再生アプリケーション１３Ｂは、ビデオデータとＢＭＬデータ（追加データ）とを含む映像コンテンツデータを適切な三次元映像として表示することができる。なお、図１１のフローチャートに示す奥行き決定処理を用いて、ＢＭＬ画像と同様に、ＵＩ画像に対応する奥行き位置を決定してもよい。また、ＢＭＬ画像、ＵＩ画像に限らず、画面に表示されるあらゆる画像に対して、奥行き決定処理によって、当該画像を表示する奥行き位置を決定してもよい。
【００７４】
なお、上述の説明では、奥行き決定部１０５は、画像フレームに対応する画素毎の奥行き位置が推定される毎に、ＢＭＬ画像を表示する奥行き位置を決定したが、例えば一定期間毎に奥行き位置を決定してもよい。さらに、現在から所定の時刻までに表示されるビデオデータ内の複数の画像フレームに対して、最適なＢＭＬ画像の奥行き位置を決定してもよい。上述のように決定された奥行き位置に対応する視差を有する第２の左眼用画像と第２の右眼用画像とが画面に表示されることにより、ユーザは、決定された奥行き位置に表示されたＢＭＬ画像を知覚することができる。
【００７５】
以上説明したように、本実施形態によれば、ビデオデータとビデオデータ以外のデータとを適切な三次元映像として表示することができる。例えば、ビデオデータと副画像を表示するための追加データとを含むコンテンツデータを適切な三次元映像としてユーザに知覚させることができる。ビデオデータと追加データとを含む映像コンテンツデータに三次元化処理を施した際には、副画像に対応する領域が映像に対応する領域にめり込むような違和感を覚える可能性がある。本実施形態の２Ｄ−３Ｄ変換部１０４は、ビデオデータに対して２Ｄ−３Ｄ変換処理を施して、ビデオデータの画像フレーム内の各画素の奥行き値を推定する。次いで、奥行き決定部１０５は、推定された各画素の奥行き値に基づいて、副画像を表示する奥行き位置を決定する。そのため、再生されるビデオデータに応じた適切な奥行き位置に、副画像を表示することができる。これにより、ビデオデータと追加データとを含む映像コンテンツデータを用いて、適切な三次元映像を表示することができる。
【００７６】
なお、本実施形態の映像再生処理の手順は全てソフトウェアによって実行することができる。このため、映像再生処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【００７７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７８】
１３Ｂ…映像コンテンツ再生アプリケーションプログラム、１０１…データ抽出部、１０２…デコーダ、１０３…ＢＭＬ画像生成部、１０４…２Ｄ−３Ｄ変換部、１０５…奥行き決定部、１０６…視差決定部、１０７…ＢＭＬ画像変換部、１０８…ＵＩ生成部、１０９…三次元画像合成部、１１０…表示部、５１…映像コンテンツデータ。
【図１】
2012023635.tif 000003
【図２】
2012023635.tif 000004
【図３】
2012023635.tif 000005
【図４】
2012023635.tif 000006
【図５】
2012023635.tif 000007
【図６】
2012023635.tif 000008
【図７】
2012023635.tif 000009
【図８】
2012023635.tif 000010
【図９】
2012023635.tif 000011
【図１０】
2012023635.tif 000012
【図１１】
2012023635.tif 000013
【手続補正書】
【提出日】平成23年5月18日(2011.5.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオデータと副画像データとを含むコンテンツデータを再生する電子機器であって、
前記ビデオデータの画像フレームに含まれる複数の画素に関連する複数の奥行き位置を推定し、前記推定された複数の画素に関連する複数の奥行き位置に基づいた第１視差に関連し、且つ前記画像フレームに対応する第１の左眼用画像データと第１の右眼用画像データとを生成する第１生成手段と、
前記画像フレーム内の複数の画素に関連する複数の奥行き位置の内で最も手前の奥行き位置に基づいて、前記副画像が表示される奥行き位置を設定する配置制御手段と、
前記設定された副画像が表示される奥行き位置に関連する第２視差に関連し、且つ前記副画像データに対応する第２の左眼用画像データと第２の右眼用画像データとを生成する第２生成手段と、
前記第１の左眼用画像データ、前記第１の右眼用画像データ、前記第２の左眼用画像データ、及び前記第２の右眼用画像データに基づいて生成された画像フレームをディスプレイの画面に表示する表示制御手段とを具備する電子機器。
【請求項２】
前記配置制御手段は、さらに、前記画素に関連する最も手前の奥行き位置が前記ディスプレイの画面に対応する奥行き位置よりも手前である場合、前記副画像が表示される奥行き位置を前記ディスプレイの画面に対応する奥行き位置に設定する、請求項１記載の電子機器。
【請求項３】
前記配置制御手段は、さらに、前記画素に関連する最も手前の奥行き位置が前記ディスプレイの画面に対応する奥行き位置よりも手前でない場合、前記副画像を表示する奥行き位置を前記画素に関連する最も手前の奥行き位置に設定する、請求項１記載の電子機器。
【請求項４】
前記配置制御手段は、さらに、前記画像フレーム内の複数の画素に関連する複数の奥行き位置が推定される毎に、前記副画像が表示される奥行き位置を設定する請求項１記載の電子機器。
【請求項５】
前記配置制御手段は、さらに、一定期間毎に、前記副画像が表示される奥行き位置を設定する、請求項１記載の電子機器。
【請求項６】
前記表示制御手段は、さらに、前記第１の左眼用画像データ及び前記第２の左眼用画像データを用いた画像フレームと、前記第１の右眼用画像データ及び前記第２の右眼用画像データを用いた画像フレームとを交互に表示する、請求項１記載の電子機器。
【請求項７】
前記表示制御手段は、さらに、前記第１の左眼用画像データ及び前記第２の左眼用画像データに基づく画像フレームと、前記第１の右眼用画像データ及び前記第２の右眼用画像データに基づく画像フレームとが走査線単位でインタリーブされた画像を表示する、請求項１記載の電子機器。
【請求項８】
前記配置制御手段は、さらに、前記副画像を表示する奥行き位置を、ユーザによって指定された奥行き位置に設定する、請求項１記載の電子機器。
【請求項９】
前記副画像データは、ブロードキャスト・マークアップ・ランゲージに基づいて記述されたデータを含む、請求項１記載の電子機器。
【請求項１０】
前記副画像データは、ユーザによる操作入力を受け付けるための画像に関するデータを含む、請求項１記載の電子機器。
【請求項１１】
ビデオデータと副画像データとを含むコンテンツデータを再生する画像処理方法であって、
前記ビデオデータの画像フレームを解析することによって画像フレームに含まれる複数の画素に関連する複数の奥行き位置を推定し、
前記推定された複数の画素に関連する複数の奥行き位置に基づいた第１視差に関連し、且つ前記画像フレームに対応する第１の左眼用画像データと第１の右眼用画像データとを生成し、
前記画像フレーム内の複数の画素に関連する複数の奥行き位置の内で最も手前の奥行き位置に基づいて、前記副画像が表示される奥行き位置を設定し、
前記設定された副画像が表示される奥行き位置に関連する第２視差に関連し、且つ前記副画像データに対応する第２の左眼用画像データと第２の右眼用画像データとを生成し、
前記第１の左眼用画像データ、前記第１の右眼用画像データ、前記第２の左眼用画像データ、及び前記第２の右眼用画像データに基づいて生成された画像フレームをディスプレイの画面に表示する画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
実施形態によれば、電子機器は、ビデオデータと副画像データとを含むコンテンツデータを再生する電子機器であって、第１生成手段、配置制御手段、第２生成手段、及び表示制御手段を具備する。第１生成手段は、前記ビデオデータの画像フレームに含まれる複数の画素に関連する複数の奥行き位置を推定し、前記推定された複数の画素に関連する複数の奥行き位置に基づいた第１視差に関連し、且つ前記画像フレームに対応する第１の左眼用画像データと第１の右眼用画像データとを生成する。配置制御手段は、前記画像フレーム内の複数の画素に関連する複数の奥行き位置の内で最も手前の奥行き位置に基づいて、前記副画像が表示される奥行き位置を設定する。第２生成手段は、前記設定された副画像が表示される奥行き位置に関連する第２視差に関連し、且つ前記副画像データに対応する第２の左眼用画像データと第２の右眼用画像データとを生成する。表示制御手段は、前記第１の左眼用画像データ、前記第１の右眼用画像データ、前記第２の左眼用画像データ、及び前記第２の右眼用画像データに基づいて生成された画像フレームをディスプレイの画面に表示する。