(57)【要約】立体映像である第１の映像と第２の映像とを合成して出力する映像再生装置であって、一のフレームに合成されるべき第１の映像と第２の映像を取得する取得手段と、取得手段により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、合成映像を出力する合成手段とを備え、合成手段は、合成映像の生成時において、取得手段が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する、映像再生装置。
2011016240.tif 000002
【特許請求の範囲】
【請求項１】
立体映像である第１の映像と第２の映像とを合成して出力する映像再生装置であって、
一のフレームに合成されるべき第１の映像と第２の映像を取得する取得手段と、
前記取得手段により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、前記合成映像を出力する合成手段とを備え、
前記合成手段は、前記合成映像の生成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を前記一のフレームに合成されるべき第１の映像と合成する、
映像再生装置。
【請求項２】
前記第２の映像が立体映像表示されたときの奥行きが深度情報により決定され、
前記合成手段は、前記一のフレームに合成されるべき第１の映像と第２の映像の合成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記一のフレームに合成されるべき第２の映像に対する深度情報を用いて前記別のフレームにおいて第１の映像と合成されるべき第２の映像を第１の映像と合成する、
請求項１記載の映像再生装置。
【請求項３】
前記第２の映像が立体映像表示されたときの奥行きが深度情報により決定され、
前記合成手段は、前記一のフレームに合成されるべき第１の映像と第２の映像の合成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記別のフレームにおいて第１の映像と合成されるべき第２の映像の内容に基づいて前記一のフレームに合成されるべき第２の映像に対する深度情報を求め、その求めた深度情報を用いて前記別のフレームにおいて第１の映像と合成されるべき第２の映像を第１の映像と合成する、
請求項１記載の映像再生装置。
【請求項４】
前記第２の映像はグラフィックス映像または字幕映像である、請求項１記載の映像再生装置。
【請求項５】
立体映像である第１の映像と第２の映像とを合成して出力する半導体装置であって、
一のフレームに合成されるべき第１の映像と第２の映像を取得する取得手段と、
前記取得手段により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成する合成手段と、
前記合成映像を出力する信号出力手段とを備え、
前記合成手段は、前記合成映像の生成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を前記一のフレームに合成されるべき第１の映像と合成する、
半導体装置。
【請求項６】
映像再生装置において立体映像である第１の映像と第２の映像とを合成して出力する映像再生方法であって、
取得手段が、一のフレームに合成されるべき第１の映像と第２の映像を取得するステップと、
合成手段が、前記取得するステップにより取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、前記合成映像を出力するステップとを備え、
前記合成手段は、前記合成映像の生成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を前記一のフレームに合成されるべき第１の映像と合成する、
映像再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術分野は、映像再生技術に関し、特に、立体視可能な映像信号を出力する映像再生装置に関する。
【背景技術】
【０００２】
近年、立体視可能な映像（立体映像）を表示できる映像再生装置の技術の開発が進んでいる。立体映像を表示する際、映像再生装置は、光ディスク等の映像ソースに記録されたコンテンツのデータから左目用の映像、および、右目用の映像を生成し、映像表示装置へ送出する。映像表示装置は、左目用の映像、および、右目用の映像を交互に提示する。【０００３】
特許文献１には、視差を有する右目映像および左目映像をユーザに提示することで立体映像表示を可能とする映像再生装置が開示される。ユーザは、右目を通じて視認する映像（右目映像）と左目を通じて視認する映像（左目映像）とを脳内で合成し、立体映像として認識する。【０００４】
また、近年、ＢＤ−ＲＯＭ（Blu-Ray Disc ROM）等の光ディスク（映像ソース）に納められたコンテンツでは、字幕や、動きのあるグラフィクスを本編映像に合成して表示することで、多彩な映像表現を実現している。特に、グラフィクス処理技術の向上により、アニメーションを駆使した、動画に近いグラフィクスが用いられるようになっている。【０００５】
本編映像に合成される字幕やグラフィクスの映像は、映像ソースに含まれる字幕やグラフィクスのデータに基づいて映像再生装置内で生成される。この場合、映像再生装置は、メモリやプロセッサを活用し、字幕やグラフィクスの映像を、本編映像との合成のタイミングに間に合うように、映像ソースのデータから生成し、生成した映像を本編映像の各フレームの映像と合成することで合成映像の映像信号を生成し、合成映像の再生タイミングで合成映像信号を出力する。【０００６】
映像再生装置のプロセッサに予想外の負荷がかかることにより、該プロセッサによる字幕映像やグラフィクス映像の生成が本編映像との合成のタイミングに間に合わなくなるような事態も起こり得る。このような事態に陥れば、本編映像に合成されるべき字幕映像やグラフィクス映像の右目映像および左目映像の少なくともいずれか一方が一時的に欠落することになる。【０００７】
例えば、右目用のグラフィクス映像（右目グラフィクス映像）が一時的に合成映像から欠落すると、ユーザは、グラフィクス映像に関しては左目用のグラフィクス映像のみを視認することになり、グラフィクス映像を立体映像として認識できなくなるのみならず、グラフィクス映像の深さ方向（奥行き方向）における定位が正しく定まらず、ユーザに異常な（不自然な）映像であると認識されてしまう。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−０８４９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
このように、本編映像に合成されるべき立体映像の左目映像および右目映像の少なくともいずれか一方が欠落することは、たとえそれが一時的であろうとも、好ましい事柄とはいえない。【００１０】
本実施の形態は、上記問題点を解決すべくなされたものであり、第１映像（例えば、本編映像）に合成される、第２映像（例えば、グラフィクスや字幕）が欠落等で合成に使用できない場合にも、ユーザが違和感を抱かない自然な立体映像を出力可能な映像再生装置である。
【課題を解決するための手段】
【００１１】
その一態様は、立体映像である第１の映像と第２の映像とを合成して出力する映像再生装置であって、一のフレームに合成されるべき第１の映像と第２の映像を取得する取得手段と、取得手段により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、合成映像を出力する合成手段とを備え、合成手段は、合成映像の生成時において、取得手段が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する、映像再生装置である。【００１２】
その別の一態様は、立体映像である第１の映像と第２の映像とを合成して出力する半導体装置であって、一のフレームに合成されるべき第１の映像と第２の映像を取得する取得手段と、取得手段により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成する合成手段と、合成映像を出力する信号出力手段とを備え、合成手段は、合成映像の生成時において、取得手段が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する、半導体装置である。【００１３】
そのさらに別の一態様は、映像再生装置において立体映像である第１の映像と第２の映像とを合成して出力する映像再生方法であって、取得手段が、一のフレームに合成されるべき第１の映像と第２の映像を取得するステップと、合成手段が、取得するステップにより取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、合成映像を出力するステップとを備え、合成手段は、合成映像の生成時において、取得手段が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する、映像再生方法である。
【発明の効果】
【００１４】
本実施の形態にかかる映像再生装置は、第１映像（本編映像等）に合成される立体映像の第２映像（字幕映像、グラフィクス映像等）が欠落等により合成に利用できない場合にも、ユーザが違和感を抱かない自然な立体映像を出力することができる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態による映像再生装置を備えた３Ｄ映像再生表示システムの構成図
【図２】３Ｄ映像再生表示システムの映像表示装置の構成図
【図３】実施の形態による映像再生装置の構成図
【図４】実施の形態１による映像再生装置の第２のＡＶ処理部の詳細ブロック図
【図５】プレーン合成モデルを説明する図
【図６】実施の形態による映像再生装置が送出する立体映像信号の模式図
【図７】立体映像におけるデプスの概念を説明する図
【図８】映像に付与されるオフセットを説明する図
【図９】映像再生装置の第２のＡＶ処理部の合成部の詳細ブロック図
【図１０】グラフィクス映像の出力のための処理のフローチャート
【図１１Ａ】グラフィクス映像が欠落した場合における代替映像出力を説明する図
【図１１Ｂ】グラフィクス映像が欠落した場合における代替映像出力を説明する図
【図１２】グラフィクスデコーダおよび同期部が行う処理を時間に沿って説明する図
【図１３】グラフィクスデコーダおよび同期部が行う処理を時間に沿って説明する図
【図１４】グラフィクスデコーダおよび同期部が行う処理を時間に沿って説明する図
【図１５】実施の形態２による映像再生装置の第２のＡＶ処理部の詳細ブロック図
【図１６】実施の形態１、２によるＡＶ処理部の詳細ブロック図
【図１７】実施の形態３による映像再生装置の第２のＡＶ処理部の詳細ブロック図
【図１８】深度の推定を説明するための図
【図１９】実施の形態３によるＡＶ処理部の詳細ブロック図
【発明を実施するための形態】
【００１６】
以下、実施の形態について、詳細に説明する。
【００１７】
実施の形態において、「立体映像」（「３Ｄ映像」）とは、ユーザ（鑑賞者）が立体視可能な映像を指す。また、そのような立体映像を含む映像信号を立体映像信号と称する。
【００１８】
以下に説明する実施の形態の映像再生装置は、立体映像信号を出力することができる映像再生装置である。該立体映像信号は、ＢＤ−ＲＯＭといった光ディスク（映像ソース）に記録されているコンテンツのデータ（例えば、映像ストリーム信号）に基づいて映像再生装置により生成される。
【００１９】
また、本映像再生装置は、映像ソースから取得したコンテンツのデータに基づき、本編映像（第１映像）およびグラフィクス映像または字幕映像（第２映像）の映像を生成し、第１映像に対して第２映像を同期させて両映像を合成することにより合成映像を生成し、合成映像の映像信号（合成映像信号）を立体映像信号として出力することができる。
【００２０】
本映像再生装置は、ある合成タイミングで第１映像と合成されるべき第２映像（字幕映像、グラフィクス映像等）の生成が、その合成のタイミングに間に合わない場合、別の合成タイミングで合成に使用される第２映像を当該合成タイミングの第２映像として出力する。そうすることで、本映像再生装置は、合成映像における第２映像の一時的な欠落を防止する。
【００２１】
このとき、映像再生装置は、第２映像のデプス（深度）を適宜、調節（深度補正）する。そうすることで、第２映像の一時的な欠落によって、ユーザが立体映像に対して感じる違和感が軽減される。
【００２２】
（実施の形態１）
１．立体映像再生表示システムの構成
実施の形態１による立体映像再生表示システムについて説明する。図１は、実施の形態１による映像再生装置１２を備えた立体映像再生表示システムの全体構成図である。図１において、映像表示装置１１は、立体映像を表示するディスプレイなどの表示装置である。映像再生装置１２は、ＢＤ−ＲＯＭといった光ディスク等の記憶媒体、インターネット等のネットワ−ク、および、放送波など（映像ソース）から映像等のデータ信号を受け取り、立体映像信号を再生して出力する装置である。立体メガネ１３は、映像表示装置１１が表示する立体映像を適切に遮断する液晶シャッタを備えた偏光メガネである。
【００２３】
図２を参照し、映像表示装置１１の詳細を説明する。図２は本明細書に記載の各実施の形態における映像表示装置１１の構成の詳細を示す図である。
【００２４】
映像表示装置１１は、第１の入出力部１０１、第１のＡＶ処理部１０２、表示部１０３、第１のリモコン信号受信部１０４、送信部１０５等で構成され、第１のリモコン信号受信部１０４により、ユーザからの操作を受けて動作を開始する。
【００２５】
映像再生装置１２から出力された立体映像信号は、第１の入出力部１０１に入力される。第１の入出力部１０１は、ＨＤＭＩ（High Definition Multimedia Interface）  Ｖｅｒ１．４対応の信号入力部などで構成されればよい。そして立体映像信号は、第１のＡＶ処理部１０２において映像の解像度の調整や、音声とのタイミング調整がされた後に、表示部１０３に表示される。
【００２６】
表示部１０３に表示される映像に合わせて、送信部１０５から、ユーザが装着する立体メガネ１３に対し、左右のレンズのシャッタの開閉を制御する切換信号を送出する。
【００２７】
図３は、本実施の形態の映像再生装置１２の構成を示す図である。ディスクドライブ部２０１はＢＤ−ＲＯＭ等のディスク２００を挿入可能なディスクドライブ装置であり、ＣＰＵ２０５からの指示に応じて、ディスク２００に記録されているデータを第２のＡＶ処理部２０２へ出力する。第２のＡＶ処理部２０２は、第２のリモコン信号受信部２０４を通じてユーザからの再生指示を受け付け、ディスク２００に記録されているコンテンツのデータをディスクドライブ部２０１から取得し、立体映像信号を生成し、第２の入出力部２０３へ出力する。
【００２８】
ＣＰＵ２０５は、第２のリモコン信号受信部２０４を通じてユーザ指示を受け付け、当該指示に基づき、第２のＡＶ処理部２０２へ指示を出力する。また、ＣＰＵ２０５は、必要に応じ、第２のＡＶ処理部２０２とフラッシュメモリ２０６との間、第２のＡＶ処理部２０２とメモリ２０７との間のデータの受け渡しを制御する。第２のリモコン信号受信部２０４はリモコン（図示せず）から出力されるユーザ指示を受信する。フラッシュメモリ２０６は、ＣＰＵ２０５や、第２のＡＶ処理部２０２の動作を行うためのソフトウェアを格納し、さらに、後述する深度情報（デプス情報）などグラフィクス映像を本編映像と合成する際に必要なデータを記憶する。メモリ２０７はコンテンツのデータをデコードして立体映像信号を生成する際に映像等のデータを一時的に記憶するメモリである。
【００２９】
ディスク２００には、本編映像（第１映像）のデータ（「ビデオデータ」）、本編映像（第１映像）に重畳（合成）するグラフィクス映像（第２映像）のデータ（「グラフィクスデータ」）、字幕のデータ（「字幕データ」）、ユーザが機器操作を行う際にユーザに提示されるメニュー等のデータが格納されている。第２のＡＶ処理部２０２は、これらのデータをデコードして複数の映像（プレーン）に展開し、これらの映像から合成映像を生成し、映像信号（「合成映像信号」）を第２の入出力部２０３より出力する。
【００３０】
なお、映像再生装置１２は、ディスクドライブ部２０１の他に、ハードディスクドライブ（ＨＤＤ）等の記録媒体を備えてもよい。また、映像再生装置１２は、さらに、放送電波を受信するためのアンテナ、および、受信された放送電波をデジタルのストリーム信号（ビデオ、音声、グラフィクスス、字幕など）に変換するチューナ等を備えてもよい。
【００３１】
２．立体映像再生表示システムの動作
２．１．全体動作
以上のように構成された立体映像再生表示システムにおいて、映像再生装置１２は、ディスク２００に記録されたコンテンツのデータを読み出して本編映像およびグラフィクス映像を生成し、両映像を合成して立体映像を示す合成映像信号を出力する。合成映像信号は、左目映像および右目映像を含んでなる映像信号である。
【００３２】
映像表示装置１１は、入力した合成映像信号に含まれる左目映像と右目映像とをディスプレイ上で時分割表示し、この時、時分割の切り換えタイミングを、赤外線同期信号（切換信号）として図１の立体メガネ１３へ伝える。
【００３３】
立体メガネ１３は、映像表示装置１１から受けた同期信号に応じて液晶シャッタの透過率を切換え、立体メガネ１３の左目側或いは右目側の何れかの視野を交互に遮断することにより、左目映像を左目だけに提示し、また右目映像を右目だけに提示する。このようにして立体映像表示が実現される。
【００３４】
２．２．グラフィクス映像合成処理
次に、第２のＡＶ処理部２０２の構成の詳細および第２のＡＶ処理部２０２における本編映像とグラフィクス映像との合成処理について説明する。
【００３５】
図４は、実施の形態１における第２のＡＶ処理部２０２の詳細を示すブロック図である。
【００３６】
第２のＡＶ処理部２０２は、ストリーム制御部５０１、深度決定部５０２、ビデオデコーダ５０３、グラフィクスデコーダ５０４、合成部５０５等から構成される。第２のリモコン信号受信部２０４はリモコン（不図示）を介してユーザからの指示を受け付ける。ＣＰＵ２０５は当該指示に従い、第２のＡＶ処理部２０２、フラッシュメモリ２０６、メモリ２０７等を制御する。
【００３７】
ストリーム制御部５０１は、ディスクドライブ部２０１からディスク２００に収録されたビデオデータ（本編映像のデータ）、グラフィクスデータ（グラフィクス映像のデータ）、深度情報を取得する。そして、ストリーム制御部５０１は、ビデオデータをビデオデコーダ５０３に、グラフィクスデータをグラフィクスデコーダ５０４に、深度情報を深度決定部５０２へ出力する。
【００３８】
ビデオデコーダ５０３は、ストリーム制御部５０１からビデオデータを受け取る。そのビデオデータは圧縮されており、その圧縮されたビデオデータを伸張してビデオ映像（本編映像のみの映像）を生成する。グラフィクスデコーダ５０４は、ディスク２００に記録されたグラフィクスデータをストリーム制御部５０１から受け取り、伸張してグラフィクス映像（グラフィクス映像のみの映像）を生成する。グラフィクスデータの多くは、ユーザ操作を促すボタンのイメージなど、いくつかの部品で構成される。グラフィクスデコーダ５０４は、それらをデコードし、メモリ２０７上に描画する（書き込む）ことにより、グラフィクス映像を生成する。
【００３９】
また、グラフィクスデコーダ５０４は、グラフィクス映像を、フラッシュメモリ２０６に記録された機器特有のグラフィクスデータを利用して作成する場合もある。
【００４０】
ディスク２００は、ビデオデータ（本編映像のデータ）、および、グラフィクスデータ（グラフィクス映像のデータ）それぞれの左目映像および右目映像を格納する。以下においては、本編映像も、立体映像として説明するが、本編映像は、非立体映像であってもよい。その場合であっても、合成映像信号を立体映像信号として構成することは可能である。
【００４１】
また、ビデオデータとグラフィクスデータに関する深さ位置（デプス）の情報も、深度情報としてディスク２００に記録されている。その深さ位置の情報（深度情報）は、ビデオデータとグラフィクスデータの映像中の物体の平均的な深度の情報として記録されてよく、深度情報は、ビデオデータ、グラフィクスデータとは別に、ディスク２００に記録される。
【００４２】
深度決定部５０２は、ディスク２００に記録された深度情報から、グラフィクスデータの深度を算出し深度データとして合成部５０５へ出力する。立体映像においては、左目映像および右目映像を表示画面上の左右方向にずらす（オフセット調整する）ことにより、映像の奥行き方向の見かけ上の距離を、表示位置（表示画の位置）よりも遠くに見せたり、表示位置よりも近くに見せたりする。深度決定部５０２が決定したこの見かけの深さ位置（デプス）を示したデータを、深度データと呼ぶ。
【００４３】
合成部５０５は、本編映像、グラフィクス映像等の複数プレーンを合成し、合成映像信号を生成する。つまり、合成部５０５は、ビデオデコーダ５０３からのビデオ映像（本編映像）と、グラフィクスデコーダ５０４からのグラフィクス映像とを、深度決定部５０２から送られる深度データに基づいて合成する。
【００４４】
２．２．１．プレーン合成モデル
図５を参照し、本編映像にグラフィクス映像を重畳（合成）して、合成映像を出力するまでのプロセスを説明する。図５に示されるモデルは、一般に、プレーン合成モデルと称される。
【００４５】
ビデオデコーダ５０３において、ディスク２００等から読み出されたビデオデータ３０５Ｓ（#1 VIDEO STREAM）から左目用ビデオ映像（Ｌビデオ映像）３０５Ｌ、および、右目用ビデオ映像（Ｒビデオ映像）３０５Ｒ（本編映像の左目映像および右目映像）が生成され合成部５０５へ出力される。同時に、グラフィクスデコーダ５０４において、ディスク２００等から読み出されたグラフィクスデータ３０７Ｓ（#2 VIDEO STREAM）から左目用グラフィクス映像（Ｌグラフィクス映像）３０７Ｌ、および、右目用グラフィクス映像（Ｒグラフィクス映像）３０７Ｒ（グラフィクス映像の左目映像および右目映像）が生成され合成部５０５へ出力される。合成部５０５は、本編映像３０５ＬおよびＲ、ならびに、グラフィクス映像３０７ＬおよびＲを重畳（合成）し、合成映像３１３として出力する。
【００４６】
なお、合成部５０５は、メニューグラフィクス３０１や字幕データ３０３などを、合成映像にさらに重畳することもできる。
【００４７】
２．２．２．立体映像信号
図６は、映像再生装置１２が合成映像３１３の映像信号（合成映像信号）を立体映像信号として出力する場合に用いる信号フォーマットの例図である。合成映像信号３１３ＳＧＬには、例えば、左目映像の映像信号（Ｌ）と右目映像の映像信号（Ｒ）とが交互に含まれ、合成映像１フレーム分の映像信号が構成される。映像再生装置１２は、６０フレーム／秒で合成映像を出力する場合、１／１２０秒で左目映像の映像信号（Ｌ）を伝送し、次の１／１２０秒で右目映像の映像信号を伝送する。
【００４８】
２．２．３．デプスおよびオフセット処理について
図７を参照し、立体映像である合成映像３１３におけるデプスについて説明する。図７では、ユーザが立体映像を鑑賞した場合に認識する立体感（奥行き方向の拡がり）を図面左右方向（デプス方向）で表現している。本図が例示する立体映像（合成映像３１３）では、本編映像３０５として背景とその手前（ユーザ側）に立つ人が含まれる。合成映像３１３では、本編映像３０５の手前（ユーザ側）にグラフィクス映像３０７が重畳されている。同図で、ユーザが感じるグラフィクス映像３０７の奥行き方向（図面左右方向）見かけ上の距離を矢印３１５の方向に変化させることが、グラフィクス映像３０７のデプスを調整することに対応する。
【００４９】
図８は、映像に対するオフセット処理を説明する図である。映像に対しオフセット処理を施すことで、当該映像の深度（デプス）を調整することが可能になる。映像を立体的に表現する場合には、一般に視差を有する右目映像および左目映像を使用するとともに、両映像を画面左右方向に所定の距離だけ反対方向にずらして（オフセット処理を行って）映像の奥行き感（奥行き方向の距離）を表現する。第２のＡＶ処理部２０２は、オフセットの程度（ずらす距離）を上述の深度データに基づいて変更することで映像の深度を調節する。
【００５０】
例えば、図８（ａ）は、オフセットの程度（オフセット量）がゼロの場合の左目映像４０１Ｌおよび右目映像４０１Ｒを示す図である。このとき、ユーザが映像中の物体（例えば、バス）に対して感じる見かけ上の距離は、映像表示面と一致する。
【００５１】
図８（ｂ）は、基準フレーム４０３（オフセット量ゼロの場合の映像の位置）に対して、左目映像および右目映像４０１ＬおよびＲが図面の中央方向に集まるようにオフセット４０５が与えられた場合を示す図である。このとき、ユーザは、映像中の物体の見かけ上の距離を映像表示面よりも近いと感じる。
【００５２】
図８（ｃ）は、基準フレーム４０３に対して、左目映像および右目映像４０１ＬおよびＲが互いに遠ざかるようにオフセット４０７が与えられた場合を示す図である。このとき、ユーザは、映像中の物体の見かけ上の距離を映像表示面よりも遠いと感じる。
【００５３】
このように、立体映像においては、左目映像および右目映像に所定のオフセットを与えることで、ユーザが当該映像に対して認識する距離感（奥行き感）を調節することができる。つまり、映像に与えるオフセットの大きさおよびオフセットの方向を調節することで、立体映像中における当該映像のデプスを調節することができる。なお、左目映像４０１Ｌと右目映像４０１Ｒは、視差を考慮した異なる映像であってもよいし、同一の映像であってもよい。
【００５４】
２．２．４．合成部におけるデプス調整処理
これより、合成部５０５における、グラフィクス映像に対するデプス調整処理について説明する。
【００５５】
図９は、合成部５０５の詳細を示すブロック図である。合成部５０５は、グラフィクスデコーダ５０４から直接またはメモリ２０７を介して間接的にグラフィクス映像を取得するグラフィクス映像取得部７００と、本編映像とグラフィクス映像とを合成するグラフィクス合成部７０３とを有する。グラフィクス映像取得部７００は、本編映像に同期してグラフィクス映像を出力する同期部７０１と、グラフィクス映像の深度（デプス）を調整する深度付与部７０２とを備える。同期部７０１は、両映像の同期をとりながらグラフィクス合成部７０３において行われる合成処理のタイミングに間に合うように所定の出力タイミングでグラフィクス映像を出力し、深度付与部７０２は、入力されるグラフィクス映像について、上述の深度決定部５０２が出力する深度データに基づいてグラフィクス映像の深度（デプス）を適宜調整し、深度補正済のグラフィクス映像をグラフィクス合成部７０３へ出力する。
【００５６】
グラフィクスデコーダ５０４がデコードしたグラフィクス映像は、メモリ２０７に一時的に書き込まれ（描画され）、同期部７０１は、グラフィクス映像の左目映像および右目映像がメモリ２０７に書き込まれたことを確認すると、合成タイミング（合成映像がグラフィクス合成部７０３から出力されるタイミングまでに合成映像の生成が間に合うように設定される合成処理を行うタイミング）に間に合うように、メモリ２０７に書き込まれた当該グラフィクス映像を読み出して当該グラフィクス映像を深度付与部７０２へ出力する。
【００５７】
２．２．４．１．通常時におけるグラフィクス映像デプス調整処理および出力処理
グラフィクス映像取得部７００の同期部７０１は、グラフィクス合成部７０３における本編映像とグラフィクス映像との合成のタイミングに間に合うようにグラフィクス映像を出力する。例えば、通常、６０ＨｚＮＴＳＣでは、グラフィクス映像の左目映像および右目映像は、１／１２０秒ごとに、つまり約８ｍＳｅｃごとに、深度付与部７０２へ出力される。深度付与部７０２は、深度決定部５０２から出力された深度データにもとづき、グラフィクス映像に対してオフセット処理を行い、グラフィクス映像のデプスを調整して深度補正済グラフィクス映像をグラフィクス合成部７０３へ出力する。グラフィクス合成部７０３は、本編映像と、本編映像に同期して深度付与部７０２を介して入力されるグラフィクス映像とを合成して（立体）合成映像を生成し、（立体）合成映像信号を第２の入出力部２０３へ出力する。
【００５８】
ただし、グラフィクスデコーダ５０４が出力したグラフィクス映像に既にオフセットが付与されている場合、つまり、グラフィクス映像が２プレーン方式等でディスク２００に記録されたグラフィクスデータに基づいて生成された場合には、通常、深度付与部７０２が当該グラフィクス映像に対しさらにオフセットを付与する必要はない。グラフィクス映像に予めオフセットが付与されていない場合、つまり、グラフィクス映像が２プレーンプラス１オフセット方式または１プレーンプラス１オフセット方式等でディスク２００に記録されたグラフィクスデータに基づいてグラフィクスデコーダ５０４で生成され出力される場合には、深度付与部７０２は、常時、深度データにもとづき当該グラフィクス映像に対してオフセット処理を行う。
【００５９】
深度付与部７０２からグラフィクス合成部７０３における合成処理のタイミング（合成タイミング）に間に合うように出力された深度補正済グラフィクス映像は、グラフィクス合成部７０３において、本編映像と合成され、その合成映像の再生タイミングにおいて合成映像信号として出力される。
【００６０】
２．２．４．２．グラフィクス映像欠落時におけるグラフィクス映像デプス調整処理および出力処理
グラフィクス映像を立体映像として生成する場合、グラフィクスデコーダ５０４は、限られた時間内で、グラフィクスデータをデコードして左目用のグラフィクス映像を出力し、さらに、グラフィクスデータをデコードして右目用のグラフィクス映像を出力する必要がある。また、本編映像とグラフィクス映像の同期を確認するための時間も必要である。そのため、グラフィクスデコーダ５０４のデコード性能、描画性能に起因して、本編映像に同期して合成すべきグラフィクス映像の左目映像および右目映像が、所定のタイミング（例えば、同期部７０１からのグラフィクス映像出力タイミング）までに同期部７０１またはメモリ２０７に入力されない事態が起こり得る。また、グラフィクス映像の左目映像および右目映像の一方しか、所定のタイミングまでに同期部７０１またはメモリ２０７に入力されない事態も起こり得る。後者の場合であっても、その入力された片目分のグラフィクス映像を使用することはできない。なぜなら、例えば、コンテンツ内に２プレーン方式で記録されグラフィクスデコーダ５０４で生成されたグラフィクス映像では、左目映像と右目映像とに視差をつけて、立体視を実現している。そのため、左目用のグラフィクス映像と、右目用のグラフィクス映像との両方がそろっていないと、グラフィクス映像に関して視差以外の情報差がユーザに与えられてしまい、ユーザはグラフィクスを十分な立体像として認識できないだけでなく、突然、深さ方向の位置の認識間違いが起こり、異常な映像として認識する。以上のような事態が生じると、同期部７０１は、本編映像の再生タイミングにおいて、本編映像に合成されるべきグラフィクス映像を出力することができない。
【００６１】
この問題を解決するため、本実施の形態の映像再生装置１２は、グラフィクス映像の左目映像、および、右目映像の少なくともいずれか一方が、当該グラフィクス映像が同期部７０１から出力されるべき出力タイミングにおいて使用できない場合、当該出力タイミングにおいて出力するグラフィクス映像として、別の一の出力タイミングのためのグラフィクス映像（例えば、以前に出力したグラフィクス映像）の左目映像および右目映像を出力する。そうすることで、映像再生装置１２は、本来のグラフィクス映像が欠落した場合であってもユーザが違和感を感じる映像の出力を回避する。
【００６２】
２．２．４．２ａ．２プレーンプラス１オフセット方式で記録されたグラフィクスデータから生成されるグラフィクス映像に対するデプス調整処理
以下、グラフィクスデータが、コンテンツのデータ内に２プレーンプラス１オフセット方式で記録されている場合の処理について説明する。
【００６３】
グラフィクス映像のデータが２プレーンプラス１オフセット方式で映像ソースに記録されている場合、グラフィクスデコーダ５０４が出力するグラフィクス映像は、視差を有しかつオフセットを有さない左目グラフィクス映像および右目グラフィクス映像である。そこで、通常時（正常にグラフィクスデコーダ５０４からグラフィクス映像が送られている場合）においても、深度付与部７０２は、各フレームのグラフィクス映像の深度データにもとづき、グラフィクス映像にオフセット処理を行って（深度補正して）深度補正済グラフィクス映像をグラフィクス合成部７０３へ出力する。
【００６４】
また、非通常時（ある出力タイミングにおいて本来のグラフィクス映像が使用できず、別の出力タイミングの（別のフレームのための）グラフィクス映像が使用される場合）、深度付与部７０２は、以下のように、現在の出力タイミングにおいて出力されるべき本来のグラフィクス映像の深度データを用いて当該別の出力タイミングのグラフィクス映像（別のフレームのグラフィクス映像）にオフセット処理を行って（深度補正して）出力する。
【００６５】
図１０は、時間領域ｔ（時間領域はそれぞれ、合成映像信号の１フレームに対応。）の出力タイミング近傍においてグラフィクス映像取得部７００がするグラフィクス映像出力処理のフローチャートである。
【００６６】
同期部７０１は、時間領域ｔのグラフィクス映像出力タイミングにおいて出力するべきグラフィクス映像の左目映像（Ｌｔ）および右目映像（Ｒｔ）の両映像が既に入力されているかどうか（使用可能かどうか）について判断する（Ｓ１０１）。
【００６７】
左目映像Ｌｔおよび右目映像Ｒｔが共に入力されている場合（Ｓ１０１における「ＹＥＳ」）、同期部７０１は、適切なタイミングで左目映像Ｌｔおよび右目映像Ｒｔを深度付与部７０２へ出力する（Ｓ１０２）。深度付与部７０２は、時間領域ｔのグラフィクス映像のための深度データＤｔを用いて左目映像Ｌｔおよび右目映像Ｒｔの深度を補正して（オフセット処理して）深度補正済左目映像Ｌｔ’、および、深度補正済右目映像Ｒｔ’をグラフィクス合成部７０３へ出力する（Ｓ１０３）。グラフィクス合成部７０３は、グラフィクス映像と本編映像とを合成し合成映像信号として出力する。
【００６８】
これに対し、同期部７０１へ左目映像Ｌｔおよび右目映像Ｒｔの少なくともいずれか一方が入力されなかった場合（Ｓ１０１における「ＮＯ」）、同期部７０１は、ひとつ前の時間領域ｔ−１のグラフィクス映像の左目映像Ｌｔ−１および右目映像Ｒｔ−１の両映像を入力したかどうか、（使用可能かどうか）について判断する（Ｓ１０４）。
【００６９】
左目映像Ｌｔ−１および右目映像Ｒｔ−１の両映像が同期部７０１へ入力されている場合（使用可能な場合）（Ｓ１０４における「ＹＥＳ」）、同期部７０１は、適切なタイミングで左目映像Ｌｔ−１および右目映像Ｒｔ−１を深度付与部７０２へ出力する（Ｓ１０５）。
【００７０】
深度付与部７０２は、入力した左目映像Ｌｔ−１および右目映像Ｒｔ−１に対し、時間領域ｔでの本来のグラフィクス映像の深度データＤｔを用いて左目映像Ｌｔ−１および右目映像Ｒｔ−１の深度を補正して（オフセット処理して）深度付与済左目映像Ｌｔ−１’’、および、深度付与済右目映像Ｒｔ−１’’をグラフィクス合成部７０３へ出力する（Ｓ１０６）。グラフィクス合成部７０３は、グラフィクス映像と本編映像とを合成し合成映像信号として出力する。
【００７１】
左目映像Ｌｔ−１および右目映像Ｒｔ−１の少なくともいずれか一方が同期部７０１へ入力されていなかった場合（使用できない場合）（Ｓ１０４における「ＮＯ」）、エラー処理を行う（Ｓ１０７）。なお、エラー処理としては、表示を停止するのではなく、より以前に表示されたグラフィクス映像を再度表示してもよい。
【００７２】
このように、本実施の形態の映像再生装置１２は、各時間領域においてその時間領域のグラフィクス映像の左目映像および右目映像の少なくともいずれか一方が、本編映像との合成処理に使用できない場合には、別の時間領域（別のフレーム）のグラフィクス映像に、本来その時間領域において本編映像に合成されるグラフィクス映像の深度が付与されるように深度補正して深度補正済グラフィクス映像を生成し、その深度補正済グラフィクス映像と本編映像とを合成して合成映像を出力する。そうすることで、グラフィクス映像の欠落を防止し、もって、ユーザが違和感を覚えず、かつ、深度がなめらかに変化する立体映像を提供する。
【００７３】
図１１Ａは、映像ソース（ディスク２００のコンテンツのデータ）に、グラフィクスデータが２プレーンプラス１オフセット方式で記録されている場合の、各時間領域（フレーム）でのグラフィクスデコーダ５０４、同期部７０１、深度付与部７０２からのでの出力、ならびに、深度データＤ（深度決定部５０２からの出力）をまとめた図である。ここでは、深度データは、ディスク２００に、グラフィクス映像（または本編映像）１フレーム（１時間領域）毎に記録されているものとする。また、同図において、グラフィクスデコーダからの出力として実線矩形で示されているグラフィクス映像は、各時間領域における同期部７０１のグラフィクス映像出力タイミングにおいて同期部７０１が使用可能なグラフィクス映像を意味し、破線矩形で示されているグラフィクス映像は、各時間領域における同出力タイミングにおいて同期部７０１が使用不可能なグラフィクス映像を示す。
【００７４】
グラフィクスデコーダ５０４は、各時間領域（ＴＤ１〜ＴＤ５）において同期部７０１がグラフィクス映像を出力するタイミングに間に合うように、グラフィクス映像の左目映像（Ｌ１、Ｌ２、．．．）および右目映像（Ｒ１、Ｒ２、．．．）を出力する。図１１Ａの例では、グラフィクスデコーダ５０４は、時間領域ＴＤ４に関し、グラフィクス映像の右目映像Ｒ４（７０１）を所定のタイミングまでに出力できなかったとする。
【００７５】
この場合、同期部７０１は、右目映像Ｒ４（７０１）の入力がないと判断し、時間領域ＴＤ４においては、先の時間領域ＴＤ３の（１つ前のフレームの）グラフィクス映像の左目映像Ｌ３（７０３）および右目映像Ｒ３（７０５）を出力する。
【００７６】
深度決定部５０２から出力される各時間領域のグラフィクス映像の深度データをＤ１〜Ｄ５で表すと、深度付与部７０２は、時間領域ＴＤ１〜ＴＤ３においては、各時間領域のグラフィクス映像の左目映像Ｌ１〜Ｌ３および右目映像Ｒ１〜Ｒ３に対し、対応する深度データＤ１〜Ｄ３を用いて深度を補正し（オフセット処理し）、深度付与されたグラフィクス映像の左目および右目映像（Ｌ１’〜Ｌ３’およびＲ１’〜Ｒ３’）を出力する。そして、時間領域ＴＤ４においては、グラフィクス映像Ｌ３およびＲ３に対し、時間領域ＴＤ４の深度データＤ４を用いて深度を補正し（オフセット処理し）、深度付与されたグラフィクス映像の左目および右目映像Ｌ３’’およびＲ３’’を出力する。
【００７７】
以上のように、本実施の形態の映像再生装置１２は、ある時間領域（フレーム）においてグラフィクス映像が欠落した場合（使用できない場合）、別の時間領域（フレーム）のグラフィクス映像の左目映像および右目映像を、現在の時間領域で本来出力されるグラフィクス映像の深度データで深度補正し、深度補正済グラフィクス映像を出力することで、映像表示装置１１において異常なグラフィクス映像が表示されることを防止する。そうすることで、本映像再生装置１２では、本編映像との合成のタイミングに同期して同期部７０１から出力されるべき本来のグラフィクス映像が使用できないような事態が生じた場合にも、ユーザが違和感を覚えるような異常なグラフィクス映像が出力されることが防止される。さらに、グラフィクス映像のデプスは時間経過に沿ってなめらかに推移するため、なめらかに変化する立体映像を出力することが可能である。なお、深度データは、グラフィクスデータやビデオデータとは異なりデコード等が不要であるため、各時間領域の所定のタイミングにおいて深度データが欠落する可能性は極めて低いものである。仮に、深度データが利用できないような場合には、以前の時間領域のグラフィクス映像の深度データを用いて現在の時間領域のグラフィクス映像の深度データを推定してもよい。
【００７８】
また、グラフィクス映像の深度情報が、フレーム毎（時間領域毎）のデータとしてディスク２００に記録されていない場合には、他の情報（例えば、本編映像の深度データ）を用いることも可能である。
【００７９】
また、深度データをユーザからの入力に基づいて決定してもよい。例えば、ユーザが、表示中の映像を遠くへ押しやって消してしまうフェードアウト効果等の演出をグラフィクス映像に加えたいような場合には、ユーザから当該指示を受け取り、フラッシュメモリ２０６等に記録されているフェードアウトシーケンスから深度データを入手して利用してもよい。
【００８０】
また、深度情報は、フレーム毎（時間領域毎）に記録されずとも、シーケンスとして記録されてもよい。例えば、深度情報は、毎秒１メートルで遠ざかるように、といったシーケンス情報であってもよい。このような場合であっても、各時間領域（フレーム）のグラフィクス映像の深度データは、単純な演算により求めることができるので、演算で各フレームのグラフィクス映像の深度データを算出すればよい。
【００８１】
なお、本例では、ある時間領域においてグラフィクス映像の欠落が検出された場合、１つ前の時間領域の（１つ前のフレームの）グラフィクス映像を再度出力するようにしているが、再出力されるグラフィクス映像は、１つ前の時間領域のグラフィクス映像でなくともよい。２つ以上前の時間領域のグラフィクス映像を再度出力してもよい。また、利用可能であれば後の時間領域のグラフィクス映像を利用してもよい。
【００８２】
２．２．４．２ｂ．１プレーンプラス１オフセット方式で記録されたグラフィクスデータから生成されるグラフィクス映像に対するデプス調整処理
次に、グラフィクスデータが、コンテンツのデータ内に１プレーンプラス１オフセット方式で記録されている場合の処理について説明する。
【００８３】
グラフィクス映像のデータが１プレーン１オフセット方式で記録されている場合、グラフィクスデコーダ５０４が出力するグラフィクス映像は、視差を有さずかつオフセットを有さない左目グラフィクス映像および右目グラフィクス映像である。（すなわち、一つのグラフィクス映像である。）つまり、図１１ＡにおいてＬｔ＝Ｒｔ（ｔ：１〜５）とした場合に相当する。このような場合であっても、グラフィクスデータが２プレーンプラス１オフセット方式で映像ソースに記録されている場合と同様にして、異常なグラフィクス映像の出力を防止することが可能である。
【００８４】
同期部７０１は、所定の出力タイミングまでにグラフィクス映像がグラフィクスデコーダ５０４から入力されなかった場合（使用できない場合）、先の時間領域のグラフィクス映像を利用し、当該グラフィクス映像に現在の時間領域のグラフィクス映像の深度データを用いて深度補正し（オフセット処理し）、深度補正された左目映像および右目映像を出力する。そうすることで、異常なグラフィクス映像の出力が防止され、かつ、グラフィクス映像のデプスは時間経過に沿ってなめらかに推移するため、なめらかに変化する立体映像を出力することができる。
【００８５】
２．２．４．２ｃ．２プレーン方式で記録されたグラフィクスデータから生成されるグラフィクス映像に対するデプス調整処理
最後に、グラフィクスデータが、コンテンツのデータ内に２プレーン方式で記録されている場合の処理について説明する。
【００８６】
グラフィクス映像のデータが２プレーン方式で記録されている場合、グラフィクスデコーダ５０４が出力するグラフィクス映像は、視差を有しかつオフセットを有する左目グラフィクス映像および右目グラフィクス映像である。そこで、通常時（正常にグラフィクスデコーダ５０４からグラフィクス映像が送られている場合）においては、深度付与部７０２は、一般に、グラフィクス映像にオフセット処理を行わずに入力したグラフィクス映像をそのまま出力する。そして、非通常時（同期部７０１のグラフィクス映像出力タイミングにおいて当該出力タイミングのグラフィクス映像が使用できず、別の時間領域のグラフィクス映像が同期部７０１から出力される場合）、深度付与部７０２は、以下のように、現在の時間領域で本編映像に合成されるべき本来のグラフィクス映像の深度データおよび別の時間領域のグラフィクス映像の深度データを用いて当該別の時間領域のグラフィクス映像にオフセット処理を行って（深度補正して）深度補正済グラフィクス映像として出力する。
【００８７】
図１１Ｂは、映像ソース（ディスク２００のコンテンツのデータ）に、グラフィクスデータが２プレーン方式で記録されている場合の、各時間領域（フレーム）でのグラフィクスデコーダ５０４、同期部７０１、深度付与部７０２からのでの出力、ならびに、深度データＤ（深度決定部５０２からの出力）をまとめた図である。同図においても、グラフィクスデコーダからの出力として実線矩形で示されているグラフィクス映像は、各時間領域における同期部７０１のグラフィクス映像出力タイミングにおいて同期部７０１が使用可能なグラフィクス映像を意味し、破線矩形で示されているグラフィクス映像は、各時間領域における同出力タイミングにおいて同期部７０１が使用不可能なグラフィクス映像を示す。
【００８８】
この場合、グラフィクスデコーダ５０４から出力されるグラフィクス映像の左目映像および右目映像には、オフセットが既に付与されている。よって、深度付与部７０２は、各時間領域において同期部７０１から同時間領域の本来のグラフィクス映像が入力されるかぎりにおいて、さらなる深度補正をしなくともよい。
【００８９】
図１１Ｂの例では、グラフィクスデコーダ５０４は、時間領域ＴＤ４において、グラフィクス映像の右目映像Ｒ４（７０１）を所定のタイミングまでに出力できなかったとする。
【００９０】
この場合、同期部７０１は、右目映像Ｒ４（７０１）の入力がないと判断し、時間領域ＴＤ４においては、先の時間領域ＴＤ３のグラフィクス映像の左目映像Ｌ３（７０３）および右目映像Ｒ３（７０５）を所定の出力タイミングで出力する。
【００９１】
深度付与部７０２は、時間領域ＴＤ４において、グラフィクス映像Ｌ３およびＲ３に対し、時間領域ＴＤ３のグラフィクス映像の深度データＤ３および時間領域ＴＤ４の本来のグラフィクス映像の深度データＤ４を用いて（Ｄ４−Ｄ３）だけ深度を補正し（オフセット処理し）、深度付与されたグラフィクス映像の左目映像Ｌ３’、および、右目映像Ｒ３’を出力する。ここで、深度の差（Ｄ４−Ｄ３）だけ深度補正が行われるのは、以下の理由による。時間領域ＴＤ３のグラフィクス映像Ｌ３およびＲ３には、既に、深度Ｄ３だけの深度補正（オフセットの付与）が行われている。そこで、深度付与部７０２は、グラフィクス映像Ｌ３およびＲ３の深度を、時間領域ＴＤ４の本来のグラフィクス映像の深度Ｄ４に補正するために、深度（Ｄ４−Ｄ３）だけ、グラフィクス映像Ｌ３およびＲ３の深度を更に補正して出力する。
【００９２】
２．２．５ａ．メモリおよび同期部での処理例１
図１２は、メモリ２０７がグラフィクス映像の左目映像および右目映像それぞれについて映像３枚分のメモリ領域を備えている場合におけるグラフィクス映像の書き込みおよび読み出し処理の例を時間軸に沿って示す図である。メモリ２０７のグラフィクスＬメモリ（Ｒメモリ）の領域１〜３（領域４〜６）はそれぞれ、グラフィクス映像の左目映像（右目映像）を一時的に記憶するための記憶領域である。
【００９３】
例えば、時間領域ＴＤ１においては、グラフィクス領域１と、グラフィクス領域３にグラフィクス映像の左目および右目映像Ｌ２およびＲ２を描画し（書き込み）、その間に、グラフィクス領域２と、グラフィクス領域４から、グラフィクス映像Ｌ１およびＲ１が読み出されて同期部７０１へ入力され、同期部７０１から出力される。
【００９４】
時間領域ＴＤ２においては、合成映像の再生タイミングと同期し時間領域が進む毎に、グラフィクス領域を切り換えることにより、グラフィクス領域２と、グラフィクス領域４にグラフィクス映像の左目および右目映像Ｌ３およびＲ３を描画し（書き込み）、その間に、グラフィクス領域１と、グラフィクス領域３から、グラフィクス映像の左目および右目映像Ｌ２およびＲ２が読み出されて同期部７０１へ入力され、同期部７０１から出力される。このように描画（書込）と出力のメモリ領域を交互に切り換えることにより、描画中の状態でグラフィクス映像が出力されることはなくなり、本編映像のタイミングに合わせて、グラフィクス映像を合成して、合成映像を出力することができる。
【００９５】
ここで、時間領域ＴＤ３におけるメモリ２０７へのグラフィクス映像の書き込みに注目すれば、左目映像Ｌ４のメモリ２０７への書き込み（グラフィクスデコーダ５０４からの入力）は時間領域ＴＤ３内において完了しているが、右目映像Ｒ４のメモリ２０７への書き込みは時間領域ＴＤ４の開始点において完了していない。
【００９６】
このような場合、同期部７０１は、グラフィクス映像の左目および右目の両映像の入力はないと判断し（図１０のステップＳ１０１の「ＮＯ」）、先の時間領域ＴＤ３のグラフィクス映像Ｌ３およびＲ３を再度出力する（図１０のステップＳ１０５）。
【００９７】
そして、時間領域ＴＤ４においては、グラフィクス領域３および６のそれぞれに対し、時間領域ＴＤ５のグラフィクス映像の左目および右目映像Ｌ５およびＲ５の書き込みが行われる。
【００９８】
２．２．５ｂ．メモリおよび同期部での処理例２
図１３は、メモリ２０７がグラフィクス映像の左目映像および右目映像それぞれについて映像２枚分のメモリ領域を備えている場合におけるグラフィクス映像の書き込みおよび読み出し処理の例を時間軸に沿って示す図である。
【００９９】
ここでも、先例と同様、時間領域ＴＤ３におけるグラフィクス映像の右目映像Ｒ４のメモリ２０７への書き込みが時間領域ＴＤ４の開点において完了していないとする。
【０１００】
このような場合、先例と同様、同期部７０１は、グラフィクス映像の左目および右目の両映像の入力はないと判断し（図１０のステップＳ１０１の「ＮＯ」）、先の時間領域ＴＤ３のグラフィクス映像Ｌ３およびＲ３を再度出力する（図１０のステップＳ１０５）。
【０１０１】
そして、時間領域ＴＤ４においては、グラフィクス領域１および３のそれぞれに対し、時間領域ＴＤ５のグラフィクス映像の左目および右目映像Ｌ５およびＲ５の書き込みが行われる。
【０１０２】
２．２．５ｃ．メモリおよび同期部での処理例３
図１４は、メモリ２０７がグラフィクス映像の左目映像および右目映像それぞれについて映像２枚分のメモリ領域を備えている場合におけるグラフィクス映像の書き込みおよび読み出し処理の別例を時間軸に沿って示す図である。
【０１０３】
ここでも、先例と同様、時間領域ＴＤ３におけるグラフィクス映像の右目映像Ｒ４のメモリ２０７への書き込みが時間領域ＴＤ４の開始点において完了していないとする。
【０１０４】
このような場合、先例と同様、同期部７０１は、グラフィクス映像の左目および右目両映像の入力はないと判断し（図１０のステップＳ１０１の「ＮＯ」）、先の時間領域ＴＤ３のグラフィクス映像Ｌ３およびＲ３を再度出力する（図１０のステップＳ１０５）。
【０１０５】
ただし、本例では、時間領域ＴＤ４において、直前の例のようにグラフィクス領域１および３のそれぞれに対し時間領域ＴＤ５のグラフィクス映像の左目および右目映像Ｌ５およびＲ５の書き込みは行われない。時間領域ＴＤ４においては、時間領域ＴＤ３のグラフィクス映像の左目および右目映像Ｌ３およびＲ３の再出力のみが行われる。
【０１０６】
そして、時間領域ＴＤ５においては、時間領域ＴＤ４のグラフィクス映像の左目および右目映像Ｌ４およびＲ４が出力されるとともに、時間領域ＴＤ６のためのグラフィクス映像の左目および右目映像Ｌ６およびＲ６の書き込みが行われ、時間領域ＴＤ６において、該映像Ｌ６およびＲ６の出力が行われる。
【０１０７】
このように、ある時間領域ＴＤｘにおいてグラフィクス映像の欠落が生じた場合、時間領域ＴＤｘにおいて、先の時間領域ＴＤｘ−１のグラフィクス映像の再出力を行い、時間領域ＴＤｘ＋１において、ＴＤｘのグラフィクス映像の出力を行うように同期部７０１を構成してもよい。言うまでもなく、本例のような場合であっても、深度付与部７０２は、現在の時間領域のための深度データを用いて、同期部７０１が出力するグラフィクス映像の深度補正を行えばよい。
【０１０８】
実施の形態１の映像再生装置１２は、立体映像である第１の映像（本編映像）と第２の映像（グラフィクス映像）とを合成して出力する映像再生装置であって、一のフレームに合成されるべき第１の映像（本編映像）と第２の映像（グラフィクス映像）を取得するビデオおよびグラフィクスデコーダ５０３および５０４と、ビデオおよびグラフィクスデコーダ５０３および５０４により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、合成映像を出力する合成部５０５とを備え、合成部５０５は、合成映像の生成時において、ビデオおよびグラフィクスデコーダ５０３および５０４が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する。
【０１０９】
本実施の形態の映像再生装置は、ＢＤ−ＲＯＭ等の光ディスク（映像ソース）に収録されたコンテンツのデータから、本編映像（第１映像）と、本編映像に合成されるグラフィクス映像（第２映像（立体映像））とを生成し、両映像を合成し、合成映像を立体映像として出力することができる。本映像再生装置は、本編映像とグラフィクス映像との合成のタイミングにおいて当該合成に使用するグラフィクス映像の左目映像および右目映像の少なくともいずれか一方が使用できない場合、別の時間領域（別の合成映像フレーム）で合成に使用するグラフィクス映像の左目映像および右目映像を合成に使用する。この場合において映像再生装置は、グラフィクス映像のデプスを、当該合成において本来使用されるはずのグラフィクス映像のデプスに一致するようにグラフィクス映像の深度を補正してから、本編映像と合成し合成映像を出力する。そうすることで、本映像再生装置は、グラフィクス映像の欠落を防止するとともに、グラフィクス映像のデプスに不自然な変動が生じないようにしている。このように、本実施の形態の映像再生装置１２では、同期すべき本編映像の再生のタイミングにおいて、グラフィクス映像を用意できなかった場合であっても、以前に出力したグラフィクス映像を用いることで、異常なグラフィクス映像の出力を防止する。
【０１１０】
また、左目用のグラフィクス映像と右目用のグラフィクス映像のいずれかが欠落している（使用できない）場合は、以前の時間領域（合成映像フレーム）のグラフィクス映像のうちから、左目用のグラフィクス映像と右目用のグラフィクス映像の両方が揃っている（使用可能な）グラフィクス映像を用いる。これにより、左目用のグラフィクス映像と右目用のグラフィクス映像との間に視差およびオフセット以外の差違が生じることでユーザが映像に違和感を覚えることを防止する。
【０１１１】
さらに、第２のＡＶ処理部２０２により、ディスク２００に記録されている深度情報や、フラッシュメモリ２０６に記録されている深度情報にもとづく深度データを用いてグラフィクス映像の深度を適宜補正して出力する。これにより、以前の再生タイミングの左目用のグラフィクス映像と右目用のグラフィクス映像を用いて欠落した（使用できない）グラフィクス映像を補間した場合にも、例えば、連続的に深度が変わるようなグラフィクス映像を再生する場合であっても、立体映像として違和感を覚えるような映像を表示することなく、なめらかに深度が変化する立体映像の出力を行うことができる。
【０１１２】
（実施の形態２）
映像再生装置の別の実施の形態について説明する。本実施の形態においては、字幕データのデコードが同期すべき本編映像と合成処理されるタイミングまでに用意できなかった場合に、実施の形態１におけるグラフィクス映像に対する処理と同様の処理を行い、以前に表示した字幕映像を再度表示する。字幕映像に対する深度補正は、ディスク２００に記録されている深度情報や、ユーザが入力する指示に従って行われる。なお、実施の形態２の説明においては、実施の形態１と同様の構成については同一の符号をつけ説明を適宜省略する。
【０１１３】
図１５は、実施の形態２の映像再生装置１２の第２のＡＶ処理部２０２のブロック図である。図１５において、字幕デコーダ５０６は、ディスク２００から入力される字幕データをデコードし、本編映像（ビデオ映像）に重畳する字幕映像を生成するデコーダである。字幕デコーダ５０６がデコードして得た字幕映像は、受け付けたユーザ操作に基づきＣＰＵ２０５が合成部５０５へ指示を送ることで、本編映像に対する重畳のオン／オフを切り換えることができる。
【０１１４】
このように、実施の形態２の映像再生装置１２では、字幕についても、本編映像との合成タイミングに対して、立体映像である字幕映像の左目および右目映像の両映像の生成が間に合わない時には、以前に出力した字幕映像を用いる。さらに、第２のＡＶ処理部２０２により、ディスク２００に記録されている深度情報や、フラッシュメモリ２０６に記録されている深度情報にもとづく深度データを用いて字幕映像の深度を適宜補正して出力する。そうすることにより、字幕映像の深度を時間に沿って適切に変化させることができる。例えば、字幕映像の深度が時間に沿って変化する場合にも、ユーザに違和感を覚えさせる立体映像を見せることなく、なめらかな映像再生を行うことができる。また、例えば、字幕が回転しながら遠ざかるような効果を演出する場合にも、なめらかな深度変化を実現することができる。
【０１１５】
（実施の形態１および２の第２のＡＶ処理部について）
図１６は、実施の形態１および２の映像再生装置１２の第２のＡＶ処理部２０２の構成の詳細を示す図である。第２のＡＶ処理部２０２は、例えば、１つまたは２つ以上の半導体装置として構成されてよい。第２のＡＶ処理部２０２は、ディスク２００等映像ソースから３Ｄコンテンツを含んだストリームデータを入力し、第１映像の映像ストリームを第１デコーダ５５３へ出力し、第２映像の映像ストリームを第２デコーダ５５４へ出力し、ストリームデータに含まれる深度情報を深度決定部５０２へ出力するストリーム制御部５０１と、深度情報に基づいて３Ｄコンテンツの映像の深度を決定し深度データとして出力する深度決定部５０２と、第１映像の映像ストリームをデコードして第１映像（本編映像）を出力する第１デコーダ５５３と、第２映像の映像ストリームをデコードして第２映像（グラフィクス映像または字幕映像）を出力する第２デコーダ５５４と、第１映像に第２映像を同期させて合成し合成映像信号を出力する合成部５０５と、合成映像信号を出力する信号出力部５５５と、を備える。ここで、合成部５０５は、実施の形態１〜３の合成部５０５と同等の機能を有する。なお、信号出力部５５５は、出力端子でよい。
【０１１６】
このように、実施の形態１および２の第２のＡＶ処理部２０２は、半導体装置として構成することが可能である。
【０１１７】
（実施の形態３）
映像再生装置のさらに別の実施の形態について説明する。本実施の形態では、ディスク２００等の映像ソース中に深度情報が映像と別のデータとして記録されていなくても、グラフィクス映像の深度データを取得することができる映像再生装置の構成を説明する。なお、実施の形態３の説明においては、実施の形態１および２と同様の構成については同一の符号をつけ説明を適宜省略する。
【０１１８】
図１７は、実施の形態３の映像再生装置１２の第２のＡＶ処理部２０２のブロック図である。図１７において、深度決定用デコーダ５０７は、グラフィクスデコーダ５０４がデコードした映像の深度を決定するためのデコーダである。深度決定用デコーダ５０７は、グラフィクスデコーダ５０４から出力されたグラフィクス映像の内容から、その平均的な深度を求め、深度データとして出力する。
【０１１９】
ここで、グラフィクスデコーダ５０４が出力するグラフィクス映像は、立体映像であり、その立体映像の奥行き方向の距離（デプス）は、グラフィクス映像の左目および右目映像の左右方向のずれ量（オフセット量）に比例する。そこで、深度決定用デコーダ５０７は、かかるグラフィクス映像の左目および右目映像を比較することにより、両映像同士のずれ量を検出し、平均的なずれ量を深度データとして取得する。
【０１２０】
また、深度決定用デコーダ５０７は、深度データを推定（外挿）して求めることもできる。例えば、図１８に示すように、時間領域ＴＤ１〜時間領域ＴＤ３に関し深度データＤ１〜Ｄ３として算出できている場合、深度決定用デコーダ５０７は、時間領域ＴＤ４の深度値を、時間領域ＴＤ１〜時間領域ＴＤ３の深度データＤ１〜ｄ３から回帰的に算出することで外挿深度データＥｘＤ４として取得することができる。
【０１２１】
実施の形態３の映像再生装置１２は、立体映像である第１の映像（本編映像）と第２の映像（グラフィクス映像）とを合成して出力する映像再生装置であって、一のフレームに合成されるべき第１の映像（本編映像）と第２の映像（グラフィクス映像）を取得するビデオおよびグラフィクスデコーダ５０３および５０４と、ビデオおよびグラフィクスデコーダ５０３および５０４により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、合成映像を出力する合成部５０５とを備え、合成部５０５は、合成映像の生成時において、ビデオおよびグラフィクスデコーダ５０３および５０４が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する。また、第２の映像が立体映像表示されたときの奥行きが深度情報により決定され、合成部５０５は、一のフレームに合成されるべき第１の映像と第２の映像の合成時において、ビデオおよびグラフィクスデコーダ５０３および５０４が一のフレームに合成されるべき第２の映像を取得できなかったときに、別のフレームにおいて第１の映像と合成されるべき第２の映像の内容に基づいて一のフレームに合成されるべき第２の映像に対する深度情報を求め、その求めた深度情報を用いて別のフレームにおいて第１の映像と合成されるべき第２の映像を第１の映像と合成する。
【０１２２】
このように、実施の形態３の映像再生装置１２では、深度決定用デコーダ５０７が、グラフィクス映像からその深度を検出し深度データとして出力する。そのため、ある時間領域での同期部７０１からのグラフィクス映像の出力タイミングまでにグラフィクス映像の生成が間に合わなかった場合には、以前の時間領域のグラフィクス映像の深度データから推定（外挿）して取得した深度データを用いて、別の時間領域（フレーム）のグラフィクス映像の深度を補正し、当該時間領域の合成タイミングにおいて本編映像と合成されるグラフィクス映像とする。そのため、グラフィクス映像の生成が同期部７０１からの出力タイミングに間に合わなかった場合であっても、本来同期部７０１から出力されるべきグラフィクス映像と類似したグラフィクス映像が適切な深度補正が施されて出力され、本編映像と合成され、合成映像信号として映像表示装置１１へ出力される。そのため、ユーザが、表示される映像に違和感を覚えない。本実施の形態の映像再生装置１２は、ディスク２００等の映像ソースに深度情報が映像とは別に記録されていなくても、異常な映像を出力することなく、なめらかに時間的に変化する立体映像の再生を実現することができる。
【０１２３】
図１９は、実施の形態３の映像再生装置１２の第２のＡＶ処理部２０２の構成の詳細を示す図である。第２のＡＶ処理部２０２は、例えば、１つまたは２つ以上の半導体装置として構成されてよい。第２のＡＶ処理部２０２は、ディスク２００等映像ソースから３Ｄコンテンツを含んだストリームデータを入力し、第１映像の映像ストリームを第１デコーダ５５３へ出力し、第２映像の映像ストリームを第２デコーダ５５４へ出力するストリーム制御部５０１と、第１映像の映像ストリームをデコードして第１映像（本編映像）を出力する第１デコーダ５５３と、第２映像の映像ストリームをデコードして第２映像（グラフィクス映像または字幕映像）を出力する第２デコーダ５５４と、第２デコーダ５５４が出力する第２映像の内容に基づいて当該第２映像の深度データを取得する深度決定用デコーダ５０７と、第１映像に第２映像を同期して合成し合成映像信号を出力する合成部５０５と、合成映像信号を出力する信号出力部５５５と、を備える。ここで、合成部５０５は、実施の形態１〜３の合成部５０５と同等の機能を有する。なお、信号出力部５５５は、出力端子でよい。
【０１２４】
このように、実施の形態３の第２のＡＶ処理部２０２もまた、半導体装置として構成することが可能である。
【０１２５】
（変形例）
本実施の形態１〜３の映像再生装置１２は、様々に変形可能である。以下、映像再生装置１２の変形の一例について説明する。
【０１２６】
上記実施の形態１〜３の映像再生装置１２では、ビデオ映像（本編映像）に対して、グラフィクス映像および字幕映像を合成する例を示したが、合成される映像はこれらに限定されない。ビデオ映像（本編映像）に同期して別のビデオ映像（副映像）を出力して両映像を合成するような構成も可能である。このような場合でも、本編映像および副映像は、それぞれ、左目および右目映像が対応していないと、ユーザに異常な映像として認識されてしまう。本実施の形態の映像再生装置１２によれば、左目および右目映像の対応を保ちながら当該映像の深度を補正して出力することにより、なめらかな立体映像表現が可能である。
【０１２７】
また、グラフィクス映像（第２映像）は、左目および右目映像が同一の映像であってもよい。その場合、深度を調整しない限りグラフィクス映像は平面的に見えるが、深度を調整することにより、グラフィクス映像に深度方向の定位を与えることができる。
【０１２８】
また、ユーザが指定可能な深度の例として、フラッシュメモリ２０６に記録されたシーケンスを示したが、メモリであれば、これに限らず、メモリーカードのようなものでも構わないし、メモリ２０７と同じメモリでも構わない。
【０１２９】
また、グラフィクス映像の深度補正に用いる深度データは、グラフィクス映像の深度情報以外の情報、例えば、本編映像の深度情報を使ってもよい。その場合であっても、同等の効果を奏することが可能である。
【０１３０】
また、ある時間領域で本来出力されるグラフィクス映像の左目および右目映像の両方が使用可能である場合であっても、定常的にオフセット処理をして深度補正を行ってよい。
【０１３１】
また、グラフィクス映像の用意が間に合わない時に使用する別の時間領域のグラフィクス映像は、一つ前の時間領域のグラフィクス映像でなくても構わない。
【０１３２】
上記実施の形態では、映像ソースとしてＢＤ−ＲＯＭに記録されたコンテンツを例に挙げているが、映像ソースは、ＢＤ−ＲＯＭに限定されず、放送波、その他の光ディスク、ハードディスク、といった映像ソース媒体の全てを含む。
【０１３３】
上記実施の形態では、本編映像（第１映像）と、グラフィクス映像または字幕映像（第２映像）は、同一の映像ソース（コンテンツ）に含まれる映像データから生成されるが、第１映像の映像ソースと第２映像の映像ソース（コンテンツ）は互いに異なってもよい。
【０１３４】
上記実施の形態では、第１映像は、あるコンテンツの本編映像としているが、第１映像はそれに限定されず任意の映像であってよい。また、立体映像である第２映像もまた字幕映像またはグラフィクス映像に限定されずに任意の映像であってよい。
【０１３５】
上記実施の形態では、第１映像は、立体映像であっても、非立体映像であってもよい。実施の形態の映像再生装置は、第１映像に対し、立体映像である第２映像を合成し、合成映像を立体映像として出力することができる。
【０１３６】
立体映像である第２映像は、映像ソースにおいて、２プレーン方式、２プレーンプラス１オフセット方式、１プレーンプラス１オフセット方式といった任意の方式で記録されてよい。
【０１３７】
本実施の形態の映像再生装置１２は、ＢＤ−ＲＯＭなどの光ディスクに限らず、テレビジョンや、ゲーム機など、映像やグラフィクスを重ねて立体映像を表示する用途における立体映像再生装置に適用できる。
【０１３８】
また、実施の形態の映像再生装置は、フレームシーケンシャル方式で立体映像信号を送出するが、立体映像信号の方式はこれに限定されず、任意の方式でよい。
【０１３９】
なお、立体映像信号は、１フレーム分の映像信号として左目映像（左目用の映像）と右目映像（右目用の映像）とを含んでなる映像信号でもよい。しかしながら、本実施の形態の映像再生装置では、立体映像信号のフォーマット等に特に制限はない。
【０１４０】
（まとめ）
以上、各実施の形態の映像再生装置１２は、第１映像に対し、第２映像（（立体）グラフィクス映像）を合成（重畳）可能である。当該合成に際し、映像再生装置１２は、第１映像と第２映像との間の同期をとって合成する。第２映像（（立体）グラフィクス映像）に欠落があった場合、映像再生装置１２は、別の時間領域（フレーム）の第２映像を現在の時間領域（フレーム）の第２映像の深度データで深度補正して出力する。
【０１４１】
なお、実施の形態１および３のグラフィクス映像、実施の形態２の字幕映像は、立体グラフィクスス映像の一例である。
【０１４２】
これにより、グラフィクス映像に欠落があった場合でも、途切れることなくなめらかに変化するグラフィクス映像をユーザに提示することができる。
【０１４３】
また、映像再生装置１２は、立体グラフィクス映像の左目グラフィクス映像と右目グラフィクス映像の少なくともいずれか一方が使用できない場合に、その時間領域（フレーム）の前の時間領域（フレーム）の立体グラフィクス映像の左目グラフィクス映像および右目グラフィクス映像を用いてその欠落期間を補間して出力する。
【０１４４】
これにより、左目グラフィクス映像と右目グラフィクス映像のいずれかが使用できない場合にも、左目グラフィクス映像と右目グラフィクス映像とに視差、オフセット以外のずれが生じてユーザが映像に違和感を覚えることを防止する。
【産業上の利用可能性】
【０１４５】
本実施の形態の映像再生装置は、複数の映像が合成されてなる立体映像を再生する映像再生装置として有用である。
【符号の説明】
【０１４６】
１１    映像表示装置
１２    映像再生装置
１３    立体メガネ
１０１    第１の入出力部
１０２    第１のＡＶ処理部
１０３    表示部
１０４    第１のリモコン信号受信部
１０５    送信部
２００    ディスク
２０１    ディスクドライブ部
２０２    第２のＡＶ処理部
２０３    第２の入出力部
２０４    第２のリモコン信号受信部
２０５    ＣＰＵ
２０６    フラッシュメモリ
２０７    メモリ
５０１    ストリーム制御部
５０２    深度決定部
５０３    ビデオデコーダ
５０４    グラフィクスデコーダ
５０５    合成部
５０６    字幕デコーダ
５０７    深度決定用デコーダ
７００    グラフィクス信号取得部
７０１    同期部
７０２    深度付加部
７０３    グラフィクス合成部
【図１】
2011016240.tif 000003
【図２】
2011016240.tif 000004
【図３】
2011016240.tif 000005
【図４】
2011016240.tif 000006
【図５】
2011016240.tif 000007
【図６】
2011016240.tif 000008
【図７】
2011016240.tif 000009
【図８】
2011016240.tif 000010
【図９】
2011016240.tif 000011
【図１０】
2011016240.tif 000012
【図１１Ａ】
2011016240.tif 000013
【図１１Ｂ】
2011016240.tif 000014
【図１２】
2011016240.tif 000015
【図１３】
2011016240.tif 000016
【図１４】
2011016240.tif 000017
【図１５】
2011016240.tif 000018
【図１６】
2011016240.tif 000019
【図１７】
2011016240.tif 000020
【図１８】
2011016240.tif 000021
【図１９】
2011016240.tif 000022
【手続補正書】
【提出日】平成24年2月3日(2012.2.3)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本技術分野は、映像再生技術に関し、特に、立体視可能な映像信号を出力する映像再生装置に関する。
【背景技術】
【０００２】
近年、立体視可能な映像（立体映像）を表示できる映像再生装置の技術の開発が進んでいる。立体映像を表示する際、映像再生装置は、光ディスク等の映像ソースに記録されたコンテンツのデータから左目用の映像、および、右目用の映像を生成し、映像表示装置へ送出する。映像表示装置は、左目用の映像、および、右目用の映像を交互に提示する。
【０００３】
特許文献１には、視差を有する右目映像および左目映像をユーザに提示することで立体映像表示を可能とする映像再生装置が開示される。ユーザは、右目を通じて視認する映像（右目映像）と左目を通じて視認する映像（左目映像）とを脳内で合成し、立体映像として認識する。
【０００４】
また、近年、ＢＤ−ＲＯＭ（Blu-Ray Disc ROM）等の光ディスク（映像ソース）に納められたコンテンツでは、字幕や、動きのあるグラフィクスを本編映像に合成して表示することで、多彩な映像表現を実現している。特に、グラフィクス処理技術の向上により、アニメーションを駆使した、動画に近いグラフィクスが用いられるようになっている。
【０００５】
本編映像に合成される字幕やグラフィクスの映像は、映像ソースに含まれる字幕やグラフィクスのデータに基づいて映像再生装置内で生成される。この場合、映像再生装置は、メモリやプロセッサを活用し、字幕やグラフィクスの映像を、本編映像との合成のタイミングに間に合うように、映像ソースのデータから生成し、生成した映像を本編映像の各フレームの映像と合成することで合成映像の映像信号を生成し、合成映像の再生タイミングで合成映像信号を出力する。
【０００６】
映像再生装置のプロセッサに予想外の負荷がかかることにより、該プロセッサによる字幕映像やグラフィクス映像の生成が本編映像との合成のタイミングに間に合わなくなるような事態も起こり得る。このような事態に陥れば、本編映像に合成されるべき字幕映像やグラフィクス映像の右目映像および左目映像の少なくともいずれか一方が一時的に欠落することになる。
【０００７】
例えば、右目用のグラフィクス映像（右目グラフィクス映像）が一時的に合成映像から欠落すると、ユーザは、グラフィクス映像に関しては左目用のグラフィクス映像のみを視認することになり、グラフィクス映像を立体映像として認識できなくなるのみならず、グラフィクス映像の深さ方向（奥行き方向）における定位が正しく定まらず、ユーザに異常な（不自然な）映像であると認識されてしまう。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−０８４９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
このように、本編映像に合成されるべき立体映像の左目映像および右目映像の少なくともいずれか一方が欠落することは、たとえそれが一時的であろうとも、好ましい事柄とはいえない。
【００１０】
本実施の形態は、上記問題点を解決すべくなされたものであり、第１映像（例えば、本編映像）に合成される、第２映像（例えば、グラフィクスや字幕）が欠落等で合成に使用できない場合にも、ユーザが違和感を抱かない自然な立体映像を出力可能な映像再生装置である。
【課題を解決するための手段】
【００１１】
その一態様は、立体映像である第１の映像と第２の映像とを合成して出力する映像再生装置であって、一のフレームに合成されるべき第１の映像と第２の映像を取得する取得手段と、取得手段により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、合成映像を出力する合成手段とを備え、合成手段は、合成映像の生成時において、取得手段が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する、映像再生装置である。
【００１２】
その別の一態様は、立体映像である第１の映像と第２の映像とを合成して出力する半導体装置であって、一のフレームに合成されるべき第１の映像と第２の映像を取得する取得手段と、取得手段により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成する合成手段と、合成映像を出力する信号出力手段とを備え、合成手段は、合成映像の生成時において、取得手段が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する、半導体装置である。
【００１３】
そのさらに別の一態様は、映像再生装置において立体映像である第１の映像と第２の映像とを合成して出力する映像再生方法であって、取得手段が、一のフレームに合成されるべき第１の映像と第２の映像を取得するステップと、合成手段が、取得するステップにより取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、合成映像を出力するステップとを備え、合成手段は、合成映像の生成時において、取得手段が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する、映像再生方法である。
【発明の効果】
【００１４】
本実施の形態にかかる映像再生装置は、第１映像（本編映像等）に合成される立体映像の第２映像（字幕映像、グラフィクス映像等）が欠落等により合成に利用できない場合にも、ユーザが違和感を抱かない自然な立体映像を出力することができる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態による映像再生装置を備えた３Ｄ映像再生表示システムの構成図
【図２】３Ｄ映像再生表示システムの映像表示装置の構成図
【図３】実施の形態による映像再生装置の構成図
【図４】実施の形態１による映像再生装置の第２のＡＶ処理部の詳細ブロック図
【図５】プレーン合成モデルを説明する図
【図６】実施の形態による映像再生装置が送出する立体映像信号の模式図
【図７】立体映像におけるデプスの概念を説明する図
【図８】映像に付与されるオフセットを説明する図
【図９】映像再生装置の第２のＡＶ処理部の合成部の詳細ブロック図
【図１０】グラフィクス映像の出力のための処理のフローチャート
【図１１Ａ】グラフィクス映像が欠落した場合における代替映像出力を説明する図
【図１１Ｂ】グラフィクス映像が欠落した場合における代替映像出力を説明する図
【図１２】グラフィクスデコーダおよび同期部が行う処理を時間に沿って説明する図
【図１３】グラフィクスデコーダおよび同期部が行う処理を時間に沿って説明する図
【図１４】グラフィクスデコーダおよび同期部が行う処理を時間に沿って説明する図
【図１５】実施の形態２による映像再生装置の第２のＡＶ処理部の詳細ブロック図
【図１６】実施の形態１、２によるＡＶ処理部の詳細ブロック図
【図１７】実施の形態３による映像再生装置の第２のＡＶ処理部の詳細ブロック図
【図１８】深度の推定を説明するための図
【図１９】実施の形態３によるＡＶ処理部の詳細ブロック図
【発明を実施するための形態】
【００１６】
以下、実施の形態について、詳細に説明する。
【００１７】
実施の形態において、「立体映像」（「３Ｄ映像」）とは、ユーザ（鑑賞者）が立体視可能な映像を指す。また、そのような立体映像を含む映像信号を立体映像信号と称する。
【００１８】
以下に説明する実施の形態の映像再生装置は、立体映像信号を出力することができる映像再生装置である。該立体映像信号は、ＢＤ−ＲＯＭといった光ディスク（映像ソース）に記録されているコンテンツのデータ（例えば、映像ストリーム信号）に基づいて映像再生装置により生成される。
【００１９】
また、本映像再生装置は、映像ソースから取得したコンテンツのデータに基づき、本編映像（第１映像）およびグラフィクス映像または字幕映像（第２映像）の映像を生成し、第１映像に対して第２映像を同期させて両映像を合成することにより合成映像を生成し、合成映像の映像信号（合成映像信号）を立体映像信号として出力することができる。
【００２０】
本映像再生装置は、ある合成タイミングで第１映像と合成されるべき第２映像（字幕映像、グラフィクス映像等）の生成が、その合成のタイミングに間に合わない場合、別の合成タイミングで合成に使用される第２映像を当該合成タイミングの第２映像として出力する。そうすることで、本映像再生装置は、合成映像における第２映像の一時的な欠落を防止する。
【００２１】
このとき、映像再生装置は、第２映像のデプス（深度）を適宜、調節（深度補正）する。そうすることで、第２映像の一時的な欠落によって、ユーザが立体映像に対して感じる違和感が軽減される。
【００２２】
（実施の形態１）
１．立体映像再生表示システムの構成
実施の形態１による立体映像再生表示システムについて説明する。図１は、実施の形態１による映像再生装置１２を備えた立体映像再生表示システムの全体構成図である。図１において、映像表示装置１１は、立体映像を表示するディスプレイなどの表示装置である。映像再生装置１２は、ＢＤ−ＲＯＭといった光ディスク等の記憶媒体、インターネット等のネットワ−ク、および、放送波など（映像ソース）から映像等のデータ信号を受け取り、立体映像信号を再生して出力する装置である。立体メガネ１３は、映像表示装置１１が表示する立体映像を適切に遮断する液晶シャッタを備えた偏光メガネである。
【００２３】
図２を参照し、映像表示装置１１の詳細を説明する。図２は本明細書に記載の各実施の形態における映像表示装置１１の構成の詳細を示す図である。
【００２４】
映像表示装置１１は、第１の入出力部１０１、第１のＡＶ処理部１０２、表示部１０３、第１のリモコン信号受信部１０４、送信部１０５等で構成され、第１のリモコン信号受信部１０４により、ユーザからの操作を受けて動作を開始する。
【００２５】
映像再生装置１２から出力された立体映像信号は、第１の入出力部１０１に入力される。第１の入出力部１０１は、ＨＤＭＩ（High Definition Multimedia Interface）  Ｖｅｒ１．４対応の信号入力部などで構成されればよい。そして立体映像信号は、第１のＡＶ処理部１０２において映像の解像度の調整や、音声とのタイミング調整がされた後に、表示部１０３に表示される。
【００２６】
表示部１０３に表示される映像に合わせて、送信部１０５から、ユーザが装着する立体メガネ１３に対し、左右のレンズのシャッタの開閉を制御する切換信号を送出する。
【００２７】
図３は、本実施の形態の映像再生装置１２の構成を示す図である。ディスクドライブ部２０１はＢＤ−ＲＯＭ等のディスク２００を挿入可能なディスクドライブ装置であり、ＣＰＵ２０５からの指示に応じて、ディスク２００に記録されているデータを第２のＡＶ処理部２０２へ出力する。第２のＡＶ処理部２０２は、第２のリモコン信号受信部２０４を通じてユーザからの再生指示を受け付け、ディスク２００に記録されているコンテンツのデータをディスクドライブ部２０１から取得し、立体映像信号を生成し、第２の入出力部２０３へ出力する。
【００２８】
ＣＰＵ２０５は、第２のリモコン信号受信部２０４を通じてユーザ指示を受け付け、当該指示に基づき、第２のＡＶ処理部２０２へ指示を出力する。また、ＣＰＵ２０５は、必要に応じ、第２のＡＶ処理部２０２とフラッシュメモリ２０６との間、第２のＡＶ処理部２０２とメモリ２０７との間のデータの受け渡しを制御する。第２のリモコン信号受信部２０４はリモコン（図示せず）から出力されるユーザ指示を受信する。フラッシュメモリ２０６は、ＣＰＵ２０５や、第２のＡＶ処理部２０２の動作を行うためのソフトウェアを格納し、さらに、後述する深度情報（デプス情報）などグラフィクス映像を本編映像と合成する際に必要なデータを記憶する。メモリ２０７はコンテンツのデータをデコードして立体映像信号を生成する際に映像等のデータを一時的に記憶するメモリである。
【００２９】
ディスク２００には、本編映像（第１映像）のデータ（「ビデオデータ」）、本編映像（第１映像）に重畳（合成）するグラフィクス映像（第２映像）のデータ（「グラフィクスデータ」）、字幕のデータ（「字幕データ」）、ユーザが機器操作を行う際にユーザに提示されるメニュー等のデータが格納されている。第２のＡＶ処理部２０２は、これらのデータをデコードして複数の映像（プレーン）に展開し、これらの映像から合成映像を生成し、映像信号（「合成映像信号」）を第２の入出力部２０３より出力する。
【００３０】
なお、映像再生装置１２は、ディスクドライブ部２０１の他に、ハードディスクドライブ（ＨＤＤ）等の記録媒体を備えてもよい。また、映像再生装置１２は、さらに、放送電波を受信するためのアンテナ、および、受信された放送電波をデジタルのストリーム信号（ビデオ、音声、グラフィクスス、字幕など）に変換するチューナ等を備えてもよい。
【００３１】
２．立体映像再生表示システムの動作
２．１．全体動作
以上のように構成された立体映像再生表示システムにおいて、映像再生装置１２は、ディスク２００に記録されたコンテンツのデータを読み出して本編映像およびグラフィクス映像を生成し、両映像を合成して立体映像を示す合成映像信号を出力する。合成映像信号は、左目映像および右目映像を含んでなる映像信号である。
【００３２】
映像表示装置１１は、入力した合成映像信号に含まれる左目映像と右目映像とをディスプレイ上で時分割表示し、この時、時分割の切り換えタイミングを、赤外線同期信号（切換信号）として図１の立体メガネ１３へ伝える。
【００３３】
立体メガネ１３は、映像表示装置１１から受けた同期信号に応じて液晶シャッタの透過率を切換え、立体メガネ１３の左目側或いは右目側の何れかの視野を交互に遮断することにより、左目映像を左目だけに提示し、また右目映像を右目だけに提示する。このようにして立体映像表示が実現される。
【００３４】
２．２．グラフィクス映像合成処理
次に、第２のＡＶ処理部２０２の構成の詳細および第２のＡＶ処理部２０２における本編映像とグラフィクス映像との合成処理について説明する。
【００３５】
図４は、実施の形態１における第２のＡＶ処理部２０２の詳細を示すブロック図である。
【００３６】
第２のＡＶ処理部２０２は、ストリーム制御部５０１、深度決定部５０２、ビデオデコーダ５０３、グラフィクスデコーダ５０４、合成部５０５等から構成される。第２のリモコン信号受信部２０４はリモコン（不図示）を介してユーザからの指示を受け付ける。ＣＰＵ２０５は当該指示に従い、第２のＡＶ処理部２０２、フラッシュメモリ２０６、メモリ２０７等を制御する。
【００３７】
ストリーム制御部５０１は、ディスクドライブ部２０１からディスク２００に収録されたビデオデータ（本編映像のデータ）、グラフィクスデータ（グラフィクス映像のデータ）、深度情報を取得する。そして、ストリーム制御部５０１は、ビデオデータをビデオデコーダ５０３に、グラフィクスデータをグラフィクスデコーダ５０４に、深度情報を深度決定部５０２へ出力する。
【００３８】
ビデオデコーダ５０３は、ストリーム制御部５０１からビデオデータを受け取る。そのビデオデータは圧縮されており、その圧縮されたビデオデータを伸張してビデオ映像（本編映像のみの映像）を生成する。グラフィクスデコーダ５０４は、ディスク２００に記録されたグラフィクスデータをストリーム制御部５０１から受け取り、伸張してグラフィクス映像（グラフィクス映像のみの映像）を生成する。グラフィクスデータの多くは、ユーザ操作を促すボタンのイメージなど、いくつかの部品で構成される。グラフィクスデコーダ５０４は、それらをデコードし、メモリ２０７上に描画する（書き込む）ことにより、グラフィクス映像を生成する。
【００３９】
また、グラフィクスデコーダ５０４は、グラフィクス映像を、フラッシュメモリ２０６に記録された機器特有のグラフィクスデータを利用して作成する場合もある。
【００４０】
ディスク２００は、ビデオデータ（本編映像のデータ）、および、グラフィクスデータ（グラフィクス映像のデータ）それぞれの左目映像および右目映像を格納する。以下においては、本編映像も、立体映像として説明するが、本編映像は、非立体映像であってもよい。その場合であっても、合成映像信号を立体映像信号として構成することは可能である。
【００４１】
また、ビデオデータとグラフィクスデータに関する深さ位置（デプス）の情報も、深度情報としてディスク２００に記録されている。その深さ位置の情報（深度情報）は、ビデオデータとグラフィクスデータの映像中の物体の平均的な深度の情報として記録されてよく、深度情報は、ビデオデータ、グラフィクスデータとは別に、ディスク２００に記録される。
【００４２】
深度決定部５０２は、ディスク２００に記録された深度情報から、グラフィクスデータの深度を算出し深度データとして合成部５０５へ出力する。立体映像においては、左目映像および右目映像を表示画面上の左右方向にずらす（オフセット調整する）ことにより、映像の奥行き方向の見かけ上の距離を、表示位置（表示画の位置）よりも遠くに見せたり、表示位置よりも近くに見せたりする。深度決定部５０２が決定したこの見かけの深さ位置（デプス）を示したデータを、深度データと呼ぶ。
【００４３】
合成部５０５は、本編映像、グラフィクス映像等の複数プレーンを合成し、合成映像信号を生成する。つまり、合成部５０５は、ビデオデコーダ５０３からのビデオ映像（本編映像）と、グラフィクスデコーダ５０４からのグラフィクス映像とを、深度決定部５０２から送られる深度データに基づいて合成する。
【００４４】
２．２．１．プレーン合成モデル
図５を参照し、本編映像にグラフィクス映像を重畳（合成）して、合成映像を出力するまでのプロセスを説明する。図５に示されるモデルは、一般に、プレーン合成モデルと称される。
【００４５】
ビデオデコーダ５０３において、ディスク２００等から読み出されたビデオデータ３０５Ｓ（#1 VIDEO STREAM）から左目用ビデオ映像（Ｌビデオ映像）３０５Ｌ、および、右目用ビデオ映像（Ｒビデオ映像）３０５Ｒ（本編映像の左目映像および右目映像）が生成され合成部５０５へ出力される。同時に、グラフィクスデコーダ５０４において、ディスク２００等から読み出されたグラフィクスデータ３０７Ｓ（#2 VIDEO STREAM）から左目用グラフィクス映像（Ｌグラフィクス映像）３０７Ｌ、および、右目用グラフィクス映像（Ｒグラフィクス映像）３０７Ｒ（グラフィクス映像の左目映像および右目映像）が生成され合成部５０５へ出力される。合成部５０５は、本編映像３０５ＬおよびＲ、ならびに、グラフィクス映像３０７ＬおよびＲを重畳（合成）し、合成映像３１３として出力する。
【００４６】
なお、合成部５０５は、メニューグラフィクス３０１や字幕データ３０３などを、合成映像にさらに重畳することもできる。
【００４７】
２．２．２．立体映像信号
図６は、映像再生装置１２が合成映像３１３の映像信号（合成映像信号）を立体映像信号として出力する場合に用いる信号フォーマットの例図である。合成映像信号３１３ＳＧＬには、例えば、左目映像の映像信号（Ｌ）と右目映像の映像信号（Ｒ）とが交互に含まれ、合成映像１フレーム分の映像信号が構成される。映像再生装置１２は、６０フレーム／秒で合成映像を出力する場合、１／１２０秒で左目映像の映像信号（Ｌ）を伝送し、次の１／１２０秒で右目映像の映像信号を伝送する。
【００４８】
２．２．３．デプスおよびオフセット処理について
図７を参照し、立体映像である合成映像３１３におけるデプスについて説明する。図７では、ユーザが立体映像を鑑賞した場合に認識する立体感（奥行き方向の拡がり）を図面左右方向（デプス方向）で表現している。本図が例示する立体映像（合成映像３１３）では、本編映像３０５として背景とその手前（ユーザ側）に立つ人が含まれる。合成映像３１３では、本編映像３０５の手前（ユーザ側）にグラフィクス映像３０７が重畳されている。同図で、ユーザが感じるグラフィクス映像３０７の奥行き方向（図面左右方向）見かけ上の距離を矢印３１５の方向に変化させることが、グラフィクス映像３０７のデプスを調整することに対応する。
【００４９】
図８は、映像に対するオフセット処理を説明する図である。映像に対しオフセット処理を施すことで、当該映像の深度（デプス）を調整することが可能になる。映像を立体的に表現する場合には、一般に視差を有する右目映像および左目映像を使用するとともに、両映像を画面左右方向に所定の距離だけ反対方向にずらして（オフセット処理を行って）映像の奥行き感（奥行き方向の距離）を表現する。第２のＡＶ処理部２０２は、オフセットの程度（ずらす距離）を上述の深度データに基づいて変更することで映像の深度を調節する。
【００５０】
例えば、図８（ａ）は、オフセットの程度（オフセット量）がゼロの場合の左目映像４０１Ｌおよび右目映像４０１Ｒを示す図である。このとき、ユーザが映像中の物体（例えば、バス）に対して感じる見かけ上の距離は、映像表示面と一致する。
【００５１】
図８（ｂ）は、基準フレーム４０３（オフセット量ゼロの場合の映像の位置）に対して、左目映像および右目映像４０１ＬおよびＲが図面の中央方向に集まるようにオフセット４０５が与えられた場合を示す図である。このとき、ユーザは、映像中の物体の見かけ上の距離を映像表示面よりも近いと感じる。
【００５２】
図８（ｃ）は、基準フレーム４０３に対して、左目映像および右目映像４０１ＬおよびＲが互いに遠ざかるようにオフセット４０７が与えられた場合を示す図である。このとき、ユーザは、映像中の物体の見かけ上の距離を映像表示面よりも遠いと感じる。
【００５３】
このように、立体映像においては、左目映像および右目映像に所定のオフセットを与えることで、ユーザが当該映像に対して認識する距離感（奥行き感）を調節することができる。つまり、映像に与えるオフセットの大きさおよびオフセットの方向を調節することで、立体映像中における当該映像のデプスを調節することができる。なお、左目映像４０１Ｌと右目映像４０１Ｒは、視差を考慮した異なる映像であってもよいし、同一の映像であってもよい。
【００５４】
２．２．４．合成部におけるデプス調整処理
これより、合成部５０５における、グラフィクス映像に対するデプス調整処理について説明する。
【００５５】
図９は、合成部５０５の詳細を示すブロック図である。合成部５０５は、グラフィクスデコーダ５０４から直接またはメモリ２０７を介して間接的にグラフィクス映像を取得するグラフィクス映像取得部７００と、本編映像とグラフィクス映像とを合成するグラフィクス合成部７０３とを有する。グラフィクス映像取得部７００は、本編映像に同期してグラフィクス映像を出力する同期部７０１と、グラフィクス映像の深度（デプス）を調整する深度付与部７０２とを備える。同期部７０１は、両映像の同期をとりながらグラフィクス合成部７０３において行われる合成処理のタイミングに間に合うように所定の出力タイミングでグラフィクス映像を出力し、深度付与部７０２は、入力されるグラフィクス映像について、上述の深度決定部５０２が出力する深度データに基づいてグラフィクス映像の深度（デプス）を適宜調整し、深度補正済のグラフィクス映像をグラフィクス合成部７０３へ出力する。
【００５６】
グラフィクスデコーダ５０４がデコードしたグラフィクス映像は、メモリ２０７に一時的に書き込まれ（描画され）、同期部７０１は、グラフィクス映像の左目映像および右目映像がメモリ２０７に書き込まれたことを確認すると、合成タイミング（合成映像がグラフィクス合成部７０３から出力されるタイミングまでに合成映像の生成が間に合うように設定される合成処理を行うタイミング）に間に合うように、メモリ２０７に書き込まれた当該グラフィクス映像を読み出して当該グラフィクス映像を深度付与部７０２へ出力する。
【００５７】
２．２．４．１．通常時におけるグラフィクス映像デプス調整処理および出力処理
グラフィクス映像取得部７００の同期部７０１は、グラフィクス合成部７０３における本編映像とグラフィクス映像との合成のタイミングに間に合うようにグラフィクス映像を出力する。例えば、通常、６０ＨｚＮＴＳＣでは、グラフィクス映像の左目映像および右目映像は、１／１２０秒ごとに、つまり約８ｍＳｅｃごとに、深度付与部７０２へ出力される。深度付与部７０２は、深度決定部５０２から出力された深度データにもとづき、グラフィクス映像に対してオフセット処理を行い、グラフィクス映像のデプスを調整して深度補正済グラフィクス映像をグラフィクス合成部７０３へ出力する。グラフィクス合成部７０３は、本編映像と、本編映像に同期して深度付与部７０２を介して入力されるグラフィクス映像とを合成して（立体）合成映像を生成し、（立体）合成映像信号を第２の入出力部２０３へ出力する。
【００５８】
ただし、グラフィクスデコーダ５０４が出力したグラフィクス映像に既にオフセットが付与されている場合、つまり、グラフィクス映像が２プレーン方式等でディスク２００に記録されたグラフィクスデータに基づいて生成された場合には、通常、深度付与部７０２が当該グラフィクス映像に対しさらにオフセットを付与する必要はない。グラフィクス映像に予めオフセットが付与されていない場合、つまり、グラフィクス映像が２プレーンプラス１オフセット方式または１プレーンプラス１オフセット方式等でディスク２００に記録されたグラフィクスデータに基づいてグラフィクスデコーダ５０４で生成され出力される場合には、深度付与部７０２は、常時、深度データにもとづき当該グラフィクス映像に対してオフセット処理を行う。
【００５９】
深度付与部７０２からグラフィクス合成部７０３における合成処理のタイミング（合成タイミング）に間に合うように出力された深度補正済グラフィクス映像は、グラフィクス合成部７０３において、本編映像と合成され、その合成映像の再生タイミングにおいて合成映像信号として出力される。
【００６０】
２．２．４．２．グラフィクス映像欠落時におけるグラフィクス映像デプス調整処理および出力処理
グラフィクス映像を立体映像として生成する場合、グラフィクスデコーダ５０４は、限られた時間内で、グラフィクスデータをデコードして左目用のグラフィクス映像を出力し、さらに、グラフィクスデータをデコードして右目用のグラフィクス映像を出力する必要がある。また、本編映像とグラフィクス映像の同期を確認するための時間も必要である。そのため、グラフィクスデコーダ５０４のデコード性能、描画性能に起因して、本編映像に同期して合成すべきグラフィクス映像の左目映像および右目映像が、所定のタイミング（例えば、同期部７０１からのグラフィクス映像出力タイミング）までに同期部７０１またはメモリ２０７に入力されない事態が起こり得る。また、グラフィクス映像の左目映像および右目映像の一方しか、所定のタイミングまでに同期部７０１またはメモリ２０７に入力されない事態も起こり得る。後者の場合であっても、その入力された片目分のグラフィクス映像を使用することはできない。なぜなら、例えば、コンテンツ内に２プレーン方式で記録されグラフィクスデコーダ５０４で生成されたグラフィクス映像では、左目映像と右目映像とに視差をつけて、立体視を実現している。そのため、左目用のグラフィクス映像と、右目用のグラフィクス映像との両方がそろっていないと、グラフィクス映像に関して視差以外の情報差がユーザに与えられてしまい、ユーザはグラフィクスを十分な立体像として認識できないだけでなく、突然、深さ方向の位置の認識間違いが起こり、異常な映像として認識する。以上のような事態が生じると、同期部７０１は、本編映像の再生タイミングにおいて、本編映像に合成されるべきグラフィクス映像を出力することができない。
【００６１】
この問題を解決するため、本実施の形態の映像再生装置１２は、グラフィクス映像の左目映像、および、右目映像の少なくともいずれか一方が、当該グラフィクス映像が同期部７０１から出力されるべき出力タイミングにおいて使用できない場合、当該出力タイミングにおいて出力するグラフィクス映像として、別の一の出力タイミングのためのグラフィクス映像（例えば、以前に出力したグラフィクス映像）の左目映像および右目映像を出力する。そうすることで、映像再生装置１２は、本来のグラフィクス映像が欠落した場合であってもユーザが違和感を感じる映像の出力を回避する。
【００６２】
２．２．４．２ａ．２プレーンプラス１オフセット方式で記録されたグラフィクスデータから生成されるグラフィクス映像に対するデプス調整処理
以下、グラフィクスデータが、コンテンツのデータ内に２プレーンプラス１オフセット方式で記録されている場合の処理について説明する。
【００６３】
グラフィクス映像のデータが２プレーンプラス１オフセット方式で映像ソースに記録されている場合、グラフィクスデコーダ５０４が出力するグラフィクス映像は、視差を有しかつオフセットを有さない左目グラフィクス映像および右目グラフィクス映像である。そこで、通常時（正常にグラフィクスデコーダ５０４からグラフィクス映像が送られている場合）においても、深度付与部７０２は、各フレームのグラフィクス映像の深度データにもとづき、グラフィクス映像にオフセット処理を行って（深度補正して）深度補正済グラフィクス映像をグラフィクス合成部７０３へ出力する。
【００６４】
また、非通常時（ある出力タイミングにおいて本来のグラフィクス映像が使用できず、別の出力タイミングの（別のフレームのための）グラフィクス映像が使用される場合）、深度付与部７０２は、以下のように、現在の出力タイミングにおいて出力されるべき本来のグラフィクス映像の深度データを用いて当該別の出力タイミングのグラフィクス映像（別のフレームのグラフィクス映像）にオフセット処理を行って（深度補正して）出力する。
【００６５】
図１０は、時間領域ｔ（時間領域はそれぞれ、合成映像信号の１フレームに対応。）の出力タイミング近傍においてグラフィクス映像取得部７００がするグラフィクス映像出力処理のフローチャートである。
【００６６】
同期部７０１は、時間領域ｔのグラフィクス映像出力タイミングにおいて出力するべきグラフィクス映像の左目映像（Ｌｔ）および右目映像（Ｒｔ）の両映像が既に入力されているかどうか（使用可能かどうか）について判断する（Ｓ１０１）。
【００６７】
左目映像Ｌｔおよび右目映像Ｒｔが共に入力されている場合（Ｓ１０１における「ＹＥＳ」）、同期部７０１は、適切なタイミングで左目映像Ｌｔおよび右目映像Ｒｔを深度付与部７０２へ出力する（Ｓ１０２）。深度付与部７０２は、時間領域ｔのグラフィクス映像のための深度データＤｔを用いて左目映像Ｌｔおよび右目映像Ｒｔの深度を補正して（オフセット処理して）深度補正済左目映像Ｌｔ’、および、深度補正済右目映像Ｒｔ’をグラフィクス合成部７０３へ出力する（Ｓ１０３）。グラフィクス合成部７０３は、グラフィクス映像と本編映像とを合成し合成映像信号として出力する。
【００６８】
これに対し、同期部７０１へ左目映像Ｌｔおよび右目映像Ｒｔの少なくともいずれか一方が入力されなかった場合（Ｓ１０１における「ＮＯ」）、同期部７０１は、ひとつ前の時間領域ｔ−１のグラフィクス映像の左目映像Ｌｔ−１および右目映像Ｒｔ−１の両映像を入力したかどうか、（使用可能かどうか）について判断する（Ｓ１０４）。
【００６９】
左目映像Ｌｔ−１および右目映像Ｒｔ−１の両映像が同期部７０１へ入力されている場合（使用可能な場合）（Ｓ１０４における「ＹＥＳ」）、同期部７０１は、適切なタイミングで左目映像Ｌｔ−１および右目映像Ｒｔ−１を深度付与部７０２へ出力する（Ｓ１０５）。
【００７０】
深度付与部７０２は、入力した左目映像Ｌｔ−１および右目映像Ｒｔ−１に対し、時間領域ｔでの本来のグラフィクス映像の深度データＤｔを用いて左目映像Ｌｔ−１および右目映像Ｒｔ−１の深度を補正して（オフセット処理して）深度付与済左目映像Ｌｔ−１’’、および、深度付与済右目映像Ｒｔ−１’’をグラフィクス合成部７０３へ出力する（Ｓ１０６）。グラフィクス合成部７０３は、グラフィクス映像と本編映像とを合成し合成映像信号として出力する。
【００７１】
左目映像Ｌｔ−１および右目映像Ｒｔ−１の少なくともいずれか一方が同期部７０１へ入力されていなかった場合（使用できない場合）（Ｓ１０４における「ＮＯ」）、エラー処理を行う（Ｓ１０７）。なお、エラー処理としては、表示を停止するのではなく、より以前に表示されたグラフィクス映像を再度表示してもよい。
【００７２】
このように、本実施の形態の映像再生装置１２は、各時間領域においてその時間領域のグラフィクス映像の左目映像および右目映像の少なくともいずれか一方が、本編映像との合成処理に使用できない場合には、別の時間領域（別のフレーム）のグラフィクス映像に、本来その時間領域において本編映像に合成されるグラフィクス映像の深度が付与されるように深度補正して深度補正済グラフィクス映像を生成し、その深度補正済グラフィクス映像と本編映像とを合成して合成映像を出力する。そうすることで、グラフィクス映像の欠落を防止し、もって、ユーザが違和感を覚えず、かつ、深度がなめらかに変化する立体映像を提供する。
【００７３】
図１１Ａは、映像ソース（ディスク２００のコンテンツのデータ）に、グラフィクスデータが２プレーンプラス１オフセット方式で記録されている場合の、各時間領域（フレーム）でのグラフィクスデコーダ５０４、同期部７０１、深度付与部７０２からのでの出力、ならびに、深度データＤ（深度決定部５０２からの出力）をまとめた図である。ここでは、深度データは、ディスク２００に、グラフィクス映像（または本編映像）１フレーム（１時間領域）毎に記録されているものとする。また、同図において、グラフィクスデコーダからの出力として実線矩形で示されているグラフィクス映像は、各時間領域における同期部７０１のグラフィクス映像出力タイミングにおいて同期部７０１が使用可能なグラフィクス映像を意味し、破線矩形で示されているグラフィクス映像は、各時間領域における同出力タイミングにおいて同期部７０１が使用不可能なグラフィクス映像を示す。
【００７４】
グラフィクスデコーダ５０４は、各時間領域（ＴＤ１〜ＴＤ５）において同期部７０１がグラフィクス映像を出力するタイミングに間に合うように、グラフィクス映像の左目映像（Ｌ１、Ｌ２、．．．）および右目映像（Ｒ１、Ｒ２、．．．）を出力する。図１１Ａの例では、グラフィクスデコーダ５０４は、時間領域ＴＤ４に関し、グラフィクス映像の右目映像Ｒ４（７０１）を所定のタイミングまでに出力できなかったとする。
【００７５】
この場合、同期部７０１は、右目映像Ｒ４（７０１）の入力がないと判断し、時間領域ＴＤ４においては、先の時間領域ＴＤ３の（１つ前のフレームの）グラフィクス映像の左目映像Ｌ３（７０３）および右目映像Ｒ３（７０５）を出力する。
【００７６】
深度決定部５０２から出力される各時間領域のグラフィクス映像の深度データをＤ１〜Ｄ５で表すと、深度付与部７０２は、時間領域ＴＤ１〜ＴＤ３においては、各時間領域のグラフィクス映像の左目映像Ｌ１〜Ｌ３および右目映像Ｒ１〜Ｒ３に対し、対応する深度データＤ１〜Ｄ３を用いて深度を補正し（オフセット処理し）、深度付与されたグラフィクス映像の左目および右目映像（Ｌ１’〜Ｌ３’およびＲ１’〜Ｒ３’）を出力する。そして、時間領域ＴＤ４においては、グラフィクス映像Ｌ３およびＲ３に対し、時間領域ＴＤ４の深度データＤ４を用いて深度を補正し（オフセット処理し）、深度付与されたグラフィクス映像の左目および右目映像Ｌ３’’およびＲ３’’を出力する。
【００７７】
以上のように、本実施の形態の映像再生装置１２は、ある時間領域（フレーム）においてグラフィクス映像が欠落した場合（使用できない場合）、別の時間領域（フレーム）のグラフィクス映像の左目映像および右目映像を、現在の時間領域で本来出力されるグラフィクス映像の深度データで深度補正し、深度補正済グラフィクス映像を出力することで、映像表示装置１１において異常なグラフィクス映像が表示されることを防止する。そうすることで、本映像再生装置１２では、本編映像との合成のタイミングに同期して同期部７０１から出力されるべき本来のグラフィクス映像が使用できないような事態が生じた場合にも、ユーザが違和感を覚えるような異常なグラフィクス映像が出力されることが防止される。さらに、グラフィクス映像のデプスは時間経過に沿ってなめらかに推移するため、なめらかに変化する立体映像を出力することが可能である。なお、深度データは、グラフィクスデータやビデオデータとは異なりデコード等が不要であるため、各時間領域の所定のタイミングにおいて深度データが欠落する可能性は極めて低いものである。仮に、深度データが利用できないような場合には、以前の時間領域のグラフィクス映像の深度データを用いて現在の時間領域のグラフィクス映像の深度データを推定してもよい。
【００７８】
また、グラフィクス映像の深度情報が、フレーム毎（時間領域毎）のデータとしてディスク２００に記録されていない場合には、他の情報（例えば、本編映像の深度データ）を用いることも可能である。
【００７９】
また、深度データをユーザからの入力に基づいて決定してもよい。例えば、ユーザが、表示中の映像を遠くへ押しやって消してしまうフェードアウト効果等の演出をグラフィクス映像に加えたいような場合には、ユーザから当該指示を受け取り、フラッシュメモリ２０６等に記録されているフェードアウトシーケンスから深度データを入手して利用してもよい。
【００８０】
また、深度情報は、フレーム毎（時間領域毎）に記録されずとも、シーケンスとして記録されてもよい。例えば、深度情報は、毎秒１メートルで遠ざかるように、といったシーケンス情報であってもよい。このような場合であっても、各時間領域（フレーム）のグラフィクス映像の深度データは、単純な演算により求めることができるので、演算で各フレームのグラフィクス映像の深度データを算出すればよい。
【００８１】
なお、本例では、ある時間領域においてグラフィクス映像の欠落が検出された場合、１つ前の時間領域の（１つ前のフレームの）グラフィクス映像を再度出力するようにしているが、再出力されるグラフィクス映像は、１つ前の時間領域のグラフィクス映像でなくともよい。２つ以上前の時間領域のグラフィクス映像を再度出力してもよい。また、利用可能であれば後の時間領域のグラフィクス映像を利用してもよい。
【００８２】
２．２．４．２ｂ．１プレーンプラス１オフセット方式で記録されたグラフィクスデータから生成されるグラフィクス映像に対するデプス調整処理
次に、グラフィクスデータが、コンテンツのデータ内に１プレーンプラス１オフセット方式で記録されている場合の処理について説明する。
【００８３】
グラフィクス映像のデータが１プレーン１オフセット方式で記録されている場合、グラフィクスデコーダ５０４が出力するグラフィクス映像は、視差を有さずかつオフセットを有さない左目グラフィクス映像および右目グラフィクス映像である。（すなわち、一つのグラフィクス映像である。）つまり、図１１ＡにおいてＬｔ＝Ｒｔ（ｔ：１〜５）とした場合に相当する。このような場合であっても、グラフィクスデータが２プレーンプラス１オフセット方式で映像ソースに記録されている場合と同様にして、異常なグラフィクス映像の出力を防止することが可能である。
【００８４】
同期部７０１は、所定の出力タイミングまでにグラフィクス映像がグラフィクスデコーダ５０４から入力されなかった場合（使用できない場合）、先の時間領域のグラフィクス映像を利用し、当該グラフィクス映像に現在の時間領域のグラフィクス映像の深度データを用いて深度補正し（オフセット処理し）、深度補正された左目映像および右目映像を出力する。そうすることで、異常なグラフィクス映像の出力が防止され、かつ、グラフィクス映像のデプスは時間経過に沿ってなめらかに推移するため、なめらかに変化する立体映像を出力することができる。
【００８５】
２．２．４．２ｃ．２プレーン方式で記録されたグラフィクスデータから生成されるグラフィクス映像に対するデプス調整処理
最後に、グラフィクスデータが、コンテンツのデータ内に２プレーン方式で記録されている場合の処理について説明する。
【００８６】
グラフィクス映像のデータが２プレーン方式で記録されている場合、グラフィクスデコーダ５０４が出力するグラフィクス映像は、視差を有しかつオフセットを有する左目グラフィクス映像および右目グラフィクス映像である。そこで、通常時（正常にグラフィクスデコーダ５０４からグラフィクス映像が送られている場合）においては、深度付与部７０２は、一般に、グラフィクス映像にオフセット処理を行わずに入力したグラフィクス映像をそのまま出力する。そして、非通常時（同期部７０１のグラフィクス映像出力タイミングにおいて当該出力タイミングのグラフィクス映像が使用できず、別の時間領域のグラフィクス映像が同期部７０１から出力される場合）、深度付与部７０２は、以下のように、現在の時間領域で本編映像に合成されるべき本来のグラフィクス映像の深度データおよび別の時間領域のグラフィクス映像の深度データを用いて当該別の時間領域のグラフィクス映像にオフセット処理を行って（深度補正して）深度補正済グラフィクス映像として出力する。
【００８７】
図１１Ｂは、映像ソース（ディスク２００のコンテンツのデータ）に、グラフィクスデータが２プレーン方式で記録されている場合の、各時間領域（フレーム）でのグラフィクスデコーダ５０４、同期部７０１、深度付与部７０２からのでの出力、ならびに、深度データＤ（深度決定部５０２からの出力）をまとめた図である。同図においても、グラフィクスデコーダからの出力として実線矩形で示されているグラフィクス映像は、各時間領域における同期部７０１のグラフィクス映像出力タイミングにおいて同期部７０１が使用可能なグラフィクス映像を意味し、破線矩形で示されているグラフィクス映像は、各時間領域における同出力タイミングにおいて同期部７０１が使用不可能なグラフィクス映像を示す。
【００８８】
この場合、グラフィクスデコーダ５０４から出力されるグラフィクス映像の左目映像および右目映像には、オフセットが既に付与されている。よって、深度付与部７０２は、各時間領域において同期部７０１から同時間領域の本来のグラフィクス映像が入力されるかぎりにおいて、さらなる深度補正をしなくともよい。
【００８９】
図１１Ｂの例では、グラフィクスデコーダ５０４は、時間領域ＴＤ４において、グラフィクス映像の右目映像Ｒ４（７０１）を所定のタイミングまでに出力できなかったとする。
【００９０】
この場合、同期部７０１は、右目映像Ｒ４（７０１）の入力がないと判断し、時間領域ＴＤ４においては、先の時間領域ＴＤ３のグラフィクス映像の左目映像Ｌ３（７０３）および右目映像Ｒ３（７０５）を所定の出力タイミングで出力する。
【００９１】
深度付与部７０２は、時間領域ＴＤ４において、グラフィクス映像Ｌ３およびＲ３に対し、時間領域ＴＤ３のグラフィクス映像の深度データＤ３および時間領域ＴＤ４の本来のグラフィクス映像の深度データＤ４を用いて（Ｄ４−Ｄ３）だけ深度を補正し（オフセット処理し）、深度付与されたグラフィクス映像の左目映像Ｌ３’、および、右目映像Ｒ３’を出力する。ここで、深度の差（Ｄ４−Ｄ３）だけ深度補正が行われるのは、以下の理由による。時間領域ＴＤ３のグラフィクス映像Ｌ３およびＲ３には、既に、深度Ｄ３だけの深度補正（オフセットの付与）が行われている。そこで、深度付与部７０２は、グラフィクス映像Ｌ３およびＲ３の深度を、時間領域ＴＤ４の本来のグラフィクス映像の深度Ｄ４に補正するために、深度（Ｄ４−Ｄ３）だけ、グラフィクス映像Ｌ３およびＲ３の深度を更に補正して出力する。
【００９２】
２．２．５ａ．メモリおよび同期部での処理例１
図１２は、メモリ２０７がグラフィクス映像の左目映像および右目映像それぞれについて映像３枚分のメモリ領域を備えている場合におけるグラフィクス映像の書き込みおよび読み出し処理の例を時間軸に沿って示す図である。メモリ２０７のグラフィクスＬメモリ（Ｒメモリ）の領域１〜３（領域４〜６）はそれぞれ、グラフィクス映像の左目映像（右目映像）を一時的に記憶するための記憶領域である。
【００９３】
例えば、時間領域ＴＤ１においては、グラフィクス領域１と、グラフィクス領域３にグラフィクス映像の左目および右目映像Ｌ２およびＲ２を描画し（書き込み）、その間に、グラフィクス領域２と、グラフィクス領域４から、グラフィクス映像Ｌ１およびＲ１が読み出されて同期部７０１へ入力され、同期部７０１から出力される。
【００９４】
時間領域ＴＤ２においては、合成映像の再生タイミングと同期し時間領域が進む毎に、グラフィクス領域を切り換えることにより、グラフィクス領域２と、グラフィクス領域４にグラフィクス映像の左目および右目映像Ｌ３およびＲ３を描画し（書き込み）、その間に、グラフィクス領域１と、グラフィクス領域３から、グラフィクス映像の左目および右目映像Ｌ２およびＲ２が読み出されて同期部７０１へ入力され、同期部７０１から出力される。このように描画（書込）と出力のメモリ領域を交互に切り換えることにより、描画中の状態でグラフィクス映像が出力されることはなくなり、本編映像のタイミングに合わせて、グラフィクス映像を合成して、合成映像を出力することができる。
【００９５】
ここで、時間領域ＴＤ３におけるメモリ２０７へのグラフィクス映像の書き込みに注目すれば、左目映像Ｌ４のメモリ２０７への書き込み（グラフィクスデコーダ５０４からの入力）は時間領域ＴＤ３内において完了しているが、右目映像Ｒ４のメモリ２０７への書き込みは時間領域ＴＤ４の開始点において完了していない。
【００９６】
このような場合、同期部７０１は、グラフィクス映像の左目および右目の両映像の入力はないと判断し（図１０のステップＳ１０１の「ＮＯ」）、先の時間領域ＴＤ３のグラフィクス映像Ｌ３およびＲ３を再度出力する（図１０のステップＳ１０５）。
【００９７】
そして、時間領域ＴＤ４においては、グラフィクス領域３および６のそれぞれに対し、時間領域ＴＤ５のグラフィクス映像の左目および右目映像Ｌ５およびＲ５の書き込みが行われる。
【００９８】
２．２．５ｂ．メモリおよび同期部での処理例２
図１３は、メモリ２０７がグラフィクス映像の左目映像および右目映像それぞれについて映像２枚分のメモリ領域を備えている場合におけるグラフィクス映像の書き込みおよび読み出し処理の例を時間軸に沿って示す図である。
【００９９】
ここでも、先例と同様、時間領域ＴＤ３におけるグラフィクス映像の右目映像Ｒ４のメモリ２０７への書き込みが時間領域ＴＤ４の開点において完了していないとする。
【０１００】
このような場合、先例と同様、同期部７０１は、グラフィクス映像の左目および右目の両映像の入力はないと判断し（図１０のステップＳ１０１の「ＮＯ」）、先の時間領域ＴＤ３のグラフィクス映像Ｌ３およびＲ３を再度出力する（図１０のステップＳ１０５）。
【０１０１】
そして、時間領域ＴＤ４においては、グラフィクス領域１および３のそれぞれに対し、時間領域ＴＤ５のグラフィクス映像の左目および右目映像Ｌ５およびＲ５の書き込みが行われる。
【０１０２】
２．２．５ｃ．メモリおよび同期部での処理例３
図１４は、メモリ２０７がグラフィクス映像の左目映像および右目映像それぞれについて映像２枚分のメモリ領域を備えている場合におけるグラフィクス映像の書き込みおよび読み出し処理の別例を時間軸に沿って示す図である。
【０１０３】
ここでも、先例と同様、時間領域ＴＤ３におけるグラフィクス映像の右目映像Ｒ４のメモリ２０７への書き込みが時間領域ＴＤ４の開始点において完了していないとする。
【０１０４】
このような場合、先例と同様、同期部７０１は、グラフィクス映像の左目および右目両映像の入力はないと判断し（図１０のステップＳ１０１の「ＮＯ」）、先の時間領域ＴＤ３のグラフィクス映像Ｌ３およびＲ３を再度出力する（図１０のステップＳ１０５）。
【０１０５】
ただし、本例では、時間領域ＴＤ４において、直前の例のようにグラフィクス領域１および３のそれぞれに対し時間領域ＴＤ５のグラフィクス映像の左目および右目映像Ｌ５およびＲ５の書き込みは行われない。時間領域ＴＤ４においては、時間領域ＴＤ３のグラフィクス映像の左目および右目映像Ｌ３およびＲ３の再出力のみが行われる。
【０１０６】
そして、時間領域ＴＤ５においては、時間領域ＴＤ４のグラフィクス映像の左目および右目映像Ｌ４およびＲ４が出力されるとともに、時間領域ＴＤ６のためのグラフィクス映像の左目および右目映像Ｌ６およびＲ６の書き込みが行われ、時間領域ＴＤ６において、該映像Ｌ６およびＲ６の出力が行われる。
【０１０７】
このように、ある時間領域ＴＤｘにおいてグラフィクス映像の欠落が生じた場合、時間領域ＴＤｘにおいて、先の時間領域ＴＤｘ−１のグラフィクス映像の再出力を行い、時間領域ＴＤｘ＋１において、ＴＤｘのグラフィクス映像の出力を行うように同期部７０１を構成してもよい。言うまでもなく、本例のような場合であっても、深度付与部７０２は、現在の時間領域のための深度データを用いて、同期部７０１が出力するグラフィクス映像の深度補正を行えばよい。
【０１０８】
実施の形態１の映像再生装置１２は、立体映像である第１の映像（本編映像）と第２の映像（グラフィクス映像）とを合成して出力する映像再生装置であって、一のフレームに合成されるべき第１の映像（本編映像）と第２の映像（グラフィクス映像）を取得するビデオおよびグラフィクスデコーダ５０３および５０４と、ビデオおよびグラフィクスデコーダ５０３および５０４により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、合成映像を出力する合成部５０５とを備え、合成部５０５は、合成映像の生成時において、ビデオおよびグラフィクスデコーダ５０３および５０４が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する。
【０１０９】
本実施の形態の映像再生装置は、ＢＤ−ＲＯＭ等の光ディスク（映像ソース）に収録されたコンテンツのデータから、本編映像（第１映像）と、本編映像に合成されるグラフィクス映像（第２映像（立体映像））とを生成し、両映像を合成し、合成映像を立体映像として出力することができる。本映像再生装置は、本編映像とグラフィクス映像との合成のタイミングにおいて当該合成に使用するグラフィクス映像の左目映像および右目映像の少なくともいずれか一方が使用できない場合、別の時間領域（別の合成映像フレーム）で合成に使用するグラフィクス映像の左目映像および右目映像を合成に使用する。この場合において映像再生装置は、グラフィクス映像のデプスを、当該合成において本来使用されるはずのグラフィクス映像のデプスに一致するようにグラフィクス映像の深度を補正してから、本編映像と合成し合成映像を出力する。そうすることで、本映像再生装置は、グラフィクス映像の欠落を防止するとともに、グラフィクス映像のデプスに不自然な変動が生じないようにしている。このように、本実施の形態の映像再生装置１２では、同期すべき本編映像の再生のタイミングにおいて、グラフィクス映像を用意できなかった場合であっても、以前に出力したグラフィクス映像を用いることで、異常なグラフィクス映像の出力を防止する。
【０１１０】
また、左目用のグラフィクス映像と右目用のグラフィクス映像のいずれかが欠落している（使用できない）場合は、以前の時間領域（合成映像フレーム）のグラフィクス映像のうちから、左目用のグラフィクス映像と右目用のグラフィクス映像の両方が揃っている（使用可能な）グラフィクス映像を用いる。これにより、左目用のグラフィクス映像と右目用のグラフィクス映像との間に視差およびオフセット以外の差違が生じることでユーザが映像に違和感を覚えることを防止する。
【０１１１】
さらに、第２のＡＶ処理部２０２により、ディスク２００に記録されている深度情報や、フラッシュメモリ２０６に記録されている深度情報にもとづく深度データを用いてグラフィクス映像の深度を適宜補正して出力する。これにより、以前の再生タイミングの左目用のグラフィクス映像と右目用のグラフィクス映像を用いて欠落した（使用できない）グラフィクス映像を補間した場合にも、例えば、連続的に深度が変わるようなグラフィクス映像を再生する場合であっても、立体映像として違和感を覚えるような映像を表示することなく、なめらかに深度が変化する立体映像の出力を行うことができる。
【０１１２】
（実施の形態２）
映像再生装置の別の実施の形態について説明する。本実施の形態においては、字幕データのデコードが同期すべき本編映像と合成処理されるタイミングまでに用意できなかった場合に、実施の形態１におけるグラフィクス映像に対する処理と同様の処理を行い、以前に表示した字幕映像を再度表示する。字幕映像に対する深度補正は、ディスク２００に記録されている深度情報や、ユーザが入力する指示に従って行われる。なお、実施の形態２の説明においては、実施の形態１と同様の構成については同一の符号をつけ説明を適宜省略する。
【０１１３】
図１５は、実施の形態２の映像再生装置１２の第２のＡＶ処理部２０２のブロック図である。図１５において、字幕デコーダ５０６は、ディスク２００から入力される字幕データをデコードし、本編映像（ビデオ映像）に重畳する字幕映像を生成するデコーダである。字幕デコーダ５０６がデコードして得た字幕映像は、受け付けたユーザ操作に基づきＣＰＵ２０５が合成部５０５へ指示を送ることで、本編映像に対する重畳のオン／オフを切り換えることができる。
【０１１４】
このように、実施の形態２の映像再生装置１２では、字幕についても、本編映像との合成タイミングに対して、立体映像である字幕映像の左目および右目映像の両映像の生成が間に合わない時には、以前に出力した字幕映像を用いる。さらに、第２のＡＶ処理部２０２により、ディスク２００に記録されている深度情報や、フラッシュメモリ２０６に記録されている深度情報にもとづく深度データを用いて字幕映像の深度を適宜補正して出力する。そうすることにより、字幕映像の深度を時間に沿って適切に変化させることができる。例えば、字幕映像の深度が時間に沿って変化する場合にも、ユーザに違和感を覚えさせる立体映像を見せることなく、なめらかな映像再生を行うことができる。また、例えば、字幕が回転しながら遠ざかるような効果を演出する場合にも、なめらかな深度変化を実現することができる。
【０１１５】
（実施の形態１および２の第２のＡＶ処理部について）
図１６は、実施の形態１および２の映像再生装置１２の第２のＡＶ処理部２０２の構成の詳細を示す図である。第２のＡＶ処理部２０２は、例えば、１つまたは２つ以上の半導体装置として構成されてよい。第２のＡＶ処理部２０２は、ディスク２００等映像ソースから３Ｄコンテンツを含んだストリームデータを入力し、第１映像の映像ストリームを第１デコーダ５５３へ出力し、第２映像の映像ストリームを第２デコーダ５５４へ出力し、ストリームデータに含まれる深度情報を深度決定部５０２へ出力するストリーム制御部５０１と、深度情報に基づいて３Ｄコンテンツの映像の深度を決定し深度データとして出力する深度決定部５０２と、第１映像の映像ストリームをデコードして第１映像（本編映像）を出力する第１デコーダ５５３と、第２映像の映像ストリームをデコードして第２映像（グラフィクス映像または字幕映像）を出力する第２デコーダ５５４と、第１映像に第２映像を同期させて合成し合成映像信号を出力する合成部５０５と、合成映像信号を出力する信号出力部５５５と、を備える。ここで、合成部５０５は、実施の形態１〜３の合成部５０５と同等の機能を有する。なお、信号出力部５５５は、出力端子でよい。
【０１１６】
このように、実施の形態１および２の第２のＡＶ処理部２０２は、半導体装置として構成することが可能である。
【０１１７】
（実施の形態３）
映像再生装置のさらに別の実施の形態について説明する。本実施の形態では、ディスク２００等の映像ソース中に深度情報が映像と別のデータとして記録されていなくても、グラフィクス映像の深度データを取得することができる映像再生装置の構成を説明する。なお、実施の形態３の説明においては、実施の形態１および２と同様の構成については同一の符号をつけ説明を適宜省略する。
【０１１８】
図１７は、実施の形態３の映像再生装置１２の第２のＡＶ処理部２０２のブロック図である。図１７において、深度決定用デコーダ５０７は、グラフィクスデコーダ５０４がデコードした映像の深度を決定するためのデコーダである。深度決定用デコーダ５０７は、グラフィクスデコーダ５０４から出力されたグラフィクス映像の内容から、その平均的な深度を求め、深度データとして出力する。
【０１１９】
ここで、グラフィクスデコーダ５０４が出力するグラフィクス映像は、立体映像であり、その立体映像の奥行き方向の距離（デプス）は、グラフィクス映像の左目および右目映像の左右方向のずれ量（オフセット量）に比例する。そこで、深度決定用デコーダ５０７は、かかるグラフィクス映像の左目および右目映像を比較することにより、両映像同士のずれ量を検出し、平均的なずれ量を深度データとして取得する。
【０１２０】
また、深度決定用デコーダ５０７は、深度データを推定（外挿）して求めることもできる。例えば、図１８に示すように、時間領域ＴＤ１〜時間領域ＴＤ３に関し深度データＤ１〜Ｄ３として算出できている場合、深度決定用デコーダ５０７は、時間領域ＴＤ４の深度値を、時間領域ＴＤ１〜時間領域ＴＤ３の深度データＤ１〜ｄ３から回帰的に算出することで外挿深度データＥｘＤ４として取得することができる。
【０１２１】
実施の形態３の映像再生装置１２は、立体映像である第１の映像（本編映像）と第２の映像（グラフィクス映像）とを合成して出力する映像再生装置であって、一のフレームに合成されるべき第１の映像（本編映像）と第２の映像（グラフィクス映像）を取得するビデオおよびグラフィクスデコーダ５０３および５０４と、ビデオおよびグラフィクスデコーダ５０３および５０４により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、合成映像を出力する合成部５０５とを備え、合成部５０５は、合成映像の生成時において、ビデオおよびグラフィクスデコーダ５０３および５０４が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する。また、第２の映像が立体映像表示されたときの奥行きが深度情報により決定され、合成部５０５は、一のフレームに合成されるべき第１の映像と第２の映像の合成時において、ビデオおよびグラフィクスデコーダ５０３および５０４が一のフレームに合成されるべき第２の映像を取得できなかったときに、別のフレームにおいて第１の映像と合成されるべき第２の映像の内容に基づいて一のフレームに合成されるべき第２の映像に対する深度情報を求め、その求めた深度情報を用いて別のフレームにおいて第１の映像と合成されるべき第２の映像を第１の映像と合成する。
【０１２２】
このように、実施の形態３の映像再生装置１２では、深度決定用デコーダ５０７が、グラフィクス映像からその深度を検出し深度データとして出力する。そのため、ある時間領域での同期部７０１からのグラフィクス映像の出力タイミングまでにグラフィクス映像の生成が間に合わなかった場合には、以前の時間領域のグラフィクス映像の深度データから推定（外挿）して取得した深度データを用いて、別の時間領域（フレーム）のグラフィクス映像の深度を補正し、当該時間領域の合成タイミングにおいて本編映像と合成されるグラフィクス映像とする。そのため、グラフィクス映像の生成が同期部７０１からの出力タイミングに間に合わなかった場合であっても、本来同期部７０１から出力されるべきグラフィクス映像と類似したグラフィクス映像が適切な深度補正が施されて出力され、本編映像と合成され、合成映像信号として映像表示装置１１へ出力される。そのため、ユーザが、表示される映像に違和感を覚えない。本実施の形態の映像再生装置１２は、ディスク２００等の映像ソースに深度情報が映像とは別に記録されていなくても、異常な映像を出力することなく、なめらかに時間的に変化する立体映像の再生を実現することができる。
【０１２３】
図１９は、実施の形態３の映像再生装置１２の第２のＡＶ処理部２０２の構成の詳細を示す図である。第２のＡＶ処理部２０２は、例えば、１つまたは２つ以上の半導体装置として構成されてよい。第２のＡＶ処理部２０２は、ディスク２００等映像ソースから３Ｄコンテンツを含んだストリームデータを入力し、第１映像の映像ストリームを第１デコーダ５５３へ出力し、第２映像の映像ストリームを第２デコーダ５５４へ出力するストリーム制御部５０１と、第１映像の映像ストリームをデコードして第１映像（本編映像）を出力する第１デコーダ５５３と、第２映像の映像ストリームをデコードして第２映像（グラフィクス映像または字幕映像）を出力する第２デコーダ５５４と、第２デコーダ５５４が出力する第２映像の内容に基づいて当該第２映像の深度データを取得する深度決定用デコーダ５０７と、第１映像に第２映像を同期して合成し合成映像信号を出力する合成部５０５と、合成映像信号を出力する信号出力部５５５と、を備える。ここで、合成部５０５は、実施の形態１〜３の合成部５０５と同等の機能を有する。なお、信号出力部５５５は、出力端子でよい。
【０１２４】
このように、実施の形態３の第２のＡＶ処理部２０２もまた、半導体装置として構成することが可能である。
【０１２５】
（変形例）
本実施の形態１〜３の映像再生装置１２は、様々に変形可能である。以下、映像再生装置１２の変形の一例について説明する。
【０１２６】
上記実施の形態１〜３の映像再生装置１２では、ビデオ映像（本編映像）に対して、グラフィクス映像および字幕映像を合成する例を示したが、合成される映像はこれらに限定されない。ビデオ映像（本編映像）に同期して別のビデオ映像（副映像）を出力して両映像を合成するような構成も可能である。このような場合でも、本編映像および副映像は、それぞれ、左目および右目映像が対応していないと、ユーザに異常な映像として認識されてしまう。本実施の形態の映像再生装置１２によれば、左目および右目映像の対応を保ちながら当該映像の深度を補正して出力することにより、なめらかな立体映像表現が可能である。
【０１２７】
また、グラフィクス映像（第２映像）は、左目および右目映像が同一の映像であってもよい。その場合、深度を調整しない限りグラフィクス映像は平面的に見えるが、深度を調整することにより、グラフィクス映像に深度方向の定位を与えることができる。
【０１２８】
また、ユーザが指定可能な深度の例として、フラッシュメモリ２０６に記録されたシーケンスを示したが、メモリであれば、これに限らず、メモリーカードのようなものでも構わないし、メモリ２０７と同じメモリでも構わない。
【０１２９】
また、グラフィクス映像の深度補正に用いる深度データは、グラフィクス映像の深度情報以外の情報、例えば、本編映像の深度情報を使ってもよい。その場合であっても、同等の効果を奏することが可能である。
【０１３０】
また、ある時間領域で本来出力されるグラフィクス映像の左目および右目映像の両方が使用可能である場合であっても、定常的にオフセット処理をして深度補正を行ってよい。
【０１３１】
また、グラフィクス映像の用意が間に合わない時に使用する別の時間領域のグラフィクス映像は、一つ前の時間領域のグラフィクス映像でなくても構わない。
【０１３２】
上記実施の形態では、映像ソースとしてＢＤ−ＲＯＭに記録されたコンテンツを例に挙げているが、映像ソースは、ＢＤ−ＲＯＭに限定されず、放送波、その他の光ディスク、ハードディスク、といった映像ソース媒体の全てを含む。
【０１３３】
上記実施の形態では、本編映像（第１映像）と、グラフィクス映像または字幕映像（第２映像）は、同一の映像ソース（コンテンツ）に含まれる映像データから生成されるが、第１映像の映像ソースと第２映像の映像ソース（コンテンツ）は互いに異なってもよい。
【０１３４】
上記実施の形態では、第１映像は、あるコンテンツの本編映像としているが、第１映像はそれに限定されず任意の映像であってよい。また、立体映像である第２映像もまた字幕映像またはグラフィクス映像に限定されずに任意の映像であってよい。
【０１３５】
上記実施の形態では、第１映像は、立体映像であっても、非立体映像であってもよい。実施の形態の映像再生装置は、第１映像に対し、立体映像である第２映像を合成し、合成映像を立体映像として出力することができる。
【０１３６】
立体映像である第２映像は、映像ソースにおいて、２プレーン方式、２プレーンプラス１オフセット方式、１プレーンプラス１オフセット方式といった任意の方式で記録されてよい。
【０１３７】
本実施の形態の映像再生装置１２は、ＢＤ−ＲＯＭなどの光ディスクに限らず、テレビジョンや、ゲーム機など、映像やグラフィクスを重ねて立体映像を表示する用途における立体映像再生装置に適用できる。
【０１３８】
また、実施の形態の映像再生装置は、フレームシーケンシャル方式で立体映像信号を送出するが、立体映像信号の方式はこれに限定されず、任意の方式でよい。
【０１３９】
なお、立体映像信号は、１フレーム分の映像信号として左目映像（左目用の映像）と右目映像（右目用の映像）とを含んでなる映像信号でもよい。しかしながら、本実施の形態の映像再生装置では、立体映像信号のフォーマット等に特に制限はない。
【０１４０】
（まとめ）
以上、各実施の形態の映像再生装置１２は、第１映像に対し、第２映像（（立体）グラフィクス映像）を合成（重畳）可能である。当該合成に際し、映像再生装置１２は、第１映像と第２映像との間の同期をとって合成する。第２映像（（立体）グラフィクス映像）に欠落があった場合、映像再生装置１２は、別の時間領域（フレーム）の第２映像を現在の時間領域（フレーム）の第２映像の深度データで深度補正して出力する。
【０１４１】
なお、実施の形態１および３のグラフィクス映像、実施の形態２の字幕映像は、立体グラフィクスス映像の一例である。
【０１４２】
これにより、グラフィクス映像に欠落があった場合でも、途切れることなくなめらかに変化するグラフィクス映像をユーザに提示することができる。
【０１４３】
また、映像再生装置１２は、立体グラフィクス映像の左目グラフィクス映像と右目グラフィクス映像の少なくともいずれか一方が使用できない場合に、その時間領域（フレーム）の前の時間領域（フレーム）の立体グラフィクス映像の左目グラフィクス映像および右目グラフィクス映像を用いてその欠落期間を補間して出力する。
【０１４４】
これにより、左目グラフィクス映像と右目グラフィクス映像のいずれかが使用できない場合にも、左目グラフィクス映像と右目グラフィクス映像とに視差、オフセット以外のずれが生じてユーザが映像に違和感を覚えることを防止する。
【産業上の利用可能性】
【０１４５】
本実施の形態の映像再生装置は、複数の映像が合成されてなる立体映像を再生する映像再生装置として有用である。
【符号の説明】
【０１４６】
１１    映像表示装置
１２    映像再生装置
１３    立体メガネ
１０１    第１の入出力部
１０２    第１のＡＶ処理部
１０３    表示部
１０４    第１のリモコン信号受信部
１０５    送信部
２００    ディスク
２０１    ディスクドライブ部
２０２    第２のＡＶ処理部
２０３    第２の入出力部
２０４    第２のリモコン信号受信部
２０５    ＣＰＵ
２０６    フラッシュメモリ
２０７    メモリ
５０１    ストリーム制御部
５０２    深度決定部
５０３    ビデオデコーダ
５０４    グラフィクスデコーダ
５０５    合成部
５０６    字幕デコーダ
５０７    深度決定用デコーダ
７００    グラフィクス信号取得部
７０１    同期部
７０２    深度付加部
７０３    グラフィクス合成部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
立体映像である第１の映像と第２の映像とを合成して出力する映像再生装置であって、
一のフレームに合成されるべき第１の映像と第２の映像を取得する取得手段と、
前記取得手段により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、前記合成映像を出力する合成手段とを備え、
前記合成手段は、前記合成映像の生成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を前記一のフレームに合成されるべき第１の映像と合成する、
映像再生装置。
【請求項２】
前記第２の映像が立体映像表示されたときの奥行きが深度情報により決定され、
前記合成手段は、前記一のフレームに合成されるべき第１の映像と第２の映像の合成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記一のフレームに合成されるべき第２の映像に対する深度情報を用いて前記別のフレームにおいて第１の映像と合成されるべき第２の映像を第１の映像と合成する、
請求項１記載の映像再生装置。
【請求項３】
前記第２の映像が立体映像表示されたときの奥行きが深度情報により決定され、
前記合成手段は、前記一のフレームに合成されるべき第１の映像と第２の映像の合成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記別のフレームにおいて第１の映像と合成されるべき第２の映像の内容に基づいて前記一のフレームに合成されるべき第２の映像に対する深度情報を求め、その求めた深度情報を用いて前記別のフレームにおいて第１の映像と合成されるべき第２の映像を第１の映像と合成する、
請求項１記載の映像再生装置。
【請求項４】
前記第２の映像はグラフィックス映像または字幕映像である、請求項１記載の映像再生装置。
【請求項５】
立体映像である第１の映像と第２の映像とを合成して出力する半導体装置であって、
一のフレームに合成されるべき第１の映像と第２の映像を取得する取得手段と、
前記取得手段により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成する合成手段と、
前記合成映像を出力する信号出力手段とを備え、
前記合成手段は、前記合成映像の生成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を前記一のフレームに合成されるべき第１の映像と合成する、
半導体装置。
【請求項６】
映像再生装置において立体映像である第１の映像と第２の映像とを合成して出力する映像再生方法であって、
取得手段が、一のフレームに合成されるべき第１の映像と第２の映像を取得するステップと、
合成手段が、前記取得するステップにより取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、前記合成映像を出力するステップとを備え、
前記合成手段は、前記合成映像の生成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を前記一のフレームに合成されるべき第１の映像と合成する、
映像再生方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2011016240.tif 000023
【図２】
2011016240.tif 000024
【図３】
2011016240.tif 000025
【図４】
2011016240.tif 000026
【図５】
2011016240.tif 000027
【図６】
2011016240.tif 000028
【図７】
2011016240.tif 000029
【図８】
2011016240.tif 000030
【図９】
2011016240.tif 000031
【図１０】
2011016240.tif 000032
【図１１Ａ】
2011016240.tif 000033
【図１１Ｂ】
2011016240.tif 000034
【図１２】
2011016240.tif 000035
【図１３】
2011016240.tif 000036
【図１４】
2011016240.tif 000037
【図１５】
2011016240.tif 000038
【図１６】
2011016240.tif 000039
【図１７】
2011016240.tif 000040
【図１８】
2011016240.tif 000041
【図１９】
2011016240.tif 000042
【国際調査報告】
2011016240.tif 000043
2011016240.tif 000044
2011016240.tif 000045
2011016240.tif 000046