(57)【要約】【課題】三次元映像を再生可能な映像再生装置において、通信エラー等に起因して左視用映像及び右視用映像の一方に欠損が生じた場合であっても、映像を視聴するユーザに与える違和感を軽減することが可能な映像再生装置を得る。【解決手段】ＳＴＢ４は、左視用映像と右視用映像とを表示画面に交互に表示することにより三次元映像を再生可能な映像再生装置であって、左視用映像及び右視用映像の各々の映像の中から、映像信号が欠損している欠損領域を検出する検出部１４と、あるフレームの左視用映像及び右視用映像の一方の映像において検出部１４が欠損領域５０を検出した場合に、そのフレームの他方の映像のうち、一方の映像内の当該欠損領域５０に対応する対応箇所５１の映像信号によって、当該欠損領域５０を補完する補完部１５と、を備える。【選択図】図２
2012209804.tif 000002
【特許請求の範囲】
【請求項１】
左視用映像と右視用映像とを表示画面に交互に表示することにより三次元映像を再生可能な映像再生装置であって、
前記左視用映像及び前記右視用映像の各々の映像の中から、映像信号が欠損している欠損領域を検出する検出部と、
あるフレームの前記左視用映像及び前記右視用映像の一方の映像において前記検出部が欠損領域を検出した場合に、そのフレームの他方の映像のうち、前記一方の映像内の当該欠損領域に対応する対応箇所の映像信号によって、当該欠損領域を補完する補完部と、
を備える、映像再生装置。
【請求項２】
前記補完部は、前記対応箇所の映像信号を、当該対応箇所に関する奥行き情報に基づいて視点変換することにより、変換後の当該映像信号によって前記欠損領域を補完する、請求項１に記載の映像再生装置。
【請求項３】
前記検出部が前記一方の映像において所定範囲以上の欠損領域を検出した場合には、前記補完部は、前記一方の映像を前記他方の映像によって差し替える、請求項１又は２に記載の映像再生装置。
【請求項４】
前記補完部は、前記他方の映像を、当該他方の映像に関する奥行き情報に基づいて視点変換することにより、前記一方の映像を、変換後の当該他方の映像によって差し替える、請求項３に記載の映像再生装置。
【請求項５】
第１のフレームの前記一方の映像内において欠損領域が生じており、当該第１のフレームの前記他方の映像内の前記対応箇所にも欠損領域が生じている場合には、前記補完部は、前記第１のフレームとは異なる第２のフレームの前記一方の映像のうち、前記第１のフレームの前記一方の映像内の欠損領域に対応する箇所の映像信号によって、当該欠損領域を補完する、請求項１〜４のいずれか一つに記載の映像再生装置。
【請求項６】
前記他方の映像に関する通信の優先度は、前記一方の映像に関する通信の優先度よりも高く設定されている、請求項１〜５のいずれか一つに記載の映像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像再生装置に関し、特に、三次元映像を再生可能な映像再生装置に関する。
【背景技術】
【０００２】
下記特許文献１には、両眼に液晶シャッタを備える専用の眼鏡をユーザが着用することによって、表示画面上で三次元映像を視聴可能な映像表示装置が開示されている。当該映像表示装置においては、左視用映像と右視用映像とを所定の周期で表示画面に交互に表示する。そして、液晶シャッタを制御することによって、左視用映像の表示タイミングに同期して眼鏡の左眼を透光状態、右眼を遮光状態とし、右視用映像の表示タイミングに同期して眼鏡の右眼を透光状態、左眼を遮光状態とすることにより、表示画面に三次元映像を表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３２７３０７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば映像のトランスポートストリームを映像配信サーバから通信ネットワークを介して映像再生装置に送信するような場合には、通信エラー等に起因して映像の一部が欠損することがある。特に三次元映像では各フレームにおいて左視用映像と右視用映像とがペアになっているため、左視用映像及び右視用映像の一方のみに欠損が生じた場合であっても、その欠損箇所において映像に乱れが生じ、映像を視聴するユーザに違和感を与える。
【０００５】
本発明はかかる事情に鑑みて成されたものであり、三次元映像を再生可能な映像再生装置において、通信エラー等に起因して左視用映像及び右視用映像の一方に欠損が生じた場合であっても、映像を視聴するユーザに与える違和感を軽減することが可能な映像再生装置を得ることを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係る映像再生装置は、左視用映像と右視用映像とを表示画面に交互に表示することにより三次元映像を再生可能な映像再生装置であって、前記左視用映像及び前記右視用映像の各々の映像の中から、映像信号が欠損している欠損領域を検出する検出部と、あるフレームの前記左視用映像及び前記右視用映像の一方の映像において前記検出部が欠損領域を検出した場合に、そのフレームの他方の映像のうち、前記一方の映像内の当該欠損領域に対応する対応箇所の映像信号によって、当該欠損領域を補完する補完部と、を備えることを特徴とするものである。
【０００７】
第１の態様に係る映像再生装置によれば、検出部は、左視用映像及び右視用映像の各々の映像の中から、映像信号が欠損している欠損領域を検出する。そして、補完部は、あるフレームの左視用映像及び右視用映像の一方の映像において検出部が欠損領域を検出した場合に、そのフレームの他方の映像のうち、一方の映像内の当該欠損領域に対応する対応箇所の映像信号によって、当該欠損領域を補完する。このように、対を成す左視用映像及び右視用映像のうち、一方の映像に欠損領域が生じた場合には、他方の映像の対応箇所の映像信号を用いて欠損領域を補完することにより、欠損が生じている映像を簡易に補完することができる。その結果、通信エラー等に起因して左視用映像及び右視用映像の一方に欠損が生じた場合であっても、映像を視聴するユーザに与える違和感を軽減することが可能となる。
【０００８】
本発明の第２の態様に係る映像再生装置は、第１の態様に係る映像再生装置において特に、前記補完部は、前記対応箇所の映像信号を、当該対応箇所に関する奥行き情報に基づいて視点変換することにより、変換後の当該映像信号によって前記欠損領域を補完することを特徴とするものである。
【０００９】
第２の態様に係る映像再生装置によれば、補完部は、対応箇所の映像信号を、当該対応箇所に関する奥行き情報に基づいて視点変換することにより、変換後の当該映像信号によって欠損領域を補完する。その結果、補完された欠損領域に関しても三次元映像として再生できるため、三次元映像の一部に二次元映像が含まれるという事態を回避でき、映像を視聴するユーザに与える違和感をさらに軽減することが可能となる。
【００１０】
本発明の第３の態様に係る映像再生装置は、第１又は第２の態様に係る映像再生装置において特に、前記検出部が前記一方の映像において所定範囲以上の欠損領域を検出した場合には、前記補完部は、前記一方の映像を前記他方の映像によって差し替えることを特徴とするものである。
【００１１】
第３の態様に係る映像再生装置によれば、検出部が一方の映像において所定範囲以上の欠損領域を検出した場合には、補完部は、一方の映像を他方の映像によって差し替える。このように、一方の映像が大きく欠損している場合には、他方の映像の対応箇所を用いて補完するのではなく、一方の映像に代えて他方の映像を表示する。これにより、そのフレームに関しては二次元映像の再生とはなるが、大きな欠損領域を補完することに伴う処理負荷の増大を回避することが可能となる。
【００１２】
本発明の第４の態様に係る映像再生装置は、第３の態様に係る映像再生装置において特に、前記補完部は、前記他方の映像を、当該他方の映像に関する奥行き情報に基づいて視点変換することにより、前記一方の映像を、変換後の当該他方の映像によって差し替えることを特徴とするものである。
【００１３】
第４の態様に係る映像再生装置によれば、補完部は、他方の映像を奥行き情報に基づいて視点変換することにより、一方の映像を、変換後の当該他方の映像によって差し替える。その結果、差し替えられた映像に関しても三次元映像として再生できるため、三次元映像の複数のフレームの途中に二次元映像のフレームが含まれるという事態を回避でき、映像を視聴するユーザに与える違和感をさらに軽減することが可能となる。
【００１４】
本発明の第５の態様に係る映像再生装置は、第１〜第４のいずれか一つの態様に係る映像再生装置において特に、第１のフレームの前記一方の映像内において欠損領域が生じており、当該第１のフレームの前記他方の映像内の前記対応箇所にも欠損領域が生じている場合には、前記補完部は、前記第１のフレームとは異なる第２のフレームの前記一方の映像のうち、前記第１のフレームの前記一方の映像内の欠損領域に対応する箇所の映像信号によって、当該欠損領域を補完することを特徴とするものである。
【００１５】
第５の態様に係る映像再生装置によれば、あるフレームの左視用映像及び右視用映像に関して互いに対応する箇所に欠損領域が生じている場合には、そのフレームとは異なるフレーム（例えば直前のフレーム）の対応箇所を用いて欠損領域を補完する。このように、同一フレームの左視用映像と右視用映像とで相互に欠損領域を補完できない場合には、そのフレームとは異なるフレームを用いることにより、欠損領域を適切に補完することが可能となる。
【００１６】
本発明の第６の態様に係る映像再生装置は、第１〜第５のいずれか一つの態様に係る映像再生装置において特に、前記他方の映像に関する通信の優先度は、前記一方の映像に関する通信の優先度よりも高く設定されていることを特徴とするものである。
【００１７】
第６の態様に係る映像再生装置によれば、他方の映像に関する通信の優先度は、一方の映像に関する通信の優先度よりも高く設定されている。これにより、優先度が高く設定されている他方の映像においては欠損が生じにくい。従って、優先度が低く設定されている一方の映像において欠損領域が生じた場合であっても、欠損が生じていない他方の映像の対応箇所を用いて、当該欠損領域を適切に補完することが可能となる。
【発明の効果】
【００１８】
本発明によれば、三次元映像を再生可能な映像再生装置において、通信エラー等に起因して左視用映像及び右視用映像の一方に欠損が生じた場合であっても、映像を視聴するユーザに与える違和感を軽減することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係る映像配信システムの全体構成を示す図である。
【図２】ＳＴＢの構成を簡略化して示すブロック図である。
【図３】検出部及び補完部における処理内容を簡易的に示す図である。
【図４】三次元映像のコンテンツを再生する場合のＳＴＢの処理を示す図である。
【図５】検出部及び補完部における処理内容の第１の変形例を簡易的に示す図である。
【図６】検出部及び補完部における処理内容の第２の変形例を簡易的に示す図である。
【図７】検出部及び補完部における処理内容の第３の変形例を簡易的に示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
【００２１】
図１は、本発明の実施の形態に係る映像配信システム１の全体構成を示す図である。図１に示すように映像配信システム１は、サーバ２と、ＩＰ（Internet Protocol）ネットワーク等の通信ネットワーク３と、映像再生装置としてのＳＴＢ（Set Top Box）４と、液晶表示装置等のテレビ５と、三次元映像のコンテンツを視聴するためにユーザが装着する眼鏡７とを備えて構成されている。サーバ２は、例えば、地上デジタル放送やＢＳデジタル放送の放送波を受信して、そのトランスポートストリーム（ＴＳ：Transport Stream）を通信ネットワーク３を介して再送信するための映像配信装置である。眼鏡７は、左眼８Ｌ及び右眼８Ｒを有している。なお、ＳＴＢ４の機能がテレビ５に内蔵されていてもよい。
【００２２】
サーバ２は、通信ネットワーク３を介してＳＴＢ４にコンテンツのトランスポートストリーム（以下「ストリーム」と称す）を送信する。ＳＴＢ４は、受信したストリームに対してデコード等の処理（詳細は後述する）を行って、当該処理後の映像信号をテレビ５に送信することにより、テレビ５において映像を再生する。ＳＴＢ４は、テレビ５において二次元映像を再生可能であるとともに、三次元映像を再生することも可能である。三次元映像のコンテンツを視聴する場合には、ユーザは眼鏡７を装着する。
【００２３】
図２は、ＳＴＢ４の構成を簡略化して示すブロック図である。図２に示すようにＳＴＢ４は、受信部１１、バッファ１２、デコーダ１３、検出部１４、補完部１５、及び送信部１６を備えている。
【００２４】
受信部１１は、コンテンツのストリームＳ１を、サーバ２から通信ネットワーク３を介して受信する。三次元映像のコンテンツでは、映像の各フレームが、人間の両眼視差を反映した左視用映像（Base view）と右視用映像（Enhanced view）とによって構成される。従って、ストリームＳ１には、左視用映像用のストリームと、右視用映像用のストリームとが含まれる。ストリームＳ１は、受信部１１からバッファ１２に入力され、バッファ１２において一時的に記憶される。
【００２５】
ここで、ストリームＳ１を通信ネットワーク３を介して通信するにあたり、左視用映像用のストリームと右視用映像用のストリームとで、通信の優先度を異なる値に設定してもよい。望ましくは、Base viewである左視用映像用のストリームの優先度を、Enhanced viewである右視用映像用のストリームの優先度よりも高く設定する。通信の優先度は、例えばＱｏＳ（Quality of Service）のランクによって設定することができる。左視用映像用のストリームのランクを高く設定することにより、データの欠損を生じさせることなく左視用映像をＳＴＢ４に送信することができる。
【００２６】
バッファ１２から出力されたストリームＳ１は、デコーダ１３に入力される。デコーダ１３は、ストリームＳ１をデコードすることにより、三次元映像の映像信号Ｓ２を出力する。映像信号Ｓ２には、左視用映像の映像信号と右視用映像の映像信号とが含まれる。なお、デコーダ１３がストリームＳ１のデコードを行う際に、エラーコンシールメント等の画像修復処理、又はＦＥＣ（Forward Error Correction）等の誤り訂正処理を行うことにより、各映像別に映像信号の修正を行ってもよい。
【００２７】
デコーダ１３から出力された映像信号Ｓ２は、検出部１４及び補完部１５に入力される。図３は、検出部１４及び補完部１５における処理内容を簡易的に示す図である。
【００２８】
検出部１４は、各フレームの左視用映像及び右視用映像の中から、映像信号が欠損している欠損領域を検出する。欠損領域には、映像信号が完全に欠落した領域のほか、画像修復処理や誤り訂正処理を行った場合に、それらによって映像信号を回復できない領域を含めることができる。図３の（Ａ）には、一つのフレームの左視用映像２１Ｌ及び右視用映像２１Ｒを例示している。この例では、検出部１４は、右視用映像２１Ｒ内において欠損領域５０を検出する。また、この例では、左視用映像２１Ｌには欠損領域は生じていない。検出部１４は、欠損領域５０の位置情報を含む信号Ｓ３を補完部１５に入力する。
【００２９】
補完部１５は、検出部１４から入力された信号Ｓ３に基づいて欠損領域を補完する。具体的には図３の（Ｂ）を参照して、まず補完部１５は、左視用映像２１Ｌの全映像領域の中から、右視用映像２１Ｒの欠損領域５０に対応する対応箇所５１を特定する。例えば、欠損領域５０の位置情報に基づいて、欠損領域５０の周囲の映像との相関値が最も高い箇所を左視用映像２１Ｌの全映像領域内で探索し、その探索結果に基づいて対応箇所５１を特定する。なお、欠損領域５０の位置情報に基づいて、探索範囲をその周辺の領域に絞ってもよい。
【００３０】
次に補完部１５は、対応箇所５１の映像信号を欠損領域５０にコピーすることにより、対応箇所５１の映像信号によって欠損領域５０を補完する。その結果、図３の（Ｃ）に示すように、欠損領域５０が補完された右視用映像２１Ｒが得られる。補完部１５は、上記の処理後の映像信号Ｓ４を送信部１６に入力する。映像信号Ｓ４には、左視用映像２１Ｌの映像信号及び右視用映像２１Ｒの映像信号（補完を行った場合は補完後のもの）が含まれる。
【００３１】
送信部１６は、補完部１５から入力された映像信号Ｓ４をテレビ５に向けて送信し、これにより、テレビ５において三次元映像が再生される。
【００３２】
なお、以上の説明では右視用映像２１Ｒに欠損領域５０が生じている場合に、左視用映像２１Ｌ内の対応箇所５１の映像信号によって欠損領域５０を補完する例について述べたが、これとは逆に、左視用映像に欠損領域が生じている場合には、右視用映像内の対応箇所の映像信号によって左視用映像内の欠損領域が補完される。
【００３３】
図４は、テレビ５において三次元映像のコンテンツを再生する場合のＳＴＢ４の処理を示す図である。三次元映像の再生を行う場合には、人間の両眼視差を反映した左視用映像と右視用映像とが所定の周期（例えば１／１２０秒周期。左視用画像と右視用画像とのペアで１フレームが構成されるため、フレームレートは６０ｆｐｓとなる。）で交互に表示される。図４に示した例では、第０フレームの左視用映像Ｆ０Ｌ、第０フレームの右視用映像Ｆ０Ｒ、第１フレームの左視用映像Ｆ１Ｌ、第１フレームの右視用映像Ｆ１Ｒ、第２フレームの左視用映像Ｆ２Ｌ、第２フレームの右視用映像Ｆ２Ｒ、第３フレームの左視用映像Ｆ３Ｌ、第３フレームの右視用映像Ｆ３Ｒ、・・・が、この順にテレビ５の表示画面に表示される。また、三次元映像の再生を行う場合には、各フレームの左視用映像Ｆ０Ｌ，Ｆ１Ｌ，Ｆ２Ｌ，Ｆ３Ｌ，・・・を表示画面に表示するタイミングに同期して、眼鏡７の左眼８Ｌが透光状態（ＯＮ）、右眼８Ｒが遮光状態（ＯＦＦ）とされ、各フレームの右視用映像Ｆ０Ｒ，Ｆ１Ｒ，Ｆ２Ｒ，Ｆ３Ｒ，・・・を表示画面に表示するタイミングに同期して、眼鏡７の右眼８Ｒが透光状態（ＯＮ）、左眼８Ｌが遮光状態（ＯＦＦ）とされる。
【００３４】
図５は、検出部１４及び補完部１５における処理内容の第１の変形例を簡易的に示す図である。図５に示した例では、各フレームの左視用映像２１Ｌ及び右視用映像２１Ｒに、奥行き情報６０Ｌ，６０Ｒがそれぞれ付加されている。ある対象物が仮想のスクリーン面上に位置している場合（つまり両眼の合焦面がスクリーン面に一致する場合）には、スクリーン面上において当該対象物の左視虚像と右視虚像とは一致する。また、ある対象物がスクリーン面より奥に位置している場合（つまり両眼の合焦面がスクリーン面より奥である場合）には、スクリーン面において当該対象物の左視虚像と右視虚像とは互いにずれる（この場合は左視虚像が左にずれ、右視虚像が右にずれる）。また、ある対象物がスクリーン面より手前に位置している場合（つまり両眼の合焦面がスクリーン面より手前である場合）には、スクリーン面において当該対象物の左視虚像と右視虚像とは互いにずれる（この場合は左視虚像が右にずれ、右視虚像が左にずれる）。映像内の各対象物に関して、左視用映像内での虚像と右視用映像内での虚像との重なり度合い（つまり、ずれの有無、大きさ、及び方向）を奥行き情報として表すことにより、各対象物の深さ方向の距離が奥行き情報によって示される。対象物の大きさとしては、各画素単位で奥行き情報を規定することによって最も正確な情報が得られるが、データ量が膨大となるため、画面を任意のＮ個の領域に分割し、各領域単位で奥行き情報を規定してもよい。
【００３５】
図５を参照して、上記実施の形態と同様に検出部１４は、各フレームの左視用映像及び右視用映像の中から欠損領域５０を検出する。図５の（Ａ）に示した例では、検出部１４は、右視用映像２１Ｒ内において欠損領域５０を検出する。検出部１４は、欠損領域５０の位置情報を含む信号Ｓ３を補完部１５に入力する。
【００３６】
補完部１５は、検出部１４から入力された信号Ｓ３に基づいて欠損領域を補完する。具体的には図５の（Ｂ）を参照して、まず補完部１５は、左視用映像２１Ｌの全映像領域の中から、右視用映像２１Ｒの欠損領域５０に対応する対応箇所５２を特定する。例えば、図３と同様に、欠損領域５０の位置情報に基づいて、欠損領域５０の周囲の映像との相関値が最も高い箇所を左視用映像２１Ｌの全映像領域内で探索し、その探索結果に基づいて対応箇所５２を特定する。次に補完部１５は、対応箇所５２の映像信号を、当該対応箇所５２に関する奥行き情報に基づいて変換する。つまり、奥行き情報に基づいて視点変換を行うことにより、左視映像である対応箇所５２の映像を右視映像に変換する。
【００３７】
次に補完部１５は、変換後の対応箇所５２の映像信号を欠損領域５０にコピーすることにより、変換後の対応箇所５２の映像信号によって欠損領域５０を補完する。その結果、図５の（Ｃ）に示すように、欠損領域５０が補完された右視用映像２１Ｒが得られる。なお、奥行き情報が画素単位又は細かい領域単位で規定されている場合には、対応箇所５２の映像信号を欠損領域５０にコピーする代わりに、左視用映像２１Ｌの全領域と、全領域の奥行き情報６０Ｌとに基づいて、右視用映像２１Ｒの全領域を補完部１５によって作成してもよい。
【００３８】
図６は、検出部１４及び補完部１５における処理内容の第２の変形例を簡易的に示す図である。上記実施の形態と同様に検出部１４は、各フレームの左視用映像及び右視用映像の中から欠損領域５０を検出する。図６の（Ａ）に示した例では、検出部１４は、右視用映像２１Ｒ内において複数の欠損領域５０を検出する。検出部１４は、欠損領域５０の位置情報を含む信号Ｓ３を補完部１５に入力する。
【００３９】
補完部１５は、検出部１４から入力された信号Ｓ３に基づいて、右視用映像２１Ｒの全映像領域の中で欠損領域５０が占める割合（つまり、右視用映像２１Ｒの全面積のうち、複数の欠陥領域５０の合計面積が占める割合）を算出する。この割合には所定の許容上限値が予め設定されており、算出した割合が許容上限値以下である場合には、補完部１５は上記実施の形態と同様に、左視用映像２１Ｌ内の対応箇所５１の映像信号によって欠損領域５０を補完する。
【００４０】
一方、図６の（Ａ）に示すように算出した割合が許容上限値を超える場合には、図６の（Ｂ）に示すように補完部１５は、そのフレームの右視用映像２１Ｒを左視用映像２１Ｌによって差し替える。これにより、欠損領域５０の無い右視用映像２１Ｒが得られる。なお、左視用映像２１Ｌの全体を右視用映像２１Ｒの全体にコピーしても、同様の右視用映像２１Ｒが得られる。
【００４１】
ここで、図５と同様に左視用映像２１Ｌに奥行き情報が付加されている場合には、補完部１５は、左視用映像２１Ｌの全領域の映像信号と奥行き情報とに基づいて、視点変換によって左視用映像２１Ｌを右視用映像に変換し、当該右視用映像に変換された後の左視用映像２１Ｌによって右視用映像２１Ｒを差し替えてもよい。
【００４２】
図７は、検出部１４及び補完部１５における処理内容の第３の変形例を簡易的に示す図である。上記実施の形態と同様に検出部１４は、各フレームの左視用映像及び右視用映像の中から欠損領域５０を検出する。図７の（Ａ）に示した例では、検出部１４は、右視用映像２１Ｒ内において欠損領域５０を検出し、左視用映像２１Ｌ内において欠損領域５３を検出する。検出部１４は、欠損領域５０，５３の位置情報を含む信号Ｓ３を補完部１５に入力する。
【００４３】
補完部１５は、検出部１４から入力された信号Ｓ３に基づいて欠損領域を補完する。具体的には図７の（Ｂ）を参照して、まず補完部１５は、左視用映像２１Ｌの全映像領域の中から、右視用映像２１Ｒの欠損領域５０に対応する対応箇所５１の特定を試みる。例えば、欠損領域５０の位置情報に基づいて、欠損領域５０の周囲の映像との相関値が最も高い箇所を左視用映像２１Ｌの全映像領域内で探索し、その探索結果に基づいて対応箇所５１を特定する。ここで、欠損領域５０と対応箇所５１との相関値には所定の許容下限値が予め設定されており、当該相関値が許容下限値以上である場合には、補完部１５は上記実施の形態と同様に、左視用映像２１Ｌ内の対応箇所５１の映像信号によって欠損領域５０を補完する。
【００４４】
図７の（Ａ）に示した例では、右視用映像２１Ｒ及び左視用映像２１Ｌの対応する箇所に、欠損領域５０，５３が生じている。このように、互いに対応する箇所に欠損領域５０，５３が生じている場合には、欠損領域５０と対応箇所５１との相関値が許容下限値未満となりやすい。当該相関値が許容下限値未満である場合には、図７の（Ｂ）に示すように補完部１５は、右視用映像２１Ｒのフレームとは異なるフレーム（望ましくは直前のフレーム）の右視用映像２１ＲＡを参照する。そして補完部１５は、右視用映像２１ＲＡの全映像領域の中から、右視用映像２１Ｒの欠損領域５０に対応する対応箇所５４を特定する。例えば、欠損領域５０の位置情報に基づいて、欠損領域５０の周囲の映像との相関値が最も高い箇所を右視用映像２１ＲＡの全映像領域内で探索し、その探索結果に基づいて対応箇所５４を特定する。図７の（Ｂ）に示した例では、右視用映像２１ＲＡには欠損領域が生じておらず、欠損領域５０と対応箇所５４との相関値は許容下限値以上となる。
【００４５】
次に補完部１５は、対応箇所５４の映像信号を欠損領域５０にコピーすることにより、対応箇所５４の映像信号によって欠損領域５０を補完する。その結果、図７の（Ｃ）に示すように、欠損領域５０が補完された右視用映像２１Ｒが得られる。
【００４６】
なお、以上の説明では右視用映像２１Ｒの補完について述べたが、左視用映像２１Ｌの補完についても同様である。図７の（Ｂ）に示した例では、補完部１５は、左視用映像２１Ｌのフレームとは異なるフレーム（望ましくは直前のフレーム）の左視用映像２１ＬＡを参照する。そして補完部１５は、左視用映像２１ＬＡの全映像領域の中から、左視用映像２１Ｌの欠損領域５３に対応する対応箇所５５を特定する。図７の（Ｂ）に示した例では、左視用映像２１ＬＡには欠損領域が生じておらず、欠損領域５３と対応箇所５５との相関値は許容下限値以上となる。補完部１５は、対応箇所５５の映像信号を欠損領域５３にコピーすることにより、対応箇所５５の映像信号によって欠損領域５３を補完する。その結果、図７の（Ｃ）に示すように、欠損領域５３が補完された左視用映像２１Ｌが得られる。
【００４７】
このように本実施の形態に係るＳＴＢ４によれば、検出部１４は、左視用映像及び右視用映像の各々の映像の中から、映像信号が欠損している欠損領域を検出する。そして、図３に示したように補完部１５は、あるフレームの右視用映像２１Ｒにおいて検出部１４が欠損領域５０を検出した場合に、そのフレームの左視用映像２１Ｌのうち、欠損領域５０に対応する対応箇所５１の映像信号によって、欠損領域５０を補完する。このように、対を成す左視用映像及び右視用映像のうち、一方の映像に欠損領域が生じた場合には、他方の映像の対応箇所の映像信号を用いて欠損領域を補完することにより、欠損が生じている映像を簡易に補完することができる。その結果、通信エラー等に起因して左視用映像及び右視用映像の一方に欠損が生じた場合であっても、映像を視聴するユーザに与える違和感を軽減することが可能となる。
【００４８】
また、本実施の形態に係るＳＴＢ４によれば、左視用映像に関する通信の優先度は、右視用映像に関する通信の優先度よりも高く設定されている。これにより、優先度が高く設定されている左視用映像２１Ｌにおいては欠損が生じにくい。従って、優先度が低く設定されている右視用映像２１Ｒにおいて欠損領域５０が生じた場合であっても、欠損が生じていない左視用映像２１Ｌの対応箇所５１を用いて、当該欠損領域５０を適切に補完することが可能となる。
【００４９】
また、図５に示した変形例によれば、補完部１５は、対応箇所５２の映像信号を、当該対応箇所５２に関する奥行き情報に基づいて視点変換することにより、変換後の当該映像信号によって欠損領域５０を補完する。その結果、補完された欠損領域に関しても三次元映像として再生できるため、三次元映像の一部に二次元映像が含まれるという事態を回避でき、映像を視聴するユーザに与える違和感をさらに軽減することが可能となる。
【００５０】
また、図６に示した変形例によれば、検出部１４が右視用映像２１Ｒにおいて所定範囲以上の欠損領域５０を検出した場合には、補完部１５は、右視用映像２１Ｒを左視用映像２１Ｌによって差し替える。このように、一方の映像が大きく欠損している場合には、他方の映像の対応箇所を用いて補完するのではなく、一方の映像に代えて他方の映像を表示する。これにより、そのフレームに関しては二次元映像の再生とはなるが、大きな欠損領域を補完することに伴う処理負荷の増大を回避することが可能となる。
【００５１】
また、図６に示した変形例において、奥行き情報に基づいて右視用映像に変換された後の左視用映像２１Ｌによって右視用映像２１Ｒを差し替える場合には、差し替えられた映像に関しても三次元映像として再生できるため、三次元映像の複数のフレームの途中に二次元映像のフレームが含まれるという事態を回避でき、映像を視聴するユーザに与える違和感をさらに軽減することが可能となる。
【００５２】
また、図７に示した変形例によれば、あるフレームの左視用映像２１Ｌ及び右視用映像２１Ｒに関して互いに対応する箇所に欠損領域５０，５３が生じている場合には、そのフレームとは異なるフレーム（例えば直前のフレーム）の対応箇所５４，５５を用いて欠損領域５０，５３を補完する。このように、同一フレームの左視用映像と右視用映像とで相互に欠損領域を補完できない場合には、そのフレームとは異なるフレームを用いることにより、欠損領域を適切に補完することが可能となる。
【００５３】
図３や図５では、左視用映像及び右視用映像の一方に欠損領域が生じた例を示したが、左視用映像と右視用映像とで欠損領域が異なるようなとき等、両方の映像に欠損領域が生じた場合に本発明を適用することも可能である。
【００５４】
本発明を実現するのに、ＣＰＵやＤＳＰ等の演算回路を備える各種機器やコンピュータを上述の映像再生装置の各部として機能させるプログラムを用いることもできるし、専用の集積回路を用いることもできる。
【００５５】
なお、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
【符号の説明】
【００５６】
４  ＳＴＢ
５  テレビ
１４  検出部
１５  補完部
【図１】
2012209804.tif 000003
【図２】
2012209804.tif 000004
【図３】
2012209804.tif 000005
【図４】
2012209804.tif 000006
【図５】
2012209804.tif 000007
【図６】
2012209804.tif 000008
【図７】
2012209804.tif 000009