(57)【特許請求の範囲】
【請求項１】
三次元映像から二次元映像の映像フレームを生成するとともに、上記映像フレーム内の欠損箇所を特定する映像フレーム生成手段と、
上記映像フレーム生成手段により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出するシーンチェンジ検出手段と、
上記映像フレーム生成手段により欠損箇所が特定された映像フレームが存在する場合、上記シーンチェンジ検出手段の検出結果を参照して、上記映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定する複写区間設定手段と、
上記映像フレーム生成手段により生成された映像フレームの中で、上記複写区間設定手段により設定されたフレーム複写区間内の映像フレームを、上記二次元映像と撮影方向が異なる二次元映像から生成された映像フレームに置き換える複写処理を行うフレーム複写手段とを備えたエラーコンシールメント装置。
【請求項２】
三次元映像から二次元映像の映像フレームを生成するとともに、上記映像フレーム内の欠損箇所を特定する映像フレーム生成手段と、
上記三次元映像から上記二次元映像と撮影方向が異なる二次元映像の復元に用いる付加情報データを生成する付加情報データ生成手段と、
上記映像フレーム生成手段により欠損箇所が特定された映像フレームが存在する場合、上記付加情報データ生成手段により生成された付加情報データから輪郭線を抽出し、上記映像フレーム生成手段により欠損箇所が特定された映像フレームの中で、上記輪郭線で区切られている領域を欠損箇所の補填に用いることが可能な領域に指定し、指定の領域内の画素を用いて上記欠損箇所を補填する欠損箇所補填手段とを備えたエラーコンシールメント装置。
【請求項３】
三次元映像から二次元映像の映像フレームを生成する映像フレーム生成手段と、
上記三次元映像から上記二次元映像と撮影方向が異なる二次元映像の復元に用いる付加情報データを生成するとともに、上記付加情報データ内の欠損箇所を特定する付加情報データ生成手段と、
上記付加情報データ生成手段により欠損箇所が特定された付加情報データが存在する場合、上記映像フレーム生成手段により生成された映像フレームから輪郭線を抽出し、上記付加情報データ生成手段により欠損箇所が特定された付加情報データの中で、上記輪郭線で区切られている領域を欠損箇所の補填に用いることが可能な領域に指定し、指定の領域内の付加情報データを用いて上記欠損箇所を補填する欠損箇所補填手段とを備えたエラーコンシールメント装置。
【請求項４】
三次元映像から二次元映像の映像フレームを生成するとともに、上記映像フレーム内の欠損箇所を特定する映像フレーム生成手段と、
上記映像フレーム生成手段により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出するシーンチェンジ検出手段と、
上記シーンチェンジ検出手段の検出結果を参照して、上記映像フレーム生成手段により欠損箇所が特定された映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定する複写区間設定手段と、
上記映像フレーム生成手段により生成された映像フレームの中で、上記複写区間設定手段により設定されたフレーム複写区間内の映像フレームを、上記二次元映像と撮影方向が異なる二次元映像から生成された映像フレームに置き換える複写処理を行うフレーム複写手段と、
上記三次元映像から上記二次元映像と撮影方向が異なる二次元映像の復元に用いる付加情報データを生成するとともに、上記付加情報データ内の欠損箇所を特定する付加情報データ生成手段と、
上記付加情報データ生成手段により生成された付加情報データに応じて、上記映像フレーム生成手段により特定された映像フレーム内の欠損箇所の補填に用いることが可能な上記映像フレーム内の領域を指定し、指定の領域内の画素を用いて上記欠損箇所を補填する第１の欠損箇所補填手段と、
上記映像フレーム生成手段により生成された映像フレームに応じて、上記付加情報データ生成手段により特定された付加情報データ内の欠損箇所の補填に用いることが可能な上記付加情報データ内の領域を指定し、指定の領域内の付加情報データを用いて上記欠損箇所を補填する第２の欠損箇所補填手段と、
上記映像フレーム生成手段により映像フレーム内の欠損箇所が特定されているが、上記付加情報データ生成手段により付加情報データ内の欠損箇所が特定されていない場合、上記第１の欠損箇所補填手段に対して欠損箇所の補填処理を依頼し、上記映像フレーム内の欠損箇所が特定されていないが、上記付加情報データ内の欠損箇所が特定されている場合、上記第２の欠損箇所補填手段に対して欠損箇所の補填処理を依頼し、上記映像フレーム及び上記付加情報データ内の欠損箇所が特定されている場合、上記フレーム複写手段に対して複写処理を依頼する処理依頼手段とを備えたエラーコンシールメント装置。
【請求項５】
上記処理依頼手段は、映像フレーム内の欠損箇所が特定されていないが、付加情報データ内の欠損箇所が特定されている場合、上記付加情報データの欠損率が所定の閾値以内であれば、上記第２の欠損箇所補填手段に対して欠損箇所の補填処理を依頼し、上記欠損率が上記閾値以上であれば、上記フレーム複写手段に対して複写処理を依頼することを特徴とする請求項４記載のエラーコンシールメント装置。
【請求項６】
三次元映像から撮影方向が異なる複数の二次元映像の映像フレームを生成するとともに、上記複数の映像フレーム内の欠損箇所を特定する映像フレーム生成手段と、
上記映像フレーム生成手段により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出するシーンチェンジ検出手段と、
上記映像フレーム生成手段により欠損箇所が特定された映像フレームが存在する場合、上記シーンチェンジ検出手段の検出結果を参照して、上記映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定する複写区間設定手段と、
上記映像フレーム生成手段により生成された映像フレームの中で、上記複写区間設定手段により設定されたフレーム複写区間内の映像フレームを、上記映像フレーム生成手段により撮影方向が異なる二次元映像から生成された映像フレームに置き換える複写処理を行うフレーム複写手段とを備えたエラーコンシールメント装置。
【請求項７】
三次元映像から撮影方向が異なる複数の二次元映像の映像フレームを生成するとともに、上記複数の映像フレーム内の欠損箇所を特定する映像フレーム生成手段と、
上記映像フレーム生成手段により欠損箇所が特定された映像フレームが存在する場合、上記映像フレーム生成手段により特定された複数の映像フレーム内の欠損箇所を重ね合わせるとともに、重ね合わせ処理後に欠損箇所が存在している水平ライン上の非欠損箇所を欠損箇所に変更して欠損箇所を追加し、上記映像フレーム内の欠損箇所を示す欠損情報にしたがって上記映像フレーム生成手段により生成された映像フレームを欠損させる映像補正処理を行う映像補正手段とを備えたエラーコンシールメント装置。
【請求項８】
三次元映像から撮影方向が異なる複数の二次元映像の映像フレームを生成するとともに、上記複数の映像フレーム内の欠損箇所を特定する映像フレーム生成手段と、
上記映像フレーム生成手段により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出するシーンチェンジ検出手段と、
上記シーンチェンジ検出手段の検出結果を参照して、上記映像フレーム生成手段により欠損箇所が特定された映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定する複写区間設定手段と、
上記映像フレーム生成手段により生成された映像フレームの中で、上記複写区間設定手段により設定されたフレーム複写区間内の映像フレームを、上記映像フレーム生成手段により撮影方向が異なる二次元映像から生成された映像フレームに置き換える複写処理を行うフレーム複写手段と、
上記映像フレーム生成手段により特定された複数の映像フレーム内の欠損箇所を重ね合わせるとともに、重ね合わせ処理後に欠損箇所が存在している水平ライン上の非欠損箇所を欠損箇所に変更して欠損箇所を追加し、上記映像フレーム内の欠損箇所を示す欠損情報にしたがって上記映像フレーム生成手段により生成された映像フレームを欠損させる映像補正処理を行う映像補正手段と、
上記映像フレーム生成手段により特定された映像フレーム内の欠損箇所の目立ち易さの度合を算出し、その目立ち易さの度合が所定の閾値以内であれば、上記映像補正手段に対して映像補正処理を依頼し、その目立ち易さの度合が上記閾値以上であれば、上記フレーム複写手段に対して複写処理を依頼する処理依頼手段とを備えたエラーコンシールメント装置。
【請求項９】
上記処理依頼手段は、欠損箇所の大きさ及び位置から目立ち易さの度合を算出することを特徴とする請求項８記載のエラーコンシールメント装置。
【請求項１０】
上記処理依頼手段は、欠損箇所の周辺の動きベクトルから目立ち易さの度合を算出することを特徴とする請求項８記載のエラーコンシールメント装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、三次元映像を含むＲＴＰパケットの伝送中の損失や遅延に伴って、一部の三次元映像が欠損したときに、その欠損箇所を補填することで、三次元映像の画質を高めるエラーコンシールメント装置に関するものである。
【背景技術】
【０００２】
近年、三次元映像を表示することが可能なテレビの普及が進んでいる。
また、ＩＰネットワーク上での映像配信など、リアルタイムに映像通信を行うサービスの普及も進んでいる。
ただし、ＩＰネットワークは、ベストエフォート型のネットワークであり、ネットワークの伝送品質が保証されていないため、パケットの転送遅延や損失が発生することがある。
したがって、三次元映像をＩＰネットワーク上で配信するなどの場合には、三次元映像の一部が欠損して、三次元映像の画質が低下する現象が発生する。このため、三次元映像の画質を高めるには、三次元映像の欠損箇所を補填するエラーコンシールメント技術が必要となる。
【０００３】
エラーコンシールメント技術として、エラーの発生箇所に対して、ブロック単位で、他ブロックの映像データや、同じ映像の近傍の画素情報を参照して、疑似データを作成する方法や、エラーが発生しているブロックを特定の色で埋める方法などが挙げられる（例えば、特許文献１を参照）。
しかし、これらのエラーコンシールメント技術は、二次元映像を対象としており、複数の方向から撮影されることで得られる三次元映像の欠損箇所を補填するものとしては十分でない。
【０００４】
以下の特許文献２，３には、三次元映像に対してエラーコンシールメントを行うエラーコンシールメント装置が開示されている。
即ち、特許文献２には、映像データの特定領域でエラーが発生している場合、映像領域単位で、エラーが発生している映像データの代わりに、他の方向から撮影された映像データを補填する技術が開示されている。
また、特許文献３には、映像データの特定領域でエラーが発生している場合、配信映像に含まれている視差ベクトルによって視差補償した映像データで、エラーが発生している映像データを修復することで、三次元映像に対してエラーコンシールメントを行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−３０９３８８号公報
【特許文献２】特開平７−３２２３０２号公報
【特許文献３】特開２００３−３１９４１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来のエラーコンシールメント装置は以上のように構成されているので、エラーが発生している映像データの修復等が行われる。しかし、三次元映像に対するエラーコンシールメントの実行タイミングを制御していないため、エラーコンシールメントの実行に伴って、三次元映像に急激な視差変化が発生して、画質が劣化してしまうことがある課題があった。
また、他の方向から撮影された映像データを補填する際、補填に使用することが可能なデータの領域に制限を設けていないため、エラーコンシールメントの実行に伴って、画質が劣化してしまうことがあるという課題があった。
さらに、エラーが発生している映像データの代わりに、他の方向から撮影された映像データを補填する際、水平方向の視差に対するずれを補正していないため、エラーコンシールメントの実行に伴って、画質が劣化してしまうことがあるという課題があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、欠損が発生している三次元映像の画質を高めることができるエラーコンシールメント装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係るエラーコンシールメント装置は、三次元映像から二次元映像の映像フレームを生成するとともに、その映像フレーム内の欠損箇所を特定する映像フレーム生成手段と、映像フレーム生成手段により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出するシーンチェンジ検出手段と、映像フレーム生成手段により欠損箇所が特定された映像フレームが存在する場合、シーンチェンジ検出手段の検出結果を参照して、その映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定する複写区間設定手段とを設け、フレーム複写手段が、映像フレーム生成手段により生成された映像フレームの中で、複写区間設定手段により設定されたフレーム複写区間内の映像フレームを、上記二次元映像と撮影方向が異なる二次元映像から生成された映像フレームに置き換える複写処理を行うようにしたものである。
【発明の効果】
【０００９】
この発明によれば、三次元映像から二次元映像の映像フレームを生成するとともに、その映像フレーム内の欠損箇所を特定する映像フレーム生成手段と、映像フレーム生成手段により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出するシーンチェンジ検出手段と、映像フレーム生成手段により欠損箇所が特定された映像フレームが存在する場合、シーンチェンジ検出手段の検出結果を参照して、その映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定する複写区間設定手段とを設け、フレーム複写手段が、映像フレーム生成手段により生成された映像フレームの中で、複写区間設定手段により設定されたフレーム複写区間内の映像フレームを、上記二次元映像と撮影方向が異なる二次元映像から生成された映像フレームに置き換える複写処理を行うように構成したので、欠損が発生している三次元映像の画質を高めることができる効果がある。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１による三次元映像の配信システムを示す構成図である。
【図２】この発明の実施の形態１によるエラーコンシールメント装置１２を実装している映像受信端末６を示す構成図である。
【図３】出力制御部１６の管理テーブルを示す説明図である。
【図４】フレーム複写区間に設定される映像フレームを示す説明図である。
【図５】この発明の実施の形態１によるエラーコンシールメント装置１２の出力制御部１６の処理内容を示すフローチャートである。
【図６】二次元映像補正部１８による二次元映像フレーム内の欠損箇所の補填処理を示す説明図である。
【図７】この発明の実施の形態１によるエラーコンシールメント装置１２の二次元映像補正部１８の処理内容を示すフローチャートである。
【図８】付加情報補正部１９による付加情報データ内の欠損箇所の補填処理を示す説明図である。
【図９】この発明の実施の形態１によるエラーコンシールメント装置１２の付加情報補正部１９の処理内容を示すフローチャートである。
【図１０】この発明の実施の形態２によるエラーコンシールメント装置１２を実装している映像受信端末６を示す構成図である。
【図１１】出力制御部３２の管理テーブルを示す説明図である。
【図１２】この発明の実施の形態２によるエラーコンシールメント装置１２の出力制御部３２の処理内容を示すフローチャートである。
【図１３】映像補正部３４による映像フレーム内の欠損箇所の補填処理を示す説明図である。
【図１４】この発明の実施の形態２によるエラーコンシールメント装置１２の映像補正部３４の処理内容を示すフローチャートである。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１はこの発明の実施の形態１による三次元映像の配信システムを示す構成図である。
図１において、映像ストレージ１は三次元映像を保管している記憶装置である。
映像配信サーバ２は映像ストレージ１に保管されている三次元映像を取得して、その三次元映像をＲＴＰパケット化し、トランスポートプロトコルとしてＵＤＰを使用することで、その三次元映像を含むＲＴＰパケットを配信する装置である。
三次元映像は、被写体を複数の方向から撮影することで得られている撮影方向毎の映像データが符号化されているものである。
この実施の形態１では、三次元映像の撮影方向が、人間の右目に対応する方向と、左目に対応する方向の二方向であるとして説明する。
人間は、右目映像と左目映像を提示されると、両眼視差によって三次元の知覚の手がかりを得ることが知られている。ただし、撮影方向を二方向に限定するものではなく、多方向の場合であってもよい。
【００１２】
また、この実施の形態１では、映像配信サーバ２が三次元映像を配信する際、その三次元映像を右目映像又は左目映像のいずれか一方の二次元映像に変換するとともに、その三次元映像を付加情報に変換し（右目映像から左目映像（または、左目映像から右目映像）を復元する際に用いる情報であり、例えば、二次元映像に対する奥行き情報や視差ベクトル、または、二次元映像からもう一方の映像に対する差分情報が該当する）、三次元映像として、いずれか一方の二次元映像と付加情報を配信する。
なお、二次元映像は、例えば、ＭＰＥＧ２やＨ．２６４／ＡＶＣなどによって符号化されていてもよい。また、付加情報も、例えば、算術符号化などによって符号化されていてもよい。
【００１３】
外部ネットワーク３は映像配信サーバ２とホームゲートウェイ装置４を接続しているインターネットやＬＡＮなどのネットワークである。
ホームゲートウェイ装置４は宅内に設置されて、光ファイバや電話回線を通じて、外部ネットワーク３と接続されており、映像配信サーバ２から配信された三次元映像を含むＲＴＰパケットを映像受信端末６に転送する装置である。
ホームネットワーク５はホームゲートウェイ装置４と映像受信端末６を接続しているＬＡＮなどの宅内のネットワークである。
【００１４】
映像受信端末６はホームゲートウェイ装置４により転送された三次元映像を含むＲＴＰパケットを受信し、その三次元映像に欠損箇所があれば、その欠損箇所を補填するエラーコンシールメント処理を実施するエラーコンシールメント装置１１（図２を参照）を実装している。
三次元映像対応テレビ７は映像入出力インタフェース（図示せず）を介して映像受信端末６と接続されており、映像受信端末６から出力された右目映像と左目映像を画面に表示することで、三次元映像を再生するテレビである。
【００１５】
図２はこの発明の実施の形態１によるエラーコンシールメント装置１２を実装している映像受信端末６を示す構成図である。
図２において、ストリーム受信部１１はホームゲートウェイ装置４により転送された三次元映像を含むＲＴＰパケットを受信し、そのＲＴＰパケットに含まれている三次元映像から二次元映像（右目映像の二次元映像、または、左目映像の二次元映像）を分離して、その二次元映像をエラーコンシールメント装置１２の二次元映像デコーダ１３に出力するとともに、その三次元映像から付加情報（例えば、右目映像の二次元映像を分離している場合、左目映像の二次元映像の復元に用いる情報、左目映像の二次元映像を分離している場合、右目映像の二次元映像の復元に用いる情報）を分離して、その付加情報をエラーコンシールメント装置１２の付加情報デコーダ１５に出力する処理を実施する。
【００１６】
エラーコンシールメント装置１２の二次元映像デコーダ１３はストリーム受信部１１から出力された二次元映像をデコードして、その二次元映像の映像フレーム（以下、「二次元映像フレーム」と称する）を生成するとともに、その二次元映像フレーム内の欠損箇所を特定する処理を実施する。
ここで、二次元映像フレーム内の欠損箇所は、二次元映像フレームの中で、どの位置に、どれだけの大きさの欠損があるかを示す情報である。二次元映像が、例えば、ＭＰＥＧ２やＨ．２６４／ＡＶＣなどによって符号化されている場合は、マクロブロックの位置によって欠損箇所を特定してもよい。
なお、二次元映像デコーダ１３は映像フレーム生成手段を構成している。
【００１７】
シーンチェンジ検出部１４は二次元映像デコーダ１３により生成された二次元映像フレームの中で、シーンチェンジが発生している二次元映像フレームを検出する処理を実施する。なお、シーンチェンジ検出部１４はシーンチェンジ検出手段を構成している。
付加情報デコーダ１５はストリーム受信部１１から出力された付加情報をデコードして、１枚の二次元映像フレームに対応する付加情報データを生成するとともに、その付加情報データ内の欠損箇所を特定する処理を実施する。
ここで、付加情報データ内の欠損箇所は、付加情報データの中で、どの位置に、どれだけの大きさの欠損があるかを示す情報である。
なお、付加情報デコーダ１５は付加情報データ生成手段を構成している。
【００１８】
出力制御部１６は処理を依頼する処理部を判定する処理（振り分け処理）を実施する。
即ち、出力制御部１６は二次元映像デコーダ１３により二次元映像フレーム内の欠損箇所が特定されているが、付加情報デコーダ１５により付加情報データ内の欠損箇所が特定されていない場合、二次元映像フレーム内の欠損箇所の補填処理を二次元映像補正部１８に依頼する。
また、出力制御部１６は二次元映像デコーダ１３により二次元映像フレーム内の欠損箇所が特定されていないが、付加情報デコーダ１５により付加情報データ内の欠損箇所が特定されている場合、付加情報データ内の欠損箇所の補填処理を付加情報補正部１９に依頼する。
【００１９】
また、出力制御部１６は二次元映像デコーダ１３により二次元映像フレーム内の欠損箇所が特定されており、かつ、付加情報デコーダ１５により付加情報データ内の欠損箇所が特定されている場合、二次元映像フレームの複写処理をフレーム複写部１７に依頼する。
出力制御部１６は二次元映像フレームの複写処理をフレーム複写部１７に依頼する際、シーンチェンジ検出部１４の検出結果を参照して、二次元映像デコーダ１３により欠損箇所が特定された二次元映像フレームより時間的に前方及び後方の二次元映像フレームの中で、シーンチェンジが発生している二次元映像フレームを特定し、シーンチェンジが発生している前方の二次元映像フレームからシーンチェンジが発生している後方の二次元映像フレームまでの区間をフレーム複写区間に設定し、そのフレーム複写区間をフレーム複写部１７に通知する。
【００２０】
さらに、出力制御部１６は二次元映像デコーダ１３及び付加情報デコーダ１５により欠損箇所が特定されない場合、二次元映像デコーダ１３により生成された二次元映像フレーム及び付加情報デコーダ１５により生成された付加情報データを左右映像生成部２０に出力する。
なお、出力制御部１６は複写区間設定手段及び処理依頼手段を構成している。
【００２１】
フレーム複写部１７は出力制御部１６から複写処理の依頼を受けると、出力制御部１６から出力されたフレーム複写区間内の映像フレームを、当該二次元映像と撮影方向が異なる二次元映像から生成された二次元映像フレームに置き換える複写処理を行う。
即ち、フレーム複写部１７は二次元映像フレームを複写することで、右目映像と左目映像の対を生成し（右目映像と左目映像は同一の映像フレームになる）、その右目映像と左目映像の対を映像出力部２１に出力する。
なお、フレーム複写部１７はフレーム複写手段を構成している。
【００２２】
二次元映像補正部１８は出力制御部１６から欠損箇所の補填処理の依頼を受けると、付加情報デコーダ１５により生成された付加情報データに応じて、二次元映像デコーダ１３により生成された二次元映像フレーム内の欠損箇所の補填に用いることが可能な二次元映像フレーム内の領域を指定する処理を実施する。
また、二次元映像補正部１８は指定の領域内の画素を用いて、二次元映像フレーム内の欠損箇所を補填する処理を実施する。
なお、二次元映像補正部１８は第１の欠損箇所補填手段を構成している。
【００２３】
付加情報補正部１９は出力制御部１６から欠損箇所の補填処理の依頼を受けると、二次元映像デコーダ１３により生成された二次元映像フレームに応じて、付加情報デコーダ１５により生成された付加情報データ内の欠損箇所の補填に用いることが可能な付加情報データ内の領域を指定する処理を実施する。
また、付加情報補正部１９は指定の領域内の付加情報データを用いて、付加情報データ内の欠損箇所を補填する処理を実施する。
なお、付加情報補正部１９は第２の欠損箇所補填手段を構成している。
【００２４】
左右映像生成部２０は出力制御部１６から出力された二次元映像フレーム及び付加情報データ、二次元映像補正部１８から出力された補正後の二次元映像フレーム及び付加情報データ、あるいは、付加情報補正部１９から出力された二次元映像フレーム及び補正後の付加情報データを用いて、その二次元映像フレームに係る二次元映像と撮影方向が異なる二次元映像の二次元映像フレームを生成し、２つの二次元映像フレームを右目映像と左目映像の対として、映像出力部２１に出力する処理を実施する。
ただし、フレーム複写部１７から右目映像と左目映像の対が出力されている場合には、その右目映像と左目映像の対を映像出力部２１に出力する。
映像出力部２１は映像入出力インタフェース（図示せず）を介して、右目映像と左目映像の対を三次元映像対応テレビ７に出力する処理を実施する。
【００２５】
図２の例では、エラーコンシールメント装置１２の構成要素である二次元映像デコーダ１３、シーンチェンジ検出部１４、付加情報デコーダ１５、出力制御部１６、フレーム複写部１７、二次元映像補正部１８及び付加情報補正部１９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、エラーコンシールメント装置１２がコンピュータなどで構成される場合、二次元映像デコーダ１３、シーンチェンジ検出部１４、付加情報デコーダ１５、出力制御部１６、フレーム複写部１７、二次元映像補正部１８及び付加情報補正部１９の処理内容の全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００２６】
図５はこの発明の実施の形態１によるエラーコンシールメント装置１２の出力制御部１６の処理内容を示すフローチャートである。
図７はこの発明の実施の形態１によるエラーコンシールメント装置１２の二次元映像補正部１８の処理内容を示すフローチャートである。
図９はこの発明の実施の形態１によるエラーコンシールメント装置１２の付加情報補正部１９の処理内容を示すフローチャートである。
【００２７】
次に動作について説明する。
まず、映像配信サーバ２は、映像ストレージ１に保管されている三次元映像を取得して、その三次元映像をＲＴＰパケット化し、トランスポートプロトコルとしてＵＤＰを使用することで、その三次元映像を含むＲＴＰパケットを外部ネットワーク３経由でホームゲートウェイ装置４に配信する。
この実施の形態１では、説明の便宜上、三次元映像として、右目映像の二次元映像と付加情報（右目映像から左目映像を復元する際に用いる情報）を配信するものとする。
【００２８】
ホームゲートウェイ装置４は、映像配信サーバ２から配信された三次元映像を含むＲＴＰパケットを受信すると、そのＲＴＰパケットをホームネットワーク５経由で映像受信端末６に転送する。
映像受信端末６は、ホームゲートウェイ装置４により転送された三次元映像を含むＲＴＰパケットを受信し、その三次元映像から右目映像と左目映像の対を生成し、その右目映像と左目映像の対を三次元映像対応テレビ７に出力する。
ただし、映像受信端末６は、その三次元映像に欠損箇所があれば、その欠損箇所を補填してから右目映像と左目映像の対を生成し、その右目映像と左目映像の対を三次元映像対応テレビ７に出力する。
【００２９】
以下、映像受信端末６の処理内容を具体的に説明する。
ストリーム受信部１１は、ホームゲートウェイ装置４により転送された三次元映像を含むＲＴＰパケットを受信し、そのＲＴＰパケットに含まれている三次元映像から右目映像の二次元映像を分離して、その二次元映像をエラーコンシールメント装置１２の二次元映像デコーダ１３に出力する。
また、ストリーム受信部１１は、そのＲＴＰパケットに含まれている三次元映像から付加情報を分離して、その付加情報をエラーコンシールメント装置１２の付加情報デコーダ１５に出力する。
【００３０】
二次元映像デコーダ１３は、ストリーム受信部１１から右目映像の二次元映像を受けると、その二次元映像をデコードして、その二次元映像の映像フレームである二次元映像フレームを生成し、その二次元映像フレームをシーンチェンジ検出部１４及び出力制御部１６に出力する。
また、二次元映像デコーダ１３は、その二次元映像をデコードする際、その二次元映像フレーム内の欠損箇所を特定する処理を実施する。
二次元映像フレーム内の欠損箇所は、二次元映像フレームの中で、どの位置に、どれだけの大きさの欠損があるかを示す情報である。
【００３１】
シーンチェンジ検出部１４は、二次元映像デコーダ１３から二次元映像フレームを受けると、例えば、前後の二次元映像フレームを比較することで、二次元映像デコーダ１３により生成された二次元映像フレームの中で、シーンチェンジが発生している二次元映像フレームを検出し、その検出結果を出力制御部１６に通知する。
【００３２】
付加情報デコーダ１５は、ストリーム受信部１１から付加情報を受けると、その付加情報をデコードして、１枚の二次元映像フレームに対応する付加情報データを生成し、その付加情報データを出力制御部１６に出力する。
また、付加情報デコーダ１５は、その付加情報をデコードする際、その付加情報データ内の欠損箇所を特定する処理を実施する。
ここで、付加情報データ内の欠損箇所は、付加情報データの中で、どの位置に、どれだけの大きさの欠損があるかを示す情報である。
【００３３】
出力制御部１６は、図３に示すような管理テーブルを備えており、各種の情報を管理テーブルに格納して管理している。
即ち、出力制御部１６は、二次元映像デコーダ１３から出力された二次元映像フレームを“二次元映像フレームＢ１”として管理し、二次元映像デコーダ１３から出力された二次元映像フレーム内の欠損箇所を“欠損箇所Ｃ１”として管理する。
また、出力制御部１６は、付加情報デコーダ１５から出力された付加情報データを“付加情報データＤ１”として管理し、付加情報デコーダ１５から出力された付加情報データ内の欠損箇所を“欠損箇所Ｅ１”として管理する。
また、出力制御部１６は、シーンチェンジ検出部１４によりシーンチェンジが検出された二次元映像フレームを示すマーキング情報を“シーンチェンジ種別Ｆ１”として管理する。
さらに、出力制御部１６は、処理を依頼する処理部の判定結果を“振り分け種別Ｇ１”として管理し、二次元映像デコーダ１３から出力される二次元映像フレームの識別情報を“シーケンス番号Ａ１”として管理する。なお、シーケンス番号Ａ１は、二次元映像デコーダ１３からの出力順が先の二次元映像フレームから順番に小さい番号が割り当てられる。
【００３４】
出力制御部１６は、図３の管理テーブル内に、シーケンス番号Ａ１の二次元映像フレーム内の欠損箇所Ｃ１と、付加情報データ内の欠損箇所Ｅ１の双方が格納されていない場合、三次元映像に欠損が発生することなく正常に受信されており、三次元映像に対するエラーコンシールメントを行う必要がないので、振り分け種別Ｇ１を“左右映像生成”に設定する。
出力制御部１６は、図３の管理テーブル内に、シーケンス番号Ａ１の二次元映像フレーム内の欠損箇所Ｃ１が格納されているが、付加情報データ内の欠損箇所Ｅ１が格納されていない場合、付加情報データには欠損が発生していないが、二次元映像フレームには欠損が発生しており、二次元映像フレームを補正する必要があるので、振り分け種別Ｇ１を“二次元映像補正”に設定する。
【００３５】
出力制御部１６は、図３の管理テーブル内に、シーケンス番号Ａ１の二次元映像フレーム内の欠損箇所Ｃ１が格納されていないが、付加情報データ内の欠損箇所Ｅ１が格納されている場合、二次元映像フレームには欠損が発生していないが、付加情報データには欠損が発生しており、付加情報データを補正する必要があるので、振り分け種別Ｇ１を“付加情報補正”に設定する（詳細は後述するが、付加情報データの欠損率が大きく、付加情報データを補正することができない場合には、振り分け種別Ｇ１を“フレーム複写”に設定する）。
出力制御部１６は、図３の管理テーブル内に、シーケンス番号Ａ１の二次元映像フレーム内の欠損箇所Ｃ１が格納されており、かつ、付加情報データ内の欠損箇所Ｅ１が格納されている場合、あるいは、二次元映像フレーム内の欠損箇所Ｃ１が格納されていないが、付加情報データの欠損率が大きい場合、振り分け種別Ｇ１を“フレーム複写”に設定する。
【００３６】
出力制御部１６は、振り分け種別Ｇ１を“フレーム複写”に設定する場合、図４に示すように、シーンチェンジ検出部１４の検出結果を参照して、シーケンス番号Ａ１の二次元映像フレームより時間的に前方及び後方の二次元映像フレームの中で、シーンチェンジが発生している二次元映像フレームを特定する。
出力制御部１６は、シーンチェンジが発生している前方の二次元映像フレームからシーンチェンジが発生している後方の二次元映像フレームまでの区間をフレーム複写区間に設定し、そのフレーム複写区間をフレーム複写部１７に通知する。
【００３７】
即ち、出力制御部１６は、振り分け種別Ｇ１を“フレーム複写”に設定する場合、既に、バッファ（図示せず）に格納されている二次元映像フレーム（シーケンス番号Ａ１の二次元映像フレームより時間的に前方の二次元映像フレーム）の中で、格納順が新しい二次元映像フレームから順番に参照して、シーンチェンジ種別Ｆ１がマークされている二次元映像フレームがあるまで、参照している二次元映像フレームの振り分け種別Ｇ１を“フレーム複写”に変更する。仮に、バッファ内にシーンチェンジ種別Ｆ１がマークされている二次元映像フレームが存在しない場合、バッファ内の全ての二次元映像フレームの振り分け種別Ｇ１を“フレーム複写”に変更するようにしてもよいし、バッファ内の全ての二次元映像フレームの振り分け種別Ｇ１を変更しないようにしてもよい。
また、次に処理する二次元映像フレーム（シーケンス番号Ａ１の二次元映像フレームより時間的に後方の二次元映像フレーム）については、シーンチェンジ種別Ｆ１がマークされているものが現れるまで、振り分け種別Ｇ１を“フレーム複写”に設定する。
【００３８】
このように、出力制御部１６がフレーム複写区間を設定している理由は、二次元映像フレームの複写処理の実施に伴う画質の劣化を抑制するためである。
即ち、後述するフレーム複写部１７が、二次元映像フレームの複写処理を実施することで、右目映像と左目映像の対を生成すると、三次元映像対応テレビ７に表示される映像が二次元映像として人間に知覚される。このため、人間が三次元を知覚している状態から二次元を知覚する状態に変化し（急激に視差変化が発生する）、この視差変化によって人間が感じる画質が劣化する。
二次元映像フレームの複写処理を実施するタイミングをシーンチェンジが発生しているタイミングと合わせれば、同一シーン内での突然の視差変化の発生を防止して、三次元映像の画質を向上することができる。
【００３９】
以下、図５を参照しながら、出力制御部１６の振り分け処理を具体的に説明する。
まず、出力制御部１６は、図３の管理テーブル内にシーンチェンジ種別Ｆ１が格納されているか否かを判定する（ステップＳＴ１）。
即ち、出力制御部１６は、シーケンス番号Ａ１の二次元映像フレームが、シーンチェンジが発生している二次元映像フレームであるか否かを判定する。
出力制御部１６は、図３の管理テーブル内にシーンチェンジ種別Ｆ１が格納されている場合、フレーム複写判定フラグがＯＮであるか否かを判定し（ステップＳＴ２）、フレーム複写判定フラグがＯＮであれば、そのフレーム複写判定フラグをＯＦＦに設定する（ステップＳＴ３）。
ここで、フレーム複写判定フラグは、次に処理する二次元映像フレームの振り分け種別Ｇ１に対して、“フレーム複写”を設定するか否かを判定する際に用いるフラグである。
【００４０】
出力制御部１６は、図３の管理テーブル内にシーンチェンジ種別Ｆ１が格納されていない場合、フレーム複写判定フラグがＯＮであるか否かを判定し（ステップＳＴ４）、フレーム複写判定フラグがＯＮであれば、振り分け種別Ｇ１を“フレーム複写”に設定する（ステップＳＴ５）。
【００４１】
出力制御部１６は、フレーム複写判定フラグがＯＦＦである場合、図３の管理テーブル内に、二次元映像フレーム内の欠損箇所Ｃ１が格納されているか否かを判定する（ステップＳＴ６）。
即ち、出力制御部１６は、シーケンス番号Ａ１の二次元映像フレーム内に欠損箇所があるか否かを判定する。
出力制御部１６は、シーケンス番号Ａ１の二次元映像フレーム内に欠損箇所がある場合、図３の管理テーブル内に、付加情報データ内の欠損箇所Ｅ１が格納されているか否かを判定する（ステップＳＴ７）。
即ち、出力制御部１６は、シーケンス番号Ａ１の付加情報データ内に欠損箇所があるか否かを判定する。
出力制御部１６は、付加情報データ内に欠損箇所がない場合、二次元映像フレームを補正するために、振り分け種別Ｇ１を“二次元映像補正”に設定する（ステップＳＴ８）。
【００４２】
出力制御部１６は、シーケンス番号Ａ１の二次元映像フレーム内に欠損箇所がない場合、図３の管理テーブル内に、付加情報データ内の欠損箇所Ｅ１が格納されているか否かを判定する（ステップＳＴ９）。
即ち、出力制御部１６は、シーケンス番号Ａ１の付加情報データ内に欠損箇所があるか否かを判定する。
出力制御部１６は、付加情報データ内に欠損箇所がない場合、三次元映像に対するエラーコンシールメントを行う必要がないので、振り分け種別Ｇ１を“左右映像生成”に設定する（ステップＳＴ１０）。
【００４３】
出力制御部１６は、付加情報データ内に欠損箇所がある場合、付加情報データ内の欠損箇所Ｅ１から付加情報データの欠損率を算出する（ステップＳＴ１１）。ここで、欠損率は、付加情報データの全体に対する欠損箇所の割合である。
出力制御部１６は、付加情報データの欠損率を所定の閾値と比較し（ステップＳＴ１２）、その付加情報データの欠損率が閾値以内であれば、その付加情報データの補正が可能であるため、振り分け種別Ｇ１を“付加情報補正”に設定する（ステップＳＴ１３）。
【００４４】
出力制御部１６は、その付加情報データの欠損率が閾値を超えている場合、あるいは、二次元映像フレームと付加情報データ内の双方に欠損箇所がある場合、フレーム複写判定フラグをＯＮに設定して（ステップＳＴ１４）、振り分け種別Ｇ１を“フレーム複写”に設定する（ステップＳＴ１５）。
出力制御部１６は、シーケンス番号Ａ１の値から１を減じて（ステップＳＴ１６）、時間的に１つ前の二次元映像フレームが、シーンチェンジが発生している二次元映像フレームであるか否かを判定する。あるいは、時間的に１つ前の二次元映像フレームが、バッファ内の最後の二次元映像フレームであるか否かを判定する（ステップＳＴ１７）。
時間的に１つ前の二次元映像フレームが、シーンチェンジが発生している二次元映像フレームでもなく、バッファ内の最後の二次元映像フレームでもない場合、ステップＳＴ１５の処理に戻り、ステップＳＴ１５〜ＳＴ１７の処理が繰り返し実施される。
これにより、フレーム複写区間内の二次元映像フレームの振り分け種別Ｇ１が“フレーム複写”に設定される。
【００４５】
図５では、“フレーム複写”の判定を実施した場合、バッファ内にシーンチェンジ種別Ｆ１がマークされている二次元映像フレームがなければ、バッファ内の全ての二次元映像フレームの振り分け種別Ｇ１を“フレーム複写”に変更する例を記載している。
【００４６】
フレーム複写部１７は、出力制御部１６の管理テーブルに格納されている振り分け種別Ｇ１が“フレーム複写”であれば、出力制御部１６から複写処理の依頼を受けていると判断し、出力制御部１６の管理テーブルに格納されているシーケンス番号Ａ１の二次元映像フレームＢ１及び付加情報データＤ１を取得する。
フレーム複写部１７は、二次元映像フレームＢ１と付加情報データＤ１を取得すると、その二次元映像フレームＢ１と付加情報データＤ１から、二次元映像フレームＢ１に係る二次元映像（右目映像の二次元映像）と撮影方向が異なる二次元映像（左目映像の二次元映像）の二次元映像フレームを生成し、その二次元映像フレームを二次元映像フレームＢ１に複写する（右目映像を左目映像と同じ映像フレームにする）。
フレーム複写部１７は、二次元映像フレームの複写処理を行うことで、右目映像と左目映像の対を生成すると、その右目映像と左目映像の対を映像出力部２１に出力する。
【００４７】
二次元映像補正部１８は、出力制御部１６の管理テーブルに格納されている振り分け種別Ｇ１が“二次元映像補正”であれば、出力制御部１６から欠損箇所の補填処理の依頼を受けていると判断し、出力制御部１６の管理テーブルに格納されているシーケンス番号Ａ１の二次元映像フレームＢ１、二次元映像フレーム内の欠損箇所Ｃ１及び付加情報データＤ１を取得する。
二次元映像補正部１８は、二次元映像フレームＢ１、二次元映像フレーム内の欠損箇所Ｃ１及び付加情報データＤ１を取得すると、その付加情報データＤ１に応じて、その二次元映像フレーム内の欠損箇所Ｃ１の補填に用いることが可能な二次元映像フレーム内の領域を指定する。
そして、二次元映像補正部１８は、指定の領域内の画素を用いて、二次元映像フレーム内の欠損箇所Ｃ１を補填する。
【００４８】
図６は二次元映像補正部１８による二次元映像フレーム内の欠損箇所の補填処理を示す説明図である。
図６において、付加情報データは、パラメータとその位置が二次元配列の数値として表現されているものとする。図６では、説明のためにパラメータの数値の大きさを濃淡で表現している。
以下、図６及び図７を参照しながら、二次元映像補正部１８の補填処理を具体的に説明する。
【００４９】
二次元映像補正部１８は、出力制御部１６の管理テーブルに格納されている振り分け種別Ｇ１が“二次元映像補正”であれば、出力制御部１６の管理テーブルに格納されているシーケンス番号Ａ１の二次元映像フレームＢ１、二次元映像フレーム内の欠損箇所Ｃ１及び付加情報データＤ１を取得し、その付加情報データＤ１から輪郭線を抽出する（ステップＳＴ２１）。
例えば、付加情報データが奥行き情報であり、奥行きの大きさと位置が二次元配列の数値で表現されているとすれば、隣接する配列の要素間で、数値の差異が一定以上の大きさである箇所をエッジ点として、これらのエッジ点を結んだものを輪郭線とすることができる。
【００５０】
二次元映像補正部１８は、付加情報データＤ１から輪郭線を抽出すると、その輪郭線を用いて、二次元映像フレームＢ１の領域を分割する（ステップＳＴ２２）。
二次元映像補正部１８は、二次元映像フレームＢ１の領域を分割すると、二次元映像フレーム内に欠損箇所Ｃ１が存在していれば（ステップＳＴ２３）、二次元映像フレームＢ１における複数の分割領域の中で、その欠損箇所Ｃ１が属している分割領域を特定し、当該分割領域を欠損箇所の補填に用いることが可能な領域に指定する（ステップＳＴ２４）。
図６の例では、二次元映像フレーム内の欠損箇所Ｃ１が、輪郭線で囲まれている円の外側と内側に跨っているので、円の外側に存在している欠損箇所Ｃ１の部分は、円の外側の分割領域を欠損箇所の補填に用いることが可能な領域に指定し、円の内側に存在している欠損箇所Ｃ１の部分は、円の内側の分割領域を欠損箇所の補填に用いることが可能な領域に指定する。
【００５１】
二次元映像補正部１８は、欠損箇所Ｃ１が属している分割領域を特定すると、その分割領域内の画素の中で、欠損箇所Ｃ１内の画素と最も近い位置に存在している画素を複写対象画素に選択し、その複写対象画素を欠損箇所Ｃ１内の画素に複写する（ステップＳＴ２５）。
図６の例では、欠損箇所Ｃ１内の画素が、輪郭線で囲まれている円の内側の分割領域内の画素のうち、欠損箇所Ｃ１の下側に存在している画素によって複写されている様子を示している。
このように、複写対象画素の選択について、輪郭線によって分割される二次元映像フレーム上の領域に対する制約が設けられ、欠損箇所Ｃ１が存在している分割領域内の画素が複写対象画素に選択される。
これにより、輪郭線を越えている位置の画素が複写されることがなく、欠損箇所に近い画素で復元されるため、三次元映像の画質を高めることができる。
欠損箇所Ｃ１内の全ての画素に対する複写処理が完了すると、二次元映像補正部１８の処理が終了する。
【００５２】
付加情報補正部１９は、出力制御部１６の管理テーブルに格納されている振り分け種別Ｇ１が“付加情報補正”であれば、出力制御部１６から欠損箇所の補填処理の依頼を受けていると判断し、出力制御部１６の管理テーブルに格納されているシーケンス番号Ａ１の二次元映像フレームＢ１、付加情報データＤ１及び付加情報データ内の欠損箇所Ｅ１を取得する。
付加情報補正部１９は、二次元映像フレームＢ１、付加情報データＤ１及び付加情報データ内の欠損箇所Ｅ１を取得すると、その二次元映像フレームＢ１に応じて、その付加情報データ内の欠損箇所Ｅ１の補填に用いることが可能な付加情報データ内の領域を指定する。
そして、付加情報補正部１９は、指定の領域内の付加情報データを用いて、付加情報データ内の欠損箇所Ｅ１を補填する。
【００５３】
図８は付加情報補正部１９による付加情報データ内の欠損箇所の補填処理を示す説明図である。
図８において、付加情報データは、パラメータとその位置が二次元配列の数値として表現されているものとする。図８では、説明のためにパラメータの数値の大きさを濃淡で表現している。
以下、図８及び図９を参照しながら、付加情報補正部１９の補填処理を具体的に説明する。
【００５４】
付加情報補正部１９は、出力制御部１６の管理テーブルに格納されている振り分け種別Ｇ１が“付加情報補正”であれば、出力制御部１６の管理テーブルに格納されている出力制御部１６の管理テーブルに格納されているシーケンス番号Ａ１の二次元映像フレームＢ１、付加情報データＤ１及び付加情報データ内の欠損箇所Ｅ１を取得し、その二次元映像フレームＢ１から輪郭線を抽出する（ステップＳＴ３１）。
例えば、「Ｃａｎｎｙ  Ｅｄｇｅ  Ｄｅｔｅｃｔｏｒ」などのエッジ検出方法を使用することで、輪郭線を抽出することができる。
【００５５】
付加情報補正部１９は、二次元映像フレームＢ１から輪郭線を抽出すると、その輪郭線を用いて、付加情報データＤ１の領域を分割する（ステップＳＴ３２）。
付加情報補正部１９は、付加情報データＤ１の領域を分割すると、付加情報データＤ１内に欠損箇所Ｅ１が存在していれば（ステップＳＴ３３）、付加情報データＤ１における複数の分割領域の中で、その欠損箇所Ｅ１が属している分割領域を特定し、当該分割領域を欠損箇所の補填に用いることが可能な領域に指定する（ステップＳＴ３４）。
図８の例では、付加情報データ内の欠損箇所Ｅ１が、輪郭線で囲まれている円の外側と内側に跨っているので、円の外側に存在している欠損箇所Ｅ１の部分は、円の外側の分割領域を欠損箇所の補填に用いることが可能な領域に指定し、円の内側に存在している欠損箇所Ｅ１の部分は、円の内側の分割領域を欠損箇所の補填に用いることが可能な領域に指定する。
【００５６】
付加情報補正部１９は、欠損箇所Ｅ１が属している分割領域を特定すると、その分割領域内の付加情報データの中で、欠損箇所Ｅ１内の付加情報データと最も近い位置に存在している付加情報データを複写対象付加情報データに選択し、その複写対象付加情報データを欠損箇所Ｅ１内の付加情報データに複写する（ステップＳＴ３５）。
図８では、欠損箇所Ｅ１内の付加情報データが、輪郭線で囲まれている円の内側の分割領域内の付加情報データうち、欠損箇所Ｅ１の下側に存在している付加情報データによって複写されている様子を示している。
このように、複写対象付加情報データの選択について、輪郭線によって分割される付加情報データ上の領域に対する制約が設けられ、欠損箇所Ｅ１が存在している分割領域内の付加情報データが複写対象付加情報データに選択される。
これにより、輪郭線を越えている位置の付加情報データが複写されることがなく、欠損箇所に近い付加情報データで復元されるため、三次元映像の画質を高めることができる。
欠損箇所Ｅ１内の全ての付加情報データに対する複写処理が完了すると、付加情報補正部１９の処理が終了する。
【００５７】
左右映像生成部２０は、出力制御部１６から二次元映像フレーム及び付加情報データ、二次元映像補正部１８から補正後の二次元映像フレーム及び付加情報データ、あるいは、付加情報補正部１９から二次元映像フレーム及び補正後の付加情報データを受けると、二次元映像フレーム及び付加情報データを用いて、二次元映像（右目映像の二次元映像）と撮影方向が異なる二次元映像（左目映像の二次元映像）の二次元映像フレームを生成し、２つの二次元映像フレームを右目映像と左目映像の対として、映像出力部２１に出力する。
ただし、フレーム複写部１７から右目映像と左目映像の対が出力されている場合には、その右目映像と左目映像の対を映像出力部２１に出力する。
映像出力部２１は、映像入出力インタフェース（図示せず）を介して、右目映像と左目映像の対を三次元映像対応テレビ７に出力することで、三次元映像を三次元映像対応テレビ７の画面に表示する。
【００５８】
以上で明らかなように、この実施の形態１によれば、三次元映像から二次元映像の映像フレームを生成するとともに、その映像フレーム内の欠損箇所を特定する二次元映像デコーダ１３と、二次元映像デコーダ１３により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出するシーンチェンジ検出部１４と、二次元映像デコーダ１３により欠損箇所が特定された映像フレームが存在する場合、シーンチェンジ検出部１４の検出結果を参照して、その映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定する出力制御部１６とを設け、フレーム複写部１７が、二次元映像デコーダ１３により生成された映像フレームの中で、出力制御部１６により設定されたフレーム複写区間内の映像フレームを、上記二次元映像と撮影方向が異なる二次元映像から生成された映像フレームに置き換える複写処理を行うように構成したので、エラーコンシールメントの実行に伴う急激な視差変化を抑制することができるようになる。そのため、エラーコンシールメントを実行することで、欠損が発生している三次元映像の画質を高めることができる効果を奏する。
【００５９】
また、この実施の形態１によれば、三次元映像から二次元映像の映像フレームを生成するとともに、その映像フレーム内の欠損箇所を特定する二次元映像デコーダ１３と、三次元映像から上記二次元映像と撮影方向が異なる二次元映像の復元に用いる付加情報データを生成する付加情報デコーダ１５と、二次元映像デコーダ１３により欠損箇所が特定された映像フレームが存在する場合、二次元映像補正部１８が、付加情報デコーダ１５により生成された付加情報データに応じて、二次元映像デコーダ１３により特定された映像フレーム内の欠損箇所の補填に用いることが可能な上記映像フレーム内の領域を指定し、その指定の領域内の画素を用いて上記欠損箇所を補填するように構成したので、補填に使用することが可能な領域に制限が設けられた上で、エラーコンシールメントが実行されるようになる。そのため、エラーコンシールメントを実行することで、欠損が発生している三次元映像の画質を高めることができる効果を奏する。
【００６０】
また、この実施の形態１によれば、三次元映像から二次元映像の映像フレームを生成する二次元映像デコーダ１３と、三次元映像から上記二次元映像と撮影方向が異なる二次元映像の復元に用いる付加情報データを生成するとともに、その付加情報データ内の欠損箇所を特定する付加情報デコーダ１５と、付加情報デコーダ１５により欠損箇所が特定された付加情報データが存在する場合、付加情報補正部１９が、二次元映像デコーダ１３により生成された映像フレームに応じて、付加情報デコーダ１５により特定された付加情報データ内の欠損箇所の補填に用いることが可能な上記付加情報データ内の領域を指定し、その指定の領域内の付加情報データを用いて上記欠損箇所を補填するように構成したので、補填に使用することが可能な領域に制限が設けられた上で、エラーコンシールメントが実行されるようになる。そのため、エラーコンシールメントを実行することで、欠損が発生している三次元映像の画質を高めることができる効果を奏する。
【００６１】
なお、この実施の形態１では、映像配信サーバ２が、三次元映像を含むＲＴＰパケットを配信する際、三次元映像として、右目映像の二次元映像と付加情報（右目映像から左目映像を復元する際に用いる情報）を配信するものを示したが、映像配信サーバ２が、三次元映像として、左目映像の二次元映像と付加情報（左目映像から右目映像を復元する際に用いる情報）を配信して、映像受信端末６が、左目映像の二次元映像と付加情報から右目映像と左目映像の対を生成するようにしてもよく、同様の効果を奏することができる。
【００６２】
実施の形態２．
上記実施の形態１では、映像配信サーバ２が、三次元映像を含むＲＴＰパケットを配信する際、三次元映像として、右目映像の二次元映像と付加情報（右目映像から左目映像を復元する際に用いる情報）を配信するものを示したが、この実施の形態２では、映像配信サーバ２が、三次元映像として、右目映像の二次元映像と左目映像の二次元映像を配信する例を説明する。
右目映像と左目映像は、ＭＰＥＧ２やＨ．２６４／ＡＶＣなどによって符号化されていてもよい。
【００６３】
図１０はこの発明の実施の形態２によるエラーコンシールメント装置１２を実装している映像受信端末６を示す構成図であり、図において、図２と同一符号は同一または相当部分を示すので説明を省略する。
ストリーム受信部３０はホームゲートウェイ装置４により転送された三次元映像を含むＲＴＰパケットを受信し、そのＲＴＰパケットに含まれている三次元映像から右目映像の二次元映像と左目映像の二次元映像を分離して、それらの二次元映像をエラーコンシールメント装置１２の映像デコーダ３１に出力する処理を実施する。
【００６４】
映像デコーダ３１はストリーム受信部３０から出力された右目映像の二次元映像をデコードして、その二次元映像の映像フレーム（以下、「右目映像フレーム」と称する）を生成するとともに、その右目映像フレーム内の欠損箇所を特定する処理を実施する。
また、映像デコーダ３１はストリーム受信部３０から出力された左目映像の二次元映像をデコードして、その二次元映像の映像フレーム（以下、「左目映像フレーム」と称する）を生成するとともに、その左目映像フレーム内の欠損箇所を特定する処理を実施する。
ここで、映像フレーム内の欠損箇所は、映像フレームの中で、どの位置に、どれだけの大きさの欠損があるかを示す情報である。二次元映像が、例えば、ＭＰＥＧ２やＨ．２６４／ＡＶＣなどによって符号化されている場合は、マクロブロックの位置によって欠損箇所を特定してもよい。
なお、映像デコーダ３１は映像フレーム生成手段を構成している。
【００６５】
出力制御部３２は映像デコーダ３１により特定された映像フレーム内の欠損箇所の目立ち易さの度合を算出し、その目立ち易さの度合が所定の閾値以内であれば、映像補正部３４に対して映像補正処理を依頼し、その目立ち易さの度合が閾値以上であれば、フレーム複写部３３に対して複写処理を依頼する処理を実施する。
また、出力制御部３２は映像フレームの複写処理をフレーム複写部３３に依頼する際、シーンチェンジ検出部１４の検出結果を参照して、当該映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定し、そのフレーム複写区間をフレーム複写部３３に通知する。
さらに、出力制御部３２は映像デコーダ３１により欠損箇所が特定されない場合、映像デコーダ３１により生成された右目映像フレーム及び左目映像フレームを映像出力部２１に出力する。
なお、出力制御部３２は複写区間設定手段及び処理依頼手段を構成している。
【００６６】
フレーム複写部３３は出力制御部３２から複写処理の依頼を受けると、出力制御部３２から出力されたフレーム複写区間内の右目映像フレーム（または左目映像フレーム）を、左目映像フレーム（または右目映像フレーム）に置き換える複写処理を行う。
即ち、フレーム複写部３３は一方の映像フレームを破棄して、もう一方の映像フレームを複写することで、右目映像と左目映像の対を生成し（右目映像と左目映像は同一の映像フレームになる）、その右目映像と左目映像の対を映像出力部３３に出力する。
なお、フレーム複写部３３はフレーム複写手段を構成している。
【００６７】
映像補正部３４は出力制御部３２から補填処理の依頼を受けると、映像デコーダ３１により特定された右目映像フレーム及び左目映像フレーム内の欠損箇所を重ね合わせるとともに、重ね合わせ処理後に欠損箇所が存在している水平ライン上の非欠損箇所を欠損箇所に変更して欠損箇所を追加し、追加処理後の欠損箇所を示す欠損情報を生成する処理を実施する。
また、映像補正部３４は当該欠損情報にしたがって右目映像フレーム及び左目映像フレームを欠損させる映像補正処理を行う。
なお、映像補正部３４は映像補正手段を構成している。
【００６８】
図１０の例では、エラーコンシールメント装置１２の構成要素である映像デコーダ３１、シーンチェンジ検出部１４、出力制御部３２、フレーム複写部３３及び映像補正部３４のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、エラーコンシールメント装置１２がコンピュータなどで構成される場合、映像デコーダ３１、シーンチェンジ検出部１４、出力制御部３２、フレーム複写部３３及び映像補正部３４の処理内容の全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図１２はこの発明の実施の形態２によるエラーコンシールメント装置１２の出力制御部３２の処理内容を示すフローチャートである。
図１４はこの発明の実施の形態２によるエラーコンシールメント装置１２の映像補正部３４の処理内容を示すフローチャートである。
【００６９】
次に動作について説明する。
まず、映像配信サーバ２は、映像ストレージ１に保管されている三次元映像を取得して、その三次元映像をＲＴＰパケット化し、トランスポートプロトコルとしてＵＤＰを使用することで、その三次元映像を含むＲＴＰパケットを外部ネットワーク３経由でホームゲートウェイ装置４に配信する。
この実施の形態２では、三次元映像として、右目映像の二次元映像と左目映像の二次元映像を配信するものとする。
【００７０】
ホームゲートウェイ装置４は、映像配信サーバ２から配信された三次元映像を含むＲＴＰパケットを受信すると、そのＲＴＰパケットをホームネットワーク５経由で映像受信端末６に転送する。
映像受信端末６は、ホームゲートウェイ装置４により転送された三次元映像を含むＲＴＰパケットを受信して、右目映像と左目映像の対を三次元映像対応テレビ７に出力する。
ただし、映像受信端末６は、その三次元映像に欠損箇所があれば、その欠損箇所を補填してから右目映像と左目映像の対を三次元映像対応テレビ７に出力する。
【００７１】
以下、映像受信端末６の処理内容を具体的に説明する。
ストリーム受信部３０は、ホームゲートウェイ装置４により転送された三次元映像を含むＲＴＰパケットを受信し、そのＲＴＰパケットに含まれている三次元映像から右目映像の二次元映像と左目映像の二次元映像を分離して、それらの二次元映像をエラーコンシールメント装置１２の映像デコーダ３１に出力する。
【００７２】
映像デコーダ３１は、ストリーム受信部３０から右目映像の二次元映像と左目映像の二次元映像を受けると、右目映像の二次元映像をデコードして、その二次元映像の映像フレームである右目映像フレームを生成するとともに、左目映像の二次元映像をデコードして、その二次元映像の映像フレームである左目映像フレームを生成し、その右目映像フレーム及び左目映像フレームを出力制御部３２に出力する。
また、映像デコーダ３１は、二次元映像をデコードする際、右目映像フレーム及び左目映像フレーム内の欠損箇所を特定する処理を実施し、右目映像フレーム及び左目映像フレーム内の欠損箇所を出力制御部３２に出力する。
映像フレーム内の欠損箇所は、映像フレームの中で、どの位置に、どれだけの大きさの欠損があるかを示す情報である。映像フレームがＭＰＥＧ２やＨ．２６４／ＡＶＣなどによって符号化されている場合には、マクロブロックの位置によって欠損箇所を示してもよい。
なお、映像デコーダ３１は、右目映像フレーム又は左目映像フレームのいずれか一方をシーンチェンジ検出部１４に出力する。
【００７３】
シーンチェンジ検出部１４は、映像デコーダ３１から映像フレーム（右目映像フレーム又は左目映像フレーム）を受けると、例えば、前後の映像フレームを比較することで、映像デコーダ３１により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出し、その検出結果を出力制御部３２に通知する。
【００７４】
出力制御部３２は、図１１に示すような管理テーブルを備えており、各種の情報を管理テーブルに格納して管理している。
即ち、出力制御部３２は、映像デコーダ３１から出力された右目映像フレームを“右目映像フレームＨ２”として管理し、映像デコーダ３１から出力された右目映像フレーム内の欠損箇所を“欠損箇所Ｉ２”として管理する。
また、出力制御部３２は、映像デコーダ３１から出力された左目映像フレームを“左目映像フレームＪ２”として管理し、映像デコーダ３１から出力された左目映像フレーム内の欠損箇所を“欠損箇所Ｋ２”として管理する。
また、出力制御部３２は、シーンチェンジ検出部１４によりシーンチェンジが検出された映像フレームを示すマーキング情報を“シーンチェンジ種別Ｆ２”として管理する。
さらに、出力制御部３２は、処理を依頼する処理部の判定結果を“振り分け種別Ｇ２”として管理し、右目映像と左目映像の選択情報を“選択情報Ｌ２”として管理し、映像デコーダ３１から出力される映像フレームの識別情報を“シーケンス番号Ａ２”として管理する。なお、シーケンス番号Ａ２は、映像デコーダ３１からの出力順が先の映像フレームから順番に小さい番号が割り当てられる。
【００７５】
出力制御部３２は、図１１の管理テーブル内に、シーケンス番号Ａ２の映像フレームに係る欠損箇所Ｉ２及び欠損箇所Ｋ２の双方が格納されていない場合、三次元映像に欠損が発生することなく正常に受信されており、三次元映像に対するエラーコンシールメントを行う必要がないので、振り分け種別Ｇ２を“映像出力”に設定する。
出力制御部３２は、図１１の管理テーブル内に、シーケンス番号Ａ２の右目映像フレーム内の欠損箇所Ｉ２、または、左目映像フレーム内の欠損箇所Ｋ２の少なくとも一方が格納されている場合、右目映像又は右目映像を補正する必要があるので、振り分け種別Ｇ２を“映像補正”に設定する。
ただし、詳細は後述するが、右目映像フレーム又は左目映像フレーム内の欠損箇所の目立ち易さを示す度合が所定の閾値を超えており、右目映像又は右目映像を補正することができない場合には、振り分け種別Ｇ２を“フレーム複写”に設定する。
【００７６】
出力制御部３２は、図１１の管理テーブル内に、シーケンス番号Ａ２の右目映像フレーム内の欠損箇所Ｉ２、または、左目映像フレーム内の欠損箇所Ｋ２の少なくとも一方が格納されており、右目映像フレーム又は左目映像フレーム内の欠損箇所の目立ち易さを示す度合が所定の閾値を超えている場合、振り分け種別Ｇ２を“フレーム複写”に設定する。
また、出力制御部３２は、右目映像を左目映像に複写する場合（例えば、左目映像フレーム内の欠損箇所Ｋ２が、右目映像フレーム内の欠損箇所Ｉ２より大きい場合）、選択情報Ｌ２を“右目映像”に設定し、左目映像を右目映像に複写する場合（例えば、右目映像フレーム内の欠損箇所Ｉ２が、左目映像フレーム内の欠損箇所Ｋ２より大きい場合）、選択情報Ｌ２を“左目映像”に設定する。
【００７７】
出力制御部３２は、振り分け種別Ｇ２を“フレーム複写”に設定する場合、図１の出力制御部１６と同様に、シーンチェンジ検出部１４の検出結果を参照して、シーケンス番号Ａ２の二次元映像フレームより時間的に前方及び後方の二次元映像フレームの中で、シーンチェンジが発生している二次元映像フレームを特定する。
出力制御部３２は、図１の出力制御部１６と同様に、シーンチェンジが発生している前方の二次元映像フレームからシーンチェンジが発生している後方の二次元映像フレームまでの区間をフレーム複写区間に設定し、そのフレーム複写区間をフレーム複写部３３に通知する。
【００７８】
以下、図１２を参照しながら、出力制御部３２の振り分け処理を具体的に説明する。
まず、出力制御部３２は、図１１の管理テーブル内にシーンチェンジ種別Ｆ２が格納されているか否かを判定する（ステップＳＴ４１）。
即ち、出力制御部３２は、シーケンス番号Ａ２の映像フレーム（右目映像フレーム又は左目映像フレーム）が、シーンチェンジが発生している映像フレームであるか否かを判定する。
出力制御部３２は、図１１の管理テーブル内にシーンチェンジ種別Ｆ２が格納されている場合、フレーム複写判定フラグがＯＮであるか否かを判定し（ステップＳＴ４２）、フレーム複写判定フラグがＯＮであれば、そのフレーム複写判定フラグをＯＦＦに設定する（ステップＳＴ４３）。
ここで、フレーム複写判定フラグは、次に処理する映像フレームの振り分け種別Ｇ２に対して、“フレーム複写”を設定するか否かを判定する際に用いるフラグである。
【００７９】
出力制御部３２は、フレーム複写判定フラグがＯＦＦである場合、映像補正判定フラグがＯＮであるか否かを判定し（ステップＳＴ４４）、映像補正判定フラグがＯＮであれば、その映像補正判定フラグをＯＦＦに設定する（ステップＳＴ４５）。
ここで、映像補正判定フラグは、次に処理する映像フレームの振り分け種別Ｇ２に対して、“映像補正”を設定するか否かを判定する際に用いるフラグである。
【００８０】
出力制御部３２は、図１１の管理テーブル内にシーンチェンジ種別Ｆ２が格納されていない場合、フレーム複写判定フラグがＯＮであるか否かを判定し（ステップＳＴ４６）、フレーム複写判定フラグがＯＮであれば、振り分け種別Ｇ１を“フレーム複写”に設定するとともに、右目映像又は左目映像のいずれかを選択して、右目映像と左目映像の選択情報Ｌ２を設定する（ステップＳＴ４７）。
【００８１】
出力制御部３２は、フレーム複写判定フラグがＯＦＦであれば、映像補正判定フラグがＯＮであるか否かを判定し（ステップＳＴ４８）、映像補正判定フラグがＯＮであれば、映像フレームを補正する必要があるので、振り分け種別Ｇ２を“映像補正”に設定する（ステップＳＴ４９）。
出力制御部３２は、ステップＳＴ４４，ＳＴ４８において、映像補正判定フラグがＯＦＦである場合、あるいは、ステップＳＴ４５で映像補正判定フラグをＯＦＦに設定している場合、右目映像フレーム内に欠損箇所Ｉ２がなく、かつ、左目映像フレーム内に欠損箇所Ｋ２がないかを判定する（ステップＳＴ５０）。
【００８２】
出力制御部３２は、右目映像フレーム内に欠損箇所Ｉ２がなく、かつ、左目映像フレーム内に欠損箇所Ｋ２がない場合、三次元映像に対するエラーコンシールメントを行う必要がないので、振り分け種別Ｇ２を“映像出力”に設定する（ステップＳＴ５１）。
出力制御部３２は、右目映像フレーム内の欠損箇所Ｉ２、または、左目映像フレーム内の欠損箇所Ｋ２の少なくとも一方がある場合、右目映像フレーム内の欠損箇所の目立ち易さの度合ＣＲを算出するとともに、左目映像フレーム内の欠損箇所の目立ち易さの度合ＣＬを算出する（ステップＳＴ５２）。
例えば、目立ち易さの度合は、欠損箇所の大きさ及び位置から算出する。あるいは、欠損箇所の周辺の動きベクトルから算出する。
目立ち易さの度合は、欠損箇所が大きいほど、欠損箇所の位置がフレーム中央に近いほど数値が大きくなるものとする。
また、目立ち易さの度合は、欠損箇所の周辺の動きベクトルが大きいほど数値が大きくなるものとする。
【００８３】
出力制御部３２は、右目映像フレーム内の欠損箇所の目立ち易さの度合ＣＲと、左目映像フレーム内の欠損箇所の目立ち易さの度合ＣＬを算出すると、その目立ち易さの度合ＣＲと所定の閾値を比較するとともに、その目立ち易さの度合ＣＬと所定の閾値を比較し、目立ち易さの度合ＣＲ又は目立ち易さの度合ＣＬの少なくとも一方が所定の閾値を超えているか否かを判定する（ステップＳＴ５３）。
出力制御部３２は、目立ち易さの度合ＣＲ又は目立ち易さの度合ＣＲの少なくとも一方が所定の閾値を超えている場合、目立ち易さの度合ＣＲが目立ち易さの度合ＣＬより小さければ、選択情報Ｌ２を“右目映像”に設定し、目立ち易さの度合ＣＬが目立ち易さの度合ＣＲより小さければ、選択情報Ｌ２を“左目映像”に設定する（ステップＳＴ５４）。
また、出力制御部３２は、振り分け種別Ｇ２を“フレーム複写”に設定する（ステップＳＴ５５）。
【００８４】
出力制御部３２は、シーケンス番号Ａ２の値から１を減じて（ステップＳＴ５６）、時間的に１つ前の映像フレームが、シーンチェンジが発生している映像フレームであるか否かを判定する（ステップＳＴ５７）。
時間的に１つ前の映像フレームが、シーンチェンジが発生している映像フレームでない場合、ステップＳＴ５５の処理に戻り、ステップＳＴ５５〜ＳＴ５７の処理が繰り返し実施される。
これにより、フレーム複写区間内の映像フレームの振り分け種別Ｇ２が“フレーム複写”に設定される。
【００８５】
出力制御部３２は、目立ち易さの度合ＣＲ及び目立ち易さの度合ＣＲの双方が所定の閾値以内である場合、映像補正判定フラグをＯＮに設定し（ステップＳＴ５８）、振り分け種別Ｇ２を“映像補正”に設定する（ステップＳＴ５９）。
出力制御部３２は、シーケンス番号Ａ２の値から１を減じて（ステップＳＴ６０）、時間的に１つ前の映像フレームが、シーンチェンジが発生している映像フレームであるか否かを判定する（ステップＳＴ６１）。
時間的に１つ前の映像フレームが、シーンチェンジが発生している映像フレームでない場合、ステップＳＴ５９の処理に戻り、ステップＳＴ５９〜ＳＴ６１の処理が繰り返し実施される。
これにより、フレーム複写区間内の映像フレームの振り分け種別Ｇ２が“映像補正”に設定される。
【００８６】
図１２では、“フレーム複写”又は“映像補正”の判定を実施した場合、バッファ内にシーンチェンジ種別Ｆ２がマークされている映像フレームがなければ、バッファ内の全ての映像フレームの振り分け種別Ｇ２を“フレーム複写”又は“映像補正”に変更する例を記載している。
バッファ内にシーンチェンジ種別Ｆ２がマークされた映像フレームが存在しない場合には、バッファ内の映像フレームの振り分け種別Ｇ２を書き換えずに、そのままとしてもよい。
【００８７】
フレーム複写部３３は、出力制御部３２の管理テーブルに格納されている振り分け種別Ｇ２が“フレーム複写”であれば、出力制御部３２から複写処理の依頼を受けていると判断し、出力制御部３２の管理テーブルに格納されているシーケンス番号Ａ２の右目映像フレームＨ２、左目映像フレームＪ２及び選択情報Ｌ２を取得する。
フレーム複写部３３は、選択情報Ｌ２が“右目映像”である場合、右目映像フレームＨ２を左目映像フレームＪ２に複写することで、左目映像を右目映像と同じにして、その右目映像と左目映像の対を映像出力部２１に出力する。
一方、選択情報Ｌ２が“左目映像”である場合、左目映像フレームＪ２を右目映像フレームＨ２に複写することで、右目映像を左目映像と同じにして、その右目映像と左目映像の対を映像出力部２１に出力する。
【００８８】
映像補正部３４は、出力制御部３２の管理テーブルに格納されている振り分け種別Ｇ２が“映像補正”であれば、出力制御部３２から映像補正処理の依頼を受けていると判断し、出力制御部３２の管理テーブルに格納されているシーケンス番号Ａ２の右目映像フレームＨ２及び欠損箇所Ｉ２と、左目映像フレームＪ２及び欠損箇所Ｋ２とを取得する。
そして、映像補正部３４は、右目映像フレーム内の欠損箇所Ｉ２と、左目映像フレーム内の欠損箇所Ｋ２を重ね合わせるとともに、重ね合わせ処理後に欠損箇所が存在している水平ライン上の非欠損箇所を欠損箇所に変更して欠損箇所を追加し、追加処理後の欠損箇所を示す欠損情報を生成する。
そして、映像補正部３４は、当該欠損情報にしたがって右目映像フレーム及び左目映像フレームを欠損させる映像補正処理を行う。
【００８９】
図１３は映像補正部３４による映像フレーム内の欠損箇所の補填処理を示す説明図である。
以下、図１３及び図１４を参照しながら、映像補正部３４の補填処理を具体的に説明する。
【００９０】
映像補正部３４は、出力制御部３２の管理テーブルに格納されている振り分け種別Ｇ２が“映像補正”であれば、出力制御部３２の管理テーブルに格納されているシーケンス番号Ａ２の右目映像フレームＨ２及び欠損箇所Ｉ２と、左目映像フレームＪ２及び欠損箇所Ｋ２とを取得し、そのシーケンス番号Ａ２の値が前回の処理時に取得しているシーケンス番号Ａ２の値と連続しているか否かを判定し（ステップＳＴ７１）、シーケンス番号Ａ２の値が連続していなければ、保持している欠損情報を破棄する（ステップＳＴ７２）。
【００９１】
次に、映像補正部３４は、図１３に示すように、右目映像フレーム内の欠損箇所Ｉ２と左目映像フレーム内の欠損箇所Ｋ２とを重ね合わせる重ね合わせ処理を実施する（ステップＳＴ７３）。
映像補正部３４は、欠損箇所Ｉ２と欠損箇所Ｋ２の重ね合わせを行うと、図１３に示すように、欠損箇所が存在している水平ライン上の非欠損箇所を欠損箇所に変更して欠損箇所を追加することで、当該水平ライン上の全てを欠損箇所にする。
そして、当該水平ライン上の全ての欠損箇所を示す欠損情報を生成する（ステップＳＴ７５）。
【００９２】
映像補正部３４は、欠損情報を生成すると、その欠損情報に欠損箇所があれば（ステップＳＴ７５）、保持している欠損情報と今回生成の欠損情報を重ね合わせて、重ね合わせ後の欠損情報を保持する（ステップＳＴ７６）。
そして、映像補正部３４は、その保持している欠損情報にしたがって右目映像フレーム及び左目映像フレームを欠損させる映像補正処理を行う。
このように、右目映像フレーム及び左目映像フレームの水平方向に欠損箇所を追加することで、人間の水平方向の視差による欠損箇所と非欠損箇所のずれを補正することができる。
これにより、水平方向の視差に対するずれが補正されるため、三次元映像の画質を高めることができる。
【００９３】
映像出力部２１は、フレーム複写部３３、映像補正部３４又は出力制御部３２から右目映像と左目映像の対を受けると、映像入出力インタフェース（図示せず）を介して、右目映像と左目映像の対を三次元映像対応テレビ７に出力することで、三次元映像を三次元映像対応テレビ７の画面に表示する。
【００９４】
以上で明らかなように、この実施の形態２によれば、三次元映像から右目映像フレーム及び左目映像フレームを生成するとともに、右目映像フレーム及び左目映像フレーム内の欠損箇所を特定する映像デコーダ３１と、映像デコーダ３１により欠損箇所が特定された映像フレームが存在する場合、映像デコーダ３１により特定された右目映像フレーム及び左目映像フレーム内の欠損箇所を重ね合わせるとともに、重ね合わせ処理後に欠損箇所が存在している水平ライン上の非欠損箇所を欠損箇所に変更して欠損箇所を追加し、その映像フレーム内の欠損箇所を示す欠損情報にしたがって右目映像フレーム及び左目映像フレームを欠損させる映像補正処理を行う映像補正部３４とを備えるように構成したので、水平方向の視差に対するずれが補正されるようになり、欠損が発生している三次元映像の画質を高めることができる効果を奏する。
【００９５】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００９６】
１  映像ストレージ、２  映像配信サーバ、３  外部ネットワーク、４  ホームゲートウェイ装置、５  ホームネットワーク、６  映像受信端末、７  三次元映像対応テレビ、１１  ストリーム受信部、１２  エラーコンシールメント装置、１３  二次元映像デコーダ（映像フレーム生成手段）、１４  シーンチェンジ検出部（シーンチェンジ検出手段）、１５  付加情報デコーダ（付加情報データ生成手段）、１６  出力制御部（複写区間設定手段、処理依頼手段）、１７  フレーム複写部（フレーム複写手段）、１８  二次元映像補正部（第１の欠損箇所補填手段）、１９  付加情報補正部（第２の欠損箇所補填手段）、２０  左右映像生成部、２１  映像出力部、３０  ストリーム受信部、３１  映像デコーダ（映像フレーム生成手段）、３２  出力制御部（複写区間設定手段、処理依頼手段）、３３  フレーム複写部（フレーム複写手段）、３４  映像補正部（映像補正手段）。
【図１】
0005622537.tif 000002
【図２】
0005622537.tif 000003
【図３】
0005622537.tif 000004
【図４】
0005622537.tif 000005
【図５】
0005622537.tif 000006
【図６】
0005622537.tif 000007
【図７】
0005622537.tif 000008
【図８】
0005622537.tif 000009
【図９】
0005622537.tif 000010
【図１０】
0005622537.tif 000011
【図１１】
0005622537.tif 000012
【図１２】
0005622537.tif 000013
【図１３】
0005622537.tif 000014
【図１４】
0005622537.tif 000015