(57)【要約】【課題】右眼用映像と左眼用映像との間の位相差を用いてエラー補正を行うことで違和感のない立体映像をユーザに提供することが可能な映像表示装置を提供する。【解決手段】複数の視点からの映像が圧縮符号化された映像データを復号する復号部と、復号部の復号により得られる第１の画像と第２の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出部と、復号部の復号により得られる画像におけるエラー箇所を検出するエラー検出部と、復号部の復号により得られる画像のエラー箇所を、位相差検出部が検出した位相差情報を反映させて他方の画像に置き換えて補正する画像補正部と、を備える、表示装置が提供される。【選択図】図３
2011239148.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点からの映像が圧縮符号化された映像データを復号する復号部と、
前記復号部の復号により得られる第１の画像と第２の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出部と、
前記復号部の復号により得られる画像におけるエラー箇所を検出するエラー検出部と、
前記復号部の復号により得られる画像のエラー箇所を、前記位相差検出部が検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正部と、
を備える、映像表示装置。
【請求項２】
前記画像補正部は、前記エラー検出部が検出したエラーの数が所定の閾値を超えると前記第１の画像及び前記第２の画像とから二次元映像を生成する、請求項１に記載の映像表示装置。
【請求項３】
前記画像補正部は、前記位相差検出部が検出した同一フレームにおけるエラー箇所の周囲の前記位相差情報を用いて補正する、請求項１に記載の映像表示装置。
【請求項４】
前記画像補正部は、前記位相差検出部が検出した前後のフレームのエラー箇所の前記位相差情報を用いて補正する、請求項１に記載の映像表示装置。
【請求項５】
前記画像補正部は、前記映像データのスキップ再生時にエラー箇所の補正処理を実行する、請求項１に記載の映像表示装置。
【請求項６】
前記画像補正部は、前記エラー検出部が検出したエラー箇所の範囲によって、反映させる前記位相差情報の取得元のフレームを変化させる、請求項１に記載の映像表示装置。
【請求項７】
前記復号部は、ＭＰＥＧ−４  ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）により符号化された映像データを復号する、請求項１に記載の映像表示装置。
【請求項８】
複数の視点からの映像が圧縮符号化された映像データを復号する復号ステップと、
前記復号部の復号により得られる第１の画像と第２の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出ステップと、
前記復号ステップの復号により得られる画像におけるエラー箇所を検出するエラー検出ステップと、
前記復号ステップの復号により得られる画像のエラー箇所を、前記位相差検出ステップが検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正ステップと、
を備える、映像表示方法。
【請求項９】
コンピュータに、
複数の視点からの映像が圧縮符号化された映像データを復号する復号ステップと、
前記復号部の復号により得られる第１の画像と第２の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出ステップと、
前記復号ステップの復号により得られる画像におけるエラー箇所を検出するエラー検出ステップと、
前記復号ステップの復号により得られる画像のエラー箇所を、前記位相差検出ステップが検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正ステップと、
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示装置、映像表示方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
時分割駆動方式による映像表示装置は、複数の映像ストリームを時分割的に順次切り換えて出力する映像表示装置である。このような時分割駆動方式を用いた映像表示装置としては、いわゆるシャッタ眼鏡を用いた時分割立体映像表示システム（例えば、特許文献１〜３参照）や、シャッタ眼鏡を用いて複数の観察者が画面を分割することなく異なる映像を観察するマルチ映像表示システム等が挙げられる。
【０００３】
時分割立体映像表示システムは、左眼用映像及び右眼用映像を非常に短い周期で画面全体に交互に表示すると同時に、左眼用映像及び右眼用映像の表示周期に同期して左眼及び右眼に映像を分離して提供する立体映像表示装置を用いた映像表示システムである。例えば、シャッタ眼鏡方式は、左眼用映像が表示される間はシャッタ眼鏡の左眼部が光を透過させ、右眼部が遮光する。また、右眼用映像が表示される間はシャッタ眼鏡の右眼部が光を透過させ、左眼部が遮光する。このように映像を切り替えて表示し、ユーザに右眼用映像と左眼用映像とを高速で交互に提示することで、時分割立体映像表示システムは、ユーザに対して映像を立体的に認識させることが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−１３８３８４号公報
【特許文献２】特開２０００−３６９６９号公報
【特許文献３】特開２００３−４５３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
伝送系統のエラーやメディアの損傷等によって画像に不具合が生じた場合、通常は、エラーが発生した箇所に相当する部分を前のフレームから切り出してエラーが発生した箇所にはめ込むエラー補正方法が行われる。しかし、左眼用映像及び右眼用映像を非常に短い周期で画面全体に交互に表示するようなストリームの場合、補正部分において左眼用映像及び右眼用映像の間に時間差が生じ、ユーザに違和感を与えてしまう恐れがある。
【０００６】
また、時間差を生じさせないようにするために、エラーが起こった映像の反対側の映像（つまり、左眼用映像でエラーが起きれば右眼用映像、右眼用映像でエラーが起きれば左眼用映像）からエラーが発生した箇所に相当する部分を切り出してエラーが発生した箇所にはめ込むと、左眼用映像と右眼用映像とでは視差情報が異なるので、はめ込んだ箇所だけ距離感が異なって見え、ユーザに違和感を与えてしまう恐れがある。
【０００７】
さらに、エラー補正だけでなく、映像のサーチ等で欠落した圧縮信号をデコードする際に、片側のみのデータしかない場合には、強制的に二次元映像としての表示になる。従って、ユーザが映像を変速再生する度に二次元映像と三次元映像とが強制的に切り替わることになり、ユーザに違和感を与えたり、影像が見づらくなったりする恐れがある。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、右眼用映像と左眼用映像との間の位相差を用いてエラー補正を行うことで違和感のない立体映像をユーザに提供することが可能な、新規かつ改良された映像表示装置、映像表示方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、複数の視点からの映像が圧縮符号化された映像データを復号する復号部と、前記復号部の復号により得られる第１の画像と第２の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出部と、前記復号部の復号により得られる画像におけるエラー箇所を検出するエラー検出部と、前記復号部の復号により得られる画像のエラー箇所を、前記位相差検出部が検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正部と、を備える、映像表示装置が提供される。
【００１０】
前記画像補正部は、前記エラー検出部が検出したエラーの数が所定の閾値を超えると前記第１の画像及び前記第２の画像とから二次元映像を生成するようにしてもよい。
【００１１】
前記画像補正部は、前記位相差検出部が検出した同一フレームにおけるエラー箇所の周囲の前記位相差情報を用いて補正するようにしてもよい。
【００１２】
前記画像補正部は、前記位相差検出部が検出した前後のフレームのエラー箇所の前記位相差情報を用いて補正するようにしてもよい。
【００１３】
前記画像補正部は、前記映像データのスキップ再生時にエラー箇所の補正処理を実行するようにしてもよい。
【００１４】
前記画像補正部は、前記エラー検出部が検出したエラー箇所の範囲によって、反映させる前記位相差情報の取得元のフレームを変化させてもよい。
【００１５】
前記復号部は、ＭＰＥＧ−４  ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）により符号化された映像データを復号するようにしてもよい。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、複数の視点からの映像が圧縮符号化された映像データを復号する復号ステップと、前記復号部の復号により得られる第１の画像と第２の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出ステップと、前記復号ステップの復号により得られる画像におけるエラー箇所を検出するエラー検出ステップと、前記復号ステップの復号により得られる画像のエラー箇所を、前記位相差検出ステップが検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正ステップと、を備える、映像表示方法が提供される。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、複数の視点からの映像が圧縮符号化された映像データを復号する復号ステップと、前記復号部の復号により得られる第１の画像と第２の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出ステップと、前記復号ステップの復号により得られる画像におけるエラー箇所を検出するエラー検出ステップと、前記復号ステップの復号により得られる画像のエラー箇所を、前記位相差検出ステップが検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正ステップと、を実行させる、コンピュータプログラムが提供される。
【発明の効果】
【００１８】
以上説明したように本発明によれば、右眼用映像と左眼用映像との間の位相差を用いてエラー補正を行うことで違和感のない立体映像をユーザに提供することが可能な、新規かつ改良された映像表示装置、映像表示方法及びコンピュータプログラムを提供することが出来る。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態にかかる表示装置１００の外観を示す説明図である。
【図２】本発明の一実施形態にかかる表示装置１００の機能構成について示す説明図である。
【図３】本発明の一実施形態にかかる表示装置１００に含まれる映像信号制御部１２０の構成を示す説明図である。
【図４】本発明の一実施形態にかかる映像信号制御部１２０の動作を示す流れ図である。
【図５】画像補正部１２５ａ、１２５ｂにより画像補正処理を概念的に図示する説明図である。
【図６】右眼用画像と左眼用画像とを比較して位相差マップを生成する際の概要を図示する説明図である。
【図７】右眼用画像と左眼用画像とを比較して位相差マップを生成する際の概要を図示する説明図である。
【図８】右眼用画像と左眼用画像とを比較して位相差マップを生成する際の概要を図示する説明図である。
【図９】映像信号制御部１２０の変形例である映像信号制御部１２０’の機能構成を示す説明図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
なお、説明は以下の順序で行うものとする。
＜１．本発明の一実施形態＞
［１−１．本発明の一実施形態にかかる表示装置の構成］
［１−２．本発明の一実施形態にかかる表示装置の機能構成］
［１−３．映像信号制御部の機能構成］
［１−４．映像信号制御部の動作］
［１−５．変形例］
＜２．まとめ＞
【００２２】
＜１．本発明の一実施形態＞
［１−１．本発明の一実施形態にかかる表示装置の構成］
以下において、本発明の一実施形態にかかる表示装置の構成について説明する。まず、本発明の一実施形態にかかる表示装置の外観について説明する。図１は、本発明の一実施形態にかかる表示装置１００の外観を示す説明図である。また、図１には、表示装置１００が表示する画像を観察者が立体的な画像として知覚するために用いるシャッタ眼鏡２００も併せて示している。
【００２３】
図１に示した表示装置１００は、画像の表示が行われる画像表示部１１０を備えている。表示装置１００は、通常の画像を画像表示部１１０に表示するだけではなく、観察者に立体的な画像として知覚させる三次元画像を画像表示部１１０に表示することが可能な装置である。
【００２４】
画像表示部１１０の構成については詳述するが、ここで簡単に説明すると、画像表示部１１０は、光源、液晶パネル、及び液晶パネルを挟んで設けられる一対の偏光板を含んで構成される。光源からの光は液晶パネル及び偏光板を透過することで所定の方向に偏光された光となる。なお、本発明の適用範囲は液晶パネルに限定されるものでは無く、その他の表示装置、例えばプラズマディスプレイパネルを用いた表示装置、有機ＥＬ表示装置、プロジェクタ等に適用してもよい。
【００２５】
シャッタ眼鏡２００は、例えば液晶シャッタからなる右目用画像透過部２１２及び左目用画像透過部２１４を含んで構成されている。シャッタ眼鏡２００は、表示装置１００から送出される信号に応じて、右目用画像透過部２１２及び左目用画像透過部２１４の開閉動作を実行する。観察者は、シャッタ眼鏡２００の右目用画像透過部２１２及び左目用画像透過部２１４を通して、画像表示部１１０から発する光を見ることで、画像表示部１１０に表示される画像を立体的な画像として知覚することが出来る。
【００２６】
一方、通常の画像が画像表示部１１０に表示されている場合は、観察者はそのまま画像表示部１１０から出射される光を見ることで、通常の画像として知覚することができる。
【００２７】
なお、図１では、表示装置１００をテレビ受像機として図示していたが、本発明においては、表示装置の形状はかかる例に限定されないことは言うまでも無い。例えば、本発明の表示装置は、例えば、パーソナルコンピュータその他の電子機器と接続して用いられるモニタであってもよく、携帯型のゲーム機であってもよく、携帯電話や携帯型の音楽再生装置であってもよい。
【００２８】
以上、本発明の一実施形態にかかる表示装置１００の外観について説明した。次に、本発明の一実施形態にかかる表示装置１００の機能構成について説明する。
【００２９】
［１−２．本発明の一実施形態にかかる表示装置の機能構成］
図２は、本発明の一実施形態にかかる表示装置１００の機能構成について示す説明図である。以下、図２を用いて本発明の一実施形態にかかる表示装置１００の機能構成について説明する。
【００３０】
図２に示したように、本発明の一実施形態にかかる表示装置１００は、画像表示部１１０と、映像信号制御部１２０と、シャッタ制御部１３０と、タイミング制御部１４０と、を含んで構成される。
【００３１】
画像表示部１１０は、上述したように画像の表示が行われるものであり、外部から信号が印加されると、印加された信号に応じた画像の表示が行われる。画像表示部１１０は、表示パネル１１２と、ゲートドライバ１１３と、データドライバ１１４と、バックライト１１５と、を含んで構成される。
【００３２】
表示パネル１１２は、外部からの信号の印加に応じて画像を表示するものである。表示パネル１１２は、複数の走査線に対する順次走査により画像を表示する。表示パネル１１２は、ガラス等の透明板の間に所定の配向状態を有する液晶分子が封入されている。表示パネル１１２の駆動方式は、ＴＮ（Ｔｗｉｓｔｅｄ  Ｎｅｍａｔｉｃ）方式であってもよく、ＶＡ（Ｖｉｒｔｉｃａｌ  Ａｌｉｇｎｍｅｎｔ）方式であってもよく、ＩＰＳ（Ｉｎ−Ｐｌａｃｅ−Ｓｗｉｔｃｈｉｎｇ）方式であってもよい。以下の説明では、表示パネル１１２の駆動方式は、特に断りが無ければＶＡ方式であるとして説明するが、本発明においてはかかる例に限られないことはいうまでも無い。なお、本実施形態にかかる表示パネル１１２は、高速なフレームレート（例えば１２０Ｈｚや２４０Ｈｚ）で画面の書き換えが可能な表示パネルである。そして、本実施形態では、右目用の画像と左目用の画像を、表示パネル１１２に所定のタイミングで交互に表示させることで、観察者に立体的な画像として知覚させることができる。
【００３３】
ゲートドライバ１１３は、表示パネル１１２のゲートバスライン（図示せず）を駆動するためのドライバである。ゲートドライバ１１３にはタイミング制御部１４０から信号が伝送され、ゲートドライバ１１３はタイミング制御部１４０から伝送された信号に応じてゲートバスラインへ信号を出力する。
【００３４】
データドライバ１１４は、表示パネル１１２のデータ線（図示せず）に印加するための信号を生成するためのドライバである。データドライバ１１４にはタイミング制御部１４０から信号が伝送され、データドライバ１１４はタイミング制御部１４０から伝送された信号に応じてデータ線へ印加する信号を生成して出力する。
【００３５】
バックライト１１５は、観察者側から見て画像表示部１１０の一番奥に設けられるものである。画像表示部１１０に画像を表示する際には、バックライト１１５からは偏光されていない（無偏光の）白色光が観察者側に位置する表示パネル１１２に出射される。バックライト１１５としては、例えば発光ダイオードを用いても良く、冷陰極管を用いてもよい。なお、図２では、バックライト１１５として面光源を示しているが、本発明においては光源の形態はかかる例に限定されない。例えば、表示パネル１１２の周辺部に光源を配置し、当該光源からの光を拡散板等で拡散することで表示パネル１１２に光を出射してもよい。また例えば、面光源の替わりに点光源と集光レンズを組み合わせてもよい。
【００３６】
映像信号制御部１２０は、映像信号制御部１２０の外部からの映像信号の伝送を受けると、受け取った映像信号を、画像表示部１１０における三次元画像の表示に適したものとなるように各種信号処理を実行して出力するものである。映像信号制御部１２０で信号処理が施された映像信号はタイミング制御部１４０に伝送される。また、映像信号制御部１２０で信号処理が実行されると、信号処理に応じてシャッタ制御部１３０に所定の信号を伝送する。映像信号制御部１２０における信号処理としては、例えば以下のようなものがある。
【００３７】
映像信号制御部１２０に、右目用の画像を画像表示部１１０に表示するための映像信号（右目用映像信号）と、左目用の画像を画像表示部１１０に表示するための映像信号（左目用映像信号）が伝送されると、映像信号制御部１２０は２つの映像信号から三次元画像のための映像信号を生成する。本実施形態においては、映像信号制御部１２０は、入力される右目用映像信号及び左目用映像信号から、表示パネル１１２に右目用画像→左目用画像→右目用画像→左目用画像→・・・の順で時分割に表示させるための映像信号を生成する。ここで、左目用画像と右目用画像をそれぞれ複数フレームずつ繰り返して表示させる場合もあり、この場合においては、映像信号制御部１２０は、例えば右目用画像→右目用画像→左目用画像→左目用画像→右目用画像→右目用画像→・・・の順に表示させるための映像信号を生成する。
【００３８】
シャッタ制御部１３０は、映像信号制御部１２０における信号処理に基づいて生成される所定の信号の伝送を受け、当該信号に応じてシャッタ眼鏡２００のシャッタ動作を制御するシャッタ制御信号を生成するものである。シャッタ眼鏡２００では、シャッタ制御部１３０で生成され、赤外線エミッタ（図示せず）から発せされるシャッタ制御信号に基づいて、右目用画像透過部２１２及び左目用画像透過部２１４の開閉動作が実行される。
【００３９】
タイミング制御部１４０は、映像信号制御部１２０から伝送される信号に応じて、ゲートドライバ１１３およびデータドライバ１１４の動作に用いられるパルス信号を生成するものである。タイミング制御部１４０でパルス信号を生成して、ゲートドライバ１１３およびデータドライバ１１４がタイミング制御部１４０で生成されたパルス信号を受けることで、映像信号制御部１２０から伝送される信号に応じた画像が表示パネル１１２に画像が表示される。
【００４０】
以上、図２を用いて本発明の一実施形態にかかる表示装置１００の機能構成について説明した。次に、本発明の一実施形態にかかる表示装置１００に含まれる映像信号制御部１２０の構成について説明する。
【００４１】
［１−３．映像信号制御部の機能構成］
図３は、本発明の一実施形態にかかる表示装置１００に含まれる映像信号制御部１２０の構成を示す説明図である。以下、図３を用いて本発明の一実施形態にかかる表示装置１００に含まれる映像信号制御部１２０の構成について説明する。
【００４２】
図３に示したように、映像信号制御部１２０は、復号部１２１と、エラー検出部１２２ａ、１２２ｂと、画像バッファ１２３ａ、１２３ｂと、位相差検出部１２４と、画像補正部１２５ａ、１２５ｂと、を含んで構成される。
【００４３】
復号部１２１は、映像信号の復号処理を実行するものである。本実施形態では、復号部１２１は、例えばＭＰＥＧ４のＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）のように複数の視点からの映像が圧縮符号化された映像信号を復号するものとする。本実施形態では、復号部１２１は、映像信号を復号した結果、右眼用画像と左眼用画像を得ることができる。復号部１２１の復号処理により得られる左眼用画像はエラー検出部１２２ａ及び画像バッファ１２３ａに送られ、右眼用画像はエラー検出部１２２ｂ及び画像バッファ１２３ｂに送られる。
【００４４】
エラー検出部１２２ａは、復号部１２１の復号処理により得られる左眼用画像の中にエラーが起きている箇所を検出するものである。同様に、エラー検出部１２２ｂは、復号部１２１の復号処理により得られる右眼用画像の中にエラーが起きている箇所を検出するものである。デジタル放送において画像にエラーが生じる原因としては、例えば電波の受信電界が弱電界となって、受信した放送搬送波のＣ／Ｎ比が所定の閾値以下に低下する場合がある。
【００４５】
エラー検出部１２２ａは、左眼用画像の中にエラーが起きている箇所があれば、そのエラーが起きている箇所の情報（エラー情報）を画像補正部１２５ａに送る。復号後の画像にエラーが起きている箇所のエラー情報としては、例えばエラーが起きた画像のフレーム、エラーが起きている箇所の座標（ブロック）の情報などであってもよい。同様に、エラー検出部１２２ｂは、復号後の右眼用画像の中にエラーが起きている箇所があれば、そのエラーが起きている箇所の情報を画像補正部１２５ｂに送る。
【００４６】
なお、エラー検出部１２２ａ、１２２ｂによる画像中のエラー検出方法としては、例えば画像中のシンタックスの情報から検出する方法があるが、本発明においては、エラー検出部１２２ａ、１２２ｂによる画像中のエラー検出方法は所定の方法に限定されるものではない。
【００４７】
画像バッファ１２３ａは、復号部１２１の復号処理により得られる左眼用画像を一時的に溜め込んでおくものである。画像バッファ１２３ａに溜め込まれた左眼用画像はＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ  Ｆｉｒｓｔ−Ｏｕｔ）形式で順次取り出されていく。画像バッファ１２３ａに溜め込まれた左眼用画像は位相差検出部１２４及び画像補正部１２５ａに送られる。同様に、画像バッファ１２３ｂは、復号部１２１の復号処理により得られる右眼用画像を一時的に溜め込んでおくものであり、画像バッファ１２３ｂに溜め込まれた左眼用画像は位相差検出部１２４及び画像補正部１２５ｂに送られる。
【００４８】
位相差検出部１２４は、画像バッファ１２３ａ、１２３ｂから送られる、同一フレームの右眼用画像と左眼用画像との間の、両画像間の距離感に影響を与える情報（以下、そのような情報を「位相差情報」とも称する）を検出し、画像全体の位相差情報をマップ情報として生成するものである。右眼用画像と左眼用画像とから生成した画像全体の位相差のマップ情報は画像補正部１２５ａ、１２５ｂにおける画像補正処理に用いられる。
【００４９】
画像補正部１２５ａは、エラー検出部１２２ａから送られる左眼用画像についてのエラー情報、画像バッファ１２３ａから送られる左眼用画像、及び位相差検出部１２４で生成される位相差のマップ情報を用いて、左眼用画像のエラー箇所を補正する補正処理を実行するものである。同様に、画像補正部１２５ｂは、エラー検出部１２２ｂから送られる右眼用画像についてのエラー情報、画像バッファ１２３ｂから送られる右眼用画像、及び位相差検出部１２４で生成される位相差のマップ情報を用いて、右眼用画像のエラー箇所を補正する補正処理を実行するものである。
【００５０】
画像補正部１２５ａによる補正処理は以下のように行う。画像補正部１２５ａは、エラー検出部１２２ａから送られる左眼用画像についてのエラー情報を参照し、左眼用画像のエラー箇所を特定する。そのエラー箇所に対応する右眼用画像のデータを画像補正部１２５ｂから取得するが、その取得に際しては、位相差検出部１２４で生成される位相差のマップ情報における、エラー箇所の位相差情報を参照する。
【００５１】
なお、左右どちらかの画像にエラーが起きている場合には、位相差検出部１２４は、そのフレームのエラー箇所について位相差の情報を取得出来ない。そのような場合には、位相差検出部１２４は前後のフレームからエラー箇所に相当する場所の位相差情報を取得する。
【００５２】
このように位相差情報を参照することで、映像信号制御部１２０は、立体的な映像として表示する際にユーザに違和感を与えずに済ませることができる。画像補正部１２５ｂによる補正処理についても同様である。
【００５３】
図３に示したような構成を有することで、映像信号制御部１２０は、圧縮画像の伝送時等でエラーが片側の画像に発生した場合、他方の画像を用いることで画像の補正処理を行うことが出来る。その画像の補正処理の際に、左右の画像の位相差、すなわち左右の画像のずれを考慮して補正することで、立体映像として表示させる際にユーザに違和感を与えずに済むことができる。
【００５４】
以上、図３を用いて本発明の一実施形態にかかる表示装置１００に含まれる映像信号制御部１２０の構成について説明した。次に、本発明の一実施形態にかかる映像信号制御部１２０の動作について説明する。
【００５５】
［１−４．映像信号制御部の動作］
図４は、本発明の一実施形態にかかる映像信号制御部１２０の動作を示す流れ図である。以下、図４を用いて本発明の一実施形態にかかる映像信号制御部１２０の動作について説明する。
【００５６】
放送局等から伝送されてくる映像信号を表示装置１００で受信すると、その映像信号は映像信号制御部１２０でデコード処理される。具体的には、図３に示した復号部１２１が、ＭＰＥＧ４方式で圧縮伝送される映像信号を復号する（ステップＳ１０１）。そして上述したように、復号部１２１は、ＭＰＥＧ４のＭＶＣ方式によって圧縮伝送されてくる映像信号を復号することができる。
【００５７】
復号部１２１によりＭＰＥＧ４のＭＶＣ方式によって圧縮伝送されてくる映像信号が復号されると、右目用の画像と左目用の画像とが得られる。復号部１２１は、左目用の画像は画像バッファ１２３ａに、右目用の画像は画像バッファ１２３ｂにそれぞれ送る。復号部１２１から画像のデータを受けた画像バッファ１２３ａ、１２３ｂは、それぞれ復号部１２１から受け取った画像のデータを位相差検出部１２４に送る。
【００５８】
位相差検出部１２４は、画像バッファ１２３ａ、１２３ｂが右目用、左目用それぞれの画像のデータを受け取ると、その２枚の画像のデータを比較して、右目用の画像と左眼用の画像がどの程度ずれているかを把握するために、画面全体について位相差情報を検出し、位相差情報のマップ（以下、画面全体について生成した位相差情報のマップを「位相差マップ」とも称する）をフレームごとに作成する（ステップＳ１０２）。
【００５９】
また、この位相差検出部１２４による位相差マップの生成と並行して、エラー検出部１２２ａ、１２２ｂは、復号部１２１が復号した画像にエラーが生じているかどうかを検出する（ステップＳ１０３）。復号部１２１が復号した画像にエラーが発生する原因としては、例えば伝送時における伝送誤り等がある。画像中にエラーが発生した箇所を特定する方法としては様々なものがあり、本実施形態においては、このステップＳ１０３におけるエラー検出は特定の方法に限定されるものではない。
【００６０】
エラー検出部１２２ａ、１２２ｂは、右目用、左目用それぞれの画像に対してエラー箇所を検出すると、そのエラー箇所の情報を画像補正部１２５ａ、１２５ｂに送る。エラー検出部１２２ａ、１２２ｂから画像補正部１２５ａ、１２５ｂに送るエラー箇所の情報としては、例えばエラーが発生したフレーム、エラーが発生した箇所の座標またはブロック等であっても良い。
【００６１】
位相差検出部１２４によって位相差マップが生成され、エラー検出部１２２ａ、１２２ｂによって復号部１２１が復号した画像にエラーが発生していることが検出されると、画像補正部１２５ａ、１２５ｂは、これらの情報を用いて、エラーが発生した箇所をエラーの無いデータに置き換えることで、画像バッファ１２３ａ、１２３ｂから送られる画像データを補正する（ステップＳ１０４）。
【００６２】
具体的には、画像補正部１２５ａ、１２５ｂは、エラー検出部１２２ａ、１２２ｂからエラー発生箇所についての情報を受け取ると、反対側の画像からエラーの無い画像を取り出して、エラーが発生した箇所に置き換える。この置換えの際には、画像補正部１２５ａ、１２５ｂは、位相差検出部１２４が生成した当該フレームの位相差マップ、または前後のフレームの位相差マップを参照し、位相差を考慮してエラーの無い画像を取得する。
【００６３】
図５は、画像補正部１２５ａ、１２５ｂにより画像補正処理を概念的に図示する説明図である。図５は、右眼用画像（Ｒｃｈ）にエラーが生じている場合に、左眼用画像（Ｌｃｈ）からデータを取得して右眼用画像のエラー部分を置き換える場合を示したものである。従って、図５に示す処理は右眼用画像に対する画像補正処理を行う画像補正部１２５ｂが実行するものである。
【００６４】
ここで画像補正部１２５ｂは、右眼用画像を置き換える際に、位相差検出部１２４が生成した当該フレームの位相差マップ、または前後のフレームの位相差マップを参照し、位相差情報を加味した補正を実行する。これにより左右の画像間の位相差を考慮した画像の補正処理が可能になり、立体的な映像として画像表示部１１０に表示する際に、ユーザに違和感を与えない表示ができる。
【００６５】
ここで位相差検出部１２４による位相差マップの生成処理の概要を説明する。図６は、右眼用画像と左眼用画像とを比較して位相差マップを生成する際の概要を図示する説明図である。
【００６６】
図６に図示した「Ｉ」はＩピクチャを、「Ｐ」はＰピクチャを、「Ｂ」はＢピクチャをそれぞれ示しており、復号部１２１はこのＩピクチャ、Ｐピクチャ、Ｂピクチャから画像を生成する。図６に示した例では、復号部１２１は、左眼用の画像を基準としており、この左眼用の画像のＩピクチャと同一フレームのＰピクチャから右眼用の画像を生成していることになる。
【００６７】
このようにＩピクチャ、Ｐピクチャ及びＢピクチャから順次生成される右眼用画像と左眼用画像とから、位相差検出部１２４は２枚の画像の位相差を取得して位相差マップを生成することになる。
【００６８】
しかし、片方の画像にエラーが含まれている場合には、位相差検出部１２４はそのフレームについては位相差マップを完全に生成することが出来ない場合がある。図７は、そのような場合を図示したものである。図７は、時刻Ｔ５に対応するフレームの片側（右眼用画像）にエラーが発生した場合を示したものである。
【００６９】
この場合、時刻Ｔ５に対応するフレームでは、位相差マップを完全に生成することが出来ない。従って、このフレームでエラーが発生した場合には、右眼用画像を補正する画像補正部１２５ｂは、位相差検出部１２４が生成した前後のフレームにおける位相差マップから、エラー箇所に対応する位置の位相差情報を用いてエラー箇所の補正処理を実行する。エラーが発生したフレームの前後のフレームからエラー箇所に対応する位置の位相差情報を用いる際に、補間処理によって当該フレームの位相差情報を求めても良い。またエラーが発生したフレームの前後のフレームからエラー箇所に対応する位置の位相差情報を用いる際には、直前及び直後のフレームのみの位相差情報を用いてもよく、前後それぞれ複数のフレームの位相差情報を用いてもよい。
【００７０】
このような補正処理により、エラーの発生によって位相差マップが生成出来ていないフレームであっても位相差検出部１２４が生成した前後のフレームについての位相差マップを用いることで、ユーザに違和感を与えないように画像を補正することができる。
【００７１】
なお、画像補正部１２５ａ、１２５ｂは、エラー箇所の補正の際に、そのエラーが発生しているフレームの位相差マップの、エラー箇所の周囲の箇所の位相差情報を用いて、エラー箇所を補正するようにしてもよい。
【００７２】
以上、図４を用いて本発明の一実施形態にかかる映像信号制御部１２０の動作について説明した。ここで、上述した映像信号制御部１２０の処理を応用することで、（例えばストレージメディアに保存されている）動画コンテンツの、早送り等のスキップ再生時に情報が欠落していたために復号部１２１が復号出来なかった画像を、位相差マップを用いて生成することができる。
【００７３】
図８は、画像補正部１２５ａ、１２５ｂが、一方の画像からマップを用いて他方の画像を生成する際の概要を図示する説明図である。
【００７４】
図８に示した例によれば、時刻Ｔ０に対応するフレームにおいて、ＩピクチャＩ０から左眼用画像が復号部１２１によって復号され、ＩピクチャＩ０およびＰピクチャＰ０から右眼用画像が同じく復号部１２１によって復号される。そして、位相差検出部１２４は復号部１２１によって復号されて得られる右眼用画像と左眼用画像とから位相差情報を検出して位相差マップを作成する。
【００７５】
その後、動画コンテンツのスキップ再生が行われ、時刻Ｔ８に対応するフレームにスキップしたとする。そしてこの場合において、ＩピクチャＩ０から左眼用画像が復号部１２１によって復号されるが、ＰピクチャＰ０の情報の欠落によって右眼用画像が正しく復号出来ず、右眼用画像がエラーを含んだ画像になったとする。
【００７６】
その場合に、右眼用画像を補正する画像補正部１２５ｂは、左眼用画像と、時刻Ｔ０に対応するフレームの右眼用画像と左眼用画像とから生成された位相差マップとを用いて、右眼用画像を補正するエラー補正処理を実行する。これにより、スキップ再生の際に情報の欠落等によって正常に復号出来なかった場合であっても、位相差マップを用いてエラー箇所を補正し、立体的な映像としてユーザに違和感を与えないような再生を行うことが出来る。
【００７７】
［１−５．映像信号制御部の変形例］
次に、映像信号制御部１２０の変形例について説明する。上述の説明では、左眼用画像または右眼用画像に対してエラーが発生している箇所を補正する処理について説明した。しかし、圧縮画像の伝送時のエラーが多く発生し、エラー箇所が含まれる画像が多くなると、立体映像として表示するより通常の映像（二次元映像）として表示する方が望ましい場合もある。
【００７８】
図９は、映像信号制御部１２０の変形例である映像信号制御部１２０’の機能構成を示す説明図である。図９に示した映像信号制御部１２０’は、図３に示した映像信号制御部１２０に画像補正部１２５ｃが追加されたものである。画像補正部１２５ｃは、復号部１２１の復号処理によって得られる右眼用画像と左眼用画像とから、二次元映像の元となる画像を生成して出力するものである。
【００７９】
図９では、画像補正部１２５ｃからは右眼用画像を出力するライン（Ｒ）と左眼用画像を出力するライン（Ｌ）の両方へ補正後の画像を出力しているが、２つのラインにはいずれも同じ画像を出力する。これにより、画像表示部１１０に二次元映像を表示させることができる。
【００８０】
そして画像補正部１２５ｃは、エラー検出部１２２ａ、１２２ｂからエラー情報を受取って、エラーの発生数が所定の閾値を超えると（例えば所定の期間にエラーが所定回数以上発生していれば）、映像信号制御部１２０’は画像補正部１２５ｃによる補正処理に切り替えて、立体的映像ではなく二次元映像を出力する。
【００８１】
画像補正部１２５ｃは、右眼用画像と左眼用画像とから、二次元映像の元となる画像を生成する際には、位相差検出部１２４で生成される位相差マップから、エラー部分の位相差情報を用いて、右眼用画像及び左眼用画像の画像からエラーの無い部分を切り出して合成する。使用する位相差情報は、上述のように、エラーが起きているフレームの位相差情報を用いてもよく、エラーが起きているフレームの前後所定のフレームの位相差情報を用いてもよい。
【００８２】
なお、エラーの発生による二次元映像と立体的映像との切り替えは、上述のようにエラーの発生数が所定の閾値を超えた場合に（例えば所定の期間にエラーが所定回数以上発生した場合に）自動的に切り替えるようにしてもよく、ユーザ操作によって自動的に切り替えられるようにしてもよい。
【００８３】
＜２．まとめ＞
以上説明したように本発明の一実施形態にかかる表示装置１００は、ＭＰＥＧ４のＭＶＣのように複数（例えば２つ）の視点からの映像が圧縮符号化された映像信号を復号して、立体的な映像として表示する際に、片側の画像にエラー箇所があれば、そのエラー箇所を補正することで立体的な映像としてユーザに違和感を与えないように表示することが出来る。
【００８４】
映像信号制御部１２０においては、復号部１２１の復号処理によって得られる右眼用画像と左眼用画像とから、位相差検出部１２４で位相差情報を検出して、画像全体について位相差マップを作成しておく。そして、エラー箇所の補正に際しては、位相差検出部１２４が生成した位相差マップを用いて、エラーが発生している箇所を、位相差情報を考慮した上で、他方の画像に置き換える。このようにエラー箇所を補正することで立体的な映像としてユーザに違和感を与えないように表示することが出来る。
【００８５】
位相差情報を考慮した上で補正を行う際には、エラーが起きているフレームの位相差情報を用いてもよく、エラーが起きているフレームの前後所定のフレームの位相差情報を用いてもよい。
【００８６】
上述した一連の補正処理は、ハードウェアによって実行してもよく、ソフトウェアによって実行してもよい。ソフトウェアによって実行する場合には、例えばプログラムが格納された記録媒体を表示装置１００に内蔵してもよい。そして、かかるプログラムを、表示装置１００に内蔵したＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）その他の制御装置が読み出して順次実行するようにしてもよい。
【００８７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８８】
例えば、上記実施形態では、画像補正部１２５ａ、１２５ｂは、位相差情報はエラーが発生したフレーム、またはエラーが発生した前後のフレームから取得して補正処理を実行していたが、エラー箇所の範囲の大きさによって位相差情報をどこから取得するか決定してもよい。例えば画像補正部１２５ａ、１２５ｂは、エラーが起きている箇所の範囲が小さければ同一フレームのエラー箇所の周囲の位相差情報を用いてエラー箇所を補正し、エラーが起きている箇所の範囲が大きければ前後のフレームのエラー箇所の位相差情報を用いてエラー箇所を補正してもよい。エラー箇所の大きさに応じて位相差情報の取得元を変化させて、エラー箇所をエラーの無い画像に置き換えることで、表示装置１００は、より効果的で立体視させた場合に違和感のない画像をユーザに提示することができる。
【産業上の利用可能性】
【００８９】
本発明は、映像表示装置、映像表示方法及びコンピュータプログラムに適用可能であり、特に時分割で異なる映像を表示する映像表示装置、映像表示方法及びコンピュータプログラムに適用可能である。
【符号の説明】
【００９０】
１００    表示装置
１１０    画像表示部
１２０    映像信号制御部
１２１    復号部
１２２ａ、１２２ｂ    エラー検出部
１２３ａ、１２３ｂ    画像バッファ
１２４    位相差検出部
１２５ａ、１２５ｂ、１２５ｃ    画像補正部
１３０    シャッタ制御部
１４０    タイミング制御部
【図１】
2011239148.tif 000003
【図２】
2011239148.tif 000004
【図３】
2011239148.tif 000005
【図４】
2011239148.tif 000006
【図５】
2011239148.tif 000007
【図６】
2011239148.tif 000008
【図７】
2011239148.tif 000009
【図８】
2011239148.tif 000010
【図９】
2011239148.tif 000011