(57)【要約】【課題】少ない処理負荷で且つ省メモリーで、適当な深度を付けたグラフィック・データを立体映像に重畳表示する。【解決手段】左眼用及び右眼用で共用するＯＳＤ情報を１面のＯＳＤプレーンに描画する。左眼用映像フレームの表示時と右眼用映像フレームの表示時とで、深度すなわち左眼用映像と右眼用映像の間の視差に相当する時間差だけＯＳＤプレーンからＯＳＤ情報を読み出すタイミングをずらすと、左眼用映像フレームと右眼用映像フレームとで水平方向の表示位置が読み出しタイミングの時間差だけ変位し、これが観察者には深度として映る。【選択図】  図６Ａ
2012085166.tif 000002
【特許請求の範囲】
【請求項１】
左眼用映像フレーム及び右眼用映像フレームを時分割で交互に入力する立体映像入力部と、
映像フレームに重畳するグラフィック・データを保持するプレーン・メモリーと、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とで前記プレーン・メモリーからグラフィック・データを読み出すときに位相差を付ける読み出し位相付加部と、
読み出し位相に差が付けられた各グラフィック・データを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳する映像重畳部と、
を具備する映像信号処理装置。
【請求項２】
前記読み出し位相付加部は、前記プレーン・メモリーに描画された描画オブジェクト単位、又は、ビットマップ単位で、読み出し位相に差を付ける、
請求項１に記載の映像信号処理装置。
【請求項３】
前記読み出し位相付加部は、
前記プレーン・メモリーに描画された描画オブジェクト単位、又は、ビットマップ単位で、深度情報を保持する深度情報保持部と、
左眼用映像フレーム及び右眼用映像フレームの各表示タイミングで読み出したグラフィック・データを保持し、前記深度情報保持部に保持された深度情報に基づいて遅延量を設定して、左眼用映像フレームの表示時と右眼用映像フレームの表示時とで位相差を付ける視差付加部と、
を有する映像信号処理装置。
【請求項４】
左眼用映像フレーム及び右眼用映像フレームの各表示タイミングで読み出したグラフィック・データを前記深度情報保持部に保持された深度情報に基づいて拡大又は縮小するグラフィック・データ拡大縮小部をさらに備える、
請求項３に記載の映像信号処理装置。
【請求項５】
左眼用映像フレーム及び右眼用映像フレームを時分割で交互に入力する立体映像入力部と、
映像フレームに重畳する描画オブジェクト毎の１以上のウィンドウで構成されるプレーン・メモリーと、
各ウィンドウの深度情報を保持する深度情報保持部と、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とでウィンドウを前記プレーン・メモリーから読み出すときの位相差を、前記深度情報保持部に保持されている深度情報に基づいて変える読み出し位相付加部と、
読み出し位相に差がつけられた各ウィンドウを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳する映像重畳部と、
を具備する映像信号処理装置。
【請求項６】
各ウィンドウを前記深度情報保持部に保持された深度情報に基づいて拡大又は縮小するウィンドウ拡大縮小部をさらに備える、
請求項３に記載の映像信号処理装置。
【請求項７】
映像フレームに重畳するグラフィック・データをプレーン・メモリーに保持するステップと、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とで読み出し位相に差を付けて前記プレーン・メモリーからグラフィック・データを読み出すステップと、
読み出し位相に差が付けられた各グラフィック・データを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳するステップと、
を有する映像信号処理方法。
【請求項８】
映像フレームに重畳する描画オブジェクト毎にプレーン・メモリーの該当するウィンドウに保持するステップと、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とで深度情報に基づく読み出し位相に差を付けて前記プレーン・メモリーからウィンドウを読み出すステップと、
読み出し位相に差が付けられた各ウィンドウを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳するステップと、
を有する映像信号処理方法。
【請求項９】
映像信号の処理をコンピューター上で実行するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
左眼用映像フレーム及び右眼用映像フレームを時分割で交互に入力する立体映像入力部、
映像フレームに重畳するグラフィック・データを保持するプレーン・メモリー、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とで前記プレーン・メモリーからグラフィック・データを読み出すときに位相差を付ける読み出し位相付加部、
読み出し位相に差が付けられた各グラフィック・データを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳する映像重畳部、
として機能させるためのコンピューター・プログラム。
【請求項１０】
映像信号の処理をコンピューター上で実行するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
左眼用映像フレーム及び右眼用映像フレームを時分割で交互に入力する立体映像入力部、
映像フレームに重畳する描画オブジェクト毎の１以上のウィンドウで構成されるプレーン・メモリー、
各ウィンドウの深度情報を保持する深度情報保持部、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とでウィンドウを前記プレーン・メモリーから読み出すときの位相差を、前記深度情報保持部に保持されている深度情報に基づいて変える読み出し位相付加部、
読み出し位相に差がつけられた各ウィンドウを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳する映像重畳部、
として機能させるためのコンピューター・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、左眼用映像信号及び右眼用映像信号からなる立体映像を処理する映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラムに係り、特に、文字や図形などのグラフィック表示を立体映像に重畳する映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラムに関する。
【背景技術】
【０００２】
左右の眼に視差のある映像を表示することで、観察者に立体的に見える立体映像を提示することができる。立体映像を提示する方式の１つとして、観察者に特殊な光学特性を持った眼鏡をかけさせ、両眼に視差をつけた画像を提示するものが挙げられる。
【０００３】
例えば、時分割立体映像表示システムは、互いに異なる複数の映像を時分割で表示する表示装置と、映像の観察者がかけるシャッター眼鏡の組み合わせからなる。表示装置は、視差のある左眼用映像及び右眼用映像を非常に短い周期で交互に画面表示する。一方、観察者が装着したシャッター眼鏡は、左眼部及び右眼部にそれぞれ液晶レンズなどで構成されるシャッター機構を備えている。シャッター眼鏡は、左眼用映像がディスプレイされる間に、シャッター眼鏡の左眼部が光を透過させ、右眼部が遮光する。また、右眼用映像がディスプレイされる間に、シャッター眼鏡の右眼部が光を透過させ、左眼部が遮光する（例えば、特許文献１〜３を参照のこと）。すなわち、表示装置による左眼用映像及び右眼用映像の時分割表示と、表示装置の表示切り換えに同期してシャッター眼鏡がシャッター機構により画像選択を行なうことで、観察者に立体映像が提示される。
【０００４】
他方、映像技術分野において、ＯＳＤ（Ｏｎ ＳＣｒｅｅｎ Ｄｉｓｐｌａｙ）などの文字や図形などのグラフィックを本来の映像に重畳して表示する技術が知られている。
【０００５】
文字図形などのグラフィック・データに関しても、左眼用の表示と右眼用の表示とで視差があれば、立体映像と同様に立体視することができる。奥行き方向の配置位置を考慮して、適当な深度を付けてＯＳＤ情報を立体映像に重畳させれば、ＯＳＤ情報と立体映像とを見ることによる目の疲労をより軽減することができる（例えば、特許文献４を参照のこと）。
【０００６】
例えば、左眼用及び右眼用にそれぞれ独立したＯＳＤプレーンを装備し、左眼用及び右眼用に描画されるオブジェクトにそれぞれの深度に応じた位相差をつけて対応するＯＳＤプレーンに書き込み、左眼用映像には左眼用のＯＳＤプレーンを重畳するとともに右眼用映像には右眼用のＯＳＤプレーンを重畳して時分割表示することで、映像とともに文字図形についても立体視することができる。
【０００７】
しかしながら、上記の方法により文字図形を立体表示しようとすると、左眼用及び右眼用の１組のＯＳＤ情報を描画する必要があり、２次元映像でＯＳＤ表示する場合に比べると２倍の描画処理を行なわなければならず、描画エンジンの描画能力強化が要求される。また、左眼用及び右眼用にそれぞれ独立した（すなわち、２画面分の）ＯＳＤプレーンが必要になるため、２次元映像でＯＳＤ表示する場合に比べると２倍のメモリー領域を消費し、その分だけ装置コストが増大する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平９−１３８３８４号公報
【特許文献２】特開２０００−３６９６９号公報
【特許文献３】特開２００３−４５３４３号公報
【特許文献４】特開２００９−１３５６８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、左眼用映像信号及び右眼用映像信号からなる立体映像に対し、文字や図形などのグラフィック・データを適当な深度を付けて重畳表示することができる、優れた映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラムを提供することにある。
【００１０】
本発明のさらなる目的は、少ない処理負荷で且つ省メモリーで、適当な深度を付けたグラフィック・データを立体映像に重畳表示することができる、優れた映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の発明は、
左眼用映像フレーム及び右眼用映像フレームを時分割で交互に入力する立体映像入力部と、
映像フレームに重畳するグラフィック・データを保持するプレーン・メモリーと、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とで前記プレーン・メモリーからグラフィック・データを読み出すときに位相差を付ける読み出し位相付加部と、
読み出し位相に差が付けられた各グラフィック・データを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳する映像重畳部と、
を具備する映像信号処理装置である。
【００１２】
本願の請求項２に記載の発明によれば、請求項１に記載の映像信号処理装置の読み出し位相付加部は、前記プレーン・メモリーに描画された描画オブジェクト単位、又は、ビットマップ単位で、読み出し位相に差を付けるように構成されている。
【００１３】
本願の請求項３に記載の発明によれば、請求項１に記載の映像信号処理装置の読み出し位相付加部は、前記プレーン・メモリーに描画された描画オブジェクト単位、又は、ビットマップ単位で、深度情報を保持する深度情報保持部と、左眼用映像フレーム及び右眼用映像フレームの各表示タイミングで読み出したグラフィック・データを保持し、前記深度情報保持部に保持された深度情報に基づいて遅延量を設定して、左眼用映像フレームの表示時と右眼用映像フレームの表示時とで位相差を付ける視差付加部で構成されている。
【００１４】
本願の請求項４に記載の発明によれば、請求項３に記載の映像信号処理装置は、左眼用映像フレーム及び右眼用映像フレームの各表示タイミングで読み出したグラフィック・データを前記深度情報保持部に保持された深度情報に基づいて拡大又は縮小するグラフィック・データ拡大縮小部をさらに備えている。
【００１５】
また、本願の請求項５に記載の発明は、
左眼用映像フレーム及び右眼用映像フレームを時分割で交互に入力する立体映像入力部と、
映像フレームに重畳する描画オブジェクト毎の１以上のウィンドウで構成されるプレーン・メモリーと、
各ウィンドウの深度情報を保持する深度情報保持部と、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とでウィンドウを前記プレーン・メモリーから読み出すときの位相差を、前記深度情報保持部に保持されている深度情報に基づいて変える読み出し位相付加部と、
読み出し位相に差がつけられた各ウィンドウを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳する映像重畳部と、
を具備する映像信号処理装置である。
【００１６】
本願の請求項６に記載の発明によれば、請求項５に記載の映像信号処理装置は、各ウィンドウを前記深度情報保持部に保持された深度情報に基づいて拡大又は縮小するウィンドウ拡大縮小部をさらに備えている。
【００１７】
また、本願の請求項７に記載の発明は、
映像フレームに重畳するグラフィック・データをプレーン・メモリーに保持するステップと、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とで読み出し位相に差を付けて前記プレーン・メモリーからグラフィック・データを読み出すステップと、
読み出し位相に差が付けられた各グラフィック・データを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳するステップと、
を有する映像信号処理方法である。
【００１８】
また、本願の請求項８に記載の発明は、
映像フレームに重畳する描画オブジェクト毎にプレーン・メモリーの該当するウィンドウに保持するステップと、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とで深度情報に基づく読み出し位相に差を付けて前記プレーン・メモリーからウィンドウを読み出すステップと、
読み出し位相に差が付けられた各ウィンドウを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳するステップと、
を有する映像信号処理方法である。
【００１９】
また、本願の請求項９に記載の発明は、
映像信号の処理をコンピューター上で実行するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
左眼用映像フレーム及び右眼用映像フレームを時分割で交互に入力する立体映像入力部、
映像フレームに重畳するグラフィック・データを保持するプレーン・メモリー、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とで前記プレーン・メモリーからグラフィック・データを読み出すときに位相差を付ける読み出し位相付加部、
読み出し位相に差が付けられた各グラフィック・データを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳する映像重畳部、
として機能させるためのコンピューター・プログラムである。
【００２０】
また、本願の請求項１０に記載の発明は、
映像信号の処理をコンピューター上で実行するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
左眼用映像フレーム及び右眼用映像フレームを時分割で交互に入力する立体映像入力部、
映像フレームに重畳する描画オブジェクト毎の１以上のウィンドウで構成されるプレーン・メモリー、
各ウィンドウの深度情報を保持する深度情報保持部、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とでウィンドウを前記プレーン・メモリーから読み出すときの位相差を、前記深度情報保持部に保持されている深度情報に基づいて変える読み出し位相付加部、
読み出し位相に差がつけられた各ウィンドウを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳する映像重畳部、
として機能させるためのコンピューター・プログラムである。
【００２１】
本願の請求項９、１０に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項９又は１０に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１又は５に係る映像信号処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００２２】
本発明によれば、少ない処理負荷で且つ省メモリーで、適当な深度を付けたグラフィック・データを立体映像に重畳表示することができる、優れた映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラムを提供することができる。
【００２３】
本発明によれば、グラフィック・データを保持するために左眼用及び右眼用で独立したプレーン・メモリーを持たず、左眼用及び右眼用で１面のプレーン・メモリーを共用するので、グラフィック・データの描画処理が低負荷となり、且つ、グラフィック・データを保持するプレーン・メモリーを小容量にすることができる。プレーン・メモリーは通常の２次元映像表示のときと同じサイズで済む。
【００２４】
本発明によれば、左眼用及び右眼用で共用する１面のプレーン・メモリーからの読み出しタイミングに位相差を設けることで、グラフィック・データに適当な深度を付けて左眼用映像フレーム及び右眼用映像フレームに重畳することができる。立体映像とともにグラフィック・データも立体視できるので、観察者の目の疲労を軽減することができる。
【００２５】
また、本発明によれば、左眼用映像フレーム及び右眼用映像フレームに重畳するグラフィック・データを、深度情報に基づいて拡大又は縮小処理することにより、視覚上の深度（距離）の感覚を強調することができる。
【００２６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２７】
【図１Ａ】図１Ａは、映像表示システムの構成例を模式的に示した図である。
【図１Ｂ】図１Ｂは、映像表示システムの構成例を模式的に示した図である。
【図２】図２は、表示装置１１の内部構成例を示した図である。
【図３】図３は、シャッター眼鏡１３の内部構成例を示した図である。
【図４】図４は、Ｌサブフレーム期間におけるシャッター眼鏡１３の制御動作を示した図である。
【図５】図５は、Ｒサブフレーム期間におけるシャッター眼鏡１３の制御動作を示した図である。
【図６Ａ】図６Ａは、立体映像にＯＳＤ情報を重畳するための機能的構成を模式的に示した図である。
【図６Ｂ】図６Ｂは、立体映像に重畳するＯＳＤ情報を深度に基づいて拡大又は縮小するための機能的構成を模式的に示した図である。
【図７】図７は、立体映像に重畳されるＯＳＤ情報に視差を付加する様子を示した図である。
【図８Ａ】図８Ａは、立体映像にＯＳＤ情報を重畳するための他の機能的構成例を模式的に示した図である。
【図８Ｂ】図８Ｂは、立体映像に重畳するＯＳＤ情報を深度に基づいて拡大又は縮小するための機能的構成を模式的に示した図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００２９】
図１には、映像表示システムの構成例を模式的に示している。映像表示システムは、３次元表示（立体視）対応の表示装置１１と、左眼部及び右眼部にそれぞれシャッター機構を備えたシャッター眼鏡１３の組み合わせからなる。図１Ａに示す例では、表示装置１１に外部端子を介して接続された通信部１２とシャッター眼鏡１３間で無線信号が送受信される。また、図１Ｂに示す例では、表示装置１１本体に内蔵された通信部１２とシャッター眼鏡１３間で無線信号が送受信される。
【００３０】
表示装置とシャッター眼鏡間の通信手段として、赤外線通信を利用するものも多いが、本実施形態では、ＩＥＥＥ８０２．１５．４などの、電波通信によるワイヤレス・ネットワークを用いる。図１に示したシステム構成例では、表示装置１１とシャッター眼鏡１３が１対１で通信を行なうが、表示装置１１の通信部１２がアクセスポイントとして動作して、それぞれ端末局として動作する複数のシャッター眼鏡を収容することも可能である。
【００３１】
立体映像表示に用いる表示装置は、特定の方式に限定されるものではない。例えば、旧来のＣＲＴ（Ｃａｔｈｏｄ  Ｒａｙ  Ｔｕｂｅ）ディスプレイの他、プラズマ・ディスプレイ・パネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、エレクトロ・ルミネッセンス（ＥＬ）パネルを用いることができる。以下では、表示装置１１は液晶ディスプレイであるとする。
【００３２】
図２には、表示装置１１の内部構成例を示している。但し、同図では、ワイヤレス・ネットワークの通信部を本体に内蔵した表示装置（図１Ｂを参照のこと）とする。以下では、各部について説明する。
【００３３】
立体視番組を放送する放送波を、アンテナ２０４で受信することができる。チューナー回路２０５は、アンテナ２０４から放送波を入力すると、所望するストリームを選択する。ＭＰＥＧデコーダー２０６は、チューナー回路２０５が選択したストリームから、映像信号と音声信号を抽出する。
【００３４】
また、放送波以外の映像信号の入手経路として、ディジタル・インターフェースであるＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）端子２１４に接続された外部ソース機器（図示しない）から立体視コンテンツが入力される場合や、インターネット経由で立体視コンテンツ配信を受信する場合を挙げることができる。
【００３５】
ＨＤＭＩ受信回路２１５は、ＨＤＭＩ端子２１４に接続された外部ソース機器からの入力信号を、映像信号処理回路２０７及び音声信号処理回路２１１に振り分ける。また、ネットワーク端子２１７からの受信信号は、イーサネット（登録商標）インターフェースなどの通信処理回路２１６を介してＭＰＥＧデコーダー２０６に入力される。ＭＰＥＧデコーダー２０６は、受信信号から映像信号と音声信号を抽出する。
【００３６】
映像信号は、映像信号処理回路２０７に入力され、必要な信号処理が施される。映像信号処理回路２０７が行なう信号処理には、例えば色度点補正や輝度低減などの画像補正処理が含まれる。パネル駆動回路２０９は、表示パネル２１０のゲート・ドライバー及びデータ・ドライバー（いずれも図示しない）の駆動タイミングを制御するとともに、映像信号処理回路２０７から供給される映像信号をデータ・ドライバーに供給する。パネル駆動回路２０９は、映像信号に対してオーバードライブ処理を行なうようにしてもよい。
【００３７】
グラフィック処理回路２０８は、必要に応じて文字や図形などからなるＯＳＤ情報を生成して、映像信号処理回路２０７から出力される映像信号に重畳する。グラフィック処理回路２０８は、例えば、内部バス２１８経由でＣＰＵ２１９から受け取った描画指令に従って、ＯＳＤ情報を生成する。又は、ＣＰＵ２１９からグラフィック処理回路２０８へ内部バス２１８経由でＯＳＤ情報が転送される。グラフィック処理回路２０８は、描画すべきＯＳＤ情報を一時的に保持するためのＯＳＤプレーンを備え、ＯＳＤ表示時には映像信号に同期してＯＳＤ情報を読み出して重畳処理して後段のパネル駆動回路２０９に出力する。本実施形態では、立体映像信号を表示出力する際には、これに重畳表示するＯＳＤ情報にも適当な深度が付けられるが、その処理の詳細については後述に譲る。
【００３８】
また、音声信号は、音声信号処理回路２１１に入力され、必要な信号処理が施された後、音声増幅回路２１２で所望される音声レベルに増幅されて、スピーカー２１３を駆動する。
【００３９】
映像信号処理回路２０７は、映像信号を処理すると同時に、シャッター眼鏡のシャッターの開閉制御に必要なフレーム切り替え信号を生成して、制御回路２２４に入力する。制御回路２２４は、入力されたフレーム切り替え信号のタイミングに基づいて、シャッター眼鏡側の左右のシャッターの開閉タイミングを指示する開放制御信号を生成する。開放制御信号は、通信部２０３からシャッター眼鏡へ電波通信により無線伝送される。
【００４０】
ユーザーがリモコン２２３で表示装置１１をリモコン操作して、赤外線送信された制御コードは、リモコン受信部２２２で受信される。図２に示す例では、リモコン操作には赤外線通信方式が用いられるが、通信部２０３をリモコン操作にも兼用してもよい。
【００４１】
表示装置１１全体を制御するために、ＣＰＵ２１９、フラッシュＲＯＭ２２０、ＤＲＡＭ２１などの回路コンポーネントが装備されている。リモコン受信部２２２（又は、通信部２０３）で受信した制御コードは、内部バス２１８を介してＣＰＵ２１９に転送される。ＣＰＵ２１９は、制御コードを解読して、表示装置１１の動作を制御する。また、通信部２０３で受信した眼鏡情報は、制御回路２２４を介してＣＰＵ２１９に入力される。ＣＰＵ２１９は、演算した情報とともに、眼鏡情報をフラッシュＲＯＭ２２０に記憶させる。
【００４２】
図３には、シャッター眼鏡１３の内部構成例を示している。シャッター眼鏡１３は、表示装置１１と電波通信により無線信号を送受信する通信部３０５と、制御部３０６と、眼鏡情報やその他のデータを記憶する記憶部３１０と、それぞれ液晶素材からなる左眼用シャッター３０８及び右眼用シャッター３０９と、シャッター駆動回路３０７を備えている。
【００４３】
表示装置１１からシャッター眼鏡１３へ送信される無線信号は、例えばシャッター眼鏡側の左右のシャッターの開閉タイミングを指示する開放制御信号である。通信部３０５は、開放制御信号を受信すると、制御部３０６に入力する。制御部３０６は、開放制御信号を解読して、左右の各シャッター３０８、３０９の開閉タイミングを判別し、その判別結果に基づいて、シャッター駆動回路３０７を介して左右の各シャッター３０８、３０９の開閉動作を制御する。
【００４４】
図４には、Ｌサブフレーム期間におけるシャッター眼鏡１３の制御動作を示している。図示のように、Ｌサブフレーム期間には、表示装置１１側の通信部２０３から無線伝送される開閉制御信号により、左眼用シャッター３０９を開成状態、右眼用シャッター３０９を閉成状態とし、左眼用映像Ｌに基づく表示光ＬＬが鑑賞者の左眼にのみ到達する。また、図５には、Ｒサブフレーム期間におけるシャッター眼鏡１３の制御動作を示している。図示のように、Ｒサブフレーム期間には、表示装置１１からの開閉制御信号により、右眼用シャッター３０９を開成状態、左眼用シャッター３０８を閉成状態とし、右眼用映像Ｒに基づく表示光ＲＲが鑑賞者の右眼にのみ到達する。
【００４５】
表示装置１１において立体映像を表示出力する際、重畳表示する文字図形などのＯＳＤ情報についても適当な深度を付けると、ＯＳＤ情報と立体映像とを見ることによる目の疲労をより軽減することができる。しかしながら、左眼用及び右眼用それぞれ独立のＯＳＤ情報を描画すると、本来は同じ内容にもかかわらず描画処理を２回行なうことになるとともに、これらを書き込むために２枚のＯＳＤプレーンが必要になり、描画処理の負荷が高くなるとともに、メモリー資源を消費するという問題がある。
【００４６】
これに対し、本発明者は、立体視できるＯＳＤ情報を少ない処理負荷で描画し、且つ小容量のＯＳＤプレーンを用いて、深度を付けたＯＳＤ情報を立体映像に重畳して表示できる実施形態について提案する。本実施形態では、左眼用及び右眼用で独立したＯＳＤプレーンを持たず、左眼用及び右眼用で共用するＯＳＤ情報を１面のＯＳＤプレーンに描画する。そして、立体映像にＯＳＤ情報を重畳表示する際には、ＯＳＤプレーンからＯＳＤ情報を読み出すタイミングをずらすことで、ＯＳＤ情報に適当な深度を付ける。左眼用映像フレームの表示時と右眼用映像フレームの表示時とで、深度すなわち左眼用映像と右眼用映像の間の視差に応じた遅延量だけＯＳＤプレーンからＯＳＤ情報を読み出すタイミングに位相差を設ける。ＯＳＤプレーン上での座標位置が同じＯＳＤ情報であっても、左眼用映像フレームと右眼用映像フレームとで水平方向の表示位置が読み出しタイミングの位相差だけ変位することから、これが観察者には視差として映り、ＯＳＤ情報の立体視を実現することができる。
【００４７】
図２に示した表示装置１１では、映像へのＯＳＤ情報の重畳処理はグラフィック処理回路２０８内で行なわれる（前述）。したがって、立体映像を表示する際に、ＯＳＤ情報に深度を付加するための処理をグラフィック処理回路２０８内で行なうようにしてもよい。
【００４８】
図６Ａには、立体映像にＯＳＤ情報を重畳するための機能的構成を模式的に示している。図示の機能的構成は、例えばグラフィック処理回路２０８内に実装されるが、本発明の要旨は特定の実装例に限定されるものではない。
【００４９】
ＯＳＤプレーン６１は、映像フレームに重畳するＯＳＤ情報を一時的に保持するプレーン・メモリーである。本実施形態では、左眼用映像フレームと右眼用映像フレームを時分割表示して立体映像を表示する際において、単一のプレーン・メモリーからなるＯＳＤプレーン６１が左眼用及び右眼用で共用される。すなわち、ＯＳＤのためのプレーン・メモリーは通常の２次元映像表示のときと同じ１面分のサイズで済む。
【００５０】
ＯＳＤ情報は、文字や図形などの描画オブジェクトからなる。図６に示す例では、文字図形＃１と文字図形＃２という２個の描画オブジェクトが映像フレームに重畳されるものとし、ＯＳＤプレーン６１上のそれぞれ該当する座標位置に描画されているものとする。
【００５１】
グラフィック処理回路２０８は、内部バス２１８経由でＣＰＵ２１９から受け取った描画指令に従って、文字図形などのオブジェクトを生成して、ＯＳＤプレーン６１の該当する位置に描画する。あるいは、グラフィック処理回路２０８は、ＣＰＵ２１９から内部バス２１８経由で転送されてきたＯＳＤ情報を、ＯＳＤプレーン６１に描画する。
【００５２】
立体映像を表示する際には、左眼用映像フレーム及び右眼用映像フレームの各表示タイミングと同期して、ＯＳＤプレーン６１からＯＳＤ情報が読み出されるものとする。
【００５３】
深度情報保持部６２は、ＯＳＤプレーン６１に保持されているＯＳＤ情報に関する深度情報を紐付けして保持している。深度情報保持部６２は、ＯＳＤ情報に含まれる描画オブジェクト単位、あるいはビットマップ単位で深度情報を保持することができる。以下の説明では、説明の簡素化のため、描画オブジェクト単位（図６に示す例では、文字図形＃１、文字図形＃２毎に）深度情報を保持するものとする。深度情報保持部６２は、例えば下表に示すようにデータ構造で、描画オブジェクト毎に左眼用映像フレームにおける深度情報ｄLと右眼用映像フレームにおける深度情報ｄRを保持しているものとする。
【００５４】
【表１】
2012085166.tif 000003
【００５５】
視差付加部６３は、左眼用映像フレーム及び右眼用映像フレームの表示タイミングにそれぞれ合わせてＯＳＤプレーン６１から読み出されるＯＳＤ情報に対し、深度情報保持部に保持されている深度情報に基づいて視差を付加する。左眼用映像フレーム及び右眼用映像フレームの各表示タイミングに同期してＯＳＤプレーン６１からＯＳＤ情報を読み出した際に、深度情報に基づいた遅延量だけ位相差を設けることによって、ＯＳＤ情報に視差が付加される。例えば、ある描画オブジェクトの左眼用映像フレーム及び右眼用映像フレームそれぞれの深度情報がｄLとｄRとすると、左眼用映像フレーム及び右眼用映像フレームそれぞれの表示タイミングに同期して読み出したＯＳＤ情報の間でＤ＝ｄL−ｄRに相当する位相差を設ける。
【００５６】
視差付加部６３を例えばＦＩＦＯメモリーで構成することができる。左右の映像フレームの表示タイミングにそれぞれ同期してＯＳＤプレーン６１から読み出した描画オブジェクトのデータをＦＩＦＯメモリーに一旦書き込む。そして、深度情報保持部６２に保持されている深度情報（ｄL、ｄR）に基づいてＦＩＦＯメモリーに遅延量を設定すれば、左右の映像フレーム毎にＯＳＤ情報に位相差を付けることができる。
【００５７】
映像入力部６５は、映像信号処理回路２０７の出力段から映像信号を入力する。映像重畳部６４は、入力された映像信号と、ＯＳＤプレーン６１から読み出されたＯＳＤ情報信号とを重畳する。左眼用映像フレーム及び右眼用映像フレームを時分割で交互に表示して立体映像を表示する際、視差付加部６３によってＯＳＤ情報の表示タイミングには左右の間でＤ＝ｄL−ｄRに相当する遅延量が設けられている。このため、映像重畳部６４で重畳した後は、左眼用映像フレームと右眼用映像フレームの間でＯＳＤ情報のフレーム内表示位置には位相差があり、これが観察者には視差として現れ、立体映像とともにＯＳＤ情報が立体視される。
【００５８】
また、左眼用映像フレーム及び右眼用映像フレームにそれぞれ重畳するＯＳＤ情報に位相差を付加するだけでなく、さらに深度に基づいて拡大又は縮小する処理することにより、視覚上の深度（距離）の感覚を強調することができる。
【００５９】
図６Ｂには、図６Ａの変形例であり、立体映像に重畳するＯＳＤ情報を深度に基づいて拡大又は縮小するための機能的構成を模式的に示している。図６Ａとの主な相違点は、拡大縮小部６６をさらに備えている点である。拡大縮小部６６は、左眼用映像フレーム及び右眼用映像フレームの各表示タイミングで読み出した描画オブジェクトのデータを、深度情報保持部６２に保持された深度情報に基づいて拡大又は縮小する。この結果、左眼用映像フレーム並びに右眼用映像フレームに表示されるＯＳＤ情報は深度に相応する大きさで表示されるので、視覚上の深度（距離）の感覚を強調することができる。図６Ｂに示す例では、描画オブジェクトを拡大縮小部６６で拡大又は縮小処理した後に視差付加部６３で位相差を付けるように構成されているが、視差付加部６３で左眼用映像フレーム及び右眼用映像フレームにそれぞれ位相差が付けられた後の描画オブジェクトに対し拡大縮小部６６で拡大又は縮小処理するように構成することもできる。
【００６０】
図７には、立体映像に重畳されるＯＳＤ情報に視差を付加する様子を示している。立体映像１フレームは、時分割表示される１組の眼用映像フレームＬと右眼用映像フレームＲからなる。左眼用映像フレームの表示時と右眼用映像フレームの表示時とで、ＯＳＤプレーン６１から読み出した文字図形＃１及び文字図形＃２に対しそれぞれ深度情報に基づく位相差が設定されている。このため、左眼用映像フレームと右眼用映像フレームにそれぞれ重畳された文字図形＃１及び文字図形＃２のフレーム内表示位置には位相差があり、これが観察者には視差として現れ、立体映像と同様に文字図形＃１と文字図形＃２が立体視される。
【００６１】
図８Ａには、立体映像にＯＳＤ情報を重畳するための他の機能的構成例を模式的に示している。図６に示した構成例と同様に、左眼用映像フレームと右眼用映像フレームで単一のＯＳＤプレーン８１を共用するように構成されているが、ＯＳＤプレーン８１が描画オブジェクト単位の１以上のウィンドウで構成される点で相違する。
【００６２】
ＯＳＤ情報は文字図形など１以上の描画オブジェクトからなるが、オブジェクト単位でウィンドウが構成される。各ウィンドウは、フレーム上での位置とサイズを持つプレーンである。視差の付加や、左右の映像フレームとの重畳処理は、ウィンドウ単位で行なわれる。
【００６３】
図６Ａで示した文字図形＃１と文字図形＃２が、図８Ａ中のウィンドウ＃１とウィンドウ＃２にそれぞれ相当する。各ウィンドウは、フレーム上での本来の位置とサイズを持つプレーンである。
【００６４】
立体映像を表示する際には、左眼用映像フレーム及び右眼用映像フレームの各表示タイミングと同期して、ＯＳＤプレーン８１からＯＳＤ情報が読み出されるものとする。
【００６５】
深度情報保持部８２は、ＯＳＤプレーン８１に保持されているウィンドウ毎の深度情報を紐付けして保持している。
【００６６】
左眼用映像フレームの表示タイミングと右眼用映像フレームの表示タイミングにそれぞれ同期して、ＯＳＤプレーン８１からウィンドウが読み出されるが、ウィンドウの深度情報に基づいて読み出し位相を左右の映像フレーム毎に変える。
【００６７】
上述と同様、左右の映像フレームの表示タイミングにそれぞれ同期して読み出したウィンドウのデータをＦＩＦＯメモリーに一旦書き込み、ウィンドウの深度情報に基づいてＦＩＦＯメモリーに遅延量を設定することで、左右の映像フレーム毎に読み出し位相を変えることができる。
【００６８】
映像信号入力部８５は、映像信号処理回路２０７の出力段から映像信号を入力する。映像重畳部８４は、入力された映像信号と、ＯＳＤプレーン８１から読み出された各ウィンドウを重畳する。左眼用映像フレーム及び右眼用映像フレームを時分割で交互に表示して立体映像を表示する際、各ウィンドウは深度情報に基づいて読み出し位相の差が設けられている。このため、映像重畳部８４で重畳した後は、左眼用映像フレームと右眼用映像フレームの間で各ウィンドウのフレーム内表示位置には位相差があり、これが観察者には視差として現れ、立体映像とともにＯＳＤ情報が立体視される。
【００６９】
また、左眼用映像フレーム及び右眼用映像フレームにそれぞれ重畳するＯＳＤ情報に位相差を付加するだけでなく、さらに深度に基づいて拡大又は縮小する処理することにより、視覚上の深度（距離）の感覚を強調することができる。
【００７０】
図８Ｂには、図８Ａの変形例であり、立体映像に重畳するＯＳＤ情報を深度に基づいて拡大又は縮小するための機能的構成を模式的に示している。図８Ａとの主な相違点は、拡大縮小部６６をさらに備えている点である。拡大縮小部８６は、ＯＳＤプレーン８１から読み出した各オブジェクト＃１、＃２を、深度情報保持部６２に保持されたそれぞれの深度情報に基づいて拡大又は縮小する。この結果、左眼用映像フレーム並びに右眼用映像フレームに表示されるＯＳＤ情報は深度に相応する大きさで表示されるので、視覚上の深度（距離）の感覚を強調することができる。図８Ｂに示す例では、ＯＳＤプレーン８１から読み出したウィンドウを拡大縮小部８６で
【産業上の利用可能性】
【００７１】
以上、特定の実施形態を参照しながら、本発明について詳細に説明してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００７２】
本明細書で説明した実施形態におけるＯＳＤ情報の深度付けの処理は、ハードウェア、ソフトウェアのいずれにより行なうこともできる。当該処理をソフトウェアによって実現する場合には、ソフトウェアにおける処理手順をコンピューター可読形式に記述したコンピューター・プログラムを所定のコンピューターにインストールして実行すればよい。また、このコンピューター・プログラムは、液晶ディスプレイなどの製品に組み込んでおくこともできる。
【００７３】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００７４】
１１…表示装置
１２…通信部
１３…シャッター眼鏡
２０３…通信部
２０４…アンテナ
２０５…チューナー回路
２０６…ＭＰＥＧデコーダー
２０７…映像信号処理回路
２０８…グラフィック処理回路
２０９…パネル駆動回路
２１０…表示パネル
２１１…音声信号処理回路
２１２…音声増幅回路
２１３…スピーカー
２１４…ＨＤＭＩ端子
２１５…ＨＤＭＩ受信回路
２１６…通信処理回路
２１７…ネットワーク端子
２１８…内部バス
２１９…ＣＰＵ
２２０…フラッシュＲＯＭ
２２１…ＤＲＡＭ
２２２…リモコン受信部
２２３…リモコン
３０５…通信部
３０６…制御部
３０７…シャッター駆動回路
３０８…左眼用シャッター
３０９…右眼用シャッター
６１…ＯＳＤプレーン
６２…深度情報保持部
６３…視差付加部
６４…映像重畳部
６５…映像入力部
８１…ＯＳＤプレーン
８２…深度情報保持部
８４…映像重畳部
８５…映像入力部
【図１Ａ】
2012085166.tif 000004
【図１Ｂ】
2012085166.tif 000005
【図２】
2012085166.tif 000006
【図３】
2012085166.tif 000007
【図４】
2012085166.tif 000008
【図５】
2012085166.tif 000009
【図６Ａ】
2012085166.tif 000010
【図６Ｂ】
2012085166.tif 000011
【図７】
2012085166.tif 000012
【図８Ａ】
2012085166.tif 000013
【図８Ｂ】
2012085166.tif 000014
【手続補正書】
【提出日】平成23年8月31日(2011.8.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
左眼用映像フレーム及び右眼用映像フレームを時分割で交互に入力する立体映像入力部と、
映像フレームに重畳するグラフィック・データを保持するプレーン・メモリーと、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とで前記プレーン・メモリーからグラフィック・データを読み出すときに位相差を付ける読み出し位相付加部と、
読み出し位相に差が付けられた各グラフィック・データを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳する映像重畳部と、
を具備する映像信号処理装置。
【請求項２】
前記読み出し位相付加部は、前記プレーン・メモリーに描画された描画オブジェクト単位、又は、ビットマップ単位で、読み出し位相に差を付ける、
請求項１に記載の映像信号処理装置。
【請求項３】
前記読み出し位相付加部は、
前記プレーン・メモリーに描画された描画オブジェクト単位、又は、ビットマップ単位で、深度情報を保持する深度情報保持部と、
左眼用映像フレーム及び右眼用映像フレームの各表示タイミングで読み出したグラフィック・データを保持し、前記深度情報保持部に保持された深度情報に基づいて遅延量を設定して、左眼用映像フレームの表示時と右眼用映像フレームの表示時とで位相差を付ける視差付加部と、
を有する、請求項１に記載の映像信号処理装置。
【請求項４】
左眼用映像フレーム及び右眼用映像フレームの各表示タイミングで読み出したグラフィック・データを前記深度情報保持部に保持された深度情報に基づいて拡大又は縮小するグラフィック・データ拡大縮小部をさらに備える、
請求項３に記載の映像信号処理装置。
【請求項５】
左眼用映像フレーム及び右眼用映像フレームを時分割で交互に入力する立体映像入力部と、
映像フレームに重畳する描画オブジェクト毎の１以上のウィンドウで構成されるプレーン・メモリーと、
各ウィンドウの深度情報を保持する深度情報保持部と、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とでウィンドウを前記プレーン・メモリーから読み出すときの位相差を、前記深度情報保持部に保持されている深度情報に基づいて変える読み出し位相付加部と、
読み出し位相に差がつけられた各ウィンドウを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳する映像重畳部と、
を具備する映像信号処理装置。
【請求項６】
各ウィンドウを前記深度情報保持部に保持された深度情報に基づいて拡大又は縮小するウィンドウ拡大縮小部をさらに備える、
請求項３に記載の映像信号処理装置。
【請求項７】
映像フレームに重畳するグラフィック・データをプレーン・メモリーに保持するステップと、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とで読み出し位相に差を付けて前記プレーン・メモリーからグラフィック・データを読み出すステップと、
読み出し位相に差が付けられた各グラフィック・データを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳するステップと、
を有する映像信号処理方法。
【請求項８】
映像フレームに重畳する描画オブジェクト毎にプレーン・メモリーの該当するウィンドウに保持するステップと、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とで深度情報に基づく読み出し位相に差を付けて前記プレーン・メモリーからウィンドウを読み出すステップと、
読み出し位相に差が付けられた各ウィンドウを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳するステップと、
を有する映像信号処理方法。
【請求項９】
映像信号の処理をコンピューター上で実行するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
左眼用映像フレーム及び右眼用映像フレームを時分割で交互に入力する立体映像入力部、
映像フレームに重畳するグラフィック・データを保持するプレーン・メモリー、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とで前記プレーン・メモリーからグラフィック・データを読み出すときに位相差を付ける読み出し位相付加部、
読み出し位相に差が付けられた各グラフィック・データを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳する映像重畳部、
として機能させるためのコンピューター・プログラム。
【請求項１０】
映像信号の処理をコンピューター上で実行するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
左眼用映像フレーム及び右眼用映像フレームを時分割で交互に入力する立体映像入力部、
映像フレームに重畳する描画オブジェクト毎の１以上のウィンドウで構成されるプレーン・メモリー、
各ウィンドウの深度情報を保持する深度情報保持部、
左眼用映像フレームの表示時と右眼用映像フレームの表示時とでウィンドウを前記プレーン・メモリーから読み出すときの位相差を、前記深度情報保持部に保持されている深度情報に基づいて変える読み出し位相付加部、
読み出し位相に差がつけられた各ウィンドウを左眼用映像フレームと右眼用映像フレームにそれぞれ重畳する映像重畳部、
として機能させるためのコンピューター・プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
図４には、Ｌサブフレーム期間におけるシャッター眼鏡１３の制御動作を示している。図示のように、Ｌサブフレーム期間には、表示装置１１側の通信部２０３から無線伝送される開閉制御信号により、左眼用シャッター３０８を開成状態、右眼用シャッター３０９を閉成状態とし、左眼用映像Ｌに基づく表示光ＬＬが鑑賞者の左眼にのみ到達する。また、図５には、Ｒサブフレーム期間におけるシャッター眼鏡１３の制御動作を示している。図示のように、Ｒサブフレーム期間には、表示装置１１からの開閉制御信号により、右眼用シャッター３０９を開成状態、左眼用シャッター３０８を閉成状態とし、右眼用映像Ｒに基づく表示光ＲＲが鑑賞者の右眼にのみ到達する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
図７には、立体映像に重畳されるＯＳＤ情報に視差を付加する様子を示している。立体映像１フレームは、時分割表示される１組の左眼用映像フレームＬと右眼用映像フレームＲからなる。左眼用映像フレームの表示時と右眼用映像フレームの表示時とで、ＯＳＤプレーン６１から読み出した文字図形＃１及び文字図形＃２に対しそれぞれ深度情報に基づく位相差が設定されている。このため、左眼用映像フレームと右眼用映像フレームにそれぞれ重畳された文字図形＃１及び文字図形＃２のフレーム内表示位置には位相差があり、これが観察者には視差として現れ、立体映像と同様に文字図形＃１と文字図形＃２が立体視される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
図８Ｂには、図８Ａの変形例であり、立体映像に重畳するＯＳＤ情報を深度に基づいて拡大又は縮小するための機能的構成を模式的に示している。図８Ａとの主な相違点は、拡大縮小部８６をさらに備えている点である。拡大縮小部８６は、ＯＳＤプレーン８１から読み出した各オブジェクト＃１、＃２を、深度情報保持部８２に保持されたそれぞれの深度情報に基づいて拡大又は縮小する。この結果、左眼用映像フレーム並びに右眼用映像フレームに表示されるＯＳＤ情報は深度に相応する大きさで表示されるので、視覚上の深度（距離）の感覚を強調することができる。