(57)【要約】【課題】映像の深度と音の深度とを自動的に合わせることのできる立体映像表示装置を提供すること。【解決手段】複数チャンネルの音声信号を少なくとも視聴者の前方及び後方と前方左側及び前方右側とのいずれか一方又は両方に配置される複数のスピーカに出力すると共に，表示位置が異なる左目映像及び右目映像を表示することにより立体映像を視聴させる立体映像表示装置において，左目映像と右目映像との水平方向の表示位置のズレ量（映像の深度）を算出し，少なくとも２チャンネルの前記音声信号に前記算出された表示位置のズレ量に対応する予め定められた差分（音の深度）を生じさせる。例えば，複数の音声信号の再生時の音量，残響効果，高域の減衰量，サラウンド成分の残響効果，サラウンド成分の大きさなどを変化させることが考えられる。【選択図】図８
2012060349.tif 000002
【特許請求の範囲】
【請求項１】
複数チャンネルの音声信号を少なくとも視聴者の前方及び後方と前方左側及び前方右側とのいずれか一方又は両方に配置される複数のスピーカに出力すると共に，表示位置が異なる左目映像及び右目映像を表示することにより立体映像を視聴させる立体映像表示装置であって，
前記左目映像と前記右目映像との水平方向の表示位置のズレ量を算出する映像ズレ量算出手段と，
少なくとも２チャンネルの前記音声信号に前記映像ズレ量算出手段により算出された前記表示位置のズレ量に対応する予め定められた差分を生じさせる音声差分調整手段と，
を備えてなることを特徴とする立体映像表示装置。
【請求項２】
前記音声差分調整手段が，少なくとも視聴者の前方及び後方それぞれに配置される前記スピーカに対応する２チャンネルの前記音声信号の再生時の残響効果に，前記表示位置のズレ量に対応する予め定められた差分を生じさせるものである請求項１に記載の立体映像表示装置。
【請求項３】
前記音声差分算出手段が，少なくとも視聴者の前方左側及び前方右側それぞれに配置される前記スピーカに対応する２チャンネルの前記音声信号の差分により求まるサラウンド成分の残響効果を変化させることにより，該２チャンネルの前記音声信号に前記表示位置のズレ量に対応する差分を生じさせるものである請求項１に記載の立体映像表示装置。
【請求項４】
前記音声差分調整手段が，少なくとも視聴者の前方及び後方それぞれに配置される前記スピーカに対応する２チャンネルの前記音声信号の再生時の音量に，前記表示位置のズレ量に対応する予め定められた差分を生じさせるものである請求項１に記載の立体映像表示装置。
【請求項５】
前記音声差分算出手段が，少なくとも視聴者の前方左側及び前方右側それぞれに配置される前記スピーカに対応する２チャンネルの前記音声信号の差分により求まるサラウンド成分の大きさを変化させることにより，該２チャンネルの前記音声信号に前記表示位置のズレ量に対応する差分を生じさせるものである請求項１に記載の立体映像表示装置。
【請求項６】
前記音声差分調整手段が，少なくとも視聴者の前方及び後方それぞれに配置される前記スピーカに対応する２チャンネルの前記音声信号の高域の減衰量に，前記表示位置のズレ量に対応する予め定められた差分を生じさせるものである請求項１に記載の立体映像表示装置。
【請求項７】
前記左目映像及び前記右目映像を交互に表示させる立体映像表示手段と，前記左目映像及び前記右目映像の切り替えに連動して左目及び右目の視界を有効及び無効に切り替える立体表示メガネとを更に備えてなる請求項１〜６のいずれかに記載の立体映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，表示位置が異なる左目映像及び右目映像を表示させることにより立体映像を視聴させる立体映像表示装置に関し，特に，映像の深度（立体感）と音の深度（立体感）とを合わせるための技術に関するものである。
【背景技術】
【０００２】
従来から，表示位置が異なる左目映像及び右目映像を交互に液晶パネルに表示する立体映像表示装置（以下，表示装置という）が知られている。そして，視聴者は，その立体映像表示装置の左目映像及び右目映像の表示の切り替えに連動して視聴者の左目及び右目の視界を交互に有効化させる立体表示メガネ（以下，３Ｄメガネという）を用いることで立体映像を視聴することができる（例えば，特許文献１参照）。また，立体表示メガネを用いるのではなく，かまぼこ状のレンチキュラレンズを用いて視聴者の左目と右目とに異なる表示素子を見せることにより立体映像を視聴させる立体映像表示装置（例えば，特許文献２参照）や，視差バリアを用いて立体映像を視聴させる立体映像表示装置も知られている。
ここで，このような立体映像表示装置で表示される立体映像の深度，即ち映像の飛び出し量や奥行き量は，左目映像及び右目映像の表示位置のズレ量によって異なる。
一方，少なくとも２チャンネル以上の音声信号を複数のスピーカで個別に再生することで，音に奥行き（立体感）を持たせるサラウンド技術が知られている。具体的には，５．１ｃｈ，７．１ｃｈ，９．１ｃｈなどの複数チャンネルに対応する音声信号各々を，視聴者の前方や後方に配置された複数のスピーカで個別に再生するリアルサラウンドがある。また，視聴者の前方左側及び前方右側に配置された２つのスピーカにより擬似的にサラウンドを実現する擬似サラウンドも知られている。なお，以下では，音の奥行き（立体感）の程度を音の深度という。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−６２７６７号公報
【特許文献２】特開平０７−２９８３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら，立体映像表示装置によって表示される映像の深度と該立体映像表示装置によって再生される音の深度との程度が異なると，立体映像視聴時に十分な臨場感が得られない。
従って，本発明は上記事情に鑑みてなされたものであり，その目的とするところは，映像の深度と音の深度とを自動的に合わせることのできる立体映像表示装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために本発明は，複数チャンネルの音声信号を少なくとも視聴者の前方及び後方と前方左側及び前方右側とのいずれか一方又は両方に配置される複数のスピーカに出力すると共に，表示位置が異なる左目映像及び右目映像を表示することにより立体映像を視聴させる立体映像表示装置に適用されるものであって，前記左目映像と前記右目映像との水平方向の表示位置のズレ量を算出する映像ズレ量算出手段と，少なくとも２チャンネルの前記音声信号に前記映像ズレ量算出手段により算出された前記表示位置のズレ量に対応する予め定められた差分を生じさせる音声差分調整手段とを備えてなることを特徴とする立体映像表示装置として構成される。
本発明によれば，音の深度（立体感）と映像の深度（立体感）とを自動的に合わせることができるため，より自然で臨場感あふれる立体映像を視聴者に視聴させることができる。
【０００６】
具体的に，遠方の音は，近傍の音に比べて相対的に，直達音に対する反射音の割合や遅延が大きい。そのため，前記音声差分調整手段が，少なくとも視聴者の前方及び後方それぞれに配置される前記スピーカに対応する２チャンネルの前記音声信号の再生時の残響効果に，前記表示位置のズレ量に対応する予め定められた差分を生じさせるものであることが考えられる。また，前記音声差分算出手段が，少なくとも視聴者の前方左側及び前方右側それぞれに配置される前記スピーカに対応する２チャンネルの前記音声信号の差分により求まるサラウンド成分の残響効果を変化させることにより，該２チャンネルの前記音声信号に前記表示位置のズレ量に対応する差分を生じさせるものであってもよい。
また，前後方向での音量の差異を明確にすることで音の奥行きを表現することができる。そのため，前記音声差分調整手段が，少なくとも視聴者の前方及び後方それぞれに配置される前記スピーカに対応する２チャンネルの前記音声信号の再生時の音量に，前記表示位置のズレ量に対応する予め定められた差分を生じさせるものであることが考えられる。
さらに，前方左側及び前方右側のスピーカで再生される音の差分であるサラウンド成分を強調すれば，音の広がりを表現することができる。そのため，前記音声差分算出手段が，少なくとも視聴者の前方左側及び前方右側それぞれに配置される前記スピーカに対応する２チャンネルの前記音声信号の差分により求まるサラウンド成分の大きさを変化させることにより，該２チャンネルの前記音声信号に前記表示位置のズレ量に対応する差分を生じさせるものであることが考えられる。
また，離れたところにある音は高域が減衰して聞こえる。そのため，前記音声差分調整手段が，少なくとも視聴者の前方及び後方それぞれに配置される前記スピーカに対応する２チャンネルの前記音声信号の高域の減衰量に，前記表示位置のズレ量に対応する予め定められた差分を生じさせるものであることが考えられる。
なお，本発明に係る立体映像表示装置は，例えば前記左目映像及び前記右目映像を交互に表示させる立体映像表示手段と，前記左目映像及び前記右目映像の切り替えに連動して左目及び右目の視界を有効及び無効に切り替える立体表示メガネとを更に備えてなることにより，該立体表示メガネを用いる視聴者に立体映像を視聴させるものである。
【発明の効果】
【０００７】
本発明によれば，音の深度（立体感）と映像の深度（立体感）とを自動的に合わせることができるため，より自然で臨場感あふれる立体映像を視聴者に視聴させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係るテレビジョン受像機Ｘの概略構成を表すブロック図。
【図２】映像ズレ量の算出手法の一例を説明するための図。
【図３】映像ズレ量の算出手法の一例を説明するための図。
【図４】映像ズレ量の算出手法の一例を説明するための図。
【図５】映像ズレ量の算出手法の一例を説明するための図。
【図６】映像ズレ量の算出手法の一例を説明するための図。
【図７】本発明の実施の形態に係るテレビジョン受像機Ｘで実行される音声深度制御処理の手順の一例を説明するためのフローチャート。
【図８】深度対応情報の一例を示す図。
【図９】残響音付加回路３００の一例を示す図。
【図１０】深度対応情報の他の例を示す図。
【図１１】実施例２に係るテレビジョン受像機Ｘ１の概略構成を表すブロック図。
【発明を実施するための形態】
【０００９】
以下添付図面を参照しながら，本発明の実施の形態について説明し，本発明の理解に供する。尚，以下の実施の形態は，本発明を具体化した一例であって，本発明の技術的範囲を限定する性格のものではない。
まず，図１に示すブロック図を用いて，本発明の実施の形態に係るテレビジョン受像機Ｘの概略構成について説明する。
本発明の実施の形態に係るテレビジョン受像機Ｘは，表示位置が異なる左目映像及び右目映像を交互に切り替えて表示させることにより視聴者に立体映像を視聴させる立体映像表示装置である。もちろん，本発明に係る立体映像表示装置は，テレビジョン受像機に限らず，例えばパソコンに接続されるディスプレイ装置であってもよい。
図１に示すように，テレビジョン受像機Ｘは，チューナ１ａ，１ｂ，外部入力部２，映像切替回路３，映像処理回路４ａ，立体映像処理回路４ｂ，ＲＦ通信回路５，ＬＣＤ制御回路６，液晶表示部７，制御回路８，リモコンインターフェース（Ｉ／Ｆ）回路９，リモコン９ａ，音声切替回路１０，音声処理回路１１，アンプ１２，スピーカ装置１３，３ＤメガネＹ（立体表示メガネ）などを具備している。なお，テレビジョン受像機Ｘは，ここで説明する構成要素以外にも，一般的なテレビジョン受像機が有する構成要素を備えている。
【００１０】
制御回路８は，演算手段であるＭＰＵ８ａ，そのＭＰＵ８ａによって実行される制御プログラムが予め格納されるＲＯＭ８ｂ（ＥＰＲＯＭ），ＭＰＵ８ａが各種の処理を実行する際の作業記憶領域として利用されるＥＥＰＲＯＭ８ｃなどを備え，当該テレビジョン受像機Ｘ全体を統括的に制御する。
リモコンインターフェース回路９は，当該テレビジョン受像機Ｘの操作用のリモコン９ａから，赤外線伝送などの無線伝送によって，リモコン９ａに対するユーザの操作入力の内容を取得し，その操作入力の内容を制御回路８に伝送するものである。例えば，リモコン９ａには，テレビジョン受像機Ｘで視聴するテレビジョン放送のチャンネル選択や音量調節，電源ＯＮ／ＯＦＦなどの各種操作を行う一般的な操作キー９ｂが設けられている。また，リモコン９ａには，テレビジョン受像機Ｘの表示映像を立体映像及び平面映像のいずれかに切り替えるための表示切替キー９ｃが設けられている。もちろん，リモコン９ａの操作によって表示されるメニュー画面上の操作により立体映像及び平面映像の切替操作が可能な構成であってもよい。
ＲＦ通信回路５は，３ＤメガネＹとの間で無線周波数（ＲＦ）通信方式による無線伝送を行うことにより各種のデータを伝送するＲＦ送信回路及びＲＦ受信回路を有している。なお，ＲＦ通信回路５を利用してリモコン９ａとの間でＲＦ通信方式によるデータ通信が行われることも他の実施例として考えられる。
【００１１】
チューナ１ａ，１ｂ各々は，地上デジタル放送やＢＳ・ＣＳ放送などの各種テレビジョン放送の複数チャンネル分の映像信号及びその映像と同期した音声信号が重畳された信号（以下，放送信号という）を放送受信アンテナ２０により受信する。そしてチューナ１ａ，１ｂは，制御回路８から指示された放送チャンネルの信号を前記放送信号から抽出（選局）するとともに，その抽出信号の検波によって映像信号及び音声信号を取り出し，その映像信号及び音声信号の各々を映像切替回路３及び音声切替回路１０各々へ伝送する。
また，外部入力部２は，外部から入力されるコンポジット方式の映像信号及び音声信号や，セパレート方式の映像信号及び音声信号（いわゆるＳ端子の信号）等の外部入力映像信号及び外部入力音声信号を，映像切替回路３及び音声切替回路１０各々へ伝送するインターフェースである。外部入力部２には，例えばＤＶＤレコーダやブルーレイレコーダ，ハードディスクレコーダなどが接続される。
【００１２】
音声切替回路１０は，チューナ１ａ，１ｂ各々からの音声信号及び外部入力部２からの音声信号のうちの任意の音声信号を制御回路８からの指示に従って選択し，その選択した音声信号を音声処理回路１１に伝送する。
音声処理回路１１は，制御回路８からの指示に従って，音声切替回路１０から伝送される音声信号に対して各種信号処理（例えば，イコライズ処理やサラウンド処理等）を行うものである。また，音声処理回路１１は，入力される音声信号が６チャンネルの音声信号を含む５．１ｃｈのサラウンド音声信号である場合，その６チャンネルの音声信号をそれぞれの再生位置に対応するスピーカ装置１３のスピーカ各々に出力する。
アンプ１２は，音声処理回路１１による各種信号処理後の音声信号を，制御回路８からの音量指示に従って増幅或いは減衰させる処理を行い，処理後の各音声信号をスピーカ装置１３へ伝送するものである。具体的に，アンプ１２には，スピーカ装置１３に設けられた複数のスピーカ毎に対応して音声信号の増幅及び減衰を調整する複数のアンプが含まれている。
【００１３】
スピーカ装置１３は，テレビジョン受像機Ｘを視聴する視聴者の前方中央に配置されたセンタースピーカ１３１Ｃと，前方左側に配置された左フロントスピーカ１３１Ｌと，前方右側に配置された右フロントスピーカ１３１Ｒと，前方右側又は前方左側に配置されたウーファー１３１Ｗと，後方左側に配置された左サラウンドスピーカ１３２Ｌと，後方右側に配置された右サラウンドスピーカ１３２Ｒとを備える５．１ｃｈのサラウンドシステムである。例えば，アンプ１２及びスピーカ装置１３は，ＲＣＡ接続やＨＤＭＩ接続，光接続などによってテレビジョン受像機Ｘに接続される。もちろん，スピーカ装置１３は，２チャンネル以上の音声信号に対応する複数のスピーカを有するものであれば，７．１ｃｈや９．１ｃｈなどに対応するものであってもよい。
テレビジョン受像機Ｘでは，音声処理回路１１から入力される複数チャンネルの音声信号に基づいて，スピーカ装置１３の前記スピーカ各々で個別に音声を再生させることにより，音に深度（立体感）を持たせるサラウンド再生が実現される。なお，テレビジョン受像機Ｘにスピーカ装置１３が接続されていない場合には，該テレビジョン受像機Ｘに内蔵された不図示の内蔵ステレオスピーカ等によって音声が出力される。もちろん，テレビジョン受像機Ｘでは，音声信号の出力先をスピーカ装置１３と前記内蔵ステレオスピーカとの間で切り替えることも可能である。
【００１４】
一方，映像切替回路３は，チューナ１ａ，１ｂ各々から入力される映像信号及び外部入力部２から入力される映像信号のうち任意の映像信号を制御回路８からの指示に従って選択し，その選択した映像信号を映像処理回路４ａに伝送する。
映像処理回路４ａは，映像切替回路３から伝送された映像信号に対して各種信号処理を行うものである。具体的に，映像処理回路４ａは，映像信号のＡ／Ｄ変換や，Ａ／Ｄ変換後の映像信号から水平同期信号及び垂直同期信号の分離，その同期信号に位相同期したクロック信号の生成，Ａ／Ｄ変換後の映像信号からの輝度信号及び色信号の分離，所定の画質改善処理等を行い，その処理後の映像信号を立体映像処理回路４ｂに出力する。
【００１５】
立体映像処理回路４ｂは，映像処理回路４ａから入力された映像信号が立体映像信号である場合，その立体映像信号をそのままＬＣＤ制御回路６に出力する。ここに，前記立体映像信号は，液晶表示部７における表示位置が所定量異なる左目映像及び右目映像を交互に表示させるための映像信号である。具体的に，前記立体映像信号は，左目フレーム画像及び右目フレーム画像が１フレームの半分の時間ごとに交互に合成されたものである。もちろん，テレビジョン受像機Ｘでは，立体映像信号に含まれた左目フレーム画像又は右目フレーム画像の一方のみを表示させることやその中間の画像を生成して表示させることにより，視聴者に平面映像を視聴させることも可能である。
また，立体映像処理回路４ｂは，映像処理回路４ａから入力された映像信号が平面映像信号である場合，制御回路８からの制御指令に従って，映像処理回路４ａから入力された平面映像信号をそのままＬＣＤ制御回路６に出力する平面映像表示モードと，前記平面映像信号に基づく映像をユーザに立体的に視聴させるための前記立体映像信号を生成してＬＣＤ制御回路６に出力する立体映像表示モードとのいずれかを実行する。なお，前記平面映像表示モードと前記立体映像表示モードとの切り替えはリモコン９ａの表示切替キー９ｃによって行われる。具体的に，前記立体映像表示モードにおいて，立体映像処理回路４ｂは，映像の１フレームごとの画像を左右に少しずらすことにより予め設定されたズレ量が生じた左目フレーム画像及び右目フレーム画像を生成する。そして，立体映像処理回路４ｂは，その左目フレーム画像及び右目フレーム画像を１フレームの半分の時間ごとに交互に合成することにより，前記左目映像及び前記右目映像を交互に表示させるための立体映像信号を生成し，その立体映像信号をＬＣＤ制御回路６に出力する。なお，例えば寒色系の要素画像は背景（空や海など）である可能性が高いため，立体映像処理回路４ｂが，寒色系の要素画像には奥行きが生じ，暖色系の要素画像は飛び出すように，前記左目映像及び前記右目映像の表示位置のズレ量を調整することも考えられる。
ここで，前記左目映像及び前記右目映像によって液晶表示部７で表示される立体映像の深度，即ち映像の飛び出し量や奥行き量は，前記左目映像と前記右目映像との水平方向のズレ量によって変化する。具体的には，前記左目映像と前記右目映像との水平方向のズレ量が大きいほど映像の深度が深くなり立体感が高まる。
【００１６】
ＬＣＤ制御回路６は，立体映像処理回路４ｂから入力される平面映像信号又は立体映像信号や，垂直同期信号，水平同期信号などに基づいて液晶表示部７に映像を表示させる。具体的に，ＬＣＤ制御回路６は，前記立体映像信号が入力された場合，該立体映像信号に基づいて，液晶表示部７に前記左目映像及び前記右目映像を交互に表示させることにより，視聴者に立体映像を視聴させる。ここに，係る処理を実行するときのＬＣＤ制御回路６が立体映像表示手段に相当する。
液晶表示部７は，液晶パネルやバックライト装置などを備えており，ＬＣＤ制御回路６から出力される映像信号に基づく映像を液晶パネルに表示するものである。なお，前記バックライト装置は，前記液晶パネルの後方側にマトリクス状に配置された多数のＬＥＤや複数の冷陰極管（蛍光管）により該液晶パネルを背後から照明するものである。
３ＤメガネＹは，ユーザの左目の視界の有効及び無効（光の透過及び遮蔽）を切り替える液晶層を有する左目シャッタ及び右目シャッタを備えている。そして，３ＤメガネＹは，テレビジョン受像機ＸのＲＦ通信回路５とのＲＦ通信によって受信される同期信号により，テレビジョン受像機Ｘで表示される左目映像及び右目映像の表示に連動して左目シャッタ及び右目シャッタを交互に開閉させ，左目及び右目の視界を交互に切り替えて有効化させる。これにより，３ＤメガネＹを用いる視聴者に立体映像を視聴させることができる。なお，本実施の形態では，３ＤメガネＹを用いる視聴者に対して立体映像を視聴させるテレビジョン受像機Ｘを例に挙げて説明するが，３Ｄメガネを用いない構成であってもよい。
【００１７】
そして，本実施の形態に係るテレビジョン受像機Ｘは，液晶表示部７で表示される映像の深度（立体感）に応じて，スピーカ装置１３によって再生される音の深度（立体感）を自動的に調整する点に特徴を有している。以下，この点について詳説する。
テレビジョン受像機Ｘにおいて，立体映像処理回路４ｂは，前記立体映像信号に基づいて液晶表示部７で表示される映像の深度として，左目映像及び右目映像の水平方向のズレ量を算出する深度算出機能を有している。ここに，係る算出処理を実行するときの立体映像処理回路４ｂが映像ズレ量算出手段に相当する。もちろん，前記深度算出機能が制御回路８などの制御手段によって実行されるソフトウェア処理によって具現されてもよい。
ここで，図２〜図６を参照しつつ，立体映像処理回路４ｂが有する深度算出機能の一例について説明する。なお，図２は，左目フレーム画像及び右目フレーム画像から生成される中点フレーム画像の一例を示すものである。
まず，立体映像処理回路４ｂは，図２に示すように，入力された立体映像信号又は立体映像処理回路４ｂで生成した立体映像信号に含まれる左目映像のフレーム画像と右目映像のフレーム画像とに基づいて，視聴者の左目及び右目の中間にあると仮想した中目から見た中点フレーム画像を生成する。なお，この中点フレーム画像の生成手法については，例えば連続する二つのフレーム画像の動きベクトルに基づいてそのフレーム画像の間に挿入する補間フレーム画像を生成する場合に用いられる従来技術などを応用すればよい。
【００１８】
そして，立体映像処理回路４ｂは，前記左目映像と前記右目映像との水平方向の表示位置のズレ量を算出する。具体的に，立体映像処理回路４ｂは，前記左目映像のフレーム画像及び前記右目映像のフレーム画像それぞれと前記中点フレーム画像との画面全体におけるズレ量の分布を表す深度スペクトラムを取得し，該深度スペクトラムに基づいて前記左目映像と前記右目映像との水平方向の表示位置のズレ量の平均値を算出する。
ここに，図３，図４は液晶表示部７で表示される映像に奥行きがある場合，図５，図６は液晶表示部７で表示される映像が飛び出すものである場合の例を示している。
ここでは，図３，図５に示すように，左目に「−」を割り当て，右目に「＋」を割り当てると共に，中点フレーム画像に対する左方向のズレ量にマイナス（−）符号を割り当て，右方向のズレ量にプラス（＋）符号を割り当てるものとする。前記中点フレーム画像に対するズレ量は，例えば画素数や距離などで表せばよい。
この場合，前記中点フレーム画像と前記左目フレーム画像及び前記右目フレーム画像それぞれとのズレ量は，右目又は左目に割り当てられた符号と，前記中点フレーム画像に対する右方向又は左方向のズレ量との積で求まるベクトルによって表すことができる。
【００１９】
まず，図３，図４を用いて，映像が奥行き方向に深度を有する場合について説明する。
図３（ａ）に示すように，立体映像処理回路４ｂは，図２に示した前記中点フレーム画像と前記左目フレーム画像との水平方向のズレ量を示すベクトルＬ１，前記中点フレーム画像と前記右目フレーム画像との水平方向のズレ量を示すベクトルＲ１を算出する。例えば，図３（ａ）に示す例で，左目フレーム画像の中点フレーム画像に対する左方向のズレ量が「２」であるとすると，ベクトルＬ１は，「−１」×「−２」＝２となる。また，右目フレーム画像の中点フレーム画像に対する右方向のズレ量が「２」であるとすると，ベクトルＲ１は，「＋１」×「２」＝２となる。
そして，立体映像処理回路４ｂは，画像全体について各画素ごとや要素画像ごとに水平方向のベクトル（ズレ量）を算出することにより深度スペクトラムを取得する。具体的に，立体映像に奥行きがある場合には，図４（ａ）に示すように前記深度スペクトラムのプラス成分が多くなる。
一方，図３（ｂ）に示す例は，図３（ａ）に示した例に比べて映像の奥行き量（深度）が少ない場合である。具体的に，図３（ｂ）に示す例では，前記中点フレーム画像に対するズレ量が半分である。即ち，左目フレーム画像の中点フレーム画像に対する左方向のズレ量が「１」であり，ベクトルＬ２は「−１」×「−１」＝１である。また，右目フレーム画像の中点フレーム画像に対する右方向のズレ量が「１」であり，ベクトルＲ２は「＋１」×「１」＝１である。この場合にも立体映像に奥行きがあるため，前記深度スペクトラムでは，図４（ｂ）に示すようにマイナス成分よりプラス成分が多くなる。但し，図４（ａ）に比べればそのプラス成分は少なくなる。
【００２０】
次に，図５，図６を用いて，映像が飛び出す方向に深度を有する場合について説明する。
図５（ａ）に示すように，立体映像処理回路４ｂは，図２に示した前記中点フレーム画像と前記左目フレーム画像との水平方向のズレ量を示すベクトルＬ３，前記中点フレーム画像と前記右目フレーム画像との水平方向のズレ量を示すベクトルＲ３を算出する。例えば，図５（ａ）に示す例で，左目フレーム画像の中点フレーム画像に対する右方向のズレ量が「２」であるとすると，ベクトルＬ３は，「−１」×「２」＝−２となる。また，右目フレーム画像の中点フレーム画像に対する左方向のズレ量が「２」であるとすると，ベクトルＲ１は，「＋１」×「−２」＝−２となる。
そして，立体映像処理回路４ｂは，画像全体について各画素ごとや要素画像ごとに水平方向のベクトル（ズレ量）を算出することにより深度スペクトラムを取得する。具体的に，立体映像が飛び出すものである場合には，図６（ａ）に示すように前記深度スペクトラムのマイナス成分が多くなる。
一方，図５（ｂ）に示す例は，図５（ａ）に示した例に比べて映像の飛び出し量（深度）が少ない場合である。具体的に，図５（ｂ）に示す例では，前記中点フレーム画像に対するズレ量が半分である。即ち，左目フレーム画像の中点フレーム画像に対する右方向のズレ量が「１」であり，ベクトルＬ４は「−１」×「１」＝−１である。また，右目フレーム画像の中点フレーム画像に対する左方向のズレ量が「１」であり，ベクトルＲ４は「＋１」×「−１」＝−１である。この場合に立体映像が飛び出すものであるため，前記深度スペクトラムでは，図６（ｂ）に示すようにプラス成分よりマイナス成分が多くなる。但し，図６（ａ）に比べればそのマイナス成分は少なくなる。
【００２１】
このように算出された深度スペクトラムを参照すれば，図４に示すように，深度スペクトラムにプラス成分が多いものは奥行き方向に深度のある映像であり，図６に示すように，深度スペクトラムにマイナス成分が多いものは飛び出す方向に深度のある映像であることがわかる。
また，図４（ａ）に示す深度スペクトラムの方が，図４（ｂ）に示す深度スペクトラムよりもプラス成分が多く，映像の奥行き方向の深度が深いことがわかる。同じく，図６（ａ）に示す深度スペクトラムの方が，図６（ｂ）に示す深度スペクトラムよりもマイナス成分が多く，映像の飛び出す方向の深度が深いことがわかる。
そこで，深度算出部４６は，前記深度スペクトラムを算出した後，その深度スペクトラムの平均値を映像の深度を示す指標として算出し，制御回路８に入力する。そして，制御回路８は，その映像の深度に基づいて後述の音声深度制御処理における音声信号の調整を行う。
【００２２】
以下，図７のフローチャートに従って，本実施の形態に係るテレビジョン受像機Ｘで実行される音声深度制御処理について説明する。なお，図中のＳ１，Ｓ２，…は処理手順（ステップ）番号を示している。ここに，当該音声深度制御処理を実行するときの制御回路８が音声深度調整手段に相当する。また，当該映像深度制御処理における各処理は制御回路８に限らず立体映像処理回路４ｂで実行されるものであってもよい。
（ステップＳ１）
まず，ステップＳ１において，制御回路８は，液晶表示部７で立体映像が表示されるか否かを判断する。ここで，立体映像が表示されると判断されると（Ｓ１のＹｅｓ側），処理はステップＳ２に移行する。
具体的に，制御回路８は，立体映像処理回路４ｂから立体映像信号が出力されている旨の通知がなされている場合に，立体映像が表示されると判断する。もちろんこれに限らず，制御回路８は，リモコン９ａの表示切替キー９ｃによって立体表示が選択されている場合や，映像切替回路３で選択された映像コンテンツに立体映像である旨の情報が含まれている場合に，立体映像が表示されると判断してもよい。
【００２３】
（ステップＳ２〜Ｓ３）
次に，ステップＳ２において，制御回路８は，映像処理回路４ｂを制御することにより，前述したように左目映像及び右目映像を含む前記立体映像信号に基づいて，左目映像及び右目映像の水平方向のズレ量，即ち液晶表示部７で表示される映像の深度を算出する。
続いて，制御回路８は，ステップＳ３において，左目映像及び右目映像の水平方向のズレ量（映像の深度）と音の深度との関係が予め定められた深度対応情報に基づいて，前記ステップＳ２で算出された映像の深度に対応する音の深度を特定する。なお，前記深度対応情報は，制御回路８のＲＯＭ８ｂなどに予め記憶されていればよい。
ここに，図８は，前記深度対応情報の一例を示すグラフである。図８に示す前記深度対応情報では，映像の深度と音の深度とが所定の傾きを有する比例関係にあることが定められている。即ち，前記深度対応情報では，映像の深度が深いほど音の深度が深くなることが定められている。
従って，制御回路８は，前記深度対応情報に基づいて，映像の深度が深いほど音の深度が深くなるように，前記ステップＳ２で算出された映像の深度に応じた音の深度を特定する。
【００２４】
（ステップＳ４）
そして，ステップＳ４において，制御回路８は，前記ステップＳ３で特定された音の深度で視聴者に音声を聴かせるように，音声処理回路１１やアンプ１２を制御する。具体的に，制御回路８は，少なくとも２チャンネルの前記音声信号に，前記ステップＳ２で算出された表示位置のズレ量（映像の深度）に対応する予め定められた差分を生じさせる。
例えば，遠方の音は，近傍の音に比べて相対的に直達音に対する反射音の割合が大きく，また反射音の遅延も大きい。即ち，スピーカ装置１３において，前方に配置されたスピーカに対して後方に配置されたスピーカの音声再生時の残響効果が大きいほど，視聴者に知覚される音に深い立体感を持たせることができる。
そこで，制御回路８は，音声処理回路１１を制御することにより，前記ステップＳ３で設定された音の深度が深いほど，センタースピーカ１３１Ｃに比べて他のスピーカ（左フロントスピーカ１３１Ｌ，右フロントスピーカ１３１Ｒ，左サラウンドスピーカ１３２Ｌ，右サラウンドスピーカ１３２Ｒ）による音声信号の再生時の残響効果が大きくなるように，各チャンネルに対応する音声信号を調整する。具体的には，制御回路８のＲＯＭ８ｂ等に，音の深度とセンタースピーカ１３１Ｃ及び他のスピーカに対応する残響効果の差分との関係が予め定められた音声対応情報が記憶されており，制御回路８がその音声対応情報に従って音声信号を調整することが考えられる。
このように構成されたテレビジョン受像機Ｘでは，制御回路８によって前記音声深度制御処理が実行されることにより，液晶表示部７で表示される映像の深度とスピーカ装置１３で再生される音の深度とが自動的に合わせられるため，より自然で臨場感あふれる立体映像を視聴者に視聴させることができる。
なお，制御回路８は，音の深度が深いほど，センタースピーカ１３１Ｃ，左フロントスピーカ１３１Ｌ，右フロントスピーカ１３１Ｒ等に比べて，左サラウンドスピーカ１３２Ｌ，右サラウンドスピーカ１３２Ｒ等による音声信号の再生時の残響効果を高くしてもよい。要するに，制御回路８は，視聴者の前方に配置されるスピーカと後方に配置されるスピーカとに対応する少なくとも２チャンネルの音声信号の再生時の残響効果に，左目映像及び右目映像の水平方向のズレ量（映像の深度）に対応する予め定められた差分を生じさせることで，音の深度を映像の深度に合わせることが可能である。なお，表示される映像が平面映像であるか立体映像であるかに応じて音に深度（立体感）を持たせるか否かを単純に切り替えることも考えられる。
ところで，音声処理回路１１は，その制御回路８からの指示に従って，残響音のレベルをダイナミックに上げることやＦＩＲフィルタのＴＡＰ数を長くすることにより残響効果を調整することが可能である。また，残響効果の調整手法はこれに限らず，例えば音声処理回路１１が図９に示すように音声信号に残響音を付加する残響音付加回路３００を備えており，その残響音付加回路３００において，減衰器（ATT：Attenuator）３０１からの出力を遅延させる遅延回路３０２の遅延時間を設定変更して長くすること等によっても残響効果を高めることができる。
【００２５】
なお，本実施の形態では，立体映像処理回路４ｂにおいて，前記深度スペクトラムにおけるズレ量の平均値を，前記左目映像と前記右目映像との水平方向の表示位置のズレ量（映像の深度）として算出する場合を例に挙げて説明したがこれに限らない。
例えば，立体映像処理回路４ｂにおいて，前記深度スペクトラムの積分値などを算出することも考えられる。また，立体映像処理回路４ｂにおいて，最も視聴者の目に付きやすい液晶表示部７の中央部近傍に表示される映像のみについて，前記左目映像と前記右目映像との水平方向の表示位置のズレ量の平均値や積分値などを算出することも考えられる。さらに，液晶表示部７の中央部の映像とその周辺部の映像とに異なる重み付けを設定しておき，算出される映像の深度の深さに与える影響の程度に差をつけることも考えられる。
また，本実施の形態では，前記中点フレーム画像を基準として映像の奥行き方向又は飛び出す方向の深度を算出する場合を例に挙げて説明した。一方，例えば左目フレーム画像と右目フレーム画像との水平方向のズレ量が最も大きい領域や最も小さい領域（表示される立体映像において最も手前又は奥となる表示面）を基準面として，他の領域についてはその基準面に対する相対的な映像の深度を算出することも考えられる。この場合には，映像の深度を前記基準面に対する奥行き方向又は飛び出す方向のいずれか一方の深度だけで捉えることができる。また，例えば左目フレーム画像又は右目フレーム画像のいずれか一方を基準として用いることも考えられる。
【実施例１】
【００２６】
本実施例１では，前記実施の形態で説明したテレビジョン受像機Ｘにおいて採用することのできる音の深度の調整手法の他の例について説明する。
ここに，図１０は，前記深度対応情報の他の例を示すグラフであって，図１０（ａ）は映像の深度とサラウンド成分のレベルとの関係，図１０（ｂ）は映像の深度とフロント成分のレベルとの関係を示している。ここに，サラウンド成分とは，左サラウンドスピーカ１３２Ｌ，右サラウンドスピーカ１３２Ｒのいずれか一方又は両方に対応するものである。また，フロント成分とは，センタースピーカ１３１Ｃ，左フロントスピーカ１３１Ｌ，右フロントスピーカ１３１Ｒのいずれか一つ又は複数に対応するものである。
図１０（ａ）に示す前記深度対応情報では，映像の深度が奥行き方向（凹側）に大きくなる程，サラウンド成分のレベルが大きくなる関係にあることが定められている。また，図１０（ｂ）に示す前記深度対応情報では，映像の深度が飛び出す方向（凸側）に大きくなる程，フロント成分のレベルが大きくなる関係にあることが定められている。
そして，制御回路８は，音声処理回路１１やアンプ１２を制御することにより，映像の深度が奥行き方向に大きい程，左サラウンドスピーカ１３２Ｌ，右サラウンドスピーカ１３２Ｒで再生されるサラウンド成分のレベルが大きく，センタースピーカ１３１Ｃ，左フロントスピーカ１３１Ｌ，右フロントスピーカ１３１Ｒで再生されるフロント成分のレベルが小さくなるように各スピーカに入力される音声信号を調整する。また，制御回路８は，映像の深度が飛び出す方向に大きい程，左サラウンドスピーカ１３２Ｌ，右サラウンドスピーカ１３２Ｒで再生されるサラウンド成分のレベルが小さく，センタースピーカ１３１Ｃ，左フロントスピーカ１３１Ｌ，右フロントスピーカ１３１Ｒで再生されるフロント成分のレベルが大きくなるように各スピーカに入力される音声信号を調整する。もちろん，このとき調整の対象となるスピーカは，前記深度対応情報で定められた関係が成立するものであれば，その組み合わせは任意に定めておくことが可能である。例えば，センタースピーカ１３１Ｃと左サラウンドスピーカ１３２Ｌや右サラウンドスピーカ１３２Ｒとの音量差のみを相対的に調整してもよい。
このように，制御回路８が，映像の深度に対応して，少なくとも視聴者の前方及び後方それぞれに配置されるスピーカ各々に対応する２チャンネルの前記音声信号の再生時の音量に，前記表示位置のズレ量に対応する予め定められた差分を生じさせることで，前記ステップＳ２で算出された映像の深度に適した音の深度（立体感）を生じさせることができる。
【００２７】
ところで，離れたところにある音は高域が減衰して聞こえる。そこで，制御回路８は，音声処理回路１１を制御することにより，スピーカ装置１３のスピーカ各々により再生される音声における高音の減衰量を調整することも考えられる。なお，高域の音の減衰量の調整は，例えば制御回路８がスピーカ装置１３のスピーカ各々に対応して設けられるローパスフィルターのフィルタ係数を変更して，通過させる周波数や高域周波数の減衰量の設定値などを調整することで実現することができる。
例えば，制御回路８は，センタースピーカ１３１Ｃに比べて，他のスピーカ（左フロントスピーカ１３１Ｌ，右フロントスピーカ１３１Ｒ，左サラウンドスピーカ１３２Ｌ，右サラウンドスピーカ１３２Ｒ）で再生される音声の高域の音が減衰するように前記音声信号を調整することで，音の深度を深くすることができる。また，センタースピーカ１３１Ｃ，左フロントスピーカ１３１Ｌ，右フロントスピーカ１３１Ｒに比べて，左サラウンドスピーカ１３２Ｌ，右サラウンドスピーカ１３２Ｒに対応する音声における高域の音を減衰させてもよい。もちろん，センタースピーカ１３１Ｃに比べて左サラウンドスピーカ１３２Ｌや右サラウンドスピーカ１３２Ｒに対応する音声における高域の音を減衰させてもよい。
このように，制御回路８は，少なくとも視聴者の前方及び後方それぞれに配置されるスピーカに対応する２チャンネルの前記音声信号の高域の減衰量に，前記表示位置のズレ量に対応する差分を生じさせることで，前記ステップＳ２で算出された映像の深度に適した音の深度（立体感）を生じさせることができる。
【実施例２】
【００２８】
テレビジョン受像機Ｘでは，スピーカ装置１３が５．１ｃｈのサラウンドシステムである場合を例に挙げて説明したが，本発明は，少なくとも２ｃｈ以上の音声信号を個別に再生する２つ以上のスピーカによってサラウンド又は擬似サラウンド（仮想サラウンド）を実現する立体映像表示装置に適用することができる。
本実施例１では，図１１に示すように，スピーカ装置１３が，視聴者の前方左側に配置された左フロントスピーカ２３１Ｌと，前方右側に配置された右フロントスピーカ２３１Ｒとを有しており，該左フロントスピーカ２３１Ｌ，右フロントスピーカ２３１Ｒによって擬似サラウンドが具現されるテレビジョン受像機Ｘ１を例に挙げて説明する。
ここに，擬似サラウンドとは，左フロントスピーカ２３１Ｌ，右フロントスピーカ２３１Ｒの二つのスピーカから個別の音声を出力することで，視聴者に錯覚を生じさせて擬似的にサラウンド再生を実現することをいう。例えば，２ｃｈの音声信号の一方の逆位相の音声信号を他方の音声信号に重ねて出力することが考えられる。また，５．１ｃｈなどのサラウンド音声信号を２ｃｈの音声信号にダウンミックスして出力する場合も含まれる。
【００２９】
このように構成されたテレビジョン受像機Ｘ１では，制御回路８が，スピーカ装置１３で再生される音の深度を，左フロントスピーカ２３１Ｌ，右フロントスピーカ２３１Ｒに対応する音声信号の再生時の残響効果に，前記表示位置のズレ量に対応する差分を生じさせることによって調整することが考えられる。
具体的に，左フロントスピーカ２３１Ｌから右フロントスピーカ２３１Ｒの音声信号を引いたサラウンド成分に所定のゲインを掛けてその右フロントスピーカ２３１Ｒの音声信号から減算し，右フロントスピーカ２３１Ｒから左フロントスピーカ２３１Ｌの音声信号を引いたサラウンド成分に所定のゲインを掛けてその左フロントスピーカ２３１Ｌの音声信号から減算する構成を考える。
この場合，制御回路８が，前記表示位置のズレ量に応じて前記サラウンド成分の残響効果をダイナミックに増加させることが考えられる。なお，前述したように，残響効果を調整する手法としては，残響音のレベルを上げることやＦＩＲフィルタのＴＡＰ数を長くすることにより，残響効果を高めることができる。また，前述したように図９に示す残響音付加回路３００において，減衰器（ATT：Attenuator）３０１からの出力を遅延させる遅延回路３０２の遅延時間を設定変更して長くすること等によっても残響効果を高めることができる。
このように，制御回路８は，少なくとも視聴者の前方左側及び前方右側それぞれに配置されるスピーカに対応する２チャンネルの前記音声信号の差分により求まるサラウンド成分の残響効果を変化させ，左フロントスピーカ２３１Ｌ及び右フロントスピーカ２３１Ｒに対応する音声信号に前記表示位置のズレ量に対応する差分を生じさせることによっても，前記ステップＳ２で算出された映像の深度に適した音の深度（立体感）を生じさせることが可能である。
【００３０】
また，同様の構成において，制御回路８が，前記表示位置のズレ量に応じて前記サラウンド成分のゲインをダイナミックに増加させてサラウンド成分を強調させ，左フロントスピーカ２３１Ｌ及び右フロントスピーカ２３１Ｒに対応する音声信号に前記表示位置のズレ量に対応する差分を生じさせることによっても，音の広がりを出して音の深度を深くすることが可能である。なお，この場合，制御回路８は，前記サラウンド成分のゲインを減少させることにより前記サラウンド成分を弱めて音の深度を浅くすることも可能である。
【産業上の利用可能性】
【００３１】
本発明は，テレビジョン受像機やディスプレイ装置などの立体映像表示装置への利用が可能である。
【符号の説明】
【００３２】
１ａ，１ｂ：チューナ
２：外部入力部
３：映像切替回路
４ａ：映像処理回路
４ｂ：立体映像処理回路
５：ＲＦ通信回路
６：ＬＣＤ制御回路
７：液晶表示部
８：制御回路
８ａ：ＭＰＵ
８ｂ：ＲＯＭ
８ｃ：ＥＥＰＲＯＭ
９：リモコンインターフェース回路
９ａ：リモコン
９ｂ：操作キー
９ｃ：表示切替キー
１０：音声切替回路
１１：音声処理回路
１２：アンプ
１３：スピーカ装置
１３１Ｌ：左フロントスピーカ
１３１Ｒ：右フロントスピーカ
１３１Ｃ：センタースピーカ
１３２Ｌ：左サラウンドスピーカ
１３２Ｒ：右サラウンドスピーカ
２３１Ｌ：左フロントスピーカ
２３１Ｒ：右フロントスピーカ
３００：残響音付加回路
３０１：減衰器
３０２：遅延回路
Ｓ１，Ｓ２，…，：処理手順（ステップ）番号
Ｘ：テレビジョン受像機（本発明に係る立体映像表示装置の一例）
Ｙ：３Ｄメガネ
【図１】
2012060349.tif 000003
【図２】
2012060349.tif 000004
【図３】
2012060349.tif 000005
【図４】
2012060349.tif 000006
【図５】
2012060349.tif 000007
【図６】
2012060349.tif 000008
【図７】
2012060349.tif 000009
【図８】
2012060349.tif 000010
【図９】
2012060349.tif 000011
【図１０】
2012060349.tif 000012
【図１１】
2012060349.tif 000013