(57)【要約】  ビデオプロセッサーは、視聴者による表示画面の視線方向を決定するために用いられるカメラの対の出力に応答する。視聴者の視線角度方向が表示画面の中心領域に向けられている限り、パン機能は無効にされる。視聴者の視線角度が画面中心から離れた第１の閾値角度方向を横切ったとき、表示される画像を移動するように、動的に追従するパン機能が有効にされる。視聴者の視聴角度がさらに大きい、第２の閾値角度方向を横切ったとき、画像は同じ方向にではあるがより速い速度で移動する。視聴者の視線角度が、第１の閾値角度方向より小さい第３の閾値角度方向を横切るように減少したとき、さらなる画像の移動は中断する。これにより、ヒステリシス機能が組み込まれる。視聴者の視線角度方向が、累積された画像の移動に適応可能な第３の閾値角度方向を横切るように、画像の移動の中断をもたらす同じ方向における変化を継続するとき、画像は反対方向に移動する。
2016533114.tif 000002
【特許請求の範囲】
【請求項１】
ビデオディスプレイ装置であって、
表示画面に表示される画像の画像情報を含むビデオ信号のソースと、
前記表示画面に対する視聴者の視線方向を検知するセンサと、
前記センサの出力信号に応答する、前記表示画面に結合されたプロセッサーであって、前記視線方向が、第１の方向において第１の閾値方向を横切ったとき、前記表示画面に対して前記表示される画像を移動するために前記表示される画像にパン／チルト機能を適用し、前記視線方向が、前記第１の方向と反対の方向において第２の閾値方向を横切ったとき、ヒステリシスをもたらすように前記画像の移動に変化を生じさせる、前記プロセッサーと、
を備える、前記ビデオディスプレイ装置。
【請求項２】
前記視線方向が前記第１の閾値方向を横切る前に、前記画像の移動が無効にされる、請求項１に記載の装置。
【請求項３】
前記第２の閾値方向を横切った後でかつ前記視線方向がある値の範囲内にある間、画像の移動のさらなる累積が無効にされる、請求項１に記載の装置。
【請求項４】
ビデオディスプレイ装置であって、
表示画面に表示される画像の画像情報を含むビデオ信号のソースと、
前記表示画面に対する視聴者の視線方向を検知するセンサと、
前記センサの出力信号に応答する、前記表示画面に結合されたプロセッサーであって、前記視線方向が第１の閾値方向を横切った後、前記表示画面に対して前記表示される画像を第１の方向に第１の速度で移動するために前記表示される画像にパン／チルト機能を適用し、前記視線方向が前記第１の方向において第２の閾値方向を横切った後、前記表示される画像を同じ方向に、異なる第２の速度でさらに移動する、前記プロセッサーと、
を備える、前記ビデオディスプレイ装置。
【請求項５】
前記第２の閾値方向は、前記第１の閾値方向に対応する前記視線方向より前記表示画面の縁部に近い視線方向に対応し、前記第２の速度は前記第１の速度より速い、請求項４に記載のビデオディスプレイ装置。
【請求項６】
前記プロセッサーは、前記視線方向が、前記第１の方向と反対の方向において第３の閾値方向を横切ったとき、ヒステリシスをもたらすように、前記第２の速度を前記第１の速度に変化させる、請求項４に記載のビデオディスプレイ装置。
【請求項７】
ビデオディスプレイ装置であって、
表示画面に表示される画像の画像情報を含むビデオ信号のソースと、
前記表示画面に対する視聴者の視線方向を検知するセンサと、
前記センサの出力信号に応答する、前記表示画面に結合されたプロセッサーであって、前記視線方向が第１の値の範囲内にあるとき、前記表示画面に対して前記表示される画像を第１の方向に移動するために前記表示される画像にパン／チルト機能を適用し、前記視線方向が第２の値の範囲内にあるとき、さらなる画像の移動を停止し、前記視線方向が第１の閾値方向を横切ったとき、前記画像を反対方向に移動し、前記第１の閾値方向は、前記さらなる画像の移動が停止した時点より前に累積された前記画像の移動の大きさに従って適応的に調整される、前記プロセッサーと、
を備える、前記ビデオディスプレイ装置。
【請求項８】
ビデオディスプレイ装置であって、
表示画面に表示される画像の画像情報を含むビデオ信号のソースと、
前記表示画面に対する視聴者の視線方向を検知するセンサと、
前記センサの出力信号に応答する、前記表示画面に結合されたプロセッサーであって、前記表示される画像を前記視線方向に従って移動するために前記表示される画像にパン／チルト機能を適用し、前に得られた前記画像の移動を前記表示される画像のコンテンツの変化に応答して変化させるために前記画像のコンテンツにさらに応答する、前記プロセッサーと、
を備える、前記ビデオディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視聴者の視線方向によって制御されるビデオディスプレイ装置に関する。
【背景技術】
【０００２】
「パン＆スキャン」（パン）は通常、例えばアスペクト比２．３５：１を有する元のワイドスクリーン画像の水平側部分をクロッピングし削除することを指す用語である。通常は、パンは、画像の最も重要な部分を、例えば１６：９アスペクト比の表示画面上の表示に合わせるために用いることができる。垂直方向での類似したクロッピング削除は、通常「チルト＆スキャン」（チルト）と呼ばれる。ズーム機能は、細部をより良く認識するために用いることができる。ズーム機能はまた、所与の画面において異なる表示比率を有する画像を、レターボックスから種々のズームモードに適合させるために選ぶことができる。例えば従来型のハンドヘルドのリモートコントロールユニットを用いて視聴者により、ズーム、スキャン、およびチルト機能の種々の組み合わせを選択および制御することができる。
【０００３】
図１ａは、クロッピングなし、および非ズームモードでの、表示画面１０６に表示された画像１００を示す。図１ｂでは、画像１００にズーム機能が適用され、それにより画像１００の画像部分１０５ａのみが表示画面１０６に表示される。図１ｂでは部分１０５ａまたは画像１００は、画像１００の中心点１１０’と同じ点に、表示画面１０６の中心点１１０を有することによって、ズームされた中心にある。ズーム機能は結果として、画面１０６の表示領域の外側になるので見えなくなる画像１００の一部分１０５ｂを生じる。図１ｃは、ズーム機能およびパン機能の両方の組み合わせを適用した結果から生じる、表示画面１０６に表示された画像部分１０５ａを示す。その結果、中心点１１０と１１０’とは一致しなくなる。図１ａ、１ｂおよび１ｃにおける同様の記号および数字は、同様の項目または機能を表す。
【０００４】
視聴者が図１ｂの表示画面１０６上のムービーを見ているときに、図示されていない、特定のオブジェクトが視聴者の注意を引く場合がある。このようなオブジェクトは、画面１０６に対して特定の方向、例えば図１ｂの右に動き得る。そのため視聴者は、視聴者の頭部方向、および／または視聴者の目が向けられる方向を、図１ｂの右に変化させることによって、動いているオブジェクトを追う傾向をもち得る。
【０００５】
視聴者の頭部／目の動きに応答する、動的に追従するパン機能、動的に追従するチルト機能、またはそれらの組み合わせ（本明細書ではそれぞれは、動的に追従するパン／チルト機能と呼ばれる）を使用することが望ましくなり得る。このような機能は、動いているオブジェクトが、見えなくなるのではなく可視部分１０５ａ内に維持されるように用いることができる。
【０００６】
発明性のある特徴の実施において、視聴者の視線方向が表示画面の中心領域に向けられている限り、動的に追従するパン／チルト機能は行われず、すなわち無効に（ｄｉｓａｂｌｅ）される。視聴者の視線角度が、画面中心から離れて例えば画面の右側の縁に向かって、第１の閾値角度方向を横切った後に、表示された画像を反対方向に移動するように、動的に追従するパン機能が有効に（ｅｎａｂｌｅ）される。結果として上述の動いているオブジェクトは、画面の中心のより近くに移動される。有利なことにはその結果として、これまで見えなかったズームされた画像の部分は、表示画面の表示領域内に移動されることになる。したがって、動いているオブジェクトは、画面中心のより近くに留まる傾向をもつようになるので有利である。
【０００７】
パン機能が開始された後に、視聴者の視線角度方向が反対方向に変化し始めたと仮定する。これは例えば、パン機能の上記の画像移動動作によって、動いているオブジェクトが移動したために結果として生じ得る。第１の閾値角度方向の近傍で、画像が跳ねること（ｂｏｕｎｃｅ）を避けることが望ましくなり得る。
【０００８】
さらなる発明性のある特徴の実施において、さらなるパン機能動作を中断または停止するためには、視聴者の視線角度方向は、第１の閾値角度方向より小さい閾値角度方向を横切る（ｃｒｏｓｓ）必要がある。有利なことに、それによってパン／チルト機能にヒステリシス機能が組み込まれる。
【０００９】
発明性のある他の特徴の実施において、視聴者の視線角度方向が、画面中心から離れて画面の同じ側の縁に向かって、さらに大きな第２の閾値角度方向を横切ったときは、画像は、視聴者の視線角度方向が第１および第２の閾値角度方向の間にあるときよりも速い速度で、パンするようになる。速い速度が適用されることによって、動いているオブジェクトが画面の可視部分から消えるのを防ぐので有利である。
【００１０】
ヒステリシス機能はまた、第２の閾値角度方向を横切ることに関しても組み込むことができる。同様に、複数の閾値および対応するヒステリシス機能を組み込むことが可能である。
【００１１】
画像移動が停止した後に、視聴者が、前にパン機能をトリガしたのと反対方向に頭部の向きを変えると仮定する。視聴者の視線角度方向が第３の閾値角度方向より大きくなったときは、反対方向でのパン機能が開始される。
【００１２】
さらなる追加の発明性のある特徴の実施において、第３の閾値角度方向は、画像移動が停止した時点で存在する画像移動の累積の程度によって適応的に決定される。有利なことに第３の閾値角度方向を横切ることに関しても、ヒステリシス機能を組み込むことができる。
【００１３】
視聴者の目の動き、頭部追従、または顔の方位の突然の速い変化率は、表示された画像に関係ない擾乱を示し得る。したがって、さらなる発明性のある特徴の実施において、このような速い変化率の検出は、パン／チルト機能に効果を及ぼさないようになる。
【００１４】
スピーカなどの知覚される音源が、動的に追従するパン／チルト機能を動的に追うようにすることによって、ズームまたは動的に追従するパン／チルト機能を補完することが望ましくなり得る。有利なことにはこれは、パン／チルト機能を制御する制御信号に応答して、例えば２つのステレオチャネルを適応的に混合することによって達成される。したがって、動的に追従するパン／チルト機能により、表示された画像が移動するのにつれて、音がそこから生じるように知覚される位置も、ズームまたは追従するパン／チルト機能が適用される表示画像に追従する。つまりステレオ効果の幅が、立体視の幅に従って動的に変化する。
【００１５】
「ＴＨＥ  ＳＩＭＵＬＡＴＩＯＮ  ＯＦ  ＭＯＶＩＮＧ  ＳＯＵＮＤ  ＳＯＵＲＣＥＳ」という名称のＪｏｈｎ  Ｍ．  Ｃｈｏｗｎｉｎｇによる論文（Ｊ．  Ａｕｄｉｏ  Ｅｎｇ．  Ｓｏｃ．  １９，２−６，１９７１）は、錯覚に基づく音源空間を通して、錯覚に基づく音源を移動することができる構成を述べている。いくつかの独立のオーディオチャネルは２つまたは４つのチャネルに変換され、そこでは各入力チャネルの位置の静特性または動特性は、錯覚に基づく環境において独立に制御され得る。方法は、スピーカの間で、直接および残響の信号の分布および振幅を制御する。
【００１６】
Ｌｏｗｅらの米国特許第５，０４６，０９７号明細書は、従来型のステレオ再生機器を用いて、聴取者を含む３次元空間の至るところに分散された、はっきり認識できる音源の錯覚を生じさせるためのプロセスを述べている。
【００１７】
米国特許第５，７４２，６８７号明細書は、例えばテレビジョン受信機の形での、オーディオビジュアル再生システムの実施形態を示している。ステレオオーディオ信号が供給される場合は、左チャネルを再生する音源の位置は、左への仮想的な移動をもたらす。同様に右チャネル信号を表すソースは、右への仮想的な移動を受けるようになる。
【００１８】
Ｔａｋｕｙｏ  Ｋｏｇｕｒｅらの米国特許第４，２１９，６９６号明細書は、２つまたは４つのスピーカを有する変更されたステレオ再生機器を用いて、２つのスピーカおよび聴取者の頭部を含む平面内の任意の場所に音像を配置することを可能にする数学的処理を開示している。システムは、正確な特性化、整合、およびスピーカを駆動する信号と、聴取者のそれぞれの耳における音圧との間の複素音響周波数応答の電気的補償に依存する。
【００１９】
Ｋｏｊｉ  Ｗａｔａｎａｂｅの米国特許第４，５２４，４５１号明細書は、聴取者の側面または背後の「ファントム音源」の生成のための原理を説明している。
【００２０】
Ｈｏｏｖｅｒの米国特許第５，９８７，１４１号明細書はステレオエキスパンダを教示し、それぞれのスピーカを有する左および右のステレオ音チャネルをもつステレオオーディオ処理システムが提示される。システムには、相隔てられたスピーカの第１の対が、音響的にそれらが実際よりさらに相隔てられていると思われるように、ステレオ音の空間的拡張がもたらされる。
【発明の概要】
【００２１】
ビデオディスプレイ装置は、表示画面に表示される画像の画像情報を含むビデオ信号のソースと、上記表示画面に対する視聴者の視線方向を検知するためのセンサとを含む。プロセッサーは、上記センサの出力信号に応答し、上記表示された画像にパン／チルト機能を適用して上記表示された画像を上記表示画面に対して移動するために、上記表示画面に結合される。
【００２２】
発明性のある特徴の実施において、上記表示される画像は、上記視線方向が第１の方向において第１の閾値方向を横切ったときに移動される。ヒステリシスをもたらすように、上記視線方向が上記第１の方向と反対の方向において第２の閾値方向を横切ったときに、上記画像の移動に変化が生じる。
【００２３】
他の発明性のある特徴の実施において、上記表示される画像は、上記視線方向が第１の閾値方向を横切った後に、第１の速度において第１の方向に移動される。上記表示された画像は、上記視線方向が上記第１の方向において第２の閾値方向を横切った後に、異なる第２の速度において同じ方向にさらに移動される。
【００２４】
さらなる発明性のある特徴の実施において、上記画像は、上記視線方向が第１の値の範囲内にあるとき、第１の方向に上記表示画面に対して移動される。上記視線方向が第２の値の範囲内にあるとき、さらなる画像移動は停止する。上記画像は、上記視線方向が第１の閾値方向を横切ったときは、反対方向に移動される。上記第１の閾値方向は、上記さらなる画像の移動が停止した時点より前に累積された上記画像の移動の大きさに従って、適応的に調整される。
【００２５】
さらなる発明性のある特徴の実施において、上記プロセッサーは、上記表示された画像コンテンツにおける変化に応答して前に得られた画像の移動を変化させるように、上記画像のコンテンツにさらに応答する。
【図面の簡単な説明】
【００２６】
本発明の好ましい実施形態について、添付の図面を参照して以下でより詳しく述べる。
【図１ａ】従来技術による、クロッピングなし、および非ズームモードでの、表示画面に表示された画像の正面図である。
【図１ｂ】従来技術による、ズーム機能が画像に適用されたときの、表示画面に表示された画像の正面図である。
【図１ｃ】従来技術による、ズーム機能およびパン機能の両方が適用されたときの、表示画面に表示された画像部分の正面図である。
【図２】発明性のある特徴を具体化したシステムのブロック図である。
【図３ａ】視聴者の視線方向を検知するため、および図２の構成を制御するためのカメラの対を示す図である。
【図３ｂ】視聴者の視線方向を検知するため、および図２の構成を制御するためのカメラの対を示す図である。
【図４ａ】図２のシステムの動作を説明するための、視聴者によって視聴される表示画面の上面図である。
【図４ｂ】図２のシステムの動作を説明するための、視聴者によって視聴される表示画面の上面図である。
【図４ｃ】図２のシステムの動作を説明するための、視聴者によって視聴される表示画面の上面図である。
【図４ｄ】図２のシステムの動作を説明するための、視聴者によって視聴される表示画面の上面図である。
【図５ａ】図２のシステムの動作を説明するための、表示画面の正面図である。
【図５ｂ】図２のシステムの動作を説明するための、表示画面の正面図である。
【図６】図３ａおよび３ｂのカメラの出力に応答して、ステレオオーディオチャネルの対の仮想的オーディオ移動を行う、図２のオーディオプロセッサーの一部分のブロック図である。
【発明を実施するための形態】
【００２７】
図２は、発明性のある特徴を具体化したシステム１５０のブロック図を示す。図１ａ、１ｂ、１ｃおよび２における同様の記号および数字は、同様の項目または機能を表す。
【００２８】
図２のシステム１５０は、入力ビデオ／オーディオソース１５６を含み、これは入力ビデオ／オーディオ信号１５６ａの一部分を含んだビデオをビデオプロセッサー１５５に、入力ビデオ／オーディオ信号１５６ａの一部分を含んだオーディオを強化型オーディオプロセッサー１５７に、印加する。従来のやり方でビデオ／オーディオ信号１５６ａの対応する部分から、ビデオプロセッサー１５５は画像情報を導き出し、強化型オーディオプロセッサー１５７はオーディオ情報を導き出す。
【００２９】
ズーム、パン／チルト機能コントローラ１５４は、視聴者インターフェースおよびリモートコントロール１８０において従来の方法で生成される信号１８０ａに応答する。コントローラ１５４は信号１５４ａを発生させ、これはビデオプロセッサー１５５に印加される。ビデオプロセッサー１５５は、インターフェースおよびリモートコントロール１８０を介して視聴者により開始されたコマンドに従って、従来型のビデオディスプレイ１５９において、従来のやり方で従来のズームまたはパン／チルト機能を適用する。ビデオプロセッサー１５５は、ビデオディスプレイ１５９を駆動するための出力ビデオ信号１５５ａを発生させる。
【００３０】
図３ａおよび３ｂのそれぞれは、図３ａおよび３ｂの表示画面１０６のそれぞれ左側および右側の近傍に搭載された、図２のシステム１５０のカメラの対１５２の上面図を概略的に示す。図１ａ〜１ｃ、２、３ａおよび３ｂにおける同様の記号および数字は、同様の項目または機能を表す。図３ａおよび３ｂのカメラ１５２は、共に、視線方向を検知するための従来型のプロセッサー１５１が、視聴者１６０の視線方向１６１を検知することを可能にする立体画像情報をもたらす。図３ａの例では、視線角度方向１６１は、ビデオディスプレイ１５９の表示画面１０６と垂直である。一方、図３ｂの例では、視線角度方向１６１は、表示画面１０６の最も右側に向けられる。
【００３１】
図２のカメラ１５２は、出力信号の対１５２ａを発生させ、これらは表示画面１０６に対する、図３ａおよび３ｂの視聴者１６０の顔、頭部または目の位置の少なくとも１つを検知するために、視線方向を検知するためのプロセッサー１５１に印加される。カメラの対１５２の代わりに、単一の立体カメラを用いることができる。またカメラの対１５２の代わりに、顔または目の動き検出の強化型処理を有する、立体でない単一のカメラを用いることができる。図２の、視線方向を検知するためのプロセッサー１５１は、従来のやり方で、図３ａおよび３ｂの視聴者１６０の現在の視線方向を示す出力信号１５１ａを発生させる。
【００３２】
発明性のある特徴の実施において、図２のズーム、パン／チルト機能コントローラ１５４は、出力信号１５１ａに応答して制御信号１５４ａを発生させる。コントローラ１５４において生成された制御信号１５４ａは、動的に追従するパン／チルト機能を生成するように、ビデオプロセッサー１５５に印加される。
【００３３】
図５ａおよび５ｂは、後に説明されるものを除いて、それぞれ図１ｂおよび１ｃと同様である。図５ａおよび５ｂのそれぞれは、説明のために画面中心１１０を通って延びる水平線１１０ａを示す。図４ａ、４ｂ、４ｃ、および４ｄはまとめて、方向１６１ａ１、方向１６１ａ、方向１６１ｂ１、方向１６１ｂ、方向１６１ａ’、方向１６１ｂ’を示す。例えば、方向１６１ａ１、１６１ａ、１６１ｂ１、１６１ｂ、１６１ａ’および１６１ｂ’のそれぞれは、例えば図５ａおよび５ｂの水平線１１０ａに沿って水平方向にそれぞれ配置されたスポット１６１ａ１、スポット１６１ａ、スポット１６１ｂ１、スポット１６１ｂ、スポット１６１ａ’、およびスポット１６１ｂ’において交差する。図５ａおよび５ｂでは、交差スポット１６１ａ１および１６１ｂ１は省かれている。図１ａ〜１ｃ、２、３ａ、３ｂ、４ａ〜４ｄ、５ａおよび５ｂにおける同様の記号および数字は、同様の項目または機能を表す。
【００３４】
図４ａでは画像１００は、図１ｂまたは５ａに関して説明されたものと同様に、初めにズームされた中心にある。図４ａのように画像１００が初めにズームされた中心にあるときに、図５ａの可視部分１０５ａ内の表示画面１０６に表示された、図示されていない、オブジェクトが、図４ａ、４ｂ、４ｃおよび４ｄのそれぞれの右にある、画面１０６の側縁部１１１に向かって、水平線１１０ａに平行な水平方向に動くと仮定する。また、画像１００がズームされた中心にあるときに、例えば動いているオブジェクトを追うために、視聴者１６０は、視聴者１６０に対して左側である、図４ａの右側に頭部または目の向きを変えると仮定する。
【００３５】
視聴者１６０の視線角度方向が、閾値角度方向１６１ａより小さい角度範囲内にある限り、動的に追従するパン機能は適用されず、または無効にされる。視聴者１６０の視線角度方向が、図４ｂの閾値角度方向１６１ａを横切ったときは、言い換えれば視聴者１６０の視線角度方向と閾値角度方向１６１ａの差の極性（polarity）が変化したときは、画像１００を図４ｂの左へ遅い第１の速度で徐々に移動させるように、動的に追従するパン機能が適用される。
【００３６】
発明性のある特徴の実施において、閾値角度方向１６１ａを横切った後に、および視聴者１６０の視線角度方向が、ヒステリシスをもたらす閾値角度方向１６１ａ１より大きな角度方向のままである限り、矢印１７３の方向によって示されるように、画像１００が視聴者１６０に対して右に、すなわち図４ｂの左に追加的に移動するように、動的に追従するパン機能がさらに適用される。閾値角度方向１６１ａ１は、画像が行ったり来たりして跳ねるのを有利なことに防止するヒステリシスをもたらすために、角度１６１ａよりわずかに小さい。
【００３７】
追加の発明性のある特徴の実施において、視聴者１６０の視線角度方向が、図４ｃの閾値角度方向１６１ｂより大きくなったとき、すなわち、言い換えれば視聴者１６０の視線角度方向と閾値角度方向１６１ｂの差の極性が変化したときは、追加の移動が続くが、有利なことに角度方向１６１ａ１と１６１ｂの間の範囲内よりも速い速度で行われる。前に述べられた閾値機能と同様に、閾値１６１ｂを横切った後に、画像１００を移動することは、視聴者１６０が閾値角度方向１６１ｂ１より大きな視線角度方向を維持する限り、比較的速い速度で進行するようになる。閾値角度方向１６１ｂ１は、ヒステリシスをもたらすように、閾値角度方向１６１ｂよりわずかに小さい。視聴者１６０の視線角度が、ヒステリシスをもたらす閾値角度方向１６１ｂ１より小さいが、図４ｂの閾値角度１６１ａ１より大きくなった場合は、画像１００の追加の移動は、図４ｃの閾値角度方向１６１ｂを横切る直前に存在した遅い速度に戻るようになる。視聴者１６０の視線角度方向が、図４ｂの閾値角度方向１６１ａ１より小さくなったときは、画像１００の追加の移動は停止し、画像１００を移動することは、閾値角度方向１６１ａ１を横切る直前までに蓄積されたものと同じ、移動された状態またはパン状態に保留される。
【００３８】
例えば前に述べられた、図４ｃの左への画像１００の移動の結果として、視聴者１６０は、図４ｄに示されるように反対方向に、すなわち視聴者１６０の右に頭部の向きを変える可能性が高い。閾値角度方向１６１ａ’は、垂直方向線１７２から、線１７２の左側に向かって延びる。視聴者１６０の視線角度方向が、閾値角度方向１６１ａ’より小さな角度範囲内である限り、画像１００の移動における変化は、前に説明されたように中断されたままとなる。一方、視聴者１６０の視線角度方向が、閾値角度方向１６１ａ’より大きくなるまたはこれを横切った場合は、動的に追従するパン機能は、矢印１７４によって示されるように、図４ｄの右に、すなわち視聴者１６０に対して左に、または表示画面１０６の中心１１０に向かって画像１００を移動するように、反対方向に適用される。さらに説明される点を除いて、例えば角度方向１６１ａおよび１６１ｂに関連する上述の機能は、垂直方向線１７２の左側にある角度方向１６１ａ’および１６１ｂ’にもそれぞれ同様に適用可能である。
【００３９】
発明性のある特徴の実施において、例えば図４ｄの閾値角度方向１６１ａ’および１６１ｂ’のそれぞれの大きさは、図４ｃの左側への画像１００の追加の移動が累積され保留されるまで、累積された画像１００の既存の移動の量に従って適応的に変化する。
【００４０】
図４ａ〜４ｄに関して後に述べられる特徴は、図５ａの部分１０５ａ内の表示画面１０６内に表示された図示されていないオブジェクトが、代わりに水平線１１０ａに沿って、画像１００がズームされた中心にあるときに図４ａ、４ｂ、４ｃおよび４ｄのそれぞれの左にある、画面１０６の側縁部１１２に向かって動く対称的な状況にも、対称的に適用可能であることが理解されるべきである。例えば図４ａにおいて、角度方向１６１ａ’および１６１ｂ’は、それぞれ角度方向１６１ａおよび１６１ｂに等しい。
【００４１】
一方、有利なことには、画像１００の既存の移動が存在する図４ｄに関して前に述べられた状況に適用可能な、図４ｄの閾値角度方向１６１ａ’および１６１ｂ’のそれぞれの大きさについて、角度方向１６１ａ’および１６１ｂ’のそれぞれの大きさは、それぞれ図４ａに示されるより小さい。この特徴は、図４ａの画像１００の移動されていない、ズームされた中心へ迅速に戻ることを容易にするので有利である。
【００４２】
動的に追従するチルト機能は、動的に追従するパン機能と類似した方法で行われる。動的に追従するパン機能の実施においては、画像移動は前に説明されたように水平方向に生じるが、一方、動的に追従するチルト機能の実施においては、画像移動は垂直方向に生じる。また、離散的な閾値角度方向において変化するパン／チルト機能をもつ代わりに、パン／チルト機能における変化は、非離散的な連続した形の角度方向において生じ得ることが理解されるべきである。
【００４３】
図５ａおよび５ｂのそれぞれは、外周２６１ａおよび外周２６１ｂを示す。外周２６１ａは、水平線１１０ａの水平方向における閾値角度方向１６１ａおよび１６１ａ’を含む。同様に外周２６１ｂは、閾値角度方向１６１ｂおよび１６１ｂ’を含む。外周２６１ａおよび２６１ｂのそれぞれの対応する部分はまた、動的に追従するチルト機能をもたらすために、垂直方向における画像１００の移動の開始に関連する閾値角度方向を含む。
【００４４】
図５ａにおいて、画像１００は、ズームされた中心にある。したがって、外周２６１ａおよび２６１ｂは、中心１１０に対して水平方向において対称的である。一方、図５ｂでは画像１００はすでに予め移動されている。したがって、外周２６１ａおよび２６１ｂは、前に説明されたように適応的な動的に追従するパン機能をもたらすように、中心１１０に対して水平方向において非対称的である。
【００４５】
画像１００が、例えば図５ｂでのように移動されたと仮定すると、画像１００に示されるシーンは突然変化し、それにより上述の動いているオブジェクトは、図３ａまたは３ｂの視聴者１６０にはもはや関連性がなくなる。有利なことには図２のビデオプロセッサー１５５は、図示されていない検出器を含み、これはシーン変化の発生を検出するためにビデオ／オーディオ信号１５６ａに応答して、図５ａのように画像１００を中心に置くように、図５ｂの画像１００の累積された移動をオーバライドするために、ズーム、パン／チルト機能コントローラ１５４に結合されるリセット信号１５５ｂを発生させる。この機能は有利なことに、シーン変化が発生するとすぐに、図４ａの移動されていない、中心に置かれた画像１００へ迅速に戻ることを容易にする。
【００４６】
図６は、図２のオーディオプロセッサー１５７に含まれるコンソール３００を示す。図１ａ〜１ｃ、２，３ａ、３ｂ、４ａ〜４ｄ、５ａ、５ｂおよび６における同様の記号および数字は、同様の項目または機能を表す。図６のコンソール３００は、ステレオオーディオチャネル１３８および１３９の対を受け取る。チャネル１３８および１３９は、図２のビデオ／オーディオ信号１５６ａからオーディオプロセッサー１５７において、図示されていない従来のやり方で導き出される。
【００４７】
図６のチャネル１３８は、３つの並列な信号経路を通してオーディオミキサ３０４に印加される。これは遅延部３０１で遅延されて遅延された信号３０１ａを生成し、これはフィルター３０２で濾波されて、濾波された信号３０２ａを生成し、およびこれは残響付加段３０３で残響付加されて、残響付加された信号３０３ａを生成する。同様にチャネル１３９は、３つの並列な信号経路を通してオーディオミキサ３０４’に印加される。これは遅延部３０１’で遅延されて遅延された信号３０１ａ’を生成し、これはフィルター３０２’で濾波されて、濾波された信号３０２ａ’を生成し、およびこれは残響付加段３０３’で残響付加されて、残響付加された信号３０３ａ’を生成する。ミキサ３０４は、信号３０１ａ、３０２ａ、３０３ａ、３０１ａ’、３０２ａ’および３０３ａ’を結合して、スピーカ１５８ａを駆動するための出力信号１５７ａを発生させる。また、ミキサ３０４’は、信号３０１ａ、３０２ａ、３０３ａ、３０１ａ’、３０２ａ’および３０３ａ’を結合して、スピーカ１５８ｂを駆動するための出力信号１５７ｂを発生させる。前述したように、１５８ａおよび１５８ｂなどのスピーカによって発生する音が視聴者／聴取者にとって、実際のスピーカが物理的に位置している場所に対して移動された場所で生じたように見えるように、チャネル１３８および１３９などのステレオ信号の対を処理することはよく知られている。
【００４８】
有利なことに、前述したようにズーム、パン／チルト機能を制御する出力信号１５４ａはまた、遅延部３０１、フィルター３０２、残響付加段３０３、およびミキサ３０４にまとめて印加される係数の組３０５ａを生成するために、プログラマブルロジックアレイ（ＰＬＡ）３０５にも印加される。ＰＬＡ３０５はまた、遅延部３０１’、フィルター３０２’、残響付加段３０３’、およびミキサ３０４’にまとめて印加される係数の第２の組３０５ｂを生成する。有利なことに、図６の構成では、係数３０５ａおよび３０５ｂは、信号１５４ａに従って動的に変化して、音源の動的かつ仮想的な移動を生じさせる。対応する仮想的な音源移動を得るために、係数３０５ａおよび３０５ｂは、図４ａ〜４ｄの画像１００の現在の移動に従って動的に変化する。
【００４９】
有利なことに、強化型オーディオプロセッサー１５７によって発生する、図２および６の信号１５７ａおよび１５７ｂは、それぞれスピーカ１５８ａおよび１５８ｂを、動的に追従するパン／チルト機能に従って動的に変化するように、図４ａ〜４ｄの視聴者１６０に、図２のスピーカ１５８ａおよび１５８ｂで発生する音を知覚させるように駆動する。この構成はスピーカの組に限定されず、サラウンドサウンドスピーカなどのようなシステムを含み得ることが理解されるべきである。
【００５０】
したがって、表示された画像が、動的に追従するパン／チルト機能によって移動するのにつれて、音源がそこから生じると知覚される位置も、移動されたまたはズームされた表示された画像を追跡して、音の仮想的な移動を生じさせる。スピーカ１５７および１５８の各選択された仮想的な移動のために必要な、図６の係数３０５ａおよび３０５ｂは、従来技術の教示による計算によって、および／またはスピーカ１５７および１５８を含む部屋の大きさを考慮し得る実験によって、設置または使用の前にプログラムすることができる。信号１５４ａが変化するのにつれて、図５の係数３０５ａおよび３０５ｂの選択は、動的な形で変化する。
【図１ａ】
2016533114.tif 000003
【図１ｂ】
2016533114.tif 000004
【図１ｃ】
2016533114.tif 000005
【図２】
2016533114.tif 000006
【図３ａ】
2016533114.tif 000007
【図３ｂ】
2016533114.tif 000008
【図４ａ】
2016533114.tif 000009
【図４ｂ】
2016533114.tif 000010
【図４ｃ】
2016533114.tif 000011
【図４ｄ】
2016533114.tif 000012
【図５ａ】
2016533114.tif 000013
【図５ｂ】
2016533114.tif 000014
【図６】
2016533114.tif 000015
【手続補正書】
【提出日】平成28年8月19日(2016.8.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオディスプレイ装置であって、
ビデオ信号を表示する画面と、
前記画面に表示され、およびスピーカにレンダリングされるオーディオ／ビデオ信号を受信するように構成された入力部と、
前記画面に対する視聴者の視線方向を検知するように構成されたプロセッサーと、
前記受信されたビデオ信号におけるシーンの変化の発生を検出し、および
コントローラにより決定されたパンおよびチルトパラメータに応じてパンおよびチルト機能を適用して前記受信されたビデオ信号を修正し、前記修正されたビデオ信号を前記画面に供給する
ように構成されたビデオプロセッサーと、
前記プロセッサーにより検知された前記視線方向に対して適用される前記パンおよびチルトパラメータを決定するように構成されたコントローラであって、前記パンおよびチルトパラメータは、前記ビデオプロセッサーによりシーンの変化が検出されたときにリセットされる、前記コントローラと、
を備える、前記ビデオディスプレイ装置。
【請求項２】
前記ビデオプロセッサーは、前記受信されたビデオ信号に対しズーム機能を実行するように構成された、請求項１に記載のビデオディスプレイ装置。
【請求項３】
前記コントローラは、前記視線方向が第１の閾値方向を横切るまで、パンおよびチルトパラメータをリセットするようにさらに構成された、請求項１または２に記載のビデオディスプレイ装置。
【請求項４】
前記コントローラは、前記視線方向が、第１の動きにおいて、第１の閾値方向を横切ったとき、前記視線方向が、前記第１の動きと反対の動きにおいて、第２の閾値方向を横切るまで、ヒステリシスをもたらすように第１のパンおよびチルトパラメータを決定するようにさらに構成された、請求項１から３のいずれかに記載のビデオディスプレイ装置。
【請求項５】
前記コントローラは、前記視線方向が第２の閾値方向を横切ったとき、第２のパンおよびチルトパラメータを決定するようにさらに構成され、前記第２の閾値方向は、前記第１の閾値方向に対応する前記視線方向より前記画面の縁部に近い視線方向に対応し、前記第２のパンおよびチルトパラメータは第１のパンおよびチルトパラメータより大きい、請求項１から４のいずれかに記載のビデオディスプレイ装置。
【請求項６】
ビデオのパンに関して前記音声を空間的に拡張するために、複数のオーディオチャネルを含む前記受信されたオーディオ信号を、前記オーディオチャネルに遅延、フィルタおよび残響付加機能を適用することにより修正し、前記修正されたオーディオチャネルを共にミックスし、前記修正されたオーディオ信号をスピーカに供給するように構成されたオーディオプロセッサーをさらに備え、前記修正は前記コントローラに供給されるパンパラメータに応じて実行される、請求項１から５のいずれかに記載のビデオディスプレイ装置。
【請求項７】
前記音声信号はステレオ信号である、請求項６に記載のビデオディスプレイ装置。
【請求項８】
前記音声信号は３次元オーディオ信号であり、前記オーディオチャネルの修正は、前記コントローラに供給されるパンおよびチルトパラメータに応じて実行される、請求項６に記載のビデオディスプレイ装置。
【請求項９】
画面に対する視聴者の視線方向に応じてオーディオ／ビデオ信号をレンダリングするための方法であって、
オーディオ／ビデオ信号を受信するステップと、
前記画面に対する視聴者の視線方向を取得するステップと、
前記受信されたビデオ信号におけるシーンの変化の発生を検出するステップと、
取得された視線方向に対して適用されるパンおよびチルトパラメータを決定するステップであって、前記パンおよびチルトパラメータは、シーンの変化が検出されたときにリセットされる、前記決定するステップと、
決定されたパンおよびチルトパラメータに応じてパンおよびチルト機能を適用することにより前記受信されたビデオ信号を修正するステップと、
前記修正されたビデオ信号を前記画面に供給するステップと、
を含む、前記方法。
【請求項１０】
決定されたパンおよびチルトパラメータに応じてパンおよびチルト機能を適用することにより前記受信されたオーディオ信号を修正するステップと、
前記修正されたオーディオ信号を前記スピーカに供給するステップと、
をさらに含む、請求項９に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
追加の発明性のある特徴の実施において、視聴者１６０の視線角度方向が、図４ｃの閾値角度方向１６１ｂより大きくなったとき、すなわち、言い換えれば視聴者１６０の視線角度方向と閾値角度方向１６１ｂの差の極性が変化したときは、追加の移動が続くが、有利なことに角度方向１６１ａ１と１６１ｂの間の範囲内よりも速い速度で行われる。前に述べられた閾値機能と同様に、閾値１６１ｂを横切った後に、画像１００を移動することは、視聴者１６０が閾値角度方向１６１ｂ１より大きな視線角度方向を維持する限り、比較的速い速度で進行するようになる。閾値角度方向１６１ｂ１は、ヒステリシスをもたらすように、閾値角度方向１６１ｂよりわずかに小さい。視聴者１６０の視線角度が、ヒステリシスをもたらす閾値角度方向１６１ｂ１より小さいが、図４ｂの閾値角度方向１６１ａ１より大きくなった場合は、画像１００の追加の移動は、図４ｃの閾値角度方向１６１ｂを横切る直前に存在した遅い速度に戻るようになる。視聴者１６０の視線角度方向が、図４ｂの閾値角度方向１６１ａ１より小さくなったときは、画像１００の追加の移動は停止し、画像１００を移動することは、閾値角度方向１６１ａ１を横切る直前までに蓄積されたものと同じ、移動された状態またはパン状態に保留される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
したがって、表示された画像が、動的に追従するパン／チルト機能によって移動するのにつれて、音源がそこから生じると知覚される位置も、移動されたまたはズームされた表示された画像を追跡して、音の仮想的な移動を生じさせる。スピーカ１５７および１５８の各選択された仮想的な移動のために必要な、図６の係数３０５ａおよび３０５ｂは、従来技術の教示による計算によって、および／またはスピーカ１５７および１５８を含む部屋の大きさを考慮し得る実験によって、設置または使用の前にプログラムすることができる。信号１５４ａが変化するのにつれて、図５の係数３０５ａおよび３０５ｂの選択は、動的な形で変化する。
本発明は以下の態様を含む。
（付記１）
ビデオディスプレイ装置であって、
表示画面に表示される画像の画像情報を含むビデオ信号のソースと、
前記表示画面に対する視聴者の視線方向を検知するセンサと、
前記センサの出力信号に応答する、前記表示画面に結合されたプロセッサーであって、前記視線方向が、第１の方向において第１の閾値方向を横切ったとき、前記表示画面に対して前記表示される画像を移動するために前記表示される画像にパン／チルト機能を適用し、前記視線方向が、前記第１の方向と反対の方向において第２の閾値方向を横切ったとき、ヒステリシスをもたらすように前記画像の移動に変化を生じさせる、前記プロセッサーと、
を備える、前記ビデオディスプレイ装置。
（付記２）
前記視線方向が前記第１の閾値方向を横切る前に、前記画像の移動が無効にされる、付記１に記載の装置。
（付記３）
前記第２の閾値方向を横切った後でかつ前記視線方向がある値の範囲内にある間、画像の移動のさらなる累積が無効にされる、付記１に記載の装置。
（付記４）
ビデオディスプレイ装置であって、
表示画面に表示される画像の画像情報を含むビデオ信号のソースと、
前記表示画面に対する視聴者の視線方向を検知するセンサと、
前記センサの出力信号に応答する、前記表示画面に結合されたプロセッサーであって、前記視線方向が第１の閾値方向を横切った後、前記表示画面に対して前記表示される画像を第１の方向に第１の速度で移動するために前記表示される画像にパン／チルト機能を適用し、前記視線方向が前記第１の方向において第２の閾値方向を横切った後、前記表示される画像を同じ方向に、異なる第２の速度でさらに移動する、前記プロセッサーと、
を備える、前記ビデオディスプレイ装置。
（付記５）
前記第２の閾値方向は、前記第１の閾値方向に対応する前記視線方向より前記表示画面の縁部に近い視線方向に対応し、前記第２の速度は前記第１の速度より速い、付記４に記載のビデオディスプレイ装置。
（付記６）
前記プロセッサーは、前記視線方向が、前記第１の方向と反対の方向において第３の閾値方向を横切ったとき、ヒステリシスをもたらすように、前記第２の速度を前記第１の速度に変化させる、付記４に記載のビデオディスプレイ装置。
（付記７）
ビデオディスプレイ装置であって、
表示画面に表示される画像の画像情報を含むビデオ信号のソースと、
前記表示画面に対する視聴者の視線方向を検知するセンサと、
前記センサの出力信号に応答する、前記表示画面に結合されたプロセッサーであって、前記視線方向が第１の値の範囲内にあるとき、前記表示画面に対して前記表示される画像を第１の方向に移動するために前記表示される画像にパン／チルト機能を適用し、前記視線方向が第２の値の範囲内にあるとき、さらなる画像の移動を停止し、前記視線方向が第１の閾値方向を横切ったとき、前記画像を反対方向に移動し、前記第１の閾値方向は、前記さらなる画像の移動が停止した時点より前に累積された前記画像の移動の大きさに従って適応的に調整される、前記プロセッサーと、
を備える、前記ビデオディスプレイ装置。
（付記８）
ビデオディスプレイ装置であって、
表示画面に表示される画像の画像情報を含むビデオ信号のソースと、
前記表示画面に対する視聴者の視線方向を検知するセンサと、
前記センサの出力信号に応答する、前記表示画面に結合されたプロセッサーであって、前記表示される画像を前記視線方向に従って移動するために前記表示される画像にパン／チルト機能を適用し、前に得られた前記画像の移動を前記表示される画像のコンテンツの変化に応答して変化させるために前記画像のコンテンツにさらに応答する、前記プロセッサーと、
を備える、前記ビデオディスプレイ装置。
【国際調査報告】
2016533114.tif 000016
2016533114.tif 000017
2016533114.tif 000018
2016533114.tif 000019
2016533114.tif 000020