(57)【要約】本発明は、ユーザの注視と表示画面との交差点を囲む領域において、ディスプレイ上で知覚されるビデオ品質（例えば、高解像度）を高める方法及び装置である。
2004534261.tif 000002
【特許請求の範囲】
【請求項１】
表示装置の表示画面を見ているユーザの目の注視方向線を決定するアイトラッキングシステムと、
上記アイトラッキングシステムから、上記注視方向を抽出し、上記注視方向線と上記表示画面が交差する交差点を決定する目の注視トラッキングモジュールと、
上記表示画面の上記交差点を囲む第１の領域において、上記表示画面に高ビデオ品質を与える手段と、
上記表示画面の第２の領域において、上記表示画面に低ビデオ品質を与える手段と、を含む装置。
【請求項２】
上記目の注視トラッキングモジュールは、上記交差点のデータを、スケーラブルビデオデコーダに送信し、
上記スケーラブルビデオデコーダは、符号化ビデオストリームを受信し、上記第１の領域に、高ビデオ解像度データからなる第１のセットを供給し、上記第２の領域に、低ビデオ解像度データからなる第２のセットを供給する、請求項１記載の装置。
【請求項３】
上記目の注視トラッキングモジュールは、上記交差点のデータを、スケーラブルビデオエンコーダに送信し、
上記スケーラブルビデオエンコーダは、ソースビデオストリームを受信し、遠隔ビデオデコーダに、高ビデオ解像度データからなる第１の符号化セットを供給し、且つ、該遠隔ビデオデコーダに、低ビデオ解像度データからなる第２の符号化セットを供給し、
上記高ビデオ解像度データからなる第１の符号化セットは、上記遠隔ビデオデコーダ内で復号化され、上記第１の領域に供給され、
上記低ビデオ解像度データからなる第２のセットは、上記第２の領域に供給される、請求項１記載の装置。
【請求項４】
上記スケーラブルビデオデコーダ、又は、上記遠隔ビデオデコーダは、ＭＥＰＧ−２、ＭＰＥＧ−４、及び、Ｈ．２６３からなるグループから選択されるビデオ伸張アルゴリズムが与えられる請求項２又は３記載の装置。
【請求項５】
上記表示画面の上記第２の領域は更に、異なるビデオ解像度を有する複数の領域を含む請求項２又は３記載の装置。
【請求項６】
上記表示画面の上記第２の領域は、上記表示画面の上記第１の領域よりぼんやりとしている請求項２又は３記載の装置。
【請求項７】
上記アイトラッキングシステムは、目の瞳孔動作検出器を含む請求項１記載の装置。
【請求項８】
表示画面を供給する段階と、
上記表示画面を見ているユーザの目の注視方向線を決定する段階と、
上記目の注視方向線が上記表示画面に交差する交差点を決定する段階と、
スケーラブルビデオ装置に、ビデオストリームを供給する段階と、
上記スケーラブルビデオ装置が、高ビデオ解像度データからなる第１のセットを、上記表示画面上の上記交差点を囲む第１の領域に供給し、且つ、低ビデオ解像度データからなる第２のセットを、上記ビデオ画面の第２の領域に供給する段階と、を含む方法。
【請求項９】
上記スケーラブルビデオ装置は、スケーラブルビデオデコーダ、又は、スケーラブルビデオエンコーダである請求項８記載の方法。
【請求項１０】
上記ビデオストリームは、上記ビデオストリームを符号化するために、ＭＰＥＧ−２、ＭＰＥＧ−４、及び、Ｈ．２６３からなるグループから選択される請求項８記載の方法。
【請求項１１】
上記ビデオ画面の上記第２の領域は更に、異なるビデオ解像度を有する複数の領域を含む請求項８記載の方法。
【請求項１２】
上記目の注視方向線が上記表示画面に交差する交差点を決定する段階は、目の瞳孔の動作を検出する段階を含む請求項８記載の方法。
【請求項１３】
上記ビデオ画面の上記第２の領域は、上記ビデオ画面の上記第１の領域よりぼんやりとしている請求項８記載の方法。
【請求項１４】
上記ビデオストリームは、符号化ビデオストリームである請求項８記載の方法。
【発明の詳細な説明】
【０００１】
本発明は、ディスプレイ上で知覚されるビデオ品質を高める方法及び装置に係る。
【０００２】
アイトラッキング装置は、一般的に、人の注視（gaze）の方向は、人の目の瞳孔の相対位置に直接関連するという原理に基づいている。これらのアイトラッキング装置は、目のビデオ画像に作用して、目の注視方向を決定する処理機能を含み得る。この画像処理機能は、ブライトアイ作用を用いて高められる。ブライトアイ作用とは、目の網膜の高反射性質の結果、起きるものである。網膜の特性によって、目に入る光のかなりの量が、瞳孔を介して反射される。光が、カメラレンズの軸に沿って目に入り込むと、網膜は、かなりの量の光をカメラに反射して戻す。瞳孔は、カメラに対し、明るい円盤に見える。この作用は、瞳孔を容易に撮像して、追跡することを可能にする。アイトラッキング装置は、武器制御、市場調査、及び、障害者用の可能化手段として用いられてきた。
【０００３】
本発明は、冒頭段落に記載するような種類の方法及び装置であって、ディスプレイ上で知覚されるビデオ品質を高める方法及び装置を提供することを目的とする。
【０００４】
本発明の目的は、本発明の装置が、表示画面（１８、１８Ｂ）の交差点（２８）を囲む第１の領域（４４、４４Ａ）において、表示画面（１８、１８Ｂ）上に高ビデオ品質を与える手段（２０、５４）と、表示画面（１８、１８Ｂ）の第２の領域（４６、４６Ａ）において、表示画面（１８、１８Ｂ）上に低ビデオ品質を与える手段（２０、５４）を含むことによって、実現される。従って、表示画面の交差点を囲む領域に表示されるビデオ品質は、表示画面の残りの部分に表示されるビデオ品質より高いことが達成される。表示画面の交差点を囲む領域における高品質表示は、例えば、表示画面の残りの部分より高い解像度、高い輝度、高いコントラスト等で表示することにより実施することが可能である。
【０００５】
多くの場合において、高品質表示の結果、表示に用いるデータの帯域幅及びビットを増加する必要が生じることが知られている。本発明の１つの利点は、本発明による表示画面を供給するために必要なデータの帯域幅及びビットは、従来技術の表示画面を有する装置と比較すると、少ない点である。
【０００６】
本発明の１つの実施例は、スケーラブルビデオデコーダ（２０）に交差点（２８）データを送信する目の注視トラッキングモジュール（１４）を含む。スケーラブルビデオデコーダ（２０）は、符号化ビデオストリーム（３２）を受信し、第１の領域（４４）に高ビデオ解像度データ（３８）からなる第１のセットを供給し、第２の領域（４６）に低ビデオ解像度データ（４０）からなる第２のセットを供給する。本発明の別の実施例は、目の注視トラッキングモジュール（１４）が、交差点（２８）データを、スケーラブルビデオエンコーダ（５４）に供給する装置を含む。スケーラブルビデオエンコーダ（５４）は、ソースビデオストリーム（６０）を含み、高ビデオ解像度データ（３８Ａ）からなる第１の符号化セットを、遠隔ビデオデコーダ（５６）に供給し、低ビデオ解像度データ（４０Ａ）からなる第２の符号化セットを、遠隔ビデオデコーダ（５６）に供給し、高ビデオ解像度データ（３８Ａ）からなる第１の符号化セットは、遠隔ビデオデコーダ（５６）内で復号化され、第１の領域（４４Ａ）に供給され、低ビデオ解像度データ（４０Ａ）からなる第２のセットは、第２の領域（４６Ａ）に供給される。このように、本発明の実施例は、ビデオソース、又は、符号化ビデオソースが装置に含まれる２つの可能なケースを実施し、従って、交差点データは、スケーラブルビデオデコーダ、又は、スケーラブルビデオエンコーダに送信されることが可能である。
【０００７】
本発明の目的は、表示画面（１８）上の交差点（２８）を囲む第１の領域（４４）に、高ビデオ解像度データ（３８）からなる第１のセットを供給する段階と、ビデオ画像（１８）の第２の領域（４６）に低ビデオ解像度データ（４０）からなる第２のセットを供給する段階を含む、本発明の方法によって実現される。このように、本発明の方法は、開示した装置に適合し、提案した装置の全ての利点を含む。
【０００８】
本発明の理解のために、添付図面と共に以下の詳細な説明を参照する。
【０００９】
図１は、アイトラッキングシステム１２、目の注視トラッキングモジュール１４、表示装置１６、表示画面１８、及び、スケーラブルビデオデコーダ２０を含む表示システム１０を示す。ユーザ２２は、目の注視方向線２４に沿って、表示装置１６の表示画面１８を注視する。表示装置１６は、任意の好適なシステム（例えば、コンピュータモニタ、テレビジョン、携帯情報端末等）に含まれ得る。アイトラッキングシステム１２は、好適な手段（例えば、目の瞳孔の動作、赤外線、ブライトアイ作用等）によって注視方向線２４を決定する。アイトラッキングシステム１２は、注視方向線２４情報を、経路２６を介して、注視トラッキングモジュール１４に送る。注視トラッキングモジュール１４は、注視方向線２４情報を抽出し、注視方向線２４が、表示画面１８と交差する交差点２８（図１乃至３）を決定する。
【００１０】
スケーラブルビデオデコーダ２０は、注視トラッキングモジュール１４から、経路３０を介して、交差点２８データを受信する。
【００１１】
スケーラブルビデオデコーダ２０は、符号化ビデオソース３４から符号化ビデオストリーム３２を受信する。符号化ビデオソース３４は、任意の好適なソース（例えば、デジタルバーサトルディスク、高品位ＴＶ放送、インターネット、テープレコーダ、コンピュータシステム等）であってよい。符号化ビデオストリーム３２は、符号化ビデオソース３４から、経路３６を介して、スケーラブルビデオデコーダ２０に運ばれる。符号化ビデオストリーム３２は、任意の好適なビデオ圧縮アルゴリズム（例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３等）を使用し得る。ＭＰＥＧ−２とＭＰＥＧ−４は、ムービング・ピクチャ・エキスパーツ・グループの圧縮規格であり、Ｈ．２６３は、国際電気通信連合の圧縮規格である。
【００１２】
スケーラブルビデオデコーダ２０は、第１の「中心」視覚、又は、高解像度データ３８のセットと、第２の「周辺」視覚、又は、低解像度データ４０のセットを生成する。低解像度データ４０である第２のセットは、高解像度データ３８である第１のセットより低い輝度の画像を生成するデータを任意に含み得る。高解像度データ４０の第１のセット、及び、低解像度データ３８の第２のセットは、経路４２を介して、表示装置１６に送られる。
【００１３】
図２は、表示装置１６の表示画面１８を示す。表示画面１８は、高解像度データ３８である第１のセットを、交差点２８を囲む第１の領域内に表示する。交差点２８は、ユーザ２２の注視方向線２４が、表示画面１８と交差する場所である。低解像度データ４０である第２のセットは、表示画面１８の第２の領域４６内に表示される。第２の領域４６は、表示画面１８の第１の領域４４を囲む。さらに、第２の領域４６は、表示画面１８の第１の領域４４よりもぼんやりとしている。表示画面１８を作成するために必要なデータの信号帯域幅及びビットは、第１の領域４４及び第２の領域４６が、異なる解像度を有することによって少なくされる。例えば、第１の領域４４及び第２の領域４６が共に、１，０２４×７８０画素の高解像度であった場合、必要なデータの帯域幅及びビットは、第１の領域４４が、１，０２４×７８０画素の解像度を有し、第２の領域４６が、６４０×４８０画素の解像度を有する場合より大きくなる。
【００１４】
図３は、第１の領域４４が、複数の領域４８、５０、及び、５２を含む第２の領域４６によって囲まれる表示画面のもう１つの実施例１８Ａを示す。領域４８乃至５２は、第１の領域４４の解像度よりも低い解像度を有する。
【００１５】
図４は、表示システムの別の実施例１０Ａを示す。表示システム１０Ａは、アイトラッキングシステム１２、表示装置１６、表示画面１８Ｂ、目の注視トラッキングモジュール１４、スケーラブルビデオエンコーダ５４、及び、遠隔ビデオデコーダ５６を含む。ユーザ２２Ａは、目の注視方向線２４に沿って、表示装置１６の表示画面１８Ｂを注視する。アイトラッキングシステム１２は、好適な手段（例えば、目の瞳孔の動作、赤外線、ブライトアイ作用等）によって目の注視方向線２４を決定する。アイトラッキングシステム１２は、注視方向線２４情報を、経路２６を介して、注視トラッキングモジュール１４に送る。注目ストラッキングモジュール１４は、注視方向線２４情報を抽出し、注視方向線２４が、表示画面１８Ｂと交差する交差点２８（図４乃至６）を決定する。スケーラブルビデオエンコーダ５４は、注視トラッキングモジュール１４から、交差点２８データを、経路３０Ａを介して受信する。スケーラブルビデオエンコーダ５４は、ビデオソース５８からソースビデオストリーム６０を受信する。ビデオソースは、任意の好適なソース（例えば、カメラ、ビデオカセットレコーダ、テレビジョン等）であってよい。ソースビデオストリーム６０は、ビデオソース５８から、経路６２を介して、スケーラブルビデオエンコーダ５４に運ばれる。
【００１６】
スケーラブルビデオエンコーダ５４は、符号化高解像度データ３８Ａからなる第１のセットと、符号化低解像度データ４０Ａからなる第２のセットを生成する。符号化高解像度データ３８Ａからなる第１のセットと、符号化低解像度データ４０Ａからなる第２のセットは、任意の好適なビデオ圧縮アルゴリズム（例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３等）を使用し得る。符号化低解像度データ４０Ａからなる第２のセットは、符号化高解像度データ３８Ａからなる第１のセットより低い輝度の画像を生成するデータを任意に含み得る。符号化高解像度データ３８Ａからなる第１のセットと、符号化低解像度データ４０Ａからなる第２のセットは、経路６４を介して、遠隔ビデオデコーダ５６に送られる。ビデオデコーダ５６は、符号化高解像度データ３８Ａからなる第１のセットと、符号化低解像度データ４０Ａからなる第２のセットを復号化し、高解像度データ３８からなる第１のセットと、低解像度データ４０からなる第２のセットを、経路６６を介し、表示装置１６に送信する。
【００１７】
図５は、表示装置１６の表示画面１８Ｂを示す。表示画面１８は、高解像度データ３８からなる第１のセットを、交差点２８を囲む第１の領域４４Ａ内に表示する。交差点２８は、ユーザ２２Ａの目の注視方向線２４が、表示画面１８Ｂと交差する場所である。低解像度データ４０からなる第２のセットは、表示画面１８Ｂの第２の領域４６Ａに表示される。表示画面１８Ｂを作成するために必要なデータの帯域幅及びビットは、第１の領域４４Ａが、第２の領域４６Ａよりも高解像度を示すことにより少なくなる。
【００１８】
図６は、第１の領域４４Ａが、複数の領域６８、７０、及び、７２を含む第２の領域４６Ａによって囲まれる表示画面の別の実施例１８Ｃを示す。領域６８乃至７２は、第１の領域４４Ａの解像度より低い解像度を有する。任意に、領域６８乃至７２は、第１の領域４４Ａよりぼんやりとしている。
【００１９】
本発明の実施例は、本願において、例示目的として説明したが、多くの修正及び変更が、当業者には明らかであろう。例えば、表示装置１６は、任意の好適なシステム（例えば、コンピュータモニタ、テレビジョン、携帯情報端末等）に含まれ得る。従って、特許請求の範囲では、そのような修正及び変更が、本発明の目的及び範囲内に入るものとする。
【図面の簡単な説明】
【００２０】
【図１】表示システムを示す概略図である。
【図２】異なる解像度の第１の領域及び第２の領域を含む表示画面を示す平面図である。
【図３】異なる解像度を有する複数の領域を含む図２の表示画面を示す図である。
【図４】表示システムのもう１つの実施例を示す図である。
【図５】異なる解像度の第１の領域及び第２の領域を含む表示画面の別の実施例を示す平面図である。
【図６】異なる解像度を有する複数の領域を含む図５の表示画面を示す図である。
【国際公開パンフレット】
2004534261.tif 000003
2004534261.tif 000004
2004534261.tif 000005
2004534261.tif 000006
2004534261.tif 000007
2004534261.tif 000008
2004534261.tif 000009
2004534261.tif 000010
2004534261.tif 000011
2004534261.tif 000012
2004534261.tif 000013
【国際公開パンフレット（コレクトバージョン）】
2004534261.tif 000014
【国際公開パンフレット（コレクトバージョン）】
2004534261.tif 000015
2004534261.tif 000016
2004534261.tif 000017
2004534261.tif 000018
2004534261.tif 000019
2004534261.tif 000020
2004534261.tif 000021
2004534261.tif 000022
2004534261.tif 000023
2004534261.tif 000024
2004534261.tif 000025
【国際調査報告】
2004534261.tif 000026
2004534261.tif 000027
2004534261.tif 000028
2004534261.tif 000029