(57)【要約】  ディスプレイ上に与えられた視覚ユーザインタフェースである。ディスプレイは、ユーザに対して複数の選択オプションを与える。プロセッサは、所定の時間に亘って各複数の選択オプションを順次にハイライトするようディスプレイ動作上結合される。プロセッサは、ハイライト動作中、画像入力装置からユーザの１つ又は複数の画像を受信し、１以上の画像中にユーザからの選択ジェスチャが含まれるかどうかを判定する。１以上の画像中にユーザからの選択ジェスチャが含まれている場合、プロセッサはハイライトされた選択オプションによって決定される動作を行う。
2005509973.tif 000002
【特許請求の範囲】
【請求項１】
複数の選択オプションを表示するよう構成されたディスプレイと、
前記ディスプレイに動作上結合され、所定の時間に亘って前記各複数の選択オプションを順次にハイライトするよう構成され、ハイライトされた選択オプションを選択するためのユーザからの選択ジェスチャを受け取るよう構成される、プロセッサとを有する、
ビデオ表示装置。
【請求項２】
前記プロセッサは、前記所定の時間に亘って前記各複数の選択オプションのうちの１つを前記ディスプレイに表示させることにより前記各選択オプションをハイライトするよう構成される、請求項１記載のビデオ表示装置。
【請求項３】
前記プロセッサは、前記所定の時間に亘って前記各複数の選択オプションのうちの１つについての表示特徴を前記ディスプレイに変更させることにより前記各選択オプションをハイライトするよう構成される、請求項１記載のビデオ表示装置。
【請求項４】
音声出力装置を有し、
前記プロセッサは、前記各複数の選択オプションのうちの対応するものに関連する音声の印を前記音声出力装置に順次に出力させることにより前記各複数の選択オプションをハイライトするよう構成される、請求項１記載のビデオ表示装置。
【請求項５】
前記選択ジェスチャを含む前記ユーザの画像を取得するよう前記プロセッサに動作上結合されたカメラを有する、請求項１記載のビデオ表示装置。
【請求項６】
前記画像情報は複数の画像に含まれ、前記プロセッサは前記選択ジェスチャを特定するために前記複数の画像を解析するよう構成される、請求項５記載のビデオ表示装置。
【請求項７】
前記画像情報は複数の画像に含まれ、前記プロセッサは、前記複数の画像を解析し、ユーザの手の軌跡を求めることにより、前記選択ジェスチャを特定するよう構成される、請求項５記載のビデオ表示装置。
【請求項８】
前記プロセッサは、ユーザの画像を解析し、ユーザの手の構えを求めることにより、前記選択ジェスチャを特定するよう構成される、請求項１記載のビデオ表示装置。
【請求項９】
前記ビデオ表示装置はテレビジョン受像機である、請求項１記載のビデオ表示装置。
【請求項１０】
複数の選択オプションを含むユーザインタフェースを与える方法であって、
複数の選択オプションを表示する動作と、
前記複数の選択オプションを１つずつ順次にハイライトする動作と、
前記画像がハイライトされた選択オプションについての選択ジェスチャを含むかどうかを判定するよう前記ユーザの画像を解析する動作とを含む、方法。
【請求項１１】
前記画像の解析動作は、
複数の画像を受信し、
前記複数の画像が選択ジェスチャを含むかどうかを判定するよう前記複数の画像を解析することを含む請求項１０記載の方法。
【請求項１２】
前記画像を解析する動作は、
複数の画像を受信し、
ユーザの手の軌跡を求めるために前記複数の画像を解析し、
前記求められた軌跡により前記複数の画像が選択ジェスチャを含むかどうかを判定する、請求項１０記載の方法。
【請求項１３】
前記画像を解析する動作は、
ユーザの手の構えを求めるためにユーザの画像を解析し、
前記求められた構えにより前記画像が選択ジェスチャを含むかどうかを判定する、請求項１０記載の方法。
【請求項１４】
複数の選択オプションを含むユーザインタフェースを提供するようプロセッサ読み取り可能な媒体上に格納されたプログラム部分であって、
前記複数の選択オプションの表示を制御するプログラムセグメントと、
所定の時間に亘って前記各複数の選択オプションをハイライトするプログラムセグメントと、
前記画像が選択ジェスチャを含むかどうかを判定するためにユーザの画像を解析するプログラムセグメントと、
前記選択オプションがハイライトされている間に選択ジェスチャが受信された場合に選択オプションを実行するプログラムセグメントとを含む、プログラム部分。
【請求項１５】
前記画像を解析するプログラムセグメントは、
複数の画像の受信を制御するプログラムセグメントと、
前記選択ジェスチャが受信されたかどうかを決定するよう前記複数の画像を解析するプログラムセグメントとを含む、請求項１４記載のプログラム部分。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本発明は概して、装置又は他の動作上結合された装置とのユーザ対話を支援する方法及び装置に関する。特に、本発明は、装置へのユーザ入力の一態様としてジェスチャを用いるユーザインタフェースに関連する。
【０００２】
ユーザ入力機能を与える目的でユーザの画像を取得するためにコンピュータ・ビジョン・システムを用いる多くのシステムがある。公知のシステムでは、ユーザは、ディスプレイ上の複数の選択オプションのうちの１つを指しうる。システムは、例えばシングルイメージカメラ又はモーションイメージカメラといった１以上の画像取得装置を用いて、複数の選択オプションのうちの１つを指しているユーザの１以上の画像を取得する。これらの１以上の画像を用いて、システムは指している角度を決定する。システムは次に、指している角度を、決定された距離及び高さデータと一緒に用いて、複数の選択オプションのうちのどれをユーザが指しているかを特定する。
【０００３】
これらのシステムは全て、システムが意図される選択オプションを特定するためには所与のディスプレイ上での選択オプションの位置が正確にわかっていなくてはならないため、意図される選択オプションを正確に決定するうえで問題がある。しかしながら、これらの選択オプションの位置は、異なるサイズの各ディスプレイ装置では様々である。従って、システムは、各ディスプレイサイズに対して特別にプログラムされねばならないか、セットアップ手順の一部としてサイズ選択がなされねばならない。
【０００４】
更に、これらの公知のシステムは、信頼性の高い決定を行うのに必要な正確な指している角度、高さ等を正確に求めるうえで問題がある。これらの従来技術の知られている問題を解決するために、あまり信頼性の高くない求められたデータから所定の選択がより容易に識別されうるよう、ディスプレイ上に複数の選択オプションを広く分散させることが知られている。しかしながら、より小さいディスプレイ上では、選択オプションを十分に分散させるのに十分な表示領域がないかもしれない。他の公知のシステムには、アイテム選択のために最初に指した後に、確認ジェスチャを用いるものがある。例えば、ユーザがアイテムを指す選択を行った後、所与の選択を確認するために例えば親指を立てる（賛成を示す）ジェスチャ等のジェスチャが使用されうる。それでもなお、選択されたオプションを確認するうえでの問題がある。
【０００５】
従って、本発明は、従来技術の課題を克服することを目的とする。
【０００６】
本発明は、テレビジョン受像機等のビデオ装置、プロセッサ、並びに、シングルイメージ又はモーションイメージカメラ等の画像取得装置を有するシステムである。システムは、ディスプレイ上に視覚的なユーザインタフェースを提供する。動作上、ディスプレイは、ユーザに対して複数の選択オプションを与える。プロセッサは、所定の時間に亘って各複数の選択オプションを順次にハイライトするようディスプレイに動作上結合される。プロセッサは、ハイライト中、カメラからユーザの１以上の画像を受け取り、１以上の画像中にユーザからの選択ジェスチャが含まれているかどうかを判定する。
【０００７】
１以上の画像の中に選択ジェスチャが含まれているとき、プロセッサは、ハイライトされた選択オプションによって決定される動作を行う。１以上の画像の中に選択オプションが含まれていないとき、プロセッサは次の選択オプションをハイライトする。このようにして、従来技術システムにおける課題を克服する、ユーザ入力を求めるためのロバストなシステムが提供される。
【０００８】
以下、添付の図面と共に読んだときに、上述の特徴及び利点、並びに、更なる特徴及び利点を示す本発明の実施例について説明する。図面及び以下の実施例は、例示のためだけに含まれるものであって、特許請求の範囲によって定義される本発明の範囲を表わすものではないと理解されるべきである。本発明は、添付の図面と共に最も良く理解されるであろう。
【０００９】
以下の説明では、説明を容易とするため、特別な実施例又はシステムに関して幾つかの用語を例示的に使用する。当業者によれば明らかであるように、これらの用語は、本発明が容易に適用されうる他の同様の知られている用語及び実施例を含むものと理解されるべきである。
【００１０】
図１は、プロセッサ１２０に動作上結合されたディスプレイ１１０を含む本発明の実施例による例示的なシステム１００を示す図である。本発明による動作を容易とするために、プロセッサ１２０は、カメラ１２４といった画像入力装置に動作上結合される。カメラ１２４は、ユーザ１４０からの選択ジェスチャを取得するのに用いられる。特に、本発明によれば、選択ジェスチャ１４４として例示的に示される選択ジェスチャは、以下詳述するように複数の選択オプションのうちのどれがユーザによって所望であるかを決定するために、システム１００によって用いられる。
【００１１】
選択オプション（selection option）、選択特徴（selection feature）等の用語は、ここでは、ユーザ入力の目的を問わず、任意の種類のユーザ入力動作を示すのに用いられる。これらの選択オプションは、コマンド、制御特徴、対話特徴、好みの決定等を含む任意の目的のために表示されうる。
【００１２】
本発明の実施例によるフローチャート２００を示す図２を参照して、本発明の更なる動作について説明する。図示のように、動作２０５中、システム１００は、ユーザ選択特徴がユーザによって所望であるか、ユーザによって必要とされていることを認識する。
【００１３】
選択特徴をアクティブとするため、従来技術で知られた多くの方法がある。例えば、ユーザは、遠隔制御器（図示せず）上に配置されたボタンを押し下げうる。ユーザは、ディスプレイ１１０上に、又は他の動作上結合された装置上に配置されたボタンを押し下げてもよい。ユーザは、選択特徴をアクティブとするためにユーザからの音声の印（indication）又は特定のジェスチャを使用してもよい。ジェスチャ認識システムの動作については、以下詳述する。選択特徴をアクティブとする方法として音声の印の使用を容易とするために、プロセッサは、マイクロホン１２２等の音声入力装置に動作上結合されうる。マイクロホン１２２は、ユーザ１４０からの音声の印を取得するために使用されうる。
【００１４】
システム１００は、先行する段階又は一連の段階の結果として、ユーザによる更なる介在なしに選択特徴を与えうる。例えば、システム１００は、装置が最初のオンとされた後、又は、先行するアクティビティ又は選択（例えばサブメニュー）からの幾らかのフォローアップの後に、選択特徴を与えうる。更に、システム１００は、カメラ１２４と、カメラ１２４の前の領域の取得された１つ又は複数の画像を用いて、システムの前にユーザがいるかどうかを検出しうる。この実施例では、カメラの前にユーザがいることにより、選択特徴が開始されうる。上述の方法のうちのいずれも、特許請求の範囲で特に必要とされないかぎり、本発明に対して制限を与えるものと理解されるべきではない。
【００１５】
選択特徴をアクティブとするためにどの方法が用いられても、動作２１０において、システムはユーザに対して複数の選択オプションを与える。これらの選択オプションは、一度に全てがディスプレイ１１０上に与えられてもよく、又は、１以上の選択オプションの群としてユーザに対して与えられてもよい。
【００１６】
１以上の選択オプションの群として選択オプションを与えうるシステムの例としては、選択オプションのスライド式又はスクロール式のバナーがある。更に、１以上の選択オプションの群は、単純に、ディスプレイ１１０の一部にポップアップするか出現しうる。ディスプレイ技術では、ディスプレイ上に選択オプションを与えるのに多くの他の公知の効果がある。これらの夫々は、本発明により動作すると考えられると理解されるべきである。
【００１７】
選択オプションがどのようにしてユーザに与えられるかに関わらず、動作２２０において、システム１００は所定の時間に亘って複数の選択オプションのうちの所与の１つをハイライトする。ここで用いられるハイライトという用語は、システム１００がユーザ１４０に対して、複数の選択オプションのうちの特定の１つが所与の時間において考慮されるべきであることを示す任意の方法を含むものと理解されるべきである。
【００１８】
複数の選択オプションの全てがユーザに同時に与えられるシステムでは、システム１００はハイライト効果を実際に与えうる。ハイライト効果は、例えば、複数の選択オプションの内の所与の１つ又は各その他の背景の色の変化でありうる。１つの実施例では、ハイライト動作は、複数の選択オプションのうちの所与の１つ又は各その他の、例えば色、サイズ、フォント等の変化といった選択オプションの表示特徴の変化の形であり得る。
【００１９】
上述のスクロール式のバナー表現のように複数の選択オプションが順次にユーザに与えられるシステムでは、ハイライト動作は単純に選択オプションの表示の順序によって与えられうる。例えば、１つの実施例では、１つの選択オプションは、以前に表示された選択オプションがディスプレイから消えるにつれてディスプレイ上にスクロールされうる。その後、幾らかの時間に亘り、ディスプレイ上には１つの選択オプションのみが見えている。このようにして、ハイライト動作は、実際上、その時点で１つの選択オプションのみを可視とすることよって与えられうる。他の実施例では、ハイライト動作は、単純に、１以上の以前の選択オプションがまだ可視であるスクロール式のリストの最後に出現する選択オプションに対するものであることが意図される。
【００２０】
更なる他の実施例では、システム１００は、所与の選択オプションを口頭でハイライトするようプロセッサ１２０に動作上結合されるスピーカ１２８を具備しうる。この実施例では、プロセッサ１２０は、複数の選択オプションのうちの各所与の選択オプションについての対応する音声部分を合成的に発生するよう動作可能であり得る。このようにして、音声部分は、本発明により対応する選択オプションをハイライトするよう、ユーザに対して与えられうる。対応する音声部分は、単純に、選択オプションのテキスト・音声変換であってもよく、又は、他の方法で選択オプションに対応してもよい。例えば、選択オプションが番号付けされる等の実施例では、音声部分は、単純に、選択オプションに対応する番号等であってもよい。音声部分を所与の選択オプションに対応付ける他の方法は、当業者によって想到されうるであろう。これらの他の方法のいずれも、特許請求の範囲内であると理解されるべきである。
【００２１】
システムが、複数の選択オプションのうちの所与の１つをハイライトした後、動作２３０中、プロセッサ１２０はカメラ１２４を通じてユーザ１４０の１以上の画像を取得しうる。これらの１以上の画像は、ユーザ１４０が選択ジェスチャを与えているかどうかを判定するためにシステム１００によって使用される。ユーザのジェスチャを取得し認識するために多くの知られたシステムがある。例えば、Ying Wu及びThomas S. Huangによる文献"Vision-Based Gesture Recognition: A Review"、Proceedings of International Gesture Workshop 1999 on Gesture-Based Communication in Human Computer Interactionは、制御機能のためのジェスチャの使用について記載している。この文献は、ここに全体として記載されているかのように、ここに参照として組み入れられる。
【００２２】
一般的には、ジェスチャを認識する２種類のシステムがある。手の構え（hand posture）認識と称される１つのシステムでは、ユーザによる意図されるジェスチャを決定するために、カメラ１２４は、一連の幾つかの画像を取得しうる。この種類のシステムは、一般的には、ユーザによるジェスチャの静的な評価を行う。他の公知のシステムでは、カメラ１２４は、ジェスチャを動的に決定するよう一連の画像を取得しうる。この種類の認識システムは、一般的には、動的／時間的なジェスチャ認識と称される。幾つかのシステムでは、手の軌跡の解析は、この軌跡を、特定のジェスチャに対応する軌跡の学習されたモデルと比較することにより動的なジェスチャ認識を行うために使用されうる。
【００２３】
いずれの場合も、カメラ１２４が１以上の画像を取得した後、動作２４０中、プロセッサ１２０は、１以上の画像の中に選択ジェスチャが含まれているかどうかを決定しようと試みる。許容可能な選択ジェスチャは、例えば手、腕、指を挙げること又は振ること等を含みうる。他の許容可能な選択ジェスチャは、例えばユーザ１４０が頭を振ること又は頷くことといった頭のジェスチャでありうる。更なる選択ジェスチャは、ユーザがウィンクすること、眉を上げること等の顔のジェスチャを含みうる。これらのジェスチャのうちのいずれか１以上は、プロセッサ１２０によって選択ジェスチャとして認識可能であり得る。当業者によれば多くの他の可能なジェスチャが明らかとなろう。これらのジェスチャのいずれも、特許請求の範囲に含まれるものと理解されるべきである。
【００２４】
プロセッサ１２０が、１以上の画像中で選択ジェスチャを確認しない場合、プロセッサ１２０は、ユーザ１４０の更なる１以上の画像を取得するよう動作２３０へ戻る。既知のジェスチャが認識されることなく、既知のジェスチャを１以上の画像から特定するための所定回数の試みが行われた後、又は、所定の時間の経過後、プロセッサ１２０は、動作２６０中、複数の選択オプションのうちの他の選択オプションをハイライトする。その後、システム１００は、動作２３０へ戻り、上述のように選択ジェスチャを待つ。
【００２５】
プロセッサ１２０が、動作２４０中に選択ジェスチャを確認した場合、プロセッサ１２０は、動作２５０中に、ハイライトされた選択オプションによって決定されたアクションを行う。上述のように、行われるアクションは、ハイライトされた選択オプションに関連付けられる任意のアクションでありうる。関連付けられるアクションは、選択オプションによって特に呼ばれるアクションを含むと理解されるべきであり、それに関連付けられうる任意の及び／又は全ての続くアクションを含みうる。
【００２６】
最後に、上述の説明は、単に本発明を例示するものであることが意図される。多くの他の実施例は、特許請求の範囲の趣旨及び範囲を逸脱することなく、当業者によって相当されうる。例えば、プロセッサ１２０は、ディスプレイ１１０とは別に示されているが、これらは明らかに、テレビジョン受像機、セットトップボックス、又は任意の公知の装置といった単一の表示装置内に組み合わされうる。更に、プロセッサは、本発明により実行するための専用プロセッサであってもよく、本発明により実行するために多くの機能のうちの１つのみが動作する汎用プロセッサであってもよい。プロセッサは、プログラム部分、即ち、多数のプログラムセグメントを用いて動作してもよく、或いは、専用又は多目的集積回路を用いたハードウエア装置であってもよい。
【００２７】
ディスプレイ１１０は、テレビジョン受像機であってもよく、視覚コンテンツをユーザに対して再生することが可能な多の装置であってもよい。視覚コンテンツは、制御又は選択動作を行うための本発明の実施例によるユーザインタフェースであってもよい。これらの実施例では、ディスプレイ１１０は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、又はユーザに視覚的なコンテンツを与える任意の他の公知の手段といった情報画面であってもよい。従って、ディスプレイという用語は、視覚コンテンツを与える任意の公知の手段を含むものと理解されるべきである。
【００２８】
当業者によれば、特許請求の範囲の趣旨及び範囲を逸脱することなく、多くの他の実施例が考えられうる。特許請求の範囲を解釈する上で、
（ａ）「含む」又は「有する」の語は、請求項に列挙された要素又は動作以外の他の要素又は動作の存在を排除するものではなく、
（ｂ）要素が単数形で記載されている場合は、そのような要素が多数存在する場合を排除するものではなく、
（ｃ）特許請求の範囲に記載された参照符号はそれらの範囲を制限するものではなく、
（ｄ）幾つかの「手段」は同一のアイテム、又は、ハードウエア或いはソフトウエアで実施される構造又は機能によって表わされてもよいこと、
が理解されるべきである。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施例による例示的なシステムを示す図である。
【図２】本発明の実施例による動作を示すフローチャートである。
【図１】
2005509973.tif 000003
【図２】
2005509973.tif 000004
【国際調査報告】
2005509973.tif 000005
2005509973.tif 000006
2005509973.tif 000007