(57)【要約】  ユーザにコンテンツを表示する表示面と、前記表示面上のコンテンツウィンドウ内への表示のため、前記コンテンツを前記表示面に供給するコンピュータシステムと、ユーザのジェスチャを認識し、前記認識されたジェスチャに基づき、前記表示面上のコンテンツウィンドウのサイズ、位置及びコンテンツの少なくとも１つを規定する認識システムとを有するディスプレイ。当該ディスプレイは、少なくとも前記コンテンツが表示されていないとき、前記ユーザの像を反射するためのディスプレイミラーとすることができる。さらに、ジェスチャは、ユーザの手のジェスチャとすることができる。
2007507782.tif 000002
【特許請求の範囲】
【請求項１】
ユーザにコンテンツを表示する表示面と、
前記表示面上のコンテンツウィンドウ内への表示のため、前記コンテンツを前記表示面に供給するコンピュータシステムと、
ユーザのジェスチャを認識し、前記認識されたジェスチャに基づき、前記表示面上のコンテンツウィンドウのサイズ、位置及びコンテンツの少なくとも１つを規定する認識システムと、
を有することを特徴とするディスプレイ。
【請求項２】
請求項１記載のディスプレイであって、
当該ディスプレイは、少なくとも前記コンテンツが表示されていないとき、前記ユーザの像を反射するためのディスプレイミラーであることを特徴とするディスプレイ。
【請求項３】
請求項２記載のディスプレイであって、
前記ディスプレイミラーは、前記ユーザの像と前記コンテンツの両方を表示することを特徴とするディスプレイ。
【請求項４】
請求項１記載のディスプレイであって、
前記認識システムは、前記コンピュータシステムに動作可能に接続される１以上のセンサと、前記ユーザのジェスチャを認識するため、前記１以上のセンサからのデータを解析するプロセッサとを有することを特徴とするディスプレイ。
【請求項５】
請求項４記載のディスプレイであって、
前記１以上のセンサは、１以上のカメラを有し、
前記プロセッサは、前記ユーザのジェスチャを認識するため、前記１以上のカメラからのデータを解析する、
ことを特徴とするディスプレイ。
【請求項６】
請求項４記載のディスプレイであって、
前記認識システムはさらに、所定のジェスチャと、前記コンテンツウィンドウの関連するサイズ及び／又は位置とを格納するメモリを有し、
前記プロセッサはさらに、前記ユーザの認識されたジェスチャと前記所定のジェスチャとを比較し、前記関連するサイズ及び／又は位置により前記コンテンツウィンドウをレンダリングする、
ことを特徴とするディスプレイ。
【請求項７】
請求項６記載のディスプレイであって、
前記メモリはさらに、関連するコンテンツを有し、
前記プロセッサはさらに、前記ユーザの認識されたジェスチャと前記所定のジェスチャとを比較し、前記コンテンツウィンドウに前記関連するコンテンツをレンダリングする、
ことを特徴とするディスプレイ。
【請求項８】
請求項６記載のディスプレイであって、
前記プロセッサ及び前記メモリは、前記コンピュータシステムに含まれることを特徴とするディスプレイ。
【請求項９】
請求項１記載のディスプレイであって、さらに、
前記ユーザの音声コマンドを認識し、前記認識された音声コマンドに基づき前記コンテンツウィンドウにコンテンツをレンダリングする音声認識システムを有することを特徴とするディスプレイ。
【請求項１０】
請求項１記載のディスプレイであって、
前記ジェスチャはさらに、前記表示面上に表示されるアプリケーションのクローズを規定することを特徴とするディスプレイ。
【請求項１１】
請求項１記載のディスプレイであって、さらに、
前記コンピュータシステムにコマンドを入力するタッチ画面、接近接触及び非接触システムの１つを有することを特徴とするディスプレイ。
【請求項１２】
ディスプレイ上にコンテンツウィンドウをレンダリングする方法であって、
前記コンテンツウィンドウへの表示のため、コンテンツを前記ディスプレイに供給するステップと、
ユーザのジェスチャを認識するステップと、
前記認識されたジェスチャに基づき、前記ディスプレイ上のコンテンツウィンドウのサイズ、位置及びコンテンツの少なくとも１つを規定するステップと、
前記規定されたサイズ、位置及びコンテンツの少なくとも１つに従って、前記ディスプレイ上に前記コンテンツウィンドウを表示するステップと、
を有することを特徴とする方法。
【請求項１３】
請求項１２記載の方法であって、
前記ジェスチャは、手のジェスチャであることを特徴とする方法。
【請求項１４】
請求項１２記載の方法であって、
前記ディスプレイは、ディスプレイミラーであり、
前記表示するステップは、前記ユーザの像と前記コンテンツの両方を表示する、
ことを特徴とする方法。
【請求項１５】
請求項１２記載の方法であって、
前記ディスプレイは、ディスプレイミラーであり、
前記表示するステップは、前記コンテンツのみを表示する、
ことを特徴とする方法。
【請求項１６】
請求項１２記載の方法であって、
前記認識するステップは、１以上のセンサから前記ジェスチャのデータをキャプチャし、前記ユーザのジェスチャを認識するため、前記１以上のセンサからのデータを解析することを特徴とする方法。
【請求項１７】
請求項１６記載の方法であって、
前記１以上のセンサは、カメラであり、
前記解析は、前記ユーザのジェスチャを認識するため、前記１以上のカメラからの画像データを解析する、
ことを特徴とする方法。
【請求項１８】
請求項１６記載の方法であって、
前記解析は、所定のジェスチャと、前記コンテンツウィンドウの関連するサイズ及び／又は位置とを格納し、前記ユーザの認識されたジェスチャと前記所定のジェスチャとを比較し、前記関連するサイズ及び／又は位置により前記コンテンツウィンドウを表示することを特徴とする方法。
【請求項１９】
請求項１８記載の方法であって、
前記格納はさらに、前記所定のジェスチャの関連するコンテンツを有し、
前記表示はさらに、前記コンテンツウィンドウに関連するコンテンツを表示する、
ことを特徴とする方法。
【請求項２０】
請求項１２記載の方法であって、さらに、
前記ユーザの音声コマンドを認識し、前記認識された音声コマンドに基づき前記コンテンツウィンドウにコンテンツをレンダリングするステップを有することを特徴とする方法。
【請求項２１】
請求項１２記載の方法であって、さらに、
前記認識されたジェスチャに基づき、前記ディスプレイ上に表示されたアプリケーションのクローズを規定するステップを有することを特徴とする方法。
【請求項２２】
請求項１２記載の方法であって、さらに、
前記コンピュータシステムにコマンドを入力するためのタッチ画面、接近接触及び非接触システムの１つを設けることを特徴とする方法。
【請求項２３】
ディスプレイ上にコンテンツウィンドウをレンダリングするコンピュータ可読媒体に実現されるコンピュータプログラムであって、
前記コンテンツウィンドウへの表示のため、コンテンツを前記ディスプレイに供給するコンピュータ可読プログラムコード手段と、
ユーザのジェスチャを認識するコンピュータ可読プログラムコード手段と、
前記認識されたジェスチャに基づき、前記ディスプレイ上のコンテンツウィンドウのサイズ、位置及びコンテンツの少なくとも１つを規定するコンピュータ可読プログラムコード手段と、
前記規定されたサイズ、位置及びコンテンツの少なくとも１つに従って、前記ディスプレイ上に前記コンテンツウィンドウを表示するコンピュータ可読プログラムコード手段と、
を有することを特徴とするコンピュータプログラム。
【請求項２４】
ユーザの像とコンテンツの両方を表示するミラーディスプレイコンテンツウィンドウをディスプレイ上にレンダリングする方法であって、
前記ミラーディスプレイコンテンツウィンドウへの表示のため、前記コンテンツを前記ディスプレイに供給するステップと、
ユーザのジェスチャを認識するステップと、
前記認識されたジェスチャに基づき、前記ミラーディスプレイコンテンツウィンドウのサイズ、位置及びコンテンツの少なくとも１つを規定するステップと、
前記規定されたサイズ、位置及びコンテンツの少なくとも１つに従って、前記ディスプレイ上に前記ミラーディスプレイコンテンツウィンドウを表示するステップと、
を有することを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にディスプレイに関し、より詳細には、ディスプレイミラー上のコンテンツウィンドウの位置、サイズ及び／又はコンテンツを規定するためのジェスチャに関する。
【背景技術】
【０００２】
ディスプレイミラーは、Ｍｅｉｎｅの米国特許第６，５６０，０２７号に開示されているものなど当該分野において知られている。ディスプレイミラーは、ミラーの特定領域に情報、通信又は娯楽（ＩＣＥ）コンテンツを有するコンテンツウィンドウを表示することができる。ウィンドウは、一般にはミラーディスプレイ上の固定された位置を有する。ミラーディスプレイの用途は、化粧室、台所、キオスク、エレベータ、建物のロビーなどに対するものが含まれる。ユーザの位置（ユーザとディスプレイの間の距離）及びユーザの動作（ユーザの注意がミラーとコンテンツウィンドウの間でどのようにバランスされているかなど）に依存して、ユーザは、コンテンツウィンドウのサイズ、ミラーウィンドウ上のそれの位置及び／又はウィンドウ内のコンテンツの１以上を制御することを所望するかもしれない。これは、ミラーディスプレイのユーザインタフェースがユーザに知られていない可能性があるため、問題となる可能性がある。キーボードやポインティング装置（マウス、ローラーボールなど）などの従来の入力手段は、多くの状況において効果的ではなく、また適用可能でないかもしれない。さらに、リモコンは一部の用途では有用ではないかもしれない。タッチ画面などの他の対話型ディスプレイに利用される明らかな手段は、限定的にしか利用されない。なぜなら、ミラーのクオリティが影響を受ける可能性があり、タッチすることによりミラー表面を汚し、劣化させるためである。
【０００３】
さらに、ディスプレイのサイズ及び解像度は、近い将来に壁や机を覆うことが可能な大型ディスプレイに急速に移行することが予想される。このような大型ディスプレイはコンテンツウィンドウを表示することが可能であり、一部の状況では、上述のように、ディスプレイ上にコンテンツウィンドウをレンダリングするための位置及びサイズを示すことに関する同一の問題を有するかもしれない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従って、本発明の課題は、従来技術に関する上記及び他の問題点を解消するディスプレイを提供することである。
【課題を解決するための手段】
【０００５】
従って、ディスプレイが提供される。当該ディスプレイは、ユーザにコンテンツを表示する表示面と、前記表示面上のコンテンツウィンドウ内への表示のため、前記コンテンツを前記表示面に供給するコンピュータシステムと、ユーザのジェスチャを認識し、前記認識されたジェスチャに基づき、前記表示面上のコンテンツウィンドウのサイズ、位置及びコンテンツの少なくとも１つを規定する認識システムとを有する。
【０００６】
当該ディスプレイは、少なくとも前記コンテンツが表示されていないとき、前記ユーザの像を反射するためのディスプレイミラーとすることができる。前記ディスプレイミラーは、前記ユーザの像と前記コンテンツの両方を表示することができる。
【０００７】
前記認識システムは、前記コンピュータシステムに動作可能に接続される１以上のセンサと、前記ユーザのジェスチャを認識するため、前記１以上のセンサからのデータを解析するプロセッサとを有することが可能である。前記１以上のセンサは、１以上のカメラを有することが可能であり、前記プロセッサは、前記ユーザのジェスチャを認識するため、前記１以上のカメラからのデータを解析する。前記認識システムはさらに、所定のジェスチャと、前記コンテンツウィンドウの関連するサイズ及び／又は位置とを格納するメモリを有することが可能であり、前記プロセッサはさらに、前記ユーザの認識されたジェスチャと前記所定のジェスチャとを比較し、前記関連するサイズ及び／又は位置により前記コンテンツウィンドウをレンダリングする。前記メモリはさらに、関連するコンテンツを有することが可能であり、前記プロセッサはさらに、前記ユーザの認識されたジェスチャと前記所定のジェスチャとを比較し、前記コンテンツウィンドウに前記関連するコンテンツをレンダリングする。前記プロセッサ及び前記メモリは、前記コンピュータシステムに含めることが可能である。
【０００８】
前記ディスプレイはさらに、前記ユーザの音声コマンドを認識し、前記認識された音声コマンドに基づき前記コンテンツウィンドウにコンテンツをレンダリングする音声認識システムを有することが可能である。
【０００９】
前記ジェスチャはさらに、前記表示面上に表示されるアプリケーションのクローズを規定することが可能である。
【００１０】
前記ディスプレイはさらに、前記コンピュータシステムにコマンドを入力するタッチ画面、接近接触及び非接触システムの１つを有することが可能である。
【００１１】
さらに、ディスプレイ上にコンテンツウィンドウをレンダリングする方法が提供される。本方法は、前記コンテンツウィンドウへの表示のため、コンテンツを前記ディスプレイに供給するステップと、ユーザのジェスチャを認識するステップと、前記認識されたジェスチャに基づき、前記ディスプレイ上のコンテンツウィンドウのサイズ、位置及びコンテンツの少なくとも１つを規定するステップと、前記規定されたサイズ、位置及びコンテンツの少なくとも１つに従って、前記ディスプレイ上に前記コンテンツウィンドウを表示するステップとを有する。
【００１２】
前記ジェスチャは、手のジェスチャとすることが可能である。
【００１３】
前記ディスプレイは、ディスプレイミラーとすることが可能であり、前記表示するステップは、前記ユーザの像と前記コンテンツの両方を表示する。前記ディスプレイはまた、ディスプレイミラーであり、前記表示するステップは、前記コンテンツのみを表示する。
【００１４】
前記認識するステップは、１以上のセンサから前記ジェスチャのデータをキャプチャし、前記ユーザのジェスチャを認識するため、前記１以上のセンサからのデータを解析することが可能である。前記１以上のセンサは、カメラであり、前記解析は、前記ユーザのジェスチャを認識するため、前記１以上のカメラからの画像データを解析することが可能である。前記解析は、所定のジェスチャと、前記コンテンツウィンドウの関連するサイズ及び／又は位置とを格納し、前記ユーザの認識されたジェスチャと前記所定のジェスチャとを比較し、前記関連するサイズ及び／又は位置により前記コンテンツウィンドウを表示することが可能である。前記格納はさらに、前記所定のジェスチャの関連するコンテンツを有することが可能であり、前記表示はさらに、前記コンテンツウィンドウに関連するコンテンツを表示する。
【００１５】
当該方法はさらに、前記ユーザの音声コマンドを認識し、前記認識された音声コマンドに基づき前記コンテンツウィンドウにコンテンツをレンダリングするステップを有することが可能である。
【００１６】
当該方法はさらに、前記認識されたジェスチャに基づき、前記ディスプレイ上に表示されたアプリケーションのクローズを規定するステップを有することが可能である。
【００１７】
当該方法はさらに、前記コンピュータシステムにコマンドを入力するためのタッチ画面、接近接触及び非接触システムの１つを設けることが可能である。
【００１８】
さらに、ユーザの像とコンテンツの両方を表示するミラーディスプレイコンテンツウィンドウをディスプレイ上にレンダリングする方法が提供される。本方法は、前記ミラーディスプレイコンテンツウィンドウへの表示のため、前記コンテンツを前記ディスプレイに供給するステップと、ユーザのジェスチャを認識するステップと、前記認識されたジェスチャに基づき、前記ミラーディスプレイコンテンツウィンドウのサイズ、位置及びコンテンツの少なくとも１つを規定するステップと、前記規定されたサイズ、位置及びコンテンツの少なくとも１つに従って、前記ディスプレイ上に前記ミラーディスプレイコンテンツウィンドウを表示するステップとを有する。
【００１９】
さらに、本発明の方法を実行するコンピュータプログラムと、当該コンピュータプログラムの格納のためのプログラム記憶装置が提供される。
【００２０】
本発明の装置及び方法の上記及び他の機能、特徴及び効果は、以下の説明、添付された請求項及び添付された図面に関してよりよく理解されるであろう。
【発明を実施するための最良の形態】
【００２１】
本発明は多数の各種タイプのディスプレイに適用可能であるが、化粧室のディスプレイミラーの環境に特に有用であることがわかっている。従って、化粧室のディスプレイミラーに本発明の適用可能性を限定することなく、本発明は当該環境について説明される。しかしながら、当業者は、本発明が他のタイプのディスプレイ、特に大型ディスプレイや、台所、キオスク、エレベータ及び建物やホテルのロビーなどに配置されるものなど他のタイプのディスプレイミラーにおいて適用されるということは理解するであろう。
【００２２】
さらに、本発明は多数の各種タイプのジェスチャに適用可能であるが、手のジェスチャの環境に特に有用であることがわかっている。従って、手のジェスチャに本発明の適用可能性を限定することなく、本発明は当該環境について説明される。しかしながら、当業者は、指、腕、肘、顔のジェスチャなどの生体の他の部位に関するジェスチャなどの他のタイプのジェスチャが、本発明の装置及び方法に等しく適用可能であるということを理解するであろう。
【００２３】
本発明は、参照することによりここに含まれるＭｅｉｎｅの米国特許第６，５６０，０２７号に開示されているようなディスプレイミラーを構成するためのミラー及び情報ディスプレイパネルを有するシステム及び方法に関する。このようなディスプレイミラーは、人が一日の準備をする化粧室で一定時間を過ごすため、好ましくは化粧室に配置される。ディスプレイミラーは、人が歯磨き、ひげ剃り、整髪、手洗い、化粧、乾かすことなどの一日の準備をしながら、電子ニュースや情報と共にスケジュールを確認することを可能にするであろう。ディスプレイミラーとのやりとりを可能にすることによって、人は自分のスケジュールを変更し、電子メールをチェックし、受信することを所望するニュース及び情報を選択することが可能となる。ユーザは、スマートミラーを見て、ニュースヘッドライン及び／又はストーリーを確認し、電子メールを読み、返事をし、及び／又はアポイントのスケジュールを確認及び編集することが可能となるであろう。
【００２４】
図１を参照するに、化粧室１００において、情報、通信又は娯楽コンテンツを表示するディスプレイミラーの好適な実施例が示される。本開示において、「コンテンツ」は、以下に限定されるものではないが、電子メールのリスト、ウェブページ、ソフトウェアアプリケーション、テレビ又は他の映像コンテンツと共に、建物の部屋の照明やセキュリティの制御などのユーザにより実行可能な各機能を含む、ウィンドウにおいてユーザに表示可能な任意のものを意味する。化粧室１００は、化粧室１００の壁１０６に配置された付属のミラー１０４を有する鏡台１０２を有する。上述のように、化粧室は、単なる一例として示されており、本発明の範囲及び趣旨を限定するものではない。
【００２５】
ディスプレイミラー１０８は、ミラー１０４の表面の少なくとも一部に搭載される。図１において、ディスプレイミラー１０８の概要が破線により示される。一般的にミラー１０４の中央にディスプレイミラー１０８が示されているが、それは、一方の側に沿って、又はミラー１０４の隅などのミラー１０４の任意の位置に配置することができる。さらに、ミラー１０４の実質的な部分をカバーするようディスプレイミラー１０８は示されているが、それは本発明の範囲及び趣旨から逸脱することなく異なるサイズとすることが可能である。ディスプレイミラー１０８は、情報、通信又は娯楽（ＩＣＥ）コンテンツをユーザに表示し、少なくともＩＣＥコンテンツが表示されていないときには、ユーザの像を反射することもできる。一般に、ディスプレイミラーは２つのモードを有する。電源オフモードでは、スマートミラーは標準的な反射ミラーとして機能する。電源オンモードでは、スマートミラーは表示装置となる。ディスプレイミラー１０８は、液晶画面から構成することが可能である。電源オフモードでは、ディスプレイミラー１０８は、標準的な反射ミラーとして機能する。ミラーの前方に位置する任意のオブジェクトは、反射された像を構成される。ミラーの反射処理は、表示装置１０８がオンされるとオフとなるようにしてもよい。従って、ミラーの前方に位置するオブジェクトは、反射された像を生成せず、表示情報のみがユーザに示される。
【００２６】
あるいは、反射処理は、表示処理と重複させることも可能である。装置により表示される情報は、ディスプレイミラー１０８の表面から現れるようにユーザには見える。ユーザに与えられるユーザの反射された像は、ミラー１０４の後方の一定距離に現れるように見える（一定の距離は、ソースオブジェクト（ユーザなど）とミラー１０４の表面との間の距離に等しい）。従って、ユーザは、自分の反射された像と表示情報とを自分の目の焦点を変えることによって切り替えることができるであろう。このことは、ユーザがひげ剃りや化粧などの注視する動作を実行しながら、情報を受け取ることを可能にする。従って、ディスプレイミラー１０８は、ユーザの像とＩＣＥコンテンツの両方を同時に表示することができ、あるいは、ユーザの像を反射することなくＩＣＥコンテンツのみを表示することが可能である。図１に示される化粧室の例では、ユーザがＩＣＥコンテンツを確認しながら、ひげ剃りや化粧などの他の作業を同時にすることができるように、ディスプレイミラー１０８がＩＣＥコンテンツとユーザの像の両方を表示することが好ましい。
【００２７】
上述のように、ディスプレイミラーは一例として与えられており、本発明の範囲又は趣旨を限定するものではない。当該ディスプレイは、コンテンツウィンドウのレンダリングが可能であり、コンテンツウィンドウのサイズ変更及び／又は移動と、コンテンツウィンドウにレンダリングされるコンテンツの供給を行うためのコントロールに動作可能に接続される任意のタイプのディスプレイとすることが可能である。このようなディスプレイは、壁や机の実質的部分に配置され、ジェスチャを用いてコンテンツウィンドウの位置、サイズ及び／又はコンテンツを規定するための本発明の方法から効果を得ることが可能な大型ディスプレイとすることが可能である。
【００２８】
図２の概略を参照するに、ディスプレイミラー１０８は、ディスプレイミラー１０８上のコンテンツウィンドウ１１２に表示するため、ＩＣＥコンテンツをディスプレイミラー１０８に供給するコンピュータシステム１１０を有する。コンピュータシステム１１０は、コンピュータシステム１１０と一体化され、あるいは動作可能に説明されるメモリ１１６及びプロセッサ１１４を有する。コンピュータシステムは、パーソナルコンピュータ、又はテレビ受信機、ＤＶＤプレーヤー、セットトップボックスなど、ＩＣＥコンテンツをディスプレイミラー１０８に供給可能なプロセッサを有する他の任意の装置であってもよい。コンピュータシステム１１０はさらに、モデム１１８、又はインターネット１２０などのリモートネットワークと接続するための他の同様の手段を有する。インターネット接続は、ＩＳＤＮ、ＤＳＬ、通常の電話、ケーブルなどの当該分野で知られている任意の手段によるものとすることができ、有線又は無線とすることが可能である。インターネットとの接続は、ディスプレイミラー１０８のユーザが電子メールを送受信すると共に、ウェブ情報を表示することを可能にする。このことは、ユーザがＣＮＮ、ＵＰＩ、証券会社などの選択されたソースから、ニュースや株式などの所望の情報を表示するようディスプレイミラー１０８を構成することを可能にする。コンピュータシステム１１０との接続は、メモリ１１６に格納されているかもしれないユーザのアポイントメントスケジュールへのアクセスを可能にする。このとき、ユーザは、スケジュールやカレンダーにアポイントメント、仕事及び／又はメモを確認及び／又は変更することが可能となる。このとき、ユーザは、パームパイロット（ｐａｌｍ  ｐｉｌｏｔ）などの携帯情報端末にダウンロードされ、又はアポイントメント帳に含めるため印刷されるスケジュールを有することが可能となる。また、ユーザはこのスケジュールを管理アシスタントなどの他の人や職場に電子メールすることが可能となる。コンピュータシステム１１０は、ディスプレイミラー１０８に専用とし、他のコンピュータにネットワーク接続することが可能であり、あるいは、コンピュータシステム１１０は、有線又は無線ネットワーク接続によりディスプレイミラー１０８に接続し、他の用途に利用することが可能である。また、コンピュータシステム１１０は、１つの位置又は複数の位置に配置された複数のディスプレイミラー１０８を操作及び制御するよう構成されてもよい。
【００２９】
ディスプレイミラーはさらに、コマンドを実行したり、データを入力したりするため、コンピュータシステム１１０に命令を入力する手段を有する。このような手段は、キーボード、マウス、ローラボールなどとすることが可能である。しかしながら、ディスプレイミラー１０８は、好ましくは、コマンド及び／又はデータをコンピュータシステム１１０に入力するため、タッチ画面、接近接触及び非接触システム（まとめて、タッチ画面と呼ぶ）の１つを有し、直接的なユーザとのやりとりを可能にする。当該技術分野において、タッチ画面の用語は周知である。一般に、タッチ画面は、ミラーディスプレイ１０８の前方のＩＲ光格子の遮断に基づくものである。タッチ画面は、それぞれが不可視赤外線の格子を生成するよう両側に搭載されたＩＲ発光ダイオード（ＬＥＤ）１２２と光トランジスタ１２４の行を含むオプトマトリックスフレームを有する。フレームアセンブリ１２６は、オプトエレクトロニクスが搭載される印刷配線ボードから構成され、ミラー１０４の後方に隠される。ミラー１０４は、ＩＲビームが通過することを可能にしながら、動作環境からオプトエレクトロニクスを保護する。プロセッサ１１４は、ＩＲ光ビームを生成するため、ＬＥＤ１２２を連続的にパルス処理する。指などのスタイラスが格子に入力すると、それはビームを妨害する。１以上の光トランジスタ１２４は、光がないことを検出し、ｘ及びｙ座標を特定する信号を送信する。音声認識システム１３２がまた、コンピュータシステム１１０に動作可能に接続されるマイクロフォン１３４からの音声コマンドを認識するのに設けられてもよい。マイクロフォンは、好ましくは、水や他の液体がマイクロフォン１３４にダメージを与える可能性の少ない壁１０６の音響開口の後方に配置される。
【００３０】
ディスプレイミラーが化粧室１００などの比較的不利な環境において使用されるとき、さらなる要素が必要となるかもしれない。例えば、ディスプレイミラー１０８は、曇り止めのコーティング及び／又はヒーティングシステムを用いて、ディスプレイ上に蒸気／曇りができるのを回避するようにしてもよい。また、コンピュータシステム１１０とミラーディスプレイ１０８は、腐食を発生させる可能性のある水分（水蒸気と液体の水分の両方）から密閉されるべきである。ミラーディスプレイ１０８はまた、急激な温度変化と共に、極端な高温及び低温に対する耐性を有するべきである。同様に、ミラーディスプレイ１０８は、極端に高い湿度及び低い湿度への変化と共に、湿度の急激な変化に耐えるものであるべきである。
【００３１】
ディスプレイミラー１０８はまた、ユーザの手のジェスチャを認識し、認識された手のジェスチャに基づき、ディスプレイミラー１０８上のコンテンツウィンドウのサイズ、位置及びコンテンツの少なくとも１つを規定するため、１以上のセンサと認識システム１２８を有する。認識システム１２８は、独立型の専用モジュールであってもよいし、あるいは、プロセッサ１１４により実行されるメモリ１１６内のソフトウェア命令により実現されてもよい。一実施例では、認識システム１２８は、手のジェスチャを認識するコンピュータビジョンシステムであり、このようなコンピュータビジョンシステムは、参照することによりここに含まれる、Ｒｅｉｃｈｌｅｎの米国特許第６，３９６，４９７号に開示されているものなど、当該分野において周知である。コンピュータビジョンシステムでは、１以上のセンサは、ミラー１０４の後方に配置されるデジタルビデオカメラ１３０などの１以上の画像キャプチャ装置であるが、ミラー１０４の前方の像をキャプチャすることができる。好ましくは、図１において破線により示されるように、このような３つのビデオカメラが設けられ、ユーザの手のジェスチャが３つのビデオカメラ１３０の少なくとも２つの視界にあるように配置される。あるいは、１以上のビデオカメラ１３０には、認識システム１２８がユーザの手を検出し、手を追跡するようパン・チルト・ズームモータに指令するパン・チルト・ズームモータ（図示せず）が設けられる。
【００３２】
一実施例では、所定の手のジェスチャのモデルに一致する画像又は映像パターンが、メモリ１１６に格納されている。メモリ１１６はさらに、上記所定の手のジェスチャのそれぞれに対して、コンテンツウィンドウ１１２の関連するサイズ、位置及び／又はコンテンツを有する。従って、プロセッサ１１４は、ユーザの認識された手のジェスチャとメモリ１１６の所定の手のジェスチャとを比較し、コンテンツウィンドウ１１２を関連するサイズ、位置及び／又はコンテンツによりレンダリングする。上記比較は、モデルと比較して認識された手のジェスチャのスコアを決定し、当該スコアが所定の閾値を超える場合、プロセッサ１１４は、メモリ１１６の関連するデータに従って、コンテンツウィンドウ１１２のレンダリングを実行する。手のジェスチャはさらに、ディスプレイミラー表面に表示されるアプリケーションのクローズなどのコマンドを規定することができる。
【００３３】
２以上のカメラ１３０が使用される場合、手のジェスチャの位置がまた三角測量により計算することができる。従って、メモリ１１６の関連するデータに従ってコンテンツウィンドウのレンダリングの代わりとして、手のジェスチャの位置の値が、手のジェスチャの検出された位置と対応する位置にレンダリングされるコンテンツウィンドウ１１２から決定することができる。同様に、手のジェスチャサイズの値は、検出された手のジェスチャと対応するサイズによりレンダリングされるコンテンツウィンドウ１１２から計算することができる。
【００３４】
認識システムがコンピュータビジョンシステムに関して説明されたが、所定の手のジェスチャはさらに、サーマルイメージング、超音波、ジェスチャがディスプレイ表面上でなされる必要があるタッチ画面、又は非接触のやりとり（容量性感知など）などの他の手段により認識されてもよいということは、当業者には理解されるであろう。
【００３５】
図４に関して、ミラーディスプレイ１０８の動作が全体的に説明される。ステップ２００において、コンピュータシステム１１０は、コンテンツウィンドウ１１２をレンダリングするためのコマンドを受信する。このコマンドは、接触コマンド、発話コマンドであってもよいし、あるいは、手のジェスチャと一体的なものであってもよい。例えば、手のジェスチャは、コンテンツウィンドウ１１２のオープンと、ディスプレイミラー１０８上にコンテンツウィンドウをレンダリングするサイズ及び／又は位置の両方を知らせるものであってもよい。ステップ２０２において、認識システム１２８は、手のジェスチャが検出されたか判断する。手のジェスチャが検出されない場合、本方法はステップ２０４に移行し、コンテンツウィンドウはサイズ及び／又は位置などの所定のデフォルト設定に従ってレンダリングされる。手のジェスチャが検出されると、ステップ２０６において、当該ジェスチャがメモリ１１６に格納されている所定の手のジェスチャの１つに一致するか判断される。検出された手のジェスチャが「コンテンツウィンドウの手のジェスチャ」（メモリ１１６に格納されている所定の手のジェスチャの１つ）でない場合、再びステップ２０４において、コンテンツウィンドウは所定のデフォルト設定に従ってレンダリングされる。コンテンツウィンドウ１１２がコンテンツウィンドウのサイズ、位置及び／又はコンテンツを示すメモリ１１２の関連するデータに従ってレンダリングされる場合、本方法は破線により示されるステップ２０８に移行する。
【００３６】
あるいは、本方法はステップ２０６−Ｙからステップ２１０に移行し、ジェスチャ位置の値が計算される。上述のように、手のジェスチャの位置は、３つのビデオカメラ１３０の少なくとも２つからの映像データにより三角測量法を利用して決定することができる。その後ステップ２１２において、ジェスチャ位置は、コンテンツウィンドウ１１２の位置に変換される。例えば、手のジェスチャがディスプレイミラー１０８の右上の隅にあると検出される場合、コンテンツウィンドウ１１２は、ディスプレイミラー１０８の右上隅にレンダリングすることができる。ステップ２１４において、ジェスチャのサイズ値は、検出された手のジェスチャのサイズに基づき計算される。ステップ２１６において、ジェスチャのサイズの値は、コンテンツウィンドウのサイズに変換される。例えば、手のジェスチャが閉じられた拳である場合、小さなコンテンツウィンドウ１１２が、計算された位置の値に応じた位置にレンダリングされる。開いた掌の手のジェスチャが検出されると、大きなコンテンツウィンドウ１１２をレンダリングすることができる。検出された手のジェスチャに対応するコンテンツウィンドウ１１２のサイズは、メモリ１１６に格納可能であり、あるいは手のジェスチャの実際に検出されたサイズに基づくものとすることができる。従って、閉じられた拳による手のジェスチャが第１のサイズのコンテンツウィンドウ１１２を生じさせ、開いた掌の手のジェスチャがより大きな第２のサイズのコンテンツウィンドウ１１２を生じさせる場合、閉じた拳と開いた掌の間の中間のサイズを有する手のジェスチャは、第１のサイズと第２のサイズの間のサイズを有するコンテンツウィンドウ１１２を生じさせる。コンテンツウィンドウ１１２がオープンされると、それのサイズは、おそらく音声認識システム１３２により認識される発話されたコマンドに関して、手のジェスチャのサイズを調整することによって調整することができる。ステップ２１８において、コンテンツウィンドウ１１２は、コンテンツウィンドウサイズ及び／又は位置に従ってレンダリングされる。本方法はサイズと位置の両方に関して説明されたが、当業者は、所望の場合には一方のみを利用することが可能であるということを理解するであろう。
【００３７】
コンテンツウィンドウ１１２にレンダリングされるコンテンツ（特定のウェブサイト、ユーザの電子メールのメールボックスなど）は、ユーザ入力又はユーザプログラミングからコンピュータシステムに知られうる。例えば、ユーザは、コンテンツウィンドウ１１２の移動又はサイズ変更のための手のジェスチャをする直前に、タッチ画面又は音声認識システム１３２を用いてメニューからコンテンツを指定することができる。ユーザはまた、その日の異なる時点にレンダリングされるように特定のコンテンツを予めプログラムすることができる。例えば、午前中にニュースウェブサイトと、その後、夜のＭＴＶなどのように電子メールリスト及び音楽ビデオクリップをレンダリングする。認識システム１２８はまた、家族や会社から特定の個人を認識し、各人の予め設定されたプログラミング又は手のサイズに従ってコンテンツをレンダリングするのに利用可能である。
【００３８】
コンテンツウィンドウ１１２にレンダリングされるコンテンツはまた、手のジェスチャと同時に発話コマンドを発するなどによって、手のジェスチャの最中にユーザにより指定することができる。コンテンツウィンドウ１１２にレンダリングされるコンテンツはまた、手のジェスチャがされた後、例えば、コンテンツウィンドウにメニューを提示し、おそらく他の手のジェスチャ、タッチ画面又は発話コマンドによりメニューからさらに選択することをユーザに要求することによって、ユーザにより指定することができる。手のジェスチャ自体は、ディスプレイモニタ１０８上にコンテンツウィンドウ１１２のサイズ及び／又は位置を示すことに加えて、コンテンツウィンドウにレンダリングされるコンテンツを指定するのに利用されてもよい。例えば、ユーザはディスプレイミラー１０８の右上隅にＣ字状の手のジェスチャをすることができ、この場合、ＣＮＮがディスプレイミラー１０８の右上隅のコンテンツウィンドウ１１２にレンダリングされる。さらに、手のジェスチャのＣ字の形状は、大きなウィンドウを示すには大きく開き、小さなウィンドウを示すには閉じることが可能である。同様に、Ｍ字状の手のジェスチャは、コンテンツウィンドウ１１２にレンダリングされる音楽コンテンツを指定するのに利用され、Ｒ字状の手のジェスチャは、ラジオコンテンツを指定するのに利用可能である。また、ある手のジェスチャの位置及び／又はサイズは、コンテンツウィンドウ１１２にレンダリングされる特定のコンテンツに対応するかもしれない。例えば、左上の手のジェスチャは、コンテンツウィンドウ１１２にレンダリングされるＣＮＮコンテンツに対応し、右下の手のジェスチャは、コンテンツウィンドウ１１２にレンダリングされるマンガネットワークに対応するかもしれない。上記概略されたように、検出された手のジェスチャはまた、「Ｘ」又はワイプ動作などのコンテンツウィンドウ１１２をクローズするのに利用されてもよい。複数のコンテンツウィンドウ１１２がオープンされている場合、クローズする手のジェスチャが、手のジェスチャの位置に最も近接して対応するコンテンツウィンドウ１１２に適用可能である。
【００３９】
上述の実施例は、ディスプレイミラー１０８上に表示されるコンテンツウィンドウのオープン、クローズ、サイズ変更及び移動に有用である。しかしながら、図３に示されるように、ＬＣＤパネルディスプレイなどの非ミラーディスプレイ３００が、図２に概略的に示されるシステムに置換可能である。非ミラーディスプレイ３００は、ディスプレイ表面３０４上にミラー状部分３０２をレンダリングすることが可能である。従って、このような非ミラーディスプレイ３００を用いたシステムは、ディスプレイミラー１０８に関して上述されたものと類似のミラー背景を有するコンテンツウィンドウ３０６をレンダリングすることができる。しかしながら、コンテンツウィンドウ３０６を取り囲む領域は、ミラー処理されず、あるいはミラー効果を有しない。このとき、システムは、上述されたものと同様に、コンテンツウィンドウ３０６のオープン、クローズ、サイズ変更及び／又は移動するのに利用可能である。
【００４０】
本発明の方法は、特に本法の各ステップに対応するモジュールを好ましくは有するコンピュータソフトウェアプログラムにより実行するのに適したものである。もちろん、このようなソフトウェアは、集積チップや周辺装置などのコンピュータ可読媒体において実現可能である。
【００４１】
本発明の好適な実施例と考えられるものが図示及び説明されたが、もちろん、本発明の趣旨から逸脱することなく、形態又は詳細に各種改良及び変更が容易に可能であるということは理解されるであろう。従って、本発明が説明及び図示された正確な形態に限定されず、添付された請求項の範囲内に属するすべての変更をカバーするものと解釈されるべきである。
【図面の簡単な説明】
【００４２】
【図１】図１は、化粧室の鏡に統合されたディスプレイミラーの実施例を示す。
【図２】図２は、図１のディスプレイミラーの概略を示す。
【図３】図３は、図１の概略に利用される他のディスプレイを示す。
【図４】図４は、ディスプレイモニタ上にコンテンツウィンドウをレンダリングする好適な方法のフローチャートを示す。
【図１】
2007507782.tif 000003
【図２】
2007507782.tif 000004
【図３】
2007507782.tif 000005
【図４】
2007507782.tif 000006
【国際調査報告】
2007507782.tif 000007
2007507782.tif 000008