(57)【要約】  本発明は、コンピュータシステムのためのユーザインターフェイスを提供する方法及び装置である。本発明は、パーソナルコンピュータ（「ＰＣ」）の機能を物理的な机の上に提供する装置である。この装置は、紙とデジタル文書とをシームレスに統合し、現在の装置の限られた画面を越える拡張オフィス空間を形成する。本発明は、机又はオフィス空間全体を相互作用的なものにして、ユーザとコンピュータとの間の相互作用の汎用性を高めることができる。本発明は、さらなる邪魔なハードウェアをオフィス空間に追加することなくこれらの利点をもたらす。【選択図】図７
2019511049.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータインターフェイス装置であって、
少なくとも１つのメモリ要素と、少なくとも１つの処理要素とを含むコンピュータシステムと、
作業空間から視覚情報を受け取る少なくとも１つの視覚センサと、
前記作業空間において光を供給できる少なくとも１つの照明装置と、
１又は２以上のデジタルオブジェクトを表示することができる少なくとも１つのディスプレイ装置と、
を備え、
前記コンピュータシステムは、前記ディスプレイ装置に第１のデジタルオブジェクトを表示させ、
前記コンピュータシステムは、ユーザと前記第１のデジタルオブジェクトとの相互作用に基づいて、前記作業空間内で供給される光のレベルを前記照明装置を介して調整し、
前記コンピュータシステムは、前記ユーザと前記第１のデジタルオブジェクトとの相互作用に基づいて、前記ディスプレイ装置に第２のデジタルオブジェクトを表示させ、
前記コンピュータシステムは、第１の物理的対象オブジェクトを前記作業空間とは異なるものとして認識し、
前記コンピュータシステムは、前記ディスプレイ装置に、前記第１の物理的対象オブジェクトの近くに第１の関連するデジタルオブジェクトを表示させ、
前記コンピュータシステムは、前記ユーザが前記第１の関連するデジタルオブジェクトと相互作用したときに、前記第１の物理的対象オブジェクトに関する情報に基づいて第２の関連するデジタルオブジェクトを作成し、
前記コンピュータシステムは、前記ユーザが前記第１の物理的対象オブジェクトと相互作用したときに、前記第１及び第２の関連するデジタルオブジェクトを調整する、
ことを特徴とするコンピュータインターフェイス装置。
【請求項２】
コンピュータインターフェイス装置であって、
少なくとも１つのメモリ要素と、少なくとも１つの処理要素とを含むコンピュータシステムと、
作業空間から視覚情報を受け取る少なくとも１つの視覚センサと、
１又は２以上のデジタルオブジェクトを表示することができる少なくとも１つのディスプレイ装置と、
を備え、
前記コンピュータシステムは、前記ディスプレイ装置に第１のデジタルオブジェクトを表示させ、
前記コンピュータシステムは、前記ユーザと前記第１のデジタルオブジェクトとの相互作用に基づいて、前記ディスプレイ装置に第２のデジタルオブジェクトを表示させ、
前記コンピュータシステムは、第１の物理的対象オブジェクトを前記作業空間とは異なるものとして認識し、
前記コンピュータシステムは、前記ディスプレイ装置に、前記第１の物理的対象オブジェクトの近くに第１の関連するデジタルオブジェクトを表示させ、
前記コンピュータシステムは、前記ユーザが前記第１の関連するデジタルオブジェクトと相互作用したときに、前記第１の物理的対象オブジェクトに関する情報に基づいて第２の関連するデジタルオブジェクトを作成し、
前記コンピュータシステムは、前記ユーザが前記第１の物理的対象オブジェクトと相互作用したときに、前記第１及び第２の関連するデジタルオブジェクトを調整する、
ことを特徴とするコンピュータインターフェイス装置。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願〕
本出願は、米国仮特許出願第６２／３０１，１１０号の継続出願であるとともに、この仮特許出願に基づく優先権を主張するものである。
【０００２】
本発明は、拡張現実の分野及びコンピュータシステムのためのユーザインターフェイスの分野に関する。拡張現実技術は、現実世界の物理的環境内にバーチャル画像を提示することができる。本発明は、ユーザがこれらのバーチャル画像と相互作用して様々な機能を実行できるようにするものである。
【背景技術】
【０００３】
パーソナルコンピュータは、生産性に大きな好影響を与え、幅広い個人的及び専門的努力のニーズに適合してきた。パーソナルコンピュータの継続的な発展にも関わらず、１つの境界線が存在し続けている。物理的文書とデジタルファイルとの相互作用手段は限られている。人々は、ファイル印刷又は文書スキャンのために自身のワークフローを中断する必要があり、一方の領域の変化が媒体を越えて反映されることはない。キーボード、マウス、ジョイスティック及びタッチ画面を含む多くのタイプのユーザインターフェイス装置及び方法が利用可能であるが、コンピュータ及びデジタル情報とユーザの物理的作業空間及び文書との相互作用には限界がある。
【０００４】
最近では、平面上に情報を提示するために双方向タッチ画面が使用されている。例えば、タッチ画面上に画像が表示され、ユーザは、タッチ画面にタッチすることによって画像と相互作用して画像を変化させることができる。しかしながら、タッチ画面上に表示された画像と相互作用するには、ユーザが実際にタッチ画面に接触しなければならない。双方向性を与えるためにタッチ画面にタッチする必要があることにより、現在の双方向ディスプレイが多くの潜在的ユーザを魅了することはない。一度に１人のユーザしかタッチ画面と相互作用できないので、追加のユーザも排除される。さらに、タッチ画面のサイズ及び近接性によって双方向性が制限される。
【０００５】
仮想環境と相互作用するための他のシステム又は方法は、触覚インターフェイスではなく画像処理に依拠する。画像処理は、分析、教育、商取引及びエンターテイメントという多くの分野で使用されている。画像処理の１つの態様は、モーションキャプチャによる人間とコンピュータの相互作用、又は人間の姿及び動きを検出してモーションキャプチャ技術を通じて画像との相互作用を可能にすることを含む。このような処理の応用では、画像との効率的又は娯楽的な相互作用方法を用いてデジタル形状又はその他のデータを定義し、対象物をアニメ化し、表現形式を作成することなどができる。
【０００６】
モーションキャプチャ技術では、人間の実行者の動きの数学的記述がコンピュータ又はその他の処理システムに入力される。自然な体の動きをコンピュータへの入力として用いて、運動的な動きの研究、後で再生又はシミュレーションするデータの取り込み、医療目的のための分析強化などを行うことができる。
【０００７】
モーションキャプチャは利益及び利点をもたらすが、その技術は複雑になりがちである。技術によっては、人間の動作主が、複数箇所に目立つ特徴を有する特殊スーツを着用する必要もある。他の方法には、無線周波数タイプ又はその他のタイプのエミッタ、複数のセンサ及び検出器、ブルースクリーン、大掛かりな後処理などを使用するものもある。通常、単純な可視光画像キャプチャに依拠する技術は、明確かつ正確なモーションキャプチャを実現するほど精密ではない。
【０００８】
さらに最近では、対象物のサイズ、形状、配向又は動きのような物理的特性を判別するためにパターン照明が使用されている。一般に、これらのシステムは、赤外光又はその他の非可視スペクトルを投影し、投影光を感知する視覚センサによってこれらの光を捕らえる。一例として、米国特許第８，０３５，６２４号に、コンピュータビジョンベースのタッチ画面において、画面の正面近くの対象物を照明器によって照明し、照明された対象物とプロジェクタによって別個に画面上に投影された画像との相互作用をカメラによって検出し、この相互作用に応答してコンピュータシステムがプロジェクタに画像を変化させるように指示することが記載されており、この文献の開示は引用により本明細書に組み入れられる。
【０００９】
他の同様のシステムとしては、ディスプレイ画面に視覚画像を表示し、ディスプレイ画面の正面に位置する相互作用領域内の対象物に関する３Ｄ情報をカメラによって取り込む米国特許第７，８３４，８４６号の双方向ビデオディスプレイシステムが挙げられる。コンピュータシステムが、対象物の変化に応答して視覚画像を変化させるようにディスプレイ画面に指示する。
【００１０】
さらに別の方法には、コンピュータが非触知性三次元（３Ｄ）ユーザインターフェイスを実行し、コンピュータに結合された検知装置の視野内に位置する手による、空間内の選択軸に沿った第１の方向の第１の動きと、その後の選択された軸に沿った第１の方向とは逆の第２の方向の第２の動きとを含むジェスチャを複数の３Ｄ座標の組によって表す米国特許第９，０３５，８７６号の三次元ユーザインターフェイスセッション制御がある。非触知性３Ｄユーザインターフェイスは、ジェスチャの完了を検出すると第１の状態から第２の状態に移行する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】米国特許第８，０３５，６２４号明細書
【特許文献２】米国特許第７，８３４，８４６号明細書
【特許文献３】米国特許第９，０３５，８７６号明細書
【発明の概要】
【課題を解決するための手段】
【００１２】
本発明は、パーソナルコンピュータ（「ＰＣ」）の機能を物理的机の上に提供する装置である。この装置は、紙とデジタル文書とをシームレスに統合し、現在の装置の限られた画面を越える拡張オフィス空間を形成する。本発明は、机又はオフィス空間全体を相互作用的なものにして、ユーザとコンピュータとの間の相互作用の汎用性を高めることができる。本発明は、さらなる邪魔なハードウェアをオフィス空間に追加することなくこれらの利点をもたらす。本発明は、照明器具又は他のオフィス設備に含まれることにより、最も薄いラップトップ又はタブレットを越えて煩雑さを軽減する。
【図面の簡単な説明】
【００１３】
【図１】１つの考えられる装置の構成を示す。
【図２】１つの考えられる装置の構成を示す。
【図３】１つの考えられる装置の構成を示す。
【図４】従来のコンピュータインターフェイスを表示している装置を示す。
【図５】装置が認識された対象物の直近にメニュー項目を投影することによってオプションを提示する。
【図６】ランプの明るさを調整するための「アップ」及び「ダウン」を含むデフォルトメニュー項目を通じて制御することを示す。
【図７】物理的文書上の単語の強調表示を示す。
【００１４】
以下の詳細な説明のいくつかの部分は、手順、ステップ、論理ブロック、処理、及びコンピュータメモリ上で実行できるデータビットに対する他の象徴的な動作表現の観点から提示するものである。これらの記述及び表現は、データ処理技術の当業者が自らの研究内容を他の当業者に最も効果的に伝えるために使用する手段である。本明細書では、及び一般的には、手順、コンピュータが実行するステップ、論理ブロック、処理などは、望ましい結果をもたらす首尾一貫した一連のステップであると考えられる。これらのステップは、物理量の物理的操作を必要とする。必ずしもそうではないが、通常これらの量は、コンピュータシステムにおいて記憶、転送、合成、比較、及び別様に操作できる電気又は磁気信号の形を取る。主に共通使用という理由で、時にはこれらの信号をビット、値、要素、記号、文字、用語、番号などと呼ぶことが便利であることが分かっている。
【００１５】
しかしながら、これらの及び同様の用語は、全て適当な物理量に関連付けられるべきものであり、これらの量に与えられた便利な表記に過ぎない点に留意されたい。以下の説明から明らかなように、特に別途述べていない限り、本発明全体を通じて、「投影する（ｐｒｏｊｅｃｔｉｎｇ）」、「検出する（ｄｅｔｅｃｔｉｎｇ）」、「変更する（ｃｈａｎｇｉｎｇ）」、「照明する（ｉｌｌｕｍｉｎａｔｉｎｇ）」、「訂正する（ｃｏｒｒｅｃｔｉｎｇ）」又は「排除する（ｅｌｉｍｉｎａｔｉｎｇ）」などの用語を利用した説明は、電子装置のレジスタ及びメモリ内の物理（電子）量として表されるデータを操作して、電子装置のメモリ、レジスタ、又は他のこのような情報記憶装置、送信又は表示装置内の物理量として同様に表される他のデータに変換する電子システム（例えば、双方向ビデオシステム）又は同様の電子計算装置の動作及び処理を意味するものである。
【００１６】
説明するいくつかの実施形態は、見えている対象物の三次元（３Ｄ）画像を生成するビデオカメラを使用することができる。ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔカメラがこの特性をする。深度情報（例えば、３Ｄ画像データ）を取得するための他の装置としては、以下に限定するわけではないが、立体照明（ｓｔｒｕｃｔｕｒｅｄ  ｌｉｇｈｔ）技術と組み合わせたカメラ、立体視アルゴリズムを利用して深度マップを生成するステレオカメラ、超音波トランスデューサアレイ、レーザースキャナ及びｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔカメラが挙げられる。通常、これらの装置は、カメラの視点から見た画像に対応する値の二次元（２Ｄ）配列である深度マップを作成する。各画素値は、カメラと、その画素を占める、カメラの視点から最も近い対象物との間の距離に対応する。さらに、本発明の実施形態は、少なくとも１つのｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔカメラを含むことができるが、本発明は、被写体の三次元情報を判別するレーザースキャナ及びステレオカメラなどのあらゆるカメラ又はその組み合わせを用いて実施することもできると理解されたい。ある実施形態では、高焦点距離カメラを利用して対象物の高解像度画像を取り込むことができる。
【００１７】
本発明は、１又は２以上の視覚センサを用いて作業空間をモニタする。１つの実施形態では、視覚センサが、対象物に関する三次元情報を取り込むカメラである。１つの実施形態では、カメラが、光の速度に基づいて距離を求める距離画像カメラであるｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔカメラである。１つの実施形態では、対象物がユーザである。１つの実施形態では、距離情報を人の追跡に使用する。１つの実施形態では、距離情報を特徴追跡に使用する。特徴追跡は、３Ｄオブジェクトのデジタル表現の作成、及び／又は異なる３Ｄオブジェクト同士の区別に役立つ。
【００１８】
作業空間は、机、黒板、ホワイトボード、製図台、書棚、食料庫、レジ、精算エリア、又はユーザがコンピュータ機能を望む他の物理的空間とすることができる。装置は、作業空間をモニタする際に、例えば文書又は本などの対象物を認識し、コンピュータが対象物に対して実行する様々な機能オプションを提示する。装置は、オプションを提示するために１又は２以上のプロジェクタを利用することができる。プロジェクタは、作業空間の表面上に、単語又は他の認識可能な記号によるメニュー項目として様々なオプションを表す画像を作成することができる。オプションは、例えばスマートフォン、タブレット、コンピュータ、タッチ画面モニタ又は他の入力装置などの、ユーザがアクセス可能な本発明に関連する別の装置上に提示することもできる。
【００１９】
表示される画像又は項目は、物体、パターン、形状又はいずれかの視覚的パターン、効果などを含むことができる。本発明の態様は、クラブ又はイベントにおける人々のための双方向照明効果、双方向広告表示、通行人の動きに反応するキャラクタ及び仮想オブジェクト、レストラン、ショッピングモール、スポーツ会場、小売店、ロビー及び公園などの公共空間のための双方向周囲照明、ビデオゲームシステム、並びに双方向情報表示などの用途に使用することができる。他の用途も可能であり、これらも本発明の範囲に含まれる。
【００２０】
一般に、あらゆるタイプのディスプレイ装置を本発明と共に使用することができる。例えば、様々な実施形態及び構成ではビデオ装置について説明したが、他のタイプの視覚表現装置を使用することもできる。発光ダイオード（ＬＥＤ）アレイディスプレイシステム、有機ＬＥＤ（ＯＬＥＤ）ディスプレイシステム、発光ポリマー（ＬＥＰ）ディスプレイシステム、電磁ディスプレイシステム、陰極線ディスプレイシステム、プラズマディスプレイシステム、機械的ディスプレイシステム又はその他のディスプレイシステムを利用することができる。複数の発光機構を使用することもできる。ある実施形態では、発光要素のうちの１つ又は２つ以上が、様々な照明パターン又は照明シーケンスを発光して対象物の認識を支援することができる。この分野では、様々な立体照明モジュールが知られている。
【００２１】
仮想現実ディスプレイ、三次元ディスプレイ、又は他のタイプのディスプレイを利用することもできる。例えば、ユーザは、イメージングゴーグル又はフードを着用することによって、生成された環境に没頭することができる。この方法では、生成された表示がユーザによる環境の認識と協調して、拡張又は強化された現実を形成することができる。１つの実施形態では、ユーザがキャラクタ画像と相互作用することができる。キャラクタは、コンピュータが生成したもの、人間の役者が演じるものなどとすることができる。キャラクタは、ユーザの動き及び体勢に反応することができる。相互作用は、発話、物体の共同操作などを含むことができる。
【００２２】
デジタルネットワークを介して複数のシステムを相互接続することもできる。例えば、イーサネット、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ  １３９４（Ｆｉｒｅｗｉｒｅ）などを使用することができる。８０２．１１ｂなどによって規定されるものなどの無線通信リンクを使用することができる。複数のシステムを使用することにより、生成された画像を通じて異なる地理的位置のユーザが互いに協力し、競争し、又は別様に相互作用することができる。２又は３以上のシステムによって生成された画像を共に「タイル化」し、又は別様に組み合わせて集塊表示（ｃｏｎｇｌｏｍｅｒａｔｅ  ｄｉｓｐｌａｙｓ）を形成することもできる。
【００２３】
光ではなく、他のタイプの照明を使用することもできる。例えば、レーダー信号、マイクロ波又はその他の電磁波を使用して、検出対象物（例えば、金属物）がこのような波動を高度に反射する状況において利点をもたらすこともできる。空中又は水中で音波を使用することなどにより、システムの態様を他の形の検出に適合させることもできる。
【００２４】
対象物の画像信号を受け取って処理して表示信号を生成するコンピュータシステムについて説明したが、他のあらゆるタイプの処理システムを使用することができる。例えば、汎用コンピュータを使用しない処理システムを採用することもできる。本発明との使用には、カスタム又は準カスタム回路又はチップ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、マルチプロセッサ、非同期、又はあらゆるタイプのアーキテクチャ設計又は方法論に基づく設計を使用する処理システムが適することができる。
【００２５】
一例として、例えばユーザが自分の机の上に名刺を置いた場合には、装置がこの名刺を認識して、保存、電子メール、電話、ミーティングの計画又はリマインダの設定などの、名刺に含まれている連絡先情報に関するオプションを提示する。保存は、テキスト認識を用いて、名刺からの情報を含む新たな連絡先を適切なソフトウェア内に作成する。別の実施形態では、装置が、例えば１０枚の名刺などの複数の同様の文書が存在する時にこれを認識して、一連の同様の文書に「全てを保存」などのバッチ機能を実行するオプションを提示することもできる。
【００２６】
１つの実施形態では、図５に示すように、装置が、認識された対象物の直近にメニュー項目を投影することによってオプションを提示する。装置は、文書をリアルタイムに認識し、従って文書を動かすと関連するメニュー項目も共に移動するようになる。装置は、複数の文書の追跡及び区別も行う。図５に示すように、投影された括弧の組Ａ及びＢは異なる文書に対応し、それぞれが独自の関連するオプションメニューを有する。
【００２７】
機能を実行するには、ユーザがメニュー項目にタッチする。装置は、ユーザの手がメニュー項目に関与した時を認識して、選択されたメニュー項目に関連する機能を実行する。考えられる機能は、文書又は対象物の画像をＤｒｏｐｂｏｘにアップロードすることを含む。ユーザが図５に示すような「Ｄｒｏｐｂｏｘ」ボタンにタッチすると、装置は、文書又は対象物の写真を撮影してこの写真をユーザのＤｒｏｐｂｏｘアカウントにアップロードする。Ｄｒｏｐｂｏｘは、デジタルファイルの記憶、送信又は共有を行うために利用できる多くのサービスの一例にすぎず、これらのサービスは、例えばＢｏｘ、Ｇｏｏｇｌｅ  Ｄｒｉｖｅ、Ｍｉｃｒｏｓｏｆｔ  ＯｎｅＤｒｉｖｅ及びＡｍａｚｏｎ  Ｃｌｏｕｄ  Ｄｒｉｖｅも含むと理解されるであろう。
【００２８】
１つの実施形態では、本発明がテキストを認識し、図７のＡで示すように物理的文書上の単語を強調表示することができる。例えば、賃貸契約書を読んでいるユーザは、家主という用語の各事例を見直したいと望む可能性がある。装置は、ページ上に「家主」という用語が出現する度にそれを発見し、プロジェクタを用いて各事例を強調表示する。別の例示的な実施形態では、装置が、文書のデジタルバージョンにアクセスし、ユーザが参照しやすいように、例えば「家主」などの検索語の他の事例のページ番号をハードコピー文書の直近に表示する。さらに別の実施形態では、装置が、ユーザが参照できるように、ハードコピーバージョンの直近に別バージョンの文書を表示しながら、ハードコピー文書、デジタルバージョン、又はこれらの両方の変更点を強調表示することもできる。
【００２９】
装置は、ユーザが付けたハードコピー文書上のマークを認識し、これらのマークを解釈してデジタルバージョンの文書に変更を加えることもできる。このようなマークは、テキスト編集でよく見られる共通の記号、ユーザがプログラムした記号、又はユーザが相互作用する特定のプログラムのために作成された記号を含むことができる。例えば、グラフィックデザイナーは、デジタルレンダリングのための予め選択された設計要素に変換されるように特定の記号を使用することができる。
【００３０】
別の例示的な機能は、共有である。ユーザが「共有」ボタンにタッチすると、装置は、文書又は対象物の画像又はビデオを撮影し、例えば電子メール又はその他のメッセージサービスに画像を添付することによって、或いはＦａｃｅｂｏｏｋ、Ｔｗｉｔｔｅｒ、ブログ又はその他のソーシャルメディアサービスに画像を投稿することによって、選択されたサービスを通じて画像又はビデオを共有する。装置は、第三者サービスを使用せずに共有機能を組み込むこともできる。
【００３１】
別の実施形態では、本発明が、２又は３以上のユーザ間の双方向作業空間を提供し、１人のユーザからの入力を他の作業空間上に表すことによって、これらのユーザが同じ文書を共同制作できるようにすることもできる。この機能は、相互作用的なプレゼンテーション、教育、設計又は開発を可能にすることができる。例えば、手書きの練習をしている生徒は、２つの装置間でリアルタイムに筆跡を送信しながら指導者の指導に従うことができる。或いは、２人のアーティストが共有文書上で同時にスケッチすることもできる。ある実施形態では、予め印刷されたパターン又は他の手段によって特別に用意された用紙を利用して装置による認識を促すことができる。装置は、プロセス全体を通じてユーザの相互作用のデジタル記録を保持し、ユーザが時間に伴う変更点を確認できるように、又は以前のバージョンに戻れるようにバージョン履歴を維持することができる。
【００３２】
別の実施形態では、装置が、文書又は作業空間のライブビデオをブロードキャストすることができる。例えば、装置は、単独のメニューオプションとして、又は同じメニュー項目の下の二次オプションとしてブロードキャスト又はストリーミングを提示する。その後、装置は、文書又は作業空間領域のライブビデオを取り込む。装置は、他者がライブストリームへの参加及び／又はライブストリームの表示を行えるようにするリンク、招待又はその他の手段を配信するオプションも提供する。
【００３３】
さらに例を挙げると、会計士は、顧客と共に遠隔的に税務書類を検討したいと望むことがある。会計士は、適切なメニューオプションを選択することによってライブストリームを開始する。装置は、関連文書を認識してその文書のビデオをブロードキャストする。会計士は、複数の文書を検討したいと望む場合、関連文書毎に適切な共有又はストリーミングオプションを選択することができる。装置は、様々な文書又は対象物を同時に、又はユーザが選択した通りにストリーミングするオプションを提示することができる。
【００３４】
別の実施形態では、会計士が、いずれの個々の文書又は対象物とも異なる、但し複数の文書及び対象物を含むことができる自身の作業空間の一部を「共有」又は「ストリーミング」することもできる。この場合、ユーザは、特定の文書に関連していないデフォルトメニューから「共有」又は「ストリーミング」を選択することができる。すると、装置は、共有又はストリーミング目的でカメラが取り込む作業空間の領域をユーザに示す境界を投影する。ユーザは、投影された境界にタッチしてドラッグすることによって取り込み領域を調整することができる。ユーザは、意図せず境界を調整してしまうのを防ぐように取り込み領域を固定することもできる。一例として、食事の準備を実演したいと望むシェフをユーザとすることができる。装置はまな板を認識し、まな板を共有又はストリーミングするオプションを提供するが、シェフは、まな板の領域外で調理技術を実演することが必要な場合もある。シェフは、作業空間メニューから共有又はストリーミングオプションを選択して、必要な全ての作業空間部分を含むように取り込み領域を調整することができる。こうして、シェフは、野菜を調理するための包丁さばきとパスタ生地をローラーで延ばす技術とを同じ取り込みフレーム内で実演することができる。
【００３５】
ユーザは、取り込み境界が固定されていない時には、取り込み中に取り込み境界を調整することによって、文書の共有又はストリーミングから作業空間の共有又はストリーミングに移行することもできる。
【００３６】
１つの実施形態では、装置が、２つの文書又は対象物が実質的に類似していることを認識し、メニュー項目として比較オプションを提供することができる。ユーザが「比較」を選択した場合、装置は、テキスト認識を用いて文書をスキャンした後に、これらの差異を強調表示する。強調表示は、プロジェクタによって表現される。或いは、装置が、物理的文書と、実質的に類似する文書のデジタルバージョンとを比較することもできる。その後、装置は、上述したような物理的文書又はデジタル文書のいずれか又はこれらの両方に差異を表示する。装置は、作業空間内の表面上に、又はスマートフォン、タブレット、ラップトップ、デスクトップ、タッチ画面モニタ、又はこの装置に関連する他の同様の装置を通じて文書の画像を投影することによってデジタル文書を表示することもできる。
【００３７】
１つの実施形態では、装置が文書のスペルミスをチェックし、文書の物理的バージョン又はデジタルバージョン上にこれらのスペルミスを強調表示することができる。装置は、物理的文書内の引用又はインターネットリンクを認識し、プロジェクタ又は上述した他の表示手段を通じて参考資料を提示することもできる。例えば、名刺は、ある人物のソーシャルメディアアカウント（例えばＬｉｎｋｅｄＩｎ）へのリンクを含むことがある。装置は、例えば名刺に含まれている情報を処理する際に、オンラインソースから他の連絡先情報を取り入れ、又はソーシャルメディアアカウントを介してその人物と通じ合うオプションを提供することができる。
【００３８】
１つの実施形態では、装置が対象物を認識し、この対象物及びそれに関する情報を求めてデータベース又はインターネットを検索するオプションを提供することができる。例えば、装置は、書名、著者、出版年、版又は国際標準図書番号（ＩＳＢＮ）を含む様々な特徴によって本を識別することができる。装置は、この情報を用いてインターネットで本を検索して、ユーザが本を購入し、本のレビューを読み、本の引用記事を発見し、又は本に関連する著作物を閲覧できるようにすることができる。例えば、ユーザが料理本を見ている場合、装置は、レシピに記載されている材料に基づいてユーザの買い物リストを作成することができる。装置は、注文書を作成して小売店に送信し、これによって所望の材料をユーザに配達し、又は小売店に集荷できるようになる。
【００３９】
別の実施形態では、装置が、食料品のような対象物を認識することができる。多くの食料品は、バーコード、又は形状、色及びサイズなどの他の際立った特徴を有し、これらを識別に使用することができる。装置は、キッチンに配置すると、ユーザが購入した食料品を追跡して、利用できる食品リストを保持することができる。この機能は、装置を用いて食料品店のレシートをスキャンすることによって遂行することができる。この機能は、様々な食料品を買い物袋から出して貯蔵庫に入れる際に装置を用いてこれらを認識させることによって遂行することもできる。その後、装置は、これらの食料品が調理に使用される際にこれらを認識して、利用可能な食品データベースからこれらを削除することもできる。装置は、鮮度及び腐敗に関する情報にアクセスして、特定の食料品が悪くなる前にこれらを消費するようにユーザにリマインドすることもできる。装置は、利用可能な食料品及びユーザが望むその他のパラメータに基づいてレシピを表示することもできる。装置は、ユーザが調理を行っている間に、ユーザを支援する指示又はその他の情報を表示することもできる。装置は、利用可能な食料品及び過去の購買行動に基づいて、ユーザのための食料品リストを作成することもできる。装置は、ユーザの要求時に配達されるように特定の食料品を注文することもできる。
【００４０】
装置は、作業空間の人間工学を改善してデジタルオブジェクトとの相互作用を豊かにするために使用することもできる。例えば、装置は、図４のような従来のコンピュータインターフェイスを表示している時に、ユーザにとって最適な閲覧体験を創出するように映像を調整することができる。装置は、ユーザの作業空間上に通知を表示することもできる。これは、一部には既知の又は新規の視線追跡法を適用することによって実現することができる。映像調整は、ユーザと映像との近接性に基づいてテキストサイズを拡大又は縮小するような基本修正を含むことができる。さらに複雑な修正としては、ユーザの視角とプロジェクタ及び映写面の配向とに基づいて映像の視点を変更することを挙げることができる。映像は、例えば映像の見易さに影響する要因である周囲の明るさ、映写面の反射率又は映写面の色のような他の作業空間特性に合わせて調整することもできる。高度な画像操作は、ユーザに１又は２以上の３Ｄオブジェクトの印象を与えることができる。
【００４１】
１つの実施形態では、装置が、様々なモータ、トラック、プーリ又はその他の手段を通じて自機の位置又は配向を制御することができる。このような実施形態では、装置が、ユーザの位置又は配向に応じてモバイルユーザとの見通し線を維持し、又は最適な映像特性を保持するように自機を位置付けることができる。装置は、ユーザの周辺の作業空間を越えて対象物と相互作用するように移動し、例えば部屋の反対側にある本棚を検索することもできる。このような移動性を用いて、装置が利用できる作業空間を、１又は２以上の視覚センサの取り込み領域を越えて大幅に拡張することができる。
【００４２】
別の実施形態では、装置が、ユーザが望む機能に応じて１又は２以上の視覚センサの取り込み領域を調整することもできる。例えば、ユーザが装置に作業空間内で対象物を検索させたいと望む場合、装置は、さらに広い表示領域を取り込んで分析するようにレンズ又はその他の機構を調整することができる。装置は、最初の広い検索に失敗した場合、作業空間をさらに狭い領域に分割し、これらの狭い領域を高解像度で検索するようにレンズ又はその他の機構を調整することができる。同様に、ユーザは、対象物の高解像度画像を望むこともできる。装置は、画像の解像度を高め又は最大化するように１又は２以上の視覚センサの取り込み領域を調整することができる。
【００４３】
１つの実施形態では、装置が、様々な疾病又は病気に関連する特徴を認識することができる。例えば、装置は、ユーザの顔色が赤いことを認識して、ユーザに助けが必要であるかどうかを尋ねる。別の例として、装置は、ユーザが赤み又はその他の徴候、或いは日焼けを示していることを認識して、ユーザがそれ以上の露出から身を守るように推奨する。別の例として、装置は、以前のほくろの画像を相互参照して、ほくろの大きさ又は見た目の変化をユーザ又はユーザの医師に知らせることもできる。
【００４４】
１つの実施形態では、装置が、例えばハードコピー又は当業で周知のコンピュータ支援設計ソフトウェアを用いたデジタルフォーマットで建物の設計図を認識することができる。この場合、装置は、プロジェクタ又は上述した他のディスプレイ技術を用いて、２Ｄ／３Ｄフォーマットの設計及び／又は建物のモデルを作業空間にわたって提示することができる。
【００４５】
別の実施形態では、ローカルコンピュータ装置とリモートコンピュータ装置に処理を分割することができる。例えば、サーバが高解像度の高密度３Ｄモデルを構築している間に、通信ネットワークを介して、このモデルを操作するためのユーザインタラクションを送信することができる。サービスは、モデルの変更を計算してユーザ装置に返送する。これと同時に、ユーザ装置において少ない電力及びメモリを用いて低解像度バージョンのモデルをローカルに構築し、これを用いてモデルのリアルタイムビューをレンダリングしてユーザが見ることができる。これにより、ユーザは、ローカルプロセッサからモデル構築の視覚的フィードバックを取得してネットワークレイテンシの問題を回避できるようになる。
【００４６】
別の実施形態では、装置が、ユーザと１又は２以上の認識された２Ｄ又は３Ｄオブジェクトとの相互作用を認識することができる。例えば、プロジェクタ又は上述した他のディスプレイ技術は、１又は２以上のユーザのために３Ｄ建物画像を作成することができる。ユーザは、認識されたオブジェクトの境界と相互作用することによってデジタルオブジェクトを操作することができる。装置は、例えばユーザの手が認識されたデジタルオブジェクトの縁部と交わった時を認識し、ユーザの相互作用に従って画像を調整する。例えば、ユーザは、２つの地点でモデルと相互作用してこれらの２つの地点を互いに離れるようにドラッグすることによって建物のモデルを拡大することができる。他の相互作用は、基礎となるデジタルオブジェクトを修正し、例えばモデルの建物を高層化又は低層化することができる。
【００４７】
１つの実施形態では、装置が、ユーザが参照した異なる文書を同時に追跡することができる。例えば、会計士が顧客の税務書類を検討している場合、装置は、ユーザの作業空間における物理的及び時間的近接性に起因して、その書類が関連し得ると認識する。この結果、装置は、メタデータ、タグ又はカテゴリを用いてこれらの書類を関連付けることができる。装置の認識機能は、例えば同様の名前又は用語の出現などの他の関連性指標を使用することもできる。ユーザは、対象物の性質に応じて他のタイプの関連性を示すこともできる。
【００４８】
１つの実施形態では、装置が、自機の認識機能を用いて、後でユーザが見つけやすいように文書又は他の対象物の物理的位置を追跡する。例えば、会計士は、前年からのＷ−２フォームを含む顧客の税務書類が入ったバインダーを参照することができる。ユーザが作業空間内の本棚にバインダーを置くと、装置は、書類の特性及びこの書類を含むバインダーを追跡することができる。その後、会計士が再びその文書を参照したいと思った時には、投影されたメニューオプション又は上述した他の入力装置と相互作用することによって、この書類の位置を示すように装置に問い合わせることができる。この時、装置は、プロジェクタを用いて適切なバインダーを強調表示することができる。装置は、ユーザがバインダーを開く必要なく見ることができるように、バインダーに含まれている書類のデジタルバージョンを表示することもできる。装置は、１又は２以上のデジタルオブジェクトを物理的対象物に関連付けることもできる。このような実施形態では、物理的対象物が、関連するデジタルオブジェクトのためのデジタルタグ又はフォルダのような役割を果たす。例えば、装置は、ユーザの好みの新聞又はニュースチャンネルを１杯のコーヒーと関連付け、ユーザがコーヒーを持ってテーブルにつくと、装置がニュースソースを検索してユーザに表示することができる。このようなデジタル的／物理的な関連付けは時間依存型とすることもでき、従ってユーザが午後にコーヒーを飲んだ場合には装置が朝のニュースを表示することはない。装置は、頻繁に参照される文書を追跡し、参照頻度及び／又は他の特性に基づいて最適なデジタル的及び物理的な編成スキームを提案することもできる。
【００４９】
ある実施形態では、装置が、標準的な机からのプログラムウィンドウなどのデジタル環境からのいくつかの特徴を１枚の紙のような物理的対象物に表示して、作業用のデジタルデスクトップ空間を拡張して双方向性を強化することができる。装置は、いくつかのデジタルオブジェクト又は文書を、物理的対象物だけでなく物理的対象物の特徴に関連付けることもできる。例えば、いくつかの図面、画像、メモ又はテキストを関連要素として、ユーザがこれらのデジタルオブジェクト及び物理的対象物を素早く容易に思い出せるようにすることができる。
【００５０】
ある実施形態では、装置が、複数のマイクを利用してユーザと様々な対象物との間の相互作用を検出することもできる。マイクを用いて様々な対象物の位置を検出することもできる。
【００５１】
装置は、他の入力モードとは別に、又は他の入力モードと共に、音声コマンドによる相互作用を可能にすることもできる。装置は、開発者及びユーザによる追加機能の実装を可能にすることもできる。
【００５２】
装置は、作業用ランプとしても機能するという、コンピュータを凌ぐ別の明確な利点を有する。図６に示すように、このランプは、ランプの明るさを調整するための「アップ」及び「ダウン」を含むデフォルトメニュー項目を通じて制御することができる。
【００５３】
装置は、ここではランプとして示しているが、他の形を取ることも、或いは他の対象物に統合することもできる。例えば、装置は、車の客室、ダッシュボード、航空機の座席、天井、壁、ヘルメット、或いはネックレス又はその他の着用可能な対象物上又はその内部に存在することができる。
【００５４】
１つの実施形態では、装置が、１又は２以上の視覚センサと、１又は２以上のプロジェクタと、１又は２以上のオーディオセンサと、プロセッサと、データストレージ要素と、電源と、光源と、光源コントローラとを有する。図１〜図３に、１つの考えられる装置の構成を示す。
【００５５】
これらの双方向ディスプレイシステムは、以下に限定するわけではないが、マイク、タッチ画面、キーボード、マウス、無線周波数識別（ＲＦＩＤ）タグ、圧力パッド、携帯電話信号、携帯情報端末（ＰＤＡ）及びスピーカを含むさらなる入力部及び出力部を組み込むこともできる。
【００５６】
これらの双方向ディスプレイシステムを共にタイル化して単一の大画面又は双方向領域を形成することもできる。タイル化された又は物理的に別個の画面は、１つの画面上での動作が別の画面上の画像に影響できるように共にネットワーク化することもできる。
【００５７】
例示的な実装では、本発明が、制御ロジックの形のハードウェアとソフトウェアとの組み合わせを用いて、一体的に又はモジュール式に実装される。当業者であれば、本開示及び本明細書に示す教示に基づいて、本発明を実施するための他の手段及び／又は方法を理解するであろう。
【００５８】
上述した実施形態は一例として示したものであり、本発明は、とりわけ本明細書に図示し説明したものに限定されず、これらに照らした様々な修正又は変更が当業者に提案され、これらの修正又は変更も本出願の趣旨及び範囲、並びに添付の特許請求の範囲に含めるべきであると理解されるであろう。本明細書で引用した全ての出版物、特許及び特許出願は、その全体が全ての目的で引用により本明細書に組み入れられる。本発明の範囲は、上述した様々な特徴の組み合わせ及び部分的組み合わせ、並びに上記説明を読んだ時に当業者に思い浮かぶ、先行技術に開示されていない変形例及び修正例を含む。
【図１】
2019511049.tif 000003
【図２】
2019511049.tif 000004
【図３】
2019511049.tif 000005
【図４】
2019511049.tif 000006
【図５】
2019511049.tif 000007
【図６】
2019511049.tif 000008
【図７】
2019511049.tif 000009
【国際調査報告】
2019511049.tif 000010