(57)【要約】  サーバ上にホストされ、ウェブ・ソケット接続を介して参加者にとってアクセス可能な、共同ワークスペースの表現を送信することであって、共同ワークスペースの表現が、サーバに接続されたリモート・コンピューティング・デバイスに対応するリモート参加者オブジェクトを含む、送信することと、リモート参加者オブジェクトに対応する１つ又は複数のライブ・フォルダを生成することであって、各ライブ・フォルダが、リモート参加者オブジェクトに対応するリモート・コンピューティング・デバイスのネットワーク・アドレスにマッピングされる、生成することと、リモート参加者オブジェクトの近位にファイルに対応するアイコンをドラッグするためのユーザ入力を検出することと、リモート参加者オブジェクトに対応するライブ・フォルダに少なくとも１つのファイルを記憶して、それにより、少なくとも１つのファイルを、ウェブ・ソケット接続を介してリモート・コンピューティング・デバイスのネットワーク・アドレスに送信することとを含む、ネットワーク化された共同ワークスペースにおけるウェブ・ソケット接続を介したファイルの送信のためのシステム、方法及びコンピュータ可読媒体。
2021517302.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク化された共同ワークスペースにおけるウェブ・ソケット接続を介したファイルの送信のための方法であって、前記方法は、
ローカル・コンピューティング・デバイスのユーザ・インターフェース上で、サーバ上にホストされ、ウェブ・ソケット接続を介して複数の参加者にとってアクセス可能な、共同ワークスペースの表現を送信するステップであって、前記共同ワークスペースの前記表現が、前記サーバに接続された１つ又は複数のリモート・コンピューティング・デバイスに対応する１つ又は複数のリモート参加者オブジェクトを含む、送信するステップと、
前記ローカル・コンピューティング・デバイス上で、前記１つ又は複数のリモート参加者オブジェクトに対応する１つ又は複数のライブ・フォルダを生成するステップであって、各ライブ・フォルダが、前記リモート参加者オブジェクトに対応するリモート・コンピューティング・デバイスのネットワーク・アドレスにマッピングされる、生成するステップと、
前記ローカル・コンピューティング・デバイスによって、前記１つ又は複数のリモート参加者オブジェクト中のリモート参加者オブジェクトの近位に少なくとも１つのファイルに対応する少なくとも１つのアイコンをドラッグするためのユーザ入力を検出するステップであって、前記リモート参加者オブジェクトが、前記１つ又は複数のリモート・コンピューティング・デバイス中のリモート・コンピューティング・デバイスに対応する、検出するステップと、
前記ローカル・コンピューティング・デバイスによって、前記リモート参加者オブジェクトに対応するライブ・フォルダに前記少なくとも１つのファイルを記憶して、それにより、前記少なくとも１つのファイルを、前記ウェブ・ソケット接続を介して前記リモート・コンピューティング・デバイスの前記ネットワーク・アドレスに送信するステップと
を含む、方法。
【請求項２】
前記１つ又は複数のリモート・コンピューティング・デバイスに対応する前記１つ又は複数のリモート参加者オブジェクトが、
埋込みビデオ・ストリーム又はリモート参加者アイコン
のうちの１つ又は複数を備える、請求項１に記載の方法。
【請求項３】
前記共同ワークスペースが、前記ウェブ・ソケット接続を介して前記複数の参加者中の任意の参加者からの編集を他の参加者に伝えるように構成されたデジタル・ホワイトボードを備え、共同ワークスペースの前記表現が、ローカル参加者に対してカスタマイズされた前記デジタル・ホワイトボードの表現を含む、請求項１に記載の方法。
【請求項４】
前記１つ又は複数のリモート参加者オブジェクトに対応する１つ又は複数のライブ・フォルダを生成するステップが、
前記１つ又は複数のリモート参加者オブジェクトに対応する前記１つ又は複数のリモート・コンピューティング・デバイスの１つ又は複数のインターネット・プロトコル（ＩＰ）アドレスについて前記サーバに問い合わせるステップと、
前記１つ又は複数のリモート参加者オブジェクトに対応する１つ又は複数のローカル・フォルダを生成するステップと、
前記１つ又は複数のローカル・フォルダを前記１つ又は複数のＩＰアドレスにマッピングすることによって、前記１つ又は複数のライブ・フォルダを生成するステップと
を含む、請求項１に記載の方法。
【請求項５】
前記ローカル・コンピューティング・デバイスが、前記ユーザ・インターフェース内の前記１つ又は複数のリモート参加者オブジェクトの１つ又は複数の空間的位置を記憶するように構成され、前記１つ又は複数のリモート参加者オブジェクト中のリモート参加者オブジェクトの近位に少なくとも１つのファイルに対応する少なくとも１つのアイコンをドラッグするためのユーザ入力を検出するステップが、
前記少なくとも１つのアイコンを、前記リモート参加者オブジェクトの空間的位置からしきい値距離内にある宛先空間的位置にドラッグするためのユーザ入力を検出するステップ
を含む、請求項１に記載の方法。
【請求項６】
前記リモート参加者オブジェクトに対応するライブ・フォルダに前記少なくとも１つのファイルを記憶して、それにより、前記少なくとも１つのファイルを、前記ウェブ・ソケット接続を介して前記リモート・コンピューティング・デバイスの前記ネットワーク・アドレスに送信するステップは、
前記ライブ・フォルダに前記少なくとも１つのファイルを記憶するステップと、
前記ウェブ・ソケット接続を通して、前記マッピングされたネットワーク・アドレスに前記少なくとも１つのファイルのコピーを送信するステップであって、前記ウェブ・ソケット接続が、前記サーバを介して前記マッピングされたネットワーク・アドレスにデータをルーティングするように構成された、送信するステップと、
前記送信の完了時に、前記ライブ・フォルダから前記少なくとも１つのファイルを削除するステップと
を含む、請求項１に記載の方法。
【請求項７】
前記ライブ・フォルダが、前記ローカル・コンピューティング・デバイス上の一時的キャッシュに記憶される、請求項１に記載の方法。
【請求項８】
ネットワーク化された共同ワークスペースにおけるウェブ・ソケット接続を介したファイルの送信のためのローカル・コンピューティング・デバイスであって、前記ローカル・コンピューティング・デバイスは、
１つ又は複数のプロセッサと、
前記１つ又は複数のプロセッサのうちの少なくとも１つに動作可能に結合され、前記１つ又は複数のプロセッサのうちの少なくとも１つによって実行されたとき、前記１つ又は複数のプロセッサのうちの少なくとも１つに、
前記ローカル・コンピューティング・デバイスのユーザ・インターフェース上で、サーバ上にホストされ、ウェブ・ソケット接続を介して複数の参加者にとってアクセス可能な、共同ワークスペースの表現を送信することであって、前記共同ワークスペースの前記表現が、前記サーバに接続された１つ又は複数のリモート・コンピューティング・デバイスに対応する１つ又は複数のリモート参加者オブジェクトを含む、送信することと、
前記１つ又は複数のリモート参加者オブジェクトに対応する１つ又は複数のライブ・フォルダを生成することであって、各ライブ・フォルダが、前記リモート参加者オブジェクトに対応するリモート・コンピューティング・デバイスのネットワーク・アドレスにマッピングされる、生成することと、
前記１つ又は複数のリモート参加者オブジェクト中のリモート参加者オブジェクトの近位に少なくとも１つのファイルに対応する少なくとも１つのアイコンをドラッグするためのユーザ入力を検出することであって、前記リモート参加者オブジェクトが、前記１つ又は複数のリモート・コンピューティング・デバイス中のリモート・コンピューティング・デバイスに対応する、検出することと、
前記リモート参加者オブジェクトに対応するライブ・フォルダに前記少なくとも１つのファイルを記憶して、それにより、前記少なくとも１つのファイルを、前記ウェブ・ソケット接続を介して前記リモート・コンピューティング・デバイスの前記ネットワーク・アドレスに送信することと
を行わせる命令を記憶した、１つ又は複数のメモリと
を備える、ローカル・コンピューティング・デバイス。
【請求項９】
前記１つ又は複数のリモート・コンピューティング・デバイスに対応する前記１つ又は複数のリモート参加者オブジェクトが、
埋込みビデオ・ストリーム又はリモート参加者アイコン
のうちの１つ又は複数を備える、請求項８に記載のローカル・コンピューティング・デバイス。
【請求項１０】
前記共同ワークスペースが、前記ウェブ・ソケット接続を介して前記複数の参加者中の任意の参加者からの編集を他の参加者に伝えるように構成されたデジタル・ホワイトボードを備え、共同ワークスペースの前記表現が、ローカル参加者に対してカスタマイズされた前記デジタル・ホワイトボードの表現を含む、請求項８に記載のローカル・コンピューティング・デバイス。
【請求項１１】
前記１つ又は複数のプロセッサのうちの少なくとも１つによって実行されたとき、前記１つ又は複数のプロセッサのうちの少なくとも１つに、前記１つ又は複数のリモート参加者オブジェクトに対応する１つ又は複数のライブ・フォルダを生成することを行わせる前記命令が、前記１つ又は複数のプロセッサのうちの少なくとも１つに、
前記１つ又は複数のリモート参加者オブジェクトに対応する前記１つ又は複数のリモート・コンピューティング・デバイスの１つ又は複数のインターネット・プロトコル（ＩＰ）アドレスについて前記サーバに問い合わせることと、
前記１つ又は複数のリモート参加者オブジェクトに対応する１つ又は複数のローカル・フォルダを生成することと、
前記１つ又は複数のローカル・フォルダを前記１つ又は複数のＩＰアドレスにマッピングすることによって、前記１つ又は複数のライブ・フォルダを生成することと
をさらに行わせる、請求項８に記載のローカル・コンピューティング・デバイス。
【請求項１２】
前記ローカル・コンピューティング・デバイスが、前記ユーザ・インターフェース内の前記１つ又は複数のリモート参加者オブジェクトの１つ又は複数の空間的位置を記憶するように構成され、前記１つ又は複数のプロセッサのうちの少なくとも１つによって実行されたとき、前記１つ又は複数のプロセッサのうちの少なくとも１つに、前記１つ又は複数のリモート参加者オブジェクト中のリモート参加者オブジェクトの近位に少なくとも１つのファイルに対応する少なくとも１つのアイコンをドラッグするためのユーザ入力を検出することを行わせる前記命令が、前記１つ又は複数のプロセッサのうちの少なくとも１つに、
前記少なくとも１つのアイコンを、前記リモート参加者オブジェクトの空間的位置からしきい値距離内にある宛先空間的位置にドラッグするためのユーザ入力を検出すること
をさらに行わせる、請求項８に記載のローカル・コンピューティング・デバイス。
【請求項１３】
前記１つ又は複数のプロセッサのうちの少なくとも１つによって実行されたとき、前記１つ又は複数のプロセッサのうちの少なくとも１つに、前記リモート参加者オブジェクトに対応するライブ・フォルダに前記少なくとも１つのファイルを記憶して、それにより、前記少なくとも１つのファイルを、前記ウェブ・ソケット接続を介して前記リモート・コンピューティング・デバイスの前記ネットワーク・アドレスに送信することを行わせる前記命令が、前記１つ又は複数のプロセッサのうちの少なくとも１つに、
前記ライブ・フォルダに前記少なくとも１つのファイルを記憶することと、
前記ウェブ・ソケット接続を通して、前記マッピングされたネットワーク・アドレスに前記少なくとも１つのファイルのコピーを送信することであって、前記ウェブ・ソケット接続が、前記サーバを介して前記マッピングされたネットワーク・アドレスにデータをルーティングするように構成された、送信することと、
前記送信の完了時に、前記ライブ・フォルダから前記少なくとも１つのファイルを削除することと
をさらに行わせる、請求項８に記載のローカル・コンピューティング・デバイス。
【請求項１４】
前記ライブ・フォルダが、前記ローカル・コンピューティング・デバイス上の一時的キャッシュに記憶される、請求項８に記載のローカル・コンピューティング・デバイス。
【請求項１５】
ローカル・コンピューティング・デバイスによって実行されたとき、前記ローカル・コンピューティング・デバイスに、
前記ローカル・コンピューティング・デバイスのユーザ・インターフェース上で、サーバ上にホストされ、ウェブ・ソケット接続を介して複数の参加者にとってアクセス可能な、共同ワークスペースの表現を送信することであって、前記共同ワークスペースの前記表現が、前記サーバに接続された１つ又は複数のリモート・コンピューティング・デバイスに対応する１つ又は複数のリモート参加者オブジェクトを含む、送信することと、
前記１つ又は複数のリモート参加者オブジェクトに対応する１つ又は複数のライブ・フォルダを生成することであって、各ライブ・フォルダが、前記リモート参加者オブジェクトに対応するリモート・コンピューティング・デバイスのネットワーク・アドレスにマッピングされる、生成することと、
前記１つ又は複数のリモート参加者オブジェクト中のリモート参加者オブジェクトの近位に少なくとも１つのファイルに対応する少なくとも１つのアイコンをドラッグするためのユーザ入力を検出することであって、前記リモート参加者オブジェクトが、前記１つ又は複数のリモート・コンピューティング・デバイス中のリモート・コンピューティング・デバイスに対応する、検出することと、
前記リモート参加者オブジェクトに対応するライブ・フォルダに前記少なくとも１つのファイルを記憶して、それにより、前記少なくとも１つのファイルを、前記ウェブ・ソケット接続を介して前記リモート・コンピューティング・デバイスの前記ネットワーク・アドレスに送信することと
を行わせるコンピュータ可読命令を記憶する少なくとも１つの非一時的コンピュータ可読媒体。
【請求項１６】
前記１つ又は複数のリモート・コンピューティング・デバイスに対応する前記１つ又は複数のリモート参加者オブジェクトが、
埋込みビデオ・ストリーム又はリモート参加者アイコン
のうちの１つ又は複数を備える、請求項１５に記載の少なくとも１つの非一時的コンピュータ可読媒体。
【請求項１７】
前記共同ワークスペースが、前記ウェブ・ソケット接続を介して前記複数の参加者中の任意の参加者からの編集を他の参加者に伝えるように構成されたデジタル・ホワイトボードを備え、共同ワークスペースの前記表現が、ローカル参加者に対してカスタマイズされた前記デジタル・ホワイトボードの表現を含む、請求項１５に記載の少なくとも１つの非一時的コンピュータ可読媒体。
【請求項１８】
前記ローカル・コンピューティング・デバイスによって実行されたとき、前記ローカル・コンピューティング・デバイスに、前記１つ又は複数のリモート参加者オブジェクトに対応する１つ又は複数のライブ・フォルダを生成することを行わせる前記命令が、前記ローカル・コンピューティング・デバイスに、
前記１つ又は複数のリモート参加者オブジェクトに対応する前記１つ又は複数のリモート・コンピューティング・デバイスの１つ又は複数のインターネット・プロトコル（ＩＰ）アドレスについて前記サーバに問い合わせることと、
前記１つ又は複数のリモート参加者オブジェクトに対応する１つ又は複数のローカル・フォルダを生成することと、
前記１つ又は複数のローカル・フォルダを前記１つ又は複数のＩＰアドレスにマッピングすることによって、前記１つ又は複数のライブ・フォルダを生成することと
をさらに行わせる、請求項１５に記載の少なくとも１つの非一時的コンピュータ可読媒体。
【請求項１９】
前記ローカル・コンピューティング・デバイスが、前記ユーザ・インターフェース内の前記１つ又は複数のリモート参加者オブジェクトの１つ又は複数の空間的位置を記憶するように構成され、前記ローカル・コンピューティング・デバイスによって実行されたとき、前記ローカル・コンピューティング・デバイスに、前記１つ又は複数のリモート参加者オブジェクト中のリモート参加者オブジェクトの近位に少なくとも１つのファイルに対応する少なくとも１つのアイコンをドラッグするためのユーザ入力を検出することを行わせる前記命令が、前記ローカル・コンピューティング・デバイスに、
前記少なくとも１つのアイコンを、前記リモート参加者オブジェクトの空間的位置からしきい値距離内にある宛先空間的位置にドラッグするためのユーザ入力を検出すること
をさらに行わせる、請求項１５に記載の少なくとも１つの非一時的コンピュータ可読媒体。
【請求項２０】
前記ローカル・コンピューティング・デバイスによって実行されたとき、前記ローカル・コンピューティング・デバイスに、前記リモート参加者オブジェクトに対応するライブ・フォルダに前記少なくとも１つのファイルを記憶して、それにより、前記少なくとも１つのファイルを前記ウェブ・ソケット接続を介して前記リモート・コンピューティング・デバイスの前記ネットワーク・アドレスに送信することを行わせる前記命令は、前記ローカル・コンピューティング・デバイスに、
前記ライブ・フォルダに前記少なくとも１つのファイルを記憶することと、
前記ウェブ・ソケット接続を通して、前記マッピングされたネットワーク・アドレスに前記少なくとも１つのファイルのコピーを送信することであって、前記ウェブ・ソケット接続が、前記サーバを介して前記マッピングされたネットワーク・アドレスにデータをルーティングするように構成された、送信することと、
前記送信の完了時に、前記ライブ・フォルダから前記少なくとも１つのファイルを削除することと
をさらに行わせる、請求項１５に記載の少なくとも１つの非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
(背景技術)
オペレーティング・システム、及びオペレーティング・システム内で実行するアプリケーションは、ユーザがプログラムに入力を与えることと、ユーザに出力を与えることとを可能にするために、外部ハードウェア・デバイスを頻繁に利用する。外部ハードウェア・デバイスの一般的な実例は、キーボード、コンピュータ・マウス、マイクロフォン、及び外部スピーカーを含む。これらの外部ハードウェア・デバイスは、ドライバの使用によってオペレーティング・システムとインターフェースし、ドライバは、特定のハードウェア・デバイスによって使用されるハードウェア・コマンドとオペレーティング・システムとの間をインターフェースするように構成された専用ソフトウェア・プログラムである。
【０００２】
アプリケーションは、いくつかのハードウェア・デバイスとインターフェースするように設計されることがある。たとえば、音声−テキスト・ワード・プロセッシング・アプリケーションが、マイクロフォンを含むオーディオ・ヘッドセットとインターフェースするように設計され得る。この場合、アプリケーションは、特に、音声コマンドを受信し、音声認識を実施し、認識されたワードをテキスト・コンテンツに変換し、テキスト・コンテンツを文書に出力するように構成されなければならない。この機能性は、一般に、様々なソフトウェア構成要素間の通信の定義された方法のセットである、アプリケーションのアプリケーション・プログラミング・インターフェース（ＡＰＩ：Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ）において実施されることになる。音声認識アプリケーションの実例では、ＡＰＩは、アプリケーション・プログラムとドライバ上のソフトウェアとの間のインターフェースを含むことができ、これは、ハードウェア・デバイス（マイクロフォン）自体とインターフェースすることを担当する。
【０００３】
専用ハードウェア・デバイスを利用する既存のソフトウェアの１つの問題は、アプリケーション又はオペレーティング・システム・ソフトウェア自体が、ハードウェア・デバイスを利用するために、カスタマイズされ、特別に設計されなければならないことである。このカスタマイゼーションは、ハードウェア・デバイスが、アプリケーションによって、そのために定義された範囲を超えることができず、それが使用されるように設計された特定のアプリケーション以外のコンテキストのために利用され得ないことを意味する。たとえば、音声テキスト・ワード・プロセッシング・アプリケーションのユーザは、オペレーティング・システム内の他のアプリケーション・プログラム又は他の構成要素を、それらの他のアプリケーション・プログラム又はオペレーティング・システムが、マイクロフォンを介して受信される音声コマンドを利用するように特別に設計されない限り、音声コマンドを使用して操作することができない。
【０００４】
図１は、ユーザ入力のために、結合されたハードウェア・デバイスを利用するシステムの既存のアーキテクチャの一実例を示す。図１のオペレーティング・システム１００Ａは、実行アプリケーション１０１Ａ及び１０２Ａを含み、それらの各々は、それぞれ、それら自体のＡＰＩ１０１Ｂ及び１０２Ｂを有する。オペレーティング・システム１００Ａはまた、それ自体のＡＰＩ１００Ｂ、並びにハードウェア・デバイス１００Ｄ、１０１Ｄ、及び１０２Ｄとインターフェースするように構成された専用ドライバ１００Ｃ、１０１Ｃ、及び１０２Ｃを有する。
【０００５】
図１に示されているように、アプリケーションＡＰＩ１０１Ｂは、ドライバ１０１Ｃとインターフェースするように構成され、ドライバ１０１Ｃ自体は、ハードウェア・デバイス１０１Ｄとインターフェースする。同様に、アプリケーションＡＰＩ１０２Ｂは、ドライバ１０２Ｃとインターフェースするように構成され、ドライバ１０２Ｃ自体は、ハードウェア・デバイス１０２Ｄとインターフェースする。オペレーティング・システム・レベルにおいて、オペレーティング・システムＡＰＩ１００Ｂは、ドライバ１００Ｃとインターフェースするように構成され、ドライバ１００Ｃ自体は、ハードウェア・デバイス１００Ｄとインターフェースする。
【０００６】
図１に示されているシステムのアーキテクチャは、いくつかのアプリケーション又はオペレーティング・システム・コンテキスト外でハードウェア・デバイスを利用するユーザの能力を限定する。たとえば、ユーザは、アプリケーション１０２Ａに入力を与えるためにハードウェア・デバイス１０１Ｄを利用することができず、アプリケーション１０１Ａに又はオペレーティング・システム１００Ａに入力を与えるためにハードウェア・デバイス１０２Ｄを利用することができない。
【発明の概要】
【０００７】
したがって、複数のソフトウェア・コンテキストにおけるハードウェア・デバイスの利用を可能にする、ハードウェア・ソフトウェア・インターフェースの改善が必要とされる。
【図面の簡単な説明】
【０００８】
【図１】ユーザ入力のために、結合されたハードウェア・デバイスを利用するシステムの既存のアーキテクチャの一実例を示す図である。
【図２】例示的な実施例による、ユニバーサル・ハードウェア・ソフトウェア・インターフェースを利用するシステムのアーキテクチャを示す図である。
【図３】例示的な実施例による、ユニバーサル・ハードウェア・ソフトウェア・インターフェースの実装のためのフローチャートである。
【図４】例示的な実施例による、システムに通信可能に結合された１つ又は複数のハードウェア・デバイスによってキャプチャされた情報が１つ又は複数の画像を含むときの、１つ又は複数のハードウェア・デバイスによってキャプチャされた情報に少なくとも部分的に基づいてユーザ入力を決定するためのフローチャートである。
【図５Ａ】例示的な実施例による、オブジェクト認識の一実例を示す図である。
【図５Ｂ】例示的な実施例による、入力ロケーション座標を決定することの一実例を示す図である。
【図６】例示的な実施例による、システムに通信可能に結合された１つ又は複数のハードウェア・デバイスによってキャプチャされた情報が音情報であるときの、キャプチャされた情報に少なくとも部分的に基づいてユーザ入力を決定するためのフローチャートである。
【図７】例示的な実施例による、透明層の一部であり得るツール・インターフェースを示す図である。
【図８】例示的な実施例による、システムの一部であり得るスタイラスの一実例を示す図である。
【図９】例示的な実施例による、ユーザ入力に対応するコンテキストを識別するためのフローチャートである。
【図１０】例示的な実施例による、コンテキストを決定するために入力座標を使用することの一実例を示す図である。
【図１１】例示的な実施例による、ユーザ入力を透明層コマンドに変換するためのフローチャートである。
【図１２Ａ】例示的な実施例による、選択モードがトグルされるときの、入力座標を受信することの一実例を示す図である。
【図１２Ｂ】例示的な実施例による、ポインティング・モードがトグルされるときの、入力座標を受信することの一実例を示す図である。
【図１２Ｃ】例示的な実施例による、描画モード（ｄｒａｗｉｎｇ  ｍｏｄｅ）がトグルされるときの、入力座標を受信することの一実例を示す図である。
【図１３】例示的な実施例による、入力音声データ中で識別された１つ又は複数のワードに基づいて決定される透明層コマンドの一実例を示す図である。
【図１４】例示的な実施例による、入力音声データ中で識別された１つ又は複数のワードに基づいて決定される透明層コマンドの別の実例を示す図である。
【図１５】例示的な実施例による、透明層上で１つ又は複数の透明層コマンドを実行するためのフローチャートである。
【図１６】例示的な実施例による、ユーザ入力に対応する新しいコマンドを追加するための例示的なインターフェースを示す図である。
【図１７】例示的な実施例による、描画インターフェース及び描画モード（ｄｒａｗ  ｍｏｄｅ）の様々な構成要素及びオプションを示す図である。
【図１８】例示的な実施例による、オブジェクトを認識するために使用され、ユーザがタッチ及びジェスチャーを使用して入力を与えることを可能にする、ビデオ・カメラ・ハードウェア・デバイスのための較正及び設定インターフェースを示す図である。
【図１９】例示的な実施例による、ユーザが、インターフェースの様々な態様をカスタマイズし、入力モードをトグルし、他の交換を行うことを可能にする、一般的な設定インターフェースを示す図である。
【図２０】例示的な実施例による、ネットワーク化された共同（collaboration）ワークスペースにおけるウェブ・ソケット接続を介したファイルの送信のためのフローチャートである。
【図２１Ａ】例示的な実施例による、共同ワークスペースをホストし、送信するために使用されるネットワーク・アーキテクチャを示す図である。
【図２１Ｂ】例示的な実施例による、ネットワーク内で共同ワークスペースに対する編集を伝えるためのプロセスを示す図である。
【図２２】例示的な実施例による、共同ワークスペースの複数の表現を示す図である。
【図２３】例示的な実施例による、１つ又は複数のリモート参加者オブジェクトに対応する１つ又は複数のライブ・フォルダを生成するためのフローチャートである。
【図２４】例示的な実施例による、問合せプロセスの一実例を示す図である。
【図２５】例示的な実施例による、１つ又は複数のリモート参加者に対応する１つ又は複数のローカル・フォルダを生成することの一実例を示す図である。
【図２６】例示的な実施例による、１つ又は複数のＩＰアドレスに１つ又は複数のローカル・フォルダをマッピングすることの一実例を示す図である。
【図２７】例示的な実施例による、ドラッグ・アンド・ドロップ・プロセス及び検出の一実例を示す図である。
【図２８】例示的な実施例による、ドラッグ・アンド・ドロップ・プロセス及び検出の別の実例を示す図である。
【図２９】例示的な実施例による、リモート参加者オブジェクトに対応するライブ・フォルダに少なくとも１つのファイルを記憶し、少なくとも１つのファイルを、ウェブ・ソケット接続を介してリモート・コンピューティング・デバイスのネットワーク・アドレスに送信するためのフローチャートである。
【図３０】開示される方法を行うように構成された例示的なコンピューティング環境を示す図である。
【発明を実施するための形態】
【０００９】
方法、装置、及びコンピュータ可読媒体は、実例及び実施例として本明細書で説明されるが、当業者は、ユニバーサル・ハードウェア・ソフトウェア・インターフェースの実装のための方法、装置、及びコンピュータ可読媒体が、説明される実施例又は図面に限定されないことを認識する。図面及び説明は、開示される特定の形式に限定されるものではないことを理解されたい。むしろ、意図は、添付の特許請求の範囲の趣旨及び範囲内に入るすべての修正、等価物及び代替をカバーすることである。本明細書で使用されるいかなる見出しも編成のためのものであるにすぎず、本明細書の範囲又は特許請求の範囲を限定するものではない。本明細書で使用される「することができる（ｃａｎ）」という単語は、強制的な意味（すなわち、しなければならない（ｍｕｓｔ）という意味）ではなく許容的な意味（すなわち、可能性を有するという意味）において使用される。同様に、「含む（ｉｎｃｌｕｄｅ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、及び「含む（ｉｎｃｌｕｄｅｓ）」という単語は、含むことを意味するが、それに限定されない。
【００１０】
出願人は、ハードウェア・デバイスのために使用される、以前のハードウェア・ソフトウェア・インターフェースに関連する問題を解決する方法、装置、及びコンピュータ可読媒体を発見した。特に、出願人は、ユーザが、様々なソフトウェア・コンテキストにおいて通信可能に結合されたハードウェア・デバイスを利用することを可能にするユニバーサル・ハードウェア・ソフトウェア・インターフェースを開発した。開示される実装形態は、以下でより詳細に説明されるように、専用仮想ドライバ及び対応する透明層の使用によって、アプリケーション又はオペレーティング・システムが特定のハードウェア・デバイスとインターフェースするように特注設計される必要を取り除く。
【００１１】
図２は、例示的な実施例による、ユニバーサル・ハードウェア・ソフトウェア・インターフェースを利用するシステムのアーキテクチャを示す。図２に示されているように、オペレーティング・システム２００Ａは、仮想ドライバ２０４と通信する透明層２０３を含む。以下でより詳細に説明されるように、透明層２０３は、仮想ドライバとオペレーティング・システム及び／又はオペレーティング・システム上で実行する（１つ又は複数の）アプリケーションとの間をインターフェースするように構成されたＡＰＩである。この例では、透明層２０３は、仮想ドライバ２０４と、アプリケーション２０１ＡのＡＰＩ２０１Ｂ、アプリケーション２０２ＡのＡＰＩ２０２Ｂ、及びオペレーティング・システム２００Ａのオペレーティング・システムＡＰＩ２００Ｂとの間をインターフェースする。
【００１２】
透明層２０３は、オペレーティング・システム上で動作するソフトウェア・プロセスの一部であり得、下位（ｕｎｄｅｒｌｙｉｎｇ）ユーザ・インターフェースの上に重ね合わせられた透明ユーザ・インターフェース（ＵＩ：ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）及び／又はユーザが対話することが可能である可視ＵＩ要素を含む、透明層２０３自体のＵＩ要素を有することができる。
【００１３】
仮想ドライバ２０４は、ドライバ２０５Ａ及び２０５Ｂをエミュレートするように構成され、ドライバ２０５Ａ及び２０５Ｂは、それぞれ、ハードウェア・デバイス２０６Ａ及び２０６Ｂとインターフェースする。仮想ドライバは、どの仮想ドライバをエミュレートすべきかについて仮想ドライバに命令する、たとえば、音声コマンド、ユーザ・インターフェース上で行われる選択、及び／又は結合されたウェブ・カメラの前でユーザによって行われるジェスチャーの形式の、ユーザ入力を受信することができる。たとえば、接続されたハードウェア・デバイスの各々は、「リスニング」モードにおいて動作することができ、仮想ドライバ２０４におけるエミュレートされるドライバの各々は、特定のエミュレーション・モードに切り替えるための仮想ドライバに対する信号として働く初期化信号を検出するように構成され得る。たとえば、ユーザが「音声コマンド開始」と述べることは、新しい音声コマンドを受信するためのマイクロフォンに対応するドライバをアクティブにすることができる。同様に、ユーザがあるジェスチャーを与えることは、ジェスチャー入力又はタッチ入力を受信するためのウェブ・カメラに対応するドライバをアクティブにすることができる。
【００１４】
仮想ドライバは、ネイティブ・ドライバ２０５Ｃなど、ネイティブ・ドライバとインターフェースするようにも構成され得、ネイティブ・ドライバ２０５Ｃ自体は、ハードウェア・デバイス２０６Ｃと通信する。一実例では、ハードウェア・デバイス２０６Ｃは、キーボード又はマウスなど、標準入力デバイスであり得、標準入力デバイスは、オペレーティング・システムによってネイティブにサポートされる。
【００１５】
図２に示されているシステムは、ユーザが、特定のアプリケーション又はオペレーティング・システムなどの様々なコンテキストにおいて任意の結合されたハードウェア・デバイスを、そのアプリケーション又はオペレーティング・システムがハードウェア・デバイスとインターフェースするようにカスタマイズされることを必要とすることなしに、利用することができるユニバーサル・ハードウェア・ソフトウェア・インターフェースの実装を可能にする。
【００１６】
たとえば、ハードウェア・デバイス２０６Ａは、情報をキャプチャすることができ、その情報は、次いで、ドライバ２０５Ａをエミュレートする仮想ドライバ２０４によって受信される。仮想ドライバ２０４は、キャプチャされた情報に基づいて、ユーザ入力を決定することができる。たとえば、その情報が、ユーザがユーザの手を動かす一連の画像である場合、仮想ドライバは、ユーザがジェスチャーを実施したと決定することができる。
【００１７】
（特定のアプリケーション又はオペレーティング・システムなどの）識別されたコンテキストに基づいて、ユーザ入力は、実行のために透明層コマンドに変換され、透明層２０３に送信され得る。透明層コマンドは、識別されたコンテキストにおけるネイティブ・コマンドを含むことができる。たとえば、識別されたコンテキストがアプリケーション２０１Ａである場合、ネイティブ・コマンドは、アプリケーション２０１ＡのアプリケーションＡＰＩ２０１Ｂに適合するフォーマットのものであろう。次いで、透明層コマンドの実行が、識別されたコンテキストにおける１つ又は複数のネイティブ・コマンドの実行を引き起こすように構成され得る。これは、透明層２０３が、オペレーティング・システム２００Ａ並びにオペレーティング・システムＡＰＩ２００Ｂ上で実行するアプリケーションのＡＰＩの各々とインターフェースすることによって、達成される。たとえば、ネイティブ・コマンドが、新しいプログラムを起動するためのコマンドなど、オペレーティング・システム・コマンドである場合、透明層２０３は、実行のためにオペレーティング・システムＡＰＩ２００Ｂにそのネイティブ・コマンドを与えることができる。
【００１８】
図２に示されているように、示されている構成要素のすべての間で双方向通信がある。これは、たとえば、透明層２０３における透明層コマンドの実行が、仮想ドライバ２０４への情報の送信及び接続されたハードウェア・デバイスのうちの１つ上への情報の送信を生じることがあることを意味する。たとえば、音声コマンドが入力として認識され、ネイティブ・コマンドを含む透明層コマンドに変換され、透明層によって実行された（識別されたコンテキストにおけるネイティブ・コマンドの実行を生じた）後に、音出力「コマンドが受信されました」を送信するために、信号が（仮想ドライバを介して）透明層からスピーカーに送られ得る。
【００１９】
もちろん、図２に示されているアーキテクチャは、説明のためのものにすぎず、実行するアプリケーションの数、接続されたハードウェア・デバイスの数及びタイプ、ドライバ及びエミュレートされたドライバの数は変動することがあることを理解されたい。
【００２０】
図３は、例示的な実施例による、ユニバーサル・ハードウェア・ソフトウェア・インターフェースの実装のためのフローチャートである。
【００２１】
ステップ３０１において、システムに通信可能に結合された１つ又は複数のハードウェア・デバイスによってキャプチャされた情報に少なくとも部分的に基づいて、ユーザ入力が決定される。本明細書で使用されるシステムは、方法のステップを実行する１つ又は複数のコンピューティング・デバイス、方法のステップを実行する１つ又は複数のプロセッサと１つ又は複数のメモリとを備える装置、又は任意の他のコンピューティング・システムを指すことがある。
【００２２】
ユーザ入力は、システム上で実行する仮想ドライバによって決定され得る。前に説明されたように、仮想ドライバは、エミュレーション・モードにおいて動作していることがあり、エミュレーション・モードにおいて、仮想ドライバは、他のハードウェア・ドライバをエミュレートしており、それにより、ハードウェア・デバイスから、キャプチャされた情報を受信するか、又は随意に、特定のハードウェア・デバイスとインターフェースするように構成された１つ又は複数の他のハードウェア・ドライバから、キャプチャされた情報を受信することができる。
【００２３】
カメラ、ビデオ・カメラ、マイクロフォン、双方向通信を有するヘッドセット、マウス、タッチパッド、トラックパッド、コントローラ、ゲーム・パッド、ジョイスティック、タッチ・スクリーン、加速度計及び／又はチルト・センサーを含む動きキャプチャ・デバイス、遠隔制御装置、スタイラス、或いはこれらのデバイスの任意の組合せなど、様々なハードウェア・デバイスが利用され得る。もちろん、ハードウェア・デバイスのこのリストは、単に実例として与えられ、音声、画像、ビデオ、又はタッチ情報を検出するために利用され得る任意のハードウェア・デバイスが利用され得る。
【００２４】
ハードウェア・デバイスとシステムとの間の通信結合は、様々な形式をとることができる。たとえば、ハードウェア・デバイスは、ワイヤレス・ネットワーク、Ｂｌｕｅｔｏｏｔｈプロトコル、無線周波数、赤外線信号を介して、及び／又はユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）接続などの物理接続によってシステムと通信することができる。通信は、ワイヤレス通信とワイヤード通信の両方をも含むことができる。たとえば、ハードウェア・デバイスは、２つの構成要素を含むことができ、そのうちの１つが、第２の構成要素に（Ｂｌｕｅｔｏｏｔｈを介してなど）ワイヤレスに信号を送信し、第２の構成要素自体は、（ＵＳＢなどの）ワイヤード接続を介してシステムに接続する。様々な通信技法が本明細書で説明されるシステムに従って利用され得、これらの実例は、限定するものではない。
【００２５】
１つ又は複数のハードウェア・デバイスによってキャプチャされる情報は、１つ又は複数の画像を含む画像情報、ビデオのフレーム、音情報、及び／又はタッチ情報など、任意のタイプの情報であり得る。キャプチャされた情報は、音情報のための．ｗａｖ又は．ｍｐ３ファイル、画像のための．ｊｐｅｇファイル、タッチ情報のための数値座標など、任意の好適なフォーマットのものであり得る。
【００２６】
本明細書で説明される技法は、任意のディスプレイ・デバイスが、そのディスプレイ・デバイスが、タッチ信号又はタッチ・ベースのジェスチャーを検出するためのハードウェアを含まない場合でも、任意のコンテキストにおいて「タッチ」スクリーンデバイスとして事実上機能することを可能にすることができる。これは、以下でより詳細に説明され、カメラ又はビデオ・カメラによってキャプチャされた画像の分析を通して達成され得る。
【００２７】
図４は、システムに通信可能に結合された１つ又は複数のハードウェア・デバイスによってキャプチャされた情報が１つ又は複数の画像を含むときの、１つ又は複数のハードウェア・デバイスによってキャプチャされた情報に少なくとも部分的に基づいてユーザ入力を決定するためのフローチャートを示す。
【００２８】
ステップ４０１において、１つ又は複数の画像が受信される。これらの画像は、前に説明されたように、カメラ又はビデオ・カメラなど、ハードウェア・デバイスによってキャプチャされ得、仮想ドライバによって受信され得る。
【００２９】
ステップ４０２において、１つ又は複数の画像中のオブジェクトが認識される。オブジェクトは、たとえば、ユーザの手、指、又は他の身体部位であり得る。オブジェクトはまた、スタイラス又はペンなどの専用デバイス、或いはシステムに通信可能に結合され、加速度計及び／又はチルト・センサーを含んでいる動き追跡スタイラス／遠隔制御装置などの専用ハードウェア・デバイスであり得る。オブジェクト認識は、仮想ドライバによって実施され得、オブジェクトを使用して動作される較正ルーチンを通してなど、以前のトレーニングに基づき得る。
【００３０】
図５Ａは、例示的な実施例による、オブジェクト認識の一実例を示す。図５Ａに示されているように、画像５０１は、オブジェクト５０２として認識されたユーザの手を含む。認識アルゴリズムは、もちろん、指など、異なるオブジェクトを認識するように構成され得る。
【００３１】
図４に戻ると、ステップ４０３において、認識されたオブジェクトの１つ又は複数の配向と１つ又は複数の位置とが決定される。これは、様々なやリ方で達成され得る。オブジェクトがハードウェア・デバイスではなく、代わりに、手又は指など、身体部位である場合、オブジェクトは、オブジェクトの３次元座標と、Ｘ軸、Ｙ軸、及びＺ軸に対する様々な角度とを決定するために、カメラの既知のロケーションを基準点として使用する３次元座標系においてマッピングされ得る。オブジェクトがハードウェア・デバイスであり、加速度計及び／又はチルト・センサーなど、動き追跡ハードウェアを含む場合、画像情報は、オブジェクトの位置及び配向を決定するための加速度計及び／又はチルト・センサーによって示された情報とともに使用され得る。
【００３２】
ステップ４０４において、ユーザ入力は、認識されたオブジェクトの１つ又は複数の配向と１つ又は複数の位置とに少なくとも部分的に基づいて決定される。これは、１つ又は複数の配向と１つ又は複数の位置とに少なくとも部分的に基づいて、透明層の透明ユーザ・インターフェース（ＵＩ）上のロケーション座標を決定することを含むことができる。透明ＵＩは、透明層の一部であり、オペレーティング・システム及び／又はオペレーティング・システム上で実行する任意のアプリケーションに対応する下位ＵＩの上に重ね合わせられる。
【００３３】
図５Ｂは、オブジェクトがユーザの指であるときの、このステップの一実例を示す。図５Ｂに示されているように、ディスプレイ・デバイス５０３は、下位ＵＩ５０６と、下位ＵＩ５０６上に重ね合わせられた透明ＵＩ５０７とを含む。明快のために、透明ＵＩ５０７は、ドット・シェーディングで示されているが、実際には、透明ＵＩは、ユーザにとって可視でない透明層であることを理解されたい。さらに、透明ＵＩ５０７は、下位ＵＩ５０６よりもわずかに小さいものとして示されているが、実際には、透明ＵＩは、下位ＵＩと同じスクリーン・エリアをカバーすることになることを理解されたい。
【００３４】
図５Ｂに示されているように、オブジェクト（ユーザの指）の位置及び配向情報は、ディスプレイ・デバイス５０３の平面上にラインを投影し、交差点５０５を決定するために使用される。カメラ５０４によってキャプチャされた画像情報及びカメラの下のディスプレイ・デバイス５０３の既知の位置が、この投影を助けるために使用され得る。図５Ｂに示されているように、ユーザ入力は、交差点５０５における入力座標であると決定される。
【００３５】
以下でさらに説明されるように、この入力に基づいて生成される実際の透明層コマンドは、ユーザ設定及び／又は識別されたコンテキストに基づき得る。たとえば、コマンドは、点５０５の座標におけるオブジェクトが選択され、及び／又は開かれるべきであることを示すタッチ・コマンドであり得る。コマンドは、（マウス・ポインタなどの）ポインタが点５０５の座標に移動されるべきであることを示すポインティング・コマンドでもあり得る。さらに、コマンドは、（インターフェースにアノテーションを付けるか又は要素を描画するためになど）ロケーションにおけるグラフィカル出力を修正する編集コマンドであり得る。
【００３６】
図５Ｂは、ディスプレイ・デバイス５０３からある距離にあるものとして、認識されたオブジェクト５０２を示しているが、距離にかかわらずタッチ入力が検出され得る。たとえば、ユーザがディスプレイ・デバイス５０３に物理的にタッチする場合、上記で説明された技法は、依然として入力座標を決定することになる。その場合、オブジェクト５０２と交差点との間の投影ラインは、より短くなるにすぎないであろう。
【００３７】
もちろん、タッチ入力は、キャプチャされた画像から決定され得るユーザ入力の唯一のタイプではない。認識されたオブジェクトの１つ又は複数の配向と１つ又は複数の位置とに少なくとも部分的に基づいてユーザ入力を決定するステップは、ジェスチャー入力を決定することを含むことができる。特に、複数の画像にわたる認識されたオブジェクトの位置及び配向が、スワイプ・ジェスチャー、ピンチ・ジェスチャー、及び／或いは任意の既知の又はカスタマイズされたジェスチャーなど、対応するジェスチャーを決定するために分析され得る。ユーザは、特定のコンテキスト及びそれらのコンテキスト内のコマンドにマッピングされるカスタム・ジェスチャーを認識するように仮想ドライバを較正することができる。たとえば、ユーザは、オペレーティング・システム・コンテキストにマッピングされ、特定のアプリケーションを起動するネイティブ・オペレーティング・システム・コマンドの実行を生じる、カスタム・ジェスチャーを作成することができる。
【００３８】
前に説明されたように、図３のステップ３０１において１つ又は複数のハードウェア・デバイスによってキャプチャされた情報は、マイクロフォンによってキャプチャされた音情報をも含むことができる。図６は、システムに通信可能に結合された１つ又は複数のハードウェア・デバイスによってキャプチャされた情報が音情報であるときの、キャプチャされた情報に少なくとも部分的に基づいてユーザ入力を決定するためのフローチャートを示す。以下で説明されるように、ユーザ入力に対応する１つ又は複数のワードを識別するために、音情報に対して音声認識が実施される。
【００３９】
ステップ６０１において、音データが受信される。音データは、上記で説明されたように、マイクロフォンなど、ハードウェア・デバイスによってキャプチャされ、仮想ドライバによって受信され得る。ステップ６０２において、受信された音データは、音辞書と比較され得る。音辞書は、コマンド・ワード又はコマンド・モディファイアなど、１つ又は複数の認識されたワードの音シグネチャを含むことができる。ステップ６０３において、音データ中の１つ又は複数のワードが、比較に基づいて、ユーザ入力として識別される。次いで、識別された１つ又は複数のワードは、透明層コマンドに変換され、透明層に渡され得る。
【００４０】
前に説明されたように、仮想ドライバによってエミュレートされるドライバ、ユーザ入力の予想されるタイプ、及びユーザ入力に基づいて生成されるコマンドは、すべて、１つ又は複数の設定又は前のユーザ入力に少なくとも部分的に基づいて決定され得る。
【００４１】
図７は、透明層の一部でもあり得るツール・インターフェース７０１を示す。透明ＵＩとは異なり、ツール・インターフェース７０１は、ユーザにとって可視であり、仮想ドライバのエミュレーション・モード、ユーザ入力に基づいて生成されるネイティブ・コマンドを変更する異なるオプション間で選択するか、又は追加の機能を実施するために、使用され得る。
【００４２】
ボタン７０１Ａは、ユーザ入力が入力座標（ユーザがユーザの手又はスタイラス／遠隔制御装置を用いてスクリーンにタッチすることに基づく座標など）であるとき、ユーザが、ユーザ・インターフェースをグラフィカルに修正するために使用される描画ツールのタイプを選択することを可能にする。様々な描画ツールは、異なるブラシ、色、ペン、ハイライターなどを含むことができる。これらのツールは、変動するスタイル、厚さ、色などのグラフィカルな変更を生じることがある。
【００４３】
ボタン７０１Ｂは、入力座標がユーザ入力として受信されるとき、ユーザが、選択モード、ポインティング・モード、又は描画モードの間で切り替えることを可能にする。選択モードでは、入力座標は、「タッチ」として処理され、入力座標におけるオブジェクトの選択又はオブジェクトを開くことを生じ得る。ポインティング・モードでは、座標は、（マウス・ポインタなどの）ポインタ位置として処理され得、ユーザがマウスをエミュレートすることを効果的に可能にする。描画モードでは、座標は、ユーザ・インターフェース上に描画又は書込みの外観（ａｐｐｅａｒａｎｃｅ）を提示するために、ユーザ・インターフェースのグラフィカル出力を変更するためのロケーションとして処理され得る。変更の性質は、ボタン７０１Ａに関して説明されるように、選択された描画ツールに依存することがある。ボタン７０１Ｂはまた、（動き追跡デバイスが使用される場合）画像入力及び／又は動き入力を予想し、それに応じて適切なドライバをエミュレートするように仮想ドライバにアラートすることができる。
【００４４】
ボタン７０１Ｃは、音声コマンドを予想するように仮想ドライバにアラートする。これは、図６に関して説明されるように、仮想ドライバが、音声入力を受信し、音声入力をパースするための結合されたマイクロフォンに対応するドライバをエミュレートすることを引き起こすことができる。
【００４５】
ボタン７０１Ｄは、透明層の一部であり得、オペレーティング・システム内のアプリケーションを起動するために又はアプリケーション内の特定のコマンドを起動するために使用され得る、ローンチャ・アプリケーションを開く。ローンチャは、ユーザ入力に関連付けられたアプリケーションのためのカスタム音声コマンド、カスタム・ジェスチャー、カスタム・ネイティブ・コマンドなど、透明層におけるオプションをカスタマイズするために、及び／又は（音声較正、動きキャプチャ・デバイス較正、及び／又はオブジェクト認識較正など）ハードウェア・デバイス及びユーザ入力を較正するためにも使用され得る。
【００４６】
ボタン７０１Ｅは、ユーザ・インターフェースのスクリーンショットをキャプチャするために、及び画像としてスクリーンショットをエクスポートするために使用され得る。これは、ボタン７０１Ｂの描画モード及び７０１Ａの描画ツールとともに使用され得る。ユーザが特定のユーザ・インターフェースをマーク・アップした後に、マーク・アップされたバージョンが画像としてエクスポートされ得る。
【００４７】
また、ボタン７０１Ｆは、グラフィカルな編集を可能にし、ユーザがユーザ・インターフェース上に作成している描画の色又は描画の態様を交換するために使用され得る。ボタン７０１Ｂの描画モードと同様に、このボタンは、入力座標におけるグラフィカルな変更の性質を変更する。
【００４８】
ボタン７０１Ｇは、ユーザ・インターフェース上の描画を消去する。このボタンの選択は、ユーザ・インターフェース上のすべてのグラフィカル・マーキングを除去し、下位ＵＩを、ユーザが描画を作成するより前にそうであった状態にリセットすることができる。
【００４９】
ボタン７０１Ｈは、ユーザが仮想ホワイトボード上に描画モードを使用して描画又は書込みを作成することを可能にする、ホワイトボード・アプリケーションを起動するために使用され得る。
【００５０】
ボタン７０１Ｉは、オペレーティング・システムＵＩ又はアプリケーションＵＩにおいて示されるオブジェクトなど、オブジェクトにテキスト・ノートを追加するために使用され得る。テキスト・ノートは、音声信号から解釈されるか、又はキーボードを使用してユーザによってタイピングされ得る。
【００５１】
ボタン７０１Ｊは、ツール・インターフェース７０１を開くか又は閉じるために使用され得る。閉じられたとき、ツール・インターフェースは、最小化されるか又は下位ユーザ・インターフェースから完全に除去され得る。
【００５２】
前に説明されたように、スタイラス又はリモート・ハードウェア・デバイスが、カメラ又はビデオ・カメラなど、他のハードウェア・デバイスとともに、本システムとともに使用され得る。図８は、本システムとともに使用され得るスタイラス８０１の一実例を示す。スタイラス８０１は、Ｂｌｕｅｔｏｏｔｈなどを介して、ハードウェア受信機８０２と通信することができる。ハードウェア受信機は、ＵＳＢ８０２Ｂなどを介して、コンピュータ・システムに接続することができ、ハードウェア受信機を介してコンピュータ・システムに渡されたスタイラスからの信号は、図７に示されているツール・インターフェースと同様であるメニュー８０３を制御し、それと対話するために使用され得る。
【００５３】
図８に示されているように、スタイラス８０１は、物理ボタン８０１Ａを含むことができる。これらの物理ボタン８０１は、スタイラスを電源投入し、メニュー８０３をナビゲートし、選択を行うために使用され得る。さらに、スタイラス８０１は、カメラによる画像においてキャプチャされ、仮想ドライバによって認識される、特徴的な先端８０１Ｂを含むことができる。これは、スタイラス８０１が、描画モードにあるとき、描画及び編集のために使用されることを可能にすることができる。スタイラス８０１は、スタイラスが入力座標又はジェスチャーを与えるために使用されるとき、位置検出を助けるための加速度計及び／又はチルト・センサーなど、動き追跡ハードウェアをも含むことができる。さらに、ハードウェア受信機８０２は、較正ボタン８０２Ａを含むことができ、較正ボタン８０２Ａは、押下されたとき、ユーザ・インターフェースにおいて較正ユーティリティを起動することができる。これは、スタイラスの較正を可能にする。
【００５４】
図３に戻ると、ステップ３０２において、ユーザ入力に対応するコンテキストが識別される。識別されたコンテキストは、オペレーティング・システム又はオペレーティング・システム上で実行するアプリケーションのうちの１つを備える。
【００５５】
図９は、例示的な実施例による、ユーザ入力に対応するコンテキストを識別するためのフローチャートを示す。図９に示されているように、オペレーティング・システム・データ９０１、アプリケーション・データ９０２、及びユーザ入力データ９０３が、すべて、コンテキスト９０４を決定するために使用され得る。
【００５６】
オペレーティング・システム・データ９０１は、たとえば、オペレーティング・システムにおけるアクティブ・ウィンドウに関する情報を含むことができる。たとえば、アクティブ・ウィンドウが計算器ウィンドウである場合、コンテキストが計算器アプリケーションであると決定され得る。同様に、アクティブ・ウィンドウがＭｉｃｒｏｓｏｆｔ  Ｗｏｒｄウィンドウである場合、コンテキストがＭｉｃｒｏｓｏｆｔ  Ｗｏｒｄアプリケーションであると決定され得る。一方、アクティブ・ウィンドウがファイル・フォルダである場合、アクティブ・コンテキストがオペレーティング・システムであると決定され得る。オペレーティング・システム・データは、どのアプリケーションが現在実行中であるか、最後に起動されたアプリケーション、及びコンテキストを決定するために使用され得る任意の他のオペレーティング・システム情報など、追加情報をも含むことができる。
【００５７】
アプリケーション・データ９０２は、たとえば、実行している１つ又は複数のアプリケーションに関する情報及び／又は特定のアプリケーションをいくつかのタイプのユーザ入力にマッピングする情報を含むことができる。たとえば、音声コマンドが受信されるときはいつでも、コンテキストが第１のアプリケーションであると自動的に決定されるように、第１のアプリケーションが音声入力にマッピングされ得る。別の例では、特定のジェスチャーが入力として受信されたとき、第２のアプリケーションが、起動されるか又は閉じられるか、或いは第２のアプリケーション内のあるアクションが実施されるように、そのジェスチャーが第２のアプリケーションに関連付けられ得る。
【００５８】
ユーザ入力９０３は、様々なやり方でコンテキストを決定するためにも使用され得る。上記で説明されたように、いくつかのタイプのユーザ入力が、いくつかのアプリケーションにマッピングされ得る。上記の実例では、音声入力が第１のアプリケーションのコンテキストに関連付けられる。さらに、ユーザ入力の属性も、コンテキストを決定するために使用され得る。ジェスチャー又は動きが、アプリケーションに又はオペレーティング・システムにマッピングされ得る。音声コマンド中の特定のワードも、アプリケーションに又はオペレーティング・システムにマッピングされ得る。入力座標も、コンテキストを決定するために使用され得る。たとえば、入力座標の位置にあるユーザ・インターフェースにおけるウィンドウが決定され得、そのウィンドウに対応するアプリケーションがコンテキストとして決定され得る。
【００５９】
図１０は、コンテキストを決定するために入力座標を使用することの一実例を示す。図１０に示されているように、ディスプレイ・デバイス１００１がユーザ・インターフェース１００２を表示している。また、カメラ１００４と、下位ユーザ・インターフェース１００３上に重ね合わされた透明層１００３とが示されている。ユーザは、ユーザ・インターフェース１００２におけるロケーション１００５を指すためにスタイラス１０００を利用する。ロケーション１００５は、アプリケーション１に対応するアプリケーション・ウィンドウ内にあるので、次いで、アプリケーション１は、アプリケーション２、アプリケーション３、又はオペレーティング・システムとは対照的に、ユーザ入力のためのコンテキストであると決定され得る。
【００６０】
図３に戻ると、ステップ３０３において、ユーザ入力は、識別されたコンテキストに少なくとも部分的に基づいて、１つ又は複数の透明層コマンドに変換される。前に説明されたように、透明層は、仮想ドライバとオペレーティング・システム及び／又はオペレーティング・システム上で実行するアプリケーションとの間をインターフェースするように構成されたアプリケーション・プログラミング・インターフェース（ＡＰＩ）を備える。
【００６１】
図１１は、ユーザ入力を透明層コマンドに変換するためのフローチャートを示す。図１１のステップ１１０４に示されているように、透明層コマンドは、識別されたコンテキスト１１０２及びユーザ入力１１０３に少なくとも部分的に基づいて決定され得る。透明層コマンドは、１つ又は複数の対応するコンテキストにおいて実行するように構成された１つ又は複数のネイティブ・コマンドを含むことができる。透明層コマンドは、仮想ドライバに及び（１つ又は複数の）ハードウェア・デバイス上に送信されるべき応答出力をも含むことができる。
【００６２】
識別されたコンテキスト１１０２は、どの透明層コマンドがユーザ入力にマッピングされるべきであるかを決定するために使用され得る。たとえば、識別されたコンテキストが「オペレーティング・システム」である場合、スワイプ・ジェスチャー入力が、ユーザ・インターフェースが（ある開いているウィンドウを最小化し、次の開いているウィンドウを最大化することによって）オペレーティング・システム内の現在開いているウィンドウをスクロールすることを生じる透明層コマンドにマッピングされ得る。代替的に、識別されたコンテキストが「ウェブ・ブラウザ・アプリケーション」である場合、同じスワイプ・ジェスチャー入力が、ウェブ・ページがスクロールされることを生じる透明層コマンドにマッピングされ得る。
【００６３】
ユーザ入力１１０３は、ユーザ入力が１つ又は複数のコンテキスト内のいくつかのネイティブ・コマンドに明確にマッピングされ、これらのネイティブ・コマンドが透明層コマンドの一部であるので、透明層コマンドをも決定する。たとえば、音声コマンド「電子メールを開いて」が、電子メール・アプリケーションＯｕｔｌｏｏｋを起動するための特定のオペレーティング・システム・ネイティブ・コマンドにマッピングされ得る。認識されたワード「電子メールを開いて」を含む音声入力が受信されたとき、これは、Ｏｕｔｌｏｏｋを起動するためのネイティブ・コマンドを含む透明層コマンドが決定されることを生じる。
【００６４】
図１１に示されているように、透明層コマンドはまた、１つ又は複数のユーザ設定１１０１及びＡＰＩライブラリ１１０４に基づいて決定され得る。ＡＰＩライブラリ１１０４は、識別されたコンテキスト及び特定のユーザ入力に対応するネイティブ・コマンドをルックアップするために使用され得る。スワイプ・ジェスチャー及びウェブ・ブラウザ・アプリケーション・コンテキストの実例では、ウェブ・ブラウザ・アプリケーションに対応するＡＰＩライブラリは、ウェブ・ページのスクロールを引き起こすために、適切なＡＰＩ呼出しについて問い合わせられ得る。代替的に、ＡＰＩライブラリ１１０４は、省略され得、ネイティブ・コマンドが、特定のユーザ入力及び識別されたコンテキストに向けてマッピングされ得る。
【００６５】
ユーザ入力が入力座標であると決定される状況では、透明層コマンドは、入力ロケーション座標及び識別されたコンテキストに少なくとも部分的に基づいて決定される。この場合、透明層コマンドは、識別されたコンテキストにおける少なくとも１つのネイティブ・コマンドを含むことができ、少なくとも１つのネイティブ・コマンドは、下位ＵＩにおける対応するロケーション座標におけるアクションを実施するように構成される。
【００６６】
特定のコンテキスト及びユーザ入力にマッピングされる２つ以上の可能なアクションがあるとき、設定１１０１は、対応する透明層コマンドを決定するために使用され得る。たとえば、図７のボタン７０１Ｂは、入力座標がユーザ入力として受信されるとき、ユーザが、選択モード、ポインティング・モード、又は描画モードの間で選択することを可能にする。この設定は、透明層コマンドを決定するために、並びにひいては、どのネイティブ・コマンドが実施されるか及びどのアクションが実施されるかを決定するために使用され得る。この場合、可能なネイティブ・コマンドは、下位ＵＩにおける対応するロケーション座標に関連するオブジェクトを選択するように構成された選択コマンド、ポインタを下位ＵＩにおける対応するロケーション座標に移動するように構成されたポインタ・コマンド、及び下位ＵＩにおける対応するロケーション座標におけるディスプレイ出力を変更するように構成されたグラフィカル・コマンドを含むことができる。
【００６７】
図１２Ａは、選択モードがトグルされるときの、入力座標を受信することの一実例を示す。図１２Ａに示されているように、ユーザは、ディスプレイ・デバイス１２０１上の（重ね合わせられた透明ＵＩ１２０３を有する）オペレーティング・システムＵＩ１２０２においてスタイラス１２００をポイントした。前の実例と同様に、カメラ１２０４は、スタイラス１２００についての位置及び配向情報並びに入力座標を決定するために使用され得る。選択モードがトグルされ、スタイラス１２００がオペレーティング・システムＵＩ１２０２内のフォルダ１２０５においてポイントされるので、決定された透明層コマンドは、入力座標に関連するオブジェクト（この場合、フォルダ１２０５である）を選択するためのネイティブ・オペレーティング・システム・コマンドを含むことができる。別の実例では、ウィンドウが入力座標に位置する場合、これは、ウィンドウ全体の選択を生じるであろう。
【００６８】
図１２Ｂは、ポインティング・モードがトグルされるときの、入力座標を受信することの一実例を示す。この場合、決定された透明層コマンドは、マウス・ポインタ１２０６を入力座標のロケーションに移動するためのネイティブ・オペレーティング・システム・コマンドを含むことができる。
【００６９】
図１２Ｃは、描画モードがトグルされ、ユーザが複数の入力座標にわたってスタイラス１２００をスイープしたときの、入力座標を受信することの一実例を示す。この場合、決定された透明層コマンドは、入力座標の各々のロケーションにおけるディスプレイ出力を変更するためのネイティブ・オペレーティング・システム・コマンドを含むことができ、ユーザ・インターフェース１２０２上のユーザの描画ライン１２０７を生じる。描画モードにおいてもたらされた修正されたグラフィカル出力は、透明層１２０３の一部として、たとえば、入力座標の経路に関係するメタデータとして記憶され得る。ユーザは、次いで、変更されたディスプレイ出力を画像としてエクスポートするためのオプションを選択することができる。
【００７０】
ユーザ入力がジェスチャーとして識別される状況では、識別されたコンテキストに少なくとも部分的に基づいてユーザ入力を１つ又は複数の透明層コマンドに変換することは、識別されたジェスチャー及び識別されたコンテキストに少なくとも部分的に基づいて透明層コマンドを決定することを含むことができる。透明層コマンドは、識別されたコンテキストにおける少なくとも１つのネイティブ・コマンドを含むことができ、少なくとも１つのネイティブ・コマンドは、識別されたコンテキストにおける識別されたジェスチャーに関連するアクションを実施するように構成される。これの一実例は、ウェブ・ブラウザにおけるスクロール・アクションを実施するように構成されたネイティブ・コマンドを生じる、スワイプ・ジェスチャー及びウェブ・ブラウザ・アプリケーション・コンテキストに関して上記で説明された。
【００７１】
（音声認識を使用することによってなど）ユーザ入力が１つ又は複数のワードとして識別される状況では、識別されたものに少なくとも部分的に基づいてユーザ入力を１つ又は複数の透明層コマンドに変換することは、識別された１つ又は複数のワード及び識別されたコンテキストに少なくとも部分的に基づいて透明層コマンドを決定することを含むことができる。透明層コマンドは、識別されたコンテキストにおける少なくとも１つのネイティブ・コマンドを含むことができ、少なくとも１つのネイティブ・コマンドは、識別されたコンテキストにおける識別された１つ又は複数のワードに関連するアクションを実施するように構成される。
【００７２】
図１３は、入力音声データ中で識別された１つ又は複数のワードに基づいて決定される透明層コマンド１３００の一実例を示す。識別されたワード１３０１は、「ホワイトボード」という句又は「ブランク・ページ」という句のうちの１つを含む。透明層コマンド１３００は、コマンドの説明１３０２と、透明層コマンドの実行時に透明層によって仮想ドライバに及びハードウェア出力デバイスに送られた出力命令である応答命令１３０３とをも含む。さらに、透明層コマンド１３００は、ホワイトボード機能を呼び出すために使用される実際のネイティブ・コマンド１３０４を含む。
【００７３】
図１４は、例示的な実施例による、入力音声データ中で識別された１つ又は複数のワードに基づいて決定される透明層コマンド１４００の別の実例を示す。この実例では、１つ又は複数のワードは、「電子メールを開いて」である。図１４に示されているように、透明層コマンド１４００は、ネイティブ・コマンド「ｏｕｔｌｏｏｋ．ｅｘｅ」を含み、これは、ｏｕｔｌｏｏｋアプリケーションを起動する特定の実行ファイルを動作させるようにとの命令である。透明層コマンド１４００は、音声コマンドを受信したことに応答して出力される「電子メールを開きました」という音声応答をも含む。
【００７４】
図３に戻ると、ステップ３０４において、１つ又は複数の透明層コマンドが透明層上で実行される。１つ又は複数の透明層コマンドの実行が、識別されたコンテキストにおける１つ又は複数のネイティブ・コマンドの実行を引き起こすように構成される。
【００７５】
図１５は、例示的な実施例による、透明層上で１つ又は複数の透明層コマンドを実行するためのフローチャートを示す。ステップ１５０１において、透明層コマンドにおける少なくとも１つのネイティブ・コマンドが識別される。ネイティブ・コマンドは、たとえば、透明層コマンドの構造内のネイティブ・コマンドとして指定され得、識別を可能にする。
【００７６】
ステップ１５０２において、少なくとも１つのネイティブ・コマンドが、識別されたコンテキストにおいて実行される。このステップは、そのコンテキストについての識別されたＡＰＩを介して、識別されたコンテキストに少なくとも１つのネイティブ・コマンドを渡すことと、識別されたコンテキスト内でネイティブ・コマンドを実行することとを含むことができる。たとえば、識別されたコンテキストがオペレーティング・システムである場合、ネイティブ・コマンドは、オペレーティング・システムＡＰＩを介して実行のためにオペレーティング・システムに渡され得る。さらに、識別されたコンテキストがアプリケーションである場合、ネイティブ・コマンドは、アプリケーションＡＰＩを介して実行のためにアプリケーションに渡され得る。
【００７７】
随意に、ステップ１５０３において、応答が（１つ又は複数の）ハードウェア・デバイスに送信され得る。前に説明されたように、この応答は、透明層から仮想ドライバに及びハードウェア・デバイス上にルーティングされ得る。
【００７８】
図１６〜図１９は、本明細書で開示されるシステムの追加の特徴を示す。図１６は、例示的な実施例による、ユーザ入力に対応する新しいコマンドを追加するための例示的なインターフェースを示す。インターフェース１６００におけるダッシュボードが、すでに追加され、所定のユーザ入力及びハードウェア・デバイス（たとえば、音声コマンド）を使用して起動され得る、アプリケーション１６０１のアイコンを含む。ダッシュボードは、アプリケーション固有であり、いくつかのユーザ入力にマッピングされる、他のコマンドをも示すことができる。追加ボタン１６０２の選択は、追加コマンド・メニュー１６０３を開く。このメニューは、ユーザが以下のオプション間で選択することを可能にする：アイテム・タイプ：下部バー・メニュー上に追加するための固定アイテム／ドラッグ・メニュー中に追加するための通常アイテム、アイコン：画像アイコンを選択する、背景：背景アイコン色を選択する、色：アイコン色を選択する、名前：新しいアイテム名を設定する、音声コマンド：新しいアプリケーションを開くための音声アクティベーション・コマンドを設定する、フィードバック応答：アプリケーション音声応答フィードバックを設定する、コマンド：起動すべきアプリケーション・タイプ又はカスタム・コマンド・タイプを選択する（たとえば、アプリケーション・コマンドを起動する、アプリケーション・コマンド内のアクションを実施する、アプリケーション・コマンドを閉じるなど）、プロセス開始：新しいプロセス又はアプリケーションを起動する場合、プロセス又はアプリケーションの名前、及びパラメータ：新しいプロセス又はアプリケーションに渡すべき任意のパラメータ。
【００７９】
図１７は、例示的な実施例による、描画インターフェース１７００及び描画モードの様々な構成要素及びオプションを示す。図１８は、オブジェクトを認識するために使用され、ユーザがタッチ及びジェスチャーを使用して入力を与えることを可能にする、ビデオ・カメラ・ハードウェア・デバイスのための較正及び設定インターフェース１８００を示す。図１９は、ユーザが、インターフェースの様々な態様をカスタマイズし、入力モードをトグルし、他の交換を行うことを可能にする、一般的な設定インターフェース１９００を示す。インターフェース１９００に示されているように、ユーザは、（「マジック・スタイラス」と呼ばれる）ハードウェア・スタイラスのための設定を較正及び調整するための設定ページにもアクセスすることができる。
【００８０】
本明細書で開示されるシステムは、複数のネットワーク化されたコンピューティング・デバイス上で実装され、ネットワーク化された共同セッションを行うことを助けるために使用され得る。たとえば、前に説明されたホワイトボード機能性は、複数のコンピューティング・デバイス上の複数のユーザ間の共有ホワイトボードであり得る。
【００８１】
しかしながら、既存のホワイトボード又は他の共有共同スペースの問題のうちの１つは、接続された参加者とファイルを共有するための容易なやり方がないことである。いくつかのアプリケーションが、グループ全体が、共同スペース上で、文書などのファイルをレビューすることを可能にするが、ユーザが別のユーザとファイルを共有するために、他のユーザにファイルを送信するために（電子メール・クライアント又はファイル共有アプリケーションなどの）新しいアプリケーションを開くことが必要である。共有共同セッション中に、これは、共同スペースが促進するように設計されたワークフロー及び共有ブレインストーミング・セッションを頻繁に中断する。
【００８２】
ユニバーサル・ハードウェア・ソフトウェア・インターフェースの実装のための前に説明された方法及びシステムに加えて、出願人は、ネットワーク化されたコンピュータ間の共同セッション中のウェブ・ソケット接続を介したファイルのリアルタイム送信を可能にする方法、装置及びコンピュータ可読媒体をさらに発見した。
【００８３】
図２０は、例示的な実施例による、ネットワーク化された共同ワークスペースにおけるウェブ・ソケット接続を介したファイルの送信のためのフローチャートを示す。図２０に示されているステップのすべてが、サーバに接続されたクライアント・デバイスなど、ローカル・コンピューティング・デバイス上で実施され得、複数のコンピューティング・デバイスを必要としない。
【００８４】
ステップ２００１において、サーバ上にホストされ、ウェブ・ソケット接続を介して複数の参加者にとってアクセス可能な、共同ワークスペースの表現が、ローカル・コンピューティング・デバイスのユーザ・インターフェース上で送信される。共同ワークスペースの表現は、サーバに接続された１つ又は複数のリモート・コンピューティング・デバイスに対応する１つ又は複数のリモート参加者オブジェクトを含むことができる。本明細書で使用されるリモート・コンピューティング・デバイス及びリモート参加者は、ローカル参加者及びローカル・コンピューティング・デバイス以外のコンピューティング・デバイス及び参加者を指す。リモート・コンピューティング・デバイスは、ワイド・エリア・ネットワーク（ＷＡＮ）などのネットワークによってローカル・デバイスから分離される。
【００８５】
図２１Ａは、例示的な実施例による、共同ワークスペースをホストし、送信するために使用されるネットワーク・アーキテクチャを示す。図２１Ａに示されているように、サーバ２１００は、コンピューティング・デバイス２１０１Ａ〜２１０１Ｆに接続される。サーバ２１００とコンピューティング・デバイス２１０１Ａ〜２１０１Ｆとは、コンピューティング・デバイス２１０１Ａ〜２１０１Ｆ（クライアント）とサーバ２１００との間の双方向通信を可能にする、ウェブ・ソケット接続など、ネットワーク接続を介して接続され得る。図２１Ａに示されているように、コンピューティング・デバイスは、ラップトップ、デスクトップ、スマートフォン、又は他のモバイル・デバイスなど、任意のタイプのコンピューティング・デバイスであり得る。
【００８６】
共同ワークスペースは、たとえば、ウェブ・ソケット接続を介して複数の参加者中の任意の参加者からの編集を他の参加者に伝えるように構成されたデジタル・ホワイトボードであり得る。図２１Ｂは、例示的な実施例による、ネットワーク内で共同ワークスペースに対する編集を伝えるためのプロセスを示す。図２１Ｂに示されているように、コンピューティング・デバイス２１０１Ｂにおけるユーザが共同ワークスペースに対する編集又は変更を行う場合、この編集又は変更２１０２Ｂは、サーバ２１００に送られ、ワークスペースのホストされたバージョンを更新するために使用される。編集又は変更は、次いで、サーバ２１００によって更新２１０２Ａ、２１０２Ｃ、２１０２Ｄ、２１０２Ｅ、及び２１０２Ｆとして、他の接続されたコンピューティング・デバイス２１０１Ａ、２１０１Ｃ、２１０１Ｄ、２１０１Ｅ、及び２１０１Ｆに伝えられる。
【００８７】
共同ワークスペースの各表現は、ローカル参加者に対してカスタマイズされた共同ワークスペースのバージョンであり得る。たとえば、上記で説明されたように、共同ワークスペースの各表現は、サーバに接続された１つ又は複数のリモート・コンピューティング・デバイスに対応する１つ又は複数のリモート参加者オブジェクトを含むことができる。
【００８８】
図２２は、例示的な実施例による、共同ワークスペースの複数の表現を示す。図２２に示されているように、サーバ２２００は、共同ワークスペース２２０１をホストする。サーバ上にホストされた共同ワークスペースのバージョンが、前に説明されたように、接続されたデバイスに伝えられる。図２２は、３つの接続されたユーザ、ユーザ１、ユーザ２、及びユーザ３のための共同ワークスペースの表現をも示す。図示のように、各表現は、ローカル参加者に対して（ローカル・コンピューティング・デバイスに対して）カスタマイズされる。たとえば、ユーザ１のための表現２２０１Ａは、ユーザ２及びユーザ３に対応するリモート参加者オブジェクトを含む。同様に、ユーザ２のための表現２２０１Ｂは、ユーザ１及びユーザ３に対応するリモート参加者オブジェクトを含み、ユーザ３のための表現２２０１Ｃは、ユーザ１及びユーザ２に対応するリモート参加者オブジェクトを含む。
【００８９】
リモート参加者オブジェクトは、リモート参加者を示し、多くの形式をとることができる。たとえば、リモート参加者オブジェクトは、テレビ会議又はウェブカムを介して接続されたリモート参加者の埋込みビデオ・ストリームであり得る。リモート参加者オブジェクトはまた、リモート参加者を表すアイコン、リモート参加者のアバター、或いは特定のリモート参加者の任意の他のビジュアル又はオーディオ・インジケータであり得る。リモート参加者オブジェクトは、ワークスペースの表現内でドラッグされ、移動され及び／又はリサイズされ得るカスタム・オブジェクトであり得る。
【００９０】
図２０に戻ると、ステップ２００２において、１つ又は複数のリモート参加者オブジェクトに対応する１つ又は複数のライブ・フォルダが、ローカル・コンピューティング・デバイス上に生成され、各ライブ・フォルダは、リモート参加者オブジェクトに対応するリモート・コンピューティング・デバイスのネットワーク・アドレスにマッピングされる。
【００９１】
図２３は、例示的な実施例による、１つ又は複数のリモート参加者オブジェクトに対応する１つ又は複数のライブ・フォルダを生成するためのフローチャートを示す。
【００９２】
ステップ２０１において、ローカル・コンピューティング・デバイスは、１つ又は複数のリモート参加者オブジェクトに対応する１つ又は複数のリモート・コンピューティング・デバイスの１つ又は複数のインターネット・プロトコル（ＩＰ）アドレスについてサーバに問い合わせる。
【００９３】
図２４は、この問合せプロセスの一実例を示す。図２４に示されているように、コンピューティング・デバイス２４０１Ａ、２４０２、及び２４０３が、すべて、ウェブ・ソケット接続など、双方向ネットワーク接続を介してサーバ２４００に接続される。サーバは、共同ワークスペース（図示せず）をホストする。図２４は、コンピューティング・デバイス２４０１Ａのユーザ・インターフェース上で可視である共同ワークスペースの表現２４０１Ｂをも示す。表現２４０１Ｂは、それぞれ、コンピューティング・デバイス２４０２及び２４０３のユーザである、ユーザ２及びユーザ３に対応するリモート参加者オブジェクトを含む。図２４に示されているように、リモート参加者オブジェクトに対応するリモート・コンピューティング・デバイスのＩＰアドレス（又は他のタイプのネットワーク・アドレス）についての問合せが、ネットワーク接続を介してコンピューティング・デバイス２４０１Ａからサーバ２４００に送信される。応答して、サーバは、他の接続されたコンピューティング・デバイス２４０２及び２４０３のＩＰアドレス（又は他のタイプのネットワーク・アドレス）をコンピューティング・デバイス２４０１Ａ（要求元コンピューティング・デバイス）に送信する。サーバは、どのＩＰアドレスがどのリモート参加者オブジェクトに対応するかをコンピューティング・デバイス２４０１Ａが識別することを可能にする、ユーザ識別情報又は他の情報など、情報をも送信することができる。
【００９４】
図２３に戻ると、ステップ２３０２において、ローカル・コンピューティング・デバイスは、１つ又は複数のリモート参加者オブジェクトに対応する１つ又は複数のローカル・フォルダを生成する。１つ又は複数のローカル・フォルダは、ローカル・コンピューティング・デバイスのメモリ上に生成及び記憶され得る。たとえば、共同ワークスペース・セッションが開始されたとき、ローカル・コンピューティング・デバイス上に一時的キャッシュが作成され得る。この一時的キャッシュは、会議識別子及び他のセッション詳細など、セッションに関する情報を記憶する。１つ又は複数のローカル・フォルダは、一時的キャッシュ内に生成及び記憶され得る。
【００９５】
図２５は、例示的な実施例による、１つ又は複数のリモート参加者に対応する１つ又は複数のローカル・フォルダを生成することの一実例を示す。ローカル・コンピューティング・デバイス２５００は、共同ワークスペースの表現２５０２を含む、ユーザ・インターフェース２５０１を表示するディスプレイ（図示せず）を含む。共同ワークスペース表現２５０２は、ユーザ２及びユーザ３に対応する、２つのリモート参加者オブジェクトを含む。図２５に示されているように、ローカル・フォルダＦ２及びＦ３が、コンピューティング・デバイス２５００上のローカル・ストレージ２５０３内に作成され、ユーザ２及びユーザ３のためのリモート参加者オブジェクトとリンクされる。フォルダは、様々なやり方でリモート参加者オブジェクトにリンクされ得る。たとえば、各リモート参加者オブジェクトをローカル・フォルダに関連付けるカスタム・データ構造が作成され得る。ローカル・フォルダは、不可視要素としてユーザ・インターフェース２５０１に組み込まれ、対応するリモート参加者オブジェクトの同じ位置において配置され得る。リモート参加者オブジェクトは、対応するローカル・フォルダにリンクすることを可能にする公開されたＡＰＩを有することができる。多くの変形形態が可能であり、これらの実例は、限定するものではない。
【００９６】
図２３に戻ると、ステップ２３０３において、１つ又は複数のローカル・フォルダを１つ又は複数のＩＰアドレスにマッピングすることによって、１つ又は複数のライブ・フォルダが生成される。
【００９７】
図２６は、例示的な実施例による、１つ又は複数のＩＰアドレスに１つ又は複数のローカル・フォルダをマッピングすることの一実例を示す。ローカル・コンピューティング・デバイス２６００は、共同ワークスペース２６０２を含む、ユーザ・インターフェース２６０１を表示するディスプレイ（図示せず）を含む。共同ワークスペース表現２６０２は、ユーザ２及びユーザ３に対応する、２つのリモート参加者オブジェクトを含む。コンピューティング・デバイス２６００上のローカル・ストレージ２６０３内のローカル・フォルダＦ２及びＦ３が、共同ワークスペース表現２６０２におけるユーザ２及びユーザ３のためのリモート参加者オブジェクトとリンクされる。
【００９８】
図２６に示されているように、ローカル・フォルダＦ２及びＦ３は、それぞれ、リモート・コンピューティング・デバイス２６０４及び２６０５のネットワーク・アドレスにマッピングされる。コンピューティング・デバイス２６０４は、リモート参加者ユーザ２に対応し、コンピューティング・デバイス２６０５は、リモート参加者ユーザ３に対応する。リモート・コンピューティング・デバイスのネットワーク・アドレスへのローカル・フォルダのマッピングは、様々なやり方で達成され得る。各ローカル・フォルダは、そのアドレスとして、対応するリモート・コンピューティング・デバイスのネットワーク・アドレスを有することができる。この場合、ローカル・フォルダは、ローカル・ストレージ上のリモート・フォルダのインスタンス化である。さらに、カスタム・データ構造又はスクリプトが、ローカル・フォルダの内容を宛先ネットワーク・アドレスに転送するように構成され得る。スクリプトは、転送を実現するために（ウェブ・ソケットなどの）ネットワーク接続とインターフェースすることができる。多くの変形形態が可能であり、これらの実例は、限定するものではない。
【００９９】
図２０に戻ると、ステップ２００３において、１つ又は複数のリモート参加者オブジェクト中のリモート参加者オブジェクトの近位に少なくとも１つのファイルに対応する少なくとも１つのアイコンをドラッグするためのユーザ入力が、ローカル・コンピューティング・デバイスによって検出され、リモート参加者オブジェクトは、１つ又は複数のリモート・コンピューティング・デバイス中のリモート・コンピューティング・デバイスに対応する。これは、一般に、ドラッグ・アンド・ドロップ・アクションと呼ばれ、様々な入力デバイスを使用して入力され得る。たとえば、ユーザは、マウスを使用してドラッグ・アンド・ドロップし得る。ユーザは、前に説明されたように、ハンド・ジェスチャー又はスタイラスを使用してドラッグ・アンド・ドロップすることもできる。仮想ドライバ及び／又は透明を伴う、前に説明された技法は、ドラッグ・アンド・ドロップ動きを検出するために使用され得る。
【０１００】
ローカル・コンピューティング・デバイスは、ユーザ・インターフェース内の１つ又は複数のリモート参加者オブジェクトの１つ又は複数の空間的位置を記憶するように構成され得る。特定のアイコンが特定のリモート参加者オブジェクトの近位にドラッグ・アンド・ドロップされたかどうかの検出が、リモート参加者オブジェクトの空間的位置からしきい値距離内にある宛先空間的位置にアイコンをドラッグするためのユーザ入力を検出することによって実施され得る。しきい値距離は、ユーザによって設定され得るか、又は何らかのデフォルト値であり得る。たとえば、しきい値距離は、１０ピクセルよりも小さいか又は０ピクセルよりも小さくなり得る（その場合、ドラッグされたアイコンは、ユーザ・インターフェースにおいてリモート参加者オブジェクトと交わるか又は重ならなければならないであろう）。
【０１０１】
図２７は、例示的な実施例による、ドラッグ・アンド・ドロップ・プロセス及び検出の一実例を示す。ユーザ・インターフェース２７０１は、ユーザ２（Ｕ２）及びユーザ３（Ｕ３）に対応するリモート参加者オブジェクトを含む、共同ワークスペースの表現２７０２を含む。インターフェース２７０１は、たとえば、ファイル・ブラウザにおける開かれたフォルダであり得る、ファイル・ウィンドウ又はファイル・インターフェース２７０３をも含む。ファイル・インターフェース２７０３は、ローカル・コンピューティング・デバイスのデスクトップ、ファイル共有アプリケーション、ウェブ・ブラウザ、又は任意の他のアプリケーションでもあり得る。図２７に示されているように、ユーザは、ユーザ３（Ｕ３）のためのリモート参加者オブジェクトにファイル「Ｄ３」をドラッグした。
【０１０２】
もちろん、ファイルは、共同ワークスペース内からもドラッグされ得る。図２８は、例示的な実施例による、ドラッグ・アンド・ドロップ・プロセス及び検出の別の実例を示す。インターフェース２８０１は、共同ワークスペースの表現に対応する。インターフェース部分２８０２は、様々なファイルをリストする共同ワークスペースの表現のセクションであり得る。さらに、この場合、リモート参加者オブジェクト２８０３は、埋込みビデオ・ストリームであり、これは、ネットワーク（たとえば、ウェブ・ソケット）接続を介して受信され得る。図２８に示されているように、ローカル参加者（ユーザ）は、リモート参加者オブジェクト２８０３にａｄｏｂｅファイル２８０４をドラッグした。もちろん、ファイルは、オーディオ・ファイル、ビデオ・ファイル、オーディオビジュアル・ファイル、テキスト文書、スプレッドシート、スライド・プレゼンテーションなど、任意のタイプのファイルであり得る。
【０１０３】
図２０に戻ると、ステップ２００４において、少なくとも１つのファイルが、ローカル・コンピューティング・デバイスによってリモート参加者オブジェクトに対応するライブ・フォルダに記憶されて、それにより、少なくとも１つのファイルを、ウェブ・ソケット接続（又は他のネットワーク接続）を介してリモート・コンピューティング・デバイスのネットワーク・アドレスに送信する。
【０１０４】
図２９は、例示的な実施例による、リモート参加者オブジェクトに対応するライブ・フォルダに少なくとも１つのファイルを記憶し、少なくとも１つのファイルを、ウェブ・ソケット接続を介してリモート・コンピューティング・デバイスのネットワーク・アドレスに送信するためのフローチャートを示す。
【０１０５】
ステップ２９０１において、少なくとも１つのドラッグされたアイコンに対応する少なくとも１つのファイルが、ライブ・フォルダに記憶される。ステップ２９０２において、少なくとも１つのファイルのコピーが、ウェブ・ソケット接続（又は他のネットワーク接続）を通して、マッピングされたネットワーク・アドレスに送信される。ウェブ・ソケット接続は、ライブ・フォルダに記憶されたデータを、サーバを介して、マッピングされたネットワーク・アドレスにルーティングするように構成され得る。このルーティングは、ファイルが、特定のリモート・コンピューティング・デバイスに送信されることと、すべての接続されたリモート・コンピューティング・デバイスに伝えられるとは限らないこととを除いて、図２１Ｂに示されている更新と同様に実施され得る。たとえば、ファイルは、ウェブ・ソケットを介してサーバに送信され得、宛先アドレスは、ファイルをウェブ・ソケットを介して適切な宛先リモート・コンピューティング・デバイスにさらにルーティングするためにサーバによって使用され得る。
【０１０６】
ウェブ・ソケット接続が、（リモート参加者オブジェクトが埋込みビデオ・ストリームであるとき）共同ワークスペースの一部として及び／又はビデオ会議の一部としてすでに確立されているので、説明されるプロセスは、意図された受信側へのファイルのルーティングを実施するためにウェブ・ソケットを利用する。
【０１０７】
ステップ２９０３において、送信の完了時に、ライブ・フォルダから少なくとも１つのファイルが削除され得る。たとえば、ライブ・フォルダがローカル・コンピューティング・デバイス上の一時的キャッシュに記憶される場合、ライブ・フォルダに記憶されたファイルのコピーが（ストリーミングなどによって）リモート・コンピューティング・デバイスに送信されると、ローカル・ライブ・フォルダに記憶されたファイルは削除され得る。
【０１０８】
上記で説明された技法のうちの１つ又は複数が、１つ又は複数のコンピュータ・システムにおいて実装されるか、又は１つ又は複数のコンピュータ・システムを伴い得る。図３０は、専用コンピューティング環境３０００の一実例を示す。コンピューティング環境３０００は、説明される（１つ又は複数の）実施例の使用又は機能性の範囲に関するいかなる限定をも示唆するものではない。
【０１０９】
図３０を参照すると、コンピューティング環境３０００は、少なくとも１つの処理ユニット３０１０と、メモリ３０２０とを含む。処理ユニット３０１０は、コンピュータ実行可能命令を実行し、現実プロセッサ又は仮想プロセッサであり得る。多重処理システムでは、処理能力を増加させるために、複数の処理ユニットがコンピュータ実行可能命令を実行する。メモリ３０２０は、揮発性メモリ（たとえば、レジスタ、キャッシュ、ＲＡＭ）、不揮発性メモリ（たとえば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリなど）、又はその２つの何らかの組合せであり得る。メモリ３０２０は、説明される技法を実装するソフトウェア３０８０を記憶することができる。
【０１１０】
コンピューティング環境は、追加の特徴を有することができる。たとえば、コンピューティング環境３０００は、ストレージ３０４０と、１つ又は複数の入力デバイス３０５０と、１つ又は複数の出力デバイス３０６０と、１つ又は複数の通信接続３０９０とを含む。バス、コントローラ、又はネットワークなど、相互接続機構３０７０が、コンピューティング環境３０００の構成要素を相互接続する。一般に、オペレーティング・システム・ソフトウェア又はファームウェア（図示せず）が、コンピューティング環境３０００において実行する他のソフトウェアのための動作環境を提供し、コンピューティング環境３０００の構成要素のアクティビティを協調させる。
【０１１１】
ストレージ３０４０は、リムーバブル又は非リムーバブルであり得、磁気ディスク、磁気テープ又はカセット、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ、或いは情報を記憶するために使用され得、コンピューティング環境３０００内でアクセスされ得る任意の他の媒体を含む。ストレージ３０４０は、ソフトウェア３０８０のための命令を記憶することができる。
【０１１２】
（１つ又は複数の）入力デバイス３０５０は、キーボード、マウス、ペン、トラックボール、タッチ・スクリーン、又はゲーム・コントローラなどのタッチ入力デバイス、音声入力デバイス、走査デバイス、デジタル・カメラ、遠隔制御、或いはコンピューティング環境３０００への入力を提供する別のデバイスであり得る。（１つ又は複数の）出力デバイス３０６０は、ディスプレイ、テレビジョン、モニタ、プリンタ、スピーカー、又はコンピューティング環境３０００からの出力を提供する別のデバイスであり得る。
【０１１３】
（１つ又は複数の）通信接続３０９０は、通信媒体を介した別のコンピューティング・エンティティへの通信を可能にする。通信媒体は、変調されたデータ信号中で、コンピュータ実行可能命令、オーディオ又はビデオ情報、或いは他のデータなど、情報を伝達する。変調されたデータ信号は、信号の特性のうちの１つ又は複数が、信号中の情報を符号化するような様式で設定又は交換された信号である。限定ではなく実例として、通信媒体は、電気、光、ＲＦ、赤外線、音響、又は他のキャリアを用いて実装されるワイヤード又はワイヤレス技法を含む。
【０１１４】
実装形態が、コンピュータ可読媒体のコンテキストにおいて説明され得る。コンピュータ可読媒体は、コンピューティング環境内でアクセスされ得る任意の利用可能な媒体である。限定ではなく実例として、コンピューティング環境３０００内で、コンピュータ可読媒体は、メモリ３０２０、ストレージ３０４０、通信媒体、及び上記のいずれかの組合せを含む。
【０１１５】
もちろん、図３０は、単に識別しやすいように、別個のデバイスとして、コンピューティング環境３０００、ディスプレイ・デバイス３０６０、及び入力デバイス３０５０を示す。コンピューティング環境３０００、ディスプレイ・デバイス３０６０、及び入力デバイス３０５０は、別個のデバイス（たとえば、ワイヤによってモニタ及びマウスに接続されたパーソナル・コンピュータ）であり得、単一のデバイス（たとえば、スマートフォン又はタブレットなど、タッチ・ディスプレイをもつモバイル・デバイス）、又はデバイスの任意の組合せ（たとえば、タッチスクリーン・ディスプレイ・デバイスに動作可能に結合されたコンピューティング・デバイス、単一のディスプレイ・デバイス及び入力デバイスに取り付けられた複数のコンピューティング・デバイスなど）に統合され得る。コンピューティング環境３０００は、セットトップ・ボックス、パーソナル・コンピュータ、或いは１つ又は複数のサーバ、たとえば、ネットワーク化されたサーバのファーム、クラスタリングされたサーバ環境、又はコンピューティング・デバイスのクラウド・ネットワークであり得る。
【０１１６】
説明される実施例に関して本発明の原理を説明及び図示したが、説明される実施例は、そのような原理から逸脱することなく構成及び詳細において修正され得ることを認識されよう。ソフトウェアにおいて示されている説明される実施例の要素は、ハードウェアにおいて実装され得、その逆も同様である。
【０１１７】
本発明の原理が適用され得る多くの可能な実施例に鑑みて、本発明として、以下の特許請求の範囲及びその等価物の範囲及び趣旨内に入り得るようなすべての実施例を主張する。
【図１】
2021517302.tif 000003
【図２】
2021517302.tif 000004
【図３】
2021517302.tif 000005
【図４】
2021517302.tif 000006
【図５Ａ】
2021517302.tif 000007
【図５Ｂ】
2021517302.tif 000008
【図６】
2021517302.tif 000009
【図７】
2021517302.tif 000010
【図８】
2021517302.tif 000011
【図９】
2021517302.tif 000012
【図１０】
2021517302.tif 000013
【図１１】
2021517302.tif 000014
【図１２Ａ】
2021517302.tif 000015
【図１２Ｂ】
2021517302.tif 000016
【図１２Ｃ】
2021517302.tif 000017
【図１３】
2021517302.tif 000018
【図１４】
2021517302.tif 000019
【図１５】
2021517302.tif 000020
【図１６】
2021517302.tif 000021
【図１７】
2021517302.tif 000022
【図１８】
2021517302.tif 000023
【図１９】
2021517302.tif 000024
【図２０】
2021517302.tif 000025
【図２１Ａ】
2021517302.tif 000026
【図２１Ｂ】
2021517302.tif 000027
【図２２】
2021517302.tif 000028
【図２３】
2021517302.tif 000029
【図２４】
2021517302.tif 000030
【図２５】
2021517302.tif 000031
【図２６】
2021517302.tif 000032
【図２７】
2021517302.tif 000033
【図２８】
2021517302.tif 000034
【図２９】
2021517302.tif 000035
【図３０】
2021517302.tif 000036
【国際調査報告】
2021517302.tif 000037
2021517302.tif 000038