(57)【特許請求の範囲】
【請求項１】
共用インタラクティブ環境で情報を交換するための方法であって、
パノラマカメラによって全景が撮影されて得られたビデオストリームとしての全景映像を全景映像用画面に表示する全景映像表示ステップと、
前記全景映像用画面に予め定められた複数の装置の各々を示す各装置画像が表示された場合、該全景映像用画面に表示されている何れか１つの該装置画像を含む表示領域をズーム撮影対象として指定するズーム対象指定ステップと、
前記ズーム対象指定ステップで指定された前記表示領域をズームカメラによりズーム撮影するズーム撮影ステップと、
前記ズームカメラによってズーム撮影されて得られたビデオストリームとしてのズーム映像をズーム映像用画面に表示するズーム映像表示ステップと、
前記全景映像用画面及び前記ズーム映像用画面のうちの一方の画面に表示されている１つの前記装置画像を指定することにより該装置画像により示される装置を情報の転送元として指定すると共に、他方の画面に表示されている他の１つの前記装置画像を指定することにより該装置画像により示される装置を情報の転送先として指定する転送元・転送先指定ステップと、
前記複数の装置の各々を示す各装置画像の特徴を示す特徴情報、及び前記転送元から転送される転送情報を受け入れ可能な転送先であるか否かを示す転送先適否情報が前記複数の装置毎に予め対応付けられて構成されたデータベースを参照して、前記転送元・転送先指定ステップで指定された転送先が前記転送元・転送先指定ステップで指定された転送元から転送される前記転送情報を受け入れ可能な転送先であるか否かを判定する判定ステップと、
前記判定ステップで受け入れ可能な転送先であると判定された場合、前記転送元・転送先指定ステップで指定された転送元から前記転送元・転送先指定ステップで指定された転送先に前記転送情報を転送する転送ステップと、
前記判定ステップで受け入れ可能な転送先でないと判定された場合、前記転送情報を転送することができないことを報知する報知ステップと、
を含む方法。
【請求項２】
前記全景映像用画面及び前記ズーム映像用画面を１つのウィンドウ内に表示する請求項１記載の方法。
【請求項３】
前記転送元・転送先指定ステップは、前記一方の画面にて前記転送元としての前記装置画像をドラッグするステップと、該ドラッグした装置画像を前記他方の画面にて前記転送先としての前記装置画像にドロップするステップと、を有する請求項１または請求項２記載の方法。
【請求項４】
前記全景映像用画面及び前記ズーム映像用画面の少なくとも一方に表示されている前記装置画像を選択する選択ステップと、
前記選択ステップで前記装置画像が選択された場合、該装置画像により示される前記装置の名前、種類及び状態の少なくとも１つを吹き出しボックスにして表示する吹き出しボックス表示ステップと、を更に含む請求項１〜請求項３の何れか１項に記載の方法。
【請求項５】
前記ズーム対象指定ステップは、前記全景映像用画面に表示されている何れか１つの前記装置画像を含むと共に該全景映像用画面上に描画された対角線の端点を対角とする包含矩形を前記ズーム撮影対象として指定する請求項１〜請求項４の何れか１項に記載の方法。
【請求項６】
前記装置がディスプレイ、プロジェクタ、プリンタ、ファクシミリ機、パーソナルデジタルアシスタント、コンピュータ、及びポータブルコンピュータを含むことができる、
請求項１〜請求項５の何れか１項に記載の方法。
【請求項７】
前記全景映像用画面及び前記ズーム映像用画面の少なくとも一方に表示されている前記装置画像に対して注釈を入力する注釈入力ステップと、
前記注釈入力ステップで注釈が入力された場合、該注釈の対象とされた前記装置画像により示される前記装置に該注釈を示す注釈情報を転送する注釈情報転送ステップと、
を更に含む請求項１〜請求項６の何れか１項に記載の方法。
【請求項８】
前記転送情報がデジタルファイル、注釈、音声、及びオーディオ／ビデオ表現を含むことができる、
請求項１〜請求項７の何れか１項に記載の方法。
【請求項９】
前記全景映像用画面及び前記ズーム映像用画面の少なくとも一方の画面に表示された前記装置画像を指定する装置画像指定ステップと、
前記装置画像指定ステップで指定された装置画像により示される前記装置に対して予め関連付けられたポップアップ制御パネルを画面上にポップアップ表示するパネル表示ステップと、
前記パネル表示ステップによってポップアップ表示された前記ポップアップ制御パネルに所定情報を入力することにより前記装置画像指定ステップで指定された装置画像により示される前記装置を制御するステップと、
を更に含む請求項１〜請求項８の何れか１項に記載の方法。
【請求項１０】
前記装置に対する変更が視認可能な画面を示す画面情報を前記共用インタラクティブ環境の全ての参加者に提供する提供ステップを更に含む請求項１〜請求項９の何れか１項に記載の方法。
【請求項１１】
前記複数の装置の各々に対応して設けられた後入れ先出し方式で画像を多層的に蓄積可能な画像スタックに画像を蓄積する蓄積ステップを更に含む請求項１〜請求項１０の何れか１項に記載の方法。
【請求項１２】
共用インタラクティブ環境で情報を交換するためのシステムであって、
パノラマカメラによって全景が撮影されて得られたビデオストリームとしての全景映像を全景映像用画面に表示する全景映像表示手段と、
前記全景映像用画面に予め定められた複数の装置の各々を示す各装置画像が表示された場合、該全景映像用画面に表示されている何れか１つの該装置画像を含む表示領域をズーム撮影対象として指定するズーム対象指定手段と、
前記ズーム対象指定手段で指定された前記表示領域をズーム撮影するズームカメラと、
前記ズームカメラによってズーム撮影されて得られたビデオストリームとしてのズーム映像をズーム映像用画面に表示するズーム映像表示手段と、
前記全景映像用画面及び前記ズーム映像用画面のうちの一方の画面に表示されている１つの前記装置画像を指定することにより該装置画像により示される装置を情報の転送元として指定すると共に、他方の画面に表示されている他の１つの前記装置画像を指定することにより該装置画像により示される装置を情報の転送先として指定する転送元・転送先指定手段と、
前記複数の装置の各々を示す各装置画像の特徴を示す特徴情報、及び前記転送元から転送される転送情報を受け入れ可能な転送先であるか否かを示す転送先適否情報が前記複数の装置毎に予め対応付けられて構成されたデータベースを参照して、前記転送元・転送先指定手段で指定された転送先が前記転送元・転送先指定手段で指定された転送元から転送される前記転送情報を受け入れ可能な転送先であるか否かを判定する判定手段と、
前記判定手段で受け入れ可能な転送先であると判定された場合、前記転送元・転送先指定手段で指定された転送元から前記転送元・転送先指定手段で指定された転送先に前記転送情報を転送する転送手段と、
前記判定手段で受け入れ可能な転送先でないと判定された場合、前記転送情報を転送することができないことを報知する報知手段と、
を含むシステム。
【請求項１３】
前記全景映像用画面及び前記ズーム映像用画面を１つのウィンドウ内に表示する請求項１２記載のシステム。
【請求項１４】
前記転送元・転送先指定手段は、前記一方の画面にて前記転送元としての前記装置画像を示す画像をドラッグすることにより転送元を指定し、該ドラッグした装置画像を前記他方の画面にて前記転送先としての前記装置画像にドロップすることにより転送先を指定する請求項１２または請求項１３記載のシステム。
【請求項１５】
前記全景映像用画面及び前記ズーム映像用画面の少なくとも一方に表示されている前記装置画像を選択する選択手段と、
前記選択手段で前記装置画像が選択された場合、該装置画像により示される前記装置の名前、種類及び状態の少なくとも１つを吹き出しボックスにして表示する吹き出しボックス表示手段と、を更に含む請求項１２〜請求項１４の何れか１項に記載のシステム。
【請求項１６】
前記ズーム対象指定手段は、前記全景映像用画面に表示されている何れか１つの前記装置画像を含むと共に該全景映像用画面上に描画された対角線の端点を対角とする包含矩形に含まれる前記装置を前記ズーム撮影対象として指定する請求項１２〜請求項１５の何れか１項に記載のシステム。
【請求項１７】
前記装置がディスプレイ、プロジェクタ、プリンタ、ファクシミリ機、パーソナルデジタルアシスタント、コンピュータ、及びポータブルコンピュータを含むことができる、
請求項１２〜請求項１６の何れか１項に記載のシステム。
【請求項１８】
前記全景映像用画面及び前記ズーム映像用画面の少なくとも一方に表示されている前記装置画像に対して注釈を入力する注釈入力手段と、
前記注釈入力手段で注釈が入力された場合、該注釈の対象とされた前記装置画像により示される前記装置に該注釈を示す注釈情報を転送する注釈情報転送手段と、
を更に含む請求項１２〜請求項１７の何れか１項に記載のシステム。
【請求項１９】
前記転送情報がデジタルファイル、注釈、音声、及びオーディオ／ビデオ表現を含むことができる、
請求項１２〜請求項１８の何れか１項に記載のシステム。
【請求項２０】
前記全景映像用画面及び前記ズーム映像用画面の少なくとも一方の画面に表示された前記装置画像を指定する制御対象指定手段と、
前記制御対象指定手段で指定された装置画像により示される前記装置に対して予め関連付けられたポップアップ制御パネルを画面上にポップアップ表示するパネル表示手段と、
前記パネル表示手段によってポップアップ表示された前記ポップアップ制御パネルに所定情報を入力することにより前記制御対象指定手段で指定された装置画像により示される前記装置を制御する手段と、
を更に含む請求項１２〜請求項１９の何れか１項に記載のシステム。
【請求項２１】
前記装置に対する変更が視認可能な画面を示す画面情報を前記共用インタラクティブ環境の全ての参加者に提供する提供手段を更に含む請求項１２〜請求項２０の何れか１項に記載のシステム。
【請求項２２】
前記複数の装置の各々に対応して設けられた後入れ先出し方式で画像を多層的に蓄積可能な画像スタックを更に含む請求項１２〜請求項２１の何れか１項に記載のシステム。
【請求項２３】
コンピュータを、
パノラマカメラによって全景が撮影されて得られたビデオストリームとしての全景映像を全景映像用画面に表示させる全景映像表示手段、
前記全景映像用画面に予め定められた複数の装置の各々を示す各装置画像が表示された場合、該全景映像用画面に表示されている何れか１つの該装置画像を含む表示領域をズーム対象指定手段によりズーム撮影対象として指定させる手段、
前記ズーム対象指定手段で指定された前記表示領域をズームカメラによってズーム撮影されて得られたビデオストリームとしてのズーム映像をズーム映像用画面に表示させるズーム映像表示手段、
前記全景映像用画面及び前記ズーム映像用画面のうちの一方の画面に表示されている１つの前記装置画像を指定することにより該装置画像により示される装置を情報の転送元として指定すると共に、他方の画面に表示されている他の１つの前記装置画像を指定することにより該装置画像により示される装置を転送元・転送先指定手段により情報の転送先として指定させる手段、
前記複数の装置の各々を示す各装置画像の特徴を示す特徴情報、及び前記転送元から転送される転送情報を受け入れ可能な転送先であるか否かを示す転送先適否情報が前記複数の装置毎に予め対応付けられて構成されたデータベースを参照して、前記転送元・転送先指定手段で指定された転送先が前記転送元・転送先指定手段で指定された転送元から転送される前記転送情報を受け入れ可能な転送先であるか否かを判定する判定手段、
前記判定手段で受け入れ可能な転送先であると判定された場合、前記転送元・転送先指定手段で指定された転送元から前記転送元・転送先指定手段で指定された転送先に前記転送情報を転送する転送手段、
及び前記判定手段で受け入れ可能な転送先でないと判定された場合、前記転送情報を転送することができないことを報知する報知手段として機能させるためのプログラム。
【請求項２４】
前記コンピュータを、更に、前記全景映像用画面及び前記ズーム映像用画面を１つのウィンドウ内に表示させる手段として機能させるための請求項２３記載のプログラム。
【請求項２５】
前記転送元・転送先指定手段は、前記一方の画面にて前記転送元としての前記装置画像をドラッグすることにより転送元を指定し、該ドラッグした装置画像を前記他方の画面にて前記転送先としての前記装置画像にドロップすることにより転送先を指定する請求項２３または請求項２４記載のプログラム。
【請求項２６】
前記コンピュータを、更に、
前記全景映像用画面及び前記ズーム映像用画面の少なくとも一方に表示されている前記装置画像を選択手段により選択させる手段、
及び前記選択手段で前記装置画像が選択された場合、該装置画像により示される前記装置の名前、種類及び状態の少なくとも１つを吹き出しボックスにして所定画面に表示させる吹き出しボックス表示手段として機能させるための請求項２３〜請求項２５の何れか１項に記載のプログラム。
【請求項２７】
前記ズーム対象指定手段は、前記全景映像用画面に表示されている何れか１つの前記装置画像を含むと共に該全景映像用画面上に描画された対角線の端点を対角とする包含矩形に含まれる前記装置を前記ズーム撮影対象として指定する請求項２３〜請求項２６の何れか１項に記載のプログラム。
【請求項２８】
前記装置がディスプレイ、プロジェクタ、プリンタ、ファクシミリ機、パーソナルデジタルアシスタント、コンピュータ、及びポータブルコンピュータを含むことができる、
請求項２３〜請求項２７の何れか１項に記載のプログラム。
【請求項２９】
前記コンピュータを、更に、
前記全景映像用画面及び前記ズーム映像用画面の少なくとも一方に表示されている前記装置画像に対して注釈を注釈入力手段により入力させる手段、
及び前記注釈入力手段で注釈が入力された場合、該注釈の対象とされた前記装置画像により示される前記装置に該注釈を示す注釈情報を転送する注釈情報転送手段として機能させるための請求項２３〜請求項２８の何れか１項に記載のプログラム。
【請求項３０】
前記転送情報がデジタルファイル、注釈、音声、及びオーディオ／ビデオ表現を含むことができる、
請求項２３〜請求項２９の何れか１項に記載のプログラム。
【請求項３１】
前記コンピュータを、更に、
前記複数の装置のうちの制御対象とする装置を、前記全景映像用画面及び前記ズーム映像用画面の少なくとも一方の画面に表示された前記装置画像を制御対象指定手段により指定させる手段、
前記制御対象指定手段で指定された装置画像により示される前記装置に対して予め関連付けられたポップアップ制御パネルを画面上にポップアップ表示させるパネル表示手段、
及び前記パネル表示手段によってポップアップ表示された前記ポップアップ制御パネルに所定情報を入力することにより前記制御対象を制御する手段として機能させるための請求項２３〜請求項３０の何れか１項に記載のプログラム。
【請求項３２】
前記コンピュータを、更に、
前記装置に対する変更が視認可能な画面を示す画面情報を前記共用インタラクティブ環境の全ての参加者に提供する提供手段として機能させるための請求項２３〜請求項３１の何れか１項に記載のプログラム。
【請求項３３】
前記コンピュータを、更に、
前記複数の装置の各々に対応して設けられた後入れ先出し方式で画像を多層的に蓄積可能な画像スタックに画像を蓄積する蓄積手段として機能させるための請求項２３〜請求項３２の何れか１項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の開示は、装置のビデオ画像及びそれらの環境とインタラクトすることによって、一人又はそれ以上のユーザが一つ又はそれ以上の実世界装置とインタラクトすることを可能にする、グラフィカルコンピュータインタフェースに関する。
より具体的には、共用インタラクティブ環境で情報を交換するための方法、システム及びプログラムに関する。
【背景技術】
【０００２】
実世界とのインタラクション（対話）は様々な方法で達成することができる。極端な例では、人はそれと直接インタラクトすることができる（例えば扉を押してそれを開けるなど）。別の極端では、人は、制御パネル又はソフトウェアプログラムなどの様々なレベルの間接性を介して実世界とインタラクトすることができる。実世界との直接的インタラクションは、人が変化を引き起こすおそらく最も直観的な方法であるが、時々そのようなインタラクションは、危険な状態であるため（例えば核燃料の操作）、規模の問題（例えば単細胞有機体の内部の操作）、及び距離の問題（例えば遠隔会議）のため、不可能である。
【０００３】
インターネットを介しての遠隔会議は、遠隔学習など、多くの用途にますます普及が高まっている。遠隔参加により、学生は自分の寮の部屋から授業に出席することができ、科学者は他の国々で開催されるセミナーに参加することができ、重役は彼らの執務室を離れることなく重要な問題を協議することができる。そのような活動をサポートする多数の方法がある。一方向音声放送、双方向音声通信、及び双方向映像通信などである。
特許文献１は、ディスプレイスクリーンの背後にカメラを備え、会議参加者がお互いを目で見ながら会議を行うことができる遠隔会議用端末を開示している。同様に、特許文献２は、高解像度のビデオ映像を提供するビデオ会議システムを開示している。
【０００４】
このような通信のための画像を得るための技術としては、特許文献３に、ＰＴＺカメラを用いて、共用の多重解像度ビデオ画像を捕捉し、複数のユーザーに供給する装置および方法が、また特許文献４に、複数のユニバーサルヘッドに支持されたカメラを遠隔地からパンおよびチルトさせることができる遠隔制御装置が開示されている。同様に、特許文献５は、テレビカメラを自動的にパンおよびチルトさせるテレビカメラパンヘッド制御システムを開示している。また、特許文献６は、モニタしたい場所のビデオ画像を得ることができる自動テレビカメラ監視システムを、特許文献７は、ビデオ会議システムにおいて自動的にカメラの中心に撮影対象を捉えるよう調整する方法を開示している。特許文献８では、撮影装置からの画像信号を拡大出力するための拡大処理手段を備えた撮影装置を開示している。また、特許文献９は、テレビ会議や遠隔監視等で所望のカメラ姿勢を指示できるカメラ制御システム、装置および方法が開示されている。
遠隔地での参加者や装置等の動きを検知する技術として、特許文献１０は、前方監視赤外線レーダーやレーザーなどの監視手段を備え、目標物を検知するレーザー照準システムを開示している。特許文献１１は、複数のセンサーによる時間遅延推定によって、電話会議等での音声の発信源を推定する装置および方法を開示している。
またインタラクションの技術として、特許文献１２は、一定の空間領域内で装置との対話を制御することができる視覚的ユーザーインターフェースを開示する。特許文献１３は、グラフィカルユーザーインターフェースを使用したカメラ制御装置およびディスプレイ装置を開示している。
ネットワークを介したコミュニケーションの例としては、特許文献１４は、ネットワーク通信を介して購買注文を行うことができるシステムおよび方法を開示している。また、特許文献１５は、ＩＳＤＮ等の通信回線を経由して遠隔地間で画像を送受信する画像通信システム、装置、および方法を開示している。
【０００５】
しかし、これらの技術はどれも参加者に与えられる直観的インタラクションの量は制限される。
【特許文献１】米国特許第４９２８３０１号公報
【特許文献２】米国特許第５７５７４２４号公報
【特許文献３】米国特許出願第２００４／００１７３８６号公報
【特許文献４】米国特許第４５６６０３６号公報
【特許文献５】米国特許第５５２３７８３号公報
【特許文献６】米国特許第５５０４５２０号公報
【特許文献７】米国特許第５５２８２８９号公報
【特許文献８】米国特許第６４７６８６８号公報
【特許文献９】特開２０００−３２３１９号公報
【特許文献１０】米国特許第５１１４２２７号公報
【特許文献１１】米国特許第５７３７４３１号公報
【特許文献１２】米国特許第６６４２８４６号公報
【特許文献１３】米国特許第６４５２６２８号公報
【特許文献１４】米国特許第５９６０４１１号公報
【特許文献１５】米国特許出願第２００２／００５４２１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は、装置のビデオ画像及びそれらの環境とインタラクトすることによって、一人又はそれ以上のユーザが一つ又はそれ以上の実世界装置と直観的にインタラクトすることを可能にする、グラフィカルコンピュータインタフェースを供給することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するための、本発明の第１の態様は、共用インタラクティブ環境で情報を交換するための方法であって、共用インタラクティブ環境で情報を交換するための方法であって、パノラマカメラによって全景が撮影されて得られたビデオストリームとしての全景映像を全景映像用画面に表示する全景映像表示ステップと、前記全景映像用画面に予め定められた複数の装置の各々を示す各装置画像が表示された場合、該全景映像用画面に表示されている何れか１つの該装置画像を含む表示領域をズーム撮影対象として指定するズーム対象指定ステップと、前記ズーム対象指定ステップで指定された前記表示領域をズームカメラによりズーム撮影するズーム撮影ステップと、前記ズームカメラによってズーム撮影されて得られたビデオストリームとしてのズーム映像をズーム映像用画面に表示するズーム映像表示ステップと、前記全景映像用画面及び前記ズーム映像用画面のうちの一方の画面に表示されている１つの前記装置画像を指定することにより該装置画像により示される装置を情報の転送元として指定すると共に、他方の画面に表示されている他の１つの前記装置画像を指定することにより該装置画像により示される装置を情報の転送先として指定する転送元・転送先指定ステップと、前記複数の装置の各々を示す各装置画像の特徴を示す特徴情報、及び前記転送元から転送される転送情報を受け入れ可能な転送先であるか否かを示す転送先適否情報が前記複数の装置毎に予め対応付けられて構成されたデータベースを参照して、前記転送元・転送先指定ステップで指定された転送先が前記転送元・転送先指定ステップで指定された転送元から転送される前記転送情報を受け入れ可能な転送先であるか否かを判定する判定ステップと、前記判定ステップで受け入れ可能な転送先であると判定された場合、前記転送元・転送先指定ステップで指定された転送元から前記転送元・転送先指定ステップで指定された転送先に前記転送情報を転送する転送ステップと、前記判定ステップで受け入れ可能な転送先でないと判定された場合、前記転送情報を転送することができないことを報知する報知ステップと、を含む。
【０００８】
本発明の第２の態様は、  共用インタラクティブ環境で情報を交換するためのシステムであって、パノラマカメラによって全景が撮影されて得られたビデオストリームとしての全景映像を全景映像用画面に表示する全景映像表示手段と、前記全景映像用画面に予め定められた複数の装置の各々を示す各装置画像が表示された場合、該全景映像用画面に表示されている何れか１つの該装置画像を含む表示領域をズーム撮影対象として指定するズーム対象指定手段と、前記ズーム対象指定手段で指定された前記表示領域をズーム撮影するズームカメラと、前記ズームカメラによってズーム撮影されて得られたビデオストリームとしてのズーム映像をズーム映像用画面に表示するズーム映像表示手段と、前記全景映像用画面及び前記ズーム映像用画面のうちの一方の画面に表示されている１つの前記装置画像を指定することにより該装置画像により示される装置を情報の転送元として指定すると共に、他方の画面に表示されている他の１つの前記装置画像を指定することにより該装置画像により示される装置を情報の転送先として指定する転送元・転送先指定手段と、前記複数の装置の各々を示す各装置画像の特徴を示す特徴情報、及び前記転送元から転送される転送情報を受け入れ可能な転送先であるか否かを示す転送先適否情報が前記複数の装置毎に予め対応付けられて構成されたデータベースを参照して、前記転送元・転送先指定手段で指定された転送先が前記転送元・転送先指定手段で指定された転送元から転送される前記転送情報を受け入れ可能な転送先であるか否かを判定する判定手段と、前記判定手段で受け入れ可能な転送先であると判定された場合、前記転送元・転送先指定手段で指定された転送元から前記転送元・転送先指定手段で指定された転送先に前記転送情報を転送する転送手段と、前記判定手段で受け入れ可能な転送先でないと判定された場合、前記転送情報を転送することができないことを報知する報知手段と、を含む。
【０００９】
本発明の第３の態様は、コンピュータを、パノラマカメラによって全景が撮影されて得られたビデオストリームとしての全景映像を全景映像用画面に表示させる全景映像表示手段、前記全景映像用画面に予め定められた複数の装置の各々を示す各装置画像が表示された場合、該全景映像用画面に表示されている何れか１つの該装置画像を含む表示領域をズーム対象指定手段によりズーム撮影対象として指定させる手段、前記ズーム対象指定手段で指定された前記表示領域をズームカメラによってズーム撮影されて得られたビデオストリームとしてのズーム映像をズーム映像用画面に表示させるズーム映像表示手段、前記全景映像用画面及び前記ズーム映像用画面のうちの一方の画面に表示されている１つの前記装置画像を指定することにより該装置画像により示される装置を情報の転送元として指定すると共に、他方の画面に表示されている他の１つの前記装置画像を指定することにより該装置画像により示される装置を転送元・転送先指定手段により情報の転送先として指定させる手段、前記複数の装置の各々を示す各装置画像の特徴を示す特徴情報、及び前記転送元から転送される転送情報を受け入れ可能な転送先であるか否かを示す転送先適否情報が前記複数の装置毎に予め対応付けられて構成されたデータベースを参照して、前記転送元・転送先指定手段で指定された転送先が前記転送元・転送先指定手段で指定された転送元から転送される前記転送情報を受け入れ可能な転送先であるか否かを判定する判定手段、前記判定手段で受け入れ可能な転送先であると判定された場合、前記転送元・転送先指定手段で指定された転送元から前記転送元・転送先指定手段で指定された転送先に前記転送情報を転送する転送手段、及び前記判定手段で受け入れ可能な転送先でないと判定された場合、前記転送情報を転送することができないことを報知する報知手段として機能させるためのプログラムである。
【発明を実施するための最良の形態】
【００１４】
本発明を、例として添付の図面の図に示すが、この例に限定されない。図面では、同様の参照符号は同様の要素を示す。本開示において参照する「一」実施形態又は「一つの」実施形態とは、必ずしも同一の実施形態を指すものではなく、かつ、そのような実施形態は少なくとも一つという意味であることに注意されたい。
【００１５】
以下の説明で、本発明の様々な態様について記載する。しかし、本発明が本発明の一部だけの態様又は全ての態様で実施することができることを、当業者は理解されるであろう。特定の数字、材料、及び形状構成は、説明を目的として、本発明の完全な理解をもたらすために記載するものである。しかし、本発明は特定の細部の項目を伴わずに実施することができることを、当業者は理解されるであろう。他の実施例では、本発明を曖昧にしないために、周知の特徴については省略又は簡略化する。
【００１６】
説明の一部分は、当業者が彼らの仕事の内容を当業他者に伝えるために一般的に使用される様式にあわせて、データ、選択、検索、生成などのようなデータ処理用語で表現する。当業者にはよく理解される通り、これらのものは、プロセッサ及びそのサブシステムの電気的、光学的、及び／又は生物学的コンポーネントを通して格納、転送、結合、及びその他の操作が可能な電気的、磁気的、又は光学的信号の形を取る。
様々な操作は、本発明の理解に最も役立つ方法で、複数の個別のステップとして順次説明するが、記載の順序は、これらの操作が必然的に順序に依存することを暗に示すと解釈すべきではない。
【００１７】
様々な実施形態について、オブジェクト指向プログラミングのパラダイムで例示的クラス及び／又はオブジェクトの点から説明する。説明のためにここに含まれるものだけではなく、任意の個数の異なるクラス／オブジェクトを使用して本発明を実施することができることが、当業者には明らかであろう。さらに、本発明が特定のソフトウェアプログラミング言語又はプログラミングパラダイムに限定されないことも明らかであろう。
【００１８】
図１は、一実施形態におけるグラフィカルユーザインタフェース（ＧＵＩ）の図である。ウィンドウ（ＧＵＩ）１００は、同じ物理的場所（例えば会議室）の二つのライブビデオ画像を表示する。一実施形態では、ライブビデオ画像は、例えばネットワークの帯域幅制限のために、低フレームレートで更新される。別の実施形態では、ライブビデオ画像は画像の変化を反映して必要に応じてのみ更新することができる。さらに別の実施形態では、ライブビデオ画像は、原画像の変化を表す差分（ｄｅｌｔａ）画像の流れから構成される。
【００１９】
分かりやすくするために、この絵図では、ビデオ画像は実際のビデオ信号のビットマップではなく、簡単な図で表されている。図は、ビデオ画像で見られる物理的装置を強調している。上のウィンドウ（画面）１０２は場所の全景映像を表示する一方、下のウィンドウ（画面）１０４は全景映像内の領域１０６のクローズアップ（又はズーム）映像を表示する。ズーム領域は全景映像内のいずれかの領域とすることができる。ズーム領域が小さければ小さいほど、ズーム映像の倍率が大きくなる。別の実施形態では、ズーム領域をズーム映像とすることもできる。この場合、ズーム映像をさらに拡大して、ズーム領域だけを示すことができる。映像によって示される場所に、多数の装置がユーザーに可視である。装置は通信チャネル（例えばＩＥＥＥ８０２．１１、インターネット、ブルートゥース（登録商標）、赤外線等）を通して制御及び／又は操作することができる。一例であって、これに限定されないが、全景画面１０２は二つのディスプレイ（１０８及び１１０）、ポータブルコンピュータ１１２、及びプリンタ１１４を含む。また、スピーカ、マイクロホン、照明等のような他の装置があってもよい。ユーザ（又は参加者）は、後で説明するように、ＧＵＩの使用を通して、これらの物理的装置とインタラクトすることができる。
【００２０】
一例であって、この例に限定されないが、ＧＵＩはウェブブラウザのアプリケーション、独立したアプリケーション、又は両者の組み合わせとして実行することができる。一実施形態では、ＧＵＩはＪａｖａ（登録商標）アプレットとして実現することができる。Ｊａｖａ（登録商標）プログラミング言語及び実行環境は、カリフォルニア州サンノゼのサン・マイクロシステムズ社から入手可能である。ＧＵＩは、例であってこれに限定されないがインターネットのようなネットワークに接続することのできるどのようなコンピューティング装置でも実行することができる。さらに例であってこれに限定されないが、装置はパーソナルコンピュータ、ラップトップ又はタブレットコンピュータ、パーソナルデータアシスタント（ＰＤＡ）、携帯電話機、パーソナル通信装置、ウェアラブルコンピューティング装置等とすることができる。ディスプレイ装置はプラズマポスタボード、プロジェクタ、ビデオモニタ、テレビジョン、画像映写システム、電子ホワイトボード等を含むことができる。
【００２１】
ビデオストリームは、パノラマカメラ及びパン−チルト−ズーム（ＰＴＺ）カメラを含む特殊カメラシステム（以下「ＦｌｙＳＰＥＣ」という）によって画面（ｖｉｅｗ）（１０２、１０４）に提供される。パノラマカメラは固定され、ある場所の全景映像を提供する一方、ＰＴＺカメラはパン、チルト、及びズームすることが可能であり、それにより該場所の一部分をパノラマカメラの解像度を越えて拡大することが可能になる。一実施形態では、全景カメラは二台の通常の固定カメラで構成され、ＰＴＺカメラはパノラマカメラの上に取り付けられる。ＰＴＺカメラをパノラマカメラの近くに配置することによって、撮影したい装置がカメラから比較的遠い場合に、ＰＴＺカメラが使用する座標系を、パノラマカメラが使用する座標系に近似させることができる。そのような座標の近似化により、ＰＴＺカメラを移動させる目的でパノラマカメラからＰＴＺカメラへの複雑な座標変換を行う必要が無くなる。別の実施形態では、両方のカメラが独立した座標系を持つことができ、一方の座標系から他方にマッピングするための機能を設けることができる。
【００２２】
一実施形態では、ＦｌｙＳＰＥＣパノラマカメラは二台の固定カメラで約１００°の視野をカバーすることができる。各固定カメラは、５８°の視野及び６．３５ｍｍ（１／４インチ）の５１２×４９２カラーＣＣＤセンサを持つことができる。ＰＴＺカメラは４８．８°の視野、約８．６７ｍｍ（１／３インチ）の７６８×４９２カラーＣＣＤセンサ、及び１２倍光学ズームを持つことができる。ＰＴＺカメラは−１００°から＋１００°までパンし、かつ−２５°から＋２５°までチルトすることができるので、それはパノラマシステムによってカバーされる全ての位置に動かすことができる。ＰＴＺカメラの最小視野は約４．４°であるので、ＰＴＺカメラが一実施形態で達成することのできる最高倍率はおよそ、
倍率ｍａｘ＝（５８×７６８）／（４．４×５１２）＝１９．７７
である。
これは、パノラマカメラによって捕捉される３９×２５の画像をＰＴＺカメラによって７６８×４９２の画像に拡大することができることを意味する。別の実施形態では、より高倍率のＰＴＺカメラを使用することができる。
【００２３】
本開示は、単一の場所に単一のＦｌｙＳＰＥＣを持つことに限定されない。さらに、本開示は、多数のユーザが様々な装置上の様々なＧＵＩから所与のＦｌｙＳＰＥＣにアクセスすることを想定している。二名以上のユーザがＦｌｙＳＰＥＣを使用する場合、異なるユーザが異なるズーム領域に焦点を合わせることを希望するかもしれないので、ＰＴＺカメラの使用に関して競合が発生するかもしれない。一実施形態では、管理アルゴリズムが競合するカメラコマンドを調整する。ユーザからのコマンドは類似の映像要求のグループに分けられる。ＰＴＺカメラはズームインし、ユーザが小さい装置を明瞭に見ることを可能にすることができる。他方、パノラマカメラは多数のユーザに同時に異なるビデオストリームを提供することができ、広い視野の適正な映像を提供することができる。調整アルゴリズムは、最も要求の厳しい（すなわち最高ズームインを要求する）画像要求のグループに対して画像を供給するためにＰＴＺカメラを使用し、それほど高い解像度を必要としない一般ユーザに対して画像を供給するためにパノラマカメラ画像ストリームのスケールを決定する。
【００２４】
再び図１を参照すると、ユーザが所定の場所内でＦｌｙＳＰＥＣカメラを巡回させたり、位置を変更したりできるように利用可能なユーザ選択可能なコントロール（ＧＵＩコントロール）がある。一実施形態において、ＧＵＩによって使用中のＦｌｙＳＰＥＣの物理的位置は、場所内のＦｌｙＳＰＥＣ（「映像１」）と同様に、ウィンドウ１００のタイトルバー（「会議室Ｂ」）から明らかである。別の実施形態では、ＦｌｙＳＰＥＣカメラは、ロボット又は他の装置のような可動性プラットフォーム上に取り付けることができるので、それを所定の場所内で再配置したり、位置を完全に変更することができる。ユーザ選択可能なコントロール１１６は、ユーザがＦｌｙＳＰＥＣカメラの物理的位置を変更することを可能にする。一例であってこの例に限定されないが、全ての潜在的に移動可能な場所のインタラクティブマップをユーザに提供することによって、ユーザがＦｌｙＳＰＥＣカメラの物理的位置を変更することができる。また、場所選択プロセスの一環として、ユーザに新しい位置のＦｌｙＳＰＥＣを選択させることもできる。代替的に、ＧＵＩは、デフォルト又は初期映像として指定された新しい位置のＦｌｙＳＰＥＣに接続することができる。ユーザ選択可能なコントロール１１８は、ユーザに所定の場所内でＦｌｙＳＰＥＣカメラを変更させることができ（二台以上ある場合）、したがって所望の映像が得られるまで、ユーザは各ＦｌｙＳＰＥＣを巡回させることができる。
【００２５】
ＧＵＩとインタラクトするユーザは、多数の方法のいずれかを使用してズーム領域を選択することができる。図２は、一実施形態におけるズーム領域の選択の図である。ズーム領域は、ユーザによっていずれかの映像に引かれた対角線２０２の端点を対角とする、包含矩形（ｂｏｕｎｄｉｎｇ  ｒｅｃｔａｎｇｌｅ）２０４によって、決定することができる。前記包含矩形２０４がズーム領域になる。ユーザは、マウス、ペン、指、音声コマンド、ハンドジェスチャなどを含むがそれらに限定されない多数の任意の入力装置を使用して、対角線（直線である必要はない）を引くことができる。全景画面１０２に線を引いた場合、結果として得られるズーム領域がズーム画面１０４に表示される。ズーム画面に線が引かれる場合、そのズーム画面はユーザの選択した領域まで表示するようにさらに拡大される。別の実施形態では、ユーザは、カーソルが映像の一つにあるときにユーザがマウスボタンをクリックした場合に、マウスカーソルを中心にした（かつデフォルト倍率を有する）ズーム領域を設定するアイコン２００を選択することができる。例えば、ユーザがアイコン２００を選択し、次いでマウスカーソルが全景画面内にあるときにマウスボタンをクリックした場合、ズーム領域は、クリックの時点でマウスカーソルがあった位置を中心とする（デフォルトサイズの）領域を占める。ビデオストリーム内の装置を選択して操作するために使用されるいずれの入力装置（まだ着想されていないものを含む）も、この開示の範囲及び意図に含まれると考えられる。
【００２６】
全景画面１０２及びズーム画面１０４で装置を単に見るだけでなく、ユーザは、装置が一つ又はそれ以上の画面に定義された「ホットスポット」を持つ場合、装置とインタラクトすることができる。図３は、一実施形態の装置の「ホットスポット」の図である。ホットスポットとは、ビデオ画像ストリーム内の装置（例えばディスプレイ、プリンタ、スキャナ、スピーカ、コンピュータ、照明制御装置等）と交わる画面の領域である。ホットスポットを持つ装置は、ＧＵＩ１００を通して操作することができる。図３におけるホットスポットは、説明のために、破線の矩形によって示されている。一例であってこの例に限定されないが、ユーザがホットスポット上にマウスカーソル（又は他の入力装置）を配置すると、一実施形態は、デフォルトカーソルが自動的に直観的なアイコン（例えばプリンタ装置を示すべくプリンタアイコン）に変化することによって、ユーザにホットスポットのことを気付かせる。マウスカーソルをアイコンに変化させる代わりに、又はそれに加えて、名前、装置の種類、及び／又は装置状態を示す吹き出しボックスを表示することができる。例えば、図３には「プラズマディスプレイ１」及び「プラズマディスプレイ２」の吹き出しを有する二つのプラズマディスプレイボード、ファックス機（「ジョーのファックス機」）、ラップトップコンピュータ（「スーのラップトップ」）、及びプリンタ（「プリンタ１（オフライン）」がある。一実施形態では、ユーザはアイコン３００を選択することによって、全てのホットスポット及び／又はコールアウトを表示させることができる。
【００２７】
装置のホットスポットは静的又は動的に定義することができる。一実施形態では、ユーザに映像（１０２又は１０４）内で境界領域を指定させ、装置属性をその領域に関連付けさせるツールにより、静的ホットスポットを定義することができる。非限定例として、図１で、ユーザは映像１０２でプリンタ装置１１４の周りに矩形を描くことによって、プリンタ装置１１４のホットスポットを指定することができる。そうした後で、入力ウィンドウが表示され、ユーザにプリンタの属性を指定させることができる。この例では、そのような情報は装置の種類（プリンタ）、製造型式、ネットワークアドレス（例えばユニフォームリソースロケータ、インターネットプロトコルアドレス等）、及びＧＵＩの挙動を含めることができる。ＧＵＩの挙動は、次のことを含めることができる。
・マウスカーソル（又は他の入力装置カーソル）が装置のホットスポット上に配置されたときに変化するかどうか、及び変化する場合にはどのように変化すべきか。
・装置に関連付けられる吹き出しボックスがあるかどうか、及びある場合にはそこにどんな情報を含めるか。
・装置が「ドラッグ」操作を受け入れることができるかどうか。
・装置が「ドロップ」操作を受け入れることができるかどうか。
・装置がポップアップ制御パネルを持つかどうか、及び持つ場合には制御パネルの内容。
【００２８】
装置のＧＵＩの挙動と同様にその属性も当然、オブジェクト指向ソフトウェアパラダイムではクラスとして表すことができる。一実施形態では、装置はクラス階層で定義することができ、そこでより特定的な装置の種類が、より特定的でないものから属性及び挙動を継承することができる。この例に限定されないが、「Ｌｅｘｍａｒｋ  Ｅ３２３」プリンタクラスは、一般の「レーザプリンタ」クラスから継承することができる。上述したＧＵＩの挙動の他に、装置クラスのメソッドは、マウスカーソルが装置のホットスポットに出入りしたとき、マウスドラッグ、マウスドロップ、マウスボタンアクティビティ等のようなＧＵＩイベントのためのハンドラを含むこともできる。装置の定義は装置データベースに格納することができる。
【００２９】
一実施形態では、無線送信機を取り付けられた装置が、その装置のホットスポットを位置付けかつ装置を識別するために使用される信号を出したときに、動的に定義されるホットスポットを発生させることができる。一例であってこの例に限定されないが、そのような信号はＩＥＥＥ８０２．１１、ブルートゥース（登録商標）、又は他のワイヤレス標準に準拠することができる。所与の位置に無線方向探知機（ＲＤＦ）又は同様の装置がある場合、送信機を備えた装置は、ホットスポット領域の中心を送信源に置くことによって、それにホットスポットを動的に割り当てることができる。代替的に、送信信号自体が、装置の位置に関する情報を運ぶことができる。一実施形態では、ＲＤＦはＦｌｙＳＰＥＣに配置することができる。送信信号はまた、装置を装置データベースに存在する予め定められた装置又は一般的装置のいずれかであるか識別することもできる。それが一般的装置である場合、装置の属性及び挙動を厳密にモデル化する装置クラスを動的に作成することができる。別の実施形態では、音響信号に基づいて装置の位置を決定することができる。市販の音響位置探知器として、インターセンス社（マサチューセッツ州バーリントン（Ｂｕｒｌｉｎｇｔｏｎ，Ｍａｓｓａｃｈｕｓｅｔｔｓ））製のＩＳ−６００マーク２精密モーショントラッカがある。いずれの場合も、装置クラスは装置の物理的寸法に関する情報を持つことができ、これを位置情報と一緒に使用して、装置のホットスポットの境界領域を定義することができる。送信された信号が装置の位置を提供しない場合、送信信号の強さに基づき、又は別の実施形態ではレーダを使用することによって、ＲＤＦからの装置の距離を推定することができる。
【００３０】
一実施形態では、動的に定義されたホットスポットは、ＦｌｙＳＰＥＣの映像内の装置の画像パターン認識を通して発生させることができる。ＦｌｙＳＰＥＣから来るビデオストリームが装置（例えばプリンタ、スキャナ、ビデオモニタ等）を意味する形状として解析される場合、装置クラスをすぐに作成してそのように認識された装置の属性及び挙動をモデル化することによって、これらの装置を装置データベースに自動的に追加することができる。別の実施形態では、動的に認識された装置がＩＲ（赤外線）インタフェースを持つ場合（多くのオーディオ／ビジュアル装置がそうであるように）、その装置クラスは、ＧＵＩに制御パネルを表示する挙動を含めることができる。制御パネルは、ＧＵＩユーザが装置にＩＲコマンドを送信することによって装置を構成／制御することを可能にする。そのような実施形態は、装置と同じ場所にＩＲ送信機を含めることを想定している。任意選択的に、ＩＲ送信機はＦｌｙＳＰＥＣの一部とすることができる。別の実施形態では、ＦｌｙＳＰＥＣは、所与の場所内で再配置したり、又は場所を完全に変更することができるように、ロボットなどの可動性プラットフォーム上に取り付けることができる。そのような構成は、ＦｌｙＳＰＥＣが動き回って装置と遭遇したときに装置を制御することを可能にする。
【００３１】
ユーザがＧＵＩの装置とインタラクトするための一つの方法は、装置に特有の制御パネルを通すものである。図４は、一実施形態におけるポップアップ制御パネルの図である。装置の挙動メソッドの一部として、装置は、ＧＵＩによる要求に応答して制御パネルを表示するメソッドを持つことができる。一例であってこの例に限定されないが、これは、マウスカーソルが装置のホットスポット内にあるときにユーザがマウスボタンを選択することによって、音声コマンドを通して、マウス又はハンドジェスチャを通して、等々によりトリガすることができる。また一例であってこれに限定されないが、プラズマディスプレイボード４００は、ユーザが映像１０２内でビデオ画像ストリームとインタラクトすることによってディスプレイを制御することを可能にする制御パネル４０２を有する。制御パネルは、ディスプレイをオン又はオフにするためのオン／オフボタン４０４、ディスプレイのコントラストを調整するためのコントラストボタン４０６、及び他の表示機能にアクセスするためのメニューボタン４０８を含む。全ての装置はそのようなポップアップ制御パネルを持つことができ、それらはそれ自体多くのネストしたレベルのＧＵＩを含むことができる。多数のユーザが多数のコンピューティング装置でＧＵＩを利用することがあるので、一人のユーザによって（例えば制御パネルを介して）装置に行なわれた変更は、他の全ユーザの画面に反映される。
【００３２】
別の実施形態では、ユーザは、ドラッグアンドドロップメタファを通して装置情報を操作することによって、ビデオ画像ストリームに示された実世界装置とインタラクトすることができる。ドラッグアンドドロップ（Ｄ＆Ｄ）は、ユーザがＧＵＩにおける起点装置を選択し（例えばマウスカーソルが装置上にあるときにマウスボタンを押し下げることによって）、装置の表現（例えばアイコン、画像等）をＧＵＩの別の場所に「ドラッグ」し（例えばマウスカーソルを新しい場所に移動しながら、マウスボタンを押し続けることによって）、次いで行先装置に表現を「ドロップ」する（通常、マウスボタンを離すことによって）ことによって機能する。Ｄ＆Ｄは単にマウスジェスチャのみによって達成されるとは限らない。それはまた、音声コマンド、ハンドジェスチャ、他のマウスジェスチャ、人間の視線目の追跡等を通しても達成することができる。本開示が、単一のユーザ入力装置、又はＧＵＩとインタラクトする方法に限定されないことを理解されたい。
【００３３】
図５は、一実施形態におけるドラッグアンドドロップ機能の図である。図５における曲線は、可能なドラッグアンドドロップの起点及び行先を、それらを相互に接続することによって示すが、マウスのような入力装置を操作するための動作の、特定の順序又は特定の技術を示唆又は指示するものではない。ローカルアイコン５００は、ユーザのコンピューティング装置に存在するファイル及び／又は情報を表しており、ＧＵＩ１００と共にユーザが見ることができる。一実施形態では、アイコンはコンピューティング装置のデスクトップメタファ又は他のＧＵＩ上で見ることができる。ユーザは起点ファイル／情報５００をドラッグして、それをビデオ画面１０２又は１０４の一方内の装置（例えば行先ディスプレイ１０８又は１１０、プリンタ１１４、及び／又はコンピューティング装置１１２）上にドロップすることができる。ユーザがファイル／情報を上述した装置上にドロップしようとするときに、ＧＵＩは、それがその「ドロップ」要求を受け入れることのできる挙動メソッドを有するかどうかを調べるために、装置クラスを照会することができる。有する場合には、ドロップ動作が許可される。そうでない場合、マウスカーソルを、その装置がドロップ目標ではないことを反映するように変化させることができる（例えばマウスカーソルを「Ｘ」に変化させることができる）。装置がドロップ要求を受け入れることができる場合、ファイル／情報５００は実際に装置に転送（すなわちコピー又は移動）される。非限定例として、行先装置がディスプレイである場合（矢印５０２、５０６、５０８）、ファイル／情報を装置に表示することができる。行先装置がプリンタである場合（矢印５１０）、ファイル／情報を印刷することができる。行先装置がコンピューティング装置である場合（矢印５０４）、ファイル／情報をコンピューティング装置に転送することができる。行先装置が携帯電話機（図示せず）である場合、ファイル／情報は電話機に転送される。単に例証のためにここにリストしたものだけではなく、通信チャネルを通して通信することのできるどんな装置でも、潜在的にそのようなＤ＆Ｄスキームの一部とすることができることを理解されたい。さらに、ファイル／情報は、画像、音声、文書、スライド表現、オーディオ／ビデオ表現、及びストリーミング媒体を含むがそれらに限らず、どんな種類のデジタル情報でも含むことができることを理解されたい。いうまでもなく、一人のユーザが映像に変化をもたらすＤ＆Ｄ操作を実行すると、その変化は、（ＧＵＩの他のインスタンスを通して）その画面をその時共用している全ての他のユーザにも明らかになる。
【００３４】
ユーザのローカルコンピューティング装置からライブビデオ映像に表示されている装置にファイル／情報をドラッグすることに加えて、逆のこともまた当てはまる。ユーザはビデオ画面（１０２又は１０４）内の装置からユーザのローカル装置のデスクトップメタファ又はファイルシステムに情報をドラッグすることができる。動作中、マウスカーソルは、転送されているファイル／情報の種類を表すように変化することができる。この例に限定されないが、Ｄ＆Ｄ操作の起点がディスプレイ装置である場合、マウスカーソルはディスプレイ装置上の現在の表示画面のサムネイルスケッチに変化することができる。ディスプレイ装置からドラッグされてユーザのコンピューティング装置にドロップされるファイル／情報は（矢印５０２、５０６、５０８）、Ｄ＆Ｄ操作が行なわれたときにディスプレイ装置に表示されていたグラフィカル情報の表現を含むことができる。一実施形態では、ディスプレイ装置（又はそれらを管理するプロセス）は、画像スタックを実現することができる。画像スタックはスタックデータ構造のように（すなわち後入れ先出し）動作し、スタックの最上部の画像が実際に表示される画像となる。ファイルがディスプレイで「ドロップ」されると、それはスタックの最上部に追加される。画像がディスプレイから「ドラッグ」されると、それはスタックの最上部から除去され、次いでスタックの新しい最上部がその場所に表示される。ここでも同様に、一人のユーザが画面に変化をもたらすＤ＆Ｄ操作を実行すると、その変化は、（ＧＵＩの他のインスタンスを通して）その画面をその時共用している全ての他のユーザにも明らかになる。
【００３５】
ユーザのコンピューティング装置へ及びそこからファイル／情報をドラッグすることに加えて、ファイル又は情報を、画面に表示されている装置へ／からドラッグすることができる。一例であってこの例に限定されないが、ファイル／情報をディスプレイの間でドラッグすることができる（矢印５１２、５１８）。一実施形態では、ファイル／情報を一つのディスプレイから別のディスプレイにドラッグすると、起点ディスプレイ装置の画像スタックの最上部が除去され、行先ディスプレイ装置の画像スタックの最上部に置かれる。これは、一つのディスプレイから別のディスプレイに画像をドラッグする効果を有する。情報／ファイルはまたディスプレイ及びコンピューティングの間で（矢印５１４、５１６）、ディスプレイ及びプリンタの間で（矢印５２０、５２４、５２２）、及びコンピューティングからプリンタへ（矢印５３０）ドラッグすることもできる。ここでも同様に、一人のユーザが画面に変化をもたらすＤ＆Ｄ操作を実行すると、その変化は、（ＧＵＩの他のインスタンスを通して）その画面をその時共用している全ての他のユーザにも明らかになる。
【００３６】
また別の実施形態では、ユーザは装置及び映像に注釈を付けることによってそれらとインタラクトすることができる。図６は、一実施形態における注釈の絵図である。一実施形態では、ユーザが画面（１０２、１０４）及び／又は画面内に表示される装置に注釈（例えばメモや図など）を付けることを可能にするために、注釈ツール６０４を設けることができる。一人のユーザが注釈を作成／変更／削除すると、その結果は、（ＧＵＩの他のインスタンスを通して）その画面をその時共用している全ての他のユーザが見ることができる。注釈６００は、一実施形態においてＧＵＩ１００で注釈ツール６０４を選択した後でマウスにより描くことのできる、会議参加者の手書きの名前（「ジョン」）である。注釈６０２は、画面に表示されたディスプレイ装置１０８上に描かれた注釈の例である。この場合、ユーザは画面（１０２、１０４）の一方に表示されているグラフの一部分を丸で囲った。ディスプレイ装置（又はそのディスプレイ管理プロセス）が画像スタックを実現している場合、注釈はスタックの最上部の画像（すなわち現在表示されている画像）に適用することができる。一実施形態では、注釈の一部分のみがディスプレイ装置に重なっている場合でも、それは全体が装置の画像スタックの最上部に適用される。また別の実施形態では、ディスプレイと重なった注釈の部分だけが装置の画像スタックに適用される。その装置を見ている他の全てのユーザ（装置が位置する場所に実際に存在する視聴者を含めて）が注釈を見ることができる。加えて、注釈がズーム領域内に含まれる場合、それはズーム画面１０４でも見ることができる。
【００３７】
図７は、一実施形態における共用インタラクティブ環境を提供する統合システムの図である。この図はプロセスを機能的に別個のように描写しているが、そのような描写は単に説明を目的とするものにすぎない。図７に描かれたプロセスは任意に別個のソフトウェア、ファームウェア、又はハードウェアコンポーネントを組み合わせたり、あるいは分割することができることを当業者は理解されるであろう。さらに、そのような装置は、それらをどのように組み合わせ、あるいは分割するかに関係なく、同一コンピューティング装置で実行することができ、あるいは、ネットワークによって接続された異なるコンピューティング装置の間で任意に分散することができることも、当業者にとっては明らかであろう。
【００３８】
共用インタラクティブ環境で操作することが可能な物理的装置及びプロセスは全て、一つ又はそれ以上のネットワーク７００（例えばインターネット）によって接続することができる。装置（７０２〜７１８）は一つ又はそれ以上の別個の物理的場所に分散することができる。共用インタラクティブ環境の一部である各場所は、一つ又はそれ以上のＦｌｙＳＰＥＣ装置を有する。ＦｌｙＳＰＥＣ装置は、画像ストリームを多数のユーザに配布する性能を改善するために、映像サーバハードウェア（７０２、７０４）を取り付けることができる。一実施形態では、一つ又はそれ以上のＦｌｙＳＰＥＣマネージャプロセス７２０がＦｌｙＳＰＥＣ装置を構成し、制御する。一実施形態では、前記ＦｌｙＳＰＥＣマネージャプロセスが（ＦｌｙＳＰＥＣ装置上の）固定カメラからビデオストリームを捕捉し、リアルタイムでそれを全景ビデオストリームに繋ぎ合わせることができる。ＦｌｙＳＰＥＣ装置及び／又はＦｌｙＳＰＥＣマネージャからのビデオストリームは、一つ又はそれ以上のエンドユーザコンピューティング装置（７２６、７３４）の各々に表示するために、どの場所及び映像が選択されているかに応じて、供給される。各エンドユーザコンピューティング装置はＧＵＩ１００のインスタンスを実行する。一つ又はそれ以上の装置制御装置７２２が、エンドユーザのＧＵＩとのインタラクション（例えば制御パネル、Ｄ＆Ｄ等を通しての）に基づいて装置（７０２〜７１８）を制御する役割を担う。一つ又はそれ以上の装置データベース７２４が、画像パターン認識又はＲＤＦを介して動的に追加される装置を含めて、各装置（７０２〜７１８）の情報（例えば装置クラス）を格納することができる。別の実施形態では、ＧＵＩ１００のインスタンスを実行しているエンドユーザコンピューティング装置（７２６、７２４）を一場所に配置し、他の装置で実行しているＧＵＩ１００の他のインスタンスにより操作することができる。
【００３９】
装置トラッカ７２８は、新しく発見された装置（例えば無線周波数送信又は画像パターン認識を通して発見された装置）を追跡し続ける役割を担う。装置トラッカはこれらの装置に新しいクラスを作成し、それらのホットスポットを定義し、装置データベースを更新し、影響を受けるＧＵＩに新しいホットスポットのことを通知して、エンドユーザが新しい装置とインタラクトすることができるようにする。ディスプレイマネージャ７３０は、画像スタックを利用する全てのディスプレイ装置（７０８、７１８）の画像スタックを管理する役割を担う。装置制御装置７２２は、ポップアップ制御パネル又はＤ＆Ｄを通して行なわれるようなエンドユーザのインタラクションを実行するために、コマンドを装置（７０２〜７１８）に送る役割を担う。
【００４０】
一実施形態は、コンピュータ技術の熟練者には明瞭であるように、本開示の教示に従ってプログラムされた従来の汎用又は専用デジタルコンピュータ又はマイクロプロセッサを使用して実現することができる。ソフトウェア技術の熟練者には明瞭であるように、熟練プログラマは、本開示の教示に基づいて、適切なソフトウェアコーディングを容易に作成することができる。本発明はまた、当業者には容易に理解されるように、集積回路の作成によって、あるいは適切な従来の構成回路のネットワークを相互接続することによって、実現することもできる。
【００４１】
一実施形態は、記憶媒体であるコンピュータプログラム製品を含み、記憶媒体には、本発明に提示した機能のいずれかを実行するようコンピュータをプログラムするのに使用できる命令が格納される。記憶媒体は、フロッピディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び磁気光ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気又は光学カード、ナノシステム（分子メモリＩＣを含む）をはじめとする任意の種類のディスク、あるいは命令及び／又はデータを格納するのに適した任意の種類の媒体又は装置を含むことができるが、それらに限定されない。
【００４２】
本発明は、コンピュータ可読媒体のいずれか一つに格納され、汎用／専用コンピュータ又はマイクロプロセッサのハードウェアの両方を制御するための、及びコンピュータ又はマイクロプロセッサが本発明の結果を利用して人間のユーザ又は他の機構とインタラクトすることを可能にするためのソフトウェアを含む。そのようなソフトウェアは、装置ドライバ、オペレーティングシステム、実行環境／コンテナ、及びユーザアプリケーションを含むことができるが、それらに限定されない。
【００４３】
本発明の好適な実施形態の上記記述は、例証及び説明のために提示したものである。開示した厳密な形態は全てを網羅するものではなく、本発明をそれらに限定するものではない。多くの変形及び変化が当業者には明らかであろう。実施形態は、本発明の原理及びその実際の適用を最もよく説明し、それによって他の当業者が本発明、様々な実施形態及び予想される特定の用途に適した様々な変形を理解することを可能にするために選択し、記述した。本発明の範囲は請求の範囲の記載及びそれに相当する記載によって定義されるものである。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施形態におけるグラフィカルユーザインタフェース（ＧＵＩ）の図。
【図２】本発明の一実施形態におけるズーム領域の選択を示す図。
【図３】本発明の一実施形態における装置の「ホットスポット」の図。
【図４】本発明の一実施形態におけるポップアップ制御パネルの図。
【図５】本発明の一実施形態におけるドラッグアンドドロップ機能の図。
【図６】本発明の一実施形態における注釈の図。
【図７】本発明の一実施形態における共用インタラクティブ環境を提供する統合システムの図。
【符号の説明】
【００４５】
１００  ウィンドウ（ＧＵＩ）
１０２  画面（全景画面）
１０４  画面（ズーム画面）
１１６  コントロール（ＦｌｙＳＰＥＣの位置を変更する）
１１８  コントロール（操作するＦｌｙＳＰＥＣを変更する）
２００  アイコン（ズーム領域設定）
３００  アイコン（ホットスポット表示）
４０２  制御パネル
６０４  注釈ツール
７０２  ＦｌｙＳＰＥＣ
７０４  ＦｌｙＳＰＥＣ
７２０  ＦｌｙＳＰＥＣマネージャ
７２２  装置制御装置
７２８  装置トラッカ
７３０  ディスプレイマネージャ
【図１】
0004645090.tif 000002
【図２】
0004645090.tif 000003
【図３】
0004645090.tif 000004
【図４】
0004645090.tif 000005
【図５】
0004645090.tif 000006
【図６】
0004645090.tif 000007
【図７】
0004645090.tif 000008