(57)【要約】【課題】コンピュータ上のデジタル空間を実世界空間へ拡張、および両空間の間のインタラクションを、直感的で且つ容易にする。【解決手段】２つの空間の媒介となる物理オブジェクトを利用したインタフェース環境を構築する。環境に配置された各種情報を表示可能な表示面１１、１２と、表示面を撮影可能なカメラ１７と、表示面上に載置され各種情報を表示可能な可搬型の物理オブジェクト１６と、表示面、カメラ及び物理オブジェクトに接続された環境埋め込み型のコンピュータ１５とを備える。コンピュータは、カメラによる入力画像に基づいて、各物理オブジェクトの識別及び位置を認識する処理と、実行するタスクを選択する処理と、選択されたタスクの実行結果に基づいて、表示面及び物理オブジェクトに表示されている情報を更新する処理とを備える。【選択図】  図１
2004164069.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ上のデジタル空間が実世界空間に拡張される環境において、該２つの空間の媒介となる物理オブジェクトを利用したインタフェース環境を構築するための情報制御システムであって、
前記環境に配置された各種情報を表示可能な１つ以上の表示面と、前記表示面を撮影可能な１つ以上の画像入力手段と、前記表示面上に載置され各種情報を表示可能な１つ以上の可搬型の物理オブジェクトと、前記表示面、画像入力手段、及び物理オブジェクトに接続された環境埋め込み型のコンピュータとを備え、
前記コンピュータは、前記画像入力手段による入力画像に基づいて、各物理オブジェクトの識別及び位置を認識する処理と、実行するタスクを選択する処理と、該選択されたタスクの実行結果に基づいて、前記表示面及び物理オブジェクトに表示されている情報を更新する処理のための各手段を備えたことを特徴とする情報制御システム。
【請求項２】
前記コンピュータは、該コンピュータから各物理オブジェクトに表示指示した情報の内容を利用して、各物理オブジェクトの識別及び位置を認識することを特徴とする請求項１に記載の情報制御システム。
【請求項３】
前記コンピュータは、該コンピュータから各表示面に表示指示した情報の内容を利用して、各物理オブジェクトの識別、及び位置を認識することを特徴とする請求項１に記載の情報制御システム。
【請求項４】
コンピュータ上のデジタル空間が実世界空間に拡張される環境において、該２つの空間の媒介となる物理オブジェクトを利用したインタフェース環境を構築するための情報制御システムであって、
前記環境に配置された各種情報を表示可能な１つ以上の表示面と、前記表示面上に載置され各種情報を表示可能な１つ以上の可搬型の物理オブジェクトと、前記物理オブジェクトをセンシングする１つ以上のセンシング手段と、前記表示面、物理オブジェクト、及びセンシング手段に接続された環境埋め込み型のコンピュータとを備え、
前記コンピュータは、前記センシング手段のセンシング結果に基づいて、各物理オブジェクトの識別及び位置を認識する処理と、実行するタスクを選択する処理と、該選択されたタスクの実行結果に基づいて、前記表示面及び物理オブジェクトに表示されている情報を更新する処理のための各手段を備えたことを特徴とする情報制御システム。
【請求項５】
前記コンピュータは、連続した各物理オブジェクトの識別情報、及び位置情報、現在の各物理オブジェクトの位置に対応する各表示面上の位置に表示されている情報、及び各物理オブジェクトに表示されている情報を利用して、実行するタスクを選択する手段を備えたことを特徴とする請求項１または４に記載の情報制御システム。
【請求項６】
前記コンピュータは、各表示面に表示されている情報を更新する際に、現在の各物理オブジェクトの位置に該当する箇所を避けて、表示するための情報を生成し、表示面へ情報を提示することを特徴とする請求項１または４に記載の情報制御システム。
【請求項７】
前記コンピュータは、各物理オブジェクトに表示されている情報を更新する際に、表示対象となる情報が映像情報といった時系列情報である場合に、該情報を要約した情報を生成し、物理オブジェクトへ情報を提示することを特徴とする請求項１または４に記載の情報制御システム。
【請求項８】
前記物理オブジェクトは、固有のＩＤを有しており、ネットワークにて前記コンピュータに接続され、該コンピュータから表示指示のあった情報を表示する手段を有することを特徴とする請求項１または４に記載の情報制御システム。
【請求項９】
コンピュータ上のデジタル空間が実世界空間に拡張される環境において、該２つの空間の媒介となる物理オブジェクトを利用したインタフェース環境を構築するための情報制御方法であって、
前記環境は、各種情報を表示可能な１つ以上の表示面と、前記表示面を撮影可能な１つ以上の画像入力手段と、前記表示面上に載置され各種情報を表示可能な１つ以上の可搬型の物理オブジェクトと、前記表示面、画像入力手段、及び物理オブジェクトに接続された環境埋め込み型のコンピュータとを備え、
前記コンピュータは、
（１）前記画像入力手段による入力画像に基づいて、各物理オブジェクトの識別及び位置を認識するステップと、
（２）実行するタスクを選択するステップと、
（３）該選択されたタスクの実行結果に基づいて、前記表示面及び物理オブジェクトに表示されている情報を更新するステップと、
を具備することを特徴とする情報制御方法。
【請求項１０】
前記ステップ（１）では、前記コンピュータから各物理オブジェクトに表示指示した情報の内容を利用して、各物理オブジェクトの識別及び位置を認識することを特徴とする請求項９に記載の情報制御方法。
【請求項１１】
前記ステップ（１）では、前記コンピュータから各表示面に表示指示した情報の内容を利用して、各物理オブジェクトの識別及び位置を認識することを特徴とする請求項９に記載の情報制御方法。
【請求項１２】
コンピュータ上のデジタル空間が実世界空間に拡張される環境において、該２つの空間の媒介となる物理オブジェクトを利用したインタフェース環境を構築するための情報制御方法であって、
前記環境は、各種情報を表示可能な１つ以上の表示面と、前記表示面上に載置され各種情報を表示可能な１つ以上の可搬型の物理オブジェクトと、前記物理オブジェクトをセンシングする１つ以上のセンシング手段と、前記表示面、物理オブジェクト、及びセンシング手段に接続された環境埋め込み型のコンピュータとを備え、
前記コンピュータは、
（１）前記センシング手段のセンシング結果に基づいて、各物理オブジェクトの識別及び位置を認識するステップと、
（２）実行するタスクを選択するステップと、
（３）該選択されたタスクの実行結果に基づいて、前記表示面、及び物理オブジェクトに表示されている情報を更新するステップと、
を具備することを特徴とする情報制御方法。
【請求項１３】
前記ステップ（２）では、連続した各物理オブジェクトの識別情報、及び位置情報、現在の各物理オブジェクトの位置に対応する各表示面上の位置に表示されている情報、及び各物理オブジェクトに表示されている情報を利用して実行するタスクを選択することを特徴とする請求項９または１２に記載の情報制御方法。
【請求項１４】
前記ステップ（３）では、各表示面に表示されている情報を更新する際に、現在の各物理オブジェクトの位置に該当する箇所を避けて、表示するための情報を生成し、表示面へ情報を提示することを特徴とする請求項９または１２に記載の情報制御方法。
【請求項１５】
前記ステップ（３）では、各物理オブジェクトに表示されている情報を更新する際に、表示対象となる情報が映像情報といった時系列情報である場合に、該情報を要約した情報を生成し、物理オブジェクトへ情報を提示することを特徴とする請求項９または１２に記載の情報制御方法。
【請求項１６】
請求項９〜１５のいずれか１項に記載の情報制御方法を、コンピュータで実行可能に構成したことを特徴とする情報制御方法のプログラム。
【請求項１７】
請求項９〜１５のいずれか１項に記載の情報制御方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コンピュータに対してユーザの直感的で分かり易いインタフェース環境の構築、特に、コンピュータ上のデジタル空間（仮想空間）が実世界空間に拡張される環境において、これら２つの空間の媒介となるインタフェース環境の構築に関する。
【０００２】
【従来の技術】
最近、コンピュータのインタフェースに関する新しい技法として、実世界指向のユーザインターフェースが注目されている。これは、本来はコンピュータディスプレイ上に限定されているデジタル空間を、実世界空間に拡張する技術である。この実世界指向インタフェースによれば、ディスプレイだけでなくコンピュータが設置されたテーブルや部屋の壁なども拡張されたディスプレイとして機能し、コンピュータが設置された部屋全体に、デジタル空間が拡張される。
【０００３】
これらの実世界指向インタフェースを実現する手法として、例えば、Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐと呼ばれる手法がある（非特許文献１参照）。これは、グラフィカルユーザインタフェース（ＧＵＩ）環境下で利用されている「ドラッグ・アンド・ドロップ」を拡張したものであり、複数のコンピュータ間におけるデータ等の移動を実世界での直感的な動作にマッピングしたテクニックである。しかしながら、この手法は、コンピュータ上のオブジェクトをピックし、それに続いてターゲットにドロップする必要があり、非常に直感的ではあるが、空間的、時間的に、連続した操作でなければならない。
【０００４】
こうした制約を排除するために、コンピュータ上のオブジェクトを物理的なオブジェクトに結び付けて、その物理オブジェクトを利用する手法も提案されている。例えば、ＭｅｄｉａＢｌｏｃｋｓ（非特許文献２参照）は、物理的なブロックを利用して、コンピュータ上のオブジェクトとそのブロックの有するＩＤを結びつけることにより、そのブロックに一時的にオブジェクトを格納し、他のコンピュータなどへの移動を実現することができる。
【０００５】
更に、物理オブジェクトにビジュアルマーカをつけることにより、日常利用されるあらゆる物を利用できるように拡張した情報入出力システム及び情報入出力方法がある（特許文献３参照）。
【０００６】
【非特許文献１】
Ｊ．Ｒｅｋｉｍｏｔｏ，Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ，ＡＤｉｒｅｃｔ  Ｍａｎｉｐｕｌａｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  Ｍｕｌｔｉｐｌｅ  Ｃｏｍｐｕｔｅｒ  Ｅｎｖｉｒｏｍｎｅｎｔｓ，ＵＩＳＴ’９７，Ｐ．３１−３９，１９９７
【０００７】
【非特許文献２】
Ｂ．Ｕｌｌｍｅｒ，Ｈ．Ｉｓｈｉｉ  ａｎｄ  Ｄ．Ｇｌａｓ，ＭｅｄｉａＢ１ｏｃｋｓ，Ｐｈｙｓｉｃａｌ  ｃｏｎｔａｉｎｅｒｓ，ｔｒａｎｓｐｏｒｔｓ  ａｎｄ  ｃｏｎｔｒｏｌｓ  ｆｏｒ  ｏｎｌｉｎｅ  ｍｅｄｉａ，ＳＩＧＧＲＡＰＨ’９８，Ｐ．３７９−３８６．１９９８
【０００８】
【特許文献３】
特開平２００１−１７５３７４
【０００９】
【発明が解決しようとする課題】
前記のような従来方式では、物理オブジェクトに対して結び付けられた情報は、接続先、例えば、ディスプレイ、プリンタ、メール、などに表示や出力することなしに、その内容を確認することはできない。そのため、その物理オブジェクトに、タイトルなどその内容が確認できる情報を記載するなどする必要がある。また、そうしたインデクスは、ある塊の映像や音声といった時系列情報に対しては効果的ではない。
【００１０】
本発明の目的は、コンピュータ上のデジタル空間を実世界空間に拡張することができ、直感的で且つ容易なインタフェース環境を提供することにある。
【００１１】
また、本発明の更なる目的は、そのデジタル空間と実世界空間の間のインタラクションを直感的で且つ容易にすることができる、優れたインタフェース環境を提供することにある。
【００１２】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、コンピュータ上のデジタル空間が実世界空間に拡張される環境において、２つの空間の媒介となる物理オブジェクトを利用したインタフェース環境を構築するための情報制御システムであって、
環境に配置された各種情報を表示可能な１つ以上の表示面と、表示面を撮影可能な１つ以上の画像入力手段と、表示面上に載置され各種情報を表示可能な１つ以上の可搬型の物理オブジェクトと、表示面、画像入力手段、及び物理オブジェクトに接続された環境埋め込み型のコンピュータとを備え、
コンピュータは、画像入力手段による入力画像に基づいて、各物理オブジェクトの識別及び位置を認識する処理と、実行するタスクを選択する処理と、該選択されたタスクの実行結果に基づいて、表示面、及び物理オブジェクトに表示されている情報を更新する処理とを具備することを特徴とする。
【００１３】
コンピュータは、以下に示すような処理を実施することが可能である。
【００１４】
（ａ）該コンピュータから各物理オブジェクトに表示指示した情報の内容を利用して、各物理オブジェクトの識別及び位置を認識する処理。
【００１５】
（ｂ）該コンピュータから各表示面に表示指示した情報の内容を利用して、各物理オブジェクトの識別及び位置を認識する処理。
【００１６】
（ｃ）連続した各物理オブジェクトの識別情報、及び位置情報、現在の各物理オブジェクトの位置に対応する各表示面上の位置に表示されている情報、及び各物理オブジェクトに表示されている情報を利用して、実行するタスクを選択する処理。
【００１７】
（ｄ）各表示面に表示されている情報を更新する際に、現在の各物理オブジェクトの位置に該当する箇所を避けて、表示するための情報を生成し、表示面へ情報を提示する処理。
【００１８】
（ｅ）各物理オブジェクトに表示されている情報を更新する際に、表示対象となる情報が映像情報といった時系列情報である場合に、該情報を要約した情報を生成し、物理オブジェクトへ情報を提示する処理。
【００１９】
また、物理オブジェクトは、固有のＩＤを有しており、ネットワークにて前記コンピュータに接続され、該コンピュータから表示指示のあった情報を表示する処理を有してもよい。
【００２０】
また、本発明の他の側面は、コンピュータ上のデジタル空間が実世界空間に拡張される環境において、２つの空間の媒介となる物理オブジェクトを利用したインタフェース環境を構築するための情報制御方法であって、前記環境は、各種情報を表示可能な１つ以上の表示面と、前記表示面を撮影可能な１つ以上の画像入力手段と、前記表示面上に載置され各種情報を表示可能な１つ以上の可搬型の物理オブジェクトと、前記表示面、画像入力手段、及び物理オブジェクトに接続された環境埋め込み型のコンピュータとを備え、
（１）前記画像入力手段による入力画像に基づいて、各物理オブジェクトの識別情報、及び位置情報を認識するステップと、（２）実行する処理を選択するステップと、（３）該選択された処理の結果に基づいて、前記表示面、及び物理オブジェクトに表示されている情報を更新するステップとを具備することを特徴とする情報制御方法である。
【００２１】
前記ステップ（１）では、前記コンピュータから各物理オブジェクトに表示指示した情報の内容を利用して、各物理オブジェクトの識別及び位置を認識してもよく、また、前記コンピュータから各表示面に表示指示した情報の内容を利用して、各物理オブジェクトの識別及び位置を認識してもよい。
【００２２】
前記ステップ（２）では、連続した各物理オブジェクトの識別情報、及び位置情報、現在の各物理オブジェクトの位置に対応する各表示面上の位置に表示されている情報、及び各物理オブジェクトに表示されている情報を利用して、実行する処理を選択してもよい。
【００２３】
前記ステップ（３）では、各表示面に表示されている情報を更新する際に、現在の各物理オブジェクトの位置に該当する箇所を避けて、表示するための情報を生成し、表示面へ情報を提示してもよく、また、各物理オブジェクトに表示されている情報を更新する際に、表示対象となる情報が映像情報といった時系列情報である場合には、該情報を要約した情報を生成し、物理オブジェクトへ情報を提示してもよい。
【００２４】
以上のような情報制御システム及び方法により、本発明は、デジタル空間と実世界空間の２つの空間の媒介を、実世界における物理オブジェクトを利用することにより、コンピュータ上のデジタル空間が実世界空間に拡張される好適な環境を提供する。
【００２５】
また、本発明に係る物理オブジェクトの操作により、その空間間のインタラクションを制御することにより、直感的で且つ容易なインタフェース環境を構築する。
【００２６】
また、本発明によれば、各物理オブジェクトが視覚的な情報を表示する手段を有することにより、処理対象となる情報がどのような情報であるかがすぐ分かり、直感的で且つ容易なインタフェース環境を構築する。
【００２７】
さらには、各物理オブジェクトに対して個々のデジタル情報の対応づけが可能になることにより、コンピュータの論理空間に埋没してしまいがちなデジタル情報の効果的な管理を実現する。
【００２８】
以上のことから、本発明は、以下の情報制御システム、情報制御方法、プログラム、記録媒体を特徴とする。
【００２９】
（情報制御システムの発明）
（１）コンピュータ上のデジタル空間が実世界空間に拡張される環境において、該２つの空間の媒介となる物理オブジェクトを利用したインタフェース環境を構築するための情報制御システムであって、
前記環境に配置された各種情報を表示可能な１つ以上の表示面と、前記表示面を撮影可能な１つ以上の画像入力手段と、前記表示面上に載置され各種情報を表示可能な１つ以上の可搬型の物理オブジェクトと、前記表示面、画像入力手段、及び物理オブジェクトに接続された環境埋め込み型のコンピュータとを備え、
前記コンピュータは、前記画像入力手段による入力画像に基づいて、各物理オブジェクトの識別及び位置を認識する処理と、実行するタスクを選択する処理と、該選択されたタスクの実行結果に基づいて、前記表示面及び物理オブジェクトに表示されている情報を更新する処理のための各手段を備えたことを特徴とする。
【００３０】
（２）前記コンピュータは、該コンピュータから各物理オブジェクトに表示指示した情報の内容を利用して、各物理オブジェクトの識別及び位置を認識することを特徴とする。
【００３１】
（３）前記コンピュータは、該コンピュータから各表示面に表示指示した情報の内容を利用して、各物理オブジェクトの識別、及び位置を認識することを特徴とする。
【００３２】
（４）コンピュータ上のデジタル空間が実世界空間に拡張される環境において、該２つの空間の媒介となる物理オブジェクトを利用したインタフェース環境を構築するための情報制御システムであって、
前記環境に配置された各種情報を表示可能な１つ以上の表示面と、前記表示面上に載置され各種情報を表示可能な１つ以上の可搬型の物理オブジェクトと、前記物理オブジェクトをセンシングする１つ以上のセンシング手段と、前記表示面、物理オブジェクト、及びセンシング手段に接続された環境埋め込み型のコンピュータとを備え、
前記コンピュータは、前記センシング手段のセンシング結果に基づいて、各物理オブジェクトの識別及び位置を認識する処理と、実行するタスクを選択する処理と、該選択されたタスクの実行結果に基づいて、前記表示面及び物理オブジェクトに表示されている情報を更新する処理のための各手段を備えたことを特徴とする。
【００３３】
（５）前記コンピュータは、連続した各物理オブジェクトの識別情報、及び位置情報、現在の各物理オブジェクトの位置に対応する各表示面上の位置に表示されている情報、及び各物理オブジェクトに表示されている情報を利用して、実行するタスクを選択する手段を備えたことを特徴とする。
【００３４】
（６）前記コンピュータは、各表示面に表示されている情報を更新する際に、現在の各物理オブジェクトの位置に該当する箇所を避けて、表示するための情報を生成し、表示面へ情報を提示することを特徴とする。
【００３５】
（７）前記コンピュータは、各物理オブジェクトに表示されている情報を更新する際に、表示対象となる情報が映像情報といった時系列情報である場合に、該情報を要約した情報を生成し、物理オブジェクトへ情報を提示することを特徴とする。
【００３６】
（８）前記物理オブジェクトは、固有のＩＤを有しており、ネットワークにて前記コンピュータに接続され、該コンピュータから表示指示のあった情報を表示する手段を有することを特徴とする。
【００３７】
（情報制御方法の発明）
（９）コンピュータ上のデジタル空間が実世界空間に拡張される環境において、該２つの空間の媒介となる物理オブジェクトを利用したインタフェース環境を構築するための情報制御方法であって、
前記環境は、各種情報を表示可能な１つ以上の表示面と、前記表示面を撮影可能な１つ以上の画像入力手段と、前記表示面上に載置され各種情報を表示可能な１つ以上の可搬型の物理オブジェクトと、前記表示面、画像入力手段、及び物理オブジェクトに接続された環境埋め込み型のコンピュータとを備え、
前記コンピュータは、
（１）前記画像入力手段による入力画像に基づいて、各物理オブジェクトの識別及び位置を認識するステップと、
（２）実行するタスクを選択するステップと、
（３）該選択されたタスクの実行結果に基づいて、前記表示面及び物理オブジェクトに表示されている情報を更新するステップとを具備することを特徴とする。
【００３８】
（１０）前記ステップ（１）では、前記コンピュータから各物理オブジェクトに表示指示した情報の内容を利用して、各物理オブジェクトの識別及び位置を認識することを特徴とする。
【００３９】
（１１）前記ステップ（１）では、前記コンピュータから各表示面に表示指示した情報の内容を利用して、各物理オブジェクトの識別及び位置を認識することを特徴とする。
【００４０】
（１２）コンピュータ上のデジタル空間が実世界空間に拡張される環境において、該２つの空間の媒介となる物理オブジェクトを利用したインタフェース環境を構築するための情報制御方法であって、
前記環境は、各種情報を表示可能な１つ以上の表示面と、前記表示面上に載置され各種情報を表示可能な１つ以上の可搬型の物理オブジェクトと、前記物理オブジェクトをセンシングする１つ以上のセンシング手段と、前記表示面、物理オブジェクト、及びセンシング手段に接続された環境埋め込み型のコンピュータとを備え、
前記コンピュータは、
（１）前記センシング手段のセンシング結果に基づいて、各物理オブジェクトの識別及び位置を認識するステップと、
（２）実行するタスクを選択するステップと、
（３）該選択されたタスクの実行結果に基づいて、前記表示面、及び物理オブジェクトに表示されている情報を更新するステップとを具備することを特徴とする。
【００４１】
（１３）前記ステップ（２）では、連続した各物理オブジェクトの識別情報、及び位置情報、現在の各物理オブジェクトの位置に対応する各表示面上の位置に表示されている情報、及び各物理オブジェクトに表示されている情報を利用して実行するタスクを選択することを特徴とする。
【００４２】
（１４）前記ステップ（３）では、各表示面に表示されている情報を更新する際に、現在の各物理オブジェクトの位置に該当する箇所を避けて、表示するための情報を生成し、表示面へ情報を提示することを特徴とする。
【００４３】
（１５）前記ステップ（３）では、各物理オブジェクトに表示されている情報を更新する際に、表示対象となる情報が映像情報といった時系列情報である場合に、該情報を要約した情報を生成し、物理オブジェクトへ情報を提示することを特徴とする。
【００４４】
（プログラムの発明）
（１６）請求項９〜１５のいずれか１項に記載の情報制御方法を、コンピュータで実行可能に構成したことを特徴とする。
【００４５】
（記録媒体の発明）
（１７）請求項９〜１５のいずれか１項に記載の情報制御方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする。
【００４６】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。図１には、本発明に係る環境の構築例を模式的に示している。
【００４７】
同図に示すように、テーブル１１や壁面１２にデジタル情報を表示するために、１つ以上のＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）プロジェクタ１３あるいは埋め込み型ディスプレイ（プラズマディスプレイなど平面型が望ましい。）が、設置されている。各ＬＣＤプロジェクタ１３、及びディスプレイが表示する内容は、ネットワーク１４によって相互接続されたコンピュータ１５によって制御される。
【００４８】
テーブル１１や壁面１２におけるデジタル情報の表示内容や、テーブル１１上で操作される物理オブジェクト１６を捕捉するために、カメラ１７が設置されている。カメラ１７は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラでよく、固定であってもよいし、パン・チルト・ズームなどの制御可能なカメラであってもよい。このカメラ１７によって捕捉された画像は、ネットワーク１４によって相互接続されたコンピュータ１５によって画像処理が行われる。
【００４９】
また、物理オブジェクト１６は、表示手段が備えられたものであれば、どのような可搬型の物理オブジェクトでもよく、各物理オブジェクトが表示する内容は、ネットワーク１４によって接続されたコンピュータ１５によって制御される。このネットワークは、通常のケーブル接続でもよいし、より自由度の高い操作を実現するために、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などその他の手段によって接続されていてもよい。
【００５０】
更に、これらに接続された環境埋め込み型のコンピュータ１５は、例えば米ＩＢＭ社のＰＣ／ＡＴ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ／Ａｄｖａｎｃｅｄ  Ｔｅｃｈｎｏｌｏｇｙ）互換機でよい。なお、図１に示した例では、コンピュータ１５は１台のコンピュータとして構成されているが、複数台のネットワーク接続されたコンピュータシステムとして構成されても、勿論問題はない。このときには、各コンピュータ同士は、ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）経由でネットワーク１４に相互接続されてもよいし、無線ＬＡＮなどその他の手段によって接続されていてもよい。
【００５１】
図２は、コンピュータ１５に搭載する情報制御のためのソフトウェア構成を示す。画像入力部１５Ａはカメラ１７で撮影した現在または時系列画像を取得し、表示指示受付部１５ＢはＬＣＤプロジェクタ１３で表示面に映出する画像に対する表示指示情報とその映出画像を受付ける。物理オブジェクトの識別・位置認識部１５Ｃは表示指示受付けした情報の内容を利用して、各物理オブジェクトの識別と位置を認識し、このうちの識別はカメラからの入力画像から表示指示された物理オブジェクトを同定し、位置は、同定に際して２次元的な位置が認識されており、この位置での物理オブジェクトの傾きなど３次元的に認識する。
【００５２】
実行タスク選択部１５Ｄは、認識部１５Ｃで認識された、現在の各物理オブジェクトの位置情報から、現在の各物理オブジェクトの位置に対応する各表示面上の位置に表示されている情報と各物理オブジェクトに表示されている情報を対応付け、物理オブジェクトの動きを利用した３種類のパターンＡ，Ｂ，Ｃに応じて実行するタスクを選択する。
【００５３】
情報更新部１５Ｅは、選択されたタスクの実行結果を元に、表示面に表示されている情報を更新する。これには、表示情報を生成し、次に表示するための情報を表示面にマッピングした出力をし、時系列情報の要約情報を物理オブジェクトへ出力する。
【００５４】
続いて、本発明に係るコンピュータによって実現される各種処理について、図３に示す処理フローを参照して以下に詳細に説明する。
【００５５】
まず、カメラ画像入力（Ｓ１）と表示面画像入力とそれに対する表示画像指示受付け（Ｓ２）によって、各物理オブジェクト１６の識別、及び位置を認識する（Ｓ３，Ｓ４）。この仕組みは以下のようになる。
【００５６】
カメラ１７は、テーブル１１の表面全体を視野範囲とするように設置されており、こうして撮影された画像から、テーブル１１上の各物理オブジェクト１６の位置、及びその識別子を認識する。このとき、この物理オブジェクトに表示されている情報はコンピュータにより制御されているので、この制御と入力された画像を利用して処理を実施するが、これらは二つの側面を有する。
【００５７】
ひとつは、本来表示されているはずの情報の見え方が、画像入力手段を経由して得られた画像と同じものはどこであるかを利用するものである。即ち、色情報の一致、時系列情報の一致を捉えることにより、この物理オブジェクトを同定する。色情報を利用する場合、表示指示した模様、図形のパターンとその個々の色情報に対して、得られた画像中の関連する箇所を探索する。また、時系列情報を利用する場合、表示指示した各ドットのオンオフや色変化のパターンに対して、得られた画像中の関連する箇所を探索する。こうして、一致が見られた箇所を探索することにより、各物理オブジェクトを同定する（Ｓ３）。この識別により、表示面上での２次元的な位置も認識していることになる。
【００５８】
これに続いて、各物理オブジェクトが傾いている、回転しているといった動き、あるいは、表示面上に置かれている、空間に持ち上げられている、といった３次元的な位置を認識するために、もうひとつの側面である、本来表示されているはずの情報の見え方が、画像入力手段を経由して得られた画像とどれくらい異なっているかを利用する。即ち、形状の変化を捉えることにより、この物理オブジェクトの表示面の３次元位置、及びその傾きを算出する。表示指示した形状や模様に対して、得られた画像中の対応する形状や模様を探索する。そして、これらの形状や模様がどれくらい異なっているかを判定し、３次元位置、及びその傾きを算出する（Ｓ４）。
【００５９】
また、こうした画像処理をする場合に、表示面に映し出されている情報が、その処理に悪影響を及ぼすことがある。例えば、同じような色が使われていたり、大きく輝度が変化していたりする場合、安定したロバストな画像処理が難しくなる。そこで、本実施形態では、コンピュータから各表示面に表示指示した情報の内容も利用して、各物理オブジェクトの識別、及び位置を認識する。実際には、現在及び過去の撮影画像間の差分を利用したり、現在の撮影画像と表示面に表示されている画像の差分を利用したりすることによって、使用する画像の補正処理を行う。
【００６０】
次いで、実行するタスクを選択する仕組みについて説明する。本実施形態では、連続した各物理オブジェクトの識別情報、及び位置情報、現在の各物理オブジェクトの位置に対応する各表示面上の位置に表示されている情報、及び各物理オブジェクトに表示されている情報を利用して、実行するタスクを選択する。
【００６１】
現在の各物理オブジェクトの位置情報から、現在の各物理オブジェクトの位置に対応する各表示面上の位置に表示されている情報と各物理オブジェクトに表示されている情報を対応付ける。これらに表示されるデジタル情報は、制御情報、及びコンテンツ情報であり、パターンとして以下の３種類がある。
【００６２】
（Ａ）物理オブジェクト：制御情報、表示面：コンテンツ情報、（Ｂ）物理オブジェクト：コンテンツ情報、表示面：制御情報、（Ｃ）物理オブジェクト：コンテンツ情報、表示面：コンテンツ情報である。
【００６３】
上記のパターン（Ａ）の場合、物理オブジェクトの動きを利用して、物理オブジェクトに表示されている制御情報の中から選択し、タスクを決定する。パターン（Ｂ）の場合、物理オブジェクトの動きを利用して、表示面に表示されている制御情報の中から選択し、タスクを決定する。パターン（Ｃ）の場合、物理オブジェクトの動きを利用して、どちらからどちらへの制御かを決定する。
【００６４】
こうして対応づけられたデジタル情報に対して実行するタスクを選択する（Ｓ５）。このとき、物理オブジェクトの動きは、連続した各物理オブジェクトの位置情報から判定する。物理オブジェクトを置く、持ち上げる、傾ける、回転させる、といった動きを判定し、この動きに対して割り当てられた操作を実行する。
【００６５】
最後に、選択されたタスクの実行結果に基づいて、表示面、及び物理オブジェクトに表示されている情報を更新する仕組みについて説明する。
【００６６】
本実施形態では，各表示面に表示されている情報を更新する際に、現在の物理オブジェクトの位置に該当する箇所を避けて、表示するための情報を生成し（Ｓ６）、表示面へ情報を出力する（Ｓ７）。この情報出力は、実行するタスクを選択する処理において、取得している現在の各物理オブジェクトの位置情報を利用して、その位置に該当する箇所を除いた領域に、次に表示するための情報をマッピングして、表示面へ出力する。
【００６７】
さらには、各物理オブジェクトに表示されている情報を更新する際に、映像情報といった時系列情報を要約して生成した情報を、物理オブジェクトへ出力する（Ｓ８）。この要約処理は、内容の変化やカメラワークの変化に基づいて行われる。
【００６８】
以下、これまで述べてきた処理の一例を説明する。いま、図４の（ａ）に示すように、表示面２１上にデジタル情報として「Ｍｅｎｕ」２４が表示されており、また、この表示面２１上に物理オブジェクト２３が置かれていたとする。このとき、物理オブジェクト２３を傾ける操作をすることにより、制御情報である「Ｓｅｌｅｃｔ」を表示させる。さらに、図４の（ｂ）に示すように、この物理オブジェクト２３を、「Ｍｅｎｕ」２４のひとつである「ＴＶ  Ｐｒｏｇｒａｍ」上に重ねる。これにより、表示面２２では「ＴＶ  Ｐｒｏｇｒａｍ」が「Ｓｅｌｅｃｔ」されることになる。
【００６９】
これにあわせて表示面に表示されている情報が更新され、図５の（ａ）に示すように、表示面３１上にデジタル情報として「ＴＶ  Ｐｒｏｇｒａｍ」３４が表示される。続いて、物理オブジェクト３３を傾ける操作をすることにより、制御情報である「Ｒｅｃｏｒｄ」を表示させる。さらに、図５の（ｂ）に示すように、この物理オブジェクト３３を、「ＴＶ  Ｐｒｏｇｒａｍ」３４のひとつである「ドラマ」上に重ねる。これにより、表示面３２では、この「ドラマ」が物理オブジェクト３３に「Ｒｅｃｏｒｄ」されることになる。
【００７０】
こうして「Ｒｅｃｏｒｄ」が完了すると、図６の（ａ）に示すように、表示面４１上の物理オブジェクト４３に、この映像が要約されて映しだされることになる。続いて、この映像を他の機器にコピーしたいとして、メニューを選択する等の操作によって、図６の（ｂ）に示すように、表示面４２上に、選択可能な機器類４４，４５、及び４６を表示させる。このとき、物理オブジェクト４３を傾けて機器４５に重ねることにより、物理オブジェクト４３から機器４５への制御が決定され、物理オブジェクト４３に「Ｒｅｃｏｒｄ」されている映像が機器４５にコピーされることになる。
【００７１】
また、この映像中のあるシーンと類似のシーンを検索したいとして、メニューを選択する等の操作によって、図７の（ａ）に示すように、表示面５１上に、制御情報である「類似検索」５４を表示させ、これに対して、該当するシーンを表示させた状態の物理オブジェクト５３を合わせる。これにより、このシーンと類似のシーンが物理オブジェクト５３に「Ｒｅｃｏｒｄ」された映像中から探索される。これにあわせて、図７の（ｂ）に示すように、表示面５２に表示されている情報が更新され、検索結果５５が表示される。
【００７２】
また、本発明に係る環境の他の構築例としては、図８に示すようなものがある。同図に示すように、センシングテーブル６１にデジタル情報を表示するために、１つ以上のＬＣＤプロジェクタ６２が設置されている。各ＬＣＤプロジェクタが表示する内容は、ネットワーク６３によって相互接続されたコンピュータ６４によって制御される。
【００７３】
このセンシングテーブル６１は、この上の物理オブジェクト６５をセンシングするための装置であり、例えば、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）システムを利用するとしてよい。このとき、物理オブジェクト６５は、ＩＣメモリと通信回路から成るチップと超小型アンテナなどから構成される。また、センシングテーブル６１は、ＲＦモジュールとコントロールモジュールから構成され、接続された環境埋め込み型のコンピュータ６４からのデータを物理オブジェクト６５に書き込んだり、物理オブジェクト６５からのデータを環境埋め込み型のコンピュータ６４に送ったりする。また、この環境埋め込み型のコンピュータ６４は、上述した構成例と同様である。
【００７４】
なお、以上までに示した処理の一部もしくは全部の処理機能を、コンピュータを用いて実現できること、あるいは、各処理手順をコンピュータに実行させることができることは言うまでもなく、コンピュータでその各処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ，ＲＯＭ、メモリカード、ＣＤ，ＤＶＤ、リムーバルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを通じて、配布したりすることが可能である。
【００７５】
また、以上までは、特定の実施形態を参照しながら、本発明について具体的に説明したが、本発明は上記の実施形態例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。つまり、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。
【００７６】
【発明の効果】
以上述べてきたように、本発明によれば、デジタル空間と実世界空間の２つの空間の媒介を、実世界における物理オブジェクトを利用することにより、コンピュータ上のデジタル空間が実世界空間に拡張される好適な環境を提供することができる。
【００７７】
また、本発明に係る物理オブジェクトの操作により、その空間間のインタラクションを制御することにより、直感的で且つ容易なインタフェース環境を構築することができる。
【００７８】
また、本発明によれば、各物理オブジェクトが視覚的な情報を表示する手段を有することにより、処理対象となる情報がどのような情報であるかがすぐ分かり、直感的で且つ容易なインタフェース環境を構築することができる。
【００７９】
更には、各物理オブジェクトに対して個々のデジタル情報の対応づけが可能になることにより、コンピュータの論理空間に埋没してしまいがちなデジタル情報の効果的な管理を実現することができる。
【図面の簡単な説明】
【図１】本発明に係る環境の構成例を模式的に示した図。
【図２】本発明に係る情報制御のためのコンピュータのソフトウェア構成図。
【図３】本発明に係る情報制御の処理フロー。
【図４】本発明に係る処理の一例を説明するための図。
【図５】本発明に係る処理の一例を説明するための図。
【図６】本発明に係る処理の一例を説明するための図。
【図７】本発明に係る処理の一例を説明するための図。
【図８】本発明に係る処理の一例を説明するための図。
【符号の説明】
１１…テーブル（表示面）
１２…壁面（表示面）
１３…ＬＣＤプロジェクタ
１４…ネットワーク
１５…コンピュータ
１６…物理オブジェクト
１７…カメラ
２１、２２…表示面
２３…物理オブジェクト
２４…Ｍｅｎｕ
３１、３２…表示面
３３…物理オブジェクト
３４…ＴＶ  Ｐｒｏｇｒａｍ
４１、４２…表示面
４３…物理オブジェクト
４４、４５、４６…機器
５１、５２…表示面
５３…物理オブジェクト
５４…類似検索
５５…検索結果
６１…センシングテーブル（表示面）
６２…ＬＣＤプロジェクタ
６３…ネットワーク
６４…コンピュータ
６５…物理オブジェクト
【図１】
2004164069.tif 000003
【図２】
2004164069.tif 000004
【図３】
2004164069.tif 000005
【図４】
2004164069.tif 000006
【図５】
2004164069.tif 000007
【図６】
2004164069.tif 000008
【図７】
2004164069.tif 000009
【図８】
2004164069.tif 000010