(57)【要約】【課題】ユーザの目の前にある又はユーザが目にした実世界上のオブジェクトを直接指示入力する。【解決手段】通信装置１０は、ユーザの目を媒体として組み込んだシステムであり、視野をベースとしたインタラクションを行なうというメタファ（ＩＳＭ：Ｉｎｔｅｒａｃｔｉｖｅ　Ｓｉｇｈｔ　Ｍｅｔａｐｈｏｒ）を持ち、インタラクティブなコンピューティング環境を提供することができる。例えば、実世界上で所望のオブジェクトが存在するときに、ユーザがオブジェクトを眺めるという動作を基に指示入力することができる。【選択図】　図１
2004086364.tif 000002
【特許請求の範囲】
【請求項１】
実空間上のオブジェクトを直接指示入力する実世界指示装置であって、
各実世界オブジェクト毎に設置されて、送信データを表す点滅パターンを生成する符号化・変調処理部と、該点滅パターンを持つ光信号を発光する発光部とで構成される送信装置と、
ユーザの眼球からの前記光信号の反射光を受光する受光部と、受光信号を復調及び復号処理する復調・復号処理部と、復号後のデータの処理を行うデータ処理部とで構成される受信装置とを備え、
前記データ処理部は、各送信装置から受信した光信号を監視して、所定の変化が検出された光信号に対応する実世界オブジェクトについての選択動作を起動する、
ことを特徴とする実世界指示装置。
【請求項２】
送信装置から送出されユーザの眼球に到達するまでの間において光信号に所定の変化を与える光信号変形手段をさらに備える、
ことを特徴とする請求項１に記載の実世界指示装置。
【請求項３】
前記光信号変形手段は、ユーザが選択しようとする送信装置からの光信号を遮断する遮光部材で構成され、
前記データ処理部は、光信号の複数回連続した遮断を光信号の所定の変化として検出する、
ことを特徴とする請求項２に記載の実世界指示装置。
【請求項４】
前記光信号変形手段は、あらかじめ設定された周期で開閉する可動式シャッターで構成され、ユーザが選択しようとする送信装置からの光信号を設定した周期の周波数で変調し、
前記データ処理部は、光信号の変調を光信号の所定の変化として検出する、
ことを特徴とする請求項２に記載の実世界指示装置。
【請求項５】
前記送信装置の発光部は、複数の波長成分で同じ光信号を発信し、
前記光信号変形手段は、発信周波数の中間の周波数以上又は以下の光だけを透過させるエッジ・パス・フィルタで構成され、
前記受信装置では光信号を波長毎に受信して、前記データ処理部は各光信号について波長成分同士の差分をとり、差分が所定値を越えたときに光信号の所定の変化として検出する、
ことを特徴とする請求項２に記載の実世界指示装置。
【請求項６】
前記送信装置は、実世界オブジェクトに関連する情報として、オブジェクトのＩＤや、ネットワーク・アドレス、ホスト・ネーム、ＵＲＬ（Ｕｎｉｆｏｒｍ　ＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）、音楽やテキストなどのコンテンツ、プログラム・コードやその他のコマンド情報を光信号として送出する、
ことを特徴とする請求項１に記載の実世界指示装置。
【請求項７】
前記データ処理部は、復号後のデータを解析して、取得したオブジェクトＩＤに基づく実世界オブジェクトの認識・同定、ネットワーク・アドレスやホスト・ネームの取得に基づくオブジェクトとのネットワーク接続の確立、ＵＲＬの取得に基づくＷＷＷ情報探索空間での実世界オブジェクトに関連する情報の取得、音楽やテキストなどの受信コンテンツの再生、受信プログラムの起動、割り当てられたアプリケーションの実行などを行なう、
ことを特徴とする請求項１に記載の実世界指示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コンピュータに対して座標や所望のオブジェクトの指示を行なう指示装置に係り、特に、実空間上のオブジェクトを直接指示入力する実世界指示装置に関する。
【０００２】
さらに詳しくは、本発明は、特に、ユーザの目の前にある又はユーザが目にした実世界上のオブジェクトを直接指示入力する実世界指示装置に係り、特に、可視光や非可視光（あるいはその他の電磁波）などのようにオブジェクトから直接出力されるデータを基に実世界上のオブジェクトを直接指示入力する実世界指示装置に関する。
【０００３】
【従来の技術】
情報処理技術や情報通信技術が高度に発達した現代においては、パーソナル・コンピュータ（ＰＣ）や携帯情報端末を始めとする情報機器がオフィスや家庭内などの実世界上のいたるところに遍在する。このような環境下では、機器どうしを接続して、いつでもどこでも欲しい情報を入手できるようにする「ユビキタス（Ｕｂｉｑｕｉｔｏｕｓ）・コンピューティング」の実現が期待される。
【０００４】
例えば、携帯電話やＢｌｕｅｔｏｏｔｈ、あるいはＩＥＥＥ８０２．１１に代表される無線ＬＡＮなどの無線通信技術により、ユーザはケーブルから解放され、気ままに歩き回りながらネットワークにアクセスできる環境が現実のものとなりつつある。
【０００５】
また、デバイスの小型化が進み、実世界にさまざまなネットワーク・デバイスを配置して、ユーザとデバイスが連携しながらタスクを実現するという作業環境に移行しつつある。これに伴って、ユーザとコンピュータとのインタラクション・スタイルが変化することが容易に予想される。
【０００６】
ところが、ネットワーク越しにさまざまな情報が得られることは極めて便利であるが、そのために複雑なネットワーク操作を行なわなければならないのではむしろ不便である。
【０００７】
このような煩雑な手続を省略するための技術として、本出願人に既に譲渡されている特願２００２−２１１２２号明細書には、実世界上のオブジェクトに関連した情報を、ユーザに特別な作業を強いることなく、オブジェクトから直接入手することができる通信装置について開示されている。同明細書に記載の通信装置は、基本的には赤外線送信装置と赤外線受信装置の組み合わせで構成される。そして、実世界上のオブジェクトに赤外線送信機を設置して、機器ＩＤやネットワーク・アドレス、ホスト・ネーム、ＵＲＬなどの情報を赤外線データとして送信する。一方の赤外線受信機を、ユーザの眼球の反射光を受光できる場所に設置して、眼球から反射された赤外線データを信号処理及びデコードして、実世界上のオブジェクトに関連した情報を取り出して、オブジェクトとのネットワーク接続、関連するリソースへのアクセス、プログラムの実行などを行なうことができる。
【０００８】
このユーザの眼球からの反射光を利用した通信装置（ＲＥＣ：Ｒｅａｌ　Ｅｙｅ　Ｃｏｍｍｕｎｉｃａｔｏｒ）によれば、可視光や非可視光（あるいはその他の電磁波）などのようにオブジェクトから直接出力されるデータを基にオブジェクトに関連した情報を取得することができる。したがって、読み取り機器をオブジェクトに向けるような手作業を必要とせずにユーザが目にしたオブジェクトからデータを直接入手してオブジェクトに関連した情報を取得することができる。例えば、ユーザの視界の中にあるネットワーク・デバイスと自動的に通信リンクを作成する機能をユーザが携帯している端末に持たせることによって、直感的に理解でき、且つ、簡単な操作でネットワーク操作を行なうことが可能となる。
【０００９】
【発明が解決しようとする課題】
最近では、作業環境に依存しない接続方式であることから、「ユビキタス（Ｕｂｉｑｕｉｔｏｕｓ）・ネットワーク」あるいは「環境ネットワーク」とも呼ばれる、作業環境に依存しない接続方式が提案されている。ユビキタス・ネットワークは、モバイル、常時接続、バリアフリー・インターフェースなどの複数の技術を組み合わせることによって実現される。
【００１０】
本発明者らは、人間は関心のあるものを目線で直感的に追うという性質を持つことから、ユーザの目はユビキタス・システムにおける必須の構成要素であることを見出した。例えば、実世界上で所望のオブジェクトが存在するときに、ユーザがオブジェクトを眺めるという動作を基に指示入力することができれば、入力操作は直感的且つ効率的であり、優れたユビキタス操作環境であると言えよう。
【００１１】
さらに本発明者らは、このようなユビキタス・インターフェースとして、上述のユーザの眼球からの反射光を利用した通信装置の適用の可能性を検討した。
【００１２】
本発明は上述したような技術的課題を鑑みたものであり、その主な目的は、ユーザの目の前にある又はユーザが目にした実世界上のオブジェクトを直接指示入力することができる、優れた実世界指示装置を提供することにある。
【００１３】
本発明のさらなる目的は、可視光や非可視光（あるいはその他の電磁波）などのようにオブジェクトから直接出力されるデータを基に実世界上のオブジェクトを直接指示入力することができる、優れた実世界指示装置を提供することにある。
【００１４】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、実空間上のオブジェクトを直接指示入力する実世界指示装置であって、
各実世界オブジェクト毎に設置されて、送信データを表す点滅パターンを生成する符号化・変調処理部と、該点滅パターンを持つ光信号を発光する発光部とで構成される送信装置と、
ユーザの眼球からの前記光信号の反射光を受光する受光部と、受光信号を復調及び復号処理する復調・復号処理部と、復号後のデータの処理を行うデータ処理部とで構成される受信装置とを備え、
前記データ処理部は、各送信装置から受信した光信号を監視して、所定の変化が検出された光信号に対応する実世界オブジェクトについての選択動作を起動する、
ことを特徴とする実世界指示装置である。
【００１５】
本発明に係る実世界指示装置は、基本的には、赤外線などの非可視光又は可視光を送信する送信装置とその受信装置との組み合わせで構成され、ユーザの眼球からの反射光を利用した実世界指向のユーザ・インターフェースである。
【００１６】
本発明に係る実世界指示装置は、眼球からの反射を介して光信号を受信する通信システムを適用したものであり、ユーザの眼球に入射した光信号しか受信することができない。逆に言えば、ユーザから「見えていない」光送信機からの光信号は受信することができないということである。この特性を応用すると、ユーザが特定の光送信機を「指差す」などして、ユーザから見えない状態を意図的に作り出すことにより、その光送信機からの光信号が遮断されるので、光受信機側ではユーザの視野内にある各光送信機からの信号を監視して、特定の光送信機からの光信号の「中断」を検出することができる。
【００１７】
さらに光受信機側では、特定の光送信機からの光信号が中断するというイベントを、この光送信機が設置された実世界オブジェクトを「選択」したこととして解釈することにより、ユーザのインタラクションを利用した直感的な実世界インターフェースを実現することができる。
【００１８】
光受信機が接続された（あるいはこれを内蔵する）端末（例えば、ユーザの携帯型計算機）では、特定の光信号の「中断」を検知することで、ユーザがどの光送信機を「指差して」いるのかを検知することができる。このことを応用すると、実世界に存在するオブジェクトをユーザが指差すだけで、これを選択したというコンピュータ入力を実現することができる。
【００１９】
したがって、本発明に係る実世界指示装置によれば、実世界上で所望のオブジェクトが存在するときに、ユーザがオブジェクトを眺めるという動作を基に指示入力することができる、入力操作は直感的且つ効率的であり、優れたユビキタス操作環境を提供することができる。
【００２０】
特定の光送信機からの光信号の遮断を検出する際、光信号の単なる「中断」を検出しただけでは、ユーザによる「指差し」行為であるのか、あるいはユーザの前を人が横切るなど意図しないインタラクション以外の事態なのかを判別することは困難である。そこで、例えば２回の連続的な光信号の中断を検知することによって、当該光信号が「選択」されたと判断するようにすればよい。
【００２１】
また、光信号を遮断することにより光送信機を選択するという操作様式（遮断式の選択）において、光信号を遮断するために必ずしもユーザの指先を使用する必要はなく、ポインタなど棒状あるいはその他の不透光の物体に置き換えることができる。
【００２２】
例えば遮断により光送信機を選択するという操作様式において、あらかじめ設定された周期で開閉動作する可動式（高速）シャッターを利用すると、それを通過する光信号を設定周期の周波数で変調することができる。この高速シャッターを利用して特定の光送信機からの光信号を「見る」ことで、これを「選択」することができる。
【００２３】
また、光信号を遮断するだけでなく、光信号を変調するなど光信号に意図的な変化を与えることによって、光送信機を選択するという操作様式（光学式の選択）も考えられる。例えば、偏光板やバンドパス・フィルタなどの光信号の特定成分に変化を与えるような光学的性質を持った物体をポインタに用いて、光信号を遮るようにすればよい。この場合、光受信機側では、変調やその他の光信号の成分変化を識別するための信号処理が必要となる。
【００２４】
この場合、光送信機からの信号を光学的に変調することで、特定の光送信機の「選択」を指示する。例えば、光送信機から複数の波長で同じ光信号を発信し、光受信機側ではこの光信号を波長毎に受信して、それらの差分をとる。何もしない期間はこの差分は０である。ユーザが、ある光送信機を、発信周波数の中間の周波数以上（又は以下）の光だけを透過させるエッジ・パス・フィルタを介して見ると、片方の周波数成分の光信号のみ遮断される。この際、差分を観察すると、ユーザがエッジ・パス・フィルタ越しに見た光送信機から発信された信号を抽出することができる。
【００２５】
ここで、前記送信装置は、実世界オブジェクトに関連する情報として、例えば、オブジェクトのＩＤや、ネットワーク・アドレス、ホスト・ネーム、ＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）、音楽やテキストなどのコンテンツ、プログラム・コードやその他のコマンド情報などを転送することができる。
【００２６】
また、前記受信装置側では、前記データ処理部は、復号後のデータを解析して、取得したオブジェクトＩＤに基づく実世界オブジェクトの認識・同定、ネットワーク・アドレスやホスト・ネームの取得に基づくオブジェクトとのネットワーク接続の確立、ＵＲＬの取得に基づくＷＷＷ情報探索空間での実世界オブジェクトに関連する情報の取得、音楽やテキストなどの受信コンテンツの再生、受信プログラムの起動、割り当てられたアプリケーションの実行などを行なうことができる。
【００２７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００２８】
【発明の実施の形態】
人間は関心のあるものを目線で直感的に追うという性質を持つことから、ユーザの目はユビキタス・システムにおける必須の構成要素である。本発明は、このようなユビキタス・インターフェースとして、ユーザの眼球からの反射光を利用した通信装置の適用するものである。例えば、実世界上で所望のオブジェクトが存在するときに、ユーザがオブジェクトを眺めるという動作を基に指示入力することができれば、入力操作は直感的且つ効率的であり、優れたユビキタス操作環境を提供することができる。
【００２９】
以下では、まず、ユーザの眼球からの反射光を利用した通信装置（ＲＥＣ：Ｒｅａｌ　Ｅｙｅ　Ｃｏｍｍｕｎｉｃａｔｏｒ）の基本構成を説明し、次いで、この通信装置を利用した実世界指示装置の構成及びその動作について説明することにする。
【００３０】
Ａ．ユーザの眼球からの反射光を利用した通信装置（ＲＥＣ）
図１には、眼球の反射光を利用してオブジェクトと通信を行なうことができる通信システム１０の構成を模式的に示している。
【００３１】
同図に示すように、この通信システム１０では、送信側は、実世界上のオブジェクトに取り付けられており、近赤外線信号を送出する送信器１１で構成される。また、受信側は、ユーザの眼球から反射された近赤外線信号を受光・検出する受光器１２と、検出信号に対して増幅、アナログ−デジタル変換、閾値処理、フィルタリングなどの復調及び復号処理を行う信号処理部１３と、復号処理後のデジタル・データを解析して該当するアプリケーション／サービスを実行するコンピュータ１４とで構成される。
【００３２】
送信器１１は、オブジェクト表面の見え易い場所に設置された発光部と、送信データを符号化及び変調処理して点滅パターンを生成するデータ処理部（いずれも図示しない）を備えている。
【００３３】
発光部には、例えば波長８７０ｎｍの赤外線を照射する発光ダイオードを使用して、変調信号に基づいてパルス発光させる。例えば、１００マイクロ秒周期でデューティ５％のパルスを用いて１つのシンボルを表すようにしてもよい。
【００３４】
単一の発光ダイオードで充分な出力が得られない場合には、例えば、発光ダイオードを例えばＮ×Ｍマトリックス状に配置したものを発光部として用いてもよい。あるいは、複数の発光ダイオードを平面的又は空間的に配置して発光部を構成してもよい。この場合、個々の発光ダイオードの点滅パターンだけでなく、複数の信号源からの点滅パターンの組み合わせや、各信号源の空間的位置関係によって、送信データを表現することができる。
【００３５】
送信器１１側では、送信信号をスペクトラム拡散して光信号を送出するようにしてもよい。スペクトラム拡散方式を用いた場合、送信信号は広帯域に拡散された低レベルの信号として伝送されるとともに、受信側では逆拡散処理により高いレベルの信号として取り出される。また、伝搬路上のノイズは逆拡散処理により低いレベルの信号となる。したがって、空気中の減衰などの問題のある可視光を伝送媒体として使用する場合であっても、好適な通信品質を得ることができる。また、拡散に用いる符号系列が一種の暗号キーとして作用することから、通信システムの秘匿性が高まる。
【００３６】
送信器１１側からの送信データとしては、例えば、オブジェクトのＩＤや、ネットワーク・アドレス、ホスト・ネーム、ＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）／ＵＲＩ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｉｄｅｎｔｉｆｉｅｒ）などの実世界上のオブジェクトに関連した情報、音楽やテキストなどのコンテンツ、エージェントなどのネットワーク・プログラムやその他のコマンド情報などを挙げることができる。
【００３７】
一方、受光器１２は、ユーザの眼球の近傍に設置されて、ユーザがオブジェクト又はオブジェクト上に設置された送信器１１を注視している間（但し、目蓋を閉じている間を除く）に眼球からの反射光を受光して、受光量に応じた強度の電流信号に変換するようになっている。
【００３８】
このように、ユーザの眼球の近傍に設置するために、例えば眼鏡やゴーグル、ヘッドセットなどの頭部に搭載する機材に受光器１２を取り付けることが好ましい。図２には、受光器１２をゴーグルに取り付けた様子を示している。一般に人の顔は額が頬に比べて高く形成されているので、眼球の下側から瞳孔を見上げるように受光部１２を配置することにより（図３を参照のこと）、比較的狭い空間に受光部を効率的に収容することができる。
【００３９】
また、眼球の近傍であっても、頬や額などの皮膚からの反射光やその他の散乱光などのノイズ要因を排除するために、受光部１２が余分な光を拾わないようにすることが好ましい。図１に示す例では、受光器１２を円筒状の視野限定器（絞り）１５内に収容して、その円筒の中心軸を眼球に向けるようにしている。
【００４０】
受光器１２には、例えばフォトダイオード（ＰＤ）を使用することができる。フォトダイオードの半値幅は１５゜である。フォトダイオードは入射した光信号の放射照度に比例した電流を生成する光電素子である。
【００４１】
信号処理部１３では、受光器１２による検出信号に対して増幅、アナログ−デジタル変換、閾値処理、フィルタリングなどの復調・復号処理を行う。例えば、ユーザが目蓋を閉じているときやオブジェクト又は送信器１１から目線を外しているときには、検出信号強度は低下する（図４を参照のこと）。そこで、所定の閾値を下回っているときには、ユーザが目蓋を閉じていたりオブジェクト又は送信器１１から目線を外していたりして有効なデータを受信できないと判断して、カットするようにする。
【００４２】
図５には、信号処理部１３内の増幅部の内部構成を図解している。増幅部では、フォトダイオードから電流を電流電圧変換回路（Ｉ−Ｖ）で電圧信号に変換して、１０，０００倍に増幅する。そして、増幅した電圧信号から光信号の変調成分のみを検出するために、ハイパス・フィルタ（ＨＰＦ）を通過させ、さらに高周波ノイズを減衰させるためにローパス・フィルタ（ＬＰＦ）を通過させる。なお、送信器１１側が送信信号を広帯域にスペクトラム拡散して伝送する場合には、信号処理部１３では逆拡散処理により高いレベルで受光信号を取り出すことができる。
【００４３】
受光器１２及び信号処理部１３は、反射光の点滅パターンの検出を行なう能力があれば充分であり、画像フレームの処理などを必要とせず、小型且つ軽量で、安価に製作することが可能である。また、上述したように、受光器１２及び信号処理部１３をゴーグルや眼鏡、ヘッドセットに搭載する（図２を参照のこと）など、ウェアラブル機器としてデザインすることも可能である。フォトダイオードなどで構成される受光器１２がユーザの視界にあるのみで、また、波長の長い非可視光を用いているので、その強度も室内の一般照明程度あるいはそれ以下であることから、使用上で人体の健康を害する危険はない。
【００４４】
コンピュータ１４は、信号処理部１３をインターフェース接続しており、信号処理後のデジタル・データを解析して該当する処理を実行する。ここで言うデータの解析には、取得したオブジェクトＩＤに基づく実世界オブジェクトの認識・同定、ネットワーク・アドレスやホスト・ネームの取得に基づくオブジェクトとのネットワーク接続の確立、ＵＲＬの取得に基づくＷＷＷ情報探索空間での実世界オブジェクトに関連する情報の取得、音楽やテキストなどの受信コンテンツの再生、エージェントなどの受信プログラムの起動、割り当てられたコマンド（アプリケーション）の実行など、さまざまなコンピュータ処理が含まれる。
【００４５】
コンピュータ１４は、パーソナル・コンピュータ（ＰＣ）のような大型の機器である必要は必ずしもなく、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）や携帯電話機、その他ポケットに入るような小型の情報端末でもよい。
【００４６】
本実施形態に係る通信システム１０は、ユーザは関心のあるオブジェクトを眺めている、あるいは目で追っているということを前提としてする。すなわち、オブジェクトから発信される近赤外線のような非可視光線データをユーザは目で見ているので、眼球からの反射光によって非可視光線データを受信することができる。ユーザは、オブジェクトからのデータやメッセージを受け取るために、読み取り機器をオブジェクトに向けたり近付けたりボタンを操作するといった意識的な作業を行なう必要はまったくなく、単に関心のあるオブジェクトを見つめるというごく自然な動作を振舞うだけでよい。また、ユーザがオブジェクトを向いていることから、システム側は、ユーザの注視点を探索する必要がなく、処理が軽くて済む。
【００４７】
図１に示す例では、受光部１２は、フォトダイオードのような受光強度に応じた電気信号を生成するデバイスで構成されている。この場合、ユーザの眼球からのすべての反射光の受光強度を同時に検出することになるので、コンピュータ１４においては単一光源がユーザの眼球で反射して得られた受光強度に応じたデータ処理を行なうことになる。
【００４８】
受光部１２の変形例として、フォトダイオードに変えてエリア・センサを適用することが考えられる（図６を参照のこと）。このような場合、ユーザの眼球からの反射光を平面的・空間的に捕捉することができる。したがって、コンピュータ１４上では、受光した光信号が持つ強度だけでなく、その平面的又は空間的情報を複合的に処理することができる。例えば、同じ光信号データであっても、受光平面上で受光又は結像した位置、言い換えれば、発光部としての光源の位置に応じてその意味解釈を変えることができる。
【００４９】
また、受光部１２として反射光を平面的又は空間的に捕捉するエリア・センサを用いた場合には、これに合わせて、送信器１１側の発光部も、空間上に配置された複数のＬＥＤによって構成するようにしてもよい（図６を参照のこと）。このような場合、送信器１１側では、個々の光源の点滅パターンだけでなく、複数の光源による点滅パターンの組み合わせや、各光源の空間的位置関係によって、さまざまな送信データを表現することができる。そして、受光部１２がエリア・センサなどで構成されて、ユーザの眼球からの反射光を平面的・空間的に捕捉することができる場合には、これら複数の光信号を一括して受信し、各光源の組み合わせで表現されている平面的・空間的情報をデコードすることができる。
【００５０】
また、送信器１１側で信号源としての発光部を複数備えた場合であっても、受光器１２側はエリア・センサでなく、フォトダイオードによって各発光部からの光信号を同時に受信するように構成することも可能であるが、受光器１２において同時に受信された光信号を分離する必要がある。
【００５１】
図４には、受光器１２による眼球からの近赤外信号の受信強度を示している（前述）。上述したように送信器１１側では、近赤外光の点滅パターンという形態でデータを送信する。したがって、点滅パターンの駆動周波数を上げることによって、通信システム１０のビットレートが向上することは明瞭である。但し、近赤外光の点滅に対する眼球の応答速度の問題がある。眼球からの反射が追従しないほど高速に点滅させても、受光信号が鈍るなど受信エラーを招来する。
【００５２】
図４に示す例では、周波数１０Ｈｚにて点滅パターンを生成した場合の受光強度を示している。現状では、１ｋＨｚまで高速に点滅させても近赤外信号を受信処理できることが判っている。また、眼球からの反射特性を向上させるために、ユーザが特殊コンタクト・レンズを使用するなど、眼球の表面に工夫や処理を施すことも考えられる。
【００５３】
図４からも判るように、ユーザが目蓋を閉じているときや、オブジェクトから目線をそらしているときには、眼球からの反射信号レベルは低下する。このような状況の変化を用いて、ユーザがオブジェクトに注視している、オブジェクトが視野の中に入っている（視野の中に入ってぼんやり見ている）といった、注目の度合いに応じて、オブジェクトに関連した情報を反射した近赤外線信号から直接検出することができる。例えば、縦軸の目盛で言えば、０．４７５程度の受信信号強度レベルを、オブジェクトが視界に入っていることの閾値にすることができる。
【００５４】
送信器１１側では、サイズの大きなデータ・フレームを送信した場合、瞬きする間隔に収まらないので、受信エラーを招来する。したがって、ユーザが瞬きする間隔以内でデータ・フレームの送信が完結しなければならない。このように瞬きの間隔と、眼球の反射特性から定まる近赤外光の駆動周波数から、通信システム１０のビットレートが定まる。
【００５５】
原理的には、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ）で実現されているような１００ｋｂｐｓ〜１０Ｍｂｐｓまでのビットレートをこの通信システム１０でも実現できると本発明者らは思料する。
【００５６】
また、ユーザが瞬きするタイミングは不定であり、送信器１１からは予測がつかない。したがって、瞬きのためにデータ受信エラーが起きないような、あるいは瞬きによる受信エラーが発生したときの再送制御などを含んだ通信プロトコルが必要であろう。
【００５７】
Ｂ．ユビキタス・コンピューティングへの適用
図１に示した通信システム１０は、基本的には赤外線送信装置と赤外線受信装置の組み合わせで構成され、眼球からの反射光を利用すなわちユーザの目を媒体として組み込んだ、画像処理を省略してオブジェクトを認識することができるという簡易なシステムである。
【００５８】
いわゆる「ユビキタス（Ｕｂｉｑｕｉｔｏｕｓ）・コンピューティング」は、いつでもどこでも欲しい情報を入手できるようにする技術である。人間は関心のあるものを目線で直感的に追うという性質を持つことから、ユーザの目は、ユビキタス・システムにおける必須の構成要素であると考えられる。
【００５９】
このようなユビキタス・インターフェースとして、ユーザの眼球からの反射光を利用した通信装置１０を適用することができる。何故ならば、通信装置１０は、ユーザの目を媒体として組み込んだシステムであり、視野をベースとしたインタラクションを行なうことができるからである。
【００６０】
図７には、図１に示した通信システム１０を適用したユビキタス・コンピューティング環境５０の構成を模式的に示している。同図に示すように、このコンピューティング環境５０は、１以上のユーザ端末５１と、ユーザ端末５１の接続対象となる１以上の実世界オブジェクト５２Ａ，５２Ｂ，…で構成される。
【００６１】
このユビキタス・コンピューティング環境５０下では、ユーザ端末５１を所持するユーザは、接続したいオブジェクト５２を見るだけでネットワーク接続を確立することができる。本発明を実現する上で、ユビキタス・ネットワーク５０のネットワーク・プロトコルは特に限定されない。例えば、Ｅｔｈｅｒｎｅｔ（登録商標）のようなＬＡＮ、ＩＥＥＥ８０２．１１のような無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈのような近距離無線データ通信であってもよい。
【００６２】
ユーザが実世界オブジェクトを見るだけでネットワーク接続の確立を実現するために、実世界オブジェクト５２は、近赤外線信号を送出する送信器１１と、ネットワーク５０に接続するためのネットワーク・インターフェース（ＮＩＣ）２１を備えており、オブジェクトのＩＤや、ネットワーク・アドレス、ホスト・ネーム、ＵＲＬなどの実世界オブジェクト５１自身に関連した情報を近赤外線データとして発信するようになっている。また、送信器１１は、実世界オブジェクトの見え易い場所に設置されていることが好ましい。
【００６３】
また、ユーザ端末５１は、ユーザの眼球から反射された近赤外線信号を受光・検出する受光器１２と、検出信号に対して増幅、アナログ−デジタル変換、閾値処理、フィルタリングなどの処理を行う信号処理部１３と、信号処理後のデジタル・データを解析して該当する処理を実行するデータ処理部１６と、ネットワーク５０に接続するためのネットワーク・インターフェース２２を備えている。受光器１２は、ゴーグル（図２を参照のこと）や眼鏡、ヘッドセットなどを利用して、ユーザの眼球の近傍に設置されている。ユーザ端末５１は、パーソナル・コンピュータ（ＰＣ）や、ＰＤＡなどの携帯情報端末、携帯電話機などで構成される。
【００６４】
データ処理部１６は、ユーザの眼球からの反射光を基に得られたデータを解析して、ユーザが見つめている実世界オブジェクト５２のネットワーク上の所在を探索する。例えば、実世界オブジェクト５２が自分のネットワーク・アドレスをデータ送信する場合には、データ処理部１６は、そのままネットワーク・インターフェース２２を介して実世界オブジェクト５２への接続を行なうことができる。
【００６５】
また、実世界オブジェクト５２がＩＤやホスト・ネームなどのネットワーク・アドレス以外の識別情報を送信する場合のために、ユーザ端末５１は、オブジェクトのＩＤ等とネットワーク・アドレスとの対応関係を記述したデータベース２３を装備していてもよい。このような場合、データ処理部１６は、ユーザの眼球からの反射光を基に得られた情報をデータベース２３で検索して、そのネットワーク・アドレスを突き止めて、そのままネットワーク・インターフェース２２を介して実世界オブジェクト５２への接続を行なうことができる。
【００６６】
また、他のユーザ端末との間でデータベースを共有する場合や、ユビキタス・ネットワーク５０上に多数の実世界オブジェクト５２Ａ，５２Ｂ，…が存在していて、データベースのサイズが膨大であるような場合には、ネットワーク５０上に専用のデータベース・サーバ３０を構築して、実世界オブジェクトのＩＤなどとネットワーク・アドレスとの対応関係を記述したデータベースの管理の一部又は全部を委譲するようにしてもよい。このような場合、ユーザ端末５１は、データベース・サーバ３０に対して実世界オブジェクト５２のＩＤを問い合わせて、これに対してデータベース・サーバ３０からは実世界オブジェクトのネットワーク・アドレスが返される。
【００６７】
図８には、本実施形態に係る通信システム１０が適用されたユビキタス・ネットワーク５０上でユーザ端末５１が所望の実世界オブジェクト５２に接続するための処理手順をフローチャートの形式で示している。
【００６８】
ユーザ端末５１を所持するユーザは、実世界上を探索中に、関心のある実世界オブジェクト５２を見つけると、これを眺め続ける（ステップＳ１）。
【００６９】
一方、実世界オブジェクト５２側では、見え易い場所に設置されている送信器１１がオブジェクトＩＤに相当する点滅パターンを持った近赤外線信号を発信している。ユーザが実世界オブジェクト５２を見ている間、受光器１２は眼球からの反射光を受光する（ステップＳ２）。
【００７０】
次いで、信号処理部１３では、受光器１２による検出信号に対して増幅、アナログ−デジタル変換、閾値処理、フィルタリングなどの処理を行なう（ステップＳ３）。
【００７１】
データ処理部１６は、信号処理後のデジタル・データを解析して、実世界オブジェクト５２のＩＤを取り出す（ステップＳ４）。さらに、内部のデータベース２３又は、ネットワーク５０上のデータベース・サーバ３０に問い合わせて、実世界オブジェクト５２のネットワーク・アドレスを取得する（ステップＳ５）。
【００７２】
そして、得られたネットワーク・アドレスを基に、ネットワーク・インター不エース２２を介して実世界オブジェクト５２とのネットワーク接続を確立する（ステップＳ６）。
【００７３】
ネットワーク接続を確立した後、実世界オブジェクト５２は、テキスト、プログラム、音声、画像など、自分に関連するさまざまなコンテンツをユーザ端末５１に提供することができる。
【００７４】
本実施形態に係る通信システム１０は、上述した以外にも、ユーザがオブジェクトとの間でインタラクションを行う実世界上のさまざまな場面に適用することができる。実世界への適用例を以下に挙げておく。
【００７５】
（１）街角や電車の中のポスターに近赤外線信号送信器を取り付ける。ユーザは、通勤途中などに、ポスターを見るだけで、ポスターに関連する情報を引き出すことができる。例えば、近赤外線信号送信器から送信されたデータをデコードして、ポスターに表示されているタレントの声を聞いたり、音楽を聴いたりすることができる。
（２）美術館などにおいて、展示されている作品の近傍に近赤外線送信器を取り付ける。ユーザは、作品をぼんやりと眺めるだけで、近赤外線送信器から送信されたデータをデコードして、作品に対する説明を聞くことができる。同様に、商品展示においては、ユーザは、商品を手にとって見ている間に、商品に関する説明を聞くことができる。
（３）あるユーザが受け取った情報（例えば、電話）をリアルタイムで近赤外線信号に変換して発信する。他のユーザは、電話を掛けている様子をぼんやりと見るだけで、受け取っている音声情報を共有することができる。
（４）片方の目の眼球からの反射で近赤外線信号を受け取り、他方の目に対して液晶眼鏡上に提示させている画像を見る。これによって、実世界オブジェクトを見ながら、これに関連した視覚情報を得ることができる。
【００７６】
Ｃ．実世界指示装置
通信装置１０は、ユーザの目を媒体として組み込んだシステムであり、視野をベースとしたインタラクションを行なうというメタファ（ＩＳＭ：Ｉｎｔｅｒａｃｔｉｖｅ　Ｓｉｇｈｔ　Ｍｅｔａｐｈｏｒ）を持ち、インタラクティブなコンピューティング環境を提供することができる。例えば、実世界上で所望のオブジェクトが存在するときに、ユーザがオブジェクトを眺めるという動作を基に指示入力することができれば、入力操作は直感的且つ効率的であり、実世界指向の優れた操作環境を提供することができる。
【００７７】
眼球からの反射を介して光信号を受信する通信システム（ＲＥＣ）１０では、ユーザの眼球に入射した光信号しか受信することができない。逆に言えば、ユーザから「見えていない」光送信機からの光信号は受信することができないということである。この特性を応用すると、ユーザが特定の光送信機を「指差す」などして、ユーザから見えない状態を意図的に作り出すことにより、その光送信機からの光信号が遮断されるので（図９を参照のこと）、光受信機側ではユーザの視野内にある各光送信機からの信号を監視して、特定の光送信機からの光信号の「中断」を検出することができる。
【００７８】
さらに光受信機側では、特定の光送信機からの光信号が中断するというイベントを、この光送信機が設置された実世界オブジェクトを「選択」したこととして解釈することにより、ユーザのインタラクションを利用した直感的な実世界インターフェースを実現することができる。
【００７９】
図１０には、複数の光送信機が散在する実世界環境下で、ユーザが特定の光送信機を指差す、すなわち光信号を中断させるというユーザ・インタラクションを、光受信機側で処理するための仕組みを図解している。同図において、ユーザの視界には光送信機Ａと光送信機Ｂが存在し、ユーザはこのうち光送信機Ｂを「指差す」意図を持っているものとする。その際、
【００８０】
（１）ユーザが光送信機を指差す以前の状態では、光受信機では信号の監視により、光送信機Ａ及び光送信機Ｂの双方からの光信号を受信している。
（２）ユーザが光送信機Ｂを指差すと、光送信機Ｂからの光信号が遮断されるため、光受信機では、信号監視の結果、光送信機Ｂからの信号が中断したことが検知される。
（３）ユーザが光送信機Ｂを指差す動作を中断すると、光受信機では光送信機Ｂからの信号が再び検知される。
（４）ユーザが光送信機Ｂを再び指差すと、光受信機では光送信機Ｂからの信号が再び中断される。
【００８１】
光受信機が接続された（あるいはこれを内蔵する）端末（例えば、ユーザの携帯型計算機）では、特定の光信号の「中断」を検知することで、ユーザがどの光送信機を「指差して」いるのかを検知することができる。このことを応用すると、実世界に存在するオブジェクトをユーザが指差すだけで、これを選択したというコンピュータ入力を実現することができる。
【００８２】
特定の光送信機からの光信号の遮断を検出する際、光信号の単なる「中断」を検出しただけでは、ユーザによる「指差し」行為であるのか、あるいはユーザの前を人が横切るなど意図しないインタラクション以外の事態なのかを判別することは困難である。そこで、図１０にも示したように、例えば２回の連続的な光信号の中断を検知することによって、当該光信号が「選択」されたと判断するようにすればよい。
【００８３】
このような２度連続の中断は、偶然に起こる可能性は少ないと考えられるので、ユーザによる「選択」操作をより高い精度で検出することが可能となる。このような指差しによる「選択」行為を、以下ではテレクリック（Ｔｅｌｅ−Ｃｌｉｃｋ）とも呼ぶ。
【００８４】
図１０に示した例では、２度連続の遮断を「選択」と解釈するようにしたが、このような遮断の仕方は自由に定義することができる。すなわち、特定の方法で行なわれた光信号の遮断に対して、計算機が特定のユーザ・インタラクションとして解釈するようにすれば、実世界上でのさまざまなユーザのアクションをコンピュータ操作として取り込むことが可能になる。
【００８５】
また、光信号を遮断することにより光送信機を選択するという操作様式（遮断式の選択）において、光信号を遮断するために必ずしもユーザの指先を使用する必要はなく、ポインタなど棒状あるいはその他の不透光の物体に置き換えることができる。
【００８６】
また、光信号を遮断するだけでなく、光信号を変調するなど光信号に意図的な変化を与えることによって、光送信機を選択するという操作様式（光学式の選択）も考えられる。例えば、偏光板やバンドパス・フィルタなどの光信号の特定成分に変化を与えるような光学的性質を持った物体をポインタに用いて、光信号を遮るようにすればよい。この場合、光受信機側では、変調やその他の光信号の成分変化を識別するための信号処理が必要となる。
【００８７】
図１１には、遮断式の選択を行なう場合のユーザ・インタラクションの仕組みを図解している。
【００８８】
ユーザは、光遮断機能を持つ道具（遮断部材）Ｘを利用して、特定の光送信機を選択する。図１１に示す例では、光送信機Ａからの光信号を遮断部材Ｘを用い２回連続して遮断している。光受信機側では、このような２回の連続的な光信号の中断を検知することによって、当該光信号が「選択」されたと判断することができる。
【００８９】
光遮断機能を持つ遮断部材Ｘは、例えば単純な棒材や板材であってもよい。
【００９０】
また、図１２には、遮断式の選択を行なう場合のユーザ・インタラクションについての他の例を図解している。
【００９１】
あらかじめ設定された周期で開閉動作する可動式（高速）シャッターを利用すると、それを通過する光信号を設定周期の周波数で変調することができる。この高速シャッターを利用して特定の光送信機からの光信号を「見る」ことで、これを「選択」することができる。
【００９２】
図１２に示す例では、光送信機Ａからの光信号を可動式シャッターを介して見ている。可動式シャッターを通過する光信号を設定周期の周波数で変調されるので、光受信機側では光信号の変調を検知することによって、当該光信号が「選択」されたと判断することができる。
【００９３】
この場合、ユーザは、光信号を２回遮断するといった作業を行なう必要がなく、ユーザ操作が簡素化される。
【００９４】
また、図１３には、光学式の選択を行なう場合のユーザ・インタラクションの仕組みを図解している。
【００９５】
この場合、光送信機からの信号を光学的に変調することで、特定の光送信機の「選択」を指示する。例えば、光送信機から複数の波長で同じ光信号を発信し、光受信機側ではこの光信号を波長毎に受信して、それらの差分をとる。何もしない期間はこの差分は０である。ユーザが、ある光送信機を、発信周波数の中間の周波数以上（又は以下）の光だけを透過させるエッジ・パス・フィルタを介して見ると、片方の周波数成分の光信号のみ遮断される。この際、差分を観察すると、ユーザがエッジ・パス・フィルタ越しに見た光送信機から発信された信号を抽出することができる。
【００９６】
図１３に示す例では、光送信機Ａからの光信号をエッジ・パス・フィルタ越しに見ている。このため、光受信機側では、各光送信機から受信した光信号を波長成分毎に受信し、それらの差分をとった結果、ユーザがエッジ・パス・フィルタ越しに見た光送信機Ａから発信された信号を抽出することができる。
【００９７】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００９８】
【発明の効果】
以上詳記したように、本発明によれば、ユーザの目の前にある又はユーザが目にした実世界上のオブジェクトを直接指示入力することができる、優れた実世界指示装置を提供することができる。
【００９９】
また、本発明によれば、可視光や非可視光（あるいはその他の電磁波）などのようにオブジェクトから直接出力されるデータを基に実世界上のオブジェクトを直接指示入力することができる、優れた実世界指示装置を提供することができる。
【０１００】
本発明によれば、ユビキタス・コンピューティングにおけるユーザ・インターフェースとして眼球からの反射を介して光信号を受信する通信システム（ＲＥＣ）を利用することにより、ユーザは実世界上のさまざまなインターネット機器を、指差すだけで操作することができる。例えば、ネットワーク機器に光送信機を搭載し、ネットワーク機器のＩＤ（例えばＩＰアドレスなど）を発信させる。ユーザがそれを指差すことによって、ユーザの持つ携帯式計算機はＴｅｌｅ−Ｃｌｉｃｋされた光送信機の発するＩＤを解読して、Ｂｌｕｅｔｏｏｔｈや無線ＬＡＮなどの通信手段でそのネットワーク機器にアクセスして、希望する操作を行なうことができる。
【０１０１】
従来、実世界の特定のオブジェクトをユーザがポイントして通信を行なうためには、例えばＩｒＤＡなどの技術がある。ＩｒＤＡの場合、通信したい機器同士を近接させる必要がある。また、Ｂｌｕｅｔｏｏｔｈなどの近距離無線通信技術を利用して、「かざす」という操作に応じてネットワーク機器同士の通信を行なうシステムが存在するが、こうしたシステムは機器同士を近接させてお互いを検出する必要がある。ところが、実世界環境においては、機器同士を近接するという作業が不便な状況もある。本発明によれば、実世界に存在する光送信機を搭載したネットワーク機器をユーザが指差すだけで、接続可能なシステムを実装することができる。
【０１０２】
実世界ポインタの機能として、眼球からの反射を介して光信号を受信する通信システム（ＲＥＣ）は、ユーザの視野とシステムの間に原理的に視差が生じない。ユーザの眼球と別のところにある受光器のあるシステムの場合、ユーザがあるオブジェクトを指差したと思っても、受光器システムから見るとそうは見えない可能性がある。これに対し、ＲＥＣの場合、光信号の眼球からの反射を計測する機構を利用することにより、受光システムとユーザの視野の間の視差の影響を無視することができる。従って、ユーザは直感的且つ正確にＴｅｌｅ−Ｃｌｉｃｋを行なうことが可能である。
【図面の簡単な説明】
【図１】眼球の反射光を利用してオブジェクトと通信を行なうことができる通信システム１０の構成を模式的に示した図である。
【図２】受光器１２をゴーグルに取り付けた様子を示した図である。
【図３】眼球の下側から瞳孔を見上げるような格好で受光部１２を配設した様子を示した図である。
【図４】受光部１２による検出信号の強度を示したチャートである。
【図５】信号処理部１３内の増幅部の内部構成を示した図である。
【図６】受光部１２をエリア・センサで構成したときの通信システム１０の変形例を模式的に示した図である。
【図７】図１に示した通信システム１０を適用したユビキタス・コンピューティング環境の構成を模式的に示した図である。
【図８】ユビキタス・ネットワーク５０上でユーザ端末５１が所望の実世界オブジェクト５２に接続するための処理手順を示したフローチャートである。
【図９】ユーザが指をさす動作により特定の光送信機からの光信号を遮断する様子を示した図である。
【図１０】実世界上でのユーザ・インタラクション（Ｔｅｌｅ−Ｃｌｉｃｋ）を光受信機側で処理する仕組みを説明するための図である。
【図１１】遮断式の選択を行なう場合のユーザ・インタラクションの仕組みを説明するための図である。
【図１２】遮断式の選択を行なう場合のユーザ・インタラクションの仕組みの他の例を説明するための図である。
【図１３】光学式の選択を行なう場合のユーザ・インタラクションの仕組みの他の例を説明するための図である。
【符号の説明】
１０…通信システム
１１…送信器
１２…受光器
１３…信号処理部
１４…コンピュータ
１５…視野限定器
１６…データ処理部
５０…ユビキタス・ネットワーク
５１…ユーザ端末
５２…実世界オブジェクト
【図１】
2004086364.tif 000003
【図２】
2004086364.tif 000004
【図３】
2004086364.tif 000005
【図４】
2004086364.tif 000006
【図５】
2004086364.tif 000007
【図６】
2004086364.tif 000008
【図７】
2004086364.tif 000009
【図８】
2004086364.tif 000010
【図９】
2004086364.tif 000011
【図１０】
2004086364.tif 000012
【図１１】
2004086364.tif 000013
【図１２】
2004086364.tif 000014
【図１３】
2004086364.tif 000015