(57)【要約】【課題】マウス等によらない、新規なユーザインターフェースを提供する。【解決手段】情報装置１５０の表示部１３２Ａに表示された画面をカメラ１１０で撮影し、映像１８２をモニタ１２０に表示するとともに情報装置１５０に送信する。情報装置１５０は、受信した映像にパターン認識の処理をし、モニタ１２０に表示される映像内において、カメラ１１０の使用者による選択操作を受け付け可能な部位であるホットスポットに対応する部分を見いだす。情報装置１５０は、この部分を囲う枠の映像１８０Ａをカメラ１１０に送信し、カメラ１１０は受信した映像１８０Ａをモニタ１２０上の映像に重ねて表示する。ユーザはモニタ１２０に表示される枠Ｆ１に囲われる部分がホットスポットであることを認識し、「決定」等の操作をする。その操作に対応する情報が情報装置１５０に送られ、情報装置１５０からユーザの欲する情報がカメラ１１０に送信される。【選択図】図４
2009230193.tif 000002
【特許請求の範囲】
【請求項１】
外部情報装置のディスプレイに表示された表示画面を撮影可能な撮影装置であって
前記表示画面を撮影して映像を生成する撮影部と、
前記映像を前記撮影装置のモニタに表示する表示制御部と、
前記撮影部で撮影して生成された前記映像を前記外部情報装置に送信する映像送信部と、
前記モニタに表示される映像内において、前記撮影装置の使用者による選択操作を受け付け可能な部位であるホットスポットを前記撮影装置の使用者が選択する操作をすることを可能とする選択操作部と、
前記映像中における、前記ホットスポットとして設定可能な部分を特定するホットスポット特定情報が前記外部情報装置から送信されるのに応じて、当該のホットスポット特定情報を受信する、情報受信部と、
前記情報受信部で受信した前記ホットスポット特定情報に基づき、前記ホットスポットとして設定可能な部分に、当該の部分が前記ホットスポットであることを前記撮影装置の使用者が認識可能とするホットスポット明示映像を前記モニタに表示されている映像に重畳させて表示する処理をする映像合成処理部と、
前記撮影装置の使用者が前記選択操作部を操作して選択したホットスポットに関連する情報であるユーザ選択ホットスポット情報を前記外部情報装置に送信するユーザ選択ホットスポット情報送信部と
を有することを特徴とする撮影装置。
【請求項２】
前記外部情報装置から送信される前記ホットスポット特定情報中には前記ホットスポット明示映像が含まれ、
前記映像合成部は、前記ホットスポット特定情報から得られる前記ホットスポット明示映像を前記モニタに表示されている映像に重畳させて表示する処理を行うように構成されることを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記外部情報装置から送信される前記ホットスポット特定情報中には、前記モニタに表示されている映像中における前記ホットスポットの位置と範囲を特定可能なホットスポット位置情報が含まれ、
前記映像合成部は、前記ホットスポット特定情報から得られる前記ホットスポット位置情報に基づいて前記ホットスポット明示映像を生成し、前記モニタに表示されている映像に重畳させて表示する処理を行うように構成されることを特徴とする請求項１に記載の撮影装置。
【請求項４】
前記映像送信部は、前記撮影部で生成された映像とともに当該の撮影装置を特定可能な撮影装置識別情報を前記外部情報装置に送信し、
前記情報受信部は、前記撮影装置識別情報で特定される当該の撮影装置宛に前記外部情報装置から送信される前記ホットスポット特定情報を受信し、
前記ユーザ選択ホットスポット情報とともに前記撮影装置識別情報を前記外部情報装置に送信するように構成される
ことを特徴とする請求項１から３のいずれか一つに記載の撮影装置。
【請求項５】
前記外部情報装置から送信される前記ホットスポット特定情報とともにテキスト情報がさらに送信され、
前記映像合成処理部は、前記ホットスポット明示映像を前記モニタに表示されている映像に重畳させて表示する処理をする際に、前記合成映像内の所定位置に前記テキスト情報に基づく文字情報を表示する処理もするように構成されることを特徴とする請求項１から４のいずれか一つに記載の撮影装置。
【請求項６】
映像を表示可能な表示部を有する表示装置であって、
前記表示部に表示される表示映像を撮影し、得られた映像をモニタ部に表示するとともに当該の映像を前記表示装置に送信する端末装置から送信された前記映像を受信する映像受信部と、
前記映像受信部で前記端末装置から受信した前記映像中で、前記端末装置の使用者による選択操作を受け付け可能な部位であるホットスポットの表示位置を検出するホットスポット検出部と、
前記ホットスポット検出部で検出された前記ホットスポットの前記表示位置に基づき、前記端末装置の前記モニタ部に表示される前記映像中において前記ホットスポットとして設定可能な部分を特定するホットスポット特定情報を前記端末装置に向けて送信するホットスポット特定情報送信部と
前記端末装置の使用者が前記端末装置の前記モニタに表示される映像中において選択したホットスポットに関連する情報であるユーザ選択ホットスポット情報が前記端末装置から送信されるのに応じて当該のユーザ選択ホットスポット情報を受信する、ユーザ選択ホットスポット情報受信部と
を有することを特徴とする表示装置。
【請求項７】
前記ホットスポット特定情報送信部から送信される前記ホットスポット特定情報中にはホットスポット明示映像が含まれ、
前記ホットスポット明示映像は、前記端末装置の前記モニタ部に表示される映像中で、前記ホットスポットとして設定可能な部分に当該の部分が前記ホットスポットであることを前記端末装置の使用者が認識できるように、前記モニタに表示される前記映像に重畳させて表示するためのものであることを特徴とする請求項６に記載の表示装置。
【請求項８】
前記ホットスポット特定情報送信部から送信される前記ホットスポット特定情報中には、
ホットスポット位置情報が含まれ、
前記ホットスポット位置情報は、前記モニタに表示されている映像中における前記ホットスポットの位置と範囲を特定可能な情報であり、また、前記端末装置の前記モニタ部に表示される映像中で、前記ホットスポットとして設定可能な部分に当該の部分が前記ホットスポットであることを前記端末装置の使用者が認識できるように、前記モニタに表示される前記映像に重畳させて表示するためのホットスポット明示映像を生成するためのものであることを特徴とする請求項６に記載の表示装置。
【請求項９】
同じ映像を表示可能な、あるいは異なる映像を互いに独立して表示可能な、複数の表示部と、
前記複数の表示部に対応して個々の表示部の近傍に設けられる複数の映像受信部および複数のホットスポット特定情報送信部と
をさらに有することを特徴とする請求項６から８のいずれか一つに記載の表示装置。
【請求項１０】
前記複数の映像受信部および複数のホットスポット特定情報送信部のうち、前記端末装置が向けられた表示部の近傍に設けられる映像受信部およびホットスポット特定情報送信部と前記端末装置との間で前記映像およびホットスポット特定情報の送受信が可能に構成されることを特徴とする請求項９に記載の表示装置。
【請求項１１】
前記複数の映像受信部および複数のホットスポット特定情報送信部はいずれも無線信号を用いて前記端末装置との間で前記映像およびホットスポット特定情報が送受信されるように構成され、
前記端末装置から前記複数の映像受信部のいずれかに前記映像を送信するためのものとして前記端末装置に設けられる映像送信部から送信される前記無線信号の指向性が高められていて、前記端末装置と、前記端末装置が向けられた表示部の近傍に設けられた映像受信部との間でのみ前記映像の送受信が可能となるように構成されることを特徴とする請求項１０に記載の表示装置。
【請求項１２】
前記複数の表示部に対応して個々の表示部の近傍に設けられる複数の表示部識別情報送信部であって、それぞれが、当該の表示部識別情報送信部の近傍に設けられる表示部を特定可能な識別情報を、無線信号を用いて前記端末装置に向けて送信可能に構成される、表示部識別情報送信部をさらに有し、
前記複数の表示部識別情報送信部から送信される前記無線信号の指向性が高められていて、前記端末装置と、前記端末装置が向けられたディスプレイの近傍に設けられた表示部識別情報送信部との間でのみ前記識別情報の送受信が可能となるように構成されることを特徴とする請求項９から１１のいずれか一項に記載の表示装置。
【請求項１３】
映像を表示可能な表示部を有する表示装置と、端末装置とを有する情報システムであって、
前記端末装置は、
前記表示装置の前記表示部に表示される表示画面を撮影し、映像を生成する撮影部と、
前記映像を前記端末装置のモニタに表示する表示制御部と、
前記撮影部で撮影して生成された前記映像を前記表示装置に送信する映像送信部と、
前記モニタに表示される映像内において、前記端末装置の使用者による選択操作を受け付け可能な部位であるホットスポットを前記端末装置の使用者が選択する操作をすることを可能とする選択操作部と、
前記映像中における、前記ホットスポットとして設定可能な部分を特定するホットスポット特定情報が前記表示装置から送信されるのに応じて、当該のホットスポット特定情報を受信する、情報受信部と、
前記情報受信部で受信した前記ホットスポット特定情報に基づき、前記ホットスポットとして設定可能な部分に、当該の部分が前記ホットスポットであることを前記端末装置の使用者が認識可能とするホットスポット明示映像を前記モニタに表示されている映像に重畳させて表示する処理をする映像合成処理部と、
前記端末装置の使用者が前記選択操作部を操作して選択したホットスポットに関連する情報であるユーザ選択ホットスポット情報を前記表示装置に送信するユーザ選択ホットスポット情報送信部と
を有し、
前記表示装置は、
前記端末装置の前記映像送信部から送信された前記映像を受信する映像受信部と、
前記映像受信部で前記端末装置から受信した前記映像中において、前記ホットスポットの表示位置を検出するホットスポット検出部と、
前記ホットスポット検出部で検出された前記ホットスポットの前記表示位置に基づいて前記ホットスポット特定情報を生成するホットスポット特定情報生成部と、
前記ホットスポット特定情報を前記端末装置に向けて送信するホットスポット特定情報送信部と
前記端末装置の前記ユーザ選択ホットスポット情報送信部から送信される前記ユーザ選択ホットスポット情報を受信するユーザ選択ホットスポット情報受信部と
を有する
ことを特徴とする情報システム。
【請求項１４】
前記表示装置から送信される前記ホットスポット特定情報中には前記ホットスポット明示映像が含まれ、
前記端末装置の前記映像合成処理部は、前記ホットスポット特定情報から得られる前記ホットスポット明示映像を前記モニタに表示されている映像に重畳させて表示する処理を行うように構成されることを特徴とする請求項１３に記載の情報システム。
【請求項１５】
前記表示装置から送信される前記ホットスポット特定情報中には、前記モニタに表示されている映像中における前記ホットスポットの位置と範囲を特定可能なホットスポット位置情報が含まれ、
前記端末装置の前記映像合成処理部は、前記ホットスポット特定情報から得られる前記ホットスポット位置情報に基づいて前記ホットスポット明示映像を生成し、前記モニタに表示されている映像に重畳させて表示する処理を行うように構成されることを特徴とする請求項１３に記載の情報システム。
【請求項１６】
前記端末装置の前記映像送信部は、前記撮影部で生成された映像とともに当該の撮影装置を特定可能な撮影装置識別情報を前記表示装置に送信し、
前記表示装置の前記映像受信部は、前記端末装置の前記映像送信部から送信される前記映像および前記撮影装置識別情報を受信し、
前記表示装置の前記ホットスポット特定情報送信部は、前記ホットスポット特定情報を前記撮影装置識別情報で特定される端末装置に送信し、
前記端末装置の前記情報受信部は、前記撮影装置識別情報で特定される端末装置宛に前記表示装置の前記ホットスポット特定情報送信部から送信される前記ホットスポット特定情報を受信し、
前記端末装置の前記表示位置情報送信部は、前記端末装置の前記表示位置検出部で検出した前記表示位置に関連する情報とともに前記撮影装置識別情報を前記表示装置に送信するように構成される
ことを特徴とする請求項１３から１５のいずれか一つに記載の情報システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮影装置、表示装置、および情報システムに関し、特にポインティング装置としての機能を実現する撮影装置、表示装置、および情報システムに関する。
【背景技術】
【０００２】
近年の高度情報化社会において、情報を取得する際の操作を簡略化することが求められている。パーソナルコンピュータ等の情報処理装置をユーザが扱う際の操作性を向上させるマン・マシン・インターフェースとしてマウス（コンピュータマウス）やトラックボール、あるいはペンタブレットなどが知られている。これらのマン・マシン・インターフェースは、机の上等で使用することが前提となっている。また、他の機器においても、必ずしも十分なインターフェースが提供されている訳ではなかった。ユーザにとってより快適なインターフェースを提供するべく、多くのシステムが提案されているが、固定カメラを設置する必要がある等の制約があった。
【０００３】
特許文献１には、カメラ付き携帯電話をポインティング装置として用い、このポインティング装置により撮影された撮影画像を用いて、ポインティングする位置を決める情報を取得し、ポインタマークを表示する技術が開示されている。この技術では、コンピュータに接続されるデータプロジェクタを用いて投影スクリーンに投影される画面を、カメラ付き携帯電話（ポインティング装置）で撮影する。撮影して得られた撮影画像は、携帯電話の基地局、インターネットを経由して上記コンピュータに送られる。上記コンピュータは送られてきた撮影画像をもとにポインティング装置が投影スクリーン上のどこに向けられているかを判定し、その位置にカーソル等を表示する。
【特許文献１】特開２００４−３１８８２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されるものでは、一人のユーザがポインティング装置を投影スクリーンに向けてコンピュータを操作することを前提としており、一つの画面に対して複数のユーザがポインティング装置を向けて操作することは難しい。
【０００５】
本発明は上記の問題に鑑みなされたもので、一つの画面や表示物等に対して複数のユーザが操作可能なインターフェースを提供することを目的とする。
【課題を解決するための手段】
【０００６】
（１）  本発明は外部情報装置のディスプレイに表示された表示画面を撮影可能な撮影装置に適用される。そしてこの撮影装置が、
前記表示画面を撮影して映像を生成する撮影部と、
前記映像を前記撮影装置のモニタに表示する表示制御部と、
前記撮影部で撮影して生成された前記映像を前記外部情報装置に送信する映像送信部と、
前記モニタに表示される映像内において、前記撮影装置の使用者による選択操作を受け付け可能な部位であるホットスポットを前記撮影装置の使用者が選択する操作をすることを可能とする選択操作部と、
前記映像中における、前記ホットスポットとして設定可能な部分を特定するホットスポット特定情報が前記外部情報装置から送信されるのに応じて、当該のホットスポット特定情報を受信する、情報受信部と、
前記情報受信部で受信した前記ホットスポット特定情報に基づき、前記ホットスポットとして設定可能な部分に、当該の部分が前記ホットスポットであることを前記撮影装置の使用者が認識可能とするホットスポット明示映像を前記モニタに表示されている映像に重畳させて表示する処理をする映像合成処理部と、
前記撮影装置の使用者が前記選択操作部を操作して選択したホットスポットに関連する情報であるユーザ選択ホットスポット情報を前記外部情報装置に送信するユーザ選択ホットスポット情報送信部と
を有することにより、上述した課題を解決する。
（２）  本発明はまた、映像を表示可能な表示部を有する表示装置に適用される。この表示装置は、
前記表示部に表示される表示映像を撮影し、得られた映像をモニタ部に表示するとともに当該の映像を前記表示装置に送信する端末装置から送信された前記映像を受信する映像受信部と、
前記映像受信部で前記端末装置から受信した前記映像中で、前記端末装置の使用者による選択操作を受け付け可能な部位であるホットスポットの表示位置を検出するホットスポット検出部と、
前記ホットスポット検出部で検出された前記ホットスポットの前記表示位置に基づき、前記端末装置の前記モニタ部に表示される前記映像中において前記ホットスポットとして設定可能な部分を特定するホットスポット特定情報を前記端末装置に向けて送信するホットスポット特定情報送信部と
前記端末装置の使用者が前記端末装置の前記モニタに表示される映像中において選択したホットスポットに関連する情報であるユーザ選択ホットスポット情報が前記端末装置から送信されるのに応じて当該のユーザ選択ホットスポット情報を受信する、ユーザ選択ホットスポット情報受信部と
を有する。
（３）  本発明はさらに、映像を表示可能な表示部を有する表示装置と、端末装置とを有する情報システムに適用される。この情報システムにおいて、
前記端末装置は、
前記表示装置の前記表示部に表示される表示画面を撮影し、映像を生成する撮影部と、
前記映像を前記端末装置のモニタに表示する表示制御部と、
前記撮影部で撮影して生成された前記映像を前記表示装置に送信する映像送信部と、
前記モニタに表示される映像内において、前記端末装置の使用者による選択操作を受け付け可能な部位であるホットスポットを前記端末装置の使用者が選択する操作をすることを可能とする選択操作部と、
前記映像中における、前記ホットスポットとして設定可能な部分を特定するホットスポット特定情報が前記表示装置から送信されるのに応じて、当該のホットスポット特定情報を受信する、情報受信部と、
前記情報受信部で受信した前記ホットスポット特定情報に基づき、前記ホットスポットとして設定可能な部分に、当該の部分が前記ホットスポットであることを前記端末装置の使用者が認識可能とするホットスポット明示映像を前記モニタに表示されている映像に重畳させて表示する処理をする映像合成処理部と、
前記端末装置の使用者が前記選択操作部を操作して選択したホットスポットに関連する情報であるユーザ選択ホットスポット情報を前記表示装置に送信するユーザ選択ホットスポット情報送信部と
を有し、
前記表示装置は、
前記端末装置の前記映像送信部から送信された前記映像を受信する映像受信部と、
前記映像受信部で前記端末装置から受信した前記映像中において、前記ホットスポットの表示位置を検出するホットスポット検出部と、
前記ホットスポット検出部で検出された前記ホットスポットの前記表示位置に基づいて前記ホットスポット特定情報を生成するホットスポット特定情報生成部と、
前記ホットスポット特定情報を前記端末装置に向けて送信するホットスポット特定情報送信部と
前記端末装置の前記ユーザ選択ホットスポット情報送信部から送信される前記ユーザ選択ホットスポット情報を受信するユーザ選択ホットスポット情報受信部と
を有する。
【発明の効果】
【０００７】
本発明によれば、撮影装置（端末装置）で撮影された映像中のホットスポットとなりうる部分が外部情報装置（表示装置）の側でパターン認識によって見いだされ、その結果としてホットスポット特定情報が外部情報装置（表示装置）から撮影装置（端末装置）に送信されて、そのホットスポット特定情報に基づいてホットスポット明示映像が撮影装置（端末装置）のモニタ上に表示される映像に重ね合わせて表示されるので、ユーザが撮影装置（端末装置）を向ける先を変えるのに応じて異なるホットスポットを明示することが可能となる。このとき、ユーザの操作に応じて外部情報装置（表示装置）の側にカーソルなどのポインタを表示する必要が無い。また、ユーザが撮影装置（端末装置）を向ける先を変えるのに応じて異なるホットスポットをモニタ上の映像に明示することが可能となり、ユーザが撮影装置（端末装置）の向きを変えるのに応じて異なるユーザ操作を受け付け可能となる。このとき、外部情報装置（表示装置）に表示される表示画面上には上述のようにカーソルなどのポインタを表示する必要が無いので、一つの表示画面を複数のユーザが持つ撮影装置（端末装置）によって撮影することも可能である。そのため、外部情報装置（表示装置）上で表示される一つの表示画面で複数のクライアントに対応可能なユーザインターフェースを実現可能であり、したがって複数のクライアントに対してほぼ同時にサービスを提供することも可能となる。
【発明を実施するための最良の形態】
【０００８】
図１は、本発明が適用される情報システム１００の概略的構成を示すブロック図である。情報システム１００は、ポインティング装置あるいは端末装置としてのカメラ１１０と、表示装置１３０と、固定表示物１４０と、情報処理装置１５０とを有する。
【０００９】
カメラ１１０は、操作部１１２と、コントローラ１１４と、撮影部１１６と、処理部１１８と、モニタ１２０と、画像データ記憶部１２２と、一時メモリ１２４と、通信部１２６とを有する。
【００１０】
表示装置１３０は、１または複数の表示部１３２を有する。図１においては、表示装置１３０が表示部１３２Ａおよび表示部１３２Ｂを有するものとして描かれているが、以下の説明中でこれら複数の表示部を区別する必要が無い場合には単に表示部１３２と称する。表示装置１３０はまた、個々の表示部１３２Ａ、１３２Ｂに対応して通信部１３４Ａ、１３４Ｂを有している。この表示装置１３０は、例えば複数の表示部１３２を配列して構成される大型表示装置とすることも可能である。
【００１１】
固定表示物１４０は、１または複数の固定表示部１４２を有する。図１においては、固定表示部１４２Ａ、固定表示部１４２Ｂを有する例が示されているが、以下の説明中でこれら複数の固定表示部を区別する必要が無い場合には単に固定表示部１４２と称する。これらの固定表示部１４２は一例として、ポスターや看板等を用いたものとすることが可能である。
【００１２】
情報処理装置１５０は、通信部１５２と、処理部１５４と、一時メモリ１５６と、画像データ記憶部１５８とを有する。本実施の形態において、情報処理装置１５０は、ポインティング装置（端末装置）としてのカメラ１１０から発せられる要求に対して種々のサービスを提供するサーバとしての機能を有する。
【００１３】
カメラ１１０について説明する。操作部１１２は、プッシュスイッチ、シーソー型のスイッチ、ダイヤル、タッチパネル、さらには十字キーなどと称される上下左右に揺動させるようにして押下可能なスイッチ等のうちのいずれか一つまたは複数を含むものとすることが可能である。コントローラ１１４はＣＰＵなどで構成され、カメラ１１０の動作を全体的に統括して制御する。撮影部１１６は、撮影レンズ、絞り、シャッタ、撮像素子等を含み、撮影レンズによって撮像素子の受光面上に形成された被写体の像から映像信号を生成する。
【００１４】
モニタ１２０は、ＴＦＴ液晶表示素子、ドライバ、バックライトユニット等で構成され、撮影部１１６で撮影されて得られた映像や各種設定メニュー等を表示することが可能に構成される。あるいは、モニタ１２０は有機ＥＬ等の表示素子とドライバ等で構成されるものであってもよい。
【００１５】
通信部１２６は、無線、あるいは有線の形態で情報処理装置１５０と通信するためのものである。通信部１２６は無線の形態で情報処理装置１５０と通信可能であることが望ましい。無線の形態での通信を可能とするものとしては、光、電波を用いる通信のいずれでもよい。光を用いる通信方法としては、一例としてＩｒＤＡの規格に準拠したものを利用可能である。また、電波を用いる通信方法としては、ブルートゥース（登録商標）、ＩＥＥＥ８０２．１１、無線ＵＳＢ等の規格に準拠したものを利用することが可能である。また、カメラ１１０がいわゆるカメラ付き携帯電話である場合には、移動体通信網、インターネットを経由して情報処理装置１５０との通信が可能である。
【００１６】
通信部１２６はまた、表示装置１３０が有する複数の表示部１３２のそれぞれに備えられる通信部１３４Ａ、１３４Ｂと通信可能に構成されていてもよい。なお、通信部１２６が通信部１３４Ａ、１３４Ｂと通信可能に構成される例については図２、図３を参照して後で説明する。
【００１７】
処理部１１８は、カメラ１１０が記録モード、再生モード、また、後述するポインティングモードに設定されるのに応じて種々の処理を行う。一時メモリ１２４はＳＤ−ＲＡＭ等のアクセス速度が比較的高速の記憶素子で構成されることが望ましく、撮影部１１６で生成された映像信号を処理部１１８が処理する際のワークエリア等として用いられる。画像データ記憶部１２２はフラッシュメモリ等で構成され、内蔵式のメモリであっても、着脱可能なカード式のメモリであってもよい。
【００１８】
カメラ１１０が記録モードに設定されている場合、処理部１１８は撮影部で生成された映像信号を処理し、モニタ１２０に映像（スルー画）を表示する。また、カメラ１１０のユーザが撮影操作をするのに応じて撮影部１１６から出力される映像信号を処理し、画像データを生成し、カラーバランス調整、階調補正、輪郭強調、ｊｐｅｇ圧縮等の処理をして画像データ記憶部１２２に記憶する。
【００１９】
カメラ１１０が再生モードに設定されている場合、処理部１１８は画像データ記憶部１２２に記憶されている画像データを一時メモリ１２４上に読み出してモニタ１２０に映像を表示する処理を行う。
【００２０】
カメラ１１０がポインティングモードに設定されている場合、コントローラ１１４による管理のもとで、通信部１２６を介して情報処理装置１５０、あるいは図２、図３を参照して後で説明するように表示装置１３０と通信を行い、撮影部１１６で得られた映像をモニタ１２０に表示するとともに情報処理装置１５０に映像（画像データ）を送信する。処理部１１８はまた、情報処理装置１５０との間で、後で詳しく説明する各種情報の授受を行う。
【００２１】
情報処理装置１５０について説明する。通信部１５２は、カメラ１１０の通信部１２６との間で通信を行い、情報の授受を行う。この通信部１５２は、カメラ１１０が有する上述した通信部１２６と同様の構成とすることができる。カメラ１１０がカメラ付き携帯電話の場合、通信部１５２はインターネットに接続可能なものとすることができる。通信部１５２はさらに、後述する表示装置１３０とも通信可能に構成される。
【００２２】
処理部１５４は、ＣＰＵなどで構成される。画像データ記憶部１５８はハードディスクドライブなどで構成され、後述する表示装置１３０の表示部に映像を表示するための画像データや処理部１５４で実行される処理プログラム、オペレーティングシステム等が記憶されている。一時メモリ１５６は、ＳＤ−ＲＡＭ等で構成され、画像データ記憶部１５８から読み出したプログラムや画像データが一時的に記憶される。
【００２３】
表示装置１３０について説明する。表示部１３２は、ＣＲＴ、液晶表示パネル、プラズマディスプレイパネル、あるいはリアプロジェクション式のスクリーンなどを用いたもので構成することが可能である。この場合、複数の表示パネルを隣接して配列し、１枚の大型ディスプレイとして機能させることもできる。また、多数の高輝度ＬＥＤを二次元配列し、ビルの壁面等に設置されるような大型の表示装置で表示部１３２を構成してもよい。さらに、電光掲示板のようなものも表示部１３２として利用可能である。
【００２４】
通信部１３４Ａ、１３４Ｂは、複数の表示部１３２Ａ、１３２Ｂのそれぞれに対応して設けることが可能である。通信部１３４Ａ、１３４Ｂは、情報処理装置の通信部１５２と相互に通信可能に構成される。そして、通信部１５２から送信される映像を受信し、表示部１３２に表示する。
【００２５】
固定表示物１４０について説明する。１または複数の固定表示部１４２に表示される内容は、画像データ記憶部１５８に記憶されている。例えば、固定表示部１４２がレストランを紹介する宣伝広告ポスターである場合、その表示内容を後で説明するパターン認識処理によって認識するためのテンプレートデータが画像データ記憶部１５８に記憶されている。
【００２６】
以下の説明を理解しやすくするために、以上に説明した情報システム１００の作用の概略について先に説明する。表示部１３２や固定表示物１４２には、一例としてレストランを紹介する内容などが表示される。表示部１３２や固定表示物１４２には、レストランの特色や提供される料理メニュー等を紹介する表示とともに、「カメラ付き携帯電話等でこの部分の画像を携帯電話のモニタに映し出し、決定ボタンを押すと地図と割引クーポンが得られます。」といった趣旨のことが記載されている。
【００２７】
カメラ１１０のユーザは、カメラ１１０を表示部１３２上の例えば「ここで地図とクーポン券を取得」などと表示される部分に向けて撮影操作をすると、得られた映像がモニタ１２０に表示されるとともに、当該の映像が情報処理装置１５０に送信される。
【００２８】
情報処理装置１５０は、受信した映像に対していわゆるテンプレートマッチングのアルゴリズム等を用いたパターン認識の処理を行い、カメラ１１０で撮影されたのが表示部１３２中のどの部分であるかを探索する。そして、カメラ１１０で撮影された部分の映像中に上述した「ここで地図とクーポン券を取得」といった表示部分が含まれていることを認識する。このような、ユーザがカメラ１１０で撮影してモニタ１２０に表示される映像内において、ユーザによる選択操作を受け付け可能な部位を本明細書では「ホットスポット」と称する。
【００２９】
情報処理装置１５０は、上述したパターン認識処理の結果に基づき、カメラ１１０に表示される映像内のホットスポットの映像部分を囲う枠の映像を生成し、カメラ１１０に送信する。カメラ１１０の処理部１１８は、情報処理装置１５０から受信したホットスポットの映像部分を囲う枠の映像を、撮影部１１６で生成された映像に重ねてモニタ１２０に表示する。
【００３０】
カメラ１１０のユーザは、モニタ１２０上に表示される枠の内部がホットスポットであることを認識し、操作部１１２を操作して例えば「決定」に類する操作をする。その操作内容がカメラ１１０から情報処理装置１５０に送信される。情報処理装置１５０は、カメラ１１０のユーザが撮影した映像および上記操作に応じて地図やクーポン券の映像、あるいはＵＲＬや音楽データ等をカメラ１１０に送信する。
【００３１】
上記のパターン認識に関しては、解析する対象の映像がカメラ１１０から送信されるものであることから、高い処理能力を有するアルゴリズムを有するものが望ましい。すなわち、カメラ１１０が傾いた状態で撮影が行われていることもあるし、カメラ１１０と表示部１３２とが必ずしも正対した状態で撮影されているとは限らず、映像にいわゆるキーストン歪みを生じている場合もある。また、撮影倍率も一定ではない。さらに、ブレ、合焦不良、レンズの結像性能（収差）等の影響を受けて映像は劣化し、パターン認識処理に際しての認識率を高い状態に維持するのは困難となる可能性がある。
【００３２】
上述した問題に対処するためのパターン認識として、特開２００５−１７３６４９号公報に開示される技術等が利用可能である。上記公報に開示される技術は、テンプレートマッチング処理において、解析対象の画像がテンプレートと比較して大きさが異なっていたり、回転していたりして変形している場合に、その変形によって生じる検出性能の低下を防ぐためのものである。
【００３３】
ここで、カメラ１１０の通信部１２６と表示装置１３０の通信部１３４との間で通信を可能とする例について、図１とともに図２、図３を参照して説明する。表示装置１３０が複数の表示部１３２を有するものである場合、加えて、これら複数の表示部１３２に表示される表示内容が表示部１３２ごとに異なるものである場合、情報処理装置１５０のパターン認識に係る処理負荷が増すことが予想される。例えば、街頭に設置されるような大型の表示装置では、表示装置全体を構成する表示部の数が非常に多くなり、これに伴って情報処理装置１５０の処理負荷も飛躍的に増す。また、情報処理装置が複数のクライアントからの要求に応えて処理をするサーバである場合、クライアント数の増加に伴って情報処理装置の処理負荷が増し、クライアントからのデータ要求に対して適切なタイミングでデータを送り出すことができない、といった不都合を生じることもある。
【００３４】
上述した点を改善するため、カメラ１１０（通信部１２６）、表示部１３２、通信部１３４を図２、図３に示されるような構成とすることが可能である。図２および図３は、表示装置１３０が複数の表示部１３２Ａ、１３２Ｂ、１３２Ｃ、…を有していて、個々の表示部１３２Ａ、１３２Ｂに対応して通信部１３４Ａ、１３４Ｂ、…が設けられる例を示している。
【００３５】
図２において、カメラ１１０は表示部１３２Ｂに向けられている。また、カメラ１１０の通信部１２６は無線の形態で通信部１３４のいずれかと通信可能に構成されるとともに、通信部１２６から送信される信号が指向性を有するように構成されている。このため、図２のようにカメラ１１０が表示部１３２Ｂに向けられている場合には、通信部１２６から送信される信号は表示部１３２Ｂの近傍に設置される通信部１３４Ｂでのみ受信可能となる。通信部１３４Ｂで受信された信号中の情報は情報処理装置１５０に送られる。ことのき、情報装置１５０に送られる情報は通信部１３４Ｂ（表示部１３２Ｂ）を経由したものであることを示す情報（本明細書中ではこの情報を「画面識別情報」と称する）も付加される。
【００３６】
情報処理装置１５０がパターン認識の処理をする際に、上記画面識別情報を参照することにより、複数の表示部１３２のうち、どの表示部に表示される映像に対応するテンプレートを用いてパターン認識をすれば良いのかが事前に判るので、パターン認識に係る処理に際してテンプレートの数を事前に絞り込むことができる。したがって、パターン認識に係る負荷を大幅に低減することが可能となる。
【００３７】
通信部１３４が送信部として機能する状態を示している図３を参照して説明すると、通信部１３４もまた送信される信号が指向性を有するように構成されている。その結果、図３に例示されるように、表示部１３２Ｂと対向するように位置するカメラ１１０の通信部１２６でのみ通信部１３４Ｂから送信された信号を受信可能に構成されている。このような構成を有することにより、表示部１３２Ｂの表示画面を撮影して生成された映像を送信したカメラ１１０に対して上述した情報を確実に送信することが可能となる。
【００３８】
上述した通信部１２６、１３４から送信される信号に指向性を与えるためには、様々な技術が利用可能である。例えば、両者の間で光通信が行われる場合には、信号を搬送するための光を出射する発光デバイスと、当該の発光デバイスから放射される光を集光するための集光レンズとを通信部１２６、１３４に備え、集光レンズを経て出射される光が所望のビームプロファイルとなるように集光レンズの焦点距離を定めれば良い。同様に、受光デバイスの受光面近傍にも集光レンズを備え、所望の入射角度で受光デバイスが光を受けることが可能となるように集光レンズの焦点距離を定めればよい。また、両者の間で電波による情報の送受信が行われる場合には、所望の指向性特性を有するチップアンテナ等を通信部１２６、１３４に備えればよい。
【００３９】
図４は、図２および図３を参照して説明した技術を用いてカメラ１１０と情報処理装置１５０との間で各種の情報が授受される様子を概念的に示すブロック図である。図４において、ポインティングモードに設定されたカメラ１１０が表示部１３２Ａに向けられていて、表示部１３２Ａ中に表示される表示映像中でホットスポットとなりうる表示部分１３６Ａ、１３６Ｂを含む部分が撮影され、その映像がカメラ１１０のモニタ１２０に表示されているものとする。
【００４０】
カメラ１１０のユーザが操作部１１２を操作するのに応じて、カメラ１１０から情報処理装置１５０に、映像（スルー画）１８２と送信元特定情報１８３とが送信される。この送信元特定情報１８３は、カメラ１１０の個体を一意に特定可能な情報であり、例えばメーカコード、機種コードおよびシリアルナンバーを含むものとすることが可能である。あるいは、カメラ１１０にＩＰアドレスやＭＡＣアドレス等が割り振られている場合にはこのようなアドレス情報を用いることも可能である。
【００４１】
情報処理装置１５０は、受信した映像を処理し、映像中に含まれている、ホットスポットとなりうる部位をパターン認識によって検出する処理を行う。情報処理装置１５０はカメラ１１０に対し、ホットスポット特定情報１８０Ａまたは１８０Ｂ、画面識別情報１８０Ｄ、選択領域情報１８０Ｅを送信する。また、上記パターン認識による検出処理の結果、ホットスポットとなりうる表示部分に対応してカメラ１１０の表示部１２０に表示すべき説明文等に対応するテキスト情報がある場合には、そのテキスト情報１８０Ｃも送信する。
【００４２】
情報処理装置１５０からカメラ１１０に送信される上記の情報について説明する。ホットスポット特定情報とは、カメラ１１０のモニタ１２０に表示されている映像中でホットスポットとして設定可能な部分を特定するための情報である。このうち、ホットスポット特定情報１８０Ａは、モニタ１２０に表示される映像に重畳して表示することにより、カメラ１１０のユーザがモニタ１２０に表示される映像中のホットスポットを認識可能とする、ホットスポット明示映像である。このホットスポット明示映像としては、例えばモニタ１２０に表示される映像中のホットスポットを囲う枠の映像とすることが可能である。図４には、ホットスポット明示映像の例として符号Ｆ１が付された枠の画像が示されている。
【００４３】
ホットスポット特定情報１８０Ｂは、モニタ１２０に表示される映像中におけるホットスポットの位置と範囲を特定可能な、ホットスポット位置情報である。このホットスポット位置情報としては、モニタ１２０に表示される映像中でホットスポットとして設定可能な矩形領域の対角に位置する二つの頂点の座標（Ｘ１、Ｙ１）−（Ｘ２、Ｙ２）とすることが可能である。カメラ１１０がホットスポット特定情報としてホットスポット明示映像ではなく、ホットスポット位置情報を受信した場合には、このホットスポット位置情報をもとにカメラ１１０の処理部１１８がホットスポット明示映像を生成し、モニタ１２０に表示される映像に重畳して表示する。あるいは、上記のホットスポット位置情報で特定される領域の映像のコントラストを変化させたり、明暗を反転させた表示としたり、カラーバランスを変えたりする処理をするものであってもよい。
【００４４】
画面識別情報１８０Ｄは、複数ある表示部１３２のうち、映像はどの表示部を撮影したものであるかを示す情報である。選択領域情報１８０Ｅは、表示部１３２Ａに表示される表示画面中、カメラ１１０によって撮影された領域内でホットスポットとなる部分として認識された部分を特定する情報である。この選択領域情報１８０Ｅは、表示部１３２Ａに表示される表示画面中の座標値を含んでいてもよいし、上記ホットスポットとなる部分が、どのようなユーザ要求を受け付ける部分であるのかを示す情報を含んでいても良い。
【００４５】
情報処理装置１５０からカメラ１１０に上述した情報が送信されるのに応じて、カメラ１１０のモニタ１２０上に表示される映像にはホットスポット明示用の枠Ｆ１が重畳して表示される。また、情報処理装置１５０からカメラ１１０にテキスト情報１８０Ｃが送信された場合には、そのテキスト情報１８０Ｃに基づく文字表示Ｔ１が表示される。
【００４６】
モニタ１２０に表示されるホットスポットが目的の操作をするためのものであると認識したカメラ１１０のユーザは、操作部１１２を用いて、例えば「決定」等の意志決定をカメラ１１０に伝える操作（本明細書中ではこれを「ユーザ選択操作」と称する）を行う。このユーザ選択操作を受け、図４には示されていないが、カメラ１１０から情報処理装置１５０に、送信元特定情報１８３、画面識別情報１８０Ｄ、選択領域情報１８０Ｅに加えて、上記ユーザ選択操作に関連する情報が送信される。
【００４７】
情報処理装置１５０は、これらの送信元特定情報１８３、画面識別情報１８０Ｄ、選択領域情報１８０Ｅ、そして上記ユーザ選択操作に関連する情報を受信する。すなわち、情報処理装置１５０が受信するのはカメラ１１０で撮影して得られた映像ではなく、画面識別情報１８０Ｄ、選択領域情報１８０Ｅである。これにより、情報処理装置１５０はパターン認識を再度行う必要が無い。なぜならば、ユーザ選択操作の対象となったホットスポットに対応する映像は、複数の表示部１３２のうちのどの表示部に表示されるものであるかを、情報処理装置１５０は画面識別情報１８０Ｄから判別可能であるからである。また、当該の表示部のどこに表示されるものか、あるいはどのようなコマンドに対応する表示であるのかを上記の選択領域情報１８０Ｅから情報処理装置１５０は判別可能であるからである。このようにして、パターン認識を繰り返し行う必要が無くなり、情報処理装置１５０の処理負荷を減じることが可能となる。
【００４８】
情報処理装置１５０は、上述したユーザ選択操作がなされたホットスポットに対応する情報をカメラ１１０に向けて送信する。カメラ１１０のユーザは、情報処理装置１５０から受信した情報に基づく文字情報、グラフィック情報等をモニタ１２０上で閲覧することが可能となる。あるいは、情報処理装置１５０から受信した情報が音声データである場合には、カメラ１１０に内蔵されるスピーカや接続されるイヤホン等を介してユーザは音楽や音声案内等を聴くことが可能となる。
【００４９】
図４に示す例では、表示部１３２Ａ中に表示される表示映像中でホットスポットとなりうる表示部分１３６Ａ、１３６Ｂを含む部分が撮影されている例が示されている。そしてホットスポットであることを明示する枠Ｆ１は、表示部分１３６Ａに対応する映像部分に重畳してモニタ１２０上に表示されている。このように枠Ｆ１を表示するためには、情報処理装置１５０でパターン認識の処理をする際に、抽出された表示部分１３６Ａ、１３６Ｂのうち、モニタ１２０に表示される映像中のより中心側に表示されるものをユーザ選択操作の対象となるホットスポットであるとするアルゴリズムを適用することで実現可能である。この場合、ユーザはカメラ１１０を表示部１３２に向けてモニタ１２０に表示される映像を観察し、所望の操作対象に枠Ｆ１が重畳して表示されるようになるようにカメラ１１０のアングル（構図）を調節すればよい。そして、所望の操作対象に枠Ｆ１が重畳して表示されたら操作部１１２によって選択操作を行うことができる。
【００５０】
図５は、図４に示すのとは異なる方式でユーザが選択操作可能とする例を示す図である。図５において図４に示すものと同様の構成要素には同じ符号を付してその説明を省略し、図４との差異を中心に説明をする。
【００５１】
カメラ１１０のユーザが操作部１１２を操作するのに応じて、カメラ１１０から情報処理装置１５０に映像（スルー画）１８２と送信元特定情報１８３とが送信される。
【００５２】
情報処理装置１５０が、受信した映像を処理し、ホットスポットとなりうる表示部分１３６Ａ、１３６Ｂが含まれていることをパターン認識によって検出したものとする。情報処理装置１５０はカメラ１１０に対し、ホットスポット特定情報１８０Ａまたは１８０Ｂ、画面識別情報１８０Ｄ、選択領域情報１８０Ｅを送信する。また、図４に示すものと同様、ホットスポットとなりうる表示部分に対応してカメラ１１０の表示部１２０に表示すべき説明文に対応するテキスト情報がある場合には、そのテキスト情報１８０Ｃも送信する。
【００５３】
図５に例示されるように、上記ホットスポット特定情報１８０Ａは、表示部分１３６Ａ、１３６Ｂのそれぞれを囲う枠の映像が含まれたものとすることができる。また、ホットスポット特定情報１８０Ｂには、表示部分１３６Ａ、１３６Ｂがモニタ１２０上で表示される領域を囲う二つの矩形領域それぞれの対角に位置する二つの頂点の座標（Ｘ１、Ｙ１）−（Ｘ２、Ｙ２）、（Ｘ３、Ｙ３）−（Ｘ４、Ｙ４）とすることができる。
【００５４】
画面識別情報１８０Ｄは、複数ある表示部１３２のうち、映像はどの表示部を撮影したものであるかを示す情報である。また、選択領域情報１８０Ｅは、表示部１３２Ａに表示される表示画面中、カメラ１１０によって撮影された領域内でホットスポットとなる部分として認識された部分を特定する情報である。選択領域情報１８０Ｅは、表示部１３２Ａに表示される表示画面中、カメラ１１０によって撮影された領域内でホットスポットとなる部分として認識された部分を特定する情報である。図４に示されるものと異なるのは、選択領域情報１８０Ｅ中には表示部分１３６Ａ、１３６Ｂに対応する情報が含まれる点である。
【００５５】
情報処理装置１５０からカメラ１１０に上述した情報が送信されるのに応じて、カメラ１１０のモニタ１２０上に表示される映像にはホットスポット明示用の枠Ｆ１、Ｆ２が重畳して表示される。また、情報処理装置１５０からカメラ１１０にテキスト情報１８０Ｃが送信された場合には、そのテキスト情報１８０Ｃに基づく文字表示Ｔ１が表示される。
【００５６】
ユーザは、カメラ１１０の操作部１１２（モニタ１２０の表面に設けられるタッチパネルも含む）を操作し、二つのホットスポットのうちのいずれかを選択する操作を行う。図５に示す例では、「データ取得」のホットスポットが選択操作されたものとする。そのような操作に応じて、モニタ１２０に表示される枠Ｆ１、Ｆ２の線のパターンや色が変化し、現状でどちらのホットスポットが選択されている状態にあるのかをユーザが認識可能に構成されている。なお、枠Ｆ１、Ｆ２の線のパターンや色が変化するのに代えて、枠Ｆ１、Ｆ２内のホットスポット部分の映像のコントラストを両者の間で異なるものとしたり、選択されたホットスポットを明暗反転表示、あるいは通常表示と明暗反転表示とを交互に繰り返してブリンク表示させたりするように構成されていてもよい。
【００５７】
モニタ１２０に表示される複数のホットスポットのうち、所望のホットスポットが選択されていることを認識したカメラ１１０のユーザは、操作部１１２を用いて、例えば「決定」等の意志決定をカメラ１１０に伝える操作（ユーザ選択操作）をする。このユーザ選択操作を受け、図５には示されていないが、カメラ１１０から情報処理装置１５０に、送信元特定情報１８３、画面識別情報１８０Ｄ、選択領域情報１８０Ｅ、上記ユーザ選択操作に関連する情報が送信される。このうち、選択領域情報１８０Ｅ中には、モニタ１２０に表示される複数のホットスポットのうち、ユーザが選択したホットスポットに対応する表示部分１３６Ａまたは１３６Ｂは、表示部１３２のどこに表示されるものか、あるいはどのようなコマンドに対応する表示であるのかを示す情報が含まれる。
【００５８】
情報処理装置１５０は、これらの送信元特定情報１８３、画面識別情報１８０Ｄ、選択領域情報１８０Ｅに加えて、上記ユーザ選択操作に関連する情報を受信する。情報処理装置１５０は、上述したユーザ選択操作がなされたホットスポットに対応する情報をカメラ１１０に向けて送信する。カメラ１１０のユーザは、情報処理装置１５０から受信した情報に基づく文字情報、グラフィック情報等をモニタ１２０上で閲覧することが可能となる。
【００５９】
以上に説明したカメラ１１０、情報処理装置１５０による処理について図６から図８に示されるフローチャートを参照して説明する。図６から図８には、カメラ１１０と情報処理装置１５０との間で実行される以上に説明した処理を行うための手順が示されている。そして、図６、図７の左側にはカメラ１１０のコントローラ１１４により実行される情報取得操作の処理手順が示され、右側には情報処理装置１５０の処理部１５４で実行されるパターン認識の処理手順が示されている。また、図８には情報処理装置１５０の処理部１５４で実行されるユーザ選択操作受付の処理手順が示されている。図６から図８において、カメラ１１０と情報処理装置１５０との間で情報（図６から図８中では「情報１」から「情報６」として示されている）が授受される様子が太い破線で示されている。
【００６０】
まず図６を参照してカメラ１１０のコントローラ１１４により実行される処理手順を説明する。Ｓ６００においてコントローラ１１４は、撮影して得られた映像（スルー画）を送信元特定情報とともに情報処理装置１５０に送信する処理を行う。このときカメラ１１０のユーザは、カメラ１１０を図１に示す表示部１３２Ａ、１３２Ｂ、…、あるいは固定表示部１４２Ａ、１４２Ｂ、…のいずれかに向けているものとする。図６においては、映像および送信元特定情報が「情報１」として示されている。この情報１は、図４、図５において符号１８２、１８３を付した情報に対応する。
【００６１】
Ｓ６０２においてコントローラ１１４は、情報処理装置１５０からホットスポット特定情報を取得する処理を行う。図６、図７において、ホットスポット特定情報は「情報２」として示されている。この情報２は、図４、図５において符号１８０Ａまたは１８０Ｂを付した情報に対応する。
【００６２】
Ｓ６０４においてコントローラ１１４は、テキスト情報を取得する処理を行う。図６、図７において、テキスト情報は「情報３」として示されている。この情報３は、図４、図５において符号１８０Ｃを付した情報に対応する。
【００６３】
Ｓ６０６においてコントローラ１１４は、情報処理装置１５０から画面識別情報および選択領域情報を取得する処理を行う。図６、図７において、画面識別情報および選択領域情報は「情報４」として示される。この情報４は、図４、図５において符号１８０Ｄ、１８０Ｅを付した情報に対応する。
【００６４】
Ｓ６０８においてコントローラ１１４は、Ｓ６０２で取得したホットスポット特定情報中にホットスポット明示映像が含まれるか、すなわちホットスポット情報が図４、図５に示されるホットスポット情報１８０Ａであるか否かを判定する。この判定が肯定されるとＳ６１０に進み、コントローラ１１４は、モニタ１２０に表示される映像にホットスポット明示映像を重ね合わせる処理をし、モニタ１２０に表示するように、処理部１１８にコマンドを発する。この処理により、モニタ１２０には図４に例示されるように枠Ｆ１の映像がスルー画像に重ね合わせて表示される。
【００６５】
一方、Ｓ６０８での判定が否定された場合の分岐先であるＳ６２６においてコントローラ１１４は、Ｓ６０２で取得したホットスポット特定情報、すなわち図４に示されるホットスポット特定情報１８０Ｂで指定される領域を囲う枠の映像を生成し、モニタ１２０に表示される映像に重ね合わせる処理をし、モニタ１２０に表示するように、処理部１１８にコマンドを発する。
【００６６】
Ｓ６１０またはＳ６２６の処理に続き、Ｓ６１２（図７）の処理が実行される。Ｓ６１２においてコントローラ１１４は、Ｓ６０４でのテキスト情報を取得する処理でテキスト情報を取得したか否かを判定する。Ｓ６１２での判定が肯定された場合にはＳ６１４に進み、コントローラ１１４はモニタ１２０の表示される映像内のテキスト表示領域にテキスト情報を表示する。このテキスト情報が図４、図５において符号Ｔ１が示されるものに対応する。
【００６７】
Ｓ６１２での判定が否定された場合にはＳ６１４の処理をスキップしてＳ６１６に進む。Ｓ６１６においてコントローラ１１４は、ユーザ操作を受け付ける処理を行う。続くＳ６１８においてコントローラ１１４は、ユーザによる選択操作の有無を判定し、選択操作ありと判定した場合にはＳ６２０に進む一方、否定されるとＳ６２４に進む。
【００６８】
Ｓ６２０においてコントローラ１１４は、送信元特定情報、画面識別情報、選択領域情報、そしてＳ６１６で受け付けたユーザ選択操作に関連する情報を情報処理装置１５０に送信する。図７、図８においては、これらの情報が「情報５」として示されている。
【００６９】
Ｓ６２２においてコントローラ１１４は、情報処理装置１５０から情報を取得する。この情報とは、画像データ、文字データ、音声データ等、ユーザが欲している情報である。図７、図８においては、この情報が「情報６」として示されている。
【００７０】
Ｓ６２４においてコントローラ６２４は、ユーザがポインティングモードでの情報取得操作を終了することを望んでいるか否かを判定し、この判定が肯定されるとユーザによる情報取得操作を受け付ける処理を終了する。一方、Ｓ６２４における判定が否定されるとＳ６００に戻り、ユーザによる情報取得操作を受け付ける処理を継続する。
【００７１】
続いて情報処理装置１５０の処理部１５４により実行される処理手順を説明する。Ｓ６５０（図６）において処理部１５４は、カメラ１１０から映像（スルー画）を送信元特定情報とともに受信する処理を行う。Ｓ６５２において処理部１５４は、１フレーム分の映像をカメラ１１０から受信し終えたか否かを判定し、この判定が肯定されるとＳ６５４に進む。一方、Ｓ６５２の判定が否定されると、Ｓ６５０に戻り、引き続き映像受信処理を継続する。
【００７２】
Ｓ６５４において処理部１５４は、パターン認識処理を行い、Ｓ６５０、Ｓ６５２で受信した映像中においてテンプレートと合致するパターンを探索する。このとき、図２を参照して説明したように、表示装置１３０が有する複数の表示部１３２のそれぞれに対応して通信部１３４が設けられていて、カメラ１１０からの映像がそれらの通信部１３４を介して受信される場合には、処理部１５４は画面識別情報を通信部１３４から受けることができる。この場合には、画像識別情報をもとにマッチング処理すべきテンプレートを事前に絞り込むことができるので、パターン認識に係る処理負荷を低減することが可能となる。反対に、複数の表示部１３２のそれぞれに対応して通信部１３４を有していない場合、処理部１５４はマッチする可能性のあるテンプレートすべてを用いてパターン認識処理を行うことになる。その場合、マッチするテンプレートが確定すると、どの表示部の表示画面がカメラ１１０で撮影されているのかを知ることができ、画面識別情報を処理部１５４が確定可能となる。
【００７３】
Ｓ６５６で処理部１５４は、Ｓ６５４で行われたパターンマッチング処理の結果、マッチするパターンがあったか否かの判定を行う。この判定が肯定されるとＳ６５８に進む一方、否定されるとＳ６７０に進む。
【００７４】
Ｓ６５８において処理部１５４は、選択領域を確定する。続くＳ６６０において処理部１５４は、Ｓ６５８で確定された選択領域がホットスポットとなりうるものであるか否かを判定する。そしてＳ６６０での判定が肯定されるとＳ６６２に進む一方、否定されるとＳ６６４に進む。
【００７５】
Ｓ６６２（図７）において処理部１５４は、図４、図５を参照して説明したホットスポット特定情報１８０Ａまたは１８０Ｂをカメラ１１０に送信する。このホットスポット特定情報、すなわち図６、図７で情報２として示される情報はカメラ１１０の処理部１１８によるＳ６０２での処理が行われてカメラ１１０の側で受信される。
【００７６】
Ｓ６６４において処理部１５４は、Ｓ６５８で確定した選択領域に対応するテキスト情報が有るか否かを判定し、肯定されるとＳ６６６に進む一方、否定されるとＳ６６８に進む。Ｓ６６６において処理部１５４は、図４、図５を参照して説明したテキスト情報１８０Ｃをカメラ１１０に送信する。このテキスト情報１８０Ｃが図６、図７において情報３として示されている。このテキスト情報１８０Ｃは、カメラ１１０の処理部１１８によるＳ６０４での処理が行われてカメラ１１０の側で受信される。
【００７７】
Ｓ６６８において処理部１５４は、図４、図５を参照して説明した画面識別情報１８０Ｄ、選択領域情報１８０Ｅをカメラ１１０に送信する。この画面識別情報１８０Ｄ、選択領域情報１８０Ｅが図６、図７において情報４として示されている。この画面識別情報１８０Ｄ、選択領域情報１８０Ｅは、カメラ１１０の処理部１１８によるＳ６０６での処理が行われてカメラ１１０の側で受信される。
【００７８】
Ｓ６７０において処理部１５４は、情報処理装置１５０をシャットダウンするコマンドの有無を判定し、この判定が肯定されると情報処理装置１５０をシャットダウンする処理を行ってパターン認識処理を終える。一方、Ｓ６７０での判定が否定されると、処理部１５４はＳ６５０に戻ってパターン認識処理を継続する。
【００７９】
続いて、情報処理装置１５０の処理部１５４によって上述したＳ６５０からＳ６７０の処理と並行して実行されるユーザ選択操作受付処理について図８を参照して説明する。
【００８０】
Ｓ８００において処理部１５４は、送信元特定情報、画面識別情報、選択領域情報、そしてユーザ選択操作に関連した情報をカメラ１１０から受信する処理を行う。これらの情報は図８において情報５として示されており、カメラ１１０の処理部１１８によるＳ６２０での処理が行われてカメラ１１０から送信される。
【００８１】
Ｓ８０２において処理部１５４は上記の送信元特定情報、画面識別情報、選択領域情報、ユーザ選択操作に関連した情報をカメラ１１０から受信し終えたか否かを判定し、この判定が否定されるとＳ８００に戻り、引き続き上記情報の受信処理を継続する。
【００８２】
Ｓ８０２での判定が肯定されると処理部１５４はＳ８０４に進み、Ｓ８００で受信した情報をもとにユーザが選択した処理内容（ユーザが希望する処理内容）を特定する。Ｓ８０６において処理部１５４は、ユーザが選択した処理内容に対応する情報を取得する処理を行う。ユーザが選択した処理内容に対応する情報は、画像データ記憶部１５８、あるいは一時メモリ１５６に記憶されていてもよいし、あるいは情報処理装置１５０にＬＡＮ、ＷＡＮを介して接続される別の情報処理装置内に記憶されるものであってもよい。
【００８３】
Ｓ８０８において処理部１５４は、Ｓ８０６で取得した、ユーザが選択した処理内容に対応する情報をカメラ１１０に送信する。この、ユーザが選択した処理内容に対応する情報が図８においては情報６として示されており、カメラ１１０の処理部１１８によるＳ６２２での処理が行われてカメラ１１０側で受信される。
【００８４】
Ｓ８１０において処理部１５４は、情報処理装置１５０をシャットダウンするコマンドの有無を判定し、この判定が肯定されると情報処理装置１５０をシャットダウンする処理を行ってユーザ選択操作受付処理を終える。一方、Ｓ８１０での判定が否定されると、処理部１５４はＳ８００に戻ってユーザ選択操作受付処理を継続する。
【００８５】
以上で説明した情報システム１００は、例えば街頭やビル内、駅構内等の広場に設置される表示装置として実施することが可能である。その際に、複数の表示部１３２が互いに隣接配置されて大型の表示装置を形成するものであってもよいし、複数の表示部１３２が街頭や広場内の複数の箇所に分散配置されるものであってもよい。そして、複数の表示部１３２に加えてポスター、看板等の固定表示部１４２を設けることも可能であるし、複数の表示部１３２は設けずに固定表示部１４２のみを設けることも可能である。カメラ１１０は、無線通信機能付きのデジタルカメラ、カメラ付き携帯電話、無線通信機能およびカメラを有する携帯情報端末（ＰＤＡ）や可搬型のコンピュータ等とすることが可能である。
【００８６】
複数の表示部１３２のそれぞれに表示される表示内容は、情報処理装置１５０によって適宜の時間間隔をおいて変更（更新）することが可能であり、カメラ１１０のユーザ、すなわちクライアントに対して昼夜等の状況に応じて様々な情報をタイムリーに提供することが可能となる。固定表示部１４２については、それがポスターである場合、貼り替えられたときに貼り替え後のポスターの表示内容に対応するテンプレート情報を画像データ記憶部１５８に記憶する必要はあるが、表示に際して電力を必要とせず、屋外に設置する際に耐候性をあまり考慮する必要が無い。
【００８７】
固定表示部１４２の近傍には、図２、図３を参照して説明したような通信部１３４と同様のものを備えることが可能である。これに代えて、情報処理装置１５０が有する通信部１５２が無線通信機能を有していて、そのカバーエリア内に固定表示部１４２が設置されていてもよい。複数の表示部１３２についても、それぞれが図２、図３を参照して説明したような通信部１３４を有していてもよいし、情報処理装置１５０が有する通信部１５２が無線通信機能を有していて、そのカバーエリア内に複数の表示部１３２が配置されるものであってもよい。
【００８８】
図９には、図１に示される情報システム１００の規模を縮小した情報システム１００Ａのブロック図が示されている。図１に示される情報システム１００は、上述したように街頭や広場等に設置することが可能なものであったが、図９に示される情報システム１００Ａは、例えば家庭内や宿泊施設内の各客室に設置されるものとして実施可能である。図９に示す情報システム１００Ａにおいて、図１に示す情報システム１００が有するのと同様の構成要素には図１に示される各構成要素に付された符号を同じ符号を付し、その説明を省略する。
【００８９】
情報システム１００Ａは、カメラ１１０と表示装置付き情報処理装置１５０Ａとを有する。カメラ１１０は、無線通信機能付きのデジタルカメラ、カメラ付き携帯電話、カメラ付きの携帯情報端末（ＰＤＡ）や可搬型のコンピュータ等、あるいは撮影機能、映像表示機能を有するリモコンとすることも可能である。
【００９０】
表示装置付き情報処理装置１５０Ａ（以下、単に「情報処理装置１５０Ａ」と称する）は、一または複数の表示部（図９では表示部１３２Ａ、１３２Ｂとして示されている）を有している点が図１の情報システム１００と異なる点である。このような情報処理装置１５０Ａとしては、テレビジョン受像器やビデオモニタとして実施可能である。
【００９１】
情報システム１００Ａが家庭内に設置されるものでは、情報処理装置１５０Ａ自体の動作モードや受信チャンネルを変える操作、あるいは情報処理装置１５０Ａが別の映像配信サーバに接続されていて、ユーザが閲覧を希望するコンテンツを選択する操作を受け付け可能とすることが可能である。また、情報システム１００Ａが宿泊施設内の客室に設置されるものでは、館内案内、ルームサービス、フロントからのメッセージ開封等の操作を受け付けることが可能となる。また、情報処理装置１５０Ａが別の映像配信サーバに接続されていて、ユーザが閲覧を希望するコンテンツを選択する操作を受け付け可能とすることも可能である。
【００９２】
上記の情報システム１００Ａにおいては、カメラ１１０、すなわちクライアントは複数であってもよいが、通常は１台であることが想定される。そのような場合、カメラ１１０のユーザによるホットスポット選択操作に応じて表示部１３２に表示される内容を情報処理装置１５０Ａの処理部１５４が随時更新して、階層化されたメニュー中で選択された内容に応じてさらに詳しい選択肢を表示する、といったことも可能となる。近年のテレビジョン受像器やビデオモニタの多機能化に伴って、リモコンに配置される押しボタンスイッチの数が増し、ユーザにとって便利な機能が追加されている反面、操作が煩雑でわかりにくくなることがある。これに対し、本発明によれば、ユーザは表示部１３２に表示される映像を見ながら必要とする機能に対応するホットスポットを選択する操作をすることが可能となり、より分かりやすいユーザインターフェースを提供することが可能となる。
【００９３】
次に、図１に示される情報システムを、さらに広域のエリアで運用される実施形態について、図１０、図１１を参照して説明する。図１０は、比較的大きな規模を有する情報システム１００Ｂの構成を概略的に示すブロック図である。この情報システム１００Ｂは、例えばテーマパーク等の遊園地、動物園、あるいは水族館等の、比較的大規模なレジャー施設等に設置することが可能である。
【００９４】
図１０に例示される情報システム１００Ｂは、ホストサーバ３００と、複数に分割されたエリア（図１０ではエリア１、エリア２、エリア３が示される）のそれぞれに配設された情報処理装置としてのサーバ１５０−１、１５０−２、１５０−３と、中継部２１０−１、２１０−２、２１０−３とを有し、さらにこれらのエリア内に存在する端末装置としてのカメラ１１０を１台または複数台有する。図１０では１台のカメラ１１０がエリア１内にあるものとして描かれている。
【００９５】
サーバ１５０−１、１５０−２、１５０−３のそれぞれには１または複数の表示部が接続される。図１０においては、サーバ１５０−１には表示部１３２−１Ａ、１３２−１Ｂ、１３２−１Ｃが接続され、サーバ１５０−２には表示部１３２−２Ａ、１３２−２Ｂ、１３２−２Ｃが接続され、そしてサーバ１５０−３には表示部１３２−３Ａ、１３２−３Ｂ、１３２−３Ｃが接続される例が示されている。
【００９６】
なお、サーバ１５０−１、１５０−２、１５０−３については、必ずしもそれぞれのエリア内に配設される必要はなく、これらのサーバ１５０−１、１５０−２、１５０−３のそれぞれと表示部（１３２−１Ａ、１３２−１Ｂ、…１３２−３Ｃ）とが遠隔接続可能に構成される場合には、これらのサーバ１５０−１、１５０−２、１５０−３の設置場所は任意の場所とすることが可能で、ホストサーバ３００の設置場所と同じ場所に設置されるものであってもよい。あるいは、ホストサーバ３００の設置場所とは別の場所に配置されるものであってもよく、その場合、分散配置されるものであっても集中配置されるものであってもよい。また、サーバ１５０−１、１５０−２、１５０−３が表示部（１３２−１Ａ、１３２−１Ｂ、…１３２−３Ｃ）と接続されていなくても、これらのサーバ１５０−１、１５０−２、１５０−３が表示部（１３２−１Ａ、１３２−１Ｂ、…１３２−３Ｃ）に表示されている表示内容を把握できるように構成されていれば、サーバ１５０−１、１５０−２、１５０−３の設置場所は任意の場所とすることが可能である。
【００９７】
中継部２１０−１には無線通信部２００−１が、中継部２１０−２には無線通信部２００−２が、そして中継部２１０−３には無線通信部２００−３が、それぞれ接続される。これらの無線通信部２００−１、２００−２、２００−３はそれぞれ、図１０で概念的に示したエリア１、エリア２、エリア３の中に存在するカメラ１１０と通信できるように無線通信のカバーエリアが設定されている。すなわち、カメラ１１０がエリア１内に存在する間は、カメラ１１０は無線通信部２００−１と無線通信を行うことが可能に構成されている。
【００９８】
サーバ１５０−１と中継部２１０−１とホストサーバ３００とは、ＬＡＮ、ＷＡＮ、あるいはインターネットを介して接続される。また、サーバ１５０−２と中継部２１０−２とホストサーバ３００、そしてサーバ１５０−３と中継部２１０−３とホストサーバ３００についても同様に接続される。図１０において、両端に矢印を付した太線が上述した構成要素間の接続状態を示している。
【００９９】
また、図１０中において一端に矢印を付した破線が示されており、それらの破線に丸囲いの数字が付されているが、これらは情報の伝達方向および伝達順序を示している。番号の若い数字から昇順に情報が伝達される。本明細書中および図１１のフローチャート中では丸囲いの数字に代えて括弧付きの数字で表す。
【０１００】
カメラ１１０は、当該のカメラ１１０が存在するエリア内の表示部（例：エリア１においては表示部１３２−１Ａ、１３２−１Ｂ、１３２−１Ｃ）を管轄するサーバ（例：エリア１においてはサーバ１５０−１）と、図１から図９を参照して説明した方法と基本的に同様の手順に従って情報の授受を行う。このときにホストサーバ３００は、振り分けサーバとして機能する。また、カメラ１１０とサーバ１５０−１、１５０−２、または１５０−３とは、中継部２１０−１、２１０−２、または２１０−３を経由して情報の授受を行う。
【０１０１】
すなわち、先に図１から図９を参照して説明した情報システム中のカメラ１１０と情報処理装置１５０とが、図１０におけるカメラ１１０とサーバ１５０−１、１５０−２、１５０−３のうちのいずれかとに対応する。サーバ１５０−１、１５０−２、１５０−３のいずれかとカメラ１１０が通信を開始するにあたって、カメラ１１０はそれ自体がどこに存在しているのかを認識しておらず、したがってどのサーバと交信をすればよいのかを把握できない。そこでカメラ１１０は後述する情報を一度ホストサーバ３００に送信する。ホストサーバ３００は受信した情報をもとにカメラ１１０の存在するエリアを判定し、カメラ１１０がどのサーバと交信すればよいのかを特定する。そしてホストサーバ３００は、カメラ１１０がどのサーバと交信すればよいのかを特定する通信先情報をカメラ１１０に送信する。以後、この通信先情報で特定されるサーバ１５０−１、１５０−２、または１５０−３とカメラ１１０とは、中継部２１０−１、２１０−２、または２１０−３を介して情報の授受を行う。
【０１０２】
以下では、図１０に例示されるように、エリア１内に存在するカメラ１１０と、同じくエリア１内に存在する表示部１３２−１Ａ、１３２−１Ｂ、１３２−１Ｃを管轄するサーバ１５０−１との間で情報の授受が行われる場合を例にとり、図１１のフローチャートを参照して説明をする。以下、ホストサーバ３００とサーバ１５０−１との区別が明確になるように、サーバ１５０−１をエリア管轄サーバと称する。
【０１０３】
図１１は、情報システム１００Ｂ内においてカメラ１１０とエリア管轄サーバ１５０−１とが情報の授受を行う際の、カメラ１１０、中継部２１０−１、ホストサーバ３００、そしてエリア管轄サーバ１５０−１で実行される処理手順を示す概略フローチャートである。カメラ１１０とエリア管轄サーバ１５０−１との間で行われる送受信の手順、送受信される映像、送信元特定情報、ホットスポット特定情報などについては図１から図９を参照して説明したのと同様であるのでその説明を省略する。そしてホストサーバ３００および中継部２１０−１の動作と、情報の送信元、送信先、送信順序等を中心に説明をする。図１１中、カメラ１１０、エリア管轄サーバ１５０−１で実行される処理手順のそれぞれに対しては、図６から図８に示されるフローチャート中において対応する処理ステップのステップ番号が付されている。
【０１０４】
最初に、カメラ１１０ではＳ６００の処理が実行され、表示部１３２−１Ａの表示画面を撮影して得られた映像と送信元情報とを中継部２１０−１に向けて送信される。これが情報（１）である。送信元情報は、先に説明したように、カメラ１１０のメーカ、機種、シリアル番号等を含むものやＩＰアドレス、ＭＡＣアドレス等とすることができる。それに加えて、送信元情報がＧＰＳ情報、すなわちカメラ１１０に内蔵するＧＰＳレシーバが受信したＧＰＳ衛星からの電波に基づいて特定されるカメラ１１０の位置情報を送信元情報中に含むことが望ましい。あるいは、中継部２１０−１が、カメラ１１０から受信した送信元情報中に、カメラ１１０はエリア１に存在することを特定する情報を付加するようにしてもよい。上記いずれかの情報は、ホストサーバ３００がカメラ１１０の位置するエリアを特定する際に参照される。以下では、送信元情報中にＧＰＳ情報を含むものとして説明をする。
【０１０５】
中継部２１０−１はＳ１１００において、カメラ１１０から受信した映像および送信元情報に中継部特定情報を付加してホストサーバ３００に送信する。これが情報（２）である。中継部特定情報は、ホストサーバ３００が後で情報を返送する際の返送先を特定するために参照される情報である。
【０１０６】
ホストサーバ３００はＳ１１５０において、受信した上記情報（２）中の送信元特定情報内のＧＰＳ情報と中継部特定情報とを参照して、カメラ１１０にサービスを提供すべきエリア管轄サーバを特定する。続くＳ１１５２においてホストサーバ３００は、映像および送信元特定情報を、中継部２１０−１に送信する。これが情報（３）である。
【０１０７】
中継部２１０−１はＳ１１０２において映像および送信元特定情報をエリア管轄サーバ１５０−１に転送する。これが情報（４）である。この情報（４）を受け、エリア管轄サーバ１５０は図６を参照して説明したＳ６５０からＳ６６０のパターン認識に係る一連の処理を実行する。続いてエリア管轄サーバ１５０は、図７を参照して説明したＳ６６２からＳ６６８の、ホットスポット特定情報、テキスト情報、画面識別情報、選択領域情報等を送信する一連の処理を実行し、これらの情報が中継部２１０−１に送信される。これが情報（５）である。
【０１０８】
中継部２１０−１はＳ１１０４において、ホットスポット特定情報、テキスト情報、画面識別情報、選択領域情報等をカメラ１１０に向けて転送する。これが情報（６）である。カメラ１１０では、図６、図７を参照して説明したＳ６０２からＳ６１４の、スルー画像にホットスポット明示映像を重ね合わせて表示する一連の処理が行われる。カメラ１１０内では引き続いて、図７を参照して説明したＳ６１６からＳ６２０の、ユーザ操作を受け付けて送信元特定情報、画面識別情報、選択領域情報、受け付けたユーザ選択操作に関連する情報を送信する一連の処理が行われ、これらの情報が中継部２１０−１に送信される。これが情報（７）である。
【０１０９】
中継部２１０−１はＳ１１０６において、カメラ１１０から受信した上記情報（７）に対応する情報をエリア管轄サーバ１５０−１に転送する。これが情報（８）である。この情報をエリア管轄サーバ１５０−１は受信し、図８を参照して説明したＳ８００からＳ８０６の、ユーザ選択操作を受け付けてユーザが選択した処理内容に対応する情報を取得する一連の処理がエリア管轄サーバ１５０内で実行される。続いてエリア管轄サーバ１５０内では、図８を参照して説明したＳ８０８の、ユーザが選択した処理内容に対応する情報をカメラ１１０に送信する処理が行われ、この情報がエリア管轄サーバ１５０−１から中継部２１０−１に送信される。これが情報（９）である。
【０１１０】
中継部２１０−１はＳ１１０８において、受信した上記の情報をカメラ１１０に転送する。これが情報（１０）である。カメラ１１０内では、図７を参照して説明したＳ６２２における情報を取得する処理が実行される。
【０１１１】
図１０において、カメラ１１０を持ったユーザがエリア１からエリア２に移動したものとする。そしてユーザが、表示部１３２−２Ａ、１３２−２Ｂ、１３２−２Ｃのいずれかに、ポインティングモードに設定されたカメラ１１０を向けてカメラ１１０を操作したとする。このようなユーザ操作に応じて、カメラ１１０からの情報は無線通信部２００−２を経由して中継部２１０−２に送信される。後は上述した手順と同様の手順を経て、カメラ１１０とエリア管轄サーバ１５０−２との通信セッションが開始される。
【０１１２】
以上のように、カメラ１１０のユーザが所在位置をサーバ等に知らせる特別の操作をすることなく、カメラ１１０と、カメラ１１０が存在するエリアを管轄するサーバ１５０−１との間の通信セッションを自動的に開始することができる。サーバ１５０−１は、上述したパターン認識の処理に際して、同エリア内に存在する表示部に表示される映像に対応するテンプレートのみを用いれば良いので、特に図１０に示されるような、多数の表示部を有する情報システム１００Ｂにおいて、パターン認識に係る処理負荷を大幅に低減することが可能となる。
【０１１３】
図１０においては、各エリアのそれぞれに無線通信部２００−１、２００−２、２００−３および中継部２１０−１、２１０−２、２１０−３を有する例について説明したが、カメラ１１０がカメラ付き携帯電話や広域無線インターネット網に接続可能なカメラ付きの機器である場合には、これらの無線通信部２００−１、２００−２、２００−３および中継部２１０−１、２１０−２、２１０−３を無くしてもよい。この場合、カメラ１１０は図１０に示されるエリア１、エリア２、エリア３とは直接関連しないカバーエリアを有する基地局と交信可能である。そのような場合には、携帯電話の番号やＩＰアドレスを用いて、カメラ１１０とエリア管轄サーバ１５０−１、１５０−２、１５０−３のそれぞれとは基地局を介して通信を行うことが可能となる。また、ホストサーバ３００はカメラ１１０から送信された映像を処理してパターン認識し、カメラ１１０がどの表示部を撮影して得た映像なのかを決定することができる。したがって、ホストサーバ３００はカメラ１１０がどのエリア内に存在するのかを把握することができ、上述した通信先情報をカメラ１１０に送信することができる。以降、カメラ１１０は、この通信先情報で特定されるエリア管轄サーバと情報の授受を行うことが可能となる。
【産業上の利用可能性】
【０１１４】
本発明は、外部機器との通信機能を有するデジタルスチルカメラ、デジタルムービーカメラ、カメラ付き携帯電話、カメラ付き携帯情報端末（ＰＤＡ）、あるいは撮影機能、映像表示機能を有するリモートコントローラ等に適用可能である。
【図面の簡単な説明】
【０１１５】
【図１】本発明が適用される情報システムの概略的構成を示すブロック図である。
【図２】カメラの通信部から、このカメラが向けられた表示部に隣接して設けられる通信部へ情報が送信される様子を概念的に示す図である。
【図３】表示部に隣接して設けられる通信部から、表示部に対向するカメラの通信部へ情報が送信される様子を概念的に示す図である。
【図４】表示部と、表示部に表示された表示映像を撮影するカメラとの間で情報が授受される様子を概念的に示す図である。
【図５】表示部と、表示部に表示された表示映像を撮影するカメラとの間で情報が授受される別の様子を概念的に示す図である。
【図６】情報システムを構成するカメラおよび情報処理装置内で実行される処理手順を説明する概略フローチャートである。
【図７】図６のフローチャートに続くフローチャートである。
【図８】情報処理装置内で実行されるユーザ選択操作受付処理手順を説明する概略フローチャートである。
【図９】より小規模な情報システムに本発明が適用される場合の概略的構成を示すブロック図である。
【図１０】より大規模な情報システムに本発明が適用される場合の概略的構成を示すブロック図である。
【図１１】図１０に示されるエリア管轄サーバ、カメラ、ホストサーバの間で中継部を介して情報が授受される際に、エリア管轄サーバ、カメラ、中継部、ホストサーバで実行される処理手順を説明する概略フローチャートである。
【符号の説明】
【０１１６】
１００、１００Ａ、１００Ｂ  …  情報システム
１１０  …  カメラ（端末装置）
１１２  …  操作部
１１４  …  コントローラ
１１６  …  撮影部
１１８、１５４  …  処理部
１２０  …  モニタ
１２２、１５８  …  画像データ記憶部
１２４、１５６  …  一時メモリ
１２６、１３４Ａ、１３４Ｂ、１５２  …  通信部
１３０  …  表示装置
１３２Ａ、１３２Ｂ、１３２Ｃ  …  表示部
１３２−１Ａ、１３２−１Ｂ、１３２−１Ｃ  …  表示部
１３２−２Ａ、１３２−２Ｂ、１３２−２Ｃ  …  表示部
１３２−３Ａ、１３２−３Ｂ、１３２−３Ｃ  …  表示部
１３６Ａ、１３６Ｂ  …  表示部分
１４０  …  固定表示物
１４２Ａ、１４２Ｂ  …  固定表示部
１５０  …  情報処理装置
１５０−１、１５０−２、１５０−３  …  エリア管轄サーバ（情報処理装置）
１８０Ａ、１８０Ｂ  …  ホットスポット特定情報
１８０Ｃ  …  テキスト情報
１８０Ｄ  …  画面識別情報
１８０Ｅ  …  選択領域情報
１８２  …  映像
１８３  …  送信元特定情報
２００−１、２００−２、２００−３  …  無線通信部
２１０−１、２１０−２、２１０−３  …  中継部
３００  …  ホストサーバ
Ｆ１、Ｆ２  …  枠
Ｔ１  …  テキスト情報
【図１】
2009230193.tif 000003
【図２】
2009230193.tif 000004
【図３】
2009230193.tif 000005
【図４】
2009230193.tif 000006
【図５】
2009230193.tif 000007
【図６】
2009230193.tif 000008
【図７】
2009230193.tif 000009
【図８】
2009230193.tif 000010
【図９】
2009230193.tif 000011
【図１０】
2009230193.tif 000012
【図１１】
2009230193.tif 000013