(57)【要約】【課題】表示画像、もしくは表示画面周辺に特別な工夫を施すことなく、映像の表示方式に依存せずに指定位置を検出することができる技術を提供すること。【解決手段】本発明は、表示装置に画像を提供する画像提供手段と、前記画像提供手段から提供された画像を表示する表示装置と、前記表示装置に表示されている画像を撮影する撮像手段と、前記表示装置に表示されている画像を、前記画像提供手段から取得する画像取得手段と、前記撮像された画像と前記取得した画像とを比較し、前記表示装置の画面上におけるユーザの指定位置を検出する指定位置検出手段とを有する指定位置検出システムである。【選択図】図１
2010067118.tif 000002
【特許請求の範囲】
【請求項１】
表示装置に画像を提供する画像提供手段と、
前記画像提供手段から提供された画像を表示する表示装置と、
前記表示装置に表示されている画像を撮影する撮像手段と、
前記表示装置に表示されている画像を、前記画像提供手段から取得する画像取得手段と、
前記撮像された画像と前記取得した画像とを比較し、前記表示装置の画面上におけるユーザの指定位置を検出する指定位置検出手段と
を有する指定位置検出システム。
【請求項２】
前記表示装置を識別する表示装置識別情報を取得する表示装置識別情報取得手段と、
前記表示装置識別情報に基づいて、前記表示装置に画像を提供する画像提供手段を特定する画像提供手段特定手段と
を有する請求項１に記載の指定位置検出システム。
【請求項３】
前記画像提供手段特定手段が、前記表示装置識別情報と前記画像提供手段のアドレスとが対応付けられたテーブルを有したアドレス解決手段であり、
前記表示装置識別情報取得手段は、取得した表示装置識別情報を前記アドレス解決手段に送信し、
前記アドレス解決手段は、前記テーブルから、前記表示装置識別情報に対応する前記画像提供手段のアドレスを検索し、その画像提供手段のアドレスを前記画像取得手段に送信し、
前記画像取得手段は、受信した画像提供手段のアドレスに基づいて、前記画像提供手段から前記画像を取得する
請求項２に記載の指定位置検出システム。
【請求項４】
前記表示装置識別情報が前記表示装置の位置情報であり、
前記表示装置の位置情報を取得する位置情報取得手段を有する
請求項２又は請求項３に記載の指定位置検出システム。
【請求項５】
前記表示装置識別情報取得手段は、前記表示装置に添付された情報から、又は、前記表示装置又は前記表示装置の近傍に設置された情報発信装置から、前記表示装置識別情報を取得する手段を有する請求項２又は請求項３に記載の指定位置検出システム。
【請求項６】
前記画像提供手段を識別する画像提供手段識別情報を取得する画像提供手段識別情報取得手段を有し、
前記画像取得手段は、前記画像提供手段識別情報に基づいて、前記画像提供手段から画像を取得する
請求項１に記載の指定位置検出システム。
【請求項７】
前記画像提供手段識別情報取得手段が、前記画像提供手段又は前記表示装置に添付された情報、又は、前記表示装置又は前記表示装置の近傍に設置された情報発信装置から、画像提供手段識別情報を取得する
請求項６に記載の指定位置検出システム。
【請求項８】
前記指定位置検出手段は、指定位置の候補が複数ある場合、少なくともいくつかの候補の指定位置を前記画像提供手段に通知し、
前記前記画像提供手段は、通知された指定位置の近傍に異なる画像を表示し、
前記指定位置検出手段は、表示された異なる画像を参照して、複数の指定位置の候補を１つに絞り込む
請求項１から請求項７のいずれかに記載の指定位置検出システム。
【請求項９】
前記指定位置検出手段が検出した前記表示装置の画面上におけるユーザの指定位置を受信し、前記指定位置に対応する前記表示装置の画面上の範囲を、所定ユーザのために占有する表示制御手段を有する請求項１から請求項８のいずれかに記載の指定位置検出システム。
【請求項１０】
表示装置に表示されている画像を撮影する撮像手段と、
前記表示装置に表示されている画像を提供している画像提供手段から、前記画像を取得する画像取得手段と、
前記撮像された画像と前記取得した画像とを比較し、前記表示装置の画面上におけるユーザの指定位置を検出する指定位置検出手段と
を有する端末。
【請求項１１】
表示装置を識別する表示装置識別情報を端末から受信し、前記表示装置識別情報に基づいて、前記表示装置に画像を提供している画像提供手段を特定し、特定した画像提供手段のアドレスを前記端末に通知する手段を有するサーバ。
【請求項１２】
表示装置に表示されている画像を撮影し、
前記表示装置に表示されている画像を、前記表示装置に画像を提供する画像提供手段から取得し、
前記撮像された画像と前記取得した画像とを比較し、前記表示装置の画面上におけるユーザの指定位置を検出する指定位置検出方法。
【請求項１３】
前記表示装置を識別する表示装置識別情報を取得し、
前記表示装置識別情報に基づいて、前記表示装置に画像を提供する画像提供手段を特定する
請求項１２に記載の指定位置検出方法。
【請求項１４】
表示装置に表示されている画像を撮影する処理と、
前記表示装置に表示されている画像を、前記表示装置に画像を提供する画像提供手段から取得する処理と、
前記撮像された画像と前記取得した画像とを比較し、前記表示装置の画面上におけるユーザの指定位置を検出する処理と
を情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は指定位置検出システム、それに用いられる装置、方法及びプログラムに関する。
【背景技術】
【０００２】
この種の表示装置画面上における指定位置検出システムは、表示画面上の指示位置を検出するため、たとえば特許文献１、特許文献２に示されるように、位置特定を可能にする特殊な画像(フラッシュ画面)を短時間表示させる方法や、特許文献３に示すように、表示装置として用いるブラウン管などの走査線の位置を用いる方法や、特許文献４、特許文献５、特許文献６に示されるように、表示装置の画面枠形状や画面枠周辺に取り付けたしるしをもとに位置を検出する方法や、特許文献７に示されるように、表示装置近傍に設置した赤外線照射装置から受信する赤外線をもとに位置を検出する手法が用いられている。
【特許文献１】特開2003-141561号公報
【特許文献２】特開2002-346224号公報
【特許文献３】特開2000-010718号公報
【特許文献４】特開2005-275568号公報
【特許文献５】特開平11-319316号公報
【特許文献６】特開2003-083715号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した関連する技術の第一の問題点は、液晶ディスプレイやプラズマディスプレイなどの表示装置で利用できないことである。その理由は、走査線を用いて描画を行う位置検出システムは、ブラウン管を用いた表示装置でしか利用できないためである。
【０００４】
また、第二の問題点は、視聴の妨げになる画面の乱れを発生することである。その理由は、位置特定を可能にする特殊な画像(フラッシュ画面)を短時間表示させる方法は、画像の乱れが発生することを避けられないためである。
【０００５】
また、第三の問題点は、表示装置の画面枠または画面枠近傍になんらかの加工を施さなければならないことである。その理由は、赤外線や画面枠形状を用いる位置検出システムは、これら特徴的な目印なしには位置を検出できないためである。
【０００６】
また、第四の問題点は、上述した関連する技術では、異なる場所に設置されている複数の表示装置について、同じ仕組みで適用ができないということである。その理由は、上述した関連する技術は、そのような想定を考慮していないからである。
【０００７】
そこで、本発明は、上記課題に鑑みて発明されたものであって、表示画像、もしくは表示画面周辺に特別な工夫を施すことなく、映像の表示方式に依存せずに指定位置を検出することができる指定位置検出システム、それに用いられる装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決する本発明は、表示装置に画像を提供する画像提供手段と、前記画像提供手段から提供された画像を表示する表示装置と、前記表示装置に表示されている画像を撮影する撮像手段と、前記表示装置に表示されている画像を、前記画像提供手段から取得する画像取得手段と、前記撮像された画像と前記取得した画像とを比較し、前記表示装置の画面上におけるユーザの指定位置を検出する指定位置検出手段とを有する指定位置検出システムである。
【０００９】
上記課題を解決する本発明は、表示装置に表示されている画像を撮影する撮像手段と、前記表示装置に表示されている画像を提供している画像提供手段から、前記画像を取得する画像取得手段と、前記撮像された画像と前記取得した画像とを比較し、前記表示装置の画面上におけるユーザの指定位置を検出する指定位置検出手段とを有する端末である。
【００１０】
上記課題を解決する本発明は、表示装置を識別する表示装置識別情報を端末から受信し、前記表示装置識別情報に基づいて、前記表示装置に画像を提供している画像提供手段を特定し、特定した画像提供手段のアドレスを前記端末に通知する手段を有するサーバである。
【００１１】
上記課題を解決する本発明は、表示装置に表示されている画像を撮影し、前記表示装置に表示されている画像を、前記表示装置に画像を提供する画像提供手段から取得し、前記撮像された画像と前記取得した画像とを比較し、前記表示装置の画面上におけるユーザの指定位置を検出する指定位置検出方法である。
【００１２】
上記課題を解決する本発明は、表示装置に表示されている画像を撮影する処理と、前記表示装置に表示されている画像を、前記表示装置に画像を提供する画像提供手段から取得する処理と、前記撮像された画像と前記取得した画像とを比較し、前記表示装置の画面上におけるユーザの指定位置を検出する処理とを情報処理装置に実行させるプログラムである。
【発明の効果】
【００１３】
本発明は、表示画像、もしくは表示画面周辺に特別な工夫を施すことなく、画像の表示方式に依存しないで、表示装置画面上でユーザが指定した位置を検出できる。
【発明を実施するための最良の形態】
【００１４】
本発明の第１の実施の形態を説明する。
【００１５】
図１は第１の実施の形態の構成図である。
【００１６】
図１を参照すると、本発明の第１の実施の形態は、表示装置１と、携帯端末２と、これら装置と通信網４経由で接続するコンピュータなどの上で動作する表示装置アドレス解決部３とから構成される。
【００１７】
表示装置１は、例えば、通信網に接続可能なプラズマや液晶の大画面テレビ等であり、街頭やオフィスに設置される。表示装置１は、画像処理部１１と表示部１２とを備える。
【００１８】
画像処理部１１は、通信を介して表示する画像を取得し、又は、表示する映像を自己に記録しており、その映像を表示部１２に送る。また、画像処理部１１には、たとえばURL(Uniform Resource Locator)が付されており、このアドレスに基づいて外部からアクセスができるようになっており、携帯端末２からの要求に応じて通信網４経由で、表示部１２に提供している映像を携帯端末２に送信する。
【００１９】
表示部１２は、画像処理部１１から受信した映像を画面に表示する。
【００２０】
携帯端末２は、GPS(Global Positioning System)などの測位機能を有する測位部２１と、無線LANやW-CDMAなどの無線通信機能をもつ無線通信部２２と、表示部１２に表示されている画像を画像処理部１１から取得する画像取得部２３と、動画や静止画の撮影可能なCMOSセンサやCCDセンサなどを用いた撮像部２４と、画像取得部２３が取得した画像（表示部１２に表示されている画像）と撮像部２４で撮像した画像とを比較し、撮像部２４で撮像した画像の表示部１２の画面上の位置を算出し、ユーザが指定した表示部１２の画面上の位置を検出する位置判定部２５とを備える。
【００２１】
表示装置アドレス解決部３は、表示装置１の設置場所（例えば、GPS等による測位結果に対応した緯度や経度）と、表示部１２に映像を提供している画像処理部１１のアドレス、たとえばURL(Uniform Resource Locator)との対応を記憶したアドレステーブル３１を有している。図２にアドレステーブル３１の一例を示す。図１では、位置情報とアドレスとが対応付けられて記憶されており、例えば、位置情報“ａａａａ”とアドレス” http://www.xxxx.co.jp/rrr”とが対応付けられている。尚、本実施の形態では、画像処理部１１が表示装置１の内部に設けられており、表示装置１の設置場所と画像処理部１１の設置場所とが同一であるが、同一である必要はない。例えば、画像処理部１１がネットワーク上に配置された映像配信サーバであり、この映像配信サーバが表示部１２に映像を提供している場合には、表示装置１の表示部１２の設置場所に対応するアドレスは前記映像配信サーバのアドレスである。
【００２２】
表示装置アドレス解決部３は、携帯端末２からの測位結果の送信及びアドレスの要求に応答して、測位結果に対応する画像処理部１１のアドレスを、アドレステーブル３１から検索し、このアドレスを携帯端末２に送信する。
【００２３】
次に、上述した構成における第１の実施の形態の動作を説明する。尚、以下の説明において、携帯端末２の所持者であるユーザＡが、表示装置１における表示部１２の画面上の所定位置を指定する例を説明する。
【００２４】
まず、ユーザＡは表示装置１の近傍に立ち、携帯端末２の測位部２１により、表示装置１の位置を測位する。測位結果は、無線通信部２２を介して、表示装置アドレス解決部３に送信される。
【００２５】
携帯端末２から測位結果を受信した表示装置アドレス解決部３は、アドレステーブル３１から、測位結果に対応する画像処理部１１のアドレスを検索する。図２の例では、測位結果が“ａａａａ”である場合、対応するアドレスは” http://www.xxxx.co.jp/rrr”である。ここで検索されたアドレスは、表示装置１に表示されている画像の送信元のアドレスであり、本例では、表示部１２に映像を提供している画像処理部１１のアドレスである。そして、検索されたアドレス（画像処理部１１のアドレス）を携帯端末２に送信する。
【００２６】
アドレスを受信した携帯端末２の画像取得部２３は、受信した画像処理部１１のアドレスに基づいて、無線通信部２２を介して、表示装置１の画像処理部１１にアクセスし、表示装置１の表示部１２に送信している画像（表示部１２が表示している映像）を、無線通信部２２階して受信する。
【００２７】
一方、上記動作と並行して、ユーザＡは、携帯端末２の撮像部２４により、表示部１２の画面上で指定したい位置に表示されている画像を撮影する。そして、撮影した画像は位置判定部２５に送信される。
【００２８】
位置判定部２５は、画像取得部２３が取得した表示部１２で表示されている画像と、撮像部２４で撮影された画像とを比較し、ユーザが指定した表示部１２の画面上における位置を特定する。例えば、図３のように、表示部１２で表示されている画像５０（画像取得部２３が取得した画像）と、撮影画像５１とがある場合、画像５０のうち撮影画像５１と一致する画像は点線で囲まれた画像である。そこで、点線で囲まれた範囲をユーザが指定したと判断する。
【００２９】
特定の方法は、例えば、画像取得部２３が取得した画像及び撮影画像をブロックに分割し、各ブロックの特徴量を算出し、画像取得部２３が取得した画像の各ブロックの特徴量と撮影画像の各ブロックの特徴量とを比較し、特徴量がある程度一致するブロックに対応する範囲を、ユーザが指定した位置として特定する。また、画像取得部２３が取得した画像と撮影画像とを、画素単位で比較し、一致又は類似する画素の範囲を、ユーザが指定した位置として特定しても良い。また、表示画面上の複数個所に類似した画像が存在する場合に、複数の位置を検出してしまい、ひとつに絞り込めないことがある。この場合に、複数の候補の位置を画像１１に通知し、それぞれの候補位置の近傍に異なる画像を表示してもらい、更に、その画像を撮影することにより、位置を特定するようにしても良い。
【００３０】
尚、上述の例では、画像取得部２３が取得した画像と撮影した画像とが一致した部分を、ユーザが指定した位置としたが、これに限られない。例えば、表示部１２の画面を２分割にする場合、図３の例では、画像が一致している範囲が左側部分なので、２分割される画面のうち左側の画面をユーザが指定したと判定するようにしても良い。
【００３１】
また、上述した第１の実施の形態では、画像処理部１１の特定について、測位部２１の測位による位置情報を用いたがこれに限られない。例えば、表示装置の近傍に、表示装置の位置や識別情報等を発信する赤外線発信機や、表示装置の位置や識別情報等が表示された二次元バーコードなどを設置し、それを携帯端末２で読み込むことによって、表示装置を特定してもよい。この場合、表示装置アドレス解決部３のアドレステーブル３１は、位置情報のみならず、表示装置１の識別情報でも良い。
【００３２】
また、画像処理部１１のアドレス発信する赤外線発信機や、画像処理部１１のアドレスが表示された二次元バーコードなどを用いて、画像処理部１１のアドレスを直接通知するようにしても良い。
【００３３】
また、画像処理部１１が携帯端末２に画像を通信網経由で送る際に、通信網で安定しておくることができるように送信前に画像を圧縮してもよい。
【００３４】
本実施の形態では、撮影した画像と通信網経由で受信した画像とを比較することによって、表示画面上でユーザが指定した位置を検出するので、表示画像、もしくは表示画面周辺に特別な工夫を施す必要が無い。また、画像の表示方式に依存せず、さまざまな方式の表示装置に適用することができる。
【００３５】
また、表示装置を特定する手段を持つので、異なる位置に設置した複数の表示装置を使い分けて利用することができる。また、GPSなどの測位結果を用いるので、表示装置を特定するために、表示装置自体に特別な機能を必要としない。
【００３６】
第２の実施の形態を説明する。
【００３７】
第２の実施の形態は、第１の実施の形態を用いた画面のシェアリングシステムである。図３は第２の実施の形態の構成図である。
【００３８】
図２を参照すると、ユーザＡの所持する携帯端末２ＡとユーザＢの所持する携帯端末２Ｂとを備え、更に、表示部１２の画面のシェアリング（分割）管理を行うシェアリング管理部１３を備える。
【００３９】
シェアリング管理部１３は、携帯端末２Ａ、携帯端末２Ｂからの画面指定位置の情報を受け、それらの指定位置の画面を、それぞれユーザＡとユーザＢとがシェアする管理を行う。
【００４０】
上述の構成における第２の実施の形態の動作を説明する。尚、以下の説明では、ユーザＡとユーザＢとで、表示部１２の画面を分け合う例を説明する。
【００４１】
まず、ユーザＡは表示装置１の近傍に立ち、携帯端末２Ａの測位部２１により、表示装置１の位置を測位する。測位結果は、無線通信部２２を介して、表示装置アドレス解決部３に送信される。
【００４２】
携帯端末２Ａから測位結果を受信した表示装置アドレス解決部３は、アドレステーブル３１から、測位結果に対応する画像処理部１１のアドレスを検索する。図２の例では、測位結果が“ａａａａ”である場合、対応するアドレスは” http://www.xxxx.co.jp/rrr”である。ここで検索されたアドレスは、表示装置１に表示されている画像の送信元のアドレスであり、本例では、表示部１２に映像を提供している画像処理部１１のアドレスである。そして、検索されたアドレス（画像処理部１１のアドレス）を携帯端末２Ａに送信する。
【００４３】
同様に、ユーザＢは表示装置１の近傍に立ち、携帯端末２Ｂの測位部２１により、表示装置１の位置を測位する。測位結果は、無線通信部２２を介して、表示装置アドレス解決部３に送信される。
【００４４】
携帯端末２Ｂから測位結果を受信した表示装置アドレス解決部３は、アドレステーブル３１から、測位結果に対応する画像処理部１１のアドレスを検索する。図２の例では、測位結果が“ａａａａ”である場合、対応するアドレスは” http://www.xxxx.co.jp/rrr”である。ここで検索されたアドレスは、表示装置１に表示されている画像の送信元のアドレスであり、本例では、表示部１２に映像を提供している画像処理部１１のアドレスである。そして、検索されたアドレス（画像処理部１１のアドレス）を携帯端末２Ｂに送信する。
【００４５】
アドレスを受信した携帯端末２Ａの画像取得部２３は、受信した画像処理部１１のアドレスに基づいて、無線通信部２２を介して、表示装置１の画像処理部１１にアクセスし、表示装置１の表示部１２に送信している画像（表示部１２が表示している映像）を、無線通信部２２階して受信する。
【００４６】
同様に、アドレスを受信した携帯端末２Ｂの画像取得部２３は、受信した画像処理部１１のアドレスに基づいて、無線通信部２２を介して、表示装置１の画像処理部１１にアクセスし、表示装置１の表示部１２に送信している画像（表示部１２が表示している映像）を、無線通信部２２階して受信する。
【００４７】
一方、上記動作と並行して、ユーザＡは、携帯端末２Ａの撮像部２４により、表示部１２上画面において指定したい位置に表示されている画像を撮影し、撮影した画像を位置判定部２５に送る。例えば、ユーザＡとユーザＢとで話し合い、表示部１２の画面の右側をユーザＡが、左側をユーザＢがシェアするように決定した場合、ユーザＡは、表示部１２上画面において半分より右側に表示されている画像を撮影し、撮影した画像を位置判定部２３に送る。同様に、ユーザＢは、携帯端末２Ｂの撮像部２４により、表示部１２上画面において半分より左側に表示されている画像を撮影し、撮影した画像を位置判定部２５に送る。
【００４８】
携帯端末２Ａの位置判定部２５は、画像取得部２３が取得した表示部１２で表示されている画像と、撮像部２４で撮影された画像とを比較し、ユーザが指定した表示部１２の画面上における位置を特定する。本例では、ユーザＡは表示部１２の画面の右側を撮影しているので、位置判定部２５は表示部１２の画面の右側をユーザＡが指定したと判断する。
【００４９】
同様に、携帯端末２Ｂの位置判定部２５は、画像取得部２３が取得した表示部１２で表示されている画像と、撮像部２４で撮影された画像とを比較し、ユーザが指定した表示部１２の画面上における位置を特定する。本例では、ユーザＢは表示部１２の画面の左側を撮影しているので、位置判定部２５は表示部１２の画面の左側をユーザＢが指定したと判断する。そして、携帯端末２Ａ，２Ｂの各位置判定部２５は、ユーザの指定位置をシェアリング管理部１３に送信する。
【００５０】
シェアリング管理部１３は、携帯端末２Ａ，２Ｂの各位置判定部２５からの位置指定を受け、表示部１２の画面の右側をユーザＡが、左側をユーザＢがシェアするように管理する。
【００５１】
本実施の形態では、撮影した画像と通信網経由で受信した画像とを比較することによって、表示画面上で各ユーザが指定した位置を検出し、各ユーザが指定した位置で画面を分割してシェアリングするので、ユーザの指定位置を認識するのに、表示画像、もしくは表示画面周辺に特別な工夫を施す必要が無い。また、画像の表示方式に依存せず、さまざまな方式の表示装置に適用することができる。
【００５２】
尚、上述した第１、第２の実施の形態の各部は、プログラムにより動作するコンピュータで構成することも可能である。
【図面の簡単な説明】
【００５３】
【図１】図１は本発明の第１の実施の形態の構成図である。
【図２】図２はアドレステーブル３１の一例を示す図である。
【図３】図３は本発明の第１の実施の形態を説明する為の図である。
【図４】図４は本発明の第２の実施の形態の構成図である。
【符号の説明】
【００５４】
１        表示装置
２        携帯端末
３        表示装置アドレス解決部
４        通信網
１１      画像処理部
１２      表示部
２１      測位部
２２      無線通信部
２３      画像取得部
２４      撮像部
２５      位置判定部
３１      アドレステーブル
【図１】
2010067118.tif 000003
【図２】
2010067118.tif 000004
【図３】
2010067118.tif 000005
【図４】
2010067118.tif 000006