(57)【要約】【課題】ＩＲマーカを用いずに例えばテレビ画面又はテレビ枠を撮像画像から好適に抽出することができ、その抽出されたコーナーを用いてテレビ画面においてポインティングされている任意の点を表示できるポインティング装置を提供する。【解決手段】ポインティング位置表示部１０が、撮像画像に基づいて、前記画像表示面のコーナーを検出するコーナー検出部２と、検出されたコーナーの撮像面における座標である撮像面コーナー座標を算出する撮像面コーナー座標算出部３と、前記撮像面コーナー座標に基づいて、前記撮像面の中心の座標を前記画像表示面へと射影変換した座標であるポインティング座標を出力する射影変換部４と、前記画像表示面におけるポインティング座標にオブジェクトを表示するオブジェクト表示部５とを具備した。【選択図】図１
2014106922.tif 000002
【特許請求の範囲】
【請求項１】
撮像方向が変更されるものであり、概略長方形又は正方形状をなす画像表示面又は当該画像表示面を具備する画像表示デバイスを撮像するための撮像デバイスと、
前記撮像デバイスから前記撮像方向に延びる仮想線が、前記画像表示面内においてポインティングしている位置を当該画像表示面上に表示させるポインティング位置表示部とを備え、
前記ポインティング位置表示部が、
前記撮像デバイスにより撮像された撮像画像に基づいて、前記画像表示面のコーナー又は前記画像表示デバイスのコーナーを検出するコーナー検出部と、
前記コーナー検出部において検出されたコーナーの前記撮像デバイスの撮像面における座標である撮像面コーナー座標を算出する撮像面コーナー座標算出部と、
前記撮像面コーナー座標に基づいて、前記撮像面の中心の座標を前記画像表示面へと射影変換した座標であるポインティング座標を出力する射影変換部と、
前記画像表示面におけるポインティング座標にオブジェクトを表示するオブジェクト表示部とを具備し、
前記コーナー検出部が、前記撮像画像について少なくともコントラスト強調を行った後に二値化処理を行ったコーナー検出用画像に基づいてコーナー検出を行うように構成されたことを特徴とするポインティング装置。
【請求項２】
前記撮像デバイスが赤外線カメラである請求項１記載のポインティング装置。
【請求項３】
前記コーナー検出部が、前記撮像画像について二値化処理を行った後の明領域に対してポリゴン近似を行ってコーナーを検出するように構成されている請求項１又は２記載のポインティング装置。
【請求項４】
撮像方向が変更されるものであり、概略長方形又は正方形状をなす画像表示面又は当該画像表示面を具備する画像表示デバイスを撮像するための撮像デバイスを用いたポインティング装置に用いられるプログラムであって、
前記撮像デバイスから前記撮像方向に延びる仮想線が、前記画像表示面内においてポインティングしている位置を当該画像表示面上に表示させるポインティング位置表示部を備え、
前記ポインティング位置表示部が、
前記撮像デバイスにより撮像された撮像画像に基づいて、前記画像表示面のコーナー又は前記画像表示デバイスのコーナーを検出するコーナー検出部と、
前記コーナー検出部において検出されたコーナーの前記撮像デバイスの撮像面における座標である撮像面コーナー座標を算出する撮像面コーナー座標算出部と、
前記撮像面コーナー座標に基づいて、前記撮像面の中心の座標を前記画像表示面へと射影変換した座標であるポインティング座標を出力する射影変換部と、
前記画像表示面におけるポインティング座標にオブジェクトを表示するオブジェクト表示部とを具備し、
前記コーナー検出部が、前記撮像画像について少なくともコントラスト強調を行った後に二値化処理を行ったコーナー検出用画像に基づいてコーナー検出を行うように構成されたことを特徴とするポインティング装置用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像が表示されている画像表示面においてポインティングデバイスによりポインティングされている位置にオブジェクトを表示させ、ポインティング位置の変化に対応させて画像表示面内のオブジェクトを移動させるためのポインティング装置及びポインティング装置用プログラムに関するものである。
【背景技術】
【０００２】
テレビにおいてインターネット上のサイトを見る場合、従来のテレビリモコンはチャンネルボタンや方向キーしか設けられていないため、マウス等の入力デバイスのように画面上の任意の点をすぐに選択することはできず、リンクやアイコン等のテレビ画面内に表示されている操作ボタンを選択しにくい。
【０００３】
このような問題を解決するためにテレビリモコンにポインティング装置としての機能を持たせて、テレビ画面内の任意の点をポインティングして選択用のカーソルを動かせるようにすることが提案されている。
【０００４】
例えば、テレビ枠の上側コーナー部分にそれぞれ設けられた２つのＩＲマーカ（赤外線マーカ）と、テレビリモコンの先端部分に設けられた赤外線カメラとを備え、赤外線カメラで撮像される撮像画像のＩＲマーカの位置や大きさに基づいて、テレビリモコンによりテレビ画面上にポインティングされている位置を算出し、その算出された位置にカーソルを表示するポインティングシステムがある。
【０００５】
このようなものであれば、確かにテレビ画面上の任意の点にカーソルを表示することはできるものの、リモコン以外の外部付属品としてＩＲマーカを設けなくてはならず、また、このＩＲマーカを設定するためにテレビ枠にある程度の幅が必要となってしまう。近年、薄型テレビ等においてはデザイン性等の要求からテレビ枠を薄くすることが求められており、ＩＲマーカを設けることは現実的ではない。
【０００６】
ＩＲマーカを用いずに、テレビ画面内のポインティングしている位置にカーソルを表示するものとしては、特許文献１に示されるようにテレビ画面を携帯電話のカメラ機能で撮像し、テレビ画面の座標と撮像画像の座標を対応づけることで、テレビ画面において撮像画像の中心に対応する位置にカーソルを表示するようにしたものがある。
【０００７】
このものは、テレビ画面において表示されている映像中の局所特徴領域について追跡を行い、これを基準としてテレビ画面の座標と撮像画像の座標を対応づけるように構成されている。しかしながら、テレビ画面において表示されている表示映像によってはうまく局所特徴領域を捉えることができないため、座標間の対応関係を設定することができず、ポインティング位置にカーソルを表示できなくなる場合がある。また、このような局所特徴領域を抽出することは演算負荷が大きいという問題もある。
【０００８】
さらに別のポインティング装置としては、特許文献２に示されるようにカメラを備えたポインティングデバイスにより、長方形状の表示画面の四隅点を含むように撮像し、この四隅点を基準として、テレビ画面における撮像中心の座標に対応する座標をポインティング座標として算出するものがある。
【０００９】
特許文献２を参照すると、ＩＲマーカの代わりに表示画面の四隅点を撮像画像から抽出して、それらの４点を基準とすることは容易であるように一見思われる。
【００１０】
しかしながら、実際にはテレビが置かれている周囲の照明光や窓から入射する外光の影響があるため、単純に撮像画像から表示画面及びそのコーナーを抽出しようとしても、四隅点を特定すること非常に難しい。
【００１１】
したがって、これまではＩＲマーカを用いずにカメラで撮像された画像に基づいてテレビ画面内においてポインティングされた任意の位置を表示することは実際の使用に耐える程度には実現できていない。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１１−１１３３１６号公報
【特許文献２】特開２００１−１６６８８１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
そこで、本発明は上述したような問題を鑑みてなされたものであり、付属品であるＩＲマーカを用いずに例えばテレビ画面又はテレビ枠を撮像画像から好適に抽出することができ、その抽出されたコーナーを基準としてテレビ画面においてポインティングされている任意の点を表示できるポインティング装置及びポインティング装置用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
すなわち、本発明のポインティング装置は、撮像方向が変更されるものであり、概略長方形又は正方形状をなす画像表示面又は当該画像表示面を具備する画像表示デバイスを撮像するための撮像デバイスと、前記撮像デバイスから前記撮像方向に延びる仮想線が、前記画像表示面内においてポインティングしている位置を当該画像表示面上に表示させるポインティング位置表示部とを備えている。
【００１５】
さらに、本発明の前記ポインティング位置表示部が、前記撮像デバイスにより撮像された撮像画像に基づいて、前記画像表示面のコーナー又は前記画像表示デバイスのコーナーを検出するコーナー検出部と、前記コーナー検出部において検出されたコーナーの前記撮像デバイスの撮像面における座標である撮像面コーナー座標を算出する撮像面コーナー座標算出部と、前記撮像面コーナー座標に基づいて、前記撮像面の中心の座標を前記画像表示面へと射影変換した座標であるポインティング座標を出力する射影変換部と、前記画像表示面におけるポインティング座標にオブジェクトを表示するオブジェクト表示部とを具備し、前記コーナー検出部が、前記撮像画像について少なくともコントラスト強調を行った後に二値化処理を行ったコーナー検出用画像に基づいてコーナー検出を行うように構成されたことを特徴とする。
【００１６】
また、本発明のポインティング装置用プログラムは、撮像方向が変更されるものであり、概略長方形又は正方形状をなす画像表示面又は当該画像表示面を具備する画像表示デバイスを撮像するための撮像デバイスを用いたポインティング装置に用いられるプログラムであって、前記撮像デバイスから前記撮像方向に延びる仮想線が、前記画像表示面内においてポインティングしている位置を当該画像表示面上に表示させるポインティング位置表示部を備えている。
【００１７】
そして、本発明のポインティング装置用プログラムは、前記ポインティング位置表示部が、前記撮像デバイスにより撮像された撮像画像に基づいて、前記画像表示面のコーナー又は前記画像表示デバイスのコーナーを検出するコーナー検出部と、前記コーナー検出部において検出されたコーナーの前記撮像デバイスの撮像面における座標である撮像面コーナー座標を算出する撮像面コーナー座標算出部と、前記撮像面コーナー座標に基づいて、前記撮像面の中心の座標を前記画像表示面へと射影変換した座標であるポインティング座標を出力する射影変換部と、前記画像表示面におけるポインティング座標にオブジェクトを表示するオブジェクト表示部とを具備し、前記コーナー検出部が、前記撮像画像について少なくともコントラスト強調を行った後に二値化処理を行ったコーナー検出用画像に基づいてコーナー検出を行うように構成されたことを特徴とする。
【００１８】
このようなものであれば、前記画像表示デバイス又は前記画像表示面のコーナーの座標であるコーナー座標に基づいて、射影変換により画像表示面における撮像中心に対応する点の座標を算出することができるので、別途ＩＲマーカ等の付属品を前記画像表示デバイスに設ける必要がない。
【００１９】
さらに、特許文献１のように画像表示面において表示されている画像や映像の特徴点を抽出し、その抽出点を基準として射影変換を行うものではないので、演算処理の負荷が小さく、高速かつシンプルなポインティング装置を実現することができる。
【００２０】
また、前記コーナー検出部は、前記撮像画像について少なくともコントラスト強調を行った後に二値化処理を行った検出画像に基づいてコーナー検出を行うように構成されているので、例えば周囲の照明光や外光による影響があったとしても各コーナーを抽出する事が可能となる。したがって、実際の使用に耐えるポインティング装置とすることができるようになる。
【００２１】
製造コストを低減できるとともに、前記コーナー検出部において用いられる高速かつシンプルなアルゴリズムにより各コーナーを検出するのに適した撮像画像を撮像できるようにするには、前記撮像デバイスが赤外線カメラであればよい。
【００２２】
撮像画像において撮像されている画像表示面のコーナーをより好適に抽出できるようにするには、前記コーナー検出部が、コーナー検出用画像における明領域に対してポリゴン近似を行ってコーナーを検出するように構成されていればよい。
【発明の効果】
【００２３】
このように本発明のポインティング装置及びポインティング装置用プログラムによれば、付属品であるＩＲマーカ等を用いずに、画像表示面が撮像された撮像画像のみに基づいて、撮像デバイスによりポインティングされている位置を特定し、そのポインティング位置を画像表示面上に表示さえることができる。また、画像表示面において表示されている映像の特徴点等を抽出せずに、コーナーを抽出するようにしているので、その演算処理における負荷を大幅に低減し、高速での処理を可能としている。さらに、本発明は前記コーナー検出部においてコントラスト強調が行われた後に二値化処理が行われたコーナー検出用画像に基づいて各コーナーが検出されるように構成されているので、周囲環境の光の影響があったとしても基準となる各コーナーを抽出することができ、常に安定してポインティング位置やその変化を表示することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係るポインティング装置を示す模式図。
【図２】同実施形態におけるポインティング装置の機能ブロック図。
【図３】同実施形態におけるコーナー検出部における処理の一例を示す図。
【図４】同実施形態における射影変換について示す模式図。
【発明を実施するための形態】
【００２５】
本発明の一実施形態について図１乃至４を参照しながら説明する。
【００２６】
本実施形態のポインティング装置３００は、図１に示すようにテレビ画面ＤＡ上の任意の点をポインティングし、そのポインティングされている位置にオブジェクトとしてカーソルＣを表示するものである。そして、ポインティング位置が変化するのに応じてテレビ画面ＤＡ上のカーソルＣの位置も適宜変更されるものである。
【００２７】
より具体的には本実施形態のポインティング装置３００は、表示デバイスであるテレビ１００と、このテレビ１００を操作するためのリモコン２００とから構成してある。
【００２８】
前記テレビ１００には、ＩＲマーカなどの付属品はテレビ枠に設けられておらず、このテレビ１００は内部に後述する各種演算処理を実行するための演算デバイスが設けてある。
【００２９】
前記リモコン２００は、高周波の電磁波を用いてテレビ１００との通信を行うＲＦリモコンであって、例えば、bluetooth(登録商標)等の通信規格を採用したものである。さらに、このリモコン２００は、先端部分に撮像デバイスとして赤外線カメラ１が設けてあり、ユーザにより当該リモコン２００の先端部分の向きを変更することにより、撮像方向を変更可能に構成してある。そして、前記赤外線カメラ１により、前記テレビ１００の画像表示面であるテレビ画面ＤＡの全体が撮像されている場合に、撮像画像に基づいて前記テレビ１００内に構成されているポインティング位置表示部１０は、テレビ画面ＤＡ上において撮像中心に対応する位置をカーソルＣによって前記テレビ画面ＤＡ上に表示するように構成してある。
【００３０】
言い換えると、図１に示すようにリモコン２００の先端部分から撮像方向に延びる仮想線Ｌが、前記テレビ画面ＤＡにおいてポインティングしている位置にカーソルＣが表示されるように本実施形態のポインティング装置３００は構成してある。
【００３１】
このようなポインティング装置３００について機能ブロック図で表すと図２に示すようになる。すなわち、前記テレビ１００にあり、ＣＰＵ、メモリ、入出力機器等から構成される前記演算デバイスにより、メモリに記憶されているプログラムが実行されることによって少なくとも前記ポインティング位置表示部１０としての機能が実現される。
【００３２】
そして、このポインティング位置表示部１０は、図２に示されるように少なくともコーナー検出部２、撮像面コーナー座標算出部３、射影変換部４、オブジェクト表示部５としての機能から構成してある。
【００３３】
各部について詳述する。
【００３４】
前記コーナー検出部２は、前記撮像デバイスにより撮像された撮像画像に基づいて、前記画像表示面のコーナー又は前記画像表示デバイスのコーナーを検出するものである。
【００３５】
より具体的には、このコーナー検出部２は図３（ａ）に示すような赤外線カメラ１により撮像されて出力される前記撮像画像について少なくともコントラスト強調を行い、図３（ｂ）に示すようなコントラストが強調された画像とする。
【００３６】
このコントラスト強調は、例えば撮像画像についてヒストグラム均等化やコントラストストレッチ等のアルゴリズムにより行われる。本実施形態では後述する二値化においてより適しているコントラストストレッチを用いている。
【００３７】
このコントラスト強調処理が終了した後に、前記コーナー検出部２は、二値化処理を行い、図３（ｃ）のようなコーナー検出用画像を生成するものである。ここで、二値化処理として用いるアルゴリズムとしては適応二値化や自動二値化が挙げられる。本実施形態では、図３（ｃ）に示すようにテレビ１００の背景とテレビ画面ＤＡとを明確に分離しやすい自動二値化を用いてコーナー検出用画像を生成している。
【００３８】
そして、前記コーナー検出部２は、このコーナー検出用画像における背景から分離された明領域についてポリゴン近似を行い、前記明領域の縁部を構成する直線を推定する。さらに、コーナー検出部２は、この推定された直線から最もテレビ画面ＤＡの形状を表している可能性が高い四辺を選択する。
【００３９】
最後に前記コーナー検出部２は前記コーナー検出用画像において選択された四辺に基づいてコーナーを検出する。
【００４０】
前記撮像面コーナー座標算出部３は、前記コーナー検出部２において検出された各コーナーの前記撮像デバイスの撮像面Ｐにおける座標である撮像面コーナー座標を算出するものである。すなわち、前記撮像面コーナー座標算出部３は、検出された各コーナーがある撮像画像の画素の座標に基づいて図１及び図４（ａ）の撮像面Ｐにおける座標を算出する。
【００４１】
前記射影変換部４は、前記撮像面コーナー座標に基づいて、前記撮像面Ｐの中心の座標を前記画像表示面へと射影変換した座標であるポインティング座標を出力するものである。より具体的には、まず図４（ａ）に示すように算出された撮像面座標件における各コーナーの前記撮像面コーナー座標と、テレビ１００座標系における実際のテレビ画面ＤＡにおける各コーナーの座標とに基づいて、撮像面Ｐにおける各座標から前記テレビ１００座標系における座標へと変換するための透視変換行列ＰＭａｔを算出する。
【００４２】
次に前記射影変換部４は、図４（ｂ）に示すように求められた透視変換行列ＰＭａｔを用いて、撮像画像の中心の座標に対応するテレビ画面ＤＡ上の座標を算出する。この算出された座標がユーザによりリモコン２００が向けている方向に延びる仮想線Ｌと前記テレビ画面ＤＡとの交点であり、ポインティング位置の座標となる。
【００４３】
前記オブジェクト表示部５は、前記テレビ画面ＤＡにおけるポインティング座標にオブジェクトとしてカーソルＣを表示するものである。このオブジェクト表示部５は、ユーザのリモコン２００を操作する際の手ぶれによりポインティング位置が変化している場合には、手ぶれの影響を緩和するフィルタ例えばローバスフィルタを用いて、カーソルＣの位置を変更せず、所定量以上ポインティング位置が変化している場合のみカーソルＣ位置を変更するように構成してある。
【００４４】
上述してきた前記ポインティング位置表示部１０を構成する各部の動作は、所定周期ごとに繰り返され、適宜テレビ画面ＤＡ上におけるカーソルＣの位置が新たなポインティング位置へと変更される。
【００４５】
このように構成された本実施形態のポインティング装置３００によれば、リモコン２００に設けられた赤外線カメラ１の撮像画像だけに基づいて、テレビ画面ＤＡ上におけるポインティング座標を特定することができる。したがって、従来のように２つのＩＲマーカ等をテレビ枠に対して取り付ける必要が無く、テレビ枠を薄く保つことができ、デザインの自由度を保つことができる。
【００４６】
また、赤外線カメラ１により撮像された画像により、テレビ画面ＤＡと周囲の輝度の差に基づいてテレビ画面ＤＡの各コーナーを検出し、その検出されたコーナーに基づいて透視変換行列ＰＭａｔを算出するように構成しているので、例えばテレビ画面ＤＡに表示されている特徴点を抽出するような複雑なアルゴリズムを用いる必要がなく、その点を基準として透視変換行列ＰＭａｔを算出する場合に比べて、アルゴリズムを演算負荷の小さいものにすることができ、ポインティング座標が算出されるまでの行程を高速で実行することができる。したがって、短周期でポインティング座標を更新することができるので、ユーザの操作に対するカーソルＣの動きに遅延が発生しにくく、ユーザはテレビ画面ＤＡ上におけるカーソルＣの位置を所望の位置に合わせやすい。
【００４７】
さらに、前記コーナー検出部２においては、コントラスト処理、二値化処理、ポリゴン近似等といった比較的演算負荷の小さい処理を組み合わせることで、室内の照明光や外光の影響がある中でも、例えば照度センサによって検出されるテレビ１００の周囲環境の明るさに合わせてコントラスト処理と二値化処理の設定パラメータを調整して、テレビ画面ＤＡの各コーナーを好適に検出することができる。
【００４８】
その他の実施形態について説明する。
【００４９】
画像表示デバイスとしてはテレビに限られるものではなく、例えば、その他のディスプレイにおいてその表示画面上にポインティングされている位置を表示するものとして本発明のポインティング装置を構成してもよい。また、本発明のポインティング装置は、画像表示面の形状が長方形状の場合だけでなく、正方形状の場合であっても適用可能である。さらに、検出されるコーナーとしてはテレビ画面ＤＡのコーナーではなく、テレビ枠のコーナーであっても構わない。この場合、撮像デバイスにより撮像される画像はテレビ枠を含んだ状態である必要がある。
【００５０】
また、前記実施形態では撮像デバイスとしては赤外線カメラ１を用いたが、その他の可視光カメラ等で撮像された撮像画像に基づいてポインティング座標を算出するようにしても構わない。加えて、前記実施形態ではテレビ１００の操作用のリモコン２００に撮像デバイスを組み合わせていたが、ポインティング用のデバイスとして撮像デバイスをリモコンから分離して独立に構成しても構わない。さらに、オブジェクト表示部が表示するのはカーソルに限られるものではなく、ポインティング位置を示すオブジェクトであれば何であっても構わない。
【００５１】
加えて、既存のポインティング装置３００に対して、本発明のポインティング位置表示部としての機能を実現するプログラムをインストールし、本発明の効果を得られるようにしても構わない。
【００５２】
その他、本発明の趣旨に反しない限りにおいて様々な変形や実施形態の組み合わせを行える。
【符号の説明】
【００５３】
３００      ポインティング装置
２００      リモコン
１００      テレビ（画像表示デバイス）
１          赤外線カメラ（撮像デバイス）
２          コーナー検出部
３          撮像面コーナー座標算出部
４          射影変換部
５          オブジェクト表示部
１０        ポインティング位置表示部
Ｃ          カーソル
ＤＡ        テレビ画面（画像表示面）
Ｌ          仮想線
Ｐ          撮像面
【図１】
2014106922.tif 000003
【図２】
2014106922.tif 000004
【図３】
2014106922.tif 000005
【図４】
2014106922.tif 000006