(57)【要約】【課題】  リモコン側のカメラで画像表示部を撮像してユーザの位置を検出することにより、ユーザの位置に応じて表示画像の大きさや位置を変える。【解決手段】  画像表示システムはＴＶ１とリモコン２とで構成される。リモコン２は、ＴＶ１の画像表示部１０を撮像可能なカメラ２０と、カメラ２０で撮像した撮像画像中の撮像カーソル画像１４ｂの座標とそのときに表示されている表示カーソル画像１４ａの座標とを比較してリモコン２の向きと相対位置を検出する位置検出部２３と、を備える。また、これらのデータを送信する通信部２５を備える。ＴＶ１の画像生成部は、リモコン２の向きと相対位置に基づいて、表示画像を大きくしたり表示位置を変える。【選択図】図１
2008181199.tif 000002
【特許請求の範囲】
【請求項１】
カーソル画像を含む画像を生成する画像生成部と生成した画像を表示する画像表示部を備える画像表示装置と、
前記画像表示装置の表示を制御する操作部を備え、該操作部で操作された操作内容を前記画像表示装置に送信するリモコンと、を備える画像表示システムにおいて、
前記リモコンは、
該リモコンを前記画像表示装置に向けたときに画像表示部を撮像可能なカメラと、
前記カーソル画像の基準となる基準カーソル画像を予め記憶するメモリと、
前記メモリに記憶されている基準カーソル画像を用いて前記カメラで撮像した撮像画像内の撮像カーソル画像を抽出し、前記画像表示部に表示されている表示カーソル画像の座標と前記撮像カーソル画像の座標とを比較して、前記画像表示部に対するリモコンの向きと、該画像表示部とリモコン間の距離を表すリモコン相対位置とを検出する位置検出部と、
前記位置検出部で検出したリモコンの向きとリモコン相対位置とを前記画像表示装置に送信する送信部と、を備え、
前記画像表示装置の前記画像生成部は、
前記送信部から送信されてきたリモコンの向きとリモコン相対位置とに基づいて、前記画像表示部の表示画面上においてリモコンに最も近い位置に前記表示画像が表示されるように、表示画像の表示状態を前記送信部から送信されてきたリモコンの向きに基づいて設定し、前記画像表示部とリモコン間の距離が離れているほど前記表示画像が大きく表示されるように、表示画像の表示状態を前記送信部から送信されてきたリモコン相対位置に基づいて設定する画像表示システム。
【請求項２】
所定画像を含む画像を生成する画像生成部と生成した画像を表示する画像表示部を備える画像表示装置と、
前記画像表示装置の表示を制御する操作部を備え、該操作部で操作された操作内容を前記画像表示装置に送信するリモコンと、を備える画像表示システムにおいて、
前記リモコンは、
該リモコンを前記画像表示装置に向けたときに画像表示部を撮像可能なカメラと、
前記画像表示部に表示されている表示所定画像の座標と、前記カメラで撮像した撮像画像内の撮像所定画像の座標とを比較し、前記画像表示部に対するリモコンの向きと、該画像表示部とリモコン間の距離を表すリモコン相対位置とを検出する位置検出部と、
前記位置検出部で検出したリモコンの向きとリモコン相対位置とを前記画像表示装置に送信する送信部と、を備え、
前記画像表示装置の前記画像生成部は、前記送信部から送信されてきたリモコンの向きとリモコン相対位置とに基づいて、前記画像表示部に表示する表示画像の表示状態を設定することを特徴とする画像表示システム。
【請求項３】
前記リモコンは、前記所定画像の基準となる基準所定画像を予め記憶するメモリを備え、
前記位置検出部は、該メモリに記憶されている基準所定画像を用いて前記撮像画像内の撮像所定画像を抽出する請求項２記載の画像表示システム。
【請求項４】
前記基準所定画像は、基準カーソル画像である請求項３記載の画像表示システム。
【請求項５】
前記画像生成部は、前記画像表示部の表示画面上においてリモコンに最も近い位置に前記表示画像が表示されるように、表示画像の表示状態を前記送信部から送信されてきたリモコンの向きに基づいて設定する請求項２記載の画像表示システム。
【請求項６】
前記画像生成部は、前記画像表示部とリモコン間の距離が離れているほど前記表示画像が大きく表示されるように、表示画像の表示状態を前記送信部から送信されてきたリモコン相対位置に基づいて設定する請求項２記載の画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、テレビジョン（ＴＶ）またはパソコン（ＰＣ）とリモートコントロール装置（リモコン）とで構成される画像表示システムに関する。
【背景技術】
【０００２】
ＴＶやＰＣの表示画面上で、リモコンを使って任意の位置を指し示す（ポインティングする）画像表示システムが提案されている。このようなシステムでは、リモコンを所持するユーザの位置に応じて表示画面上の表示画像の大きさ（例えば、メニュー画像などの大きさ）を変えたり、その表示位置を変えるようにすることが望ましい。すなわち、ユーザが表示画面から離れているほど表示画像を大きくし、また、ユーザが表示画面の中心から左右に移動したときには、それに応じて表示画像も左右に移動する。
【０００３】
このような工夫を加えた画像表示システムとして、従来は次のようなものが提案されている。
【０００４】
たとえば、特許文献１では、表示画面の横にカメラを設置し、このカメラで撮像したユーザの位置や大きさに基づいて表示画像の位置や大きさを変える。
【０００５】
特許文献２では、リモコンで発光した光をＴＶの２つの受光部で検出し、ＴＶとリモコン間の距離を３角法で求め、この距離に応じて表示部の文字の大きさを変える。
【０００６】
また、特許文献３では、タブレットにカメラを設置し、このカメラで撮像したユーザの鼻の位置や動きに応じて表示画面上のポインタを移動させる。
【特許文献１】特開平０８−１２３６１２号公報
【特許文献２】特開２００４−２８７１６８号公報
【特許文献３】特開平０７−０９３０８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記の各特許文献１、３に示される画像表示システムでは、表示装置側にカメラを設けて、ユーザの顔や体の一部を撮像している。しかし、このような装置では、ユーザの顔や体の一部が常に同じであるとは限らないために、ユーザの認識を正しく行うことが困難である。画像認識の精度を高くしようとすれば、認識のための画像処理時間が長くなり応答性が低くなる。また、複数のユーザがカメラ視野内にいる場合には、ユーザの認識ができなくなる可能性がある。
【０００８】
特許文献２に示される画像表示システムでは、受光部での受光角度を正確に検出することが必要であるため受光部の構造が複雑又は高価格となる問題がある。  この発明の目的は、リモコン側のカメラで画像表示部を撮像してユーザの位置を検出することにより、低コストで高精度にユーザの位置を認識することができる画像表示システムを提供することにある。
【課題を解決するための手段】
【０００９】
この発明の画像表示システムは、上記課題を解決するために以下の構成を備えている。すなわち、
所定画像を含む画像を生成する画像生成部と生成した画像を表示する画像表示部を備える画像表示装置と、
前記画像表示装置の表示を制御する操作部を備え、該操作部で操作された操作内容を前記画像表示装置に送信するリモコンと、を備える画像表示システムにおいて、
前記リモコンは、
該リモコンを前記画像表示装置に向けたときに画像表示部を撮像可能なカメラと、
前記画像表示部に表示されている表示所定画像の座標と、前記カメラで撮像した撮像画像内の撮像所定画像の座標とを比較し、前記画像表示部に対するリモコンの向きと、該画像表示部とリモコン間の距離を表すリモコン相対位置とを検出する位置検出部と、
前記位置検出部で検出したリモコンの向きとリモコン相対位置とを前記画像表示装置に送信する送信部と、を備え、
前記画像表示装置の前記画像生成部は、前記送信部から送信されてきたリモコンの向きとリモコン相対位置とに基づいて、前記画像表示部に表示する表示画像の表示状態を設定する。
【００１０】
上記画像表示システムでは、位置検出部において、カメラで撮像した撮像所定画像の座標と表示所定画像の座標とを比較することによって、リモコンの向きとリモコン相対位置とを検出する。
【００１１】
所定画像は、たとえばカーソルの画像である。コマンドや選択可能なコンテンツ等が配列されているメニュー画面の画像であっても良い。また、この所定画像はリモコンに設けられているメモリに基準所定画像として予め記憶しておくことができる。
【００１２】
そこで、リモコンのメモリに、たとえば基準カーソル画像を基準所定画像として記憶しておけば、位置検出部において、カメラで撮像した画像表示部の画像とメモリに記憶されている基準カーソル画像とを比較する。この時、カメラで撮像した画像表示部の画像中にカーソルを見つけることができれば、そのときの表示カーソル画像の座標を画像表示装置から赤外線や無線等により取得する。取得した表示カーソル画像の座標と、カメラで撮像した撮像カーソル画像の座標とを対比することによって、すなわち画像の投影関係を示す行列式を演算することによって画像表示部に対するカメラの向きと、画像表示部とカメラ間の距離、すなわち、リモコンの向きとリモコン相対位置とを検出することができる。
【００１３】
ごのリモコンの向きとリモコン相対位置とに基づいて、前記画像表示部に表示する表示画像の表示状態を設定する。
【００１４】
すなわち、前記画像生成部は、前記画像表示部の表示画面上においてリモコンに最も近い位置に前記表示画像が表示されるように、表示画像の表示状態を前記送信部から送信されてきたリモコンの向きに基づいて設定する。
【００１５】
また、前記画像生成部は、前記画像表示部とリモコン間の距離が離れているほど前記表示画像が大きく表示されるように、表示画像の表示状態を前記送信部から送信されてきたリモコン相対位置に基づいて設定する。
【発明の効果】
【００１６】
この発明は、リモコンに設けたカメラで画像表示部に表示されている画像を撮像する。そして、この撮像した画像中の撮像所定画像（撮像カーソル画像等）の座標と画像表示装置から送られてきた表示所定画像（表示カーソル画像等）の座標とを比較してリモコンの向きとリモコン相対位置を検出する。このように構成しているため、リモコンの向きとリモコン相対位置とを高精度に検出できる。また、安価なカメラを設けるだけでよいため、低コストで構成できる。
【発明を実施するための最良の形態】
【００１７】
図１は、この発明の実施形態である画像表示システムの構成図である。この画像表示システムは、画像表示装置であるＴＶ１と、リモコン２とで構成される。画像表示装置は、ＴＶ１に代えて、画像表示部を備えるパソコン等の装置で構成することもできる。
【００１８】
ＴＶ１は、画像表示部１０と、画像生成部１１と、リモコン２との通信を行う通信部１２と、ＴＶ１の全体の制御を行う制御部１３とを備えている。
【００１９】
画像表示部１０は、リモコン２によって選択されたチャンネルのＴＶ画像を表示画面１５に表示したり、図示するようなメニュー画像を表示することができる。また、電子メール機能があるときは、メール到着案内文字を、ＴＶ電話機能があるときは、相手方の顔画像を表示することができる。
【００２０】
メニュー画像を表示すると、図示するようなカーソル画像１４が表示される。リモコン２によって、このカーソル画像１４を任意の位置に移動し、さらに所定のキー操作を行うことによって、カーソル画像１４で指示するコマンドを制御部１３に渡すことができる。
【００２１】
リモコン２は、ＣＣＤカメラ（以下カメラという）２０と、基準カーソル画像を記憶するメモリ２１と、カメラ２０で撮像した撮像カーソル画像の座標とＴＶ１から送信されてきた表示カーソル画像の座標とを対比して、リモコンの向きとリモコン相対位置（画像表示装置１とリモコン２間の距離）とを検出する位置検出部２３を含む画像処理部２２と、操作部２４と、通信部２５と、制御部２６とを備える。
【００２２】
操作部２４は、複数のキーを含み、各キーで操作されたコマンドを通信部２５を介してＴＶ１に送信する。
【００２３】
通信部２５は、ＴＶ１の通信部１２との間で赤外線（ＩｒＤＡ）や数ＧＨｚ帯の電波を使用して、データの送受信を行う。
【００２４】
制御部２６は、リモコン２の全体の制御を行う。
【００２５】
画像処理部２２は、リモコンの向きとリモコン相対位置とを検出するための演算を行う位置検出部２３を備えている。
【００２６】
図１の画像表示システムは、リモコン２の通常の機能である第１の機能と、第２の機能とを備えている。
【００２７】
第１の機能では、操作部２４で操作された操作内容（操作コマンド）をＴＶ１に送信する。
【００２８】
第２の機能では、画像処理部２２の位置検出部２３で演算されたリモコンの向きとリモコン相対位置を通信部２５によってＴＶ１に送信する。
【００２９】
第２の機能では、画像表示部１０の画像表示面１５に表示されている画像全体をカメラ２０で撮像し、このカメラ２０で撮像した画像全体とメモリ２１に記憶されている基準カーソル画像とを比較して、撮像画像中のカーソル画像（撮像カーソル画像）の位置を抽出する。次に、前記表示カーソル画像の座標をＴＶ１から取得し、この表示カーソル画像の座標と撮像カーソル画像の座標とを比較して、リモコンの向きとリモコン相対位置を検出する。
【００３０】
ＴＶ１は、リモコン２で検出されたリモコンの向きとリモコン相対位置を通信部１２で受信し、画像生成部１１が、表示画像の表示状態を設定する。表示画像の表示状態を設定するとは、文字の大きさを変えること、メニュー画像の表示位置を変えること等を意味する。
【００３１】
図２は、ＴＶ１に表示されている表示カーソル画像（図２（Ａ））と、カメラ２０で撮像された撮像カーソル画像（図２（Ｂ））とを示している。なお、メモリ２１にも表示カーソル画像（図２（Ａ））と同様な基準カーソル画像が記憶されている。ただし、座標は記憶されていない。図２（Ａ）に示す座標は、後述のように、ＴＶ１から送信されてくる。
【００３２】
画像処理部２２では、カメラ２０で撮像された画像から、基準カーソル画像を使って公知の画像認識方法によって撮像カーソル画像１４ｂを抽出する。また、ＴＶ１に対してこのときの表示カーソル画像の座標を問い合わせて取得する。なお、ここでは、カーソル画像の特徴点を表す３点の表示画面１５上での座標（ｘ１，ｙ１）（ｘ２，ｙ２）（ｘ３，ｙ３）を取得している。表示カーソル画像１４ａの先端位置の座標は、ここでは（ｘ１，ｙ１）である。
【００３３】
画像処理部２２では、表示画面１５上の３点の特徴点の座標（ｘ１，ｙ１）（ｘ２，ｙ２）（ｘ３，ｙ３）と、カメラ２０によって撮影された画像上の対応する特徴点の座標（ｘ１′，ｙ１′）（ｘ２′，ｙ２′）（ｘ３′，ｙ３′）とを比較し、投影関係を計算する。この計算によってカメラ２０の座標系と表示画面１５上の座標系の関係を特定することが出来、表示画面１５上でのリモコン指示位置を求めることが出来る。同時に表示画面１５に対するリモコン２の相対位置及び向きを検出することが出来る。
【００３４】
操作部２４で所定の操作（例えば、メニュー画面の表示を行うための操作）を行うと、ＴＶ１の表示画面１５にメニュー画面とカーソル画像１４が表示される。このときのカーソル画像は、画面１５の中央位置に表示される。
【００３５】
ＴＶ１の表示画面１５の中央位置に表示カーソル画像１４ａが表示されている状態で、画像処理部２２の位置検出部２３は、カメラ２０で撮像した画像中から、基準カーソル画像を用いて撮像カーソル画像１４ｂを抽出する。また、ＴＶ１から表示カーソル画像１４ａの座標を取得する。撮像カーソル画像１４ｂの座標と表示カーソル画像１４ａの座標とを比較する。これにより、リモコン２の向きを検出することができる。
【００３６】
また、基準カーソル画像１４ａと撮像カーソル画像１４ｂとを対比することにより、リモコン相対位置（表示画面１５とリモコン２間の距離）を検出することができる。
【００３７】
そこで、このリモコンの向きとリモコン相対位置を通信部２５によってＴＶ１に送信する。ＴＶ１では、受信したリモコンの向きに基づいてメニュー画面等の表示位置をリモコンに最も近くなる位置に表示したり、リモコン相対位置に基づいて文字の大きさを変更する。すなわち、リモコンがＴＶ１から離れているほど文字の大きさを大きくする。
【００３８】
図３は、表示画面１５の表示例を模式的に示す図である。
【００３９】
同図（Ａ）（Ｂ）は、メニュー画面の表示例である。同図（Ａ）は、リモコン２が離れている場合（距離が離れている場合）の表示例、同図（Ｂ）は、リモコン２が近い場合（距離が近い場合）の表示例を示す。
【００４０】
リモコン２がＴＶ１から離れているほど、メニュー画像が大きくなっている。また、表示文字も大きくなっている。
【００４１】
図３（Ｃ）（Ｄ）は、メール到着画像の表示例である。同図（Ｃ）は、リモコン２が離れている場合（距離が離れている場合）の表示例、同図（Ｄ）は、リモコン２が近い場合（距離が近い場合）の表示例を示す。
【００４２】
リモコン２がＴＶ１から離れているほど、メール到着画像の文字が大きくなっている。
【００４３】
図３（Ｅ）（Ｆ）は、ＴＶ電話機能が選択された場合の表示例である。ＴＶ電話機能では、表示画面１５に相手方の顔画像が表示される。
【００４４】
同図（Ｅ）は、表示画面１５の中心位置を基準に同画面に対して左側にリモコン２がシフトしている場合の表示例、同図（Ｆ）は、表示画面１５の中心位置を基準に同画面に対して右側にリモコン２がシフトしている場合の表示例を示す。
【００４５】
リモコン２が右側にシフトしている場合には、顔画像も右側にシフトし、リモコン２が左側にシフトしている場合には、顔画像も左側にシフトする。
【００４６】
図３（Ｅ）（Ｆ）において、リモコン２のＴＶ１から離れると、表示される顔画像は大きくなる。反対に、リモコン２がＴＶ１に近づくと、表示される顔画像は小さくなる。
【００４７】
以上の制御は、リモコンの向きとリモコン相対位置に基づいて、ＴＶ１の画像生成部１１により行われる。
【００４８】
本実施形態では、リモコン２の位置変化にカーソル画像１４が追従するよう、カーソル画像の表示が制御される。リモコン２の向きは、表示画面１５上のリモコンでの指示位置と等しい情報であるため、ＴＶ１の画像生成部１１は、このリモコン２の向きの情報に基づいて表示画面１５上でカーソル画像１４がリモコン２の向きに追従するように該カーソル画像の表示を制御する。したがって、表示画面１５の中央位置にカーソル画像１４が表示された状態でＴＶ１側に向けたリモコン２を少しだけ移動又は回転すると、カーソル画像１４がその動きに追従する。そして、カーソル画像１４が所定の位置に移動した状態でリモコン２の操作部２４で特定のキーを操作すれば、表示画面１０上でカーソル画像１４が指定する位置のコマンドを制御部１３に入力することが可能になる。
【００４９】
図４は、ＴＶ１の表示画面１５に対するリモコン２の指示位置を示している。リモコン２に内蔵されているカメラ２０の視線Ｌは表示画面１５上のカーソル画像１４の先端部に位置している。この状態で、リモコン２を矢印Ｘ方向に回転すると、それに応じて視線ＬもＸ方向に回転し、これに応じて表示画面１５上に表示されるカーソル画像１４も移動する。
【００５０】
上記の実施形態では、リモコン２の操作部２４において所定の操作（メニュー画面を表示する操作等）を行った時にＴＶ１の表示画面１５の中央位置にカーソル画像１４を表示している。したがって、所定の操作を行ったときから、表示画面１５上で、カーソル画像１４がリモコン２の移動又は回転に追従して移動する。
【００５１】
このように、リモコン２の操作部２４で所定の操作を行った時に表示画面１５の中央位置にカーソル画像１４を表示することにより、ＴＶ１に対しリモコン２がかなり接近していてもカメラ２０の視野内にカーソル画像１４が必ず入るために、画像処理部２２においてのカーソル画像１４の抽出が確実である。
【００５２】
カメラ２０の視野角が非常に広い場合には、操作部２４において所定の操作を行った時のカーソル画像１４の初期位置は中央である必要はない。たとえば、図１の左側のメニューを示す領域の中央位置を初期位置とすることもできる。初期位置は任意でよい。
【００５３】
別の実施形態として、メモリ２１に基準カーソル画像とともに画像表示部１０の画面サイズ及び画面形状を基準所定画像として記憶するようにしてもよい。図５（Ａ）は画像表示部１０の画面サイズ及び画面形状を示している。メモリ２１は、この情報と基準カーソル画像とを一緒に記憶する。図５（Ｂ）はカメラ２０で撮像した撮像画像を示す。このようにメモリ２１に画像表示部１０の画面サイズ及び画面形状を基準所定画像として記憶しておくことによって、カメラ２０の視野Ｖ内に画像表示部１０の全体が表示される限り、リモコン指示位置を算出することができる。具体的には画面のサイズと形状により、特徴点を３点抽出して座標を設定しておく。メモリ２１に記憶されている画像表示部１０の画面サイズ、画面形状を用いてカメラ２０の画像から画像表示部を抽出する。抽出した画像表示部の上記特徴点に対応する３点の座標を求め、投影関係を計算することによってリモコン指示位置を算出する。
【００５４】
さらに、上記リモコン相対位置に基づいて、表示画面１５上に表示するカーソル画像１４の大きさを制御することも可能である。すなわち、距離が近ければカーソル画像１４の大きさを小さくし、距離が離れるに従って、カーソル画像１４の大きさを大きくすることによって、カメラ２０によるカーソル画像１４の視認性を高めることが可能になり、リモコン指示位置の検出精度をあげることが出来る。
【００５５】
図６（Ａ）、（Ｂ）は、リモコン２の位置に対するカーソル画像１４の大きさを示す図である。同図（Ｂ）ではＴＶ１に対しリモコン２が離れているために、カーソル画像１４が相対的に大きい。なお、上述のようにカーソルの位置をリモコン２の位置によって変えることにより、遠距離や近距離での操作者の視認性を高める効果もある。上記のようにして求めた距離は、カーソル画像１４の大きさを制御するだけではなく、ＴＶ１の音量制御にも使用することができる。すなわち、距離が離れるとＴＶ１の音量を大きくし、距離が短くなるとそれに応じて音量を小さくする。その他、ＴＶ１とリモコン２との距離に応じて様々な制御が可能である。
【００５６】
次にリモコン２の制御部２６の動作を説明する。
【００５７】
図７、図８は制御部２６の動作の概略を示すフローチャートである。
【００５８】
図７において、操作部２４でキー操作があると、キー操作がメニューキー操作であるかどうかの判定を行う（ＳＴ１）。通常のチャンネルキー操作等、メニューキー操作以外の操作であれば、そのキー操作に応じたコマンドをＴＶ１に対して送信する（ＳＴ２）。
【００５９】
上記ＳＴ１においてメニューキー操作であれば、カメラ２０で、前方すなわちＴＶ１の画像表示部１０に表示されている画像を撮像する（ＳＴ３）。さらに、その撮像した画像とメモリ２１に記憶されている基準カーソル画像に基づいて、リモコン２の向きとリモコン相対位置を演算する動作を行う（ＳＴ４）。そして、上記ＳＴ４で求めたリモコンの向きとリモコン相対位置をＴＶ１に対して送信する（ＳＴ５）。
【００６０】
図８は、ＳＴ４の動作を示している。
【００６１】
まず、カメラ２０で撮像したカメラ撮像画像を取得する（ＳＴ１０）。この画像とメモリ２１に記憶されている基準カーソル画像とのパターンマッチングを行う（ＳＴ１１）。上記パターンマッチングにより、カメラ撮像画像中の、撮像カーソル画像１４ｂの座標を検出する（ＳＴ１２）。この時、撮像カーソル画像１４ｂについては図２に示すように、少なくとも３点の座標を検出する（ＳＴ１２）。そして、ＴＶ１から、そのときの表示カーソル画像１４ａの座標を受信する。この表示カーソル座標１４ａの座標と、撮像カーソル画像１４ｂの座標とから、リモコン２の向きとリモコン相対位置を求める（ＳＴ１３）。先に述べたように、座標が３点以上であれば表示画面１５上のリモコン２の向きを演算で求めることができるとともに、さらにリモコン相対位置（リモコン２のＴＶ１に対する距離）を演算で求めることができる。この演算の精度は、演算に使用する点数（座標点の数）が多ければ多いほど高精度となる。しかし、その分、演算量が増えるため制御部２６の負担が重くなる。
【００６２】
ＴＶ１では、通信部１２においてリモコン２の向きとリモコン相対位置とのデータを受信する。画像生成部１１は、受信した上記データに基づいて、図３に示すように、表示画面１５上の表示画像の表示状態を設定する。すなわち、リモコン２がＴＶ１から離れているほど文字、表示画像を大きく設定し、表示画面を基準にリモコン２の位置の左右位置を判断して、リモコン２に最も近い位置に表示画像を表示する。
【００６３】
本実施形態では、画像生成部１１は、カーソル画像１４がリモコン２に追従するように、該カーソル画像の表示位置の制御も行う。
【００６４】
なお、リモコン２の向きと相対位置が一旦検出できれば、そのデータがＴＶ１の制御部１３において記憶される。したがって、メニュー画像が消されてカーソル画像が表示されなくなっても、記憶されている上記データに基づいて表示画像の表示状態の設定が行われる。メニュー画像が再び選択されると、リモコン２の向きと相対位置が再度検出されて、そのデータがそれまでに記憶していたデータに置き換わる。
【００６５】
なお、先に述べたように、メモリ２１には、メニュー画像を基準メニュー画像（基準所定画像）として記憶してもよい。この場合には、図８のＳＴ１１においてカメラ撮像画像とメモリ２１に記憶されている基準メニュー画像とがパターンマッチングされる。そして、ＳＴ１２において撮像メニュー画像の座標が検出される。また、ＳＴ１３では、表示メニュー画像の座標（ＴＶ１から送信される）と撮像メニュー画像の座標に基づいて、リモコン２の向きとリモコン相対位置が演算される。なお、表示メニュー画像の座標が固定である場合には、予めこの座標をメモリ２１に記憶しておいても良い。この場合には、ＴＶ１からこの情報を送信する必要はない。
【００６６】
この発明の別の実施形態では、ＴＶ１にメニュー画像が表示された時、このメニュー画像をリモコン２に送信して、これをメモリ２１に基準メニュー画像として記憶するようにしてもよい。このようにすると、複数のメニュー画像があった場合にも、メモリ２１に記憶する基準メニュー画像を各メニューに対応して適切に設定することができる。
【００６７】
この発明のさらに他の実施形態では、図１の画像処理部２２に含まれる位置検出部２３をＴＶ１側に設けることが可能である。
【００６８】
この実施形態では、リモコン２において、メモリ２１と位置検出部２３が不要である。一方、通信部２５は、カメラ２０で撮像した画像を高速にＴＶ１に対して送信する機能を持つことが必要である。すなわち、リモコン２の通信部２５とＴＶ１の通信部１２は高帯域の通信機能を備えていることが要求される。ＴＶ１では、通信部１２で受信した撮像画像とその時に表示画面１５で表示されている表示画像とを比較して、リモコンの向きとリモコン相対位置を検出する。この検出方法は、上記の実施形態と同様である。
【００６９】
以上の実施形態では、カーソル画像１４の形状を矢印形状としているが、三角形状、手の平形状、その他、任意の形状を適用できる。
【図面の簡単な説明】
【００７０】
【図１】この発明の実施形態である画像表示システムの構成図
【図２】表示カーソル画像と撮像カーソル画像を示す図
【図３】画面表示例を示す図
【図４】リモコン２の回転に対してカーソル画像１４が追従する状態を説明する図
【図５】画像表示部の画面サイズ、画面形状とカメラ２０での撮像画像を示す図
【図６】リモコン位置に対するカーソル画像の大小を説明する図
【図７】リモコン２の概略動作を示すフローチャート
【図８】リモコン２の概略動作を示すフローチャート
【符号の説明】
【００７１】
１−ＴＶ
２−リモコン
１０−画像表示部
１４−カーソル画像
１５−表示画面
２０−カメラ（ＣＣＤ）
２２−画像処理部
２３−位置検出部
【図１】
2008181199.tif 000003
【図２】
2008181199.tif 000004
【図３】
2008181199.tif 000005
【図４】
2008181199.tif 000006
【図５】
2008181199.tif 000007
【図６】
2008181199.tif 000008
【図７】
2008181199.tif 000009
【図８】
2008181199.tif 000010