(57)【要約】【課題】ディスプレイ装置の画面に表示されたポインタの位置を操作する際、ディスプレイ装置の走査方式の制約がなく、自然で見やすい画面表示のままでポインタの位置の操作をできるようにする。【解決手段】デジタルテレビ１００の画面１０１上にはポインタ１５０を所定の周期で点滅させて表示し、それをコントローラ（ポインティングデバイス）２００のＣＣＤカメラ２０１で撮影する。その際カメラの視線（視野中心）をポインタの移動先位置１９２に合わせる。撮影した画像をポインタの点滅周期のフィルタで処理して、ポインタの画像を抽出する。ポインタの現在位置から移動先位置へ向う移動ベクトル量１９５を算出し、赤外線発光部２０２よりデジタルテレビ１００に向けて送信する。【選択図】図１
2007193403.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ装置の画面に表示されたポインタの位置を所望の位置へ移動させるポインティングデバイスであって、
上記画面に表示された上記ポインタを含む画像を撮影する撮影手段と、
撮影した画像から上記ポインタの画像を抽出するポインタ抽出手段と、
抽出したポインタの位置から上記所望の位置へ向う移動ベクトル量を算出する移動量算出手段と、
算出した移動ベクトル量を上記ディスプレイ装置へ移動操作指示信号として送信する送信手段と、
を備えたことを特徴とするポインティングデバイス。
【請求項２】
請求項１記載のポインティングデバイスであって、
前記ディスプレイ装置の画面には前記ポインタが所定の周期で点滅して表示され、
前記ポインタ抽出手段は、バンドパスフィルタにて上記所定の周期の信号を通過させて上記ポインタの画像を抽出することを特徴とするポインティングデバイス。
【請求項３】
請求項１記載のポインティングデバイスであって、
前記移動量算出手段は、前記ポインタ抽出手段にて抽出したポインタの画像面積を求め、これを係数として前記移動ベクトル量を算出することを特徴とするポインティングデバイス。
【請求項４】
請求項１記載のポインティングデバイスであって、
前記ポインタ抽出手段の抽出した信号を基に、前記撮影した画像に前記ポインタが捕捉されているか否かを判定する捕捉判定手段と、
該捕捉判定の結果をユーザに通報する捕捉通報手段と、
を備えたことを特徴とするポインティングデバイス。
【請求項５】
ディスプレイ装置の画面に表示されたポインタの位置を所望の位置へ移動させるポインタ指示位置制御方法であって、
上記画面に表示された上記ポインタを含む画像を撮影し、
撮影した画像から上記ポインタの画像を抽出し、
抽出したポインタの位置から上記所望の位置へ向う移動ベクトル量を算出し、
算出した移動ベクトル量を上記ディスプレイ装置へ移動操作指示信号として送信し、
上記ディスプレイ装置は受信した上記移動操作指示信号に基づき、上記ポインタを上記移動ベクトル量だけ移動させることを特徴とするポインタ指示位置制御方法。
【請求項６】
請求項５記載のポインタ指示位置制御方法であって、
前記撮影した画像に前記ポインタが捕捉されているか否かを判定し、
該判定の結果をユーザに通報することを特徴とするポインタ指示位置制御方法。
【請求項７】
ディスプレイ装置と、該装置の画面に表示されたポインタの位置を所望の位置へ移動させるポインティングデバイスとを備えたディスプレイシステムであって、
上記ポインティングデバイスは、
上記画面に表示された上記ポインタを含む画像を撮影する撮影手段と、
撮影した画像から上記ポインタの画像を抽出するポインタ抽出手段と、
抽出したポインタの位置から上記所望の位置へ向う移動ベクトル量を算出する移動量算出手段と、
算出した移動ベクトル量を上記ディスプレイ装置へ移動操作指示信号として送信する送信手段とを備え、
上記ディスプレイ装置は、
上記ポインティングデバイスから送信された移動操作指示信号を受信する受信手段と、
受信した上記移動操作指示信号に基づき上記ポインタを上記移動ベクトル量だけ移動させて表示する表示手段と、
を備えることを特徴とするディスプレイシステム。
【請求項８】
請求項７記載のディスプレイシステムであって、
前記ディスプレイ装置の前記表示手段は、前記ポインタを所定の周期で点滅して表示し、
前記ポインティングデバイスの前記ポインタ抽出手段は、バンドパスフィルタにて上記所定の周期の信号を通過させて上記ポインタの画像を抽出することを特徴とするディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ上に表示されたポインタの指示位置を制御するためのポインティングデバイス、ポインタ指示位置制御方法およびこれを用いたディスプレイシステムに係り、特にユーザとディスプレイとの距離が比較的離れている場合に適した制御技術に関する。
【背景技術】
【０００２】
テレビのように離れた位置にある装置を遠隔制御するためのコントローラとしては、従来、複数の選択ボタンを有する赤外線リモコンが使用されてきた。さらに、リモコン上のカーソルボタンによって画面上のカーソル（ポインタ）を上下左右に移動させて、メニュー選択を行うこともできる。
【０００３】
一方で、最近のデジタル放送対応テレビにおいては、例えばデータ放送コンテンツを表示するためのＢＭＬ（Ｂｒｏａｄｃａｓｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）ブラウザのようなアプリケーションが内蔵され、画面上の各位置に散在して表示されたアイテムを指定・選択する操作が必要となる。このような複雑な操作を行うためには、従来の赤外線リモコンによる逐次操作よりも、パーナルコンピュータ等で用いられているマウスのように目標アイテムを直接指示できるポインティングデバイスが向いている。しかしながら、マウスは机等の平面上の操作に制限されるため、テレビのように離れた装置に対する操作には不向きであり、手に持ったまま空間内で自由に操作できる新たなポインティングデバイスが望まれる。
【０００４】
これに関連する技術として、特許文献１では、シューティングゲーム用コントローラおよび指示位置検出方法が開示されている。この技術では、ラスタ走査方式のモニタにフラッシュ画面を表示し、銃型コントローラの先端に取り付けた複数の光センサによって、フラッシュ画面の走査線のタイミングを検出することで、銃口が狙った画面上の仮想的な着弾点を検出するものである。
【０００５】
また特許文献２では、画像を変化させることなくモニタ画面への指示位置を検出することができる指示位置検出方法及び装置が開示されている。この技術では、モニタ画面に特徴的な枠を含む画像を表示し、銃型コントローラに取り付けられた撮像素子によってモニタ画面の全体、もしくは一部を撮像する。そして、撮像された画像中の枠の位置を検出し、銃型コントローラで指示した画面上の位置を決定するものである。
【０００６】
【特許文献１】特開２００２−３４６２２４号公報
【特許文献２】特開平１１−３１９３１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記特許文献１に記載の技術はラスタ走査方式を前提としており、近年普及しているＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）のようにラスタ方式でないもの、あるいは内部的にラスタ方式であっても、その走査のタイミングを外部に取り出すことが困難なディスプレイ装置には適用できない。また、タイミングを検出するために画面全体をフラッシュさせる必要があり、ウェブブラウザのように画面をじっくりと凝視するようなアプリケーションには不向きである。
【０００８】
また上記特許文献２に記載の技術は、画面上に大きく特殊な枠を常時表示している必要があり、画面のデザインが限定され、またユーザに違和感を与えることになる。違和感を低減させようとして枠を目立たないようにすると、枠を検出するための画像処理の負荷が大きくなり、コントローラは複雑で高価なものになる。
【０００９】
本発明は、ディスプレイ装置の走査方式の制約がなく、自然で見やすい画面表示のままで操作可能な、簡単で安価なポインティングデバイス、ポインタ指示位置制御方法およびディスプレイシステムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、ディスプレイ装置の画面に表示されたポインタの位置を所望の位置へ移動させるポインティングデバイスであって、画面に表示されたポインタを含む画像を撮影する撮影手段と、撮影した画像からポインタの画像を抽出するポインタ抽出手段と、抽出したポインタの位置から上記所望の位置へ向う移動ベクトル量を算出する移動量算出手段と、算出した移動ベクトル量をディスプレイ装置へ移動操作指示信号として送信する送信手段とを備える。
【００１１】
ここでディスプレイ装置の画面にはポインタが所定の周期で点滅して表示され、ポインタ抽出手段は、バンドパスフィルタにて上記所定の周期の信号を通過させてポインタの画像を抽出する。また移動量算出手段は、ポインタ抽出手段にて抽出したポインタの画像面積を求め、これを係数として移動ベクトル量を算出する。
【００１２】
さらに、ポインタ抽出手段の抽出した信号を基に、撮影した画像にポインタが捕捉されているか否かを判定する捕捉判定手段と、捕捉判定の結果をユーザに通報する捕捉通報手段とを備える。
【００１３】
また本発明は、ディスプレイ装置の画面に表示されたポインタの位置を所望の位置へ移動させるポインタ指示位置制御方法であって、画面に表示されたポインタを含む画像を撮影し、撮影した画像からポインタの画像を抽出し、抽出したポインタの位置から上記所望の位置へ向う移動ベクトル量を算出し、算出した移動ベクトル量をディスプレイ装置へ移動操作指示信号として送信し、ディスプレイ装置は受信した移動操作指示信号に基づき、ポインタを上記移動ベクトル量だけ移動させる。
【００１４】
また本発明は、ディスプレイ装置と、装置の画面に表示されたポインタの位置を所望の位置へ移動させるポインティングデバイスとを備えたディスプレイシステムである。ポインティングデバイスは、画面に表示されたポインタを含む画像を撮影する撮影手段と、撮影した画像からポインタの画像を抽出するポインタ抽出手段と、抽出したポインタの位置から上記所望の位置へ向う移動ベクトル量を算出する移動量算出手段と、算出した移動ベクトル量をディスプレイ装置へ移動操作指示信号として送信する送信手段とを備える。ディスプレイ装置は、ポインティングデバイスから送信された移動操作指示信号を受信する受信手段と、受信した移動操作指示信号に基づきポインタを上記移動ベクトル量だけ移動させて表示する表示手段とを備える。
【発明の効果】
【００１５】
本発明によれば、ディスプレイ装置の走査方式の制約がなく、自然で見やすい画面表示のままでポインタの位置の操作が可能となる。
【発明を実施するための最良の形態】
【００１６】
以下本発明の実施の形態を図面を用いて説明する。
図１は、本発明によるディスプレイシステムの一実施例を示す外観図である。本システムは、画像表示するデジタルテレビ１００と、該テレビを制御するコントローラ（ポインティングデバイス）２００にて構成し、ユーザはコントローラ２００を操作することでテレビ画面上のポインタの指示位置を制御する。
【００１７】
デジタルテレビ１００は、ＰＤＰパネル１０１、スピーカ１０２、スタンド１９０を有する。そしてＰＤＰパネル１０１画面上には、内蔵する制御回路により、視聴中の番組の画像の上にポインタ１５０をオーバラップして表示する。赤外線受光部１０３は、コントローラ２００から送信された操作信号を受信すると、画面上のポインタ１５０の位置を移動させる。
【００１８】
また、コントローラ（ポインティングデバイス）２００は、テレビ画面の画像を撮影するＣＣＤカメラ(撮影手段)２０１と、撮影画像を解析して操作信号を送信する赤外線発光部（送信手段）２０２を有する。ユーザは、カメラ２０１の視線方向（視野中心位置）をテレビ画面内の所望位置に移動することで、画面上のポインタ１５０を所望位置へ移動させる。
【００１９】
図２は、コントローラ（ポインティングデバイス）２００の一実施例を示す詳細な外観図である。コントローラ２００は、例えば、携帯電話のような折りたたみ式の構造をしており、前面にＣＣＤカメラ２０１と、該カメラで撮影した画像等を表示するＬＣＤ画面２１９と、テレビの動作を制御するための操作キー２１０，２１１，２１２，２１３と、操作信号を発信する赤外線発光部２０２から構成される。操作キーのうち、２１０は上下左右のカーソルキー、２１１は決定キー、２１２はキャンセルキー、２１３はテンキーである。なお、本コントローラ２００は携帯電話の機能も兼用する装置としており、２１８は携帯電話用アンテナである。もちろん、携帯電話の機能なしで、コントローラ専用としても良い。
【００２０】
図３は、デジタルテレビ１００の内部構成を示すブロック図である。アンテナ１１１で受信したデジタル放送信号は、チューナ１１２で復調されてトランスポートストリームとなり、デマルチプレクサ１１３で映像データと音声データに分離される。映像データと音声データは、それぞれＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）デコーダ１１４，１１５にてデコードされる。デコードされた映像信号はＰＤＰパネル１０１に送られ、画像表示される。なお、ＰＤＰパネル１０１の表示フレームレートは、例えば最も一般的な５９．９４Ｈｚとする。デコードされた音声信号はＤ／Ａコンバータ１１８でアナログ信号に変換されて、スピーカ１０２から音声出力される。
【００２１】
またデマルチプレクサ１１３では、データ放送のＢＭＬデータを分離して、ＣＰＵ１２０に供給する。ＣＰＵ１２０では、ＢＭＬデータを解析して、ＯＳＤ表示部１１６を用いてデータ放送のコンテンツを描画する。その際、画面上に表示されるアイテムをユーザが指定・選択するために、ポインタ１５０の画像を追加して表示する。このポインタ１５０は、所定の周期、例えば５Ｈｚで常に点滅させる。このＯＳＤ画面とデコーダ１１４からの画像は、画像合成部１１７で合成して、ＰＤＰパネル１０１に表示する。
【００２２】
赤外線受光部１０３は、コントローラ２００から送信された信号を受信しＣＰＵ１２０へ送る。ＣＰＵ１２０は、受信信号から操作指示内容を解釈し、ユーザ操作がポインタの移動を指示するものであれば、ＯＳＤ表示部１１６を制御して、ポインタ１５０の表示位置を指示された方向へ移動させる。
【００２３】
なお上記ポインタ１５０は、画面上を任意の位置に移動して表示されるアイコン（いわゆるマウスカーソル）だけに限定されない。例えば、画面上に選択肢となる複数個のアイコンを固定して表示しておき、ユーザの選択したアイコンのみを所定の周期で点滅させるようにしてもよい。
【００２４】
図４は、コントローラ２００の内部構成を示すブロック図である。ＣＣＤカメラ２０１は、テレビ１００のＰＤＰパネル１０１に表示された画像を撮影し、フレームバッファ２２０に撮影した画像データを格納する。ＣＣＤカメラ２０１のシャッタースピードは、例えば１／３０秒とする。これにより、テレビのディスプレイがＰＤＰやＬＣＤのように面発光ではなく、ＣＲＴのようなラスタ走査型であっても完全なフレーム画像が得られる。撮影レートは例えば１５Ｈｚとする。また、撮影画像の画素数は、例えば横４８０×縦６４０ドットとし、フレームバッファ２２０は、例えば過去４フレーム分程度の画像データを格納できるだけの容量を有し、ＳＤＲＡＭメモリなどを用いて、ＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ  Ｆｉｒｓｔ−Ｏｕｔ）方式で構成する。
【００２５】
ＣＰＵ２５０では撮影画像を解析し、ポインタ１５０の抽出と移動量の計算を行う。
まずバンドパスフィルタ２５１は、フレームバッファ２２０から読み出した一連の画像データを、各画素ごとに加減算を行い、時間方向のデジタルフィルタ処理を実行する。このフィルタは、ポインタ１５０の点滅周期である５Ｈｚ成分の信号のみを通過させるバンドパス特性を有する。その結果、撮影画像中のポインタ１５０の部分が強調された画像が得られる。このように、画面上でポインタを所定の周期で点滅させてこれを検出する方式としたので、簡単な画像処理でポインタの部分だけを抽出することができる。
【００２６】
次に、この強調画像に対して重心検出処理２５２を実行する。ここでは、入力された強調画像の画素のうち、所定の閾値以上の輝度を持つ画素を抽出して、ポインタ１５０の領域を確定する。そして、領域内の各画素の座標（ｘｉ，ｙｉ）を平均してポインタの中心位置を示す重心座標（ｘｇ，ｙｇ）を算出し、また領域内の画素の個数からポインタの検出面積Ｓを求める。
【００２７】
最後に、ポインタの移動量決定処理２５３を実行する。算出した重心座標（ｘｇ，ｙｇ）と検出面積Ｓの値から、ＰＤＰパネル１０１上のポインタの移動ベクトル（ｄｘ，ｄｙ）を決定する。具体的には次式（１）により算出する。
（ｄｘ，ｄｙ）＝Ｓ−０．５・（ｋｘ・（ｘ０−ｘｇ），ｋｙ・（ｙ０−ｙｇ））
・・・（１）
ここに（ｘ０，ｙ０）は、ＣＣＤカメラ２０１の撮影画面の中心座標（視野中心）を表す。
【００２８】
すなわち、移動ベクトル（ｄｘ，ｄｙ）の方向は、重心座標（ｘｇ，ｙｇ）から中心座標（ｘ０，ｙ０）に向うものとする。感度係数（ｋｘ，ｋｙ）は、ＣＣＤカメラ２０１の画素サイズや画角と、操作対象であるＰＤＰパネル１０１のサイズとの関係、すなわち双方の座標変換を行うための補正係数である。また検出面積Ｓ−０．５の項は、ＣＣＤカメラ２０１からＰＤＰパネル１０１までの距離に比例し、これにより撮影倍率の補正を行う。
【００２９】
さらに感度係数（ｋｘ，ｋｙ）は、ポインタ１５０の移動速度も考慮して設定することができる。感度係数を大きくすれば、ポインタは高速に移動してコントローラの動きに俊敏に反応する。逆に感度係数を小さくすれば、ポインタは低速に移動して抑制された動きとなる。
【００３０】
算出した移動ベクトル（ｄｘ，ｄｙ）は、赤外線発光部２０２から、ポインタの移動指示信号としてデジタルテレビ１００に送信される。デジタルテレビ側のＣＰＵ１２０は、受信した移動ベクトル（ｄｘ，ｄｙ）を、現在のポインタ１５０の表示座標（Ｘ，Ｙ）に加算して新たな表示位置を決定する。
【００３１】
図４のコントローラ２００の構成については、さらに説明を補足する。
移動ベクトルの計算に用いる感度係数（ｋｘ，ｋｙ）は、ユーザが入力したＰＤＰ画面の大きさ、カメラの画角等のパラメータにより、自動的に計算されるようにしても良い。あるいは、初めにモニタ上に表示した基準画面を撮影すると、その画像から自動的にパラメータを算出するようなキャリブレーション機能を持たせても良い。
【００３２】
ＬＣＤ画面２１９には、フレームバッファ２２０中の最新の撮影画像を表示するのが良い。またＣＰＵ２５０は、ＯＳＤ表示部２２２を用いて画面の中心に「照準マーク」の画像を作成し、画像合成部２２４にて重ねて表示する。これにより、ユーザはＬＣＤ画面２１９に表示される「照準マーク」を手掛かりに所望位置を一致させることで、より正確に移動先位置を指定することができる。
【００３３】
上記説明では所望位置を指定する際、カメラの視野中心、すなわちＬＣＤ画面２１９の中心位置に一致させるものとしたが、これに限定されない。操作のし易さから、目標位置を画面中心からずらしても良く、その場合は、上記座標（ｘ０，ｙ０）や上記照準マークは、ずらした位置に設定すれば良い。
【００３４】
また、本実施例のコントローラでは、移動ベクトルを計算するためには撮影画面内にポインタ１５０が含まれなければならない。もし画面内にポインタが存在しない場合は、ユーザは、ＣＣＤカメラ２０１の視線方向を変えてポインタを捕捉せねばならない。ポインタを捕捉できたか否かは、ユーザが画面を見て確認しても良いが、ＣＰＵ２５０により、ポインタの検出面積Ｓが０から有意の値に変化したことで自動的に判定できる。そしてポインタを捕捉したとき、例えばバイブレータ２２３を振動させてユーザに捕捉できたことを通報する。通報手段はバイブレータに限らず、ビープ音や、ＬＣＤ画面のフラッシュ表示でも良い。
【００３５】
また、コントローラ２００からデジタルテレビ１００へのユーザ操作信号の伝送には、赤外線信号の他に、ＩＥＥＥ８０２．１１ｇやＢｌｕｅｔｏｏｔｈのような無線ＬＡＮを用いることができる。その場合には、逆に、デジタルテレビ１００からコントローラ２００に対しても信号を伝送できるので、例えばＰＤＰパネル１０１の大きさや画素サイズなどの感度係数（ｋｘ，ｋｙ）に関連するパラメータを自動的に通知することもできる。さらに、ポインタ１５０の点滅周期や、ＰＤＰパネル１０１の表示フレームレートの同期信号をリアルタイムで通知することにより、これらの同期信号を用いてバンドパスフィルタ２５１の特性を設定することができる。
【００３６】
また、バンドパスフィルタ２５１、重心検出処理２５２、および移動量決定処理２５３は、ＣＰＵ２５０によるソフトウェア処理ではなく、専用のハードウェアを使って実現するように構成しても良い。
【００３７】
図５は、コントローラ２００のＬＣＤ画面２１９の撮影画像の一例を示す図であり、これを用いてユーザの操作方法を説明する。ここでは、図１のＰＤＰパネル１０１上のポインタ１５０を、現在位置（黒矢印で示す）から所望の位置（符号１９２で示す）へ移動させる。
【００３８】
ユーザは、コントローラ２００を手に持ち、ＣＣＤカメラ２０１でＰＤＰパネル１０１の画像を撮影する。するとＬＣＤ画面２１９には、図５（ａ）のように、ＰＤＰパネル１０１の画像の一部（図１の領域１９３で示す範囲）と、ポインタ１５０が表示される。この場合の倍率は任意で良いが、画面内にポインタ１５０が含まれるように調整する。そして、ＣＣＤカメラ２０１の視線方向を動かし、ＰＤＰパネル１０１上の所望の位置１９２を狙う。すなわち、図５（ａ）のように、ＬＣＤ画面２１９の撮影座標軸１９１の中心（ｘ＝０，ｙ＝０）が、表示画像の所望の位置１９２に重なるようにする。
【００３９】
するとコントローラ２００内のＣＰＵ２５０は、撮影した画像を解析して、ポインタの移動ベクトル（ｄｘ，ｄｙ）１９５を算出して、赤外線発光部２０２からデジタルテレビ１００に向けてポインタの移動指示信号を送出する。ここではコントローラ２００が動作中は移動指示信号を常時送信するものとしたが、別途送信ボタンを設けて、ユーザがボタンを押したタイミングで送信するようにしても良い。
【００４０】
デジタルテレビ１００は受信した移動指示信号に従い、ＰＤＰパネル１０１上のポインタ１５０の位置を移動して表示する。その結果これを撮影したＬＣＤ画面２１９では、図５（ｃ）のように、ポインタ１５０が画面の中心に表示され、ポインタがユーザの所望位置１９２まで移動できたことを示す。
【００４１】
しかしながら、上記した１回の移動操作だけでポインタが所望位置に移動できるとは限らない。例えば、図５（ｂ）のように、ポインタが目標位置へ到達せず、途中に留まったり方向がずれることがある。これは、感度係数（ｋｘ，ｋｙ）の設定値や、コントローラの姿勢（水平度）の誤差に伴うものである。あるいは、操作性を考慮し、感度係数（ｋｘ，ｋｙ）を故意に小さめに設定した場合である。この場合は、目標位置までの残りの移動ベクトル（ｄｘ’，ｄｙ’）を再度算出し、移動操作を繰り返し実行する。そして最終的には図５（ｃ）の状態とする。この状態では、移動ベクトル（ｄｘ，ｄｙ）は（０，０）であり、これでポインタの移動操作は終了する。
【００４２】
ユーザはコントローラを操作する際、ＰＤＰパネル１０１の画面またはコントローラ２００の画面の何れを見ながら操作しても良い。始めはコントローラの照準マークを頼りに操作するのが良いが、ポインタの動きに慣れればＰＤＰパネルの画面を見るだけで操作ができる。このようにして、ユーザは従来のリモコンのように、空間内で自由にコントローラを操作することで、ＰＤＰパネル画面上のポインタを所望の位置へ移動することができる。
【００４３】
図６は、本発明によるポインタ指示位置制御方法の一実施例を示すフローチャートである。ここではポインタの位置を移動するための、ディスプレイシステム全体（デジタルテレビ１００、コントローラ２００）とユーザの行う一連の処理を示す。以下の説明では、デジタルテレビ１００の表示画面上の座標は大文字（Ｘ，Ｙ）で表記し、コントローラ２００のカメラ２０１で撮影された画像内の座標は小文字（ｘ，ｙ）で表記する。
【００４４】
ステップＳ６０１で、デジタルテレビ１００はポインタを画面座標（Ｘ，Ｙ）に表示する。ステップＳ６０２では、ユーザはポインタが所望の位置（Ｘｕ，Ｙｕ）に表示されているか否かを判断する。ここではまだ所望の位置にないので、ステップＳ６０３に進み、ユーザはカメラ２０１の視線を所望の位置（Ｘｕ，Ｙｕ）と一致するようにコントローラ２００の方向を調整する。
【００４５】
次にステップＳ６０４からＳ６０９にて、図４で述べたコントローラ２００内部の処理を行う。ステップＳ６０４でデジタルテレビ１００の画面を撮影し、ステップＳ６０５でバンドパスフィルタ処理によって、ポインタの点滅周期（例えば５Ｈｚ）の成分だけを抽出する。ステップＳ６０６で、抽出されたポインタの画像の重心座標（ｘｇ，ｙｇ）と面積Ｓを求め、ステップＳ６０７で（１）式から移動ベクトル（ｄｘ，ｄｙ）を計算する。ステップＳ６０８では、移動ベクトル（ｄｘ，ｄｙ）の長さ（絶対値）を調べる。
【００４６】
移動ベクトルの長さがゼロでなければ、ステップＳ６０９で、その移動ベクトルの情報をポインタ移動コマンドとして赤外線でデジタルテレビへ送信する。移動ベクトルの長さがゼロであれば、コントローラ２００（カメラ２０１）の視線がポインタの現在位置（Ｘ，Ｙ）と一致しているので、ポインタの移動操作は行わずにステップ６０２に戻る。ここで移動ベクトルの長さがゼロというのは、完全なゼロではなく、表示画面や撮影画面の分解能や、計算過程から生じる誤差を含むものとする。
【００４７】
ステップＳ６１０〜Ｓ６１２にて、デジタルテレビ１００側の処理を行う。ステップＳ６１０では、コントローラから送られた赤外線コマンドを受信し、ステップＳ６１１でコマンドの内容を判定する。コマンドがポインタの移動コマンドであれば、ステップＳ６１２に進み、受信した移動ベクトルを加算してポインタの座標を（Ｘ’，Ｙ’）に更新する。そしてステップＳ６０１に戻り、更新した新たな座標（Ｘ’，Ｙ’）にポインタを表示する。
【００４８】
ユーザはステップＳ６０２にて、新たなポインタ位置（Ｘ’，Ｙ’）が所望の位置（Ｘｕ，Ｙｕ）に一致しているかを判断する。もし所望の位置になければ、上記したステップＳ６０３からＳ６１２の移動操作処理を繰り返すことにより、ポインタの座標（Ｘ，Ｙ）をユーザの所望の座標（Ｘｕ，Ｙｕ）と一致させる。
【００４９】
ポインタが所望の位置に移動したら、ユーザはステップＳ６１３に進み、ポインタの指示位置を決定する決定ボタン２１１を押下する。コントローラ２００はステップＳ６１４で決定ボタン２１１の押下を検出すると、ステップＳ６０９でそれを決定コマンドとして赤外線で送信する。
【００５０】
デジタルテレビ１００では、ステップＳ６１０で決定コマンドを受信し、ステップＳ６１１でそれを判定する。そしてステップＳ６１５に進み、ポインタの座標（Ｘ，Ｙ）に表示されているアイテムの処理を実行する。この処理は、例えば、その座標に表示されている番組ガイドの予約登録を行う処理などである。この処理が終了したら、ステップＳ６０１に戻って、ユーザからの新たな操作を待つ。
【００５１】
本実施例によれば、画面上に表示されるポインタそのものを検出してその位置を移動させるものであるから、画面上に他に特別なマーク等を表示する必要がなく、違和感が無く自然で見やすい画面表示のまま操作できる。
【００５２】
また、ディスプレイ装置の走査方式の制約を受けないので、ＰＤＰやＬＣＤにも広く適用できる。その際、画面上のポインタだけを点滅させるので、長時間画面を凝視してもユーザの目に負担を掛けることがない。
【００５３】
また、コントローラは、画面上の点滅するポインタを検出するために、所定の周期のフィルタ処理機能を有する簡単で安価な構成で実現できる。コントローラは専用の装置としてではなく、例えばカメラ付き携帯電話にソフトウェアを格納することでも実現できる。
【００５４】
本実施例のコントローラは、テレビ画面を操作するリモコンに限らず、例えばプロジェクタの投影画面などディスプレイシステム全般に対する汎用のポインティングデバイスとして広く適用できる。
【図面の簡単な説明】
【００５５】
【図１】本発明によるディスプレイシステムの一実施例を示す外観図。
【図２】コントローラ（ポインティングデバイス）２００の一実施例を示す外観図。
【図３】デジタルテレビ１００の内部構成を示すブロック図。
【図４】コントローラ２００の内部構成を示すブロック図。
【図５】コントローラ２００の撮影画像の一例を示す図。
【図６】本発明によるポインタ指示位置制御方法の一実施例を示すフローチャート。
【符号の説明】
【００５６】
１００…デジタルテレビ、１０１…ＰＤＰパネル、１０２…スピーカ、１０３…赤外線受光部、１１３…デマルチプレクサ、１１４，１１５…デコーダ、１１６…ＯＳＤ表示部、１１７…画像合成部、１２０…ＣＰＵ、１５０…ポインタ、１９１…撮影座標軸、１９２…所望の位置、１９３…撮影範囲、１９５…移動ベクトル、２００…コントローラ（ポインティングデバイス）、２０１…ＣＣＤカメラ、２０２…赤外線発光部、２１９…ＬＣＤ画面、２２０…フレームバッファ、２２２…ＯＳＤ表示部、２２３…バイブレータ、２２４…画像合成部、２５０…ＣＰＵ、２５１…デジタルフィルタ、２５２…重心検出処理、２５３…移動量決定処理。
【図１】
2007193403.tif 000003
【図２】
2007193403.tif 000004
【図３】
2007193403.tif 000005
【図４】
2007193403.tif 000006
【図５】
2007193403.tif 000007
【図６】
2007193403.tif 000008