(57)【要約】【課題】映像表示装置の表示面や映像を投射するスクリーンなどの対象面内の座標を選択する操作を容易にしつつ、設定した任意の表示装置上の座標指示を可能にする。【解決手段】リモコン２などの指示部に少なくとも直線上に３点以上配置しない４点以上に発光部を配置し、撮像部３によって発光部の像を検出し、撮像された発光部の像の配置から指示部を認識し、発光部の像間の距離と角度から指示部の向きと位置を検出して、指示部の向きと位置から設定された対象面と交差する点５を算出する。また、指示部を使用して対称面座標4角を複数回指示することにより、任意の位置の表示装置の位置を設定する。【選択図】図１
2007213197.tif 000002
【特許請求の範囲】
【請求項１】
映像表示装置の表示面や映像を投射するスクリーンなどの対象面内の座標を指定する装置であって、前期対象面に向かって座標を指示する指示部と前記指示部と対向して前記指示部を検出する撮像部を設け、前記指示部には撮像部にて検出可能な光を発光する発光部を前記指示部の向きが演算できるように少なくとも直線上に３点以上配置しない４点以上に前記発光部を配置し、前記撮像部によって前記指示部に備えられた少なくとも４点の前記発光部の像を検出し、前記発光部の像間の距離と角度から指示部認識手段によって前記指示部の向きと位置を検出し、前記指示部の向きと位置から前記指示部の延長線上の前記対象面と交差する点、すなわち前記対象面内の座標を算出する対象面内座標算出手段を持つことを特徴とする座標指定装置。
【請求項２】
前記発光部によって赤外線を発光し、前記撮像部で赤外線のみ検出するように赤外線フィルター手段を備え、前記発光部による発光することを特徴とする。請求項１記載の座標指定装置。
【請求項３】
前記発光部による光を変調させる変調手段を備え、前記発光部から変調光を発光し、前記撮像部で検出した前記発光部の像が前記変調光と特性と合致していることを判断する変調光検出手段を備え、前記発光部による発光を識別することを特徴とする、請求項１記載の座標指定装置。
【請求項４】
前記指示部に、前記発光部の発光指示ボタンを設け、発光指示ボタンを押下したときのみ発光することを特徴とする。請求項１記載の座標指定装置。
【請求項５】
前記発光部による光を変調させる変調手段を備え、前記発光部から変調光を発光し、前記撮像部以外に、前記発光部による前記変調光を検出する変調光検出部を備え、撮像部とは別の手段で前記発光部による発光信号を検出する事により、発光区間を別手段で検出することを特徴とする請求項４記載の座標指定装置。
【請求項６】
前記対象面内座標算出手段内の前記対象面の位置と大きさを、任意に設定することが可能な事を特徴とする請求項１記載の座標指定装置。
【請求項７】
前記対象面内座標算出手段内の前記対象面の位置と大きさを、複数回前記指示部で指示することで、指示された位置と方向から、前記対象面の位置と大きさを検出し、任意に設定することが可能な事を特徴とする請求項１記載の座標指定装置。
【請求項８】
前記対象面内座標算出手段内の前記対象面の位置と大きさを、前記指示部で画面内の４角のうち２カ所を、少なくとも２カ所で指示することで対象面のＺ位置と二つの角の位置を設定し、残りの２つの角を指示する事で、対象面の位置と大きさを設定する事を特徴とする請求項７記載の座標指定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発光体を使用した指示端末と撮像装置を使用して、ディスプレイ装置に表示された映像やスクリーンに投影された映像などの座標検出対象上で指示端末が指示した座標を検出する方法に関する。
【背景技術】
【０００２】
従来、ＴＶ受信機でデータ放送を受信し、データ放送アプリケーション内で、画面上のボタンを押下する場合、必要な回数分リモコン（リモートコントローラー）のカーソル移動キーを押下して、ボタン選択を移動してリモコンの決定キーを押すなどの、一つの画面上のボタンを押すだけでも複数回のリモコンのキーによる操作を行っている。
一方、ＴＶ受信機を含むディスプレイ装置で表示されている画面内の座標を指定する場合、ＰＣ（パーソナルコンピューター）ではマウスやトラックボールが主に使用されており、ゲーム機ではテレビジョン受信機の走査線をフォトセンサにて検出するペン型やピストル型の検出器を用いて座標検出している。また、プロジェクターによってスクリーンに投影された映像では、レーザーポインターによって照射された点を撮像素子にて座標検出行う方法や、テレビジョン受信機のような表示装置では、特開２００４−０２３２２０、特開平０８−１３０７７９などの様に複数の受信センサーを用いてリモコン送信機による座標指示を行う方法がある（例えば、特許文献１，２，３参照。）。
【特許文献１】特開２００４−０２３２２０号公報
【特許文献２】特開平０８−１３０７７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前述の通り、リモコンのカーソル移動キーによる方法では、何回もキー操作が必要であり操作が煩雑である。フォトセンサによって走査線を検出する方法は、液晶パネルやプラズマディスプレイパネル、液晶や光変調素子を使用したプロジェクター等の様に走査線が存在しない場合には使用は出来ない。レーザーポインターによる照射光の検出は、照射対象が適切でないと機能しないまた、直視すると目に危害が及ぶ可能性のあるレーザーポインターは一般家庭での使用は問題がある。マウスやトラックボールは直接座標を指定しないため煩雑で、さらに繊細な操作が必要でもあり、一般家庭で子供やお年寄りによる操作は不向きである。また、特開２００４−０２３２２０、特開平０８−１３０７７９などの様に複数の受信センサーを用いた方法では、リモコンの方向が特定できない方法や、リモコンによる受信センサーに対する照射角と信号強度から指示座標を推測により算出するため、例えば図５のようにテレビジョン受信機５１がテーブル５７のように反射する物体の上に置かれた場合、センサー５３とセンサー５５は反射光が入らないが、センサー５４とセンサー５６はテーブル５７からの反射光５８が入射し、信号強度に影響し誤検出が発生する。
【課題を解決するための手段】
【０００４】
前記従来の課題を解決するため、請求項１の座標指定装置は、リモコンに相当する指示部と指示部を検出する撮像部を設け、指示部には撮像部にて指示部の方向が検出可能ように少なくとも直線上に３つ以上配置しない４点に発光部を配置し、撮像部によって指示部に備えられた少なくとも４点の発光部を検出し、発光部の像間の距離と角度からパターン認識処理によって指示部の向きと位置を検出し、指示部の向きと位置から指示部の延長線上の対象面である表示装置やスクリーンやテレビジョン受信機の画面などと交差する点、すなわち対象面の座標を算出する。
【０００５】
請求項２の座標指定装置は、発光部の出力信号を可視光ではない赤外線とし表示装置やテレビジョン受信機の画面への写り込みの防止や、スクリーン投射時に影響を与えないようにし、また撮像部に赤外線フィルターを装着し赤外線のみを検出することで、誤検出を低減する。
【０００６】
請求項３の座標指定装置は、発光部の信号をパルス変調し、撮像部にて発光部は変調パターン従って発光部の像が出現するため、出現パターンが変調パターンと一致する発光部の像を検出することで、誤検出を低減する。
【０００７】
請求項４の座標指定装置は、指示部に座標指定ボタンを設け、座標指定ボタンを押下したときのみ発光部より出力することで、出力に必要な電力の使用を必要なときのみに限定し、消費電力の低減を図ると共に、座標指定が必要な時のみ座標指定を行うことで、使い勝手を向上している。
【０００８】
請求項５の座標指定装置は、撮像部位外で前記発光部から信号が出力されていることを検出することで、座標指定ボタンを押下していないときに誤検出することを防止する。
【０００９】
請求項６の座標指定装置は、対象面の座標を任意に変更または設定することで、任意の対象面の座標指定を行うようにできるものであり、例えばプロジェクターによって投射する場合には、図４の様に撮像部であるＣＣＤカメラ４３とスクリーン４２を任意の位置に配置することが出来る。
【００１０】
請求項７の座標指定装置は、指示部を使用して、対象面の座標を設定することで、任意の対象面の座標指定を行うようにできるものである。
請求項８の座標指定装置は、指示部を用いた対象面の座標を６回の座標指定による設定で、任意の対象面の座標指定を行うようにできるものである。
【発明の効果】
【００１１】
以上のように、本発明の座標指定装置によれば、表示装置や、テレビジョン受信機、プロジェクターで投影されたスクリーン映像などで、座標指定を行うことができ、画面内のボタンの選択や押下などの操作が容易に行うことが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下に、本発明の実施の形態について図面を使用しながら説明する。
【００１３】
（実施の形態１）
図１は本発明をテレビジョン受信機のリモートコントロールシステムと組み合わせた場合の使用例であり、図２はそのリモコン２を拡大した図であり、図３はテレビジョン受信機のブロック図である。テレビジョン受信機１には撮像部であるＣＣＤカメラ３と赤外線信号を受信する赤外線受信部４を備える。
【００１４】
指示部であるリモコン２より、使用者が操作ボタンを押下すると、ＬＥＤ２２、ＬＥＤ２３、ＬＥＤ２４、ＬＥＤ２５、ＬＥＤ２６、ＬＥＤ２７によって操作コードで変調された赤外線を発する。ＬＥＤ２６とＬＥＤ２７は対象面に非常に近づいた場合、ＬＥＤ２２とＬＥＤ２３、ＬＥＤ２４とＬＥＤ２５がＣＣＤカメラ３で撮影した映像内で接近し、区別が困難となり認識が出来なくなるため、より認識可能範囲を広げるために配置した。各ＬＥＤで発せられた赤外線は、赤外線受信部４で受信する。以下、図３のブロック図の様に赤外線フィルター３８を通過した信号は、赤外線受信部３２で受信され、操作コード認識処理部３４により操作コードが識別される。識別された操作コードにより、テレビジョン受信機がテレビジョン受信機制御部３５により制御される。例えば、チャンネル選択であった場合、指定されたチャンネル番号に選局される処理を行うことになる。次に、座標を指示する場合、座標指定ボタン２８を押下する、すると、操作コードとして座標選択の指示を意味する座標選択操作コードで変調された赤外線が発せられる。この場合は後述の座標検出処理のため、各ＬＥＤがＣＣＤカメラ３で撮影できるように、送信後操作コード認識処理から撮影終了までの遅延も考慮し、赤外線を変調せずに出力し続ける。操作コードは、前述のチャンネル選択時と同様に、赤外線フィルター３８を通過後、赤外線受信部３２で受信し、操作コード認識処理部３４で座標選択コードが認識される。座標選択コードが認識された場合、ＣＣＤカメラ３より撮像された映像を、リモコン認識処理部３６へ送られる。リモコン認識処理部３６では、図２での３次元のＬＥＤ配置がプリセットされており、撮像された映像の中にプリセットされたＬＥＤ配置を平面に投影した配置と相似になる点光源の配置を検出する。検出できた場合、その検出位置と大きさによりリモコン位置角θ１１とリモコン位置角φ１２、リモコンまでの距離１５が検出でき、検出したＬＥＤ配置の向きによりリモコン向き角ω１３とリモコン向き角ρ１４が検出できる。次に、検出された距離と角度は、対象面内座標算出部３７へ送られる。対象面内座標算出部３７では、リモコンまでの距離１５とリモコン位置角θ、リモコン位置角φから三角関数を用いて、リモコン座標Ｘ８，リモコン座標Ｙ９、リモコン座標Ｚ１０を算出し、リモコン座標Ｘ８とリモコン座標Ｚ１０、リモコン向き角ω、リモコン向き角ρから三角関数によってリモコン位置から指定座標５までの相対座標Ｘ１６と指定座標５までの相対座標Ｙ１７を算出する。相対座標Ｘ１６と相対座標Ｙ１７にリモコン座標Ｘ８とリモコン座標Ｙ９を加算することにより、指定座標Ｘ６と指定座標Ｙ７を算出する。算出された指定座標５は、テレビジョン受信機制御部３５によって、例えば、座標位置に画面上のボタンがあればそのボタンが選択されたとして、ボタンを選択状態にするなどの処理に利用される。
【００１５】
（実施の形態２）
図４は、ＰＣ４３がプロジェクター４１に接続されスクリーン４２に投射された映像の座標を指定する場合の実施例である。この場合、まず対象面であるスクリーン４２の位置と大きさを特定する必要がある。そのために、まず、スクリーン上の左上を指定する事を表す様に指定点４６を表示する。表示に従いリモコンを任意の位置、例えばリモコン４４の位置で指定点４６を指示し、座標指定ボタン２８を押下する。これを、ＣＣＤカメラ４３で撮影し、ＰＣ４３内のソフトウエアにより実施の形態１と同様にリモコンの位置と向きを検出しそれぞれ記憶する。次に、リモコン４４とは異なる位置、例えばリモコン４５の位置で同様に指定点４６を指示し、座標指定ボタンを押下する。これを、リモコン４４と同様にＣＣＤカメラ４３で撮影し、ＰＣ４３内のソフトウエアにより、リモコン４５の位置と向きを検出し記憶する。これら、記憶されたリモコン４４とリモコン４５の位置と向きの延長線上の交点から、対象面の左上の点を確定することが出来る。続いて、右下にも指定点４７を表示して、左上と同様に２回指定することで、リモコンの位置と向きから延長線上の交点を算出し、対象面の右下を確定する。これで、対象面のＺ位置が確定するため、右上、左下の点を１回ずつ指定することで、対象面の４角全ての座標が確定する。
対象面の４角全てが確定すると、実施の形態１と同様に、リモコンより座標指定することで画面上のボタンを選択するなど、ＰＣアプリケーションの操作を行うことが出来る。
【００１６】
なお、実施の形態２はＰＣとプロジェクターを例としたが、例えばＤＶＤプレイヤーなどの映像再生装置に本発明の座標指定装置の機能を備えることは可能である。
【産業上の利用可能性】
【００１７】
本発明にかかる座標指定装置は、テレビジョン受信機や映像再生装置、パーソナルコンピューターなど、画面に表示された映像に基づき操作を行う装置での画面内の座標指定方法に関する。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態１におけるリモコン位置と向きから対象面内座標算出を説明する概略図
【図２】本発明の実施の形態１、２におけるリモコン操作を説明するためのリモコン概略図
【図３】本発明の実施の形態１におけるテレビジョン受信機の構成を説明するためのブロック図
【図４】本発明の実施の形態２における対象面となるスクリーン座標の指定を説明するための概略図
【図５】従来の技術による問題点を説明するための概念図
【符号の説明】
【００１９】
１    テレビジョン受信機
２    リモコン
３    ＣＣＤカメラ
４    赤外線受信部
５    指定座標
６    指定座標Ｘ
７    指定座標Ｙ
８    リモコン位置Ｘ
９    リモコン位置Ｙ
１０    リモコン位置Ｚ
１１    リモコン位置角θ
１２    リモコン位置角φ
１３    リモコン向き角ω
１４    リモコン向き角ρ
１５    リモコンまでの距離
１６    指定座標５までの相対座標Ｘ
１７    指定座標５までの相対座標Ｙ
２１    リモコン
２２，２３，２４，２５，２６，２７    ＬＥＤ
２８    座標指定ボタン
３１    テレビジョン受信機
３２    赤外線受信部
３３    ＣＣＤカメラ
３４    操作コード認識処理部
３５    テレビジョン受信機制御部
３６    リモコン認識処理部
３７    対象面内座標算出部
４１    プロジェクター
４２    スクリーン
４３    パーソナルコンピューター（ＰＣ）
４４    任意の位置のリモコン
４５    ４４以外の場所のリモコン
４６    左上指示表示
４７    右下指示表示
５１    テレビジョン受信機
５２    リモコン
５３    センサー
５４    センサー
５５    センサー
５６    センサー
５７    テーブル
５８    テーブルからの反射
【図１】
2007213197.tif 000003
【図２】
2007213197.tif 000004
【図３】
2007213197.tif 000005
【図４】
2007213197.tif 000006
【図５】
2007213197.tif 000007