(57)【要約】【課題】種々のディスプレイに対するユーザ遠隔操作に応じた指定点の座標を検出するためのポインティングデバイスであって、ポインタ側で複雑なハードウエア構成を必要とすることなく、安価で且つ操作性の非常に良好なポインティングデバイスを提供する。【解決手段】ポインタ１４に前後配置した発光素子１５，１６をそれぞれ設定された異なる点滅パターンで駆動制御する。ディスプレイ１１の左右に設けたカメラ１２，１３によってポインタ１４の前後発光点を含む画像を撮影する。左右カメラ１２，１３の各撮影画像に含まれるポインタ前後発光点Ｐ1，Ｐ2をそれぞれ異なる点滅パターンに基づき認識すると共にカメラやディスプレイからの発光点Ｐ1，Ｐ2の方向（角度）・距離を三角法により解析演算してその空間座標Ｐ1(x1,y1,z1)，Ｐ2(x2,y2,z2)を検出し、座標Ｐ1，Ｐ2を結ぶ延長線とディスプレイ面の交点をポインティング座標Ｐ0(x0,y0)として演算検出する。【選択図】図１
2007066080.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ装置と、このディスプレイ装置のディスプレイ上の任意の位置を指定するポインタとを有してなるポインティングデバイスであって、
前記ポインタは、前記ディスプレイを指定する方向に沿い相前後して配置された前発光素子と後発光素子とを備え、
前記ディスプレイ装置は、
ディスプレイの左右にそれぞれ固定され当該ディスプレイに面した方向を撮影する複数のカメラと、
この複数のカメラによりそれぞれ撮影された画像の中から前記ポインタの前発光素子と後発光素子による各発光点を認識する前後発光点認識手段と、
この前後発光点認識手段により認識された撮影画像上の２つの発光点にそれぞれ対応した前発光素子と後発光素子の当該ディスプレイ装置に対する空間座標を算出する空間座標算出手段と、
この空間座標算出手段により算出された前記ポインタにおける前後発光素子それぞれの空間座標に基づきディスプレイ上の指定点の座標を算出する指定点座標算出手段とを備えた、
ことを特徴とするポインティングデバイス。
【請求項２】
前記ポインタは、前記前発光素子と後発光素子をそれぞれ異なる点滅パターンによって発光駆動する発光駆動制御手段をさらに備え、
前記ディスプレイ装置の前後発光点認識手段は、複数のカメラによりそれぞれ撮影された画像の中から前記異なる点滅パターンに対応した画像ドットを検出して前発光素子と後発光素子による各発光点を認識する、
ことを特徴とする請求項１に記載のポインティングデバイス。
【請求項３】
前記空間座標算出手段は、前記前後発光点認識手段により認識された撮影画像上の２つの発光点にそれぞれ対応した前発光素子と後発光素子の空間座標を前記カメラおよびディスプレイの固定位置に基づいた三角法によって算出することを特徴とする請求項１または請求項２に記載のポインティングデバイス。
【請求項４】
前記ポインタは、
ユーザによって操作され複数種類のコマンドを入力する操作入力手段をさらに備え、
前記発光駆動制御手段は、前記前発光素子と後発光素子をそれぞれ異なる点滅パターンによって発光駆動すると共に、一方の発光素子の点滅パターンを前記操作入力手段により入力されたコマンドに対応した点滅パターンに制御し、
前記ディスプレイ装置は、
前後発光点認識手段により認識された撮影画像上の一方の発光点の点滅パターンに対応して前記ユーザ入力されたコマンドを認識するコマンド認識手段をさらに備えた、
ことを特徴とする請求項２または請求項３に記載のポインティングデバイス。
【請求項５】
前記ポインタの前発光素子は、当該ポインタ筐体の先端開口部に面して配置され、後発光素子は、前記前発光素子の直後に遮光板を介在して連続配置され、当該後発光素子の発光点はポインタ筐体内のさらに後方に設けたミラーによって反射され、前記先端開口部を通して前記ディスプレイ装置のカメラに撮影されることを特徴とする請求項１ないし請求項４の何れか１項に記載のポインティングデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、種々のディスプレイに対するユーザ遠隔操作に応じた指定点の座標を検出するためのポインティングデバイスに関する。
【背景技術】
【０００２】
近年、テレビジョン受像機の画面サイズは大型化の一途を辿っており、また双方向デジタル地上波テレビ放送やインターネットの普及により、ユーザがテレビディスプレイにて表示された画像上の所望の点（位置や場所）を指定して操作することが行われるようになっている。
【０００３】
そして従来、ディスプレイに表示された画像上の任意の点を指定して明示させるレーザポインタと当該レーザポインタによる明示点を含んだ表示画像を撮影するカメラを備え、この撮影画像を解析することによりディスプレイ上でのレーザポインタの指示位置（座標）を検出し、この検出された指示位置の座標情報をディスプレイ側に送信通知することにより、ポインタ指示操作に応じたデータ選択処理や画像処理などを実行可能としたポインティングデバイスが考えられている（例えば、特許文献１参照。）。
【特許文献１】特開２００１−２３６１８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記従来のポインティングデバイスは、ポインタ側にて当該ポインタに加えて、ディスプレイ画像を撮影するためのカメラと、画像解析用および指示位置座標検出用のＣＰＵなどによるコンピュータ処理部と、座標情報送信用のＲＦ送信処理部とを備える必要があるため、一般に片手で把持して操作するポインタ本体以外に前記カメラやコンピュータ処理部などを収容する装置筐体が必要になり、例えばテレビのリモコンのような手軽な感覚で取り扱いできないばかりか、このデバイス一つ一つが高価になり一般的普及の妨げになる問題がある。
【０００５】
本発明は、このような課題に鑑みなされたもので、ポインタ側で複雑なハードウエア構成を必要とすることなく、安価で且つ操作性の非常に良好なポインティングデバイスを提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載のポインティングデバイスは、ディスプレイ装置と、このディスプレイ装置のディスプレイ上の任意の位置を指定するポインタとを有してなるポインティングデバイスであって、前記ポインタは、前記ディスプレイを指定する方向に沿い相前後して配置された前発光素子と後発光素子とを備え、前記ディスプレイ装置は、ディスプレイの左右にそれぞれ固定され当該ディスプレイに面した方向を撮影する複数のカメラと、この複数のカメラによりそれぞれ撮影された画像の中から前記ポインタの前発光素子と後発光素子による各発光点を認識する前後発光点認識手段と、この前後発光点認識手段により認識された撮影画像上の２つの発光点にそれぞれ対応した前発光素子と後発光素子の当該ディスプレイ装置に対する空間座標を算出する空間座標算出手段と、この空間座標算出手段により算出された前記ポインタにおける前後発光素子それぞれの空間座標に基づきディスプレイ上の指定点の座標を算出する指定点座標算出手段とを備えたことを特徴としている。
【０００７】
請求項２に記載のポインティングデバイスは、前記請求項１に記載のポインティングデバイスにおいて、前記ポインタは、前記前発光素子と後発光素子をそれぞれ異なる点滅パターンによって発光駆動する発光駆動制御手段をさらに備え、前記ディスプレイ装置の前後発光点認識手段は、複数のカメラによりそれぞれ撮影された画像の中から前記異なる点滅パターンに対応した画像ドットを検出して前発光素子と後発光素子による各発光点を認識することを特徴としている。
【０００８】
請求項３に記載のポインティングデバイスは、前記請求項１または請求項２に記載のポインティングデバイスにおいて、前記空間座標算出手段は、前記前後発光点認識手段により認識された撮影画像上の２つの発光点にそれぞれ対応した前発光素子と後発光素子の空間座標を前記カメラおよびディスプレイの固定位置に基づいた三角法によって算出することを特徴としている。
【０００９】
請求項４に記載のポインティングデバイスは、前記請求項２または請求項３に記載のポインティングデバイスにおいて、前記ポインタは、ユーザによって操作され複数種類のコマンドを入力する操作入力手段をさらに備え、前記発光駆動制御手段は、前記前発光素子と後発光素子をそれぞれ異なる点滅パターンによって発光駆動すると共に、一方の発光素子の点滅パターンを前記操作入力手段により入力されたコマンドに対応した点滅パターンに制御し、前記ディスプレイ装置は、前後発光点認識手段により認識された撮影画像上の一方の発光点の点滅パターンに対応して前記ユーザ入力されたコマンドを認識するコマンド認識手段をさらに備えたことを特徴としている。
【００１０】
請求項５に記載のポインティングデバイスは、前記請求項１ないし請求項４の何れか１項に記載のポインティングデバイスにおいて、前記ポインタの前発光素子は、当該ポインタ筐体の先端開口部に面して配置され、後発光素子は、前記前発光素子の直後に遮光板を介在して連続配置され、当該後発光素子の発光点はポインタ筐体内のさらに後方に設けたミラーによって反射され、前記先端開口部を通して前記ディスプレイ装置のカメラに撮影されることを特徴としている。
【発明の効果】
【００１１】
本発明の請求項１に記載のポインティングデバイスによれば、ポインタによってディスプレイ装置のディスプレイ上の任意の位置を指定すると、ディスプレイ装置のディスプレイの左右にそれぞれ固定された複数のカメラによりそれぞれ撮影された画像の中から前記ポインタの前発光素子と後発光素子による各発光点が認識され、この認識された撮影画像上の２つの発光点にそれぞれ対応した前発光素子と後発光素子の当該ディスプレイ装置に対する空間座標が算出される。そして、この算出されたポインタにおける前後発光素子それぞれの空間座標に基づきディスプレイ上の指定点の座標が算出されるので、ポインタを非常に簡単で安価、扱いやすい構成とすることができるばかりでなく、ディスプレイ装置側でもハード的には複数のカメラを設けるだけで、ソフト的な演算処理によって指定点座標を求めることができ、安価で且つ操作性の非常に良好なポインティングデバイスを実現できる。
【００１２】
本発明の請求項２に記載のポインティングデバイスによれば、前記請求項１に記載のポインティングデバイスにおいて、ポインタの前発光素子と後発光素子をそれぞれ異なる点滅パターンによって発光駆動し、ディスプレイ装置では、複数のカメラによりそれぞれ撮影された画像の中から異なる点滅パターンに対応した画像ドットを検出して前発光素子と後発光素子による各発光点を認識するので、カメラにより撮影されたポインタの背景画像に関わらず当該ポインタの前後発光素子による各発光点を容易且つ確実に認識することができる。
【００１３】
本発明の請求項３に記載のポインティングデバイスによれば、前記請求項１または請求項２に記載のポインティングデバイスにおいて、ディスプレイ装置の前後発光点認識手段により認識された撮影画像上の２つの発光点にそれぞれ対応したポインタ前発光素子と後発光素子の空間座標を、カメラおよびディスプレイの固定位置に基づいた三角法によるソフト処理だけで容易に算出することができる。
【００１４】
本発明の請求項４に記載のポインティングデバイスによれば、前記請求項２または請求項３に記載のポインティングデバイスにおいて、ポインタの操作入力手段をユーザ操作して任意のコマンドを入力すると、一方の発光素子の点滅パターンが当該入力コマンドに対応した点滅パターンに制御されるので、ディスプレイ装置では、前後発光点認識手段により認識された撮影画像上の一方の発光点の点滅パターンに対応してユーザ入力されたコマンドを容易に認識することができる。
【００１５】
本発明の請求項５に記載のポインティングデバイスによれば、前記請求項１ないし請求項４の何れか１項に記載のポインティングデバイスにおいて、ポインタの前発光素子は、当該ポインタ筐体の先端開口部に面して配置され、後発光素子は、前発光素子の直後に遮光板を介在して連続配置され、当該後発光素子の発光点はポインタ筐体内のさらに後方に設けたミラーによって反射され、先端開口部を通してディスプレイ装置のカメラに撮影されるので、ポインタにおける発光機能部を筐体前半部に集中させることができ、小型で扱い易いポインタを実現できる。
【００１６】
よって、本発明によれば、ポインタ側で複雑なハードウエア構成を必要とすることなく、安価で且つ操作性の非常に良好なポインティングデバイスを提供できる。
【発明を実施するための最良の形態】
【００１７】
以下図面により本発明の実施の形態について説明する。
【００１８】
図１は、本発明の実施形態に係るポインティングデバイスの外観構成を示す図である。
【００１９】
このポインティングデバイスは、テレビジョン受像機や画像モニタなどとして使用されるディスプレイ装置１０と、このディスプレイ装置１０におけるディスプレイ１１上の任意の点（位置や場所）を指定するためのポインタ１４とを有する。
【００２０】
ポインタ１４はユーザが片手で把持できる大きさの長方体の筒状筐体を備え、その一端は先端開口部１４ａとなり、この先端開口部１４ａの中心から筒状筐体奥への直線上に前発光素子１５と後発光素子１６が内蔵配列して設けられる。
【００２１】
一方、ディスプレイ装置１０におけるディスプレイ１１の下端位置に対応した左右両側には、右カメラ１２と左カメラ１３が設けられ、各々のカメラ１２，１３によって前記ポインタ１４における前発光素子１５の発光点および後発光素子１６の発光点を含む画像が撮影される。
【００２２】
図２は、前記ポインティングデバイスにおいてポインタ１４に設けられた前後発光素子１５，１６とディスプレイ装置１０に設けられた左右カメラ１３，１２との関係を示す図である。
【００２３】
ポインタ１４における前発光素子１５は、前述したようにその先端開口部１４ａ直後の中心位置に対応して設けられ、この前発光素子１５から予め設定された間隔離間したポインタ後面１４ｂ直前の中心位置に対し後発光素子１６が設けられるもので、この際、前後発光素子１５，１６間の設定離間間隔は、ポインタ１４の先端開口部１４ａをディスプレイ１１の範囲に向けたあらゆる場合に、ディスプレイ装置１０の左右カメラ１３，１２に対し、後発光素子１６が前発光素子１５の陰に隠れることのない間隔とされる。
【００２４】
そして、ポインタ１４の筐体側板は、例えば透明板により構成され、左右カメラ１３，１２による後発光素子１６の発光点を含む画像は、この筐体側板を介しても撮影可能である。
【００２５】
図３は、前記ポインティングデバイスのポインタ１４における前後発光素子１５，１６の１周期（１フレーム）分の発光パターンの構成を示す図である。
【００２６】
ポインタ１４における前後発光素子１５，１６は、図示しないユーザによる操作入力に応じて前発光素子１５と後発光素子１６とで異なる１フレーム８ビットの点滅パターンによって発光駆動される。
【００２７】
後発光素子１６は、タイミングt1〜t6およびt8で消灯、タイミングt7のみで点灯とした毎フレーム固定の点滅パターンによって発光駆動され、また前発光素子１５は、タイミングt1，t6で点灯、タイミングt7，t8で消灯、タイミングt2〜t5で点灯／消灯を変化させた点滅パターンによって発光駆動される。
【００２８】
ここで、タイミングt1はスタートビットＳ、タイミングt2〜t4はデータビットＤ０〜Ｄ２、タイミングt5はパリティビットＰ、タイミングt6はストップビットＴ、タイミングt7はバックビットＱ、タイミングt8はオールクリアビットＲとして扱うもので、前発光素子１５におけるデータビットＤ０〜Ｄ２での点滅パターンを図示しないユーザによる操作入力に応じて変化させることにより、８種類のコマンド（例えば、図１５参照）を生成することができる。
【００２９】
なお、パリティビットＰは、フレーム全体のエラー検出に用い、エラーがあった場合にそのフレームを無効とする。
【００３０】
すなわち、このポインティングデバイスでは、後述にその詳細を説明するが、ディスプレイ装置１０におけるディスプレイ１１の左右に固定して設けた右カメラ１２，左カメラ１３によって、ポインタ１４における前後発光素子１５，１６の発光点を含むポインタ画像を撮影すると共に、当該撮影画像上にある各発光点をそのそれぞれの周期性のある点滅パターンの違いから認識し、このポインタ画像上の各発光点を三角法などで演算解析してディスプレイ１１の一端点を基準とするポインタ前後発光素子１５，１６それぞれの空間座標Ｐ1(x1,y1,z1)，Ｐ2(x2,y2,z2)を求める。そして、ポインタ１４における前後発光素子１５，１６それぞれの空間座標Ｐ1(x1,y1,z1)，Ｐ2(x2,y2,z2)から当該各座標Ｐ1，Ｐ2を結ぶ直線上のディスプレイ１１面との交点座標を算出し、ポインタ１４による指定点座標Ｐ0(x0,y0)を求めその指示点を表示する。
【００３１】
そして、前発光素子１５によるデータビットＤ０〜Ｄ２での点滅パターンに応じたコマンドを認識し、ディスプレイ１１に表示されている画像についてそのコマンドの内容に応じたクリックやスクロールなどの処理を実行する。
【００３２】
図４は、前記ポインティングデバイスにおけるディスプレイ装置１０側の電子回路の要部構成を示すブロック図である。
【００３３】
ディスプレイ装置１０は、インターネットとの通信機能を備えた地上波デジタルテレビビジョン放送の受信機あるいは単なる画像モニタ装置などとして構成されるもので、このディスプレイ装置１０には、当該装置１０の動作を制御するためのＣＰＵ２１が備えられる。
【００３４】
なお、図４における電子回路のブロック図では、テレビジョン放送の受信再生に要する回路ブロックやインターネットとの通信に要する回路ブロックなどは省略して示す。
【００３５】
ＣＰＵ２１は、メモリ２２に記憶された装置制御プログラムに従って回路各部の動作を制御するもので、このＣＰＵ２１には、ディスプレイ１１が出力制御部２５を介して接続される他に、右カメラ１２および左カメラ１３が入力制御部２３を介して接続され、さらに、左右カメラ１３，１２による撮影画像に基づいてディスプレイ１１の一端点を基準とするポインタ前後発光素子１５，１６それぞれの空間座標Ｐ1(x1,y1,z1)，Ｐ2(x2,y2,z2)を求めると共に当該空間座標Ｐ1，Ｐ2を結んだ直線上にあるディスプレイ１１面の指定点座標Ｐ0(x0,y0)を求めるための画像解析演算などを実行する演算回路２４が接続される。
【００３６】
なお、メモリ２２には、プログラムデータを格納するメモリ領域の他に、ディスプレイ１１に対する画像の表示処理に必要な画像データを格納するメモリ領域、テレビジョン放送の受信再生に必要な各種のデータを格納するメモリ領域、外部システムとの双方向通信に伴う各種のデータを格納するメモリ領域、前記演算回路２４にて実行される各種の演算処理に伴う計算データを格納するメモリ領域など、様々な作業用データを格納するためのメモリ領域が確保される。
【００３７】
図５は、前記ポインティングデバイスにおけるポインタ１４側の電子回路の要部構成を示すブロック図である。
【００３８】
ポインタ１４の電子回路は、当該ポインタ１４の例えば筐体内側の壁面に密着する形態で設けられ、この電子回路には、前発光素子１５と後発光素子１６とをそれぞれ発光駆動し点滅制御するための制御回路２６が備えられる。
【００３９】
制御回路２６には、前後発光素子１５，１６の発光駆動周期tnを設定するためのタイミング回路２７が接続されると共に、前記ディスプレイ装置１０のディスプレイ１１上の任意の位置を当該ポインタ１４の先端を向けて指定する際にユーザ操作される操作入力部２８が接続される。
【００４０】
次に、前記構成のポインティングデバイスによるポインティング動作について説明する。
【００４１】
図６は、前記ポインティングデバイスのディスプレイ装置１０において実行されるポインティング座標検出処理を示すフローチャートである。
【００４２】
図７は、前記ポインティングデバイスのポインタ１４による前後発光素子１５，１６それぞれの１周期（１フレーム）t1〜t8あたりの点滅パターンを示すタイミングチャートである。
【００４３】
ポインタ１４によってディスプレイ装置１０におけるディスプレイ１１上の任意の点（位置・場所）の方向を、ポインタ１４の先端を向けることによって指し示し、操作入力部２８の操作によって当該ポインタ１４における前後発光素子１５，１６の発光駆動制御を指示する。すると、ディスプレイ装置１０では、以下に詳述するように、メモリ２２に記憶されているポインティング座標検出処理プログラム（図６参照）に従って前記ポインタ１４によるディスプレイ１１上の指定点の座標Ｐ0を検出し当該指定点を明示表示する。
【００４４】
［ステップＳ１：左右カメラ１３，１２の撮影画像からポインタ前後発光素子１５，１６を認識］
左右カメラ１３，１２のそれぞれによる撮影画像をキャプチャするタイミングなどは一般的な非同期通信による方法を使用する。例えばボーレイトの１０倍の周期でキャプチャし、消灯（オフ）から点灯（オン）に変化した瞬間の画像フレームをt0とし、そこから５フレーム目をt1とすればよい。
【００４５】
右カメラ１２と左カメラ１３による各撮影画像の中から、スタートビットＳとストップビットＴとオールクリアビットＲに対応するタイミングt1,t6,t8において点灯（オン），点灯（オン），消灯（オフ）を繰り返している画像ドットを検出し、これをポインタ前発光素子１５の発光点ドットＰ1として認識する。
【００４６】
次に、バックビットＱとオールクリアビットＲに対応するタイミングt7,t8において点灯（オン），消灯（オフ）を繰り返している画像ドットを検出し、これをポインタ後発光素子１６の発光点ドットＰ2として認識する。
【００４７】
この際、ポインタ後発光素子１６の発光点ドットが認識されない場合には、当該後発光素子１６は前記前発光素子１５の陰に位置するものと判断し、当該前発光素子１５の発光点ドットと同位置であると認識する。
【００４８】
［ステップＳ２：ポインタ前後発光素子１５，１６の垂直方向角度α1，α2検出］
図８は、前記ポインティングデバイスのディスプレイ装置１０における左カメラ１３による撮影画像範囲と発光点仰角αとの関係を示す図である。
【００４９】
同図においては、次式（１）の関係が成り立つ。
【００５０】
tanα：tanβ＝ａ：ｂ      …式（１）
本ポインティングデバイスの実施形態において、左右のカメラ１２，１３は、ディスプレイ１１の下端に対応した同一目線で固定されており、カメラ像の一端とレンズの中心を結んだ中心線に対し撮像範囲の境界線をなす仰角β、およびその際のカメラ像の変位ｂは予め既知である。従って、発光点Ｐに対応する垂直方向の変位ａに応じて仰角αが算出される。
【００５１】
これにより前後発光点Ｐ1，Ｐ2それぞれの仰角α1，α2が得られる。
【００５２】
［ステップＳ３：ポインタ前後発光素子１５，１６の水平方向角度δ1ζ1，δ2ζ2検出］
図９は、前記ポインティングデバイスのディスプレイ装置１０における左右カメラ１２，１３による撮影画像範囲と発光点水平方向角度δζとの関係を示す図である。
【００５３】
同図においては、次式（２）（３）の関係が成り立つ。
【００５４】
tanδ：tanγ＝ｃ：ｄ      …式（２）
tanζ：tanε＝ｅ：ｆ      …式（３）
前記発光点Ｐの仰角αを算出する場合と同様に、左右の各カメラ像それぞれの一端とそのレンズの中心を結んだ中心線に対し撮像範囲の境界線をなす水平方向角度γとβ、およびその際のカメラ像の変位ｄとｆは予め既知である。従って、発光点Ｐに対応する水平方向の変位ｃとｆに応じて各カメラに対する水平方向角度δとζが算出される。
【００５５】
これにより前後発光点Ｐ1，Ｐ2それぞれの水平方向角度δ1ζ1，δ2ζ2が得られる。
【００５６】
［ステップＳ４：ポインタ前後発光素子１５，１６のディスプレイ１１面からの距離（水平成分）Ｌ検出］
図１０は、前記ポインティングデバイスのディスプレイ装置１０における左右カメラ１２，１３に対する発光点Ｐの水平方向角度δζとディスプレイ１１面から発光点Ｐまでの水平距離Ｌとの関係を示す図である。
【００５７】
左右のカメラ１２，１３間の距離Ｄ、前発光点Ｐ1とディスプレイ１１面との水平距離Ｌ1、前発光点Ｐ1のディスプレイ１１面に対する左カメラ１３からの変位Ｘ1とすると、前記ステップＳ３にて算出された発光点Ｐ1の水平方向角度δ1ζ1に基づいた次の連立方程式（４Ａ）（４Ｂ）によって、前発光点Ｐ1に対応する変位Ｘ1と水平距離Ｌ1（＝Ｚ1）が算出される。
【００５８】
Ｌ1＝Ｘ1＊tan(90−δ1)      …式（４Ａ）
Ｌ1＝(Ｄ−Ｘ1)＊tan(90−ζ1)      …式（４Ｂ）
これによりディスプレイ１１面から前発光点Ｐ1までの水平距離Ｌ1（＝Ｚ1）が得られ、同様の計算処理により後発光点Ｐ2に対応する変位Ｘ2と水平距離Ｌ2（＝Ｚ2）も得られる。
【００５９】
［ステップＳ５：ポインタ前後発光素子１５，１６の左カメラ１３からの距離（水平成分）Ｍ検出］
図１１は、前記ポインティングデバイスのディスプレイ装置１０における発光点Ｐまでのディスプレイ１１面からの水平距離Ｌと左カメラ１３から水平距離Ｍとの関係を示す図である。
【００６０】
同図に示すように、左カメラ１３から前発光点Ｐ1までの距離（水平成分）Ｍ1とすると、三平方の定理から次式（５）が成立する。
【００６１】
Ｍ12＝Ｌ12＋Ｘ12      …式（５）
これと同様に、次式（６）が成立する。
【００６２】
Ｍ22＝Ｌ22＋Ｘ22      …式（６）
これにより左カメラ１３から前発光点Ｐ1までの距離（水平成分）Ｍ1が算出され、また後発光点Ｐ2までの距離（水平成分）Ｍ2も算出される。
【００６３】
［ステップＳ６：ポインタ前後発光素子１５，１６の垂直方向座標y1,y2検出］
図１２は、前記ポインティングデバイスのディスプレイ装置１０における発光点Ｐに対応した左カメラ１３からの仰角αおよび水平距離Ｍと垂直方向座標yとの関係を示す図である。
【００６４】
前発光点Ｐ1に対応した垂直方向座標y1は、前記ステップＳ２にて算出された仰角α1と前記ステップＳ５にて算出された左カメラ１３からの距離（水平成分）Ｍ1とに基づき、次式（７）により算出される。
【００６５】
y1＝Ｍ1＊tanα1      …式（７）
これと同様に、後発光点Ｐ2に対応した垂直方向座標y2は、前記ステップＳ２にて算出された仰角α2と前記ステップＳ５にて算出された左カメラ１３からの距離（水平成分）Ｍ2とに基づき、次式（８）により算出される。
【００６６】
y2＝Ｍ2＊tanα2      …式（８）
このようなステップＳ１〜Ｓ６までの計算処理によって、ポインタ前後発光素子１５，１６の空間座標Ｐ1(x1,y1,z1)，Ｐ2(x2,y2,z2)が得られる。
【００６７】
［ステップＳ７：ポインタ前後発光素子１５，１６の空間座標Ｐ1，Ｐ2に基づきディスプレイ１１上のポインティング座標Ｐ0検出］
図１３は、前記ポインティングデバイスのディスプレイ装置１０におけるポインタ前後発光素子１５，１６の空間座標Ｐ1，Ｐ2に対するディスプレイ１１面上のポインティング座標Ｐ0との関係を示す図である。
【００６８】
ポインタ１４によって指示されたディスプレイ１１面上の点（ポインティング座標Ｐ0）は、ポインタ前後発光素子１５，１６の空間座標Ｐ1，Ｐ2を結ぶ延長線とディスプレイ１１面との交点であるため、当該ポインティング座標Ｐ0の座標(x0,y0)とすると、次式（９）（１０）の関係が成立する。
【００６９】
x1−x0：z1＝x2−x0：z2      …式（９）
y1−y0：z1＝y2−y0：z2      …式（１０）
これにより、ポインタ１４によって指示されたディスプレイ１１面上のポインティング座標Ｐ0(x0,y0)が算出され、ポインタ指定点として明示表示される。
【００７０】
そして、前記撮影された前発光素子１５による発光点Ｐ1のデータビットＤ０〜Ｄ２での点滅パターンに応じたコマンドが認識され、ディスプレイ１１に表示されている画像についてそのコマンドの内容に応じたクリックやスクロールなどの処理が実行される。
【００７１】
なお、ディスプレイ装置１０側において、ポインタ１４の前後発光素子１５，１６による各発光点を撮影する左右のカメラ１２，１３は、そのカメラ数が多く異なる位置からの撮影画像が多いほど正確な空間座標Ｐ1(x1,y1,z1)，Ｐ2(x2,y2,z2)を算出することができ、より高精度なポインティング座標Ｐ0(x0,y0)を得ることができる。
【００７２】
図１４は、前記ポインティングデバイスのポインタ１４に設けられた操作入力部２８の構成を示す外観斜視図である。
【００７３】
ポインタ１４の操作入力部２８は、当該ポインタ筐体の上部面に設けられ、本ポインティングデバイスの実施形態の場合、ディスプレイ１１上の前記ポインタ指定点（Ｐ0）に対応した位置・場所の画像内容について上下左右の方向へのスクロール表示を指示する際に操作されるカーソルキー３１ａ〜３１ｄ、および左右クリックボタン３１Ｌ，３１Ｒが配設される。
【００７４】
図１５は、前記ポインティングデバイスのポインタ１４における操作入力部２８でのボタン操作に対応した前発光素子１５の発光駆動制御によるデータビットＤ０〜Ｄ２の内容とそのそれぞれに応じたコマンドを示す図である。
【００７５】
すなわち、ディスプレイ装置１０のディスプレイ１１面上の所望の点（位置・場所）を指定したポインタ１４における操作入力部２８の例えば上カーソルキー「↑」３１ａが操作されると、前発光素子１５はその発光駆動制御のタイミングt2,t3,t4において点灯（オン），消灯（オフ），消灯（オフ）と駆動されるので、ディスプレイ装置１０ではポインタ前発光点Ｐ0の検出に応じた１フレーム中のデータビットＤ０〜Ｄ２が“１”“０”“０”で「上方向スクール」のコマンドと認識され、ディスプレイ１１に対する表示画像の上方向へのスクロール処理が実行される。
【００７６】
また、ポインタ１４における操作入力部２８の例えば右クリックボタン３１Ｒが操作されると、前発光素子１５はその発光駆動制御のタイミングt2,t3,t4において点灯（オン），消灯（オフ），点灯（オン）と駆動されるので、ディスプレイ装置１０ではポインタ前発光点Ｐ0の検出に応じた１フレーム中のデータビットＤ０〜Ｄ２が“１”“０”“１”で「右クリック」のコマンドと認識され、ディスプレイ１１上の表示画像について右クリックに応じた処理が実行される。
【００７７】
したがって、前記構成のポインティングデバイスによれば、ディスプレイ１１上の任意の点（位置・場所）を指定するためのポインタ１４の筐体内に相前後して配置した前発光素子１５と後発光素子１６を、それぞれ予め設定された異なる点滅パターンで発光駆動制御すると共に、ディスプレイ１１の下端左右に設けた右カメラ１２と左カメラ１３によって前記ポインタ１４による前後発光点を含む画像を撮影する。そして、左右カメラ１２，１３それぞれの撮影画像に含まれるポインタ前発光点Ｐ1とポインタ後発光点Ｐ2をそれぞれ異なる点滅パターンに基づいて認識すると共に、左右カメラ１２，１３位置やディスプレイ１１面からの各発光点Ｐ1，Ｐ2の方向（角度）・距離を三角法により解析演算してその空間座標Ｐ1(x1,y1,z1)，Ｐ2(x2,y2,z2)を検出し、この空間座標Ｐ1，Ｐ2を結ぶ延長線とディスプレイ１１面の交点をポインタ１４によって指示されたディスプレイ１１面上のポインティング座標Ｐ0(x0,y0)として演算検出するようにした。
【００７８】
このため、ポインタ１４を前後発光素子１５，１６やその入力操作部２８を有するだけの非常に簡単且つ安価な構成とすることができるだけでなく、ディスプレイ装置１０においてもハード的には左右カメラ１２，１３を新たに設けるだけで前記ポインティング座標Ｐ0(x0,y0)は元々のＣＰＵ２１やメモリ２２を使用してソフト的に演算解析して検出することができ、例えば双方向デジタル地上波テレビ放送の受信再生機能やインターネットとの接続通信機能を有するディスプレイ装置１０にあって、安価で且つ操作性の非常に良好なポインティングデバイスを実現できる。
【００７９】
また、前記構成のポインティングデバイスによれば、ポインタ１４の前発光素子１５による１周期８ビット(t1〜t8)の点滅パターン中にデータビットＤ０〜Ｄ２を含ませ、入力操作部２８のカーソルキー３１ａ〜３１ｄや左右クリックボタン３１Ｌ，３１Ｒの操作に応じた点滅パターンでそのデータビットＤ０〜Ｄ２を発光駆動制御することで、ディスプレイ装置１０側でのポインタ前発光点Ｐ1およびその点滅パターンの検出によって入力操作に対応したコマンドを認識し、スクロール表示や左右クリックに応じた処理などを実行できるので、このポインティングデバイスを単なるポインタ装置としてだけでなくリモコン装置としても機能させることできる。
【００８０】
またさらに、このポインティングデバイスのディスプレイ装置１０がインターネットとの接続通信機能を有する場合には、左右カメラ１２，１３を監視カメラとして用い、例えばユーザの外出に伴う携帯端末からのアクセスによって留守宅内の状況を適宜把握することもできる。
【００８１】
なお、ポインタ１４は、次の図１６で示すような前後発光素子１５，１６の配置構成とすることで、当該ポインタ筐体内に空間の余裕を作り、制御回路２６、タイミング回路２７、操作入力部２８などの各回路部を内蔵配置し易い構成としてもよい。
【００８２】
図１６は、前記ポインティングデバイスにおける他の実施形態のポインタ１４′の構成を示す図である。
【００８３】
すなわち、図２を参照して説明した前記実施形態のポインタ１４では、前発光素子１５を先端開口部１４ａの直後の中心位置に配置し、また、後発光素子１６をポインタ後面１４ｂの直前の中心位置に配置し、その前後発光点を含む画像をディスプレイ装置１０の左右カメラ１２，１３によって撮影する構成したが、図１６に示すように、前発光素子１５の直後に遮光板１４ｓを介在して後発光素子１６を連続配置すると共に、前発光素子１５の後端からポインタ後面１４ｂまでの空間距離Ｋの２分の１の位置（Ｋ／２）に、当該空間を前後で仕切り且つその空間先端方向を反射面にしたミラー１４ｍを配置し、後発光素子１６による発光を当該ミラー１４ｍに反射させることで、前記実施形態と同様にその前後発光点を含む画像をディスプレイ装置１０の左右カメラ１２，１３によって撮影する構成としてもよい。
【００８４】
この場合、ポインタ１４′の前後発光素子１５，１６を配置した発光機能部を筐体前半部に集中させることで、筐体後半部に制御回路２６、タイミング回路２７、操作入力部２８などの各回路部を無理なく配置させることができたり、小型化が可能になる。
【００８５】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施形態に係るポインティングデバイスの外観構成を示す図。
【図２】前記ポインティングデバイスにおいてポインタ１４に設けられた前後発光素子１５，１６とディスプレイ装置１０に設けられた左右カメラ１３，１２との関係を示す図。
【図３】前記ポインティングデバイスのポインタ１４における前後発光素子１５，１６の１周期（１フレーム）分の発光パターンの構成を示す図。
【図４】前記ポインティングデバイスにおけるディスプレイ装置１０側の電子回路の要部構成を示すブロック図。
【図５】前記ポインティングデバイスにおけるポインタ１４側の電子回路の要部構成を示すブロック図。
【図６】前記ポインティングデバイスのディスプレイ装置１０において実行されるポインティング座標検出処理を示すフローチャート。
【図７】前記ポインティングデバイスのポインタ１４による前後発光素子１５，１６それぞれの１周期（１フレーム）t1〜t8あたりの点滅パターンを示すタイミングチャート。
【図８】前記ポインティングデバイスのディスプレイ装置１０における左カメラ１３による撮影画像範囲と発光点仰角αとの関係を示す図。
【図９】前記ポインティングデバイスのディスプレイ装置１０における左右カメラ１２，１３による撮影画像範囲と発光点水平方向角度δζとの関係を示す図。
【図１０】前記ポインティングデバイスのディスプレイ装置１０における左右カメラ１２，１３に対する発光点Ｐの水平方向角度δζとディスプレイ１１面から発光点Ｐまでの水平距離Ｌとの関係を示す図。
【図１１】前記ポインティングデバイスのディスプレイ装置１０における発光点Ｐまでのディスプレイ１１面からの水平距離Ｌと左カメラ１３から水平距離Ｍとの関係を示す図。
【図１２】前記ポインティングデバイスのディスプレイ装置１０における発光点Ｐに対応した左カメラ１３からの仰角αおよび水平距離Ｍと垂直方向座標yとの関係を示す図。
【図１３】前記ポインティングデバイスのディスプレイ装置１０におけるポインタ前後発光素子１５，１６の空間座標Ｐ1，Ｐ2に対するディスプレイ１１面上のポインティング座標Ｐ0との関係を示す図。
【図１４】前記ポインティングデバイスのポインタ１４に設けられた操作入力部２８の構成を示す外観斜視図。
【図１５】前記ポインティングデバイスのポインタ１４における操作入力部２８でのボタン操作に対応した前発光素子１５の発光駆動制御によるデータビットＤ０〜Ｄ２の内容とそのそれぞれに応じたコマンドを示す図。
【図１６】前記ポインティングデバイスにおける他の実施形態のポインタ１４′の構成を示す図。
【符号の説明】
【００８７】
１０  …ディスプレイ装置
１１  …ディスプレイ
１２  …右カメラ
１３  …左カメラ
１４  …ポインタ
１４′…ポインタ（他の実施形態）
１４ａ…先端開口部
１４ｂ…ポインタ後面
１４ｓ…遮光板
１４ｍ…ミラー
１５  …前発光素子
１６  …後発光素子
２１  …ＣＰＵ（ディスプレイ装置）
２２  …メモリ
２３  …入力制御部
２４  …演算回路
２５  …出力制御部
２６  …制御回路（ポインタ）
２７  …タイミング回路
２８  …操作入力部
３１ａ〜３１ｄ…カーソルキー
３１Ｌ…左クリックボタン
３１Ｒ…右クリックボタン
Ｐ1   …ポインタ前発光点
Ｐ2   …ポインタ後発光点
Ｐ0   …ポインティング座標
【図１】
2007066080.tif 000003
【図２】
2007066080.tif 000004
【図３】
2007066080.tif 000005
【図４】
2007066080.tif 000006
【図５】
2007066080.tif 000007
【図６】
2007066080.tif 000008
【図７】
2007066080.tif 000009
【図８】
2007066080.tif 000010
【図９】
2007066080.tif 000011
【図１０】
2007066080.tif 000012
【図１１】
2007066080.tif 000013
【図１２】
2007066080.tif 000014
【図１３】
2007066080.tif 000015
【図１４】
2007066080.tif 000016
【図１５】
2007066080.tif 000017
【図１６】
2007066080.tif 000018