(57)【要約】【課題】負担にならない装備により容易に画像中へのポインティング処理を行なうポインティング装置を提供する。【解決手段】映像光を受光して映像信号を出力するカメラ部（１４）と、操作に応じて操作信号を出力するスイッチ部（１６）と、スイッチ部からの操作信号が示すタイミングに従って、カメラ部から供給された第１時刻の映像信号と第１時刻とは異なる第２時刻の映像信号とを比較して第１時刻の映像と第２刻の映像のずれを示す移動ベクトルを検出する検出部（１５）と、検出部が検出した移動ベクトルに従って所定処理を行う制御部（１１）をもつポインティング装置。【選択図】図１
2008299620.tif 000002
【特許請求の範囲】
【請求項１】
映像光を受光して映像信号を出力するカメラ部と、
操作に応じて操作信号を出力するスイッチ部と、
前記スイッチ部からの操作信号が示すタイミングに従って、前記カメラ部から供給された第１時刻の前記映像信号と前記第１時刻とは異なる第２時刻の前記映像信号とを比較して前記第１時刻の映像と前記第２刻の映像のずれを示す移動ベクトルを検出する検出部と、
前記検出部が検出した前記移動ベクトルに従って所定処理を行う制御部と、
を具備することを特徴とするポインティング装置。
【請求項２】
前記検出部は、前記映像信号の比較に基づく前記移動ベクトルの軌跡を検出し、前記制御部は、前記検出部が検出した前記移動ベクトルの軌跡に従って所定処理を行うものである請求項１記載のポインティング装置。
【請求項３】
前記検出部は、前記スイッチ部からの操作信号が示すタイミングの開始時と終了時の各前記移動ベクトルが示す位置情報に応じて、所定領域を特定する請求項１記載のポインティング装置。
【請求項４】
前記検出部は、前記映像信号の比較に基づく前記移動ベクトルの水平方向の最大値と最小値と垂直方向の最大値と最小値が示す所定領域を特定する請求項１記載のポインティング装置。
【請求項５】
前記検出部は、前記映像信号の比較に基づく前記移動ベクトルについて水平方向と垂直方向の一方の長さを変え他方の長さを固定とする所定領域を特定する請求項１記載のポインティング装置。
【請求項６】
前記検出部は、前記スイッチ部からの操作信号が示すタイミングの開始時から終了時までの経過時間に対応して決定される範囲を特定する請求項１記載のポインティング装置。
【請求項７】
前記カメラ部からの映像信号に応じた映像及び前記移動ベクトルに応じたポインタを表示する表示部を更に有することを特徴とする請求項１記載のポインティング装置。
【請求項８】
スイッチ部からの操作信号を受け、
前記操作信号のタイミングが示す第１時刻でカメラ部から供給された映像信号と、前記操作信号のタイミングが示す前記第１時刻とは異なる第２時刻でカメラ部から供給された映像信号とを取得し、
前記第１時刻の映像信号と前記第２時刻の映像信号を比較して前記第１時刻の映像と前記第２刻の映像のずれを示す移動ベクトルを検出し、
前記移動ベクトルを前記映像信号の画面中のポインタ信号として扱うことを特徴とするポインティング方法。
【請求項９】
前記映像信号の比較に基づく前記移動ベクトルの軌跡を検出し、この軌跡を前記映像信号の画面中のポインタ信号として扱うことを特徴とする請求項９記載のポインティング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラからの映像信号の変化を用いたポインティング装置及びポインティング方法に関する。
【背景技術】
【０００２】
近年、デジタル映像技術の発達に伴って、携帯電話器やデジタルコンテンツの映像処理装置にて映像処理を容易に行なうことができるようになってきている。このような映像処理装置において、表示画面中にポインティング入力を行なう技術が多く知られている。
【０００３】
特許文献１には、表示画面に対し任意の捜査位置からポインタ表示操作やコマンド実行操作を可能とする、非常に操作性の自由度が高く小型で軽量なポインティング装置及び方法が開示されている。
【特許文献１】特開２００１−１６６８８１公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の従来技術は、ポインティング手段を用意して対象にライティングすることで対象を特定するものである。従って、特定したい対象が遠方のものは特定が難しい傾向がある。又、ライトや方向キー、タッチパッド、タッチパネル等の独立したポインティング手段を用意すると、コスト高となり管理する煩わしさがあるという問題がある。
【０００５】
本発明は、負担にならない装備により容易に画像中へのポインティング処理を行なうポインティング装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
課題を解決する一実施の形態は、
映像光を受光して映像信号を出力するカメラ部（１４）と、
操作に応じて操作信号を出力するスイッチ部（１６）と、
前記スイッチ部からの操作信号が示すタイミングに従って、前記カメラ部から供給された第１時刻の前記映像信号と前記第１時刻とは異なる第２時刻の前記映像信号とを比較して前記第１時刻の映像と前記第２刻の映像のずれを示す移動ベクトルを検出する検出部（１５）と、
前記検出部が検出した前記移動ベクトルに従って所定処理を行う制御部（１１）と、
を具備することを特徴とするポインティング装置である。
【発明の効果】
【０００７】
特にポインティングのためのハード構成を追加することもなく、容易に画像情報の画面中にポインティング処理を施すことができる。
【発明を実施するための最良の形態】
【０００８】
以下、この発明の実施の形態について図面を参照して詳細に説明する。  
図１は、本発明の一実施形態に係るポインティング装置の構成の一例を示すブロック図である。
【０００９】
＜本発明の一実施形態に係るポインティング装置＞
（構成）
初めに、本発明の一実施形態に係るポインティング装置の構成の一例を説明する。本発明の一実施形態に係るポインティング装置１は、図１に示すように、全体の動作を制御するＣＰＵ１１と、これに接続されるメモリ１２と、例えばポインティング操作部１６のスイッチの操作からの経過時間を計時するタイマ部１３を有している。
【００１０】
更に、本発明の一実施形態に係るポインティング装置は、映像光を受光して映像信号を出力するカメラ１４と、この映像信号の変化を検出する画像移動方向検出処理部１５と、ポインティングのタイミングを入力するスイッチ等のポインティング操作部１６と、画像移動方向検出処理部１５から供給される比較結果を受けて、移動ベクトルに応じた軌跡、領域範囲を画面上に描画するポインタ（軌跡・領域範囲）描画処理部１７と、軌跡・領域範囲をカメラからの映像画面に重畳する画像重ね合わせ処理部１８と、液晶ディスプレイ等の画像表示部１９を有している。
【００１１】
このような構成をもつポインティング装置１は、例えば、後述する携帯型通話装置等であるがこれに限定されることはなく、映像信号を扱い、ポインティング入力を行なう装置であればよい。
【００１２】
（ポインティング装置における映像画面へのポインティング動作の一例）
次に、このようなポインティング装置における映像画面へのポインティング動作の一例をフローチャート及び説明図を用いて詳細に説明する。図２は、本発明の一実施形態に係るポインティング装置のポインタの軌跡を利用したポインティング動作の一例を示すフローチャートである。図３は、同じくポインタの始点及び終点を利用したポインティング動作の一例を示すフローチャートである。図４は、同じくポインタの軌跡によるポインティング情報の入力処理の一例を示す説明図である。図５は、同じくポインタの開始点と終了点によるポインティング動作の一例を示す説明図である。図６は、同じく一方向のみのポインタ領域についてのポインティング動作の一例を示す説明図である。図７は、同じくスイッチの押下時間によるポインティング情報の入力処理の一例を示す説明図である。
【００１３】
・移動ベクトルの軌跡によるポインティング動作（図２，図４）
初めに、移動ベクトルの軌跡によるポインティング動作を図２のフローチャートを用いて説明する。
【００１４】
なお、以下の図２及び図３のフローチャートの各ステップは、回路ブロックに置き換えることができ、従って、各フローチャートのステップは、全てブロックに定義しなおすことが可能である。
【００１５】
本発明の一実施形態であるポインティング装置１において、図２のフローチャートに示すように、ポインティング動作を受け付けるモードに設定した後に、ＣＰＵ１１は、ポインティング操作部１６のスイッチ等からオンの操作信号を受けると（ステップＳ１１）、ポインタ（軌跡・領域）描画処理部１７及び画像重ね合わせ処理部１８を用いて、ポインタを画像表示部１９の画面上に出現させる（ステップＳ１２）。
【００１６】
そして、画像移動方向検出処理部１５は、カメラ１４からの映像信号を一定時間毎（例えば０．１秒毎）に画面毎に比較して、カメラ１４が捕らえた映像の変化を移動ベクトル（大きさと方向）として検出する（ステップＳ１３）。ポインタ描画処理部１７は、画像移動方向検出処理部１５からの移動ベクトル信号を受けて、軌跡を計算する（ステップＳ１４）。そして、ポインタ描画処理部１７は、図４の（ｂ）のように始点ａ１から終点ａ２のポインタの軌跡をカメラからの映像画面に重複させて表示させる（ステップＳ１５）。
【００１７】
このような処理をポインティング操作部１６のスイッチ等がオフとなるまで継続し、オフとなれば（ステップＳ１６）、ＣＰＵ１１及びポインタ描画処理部１７は、軌跡による領域範囲を確定させた軌跡の画像を画像重ね合わせ処理部１８によりカメラ１４からの映像画面に重畳させて表示させる（ステップＳ１７）。この場合、ポインタの軌跡によって、矩形以外の不定形である閉曲線を形成することが可能となる。しかし、設定により、ＣＰＵ１１及びポインタ描画処理部１７は、移動ベクトルの軌跡が示す座標につき、水平方向の最大値と最小値と垂直方向の最大値と最小値が示す所定領域による矩形を特定するものであってもよい。
【００１８】
従って、ユーザは、画像表示部１９に表示された画面を見ながら、カメラ１４の角度を傾けて映像を適宜ずらすことにより、移動ベクトルに応じた軌跡が特定する画面上の所望の領域のポインティング動作を行なうことが可能となる。
【００１９】
その後、ＣＰＵ１１及びメモリ１２は、軌跡により確定された領域範囲に応じて、所定処理を行なう。この所定処理とは、領域範囲の映像をメモリ１２に格納してもよいし、領域範囲の映像を拡大することでもよく、様々な映像処理が可能である。又、ＣＰＵ１１及びメモリ１２は、領域範囲の映像を記憶し、その後のカメラ１４からの映像信号から領域範囲の映像を検出して、画面中にマーキング処理を施すことで、ターゲットを追跡することも好適である。
【００２０】
以上のように本実施形態であるポインティング装置によれば、デバイスとしてはタイミングを与えるスイッチを用意するだけで、タッチパネルやタッチパッド等を使用することなく、細かなポインティング操作が可能となる。
【００２１】
また、他の方法として、ＣＰＵ１１及びメモリ１２内の動作プログラムにより、ポインティング操作部１６のスイッチ等をオンにする時以外はカメラの機能をオフとすることで、消費電力を抑制しながら上述したポインティング動作を行なうことが好適である。
【００２２】
・移動ベクトルの一部によるポインティング動作（図３，図５，図６，図７）
次に、移動ベクトルの一部によるポインティング動作を図３のフローチャートを用いて説明する。本発明の一実施形態であるポインティング装置１において、図３のフローチャートに示すように、ポインティング動作を受け付けるモードに設定した後に、ＣＰＵ１１は、ポインティング操作部１６のスイッチ等からオンの操作信号を受けると（ステップＳ２１）、ポインタ（軌跡・領域）描画処理部１７及び画像重ね合わせ処理部１８を用いて、ポインタを画像表示部１９の画面上に出現させる（ステップＳ２２）。そして、画像移動方向検出処理部１５は、カメラ１４からの映像信号を一定時間毎（例えば０．１秒毎）に画面毎に比較して、カメラ１４が捕らえた映像の変化を移動ベクトル（大きさと方向）として検出する（ステップＳ２３）。
【００２３】
ポインタ描画処理部１７は、画像移動方向検出処理部１５からの移動ベクトル信号を受けて、移動ベクトル信号が示す移動方向・距離から、図５又は図６に示すように、領域範囲を計算する（ステップＳ２４）。そして、ポインタ描画処理部１７は、図５の（ｂ）のように始点ｂ１から終点ｂ２が特定する領域の描線をカメラからの映像画面に重複させて表示させる（ステップＳ２５）。図５の（ｂ）では、始点ｂ１と終点ｂ２が特定する矩形が領域となる。しかし、領域は矩形だけではなく円や楕円も好適である。
【００２４】
又、ポインタ描画処理部１７は、図６の（ｂ）のように始点ｃ１から終点ｃ２が特定する領域の描線をカメラからの映像画面に重複させて表示させる（ステップＳ２５）。図６の（ｂ）では、垂直方向の長さは変化することが無く、水平方向の長さだけが変化する。
【００２５】
このような描画処理をポインティング操作部１６のスイッチ等がオフとなるまで継続し、オフとなれば（ステップＳ２６）、ＣＰＵ１１及びポインタ描画処理部１７は、移動ベクトルによる領域範囲を確定させた軌跡の画像を画像重ね合わせ処理部１８によりカメラ１４からの映像画面に重畳させて表示させる（ステップＳ２７）。又、設定により、ＣＰＵ１１及びポインタ描画処理部１７は、移動ベクトルの始点と終点の座標の代わりに、移動ベクトルの水平方向の最大値と最小値と垂直方向の最大値と最小値が示す所定領域による矩形を特定することも好適である。
【００２６】
従って、同様に、ユーザは、画像表示部１９に表示された画面を見ながら、カメラ１４の角度を傾けて映像を適宜ずらすことにより、移動ベクトルが特定する画面上の所望の領域のポインティング動作を行なうことが可能となる。
【００２７】
又、同様に、ＣＰＵ１１及びポインタ描画処理部１７は、図７に示すように、ポインティング操作部１６のスイッチのオンしたタイミングから経過時間に比例して領域ｄ１が拡大していき、オフしたタイミングで拡大が停止して領域ｄ２が確定するという方法により、領域を確定させることも好適である。
【００２８】
その後、ＣＰＵ１１及びメモリ１２は、軌跡により確定された領域範囲に応じて、所定処理を行なう。この所定処理とは、領域範囲の映像をメモリ１２に格納してもよいし、領域範囲の映像を拡大することでもよく、様々な映像処理が可能である。又、ＣＰＵ１１及びメモリ１２は、領域範囲の映像を記憶し、その後のカメラ１４からの映像信号から領域範囲の映像を検出して、画面中にマーキング処理を施すことで、ターゲットを追跡することも好適である。
【００２９】
以上のように本実施形態であるポインティング装置によれば、デバイスとしてはタイミングを与えるスイッチを用意するだけで、タッチパネルやタッチパッド等を使用せず、細かなポインティング操作が可能となる。
【００３０】
（ポインティング装置を用いた携帯型通話装置の構成と動作）
次に、上述したポインティング装置を用いた装置の一例として、携帯型通話装置に適用した場合を図面を用いて説明する。図８は、本発明の一実施形態に係るポインティング装置を用いた携帯型通話装置の外観の一例を示す外観図である。図９は、本発明の一実施形態に係るポインティング装置を用いた携帯型通話装置の構成の一例を示すブロック図である。
【００３１】
本発明の一実施形態に係るポインティング装置を適用した携帯型通話装置の構成の一例を説明する。本発明の一実施形態に係る携帯型通話装置Ｍは、図８に示すような外観をもち、ユーザが音声を入力するボコーダ１２３、及びユーザが両耳に当て、音声を聞き取るためのスピーカ１２４を有する。この携帯型通話装置Ｍは、２以上の携帯電話機と通信することができる。詳細は後述する。
【００３２】
携帯型通話装置Ｍの構成として図２に示すように、全体の動作を制御するＣＰＵ１１と、これに接続されるメモリ１２と、例えばポインティング操作部１６のスイッチの操作からの経過時間を計時するタイマ部１３を有している。
【００３３】
更に、本発明の一実施形態に係る携帯型通話装置（携帯電話装置）Ｍは、映像光を受光して映像信号を出力するカメラ１４と、この映像信号の変化を検出する画像移動方向検出処理部１５と、ポインティングのタイミングを入力するスイッチ等のポインティング操作部１６と、画像移動方向検出処理部１５から供給される比較結果を受けて、移動ベクトルに応じた軌跡、領域範囲を画面上に描画するポインタ（軌跡・領域範囲）描画処理部１７と、軌跡・領域範囲をカメラからの映像画面に重畳する画像重ね合わせ処理部１８と、液晶ディスプレイ等の画像表示部１９と、画像や音声信号をデコードして音声映像処理を施すデコーダ・音声映像処理部２１を有している。
【００３４】
携帯型通話装置（携帯電話装置）Ｍは、図８に示す外観を一例として有しており、構成としては図９に示すように、通信部１００と、アンテナ１０１と、デュプレクサ１０２と、ＲＦ受信利得可変増幅器１０３と、ＲＦ帯域制限フィルタ１０４と、周波数変換器１０５と、ＩＦ帯域制限フィルタ１０６と、ＩＦ受信利得可変増幅器１０７と、変調・復調部１０８と、ＩＦ送信利得可変増幅器１１１と、周波数変換器１１２と、ＲＦ帯域制限フィルタ１１３と、ＲＦ送信利得可変増幅器１１４と、電力増幅器１１５と、アイソレータ１１６と、ボコーダ１２３と、スピーカ１２４を有している。
【００３５】
又、変調・復調部１０８は、例えば直交復調部１８１と、Ａ／Ｄ変換部１８２と、復調部１８３と、復号部１９２とからなり、更に、ボコーダ１２３からの信号を暗号化する暗号化部１８９と、情報信号変調部１８４と、Ｄ／Ａ変換部１８５と、直交変調部１８６とにより構成される。この構成において、直交復調部１８１で直交復調された信号はＡ／Ｄ変換部１８２でＡ／Ｄ変換され、復調部１８３で情報信号復調されて、復号部１９２により復号されて出力される。
【００３６】
この携帯型通話装置Ｍはこのような構成において、受信処理について説明すると、基地局から送信されるフォワードリンク信号はアンテナ１０１で受信、デュプレクサ１０２で受信機側回路へ供給され、ＲＦ受信利得可変増幅器１０３で増幅あるいは減衰され、ＲＦ帯域制限フィルタ１０４で不要成分をフィルタリングされ、周波数変換器１０５でＲＦ帯からＩＦ帯へ周波数変換され、ＩＦ帯域制限フィルタ１０６で不要成分をフィルタリングされ、ＩＦ受信利得可変増幅器１０７で増幅あるいは減衰され、変調・復調部１０８へ入力する。
【００３７】
変調・復調部１０８は、例えば直交復調部１８１と、Ａ／Ｄ変換部１８２と、復調部１８３と、情報信号変調部１８４と、Ｄ／Ａ変換部１８５と、直交変調部１８６で構成される。
【００３８】
ここで、暗号化部１８９と復号部１９２とは、共通の暗号鍵情報で暗号化され復号されることが好適であり、暗号化処理により通話される音声情報の不当な傍聴を防止するものである。しかし、厳密には、送信側の移動型通話部からの暗号化のための暗号鍵情報と受信側の復号部１９２との鍵情報が共通であればよい。
【００３９】
この構成を有する携帯型通話装置Ｍの受信処理について以下に説明すると、表示部１３４の操作情報の表示に応じて、ユーザの操作部１３３から与えられる操作情報に応じ、制御部１３１の動作制御に従って、以下のような動作が行われる。すなわち、直交復調部１８１で直交復調された信号は、Ａ／Ｄ変換部１８２でＡ／Ｄ変換され復調部１８３で情報信号復調され、更に復号部１９２で復号されて音声としてスピーカ１２４に出力される。
【００４０】
又、更にこの携帯型通話装置Ｍの送信処理について以下に説明すると、同様に、表示部１３４の操作情報の表示に応じて、ユーザの操作部１３３から与えられる操作情報に応じ、制御部１３１の動作制御に従って、以下のような動作が行われる。すなわち、移動局から送信されるリバースリンク信号はボコーダ１２３により与えられ、これを暗号化部１８９にて暗号化する。この暗号化された暗号化信号は、情報信号変調部１８４で変調されて出力されＤ／Ａ変換部１８５でＤ／Ａ変換、直交変調部１８６で直交変調され、ＩＦ送信利得可変増幅器１１１で増幅あるいは減衰され、周波数変換器１１２でＩＦ帯からＲＦ帯へ周波数変換され、ＲＦ帯域制限フィルタ１１３で不要成分をフィルタリングして、ＲＦ送信利得可変増幅器１１４で増幅あるいは減衰され、電力増幅器１１５で増幅され、アイソレータ１１６を介してデュプレクサ１０２でアンテナ１０１ヘ供給され、空間へ送信されるものである。
【００４１】
そして、この携帯型通話装置Ｍは、上述したように、ポインティング操作部１６のスイッチ等のタイミングで、カメラ１４からの映像信号を画像移動方向検出処理部１５で所定時間毎に比較することで、移動ベクトルを検出する。この移動ベクトルを用いて、特にポインティングのためのハード構成（タッチパネルやタッチパッド）を追加することもなく、容易に画像情報の画面中に細かなポインティング処理を行なうことが可能となる。
【００４２】
以上記載した様々な実施形態により、当業者は本発明を実現することができるが、更にこれらの実施形態の様々な変形例を思いつくことが当業者によって容易であり、発明的な能力をもたなくとも様々な実施形態へと適用することが可能である。従って、本発明は、開示された原理と新規な特徴に矛盾しない広範な範囲に及ぶものであり、上述した実施形態に限定されるものではない。
【図面の簡単な説明】
【００４３】
【図１】本発明の一実施形態に係るポインティング装置の構成の一例を示すブロック図。
【図２】本発明の一実施形態に係るポインティング装置のポインタの軌跡を利用したポインティング動作の一例を示すフローチャート。
【図３】本発明の一実施形態に係るポインティング装置のポインタの始点及び終点を利用したポインティング動作の一例を示すフローチャート。
【図４】本発明の一実施形態に係るポインティング装置のポインタの軌跡によるポインティング動作の一例を示す説明図。
【図５】本発明の一実施形態に係るポインティング装置のポインタの開始点と終了点によるポインティング動作の一例を示す説明図。
【図６】本発明の一実施形態に係るポインティング装置の一方向のみのポインタ領域についてのポインティング動作の一例を示す説明図。
【図７】本発明の一実施形態に係るポインティング装置のスイッチの押下時間によるポインティング動作の一例を示す説明図。
【図８】本発明の一実施形態に係るポインティング装置を用いた携帯型通話装置の外観の一例を示す外観図。
【図９】本発明の一実施形態に係るポインティング装置を用いた携帯型通話装置の構成の一例を示すブロック図。
【符号の説明】
【００４４】
１…ポインティング装置、１１…ＣＰＵ、１２…メモリ、１３…タイマ部、１４…カメラ部、１５…画像移動方向検出処理部、１６…ポインティング操作部、１７…ポインタ（軌跡・領域範囲）描画処理部、１８…画像重ね合わせ処理部、１９…画像表示部。
【図１】
2008299620.tif 000003
【図２】
2008299620.tif 000004
【図３】
2008299620.tif 000005
【図４】
2008299620.tif 000006
【図５】
2008299620.tif 000007
【図６】
2008299620.tif 000008
【図７】
2008299620.tif 000009
【図８】
2008299620.tif 000010
【図９】
2008299620.tif 000011