(57)【特許請求の範囲】
【請求項１】
表示画面を備えるとともに、当該表示画面の上にポインタが表示され、当該ポインタを操作することによって所定の処理が実行されるデバイスであって、
前記表示画面の上における前記ポインタの表示位置を制御する表示制御手段と、
イメージセンサを備え、当該イメージセンサによって任意の対象物の像を捉え、所定時間の経過前後の当該像の位置の変化により当該像の移動ベクトルを求め、当該移動ベクトルに基づいて、当該デバイス自体を任意の位置から変位させた際の当該デバイス自体の変位を検出する変位検出手段と、
前記変位検出手段で検出した前記デバイス自体の前記変位に基づき、前記表示画面の上において前記ポインタを移動させるポインタ移動手段と、
想定される当該デバイスの動きがモデル化された複数のモデルパターンであって、当該デバイスの動きに対応して前記表示画面上での前記ポインタの移動パターンが定義付けられた複数の当該モデルパターンを記憶するモデルパターン記憶手段とを備え、
前記変位検出手段は、前記イメージセンサによって前記対象物の像を所定時間毎に捉えながら所定長さの時間内にて複数の前記移動ベクトルを求め、当該移動ベクトルを時系列に並べた時系列移動パターンをさらに生成して、当該時系列移動パターンにより当該デバイスの前記変位を検出し、
前記ポインタ移動手段は、前記モデルパターン記憶手段に記憶された前記モデルパターンの中から前記変位検出手段で生成された前記時系列移動パターンに最も近似する当該デバイスの動きがモデル化された当該モデルパターンを選択し、選択された当該モデルパターンに定義付けられた当該移動パターンに従って前記ポインタを移動させることを特徴とするデバイス。
【請求項２】
前記イメージセンサを起動させる操作手段と、をさらに備えることを特徴とする請求項１記載のデバイス。
【請求項３】
前記操作手段は、前記表示画面の上において、前記ポインタで指したオブジェクトの選択または当該オブジェクトに定義付けられた所定の処理の実行を命令する機能を具備することを特徴とする請求項２記載のデバイス。
【請求項４】
当該デバイスは、腕時計型であることを特徴とする請求項１記載のデバイス。
【請求項５】
表示部を備えたデバイスにて、当該表示部に表示されるポインタの位置を移動させるための制御方法であって、
イメージセンサによって前記デバイスに対向する対象物を所定時間毎に捉えながら所定長さの時間内にて複数回撮像し、複数回撮像された当該対象物に関する画像における特定箇所の動きに基づいて当該特定箇所の複数の移動ベクトルを求め、複数の当該移動ベクトルを時系列に並べた時系列移動パターンを生成する第１ステップと、
想定される前記デバイスの動きがモデル化された複数のモデルパターンであって、当該デバイスの動きに対応して前記表示部上での前記ポインタの移動パターンが定義付けられた複数の当該モデルパターンと、生成された前記時系列移動パターンとを比較して、当該モデルパターンの中から当該デバイスの動きが当該時系列移動パターンと最も近似する当該モデルパターンを選択し、選択された当該モデルパターンに定義付けられた当該移動パターンに従って、前記表示部に表示された前記ポインタの表示位置を変更する第２ステップと、を含むことを特徴とするデバイスの制御方法。
【請求項６】
前記第１ステップでは、前記イメージセンサにより撮像された前記対象物に関する基本となる画像における前記特定箇所の位置と、当該基本となる画像とは前記所定時間を隔てて撮像された当該対象物に関する画像における当該特定箇所に対応した箇所の位置とに基づいて、当該特定箇所の前記移動ベクトルを求めることを特徴とする請求項５記載のデバイスの制御方法。
【請求項７】
表示部を備えたデバイスにて、当該表示部に表示されるポインタを移動させる方法であって、
イメージセンサによって前記デバイスに対向する対象物を所定時間毎に捉えながら所定長さの時間内にて複数回撮像し、複数回撮像された当該対象物に関する画像における特定箇所の動きに基づいて当該特定箇所の複数の移動ベクトルを求め、複数の当該移動ベクトルを時系列に並べた時系列移動パターンを生成する第１ステップと、
想定される前記デバイスの動きがモデル化された複数のモデルパターンであって、当該デバイスの動きに対応して前記表示部上での前記ポインタの移動パターンが定義付けられた複数の当該モデルパターンと、生成された前記時系列移動パターンとを比較して、当該モデルパターンの中から当該デバイスの動きが当該時系列移動パターンと最も近似する当該モデルパターンを選択し、選択された当該モデルパターンに定義付けられた当該移動パターンに従って、前記表示部に表示された前記ポインタの表示位置を変更する第２ステップと、を含むことを特徴とするポインタの移動方法。
【請求項８】
前記第１ステップでは、前記イメージセンサにより撮像された前記対象物に関する基本となる画像における前記特定箇所の位置と、当該基本となる画像とは前記所定時間を隔てて撮像された当該対象物に関する画像における当該特定箇所に対応した箇所の位置とに基づいて当該特定箇所の前記移動ベクトルを求めることを特徴とする請求項７記載のポインタの移動方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、携帯型等の情報入力デバイスに用いて好適なデバイス、腕時計型デバイス、デバイスの制御方法、ポインタの移動方法に関する。
【０００２】
【従来の技術】
周知の通り、近年の情報機器の小型化により、いわゆる手のひらサイズ（パームトップ型）の情報機器、さらには腕時計型の情報機器が出現している。
これらの情報機器では、小型化のためにキーボードを備えておらず、表示画面上におけるポインタやカーソルの移動、画面のスクロール、文字の入力等、各種操作を行なうため、２または４方向あるいは全方向に操作可能な、ボタン状、ボール状、レバー状等の形態をなしたポインティングデバイスを備えたものがある。また、これらのポインティングデバイスに代えて、表示画面に触れることによって操作を行なう、いわゆるタッチパネルを備えたものもある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記したような情報機器においてポインティングデバイスを設けると、少なくとも、ボタン、ボール、レバー等の操作部材と、この操作部材を動かす機構と、操作部材の操作を検出する機構とが必要であり、小型化や防水性確保の妨げとなるばかりか、特に腕時計型の情報機器等では、装身具としてのデザインにも影響や制約を受けることとなっていた。
【０００４】
また、デバイスの表示部自体をタッチパネル式とする場合、ある程度のサイズを有した情報機器であれば、タッチペンや指でのタッチによって操作が可能であるが、特に腕時計型の情報機器では、時計とは別にタッチペンを常に携行するのは現実的ではなく、指でタッチすることとなる。しかし、腕時計型の情報機器は表示画面（タッチパネル）が小さいために操作しにくく、指先でタッチしている部分が見にくい等、操作性に大きな問題が生じる。また、表示画面にタッチパネルを備えると、表示画面の透過率が低くなるうえに、表示画面に指紋や汚れがつきやすく、視認性も悪くなる。
【０００５】
加えて、これら小型の情報機器では、連続使用可能時間を長くするために消費電力を抑制することが常に求められている。
本発明は、このような技術的課題に基づいてなされたもので、小型化や防水性の確保を妨げることなく、またデザインにも影響や制約を受けにくく、操作性に優れたデバイス、腕時計型デバイス、デバイスの制御方法、ポインタの移動方法を提供することを主たる目的とする。
また、他の目的は、消費電力を抑制し、連続使用可能時間を最大限長くすることのできるデバイス、腕時計型デバイス、デバイスの制御方法、ポインタの移動方法を提供することにある。
【０００６】
【課題を解決するための手段】
かかる目的のもと、本発明のデバイスは、例えば腕時計型であり、表示画面を備えるとともに、表示画面の上に表示されたポインタを操作することによって所定の処理が実行されるデバイスであって、表示画面の上におけるポインタの表示位置を制御する表示制御手段と、デバイス自体の変位を検出する変位検出手段と、検出したデバイス自体の変位に基づき、表示画面の上においてポインタを移動させるポインタ移動手段と、を含むことを特徴とする。このデバイスでは、表示画面を備えたデバイス自体を動かすと、その変位が検出され、その結果、表示画面上のポインタを移動させることができる。このようにして、従来のように機械的なポインティングデバイスやタッチパネル式の表示画面を用いることなく、デバイスの操作が可能となる。
【０００７】
ここで、変位検出手段としてはイメージセンサを用いることができ、イメージセンサで捉えた像を画像処理することにより、デバイス自体の変位を得ることが可能である。このイメージセンサとしては、相補性金属酸化膜半導体（いわゆるＣＭＯＳ）または電荷結合素子（いわゆるＣＣＤ）、あるいは赤外線センサが好適である。
また、イメージセンサを起動させる操作手段を備えるようにすれば、ポインタの操作を行なわないときにはイメージセンサ（の電源）を切ることができ、消費電力を抑えることができる。さらに、操作手段は、ポインタで指したオブジェクトの選択またはオブジェクトに定義付けられた所定の処理の実行を命令する機能を具備するようにすれば、操作手段が複数の機能を有することとなり、操作手段の数を最小限に抑えることができる。
【０００８】
本発明の腕時計型デバイスは、筐体または装着ベルトに、画面に表示されたオブジェクトに対して所定の操作を行なうためのタッチセンサを備えることを特徴とする。このように、表示部が小さい腕時計型のデバイスにおいて、表示部の周囲にタッチセンサを備えることにより、表示部に触れることなく操作を行なうことができ、操作性に優れる。しかも、機械的なポインティングデバイスでなく、タッチセンサを採用することにより、デバイスの小型化が図れる。
なお、タッチセンサを表示部の両側に設けることにより、操作時におけるデバイスのホールド性が高まる。
【０００９】
このような腕時計型デバイスに、表示部の変位を検出する変位検出部と、その検出結果に基づきポインタの表示位置を変更するポインタ位置変更手段と、をさらに備えて、画面上に表示されるポインタを移動させることもできる。
【００１０】
本発明のデバイスの制御方法は、デバイスに対向する対象物を複数回撮像し、撮像した対象物と表示部との相対変位を検出する第１ステップと、検出された変位に基づき、表示部に表示されたポインタの表示位置を変更する第２ステップと、を含むことを特徴とすることができる。
【００１１】
そして、前記第１ステップでは、複数回撮像された画像における特定箇所の移動ベクトルを求め、求められた移動ベクトルに基づいて、対象物と表示部との相対変位を得ることができる。なお、特定箇所の移動ベクトルを求めるには、基本となる画像（例えば１枚目の画像）における特定箇所の位置と、基本となる画像とは時間を隔てて撮像された他の画像（例えば２枚目の画像）における当該特定箇所に対応した箇所の位置とに基づいて、移動ベクトルを算出する。つまり、１枚目の画像における特定箇所の画像が、２枚目の画像においてどこに移動したのかを求めるのである。
この場合、デバイスを対象物に対して移動させたのであれば、求めた移動ベクトルの符号を反転させ、これに基づいて対象物と表示部との相対変位を得る。
【００１２】
また、前記第１ステップでは、基本となる画像における特定箇所の位置と、他の複数の画像における、前記特定箇所に対応した箇所の位置とに基づいて、特定箇所の時系列移動パターンを生成し、生成された時系列移動パターンと複数のモデルパターンとを比較して、最も近似するモデルパターンを選択するようにしても良い。そして、第２ステップでは、選択されたモデルパターンに定義付けられた移動パターンに基づいて、ポインタの表示位置を変更する。
【００１３】
本発明は、デバイスを移動させたときの変位を検出し、検出された変位に基づいて、表示部に表示されるポインタの表示位置を変更することを特徴とするポインタの移動方法として捉えることができる。
さらに、ユーザによる所定の起動操作が行なわれたときに、デバイスの変位の検出を開始することを特徴とすることもできる。このような構成により、デバイスの変位を検出しない状態では、変位を検出するセンサ等をＯＦＦ状態とすることができ、消費電力を抑えることが可能となる。
【００１４】
【発明の実施の形態】
以下、添付図面に示す第一から第三の実施の形態に基づいてこの発明を詳細に説明する。
[第一の実施の形態]
図１は、本実施の形態における腕時計型デバイスを説明するための図である。この図１において、符号１０は、腕時計型デバイス、１１は腕時計型デバイス１０の本体を構成する筐体、１２は筐体１１の表面側に設けられた例えば液晶表示板からなり、表示画面、画面を構成する表示部、１３Ａおよび１３Ｂは腕時計型デバイスの装着ベルトである。
【００１５】
図１（ａ）に示すように、表示部１２の一部には、変位検出手段、変位検出部としてのイメージセンサ１４が設けられている。イメージセンサ１４は、表示部１２側からこれに対面する方向の像、言い換えれば表示部１２側から（腕時計型デバイス１０の）外側を見た状態での像を撮像する。つまり、腕時計型デバイス１０に対向して表示部１２を覗き込むユーザの顔等を、撮像対象物として撮像するのである。
イメージセンサ１４には、例えば人口網膜用のＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補性金属酸化膜半導体）や、ＣＣＤ（Charge Coupled Device：電荷結合素子）等が好適である。本実施の形態では、必要最小限の解像度が確保でき、しかも消費電力が低いという理由から、３６×３６dot程度のＣＭＯＳをイメージセンサ１４に採用する。
【００１６】
筐体１１の表面側には、例えばその上部と下部に、操作手段として、２個一対のタッチセンサ１５Ａ、１５Ｂが表示部１２の周囲に位置するよう設けられている。
【００１７】
図２に示すように、筐体１１の内部には、表示部１２に表示する内容を制御するための制御部（表示制御手段）２０が収められている。この制御部２０は、所定のプログラムを格納した記憶部２１、記憶部２１に格納されたプログラムに基づいて表示部１２に表示する内容を処理する処理部（ポインタ移動手段、ポインタ位置変更手段）２２、イメージセンサ１４で撮像した画像に基づき所定の処理を実行する画像処理部２３、イメージセンサ１４をＯＮ状態とするためのスイッチ部２４、タッチセンサ１５Ａ、１５Ｂにユーザが触れたことを検出する検出部２５Ａ、２５Ｂ、を備えて構成されている。
【００１８】
処理部２２では、検出部２５Ａ、２５Ｂのいずれかにおいて、タッチセンサ１５Ａ、１５Ｂのいずれかが触れられていることを検出したときに、スイッチ部２４でイメージセンサ１４を起動させるよう命令を出す。また、この処理部２２は、イメージセンサ１４がＯＮ状態にあるときに、検出部２５Ａ、２５Ｂの双方でタッチセンサ１５Ａ、１５Ｂが触れられていることを検出したときには、画像処理部２３において、イメージセンサ１４で撮像した画像に対し所定の画像処理を実行させる。そして、その結果に基づいて、図１に示したポインタＰの移動処理を実行し、表示部１２の表示画面上でのポインタＰの表示位置を変える。加えて、この処理部２２は、図１に示したように、表示画面上においてポインタＰでアイコン（Ｉ１〜Ｉ４のいずれか）を指している状態で、検出部２５Ａ、２５Ｂでタッチセンサ１５Ａ、１５Ｂのいずれかがタッピングされたことを検出したときには、クリック操作が行なわれたと判断し、記憶部２１に格納されたプログラムに基づいて所定の処理を実行する。
【００１９】
図１（ｂ）に示すように、このような腕時計型デバイス１０は、装着ベルト１３Ａ、１３Ｂによって、ユーザの腕等に装着される。そして、腕時計型デバイス１０の表示部１２には、記憶部２１に格納されたプログラムに基づき、所定の表示内容が表示される。ここでは、パーソナルコンピュータや各種携帯型情報端末等と同様、表示部１２の表示画面にアイコンやメニュー等が表示される。
本実施の形態では、例えば、図１（ａ）に示したように、表示部１２の表示画面に、初期画面として、オブジェクトとしての複数のアイコンＩ１〜Ｉ４が表示される。これとともに、表示部１２には、操作を行なうためのポインタＰが表示される。
腕時計型デバイス１０では、通常のパーソナルコンピュータ等においてマウス等で操作するポインタと同様、ポインタＰを表示部１２の表示画面内で移動させることにより、種々の操作を行なう。例えば、任意のアイコン（例えばＩ１）をポインタＰで指し、この状態で、所定の操作（例えばダブルクリック）を行なうことにより、このアイコンＩ１に定義付けられている所定の処理が実行される。
【００２０】
さて、本実施の形態の腕時計型デバイス１０において、ポインタＰを表示部１２の表示画面内で移動させるには、マウスやタッチパネルは言うまでも無く、ボタン状、ボール状、レバー状等のポインティングデバイスすら必要ではなく、腕時計型デバイス１０を動かしさえすれば良いのである。腕時計型デバイス１０を腕に装着しているのであれば、腕を動かしても良い。
通常でも、腕に腕時計を装着した場合には、装着ベルトにゆとりがあるため、腕を動かさなくとも腕（手首）の上で時計のみを動かすことが可能である。そこで、図１（ｂ）に示したように、本実施の形態では、腕時計型デバイス１０を装着した側とは反対側の手でこの腕時計型デバイス１０を掴み、図中矢印の如く腕の上で動かせば良いのである。
【００２１】
このときに、表示部１２に設けられたイメージセンサ１４で撮像する画像の撮像範囲内における、撮像対象物（例えば表示部１２を覗き込んでいるユーザの頭部）の移動ベクトルを基に、腕時計型デバイス１０の変位ベクトルを検出し、この変位ベクトルに基づいて表示部１２に表示されるポインタを移動させる。以下、図３のフローチャートを参照しつつ、その詳細な流れを説明する。
【００２２】
まず、腕時計型デバイス１０における処理としては、イメージセンサ１４がＯＦＦの状態（ステップＳ１００）で、ユーザによる所定の起動操作として、タッチセンサ１５Ａ、１５Ｂのいずれか一方に指等による接触がなされたことを検出部２５Ａ、２５Ｂで検出したときには（ステップＳ１０１）、イメージセンサ１４をＯＮにする（ステップＳ１０２）。
【００２３】
続いて、イメージセンサ１４をＯＮにした後、所定の時間（タイマで計測する）内にタッチセンサ１５Ａ、１５Ｂが触れられているかどうかを検出部２５Ａ、２５Ｂで検出する（ステップＳ１０３）。所定の時間内に検出できない場合には、イメージセンサ１４をＯＦＦにし、待機状態に戻す（ステップＳ１０４）。
所定の時間内にタッチセンサ１５Ａ、１５Ｂが触れられていることを検出したときには、タッチセンサ１５Ａ、１５Ｂの双方が触れられているかどうかを検出し、双方が同時に触れられていなければ、後述のステップＳ１０９に移行する（ステップＳ１０５）。
【００２４】
タッチセンサ１５Ａ、１５Ｂの双方が触れられていることを検出したときには、画像処理部２３において、イメージセンサ１４で撮像した画像を基に、オプティカルフローを生成する（ステップＳ１０６）。
オプティカルフローを生成するには、画像処理部２３において、所定時間（例えば３２msec）毎に、イメージセンサ１４で撮像した画像を取り込む。そして、図４に示すように、取り込んだ画像において、複数個（図４の例では３×３＝９個）の参照画像領域（特定箇所）ＲＡを設定し、それぞれの参照画像領域ＲＡにおいて、所定時間後の画像との間で移動ベクトル（図４中に示した矢印）を算出する。
【００２５】
図５は、各参照画像領域ＲＡにおける移動ベクトルの算出方法を説明するためのもので、この図５では、説明を単純化するため、画像に一つのみの参照画像領域ＲＡを設定している。
図５（ａ）に示すように、時間ｔ0に取り込んだ基本となる画像Ｐｔ0において、参照画像領域ＲＡが所定位置に設定され、この参照画像領域ＲＡに対し、参照画像領域ＲＡよりも広い所定の大きさを有した探索領域ＳＡが設定される。この探索領域ＳＡは、表示部１２の表示画面に対して設定されるものであり、いわば固定されている。そして、所定時間経過後の時間ｔ1に取り込んだ画像Ｐｔ1において、参照画像領域ＲＡと同じ大きさを有した対象画像領域ＯＡを、図５（ｂ）中の矢印の如く探索領域ＳＡ内でスキャンさせ、基本となる画像Ｐｔ0の参照画像領域ＲＡ内の参照画像Ｔと最も差の小さい位置を探す。このときには、基本となる画像Ｐｔ0の参照画像領域ＲＡ内の参照画像Ｔと、画像Ｐｔ1における対象画像領域ＯＡ内の対象画像Ｉとの違いを得るため、次式で求める残差Ｒを用いる。
【００２６】
【数１】
0003785902.tif 000002
【００２７】
なお、数１の式において、ｉは対象画像Ｉ、参照画像ＴにおけるＸ方向（例えば図において左右方向）の画素の位置、ｊは対象画像Ｉ、参照画像ＴにおけるＹ方向（例えば図において上下方向）の画素の位置、Ｍは対象画像領域ＯＡおよび参照画像領域ＲＡのＸ方向の画素数、Ｎは対象画像領域ＯＡおよび参照画像領域ＲＡのＹ方向の画素数、である。
【００２８】
図５（ｃ）に示すように、画像Ｐｔ1において対象画像領域ＯＡを探索領域ＳＡ内でスキャンさせたときに、数１の式によって求められる残差Ｒの最も小さい位置の対象画像Ｉが、基本となる画像Ｐｔ0の参照画像Ｔに対応した位置であり、参照画像Ｔの移動先であるとされる。これにより、所定時間（ｔ1−ｔ0）の間における参照画像Ｔの移動ベクトル（図５（ｃ）中の矢印）を求めることができる。
【００２９】
図４に示した各参照画像領域ＲＡに対し、上記と同様にして、それぞれの移動ベクトル（図４中の矢印参照）を求める。なおここで、探索領域ＳＡは、各参照画像領域ＲＡに対して、それぞれ個別に設定するのが好ましい。
このようにして求めた、複数の参照画像領域ＲＡにおける移動ベクトルの分布が、ステップＳ１０６で求めるオプティカルフローである。
【００３０】
続くステップＳ１０７では、オプティカルフローの各移動ベクトルの平均値を算出する。この平均値は、イメージセンサ１４で撮像した画像の、所定時間（ｔ1−ｔ0）における移動ベクトルであるので、次いで、この移動ベクトルの符号（プラス・マイナス）を反転させ、これを腕時計型デバイス１０の移動ベクトルとする。
そして、このようにして求めた腕時計型デバイス１０の移動ベクトルに所定の係数を掛け、表示画面上におけるポインタＰの移動ベクトルに変換し、これに基づいて、表示画面上に表示したポインタＰの表示位置を移動させる（ステップＳ１０８）。
【００３１】
次いで、移動後のポインタＰが、表示画面上のアイコンＩ１〜Ｉ４のいずれかに重なっているか否かを判断する（ステップＳ１０９）。その結果、ポインタＰがアイコンＩ１〜Ｉ４のいずれかに重なっていなければ、ステップＳ１０３に戻ってポインタＰの移動処理を続行し、重なっていれば、予め設定した所定時間の間、タッチセンサ１５Ａ、１５Ｂのいずれかでの操作を待つ（ステップＳ１１０）。そして、検出部２５Ａ、２５Ｂで、所定時間内にタッチセンサ１５Ａ、１５Ｂのいずれかに触れられた回数を検出し、その回数が０回であればステップＳ１０３に戻り、回数が１回であれば、シングルクリック操作がなされたと判断し、ポインタＰが重なっているアイコン（例えばＩ１）が選択された状態となる（ステップＳ１１１）。また検出した回数が２回であれば、ダブルクリック操作がなされたと判断し、ポインタＰが重なっているアイコン（例えばＩ１）に定義付けられた所定の処理、例えば関連付けられたアプリケーションの起動処理がなされる（ステップＳ１１２）。
しかる後、ステップＳ１０３において、タッチセンサ１５Ａ、１５Ｂへの接触を待機しているわけであるが、予め設定された所定時間が経過するまでの間に接触がなされなければ、ステップＳ１０４において、イメージセンサ１４をＯＦＦ状態とする。
【００３２】
このようにして、腕時計型デバイス１０自体を動かすことによって、表示部１２の表示画面上におけるポインタＰの移動操作を行なうことができる。これにより、従来のボタン状等の機械的なポインティングデバイスが不要となり、腕時計型デバイス１０の小型化や防水性の向上を図ることが可能となり、デザインの自由度が高くなる。また、タッチパネル式のように表示部１２に触れる必要も無いため、操作性に優れ、しかも表示部１２に汚れ等がつくのを避けることができる。
【００３３】
加えて、タッチセンサ１５Ａ、１５Ｂがイメージセンサ１４のスイッチとして機能し、タッチセンサ１５Ａ、１５Ｂに触れない限り、イメージセンサ１４が作動しないようになっているので、消費電力を抑制することができ、連続使用可能時間を長く確保できる。しかも、このタッチセンサ１５Ａ、１５Ｂは、表示部１２ではなくその外周部に設けたので、この点においても表示部１２が汚れるのを防止できる。
また、タッチセンサ１５Ａ、１５Ｂの双方に触れた状態で、イメージセンサ１４において移動検出を行なうようにした。このとき、表示部１２を挟んでその上下両側に配したタッチセンサ１５Ａ、１５Ｂに対し、例えば親指と人差し指で触れるようにすれば、腕時計型デバイス１０の筐体１１を安定してホールドすることができ、その移動を容易かつ確実に行なうことができる。
【００３４】
[第二の実施の形態]
次に、本発明に係るデバイス、腕時計型デバイス、デバイスの制御方法、ポインタの移動方法の第二の実施の形態を示す。上記第一の実施の形態では、腕時計型デバイス１０を動かすことにより、表示部１２の表示画面上においてポインタＰを任意の位置に移動できる構成を示したが、以下に示す本実施の形態では、腕時計型デバイスの移動パターンによりカーソルの移動を決定する例を示す。なお、以下の説明において、上記第一の実施の形態と共通する構成については、同符号を付してその説明を省略する。
図６に示すように、本実施の形態の腕時計型デバイス１０’は、第一の実施の形態で示した腕時計型デバイス１０と、装置構成的には全く同様であり、図２に示した制御部２０における処理内容、つまり記憶部２１に格納されているプログラムが異なるのみである。
【００３５】
図６に示すように、この腕時計型デバイス１０’では、表示部１２の表示画面に、初期画面として、例えばアイコンＩ１〜Ｉ４が表示される。そして、この状態で、ポインタとしてのカーソルＣが、アイコンＩ１〜Ｉ４のいずれか一つ（例えばアイコンＩ１）を白黒反転することによって表示されている。
【００３６】
図７のフローチャートに示すように、腕時計型デバイス１０’は、初期状態では、イメージセンサ１４はＯＦＦの状態（ステップＳ２００）となっており、タッチセンサ１５Ａ、１５Ｂのいずれか一方にユーザが指等で触れたことを検出部２５Ａ、２５Ｂで検出したときには（ステップＳ２０１）、イメージセンサ１４をＯＮにする（ステップＳ２０２）。
【００３７】
イメージセンサ１４をＯＮにした後、ステップＳ２０３において、所定の時間内にタッチセンサ１５Ａ、１５Ｂが触れられていなければ、ステップＳ２０４において、イメージセンサ１４をＯＦＦにし、初期状態に戻す。また、所定の時間内にタッチセンサ１５Ａ、１５Ｂが触れられれば、直ちにステップＳ２０５で、タッチセンサ１５Ａ、１５Ｂの双方が触れられているかどうかを検出し、双方が同時に触れられていなければ、後述のステップＳ２１０に移行する。
【００３８】
タッチセンサ１５Ａ、１５Ｂの双方が触れられていることを検出したときには、画像処理部２３において、イメージセンサ１４で撮像した画像を基に、上記第一の実施の形態と同様にしてオプティカルフローを生成し、さらにオプティカルフローの各移動ベクトルの平均値を算出する（ステップＳ２０６）。なお、このステップＳ２０６では、オプティカルフローを、一定時間（例えば１６０msec）の間、イメージセンサ１４で所定時間（例えば３２msec）毎に取り込んだ画像から、時系列的に生成する。
【００３９】
続くステップＳ２０７では、上記移動ベクトルの平均値から、腕時計型デバイス１０’の入力パターンを以下のようにして生成する。
ここで、例えば、前記ステップＳ２０６で、一定時間の間に、図８の（ａ）および（ｂ）の如く、腕時計型デバイス１０’を上方に動かした後、下方に動かしたとする。
すると、ステップＳ２０６で前記一定時間の間に得られるオプティカルフローの移動ベクトルの平均値は、図９（ａ）〜（ｄ）に示すようになる。ここで図９は、一定時間の間、所定時間（例えば３２msec）毎にイメージセンサ１４で取り込んだ画像を時系列にしたがって（ａ）から（ｄ）へと並べたもので、（ａ）は２回目にイメージセンサ１４で取り込んだ画像Ｆ2、（ｂ）は３回目に取り込んだ画像Ｆ3、（ｃ）は４回目に取り込んだ画像Ｆ4、（ｄ）は５回目に取り込んだ画像Ｆ5である。これらの各図において、点線は、前回に画像を取り込んだときの像の位置であり、その位置との差が、移動ベクトルの平均値ν0、ν1、ν2、ν3となる。例えば、画像Ｆ2では、図中点線の位置が１回目に取り込んだ基本となる画像（図示無し）の像（特定箇所）の位置であり、図中実線の像（特定箇所に対応した箇所）の位置との差が、移動ベクトルの平均値ν0となる。
このようにして、一定時間の間に時系列で得られる移動ベクトルの平均値ν0、ν1、ν2、ν3のデータの連なりの時系列移動パターンＡは、
Ａ＝（ν0，ν1，ν2，ν3）
で表される。
【００４０】
一方、記憶部２１には、予め、複数のモデルパターンを登録しておく。このモデルパターンは、カーソルＣを操作するときに想定される腕時計型デバイス１０’の動きをモデル化したデータである。そして、各モデルパターンは、所定方向（例えば上下左右の計４方向）へのカーソル移動、およびカーソル移動無し、のいずれかの移動パターンに定義付けられている。図６は、表示部１２に表示されたカーソルＣが、アイコンＩ１〜Ｉ４の間で上下左右の計４方向に移動する様子を示すものである。例えばカーソルＣが右方向に移動する移動パターンであれば、図６左上のアイコンＩ１上から、図６右上のアイコンＩ３上へと、カーソルＣの表示位置が移動する。
【００４１】
このようにして登録された複数のモデルパターンと、ステップＳ２０７で得られた時系列移動パターン（入力パターン）Ａとのパターンマッチングを行ない、複数のモデルパターンの中から最も近似するモデルパターンを認識させる（ステップＳ２０８）。
【００４２】
これに続くステップＳ２０９で、認識されたモデルパターンに定義付けられた移動パターンに従い、表示部１２に表示されたカーソルＣを移動させる（カーソル移動無しのモデルパターンに近似する場合、カーソルＣは移動させない）。例えば図９に示した時系列移動パターンＡの例では、時系列移動パターンＡは、カーソルＣを上方向に移動させようとするときのモデルパターンに近似する、と認識され、このモデルパターンに定義付けられた移動パターン（カーソルＣの上方向への移動）に従い、表示部１２に表示されたカーソルＣが上方向に移動される。
このように、腕時計型デバイス１０’を移動させたときの時系列移動パターンＡに基づき、図６に示したように、カーソルＣを上下左右に移動操作することができる。
【００４３】
このようにしてカーソルＣの移動が行なわれた後（移動しない場合もある）、ステップＳ２１０において、検出部２５Ａ、２５Ｂで、所定時間内にタッチセンサ１５Ａ、１５Ｂのいずれかに触れられた回数を検出する。検出した回数が０回であれば、ステップＳ２０３に戻り、また検出した回数が２回であれば、ダブルクリック操作がなされたと判断し、カーソルＣが重なっているアイコン（例えばＩ１）に定義付けられた所定の処理、例えば関連付けられたアプリケーションの起動処理がなされる（ステップＳ２１１）。
【００４４】
上述したようにして、腕時計型デバイス１０’では、前記第一の実施の形態の腕時計型デバイス１０と同様、腕時計型デバイス１０’自体を動かすことによって、表示部１２の表示画面上におけるカーソルＣの移動操作を行なうことができる。これにより、デザインの自由度を高めるとともに、腕時計型デバイス１０’の小型化、防水性や操作性の向上、表示部１２の汚れ防止等、前記第一の実施の形態と同様の効果を奏することができる。
ところで、前記第一の実施の形態では、移動後のポインタＰがアイコンＩ１〜Ｉ４以外の位置に表示されることもあるのに対し、本実施の形態では、カーソルＣがアイコンＩ１〜Ｉ４の間で移動（移動しない場合もある）し、常にいずれかを指すことになるので、カーソルＣの移動操作がより容易である。
【００４５】
なお、上記第二の実施の形態では、カーソルＣの移動パターンとして、上下左右の計４方向を挙げたが、これに限るものではなく、さらに斜め方向等を加えても良いし、また表示部１２へのアイコンや操作メニューの表示によっては、上下方向のみあるいは左右方向のみ等とすることも可能である。
また、時系列移動パターンＡとモデルパターンをマッチングさせるためのマッチング手法、あるいは時系列移動パターンＡの生成手法等については、腕時計型デバイス１０’を動かしたときにカーソルＣの移動方向を所定の方向に定義付ける、という所要の目的を達成することができるのであれば、いかなる手法を用いても良い。
さらに、上記第二の実施の形態では、カーソルＣを移動させるようにしたが、同様の手法によりポインタＰを移動させることも可能である。
【００４６】
また上記第一および第二の実施の形態では、腕時計型デバイス１０、１０’の移動を検出するためにイメージセンサ１４を用い、イメージセンサ１４で捉えた像を基準とする構成としたが、同様に像を捉えるという主旨からすれば、イメージセンサ１４として赤外線センサ等を用いることも十分に可能である。赤外線センサを用いれば、暗所であっても像を捉えることができる。
さらに、このイメージセンサ１４を表示部１２に備えるようにしたが、撮像対象となる像を捉えることができるのであれば、筐体１１や装着ベルト１３Ａ、１３Ｂ等、他の箇所に設けることも可能である。
【００４７】
また、イメージセンサ１４に代えて感熱センサを用いることも考えられる。感熱センサでは、表示部１２を覗き込むユーザの顔等を、周囲よりも温度の高い発熱体として捉え、腕時計型デバイス１０、１０’を移動させたときに、捉えた像における発熱体の移動を検出するのである。このようにしても、上記第一および第二の実施の形態と同様の構成を実現できる。
【００４８】
[第三の実施の形態]
次に、本発明に係るデバイス、腕時計型デバイス、デバイスの制御方法、ポインタの移動方法の第三の実施の形態を示す。上記第一および第二の実施の形態では、腕時計型デバイス１０、１０’の移動を検出するためにイメージセンサ１４を用いるようにしたが、本実施の形態では、これに代えて、ひずみセンサを用いる例を示す。
図１０は、本実施の形態における腕時計型デバイス５０の側断面図であり、この腕時計型デバイス５０は、表示部１２を表面に備えた本体５１、この本体５１を、表示部１２に沿った面内で移動自在に保持するベース５２、本体５１の裏面側とベース５２との間に備えられたひずみセンサ（変位検出手段）５３、装着ベルト５４Ａおよび５４Ｂ、を備えている。ベース５２の外周部には、本体５１側に立ち上がる周壁部５２ａが形成されており、ベース５２に対する本体５１の移動を、所定の範囲内の寸法に規制する。
【００４９】
この腕時計型デバイス５０は、前記第一および第二の実施の形態で示した腕時計型デバイス１０、１０’のイメージセンサ１４に代えて、ひずみセンサ５３を備えたもので、ベース５２に対して相対移動可能な本体５１の動きをひずみセンサ５３で検出し、これに基づいて、表示部１２に表示したポインタＰ（図１参照）やカーソルＣ（図６参照）を移動させる。検出した本体５１の動きから、ポインタＰやカーソルＣを移動させる方法については、前記第一または第二の実施の形態と同様の方法を用いれば良いので、ここではその説明を省略する。
なお、ひずみセンサ５３では、本体５１とベース５２との間での垂直方向（本体５１とベース５２を結ぶ方向）のひずみを検出し、これをクリック操作とすることもできる。
【００５０】
このような腕時計型デバイス５０は、装着ベルト５４Ａ、５４Ｂによって、ユーザの腕等に装着される。これにより、ベース５２は、ユーザの腕側に固定された状態となる。そして、ユーザは、本体５１を指で持ち、ポインタＰやカーソルＣを移動させたい方向に本体５１を移動させる。このとき、上記第一および第二の実施の形態と同様、本体５１に、タッチセンサ１５Ａ、１５Ｂ（図１参照）を同様の位置に備えれば、腕時計型デバイス１０、１０’と同様の操作方法となる。
ユーザが本体５１を移動させると、ベース５２との間で相対変位が生じ、これがひずみセンサ５３によって検出され、これに基づいて、本体５１の移動ベクトルを得ることができるので、この移動ベクトルに基づいて、ポインタＰやカーソルＣを移動させる。
【００５１】
上記した腕時計型デバイス５０においても、前記第一および第二の実施の形態と同様の効果が得られる。
【００５２】
なお、上記第三の実施の形態では、本体５１とベース５２との間にひずみセンサ５３を備える構成としたが、ベース５２を省略した構成とすることも考えられる。つまり、腕時計型デバイス５０の裏側にひずみセンサ５３を備え、このひずみセンサ５３が、腕時計型デバイス５０を装着するユーザの腕に当接するようにするのである。このようにすれば、腕時計型デバイス５０を動かしたときに、腕との間での相対変位がひずみセンサ５３で検出され、上記第三の実施の形態と同様の効果が得られる。このとき、本体５１に装着ベルト５４Ａ、５４Ｂを取り付けるのは言うまでもないことである。
【００５３】
また、ポインタＰやカーソルＣを動かすために腕時計型デバイス自体を移動させ、これを検出するという主旨からすれば、加速度センサを腕時計型デバイスに内蔵するようにしても良い。
【００５４】
さらに、表示部１２に触れずに操作を行なう、という捉え方からすれば、図１１に示すように、腕時計型デバイス６０の本体６１の上下に取り付けられた装着ベルト６２Ａ、６２Ｂに、タッチセンサ６３Ａ、６３Ｂを、表示部１２の周囲に位置するよう備えても良い。そして、このタッチセンサ６３Ａ、６３Ｂにより、表示部１２上に表示されるポインタＰ（図１参照）やカーソルＣを移動操作するのである。
ここで、例えばタッチセンサ６３Ａでは、触れた指の左右方向の動きを検出し、タッチセンサ６３Ｂでは、触れた指の上下方向の動きを検出し、これらに基づいてポインタＰやカーソルＣの移動操作を行なうようにしても良い。
このような腕時計型デバイス６０では、表示部１２の上下に設けられたタッチセンサ６３Ａ、６３Ｂで操作を行なうので、表示部１２が汚れることもなく、またメカニカルな操作部材が不要であるので、小型化や防水性の向上、およびデザインの自由化等の面では十分に効果を得ることが可能である。
また、これらタッチセンサ６３Ａ、６３Ｂの部分を本体と一体化し、ここに装着ベルト（図示無し）を装着するようにしても良く、このような構成により、装着ベルトをユーザの好みに応じて交換することが可能となる。
【００５５】
なお、上記各実施の形態において、表示部１２には、アイコンＩ１〜Ｉ４を表示する例を挙げたが、その数や配置、起動されるアプリケーションの種類や内容等は何ら問うものでない。またアイコンＩ１〜Ｉ４ではなく、操作メニュー等を文字列で表示するようにしても良い。
また、例えば、表示部１２において文字入力等を行なう場合、入力位置を示すカーソルの移動等も上記構成を適用することによって可能である。
【００５６】
さらに、上記各実施の形態では、タッチセンサ１５Ａ、１５Ｂを備え、これによって、各種操作を行なうようにしたが、その設置位置や数はもちろんのこと、タッチセンサ１５Ａ、１５Ｂに変わるスイッチ等を用いても良い。その場合、元々他の用途のために設けられているスイッチを利用すれば、新たにスイッチを設ける必要はない。
また、ポインタＰやカーソルＣがアイコンＩ１〜Ｉ４上にあるときにタッチセンサ１５Ａ、１５Ｂを触れることによって、いわゆるクリック操作を行なうようにしたが、これに代えて、他の操作方法を用いても良い。例えば、予め決められた所定の動作を、イメージセンサ１４で撮像することによって検出してもよい。一例を挙げれば、ユーザが、ユーザの顔に接近・離間する方向に腕時計型デバイス１０、１０’を動かし、イメージセンサ１４で撮像した画像でこの動作を検出したときに、クリック操作がなされたと判断するのである。
【００５７】
また、上記各実施の形態では、デバイスが腕時計型をなしている例を示したが、これ以外にも、パームトップ型の携帯型情報端末や、デジタルカメラ、携帯型電話端末等の各種機器にも同様に適用が可能である。携帯型電話端末等において、カメラ機能を備えたいわゆるテレビ電話型のものでは、前記カメラをイメージセンサとして用いることが可能である。
また、ノートブック型、デスクトップ型のパーソナルコンピュータ等であっても本発明を適用することが可能であり、このような場合、パーソナルコンピュータ自体を動かすことは困難であるので、例えばモニタやキーボードにイメージセンサを設け、このイメージセンサの前で手を動かす等して、その像の動作を捉えることにより上記実施と同様のポインタＰやカーソルＣの操作が可能となる。このような構成を備えたパーソナルコンピュータ等は、特に身体障害者向けとして有効である。
【００５８】
【発明の効果】
以上説明したように、本発明によれば、デザインの自由度を高めるとともに、デバイスの小型化、防水性や操作性の向上、表示画面の汚れ防止等、といった効果が得られ、また、電力消費を抑えることも可能である。
【図面の簡単な説明】
【図１】  本実施の形態における腕時計型デバイスを示す図であって、（ａ）は正面図、（ｂ）は腕に装着した腕時計型デバイスを操作する状態を示す図である。
【図２】  腕時計型デバイスの構成を示すブロック図である。
【図３】  第一の実施の形態において、ポインタを移動させるときの処理の流れを示す図である。
【図４】  イメージセンサで取り込んだ像の例を示す図である。
【図５】  イメージセンサで取り込んだ画像における画像処理の流れを示す図であり、（ａ）は１枚目の画像に設定した参照画像領域と探索領域の例、（ｂ）は２枚目の画像において探索領域内で対象画像領域をスキャンさせる状態、（ｃ）は参照画像領域に対応した対象画像領域の位置、をそれぞれ示している。
【図６】  第二の実施の形態において、カーソルが移動する様子を示す図である。
【図７】  カーソルを移動させるときの処理の流れを示す図である。
【図８】  腕時計型デバイスの操作例を示す図であり、（ａ）はまず腕時計型デバイスを上方に動かし、（ｂ）は続いて下方に動かす状態を示す。
【図９】  図８のように腕時計型デバイスを操作したときに得られる時系列移動パターンを（ａ）〜（ｄ）へと時系列順に示す図である。
【図１０】  腕時計型デバイスの他の例を示す側断面図である。
【図１１】  腕時計型デバイスのさらに他の例を示す図である。
【符号の説明】
１０、１０’、５０、６０…腕時計型デバイス、１１…筐体、１２…表示部（表示画面）、１３Ａ、１３Ｂ、５４Ａ、５４Ｂ、６２Ａ、６２Ｂ…装着ベルト、１４…イメージセンサ（変位検出手段、変位検出部）、１５Ａ、１５Ｂ…タッチセンサ（操作手段）、２０…制御部（表示制御手段）、２１…記憶部、２２…処理部（ポインタ移動手段、ポインタ位置変更手段）、２３…画像処理部、２４…スイッチ部、５１、６１…本体、５２…ベース、５３…ひずみセンサ（変位検出手段）、６３Ａ、６３Ｂ…タッチセンサ、Ａ…時系列移動パターン、Ｃ…カーソル（ポインタ）、Ｉ１、Ｉ２、Ｉ３、Ｉ４…アイコン（オブジェクト）、Ｉ…対象画像、Ｔ…参照画像、ＯＡ…対象画像領域、Ｐ…ポインタ、ＲＡ…参照画像領域（特定箇所）、ＳＡ…探索領域
【図１】
0003785902.tif 000003
【図２】
0003785902.tif 000004
【図３】
0003785902.tif 000005
【図４】
0003785902.tif 000006
【図５】
0003785902.tif 000007
【図６】
0003785902.tif 000008
【図７】
0003785902.tif 000009
【図８】
0003785902.tif 000010
【図９】
0003785902.tif 000011
【図１０】
0003785902.tif 000012
【図１１】
0003785902.tif 000013