(57)【要約】      （修正有）【課題】ユーザが装置から離れた場所にいて，かつリモコンを使うことができないなど，装置に装備されたインタフェース部品を直接操作することができない場合において，情報機器操作に頻出する重要な操作である項目選択操作を円滑に行う方法を提供する。【解決手段】項目選択の基本方式として，装置が表示する選択項目の候補を，ユーザが変更するか確定するかを指定することによって行う方式を採用し，この変更の意思表示に動作状態の循環的な連鎖で表現できる連続動作を選び，また，確定する意思表示にこれと混同の少ない動作を選び，これらの動作を動作状態の識別機能を持つ動作認識手段によって識別する。【選択図】図１
2010079848.tif 000002
【特許請求の範囲】
【請求項１】
選択項目の候補をユーザに表示する候補表示手段と，ユーザの要求の入力手段と，ユーザの要求が候補変更か確定かを識別する要求識別手段と，制御手段を持ち，該制御手段は該要求識別手段から候補変更要求を受けると項目を選んでこれを新たな候補とするとともに候補表示手段に表示し，該要求識別手段から確定要求を受けると現在の候補を選択項目として確定することによって，項目集合に属する任意の項目を選択する候補変更−確定型項目選択方法であって，該入力手段はユーザがインタフェース部品に直接触れることなく行う動作によって変化する物理量を計測するセンサを持ち，該要求識別手段は前記センサの出力を時間間隔毎に分析して特徴量の時系列を算出する特徴量算出手段と，該特徴量を用いて連続動作を識別する手段と，該連続動作を構成する動作状態を識別する手段を持つことを特徴とする項目選択方法。
【請求項２】
前記の請求項１に記載の項目選択方法であって，前記物特徴量算出手段が算出した特徴量の時系列の履歴の格納手段と，動作状態識別手段が求める動作状態の履歴の格納手段と，該特徴量の履歴と動作状態の履歴とを用いて，特徴量の算出手段あるいはおよび動作モデルの振る舞いを調整するための調整パラメタを出力する調整パラメタ算出手段を持つことを特徴とする，項目選択方法。
【請求項３】
前記の請求項２に記載の項目選択方法であって，前記センサの出力を受けて，ユーザの要求動作が開始要求動作であったかどうかを識別する要求識別手段２を持ち，該要求識別手段２は前記センサの出力を時間間隔毎に分析して特徴量の時系列を算出する特徴量算出手段２と，該特徴量から要求動作を行った動作位置を計算する動作位置算出手段を持ち， 該要求識別手段が出力する開始要求は，項目選択のための操作を開始するトリガとして用いられるとともに，該動作位置は前記の調整パラメタ算出手段において前記調整パラメタの算出に用いられることを特徴とする項目選択方法。
【請求項４】
前記の請求項２に記載の項目選択方法であって，前記センサの出力を受けて，ユーザの要求動作が調整要求動作であったかどうかを識別す要求識別手段３を持ち，該要求識別手段は前記センサの出力を時間間隔毎に分析して特徴量の時系列を算出する特徴量算出手段３と，該特徴量から要求動作を行った動作位置を計算する動作位置算出手段２を持ち，該動作位置は前記の調整パラメタ算出手段において前記調整パラメタの算出に用いられることを特徴とする項目選択方法。
【請求項５】
内部状態表示手段を持ち，回転体を表現する形状と回転の角度を表現するマークを持つ，いわゆるジョグダイヤルを模した形状を内部状態表示手段を用いて表示し，ユーザの動作状態に関する推定値を該ジョグダイヤルを模した形状を用いて表示することを特徴とする請求項１に記載の項目選択方法。
【請求項６】
選択項目の候補をユーザに表示する候補表示手段と，ユーザの要求の入力手段と，ユーザの要求が候補変更か確定かを識別する要求識別手段と，制御手段を持ち，該制御手段は該要求識別手段から候補変更要求を受けると項目を選んでこれを新たな候補とするとともに候補表示手段に表示し，該要求識別手段から確定要求を受けると現在の候補を選択項目として確定することによって，項目集合に属する任意の項目を選択する候補変更−確定型項目選択装置であって，該入力手段はユーザがインタフェース部品に直接触れることなく行う動作によって変化する物理量を計測するセンサを持ち，該要求識別手段は前記センサの出力を時間間隔毎に分析して特徴量の時系列を算出する特徴量算出手段と，該特徴量を用いて連続動作を識別する手段と，該連続動作を構成する動作状態を識別する手段を持つことを特徴とする項目選択装置。
【請求項７】
前記の請求項６に記載の項目選択装置であって，前記物特徴量算出手段が算出した特徴量の時系列の履歴の格納手段と，動作状態識別手段が求める動作状態の履歴の格納手段と，該特徴量の履歴と動作状態の履歴とを用いて，特徴量の算出手段あるいはおよび動作モデルの振る舞いを調整するための調整パラメタを出力する調整パラメタ算出手段を持つことを特徴とする，項目選択装置。
【請求項８】
前記の請求項７に記載の項目選択装置であって，前記センサの出力を受けてユーザの要求動作が開始要求動作であったかどうかを識別する要求識別手段２を持ち，該要求識別手段２は前記センサの出力を時間間隔毎に分析して特徴量の時系列を算出する特徴量算出手段２と，該特徴量から要求動作を行った動作位置を計算する動作位置算出手段を持ち， 該要求識別手段が出力する開始要求は，項目選択のための操作を開始するトリガとして用いられるとともに，該動作位置は前記の調整パラメタ算出手段において前記調整パラメタの算出に用いられることを特徴とする項目選択装置。
【請求項９】
前記の請求項７に記載の項目選択装置であって，前記センサの出力を受けて，ユーザの要求動作が調整要求動作であったかどうかを識別す要求識別手段３を持ち，該要求識別手段は前記センサの出力を時間間隔毎に分析して特徴量の時系列を算出する特徴量算出手段３と，該特徴量から要求動作を行った動作位置を計算する動作位置算出手段２を持ち，該動作位置は前記の調整パラメタ算出手段において前記調整パラメタの算出に用いられることを特徴とする項目選択装置。
【請求項１０】
内部状態表示手段を持ち，回転体を表現する形状と回転の角度を表現するマークを持ついわゆるジョグダイヤルを模した形状を，内部状態表示手段を用いて表示し，ユーザの動作状態に関する推定値を該ジョグダイヤルを模した形状を用いて表示することを特徴とする請求項６に記載の項目選択装置。
【請求項１１】
実インタフェース部品としてのジョグダイヤル，あるいは，タッチパッド等を用いて構成した仮想インタフェース部品としてのジョグダイヤルのいずれかを装備したリモコン装置を持つことに特徴を持つ，請求項１０に記載の項目選択装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，入力装置、入力システム、グラフィカルユーザインタフェース及びグラフィカルユーザインタフェース操作方法に関する。
【背景技術】
【０００２】
複数の項目からなる項目集合の中からある項目を選ぶ項目選択操作は，情報機器の利用において頻出する重要な操作である。パソコン操作においてメニューを手繰ってコマンドを選ぶ操作が典型的な例であるが，テレビ操作においてチャンネル選択する操作も，画像編集においてビデオクリップの中からあるひとコマを選択する操作も，オーディオのボリュームをある値に設定する操作も，広くみればこの項目集合の中から項目を選択する操作の例と見ることができる。
通常，項目選択操作は，ダイレクトポインティング型と，ここで候補変更−確定型呼ぶ方式のふたつに大別される。
ダイレクトポインティング型項目選択方式では，ユーザは，グラフィックディスプレイ等に表示された項目群の中から選択しようとする項目をマウス等のポインティングデバイスで直接触れることで選択操作が実現される。
候補変更−確定型項目選択方式では，選択の候補となる項目がハイライトされるなどして他の項目と区別して表示される，あるいは選択の候補だけが表示される枠組みの中で，ボタン操作やジョグダイヤル操作で選択の候補を変更する操作を繰り返し，選択しようとする項目が候補として選ばれた段階で確定ボタンを押すことで選択操作が実現される。
両者には，一長一短がある。一般的にいって，項目集合を一度に表示できるだけのスペースを表示装置が持ち，各項目の表示領域を瞬時に指示できる仕組みがある場合には，ダイレクトポインティング型が有利であり，そうでない場合は候補変更−確定型が有利である。
本発明は，装置から離れた場所でリモコンを使うことなく装置を操作する場合など，装置に装備されたインタフェース部品を直接操作できない環境において，項目集合から所望の項目を選択する方法およびその装置を実現するものである。
上述のような目的のためにこれまでの開発された技術としては，次のようなものがある。
【０００３】
例えば，ソニー・コンピュータエンタテインメントから発売されたアイトーイ・プレイにはダイレクトポインティングによる項目選択方法として次のようなインタフェースが装備されている。システム表示装置上に複数の項目が表示されるとともに，カメラで取得したユーザの画像が同じ表示装置上にユーザの分身として重ね合わせて表示される。ユーザは，表示装置上に投影された自分の手が，選択したい項目にちょうど重なるように自分の体を動かす。システムは一定時間項目位置とユーザの手が重なった場合にその項目が選択されたものと判断する。このことによって，ユーザはインタフェース部品に触ることなく，項目選択をすることが可能になっている。
【０００４】
ビクターが２００７年のCEATECで発表した「拍手音＆ジェスチャ認識テレビ」では，アイトーイ・プレイと同様に指先の部分を表示装置上のアイコンに重ねることでアイコンを選択し，指先を曲げることで決定する機能が実装されている。
【０００５】
以上は，いずれもダイレクトポインティング型である。候補変更−確定型は，先に述べたような有用な場面があるにもかかわらず見当たらない。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明が扱う課題は，ユーザが装置から離れたいてかつリモコンを使うことができない場面など，装置に装備されたインタフェース部品を直接操作することができない環境において，情報機器操作時に頻出する重要な操作である項目選択操作を円滑に行う方法を提供することにある。
アイトーイ・プレイや拍手音＆ジェスチャ認識テレビは，システム内部におけるユーザの操作状態の解釈を表示装置に表示することでユーザが次にどのように動作をすれば項目選択ができるかをガイドしたものである。このとき，ユーザは，離れた画面に表示された自分の分身の手を，画面上の指定された部分に動かすことを求められることになるが，画面と離れた自由空間での手の移動によって，画面上での分身の手の位置合わせをすることは実は容易ではなく，操作に対するユーザの疲労が大きいという問題がある。
また，先に述べたように候補変更−確定型項目選択方法を，装置に装備されたインタフェース部品を直接操作できない条件で実現した例は見当たらないが，これを，アイトーイ・プレイのようにユーザが主体的に表示装置上の分身の位置合わせを行う方法で実現することは容易に考えつく。
例えば，表示装置上に変更ボタンを設け，変更ボタンに一度分身の手を合わせると一回変更要求を発行できるようにして，候補変更−確定型項目選択を実現できる。しかし，この実装では，変更要求を高速に連続して行うためには，ただでさえ疲労が大きい画面上での分身の位置合わせを，繰り返し行う必要が生じ，疲労感は非常に大きなものとなる。
繰り返し連続して変更要求動作を行う代わりに，変更ボタンに分身の手を合わせている間変更要求が繰り返し出力されるような実装も容易に考えられる。しかし，この場合は候補の変更を繰り返すスピードを制御することが難しくなり，円滑な操作感を実現することが困難になるという問題がある。
また，位置合わせに係る労力の問題を軽減するため，一定の姿勢や動作を変更要求や確定要求にあてた上で，パターン認識の技術によってこれらの姿勢・動作を認識し，これらの要求を検出することが考えられる。例えば，円動作を続ける間変更要求が行われ，手振り動作で確定要求が行われるなどが考えられる。しかしこの場合も，変更要求を連続して行うためには，同じ動作を静止動作で区切って行うか，あるいは動作を継続する時間情報を利用することが必要となり，先に挙げた表示装置上で分身の位置合わせをする方法と同様に，候補の変更を繰り返す時のスピード制御の問題を抱えることとなる。
【０００７】
本発明は、かかる問題を考慮した上で、ユーザが操作を行う位置や，行う動作の精度を意識することなく，円滑に項目を選択できる方法と装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明では，項目選択の基本方式として候補変更−確定型項目選択方式を採用した上で，ここで必要となる候補変更要求の検出を，表示画面上の分身の合せ込みや，単なる孤立パターンの認識手段ではなく，複数の動作状態の識別機能を持つ連続動作のパターン認識手段を導入することで実現する。連続動作とは，複数の動作状態の循環的な連結によってモデル化されるもので，例えば，カメラに向かって手で円を描く動作や，繰り返し手を前後あるいは左右に振る動作，首を回す動作，繰り返し声の高低を変える動作，椅子の上で重心を円状に移動する動作など，何度でも続けることができる動作をいう。
ここでいう複数の動作状態の識別機能を持つ連続動作のパターン認識とここでいう単純なパターン認識との違いは，次のように例えられる。手の位置が「上にあること」とか，「手が円を描いていること」，などを認識することが単純なパターン認識とすれば，「手が円を描く一連の動作の中で上にあること」を認識することが複数の動作状態の識別機能を持つ連続動作のパターン認識にあたる。
特定の連続動作における特定状態を検出したとき，候補変更要求を出力する構成をとることで，候補変更要求を連続して円滑に行えるとともに，この変更要求の時間当たりの回数を自由に変えることができる。例えば，円を描く動作において，手が上にある状態と下にある状態の２つの状態を候補変更要求と結びつけておくと，円を一周描いただけで，２回の変更要求を発行できるし，円を何度も描けば回した回数に応じて変更要求を発行できる。円を描くスピードを変えることで，変更要求を発行するスピードも変えることができる。
連続動作の認識手段の中に特定動作状態の識別が組み込まれることで，動作状態の識別をコンテキストを参照しながら行っていることになるから，動作状態の識別精度が向上する。例えば，「円を描く一連の動作の中で手が上にある動作状態」と似た動作状態は，他の動作の中にも数多くある。連続動作の識別と関連付けずに，この動作状態を識別しようとすると，誤識別による湧き出しが多発する。動作の識別を踏まえて，動作状態を識別することで，このような湧き出しを抑えることができる。
また，似たような動作状態でも，コンテキストに応じた区別をすることが可能になり，装置の振る舞いを高度化できる。例えば手を小さく早く回してから横位置で止めた静止動作とそれ以外の静止動作を分けて捉える事ができ，それらに対応する振る舞いを変えることができる。
上記の工夫によって，操作労力の問題と，動作の精度の問題は解決され，動作の位置の問題もある程度減じられるが，動作位置の問題の解決は十分とはいえない。この問題の解決には，単純に連続動作の認識時に用いる特徴量を，位置非依存な量に変換することがひとつの方法として考えられる。例えば，手の動きを，手の位置の時間変化としてとらえるのでなく，手の速度ベクトルの時間変化として捉えることがこれにあたる。しかしながら，速度の情報の信頼度は，位置の信頼度に比べ低く，このような処理を行うと，一般に識別率は低下する。このため，パターン認識では，位置依存情報と位置非依存の情報を適切な重みでバランスよく組み合わせて使うとともに，位置依存情報自体は適当な座標変換によって正規化し，位置依存性を減じることが一般的に試みられている。ここで，この正規化のための変換パラメタを，個々の問題においてどのように定めるかが重要な問題となる。本発明では，まず，パターン識別におけるオンライン適応の技術を適用して変換パラメタを定めることで，動作位置の問題を解決した。オンライン適応は，ユーザが行う動作によって変化する物理量の履歴あるいは，その履歴に一定演算を施して得られる値を用いて行うことができる。
【０００９】
ところで，人間の行う動作は，異なる動作の間でもそれを行う位置に相関関係を持つため，ある動作の動作位置が分かれば，候補変換動作等他の動作の位置もおおよそ見当をつけることができ，位置依存情報の正規化が容易になる。ここでは，装置に操作の開始要求を受け付ける機能を持たせ，この要求を行う動作として，動作の検出と動作位置の特定が簡単な動作を用いることで，開始要求の検出時に位置依存情報の正規化ができるようにする。操作の開始要求を受け付ける機能を持たせることは，本来はインタフェース全体の操作性を向上させる上から必要なことでありが，これが位置依存情報の正規化機能にも貢献することで，機能追加の価値がより高いものとなる。
上記ふたつの方法は，位置情報の正規化をユーザに意識させることなく行うものであるが，ユーザ側が意識して位置情報の正規化を要求し，必要な情報を与えることも有用である。このために，座標変換パラメタの調整をユーザ側から要求するための動作を定め，この動作の操作位置をもって全体の動作の位置情報を正規化できる枠組みを導入した。ここでも，動作の検出と動作位置の特定が簡単な動作を用いる必要がある。
【００１０】
ユーザにジョグダイヤルとその操作点の情報を示し，装置が検出したユーザの動作状態をこのジョグダイヤルを用いてフィードバックすることで，ユーザに，あたかもジョグダイヤルを操作しいるような感覚を持たせることができる。このことで，操作の楽しさが向上する。また，ユーザが動作を始める前にジョグダイヤル上にユーザの動作の初期値を描くことにより，ユーザがその状態から動作を始めるように誘導することができる。このとき動作の検出手段において，ジョグダイヤル上に与えた状態から動作を始める期待値を高めて処理を行うことにより，検出精度を高めることができる。
【００１１】
ここで提案する連続動作による候補変更−確定型項目選択手法は，有用な方法ではあるが，精度の点ではリモコンに及ばない。このため，リモコンを併用することが望まれる。このとき，リモコンの使い勝手を，本発明で提案した連続動作による候補変更−確定型項目選択手法と異なるものにすると，連続動作の使い方に慣れないことが予想される。そこで，センサはタッチパッド等接触型のセンサを用いるものの，残りの部分はここで提案した連続動作による候補変更−確定型項目選択手法を採用したリモコンを導入する。このことによって，リモコン利用時と非使用時において一貫した操作感を与えることができる。
【発明の効果】
【００１２】
本発明により，ユーザは，項目を選択する操作を，装置から離れた位置において，リモコンを使うことなく，また操作を行う位置と精度を意識することなく，円滑に行うことが可能になる。
【００１３】
部分的な手段と効果の関係は以下のとおりである。
【００１４】
項目選択の基本方式として候補変更−確定による方法を採用した上で，必要となる候補変更要求の検出を，複数の動作状態の識別機能を持つ連続動作のパターン認識手段を導入することで，候補変更要求を出力する頻度を自由に変えながら，円滑に候補変更することが容易に実現可能となる。また，動作状態の識別精度が向上する。さらに，似たような動作状態でも，コンテキストに応じた区別をすることが可能になり，装置の振る舞いを高度化できる。
パターン識別におけるオンライン適応の技術を適用して動作検出に必要となる変換パラメタの動的変更を行うこと，開始要求動作および動作調整要求動作の検出時における動作位置情報を有効利用することで，動作位置に対する耐性が向上する。
【００１５】
ジョグダイヤルを用いたフィードバックすることで，ユーザの操作感を向上させるとともに，ユーザの動作を誘導できた。動作を誘導することで，動作の検出精度を高めることができる。
本手法と併用するリモコンに，タッチパッド等接触型のセンサを用いて，ここで提案した連続動作による候補変更−確定型項目選択手法を導入することで，リモコン利用時と非使用時において一貫した操作感を与えることができ，動作での機器操作に早く慣れることができる。
【発明を実施するための最良の形態】
【００１６】
［共通動作の説明］
図１は，提案する連続動作による候補変更−確定型項目選択装置のブロック図１００を示している。
ユーザは，装置のインタフェース部品に直接触れることなく行う動作によって，項目集合１０１にある項目の中から所望項目を選び，選択項目１０２として出力する操作を行う。
ここで項目集合とは，有限集合であっても，無限集合であってもよい。例えば，１年のどれかの月を選ぶのであれば，１月から１２月までの各月が項目集合であり，２月を選んだとすればこれが選択項目となる。例えば，角度を定めるならば，０以上３６０未満の実数が項目集合となり，１０．５度を選んだならば，これが選択項目となる。項目集合は，一連の操作の途中で変更されることがあってもよい。
装置は，選ばれる項目の候補１０３をデータとして持つ。候補表示手段１０４は，ディスプレイ等の表示装置で構成され，候補１０３の変更を検知すると，候補の値をディスプレイに表示してユーザに示す。
ユーザはこの候補を見た上で，動作１０５によって装置に状態の変更を要求する。候補表示手段１０４によって表示された候補が所望の候補であれば確定要求動作を行い，そうでなければ候補変更要求動作を行う。ここで，一般に，候補変更要求動作は動作状態の循環形状の遷移によってモデル化できる連続動作が選ばれ，確定要求動作は候補変更要求動作と区別が容易な動作が選ばれる。確定要求動作と候補要求動作の組み合わせの例としては，カメラと概直交する平面で該直線を描く動作と概円を描く動作の組，カメラに向かってうなずく動作と顔を回す動作の組，手を横に動かす動作と手を縦に繰り返し振る動作の組，椅子に座って前後に体重を移動する動作と回転状に体重を移動する動作の組，声で「確定」と発話する動作と，声の高さを上下に変動させる動作などが考えられる。
１０６は，動作のデータを装置に取り込むためのセンサであり，典型的には使われる動作がジェスチャのときはカメラであり，音のときはマイクロホンであり，体重移動のときは，圧力分布のセンサである。複数のセンサを用いて，複合的な動作を対象としてもよい。
要求識別手段１０７では，特徴量算出１０８，連続動作を含む動作の識別１０９，動作状態の識別１１０を経て得られる動作と動作状態の検出結果を用いて，要求判定手段１１１がユーザの要求が候補変更要求と確定要求とを検出し，この結果を制御手段１１２に出力する。ここで変更要求は必ずしもひととおりに決まるものではなく，例えば，右回りの手の動作を識別したときには変更要求１を出力し，左回りの手の動作を識別したときは変更要求２を出力するなどのように，複数種類の変更要求があってよい。この部分は実施例に依存するので実施例１以降に詳述する。
制御手段１１２は，要求識別手段の出力を受けて，次候補の決定を行う。次候補の決定は，候補集合の要素により循環リストを作っておき，変更要求１のときはこのリストを順方向にたどり，変更要求２のときは逆にたどるなどして行う。次候補は，リスト操作によらず，算術演算によって決めてもよい。例えば，角度を定める例において，変更要求１のときは候補と３６０の中間値を，変更要求２のときは候補と０の中間値を新たな候補とするなどの例がこれにあたる。候補が決まると，制御手段はこれを１０３に格納し，候補表示手段１０５を通じて再度ユーザに提示する。また，制御手段１１６は，要求識別手段１０７から確定要求を受け取ると，現在の候補としている項目を，選択項目１０２として出力する。
【実施例１】
【００１７】
次に，図２を用いて，ユーザが行う要求動作２０１が，候補の決定を要求するときの動作がカメラと概直交する平面で手を用いて概直線を描く動作であり，候補変更を要求するときの動作がカメラと概直交する平面で手を用いて概円を描く動作である場合を例にとって，要求識別手段２００（図１要求識別手段１０７相当部分）の実施例を詳述する。
図中２０２は，ハンドジェスチャを装置に取り込むセンサであるカメラである。例えば，この出力２０３としては，縦４００画素，横６４０画素の分解能で，各画素８ビット階調のデータが秒当たり３０コマ出力される。
特徴量算出手段２０４は，センサ出力２０３を受け取って，画像の特徴量を算出する。例えば，画素毎に勾配法によってオプティカルフローを求め，これを一定サイズのブロック毎に平滑化した上で，平滑して得られるベクトルの中で最も大きいベクトルを（ｓｘ，ｓｙ），それを与える画素位置を（ｘｘ，ｘｙ）として求める。本実施例において識別対象とする動作において，最も早く動いているのは手であるから，ここで得られた平滑化ベクトルの最大値は，手の動作の速度ベクトルを，最大値を与える座標値は手の動作位置を与える。こうして得られたベクトルの組，  Ｘ＝（ｓｘ，ｓｙ，ｘｘ，ｘｙ）を特徴量として定める。またこのとき，特徴量としては，オプティカルフローを単純に主成分分析するなどして，情報圧縮することによって求めてもよい。最後に，Ｘ＝（ｋＡ＋（１−ｋ）Ｉ）Ｘ＋ｋＢ  の補正を行って，最終的な特徴量とする。Ａ，Ｂは後に述べるパラメタ調整のためのもので，初期値では  Ａ＝Ｉ（単位行列），Ｂ＝０としておく。ｋは急激な補正をさけるためのパラメタである。
認識対象となる動作は，動作モデル２０５として記述されている。モデルは図３に示すような状態遷移モデルで表現される。２０４で算出された特徴量を，一時刻毎にベクトルをひとつずつ出力しながら，状態遷移を繰り返す。モデルは，状態毎に出力できる特徴量が満たすべき条件や，遷移ごとに遷移が許される状態条件を規則で確定的に与えることもできるが，ここでは各状態が出力する特徴量と状態遷移をともに確率的に扱う隠れマルコフモデルの考え方に従って説明する。
３１０は，確定要求のための動作を表すためのもので，ここではカメラと概直交する平面上で，該直線を描いた動作を表現する。
３２０は，候補変更要求のための動作を表すためのもので，ここではカメラと概直交する平面上で，概円を描いた動作を表現する。動作表現が，３２０のような環状になる動作を候補変更要求のために用いることが，本発明の特徴のひとつである。
３３０は，ガーベージモデルと呼ばれる確率モデルで，例えば，手を動作開始点まで持っていくための動作など，操作中に現れる上記２動作以外の動作を表現する。
図中３１１，３２１，３３１の二重の円で表したノードは，開始ノードであり，モデル上で各動作の始端を表す。
図中３１２，３２２，３３２の太線の小さな円で表したノードは，終端ノードであり，このノードから，他の動作モデルの始端に繋がることができることを表現する。
図中３１３，３２３，３３３などの円は，動作状態に対応したものである。その状態に遷移するとき各特徴量をどのような確率で出力するかを表す出力確率分布を持つ。
例えば，確定要求に対応する概直線動作を表す３１０における状態１は概直線動作における始端動作を表すものとして設定され，また状態２同直線動作の終端動作を表すものとして設定される。直線動作が左から右への横動作であるならば，状態１は，相対的にｓｘが大きく，ｓｙが０に近く，ｘｘが小さな特徴ベクトルの出力確率が高く，状態２は相対的にｓｘが大きく，ｓｙが０に近く，ｘｘが大きな特徴ベクトルの出力確率が高くしておく。
また，候補変更要求に対応する概円動作を表す３２０における状態１は右回りの円動作における手が最も高い位置ある動作状態を表すものとして設定され，当該位置で手を右に動かしたときの特徴量に対応する，ｓｘ成分とｘｙ成分が相対的に大きい特徴量の出力確率が高くなる。状態２，状態３と順に右回りに手が下りてきて，状態５ではが最も下にあるときの動作状態を表すものとして設定され，当該位置で手を左に動かしたときの特徴量が出力されやすくなる出力確率分布をもたせておく。
【００１８】
上記２つの動作以外の動作を表す３３０の状態１には，３１０，３２０にくらべ，偏りのない出力確率分布を持たせる。
【００１９】
このような確率分布は，学習データを与えることで，自動的に学習することができる。
図中３１４，３２４，３３４は，状態遷移の可能性を表すアークであり，アークの始端からアークの終端への遷移しやすさを表す状態遷移確率を持つ。
図２尤度計算手段２０５は，特徴量算出手段が出力する特徴量を受けて，図３の各モデルの各状態が，現在の動作状態としてどの程度ふさわしいかを表す確率を算出する。
例えば，時刻ｔに状態Ｓｉにいる確率を，α（ｉ，ｔ）と表すことにする。状態Ｓｉから状態Ｓｊへの遷移確率をｂ（ｉ，ｊ）とし，状態ｊで特徴量Ｘを出力する確率をａ（ｊ，Ｘ）とすれば，時刻ｔ＋１において，状態ｉにいる確率α（ｊ，ｔ＋１）は，
α（ｊ，ｔ＋１）＝Σ＿ｉ  α（ｉ，ｔ）×ｂ（ｉ，ｊ）×α（ｊ，ｔ＋１）
と書ける。この方法を用いて，すべての動作のすべての動作状態の尤度を計算する。
各モデルの尤度が与えられると，動作識別手段２０７は，現在どの動作を行っている可能性が最も高いかを調べ，動作状態識別手段２０８はその動作においてどの動作状態にある可能性が最も高いかを調べ，これを要求判定部２０９に送る。
要求判定手段２０９は，状態列と出力するべき要求の関係規則を持っており，２０７，２０８の出力を受けて，この規則に従って状態列を検査し，定義された状態列が見つかったとき，対応する要求を出力する。
例えば，動作識別手段が確定要求動作の可能性が高いとしたうえで，動作状態識別手段が状態列１−２を出力したならば，確定要求を出力する。
例えば，動作識別手段が候補変更要求動作の可能性が高いとしたうえで，動作状態識別手段が状態列１−２，あるいは，５−６を出力したならば，度候補変更要求を出力する。
以上のように，本実施例では，確定要求の識別と候補変更要求の識別を一体化して確率モデルで行う方法について説明したが，確定要求はＳＶＭ（サポートベクタマシン）で行い，候補変更要求は確率モデルで行うなど，異なる方法で尤度計算を行ってもよい。また，候補変更要求動作の識別はＳＶＭで行って，動作状態の識別は確率モデルで行うなど，異なる方法を組み合わせてもよい。
調整パラメタ算出手段２１１は，特徴量算出手段が与える特徴量の履歴２１２と，動作状態識別手段が与える動作状態の履歴２１３から，最近の動作状態とそれを表現するのに用いた特徴量の対応関係を得ることができる。これを用いて，尤度が高くなるように，特徴量算出手段２０４の振る舞い，あるいは動作モデル２０６を変更する。特徴量算出手段の振る舞いを変えるときには，特徴量の履歴にある特徴Ｘに線形の演算  Ｘ’＝ＡＸ＋Ｂ  を施したとき，Ｘ’が対応する動作状態の平均値ベクトルに近づくような変換のパラメタＡ，Ｂを求め，これを特徴量算出手段に与える。また，動作モデル２０６を変更するときには，動作モデルの平均値パラメタを  Ｍ’＝ＡＭ＋Ｂ  で変換したとき，２１２の履歴にある特徴量の出力確率が高くなるようＡ，Ｂを求め，これを用いて動作モデルのパラメタを変更する。このような最適化は簡単な線形演算によって求めることができる。
項目選択操作の開始を要求する動作，および調整を要求する動作として，手振り動作を採用したときの例を説明する。手振りは動作位置の検出が簡単で，他動作と混同が少ないという優れた性質がある。
特徴量算出手段２  ２２１では，各画素の輝度値をＦＦＴし，ブロック平滑化した値を出力する。動作位置検出手段２２２は，予め設定した周波数帯域の強度があらかじめ設定した値より強い画素領域を手振り領域候補として求め，さらにこの領域の重心を手振り位置候補として求める。要求判定手段２  ２２３は，動作位置検出手段２２２が求めた手振り領域候補が予め設定した広さより広いとき，手振り動作があったものと判断する。このとき装置の操作前であれば，開始要求があったものとして開始要求を出力する。また，このとき同時に動作位置検出手段２２２が求めた手振り位置候補を調整パラメタ算出手段２１１に送る。装置の操作後であれば，調整要求と判断して，動作位置検出手段２２２が求めた手振り位置候補を調整パラメタ算出手段２１１に送る。
調整パラメタ算出手段は，受け取った動作位置をＹとするとき，候補変更動作が開始する可能性が高いと判断し，候補変更動作の初期状態の分布の平均値  Ｚに対し，Ｙ＝  Ｚ＋Ｂ  が成立するよう，Ｂを求め，この−Ｂを特徴量算出手段に与える。あるいは，動作のモデルを変更するさいには，動作モデルにおいては，すべての平均値Ｍ  を  Ｍ’＝  Ｍ＋Ｂ  により変更する。
このように，開始要求における処理と，調整要求における処理とを共有してもよい。また，ここでは，確定要求・候補変更要求のための要求識別手段２００の特徴量算手段や尤度計算手段と，開始要求のための求識別手段２２０の特徴量算手段や尤度計算手段とを分けたが，これらは共有して用いてもよい。
図３  ３２０の円を描く動作の確率モデルに対して，図４  ４００のようなジョグダイヤルの内部イメージを用意する。４０１は回転体，４０２，４０３等は回転角を表すマークを置く位置の候補となるもので，それぞれ番号は動作状態と対応している。ディスプレイには，４１０に示したように，回転体を表す４１１のような円に，４００におけるマーク候補位置をひとつ選び，４１１の対応した場所４１２にマークを置いた形を作る。
ここで図２  ２０７の動作識別モデルが，円動作を検出している間は例えば４２１のようにマークの色を変えるなど，円動作を検出していないときと区別した表現をする。手の形をしたアイコンをマークにかぶせるなどしてもよい。
原則的には，図３  ３２０の確率モデルにおいて，最も尤度が高くなる動作状態に対応したマーク位置が選らばれ，マークが置かれる。尤度が高い動作状態が移動すると，それにつれてマークも移動するため，ジョグダイヤルを操作しているような感覚になれる。
ユーザが円の描画動作をする前からマーク位置を提示しておくと，はジョグダイヤルの操作点がそこにあるような印象をユーザに与えるため，ユーザは円の描画動作をマークの位置に対応した位置から始める傾向にある。例えば，マークが初期状態で上にあれば，ユーザは上から円を書き始める傾向にあるし，マークが初期状態で下にあれば，ユーザは下から円を書き始める傾向にある。そこで，図３  ３２０における初期状態からマーク位置に対応した状態に対する状態遷移の確率にバイアスをかけることにすると，モデルのエントロピーを下げることができ，識別の精度を上げることができる。ジョグダイヤルによる内部状態のフィードバックはユーザの動作を誘導する意味でも有効である。
リモコンにタッチパッドを置き，パッド上に描く直線動作で確定要求を，同じくパッド上で描く円動作で候補変更要求ができるようにする。リモコンと，空間でのジェスチャで一貫した操作を行えるため，操作手順に早くなれることができる。
【実施例２】
【００２０】
次に，カメラに向かって首を縦に振る動作で確定要求を表現し，顔の向きを回す動作で候補変更要求を表現するときの実施例を述べる。
図中２０２は，顔画像を取り込むセンサであるカメラである。
特徴量算出手段２０４は，センサ出力２０３を受け取って，顔画像の特徴量としてＡＡＭ（Ａｃｔｉｖｅ  Ａｐｅａｒａｎｎｃｅ  Ｍｏｄｅｌ）の形状パラメタを算出する。
認識対象となる動作は実施例１と同じように，図３に示すような状態遷移モデルで表現される。以下，尤度計算，要求判定ともに，実施例と同じ方法で行うことができる。
【実施例３】
【００２１】
次に，カメラに向かって概直交する平面上で，大きく手を横に振る動作で確定要求を表現し，手を細かく縦に振る動作で候補変更要求を表現するときの実施例を述べる。
センサ２０２は，カメラである。
特徴量算出手段実施例２０４は，実施例１に記載したオプティカルフロー由来の特徴量とする。
確定要求動作に対応する動作モデル，ガーベージモデルは実施例１と同じである。
変更要求動作は，図５に示す状態遷移モデルで表現される。
５００は，候補変更要求のための動作を表すためのもので，カメラに向かって概直交する平面上で，手を細かく縦に振る動作を表現する。
５００における状態１は，手を縦に振る動作における手が最も高い位置ある動作状態を表すものとして設定され，当該位置付近で手を動かしたときの特徴量に対応する，ｘｙ成分が相対的に大きく，ｓｘ，ｓｙともに０に近い特徴量の出力確率が高くなる。状態２は手を上から下に動かしているときの動作に対応するもので，ｘｙは０に近く，ｓｙが負の値となる特徴量の出力確率が高い。状態３は手が下の位置にある動作状態で，４は下から上に上がっていく動作状態をしめす。
以下，尤度の計算，動作識別，動作状態の識別方法は実施例１と同じである。
候補変更要求出力は，候補変更要求動作が識別結果として得られている状態で，状態２−３の遷移が検出されたとき，および状態４−１の遷移が検出されたときに行われる。
【実施例４】
【００２２】
次に，カメラに向かって概直交する平面上で，大きくゆっくり手を回す動作のときは円の半周毎に候補変更を行い，小さく早く円を描く動作のときは早送りをし，小さく早く回した後静止動作をしたときは，他の動作をするまで早送りを続ける機能を持たせるときの実施例を述べる。
センサとしてはカメラを用い，特徴量算出手段実施例は，実施例１に記載したオプティカルフロー由来の特徴量とする。
確定要求動作に対応する動作モデル，ガーベージモデルは実施例１と同じである。
認識対象となる変更要求動作は，図６に示す状態遷移モデルで表現される。このように，変更要求動作を複数のモデルで表してよい。
６１０は，カメラに向かって概直交する平面上で，小さい円を早く描く動作を表現する。状態１１，１２，１３，１４の順に，それぞれ円を描く動作で手が上，右，下，左にある状態を示すものとする。状態１５は，静止動作に対応する状態とする。このように変更要求動作を表すモデルも，環を構成しない状態を持ってよい。状態１１から１４までの各状態における出力確率設定においては，静止時の特徴量の出力は下げておくものとする。すなわち，状態１５を除いて，小さい円を描く時には描画動作を止めることはできない。この構造によって，小さく円を何度も描く動作と，円を小さく描いてから右側で静止する動作を表現できることになる。６１０が表現する動作を，候補変更要求動作１とする。
６２０は，カメラに向かって概直交する平面上で，大きい円をゆっくり描く動作を表現する。ここで各状態における出力確率設定においては，静止時の特徴量の出力も与えるものとする。すなわち，大きな円を描く時には途中で描画動作をとめることができる。６２０が表現する動作を候補変更要求動作２とする。
小さい円と大きな円の違いは，出力確率の違いとして表れる。６１０のほうが，６２０に比べ，相対的に速度成分の大きな特徴ベクトルで高い確率を与え，また，状態毎に位置成分の違いによる出力確率の違いが少ないモデルとなる。
以下，尤度の計算，動作識別，動作状態の識別方法は実施例１と同じである。
要求判定手段は，例えば，候補変更要求動作１が識別結果として得られている状態で，状態１２−１３の遷移が検出されたとき候補変更要求１を出力し，同じく候補変更要求動作１が識別結果として得られている状態で，状態１５−１５の遷移が一定個数連続して検出されたときに候補変更要求２を出力する。また，候補変更要求動作２が識別結果として得られている状態で，状態２２−２３の遷移が検出されたとき，および状態２４−２１の遷移が検出されたときに，候補変更要求３が出力する。
制御手段は，候補変更要求３を受けると，循環リストをひとつずつ手繰って次候補定め，候補変更要求１を受けると循環リストをひとつ飛ばしで手繰って次候補を定め，候補変更要求２を受けると循環リストをふたつ飛ばしで手繰って次候補を定めるなどして，大小の円動作と静止動作を組み合わせて早送りを含む候補変更要求を実現する。
【実施例５】
【００２３】
次に，カメラに向かって概直交する平面上で，細かく早く手を振る動作で，操作の開始要求を行い，開始要求動作位置から右側で手を振ると振った数に応じて項目を順方向にリストを送って候補を変更し，手を開始要求動作位置の右側で止めると，止めている間順方向の候補の早送りを続け，さらに右に手を置いて止めると，止めている間さらに早い順方向の候補の早送りを続け，開始要求動作位置から左側で手を振ると振った数に応じて項目を逆方向にリストを送って候補を変更し，手を開始要求動作位置の左側で止めると止めている間候補の逆方向の早送りを続け，さらに左に手を置いて止めると，止めている間さらに早い逆方向の候補の早送りを続け，細かく手を振ると候補を決定する場合の実施例を述べる。 
センサとしてはカメラを用い，特徴量算出手段および特徴量算出手段２実施例は，それぞれ実施例１に記載したオプティカルフロー由来の特徴量，FFT由来のとする。確定要求動作には，FFT由来の特徴量を用いる。このように，変更要求動作と確定動作の特徴量を変えてもよい。
認識対象となる変更要求動作は，図７に示す状態遷移モデルで表現される。
７１０は開始要求動作の右側で手が動いているときの動作を表現するモデルである。状態１１，１２，１３，１４は，手を開始要求動作の右側で手を振っている動作を表すためのもので，１１は手振り動作において手が左側にある状態，１２は手を左から右へ動かす動作，１３は手が右側にある状態，１４は手を右から左へ戻す動作を表す。状態１５は，１４で手が右に来たところで止まった状態，１６は１５で手を止めた状態からさらに手を右に動かす動作，１７は１６に対応する動作で右に手を持ってきたところで手を止めている状態，１８は１７で手を止めた状態から左に戻す動作を表す。
７２０は開始要求動作の左側で手が動いているときの動作を表現するモデルである。状態２１，２２，２３，２４は，手を開始要求動作の左側で手を振っている動作を表すためのもので，２１は手振り動作において手が右側にある状態，２２は手を右から左へ動かす動作，２３は手が左側にある状態，２４は手を左から右へ戻す動作を表す。状態２５は，２４で手が左に来たところで止まった状態，２６は２５で手を止めた状態からさらに手を左に動かす動作，２７は２６に対応する動作で左に手を持ってきたところで手を止めている状態，２８は２７で手を止めた状態から右に戻す動作を表す。
大まかにいって，出力確率が高くなる特徴量の位置パラメタｘｘの値が，２７＞２５＝２３＞２１＝１１＞１３＝１５＞１７の順に，左から右に位置する値となるようにする。また，状態１５，１７，２５，２７では速度パラメタｓｘが０となる特徴量の出力確率が高くするとともに，自己ループの状態遷移確率も高く設定する。状態１１，１３，２１，２３においては，出力確率が高くなる特徴量のｓｘの値が０近傍となるようにする。１３，２３については，自己ループの遷移確率を低くする。状態１２，１６，２４，２８では，ｓｘの値を右方向への動きを表す値にし，状態１４，１８，２２，２６ではｓｘの値を左方向への動きを表す値にする。
尤度の計算，動作識別，動作状態の識別方法は実施例１と同じである。
開始要求と確定要求の判定処理は，実施例１に記載した要求判定手段２と同じとする。
要求判定手段は，例えば，候補変更要求動作が識別結果として得られている状態で，状態１２−１３の遷移が検出されたとき候補変更要求１を出力し，状態１５−１５の遷移が一定個数連続して検出されたときに候補変更要求２を出力し，状態１７−１７の遷移が一定個数連続して検出されたときに候補変更要求３を出力する。また，状態２２−２３の遷移が検出されたとき候補変更要求４を出力し，状態２５−２５の遷移が一定個数連続して検出されたときに候補変更要求５を出力し，状態２７−２７の遷移が一定個数連続して検出されたときに候補変更要求６を出力する。
制御手段は，候補変更要求１を受けると，循環リストを順方向にひとつずつ手繰って次候補定め，候補変更要求２を受けると循環リストを順方向にひとつ飛ばしで手繰って次候補を定め，候補変更要求３を受けると循環リストを順方向にふたつ飛ばしで手繰って次候補を定め，候補変更要求４を受けると，循環リストを逆方向にひとつずつ手繰って次候補定め，候補変更要求５を受けると循環リストを逆方向にひとつ飛ばしで手繰って次候補を定め，候補変更要求６を受けると循環リストを逆方向にふたつ飛ばしで手繰って次候補を定めるなどして，手振り動作と静止動作を組み合わせて早送りを含む候補変更要求を実現する。
【図面の簡単な説明】
【００２４】
【図１】連続動作による候補変更−確定型項目選択装置ブロック図
【図２】要求識別手段ブロック図
【図３】動作モデル例１
【図４】内部状態表示用ジョグダイヤル
【図５】動作モデル例２
【図６】動作モデル例３
【図７】動作モデル例４
【符号の説明】
【００２５】
１００・・・連続動作による候補変更−確定型項目選択装置
１０１・・・候補集合
１０２・・・選択項目
１０３・・・候補
１０４・・・候補表示手段
１０５・・・入力動作
１０６・・・センサ
１０７・・・要求識別手段
１０８・・・特徴量算出手段
１０９・・・連続動作を含む動作の識別手段
１１０・・・動作状態識別手段
１１１・・・要求判定手段
１１２・・・制御手段
２００・・・要求識別手段
２０１・・・ユーザの入力動作
２０２・・・センサ
２０３・・・センサ出力
２０４・・・特徴量算出手段
２０５・・・尤度計算手段
２０６・・・動作モデル
２０７・・・動作識別手段
２０８・・・動作状態識別手段
２０９・・・要求判定手段
２１１・・・調整パラメタ算出手段
２１２・・・特徴量の履歴
２１３・・・動作状態の履歴
２２０・・・要求識別手段２
２２１・・・特徴量算出手段２
２２２・・・動作位置検出手段
２２３・・・要求判定手段２
３１０・・・確定要求動作の確率モデル
３１１・・・確定要求動作モデルの開始ノード
３１２・・・確定要求動作モデルの終了ノード
３１３・・・確定要求動作モデルの動作状態ノード
３１４・・・確定要求動作モデルの遷移アーク
３２０・・・候補変更要求動作の確率モデル
３２１・・・候補変更要求動作モデルの開始ノード
３２２・・・候補変更要求動作モデルの終了ノード
３２３・・・候補変更要求動作モデルの動作状態ノード
３２４・・・候補変更要求動作モデルの遷移アーク
３３０・・・ガーベージの確率モデル
３３１・・・ガーベージモデルの開始ノード
３３２・・・ガーベージモデルの終了ノード
３３３・・・ガーベージモデルの動作状態ノード
３３４・・・ガーベージモデルの遷移アーク
４００・・・ジョグダイヤルの内部イメージ
４０１・・・回転体
４０２・・・マーク位置候補１
４０３・・・マーク位置候補２
４１０・・・候補変更要求が識別されていないときのジョグダイヤルの表示例
４１１・・・回転体
４１２・・・マーク
４２０・・・候補変更要求が識別されたときのジョグダイヤルの表示例１
４２１・・・マーク
４３０・・・候補変更要求が識別されたときのジョグダイヤルの表示例２
４３１・・・マーク
５００・・・候補変更要求動作の確率モデル例１
６００・・・候補変更要求動作の確率モデル例２
７１０・・・候補変更要求動作の確率モデル例３
７２０・・・候補変更要求動作の確率モデル例４。
【図１】
2010079848.tif 000003
【図２】
2010079848.tif 000004
【図３】
2010079848.tif 000005
【図４】
2010079848.tif 000006
【図５】
2010079848.tif 000007
【図６】
2010079848.tif 000008
【図７】
2010079848.tif 000009