(57)【特許請求の範囲】
【請求項１】
操作者が閲覧する画像を表示する表示手段と、
前記操作者に向けて前記表示手段の近傍に配置され、前記操作者の画像データを生成する撮像手段と、
前記撮像手段により読取られた操作者の予め定められた一連の動作により示された範囲を含み、前記操作者の一部が表示手段の表示面上の標示を制御することができる範囲であって、前記操作者の視点と前記表示手段の表示面の各頂点とを結んで定められ、かつ当該操作者の視線方向に設定される四角錐状の領域にかからない範囲である制御範囲を予め設定する制御範囲設定手段と、
前記四角錐状の領域にかからない範囲であり、かつ前記標示の前記表示手段の表示面上の位置に関連する操作が行われたか否かを判定する範囲である判定範囲を予め設定する判定範囲設定手段と、
前記操作者の画像から操作者の一部を抽出して、前記操作者の一部が前記設定された制御範囲内にあるとき、該操作者の一部と前記表示手段との位置関係に応じて前記表示手段に表示された所定の標示を移動する制御手段と、
前記操作者の画像から前記操作者の一部と異なる一部を抽出して、該操作者の一部と異なる一部が前記判定範囲内で所定の態様になると、前記操作者の一部の一連の動作に基づいて、前記標示の前記表示手段の表示面上の位置に関連する操作が行われたと判定する操作判定手段と、
前記操作判定手段により操作が行われたと判定されると、所定の信号を出力する信号出力手段と、を備え、
前記制御範囲と前記判定範囲とは重ならず、前記操作者からみて左右のいずれかの位置に設定されている
ことを特徴とする操作入力装置。
【請求項２】
前記判定範囲設定手段は、前記撮像手段により読取られた操作者の予め定められた一連の動作に基づいて、前記判定範囲を設定することを特徴とする請求項１に記載の操作入力装置。
【請求項３】
前記撮像手段は、前記操作者の立体画像データを生成する三次元撮像手段であり、
前記制御範囲設定手段は、前記撮像手段により読取られた操作者の予め定められた一連の動作に基づいて、前記制御範囲内に、前記操作者の視点と前記表示手段の表示面の各頂点とを結んで定められる領域に重ならないように、前記表示手段の表示面に対応付けられた位置決定面を予め設定し、
前記制御手段は、前記操作者の一部の前記設定された位置決定面上の位置に対応する前記表示面上の位置に、前記標示を移動することを特徴とする請求項１または２に記載の操作入力装置。
【請求項４】
前記位置決定面は、前記表示手段と前記操作者との間に形成されることを特徴とする請求項３に記載の操作入力装置。
【請求項５】
前記撮像手段は、前記操作者の立体画像データを生成する三次元撮像手段であり、
前記判定範囲設定手段は、前記撮像手段により読取られた操作者の予め定められた一連の動作に基づいて、前記判定範囲内に、前記操作者の視点と前記表示手段の表示面の各頂点とを結んで定められる排除領域にかからないように、前記表示手段の表示面に対応付けられた操作判定面を予め設定し、
前記操作判定手段は、前記操作者の画像から前記操作者の一部と異なる一部を抽出して、前記操作者の一部と異なる一部が前記設定された操作判定面と前記表示手段との間にあると、前記一連の動作に関連付けられた操作が行われたと判定することを特徴とする請求項１ないし４のいずれかに記載の操作入力装置。
【請求項６】
前記操作判定面は、前記表示手段と前記操作者との間に形成されることを特徴とする請求項５に記載の操作入力装置。
【請求項７】
前記位置決定面の、前記操作者側における前記操作者の一部と前記位置決定面との位置関係から距離を算出して距離に応じ前記標示を変化させて、該標示を移動する位置を示すことを特徴とする請求項３または４に記載の操作入力装置。
【請求項８】
前記判定範囲設定手段は、前記判定範囲として前記操作判定面との位置関係に基づいて定められる２つ以上の仮想操作階層を設定し、
前記操作判定手段は、前記２つ以上の仮想操作階層のいずれかの領域内で前記操作者の一部と異なる一部が読取られると、該仮想操作階層に予め割当てられた操作種別および前記仮想操作階層内での前記操作者の一部と異なる一部による一連の動作に基づいて前記操作の内容を判定することを特徴とする請求項５または６に記載の操作入力装置。
【請求項９】
前記撮像手段は、前記表示手段の１つの撮像手段により構成されることを特徴とする請求項１ないし８のいずれかに記載の操作入力装置。
【請求項１０】
前記撮像手段は、前記表示手段の左右に各々配置された撮像手段により構成され、それぞれ前記操作者の一部と異なる一部、および前記操作者の一部の像を撮像することを特徴とする請求項１ないし９のいずれかに記載の操作入力装置。
【請求項１１】
前記操作者の一部は、前記操作者の手であることを特徴とする請求項１ないし１０のいずれかに記載の操作入力装置。
【請求項１２】
前記操作者の一部は、前記操作者の手であり、前記操作者の一部と異なる一部は、前記操作者のもう一方の手であることを特徴とする請求項１ないし１０のいずれかに記載の操作入力装置。
【請求項１３】
操作者が閲覧する画像を表示する表示手段と、前記表示手段の操作者に向けて前記表示手段の近傍に配置され、前記表示手段を見る操作者の画像データを生成する撮像手段とを備えた操作入力装置により操作判定をする方法であって、
前記撮像手段により読取られた操作者の予め定められた一連の動作により示された範囲を含み、前記操作者の一部が表示手段の表示面上の前記標示を制御することができる範囲であって、前記操作者の視点と前記表示手段の表示面の各頂点とを結んで定められ、かつ当該操作者の視線方向に設定される四角錐状の領域にかからない範囲である制御範囲を予め設定する制御範囲設定ステップと、
前記四角錐状の領域にかからない範囲であり、かつ前記標示の前記表示手段の表示面上の位置に関連する操作が行われたか否かを判定する範囲である判定範囲を予め設定する判定範囲設定ステップと、
前記操作者の画像から操作者の一部を抽出して、前記操作者の一部が前記設定された制御範囲内にあるとき、該操作者の一部と前記表示手段との位置関係に応じて前記表示手段に表示された所定の標示を移動する制御ステップと、
前記操作者の画像から前記操作者の一部と異なる一部を抽出して、該操作者の一部と異なる一部が前記設定された判定範囲内で所定の態様になると、前記操作者の一部の一連の動作に基づいて、前記標示の前記表示手段の表示面上の位置に関連する操作が行われたと判定する操作判定ステップと、
前記操作判定ステップにおいて操作が行われたと判定されると、所定の信号を出力する信号出力ステップと、を備え、
前記制御範囲と前記判定範囲とは重ならず、前記操作者からみて左右のいずれかの位置に設定されている
ことを特徴とする操作入力方法。
【請求項１４】
操作者が閲覧する画像を表示する表示手段と、前記表示手段の操作者に向けて前記表示手段の近傍に配置され、前記表示手段を見る操作者の画像データを生成する撮像手段とを備えた操作入力装置に操作判定方法を実行させるプログラムであって、該操作判定方法は、
前記撮像手段により読取られた操作者の予め定められた一連の動作により示された範囲を含み、前記操作者の一部が表示手段の表示面上の前記標示を制御することができる範囲であって、前記操作者の視点と前記表示手段の表示面の各頂点とを結んで定められ、かつ当該操作者の視線方向に設定される四角錐状の領域にかからない範囲である制御範囲を予め設定する制御範囲設定ステップと、
前記四角錐状の領域にかからない範囲であり、かつ前記標示の前記表示手段の表示面上の位置に関連する操作が行われたか否かを判定する範囲である判定範囲を予め設定する判定範囲設定ステップと、
前記操作者の画像から操作者の一部を抽出して、前記操作者の一部が前記設定された制御範囲内にあるとき、該操作者の一部と前記表示手段との位置関係に応じて前記表示手段に表示された所定の標示を移動する制御ステップと、
前記操作者の画像から前記操作者の一部と異なる一部を抽出して、該操作者の一部と異なる一部が前記設定された判定範囲内で所定の態様になると、前記操作者の一部の一連の動作に基づいて、前記標示の前記表示手段の表示面上の位置に関連する操作が行われたと判定する操作判定ステップと、
前記標示の前記表示手段の表示面上の位置に関連する操作が行われたか否かを判定する操作判定ステップと、
前記操作判定ステップにおいて操作が行われたと判定されると、所定の信号を出力する信号出力ステップと、を備え、
前記制御範囲と前記判定範囲とは重ならず、前記操作者からみて左右のいずれかの位置に設定されている
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作入力装置および操作判定方法に関し、より詳細には、ビデオカメラ等により撮影した画像から測定対象の動作の判定を行う操作入力装置および操作判定方法に関する。
【背景技術】
【０００２】
コンピュータでの操作は、基本的に出力装置であるディスプレイと、入力装置であるキーボードおよびマウスとを用いて行われる。すなわち、操作者は、マウスを動かすことによって、ディスプレイに表示されたボタンや入力フィールドなどの所定の位置にポインタを合わせ、クリック等により、「ボタンを押下する」あるいは「入力フィールドの入力を開始する」といった操作内容を確定させる。このように、従来、マウスを用いることにより、ポインティングあるいはフォーカス（選択）、所定の位置でクリックボタンを１度押すことによりその場所の選択等をするクリック、クリックボタンを連続して２度押下することによりポインティングされた位置に関連付けされた様々なアプリケーションを実行させるダブルクリック、ポインティングされた位置と移動先とを紐付けるドラッグなどの操作が可能となっている。入力キーボードは通常、数値や文字などの具体的な情報の入力に用いられ、したがって、操作者は所望の情報を出力させたり、必要な情報を入力したりするため、マウスによる移動とキーボードによる入力を繰り返し行うこととなる。
【０００３】
このような基本的な操作入力方法に加え、近年では従来のマウスおよびキーボードとは別にタッチパネルにより直接表示面を指示したり、手書き文字によりデータを入力したりする方法の他、カメラで操作者全体、あるいは一部を撮影し、その画像に応じて操作者の意志を判断して動作する技術が提案されてきている。例えば、特許文献１には、ＣＣＤカメラで撮像した画像中の物体の形状、動きを認識するホストコンピュータと、ホストコンピュータによって認識した物体の形状、動きを表示するディスプレイとを備え、ＣＣＤカメラにユーザが向い、手振り等によって指示を与えると、与えた手振りがディスプレイの表示画面上に表示され、表示画面上に表示した仮想スイッチ等を手振りによって矢印カーソルのアイコンで選択でき、マウス等の入力装置を必要とせず、非常に簡便な機器の操作が可能となる技術が提案されている。このような、マウスおよびキーボード以外の操作入力方法として、手指の動きや形状を撮像した画像から、ある種のジェスチャとして認識して操作内容を判断する等様々な入力システムも提案され、ＰＣ環境において、マウスやキーボード、タッチパネル等のデバイスを不要とする方法が模索されている。
【０００４】
また、操作者が特別な機器を装着することなく、操作者の操作に関する利便性をより向上させることを目的とし、操作者に対して、キーボードやマウス等に相当する操作手段を適切な空間部分に、例えば仮想平面Ｇや仮想キーボードＨを定義することで、操作者が表示画像に対して、マウス操作であるクリック操作、ドラック操作、ダブルクリック操作等を行うことや、所望する線、図形、或いは、文字等を描画、入力することを可能にする技術が提案されている（例えば特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−０７８９７７号公報
【特許文献２】特開２００４−２５８７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、マウスやキーボード、タッチパネル等のデバイスを使用しないジェスチャ操作等は、非直感的で複雑な動作を要するものや、大振りな動作により身体的負担を強いられるもの、特許文献２の発明のような操作する手で操作対象画面を自ら見えにくくするもの、ジェスチャ操作の動作間の「つなぎ」の曖昧さに起因する誤認識の問題等により、実既存の技術では満足されていなかった。特に、特許文献２の発明は、特別な機器等を装着せずに操作入力ができ、一見有効な技術と思われる。しかし、操作する手自体が対象画面を覆い隠してしまうといった視認性の問題と、「選択」から「決定」へ至る２つの操作ステップが明確に区別されていない問題とから、その実施は非常に困難と言える。
【０００７】
本発明は、このような問題に鑑みてなされたもので、直感的かつ簡素でありながら、操作対象画面に対する視野を十分に確保でき、誤認識の発生率が低く、長時間の操作においても操作者に負担が少ない動作入力を的確に判定することが可能な操作入力装置および操作判定方法並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
このような目的を達成するために、請求項１に記載の発明は、操作入力装置であって、操作者が閲覧する画像を表示する表示手段と、操作者に向けて表示手段の近傍に配置され、操作者の画像データを生成する撮像手段と、撮像手段により読取られた操作者の予め定められた一連の動作により示された範囲を含み、操作者の一部が表示手段の表示面上の標示を制御することができる範囲であって、操作者の視点と表示手段の表示面の各頂点とを結んで定められ、かつ当該操作者の視線方向に設定される四角錐状の領域にかからない範囲である制御範囲を予め設定する制御範囲設定手段と、四角錐状の領域にかからない範囲であり、かつ操作者の画像から操作者の一部を抽出して、操作者の一部が設定された制御範囲内にあるとき、操作者の一部と表示手段との位置関係に応じて表示手段に表示された所定の標示を移動する制御手段と、標示の表示手段の表示面上の位置に関連する操作が行われたか否かを判定する操作判定手段と、操作判定手段により操作が行われたと判定されると、所定の信号を出力する信号出力手段と、を備え、制御範囲と判定範囲とは重ならず、操作者からみて左右のいずれかの位置に設定されていることを特徴とする。
【００１１】
請求項２に記載の発明は、請求項１に記載の操作入力装置において、判定範囲設定手段は、撮像手段により読取られた操作者の予め定められた一連の動作に基づいて、前記判定範囲を設定することを特徴とする。
【００１２】
請求項３に記載の発明は、請求項１または２に記載の操作入力装置において、撮像手段は、操作者の立体画像データを生成する三次元撮像手段であり、制御範囲設定手段は、撮像手段により読取られた操作者の予め定められた一連の動作に基づいて、制御範囲内に、操作者の視点と表示手段の表示面の各頂点とを結んで定められる領域に重ならないように、表示手段の表示面に対応付けられた位置決定面を予め設定し、制御手段は、操作者の一部の設定された位置決定面上の位置に対応する表示面上の位置に、標示を移動することを特徴とする。
【００１３】
請求項４に記載の発明は、請求項３に記載の操作入力装置において、位置決定面は、表示手段と操作者との間に形成されることを特徴とする。
【００１４】
請求項５に記載の発明は、請求項１ないし４のいずれかに記載の操作入力装置において、撮像手段は、操作者の立体画像データを生成する三次元撮像手段であり、判定範囲設定手段は、撮像手段により読取られた操作者の予め定められた一連の動作に基づいて、判定範囲内に、操作者の視点と表示手段の表示面の各頂点とを結んで定められる排除領域にかからないように、表示手段の表示面に対応付けられた操作判定面を予め設定し、操作判定手段は、操作者の画像から操作者の一部と異なる一部を抽出して、操作者の一部と異なる一部が設定された操作判定面と表示手段との間にあると、一連の動作に関連付けられた操作が行われたと判定することを特徴とする。
【００１５】
請求項６に記載の発明は、請求項５に記載の操作入力装置において、操作判定面は、表示手段と操作者との間に形成されることを特徴とする。
【００１６】
請求項７に記載の発明は、請求項３または４に記載の操作入力装置において、位置決定面の、操作者側における操作者の一部と位置決定面との位置関係から距離を算出して距離に応じ標示を変化させて、標示を移動する位置を示すことを特徴とする。
【００１７】
請求項８に記載の発明は、請求項５または６に記載の操作入力装置において、判定範囲設定手段は、判定範囲として操作判定面との位置関係に基づいて定められる２つ以上の仮想操作階層を設定し、操作判定手段は、２つ以上の仮想操作階層のいずれかの領域内で操作者の一部と異なる一部が読取られると、仮想操作階層に予め割当てられた操作種別および仮想操作階層内での操作者の一部と異なる一部による一連の動作に基づいて操作の内容を判定することを特徴とする。
【００１８】
請求項９に記載の発明は、請求項１ないし８のいずれかに記載の操作入力装置において、撮像手段は、表示手段の１つの撮像手段により構成されることを特徴とする。
【００１９】
請求項１０に記載の発明は、請求項１ないし８のいずれかに記載の操作入力装置において、撮像手段は、表示手段の左右に各々配置された撮像手段により構成され、それぞれ操作者の一部と異なる一部、および操作者の一部の像を撮像することを特徴とする。
【００２０】
請求項１１に記載の発明は、請求項１ないし１０のいずれかに記載の操作入力装置において、操作者の一部は、操作者の手であることを特徴とする。
【００２１】
請求項１２に記載の発明は、請求項１ないし１１のいずれかに記載の操作入力装置において、操作者の一部は、操作者の手であり、操作者の一部と異なる一部は、操作者のもう一方の手であることを特徴とする。
【００２２】
請求項１３に記載の発明は、操作者が閲覧する画像を表示する表示手段と、表示手段の操作者に向けて表示手段の近傍に配置され、表示手段を見る操作者の画像データを生成する撮像手段とを備えた操作入力装置により操作判定をする方法であって、撮像手段により読取られた操作者の予め定められた一連の動作により示された範囲を含み、操作者の一部が表示手段の表示面上の標示を制御することができる範囲であって、操作者の視点と表示手段の表示面の各頂点とを結んで定められ、かつ当該操作者の視線方向に設定される四角錐状の領域にかからない範囲である制御範囲を予め設定する制御範囲設定ステップと、四角錐状の領域にかからない範囲であり、かつ標示の表示手段の表示面上の位置に関連する操作が行われたか否かを判定する範囲である判定範囲を予め設定する判定範囲設定ステップと、操作者の画像から操作者の一部を抽出して、操作者の一部が設定された制御範囲内にあるとき、操作者の一部と表示手段との位置関係に応じて表示手段に表示された所定の標示を移動する制御ステップと、操作者の画像から操作者の一部と異なる一部を抽出して、操作者の一部と異なる一部が設定された判定範囲内で所定の態様になると、操作者の一部の一連の動作に基づいて、標示の表示手段の表示面上の位置に関連する操作が行われたと判定する操作判定ステップと、操作判定ステップにおいて操作が行われたと判定されると、所定の信号を出力する信号出力ステップと、を備え、制御範囲と判定範囲とは重ならず、操作者からみて左右のいずれかの位置に設定されていることを特徴とする。
【００２３】
請求項１４に記載の発明は、操作者が閲覧する画像を表示する表示手段と、表示手段の操作者に向けて表示手段の近傍に配置され、表示手段を見る操作者の画像データを生成する撮像手段とを備えた操作入力装置に操作判定方法を実行させるプログラムであって、操作判定方法は、撮像手段により読取られた操作者の予め定められた一連の動作により示された範囲を含み、操作者の一部が表示手段の表示面上の標示を制御することができる範囲であって、操作者の視点と表示手段の表示面の各頂点とを結んで定められ、かつ当該操作者の視線方向に設定される四角錐状の領域にかからない範囲である制御範囲を予め設定する制御範囲設定ステップと、四角錐状の領域にかからない範囲であり、かつ標示の表示手段の表示面上の位置に関連する操作が行われたか否かを判定する範囲である判定範囲を予め設定する判定範囲設定ステップと、操作者の画像から操作者の一部を抽出して、操作者の一部が設定された制御範囲内にあるとき、操作者の一部と表示手段との位置関係に応じて表示手段に表示された所定の標示を移動する制御ステップと、操作者の画像から操作者の一部と異なる一部を抽出して、操作者の一部と異なる一部が設定された判定範囲内で所定の態様になると、操作者の一部の一連の動作に基づいて、標示の表示手段の表示面上の位置に関連する操作が行われたと判定する操作判定ステップと、標示の表示手段の表示面上の位置に関連する操作が行われたか否かを判定する操作判定ステップと、操作判定ステップにおいて操作が行われたと判定されると、所定の信号を出力する信号出力ステップと、を備え、制御範囲と判定範囲とは重ならず、操作者からみて左右のいずれかの位置に設定されていることを特徴とする。
【図面の簡単な説明】
【００２７】
【図１】本実施形態の操作入力システムの一例を示す図である。
【図２】本実施形態の操作入力システムのコンピュータとの関係を模式的に示すブロック図である。
【図３】本実施形態のコンピュータのＣＰＵ内で処理されるプログラムの機能モジュールの一例を示すブロック図である。
【図４】本実施形態の処理のフローチャートである。
【図５】本発明の一実施形態にかかる左右の仮想的な操作面を説明するための図である。
【図６】本発明の一実施形態にかかる指定された操作面の位置の抽出する処理を示すフローチャートである。
【図７】本発明の一実施形態の仮想的な操作面の側面図である。
【図８】本発明の一実施形態の仮想的な操作面の上面図である。
【図９】本発明の一実施形態にかかる左右２つの操作面の機能例を説明するための図である。
【図１０】本発明の一実施形態にかかる左右２つの操作面の別の機能例を説明するための図である。
【図１１】本発明の一実施形態にかかる操作入力システムによる入力操作の一例を示す図である。
【図１２】本発明の一実施形態にかかる画面および対応する操作面の機能を模式的に示す図である。
【図１３】本発明の一実施形態にかかる画面および対応する操作面の機能を模式的に示す図である。
【図１４】本発明の一実施形態にかかる操作者の動きと画面に表示されるアイコンとの関係を示す図である。
【図１５】本発明の一実施形態にかかる操作入力画面の具体的な表示の一例を示す図である。
【図１６】本発明の一実施形態にかかる操作入力画面で使用可能な種々のアイコンの例を示す図である。
【図１７】本発明の一実施形態にかかる操作者の動きと画面に表示されるアイコンとの関係を示す図である。
【図１８】本実施形態の操作入力システムの別の一例を示す図である。
【図１９】本実施形態の操作入力システムの操作姿勢の一例を示す図である。
【図２０】本実施形態の操作入力システムの一例を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００２９】
（第１実施形態）
図１は、本実施形態の操作入力システムの一例を示す図である。本実施形態のディスプレイ１１１は、操作者１０２の前面に配置され、操作者１０２は、ディスプレイ１１１との間の左右の一定の位置に設定された範囲で、指などの形状が操作判定の対象になることを意識して操作を行うことができる。本願発明は、後述するように操作者１０２から見てディスプレイ１１１の左右で位置決定と操作判定とを右手１１４および左手１１５を別々に動かしてシステムに入力することができる。ここで、ディスプレイ１１１には、通常パソコンで使用される様々なアプリケーション用の種々の映像が表示されるが、これに加え操作入力を支援、すなわち例えば対象となる操作者１０２の部位などを画面の隅の方に表示して、操作者１０２に、現時点でシステムがどのような操作が行われていると認識しているかを表示することができる。
【００３０】
ここで、本実施形態では操作者が視聴するモニタとして、通常のパソコン用ディスプレイを使用することができるが、後述するようにアイコンを立体表示させて、より操作性を高めるため三次元ディスプレイを用いることもできる。この場合、本技術分野で知られたいずれの三次元ディスプレイも使用することもできる。また、本実施形態では、右手で位置決定を、左手で操作判定を行うシステムを用いて説明するが、これに限られず、利き手や操作者の嗜好などにより左右を逆にすることもできる。さらに、操作判定については、このような手の動きを用いずに、他の方法により操作の判定あるいはトリガを実現することもできる。例えば、何らかのスイッチを設け、手による位置決定に基づいて位置を決定した後操作を確定させたり、音声認識装置を設けて操作者の声により操作のトリガとしたり操作内容を特定したりすることができる。また、本実施形態では基本的に左右の手を各々ディスプレイから見て左側及び右側の一定の範囲で動かして操作を判定するが、これに限らず、手が自然に届く範囲の位置で手を動かすことにより操作判定に使用することもできる。例えば、図１に示す視点５０１と表示面５２０とで形成される四角錐の下側をスペースキーとして使用するなど、種々の機能を設定することができる。
【００３１】
本実施形態では図５に示すように、画像を取得するためにビデオカメラ５１１ないし５１４のいずれかの位置のカメラを使用する。ここで、図５では、４つのカメラが示されているが、いずれか１つあるいは２つ以上を設けることができる。複数カメラを使用するときは、左右のカメラで左右の手の動きを別々に撮影して、画像の精度を上げることもできる。また、カメラとしては赤外線カメラ等、本技術分野で知られたいずれの撮像手段を用いることもでき、図５のような４つの位置以外でも設置場所としてモニタの付近の何処を選択することもできる。したがって、カメラ５１１等は対象の画像を撮影できるものであればいずれのタイプのものでも良く、例えばＲＧＢ２眼ステレオ配置方式でも良いし、ＴＯＦ方式のような単眼の三次元測定カメラであっても良く、その方式については問わないが、設置レイアウト上、広角範囲を取得できるカメラであるのが好ましい。
【００３２】
また、近年パソコン等で使用されている安価なウェブカメラなども使用することができる。高価なカメラに代え、安価なウェブカメラを利用して、カメラ５１２及び５１４の様に、各カメラを対象画面の両端に設置し、上述のように左右カメラそれぞれに左操作、右操作のセンシングを独立して担当させる方法によりセンシング精度を高めることもできる。この場合、対象とする手の奥行き情報までの取得は難しいが、二次元的な画像情報は取得できるため、利き腕でカーソル移動（指先の画像認識）、もう片方の腕のジェスチャの輪郭画像認識で意志決定といった本技術分野で知られた方法で、操作を二段階にしたＰＣ操作が可能となる。
【００３３】
次に、本実施形態の操作入力方法を図２０を参照してより具体的に説明する。図２０は、本実施形態の操作入力システムの一例を示す図である。図２０を参照すると、本実施形態の操作は、上述の視点５０１と操作対象画面５２０の四隅を結ぶ四角錐を隔てて左右に分かれた範囲２００１、２００２内で手を動かしたときのみ操作対象にするので、操作入力動作で操作者が手を動かしてもディスプレイ１１１に表示された画面を遮ることはなく、通常のパソコン操作時の視認性を確保することができる。また、同様に左右の動作する範囲２００１、２００２は上述の四角錐によって分割配置されていることから、それぞれの範囲における動作を操作者の左手、右手と正確に分別しての判定が可能となる。従来の通常のジェスチャ認識においては、操作者の両腕の交差や身体と腕との重なり等で、誤認識が生ずることが多かったが、これにより、操作者による操作領域設定や中央の非センシングエリアによって分割された左右の手の操作領域をそれぞれ制限し区別することが可能となり、安定した操作が実現できることとなる。
【００３４】
本実施形態では、左右いずれかの手をＸＹ座標のポインティングあるいはフォーカス（従来のマウスによるカーソル移動に相当）機能のみに使用するようにし（仮想トラックパッドの機能）、もう片方の手をフォーカスに対する決定動作、例えばクリック、ダブルクリック、ドラッグのトリガを受け付ける機能のみに使用する。このようにして、左右それぞれに完全に機能を分担し、二段階で操作を判断することでジェスチャ操作に多く見られる入力ミスや誤認識を圧倒的に低減することができる。なお、具体的なジェスチャとしては、手のひらを開いて（じゃんけんのパーの形）「クリック、ダブルクリック操作」としたり、人差し指を立ててクリック、二本の指を立ててダブルクリック等としたりすることができる。
【００３５】
（本実施形態のシステム構成）
図２は、本実施形態の操作入力装置のコンピュータ１１０の構造を模式的に示すブロック図である。コンピュータ１１０には、ディスプレイ１１１に取り付けられ、操作者１０２などを撮影するビデオカメラ５１１などが接続され、撮影した画像をコンピュータ１１０に取り込む。撮影により得られた画像は、ＣＰＵ２１０において本実施形態の特徴である操作者の一部、あるいは操作所の一部と異なる一部である右左の手の画像を抽出する。コンピュータ１１０は、一般にＣＰＵ２１０を備え、ＲＯＭ２１１等に記憶されたプログラムをＲＡＭ２１２上で実行して、操作入力装置から入力した画像に基づいた処理結果をディスプレイ１１１等に出力する。本実施形態では、ディスプレイ１１１は、上述の操作者の手の動作により表示されるアイコンなどのほか操作者が体験しようとする様々なアプリケーションにより提供される種々の映像を出力することができ、また後述するように操作入力の支援となるような情報も表示する。
【００３６】
図３は、本実施形態のコンピュータ１１０のＣＰＵ２１０内で処理されるプログラムの機能モジュールの一例を示すブロック図である。図３に示すように、本システムにおける処理は、画像読取部３０１、画像抽出部３０２、画像位置算出部３０３、操作判定部３０４および標示制御部３０５により実行される。なお、本実施形態では、ビデオカメラ５１１からの画像を受取ってからデータの出力を行うまでの処理をこの５つのモジュールにより実行するが、これに限られることなく、その他のモジュールを用い、あるいはより少ないモジュールで処理することもできる。
【００３７】
また、本実施形態では、ディスプレイ１１１として立体表示可能な３Ｄディスプレイを使用して、操作者１０２から見て操作面が設定あるいは調整された位置に存在するように見えるようにアイコンを表示することもできる。これにより、操作者１０２は、あたかもアイコンなどがそこに存在するように立体映像として認識して、認識した立体映像に対し手や指を用いて操作を実行することができる。操作者１０２は、その右目と左目とによりディスプレイ１１１上に表示された画像およびアイコンなどを見るが、アイコンなどは立体表示させるため、例えば視差を含んだ２枚の画像からなっており、それぞれ右目及び左目で見ることによりディスプレイ１１１から操作者の前面にあるように立体表示されるような面を形成することができる。なお、立体表示される面の位置は、操作者の操作感として実際にアイコンなどが形成される位置とは若干異なる位置に表示させる場合もあるが必ずしも一致する必要はない。
【００３８】
（操作範囲の設定）
本実施形態では、操作範囲設定処理を行う前提として、本技術分野で知られた初期設定、例えば本実施形態の操作入力装置が新たに設置された場合を想定すると、事前準備として利用するビデオカメラ５１１の利用レンズの歪み、ディスプレイ１１１とレンズとの距離等の情報を装置に入力しておく必要がある。さらに閾値設定等を予め調整しておく。システムの初期設定が終了すると、本実施形態の処理を行うが、図１を参照して、本実施形態にかかる操作者のジェスチャにより左右の動作範囲を設定する処理を説明する。図１に示す例のように、カメラで撮影された操作者の画像の手１１４、１１５により動作範囲の位置、大きさが決定される。具体的には、図１に示すように、操作者が手１１４、１１５で示した位置を含む一定の範囲が有効な動作範囲として設定される。動作範囲の例として、図２０に範囲２００１、２００２を示す。ここで、上述の四角錐によって左右の有効な範囲を分割配置するため、設定された範囲が上述の四角錐にかかる部分は有効な動作とはみなされず、したがって、有効な動作範囲から除かれる。
【００３９】
本実施形態では、このような有効な動作範囲の設定処理は、システムの電源投入後や特定の操作、例えばリモコンで指示するなどにより開始されるが、これに限られず本技術分野で知られたいずれの方法、タイミングで開始することができる。
【００４０】
また、本実施形態においては、通常のＰＣ操作で図１９に示すような両肘をついてのジェスチャ入力が一般的な形態となるので、動作範囲の設定に当たっては、このような操作姿勢を考慮して操作者の身体に適合した位置に範囲設定することが有用である。なお、このような両肘をついた操作姿勢によると、従来のＰＣ操作におけるマウスやキーボードに比して、両腕の重みによる両肩への筋負担が、かなり軽減されること、必要最小限の小振りなジェスチャ操作のみで済むことから、身体的な負担が大幅に軽減される上、マウス、キーボードをカメラ一台で置き換えることが可能となるため大きなメリットとなる。加えて、両肘を机面につくことで、右手１１４によるカーソル移動（フォーカス）や、左手１１５による操作判定の際も、常に安定したジェスチャ位置が確保できる。
【００４１】
さらに、図１８に示すように、机上を有効な動作範囲とすることもできる。すなわち、右手１１４で机上を移動させてアイコンを移動させ、左手１１５は通常机上に浮かしておいて、机面に触れると操作と判定するようにすることもできる。
【００４２】
（本実施形態の操作判定処理）
本実施形態では、図５および図２０を参照すると、ビデオカメラ５１１等で撮影した操作者１０２の一部である手や指１１４、１１５の位置を定めるとともに、これらの位置とディスプレイとの相対的な位置や、形状に基づいて、ディスプレイ上のアイコンを移動させたり、一定の操作と判定したりする。まず、画像読取部３０１においてビデオカメラ５１１等で撮影されたデータを読取り、そのデータから操作者の手の画像を、画像抽出部３０２により抽出する。
【００４３】
このような準備の結果、上述の動作範囲の設定で予め設定し、記憶手段などに記憶していた有効な動作範囲２００１、２００２の位置、大きさを読み出す。ここで、右手の操作開始位置を適当に定めておき、本技術分野で知られたいずれかの方法で、右手１１４の位置に対応するディスプレイ１１１上の位置にアイコン等が標示制御部３０５により表示され、手の動きとともに移動するよう制御される。したがって、操作者は表示されたアイコンの動きに合わせて有効な動作範囲２００１内で的確に指や手を動かすことにより、表示面に表示されたアイコンを移動するなどの操作を行うことができる。
【００４４】
操作判定部３０４は、操作者１０２の動作範囲２００２内の左手１１５の形状や動きにより、予め定めた操作が行われた判断し、右手１１４の位置に基づいて、左手の形状あるいは動きに関連付けて予め定められた操作内容とともに、操作が実行されたことをシステムに通知する。
【００４５】
ここで、どのような形状、動きがどのような操作に対応するかは、システム独自に取り決めることもできるし、本技術分野で知られたいずれかの手法を取り入れて決定することもでき、あるいはまた、単にその位置が操作者により触れられた、例えばアイコンが選択され、若しくはボタンが押されたと判定することができる。判定した結果は、そのような操作の入力があったものとしてコンピュータ１１０で実行される。操作内容の判定はここで説明した手法に限られることなく本実施形態で知られたいずれの方法も用いることができる。また、具体的な判定方法も省略したが、一般には予め定めたジェスチャなどの操作者の身体の形状、動きと、それが意味する操作内容とをデータベース等に格納しておいて、画像抽出後、このデータベースにアクセスして、操作内容を判定する。この際にももちろん、画像認識技術や人工知能などを本技術分野で知られた手法により利用し、判定精度を向上させることもできる。ここで、手が有効な動作範囲２００１、２００２にない場合は操作とは判定されない。例えば、右手が有効な範囲２００１を外れると、その位置でアイコンが停止するか、初期の位置に戻る。また、左手が有効な範囲２００２を外れると、予め定めた形状や動きであっても操作とは判定されない。
【００４６】
以上、本実施形態によれば、表示画面の視界、すなわち上述の四角錐により明確に分離される左右の動作範囲２００１、２００２を定め、左右の手で異なる機能、例えばアイコンの移動あるいは選択と、クリック、ドラッグなどの操作内容とに分別して実行することにより、ジェスチャのみの入力にもかかわらず、操作者に負担をかけることなく、パソコン等でキーボードを使用しない正確な操作入力が可能となる。
【００４７】
（第２実施形態）
上述の第１実施形態では、操作者とディスプレイとの間で左右で機能を分担して手を動かすことによる操作入力について説明したが、本実施形態では基本的に同じシステム構成を使用して、さらに精度の高い操作入力を可能とする。すなわち、本実施形態では、仮想的な操作面の概念を導入して、操作面に対する手の動きや操作面により形成される領域を用いて、操作のトリガや操作内容を判定する。このため、本実施形態では第１実施形態のカメラの代わりに三次元カメラを使用することにより、操作者自身、手あるいは指のｚ方向の位置も取得して、仮想的な操作面上の手の位置を正確に取得したり、操作面を横切ったか否かを判定したりすることができる。したがって、三次元カメラを使用する点を除きシステム構成は第１実施形態と同様なので、以下重複する点は省略する。なお、本実施形態の仮想的な操作面を使用した処理は、左右の操作の双方に適用することができるが、右または左のいずれかの操作に上述の第１実施形態の処理を適用し、もう片方に本実施形態の処理を適用することもでき、システムの構成や使用状況に合わせて適宜選択することができる。
【００４８】
図５は、本発明の一実施形態にかかる左右の仮想的な操作面を説明するための図である。図５に示すビデオカメラ５１１ないし５１４のうち、実際にシステムで使用する場合は、基本的に三次元カメラ１台あればいい。本実施形態ではビデオカメラ５１１として三次元（あるいは３Ｄ）カメラを用いることにより、操作者を含め立体画像が作成できるようにする。もちろん、左右に通常の二次元カメラを配置して使用することもできる。例えば、ビデオカメラ５１２および５１４の両方を備えるようにし、この場合カメラとしては二次元カメラを使用してビデオカメラ５１２および５１４の２つで立体画像を生成するようにすることもできる。
【００４９】
図７および８は、操作面を側面から見た図および上面から見た図である。図７および８を参照すると理解できるように、操作面１０４、１０５は、操作者の視点５０１と操作対象画面５２０の四隅を結ぶ四角錐を避けるように左右に配置する。ここで、位置決定面１０４および操作判定面１０５の位置は、後述するＰＣ設置段階の初期設定ステップで操作者が利用環境に合わせ、入力操作に最適な位置で両手を広げて設定する。この際に、例えば、カメラ側で操作者の頭部両肩等の上半身の位置情報や両眼の位置等も補足し、机に向かった操作者が肘をついたまま両手の操作がしやすい左右の対照位置に配置設定するが、これに限られず操作者の操作環境に最適に設定することができる。なお、図７及び８に示す位置決定面１０４及び操作判定面１０５は、上述の四角錐を避けるように左右に配置されているが、これは、上述のように操作者の視界を操作時の手１１４、１１５が遮らないようにするためであり、したがって、この目的を達成することができる限り、位置決定面１０４及び操作判定面１０５は概ね左右に配置されていれば良く、四角錐に多少かかっても問題はない。
【００５０】
図９および１０は、本発明の一実施形態にかかる左右２つの操作面の典型的な機能の例を説明するための図である。図９および１０とも位置決定面１０４は、ポインティングあるいはフォーカスの機能を担い、例えば図１２に示すように位置決定面１０４に対応する領域１２０２をディスプレイ１１１の適当な場所に表示、現在、手１１４がフォーカスしている対応する箇所の色を変えたり、図示しないアイコンなどを表示したりすることができる。このように位置決定面１０４上の手１１４の動きに連動して、ディスプレイ１１１上の画像を変化させることにより、操作者は直感的にディスプレイ１１１を見ながら手１１４でフォーカスすることができるようになる。
【００５１】
また、操作判定面１０５は、図９に示すように一定の領域９０１を持たせて、操作判定面１０５を手１１５が超えると操作が開始されたと判定し、領域９０１内の手１１５の形状やジェスチャに基づいて、操作内容を判定することができる。すなわち、本実施形態の操作面は、操作者１０２の身長や腕の長さ、あるいは身長や肩幅等の身体寸法情報に基づいて設定され、操作者１０２は、予め設定した操作判定面１０５が仮想的に存在すると捉え、種々の操作をしようとする場合は操作判定面１０５を基準に手１１５を前にある操作領域９０１に突き出してジェスチャを示したりすることができる。
【００５２】
あるいは、図１０に示すように、操作判定面を、例えば２階層９０２、１００１として手１１５が１階層目１００１までしか貫いていないとクリックと判定し、２階層目９０２まで到達しているとダブルクリックと判定するようにすることができる。本実施形態では、操作判定面として２階層を有する例を示したが、これに限られることなく３階層やそれ以上の階層を設定して、各々種々の機能を対応させることができる。
【００５３】
また、上述の例えば図１２に示すような例では、本実施形態の操作入力システムは、簡易的なキーボードの機能を有することとなるが、図１３に示すように、通常のキーボードの機能を有するようにすることもできる。すなわち、右操作面１０４は通常のキーボードの右半分を割当て、左操作面は通常のキーボードの左半分を割当てることにより、操作者はディスプレイ１１１上のキーボードレイアウト１２０２、１３０１を見ながらフォーカスさせて、操作を決定することができる。なお、この場合の操作の決定には、通常は利用しない操作画面下にもう１つの操作面を設定するなどして、操作判定面とすることもできる。また、このような操作画面下に操作面を設ける場合、単にスペースキーを割り当てる等することもできる。
【００５４】
（操作面の設定）
本実施形態では、システムの初期設定が終了すると、本実施形態にかかる操作面の設定処理を行う。図１に示す例のように、三次元カメラで撮影された操作者の画像の手１１４、１１５により操作面の形状（大きさ、ディスプレイに対する角度を含む）が決定され、例えばｚ方向のディスプレイから手１１４、１１５までの距離により操作面１０４、１０５の位置を決定する。具体的には、図１に示すように、操作者が手１１４、１１５で示した位置に操作面１０４、１０５を形成すれば良いことが理解される。
【００５５】
次に、図６を参照して操作面抽出処理を説明する。図６は、本実施形態にかかる指定された操作面の位置を抽出する処理を示すフローチャートである。まず、データ、すなわち操作者の立体画像データの入力がなされると（Ｓ６０１）、手の形状および頭部を認識して（Ｓ６０２、Ｓ６０３）、操作面を形成するか否かを判定する（Ｓ６０４）。具体的には、例えば肘を机上について手をかざすジェスチャを一定時間維持していたときは、操作面の設定処理であると判断して、操作者が手により指示した位置に操作面を、取得した立体画像から抽出して操作面を形成し（Ｓ６０５）、必要なときは操作者の身体の測定値、例えば腕の長さ、胴や頭部の位置に基づいて操作領域を設定し（Ｓ６０６）データを出力して終了する（Ｓ６０９）。ここで、本実施形態では肘を机上について手をかざす動きを一定時間静止することにより、操作面の設定指示と判断するようにしているが、これに限らず種々のジェスチャ、リモコン操作等で指示するなど本技術分野で知られたいずれの手法により指示を判断させることができる。なお、本実施形態では基本的に手により形づくられた形状、位置に操作面を形成するが、操作者の身体的特徴やディスプレイの位置、使用状況等に合わせて調整することもできる。
【００５６】
頭部の認識や手のジェスチャから操作面の設定処理ではないと判断すると、既に操作面が設定された状態か否かを判定し（Ｓ６０７）、操作面が設定されている場合は通常の操作と判断して操作領域内の手の位置を取得する（Ｓ６０８）。以上により、操作者の指示に基づく操作面の設定処理を行う。
【００５７】
ここで、操作面の形状は図１などを参照すると垂直に立てた長方形となっているが、これに限られず、操作者の操作態様に応じて様々な形状（大きさ、ディスプレイに対する角度を含む）の操作面を形成することができる。例えば、図１８に示すように、机上に位置決定面１８０１および操作判定面１８０２を配置することもでき、キーボードやマウスを使用する感覚で操作入力することもできる。もちろん、このような操作面の配置とするためには、操作面の設定時に机上に手を置いたり、予め定めたジェスチャをしたりして操作面を設定しておけばよい。
【００５８】
（本実施形態の操作判定処理）
本実施形態では、ビデオカメラ５１１等で撮影した操作者１０２の一部である手や指１１４、１１５の位置を定めるとともに、操作面１０４、１０５と操作者１０２の手指１１４、１１５との位置関係を算出する処理を行う。この処理については図４を参照して以下に説明する。
【００５９】
図４は、本実施形態の操作判定処理のフローチャートである。まず、画像読取部３０１においてビデオカメラ５１１等で撮影されたデータを読取り（Ｓ４０１）、そのデータから操作者の像を、画像抽出部３０２により抽出する（Ｓ４０２）。
【００６０】
このような準備の結果、上述の操作面の設定で予め設定し、記憶手段などに記憶していた操作面の位置、形状を読み出す（Ｓ４０３）。このように、操作面の形状及び位置が読み出されると、本技術分野で知られたいずれかの方法で、操作面１０４上の手１１４位置に対応するディスプレイ１１１上の位置にアイコン等が標示制御部３０５により表示され、手の動きとともに移動するよう制御される。したがって、操作者は表示されたアイコンに対応する操作面上の位置に的確に指や手を触れさせることができるようになるため、表示面に表示されたアイコンをタッチするなどの操作を行うことができる。
【００６１】
操作判定部３０４は、操作入力システムが形成した操作面と、操作者１０２との相対的な位置関係を用い（Ｓ４０４）、操作者１０２の一部が操作面のビデオカメラ５１１などから見て手前に来ると、操作が開始されたと判断し（Ｓ４０５）、位置決定面１０４上での手１１４の位置を決定して、表示部の対応する位置にアイコンを移動するとともに、一方操作判定面１０５を基準として手１１５の形状（手を開いている、あるいは指を２本立てているなど）や動きから、その形状、動きが予め想定されたいずれの操作であるかを判定する（Ｓ４０６）。判定した結果は、そのような操作の入力があったものとしてコンピュータ１１０で実行され（Ｓ４０７）、もともと操作面から手前側に手が出ていない場合、操作は行われていないと判定して終了する（Ｓ４０８）。操作内容の判定はここで説明した手法に限られることなく本実施形態で知られたいずれの方法も用いることができる。
【００６２】
（操作面の手前側の操作支援）
本実施形態では、操作者が空間上に仮想的に設定した操作面を基準に、そこにあたかもマウスの代替となるような入力機器が存在するかのように操作することにより、その操作内容を確実に判定しようとするものであるが、操作者の一部である手または指などが操作面に至るまで、つまり操作者が何らかの操作を実行しようと手または指を動かし始めてから、操作面を押下するまでの間も操作支援することにより、さらに操作入力を容易に、より高精度に行うようにすることができる。本機能は、特にポインティングあるいはフォーカスの機能において有効であるが、操作判定面を使用した操作判定においても有効な場合が少なくないため、一般的な仮想的に設定される操作面として位置決定面を例に説明する。
【００６３】
基本的には、このような操作支援の原理は操作面に対する操作者の部位、例えば手あるいは指の位置の動きにあわせて、ディスプレイ１１１上に操作者がどのような操作をしようとしているかをビジュアルに表示させることにより、操作者を誘導して的確な操作入力を可能にするというものである。
【００６４】
この点について、図１４を参照して説明すると、本実施形態では予め操作者が操作面への操作が適した位置に操作面１０４設定する。図１４に示すように、操作者はシステムに対し何らかの操作を行おうとする場合、本例ではディスプレイ１１１に対し、腕２４０１を前後に動かすことにより、手あるいは指１１４の位置が変化するため、その様子をディスプレイ１１１に表示すると、突き出した指１１４が一定の位置まで来ると、そのときディスプレイ１１１の画面上で指示された項目が実行される等、システムとして一定の処理が行われる。図１４の例では、操作面１０４に対する指１１４の位置（深さ）によってアイコンの大きさが変化するようになっており、操作面に近づくほどアイコンが小さくなって操作者には自己の操作により一定の場所にフォーカスされていることが認識できるようになっている。そして、最もアイコンが小さくなった位置で、操作が確定し、それに応じた処理が実行される。
【００６５】
以上の操作の結果、アイコンがディスプレイ１１１の画面２５０１上でどのように変化するかを示したのが図１５である。図１５を参照すると、ディスプレイ１１１の画面２５０１には例えばテレビ番組表が表示されており、ある番組に関する操作を行おうとしている。このような状態で、例えば操作者が「設定変更」のメニューボタンを選択しようとする場合、操作者は上述のようにディスプレイ１１１に向かって指１１４を突き出して選択しようとする。本実施形態では、指１１４が操作面であるテレビ番組表に対し一定の距離まで近づくと、画面２５０１にアイコン２５０３が表示される。このアイコンは指の位置がまだ遠いため図１４に示すアイコンのうち右の方にある比較的大きなものが表示される。操作者がさらに腕２４０１を伸ばすと、このアイコンは目標である選択項目「設定変更」に近づきつつ、小さくなり一定の大きさのアイコン２５０２のときに特別なアイコンとなる。ここで、本実施形態の操作判定面１０５によりいずれかの操作であると判定されるとアイコンを異なる形状や色などに変化させて、操作が判定されたことを示すことが出来る。
【００６６】
このように、図１５の例では、指１１４の位置に応じて画面２５０１に表示されるアイコンの大きさを変化させることにより、操作者は自己の動作がシステムでどのように認識されているかを把握することができ、操作面の位置をより認識し易くして、メニューの選択などの操作を行うことができる。ここで、指１１４、腕２４０１を含む操作者全体及び各部位の位置や大きさは、操作者の全体像と同様三次元カメラを用いることにより抽出することができる。これにより画面内の物体は奥行きも含めて把握することができるから、これらの情報に基づき操作面との距離や位置関係を算出することができる。ただし、本実施形態で使用する三次元カメラや位置の抽出、距離の算出などは本技術分野で知られたいずれの方法も用いることができるので、ここではその説明を省略する。
【００６７】
ここで画面に表示されるアイコンは円形で操作者の動作に合わせて大きさが変化するが、これに限られず図１６に示すように様々な形態のアイコンを用い、様々な変化をさせることができる。すなわち、図１６を参照すると、（１）は指の形態のアイコンであり、上述の例と同様に操作面に近づくほどに小さくするようになっている。（２）は、円形で次第に小さくなるようになっているが、操作判定面により入力あるいは選択が確定すると特別な形状に変化して確定したことが示される。このアイコンや他のアイコンの場合も形状（大きさ、ディスプレイに対する角度を含む）の変化に代えて、あるいは合わせてアイコンの色を変化させることもできる。例えば、青、緑、黄、赤等、寒色系から暖色系に変化させることにより、直感的に操作がフォーカスされ確定することを操作者は認識することができる。（３）は、Ｘのような形状で、遠くにある場合は大きいだけでなくぼかしが入っており、近づくにしたがって、アイコンの大きさが小さくなるとともに、ぼかしが消えシャープな形状になる。（４）はアイコン全体の大きさは変化することなく、中に描かれた図形が形状変化を起こしてフォーカスされる様子を認識するようになっている。この場合、図形の色も変化させることができる。図１６に示す（５）も、形状を変化させるものである。図２３において、指の動きに応じてアイコンの形状や色などが変化していき、操作面を越えるとその瞬間に、欄２６０１に示すように種々の形状や色に変化させたり、点滅させたりして操作として判定されたことを操作者に認識させるようにすることもできる。また、図示しないがこの他のアイコンの変化としては最初透明で、指が操作面に近づくほどに不透明になるような変化も効果的である。さらに図示しないが、後述するようにディスプレイの立体表示機能を別途設けて、フォーカスしていくとアイコンが画面から飛び出すように見せるような画像を作成し、操作者にフォーカスの状況を知らせることもできる。
【００６８】
ここで、アイコンのバリエーションのうち特に形状をあまり変化させず色や濃さを変化させる場合は、図１６に示すようにアイコンはあまり移動せず指１１４を近づけていくと、色が暖色系になったり濃くなったりして、入力を確定することができる。
【００６９】
また、以上の例では操作の判定状況を確認するためアイコンを操作面の位置に表示させ、操作者の動作に応じて色や形状を変化させたが、例えば元々メニューのように予め指示する位置が固定されているような場合は、わざわざアイコンを表示しなくても、指が指し示す位置が表示されたメニューのどの項目ボタンに最も近いかにより決定し、指の動き、特に操作面からの距離に応じて指し示されている項目ボタンを塗りつぶす色または塗りつぶす濃さを変化させることにより、操作面の位置をより分かりやすくし、操作入力を容易にすることができる。
【００７０】
以上、操作面が操作者の水平方向前面にほぼ垂直に形成される場合について、本実施形態の原理を説明してきたが、この原理はこのような操作者とディスプレイとの位置関係や形状には影響されることはなく、種々の配置や構成が可能である。
【図１】
0005167523.tif 000002
【図３】
0005167523.tif 000003
【図４】
0005167523.tif 000004
【図５】
0005167523.tif 000005
【図６】
0005167523.tif 000006
【図７】
0005167523.tif 000007
【図８】
0005167523.tif 000008
【図９】
0005167523.tif 000009
【図１０】
0005167523.tif 000010
【図１１】
0005167523.tif 000011
【図１３】
0005167523.tif 000012
【図１５】
0005167523.tif 000013
【図１８】
0005167523.tif 000014
【図１９】
0005167523.tif 000015
【図２】
0005167523.tif 000016
【図１２】
0005167523.tif 000017
【図１４】
0005167523.tif 000018
【図１６】
0005167523.tif 000019
【図１７】
0005167523.tif 000020
【図２０】
0005167523.tif 000021