(57)【要約】【課題】単純な操作で操作対象機器の操作を行なうことができ、操作に対する応答を多様化させてより良好な操作感を得ることができる入力装置、情報処理装置及び情報処理システムを提供する。【解決手段】制御部３は、ユーザの肘が接触センサ１１に接触された場合に入力動作が開始されたと判断し、撮像部１２にて撮像された複数の画像を取得し、複数の画像に映るユーザの手の範囲の画像内における位置又は撮像部１２からの距離に基づき、ユーザの入力動作を判別する。情報処理部５は判別結果に応じて応答現象の内容を決定し、制御部３は決定内容を踏まえた制御信号に基づき、冷却部２４及び加熱部２５による空気流の温度の調整を制御し、噴出弁２２及び噴出弁２３によって噴出圧力を制御し、並びにユーザ噴出温度等を制御し、空気流を噴出口１３から噴出させする。【選択図】図１
2011227672.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが情報を入力するために用いられ、撮像手段から時系列にユーザを撮像した複数の画像を取得し、取得した複数の画像に基づき、前記ユーザによる情報の入力動作を判別する判別手段を備える装置において、
自身への接触／非接触を検知する検知手段と、
該検知手段による検知結果に基づき、前記入力動作の開始及び終了を判定する手段と、
前記判別手段により判別された前記入力動作への応答現象を発生させる発生手段と、
前記検知手段及び発生手段が上面に設けられた操作卓と
を備えることを特徴とする入力装置。
【請求項２】
前記発生手段は、
空気流を生成する手段と、
前記空気流を加熱又は冷却して温度を調温する調温手段と、
前記空気流を噴射する噴出手段と、
該噴出手段による噴出回数、噴出方向、噴出圧力変化、又は前記調温手段による調温を、判別された入力動作に応じて制御する制御手段と
を備えることを特徴とする請求項１に記載の入力装置。
【請求項３】
前記制御手段は、判別された入力動作が有効か無効かを判断し、判断結果に応じて前記噴出回数、噴出方向、噴出圧力変化、又は前記調温手段による調温を制御するようにしてあること
を特徴とする請求項２に記載の入力装置。
【請求項４】
前記複数の画像におけるユーザの体の特定部位の位置が前記画像の横方向、縦方向又は奥行き方向に移動していると判別された場合、前記制御手段は前記噴出方向を前記特定部位の移動方向に応じて、又は前記噴出圧力変化を移動距離に応じて制御するようにしてあること
を特徴とする請求項２に記載の入力装置。
【請求項５】
前記撮像手段は、撮像範囲内の物体への距離を画像化して出力する距離画像撮像手段であり、前記操作卓上面に上向きに設置されており、
前記判別手段は、
前記複数の画像から夫々、ユーザの体の特定部位に対応する範囲を抽出する手段と、
抽出した範囲に基づき前記特定部位が異なる複数の状態の内のいずれの状態かを判別する手段と、
前記複数の画像に基づき、前記特定部位の画像内での縦方向又は横方向の移動を検出する手段と、
前記複数の画像に基づき、前記特定部位への距離の変化を検出する手段と
を備えることを特徴とする請求項１から４のいずれか１つに記載の入力装置。
【請求項６】
撮像手段から時系列に撮像された複数の画像を取得し、取得した複数の画像に基づき、前記複数の画像にわたって映るユーザの入力動作を判別し、画像を表示する表示手段へ、判別された入力動作に対応して表示されるべき画像の情報を出力する情報処理装置において、
自身への接触／非接触を検知する検知手段と、
該検知手段による検知結果に基づき、前記入力動作の開始及び終了を判定する手段と、
判別された前記入力動作が、前記表示手段が表示中のオブジェクトに対応する動作である場合、前記オブジェクト及び動作内容に応じた応答現象を決定する決定手段と、
決定した応答現象を発生させる発生手段と、
前記検出手段及び発生手段が上面に設けられた操作卓と
を備えることを特徴とする情報処理装置。
【請求項７】
撮像手段から時系列に撮像された複数の画像を取得し、取得した複数の画像に基づいて前記複数の画像にわたって映るユーザの入力動作を判別する判別手段を備える入力装置と、該入力装置からの出力を受け付け、画像を表示する表示装置へ、判別された入力動作に対応して表示されるべき画像の情報を出力する情報処理装置とを含む情報処理システムにおいて、
前記入力装置は、
自身への接触／非接触を検知する検知手段と、
該検知手段による検出結果に基づき、前記入力動作の開始及び終了を判定する手段と、
前記撮像手段から取得した画像に基づき判別された前記入力動作への応答現象を、指示信号に基づき発生させる発生手段と、
前記検知手段及び発生手段が上面に設けられた操作卓と
を備え、
前記情報処理装置は、
前記撮像手段から取得した画像に基づき判別された前記入力動作が前記表示装置へ出力中のオブジェクトに対応する動作である場合、前記オブジェクト及び動作内容に応じた応答現象を決定する決定手段と、
決定した応答現象の発生を指示する指示信号を前記入力装置へ出力する手段と
を備えることを特徴とする情報処理システム。
【請求項８】
前記発生手段は、
空気流を生成する手段と、
前記空気流を加熱又は冷却して温度を調温する調温手段と、
前記空気流を噴射する噴出手段と
を備えることを特徴とする請求項７に記載の情報処理システム。
【請求項９】
前記決定手段は、判別された入力動作が前記表示装置へ出力中のオブジェクトに対応する動作として有効か無効かを判断し、判断結果に応じて応答現象を決定するようにしてあること
を特徴とする請求項８に記載の情報処理システム。
【請求項１０】
前記情報処理装置は、画面に表示する各オブジェクトに対応付けて属性を記憶する手段を備え、
前記決定手段は、前記オブジェクトに対応付けられた属性に応じて、前記調温手段による加熱又は冷却を決定するようにしてあること
を特徴とする請求項８に記載の情報処理システム。
【請求項１１】
前記決定手段は、前記オブジェクトの表示色に応じて、前記調温手段による加熱又は冷却を決定するようにしてあること
を特徴とする請求項８に記載の情報処理システム。
【請求項１２】
前記決定手段は、前記オブジェクトが表現する事項に応じて、前記調温手段による加熱又は冷却を決定するようにしてあること
を特徴とする請求項８に記載の情報処理システム。
【請求項１３】
前記情報処理装置は、
判別されたユーザの体の特定部位の各画像内における位置、及び画像内における縦方向、横方向又は奥行き方向の移動方向及び移動量に基づき、前記画面内における位置を特定する特定手段を備え、
前記判別手段は、特定された位置が前記オブジェクト上に対応する位置と重畳し、且つ移動方向及び移動量が特定されている場合、前記オブジェクトの移動に対応する動作であると判別するようにしてあり、
前記決定手段は、空気流の噴出方向を移動方向に応じて、又は空気流の噴出圧力変化を移動距離に応じて決定するようにしてあること
を特徴とする請求項８から１２のいずれか１つに記載の情報処理システム。
【請求項１４】
前記情報処理装置は、
判別されたユーザの体の特定部位の各画像内における位置、及び画像内における縦方向、横方向又は奥行き方向の移動方向及び移動量に基づき、前記画面内における位置を特定する特定手段と、
前記オブジェクトが任意の設定値であり、前記特定手段により移動方向及び移動量が特定されている場合、移動方向及び移動量に合わせて前記設定値を増減させる手段と
を備え、
前記決定手段は、空気流の噴出圧力を増減量に合わせて決定するようにしてあること
を特徴とする請求項８から１２のいずれか１つに記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マウス、キーボード、又は特定のコントローラを用いることなしに、機器への入力操作を行なうユーザの入力動作を画像に基づき判別し、オブジェクトの移動、又は選択などに関する情報を入力するための入力装置に関する。特に、入力操作の安定性向上及び入力操作に対する多様な応答を実現することができる入力装置、情報処理装置及び情報処理システムに関する。
【背景技術】
【０００２】
電子機器の制御を行なう手段として、操作の自由度のためにリモートコントローラが用いられている。例えば、テレビ受像機、ＨＤＤレコーダーなどは多数のボタンを含むリモートコントローラにて操作が行なわれる。パーソナルコンピュータでは、ディスプレイに表示されるカーソル位置を操作するためにワイヤレスマウスが用いられている。
【０００３】
これらのコントローラでは、ボタンの押下に対する応答として、表示画面の変化又は音の発生によって、ユーザが操作を行なったことを実感できるようにしてある。
【０００４】
特許文献１及び２には、タッチパネル操作によって機器を制御する装置に関する発明が開示されている。特許文献１及び２に開示された発明では、タッチ操作に対して振動を伝えるなど、力覚を帰還させるようにして、操作を行なったことを実感できるようにしてある。さらに、操作の仕方に応じて振動の振幅を変化させるなどして、操作感を強くしてある。
【０００５】
特許文献３には、車載機器の操作用スイッチに関し、運転者の視線上にスイッチの仮想画像を投影表示させ、運転者が操作したときに動く身体の一部（例えば手指）の位置を検出することによって、スイッチへの操作を検出する発明が開示されている。また、運転者（ユーザ）がスイッチを押下したことを実感できるように、車両に搭載されている空調機又はデフロスタの噴出口から空気流を手指へ噴出させる構成についても開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−１６２２７７号公報
【特許文献２】特開２００５−１４９４０５号公報
【特許文献３】特開２００９−１９０６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１及び２に開示された発明は、いずれもタッチパネル操作によって機器を制御する装置である。タッチパネル操作は結局のところ、パネルに表示されるボタンの判別、所望の操作に対応するボタンの探索が必要であり、操作は直感的とは言えない。しかもこれらの発明は、操作を実感させるために力覚を帰還させる構成ではあるが、パネルからの振動の振幅又は周期の変化などの微小な変化は、操作を行なうユーザにとっては捉え難い。ユーザに操作の実感を与えるという効果は不十分であり、ユーザが応答を誤認する可能性がある。
【０００８】
特許文献３に開示された発明は、車両における操作ボタンについての発明に限定されるから、投影されたボタンに対する操作に対し、空調機又はデフロスタからの噴出方向及び風量を調整することが可能である。しかしながら特許文献３に開示された発明は、車両のインストルメントパネルの操作ボタンを、安全のために運転者の目線上に仮想的に表示させて操作を可能とする発明であるから、ハンドル付近にある空調機又はデフロスタから噴出させるという限定がある。したがって、操作に対する帰還の方法の多様性には限界がある。噴出回数、噴出される空気の温度の調整などは困難である。
【０００９】
また、操作対象の機器の多機能化により、リモートコントローラを用いる場合、多数の操作ボタンが設けられている。そのリモートコントローラの操作は煩雑であり、わずらわしい場合もある。特に、目の不自由な人又は子供には操作が困難である。また、結局、操作が受け付けられたか否かは、操作対象となる機器での応答音、作動音の変化、又は画面上の変化などの確認が必要である。
【００１０】
このように従来の技術では、機器の多機能化によってリモートコントローラを用いても操作が複雑化し、操作の実感も視覚的又は聴覚的に判断しなければ得られない。特許文献３に開示されているように、ユーザが操作する際に動かす体の一部の動きを画像から捉える方法、所謂モーションキャプチャでは、操作の安定性も不十分であるし、操作に対する応答の実現も困難である。
【００１１】
本発明は斯かる事情に鑑みてなされたものであり、単純な操作で操作対象機器の操作を行なうことができ、操作に対する応答を多様化させてより良好な操作感を得ることができる入力装置、情報処理装置及び情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る入力装置は、ユーザが情報を入力するために用いられ、撮像手段から時系列にユーザを撮像した複数の画像を取得し、取得した複数の画像に基づき、前記ユーザによる情報の入力動作を判別する判別手段を備える装置において、自身への接触／非接触を検知する検知手段と、該検知手段による検知結果に基づき、前記入力動作の開始及び終了を判定する手段と、前記判別手段により判別された前記入力動作への応答現象を発生させる発生手段と、前記検知手段及び発生手段が上面に設けられた操作卓とを備えることを特徴とする。
【００１３】
本発明に係る入力装置は、前記発生手段は、空気流を生成する手段と、前記空気流を加熱又は冷却して温度を調温する調温手段と、前記空気流を噴射する噴出手段と、該噴出手段による噴出回数、噴出方向、噴出圧力変化、又は前記調温手段による調温を、判別された入力動作に応じて制御する制御手段とを備えることを特徴とする。
【００１４】
本発明に係る入力装置は、前記制御手段は、判別された入力動作が有効か無効かを判断し、判断結果に応じて前記噴出回数、噴出方向、噴出圧力変化、又は前記調温手段による調温を制御するようにしてあることを特徴とする。
【００１５】
本発明に係る入力装置は、前記複数の画像におけるユーザの体の特定部位の位置が前記画像の横方向、縦方向又は奥行き方向に移動していると判別された場合、前記制御手段は前記噴出方向を前記特定部位の移動方向に応じて、又は前記噴出圧力変化を移動距離に応じて制御するようにしてあることを特徴とする。
【００１６】
本発明に係る入力装置は、前記撮像手段は、撮像範囲内の物体への距離を画像化して出力する距離画像撮像手段であり、前記操作卓上面に上向きに設置されており、前記判別手段は、前記複数の画像から夫々、ユーザの体の特定部位に対応する範囲を抽出する手段と、抽出した範囲に基づき前記特定部位が異なる複数の状態の内のいずれの状態かを判別する手段と、前記複数の画像に基づき、前記特定部位の画像内での縦方向又は横方向の移動を検出する手段と、前記複数の画像に基づき、前記特定部位への距離の変化を検出する手段とを備えることを特徴とする。
【００１７】
本発明に係る情報処理装置は、撮像手段から時系列に撮像された複数の画像を取得し、取得した複数の画像に基づき、前記複数の画像にわたって映るユーザの入力動作を判別し、画像を表示する表示手段へ、判別された入力動作に対応して表示されるべき画像の情報を出力する情報処理装置において、自身への接触／非接触を検知する検知手段と、該検知手段による検知結果に基づき、前記入力動作の開始及び終了を判定する手段と、判別された前記入力動作が、前記表示手段が表示中のオブジェクトに対応する動作である場合、前記オブジェクト及び動作内容に応じた応答現象を決定する決定手段と、決定した応答現象を発生させる発生手段と、前記検出手段及び発生手段が上面に設けられた操作卓とを備えることを特徴とする。
【００１８】
本発明に係る情報処理システムは、撮像手段から時系列に撮像された複数の画像を取得し、取得した複数の画像に基づいて前記複数の画像にわたって映るユーザの入力動作を判別する判別手段を備える入力装置と、該入力装置からの出力を受け付け、画像を表示する表示装置へ、判別された入力動作に対応して表示されるべき画像の情報を出力する情報処理装置とを含む情報処理システムにおいて、前記入力装置は、自身への接触／非接触を検知する検知手段と、該検知手段による検出結果に基づき、前記入力動作の開始及び終了を判定する手段と、前記撮像手段から取得した画像に基づき判別された前記入力動作への応答現象を、指示信号に基づき発生させる発生手段と、前記検知手段及び発生手段が上面に設けられた操作卓とを備え、前記情報処理装置は、前記撮像手段から取得した画像に基づき判別された前記入力動作が前記表示装置へ出力中のオブジェクトに対応する動作である場合、前記オブジェクト及び動作内容に応じた応答現象を決定する決定手段と、決定した応答現象の発生を指示する指示信号を前記入力装置へ出力する手段とを備えることを特徴とする。
【００１９】
本発明に係る情報処理システムは、前記発生手段は、空気流を生成する手段と、前記空気流を加熱又は冷却して温度を調温する調温手段と、前記空気流を噴射する噴出手段とを備えることを特徴とする。
【００２０】
本発明に係る情報処理システムは、前記決定手段は、判別された入力動作が前記表示装置へ出力中のオブジェクトに対応する動作として有効か無効かを判断し、判断結果に応じて応答現象を決定するようにしてあることを特徴とする。
【００２１】
本発明に係る情報処理システムは、前記情報処理装置は、画面に表示する各オブジェクトに対応付けて属性を記憶する手段を備え、前記決定手段は、前記オブジェクトに対応付けられた属性に応じて、前記調温手段による加熱又は冷却を決定するようにしてあることを特徴とする。
【００２２】
本発明に係る情報処理システムは、前記決定手段は、前記オブジェクトの表示色に応じて、前記調温手段による加熱又は冷却を決定するようにしてあることを特徴とする。
【００２３】
本発明に係る情報処理システムは、前記決定手段は、前記オブジェクトが表現する事項に応じて、前記調温手段による加熱又は冷却を決定するようにしてあることを特徴とする。
【００２４】
本発明に係る情報処理システムは、前記情報処理装置は、判別されたユーザの体の特定部位の各画像内における位置、及び画像内における縦方向、横方向又は奥行き方向の移動方向及び移動量に基づき、前記画面内における位置を特定する特定手段を備え、前記判別手段は、特定された位置が前記オブジェクト上に対応する位置と重畳し、且つ移動方向及び移動量が特定されている場合、前記オブジェクトの移動に対応する動作であると判別するようにしてあり、前記決定手段は、空気流の噴出方向を移動方向に応じて、又は空気流の噴出圧力変化を移動距離に応じて決定するようにしてあることを特徴とする。
【００２５】
本発明に係る情報処理システムは、前記情報処理装置は、判別されたユーザの体の特定部位の各画像内における位置、及び画像内における縦方向、横方向又は奥行き方向の移動方向及び移動量に基づき、前記画面内における位置を特定する特定手段と、前記オブジェクトが任意の設定値であり、前記特定手段により移動方向及び移動量が特定されている場合、移動方向及び移動量に合わせて前記設定値を増減させる手段とを備え、前記決定手段は、空気流の噴出圧力を増減量に合わせて決定するようにしてあることを特徴とする。
【００２６】
本発明では、入力装置は、撮像された複数の画像に基づいてユーザの入力動作を判別する際に、接触／非接触を検知する検知手段における検出結果に応じて入力動作の開始及び終了を判定する。例えば、接触が検知されている間は入力動作の判別を実行し、非接触が検知されている間は入力動作の判別を実行しないようにするなど判別期間を明確化できる。検知手段を操作卓上面に設置することにより、操作時にユーザが動かす体の一部を操作卓に預けるときに触れる箇所で検知することが可能である。更に、操作卓には、入力動作に対する応答現象を発生させる手段が設置されてあり、入力動作が開始されたときに当該動作に対応する応答が入力装置にて実現される。
【００２７】
本発明では、入力装置は入力動作に対する応答現象として、生成した空気流を噴出する。入力装置は、入力動作に応じて噴出回数、噴出方向、又は噴出圧力変化を制御してもよいし、空気流を加熱又は冷却して温度を調整してもよい。これにより、入力動作に対する応答を多様化できる。
【００２８】
本発明では、入力動作が有効か無効かが判断され、入力動作に対する応答現象として、有効な場合と無効な場合とで、異ならしめるように噴出回数、噴出方向、又は噴出圧力変化を制御してもよいし、空気流を加熱又は冷却して温度を調整してもよい。これにより、ユーザへ、入力動作が有効であったか無効であったかを直感的に知らせることができる。
【００２９】
本発明では、入力装置は入力動作が、ユーザの体の特定部位の画像内での位置の横方向、縦方向又は奥行き方向の移動に対応すると判別されたとき、空気流の噴出方向又は空気流の噴出圧力を移動量に応じて変化させることにより、ユーザに対して入力された情報に基づく移動、又は数値の増減を直感的に知らせることができる。
【００３０】
本発明では、撮像手段は距離画像撮像手段であり、操作卓の上面に、上向きに設置されており、物体への距離を色又は明度（輝度）で区別する画像を出力する。言い換えれば、当該撮像手段は、撮像範囲の事物を三次元画像化する。入力装置は、画像から抽出されるユーザの体の特定部位の位置、つまり撮像手段が設置されている箇所を基準として操作卓からの距離の変化を検出すること（画像における奥行き方向の動き）、操作卓に対する前後左右の移動を検出すること（画像における縦方向又は横方向の動き）によって三次元的な入力動作を判別可能である。これにより、ユーザは体の特定部位を操作卓の上方で動かす簡単な動作によって情報を入力することができる。
【００３１】
本発明では、入力装置は、撮像された複数の画像に基づいてユーザの入力動作を判別する際に、接触／非接触を検知する検知手段における検知結果に応じて入力動作の開始及び終了を判定する。検知手段を操作卓上面に設置することにより、操作時にユーザが動かす体の一部を操作卓に預けるときに触れる箇所で検知可能である。また、操作卓には、入力動作に対する応答現象を発生させる手段が設置されてある。入力動作が開始されたときに、当該入力動作に応じて表示装置に画像が表示されるが、表示されているオブジェクト及び動作内容に応じた応答現象が入力装置にて実現される。
【００３２】
本発明では、入力動作に対する応答現象として、判別された入力動作が表示中のオブジェクトに対応する動作、例えばオブジェクトを選択、移動又はオブジェクトに関する数値の増減を調整する動作である場合に、空気流の温度がオブジェクトに対応付けられた属性に応じて調整される。加熱時間、冷却時間などが決定されてもよい。これにより、入力動作に対する応答が効果的に実現される。
【００３３】
本発明では、入力動作に対する応答現象として、判別された入力動作が表示中のオブジェクトに対応する動作である場合に、空気流の温度がオブジェクトの表示色に応じて調整される。オブジェクトが例えば暖色系であれば噴出される空気流は暖かく、寒色系であれば噴出される空気流は冷たく調整される。これにより、入力動作に対応する応答が効果的に実現される。
【００３４】
本発明では、入力動作に対応する応答現象として、判別された入力動作が表示中のオブジェクトに対応する動作である場合に、空気流の温度がオブジェクトが表現する事項に応じて調整される。オブジェクトが例えば、火炎、太陽などの高温の事物の画像である場合は噴出される空気流は暖かく、水、氷又は雪などの低温の事物の画像である場合は噴出される空気流は冷たく調整される。
【００３５】
本発明では、入力動作に対応する応答現象として、判別された入力動作が表示中のオブジェクトを移動させる動作である場合に、空気流の噴出方向が移動方向に応じて調整される。例えば、移動方向と反対方向から空気流を噴出させて移動していることを実感させたり、又は移動距離に応じて空気流の噴出圧力を変化させて移動量を直感的に感じさせたりできるように調整される。
【００３６】
本発明では、入力動作に対応する応答現象として、表示中のオブジェクトが任意の設定値を表す数値、バー、グラフ又は画像などであって、判別された入力動作が設定値を増減に対応する動作であると判別された場合、空気流の噴出圧力が増減量に合わせて調整される。例えば、音量、明るさ又は放送局のチャンネルなどを調整するための動作である場合、設定値が増大している場合は強く噴出され、減少している場合は弱く噴出されるように調整される。
【発明の効果】
【００３７】
本発明による場合、ユーザは、動かす体の一部を操作卓に預けることで動作を安定的に行なうことが可能である。ユーザは、体の一部を動かす三次元的な動作によって情報を入力することができ、これにより機器の操作などが可能となる。細かなボタン操作や摺動操作を行なう必要もなく単純な動作にて操作が可能となる。また、画像に基づく動作の判別では、判別する部位の震えなどにより誤って判別する可能性があるが、本発明により、体の一部が固定されることで安定化し、判別の精度も高まる。長時間にわたって機器操作を行なう場合でもユーザの披露が軽減される。更に、ユーザが体の一部を預ける操作卓にて、入力動作への応答現象が発せられるので、入力動作に対し実感することが可能である。これにより、目の不自由なユーザ、子供であっても操作卓上での応答現象によって操作が受け付けられたか否か、どのような操作を自分がしたのか等を直感的に感じることができる。
【００３８】
また、本発明による場合、応答現象を発生させる手段を操作卓上に設け、動作に対するその場での応答現象の多様化を実現でき、良好な操作感を得ることが可能である。
【図面の簡単な説明】
【００３９】
【図１】本実施の形態における情報処理システムの構成を模式的に示す模式図である。
【図２】情報処理システムの構成を示すブロック図である。
【図３】情報処理システムにて実行される処理手順の一例を示すフローチャートである。
【図４】ユーザがシングルクリック又はダブルクリック動作を行なうときの手の動きのイメージ図である。
【図５】ユーザがオブジェクトに関し、移動させる動作、又は値を増減させる動作を行なうときの手の動きのイメージ図である。
【図６】ユーザがオブジェクトを移動させる動作を行なった場合の例を模式的に示す模式図である。
【図７】ユーザがオブジェクトに関し、値を増減させる動作を行なった場合の例を模式的に示す模式図である。
【図８】入力動作に関連するオブジェクトに応じて噴出温度が変化する例を示す模式図である。
【発明を実施するための形態】
【００４０】
以下本発明をその実施の形態を示す図面に基づき具体的に説明する。
【００４１】
図１は、本実施の形態における情報処理システムの構成を模式的に示す模式図であり、図２は、情報処理システムの構成を示すブロック図である。情報処理システムは、接触センサ１１、撮像部１２、噴出口１３が設けられた操作卓１と、噴出ノズル２１、２つの噴出弁２２，２３、冷却部２４、加熱部２５及び２つのコンプレッサ２６，２７からなる応答現象発生部２と、操作卓１上の構成部からの情報に基づき応答現象発生部２を制御する制御部３と、無線通信部４と、情報処理部５と、パネル６１を有する表示部６とを含んで構成される。
【００４２】
接触センサ１１は、シート状をなして操作卓１の上面のユーザにとって手前側に設置してある。接触センサ１１は静電容量式の接触センサを利用し、接触／非接触を電気信号として出力する。接触センサ１１からの信号は、制御部３へ出力されるようにしてある。接触センサ１１は、他に圧電を用いたセンサを用いてもよい。また、上面に設置されているのみならず、操作卓１の上面に埋め込まれる構成としてもよい。
【００４３】
撮像部１２は、操作卓１の上面のユーザにとって奥側に設置してある。レンズは上方又は接触センサ１１寄りの斜め上方に向けて固定してある。撮像部１２は、ＴＯＦ（Time Of Flight）式の撮像装置を利用し、撮像部１２からの距離を明度（輝度）又は色で区別した画像を出力する。つまり、撮像部１２は撮像範囲の事物を三次元的に表現した画像を出力する。撮像部１２からの画像は、デジタルデータとして制御部３へ出力される。なお、撮像部１２はＴＯＦ式に限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＣＤ（Charge Coupled Device）等の素子を用いて事物夫々の色を受光してカラー画像を出力するものを用いてもよい。
【００４４】
噴出口１３は、操作卓１の上面に、接触センサ１１と撮像部１２との間に設けられている。噴出口１３は、応答現象発生部２の噴出ノズル２１から噴出される空気流を通すための穴である。噴出口１３は、ユーザが接触センサ１１上に肘を置きつつ、前方へ手を伸ばしたときに、手の下方の位置となるように設けられている。
【００４５】
噴出ノズル２１は、噴出口１３に下部から差し込まれており、噴出弁２２又は噴出弁２３を介して噴出される空気流の噴出方向を、操作卓１よりも上の範囲で自由に調整できるように半固定されている。噴出方向は、図示しない駆動部が制御部３からの制御信号に応じて動くことにより、連動して噴出ノズル２１の向きも調整される。
【００４６】
噴出弁２２は、コンプレッサ２６から管を通して冷却部２４にて冷却された空気流の出口を開閉する。噴出弁２３は、コンプレッサ２７から管を通して加熱部２５にて加熱された空気流の出口を開閉する。噴出弁２２及び噴出弁２３は、制御部３からの制御信号により開閉される。制御部３は、噴出弁２２又は噴出弁２３を全閉とするか、全開とするか、又は半開とするかにより、噴出ノズル２１からの噴出圧力を調整することが可能である。勿論、更に詳細に１／４ずつ、１／５ずつなどで調整するようにしてもよい。
【００４７】
冷却部２４は、コンプレッサ２６からの空気流を冷却する。ファン、又はリブ等を内部に有して空冷式にて冷却する。なお、冷却部２４及びコンプレッサ２６はポイントクーラのスプレー缶にて代替してもよい。
【００４８】
加熱部２５は、コンプレッサ２７からの空気流を加熱する。電熱式のヒーターを内部に有して加熱する。なお、加熱部２５及びコンプレッサ２７はドライヤーを応用したような構成にて実現してもよい。
【００４９】
コンプレッサ２６及びコンプレッサ２７は、管を通して噴出口１３から噴出される空気流を貯めておく。コンプレッサ２６及びコンプレッサ２７は単純に空気のタンクでもよいし、各別に備えられずに１つのタンクであってもよい。
【００５０】
冷却部２４によって冷却される空気流の温度、加熱部２５によって加熱される空気流の温度、及び噴出ノズル２１の手前の空気流の温度を夫々測定する温度センサを備え、温度センサによる測定結果を制御部３にて入力し、制御部３が測定結果に応じて温度を調整すべく、噴出弁２２及び噴出弁２３の開閉を調整するようにしてもよい。
【００５１】
制御部３は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）を用い、接触センサ１１及び撮像部１２からの出力を受け付ける。制御部３は、撮像部１２から出力された画像データを解析し、解析結果を無線通信部へ出力する。制御部３は、無線通信部により受信した制御信号を、噴出ノズル２１、噴出弁２２、噴出弁２３、冷却部２４及び加熱部２５へ出力する。制御部３による処理の詳細は後述する。
【００５２】
無線通信部４は、赤外線、又はBluetooth（登録商標）などの方式により、制御部３及び情報処理部５との間の信号の送受信を実現する。なお無線通信部４は、信号線にて情報処理部５と接続されるコネクタにて代替されてもよい。
【００５３】
情報処理部５は、パーソナルコンピュータを用い、無線通信部４から送信された信号により、操作卓１にてユーザによって入力された情報を取得し、当該情報に基づき情報処理を行ない、結果を表した画像を作成し、画像の情報（描画コマンドなど）を表示部６へ出力する。
【００５４】
表示部６は、液晶パネル、プラズマパネル、有機ＥＬパネルなどを用いたパネル６１を有し、情報処理部５から出力される情報に基づき画像を表示する。
【００５５】
本実施の形態の情報処理システムでは、操作卓１上の接触センサ１１、撮像部１２及び噴出口１３、並びに接触センサ１１及び撮像部１２からの出力に基づきユーザが行なった動作を判別し、判別結果を情報処理部５へ出力する制御部３は、情報を入力するためにユーザが用いる入力装置として機能する。
ユーザは、操作卓１上のシート状の接触センサ１１に肘を置き、撮像部１２の上方で腕を動かすことによって入力動作を行なう。
【００５６】
情報処理部５は入力装置として機能する制御部３から判別結果を取得し、入力された情報に応じた演算等の情報処理を実行し、結果をパネル６１に表示するべく表示部６へ出力する。
【００５７】
更に本実施の形態における入力装置は、ユーザが動作をすることによって入力した情報に応じた応答をユーザへ帰還させるべく応答現象発生部２を有し、制御部３は、情報処理部５からの指示に基づいて応答現象発生部２の各構成部を制御し、ユーザへ操作感を実感させる。
【００５８】
このように構成される情報処理システムにて実現される機能について、フローチャートを参照して説明し、具体的な例についてイメージ図を参照して説明する。
【００５９】
図３は、本実施の形態の情報処理システムにて実行される処理手順を示すフローチャートである。
【００６０】
制御部３は、接触センサ１１からの出力を受け付けており、接触を検知したか否かによって入力動作が開始されたか否かを判定する（ステップＳ１）。制御部３は、接触を検知しておらず、入力動作は開始されていないと判定した場合（Ｓ１：ＮＯ）、処理をステップＳ１へ戻し、接触を検知するまで待機する。
【００６１】
制御部３は、接触を検知し、即ち入力動作が開始されたと判断した場合（Ｓ１：ＹＥＳ）、以後撮像部１２から出力される画像データを時系列に取得し（ステップＳ２）、取得した画像データから入力動作を判別する（ステップＳ３）。
【００６２】
ステップＳ３における入力動作の判別処理は、詳細には、以下のようにする。制御部３は、複数の画像夫々について、画像内に写っている手の領域を抽出する。制御部３は、抽出した手の領域の大きさ及び形に基づき、映っている手の状態が「握った状態」か「開いた状態」かのいずれの状態であるかを判別する。また、制御部３は抽出した手の領域が複数の画像にわたって映っている場合に、複数の画像内で夫々抽出した手の領域の輝度（又は色）に基づき、各画像における手の領域の撮像部３からの距離を検出する。例えば制御部３は、撮像部１２からの距離として所定の距離（所定の輝度）を基準として設定しておき、基準よりも離れている（基準よりも輝度が低い）場合に正の値、基準よりも近い（基準よりも輝度が高い）場合には負の値にて距離を検出する。そして制御部３は、複数の画像に映っている手の状態が「握った状態」のままで、且つ、手の領域の奥行き方向の距離を１度、正の値及び負の値の両方で検出した場合、「シングルクリック」がされた状態であると判別し、判別結果を、無線通信部４を介して情報処理部５へ出力する。制御部３は、手の状態が「握った状態」のままで、且つ、手の領域の奥行き方向の距離を、正の値及び負の値を交互に２度検出した場合、「ダブルクリック」がされた状態であると判別し、判別結果を情報処理部５へ出力する。また制御部３は、抽出した手の領域が複数の画像にわたって映っており、複数の画像に映っている手の状態が「開いた状態」のままで、画像内の縦方向または横方向の位置が変化している場合には、表示中のオブジェクトの移動に関する入力動作であると判別し、映っている手の移動方向及び移動量を検出する。移動方向は、画像の中央位置を基準とし、横方向をｘ軸として基準よりも左側を正、右側を負とし、縦方向をｙ軸として基準よりも上側を正、下側を負としたｘ、ｙ座標値を用いて表す。またその移動量の単位は画像のピクセル単位にて表して情報処理部５へ出力する。移動量の単位は画像のピクセル単位とは限らず、予めキャリブレーションしてあるミリ単位にて出力してもよい。
【００６３】
制御部３がステップＳ３の判別結果を出力すると、情報処理部５はこれを受け付けて、表示部６にて表示中の画面と判別結果とに応じて情報処理を行なう。例えば、画面内におけるポインタの位置が、任意のアイコン上にあるときに「ダブルクリック」がされたとの判別結果を受け付けた場合、情報処理部５は、アイコンをダブルクリックしたときの処理（アイコンに対応するアプリケーションプログラムの実行など）を実行する。その他、情報処理部５は、制御部３から出力された判別結果が、検出された移動方向及び移動量であるとき、ポインタをそれに応じて移動させる処理を実行する。制御部３は、「シングルクリック」がされた状態で移動方向及び移動量が検出された場合には、選択されたアイコン又は画像を「ドラッグ」させて各時点でのポインタを表示する処理を実行する。
【００６４】
このとき情報処理部５は、受け付けた入力動作の判別結果に応じた情報処理を行なうのみならず、以下のように、ユーザによる入力動作に対する応答現象を決定し、制御部３へ送信して実行させる。
【００６５】
情報処理部５は、制御部３から出力された判別結果に基づき、表示中のポインタがアイコン、グラフ又は画像等のオブジェクト上にあるか否かを判断する（ステップＳ４）。具体的には、情報処理部５は、判別結果が検出された移動方向及び移動量であって、ポインタをそれに応じて移動させる処理を実行した場合、その移動過程で又は結果的に、ポインタの画面上での位置が、オブジェクトの画面上の領域と重畳するとき、オブジェクト上にあると判断する。また、判別結果が「シングルクリック」又は「ダブルクリック」である場合も、情報処理部５は、ポインタの画面上での位置が、オブジェクトの画面上の領域と重畳するとき、表示中のポインタがオブジェクト上にあると判断する。
【００６６】
情報処理部５は、ステップＳ４にてオブジェクト上にあると判断した場合（Ｓ４：ＹＥＳ）、判別結果はシングルクリックであるか否かを判断する（ステップＳ５）。情報処理部５は、シングルクリックであると判断した場合（Ｓ５：ＹＥＳ）、応答現象発生部２から空気流を１回噴出させると決定し、制御信号を制御部３へ出力する（ステップＳ６）。
【００６７】
このとき制御部３は、ステップＳ６にて出力された制御信号に基づき、空気流が噴出口１３から１回噴出する現象を発生させるべく制御する。具体的には、制御部３は、噴出弁２２又は噴出弁２３を、シングルクリックに対応する一定時間（例えば０．３秒など）開放してその後閉じるように制御する。
【００６８】
次に制御部３は、接触センサ１１からの出力に基づき、非接触を検知したか否かにより入力動作が終了したか否かを判定する（ステップＳ７）。制御部３は、非接触を検知していない場合（Ｓ７：ＮＯ）、処理をステップＳ２へ戻し、次の画像データを取得して処理を続行する。制御部３は、非接触を検知し、入力動作が終了したと判断した場合（Ｓ７：ＹＥＳ）、処理を終了する。この場合、制御部３は処理を再度ステップＳ１から実行する。
【００６９】
なおステップＳ７にて制御部３は、ステップＳ１にて一旦、接触を検知した後は、非接触を検知したとしても一定時間以上非接触の状態が継続しない限り、入力動作が終了したと判定しない。これにより、入力動作中に肘が接触センサ１１から離れることによって操作が中断されるといった誤動作を回避することができる。
【００７０】
ステップＳ５にて情報処理部５がシングルクリックでないと判断した場合（Ｓ５：ＮＯ）、情報処理部５は、判別結果はダブルクリックであるか否かを判断する（ステップＳ８）。情報処理部５は、ダブルクリックであると判断した場合（Ｓ８：ＹＥＳ）、応答現象発生部２から空気流を２回噴出させると決定し、制御信号を制御部３へ出力し（ステップＳ９）、処理をステップＳ７へ進める。
【００７１】
このとき制御部３は、ステップＳ９にて出力された制御信号に基づき、空気流が噴出口１３から２回噴出する現象を発生させるべく制御する。具体的には、制御部３は、噴出弁２２又は噴出弁２３を、ダブルクリックに対応する一定時間（例えば０．２秒など）開放する制御を２回実行してその後閉じるように制御する。
【００７２】
ステップＳ８にて情報処理部５がダブリクリックでもないと判断した場合（Ｓ８：ＮＯ）、単に表示中のポインタがオブジェクト上に重畳しているのみである。このとき情報処理部５は、噴出口１３から噴き出される空気流の温度を、重畳しているオブジェクトに応じて調節すると決定し、制御信号を制御部３へ出力し（ステップＳ１０）、処理をステップＳ７へ進める。具体的には、情報処理部５は、重畳しているオブジェクトの表示色が暖色系である場合は、暖かい空気流が噴出されるように、表示色が寒色系である場合は冷たい空気流が噴出されるように制御信号を出力する。また、情報処理部５は、オブジェクトが火炎、又は太陽などの高温の事物を表すアイコン又は画像である場合は暖かい空気流が噴出されるように、オブジェクトが水、氷、雪などの低温の事物を表すアイコン又は画像である場合は冷たい空気流が噴出されるように制御信号を出力する。
【００７３】
このとき制御部３は、ステップＳ１０にて出力された制御信号に基づき、空気流の温度を調節すべく冷却部２４、加熱部２５、噴出弁２２及び噴出弁２３を制御する。クリックなどの入力動作が何もされていない状態でも、制御部３は、表示部６にて表示されているポインタがオブジェクト上にある間は、噴出口１３から温度が分かる程度に少しずつ空気流を噴出させるように制御するようにすることが可能である。
【００７４】
また、ステップＳ４にてポインタがオブジェクト上にないと判断した場合（Ｓ４：ＮＯ）、判別結果はポインタの移動に関する入力動作であるか否かを判断する（ステップＳ１１）。情報処理部５は、ポインタの移動に関する入力動作であると判断した場合（Ｓ１１：ＹＥＳ）、噴出口１３からの空気流が移動方向と逆方向に噴出させると決定し（ステップＳ１２）、移動量に応じて空気流の噴出圧力を変化させると決定して制御信号を制御部３へ出力し（ステップＳ１３）、処理をステップＳ７へ進める。
【００７５】
制御部３は、ステップＳ１２及びＳ１３の結果、出力された制御信号に基づき、空気流の噴出方向及び噴出圧力を変化させるべく、噴出ノズル２１、噴出弁２２及び噴出弁２３を制御する。
【００７６】
なお、ステップＳ４にてポインタがオブジェクト上にあると判断した場合であっても（Ｓ４：ＹＥＳ）、判別結果が移動に関する入力動作であるか否かを判断し（ステップＳ１１）、移動に関する入力動作であると判断した場合に、ステップＳ１２及びステップＳ１３の処理を実行して重畳しているオブジェクト（１つ前の処理としてシングルクリックにて選択されたオブジェクト）を移動させるようにしてもよい。このとき、情報処理部５は、重畳しているオブジェクトに対応する温度に空気流の温度を調節した上で（Ｓ１０）、空気流の噴出方向がオブジェクトの移動方向と逆方向となるように噴出ノズル２１を制御し、噴出圧力が移動量と対応するように噴出弁２２又は噴出弁２３の開閉を制御するように応答現象を決定し、制御信号を出力する。
【００７７】
また、ステップＳ８にて情報処理部５がダブリクリックでもないと判断し（Ｓ８：ＮＯ）、表示中のポインタ及びオブジェクトとの対応から、無効な入力動作であると判断した場合には、情報処理部５は、空気流が噴出口１３から３回噴出する現象を発生させるべく決定するようにしてもよい。３回噴出した場合は無効であるというルールを決めておくことによりこの場合、ユーザは無効な入力動作を行なったことを直感的に自覚することができる。
【００７８】
次に、図３のフローチャートに示した処理手順について、具体例を挙げて説明する。
【００７９】
まず、本実施の形態の情報処理システムにて、ユーザが情報を入力するために行なうべき動作について説明する。図４は、ユーザがシングルクリック又はダブルクリック動作を行なうときの手の動きのイメージ図である。図４は、操作卓１及び操作卓１上のユーザの腕の一部を側面から見た図である。
【００８０】
ユーザの手の操作卓１の上面（撮像部１２のレンズ）からの高さが、図４の示す高さである場合を基準とする。ユーザは、シングルクリックをする場合、手を握った状態で、その手を矢印のように１回上下させる。ダブルクリックをする場合には２回上下させる。これらの動作は、上述したように、制御部３によって撮像部１２からの画像データにおける手の領域の輝度値の変化に基づき、手の領域の画像内での奥行き方向の距離が変化したことを検知することで判別される。なお、ＴＯＦ画像を用いない場合には、制御部３は、抽出した手の領域の大きさの変化に基づき、手の領域の画像内での奥行き方向の距離が変化したことを検知し、画像内での奥行き方向の移動を検出する構成としてもよい。
【００８１】
制御部３は、画像にて抽出された手の領域が「握った状態」であって、複数の画像内での手の領域の輝度が基準よりも低い値となった後に、高い値となったことを検出した場合シングルクリックであると判別し、２度繰り返して検出した場合にはダブルクリックであると判別する。
【００８２】
このとき、情報処理部５は、制御部３からの判別結果がシングルクリックであると判断した場合、噴出口１３から空気流が１回噴出するように決定する。決定に基づき制御信号が制御部３へ出力され、制御部３の制御によって噴出口１３から空気流が１回噴出される。
【００８３】
ユーザは、手を握った状態で手を１回上下させたときに、噴出口１３から空気流の１回の噴出を感じ、自分のシングルクリックの動作が受け付けられたことを直感的に認識することができる。
【００８４】
図５は、ユーザがオブジェクトに関し、移動させる動作、又は値を増減させる動作を行なうときの手の動きのイメージ図である。図５は、操作卓１及び操作卓１上のユーザの腕の一部を上方から見た図である。検知部１１、撮像部１２及び噴出口１３の図示は省略している。
【００８５】
ユーザは、手を開いた状態で手を矢印のように左右前後に動かす。接触センサ１１に肘などが触れたときの撮像部１２の撮像範囲の中心を基準とする。この動作は、上述したように、制御部３によって撮像部１２からの画像データに基づき判別される。つまり、左右の動きは画像内における横方向の動き、前後の動きは画像内における縦方向の動きに対応する。なお図５には、左右及び前後の動きのみ矢印にて示されているが、ユーザが、円弧を描くように時計回り又は反時計回りで開いた手を動かした場合も、入力動作として判別可能である。
【００８６】
図６は、ユーザがオブジェクトを移動させる動作を行なった場合の例を模式的に示す模式図である。図６には、パネル６１にポインタが表示されているときに、操作卓１の接触センサ１１上にユーザの肘が載せられ、ユーザが図５に示したように手を開いた状態で左側から右側へ動かした場合の例が示されている。図６の例では、画面上にポインタが表示されているときに、ユーザが開いた手を操作卓１上で左右に動かした場合に、制御部３による判別結果を得た情報処理部５によって、その移動方向及び移動量に応じてポインタが画面上で移動されることが示されている。更に、制御部３が検出した移動方向に応じて、噴出口１３からの空気流の噴出方向が、斜線が引かれた矢印に示すように、移動方向と逆方向に向けられるように制御部３によって噴出ノズル２１の方向が制御されることが示されている。
【００８７】
これによりユーザは、手を動かすという簡単な動作でポインタを動かすことができ更に、オブジェクト（ポインタ）を移動させるという動作が受け付けられたことを実感することができる。手を動かす動作は三次元的なものであり、前後左右の動きに加えて上下の動きなどの動作によって多様な表現が可能であり、多様な情報の入力が可能である。なおこのとき、ユーザが肘を置きながら動作を行なうことで安定して動作が可能であるので、制御部３が手の動きを誤って判別することを回避できる。肘を置いている期間が、入力動作が行なわれる期間であるとして判別を行なうことにより入力動作の判別を精度よく行なうことができる。また、入力動作に応答して空気流が噴出され、しかも噴出圧力が移動量に応じて増減されることにより、ユーザは、オブジェクトをどれくらい移動させたかを実感することができる。このように、本実施の形態における情報処理システムでは、入力動作に対する応答現象を多様化して、充実した操作感を与えることができる。
【００８８】
図７は、ユーザがオブジェクトに関し、値を増減させる動作を行なった場合の例を模式的に示す模式図である。図７には、パネル６１に音量及び音量バーが表示されているときに、操作卓１上の接触センサ１１上にユーザの肘が載せられ、ユーザが手を開いた状態で左側から右側へ動かした場合の例が示されている。図７の例では、画面上に設定値、又はグラフが表示されているときに、ユーザが開いた手を操作卓１上で左右に動かした場合に、制御部３による判別結果を得た情報処理部５によって、その移動方向及び移動量に応じて音量が増加され、音量を表すバーが増えていることが示されている。更にその音量の増加量に応じて、噴出口１３からの空気流の噴出圧力が増加していることが示されている。
【００８９】
これによりユーザは、手を動かすという簡単な動作で音量などの種々の設定値を増減させる操作ができ、更に、設定値を増加させるという動作が受け付けられたことを実感することができる。このときも、ユーザが肘を置きながら動作を行なうことで安定して動作が可能であるので、制御部３が手の動きを誤って判別することを回避できる。肘を置いている期間が、入力動作が行なわれる期間であるとして判別を行なうことにより入力動作の判別を精度よく行なうことができる。また、入力動作に応答して空気流が噴出され、しかも噴出圧力が設定値の増減に応じて増減されることにより、ユーザは、設定値をどれくらい増減させたかを実感することができる。設定値がゼロとなったときには、噴出量がゼロとなるように情報処理部５によって噴出圧力が決定されるようにしてもよい。このように、本実施の形態における情報処理システムでは、入力動作に対する応答現象を多様化して、充実した操作感を与えることができる。なお、図７には、左側から右側へ手を動かすという動作によって音量を増加させた例を示したが、他に、開いた手で円弧を描くように動かすという動作によって音量を増加させたり、明度を上下させたり、チャンネルを変更したりすることも可能である。また他に、撮像部１２に向けて上下の動き（画像における奥行き方向）をすることによって音量を増加させたりすることも勿論可能である。
【００９０】
図８は、入力動作に関連するオブジェクトに応じて噴出温度が変化する例を示す模式図である。図８には、パネル６１に表示される様々なオブジェクトの例として「太陽」、「炎」、「氷」、「雪だるま」などの事象を表す画像（アイコン）が示されている。夫々の画像には、事象の意味が対応付けられて情報処理部５にて記憶されてある。
【００９１】
図８は更に、ポインタ（矢印）を移動させる入力動作によってポインタが各画像の上に重畳された場合、又は各画像上でシングルクリック若しくはダブルクリックがされたと判別された場合に、夫々噴出口１３から噴出される空気流の温度が調整されることを表している。
【００９２】
図８の例では、「太陽」のアイコン上でシングルクリックの動作がされた場合に、暖かい空気流が噴出口１３から噴出されることが示されている。また図８には、「炎」のアイコン上にポインタが重畳された場合に、暖かい空気流が噴出口１３から噴出されることが示されている。更に図８には、「氷」のアイコン上にポインタが重畳された場合に、冷たい空気流が噴出口１３から噴出されることが示されており、「雪だるま」のアイコン上にポインタが重畳された場合に、冷たい空気流が噴出口１３から噴出されることが示されている。
【００９３】
上述では、パネル６１に表示中の画像（アイコン）が示す事象に応じて空気流の温度が調整されると説明されたが、表示中の画像の色が暖色系か、寒色系か、又は中間色かに応じて温度が調整されてもよい。暖色系なら暖かい空気流、寒色系なら冷たい空気流、中間色には混合された空気流が噴出されるように調整される。
【００９４】
これにより、ユーザは、表示部６に表示されている画像を見ることができなくても、ポインタがオブジェクト上に重畳しており、そのオブジェクトが何であるかを感じることが可能である。
【００９５】
なお、噴出口１３からの空気流の温度の調整については、シングルクリック、又はダブルクリック等の入力動作、オブジェクトの移動、増減に対応する動作そのものが適切な動作か否かによって調整される構成としてもよい。情報処理部５は、判別された入力動作が適切な動作であると判断した場合に、空気流を加熱して暖かい空気流が噴出するように決定し、不適切な動作であると判断した場合に、空気流を冷却して冷たい空気流が噴出するように決定し、夫々の制御信号を制御部３へ出力する。これにより、ユーザは、自身の動作が受け付けられたか否かを直感的に認識することができる。
【００９６】
本実施の形態では、操作卓１上の撮像部１２からの画像データに基づき制御部３にて動作を判別し、判別結果を情報処理部５へ出力する入力装置として機能する構成とした。しかしながら本発明はこれに限らない。撮像部１２からの画像データが情報処理部５へ直接的に送信され、情報処理部５にて入力動作を判別する処理をも行なうようにし、入力装置として区別することなしに、全体として１つの情報処理装置として機能する構成としてもよい。
【００９７】
なお、開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上述の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
【符号の説明】
【００９８】
１  操作卓
１１  接触センサ
１２  撮像部
１３  噴出口
２  応答現象発生部
２１  噴出ノズル
２４  冷却部
２５  加熱部
２６  コンプレッサ
３  制御部
５  情報処理部
６  表示装置
６１  パネル
【図１】
2011227672.tif 000003
【図２】
2011227672.tif 000004
【図３】
2011227672.tif 000005
【図４】
2011227672.tif 000006
【図５】
2011227672.tif 000007
【図６】
2011227672.tif 000008
【図７】
2011227672.tif 000009
【図８】
2011227672.tif 000010