(57)【要約】【課題】本発明は、フィードバック画面を表示することによって、操作感のあるジェスチャー操作を可能にする情報処理装置を提供する。【解決手段】本発明の情報処理装置は、手の動きによる操作指示を受け付けることによって、対応する動作を行う情報処理装置であって、手の動きを検出する検出手段と、前記検出手段で検出した手の動きに応じた情報をディスプレイに表示する制御手段とを備え、前記制御手段は、前記検出手段で最初に手を検出したときに、その後一定時間内に、前記検出手段で手の動きを検出されたかどうかで、異なる処理を行う。【選択図】図１
2014029565.tif 000002
【特許請求の範囲】
【請求項１】
手の動きによる操作指示を受け付けることによって、対応する動作を行う情報処理装置であって、
手の動きを検出する検出手段と、
前記検出手段で検出した手の動きに応じた情報をディスプレイに表示する制御手段とを備え、
前記制御手段は、前記検出手段で最初に手を検出したときに、その後一定時間内に、前記検出手段で手の動きを検出されたかどうかで、異なる処理を行うことを特徴とする情報処理装置。
【請求項２】
前記制御手段は、前記検出手段で最初に手を検出したときに、その対応するジェスチャー情報を表示することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記制御手段は、前記検出手段で最初に手を検出したときに、その後一定時間内に、前記検出手段で手の動きを検出したときには第１の情報を前記ジェスチャー情報に追加し、手の動きが止まっていると判断したときには第２の情報を前記ジェスチャー情報に追加することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記制御手段は、前記検出手段で最初に手を検出したときに、その後一定時間内に、手の動きが止まっていると判断したとき、前記検出手段で手の動きを検出できなくなるまで、手の動きが止まっていることに対応した処理をし続けることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記制御手段は、手の動きが止まっていることに対応した処理をし続けたあと、前記検出手段で手の動きを検出し、その後異なる地点で手の動きが止まっていると判断したときには、前記検出手段で検出した手の動きを考慮しないことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記制御手段は、手の動きを検出したあと、前記検出手段で反対の方向の手の動きを検出し、その後さらに前記手の動きと同じ方向の動きを検出したときには、前記検出手段で検出した前記反対方向の手の動きを考慮しないことを特徴とする請求項３に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非接触センサーを使って手の動作をジェスチャーとして認識し、その認識結果であるジェスチャーに基づき操作可能な情報処理装置に関するものである。
【背景技術】
【０００２】
従来、ジェスチャーで操作可能な情報処理装置は、ビデオカメラに向かって手を操作して、ビデオカメラに入力された映像から手の移動と形状を認識し、その認識結果によって制御対象装置を制御するものが知られている。
【０００３】
特許文献１は、ビデオカメラから入力された手の移動と形状を認識し、メニュー画面とともに表示されるジェスチャー表示一覧を確認しながら操作を行うインターフェース装置を開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０５２５９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の情報処理装置は、ユーザーによるジェスチャー操作に対するフィードバックがなく、操作感に欠けるという問題があった。
【０００６】
そこで、本発明は、上記従来の問題点を解決すべく、ジェスチャーによる操作に対してフィードバック画面を表示することで、操作感のある情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、手の動きによる操作指示を受け付けることによって、対応する動作を行う情報処理装置であって、手の動きを検出する検出手段と、前記検出手段で検出した手の動きに応じた情報をディスプレイに表示する制御手段とを備え、前記制御手段は、前記検出手段で最初に手を検出したときに、その後一定時間内に、前記検出手段で手の動きを検出されたかどうかで、異なる処理を行うようにしたものである。
【０００８】
このような構成をとることにより、ジェスチャー操作に対するフィードバックをユーザに与えることで、より操作感のあるジェスチャー操作を可能にするという作用を有する。
【発明の効果】
【０００９】
上記の構成によれば、フィードバック画面を表示することによって、操作感のあるジェスチャー操作を可能にする情報処理装置を提供できる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１にかかる情報処理装置のブロック図
【図２】実施の形態１にかかる情報処理装置の検出手段の一例を示す図
【図３】「固定」ジェスチャーの一例を示す図
【図４】「移動」ジェスチャーの一例を示す図
【図５】赤外線センサー反応時のフィードバック画面の一例を示す図
【図６】「移動」ジェスチャーのフィードバック画面の一例を示す図
【図７】赤外線センサー反応時と「移動」のフィードバック画面が異なる場合を示す図
【図８】「固定」ジェスチャーのフィードバック画面の一例を示す図
【図９】音量変更処理を示す図
【図１０】チャンネル選局処理を示す図
【発明を実施するための形態】
【００１１】
以下、本発明の音楽再生機器の実施の形態について、図面を参照しながら説明する。
【００１２】
（実施の形態１）
図１に、実施の形態１にかかる情報処理装置のブロック図を示す。
【００１３】
情報処理装置は、ジェスチャー検知手段１０１と、装置制御手段１０２と、モニタ１０３と、チューナー１０４と、スピーカー１０５で構成される。
【００１４】
ジェスチャー検知手段１０１は、図２に示すように、２つの赤外線ＬＥＤ１０６と１つの赤外線センサー１０７で構成され、モニタ１０３の上部の両端に赤外線ＬＥＤ１０６、それら２つの赤外線ＬＥＤ１０６の中間位置に赤外線センサー１０７を配置されている。２つの赤外線ＬＥＤ１０６から射出された赤外線は、手で遮られて反射し、２つの赤外線ＬＥＤ１０６の中間に配置された赤外線センサー１０７に入射する。赤外線センサー１０７に入射した赤外線の情報をもとに、手の位置を検出する。さらにジェスチャー検知手段１０１は、ジェスチャー検知手段１０１で検出した手の位置を一定間隔に取得することで、手の動きを検出することができる。
【００１５】
装置制御手段１０２は、ジェスチャー検知手段１０１で検出した手の位置と動きから「固定」と「移動」の２種類のジェスチャーのいずれであるのかを判定する。
【００１６】
モニタ１０３は、後述するチューナー１０４で受信した映像信号を表示するとともに、装置制御手段１０２で判定されたジェスチャーに関する情報を表示する。本実施の形態では、モニタ１０３は、情報処理装置の一構成要素としているが、情報処理装置に接続される外部機器であってもかまわない。
【００１７】
チューナー１０４は、映像信号や音声信号を受信して、装置制御手段１０２で処理することで、映像信号をモニタ１０３に出力し、音声信号をスピーカー１０５に出力する。なお、本実施の形態である情報処理装置では、チューナー１０４からの信号を表示しているが、ＤＶＤやＢＤのようなディスクやＳＤカード内に格納されたコンテンツを表示することも可能である。
【００１８】
本実施の形態の情報処理装置は、次の２つのジェスチャーを扱う。
【００１９】
（１）「固定」ジェスチャー
図３は、「固定」ジェスチャーにおける手の動きを示す。
【００２０】
本実施の形態では、手を２つの赤外線ＬＥＤ１０６のどちらか一方に対して１秒以上かざし続けることで、その手の動作を「固定」ジェスチャーとみなす。
【００２１】
例えば、図９（ａ）に示すように、テレビ放送を視聴している時に、左側の赤外線ＬＥＤ１０６に固定し続けた場合、スピーカー１０５から出力される音量を小さくするように、ボリュームダウンの動作を行う。
【００２２】
また、図９（ｂ）に示すように、手を右側の赤外線ＬＥＤ１０６に固定し続けた場合、スピーカー１０５から出力される音量を大きくするように、ボリュームアップの動作を行う。なお、本実施の形態では、「固定」ジェスチャーを判断する時間を１秒としたが、これに限らない。
【００２３】
（２）「移動」ジェスチャー
図４に、「移動」ジェスチャーにおける手の動きを示す。
【００２４】
本実施の形態では、２つの赤外線ＬＥＤ１０６の一方から他方に対して手を移動させることで、その手の動きを「移動」ジェスチャーとみなす。
【００２５】
例えば、図１０（ａ）に示すように、テレビ放送を視聴している時に、手を左側の赤外線ＬＥＤ１０６から右側の赤外線ＬＥＤ１０６へ移動した場合、現在視聴中の次のチャンネルを選局する。また、図１０（ｂ）に示すように、右側の赤外線ＬＥＤ１０６から左側の赤外線ＬＥＤ１０６へ手を移動した場合、現在視聴中の前のチャンネルを選局する。
【００２６】
次に、「固定」及び「移動」ジェスチャーの判定方法を説明する。
【００２７】
まず、ジェスチャー検知手段１０１は、装置制御手段１０２に対して、手の動きに応じて、「右検知」、「左検知」、「左から右への移動」、「右から左への移動」、「未検知」の５つのセンサーイベントのいずれかを発行する。装置制御手段１０２は、これらのセンサーイベントを受け付けることで、ユーザーが行った手の動きを把握することができる。なお、本実施の形態では、イベントによる処理方法で、ジェスチャーの判定方法を説明しているが、処理方法はイベント方式には限らず、状態を保存する方法でも構わない。
【００２８】
（１）「右検知」センサーイベント
ジェスチャー検知手段１０１は、ユーザーの手が右側の赤外線ＬＥＤ１０６にかざされたことを検知すると、装置制御手段１０２に対し、「右検知」センサーイベントを発行する。
【００２９】
装置制御手段１０２は、「右検知」センサーイベントを受信してから１秒以上他のセンサーイベントを受信しないときには、ユーザーの手が右側の赤外線ＬＥＤ１０６で固定されていると判断する。本実施の形態では、固定に対応する動作として、スピーカー１０５の音量を大きくする処理を行う。さらに、装置制御手段１０２は、ジェスチャー検知手段から「未検知」センサーイベントを受信するまで、１秒ごとに右側の赤外線ＬＥＤ１０６で固定に対応する動作を繰り返す。すなわち、スピーカー１０５の音量を大きくし続けることになる。
【００３０】
（２）「左検知」センサーイベント
ジェスチャー検知手段１０１は、ユーザーの手が左側の赤外線ＬＥＤ１０６にかざされたことを検知すると、装置制御手段１０２に対し、「左検知」センサーイベントを発行する。このとき、装置制御手段１０２は、「左検知」センサーイベントを受信してから１秒以上他のセンサーイベントを受信しないときには、ユーザーの手が左側の赤外線ＬＥＤ１０６で固定されていると判断する。本実施の形態では、固定の動作として、スピーカー１０５の音量を小さくする処理を行う。さらに、装置制御手段１０２は、ジェスチャー検知手段から「未検知」センサーイベントを受信するまで、１秒ごとに左側の赤外線ＬＥＤ１０６で固定の動作を繰り返す。すなわち、スピーカー１０５の音量を小さくし続けることになる。
【００３１】
（３）「未検知」センサーイベント
ジェスチャー検知手段１０１は、右側あるいは左側の赤外線ＬＥＤ１０６から手を遠ざけて赤外線センサー１０７で赤外線を検知できなくなると、装置制御手段１０２に対し「未検知」センサーイベントを発行する。
【００３２】
（４）「左から右への移動」センサーイベント
ジェスチャー検知手段１０１は、ユーザーが手を左側の赤外線ＬＥＤ１０６から、右側の赤外線ＬＥＤ１０６に移動させると、装置制御手段１０２に対し「左検知」センサーイベントを発行した後、さらに「左から右への移動」センサーイベントを発行する。
【００３３】
装置制御手段１０２は、ジェスチャー検知手段１０１から「左検知」センサーイベント受信後１秒未満で「左から右への移動」センサーイベントを受信すると、手が左側から右側へ移動されたと判断する。本実施の形態では、左から右への移動に対応する動作として、次のチャンネルを選局する処理を行う。
【００３４】
ユーザーが手を左側の赤外線ＬＥＤ１０６で固定しスピーカー１０５の音量を小さくしている際に、音量を小さくし過ぎたと感じ、手を右側へ移動させて右側の赤外線ＬＥＤ１０６において「固定」ジェスチャーを行った場合、ジェスチャー検知手段１０１は、装置制御手段１０２に対し「左から右へ移動」センサーイベントを発行する。このとき、装置制御手段１０２が、手が右側の赤外線ＬＥＤ１０６へ移動されたと判断してしまうと、ユーザーはジェスチャーで音量に関する処理を行っているにもかかわらず、ユーザーの意図しないチャンネル選局が行われてしまうことになる。そこで、本実施の形態では、ユーザーによる意図しないジェスチャー操作を防ぐために、装置制御手段１０２は、「固定」ジェスチャーと認識しているときに、ジェスチャー検知手段１０１から「左から右へ移動」センサーイベントを受信したとしても、移動に対応する処理、すわなち、チャンネル選局の処理を行わないようにした。これにより、ユーザーの意図しないチャンネル変更が発生することはなくなる。
【００３５】
また、ユーザーが、左側の赤外線ＬＥＤ１０６から右側の赤外線ＬＥＤ１０６へ手を何度も移動させることで、連続的に「移動」ジェスチャーを行い、次のチャンネルへ次々と選局する場合には、右側の赤外線ＬＥＤ１０６に行った手を左側の赤外線ＬＥＤ１０６に戻す必要がある。ジェスチャー検知手段１０１は、左側の赤外線ＬＥＤ１０６に手を戻す動作を検知し、装置制御手段１０２に対し「右から左へ移動」センサーイベントを発行する。このとき、装置制御手段１０２が、手が左側の赤外線ＬＥＤ１０６に移動したと判断してしまうと、ユーザーの意図しない、前のチャンネルへの選局動作が行われてしまい、次のチャンネルに次々と選局されずに、２つのチャンネルの間で選局が繰り返されることになる。従って、ユーザーによる意図しない前のチャンネルへの選局を防ぐために、装置制御手段１０２は、「左から右へ移動」センサーイベントを受けて「移動」ジェスチャーと認識しているときに、ジェスチャー検知手段１０１から反対方向の「右から左へ移動」センサーイベントを受信したとしても、前のチャンネルへの選局を行わないようにした。これにより、ユーザーの意図しないチャンネル選局が発生することはなくなる。
【００３６】
（５）「右から左への移動」センサーイベント
ジェスチャー検知手段１０１は、ユーザーが手を右側の赤外線ＬＥＤ１０６から、左側の赤外線ＬＥＤ１０６に移動させると、装置制御手段１０２に対し「右検知」センサーイベントを発行した後、さらに「右から左への移動」センサーイベントを発行する。
【００３７】
装置制御手段１０２は、ジェスチャー検知手段１０１から「右検知」センサーイベント受信後１秒未満で「右から左への移動」センサーイベントを受信すると、手が右側から左側へ移動されたと判断する。本実施の形態では、右から左への移動に対応する動作として、前のチャンネルを選局する処理を行う。
【００３８】
ユーザーが手を右側の赤外線ＬＥＤ１０６で固定しスピーカー１０５の音量を大きくしている際に、音量を大きくし過ぎたと感じ、手を左側へ移動させて左側の赤外線ＬＥＤ１０６において「固定」ジェスチャーを行った場合、ジェスチャー検知手段１０１は、装置制御手段１０２に対し「右から左へ移動」センサーイベントを発行する。このとき、装置制御手段１０２が、手が左側の赤外線ＬＥＤ１０６へ移動されたと判断してしまうと、ユーザーはジェスチャーで音量に関する処理を行っているにもかかわらず、ユーザーの意図しないチャンネル選局が行われてしまうことになる。そこで、本実施の形態では、ユーザーによる意図しないジェスチャー操作を防ぐために、装置制御手段１０２は、「固定」ジェスチャーと認識しているときに、ジェスチャー検知手段１０１から「右から左へ移動」センサーイベントを受信したとしても、移動に対応する処理、すわなち、チャンネル選局の処理を行わないようにした。これにより、ユーザーの意図しないチャンネル変更が発生することはなくなる。
【００３９】
また、ユーザーが、右側の赤外線ＬＥＤ１０６から左側の赤外線ＬＥＤ１０６へ手を何度も移動させることで、連続的に「移動」ジェスチャーを行い、前のチャンネルへ次々と選局する場合には、左側の赤外線ＬＥＤ１０６に行った手を右側の赤外線ＬＥＤ１０６に戻す必要がある。ジェスチャー検知手段１０１は、右側の赤外線ＬＥＤ１０６に手を戻す動作を検知し、装置制御手段１０２に対し「左から右へ移動」センサーイベントを発行する。このとき、装置制御手段１０２が、手が右側の赤外線ＬＥＤ１０６に移動したと判断してしまうと、ユーザーの意図しない、次のチャンネルへの選局動作が行われてしまい、前のチャンネルに次々と選局されずに、２つのチャンネルの間で選局が繰り返されることになる。従って、ユーザーによる意図しない次のチャンネルへの選局を防ぐために、装置制御手段１０２は、「右から左へ移動」センサーイベントを受けて「移動」ジェスチャーと認識しているときに、ジェスチャー検知手段１０１から反対方向の「左から右へ移動」センサーイベントを受信したとしても、次のチャンネルへの選局を行わないようにした。これにより、ユーザーの意図しないチャンネル選局が発生することはなくなる。
【００４０】
次に、「固定」及び「移動」ジェスチャーを行ったときの操作感を示すフィードバック画面を説明する。フィードバック画面は、手の位置や手の動きに応じて、以下の３つを用意している。
【００４１】
（１）赤外線センサー反応時のフィードバック画面
装置制御手段１０２は、２つの赤外線ＬＥＤ１０６のどちらか一方に対して、手をかざす動作をしたときに、図５に示すようなフィードバック画面を表示する。これは、「固定」ジェスチャーを行ったとき、最初に手を２つの赤外線ＬＥＤ１０６のどちらか一方に対してかざした後、１秒以上さらに手をかざし続ける必要があり、この間、手をかざすという動作の操作感が得られず、ユーザーが赤外線センサー１０７が反応していないという不安感をもつことになるためである。
【００４２】
赤外線センサー反応時のフィードバック画面は、手を検知したことを明示的に示すスペース１０８と、今後の発生しうる手の動きに対応する処理を表示するためのスペース１０９で構成される。この赤外線センサー反応時のフィードバック画面が表示している間は、ユーザーの操作が確定していないので、赤外線センサー反応時のフィードバック画面は、今後の発生しうる手の動きに対応する処理を表示するためのスペース１０９で確保しておくことで、画面のちらつきを防止する。
【００４３】
（２）「移動」ジェスチャーのフィードバック画面
装置制御手段１０２は、「移動」ジェスチャーであることをを判断すると、モニタ１０３に既に表示している赤外線センサー反応時のフィードバック画面のスペース１０９に、「移動」を意味する表示を追加することで、図６に示すような「移動」ジェスチャーのフィードバック画面を表示する。
【００４４】
ユーザーは、図５の赤外線センサー反応時のフィードバック画面を確認しなくても、「移動」ジェスチャーを行うことができる。このとき、例えば、図７に示すように、赤外線センサー反応時のフィードバック画面と、「移動」ジェスチャーのフィードバック画面が全く異なるものであると、赤外線センサー反応時のフィードバック画面が一瞬だけ表示されたあと、「移動」ジェスチャーのフィードバック画面がすぐに表示されることになり、画面のちらつきが発生してしまうことになる。そこで、図５の赤外線センサー反応時のフィードバック画面に確定ジェスチャーの情報が追加されるスペース１０９を予め確保している。これにより、スペース１０９以外は同じ画面であるので、図６の「移動」ジェスチャーのフィードバック画面が表示されても、画面のちらつきを防止することができる。
【００４５】
（３）「固定」ジェスチャーのフィードバック画面
装置制御手段１０２は、「固定」ジェスチャーであることを判断すると、モニタ１０３に既に表示している赤外線センサー反応時のフィードバック画面のスペース１０９に、「固定」を意味する表示を追加することで、図８に示すような「固定」ジェスチャーのフィードバック画面を表示する。
【産業上の利用可能性】
【００４６】
本発明は、非接触センサーを使って手の動作をジェスチャーとして認識し、その認識結果であるジェスチャーに基づき操作可能な情報処理装置を提供できる。そのため、本発明は、非接触センサーを搭載したテレビ、フォトフレーム等の電子機器に適用可能である。
【符号の説明】
【００４７】
１０１  ジェスチャー検知手段
１０２  装置制御手段
１０３  モニタ
１０４  チューナー
１０５  スピーカー
１０６  赤外線ＬＥＤ
１０７  赤外線センサー
１０８  手を検知したことを明示的に示すスペース
１０９  今後の発生しうる手の動きに対応する処理を表示するためのスペース
【図１】
2014029565.tif 000003
【図２】
2014029565.tif 000004
【図３】
2014029565.tif 000005
【図４】
2014029565.tif 000006
【図５】
2014029565.tif 000007
【図６】
2014029565.tif 000008
【図７】
2014029565.tif 000009
【図８】
2014029565.tif 000010
【図９】
2014029565.tif 000011
【図１０】
2014029565.tif 000012