(57)【要約】【課題】少数のジェスチャを用いて多くの機能を実行し、意図しない機能の実行を防止すること。【解決手段】手形状認識部１２７は、カメラ１２６から画像を受け取り、画像が手形状データベース１２８に格納される第１の手形状及び第２の手形状のうちの１つを含むか否かを判定し、位置情報を含む第１の所定の情報又は第２の所定の情報を出力する。ジェスチャ解釈部１２９は、第１の所定の情報を受け取った場合、複数の表示項目を含むユーザインタフェースをグラフィクスコントローラ１１４を介してディスプレイ１１５に表示すると共に、位置情報に従って複数の表示項目の一つを選択する。ジェスチャ解釈部１２９は表示項目の一つが選択された状態で第２の所定の情報を受け取った場合、当該表示項目に関連付けられた機能を実行するよう操作対象ソフトウェア１３０にコマンドを送信する。【選択図】      図２
2008146243.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイと、
第１の手形状を示す第１のデータ及び第２の手形状を示す第２のデータを格納する手形状データベースと、
カメラから供給される画像を受け取り、前記画像が前記手形状データベースに格納される前記第１の手形状及び前記第２の手形状のうちの１つを含むか否かを判定し、前記画像が第１の手形状を含む場合、前記第１の手形状の前記画像内における位置を示す位置情報を含む第１の所定の情報を出力し、前記画像が第２の手形状を含む場合、第２の所定の情報を出力する手形状認識部と、
前記手形状認識部から前記第１の所定の情報を受け取った場合、実行可能な機能がそれぞれ関連付けられた複数の表示項目を含むユーザインタフェースを前記ディスプレイに表示すると共に、前記第１の所定の情報に含まれる前記位置情報に従って前記複数の表示項目の一つを選択し、前記複数の表示項目の一つが選択された状態で前記手形状認識部から前記第２の所定の情報を受け取った場合、前記選択された表示項目に関連付けられた前記機能を実行するジェスチャ解釈部と、
を具備することを特徴とする情報処理装置。
【請求項２】
前記第１の所定の情報は、前記第１の手形状を表す第１の識別子と前記位置情報とを含み、
前記第２の所定の情報は、前記第２の手形状を表す第２の識別子を含むことを特徴とする、請求項１記載の情報処理装置。
【請求項３】
前記ユーザインタフェースは、前記複数の表示項目として複数のボタンを含む第１のユーザインタフェース、前記複数の表示項目として複数のスライダバーを含む第１のユーザインタフェース、及び前記複数の表示項目として複数のダイヤルを含む第３のユーザインタフェースのうちの１つを含むことを特徴とする、請求項１記載の情報処理装置。
【請求項４】
カメラから供給される画像を受け取り、前記画像が手形状データベースに格納されている第１の手形状及び第２の手形状のうちの１つを含むか否かを判定し、前記画像が第１の手形状を含む場合、前記第１の手形状の前記画像内における位置を示す位置情報を含む第１の所定の情報を出力し、前記画像が第２の手形状を含む場合、第２の所定の情報を出力するステップと、
前記第１の所定の情報が出力された場合、実行可能な機能がそれぞれ関連付けられた複数の表示項目を含むユーザインタフェースをディスプレイに表示すると共に、前記第１の所定の情報に含まれる位置情報に従って、前記複数の表示項目の一つを選択するステップと、
前記複数の表示項目の一つが選択された状態で、前記第２の所定の情報が出力された場合、前記選択された表示項目に関連付けられた前記機能を実行するステップと
を具備することを特徴とする、情報処理方法。
【請求項５】
前記第１の所定の情報は、前記第１の手形状を表す第１の識別子と前記位置情報とを含み、
前記第２の所定の情報は、前記第２の手形状を表す第２の識別子を含むことを特徴とする、請求項４記載の情報処理方法。
【請求項６】
前記ユーザインタフェースは、前記複数の表示項目として複数のボタンを含む第１のユーザインタフェース、前記複数の表示項目として複数のスライダバーを含む第１のユーザインタフェース、及び前記複数の表示項目として複数のダイヤルを含む第３のユーザインタフェースのうちの１つを含むことを特徴とする、請求項４記載の情報処理方法。
【請求項７】
コンピュータに、
カメラから供給される画像を受け取り、前記画像が手形状データベースに格納されている第１の手形状及び第２の手形状のうちの１つを含むか否かを判定し、前記画像が第１の手形状を含む場合、前記第１の手形状の前記画像内における位置を示す位置情報を含む第１の所定の情報を出力し、前記画像が第２の手形状を含む場合、第２の所定の情報を出力する機能と、
前記第１の所定の情報が出力された場合、実行可能な機能がそれぞれ関連付けられた複数の表示項目を含むユーザインタフェースをディスプレイに表示すると共に、前記第１の所定の情報に含まれる位置情報に従って、前記複数の表示項目の一つを選択する機能と、
前記複数の表示項目の一つが選択された状態で、前記第２の所定の情報が出力された場合、前記選択された表示項目に関連付けられた前記機能を実行する機能と
を実現させることを特徴とする、プログラム。
【請求項８】
前記第１の所定の情報は、前記第１の手形状を表す第１の識別子と前記位置情報とを含み、
前記第２の所定の情報は、前記第２の手形状を表す第２の識別子を含むことを特徴とする、請求項７記載のプログラム。
【請求項９】
前記ユーザインタフェースは、前記複数の表示項目として複数のボタンを含む第１のユーザインタフェース、前記複数の表示項目として複数のスライダバーを含む第１のユーザインタフェース、及び前記複数の表示項目として複数のダイヤルを含む第３のユーザインタフェースのうちの１つを含むことを特徴とする、請求項７記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、情報処理装置、情報処理方法、及びプログラムに関し、特に、ユーザのジェスチャを認識し、認識されたジェスチャに基づいた制御を行うことができる情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、テレビ又はパーソナルコンピュータ等の情報処理装置をユーザのジェスチャによって操作する方法が提案されている。このような方法によれば、マウス、キーボード、又はリモートコントローラといった入力装置を使用せずに、情報処理装置を遠隔操作することができる。
【０００３】
一例として、片手ハンドジェスチャを利用してテレビを操作する方法が提案されている（例えば、特許文献１参照）。この方法においては、トリガージェスチャが検出されるとテレビが制御モードに入り、ＴＶ画面の最下部分にハンドアイコン及び機械制御アイコンが表示される。このハンドアイコンを、所望の特定の機械制御アイコン上に移動させて、所望の制御が行われる。ユーザが手を閉じるか、手の表示を止めることにより、テレビは視聴モードに戻される。
【特許文献１】特許第２９４１２０７号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許第２９４１２０７号明細書に記載された方法では、ハンドアイコンが機械制御アイコン上にあるときに、当該機械制御アイコンに対応する制御が行われてしまう。このため、ユーザがハンドアイコンを所望の機械制御アイコンまで移動する過程で、ハンドアイコンが他の機械制御アイコンに重なった場合には、ユーザが意図しない機能が実行される可能性がある。
【０００５】
そこで、本発明は、少数のジェスチャを用いて多くの機能を実行することができ、意図しない機能の実行を防止することができる情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一つの面によれば、ディスプレイと、第１の手形状を示す第１のデータ及び第２の手形状を示す第２のデータを格納する手形状データベースと、カメラから供給される画像を受け取り、前記画像が前記手形状データベースに格納される前記第１の手形状及び前記第２の手形状のうちの１つを含むか否かを判定し、前記画像が第１の手形状を含む場合、前記第１の手形状の前記画像内における位置を示す位置情報を含む第１の所定の情報を出力し、前記画像が第２の手形状を含む場合、第２の所定の情報を出力する手形状認識部と、前記手形状認識部から前記第１の所定の情報を受け取った場合、実行可能な機能がそれぞれ関連付けられた複数の表示項目を含むユーザインタフェースを前記ディスプレイに表示すると共に、前記第１の所定の情報に含まれる位置情報に従って前記複数の表示項目の一つを選択し、前記複数の表示項目の一つが選択された状態で前記手形状認識部から前記第２の所定の情報を受け取った場合、前記選択された表示項目に関連付けられた前記機能を実行するジェスチャ解釈部とを具備することを特徴とする情報処理装置が提供される。
【０００７】
また、本発明の別の面によれば、カメラから供給される画像を受け取り、前記画像が手形状データベースに格納されている第１の手形状及び第２の手形状のうちの１つを含むか否かを判定し、前記画像が第１の手形状を含む場合、前記第１の手形状の前記画像内における位置を示す位置情報を含む第１の所定の情報を出力し、前記画像が第２の手形状を含む場合、第２の所定の情報を出力するステップと、前記第１の所定の情報が出力された場合、実行可能な機能がそれぞれ関連付けられた複数の表示項目を含むユーザインタフェースをディスプレイに表示すると共に、前記第１の所定の情報に含まれる位置情報に従って、前記複数の表示項目の一つを選択するステップと、前記複数の表示項目の一つが選択された状態で、前記第２の所定の情報が出力された場合、前記選択された表示項目に関連付けられた前記機能を実行するステップとを具備することを特徴とする情報処理方法が提供される。
【０００８】
さらに、本発明のまた別の面によれば、コンピュータに、カメラから供給される画像を受け取り、前記画像が手形状データベースに格納されている第１の手形状及び第２の手形状のうちの１つを含むか否かを判定し、前記画像が第１の手形状を含む場合、前記第１の手形状の前記画像内における位置を示す位置情報を含む第１の所定の情報を出力し、前記画像が第２の手形状を含む場合、第２の所定の情報を出力する機能と、前記第１の所定の情報が出力された場合、実行可能な機能がそれぞれ関連付けられた複数の表示項目を含むユーザインタフェースをディスプレイに表示すると共に、前記第１の所定の情報に含まれる位置情報に従って、前記複数の表示項目の一つを選択する機能と、前記複数の表示項目の一つが選択された状態で、前記第２の所定の情報が出力された場合、前記選択された表示項目に関連付けられた前記機能を実行する機能とを実現させることを特徴とするプログラムが提供される。
【発明の効果】
【０００９】
本発明によれば、少数のジェスチャを用いて多くの機能を実行することができ、意図しない機能の実行を防止することができる情報処理装置、情報処理方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態について図面を参照しながら説明する。
【００１１】
まず、図１を参照しつつ、本発明の第１の実施形態に係る情報処理装置について説明する。
【００１２】
図１は、本発明の第１の実施形態に係る情報処理装置の構成を概略的に示すブロック図である。この情報処理装置は、例えば、ノートブック型のパーソナルコンピュータとして実現されている。
【００１３】
図１に示されるように、パーソナルコンピュータ１００は、ＣＰＵ１１１、主メモリ１１２、ノースブリッジ１１３、グラフィクスコントローラ（画面表示部）１１４、ディスプレイ１１５、サウスブリッジ１１６、ハードディスクドライブ（ＨＤＤ）１１７、光ディスクドライブ（ＯＤＤ）１１８、ＢＩＯＳ−ＲＯＭ１１９、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２０、電源回路１２１、バッテリ１２２、ＡＣアダプタ１２３、タッチパッド１２４、キーボード（ＫＢ）１２５、カメラ１２６、及び電源ボタン２１等を備える。
【００１４】
ＣＰＵ１１１は、パーソナルコンピュータ１００の動作を制御するプロセッサである。ＣＰＵ１１１は、ＨＤＤ１１７から主メモリ１１２にロードされる、オペレーティングシステム（ＯＳ）及び各種のアプリケーションプログラムを実行する。また、ＣＰＵ１１１は、ＢＩＯＳ−ＲＯＭ１１９に格納されたＢＩＯＳ（Basic Input/Output System）も実行する。ＢＩＯＳは、周辺デバイスを制御するためのプログラムである。ＢＩＯＳは、パーソナルコンピュータ１００の電源投入時に最初に実行される。
【００１５】
ノースブリッジ１１３は、ＣＰＵ１１１のローカルバスとサウスブリッジ１１６との間を接続するブリッジデバイスである。ノースブリッジ１１３は、ＡＧＰ（Accelerated Graphics Port）バスなどを介してグラフィクスコントローラ１１４との通信を実行する機能を有している。
【００１６】
グラフィクスコントローラ１１４は、パーソナルコンピュータ１００のディスプレイ１１５を制御する表示コントローラである。グラフィクスコントローラ１１４は、ＯＳ又はアプリケーションプログラムによってＶＲＡＭ（図示せず）に書き込まれた表示データから、ディスプレイ１１５に出力すべき表示信号を生成する。ディスプレイ１１５は、例えば、液晶ディスプレイ（ＬＣＤ）である。
【００１７】
サウスブリッジ１１６には、ＨＤＤ１１７、ＯＤＤ１１８、ＢＩＯＳ−ＲＯＭ１１９、カメラ１２６、及びＥＣ／ＫＢＣ１２０が接続されている。また、サウスブリッジ１１６は、ＨＤＤ１１７及びＯＤＤ１１８を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラも備えている。
【００１８】
ＥＣ／ＫＢＣ１２０は、電力管理のためのエンベデッドコントローラ（ＥＣ）と、タッチパッド１２４及びキーボード（ＫＢ）１２５を制御するためのキーボードコントローラ（ＫＢＣ）とが集積された、１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１２０は、例えば、電源ボタン２１が操作されたときに、電源回路１２１と共同してパーソナルコンピュータ１００の電源をオンにする。パーソナルコンピュータ１００は、ＡＣアダプタ１２３を介して外部電源が供給される場合、外部電源によって駆動される。外部電源が供給されない場合、パーソナルコンピュータ１００は、バッテリ１２４によって駆動される。
【００１９】
カメラ１２６は、例えばＵＳＢカメラである。カメラ１２６のＵＳＢコネクタは、パーソナルコンピュータ１００の本体に設けられたＵＳＢポート（図示せず）に接続される。カメラ１２６によって撮影された画像（動画像）は、パーソナルコンピュータ１００のディスプレイ１１５に表示することができる。カメラ１２６によって供給される画像のフレームレートは、例えば、１５フレーム／秒である。カメラ１２６は、外付けのカメラであっても、パーソナルコンピュータ１００の内蔵カメラであってもよい。
【００２０】
図２は、パーソナルコンピュータ１００の構成の一部を、より詳細に示すブロック図である。
【００２１】
図２に示されるように、カメラ１２６によって撮影された画像は、手形状認識部１２７に供給される。手形状認識部１２７は、供給された画像が、手形状データベース１２８に予め格納（登録）されている複数の手形状のうちのいずれか１つと一致する手形状を含むか否かを判定する。例えば、手形状認識部１２７は、カメラ１２６から供給される画像内から、手形状データベース１２８に予め格納されている複数の手形状のうちの１つを検索する。
【００２２】
手形状データベース１２８は、少なくとも２種類の手形状、即ち、第１の手形状及び第２の手形状を格納する。例えば、第１の手形状は平手（右手の５本の指を伸ばした状態）であり、第２の手形状は握りこぶし（右手の５本の指を曲げた状態）であってよい。
【００２３】
第１の手形状は、ディスプレイ１１５にユーザインタフェースを表示させるために用いられる。ユーザインタフェースは、１又は複数の表示項目を含む。例えば、ユーザインタフェースは、複数の表示項目として複数のボタンを含むユーザインタフェース（メニュー）であってよい。また、ユーザインタフェースは、複数の表示項目として複数のスライダバーを含むユーザインタフェースであってもよい。さらに、ユーザインタフェースは、複数の表示項目として複数のダイヤルを含むユーザインタフェースであってもよい。
【００２４】
また、第１の手形状は、ユーザのジェスチャ（例えば、手の動き）に合わせてディスプレイ１１５に表示されるカーソル（以下、「ユーザカーソル」と称する）を、移動させるために用いられる。つまり、手形状認識部１２７が、カメラ１２６から供給された画像は第１の手形状を含むと判定した場合、ユーザインタフェース及びユーザカーソルがディスプレイ１１５に表示される。なお、本明細書におけるユーザカーソルは、パーソナルコンピュータ１００のＯＳによってディスプレイ１１５上に表示されるカーソルとは異なるカーソルである。
【００２５】
第２の手形状は、ユーザカーソルによって選択又は操作された表示項目に関連付けられた機能の実行を指示するために用いられる。従って、ユーザが第１の手形状を用いてユーザカーソルをある表示項目（例えば、再生ボタン）に重ねて当該表示項目を選択しただけでは、当該表示項目に関連付けられた機能（例えば、再生機能）は実行されない。ユーザが、第１の手形状を用いて表示項目を選択し、且つ、第１の手形状を第２の手形状に変化させて当該表示項目に関連付けられた機能の実行を指示した場合にのみ、選択された表示項目に関連付けられた機能が実行される。このため、ユーザがディスプレイ１１５に表示されるユーザカーソルを動かしている最中に、所望の表示項目以外の表示項目上にユーザカーソルが位置して、意図しない機能が実行されてしまうことを防止することができる。
【００２６】
なお、第１の手形状及び第２の手形状は、それぞれ右手の平手と握りこぶしとに限定されるものではない。任意の手形状を第１の手形状及び第２の手形状として用いることができる。例えば、左手の平手と握りこぶしとを、それぞれ第１の手形状と第２の手形状として用いてもよい。例えば、第１の手形状は親指のみを立てて、その他の指を曲げた手形状（いわゆる、賛成のサイン（thumbs-up sign））であり、第２の手形状は、全ての指を曲げた手形状であってもよい。さらに、１つの手形状を第１の手形状として用い、同一の手形状で角度を変化させたものを第２の手形状として用いてもよい。例えば、上述した賛成のサインの親指を真上に向けた手形状を第１の手形状として用い、賛成のサインを９０度左に回転させた手形状を第２の手形状として用いることもできる。
【００２７】
また、手形状データベース１２８は、第１の手形状と第２の手形状に加えて、独立した機能（例えば、一時停止）が割り当てられた第３の手形状を格納してもよい。
【００２８】
上述したような手形状データベース１２８に格納（登録）された手形状のうちの１つが、カメラ１２６から供給される画像に含まれると手形状認識部１２７が判定した場合、手形状認識部１２７は、所定の情報（その手形状の識別子、及びその手形状の画像内の位置情報（例えば、座標））をジェスチャ解釈部１２９に供給する。例えば、画像が第１の手形状を含む場合、第１の手形状の当該画像内における位置を示す位置情報を含む第１の所定の情報を出力する。一方、画像が第２の手形状を含む場合、第２の所定の情報を出力する。
【００２９】
ジェスチャ解釈部１２９は、手形状認識部１２７から供給された情報に基づいて、グラフィクスコントローラ１１４を介してディスプレイ１１５に複数の表示項目、それぞれの表示項目の選択状態、及びユーザカーソル等を表示し、操作対象ソフトウェア１３０に対してコマンドを出力する。
【００３０】
手形状認識部１２７及びジェスチャ解釈部１２９は、例えば、ＣＰＵ１１１（図１）によって実行されるソフトウェアにより実現することができる。また、操作対象ソフトウェア１３０は、例えば、ＨＤＤ１１７（図１）に格納されている。
【００３１】
図３及び図４を参照しつつ、手形状認識部１２７について、より詳細に説明する。
【００３２】
図３は、手形状認識部１２７の構成を、より詳細に示すブロック図である。図３に示されるように、手形状認識部１２７は、部分領域画像抽出部１２７ａと対象物検出部１２７ｂとを備える。
【００３３】
部分領域画像抽出部１２７ａは、カメラ１２６から供給された画像上の様々な位置に様々な大きさの部分領域を設定し、各部分領域内の画像を抽出し、抽出された画像を対象物検出部１２７ｂに供給する。例えば、図４に示されるように、部分領域は、ｎ種類のウィンドウサイズ（Ｗ１乃至Ｗｎ、１＜ｎ）を用いて設定される。カメラ１２６から供給される画像は、まず、最小のウィンドウサイズＷ１を用いて、図４中の矢印Ｘ１で示されるように走査される。ウィンドウサイズは所望の画像（手形状データベース１２８に格納されている手形状）が抽出されるまで順次拡大される。最終的には、最大のウィンドウサイズＷｎを用いて、図４中の矢印Ｘｎで示されるように画像が走査される。
【００３４】
なお、カメラ１２６から供給された画像内でユーザのジェスチャ（例えば、第１の手形状又は第２の手形状）が抽出される領域は、限られた領域（例えば、画像の中央部分、画像の下部領域等）であることが考えられる。従って、部分領域画像抽出部１２７ａによる走査対象の領域を、カメラ１２６で撮影された画像内の一定の領域に限定してもよい。この場合、部分領域画像抽出部１２７ａにおける処理負担（計算量）を減少させることができる。
【００３５】
対象物検出部１２７ｂは、部分領域画像抽出部１２７ａから供給される画像を所定のサイズに正規化する。対象物検出部１２７ｂは、正規化された画像を手形状データベース１２８に格納された複数の手形状と比較して、正規化された画像内に手形状が含まれるか否かを判定する。手形状が画像内に含まれると判定された場合、対象物検出部１２７ｂは、手形状の識別子と画像内の位置情報とをジェスチャ解釈部１２９に供給する。例えば、第１の手形状の識別子を「１」に設定し、第２の手形状の識別子を「２」に設定することができる。また、第１の手形状及び第２の手形状の識別子は数字に限定されず、文字又は文字列を使用してもよい。画像内の手形状の位置情報は、例えばＸＹ座標で表される。
【００３６】
なお、手形状認識部１２７の構成は、上述した構成に限定されるものではない。手形状認識部１２７の構成は、カメラ１２６から供給される画像から、ユーザのジェスチャを認識できる構成であればよい。より具体的には、手形状認識部１２７の構成は、認識対象物が画像内に含まれるか否かを判定でき、認識対象物が画像内に含まれる場合には、当該認識対象物の画像内における位置（領域）を得られる構成であればよい。
【００３７】
図５を参照しつつ、ジェスチャ解釈部１２９について、より詳細に説明する。
【００３８】
図５は、ジェスチャ解釈部１２９の構成を、より詳細に示すブロック図である。図５に示されるように、ジェスチャ解釈部１２９は、ジェスチャ変換部１２９ａ、メニュー制御部１２９ｂ、及びコマンド送信部１２９ｃを備えている。
【００３９】
ジェスチャ変換部１２９ａは、手形状認識部１２７の対象物検出部１２７ｂから受け取った手形状の識別子と位置情報とを、ユーザカーソルの位置と状態（ユーザカーソル移動状態（第１の手形状に対応）あるいは選択状態（第２の手形状に対応））とを表す情報に変換する。ジェスチャ変換部１２９ａは、この情報をメニュー制御部１２９ｂに供給する。また、ジェスチャ変換部１２９ａは、手形状の位置とユーザカーソルの位置との間の関係と、手形状とユーザカーソルの状態との間の関係を制御できる。例えば、ジェスチャ変換部１２９ａで３つ以上の手形状を識別し、どの手形状を第１、第２の手形状として使用するかをユーザに設定させることができる。なお、ジェスチャ変換部１２９ａがユーザカーソルを制御する方式には、絶対座標方式と相対座標方式の２種類の方式があるが、これらの方式については後述する。
【００４０】
メニュー制御部１２９ｂは、ジェスチャ変換部１２９ａから受け取った情報に応じて表示項目の状態（例えば、選択状態と非選択状態）を制御し、表示項目の状態に応じてディスプレイ１１５に表示される種々の表示項目（例えば、ボタンを含むメニュー、スライダバー、ダイヤル等）を制御する信号をグラフィックスコントローラ１１４に供給する。また、メニュー制御部１２９ｂは、ジェスチャ変換部１２９ａから受け取った情報に応じて、コマンド送信部１２９ｃに指示を与える。例えば、ユーザが、ディスプレイ１１５に表示されるメニューに含まれるボタン（例えば、再生ボタン）を第１の手形状を用いて選択した状態で、第１の手形状を第２の手形状に変化させた場合、メニュー制御部１２９ｂは、当該ボタンに関連付けられた機能（例えば、再生機能）を実行するようにコマンド送信部１２９ｃに指示を与える。
【００４１】
コマンド送信部１２９ｃは、メニュー制御部１２９ｂからの指示に応じて、操作対象ソフトウェア１３０（例えば、ＡＶソフトウェア）にコマンドを送信する。例えば、メニューに含まれるボタン（例えば、再生ボタン）に関連づけられた機能（例えば、再生機能）を実行するように指示を受け取った場合、コマンド送信部１２９ｃは、操作対象ソフトウェア１３０に、当該機能を実行するようにコマンドを送信する。
【００４２】
上述したように、本発明の第１の実施形態に係るパーソナルコンピュータ１００によれば、少数のジェスチャを用いて多くの機能を実行することができ、意図しない機能の実行を防止することができる情報処理装置を提供することができる。
【００４３】
また、上記説明では、本発明の第１の実施形態に係る情報処理装置がパーソナルコンピュータ１００として実現されている。しかし、本発明の第１の実施形態に係る情報処理装置は、テレビ、デスクトップ型のパーソナルコンピュータ、又はゲーム機器として実現することもできる。
【００４４】
次に、図６及び図７Ａ乃至図７Ｆを参照しつつ、ジェスチャによってメニューを制御する処理を本発明の第２の実施形態として説明する。この第２の実施形態に係る情報処理方法においては、ユーザが第１の手形状を用いると複数種類のボタンを含むメニューがディスプレイ１１５に表示される。以下、本発明の第２の実施形態に係る情報処理方法を、図１に示されるパーソナルコンピュータ１００に適用した場合を例に説明する。また、以下の説明では、第１の手形状として平手（右手）が、第２の手形状として握りこぶし（右手）が用いられるものとする。
【００４５】
図６は、本発明の第２の実施形態に係る情報処理方法を説明するためのフローチャートである。図７Ａ、図７Ｂ、及び図７Ｃは、パーソナルコンピュータ１００のディスプレイ１１５に表示されるメニューの例を示す概略図である。図７Ｄ、図７Ｅ、及び図７Ｆは、カメラ１２６によって撮影されるユーザの画像の例を表す概略図である。
【００４６】
まず、カメラ１２６によってユーザの画像が撮影される（ステップＳ６００）。例えば、図７Ｄに示すような画像がカメラ１２６によって撮影され、当該画像はカメラ１２６から手形状認識部１２７に供給される。手形状認識部１２７は、供給された画像に含まれる手形状を認識し、その識別子と座標を出力する（ステップＳ６０１）。換言すれば、ステップＳ６０１において、手形状認識部１２７は、供給された画像が第１の手形状を含むか否かを判定する。
【００４７】
供給された画像（図７Ｄ）に手形状データベース１２８に格納（登録）されている手形状が含まれていた場合、手形状認識部１２７は、手形状の識別子及び位置情報を含む所定の手形状座標情報をジェスチャ解釈部１２９に供給する。ジェスチャ解釈部１２９は、供給された情報に基づいてユーザのジェスチャを解釈し、ユーザカーソルの位置と状態を変更する（ステップＳ６０２）。手形状認識部１２７にて第１の手形状（即ち、平手）が認識されていた場合、即ち、供給された画像が第１の手形状を含んでいた場合（ステップ６０３でＹＥＳ）、ジェスチャ解釈部１２９は、解釈結果に基づいて、ディスプレイ１１５に表示されるメニューを、グラフィクスコントローラ１１４を介して制御する（ステップＳ６０６）。例えば、ジェスチャ解釈部１２９は、表示項目（例えば、メニューに含まれるボタン）が選択された場合、当該表示項目の表示状態を変更する。供給された画像は第１の手形状を含むと初めて判定された場合、例えば、図７Ａに示すメニュー及びユーザカーソルがディスプレイ１１５に表示される。図７Ａに示されるメニューは、４種類のボタン、即ち、再生ボタン７１、停止ボタン７２、巻き戻しボタン７３、及び早送りボタン７４を含んでいる。また、図７Ａにおいて、ユーザカーソルは、再生ボタン７１内の小さな矢印として示されている。ユーザカーソルは、図７Ａに示されるような小さな矢印に限定されず、任意の形状であってよい。
【００４８】
ステップＳ６００乃至Ｓ６０６の処理は、ユーザが右手を第１の手形状（平手）から第２の手形状（握りこぶし）に変化させるまで繰り返される。言い換えれば、ステップＳ６００乃至Ｓ６０６の処理は、ユーザが第１の手形状を用いてユーザカーソルを移動させている限り繰り返される。
【００４９】
その後、図７Ｅに示すように、ユーザが第１の手形状を維持した右手を矢印Ｘで示される方向に移動させた後の画像が、カメラ１２６から手形状認識部１２７に供給された場合を想定する（ステップＳ６００）。この場合、手形状認識部１２７は、供給された画像（図７Ｅ）に含まれる手形状を認識し、その識別子と座標を出力する（ステップS６０１）。次いで、ジェスチャ解釈部１２９は、供給された情報に基づいてユーザのジェスチャを解釈し、ユーザカーソルの位置と状態を変更し（ステップ６０２）、ジェスチャ解釈部１２９にて第１の手形状を含むと判定される（ステップＳ６０３でＹＥＳ）。この解釈結果に基づいて、ディスプレイ１１５のユーザカーソル及びメニューが制御される（ステップＳ６０６）。より具体的には、図７Ｂに示されるように、ユーザカーソルの位置は、再生ボタン７１内の位置（図７Ａ）から停止ボタン７２内の位置（図７Ｂ）に移動される。また、メニューの表示状態は、再生ボタン７１が選択されていることを示す表示状態（図７Ａ）から、停止ボタン７２が選択されていることを示す表示状態（図７Ｂ）に変化するよう制御される。
【００５０】
選択されたボタンの表示状態としては、選択されたボタンの表示色を変更する、選択されたボタンを点滅させる、選択されたボタンの外周を太線で表示する等の表示状態が考えられる。但し、選択されたボタンの表示状態は、これらの表示状態に限定されず、現在選択されているボタンをユーザに伝達できる表示状態であれば、任意の表示状態を採用することができる。
【００５１】
一方、手形状認識部１２７の出力をジェスチャ解釈部１２９で解釈した結果、供給された画像は第１の手形状を含まないと判定した場合（ステップＳ６０３でＮＯ）、ジェスチャ解釈部１２９は、供給された画像が第２の手形状を含むか否かを判定する（ステップＳ６０８）。
【００５２】
供給された画像は第２の手形状を含まないと判定された場合（ステップＳ６０８でＮＯ）、処理はステップＳ６００に戻る。換言すれば、撮影された画像が、第１の手形状を含まず（ステップＳ６０２でＮＯ）、且つ、第２の手形状も含まないので（ステップＳ６０８でＮＯ）、メニューはディスプレイ１１５に表示されない。
【００５３】
一方、供給された画像は第２の手形状を含むと判定された場合（ステップＳ６０８でＹＥＳ）、ジェスチャ解釈部１２９は、解釈結果に基づいて、ディスプレイ１１５に表示されるメニューを、グラフィクスコントローラ１１４を介して制御し（ステップＳ６１０）、操作対象ソフトウェア１３０にコマンドを送信する（ステップＳ６１２）。
【００５４】
例えば、図７Ｃに示される停止ボタン７２が選択された状態において、図７Ｆに示される画像がカメラ１２６によって撮影された場合（ステップＳ６００）を想定する。この場合、撮影された画像（図７Ｆ）は第２の手形状（握りこぶし）を含んでいる。従って、手形状認識部１２７は、第２の手形状の識別子（例えば、「２」）と、第２の手形状が停止ボタン７２に対応する座標（例えば、（ｘ，ｙ）＝（１２，５））に存在することを表す位置情報とをジェスチャ解釈部１２９に供給する。ジェスチャ解釈部１２９は、手形状認識部１２７から供給された情報に基づいて、停止ボタン７２の機能が選択されたと解釈し（ステップＳ６１０）、停止ボタン７２に関連付けられた機能（例えば、画像の再生を停止する機能）を実行するように操作対象ソフトウェア１３０にコマンドを送信する（ステップＳ６１２）。その後、処理はステップＳ６００に戻る。
【００５５】
なお、メニューに含まれるボタンが第１の手形状を用いて選択され、その機能の実行が第２の手形状を用いて指示された場合、メニューの表示を終了してもよい。また、メニューの表示を終了するためのボタンをメニューに追加して、当該ボタンが選択され、その機能の実行が指示された場合のみ、メニューの表示を終了してもよい。さらに、第１の手形状及び第２の手形状のいずれも含まない画像がカメラ１２６によって撮影された場合に、メニューの表示を終了してもよい。
【００５６】
上述した本発明の第２の実施形態に係る情報処理方法によれば、ユーザは２種類の手形状（第１の手形状及び第２の手形状）を覚えるだけで、多くの機能を実行することができる。従って、ユーザは多くの種類のジェスチャを記憶する必要がなく、ユーザに掛かる負担が少ない。また、種々の機能を実行するためのボタンを含むメニューがディスプレイ１１５に表示されるため、ユーザは、どのような種類の機能が実行できるかを容易に確認することができる。さらに、ユーザカーソルがディスプレイ１１５に表示されるため、ユーザが、どの機能が現在選択されているかを容易に確認することができる。
【００５７】
また、メニューに含まれるボタン（例えば、再生ボタン７１）を第１の手形状を用いて選択しただけでは、選択されたボタンに関連付けられた機能は実行されない。ユーザが右手（又は左手）を第１の手形状から第２の手形状に変化させた場合のみ、選択されたボタンに関連付けられた機能が実行される。従って、ユーザがユーザカーソルを移動させている途中で、ユーザが意図しないボタンにユーザカーソルが重なって、当該ボタンの機能が誤って実行されてしまうことを防止することができる。
【００５８】
さらに、供給された画像が第１の手形状を含むと判定された場合のみ、メニューがディスプレイ１１５に表示され、供給された画像が第１の手形状及び第２の手形状のいずれも含まないと判定された場合に、メニューの表示を終了させることもできる。従って、ユーザは、必要に応じてメニューをディスプレイ１１５に表示させることができる。また、種々の機能が関連付けられたボタンを含むメニューを、ディスプレイ１１５の全面を用いて表示することができる。
【００５９】
ここで、ユーザカーソルを動かす方式について説明する。
【００６０】
ユーザカーソルを制御する方式には、絶対座標方式と相対座標方式の２種類の方式がある。絶対座標方式では、カメラ１２６で撮影された画像内のユーザの右手の位置と、ディスプレイ１１５のユーザカーソルの位置とが１対１で対応する。一方、相対座標方式では、前フレームにおける手の位置と現フレームにおける手の位置との間の距離に応じて、ユーザカーソルが移動する。
【００６１】
絶対座標方式では、カメラ１２６によって撮影された画像（又は、画像内の一定範囲）内における複数の領域のそれぞれと、ディスプレイ１１５（又は、メニュー）上のユーザカーソルの位置とが対応する。撮影された画像内でユーザの右手が特定の位置にあると、ユーザカーソルはディスプレイ１１５の対応する位置に表示される。絶対座標方式を用いる場合、ユーザカーソルをディスプレイ１１５（又は、メニュー）上の任意の位置（例えば、再生ボタン７１に対応する領域）に直接移動させることが出来る。また、手形状データベース１２８に格納されている手形状が認識されなくなったときに、メニューを非表示にすることができる。また、絶対座標方式を用いる場合、メニュー画面と撮影された画像とを重ね合わせる表示方法を採用することができる。
【００６２】
図８Ａ及び図８Ｂは、メニュー画面とカメラ１２６で撮影された画像とを重ね合わせる表示方法を説明するための概略図である。図８Ａに示すように、ディスプレイ１１５に表示されるメニューに、カメラ１２６で撮影された画像（図８Ｂ）を重ね合わせて、ユーザカーソルの位置と、撮影された画像内の手の位置とが一致するように表示することができる。このような表示方法を採用することで、ユーザは体のどの部分がユーザカーソルに対応しているか、及びディスプレイ１１５の所望の位置までユーザカーソルを移動させるためには、ユーザ自身の手をどれだけ動かす必要があるかを容易に把握することができる。従って、操作性を向上させることができる。なお、図８Ａに示されるような表示方法を採用する場合、ユーザは自身の右手（又は左手）の位置が、メニュー上のどの位置に対応するのかを容易に把握することができる。従って、ユーザカーソルをディスプレイ１１５に表示しなくてもよい。
【００６３】
一方、相対座標方式では、ユーザの手の移動量に応じてユーザカーソルが移動する。手の移動量に対するユーザカーソルの移動量の比を低下させることで、絶対座標方式よりも高い精度でユーザカーソルを制御することができる。
【００６４】
また、上述した４種類のボタンを備えるメニューは、階層構造のメニューであってもよい。
【００６５】
図９Ａは、階層構造のメニューを用いる場合における、上位レベルのメニューの例を示す概略図であり、図９Ｂは、下位レベルのメニューの例を示す概略図である。
【００６６】
図９Ａに示されるメニュー（上位レベルのメニュー）は、再生ボタン７１、停止ボタン７２、チャンネル選択ボタン（Ｃｈ．）７５、及び音量制御ボタン７６を備えている。ユーザが、第１の手形状（平手）を用いてユーザカーソルをチャンネル選択ボタン７５上に移動させ、チャンネル選択ボタン７５を選択した状態で、第１の手形状を第２の手形状（握りこぶし）に変化させると、チャンネル選択ボタン７５に関連付けられた機能が実行される。即ち、図９Ｂに示されるチャンネル選択メニューが、ディスプレイ１１５に表示される。
【００６７】
図９Ｂに示されるチャンネル選択メニュー（下位レベルのメニュー）は、チャンネル１乃至チャンネル６に対応する６つのボタンを備えている。ユーザが、所望のチャンネルに対応するボタンを第１の手形状を用いて選択し、当該ボタンが選択された状態で、第１の手形状を第２の手形状に変化させると、所望のチャンネルの番組がディスプレイ１１５に表示される。例えば、図９Ｂに示されるように、ユーザがチャンネル４に対応するボタンＣｈ．４を平手で選択し、ボタンＣｈ．４が選択された状態で、右手を平手から握りこぶしに変えると、チャンネル４の番組がディスプレイ１１５に表示される。
【００６８】
また、図１０Ａは、図９Ａに示す階層構造のメニューを用いる場合において、音量制御ボタン７６が選択された状態を示す。この場合、図１０Ｂに示されるような音量制御メニュー（下位レベルのメニュー）が表示される。この音量制御メニューは、音量レベルを高さの異なる複数の柱で表している。ユーザは、第１の手形状を用いて複数の柱のうちの１つを選択することができる。例えば、図１０Ｂは、最右端の柱が選択された状態、即ち、最大音量が選択された状態を示す。この状態において、ユーザが、右手を第１の手形状から第２の手形状に変化させると、音量が最大音量に変更される。
【００６９】
上述したような階層構造のメニューを用いることで、ディスプレイ１１５に一度に表示される項目の数を減少させつつ、種々の機能を実行することができる。
【００７０】
次に、図１１及び図１２Ａ乃至図１２Ｆを参照しつつ、ジェスチャによってスライダバーを制御する処理を本発明の第３の実施形態として説明する。この第３の実施形態に係る情報処理方法においては、ユーザが第１の手形状を用いるとスライダバーがディスプレイ１１５に表示される。以下、本発明の第３の実施形態に係る情報処理方法を、図１に示されるパーソナルコンピュータ１００に適用した場合を例に説明する。また、以下の説明では、第１の手形状として平手、第２の手形状として握りこぶしが用いられるものとする。
【００７１】
図１１は、本発明の第３の実施形態に係る情報処理方法を説明するためのフローチャートである。図１２Ａ、図１２Ｂ、及び図１２Ｃは、パーソナルコンピュータ１００のディスプレイ１１５に表示されるスライダバーの例を示す概略図である。また、図１２Ｄ、図１２Ｅ、及び図１２Ｆは、カメラ１２６によって撮影されるユーザの画像の例を表す概略図である。
【００７２】
まず、カメラ１２６によってユーザの画像が撮影される（ステップＳ１１００）。このとき、例えば、図１２Ｄに示すような画像が撮影される。カメラ１２６は、撮影した画像を手形状認識部１２７に供給する。手形状認識部１２７は、供給された画像に含まれる手形状を認識し、その識別子と座標を出力する（ステップＳ１１０１）。換言すれば、ステップＳ１１０１において、手形状認識部１２７は、供給された画像が第１の手形状を含むか否かを判定する。
【００７３】
供給された画像（図１２Ｄ）に手形状データベース１２８に格納（登録）されている手形状が含まれていた場合、手形状認識部１２７は、第１の手形状の識別子とその位置情報を含む所定の手形状座標情報をジェスチャ解釈部１２９に供給する。ジェスチャ解釈部１２９は、供給された情報に基づいてユーザのジェスチャを解釈し、ユーザカーソルの位置と状態を変更する（ステップＳ１１０２）。手形状認識部１２７にて第１の手形状（即ち、平手）が認識されていた場合、即ち、供給された画像が第１の手形状を含んでいた場合（ステップＳ１１０３でＹＥＳ）、ジェスチャ解釈部１２９は、解釈結果に基づいて、スライダバーをディスプレイ１１５に表示するように、グラフィクスコントローラ１１４を制御する（ステップＳ１１０６）。供給された画像は第１の手形状を含むと初めて判定された場合、例えば、図１２Ａに示されるように、ディスプレイ１１５に２種類のスライダバー１２ａ及び１２ｂ、並びにユーザカーソルが表示され、処理はステップＳ１１００に戻る。ここで、スライダバー１２ａはパーソナルコンピュータ１００の音量調節機能と関連付けられ、スライダバー１２ｂは、ディスプレイ１１５の輝度と関連付けられているものとする。また、スライダバー１２ａのスライダＩａを図１２Ａ中の右方向に移動させるほど、音量は上がり、スライダバー１２ｂのスライダＩｂを図１２Ａ中の右方向に移動させるほど、輝度は高くなるものとする。なお、ユーザカーソルによって、例えばスライダバー１２ａが選択されている場合、スライダバー１２ａの表示色を変更して、現在選択されているスライダバーがスライダバー１２ａであることをユーザに伝達することができる。
【００７４】
ステップＳ１１００乃至Ｓ１１０６の処理は、ユーザが右手を第１の手形状（平手）から第２の手形状（握りこぶし）に変化させるまで繰り返される。言い換えれば、ステップＳ１１００乃至Ｓ１１０６の処理は、ユーザが第１の手形状を用いてユーザカーソルを移動させている限り繰り返される。
【００７５】
一方、手形状認識部１２７の出力をジェスチャ解釈部１２９で解釈した結果、供給された画像は第１の手形状を含まないと判定された場合（ステップＳ１１０３でＮＯ）、ジェスチャ解釈部１２９は、当該画像が第２の手形状を含むか否かを判定する（ステップＳ１１０８）。供給された画像は第２の手形状を含まないと判定された場合（ステップＳ１１０８でＮＯ）、処理はステップＳ１１００に戻る。
【００７６】
例えば、図１２Ｅに示すような、第２の手形状（握りこぶし）を含む画像が、カメラ１２６によって供給された場合を想定する（ステップＳ１１００）。この場合、ジェスチャ解釈部１２９は、供給された画像（図１２Ｅ）が第１の手形状を含まないが（ステップＳ１１０３でＮＯ）、第２の手形状（握りこぶし）を含むと判定する（ステップＳ１１０８でＹＥＳ）。ジェスチャ解釈部１２９は、解釈結果に基づいて、ディスプレイ１１５に表示されるスライダバー１２ａ及び１２ｂを含むスライダ画面を、グラフィクスコントローラ１１４を介して制御し（ステップＳ１１１０）、操作対象ソフトウェア１３０にコマンドを送信する（ステップＳ１１１２）。
【００７７】
例えば、音量調節機能が関連付けられたスライダバー１２ａが選択された状態（図１２Ａ）で、画像が第２の手形状を含むと判定されると（ステップＳ１１０８でＹＥＳ）、スライダバー１２ａのスライダＩａは、ドラッグ可能な状態になる。このとき、図１２Ｂに示すように、スライダＩａの表示状態を変化させて、スライダＩａがドラッグ可能な状態にあることをユーザに示すことができる。
【００７８】
選択されたスライダバー（１２ａ、１２ｂ）及びドラッグ可能なスライダ（Ｉａ、Ｉｂ）の表示状態としては、選択されたスライダバー及びスライダの表示色を変更する、選択されたスライダバー及びスライダを点滅させる、選択されたスライダバー及びスライダの外周を太線で表示する等の表示状態が考えられる。但し、選択されたスライダバー及びスライダの表示状態は、これらの表示状態に限定されず、現在選択されている（ドラッグ可能な）スライダバー及びスライダをユーザに伝達できる表示状態であれば、任意の表示状態を採用することができる。例えば、選択されたスライダバー（１２ａ又は１２ｂ）を拡大表示してもよい。
【００７９】
次に、スライダＩａがドラッグ可能な状態において（図１２Ｂ）、ユーザが右手で第２の手形状を維持したまま、図１２Ｆ中の矢印Ｙで示される方向に右手を移動させた後の画像がカメラ１２６によって撮影される場合を想定する（ステップＳ１１００）。この場合、手形状識別部１２７は、第２の手形状の識別子（例えば、「２」）と、その移動後の位置情報（例えば、（ｘ，ｙ）＝（１５，４））とをジェスチャ解釈部１２９に供給する（ステップＳ１１０８）。ジェスチャ解釈部１２９は、供給された情報に基づいて、ユーザのジェスチャを解釈する（ステップＳ１１１０）。解釈結果に基づいて、ジェスチャ解釈部１２９は、供給された位置情報に対応するディスプレイ１１５上の位置にスライダＩａを、グラフィクスコントローラ１１４を介して表示し（ステップＳ１１１０）、操作対象ソフトウェア１３０に音量を上げるようにコマンドを送信する（ステップＳ１１１２）。
【００８０】
なお、スライダバー１２ａのスライダＩａ、及びスライダバー１２ｂのスライダＩｂのうちのいずれか一方の位置が変更された後、スライダバー１２ａ及び１２ｂの表示を終了してもよい。また、スライダバー１２ａ及び１２ｂの表示を終了するためのボタンをスライダバー１２ａ及び１２ｂと共に表示して、ユーザが当該ボタンを第１の手形状を用いて選択した状態で、右手を第１の手形状から第２の手形状に変化させた場合に、スライダバー１２ａ及び１２ｂの表示を終了してもよい。さらに、第１の手形状及び第２の手形状のいずれも含まない画像がカメラ１２６によって撮影された場合に、スライダバー１２ａ及び１２ｂの表示を終了してもよい。
【００８１】
また、上記の説明では２種類のスライダバー１２ａ及び１２ｂがディスプレイ１１５に表示される場合が述べられているが、ディスプレイ１１５に表示されるスライダバーの数は３以上であってもよい。また、１種類のスライダバーのみがディスプレイ１１５に表示されてもよい。この場合、選択されているスライダバーの表示状態を変更する制御を行わずに、撮影された画像が第２の手形状を含むと判定された場合に、スライダをドラッグ可能としてもよい。
【００８２】
また、図７Ａ乃至図７Ｃに示されるメニューを、図１２Ａ乃至図１２Ｃに示されるスライダバー１２ａ及び１２ｂと同時にディスプレイ１１５に表示してもよい。
【００８３】
上述した本発明の第３の実施形態に係る情報処理方法によれば、ユーザは２種類の手形状（第１の手形状及び第２の手形状）を覚えるだけで、ディスプレイの輝度、又はスピーカの音量といった連続的な値の設定を行うことができる。従って、ユーザは多くの種類のジェスチャを記憶する必要がなく、ユーザに掛かる負担が少ない。また、ユーザカーソルがディスプレイ１１５に表示されるため、ユーザは、どのスライダバーが選択されているかを容易に確認することができる。さらに、ディスプレイ１１５に複数のスライダバーが表示される場合、選択されているスライダバーの表示状態が変更されるので、ユーザはどのスライダバーが選択されているかを容易に確認することができる。
【００８４】
また、１つのスライダバー（１２ａ又は１２ｂ）を第１の手形状を用いて選択しただけでは、選択されたスライダバーのスライダの位置を変更できない。ユーザが右手（又は左手）を第１の手形状から第２の手形状に変化させた場合のみ、選択されたスライダバーのスライダの位置が変更可能に制御される。従って、ユーザがユーザカーソルを移動させている途中で、ユーザが意図しない位置にスライダが移動され、音量等が誤った値に変更されてしまうことを防止することができる。
【００８５】
さらに、撮影された画像が第１の手形状を含むと判定された場合のみ、スライダバー１２ａ及び１２ｂがディスプレイ１１５に表示され、撮影された画像が第１の手形状及び第２の手形状のいずれも含まないと判定された場合に、スライダバー１２ａ及び１２ｂの表示を終了させることもできる。従って、ユーザは、必要に応じてスライダバー１２ａ及び１２ｂをディスプレイ１１５に表示させることができる。また、スライダバー１２ａ及び１２ｂを、ディスプレイ１１５の全面を用いて表示することができる。
【００８６】
次に、図１３及び図１４Ａ乃至図１４Ｆを参照しつつ、ジェスチャによってダイヤルを制御する処理を本発明の第４の実施形態として説明する。この第４の実施形態に係る情報処理方法においては、ユーザが第１の手形状を用いるとダイヤルがディスプレイ１１５に表示される。以下、本発明の第４の実施形態に係る情報処理方法を、図１に示されるパーソナルコンピュータ１００に適用した場合を例に説明する。また、以下の説明では、第１の手形状として平手、第２の手形状として握りこぶしが用いられるものとする。
【００８７】
図１３は、本発明の第４の実施形態に係る情報処理方法を説明するためのフローチャートである。図１４Ａ、図１４Ｂ、及び図１４Ｃは、パーソナルコンピュータ１００のディスプレイ１１５に表示されるダイヤルの例を示す概略図である。図１４Ｄ、図１４Ｅ、及び図１４Ｆは、カメラ１２６によって撮影されるユーザの画像の例を表す概略図である。
【００８８】
まず、カメラ１２６によってユーザの画像が撮影される（ステップＳ１３００）。このとき、例えば、図１４Ｄに示すような画像が撮影される。撮影された画像は、カメラ１２６から手形状認識部１２７に供給される。手形状認識部１２７は、供給された画像に含まれる手形状を認識し、その識別子と座標を出力する（ステップＳ１３０１）。換言すれば、ステップＳ１３０１において、手形状認識部１２７は、供給された画像が第１の手形状を含むか否かを判定する。
【００８９】
この場合、供給された画像（図１４Ｄ）に手形状データベース１２８に格納（登録）されている手形状が含まれていた場合、手形状認識部１２７は、第１の手形状の識別子とその位置情報を含む所定の手形状座標情報をジェスチャ解釈部１２９に供給する。ジェスチャ解釈部１２９は、供給された情報に基づいてユーザのジェスチャを解釈し、ユーザカーソルの位置と状態を変更する（ステップＳ１３０２）。手形状認識部１２７にて第１の手形状（即ち、平手）が認識されていた場合、即ち、供給された画像が第１の手形状を含んでいた場合（ステップＳ１３０３でＹＥＳ）、ジェスチャ解釈部１２９は、解釈結果に基づいて、ダイヤルをディスプレイ１１５に表示するように、グラフィクスコントローラ１１４を制御する（ステップＳ１３０６）。供給された画像は第１の手形状を含むと初めて判定された場合、例えば、図１４Ａに示されるように、ディスプレイ１１５に２種類のダイヤル１４ａ及び１４ｂ、並びにユーザカーソルが表示され、処理はステップＳ１３００に戻る。なお、ユーザカーソルによって、例えばダイヤル１４ａが選択されている場合、ダイヤル１４ａの表示色を変更して、現在選択されているダイヤルがダイヤル１４ａであることをユーザに伝達することができる。
【００９０】
ステップＳ１３００乃至Ｓ１３０６の処理は、ユーザが右手を第１の手形状（平手）から第２の手形状（握りこぶし）に変化させるまで繰り返される。言い換えれば、ステップＳ１３００乃至Ｓ１３０６の処理は、ユーザが第１の手形状を用いてユーザカーソルを移動させている限り繰り返される。
【００９１】
一方、手形状認識部１２７の出力をジェスチャ解釈部１２９で解釈した結果、供給された画像は第１の手形状を含まないと判定された場合（ステップＳ１３０３でＮＯ）、ジェスチャ解釈部１２９は、当該画像が第２の手形状（握りこぶし）を含むか否かを判定する（ステップＳ１３０８）。供給された画像は第２の手形状を含まないと判定された場合（ステップＳ１３０８でＮＯ）、処理はステップＳ１３００に戻る。
【００９２】
例えば、図１４Ｅに示すような、第２の手形状（握りこぶし）を含む画像が、カメラ１２６によって供給された場合を想定する（ステップＳ１３００）。この場合、ジェスチャ解釈部１２９は、供給された画像（図１４Ｅ）が第１の手形状を含まないが（ステップＳ１３０３でＮＯ）、第２の手形状を含むと判定する（ステップＳ１３０８でＹＥＳ）。解釈結果に基づいて、ジェスチャ解釈部１２９は、ディスプレイ１１５に表示されるユーザカーソル並びにダイヤル１２ａ又は１２ｂを、グラフィクスコントローラ１１４を介して制御し（ステップＳ１３１０）、操作対象ソフトウェア１３０にコマンドを送信する（ステップＳ１３１２）。
【００９３】
例えば、ダイヤル１４ａが選択された状態（図１４Ａ）において、供給された画像が第２の手形状を含むと判定されると（ステップＳ１３０８でＹＥＳ）、ダイヤル１４ａは、時計方向及び／又は時計方向と反対方向に回転可能な（ドラッグ可能な）状態になる。ダイヤル１４ａ及び／又は１４ｂは、複数回に渡って回転可能に構成することができる。このとき、ダイヤル１４ａの表示状態を変化させて、ダイヤル１４ａが回転可能な状態にあることをユーザに示すことができる。
【００９４】
選択されたダイヤル（１４ａ、１４ｂ）の表示状態としては、選択されたダイヤルの表示色を変更する、選択されたダイヤルを点滅させる、選択されたダイヤルの外周を太線で表示する等の表示状態が考えられる。但し、選択されたダイヤルの表示状態は、これらの表示状態に限定されず、現在選択されている（回転可能な）ダイヤルをユーザに伝達できる表示状態であれば、任意の表示状態を採用することができる。
【００９５】
次に、ダイヤル１４ａが回転可能な状態において（図１４Ｂ）、ユーザが右手で第２の手形状を維持したまま、図１４Ｆ中の矢印Ｚで示されるように円弧（又は円）を描くように動かした後の画像がカメラ１２６によって撮影される場合を想定する（ステップＳ１３００）。この場合、手形状識別部１２７は、第２の手形状の識別子（例えば、「２」）と、その移動後の位置情報（例えば、（ｘ，ｙ）＝（１５，４））とをジェスチャ解釈部１２９に供給する。ジェスチャ解釈部１２９は、供給された情報に基づいて、ユーザのジェスチャを解釈し、ダイヤルの回転角度に換算する（ステップＳ１３１０）。ダイヤルの回転角度としては、例えば、ダイヤル１４ａの中心点と第２の手形状が検出された初期位置とを結んだ直線と、中心点と移動後の第２の手形状の位置とを結んだ直線でなされる角度を用いることができる。あるいは、ユーザが第２の手形状を維持しつつ右手を動かした移動量に応じて角度を変更してもよい。解釈結果に基づいて、ジェスチャ解釈部１２９は、グラフィクスコントローラ１１４を介してディスプレイ１１５上のダイヤル１４ａの表示を制御し（ステップＳ１３１０）、操作対象ソフトウェア１３０にコマンドを送信する（ステップＳ１３１２）。
【００９６】
なお、ダイヤル１２ａ及びダイヤル１２ｂのうちのいずれか一方が回転された場合、ダイヤル１２ａ及び１２ｂの表示を終了してもよい。また、ダイヤル１２ａ及び１２ｂの表示を終了するためのボタンをダイヤル１２ａ及び１２ｂと共に表示して、ユーザが、当該ボタンを第１の手形状を用いて選択した状態で、右手を第１の手形状から第２の手形状に変化させた場合のみ、ダイヤル１２ａ及び１２ｂの表示を終了してもよい。さらに、第１の手形状及び第２の手形状のいずれも含まない画像がカメラ１２６によって撮影された場合に、ダイヤル１２ａ及び１２ｂの表示を終了してもよい。また、上記の説明では２種類のダイヤル１２ａ及び１２ｂがディスプレイ１１５に表示される場合が述べられている。しかし、ディスプレイ１１５に表示されるダイヤルの数は３以上であってもよい。また、１種類のダイヤルのみがディスプレイ１１５に表示されてもよい。この場合、選択されているダイヤルの表示状態を変更する制御を行わずに、供給された画像が第２の手形状を含むと判定された場合に、ダイヤルを回転可能としてもよい。
【００９７】
また、図７Ａ乃至図７Ｃに示されるメニュー、及び図１２Ａ乃至図１２Ｃに示されるスライダバー１２ａ及び１２ｂのいずれか一方又は双方と同時に、図１４Ａ乃至図１４Ｃに示されるダイヤル１４ａ及び１４ｂをディスプレイ１１５に表示してもよい。
【００９８】
さらに、ジェスチャ解釈部１２９は、ユーザが右手（又は左手）で第２の手形状を維持したまま、大きく回転させた場合、又は速く回転させた場合に、ダイヤルの回転角度（又は回転数）が大きくなるように構成されてもよい。
【００９９】
上述した本発明の第４の実施形態に係る情報処理方法によれば、ユーザは２種類の手形状（第１の手形状及び第２の手形状）を覚えるだけで、ダイヤルを選択し、選択したダイヤルを回転させることができる。従って、ダイヤルに関連付けられた機能を、ダイヤルの回転角度に応じて制御することができる。従って、ユーザは多くの種類のジェスチャを記憶する必要がなく、ユーザに掛かる負担が少ない。
【０１００】
また、ダイヤルは複数回に渡って回転可能に構成することもできる。この場合、選択可能な値の範囲が大きい機能をダイヤルに割り当てることができ、ダイヤルの回転数に応じた精度の高い制御が行われる。例えば、ダイヤルが、再生時間が１時間に及ぶ動画の再生位置（フレーム）を調節する機能に関連付けられている場合、ユーザはダイヤルを回転させることで動画の再生位置を調節し、所望のシーン（フレーム）を容易に選択することができる。
【０１０１】
また、ユーザカーソルがディスプレイ１１５に表示されるため、ユーザは、どのダイヤルが選択されているかを容易に確認することができる。さらに、ディスプレイ１１５に複数のダイヤルが表示される場合、選択されているダイヤルの表示状態が変更されるので、ユーザは、どのダイヤルが選択されているかを容易に確認することができる。
【０１０２】
また、１つのダイヤル（１４ａ又は１４ｂ）を第１の手形状を用いて選択するだけでは、選択されたダイヤルを回転させることはできない。ユーザが右手（又は左手）を第１の手形状から第２の手形状に変化させた場合のみ、選択されたダイヤルが回転可能になる。従って、ユーザがユーザカーソルを移動させている途中で、ユーザが意図しないダイヤルが操作（回転）されてしまうことを防止することができる。
【０１０３】
さらに、撮影された画像が第１の手形状を含むと判定された場合のみ、ダイヤル１２ａ及び１２ｂがディスプレイ１１５に表示され、撮影された画像が第１の手形状及び第２の手形状のいずれも含まないと判定された場合に、ダイヤル１２ａ及び１２ｂの表示を終了させることもできる。従って、ユーザは、必要に応じてダイヤル１２ａ及び１２ｂをディスプレイ１１５に表示させることができる。また、ダイヤル１２ａ及び１２ｂを、ディスプレイ１１５の全面を用いて表示することができる。さらに、通常、ダイヤル機能をパーソナルコンピュータ１００に設ける場合は、当該機能を実現するためのハードウェア装置がパーソナルコンピュータ１００に追加される。しかし、本発明の第４の実施形態によれば、ハードウェア装置を追加することなく、ダイヤル機能をパーソナルコンピュータに設けることができる。
【０１０４】
なお、上記の説明は、本発明の第２、第３及び第４の実施形態に係る情報処理方法を、図１に示すパーソナルコンピュータ１００に適用した場合について述べられている。しかし、本発明の第２、第３及び第４の実施形態に係る情報処理方法の各々は、テレビ、デスクトップ型のパーソナルコンピュータ、ノートブック型のパーソナルコンピュータ、又はゲーム機器といった各種の情報処理装置にも適用することができる。
【０１０５】
また、本発明の第２、第３及び第４の実施形態に係る情報処理方法の各々は、コンピュータによって実行可能なプログラムとしても実現できる。
【０１０６】
なお、本発明は、上記実施形態そのままに限定されるものではない。本発明は、実施段階では、その要旨を逸脱しない範囲で構成要素を変更して具現化できる。
【０１０７】
また、上記実施形態に開示されている複数の構成要素を適宜に組み合わせることで、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１０８】
【図１】本発明の第１の実施形態に係る情報処理装置の構成例を概略的に示すブロック図である。
【図２】図１に示される情報処理装置の構成の一部を、より詳細に示すブロック図である。
【図３】図２に示される手形状認識部の構成を示すブロック図である。
【図４】図３に示される対象物検出部における対象物検出方法を説明するための概略図である。
【図５】図２に示されるジェスチャ解釈部の構成を示すブロック図である。
【図６】本発明の第２の実施形態に係る情報処理方法を説明するためのフローチャートである。
【図７Ａ】図６に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。
【図７Ｂ】図６に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。
【図７Ｃ】図６に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。
【図７Ｄ】図６に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。
【図７Ｅ】図６に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。
【図７Ｆ】図６に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。
【図８Ａ】メニュー画面にカメラ画像を重ね合わせる表示方法を説明するための概略図である。
【図８Ｂ】メニュー画面に重ね合わされるカメラ画像の例を示す概略図である。
【図９Ａ】階層構造のメニュー画面を用いる場合における、上位レベルのメニュー画面の例を示す概略図である。
【図９Ｂ】階層構造のメニュー画面を用いる場合における、下位レベルのメニュー画面の例を示す概略図である。
【図１０Ａ】階層構造のメニュー画面を用いる場合における、上位レベルのメニュー画面の例を示す概略図である。
【図１０Ｂ】階層構造のメニュー画面を用いる場合における、下位レベルのメニュー画面の例を示す概略図である。
【図１１】本発明の第３の実施形態に係る情報処理方法を説明するためのフローチャートである。
【図１２Ａ】図１１に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。
【図１２Ｂ】図１１に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。
【図１２Ｃ】図１１に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。
【図１２Ｄ】図１１に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。
【図１２Ｅ】図１１に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。
【図１２Ｆ】図１１に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。
【図１３】本発明の第４の実施形態に係る情報処理方法を説明するためのフローチャートである。
【図１４Ａ】図１３に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。
【図１４Ｂ】図１３に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。
【図１４Ｃ】図１３に示される情報処理方法において表示されるメニュー画面の例を示す概略図である。
【図１４Ｄ】図１３に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。
【図１４Ｅ】図１３に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。
【図１４Ｆ】図１３に示される情報処理方法において、カメラで撮影される画像の例を示す概略図である。
【符号の説明】
【０１０９】
１２ａ…スライダバー、１２ｂ…スライダバー、１４ａ…ダイヤル、１４ｂ…ダイヤル、２１…電源ボタン、７１…再生ボタン、７２…停止ボタン、７３…巻き戻しボタン、７４…早送りボタン、７５…チャンネル選択ボタン、７６…音量制御ボタン、１００…ポータブルコンピュータ、１１１…ＣＰＵ，１１２…主メモリ、１１３…ノースブリッジ、１１４…グラフィクスコントローラ、１１５…ディスプレイ、１１６…サウスブリッジ、１１７…ハードディスクドライブ（ＨＤＤ）、１１８…光ディスクドライブ（ＯＤＤ）、１１９…ＢＩＯＳ−ＲＯＭ、１２０…エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）、１２１…電源回路、１２２…バッテリ、１２３…ＡＣアダプタ、１２４…タッチパッド、１２５…キーボード（ＫＢ）、１２６…カメラ、１２７…手形状認識部、１２７ａ…部分領域画像抽出部、１２７ｂ…対象物検出部、１２８…手形状データベース、１２９…ジェスチャ解釈部、１２９ａ…ジェスチャ変換部、１２９ｂ…メニュー制御部、１２９ｃ…コマンド送信部、１３０…操作対象ソフトウェア、Ｉａ…スライダ、Ｉｂ…スライダ。
【図１】
2008146243.tif 000003
【図２】
2008146243.tif 000004
【図３】
2008146243.tif 000005
【図４】
2008146243.tif 000006
【図５】
2008146243.tif 000007
【図６】
2008146243.tif 000008
【図７Ａ】
2008146243.tif 000009
【図７Ｂ】
2008146243.tif 000010
【図７Ｃ】
2008146243.tif 000011
【図７Ｄ】
2008146243.tif 000012
【図７Ｅ】
2008146243.tif 000013
【図７Ｆ】
2008146243.tif 000014
【図８Ａ】
2008146243.tif 000015
【図８Ｂ】
2008146243.tif 000016
【図９Ａ】
2008146243.tif 000017
【図９Ｂ】
2008146243.tif 000018
【図１０Ａ】
2008146243.tif 000019
【図１０Ｂ】
2008146243.tif 000020
【図１１】
2008146243.tif 000021
【図１２Ａ】
2008146243.tif 000022
【図１２Ｂ】
2008146243.tif 000023
【図１２Ｃ】
2008146243.tif 000024
【図１２Ｄ】
2008146243.tif 000025
【図１２Ｅ】
2008146243.tif 000026
【図１２Ｆ】
2008146243.tif 000027
【図１３】
2008146243.tif 000028
【図１４Ａ】
2008146243.tif 000029
【図１４Ｂ】
2008146243.tif 000030
【図１４Ｃ】
2008146243.tif 000031
【図１４Ｄ】
2008146243.tif 000032
【図１４Ｅ】
2008146243.tif 000033
【図１４Ｆ】
2008146243.tif 000034