(57)【要約】【課題】音声認識およびジェスチャ認識によって情報処理装置の操作を行う場合に、誤認識による誤動作を防止すること。【解決手段】実施形態によれば、情報処理装置は、カメラから出力された映像データ内に含まれる人物の身振りを認識する身振り認識手段と、前記身振り認識手段が第１の身振りを認識した場合、前記第１の身振りに対応する第１の操作を実行する身振り操作実行手段と、マイクロフォンから出力された音声信号に基づいて音声認識手段と、前記音声認識手段が第１の音声を認識した場合、前記第１の音声に対応する第１の操作を実行する音声操作実行手段と、前記身振り操作実行手段および前記音声操作実行手段の一方が前記第１の操作を実行することを許可し、前記身振り操作実行手段および前記音声操作実行手段の他方が前記第１の操作を実行することを禁止する制御手段とを具備する。【選択図】    図３
2013186646.tif 000002
【特許請求の範囲】
【請求項１】
カメラから出力された映像データ内に含まれる人物の身振りを認識する身振り認識手段と、
前記身振り認識手段が第１の身振りを認識した場合、前記第１の身振りに対応する第１の操作を実行する身振り操作実行手段と、
マイクロフォンから出力された音声信号から音声を認識する音声認識手段と、
前記音声認識手段が第１の音声を認識した場合、前記第１の音声に対応する前記第１の操作を実行する音声操作実行手段と、
前記身振り操作実行手段および前記音声操作実行手段の一方が前記第１の操作を実行することを許可し、前記身振り操作実行手段および前記音声操作実行手段の他方が前記第１の操作を実行することを禁止する制御手段と、
を具備する情報処理装置。
【請求項２】
前記身振り認識手段が第２の身振りを認識した場合に、前記制御手段は、前記身振り操作実行手段が前記第１の操作を実行することを許可し、前記音声操作実行手段が前記第１の操作を実行することを禁止し、
前記音声認識手段が第２の音声を認識した場合に、前記制御手段は、前記音声操作実行手段が前記第１の操作を実行することを許可し、前記身振り操作実行手段が前記第１の操作を実行することを禁止する、
請求項１に記載の情報処理装置。
【請求項３】
前記身振り認識手段が前記第２の身振りを認識した場合に、前記制御手段は、前記音声認識手段および前記音声操作実行手段の動作を停止させ、
前記音声認識手段が前記第２の音声を認識した場合に、前記制御手段は、前記身振り認識手段および前記身振り操作実行手段の動作を停止させる、
請求項２に記載の情報処理装置。
【請求項４】
前記身振り認識手段が前記第２の身振りを認識した場合に、前記制御手段が、前記音声操作実行手段による操作が禁止されている旨を通知し、
前記音声認識手段が前記第２の音声を認識した場合に、前記制御手段が、前記身振り操作実行手段による操作が禁止されている旨を通知する通知手段を更に具備する請求項２に記載の情報処理装置。
【請求項５】
前記音声操作実行手段は、前記音声認識手段が第３の音声を認識した場合、第２の操作を実行し、前記音声認識手段が第４の音声を認識した場合、第３の操作を実行し、
前記制御手段が、前記音声操作実行手段による操作を禁止し、前記身振り認識手段が第３の身振りを認識した場合、前記第２の操作および前記第３の操作の一方を前記人物に選択させるための選択ウィンドウを表示装置の表示画面上に表示する表示手段を更に具備し、
前記身振り操作実行手段は、前記身振り検出手段の認識結果に応じて前記第２の操作または前記第３の操作を実行する
請求項３に記載の情報処理装置。
【請求項６】
加速度センサを更に具備し、
前記加速度センサによって検出された加速度が設定値を超えている場合に、前記制御手段は、前記音声操作実行手段が前記第１の操作を実行することを許可し、前記身振り操作実行手段が前記第１の操作を実行することを禁止する
請求項１に記載の情報処理装置。
【請求項７】
カメラから出力された映像データ内に含まれる人物の身振りを認識する身振り認識手段と、前記身振り認識手段が第１の身振りを認識した場合、前記第１の身振りに対応する第１の操作を実行する身振り操作実行手段と、マイクロフォンから出力された音声信号から音声を認識する音声認識手段と、前記音声認識手段が第１の音声を認識した場合、前記第１の音声に対応する第１の操作を実行する音声操作実行手段とを具備する情報処理装置の制御方法であって、
前記身振り操作実行手段および前記音声操作実行手段の一方が前記第１の操作を実行することを許可し、前記身振り操作実行手段および前記音声操作実行手段の他方が前記第１の操作を実行することを禁止する
情報処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、音声およびジェスチャによる操作が可能な情報処理装置および情報処理装置の制御方法に関する。
【背景技術】
【０００２】
近年、ユーザが話した音声を認識し、認識結果に応じた操作を行うことが可能なコンピュータが発売されている。周囲の騒音が大きいと、音声の認識精度が落ち、コンピュータが誤った操作を行うことがあった。
【０００３】
また、ユーザの身振り（ジェスチャ）を認識し、認識結果に応じた操作を行うことが可能なコンピュータが発売されている。周りで人や物が頻繁に動いており、ジェスチャの認識精度が落ちる場合、コンピュータが誤った操作を行うことがあった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１２８７６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
音声認識によってコンピュータの操作を行う場合、周囲の騒音が大きいと、音声認識の精度が落ち、コンピュータが誤った操作を行うことがあった。
【０００６】
ジェスチャ認識によってコンピュータの操作を行う場合、周りで人や物が頻繁に動いていると、ジェスチャ認識の精度が落ち、コンピュータが誤った操作を行うことがあった。
【０００７】
本発明の目的は、音声認識およびジェスチャ認識によって情報処理装置の操作を行う場合に、誤認識による誤動作を防止することが可能な情報処理装置および情報処理装置の制御方法を提供することにある。
【課題を解決するための手段】
【０００８】
実施形態によれば、情報処理装置は、身振り認識手段と、身振り操作実行手段と、音声認識手段と、音声操作実行手段と、制御手段とを具備する。前記身振り認識手段は、カメラから出力された映像データ内に含まれる人物の身振りを認識する。前記身振り操作実行手段は、前記身振り認識手段が第１の身振りを認識した場合、前記第１の身振りに対応する第１の操作を実行する。前記音声認識手段は、マイクロフォンから出力された音声信号から音声を認識する。前記音声操作実行手段は、前記音声認識手段が第１の音声を認識した場合、前記第１の音声に対応する前記第１の操作を実行する。前記制御手段は、前記身振り操作実行手段および前記音声操作実行手段の一方が前記第１の操作を実行することを許可し、前記身振り操作実行手段および前記音声操作実行手段の他方が前記第１の操作を実行することを禁止する。
【図面の簡単な説明】
【０００９】
【図１】実施形態の情報処理装置の外観の一例を示す斜視図。
【図２】実施形態の情報処理装置のシステム構成の一例を示すブロック図。
【図３】実施形態のナビゲーションプログラムの構成の一例を示すブロック図。
【図４】ナビゲーションプログラムのジェスチャ操作部および音声操作部がウェブブラウザに対して要求する操作の一例を示す図。
【図５】“表示ページ中のリンク先への移動”操作のせつめいに用いる図。
【図６】ナビゲーションプログラムのメインメニュー表示部が表示するメインメニューウィンドウの一例を示す図。
【図７】音声操作の停止後に、ジェスチャ操作部によって操作可能な操作の一例を示す図。
【図８】音声操作が停止されたことをユーザに通知する場合のメッセージの一例を示す図。
【図９】ナビゲーションプログラムのジェスチャ操作部が表示するリストメニューの一例を示す図。
【図１０】ジェスチャ操作が停止されたことをユーザに通知する場合のメッセージの一例を示す図。
【図１１】ジェスチャ操作の停止後に、音声操作部によって操作可能な操作の一例を示す図。
【図１２】音声操作およびジェスチャ操作の実行および終了の手順について示すフローチャート。
【図１３】ジェスチャ操作実行時の動作について示すフローチャート。
【図１４】音声操作停止時に表示される、音声操作で行える操作の一覧を示す図。
【図１５】音声操作実行時の動作について示すフローチャート。
【図１６】ジェスチャ操作停止時に表示される、ジェスチャ操作で行える操作の一覧を示す図。
【発明を実施するための形態】
【００１０】
以下、実施の形態について図面を参照して説明する。
【００１１】
図１は、一実施形態に係る情報処理装置の外観を示す斜視図である。この情報処理装置は、例えばノートブックタイプのパーソナルコンピュータ１として実現される。また、この情報処理装置は、タブレットＰＣ、ＰＤＡ、スマートフォン等として実現され得る。
【００１２】
図１に示すように、本コンピュータ１は、コンピュータ本体２と、ディスプレイユニット３とから構成される。  
ディスプレイユニット３には、ＬＣＤ（liquid crystal display）１５およびビデオカメラ３１が組み込まれている。ビデオカメラ３１は、ＬＣＤ１５の上に設けられている。ディスプレイユニット３は、コンピュータ本体２の上面が露出される開放位置とコンピュータ本体２の上面を覆う閉塞位置との間を回動自在にコンピュータ本体２に取り付けられている。
【００１３】
コンピュータ本体２は、薄い箱形の筐体を有しており、その上面には、キーボード２６、本コンピュータ１を電源オン／電源オフするためのパワーボタン２８、後述するナビゲーションプログラムを起動／終了するための起動／終了ボタン２９、ポインティングデバイス２７、スピーカ１８Ａ，１８Ｂ、マイクロフォン３２などが配置されている。
【００１４】
図２は、本コンピュータ１のシステム構成を示す図である。  
本コンピュータ１は、図２に示すように、ＣＰＵ１１、ノースブリッジ１２、主メモリ１３、グラフィクスプロセッシングユニット（ＧＰＵ）１４、ビデオメモリ（ＶＲＡＭ）１４Ａ、ＬＣＤ１５、サウスブリッジ１６、サウンドコントローラ１７、スピーカ１８Ａ，１８Ｂ、ＢＩＯＳ−ＲＯＭ１９、ＬＡＮコントローラ２０、ハードディスクドライブ（ＨＤＤ）２１、光ディスクドライブ（ＯＤＤ）２２、無線ＬＡＮコントローラ２３、ＵＳＢコントローラ２４、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）２５、キーボード（ＫＢ）２６、ポインティングデバイス２７、パワーボタン２８、起動／終了ボタン２９、ビデオカメラ３１、マイクロホン３２、および加速度センサ３３等を備えている。
【００１５】
ＣＰＵ１１は、本コンピュータ１の動作を制御するプロセッサである。ＣＰＵ１１は、ＨＤＤ２１から主メモリ１３にロードされる、オペレーティングシステム（ＯＳ）１３Ａ、ナビゲーションプログラム１３Ｂ、およびウェブブラウザ１３Ｃを実行する。ナビゲーションプログラム１３Ｂは、ユーザが手を使わずに、ジェスチャや音声でコンピュータを操作することを可能にするためのインタフェースである。ウェブブラウザ１３Ｃは、はWorld Wide Webを利用するために用いられるブラウザである。ジェスチャは、身振りや手振り等を含む。
【００１６】
また、ＣＰＵ１１は、ＢＩＯＳ−ＲＯＭ１９に格納されたＢＩＯＳ（Basic Input/Output System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１７】
ノースブリッジ１２は、ＣＰＵ１１のローカルバスとサウスブリッジ１６との間を接続するブリッジデバイスである。ノースブリッジ１２には、主メモリ１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１２は、ＧＰＵ１４との通信を実行する機能も有している。
【００１８】
ＧＰＵ１４は、本コンピュータ１のディスプレイとして使用されるＬＣＤ１５を制御するデバイスである。このＧＰＵ１４によって生成される表示信号はＬＣＤ１５に送られる。ＬＣＤ１５は、表示信号に基づいて画像を表示する。
【００１９】
サウスブリッジ１６は、ＰＣＩ（Peripheral Component Interconnect）バス上及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１６は、ＨＤＤ２１及びＯＤＤ２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラ、及びＢＩＯＳ−ＲＯＭ１９をアクセス制御するメモリコントローラが内蔵されている。さらに、サウスブリッジ１６は、サウンドコントローラ１７及びＬＡＮコントローラ２０との通信を実行する機能も有している。
【００２０】
サウンドコントローラ１７は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ２０は、例えばＥｔｈｅｒｎｅｔ（登録商標）規格の有線通信を実行する有線通信デバイスであり、無線ＬＡＮコントローラ２３は、例えばＩＥＥＥ  ８０２．１１規格の無線通信を実行する無線通信デバイスである。また、ＵＳＢコントローラ２４は、例えばＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行する。
【００２１】
ＥＣ／ＫＢＣ２５は、電力管理を行うためのエンベデッドコントローラと、キーボード（ＫＢ）２６、及びポインティングデバイス２７を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このＥＣ／ＫＢＣ２５は、ユーザの操作に応じて本コンピュータ１をパワーオン／パワーオフする機能を有している。
【００２２】
起動／終了ボタン２９は、ナビゲーションプログラム１３Ｂの停止時にナビゲーションプログラム１３Ｂを起動させるためのボタンであると共に、ナビゲーションプログラム１３Ｂの起動時にナビゲーションプログラム１３Ｂを停止させるためのボタンである。
【００２３】
ビデオカメラ３１は、レンズを通した映像を、ＣＣＤイメージセンサやＣ−ＭＯＳイメージセンサなどの個体撮像素子に結像させて電気信号に変換し、変換された電気信号をデジタル化して映像データを出力する。
【００２４】
マイクロフォン３２は、音を電気信号に変換し、変換結果をアナログ音声信号として、サウンドコントローラ１７に出力する。サウンドコントローラ１７は、アナログ音声信号をＡ／Ｄ変換によってデジタルデータに変換し、変換結果をデジタル音声データとして出力する。
【００２５】
また、加速度センサ３３は、本体の加速度を測定するセンサである。
【００２６】
次に、ナビゲーションプログラム１３Ｂについて説明する。本実施形態では、ユーザが、ナビゲーションプログラム１３Ｂを用いてコンピュータ（情報処理装置）によって実行されるウェブブラウザ１３Ｃの操作を行う場合を説明する。
【００２７】
図３は、ナビゲーションプログラム１３Ｂの構成を示すブロック図である。  
図３に示すように、ナビゲーションプログラム１３Ｂは、ジェスチャ認識部３０１、ジェスチャ操作部３０２、音声認識部３１１、音声操作部３１２、および制御部３２０等を備えている。
【００２８】
ジェスチャ認識部３０１は、ビデオカメラ３１から出力された映像データからユーザのジェスチャを認識する。ジェスチャ認識部３０１は、認識したジェスチャを示すジェスチャ情報をジェスチャ操作部３０２に送信する。ジェスチャ操作部３０２は、ジェスチャ情報に応じた操作コマンドをウェブブラウザ１３Ｃに送信し、ウェブブラウザ１３Ｃに認識したジェスチャに応じた操作（処理）を行うように要求する。
【００２９】
音声認識部３１１は、サウンドコントローラ１７から出力されたデジタル音声データからユーザが話した音声を認識する。音声認識部３１１は、認識した音声を示す音声情報を音声操作部３１２に送信する。音声操作部３１２は、音声情報に応じた操作コマンドをウェブブラウザ１３Ｃに送信し、ウェブブラウザ１３Ｃに認識した音声に応じた操作（処理）を行うように要求する。
【００３０】
ジェスチャ操作部３０２および音声操作部３１２がウェブブラウザ１３Ｃに対して要求する操作を図４に示す。図４に示すように、一つの操作に対して、ジェスチャ操作および音声操作の一方が割り当てられている。
【００３１】
図４に示すように、ジェスチャ操作によって“次のページ/前のページ”操作、“上下スクロール”操作、および“拡大/縮小”操作を行うことが可能である。“次のページ/前のページ”操作は、ジェスチャ情報が手のひらが左右に移動していることを示している場合に行われる。“上下スクロール”操作は、ジェスチャ情報が手のひらが上下に移動していることを示している場合に行われる。“拡大/縮小”操作は、ジェスチャ情報が二つの手のひらが「離れていく」／「近づいていく」ことを示している場合に行われる。
【００３２】
音声操作によって、“表示中のリンクへの移動”操作、“タブの切り替え”操作“印刷”操作、“お気に入り一覧表示”操作、“ページ設定”操作、および“メニューの名前”の操作を行うことが可能である。
【００３３】
“表示ページ中のリンク先への移動”操作は、図５に示すように、ユーザが、ウェブブラウザ１３Ｃが表示しているウィンドウ５０１内に表示されている、下線が引かれているキーワード（LinkA、LinkB、LinkC、LinkD、LinkE、LinkF、LinkG）を呼ぶことで、ウィンドウ５０１内にキーワードに対応するリンク先のウェブページを表示させる操作である。下線が引かれているキーワードが呼ばれると、ウェブブラウザ１３Ｃがウィンドウ５０１内にキーワードに対応する対応するリンク先のデータを読み込む。ウェブブラウザ１３Ｃは、読み込んだデータに基づいたウェブページをウィンドウ５０１内に表示する。
【００３４】
“タブの切り替え”操作は、ウェブブラウザ１３Ｃが、一つのウィンドウ内に複数のウェブページを表示可能な場合に、表示するウェブページを切り替える操作である。
【００３５】
“印刷”操作は、表示中のウェブページを印刷する操作である。
【００３６】
“お気に入り一覧表示”操作は、ウェブブラウザ１３Ｃのウィンドウ内にお気に入りの一覧を表示させるための操作である。
【００３７】
“ページ設定”操作は、通常“ファイル”メニュー内の“ページ設定”を選択することで表示されるページ設定ウィンドウを表示させるための操作である。
【００３８】
“メニューの名前”操作は、ウェブブラウザ１３Ｃのウィンドウ内にメニューバーに表示される、ファイルメニュー、編集メニュー、表示メニュー、お気に入りメニュー、ツールメニュー、およびヘルプメニューの何れかを表示させるための操作である。ユーザが、ファイル、編集、表示、お気に入り、ツール、およびヘルプの何れかを呼ぶことで、対応するメニューが表示される。表示後、ユーザ、上または下を呼ぶことで、メニュー内の選択項目が移動する。また、ユーザが“決定”を呼ぶことで、選択項目に対応する処理がウェブブラウザ１３Ｃによって行われる。
【００３９】
また、ユーザがメインメニューと呼ぶと、メインメニュー表示部３１３は、図６に示す、メインメニューウィンドウを表示する。この状態で、ユーザが下線が引かれているキーワード（天気予報、ニュース、急上昇ワードランキング、トレンドサーフィン）を呼ぶことで、ウェブブラウザ１３Ｃが対応するウェブページを表示する。また、ユーザが下線が引かれているキーワード（ソフトウェア、サポート）を呼ぶことで、メインメニュー表示部３１３がキーワードに対応するアプリケーションプログラムを起動する。
【００４０】
静的に決まっていて且つ直感的な操作をジェスチャ操作に割り当て、コンテンツなどにより動的に変わる操作や各機能の名前を音声操作に割り当て、ジェスチャ操作と音声操作とを同時に使用することで、ユーザの操作性が向上する。
【００４１】
なお、ジェスチャ情報が音声操作を停止させるためのジェスチャを示している場合、ジェスチャ操作部３０２は、制御部３２０に音声操作の停止を要求する。また、音声情報が手振り操作を停止させるための音声を示している場合、音声操作部３１２は、制御部３２０にジェスチャ操作の停止を要求する。
【００４２】
制御部３２０は、ジェスチャ認識部３０１、ジェスチャ操作部３０２、音声認識部３１１、および音声操作部３１２を制御する。通常、制御部３２０は、ジェスチャ認識部３０１、ジェスチャ操作部３０２、音声認識部３１１、および音声操作部３１２を同時に動作させる。
【００４３】
ジェスチャ操作部３０２が音声操作の停止を制御部３２０に要求した場合、制御部３２０は、音声認識部３１１および音声操作部３１２の動作を停止させる。そして、制御部３２０は、音声操作部３１２に割り当てられていた操作をジェスチャ操作部３０２に割り当てる。
【００４４】
音声操作の停止後に、ジェスチャ操作部３０２に割り当てられている操作を図７に示す。図７に示すように、“表示ページ中のリンク先への移動”、“リスト”メニュー表示操作、操作、“タブの切り替え”操作、“印刷”操作、“お気に入り一覧表示”操作、“ページ設定”操作、“メニューの名前”操作、および“決定”操作がジェスチャ操作に追加されている。
【００４５】
音声操作の停止後、制御部３２０は、図８に示すように、吹き出し８０１内に「音声操作が無効になりました。ジェスチャ操作などで、やりたいことを選んでください。」と表示し、音声操作が停止されたことをユーザに通知する。
【００４６】
また、制御部は、ジェスチャ操作部３０２は、リンク先リストウィンドウ８０２を表示する。リンク先リストウィンドウ８０２が表示されている場合、ジェスチャ操作部３０２は、ジェスチャ情報が拳が上下に移動していることを示している場合に、選択リンク先（白字表示部分）を変化させる。ジェスチャ情報が拳から手のひらに変わったことを示している場合、ジェスチャ操作部３０２は、選択リンク先のウェブページを表示するようにウェブブラウザ１３Ｃに要求する。
【００４７】
また、ジェスチャ情報が手のひらが円を描くように移動していることを示している場合、ジェスチャ操作部３０２は、図９に示すリストメニュー９０１を表示する。ジェスチャ情報が拳が上下に移動していることを示している場合に、選択項目（白字表示部分）を変化させる。ジェスチャ情報が拳から手のひらに変わったことを示している場合、ジェスチャ操作部３０２は、選択項目に応じた処理を行うようにウェブブラウザ１３Ｃに要求する。
【００４８】
音声操作部３１２がジェスチャ操作の停止を制御部３２０に要求した場合、制御部３２０は、ジェスチャ認識部３０１およびジェスチャ操作部３０２の動作を停止させる。そして、制御部３２０は、ジェスチャ操作部３０２に割り当てられていた操作を音声操作部３１２に割り当てる。
【００４９】
音声操作の停止後、制御部３２０は、図１０に示すように、吹き出し１００１内に「ジェスチャ操作が無効になりました。音声操作などで、やりたいことを選んでください。」と表示し、ジェスチャ操作が停止されたことをユーザに通知する。
【００５０】
ジェスチャ操作の停止後に、音声操作部３１２によって操作可能な操作を図１１に示す。図１１に示すように、拡大/縮小”操作、“上下スクロール”操作、および“次のページ/前のページ”操作が、音声操作に追加されている。
【００５１】
音声操作およびジェスチャ操作の実行および終了の手順について図１２を参照して説明する。  
例えば起動／終了ボタン２９の操作によりナビゲーションプログラム１３Ｂの起動が要求されることによって、ジェスチャ認識部３０１、ジェスチャ操作部３０２、音声認識部３１１、音声操作部３１２、および制御部３２０の実行が開始される。音声認識部３１１および音声操作部３１２の実行開始により、音声操作が開始される(ステップＢ１２０１）。ジェスチャ認識部３０１およびジェスチャ操作部３０２の実行開始によりジェスチャ操作が開始される(ステップＢ１２０２）。例えば起動／終了ボタン２９の操作によりナビゲーションプログラム１３Ｂの終了が要求された場合（ステップＢ１２０１のＹｅｓ）、ジェスチャ操作部３０２、音声認識部３１１、音声操作部３１２、および制御部３２０の実行が終了される。音声認識部３１１および音声操作部３１２の実行停止により、音声操作が終了する（ステップＢ１２０４）。ジェスチャ認識部３０１およびジェスチャ操作部３０２の実行停止により、ジェスチャ操作が終了する（ステップＢ１２０５）。
【００５２】
次に、音声操作停止動作を含むジェスチャ操作の動作について図１３を参照して説明する。音声操作停止動作は、周りの騒音が大きく、音声の認識精度が落ちる環境であると判定したユーザがジェスチャ操作で要求した場合に行われる。
【００５３】
制御部３２０は、ジェスチャ操作の停止が要求されているかを判定する（ステップＢ１３０１）。ジェスチャ操作の停止が要求されていると判定した場合（ステップＢ１３０１のＹｅｓ）、制御部３２０は、ジェスチャ認識部３０１およびジェスチャ操作部３０２の実行停止により、ジェスチャ操作を終了させる。
【００５４】
ジェスチャ操作の停止が要求されていないと判定した場合（ステップＢ１３０１のＮｏ）に、ジェスチャ認識部３０１からジェスチャ操作部３０２にジェスチャ情報が入力されたら、ジェスチャ操作部３０２は、ジェスチャ情報が音声操作停止コマンドに対応しているかを判定する（ステップＢ１３０３）。つまり、ジェスチャ操作部３０２は、ジェスチャ情報が示すジェスチャが、音声操作停止コマンドに割り当てられているジェスチャであるかを判定する。音声操作停止コマンドに対応していると判定した場合（ステップＢ１３０３のＹｅｓ）、制御部３２０に音声操作の停止を要求する。制御部３２０は、図１４に示すような音声操作で行える操作の一覧を表示し、音声操作で操作可能であった操作コマンドがジェスチャ操作で行えることをユーザに通知する（ステップＢ１３０４）。また、制御部３２０は、音声操作に割り当てられていた操作コマンドを音声操作部３１２の代わりに、ジェスチャ操作部３０２に割り当てる。制御部３２０は、音声認識部３１１および音声操作部３１２の実行を停止し、音声操作を停止させる（ステップＢ１３０５）。
【００５５】
ステップＢ１３０３において、音声操作停止コマンドに対応していないと判定した場合（ステップＢ１３０３のＮｏ）、ジェスチャ操作部３０２は、ジェスチャ情報が音声操作開始コマンドに対応しているかを判定する（ステップＢ１３０６）。ジェスチャ情報が音声操作開始コマンドに対応していると判定した場合（ステップＢ１３０６のＹｅｓ）、ジェスチャ操作部３０２は、制御部３２０に音声操作の開始を要求する。制御部３２０は、音声認識部３１１および音声操作部３１２を実行させ、音声操作を開始する（ステップＢ１３０７）。このとき、制御部３２０は、ジェスチャ操作部３０２に追加割り当てした操作コマンドのジェスチャ操作部３０２への割り当てを解除する。ジェスチャ情報が音声操作開始コマンドに対応していないと判定した場合（ステップＢ１３０６のＮｏ）、ジェスチャ操作部３０２は、ジェスチャ情報が対応するジェスチャ操作コマンドに応じた処理を行う（ステップＢ１３０８）。
【００５６】
次に、ジェスチャ操作停止動作を含む音声操作の動作について図１５を参照して説明する。ジェスチャ操作停止動作は、周りで人や物が頻繁に動いており、ジェスチャの認識精度が落ちる環境であると判定したユーザが音声操作で要求した場合に行われる。
【００５７】
制御部３２０は、音声操作の停止が要求されているかを判定する（ステップＢ１５０１）。音声操作の停止が要求されていると判定した場合（ステップＢ１５０１のＹｅｓ）、制御部３２０は、音声認識部３１１および音声操作部３１２の実行停止により、音声操作を終了させる。
【００５８】
音声操作の停止が要求されていないと判定した場合（ステップＢ１５０１のＮｏ）に、音声認識部３１１から音声操作部３１２に音声情報が入力されたら、音声操作部３１２は、音声情報がジェスチャ操作停止コマンドに対応しているかを判定する（ステップＢ１５０３）。つまり、音声操作部３１２は、音声情報が示す音声が、ジェスチャ操作停止コマンドに割り当てられている音声であるかを判定する。ジェスチャ操作停止コマンドに対応していると判定した場合（ステップＢ１５０３のＹｅｓ）、ジェスチャ操作停止コマンドが入力された旨を制御部３２０に通知する。制御部３２０は、図１６に示すようなジェスチャ操作で行えるコマンドの一覧を表示し、ジェスチャ操作で操作可能であった操作コマンドが音声操作で行えることをユーザに通知する（ステップＢ１５０４）。また、制御部３２０は、音声操作部３１２に、ジェスチャ操作に割り当てられていた操作コマンドをジェスチャ操作部３０２に割り当てる。制御部３２０は、ジェスチャ認識部３０１および音声操作部３１２の実行を停止し、ジェスチャ操作を停止させる（ステップＢ１５０５）。
【００５９】
ステップＢ１５０３において、ジェスチャ操作停止コマンドに対応していないと判定した場合（ステップＢ１５０３のＮｏ）、音声操作部３１２は、音声情報がジェスチャ操作開始コマンドに対応しているかを判定する（ステップＢ１５０６）。音声情報がジェスチャ操作開始コマンドに対応していると判定した場合（ステップＢ１５０６のＹｅｓ）、音声操作部３１２は、制御部３２０にジェスチャ操作開始コマンドが入力されたことを通知する。制御部３２０は、ジェスチャ認識部３０１およびジェスチャ操作部３０２を実行させ、ジェスチャ操作を開始する（ステップＢ１５０７）。
【００６０】
このとき、制御部３２０は、音声操作部３１２に追加割り当てした操作コマンドの音声操作部３１２への割り当てを解除する。音声情報がジェスチャ操作開始コマンドに対応していないと判定した場合（ステップＢ１５０６のＮｏ）、音声操作部３１２は、音声情報が対応する音声操作コマンドに応じた処理を行う（ステップＢ１５０８）。
【００６１】
ジェスチャ操作部３０２および音声操作部３１２の一方がコンピュータ１に操作を要求することを許可し、ジェスチャ操作部３０２および音声操作部３１２の他方がコンピュータ１に操作を要求することを禁止することで、一方の操作部のみがコンピュータ１に操作を指示することが可能になる。例えば、認識精度が落ちる方の操作部がコンピュータ１に操作を要求することを禁止することで、誤認識による誤操作を防止することが可能になる。
【００６２】
ジェスチャ操作停止のトリガーを音声操作とする、または音声操作停止のトリガーをジェスチャ操作とすることで、誤認識や待機中のＣＰＵやメモリの使用量を軽減することが可能になる。
【００６３】
また、ジェスチャ操作を無効にする際に、ジェスチャ操作で行える操作を音声操作に追加することで、音声操作のみでもユーザが操作可能になる。
【００６４】
音声操作を無効にする際に、音声操作で行える操作をリスト形式で表示し、ジェスチャ操作にて選択可能にすることで、ジェスチャ操作のみでもユーザが操作可能になる。
【００６５】
なお、加速度センサ３３の測定する加速度が設定値を超えている場合、移動していることが想定されるので、制御部３２０は、ジェスチャ操作を停止させても良い。
【００６６】
本実施形態のナビゲーションプログラムによって処理される手順はプログラムによって実現することができるので、このプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行することにより、本実施形態と同様の効果を容易に実現することができる。
【００６７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６８】
１…パーソナルコンピュータ、１３Ａ…オペレーティングシステム、１３Ｂ…ナビゲーションプログラム、１３Ｃ…ウェブブラウザ、１７…サウンドコントローラ、３１…ビデオカメラ、３２…マイクロホン、３３…加速度センサ、３０１…ジェスチャ認識部、３０２…ジェスチャ操作部、３１１…音声認識部、３１２…音声操作部、３１３…メインメニュー表示部、３２０…制御部。
【図１】
2013186646.tif 000003
【図２】
2013186646.tif 000004
【図３】
2013186646.tif 000005
【図４】
2013186646.tif 000006
【図５】
2013186646.tif 000007
【図６】
2013186646.tif 000008
【図７】
2013186646.tif 000009
【図８】
2013186646.tif 000010
【図９】
2013186646.tif 000011
【図１０】
2013186646.tif 000012
【図１１】
2013186646.tif 000013
【図１２】
2013186646.tif 000014
【図１３】
2013186646.tif 000015
【図１４】
2013186646.tif 000016
【図１５】
2013186646.tif 000017
【図１６】
2013186646.tif 000018