(57)【特許請求の範囲】
【請求項１】
操作対象装置へ入力するコマンドを操作者による音声及びジェスチャの両方に基づいて決定する入力装置であって、
操作者による音声が入力される音声入力部と、
操作者によるジェスチャを撮影した画像が入力される画像入力部と、
前記入力される音声に対して音声認識処理を行い、操作対象装置へコマンドを入力するための音声として予め定められた音声のうち該入力される音声と一致する音声の候補を特定し、該入力される音声が該特定した候補に一致する確からしさの指標である音声認識スコアを算出する第１の算出部と、
前記入力される画像に対して画像認識処理を行い、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャのうち該入力される画像に撮影されたジェスチャと一致するジェスチャの候補を特定し、該入力される画像に撮影されたジェスチャが該特定した候補に一致する確からしさの指標であるジェスチャ認識スコアを算出する第２の算出部と、
前記特定した候補に基づいて操作対象装置へ入力するコマンドを決定する決定部と、
を備え、
前記決定部は、前記算出した音声認識スコア及びジェスチャ認識スコアのいずれか一方が所定の第１の閾値より小さい場合、他方の認識スコアに対応する候補のみに基づいて操作対象装置へ入力するコマンドを決定し、前記算出した音声認識スコア及びジェスチャ認識スコアの少なくとも一方が、前記第１の閾値より小さい所定の第２の閾値より小さい場合、前記特定した両方の候補を破棄し、前記特定した候補に基づく操作対象装置へ入力するコマンドの決定を行わないことを特徴とする入力装置。
【請求項２】
前記決定部は、前記算出した音声認識スコア及びジェスチャ認識スコアが両方とも前記第１の閾値より小さい場合、前記特定した候補を破棄し、前記特定した候補に基づく操作対象装置へ入力するコマンドの決定を行わないことを特徴とする請求項１に記載の入力装置。
【請求項３】
操作対象装置へ入力するコマンドを操作者による音声及びジェスチャの両方に基づいて
決定する入力装置であって、
操作者による音声が入力される音声入力部と、
操作者によるジェスチャを撮影した画像が入力される画像入力部と、
前記入力される音声に対して音声認識処理を行い、操作対象装置へコマンドを入力するための音声として予め定められた音声のうち該入力される音声と一致する音声の候補を特定し、該入力される音声が該特定した候補に一致する確からしさの指標である音声認識スコアを算出する第１の算出部と、
前記入力される画像に対して画像認識処理を行い、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャのうち該入力される画像に撮影されたジェスチャと一致するジェスチャの候補を特定し、該入力される画像に撮影されたジェスチャが該特定した候補に一致する確からしさの指標であるジェスチャ認識スコアを算出する第２の算出部と、
前記特定した候補に基づいて操作対象装置へ入力するコマンドを決定する決定部と、
を備え、
前記決定部は、前記算出した音声認識スコアとジェスチャ認識スコアとの差の大きさが所定の第３の閾値より大きい場合、該音声認識スコアとジェスチャ認識スコアのうち大きい方に対応する候補のみに基づいて操作対象装置へ入力するコマンドを決定することを特徴とする入力装置。
【請求項４】
前記決定部は、前記算出した音声認識スコア及びジェスチャ認識スコアの少なくとも一方が、所定の第２の閾値より小さい場合、前記特定した両方の候補を破棄し、前記特定した候補に基づく操作対象装置へ入力するコマンドの決定を行わないことを特徴とする請求項３に記載の入力装置。
【請求項５】
前記第１の算出部は、操作対象装置へコマンドを入力するための音声として予め定められた音声と、前記入力される音声と、の相関を計算することにより、音声認識スコアを算出する請求項１〜４のいずれか１項に記載の入力装置。
【請求項６】
前記第２の算出部は、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャと、前記入力される画像に撮影されたジェスチャと、の相関を計算することにより、ジェスチャ認識スコアを算出する請求項１〜５のいずれか１項に記載の入力装置。
【請求項７】
前記第１の算出部は、操作対象装置へコマンドを入力するための音声として予め定められた音声のうち前記入力される音声と一致する音声の候補を複数、特定し、複数の候補それぞれについて音声認識スコアを算出し、
前記決定部は、前記複数の候補の音声認識スコアの最大値と、前記第１の閾値及び前記第２の閾値と、を比較する請求項１又は２に記載の入力装置。
【請求項８】
前記第２の算出部は、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャのうち前記入力される画像に撮影されたジェスチャと一致するジェスチャの候補を複数、特定し、複数の候補それぞれについてジェスチャ認識スコアを算出し、
前記決定部は、前記複数の候補のジェスチャ認識スコアの最大値と、前記第１の閾値及び前記第２の閾値と、を比較する請求項１又は２に記載の入力装置。
【請求項９】
操作対象装置へ入力するコマンドを操作者による音声及びジェスチャの両方に基づいて決定する入力方法であって、
操作者による音声が入力される音声入力工程と、
操作者によるジェスチャを撮影した画像が入力される画像入力工程と、
前記入力される音声に対して音声認識処理を行い、操作対象装置へコマンドを入力するための音声として予め定められた音声のうち該入力される音声と一致する音声の候補を特定し、該入力される音声が該特定した候補に一致する確からしさの指標である音声認識スコアを算出する第１の算出工程と、
前記入力される画像に対して画像認識処理を行い、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャのうち該入力される画像に撮影されたジェスチャと一致するジェスチャの候補を特定し、該入力される画像に撮影されたジェスチャが該特定した候補に一致する確からしさの指標であるジェスチャ認識スコアを算出する第２の算出工程と、
前記特定した候補に基づいて操作対象装置へ入力するコマンドを決定する決定工程と、を有し、
前記決定工程は、前記算出した音声認識スコア及びジェスチャ認識スコアのいずれか一方が所定の第１の閾値より小さい場合、他方の認識スコアに対応する候補のみに基づいて操作対象装置へ入力するコマンドを決定し、前記算出した音声認識スコア及びジェスチャ認識スコアの少なくとも一方が、前記第１の閾値より小さい所定の第２の閾値より小さい場合、前記特定した両方の候補を破棄し、前記特定した候補に基づく操作対象装置へ入力するコマンドの決定を行わないことを特徴とする入力方法。
【請求項１０】
前記決定工程では、前記算出した音声認識スコア及びジェスチャ認識スコアが両方とも前記第１の閾値より小さい場合、前記特定した候補を破棄し、前記特定した候補に基づく操作対象装置へ入力するコマンドの決定を行わないことを特徴とする請求項９に記載の入力方法。
【請求項１１】
操作対象装置へ入力するコマンドを操作者による音声及びジェスチャの両方に基づいて決定する入力方法であって、
操作者による音声が入力される音声入力工程と、
操作者によるジェスチャを撮影した画像が入力される画像入力工程と、
前記入力される音声に対して音声認識処理を行い、操作対象装置へコマンドを入力するための音声として予め定められた音声のうち該入力される音声と一致する音声の候補を特定し、該入力される音声が該特定した候補に一致する確からしさの指標である音声認識スコアを算出する第１の算出工程と、
前記入力される画像に対して画像認識処理を行い、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャのうち該入力される画像に撮影されたジェスチャと一致するジェスチャの候補を特定し、該入力される画像に撮影されたジェスチャが該特定した候補に一致する確からしさの指標であるジェスチャ認識スコアを算出する第２の算出工程と、
前記特定した候補に基づいて操作対象装置へ入力するコマンドを決定する決定工程と、を有し、
前記決定工程は、前記算出した音声認識スコアとジェスチャ認識スコアとの差の大きさが所定の第３の閾値より大きい場合、該音声認識スコアとジェスチャ認識スコアのうち大きい方に対応する候補のみに基づいて操作対象装置へ入力するコマンドを決定することを特徴とする入力方法。
【請求項１２】
前記決定工程では、前記算出した音声認識スコア及びジェスチャ認識スコアの少なくとも一方が、所定の第２の閾値より小さい場合、前記特定した両方の候補を破棄し、前記特定した候補に基づく操作対象装置へ入力するコマンドの決定を行わないことを特徴とする請求項１１に記載の入力方法。
【請求項１３】
前記第１の算出工程では、操作対象装置へコマンドを入力するための音声として予め定められた音声と、前記入力される音声と、の相関を計算することにより、音声認識スコア
を算出する請求項９〜１２のいずれか１項に記載の入力方法。
【請求項１４】
前記第２の算出工程では、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャと、前記入力される画像に撮影されたジェスチャと、の相関を計算することにより、ジェスチャ認識スコアを算出する請求項９〜１３のいずれか１項に記載の入力方法。
【請求項１５】
前記第１の算出工程では、操作対象装置へコマンドを入力するための音声として予め定められた音声のうち前記入力される音声と一致する音声の候補を複数、特定し、複数の候補それぞれについて音声認識スコアを算出し、
前記決定工程では、前記複数の候補の音声認識スコアの最大値と、前記第１の閾値及び前記第２の閾値と、を比較する請求項９又は１０に記載の入力方法。
【請求項１６】
前記第２の算出工程では、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャのうち前記入力される画像に撮影されたジェスチャと一致するジェスチャの候補を複数、特定し、複数の候補それぞれについてジェスチャ認識スコアを算出し、
前記決定工程では、前記複数の候補のジェスチャ認識スコアの最大値と、前記第１の閾値及び前記第２の閾値と、を比較する請求項９又は１０に記載の入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者による音声及びジェスチャに基づいて操作対象装置へ入力するコマンドを決定する入力装置及び方法に関する。
【背景技術】
【０００２】
近年、音声認識技術や画像認識技術等各種認識技術の発達により、音声やジェスチャ等の複数の入力手段を用いて操作対象装置にコマンドを入力することができる入力装置が提案されている。例えば、特許文献１には、操作者の音声及びジェスチャの内容に対応するコマンド候補のうち操作者の意図したコマンドに該当する確率が最も高いコマンドを操作対象装置に入力する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１８２６８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術では、常に操作者の音声及びジェスチャの内容に対応するコマンド候補の両方に基づいて操作対象装置に入力するコマンドを決定する。しかしながら、操作対象装置に対するコマンド入力を意図していない日常の会話や身振り手振り等が認識阻害要因となり、操作者による音声やジェスチャが正しく認識されないことがある。上記従来技術では、操作者の音声又はジェスチャのいずれかが認識阻害要因等のために正常に認識できない場合には、操作者が意図しないコマンドが誤って操作対象装置に入力されてしまう可能性があった。
【０００５】
そこで、本発明は、操作者による音声及びジェスチャに基づいて操作対象装置へ入力するコマンドを決定する入力装置において、操作者の意図しないコマンドが操作対象装置へ入力されることを抑制することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、操作対象装置へ入力するコマンドを操作者による音声及びジェスチャの両方に基づいて決定する入力装置であって、
操作者による音声が入力される音声入力部と、
操作者によるジェスチャを撮影した画像が入力される画像入力部と、
前記入力される音声に対して音声認識処理を行い、操作対象装置へコマンドを入力するための音声として予め定められた音声のうち該入力される音声と一致する音声の候補を特定し、該入力される音声が該特定した候補に一致する確からしさの指標である音声認識スコアを算出する第１の算出部と、
前記入力される画像に対して画像認識処理を行い、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャのうち該入力される画像に撮影されたジェスチャと一致するジェスチャの候補を特定し、該入力される画像に撮影されたジェスチャが該特定した候補に一致する確からしさの指標であるジェスチャ認識スコアを算出する第２の算出部と、
前記特定した候補に基づいて操作対象装置へ入力するコマンドを決定する決定部と、
を備え、
前記決定部は、前記算出した音声認識スコア及びジェスチャ認識スコアのいずれか一方が所定の第１の閾値より小さい場合、他方の認識スコアに対応する候補のみに基づいて操作対象装置へ入力するコマンドを決定し、前記算出した音声認識スコア及びジェスチャ認識スコアの少なくとも一方が、前記第１の閾値より小さい所定の第２の閾値より小さい場合、前記特定した両方の候補を破棄し、前記特定した候補に基づく操作対象装置へ入力するコマンドの決定を行わないことを特徴とする入力装置である。
【０００７】
また、本発明は、操作対象装置へ入力するコマンドを操作者による音声及びジェスチャの両方に基づいて決定する入力装置であって、
操作者による音声が入力される音声入力部と、
操作者によるジェスチャを撮影した画像が入力される画像入力部と、
前記入力される音声に対して音声認識処理を行い、操作対象装置へコマンドを入力するための音声として予め定められた音声のうち該入力される音声と一致する音声の候補を特定し、該入力される音声が該特定した候補に一致する確からしさの指標である音声認識スコアを算出する第１の算出部と、
前記入力される画像に対して画像認識処理を行い、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャのうち該入力される画像に撮影されたジェスチャと一致するジェスチャの候補を特定し、該入力される画像に撮影されたジェスチャが該特定した候補に一致する確からしさの指標であるジェスチャ認識スコアを算出する第２の算出部と、
前記特定した候補に基づいて操作対象装置へ入力するコマンドを決定する決定部と、
を備え、
前記決定部は、前記算出した音声認識スコアとジェスチャ認識スコアとの差の大きさが所定の第３の閾値より大きい場合、該音声認識スコアとジェスチャ認識スコアのうち大きい方に対応する候補のみに基づいて操作対象装置へ入力するコマンドを決定することを特徴とする入力装置である。
【０００８】
また、本発明は、操作対象装置へ入力するコマンドを操作者による音声及びジェスチャの両方に基づいて決定する入力方法であって、
操作者による音声が入力される音声入力工程と、
操作者によるジェスチャを撮影した画像が入力される画像入力工程と、
前記入力される音声に対して音声認識処理を行い、操作対象装置へコマンドを入力するための音声として予め定められた音声のうち該入力される音声と一致する音声の候補を特定し、該入力される音声が該特定した候補に一致する確からしさの指標である音声認識スコアを算出する第１の算出工程と、
前記入力される画像に対して画像認識処理を行い、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャのうち該入力される画像に撮影されたジェスチャと一致するジェスチャの候補を特定し、該入力される画像に撮影されたジェスチャが該特定した候補に一致する確からしさの指標であるジェスチャ認識スコアを算出する第２の算出工程と、
前記特定した候補に基づいて操作対象装置へ入力するコマンドを決定する決定工程と、を有し、
前記決定工程は、前記算出した音声認識スコア及びジェスチャ認識スコアのいずれか一方が所定の第１の閾値より小さい場合、他方の認識スコアに対応する候補のみに基づいて操作対象装置へ入力するコマンドを決定し、前記算出した音声認識スコア及びジェスチャ
認識スコアの少なくとも一方が、前記第１の閾値より小さい所定の第２の閾値より小さい場合、前記特定した両方の候補を破棄し、前記特定した候補に基づく操作対象装置へ入力するコマンドの決定を行わないことを特徴とする入力方法である。
【０００９】
また、本発明は、操作対象装置へ入力するコマンドを操作者による音声及びジェスチャの両方に基づいて決定する入力方法であって、
操作者による音声が入力される音声入力工程と、
操作者によるジェスチャを撮影した画像が入力される画像入力工程と、
前記入力される音声に対して音声認識処理を行い、操作対象装置へコマンドを入力するための音声として予め定められた音声のうち該入力される音声と一致する音声の候補を特定し、該入力される音声が該特定した候補に一致する確からしさの指標である音声認識スコアを算出する第１の算出工程と、
前記入力される画像に対して画像認識処理を行い、操作対象装置へコマンドを入力するためのジェスチャとして予め定められたジェスチャのうち該入力される画像に撮影されたジェスチャと一致するジェスチャの候補を特定し、該入力される画像に撮影されたジェスチャが該特定した候補に一致する確からしさの指標であるジェスチャ認識スコアを算出する第２の算出工程と、
前記特定した候補に基づいて操作対象装置へ入力するコマンドを決定する決定工程と、を有し、
前記決定工程は、前記算出した音声認識スコアとジェスチャ認識スコアとの差の大きさが所定の第３の閾値より大きい場合、該音声認識スコアとジェスチャ認識スコアのうち大きい方に対応する候補のみに基づいて操作対象装置へ入力するコマンドを決定することを特徴とする入力方法である。
【発明の効果】
【００１０】
本発明によれば、操作者による音声及びジェスチャに基づいて操作対象装置へ入力するコマンドを決定する入力装置において、操作者の意図しないコマンドが操作対象装置へ入力されることを抑制できる。
【図面の簡単な説明】
【００１１】
【図１】実施例１及び２のコマンド入力装置の概略構成を示すブロック図
【図２】実施例１で音声及びジェスチャが入力された際の処理を示すフロー図
【図３】実施例１における認識スコアに応じたコマンド決定方法を示す図
【図４】実施例２で音声及びジェスチャが入力された際の処理を示すフロー図
【図５】実施例２における認識スコアに応じたコマンド決定方法を示す図
【発明を実施するための形態】
【００１２】
（実施例１）
以下、図面を参照して本発明の具体的な実施の形態について説明する。以下の実施例は本発明を実施するための一例であって、本発明の範囲を限定する趣旨のものではない。
図１は、本発明の第１の実施例に係るコマンド入力装置１０１の概略構成を示すブロック図である。このコマンド入力装置１０１は、操作者による音声及びジェスチャの両方に基づいて操作対象装置１１０へ入力するコマンドを決定する入力装置である。本実施例に係るコマンド入力装置１０１を適用可能な操作対象装置１１０としては、テレビ、レコーダ、パーソナルコンピュータ、ゲーム機、メディアプレーヤ等、操作者の音声及びジェスチャによる操作指示に従って動作するよう構成された種々の機器を例示できる。例えば、操作対象装置がテレビ受信装置の場合、操作対象装置へ入力されるコマンドはチャンネルの切り換え、音量調整、画質調整、入力切り換え等を例示できる。
【００１３】
図１に示すように、コマンド入力装置１０１は、音声入力部１０２と、音声コマンド認識スコア判定部１０３と、音声コマンドデータベース１０４と、ジェスチャ入力部１０５と、ジェスチャコマンド認識スコア判定部１０６と、を有する。コマンド入力装置１０１は更に、ジェスチャコマンドデータベース１０７と、閾値比較部１０８と、コマンド決定部１０９と、を有する。なお、図１において破線で示した認識スコア差分判定部４０２、音声コマンド認識スコア判定部１０３及びジェスチャコマンド認識スコア判定部１０６か
ら該認識スコア差分判定部４０２への入力線は後述する実施例２に関する構成要素である。また、閾値比較部及びコマンド決定部における括弧書きの符号も、実施例２における参照符号であり、本実施例とは無関係である。
【００１４】
音声入力部１０２は、マイクロフォンにて操作者が発声した音声を集音し、音声信号に変換して音声コマンド認識スコア判定部１０３に出力する。
【００１５】
音声コマンド認識スコア判定部１０３は、入力された音声信号に対して音声認識処理を行い、操作者が発声した音声の内容を特定する。そして、その音声の内容に基づいて、操作対象装置１１０へコマンドを入力するための音声として予め定められた音声（音声コマンド）のうち、当該入力される音声と一致する音声コマンドの候補を複数抽出する。音声コマンドは音声コマンドデータベース１０４に予め記憶している。
【００１６】
音声コマンド認識スコア判定部１０３は、前記抽出した音声コマンド候補それぞれに対して、認識スコアを付与する。ここで、認識スコアとは、入力される音声が音声コマンドデータベース１０４に格納された音声コマンドに一致する確からしさ、すなわち一致度合の指標となる量である。例えば、音声コマンド認識スコア判定部１０３に入力される音声信号と、各音声コマンドの典型的な音声信号（予め記憶しておく）との相関を計算することにより、認識スコアを算出することができる。操作者の音声と音声コマンドとの一致の度合の指標となる量であればどのような方法で認識スコアを算出しても良い。
【００１７】
音声コマンドデータベース１０４は、音声コマンド認識スコア判定部１０３にて行う音声認識処理において用いる音声信号解析用のデータを格納している。本実施例では、音声コマンドデータベース１０４に格納されたデータを用いて音声コマンド候補の特定及び認識スコアの算出を行う音声コマンド認識スコア判定部１０３が、本発明の第１の算出部を構成する。
【００１８】
ジェスチャ入力部１０５は、カメラにて操作者が行うジェスチャを撮影し、画像信号に変換してジェスチャコマンド認識スコア判定部１０６に出力する。本実施例では、ジェスチャ入力部１０５が、本発明の画像入力部を構成する。
【００１９】
ジェスチャコマンド認識スコア判定部１０６は、入力された画像信号に対して画像認識処理を行い、操作者が行ったジェスチャの内容を特定する。そのジェスチャの内容に基づいて、操作対象装置１１０へコマンドを入力するためのジェスチャとして予め定められたジェスチャ（ジェスチャコマンド）のうち、当該入力される画像に撮影されたジェスチャと一致するジェスチャコマンドの候補を複数抽出する。ジェスチャコマンドはジェスチャコマンドデータベース１０７に予め記憶している。
【００２０】
ジェスチャコマンド認識スコア判定部１０６は、前記抽出したジェスチャコマンド候補それぞれに対して、認識スコアを付与する。ここで、認識スコアとは、入力される画像に撮影されたジェスチャがジェスチャコマンドデータベース１０７に格納されたジェスチャコマンドに一致する確からしさ、すなわち一致度合の指標となる量である。例えば、ジェスチャコマンド認識スコア判定部１０６に入力される画像信号と、各ジェスチャコマンドの典型的な画像信号（予め記憶しておく）との相関を計算することにより、認識スコアを算出することができる。操作者のジェスチャとジェスチャコマンドとの一致の度合の指標となる量であればどのような方法で認識スコアを算出しても良い。本実施例では、認識スコアとして、一致の度合が高いほど大きい数値が算出されるような量を用いる。
【００２１】
ジェスチャコマンドデータベース１０７は、ジェスチャコマンド認識スコア判定部１０６にて行う画像認識処理において用いる画像信号解析用のデータを格納している。本実施例では、ジェスチャコマンドデータベース１０７に記憶されたデータを用いてジェスチャコマンド候補の特定及び認識スコアの算出を行うジェスチャコマンド認識スコア判定部１０６が、本発明の第２の算出部を構成する。
【００２２】
閾値比較部１０８は、音声コマンド認識スコア判定部１０３から入力される音声コマンド候補毎の認識スコアの最大値と、予め記憶している所定の第１の閾値及び第２の閾値とを比較する。また、ジェスチャコマンド認識スコア判定部１０６から入力されるジェスチャコマンド候補毎の認識スコアの最大値と、前記第１の閾値及び第２の閾値と、を比較する。そして、比較結果をコマンド決定部１０９に出力する。比較の処理については後述する。
【００２３】
コマンド決定部１０９は、閾値比較部１０８から入力される比較結果に応じて、上記抽出した音声コマンド候補及びジェスチャコマンド候補に基づいて操作対象装置１１０へ入力するコマンドを決定する方法を以下の３つのうちから選択する。第１のコマンド決定方法では、音声コマンド候補及びジェスチャコマンド候補の両方に基づいて入力コマンドを決定する。第２のコマンド決定方法では、音声コマンド候補又はジェスチャコマンド候補の一方に基づいて入力コマンドを決定する。第３のコマンド決定方法では、音声コマンド候補及びジェスチャコマンド候補を破棄し、操作対象装置１１０へのコマンド入力を行わない。コマンド決定部１０９は、選択したコマンド決定方法により操作対象装置１１０へ入力するコマンドを決定する。本実施例では、閾値比較部１０８及びコマンド決定部１０９が、本発明における決定部を構成する。
【００２４】
図２は、本実施例において、音声入力部１０２及びジェスチャ入力部１０５への音声及びジェスチャの入力を契機として開始される処理を示すフローチャートである。
【００２５】
Ｓ２０１において、音声入力部１０２から音声コマンド認識スコア判定部１０３に音声信号が入力され、ジェスチャ入力部１０５からジェスチャコマンド認識スコア判定部１０６にジェスチャを撮影した画像信号が入力されると、Ｓ２０２に遷移する。
【００２６】
Ｓ２０２において、音声コマンド認識スコア判定部１０３は、入力された音声信号に基づいて音声コマンド候補を抽出し、抽出した音声コマンド候補それぞれについて認識スコアを算出し、Ｓ２０３に遷移する。
【００２７】
Ｓ２０３において、閾値比較部１０８は、Ｓ２０２で算出した音声コマンド候補毎の認識スコアの最大値と、予め記憶している第１の閾値（例えば５０％）とを比較し、認識スコアの最大値が第１の閾値以上の場合には、Ｓ２０４に遷移する。一方、認識スコアの最大値が第１の閾値より小さい場合には、Ｓ２０５に遷移する。
ここで、第１の閾値は、抽出したコマンド候補が、それに基づいて操作対象装置１１０へ入力するコマンドを決定し得るほどの確からしさを有するものか判断するための認識スコアの基準値である。第１の閾値は、実験等により最適値を求めて予め記憶しておく。本実施例で示した５０％という数値は一例であって、第１の閾値として最適な数値は実施の形態に応じて異なり得る。
コマンド候補毎に算出される認識スコアの最大値が第１の閾値以上であれば、当該コマンド候補はそれに基づいて入力コマンドを決定し得るほどの確からしさを有すると判断する。一方、認識スコアの最大値が第１の閾値未満であれば、抽出されたコマンド候補はそれに基づいて入力コマンドを決定し得るほどの確からしさを有しないと判断する。
【００２８】
Ｓ２０４において、閾値比較部１０８は、音声入力に基づいて抽出した音声コマンド候補を操作対象装置１１０へ入力するコマンドの決定に用いることをコマンド決定部１０９に通知して、Ｓ２０７に遷移する。
【００２９】
Ｓ２０５において、閾値比較部１０８は、Ｓ２０２で算出した音声コマンド候補毎の認識スコアの最大値と、予め記憶している第２の閾値（例えば５％）とを比較し、認識スコアの最大値が第２の閾値以上の場合には、Ｓ２０６に遷移する。一方、認識スコアの最大値が第２の閾値より小さい場合には、Ｓ２１２に遷移する。
ここで、第２の閾値は、操作者が操作対象装置１１０へのコマンドの入力を意図して発声やジェスチャを行っているのか、また、音声やジェスチャの認識に関して著しい認識阻害要因が存在するか、を判断するための認識スコアの基準値である。第２の閾値は、実験等により最適値を求めて予め記憶しておく。本実施例で示した５％という数値は一例であって、第２の閾値として最適な数値は実施の形態に応じて異なり得る。
コマンド候補毎に算出される認識スコアの最大値が第２の閾値以上であれば、操作者は操作対象装置１１０へのコマンド入力を意図して発声やジェスチャを行っており、また、著しい認識阻害要因は無いと判断する。一方、認識スコアの最大値が第２の閾値未満であれば、入力された音声信号や画像信号は、操作者が操作対象装置１１０へのコマンド入力を意図して行った発声やジェスチャを捉えたものではないか、又は、著しい認識阻害要因が存在すると判断する。このような場合、音声及びジェスチャに基づいて操作対象装置１１０へ入力するコマンドを決定しない。
【００３０】
Ｓ２０６において、閾値比較部１０８は、音声入力に基づいて抽出した音声コマンド候補を操作対象装置１１０へ入力するコマンドの決定に用いないことをコマンド決定部１０９に通知して、Ｓ２０７に遷移する。
【００３１】
Ｓ２０７において、ジェスチャコマンド認識スコア判定部１０６は、入力された画像信号に基づいてジェスチャコマンド候補を抽出し、抽出したジェスチャコマンド候補それぞれについて認識スコアを算出し、Ｓ２０８に遷移する。
【００３２】
Ｓ２０８において、閾値比較部１０８は、Ｓ２０７で算出したジェスチャコマンド候補毎の認識スコアの最大値と、予め記憶している第１の閾値（５０％）とを比較し、認識スコアの最大値が第１の閾値以上の場合には、Ｓ２０９に遷移する。一方、認識スコアの最大値が第１の閾値より小さい場合には、Ｓ２１０に遷移する。
【００３３】
Ｓ２０９において、閾値比較部１０８は、ジェスチャ入力に基づいて抽出したジェスチャコマンド候補を操作対象装置１１０へ入力するコマンドの決定に用いることをコマンド決定部１０９に通知して、Ｓ２１３に遷移する。
【００３４】
Ｓ２１０において、閾値比較部１０８は、Ｓ２０７で算出したジェスチャコマンド候補毎の認識スコアの最大値と、予め記憶している第２の閾値（５％）とを比較し、認識スコアの最大値が第２の閾値以上の場合には、Ｓ２１１に遷移する。一方、認識スコアの最大値が第２の閾値より小さい場合には、Ｓ２１２に遷移する。
【００３５】
Ｓ２１１において、閾値比較部１０８は、ジェスチャ入力に基づいて抽出したジェスチャコマンド候補を操作対象装置１１０へ入力するコマンドの決定に用いないことをコマンド決定部１０９に通知して、Ｓ２１３に遷移する。
なお、本実施例では、音声コマンド候補の認識スコアについての第１の閾値及び第２の閾値をジェスチャコマンド候補の認識スコアについての閾値としてそのまま用いる場合を例示したが、ジェスチャコマンド候補の認識スコアについての閾値を別途定めても良い。
【００３６】
Ｓ２１２において、閾値比較部１０８は、音声入力に基づいて抽出した音声コマンド候補及びジェスチャ入力に基づいて抽出したジェスチャコマンド候補を破棄する。これは、各コマンド候補の認識スコアが第２の閾値よりも小さいことから、操作者はコマンド入力
のための音声及びジェスチャを行っていないか、又は著しい認識阻害要因が存在すると判断できるからである。
【００３７】
Ｓ２１３において、コマンド決定部１０９は、閾値比較部１０８から通知されたコマンド決定方法に基づいて、操作対象装置１１０へ入力するコマンドを決定する。
音声コマンド候補及びジェスチャコマンド候補の両方を用いて入力コマンドを決定する場合（Ｓ２０４且つＳ２０９を実行した場合）は、両者で共通するコマンド候補について認識スコアを積算し、その値が最も大きいコマンド候補を入力コマンドとして決定する。
また、音声コマンド候補又はジェスチャコマンド候補のいずれか一方を用いて入力コマンドを決定する場合（Ｓ２０４且つＳ２１１を実行又はＳ２０６且つＳ２０９を実行した場合）は、該一方のコマンド候補のうちの認識スコアが最大のものを入力コマンドとする。
また、音声コマンド候補及びジェスチャコマンド候補の両方とも用いないと通知された場合（Ｓ２０６且つＳ２１１を実行した場合）は、Ｓ２１２と同様両コマンド候補を破棄し、操作対象装置１１０へコマンドを入力しない。
【００３８】
なお、上記のフローチャートでは、音声コマンド候補の抽出、認識スコア算出、閾値との比較、コマンド決定に用いるか否かの判定処理（Ｓ２０２からＳ２０６）の後に、ジェスチャコマンド候補についての同様の処理（Ｓ２０７からＳ２１１）を行う例を示した。しかしながら、この処理に関して音声入力についての処理とジェスチャ入力についての処理は順不同であり、ジェスチャ入力についての処理が先でも良い。また、音声入力についての処理及びジェスチャ入力に関する処理を並行して行っても良い。
【００３９】
図３は、上述した認識スコアに応じたコマンド決定方法を示す図である。図３に示すように、音声認識スコア及びジェスチャ認識スコアの両方が第１の閾値以上の場合には、音声コマンド候補及びジェスチャコマンド候補の両方を用いて入力コマンドを決定する。この場合、音声認識スコア及びジェスチャ認識スコアが高いため、操作者がコマンド入力のために音声及びジェスチャの両方を行っており、且つ、認識阻害要因がない状態と判断できるからである。
【００４０】
また、音声認識スコア及びジェスチャ認識スコアの一方が第１の閾値以上であり、且つ他方が第２の閾値以上第１の閾値未満である場合は、当該一方の認識スコアに対応する候補に基づいて入力コマンドを決定する。この場合、音声又はジェスチャの一方の認識スコアが低いため、操作者はコマンド入力のための音声及びジェスチャの両方を行っているものの、音声又はジェスチャの一方に関して認識阻害要因があると判断できるからである。
【００４１】
また、音声認識スコア及びジェスチャ認識スコアの少なくとも一方が第２の閾値より小さい場合は、音声コマンド候補及びジェスチャコマンド候補を破棄し、コマンド入力を行わない。この場合、音声又はジェスチャの一方の認識スコアが非常に低いため、操作者が音声又はジェスチャの他方でのみコマンド入力を行ったか、又は、当該他方によるコマンド入力は操作者の日常の会話や所作等を誤認識したものと判断できるからである。なお、音声認識スコア及びジェスチャ認識スコアの両方が第２の閾値以上第１の閾値未満である場合も、同様に判断して音声コマンド候補及びジェスチャコマンド候補を破棄する。
【００４２】
本実施例に係るコマンド入力装置１０１によれば、認識阻害要因によって音声コマンド候補又はジェスチャコマンド候補のいずれか一方の認識スコアが低下した場合に、当該一方のコマンド候補を用いずに入力コマンドを決定する。従って、認識阻害要因によって操作者の意図と異なるコマンドが認識されても、それが操作対象装置１１０への入力コマンドとして決定されることを抑制できる。
また、音声コマンド候補又はジェスチャコマンド候補の認識スコアがいずれか一方でも
著しく低い場合には、操作者が行っている発声又はジェスチャはコマンド入力のための発声又はジェスチャとして正しくないと判断する。或いは、そもそも操作者はコマンド入力のための発声及びジェスチャ自体を行っていないと判断する。そして、音声及びジェスチャに基づく操作対象装置１１０へのコマンド入力を行わない。従って、操作者が操作対象装置１１０へのコマンドの入力を意図していない場合に、操作者の意図していないコマンドが操作対象装置１１０へ入力されてしまうことを抑制できる。
【００４３】
なお、上記本実施例で説明した、音声認識スコア又はジェスチャ認識スコアの少なくとも一方が第２の閾値未満であれば特定したコマンド候補を全て破棄する処理は、必ずしも行わなくても良い。また、入力される音声信号や画像信号に基づいて複数のコマンド候補を特定する例について説明したが、コマンド候補は複数でなくても良い。コマンド候補が１つのみの場合は、上記実施例における最大値を、当該特定した１つのコマンド候補の認識スコアに読み替えればよい。
【００４４】
（実施例２）
次に、本発明の第２の実施例について説明する。実施例１では音声及びジェスチャのコマンド候補の認識スコアを閾値と直接比較した結果に基づいてコマンド決定方法を選択したが、実施例２では音声及びジェスチャのコマンド候補の認識スコアの差分を閾値と比較した結果に基づいてコマンド決定方法を選択する。
【００４５】
以下、実施例１と異なる部分を中心に詳細に説明する。実施例２に係るコマンド入力装置の構成は、実施例１のコマンド入力装置１０１に、図１で破線で示した認識スコア差分判定部４０２及び認識スコア差分判定部４０２に関する入出力線を追加した構成である。
【００４６】
閾値比較部４０１は、音声コマンド認識スコア判定部１０３から入力される音声コマンド候補毎の認識スコアの最大値と、予め記憶している第２の閾値とを比較する。また、ジェスチャコマンド認識スコア判定部１０６から入力されるジェスチャコマンド候補毎の認識スコアの最大値と、予め記憶している第２の閾値とを比較する。そして、比較結果をコマンド決定部４０３に出力する。ここで、第２の閾値は、実施例１で説明した第２の閾値と同じものである。
【００４７】
認識スコア差分判定部４０２は、音声コマンド認識スコア判定部１０３から入力されるコマンド候補毎の認識スコアの最大値と、ジェスチャコマンド認識スコア判定部１０６から入力されるコマンド候補毎の認識スコアの最大値と、の差分を算出する。そして、算出結果をコマンド決定部４０３に出力する。
【００４８】
コマンド決定部４０３は、閾値比較部４０１から入力される比較結果と、認識スコア差分判定部４０２から入力される差分と、に応じて、操作対象装置１１０へ入力するコマンドを決定する方法を実施例１で説明した３つの方法のうちから選択する。
【００４９】
図４は、本実施例において、音声入力部１０２及びジェスチャ入力部１０５への音声及びジェスチャの入力を契機として開始される処理を示すフローチャートである。
【００５０】
Ｓ５０１及びＳ５０２は、実施例１のＳ２０１及びＳ２０２と同一の処理のため、説明を省略する。
【００５１】
Ｓ５０３において、閾値比較部４０１は、Ｓ５０２で算出した音声コマンド候補毎の認識スコアの最大値と、予め記憶している第２の閾値（例えば５％）とを比較し、認識スコアの最大値が第２の閾値以上の場合には、Ｓ５０５に遷移する。一方、認識スコアの最大値が第２の閾値より小さい場合には、Ｓ５０４に遷移する。
【００５２】
Ｓ５０４において、音声コマンド候補の認識スコアが第２の閾値よりも小さいため、操作者はコマンド入力のための発声を行っていないか、又は音声認識に関して著しい認識阻害要因があると判断して、音声コマンド候補を破棄する。
【００５３】
Ｓ５０５の処理は、実施例１のＳ２０７と同一の処理のため、説明を省略する。
【００５４】
Ｓ５０６において、閾値比較部４０１は、Ｓ５０５で算出したジェスチャコマンド候補毎の認識スコアの最大値と、予め記憶している第２の閾値（５％）とを比較し、認識スコアの最大値が第２の閾値以上の場合には、Ｓ５０７に遷移する。一方、認識スコアの最大値が第２の閾値より小さい場合には、Ｓ５０４に遷移する。
【００５５】
Ｓ５０４において、ジェスチャコマンド候補の認識スコアが第２の閾値よりも小さいため、操作者はジェスチャによるコマンド入力を行っていないと判断して、ジェスチャコマンド候補を破棄する。
【００５６】
Ｓ５０７において、認識スコア差分判定部４０２は、Ｓ５０２で算出した音声コマンド候補毎の認識スコアの最大値と、Ｓ５０５で算出したジェスチャコマンド候補毎の認識スコアの最大値と、の差分を算出する。そして、当該算出された差分の絶対値が第３の閾値（例えば５０％）以下である場合は、Ｓ５０８に遷移し、差分の絶対値が第３の閾値（５０％）より大きい場合は、Ｓ５０９に遷移する。
第３の閾値は、抽出された音声コマンド候補又はジェスチャコマンド候補のいずれかが、それに基づいて操作対象装置１１０へ入力するコマンドを決定し得るほどの確からしさを有しないか判断するための基準値であり、実験等により最適値を求めて記憶しておく。本実施例で示した５０％という数値は一例であって、第３の閾値として最適な数値は実施の形態に応じて異なり得る。
音声コマンド候補の認識スコアの最大値とジェスチャコマンド候補の認識スコアの最大値との差分の絶対値が第３の閾値以下であれば、両コマンド候補はいずれもそれに基づいて入力コマンドを決定し得る確からしさを有すると判断する。一方、当該差分の絶対値が第３の閾値より大きい場合、両コマンド候補のいずれか一方は認識スコアがかなり低く、当該一方のコマンド候補はそれに基づいて入力コマンドを決定し得る確からしさを有さないと判断する。
【００５７】
Ｓ５０８において、認識スコア差分判定部４０２は、音声コマンド候補及びジェスチャコマンド候補の両方に基づいて操作対象装置１１０へ入力するコマンドを決定することをコマンド決定部４０３に通知して、Ｓ５１０に遷移する。
【００５８】
Ｓ５０９において、認識スコア差分判定部４０２は、音声コマンド候補又はジェスチャコマンド候補のうち認識スコアの最大値が大きい方に基づいて操作対象装置１１０へ入力するコマンドを決定することをコマンド決定部４０３に通知して、Ｓ５１０に遷移する。
【００５９】
Ｓ５１０において、コマンド決定部４０３は、認識スコア差分判定部４０２から通知されたコマンド決定方法に基づいて、操作対象装置１１０へ入力するコマンドを決定する。
音声コマンド候補及びジェスチャコマンド候補の両方を用いて入力コマンドを決定する場合（Ｓ５０８を実行した場合）は、両者で共通するコマンド候補について認識スコアを積算し、その値が最も大きいコマンド候補を入力コマンドとして決定する。
また、音声コマンド候補又はジェスチャコマンド候補のいずれか一方を用いて入力コマンドを決定する場合（Ｓ５０９を実行した場合）は、該一方のコマンド候補のうちの認識スコアが最大のものを入力コマンドとして決定する。
【００６０】
なお、上記のフローチャートでは、音声コマンド候補の抽出、認識スコア算出及び第２の閾値との比較の処理（Ｓ５０２からＳ５０３）の後に、ジェスチャコマンド候補についての同様の処理（Ｓ５０５からＳ５０６）を行う例を示した。しかしながら、この処理に関して音声入力についての処理とジェスチャ入力についての処理は順不同であり、ジェスチャ入力についての処理が先でも良い。また、音声入力についての処理及びジェスチャ入力に関する処理を並行して行っても良い。
【００６１】
図５は、上述した認識スコアに応じたコマンド決定方法を示す図である。図５に示すように、音声コマンド候補の認識スコアの最大値又はジェスチャコマンド候補の認識スコアの最大値の少なくとも一方が第２の閾値より小さい場合は、音声コマンド候補及びジェスチャコマンド候補を破棄し、コマンド入力を行わない。この点は実施例１と同様である。
【００６２】
それ以外の場合であって、音声コマンド候補の認識スコアの最大値とジェスチャコマンド候補の認識スコアの最大値との差分の絶対値が第３の閾値（５０％）以下の場合には、音声コマンド候補及びジェスチャコマンド候補の両方を用いて入力コマンドを決定する。この場合、音声コマンド候補及びジェスチャコマンド候補の認識スコアの偏りが小さいことから、操作者は音声及びジェスチャの両方でコマンド入力を行っており、且つ認識阻害要因もないと判断できるからである。
【００６３】
一方、音声コマンド候補の認識スコアの最大値とジェスチャコマンド候補の認識スコアの最大値との差分の絶対値が第３の閾値より大きい場合には、認識スコアの最大値の大きい方に対応するコマンド候補を用いて入力コマンドを決定する。この場合、音声コマンド候補及びジェスチャコマンド候補の一方の認識スコアが低いことから、操作者は音声及びジェスチャの両方でコマンド入力を行っているものの、音声又はジェスチャの一方の認識に関して認識阻害要因があると判断できるからである。
【００６４】
本実施例に係るコマンド入力装置１０１によれば、認識阻害要因によって音声コマンド候補又はジェスチャコマンド候補のいずれかの認識スコアが低下したことを、両コマンド候補の認識スコアの最大値の差分に基づいて判断することができる。そして、操作対象装置１１０へ入力するコマンドの決定において、認識阻害要因によって認識スコアが低下した方のコマンド候補を用いない。従って、実施例１と同様に、認識阻害要因によって操作者の意図と異なるコマンドが認識されても、それが操作対象装置１１０への入力コマンドとして決定されることを抑制できる。
また、音声コマンド候補又はジェスチャコマンド候補の少なくとも一方でも認識スコアが著しく低い場合には、操作者が行っている発声又はジェスチャはコマンド入力のための発声又はジェスチャとして正しくないと判断する。或いは、そもそも操作者はコマンド入力のための発声及びジェスチャ自体を行っていないと判断する。そして、音声及びジェスチャに基づく操作対象装置１１０へのコマンド入力を行わない。従って、操作者が操作対象装置１１０へのコマンドの入力を意図していない場合に、操作者の意図しないコマンドが操作対象装置１１０へ入力されてしまうことを抑制できる。
【符号の説明】
【００６５】
１０２：音声入力部、１０５：ジェスチャ入力部、１０３：音声コマンド認識スコア判定部、１０６：ジェスチャコマンド認識スコア判定部、１０８：閾値比較部、１０９：コマンド決定部
【図１】
0005430382.tif 000002
【図２】
0005430382.tif 000003
【図３】
0005430382.tif 000004
【図４】
0005430382.tif 000005
【図５】
0005430382.tif 000006