(57)【要約】【課題】選出したコマンドがユーザの所望のコマンドでなかった場合に行う修正作業である画面操作に伴う労力を軽減するコマンド処理装置を提供する。【解決手段】音声認識処理部２がユーザによって入力される入力データに対して語彙認識を行って算出した認識結果について、音響モデルや言語モデルに従って結果が出現する場合に逆に入力データから見て音響モデルや言語モデルを推測する尤もらしさである尤度を算出し、当該尤度に基づき確からしいコマンド候補である中間コマンドを選出するコマンド選出部３と、ユーザが操作を誤った際の操作を操作コストと定義し、コマンド間の操作に伴う操作コストを記憶する操作コストデータベースメモリ７と、操作コストに基づいて算出される評価値を最小化するコマンドを中間コマンドから選択する尤度補正部４を備える。【選択図】図６
2011221293.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによって入力される入力データに対して語彙認識を行って、確からしい語彙を認識結果として出力する認識処理部と、
前記認識結果について、モデルに従って結果が出現する場合に逆に前記入力データから見て前記モデルを推測する尤もらしさである尤度を算出し、当該尤度に基づき確からしいコマンド候補である中間コマンドを選出するコマンド選出部と、
ユーザが操作を誤った際の操作を操作コストと定義し、コマンド間の操作に伴う操作コストを記憶する操作コストデータベースメモリと、
前記操作コストに基づいて算出される評価値を最小化するコマンドを前記中間コマンドから選択する尤度補正部とを備えたことを特徴とするコマンド処理装置。
【請求項２】
操作コストおよび中間コマンドの尤度を参照し、前記中間コマンドから尤度補正部に出力すべき中間コマンドを選択するコマンド選択部を備えたことを特徴とする請求項１記載のコマンド処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声により入力された操作コマンドに応じて処理を実行するコマンド処理装置に関するものである。
【背景技術】
【０００２】
従来より、ナビゲーション装置などの画面操作と音声操作を有するマルチモーダルの情報機器が開発されている。画面操作は、画面の遷移関係が機器の特定の機能に対応付けられているコマンドの階層構造に沿って作成されている。このため、操作を進めることでユーザの所望のコマンドに徐々に近づき実行することができる。ただし、１回の画面遷移につき１回の画面操作を行う必要があり、コマンドによっては実行に複数回の操作が必要になり不便である。音声操作はコマンドによらず１回の発声で実行可能であり、画面操作の不便さを補うことが可能である。しかし、誤認識によりユーザの所望のコマンドとは異なるコマンドを実行する場合がある。
【０００３】
音声認識処理により得られた語彙からコマンドに写像するコマンド処理装置は、音声認識の分野で利用されており、様々な語彙で機器を操作するのに有効である。例えば特許文献１に開示されたコマンド処理装置では、音声認識で認識したユーザが発声した音響的・言語的に最も確からしい語彙に基づいて、コマンドの選出を行っている。また、特許文献２に開示されたコマンド処理装置では、最も確からしい語彙に基づいて、コマンドと関連語句情報が関連付けられた変換データベースを用いて、以下の式（１）に示すように、最も確からしいコマンドの選出を行っている。
2011221293.tif 000003
なお、式（１）において、Ｃはコマンド、Ｘは入力音声、Ｐ（Ｃ）はコマンドごとの事前に判明している出現確率、Ｐ（Ｘ｜Ｃ）は事前の学習された確率モデルに基づく入力音声の尤度である。ａｒｇ  ｍａｘは要素の中で最大の値の要素を返す関数として与えられるものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−５０２９１号公報
【特許文献２】国際公開ＷＯ２００７／１１４２２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来のコマンド処理装置は以上のように構成されているので、コマンドの選出を式（１）に基づいて行い、尤度Ｐ（Ｘ｜Ｃ）１位のコマンドを実行するか、尤度上位の複数のコマンド候補を提示してユーザに選択させるため、複数のコマンド候補を提示する場合、尤度に基づいて決定するため、機能の内容として全く異なるコマンド候補を複数提示し、ユーザを混乱させる場合があるという課題があった。この問題は特に機能が複雑になった場合に起こる。
さらに、誤認識が生じた場合に、ユーザにどのように遷移をさせたらいいかわかるような階層的に近いコマンドを選出することができず、修正作業に多大な労力をかけさせてしまうという課題があった。
【０００６】
この発明は、上記のような課題を解決するためになされたもので、コマンドの階層関係も考慮してコマンドを選出することにより、選出したコマンドがユーザの所望のコマンドでなかった場合に行う修正作業である画面操作に伴う労力を軽減することを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係るコマンド処理装置は、ユーザによって入力される入力データに対して語彙認識を行って、確からしい語彙を認識結果として出力する認識処理部と、認識結果について、モデルに従って結果が出現する場合に逆に入力データから見て当該モデルを推測する尤もらしさである尤度を算出し、当該尤度に基づき確からしいコマンド候補である中間コマンドを選出するコマンド選出部と、ユーザが操作を誤った際の操作を操作コストと定義し、コマンド間の操作に伴う操作コストを記憶する操作コストデータベースメモリと、操作コストに基づいて算出される評価値を最小化するコマンドを中間コマンドから選択する尤度補正部を備えるように構成したものである。
【発明の効果】
【０００８】
この発明によれば、認識処理部がユーザによって入力される入力データに対して語彙認識を行って算出した認識結果について、モデルに従って結果が出現する場合に逆に入力データから見て当該モデルを推測する尤もらしさである尤度を算出し、当該尤度に基づき確からしいコマンド候補である中間コマンドを選出するコマンド選出部と、ユーザが操作を誤った際の操作を操作コストと定義し、コマンド間の操作に伴う操作コストを記憶する操作コストデータベースメモリと、操作コストに基づいて算出される評価値を最小化するコマンドを中間コマンドから選択する尤度補正部を備えるように構成したので、コマンドの階層関係を考慮してコマンドを選出することができ、選出したコマンドの修正作業である画面操作に伴う労力を軽減することができる。
【図面の簡単な説明】
【０００９】
【図１】この発明のコマンド処理における階層関係の一例を示す説明図である。
【図２】この発明のコマンド処理における画面操作に基づく操作コストを表したデータベースを示す図である。
【図３】この発明のコマンド処理における操作コストの平均値の一例を示す説明図である。
【図４】この発明のコマンド処理における階層関係の一例を示す説明図である。
【図５】この発明のコマンド処理における操作コストの期待値の算出を示す説明図である。
【図６】この発明の実施の形態１によるコマンド処理装置の構成を示すブロック図である。
【図７】この発明の実施の形態１によるコマンド処理装置の動作を示すフローチャートである。
【図８】この発明の実施の形態１によるコマンド処理装置の変換データベースの一例を示す説明図である。
【図９】この発明の実施の形態２によるコマンド処理装置の動作を示すブロック図である。
【図１０】この発明の実施の形態２によるコマンド処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
本発明では、コマンド処理装置において、誤認識が生じた場合の修正を考慮して画面操作に基づく操作コストを定義し、操作コストの平均値（評価値）を最小化するようにコマンド選出を行うことを特徴とする。本発明の説明では、まず画面操作に基づくコマンドの階層関係図と操作コストとについて説明を行い、次に操作コストに基づき操作コストの平均値を最小化する音声コマンドの選定手順について説明を行う。
【００１１】
図１は、この発明による操作コストデータベースのコマンド間の階層関係の一例を示す説明図である。
画面操作に基づくコマンドは、操作画面を提示し、ユーザが画面中から選択する操作を繰り返し行うことで画面遷移し、最終的に所望のコマンドを実行するものである。下位ノードを持つ中間ノードは、コマンド分類を表す選択画面を表し、末端ノードは特定のコマンドを表す。ユーザは、初期ノードＦ０から画面操作により中間ノードＦ１０およびＦ２０を経て、末端ノードＦ１１〜Ｆ１３およびＦ２１〜Ｆ２３に対応付けられた特定のコマンドを実行する。一方、音声操作では直接コマンドに相当する発話を行うことで、初期ノードＦ０から末端のコマンドである末端ノードＦ１１〜Ｆ１３およびＦ２１〜Ｆ２３を実行することができる。
【００１２】
次に、操作コストデータベースについて説明を行う。画面操作に基づいて操作を行う場合、ユーザは画面の提示内容を確認し、メニューの選択を繰り返す。もし、誤って所望の操作以外を選択した場合は上位階層に戻り別メニューの選択を行う必要がある。操作コストは、画面遷移に対応付けられ、具体的には平均的な操作時間に対応付けられるものである。この画面操作ごとに発生するコストを図２を用いて説明する。図２は、画面操作に基づく操作コストをデータベースとして表した図であり、具体的には図１で示したコマンド間の移動に伴って発生する操作コストをデータベースに表している。
【００１３】
階層Ｎｏは初期ノードであれば「０」、中間ノードであれば「１」、末端ノードであれば「２」というように、下の階層に移動すればするほど値が増加する。対応するコマンドＩＤ、コマンド名称も合せて記載している。コマンド間の移動にかかる操作コストも記載しており、例えば、コマンドＦ１１からＦ１２の移動にかかる操作コストは、まずＦ１１からＦ１０に戻る操作コスト「１」、Ｆ１０からＦ１２へ進む操作コスト「１」が発生するため、操作コストの期待値は全部で操作回数２×Ｆ１２の尤度６で「１２」と算出される。
【００１４】
図２において、例えば、後述するコマンド選出部３から出力されるコマンドが「ＴＯＬＬ＿ＦＩＲＳＴ＿ＲＯＵＴＥ」、「ＲＥＣＯＭＭＥＮＤＥＤ＿ＲＯＵＴＥ」および「ＳＨＯＲＴＥＳＴ＿ＲＯＵＴＥ」で全て同じ、あるいは近似した尤度であった場合、以下の条件で以下の式（２）から最適なコマンドを求める。
＜条件＞
・最も単純に一回の操作（コマンド間の一回の移動）を操作コスト「１」として計算。
・Ｆ１０はスコアが「３」、Ｆ１１、Ｆ１２のスコアが「６」、Ｆ１３のスコアが「５」とする。
式（２）は操作コストの平均値を算出し、この値が最小のコマンドを最終コマンドＣ＾として出力する式で、以下のように表わされる。
2011221293.tif 000004
【００１５】
なお、式（２）において、ＣおよびＣ´は個々の音声コマンド、Ｘは入力音声である。またｌ（）は括弧内の辞書の遷移に伴って発生する操作コストを返す関数である損失関数、Ｐ（Ｃ´｜Ｘ）は音声Ｘが観測された場合にコマンドＣ´である尤度である。ａｒｇ  ｍｉｎは要素の中で最小の値の要素を返す関数である。式（２）は、式（１）にベイズの決定理論における損失関数ｌを考慮した場合に相当し、式（３）の条件では式（４）に変形できるため、式（１）と等しい。ベイズ決定理論については参考文献１に記載されている。
【００１６】
2011221293.tif 000005
2011221293.tif 000006
【００１７】
参考文献１．
飯島泰造：パターン認識理論，基礎情報工学シリーズ６，森北出版（１９８９）
【００１８】
図３は、式（２）を用いて算出された、各コマンドがユーザの所望のコマンド、即ち正解コマンドである場合の操作コストの平均値を示す図である。この図３を参照し、操作コストの平均値が最小となるＦ１０が最終的にコマンドとして出力される。
この例では、ユーザの所望ではないコマンドの選択が行われず、中間ノードでユーザに選択肢を提示し、次の操作で所望のコマンドを選択することが可能となり、操作コストを抑制することができる。また、ユーザの発声が曖昧である場合は常に中間ノードに移動する従来の技術と比較して、比較的近いコマンドが存在する場合はそのコマンドを提示することでユーザの操作コストを軽減する。
【００１９】
なお、Ｆ１１とＦ２１が曖昧である可能性が少ない場合等を考慮して、全コマンドに関して操作コストの平均値を求めるのではなく、特定のグループ（図４に示すコマンド間の階層関係の例で示すＦ１０〜Ｆ１３のグループ）に限定して操作コストの平均値を求めることも可能である。なお、具体的な構成については実施の形態２において記載する。
【００２０】
また、式（２）は式（５）に示すように操作コストの期待値や尤度の重みを変更することも可能である。
2011221293.tif 000007
【００２１】
なお、式（５）において、ＣおよびＣ´は個々の音声コマンド、Ｘは入力音声である。また、ｌ（）は括弧内の事象の遷移に伴い発生する操作コストの期待値を返す関数である損失関数、Ｐ（Ｃ´｜Ｘ）は音声Ｘが観測された場合にコマンドＣ´である尤度である。ａｒｇ  ｍｉｎは要素の中で最小の値の要素を返す関数、λ1は操作コストの重み、λ2は尤度の重みとして与えられるものである。図５に示すように、式（１）と式（２）で操作コストの重みλ1が０の場合は同一の最終コマンドＣ＾が出力される。
【００２２】
なお、上述の例では、一回の画面操作につき操作コストが「１」発生する場合を例に説明したが、同階層の機能を選択する際に発生するコストである認知コスト、誤認識の起こりやすさから発生するコストである誤認識のコスト、上位機能へ戻れない場合のコストである戻るコスト、メニュー画面等に戻り再度同じ階層をたどるコストである再選択コストなどを単独あるいは複合的に用いて操作コストを算出してもよい。
なお、上述の例では、音声認識処理の結果得られる認識結果を対象にコマンドを選出すると説明したが、テキスト入力の結果得られるテキストに基づきコマンドを選出してもよい。
【００２３】
実施の形態１．
次に、上述したコマンド処理を行うコマンド処理装置について説明を行う。図６は、この発明の実施の形態１によるコマンド処理装置の構成を示すブロック図である。
コマンド処理装置１０は、音声入力部１、音声認識処理部（認識処理部）２、コマンド選出部３、尤度補正部４、認識辞書データベースメモリ５、変換データベースメモリ６および操作コストデータベースメモリ７で構成されている。
【００２４】
音声入力部１は、ユーザによって発声される音声を入力し、この音声に対してＡ／Ｄ変換を行って音声データを出力する。音声認識処理部２は、音声入力部１から出力される音声データを入力し、認識辞書データベースメモリ５を参照し、この音声データに対して語彙の認識を行って、認識結果を出力する。この際、音声認識処理部２は最も確からしい語彙を第１候補として予想され得る語彙を例えば第５候補まで求めて確からしい順に並べた候補リストとそれぞれの候補の確からしさを表わす数値である認識尤度を認識結果として出力する（参考文献２参照）。
【００２５】
参考文献２．
特開昭６０−１６６９９７
【００２６】
コマンド選出部３は、認識結果を入力し、変換データベースメモリ６を参照し、尤度を算出し、中間コマンドと尤度を出力する。この際、コマンド選出部３は最も確からしいコマンドを第１候補として予想され得るコマンドを例えば第５候補まで求めて確からしい順に並べた候補リストを中間コマンドとして出力する。尤度補正部４は、中間コマンドと尤度を入力し、操作コストデータベースメモリ７を参照し、操作コストを用いて、操作コストの平均値を算出し、操作コストの平均値の最小のコマンドを出力する。
【００２７】
認識辞書データベースメモリ５は、音声認識処理部２で尤度を算出する際に用いる音響モデル（モデル）や言語モデル（モデル）のデータベースを記憶するメモリである。変換データベースメモリ６は、ユーザが発声した語句をコマンドに変換するためのコマンド名称・関連語句の対応を記述したデータベースを記憶するメモリである。すなわち、変換データベースメモリ６は、変換情報を複数記憶するテーブル構造に構築されている。
【００２８】
操作コストデータベースメモリ７は、コマンド間の階層構造の関係を表し、尤度補正部４で操作コストの平均値を算出するためのコマンド間の遷移に伴う操作コストのデータベースを記憶するメモリである。すなわち、操作コストデータベースメモリ７は、図２に示すように、コマンド間の遷移に伴う操作コストを記憶するメモリである。
【００２９】
次に、実施の形態１によるコマンド処理装置の動作について説明する。図７は、実施の形態１によるコマンド処理装置の動作を示すフローチャートである。
音声入力部１は、一般的に話者であるユーザの近傍に設置されるか、またはユーザが保持し、ユーザの音声が入力される。音声入力部１は、この入力に対して、例えば１６ｋＨｚサンプリング、１６ビットでＡ／Ｄ変換を行い、音声データを音声認識処理部２に出力する（ステップＳＴ１）。
【００３０】
音声認識処理部２は、ステップＳＴ１において入力される音声データについて公知の方法と同様に音声区間を判定し、判定した音声区間の音声データに対して、認識辞書データベースメモリ５の音響モデル・言語モデルを参照し、マッチングをとり、最も確からしい語句を認識結果としてコマンド選出部３に出力する（ステップＳＴ２）。
【００３１】
コマンド選出部３は、ステップＳＴ２において入力される認識結果に基づき、変換データベースメモリ６を参照し、中間コマンドおよび尤度を尤度補正部４に出力する（ステップＳＴ３）。図８は、実施の形態１のコマンド選出部３が尤度を算出する際に用いる変換データベースを示す図である。以下、図８を参照しながらコマンド選出部３の動作を詳細に説明する。
図８において、例えば、音声認識処理部２に入力されるユーザの発声が“早いルート”だった場合、認識辞書に記載されている音響モデルや言語モデルを用いて算出された確率値を尤度とすると、「ＴＯＬＬ＿ＦＩＲＳＴ＿ＲＯＵＴＥ」（有料道路優先ルート検索）と「ＲＥＣＯＭＭＥＮＤＥＤ＿ＲＯＵＴＥ」（推奨ルート検索）が尤度６、「ＳＨＯＲＴＥＳＴ＿ＲＯＵＴＥ」（最短距離検索）が尤度５、「ＲＯＵＴＥ＿ＳＥＡＲＣＨ」が尤度３となり中間コマンドとして選出される。なお、“”内は認識結果、「」内はコマンド名称とする。
【００３２】
尤度補正部４は、ステップＳＴ３において入力された中間コマンドおよび尤度に基づき、操作コストデータベースメモリ７を参照し、最終コマンドを出力する（ステップＳＴ４）。ステップＳＴ４において出力される最終コマンドＣ＾は上述した式（２）に示すように表わされる。尤度補正部４の動作は図２に基づいて説明した上述のとおりである。
【００３３】
以上のように、この実施の形態１によれば、コマンド間の遷移に伴う操作コストのデータベースを記憶する操作コストデータベースメモリ７と、当該操作コストデータベースメモリ７の操作コストデータベースを参照し、操作コストを用いて操作コストの平均値を算出し、当該平均値が最小のコマンドを最終コマンドとして出力する尤度補正部４を備えるように構成したので、コマンドの階層関係を考慮してコマンドを選出することができ、選出したコマンドの修正作業である画面操作に伴う労力を軽減することができる。
【００３４】
なお、この実施の形態１では、評価値として操作コストの平均値を例に説明を行ったが、式（５）で表わされる操作コストの平均値に操作コストの期待値や尤度の重みを考慮した値を評価値としてもよい。以下の実施の形態２においても同様である。
【００３５】
実施の形態２．
この実施の形態２では、実施の形態１の構成に加え、特定のコマンドを選択して操作コストの平均値を算出する構成を示す。
図９は、この実施の形態２によるコマンド処理装置の構成を示すブロック図であり、実施の形態１のコマンド処理装置１０にコマンド選択部８を追加して設けている。なお以下では、実施の形態１に係るコマンド処理装置の構成要素と同一または相当する部分には実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００３６】
コマンド選択部８は、コマンド選出部３が選出した中間コマンドと尤度を入力し、操作コストデータベースメモリ７を参照して、例えば中間コマンドの中で尤度が最大のコマンドとの操作コストが一定値以下のコマンドを選択コマンドとし、当該選択コマンドと尤度を尤度補正部４ａに出力する。
尤度補正部４ａは、選択コマンドと尤度を入力し、操作コストデータベースメモリ７を参照し、操作コストを用いて、操作コストの平均値を算出し、操作コストの平均値が最小となるコマンドを出力する。
【００３７】
次に、この実施の形態２のコマンド処理装置の動作について図１０のフローチャートに従って説明を行う。なお、実施の形態１のコマンド処理装置と同一の処理を行うステップには図７で使用した符号と同一の符号を付し、説明を省略または簡略化する。
コマンド選出部３は、ステップＳＴ２において入力される認識結果に基づき、変換データベースメモリ６を参照し、中間コマンドおよび尤度をコマンド選択部８に出力する（ステップＳＴ１１）。コマンド選択部８は、ステップＳＴ１１においてコマンド選出部３から入力された中間コマンドおよび尤度に基づき、操作コストデータベースメモリ７を参照し、操作コマンドおよび尤度を取得して尤度補正部４ａに出力する（ステップＳＴ１２）。
【００３８】
尤度補正部４ａは、ステップＳＴ１２において入力された選択コマンドおよび尤度に基づき、操作コストデータベースメモリ７を参照し、最終コマンドを出力する（ステップＳＴ１３）。ステップＳＴ１３において出力される最終コマンドＣ＾は上述した式（２）に示すように表わされる。尤度補正部４ａの動作は図２に基づいて説明した上述のとおりである。
【００３９】
以上のように、この実施の形態２によれば、コマンド間の遷移に伴う操作コストのデータベースを記憶する操作コストデータベースメモリ７と、当該操作コストデータベースメモリ７の操作コストデータベースを参照し、操作コストを用いて操作コストの平均値を算出し、当該平均値が最小のコマンドを最終コマンドとして出力する尤度補正部４ａを備えるように構成したので、コマンドの階層関係を考慮してコマンドを選出することができ、選出したコマンドの修正作業である画面操作に伴う労力を軽減することができる。
【００４０】
また、この実施の形態２によれば、操作コストデータベースメモリ７を参照して、所定の条件を満たすコマンドを選択するコマンド選択部８を備えるように構成したので、操作コストの設定によって常に中間コマンドを無視して操作階層上で上位のコマンドを選択するようになるのを防止することができる。さらに、評価値を算出する計算量を抑制することができる。
【符号の説明】
【００４１】
１  音声入力部、２  音声認識処理部、３  コマンド選出部、４，４ａ  尤度補正部、５  認識辞書データベースメモリ、６  変換データベースメモリ、７  操作コストデータベースメモリ、８  コマンド選択部、１０  コマンド処理装置。
【図１】
2011221293.tif 000008
【図２】
2011221293.tif 000009
【図３】
2011221293.tif 000010
【図４】
2011221293.tif 000011
【図５】
2011221293.tif 000012
【図６】
2011221293.tif 000013
【図７】
2011221293.tif 000014
【図８】
2011221293.tif 000015
【図９】
2011221293.tif 000016
【図１０】
2011221293.tif 000017