(57)【要約】【課題】音声処理装置におけるホストＣＰＵの負荷を低減する。【解決手段】対話シナリオを実行する音声処理装置において、第１の制御部と、前記対話シナリオが実行される第２の制御部と、前記対話シナリオにおける第１の情報が記憶される第１の記憶部と、前記対話シナリオが記憶される第２の記憶部と、を含み、前記第１の制御部は、前記第１の情報に基づき、前記第２の制御部に対して前記対話シナリオの処理の実行、停止もしくは終了のいずれかの指示を行い、前記第２の制御部は、前記第１の情報に係る処理を行った場合には前記第１の制御部に対して第１の通知を行うこと、を特徴とする。【選択図】図１
2013122521.tif 000002
【特許請求の範囲】
【請求項１】
対話シナリオを実行する音声処理装置であって、
第１の制御部と、
前記対話シナリオが実行される第２の制御部と、
前記対話シナリオにおける第１の情報が記憶される第１の記憶部と、
前記対話シナリオが記憶される第２の記憶部と、
を含み、
前記第２の記憶部は前記第２の制御部内に設けられ、
前記第１の制御部は、前記第１の情報に基づき、前記第２の制御部に対して前記対話シナリオの処理の実行、停止もしくは終了のいずれかの指示を行い、
前記第２の制御部は、前記第１の情報に係る処理を行った場合には前記第１の制御部に対して第１の通知を行うこと、を特徴とする音声処理装置。
【請求項２】
前記第２の制御部は音声認識処理部を有し、
前記対話シナリオには音声認識の処理が含まれることを特徴とする請求項１に記載の音声処理装置。
【請求項３】
前記第１の情報は、前記第１の制御部が、前記対話シナリオの実行の進捗を監視することができる情報であることを特徴とする請求項１または２に記載の音声処理装置。
【請求項４】
前記第１の通知は、前記第２の制御部における音声認識の処理の実行結果を含むことを特徴とする請求項１乃至３のいずれか一項に記載の音声処理装置。
【請求項５】
第１の制御部と、
対話シナリオが実行される第２の制御部と、
前記対話シナリオにおける第１の情報が記憶される第１の記憶部と、
前記対話シナリオが記憶される第２の記憶部とを含む音声処理装置の制御方法であって、
前記第１の制御部は、前記第１の情報に基づいて、前記第２の制御部に対して前記対話シナリオの処理の実行、停止もしくは終了のいずれかの指示を行い、
前記第２の制御部は、前記第１の情報に係わる処理を行った場合には前記第１の制御部に対して第１の通知を行うこと、を特徴とする音声処理装置の制御方法。
【請求項６】
前記第２の制御部は音声認識処理部を有し、
前記対話シナリオには音声認識の処理が含まれることを特徴とする請求項５に記載の音声処理装置の制御方法。
【請求項７】
前記第１の情報は、前記第１の制御部が、前記対話シナリオの実行の進捗を監視することができる情報であることを特徴とする請求項５または６に記載の音声処理装置の制御方法。
【請求項８】
前記第１の通知は、前記第２の制御部における音声認識の処理の実行結果を含むことを特徴とする請求項５乃至７のいずれか一項に記載の音声処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者の音声に対して応答する音声処理装置に関する。
【背景技術】
【０００２】
従来、美術館等で用いられる解説や案内の装置や電話における自動応答に用いられる装置などのように、音声を利用する様々な装置が開発され、使用されている。このような音声を利用する処理装置（以降、音声処理装置と呼ぶ）の中には、利用者の音声を認識し、認識した内容に応じて適切な応答を出力するように開発された音声処理装置が存在する。
【０００３】
このような音声処理装置の構成には、様々な形態がある。例えば、特許文献１には、パーソナルコンピューターの拡張シャーシに音声入力部とマルチバスアダプターを取り付け、当該マルチバスアダプターを介して信号プロセッサーなどの音声処理に必要な処理部を接続する構成を有している。利用者の音声は、音声入力部においてアナログ信号に変換されマルチバスに接続されたアナログ−デジタル変換回路に直接送信され、その後上述した信号プロセッサーにおいて音声認識の処理が行われる。
【０００４】
また、特許文献２に記載された音声処理装置は、ホストＣＰＵと音声認識の処理を行うことができる半導体集積回路とを組み合わせた構成を有する。この場合、ホストＣＰＵと当該半導体集積回路とを１つの基板上に実装することが可能である。
【０００５】
対話形式の処理を行う音声処理装置は、所謂シナリオと呼ばれるデータ（若しくは状態遷移モデル）の処理を行うことで利用者との対話を進行させる。シナリオ（若しくは状態遷移モデル）とは、利用者に対して発声する音声の内容や利用者から想定される返答の内容などを記載した複数のダイヤログを、利用者の返答によってどの順番で実行するかを定義したものである。
【０００６】
特許文献１に示した音声処理装置では、シナリオの実行の関わる処理の中の音声認識については信号プロセッサーにおいて行われ、他の処理についてはパーソナルコンピューターにおいて行われる。また、特許文献２に示した音声処理装置では、シナリオの実行に関わる処理の中の音声認識については半導体集積回路において行われ、他の処理についてはホストＣＰＵにおいて行われる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開昭６１−１４４６９９号公報
【特許文献２】特開２００８−１２９４１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した音声処理装置においては、パーソナルコンピューター若しくはホストＣＰＵはシナリオの実行に関する処理のみを行うわけではなく、これ以外に少なくとも音声処理装置内部の様々な制御を行う必要がある。当該様々な制御とは、音声処理装置の動作を維持するための制御や利用者に対するユーザーインターフェイスに関わる処理などが含まれる。また、利用者の便利性を考慮するとネットワークから新たな情報を入手するようなシナリオの実行以外の他の処理も行うことが好ましいような場合も想定され、その処理によってはパーソナルコンピューター若しくはホストＣＰＵにおける負荷が予想以上に増大する可能性がある。
【課題を解決するための手段】
【０００９】
本発明は、上述した課題若しくは問題点の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【００１０】
［適用例１］
本適用例にかかる音声処理装置は、第１の制御部と、前記対話シナリオが実行される第２の制御部と、前記対話シナリオにおける第１の情報が記憶される第１の記憶部と、前記対話シナリオが記憶される第２の記憶部と、を含み、前記第２の記憶部は前記第２の制御部内に設けられ、前記第１の制御部は、前記第１の情報に基づき、前記第２の制御部に対して前記対話シナリオの処理の実行、停止もしくは終了のいずれかの指示を行い、前記第２の制御部は、前記第１の情報に係る処理を行った場合には前記第１の制御部に対して第１の通知を行うこと、を特徴とする。
【００１１】
この構成によれば、音声処理装置が、第１の制御部、第２の制御部、対話シナリオにおける第１の情報が記憶される第１の記憶部及び対話シナリオが記憶される第２の記憶部を含み、第１の制御部が第１の情報に基づき第２の制御部に対する対話シナリオの実行、停止及び終了の指示を行い、第２の制御部が対話シナリオの実行及び第１の情報に係わる処理を行った場合に第１の制御部に対して第１の通知を行うことにより、第１の制御部は対話シナリオの実行を行うことなく対話シナリオの進行の制御を行うことができ、第１の制御部における処理の負荷を低減することができる。これにより、第１の制御部において、音声処理装置の装置全体の制御と共に、対話シナリオの実行以外のアプリケーションプログラムの実行が可能となる。
【００１２】
［適用例２］
上記適用例にかかる音声処理装置において、前記第２の制御部は音声認識処理部を有し、前記対話シナリオには音声認識の処理が含まれることを特徴とする。
【００１３】
この構成によれば、音声認識処理部が第２の制御部に含まれ、対話シナリオに音声認識の処理が含まれることで、対話シナリオの実行を第２の制御部で実行することができる。
【００１４】
［適用例３］
上記適用例にかかる音声処理装置において、前記第１の情報は、前記第１の制御部が、前記対話シナリオの実行の進捗を監視することができる情報であることを特徴とする。
【００１５】
この構成によれば、第１の情報が対話シナリオの実行の進捗を監視できる情報であることで、第１の制御部により対話シナリオの進捗の管理及び制御を行うことができる。
【００１６】
［適用例４］
上記適用例にかかる音声処理装置において、前記第１の通知は、前記第２の制御部における音声認識の処理の実行結果を含むことを特徴とする。
【００１７】
この構成によれば、第１の通知に音声認識の処理の実行結果が含まれることで、第１の制御部は対話シナリオの進行の監視と共に、音声認識の結果を用いた処理を行うことができる。音声認識の結果を用いた処理とは、例えば、認識結果をディスプレイなどを用いて利用者に明示する処理であり、認識結果に関する情報をネットワークを介して入手し利用者に明示する処理などである。
【００１８】
［適用例５］
本適用例にかかる音声処理装置の制御方法は、第１の制御部と、対話シナリオが実行される第２の制御部と、前記対話シナリオにおける第１の情報が記憶される第１の記憶部と、前記対話シナリオが記憶される第２の記憶部とを含む音声処理装置の制御方法であって、前記第１の制御部は、前記第１の情報に基づいて、前記第２の制御部に対して前記対話シナリオの処理の実行、停止もしくは終了のいずれかの指示を行い、前記第２の制御部は、前記第１の情報に係わる処理を行った場合には前記第１の制御部に対して第１の通知を行うこと、を特徴とする。
【００１９】
この方法によれば、第１の制御部、第２の制御部、対話シナリオにおける第１の情報が記憶される第１の記憶部及び対話シナリオが記憶される第２の記憶部を含む音声処理装置の制御を、第１の制御部が第１の情報に基づき第２の制御部に対して対話シナリオの実行、停止及び終了の指示を行い、第２の制御部が対話シナリオの実行を行い第１の情報に係わる処理を行った場合に第１の制御部に第１の通知を行うこととすることで、第１の制御部における処理の負荷を低減することができる。これにより、第１の制御部において、音声処理装置の装置全体の制御と共に、対話シナリオの実行以外のアプリケーションプログラムの実行が可能となる。
【００２０】
［適用例６］
上記適用例にかかる音声処理装置の制御方法において、前記第２の制御部は音声認識処理部を有し、前記対話シナリオには音声認識の処理が含まれることを特徴とする。
【００２１】
この方法によれば、音声認識処理部が第２の制御部に含まれ、対話シナリオに音声認識の処理が含まれることで、対話シナリオの実行を第２の制御部で実行することができる。
【００２２】
［適用例７］
上記適用例にかかる音声処理装置の制御方法において、前記第１の情報は、前記第１の制御部が、前記対話シナリオの実行の進捗を監視することができる情報であることを特徴とする。
【００２３】
この方法によれば、第１の情報が対話シナリオの実行の進捗を監視できる情報であることで、第１の制御部により対話シナリオの進捗の管理及び制御を行うことができる。
【００２４】
［適用例８］
上記適用例にかかる音声処理装置の制御方法において、前記第１の通知は、前記第２の制御部における音声認識の処理の実行結果を含むことを特徴とする。
【００２５】
この方法によれば、第１の通知に音声認識の処理の実行結果が含まれることで、第１の制御部は対話シナリオの進行の監視と共に、音声認識の結果を用いた処理を行うことができる。音声認識の結果を用いた処理とは、例えば、ディスプレイなどを用いて認識結果を利用者に明示する処理であり、認識結果に関する情報をネットワークを介して入手し利用者に明示する処理などである。
【図面の簡単な説明】
【００２６】
【図１】第１実施形態における音声処理装置の概略ブロック図。
【図２】実施例１における音声処理装置の概略ブロック図。
【図３】状態遷移図。
【図４】ダイヤログのイメージを示す図。
【図５】第１情報のイメージを示す図。
【発明を実施するための形態】
【００２７】
図を用いて、本発明の実施形態について説明する。尚、用いる図は、説明に必要な部分を記載した便宜上のものである。
【００２８】
（第１実施形態）
図１に、音声処理装置１００のブロック図を示す。音声処理装置１００は、第１制御部１０、第１記憶部２０及び第２制御部３０を有する。音声処理装置１００は利用者（話者）と対話形式の処理を行う装置であり、図１において図示しないが、話者に対して音声を出力する装置及び話者の音声を入力する装置を有する。尚、第１信号１１は、第１制御部１０が第１記憶部２０にアクセスするための信号であり、第２信号１２は、第１制御部１０が第２制御部３０を制御するための信号である。第２信号１２には、第２制御部３０から第１制御部１０に対する割込み信号も含まれる。第１信号１１及び第２信号１２のそれぞれは、制御に必要な複数の信号から構成されている。
【００２９】
第１制御部１０は、音声処理装置１００内の制御を行う部分である。第１制御部１０の処理に必要な制御プログラム及びデータは第１記憶部２０に記憶されている。第１情報２１は、第１制御部１０に使用されるデータの１つであり、後述する対話シナリオ３３の進行の管理を行うために必要な情報である。
【００３０】
第２制御部３０は、図示しない音声合成部、音声認識部３１及び第２記憶部３２を有する。第２記憶部３２には、対話シナリオ３３が記憶されている。対話シナリオ３３は話者との対話の進行において実行される複数のダイヤログを記載したものであり、例えば状態遷移モデルとして表すことができるものである。ダイヤログとは、上述したように、話者に対して発声する音声の内容や話者から想定される返答の内容などを記載したものであり、当該返答の内容が音声認識の処理で識別される語彙である。話者に対する音声は、音声合成部によって音声信号に合成され、上述した音声を出力する装置により話者に伝達される。また、話者の音声は、上述した音声を入力する装置により取り込まれ、音声認識部３１によって音声認識の処理が行われる。
【００３１】
第１制御部１０が第１情報２１の情報を元に第２制御部３０に対して対話シナリオ３３の実行の開始を指示し、第２制御部３０が対話シナリオ３３の実行を開始することで、話者との対話が開始される。第１情報２１の内容は対話シナリオ３３にも記載されており、第２制御部３０は、第１情報２１に係わる処理を行った場合には、第２信号１２を介して第１制御部１０に通知する。第２制御部３０からの通知に対する第１制御部１０の対応は、該当する対話シナリオ３３の実行状態により異なったものとなる。例えば、情報を得るだけの場合もあれば、第２制御部３０に対して停止若しくは終了の指示を行う場合もある。対話シナリオ３３の実行が終わると、第２制御部３０は第２信号１２を介して対話シナリオ３３の実行終了を第１制御部１０に通知する。
【００３２】
対話シナリオ３３の進行の管理に必要な内容を第１情報２１として第１記憶部２０に記憶し、第１情報２１に係わる通知を対話シナリオ３３の実行を行っている第２制御部３０から受けることで、第１制御部１０に対する負荷の低減ができると共に、第１制御部１０において対話シナリオ３３の進行の管理を行うことができる。これにより、第１制御部１０において他のアプリケーションなどの処理を実行できる余裕を作ることができる。
【実施例１】
【００３３】
図２に音声処理装置２００のブロック図を示す。尚、本実施例において、音声処理装置１００における構成要素と同様の機能を有する部分は同じ番号を付し、上述した内容についてはその説明を便宜上省略する場合がある。音声処理装置２００は、第１制御部１０、第１記憶部２０、第２制御部３０、周辺装置制御部４０及び入出力変換部５０を有し、マイク５１及びスピーカー５２が入出力変換部５０に接続され、無線ＬＡＮ用アンテナ４１、ディスプレイ４２、キーボード４３及びマウス４４が周辺装置制御部４０に接続されている。また、第１制御部１０、第１記憶部２０及び周辺装置制御部４０は第１バス１４に接続されている。第２制御部３０と入出力変換部５０との間は第４信号１５により接続されている。
【００３４】
第１制御部１０は、音声処理装置２００の制御を行う部分である。第１制御部１０は、第１記憶部２０及び周辺装置制御部４０に対する制御及びデータの送受信を、第１バス１４を介して行う。尚、音声処理装置２００内には、第１バス１４を介しない割込み信号や制御信号などが存在するが、これらの図示は省略している。
【００３５】
第２制御部３０は、上述したように、音声認識部３１、第２記憶部３２及び音声合成部を含み、対話シナリオ３３の実行を行う共に、入出力変換部５０に対しての制御を行う。話者の音声はマイク５１で取り込まれ、入出力変換部５０においてデジタル信号に変換され第４信号１５を介して第２制御部３０に伝達される。また、第２制御部３０内の音声合成部で合成された音声信号は第４信号１５を介して入出力変換部５０に伝達された後、入出力変換部５０においてアナログ信号に変換されてスピーカー５２により話者に対して音声として出力される。
【００３６】
周辺装置制御部４０は、音声処理装置２００に接続される周辺装置とのインターフェイスを司る部分であり、複数の種類の機器に対する制御回路が含まれる。図２においては、無線ＬＡＮ用アンテナ４１、ディスプレイ４２及びキーボード４３及びマウス４４を図示しているが、周辺装置制御部４０に含まれる制御回路はこれらに限られず、音声処理装置２００が必要とする周辺装置に対するインターフェイスのすべてが含まれることとする。例えばＵＳＢインターフェイス回路なども周辺装置制御部４０に含まれる。また、周辺装置制御部４０に含まれる制御回路と第１記憶部２０との間のデータ転送、並びに、周辺装置制御部４０に含まれる制御回路間におけるＤＭＡ転送を制御する回路も周辺装置制御部４０に含まれる。周辺装置制御部４０内の制御回路の制御を行うためのドライバーは第１記憶部２０に記憶され、第１制御部１０により実行される。
【００３７】
次に、対話シナリオ３３及び第１情報２１について説明する。対話シナリオ３３の状態の遷移を表した状態遷移図５００を図３に示す。図中の○は個々の状態の存在を表すものであり、ノードと呼ぶ。ノードの種類は、開始ノードＳ００、実行ノードＮｍ（ｍは正の整数）及び終了ノードＥｎ（ｎは正の整数）の３種類である。開始ノードＳ００より話者との対話が始まり（対話シナリオ３３の実行の開始）、実行ノードＮｍが話者の返答により選択される所定の順番で実行され（対話シナリオの進行）、終了ノードＥｎの何れかに到達して話者との対話が終わる（対話シナリオの実行の終了）。１つの実行ノードＮｍの状態遷移先が複数ある場合（→が複数ある場合）は、話者の返答内容により何れか１つが選択されて実行されることになる。
【００３８】
各ノードにおける実行内容の一部を記載したものがダイヤログである。開始ノードＳ００におけるダイヤログのイメージを図４−（ａ）に、実行ノードＮ０１のダイヤログのイメージを図４−（ｂ）に示す。図４で示したダイヤログは、発話データ及び選択肢データで構成されている。
【００３９】
開始ノードＳ００は、話者に対して対話内容を説明する状態であり、選択肢データはない。第２制御部３０において、話者に対して音声（「じゃじゃ〜ん  タイムマシンが開発されました」）を出力した後、実行ノードＮ０１に状態が遷移する制御が行われる。
【００４０】
実行ノードＮ０１は、発話データと選択肢データとが存在する。第２制御部３０において、話者に対して音声（「行きたいのは何時    過去  未来  今がいい」）を出力した後、所定の期間話者の返答を受付、話者の返答（選択肢データ）を音声認識することで次に実行する実行ノードを判定し、状態を遷移する制御が行われる。これにより、話者の返答に従い、次の状態は実行ノードＮ１１（［過去］）、実行ノードＮ１２（［今がいい］）又は実行ノードＮ１３（［未来］）のいずれかに状態が遷移することになる。以降、同様の処理が行われ、いずれかの終了ノードＥｎに到達する。
【００４１】
第１情報２１は、ノードの指定と、当該ノードにおける指示内容を示すフラグで構成されている。第１情報２１のイメージを図５に示す。図５に示したＴ１、Ｔ２及びＴ３は、第１情報２１に含まれる情報の一部である。Ｔ１、Ｔ２及びＴ３のそれぞれが対応するノードを図３において→で示す。第１情報２１に含まれる指示内容は、開始、停止及び終了であり、指示が必要なものを○印で示している。
【００４２】
Ｔ１はＳ００における情報であり、開始の指示を示すものである。第１制御部１０が第１情報２１に含まれるＴ１の内容を実行することで、第２制御部３０に対する対話シナリオ３３の実行の指示が第２信号１２を介して行われる。第２制御部３０は、当該指示を受けて対話シナリオ３３の実行を開始し、対話シナリオ３３の実行を開始したことを第２信号１２を介して第１制御部１０に通知する。また、第２制御部３０は、何らかの障害により対話シナリオ３３の実行の開始が行えなかった場合は、対話シナリオ３３の開始ができなかったことを第２信号１２を介して第１制御部１０に通知する。これにより、第１制御部１０は、対話シナリオ３３の実行開始の状態を知ることができ、障害が発生している場合には必要な管理処理に入ることが可能となる。
【００４３】
第２制御部３０は、開始ノードＳ００の処理後に実行ノードＮ０１に状態を遷移させる。上述したように、第１情報２１は対話シナリオ３３に含まれている情報であるため、第２制御部３０は、Ｔ２の存在を認識して、実行ノードＮ０１の処理に入ったことを第２信号１２を介して第１制御部１０に通知する。
【００４４】
Ｔ２は実行ノードＮ０１における情報であり、Ｔ２には、停止の指示と開始の指示とが含まれる。停止の指示は、次の状態に対する状態の遷移を行わないことの指示であり、次のノードへの遷移は行われないが、実行ノードＮ０１に記載された実行内容の実行は行われる。これは、対話進行の内容や、音声処理装置２００内の何らかの状態の確認をしてから状態を遷移させるのが好ましい場合などに用いられる。これは、たとえば、音声処理装置２００内のエラー状態の確認をしてから状態遷移させる場合や、回線を通じて情報の収集を行いディスプレイ４２に情報の表示が終えた後で状態を遷移させる場合などである。
【００４５】
第１制御部１０は、実行ノードＮ０１の実行に入ったことを認識すると、Ｔ２の情報に従い、第２制御部３０に対して状態遷移の停止を第２信号１２を介して指示する。第２制御部３０は、第１制御部１０の指示を受けて、実行ノードＮ０１における処理が終了しても次の実行ノードへの状態遷移を行わず、第１制御部１０の指示を待つことになる。
【００４６】
第１制御部１０は、次の実行ノードに遷移してよいとの判断をすると第２制御部３０に対して、開始の指示を第２信号１２を介して行う。第２制御部３０は、開始の指示をうけて、話者の返答に対する音声認識の結果から選択される選択肢データに従った実行ノードＮｍに状態を遷移する。
【００４７】
終了ノードＥｎに達したときは、第２制御部３０からの通知の後に、第１制御部１０から第２制御部３０に対して対話シナリオ３３の終了の指示がなされることになるが、これにより、第１制御部１０及び第２制御部３０のいずれにおいても、対話シナリオ３３終了の認識がなされていることを確認することができ、第１制御部１０と第２制御部３０との間の状態認識のズレをなくすことで、後続の処理に対する影響をなくすことができる。
【００４８】
上述したように、本発明を適用することにより、例えば、音声処理装置を制御するＣＰＵにおいて対話シナリオの実行の監視を行いながら、ＣＰＵにおける対話シナリオの実行の負荷の低減を行うことが可能となる。
【００４９】
以上、本発明の適用例及び実施形態の説明を行ったが、本発明の実施は上述した適用例並びに実施形態に限られるものではない。本発明の趣旨を逸脱しない範囲において広く適用が可能である。
【符号の説明】
【００５０】
１０…第１制御部、１１…第１信号、１２…第２信号、１４…第１バス、１５…第４信号、２０…第１記憶部、２１…第１情報、３０…第２制御部、３１…音声認識部、３２…第２記憶部、３３…対話シナリオ、４０…周辺装置制御部、４１…無線ＬＡＮ用アンテナ、４２…ディスプレイ、４３…キーボード、４４…マウス、５０…入出力変換部、５１…マイク、５２…スピーカー、１００…音声処理装置、２００…音声処理装置、５００…状態遷移図。
【図１】
2013122521.tif 000003
【図２】
2013122521.tif 000004
【図３】
2013122521.tif 000005
【図４】
2013122521.tif 000006
【図５】
2013122521.tif 000007