(57)【特許請求の範囲】
【請求項１】
ユーザが所持する端末から前記ユーザが音声コマンドを入力し、前記端末から入力された音声コマンドをホストコンピュータで認識し、前記音声コマンドの認識結果に対する応答を前記端末に送信する手段を有するとともに、前記応答に応答異常がある場合、前記応答異常となった原因を前記ユーザに対して報知する手段を有する音声による情報提供システムであって、前記応答に応答異常がある場合、前記応答異常の原因を前記ユーザに対して報知する手段は、前記応答異常を前記ユーザが察知したときに前記ユーザによってなされる動作を検出することで自己診断開始信号を得る自己診断開始信号検出手段と、前記自己診断開始指示信号を受けて自己診断を開始する自己診断手段と、前記自己診断手段によって得られた自己診断結果をユーザに報知する報知手段とを有し、前記自己診断開始信号を得るに必要な前記ユーザによってなされる動作とは、前記端末に存在するマイクロホンに対し、前記ユーザが前記マイクロホンの動作状態を確認する動作であることを特徴とする音声による情報提供システム。
【請求項２】
前記音声コマンドに対して前記ホストコンピュータ側からの応答および前記自己診断結果のユーザへの報知は、ともに音声によって行うことを特徴とする請求項１記載の音声による情報提供システム。
【請求項３】
前記マイクロホンの動作状態を確認する動作は、ユーザがマイクロホンに息を吹きかける動作、ユーザがマイクロホンに所定の音声を入力する動作、ユーザがマイクロホンを軽く叩く動作のうち、少なくとも１つの動作であることを特徴とする請求項１ないし２のいずれかに記載の音声による情報提供システム。
【請求項４】
前記自己診断開始信号検出手段、前記自己診断手段、前記報知手段は、主として前記端末側に持たせたことを特徴とする請求項１ないし３のいずれかに記載の音声による情報提供システム。
【請求項５】
前記音声コマンドに対するホストコンピュータ側からの応答に応答異常がある場合、前記ユーザの入力した当該音声コマンドを前記ユーザにフィードバックすることを特徴とする請求項１ないし４のいずれかに記載の音声による情報提供システム。
【請求項６】
ユーザが所持する端末から前記ユーザが音声コマンドを入力し、前記端末から入力された音声コマンドをホストコンピュータで認識し、前記音声コマンドの認識結果に対する応答を前記端末に送信する手段を有するとともに、前記応答に応答異常がある場合、前記応答異常となった原因を前記ユーザに対して報知する手段を有する音声による情報提供システムの誤動作原因報知方法であって、前記応答に応答異常がある場合、前記応答異常となった原因を前記ユーザに対して報知する手段は、前記ホストコンピュータ側の応答異常をユーザが察知したときに当該ユーザによってなされる動作を検出することで自己診断開始動信号を得て、前記自己診断開始信号によって自己診断機能を起動し、前記応答異常となった原因を調べるための自己診断を行い、前記自己診断の結果をユーザに報知し、前記自己診断開始信号を得るに必要な前記ユーザによってなされる動作とは、前記端末に存在するマイクロホンに対し、ユーザが前記マイクロホンの動作状態を確認する動作であることを特徴とする音声による情報提供システムの誤動作原因報知方法。
【請求項７】
前記音声コマンドに対して前記ホストコンピュータ側からの応答および前記自己診断結果のユーザへの報知は、ともに音声によって行うことを特徴とする請求項６記載の音声による情報提供システムの誤動作原因報知方法。
【請求項８】
前記マイクロホンの動作状態を確認する動作は、ユーザがマイクロホンに息を吹きかける動作、ユーザがマイクロホンに所定の音声を入力する動作、ユーザがマイクロホンを軽く叩く動作のうち、少なくとも１つの動作であることを特徴とする請求項６ないし７のいずれかに記載の音声による情報提供システムの誤動作原因報知方法。
【請求項９】
前記自己診断開始信号を得る機能、前記自己診断を行う機能、自己診断結果をユーザに報知する機能は、主として前記端末側に持たせたことを特徴とする請求項６ないし８のいずれかに記載の音声による情報提供システムの誤動作原因報知方法。
【請求項１０】
前記音声コマンドに対するホストコンピュータ側からの応答に応答異常がある場合、ユーザの入力した当該音声コマンドを前記ユーザにフィードバックすることを特徴とする請求項６ないし９のいずれかに記載の音声による情報提供システムの誤動作原因報知方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はユーザからの音声コマンドを受け取って、その音声コマンドに対応した情報を音声によって当該ユーザに提供可能とした音声による情報提供システムおよびその誤動作原因報知方法に関する。
【０００２】
【従来の技術】
近年、音声認識技術や音声合成技術など音声に関する技術の進歩により、様々な分野で音声を用いた情報処理システムが提案されてきている。たとえば、システムへのコマンド入力を音声によって行うことができたり、システムからの応答も音声で可能なものもすでに開発されている。このような音声による情報処理システは、特に、視覚障害を持つユーザや、手足の不自由なユーザにとってきわめて便利なものとなり、様々な分野での普及が期待されるところである。
【０００３】
その一つの例として、音声応答による視覚障害者への生活支援システムが提案されている（社団法人  電子情報通信学会  第２種研究会資料  ３３頁〜３９頁「音声応答による視覚障害者への生活支援システムの試作」  静岡県立大学  経営情報学部  松浦健一  湯瀬裕昭）。
【０００４】
このシステムは、概略的には図１に示すような構成となっていて、ユーザＵはヘッドホン３２とマイクロホン１１を装着し、無線通信などの通信手段を用いてシステム側との間で音声情報をやりとりすることができ、様々な情報を音声によって取得できるようになっている。その対話例を次に示す。なお、ユーザをＵ、システムをＳｙで表す。また、ここでいうシステムＳｙは、図１において、ユーザ側の端末ＴやホストコンピュータＨなどを総称したものを指している。
【０００５】
Ｕ：時計。
Ｓｙ：時計・カレンダ機能を利用できます。
Ｕ：いま何時ですか。
Ｓｙ：現在の時刻は午後４持３０分です。
Ｕ：来週の木曜日は何日ですか。
Ｓｙ：来週の木曜日は５月１０日です。
Ｕ：電卓で計算
Ｓｙ：電卓機能を利用できます。
Ｕ：９８０足す１９８では
Ｓｙ：９８０足す１９８は１１７８です。
Ｕ：辞書ひき
Ｓｙ：辞書機能を利用できます。
Ｕ：「積極的」
Ｓｙ：調べる単語は「せっきょくてき」ですか。
Ｕ：はいそうです。
【０００６】
このように、ユーザＵは情報を取得するためのコマンドを音声で発し、システムＳｙ側ではその音声コマンドを認識し、その認識結果に基づいた回答を音声によってユーザＵに返す。さらには、天気予報、ニュース、鉄道などの時刻表、テレビ番組などの生活情報を問い合わせることによって、それらの情報を得ることも可能となる。この場合、予め特定のwebページを指定しておいて、ユーザＵからの要求に応じて、ホストコンピュータＨが図１に示すサーバＳに接続してサーバＳがそのwebページから情報を取得し、それをユーザＵに知らせる。
【０００７】
【発明が解決しようとする課題】
上述したような音声による情報提供システムは、視覚障害を持つユーザは勿論、健常者にとっても有用なものとして期待されると考えられるが、まだ解決すべき問題点も多い。
【０００８】
たとえば、ユーザＵの入力した音声コマンドに対してシステムＳｙ側から何の応答もない場合や、全く見当違いの応答がなされる場合も多い。これは、システムＳｙ側における音声認識性能やアプリケーション上の問題ばかりでなく、ユーザの発話の仕方やマイクロホン１１などに問題がある場合もあり、また、通信環境に問題があることも考えられる。このように、システムＳｙ側から何の応答もなかったり、見当違いの応答がなされるなどの誤動作（以下では応答異常という）は、様々な原因によって引き起こされる。
【０００９】
ユーザは応答異常を起こした原因がわかれば、それに対応することは可能である。たとえば、発話した音声の音量が小さすぎる、早口で発話しすぎる、さらには、マイクロホンの電源スイッチが入っていないなど、原因がわかれば、それに対処することは可能である。
【００１０】
しかし、従来のこの種のシステムでは、その原因をユーザに知らせる手段は持っていないのが普通であり、ユーザは何が原因で応答異常となったのか、その原因を特定するのは大変難しく、結局は、同じ発話を繰り返したり、システムの状態を調べたりといった試行錯誤的な原因診断を行う必要がある。健常者であれば、色々な方法を用いて時間をかけて調べれば、その原因を特定できる場合もあるが、視覚障害などを持つユーザが原因を調べるのは困難であり、近くにいる人やこの種のシステムの専門家に原因を調べてもらうといったことが必要となってくる。
【００１１】
そこで本発明は、音声コマンドに対しシステムが誤動作した場合、何が原因なのかを自己診断し、その自己診断結果をユーザにわかりやすく知らせることを可能とし、特に自己診断結果を音声によってユーザに提示することにより、健常者のみならず、特に、視覚障害を持つユーザにとって使い勝手のよいシステムを提供することを目的としている。
【００１２】
【課題を解決するための手段】
上述した目的を達成するために本発明の音声による情報提供システムは、ユーザが所持する端末から当該ユーザが音声コマンドを入力して、その音声コマンドをホストコンピュータ側で受信し、当該ホストコンピュータでは受信した音声コマンドを認識し、その認識結果に対する応答を前記端末に送信する手段を有するとともに、前記音声コマンドに対するホストコンピュータ側からの応答に応答異常がある場合、応答異常となった原因を前記ユーザに対して報知する手段を有する音声による情報提供システムであって、前記音声コマンドに対するホストコンピュータ側からの応答に応答異常がある場合、応答異常となった原因を前記ユーザに対して報知する手段は、前記ホストコンピュータ側の応答異常をユーザが察知したときに当該ユーザによってなされる動作を検出することで自己診断開始信号を得る自己診断開始信号検出手段と、この自己診断開始信号検出手段からの自己診断開始指示信号を受けて自己診断を開始する自己診断手段と、この自己診断手段によって得られた自己診断結果をユーザに報知する報知手段とを有する構成としている。
【００１３】
このような音声による情報提供システムにおいて、前記音声コマンドに対して前記ホストコンピュータ側からの応答および前記自己診断結果のユーザへの報知は、ともに音声によって行うようにしている。
【００１４】
また、前記自己診断開始信号を得るに必要な前記ユーザによってなされる動作とは、前記端末に存在するマイクロホンに対し、ユーザがマイクロホンの動作状態を確認する動作である。
【００１５】
ここで、前記ユーザがマイクロホンの動作状態を確認する動作は、ユーザがマイクロホンに息を吹きかける動作、ユーザがマイクロホンに所定の音声を入力する動作、ユーザがマイクロホンを軽く叩く動作のうち、少なくとも１つの動作を用いるようにすることが考えられる。
【００１６】
そして、前記自己診断開始信号検出手段、前記自己診断手段、前記報知手段は、主として前記端末側に持たせるようにしている。
【００１７】
また、前記音声コマンドに対するホストコンピュータ側からの応答に応答異常がある場合、ユーザの入力した当該音声コマンドをユーザにフィードバックすることも可能である。
【００１８】
また、本発明の音声による情報提供システムの誤動作原因報知方法は、ユーザが所持する端末から当該ユーザが音声コマンドを入力して、その音声コマンドをホストコンピュータ側で受信し、当該ホストコンピュータでは受信した音声コマンドを認識し、その認識結果に対する応答を前記端末に送信する手段を有するとともに、前記音声コマンドに対するホストコンピュータ側からの応答に応答異常がある場合、応答異常となった原因を前記ユーザに対して報知する手段を有する音声による情報提供システムの誤動作原因報知方法であって、前記音声コマンドに対するホストコンピュータ側からの応答に応答異常がある場合、応答異常となった原因を前記ユーザに対して報知する手段は、前記ホストコンピュータ側の応答異常をユーザが察知したときに当該ユーザによってなされる動作を自己診開始動信号として検出することで自己診断開始動信号を得て、これによって自己診断機能を起動し、前記応答異常となった原因を調べるための自己診断を行い、その自己診断結果をユーザに報知するようにしている。
【００１９】
このような音声による情報提供システムの誤動作原因報知方法において、前記音声コマンドに対して前記ホストコンピュータ側からの応答および前記自己診断結果のユーザへの報知は、ともに音声によって行うようにしている。
【００２０】
また、前記自己診断開始信号を得るに必要な前記ユーザによってなされる動作とは、前記端末に存在するマイクロホンに対し、ユーザがマイクロホンの動作状態を確認する動作である。
【００２１】
ここで、前記ユーザがマイクロホンの動作状態を確認する動作は、ユーザがマイクロホンに息を吹きかける動作、ユーザがマイクロホンに所定の音声を入力する動作、ユーザがマイクロホンを軽く叩く動作のうち、少なくとも１つの動作を用いるようにすることが考えられる。
【００２２】
そして、前記自己診断開始信号を得る機能、前記自己診断を行う機能、自己診断結果をユーザに報知する機能は、主として前記端末側に持たせるようにしている。
【００２３】
また、この音声による情報提供システムの誤動作原因報知方法においても、前記音声コマンドに対するホストコンピュータ側からの応答に応答異常がある場合、ユーザの入力した当該音声コマンドをユーザにフィードバックすることも可能である。
【００２４】
このように本発明は、ユーザの入力した音声コマンドに対してホストコンピュータ（以下では単にホストという）側が応答異常を起こした場合、応答異常のあることをユーザが察知したときにユーザによってなされる動作を検知し、それによって、端末側で自己診断機能を起動し、その自己診断機能によって、異常となった原因を調べ、その結果をユーザに提示するようにしている。
【００２５】
つまり、ユーザの発した音声コマンドに対するホストコンピュータ側からの応答が明らかに応答異常（この応答異常というのは、前述したように、ユーザの発した音声コマンドに対して、何の応答もなかったり、見当違いの応答がなされるなどの誤動作を指す）であるとユーザが判断すると、ユーザは自然に何らかの動作を行うのが普通である。システムでは、そのユーザの動作を検知することによって、どこが悪くて応答異常となったかを自己診断し、その自己診断結果をユーザに対して報知する。
【００２６】
このように、応答異常に対してユーザが何らかの動作ををとることによって、応答異常となった原因を自己診断して調べ、その自己診断結果をユーザに知らせることができるので、ユーザ側で応答異常となった原因を１つ１つ調べて行く必要がなくなる。また、このとき、自己診断結果を音声によって報知するようにすれば、視覚障害を有するユーザにとって便利なシステムとなることは勿論、健常者であっても診断結果をその場に居ながら耳から得ることができるので、他の仕事をしながら本情報提供システムを利用するような場合に便利なものとなる。
【００２７】
また、応答異常があることをユーザが知ったときにユーザによってなされる動作は、ユーザ側に存在するマイクロホンに対し、ユーザがマイクロホンの動作状態を確認する動作であって、具体的には、ユーザがマイクロホンに「フッ、フッ」というように息を吹きかける動作、「あー」というような音声を入力する動作、マイクロホンを軽く叩く動作などであり、これらの動作は、マイクロホンに向かって発話しようとするユーザが、何らかの異常を感じたときにごく自然に行う動作である。
【００２８】
このように、応答異常に対するユーザが行う自然な動作を自己診断機能を開始させるための信号として用いるので、ユーザが特別な操作を行うことなく、自動的に自己診断機能を働かせることができる。
【００２９】
なお、前記自己診断機能を開始させるための信号を得る機能、自己診断を行う機能、自己診断結果をユーザに報知する機能は、主に端末側に持たせるようにしている。これによって、前述の従来の情報提供システムの一例として説明した「音声応答による視覚障害者への生活支援システム」などの既存のシステムに本発明を適用しようとする場合、ホスト側をそれほど大幅に変更ぜずに本発明を実現することができるので、この種の既存の情報提供システムを有効活用することができる。
【００３０】
また、応答異常が起こって自己診断を行う際、ユーザの入力した音声コマンドをそのままユーザにフィードバックすることも可能であり、自分の発話した音声コマンドがそのままフィードバックされることによって、自分の入力した音声コマンドの状態を知ることができる。たとえば、フィードバックされた音声コマンドが、声が大きすぎて音が割れているようであれば、ユーザは自分の発話した声が大きすぎるために、ホスト側で適正な認識が行えなかったということがわかり、その点を注意して発話すればよいということを知る。これを何回か繰り返すことによってユーザはどのように発話すれば適正に音声認識されるかを学習することができる。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００３２】
図１は音声による情報提供システムの概略的な構成を示す図であり、大きくわけると、ユーザ側の端末Ｔとホストコンピュータ（前述したように、単にホストという）Ｈが存在する。なお、音声コマンドの内容によっては、外部の情報提供手段として、たとえば、ネットワークＮに接続されるサーバＳからも情報を取得する場合もある。
【００３３】
ユーザ側の端末Ｔは、図２に示すように、音声入力処理部１、自己診断処理部２、音声出力処理部３、無線通信部４などから構成される。なお、これら各構成要素については後に詳細に説明する。
【００３４】
ホストＨは、端末Ｔとの間で無線通信を可能とする無線通信部６１、端末Ｔから無線通信部６１を介して送られて来た音声を認識する音声認識部６２、少なくとも本発明の機能を実行するに必要な幾つかのアプリケーションからなるアプリケーション部６３、端末Ｔに対して音声により応答を行うための音声信号を生成する音声合成部６４、サーバＳから情報を取得するためのネットワーク通信部６５などを有した構成となっている。
【００３５】
サーバＳはネットワーク通信部７１、各種データが蓄積されているデータベース７２などを有している。
【００３６】
図３は端末１の各構成要素をさらに説明するための図であり、音声入力処理部１は、マイクロホン１１、音声入力部１２、音声一時記憶部１３、音声区間検出部１４などから構成され、自己診断処理部２は、自己診断開始信号検出部２１、自己診断部２２、エラーメッセージ記憶部２３などから構成され、音声出力処理部３は、音声出力部３１、ヘッドホン３２などにより構成されている。また、無線通信部４は信号送信部４１、信号受信部４２により構成されている。そして、ユーザＵはマイクロホン１１とヘッドホン３２をたとえば図１のように装着して使用する。
【００３７】
なお、マイクロホン１１には音声以外の音も入力される場合もあるが、この音声入力処理部１は、音声以外の音に対しても処理可能であることは勿論である。
【００３８】
マイクロホン１１から出力される音声信号（ここでは音声信号以外の音に対する信号も含んで音声信号と呼ぶことにする）は、音声入力部１２でＡ／Ｄ変換処理や増幅処理など一般的な音声信号処理がなされたのち、ある一定区間ごとに順次、音声一時記憶部１３に一時的に記憶される。
【００３９】
そして、その音声一時記憶部１３で記憶されたマイクロホン１１からの音声信号（入力音声信号という）は、自己診断開始信号検出部２１により読み出され、自己診断開始信号であるか否かの判定がなされる。自己診断開始信号検出部２１は、前述したように、応答異常をユーザが察知したときに当該ユーザによってなされる動作、たとえば、ユーザがマイクロホン１１の動作状態を確認する動作によって得られる信号を検出するもので、具体的には、ユーザがマイクロホン１１に「フッ、フッ」というように息を吹きかける動作、「あー」というような音声を入力する動作、マイクロホンを軽く叩く動作のうち、少なくとも１つの動作がユーザによってなされることにより得られる信号を検出する。
【００４０】
この自己診断開始信号検出部２１が行う自己診断開始信号検出処理についてを図４のフローチャートを参照しながら説明する。
【００４１】
図４において、まず、音声一時記憶部１３に一時記憶されている入力音声信号を信号分析し、当該入力音声信号の信号パターンを得る（ステップｓ１）。そして、自己診断開始信号として予め用意されている何種類かの自己診断開始信号パターンを自己診断開始信号パターン記憶部２１１（この自己診断開始信号パターン記憶部２１１は自己診断開始信号検出部２１内に存在する）から読み出して、信号分析して得られた入力音声信号の信号パターンとパターンマッチングを行う（ステップｓ２）。
【００４２】
なお、自己診断開始信号パターン記憶部２１１に登録されている自己診断開始信号パターンは、この場合、ユーザがマイクロホン１１に「フッ、フッ」というような息を吹きかける動作を行ったときに得られる信号パターン（第１の診断開始信号パターンＰ１という）、ユーザがマイクロホン１１に向かって「あー」というような音声を入力する動作を行ったときに得られる信号パターン（第２の診断開始パターンＰ２という）、ユーザがマイクロホンを指先で軽く叩く動作を行ったときに得られる信号パターン（第３の診断開始パターンＰ３という）などであるする。
【００４３】
このような各種の診断開始信号パターンＰ１，Ｐ２，Ｐ３と入力音声信号パターンとを個々にパターンマッチングし、入力音声信号パターンが診断開始信号パターンＰ１，Ｐ２，Ｐ３のいずれかに該当しているか、つまり、入力音声信号が自己診断開始信号であるか否かを判定する（ステップｓ３）。この判定において、もし、入力音声信号が自己診断開始信号であると判定された場合には、自己診断処理に入り（ステップｓ４）、入力音声信号が自己診断開始信号でないと判定された場合には、現在行っている自己診断開始検出処理を終了する。
【００４４】
そして、入力音声信号が自己診断開始信号であると判定された場合の自己診断処理は自己診断部２２によって行われ、まず、端末Ｔの自己診断を行い、次にホストＨの自己診断を行い、さらに、ネットワークＮ、サーバＳへと順次、自己診断を行って行く。このとき、ホストＨ以降の自己診断を行う場合は、自己診断部２２からの自己診断指示信号が無線通信部４の信号送信部４１によってホストＨ側に送られる。
【００４５】
ホストＨ側では端末Ｔ側から送られてきた自己診断指示信号によってアプリケーション部６３に存在する自己診断用のアプリケーションを起動させて自己診断を行う。なお、この自己診断の具体例などについては後述する。
【００４６】
この自己診断を行った結果、応答異常となった原因が特定できれば、自己診断部２２がエラーメッセージ記憶部２３から応答異常となった原因に対応するエラーメッセージを読み出して音声出力部３１に送る。音声出力部３１では読み出されたエラーメッセージを音声信号としてヘッドホン３２に与える。なお、エラーメッセージ記憶部２３には、応答異常となる各種の原因に対応したエラーメッセージが用意されている。
【００４７】
たとえば、通信環境が悪いことが原因である場合に対応したエラーメッセージとして、「電波が届きにくい状況にあります」というようなエラーメッセージが用意され、また、入力された声が小さすぎるがために音声認識が正常になされない場合に対応したエラーメッセージとして、「あなたの声が小さすぎます」というようなエラーメッセージが用意されている。このように、このエラーメッセージは様々な原因に対応して各種用意されている。
【００４８】
一方、自己診断開始信号検出部２１が入力音声信号に対し、自己診断開始信号であるか否かの判定を行った結果、自己診断開始信号ではないと判定した場合には、音声コマンドであるとみなし、音声区間検出部１４に処理を渡す。これにより、音声区間検出部１４は、音声一時記憶部１３に記憶されている入力音声信号から音声区間を検出し、その音声区間に対する音声信号を無線通信部４に送る。無線通信部４はその音声信号を信号送信部４１からホストＨ側に発信する。
【００４９】
そして、ホストＨ側では、端末Ｔ側から送られてきた音声信号を無線通信部６１で受け取って、音声認識部６２で音声認識処理し、その認識結果に基づいてアプリケーション部６３の中から対応するアプリケーションを選んで起動し、入力音声信号（音声コマンド）に対応した処理を行う。
【００５０】
このときの音声コマンドが、ホストＨにて処理できる内容（音声コマンドが、たとえば、時計やカレンダ機能を用いることで対応できる内容、辞書機能を用いることで対応できる内容など）であれば、その音声コマンドに対応した応答を音声合成部６４で生成して無線通信部６１によって端末Ｔ側に送信する。
【００５１】
また、音声コマンドがサーバＳから情報を取得する必要のある内容（音声コマンドが、たとえば、天気予報やその日のニュースなど特定のサーバから情報の取得が必要な内容）であれば、ネットワーク通信部６５によって所定のサーバＳにアクセスしてそのサーバＳから所望とする情報を取得し、ユーザからの音声コマンドに対応した応答内容を音声合成部で生成して無線通信部６１によって端末Ｔ側に送信する。端末Ｔ側ではホストＨ側から送られてきた音声信号を無線通信部４の信号受信部４２で受け取って、音声出力部３１で処理したのちヘッドホン３２から音声として出力する。
【００５２】
次に本発明の音声による情報提供システムの具体的な動作について説明する。前述したように、この種の音声による情報提供システムは、ユーザが音声によって問い合わせを行うことにより、システム側がユーザの所望とする情報を音声で提供してくれるものであるが、本発明は、このような音声による情報提供システムのどこかに問題があって、システムが誤動作した場合、つまり、ホストＨからの応答が応答異常となった場合（この応答異常というのは、前述したように、ユーザが音声コマンドを与えたにも係わらず、ホストＨ側から何の応答もなかったり、見当違いの応答がなされるなどの誤動作を指している）、その応答異常となった原因を当該ユーザにわかりやすく音声にて伝えるものである。
【００５３】
ここで、応答異常となった原因としては様々存在する。すなわち、応答異常を起こした原因が端末Ｔ側にある場合もあり、また、ホストＨ側にある場合もあり、さらには、ネットワークＮやサーバＳ側にある場合も考えられる。
【００５４】
端末Ｔ側の原因としては、たとえば、電源部（電池やスイッチなど）の問題、通信に関する問題、入出力系（マイクロホン１１やヘッドホン３１）の問題、ユーザが行う音声コマンドの入力の仕方などの問題などが考えられる。ユーザが行う音声コマンドの入力の仕方に問題がある例としては、たとえば、ユーザの発話する声の大きさが大きすぎたり小さすぎたりした場合、あるいは、発話する際マイクロホン１１から遠すぎたり近すぎたりした場合、認識可能単語以外の単語を入力した場合などがある。
【００５５】
また、ホストＨ側の原因としては、コンピュータそのものの問題、音声認識部６２の認識性能に関する問題、アプリケーション６３の問題、通信に関する問題、さらには、ネットワークＮから情報を取得する場合は、ネットワークＮとの接続上の問題や、回線上のトラブル、ネットワークＮやサーバＳそのものに問題がある場合も考えられる。
【００５６】
上述したように、ホストＨが応答異常を起こす原因は種々存在する。上述した様々な原因によって応答異常となっても、ユーザは何が原因でそのような応答異常となったのかはわからない場合が多い。
【００５７】
たとえば、ユーザが「いま、何時ですか」とホストＨに聞いた場合、ホストＨ側から全く応答がなかったり、全く見当違いの応答がなされたとしても、ユーザにはその原因は特定できない場合が多い。このようなとき、ユーザは、マイクロホン１１の動作状態を確認する動作を自然に行うのが一般的である。具体的には、マイクロホンに「フッ、フッ」と息を吹きかけたり、「あー」といった音声を入力したり、マイクロホン１１を軽く叩いてみたりする。
【００５８】
このように、不具合があることをユーザが察知したときにユーザが自然に行うマイクロホン１１の動作状態を確認するための幾つかの動作のうち、少なくとも１つの動作が行われると、端末Ｔに設けられた自己診断開始信号検出部２１がそれを検知して、自己診断部２２を起動する。この自己診断開始信号検出部２１が行う自己診断開始信号検出処理は、図４によってすでに説明したのでここでは省略する。
【００５９】
この自己診断開始信号検出部２１によって入力音声が自己診断開始信号であると判定されると、自己診断部２２は、まず、端末Ｔを自己診断し、続いて、ホストＨを自己診断し、続いて、ネットワークＮやサーバＳを自己診断して行くといように、端末Ｔ、ホストＨ、ネットワークＮやサーバＳといった順番で自己診断して行く。
【００６０】
たとえば、端末Ｔ側には特に問題がない場合には、自己診断部２２は自己診断指示信号をホストＨ側に無線通信部４により送信し、この自己診断指示信号をホストＨが受け取ると、ホストＨ側ではアプリケーション部６３の中の自己診断用のアプリケーションを起動して自己診断を行う。
【００６１】
ここで、ホストＨ側の自己診断を行った結果、音声認識部６２にて音声認識処理を行う際、ユーザの入力音声が小さすぎて適正な音声認識処理ができないことがわかったとすれば、「あなたの声が小さすぎます」というような診断結果を音声によってユーザに知らせる。また、サーバＳから情報を取得する必要のある場合、もし、応答異常が起こったとすれば、ネットワークＮやサーバＳに対しても診断を行い、たとえば、ネットワークＮへの接続に問題があることがわかれば、「ネットワークとの接続に問題があります」といった診断結果をユーザに音声によって通知する。
【００６２】
このように、入力音声が自己診断開始信号であると判定された場合には、自己診断部２２が起動され、端末Ｔ、ホストＨ、ネットワークＮやサーバＳというような順番で自己診断を行い、その結果、応答異常を引き起こす原因がみつかれば、その原因を具体的に音声にてユーザに知らせる。
【００６３】
これによって、ユーザは、自分の発した音声コマンドに対してシステム側が応答異常を起こしたとしても、どこがどのような問題で異常が生じたのかを具体的に知ることができる。このように、応答異常となった原因がわかれば、異常となった原因の修正を行って再度音声コマンドを入力することが可能となり、原因がわからぬまま音声コマンドを繰り返し入力するといった無駄を省くことができる。
【００６４】
なお、本発明は以上説明した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。
【００６５】
たとえば、ユーザの音声コマンドに対し応答異常が起こってシステムが自己診断を行う際、ユーザの入力した音声コマンドをそのままユーザにフィードバックするようにしてもよい。一例として、ユーザが現在時刻を問い合わせようとして、ホスト側に「いま何時ですか」という音声コマンドを与え、その音声コマンドに対して応答がなく、ユーザがマイクロホン１１に「フッフッ」と息を吹きかけるような動作を行ったとする。ユーザがこのようなマイクロホン１１の動作状態を確認する動作を行うと、自己診断信号検出部２１がそれを検出すると、自己診断部２２が自己診断動作に入るが、このとき、音声一時記憶部１３に記憶されているユーザの音声コマンド部分（この場合「いま何時ですか」）を音声区間検出部１４で検出して、その音声区間を音声出力部３１で処理してヘッドホン３２から出力する。
【００６６】
これにより、ヘッドホン３２からはユーザの発話した音声コマンド（「いま何時ですか」）がそのまま出力される。ユーザは、それを聞くことによって、自分の入力した音声コマンドの状態を知ることができる。たとえば、ヘッドホン３２からフィードバックされた自分の発話した「いま何時ですか」が、声が大きすぎて音が割れているようであれば、ユーザは自分の発話した声が大きすぎるためホスト側で適正な認識が行えなかったということがわかり、その点を注意して発話すればよいということを知る。
【００６７】
また、前述の実施の形態では、自己診断開始信号検出部２１は、マイクロホン１１に息を吹きかける動作、「あー」といった音声を入力する動作、マイクロホンを軽く叩く動作を、マイクロホン１１の動作状態を試験する際にユーザが一般的に行う動作として検出して自己診断開始信号を得るようにしたが、このマイクロホン１１の動作状態を試験する際にユーザが一般的に行う動作は、上述の３つの例に限定されるものではなく、その他にも種々考えられる。
【００６８】
また、自己診断開始信号は、上述のマイクロホン１１の動作状態を試験する際にユーザが一般的に行う動作を検出して得ることに限られるものではなく、たとえば、自己診断開始ボタンを用意し、システムに応答異常が起こったとき、その自己診断開始ボタンが押されることによって自己診断開始信号を得るようにしてもよい。
【００６９】
また、何らかのキーワードを用意しておいて、システムが応答異常を起こしたら、ユーザがそのキーワードを発話するようにしてもよい。この場合、そのキーワードが発せられたことを自己診断開始信号検出部２１が検出し、それによって自己診断部２２を起動させるようにすればよい。
【００７０】
さらに、ユーザに提示されるエラーメッセージは、音声だけではなく、ユーザ側の端末Ｔ上に文字表示によって行うことも可能であり、音声と文字表示を併用するようにしてもよい。
【００７１】
また、システム側からユーザに対して応答する祭、端末Ｔからユーザに応答するメッセージ（前述の実施の形態の場合、エラーメッセージなど）とホストＨからユーザに応答するメッセージ（音声コマンドに対して取得された情報など）とでそれぞれ声質を異ならせるようにすることもできる。たとえば、エラーメッセージは男性の声とし、取得された情報は女性の声とするというようにそれぞれの声質を異ならせることによって、ユーザは、応答を聞くだけでその応答が端末ＴからのものかホストＨからのものかが即座にわかり、特に、視聴覚障害者にとっては使い勝手のよいものとなる。
【００７２】
また、以上説明した本発明の処理の手順は、フロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくことができる。そして、本発明はその記録媒体をも含むものである。また、その処理手順はネットワークを介して得るようにしてもよい。
【００７３】
【発明の効果】
以上説明したように本発明によれば、ユーザの入力した音声コマンドに対してホストコンピュータ側が応答異常を起こした場合、応答異常のあることをユーザが察知したときにユーザによってなされる動作を検知し、それによって、端末側で自己診断機能を起動し、その自己診断機能によって、異常となった原因を調べ、その結果をユーザに提示するようにしている。このように、応答異常に対してユーザが何らかの動作ををとることによって、応答異常となった原因を自己診断して調べ、その自己診断結果をユーザに知らせることができるので、ユーザ側で応答異常となった原因を１つ１つ調べて行く必要がなくなる。また、このとき、自己診断結果を音声によって報知するようにすれば、視覚障害を有するユーザにとって便利なシステムとなることは勿論、健常者であっても診断結果をその場に居ながら耳から得ることができるので、他の仕事をしながら本情報提供システムを利用するような場合、仕事をしている手や目を休めることなく、どこが悪くて応答異常が起こったのかを知ることができる。
【００７４】
また、応答異常があることをユーザが知ったときにユーザによってなされる動作は、ユーザ側に存在するマイクロホンに対し、ユーザがマイクロホンの動作状態を確認する動作であって、具体的には、ユーザがマイクロホンに「フッ、フッ」というように息を吹きかける動作、「あー」というような音声を入力する動作、マイクロホンを軽く叩く動作などであり、これらの動作は、マイクロホンに向かって発話しようとするユーザが、何らかの異常を感じたときにごく自然に行う動作である。
【００７５】
このように、応答異常に対するユーザが行う自然な動作を自己診断機能を開始させるための信号として用いるので、ユーザが特別な操作を行うことなく、自動的に自己診断機能を働かせることができる。
【００７６】
また、本発明は、応答異常が起こって自己診断を行う際、ユーザの入力した音声コマンドをそのままユーザにフィードバックすることも可能であり、これによって、ユーザは自分の入力した音声コマンドの状態を知ることができ、これを何回か繰り返すことによってユーザはどのように発話すれば適正に音声認識されるかを学習することができる。
【００７７】
このように、本発明はユーザからの音声コマンドを受け取って、その音声コマンドに対応した情報を主に音声によって提供可能とした音声による情報提供システムにおいて、音声コマンドに対しシステムが誤動作した場合、何が原因なのかを自己診断し、その自己診断結果をユーザにわかりやすく知らせることを可能とし、特に自己診断結果を音声によってユーザに提示するようにしているので、前述したような音声応答による視覚障害者への生活支援システムなどに本発明を適用することによって、視覚障害者にとってより一層使いやすいシステムとすることができる。また、視覚障害者のみらず、健常者であっても、この種のシステムの取り扱いに不慣れなユーザや、他の仕事をしながらこのような情報提供システムを利用する機会の多いユーザにとっては使い勝手のよいものとなる。
【図面の簡単な説明】
【図１】本発明の音声による情報提供システムの実施の形態を説明する全体的なシステム構成を示す図である。
【図２】図１で示したシステム構成図における端末、ホスト、サーバのそれぞれの概略構成を説明する図である。
【図３】図２で示した端末における各構成要素をさらに詳細に説明する図である。
【図４】図３で示した自己診断開始信号検出部における自己診断開始信号検出処理を説明するフローチャートである。
【符号の説明】
Ｔ  端末
Ｈ  ホスト（ホストコンピュータ）
Ｎ  ネットワーク
Ｓ  サーバ
１  音声入力処理部
２  自己診断部
３  音声出力処理部
４  無線通信部（端末Ｔ側）
１１  マイクロホン
１２  音声入力部
１３  音声一時記憶部
１４  音声区間検出部
２１  自己診断開始信号検出部
２２  自己診断部
２３  エラーメッセージ記憶部
３１  音声出力部
３２  ヘッドホン
４１  信号送信部
４２  信号受信部
６１  無線通信部（ホストコンピュータＨ側）
６２  音声認識部
６３  アプリケーション部
６４  音声合成部
６５  ネットワーク通信部（ホストコンピュータＨ側）
７１  ネットワーク通信部（サーバＳ側）
７２  データベース
【図１】
0003846161.tif 000002
【図２】
0003846161.tif 000003
【図３】
0003846161.tif 000004
【図４】
0003846161.tif 000005