(57)【要約】ユーザの１回限りの偶然の対話行動に影響されることなく、ユーザの対話行動の習熟度を正確に判定し、正確に判定された習熟度に応じて適切な対話制御を行うことを可能とする音声対話装置、対話制御方法及び対話制御プログラムを提供する。入力手段１は、ユーザが発話する音声を入力する。抽出手段３は、入力手段１による音声の入力結果に基づいて、習熟度判定要因を抽出する。履歴蓄積手段４は、抽出手段３により抽出された習熟度判定要因を履歴として蓄積する。習熟度判定手段５は、履歴蓄積手段４に蓄積された履歴に基づいて習熟度判定要因の収束状態を判定し、該判定された収束状態に基づいてユーザの対話行動の習熟度を判定する。対話制御手段６は、習熟度判定手段５により判定されたユーザの習熟度に応じて対話制御を変化させる。
2010084881.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが発話する音声を認識し対話制御を行う音声対話装置であって、
ユーザが発話する音声を入力する入力手段と、
前記入力手段による音声の入力結果に基づいて、前記ユーザの対話行動の習熟度を判定するための要因となる習熟度判定要因を抽出する抽出手段と、
前記抽出手段により抽出された習熟度判定要因を履歴として蓄積する履歴蓄積手段と、前記履歴蓄積手段に蓄積された履歴に基づいて前記習熟度判定要因の収束状態を判定し、該判定された収束状態に基づいて前記ユーザの対話行動の習熟度を判定する習熟度判定手段と、
前記習熟度判定手段により判定された前記ユーザの習熟度に応じて対話制御を変化させる対話制御手段と
を備えることを特徴とする音声対話装置。
【請求項２】
前記習熟度判定要因は、発話タイミングであることを特徴とする請求項１に記載の音声対話装置。
【請求項３】
前記習熟度判定要因は、ユーザの発話スタイル、ユーザが発話すべき内容を理解しているか否かの指標となる発話内容要因、及びポーズ時間の少なくとも一つを含むことを特徴とする請求項１に記載の音声対話装置。
【請求項４】
前記入力手段は、対話制御の中断操作を検知した時に実行中の対話制御を中断して音声入力を開始する発話開始手段を備え、
前記発話内容要因には、対話制御の中断回数が含まれることを特徴とする請求項３に記載の音声対話装置。
【請求項５】
前記対話制御手段は、前記習熟度判定手段により前記ユーザの対話行動の習熟度が低いと判定された場合には、高いと判定された場合よりも対話制御を強化することを特徴とする請求項１から４の何れか１項に記載の音声対話装置。
【請求項６】
ユーザが発話する音声を認識し対話制御を行う音声対話装置が行う対話制御方法であって、
ユーザが発話する音声を入力する入力ステップと、
前記入力ステップにおける音声の入力結果に基づいて、前記ユーザの対話行動の習熟度を判定するための要因となる習熟度判定要因を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された習熟度判定要因を履歴として蓄積する履歴蓄積ステップと、
前記履歴蓄積ステップにおいて蓄積された履歴に基づいて前記習熟度判定要因の収束状態を判定し、該判定された収束状態に基づいて前記ユーザの対話行動の習熟度を判定する習熟度判定ステップと、
前記習熟度判定ステップにおいて判定された前記ユーザの習熟度に応じて対話制御を変化させる対話制御ステップと
を備えることを特徴とする対話制御方法。
【請求項７】
コンピュータに、
ユーザが発話する音声を入力する入力ステップと、
前記入力ステップにおける音声の入力結果に基づいて、前記ユーザの対話行動の習熟度を判定するための要因となる習熟度判定要因を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された習熟度判定要因を履歴として蓄積する履歴蓄積ステップと、
前記履歴蓄積ステップにおいて蓄積された履歴に基づいて前記習熟度判定要因の収束状態を判定し、該判定された収束状態に基づいて前記ユーザの対話行動の習熟度を判定する習熟度判定ステップと、
前記習熟度判定ステップにおいて判定された前記ユーザの習熟度に応じて対話制御を変化させる対話制御ステップと
を実行させるための対話制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザとの対話による音声認識結果に基づいて処理を実行するシステムに利用される音声対話装置、対話制御方法及び対話制御プログラムに関するものである。
【背景技術】
【０００２】
従来におけるユーザとの対話に利用される音声対話装置は、例えば、音声の入力を要求する信号を出力する入力要求手段と、入力された音声を認識する認識手段と、音声の入力が要求されてから音声の入力が検出されるまでの時間や、音声入力の継続時間（発話時間）を計測する計測手段と、音声の認識結果に対応した音声応答信号を出力する出力手段とを備えている。【０００３】
このような音声対話装置の中には、各ユーザの反応時間や音声の入力時間に基づいて各ユーザに適切な応答を与えるために、前述の音声の入力が要求されてから音声の入力が検出されるまでの時間や音声入力の継続時間に基づいて、音声の入力が検出されてから音声応答信号を出力するまでの時間や、音声応答信号の応答時間、あるいは音声応答信号の表現形式を可変制御するものがある。例えば、特許文献１では、ユーザ発話内のキーワード出現時間、キーワード音数、キーワード発話継続時間等を用いてユーザの習熟度を推定し、ユーザの習熟度に応じた対話応答を制御している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２３４３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、ユーザと音声対話装置の一度の対話に関する情報のみを利用して習熟度を判定している。このため、ユーザが音声対話装置にあまり習熟していないにもかかわらず偶然に対話が上手に行われた場合や、逆に音声対話装置に習熟しているにもかかわらず対話を上手に行うことができなかった場合に習熟度を正しく判定することができず、それに伴い対話制御が適切に行われないという問題があった。例えば、ユーザが音声対話装置との対話行動に習熟していても、たまたま対話を上手に行うことができなかった時に、音声ガイダンスが繰り返し出力されてしまう場合があり、ユーザは快適に音声対話を行うことができなかった。
本発明は、上述した従来の問題点に鑑みてなされたものであり、ユーザの１回限りの偶然の対話行動に影響されることなく、ユーザの対話行動の習熟度を正確に判定し、正確に判定された習熟度に応じて適切な対話制御を行うことを可能とする音声対話装置、対話制御方法及び対話制御プログラムを提供する。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、請求項１に記載の音声対話装置は、ユーザが発話する音声を認識し対話制御を行う音声対話装置であって、ユーザが発話する音声を入力する入力手段と、前記入力手段による音声の入力結果に基づいて、前記ユーザの対話行動の習熟度を判定するための要因となる習熟度判定要因を抽出する抽出手段と、前記抽出手段により抽出された習熟度判定要因を履歴として蓄積する履歴蓄積手段と、前記履歴蓄積手段に蓄積された履歴に基づいて前記習熟度判定要因の収束状態を判定し、該判定された収束状態に基づいて前記ユーザの対話行動の習熟度を判定する習熟度判定手段と、前記習熟度判定手段により判定された前記ユーザの習熟度に応じて対話制御を変化させる対話制御手段とを備えることを特徴とする。【０００７】
本発明によれば、音声対話装置は履歴蓄積手段に蓄積された履歴に基づいて習熟度判定要因の収束状態を判定し、該判定された収束状態に基づいてユーザの対話行動の習熟度を判定し、該判定されたユーザの習熟度に基づいて対話制御を変化させるため、ユーザの一度の対話行動に基づいて習熟度を判定する場合に比較して、ユーザの対話行動の習熟度をより正確に判定することができ、正確に判定された習熟度に応じて適切な対話制御を行うことが可能となる。【０００８】
請求項２に記載の音声対話装置は、請求項１において、前記習熟度判定要因は、発話タイミングであることを特徴とする。本発明によれば、ユーザが習熟度を向上させ易く音声認識に影響を与える代表的な要因である発話タイミングを習熟度判定要因として用いることで、既に発話タイミングを習熟しているユーザに対して、不要な対話制御を行うことを防ぐことができる。【０００９】
請求項３に記載の音声対話装置は、請求項１において、前記習熟度判定要因は、ユーザの発話スタイル、ユーザが発話すべき内容を理解しているか否かの指標となる発話内容要因、及びポーズ時間の少なくとも一つを含むことを特徴とする。請求項４に記載の音声対話装置は、請求項３において、前記入力手段は、対話制御の中断操作を検知した時に実行中の対話制御を中断して音声入力を開始する発話開始手段を備え、前記発話内容要因には、対話制御の中断回数が含まれることを特徴とする。本発明によれば、履歴に基づいて対話制御の中断回数の収束状態を判定することにより、発話内容の習熟度を判定することができる。【００１０】
請求項５に記載の音声対話装置は、請求項１から４の何れか１項において、前記対話制御手段は、前記習熟度判定手段により前記ユーザの対話行動の習熟度が低いと判定された場合には、高いと判定された場合よりも対話制御を強化することを特徴とする。本発明によれば、前記対話制御手段は、ユーザの１回限りの偶然の対話行動に影響されることなく、履歴に基づいて正確に判定されたユーザの対話行動の習熟度に応じて、対話制御を適切に行うことができる。【００１１】
請求項６に記載の対話制御方法は、ユーザが発話する音声を認識し対話制御を行う音声対話装置が行う対話制御方法であって、ユーザが発話する音声を入力する入力ステップと、前記入力ステップにおける音声の入力結果に基づいて、前記ユーザの対話行動の習熟度を判定するための要因となる習熟度判定要因を抽出する抽出ステップと、前記抽出ステップにおいて抽出された習熟度判定要因を履歴として蓄積する履歴蓄積ステップと、前記履歴蓄積ステップにおいて蓄積された履歴に基づいて前記習熟度判定要因の収束状態を判定し、該判定された収束状態に基づいて前記ユーザの対話行動の習熟度を判定する習熟度判定ステップと、前記習熟度判定ステップにおいて判定された前記ユーザの習熟度に応じて対話制御を変化させる対話制御ステップとを備えることを特徴とする。【００１２】
請求項７に記載の対話制御プログラムは、コンピュータに、ユーザが発話する音声を入力する入力ステップと、前記入力ステップにおける音声の入力結果に基づいて、前記ユーザの対話行動の習熟度を判定するための要因となる習熟度判定要因を抽出する抽出ステップと、前記抽出ステップにおいて抽出された習熟度判定要因を履歴として蓄積する履歴蓄積ステップと、前記履歴蓄積ステップにおいて蓄積された履歴に基づいて前記習熟度判定要因の収束状態を判定し、該判定された収束状態に基づいて前記ユーザの対話行動の習熟度を判定する習熟度判定ステップと、前記習熟度判定ステップにおいて判定された前記ユーザの習熟度に応じて対話制御を変化させる対話制御ステップとを実行させるためのプログラムである。本発明によれば、コンピュータが備える記憶装置に対話制御プログラムを記憶させておき、コンピュータが当該プログラムを読み出して実行することで、上記各ステップを実行することができる。
【発明の効果】
【００１３】
本発明によれば、音声対話装置は履歴蓄積手段に蓄積された履歴に基づいて習熟度判定要因の収束状態を判定し、該判定された収束状態に基づいてユーザの対話行動の習熟度を判定し、該判定されたユーザの習熟度に基づいて対話制御を変化させるため、ユーザの一度の対話行動に基づいて習熟度を判定する場合に比較して、ユーザの対話行動の習熟度をより正確に判定することができ、正確に判定された習熟度に応じて適切な対話制御を行うことが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る音声対話装置の機能構成を示すブロック図である。
【図２】同実施形態に係る各被験者が発話する毎に計測された発話タイミングと、音声認識結果との関係を示すグラフである。
【図３】同実施形態に係る各被験者が発話する毎に計測された発話タイミングと、音声認識結果との関係を示すグラフである。
【図４】同実施形態に係る年代別の発話タイミング収束前後の認識誤り率の変化を示すグラフである。
【図５】同実施形態に係る習熟度判定要因が発話タイミングである場合の対話制御処理の流れを示すフローチャートである。
【図６】同実施形態に係る習熟度判定要因が発話スタイルのうちの発話速度である場合の対話制御処理の流れを示すフローチャートである。
【図７】同実施形態に係るユーザの１回あたりの発話の発話時間長の一例を示す図である。
【図８】同実施形態に係る抽出手段により計測される発話時間長の履歴を示すグラフである。
【図９】同実施形態に係る音声認識手段により認識された発音数の履歴を示すグラフである。
【図１０】同実施形態に係る発話時間長及び発音数から算出される単位発話時間の履歴の一例を示すグラフである。
【図１１】同実施形態に係る単位発話時間の履歴から算出される発話時間変化量の一例を示すグラフである。
【図１２】同実施形態に係る習熟度判定要因が発話内容要因である場合の対話制御処理の流れを示すフローチャートである。
【図１３】同実施形態に係る対話制御中断履歴の一例を示すグラフである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照しつつ説明する。
図１は、本発明の実施形態に係る音声対話装置の機能構成を示すブロック図である。これらの機能は、音声対話装置が備える図示せぬＣＰＵ（Central Processing Unit）と、プログラムやデータが記憶されたＲＯＭ（Read Only Memory）、ハードディスク等の記憶装置と、内部時計と、マイクロホンと、操作ボタンと、スピーカ等の入出力インタフェースとが協働して動作することにより実現される。
【００１６】
入力手段１は、マイクロホンや操作ボタンを含んで構成され、ユーザが発話する音声、音声入力のための操作信号等を入力する。入力手段１は、音声ガイダンスの出力等の対話制御を中断して、ユーザが発話した音声入力を開始する発話開始手段１１を備えている。発話開始手段１１は、音声対話装置のＣＰＵに対話制御の中断指示を与えるボタンを含んで構成される。
ユーザが発する音声入力には以下のような発話が存在する。
【００１７】
（対話例）
システム：ご用件をボタン上の言葉から選んでください。
ユーザ  ：電話をかける
システム：認識できませんでした。入力しようとしている言葉は、この装置が知らない言葉かもしれません、このため間違って入力されたのかもしれません。また、声が大きすぎる、話すスピートが早すぎる、逆に、話すスピードが遅すぎる可能性もあります、普通のスピードでもう一度、お話してみてください。
ユーザ  ：電話
システム：電話画面を表示します。
ユーザ  ：戻る
システム：どこに戻りますか？次の二つの中から選択してください。直前の操作を取り消す場合は、違う、前のメニューに戻る場合は、前のメニューに戻る、とお話ください。
ユーザ  ：前のメニューに戻る
システム：前のメニューに戻ります。
【００１８】
音声認識手段２は、隠れマルコフモデル等の公知のアルゴリズムを用いて、入力手段１により入力された音声の認識処理を行う。また、音声認識手段２は、その認識した発話内容を、例えば音素記号列やモーラ記号（カナ）列等の文字列として出力する。抽出手段３は、入力手段１による入力結果に基づいて、ユーザの対話行動の習熟度を判定するための要因となる習熟度判定要因を抽出する。習熟度判定要因には、発話タイミングと、発話スタイルと、ユーザが発話内容を理解しているか否かの指標となる発話内容要因と、ポーズ時間と、が存在する。
【００１９】
発話タイミングとは、音声対話装置がビープ音や「お話ください」等の音声ガイダンスによりユーザに対して音声入力要求を行う合図を提示したときに、ユーザが発話を行うタイミングのことである。発話タイミングは、音声対話装置が音声入力要求を行う合図が終了した時刻からユーザが発話を開始する時刻までの経過時間（以下、「発話開始時間」という）を計測することにより得ることができる。音声対話装置が合図を提示している最中にユーザが発話を開始することなどで発話タイミングが正しくない場合、音声対話装置の音声認識手段２は、ユーザの発話内容を認識することができない。
【００２０】
図２及び図３に示すグラフは、各被験者が発話する毎に計測された発話タイミングと、音声認識結果との関係を示すグラフである。縦軸はビープ音による合図が提示されてからユーザが発話するまでの経過時間であり、横軸はその発話が音声対話装置の使用開始から何回目の発話であるかを表している。図中の○は発話に対して正しい認識結果が得られたことを示し、×は認識誤りとなる結果が得られたことを示す。認識誤りとは、ユーザの発話内容と異なる結果を音声認識手段２が出力することである。図２に示すグラフでは、発話回数が少ない間は発話タイミングがばらついて収束しておらず認識誤りである×が発生する頻度が多いが、発話回数が６０回以上となり被験者が発話タイミングに習熟するに従って、発話タイミングが収束するとともに認識誤りである×が発生する頻度が減少している。
【００２１】
図３に示すグラフでは、被験者は発話回数３０回目ほどで発話タイミングに習熟し、発話タイミングが収束している。発話タイミングが収束しているときは、途中で認識誤りが起こっても発話タイミングに変化は見られない。
例えば、所定の発話回数でユーザの習熟度を判定した場合には、ユーザの発話タイミングが一回でも判定基準（例えば、発話開始時間が所定時間以内である）を満たさない場合に習熟していないと判断されてしまう。具体的には、図２において発話回数７８（Ｎｏ．７８参照）の発話では大きく発話タイミングが外れているため習熟していないと判定される。また逆に、ユーザが習熟していないのにもかかわらず、偶然に発話タイミングが判定基準を満たす場合には習熟していると判断されてしまう。具体的には、図２において発話回数２（Ｎｏ．２参照）の発話では発話タイミングが外れていないため習熟していると判定される。
【００２２】
ここで、図２及び図３のグラフに示される試験結果を用いて、所定の発話回数でユーザの習熟度を判定する場合と、本発明のように発話タイミングの収束状態に基づいてユーザの習熟度を判定する場合とにおける認識率の違いについて、より詳しく説明する。
まず、所定の発話回数でユーザの習熟度を判定する場合について、本発明者は、図２及び図３の試験結果に基づいて、所定の発話回数として習熟度判定回数（習熟したと判定する発話回数）を３０回として、習熟前の認識率と習熟後の認識率とを算出した。この結果、図２の被験者（以下、本説明において「被験者１」という）では、習熟前の認識率が８７．５％、習熟後の認識率が７８．０％であった。また、図３の被験者（以下、本説明において「被験者２」という）では、習熟前の認識率が５６．２５％、習熟後の認識率が約６３．８３％であった。つまり、被験者１では習熟後の認識率のほうが低くなり、被験者２では習熟度の認識率のほうが高くなるという結果になった。この結果によれば、習熟度判定回数と認識率との関係については、被験者１と被験者２とで全く異なることが分かる。
【００２３】
また、発話タイミングの収束状態に基づいてユーザの習熟度を判定する場合、上述したように、習熟度判定回数は、図２においては６０回、図３においては３０回と考えられる。この場合、被験者１では、習熟前の認識率が約７１．４３％、習熟後の認識率が９３．７５％であった。また、被験者２では、習熟前の認識率が５６．２５％、習熟後の認識率が約６３．８３％であった。つまり、被験者１、２ともに習熟後の認識率のほうが高くなるという結果になった。この結果によれば、収束状態と認識率との関係については、被験者１、２ともに同様の傾向を示した。ここでは詳述しないが、他の被験者でも同様の結果が得られた。
【００２４】
発話スタイルとは、声の大きさや発話速度、滑舌のよさなどの発声方法である。ユーザが良い発話スタイルを身につけていないと、音声対話装置がユーザの発話内容を誤認識する。発話内容とは、ユーザが目的を達成するために音声対話装置に対して入力すべき内容である。発話内容が誤っていると、ユーザが意図するとおりに音声対話装置を動作させることができない。ユーザが発話内容を理解しているか否かの指標となる発話内容要因としては、発話開始手段１１によって中断された対話制御の回数が存在する。ポーズ時間とは、ユーザの発話中に存在する無音の時間である。たとえば住所を発話する場合に都道府県と市区町村の間にほんの少し間を入れるユーザがいるが、この間の部分を指す。
【００２５】
ユーザの習熟度の向上には順序があり、本発明者らは発話タイミング、発話スタイル、発話内容の順で向上すると考えている。したがって、まず習熟度判定要因として発話タイミングを抽出し、ユーザが発話タイミングに習熟した後に発話スタイルを抽出し、発話スタイルに習熟した後に発話内容を抽出するといったように、ユーザの習熟度に応じて、抽出する発話内容要因を段階的に変更することもできる。
【００２６】
履歴蓄積手段４は、ハードディスク等の記憶装置に設けられたデータベースであり、抽出手段３によって抽出された習熟度判定要因を蓄積する。習熟度判定手段５は、履歴蓄積手段４に蓄積された履歴に基づいて習熟度判定要因の収束状態を判定し、当該判定された収束状態に基づいてユーザの対話行動の習熟度を判定する。複数のユーザが音声対話装置を共有する場合には、ユーザを特定する情報であるユーザＩＤを設けて、ユーザＩＤ毎に習熟度判定要因が履歴蓄積手段４において蓄積される。そして、習熟度判定手段５はユーザ毎に蓄積された履歴に基づいて習熟度判定要因の収束状態を判定し、音声対話装置を現在利用中のユーザの対話行動の習熟度を判定する。なお、音声対話装置を現在利用しているユーザを音声対話装置に入力する方法としては例えば、ユーザ自身がユーザ名を音声対話装置に入力してもよいし、音声による話者識別手段やユーザが所持するＲＦ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）タグの識別情報を取得するＲＦタグ識別情報取得手段を音声対話装置が更に備えてもよい。
【００２７】
具体的には、習熟度判定要因が発話タイミングの場合には、習熟度判定手段５は、例えば、履歴蓄積手段４に蓄積された履歴のうち一定回数の発話開始タイミングが一定のタイミングに収束しているかどうかを判定する。収束している場合はユーザの発話タイミングに関する習熟度が高いと判断し、収束していない場合はユーザの発話タイミングに関する習熟度が低いと判断する。例えば、直近の１０発話前までの発話開始タイミングが１秒以内に収束しているかどうかを確認し、１秒以内に収束していれば発話タイミングの習熟度が高いと判定し、そうでなければ発話タイミングの習熟度は低いと判定する。なお、収束する一定のタイミングは１秒に限定されることはなく、ユーザＩＤに関連付けてユーザ毎に個別に設定してもよい。
【００２８】
図４は、発話タイミングを用いて判定したユーザの習熟前後における認識率を年代別に示したグラフである。認識率はユーザの発話を音声認識手段２が正しく認識できた割合のことである。また、収束前とは、習熟度判定手段５がユーザの発話タイミングに関する習熟度が低いと判断している期間を意味し、収束後とは習熟度が高いと判断している期間を意味する。同図に示すように各年代間で認識誤り率（＝認識誤り数／発話数）に差があるが、各年代共に発話タイミングの収束前よりも収束後に認識誤り率が減少している。
【００２９】
習熟度判定要因が発話スタイルの場合には、習熟度判定手段５は、声の大きさ、発話速度等の収束状態を判定し、収束している場合には発話スタイルの習熟度が高いと判定する。習熟度判定要因が発話内容要因である場合には、習熟度判定手段５は、所定の対話制御が過去の一定回数のうち一定割合以上中断されているかを判定し、一定割合以上中断されている場合は発話内容の習熟度が高いと判定する。
【００３０】
対話制御手段６は、習熟度判定手段５により判定されたユーザの習熟度に応じて対話制御を変化させる。具体的には、対話制御手段６は、習熟度判定手段５によりユーザの対話行動の習熟度が低いと判定された場合には対話制御を強化し、例えば音声ガイダンスの出力を繰り返す。一方、ユーザの対話行動の習熟度が高いと判定された場合には対話制御を抑制し、例えば、認識誤りが発生してもガイダンスを出力しないか、低いと判定された場合よりも音声ガイダンスの出力頻度を少なくする。
【００３１】
（発話タイミング）
次に、図５に示すフローチャートを参照して、習熟度判定要因が発話タイミングである場合の対話制御処理について説明する。まず、ユーザは、音声対話装置から音声入力開始の合図が出力された後に、音声対話装置に向かって発話する。音声対話装置の入力手段１は、ユーザが発話した音声を入力する（ステップＳ１０１）。抽出手段３は、入力手段１により音声の入力が開始された時刻を判定し、音声対話装置がユーザに対して音声入力を要求する合図を出力してからユーザが発話を開始するまでの発話開始時間を抽出する（ステップＳ１０２）。履歴蓄積手段４は、抽出手段３が抽出した発話開始時間を蓄積する（ステップＳ１０３）。
【００３２】
習熟度判定手段５は、履歴蓄積手段４に蓄えられた発話開始時間を参照し、一定回数のユーザ発話における発話開始タイミングが一定の時刻に収束しているかどうかを判定し（ステップＳ１０４）、収束している場合は（ステップＳ１０４：ＹＥＳ）ユーザの発話タイミングに関する習熟度が高いと判断し（ステップＳ１０５）、収束していない場合は（ステップＳ１０４：ＮＯ）ユーザの発話タイミングに関する習熟度が低いと判断する（ステップＳ１０６）。
【００３３】
対話制御手段６は、習熟度判定手段５によって得られたユーザの発話タイミングに関する習熟度によって対話制御を変える。例えば、ユーザの発話タイミングに関する習熟度が低ければ、発話タイミングに関するガイダンスを多くし（ステップＳ１０８）、習熟度が高ければ発話タイミングに関するガイダンスを減らす（ステップＳ１０７）。
【００３４】
（発話スタイル）
次に、図６に示すフローチャートを参照して、習熟度判定要因が発話スタイルのうちの発話速度である場合の対話制御処理について説明する。入力手段１は、ユーザが発話した音声を入力する（ステップＳ２０１）。音声認識手段２は、入力手段１から入力されたユーザの音声を認識し（ステップＳ２０２）、その認識した発話内容を文字列として出力する。
【００３５】
抽出手段３は、ユーザが１回あたりの発話を行った区間の時間（発話時間長）を計測するとともに、音声認識手段２で得られた文字列の発音数を数え、一発音あたりの発話時間（以下、「単位発話時間」という）を計測する。発音数とは、ユーザの一回あたり発話に基づいて音声認識手段２により得られた音素数やモーラ数、あるいは両者を混在させた数の総数である。抽出手段３は、１回あたりのユーザ発話の単位発話時間を出力する（ステップＳ２０３）。履歴蓄積手段４は、抽出手段３から得られた単位発話時間を蓄積する（ステップＳ２０４）。
【００３６】
習熟度判定手段５は、履歴蓄積手段４に蓄積された単位発話時間の履歴を参照し、各発話の単位発話時間と一つ前の発話の単位発話時間との差分を取り、単位発話時間変化の絶対値である発話時間変化量を算出する。そして、この発話時間変化量が、過去のある一定発話回数内において一定の回数以上ある閾値を超えている場合は（ステップＳ２０５：ＮＯ）発話時間変化量が収束していないため、ユーザの習熟度が低いと判定する（ステップＳ２０７）。一方、この発話時間変化量が、過去のある一定発話回数内において一定の回数以上ある閾値以下に収まっている場合は（ステップＳ２０５：ＹＥＳ）発話時間が収束しているため、ユーザの習熟度が高いと判定する（ステップＳ２０６）。対話制御手段６は、習熟度判定手段５から得られたユーザの発話スタイルに関する習熟度の判定結果に基づき、習熟度が低いと判定された場合は発話スタイルに関するガイダンスを行い（ステップＳ２０９）、習熟度が高いと判定された場合は発話スタイルに関するガイダンスを行わない（ステップＳ２０８）。
【００３７】
ここで、図６から図１１を用いて、発話スタイルに関する習熟度判定方法の具体例を説明する。ユーザが「行き先」と発話したとする。すると、抽出手段３は、ユーザが発話を開始した時間（図７のｔ１）から、ユーザが発話を終了した時間（図７のｔ２）までの１回あたりの発話の発話時間長を計測し（図６のステップＳ２０３）、また、音声認識手段２が認識した結果の「行き先」という文字列から「イキサキ」の４という発音数を取得する（ステップＳ２０２）。そして、ユーザが一発音あたりに要した単位発話時間を算出して、履歴蓄積手段４に蓄積する（ステップＳ２０４）。
【００３８】
図８は、ユーザが発話を行う毎に抽出手段３により計測される発話時間長の履歴を示すグラフである。図９は、ユーザが発話を行う毎に音声認識手段２により認識された発音数の履歴を示すグラフである。図１０は、図８に示す発話時間長及び図９に示す発音数から算出される、ユーザが発話を行う毎の単位発話時間の履歴を示すグラフである。この単位発話時間が履歴蓄積手段４に蓄積される。習熟度判定手段５は、履歴蓄積手段４に蓄積されたユーザの単位発話時間の履歴を参照し、発話時間変化量を計算する（ステップＳ２０５）。図１１には、算出された発話時間変化量の一例を示す。
【００３９】
例えば、過去１０発話中に５発話以上、ある閾値を超えた発話時間変化量があった場合に（ステップＳ２０５：ＮＯ）、習熟度が低いと判定し（ステップＳ２０７）、過去１０発話中に５発話以上、ある閾値よりも低い値があった場合に（ステップＳ２０５：ＹＥＳ）、習熟度が高いと判定する（ステップＳ２０６）。図１１に示す区間１は習熟度が低いと判定された区間を示し、区間２は習熟度が高いと判定された区間を表している。そして、対話制御手段６は、区間１において発話スタイルに関するガイダンスを繰り返し（ステップＳ２０９）、区間２ではガイダンスを行わないように振る舞いを変更する（ステップＳ２０８）。
【００４０】
（発話内容）
次に、図１２に示すフローチャートを参照して、習熟度判定要因が発話内容要因である場合の対話制御処理について説明する。ユーザは、対話制御手段６による音声ガイダンス出力等の対話制御が行われている時に、当該対話制御を中断して音声入力を行う場合、発話開始手段１１を用いて対話制御の中断指示を行う。これにより、発話開始手段１１は対話制御手段６による対話制御を中断して、入力手段１はユーザが発話した音声を入力する（ステップＳ３０１）。抽出手段３は、音声や対話制御中断操作の入力結果に基づいて、対話制御中断回数を抽出する（ステップＳ３０２）。履歴蓄積手段４は、対話制御中断回数を蓄積する（ステップＳ３０３）。
【００４１】
習熟度判定手段５は、履歴蓄積手段４を参照し、所定の発話内容に関する対話制御が過去一定回数内で一定割合以上中断されているかを判定し（ステップＳ３０４）、中断されている場合は（ステップＳ３０４：ＹＥＳ）、発話内容の習熟度が高いと判定し（ステップＳ３０５）、中断されていない場合は（ステップＳ３０４：ＮＯ）発話内容の習熟度が低いと判定する（ステップＳ３０６）。
【００４２】
対話制御手段６は、習熟度判定手段５により判定された発話内容の習熟度に応じて対話制御を変更する。具体的には、発話内容の習熟度が高いと判定された場合、発話内容に関する音声ガイダンスを減らし（ステップＳ３０７）、習熟度が低いと判定された場合、発話スタイルに関するガイダンスを増やす（ステップＳ３０８）。ここで、発話内容に関する具体例を説明する。発話開始手段１１を用いてガイダンスの中断（スキップ）を行い、発話開始を行うやり取りは以下のようなものがある。
ユーザ発話：住所
ガイダンス：認識できませんでした。データの編集を行う場合は、編集で囲まれて・・・
【００４３】
（ユーザのガイダンス中断操作によるビープ音）
ユーザ発話：住所
上記のやり取りでは、ユーザの発話した内容が音声対話装置に認識されず、次に何を入力することができるかの指示を行うガイダンスが流れ始めているが、ユーザはそれを中断する操作を行いすぐにまた同じ内容の音声入力を行っている（図１２のステップＳ３０１）。このような発話開始手段１１の利用を発見するのが抽出手段３である（ステップＳ３０２）。そして、履歴蓄積手段４は、その対話制御中断が行われたことを示す情報を蓄積する（ステップＳ３０３）。習熟度判定手段５は、履歴蓄積手段４からある特定の発話内容を指示するガイダンスに関する対話制御中断の履歴を参照し、対話制御中断回数の収束状態を判定することにより習熟度を求める。たとえば、「ご用件をボタン上の言葉から選んで、お話ください」という内容のガイダンスに対して、ユーザが対話制御をスキップした履歴を図示したものが図１３である。ユーザは最初の４回までは「ご用件をボタン上の言葉から選んで、お話ください」というガイダンスを最後まで聞き、その後の発話を行っているが、それ以降はたびたび発話開始手段１１を用いてガイダンスをスキップしている。ここで習熟度判定手段５は、同一ガイダンスの過去３回の対話制御中断の履歴を参照し、その中で２回以上中断された場合に「ボタン上の内容を話すとその操作を行うことができる」という内容に関するユーザの習熟度が高いと判断する（ステップＳ３０５）。そうでない場合はユーザがまだその内容に関する習熟度が低いと判断する（ステップＳ３０６）。図１３の区間１はユーザの習熟度が高いと判断された区間を示している。そして、対話制御手段６は習熟度判定手段５からユーザの習熟度を受け、「ボタン上の言葉から選択することによりその操作を行うことができる」という内容のガイダンスを、習熟度が高い場合には流さないようにし（ステップＳ３０７）、習熟度が低い場合は流すことができる（ステップＳ３０８）。
【００４４】
なお、上記実施形態では、発話内容要因として対話制御中断回数を例にとって説明したが、発話内容要因はこれに限定されることはなく、例えば、音声対話装置が各種のタスクを行うためのメニュー画面の表示機能を備えている場合、ユーザがあるタスクを完了するまでにメニュー階層を移動した回数であってもよい。この場合には、対話制御手段６は、ユーザの発話内容に関する習熟度が高ければユーザが入力した内容を確認するメッセージだけを流してガイダンスを抑制し、発話内容に関する習熟度が低ければ目的別にどのメニューを利用すればよいかを案内するガイダンスを流すこととなる。
【００４５】
以上説明したように、音声対話装置は、履歴蓄積手段４に蓄積された履歴に基づいて習熟度判定要因の収束状態を判定し、当該収束状態に基づいてユーザの対話行動の習熟度を判定し、当該習熟度に基づいて対話制御を変化させるため、ユーザの一回の対話行動に基づいて習熟度を判定する従来手法に比較してユーザの対話行動の習熟度の判定誤差をなくすことができ、正確に判定された習熟度に応じて適切な対話制御を行うことが可能となる。したがって、ユーザが音声対話装置にあまり習熟していないにもかかわらず偶然に対話が上手に行われた場合や、逆に音声対話装置に習熟しているにもかかわらず対話を上手に行うことができなかった場合にも習熟度を正しく判定することができ、不適切な対話制御が行われることがないため、ユーザは快適に音声対話装置と対話を行うことができる。
【００４６】
なお、習熟度判定要因は、発話タイミングのみを用いてもよいし、発話タイミング以外の要因を用いてもよいし、発話スタイルのみ、発話内容要因のみ、ポーズ時間のみを用いてもよい。発話スタイルと発話内容要因との両方を用いてもよい。或いは、発話タイミングと、発話スタイルと、発話内容要因及びポーズ時間の中の２つ以上の習熟度判定要因を使用した任意の組み合わせでもよい。また、ユーザの習熟度に応じて例えば、習熟度判定要因としてまず発話タイミングを用い、ユーザが発話タイミングに習熟した後に発話スタイルを用い、発話スタイルに習熟した後に発話内容を用いるといったように、段階的に習熟度判定要因を変更してもよい。
【符号の説明】
【００４７】
１  入力手段
１１  発話開始手段
２  音声認識手段
３  抽出手段
４  履歴蓄積手段
５  習熟度判定手段
６  対話制御手段
【図１】
2010084881.tif 000003
【図２】
2010084881.tif 000004
【図３】
2010084881.tif 000005
【図４】
2010084881.tif 000006
【図５】
2010084881.tif 000007
【図６】
2010084881.tif 000008
【図７】
2010084881.tif 000009
【図８】
2010084881.tif 000010
【図９】
2010084881.tif 000011
【図１０】
2010084881.tif 000012
【図１１】
2010084881.tif 000013
【図１２】
2010084881.tif 000014
【図１３】
2010084881.tif 000015
【手続補正書】
【提出日】平成22年6月4日(2010.6.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
（削除）
【請求項２】
ユーザが発話する音声を認識し対話制御を行う音声対話装置であって、
ユーザが発話する音声を入力する入力手段と、
前記入力手段による音声の入力結果に基づいて、前記ユーザの対話行動の習熟度を判定するための要因となる習熟度判定要因を抽出する抽出手段と、
前記抽出手段により抽出された習熟度判定要因を履歴として蓄積する履歴蓄積手段と、前記履歴蓄積手段に蓄積された履歴に基づいて前記習熟度判定要因の収束状態を判定し、該判定された収束状態に基づいて前記ユーザの対話行動の習熟度を判定する習熟度判定手段と、
前記習熟度判定手段により判定された前記ユーザの習熟度に応じて対話制御を変化させる対話制御手段と、を備え、
前記習熟度判定要因は、発話タイミングであることを特徴とする音声対話装置。
【請求項３】
（削除）
【請求項４】
ユーザが発話する音声を認識し対話制御を行う音声対話装置であって、
ユーザが発話する音声を入力する入力手段と、
前記入力手段による音声の入力結果に基づいて、前記ユーザの対話行動の習熟度を判定するための要因となる習熟度判定要因を抽出する抽出手段と、
前記抽出手段により抽出された習熟度判定要因を履歴として蓄積する履歴蓄積手段と、前記履歴蓄積手段に蓄積された履歴に基づいて前記習熟度判定要因の収束状態を判定し、該判定された収束状態に基づいて前記ユーザの対話行動の習熟度を判定する習熟度判定手段と、
前記習熟度判定手段により判定された前記ユーザの習熟度に応じて対話制御を変化させる対話制御手段と、を備え、
前記習熟度判定要因は、ユーザの発話スタイル、ユーザが発話すべき内容を理解しているか否かの指標となる発話内容要因、及びポーズ時間の少なくとも一つを含み、
前記入力手段は、対話制御の中断操作を検知した時に実行中の対話制御を中断して音声入力を開始する発話開始手段を備え、
前記発話内容要因には、対話制御の中断回数が含まれることを特徴とする音声対話装置。
【請求項５】
前記対話制御手段は、前記習熟度判定手段により前記ユーザの対話行動の習熟度が低いと判定された場合には、高いと判定された場合よりも対話制御を強化することを特徴とする請求項２又は４に記載の音声対話装置。
【請求項６】
ユーザが発話する音声を認識し対話制御を行う音声対話装置が行う対話制御方法であって、
ユーザが発話する音声を入力する入力ステップと、
前記入力ステップにおける音声の入力結果に基づいて、前記ユーザの対話行動の習熟度を判定するための要因となる習熟度判定要因を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された習熟度判定要因を履歴として蓄積する履歴蓄積ステップと、
前記履歴蓄積ステップにおいて蓄積された履歴に基づいて前記習熟度判定要因の収束状態を判定し、該判定された収束状態に基づいて前記ユーザの対話行動の習熟度を判定する習熟度判定ステップと、
前記習熟度判定ステップにおいて判定された前記ユーザの習熟度に応じて対話制御を変化させる対話制御ステップと、を備え、
前記習熟度判定要因は、発話タイミングであることを特徴とする対話制御方法。
【請求項７】
コンピュータに、
ユーザが発話する音声を入力する入力ステップと、
前記入力ステップにおける音声の入力結果に基づいて、前記ユーザの対話行動の習熟度を判定するための要因となる習熟度判定要因を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された習熟度判定要因を履歴として蓄積する履歴蓄積ステップと、
前記履歴蓄積ステップにおいて蓄積された履歴に基づいて前記習熟度判定要因の収束状態を判定し、該判定された収束状態に基づいて前記ユーザの対話行動の習熟度を判定する習熟度判定ステップと、
前記習熟度判定ステップにおいて判定された前記ユーザの習熟度に応じて対話制御を変化させる対話制御ステップと、
を実行させるための対話制御プログラムであって、
前記習熟度判定要因は、発話タイミングであることを特徴とする対話制御プログラム。
【国際調査報告】
2010084881.tif 000016
2010084881.tif 000017
2010084881.tif 000018
2010084881.tif 000019
2010084881.tif 000020
2010084881.tif 000021
2010084881.tif 000022