(57)【要約】  本発明は、共通の対話管理システム（１）による複数のアプリケーション（Ａ１、Ａ２、Ａ３、．．．、Ａｎ）の駆動方法を説明する。ここで、ユニークな音響アイコンのセット（Ｓ１、Ｓ２、Ｓ３、．．．、Ｓｎ）を各アプリケーション（Ａ１、Ａ２、Ａ３、．．．、Ａｎ）に割り当てる。共通の対話管理システム（１）は、それぞれのアプリケーション（Ａ１、Ａ２、Ａ３、．．．、Ａｎ）のユニークな音響アイコン（Ｓ１、Ｓ２、Ｓ３、．．．、Ｓｎ）のセットから選択した必要な音響アイコン（Ｉ１、Ｉ２、Ｉ３、．．．、Ｉｎ）を対話フローの一時点において再生することにより、アプリケーション（Ａ１、Ａ２、Ａ３、．．．、Ａｎ）の状態をユーザに通知する。さらに、本発明は、対話管理システムを説明している。該システムは、前記システムにユーザ入力（５）を検出する入力検出機構（４）と、可聴音声（７）を出力する音声出力機構（６）と、ユーザ入力を解釈し可聴音声出力（７）を合成することにより対話フローを調整するコア対話エンジン（８）と、対話管理システム（１）とアプリケーション（Ａ１、Ａ２、Ａ３、．．．、Ａｎ）との間の通信をするアプリケーションインターフェイス（１０）と、アプリケーション（Ａ１、Ａ２、Ａ３、．．．、Ａｎ）に割り当てられたユニークな音響アイコン（Ｓ１、Ｓ２、Ｓ３、．．．、Ｓｎ）のセットのソースと、アプリケーション（Ａ１、Ａ２、Ａ３、．．．、Ａｎ）に対応する音響アイコン（Ｉ１、Ｉ２、Ｉ３、．．．、Ｉｎ）を選択して対話フローの一時点で再生する音響アイコン管理部（１１）とを有する。
2007531141.tif 000002
【特許請求の範囲】
【請求項１】
共通の対話管理システムによる複数のアプリケーションの駆動方法であって、
ユニークな音響アイコンのセットを各アプリケーションに割り当て、
前記共通の対話管理システムは、それぞれのアプリケーションのユニークな音響アイコンのセットから選択した関連する音響アイコンを対話フローの一時点において再生することにより、アプリケーションの状態をユーザに通知することを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、
アプリケーションの音響アイコンを再生してアプリケーションの動作状態の変化をユーザに示すことを特徴とする方法。
【請求項３】
請求項１または２に記載の方法であって、
アプリケーションが可聴アイコンのセットとその使用に関する関連命令とを前記対話管理システムに送ることを特徴とする方法。
【請求項４】
請求項３に記載の方法であって、
アプリケーションの個々の可聴アイコン及び関連命令の識別情報は、前記対話管理システムにより得られ、前記可聴アイコンは要求に応じて前記アプリケーションから前記対話管理システムにより読み出されることを特徴とする方法。
【請求項５】
請求項３に記載の方法であって、
アプリケーションの完全な音響アイコンのセットは、前記ユーザと前記アプリケーションとの間の対話フローの最初、または前記アプリケーションの起動または組み込み時に前記対話管理システムにより取得されることを特徴とする方法。
【請求項６】
請求項１ないし５いずれか一項に記載の方法であって、
前記対話管理システムは、前記アプリケーションの音響アイコンのセット中のユニークではない音響アイコンを修正することにより、及び／または音響アイコンの集まりから前記アプリケーションのユニークな音響アイコンを選択することにより、ユニークな音響アイコンのセットをアプリケーションに提供することを特徴とする方法。
【請求項７】
請求項１ないし５いずれか一項に記載の方法であって、
ユーザとアプリケーション間の対話フローにおいて再生する音響アイコンのセットは、前記対話フローの始めに再生する少なくとも１つのユニークな開始音響アイコンと、及び／または対話フローの最後に再生する少なくとも１つのユニークな終了音響アイコンとを有することを特徴とする方法。
【請求項８】
請求項１ないし５いずれか一項に記載の方法であって、
ユーザとアプリケーション間の対話フローにおいて再生する音響アイコンのセットは、前記対話フロー中の一時点において再生されるいくつかのユニークな情報を有する音響アイコンであって各音響アイコンが前記アプリケーションからの特定タイプのフィードバックを記述する音響アイコンを有することを特徴とする方法。
【請求項９】
請求項１ないし８いずれか一項に記載の方法であって、
音響アイコン及び／または前記音響アイコンの再生特性はユーザプロファイルにおいてユーザに対して指定されていることを特徴とする方法。
【請求項１０】
幾つかのアプリケーションを作動させる対話管理システムであって、
前記システムへのユーザ入力を検出する入力検出機構と、
可聴プロンプトを出力する音声出力機構と、
ユーザ入力を解釈し出力プロンプトを生成することにより対話フローを調整するコア対話エンジンと、
対話管理システムとアプリケーションとの間の通信をするアプリケーションインターフェイスと、
前記アプリケーションに割り当てられたユニークな音響アイコンのセットのソースと、
前記アプリケーションに対応するユニークな音響アイコンのセットから関連する音響アイコンを選択して前記対話フローの各時点で再生する音響アイコン管理部と、を有することを特徴とするシステム。
【請求項１１】
請求項１１に記載の対話管理システムであって、
前記ユーザに音響アイコンを入力させる手段を有することを特徴とするシステム。
【請求項１２】
請求項１１または１２に記載の対話管理システムであって、
外部ソースから音響アイコンのセットまたは個々の音響アイコンを取得するインターフェイスを有することを特徴とするシステム。
【請求項１３】
プログラマブル対話管理システムのメモリに直接ロード可能なコンピュータプログラムであって、前記コンピュータプログラムを前記対話管理システム上で動作させた時、請求項１ないし１０いずれか一項に記載の方法のステップを実行するソフトウェアコード部分を有することを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本発明は共通の少なくとも部分的には音声ベースの対話管理システムによる複数アプリケーションの駆動方法と、複数アプリケーションを駆動する対話管理システムとに関する。
【０００２】
最近のマンマシンインターフェイス分野における発展により、アプリケーションとそのユーザとの間の対話により管理または駆動される技術的装置やアプリケーションの使用が普及している。ほとんどの対話管理システムはビジュアル情報の表示とユーザ側の手作業によるインターラクションに基づくものである。例えば、ユーザは、予定を立てたり入ってくるメールを読んだりするために、パーソナルデジタルアシスタント（ＰＤＡ）を用いて対話または対話フローに入ることができる。対話は、プロンプトと発行する対話管理システムにより実行され、そのプロンプトに対してユーザはペン入力またはキーボード入力により応答する。ユーザはこのようなアプリケーションを要求して、現在起こっているか近い将来に起こるイベントをレポートすることができる。例えば、パーソナルデジタルアシスタントがアポイントメントや重要な日付をユーザにリマインドすることができる。リマインダは、ディスプレイ上にグラフィックスとして表示してもよく、ビープ音やピング音などの人工的な音である音によるリマインダ（audible  reminder）を伴って、ユーザの注意を引きつけて、ユーザにディスプレイを見るようにリマインドして、アプリケーションによるメッセージやリマインダを見させてもよい。同じタイプのビープ音やピング音を一般的な注意喚起のしくみ（a  general  attention-getting  device）として用いてもよいし、異なるタイプの音を用いて異なるタイプのイベントを示してもよい。このようなビープ音等は、言葉の遊びではあるが、一般的に「イヤコン（earcon）」と呼ばれている。音によるアイコン（icon）という意味である。
【０００３】
このような対話がユーザと１つのアプリケーションだけの間で実行される限り、どのイヤコンすなわちビープ音がどのイベントに使われているかを記憶することはそれほど難しくない。しかし、対話管理システムがユーザと複数のアプリケーションとの間の対話を管理する場合には非常に紛らわしくなる。様々なタイプのイベントを示すために使用する音は、一般的にはビープ音等の人工的に聞こえる電子雑音に限定されているからである。ユーザは混乱して音のタイプを取り違えてしまい、対話フローを誤って解釈するかも知れない。
【０００４】
しかし、少なくとも部分的に音声ベースである対話管理システムではユーザはアプリケーションを用いて一方向または双方向の対話をすることができる。ユーザは、発話コマンドを出し、対話システムから目に見えるか耳に聞こえるフィードバックを受け取る。このような例の１つとしてホームエレクトロニクス管理システムがあり、ユーザは発話コマンド（spoken  commands）を出してビデオレコーダ等の装置を起動する。他の例として、自動車のナビゲーション装置その他の動作があり、ユーザがその装置に質問または命令し、装置が応答するか折り返し質問をする。より進んだ対話管理システムは発話プロンプト（spoken  prompts）を出してユーザの発話入力（spoken  user  input）を解釈することができる。例えば、ユーザは自分の電子メールボックスの状態をチェックしたいとき、「私のメールボックスをチェックしなさい」と言う。対話管理システムは、アプリケーションに必要なコマンドを送りその結果を解釈した後に、「メールが届いています」や「メールボックスは空です」などと適宜返事をする。しかし、このような発話フィードバック（spoken  feedback）は簡明なフレーズに限定されていたとしてもじれったいことがある。特に対話管理システムが複数のアプリケーションを同時に駆動している場合にそうなる。例えば、対話管理システムがパーソナルデジタルアシスタント、パーソナルコンピュータ、電話、ホームエンターテイメントシステム、ニュース及び天気予報サービスを制御しているとき、ユーザは音声フィードバックぜめにされることがある。例えば、「誰々より電話がありました」、「今日の天気は晴れです」、「バイエルンミュンヘン対レアルマドリッドの試合は５分後にチャンネルＸＹＺで始まります。録画しますか？」、「２週間以内に歯科検診を受けることになっています。予約しますか？」、「あと５分でインターネット接続が時間切れになります」などである。結局ユーザは、たとえメッセージが意味のあるものであり、具体的にその情報を要求されていても、たくさんのメッセージが出力されるので注意が散漫になる。
【０００５】
音声フィードバックに加えて音のアイコンを介してアプリケーションの状態をユーザに知らせる対話管理システムを提供する試みがあり、「Contextual  Awareness,  Messaging  and  Communication  in  Nomadic  Audio  Environments」（Nitin  Sawnhey著,  M.  SC.  Thesis,  Massachusetts  Institute  of  Technology,  1998）に記載されている。この文献はリモートサーバとインターフェイスできる携帯装置を説明している。サーバ上で起動された１つ以上のプログラムの状態を（典型的にはユーザの襟に装着された）携帯オーディオ装置により報告することができる。この装置は、リモートサーバ上で動作しているプログラムからのメッセージのみを受信して、その（すべて同様の性質を有する）プログラムの動作を監視するだけであり、単一のアプリケーションとして見なせるようにするものである。性質が異なるものであっても、共通の対話システムにより多数の個別アプリケーションを作動して、ユーザがこれらの異なるアプリケーションを監視するだけでなく制御することは、この文献には示唆されていない。
【０００６】
それゆえ、本発明の目的は、容易で高価でない方法であって、ユーザがインターラクトしている異なるアプリケーションを共通の対話管理システムを用いて快適かつ複雑でなく確実に区別できる方法を提供することであり、特にユーザが間違って１つのアプリケーションに向けたコマンドを別のアプリケーションに出さないようにすることである。
【０００７】
このため、本発明は、共通の対話管理システムにより多数のアプリケーションを作動させる方法を提供する。該方法では、ユニークな音響アイコンのセットが各アプリケーションに割り当てられ、前記共通の対話管理システムは、前記アプリケーションのユニークな音響アイコンのセット中から選択した関係のある音響アイコンを対話フロー中の一時点において聞こえるように再生することにより、アプリケーションの状態をユーザに通知する。「音響アイコン」は、アプリケーションから特定タイプのフィードバックを記述するために使用される或るタイプの音声または専用な音声チャンク（chunk）であり、例えば人工的な短い音声チャンク（イヤコン）または現実世界の音に似せた音声チャンク（例えば、恋々のある音の録音）である。
【０００８】
本発明による対話管理システムは、次の要素を有する：前記システムへのユーザ入力を検出する入力検出機構と、可聴プロンプトを出力する音声出力機構と、ユーザ入力を解釈し出力プロンプトを生成することにより対話フローを調整するコア対話エンジンと、対話管理システムとアプリケーションの間の通信をするアプリケーションインターフェイスと、アプリケーションに割り当てられたユニークな音響アイコンのセットのソースと、対話フロー中の適当な時点において再生する、アプリケーションに対応したユニークな音響アイコンのセットから関連する音響アイコンを選択する音響アイコン管理部。
【０００９】
本発明による対話管理システムを用いて多数のアプリケーションを作動することにより、ユーザは、異なるアプリケーションからの異なるタイプのフィードバック間を容易に区別することができる。アプリケーションから通知される各タイプのフィードバックは、ユニークな意味のある音響サウンドがついているので、ユーザは対応するアプリケーションと容易に関連づけることができ、ユーザが混乱して１つのタイプのフィードバックを他のタイプと間違えるようなおそれはない。ユニークな音響アイコンにより、ユーザは現在インターラクトしているアプリケーションに関して常に通知を受けることができる。これにより、ユーザが間違って１つのアプリケーションを他のアプリケーションと間違えてコマンドを発することがなくなる。それゆえ、本発明は完全に音声制御された対話管理システムの場合に特に有利である。または、ユーザが対話をするためにスクリーンを見なければならないことは実際的ではなく危険でもあるアプリケーションにおいて特に有利である。例えば、自動車ナビゲーションシステムのようにユーザが交通状態から気をそらすべきでない場合や、外科医が手術の状態について常に通知を受けながら、その手術に意識を集中しつづけねばならない場合などである。それゆえ、本発明により、例え異なる性質のものであっても、多数の個別のアプリケーションが共通の対話システムにより駆動され、ユーザにより監視及び制御される。
【００１０】
従属項は本発明の特に有利な実施形態と特徴を開示しており、方法の請求項の特徴によりさらにシステムを改良することができる。
【００１１】
本発明による対話管理システムは、ＰＣ、テレビ、ビデオレコーダ等の既存の装置に組み込むこともでき、家庭及び／またはオフィス環境において動作している様々なアプリケーションの状態の使用をユーザに知らせることができる。好ましい実施形態では、対話管理システムは、スタンドアロン装置として、物理的態様はロボットや好ましくは人間として実施される。対話システムは、例えば、独国特許出願第１０２４９０６０Ａ１号に記載されている専用装置として実現されてもよい。この装置は、顔の特徴を有する可動部分をユーザに向けて、装置がユーザの言葉を聞いているような印象を与える。このような対話管理システムは、ユーザが部屋から部屋に移動するとついてくるように構成することもできる。対話管理システムと個々のアプリケーション間のインターフェイスはケーブルで実現されてもよい。好ましくは、インターフェイスは無線（赤外線、ブルートゥース等）で実現し、対話管理システムが基本的にモバイルであり、使用するアプリケーションの近くに限定されない。無線インターフェイスの到達距離が十分長ければ、対話管理システムを使用して、建物内の異なる部屋（オフィスブロックやプライベートの家屋）にある装置の多数のアプリケーションを制御することが容易にできる。対話管理システムと個々のアプリケーション間のインターフェイスは、好ましくは、専用アプリケーションインターフェイス部において管理される。ここで、アプリケーションと対話管理システムとの間の通信は、発話ユーザ入力から解釈されたコマンドまたは命令を各アプリケーションに送り、アプリケーションからユーザに向けられたフィードバックを受信することにより管理される。アプリケーションインターフェイス部は、幾つかのアプリケーションを平行して処理することができる。
【００１２】
対話管理システムにより駆動されるアプリケーションは、パーソナルコンピュータ、ネットワーク、その他のプロセッサにより制御される電子装置上でソフトウェアとして動作するプログラム、または家庭の暖房システム、電子レンジオーブン等の簡単な回路であってもよい。同様に、アプリケーションは、機械的または物理的装置を制御し、またはプロセッサにより通常は制御されない対象を制御すると理解することもできる。このような装置または対象は、例えば郵便受けのような、純粋に機械的な装置または対象であってもよい。このような対象に適当なセンサーと対話管理システムとのインターフェイスを設けて、例えば郵便受けに郵便が入れられた時に対話管理システムに通知されるようにする。このイベントは、次に適当な音響アイコン（例えば、ポストホルン音）によりユーザに通知される。対話管理システムのユーザは、このように、実際に行って見なくても郵便が配達されたことを知ることができる。本発明による対話管理システムのこのようなアプリケーションは、高層住宅に住んでいるユーザや体の不自由なユーザにとって特に有利である。季節に応じてユーザが再プログラミングできる家庭タイプの暖房システム等を本発明の対話管理システムで制御することもできる。ユーザは対話管理システムを利用して、休暇に出かける前に発話コマンドにより暖房システムを容易に再プログラムすることができる。このように、時間がかかる手作業の再プログラミングは必要ない。対話管理システムは、暖房システムの状態をユーザに報告することができ、これにより関連するプロンプトに適当な音響アイコンを付加することができる。アプリケーションはインターコムや電話等の本質的に電子的な装置であってもよい。ここで、対話管理システムは、好適なインターフェイスにより、インターコムや電話に接続して、ユーザがドアを開けたり受話器を取らなくても、適当な音響アイコン（例えば、ドアのところにいる来訪者が扉をノックしている音）を発することによりユーザにイベントを通知することにより、来訪者や電話を処理してユーザを補助することができる。
【００１３】
対話管理システムへのユーザ入力は声であってもよく、ユーザの発話コマンドやコメントをマイクロホン等の入力検出機構により記録することができる。入力検出機構は、対話管理システムが完全に音声制御になっていない場合は、キーボード、マウス、いくつかのボタンをさらに有し、それによりユーザはシステムにコマンドを入力することができる。高度な入力検出機構には、ユーザの動きを感知するカメラを備えていて、ユーザは例えば手を振ったり頭を振ったりしてジェスチャにより対話管理システムとコミュニケーションするようになっている。対話管理システムは、ユーザ入力を解釈し、ユーザ入力が向けられているアプリケーションを決定し、ユーザ入力をそのアプリケーションが理解できる好適な形式に変換する。
【００１４】
発せられたユーザ入力を分析し、アプリケーションからのフィードバックをコア対話エンジンにより出力プロンプトに変換する。対話管理システムは、アプリケーションからのフィードバックに応じてコア対話エンジンにより生成された可聴プロンプトを出力する音声出力機構（好ましくは１つ以上のラウドスピーカ）によりユーザとコミュニケーションする。
【００１５】
コア対話エンジンは、通常の音声認識及び音声合成のステップを実行するユニットやモジュールを有する。例えば、言語理解部や音声合成部等である。対話制御部は、言語理解部により識別されたテキストを解釈し、それが向けられたアプリケーションを特定し、そのアプリケーションが処理できる好適な形式に変換する。さらに、対話制御部は、アプリケーションからの入来フィードバックを分析して、そのアプリケーションと関連したユニークな音響アイコンのセットから選択した好適な音響アイコンを出力音声機構に送る。可聴プロンプトは音響アイコンを含み、アプリケーションからの特定タイプのフィードバックを記述する専用音声チャンク（dedicated  sound  chunks）であると考えてもよい。
【００１６】
アプリケーションは、音響アイコンを用いて、対話フロー中のイベントや、電子メールの到着等のユーザが関心を持っている特定のイベントが発生したことを示す。さらに、例えばユーザがプロンプトを聞き逃した場合に、アプリケーションがユーザの応答を待っていることを示すために音響アイコンを用いることができる。音響アイコンは、好ましくは、ユーザに通知されるべきアプリケーションの動作状態の変化を示すために使用できる。
【００１７】
アプリケーションは、いかなる状況でも使用できる完全な音響アイコンのセットであって、アプリケーションがその状態または動作に関するフィードバックをユーザに提供することができるものを備えている。好ましい一実施形態では、アプリケーションは、その音響アイコンのセットのコピーを、各音響アイコンの好適な使用すなわち再生に関する付随命令や付帯情報とともに、対話管理システムに供給してもよい。これらのアイコンは、対話管理システムにより音響アイコン管理部において管理される。この音響アイコン管理部は、どの音響アイコンがどのアプリケーションに割り当てられたか、及び各音響アイコンが使用されるべきフィードバックのタイプを記録する。対話管理システムは、ユーザとアプリケーションの間の対話フローの始まりにおいて、またはアプリケーションの最初の起動または組み込みの時に、完全な音響アイコンのセットを取得してもよい。また、音響アイコン管理部は、音響アイコンとそれに付随する命令に関するすべての情報をローカルメモリに記憶して後で使用してもよい。このように、対話管理システムは、対話フロー中に何がおこっても、ユーザへの適当なフィードバックを提供するのに必要な音響アイコンを有する。
【００１８】
あるいは、対話管理システムは、最初に、そのセット中の各音響アイコンについて関連する識別情報（例えば、ユニークな記述名や番号）、及び異なる音響アイコンに関連した使用命令のみを提供するようにアプリケーションに要求してもよい。対話管理システムは、メモリのコストを下げるために、次に、必要となった各音響アイコンを要求してもよい。対話管理システムは、前の対話フローに基づいて、近い将来にあるアプリケーションについて必要となるどのタイプの音響アイコンが必要となるか決定して、アプリケーションから事前にこの音響アイコンを要求しておいてもよい。
【００１９】
所定の音響アイコンのセットを利用しないアプリケーションに対して、対話管理システムは適当なセットを提供することができる。このため、対話管理システムは、アプリケーションの性質を判断でき、好適な音響アイコンのセットを決定することができる。または、ユーザが自分で音響アイコンを定義する選択をすることもできる。ユーザはこれを、インターネットからダウンロードするか、サウンドトラックや歌から好適な音声チャンクを抽出することにより、デジタル形式の音声チャンクを見つけることにより行う。また、録音装置を用いて音声チャンクを録音して、その録音を対話管理システムに送ってもよい。例えば、フォーミュラワンレーシングカーの録音を録音または取得して、その録音を対話管理システムに送る。音響アイコン管理部は、その録音をローカルメモリに記憶して、スポーツニュースを提供するアプリケーションがフォーミュラワンレースに関するニュースを更新したときはいつもこの音声チャンクが再生されるように指示する。ユーザは、有利にも、対話管理システムのマイクロホンを用いて好適な音声チャンクを録音することもできる。本発明の好ましい一実施形態において、対話管理システムは、ＵＳＢスティック、メモリカード等のポータブルメモリに接続する好適なインターフェイス、または音響アイコンとして使用する音声チャンクを探してダウンロードするためのインターネット等の外部ネットワークへのインターフェイスを備える。
【００２０】
本発明の特に好ましい実施形態では、対話管理システムは、アプリケーションにそれが必要とする音響アイコンを提供することができる。例えば、アプリケーションは、プロセスの開始を示すか、エラーが発生したことを示してユーザの注意を引きつける１つか２つの音響アイコンのみを使用するかも知れない。しかし、ユーザとアプリケーションの間の対話フローを直感的かつ容易に理解するためには、このように少ない選択肢では不十分である。この場合、対話管理システムは、好適な音響アイコンのセットを利用可能な選択肢の中から選択して、アプリケーションにそれを割り当てることができる。さらに、２つ以上のアプリケーションが同様のまたは同一の音響アイコンをレパートリー中に有していることもある。両方のアプリケーションが同時にアクティブな場合生じるユーザの混乱を避けるために、これらの音響アイコンを対話管理システムで修正するか、同様に好適な異なる音響アイコンにより置き換えることもできる。例えば、新しいアプリケーションをロードする場合、対話管理システムは新しいアプリケーションと関連する音響アイコンを調べて、他のアプリケーションにすでに割り当てられた音響アイコンと比較する。新しい音響アイコンに既存の音響アイコンと同一または非常に似たものがある場合、対話管理システムは好ましくはユーザに通知して、利用可能なものがあれば好適な代替音響アイコンを提案する。代替に使える好適な音響アイコンがない場合、対話管理システムはユーザにプロンプトを出して好適な代替音響アイコンを入力させてもよい。
【００２１】
アプリケーションが使用してユーザに可聴フィードバックを提供することができる音響アイコンの例は、ユーザとアプリケーションの間の対話フローが起動された場合、またはスタンバイから再起動された場合に再生する開始音響アイコンと、ユーザとアプリケーションの間の対話フローが終了し、非アクティブになり、またはスタンバイモードになった時に再生される終了音響アイコンである。開始音響アイコンはそれ自体アプリケーションの性質を反映するべきであるが、終了音響アイコンは開始アイコンの音声を逆に再生したものであってもよい。アプリケーションは有益な音響アイコンを使ってもよい。その音声にはアプリケーションの性質、またはこの音響アイコンと関連した実際のフィードバックタイプに関するヒントが含まれている。例えば、天気予報を提供するアプリケーションは、荒天の場合は風、雨天の場合は雨音、晴天の場合は取りの鳴き声等の天気に関連した音声を有する音響アイコンを再生する。音響アイコンの他の例は、アプリケーションがアクティブな時間中に状態や情報更新を提供するために使用するものである。例えば、パーソナルデジタルアシスタントのアプリケーションは、ユーザに、アポイントメント、入来電子メール、レポートの期限等に関する、異なるタイプの状態フィードバックを提供する幾つかの音響アイコンを有する。例えば、パーソナルデジタルアシスタントは、好適な音響アイコンを用いてアポイントメントについてユーザに繰り返しリマインドし、アポイントメントが近づくにつれてリマインダがますますしつこくなるようにしてもよい。
【００２２】
本発明の好ましい実施形態では、ユーザは、対話フロー中でどのアプリケーションの可聴アイコンを聴きたいか、ユーザプロファイルに好適な情報を入力して指定することができる。音響アイコンの大きさ、対話フロー中で音響アイコンが再生される回数を指定することもできる。また、いろいろなアプリケーションに優先順位を付けて、インターコムからのフィードバックがパーソナルデジタルアシスタント等のアプリケーションよりも優先されるようにすることもできる。このように、ユーザは、対話フローで優先順位の高いアプリケーションと低いアプリケーションが同時にフィードバックを通知する場合に、優先順位の高いアプリケーションが通知されるようにできる。ユーザプロファイルを定期的に、または音響アイコン管理部による修正があるたびに調べて、音響アイコンを再生すべきかどうか、所望の大きさ、この対話フロー中にこの音響アイコンを再生する回数を判断する。
【００２３】
さらに好ましい実施形態では、対話管理システムは、対話フローを解釈することによりユーザの好みを求めることができる。例えば、アプリケーションが適当な音響アイコンにより近づいてくるアポイントメントのリマインダを通知し、ユーザが「分かった、分かった」と答えた場合、対話管理システムは、これを、ユーザがこれ以上リマインド受ける必要がないという意味と解釈して、次にそのアプリケーションによるフィードバックをする場合の音響アイコンを抑制する。対話管理システムの側におけるこのレベルの「知的な」解釈は、ユーザプロファイルでユーザにより指示されてもよい。１人以上のユーザにより使用される対話管理システムは、複数のユーザプロファイルを設定することが好ましく、各ユーザが自分のプライベートユーザプロファイルを有し、自分自身の個人的な好みを指定することができる。
【００２４】
本発明による対話管理システムは、ソフトウェアモジュールやコンピュータプログラム製品を組み込むことにより、上記の処理ステップの一部を実行することができる。このようなコンピュータプログラム製品は、プログラマブルな対話管理システムのメモリに直接ロードすることができる。コア対話エンジン、アプリケーションインターフェイス部、及び音響アイコン管理部等のユニットやモジュールの一部は、コンピュータプログラムモジュールの形で実現することができる。必要なソフトウェアやアルゴリズムは、ハードウェア装置のプロセッサのために符号化してもよい。また、既存の電子装置を容易に適応させて、本発明の特徴からの利益を享受することができる。あるいは、上記のようにユーザ入力と出力プロンプトを処理するユニットまたはブロックは、等しくハードウェアモジュールを用いて実現することもできる。
【００２５】
本発明の他の目的及び特徴は、添付した図面を参照して以下の詳細な説明を読めば、明らかとなるであろう。しかし、言うまでもなく、図面は例示だけを目的として描かれたものであり、本発明を限定するものではない。限定は添付した請求項を参照されたい。
【００２６】
図を説明するが、本発明のその他の可能な実施を排除するものではなく、システムをユーザ装置（例えばホーム対話システム）の一部として示す。説明を明確にするため、ユーザと本発明の一実施形態である装置とのインターフェイスは図示しない。
【００２７】
図１は、外部の複数のアプリケーションＡ１、Ａ２、Ａ３、．．．、Ａｎと通信するインターフェイスを有する対話管理システム１を示す。アプリケーションＡ１、Ａ２、Ａ３、．．．、Ａｎは、ブロックとして簡略化して示したが、実際にはどんな種類の「アプリケーション」でも「機能」でもよく、それに関してユーザが通知を受けたいものであるか、何らかの方法で制御したいものである。この実施例では、アプリケーションＡ１、Ａ２、Ａ３、．．．、Ａｎは、なかんずくパーソナルデジタルアシスタントＡ１、ニュース及び天気予報サービスＡ２、及び電話Ａ３を含む。
【００２８】
対話管理システム１は、該対話管理システム１とアプリケーションＡ１、Ａ２、Ａ３、．．．、Ａｎとの間で送られる入出力情報を処理するアプリケーションインターフェイス１０を備えている。さらに、対話管理システム１は、各アプリケーションＡ１、Ａ２、Ａ３、．．．、Ａｎが備えている音響アイコンと、その音響アイコンをいつ再生すべきかに関する情報をそのアプリケーションから取得することができる。この情報は音響アイコン管理部１１に格納される。この実施例では、アプリケーションの１つＡ１が、その音響アイコンのセットに関するすべての関連情報を対話管理システム１に自動的に与える。関連情報とは、例えばアプリケーションＡ１がいつ起動すなわちブートされるか等の情報である。他のアプリケーションＡ３は、その音響アイコンに関する記述的情報のみを事前に送って、音響アイコンが対話フロー中で実際に必要になった場合に、要求に応じて単一の音響アイコンを送ってもよい。対話管理システム１は、アプリケーションＡ１、Ａ２、Ａ３、．．．、Ａｎが起動された時に、アプリケーションＡ１、Ａ２、Ａ３、．．．、Ａｎに要求して、必要に応じて１つ以上の音響アイコンに関する情報を提供させることができる。
【００２９】
すべてのアプリケーションが、自由になる好適な音響アイコンのセットを完全に有している訳ではない。アプリケーションによっては音響アイコンを有していなかったり、同一の音響アイコンを有していたりする。このような状況に対処するため、音響アイコン管理部１１は、所定の音響アイコンの集まり１３から好適なものを選択して、その音響アイコンをアプリケーションＡ２に割り当てることができる。このようなアプリケーションの場合、ユーザは、音響アイコン管理部１１がアプリケーションＡ２に特定の音声録音（sound  recording）を割り当てることを好むかも知れない。例えば、天気予報サービスＡ２が晴天の報告をする時には、鳥の鳴き声を聞きたいと思うかも知れない。嵐の予報の場合には、雷の音を聞きたいと思うかも知れない。ユーザはこれらの録音（recording）をユーザインターフェイスを介して好適なフォーマットのオーディオデータとして入力して、音響アイコン管理部１１に天気予報サービスアプリケーションＡ２に割り当てさせることができる。このような録音を有する音響アイコン管理部１１を提供する他の方法として、好適なインターフェイス１４を介して、外部コンピュータまたはインターネット等のネットワーク１２からダウンロードする方法がある。
【００３０】
音響アイコン情報を取得する異なる方法により、対話管理システム１は、対話フロー中で必要に応じて必要な音響アイコンを再生するために、必要とする全ての情報を集めることができる。
【００３１】
この実施例中の対話フローは、ユーザ（図示せず）と対話管理システム１により作動されたいろいろなアプリケーションＡ１、Ａ２、Ａ３、．．．、Ａｎとの間のコミュニケーションにより構成されている。ユーザは、発話コマンド（spoken  commands）を発する。すなわち、マイクロホン５を通して対話管理システム１に要求する。発話コマンドすなわち要求は、入力検出機構４で記録されデジタル化される。その入力機構４は、記録された音声入力をコア対話エンジン８に送る。このエンジン８は、音声認識に含まれる通常のステップを実行するブロックを有する。オーディオインターフェイスブロック２０は、自動音声認識器２２１に送る前に、入力音声信号に必要なデジタル信号処理を実行する。この処理により入力オーディオ信号から認識可能な音声成分が抽出され、言語理解ブロック２２に送られる。言語理解ブロック２２において、ユーザの発話コマンドすなわち要求の関連性（relevance）が分析され、対話コントローラ２３に適当に送られる。その対話コントローラ２３は、ユーザ入力を適当なアプリケーションＡ１、Ａ２、Ａ３、．．．、Ａｎにより実行可能なコマンドすなわち要求に変換する。
【００３２】
ユーザからさらに情報を取得する必要がある場合、例えば自動音声認識ブロック２１と言語理解ブロック２２が発話コマンドを解釈すなわち理解できない場合、または発話コマンドを起動されているアプリケーションＡ１、Ａ２、Ａ３、．．．、Ａｎのいずれにも適用できない場合、対話コントローラ２３は適当な要求を生成してそれを音声ジェネレータ２４に送る。音声ジェネレータ２４においてその要求が音声合成される。オーディオインターフェイスブロック２０は、出力音声信号に必要なデジタル信号処理を実行する。出力音声信号は、次に、ラウドスピーカ等の音声出力機構６において変換されて可聴音声７となる。
【００３３】
図１に示した対話管理システムにより制御された対話フローの典型的な実施例において、ユーザは自分のパーソナルデジタルアシスタントＡ１のダイアリーに予定を入力したいと思うかも知れない。ユーザは、「来週月曜日の午前１１時に税金アドバイザーとのアポイントメントを入力」と言うだけでよい。コア対話エンジン８は、そのコマンドを適当な形式に変換して、パーソナルデジタルアシスタントＡ１に送る。アポイントメントがパーソナルデジタルアシスタントＡ１に問題なく入力できると、適当なフィードバックが対話管理システム１に通知される。対話管理システム１は、出力すべき適当な確認フィードバック（例えば、「ＯＫ」や「了解」などの発話）を選択する。
【００３４】
その日の同じ時間に予定がすでに入っている場合、パーソナルデジタルアシスタントＡ１は、対話管理システム１に通知する。対話管理システム１では、アプリケーションインターフェイス１０及び／または対話コントローラ２３がアプリケーションからの応答を解釈して、適当な音響アイコンを選択する。例えば、シンバルを鳴らす音により、新しいアポイントメントがすでに入力されているアポイントメントと衝突することを示す。また、対話コントローラ２３は、好適なプロンプトの生成をトリガーする。例えば、「１１時には誰それとのアポイントメントがあります」などである。任意的に、ユーザは詳細なフィードバックがいらない場合には、プロンプト出力を無効（deactivate）にしてもよい。
【００３５】
この実施例では、ユーザはユーザプロファイルに音声アイコンの再生に関する自分の好みを特定して、使用するアプリケーションで生じるイベントについて通知を受けたい範囲と、対話フロー中で優先するアプリケーションとをカスタマイズまたは設定している。これらの好みは、ユーザが後で変更するまで保持されてもよいし、一時的なものであってもよい。例えば、ユーザは、ある時間内の反応の仕方を対話管理システムに命じる（tell）ことができる。例えば、ユーザが「本当に重要でない限り、２時間は邪魔をするな」と命じた場合、対話管理システムはその２時間以内に発生した重要でないイベント（例えば自動的な天気予報の更新など）の通知を控える。そして、比較的重要でないイベント（例えば今後の予定の２４時間リマインダである。例えば「明日の午後３時に歯医者」などである）はすべて２時間遅らせる。比較的重要なイベントの場合だけユーザはインターラプトされる。比較的重要なイベントとは、例えばその時間内に予定されているアポイントメントであり、例えば「取締役とのミーティングまで後１５分」や電話アプリケーションＡ３に重要であるとタグされている顧客からの電話などである。対話管理システムは、ユーザプロファイル３に指定されている情報を調べて、何が重要で何が比較的重要でないかを決定する。
【００３６】
他の好みとして、２つ以上のアプリケーションが音響アイコンを同時に再生する場合にそのアプリケーションに与えられる優先順位を指定してもよい。この場合、ユーザのユーザプロファイル１３の指定は、ニュース及び天気予報サービスＡ２よりも電話Ａ３の方が優先度が高いとなっている。ニュース及び天気予報サービスＡ２が自動的に最新ニュースを与えようとしている時に同時に電話がかかってきた場合、アプリケーションインターフェイス１０は電話アプリケーションＡ３の方が、優先度が高いことを了知し、ニュース及び天気予報サービスＡ２の音響アイコンを抑制する。ニュース及び天気予報サービスＡ２の音響アイコンは遅らせて、後で出力してもよい。
【００３７】
本発明を好ましい実施形態及びそのバリエーションの形で開示したが、言うまでもなく、本発明の範囲から逸脱することなく多数のさらに別の修正やバリエーションを考えることができる。例えば、音響アイコン管理部はコア対話エンジンの一部として実施することもできるし、対話コントローラ等の別のモジュールに組み込んでもよい。本発明の一実施形態では、対話システムは一言二言を処理すれば現在のユーザの声の質を決定することができ、ユーザは識別コードを入力することによりシステムに自分を知らせることができる。この識別コードを用いて記憶されたユーザプロファイル情報にアクセスし、またはオーディオインターフェイスの適当な制御パラメータを生成することができる。
【００３８】
説明を明瞭にするため、本出願では、「１つの」とは複数の場合を排除するものではなく、「有する」とはその他のステップや要素を排除するものではない。「何々部」や「モジュール」とは単一のユニットやモジュールでの実施を限定するものではない。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施形態による対話管理システムを示すブロック図である。
【図１】
2007531141.tif 000003
【国際調査報告】
2007531141.tif 000004
2007531141.tif 000005
2007531141.tif 000006