(57)【要約】  本発明は、コミュニケーション装置ＤＳによりコミュニケーションをする方法を記載し、ここで、合成音声ｓｓが該コミュニケーション装置ＤＳから出力され、合成音声ｓｓの意味内容にしたがって、合成音声ｓｓと同時に光信号ｌｓが出力される。更に、適切なコミュニケーション装置ＤＳが記載される。
2009500679.tif 000002
【特許請求の範囲】
【請求項１】
コミュニケーション装置によりコミュニケーションをする方法であって、
‐合成音声が前記コミュニケーション装置から出力され、
‐光信号が、前記合成音声の意味内容に従って、前記合成音声と同時に出力される
方法。
【請求項２】
出力された前記光信号が、前記合成音声の韻律的内容に依存する、請求項１に記載の方法。
【請求項３】
出力された前記光信号の色が、前記合成音声に依存する、請求項１又は２に記載の方法。
【請求項４】
出力された前記光信号の強度が、前記合成音声に依存する、請求項１乃至３の何れか一項に記載の方法。
【請求項５】
出力された前記光信号の持続期間が、前記合成音声に依存する、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
出力された前記光信号の形状が、前記合成音声に依存する、請求項1乃至５の何れか一項に記載の方法。
【請求項７】
出力された前記光信号が、先行する光パターンに基づく、請求項1乃至６のいずれか一項に記載の方法。
【請求項８】
意味タグが出力テキスト及び／又は該出力テキストの抽象的な表現から構成され、
光パターンが各々の前記意味タグに割り当てられ、
前記光信号が前記合成音声と同時に出力され、該光信号が、抽出された意味マーカに割り当てられる前記光パターンに対応する、
請求項1乃至７の何れか一項に記載の方法。
【請求項９】
合成音声を出力する音声出力ユニットと、
光信号を出力する光信号出力ユニットと、
出力された前記光信号が、出力された前記合成音声の意味内容に対応するように構成されるプロセッサユニットと
を有するコミュニケーション装置。
【請求項１０】
出力テキスト、及び／又は、出力されるべき前記出力テキストの抽象的表現から、意味タグを構成する前記プロセッサユニットを有する、請求項９に記載のコミュニケーション装置。
【請求項１１】
前記意味タグを記憶するとともに、前記意味タグに割り当てられる光パターンを記憶する記憶ユニットを有し、該記憶ユニットにより、前記プロセッサユニットは、出力された前記光信号が、前記出力テキスト及び／又は前記出力テキストの抽象的な表現から構成される前記意味タグに割り当てられる前記光パターンに基づくように実現される、請求項９又は１０に記載のコミュニケーション装置。
【請求項１２】
請求項９乃至１１の何れか一項に記載のコミュニケーション装置を有する対話型システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コミュニケーション方法及びコミュニケーション装置に関し、特に対話型システムに関する。
【背景技術】
【０００２】
マンマシンインタフェースの領域における近年の発展は、装置と、装置のユーザとの間の対話を通じて操作される技術的な装置の広範囲な使用をもたらす。いくつかの対話型システムは、視覚的情報のディスプレイと、ユーザの側のマニュアルインタラクションとに基づく。例えばほとんどすべての携帯電話は、携帯電話のディスプレイにオプションを示し、特定のオプションを選択するために適切なボタンをユーザが押すことに基づく操作の対話により、操作される。更に、ユーザが対話型システムとの口頭の対話に入ることを可能にする、音声ベースの対話型システム、又は少なくとも部分的な音声ベースの対話型システムが存在する。ユーザは、口頭の命令を出すとともに、対話型システムから視覚的及び／又は可聴式フィードバックを受け取ることができる。１つのこのような例は、ビデオレコーダのような装置をアクティブにするために、ユーザが口頭で命令を出す、ホームエレクトロニクス管理システムであっても良い。これらの対話型システムに共通の特徴は、音声を含む音入力を記録するとともに処理し、ユーザに対して合成音声を生成するとともに提供するオーディオインタフェースである。上述の対話型システムに加えて、装置との対話にユーザが実際に入ることはできないが、ユーザに対して情報を報告するための音声出力を特徴とする、更なるコミュニケーション装置が利用可能である。それゆえ、以下では、合成音声を生成するとともに出力することができる装置及びシステムは、「コミュニケーション装置」と定義され、これにより、対話型システムは、ユーザとシステムとの間の非常に自然な双方向のインタラクションを提供するので、このようなコミュニケーション装置の特に好ましいバリエーションである。
【０００３】
対応する表情のアニメーションを同時に表示する、例えば適切な唇の動きを示すことにより、合成音声の理解をサポートする試みがなされている。２０年以上前から、研究者は、人工のキャラクタのこのような表情のアニメーションと、合成音声との統合を行い、人工の「語り手の顔（talking  head）」を生成している。いくつかの製品が市場でアニメーションにされたエージェントが話すのをサポートしている。
【０００４】
重要な問題は、音声と適切な唇の動きとの合成である。／ａ／のようなより開いた音に対して、口は広く開ける必要があり、／ｉ／のような他の音に対して、口はかなり閉ざされ、／ｕ／に対して口は、閉ざされるとともに、丸くされる等である。同期が成功する場合、合成音声は、理解するのが容易であるが、同期がとれない場合、理解はより困難にされる。例えば／ｂ／が聴覚上合成され、同時にディスプレイ上に／ｇ／の唇の動きを同時に示す場合、視覚的刺激が通常支配的であり、その結果ユーザは、合成音声をより誤解しがちである。
【０００５】
他の問題は、音声と適切な顔及び体のジェスチャとの間の同期である。文化の間で違いがあるが、重要な言葉は、通常、より高いイントネーション、及び／又は、一方若しくは両方の眉毛を上げる、肩をすくめる等のようなジェスチャにより強調される。質問は、しばしば更に目を大きくしながら、対話のパートナーを直接見ること、及び、センテンスの最後のイントネーションを上げることにより強調され得る。ここでも正しい同期が理解の助けになるが、「うまくいかない」同期は、実際に合成音声の理解を損ない得る。
【０００６】
今までのところ、研究及び商業的な開発は、一様に、特に表情及び唇の動きのより自然な振る舞いの実現に集中している。
【０００７】
ユーザビリティ研究所における複雑且つ高価なシミュレーションは、音声と視覚的な手がかりとの間の同期が不完全である（すなわち人と人とのコミュニケーションからの経験に対応しない）場合、音声の理解度が低下するということを示した。音響‐韻律的手がかりが、アニメーションにされたキャラクタにより十分に反映されていない、すなわち人間の振る舞いに類似していない場合、エージェントのユーザの側の全体としての理解は、より困難にされる。
【０００８】
多くの研究がなされているが、信頼できる多様なエージェントを作ることの困難さは残る。１つの主な理由は、コミュニケーションが人間の歴史において経験として持ってきた重要な役割のため、人間が、表情及び他の言語によらない手がかりに対して極めて敏感であるからである。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
それゆえ、本発明の目的は、音声出力の一貫した支援的な視覚的向上を提供するコミュニケーション方法及びコミュニケーション装置を提供することである。
【課題を解決するための手段】
【００１０】
本発明によるコミュニケーション方法において、合成音声は、コミュニケーション装置から音響的に出力される。該合成音声の出力と同時に、出力合成音声の意味内容に依存する、光信号が放出される。
【００１１】
本発明の基礎を成す実験は、抽象的な音声表現のこのような可視化で、出力合成音声の理解が向上することを示している。これは、特に、ユーザ、すなわち聴く人又は視る人が、同時合成音声と光信号とを解釈する方法を学習している場合である。学習は、出力情報を観察することにより、自動的に後続する。本発明の利点は、特に、出力合成音声に対応する唇の動き／顔のジェスチャと出力光信号との間に類似性が存在しない場合に達成される。
【００１２】
本発明は、特に、音声の理解の視覚的なサポートにおいて、音響的な出力音声に相反する視覚的情報の出力すること、例えばユーザに対して／ｂ／を音響的に提示し、一方ディスプレイ上で／ｇ／の唇の動きを視覚的に表示することを差し控えることが重要であるという知識に基づく。音声理解を視覚的にサポートすることにおけるこのような「トラップ」を避けることは、今まで知られた方法で保証されていない。今、本発明による方法で、このようなトラップを避けることが可能にされ、これは、前記方法を初めて使用する前に、音声と出力光信号との間のつながりがユーザによって記憶されておらず、誤解が起こり得ないからでもある。
【００１３】
従属請求項及び以下の記載は、本発明の特に有利な実施例及び特徴を開示する。
【００１４】
本発明によると、光信号は、出力合成信号の意味内容に依存して出力される。しかしながら、好ましくは、出力光信号は、韻律的内容、特に意味内容に関する韻律的な内容にも依存する。「韻律的内容」という用語は、実際の音声の音とは別に、ピッチ、リズム、及びボリュームのような音声の特性を意味する。音声の感情的な内容は、このような韻律的要素によっても、もたらされる。更に、韻律的要素も、センテンス、構造、イントネーション等のような意味的情報を規定する。
【００１５】
特に、現在の出力光信号は、現在の出力合成音声に依存する。適切な光パターンの決定のための適切な文脈は、発話全体、センテンス、及び句のような構文的に規定されるセンテンスの要素であり得る。代替として、又は付加的に、出力光信号は、現在出力される音声の音、又は言葉のみに関連することも可能である。
【００１６】
好ましくは、出力光信号の色、強度、及び持続期間、並びに／又は形状（輪郭若しくは外形）は、出力合成音声に依存する。
【００１７】
本発明の特に好ましい実施例において、出力光信号は、所定の、好ましくは抽象的な光パターンに対応するか、又は該光パターンに基づく。「抽象的」という用語は、光パターンにより出力合成音声の唇の動き又は顔のジェスチャを表現しようとはしないことを暗示する。光パターンは、出力されるべき光信号を記述するパラメータのセットを有し得る。このような単純な光パターンの適用は、本発明の成功を大幅に高め得る。
【００１８】
光パターンは、好ましくは、比較的低い光学分解能のみを有する。光パターンは、好ましくは、５０未満の光照射野、より好ましくは３０未満、更に好ましくは２０未満、特に好ましくは、１０未満の光照射野を有する。本発明の基礎を成す実験において、５と１０との間の光照射野を実現する実施例がユーザにより容易に学習されることが判明しているが、音声理解の効果的なサポートを更に提示する。
【００１９】
好ましくは、光照射野は、同じ外形及び形態を有する。光パターンは、特に、個々の光照射野により放出される光信号の色、強度、及び持続期間を通じて規定され得る。更に、光パターンは、個々の光照射野により放出される光信号の色、強度、及び持続期間の時間的な振る舞いに関連するとともに、特定の時間における光照射野により放出される光信号の空間的な構成に関連する情報により、更に規定され得る。光パターンは、連続して、又は同時に現れる光パターンのセットによっても規定され得る。光照射野は、好ましくは、１又はそれより多くの色付きのＬＥＤ（発光ダイオード）を有する。
【００２０】
本発明によると、放出された光信号は、出力合成音声の意味内容に依存する。この目的のため、意味タグが、出力テキスト、すなわち出力されるべきテキストの抽象的な表現、好ましくは意味的な表現、及び／又は出力テキストから、特に出力計画モジュール、又は言語計画モジュールにより、音声生成プロセスの間に構成され得る。
【００２１】
出力テキスト及び／又は抽象的な表現は、対話管理モジュールにより、出力計画モジュール又は言語計画モジュールに転送され得る。
【００２２】
光パターン又は光パターンのセットは、これにより各々の意味タグに割り当てられ得、その結果音声出力は、出力テキスト及び／又は出力テキストの抽象的な表現に従って事前に構成される意味タグに対応する光パターンの出力により、サポート又は向上される。
【００２３】
それゆえ、各々のタグ、特に各々の意味タグは、ある光パターンの出力をトリガする。いくつかのタグが音声のセグメントにおいて同時に生じる場合において、いくつかの対応する光パターンは、好ましくは、適切な光信号を組み合わせるか、又はオーバーレイすることにより、組み合わせで、又は並列で出力される。例えばセンテンスレベルのタグは、単語レベルのパターンの光パターンがどの一般的な色でディスプレイされるかを決定することができる。疑問文は、発言の基本的な色（例えば緑）とは異なる基本的な色（例えば赤）を有し得る。同様に、対話状態タグも、光パターンに影響し得る（例えば低い機密レベルのみと認識された入力に対する応答は、全体的に低減された光の強度を付与され得る）。単語及び音素タグ又は光パターンは、これらのより一般的なタグ又は光パターンに、それぞれオーバーレイされ得る。したがって、実現される可視化は、自然な口のパターンを抽象化せず、又は、抽象化するだけでなく、合成音声出力のユーザの理解を向上させるために、抽象的なパターンを実現するという点で、更に行われるということが達成される。
【００２４】
一方、意味タグは、好ましくは所定の意味基準に基づく、意味内容を記載する。例えば以下の意味タグは、個々に、又は組み合わされて、規定されても良い。
【００２５】
対話状態タグ、例えば：
‐確認要求（出力合成音声が確認を必要とするか？）
‐重大な機密レベル（機密レベルは重大か？）
‐システム情報出力（出力合成音声がシステム情報を有するか？）
【００２６】
センテンスレベルタグ、例えば：
‐出力音声が自信のある発言を含むか？
‐出力音声が丁寧な発言を含むか？
‐出力音声が自信のない発言を含むか？
‐出力音声が疑問文の形態の丁寧な発言を含むか？
‐出力音声が自由回答の質問を含むか？
‐出力音声が修辞的な質問を含むか？
‐出力音声が丁寧な命令を含むか？
‐出力音声が厳格な命令を含むか？
‐出力音声が機能的に重要なセンテンスを含むか？すなわち、このセンテンスは、対話をうまく続けるために必須のことを意味しているか？
‐出力音声が丁寧なセンテンスを含むか？
‐出力音声が敏感なセンテンスを含むか？すなわちこのセンテンスが、個人的に敏感な情報を含むか？
【００２７】
単語／句レベルタグ、例えば：
‐出力音声がコミュニケーションのキーワードを含むか？（すなわち、この言葉の意味が誤って理解される場合、発言全体の意味は誤っている）
‐出力音声が重要な動詞句を含むか？
‐出力音声が、重要な句に相関のある目的語句を含むか？
‐出力音声が、動作の動詞句を含むか？
【００２８】
ある基準に対する意味タグは、そのとき、「はい」若しくは「いいえ」の回答、又は０と１００との間の数のような量的な発言により規定され得、これにより、対応する質問が「はい」と答えられ得る確実性に比例して、数が大きくなる。光パターンは、各々の質問に対して各々のあり得る回答に割り当てられ得る。
【００２９】
光パターンの、単語及び音素に対する関連の更なる例は、
‐ＰＯＳ（音声の部分）−関連タグ（動詞、名詞、代名詞等）：例えば光パターンの異なる形状が、様々なタイプの単語に割り当てられ得る。
‐母音関連タグ：より大きな光の強度を持つ光パターンが、全ての母音に割り当てられ得るか、又は異なる強度の光パターンが、異なる母音に割り当てられ得る。
‐摩擦音関連タグ：異なる光パターンが異なる摩擦音に割り当てられ得る。
【００３０】
好ましい実現例によると、放出された光信号は、出力合成音声の韻律的内容に依存する。これは、特に意味的に重要性をもつ韻律的内容に当てはまる。例えば、センテンスは、カンマ、感嘆符、疑問符等の句読点により解析され、通常、あるセンテンスセグメントのイントネーション、又はセンテンスの最後の声の抑揚により伝えられる。当然、話し手のムードのような、他の韻律的マーカ又はタグも、光信号を放出するとき、意味的重要性を持つ韻律的マーカ又はタグに加えて考慮され得る。
【００３１】
コミュニケーションの方法に従って、本発明は、コミュニケーション装置も有する。本発明によるコミュニケーション装置は、合成音声を出力する音声出力ユニットと、光信号を出力する光信号出力ユニットとを有する。プロセッサユニットは、光信号が出力合成音声の意味内容にしたがって出力されるように実現される。更に、コミュニケーション装置は、テキストトゥスピーチ（ＴＴＳ）コンバータのような音声合成ユニットを、例えば音声出力ユニットの一部として、又は音声出力ユニットに加えて有し得る。コミュニケーション装置は、対話型システム又は対話型システムの一部であり得る。
【００３２】
出力テキスト及び／又は抽象的な表現から意味タグを構成するために、コミュニケーション装置は、好ましくは言語計画ユニット又は出力計画ユニットを有する。
【００３３】
本発明の好ましい実施例によると、コミュニケーション装置は、意味タグを記憶するとともに、意味タグに割り当てられた光パターンを記憶する記憶ユニットを有する。
【００３４】
方法の従属請求項に対応する、装置の請求項の更なる発展形も、本発明の範囲内にある。コミュニケーション装置は、いかなる数のモジュール、コンポーネント又はユニットを有してもよく、いかなる態様で配分されても良い。
【００３５】
本発明の他の目的及び特徴は、添付の図面と組み合わせて考慮される以下の詳細な説明から明らかになるであろう。しかしながら、図面は、単に説明目的を意図され、本発明の制限の規定として意図されていないことを理解されるべきである。
【発明を実施するための最良の形態】
【００３６】
図１は、本発明によるコミュニケーション装置とコミュニケーションする方法の情報フローを示し、特に対話型システムにより出力され、光信号の出力によりサポートされる、合成音声の一例の情報フローを示す。ここで対話型システムは、コミュニケーション装置の例である。
【００３７】
まず、対話型システムＤＳの対話管理モジュールＤＭが、取られるべき出力アクションを決定する。この出力アクションに対応する出力アクション情報ｏａｉの決定は、次のステップにおいて、対話型システムＤＳの出力計画モジュールＯＰに転送される。
【００３８】
出力計画モジュールＯＰは、適切な出力様式を選択し、対応する意味的表現ｓｒを、対話型システムＤＳの様式出力レンダリングモジュールに送信する。図は、様式出力レンダリングモジュールの一例として、言語レンダリングモジュールＬＲ、画像及びモーション計画モジュールＧＭＰ、及び光信号計画モジュールＬＳＰを示す。
【００３９】
例えば出力計画モジュールＯＰは、システムにより話されるべきセンテンスの意味的表現ｓｒを、言語レンダリングモジュールＬＲに送信する。そこで意味は、（おそらくメタタグを多く付けられた）テキストに処理され、当該テキストは、レンダリングされた音声を出力するスピーカを備える音声レンダリングモジュールＳＲに続いて転送される。
【００４０】
従って、センテンスの意味的表現ｓｒは、画像及びモーション計画モジュールＧＭＰにおいて視覚的情報に変換され、それから画像及びモーションレンダリングモジュールＧＭＲに転送され、そこでレンダリングされる。
【００４１】
光信号計画モジュールＬＳＲにおいて、センテンスの意味的表現ｓｒは、対応する光パターンに変換され、それから、光信号レンダリングモジュールＬＳＲに転送され、光信号ｌｓとして出力される。
【００４２】
この対話型システムＤＳにおいて、意味的表現ｓｒそれ自体が、時間同期制御ストリームを生成するために、出力計画モジュールＯＰにより直接分析され、それから音声レンダリングモジュールＳＲ、光信号レンダリングモジュールＬＳＲ、並びに画像及びモーションレンダリングモジュールＧＭＲにより処理され、オーディオビジュアル出力に変換される。
【００４３】
図２のブロック図は、コミュニケーション装置、特に対話型システムＤＳを示す。対話型システムＤＳは、再び、合成音声を出力する音声レンダリングモジュールＳＲ、及び光信号を出力する光信号レンダリングモジュールＬＳＲを有する。
【００４４】
必要なソフトウェアを備えるプロセッサユニットは、出力音声を特徴付ける意味タグを抽出するために、出力されるべき意味的表現ｓｒを分析する。抽出可能な意味タグは、これらのタグに割り当てられた光パターンとともに、プロセッサユニットＰＥによりアクセスされうる記憶ユニットＳＰＥに記憶される。
【００４５】
プロセッサユニットＰＥは、出力音声から抽出された意味タグと関連付けられた光パターンを取り出すために、記憶ユニットＳＰＥに、該プロセッサユニットがアクセスできるような態様で実現される。これらの光パターン又は適切な制御情報は、光信号レンダリングユニットＬＳＲに転送され、その結果、対応する光信号の出力に、効果が発揮され得る。対応する音声の出力は、音声レンダリングモジュールＳＲにおいて同時に効果が発揮される。
【００４６】
更に、プロセッサユニットＰＥは、テキストトゥスピーチ（ＴＴＳ）コンバータの基本的な機能、意味マーカを抽出する音声分析プロセス、出力計画モジュールＯＰ、及び対話管理モジュールＤＭが実行され得る態様で実現され得る。
【００４７】
本発明は、好ましい実施例及びその変形例の形態で開示されているが、多くの付加的な修正及び変形が、本発明の範囲から逸脱することなくここになされ得ることが理解されるであろう。例えば記載された出力レンダリングモジュールは単なる例であり、当業者により、本発明の範囲から逸脱することなく付加又は修正され得る。
【００４８】
明確にするため、この出願を通じて単数形の使用は、複数形を排除せず、「有する」「含む」という言葉は、他のステップ又は要素を排除しないことは、理解されるべきである。
【図面の簡単な説明】
【００４９】
【図１】図１は、対話型システム内の情報フロー図である。
【図２】図２は、コミュニケーション装置のブロック図である。
【図１】
2009500679.tif 000003
【図２】
2009500679.tif 000004
【国際調査報告】
2009500679.tif 000005
2009500679.tif 000006
2009500679.tif 000007