(57)【要約】  装置の情報は、装置のユーザに対して感情に訴える形で伝達される。装置の作動状態を表す入力が受信される。入力は、擬似的な感情状態を表すデータに変換される。アバターにより表現される擬似的な感情状態に関する質問が受信される。質問に対して返答される。【選択図】図１
2010531478.tif 000002
【特許請求の範囲】
【請求項１】
車両の乗員により使用される、感情に訴える助言システムであって、
上記車両の運転状態を表す入力及び上記乗員の感情状態を表す入力を受信するとともに、（i）外観を有するアバターを表すデータ、及び（ii）少なくとも一つの発話特徴を有するアバターの発言を表すデータを生成するように構成されたコンピュータを含み、
上記外観及び上記少なくとも一つの発話特徴は、上記アバターの擬似的な感情状態を上記乗員に伝達するものであり、
上記アバターの擬似的な感情状態は、上記車両の運転状態及び上記乗員の感情状態のうち少なくとも一方に依存しており、
上記コンピュータは、上記アバターを表すデータを画像表示のために出力するとともに、上記アバターの発言を表すデータを音声再生のために出力するように構成されている助言システム。
【請求項２】
請求項１記載の助言システムにおいて、
上記コンピュータはさらに、上記アバターの擬似的な感情に関して、上記乗員から質問を受け取るように構成されている助言システム。
【請求項３】
請求項１記載の助言システムにおいて、
上記コンピュータはさらに、所定のイベントが起こったかどうかを判断するとともに、該所定のイベントが起こった場合には、上記乗員に対して、口答の対話により質問を行うように構成されている助言システム。
【請求項４】
請求項３記載の助言システムにおいて、
上記コンピュータはさらに、上記質問に対する上記乗員からの口頭の返答を受信するように構成されている助言システム。
【請求項５】
請求項４記載の助言システムにおいて、
上記コンピュータはさらに、上記質問に対する上記口答の返答に応じて、上記車両の運転パラメータを変更するように構成されている助言システム。
【請求項６】
請求項１記載の助言システムにおいて、
上記乗員の感情状態を表す入力は、該乗員の音声の特徴及び視覚の特徴のうち少なくとも一方に基づくものである助言システム。
【請求項７】
請求項１記載の助言システムにおいて、
上記コンピュータはさらに、所定のイベントが起こったかどうかを判断するとともに、該所定のイベントが起こった場合には、上記車両から離間したソースより情報を取得するとともに、該取得した情報の少なくとも一部を、上記乗員に対して、目で見える形で又は耳で聞き取れる形で提供するように構成されている助言システム。
【請求項８】
請求項２記載の助言システムにおいて、
上記コンピュータはさらに、上記質問に答えるように構成されている助言システム。
【請求項９】
車両のユーザのための、感情に訴える助言システムであって、
上記ユーザの音声の特徴及び視覚の特徴のうち少なくとも一方を検出可能に構成された少なくとも一つのセンサと、
上記検出された情報を受信するとともに、上記車両の運転状態についての情報を受信し、該受信した情報の少なくとも一部に基づいて、擬似的な感情状態を表すデータを生成し、該擬似的な感情状態に関して、上記ユーザから口頭の質問を受け取り、そして、該口頭の質問に対して返答するように構成されたコンピュータと、
上記擬似的な感情状態を上記ユーザに伝達するように構成されたインターフェースと、を含んでいる助言システム。
【請求項１０】
請求項９記載の助言システムにおいて、
上記擬似的な感情状態は、アバターを介して上記ユーザに伝達される助言システム。
【請求項１１】
請求項１０記載の助言システムにおいて、
上記コンピュータはさらに、上記車両の運転状態に基づいて、上記アバターを選択的に表示するように構成されている助言システム。
【請求項１２】
請求項９記載の助言システムにおいて、
上記コンピュータはさらに、所定のイベントが起こったかどうかを判断して、該所定のイベントが起こった場合には、上記ユーザとの口頭の対話を開始するように構成されている助言システム。
【請求項１３】
請求項９記載の助言システムにおいて、
上記少なくとも一つのセンサは、開放されたマイクロホンを含む助言システム。
【請求項１４】
請求項９記載の助言システムにおいて、
上記少なくとも一つのセンサは、上記ユーザがボタンを押したことを検出するように構成されている助言システム。
【請求項１５】
装置のユーザに対して感情に訴える形で情報伝達する方法であって、
上記装置の作動状態を表す入力を受信する工程と、
上記入力を、擬似的な感情状態を表すデータに変換する工程と、
上記擬似的な感情状態を表現するアバターを表すデータを生成する工程と、
上記アバターを表示する工程と、
上記アバターにより表現される擬似的な感情状態に関して、上記ユーザから質問を受け取る工程と、
上記質問に返答する工程と、を含み、
上記擬似的な感情状態は、上記装置の作動状態に関する情報を上記ユーザに伝達するものである方法。
【請求項１６】
請求項１５記載の方法において、
上記質問に対する返答は、上記アバターにより表現される擬似的な感情状態を表す少なくとも一つの発話特徴を含んでいる方法。
【請求項１７】
請求項１５記載の方法において、
所定のイベントが起こったどうかを判断する工程と、
上記所定のイベントが起こった場合に、上記装置の作動状態に関して、上記ユーザと口答の対話を開始する工程と、をさらに含む方法。
【請求項１８】
請求項１７記載の方法において、
上記口答の対話は、上記アバターにより表現される擬似的な感情状態を表す少なくとも一つの発話特徴を含む方法。
【請求項１９】
車両のユーザのための、感情に訴える情報システムであって、
上記車両の運転状態を検出するための手段と、
上記検出された情報の少なくとも一部に基づいて、擬似的な感情状態を表すデータを生成する手段と、
上記擬似的な感情状態を上記ユーザに表現する手段と、を含み、
上記擬似的な感情状態は、上記車両の運転状態に関する情報を上記ユーザに伝達するものである情報システム。
【請求項２０】
装置のユーザに対して、感情に訴える形で該装置の情報を伝達する方法であって、
上記装置の作動状態を表す入力を受け取る工程と、
上記入力を、擬似的な感情状態を表すデータに変換する工程と、
上記擬似的な感情状態を表現するアバターを表すデータを生成する工程と、
上記アバターを表示するための工程と、を含み、
上記擬似的な感情状態は、上記装置の作動状態に関する情報を上記ユーザに伝達するものである方法。
【請求項２１】
車両のユーザに対して、感情に訴える形で情報を伝達する方法であって、
上記車両の運転状態を表す入力を受け取る工程と、
上記入力を、擬似的な感情状態を表すデータに変換する工程と、
上記擬似的な感情状態を表現する発言に相当するデータを生成する工程と、
上記発言を再生する工程と、
上記擬似的な感情状態に関して上記ユーザから質問を受け取る工程と、
上記質問に返答する工程と、を含み、
上記擬似的な感情状態は、上記車両の運転状態に関する情報を上記ユーザに伝達するものである方法。
【請求項２２】
乗用車に使用される、感情に訴える助言システムであって、
マイクロホンと、
スピーカと、
データソースと、
上記マイクロホン、上記スピーカ、及び上記データソースと通信するコンピュータと、を含み、
上記コンピュータは、（a）上記マイクロホンで受信される運転者の音声パターンと対話の意味との組合せから、該運転者の感情状態を検出し、（b）上記感情状態及び上記データソースから得られる情報に応じて、上記運転者に向けて上記スピーカを通して自然な話し言葉をリアルタイムで生成するように構成されている助言システム。
【請求項２３】
乗用車に使用される、感情に訴える助言システムであって、
マイクロホンと、
車両コントローラと、
上記マイクロホン及び上記車両コントローラと通信するコンピュータと、を含み、
上記コンピュータは、（a）上記マイクロホンで受信される運転者の音声パターンと対話の意味との組合せから、該運転者の感情状態を検出し、（b）該感情状態及び該運転者の話し言葉に応じて、上記車両コントローラに対して車両特性を調整するように命令するよう構成されている助言システム。
【請求項２４】
乗用車の運転者と該乗用車との間の感情的なやりとりをコンピュータによりリアルタイムで実行する方法であって、
（a）上記運転者との間で双方向通信を実行する工程と、
（b）上記運転者の音声パターンと対話の意味との組合せから、上記運転者の感情状態を検出する工程と、
（c）上記運転者の感情状態及び該運転者からの返答に応じて、上記乗用車の特性を調整する工程と、を含む方法。
【発明の詳細な説明】
【背景技術】
【０００１】
従来より、アドジャリその他を発明者とする特許文献１には、インターフェース及びユーザ間の自動的な説得力のある対話のための人間コンピュータのインターフェース及びこのようなインターフェースを作動させるための方法が開示されている。
【０００２】
この方法は、ユーザにアバター又はアニメ化されたイメージを提供するとともに、ユーザの個人的な属性をリアルタイムデータとして受け取り、受け取った個人属性に関連するデータに応じて、アバターの外観及び／又はアバターの音声出力を修正する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２００７／００７４４１１４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的とするところは、感情に訴える助言システム及び方法を提供することにある。
【課題を解決するための手段】
【０００５】
装置のユーザに対して感情に訴える形で情報を伝達する方法であって、装置の運転状態を直接、入力として受け取る工程と、該入力を擬似的な感情状態を表すデータに変換する工程と、該擬似的な感情状態を表現するアバターのデータを生成する工程と、を含む方法。
【０００６】
この方法はまた、アバターを表示する工程と、該アバターによって表現された感情状態に関してユーザから質問を受け取る工程と、該質問に返答する工程とをさらに含む。
【図面の簡単な説明】
【０００７】
【図１】車両の感情に訴える助言システムの実施例を示すブロック図である。
【図２】図１の感情に訴える助言システムの一部を示すブロック図である。
【図３】図１の感情に訴える助言システムの他の部分を示すブロック図である。
【図４】図１の車両の一部を示すブロック図である。
【図５】図１の車両の他の部分を示すブロック図である。
【図６】図１の感情に訴える助言システムのさらに他の部分を示すブロック図である。
【図７】図１の感情に訴える助言システムのための通信マネージャの実施例を示すブロック図である。
【図８】図１の感情に訴える助言システムのための通信マネージャの他の実施例を示すブロック図である。
【図９】（A）及び（B）は、図１の感情に訴える助言システムのための感情発生器の一部を示すブロック図である。
【図１０】図１の感情に訴える助言システムのための口頭対話マネージャを示すブロック図である。
【図１１】図１０の口頭対話マネージャを示す他のブロック図である。
【図１２】図１０の口頭対話マネージャによって使用されるアルゴリズムを表すフローチャートである。
【図１３】図１の感情に訴える助言システムのための感情的音声合成装置を示すブロック図である。
【図１４】（A）及び（B）は、図１３の感情的音声合成装置によって使用されるアルゴリズムを表すフローチャートである。
【図１５】表示エンジン、及び、図１の感情に訴える助言システムのための音声変換エンジンを示すブロック図。
【図１６】図１の感情に訴える助言システムのための学習モジュールを示すブロック図である。
【図１７】（A）〜（C）は、図１６の学習モジュールによって使用されるアルゴリズムを表すフローチャートである。
【図１８】図１の感情に訴える助言システムのためのタスク・マネージャを示すブロック図である。
【図１９】図１８のタスク・マネージャを示す他のブロック図である。
【図２０】（A）及び（B）は、図１８のタスク・マネージャによって使用されるアルゴリズムを表すフローチャートである。
【図２１】図１の感情に訴える助言システムと相互に作用するように構成されたエージェントを示すブロック図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を図面に基づいて詳細に説明する。
【０００９】
図１を参照して、感情に訴える助言システム（EAS）１０の具体例を示し、このシステムは、とりわけ、車両１４を運転する際、及び、ネットワーク１７を経由して車両１４から離れて情報ソース１６n（例えばウェッブサーバ等）にアクセスする際に、乗員／ユーザ１２を援助する。
【００１０】
勿論、EAS１０の他の実施例は、どのようなタイプの装置及び／又は機械によっても実施することができる。例えば、EAS１０は、家庭用器機、携帯コンピュータに設置することができる。
【００１１】
EAS１０のある実施例では、他の装置及び／又は機械にドッキングされる集積型のモジュールとして実行することもできる。このように、ユーザは、EAS１０をユーザ自身と共に持ち運ぶことができて、彼等が交信したい装置及び／又は機械とやりとりするためにそれを使用する。他の構成及び配置も勿論可能である。
【００１２】
図１に示す実施形態では、センサ１８が乗員１２より発せられた入力を検知して、それらをコンピュータ２０のデジタル情報に変換する。
【００１３】
コンピュータ２０は、これらの入力を、情報ソース１６n及び車両システム２２からの入力と同様に受信する。コンピュータ２０は、これらの入力を処理して、少なくとも一人の乗員１２、情報ソース１６n、及び車両システム２２のために出力を生成する。
【００１４】
アクチュエータ／出力２４等は、乗員１２のための出力を、デジタルフォーマットから、視覚的、聴覚的、触覚的等あるにせよ乗員１２により受信されるフォーマットに変換する。乗員１２は、幾つかの実施例において、対話ルールにしたがって口答の対話によりEAS１０と交信する。
【００１５】
例えば、乗員１２は「この辺に良いレストランはありますか？」と質問することができる。これに対して、EAS１０は、適切な情報ソース１６nに対して尋ねることができて、車両システム２２から地理的位置情報と共に、車両１４の現在地の周辺で高く評価されるレストランのリストを決定することができる。
【００１６】
EAS１０は、擬似的な対話によって「ここには２〜３個あります。このリストをお聞きになりますか？」と答えることができる。乗員１２からの肯定的な返事によってEAS１０にリストを読ませることもできる。乗員１４は、EAS１０に対して、車両システム２２に関連した特定のパラメータを変更しなさいと命令することもできる。
【００１７】
例えば、乗員１４は「今日は、速く運転したい気分だ」と述べることができる。これに応答して、EAS１０は「駆動系を高性能運転のために最適化したいですか？」と尋ねることができる。乗員１２からの肯定的な応答によって、EAS１０に対して、エンジンチューニングのパラメータを高いパフォーマンスのために変更させることができる。
【００１８】
幾つかの実施例では、EAS１０による口答の対話は、ボタンを押したり、さもなくば他の物理的な入力をEAS１０に対して与えたりすることなく開始させることができる。
【００１９】
この開放されたマイクロホンの機能は、乗員１２が車両１４の他の乗員との会話を開始するのと同様の方法で、乗員１２に対してEAS１０との会話を開始させることができる。
【００２０】
乗員１２は、EAS１０が話している最中に口を挟むこともできる。
【００２１】
例えば、EAS１０が上述したレストランのリストを読んでいる間に、乗員１２は「レストランXについてもっと聞かせてくれ」と口を差し挟むことができる。これに対して、EAS１０は、リストの読み上げを停止するとともに、適切な情報ソース１６nに対してレストランXに関してのさらなる情報を尋ねることができる。
【００２２】
そしてEAS１０は、乗員１２のためにさらなる情報を読み上げることができる。
【００２３】
幾つかの実施例では、アクチュエータ／出力２４は、アバターを選択的に表示するスクリーンを含むものとしてもよい。
【００２４】
アバターは、人間、動物、機械、設備、車両等、のグラフィック表示であってもよいし、例えば、感情を視覚的に伝達することができる顔を含むものであってもよい。
【００２５】
アバターは、例えば、車両１４の速度が、その製造元又はユーザが設定した閾値を超えた場合に視界から隠れるようにしてもよい。しかし、アバターの音声は継続して聞こえるようにしてもよい。勿論、例えば、ホログラフィックやヘッドアップディスプレイのような他のどのような表示技術を適用してもよい。
【００２６】
アバターによって擬似的に表される人間の感情状態は、乗員１２の感情状態を含む様々な分類、車両１４の状態及び／又はEAS１０が処理を実行する際の品質等に依存している。
【００２７】
例えば、センサ１８は、乗員１２の頭の動き、話方のリズム、バイオメトリック情報等を検出することができ、これらがコンピュータ２０により検出されたときには乗員１２が怒っていることを示す。
【００２８】
返答の一実施例として、EAS１０は、乗員１２が怒っている間、それ（EAS１０）が乗員１２との間で開始する対話を制限するか中止することができる。
【００２９】
返答の他の実施例として、アバターは、心配している表情を伴う悲観的なトーンで表示されることができて、穏やかな音声で尋ねることができる「何かに悩んでいますか？」。
【００３０】
これに対して、乗員１２が「この交通量のために仕事に遅れそうに思う」という返事をしたとすると、アバターは「もっと早い道を見つけましょうか？」又は「誰か電話して欲しい人はいますか？」と尋ねることができる。乗員１２が「いいえ」と返事したとすると、これが唯一の方法であるとして、アバターは「何かクラッシック音楽でも聴きますか？」と尋ねることができ、乗員１２は「いいえ、しかし、私に今度の選挙について話してもらえませんか？」と答えることもできる。
【００３１】
EAS１０は、選挙に関する最新の情報を収集するために適切な情報ソース１６nに問い合わせる。この問い合わせの間、情報ソース１６nとの間の通信リンクが強い場合には、アバターが嬉しそうに見えるようにしてもよい。しかし仮に、情報ソース１６nとの間の通信リンクが弱い場合には、アバターが悲しそうに見えるようにして、乗員に対し「あなたは選挙に関する情報を入手するのに苦労しています？」との質問を促すことができる。アバターは、「はい、遠隔通信リンクを構築するのが困難になっています」と答えることができる。
【００３２】
上記のやりとりの間、例えば、車両１４が頻繁な加速、減速又は雑なハンドリングを経験する場合には、アバターがイライラしているように見せてもよい。擬似的な感情の変化は、乗員１４に「どうかしましたか？」という質問を促し、アバターは、「あなたの運転は私の燃費を低下させています。あなたは、頻繁な加速及び減速をもっと減らした方がよい」と答えることができる。また、例えば、アバターが乗員１４からの命令又は質問を理解していない場合には、アバターが混同しているように見せてもよい。この種の対話は、情報を乗員１２に伝達するために、アバターの擬似的な感情状態を、その外観や表現、声のトーン、及び言葉使い等応じて動的に変化させながら行われる。
【００３３】
EAS１０は、乗員１２及びEAS１０同士の交信履歴に基づいて、乗員１２の要望、命令、及び／又は好みを予測することもできる。例えば、EAS１０は、乗員１２は、周囲温度が華氏８０°を超えているときは華氏７２°の室内温度を好み、周囲温度が華氏４０°未満であるときには華氏７８°の室内温度を好み、また、曇りの日を好むことを学習することができる。乗員１２の明白な好みに応じて、このような、気候制御設定及び周囲温度の記録がEAS１０に伝達される。
【００３４】
同様に、EAS１０は、乗員１２が車両の発進に際して地域の交通情報を好んで聞くことを学習することができる。
【００３５】
車両発進時における交通ニュースに対するいくつかの要求（要望）の記録は、EAS１０に対して、車両発進時にこのような情報を収集すること、及び、乗員１２に地域の交通情報を聞きたいかどうかを尋ねることを即す。他の習性を学習することも可能である。これら学習された要望、命令及び／又は好みは、乗員の定義基準によって、補足及び／又は開始される。
【００３６】
例えば、乗員１２は、EAS１０に対して、スポーツについて議論するのは好きでないが、音楽等について議論するのは好きであることを知らせることができる。この例では、EAS１０は、スポーツに関する会話を乗員との間で開始するのを慎む一方、音楽については定期的に会話する。
【００３７】
図２を参照して、コンピュータ２０は、図１に示す情報ソース１６nにアクセスするために、（i）無線ネットワーク・インターフェース２６、（ii）ハブ（例えばUSBハブ２８）、周辺装置にアクセスするためのボタン３０、ビデオカメラ３２、車両バスコントローラ３４、サウンドデバイス３６、及び、個人用車両ネットワーク３８等を介して双方向通信を行う。
【００３８】
コンピュータ２０はまた、上述したアバターを表示可能なディスプレイ４０と通信する。勿論、他の構成及び配置もまた可能である。
【００３９】
図３を参照して、無線ネットワーク・インターフェース２６は、例えば、EVDO（Evolution−Data Optimized）装置４２、及び、セルラー方式のブロードバンド／インターネット／その他のネットワーク１７を介して遠隔ウェブサーバ１６aと通信リンクを確立している。
【００４０】
EVDO装置は、例えばIEEE８０２．１、セルラー方式のネットワーク上のパケット・データ・サービス）等のリンクレベルを提供する。
【００４１】
無線ネットワーク・インターフェース２６からの情報は、EVDO４２に提供されて、ネットワーク１７にリンクされるネットワーク（図示せず）に、インターネット・プロトコル（IP）で送信される。
【００４２】
伝送制御プロトコル（TCP）及びUniversal Datagramプロトコル（UDP）データパケットは、IPパケットによって転送される。
【００４３】
ソケットは、コネクション型である（TCP）か、又は、コネクションのない（UDP）接続をウェブサーバ１６aに提供するために用いる。
【００４４】
他の実施態様において、適切な無線通信テクニックとして、例えばOFDM（Orthogonal Frequency Domain Multiplexed）、MAN（Metropolitan Area Network）、WiMax等を用いることができる。
【００４５】
例えば、図４の車両バスコントローラ３４は、DLC（Data Link Connector）５０を介して、情報信号を動力伝達系制御モジュール４６及び計測器群８と交換する。
【００４６】
同様に、車両バスコントローラ３４は、ナビゲーション・システム５２、HVACシステム５４、その他に関しての情報信号を、スマートジャンクションボックス５６及びDLC５０を介して交換することができる。
【００４７】
車両内におけるこの種のコミュニケーションは、CAN（Controller Area Network）バス、ローカル・エリア・ネットワーク・バス、またはRLN（Resistor Ladder Network、cascaded resistorとも呼ばれる）を介して実行されることができる。
【００４８】
しかしながら、いかなる適切な通信テクニックも用いることができる。
【００４９】
図５を参照して、サウンドデバイス３６は、マイクロホン５８からアナログ音声入力を受け取ることができる。
【００５０】
サウンドデバイス３６は、アナログ入力を図２において例示されるコンピュータ２０のためのデジタル出力に変換する。サウンドデバイス３６は、例えば、アバターの音声を表現するコンピュータ２０から、デジタル入力を受け取ることもできる。サウンドデバイス３６は、デジタル入力をアンプ６０のためのアナログ出力に変換する。これらの増幅されたアナログ出力は、一まとまりのスピーカ６２に出力される。
【００５１】
図６を参照して、コンピュータ２０は、特定のハードウェア（例えば図２において例示されるハードウェア）に対応するデバイス・ドライバ６４を含むことができる。
【００５２】
デバイス・ドライバ６４は、ソフトウェア・モジュール６６と相互に作用して、図２に例示されるハードウェア及びソフトウェア・モジュール６６間のインターフェースを提供することができる。
【００５３】
ソフトウェア・モジュール６６は、後述するように、図１において例示されるEAS１０の中で様々なサブシステムによって使用される出力及び／又は入力を、提供及び／又は受信する。
【００５４】
周辺のインターフェース・バス、例えばUSBハブ・ドライバ６８、CANバス、ブルートゥ−ス（BLUETOOTH）等が、図２に例示した、ビデオ・カメラ・ドライバ７０、マイクロホン・ドライバ７２、ボタン・ドライバ７４、車両バスコントローラ・ドライバ７６、個人用の車両ネットワーク・ドライバ７８、スピーカ・ドライバ８０及びディスプレイドライバ８１のためのUSBハブ２８に向かって／又はUSBハブ２８から、情報を多重送信する。勿論、他の及び／又は異なるドライバを含むものとしてもよい。
【００５５】
ネットワークの分類としては、リング、メッシュ、完全に接続された、ライン、ツリー及びバスを含んでいてもよい。
【００５６】
USBは、１．５、１２、４８０、４８００Mbit／秒に作動する複合型のスター／ツリーネットワークである。
【００５７】
ネットワークは、ワイヤード又はワイヤレス（無線）とすることができ、標準的なチップセット（例えばSMSC製の半導体からなるUSB２５１xFamily等）を使用した市販品を広く利用することができる。
【００５８】
USBの実施例は、６つの音声チャンネル、テレビ・チャンネル、及び様々な他の装置をサポートするために十分な回線容量を有している。ネットワークは、ワイヤードであってもワイヤレスであってもよい。他の構成は、勿論可能である。
【００５９】
ビデオ・カメラ・ドライバ７０は、画像認識モジュール８２にI／Oを介してデジタルビデオデータを提供する。
【００６０】
図６の画像認識モジュール８２は、デジタルビデオデータを処理して、図１において例示される乗員１２からの視覚キューを表すパラメータを出力する。
【００６１】
パラメータは、勿論、適切な画像認識技術を使用して検出することができる、数学的に抽象化された乗員の特徴である。
【００６２】
これらのパラメータは、乗員の認識、視線方向、頭の縦の振り（うなずき）、微笑み、唇のサイズ及び形状、瞳孔位置、瞳孔サイズ、鼻孔位置、眉、顔の形等を含むことができる。
【００６３】
他のパラメータとして、例えば頭皮線及びシワ等を使用することもできる。
【００６４】
乗員の認識は、乗員１２の身元を特徴づけるパラメータである。
【００６５】
視線方向、頭の縦の振り、微笑み、及び唇の動きは、乗員１２の動作を特徴付けるものである。
【００６６】
図６の実施例を参照して、画像認識モジュール８２は、次から次へと画像を追跡して乗員の唇の動作を認識する。
【００６７】
これらの動作は、ジェスチャ分類法アルゴリズム（例えば経時的なベクトル機械、ニューラル・ネットワーク等）を介して、特定のジェスチャに分類され、結果として、乗員１２からの視覚キューを表すパラメータとなる。
【００６８】
他の実施態様において、画像認識モジュール８２は、いかなる適切な画像認識技術も使用することができる。
【００６９】
この種のアルゴリズム／方法のいくつかは知られている。第１の方法は、形状及び外観の特徴をクラスタ化するべく、グラフスペクトル法を使用するとともに、クラスタを経時変化する顔のジェスチャに分類する方法である。第２の方法は、実数値の超平面に基づいて分類する分類器を使用する方法であって、迅速な処理のための専門ハードウェアにて実行される。第３の方法は、AVAM（Adaptive View−Based Appearance Model）を、３D登録アルゴリズムと結合する方法である。他の方法も、可能でもある。
【００７０】
マイクロホン・ドライバ７２は、自動会話認識／音声認識モジュール８４に、I／Oを介して音声を提供する。
【００７１】
図６の自動会話認識／音声認識モジュール８４は、デジタル・オーディオ・データを処理して、図１において例示される乗員１２からの音声キューを表すパラメータを出力する。
【００７２】
他の実施態様において、自動会話認識／音声認識モジュール８４は一つ以上のパラメータ（例えば唇の運動）を処理して、画像認識モジュール８２によって出力することもできる。
【００７３】
自動会話認識／音声認識モジュール８４によって出力されるパラメータは、N−Bestリスト及び乗員認識を含む。しかし、いかなる適切なパラメータを使用してもよい。この例では、N−Bestリストは、発言の記録、例えば、図１に例示されている乗員１２からの話の一部、及び、認識に関連した入力からなる。各認識入力は、信頼パラメータに加えて発言記録のテキストのテキスト形式のバージョンを含むことができる。
【００７４】
信頼パラメータは、テキストが、発言記録と関連した語を正確に捕えていることの信頼の程度を示す。各認識入力は、発言記録の自然言語バージョンを含むこともできる。
【００７５】
例えば、口頭の文、「茶色の犬は、速く走った。」は、自然言語によって（（（（茶色＊（犬）））（早く＊（走った）））と表すことができる。
【００７６】
図６の実施例において、一旦音声データが受け取られるならば、音韻特徴はデジタルデータから引き抜かれる。そして、文章の終了位置は、例えば、端を指摘するアルゴリズムを使用して確認される。
【００７７】
各文についての音韻特徴は、可能な文として仮定されたリストと比較される。
【００７８】
システムが決定する仮定は、音韻データを正しく転写したデータが信頼できるレベルで選択されてN−bestリストに置かれるという最も高い確信を有する。
【００７９】
特定の文を表す発言記録は、感情を伴う内容であるため、後述するようにオーディオ・ファイルに記録されて後に分析される。
【００８０】
自動会話認識／音声認識モジュール８４は、構文上の情報を含む音韻特徴の自然言語バージョンを出力する。
【００８１】
上記のように、特定の発言記録は、結果的にいくつかの認識入力となることができる。
【００８２】
例えば、乗員１２が仮に、図１に示すよう、「私のためにニュースを得なさい」と言った場合に、自動会話認識／音声認識モジュール８４は、それが受信する音声信号に基づく２つの仮定を生じることができる。「私のためにニュースを得なさい」そして、「私のために概説なさい」。
【００８３】
乗員１２及び図１において示されるEAS１０間の対話と関連した会話の前後文脈は、多数の仮定から選択するために用いてもよい。
【００８４】
会話文脈解析アルゴリズムは、特定の仮定の適切さを決定するために、時事問題についての知識を用いて行うことができる。
【００８５】
例えば、レストランに関する意見は、ニュースについての質問を含みそうでない。
【００８６】
その結果、現在の会話の前後文脈は、N−bestリストの優先順序を付け直すために用いることができ、会話の認証信頼性を高めることができる。
【００８７】
特定の前後文脈の範囲内にある、例えば「ニュース」又は「レストラン」等の認識可能な文章の部分は、他のものよりも良く発生しそうである。
【００８８】
例えば、「ニュースを得なさい」という文章は、「ニュース」の前後文脈でより一層発生し易く、一方、「概説しなさい」という文章は、「レストラン」の前後文脈でより一層発生し易い。
【００８９】
N−bestリストが異なる前後文脈に由来する文を含む場合、現在の前後文脈に由来する文は、より高い認識信頼を割り当てられることができる。そして、潜在的にN−bestリストを再び整理する。
【００９０】
前後文脈は、特定の発言が図１において例示されるEAS１０に向けられたものであるか、または、それが車両１４の他の乗員（図示せず）に向けられたものであるかどうかを決定するために用いることもできる。例えば、EAS１０が燃料が低いことをアナウンスして、これをどう処理するかについて乗員（運転者）による入力を要請した場合に、乗員が「私は、空腹である」と返答したときに、この「私は、空腹である」という句がEAS１０に向けられたものであるか否かを決定するために、EAS１０は前後文脈を使用することができる。
【００９１】
上記の車両システム・インターフェースで、それは先ず車両１４内に複数の乗員が存在するか否かを、OCS（Occupant Classification System）からの入力を得ることによって調査する。
【００９２】
複数の乗員がいる場合、EAS１０は、「私は、空腹である」という句の前後文脈から、それはEAS１０に対してレストランを探して欲しいという要求ではなく、他の車両の乗員との会話であると想定する。
【００９３】
発話者が誰かは、後述する自動音声認識／音声認識モジュールからの音声認識、画像認識（例えば唇の運動等）、及び発話者の場所を特定する音響効果等を総合することによって決定可能になっている。乗員認識パラメータは、自動会話認識／音声認識モジュール８４が、図１に例示される乗員１２の音声を認識したかどうか、そしてその音声が誰に帰属する音声であるかを示すものである。
【００９４】
図６の実施例において、乗員認識パラメータは、乗員１２から取得した録音を、周知の乗員リストに関連して格納された音声の特徴と比較することによって生成される。
【００９５】
しかし、いかなる適切な音声認識アルゴリズムを用いてもよい。
【００９６】
ボタン・ドライバ７４は、例えば、図２に例示されるボタン３０がボタン・インターフェース・モジュール８６にアプリケーション・プログラミング・インターフェース（API）を介して押圧されているかどうかを示すデジタル情報を提供する。
【００９７】
図６のボタン・インターフェース・モジュール８６は、この情報を処理して、この種のボタンが押されたことを示すパラメータを出力する。
【００９８】
ここに示した例は、ボタンを押すことは、命令を発することに等しいという点、及び会話の前後文脈を変化させるという点で多様である。
【００９９】
従って、ボタンの押圧は、乗員の場所及びアイデンティティを決定するために用いることができて、N−Bestリストの認識仮定の選択を変えることができる。
【０１００】
車両バスコントローラ・ドライバ７６は、例えば、CANバスインターフェース８８にAPIを介してCAN  ID、メッセージタイプ及び８つのデータ・バイトを含むCANメッセージを提供する。
【０１０１】
勿論、いかなる適切な車両ネットワーク（例えばフレックスレイ、J−１８５０等）及び関連するプロトコルを使用してもよい。
【０１０２】
CANバスインターフェース８８は、これらのCANメッセージ、及び、車両システムの状態（例えばスロットル位置、車輪速度、燃料レベル、燃料消費、トランスミッションギア、ブレーキトルク等の状態）を示す出力プロトコルを処理する。そして、後述するように、CANバスインターフェース８８はまた、EASプロトコル形式のエージェントを介して入力を受信する。
【０１０３】
しかしながら、いかなる適切なプロトコルも使用することができる。
【０１０４】
CANバスインターフェース８８は、これらのメッセージをCANプロトコルに変換するとともに、それらをドライバ６８，７６を介して図２に例示されるUSBハブ２に送信する。
【０１０５】
いくつかの実施例では、これらのメッセージは、図４において例示される車両システム２２のための命令及び／又は実施パラメータを含むものとしてもよい。
【０１０６】
例えば、メッセージは、図４において例示される動力伝達系制御モジュール４６が、エンジン（図示せず）を制御する方法に関しての情報を含むものとしてもよい。他の構成を採用してもよい。
【０１０７】
民間の車両ネットワーク・ドライバ７８は、図４に例示されるCANと通信しない特定の車両システムと関連したデジタル情報を、APIを介して補助ネットワーク・インターフェース９０に提供する。
【０１０８】
例えば、ウインドウ位置及びウインドウ・モーター電圧情報は、CANを介して送信されるものでなく、民間の車両ネットワーク・ドライバ７８を介してアクセスされるものでもよい。
【０１０９】
加えて、個人的な車両ネットワーク上にインストールされるデバイスは、図１に例示されたEAS１０が、RLNに接続されている従来型の制御器機の状態を確認するため、及び、従来型の制御器機の使用を模倣してRLNネットワークを管理するために、アナログ／デジタル及びデジタル／アナログ・コンバータを備えるものとしてもよい。
【０１１０】
図６の補助ネットワーク・インターフェース９０は、アナログ信号を得て、それらをデジタル・プロトコルに変換する。
【０１１１】
そして、補助ネットワーク・インターフェース９０は、EASエージェント（詳細は後述する）を使用するために、デジタル・プロトコルをEASプロトコルに変換する。
【０１１２】
この種の情報は、図４に例示されるCANと交信しない車両システムの状態を表すものであってもよい。
【０１１３】
CANバスインターフェース８８と同様に、補助ネットワーク・インターフェース９０もEASプロトコルの形で特定のEASエージェントから入力を受け取る。
【０１１４】
補助ネットワーク・インターフェース９０は、これらのメッセージを、デジタル−アナログ転換のためのフォーマットに変換し直す。
【０１１５】
そして、アナログ出力は、例えば、図１に例示される車両１４内に設けられた様々なRLNs（図示せず）及び／又はアクチュエータ２４に送信される。
【０１１６】
図６の実施例において、アバター・コントローラ９２は、アプリケーション・プログラミング・インターフェース（API）を使用して、アバターを図２に示されるディスプレイ４０に表示するのを補助するコンピュータプログラム及び表示エンジンとすることができる。
【０１１７】
多くの表示エンジンは、Renderware、Torque Game Engine、TV３D、３D Game Studio、C４ Engine、DX Studio、Crystal Space、Game Blender等を含んでいて、上記の目的のために使用することができる。
【０１１８】
これらは、ダイレクト３D、OpenGL、DirectX、SDL、OpenAL等を含むAPIにより指向されるいくつかのグラフィックを使用する。そして、アバター・コントローラ９２は、アバターの幾何学的な変換、及びアバターの総合的なテキスト出力を制御するべく、テキスト入力のみならず数値入力を受信する。
【０１１９】
図６の実施例において、これらの入力は、ボタン表示、アバター感情、テキストを音声に変換する制御、及び感情タグ（感情を表すタグ）を付したテキストを表すパラメータを含んでいる。
【０１２０】
他の及び／又は異なる入力を使用してもよい。
【０１２１】
ボタンを表示するパラメータは、どのようにして仮想ボタンを図２に例示したディスプレイ４０に視覚可能に表示するかを、アバター・コントローラ９２に知らせる。
【０１２２】
アバタージェスチャ及びテキストを音声に変換する制御に関するパラメータは、アバターが話すときのアバターの動きや顔の表情をどのようにして表示するかを、アバター・コントローラ９２に知らせる。
【０１２３】
テキストを音声に変換する制御に関するパラメータは、いつテキストを音声に変換する動作を開始するべきであるか、終えるべきか、停止するべきか、中止するべきか、又は、再開するべきかについて制御することができる。
【０１２４】
以下に詳細に述べられるように、アバター感情及び感情タグを付したテキストに関するパラメータは、アバターが感情を表現するときに、アバターの動作や顔の表情をどのように表示するべきかをアバター・コントローラ９２に知らせる。
【０１２５】
簡潔には、図６の実施例において、アバターの一連の感情を表す重み付けされた一組のベクトルを含んでいる。
【０１２６】
感情タグが付されたテキストは、ある特定の語と関連した感情の内容を表す印が付されたフレーズを含んでいる。
【０１２７】
アバターの外観及び話し言葉は、感情を表現するため、及び／又は情報を伝達するために動的に変化する。
【０１２８】
アバターの表現は、アバターの顔の表面の特徴点を操作することによって制御される。
【０１２９】
コンピュータにより生成されたアバターにおいて、アバターの３次元の表面形状の数学的な表現は、多角形モデリング技術／アルゴリズムを典型的に使用することにより可能となる。
【０１３０】
或いは、表面は、スプライン曲線（例えばNURBS）、微小表面、方程式等を用いてモデル化することができる。そして、多角形モデリングによる解法では、実表面がこれに合致した多くの平坦面によって近似される。
【０１３１】
各多角形は、色及びテクスチャーマップ（例えば、表層粗さ、色変化、反射、鏡などの光学特性を定めるもの）と関連させてもよい。
【０１３２】
モデルは、点光源及び周辺光の分配を仮定するシェーディングアルゴリズムを使用して照らされることができる。
【０１３３】
シェーディング方法は、一般に、画像が如何に自然に見えるかという点において、その表示速度をトレードオフする。そして、いくつかの方法は、レイ・トレーシング、Nebulaudシェーディング、Gouraudシェーディング、Phongシェーディング、Celシェーディング等の公知技術である。
【０１３４】
いくつかの実施例では、シェーディングの自然さは、音声の自然さ及びアバターの言語の使用方法に適合しなければならない。
【０１３５】
アバターの外観は、表示エンジンによって、多角形の頂点の位置を移動させたり、多角形の色及びテクスチャを変更したり、照明の色や位置を変えたりすることで動的に操作することができる。
【０１３６】
アバター・コントローラ９２は、上述した入力を処理して、画像フレームをストリームを介してディスプレイドライバ８１に提供する。
【０１３７】
ディスプレイドライバ８１は、画像フレームを処理して、それらを図２に例示されるディスプレイ４０に出力するために、いかなる適切な技術を使用してもよい。
【０１３８】
アバター・コントローラ９２はまた、上記の入力と関連したデジタル・オーディオ・データを、I／Oを介してスピーカ・ドライバ８０に提供する。
【０１３９】
スピーカ・ドライバ８０は、このデータを、図５において例示されるサウンドデバイス３６に配信するべくUSBハブ・ドライバ６８に提供する。
【０１４０】
アバター・コントローラ９２は、後述するように、アバターの制御を容易にするタイミング情報として使用可能ないくつかの出力を生成する。
【０１４１】
図６の実施例において、アバター・コントローラ９２は、完成されたテキスト文字列、文、語、音節、視覚素（viseme）、ジェスチャ等を表すパラメータを、アバター（アバターイベントに関連する事柄として本願明細書においてまとめて記載されている）を介して出力する。勿論、他の及び／又は異なるパラメータを使用することもできる。
【０１４２】
アバターがテキスト文字列を完結したかどうか及びアバターの現在の唇位置は、アバターの現在の会話の中に、例えばより緊急の会話を割り込ませるかどうか及び／又はいつ割り込ませるべきかを判断するのに使用することができる。
【０１４３】
アバターの唇の動きは、話し言葉の各異音と相関している所定の唇の位置を用いて生き生きと描き出すことができる。
【０１４４】
視覚素の数は、アバターの残りの表面が変形するか又は連結される各位置にインデックスを付するために用いることができる。
【０１４５】
例えば、ディズニー視覚素等の標準視覚素セットが共通に使用される。
【０１４６】
テキストを音声に変換するエンジン（以下、音声変換エンジンという）は、供給される会話に時間的に同期した視覚素の流れを生成する。
【０１４７】
視覚素は、唇の運動に影響を及ぼすために表示エンジンに送られる。
【０１４８】
図６の実施例において、HTTPクライアント９４は、図１に例示した遠隔サーバ１６nのうちの１台と共にプロセス間のソケット接続を確立することができる。
【０１４９】
HTTPクライアント９４は、HTTP URLを形成して、それをソケット接続を介して遠隔サーバ１６nに送信し応答を待つ。
【０１５０】
遠隔サーバ１６nは、例えば、XMLにおいて応答をフォーマット化するとともに、ソケット接続を介してHTTPクライアント９４に送信する。
【０１５１】
HTTPクライアント９４は、例えば、EASエージェントによりデータを利用するべく、応答を再フォーマットしてEASプロトコルに変換する。
【０１５２】
本願明細書において、図１及び他の関連したシステムで例示されるEAS１０は、例えば、プロセス間通信による各々と通信する多くのハードウェア及び／又はソフトウェア・モジュールを含む。
【０１５３】
説明の簡単化のために、この種の通信についての詳細は他の図において述べるよりも、むしろ、この種の通信を容易化するための技術として図７及び図８に記載されている。
【０１５４】
しかしながら、他の適切な通信アーキテクチャを使用するようにしてもよい。
【０１５５】
図７を参照して、通信マネージャ９６（MOM（messagte oriennted midllewafe solution：例えばSunJava、Javaメッセージサービス、プロトコルを行列化したメッセージ等））は、一組のデータベース９８及びハードウェア・インターフェースが、ここで例示したEAS１０のモジュールに向かって／又モジュールから、情報を送信又は／受信できるようにする一組のセマフォ９９を含んでいる。
【０１５６】
データベース９８に出入りする処理は、微小でもよく、またセマフォ９９を使用して同期させることができる。
【０１５７】
ある特定の実施例では、図６及び本願明細書の他の箇所に記載されているいくつかのソフトウェア・モジュール６６は、図７に示す通信モデルを有するものであってもよい。
【０１５８】
例えば、ハードウェア・インターフェース・プログラム１００は、図６において例示される、画像認識モジュール８２、ボタン・インターフェース８６等に相当する。
【０１５９】
図７の実施例において、ソフトウェア・モジュール１０２は、いくつかのカテゴリ（入力機能１０４、入出力機能１０６、出力機能１０８及び出力遮断機能１１０）に論理的に分類される。
【０１６０】
当業者にとって明らかな様に、ソフトウェア・モジュール１０２は、データベース９８に出入りする処理を実行するいかなる適切なI／O機能も実行し、そして、いかなるハードウェア・プロトコル（例えばCANメッセージ等）も、例えば、EASプロトコル、XML等に変換する。
【０１６１】
ソフトウェア・モジュール１０２のいずれかによって処理されるハードウェア・インターフェース・プログラム１００からのデータは、一つ又は複数のデータベース９８に格納される。
【０１６２】
入出力機能１０６、出力機能１０８及び出力遮断機能１１０のための、ハードウェア・インターフェース  ・プログラム１００からの出力データは、出力データベース１１２に格納されて、必要に応じてこれらの機能によって使用（access）される。
【０１６３】
出力遮断機能１１０のためのハードウェア・インターフェース  ・プログラム１００からの出力データは、セマフォデータベース９９に格納されて、上記と同様に必要に応じて出力遮断機能１１０によって使用される。
【０１６４】
ハードウェア・インターフェース  ・プログラム１００によって処理されるべきソフトウェア・モジュール１０２からのデータは、同様にデータベース９８に格納される。
【０１６５】
入力機能１０４及び入力／出力機能１０６からの入力データは、入力データベース１１６に格納されて、必要に応じてハードウェア・インターフェース・プログラム１００によってアクセスされる。
【０１６６】
当業者にとって明らかな様に、図７の通信マネージャ９６は、ハードウェア・インターフェース・プログラム１００及びソフトウェア・モジュール１０２の時間ベースを分離するために論理的に配置される。
【０１６７】
分散データベース９８は、ハードウェア・インターフェース・プログラム１００及びソフトウェア・モジュール１０２が、それぞれ自身のタイミングの制約の中で作動することを許容する仲介者である。
【０１６８】
この分離は、図１において例示されるEAS１０から成るソフトウェアとハードウェアとの間の拡張性を高めることができる。
【０１６９】
図８を参照して、通信マネージャ１１８（例えばインテリジェントクロスバーシステム等からなる）の他の実施例は、ルール１２２のセットと論理的に連携する集中データベース１２０を含んでいる。
【０１７０】
ルール１２２は、どのようなデータがデータベースに読み書きされるかを、EASアプリケーション１２４、１２６、１２８等に関連した様々なEASアプリケーション・スレッド１２３n（１２３a、１２３b、１２３c、その他）によって管理する。
【０１７１】
この例では、EASアプリケーション１２４は、図６及び本願明細書の他のどこかに例示された、一つ又は複数のソフトウェア・モジュール６６に相当する。
【０１７２】
EASアプリケーション１２６は、図６及び本願明細書におけるさらに他のいずれかの箇所に例示されるソフトウェア・モジュールに相当する。スレッド１２３nは、EASアプリケーション１２４、１２６、１２８によって確立される。このとき、各データの通信が必要とされる。
【０１７３】
例えば、通信マネージャ１１８は、EASアプリケーション１２６により後に用いられるデータベース１２０にそれがデータを書き込むことを許容するべく、EASアプリケーション１２４と共にスレッド１２３aを確立する。
【０１７４】
データは、プロトコルに組み込まれてソケットを介して、EASアプリケーション１２４及び通信マネージャ１１８間で通信される。
【０１７５】
ルール１２２はデータを解析して、例えばそのデータの性質に応じて、また、どのアプリケーションがデータを生成したかに応じて、該データをデータベース１２０の適当な場所に割り当てる。
【０１７６】
適切な組み合わせのスレッド１２３nは、データをそれらに対応したアプリケーションに関連するEASプロトコルに変換するべく呼び出される。
【０１７７】
例えば、スレッド１２３bは、EASアプリケーション１２６及び通信マネージャ１１８の間の通信を容易化するために決定される。
【０１７８】
EASアプリケーション１２６は、ソケットを介してデータ要求を出す。
【０１７９】
ルール１２２は、要求を解析するとともに、ソケットを介して、要求データ・スレッド１２３b及びEASアプリケーション１２６を提供する。
【０１８０】
上述したように、アバターは、図１において例示される乗員１２に情報伝達することができ、且つ／又は、擬似的な感情を用いることにより乗員１２との口頭の対話を容易化することができる。
【０１８１】
この擬似的な感情は、アバターによって目で見える形で、且つ／又は、例えば図５に例示されるスピーカ６２によって耳で聞き取れる形で表現される。
【０１８２】
擬似的な感情を生成する技術は、図９A及び図９Bに記載されている。
【０１８３】
図９Aを参照して、感情生成器１３２は、本願明細書において記載されている様々モジュールから一つにまとまった入力を受け取って、それらを分析／変換して、アバターのための擬似的な感情状態を生成する。
【０１８４】
図９Aの実施例に示されるこの擬似的な感情状態は、重み付けされた感情を表すベクトル（以下、感情ベクトルという）形式で表される。
【０１８５】
擬似的な感情状態は、図６において例示されるアバター・コントローラ９２に伝達されて表示される。
【０１８６】
後述するように、感情ベクトルの各変数の相対的な加重は、アバターがある感情を表現するにあたっての体現方法及び発話方法をアバター・コントローラ９２に指示する。
【０１８７】
図９Aの実施例において、感情生成器１３２はソフトウェアによって作動する。
【０１８８】
しかしながら、感情生成器１３２はファームウェア又は他の適切な構成によって作動するものとしてもよい。感情（例えば恐れ）は、恐れを表すと認識される特定の組合せ（アバターの顔位置及び音声パターン／トーン）と関連していてもよい。
【０１８９】
再び図６に戻って、アバター・コントローラ９２は、図９Aにおいて例示される感情生成器１３２によって発生する感情ベクトル（すなわちアバター感情）を、表現された一組の運動及び表情に変換する。アバター・コントローラ９２は、例えば、顔の表情に一致する各感情のための加重値の範囲を含むマップを変換するデータベースを含むものとしてもよい。
【０１９０】
アバター感情の「幸福な」は、微笑を表す唇の位置に対応させればよい。アバター感情の「幸福な」及び「驚いた」は、微笑を表す唇の位置及び眉が上がった位置に対応させればよい。
【０１９１】
アバターが笑っている程度及び／又はその眉をつり上げている程度は、この例では、感情と関連した加重変数の関数である。「驚いた」感情の加重を増せば増すほど、眉位置はより高くなる。
例えば、感情ベクトルにおいて「驚き」の加重が５０％で「恐れ」の加重が５０％であった場合、アバターは驚きと恐れとを示唆するように体現（及び発話）する。
【０１９２】
いくつかのシステム及び／又はアルゴリズムは、表情及び感情の間の相関関係を決定するために使用することができる。例えば、感情と表現との関係を体系化した美術の長い伝統が存在する。加えて、科学的方法（例えばFacial Action Coding System）に対応する法典が存在する。
【０１９３】
アニメータは、感情を予め描かれたアニメキャラクターに入れ込む様々なパッケージシステム（例えばMaya、及び、Intel Facial Animation LibraryのためのFacial Animation Toolset）を開発した。
【０１９４】
しかし、異なる感情同士の関係はもっと複雑であるかも知れない。例えば、「恐れ」は、顔面の筋肉の特定のセットを起動させる。「驚き」も同様に特定のセットを起動させる。この２つのセットは別の物である限り、このセットによって起きる動作も別々である。しかしながら、２つの感情は、同じ筋肉を起動させることができ、この場合において、それらの動作は互いに妥協し／混合される。
【０１９５】
図９Bを参照して、図６において例示される自動会話／音声認識モジュール８４の出力は、韻律法解析モジュール１３４、語彙解析モジュール１３６、及び／又は構文解析モジュール１３８のうちの一つ又は複数によって前処理される。
【０１９６】
モジュール１３４、１３６、１３８の出力は、感情概算器モジュール１４０に送られる。感情概算器モジュール１４０は、図１において例示される乗員１２の感情状態の評価を作成するためにこれらの出力を統合する。
【０１９７】
図９Bの実施例において、モジュール１３４、１３６、１３８、１４０は、ソフトウェアにより作動する。
【０１９８】
しかし、これらのモジュールは、いかなる適切な方法で作動させてもよい。
【０１９９】
図９Bの韻律法解析モジュール１３４は、乗員の感情状態を決定するために多変量解析アルゴリズムを使用することができる。
【０２００】
例えば、話し言葉入力（例えば、話し言葉率、話す間隔、間隔変化率、間隔変化、Teagerエネルギー演算子、強度、強度変化、関節、音韻論、音声品質、ノイズ比に対する倍音、又は他の話し言葉の特徴）の特有の特徴が計算される。
【０２０１】
基準値と比較されるこれらの値の変化が、感情を連続スケールで決定するか又は会話の分類を決定する分類アルゴリズムへの入力として使われる。
【０２０２】
韻律法解析アルゴリズムは、意味解析と結合される場合より強力になる。
【０２０３】
これらのアルゴリズムは乗員の会話を分析する。
【０２０４】
例えば、「興奮」した感情に対応（with）する言葉の音量をマップ化したルールを実行することができる。
【０２０５】
音量が大きいほど、「興奮」の割合が高い。勿論、他のルールを実行することもできる。
【０２０６】
基本感情は、「恐れ」「怒り」「悲しみ」「幸福」及び「嫌気」を含むことができる。これらの感情を表すことができる音声要因は、話し言葉率、話の平均間隔、間隔範囲、強度、音質及び発音の明瞭性を含むことができる。
【０２０７】
スピーチの語彙の分析は有用と言える。「曇りの」ときに「曇り」の語を使用することは、一般的にある負の感情を示すと言える。
【０２０８】
更に、構文解析は、例えば、話者が受動態を使用しているか能動態を使用しているかどうかを、分析することができる。能動態を使用していることは、自信と幸福を意味する。しかし、他の技術及び／又はアルゴリズムを使用することもできる。
【０２０９】
図１において例示される乗員１２の評価（概算）された感情状態を表す感情ベクトルを個々に生成するべく、語彙／構文分析モジュール１３６、１３８は、音声認識出力に対するルールとして実装された一組のアルゴリズムを適用する。
【０２１０】
語彙解析アルゴリズムは、乗員によって口にされる語のテキスト形を抽出することができて、感情を伴う語彙を用いたテキストを分類することができる。
【０２１１】
そのような語彙は、明白な感情を伴う語句を含む感情語辞書（DAL）である。
【０２１２】
統計分析は、話者が表現したい感情を決定するために、明白な感情を伴う内容を含む言葉資料（コーパス）の全ての語に適用される。
【０２１３】
例えば、語彙解析モジュール１３６は、「欲求不満」の感情を持つ乗員１２による虚辞の使用頻度をマップ化することができる。
【０２１４】
頻度が大きいほど「欲求不満」の割合も高い。構文分析モジュール１３８におけるルールとして特定の実施例において実行されるアルゴリズムは、「怒り」の感情を有する話し言葉の平均的な語彙長さをマッピングすることもできる。
【０２１５】
平均文が短いほど、「怒り」の割合も高くなる。他のアルゴリズム及び／又はルール等を実施することもできる。
【０２１６】
構文解析アルゴリズムは、話された会話の中に含まれる要素、例えば文の長さ、句読点の使用、動詞クラス（動作動詞か達成動詞か）、動詞評価（受動態か能動態か）、動詞の有効性（高いか低いか）等を話し手の感情を決定するために用いることができる。
【０２１７】
本願明細書において述べられる特定の実施例において、図１に例示される乗員１２の概算された感情状態を表すために、「幸せな」、「悲しい」、「恐れ」、及び「驚き」の４つの感情を使用することができる。しかし、他の／又は異なる感情を使用することもできる。
【０２１８】
これらの４つの感情は、３つの変数によって表すことができる。
【０２１９】
例えば、「HS」「FR」及び「SP」「HS」変数は、ネガディブハイ（「NH」）、ネガティブ・ロー（「NL」）、ニュートラル（「NT」）、ポジティブロー（「PL」）で、ポジティブハイ（「PH」）を割り当てることができる。
【０２２０】
「NH」及び「NL」は、「悲しさ」の度合を表す。「PL」及び「PH」は、「幸せの度合」を表す。「FR」及び「SP」変数はそれぞれ、ニュートラル（NT）、ポジティブ・ロー（PL）、及び、ポジティブハイ（PH）を割り当てることができる。
【０２２１】
図９Bの感情概算器１４０は、モジュール１３４、１３６、１３８により出力される感情ベクトルに対して、ルールとして使用されるアルゴリズムを適用して、それらを図１において例示される乗員１２の感情評価に変換する。
【０２２２】
他の適切なアルゴリズム及び／又は解析手法（例えばニューラル・ネットワーク）を使用することもできる。
【０２２３】
一組のファジー・ベースのルールは、モジュール１３４、１３６、１３８のそれぞれにおける「恐れ」の評価に適用される。すなわち、「恐れ」の統合評価に達するための「FR」変数は、例えば、各々のモジュール１３４、１３６、１３８における「恐れ」の計測が、「HP」、「LP」及び「NT」である場合に、感情概算器１４０によって適用されるファジールールは、乗員１２の「恐れ」の測定を統合した結果として「LP」を出力することもできる。各モジュール１３４、１３６、１３８からの「恐れ」の計測は、この例では、このようにして平等に重み付けされる。
【０２２４】
いくつかの実施例において、感情概算器１４０によって適用されるアルゴリズムは、特定のモジュール１３４、１３６、１３８の測定結果に賛同して、該結果を各モジュールにおける測定精度に応じて重み付けするようにしてもよい。
【０２２５】
他の実施態様において、感情概算器１４０は、図１に例示される乗員１２からのフィードバックに基づいて、特定のモジュール１３４、１３６、１３８に賛同して、動的に結果を重み付けするようにしてもよい。
【０２２６】
例えば、図１において例示されるEAS１０は、乗員の感情状態を表現するために、乗員１２に対して、「幸せ」「悲しい」「恐れ」及び「驚き」の観点で質問する。そして、感情生成器１４０は、乗員１２からこの種のフィードバックを受け取って、結果がより密接に乗員の感情状態に沿うように調整される。
【０２２７】
例えば、語彙解析モジュール１３６が、乗員の感情状態を最も良く近似した感情状態を生じている場合には、感情生成器１４０は、韻律法解析モジュール１３４及び統合モジュール８からの感情状態の評価を無視するか又はこれに依存しないようしてもよい。
【０２２８】
これらと同様の評価を、各々のモジュール１３４、１３６、１３８からの感情ベクトルにおける他の変数のために実行するようにしてもよい。
【０２２９】
これらの変数の集合によって、図１において例示される乗員１２の会話を基に概算された乗員の感情状態に対応する感情ベクトルが形成される。
【０２３０】
後述するように、この概算された乗員の感情状態が、アバターの擬似的な感情状態を決定するために使用される。
【０２３１】
再び図９Aに戻って、図９Bに例示される感情概算器１４０からの感情状態は、図６において例示される画像認識モジュール８２から出力される画像認識出力、図６において例示されるCANバスインターフェース８８から出力される車両システム出力、及びエージェントの感情は、感情生成器１３２への入力として生成される。
【０２３２】
以下に詳述するように、エージェントは、特有のタスク／機能を実行するべく図１に例示されるEAS１０と協働して作動する独立したプログラムとすることができる。
【０２３３】
図９Aの実施例において、エージェントの感情は、エージェントによって出力されて、エージェントが実行しているタスクの品質又は図１に例示する車両１４の状態に関する問題を表す。
【０２３４】
例えば、エンジン（図示せず）のオイルが少ない場合に、アバターはこのことを否定的な表現で示すことができる。
【０２３５】
同様に、遠隔位置との間で無線通信リンクを確立して維持する役割を果たすウェブ・エージェントは、通信リンクと関連した接続性及び性能の指標である感情を出力することができる。
【０２３６】
以下は、上述したウェブ・エージェントに関連した性能及び接続性を感情に変換するための一組のルールを一組の感情に変換するための例である。
【０２３７】
当業者にとって明らかな様に、この実施例は、ここで述べられるアルゴリズムの他のタイプのものでも実現することができる。
【０２３８】
この例では、図１において例示される遠隔ネットワーク１７を介してアクセス可能な情報ソースを有するコンピュータ２０の接続性（「cone」）は、「良」か「不良」かのいずれかで特徴付けられる。接続性に関連する性能（「Perf」）は、「低」、「中」、「高」によって特徴付けられる。
接続性の変更（「ConnChng」）及び性能の変更（「PerfChng」）は、「正」（「Pos」）、「中立」（「Zero」）、「負」（「Neg」）によって特徴付けられる。
１．もしも、「接続性」が「不良」で、且つ「接続性の変更」が「正」のときには、「HS」が「NL」、「FR」が「PL」、SPが「PL」。
２．もしも、「接続性」が「不良」で、且つ「接続性の変更」が「中立」で、且つ「接続性に関する性能」が「低」で、且つ「接続性の性能」が「中立」のときには、「HS」が「NL」、「FR」が「PL」、「SP」が「NT」。
３．もしも、「接続性」が「良」で、且つ「接続性の変更」が「中立」で、且つ「接続性に関する性能」が「低」で、且つ「接続性の性能」が「負」のときには、「HS」が「NL」、「FR」が「PL」、「SP」が「NT」。
４．もしも、「接続性」が「良」で、且つ「接続性の変更」が「中立」で、且つ「接続性に関する性能」が「低」で、且つ「接続性の性能」が「中立」のときには、「HS」が「NL」、「FR」が「PL」、「SP」が「NT」。
５．もしも、「接続性」が「良」で、且つ「接続性の変更」が「中立」で、且つ「接続性に関する性能」が「低」で、且つ「接続性の性能」が「正」のときには、「HS」が「NT」、「FR」が「NT」、「SP」が「NT」。
６．もしも、「接続性」が「良」で、且つ「接続性の変更」が「中立」で、且つ「接続性に関する性能」が「中」で、且つ「接続性の性能」が「負」のときには、「HS」が「NT」、「FR」が「NT」、「SP」が「NT」。
７．もしも、「接続性」が「良」で、且つ「接続性の変更」が「中立」で、且つ「接続性に関する性能」が「中」で、且つ「接続性の性能」が「中立」のときには、「HS」がPH、「FR」が「NT」、「SP」が「NT」。
８．もしも、「接続性」が「良」で、且つ「接続性の変更」が「中立」で、且つ「接続性に関する性能」が「中」で、且つ「接続性の性能」が「正」のときには、「HS」が「PL」、「FR」が「NT」、「SP」が「NT」。
９．もしも、「接続性」が「良」で、且つ「接続性の変更」が「中立」で、且つ「接続性に関する性能」が「高」で、且つ「接続性の性能」が「中立」のときには、「HS」が「PL」、「FR」が「NT」、「SP」が「NT」。
１０．もしも、「接続性」が「良」で、且つ「接続性の変更」が「中立」で、且つ「接続性に関する性能」が「高」で、且つ「接続性の性能」が「正」のときには、「HS」が「PL」、「FR」が「NT」、「SP」が「NT」。
１１．もしも、「接続性」が「良」で、且つ「接続性の変更」が「負」で、且つ「接続性に関する性能」が「低」で、且つ「接続性の性能」が「負」のときには、「HS」が「NL」、「FR」が「PL」、「SP」が「NT」。
１２．もしも、「接続性」が「良」で、且つ「接続性の変更」が「負」で、且つ「接続性に関する性能」が「低」で、且つ「接続性の性能」が「中立」のときには、「HS」が「NT」、「FR」が「PL」、「SP」が「NT」。
１３．もしも、「接続性」が「良」で、且つ「接続性の変更」が「負」で、且つ「接続性に関する性能」が「低」で、且つ「接続性の性能」が「正」のときには、「HS」が「NT」、「FR」が「NT」、「SP」が「NT」。
１４．もしも、「接続性」が「良」で、且つ「接続性の変更」が「負」で、且つ「接続性に関する性能」が「中」で、且つ「接続性の性能」が「負」のときには、「HS」が「NT」、「FR」が「NT」、「SP」が「PL」。
１５．もしも、「接続性」が「良」で、且つ「接続性の変更」が「負」で、且つ「接続性に関する性能」が「中」で、且つ「接続性の性能」が「中立」のときには、「HS」が「PL」、「FR」が「NT」、「SP」が「PL」。
１６．もしも、「接続性」が「良」で、且つ「接続性の変更」が「負」で、且つ「接続性に関する性能」が「中」）and（「接続性の性能」が「正」のときには、「HS」が「PL」、「FR」が「NT」、「SP」が「NT」。
１７．もしも、「接続性」が「良」で、且つ「接続性の変更」が「負」で、且つ「接続性に関する性能」が「高」で、且つ「接続性の性能」が「負」のときには、「HS」が「PL」、「FR」が「PL」、「SP」が「PL」。
１８．もしも、「接続性」が「良」で、且つ「接続性の変更」が「負」で、且つ「接続性に関する性能」が「高」で、且つ「接続性の性能」が「中立」のときには、「HS」が「PL」、「FR」が「PL」、「SP」が「NT」。
１９．もしも、「接続性」が「良」で、且つ「接続性の変更」が「負」で、且つ「接続性に関する性能」が「高」で、且つ「接続性の性能」が「正」のときには、「HS」が「PL」、「FR」が「NT」、「SP」が「PL」。
【０２３９】
第１のルールは、接続性が不良で、接続の変更性が正である場合には、「幸福／不幸」がネガティブ・ローになり、「恐れ」がポジティブ・ローになる。他のルールも同じように解釈することができる。
【０２４０】
一つ又は複数の入力は、感情生成器１３２においてアバター感情を生成するために用いることができる。
【０２４１】
例えば、感情生成器１３２は、アバターによって表現される感情が効果的に車両限界となるように、車両運転中における車両システム出力以外は無視することができる。
【０２４２】
図１において例示される車両１４のアクセルペダルの位置を表すパラメータは、例えば、アバターの眉角度によってマップ化される。
【０２４３】
加速時において、アバターは、その眉の角度を下げて攻撃的表情を見せることができる。
【０２４４】
減速時においては、アバターは、その眉の角度を上げてリラックスした表情を見せることができる。
【０２４５】
同様に、図１において例示される乗員１２が利用可能な力は、アバターの口の湾曲によってマップ化することができる。
【０２４６】
利用可能な力が要求された力よりも大きいときには、アバターは微笑んだ口によって満足（happy）を表現する。
【０２４７】
利用可能な力が要求された力未満であるときには、アバターは不機嫌な口によって不満（un
happy）を表現する。他の構成は、もちろん、可能でもある。
【０２４８】
別の例として、感情生成器１３２は、アバターと会話する乗員が存在しない場合には、音声認識出力及び画像認識出力以外を無視することができる。この実施例の構成において、アバターは、乗員が存在しない場合には、車両関連の情報を伝達しない。他の構成及び配置も可能でもある。
【０２４９】
この感情生成器１３２の選択的機能は、図１において例示されるEAS１０側の自発性及び意図を反映することができる。
【０２５０】
例えば、EAS１０は、会話の内容を緊急に伝えるために、乗員の感情に訴えるために、又は、図１に例示される車両システム２２の状態を伝えるために、擬似的な感情を使用することができる。EAS１０は、このように、様々な入力に対応した感情を表示するための時間を決定することができる。上述した選択的機能は、乗員からの要求により及び／又は自動的に行うことができる。
【０２５１】
いくつかの実施例では、その感情を生成するときに、図１において例示される乗員１２は、EAS１０に対して、例えば車両システム出力（又は図９Aにおいて例示される他の入力）等の車両情報以外を無視するように指示することができる。
【０２５２】
他の実施例において、仮に、EAS１０が、乗員１２との通信中は車両１４（図１に例示された車両１４）の状態を優先する意図を有している場合には、EAS１０が、車両加速中において、車両情報以外を自動的に無視するようにしてもよい。例えば、特定の車両動作パラメータ（例えばタイヤ圧、燃料レベル、エンジン温度、その他）が臨界レベルに達した場合に、アルゴリズムはEAS１０に対して以下のように指示することができる。エンジン温度が「熱い」場合にはこの種のアルゴリズムが適用されて、車両システム出力以外を無視する。
【０２５３】
さらに他の実施例において、例えば、EASが新規な運転者（乗員）に出会って、この新規な運転者と感情的な絆を確立しようとしている場合には、EAS１０は画像認識出力及び乗員感情以外を無視するようにしてもよい。他の構成も可能でもある。
【０２５４】
図９Aに示される感情生成器１３２は、図９Bに例示される感情概算器１４０に関して述べられたルールと同様のルールにしたがう一つ又は複数のアルゴリズムを適用して、入力を統合するとともに、アバターのための擬似的な感情状態（すなわちアバターの感情）を発生させる。
【０２５５】
この感情状態は、重み付けされた多変数ベクトル（すなわち感情を表すベクトル）という形をとる。
【０２５６】
上述のように、この感情ベクトルは、「幸せな」「悲しい」「驚いた」及び「怖い」（「興奮−休止」、「楽しい−不快な」等）という感情を表す変数群を含んでおり、各変数は、特定の感情の程度を表す加重値を含んでいる。
【０２５７】
しかしながら、上述のように、アバターの感情状態を生成するために他の技術を使用することもできる。
【０２５８】
例えば、感情生成器１３２によって受信される入力を統合してアバターの擬似的な感情状態に変換する、適切なニューラル・ネットワークを使用するようにしてもよい。
【０２５９】
上記のように、図１において例示されるEAS１０は、同じく図１に例示される乗員１２から情報を収集し且つ／又は情報を乗員１２に提供するべく、該乗員１２と会話を行う。
【０２６０】
この会話をうまく進め且つ容易化するアルゴリズム／技術／方法を、図１０〜図１２を参照して説明する。
【０２６１】
図１０を参照して、口頭対話マネージャ１４２は、エージェントからの入力に加えて、図１に例示される乗員１２からの入力（例えば、画像認識、音声認識ボタンの押圧、乗員感情等）を受信する。
【０２６２】
口頭対話マネージャ１４２は、これらの入力を処理して、例えばアバター、エージェント、及び／又は図４に例示される車両システム２２のためのタスクを生成する。
【０２６３】
図１０の口頭対話マネージャ１４２は、論理プログラミング言語（例えばPROLOG、Datalog、HiLog、λProlog等）を使用したソフトウェアにより実施される。これらの言語は、コンピュータ言語学と関係していてもよい。もちろん、他の高水準言語（例えばJava、LISP、その他）を使用することもできる。
【０２６４】
他の実施例において、口頭対話マネージャ１４２は、埋込み型プロセッサ、フィールド・プログラム可能なゲート・アレイ、ウェブサーバ等によって実施することができる。口頭対話マネージャ１４２によって生成されるタスクは、アバターが話すためのテキスト、口頭対話マネージャ１４２が伝えたい事柄の意味や、与えられたテキストを話す優先順位、アバターの動作がどのように中断されるか（乗員に緊急性を伝達するか）、感情、エージェントのための処理、及び、この処理のトリガーとなる出来事を含んでいる。
【０２６５】
口頭対話システム１４２は、与えられたテキストの範囲内で、乗員入力及び／又はエージェント入力を解釈するためのルールとしてのコンテンツを、図１０の実施例において実施されるアルゴリズムに基づく特定のタスクのために生成する。
【０２６６】
例えば、ルールは、視線方向が少なくとも２０秒間下方を向いていた場合には、運転者に対して目を開けるように思い起こさせるタスクを生成するものであってもよい。
【０２６７】
このタスクと関連したテキストは「目を道路に向けなさい！」であり、優先度は「高い」である。
【０２６８】
優先度が高いタスクは、乗員にとって緊急性を要する事項が変化したことを伝達するべく、アバターに対して、例えば、現在のいかなるタスクをも放棄して会話を中断するように強いる。
【０２６９】
タスクが直ちに遂行されることを目的とするので、タスクも起動しているイベントも含まない。
【０２７０】
タスクはトリガーとなるイベントを含まない。なぜなら、タスクは直ぐに実行されるからである。
【０２７１】
他のルールでは、「車両を燃料経済モードにせよ」という乗員からの要求があったときに、エンジンの燃費効率をより高めるべく、エンジンの所定のチューニングパラメータを変更するタスクを実行する。
【０２７２】
当然のことながら、このようなエンジンのチューニングパラメータの変更は、エンジン（図示せず）のアイドリング中において実行する必要がある。このようなタスクに関連したテキストは「私は燃料経済モードに置かれています」であり、優先度は「中」である。
【０２７３】
こ処理は、パワートレイン・エージェント（日常的なタスクを自動的に行うプログラム）へと送られる。この処理は、エージェントに対して所望のパラメータを変化させることを許可する指示を含む。トリガーは、少なくとも３秒間のエンジンアイドリングであってもよい。さらに他のルールでは、詳細は後述するように、タスクを開始する如何なるエージェントも、もし乗員の感情が「不満」である場合にタスクを実行することが可能かどうかを乗員に尋ねるタスクを実行するものとしてもよい。
【０２７４】
このようなタスクに関連したテキストは「あなたを悩ませたくはありません。でも、Xエージェントが私にYを実行するように要求します。それでいいですか？」であり、優先度は「低い」である。他の及び／又は異なるルールを採用することもできる。
【０２７５】
図１１を参照して、上述したアルゴリズム／ルールは、タスク生成プログラム１４４においてソフトウェア又はファームウェアとして実施される。しかし、他の適切な変形例も考えられる。
【０２７６】
図１１のタスク生成プログラム１４４は、連続的に複数の入力（例えば音声認識、乗員感情、その他）を待ち行列に入れて、タスクを生成するためにそれらを処理する。
【０２７７】
アバターによって話されるいかなるテキストも、図１１のタスク生成プログラム１４４の範囲内において、予めプログラムされた発言及びエージェントの中から選択することにより、又は最適性理論技術を使用して総合することにより作成される。
【０２７８】
テキストはまた、音声合成装置が感情タグ付きのテキストを生成することができるように一次予測法によって「意味ありげな言葉」を生成するようにしてもよい。
【０２７９】
実行されることを必要とするいかなる処理も、利用可能な動作のリスト中から選択される。
【０２８０】
動作は、エージェント又はモジュール（例えば、本願明細書において述べられるプラグ＆プレイ・モジュール）によって実行可能となる。
【０２８１】
タスクの優先度及びタスクのためのトリガーイベントは、上述したルールによって決定される。
【０２８２】
これらのタスクの構成要素は、集合されてEASプロトコル・メッセージとしてタスク・マネージャに送られる。この詳細については後述する。
【０２８３】
もちろん、いかなる適切なプロトコル（例えばXML）を使用することもできる。
【０２８４】
図示するように、開始されたタスクは、優先度の高いものと低いものとに分類される。
【０２８５】
いくつかの実施例では、この分類は、タスク生成プログラム１４４に関して上述したのと類似の技術を使用してタスクを生成するエージェントによって実行することができる。
【０２８６】
他の実施態様において、この分類は、口頭対話マネージャ１４２によって実行することができる。
【０２８７】
例えば、図１に例示された乗員１２の興味の対象となるニュースのために、同じく図１において例示されるネットワーク１７を介してアクセス可能な様々なデータソースをモニタするニュースエイジェントからのタスクについては、口頭対話マネージャ１４２によって低い優先度を割り当てることができる。他の構成も可能でもある。
【０２８８】
エージェントのタスク、ボタンタスク及び会話タスクは、図１において例示される乗員とEASとの間で、会話の前後文脈を変化させることができるという点で類似している。
【０２８９】
上述したように、図１において例示されるEAS１０は、開放マイクロホン機能を含む。
【０２９０】
開放マイクロホン１４６は、例えば図１に例示された乗員１２がボタンを押すことなく、該乗員からの支持を受信するためにEASの機能を促進する。
【０２９１】
上記の通り、EAS１０は、いくつかの実施例で作動する。なぜなら、EAS１０は、上述したOCS法によって、図１に例示された車両１４内の乗員の数及び位置を決定することができる。また、音響効果によって発話者の位置を決定することができる。また、受信した発言が文脈的に正しいかを決定することができる。また、視線検出により乗員がアバターを見ているかどうかを決定することができる。また、音声キャンセラー等を使用することにより、マイクロホンからの音声信号中からアバターの音声を除去することができる。
【０２９２】
開放マイクロホンは、乗員が必要に応じてアバターを中断する「割り込み」とともに使用される。
【０２９３】
例えば、車両が発進した後の初期の状態においては、マイクロホン１４６によって実行されるアルゴリズムは、例えばアバターの名前等の限られた語／記載のうちの少なくとも１つを聞き取る。
【０２９４】
一旦検出されると、開放マイクロホン１４６は、もっと長い語／発言を受け入れ可能な会話モードへと移行する。
【０２９５】
このように、この移行は、図１において例示される乗員１２の声のみによって誘発される。
【０２９６】
会話モードで受け入れ可能な語／発言は、対話の前後文脈によって制限されてもよい。
【０２９７】
例えば、図１において例示される乗員１２によって生成された、現在の会話の前後文脈から外れている発言は、開放マイクロホン１４６によって無視することができる。
【０２９８】
他の実施例において、画像認識情報、話し言葉作詩法等は、会話が図１において例示されるEAS１０に向けられたものであるかどうかを決定するために使用することができる。
【０２９９】
例えば、乗員１２が他の乗員（図示せず）に注目して会話している場合、会話はEAS１０に向けられものではないだろう。
【０３００】
同様に、乗員１２の発話が歌を表す場合、この種の歌はEAS１０に向けられたものではないだろう。
【０３０１】
従って、EAS１０は、それがリスナーであるか又は聞き手であるかどうかを決定することができる。
【０３０２】
図１２を参照して、タスク生成プログラム１４４によって実行されるアルゴリズムは、各々の画像認識、音声認識、ボタン押圧、乗員感情、及びエージェントからの入力を連続的に評価する。
【０３０３】
すなわち、様々なタイプの入力が受信される度に、それらは、タスク生成プログラム１４４によって一旦遮断されて次々に又は「総当たり」的な方法で評価される。
【０３０４】
この遮断機能を可能にするために、口頭対話マネージャ１４２は、各入力のタイプに応じた書き込み命令１５０、１５２、１５４、１５６、１５８を有している。
【０３０５】
他の実施例において、タスク生成プログラム１４４によって実行されるアルゴリズムは、画像認識、音声認識、ボタン押圧、乗員感情、及びエージェント等のそれぞれの入力を、各入力に関連するタイムスタンプを基に評価することができる。
【０３０６】
これらのタイムスタンプ、例えば、図６又は本明細書のいずれかに例示されたソフトウェア・モジュール６６によって生成することができる。
【０３０７】
タイムスタンプは、データが受け取られるシステム・クロック（図示せず）の状態で測定される。
【０３０８】
タスク生成プログラム１４４は、受信した入力を、それぞれのタイムスタンプによって待ち行列に仕分ける。
【０３０９】
一旦待ち行列に入れられると、タスク生成プログラム１４４は、上述した通り、それらを評価する。
【０３１０】
一般的に言って、これは待ち行列アルゴリズムのためのソフト（例えば、Fair Queueing、Weighted Fair Queueing、Token Bucket、Round Robin等）である。
【０３１１】
当業者にとって明らかなように、図２に示す音声認証入力は、入力がタスク生成プログラム１４４に書き込まれる前に付加処理を必要とする。
【０３１２】
１６０に示されるように、口頭対話マネージャ１４２は、適切な音声認識エンジン（例えばNuance Recognizer、Nuance VoCon、SRI International DECIPHER、MIT Jupit等）も使用して、テキスト形式で表された認識した音声を、該認識した音声と関連した一組の仮定及び発言記録に変換する。
【０３１３】
口頭対話マネージャ１４２は、１６２に示すように、認識が入力であるかどうか決定するために、一つ又は複数の前後文脈、視線方向等を使用する。
【０３１４】
図１２の実施例において、文脈用アプリケーションは、例えば、図１において例示される乗員１２が、EAS１０との交信を試みているか、又は車両１４の他の乗員との情報交換を試みているかどうかを決定するために実行される。
【０３１５】
もし、認識が「私のためにニュースを取得して下さい」であれば、口頭対話マネージャ１４２は、認識が入力である、すなわち、対話は、図１に例示されたEAS１０に向けられたものであって、車両１４内の他の乗員に向けられたものではないということを決定する。
【０３１６】
一方で、認識が「Hi mom（ねえお母さん）」からなるものであれば、口頭対話マネージャ１４２は、この種の会話は、その方向に向けられたものではないと断定することができて、１６０に戻る。
【０３１７】
１６４に示されるように、口頭対話マネージャ１４２は、認識の選択例から最高の文を選択する。
【０３１８】
例えば、図１に例示された乗員１２との現在の対話がローカル・レストラン（すなわち口頭対話マネージャ１４２がレストラン文脈に置かれている場合には、それは「私のために概説して下さい」というフレーズを選択することができる。
【０３１９】
乗員１２のニュースに関する要望と対照的に、乗員１２が、レストランの会話において、概説を要求する可能性がより高いとすることもできる。
【０３２０】
上述したように、図１において例示されるEAS１０は、擬似的な感情状態を伝達することができる。
【０３２１】
アルゴリズム／技術／方法等、この種の感情状態を促進する方法は、図１３〜図１５に記載されている。
【０３２２】
図１３を参照して、感情的音声合成装置１６４は、アバター感情及びアバター・プロンプトを結合する。すなわち、アバターが話すためのテキストを、感情タグを付きのテキストに結合する。
【０３２３】
上記のように、特定の実施例で、アバター感情はベクトル表現で表される。
【０３２４】
このベクトル表現は、感情の測定器を有するアバターによって発話される部分に印付けするために、図１３の感情的音声合成装置１６４により使用される。
【０３２５】
これらの感情を表す印は、話し言葉エンジン（後述する）によって、印を付けた部分に関して、直接的に、韻律、トーン、音調変化等を直接変化させることができるように、後で翻訳される。
【０３２６】
語句の発音についてのこの種の動的な変更は、会話に含まれる感情を伴う内容を伝えることができる。
【０３２７】
例えば、アバター・プロンプトが「Have a nice day（良い一日を）」という文を含んでおり、アバター感情が「落ちつき」を表す場合には、感情的音声合成装置１６４は、感情タグを付したテキストを出力することができる。
【０３２８】
すなわち、「＜話し言葉スタイルの感情＝”穏やか”＞Have＜／話し言葉スタイル＞a great day」。構文的には、「Have」の語は、印である「話し言葉スタイルの感情＝穏やか」及び印である「話し言葉スタイル」によって囲まれる。この指定は、話し言葉エンジンに対して「Have」という語は感情を伴うことを合図する。（「a great day」は、この種の内容を有しておらず、その結果、中立の方法で話される）。勿論、他の構文スキームを使用することもできる。
この例では、「Have」という語は、「穏やかな」方法で話されるために印付けされる。
【０３２９】
詳細は後述するように、話し言葉エンジンにおいて実行されるルールは、感情標識である「穏やかな」を、速度、ピッチ、ピッチ変化、ボリューム、高い周波数コンテンツ等、「Have」の語の話し方に影響を与える一組の関連セットに翻訳する。
【０３３０】
他の話し言葉印は、W３C（World Wide Web Consortium）によりSpeech Synthesis Markup Language仕様において定められている。
【０３３１】
アバター感情を示す韻律法及び強調要素は、「Have a＜強調＞nice＜強調＞day！」という形をとることにより「nice」という語にアクセントを置く。
【０３３２】
同様に行うことができる他の要素は、以下の通りである。すなわち、中断要素は、会話の中に含まれる異なる発音や間、そして、作詩法要素ピッチ、ピッチ輪郭、ピッチ範囲、話し言葉率、話し言葉期間及び話し言葉量（強度）をシミュレーションするために用いることができる。
【０３３３】
これらの要素を使用する能力は、話し言葉技術（TTS）により制限される。
【０３３４】
TTSは、コンピュータプログラムであってもよいし、発音モデリング、フォルマント合成又は領域特異合成等であってもよい。それは、人間の声道と音響的に類似している機械装置であってもよい。
【０３３５】
音声合成装置の選択は、会話のために選択される言語の音声の自然さに、影響を及ぼすことができる。もし音声がコンピュータから来るような機械的なものである場合、「私は」及び「私に」のような語の使用は制限されなければならない。コンピュータ音声が、領域特異合成の場合のように非常に自然な場合には、「私は」及び「私に」がより容易に使用されてもよい。
【０３３６】
感情的音声合成装置１６４は、受動的な能動態を反映するテキスト、言葉使い、能動的な感情状態、受動的な感情状態、陽的感情と陰的感情とのバランス、怒り、怒り、欲求不満、幸福、その他の語法を置き換える能力を有することができる。
【０３３７】
このように感情的音声合成装置１６４が、言語及び構文を置き換えてもよいし、特定のアバター感情のために韻律を挿入するようにしてもよいし、明白な感情を有するテキストに曖昧な感情を混在させるようにしてもよい。
【０３３８】
ある実施例では、感情的音声合成装置１６４と関連したアルゴリズムは、非感情的な会話を語彙のテープとして、アバターの感情状態を入力として受け入れる変換器にて実行される。変換器は、テキストの意味表現を作成するために最初に意味解析を使用して入力を処理する。
【０３３９】
意味表現はいくつかの形（例えば、一次予測計算、意味ネットワーク、概念依存ダイヤグラム、フレーム・ベースの表現等）を採用することができる。これにより、文の文字通りの意味の表現を得ることができる。
【０３４０】
感情的音声合成装置１６４は、アバターが生成することができる、感情タグが付された文のカタログを有することができ、そして、それに対して、文字通りの意味及び感情が計算される。
【０３４１】
感情的音声合成装置１６４は、感情に訴えるタグを付けられた文をアバターに送るべく、カタログ化された文の文字通りの意味と、現在のアバター感情とを合致させる。
【０３４２】
感情的音声合成装置１６４はまた、同義語置換及びそれらの最適化理論のような技術を使用して新たな文を生成することもできる。
【０３４３】
感情的音声合成装置１６４において実行されるアルゴリズムは、語の発音を修正することもできる。例えば、「the」の語の発音を「three」又は「th［schwa］」に変えたり、アバターの感情を取り込んだ異音標記を使ってアクセントのある音節を付加したりすることもできる。
【０３４４】
この方法で作成される異音は、異音アルファベット（例えば国際音声文字（IPA）、ARPAbet、等）によって表すことができる。PRONLEX、CMUdict、CELEX等の発音辞書も、広く利用することができる。
【０３４５】
感情的音声合成装置１６４において実行されるアルゴリズムは、上記の処理で作成された文を採用して、該処理で作成された文の中から、構文、言語の正しいつづり、感情に関するルールに最も適合する文を選択する。さらに、反復した使用（それは何度も繰り返されると面等になる）を回避するために、過去に使用された文の情報を記憶する。
【０３４６】
選択された文は、TTSによる処理のために感情的音声合成装置１６４から出力される。
【０３４７】
図１４A及び図１４Bを参照して、感情的音声合成装置１６４は、１６６に示されるアバター・プロンプトからのテキストを待つ。
【０３４８】
１６８に示されるように、テキストが検出されたときに、感情的音声合成装置１６４はテキストを得て、１７０に示されるように、アバター感情を得る。
【０３４９】
１７２に示されるように、感情的音声合成装置１６４は感情タグをテキストに埋め込む。
【０３５０】
１７４に示されるように、感情的音声合成装置１６４は感情的でタグを付されたテキストを出力する。
【０３５１】
１７６に示されるように、先ず最初にテキストの語句を構文解析する。
【０３５２】
１７８に示されるように、解析された語句が感情に訴える内容を有するかどうか判定される。
【０３５３】
図１４Bの実施例において、この判定は、解析された語及びアバター感情に基づく。
【０３５４】
例えば、感情と共に書き込まれたキーワードを含むデータベースは、特定の語が感情を伴うか（感情を伴う内容を有するか）どうか決定するために閲覧される。
【０３５５】
データベースは、「穏やかな」「幸せな」という感情に関連する「Have」という語を含むことができる。
【０３５６】
感情的音声合成装置１６４によって実行されるルールは、解析された語が「Have」であるか否か、及び、アバター感情が「穏やか」又は「幸せ」を表しているか否かを示すことができ、それから、「Have」の語はアバター感情によって示される感情により印付けされる。
【０３５７】
しかしながら、もし、アバター感情が「落ちつき」及び「幸せ」以外の感情を表す場合には、「Have」の語は印付けされない。（例えば、語彙の感情分析技術は、データベースのどの語が感情を伴うかについて決定するために用いることができる）。上記の方式を実施する実施例において、特定の語は、アバターの感情に依存した感情を伴うものとしてもよいし、有さないものとしてもよい。
【０３５８】
他の実施例において、感情的音声合成装置１６４によって、最初に解析されたテキストの語句に、アバター感情で印付けするか、又は、テキストの中で最初に見つけた動詞にアバター感情で印付けするようにしてもよい。他の構成及び技術も、勿論可能でもある。
【０３５９】
解析された語に感情タグが付されることになっている場合には、感情的音声合成装置１６４は１８０に示されるように解析された語に感情タグを埋め込む。
【０３６０】
１８２に示されるように、テキストの次の語が解析される。
【０３６１】
１８４に示されるように、テキストの終わりに達したか否かが判定される。
【０３６２】
YESの場合は、処理は１７４へ進む。
【０３６３】
NOの場合は、処理は１７８に戻る。
【０３６４】
１７８に戻って、もし解析された語が感情タグを付けられることになっていない場合には、処理は１８２へ進む。
【０３６５】
図１５を参照して、アバター・コントローラ９２は、表示エンジン１８４（例えばRenderware、Torque Game Engine、TV３D、３D Game Studio、C４ Engine、DX Studio、Crystal Space、Game Blender、など）を含むことができる。（これらのいくつかは、ダイレクト３D、OpenGL、DirectX、SDL、OpenAL、などを含むいくつかのグラフィックスを指向するAPIを使用する。）と、ソフトウェアにより実行される音声変換エンジン１８５（例えばNuance Recognizer、Nuance VoCon、SRIインターナショナルDECIPHER、MIT木星等）と、を含んでいる。
【０３６６】
勿論、エンジン１８４、１８５は、ファームウェア、ハードウェア、その他により実現される。
【０３６７】
上記のように、表示エンジン１８４は、ボタン表示入力に基づいて、適切な仮想ボタンを図２に例示されたディスプレイ４０に表示する。
【０３６８】
同様に、表示エンジン１８４は、アバタージェスチャ入力に基づいて、適切なアバター動作、例えば手運動、頭の運動、その他をディスプレイ４０に表示させる。
【０３６９】
図１５の実施例において、表示エンジン１８４は、感情タグを付されたテキストを受信して、音声変換エンジン１８５にそれを提供する。
【０３７０】
音声変換エンジン１８５は、感情的会話データベースと協働して、アバター音声を合成するとともに、韻律のための後処理を実行する。
【０３７１】
音声変換エンジン１８５は、感情を伴う音声と共に録音された異音のデータベース（図示せず）を含むことができる。このデータベースには、例えば、Linear Predictive Coding（LPC）又はケプストラルな形式で、異音ばかりでなく感情のインデックスが保存されている。
【０３７２】
「穏やかな」感情のためのこの種のデータベースの登録は、一組の作詩法、緊張、ピッチ、速度等、「穏やかな」感情のタグが付された語に適用されるパラメータを指定することができる。
【０３７３】
「悲しい」感情のためのこの種のデータベースの登録は、一組の作詩法、緊張、ピッチ、速度等、「悲しい」感情のタグが付された語に適用されるパラメータを指定することができる。
【０３７４】
音声変換エンジン１８５により実行されるアルゴリズムは、発話しようとする音声及び必要な韻律に基づいて異音を選択し、期間、ピッチ、ピッチプロフィールを調整する異音を復号化する。それから、異音に付加された感情を伴う韻律（例えば、文章の語尾を上げるか又は特定の音節にアクセントを付加する）との境界を円滑化するデジタル信号処理の結果として生じる話し言葉に異音を合成する。
【０３７５】
アバターイベントは、音声変換エンジン１８５によって発生して、表示エンジン１８４に供給される。
【０３７６】
図１５の実施例において、アバターイベントは、視覚素、音節、語、文及びパラグラフを含む。他の及び／又は異なるアバターイベントを使用することもできる。
【０３７７】
図１５の音声変換エンジン１８５は、視覚素に対応する音素のマッピングを含む。
【０３７８】
音素に対応するデジタル・オーディオ・データが図６において例示されるスピーカ・ドライバ８０に出力される度に、視覚素に対応するアバターイベントが表示エンジン１８４に送られる。
【０３７９】
同様に、語に対応するデジタル・オーディオ・データがスピーカ・ドライバ８０等に出力される度に、語に対応するアバターイベントが表示エンジン１８４に送られる。
【０３８０】
一例として、「how are you？」を表すデジタル・オーディオ・データは、アバターイベントについての以下のフローを生じる（「how」に関連する２つの視覚素と、「are」に関連する１つの視覚素と、「you」に関連する２つの視覚素とが存在すると仮定すれば）。すなわち、視覚素、視覚素、音節、語、視覚素、音節、語、視覚素、視覚素、音節、語、文。
【０３８１】
図１５の表示エンジン１８４は、唇位置に対応した視覚素のマッピングデータを含んでいる。
【０３８２】
当業者にとって明らかな様に、アバターイベントは、表示エンジン１８４に対して、図６に例示されたスピーカ・ドライバ８０のためのデジタル・オーディオ・データに対応する唇の位置に関する情報を知らせることができる。
【０３８３】
以下に詳述するように、アバターイベントは、より緊急の会話を有するアバターの現在の会話を中断するべきかどうか又はいつ中断するべきかのタイミング基準として使用することができる。
【０３８４】
例えば、アバターの会話は、次の視覚素、音節、語、文、パラグラフ等において中断することができる。
【０３８５】
このように、表示エンジン１８４は、音声変換エンジン１８５より受け取ったアバターイベントを、とりわけ、アバターと関連した会話の様相に関連する他のモジュールに出力する。
【０３８６】
上述したように、表示エンジン１８４は、アバター感情を、これに対応する一組の表情／色／その他に翻訳することができる。  
【０３８７】
図１５の表示エンジン１８４は、顔の位置と感情とをマップ化したデータベースを含む。
【０３８８】
例えば、データベースは、アバターが怒るときに赤くなるように、「怒った」感情を赤色にマップ化した登録を含むことができる。
【０３８９】
データベースはまた、アバターが妬んでいうるときに緑になるように、「妬み」の感情を緑色にマップ化した登録を含むこともできる。
【０３９０】
同様に、様々特徴位置又は特徴自体を、感情によって変化させるようにしてもよい。他の構成は可能でもある。
【０３９１】
他の実施態様において、表示エンジン１８４は、アバターをどのように変化させるかを決定するべく、感情タグが付されたテキストを、音声変換エンジン１８５に供給する前に翻訳することができる。
【０３９２】
前述した実施例を用いて表示エンジン１８４にて実行されるアルゴリズムは、アバターが「穏やかな」感情を伝えるために、感情タグが付されたテキスト（「会話スタイルの感情＝”穏やかな”＜／会話スタイル＞a great day」）を翻訳することができる。勿論、表示エンジン１８４における翻訳を容易にするために、感情タグが付されたテキストのための他の及び／又は異なる構文を採用することもできる。
【０３９３】
例えば、アバター感情は、感情タグが付されたテキストの端に追加するようにしてもよい。
【０３９４】
表示エンジン１８４は、テキストを解析することができて、アバター感情を除去し、音声変換エンジン１８５に結果として生じるタグ付けされたテキストを提供することができる。
【０３９５】
上記のように、図１において例示されるEAS１０は、乗員１２及びEAS１０間の過去の交信履歴に基づいて、図１において例示される乗員１２の要求、命令、及び／又は好みを予測して学ぶことができる。
【０３９６】
この種の学習を可能にする技術／アルゴリズム／方法等は、図１６〜図１７Cにおいて述べられている。
【０３９７】
図１６を参照して、ソフトウェア及びファームウェアにより実現されるEAS学習モジュール１８６等は、図１に示されたEAS１０に向けられる乗員の要求を受信する。
【０３９８】
要求、及び、要求が形成される関連状態（図６において示される）は、データベース１８８に記録されている。
【０３９９】
例えば、学習モジュール１８６は、４つの別々の場合に、運転者が時速６０マイルで少なくとも１分間進行した後に図１において例示される車両１４の巡航操縦をセットしたということを記録することができる。
【０４００】
いくつかの実施例では、学習モジュール１８６は、どんな動きが必要かを決定するために、近似の推論を使用するアルゴリズムを実行可能なインテリジェント・システムとすることができ、この学習モジュール１８６は、図１において例示される乗員１２がいつ特定の動きを選択するか注意して見ること、乗員１２が行動を取るように提案したり、乗員の反応から学習したり、乗員１２が、図１において例示したEAS１０が自動的に開始したアクションをいつ取り消したか等を観察することにより学習を行う。
【０４０１】
上述したように、記録された状態は、図６に例示した、音声認識出力、画像認識出力、ボタン押圧、車両システム出力等のうちのいずれかであってもよい。
【０４０２】
例えば、地理的位置、天気情報、乗員感情、アバター感情等、他の状況を要求に応じて記録するようにしてもよい。
【０４０３】
後述するように、学習モジュール１８６は、さらなる要求及び／又はエージェントにて生じるタスクを予測するために、要求及び状況に関する情報を編集する。
【０４０４】
一旦編集されると、学習モジュール１８６は、認識された状況に基づいて、アバター及び／又はエージェントのための少なくとも一つのタスクを生成する。
【０４０５】
上記の例に続いて、学習モジュール１８６は、高速道路上において固定速度で走行中に巡航制御が少なくとも４回連続的にセットされた場合には（統計プロセス制御装置を使用して得られる車輪速度データ、及び、ナビゲーション・システムからの情報を必要とする）、図１に例示された車両１４の速度が一旦時速６０マイルに達したときに乗員に対して巡航制御のセットを望んでいるかどうかを尋ねるためのアバタータスクを発生するルールを有する。
【０４０６】
この例では、学習モジュール１８６は、この種の状況の記録、及びルールを満たす記録をとる。
【０４０７】
その結果、学習モジュール１８６は、本願明細書において記載された技術を使用してここに記載されたタスクを生成することができる。
【０４０８】
図１０において例示される口頭対話マネージャ１４２は、この種の質問に対して、肯定的な反応で説明することができて、その結果、動力伝達系のエージェントに巡航制御を実行させるためのタスクを生成することができる。
【０４０９】
学習モジュール１８６は、図１に例示された乗員１２からさらに学習するために、上記の例で示したのと同様の反応（質問に対する反応）を記録することができる。
【０４１０】
上記の例に続いて、学習モジュール１８６はさらに、運転者がこの種の質問に３回肯定的に反応した場合に、巡航制御が自動的にセットされて、この制御が実行されたことを運転者に知らせるルールを有する。
【０４１１】
同様に、学習モジュール１８６は、運転者がこの種の要求に２回否定的に応じた場合には、２週間経過しない限り、運転者は巡航制御に関する質問を受けないとするルールを有していてもよい。
【０４１２】
勿論、学習モジュール１８６にて他の及び／又は異なるルールを実行するようにしてもよい。
【０４１３】
他の実施態様において、データベース１８８は、予め指定された一組の条件及び関連するタスクを含むものであってもよい。
【０４１４】
タスクが実行される度に、予め指定された条件が点検される。
【０４１５】
もし、指定された条件が合う場合には、カウンタは増加する。
【０４１６】
一旦カウンタが閾値に達すると、このルールでは、例えば、次に条件が成立したときに、学習モジュール１８６が、図１に例示された乗員に対して、タスクが完了されるかまたはタスクを完了することを望むかどうかについて尋ねるタスクを発生して、タスクが完了したことを乗員１２に知らせる。
【０４１７】
例として、データベース１８８は、第１の登録タスク「巡航制御を設定する」及び関連条件「速度が時速６０マイルを超える」を含んでいる。データベース１８８は、第２の登録タスク「巡航制御を設定する」及び関連条件「速度が時速１０マイルを超え且つ時速２０マイル未満である」を含んでいる。カウンタはこれらの登録毎に設定されている。
【０４１８】
時速６５マイル、時速６８マイル及び時速６０マイルの３つの異なる速度においてそれぞれ巡航制御が設定されている場合に、第２の登録タスクに関連したカウンタが増加しない間でも、第１の登録タスクに関連したカウンタは３回増加する。
【０４１９】
図１において例示される車両１４の速度が時速６０マイル（３つめの閾値）を超えた次の瞬間を仮定した場合に、学習モジュール１８６にて実行されるルールは、図１に例示されるEAS１０に対して乗員１２が巡航制御を望んでいるか否かに関しての質問を促すタスクの生成を誘発することができる。
【０４２０】
別の例として、データベース１８８は、「クラシック音楽をオンにする」という登録タスク、及び、関連条件「乗員感情＝怒っている」を含むことができる。
【０４２１】
もし、乗員１２がクラシック音楽を４つの異なる感情状態で再生する場合に、乗員感情が「怒っている」であり、次の瞬間においても乗員感情が「怒っている」であるときには、EAS１０は、クラシック音楽を演奏するか、又は、ルールが許す場合には、乗員１２に対してクラシック音楽を聞きたいか否かを尋ねることができる。
【０４２２】
勿論、他のEAS動作や車両動作パラメータ等を、上述した方法と類似の方法で変えることもできる。
【０４２３】
さらに他の実施例において、解析手法は、学習モジュール１８６が、図１に例示される乗員１２から学習することを許容するルールを生成するものであってもよい。
【０４２４】
例えば、学習モジュール１８６は、入力状況をモニタして、乗員の要求に応じたパターンの適合を試みるニューラル・ネットワークを実施するものであってもよい。
【０４２５】
例えば、この種のニューラル・ネットワークは、特定の時刻で、特定の運転者が金融市場に関するニュースを求めることを認識する。
【０４２６】
その結果、学習モジュール１８６は、特定の時刻に先立って金融市場に関するニュースを集めるエージェントのためのタスクを発生させるとともに、一日の特定の時間の直前に運転者に対して金融市場に関するニュースが欲しいか否かを尋ねるためのタスクを生成することができる。
【０４２７】
この例では、ニューラル・ネットワークは、この種の学習モジュール１８６へのいくつかの否定的な反応の要求が開始された後には、ニューラル・ネットワークがもはやこの種のニュースを集めることがないか、又は、特定の時刻に先立ってこの種のニュースに関して運転者に催促を行わないことを認識することができる。
【０４２８】
同様に、この種の要求へのいくつかの肯定的な反応は、ニューラル・ネットワークによって決定されるこの挙動を補強することができる。しかしながら、他の適切な技術を用いることもできる。
【０４２９】
上記したように、学習モジュール１８６は、データベース１８８からの編集された情報と整合したタスクを生じさせるエージェントにフィルタをかけることもできる。
【０４３０】
例えば、燃料経済エージェントは、初期設定で、アバターに対して、エンジン始動時に車両を燃料経済モードに置くべきか否かを質問するように即すこともできる。
【０４３１】
データベース１８８からの編集された情報は、この種の要求に対する肯定的な反応又は否定的な反応の記録を示すことができる。
【０４３２】
例えば、学習モジュール１８６が、一組の否定的な反応を編集する場合には、学習モジュール１８６は、燃料経済エージェントが開始したタスクを終了させることができる。
【０４３３】
例えば、学習モジュール１８６が、一組の肯定的な反応を編集する場合には、学習モジュール１８６は、車両１４を燃料経済モードに自動的に置いて、運転者に対してそのことを単に知らせるというタスクを生成することができる。
【０４３４】
図１において例示されるEAS１０は、学習モジュール１８６からその学習した好みをダウンロードして、図１に例示されたサーバ１６nの一つ又は複数に取り込むことができる。
【０４３５】
一つ又は複数のサーバ１６nは、この情報を他のEAS他からの情報と統合することができる。
【０４３６】
EAS１０は、この統合された好みに関する情報を、多数のEASの情報の集合と共に、学習モジュール１８６に予めロード／アップデートすることを要求することができる。
【０４３７】
図１７Aのアルゴリズムを参照して、学習モジュール１８６のスレッドは１９０に示すように乗員の要求を待つ。
【０４３８】
１９２に示されるように、スレッドは乗員要求が受信されたときに瞬時にデータベース１８８を更新する。
【０４３９】
図１７Bのアルゴリズムを参照して、学習モジュール１８６の他のスレッドは、１９４に示されるようにデータベース１８８の更新を待つ。
【０４４０】
１９６に示すように、スレッドは、データベース１８８が更新されたときにデータベース１８８からの乗員の好みを編集する。
【０４４１】
図１７Cのアルゴリズムを参照して、１９８に示されるように、学習モジュール１８６の他のもう一つのスレッドは、入力状況の変化を待つ。
【０４４２】
２００に示されるように、変化が発生したときには、スレッドは新たな状況を、１９６にて以前に編集された乗員の好みと比較する。
【０４４３】
スレッドは、２０２に示されるように処理を開始するべきか否かを決定する。
【０４４４】
例えば、スレッドは、現在の条件セットが上述したのと同様の特定のルールを満足しているかを判断する。
【０４４５】
YESの場合は、２０４に示されるように、スレッドはタスクを出力する。
【０４４６】
スレッドは、それから１９８に戻る。
【０４４７】
NOの場合は、スレッドは、２０６に示されるように、乗員に入力を要求するべきか否かを決定する。
【０４４８】
例えば、処理のためのタスクが開始されたことをルールが特定した場合や、乗員が質問に対して肯定的な反応を提供した場合には、スレッドはこの種の入力を要求することができる。
【０４４９】
NOの場合は、スレッドは１９８に戻る。
【０４５０】
YESの場合は、２０８に示されるように、スレッドは乗員の応答を得る。
【０４５１】
２１０に示されるように、スレッドは履歴データベース１８８を更新する。
【０４５２】
スレッドは、それから、２１２に示されるように、タスクを始めるべきかどうか決定する。
【０４５３】
この決定は、例えば、図１に例示される乗員１２が肯定的な反応を提供したかどうかに依存することができる。
【０４５４】
YESの場合は、スレッドは２０４へ進む。
【０４５５】
NOの場合は、スレッドは、１９８に戻る。
【０４５６】
異なるモジュールによって発生する様々なタスクは、上述した通りである。
【０４５７】
この種のタスクの優先順位を決定するとともに実行する技術／方法／アルゴリズム等は、図１８〜図２０を参照して説明することができる。
【０４５８】
図１８を参照して、タスク・マネージャ２１４は、共に図１において例示され、上述した様々なタスクの要求を受けるEAS１０及び車両１４に関連したリソースを管理する。
【０４５９】
ある実施例では、アバターは、一度に１つのタスクに係わることができる。
【０４６０】
このように、タスク・マネージャ２１４によって実行されるアルゴリズムは、優先順位計画に基づいて、アバターの使用に関係するタスクを計画及び実行する。
【０４６１】
この優先順位計画は、とりわけ、あるタスクが、現在の如何なるタスクをも中断させて直ぐに実行されるか否か、又はいくらか時間が経過してから実行されるか否かを示すものである。
【０４６２】
後述するように、一旦、現在のタスクが完了してしまえば、アバターは、タスクを遂行するために中断されてもよいし、新しいタスクを開始することもできる。
【０４６３】
タスク・マネージャ２１４は、このように、アバターの使用と、本願明細書に記載のシステムにおいて様々の処理が実行されることでアバターに加えられる負荷と、のバランスを図る。
【０４６４】
タスク・マネージャ２１４は、EASが開始するタスク、乗員が開始するタスク、及び／又はエージェントが開始するタスク等を受信することができる。
【０４６５】
タスク・マネージャ２１４は、それから待ち行列を作って、それらを実行する。
【０４６６】
いくつかの実施例では、タスク・マネージャ２１４は、各タスクをそれぞれの優先度に基づいて待ち行列に入れて、この優先権に基づいて該各タスクを実行する。
【０４６７】
タスク・マネージャ２１４は、より高い優先度のタスクを実行するために、現在のタスクを、終了、中断、及び／又は再開することができる。
【０４６８】
例えばアバターイベントについて上述したように、視覚素、音節、語、等は、図１８のタスク・マネージャ２１４によって、いつ待ち行列にあるタスクを実行するべきか（いかなる起動しているイベント（後述する）も満たされたと仮定した場合に）を決定するための根拠として、受信され使用される。
【０４６９】
例えば、高い優先度のタスクは、アバターの次の音節に現在のタスクを割り込ませる。
【０４７０】
中程度の優先度のタスクは、アバターの文の最後に実行される。
【０４７１】
低い優先度のタスクは、それよりも優先度の高いタスクがなくなったときに実行される。
【０４７２】
タスクの実行は、一つ又はそれ以上のエージェントを必要とする場合がある。
【０４７３】
例えば、タスクは、ウェブを介して、利用可能な情報ソースからニュースを収集するニュースエージェントを必要とする。
【０４７４】
仮に、例えば、エージェントがアバターのリソースを必要とする場合には、このようなエージェントは中断する必要があるかも知れない。
【０４７５】
その結果、図１８のタスク・マネージャ２１４は、エージェントのインスタンス化、終了、中止、再開等の命令を出力する。
【０４７６】
タスクの実行はさらに、アバターが話すためのテキストを含むことができる。
【０４７７】
タスク・マネージャ２１４は、アバター・プロンプトを経てこの種のテキストを出力する。
【０４７８】
図１９を参照して、タスクキュー２１６は、タスクの優先度及び起動イベントに基づき、タスク・マネージャ２１４によって管理されるタスクを待ち行列に入れるために用いることができる。
【０４７９】
図１９を参照して、起動イベントは、タスクキュー２１６内の様々なゴミ箱として描写される。
【０４８０】
例えば、起動イベントが欠如しているタスクは、「早急の」タスク（例えばタスク１）として捨てられることとなる。ガソリンスタンドの近くで実行されるべきタスクは、「地理的イベントのため待ちタスク」（例えば「タスク２）として捨てられる。タイヤ圧が特定の値未満のときに実行されるべきタスクは、「車両システムイベントのため待ちタスク」（例えば「タスク３）として捨てられる。勿論、他の及び／又は異なる捨て技術を用いることもできる。
【０４８１】
特定のごみ箱の範囲内で、各タスクは、各タスクに埋め込まれた所定のアバターイベントに基づいて命令される。
【０４８２】
上記のように、アバターイベントは、視覚素、音節、語、文、パラグラフ等を含むことができる。
【０４８３】
例えば、次の視覚素において実行されることになっているタスク、例えば「タスク４」は、次のパラグラフにて実行されることになっているタスク（例えば「タスク５）の前に実行される。このように、タスクが発生するときに、各タスクは、その実行を誘発するアバターイベントを表す情報を含むことができる。
【０４８４】
新しいタスクがタスク・マネージャ２１４によって受信されたときに、それらはタスクキュー２１６内において捨てられる。
【０４８５】
各ごみ箱において、タスクは、必要に応じて、各タスクと関連したアバターイベントに基づいて再整理される。
【０４８６】
再び図１８に戻って、中断されるタスクは、放棄、一次中断、又は再び待ち行列化される。
【０４８７】
一次中断されたタスクは、より優先度の高いタスクを完了した時点から続いて実行される。
【０４８８】
例えば、ニュースを読み込んでいるタスクが一次中断される場合には、タスクはそれが中断された時点からのニュースを読み込み始める。
【０４８９】
待ち行列化されたタスクは、より高い優先度のタスクが完了した後に再開する。
【０４９０】
例えば、ニュースを読み込んでいるタスクが待ち行列化される場合、それが実行されるときには、そのニュースの始めから開始する。
【０４９１】
失敗、中断、及び待ち行列化に関するタスクは、タスク・マネージャ２１４に対して、一つ又は複数のエージェントをインスタンス化、終了、中止、再開等させる。
【０４９２】
後述するように、タスクがインスタンス化されていないエージェントを必要とする場合には、タスク・マネージャ２１４は、タスクのためのトリガーイベントが発生したときに、エージェントをインスタンス化しなさいという命令を出すことができる。
【０４９３】
より優先度の高いタスクが実行される際には、アバターのリソースを消費する現在のエージェントは消滅又は中断させる必要がある。
【０４９４】
上述した、終了及び中断命令は、この種の状況の下でタスク・マネージャ２１４によって発行される。
【０４９５】
エージェントが中断される場合には、それは再開コマンドを介して後に再開されることができる。
【０４９６】
複数のタスクは、複数のエージェントがまだそれらのタスクを完了しておらず、また、アバターリソースを必要とする状況下において一次中断される。
【０４９７】
いくつかの実施例では、タスク・マネージャ２１４は、エージェントの再開命令を、それらの優先度に基づいて順次発行する。しかしながら、他のスキームを使用することもできる。
【０４９８】
図２０Aのアルゴリズムを参照して、タスク・マネージャ２１４のスレッドは２１８に示される処理を待つ。
【０４９９】
２２０に示されるように、スレッドはタスクを受け取ったときにタスクキュー２１６に入れる。
【０５００】
スレッドは、それから２１８に戻る。
【０５０１】
図２０Bのアルゴリズムを参照して、タスク・マネージャ２１４の他のスレッドは、２２２に示されるように、タスクがタスクキュー２１６に入れられるのを待つ。
【０５０２】
２２４に示されるように、スレッドは、最も優先度の高いエージェントのタスクを（優先度ばかりでなくトリガーイベントに基づいて）選択する。
【０５０３】
２２６に示されるように、スレッドはインスタンス化するエージェントがあるかどうか決定する。
【０５０４】
NOの場合は、２２８に示されるように、スレッドはタスクを適切なエージェントに引き渡す。
【０５０５】
スレッドは、それから２２２に戻る。
【０５０６】
YESの場合は、２３０に示されるように、スレッドはエージェントをインスタンス化する命令を出力する。
【０５０７】
スレッドは、それから２２８へ進む。
【０５０８】
類似のスレッドは、アバタータスクを選択して実行するように構成される。
【０５０９】
様々なエージェントが本明細書では述べられている。
【０５１０】
ある種の実施例では、エージェントは、図１において例示されるEAS１０と入出力を行うことができるプログラムである。
【０５１１】
これらのプログラムは、上述の通り、確かに機能するとともに、若干のケースでは、関数やアルゴリズムが特殊化される。
【０５１２】
図２１を参照して、エージェント２３２は、様々な入力を受信するように構成することができる。
【０５１３】
エージェント２３２は、これらの入力を処理することができて、様々な出力を提供することができて、入力に応じて、その指定されたタスクを実行することができる。
【０５１４】
例えば、運転者訓練用のエージェントは、オーディオ及び視覚フィードバックを介して、図１に例示される車両１４の乗員１２が、最小限の時間で運転できるように訓練することが可能である。
【０５１５】
エージェント２３２は、例えば、乗員１２がしばしば攻撃的に制動を行っているかどうかを決定するために車両システムの出力を処理することができて、この種の動作によって、車両１４に関連したあらゆる制動系に悪影響を与えることを運転者に警告することができる。
【０５１６】
この種のフィードバックを容易化するために、エージェント２３２は、フィードバックを伝達するために、本明細書に記載されているアバターに必要なタスクを生成するタスク生成プログラム（図示せず）と類似のものを含むことができる。
【０５１７】
上述のように、エージェント２３２はまた、感情を表す出力（それは特定の実施例において、エージェント２３２がどれくらいよくその意図された機能を実行しているかという指標である）を出力する。
【０５１８】
いくつかのエージェントは、図１において例示されるEAS１０と対話するために本願明細書において述べられるミドルウェア・メッセージ・パッシング・システムを使用する独立したプログラムとして動作する。
【０５１９】
それらは、通常、知能を有していて、EAS１０内において、図１に例示される乗員又は図１６に例示される学習モジュール１８６と同じ状態を有している。
【０５２０】
本発明の実施例が例示されてそして説明されているが、これらの実施例が本発明の全ての可能な形を例示し説明していることを意図するものではない。
【０５２１】
本明細書において使用される語は、限定よりむしろ説明の語である。そして、本発明の精神と範囲から逸脱することなく、様々変化が可能であるものと理解される。
【図１】
2010531478.tif 000003
【図２】
2010531478.tif 000004
【図３】
2010531478.tif 000005
【図４】
2010531478.tif 000006
【図５】
2010531478.tif 000007
【図６】
2010531478.tif 000008
【図７】
2010531478.tif 000009
【図８】
2010531478.tif 000010
【図９】
2010531478.tif 000011
【図１０】
2010531478.tif 000012
【図１１】
2010531478.tif 000013
【図１２】
2010531478.tif 000014
【図１３】
2010531478.tif 000015
【図１４】
2010531478.tif 000016
【図１５】
2010531478.tif 000017
【図１６】
2010531478.tif 000018
【図１７】
2010531478.tif 000019
【図１８】
2010531478.tif 000020
【図１９】
2010531478.tif 000021
【図２０】
2010531478.tif 000022
【図２１】
2010531478.tif 000023
【国際調査報告】
2010531478.tif 000024