(57)【要約】【課題】画像が表示される位置を、乗員に把握させ易くするためのエージェント装置、エージェント制御方法、およびプログラムを提供すること。【解決手段】車室内の音声を収集するマイク（１１４）と、前記車室内に音声を出力するスピーカ（１１８）と、前記マイクにより収集された音声の意味を認識する認識部（２２０）と、前記車室内に設けられる表示部（１１６）と、乗員に対して話しかける態様のエージェント画像を前記表示部に表示させると共に、前記エージェント画像が話しかける音声を前記スピーカに出力させるエージェント制御部（１５０）と、を備え、前記エージェント制御部は、前記乗員への提供画像が前記表示部に表示される場合に、前記提供画像の表示位置に前記乗員の視線を誘導させるエージェント画像を生成する、エージェント装置。【選択図】図１
2020055348.tif 000002
【特許請求の範囲】
【請求項１】
車室内の音声を収集するマイクと、
前記車室内に音声を出力するスピーカと、
前記マイクにより収集された音声の意味を認識する認識部と、
前記車室内に設けられる表示部と、
乗員に対して話しかける態様のエージェント画像を前記表示部に表示させると共に、前記エージェント画像が話しかける音声を前記スピーカに出力させるエージェント制御部と、を備え、
前記エージェント制御部は、前記乗員への提供画像が前記表示部に表示される場合に、前記提供画像の表示位置に前記乗員の視線を誘導させるエージェント画像を生成する、
エージェント装置。
【請求項２】
前記エージェント制御部は、前記エージェント画像の表示位置を、前記乗員への提供画像の表示位置に移動させる、
請求項１に記載のエージェント装置。
【請求項３】
前記エージェント制御部は、前記エージェント画像の表示位置の移動に合わせて、前記エージェント画像が話しかける音声の出力先が移動しているように音像を定位させる、
請求項２に記載のエージェント装置。
【請求項４】
前記表示部は、複数の表示部を備え、
前記エージェント制御部は、前記エージェント画像により、前記複数の表示部のうち、第１表示部から第２表示部に向けて前記乗員の視線を誘導させる、
請求項１から３のうち、何れか１項に記載のエージェント装置。
【請求項５】
前記第１表示部は、前記第２表示部よりも前記乗員の車両運転時の視線方向に近い位置に設置される、
請求項４に記載のエージェント装置。
【請求項６】
前記第２表示部は、前記第１表示部よりも視野角が大きい、
請求項４または５に記載のエージェント装置。
【請求項７】
前記乗員の視線を検出する視線検出部を更に備え、
前記エージェント制御部は、前記視線検出部により検出された前記乗員の視線位置に前記エージェント画像を表示させた後、前記乗員への提供画像に向けて前記エージェント画像を移動させる、
請求項１から６のうち、何れか１項に記載のエージェント装置。
【請求項８】
前記乗員の視線を検出する視線検出部を更に備え、
前記エージェント制御部は、前記視線検出部により検出された前記乗員の視線位置に前記提供画像が存在しない場合に、前記エージェント画像による前記乗員の視線の誘導を実行する、
請求項１から７のうち、何れか１項に記載のエージェント装置。
【請求項９】
エージェント装置のコンピュータが、
車室内の音声を収集し、
収集された前記音声の意味を認識し、
乗員に対して話しかける態様のエージェント画像を前記車室内に設けられる表示部に表示させると共に、前記エージェント画像が話しかける音声を前記車室内に音声を出力するスピーカに出力させ、
前記乗員への提供画像が前記表示部に表示される場合に、前記乗員の視線を前記提供画像の表示位置に誘導させるエージェント画像を生成する、
エージェント制御方法。
【請求項１０】
エージェント装置のコンピュータに、
車室内の音声を収集させ、
収集された前記音声の意味を認識させ、
乗員に対して話しかける態様のエージェント画像を前記車室内に設けられる表示部に表示させると共に、前記エージェント画像が話しかける音声を前記車室内に音声を出力するスピーカに出力させ、
前記乗員への提供画像が前記表示部に表示される場合に、前記乗員の視線を前記提供画像の表示位置に誘導させるエージェント画像を生成させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エージェント装置、エージェント制御方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、車室内に複数の表示部を備え、ナビゲーションシステムの設定や映像等のコンテンツの選択、再生等の操作入力に基づいて、複数の表示部のうち特定の表示部に、地図および案内の表示や、映像コンテンツの表示等を行う表示システムが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１０３８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、乗員の操作入力に基づく表示結果が、どの表示部のどの表示位置に出力されているかを探す必要があった。そのため、表示位置を探している間は、運転者の視線が監視領域から外れることとなり、結果として運転を阻害する恐れがあった。
【０００５】
本発明の態様は、このような事情を考慮してなされたものであり、画像が表示される位置を、乗員に把握させ易くするためのエージェント装置、エージェント制御方法、およびプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
この発明に係るエージェント装置、エージェント制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係るエージェント装置は、車室内の音声を収集するマイクと、前記車室内に音声を出力するスピーカと、前記マイクにより収集された音声の意味を認識する認識部と、前記車室内に設けられる表示部と、乗員に対して話しかける態様のエージェント画像を前記表示部に表示させると共に、前記エージェント画像が話しかける音声を前記スピーカに出力させるエージェント制御部と、を備え、前記エージェント制御部は、前記乗員への提供画像が前記表示部に表示される場合に、前記提供画像の表示位置に前記乗員の視線を誘導させるエージェント画像を生成する、エージェント装置である。
【０００７】
（２）：上記（１）の態様において、前記エージェント制御部は、前記エージェント画像の表示位置を、前記乗員への提供画像の表示位置に移動させるものである。
【０００８】
（３）：上記（２）の態様において、前記エージェント制御部は、前記エージェント画像の表示位置の移動に合わせて、前記エージェント画像が話しかける音声の出力先が移動しているように音像を定位させるものである。
【０００９】
（４）：上記（１）〜（３）のうち、何れか一つの態様において、前記表示部は、複数の表示部を備え、前記エージェント制御部は、前記エージェント画像により、前記複数の表示部のうち、第１表示部から第２表示部に向けて前記乗員の視線を誘導させるものである。
【００１０】
（５）：上記（４）の態様において、前記第１表示部は、前記第２表示部よりも前記乗員の車両運転時の視線方向に近い位置に設置されるものである。
【００１１】
（６）：上記（４）または（５）の態様において、前記第２表示部は、前記第１表示部よりも視野角が大きいものである。
【００１２】
（７）：上記（１）〜（６）のうち、何れか一つの態様において、前記乗員の視線を検出する視線検出部を更に備え、前記エージェント制御部は、前記視線検出部により検出された前記乗員の視線位置に前記エージェント画像を表示させた後、前記乗員への提供画像に向けて前記エージェント画像を移動させるものである。
【００１３】
（８）：上記（１）〜（７）のうち、何れか一つの態様において、前記乗員の視線を検出する視線検出部を更に備え、前記エージェント制御部は、前記視線検出部により検出された前記乗員の視線位置に前記提供画像が存在しない場合に、前記エージェント画像による前記乗員の視線の誘導を実行するものである。
【００１４】
（９）：この発明の他の一態様に係るエージェント制御方法は、エージェント装置のコンピュータが、車室内の音声を収集し、収集された前記音声の意味を認識し、乗員に対して話しかける態様のエージェント画像を前記車室内に設けられる表示部に表示させると共に、前記エージェント画像が話しかける音声を前記車室内に音声を出力するスピーカに出力させ、前記乗員への提供画像が前記表示部に表示される場合に、前記乗員の視線を前記提供画像の表示位置に誘導させるエージェント画像を生成する、エージェント制御方法である。
【００１５】
（１０）：この発明の他の一態様に係るプログラムは、エージェント装置のコンピュータに、車室内の音声を収集させ、収集された前記音声の意味を認識させ、乗員に対して話しかける態様のエージェント画像を前記車室内に設けられる表示部に表示させると共に、前記エージェント画像が話しかける音声を前記車室内に音声を出力するスピーカに出力させ、前記乗員への提供画像が前記表示部に表示される場合に、前記乗員の視線を前記提供画像の表示位置に誘導させるエージェント画像を生成させる、プログラムである。
【発明の効果】
【００１６】
（１）〜（１０）によれば、画像が表示される位置を、乗員に把握させ易くすることができる。
【図面の簡単な説明】
【００１７】
【図１】実施形態に係るエージェント装置を含むエージェントシステム１の構成図である。
【図２】車両Ｍに設置される表示部およびスピーカを模式的に示す図である。
【図３】後部座席付近のスピーカの位置を説明するための図である。
【図４】音像が定位する位置を移動させる様子を説明するための図である。
【図５】回答情報ＤＢ２４４の内容の一例を示す図である。
【図６】エージェント制御装置１５０の処理について説明するための図である。
【図７】エージェント画像ＥＩの表示位置の移動の様子を説明するための図である。
【図８】視線位置に基づく制御部１８０の処理について説明するための図である。
【図９】視線位置付近に回答画像が存在する場面について説明するための図である。
【図１０】エージェント装置１００による一連の処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照し、本発明のエージェント装置、エージェント制御方法、およびプログラムの実施形態について説明する。また、以下では、エージェント装置の一例として、車両（以下、車両Ｍ）に搭載され、対話型エージェント機能を備えたエージェント装置を用いる。対話型エージェントとは、例えば、車両Ｍの乗員と対話をしながら、乗員の要求に基づく各種情報の提供や車両内の機器の制御を行うものである。対話型エージェントは、例えば、乗員の音声を認識する音声認識処理（音声をテキスト化する処理）に加え、自然言語機能（テキストの構造や意味を理解する処理）、対話制御処理、検索処理等を統合的に利用して実現される。また、これらの処理の一部または全部は、ＡＩ（Artificial Intelligence）技術によって実現される。また、これらの処理を行う構成の一部または全部は、車両Ｍと通信可能なサーバ装置等に設けられてもよい。エージェント装置は、車内で乗員とのコミュニケーションを行う擬人化されたエージェントの画像（以下、エージェント画像と称する）を生成し、生成したエージェント画像を車室内の表示部に表示させる。
【００１９】
［全体構成］
図１は、実施形態に係るエージェント装置を含むエージェントシステム１の構成図である。エージェントシステム１は、例えば、エージェント装置１００またはサーバ装置２００のうち一方または双方を備える。エージェント装置１００とサーバ装置２００とは、例えば、インターネットやＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等のネットワークＮＷによりデータの送受信が可能な状態で接続されている。サーバ装置２００は、複数のエージェント装置１００との通信が可能であるが、以下では説明の便宜上、一つのエージェント装置１００と通信するものとする。
【００２０】
エージェント装置１００は、車両Ｍの乗員と対話を行い、乗員からの音声等による問い合わせに対して、サーバ装置２００にリクエストを行い、サーバ装置２００から得られたリクエストに対する回答を、所定の出力態様で乗員に提示する。以下の説明において、乗員とは、例えば、運転席に着座する乗員（以下、運転者）であるが、これに加えて助手席や後部座席に着座する乗員（同乗者）でもよい。
【００２１】
エージェント装置１００は、例えば、通信装置１１０と、車室内カメラ１１２と、マイク１１４と、表示部１１６と、スピーカ１１８と、ＡＭＰ（アンプ）１２０と、操作部１３０と、ナビゲーション装置１４０と、エージェント制御装置（エージェント制御部の一例）１５０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
【００２２】
通信装置１１０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）等を利用して、ネットワークＮＷを介してサーバ装置２００や他車両、乗員が所持する端末装置と通信する。例えば、通信装置１１０は、音声入力部１５２により入力された音声や、車両状態認識部１５４により認識された車両状態情報、視線検出部１５６により検出された運転者の視線に関する情報等をサーバ装置２００に送信する。また、通信装置１１０は、サーバ装置２００から対話情報を受信する。
【００２３】
車室内カメラ１１２は、例えば、車両Ｍの車室内に設置されたシートに着座する乗員の顔を含む画像を撮像する。車室内カメラ１１２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。車室内カメラ１１２は、例えば、所定のタイミングで運転者を撮像する。車室内カメラ１１２の撮像画像は、エージェント制御装置１５０に出力される。
【００２４】
マイク１１４は、車室内の音声を集音する音声入力装置である。例えば、マイク１１４は、例えば、マップランプ付近、ステアリングホイール、インストルメントパネル、またはシートに設置される。また、マイク１１４は、車室内に複数設置されてよい。
【００２５】
表示部１１６は、車室内のシートに着座する乗員の前方付近に設置される。また、スピーカ１１８は、車室内のシート付近または表示部１１６付近に設置される。表示部１１６およびスピーカ１１８は、車室内に複数設置されてよい。
【００２６】
図２は、車両Ｍに設置される表示部およびスピーカを模式的に示す図である。図２に示す車両Ｍの車室内には、表示部１１６Ａ〜１１６Ｄと、スピーカ１１８Ａ〜１１８Ｆとが設置されている。表示部１１６Ａは、「第１表示部」の一例である。表示部１１６Ｂ〜１１６Ｄのうち少なくとも一つは「第２表示部」の一例である。表示部１１６Ａは、例えば、ＨＵＤ（Head-Up Display）装置である。ＨＵＤ装置は、風景に重畳させて画像を視認させる装置であり、一例として、車両Ｍのフロントウインドシールドやコンバイナーに画像を含む光を投光することで、運転者に虚像を視認させる装置である。
【００２７】
表示部１１６Ａは、表示部１１６Ｂ〜１１６Ｄよりも運転者の車両運転時の視線方向（例えば、車両Ｍの進行方向の監視領域）に近い位置（より具体的には、車外監視領域）に設置される。表示部１１６Ａには、例えば、ナビゲーション装置１４０により実行されるナビゲーション処理に対応する画像や、エージェント制御装置１５０により生成される画像等が表示される。
【００２８】
表示部１１６Ｂは、インストルメントパネルＩＰにおける運転席（例えば、ステアリングホイールに最も近い座席）の正面付近に設けられ、運転者がステアリングホイールの間隙から、或いはステアリングホイール越しに視認可能な位置に設置される。表示部１１６Ｂは、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）表示装置等である。表示部１１６Ｂには、例えば、車両Ｍの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報の画像や、エージェント制御装置１５０により生成される画像等が表示される。
【００２９】
表示部１１６Ｃは、インストルメントパネルＩＰの中央付近に設置される。表示部１１６Ｃは、例えば、表示部１１６Ｂと同様に、ＬＣＤや有機ＥＬ表示装置等である。表示部１１６Ｃには、例えば、ナビゲーション装置１４０により実行されるナビゲーション処理に対応する画像、エージェント制御装置１５０により生成される画像等が表示される。また、表示部１１６Ｃは、テレビ番組を表示したり、ＤＶＤを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。
【００３０】
表示部１１６Ｄは、インストルメントパネルＩＰにおける助手席（運転席の隣りの座席）の正面付近に設けられる。表示部１１６Ｄには、例えば、テレビ番組やサーバ装置２００からダウンロードされた映画等のコンテンツ画像、その他のアプリケーションの実行に基づいて生成される画像、エージェント制御装置１５０により生成される画像等が表示される。なお、車室内には、上述した表示部に加えて、車外カメラによって取得した車両Ｍの側後方の画像を表示する表示部（電子ミラー）が設置されていてもよい。
【００３１】
表示部１１６Ｂ〜１１６Ｄは、表示部１１６Ａよりも視野角が大きい。そのため、エージェント制御装置１５０は、運転者の質問に対する回答結果を表示する場合に、表示部１１６Ｂ〜１１６Ｄに回答結果を表示させることで、運転者に回答結果を視認させ易くすることができる。また、エージェント制御装置１５０は、表示部１１６Ｃや１１６Ｄに回答結果を表示させることで、運転者だけでなく、他の同乗者にも回答結果を認識させ易くすることができる。
【００３２】
スピーカ１１８Ａおよびスピーカ１１８Ｂは、例えば、車両Ｍの左右の前方の窓柱（いわゆるＡピラー）に設置される。また、スピーカ１１８Ｃは、運転席側のドアの下部に設置され、スピーカ１１８Ｄは、助手席側のドアの下部に設置される。スピーカ１１８Ｅは、表示部１１６Ｃ付近、つまり、インストルメントパネルＩＰの中央付近に設置される。スピーカ１１８Ｆは、車室内の天井の中央部付近に設置される。
【００３３】
また、車両Ｍには、後部座席付近にスピーカが設けられていてもよい。図３は、後部座席付近のスピーカの位置を説明するための図である。図３の例では、図２に示すスピーカ１１８Ａ〜１１８Ｆの他に、運転席ＳＴ１と助手席ＳＴ２の後方に設置された後部座席ＳＴ３付近にスピーカ１１８Ｇおよび１１８Ｈが設けられている。具体的には、スピーカ１１８Ｇおよび１１８Ｈは、左右の方向ドアの下部に設けられる。また、スピーカ１１８は、車両Ｍの前方ドアと後方ドアとの間に設けられる窓柱（いわゆるＢピラー）に設けられてもよく、後部座席の後方に設けられてもよい。
【００３４】
ＡＭＰ１２０は、音声生成部１６４による制御によりスピーカ１１８から出力される音の大きさを調整する。例えば、ＡＭＰ１２０は、基準となる音の大きさ（最大強度）に対し、０〜１００％の間で音の調節を可能とする。また、ＡＭＰ１２０は、例えば、ミキサー１２２を備える。ミキサー１２２は、入力された複数の音を合成する機能を備える。また、ミキサー１２２は、スピーカ１１８が複数存在する場合に、それぞれのスピーカに出力する音を分配する機能を備える。
【００３５】
操作部１３０は、乗員からの操作を受け付ける。操作部１３０は、例えば、スイッチやボタン、キー等を備える。操作部１３０は、例えば、ステアリングホイールやインストルメントパネルに設けられる。また、操作部１３０は、タッチパネルとして、表示部１１６と一体に構成されてもよい。
【００３６】
ナビゲーション装置１４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星から受信した信号に基づいて、車両Ｍの位置を特定する。また、ナビゲーション装置１４０は、特定された車両Ｍの位置（或いは入力された任意の位置）から、操作部１３０や表示部１１６を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、地図情報１４２を参照して決定する。地図情報１４２は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。地図情報１４２は、道路の曲率やＰＯＩ（Point Of Interest）情報等を含んでもよい。
【００３７】
ナビゲーション装置１４０は、地図上経路に基づいて、表示部１１６による地図画像表示やスピーカによる音声出力によって、経路案内を行ってもよい。ナビゲーション装置１４０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置１４０は、通信装置１１０を介してサーバ装置２００或いはナビゲーションサーバに現在位置と目的地を送信し、サーバ装置２００やナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
【００３８】
また、ナビゲーション装置１４０は、エージェント制御装置１５０により実行されるナビゲーション用のアプリケーション（ナビアプリ１７６）の機能によって、上述したナビゲーション装置１４０の機能が実現されてもよい。
【００３９】
［エージェント制御装置］
エージェント制御装置１５０は、例えば、音声入力部１５２と、車両状態認識部１５４と、視線検出部１５６と、出力制御部１６０と、画像生成部１６２と、音声生成部１６４と、アプリ呼出部１６６と、記憶部１７０と、制御部１８０とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）等のコンピュータプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部１７０に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶部１７０にインストールされてもよい。
【００４０】
音声入力部１５２は、マイク１１４により収集された乗員の音声の入力を受け付ける。音声入力部１５２は、受け付けられた音声（音声ストリーム）を、通信装置１１０を介してサーバ装置２００に送信する。また、音声入力部１５２は、音声をサーバ装置２００に送信するタイミングに同期させて車両状態認識部１５４により認識された車両状態情報（例えば、車両Ｍの位置）をサーバ装置２００に送信してもよい。また、音声入力部１５２は、受け付けられた音声を解析し、音声に特定ワードが含まれているか否かを判定し、特定ワードが含まれている場合に、その後、所定時間または音声区間の音声をサーバ装置２００に送信してもよい。特定ワードとは、例えば、エージェント装置１００による情報提示等の制御を開始するためのウェイクワードである。
【００４１】
車両状態認識部１５４は、例えば、ナビゲーション装置１４０により特定された車両Ｍの位置や、車両に搭載された車両センサにより取得される速度、加速度、鉛直軸回りの角速度、車両Ｍの向き等に基づいて、車両の状態を認識する。車両Ｍの状態には、例えば、車両Ｍが停止しているか、走行しているか等の状態や、右左折や車線変更を行っているか等の状態が含まれる。
【００４２】
視線検出部１５６は、車室内カメラ１１２により撮像された画像（以下、カメラ画像と称する）に対する解析処理を行い、運転者の視線を検出する。例えば、視線検出部１５６は、テンプレートマッチング等の手法を用いて、カメラ画像から運転者の頭部と目の位置関係、目における基準点と動点との組み合わせ等を検出する。例えば、基準点が目頭である場合、動点は虹彩である。また、基準点が角膜反射領域である場合、動点は瞳孔である。そして、視線検出部１５６は、頭部に対する目の位置に基づいて顔の向きを導出する。また、視線検出部１５６は、基準点に対する動点の位置に基づいて、視線の向きを導出する。また、視線検出部１５６は、検出された視線の向きに対応付けて、運転者が注視している位置や、視界領域を検出してもよい。視界領域とは、注視位置を中心とした所定の範囲内の領域である。また、視線検出部１５６は、視線の向きから運転者が見ている表示部を推定してもよい。以下、視線検出部１５６により検出される各情報を「視線位置」と称する。
【００４３】
出力制御部１６０は、サーバ装置２００により得られた情報（例えば、対話情報）等に基づいて、乗員に提供する情報を制御する。対話情報には、例えば、乗員に提供される音声情報または画像情報のうち一方または双方が含まれる。乗員に提供される情報には、例えば、表示部１１６により画面に表示させる画像、スピーカ１１８により出力させる音声、車両内の各機能を実現するアプリにより実行される機能等が含まれる。
【００４４】
例えば、出力制御部１６０は、サーバ装置２００により得られる対話情報に基づいて、所定の表情や振る舞いを行うエージェント画像を画像生成部１６２に生成させたり、対話情報に対応した音声情報を音声生成部１６４に生成させる。
【００４５】
画像生成部１６２は、出力制御部１６０または制御部１８０の制御により、乗員との対話を行うエージェント画像を生成し、生成したエージェント画像を表示部１１６の所定の表示位置に表示させる。エージェント画像は、例えば、乗員に対して話しかける態様の画像である。エージェント画像は、例えば、少なくとも観者（乗員）によって表情や顔向きが認識される程度の顔画像を含む。例えば、エージェント画像は、顔領域の中に目や鼻に擬したパーツが表されており、顔領域の中のパーツの位置に基づいて表情や顔向きが認識されるものである。また、エージェント画像は、立体的に感じられ、観者によって三次元空間における頭部画像を含むことでエージェントの顔向きが認識されたり、本体（胴体や手足）の画像を含むことで、エージェントの動作や振る舞いが認識されるものであってもよい。
【００４６】
また、画像生成部１６２は、サーバ装置２００により得られた乗員への提供画像を、出力制御部１６０により指示された表示部１１６に表示させるための表示態様（例えば、画像サイズ、画像フォーマット）に変換し、変換した画像を表示部１１６に表示させる。
【００４７】
音声生成部１６４は、対話情報に対応させてエージェント画像が話しかける音声を生成し、生成した音声をスピーカ１１８から出力させる。このとき、音声生成部１６４は、複数のスピーカ１１８を用いて、エージェント画像の表示位置に対応する位置に音像を定位させるための音声を生成する。音像が定位するとは、例えば、乗員の左右の耳に伝達される音の大きさを調節することにより、乗員が感じる音源の空間的な位置を定めることである。音像は、例えば、音源が元々保有している音特性や、車室内環境の情報、頭部伝達関数（HRTF；Head-related transfer function）に基づいて定まる。このような原理を利用して、音像を所定の位置に定位させることができる。
【００４８】
図４は、音像が定位する位置を移動させる様子を説明するための図である。図４では、説明を簡略化するために、上述したスピーカ１１８Ｃ〜１１８Ｅを用いるが、車室内に設けられたスピーカ１１８Ａ〜１１８Ｈを用いて音像を定位させる位置を空間的に移動させることができる。例えば、図４に示す三次元座標（Ｘ、Ｙ、Ｚ）で定められる空間位置ＭＰ１に音像を定位させる場合、ＡＭＰ１２０は、音声生成部１６４により生成された音声に基づいて、所定の出力対象の音声に対し、スピーカ１１８Ｃから最大強度の５％の出力を行い、スピーカ１１８Ｄから最大強度の８０％の出力を行い、スピーカ１１８Ｅから最大強度の１５％の出力を行った場合、乗員Ｐ１の位置からは、図４に示す空間位置ＭＰ１に音像が定位しているように感じることになる。
【００４９】
また、ＡＭＰ１２０は、出力対象の音声に対し、スピーカ１１８Ｃから最大強度の４５％の出力を行い、スピーカ１１８Ｄから最大強度の４５％の出力を行い、スピーカ１１８Ｅから最大強度の１０％の出力を行った場合、乗員Ｐ１の位置からは、図４に示す空間位置ＭＰ２に音像が定位しているように感じることができる。このように、車室内に設けられる複数のスピーカとそれぞれのスピーカから出力される音の大きさを調整することで、音像が定位される位置を変化させることができる。以下、音像が定位される空間上の位置ＭＰを「音像位置ＭＰ」と称するものとする。
【００５０】
アプリ呼出部１６６は、記憶部１７０に記憶されたアプリから出力制御部１６０による制御内容に対応するアプリを呼び出し、呼び出したアプリを制御部１８０で実行することで、そのアプリの機能を実現させる。アプリには、例えば、電話アプリ１７２や、ラジオアプリ１７４、ナビアプリ１７６等が含まれる。制御部１８０により電話アプリ１７２が実行された場合には、通信装置１１０を介して外部の通話機能を備えた端末と通信を行い、マイク１１４やスピーカ１１８を用いて、相手先との通話する機能が実現される。また、制御部１８０によりラジオアプリ１７４が実行された場合には、通信装置１１０を介してラジオ局から乗員が指定した周波数で発信された音声情報を取得し、取得した音声情報をスピーカ１１８から出力する機能が実現される。また、制御部１８０によりナビアプリ１７６が実行された場合には、ナビゲーション装置１４０と連携した経路探索や経路案内等の機能が実現される。
【００５１】
記憶部１７０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現される。記憶部１７０には、例えば、電話アプリ１７２、ラジオアプリ１７４、ナビアプリ１７６等のプロセッサによって読み出されて実行されるプログラム、その他の情報等が格納される。
【００５２】
制御部１８０は、エージェント制御装置１５０の各機能部の実行および停止を制御する。制御部１８０は、例えば、各機能部からの要求をＡＰＩ（Application  Programming  Interface）によって受け付け、受け付けた要求に基づく処理を実行する機能部を選択し、選択した機能部に、ＡＰＩを介して処理を実行させる。また、制御部１８０は、エージェント制御部１５０の各機能部の処理を、アプリ（例えば、エージェントアプリ）を実行させることで実現してもよい。
【００５３】
［サーバ装置］
サーバ装置２００は、例えば、通信部２１０と、認識部２２０と、対話生成部２３０と、記憶部２４０とを備える。これらの構成要素は、例えば、ＣＰＵ等のコンピュータプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部２４０に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶部２４０にインストールされてもよい。
【００５４】
通信部２１０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ、ＤＳＲＣ等を利用して、ネットワークＮＷを介してエージェント装置１００と通信する。通信部２１０は、エージェント装置１００から送信された音声ストリームを受信する。また、通信部２１０は、対話生成部２３０により生成された音声や画像等の対話情報をエージェント装置１００に送信する。
【００５５】
認識部２２０は、通信部２１０により受信した音声ストリームから音声の意味を認識する。認識部２２０は、例えば、音声区間検出部２２２と、音声認識部２２４と、自然言語処理部２２６とを備える。音声区間検出部２２２は、エージェント装置１００から送信された音声ストリームから音声区間を検出する。例えば、音声区間検出部２２２は、音声ストリームにおける音声波形の振幅と零交差に基づいて音声区間を検出する。また、音声区間検出部２２２は、混合ガウス分布モデル（ＧＭＭ；Gaussian mixture model) に基づくフレーム単位の音声・非音声識別に基づく区間検出を行ってもよい。また、音声区間検出部２２２は、予め記憶部２４０等に記憶された、音声ストリームの特徴情報から音声区間を検出するためのデータベースとのマッチング処理により音声の区間検出を行ってもよい。
【００５６】
音声認識部２２４は、音声区間検出部２２２により検出された音声区間における音声を認識し、音声を文字情報としてテキスト化する。また、音声認識部２２４は、認識された音声から発話者の特徴を特定してもよい。発話者の特徴には、例えば、性別や年齢、運転者であるか、同乗者であるかの情報が含まれる。
【００５７】
また、音声認識部２２４は、音声から得られる特徴情報を用いて、記憶部２４０に記憶されたパーソナルプロファイル２４２と照合を行ってもよい。パーソナルプロファイル２４２には、例えば、音声の特徴情報に、個人情報が対応付けられている。音声の特徴情報とは、例えば、声の高さ、イントネーション、リズム（音の高低のパターン）、ポーズ等の喋り方の特徴や、メル周波数ケプストラム係数（Mel Frequency Cepstrum Coefficients）等による特徴量に関する情報である。音声の特徴情報は、例えば、乗員の初期登録時に所定の単語や文章等を乗員に発声させ、発声させた音声を解析することで得られる情報である。個人情報には、例えば、氏名、住所、年齢、趣味、過去のサーバ装置２００の使用履歴が含まれる。氏名、住所、年齢、趣味は、乗員の初期登録時に音声の特徴情報と共に設定され、その後、設定変更等により適宜更新がなされる。音声認識部２２４は、音声から得られる特徴情報と、記憶部２４０に記憶されたパーソナルプロファイル２４２の特徴情報とを照合して、合致した特徴情報に対応付けられた個人情報を認識する。
【００５８】
自然言語処理部２２６は、音声認識部２２４によりテキスト化された文字情報に対する自然言語処理を実行し、文字情報の意味を認識する。自然言語処理には、形態素解析、構文解析、意味解析、文脈解析等が含まれる。形態素解析は、例えば、文字情報を、意味を持つ最小の表現要素の単位に分割し、分割した単位（形態素）ごとの品詞等を解析する。構文解析は、例えば、形態素解析により得られた形態素をもとに、文の構造を解析する。意味解析は、例えば、構文解析により得られた構文をもとに、意味を持つまとまりを判別する。文脈解析は、例えば、文単位や文脈単位で意味を認識する。
【００５９】
また、自然言語処理部２２６は、解釈した意味に対応するコマンドを生成する。例えば、解釈結果として、「東京駅まで何キロ？」、「東京駅までどのくらい走る？」等の意味が解釈された場合、自然言語処理部２２６は、標準文字情報「東京駅までの距離は？」に置き換えたコマンドを生成する。これにより、リクエストの音声に文字揺らぎがあった場合にも回答情報を取得し易くすることができる。また、自然言語処理部２２６は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を認識したり、解釈結果に基づくコマンドを生成してもよい。
【００６０】
また、自然言語処理部２２６は、生成されたコマンドを用いて記憶部２４０に記憶された回答情報ＤＢ２４４のコマンドを参照し、合致するコマンドに対応する制御内容を取得する。図５は、回答情報ＤＢ２４４の内容の一例を示す図である。回答情報ＤＢ２４４には、例えば、コマンドに、エージェント装置１００により実行させる制御内容が対応付けられている。制御内容には、例えば、アプリの実行や終了、機器の起動や停止、音声制御、表示制御、対話用の文章フォーマット等の情報が含まれる。
【００６１】
自然言語処理部２２６は、合致するコマンドに対応付けられた制御内容を抽出する。例えば、コマンドが「ラジオをつけて」である場合、ラジオアプリを実行するための制御内容が抽出される。また、東京駅までの距離を取得する場合、自然言語処理部２２６は、エージェント装置１００から送信された車両Ｍの位置情報に基づいて、記憶部２４０または外部装置に記憶された地図情報（不図示）を参照し、車両の位置から東京駅までの走行距離を導出して、対話用の音声制御「ここから＊＊＊［ｋｍ］です。」の「＊＊＊」に導出した走行距離を代入して音声出力用の文字情報を生成してもよい。
【００６２】
対話生成部２３０は、自然言語処理部２２６により取得した制御内容に基づいて乗員と対話するための対話情報を生成する。例えば、対話生成部２３０は、対話情報として、回答情報ＤＢ２４４から得られた内容（文字情報）に対する音声情報（音声ストリーム）を生成する。音声情報には、例えば、エージェント画像が乗員に対して話しかける音声が含まれる。また、対話生成部２３０は、表示制御に対する画像や映像、文字情報等を生成したり、機器制御に対する制御情報（例えば、アプリ実行コマンド）を生成し、生成した情報を対話情報に含めてもよい。
【００６３】
また、対話生成部２３０は、パーソナルプロファイル２４２から得られた個人情報が得られている場合に、個人情報に基づいて、音声で乗員の名前を呼んだり、乗員の話し方に似せた話し方にした音声情報を生成してもよい。また、対話生成部２３０は、パーソナルプロファイルから得られる乗員の趣味に関する情報を取得し、取得した情報を対話情報に含めてもよい。対話生成部２３０は、生成された対話情報を、通信部２１０を介してエージェント装置１００に送信する。
【００６４】
なお、上述した認識部２２０および対話生成部２３０の処理において、最初に、認識部２２０が入力された音声を解析し、入力された音声にウェイクワード等の特定ワードが含まれているか否かを判定し、特定ワードが含まれている場合に、上述した処理を行ってもよい。
【００６５】
記憶部２４０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。記憶部２４０は、例えば、パーソナルプロファイル２４２、回答情報ＤＢ２４４、その他の情報等が格納される。
【００６６】
［エージェント制御装置］
以下、エージェント制御装置１５０の機能の詳細について説明する。図６は、エージェント制御装置１５０の処理について説明するための図である。エージェント制御装置１５０の出力制御部１６０または制御部１８０は、例えば、運転者が車両Ｍの運転中に、運転者に対して話しかける態様のエージェント画像を表示させる場合に、運転者が車両Ｍの進行方向の外界を監視しながらエージェント画像が視認できる位置にエージェント画像を表示させる。図６の例では、表示部１１６Ａの一部の領域にエージェント画像ＥＩが表示されている。
【００６７】
ここで、運転者がエージェントに対して質問等のリクエストを喋った場合、その内容がマイク１１４により音声として収集され、収集された音声がサーバ装置２００に送信される。そして、サーバ装置２００から対話情報に含まれる画像（以下、回答画像ＣＩと称する）を取得した場合、出力制御部１６０は、回答画像ＣＩと共に、回答画像ＣＩを表示する表示部１１６および表示位置（例えば、画面上の座標位置）を指定した情報を画像生成部１６２に出力する。回答画像ＣＩは、運転者への提供画像の一例である。
【００６８】
画像生成部１６２は、回答画像ＣＩを指定された表示部１１６に表示させるためのサイズ変換やフォーマット変換を行い、変換された情報を、指定された表示部１１６の少なくとも一部の領域に表示させる。また、出力制御部１６０は、対話情報に含まれる音声情報と共に、エージェント画像ＥＩの表示位置に関する情報を、音声生成部１６４に出力する。音声生成部１６４は、出力制御部１６０により指示されたエージェント画像ＥＩの表示位置付近（例えば、表示位置から数［ｃｍ］以内）の三次元位置に音像位置ＭＰが設定されるように、スピーカ１１８Ａ~１１８Ｆ等による音声の出力強度を調整して、対話情報に含まれる音声情報を出力する。
【００６９】
ここで、運転者は、運転中には車両Ｍの進行方向を監視しており、どの表示部のどの位置に回答結果（回答画像ＣＩ）が提示されているかを素早く認識することができない。また、回答結果の表示位置を探している間は視線を前方監視から外していることになり運転を阻害する恐れがある。そこで、本実施形態において、出力制御部１６０は、回答結果が表示されている位置に運転者の視線が速やかに移動されるように、エージェント画像ＥＩの表示位置を移動させる。
【００７０】
図７は、エージェント画像ＥＩの表示位置の移動の様子を説明するための図である。以下、時刻ｔ１~ｔ７は、「ｔ１＜ｔ２＜ｔ３＜ｔ４＜ｔ５＜ｔ６＜ｔ７」の関係が成立しているものとする。また、ＥＩ（ｔ＊）は、時刻ｔ＊で表示されるエージェント画像の位置を示し、ＭＰ（ｔ＊）は、時刻ｔ＊での音像位置を示すものとする。
【００７１】
例えば、表示部１１６Ｃに回答画像ＣＩが表示された場合、出力制御部１６０は、画像生成部１６２により、エージェント画像ＥＩの表示位置を、回答画像ＣＩが表示されている表示部１１６Ｃに向けて移動させる画像を生成し、生成した画像を表示させる。図７の例において、画像生成部１６２は、表示部１１６Ａに表示させるエージェント画像ＥＩ（ｔ１）〜ＥＩ（ｔ４）と、表示部１１６Ｃに表示させるエージェント画像ＥＩ（ｔ７）を生成する。時刻ｔ３、ｔ４において、画像生成部１６２は、エージェント画像ＥＩが表示部１１６Ａの画面から消えていくような画像を生成する。また、画像生成部１６２は、エージェント画像が所定の時刻にエージェント画像ＥＩ（ｔ１）〜ＥＩ（ｔ４）に移動するアニメーション画像を生成してもよい。また、画像生成部１６２は、エージェントの向きを回答画像ＣＩの表示位置に向けたエージェント画像を生成し、生成したエージェント画像を移動させてもよい。これにより、運転者の視線をエージェント画像ＥＩに追従させて、運転者の視線を速やかに回答画像ＣＩに誘導させることができる。
【００７２】
また、出力制御部１６０は、エージェント画像ＥＩの移動に合わせて、エージェント画像ＥＩが話しかける音声の出力先が移動しているように、音声生成部１６４により音像を定位させてもよい。図７の例において、音声生成部１６４は、時間の経過に伴って移動するエージェント画像ＥＩ（ｔ１）〜ＥＩ（ｔ４）、ＥＩ（ｔ７）の表示位置に音像位置ＭＰを設定して音声を出力する。このように、音像位置を移動させることで、運転者の視線を回答画像ＣＩが表示されている位置に誘導し易くすることができる。また、エージェント画像ＥＩが表示できない時間帯（例えば、図７に示す時刻ｔ５、ｔ６）にもおいても音像定位の移動を継続させることで、運転者の視線を継続して誘導させ易くすることができる。
【００７３】
制御部１８０は、視線検出部１５６により検知された運転者の視線位置に基づいて、エージェント画像ＥＩの表示位置や音像位置の制御を行う。また、制御部１８０は、出力制御部１６０と連携して、エージェント画像ＩＭや音像位置の移動による運転者の視線の誘導制御を行ってもよい。
【００７４】
図８は、視線位置に基づく制御部１８０の処理について説明するための図である。制御部１８０は、例えば、画像生成部１６２によりエージェント画像ＥＩが生成される場合に、視線検出部１５６により検出される運転者の視線位置に基づいてエージェント画像の表示位置を調整する。例えば、図示するように運転者の視線位置ＥＰが表示部１１６Ａ内にある場合、制御部１８０は、画像生成部１６２により表示させるエージェント画像ＥＩ１の位置を運転者の視線位置ＥＰに対応付けた位置に調整する。例えば、制御部１８０は、視線位置ＥＰ付近（例えば、視線位置を中心として約３〜５［ｃｍ］以内）にエージェント画像ＥＩを表示させるように画像生成部１６２を制御する。また、制御部１８０は、視線位置ＥＰ付近に表示させたエージェント画像ＥＩに対応付けた位置に音像が定位するように音声生成部１６４を制御する。
【００７５】
また、制御部１８０は、乗員の視線位置ＥＰに基づいて、回答画像ＣＩが視認されているか否かを判定する。例えば、制御部１８０は、視線位置ＥＰと回答情報との距離とが所定距離以上ある場合、または、視線位置ＥＰに対応する位置に存在する表示部と、回答画像ＣＩが表示されている表示部とが異なる場合に、回答画像ＣＩが視認されていない判定する。回答画像ＣＩが視認されていないと判定された場合、制御部１８０は、回答画像ＣＩの表示位置に視線位置ＥＰを移動させるために、エージェント画像Ｅ１や音像位置ＭＰを移動させる制御を実行する。この場合、まず、制御部１８０は、画像生成部１６２により、回答画像ＣＩが表示される前の乗員の視線位置ＥＰ付近に、エージェント画像ＥＩ（ｔ１）を表示させると共に、音声生成部１６４により、スピーカ１１８から出力される音声を音像位置ＭＰ（ｔ１）に定位させる。次に、制御部１８０は、回答画像ＣＩの表示位置に向かって、エージェント画像ＥＩおよび音像位置ＭＰを移動させ、時刻ｔ５において、回答画像ＣＩ付近に、エージェント画像ＥＩ（ｔ５）を表示させ、音声を音像位置ＭＰ（ｔ５）に定位させる。これにより、運転者の視線の誘導が、現在の視線位置を基準に行われるため、運転者の視線移動の負担を軽減させることができる。
【００７６】
なお、制御部１８０は、エージェント画像ＥＩや音像位置ＭＰの移動中においても、運転者の視線位置ＥＰを継続して検出し、視線位置ＥＰがエージェント画像ＥＩや音像位置ＭＰの移動に追従していない場合に、エージェント画像ＥＩや音像位置ＭＰを再度視線位置ＥＰに位置付けて、視線の誘導制御を行ってもよい。これにより、運転者の視線を確実に回答情報ＣＩの表示位置に位置付けさせ易くすることができる。
【００７７】
また、制御部１８０は、エージェント画像ＥＩや音像位置ＭＰによる視線の誘導を行う前に、乗員の視線位置が、回答画像ＣＩ付近に存在する場合、エージェント画像ＥＩや音像位置ＭＰによる視線の誘導制御を行わない。図９は、視線位置付近に回答画像が存在する場面について説明するための図である。視線の誘導制御を行う前に、回答画像ＣＩ付近に視線位置ＥＰが存在している場合、制御部１８０は、乗員が回答画像ＣＩを視認できているものと推定し、エージェント画像ＥＩ（ｔ１）からエージェント画像ＥＩ（ｔ２）に切り替えて表示されるように、画像生成部１６２を制御する。また、制御部１８０は、エージェント画像の切り替えに合わせて音像位置ＭＰ（ｔ１）から音像位置ＭＰ（ｔ２）に切り替えて設定される。このように、制御部１８０は、運転者の視線位置ＥＰに合わせて、エージェント画像の表示位置および音像位置を適切に制御することができる。
【００７８】
なお、制御部１８０は、回答画像ＣＩの表示が終了した場合に、エージェント画像ＥＩを表示部１１６Ａに表示させると共に、エージェント画像が話しかける音声をエージェント画像ＥＩの表示位置付近に定位させる。回答画像ＣＩの表示が終了する場合には、例えば、回答画像ＣＩが表示されてから所定時間が経過した場合、または、乗員により表示を終了させる操作がなされた場合である。
【００７９】
また、出力制御部１６０および制御部１８０は、エージェント画像が話しかける音声以外の音声（例えば、ラジオ音声や番組音声）については、エージェント画像に合わせて音像定位の調整を行わなくてもよい。
【００８０】
［処理フロー］
以下、エージェント装置１００による一連の処理の流れを、フローチャートを用いて説明する。図１０は、エージェント装置１００による一連の処理の流れの一例を示すフローチャートである。なお、図１０の処理では、主に、エージェント画像や音像定位による乗員の視線誘導を行う場合の処理の流れについて説明するものである。本フローチャートの処理は、例えば、所定の周期で繰り返し実行されてよい。
【００８１】
まず、画像生成部１６２は、エージェント画像を表示部１１６Ａに表示させる（ステップＳ１００）。次に、出力制御部１６０は、乗員からのリクエスト（質問）に対してサーバ装置２００等から取得した回答画像を表示させるか否かを判定する（ステップＳ１０２）。回答画像を表示させると判定された場合、制御部１８０は、視線検出部１５６により検出された乗員の視線位置を取得し（ステップＳ１０４）、取得した視線位置に基づいて、乗員の視線位置が回答画像の表示位置付近か否かを判定する（ステップＳ１０６）。また、画像生成部１６２は、乗員の視線位置が回答画像の表示位置付近である場合、制御部１８０は、画像生成部１６２により、回答画像の表示位置付近にエージェント画像を表示させる（ステップＳ１０８）。次に、制御部１８０は、音声生成部１６４により、エージェント画像の表示位置付近に音像を定位させる（ステップＳ１１０）。
【００８２】
また、ステップＳ１０６の処理において、乗員の視線位置が回答画像の表示位置付近でないと判定された場合、制御部１８０は、画像生成部１６２により、乗員の視線位置にエージェント画像を表示させると共に（ステップＳ１１２）、エージェント画像を回答画像の表示位置に向けて移動させる（ステップＳ１１４）。また、制御部１８０は、音声生成部１６４により、エージェント画像の表示位置付近に音像を定位させる（ステップＳ１１６）。これにより、本フローチャートの処理は、終了する。また、ステップＳ１０２の処理において、回答画像を表示させない場合、本フローチャートの処理は、終了する。
【００８３】
以上説明した実施形態によれば、画像が表示される位置を、乗員に把握させ易くすることができる。具体的には、実施形態によれば、乗員の問い合わせに対する回答結果等を表示部に表示させる場合に、回答結果が表示されている表示位置に向かって、エージェント画像やエージェントが発する音の定位を移動させることで、回答結果の表示位置を直感的に乗員に把握させることができる。したがって、乗員は、運転に余裕ができた場合等に、すぐに回答結果を見ることができる。また、回答結果は、乗員による運転時の車両Ｍの周辺監視に比して優先度が低いため、音声で「表示部を見てください」といった強制的な指示を行わずに、間接的に視線の誘導を促すことで、運転が阻害されることを抑制した情報提供を行うことができる。
【００８４】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。例えば、上述した実施形態のサーバ装置２００の構成要素のうち一部または全部は、エージェント装置１００内に設けられてもよい。特許請求の範囲に記載のエージェント装置は、車載器だけの場合も、車載器とサーバ装置とを含めたシステムの場合も含む。また、エージェント装置１００は、他のエージェント装置と連携して乗員のリクエストに対する回答を取得し、取得した回答を乗員に提供してもよい。
【符号の説明】
【００８５】
１…エージェントシステム、１００…エージェント装置、１１０…通信装置、１１２…車室内カメラ、１１４…マイク、１１６…表示部、１１８…スピーカ、１２０…ＡＭＰ、１２２…ミキサー、１３０…操作部、１４０…ナビゲーション装置、１５０…エージェント制御装置、１５２…音声入力部、１５４…車両状態認識部、１５６…視線検出部、１６０…出力制御部、１６２…画像生成部、１６４…音声生成部、１６６…アプリ呼出部、１７０、２４０…記憶部、１８０…制御部、２００…サーバ装置、２１０…通信部、２２０…認識部、２２２…音声区間検出部、２２４…音声認識部、２２６…自然言語処理部、２３０…対話生成部、２４２…パーソナルプロファイル、２４４…回答情報ＤＢ
【図１】
2020055348.tif 000003
【図２】
2020055348.tif 000004
【図３】
2020055348.tif 000005
【図４】
2020055348.tif 000006
【図５】
2020055348.tif 000007
【図６】
2020055348.tif 000008
【図７】
2020055348.tif 000009
【図８】
2020055348.tif 000010
【図９】
2020055348.tif 000011
【図１０】
2020055348.tif 000012