(57)【要約】【課題】適切なタイミングにおいて車両の運転モードを遷移させることができる車両制御装置、車両制御方法、プログラムを提供すること。【解決手段】車両制御装置は、車両の周辺環境を認識する周辺認識部と、認識結果に基づいて、前記車両の操舵または加減速のうち一方または双方を制御して、第１運転モードと、前記第１運転モードよりも自動化率が高いもしくは要求タスクが低い第２運転モードとを含む複数の運転モードで行う運転制御部（３００）と、前記車両の車室内に音像を定位させる音像定位部（１５０）と、前記車両の運転者の視線を認識する視線認識部（２３０）と、前記視線認識部の認識結果に基づいて、前記運転制御部による前記運転モードの遷移が適切か否かを判定する判定部（２４０）と、を備え、前記判定部は、前記運転者の視線が、前記音像の位置に追従しない場合、前記運転モードの遷移が適切ではないと判定する。【選択図】図１
2020059401.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺環境を認識する周辺認識部と、
前記周辺認識部の認識結果に基づいて、前記車両の操舵または加減速のうち一方または双方を制御して、前記車両の運転支援を、第１運転モードと、前記第１運転モードよりも自動化率が高いもしくは要求タスクが低い第２運転モードとを含む複数の運転モードで行う運転制御部と、
前記車両の車室内に音像を定位させる音像定位部と、
前記車両の運転者の視線を認識する視線認識部と、
前記視線認識部の認識結果に基づいて、前記運転制御部による前記運転モードの遷移が適切か否かを判定する判定部と、を備え、
前記音像定位部は、前記運転制御部が前記運転モードを前記第２運転モードから前記第１運転モードに遷移させるタイミングにおいて、前記音像の位置を移動させ、
前記判定部は、前記視線認識部の認識結果が示す前記運転者の視線が、前記音像の位置に追従しない場合、前記運転モードの遷移が適切ではないと判定する、
車両制御装置。
【請求項２】
前記運転者に対する報知を行うように出力部を制御する報知制御部をさらに備え、
前記報知制御部は、前記判定部によって、前記運転モードの遷移が適切ではないと判定された場合、前記報知の強度を強くする、
請求項１に記載の車両制御装置。
【請求項３】
画像を表示する表示部を更に備え、
前記報知制御部は、前記タイミングにおいて、前記運転モードの遷移の実行を示す報知画像を前記表示部に表示させ、
前記音像定位部は、移動後の前記音像の位置が、前記表示部の位置と合致するように、前記音像の位置を移動させる、
請求項２に記載の車両制御装置。
【請求項４】
前記音像定位部は、前記タイミングにおいて、前記音像の位置を、前記運転者の頭部に対して上側から下側に、または下側から上側に移動させる、
請求項１から請求項３のうちいずれか一項に記載の車両制御装置。
【請求項５】
前記音像定位部は、前記タイミングにおいて、前記音像の位置を、前記運転者の頭部に対して左側から右側に、又は右側から左側に移動させる、
請求項１から請求項４のうちいずれか一項に記載の車両制御装置。
【請求項６】
コンピュータが、
車両の周辺環境を認識し、
周辺環境の認識結果に基づいて、前記車両の操舵または加減速のうち一方または双方を制御し、
前記車両の運転支援を、第１運転モードと、前記第１運転モードよりも自動化率が高いもしくは要求タスクが低い第２運転モードとを含む複数の運転モードで行い、
前記運転モードを前記第２運転モードから前記第１運転モードに遷移させるタイミングにおいて、前記車両の車室内に音像を定位させつつ、前記音像の位置を移動し、
前記車両の運転者の視線の認識結果が示す前記運転者の視線が、前記音像の位置に追従しない場合、前記運転モードの遷移が適切ではないと判定する、
車両制御方法。
【請求項７】
コンピュータに、
車両の周辺環境を認識させ、
周辺環境の認識結果に基づいて、前記車両の操舵または加減速のうち一方または双方を制御させ、
前記車両の運転支援を、第１運転モードと、前記第１運転モードよりも自動化率が高いもしくは要求タスクが低い第２運転モードとを含む複数の運転モードで行わせ、
前記運転モードを前記第２運転モードから前記第１運転モードに遷移させるタイミングにおいて、前記車両の車室内に音像を定位させつつ、前記音像の位置を移動させ、
前記車両の運転者の視線の認識結果が示す前記運転者の視線が、前記音像の位置に追従しない場合、前記運転モードの遷移が適切ではないと判定させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両制御装置、車両制御方法、プログラムに関する。
【背景技術】
【０００２】
近年、車両を自動的に制御することについて研究が進められている。これに関連して、自車両の周辺状況に基づいて、自動運転による自律走行と、運転者による手動走行とを切り換える制御に関する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−３１５８０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、自立走行から、手動走行に運転モードが遷移される際、運転者は、運転モードが遷移されることを認識し、周辺監視等の行動を行うことが求められる。しかしながら、従来の技術では、運転者が、運転モードが遷移されることを認識しているか否かに基づいて、運転モードを切り換えることまでは困難である場合があった。
【０００５】
本発明の態様は、このような事情を考慮してなされたものであり、適切なタイミングにおいて運転モードを遷移させることができる車両制御装置、車両制御方法、プログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
この発明に係る車両制御装置、車両制御方法、プログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る車両制御装置は、車両の周辺環境を認識する周辺認識部と、前記周辺認識部の認識結果に基づいて、前記車両の操舵または加減速のうち一方または双方を制御して、前記車両の運転支援を、第１運転モードと、前記第１運転モードよりも自動化率が高いもしくは要求タスクが低い第２運転モードとを含む複数の運転モードで行う運転制御部と、前記車両の車室内に音像を定位させる音像定位部と、前記車両の運転者の視線を認識する視線認識部と、前記視線認識部の認識結果に基づいて、前記運転制御部による前記運転モードの遷移が適切か否かを判定する判定部と、を備え、前記音像定位部は、前記運転制御部が前記運転モードを前記第２運転モードから前記第１運転モードに遷移させるタイミングにおいて、前記音像の位置を移動させ、前記判定部は、前記視線認識部の認識結果が示す前記運転者の視線が、前記音像の位置に追従しない場合、前記運転モードの遷移が適切ではないと判定する。
【０００７】
（２）：上記（１）の態様において、前記運転者に対する報知を行うように出力部を制御する報知制御部をさらに備え、前記報知制御部は、前記判定部によって、前記運転モードの遷移が適切ではないと判定された場合、前記報知の強度を強くするものである。
【０００８】
（３）：上記（２）の態様において、車両制御装置は、画像を表示する表示部を更に備え、前記報知制御部は、前記タイミングにおいて、前記運転モードの遷移の実行を示す報知画像を前記表示部に表示させ、前記音像定位部は、移動後の前記音像の位置が、前記表示部の位置と合致するように、前記音像の位置を移動させるものである。
【０００９】
（４）：上記（１）〜（３）の態様において、前記音像定位部は、前記タイミングにおいて、前記音像の位置を、前記運転者の頭部に対して上側から下側に、または下側から上側に移動させるものである。
【００１０】
（５）：上記（１）〜（４）の態様において、前記音像定位部は、前記タイミングにおいて、前記音像の位置を、前記運転者の頭部に対して左側から右側に、又は右側から左側に移動させるものである。
【００１１】
（６）：この発明の一態様に係る車両制御方法は、コンピュータが、車両の周辺環境を認識し、周辺環境の認識結果に基づいて、前記車両の操舵または加減速のうち一方または双方を制御し、前記車両の運転支援を、第１運転モードと、前記第１運転モードよりも自動化率が高いもしくは要求タスクが低い第２運転モードとを含む複数の運転モードで行い、前記運転モードを前記第２運転モードから前記第１運転モードに遷移させるタイミングにおいて、前記車両の車室内に音像を定位させつつ、前記音像の位置を移動し、前記車両の運転者の視線の認識結果が示す前記運転者の視線が、前記音像の位置に追従しない場合、前記運転モードの遷移が適切ではないと判定する。
【００１２】
（７）：この発明の一態様に係るプログラムは、コンピュータに、車両の周辺環境を認識させ、周辺環境の認識結果に基づいて、前記車両の操舵または加減速のうち一方または双方を制御させ、前記車両の運転支援を、第１運転モードと、前記第１運転モードよりも自動化率が高いもしくは要求タスクが低い第２運転モードとを含む複数の運転モードで行わせ、前記運転モードを前記第２運転モードから前記第１運転モードに遷移させるタイミングにおいて、前記車両の車室内に音像を定位させつつ、前記音像の位置を移動させ、前記車両の運転者の視線の認識結果が示す前記運転者の視線が、前記音像の位置に追従しない場合、前記運転モードの遷移が適切ではないと判定させる。
【発明の効果】
【００１３】
（１）〜（７）によれば、適切なタイミングにおいて車両の運転モードを遷移させることができる。
【００１４】
（２）によれば、運転者によりわかりやすく車両の運転モードの遷移を報知することができる。  
【００１５】
（３）〜（４）によれば、運転者の状態をより精度高く判定することができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態に係るエージェントシステム１の構成図である。
【図２】車両Ｍに設置される表示部およびスピーカを模式的に示す図である。
【図３】後部座席付近のスピーカの位置を説明するための図である。
【図４】音像が定位する位置を移動させる様子を説明するための図である。
【図５】運転者の視線の一例を示す図である。
【図６】実施形態に係る音像の位置の移動の一例（その１）を示す図である。
【図７】実施形態に係る第１報知画像ＩＭ１の一例を示す図である。
【図８】実施形態に係る音像の位置の移動の一例（その２）を示す図である。
【図９】実施形態に係る音像の位置の移動の一例（その３）を示す図である。
【図１０】実施形態に係るエージェントシステム１の処理の一連の流れを示すフローチャートである。
【図１１】変形例に係る第２報知画像ＩＭ２の一例を示す図である。
【図１２】変形例に係るエージェントシステム１の処理の一連の流れを示すフローチャートである。
【図１３】機能の一部がサーバ装置に備えられるエージェントシステム１の構成の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照し、本発明の車両制御装置、車両制御方法、およびプログラムの実施形態について説明する。また、以下では、車両に搭載され、対話型エージェント機能を備えたエージェント装置によって、車両制御装置の動作が指示される場合について説明する。エージェント装置とは、例えば、車両の乗員と対話をしながら、乗員の要求に基づく各種の情報提供や車両内の機器の制御を行うものである。また、エージェント装置は、乗員の表情や声の調子から乗員の状態を判断して運転支援を行ったり、乗員のライフスタイルや嗜好を学習して、状況に応じた選択肢の提案を行うこともできる。エージェント装置は、乗員に対話者を視認させるため、擬人化された動物やキャラクタ等の画像（以下、エージェント画像と称する）を表示部に表示させる。エージェント装置は、例えば、乗員の音声を認識する音声認識処理（音声をテキスト化する処理）に加え、自然言語機能（テキストの構造や意味を理解する処理）、対話制御処理、検索処理等を統合的に利用して実現される。また、これらの処理の一部または全部は、ＡＩ（Artificial Intelligence）技術によって実現される。また、これらの処理を行う構成の一部または全部は、車両と通信可能なサーバ装置等に設けられてもよい。以降の説明では、一例として、これらの処理を行う構成のすべてを、車両に搭載されるエージェント装置が備える場合について説明する。
【００１８】
［全体構成］
図１は、実施形態に係るエージェントシステム１の構成図である。エージェントシステム１は、車両Ｍの乗員と対話を行い、乗員からの音声等による問い合わせに対して、当該問い合わせの回答を、所定の出力態様で乗員に報知する。以下の説明において、乗員とは、例えば、運転席に着座する乗員（以下、運転者）であるが、これに加えて助手席や後部座席に着座する乗員（同乗者）でもよい。
【００１９】
エージェントシステム１は、通信装置１０と、車室内カメラ２０と、マイク３０と、表示部４０と、スピーカ５０と、操作部６０と、ナビゲーション装置７０と、エージェント制御装置１００と、自動運転制御装置３００とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよいまた、自動運転制御装置３００は、エージェント制御装置１００と同様に車両Ｍに搭載される。
【００２０】
通信装置１０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）等を利用して、ネットワークＮＷを介して他車両やサーバ装置等の他の装置（不図示）と通信する。
【００２１】
車室内カメラ２０は、例えば、車両Ｍの車室内に設置されたシートに着座する乗員の顔を含む画像を撮像する。車室内カメラ２０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。車室内カメラ２０は、例えば、所定のタイミングで乗員を撮像する。車室内カメラ２０の撮像画像は、エージェント制御装置１００に出力される。
【００２２】
マイク３０は、車室内の音声を集音する音声入力装置である。また、マイク３０は、乗員が車室内のシートに着座したときの前方付近に設置される。例えば、マイク３０は、ステアリングホイール、インストルメントパネル、マップランプ付近、またはシートに設置される。
【００２３】
表示部４０は、車室内のシートに着座する乗員の前方付近に設置される。また、スピーカ５０は、車室内のシート付近または表示部４０付近に設置される。表示部４０およびスピーカ５０は、車室内に複数設置されてよい。
【００２４】
図２は、車両Ｍに設置される表示部およびスピーカを模式的に示す図である。図２の車室内には、表示部４０Ａ〜４０Ｄと、スピーカ５０Ａ〜５０Ｆとが設置されている。表示部４０Ａは、例えば、ＨＵＤ（Head-Up Display）装置である。ＨＵＤ装置は、風景に重畳させて画像を視認させる装置であり、一例として、車両Ｍのフロントウインドシールドやコンバイナーに画像を含む光を投光することで、乗員に虚像を視認させる装置である。乗員は、主に運転者であるが、運転者以外の乗員であってもよい。表示部４０Ａは、ナビゲーション装置７０により実行されるナビゲーション処理に対応する画像、その他の画像等を表示する。
【００２５】
表示部４０Ｂ〜４０Ｄは、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）表示装置等である。表示部４０Ｂは、インストルメントパネルＩＰにおける運転席（例えばステアリングホイールに最も近い座席）の正面付近に設けられ、乗員がステアリングホイールの間隙から、或いはステアリングホイール越しに視認可能な位置に設置され、車両Ｍの乗員の中で、特に運転席ＳＴ１に着座する運転手が視認すべき情報を表示する。表示部４０Ｂは、例えば、車両Ｍの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報の画像を表示する。
【００２６】
表示部４０Ｃは、インストルメントパネルＩＰの中央付近に設けられ、車両Ｍの乗員の中で、特に運転手と助手席（運転席の隣の座席）ＳＴ２に着座する乗員とが視認すべき情報を表示する。表示部４０Ｃは、例えば、ナビゲーション装置７０により実行されるナビゲーション処理に対応する画像、その他の画像等を表示する。また、表示部４０Ｃは、テレビ番組を表示したり、ＤＶＤを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。
【００２７】
表示部４０Ｄは、インストルメントパネルＩＰにおける助手席ＳＴ２の正面付近に設けられ、車両Ｍの乗員の中で、特に助手席ＳＴ２に着座する乗員が視認すべき情報を表示する。表示部４０Ｄは、例えば、表示部４０Ｃと同様に、ナビゲーション装置７０により実行されるナビゲーション処理に対応する画像、テレビ番組、ＤＶＤを再生した動画、ダウンロードされた映画等のコンテンツを表示する。
【００２８】
スピーカ５０Ａおよびスピーカ５０Ｂは、例えば、車両Ｍの左右の前方の窓柱（いわゆるＡピラー）に設置される。また、スピーカ５０Ｃは、運転席側のドアの下部に設置され、スピーカ５０Ｄは、助手席側のドアの下部に設置される。スピーカ５０Ｅは、表示部４０Ｃ付近、つまり、インストルメントパネルＩＰの中央付近に設置される。スピーカ５０Ｆは、車室内の天井の中央部付近に設置される。スピーカ５０Ａ、および５０Ｃは、例えば、運転者が傾聴すべき情報（例えば、表示部４０Ａ〜４０Ｃに表示される画像に応じた音声）を出力する。また、スピーカ５０Ｂ、および５０Ｄは、例えば、助手席ＳＴ２に着座する乗員が傾聴すべき情報（例えば、表示部４０Ｃ〜４０Ｄに表示される画像に応じた音声）を出力する。
【００２９】
なお、上述した表示部４０Ａ〜４０Ｄの設置位置は、一例であり、これに限られない。また、車室内には、乗員が車両Ｍのサイドミラーによって視認可能な情報を車外カメラによって取得し、取得した情報を表示する表示部が設置されていてもよい。
【００３０】
また、車両Ｍには、後部座席付近にスピーカが設けられる。図３は、後部座席付近のスピーカの位置を説明するための図である。図３の例では、図２に示すスピーカ５０Ａ〜５０Ｆの他に、運転席ＳＴ１と助手席ＳＴ２の後方に設置された後部座席ＳＴ３〜ＳＴ４付近にスピーカ５０Ｇおよび５０Ｈが設けられている。具体的には、スピーカ５０Ｇおよび５０Ｈは、左右の方向ドアの下部に設けられる。また、スピーカ５０は、車両Ｍの前方ドアと後方ドアとの間に設けられる窓柱（いわゆるＢピラー）に設けられてもよく、後部座席の方向に設けられてもよい。スピーカ５０Ｇは、例えば、車両Ｍの乗員の中で、特に運転席ＳＴ１の後ろの座席（以下、後部座席ＳＴ３）に着座する乗員が傾聴すべき情報を出力する。また、スピーカ５０Ｈは、例えば、車両Ｍの乗員の中で、特に助手席ＳＴ２の後ろの座席（以下、後部座席ＳＴ４）に着座する乗員が傾聴すべき情報を出力する。以降の説明において、運転席ＳＴ１、助手席ＳＴ２、後部座席ＳＴ３、および後部座席ＳＴ４を互いに区別しない場合には、単にシートＳＴと記載する。
【００３１】
図１に戻り、操作部６０は、乗員からの手動による操作を受け付ける。操作部６０は、例えば、スイッチやボタン、キー等を備える。操作部６０は、例えば、ステアリングホイールやインストルメントパネルに設けられる。また、操作部６０は、タッチパネルとして、表示部４０と一体に構成されてもよい。
【００３２】
ナビゲーション装置７０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星から受信した信号に基づいて、車両Ｍの位置を特定する。また、ナビゲーション装置７０は、特定された車両Ｍの位置（或いは入力された任意の位置）から、操作部６０や表示部４０を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、地図情報７２を参照して決定する。地図情報７２は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。地図情報７２は、道路の曲率やＰＯＩ（Point Of Interest）情報等を含んでもよい。
【００３３】
ナビゲーション装置７０は、地図上経路に基づいて、表示部４０を用いた経路案内を行ってもよい。ナビゲーション装置７０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置７０は、通信装置１０を介してナビゲーションサーバ（不図示）に現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
【００３４】
ナビゲーション装置７０は、地図上経路に基づいて、表示部４０による地図画像表示やスピーカによる音声出力によって、経路案内を行ってもよい。なお、ナビゲーション装置７０は、エージェント制御装置１００の機能の一つとしてエージェント制御装置１００に備えられてもよい。
【００３５】
［エージェント制御装置１００］
エージェント制御装置１００は、例えば、音声入力部１１０と、乗員状態解析部１２０と、報知制御部１３０と、画像生成部１４０と、音声生成部１５０と、アプリ呼出部１６０と、第１記憶部１８０と、第２記憶部１９０と、制御部２００とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）等のコンピュータプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め第１記憶部１８０に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで第１記憶部１８０、または第２記憶部１９０にインストールされてもよい。
【００３６】
第１記憶部１８０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現される。第１記憶部１８０は、例えば、電話アプリ１８２、ラジオアプリ１８４、ナビアプリ１８６等のプロセッサによって読み出されて実行されるプログラム、その他の情報等が格納される。電話アプリ１８２と、ラジオアプリ１８４、ナビアプリ１８６の詳細については、後述する。
【００３７】
第２記憶部１９０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。第２記憶部１９０は、例えば、回答情報１９２、パーソナルプロファイル１９４等の情報が格納される。回答情報１９２には、文字情報や画像、音声等が含まれ、これらはエージェントシステム１の対話に際に用いられる。パーソナルプロファイル１９４には、発話者の音声の特徴情報や、発話者に関する情報（例えば、性別や年齢、好きなジャンル）等が含まれる。パーソナルプロファイル１９４は、車両Ｍの購入時等において、車両Ｍの所有者によって操作部６０から入力された情報に基づいて生成され、第２記憶部１９０に記憶されてもよく、車両Ｍにおける乗員の発話の蓄積によって生成（学習）されてもよい。なお、本実施形態では、第１記憶部１８０と第２記憶部１９０とは、説明の便宜上、別体の記憶部として構成される場合について説明するが、一体に構成されていてもよい。
【００３８】
音声入力部１１０は、マイク３０による音声の入力を受け付ける。音声入力部１１０は、受け付けられた音声（音声ストリーム）を、制御部２００に供給する。
【００３９】
乗員状態解析部１２０は、車室内カメラ２０により撮像された画像に対する解析処理を行い、人物形状や顔形状等の特徴情報を抽出することで車室内のシートに着座する乗員の位置や、乗員の挙動、視線に関する情報を取得する。乗員の挙動には、例えば、乗員の顔の向きや体の姿勢が含まれる。また、乗員状態解析部１２０は、シートに設けられた圧力センサやその他の検知センサにより、シートに着座する乗員の位置を検知してもよい。
【００４０】
また、乗員状態解析部１２０は、マイク３０により収音された音声を解析し、解析した声の調子から乗員の特徴を解析してもよい。
【００４１】
報知制御部１３０は、音声入力部１１０から取得した音声に対する回答情報１９２に基づいて、乗員に対する報知を行うように各種構成を制御する。報知制御部１３０は、例えば、表示部４０を制御し、乗員に報知する内容を画面に表示させたり、スピーカ５０を制御し、乗員に報知する音声を出力させたり、車両内の各機能を実現するアプリケーション（以下、アプリと称する）を実行させたりし、乗員に対する報知を行う。
【００４２】
また、報知制御部１３０は、乗員状態解析部１２０により解析された乗員の状態に基づいて、乗員に対する報知を行うように各種構成を制御してもよい。また、報知制御部１３０は、乗員からの入力情報や乗員に提示した内容の履歴情報を第２記憶部１９０に記憶しておき、記憶した履歴情報から乗員のライフスタイルや嗜好を学習して、状況に応じた乗員に対する報知を行うように各種構成の制御を行ってもよい。また、報知制御部１３０は、エージェント制御装置１００の制御に基づいて、各種画像を表示部４０に表示させてもよい。
【００４３】
画像生成部１４０は、エージェント画像を生成するとともに、生成したエージェント画像を表示する表示部４０および画面上における表示位置を設定し、設定した表示部４０の表示位置にエージェント画像を表示させる。エージェント画像は、例えば、少なくとも観者によって表情や顔向きが認識される程度の顔画像を含む。例えば、エージェント画像は、顔領域の中に目や鼻に擬したパーツが表されており、顔領域の中のパーツの位置に基づいて顔向きが認識されるものである。また、エージェント画像は、立体的に感じられ、観者によって三次元空間における頭部画像を含むことで、顔向きが認識されるものであってもよい。
【００４４】
例えば、画像生成部１４０は、音声の内容や回答情報の内容に基づいて、エージェントの表情を変化させたエージェント画像を生成してもよい。例えば、画像生成部１４０は、乗員からのリクエストに対して適切な回答が得られていない場合には、悲しそうな表情のエージェントの画像を生成し、「ありがとう」等の音声が入力された場合には、うれしそうな表情のエージェントの画像を生成する。また、画像生成部１４０は、回答情報を表示部４０に表示するための画像（以下、回答画像と称する）を生成し、生成した回答画像を表示部４０に表示させる。
【００４５】
音声生成部１５０は、乗員に出力する対話用の音声を生成する。例えば、音声生成部１５０は、一以上のスピーカ５０を用いて、エージェント画像の表示位置に対応する位置に音像を定位させるための音声を生成する。音像が定位するとは、例えば、スピーカ５０から出力されて乗員の左右の耳に伝達される音の大きさを調節することにより、乗員が感じる音源の空間的な位置を定めることである。音像は、例えば、音源が元々保有している音特性や、車室内環境の情報、頭部伝達関数（HRTF；Head-related transfer function）に基づいて、所定の位置に定位させることができる。
【００４６】
図４は、音像が定位する位置を移動させる様子を説明するための図である。図４では、説明を簡略化するために、上述したスピーカ５０Ｃ〜５０Ｅを用いて音像を定位させることを例示している。また、図４の例では、音声生成部１５０とスピーカ５０Ｃ〜５０Ｅとの間に、ＡＭＰ（amplifier）１５０Ａと、ミキサー１５０Ｂとを備える。ＡＭＰ１５０Ａは、音声生成部１５０による制御によりスピーカ５０Ｃ〜５０Ｅのそれぞれから出力される音の大きさを調整する。例えば、ＡＭＰ１５０は、基準となる音の大きさ（最大強度）に対し、０〜１００％の間で音の調節を可能とする。また、ミキサー１５０Ｂは、入力された複数の音を合成する機能を備える。また、ミキサー１５０Ｂは、スピーカ５０Ｃ〜５０Ｅのそれぞれに出力する音を分配する機能を備える。
【００４７】
例えば、図４に示す音像位置ＭＰαに音像を定位させる場合、ＡＭＰ１５０Ａは、音声生成部１５０により生成された音声に基づいて、所定の出力対象の音声に対し、スピーカ５０Ｃから最大強度の５％の出力を行い、スピーカ５０Ｄから最大強度の８０％の出力を行い、スピーカ５０Ｅから最大強度の１５％の出力を行った場合、乗員Ｐ１の位置からは、図４に示す音像位置ＭＰαに音像が定位しているように感じることになる。
【００４８】
また、図４に示す音像位置ＭＰβに音像を定位させる場合、ＡＭＰ１５０Ａは、出力対象の音声に対し、スピーカ５０Ｃから最大強度の４５％の出力を行い、スピーカ５０Ｄから最大強度の４５％の出力を行い、スピーカ５０Ｅから最大強度の１０％の出力を行った場合、乗員Ｐ１の位置からは、図４に示す音像位置ＭＰβに音像が定位しているように感じることができる。このように、車室内に立体的に設けられる複数のスピーカのうち、選択される一以上のスピーカのそれぞれから出力される音の大きさを調整することで、音像定位の位置を変化させることができる。音声生成部１５０は、「音像定位部」の一例である。
【００４９】
図１に戻り、アプリ呼出部１６０は、報知制御部１３０により選択されたアプリを第１記憶部１８０により呼び出し、呼び出したアプリを制御部２００で実行することで、そのアプリの機能を実現させる。例えば、制御部２００により電話アプリ１８２が実行された場合には、通信装置１０を介して外部の通話機能を備えた端末と通信を行い、マイク３０やスピーカ５０を用いて、端末所持者との通話が実現される。また、制御部２００によりラジオアプリ１８４が実行された場合には、通信装置１０を介してラジオ局から乗員が指定した周波数で発信された音声情報を取得し、取得した音声情報をスピーカ５０から出力する機能が実現される。また、制御部２００によりナビアプリ１８６が実行された場合には、ナビゲーション装置７０と連携した経路案内機能等が実現される。
【００５０】
［自動運転制御装置３００］
制御部２００の説明に先立って、自動運転制御装置３００について説明する。自動運転制御装置３００は、車両Ｍの周囲を撮像するカメラ（不図示）や、車両Ｍに搭載されたレーダ装置（不図示）やＬｉＤＡＲ（Light Detection and Ranging）（不図示）等のうち、一部または全部の検出結果に対するセンサフュージョン処理に基づいて車両Ｍの周辺に存在する物体や道路形状等の周辺環境を認識し、認識した結果に基づいて自動運転が実行可能な状況下で自動運転制御を行う。自動運転とは、車両Ｍに乗車した乗員による運転操作に依らずに、車両の操舵または速度のうち一方または双方を制御して車両を運転させることである。なお、自動運転制御装置３００が備えるカメラ、レーダ装置、或いはＬｉＤＡＲは、「周辺認識部」の一例である。
【００５１】
例えば、自動運転制御装置３００は、原則的にはナビゲーション装置７０からの経路情報に基づいて推奨車線を決定し、決定された推奨車線を車両Ｍが走行し、更に、車両Ｍの周辺状況に対応できるように、車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。また、自動運転制御装置３００は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベントを含む追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベントなどがある。自動運転制御装置３００が備える行動計画生成部は、起動させたイベントに応じた目標軌道を生成する。
【００５２】
また、自動運転制御装置３００は、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度を、目標軌道の速度要素として決定する。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度は、サンプリング時間および軌道点の間隔によって決定される。
【００５３】
そして、自動運転制御装置３００は、生成した目標軌道に付随する速度要素に基づいて、車両Ｍに搭載された走行駆動力出力装置またはブレーキ装置を制御し、車両Ｍの加減速を制御する。走行駆動力出力装置は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。ブレーキ装置は、制動操作に応じたブレーキトルクを各車輪に出力する。また、自動運転制御装置３００は、目標軌道の曲がり具合に応じて、車両Ｍに搭載されたステアリング装置を制御する。ステアリング装置は、電動モータを駆動し、転舵輪の向きを変更させる。
【００５４】
自動運転が実行されている場合、乗員は周辺監視を行わなくてもよい状態となる。また、自動運転制御装置３００により自動運転が実行されていない場合、運転者による運転操作子（不図示）の操作により手動運転が実行される。運転操作子は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置３００、もしくは、走行駆動力出力装置、ブレーキ装置、およびステアリング装置のうち一部または全部に出力される。自動運転制御装置３００は、車両Ｍの自動運転が実行されているか否かまたは自動運転による運転支援の度合に関する情報をエージェント制御装置１００に送信する。
【００５５】
以降の説明において、自動運転が実行されている車両Ｍの走行状態を、自律走行状態とも記載し、自動運転が実行されていない車両Ｍの走行状態を、手動走行状態とも記載する。自律走行状態は、「第２運転モード」の一例であり、手動走行状態は、「第１運転モード」の一例である。また、自動運転制御装置３００は、「運転制御部」の一例である。
【００５６】
［制御部２００］
制御部２００は、例えば、エージェント制御装置１００の各機能部の実行および停止を制御する。制御部２００は、例えば、各機能部からの要求をＡＰＩ（Application Programming Interface）によって受け付け、受け付けた要求に基づく処理を実行する機能部を選択し、選択した機能部に、ＡＰＩを介して処理を実行させる。制御部２００は、受け付けた要求に基づく処理を実行する機能部として、解釈部２１０と、対話生成部２２０と、視線認識部２３０と、遷移判定部２４０とを備える。
【００５７】
解釈部２１０には、例えば、音声区間検出部２１２と、音声認識部２１４と、自然言語処理部２１６とが含まれる。音声区間検出部２１２は、音声ストリームから音声区間を検出する。例えば、音声区間検出部２１２は、例えば、音声ストリームにおける音声波形の振幅と零交差に基づいて音声区間を検出する。また、音声区間検出部２１２は、混合ガウス分布モデル（ＧＭＭ；Gaussian mixture model) に基づくフレーム単位の音声・非音声識別に基づく区間検出を行ってもよく、予め第２記憶部１９０等に記憶された音声区間を検出するためのデータベースとのマッチング処理により区間検出を行ってもよい。
【００５８】
音声認識部２１４は、音声区間検出部２１２による音声区間における音声を認識し、音声を文字情報としてテキスト化する。また、音声認識部２１４は、音声から発話者の特徴を特定してもよい。発話者の特徴には、例えば、性別や年齢、運転者であるか、同乗者であるかの情報が含まれる。また、音声認識部２１４は、第２記憶部１９０に記憶されたパーソナルプロファイル１９４に記憶された個人の音声の特徴情報と照合して、個人を特定してもよい。
【００５９】
自然言語処理部２１６は、音声認識部２１４によりテキスト化された文字情報に対する自然言語処理を実行し、文字情報の意味を解釈する。自然言語処理には、形態素解析、構文解析、意味解析、文脈解析等が含まれる。形態素解析は、例えば、文字情報を、意味を持つ最小の表現要素の単位に分割し、分割した単位（形態素）ごとの品詞等を解析する。構文解析は、例えば、形態素解析により得られた形態素をもとに、文の構造を解析する。意味解析は、例えば、構文解析により得られた構文をもとに、意味を持つまとまりを判別する。文脈解析は、例えば、文単位や文脈単位で意味を解釈する。
【００６０】
また、自然言語処理部２１６は、解釈した意味に対応するコマンドを生成する。例えば、解釈結果として、「東京駅まで何キロ？」、「東京駅までどのくらい走る？」等の意味が解釈された場合、自然言語処理部２１６は、標準文字情報「東京駅までの距離は？」に置き換えたコマンドを生成する。これにより、文字揺らぎがあった場合にも回答情報を取得しやすくすることができる。
【００６１】
また、自然言語処理部２１６は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を解釈し、解釈結果に基づくコマンドを生成してもよい。自然言語処理部２１６は、生成されたコマンドを用いて第２記憶部１９０に記憶された回答情報１９２のコマンドを参照し、合致するコマンドに対応する回答情報１９２を取得する。自然言語処理部２１６は、音声認識部２１４によりテキスト化された文字情報の構造や意味を理解し、理解した意味に基づいて、第２記憶部１９０に記憶された回答情報１９２を検索し、対応する文字情報や画像、音声等を取得する。
【００６２】
対話生成部２２０は、解釈部２１０によって推定された発話者と、自然言語処理部２１６によって解釈された発話の内容を示す文字情報に基づいて、乗員と対話を行うための発話内容を生成する。
【００６３】
画像生成部１４０は、対話生成部２２０によって生成された発話内容に基づいて、エージェント画像を生成する。報知制御部１３０は、画像生成部１４０によって生成されたエージェント画像を表示する表示部４０および画面上における表示位置を設定し、設定した表示部４０の表示位置にエージェント画像を表示させる。画像生成部１４０は、例えば、対話生成部２２０によって生成された発話内容が疑問文である場合には、質問しているような表情のエージェント画像を生成し、発話内容が否定形である場合には、悲しそうな表情のエージェント画像を生成する。否定形である発話内容とは、例えば、対話によってリクエストされた処理を実行不能であることを伝える発話内容である。報知制御部１３０は、例えば、画像生成部１４０によって生成されたエージェント画像を、発話者が視認し易い表示部４０（発話者が運転者であれば表示部４０Ａ〜４０Ｃの少なくともいずれか）にエージェント画像を表示させる。
【００６４】
音声生成部１５０は、対話生成部２２０によって生成された発話内容に基づいて、乗員に出力する対話用の音声を生成する。報知制御部１３０は、例えば、発話者が傾聴し易いスピーカ５０（発話者が運転者であれば、スピーカ５０Ａ、および５０Ｃ）に生成した音声を出力させる。また、音声生成部１５０は、自動運転制御装置３００による運転モードの遷移が行われる際、定位させる音像の位置を所定の時間毎に変化（移動）させる。表示部４０やスピーカ５０は、「出力部」の一例である。
【００６５】
視線認識部２３０は、車両Ｍの運転者の視線を認識する。視線認識部２３０は、例えば、車室内カメラ２０によって撮像された撮像画像に基づいて、車両Ｍの運転者が視認するフロントウィンドウ上の位置を認識する。以下、車両Ｍの運転者を単に運転者と記載する。
【００６６】
遷移判定部２４０は、視線認識部２３０の認識結果に基づいて、自動運転制御装置３００による運転モードの遷移が適切か否かを判定する。ここで、車両Ｍの運転モードが自律走行状態から手動走行状態に遷移される際、運転者は、周辺監視を行うことが求められる。しかしながら、遷移判定部２４０は、視線認識部２３０の認識結果が、運転者が車両Ｍの前方を視認していることを示していても、周辺監視を行っているかを判定することが困難である場合がある。図５は、運転者の視線の一例を示す図である。図５に示す一例において、車室内カメラ２０は、例えば、表示部４０Ｃに設けられ、運転者の正面から運転者の顔部を撮像する。図５において、運転者が車両Ｍの前方の中で、空（図示する領域ＡＲ１）を視認している場合、視線認識部２３０の認識結果は、運転者が車両Ｍの前方を視認していることを示すが、この場合、運転者は、周辺監視を行っていない。
【００６７】
本実施形態の遷移判定部２４０は、運転モードが自動運転制御装置３００による運転モードの遷移が行われる際、音声生成部１５０により所定の時間毎に位置が変化される音像を、運転手が目で追った（追従した）場合、周辺監視を行っているものとみなす。遷移判定部２４０は、視線認識部２３０の認識結果が、音声生成部１５０により所定の時間毎に位置が変化される音像を追従したことを示す場合、運転者が周辺監視を行っているものとみなし、運転モードの遷移が適切であると判定する。また、遷移判定部２４０は、視線認識部２３０の認識結果が、音像を追従していないことを示す場合、運転者が周辺監視を行っていないもの（例えば、運転者が、車両Ｍの前方を視認しているように見えて、ぼんやりと前方を向いているだけである）とみなし、運転モードの遷移が適切ではないと判定する。
【００６８】
遷移判定部２４０は、判定結果を示す情報を、自動運転制御装置３００に出力する。自動運転制御装置３００は、遷移判定部２４０による判定結果が、運転モードの遷移が適切であることを示す場合、運転モードを遷移させ、車両Ｍの走行状態を手動走行状態に制御する。また、自動運転制御装置３００は、遷移判定部２４０による判定結果が、運転モードの遷移が適切ではないことを示す場合、運転モードを遷移させず、自律走行状態を維持する。
【００６９】
［音像の位置の移動について：上側から下側への移動］
図６は、実施形態に係る音像の位置の移動の一例（その１）を示す図である。図６において、音声生成部１５０は、自動運転制御装置３００による運転モードの遷移が行われる際、所定の時間毎の音像位置ＭＰ（音像位置ＭＰ１〜ＭＰｎ（ｎは、自然数。））を、例えば、運転者に対して上下方向に関する軸（図示する軸ＡＸ１）に沿って、上側から下側に移動させる。なお、音声生成部１５０は、所定の時間毎の音像位置ＭＰを下側から上側に移動させてもよい。また、音声生成部１５０は、音像の位置を、運転者の上側から、運転者の視認すべき情報を表示する表示部４０Ｂの位置まで移動させ、運転者に表示部４０Ｂの視認を促してもよい。
【００７０】
図７は、実施形態に係る第１報知画像ＩＭ１の一例を示す図である。報知制御部１３０は、例えば、自動運転制御装置３００による運転モードの遷移が行われる際、当該遷移を運転者に報知する第１報知画像ＩＭ１を表示部４０Ｂに表示させる。図７において、第１報知画像ＩＭ１には、例えば、画像ＩＭａやメッセージＭＳａが含まれる。画像ＩＭａは、運転モードの遷移が行われる事由を示す画像である。図７において、画像ＩＭａは、運転モードの遷移が行われる事由が、車線変更であることを示す画像である。メッセージＭＳａは、「車両の周辺に気を付けてください」等の、運転モードの遷移に伴い運転者に周辺監視を要求するメッセージである。これにより、報知制御部１３０は、音像の移動後の位置を、表示部４０Ｂの位置にし、運転者に対して運転モードの遷移が行われることを認識しやすくすることができる。
【００７１】
また、報知制御部１３０は、自動運転制御装置３００による運転モードの遷移が行われる際、ステアリングに設けられるライト（図示する左側ライトＬＴＬと、右側ライトＬＴＲ）とを点灯させ、運転者に対して運転モードの遷移が行われることをより認識しやすくしてもよい。
【００７２】
なお、メッセージＭＳａは、自律走行状態から手動走行状態に遷移されることに伴い、運転者に、ステアリングの把持を要求するメッセージであってもよい。
【００７３】
［音像の位置の移動について：運転者が視認する位置から下側への移動］
図８は、実施形態に係る音像の位置の移動の一例（その２）を示す図である。図８において、音声生成部１５０は、自動運転制御装置３００による運転モードの遷移が行われる際、音像位置ＭＰを運転者が視認している位置（図示する視認位置ＶＰ）から表示部４０Ｂの位置を結ぶ軸（軸ＡＸ２）に沿って上側から下側に移動させる。音声生成部１５０は、例えば、音像の位置を移動させる前に、視線認識部２３０によって認識された運転者が視認している視認位置ＶＰを取得し、当該視認位置ＶＰから、表示部４０Ｂの位置までを結ぶ軸ＡＸ２を特定する。そして、音声生成部１５０は、所定の時間毎の音像位置ＭＰ（音像位置ＭＰ１〜ＭＰｎ）を、軸ＡＸ２に沿って、視認位置ＶＰから表示部４０Ｂの位置まで移動させる。これにより、音声生成部１５０は、よりスムーズに運転者に表示部４０Ｂを視認させやすくすることができる。なお、音声生成部１５０は、所定の時間毎の音像位置ＭＰを表示部４０Ｂの位置から視認位置ＶＰに移動させてもよい。
【００７４】
［音像の位置の移動について：左側から右側への移動］
図９は、実施形態に係る音像の位置の移動の一例（その３）を示す図である。図９において、音声生成部１５０は、自動運転制御装置３００による運転モードの遷移が行われる際、例えば、所定の時間毎の音像位置ＭＰ（音像位置ＭＰ１〜ＭＰｎ）を、運転者に対して左右方向に関する軸（図示する軸ＡＸ３）に沿って、左側から右側に移動させる。なお、音声生成部１５０は、所定の時間毎の音像位置ＭＰを右側から左側に移動させてもよい。これにより、音声生成部１５０は、運転者に対して、より効率よく周辺監視を促すことができる。
【００７５】
上述したように、音声生成部１５０によって音像位置ＭＰが移動される際、遷移判定部２４０は、視線認識部２３０の認識結果によって示される運転者の視線が、音声生成部１５０によって移動された音像位置ＭＰを追従する場合、車両Ｍが周辺監視を行っているとみなし、自動運転制御装置３００による運転モードの遷移が適切であると判定する。また、視線認識部２３０は、視線認識部２３０の認識結果によって示される運転者の視線が、音声生成部１５０によって移動された音像位置ＭＰを追従しない場合、車両Ｍが周辺監視を行っていないとみなし、自動運転制御装置３００による運転モードの遷移が適切ではないと判定する。
【００７６】
［第１運転モード、および第２運転モードの他の例］
なお、上述では、遷移判定部２４０が、自動運転制御装置３００により、車両Ｍの運転モードが自律走行状態から手動走行状態に遷移される場合に、運転モードの遷移が適切であるか否かを判定する場合について説明したが、これに限られない。遷移判定部２４０は、自動運転制御装置３００により、車両Ｍの運転モードが、自動化率が高いもしくは要求タスクが低い運転モード（「第２運転モード」の一例）から、自動化率が低いもしくは要求タスクが高い運転モード（「第１運転モード」の一例）に遷移される場合に、運転モードの遷移が適切であるか否かを判定してもよい。
【００７７】
［処理フロー］
図１０は、実施形態に係るエージェントシステム１の処理の一連の流れを示すフローチャートである。エージェント制御装置１００は、車両Ｍの運転モードが、自動化率が高いもしくは要求タスクが低い運転モードから、自動化率が低いもしくは要求タスクが高い運転モードに遷移されることを示す情報を、自動運転制御装置３００から取得したか否かを判定する（ステップＳ１００）。エージェント制御装置１００は、当該情報を取得するまでの間、待機する。音声生成部１５０は、自動運転制御装置３００から運転モードを遷移させることを示す情報を取得した場合、音像位置を移動させる（ステップＳ１０２）。音声生成部１５０は、例えば、音像位置ＭＰを上側から下側に移動させてもよく、音像位置ＭＰを視認位置ＶＰから表示部４０Ｂの位置に移動させてもよく、音像位置ＭＰを左側から右側に移動させてもよい。
【００７８】
遷移判定部２４０は、視線認識部２３０の認識結果に基づいて、運転モードの遷移が適切であるか否かを判定する（ステップＳ１０４）。遷移判定部２４０は、例えば、視線認識部２３０の認識結果によって示される運転者の視線が、音声生成部１５０によって移動される音像位置ＭＰを追従したか否かを判定する。運転者の視線が、音像位置ＭＰを追従した場合、運転モードの遷移が適切であると判定する。また、遷移判定部２４０は、運転者の視線が、音像位置ＭＰを追従していない場合、運転モードの遷移が適切ではないと判定する。
【００７９】
自動運転制御装置３００は、遷移判定部２４０によって、運転モードの遷移が適切であると判定された場合、運転モードを遷移させる（ステップＳ１０６）。自動運転制御装置３００は、遷移判定部２４０によって、運転モードの遷移が適切ではないと判定された場合、運転モードを遷移させない（ステップＳ１０８）。なお、自動運転制御装置３００は、運転モードを遷移させず、現在の運転モードを維持してもよく、自律走行状態によって車両Ｍを安全な位置まで走行させ、停止させてもよい。
【００８０】
［第１実施形態のまとめ］
以上説明したように、本実施形態のエージェントシステム１は、車両Ｍの車室内に音像を定位させる音声生成部１５０と、車両Ｍの運転者の視線を認識する視線認識部２３０と、視線認識部２３０の認識結果に基づいて、自動運転制御装置３００による運転モードの遷移が適切か否かを判定する遷移判定部２４０と、を備え、音声生成部１５０は、自動運転制御装置３００が運転モードを第２運転モード（この一例では、自律走行状態）から第１運転モード（この一例では、手動走行状態）に遷移させるタイミングにおいて、音像位置ＭＰを移動させ、遷移判定部２４０は、視線認識部２３０の認識結果が示す運転者の視線が、音像位置ＭＰに追従しない場合、運転モードの遷移が適切ではないと判定することにより、適切なタイミングにおいて車両Ｍの運転モードを遷移させることができる。
【００８１】
＜変形例＞
以下、実施形態に係る変形例について説明する。上述では、遷移判定部２４０が、視線認識部２３０の認識結果が示す運転者の視線が音像位置ＭＰに追従しない場合、運転モードの遷移が適切ではないと判定する一例について説明した。変形例では、遷移判定部２４０が、運転モードの遷移が適切ではないと判定する場合、運転者に対する報知の強度を強める場合について説明する。なお、上述した実施形態と同様の構成については、同一の符号を付して説明を省略する。
【００８２】
変形例の音声生成部１５０は、遷移判定部２４０によって運転モードの遷移が適切ではないと判定された場合、音像を定位させるための音声の音量を大きくする。音声生成部１５０は、例えば、遷移判定部２４０によって運転モードの遷移が適切ではないと判定される度に音声の音量を大きくしてもよく、時間経過に応じて徐々に（線形的に）音量を大きくしてもよく、音像位置ＭＰの移動に応じて（例えば、表示部４０Ｂに近づくほどに大きい音声によって）音量を大きくしてもよい。以降の説明では、音声生成部１５０が、遷移判定部２４０によって運転モードの遷移が適切ではないと判定される度に音声の音量を大きくする場合について説明する。変形例の遷移判定部２４０は、音声生成部１５０によって生成される音声の音量が最大の音量であってもなお、運転者の視線が、音像位置ＭＰに追従しない場合、運転モードの遷移が適切ではないと判定する。
【００８３】
図１１は、変形例に係る第２報知画像ＩＭ２の一例を示す図である。報知制御部１３０は、例えば、自動運転制御装置３００による運転モードの遷移が行われる際、当該遷移を運転者に報知する第２報知画像ＩＭ２を表示部４０Ｂに表示させる。図１１において、第２報知画像ＩＭ２には、例えば、画像ＩＭａ、画像ＩＭｂ、およびメッセージＭＳｂが含まれる。画像ＩＭｂは、例えば、運転者に運転モードの遷移をより強く報知する画像である。具体的には、画像ＩＭｂには、例えば、より運転者の注目を引くような文字やマークが含まれる。メッセージＭＳｂは、例えば、第１報知画像ＩＭ１に含まれるメッセージＭＳａよりも、運転者に運転モードに対応する必要があることをより強く伝える（報知する）内容、或いはより視認しやすくした表示形態（例えば、太文字、大きい文字等）である。第２報知画像ＩＭ２を表示部４０Ｂに表示させることは、「報知の強度を強くする」ことの一例である。
【００８４】
なお、第２報知画像ＩＭ２の内容は一例であり、これに限られない。第２報知画像ＩＭ２は、第１報知画像ＩＭ１よりも、より強く報知する内容であれば、他の態様であってもよい。
【００８５】
また、報知制御部１３０は、自動運転制御装置３００による運転モードの遷移が行われる際、ステアリングに設けられ左側ライトＬＴＬと、右側ライトＬＴＲとを点滅させ、運転者に対して運転モードの遷移が行われることをより認識しやすくしてもよい。左側ライトＬＴＬと、右側ライトＬＴＲとを点滅させることは、「報知の強度を強くする」ことの一例である。
【００８６】
［処理フロー］
図１２は、変形例に係るエージェントシステム１の処理の一連の流れを示すフローチャートである。図１２に示されるステップＳ１００〜Ｓ１０４の処理と、ステップＳ１０６〜Ｓ１０８の処理とは、図７に示されるステップ番号が一致する処理と同様の処理であるため、説明を省略する。変形例の遷移判定部２４０は、運転モードの遷移が適切ではないと判定した場合、報知レベルが最も強いか否かを判定する（ステップＳ１０５）。遷移判定部２４０は、例えば、音声生成部１５０によって生成される音声の音量が最大であるか、または報知制御部１３０によって表示部４０Ｂに出力される画像が、第２報知画像ＩＭ２であるか否かを判定する。遷移判定部２４０は、例えば、この２つの条件のうち、両方を満たさない場合、報知レベルが最も強くないと判定する。
【００８７】
遷移判定部２４０によって報知レベルが最も強くないと判定された場合、音声生成部１５０、または報知制御部１３０は、報知の強度を強くする（ステップＳ１０７）。音声生成部１５０は、例えば、音声の音量を大きくし、報知制御部１３０は、例えば、表示部４０Ｂに第２報知画像ＩＭ２を表示させる。エージェントシステム１は、遷移判定部２４０によって報知レベルが最も強いと判定されるまでの間、ステップＳ１０２〜ステップＳ１０７の処理を繰り返す。自動運転制御装置３００は、遷移判定部２４０によって報知レベルが最も強いと判定された場合、運転モードを遷移させない（ステップＳ１０８）。なお、自動運転制御装置３００は、運転モードを遷移させず、現在の運転モードを維持してもよく、自律走行状態によって車両Ｍを安全な位置まで走行させ、停止させてもよい。
【００８８】
［変形例のまとめ］
以上説明したように、変形例のエージェントシステム１は、遷移判定部２４０が、運転モードの遷移が適切ではないと判定する場合、運転者に対する報知の強度を強めることにより、より運転者にわかりやすく運転モードの遷移を報知することができる。
【００８９】
［エージェントシステムの他の構成例］
なお、エージェントシステム１は、その機能の一部がサーバ装置に設けられていてもよい。この場合、エージェントシステム１が備える構成のうち、例えば、解釈部２１０、および第２記憶部１９０がサーバ装置に備えられていてもよい。図１３は、機能の一部がサーバ装置ＳＶに備えられるエージェントシステム１の構成の一例を示す図である。図１３において、エージェントシステム１が備える構成のうち、解釈部２１０と、対話生成部２２０と、第２記憶部１９０とがサーバ装置ＳＶに供えられ、それ以外の構成は、車両Ｍに搭載される。また、サーバ装置ＳＶには、通信装置ＣＤが備えられる。この場合、エージェント制御装置１００と、サーバ装置ＳＶとは、例えば、インターネットやＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等のネットワークＮＷによりデータの送受信が可能な状態で接続されている。サーバ装置ＳＶは、複数のエージェントシステムとの通信が可能であってもよい。サーバ装置ＳＶが備える通信装置ＣＤは、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ、ＤＳＲＣ等を利用して、ネットワークＮＷを介してエージェント制御装置１００と通信する。この通信装置ＣＤは、エージェント制御装置１００から送信された音声ストリームを受信する。また、通信装置ＣＤは、対話生成部２２０により生成された音声や文字情報、画像等の回答情報をエージェント制御装置１００に送信する。
【００９０】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【００９１】
１…エージェントシステム、１０…通信装置、２０…車室内カメラ、３０…マイク、４０、４０Ａ、４０Ｂ、４０Ｃ、４０Ｄ…表示部、５０、５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ、５０Ｅ、５０Ｆ、５０Ｇ、５０Ｈ…スピーカ、６０…操作部、７０…ナビゲーション装置、７２…地図情報、１００…エージェント制御装置、１１０…音声入力部、１２０…乗員状態解析部、１３０…報知制御部、１４０…画像生成部、１５０…音声生成部、１６０…アプリ呼出部、１８０…第１記憶部、１９０…第２記憶部、２００…制御部、２１０…解釈部、２１２…音声区間検出部、２１４…音声認識部、２１６…自然言語処理部、２２０…対話生成部、２３０…視線認識部、２４０…遷移判定部、２４０…判定部、３００…自動運転制御装置、ＩＭ１…第１報知画像、ＩＭ２…第２報知画像、ＬＴＬ…左側ライト、ＬＴＲ…右側ライト、Ｍ…車両、ＭＰ、ＭＰ１、ＭＰｎ、ＭＰα、ＭＰβ…音像位置
【図１】
2020059401.tif 000003
【図２】
2020059401.tif 000004
【図３】
2020059401.tif 000005
【図４】
2020059401.tif 000006
【図５】
2020059401.tif 000007
【図６】
2020059401.tif 000008
【図７】
2020059401.tif 000009
【図８】
2020059401.tif 000010
【図９】
2020059401.tif 000011
【図１０】
2020059401.tif 000012
【図１１】
2020059401.tif 000013
【図１２】
2020059401.tif 000014
【図１３】
2020059401.tif 000015