(57)【要約】【課題】車室内のコミュニケーションを効果的に支援することができるコミュニケーション支援システム、コミュニケーション支援方法、およびプログラムを提供すること。【解決手段】車室内に設置されたマイクと、前記車室内に設置された音声出力部と、前記マイクにより集音された音声データに含まれる発話内容を認識する認識部と、前記認識部による認識結果に基づいて、前記集音された音声を発した乗員から他の乗員に伝達する伝達メッセージを生成し、前記生成された伝達メッセージに基づく音声を生成し、生成した音声を前記他の乗員に向けて前記音声出力部に出力させる制御部と、を備えるコミュニケーション支援システム。【選択図】図１
2020060696.tif 000002
【特許請求の範囲】
【請求項１】
車室内に設置されたマイクと、
前記車室内に設置された音声出力部と、
前記マイクにより集音された音声データに含まれる発話内容を認識する認識部と、
前記認識部による認識結果に基づいて、前記集音された音声を発した乗員から他の乗員に伝達する伝達メッセージを生成し、前記生成された伝達メッセージに基づく音声を生成し、生成した音声を前記他の乗員に向けて前記音声出力部に出力させる制御部と、
を備えるコミュニケーション支援システム。
【請求項２】
前記制御部は、前記集音された音声を発した乗員と異なる者が発声するのに擬した音声を生成する、
請求項１に記載のコミュニケーション支援システム。
【請求項３】
前記制御部は、前記乗員の座席位置と前記他の乗員の座席位置との関係に基づいて決定される前記車室内の所定の位置に、音像を定位させるための音声を生成させる、
請求項１または２に記載のコミュニケーション支援システム。
【請求項４】
前記音声出力部は、前記車室内の異なる位置に設置される複数の音声出力装置を含み、
前記制御部は、前記複数の音声出力装置のうち、前記他の乗員に近い音声出力装置に対して音声を出力するよう指示する、
請求項１または２に記載のコミュニケーション支援システム。
【請求項５】
前記制御部は、指向性を備える前記音声出力部に対して、前記乗員から前記他の乗員に向かう方向に音声を出力するよう指示する、
請求項１または２に記載のコミュニケーション支援システム。
【請求項６】
前記制御部は、前記認識部による認識結果に基づいて、前記各乗員に予め対応付けられているウェイクアップワードを参照し、前記発話内容に前記ウェイクアップワードが含まれる場合、前記集音された音声に基づいて生成された音声を、前記ウェイクアップワードと対応付けられている乗員に向けて出力させる、
請求項１から５のうちいずれか一項に記載のコミュニケーション支援システム。
【請求項７】
前記制御部は、前記認識部による認識結果に基づいて、前記集音された音声を発した乗員の発話に対して前記他の乗員が応答したか否かを判定し、前記集音された音声を発した乗員の発話に対して前記他の乗員が応答しない場合、前記集音された音声に基づいて生成された音声を前記他の乗員に向けて出力させる、
請求項１から６のうちいずれか一項に記載のコミュニケーション支援システム。
【請求項８】
前記車室内を撮像する撮像部と、
前記撮像部により撮像された画像を解析する画像解析部とをさらに備え、
前記制御部は、前記画像解析部による画像解析結果に基づいて、前記他の乗員が寝ているか否かを判定し、前記他の乗員が寝ていない場合、前記集音された音声に基づいて生成された音声を前記他の乗員に向けて出力させる、
請求項１から７のうちいずれか一項に記載のコミュニケーション支援システム。
【請求項９】
前記制御部は、前記認識部による認識結果に基づいて、発話者の感情を推定、前記推定された感情に応じた前記伝達メッセージを生成する、
請求項１から８のうちいずれか一項に記載のコミュニケーション支援システム。
【請求項１０】
前記制御部は、前記推定された感情のレベルが所定値以上である場合、前記発話内容よりも感情を抑えた表現に変更した前記伝達メッセージを生成する、
請求項９に記載のコミュニケーション支援システム。
【請求項１１】
車室内に設置されたマイクと、
前記マイクにより集音された音声データに含まれる発話内容を認識する認識部と、
前記認識部による認識結果に基づいて、前記車室内の各乗員に予め対応付けられているウェイクアップワードを参照し、前記発話内容に前記ウェイクアップワードが含まれる場合にコミュニケーション支援を開始する制御部と、
を備えるコミュニケーション支援システム。
【請求項１２】
コンピュータが、
車室内に設置されたマイクにより集音された音声データに含まれる発話内容を認識し、
認識結果に基づいて、前記集音された音声を発した乗員から他の乗員に伝達する伝達メッセージを生成し、前記生成された伝達メッセージに基づく音声を生成し、生成した音声を前記他の乗員に向けて、前記車室内に設置された音声出力部に出力させる、
コミュニケーション支援方法。
【請求項１３】
コンピュータに、
車室内に設置されたマイクにより集音された音声データに含まれる発話内容を認識させ、
認識結果に基づいて、前記集音された音声を発した乗員から他の乗員に伝達する伝達メッセージを生成させ、前記生成された伝達メッセージに基づく音声を生成させ、生成された音声を前記他の乗員に向けて、前記車室内に設置された音声出力部に出力させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コミュニケーション支援システム、コミュニケーション支援方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、発話者の映像を発話者以外に対応するモニターに表示するとともに、発話者以外に対応するスピーカから発話者の音声を出力することにより、車室内のコミュニケーションを支援する装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−０７６０３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、発話相手が積極的にコミュニケーションをしようとしていない場合、例えば、子供が後部座席で遊んでいて、それを運転席の親が注意するような状況においては、発話の内容が相手に伝達しにくい場合があった。
【０００５】
本発明の態様は、このような事情を考慮してなされたものであり、車室内のコミュニケーションを効果的に支援することができるコミュニケーション支援システム、コミュニケーション支援方法、およびプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
この発明に係るコミュニケーション支援システム、コミュニケーション支援方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係るコミュニケーション支援システムは、車室内に設置されたマイクと、前記車室内に設置された音声出力部と、前記マイクにより集音された音声データに含まれる発話内容を認識する認識部と、前記認識部による認識結果に基づいて、前記集音された音声を発した乗員から他の乗員に伝達する伝達メッセージを生成し、前記生成された伝達メッセージに基づく音声を生成し、生成した音声を前記他の乗員に向けて前記音声出力部に出力させる制御部と、を備えるコミュニケーション支援システムである。
【０００７】
（２）：上記（１）の態様において、前記制御部は、前記集音された音声を発した乗員と異なる者が発声するのに擬した音声を生成するものである。
【０００８】
（３）：上記（１）または（２）の態様において、前記制御部は、前記乗員の座席位置と前記他の乗員の座席位置との関係に基づいて決定される前記車室内の所定の位置に、音像を定位させるための音声を生成させる、ものである。
【０００９】
（４）：上記（１）または（２）の態様において、前記音声出力部は、前記車室内の異なる位置に設置される複数の音声出力装置を含み、前記制御部は、前記複数の音声出力装置のうち、前記他の乗員に近い音声出力装置に対して音声を出力するよう指示する、ものである。
【００１０】
（５）：上記（１）または（２）の態様において、前記制御部は、指向性を備える前記音声出力部に対して、前記乗員から前記他の乗員に向かう方向に音声を出力するよう指示する、ものである。
【００１１】
（６）：上記（１）から（５）のうちいずれかの態様において、前記制御部は、前記認識部による認識結果に基づいて、前記各乗員に予め対応付けられているウェイクアップワードを参照し、前記発話内容に前記ウェイクアップワードが含まれる場合、前記集音された音声に基づいて生成された音声を、前記ウェイクアップワードと対応付けられている乗員に向けて出力させる、ものである。
【００１２】
（７）：上記（１）から（６）のうちいずれかの態様において、前記制御部は、前記認識部による認識結果に基づいて、前記集音された音声を発した乗員の発話に対して前記他の乗員が応答したか否かを判定し、前記集音された音声を発した乗員の発話に対して前記他の乗員が応答しない場合、前記集音された音声に基づいて生成された音声を前記他の乗員に向けて出力させる、ものである。
【００１３】
（８）：上記（１）から（７）のうちいずれかの態様において、前記車室内を撮像する撮像部と、前記撮像部により撮像された画像を解析する画像解析部とをさらに備え、前記制御部は、前記画像解析部による画像解析結果に基づいて、前記他の乗員が寝ているか否かを判定し、前記他の乗員が寝ていない場合、前記集音された音声に基づいて生成された音声を前記他の乗員に向けて出力させる、ものである。
【００１４】
（９）：上記（１）から（８）のうちいずれかの態様において、前記制御部は、前記認識部による認識結果に基づいて、発話者の感情を推定し、前記推定された感情に応じた前記伝達メッセージを生成する、ものである。
【００１５】
（１０）：上記（９）の態様において、前記制御部は、前記推定された感情のレベルが所定値以上である場合、前記発話内容よりも感情を抑えた表現に変更した前記伝達メッセージを生成する、ものである。
【００１６】
（１１）：この発明の一態様に係るコミュニケーション支援システムは、車室内に設置されたマイクと、前記マイクにより集音された音声データに含まれる発話内容を認識する認識部と、前記認識部による認識結果に基づいて、前記車室内の各乗員に予め対応付けられているウェイクアップワードを参照し、前記発話内容に前記ウェイクアップワードが含まれる場合にコミュニケーション支援を開始する制御部と、を備えるコミュニケーション支援システムである。
【００１７】
（１２）：この発明の一態様に係るコミュニケーション支援方法は、コンピュータが、車室内に設置されたマイクにより集音された音声データに含まれる発話内容を認識し、認識結果に基づいて、前記集音された音声を発した乗員から他の乗員に伝達する伝達メッセージを生成し、前記生成された伝達メッセージに基づく音声を生成し、生成した音声を前記他の乗員に向けて、前記車室内に設置された音声出力部に出力させる、コミュニケーション支援方法である。
【００１８】
（１３）：この発明の一態様に係るプログラムは、コンピュータに、車室内に設置されたマイクにより集音された音声データに含まれる発話内容を認識させ、認識結果に基づいて、前記集音された音声を発した乗員から他の乗員に伝達する伝達メッセージを生成させ、前記生成された伝達メッセージに基づく音声を生成させ、生成された音声を前記他の乗員に向けて、前記車室内に設置された音声出力部に出力させる、プログラムである。
【発明の効果】
【００１９】
（１）〜（１３）によれば、車室内のコミュニケーションを効果的に支援することができる。
【図面の簡単な説明】
【００２０】
【図１】実施形態に係るエージェント装置を含むコミュニケーション支援システム１の構成図である。
【図２】車両に設置されるマイク、表示部、およびスピーカを模式的に示す図である。
【図３】後部座席付近のスピーカの位置を説明するための図である。
【図４】音像が定位する位置を移動させる様子を説明するための図である。
【図５】パーソナルプロファイル１７４の内容の一例を示す図である。
【図６】座席情報１７６の内容の一例を示す図である。
【図７】コミュニケーション支援システム１による設定処理の流れの一例を示すフローチャートである。
【図８】コミュニケーション支援システム１による仲介処理（その１）の流れの一例を示すフローチャートである。
【図９】処理その１が実行された一例について説明するための参考図である。
【図１０】コミュニケーション支援システム１による仲介処理（その２）の流れの一例を示すフローチャートである。
【図１１】処理その２が実行された一例について説明するための参考図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照し、本発明のコミュニケーション支援システム、コミュニケーション支援方法、およびプログラムの実施形態について説明する。また、以下では、コミュニケーション支援システムの一例として、車両に搭載され、エージェント機能を備えたエージェント装置を用いる。エージェント装置は、コミュニケーション支援システムの一例である。エージェント装置は、例えば、車両の乗員同士の対話の伝達を支援するための各種の情報処理や車室内の機器の制御を行う。車両の乗員同士の対話の伝達を支援するための各種処理や制御は、例えば、発話者による発話内容を発話相手に効果的に伝達するための支援を行うものであって、例えば、所定条件を満たした場合に実行される。
【００２２】
また、エージェント装置は、乗員に仮想的な対話者を視認させるため、擬人化された動物やキャラクタ等の画像（以下、エージェント画像と称する）を表示部に表示させてもよい。エージェント画像は、例えば、少なくとも観者によって表情や顔向きが認識される程度の顔画像を含む。例えば、エージェント画像は、顔領域の中に目や鼻に擬したパーツが表されており、顔領域の中のパーツの位置に基づいて顔向きが認識されるものである。また、エージェント画像は、立体的に感じられ、観者によって三次元空間における頭部画像を含むことで、顔向きが認識されるものであってもよい。
【００２３】
コミュニケーション支援システムは、例えば、乗員の音声を認識する音声認識処理（音声をテキスト化する処理）に加え、自然言語機能（テキストの構造や意味を理解する処理）、対話制御処理、検索処理等を統合的に利用して実現される。また、これらの処理の一部または全部は、ＡＩ（Artificial Intelligence）技術によって実現される。また、これらの処理を行う構成の一部または全部は、車両と通信可能なサーバ装置等に設けられてよく、車両側に設けられてもよい。
【００２４】
なお、以下の説明では、右側ハンドルの車両を例に説明するが、左側ハンドルの車両が適用される場合、左右を逆に読み替えればよい。また、以下の説明では、車室内の座席の構成が前列と後列の二列である例について説明するが、三列以上の車両であってもよい。この場合、二列目が前列、三列目が後列という関係になる場合もあり、一列目が前列、三列目が後列という関係になる場合もある。以下、運転席あるいは助手席（運転席の隣りの座席）に着座する乗員をフロント乗員、フロント乗員よりも後ろの席に着座する乗員をリア乗員と記す。
【００２５】
［全体構成］
図１は、実施形態に係るエージェント装置を含むコミュニケーション支援システム１の構成図である。コミュニケーション支援システム１は、エージェント装置（コミュニケーション支援システム）１００と、サーバ装置２００とを備える。エージェント装置１００とサーバ装置２００とは、例えば、インターネットやＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等のネットワークＮＷによりデータの送受信が可能な状態で接続されている。サーバ装置２００は、複数のエージェント装置１００との通信が可能であるが、以下では説明の便宜上、１つのエージェント装置１００と通信するものとする。
【００２６】
エージェント装置１００は、例えば、通信装置１１０と、車室内カメラ１１２と、マイク１１４と、表示部１１６と、スピーカ１１８と、操作部１２０と、エージェント制御装置１５０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
【００２７】
通信装置１１０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標、以下省略）、ＤＳＲＣ（Dedicated Short Range Communication）等を利用して、ネットワークＮＷを介して他車両やサーバ装置２００と通信する。
【００２８】
車室内カメラ１１２は、例えば、車両Ｍの車室内に設置されたシートに着座する各乗員の顔を含む画像を撮像する。車室内カメラ１１２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。車室内カメラ１１２は、例えば、所定のタイミングで各乗員を撮像する。車室内カメラ１１２の撮像画像は、エージェント制御装置１５０に出力される。
【００２９】
マイク１１４は、車室内の音声を集音する音声入力装置である。例えば、マイク１１４は、乗員が車室内のシートに着座したときの前方付近に設置される。例えば、マイク１１４は、マットランプ、ステアリングホイール、インストルメントパネル、またはシートの付近に設置される。マイク１１４は、車室内に複数設定されてよい。
【００３０】
表示部１１６は、例えば、車室内のシートに着座する乗員の前方付近に設置される。また、スピーカ１１８は、例えば、車室内のシート付近または表示部１１６付近に設置される。表示部１１６およびスピーカ１１８は、車室内に複数設置されてよい。
【００３１】
図２は、車両に設置されるマイク、表示部、およびスピーカを模式的に示す図である。図２の車室内には、マイク１１４Ａ〜１１４Ｂと、表示部１１６Ａ〜１１６Ｄと、スピーカ１１８Ａ〜１１８Ｆとが設置されている。マイク１１４Ａは、主に運転者の発話を集音するマイクであって、例えばステアリングホイールに設けられる。マイク１１４Ｂは、主に助手席乗員の発話を集音するマイクであって、インストルメントパネルＩＰにおける助手席の正面付近に設けられる。
【００３２】
表示部１１６Ａは、例えば運転者が車外を視認する際の視線の先に設置される。表示部１１６Ａは、例えば、ＨＵＤ（Head-Up Display）装置である。ＨＵＤ装置は、風景に重畳させて画像を視認させる装置であり、一例として、車両のフロントウインドシールドやコンバイナーに画像を含む光を投光することで、乗員に虚像を視認させる装置である。乗員は、主に運転者であるが、運転者以外の乗員であってもよい。
【００３３】
表示部１１６Ｂは、インストルメントパネルＩＰにおける運転席（例えばステアリングホイールに最も近い座席）の正面付近に設けられ、乗員がステアリングホイールの間隙から、或いはステアリングホイール越しに視認可能な位置に設置される。表示部１１６Ｂは、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）表示装置等である。表示部１１６Ｂには、例えば、車両Ｍの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報の画像が表示される。
【００３４】
表示部１１６Ｃは、インストルメントパネルＩＰの中央付近に設置される。表示部１１６Ｃは、例えば、表示部１１６Ｂと同様に、ＬＣＤや有機ＥＬ表示装置等である。表示部１１６Ｃは、テレビ番組を表示したり、ＤＶＤを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。
【００３５】
表示部１１６Ｄは、インストルメントパネルＩＰにおける助手席の正面付近に設けられる。表示部１１６Ｄには、テレビ番組を表示したり、ＤＶＤを再生したり、ダウンロードされた映画等のコンテンツを表示したりする。また、車室内には、乗員が車両Ｍのサイドミラーによって視認可能な情報を車外カメラによって取得し、取得した情報を表示する表示部が設置されていてもよい。
【００３６】
スピーカ１１８Ａおよびスピーカ１１８Ｂは、例えば、車両Ｍの左右の前方の窓柱（いわゆるＡピラー）に設置される。また、スピーカ１１８Ｃは、運転席側のドアの下部に設置され、スピーカ１１８Ｄは、助手席側のドアの下部に設置される。スピーカ１１８Ｅは、表示部１１６Ｃ付近、つまり、インストルメントパネルＩＰの中央付近に設置される。スピーカ１１８Ｆは、車室内の天井の中央部付近に設置される。
【００３７】
また、車両には、後部座席付近にマイクとスピーカが設けられていてもよい。図３は、後部座席付近のスピーカの位置を説明するための図である。図３の例では、図２に示すマイクやスピーカの他に、運転席ＳＴ１の後方に設置された後部座席ＳＴ３付近にマイク１１４Ｃとスピーカ１１８Ｇが設けられている。助手席ＳＴ２の後方に設置された後部座席ＳＴ４付近にマイク１１４Ｄとスピーカ１１８Ｈが設けられている。例えば、マイク１１４Ｃおよび１１４Ｄとスピーカ１１８Ｇおよび１１８Ｈは、左右の方向ドアの下部に設けられる。また、スピーカ１１８は、車両Ｍの前方ドアと後方ドアとの間に設けられる窓柱（いわゆるＢピラー）に設けられてもよく、後部座席の方向に設けられてもよい。なお、ＳＴ１〜ＳＴ４は、例えば、各座席を識別する識別情報である座席ＩＤである。
【００３８】
操作部１２０は、乗員からの手動による操作を受け付ける。操作部１２０は、例えば、スイッチやボタン、キー等を備える。操作部１２０は、例えば、ステアリングホイールやインストルメントパネルに設けられる。また、操作部１２０は、タッチパネルとして、表示部１１６と一体に構成されてもよい。
【００３９】
［エージェント制御装置］
エージェント制御装置１５０は、車室内において集音した音声に基づいて、伝達メッセージの音声を生成し、車室内に出力させる。これに限られず、エージェント制御装置１５０は、車室内において集音した音声をサーバ装置２００に送信し、サーバ装置２００により生成された伝達メッセージを車室内に出力させてよい。伝達メッセージは、発話者である乗員から発話相手である他の乗員に伝達するメッセージである。伝達メッセージは、例えば、発話者と異なる第三者（エージェント）を発話者とする発話内容を含む。なお、伝達メッセージは、発話者である乗員の発話内容と同一のメッセージであってもよく、発話内容に基づいて生成されるメッセージであってもよい。
【００４０】
エージェント制御装置１５０は、例えば、音声入力部１５２と、画像解析部１５６と、音声解析部１５８と、提示制御部１６０と、画像生成部１６２と、音声生成部１６４と、記憶部１７０と、制御部１８０とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）等のコンピュータプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部１７０に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶部１７０にインストールされてもよい。
【００４１】
音声入力部１５２は、マイク１１４による音声の入力を受け付ける。音声入力部１５２は、受け付けられた音声（音声ストリーム、以下同じ）を、通信装置１１０を介してサーバ装置２００に送信してもよい。また、音声入力部１５２は、受け付けた音声を、集音データ１７８の一部として記憶部１７０に格納してもよい。
【００４２】
画像解析部１５６は、車室内カメラ１１２により撮像された画像に対する解析処理を行い、人物形状や顔形状等の特徴情報を抽出する。画像解析部１５６は、例えば、特徴情報を座席ごとに抽出し、抽出結果に座席ＩＤを対応付けておく。なお、画像解析部１５６は、特徴情報を抽出することで車室内のシートに着座する乗員の位置や、乗員の挙動、視線に関する情報を取得してもよい。乗員の挙動には、例えば、乗員の顔の向きや体の姿勢が含まれる。
【００４３】
音声解析部１５８は、マイク１１４により集音された音声に対する解析処理を行い、声の性質を示す情報を取得する。声の性質を示す情報には、声のトーン（音階の高低を示す指標）や声の大きさなどを示す情報や、周波数変化を示す情報などが含まれる。
【００４４】
提示制御部１６０は、制御部１８０の指示に従って、画像生成部１６２により生成された画像を表示部１１６に表示させる。提示制御部１６０は、制御部１８０の指示に従って、音声生成部１６４により生成される音声をスピーカ１１８に出力させる。
【００４５】
画像生成部１６２は、例えば、エージェント画像やアバター画像を生成し、表示部１１６に出力する。アバター画像は、各ユーザの顔に似せて表現されるエージェント画像のような画像であって、ユーザごとに事前に設定され、記憶部１７０に格納されている。画像生成部１６２は、発話者の状態や伝達メッセージの内容に基づいて、エージェントやアバターの表情を変化させた画像を生成してもよい。例えば、発話者が怒っている場合、画像生成部１６２は、怒っている表情のアバター画像を生成してよく、困った表情のエージェント画像を生成してよい。
【００４６】
音声生成部１６４は、制御部１８０により決定された定位位置（後述する）に基づいて、一以上のスピーカ１１８を用いて、定位位置に音像を定位させるための音声を生成する。音像が定位するとは、例えば、スピーカ１１８から出力されて乗員の左右の耳に伝達される音の大きさを調節することにより、乗員が感じる音源の空間的な位置を定めることである。音像は、例えば、音源が元々保有している音特性や、車室内環境の情報、頭部伝達関数（HRTF；Head-related transfer function）に基づいて定まる。音声生成部１６４は、このような原理を利用して、音像を所定の位置に定位させることができる。
【００４７】
図４は、音像が定位する位置を移動させる様子を説明するための図である。図４では、説明を簡略化するために、上述したスピーカ１１８Ｃ〜１１８Ｅを用いて音像を定位させることを例示している。また、図４の例では、音声生成部１６４とスピーカ１１８Ｃ〜１１８Ｅとの間に、ＡＭＰ１６４Ａと、ミキサー１６４Ｂとを備える。ＡＭＰ１６４Ａは、音声生成部１６４による制御によりスピーカ１１８Ｃ〜１１８Ｅのそれぞれから出力される音の大きさを調整する。例えば、ＡＭＰ１６４Ａは、基準となる音の大きさ（最大強度）に対し、０〜１００％の間で音の調節を可能とする。また、ミキサー１６４Ｂは、入力された複数の音を生成する機能を備える。また、ミキサー１６４Ｂは、スピーカ１１８Ｃ〜１１８Ｅのそれぞれに出力する音を分配する機能を備える。
【００４８】
例えば、図４に示す空間位置ＭＰ１に音像を定位させる場合、ＡＭＰ１６４Ａは、音声生成部１６４により生成された音声に基づいて、所定の出力対象の音声に対し、スピーカ１１８Ｃから最大強度の５％の出力を行い、スピーカ１１８Ｄから最大強度の８０％の出力を行い、スピーカ１１８Ｅから最大強度の１５％の出力を行った場合、乗員Ｐ１の位置からは、図４に示す空間位置ＭＰ１に音像が定位しているように感じることになる。
【００４９】
また、ＡＭＰ１６４Ａは、出力対象の音声に対し、スピーカ１１８Ｃから最大強度の４５％の出力を行い、スピーカ１１８Ｄから最大強度の４５％の出力を行い、スピーカ１１８Ｅから最大強度の１０％の出力を行った場合、乗員Ｐ１の位置からは、図４に示す空間位置ＭＰ２に音像が定位しているように感じることができる。このように、車室内に立体的に設けられる複数のスピーカのうち、選択される一以上のスピーカのそれぞれから出力される音の大きさを調整することで、音像定位の位置を変化させることができる。
【００５０】
記憶部１７０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現される。記憶部１７０は、例えば、エージェントアプリ（プログラム）１７２、パーソナルプロファイル１７４、座席情報１７６、集音データ１７８等が格納される。エージェントアプリ１７２は、例えば、ネットワークＮＷを介して他装置からダウンロードされてもよいし、予めエージェント装置１００にプリインストールされていてもよい。
【００５１】
制御部１８０は、エージェント制御装置１５０の各機能部に実行および停止を制御する。制御部１８０は、例えば、各機能部からの要求をＡＰＩ（Application Programming Interface）によって受け付け、受け付けた要求に基づく処理を実行する機能部を選択し、選択した機能部に、ＡＰＩを介して処理を実行させる。
【００５２】
また、制御部１８０は、例えば、登録部１８１と、乗員特定部１８２と、設定部１８３と、乗員状態推定部１８４と、発話者特定部１８５と、発話相手特定部１８６と、着座位置特定部１８７と、判定部１８８と、メッセージ生成部１８９とを含む。これらの構成は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが、記憶部１７０に記憶されたエージェントアプリ１７２を実行することにより実現される。
【００５３】
登録部１８１は、操作部１２０を用いて入力されたパーソナル情報を、各ユーザを識別する識別情報であるユーザＩＤに対応付けて、記憶部１７０のパーソナルプロファイル１７４に格納する。パーソナル情報には、例えば、各ユーザの呼び名、属性（性別、年齢）、座席に関する情報などが含まれる。また、登録部１８１は、車室内カメラ１１２により撮像した画像に基づいて画像解析部１５６により抽出された顔の特徴量を示す情報を、ユーザＩＤに対応付けて、記憶部１７０のパーソナルプロファイル１７４に格納する。
【００５４】
図５は、パーソナルプロファイル１７４の内容の一例を示す図である。パーソナルプロファイル１７４は、例えば、ユーザＩＤに、呼び名、属性、設定座席、顔情報などが含まれる。ユーザＩＤは、各ユーザを識別するための識別情報である。呼び名には、名前の一部、家族内での呼び名、ニックネームなどが含まれる。設定座席は、各ユーザがよく座る座席として予め設定された座席であってもよく、時間帯や曜日に応じてよく座る座席として設定された座席であってもよい。なお、設定座席は、操作部１２０を用いてユーザにより設定されてもよく、過去の履歴情報に基づいてよく座る座席が登録部１８１により導出されることにより設定されてもよい。顔情報には、各ユーザの顔の特徴量を示す情報などが含まれる。
【００５５】
乗員特定部１８２は、顔認証技術を用いて、車室内のシートに着座する乗員を特定する。例えば、乗員特定部１８２は、画像解析部１５６による解析結果と、パーソナルプロファイル１７４の顔情報とを照合し、解析結果に合致する顔情報がパーソナルプロファイル１７４に登録されている場合、車室内のシートに着座する乗員のユーザＩＤを特定する。なお、乗員が着座している座席は、画像解析部１５６により撮像された画像と対応付けられており、乗員特定部１８２により特定された乗員のユーザＩＤには、各乗員がどの座席に着座している乗員であるかを示す座席ＩＤが付与されている。
【００５６】
設定部１８３は、乗員特定部１８２により特定された乗員の座席位置やウェイクアップワードを設定する。例えば、設定部１８３は、乗員特定部１８２により特定された乗員のユーザＩＤと、この乗員が着座している座席ＩＤとを対応付けて、座席情報１７６の一部として記憶部１７０に格納する。図６は、座席情報１７６の内容の一例を示す図である。座席情報１７６は、座席ＩＤに、ユーザＩＤと、ウェイクアップワードとを対応付けた情報である。ウェイクアップワードは、エージェント機能を用いた各処理の実行トリガであって、例えば、各ユーザの呼び名を含む。なお、ウェイクアップワードは、座席情報１７６に格納されたユーザごとの情報に限られず、複数のユーザに共通する言葉であってもよい。例えば、ウェイクアップワードには、例えば、「ねぇ」「うしろに言って」「聞いて」などが含まれてよい。また、「ねぇ」は同じ列のユーザを呼ぶウェイクアップワードに、「ねぇ、ねぇ」は異なる列のユーザを呼ぶウェイクアップワードに設定されてもよい。
【００５７】
なお、設定部１８３は、操作部１２０からの入力に基づいて、ユーザＩＤと座席ＩＤとを対応付けて、座席情報１７６の一部として記憶部１７０に格納してもよい。
【００５８】
また、設定部１８３は、所定のタイミングごとに、乗員特定部１８２により特定された乗員の座席位置を更新してよい。こうすることにより、乗車中にユーザが座席を変わったとしても、座席情報１７６を現在の状況に合わせて変更することができる。
【００５９】
乗員状態推定部１８４は、画像解析部１５６による解析結果や、音声解析部１５８による解析結果に基づいて、乗員の状態を推定する。乗員の状態には、感情や、覚醒状態（寝ているか起きているか）などが含まれる。例えば、声のトーンが低い場合や怒鳴り声が含まれている場合、乗員状態推定部１８４は、感情に怒りが含まれていると推定する。また、目が閉じている状態が所定時間以上継続している場合、乗員状態推定部１８４は、乗員が寝ていると判断する。
【００６０】
発話者特定部１８５は、画像解析部１５６による解析結果や、音声解析部１５８による解析結果に基づいて、発話者を特定する。例えば、発話者特定部１８５は、口を動かしている乗員が着座している座席や、音声が発生している方向の座席を、発話者の座席ＩＤと判断する。発話者特定部１８５は、座席情報１７６を参照し、発話者の座席ＩＤと対応付けられているユーザＩＤを取得し、取得したユーザＩＤのユーザが発話者であると特定する。
【００６１】
発話相手特定部１８６は、サーバ装置２００により認識された発話内容に基づいて、発話相手を特定する。例えば、発話内容にウェイクアップワードが含まれる場合、座席情報１７６において、ウェイクアップワードと対応付けられている乗員を、発話相手と特定する。なお、ウェイクアップワードと対応付けられている乗員が複数いる場合、発話相手特定部１８６は、複数の乗員を発話相手と特定する。
【００６２】
また、発話内容に発話相手を示す言語（例えばウェイクアップワードやその他の呼び名）が無い場合であっても、発話相手特定部１８６は、発発話内容から発話相手を推定して、発話相手を特定してもよい。例えば、発話内容が子供たちに向けられたものである場合、発話相手特定部１８６は、乗員に含まれる子供を発話相手に特定する。また、発話相手特定部１８６は、サーバ装置２００により認識された認識結果や音声解析部１５８による解析結果に基づいて、発話相手の話し方の特徴を取得できた場合、話し方の特徴に基づいて発話相手を特定してもよい。例えば、発話相手特定部１８６は、声のトーンが高い場合は子供を相手に話しており、声のトーンが低い場合は大人を相手に話していると特定してもよい。
【００６３】
着座位置特定部１８７は、座席情報１７６を参照し、乗員の着座している位置（座席ＩＤ）を特定する。例えば、着座位置特定部１８７は、発話者特定部１８５により特定された発話者であるユーザのユーザＩＤと対応付けられている座席ＩＤを座席情報１７６から読み出し、発話者の座席を特定する。また、着座位置特定部１８７は、発話相手特定部１８６により発話相手が特定された場合、同様にして、発話相手の座席を特定する。
【００６４】
判定部１８８は、伝達メッセージの伝達を仲介するか否かを判定する。例えば、ウェイクアップワードが発話された（以下、第１条件と記す）か否かを判定する。例えば、判定部１８８は、座席情報１７６を参照し、サーバ装置２００から受信した発話内容の認識結果に基づいて、発話内容にウェイクアップワードが含まれるか否かを判定し、発話内容にウェイクアップワードが含まれる場合、第１条件を満たすと判定する。第１条件を満たす場合、判定部１８８は、伝達メッセージの伝達を仲介すると判定してよい。伝達メッセージの伝達を仲介するとは、発話内容を生成した音声を他の乗員に伝達することである。なお、第１条件を満たす場合、制御部１８０は、ウェイクアップワードに対応する乗員を、発話相手に決定してよい。
【００６５】
また、判定部１８８は、着座位置特定部１８７により特定された座席に基づいて、発話相手の座席が発話者の座席よりも後ろである（以下、第２条件と記す）か否かを判定する。第２条件を満たす場合、判定部１８８は、伝達メッセージの伝達を仲介すると判定してよい。
【００６６】
また、判定部１８８は、発話者による発話に対して発話相手が応答しない（以下、第３条件と記す）か否かを判定する。例えば、発話者の発話から所定時間以内に発話相手が発話しない場合や、その発話相手の発話内容が発話者からの発話に応答する内容でない場合、判定部１８８は第３条件を満たすと判定する。第３条件を満たす場合、判定部１８８は、伝達メッセージの伝達を仲介すると判定してよい。
【００６７】
また、判定部１８８は、乗員状態推定部１８４による推定結果に基づいて、発話相手が寝ていない状態である（以下、第４条件と記す）か否かを判定する。第４条件を満たす場合、判定部１８８は、伝達メッセージの伝達を仲介すると判定してよい。
【００６８】
判定部１８８は、第１〜４条件のうち少なくとも一つを満たす場合に、伝達メッセージの伝達を仲介すると判定してもよく、全てを満たす場合に伝達メッセージの伝達を仲介すると判定してもよい。
【００６９】
また、判定部１８８は、伝達メッセージを伝達する主体（伝達者）を決定してよい。例えば、判定部１８８は、乗員状態推定部１８４により推定された感情のレベルが所定値以上である場合（例えば、発話者が激しく怒っている場合）、アバター画像ではなく、エージェント画像を伝達者に決定する。
【００７０】
メッセージ生成部１８９は、自然言語処理部２４０により理解された発話内容などに基づいて、伝達メッセージを生成する。また、メッセージ生成部１８９は、発話者特定部１８５により発話者が特定できている場合には、パーソナルプロファイル１７４から発話者を示す呼び名を取得し、取得した発話者の呼び名を含む伝達メッセージを生成してもよい。また、メッセージ生成部１８９は、乗員状態推定部１８４により発話者の感情が推定されている場合、発話者の感情に応じた伝達メッセージを生成してもよい。例えば、乗員状態推定部１８４により推定された感情のレベルが所定値以上である場合（例えば、発話者が激しく怒っている場合）、感情を抑制した表現に変更した伝達メッセージを生成する。メッセージ生成部１８９は、生成された伝達メッセージを、提示制御部１６０に出力する。こうすることにより、発話相手が伝達メッセ―ジを聞き入れやすくなる。
【００７１】
制御部１８０は、提示制御部１６０に指示して以下のような処理を行う。例えば、制御部１８０は、伝達メッセージを発話相手に向けて出力するよう、表示部１１６およびスピーカ１１８を制御する。例えば、制御部１８０は、発話者の座席と発話相手の座席との位置関係に基づいて、伝達メッセージを出力する方向（以下、出力方向と記す）を決定する。例えば、発話者が運転席ＳＴ１であって発話相手が後部座席ＳＴ４である場合、制御部１８０は、運転席ＳＴ１から後部座席ＳＴ４に向かう方向を出力方向に決定する。
【００７２】
また、制御部１８０は、伝達者に応じて出力方向を決定してもよい。例えば、発話者が運転席ＳＴ１であったとしても、伝達者がエージェント画像である場合、制御部１８０は、後部座席ＳＴ４において運転席ＳＴ１と反対側（車両の左側）から後部座席ＳＴ４に向かう方向を出力方向に決定してもよい。こうすることにより、後部座席ＳＴ４の乗員は、乗員がいない方向から音声が聞こえるため、乗員以外の第三者が発話者であることを直感的に認識することができる。
【００７３】
また、制御部１８０は、決定した出力方向に基づいて、音像を定位させたい位置（定位位置）を決定し、音声生成部１６４に指示する。定位位置は、例えば、車室内において出力方向を示す仮想線上に決定されてもよく、この仮想線の付近に決定されてもよい。また、定位位置は、この仮想線において発話者よりも発話相手に近い位置に決定されてもよい。
【００７４】
例えば、制御部１８０は、複数のスピーカ１１８Ａ〜１１８Ｈのうち、定位位置に最も近いスピーカから音声を出力させるよう指示する。例えば、出力方向が運転席ＳＴ１から後部座席ＳＴ４に向かう方向である場合、制御部１８０は、運転席ＳＴ１よりも後部座席ＳＴ４に近い位置を定位位置に決定する。そして、制御部１８０は、定位位置に最も近いスピーカ１１８Ｆから音声を出力させるよう指示する。こうすることにより、後部座席ＳＴ４の乗員は、運転席ＳＴ１の方から音声が聞こえるため、運転席ＳＴ１の乗員が発話者であることを直感的に認識することができる。
【００７５】
また、複数のスピーカ１１８Ａ〜１１８Ｈが指向性を備える場合、制御部１８０は、決定した出力方向と合致する指向性を備えるスピーカから音声を出力させるよう指示してもよい。こうすることにより、上述と同様の効果を奏することができる。
【００７６】
また、制御部１８０は、発話者と発話相手の位置関係を示す情報（例えば、決定された出力方向）に基づいて、画像を表示させる位置（表示位置）を決定し、画像生成部１６２に指示してもよい。例えば、制御部１８０は、発話相手からみた発話者の方向を、エージェント画像の表示位置に決定する。表示位置は、車室内に設置された複数の表示部１１６（後部座席用のディスプレイ等も含む）のうちの一部を示すものであってもよく、表示部１１６における画面内の位置まで含むものであってもよい。上述した通り、表示部１１６は、後部座席用のディスプレイなど、各座席用のディスプレイを備えるものであってもよい。こうすることにより、制御部１８０は、各座席用のディスプレイに、エージェント画像を表示することができる。
【００７７】
また、制御部１８０は、発話内容に基づいて、乗員に提示する内容を決定してもよい。例えば、エージェントを発話者として伝達メッセージを出力させる場合、制御部１８０は、伝達メッセージを伝えるエージェント音声を生成してスピーカ１１８に出力させるように音声生成部１６４を制御するとともに、エージェント画像を表示部１１６に表示させる。エージェント音声とは、発話者と異なるものが発声するのに擬した音声である。
【００７８】
伝達メッセージに発話者の発話内容がそのまま含まれる場合、制御部１８０は、エージェント画像に替えて、発話者のアバター画像を表示部１１６に表示させてもよい。また、伝達メッセージに発話者の発話内容がそのまま含まれる場合、制御部１８０は、集音データ１７８に格納されている音声を一部に含むエージェント音声を生成して、発話者のアバターの画像（以下、アバター画像と記す）を表示部１１６に表示させることを決定してもよい。例えば、伝達メッセージが［〇〇さんが「・・・・」とおっしゃっていますよ］である場合、「・・・・」の部分を集音データ１７８に格納されている〇〇さんの音声とし、その他の部分をエージェント音声とする。エージェント音声とは、発話者と異なる第三者（エージェント）が発声するのに擬した音声である。
【００７９】
［サーバ装置］
サーバ装置２００は、例えば、通信部２１０と、音声区間検出部２２０と、音声認識部２３０と、自然言語処理部２４０と、記憶部２８０とを備える。これらの構成要素は、例えば、ＣＰＵ等のコンピュータプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部２８０に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶部２８０にインストールされてもよい。
【００８０】
通信部２１０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ、ＤＳＲＣ等を利用して、ネットワークＮＷを介してエージェント装置１００と通信する。通信部２１０は、エージェント装置１００から送信された音声ストリームを受信する。
【００８１】
音声区間検出部２２０は、エージェント装置１００から送信された音声ストリームから音声区間を検出する。例えば、音声区間検出部２２０は、例えば、音声ストリームにおける音声波形の振幅と零交差に基づいて音声区間を検出する。また、音声区間検出部２２０は、混合ガウス分布モデル（ＧＭＭ；Gaussian mixture model) に基づくフレーム単位の音声・非音声識別に基づく区間検出を行ってもよく、予め記憶部２６０等に記憶された音声区間を検出するためのデータベースとのマッチング処理により区間検出を行ってもよい。
【００８２】
音声認識部２３０は、音声区間検出部２２０による音声区間ごとに音声を認識し、音声を文字情報としてテキスト化する。
【００８３】
自然言語処理部２４０は、音声認識部２３０によりテキスト化された文字情報の構造や、発話内容の意味を理解する。自然言語処理には、形態素解析、構文解析、意味解析、文脈解析等が含まれる。形態素解析は、例えば、文字情報を、意味を持つ最小の表現要素の単位に分割し、分割した単位（形態素）ごとの品詞等を解析する。構文解析は、例えば、形態素解析により得られた形態素をもとに、文の構造を解析する。意味解析は、例えば、構文解析により得られた構文をもとに、意味を持つまとまりを判別する。文脈解析は、例えば、文単位や文脈単位で意味を解釈する。また、自然言語処理部２４０は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を解釈してもよい。自然言語処理部２４０は、発話内容のテキストデータと、理解した発話内容の意味を示す情報を、通信部２１０からエージェント装置１００に送信させる。
【００８４】
記憶部２８０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。記憶部２８０は、例えば、パーソナルプロファイル２８４、その他の情報等が格納される。パーソナルプロファイル２８４は、例えば、個人の識別情報に、声の特徴情報、性別、年齢、好きなジャンル、過去のサーバ装置２００の使用履歴等を対応付けた情報である。
【００８５】
［処理フロー］
以下、コミュニケーション支援システム１による一連の処理の流れを、フローチャートを用いて説明する。
【００８６】
はじめに、処理その１について説明する。処理その１は、集音された発話内容をそのまま伝達する方法である。
【００８７】
図７は、コミュニケーション支援システム１による設定処理の流れの一例を示すフローチャートである。まず、画像解析部１５６は、車室内カメラ１１２により撮像された画像に対する解析処理を行い、人物形状や顔形状等の特徴情報を抽出する（ステップＳ１０１）。乗員特定部１８２は、画像解析部１５６により抽出された特徴情報と、パーソナルプロファイル１７４の顔情報とを照合し、抽出された特徴情報に合致する顔情報がパーソナルプロファイル１７４に登録されている場合、車室内のシートに着座する乗員のユーザＩＤを特定する（ステップＳ１０３）。
【００８８】
設定部１８３は、乗員特定部１８２により特定された乗員のユーザＩＤと、この乗員が着座している座席ＩＤとを対応付けて、座席情報１７６の一部として記憶部１７０に格納することで、ユーザＩＤと座席ＩＤとの対応関係を設定する（ステップＳ１０５）。次いで、設定部１８３は、ユーザＩＤにウェイクアップワードを対応付けて、座席情報１７６の一部として記憶部１７０に格納することで、ウェイクアップワードを設定する（ステップＳ１０７）。例えば、パーソナルプロファイル１７４において、呼び名が設定されているユーザＩＤについては、呼び名をウェイクアップワードとして設定する。
【００８９】
図８は、コミュニケーション支援システム１による仲介処理（その１）の流れの一例を示すフローチャートである。まず、エージェント装置１００は、発話状況を監視する（ステップＳ３０１）。例えば、音声入力部１５２は、マイク１１４による音声の入力を受け付け、サーバ装置２００に送信する。音声区間検出部２２０は、受信した音声から音声区間を検出する。音声認識部２３０は、音声区間ごとに音声を認識して、音声を文字情報としてテキスト化し、発話内容のテキストデータを生成する。自然言語処理部２４０は、生成されたテキストデータに基づいて、発話内容を理解し、通信部２１０を用いて認識結果をエージェント装置１００に送信する。
【００９０】
判定部１８８は、発話内容のテキストデータに基づいて、ウェイクアップワードが発話されたか否かを判定する（ステップＳ３０３）。つまり、判定部１８８は、第１条件を満たすか否かを判定する。ウェイクアップワードが発話された場合（つまり、第１条件を満たす場合）、発話相手特定部１８６は、ウェイクアップワードが割り当てられている乗員を発話相手に決定する（ステップＳ３０５）。次いで、発話者特定部１８５は、画像解析部１５６による解析結果や、音声解析部１５８による解析結果に基づいて、発話者を特定する（ステップＳ３０７）。着座位置特定部１８７は、座席情報１７６を参照し、発話者の座席ＩＤと、発話相手の座席ＩＤを特定する（ステップＳ３０９）。
【００９１】
次いで、制御部１８０は、発話者の座席ＩＤと発話相手の座席ＩＤに基づいて、伝達メッセージを出力する出力方向を決定する（ステップＳ３１１）。制御部１８０は、出力方向に基づいて、音像を定位させたい定位位置を決定する（ステップＳ３１３）。そして、制御部１８０は、ステップＳ３０１において認識された発話内容に基づいて、音声を生成する（ステップＳ３１５）。音声生成部１６４は、ステップＳ３１５において生成された音声であって、ステップＳ３１３において決定された定位位置に音像を定位させるための音声を生成する（ステップＳ３１７）。また、画像生成部１６２は、ステップＳ３０１において認識された発話内容に基づいてアバター画像（あるいは、エージェント画像）を生成し、提示制御部１６０が、生成された画像を表示部１１６に表示させる（ステップＳ３１９）。
【００９２】
図９は、処理その１が実行された一例について説明するための参考図である。例えば、図９（ａ）に示すように、後部座席ＳＴ４の太郎君が騒いでいたとする。そこで、図９（ｂ）に示すように、運転席ＳＴ１のお父さんが「太郎、静かにしてね。」と発話したとする。「太郎」がウェイクアップワードに設置されている場合、エージェント装置１００は、図９（ｃ）に示すように、車室内の天井の中央部付近に設置されるスピーカ１１８Ｆから「太郎、静かにしてね。」という生成された音声を出力させる。これにより、太郎君は、お父さんの発話が聞き取りにくい場合であっても、スピーカ１１８Ｆからの音声によりお父さんの発話内容を聞き取ることができる。そして、図９（ｄ）に示すように、太郎君は「はーい」と返事をすることができる。
【００９３】
このように、発話者がウェイクアップワードを発話に含めることにより、エージェント機能を起動させ、発話内容を発話相手に効果的に伝達することができる。
【００９４】
次に、処理その２について説明する。処理その２は、集音された発話内容や発話者の状態に基づいて伝達メッセージを生成し、発話者に伝達する方法である。なお、処理その１と同じ処理については、説明を省略する。以下、処理その１と異なる処理について主に説明する。
【００９５】
図１０は、コミュニケーション支援システム１による仲介処理（その２）の流れの一例を示すフローチャートである。ステップＳ３０３において、ウェイクアップワードが発話されたと判定された場合、乗員状態推定部１８４は、画像解析部１５６による解析結果や、音声解析部１５８による解析結果に基づいて、乗員の状態を推定する（ステップＳ３０４）。そして、メッセージ生成部１８９は、ステップＳ３０４において推定された乗員の状態や、サーバ装置２００から受信した情報などに基づいて、伝達メッセージを生成する（ステップＳ３０８）。制御部１８０は、ステップＳ３０８において生成された伝達メッセージに基づいて、音声を生成する（ステップＳ３１６）。画像生成部１６２は、ステップＳ３０８において生成された伝達メッセージに基づいてエージェント画像を生成し、提示制御部１６０が、生成された画像を表示部１１６に表示させる（ステップＳ３２０）。
【００９６】
図１１は、処理その２が実行された一例について説明するための参考図である。例えば、図１１（ａ）に示すように、後部座席ＳＴ４の太郎君が騒いでいたとする。そこで、図１１（ｂ）に示すように、運転席ＳＴ１のお父さんが怒って「太郎、静かにしなさい。」と発話したとする。「太郎」がウェイクアップワードに設置されている場合、エージェント装置１００は、図１１（ｃ）に示すように、車室内の後部座席ＳＴ４付近に設置されるスピーカ１１８Ｈから「太郎くん静かにしようね。お父さんが怒ってるよ。」という生成された音声を出力させる。これにより、太郎君は、お父さんの発話が聞き取りにくい場合であっても、スピーカ１１８Ｈからの音声によりお父さんの発話内容を聞き取ることができる。また、お父さんの表情が見えない位置関係であるが、お父さんが怒っているということを知ることができる。そして、図１１（ｄ）に示すように、太郎君は「はーい、ごめんなさい。」と返事をすることができる。
【００９７】
このように、発話者の状況を発話相手に伝達することにより、発話内容を効果的に伝達することができる。
【００９８】
なお、判定部１８８は、所定のタイミング（例えば、ステップＳ３１１において出力方向を決定する処理よりも前）において、第２〜４条件を満たすか否かを判定してもよい。第２〜４を満たす場合、ステップＳ３１１移行の処理が実行されてよい。
【００９９】
以上説明した実施形態によれば、車室内に設置されたマイクと、前記車室内に設置された音声出力部と、前記マイクにより集音された音声データに含まれる発話内容を認識する認識部と、前記認識部による認識結果に基づいて、前記集音された音声を発した乗員から他の乗員に伝達する伝達メッセージを生成し、前記生成された伝達メッセージに基づく音声を生成し、生成した音声を前記他の乗員に向けて前記音声出力部に出力させる制御部と、を備えることにより、車室内のコミュニケーションを効果的に支援することができる。
【０１００】
例えば、エージェント機能により、生成した音声やエージェント画像（あるいはアバター画像）を用いて発話内容を発話相手に伝えることにより、発話相手の注意を引き、効果的に伝達することができる。よって、運転席の乗員が大きな声で後部座席に話しかけることなしに、コミュニケーションを図ることが可能となる。また、運転席の乗員が何度も後部座席に話しかけることもなくなり、運転に集中することが可能となる。
【０１０１】
また、ウェイクアップワードが含まれている場合にエージェント機能を起動することにより、伝達内容を制限することができる。よって、運転席の乗員と助手席の乗員との会話を、後部座席に伝達しないようにすることができる。
【０１０２】
また、発話相手が発話内容に応答した場合や、発話相手が寝ている場合には、発話内容を伝達しないようにすることにより、車室内の環境を快適に保ちつつ、必要な時だけエージェント機能により発話内容を伝達することが可能となる。
【０１０３】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０１０４】
例えば、第１条件を満たす場合に、伝達メッセージを伝達すると説明したがこれに限られない。例えば、ウェイクアップワードが含まれない場合であっても、第２条件を満たす場合に、発話相手に向けて伝達メッセージを伝達するようにしてもよい。こうすることにより、運転席の乗員と助手席の乗員との会話は後部座席には伝達されないが、運転席あるいは助手席の乗員の発話は、後部座席に伝達することができる。
【符号の説明】
【０１０５】
１…コミュニケーション支援システム、
１００…エージェント装置
２００…サーバ装置
１１０…通信装置
１１２…車室内カメラ
１１４…マイク
１１６…表示部
１１８…スピーカ
１２０…操作部
１５０…エージェント制御装置
１５２…音声入力部
１５６…画像解析部
１５８…音声解析部
１６０…提示制御部
１６２…画像生成部
１６４…音声生成部
１７０…記憶部
１８０…制御部
１８１…登録部
１８２…乗員特定部
１８３…設定部
１８４…乗員状態推定部
１８５…発話者特定部
１８６…発話相手特定部
１８７…着座位置特定部
１８８…判定部
１８９…メッセージ生成部
【図１】
2020060696.tif 000003
【図２】
2020060696.tif 000004
【図３】
2020060696.tif 000005
【図４】
2020060696.tif 000006
【図５】
2020060696.tif 000007
【図６】
2020060696.tif 000008
【図７】
2020060696.tif 000009
【図８】
2020060696.tif 000010
【図９】
2020060696.tif 000011
【図１０】
2020060696.tif 000012
【図１１】
2020060696.tif 000013