(57)【要約】【課題】通常の同乗者が存在する感覚で車室内を快適に過ごすことが可能な車内システムの提供を目的とする。【解決手段】乗員と対話するためのバーチャル同乗者を車室内に立体表示する３Ｄ立体表示装置２６と、乗員の音声を検出するマイク２２と、音声を認識し、乗員と対話するための対話情報を生成する音声認識センタ１４と、対話情報に基づく音声を発生するスピーカ２４と、音声認識結果に基づいて、バーチャル同乗者が乗員の指示に従って車載デバイス３２を操作する様子を表示して対話情報に基づく音声を発生するように、３Ｄ立体表示装置２６及びスピーカ２４を制御し、かつ指示に応じて車載デバイス３２を制御する制御ＥＣＵ３０と、を備える。【選択図】図２
2019086805.tif 000002
【特許請求の範囲】
【請求項１】
乗員と対話するためのバーチャル同乗者を車室内に立体表示する表示部と、
乗員の音声を検出する音声検出部と、
前記音声検出部によって検出された音声を認識し、乗員と対話するための対話情報を生成する音声認識部と、
前記対話情報に基づく音声を発生する音声発生部と、
前記音声認識部の認識結果に基づいて、前記バーチャル同乗者が乗員の指示に従って車載デバイスを操作する様子を表示して前記対話情報に基づく音声を発生するように、前記表示部及び音声発生部を制御し、かつ前記指示に応じて前記車載デバイスを制御する制御部と、
を備えた車内システム。
【請求項２】
乗員と対話するためのバーチャル同乗者を車室内に立体表示する表示部と、
乗員の音声を検出する音声検出部と、
前記音声検出部によって検出された音声を認識し、乗員と対話するための対話情報を生成する音声認識部と、
前記対話情報に基づく音声を発生する音声発生部と、
乗員の嗜好に関する嗜好情報を蓄積する蓄積部と
前記蓄積部に蓄積された前記嗜好情報に基づいて乗員の嗜好解析を行う嗜好解析部と、
前記嗜好解析部の解析結果に基づく提案を前記バーチャル同乗者が行う様子を表示して該解析結果に対応する前記対話情報に基づく音声を発生するように、前記表示部及び前記音声発生部を制御する制御部と、
を備えた車内システム。
【請求項３】
運転者の運転負荷を検出する負荷検出部を更に備え、
前記負荷検出部によって前記運転負荷がないことが検出された場合に、前記制御部は、前記バーチャル同乗者を表示し、前記負荷検出部によって前記運転負荷があることが検出された場合に、前記バーチャル同乗者を表示しないように、前記表示部を制御する請求項１又は請求項２に記載の車内システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された各種車載デバイスを制御可能な車内システムに関する。
【背景技術】
【０００２】
特許文献１には、表示器上に、操作部における操作スイッチの配置位置及び操作スイッチの機能を表す操作メニュー画像と、手の立体視画像とを合成して表示する操作装置が提案されている。このように、操作メニュー画像と、手の立体視画像とが合成して表示されるので、操作性を向上することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１０３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術には運転者の操作に関する技術が提案されているが、車室内でより快適な時間を過ごすためには、更なる改善の余地がある。
【０００５】
本発明は、上記事実を考慮して成されたもので、通常の同乗者が存在する感覚で車室内を快適に過ごすことが可能な車内システムの提供を目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために請求項１に記載の発明は、乗員と対話するためのバーチャル同乗者を車室内に立体表示する表示部と、乗員の音声を検出する音声検出部と、前記音声検出部によって検出された音声を認識し、乗員と対話するための対話情報を生成する音声認識部と、前記対話情報に基づく音声を発生する音声発生部と、前記音声認識部の認識結果に基づいて、前記バーチャル同乗者が乗員の指示に従って車載デバイスを操作する様子を表示して前記対話情報に基づく音声を発生するように、前記表示部及び音声発生部を制御し、かつ前記指示に応じて前記車載デバイスを制御する制御部と、を備える。
【０００７】
請求項１に記載の発明によれば、表示部では、乗員と対話するためのバーチャル同乗者が車室内に立体表示される。すなわち、バーチャル同乗者が立体表示されることにより、通常の同乗者が存在する感覚を乗員に与えることができる。
【０００８】
また、音声検出部では、乗員の音声が検出され、音声認識部では、検出された音声が認識されて、乗員と対話するための対話情報が生成される。そして、音声発生部では、生成された対話情報に基づく音声が発生される。これにより、バーチャル同乗者と会話することができる。
【０００９】
そして、制御部では、音声認識部の認識結果に基づいて、バーチャル同乗者が乗員の指示に従って車載デバイスを操作する様子を表示して対話情報に基づく音声を発生するように、表示部及び音声発生部が制御され、かつ指示に応じて車載デバイスが制御される。これにより、立体表示されたバーチャル同乗者との対話や、バーチャル同乗者による車載デバイスの操作により、通常の同乗者が存在する感覚で車室内を快適に過ごすことが可能となる。
【００１０】
また、請求項２に記載の発明は、乗員と対話するためのバーチャル同乗者を車室内に立体表示する表示部と、乗員の音声を検出する音声検出部と、前記音声検出部によって検出された音声を認識し、乗員と対話するための対話情報を生成する音声認識部と、前記対話情報に基づく音声を発生する音声発生部と、乗員の嗜好に関する嗜好情報を蓄積する蓄積部と前記蓄積部に蓄積された前記嗜好情報に基づいて乗員の嗜好解析を行う嗜好解析部と、前記嗜好解析部の解析結果に基づく提案を前記バーチャル同乗者が行う様子を表示して該解析結果に対応する前記対話情報に基づく音声を発生するように、前記表示部及び前記音声発生部を制御する制御部と、を備える。
【００１１】
請求項２に記載の発明によれば、表示部では、乗員と対話するためのバーチャル同乗者が車室内に立体表示される。すなわち、バーチャル同乗者が立体表示されることにより、通常の同乗者が存在する感覚を乗員に与えることができる。
【００１２】
また、音声検出部では、乗員の音声が検出され、音声認識部では、検出された音声が認識されて、乗員と対話するための対話情報が生成される。そして、音声発生部では、生成された対話情報に基づく音声が発生される。これにより、バーチャル同乗者と会話することができる。
【００１３】
また、蓄積部では、乗員の嗜好に関する嗜好情報が蓄積され、嗜好解析部では、蓄積部に蓄積された嗜好情報に基づいて乗員の嗜好解析が行われる。例えば、近くの立ち寄った店や、車室内温度、音楽の選曲、音量などの乗員の好みを過去の車載デバイスの操作履歴や、車両及び乗員の状態などの情報を嗜好情報とし、該嗜好情報をニューラルネットワーク等の人工知能による学習の教示情報として学習し、乗員の好みの状態を解析する。
【００１４】
そして、制御部では、嗜好解析部の解析結果に基づく提案をバーチャル同乗者が行う様子を表示して該解析結果に対応する対話情報に基づく音声を発生するように、表示部及び音声発生部が制御される。これにより、立体表示されたバーチャル同乗者との対話や、バーチャル同乗者からの嗜好解析の結果に基づく提案により、通常の同乗者が存在する感覚で車室内を快適に過ごすことが可能となる。
【００１５】
なお、請求項３に記載の発明のように、運転者の運転負荷を検出する負荷検出部を更に備え、負荷検出部によって運転負荷がないことが検出された場合に、制御部は、バーチャル同乗者を表示し、負荷検出部によって運転負荷があることが検出された場合に、バーチャル同乗者を表示しないように、表示部を制御してもよい。これにより、運転者の安全性を確保してバーチャル同乗者とのコミュニケーションを図ることが可能となる。
【発明の効果】
【００１６】
以上説明したように本発明によれば、通常の同乗者が存在する感覚で車室内を快適に過ごすことが可能な車内システムを提供できる、という効果がある。
【図面の簡単な説明】
【００１７】
【図１】本実施形態に係る車内システムの概略を示す図である。
【図２】本実施形態に係る車内システムの構成を示すブロック図である。
【図３】３Ｄ立体表示装置の一例の構成を示す概略図である。
【図４】本実施形態に係る車内システムの車載器で行われる処理の流れの一例を示すフローチャートである。
【図５】本実施形態に係る車内システムの音声認識センタで行われる処理の流れの一例を示すフローチャートである。
【図６】本実施形態に係る車内システムの情報ＤＢセンタで行われる処理の流れの一例を示すフローチャートである。
【図７】本実施形態に係る車内システムにおいてバーチャル同乗者から会話を開始する場合の情報ＤＢセンタの嗜好解析制御部で行われる処理の一例を示すフローチャートである。
【図８】本実施形態に係る車内システムにおいてバーチャル同乗者から会話を開始する場合の音声認識センタの対話制御部で行われる処理の一例を示すフローチャートである。
【図９】本実施形態に係る車内システムにおいてバーチャル同乗者から会話を開始する場合の車載器の制御ＥＣＵで行われる処理の一例を示すフローチャートである。
【図１０】情報ＤＢセンタの構成を車載器に搭載した形態の車内システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本実施形態に係る車内システムの概略を示す図である。また、図２は、本実施形態に係る車内システムの構成を示すブロック図である。
【００１９】
本実施形態に係る車内システム１０は、車両１に搭載された車載器１２、ネットワーク１６、音声認識部としての音声認識センタ１４、及び嗜好解析部としての情報ＤＢ（データベース）センタ１５を有する。車内システム１０では、車載器１２が、バーチャル同乗者５０を表示し、乗員とバーチャル同乗者５０との間の会話を音声認識センタ１４が認識すると共に、情報ＤＢセンタ１５が嗜好解析を行う。そして、音声認識結果及び嗜好解析結果の各々に基づいて車載器１２がバーチャル同乗者５０の表示を制御し、乗員の嗜好に合わせた情報の提示や、乗員の指示による車載デバイスの操作等を行う。
【００２０】
具体的には、本実施形態に係る車内システム１０は、車載器１２、音声認識センタ１４、及び情報ＤＢセンタ１５の各々が、携帯電話回線等を含むネットワーク１６を介して接続されている。
【００２１】
車載器１２は、車両１に搭載されてネットワーク１６に接続された音声認識センタ１４、及び情報ＤＢセンタ１５と通信が可能とされている。
【００２２】
車載器１２は、車両周辺監視部１８、モニターカメラ２０、音声検出部としてのマイク２２、音声発生部としてのスピーカ２４、生体センサ２５、表示部としての３Ｄ（three-dimensional）立体表示装置２６、高速移動体通信デバイス２８、及び車載デバイス３２を備え、制御部及び負荷検出部としての制御ＥＣＵ（Electronic Control Unit）３０に各々接続されている。
【００２３】
車両周辺監視部１８は、安全に車内システム１０を使える状態にあるかを検出するために車両周辺の状況を監視する。具体的には、車両周辺監視部１８は、カメラ、レーダー（Radar）、及びライダー（LIDER：Laser Imaging Detection and Ranging）のうち少なくとも一つを含む。カメラは、例えば、車両１のフロントガラス上部の室内側に設けられ、車両１の外部状況を撮影することにより撮像情報を取得する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラの場合、両眼視差を再現するように配置された二つの撮像部を有する。ステレオカメラの撮像情報には、奥行き方向の情報も含まる。レーダーは、電波（例えばミリ波）を車両１の周囲に送信し、障害物で反射された電波を受信することで障害物を検出する。ライダーは、光を車両１の周囲に送信し、障害物で反射された光を受信することで反射点までの距離を計測し、障害物を検出する。なお、カメラ、ライダー及びレーダーは、必ずしも重複して備える必要はない。
【００２４】
モニターカメラ２０は、車室内に設けられ、車室内の運転者や乗員を撮影し、撮影画像を映像情報として制御ＥＣＵ３０に出力する。
【００２５】
マイク２２は、車室内に設けられ、乗員の音声などの車室内の音声を電気信号に変換して音声情報として制御ＥＣＵ３０に出力する。
【００２６】
スピーカ２４は、車室内に設けられ、制御ＥＣＵ３０から送信される音声情報等を物理的な振動に変えて音声などの音を発生する。
【００２７】
生体センサ２５は、乗員の状態を検出するために、例えば、脈拍や、血圧、心拍数等の生体情報を検出する。
【００２８】
３Ｄ立体表示装置２６は、乗員と対話するためのバーチャル同乗者５０を３次元の立体映像として車室内に表示する。具体的には、特許第５６４６１１０号公報に記載の技術や、株式会社アスカネット社製のＡＩ (エアリアルイメージング)プレート（http://aerialimaging.tv/）を用いて立体映像を表示してもよい。この場合、図３に示すように、ＡＩプレート２６Ｂと、電子データに基づいて静的状態又は動的状態で発光する立体像５２を表示する立体像再生装置２６Ａとを備えて、立体像５２を、ＡＩプレート２６Ｂの前面側の自由空間内に立体のバーチャル同乗者５０として結像させる。このような装置を車両用シートのシートクッションの下等に設け、シートクッションを移動して、バーチャル同乗者を車両用シート上に表示してもよい。或いは、２つのプロジェクタとスクリーンを車室内に設けて、バーチャル同乗者５０の映像を表示してもよい。なお、バーチャル同乗者５０のキャラクタは、乗員の好みに応じてキャラクタを変更可能としてよい。
【００２９】
高速移動体通信デバイス２８は、携帯電話回線網や公衆回線網のネットワーク１６に接続し、ネットワーク１６に接続された音声認識センタ１４や情報ＤＢセンタ１５と情報の授受を行う。高速移動体通信デバイス２８は、例えば、モニターカメラ２０によって撮影された撮影画像情報及びマイク２２によって取得された音声情報をネットワーク１６経由で音声認識センタ１４や情報ＤＢセンタ１５に送信する。また、音声認識センタ１４や情報ＤＢセンタ１５からの情報をネットワーク１６経由で受信する。
【００３０】
車載デバイス３２は、車両１に搭載された機器であり、例えば、空調装置や、オーディオ装置等の各種車載デバイスを適用できる。
【００３１】
また、制御ＥＣＵ３０は、ネットワーク１６に接続された音声認識センタ１４や情報ＤＢセンタ１５との通信に基づいて、コミュニケーションを図るための各種制御を行うと共に、乗員の嗜好に応じた情報提示や車載デバイス３２の制御を行う。制御ＥＣＵ３０は、情報の提示や車載デバイス３２の制御を行う際に、バーチャル同乗者５０が乗員に対して情報の提示や車載デバイス３２の操作等を行っているような立体映像の表示や音声の発生を制御する。
【００３２】
一方、音声認識センタ１４は、音声認識システム３４、対話制御部３６、及び通信デバイス３８を備えている。なお、音声認識センタ１４は、例えば、ＣＰＵ、ＲＯＭ、及びＲＡＭ等を備えたコンピュータにより実現される。
【００３３】
音声認識システム３４は、周知の音声認識技術により、車載器１２から受信した音声情報を解析して、乗員の音声認識を行う。
【００３４】
また、対話制御部３６は、音声認識システム３４の音声認識結果に基づく対話情報を生成して車載器１２に返信することにより、乗員とバーチャル同乗者５０とのコミュニケーションを図る。なお、音声認識結果に基づく対話情報を生成する際には、例えば、情報ＤＢセンタ１５から得られる嗜好解析の結果を用いて対話情報を生成する。
【００３５】
音声認識や対話制御部３６による対話情報の生成は周知の種々の技術を適用可能であるため、詳細な説明は省略する。
【００３６】
通信デバイス３８は、携帯電話回線網や公衆回線網のネットワーク１６に接続し、ネットワーク１６に接続された車載器１２や情報ＤＢセンタ１５と通信が可能とされている。
【００３７】
また、情報ＤＢセンタ１５は、蓄積部としての個人情報ＤＢ４０、嗜好解析制御部４２、及び通信デバイス４４を備えている。情報ＤＢセンタ１５も音声認識センタ１４と同様に、例えば、ＣＰＵ、ＲＯＭ、及びＲＡＭ等を備えたコンピュータにより実現される。
【００３８】
個人情報ＤＢ４０は、乗員に関する各種情報が個人情報として記憶されている。例えば、ネット決済の履歴や、クレジットカードの利用情報、乗員が携帯するスマートホンと連携した位置情報、インターネット等のネットワークから収集した話題の情報等が記憶される。より具体的には、嗜好解析制御部４２が、乗員が車でレストランへ行った際のレストランのカテゴリや、位置などの情報を車載器１２や乗員の携帯電話等から収集して個人情報ＤＢ４０に記憶する。
【００３９】
嗜好解析制御部４２は、車載器１２からの撮影画像情報や乗員の状態（生体センサ２５の検出結果等）、並びに音声認識センタ１４の音声認識結果及び対話情報に基づいて、乗員の嗜好解析を行って、乗員の嗜好に合わせた情報を選択して音声認識センタ１４に返信する。また、嗜好解析制御部４２は、例えば、空調の温度設定や、オーディオの音量設定等の各種情報を、該情報の提案タイミングを含めてニューラルネットワークなどを用いた人工知能等によって学習した上で、各種情報を提示する。なお、嗜好解析制御部４２４２による嗜好解析は、ＡＩ（Artificial Intelligence）等の人工知能の技術を用いて行うことが可能である。
【００４０】
通信デバイス４４は、携帯電話回線網や公衆回線網のネットワーク１６に接続し、ネットワーク１６に接続された車載器１２や音声認識センタ１４と通信が可能とされている。
【００４１】
このように構成された本実施形態に係る車内システム１０におけるバーチャル同乗者５０とのコミュニケーション例について説明する。
【００４２】
例えば、乗員が「お昼何食べよう？」等のように、バーチャル同乗者５０に話しかけた場合に、音声認識センタ１４が乗員の音声を認識し、情報ＤＢセンタ１５が認識結果に対応する店の情報を嗜好解析によって検索する。嗜好解析方法としては種々の周知技術を適用して解析を行う。例えば、現在地情報を車載デバイス３２のナビゲーション装置や乗員の携帯電話等から取得して現在地周辺の店を検索し、過去に寄った店のカテゴリ別の回数等から嗜好解析を行い、推薦する店を検索する。そして、情報ＤＢセンタ１５が検索結果を音声認識センタ１４へ返信することにより、音声認識センタ１４が、推薦する店を提案するための対話情報を生成して車載器１２に返信し、バーチャル同乗者５０が対話情報に基づいて乗員に店を提案する。例えば、車載器１２が、スピーカ２４を制御して、「○○のお店人気みたいだよ。」等のメッセージを発音する。これに対して、乗員が「行ってみよう。」と発音した場合には、車載器１２が音声認識センタ１４に音声情報を送信して、音声解析を行い、返信情報を生成する。この時の返信情報としては、例えば、立ち寄り先の店の位置情報等を返信する。これにより、車載器１２に対話情報が返信された場合には、車載器１２の制御ＥＣＵ３０が、車載デバイス３２としてナビゲーション装置を制御して、目的地を設定する。このとき、バーチャル同乗者５０がナビゲーション装置の目的地の設定を行っているような映像を表示する。
【００４３】
また、本実施形態に係る車内システム１０では、運転者の運転負荷を検出して、自動運転中などの運転負荷がない場合にバーチャル同乗者５０を表示する。具体的には、制御ＥＣＵ３０が、車両周辺監視部１８による車両周辺の監視結果に基づいて、車内システム１０を安全に使用できる状態であるかを運転負荷として検出する。例えば、制御ＥＣＵ３０は、車両周辺監視部１８の監視結果に基づいて自動運転モードへ移行する制御を行い、車両１が自動運転モードに入るなど、運転者に運転負荷がない場合に、安全に使用できる状態と判定する。そして、車載器１２が、バーチャル同乗者５０を表示する。なお、自動運転モードへの移行の判定は、車両周辺監視部１８の監視結果に基づいて周知の自動運転技術を用いて判定することができる。
【００４４】
また、コミュニケーションの途中であっても、車両周辺監視部１８の監視結果から車内システム１０を安全に使用できない状態が検出された場合には、制御ＥＣＵ３０が、バーチャル同乗者５０の表示を中断する。これにより、安全を確実に確保した状態で、運転者がバーチャル同乗者５０とコミュニケーションを図ることが可能となる。
【００４５】
続いて、本実施形態に係る車内システム１０の各部で行われる具体的な処理内容について説明する。
【００４６】
まず、車載器１２で行われる具体的な処理について説明する。図４は、本実施形態に係る車内システム１０の車載器１２で行われる処理の流れの一例を示すフローチャートである。なお、図４の処理は、例えば、バーチャル同乗者５０の表示が予め設定された状態でイグニッションスイッチ等の車両１の始動指示が行われた場合に開始する。
【００４７】
ステップ１００では、制御ＥＣＵ３０が、車両周辺監視部１８の車両周辺監視結果を取得してステップ１０２へ移行する。
【００４８】
ステップ１０２では、制御ＥＣＵ３０が、運転負荷なしであるか否かを判定する。該判定は、例えば、車両１が自動運転モードであるか否かなどを判定し、運転者に運転負荷がない場合に、安全に使用できる状態と判定する。自動運転モードであるか否かの判定は、例えば、車両周辺監視結果から判定する。該判定が否定された場合にはステップ１０４へ移行し、肯定された場合にはステップ１０８へ移行する。
【００４９】
ステップ１０４では、制御ＥＣＵ３０が、既に後述のステップ１１４が行われてバーチャル同乗者５０を表示しているか否かを判定する。該判定が肯定された場合にはステップ１０６へ移行し、否定された場合にはステップ１００に戻って上述の処理を繰り返す。
【００５０】
ステップ１０６では、制御ＥＣＵ３０が、バーチャル同乗者５０を表示停止してステップ１１６へ移行する。すなわち、本実施形態では、運転負荷がない場合にバーチャル同乗者５０を表示し、運転負荷がある場合はバーチャル同乗者５０を表示しないようになっている。これにより、安全性を確保した状態でバーチャル同乗者５０とのコミュニケーションを図ることが可能となる。
【００５１】
一方、ステップ１０８では、制御ＥＣＵ３０が、３Ｄ立体表示装置２６を制御することにより、バーチャル同乗者５０を表示してステップ１１０へ移行する。
【００５２】
ステップ１１０では、制御ＥＣＵ３０が、モニターカメラ２０によって撮影された撮影画像及びマイク２２によって収集された音声情報を音声認識センタ１４へ送信してステップ１１２へ移行する。
【００５３】
ステップ１１２では、制御ＥＣＵ３０が、バーチャル同乗者５０を制御する制御信号を音声認識センタ１４から受信したか否か判定する。該判定が否定された場合にはステップ１１０に戻って上述の処理を繰り返し、判定が肯定された場合はステップ１１４へ移行する。
【００５４】
ステップ１１４では、制御ＥＣＵ３０が、バーチャル同乗者５０の振る舞い制御を行ってステップ１１６へ移行する。バーチャル同乗者５０の振る舞い制御は、例えば、乗員との会話によって空調装置やオーディオ装置の操作が指示された場合には、制御ＥＣＵ３０が、乗員の指示に応じた車載デバイス３２をバーチャル同乗者５０が操作する様子を表示して対話情報に基づく音声を発生するように３Ｄ立体表示装置２６及びスピーカ２４を制御する。なお、対話情報は、後述するように、情報ＤＢセンタ１５の嗜好解析結果に応じて音声認識センタ１４によって生成される。
【００５５】
ステップ１１６では、制御ＥＣＵ３０が、バーチャル同乗者５０の表示終了か否かを判定する。該判定は、例えば、音声によってバーチャル同乗者５０の表示終了が指示されたか否かを判定してもよいし、バーチャル同乗者５０の表示終了を指示するスイッチ等が操作されたか否か等を判定してもよい。該判定が否定された場合にはステップ１００に戻って上述の処理を繰り返し、判定が肯定された場合には一連の処理を終了する。
【００５６】
次に、音声認識センタ１４で行われる具体的な処理内容について説明する。図５は、本実施形態に係る車内システム１０の音声認識センタ１４で行われる処理の流れの一例を示すフローチャートである。なお、図５の処理は、本実施形態では、例えば、ステップ１１０において、乗員の撮影画像情報及び音声情報の送信が車載器１２から行われた場合に開始する。
【００５７】
ステップ２００では、対話制御部３６が、車載器１２から送信された撮影画像及び音声情報を受信したか否かを判定する。該判定が肯定されるまで待機してステップ２０２へ移行する。
【００５８】
ステップ２０２では、音声認識システム３４が、車載器１２から受信した音声情報に基づいて音声認識を行ってステップ２０４へ移行する。
【００５９】
ステップ２０４では、対話制御部３６が、車載器１２から受信した撮影画像及び音声認識システム３４による音声認識結果に基づく嗜好解析を情報ＤＢセンタ１５に指示してステップ２０６へ移行する。
【００６０】
ステップ２０６では、対話制御部３６が、情報ＤＢセンタ１５から嗜好解析結果を受信したが否かを判定する。該判定が肯定されるまで待機してステップ２０８へ移行する。
【００６１】
ステップ２０８では、対話制御部３６が、嗜好解析結果に基づくバーチャル同乗者５０の制御信号を生成してステップ２１０へ移行する。具体的には、嗜好解析結果に応じて、「○○のお店人気みたいだよ。」等のメッセージを表す対話情報を含む制御信号を生成する。
【００６２】
ステップ２１０では、対話制御部３６が、生成したバーチャル同乗者５０の制御信号を車載器１２に返信して一連の処理を終了する。
【００６３】
次に、情報ＤＢセンタ１５で行われる具体的な処理について説明する。図６は、本実施形態に係る車内システム１０の情報ＤＢセンタ１５の嗜好解析制御部４２で行われる処理の流れの一例を示すフローチャートである。
【００６４】
ステップ３００では、嗜好解析制御部４２が、画像情報及び音声認識結果を音声認識センタ１４から受信したか否か判定する。該判定が肯定されるまで待機してステップ３０２へ移行する。
【００６５】
ステップ３０２では、嗜好解析制御部４２が、撮影画像及び音声認識結果に基づく嗜好解析を行ってステップ３０４に移行する。すなわち、情報ＤＢセンタ１５の個人情報ＤＢ４０に蓄積された乗員の個人情報を用いて嗜好解析を行う。例えば、乗員の表情や会話と、個人情報ＤＢ４０に記憶された情報に基づいて、嗜好解析を行うことにより、乗員の好みの店などの提案する情報を検索する。なお、乗員の表情などの乗員の状態は、撮影画像に基づく画像処理を車載器１２側の制御ＥＣＵ３０で行い、状態ＩＤだけを情報ＤＢセンタ１５に送信してもよい。
【００６６】
ステップ３０４では、嗜好解析制御部４２が、嗜好解析結果を音声認識センタ１４に返信して一連の処理を終了する。
【００６７】
このように各部で処理を行うことにより、本実施形態に係る車内システム１０では、バーチャル同乗者５０を表示することによって、対話する相手が明確になり、違和感なく、コミュニケーションを図ることが可能となる。また、バーチャル同乗者５０に車載デバイス３２の操作を指示してバーチャル同乗者５０に車載デバイス３２を操作させることができ、通常の同乗者が存在する感覚で運転を楽しむことができる。
【００６８】
ところで、上記の実施形態では、乗員からバーチャル同乗者５０に対して会話を開始する場合の処理を説明したが、会話の開始は、乗員からに限るものではなく、バーチャル同乗者５０から会話を開始してもよい。以下では、バーチャル同乗者５０から会話を開始する場合の一例について説明する。
【００６９】
例えば、嗜好解析制御部４２が、車載器１２から車両及び乗員に関する情報を収集して、嗜好解析を行う。ここでの嗜好解析は、例えば、車室内温度や、音楽の選曲、音量などの乗員の好みを過去の車載デバイス３２の操作履歴や、車両及び乗員の状態などをニューラルネットワーク等の人工知能による学習の教示情報として学習し、乗員の好みの状態を解析する。そして、嗜好解析制御部４２は、車載器１２から収集した情報を元に、乗員の好みの状態から外れている場合に、好みの状態を提示情報として、音声認識センタ１４から車載器１２に送信する。これにより、車載器１２が、バーチャル同乗者５０の振る舞いを制御して、対応する車載デバイス３２の操作等を行う。
【００７０】
他の例としては、嗜好解析制御部４２が、ナビゲーション装置の情報を取得し、渋滞が発生している場合に、到着時間を予測して、近くの店に寄った方がよいかを判断する。そして、近くの店に寄った方がよい場合には、近くの店の情報と、個人情報ＤＢ４０に記憶された情報とから乗員の嗜好解析を行って、乗員の嗜好に合う店を提案する提示情報を生成して、音声認識センタ１４を介して車載器１２に送信することにより、乗員に渋滞回避の提案を行ってもよい。
【００７１】
ここで、バーチャル同乗者５０から会話を開始する場合の車内システム１０で行われる具体的に処理例を説明する。
【００７２】
図７は、本実施形態に係る車内システム１０においてバーチャル同乗者から会話を開始する場合の情報ＤＢセンタ１５の嗜好解析制御部４２で行われる処理の一例を示すフローチャートである。なお、図７の処理は、例えば、予め定めた時間毎、或いは、車両１が始動状態となり、通信可能な状態になった場合に開始され、図７の処理終了後に始めから再開してもよい。
【００７３】
ステップ４００では、嗜好解析制御部４２が、車両及び乗員に関する情報の収集要求を車載器１２に対して行ってステップ４０２へ移行する。例えば、車載デバイス３２としてのナビゲーション装置から得られる位置情報、車速、空調温度、音楽の音量等を車両１の情報として収集し、生体センサ２５の検出結果や、モニターカメラ２０による乗員の撮影画像情報を乗員の情報として収集する要求を車載器１２に行う。
【００７４】
ステップ４０２では、嗜好解析制御部４２が、要求した情報を受信したか否かを判定し、該判定が肯定されるまで待機してステップ４０４へ移行する。
【００７５】
ステップ４０４では、嗜好解析制御部４２が、収集した情報に基づく嗜好解析を行ってステップ４０６へ移行する。例えば、現在地の近くの店や、車室内温度、音量等の乗員の嗜好を解析する。
【００７６】
ステップ４０６では、嗜好解析制御部４２が、情報提示タイミングであるか否かを判定する。該判定は、例えば、車両及び乗員の情報から人工知能等によって学習した情報提示タイミングであるか等を判定する。該判定が否定された場合にはステップ４００に戻って上述の処理を繰り返し、判定が肯定された場合にはステップ４０８へ移行する。
【００７７】
ステップ４０８では、嗜好解析制御部４２が、嗜好解析によって得られた提案する情報を提示情報として音声認識センタ１４に出力して一連の処理を終了する。
【００７８】
図８は、本実施形態に係る車内システム１０においてバーチャル同乗者から会話を開始する場合の音声認識センタ１４の対話制御部３６で行われる処理の一例を示すフローチャートである。なお、図８の処理は、例えば、情報ＤＢセンタ１５から提示情報の送信が行われた場合に開始する。
【００７９】
ステップ５００では、対話制御部３６が、提示情報を情報ＤＢセンタ１５から受信したか否かを判定し、該判定が肯定されるまで待機してステップ５０２へ移行する。
【００８０】
ステップ５０２では、対話制御部３６が、提示情報に基づくバーチャル同乗者５０の制御信号を生成してステップ５０４へ移行する。具体的には、提示情報に応じた対話情報を含む制御信号を生成する。例えば、対話制御部３６は、近くの乗員の好みに合う店を提案するための対話情報や、車室内温度の変更を提案するため対話情報、音量の変更を提案するための対話情報、渋滞回避を提案するための対話情報等をバーチャル同乗者５０の制御信号として生成する。
【００８１】
ステップ５０４では、対話制御部３６が、バーチャル同乗者５０の制御信号を車載器１２に送信して一連の処理を終了する。
【００８２】
図９は、本実施形態に係る車内システム１０においてバーチャル同乗者から会話を開始する場合の車載器１２の制御ＥＣＵ３０で行われる処理の一例を示すフローチャートである。なお、図９の処理は、例えば、情報ＤＢセンタ１５から情報収集要求が行われた場合、または音声認識センタ１４からバーチャル同乗者５０の制御信号の送信が行われた場合に開始する。
【００８３】
ステップ６００では、制御ＥＣＵ３０が、情報ＤＢセンタ１５から情報収集要求が行われたか否かを判定する。該判定は、上述のステップ４００によって情報収集要求が行われたか否かを判定する。該判定が肯定された場合にはステップ６０２へ移行し、否定された場合にはステップ６０４へ移行する。
【００８４】
ステップ６０２では、制御ＥＣＵ３０が、情報を収集し、収集した情報を情報ＤＢセンタ１５に送信してステップ６０４へ移行する。例えば、制御ＥＣＵ３０は、モニターカメラ２０によって撮影された乗員の撮影画像や、マイク２２によって収集された乗員の音声、生体センサ２５の検出結果、車載デバイス３２から得られる情報（例えば、位置情報、車内温度、音量等）などの各種情報を収集して情報ＤＢセンタ１５へ送信する。
【００８５】
ステップ６０４では、制御ＥＣＵ３０が、バーチャル同乗者５０の制御信号を受信したか否かを判定する。該判定は、上述のステップ５０４によって音声認識センタ１４から送信された制御信号を受信したか否かを判定する。該判定が肯定された場合にはステップ６０６へ移行し、否定された場合には一連の処理を終了して他の処理を行う。
【００８６】
ステップ６０６では、制御ＥＣＵ３０が、  バーチャル同乗者５０を表示しているか否かを判定する。例えば、該判定は、上述のステップ１１４が既に実行されてバーチャル同乗者５０が表示された状態であるか否かを判定する。或いは、上述のステップ１０２と同様に、運転負荷なしであるか否かを判定する。該判定が肯定された場合にはステップ６０８へ移行し、否定された場合にはステップ６１０へ移行する。
【００８７】
ステップ６０８では、制御ＥＣＵ３０が、バーチャル同乗者５０の振る舞い制御を行って一連の処理を終了する。バーチャル同乗者５０の振る舞い制御は、例えば、制御ＥＣＵ３０が、嗜好解析結果に基づく提示情報が表す提案をバーチャル同乗者５０が行う様子を表示して対話情報に基づく音声を発生するように３Ｄ立体表示装置２６及びスピーカ２４を制御する。例えば、制御ＥＣＵ３０が、車載器１２から収集した情報を元に、乗員の好みの状態から外れている場合に、好みの状態をバーチャル同乗者５０が提案している様子を表示して、提案内容に対応する音声を発生するように制御する。
【００８８】
一方、ステップ６１０では、制御ＥＣＵ３０が、提示情報をスピーカ２４から音声出力することによって、バーチャル同乗者５０を表示せずに提示情報を乗員へ報知し、一連の処理を終了する。
【００８９】
このように車内システム１０の各部で処理を行うことにより、車両及び乗員の状態を理解した上で、バーチャル同乗者５０が乗員に対して様々な提案を行うことができる。
【００９０】
なお、上記の実施形態では、安全性を確保するために、運転負荷がある場合はバーチャル同乗者５０を表示しないようにしたが、これに限るものではない。例えば、自動運転の機能を搭載していない車両１において、通常の同乗者との会話のように、運転負荷に拘わらず、バーチャル同乗者５０を表示してコミュニケーション可能としてもよい。或いは、運転負荷がある場合は、バーチャル同乗者５０の表示のみを停止して、バーチャル同乗者５０との会話のみ可能な構成としてもよい。
【００９１】
また、上記の実施形態では、車載器１２、音声認識センタ１４、及び情報ＤＢセンタ１５の各部で処理を行う形態として説明したが、これに限るものではない。例えば、図１０に示すように、情報ＤＢセンタ１５の構成を車載器１２に搭載した形態の車内システム１１としてもよい。或いは、情報ＤＢセンタ１５だけでなく、音声認識センタ１４の構成も車載器１２に搭載して、車載器１２だけで処理可能な形態としてもよい。情報ＤＢセンタ１５の構成を車載器１２に搭載した場合には、ネットワーク１６を用いた通信頻度が上記の実施形態よりも低下し、通信コストが抑制されるものの、車載器１２に蓄積する情報量が多くなる。また、全てを車載器１２に搭載した場合には、通信する必要がなく、通信時間及び通信コストを抑制できるが、車載器１２に蓄積する情報量が更に多くなる。
【００９２】
また、本実施形態に係る車内システム１０は、車載器１２に超音波を発生する装置を更に設けて、人肌のぬくもりなどの触感も乗員に付与可能な構成としてもよい。
【００９３】
また、上記の実施形態では、３Ｄ立体表示装置２６によりバーチャル同乗者５０を表示する例を説明したが、これに限るものではない。例えば、ヘッドマウントディスプレイ（ＨＭＤ）やゴーグル型の表示装置を適用してもよい。この場合、ＶＲ（Virtual Reality：バーチャルリアリティ）や、ＡＲ（Augmented Reality：拡張現実）、ＭＲ（Mixed Reality：複合現実）等の各種の周知技術を用いて、バーチャル同乗者５０を表示することができる。
【００９４】
また、上記の実施形態における車内システム１０の各部で行われる処理は、プログラムを実行することにより行われるソフトウエア処理としてもよいし、ハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ソフトウエアの処理とした場合には、プログラムを各種記憶媒体に記憶して流通させるようにしてもよい。
【００９５】
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
【符号の説明】
【００９６】
１    車両
１０、１１    車内システム
１２    車載器
１４    音声認識センタ（音声認識部）
１５    情報ＤＢセンタ（嗜好解析部）
１６    ネットワーク
２２    マイク（音声検出部）
２４    スピーカ（音声発生部）
２６    ３Ｄ立体表示装置（表示部）
３０    制御ＥＣＵ（制御部及び負荷検出部）
３２    車載デバイス
３４    音声認識システム
３６    対話制御部
４０    個人情報ＤＢ（蓄積部）
４２    嗜好解析制御部
【図１】
2019086805.tif 000003
【図２】
2019086805.tif 000004
【図３】
2019086805.tif 000005
【図４】
2019086805.tif 000006
【図５】
2019086805.tif 000007
【図６】
2019086805.tif 000008
【図７】
2019086805.tif 000009
【図８】
2019086805.tif 000010
【図９】
2019086805.tif 000011
【図１０】
2019086805.tif 000012