(57)【要約】【課題】同乗者が存在していても映像や音声をプライベートに取得することが可能な車内システムを提供する。【解決手段】車内システム１０は、車室内における特定の乗員が発する身体情報を検出するモニターカメラ２０及び生体センサ２５と、スマートグラス２６と、特定の乗員向けの音声が出力されるスピーカ２４と、を備えている。車内システム１０においては、情報生成センタ１４が身体情報に基づいて特定の乗員に適した有用情報を生成する。そして、制御ＥＣＵ３０は、有用情報に係る音声がスピーカ２４から出力され、有用情報に係る表示が車室内外の風景に重畳してスマートグラス２６に表示されるように制御する。【選択図】図２
2020020987.tif 000002
【特許請求の範囲】
【請求項１】
車室内における特定の乗員が発する身体情報を検出する検出部と、
前記特定の乗員が装着するＡＲ表示器と、
前記特定の乗員向けの音声が出力されるスピーカと、
前記検出部によって検出された前記身体情報に基づいて、前記特定の乗員に適した有用情報を生成する生成部と、
前記有用情報に係る音声が前記スピーカから出力され、前記有用情報に係る表示が車室内外の風景に重畳してＡＲ表示器に表示されるように制御する制御部と、
を備えた車内システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、乗員に対して音声及び映像にて情報を提供可能な車内システムに関する。
【背景技術】
【０００２】
特許文献１には、操作スイッチが配置された操作部と、裸眼立体視可能な表示部と、操作部を操作するユーザの手を複数の方向から撮影する撮像手段と、撮像手段から得られる視差画像に基づいて、手の立体視画像を生成する立体視画像生成手段と、を備えた操作装置が開示されている。この操作装置は、表示部上に、操作部における操作スイッチの配置位置及び操作スイッチの機能を表す操作メニュー画像と、手の立体視画像とを合成して表示することを特徴としている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１０３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、特許文献１の立体視可能な表示部と、車室内に設けられた一般的なスピーカとを用いて、乗員に映像や音声を提供する場合、特定の乗員向けに提供するには、更なる改善の余地がある。
【０００５】
本発明は、上記事実を考慮して成されたもので、同乗者が存在していても映像や音声をプライベートに取得することが可能な車内システムの提供を目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の車内システムは、車室内における特定の乗員が発する身体情報を検出する検出部と、前記特定の乗員が装着するＡＲ表示器と、前記特定の乗員向けの音声が出力されるスピーカと、前記検出部によって検出された前記身体情報に基づいて、前記特定の乗員に適した有用情報を生成する生成部と、前記有用情報に係る音声が前記スピーカから出力され、前記有用情報に係る表示が車室内外の風景に重畳してＡＲ表示器に表示されるように制御する制御部と、を備えている。
【０００７】
ここで、「乗員が発する身体情報」とは、脈拍、脳波、血圧、心拍数等の生体情報、乗員の顔の表情等の乗員画像を含む。また、「乗員に適した有用情報」とは、車内を快適に過ごすための情報、車両を安全に走行させるための情報、車両の周辺の立ち寄り情報を含む。
【０００８】
請求項１に記載の発明において、特定の乗員は検出部により同乗者に悟られることなく、自身の感情や意思を生成部に対して伝達することができる。また、生成部では特定の乗員に適した有用情報が生成され、特定の乗員はＡＲ（Augmented Reality：拡張現実）表示器及びスピーカを通じて他の同乗者に悟られることなく当該有用情報を得ることができる。すなわち、請求項１に記載の発明によれば、同乗者が存在していても映像や音声をプライベートに取得することができる。
【発明の効果】
【０００９】
本発明によれば、同乗者が存在していても映像や音声をプライベートに取得することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る車内システムの概略を示す図である。
【図２】本実施形態に係る車内システムの構成を示すブロック図である。
【図３】本実施形態に係る車内システムのおける車室内のイメージ図である。
【図４】本実施形態に係る車内システムにおいて、スマートグラスに表示される画像の一例である。
【図５】本実施形態に係る車内システムにおいて、スマートグラスに表示される画像の一例である。
【図６】本実施形態に係る車内システムにおいて、スマートグラスに表示される画像の一例である。
【図７】本実施形態に係る車内システムの車載器で行われる処理の流れの一例を示すフローチャートである。
【図８】本実施形態に係る車内システムの情報生成センタで行われる処理の流れの一例を示すフローチャートである。
【図９】本実施形態に係る車内システムの情報ＤＢセンタで行われる処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本実施形態に係る車内システムの概略を示す図である。また、図２は、本実施形態に係る車内システムの構成を示すブロック図である。
【００１２】
図１に示されるように、本実施形態に係る車内システム１０は、車両５０に搭載された車載器１２、ネットワーク１６、生成部としての情報生成センタ１４、及び情報ＤＢ（データベース）センタ１５を有する。本実施形態の車内システム１０では、車載器１２が特定の乗員の身体情報を取得し、情報生成センタ１４は当該身体情報に基づいて乗員の感情や意思を認識する。そして、情報生成センタ１４は乗員に適した有用情報を生成すると共に、当該有用情報は、車載器１２に接続されたスピーカ２４及びスマートグラス２６を通じて特定の乗員に提供される。
【００１３】
本実施形態に係る車内システム１０は、車載器１２、情報生成センタ１４、及び情報ＤＢセンタ１５の各々が、携帯電話回線等を含むネットワーク１６を介して接続されている。また、車内システム１０は、ネットワーク１６に接続される装置であって、他の車両５２に設置された車載装置５２Ａ、及び自宅５４に設置された通信装置５４Ａを含んでいてもよい。
【００１４】
図２に示されるように、車載器１２は、車両周辺監視部１８、検出部としてのモニターカメラ２０、マイク２２、スピーカ２４、検出部としての生体センサ２５、ＡＲ表示器としてのスマートグラス２６、高速移動体通信デバイス２８、ＧＰＳ装置３１及び車載デバイス３２を備え、制御部としての制御ＥＣＵ（Electronic Control Unit）３０に各々接続されている。
【００１５】
車両周辺監視部１８は、車両５０の周辺の状況を監視する。具体的には、車両周辺監視部１８は、カメラ、レーダー（Radar）、及びライダー（LIDER：Laser Imaging Detection and Ranging）のうち少なくとも一つを含む。カメラは、例えば、車両５０のフロントガラス上部の室内側に設けられ、車両５０の外部状況を撮影することにより車外画像を取得する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラの場合、両眼視差を再現するように配置された二つの撮像部を有する。ステレオカメラの車外画像には、奥行き方向の情報も含まる。レーダーは、電波（例えばミリ波）を車両５０の周囲に送信し、障害物で反射された電波を受信することで障害物を検出する。ライダーは、光を車両５０の周囲に送信し、障害物で反射された光を受信することで反射点までの距離を計測し、障害物を検出する。なお、カメラ、ライダー及びレーダーは、必ずしも重複して備える必要はない。
【００１６】
モニターカメラ２０は、車室内に設けられ、車室内の運転者Ｄや他の乗員を撮影し、撮影した乗員の乗員画像を制御ＥＣＵ３０に出力する。
【００１７】
マイク２２は、車室内に設けられ、乗員の音声などの車室内の音声を電気信号に変換して音声情報として制御ＥＣＵ３０に出力する。
【００１８】
スピーカ２４は、車室内に設けられ、制御ＥＣＵ３０から送信される音声情報等を物理的な振動に変えて音声などの音を発生する。本実施形態のスピーカ２４は、特定の座席に着座した特定の乗員に向けて音声を出力するスピーカであって、例えば、超音波スピーカ等の指向性の高いスピーカや、ヘッドレスト５１Ａ毎に埋め込まれたスピーカが採用される（図３参照）。
【００１９】
生体センサ２５は、乗員の状態を検出するために、例えば、脈拍、脳波、血圧、心拍数等の生体情報を検出する。また、生体センサ２５は検出した生体情報を制御ＥＣＵ３０に出力する。生体センサ２５のうち脈拍及び脳波を測定するセンサは、スマートグラス２６と一体に形成してもよい。また、生体センサ２５のうち脈拍及び心拍数を測定するセンサは、シート５１（図３参照）と一体に形成してもよい。
【００２０】
スマートグラス２６は、ＡＲ（Augmented Reality：拡張現実）技術を用いて、仮想の乗員であるバーチャル同乗者Ｖ（図３参照）、及び有用情報に係る画像を車室内外の風景に重畳させて表示するヘッドマウントディスプレイ方式のウェアラブルデバイスである。具体的には、特許第６０３３８６６号公報に記載の技術や、Microsoft社製のHoloLens（https://www.microsoft.com/en-us/hololens）を適用することができる。
【００２１】
高速移動体通信デバイス２８は、携帯電話回線網や公衆回線網のネットワーク１６に接続し、ネットワーク１６に接続された情報生成センタ１４や情報ＤＢセンタ１５と情報の授受を行う。高速移動体通信デバイス２８は、モニターカメラ２０によって撮影された乗員画像、及び生体センサ２５により検出された生体情報を身体情報としてネットワーク１６経由で情報生成センタ１４や情報ＤＢセンタ１５に送信する。また、高速移動体通信デバイス２８は、車両周辺監視部１８のカメラ等で撮影された車外画像、及び後述するＧＰＳ装置３１で取得された位置情報を環境情報としてネットワーク１６経由で情報生成センタ１４や情報ＤＢセンタ１５に送信する。さらに、高速移動体通信デバイス２８は、情報生成センタ１４や情報ＤＢセンタ１５からの情報をネットワーク１６経由で受信する。
【００２２】
ＧＰＳ装置３１は、車両５０の位置情報を取得する装置であって、カーナビゲーション装置と一体の装置でもよいし、独立した装置でもよい。
【００２３】
車載デバイス３２は、車両５０に搭載された機器であり、例えば、空調装置や、オーディオ装置等の各種車載デバイスを適用できる。
【００２４】
また、制御ＥＣＵ３０は、ネットワーク１６に接続された情報生成センタ１４や情報ＤＢセンタ１５との通信に基づいて、コミュニケーションを図るための各種制御を行うと共に、特定の乗員向けの有用情報の提示や車載デバイス３２の制御を行う。制御ＥＣＵ３０は、ＣＰＵ、ＲＯＭ、ＲＡＭで構成されるマイクロコンピュータである。制御ＥＣＵ３０は、情報の提示や車載デバイス３２の制御を行う際に、バーチャル同乗者Ｖが発言したり、車載デバイス３２の操作等を行っているような立体映像の表示や音声の発生を制御する。
【００２５】
一方、情報生成センタ１４は、音声認識システム３４、表情認識システム３５、感情認識システム３６、情報制御部３７、及び通信デバイス３８を備えている。なお、情報生成センタ１４は、例えば、ＣＰＵ、ＲＯＭ、及びＲＡＭ等を備えたコンピュータにより実現される。
【００２６】
音声認識システム３４は、周知の音声認識技術により、車載器１２から受信した身体情報に含まれる音声情報を解析して音声認識を行うと共に、乗員の意思及び感情の認識を行う。
【００２７】
表情認識システム３５は、周知の表情認識技術により、車載器１２から受信した身体情報に含まれる乗員画像を解析して、乗員の意思及び感情の認識を行う。
【００２８】
感情認識システム３６は、車載器１２から受信した身体情報に含まれる乗員の生体情報を解析して、乗員の感情の認識を行う。
【００２９】
情報制御部３７は、音声認識システム３４における意思及び感情の認識結果、表情認識システム３５における意思及び感情の認識結果、並びに感情認識システム３６の感情の認識結果に基づいて、特定の乗員に適した有用情報を生成する。なお、情報制御部３７は、情報ＤＢセンタ１５から得られる乗員の嗜好や車両の現在地を反映して有用情報を生成する。
【００３０】
通信デバイス３８は、携帯電話回線網や公衆回線網のネットワーク１６に接続し、ネットワーク１６に接続された車載器１２や情報ＤＢセンタ１５と通信が可能とされている。
【００３１】
情報ＤＢセンタ１５は、個人情報ＤＢ４０、地図情報ＤＢ４１、検索部４２、及び通信デバイス４４を備えている。情報ＤＢセンタ１５は情報生成センタ１４と同様に、例えば、ＣＰＵ、ＲＯＭ、及びＲＡＭ等を備えたコンピュータにより実現される。
【００３２】
個人情報ＤＢ４０は、乗員に関する各種情報が個人情報として記憶されている。例えば、ネット決済の履歴や、クレジットカードの利用情報、乗員が携帯するスマートホンと連携した位置情報、インターネット等のネットワークから収集した話題の情報等が記憶される。より具体的には、検索部４２が、乗員が車でレストランへ行った際のレストランのカテゴリや、位置などの情報を車載器１２や乗員の携帯電話等から収集して個人情報ＤＢ４０に記憶する。
【００３３】
地図情報ＤＢ４１は、車両５０が走行可能な道路に関する情報、レストランやショッピングセンタ等の店舗情報などが地図情報と共に記憶されている。また、地図情報ＤＢ４１は、道路管理者等から取得した渋滞情報などを記憶していてもよい。
【００３４】
検索部４２は、車載器１２において取得された身体情報及び環境情報、並びに情報生成センタ１４における意思及び感情の認識結果に基づいて、乗員の嗜好や車両の現在地に関する情報検索を行い、その結果を情報生成センタ１４に送信する。ここで、身体情報及び環境情報は、車載器１２から直接取得してもよいし、情報生成センタ１４経由で取得してもよい。
【００３５】
検索部４２は、例えば、空調の温度設定や、オーディオの音量設定等の各種情報を、該情報の提案タイミングを含めてニューラルネットワークなどを用いた人工知能等によって学習した上で、各種情報を提示する。検索部４２における嗜好に関する情報検索は、ＡＩ（Artificial Intelligence）等の人工知能の技術を用いて行うことが可能である。
【００３６】
通信デバイス４４は、携帯電話回線網や公衆回線網のネットワーク１６に接続し、ネットワーク１６に接続された車載器１２や情報生成センタ１４と通信が可能とされている。
【００３７】
このように構成された本実施形態に係る車内システム１０における情報提供の例について説明する。本実施形態の車内システム１０では、スマートグラス２６にバーチャル同乗者Ｖを表示させ、バーチャル同乗者Ｖから話しかけられる感覚で車両５０から有用情報の提供を受ける。
【００３８】
ここで、運転者Ｄが特定の乗員とする場合における情報提供の例を示す。
例えば、運転者Ｄが空腹である場合、車載器１２は有用情報としてお勧めの飲食店の情報を運転者Ｄに提供することができる。具体的に、情報生成センタ１４は、モニターカメラ２０で撮影された乗員画像や、生体センサ２５で検出された生体情報から運転者Ｄの感情を認識し、空腹であると判定する。
【００３９】
また、情報ＤＢセンタ１５は、運転者Ｄに提供する店の情報を検索する。例えば、情報ＤＢセンタ１５は、車両５０の車外画像や位置情報を含む環境情報を車載器１２から取得し、地図情報ＤＢ４１から車両５０の周辺の店を検索する。このとき、情報ＤＢセンタ１５は、過去に寄った店のカテゴリ別の回数等から運転者Ｄの嗜好を解析し、推薦する店を検索する。
【００４０】
そして、情報ＤＢセンタ１５が検索結果を情報生成センタ１４へ返信することにより、情報生成センタ１４が、推薦する店を有用情報として生成する。有用情報を受信した車載器１２では、バーチャル同乗者Ｖが有用情報に基づいて運転者Ｄに店を提案する。例えば、図４に示されるように、車載器１２が、スマートグラス２６を制御して運転者Ｄに語りかけるバーチャル同乗者Ｖを表示すると共に、お勧めのメニューの画像６２を表示する。また、車載器１２はスピーカ２４を制御して、「○○のラーメンが人気みたいだよ。」等のメッセージを発音する。
【００４１】
これに対して、運転者Ｄが頷いて意思表示をしたり、好意的な感情有していると情報生成センタ１４が判定した場合には、有用情報に含まれる店の位置情報に基づいて、車載デバイス３２が有するナビゲーション装置が目的地を設定する。このとき、バーチャル同乗者Ｖがナビゲーション装置の目的地の設定を行っているような映像を表示する。
【００４２】
また例えば、車両５０を運転中の運転者Ｄが走行路上の標識を見落としている場合、車載器１２は有用情報として標識の情報を運転者Ｄに提供することができる。具体的に、図５に示されるように、車両周辺監視部１８により撮影された車外画像に標識７０が存在し、モニターカメラ２０から抽出した運転者Ｄの視線が標識７０にない場合、情報生成センタ１４は、運転者Ｄが標識を見落としていると判定する。この判定に際し、情報生成センタ１４は、生体センサ２５で検出された生体情報を活用してもよい。例えば、脈拍や脳波が通常よりも安定している場合、情報生成センタ１４は、運転者Ｄが緊張状態にないことを認識し、運転に際して警戒の意思がないことを認識することができる。
【００４３】
また、情報ＤＢセンタ１５は、車両５０の環境情報を取得し、環境情報に含まれる位置情報から、走行路周辺において注意すべき情報を検索する。そして、情報ＤＢセンタ１５が検索結果を情報生成センタ１４へ返信することにより、情報生成センタ１４が、注意すべき情報を有用情報として生成する。有用情報を受信した車載器１２では、バーチャル同乗者Ｖが有用情報に基づいて運転者Ｄに注意喚起する。例えば、車載器１２が、スマートグラス２６を制御して運転者Ｄに語りかけるバーチャル同乗者Ｖを表示すると共に、注意すべき動物の画像６４を走行路上に表示する。また、車載器１２はスピーカ２４を制御して、「○○を過ぎるまで動物に注意して。」等のメッセージを発音する（図５参照）。
【００４４】
なお、以上の注意喚起は、運転者Ｄが走行路上の標識を見落としている場合に実行されることとしているが、これに限らず、車載器１２が標識を検知する度に実行してもよい。また、情報生成センタ１４は、情報ＤＢセンタ１５に対する検索を行わず、車両５０の位置情報に依存しない定型の情報を提供してもよい。
【００４５】
また例えば、図６に示されるように、建物の死角に自転車７２が存在する場合、車載器１２は有用情報として死角に存在する自転車７２の情報を運転者Ｄに提供することができる。まず、車載器１２は、車車間通信により他の車両５２の車載装置５２Ａから、死角に存在する自転車７２の情報を取得することができる。そして、車載器１２が死角に存在する自転車７２の情報を取得すると共に、モニターカメラ２０から抽出した運転者Ｄの視線が自転車７２の方向にない場合、情報生成センタ１４は、運転者Ｄが自転車７２を見落とす可能性があると判定する。この判定に際し、情報生成センタ１４は、生体センサ２５で検出された生体情報を活用してもよい。例えば、脈拍が通常よりも早く、脳波が乱れている場合、情報生成センタ１４は、運転者Ｄが怒り又は興奮の感情にあると認識し、運転に際して周囲へ配慮する意思が薄いことを認識することができる。
【００４６】
そして、情報生成センタ１４は、死角の自転車７２に対する情報を有用情報として生成する。有用情報を受信した車載器１２では、バーチャル同乗者Ｖが有用情報に基づいて運転者Ｄに注意喚起する。例えば、車載器１２が、スマートグラス２６を制御して運転者Ｄに語りかけるバーチャル同乗者Ｖを表示すると共に、死角に潜む自転車７２のイメージ画像６６を表示する。また、車載器１２はスピーカ２４を制御して、「右から出てくる自転車に注意して。」等のメッセージを発音する（図６参照）。
【００４７】
なお、以上の注意喚起は、運転者Ｄが自転車７２を見落とす可能性がある場合に実行されることにしているが、これに限らず、車載器１２が他の車両５２の車載装置５２Ａから、死角に存在する自転車７２の情報を取得する度に実行してもよい。この例では、建物の死角に自転車７２が存在する場合を例としたが、死角に存在する場合に注意喚起する対象となるのは、自転車に限らず、歩行者、車両等が含まれる。
【００４８】
続いて、本実施形態に係る車内システム１０の各部で行われる具体的な処理内容について説明する。
【００４９】
まず、車載器１２で行われる具体的な処理について説明する。図７は、本実施形態に係る車内システム１０の車載器１２で行われる処理の流れの一例を示すフローチャートである。
【００５０】
ステップ１００では、制御ＥＣＵ３０が、バーチャル同乗者Ｖの表示が許可されているか否かを判定する。制御ＥＣＵ３０が、バーチャル同乗者Ｖの表示が許可されていると判定した場合は、次にステップ１０２へ移行する。一方、制御ＥＣＵ３０が、バーチャル同乗者Ｖの表示が許可されていないと判定した場合は、ステップ１０４へ移行する。
【００５１】
ステップ１０２では、制御ＥＣＵ３０が、スマートグラス２６を制御することにより、バーチャル同乗者Ｖを表示する。そして次のステップ１０４へ移行する。
【００５２】
ステップ１０４では、制御ＥＣＵ３０が、車両周辺監視部１８から環境情報である車外画像を取得し、ＧＰＳ装置３１から環境情報である位置情報を取得する。そして次のステップ１０６へ移行する。
【００５３】
ステップ１０６では、制御ＥＣＵ３０が、特定の乗員を対象として、モニターカメラ２０から身体情報である乗員画像を取得し、生体センサ２５から身体情報である生体情報を取得する。また、制御ＥＣＵ３０は、マイク２２から身体情報として音声情報を取得してもよい。そして次のステップ１０８へ移行する。
【００５４】
ステップ１０８では、制御ＥＣＵ３０が、取得した乗員の身体情報と車両５０の環境情報とを情報生成センタ１４へ送信する。そして次のステップ１１０へ移行する。
【００５５】
ステップ１１０では、制御ＥＣＵ３０が、乗員に対する有用情報を情報生成センタ１４から受信したか否を判定する。制御ＥＣＵ３０が、有用情報を受信していないと判定した場合にはステップ１０８に戻って上述の処理を繰り返し、有用情報を受信したと判定した場合はステップ１１２へ移行する。
【００５６】
ステップ１１２では、制御ＥＣＵ３０が、スマートグラス２６及びスピーカ２４を制御することによりバーチャル同乗者Ｖを含むＡＲコンテンツの制御（以下、「ＡＲ制御」と称する。）処理を実行する。そして次のステップ１１４へ移行する。ＡＲ制御処理では、例えば、乗員が暑がっており車室内温度を下げる旨の有用情報が生成された場合には、バーチャル同乗者Ｖが空調装置の温度設定を下げる様子を再現すべく、制御ＥＣＵ３０がスマートグラス２６及びスピーカ２４を制御する。なお、有用情報は、後述するように、情報ＤＢセンタ１５の情報検索結果に基づいて情報生成センタ１４によって生成される。
【００５７】
ステップ１１４では、制御ＥＣＵ３０が、ＡＲ制御を終了するか否かを判定する。該判定は、例えば、音声によってバーチャル同乗者Ｖの表示終了が指示されたか否かを判定してもよいし、バーチャル同乗者Ｖの表示終了を指示するスイッチ等が操作されたか否か等を判定してもよい。制御ＥＣＵ３０が、ＡＲ制御を終了しないと判定した場合にはステップ１０４に戻って上述の処理を繰り返し、ＡＲ制御を終了すると判定した場合には一連の処理を終了する。
【００５８】
次に、情報生成センタ１４で行われる具体的な処理内容について説明する。図８は、本実施形態に係る車内システム１０の情報生成センタ１４で行われる処理の流れの一例を示すフローチャートである。なお、図８の処理は、例えば、ステップ１０８において、身体情報及び環境情報の送信が車載器１２から行われた場合に開始する。
【００５９】
ステップ２００では、情報制御部３７が、車載器１２から送信された身体情報及び環境情報を受信したか否かを判定する。該判定が肯定されるまで待機してステップ２０２へ移行する。
【００６０】
ステップ２０２では、情報生成センタ１４が乗員の意思や感情を認識する。具体的に、表情認識システム３５は、車載器１２から受信した身体情報に含まれる乗員画像に基づいて乗員の意思及び感情の認識を行う。また、感情認識システム３６は、車載器１２から受信した身体情報に含まれる乗員の生体情報に基づいて乗員の感情の認識を行う。情報生成センタ１４が、乗員の意思及び感情を認識すると次のステップ２０４へ移行する。
【００６１】
ステップ２０４では、情報制御部３７が、車載器１２から受信した身体情報及び環境情報、並びに乗員の意思及び感情の認識結果に基づく情報検索を情報ＤＢセンタ１５に指示する。そして次のステップ２０６へ移行する。
【００６２】
ステップ２０６では、情報制御部３７が、情報ＤＢセンタ１５から情報検索結果を受信したが否かを判定する。該判定が肯定されるまで待機してステップ２０８へ移行する。
【００６３】
ステップ２０８では、情報制御部３７が、情報検索結果を反映した有用情報を生成する。例えば、乗員に食事をするという意思がある場合、情報検索結果に含まれる乗員の嗜好に応じてお勧めの店の情報含む有用情報を生成する。また例えば、乗員が標識を見落としている場合、情報検索結果に含まれる車両５０周辺の注意情報を含む有用情報を生成する。生成された有用情報は、スマートグラス２６に表示させる文字や画像の情報、及びスピーカ２４から出力させる音声情報を含む。情報制御部３７が、有用情報を生成すると次のステップ２１０へ移行する。
【００６４】
ステップ２１０では、情報制御部３７が、生成した有用情報を車載器１２に送信して一連の処理を終了する。
【００６５】
次に、情報ＤＢセンタ１５で行われる具体的な処理について説明する。図９は、本実施形態に係る車内システム１０の情報ＤＢセンタ１５の検索部４２で行われる処理の流れの一例を示すフローチャートである。
【００６６】
ステップ３００では、検索部４２が、身体情報及び環境情報、並びに乗員の意思及び感情の認識結果を情報生成センタ１４から受信したか否かを判定する。受信が完了し、該判定が肯定されるまで待機してステップ３０２へ移行する。
【００６７】
ステップ３０２では、検索部４２が情報検索を実行する。具体的に、検索部４２は身体情報並びに乗員の意思及び感情の認識結果に基づいて嗜好に関する情報検索を行う。当該情報検索は、個人情報ＤＢ４０に蓄積された乗員の個人情報を用いて実行される。例えば、乗員の意思と、個人情報ＤＢ４０に記憶された情報に基づいて、嗜好解析を行うことにより、乗員好みの店の情報を検索する。検索部４２が情報検索を終了する、次のステップ３０４に移行する。
【００６８】
ステップ３０４では、検索部４２が、情報検索結果を情報生成センタ１４に返信して一連の処理を終了する。
【００６９】
（まとめ）
以上のように各部で処理を行うことにより、本実施形態に係る車内システム１０では、乗員が言葉を発しなくとも車両側から有用情報の提供を受けることができる。そして、有用情報に係る表示は、乗員が個別に装着するスマートグラス２６から提供され、有用情報に係る音声は、乗員別に出力されるスピーカ２４から提供される。すなわち、本実施形態の車内システム１０によれば、同乗者が存在していても映像や音声をプライベートに取得することができる。
【００７０】
なお、車室内に乗員が複数居る場合、各乗員がスマートグラス２６を装着すると共に、乗員別のスピーカ２４を設けることにより、乗員がそれぞれプライベートに情報を取得することができる。また、ある時は各乗員に異なる情報を提供してもよいし、またある時は各乗員に同じ情報を提供してもよい。
【００７１】
また、本実施形態では、有用情報の提供がバーチャル同乗者Ｖを介して行われる。そのため、乗員は、思ったり感じたりするだけでバーチャル同乗者Ｖが意図を汲み取って自分の望む行動をとると感じる。したがって、本実施形態によれば、バーチャル同乗者Ｖとの間で、双方向でリアルタイムにコミュニケーションを図ることができる。そして、バーチャル同乗者Ｖというプライベートな相手との間で円滑にコミュニケーションを図ることにより、移動を楽しんだり、運転の負担を軽減したりすることができる。
【００７２】
特に本実施形態では、自動運転ではない運転負荷がある状況下において、運転者が思ったり感じたりしてバーチャル同乗者Ｖに指示を出すことで、各機能を遅滞なく使用することが可能である。例えば、空調装置の温度調整、オーディオ装置の温度調整、カーナビゲーション装置の目的地設定等の操作はバーチャル同乗者Ｖを通じて行うことができる。
【００７３】
本実施形態では、スマートグラス２６が車室内を対象にバーチャル同乗者Ｖを表示させる他、車室外を対象に有用情報を係る画像を表示させることができる。例えば、制御ＥＣＵ３０はスマートグラス２６を制御して、お勧めの店舗の実像にお勧めの商品画像を重畳して表示させたり（図４参照）、注意の標識のある走行路の実像に動物の画像を重畳して表示させたり（図５参照）することができる。また例えば、他の車両５２が認識している自転車や歩行者等に係る画像をスマートグラス２６に表示させることができる（図６参照）。同様に、車両５０の死角にある自転車や歩行者等の画像をスマートグラス２６に表示させてもよい。そして、死角の自転車や歩行者等をスマートグラス２６に表示させると共に、バーチャル同乗者Ｖが運転者に語り掛けるように注意喚起することにより、より安全運転に寄与することができる。
【００７４】
本実施形態では、乗員が言葉を発しなくともバーチャル同乗者Ｖを通じて有用情報を受けることができるが、これに限らない。例えば、乗員がマイク２２に向かって発した音声に基づき、情報生成センタ１４が有用情報を生成すると共に、バーチャル同乗者Ｖを通じて当該有用情報の提供を受けてもよい。つまり、乗員はバーチャル同乗者Ｖと対話形式によりコミュニケーションを図ることが可能となる。そして、通常の同乗者が存在する感覚で運転を楽しむことができる。
【００７５】
本実施形態の車内システム１０では、車室内に存在するように表示されたバーチャル同乗者Ｖとコミュニケーションを図ることを可能としているが、これに限らず、他の車両５２に乗車している友人や、自宅５４で留守番している子供等とコミュニケーションを図ることができる。例えば、自宅５４に居る子供とコミュニケーションを図る場合、自宅５４の通信装置５４Ａは、図示しないカメラで撮影された映像を車載器１２に対してリアルタイムに送信する。そして、車載器１２では、制御ＥＣＵ３０がスマートグラス２６を制御して、子供の映像Ｖｃを車室内に表示させることで（図３参照）、移動空間を共有し、ユーザ体験を共有することができる。
【００７６】
なお、本実施形態の車内システム１０は、運転者Ｄの運転負荷に係らずバーチャル同乗者Ｖの表示を可能としているが、これに限らず、運転者Ｄの運転負荷を検出し、自動運転中などの運転負荷がない場合に限りバーチャル同乗者Ｖが表示されるようしてもよい。具体的に、制御ＥＣＵ３０は車両周辺監視部１８による車両５０の周辺の監視結果に基づいて、車内システム１０を安全に使用できる状態であるかを運転負荷として検出する。例えば、制御ＥＣＵ３０は、車両周辺監視部１８の監視結果に基づいて自動運転モードへ移行する制御を行い、車両５０が自動運転モードに入るなど、運転者Ｄに運転負荷がない場合に、安全に使用できる状態と判定する。そして、制御ＥＣＵ３０が、バーチャル同乗者Ｖを表示する。なお、自動運転モードへの移行の判定は、車両周辺監視部１８の監視結果に基づいて周知の自動運転技術を用いて判定することができる。
【００７７】
また、バーチャル同乗者Ｖとのコミュニケーションの途中であっても、車両周辺監視部１８の監視結果から車内システム１０を安全に使用できない状態が検出された場合には、制御ＥＣＵ３０が、バーチャル同乗者Ｖの表示を中断してもよい。これにより、安全を確実に確保した状態で、運転者Ｄがバーチャル同乗者Ｖとコミュニケーションを図ることが可能となる。
【００７８】
（補足）
上記の実施形態では、車載器１２、情報生成センタ１４、及び情報ＤＢセンタ１５の各部で処理を行う形態として説明したが、これに限るものではない。例えば、情報ＤＢセンタ１５の構成を車載器１２に搭載した形態の車内システムとしてもよい。或いは、情報ＤＢセンタ１５だけでなく、情報生成センタ１４の構成も車載器１２に搭載して、車載器１２だけで処理可能な形態としてもよい。
【００７９】
車載器１２、情報生成センタ１４、及び情報ＤＢセンタ１５の各部での処理は、各装置が備えるＣＰＵが、ＲＯＭから実行プログラムを読み出してＲＡＭに展開し、ＣＰＵが実行プログラムをロードして実行することで実現される。なお、実行プログラムは、ＤＶＤ（Digital Versatile Disc）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して読み込まれ、ＲＡＭに展開させてもよい。
【００８０】
また、本実施形態に係る車内システム１０は、車載器１２に超音波を発生する装置を更に設けて、人肌のぬくもりなどの触感も乗員に付与可能な構成としてもよい。
【００８１】
上記の実施形態における車内システム１０の各部で行われる処理は、プログラムを実行することにより行われるソフトウエア処理としてもよいし、ハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。
【００８２】
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
【符号の説明】
【００８３】
１０    車内システム
１４    情報生成センタ（生成部）
２０    モニターカメラ（検出部）
２４    スピーカ
２５    生体センサ（検出部）
２６    スマートグラス（ＡＲ表示器）
３０    制御ＥＣＵ（制御部）
【図１】
2020020987.tif 000003
【図２】
2020020987.tif 000004
【図３】
2020020987.tif 000005
【図４】
2020020987.tif 000006
【図５】
2020020987.tif 000007
【図６】
2020020987.tif 000008
【図７】
2020020987.tif 000009
【図８】
2020020987.tif 000010
【図９】
2020020987.tif 000011