(57)【要約】【課題】主に、短期間のうちに判別精度の高いモデルを育成することができるようにする。【解決手段】音声データ認識部４と、キーワード抽出部７と、音響判別部１２と、判別事象特定部１６と、データ登録部１８と、を備えた車両用事象判別装置に関する。  車両１外で日常的に発せられた音声２を収集可能な音声収集装置２１を設ける。  そして、音声収集装置２１によって車両１外で日常的に収集された音声２から言語モデル５、通常音響モデル８、特定音響モデル９を育成可能なモデル育成部２２を備えるようにする。【選択図】図１
2018018184.tif 000002
【特許請求の範囲】
【請求項１】
車両内で発せられた音声から音声データを認識する音声データ認識部と、
該音声データ認識部で認識された音声データから、事象判別用に設定された言語モデルを用いて、判別しようとする事象に関するキーワードを抽出するキーワード抽出部と、
該キーワード抽出部で抽出されたキーワードに伴う音響情報を、予め設定された通常音響モデルおよび特定音響モデルと比較して乗員状態が通常状態であるか特定状態であるかを判別する音響判別部と、
キーワード抽出部で抽出されたキーワードと、音響判別部で判別された乗員状態と、キーワードが抽出された時点またはその前後における乗員状況、車両状況、データベースに蓄積されたデータのうちのいずれか１つに基いて、乗員に生じている事象を特定する判別事象特定部と、
少なくとも、該判別事象特定部で特定された判別事象と、前記キーワード抽出部で判別されたキーワードとを関連付けたデータを、前記データベースに登録するデータ登録部と、を備えており、
更に、車両外で日常的に発せられた音声を収集可能な音声収集装置が設けられ、
該音声収集装置によって車両外で日常的に収集された音声から前記言語モデル、通常音響モデル、特定音響モデルを育成可能なモデル育成部が備えられたことを特徴とする車両用事象判別装置。
【請求項２】
請求項１に記載の車両用事象判別装置において、
前記判別事象特定部で特定された判別事象に基いて、必要な情報を車両内に報知する報知部を備えたことを特徴とする車両用事象判別装置。
【請求項３】
請求項１または請求項２に記載の車両用事象判別装置において、
前記音声収集装置が、持ち運び可能な携帯端末、または、車両外に設置された固定端末であることを特徴とする車両用事象判別装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の車両用事象判別装置において、
前記判別事象が、ヒヤリハット事象であることを特徴とする車両用事象判別装置。
【請求項５】
請求項１ないし請求項３のいずれか１項に記載の車両用事象判別装置において、
前記判別事象が、わくわく事象であることを特徴とする車両用事象判別装置。
【請求項６】
請求項１ないし請求項３のいずれか１項に記載の車両用事象判別装置において、
前記判別事象が、感動事象であることを特徴とする車両用事象判別装置。
【請求項７】
請求項１ないし請求項６のいずれか１項に記載の車両用事象判別装置において、
前記言語モデルが、判別事象に関連するキーワードをデータ化したものとされ、
前記通常音響モデルが、日常的に発する言葉に付随する音量、抑揚、高さ、速さ、長さ、強さ、溜め、こぶし、しゃくり、ビブラート、ファルセット（ファルセット率、ファルセット変化度）、ブレス（ブレス形態）などの音響情報のうちの少なくとも１つを入力量として有するものとされ、
前記特定音響モデルが、判別事象に相当する時に発するキーワードに付随する音量、抑揚、高さ、速さ、長さ、強さ、溜め、こぶし、しゃくり、ビブラート、ファルセット（ファルセット率、ファルセット変化度）、ブレス（ブレス形態）などの音響情報のうちの少なくとも１つを入力量として有するものとされたことを特徴とする車両用事象判別装置。
【請求項８】
請求項７に記載の車両用事象判別装置において、
前記言語モデル、特定音響モデル、通常音響モデルは、個人別に作成されることを特徴とする車両用事象判別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両用事象判別装置に関するものである。
【背景技術】
【０００２】
車両内で乗員から発せられた言葉に基いて、道路交通情報を収集すると共に、収集した道路交通情報を配信し得るようにした情報集配信装置が知られている（例えば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１２３１８５号公報
【特許文献２】特開２０１４−１２３２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記情報集配信装置では、車両内で乗員から発せられた言葉に基いてシステムを構築するようにしている。しかし、車両内で発せられる言葉は量的に少ないため、判別精度の高いシステムが育成されるまでに長い時間がかかるという問題があった。判別精度の高いシステムの育成には、例えば、１人の人間が２万ｋｍ走行するのに要する時間が必要などとされている。
【０００５】
そこで、本発明は、上記した問題点を解決することを、主な目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、
車両内で発せられた音声から音声データを認識する音声データ認識部と、
該音声データ認識部で認識された音声データから、事象判別用に設定された言語モデルを用いて、判別しようとする事象に関するキーワードを抽出するキーワード抽出部と、
該キーワード抽出部で抽出されたキーワードに伴う音響情報を、予め設定された通常音響モデルおよび特定音響モデルと比較して乗員状態が通常状態であるか特定状態であるかを判別する音響判別部と、
キーワード抽出部で抽出されたキーワードと、音響判別部で判別された乗員状態と、キーワードが抽出された時点またはその前後における乗員状況、車両状況、データベースに蓄積されたデータのうちのいずれか１つに基いて、乗員に生じている事象を特定する判別事象特定部と、
少なくとも、該判別事象特定部で特定された判別事象と、前記キーワード抽出部で判別されたキーワードとを関連付けたデータを、前記データベースに登録するデータ登録部と、を備えており、
更に、車両外で日常的に発せられた音声を収集可能な音声収集装置が設けられ、
該音声収集装置によって車両外で日常的に収集された音声から前記言語モデル、通常音響モデル、特定音響モデルを育成可能なモデル育成部が備えられたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、上記構成によって、短期間のうちに判別精度の高いモデルを育成することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施の形態の実施例にかかる車両用事象判別装置の構成図である。
【図２】複数の音声収集装置における、言語モデル、通常音響モデル、特定音響モデルの構成を示す図である。このうち、（ａ）は第一の端末、（ｂ）は第二の端末に対するものである。
【図３】データベースのデータ例を示す図である。
【図４】車両に対して、最小限の構成の車両用事象判別装置を適用した図である。
【図５】図４に入力系の構成を加えた車両用事象判別装置の構成図である。
【図６】図５に出力系の構成を加えた車両用事象判別装置の構成図である。
【図７Ａ】入力系の構成の詳細図（その１）である。
【図７Ｂ】入力系の構成の詳細図（その２）である。
【図８】出力系の構成の詳細図である。
【図９】データベースの状況を示す図である。
【発明を実施するための形態】
【０００９】
以下、本実施の形態を、図面を用いて詳細に説明する。
図１〜図９は、この実施の形態を説明するためのものである。
【実施例１】
【００１０】
＜構成＞以下、この実施例にかかる車両用事象判別装置の構成について説明する。
【００１１】
（１）先ず、図１に示すように、車両１内で発せられた音声２から「音声データ３」を認識する音声データ認識部４と、
この音声データ認識部４で認識された音声データ３から、事象判別用に設定された言語モデル５（または事象判別言語モデル）を用いて、判別しようとする事象に関するキーワード６を抽出する（事象キーワード判別処理を行う）キーワード抽出部７と、
このキーワード抽出部７で抽出されたキーワード６に伴う音響情報を、予め設定された通常音響モデル８（または通常時音響モデル）および特定音響モデル９（または事象判別音響モデル）と比較して乗員状態１１が通常状態であるか特定状態であるかを判別する（事象音声判別処理を行う）音響判別部１２と、
キーワード抽出部７で抽出されたキーワード６と、音響判別部１２で判別された乗員状態１１と、キーワード６が抽出された時点またはその前後における乗員状況１３（ドライバー状況を含む）、車両状況１４、データベース１５に蓄積されたデータのうちのいずれか１つに基いて、乗員に生じている事象を特定する（事象判別処理を行う）判別事象特定部１６と、
少なくとも、この判別事象特定部１６で特定された判別事象１７と、キーワード抽出部７で判別されたキーワード６とを関連付けたデータ（事象関連データ）を、データベース１５に登録するデータ登録部１８と、を備えるようにする。
更に、車両１外で日常的に発せられた音声２を収集可能な音声収集装置２１を設けるようにする。
そして、この音声収集装置２１によって車両１外で日常的に収集された音声２から言語モデル５、通常音響モデル８、特定音響モデル９を育成可能なモデル育成部２２が備えられる。
【００１２】
ここで、車両１内で発せられた音声２は、マイク２５で集められ、ノイズリダクション部２６でノイズリダクション処理（ＮＲ：Ｎoise Ｒeduction（ノイズ低減））によって雑音を除去された後に、音声データ認識部４（ＶＲ：Ｖoice Ｒecognition（音声認識））へ送られる。判別事象１７の特定には、乗員状況１３（ドライバー状況を含む）、車両状況１４、データベース１５に蓄積されたデータの他に、周辺環境状況なども用いることができる。データベース１５には、例えば、通常行動モデルや車内行動モデルなどを含むこともできる。通常行動モデルや車内行動モデルは、標準的なモデルを基にして個人別に育成したものとなっている。なお、乗員には、ドライバーや、助手席乗員や、後席乗員などを広く含むが、ドライバーや、助手席乗員や、後席乗員などを区別して用いる場合には、それ以外の乗員という意味で使うことがある。
【００１３】
言語モデル５は、図２に示すように、少なくとも、個人ＩＤと、キーワードと、出現頻度の情報を備えたものとされる。出現頻度は、個人のキーワードの使い方（言語癖など）を調べる指標などとして利用される。言語モデル５は、標準的なモデルを基にして個人別に育成するものとなっている。キーワードには、上記の他に、位置や人数や気分などのシチュエーションに関する各種の情報や、その他の情報などを適宜付随させることができる。
【００１４】
通常音響モデル８は、少なくとも、個人ＩＤと、キーワードと、音量、抑揚、（声の）高さなどの音響情報のうちの少なくとも一つを入力値として備えたものとされる。通常音響モデル８は、通常状態の時の音響情報を数値で評価するようにしたものとされる。通常音響モデル８も、標準的なモデルを基にして個人別に育成したものとなっている。
【００１５】
同様に、特定音響モデル９は、少なくとも、個人ＩＤと、キーワードと、音量、抑揚、（声の）高さなどの音響情報のうちの少なくとも一つを入力値として備えたものとされる。特定状態の時の音響情報を数値で評価するようにしたものとされる。特定音響モデル９も、標準的なモデルを基にして個人別に育成したものとなっている。
【００１６】
音声収集装置２１は、複数用いることができる（端末２１ａ、端末２１ｂ・・・）。モデル育成部２２は、各音声収集装置２１に備えるのが好ましい。モデル育成部２２は、ソフトウェア（アプリ）として構築することができる。そして、複数の端末２１ａ、端末２１ｂで、モデル育成部２２によって、言語モデル５や通常音響モデル８や特定音響モデル９やデータベース１５がそれぞれ独自に育成されて行くことになる。
【００１７】
データベース１５に蓄積されたデータは、例えば、図３に示すように、少なくとも、個人ＩＤと、キーワードと、乗員状態１１との情報を備え、更に、乗員状況１３や、車両状況１４や、判別事象１７などの情報を必要に応じて備えたものとされる。更に、判別事象１７の原因や、後述するように、提供情報や車両制御に関する内容などの情報を含むようにしても良い。乗員状態１１は、音響情報に基いて判別されたものであり、乗員状況１３は、その他のものであり、様々な項目を含むことができる。車両制御に関する内容は、例えば、自動運転車などで利用することができるものとすることができる。
【００１８】
なお、言語モデル５や通常音響モデル８や特定音響モデル９やデータベース１５やモデル育成部２２は、車両１に備えるようにしても良い。更に、言語モデル５や通常音響モデル８や特定音響モデル９やデータベース１５やモデル育成部２２は、図４に示すように、インターネット上のクラウド２９（管理クラウドやオープンクラウドなど）に備えることもできる。これらをクラウド２９上に設けた場合には、車両１や音声収集装置２１の言語モデル５や通常音響モデル８や特定音響モデル９やデータベース１５などは、簡易版にすることができる。車両１、音声収集装置２１、クラウド２９に設けられた言語モデル５や通常音響モデル８や特定音響モデル９やデータベース１５は、相互にメンテナンスして最新情報を共有できるようにするのが好ましい。更に、クラウド２９を用いることにより、クラウド２９上の様々なデータベースを利用することも可能となる。
【００１９】
図４は、車両用事象判別装置を、具体的に車両１に対して適用した場合の図である。この場合、上記したノイズリダクション部２６、音声データ認識部４、キーワード抽出部７、音響判別部１２、判別事象特定部１６は、ドライバーセンシングコントローラと、乗員センシングコントローラとに対してそれぞれ備えられる。ドライバーセンシングコントローラおよび乗員センシングコントローラは、運転席乗員と助手席乗員（または後席乗員など、以下、助手席乗員の場合について説明する）とに対してそれぞれ個別に設けられた演算制御ユニットである。ノイズリダクション部２６、音声データ認識部４、キーワード抽出部７、音響判別部１２、判別事象特定部１６は、演算制御ユニット内でソフトウェア上の機能ブロックとして構築される。上記したマイク２５には、運転席や助手席の声だけを聞き取ることができる高指向性のアレイマイクなどが用いられる。アレイマイクは、運転席と助手席とに対してそれぞれ別個に備えられる。
【００２０】
そして、ドライバーセンシングコントローラからのドライバー状況データ（運転席乗員に対する判別事象１７）および乗員センシングコントローラからの乗員状況データ（助手席乗員に対する判別事象１７）は、情報統合コントローラを介して統合状況データとされ、情報制御コントローラ（データ登録部１８およびモデル育成部２２）で車両内データベース（データベース１５）に登録される。更に、統合状況データと、車両内データベースのデータは、通信制御コントローラおよび通信機類を介して、クラウド２９や音声収集装置２１などと情報交換できるようになっている。
【００２１】
また、音声収集装置２１も、モデル育成部２２の他に、ドライバーセンシングコントローラや乗員センシングコントローラと同様に、マイク２５、ノイズリダクション部２６、音声データ認識部４、キーワード抽出部７、音響判別部１２、判別事象特定部１６、データ登録部１８を備えていても良く、通信機類を介してクラウド２９や車両１と情報交換できるようになっている。同様に、クラウド２９にも、音声データ認識部４、キーワード抽出部７、音響判別部１２、判別事象特定部１６、データ登録部１８、および、モデル育成部２２を備えても良い。
【００２２】
その他に、図５に示すように、車両１内に設置された各種のセンサー類からの情報を入力して環境状況データを得るためのフュージョンコントローラや、車外センシングコントローラを備えることができる。また、車車間通信や路車間通信によってＩＴＳ状況データ（ＩＴＳ：Intelligent Transport Systems（高度道路交通システム）を得るための車両通信制御コントローラを備えることができる。更に、ＣＡＮ（ＦＤ）通信やＰrivate ＣＡＮ通信や個別センサーなどからの情報を入力して車両データを得るための車両状態検出コントローラを備えることができる。なお、上記した環境状況データやＩＴＳ状況データや車両データは、情報統合コントローラへ入力され、ドライバー状況データや乗員状況データに統合されて統合状況データとされる。
【００２３】
（２）図６に示すように、判別事象特定部１６で特定された判別事象１７に基いて、必要な情報を車両１内に報知する報知部３１を備えるようにしても良い。
【００２４】
ここで、報知部３１は、音声や表示などによって、車両１内に情報を報知するようにしたものとされる。報知部３１は、ドライバー出力系システムおよび乗員出力系システムなどとして設けられている。ドライバー出力系システムは、ドライバーＨＭＩ制御コントローラ（ＨＭＩ：ヒューマンマシンインターフェース）によって制御されるようになっている（報知制御部）。また、乗員出力系システムは、乗員ＨＭＩ制御コントローラによって制御されるようになっている（報知制御部）。なお、乗員ＨＭＩ制御コントローラからの信号は、ドライバーＨＭＩ制御コントローラに対して入力されるようになっている。
【００２５】
この際、時系列統計モデル生成器が、車両内データベース（データベース１５）のデータおよび統合状況データを用いて、ドライバー行動モデルと、ドライバーメンタルモデルと、乗員メンタルモデルとを育成するようになっている。そして、ドライバー行動モデルとドライバーメンタルモデルは、ドライバーＨＭＩ制御コントローラへ入力されて、ドライバー出力系システムへの出力に使用される。また、乗員メンタルモデルは、乗員ＨＭＩ制御コントローラへ入力されて、乗員出力系システムへの出力に使用される。
【００２６】
更に、各サービスアルゴリズムが、車両内データベース（データベース１５）のデータおよび統合状況データを用いて育成されるようになっている。サービスアルゴリズムからの情報は、統合状況データと共に、サービス制御コントローラや、乗員ＨＭＩ制御コントローラへ入力される。
【００２７】
ドライバーＨＭＩ制御コントローラや、乗員ＨＭＩ制御コントローラや、サービス制御コントローラの状態は、それぞれ、ドライバーＨＭＩ制御フラグ、乗員ＨＭＩ制御フラグ、サービス制御フラグとして、情報統合コントローラへ入力される。
【００２８】
（３）音声収集装置２１が、持ち運び可能な携帯端末などの端末２１ａ，２１ｂ、または、車両１外に設置された固定端末などの端末２１ｆとされる。
【００２９】
ここで、持ち運び可能な携帯端末などの端末２１ａ，２１ｂには、例えば、スマートフォン（多機能携帯通信端末）や、スマートウォッチ（腕時計型ウェアラブル端末）や、スマートグラス（メガネ型ウェアラブル端末）などのＩｏＥソリューション（Internet of Everything）を各種用いることができる。
【００３０】
また、固定端末などの端末２１ｆには、例えば、家屋内に設置された固定電話や、インターフォンや、その他の（例えば、次世代型照明、次世代型テレビ、次世代型エアコン、次世代型冷蔵庫、次世代型掃除機などのような）マイク２５が付いていて、しかも、インターネットに接続可能とされた各種の電化製品を、ＩｏＥソリューション（Internet of Everything）として広く用いることができる。
【００３１】
（４）図３に示すように、判別事象１７は、ヒヤリハット事象とすることができる。
【００３２】
ここで、ヒヤリハット事象は、車両１搭乗中にヒヤリとしたり、ハットしたりした事象のことである。即ち、道路交通状況に関連する事象のことである。この実施例では、ヒヤリハット事象を「危ない」というキーワードや、乗員状態１１が特定状態となっていることや、乗員状況１３に変化が見られることや、車両状況１４として急ブレーキがかけられたことなどによって総合的に判別するようにしている。但し、ヒヤリハット事象に関連するキーワードは、「危ない」に限るものではない。また、判別に関わったその他の項目の内容についても、上記に限るものではない。
【００３３】
これに対し、「危ない」というキーワードがあっても、乗員状態１１が通常状態となっている場合や、乗員状況１３に変化が見られない場合や、車両状況１４に変化が見られない場合などには、通常事象であると判別されることになる。
【００３４】
（５）判別事象１７は、わくわく事象とすることができる。
【００３５】
ここで、わくわく事象は、車両１搭乗中に乗員（ドライバーを含む）がわくわくする事象のことである。即ち、乗員の現在の感情状態に起因する事象のことである。この実施例では、わくわく事象を「楽しい」というキーワードや、乗員状態１１が特定状態となっていることや、乗員状況１３に変化が見られることや、車両状況１４として緩い加速状態になっていることなどによって総合的に判別するようにしている。但し、わくわく事象に関連するキーワードは、「楽しい」に限るものではない。また、判別に関わったその他の項目の内容についても、上記に限るものではない。
【００３６】
これに対し、「楽しい」というキーワードがあっても、乗員状態１１が通常状態となっている場合や、乗員状況１３に変化が見られない場合や、車両状況１４に変化が見られない場合などには、通常事象であると判別されることになる。
【００３７】
（６）判別事象１７は、感動事象とすることができる。
【００３８】
ここで、感動事象は、車両１搭乗に関連して乗員が感動するような事象のことである。即ち、乗員の価値観に関連性の高い事象のことである。感動事象には、例えば、景勝地や歴史的遺産などに関する事項が含まれる。この実施例では、感動事象を「綺麗だ」というキーワードや、乗員状態１１が特定状態となっていることや、乗員状況１３に変化が見られることや、車両状況１４として緩い減速状態になっていることなどによって総合的に判別するようにしている。但し、感動事象に関連するキーワードは、「綺麗だ」に限るものではない。また、判別に関わったその他の項目の内容についても、上記に限るものではない。
【００３９】
これに対し、「綺麗だ」というキーワードがあっても、乗員状態１１が通常状態となっている場合や、乗員状況１３に変化が見られない場合や、車両状況１４に変化が見られない場合などには、通常事象であると判別されることになる。
【００４０】
（７）図２で既に示したように、言語モデル５が、判別事象１７に関連するキーワード６をデータ化したものとされる。
通常音響モデル８が、日常的に発する言葉に付随する音量、抑揚、高さ、速さ、長さ、強さ、溜め、こぶし、しゃくり、ビブラート、ファルセット（ファルセット率、ファルセット変化度）、ブレス（ブレス形態）などの音響情報のうちの少なくとも１つを入力量として有するものとされる。
特定音響モデル９が、判別事象１７に相当する時に発するキーワード６に付随する音量、抑揚、高さ、速さ、長さ、強さ、溜め、こぶし、しゃくり、ビブラート、ファルセット（ファルセット率、ファルセット変化度）、ブレス（ブレス形態）などの音響情報のうちの少なくとも１つを入力量として有するものとされる。
【００４１】
ここで、溜め、こぶし、しゃくり、ビブラート、ファルセットなどは、歌に関する技術などとして広く認識されているものであり、例えば、歌唱力診断ソフトなどで、採点基準として利用されているものである。なお、ファルセットとは、裏声のことである。
【００４２】
（８）既にしたように、言語モデル５、特定音響モデル９、通常音響モデル８は、個人別に作成されるようにするのが好ましい。
【００４３】
ここで、個人別は、例えば、個人ＩＤを登録することで、識別できるようになる。なお、生年月日、住所、氏名、年齢、職業・・などの個人情報と関連付けるようにしても良い。
【００４４】
以下、車両用事象判別装置の詳細部分について説明する。
【００４５】
図７Ａ、図７Ｂは、入力系の下位システムを表す図である。
【００４６】
そして、図７Ａに示すように、上記したドライバーセンシングコントローラには、直接センシングするものと、非接触センシングするものとがあり、そのどちらも用いることができる。直接センシングするものには、シートセンサー、ステアセンサー、ベルトセンサー、肘かけセンサー、埋込み型センサー、ウェアラブルセンサー、スマホセンサー、タッチパネルセンサー、シフトノブセンサー、サンバイザーセンサー、スイッチセンサーなどがあり、このうち、スイッチセンサーには、コラムスイッチセンサー、オーディオスイッチセンサー、ミラースイッチセンサー、ステアリングスイッチセンサー、ナビスイッチセンサー、空調スイッチセンサー、その他のスイッチセンサー、コマンダースイッチセンサーなどがある。また、非接触センシングするものには、状態検出カメラ、音響センシング、レーザセンサー、超音波センサー、電波センサーなどがあり、このうち、音響センシングで、上記したように、マイク２５に入力した音声を、ノイズリダクション部２６でノイズリダクションして、音声認識を行うようにする。マイク２５に入力した音声は、体調検出や感情認識などに使うこともできる。
【００４７】
同様に、上記した乗員センシングコントローラには、直接センシングするものと、非接触センシングするものとがあり、そのどちらも用いることもできる。直接センシングするものには、シートセンサー、ベルトセンサー、肘かけセンサー、ウェアラブルセンサー、スマホセンサー、タッチパネルセンサー、スイッチセンサー、サンバイザーセンサー、埋込み型センサーなどがあり、このうち、スイッチセンサーには、コマンダースイッチセンサー、オーディオスイッチセンサー、ナビスイッチセンサー、空調スイッチセンサー、その他のスイッチセンサー、などがある。また、非接触センシングするものには、音響センシング、状態検出カメラ、レーザセンサー、超音波センサー、電波センサーなどがあり、このうち、音響センシングで、上記したように、マイク２５に入力した音声を、ノイズリダクション部２６でノイズリダクションして、音声認識を行うようにする。マイク２５に入力した音声は、体調検出や感情認識などに使うこともできる。
【００４８】
また、図７Ｂに示すように、上記したフュージョンコントローラに入力されるセンサー類には、周辺検知カメラ、前方検知カメラ、後方検知カメラ、ミリ波レーダー、赤外線レーザー、前方検知ＬｉＤａＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging：「光検出と測距」ないし「レーザー画像検出と測距」）、左右検知ＬｉＤａＲ、後方ＬｉＤａＲ、超音波センサー、車外音響センサーなどがある。
【００４９】
上記した車両状態検出コントローラにＣＡＮ他などによって入力されるものには、ＣＡＮ ＦＤ、ＯＢＤII、ＧＰＳ、モーションセンサ、車内音響センサー、周期センサー、車
内状態センサー、コンディションセンサー、などがある。
【００５０】
上記した通信制御コントローラと通信を行う通信機器は、Bluetooth class1 ver4.0、Bluetooth class2 ver4.0(Bluetooth:登録商標)、ＷｉＭＡＸ２、ＩＥＥＥ８０２．１１、ＬＴＥ、Ｚigbee、５Ｇなどによる接続が可能な音声収集装置２１（端末２１ａ，２１ｂ，２１ｆなど）とされる。
【００５１】
上記した車両通信制御コントローラによる車車間通信では、５．８Ｇや、７６０ＭＨｚの帯域を使うものがあり、路車間通信には、ＤＳＲＣ（Dedicated Short Range Communications）、光ビーコン、７６０ＭＨｚの帯域を使うものなどがある。
【００５２】
これらの入力系の下位システムは、乗員状況１３や車両状況１４や周辺環境状況などの検出に使用することができる。
【００５３】
次に、図８は、出力系の下位システムを表す図である。
【００５４】
ドライバーＨＭＩ制御コントローラで制御される出力系システム（報知部３１）には、ＨＵＤ、ナビモニター、セカンドモニター、音出力システム、シート出力システム、後面鏡、ステア出力システム、後写鏡、メーターディスプレイ、ウィンドウ、非接触触感核出力システム、匂い出力システム、肘かけ出力システム、フロントウィンドウＡＲ、擬似サウンドシステム、オービスレーダー、スイッチ出力システム、フロントライト、シートベルト、ＡピラーＡＲ、スマホ、ウェアラブルデバイス、タブレット端末などを使用することができる。
【００５５】
また、乗員ＨＭＩ制御コントローラで制御される出力系システム（報知部３１）には、ナビモニター、セカンドモニター、音出力システム、シート出力システム、ウィンドウ、後席ディスプレイ、非接触触感核出力システム、匂い出力システム、肘かけ出力システム、フロントウィンドウＡＲ、擬似サウンドシステム、ＡＲ出力ＡＲ、ゲーム端末、スイッチ出力システム、フロントライト、シートベルト、ＡピラーＡＲ、スマホ、ウェアラブルデバイス、タブレット端末などを使用することができる。
【００５６】
これらの出力系の下位システムは、単独で、または、組み合わせて報知部３１などに使用することができる。
【００５７】
そして、図９は、データベース１５の状況を示すものである。
【００５８】
車両１内のデータベース１５は、簡易データベースとなっており、例えば、ヒヤリハット関連データや、わくわく関連データや、簡易車内行動モデルなどを備えたものとされている。
【００５９】
そして、スタティックデータとして、車両Ｎｏ、ドライバー種別、乗員種別、日時、曜日、運転乗車回数などの情報を備えることができる。
【００６０】
車両状況には、速度、緯度経度、高度、斜度、アクセル状態、ブレーキ状態、クラッチ状態、ウィンカ状態、ギア状態、ワイパー状態、ドアミラー状態、シート状態、運転操作レベル、オーディオ状態、ワーニング状態、ライト状態、ステア状態、アイドル状態、エアコン状態、シートベルトなどの情報を備えることができる。
【００６１】
（周辺）環境情報には、歩行者状況、通信状態、道路状況、ルール、車両状況、信号状況、ＰＯＩ（Point of Interest）、自車位置状況、周辺上空移動体状況、ＳＮＳ、サーバー情報などの情報を備えることができる。このうち、自車位置状況には、緯度、高度、車線位置、湿度、天候、経度、斜度、温度、明るさ、透明度などの詳細情報を備えている。道路状況には、道路種別、車線数などの詳細情報を備えることができる。車両状況には、前方車両状況、並走車両状況、交差車両状況、後方車両状況などの詳細情報を備えることができる。また、歩行者状況、周辺上空移動体状況、信号状況などにも、各種の詳細情報を備えることができる。
【００６２】
ドライバー状況／乗員状況には、生体状況、視線、胎動、わくわく度、感動度、要求内容、運転（乗車）継続時間、満足度、感情、顔向き、見やすさ（まぶしさ）、聞きやすさ、発話内容、楽しさ、瞬き状態などの情報を備えることができる。このうち、生体状況には、覚醒度、脳波、脳血流、ＨｂＡｌｃ、血糖値、体感温度、疲れ、血圧、γ−ＧＰＴ、血中アミノ酸、心拍、体温、常備薬血中濃度、空腹感などの詳細情報を備えることができる。
【００６３】
また、音声収集装置２１は、内部に簡易データベースや簡易通常行動モデルなどを備えたものとされている。この際、ユーザ状況として、生体状況、視線、胎動、わくわく度、感動度、要求内容、運転（乗車）継続時間、満足度、感情、顔向き、見やすさ（まぶしさ）、聞きやすさ、発話内容、楽しさ、瞬き状態などの情報を備えることができる。このうち、生体状況には、覚醒度、脳波、脳血流、ＨｂＡｌｃ、血糖値、体感温度、疲れ、血圧、γ−ＧＰＴ、血中アミノ酸、心拍、体温、常備薬血中濃度、空腹感などの詳細情報を備えることができる。
【００６４】
クラウド２９のサーバーは、各種のデータベースや、車内行動モデルや、通常行動モデルを備えたものとされている。
【００６５】
＜作用＞以下、この実施例の作用について説明する。
【００６６】
図１に示すように、車両用事象判別装置では、先ず、音声データ認識部４が、車両１内で発せられた音声２から「音声データ３」を認識する。
【００６７】
次に、キーワード抽出部７が、音声データ認識部４で認識された音声データ３から、事象判別用に設定された言語モデル５（または事象判別言語モデル）を用いて、判別しようとする事象に関するキーワード６を抽出する（事象キーワード判別処理を行う）。
【００６８】
そして、音響判別部１２が、キーワード抽出部７で抽出されたキーワード６に伴う音響情報を、予め設定された通常音響モデル８（または通常時音響モデル）および特定音響モデル９（または事象判別音響モデル）と比較して乗員状態１１が通常状態であるか特定状態であるかを判別する（事象音声判別処理を行う）。
【００６９】
そして、判別事象特定部１６が、キーワード抽出部７で抽出されたキーワード６と、音響判別部１２で判別された乗員状態１１と、キーワード６が抽出された時点またはその前後における乗員状況１３（ドライバー状況を含む）、車両状況１４、データベース１５に蓄積されたデータのうちのいずれか１つに基いて、乗員に生じている事象を特定する（事象判別処理を行う）。
【００７０】
更に、データ登録部１８が、少なくとも、この判別事象特定部１６で特定された判別事象１７と、キーワード抽出部７で判別されたキーワード６とを関連付けたデータ（事象関連データ）を、データベース１５に登録する。
【００７１】
この際、音声収集装置２１が、車両１外で日常的に発せられた音声２を収集する。
【００７２】
そして、モデル育成部２２が、音声収集装置２１によって車両１外で日常的に収集された音声２から言語モデル５、通常音響モデル８、特定音響モデル９を育成する。
【００７３】
＜効果＞この実施例によれば、以下のような効果を得ることができる。
【００７４】
（効果１）例えば、車両１内で発せられる音声２のみを用いて言語モデル５や通常音響モデル８や特定音響モデル９などの基準となるモデルを育成しようとした場合、車両１内で発せられる音声２では量的に不足しているので、判別精度の高いモデルが育成されるまでには長い時間がかかってしまう。判別精度の高いシステムの育成には、例えば、１人の人間が２万ｋｍ走行するのに要する時間が必要などとされている。
【００７５】
そこで、外部の音声収集装置２１で、車両１外で発せられる日常的な音声２を収集して、モデル育成部２２で、車両１外の日常的な音声２を用いて言語モデル５や通常音響モデル８や特定音響モデル９などのモデルを育成させるようにした。これにより、短期間のうちに判別精度の高いモデルを得ることが可能となり、判別精度の高いモデルを用いた判別を容易に行うことが可能となる。
【００７６】
（効果２）必要な情報を車両１内に報知する報知部３１を備えるようにした。これにより、判別事象特定部１６で特定された判別事象１７に基いて、報知部３１で、必要な情報をタイミング良く車両１内に積極的に報知することができるようになる。よって、判別事象１７を基に、道路交通情報を配信したり、その他の有用な情報を提供したりすることができる。
【００７７】
（効果３）携帯端末２１ａ，２１ｂや固定端末２１ｆを音声収集装置２１として利用するようにした。携帯端末２１ａ，２１ｂは、個人が携帯して持ち歩くものなので、多くの音声２を集める音声収集装置２１としては最適なものである。また、固定端末２１ｆは、人が居住する場所などに設置されるものなので、音声収集装置２１として有効に利用することができる。これらにより、短時間のうちに、より多くの音声２（車両１外で発せられる日常的な音声２）を確実に収集することができる。また、携帯端末２１ａ，２１ｂや固定端末２１ｆには、各種のセンサー類が設けられているので、これらのセンサー類を活用することで、音声２以外の多くの種類の情報を収集して、音声２と関連付けることや、判別事象１７に対する判別精度を上げることも可能となる。
【００７８】
（効果４）判別事象１７は、ヒヤリハット事象としても良い。そして、ヒヤリハット事象を正確に判別できるようにすることで、安心して運転できるようにするための支援や、事故などの発生を未然に防止するための支援を行うことなどが可能となる。例えば、道路交通情報の収集や配信を行う情報集配信装置などとして活用することができる。
【００７９】
（効果５）判別事象１７は、わくわく事象としても良い。そして、わくわく事象を正確に判別できるようにすることで、車両１搭乗中の乗員の期待感を高めて、ドライブや運転の楽しさを演出するための支援を行うことなどが可能となる。即ち、情報集配信装置以外に、運転に新たな価値観を付与して、運転を有意義なものにするための案内装置などとして活用することができる。
【００８０】
（効果６）判別事象１７は、感動事象としても良い。そして、感動事象を正確に判別できるようにすることで、ドライブや運転を有意義なものにするための支援を行うことなどが可能となる。即ち、運転の本来の目的を高めるための案内装置などとして活用することができる。
【００８１】
（効果７）言語モデル５が、判別事象１７に関連するキーワード６をデータ化したものとされた。そして、通常音響モデル８が、日常的に発する言葉に付随する音量、抑揚、高さ、速さ、長さ、強さ、溜め、こぶし、しゃくり、ビブラート、ファルセット（ファルセット率、ファルセット変化度）、ブレス（ブレス形態）などの音響情報のうちの少なくとも１つを入力量として有するものとされた。また、特定音響モデル９が、判別事象１７に相当する時に発するキーワード６に付随する音量、抑揚、高さ、速さ、長さ、強さ、溜め、こぶし、しゃくり、ビブラート、ファルセット（ファルセット率、ファルセット変化度）、ブレス（ブレス形態）などの音響情報のうちの少なくとも１つを入力量として有するものとされた。
【００８２】
これにより、キーワード抽出部７は、言語モデル５を用いて判別事象１７に関するキーワード６を抽出することができる。そして、音響判別部１２は、車内でキーワード６を判別した時の音量、抑揚、高さ、速さ、長さ、強さ、溜め、こぶし、しゃくり、ビブラート、ファルセット（ファルセット率、ファルセット変化度）、ブレス（ブレス形態）などの音響情報のうちの少なくとも１つを、特定音響モデル９や通常音響モデル８に登録された音響情報と比較することで、乗員状態１１が特定状態であるか通常状態であるかを正確に判断することができる。
【００８３】
（効果８）言語モデル５、特定音響モデル９、通常音響モデル８を、個人別に作成するようにした。これにより、各個人に応じて、判別事象１７を正確に判断することができる。また、言語モデル５、特定音響モデル９、通常音響モデル８を、個人別に作成することで、その個人が、ドライバーとして乗車している場合でも、ドライバー以外で乗車している場合でも、常に事象の判別が正確にできるようになり、乗員全員についての判別事象１７を個別に正確に判断することが可能になる。また、使用する車両１を変更したような場合であっても、変更した車両１に対してこれらの各モデルを個人ごとに適用することで、そのまま事象の判別に使用できるようになる。更に、個人別に作成された言語モデル５、特定音響モデル９、通常音響モデル８を分類することで、傾向が似ている人に対して、同様の判断を行ったり、同様の情報を発信したりするようなこともできるようになる。
【００８４】
以上、実施例を図面により詳述してきたが、実施例は例示にしか過ぎないものである。よって、本発明は、実施例にのみ限定されるものではなく、要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれることは勿論である。また、例えば、各実施例に複数の構成が含まれている場合には、特に記載がなくとも、これらの構成の可能な組合せが含まれることは勿論である。また、複数の実施例や変形例が開示されている場合には、特に記載がなくとも、これらに跨がった構成の組合せのうちの可能なものが含まれることは勿論である。また、図面に描かれている構成については、特に記載がなくとも、含まれることは勿論である。更に、「等」の用語がある場合には、同等のものを含むという意味で用いられている。また、「ほぼ」「約」「程度」などの用語がある場合には、常識的に認められる範囲や精度のものを含むという意味で用いられている。
【符号の説明】
【００８５】
１      車両
２      音声
３      音声データ
４      音声データ認識部
５      言語モデル
６      キーワード
７      キーワード抽出部
８      通常音響モデル
９      特定音響モデル
１１    乗員状態
１２    音響判別部
１３    乗員状況
１４    車両状況
１５    データベース
１６    判別事象特定部
１７    判別事象
１８    データ登録部
２１    音声収集装置
２１ａ  携帯端末
２１ｂ  携帯端末
２１ｆ  固定端末
２２    モデル育成部
３１    報知部
【図１】
2018018184.tif 000003
【図２】
2018018184.tif 000004
【図３】
2018018184.tif 000005
【図４】
2018018184.tif 000006
【図５】
2018018184.tif 000007
【図６】
2018018184.tif 000008
【図７Ａ】
2018018184.tif 000009
【図７Ｂ】
2018018184.tif 000010
【図８】
2018018184.tif 000011
【図９】
2018018184.tif 000012