(57)【要約】【課題】乗員が運転に関する注意情報を含んだ会話を行った場合に、注意喚起を行う。【解決手段】車両１０００の乗員１０，１２，１４，１６，１８，２０の音声が入力される音声入力部３００と、音声に基づいて発話文を推定する発話文推定部４００と、発話文に車両の運転に関する注意情報が含まれるか否かを判定する注意情報判定部５００と、発話文に注意情報が含まれる場合に報知情報を出力する出力部８００と、を備える、車両用注意喚起装置２０００が提供される。【選択図】図２
2020154013.tif 000002
【特許請求の範囲】
【請求項１】
車両の乗員の音声が入力される音声入力部と、
前記音声に基づいて発話を推定する発話推定部と、
前記発話に前記車両の運転に関する注意情報が含まれるか否かを判定する注意情報判定部と、
前記発話に前記注意情報が含まれる場合に報知する報知部と、
を備えることを特徴とする、車両用注意喚起装置。
【請求項２】
前記出力部は、前記発話に前記注意情報が含まれる場合に、前記発話を出力することを特徴とする、請求項１に記載の車両用注意喚起装置。
【請求項３】
前記出力部は、前記発話に前記注意情報が含まれる場合に、前記発話を強調して出力することを特徴とする、請求項１に記載の車両用注意喚起装置。
【請求項４】
推定した前記発話を文字情報に変換する文字変換部を備え、
前記報知部は、前記文字情報を音声に変換する音声変換部を含み、前記報知をスピーカに出力することを特徴とする、請求項１〜３のいずれかに記載の車両用注意喚起装置。
【請求項５】
前記報知部は、前記発話に前記注意情報が含まれる場合に、前記変換された音声の音量を強調する音声強調部を含むことを特徴とする、請求項４に記載の車両用注意喚起装置。
【請求項６】
推定した前記発話を文字情報に変換する文字変換部を備え、
前記報知部は、前記報知を表示装置に出力することを特徴とする、請求項１〜３のいずれかに記載の車両用注意喚起装置。
【請求項７】
前記報知部は、前記発話に前記注意情報が含まれる場合に、前記文字情報を強調する文字強調部を含むことを特徴とする、請求項４又は６に記載の車両用注意喚起装置。
【請求項８】
前記注意情報の出力先である被情報提示者を決定する被情報提示者決定部を備え、
前記被情報提示者決定部は、前記発話に前記注意情報が含まれる場合に、前記車両のドライバを前記被情報提示者として決定することを特徴とする、請求項１〜７のいずれかに記載の車両用注意喚起装置。
【請求項９】
前記被情報提示者決定部は、前記発話文に前記注意情報が含まれない場合に、前記車両の乗員全員を前記被情報提示者として決定することを特徴とする、請求項８に記載の車両用注意喚起装置。
【請求項１０】
車両の乗員の音声が入力されるステップと、
前記音声に基づいて発話を推定するステップと、
前記発話文に前記車両の運転に関する注意情報が含まれるか否かを判定するステップと、
前記発話文に前記注意情報が含まれる場合に報知するステップと、
を備えることを特徴とする、車両用注意喚起方法。
【請求項１１】
車両の乗員の音声が入力される手段、
前記音声に基づいて発話を推定する手段、
前記発話文に前記車両の運転に関する注意情報が含まれるか否かを判定する手段、
前記発話文に前記注意情報が含まれる場合に報知する手段、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用注意喚起装置、車両用注意喚起方法及びプログラムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１には、車両に搭載され、搭乗者を支援する情報を提供する車載情報装置において、搭乗者の発話した音声を検知して取得する音声取得部と、音声取得部により取得した前記音声の発話内容を認識する音声認識部と、音声認識部により認識された前記発話内容を表示データまたは音声データとして生成および出力制御をする出力制御部と、出力制御部により生成された表示データまたは音声データを出力する出力部とを備える、車載情報装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１４／００２１２８号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両の運転中に、乗員が運転に関する注意情報を含んだ会話を行う場合がある。このような場合に、注意情報が未然に車両のドライバ（運転者）に伝われば、ドライバが運転に注意することができ、利便性が高くなる。しかし、上記特許文献１に記載された技術では、搭乗者の発話した発話内容を認識して、表示データまたは音声データとして出力することは想定しているものの、運転に関する注意情報が発話内容に含まれている場合の対処方法については何ら考慮していない。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、乗員が運転に関する注意情報を含んだ会話を行った場合に、注意喚起を行うことが可能な、新規かつ改良された車両用注意喚起装置、車両用注意喚起方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、車両の乗員の音声が入力される音声入力部と、前記音声に基づいて発話を推定する発話推定部と、前記発話文に前記車両の運転に関する注意情報が含まれるか否かを判定する注意情報判定部と、前記発話文に前記注意情報が含まれる場合に報知する報知部と、を備える、車両用注意喚起装置が提供される。
【０００７】
前記出力部は、前記発話文に前記注意情報が含まれる場合に、前記発話を出力するものであっても良い。
前記出力部は、前記発話に前記注意情報が含まれる場合に、前記発話を強調して出力するものであっても良い。また、前記出力部は車室内向けのみでなく、車室外向けに情報を出力もしくは送信してもよい。
【０００８】
また、推定した前記発話を文字情報に変換する文字変換部を備え、前記報知部は、前記文字情報を音声に変換する音声変換部を含み、前記報知をスピーカに出力するものであっても良い。また、前記変換部は翻訳や要約等を行ってもよい。
【０００９】
また、前記報知部は、前記発話に前記注意情報が含まれる場合に、前記変換された音声の音量を強調する音声強調部を含むものであっても良い。
【００１０】
また、推定した前記発話を文字情報に変換する文字変換部を備え、前記報知部は、前記報知を表示装置に出力するものであっても良い。
【００１１】
また、前記報知部は、前記発話に前記注意情報が含まれる場合に、前記文字情報を強調する文字強調部を含むものであっても良い。
【００１２】
また、前記注意情報の出力先である被情報提示者を決定する被情報提示者決定部を備え、前記被情報提示者決定部は、前記発話に前記注意情報が含まれる場合に、前記車両のドライバを前記被情報提示者として決定するものであっても良い。
【００１３】
また、前記被情報提示者決定部は、前記発話文に前記注意情報が含まれない場合に、前記車両の乗員全員を前記被情報提示者として決定するものであっても良い。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、車両の乗員の音声が入力されるステップと、前記音声に基づいて発話を推定するステップと、前記発話文に前記車両の運転に関する注意情報が含まれるか否かを判定するステップと、前記発話文に前記注意情報が含まれる場合に報知するステップと、を備える、車両用注意喚起方法が提供される。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、車両の乗員の音声が入力される手段、前記音声に基づいて発話を推定する手段、前記発話文に前記車両の運転に関する注意情報が含まれるか否かを判定する手段、前記発話文に前記注意情報が含まれる場合に報知する手段、としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００１６】
本発明によれば、乗員が運転に関する注意情報を含んだ会話を行った場合に、注意喚起を行うことが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る車両の平面構成を示す模式図である。
【図２】本実施形態に係る車両用注意喚起装置の構成を示す模式図である。
【図３】本実施形態に係る車両用注意喚起装置で行われる処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
図１は、本発明の一実施形態に係る車両１０００の平面構成を示す模式図である。図１に示すように、車両には、６名の乗員１０，１２，１４，１６，１８，２０が乗車している。６名のうち、乗員１０は車両のドライバである。
【００２０】
車両１０００内には、複数のスピーカ２００，２０２，２０４，２０６，２０８，２１０が設けられている。スピーカ２００はドライバである乗員１０に向けて音を発生させる。同様に、スピーカ２０２，２０４，２０６，２０８，２１０のそれぞれは、近くの乗員１２，１４，１６，１８，２０のそれぞれに対応して設けられ、乗員１２，１４，１６，１８，２０に向けて音を発生させる。
【００２１】
また、車両１０００内には、複数のディスプレイ（表示装置）２５０，２５２，２５４，２５６，２５８，２６０が設けられている。ディスプレイ２５０はドライバである乗員１０に向けた表示を行う。同様に、ディスプレイ２５２，２５４，２５６，２５８，２６０のそれぞれは、近くの乗員１２，１４，１６，１８，２０のそれぞれに対応して設けられ、乗員１２，１４，１６，１８，２０に向けた表示を行う。
【００２２】
また、車両１０００内には、３つのマイクロフォン１００，１０２，１０４が設けられている。マイクロフォン１００は、前列の乗員１０と乗員１２の声を集音する。マイクロフォン１０２は、中列の乗員１４と乗員１６の声を集音する。また、マイクロフォン１０４は、後列の乗員１８と乗員２０の声を集音する。
【００２３】
ところで、車両１０００内では、音により会話に支障が生じる場合がある。例えば、車内で音楽を聴いている場合、窓を開けている場合などは、会話以外の音により会話に支障が生じる場合がある。
【００２４】
本実施形態では、マイクロフォン１００，１０２，１０４で乗員１０，１２，１４，１６，１８，２０の声を集音し、スピーカ２００，２０２，２０４，２０６，２０８，２１０から出力する。特に、本実施形態では、マイクロフォン１００，１０２，１０４で集音した音を、一旦音声をテキスト情報（文字情報）に変換した後、テキスト情報から音声に再度変換し、スピーカ２００，２０２，２０４，２０６，２０８，２１０から出力する。また、マイクロフォン１００，１０２，１０４で集音した音を、テキスト情報に変換した後、ディスプレイ２５０，２５２，２５４，２５６，２５８，２６０に表示する。これにより、会話に支障が生じることを抑制できる。なお、音声をスピーカ２００，２０２，２０４，２０６，２０８，２１０から出力する場合に、テキスト変換を行わなくても良い。
【００２５】
また、乗員の会話には、車両の運転に関する注意情報が含まれる場合がある。例えば、乗員同士が、「右から車が接近してきた！」、「前方に渋滞の最後尾が迫っている」、「先行者との車間距離が短くなった」、「前方の道路が氷結している」などの会話をしている場合、これらの会話には注意情報が含まれている。このため、本実施形態では、会話に注意情報が含まれているか否かを判定し、注意情報が含まれている場合は、その発話を強調してスピーカ２００，２０２，２０４，２０６，２０８，２１０から出力する。特に、本実施形態では、会話に注意情報が含まれている場合は、スピーカ２００からドライバである乗員１０に向けて発話を強調して出力する。これにより、ドライバが注意情報の根源となる事象に気づくことができ、適切な対処を行うことが可能となる。
【００２６】
例えば、会話に「右から車が接近してきた！」という注意情報が含まれている場合、この発話をドライバである乗員１０のスピーカ２００から出力することで、ドライバは左にハンドルを切るなどの適切な対処を行うことができ、接近してきた車両との接触を回避できる。また、会話に「前方の道路が氷結している」という注意情報が含まれている場合、ドライバは予めブレーキを踏んで速度を落とすなどの適切な対処を行うことができ、スリップを回避できる。
【００２７】
図２は、本実施形態に係る車両用注意喚起装置２０００の構成を示す模式図である。図２に示すように、車両用注意喚起装置２０００は、マイクロフォン１００，１０２，１０４、スピーカ２００，２０２，２０４，２０６，２０８，２１０、ディスプレイ２５０，２５２，２５４，２５６，２５８，２６０に加えて、音声入力部３００、発話文推定部４００、注意情報判定部５００、被情報提示者決定部６００、出力部８００、を有して構成されている。出力部８００は、音声合成部７００を有し、音声合成部７００は、文字・音声変換部７１０、音声強調部７２０を含む。また、出力部８００は、文字合成部９００を有し、文字合成部９００は文字強調部９１０を含んでいる。なお、図２に示す車両用注意喚起装置２０００の各構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）によって構成されることができる。
【００２８】
音声入力部３００には、マイクロフォン１００，１０２，１０４で集音された乗員１０，１２，１４，１６，１８，２０の音声が入力される。入力された音声は、発話文推定部４００に送られる。発話文推定部４００では、音声認識を行い、乗員同士の会話に含まれる発話文を推定する。なお、発話文推定部４００は、発話文のみならず、発話（発話の内容）を推定することができる。発話の例として、例えば乗員が発する「人！」、「石！」などが挙げられる。
【００２９】
具体的に、発話推定部４００では、処理を大きく２つの機能に分割し、音響分析と音声認識を行う。音響分析では音声の符号化、ノイズ処理、補正等を行う。音声認識では、音響分析された符号化音声データに対して音響処理や言語処理によって音声認識を行い、最も確率の高い単語あるいは文字列を抽出する。このため、発話推定部４００は、音声データをテキスト情報に変換する文字変換部４５０を含んでいる。この音響処理、音声認識には、音響モデル、言語モデルが使用される。また、各モデルで利用される音響パターンや単語あるいは文字列などが登録されているものが辞書であり、辞書を充実することによって認識率の向上につなげることができる。なお、発話推定部４００による発話文の推定は、例えば前述した特許文献１に記載された手法、特開２００３−３２３１９１号公報等に記載された手法等を適宜適用することができる。
【００３０】
発話文推定部４００により音声データが認識され、テキスト情報に変換されると、テキスト情報は、出力部（報知部）８００の音声合成部７００、文字合成部９００に送られる。また、テキスト情報は、注意情報判定部５００に送られる。注意情報判定部５００では、テキスト情報の中に注意情報が含まれているか否かを判断する。例えば、注意情報判定部５００は、キーワード検出を行うことにより、テキスト情報の中に注意情報が含まれているか否かを判断する。キーワードとして、例えば「渋滞」、「雨」、「雪」、「後ろの車」、「隣の車線」、「路面」、「ガソリン」などを挙げることができる。注意情報判定部５００は、これらのキーワードを格納したデータベースを含む。注意情報判定部５００は、テキスト情報の中にこれらのキーワードが含まれている場合は、テキスト情報の中に注意情報が含まれていると判断する。テキスト情報の中に注意情報が含まれている場合は、その旨が音声合成部７００の音声強調部７２０、文字合成部８００の文字強調部８１０に送られる。
【００３１】
出力部８００は、テキスト情報の中に注意情報が含まれている場合は、注意情報を乗員に報知するための報知情報を出力する。このため、出力部８００の音声合成部７００は音声強調部７２０を含み、文字合成部９００は文字強調部９１０を含んでいる。出力部８００は、注意喚起のための音や光を出しても良い。
【００３２】
音声合成部７００に対して、発話文推定部４００の推定により得られたテキスト情報が入力されると、文字・音声変換部７１０は、テキスト情報を音声に変換する処理を行う。具体的に、文字・音声変換部７１０は、文字列から音声を合成する処理を行う。文字列から音声を合成する方法として、例えば特許第５５１２５９７号公報に記載された方法などを適宜適用することができる。音声合成は、文字列や単語を音素記号の集合と対応付けたデータベース（ＤＢ）と、各音素記号と波形を対応付けたデータベース（ＤＢ）を保有しておき、文字情報を音素記号の羅列に変換し、それを波形に変換することで実現される。
【００３３】
音声強調部７２０は、テキスト情報の中に注意情報が含まれている場合は、文字・音声変換部７１０での変換によって得られた音声の音量を変化させる。より具体的には、音声強調部７２０は、テキスト情報の中に注意情報が含まれている場合は、文字・音声変換部７１０での変換によって得られた音声の音量を増大させる。また、音声強調部７２０は、音量を増大させる方法以外の方法で、音声を強調しても良い。音声強調部７２０は、音質を変化させる、注意情報を複数回繰り返す、発話速度を変化させる、などの方法で音声を強調しても良い。例えば、１つの音信号に対応して変化させる電圧の周波数を変化させることによって、発話速度を変化させることができる。音量を増大させる場合、音声強調部７２０は、スピーカ２００，２０２，２０４，２０６，２０８，２１０の電圧に与える一律の係数を変更することによって、音量を変化させる。音声強調部７２０によって音量を変化させた上で、スピーカ２００，２０２，２０４，２０６，２０８，２１０から音声が出力される。なお、音声合成部７００では、基本的には乗員の会話をスピーカから出力する際に会話の音声を強調して出力するが、注意喚起を行うために警報音を出力したり、定型文の音声を出力するようにしても良い。
【００３４】
文字合成部９００に対して、発話文推定部４００の推定により得られたテキスト情報が入力されると、文字強調部９１０は、テキスト情報の中に注意情報が含まれている場合は、注意情報を強調する処理を行う。より具体的には、文字強調部９１０は、注意情報に該当する文字列を太字にする、色を変える、フォントサイズを大きくする、点滅させるなどの処理を行うことで強調する。文字強調部９１０によって注意情報が強調されたうえで、ディスプレイ２５０，２５２，２５４，２５６，２５８，２６０に発話内容が表示される。
【００３５】
被情報提示者決定部６００は、情報を提示する対象となる乗員を決定する。テキスト情報に注意情報が含まれている場合、被情報提示者決定部６００は、ドライバである乗員１０を被情報提示者として決定する。一方、テキスト情報に注意情報が含まれていない場合、被情報提示者決定部６００は、全ての乗員１０，１２，１４，１６，１８，２０を被情報提示者として決定する。このように、被情報提示者決定部６００によって決定された被情報提示者のみに音声による情報が提示されるように、出力先のスピーカが定められる。なお、テキスト情報に注意情報が含まれている場合においても、ドライバである乗員１０と助手席の乗員１２を被情報提示者として決定するなど、複数の乗員に対して情報提示を行っても良い。
【００３６】
なお、テキスト変換を行う前の音声データから注意情報が含まれているか否かを判定し、判定結果に基づいて、上述した音声の強調処理、文字の強調処理を行うこともできる。音声データに注意情報が含まれているか否かの判定は、音声情報の時系列的な周波数解析結果と、注意情報のキーワードの周波数特性を比較することによって行うことができる。
【００３７】
次に、図３のフローチャートに基づいて、本実施形態に係る車両用注意喚起装置２０００で行われる処理について説明する。なお、図３では、出力部８００の処理については、音声合成部７００で行われる処理を例に挙げて説明するが、文字合成部９００での処理も同様に行うことができる。先ず、ステップＳ１０では、音声入力部３００に音声が入力されたか否かを判定し、音声入力部３００に音声が入力された場合はステップＳ１２へ進む。ステップＳ１２では、発話文推定部４００が発話文の推定を行い、発話文のテキスト化を行う。次のステップＳ１４では、注意情報判定部５００が、テキスト化された発話文に注意情報が含まれるか否かを判定し、発話文に注意情報が含まれる場合はステップＳ１６へ進む。
【００３８】
ステップＳ１６では、被情報提示者決定部６００が、被情報提示者をドライバ（乗員１０）のみに決定する。次のステップＳ１８では、音声合成部７００の文字・音声変換部７１０が、テキスト化された発話文を音声に変換する。
【００３９】
次のステップＳ２０では、音声強調部７２０が、文字・音声変換部１０での変換により得られた音声の音量を上げる。次のステップＳ２２では、ドライバである乗員１０の近くのスピーカ２００から音声を出力する。ステップＳ２２の後は処理を終了する。
【００４０】
一方、ステップＳ１４で、テキスト化された発話文に注意情報が含まれない場合は、ステップＳ２４へ進む。ステップＳ２４では、被情報提示者決定部６００が、被情報提示者を全ての乗員１０，１２，１４，１６，１８，２０に決定する。次のステップＳ２６では、音声合成部７００の文字・音声変換部７１０が、テキスト化された発話文を音声に変換する。
【００４１】
ステップＳ２６の後はステップＳ２２へ進む。この場合、発話文に注意情報が含まれないため、音声強調部７２０による音量の変更を行うことなく、全てのスピーカ２００，２０２，２０４，２０６，２０８，２１０から音声を出力する。ステップＳ２２の後は処理を終了する。
【００４２】
なお、図３の処理では、ステップＳ１４で、テキスト化された発話文に注意情報が含まれない場合は、全ての乗員に対してスピーカから音声を出力こととしたが、テキスト化された発話文に注意情報が含まれない場合は、スピーカから音声を出力しなくても良い。この場合、スピーカによる拡声を行うことなく、通常会話が行われることになる。
【００４３】
本実施形態では、乗員の会話内容に運転に関する注意情報が含まれる場合に、運転者に対して注意を喚起する点について説明したが、注意情報を車両制御に適用しても良い。例えば、会話に「右から車が接近してきた！」という注意情報が含まれている場合に、車両を左に操舵するように制御を行っても良い。
【００４４】
以上説明したように本実施形態によれば、乗員の会話内容に運転に関する注意情報が含まれる場合に、運転者に対して注意を喚起することが可能となる。従って、注意情報に基づいて車両を最適に運転することができる。
【００４５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００４６】
１０，１２，１４，１６，１８，２０    乗員
２００，２０２，２０４，２０６，２０８，２１０    スピーカ
２５０，２５２，２５４，２５６，２５８，２６０    ディスプレイ（表示装置）
３００    音声入力部
４００    発話文推定部
４５０    テキスト変換部
５００    注意情報判断部
６００    被情報提示者決定部
７００    音声合成部
７１０    文字・音声変換部
７２０    音声強調部
８００    出力部
９００    文字合成部
９１０    文字強調部
１０００  車両
２０００  車両用注意喚起装置
【図１】
2020154013.tif 000003
【図２】
2020154013.tif 000004
【図３】
2020154013.tif 000005