(57)【要約】【課題】  運転者の心身状態の異常時に、同乗者とのコミュニケーションを促進し、車両運転走行時の運転者の異常状態の継続を防止する。【解決手段】  車両１００を運転する運転者の顔を撮像する撮像手段１と、運転者の心身状態を検出し、検出された運転者の心身状態に基づいて、異常があるか否かを判定し、運転者の心身状態に異常があると判定された場合、外部機器から入力される映像信号と、撮像手段１によって撮像される運転者の顔の映像信号とを合成し、合成された映像信号に基づく映像をモニタ３で表示させるよう制御するマイクロコンピュータ２とを備えることで実現する。【選択図】      図１
2005338934.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載される車両内コミュニケーション装置であって、
前記車両の運転操作を行う運転者の顔を撮像する撮像手段と、
前記運転者の心身状態を検出する心身状態検出手段と、
前記心身状態検出手段によって検出された運転者の心身状態に基づいて、運転者の心身状態が異常か否かを判定する判定手段と、
外部機器から供給される映像信号を入力する入力手段と、
前記入力手段によって入力された映像信号に基づく映像を表示する表示手段と、
前記判定手段によって運転者の心身状態に異常があると判定された場合に、前記入力手段によって入力された映像信号と、前記撮像手段によって撮像された運転者の顔の映像信号とを合成し、当該合成された映像信号を前記表示手段で表示させるように制御する制御手段と
を備えることを特徴とする車両内コミュニケーション装置。
【請求項２】
前記心身状態検出手段は、前記撮像手段で撮像された運転者の顔画像データに所定の画像処理を施して、前記運転者の心身状態として、居眠り、脇見、漫然状態、怒り、過度の緊張の何れかを検出し、
前記判定手段は、前記心身状態検出手段によって居眠り、脇見、漫然状態、怒り、過度の緊張のうち、何れかの心身状態が検出された場合に、前記運転者の心身状態が異常であると判定することを特徴とする請求項１に記載の車両内コミュニケーション装置。
【請求項３】
前記心身状態検出手段は、運転者の生体情報を検出して、前記運転者の心身状態として、居眠り、脇見、漫然状態、怒り、過度の緊張の何れかを検出する生体情報検出手段を更に備え
前記判定手段は、前記心身状態検出手段によって居眠り、脇見、漫然状態、怒り、過度の緊張のうち、何れかの心身状態が検出された場合に、前記運転者の心身状態が異常であると判定することを特徴とする請求項１に記載の車両内コミュニケーション装置。
【請求項４】
前記判定手段による運転者の心身状態に基づいた判定結果に応じて、前記運転者の心身状態を通知する文字情報を生成する文字情報生成手段を更に備え、
前記制御手段は、前記文字情報生成手段で生成された文字情報を前記合成された映像信号に付加し、当該映像信号に基づく映像を前記表示手段に表示させるように制御することを特徴とする請求項１に記載の車両内コミュニケーション装置。
【請求項５】
運転者を特定する運転者特定手段を更に備え、
前記文字情報生成手段は、前記運転者特定手段によって特定された前記運転者を示す文字を組み込んだ文字列の前記文字情報を生成することを特徴とする請求項４に記載の車両内コミュニケーション装置。
【請求項６】
前記運転者特定手段は、前記撮像手段によって撮像された顔画像データと、予め保持されているデータベース上の顔画像データとを比較照合して、前記運転者を特定することを特徴とする請求項５に記載の車両内コミュニケーション装置。
【請求項７】
前記判定手段は、前記心身状態検出手段によって検出された運転者の心身状態に基づいて判定する運転者の異常を、異常の程度によってレベル分けして判定し、
前記制御手段は、前記判定手段による運転者の心身状態の異常の程度が低い場合には、前記運転者の顔の映像が、前記入力手段によって入力される映像信号による映像よりも小さくなるように合成し、前記判定手段による運転者の心身状態の異常の程度が高い場合には、前記運転者の顔の映像が、前記入力手段によって入力される映像信号による映像よりも大きくなるように合成することを特徴とする請求項１に記載の車両内コミュニケーション装置。
【請求項８】
前記運転者以外の乗員の音声を入力する音声入力手段と、
前記音声入力手段によって入力された音声を前記運転者に対して出力する音声出力手段と、
前記判定手段によって前記運転者の心身状態に異常があると判定された場合に、前記音声入力手段と前記音声出力手段とを接続して、前記音声入力手段から入力された前記乗員の音声を、前記音声出力手段を介して前記運転者に出力させる接続回路と
を備えることを特徴とする請求項１乃至請求項７の何れかに記載の車両内コミュニケーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、 運転者の心身状態を検出し、検出された心身状態を運転者以外の乗員に通知する車両内コミュニケーション装置に関する。
【背景技術】
【０００２】
近年、運転者が陥る居眠り運転が、社会的にも大きな問題となっており、この居眠り運転を防止するための装置が考案、実施されている。例えば、遠隔地にいるオペレータが、運転者の居眠り状態を確実に把握できるようにし、運転者に対して十分な安全指導を行えるようにした居眠り運転防止システムが考案されている（特許文献１参照。）。
【０００３】
この特許文献１に記載された居眠り運転防止システムは、主局である車両管理側システムと、従局である車両側システムとから構成される。車両側システムは、車両管理側システムとデータ通信を行うデータ送受信手段と、車両の運転者の顔の表情を画像データとして入力する画像入力手段と、画像データの送信条件が成立したか否かを判断する送信条件判断手段と、運転者に注意を喚起すべく警告を行う警告手段と、車両管理側システムからの作動信号に基づき警告手段を作動させる警告作動手段とを含んで構成される。一方、車両管理側システムは、複数の車両側システムとデータ通信を行うデータ送受信手段と、車両側システムから送信された画像データを表示する画像データ表示手段と、データ送受信手段を介して車両側システムにおける警告手段を遠隔作動させる遠隔作動手段とを含んで構成される。
【０００４】
このような構成の技術によれば、車両側システムにおいて、画像データの送信条件が成立したときに、運転者の顔の表情を画像データとして入力し、この画像データが自動的に車両管理側システムに送信される。そして、車両管理側システムにおいて、車両側システムから送信された画像データを表示して、この表示データに基づいて運転者の疲労状況、即ち、居眠りに陥りそうか否かを判断し、必要に応じて車両側システムの警告手段を遠隔作動させる。
【０００５】
ここで、車両側システムは、現時刻に基づいてマップを参照して、画像データの送信時間を設定し、設定された画像データの送信時間になったときに、画像データの送信条件が成立したと判断する。このとき、車両管理側システムから車両側システムへは、送信指示信号が送信され、車両側システムにて画像データの送信条件が成立したと判断する。このように構成することにより、車両管理側システムは、運転者の状況を確認したいときに、車両側システムに画像データの送信指示指令を送信し、車両側システムにおいて、画像データ送信条件が成立したと判断される。
【０００６】
また、車両側システムは、車両の現在位置を測定し、測定された車両の現在位置に基づいてマップを参照して特定ルートの走行中か否かを判断する。特定ルート走行中であり、かつ、特定ルートの走行を開始してから所定時間経過毎に、画像データの送信条件が成立したと判断する。そして、車両側システムは、車両の走行速度を検出し、検出された車速に基づいてマップを参照して単調走行か否かを判断し、単調走行中であり、かつ単調走行を開始してから所定時間経過毎に、画像データの送信条件が成立したと判断する。このように、運転者が他者とコミュニケーションを取るといった行為は、居眠りだけに留まらず、他の心身的異常状態を矯正する効果がある。
【特許文献１】特開平１０−１１１９９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述の特許文献１に示された居眠り運転防止システムは、運転者が居眠りをしそうな時間帯、場面になると運転者の顔画像を遠隔地にいるオペレータに送信し、送信された顔画像をオペレータが判断して、運転者に対して警告をするというシステムである。
【０００８】
しかしながら、居眠りが起こりそうな時間や場面になると運転者の顔画像を遠隔地にいるオペレータの元に送信して運転者が居眠りをしているか否かを判断して警報を行うように構成されているので、複数の運転者の顔画像を同時に監視する必要があり、実際になんらかの異常事態に陥り、居眠りをしている運転者を見過ごしてしまう可能性があり、確実性に欠けるといった問題がある。すなわち、本当に居眠りをしている、すなわち異常状態に陥っている運転者が他にいても、オペレータにはそのことが判らず他の運転者の様子を監視するという問題を起こす可能性がある。
【０００９】
また、オペレータは、送信された顔画像によってのみ居眠り状態を判定するため、オペレータ個人の主観によるところが大きく、居眠り状態であるとする判定の基準に、オペレータ同士で相違がでてしまうといった問題もある。また、オペレータの判定基準を統一するためには、オペレータを専門的に教育する必要があるため、システムを稼働させるまでに多大なコストが必要となってしまうといった問題がある。
【００１０】
そこで、本発明は、上述したような問題を解決するために案出されたものであり、運転者の心身状態に応じて、同一車両に乗車している乗員と運転者との車両内コミュニケーションを運転者の運転操作を阻害することなく円滑に支援することができる車両内コミュニケーション装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、車両に搭載される車両内コミュニケーション装置であって、車両の運転操作を行う運転者の顔を撮像する撮像手段と、運転者の心身状態を検出する心身状態検出手段と、心身状態検出手段によって検出された運転者の心身状態に基づいて、運転者の心身状態が異常か否かを判定する判定手段と、外部機器から供給される映像信号を入力する入力手段と、入力手段によって入力された映像信号に基づく映像を表示する表示手段とを備える。
【００１２】
このような構成において、制御手段は、判定手段によって運転者の心身状態に異常があると判定された場合に、入力手段によって入力された映像信号と、撮像手段によって撮像された運転者の顔の映像信号とを合成し、合成された映像信号を表示手段で表示させるように制御することにより、運転者の顔の映像を運転者以外の乗員に視認させることによって、上述の課題を解決する。
【発明の効果】
【００１３】
本発明に係る車両内コミュニケーション装置によれば、運転者の心身状態が異常状態である場合に、運転者の顔を運転者以外の乗員に視認させるので、乗員が他の映像を視認している場合であっても同一車両に乗車している乗員と運転者との車両内コミュニケーションを運転者の運転操作を阻害することなく円滑に支援することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について図面を参照して説明する。
【００１５】
［第１実施形態］
第１実施形態に係る車両内コミュニケーション装置１０は、図１及び図２に示すように、運転者の顔を撮像するカメラ１と、カメラ１で撮像した顔画像データから、車両１００の運転操作を行う運転者の心身状態を検出し、車両１００の運転に適しているかどうかを判定するマイクロコンピュータ２と、ナビゲーションシステムの地図情報や、テレビ、ビデオといった映像ソースなどを出力表示する他、上述したマイクロコンピュータ２からの判定結果を出力表示するモニタ３とを備えている。
【００１６】
カメラ１は、撮像手段であって、例えば、ＣＣＤ（Charge Coupled Device）撮像素子を備えた小型形状の撮像装置である。図２に示すように、カメラ１は、車両１００のインストルメントパネル１０１上に、運転者の顔の略正面が撮像できる位置に設置される。カメラ１によって撮像された運転者の顔画像データは、ディジタル画像データとして、マイクロコンピュータ２に送出される。
【００１７】
マイクロコンピュータ２は、当該車両内コミュニケーション装置１０の動作を統括的に制御する制御装置であり、上述したような運転者の心身状態の検出を行う心身状態検出手段、検出された状態に応じた運転可能か否かの判定を行う判定手段として機能し、所定のソフトウェアに基づいて実行する。また、マイクロコンピュータ２は、図示しないナビゲーションシステムからの地図情報、テレビチューナで受信されたテレビジョン信号、ビデオ再生装置から送出されたビデオ信号、ビデオゲーム機からのビデオゲーム信号といった外部機器からの映像信号を入力する図示しない外部映像入力ポートと、この外部映像入力ポートから入力される映像信号を用いて所定の画像処理を施してモニタ３に出力する図示しない映像出力ポートとを有している。
【００１８】
マイクロコンピュータ２には、通常、入力手段として機能し、外部映像入力ポートを介して、上述したような外部機器からの映像信号が供給されている。マイクロコンピュータ２は、この映像信号にモニタ３での出力表示が可能なように所定の画像処理を施し、映像出力ポートを介してモニタ３に出力している。
【００１９】
また、マイクロコンピュータ２は、カメラ１から送出された顔画像データから、運転者の心身状態が車両１００を運転するのに適していないと判断した場合、この顔画像データを、モニタ３に表示可能な映像信号に変換する。そして、通常状態において出力される映像信号と合成し、映像出力ポートを介してモニタ３に送出するか、そのまま合成をせずに、外部からの映像信号の代わりに映像出力ポートを介して、モニタ３に送出するように映像切換制御する。これにより、マイクロコンピュータ２は、制御手段として機能する。
【００２０】
モニタ３は、例えば、横方向に６４０画素、縦方向に４８０画素が表示可能な液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）等からなる。このモニタ３は、上述したマイクロコンピュータ２の映像出力ポートに接続され、映像出力ポートを介して入力した映像信号を出力表示させる。なお、モニタ３の種別に限定されるものではなく、車両１００に搭載して好適なように薄型であればよく、例えば、有機ＥＬディスプレイ、無機ＥＬディスプレイといったバックライト装置を必要としない自発光型の薄型のディスプレイなどであってもよい。
【００２１】
モニタ３は、運転者の視界に直接映像情報が入ってこない位置で且つ、運転者以外の乗員が、出力表示された映像情報を見ることができる位置に設置される。例えば、図２に示すように、モニタ３は、車両１００の前部座席１０２の背面側で、後部座席１０３に搭乗する乗員が見やすい位置に設置されることになる。
【００２２】
通常、運転者以外の乗員は、このモニタ３を介して、車両１００に搭載されたナビゲーションシステムからの情報を視認したり、テレビやビデオの視聴をしたり、ビデオゲームで遊んだりすることができる。また、モニタ３は、上述したように、マイクロコンピュータ２が、運転者の心身状態が車両１００を運転するのに適していないと判断した場合には、マイクロコンピュータ２から送出される運転者の顔を表示して、運転者以外の乗員に通知することになる。
【００２３】
［車両内コミュニケーション装置１０の動作］
つぎに、上述したように構成された車両コミュニケーション装置１０の処理動作について図３に示すフローチャートを用いて説明をする。
【００２４】
この処理は、例えば車両１００のＩＧＮスイッチがオン状態とされることによってマイクロコンピュータ２に電源が投入されたことに応じて開始され、先ずステップＳ１において、カメラ１によって運転者の顔を撮像する。カメラ１によって撮像され、取得された顔画像データは、マイクロコンピュータ２に送出される。
【００２５】
次のステップＳ２において、マイクロコンピュータ２は、ステップＳ１で取得した顔画像データを使用して、運転者の心身状態を検出して異常状態を検出する運転者の異常状態検出処理を開始する。なお、この異常状態検出処理は、後で詳細に説明をする。
【００２６】
次のステップＳ３において、マイクロコンピュータ２は、 ステップＳ２で検出した運転者の心身状態に応じて、運転者の現在の心身状態が車両１００の運転に適した状態であるか否かを判定する。マイクロコンピュータ２は、運転者の心身状態が、車両１００の運転に適した通常状態であると判定した場合は、ステップＳ１へと処理を戻し、車両１００の運転に適さない異常状態であると判定した場合には、ステップＳ４へと処理を進める。運転者の異常状態が検出されず、ステップＳ３からステップＳ１へと処理が戻った場合には、マイクロコンピュータ２は、通常状態であるとして、映像出力ポートからモニタ３に外部機器からの映像信号を出力させる。なお、外部映像入力ポートにいずれの外部機器も接続されていない場合には、黒画面や、待機画面などをモニタ３に表示させる。
【００２７】
次のステップＳ４において、マイクロコンピュータ２は、外部機器から映像信号入力ポートを介して入力された映像信号を、映像出力ポートを介してモニタ３に供給しているか否かを検出する。つまり、モニタ３の表示状態を検出する。
【００２８】
次のステップＳ５において、マイクロコンピュータ２は、ステップＳ４の検出結果に応じて、外部機器から映像信号入力ポートを介して入力された映像信号が、映像出力ポートを介してモニタ３に供給されている場合は、処理をステップＳ６へと進め、外部機器からの映像信号がモニタ３に供給されていない場合は、処理をステップＳ７へと進める。
【００２９】
ステップＳ６において、マイクロコンピュータ２は、外部機器から映像信号入力ポートを介して映像信号が入力されているので、当該映像信号に、カメラ１で撮像した顔画像データを割り込ませて合成する際の画像サイズを決定する。顔画像データの割り込み画像サイズの決定処理については、後で詳細に説明をする。
【００３０】
一方、ステップＳ７において、マイクロコンピュータ２は、カメラ１で撮像した顔画像データを、モニタ３に供給するための映像信号に変換する。このとき、外部機器から、映像信号入力ポートを介して映像信号が供給されている場合には、映像信号に、ステップＳ６において決定された画像サイズとなるように顔画像データから生成した映像信号を合成して、モニタ３に送出する。これに対し、ステップＳ５にて外部機器から映像信号の入力がないと判定された場合には、合成処理をすることなく、そのまま顔画像データをモニタ３に送出する。
【００３１】
「運転者の異常状態検出処理」
ステップＳ２において、マイクロコンピュータ２によって実行される運転者の異常状態検出処理について説明をする。この運転者の異常状態とは、例えば、居眠り、脇見、漫然、怒り（イライラ）、過度の緊張といった、通常とは異なる冷静な判断を下すことのできない状態のことである。これらの異常状態を検出するための手法としては、例えば、以下に示すような、カメラ１で撮像され、マイクロコンピュータ２に入力された運転者の顔画像データを画像処理することで得られる情報に基づいて判定をする手法や、運転者の生体信号を検出し、この生体信号に基づいて判定する手法などを用いることができる。
【００３２】
顔画像データから画像処理により運転者の異常状態を検出する方法としては、例えば、居眠り状態を検出する手法、脇見を検出する手法、漫然運転を検出する手法、表情認識より怒りといったストレス状態を検出する手法などが挙げられる。このような既知の手法のうち、マイクロコンピュータ２は、何れかの手法を用いてもよい。
【００３３】
一例として、運転者の居眠り状態を検出する手法について説明をする。まず、マイクロコンピュータ２は、顔画像データから画像処理によって特徴量を抽出することで、運転者の眼の位置を検出し、さらに、眼が閉じられている時間である閉眼時間を測定する。
【００３４】
通常、閉眼時間は、短時間閉眼、中時間閉眼、長時間閉眼に大別することができ、心身正常状態である覚醒時、心身異常状態である覚低時においてそれぞれ異なる傾向で現れることになる。多少の個人差はあるが、通常、正常状態である場合は、眼を閉じている時間が少なく、短時間閉眼を多く繰り返すことになる。また、中時間閉眼は、居眠りに突入しそうな状態のときに最も頻繁に生ずることになる。長時間閉眼は、よほどの状態でない限り生ずることがない。このような一般的な閉眼時間の傾向を参酌しながら、毎回の閉眼時間長、運転者の状態、運転者の環境などを考慮して、居眠り評価基準の重みを変化させることで、閉眼時間に応じた高精度の居眠り状態の検出を実行することができる。
【００３５】
また、運転者の生体信号から運転者の異常状態を検出する手法についても、様々な手法が考案、実施されており、既知の手法のいずれを用いても良い。
【００３６】
例えば、運転者の生体信号としては、運転者の心拍数、脳波、発汗量、頭部の振動、皮膚電位、皮膚電気抵抗、瞬目、身体加速度、運転者とバックシート間の圧力といった体圧などがあり、それぞれの測定値によって、運転者の緊張度などを検出することができる。この生体信号から求められる緊張度の度合いによって、運転者の心身の異常状態を検出することができる。
【００３７】
具体的には、マイクロコンピュータ２は、図４に示すように、ステアリングハンドル１０４に備えられた検出電極１０４ａ，１０４ｂから、運転者の心拍数などの生体信号を検出し、検出した生体信号レベルに応じて、異常状態を判定することになる。これにより、マイクロコンピュータ２は、生体情報検出手段として機能する。
【００３８】
マイクロコンピュータ２は、実際には、心拍数、脳波、発汗量、居眠り、脇見、漫然、怒り（イライラ）、過度の緊張といった全ての異常状態を検出するわけではなく、何れかの異常状態を検出できた場合に、ステップＳ３の処理へと進み、運転に適した状態であるか否かを判定することになる。したがって、マイクロコンピュータ２は、少なくとも顔画像データから異常状態を検出する手法、又は、生体信号から異常状態を検出する手法の何れかを実行できればよい。この２つの手法を同時に行う場合は、処理負荷がかかってしまうが、精度を向上させることができる。なお、上述した手法以外にも、運転者の異常状態を検出する手法を柔軟に取り入れて対応することもできる。
【００３９】
「顔画像データの割り込みサイズの決定処理」
つぎに、ステップＳ６において実行される顔画像データの割り込みサイズの決定処理について説明をする。
【００４０】
例えば、マイクロコンピュータ２は、ステップＳ２，Ｓ３の運転者の異常状態検出、判定処理において、運転者の異常状態を大レベル、中レベル、小レベルの３段階のレベルの何れかであるかを判定する。このように異常状態をレベル毎に判定する場合、時間変化と共に、ステップＳ２，Ｓ３で検出して判定される異常状態が小レベル→中レベル→大レベルへと遷移するに従って、緊急性、速報性が高くなる。
【００４１】
例えば、モニタ３に図５（ａ）に示すようなナビゲーションシステムよりマイクロコンピュータ２に入力された地図情報から生成された地図画像ＭＧが表示されているとする。ステップＳ２，Ｓ３で、マイクロコンピュータ２は、検出した運転者の異常状態が小レベルであると判定した場合、図５（ｂ）に示すように、顔画像ＦＧのサイズを、地図画像ＭＧの画像サイズの、例えば、１／４以下程度に決定し、地図画像ＭＧ上に割り込ませる。さらに、マイクロコンピュータ２は、運転者の異常状態を中レベルと判定した場合、図５（ｃ）に示すように、顔画像ＦＧのサイズを、地図画像ＭＧのサイズと均等になるように決定し、地図画像ＭＧ上に割り込ませる。さらに、マイクロコンピュータ２は、運転者の異常状態を大レベルと判定した場合、図５（ｄ）に示すように顔画像ＦＧをモニタ３上の略全面に表示させ、地図画像ＭＧのサイズを、顔画像ＦＧの例えば１／４以下程度に決定する。すなわち、図５（ｂ）における地図画像ＭＧと、顔画像ＦＧとが入れ替わった状態の画像である。
【００４２】
また、異常状態が継続するような場合、異常状態のレベルが遷移しなくとも、顔画像ＦＧのサイズを図５（ｂ）→図５（ｃ）→図５（ｄ）のように変化させて、異常状態を強調するようにしてもよい。さらに、モニタ３の表示状態が、図５（ｄ）に示すような状態を継続してしまう場合には、図５（ｅ）に示すように、地図画像ＭＧを全く表示させず、運転者の顔画像ＦＧのみを全面に表示させ、異常状態を強調するようにしてもよい。
【００４３】
なお、一例として、地図情報から生成された地図画像ＭＧをモニタ３上に表示させる場合について説明をしたが、マイクロコンピュータ２は、外部機器から入力される映像信号の種別によらず、上述したの手法と同様にして顔画像データの割り込みサイズを決定し、モニタ３から出力表示させるようにする。
【００４４】
［第１実施形態の効果］
以上詳細に説明したように、本発明を適用した第１実施形態に係る車両内コミュニケーション装置１０によれば、通常状態において運転者以外の乗員が視聴している映像に、運転者の心身状態に応じて画像サイズが決定された映像を強制的に割り込ませるので、乗員にいち早く運転者の心身状態を通知することができる。これに応じて、乗員と運転者とのコミュニケーションを円滑に誘発させて、運転者の異常状態の継続を防止することができる。すなわち、同乗者が顔画像ではない他の映像を楽しんでいる場合であっても、当該映像の全部又は一部に顔画像を割り込ませることによって、同乗者と運転者の円滑なコミュニケーションを誘発させることができる。
【００４５】
また、この車両内コミュニケーション装置１０によれば、顔画像データを画像処理して、運転者の居眠り、脇見、漫然状態、怒り（イライラ）、過度な緊張の少なくとも１つを検出し、何れかの状態に陥っていると判断した場合に、運転者が異常状態にあると判定するので、運転者の異常状態を的確に検出することができる。
【００４６】
更に、この車両内コミュニケーション装置１０によれば、運転者の心拍、脳波、発汗量などの生体信号を収集して、運転者が異常である状態を判断するので、運転者の異常状態を的確に検出することができる。
【００４７】
更にまた、この車両内コミュニケーション装置１０によれば、運転者の異常状態のレベルが高い場合は、元の映像情報よりも運転者の顔画像サイズの方を大きくし、運転者の異常状態のレベルが小さい場合は、元の映像情報よりも運転者の顔画像サイズの方を小さくするので、異常状態のレベルに応じたコミュニケーションを円滑に誘発させることができる。
【００４８】
［第２実施形態］
つぎに、本発明を適用した第２実施形態に係る車両内コミュニケーション装置２０について説明する。
【００４９】
この車両内コミュニケーション装置２０は、図６に示すように、カメラ１と、マイクロコンピュータ１２と、モニタ３とを備え、図１及び図２を用いて説明をした車両内コミュニケーション装置１０のマイクロコンピュータ２をマイクロコンピュータ１２に代えた以外は全く同じ構成である。したがって、車両内コミュニケーション装置１０と同じ機能部には、同一符号を付し説明を省略する。
【００５０】
マイクロコンピュータ１２は、上述したマイクロコンピュータ２が備える運転者の心身状態を検出し、運転可能か否かを検出する運転状態検出機能を始めとする全ての機能の他に、運転者を特定する運転者特定機能と、特定された運転者の人物情報と、運転者の心身状態とからモニタ３上に出力表示させる文字情報を生成する文字情報生成機能とをさらに備える。マイクロコンピュータ２は、これらの各種機能をソフトウェアに基づいて実行することにより、運転者人物特定部２１、運転状態検出部２２及び文字情報生成部２３の各部を備えることになる。
【００５１】
この車両コミュニケーション装置２０の処理動作は、図７に示すように、先ずステップＳ１１において、カメラ１によって運転者の顔を撮像して、顔画像データを、マイクロコンピュータ１２に送出する。
【００５２】
次のステップＳ１２において、マイクロコンピュータ１２の運転者人物特定部２１は、予め登録されている人物のうち、車両１００を運転している運転者を特定し、当該特定した運転者の人物情報を取得する運転者特定処理を実行する。なお、運転者特定処理については後述する。
【００５３】
次のステップＳ１３において、マイクロコンピュータ１２の運転状態検出部２２は、運転者の心身状態を検出する運転者の異常状態検出処理を開始する。この異常状態検出処理については、第１実施形態で説明をしたので省略する。
【００５４】
次のステップＳ１４において、マイクロコンピュータ１２は、 検出した運転者の心身状態に応じて、運転者の現在の心身状態が車両１００の運転に適した状態であるのか否かを判定する。運転者の心身状態が、車両１００の運転に適した状態であると判定した場合は、処理をステップＳ１２へと戻し、運転に適さない異常状態であると判定した場合には、処理をステップＳ１５へと進める。
【００５５】
ステップＳ１５において、マイクロコンピュータ１２は、外部機器から映像信号入力ポートを介して入力された映像信号を、映像出力ポートを介してモニタ３に供給しているか否かを検出することで、モニタ３の表示状態を検出する。
【００５６】
次のステップＳ１６において、マイクロコンピュータ１２は、ステップＳ１５の検出結果に応じて、外部機器から映像信号入力ポートを介して入力された映像信号が、映像出力ポートを介してモニタ３に供給されている場合は、処理をステップＳ１７へと進め、外部機器からの映像信号がモニタ３に供給されていない場合は、処理をステップＳ１８へと進める。
【００５７】
ステップＳ１７において、マイクロコンピュータ１２は、外部機器から映像信号入力ポートを介して映像信号が入力されていることに応じて、カメラ１で撮像した顔画像データを、この映像信号が作る画像に割り込ませて合成する際のサイズを決定する。顔画像データの割り込みサイズの決定処理については、第１実施形態で説明したので省略する。
【００５８】
次のステップＳ１８において、マイクロコンピュータ１２の文字情報生成部２３は、ステップＳ１２において取得された運転者の人物情報と、ステップＳ１３，Ｓ１４で検出、判定された運転者の心身状態から、モニタ３上に出力表示させるための運転者を示す文字を組み込んだ文字列である文字情報を生成する。この文字情報生成処理については後述する。
【００５９】
次のステップＳ１９において、マイクロコンピュータ１２は、カメラ１で撮像した顔画像データを、モニタ３に供給するための映像信号に変換する。このとき、外部機器から、映像信号入力ポートを介して映像信号が供給されている場合には、映像信号にステップＳ１７において決定された画像サイズとなるように顔画像データから生成した映像信号を合成し、さらに、ステップＳ１８で生成した文字情報を付加して、モニタ３に送出する。
【００６０】
また、外部機器から映像信号の入力がない場合には、映像信号の合成処理をすることなく、顔画像データから生成された映像信号に、ステップＳ１８で生成された文字情報を付加してモニタ３に送出する。
【００６１】
「運転者特定処理」
つぎに、ステップＳ１２において、運転者人物特定部２１により実行される運転者特定処理について説明をする。
【００６２】
運転者人物特定部２１によって運転者を特定するには、様々な手法があるが、本例では、カメラ１で撮像された顔画像データと、予め登録してデータベース化しておいた顔画像の特徴情報とを照合処理することで運転者を特定する。マイクロコンピュータ１２は、運転者が特定されると、データベースから特定された運転者の人物情報を読み出して取得する。また、このように顔画像データを用いずに、他のバイオメトリックス、例えば指紋情報や、声紋情報といった、運転者固有の生態情報を取得して、マイクロコンピュータ１２によって照合処理をすることで、運転者を特定しても良い。
【００６３】
そして、マイクロコンピュータ１２は、運転者が特定されると、データベースから特定された運転者の人物情報を読み出して取得する。この場合、図７に示したフローチャートのように、顔画像データを取得する必要がないため、ステップＳ１１とステップＳ１２との順序を入れ替えるようにしてもよい。
【００６４】
上述した手法は、いずれも生体情報を取得してから、マイクロコンピュータ１２によってほぼ自動的に運転者を特定するようになっているが、例えば、スイッチなどに運転者となりうる人物を登録しておき、運転者となった人物が、運転時には、そのスイッチを入力することで、マイクロコンピュータ１２に運転者の人物情報を通知するといった、手動式の認証方法も適用することができる。
【００６５】
「文字情報生成処理」
つぎに、ステップＳ１８において実行される文字情報生成処理について説明をする。
【００６６】
このステップＳ１８の文字情報生成処理において、マイクロコンピュータ１２は、ステップＳ１２の運転者特定処理によって得られた人物情報から、人物名又は人物を特定できる呼称（ニックネームや、お父さん、お母さんといった家族称）を決定し、ステップＳ１３及びステップＳ１４の運転者の異常状態検出及び判定処理によって判定される運転者の異常状態のレベルに応じて、決定した人物名、呼称を組み込んだ文字情報を生成する。
【００６７】
例えば、マイクロコンピュータ１２は、異常状態が小レベルの場合、モニタ３を見ている乗員に対して、運転者との会話を促すような”○○さんとお話ししましょう”というような文字情報を生成して、当該文字情報を映像情報に付加してモニタ３に出力表示させる。
【００６８】
また、マイクロコンピュータ１２は、異常状態が中レベルの場合、モニタ３を見ている同乗者に対して、注意を喚起するような”○○さんが退屈しています。気をつけてあげてください”というような文字情報を生成し、当該文字情報を映像情報に付加してモニタ３に出力表示させる。
【００６９】
さらにまた、マイクロコンピュータ１２は、異常状態が大レベルの場合、モニタ３を見ている同乗者に対して、直接的に注意をするような”○○さんが眠そうです。注意してあげてください。”というような文字情報を生成し、当該文字情報を映像情報に付加してモニタ３に出力表示させる。
【００７０】
具体的には、文字情報生成部２３は、図８（ａ）乃至（ｆ）のように映像情報に文字情報ＭＪが付加されてモニタ３に出力表示させることになる。図８（ａ），（ｂ），（ｃ）は、マイクロコンピュータ１２に、外部機器からの映像信号、ここではナビゲーションシステムからの地図情報ＭＧに基づいた映像信号が入力されている場合の例であり、図８（ｄ），（ｅ），（ｆ）は、マイクロコンピュータ１２に、外部機器からの映像信号入力がない場合の例である。
【００７１】
また、文字情報生成部２３は、運転者の異常状態のレベルが、小レベル→中レベル→大レベルと変化することに応じて、図８（ａ）→図８（ｂ）→図８（ｃ）若しくは図８（ｄ）→図８（ｅ）→図８（ｆ）の順序でモニタ３上に出力表示される画像及び文字情報を変化させても良い。
【００７２】
また、マイクロコンピュータ１２は、ステップＳ１２の運転者特定処理において運転者を特定できなかった場合、”○○”さんという固有名詞を”運転者”、”ドライバー”といった普通名詞にしたり、呼称を付加せずに異常状態にレベルに応じた文字情報のみを生成しても良い。
【００７３】
［第２実施形態の効果］
以上詳細に説明したように、第２実施形態に係る車両内コミュニケーション装置２０によれば、通常状態で、運転者以外の同乗者が視聴している映像に、運転者の心身状態に応じて画像サイズが決定された映像を割り込ませると共に、当該映像に文字情報を付加するので、的確に運転者の心身状態がどのような状態かを同乗者に通知することができる。これに応じて、乗員は、運転者とのコミュニケーションを開始することで、運転者の異常状態が継続することを未然に防止することができる。
【００７４】
また、この車両内コミュニケーション装置２０によれば、運転者の人物特定を行った上で、当該特定された人物の呼称を文字情報に含めて同乗者に提示するので、更に同乗者とドライバのコミュニケーションを更に円滑に誘発させることができる。
【００７５】
更にまた、この車両内コミュニケーション装置２０によれば、カメラ１によって取得した顔画像データと、予めデータベース化しておいた画像データとを照合して人物特定を行うので、的確に運転者の人物特定を行うことができる。
【００７６】
［第３実施形態］
つぎに、第３実施形態に係る車両内コミュニケーション装置３０について図９及び図１０を用いて説明する。
【００７７】
図９及び図１０に示すように、車両内コミュニケーション装置３０は、カメラ１と、マイクロコンピュータ２と、モニタ３と、マイク４と、スピーカ５とを備え、図１及び図２を用いて説明をした車両内コミュニケーション装置１０にマイク４と、スピーカ５とを付加した以外は全く同じ構成である。したがって、車両内コミュニケーション装置１０と同じ機能部には、同一符号を付し説明を省略する。
【００７８】
マイク４は、運転者以外の同乗者の音声を収音する。マイク４は、例えば、図１０に示すように前部座席１０２の背面側の、後部座席１０３に搭乗する同乗者が発する声を収音しやすい位置に設置される。
【００７９】
スピーカ５は、マイク４で収音された同乗者の音声を、図示しない音声伝達回路を経由して運転者に対して出力する。スピーカ５は、例えば、図１０に示すように運転者が着座する運転席のヘッドレスト１０５部分に設置される。
【００８０】
続いて、図１１に示すフローチャートを用いて車両コミュニケーション装置３０の処理動作について説明をする。
【００８１】
ステップＳ２１において、カメラ１によって運転者の顔が撮像され、取得された顔画像データは、マイクロコンピュータ２に送出される。
【００８２】
次のステップＳ２２において、マイクロコンピュータ２は、運転者の心身状態を検出する運転者の異常状態検出処理を開始する。この異常状態検出処理については、第１実施形態で説明をしたので省略する。
【００８３】
次のステップＳ２３において、マイクロコンピュータ２は、 検出した運転者の心身状態に応じて、運転者の現在の心身状態が車両１００の運転に適した状態か否かを判定する。マイクロコンピュータ２は、運転者の心身状態が、車両１００の運転に適した状態であると判定した場合は、処理をステップＳ２４へと進め、運転に適さない異常状態であると判定した場合には、処理をステップＳ２５へと進める。
【００８４】
ステップＳ２４において、運転者の心身状態が、車両１００の運転に適した状態であると判定されたことに応じて、マイク４とスピーカ５とを接続する音声伝達回路をオフ状態にして機能を停止させて処理をステップＳ２１へと戻し、通常状態であるとして、映像出力ポートからモニタ３に外部機器からの映像信号を出力させる。
【００８５】
一方、ステップＳ２５において、運転者の心身状態が、車両１００の運転に適さない状態であると判定されたことに応じて、マイク４とスピーカ５とを接続する音声伝達回路をオン状態にし、機能をアクティブ状態とする。これにより、運転者以外の同乗者は、マイク４からスピーカ５を介して、運転者に対して自身の声を伝達することができる状態となる。例えば、同乗者は、マイク４から運転者の心身状態が異常であることに対して注意を呼びかけるメッセージを入力することが可能となる。
【００８６】
次のステップＳ２６において、マイクロコンピュータ２は、外部機器から映像信号入力ポートを介して入力された映像信号を、映像出力ポートを介してモニタ３に供給しているか否かを検出し、モニタ３の表示画面状態を検出する。
【００８７】
次のステップＳ２７において、マイクロコンピュータ２は、ステップＳ２６の検出結果に応じて、外部機器から映像信号入力ポートを介して入力された映像信号が、映像出力ポートを介してモニタ３に供給されている場合は、処理をステップＳ２８へと進め、外部機器からの映像信号がモニタ３に供給されていない場合は、処理をステップＳ２９へと進める。
【００８８】
ステップＳ２８において、マイクロコンピュータ２は、外部機器から映像信号入力ポートを介して映像信号が入力されていることに応じて、カメラ１で撮像した顔画像データを、この映像信号が作る画像に割り込ませ、合成する際のサイズを決定する。顔画像データの割り込みサイズの決定処理については、第１実施形態で説明をしたので省略する。
【００８９】
一方ステップＳ２９において、マイクロコンピュータ２は、カメラ１で撮像した顔画像データを、モニタ３に供給するための映像信号に変換する。このとき、外部機器から、映像信号入力ポートを介して映像信号が供給されている場合には、前記映像信号に、ステップＳ２８において決定された画像サイズとなるように顔画像データから生成した映像信号を合成して、モニタ３に送出する。
【００９０】
［第３実施形態の効果］
このように、第３実施形態に係る車両内コミュニケーション装置３０によれば、運転者以外の同乗者が視聴している映像に、運転者の心身状態に応じて画像サイズが決定された映像を強制的に割り込ませると共に、同時に、同乗者と運転者とを繋ぐマイク４とスピーカ５とが電気的に接続されるため、同乗者と運転者とのコミュニケーションを更に促進することができる。
【００９１】
［第４実施形態］
つぎに、第４実施形態に係る車両内コミュニケーション装置４０ついて図１２を用いて説明する。
【００９２】
この車両内コミュニケーション装置４０は、カメラ１と、マイクロコンピュータ１２と、モニタ３と、マイク４と、スピーカ５とを備え、図９及び図１０を用いて説明した車両内コミュニケーション装置３０のマイクロコンピュータ２を、図６を用いて説明をした車両内コミュニケーション装置２０のマイクロコンピュータ１２に代えた以外は、全く同じ構成である。したがって、車両内コミュニケーション装置２０，３０と同じ機能部には、同一符号を付し説明を省略する。
【００９３】
このような車両コミュニケーション装置４０の処理動作を図１３に示すフローチャートを用いて説明する。
【００９４】
先ずステップＳ３１において、カメラ１によって運転者の顔が撮像され、取得された顔画像データを、マイクロコンピュータ１２に送出させる。
【００９５】
次のステップＳ３２において、車両１００を運転している運転者を特定し、運転者の人物情報を取得する運転者特定処理が実行される。この運転者特定処理については、第２実施形態で説明をしたので省略する。
【００９６】
次のステップＳ３３において、マイクロコンピュータ１２は、運転者の心身状態を検出する運転者の異常状態検出処理を開始する。この異常状態検出処理については、第１実施形態で説明をしたので省略する。
【００９７】
次のステップＳ３４において、マイクロコンピュータ１２は、 検出した運転者の心身状態に応じて、運転者の現在の心身状態が車両１００の運転に適した状態であるか否かを判定する。マイクロコンピュータ１２は、運転者の心身状態が、車両１００の運転に適した状態であると判定した場合は、処理をステップＳ３５へと進め、運転に適さない異常状態であると判定した場合には、処理をステップＳ３６へと進める。
【００９８】
ステップＳ３５において、運転者の心身状態が、車両１００の運転に適した状態であると判定されたことに応じて、マイク４とスピーカ５とを繋ぐ音声伝達回路をオフ状態にして機能を停止させ、処理をステップＳ３２へと戻す。
【００９９】
一方ステップＳ３６において、運転者の心身状態が、車両１００の運転に適さない状態であると判定されたことに応じて、マイク４とスピーカ５とを繋ぐ音声伝達回路をオン状態にして、機能をアクティブ状態とすることにより、運転者以外の同乗者は、マイク４及びスピーカ５を介して、運転者に対して、自身の声を伝達することができる状態となる。
【０１００】
次のステップＳ３７において、マイクロコンピュータ１２は、外部機器から映像信号入力ポートを介して入力された映像信号を、映像出力ポートを介してモニタ３に供給しているか否かを検出し、モニタ３の表示画面状態を検出する。
【０１０１】
次のステップＳ３８において、マイクロコンピュータ１２は、ステップＳ３７の検出結果に応じて、外部機器から映像信号入力ポートを介して入力された映像信号が、映像出力ポートを介してモニタ３に供給されている場合は、処理をステップＳ３９へと進め、外部機器からの映像信号がモニタ３に供給されていない場合は、処理をステップＳ４０へと進める。
【０１０２】
次のステップＳ３９において、マイクロコンピュータ１２は、外部機器から映像信号入力ポートを介して映像信号が入力されていることに応じて、カメラ１で撮像した顔画像データを割り込ませて、合成する際のサイズを決定する。顔画像データの割り込みサイズの決定処理については、第１実施形態で説明をしたので省略する。
【０１０３】
ステップＳ４０において、マイクロコンピュータ１２は、ステップＳ３２において、取得された運転者の人物情報と、ステップＳ３３，Ｓ３４で検出して判定された運転者の心身状態から、モニタ３上に出力表示させる文字情報を生成する。この文字情報生成処理については、第２実施形態で説明をしたので省略する。
【０１０４】
ステップＳ４１において、マイクロコンピュータ１２は、カメラ１で撮像した顔画像データを、モニタ３に供給するための映像信号に変換する。このとき、外部機器から、映像信号入力ポートを介して映像信号が供給されている場合には、ステップＳ３９において決定された画像サイズとなるように顔画像データから生成した映像信号を合成し、さらに、ステップＳ４０で生成した文字情報を付加して、モニタ３に送出する。
【０１０５】
また、外部機器から映像信号の入力がない場合には、映像信号の合成処理をすることなく、顔画像データから生成された映像信号に、ステップＳ４０で生成された文字情報を付加してモニタ３に送出する。
【０１０６】
［第４実施形態の効果］
このような第４実施形態に係る車両内コミュニケーション装置４０によれば、運転者以外の同乗者が視聴している映像に、運転者の心身状態に応じて画像サイズが決定された映像を割り込ませると共に文字情報を提示し、更に、音声伝達回路をオン状態にすることにより、更に確実且つ的確に同乗者と運転者とのコミュニケーションを促進することができる。
【０１０７】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【０１０８】
【図１】本発明を適用した第１実施形態に係る車両コミュニケーション装置の構成を示したブロック図である。
【図２】本発明を適用した第１実施形態に係る車両コミュニケーション装置を車両へ設置した様子を示した図である。
【図３】本発明を適用した第１実施形態に係る車両コミュニケーション装置の処理動作について説明するためのフローチャートである。
【図４】本発明を適用した第１実施形態に係る車両コミュニケーション装置が備えるステアリングハンドルを示した図である。
【図５】図５（ａ）乃至（ｅ）は、心身状態の異常レベルの違いに応じて、モニタに表示される画像を示した図である。
【図６】本発明を適用した第２実施形態に係る車両コミュニケーション装置の構成を示した図である。
【図７】本発明を適用した第２実施形態に係る車両コミュニケーション装置の処理動作について説明するためのフローチャートである。
【図８】図８（ａ）乃至（ｆ）は、心身状態の異常レベルの違いに応じて、モニタに表示される文字情報が付加された画像を示した図である。
【図９】本発明を適用した第３実施形態に係る車両コミュニケーション装置の構成を示した図である。
【図１０】本発明を適用した第３実施形態に係る車両コミュニケーション装置を車両へ設置した様子を示した図である。
【図１１】本発明を適用した第３実施形態に係る車両コミュニケーション装置の処理動作について説明するためのフローチャートである。
【図１２】本発明を適用した第４実施形態に係る車両コミュニケーション装置の構成を示した図である。
【図１３】本発明を適用した第４実施形態に係る車両コミュニケーション装置の処理動作について説明するためのフローチャートである。
【符号の説明】
【０１０９】
１  カメラ
２  マイクロコンピュータ
３  モニタ
４  マイク
５  スピーカ
１０，２０，３０，４０  車両内コミュニケーション装置
１２  マイクロコンピュータ
２１  運転者人物特定部
２２  運転状態検出部
２３  文字情報生成部
１００  車両
１０１  インストルメントパネル
１０２  前部座席
１０３  後部座席
１０４  ステアリングハンドル
１０５  ヘッドレスト
【図１】
2005338934.tif 000003
【図２】
2005338934.tif 000004
【図３】
2005338934.tif 000005
【図４】
2005338934.tif 000006
【図５】
2005338934.tif 000007
【図６】
2005338934.tif 000008
【図７】
2005338934.tif 000009
【図８】
2005338934.tif 000010
【図９】
2005338934.tif 000011
【図１０】
2005338934.tif 000012
【図１１】
2005338934.tif 000013
【図１２】
2005338934.tif 000014
【図１３】
2005338934.tif 000015