(57)【要約】【課題】ドライバの運転不能状態の検出漏れを低減することができる検出技術を提供する。【解決手段】運転不能状態検出装置は、取得部と、第１の検出部と、第２の検出部と、を備える。前記取得部は、自車両の車室内を撮影するカメラで得られた撮影画像を取得する。前記第１の検出部は、前記撮影画像に基づいてドライバの姿勢及び前記ドライバ以外の乗員の姿勢を検出する。前記第２の検出部は、前記第１の検出部の検出結果に基づいて、前記ドライバの運転不能状態を検出する。【選択図】図１
2019074965.tif 000002
【特許請求の範囲】
【請求項１】
自車両の車室内を撮影するカメラで得られた撮影画像を取得する取得部と、
前記撮影画像に基づいてドライバの姿勢及び前記ドライバ以外の乗員の姿勢を検出する第１の検出部と、
前記第１の検出部の検出結果に基づいて、前記ドライバの運転不能状態を検出する第２の検出部と、
を備える、運転不能状態検出装置。
【請求項２】
前記第２の検出部は、
前記第１の検出部によって検出される前記ドライバの姿勢に基づいて、前記ドライバが運転不能状態であるか否かを判定する第１の判定部と、
前記第１の判定部によって前記ドライバが運転不能状態でないと判定された場合に、前記第１の検出部によって検出される前記ドライバ以外の乗員の姿勢に基づいて、前記ドライバが運転不能状態であるか否かを判定する第２の判定部と、
を備え、
前記第１の判定部によって前記ドライバが運転不能状態であると判定された場合及び前記第２の判定部によって前記ドライバが運転不能状態であると判定された場合それぞれにおいて、前記ドライバの運転不能状態を検出する、請求項１に記載の運転不能状態検出装置。
【請求項３】
前記第１の検出部は、前記ドライバの姿勢を検出する処理と前記ドライバ以外の乗員の姿勢を検出する処理とを並列して実行する、請求項１又は請求項２に記載の運転不能状態検出装置。
【請求項４】
前記第１の検出部は、前記ドライバの姿勢及び前記自車両の助手席にいる乗員の姿勢を検出する、請求項１〜３のいずれか一項に記載の運転不能状態検出装置。
【請求項５】
前記第２の検出部は、前記第１の検出部が前記自車両の助手席にいる乗員の姿勢を検出している状態から前記第１の検出部が前記自車両の助手席にいる乗員の姿勢を検出できない状態に移行すると、前記ドライバの運転不能状態を検出する、請求項４に記載の運転不能状態検出装置。
【請求項６】
自車両の車室内を撮影するカメラと、
請求項１〜５のいずれか一項に記載の運転不能状態検出装置と、を備える、運転不能状態検出予測システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドライバの運転不能状態を検出する検出技術に関する。
【背景技術】
【０００２】
近年、ドライバの健康状態が急変し、運転の継続が困難な状況に陥ってしまう事故が複数発生している。このような事故を防止するために、ドライバが運転不能となった状態を自動検知する装置の開発が進められている。
【０００３】
例えば特許文献１で提案されているドライバの運転不能状態検出装置は、ドライバカメラにより撮像された運転席の画像に基づいて、ドライバの頭部を検出し、ドライバの胴体に対する頭部の傾きが相対傾き閾値より大きい場合に、ドライバが運転不能状態であることを検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−９２５５号公報（要約、段落００２４）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ドライバの胴体に対する頭部の傾きが小さい姿勢のままでドライバが運転不能状態に陥る場合もある。このような場合、特許文献１で提案されているドライバの運転不能状態検出装置はドライバの運転不能状態を検出することができない。
【０００６】
本発明は、上記課題に鑑みて、ドライバの運転不能状態の検出漏れを低減することができる検出技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の運転不能状態検出装置は、自車両の車室内を撮影するカメラで得られた撮影画像を取得する取得部と、前記撮影画像に基づいてドライバの姿勢及び前記ドライバ以外の乗員の姿勢を検出する第１の検出部と、前記第１の検出部の検出結果に基づいて、前記ドライバの運転不能状態を検出する第２の検出部と、を備える構成（第１の構成）である。
【０００８】
上記第１の構成の運転不能状態検出装置において、前記第２の検出部は、前記第１の検出部によって検出される前記ドライバの姿勢に基づいて、前記ドライバが運転不能状態であるか否かを判定する第１の判定部と、前記第１の判定部によって前記ドライバが運転不能状態でないと判定された場合に、前記第１の検出部によって検出される前記ドライバ以外の乗員の姿勢に基づいて、前記ドライバが運転不能状態であるか否かを判定する第２の判定部と、を備え、前記第１の判定部によって前記ドライバが運転不能状態であると判定された場合及び前記第２の判定部によって前記ドライバが運転不能状態であると判定された場合それぞれにおいて、前記ドライバの運転不能状態を検出する構成（第２の構成）であってもよい。
【０００９】
上記第１又は第２の構成の運転不能状態検出装置において、前記第１の検出部は、前記ドライバの姿勢を検出する処理と前記ドライバ以外の乗員の姿勢を検出する処理とを並列して実行する構成（第３の構成）であってもよい。
【００１０】
上記第１〜第３いずれかの構成の運転不能状態検出装置において、前記第１の検出部は、前記ドライバの姿勢及び前記自車両の助手席にいる乗員の姿勢を検出する構成（第４の構成）であってもよい。
【００１１】
上記第４の構成の運転不能状態検出装置において、前記第２の検出部は、前記第１の検出部が前記自車両の助手席にいる乗員の姿勢を検出している状態から前記第１の検出部が前記自車両の助手席にいる乗員の姿勢を検出できない状態に移行すると、前記ドライバの運転不能状態を検出する構成（第５の構成）であってもよい。
【００１２】
本発明の運転不能状態検出予測システムは、自車両の車室内を撮影するカメラと、上記第１〜第５いずれかの構成の運転不能状態検出装置と、を備える構成（第６の構成）である。
【発明の効果】
【００１３】
本発明によると、ドライバの運転不能状態の検出漏れを低減することができる。
【図面の簡単な説明】
【００１４】
【図１】運転不能状態検出装置の一構成例を示すブロック図
【図２】車室内撮影カメラで撮影される画像の一例を示す図
【図３Ａ】運転不能状態検出装置の動作例を示すフローチャート
【図３Ｂ】運転不能状態検出装置の他の動作例を示すフローチャート
【図４】車室内撮影カメラで撮影される画像の一例を示す図
【図５】車室内撮影カメラで撮影される画像の一例を示す図
【図６】背景差分処理の結果を示す画像の一例を示す図
【図７】頭部検出処理の結果を示す画像の一例を示す図
【発明を実施するための形態】
【００１５】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。図１は、運転不能状態検出装置の一構成例を示すブロック図である。運転不能状態検出装置１０は、車室内撮影カメラ１で得られた撮影画像からドライバの運転不能状態を検出する。ドライバの運転不能状態としては、例えば急病によりドライバが意識を失っている場合、ドライバが眠っている場合などがある。車室内撮影カメラ１及び運転不能状態検出装置１０は、車両に搭載される。運転不能状態検出システムは車室内撮影カメラ１及び運転不能状態検出装置１０によって構成される。以下、運転不能状態検出装置１０が搭載される車両を「自車両」という。
【００１６】
車室内撮影カメラ１は、車両の車室内を一方向から撮影する単眼カメラである。車室内撮影カメラ１は、例えば運転席や助手席に座っている乗員のみならず後部座席に座っている乗員も俯瞰して撮影できるように車両の天井の前方中央部に設置するとよい。車室内撮影カメラ１を自車両の天井の前方中央部に設置した場合に車室内撮影カメラ１で撮影される画像は、例えば図２に示すようになる。
【００１７】
なお、夜間でも運転不能状態検出装置１０がドライバの運転不能状態を検出することができるように、車室内撮影カメラ１として近赤外対応カメラを採用し、車室内撮影カメラ１の撮影領域に近赤外光を照射する近赤外照明装置を車両の室内に設置することが好ましい。
【００１８】
運転不能状態検出装置１０は、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて運転不能状態検出装置１０を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、当該プログラムをプログラム実行装置上で実行することによって、その機能を実現するようにしてもよい。プログラム実行装置としては、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータを挙げることができる。
【００１９】
運転不能状態検出装置１０は、取得部１１と、第１の検出部１２と、第２の検出部１３と、を備える。
【００２０】
取得部１１は、車室内撮影カメラ１からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。すなわち、取得部１１によって取得される撮影画像の集合体が車室内撮影カメラ１で撮影された動画像である。そして、取得した撮影画像がアナログの場合には、取得部１１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。取得部１１は、取得した撮影画像、或いは、取得及び変換した撮影画像を第１の検出部１２に出力する。取得部１１から出力される１つの撮影画像が１つのフレーム画像となる。
【００２１】
第１の検出部１２は、取得部１１によって取得された撮影画像に基づいてドライバの姿勢及び自車両の助手席にいる乗員の姿勢を検出する。
【００２２】
第２の検出部１３は、ドライバの運転不能状態を検出する。具体的には、第２の検出部１３は、第１の判定部１３ａ及び第２の判定部１３ｂを備える。第１の判定部１３ａは、第１の検出部１２によって検出されるドライバの姿勢に基づいて、ドライバが運転不能状態であるか否かを判定する。第２の判定部１３ｂは、第１の判定部１３ａによってドライバが運転不能状態でないと判定された場合に、第１の検出部１２によって検出される自車両の助手席にいる乗員の姿勢に基づいて、ドライバが運転不能状態であるか否かを判定する。そして、第２の検出部１３は、第１の判定部１３ａによってドライバが運転不能状態であると判定された場合及び第２の判定部１３ｂによってドライバが運転不能状態であると判定された場合それぞれにおいて、ドライバの運転不能状態を検出する。
【００２３】
図３Ａは、運転不能状態検出装置１０の動作例を示すフローチャートである。運転不能状態検出装置１０は、電源が供給されている状態で図３Ａに示すフローチャートの動作を開始する。
【００２４】
まず、運転不能状態検出装置１０はエンジンオフ時に自車両のドアが施錠状態から解錠状態に切り替わったか否かを判定する（ステップＳ１０）。したがって、運転不能状態検出装置１０は、車両のドアが施錠状態か解錠状態かを通知する信号及びエンジンがオンであるかオフであるかを通知する信号を運転不能状態検出装置１０の外部から受け取る。なお、自車両が電気自動車である場合は、駆動輪を回転させるモータに電力を供給するモータ駆動装置に電源が供給されていない状態がエンジンオフに相当する。
【００２５】
エンジンオフ時に自車両のドアが施錠状態から解錠状態に切り替わると、取得部１１が図４に示す背景画像を取得する（ステップＳ２０）。取得部１１は背景画像を取得した後、所定の周期でフレーム画像を取得し続ける。
【００２６】
次に、第１の検出部１２が処理対象画像となるフレーム画像を決定する（ステップＳ３０）。
【００２７】
次に、第１の検出部１２は、処理対象画像上にドライバの頭部を検出する第１の検出領域及び自車両の助手席にいる乗員の頭部を検出する第２の検出領域を設定する（ステップＳ４０）。図５は、図４に示す背景画像上に第１の検出領域の外枠Ｆ１及び第２の検出領域の外枠Ｆ２を設定した画像である。なお、本実施形態では第１の検出領域の外枠Ｆ１及び第２の検出領域の外枠Ｆ２はそれぞれ矩形状であるが、他の形状であっても構わない。また、本実施形態ではステップＳ４０において第２の検出領域を設定したが、ステップＳ９０において第２の検出領域を設定してもよい。
【００２８】
さらに、第１の検出部１２は、ステップＳ４０において、処理対象画像の第１の検出領域内において背景差分処理を実行してドライバの抽出を試みる。具体的には、第１の検出部１２は、フレーム画像である背景画像と、フレーム画像であって背景画像より後に取得部１１によって取得される処理対象画像とを比較し、閾値に基づいて処理対象画像の第１の検出領域内を前景領域と背景領域とに区別し、第１の検出領域内の前景領域を用いてドライバの抽出を試みる。これにより、背景差分処理の負担が軽くなる。また、第１の検出領域からハンドル、シートベルトリトラクター、シフトノブ等の車両可動部品を外すことで、これらの車両可動部品が動くことで前景領域であると誤って区別されることを防止できる。
【００２９】
なお、第１の検出部１２が、例えば前景領域と背景領域との境界線を強調した画像を背景差分処理の結果として生成し、外部の表示装置に出力するようにしてもよい。図６は、抽出されたドライバと背景領域との境界線Ｂ１を強調した画像を背景差分処理の結果として生成した画像の一例である。
【００３０】
また、本実施形態とは異なり、第１の検出部１２が処理対象画像の全領域に対して背景差分処理を実行してもよい。これにより、漏れなく処理対象画像に背景差分処理を実行できる。
【００３１】
ステップＳ４０に続くステップＳ５０において、第１の検出部１２はドライバを抽出できたか否かを判定する。ドライバを抽出できていなければ、ステップＳ３０に戻る。
【００３２】
一方、ドライバを抽出できていれば、第１の検出部１２がドライバの姿勢を検出する（ステップＳ６０）。
【００３３】
具体的には、第１の検出部１２が処理対象画像の第１の検出領域（外枠Ｆ１で囲まれた領域）に対してドライバの頭部検出処理を実行し、ドライバの頭部検出処理結果に基づいてドライバの姿勢を検出する。頭部検出処理の具体的な手法は特に限定されないが、例えば頭部のＨＯＧ（Histograms of Oriented Gradients)特徴量を用いたAdaBoostアルゴリズムによる機械学習を実行する手法を挙げることができる。
【００３４】
なお、第１の検出部１２が、例えば頭部の検出箇所を強調した画像を頭部検出処理の結果として生成し、外部の表示装置に出力するようにしてもよい。図７は、ドライバの頭部の検出箇所を示す枠Ｆ３を含む画像を頭部検出処理の結果として生成した画像の一例である。
【００３５】
ステップＳ６０に続くステップＳ７０において、第１の判定部１３ａは、第１の検出部１２によって検出されるドライバの姿勢（特にドライバの頭部位置）に基づいて、ドライバが運転不能状態であるか否かを判定する。第１の判定部１３ａによってドライバが運転不能状態であると判定された場合（ステップＳ８０のＹＥＳ）、第２の検出部１３はドライバの運転不能状態を検出して他のサービスに通知し（ステップＳ１１０）、その後ステップＳ２０に戻る。他のサービスの例としては、自車両の自動停止を実行する実行部やドライバ、同乗者、車外の少なくとも一つに対する異常報知を実行する実行部などを挙げることができる。
【００３６】
第１の判定部１３ａによってドライバが運転不能状態でないと判定された場合（ステップＳ８０のＮＯ）、ドライバが正常な姿勢のままで運転不能状態に陥っていることもあり得るので、第１の検出部１２が自車両の助手席にいる乗員の姿勢を検出する（ステップＳ９０）。まず第１の検出部１２が処理対象画像の第２の検出領域内において背景差分処理を実行して自車両の助手席にいる乗員の抽出を試みる。具体的には、第１の検出部１２は、フレーム画像である背景画像と、フレーム画像であって背景画像より後に取得部１１によって取得される処理対象画像とを比較し、閾値に基づいて処理対象画像の第２の検出領域内を前景領域と背景領域とに区別し、第２の検出領域内の前景領域を用いてドライバの抽出を試みる。そして、自車両の助手席にいる乗員を抽出できていれば、第１の検出部１２が自車両の助手席にいる乗員の姿勢を検出する。具体的には、第１の検出部１２が処理対象画像の第２の検出領域（外枠Ｆ２で囲まれた領域）に対して自車両の助手席にいる乗員の頭部検出処理を実行し、ドライバの頭部検出処理結果に基づいて自車両の助手席にいる乗員の姿勢を検出する。
【００３７】
第２の判定部１３ｂは、第１の検出部１２によって検出される自車両の助手席にいる乗員の姿勢が正常であるか否かを判定することによってドライバが運転不能状態であるか否かを判定する（ステップＳ１００）。第２の判定部１３ｂによって自車両の助手席にいる乗員の姿勢が正常でないと判定された場合、第２の判定部１３ｂはドライバが運転不能状態であると判定し、第２の検出部１３はドライバの運転不能状態を検出して他のサービスに通知し（ステップＳ１１０）、その後ステップＳ３０に戻る。一方、第２の判定部１３ｂによって自車両の助手席にいる乗員の姿勢が正常であると判定された場合、第２の判定部１３ｂはドライバが運転不能状態でないと判定し、ドライバの運転不能状態が他のサービスに通知されることなく、ステップＳ１２０に移行する。
【００３８】
ステップＳ１２０において、運転不能状態検出装置１０はエンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わったか否かを判定する。エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わるというイベントが発生していなければ、ステップＳ３０に戻る。一方、エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わると、運転不能状態検出装置１０は図３Ａに示すフローチャートの動作を終了する。なお、運転不能状態検出装置１０が図３Ａに示すフローチャートの動作を終了した後に運転不能状態検出装置１０に電源が供給されると、運転不能状態検出装置１０は再び図３Ａに示すフローチャートの動作を開始する。
【００３９】
ドライバが運転不能状態に陥っている場合、自車両の助手席にいる乗員は例えばドライバを触ったり、自車両の助手席にいる乗員がドライバの方を向いていたり、自車両の助手席にいる乗員がハンドルなどの走行装置を触ったりとすることが想定される。このため、ドライバが運転不能状態に陥っている場合、自車両の助手席にいる乗員の姿勢は、正常でない可能性、すなわちドライバが運転不能状態に陥っていない場合と異なっている可能性が高い。したがって、ステップＳ９０及びＳ１００の処理を設けることで、ドライバの運転不能状態の検出漏れを低減することができる。
【００４０】
運転不能状態検出装置１０は、図３Ａに示すフローチャートの動作を行う代わりに図３Ｂに示すフローチャートの動作を行ってもよい。図３Ｂに示すフローチャートは、ステップＳ５０の判定においてドライバを抽出できていなければ、ステップＳ２０に戻る点、ステップＳ１２０の判定においてエンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わるというイベントが発生していなければ、ステップＳ２０に戻る点、及びステップＳ１１０の後にステップＳ２０に戻る点が図３Ａに示すフローチャートと異なっており、それ以外は図３Ａに示すフローチャートと同一である。図３Ｂに示すフローチャートでは、フローチャート内のループによって背景画像が更新されるので、シートポジションやシートベルトリトラクターの位置が変更された場合にその変更が反映された背景画像を取得部１１が取得できる。
【００４１】
なお、図３Ａに示すフローチャート又は図３Ｂに示すフローチャートにおいて、ステップＳ８０とステップＳ９０及びＳ１００との順番を入れ替えて、まず自車両の助手席にいる乗員の姿勢でドライバが運転不能状態である否かを判定し、自車両の助手席にいる乗員の姿勢でドライバが運転不能状態でないと判定された場合にドライバの姿勢でドライバが運転不能状態である否かを判定するようにしてもよい。
【００４２】
ここで、自車両の助手席にいる乗員がドライバ或いはハンドルなどの走行装置を触る場合には、自車両の助手席にいる乗員の頭部が第２の検出領域（外枠Ｆ２で囲まれた領域）内から第２の検出領域（外枠Ｆ２で囲まれた領域）の外部に移動する場合がある。この場合、第１の検出部１２が自車両の助手席にいる乗員の姿勢を検出している状態から検出できない状態に移行する。したがって、図３Ａに示すフローチャート又は図３Ｂに示すフローチャートにおいて、ステップＳ１００において、第１の検出部１２が自車両の助手席にいる乗員の姿勢を検出している状態から検出できない状態に移行する場合に、第２の判定部１３ｂは自車両の助手席にいる乗員の姿勢が正常でないと判定するようにしてもよい。これにより、ドライバの運転不能状態の検出漏れを低減することができる。
【００４３】
また、本実施形態では、ドライバの姿勢のみでドライバが運転不能状態であると判定できる場合には、自車両の助手席にいる乗員の姿勢に基づく判定を実行することなく、ドライバが運転不能状態であることを検出している。これにより、ドライバの姿勢のみでドライバが運転不能状態であると判定できる場合には、いち早くドライバが運転不能状態であることを検出することができる。
【００４４】
なお、本実施形態とは異なり、常にドライバの姿勢及び自車両の助手席にいる乗員の姿勢の両方に基づいてドライバが運転不能状態であるか否かを判定してもよい。
【００４５】
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の変形例は可能な範囲で組み合わせて実施されてよい。
【００４６】
上述した実施形態では、第１の検出部１２が自車両の助手席にいる乗員の姿勢を検出したが、自車両の助手席にいる乗員の姿勢の代わりに或いは自車両の助手席にいる乗員の姿勢に加えて、第１の検出部１２が自車両の後部座席にいる乗員の姿勢を検出し、第２の検出部１３が自車両の後部座席にいる乗員の姿勢にも基づいてドライバの運転不能状態を検出するようにしてもよい。ただし、自車両の後部座席にいる乗員の姿勢は、自車両の運転席や助手席に隠れて検出し難い場合があるため、第１の検出部１２が自車両の助手席にいる乗員の姿勢を少なくとも検出することが望ましい。
【００４７】
上述した実施形態では、ステップＳ６０においてドライバの姿勢を検出した後にステップＳ９０において自車両の助手席にいる乗員の姿勢を検出したが、例えばステップＳ９０を廃止し、ステップＳ６０において第１の検出部１２がドライバの姿勢を検出する処理と自車両の助手席にいる乗員の姿勢を検出する処理とを並列して実行するようにしてもよい。この場合、同一の画像に関して常にドライバの姿勢を検出する処理と自車両の助手席にいる乗員の姿勢を検出する処理とが並列して実行されるので、自車両の助手席にいる乗員の姿勢を検出する処理の結果が必要となったとき（ステップＳ８０においてＮＯと判定されたとき）に初めて自車両の助手席にいる乗員の姿勢を検出する処理が実行される場合に比べて、画像処理の手順を画一化（簡素化）することができる。
【００４８】
上述した実施形態では、例えば自車両の助手席にいる乗員が正常な姿勢のまま眠っていたら、ステップＳ９０及びＳ１００の処理を実行しても、ドライバの運転不能状態を検出することができない。したがって、ドライバの運転不能状態の検出精度を向上させるため、例えばドライバ及び自車両の助手席にいる乗員の視線を検出する視線検出装置を設けてもよい。ドライバの視線が固定状態又は目をつぶっているため検出不可状態であり且つ自車両の助手席にいる乗員の視線が固定状態又は目をつぶっているため検出不可状態であれば、ステップＳ１００においてＹＥＳと判定された場合でもステップＳ１１０に移行するようにすればよい。
【符号の説明】
【００４９】
１  車室内撮影カメラ
１０  運転不能状態検出装置
１１  取得部
１２  第１の検出部
１３  第２の検出部
１３ａ  第１の判定部
１３ｂ  第２の判定部
【図１】
2019074965.tif 000003
【図２】
2019074965.tif 000004
【図３Ａ】
2019074965.tif 000005
【図３Ｂ】
2019074965.tif 000006
【図４】
2019074965.tif 000007
【図５】
2019074965.tif 000008
【図６】
2019074965.tif 000009
【図７】
2019074965.tif 000010