(57)【要約】【課題】運転者の状態の誤検出や未検出に伴い警報情報が出力されることを抑制する。【解決手段】警報制御装置１０は、車両に設けられ、運転者を撮像する撮像装置１が撮像した運転者の画像を取得する取得部１２１と、撮像装置１が撮像する領域における光量の変化量を特定する変化量特定部１２３と、取得部１２１が取得した画像に基づいて、運転者の状態を検出する状態検出部１２２と、変化量特定部１２３が特定した光量の変化量が所定量以上になってから所定時間が経過するまでの間、状態検出部１２２における検出状況にかかわらず、運転者の状態が異常であることを示す警報情報を出力せず、変化量特定部１２３が特定した光量の変化量が所定量以上になってから所定時間が経過すると、状態検出部１２２における検出状況に基づいて警報情報を出力する出力制御部１２４と、を備える。【選択図】図２
2020024607.tif 000002
【特許請求の範囲】
【請求項１】
車両に設けられ、運転者を撮像する撮像装置が撮像した運転者の画像を取得する取得部と、
前記撮像装置が撮像する領域における光量の変化量を特定する変化量特定部と、
前記取得部が取得した前記画像に基づいて、前記運転者の状態を検出する状態検出部と、
前記変化量特定部が特定した前記光量の変化量が所定量以上になってから所定時間が経過するまでの間、前記状態検出部における検出状況にかかわらず、運転者の状態が異常であることを示す警報情報を出力せず、前記変化量特定部が特定した前記光量の変化量が前記所定量以上になってから前記所定時間が経過すると、前記状態検出部における検出状況に基づいて前記警報情報を出力する出力制御部と、
を備える警報制御装置。
【請求項２】
前記出力制御部は、前記変化量特定部が特定した前記光量の変化量が所定量以上になってから前記所定時間が経過するまでの間、前記状態検出部が検出した前記運転者の状態が異常を示していても、前記警報情報を出力せず、前記所定時間が経過すると、前記状態検出部が検出した前記運転者の状態が異常を示していることに応じて前記警報情報を出力する、
請求項１に記載の警報制御装置。
【請求項３】
前記出力制御部は、前記変化量特定部が特定した前記光量の変化量が所定量以上になってから前記所定時間が経過するまでの間、前記状態検出部が前記運転者の状態を検出できなくても前記警報情報を出力せず、前記所定時間が経過すると、前記状態検出部が前記運転者の状態を検出できなかったことに応じて前記警報情報を出力する、
請求項１又は２に記載の警報制御装置。
【請求項４】
前記出力制御部は、前記変化量特定部が特定した前記光量の変化量が所定量以上になってから、前記状態検出部が検出した前記運転者の状態が、運転者が正常であることを検出するまでの時間を前記所定時間に設定する、
請求項１から３のいずれか１項に記載の警報制御装置。
【請求項５】
コンピュータが実行する、
車両に設けられ、運転者を撮像する撮像装置が撮像した運転者の画像を取得するステップと、
前記撮像装置が撮像する領域における光量の変化量を特定するステップと、
取得された前記画像に基づいて、前記運転者の状態を検出するステップと、
特定された前記光量の変化量が所定量以上になってから所定時間が経過するまでの間、前記運転者の状態の検出状況にかかわらず、運転者の状態が異常であることを示す警報情報を出力せず、特定された前記光量の変化量が前記所定量以上になってから前記所定時間が経過すると、前記検出状況に基づいて前記警報情報を出力するステップと、
を備える警報制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、警報制御装置及び警報制御方法に関する。
【背景技術】
【０００２】
従来、車両を運転する運転者を撮像した画像に基づいて運転者の状態が異常であると判定すると、運転者の状態が異常であることを示す警報情報を出力することが行われている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−０６２９１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像装置が撮像する領域内の光量が急変した場合、撮像装置が備える絞り機構が光量の急変に追従できず、一時的に、撮像画像に基づく運転者の状態を異常であると誤検出したり、運転者の状態を検出できなくなったりすることがある。この場合、実際には運転者の状態が正常であるにもかかわらず、運転者の状態が異常であることを示す警報情報が出力されてしまうという問題が発生する。
【０００５】
そこで、本発明はこれらの点に鑑みてなされたものであり、運転者の状態の誤検出や未検出に伴い警報情報が出力されることを抑制することができる警報制御装置及び警報制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係る警報制御装置は、車両に設けられ、運転者を撮像する撮像装置が撮像した運転者の画像を取得する取得部と、前記撮像装置が撮像する領域における光量の変化量を特定する変化量特定部と、前記取得部が取得した前記画像に基づいて、前記運転者の状態を検出する状態検出部と、前記変化量特定部が特定した前記光量の変化量が所定量以上になってから所定時間が経過するまでの間、前記状態検出部における検出状況にかかわらず、運転者の状態が異常であることを示す警報情報を出力せず、前記変化量特定部が特定した前記光量の変化量が前記所定量以上になってから前記所定時間が経過すると、前記状態検出部における検出状況に基づいて前記警報情報を出力する出力制御部と、を備える。
【０００７】
前記出力制御部は、前記変化量特定部が特定した前記光量の変化量が所定量以上になってから前記所定時間が経過するまでの間、前記状態検出部が検出した前記運転者の状態が異常を示していても、前記警報情報を出力せず、前記所定時間が経過すると、前記状態検出部が検出した前記運転者の状態が異常を示していることに応じて前記警報情報を出力してもよい。
【０００８】
前記出力制御部は、前記変化量特定部が特定した前記光量の変化量が所定量以上になってから前記所定時間が経過するまでの間、前記状態検出部が前記運転者の状態を検出できなくても前記警報情報を出力せず、前記所定時間が経過すると、前記状態検出部が前記運転者の状態を検出できなかったことに応じて前記警報情報を出力してもよい。
【０００９】
前記出力制御部は、前記変化量特定部が特定した前記光量の変化量が所定量以上になってから、前記状態検出部が検出した前記運転者の状態が、運転者が正常であることを検出するまでの時間を前記所定時間に設定してもよい。
【００１０】
本発明の第２の態様に係る警報制御方法は、コンピュータが実行する、車両に設けられ、運転者を撮像する撮像装置が撮像した運転者の画像を取得するステップと、前記撮像装置が撮像する領域における光量の変化量を特定するステップと、取得された前記画像に基づいて、前記運転者の状態を検出するステップと、特定された前記光量の変化量が所定量以上になってから所定時間が経過するまでの間、前記運転者の状態の検出状況にかかわらず、運転者の状態が異常であることを示す警報情報を出力せず、特定された前記光量の変化量が前記所定量以上になってから前記所定時間が経過すると、前記検出状況に基づいて前記警報情報を出力するステップと、を備える。
【発明の効果】
【００１１】
本発明によれば、運転者の状態の誤検出や未検出に伴い警報情報が出力されることを抑制することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る車両制御装置の概要を説明する図である。
【図２】本実施形態に係る車両の内部構成を模式的に示す図である。
【図３】光量の変化量と、撮像装置が備える絞り機構が制御する絞り量と、出力許可フラグの値の関係を示す図である。
【図４】本実施形態に係る警報制御装置による警報情報の出力制御に係る処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１３】
図１は、本実施形態に係る警報制御装置１０の概要を説明する図である。警報制御装置１０は、例えば、車両Ｖに搭載されるコンピュータである。警報制御装置１０は、車両Ｖの運転席に設置された撮像装置１が撮影した車両Ｖの運転者Ｄの画像に基づいて、当該運転者Ｄの状態を検出する。警報制御装置１０は、運転者Ｄの状態が異常であることを検出すると、運転者Ｄの状態が異常であることを示す警報情報を出力する。
【００１４】
ところで、車両Ｖが日中に走行している場合に、車両Ｖがトンネルに侵入したり、トンネルから脱出したりすると、撮像装置１が撮像する領域における光量の変化量が著しく大きくなる。これにより、撮像装置１が備える絞り機構が絞りを適切に調整するまでの間、撮像した画像が一時的に運転者Ｄを正常に撮像できない状態となり、結果として、運転者Ｄが異常であると誤検出したり、運転者Ｄの状態が検出されなくなったりすることがある。
【００１５】
これに対して、本実施形態に係る警報制御装置１０は、撮像装置１が撮像する領域における光量の変化量を特定し、当該変化量が所定量以上になると、所定時間にわたって、運転者Ｄの状態の検出状況にかかわらず警報情報を出力しないように制御する。このようにすることで、警報制御装置１０は、運転者Ｄの状態の誤検出や未検出に伴い警報情報が出力されることを抑制することができる。以下に、警報制御装置１０の詳細な説明を行う。
【００１６】
［車両Ｖの構成］
警報制御装置１０の詳細な説明を行うにあたり、車両Ｖの内部構成について説明する。図２は、本実施形態に係る車両Ｖの内部構成を模式的に示す図である。車両Ｖは、撮像装置１、ＥＣＵ（Electronic Control Unit）２、及び警報制御装置１０を備える。
【００１７】
撮像装置１は、例えばカメラであり、上述したように車両Ｖの運転席に設けられる。撮像装置１は、所定時間（例えば、数十ミリ秒から数百ミリ秒）おきに車両Ｖを運転する運転者を撮像し、撮像画像を警報制御装置１０に出力する。本実施形態では、撮像装置１は、運転者の顔を撮像し、運転者の顔の画像を撮像画像として警報制御装置１０に出力する。また、撮像装置１は、撮像する領域における光量の変化量を示す変化量情報を警報制御装置１０に出力する。
【００１８】
ＥＣＵは、例えば、車両Ｖの全体を制御するコンピュータである。ＥＣＵは、警報制御装置１０から警報情報が入力されると、ＥＣＵに接続されているスピーカ（不図示）に警報音を鳴動させるように制御したり、車両Ｖを停止させたりする。
【００１９】
［警報制御装置１０の構成］
続いて、図２を参照しながら、警報制御装置１０の構成について説明する。警報制御装置１０は、図２に示すように、記憶部１１と、制御部１２とを備える。
【００２０】
記憶部１１は、例えば、ＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）である。記憶部１１は、制御部１２を機能させるための各種のプログラムを記憶する。
【００２１】
制御部１２は、図示しないＣＰＵ（Central Processing Unit）等のプロセッサを含む計算リソースである。制御部１２は、記憶部１１に記憶されているプログラムを実行することにより、取得部１２１、状態検出部１２２、変化量特定部１２３、及び出力制御部１２４として機能する。
【００２２】
取得部１２１は、所定時間おきに、撮像装置１が撮像した運転者の画像を取得する。
状態検出部１２２は、所定時間おきに、取得部１２１が取得した画像に基づいて、運転者の状態を検出する。
【００２３】
具体的には、状態検出部１２２は、取得部１２１が取得した運転者の顔を示す顔画像を解析することにより、運転者の顔の向き、顔の角度、開眼度を検出する。例えば、状態検出部１２２は、運転者の顔の向きを示す値、運転者の顔の角度を示す数値、開眼度を示す数値を特定することにより、運転者の顔の向き、顔の角度、開眼度を検出する。
【００２４】
状態検出部１２２は、運転者の顔の向きを示す値、運転者の顔の角度を示す数値、開眼度を示す数値のいずれかが、それぞれに対して予め設定されている閾値以上である場合、運転者の状態が異常であると特定し、運転者の状態が異常であることを示す異常検出情報を出力制御部１２４に出力する。
【００２５】
また、出力制御部１２４は、運転者の顔の向きを示す値、運転者の顔の角度を示す数値、開眼度を示す数値の全てが、それぞれに対して予め設定されている閾値未満である場合、運転者の状態が正常であると特定し、運転者の状態が正常であることを示す正常検出情報を出力制御部１２４に出力する。
【００２６】
また、状態検出部１２２は、取得部１２１が取得した画像に基づいて運転者の顔の向き、顔の角度、及び開眼度の少なくともいずれかを検出できない場合には、未検出を示す未検出情報を出力制御部１２４に出力する。
【００２７】
変化量特定部１２３は、撮像装置１が撮像する領域における光量の変化量を特定する。具体的には、変化量特定部１２３は、撮像装置１が出力する変化量情報を取得することにより、当該変化量情報に基づいて光量の変化量を特定する。
【００２８】
出力制御部１２４は、状態検出部１２２が検出した運転者の状態と、変化量特定部１２３が特定した光量の変化量とに基づいて、運転者の状態が異常であることを示す警報情報のＥＣＵ２への出力を制御する。
【００２９】
具体的には、出力制御部１２４は、変化量特定部１２３が特定した光量の変化量が所定量以上になると、光量の変化量が所定量以上となった時点から所定時間が経過するまでの間、状態検出部１２２における検出状況にかかわらず、警報情報を出力しないように制御する。
【００３０】
出力制御部１２４は、変化量特定部１２３が特定した光量の変化量が所定量以上になってから所定時間が経過するまでの間、状態検出部１２２から異常検出情報が出力され、状態検出部１２２が検出した運転者の状態が異常を示していても、警報情報を出力しないように制御する。また、出力制御部１２４は、変化量特定部１２３が特定した光量の変化量が所定量以上になってから所定時間が経過するまでの間、状態検出部１２２から未検出情報が出力され、状態検出部１２２が運転者の状態を検出できない状態であっても、警報情報を出力しないように制御する。このようにすることで、警報制御装置１０は、運転者の状態の誤検出又は未検出に伴い警報情報が出力されることを抑制することができる。
【００３１】
また、出力制御部１２４は、変化量特定部１２３が特定した光量の変化量が所定量以上になってから所定時間が経過すると、状態検出部１２２における検出状況に基づいて警報情報を出力する。
【００３２】
出力制御部１２４は、変化量特定部１２３が特定した光量の変化量が所定量以上になってから所定時間が経過すると、状態検出部１２２から異常検出情報が出力され、状態検出部１２２が検出した運転者の状態が異常を示している場合、又は、状態検出部１２２から未検出情報が出力され、状態検出部１２２が運転者の状態を検出できない場合に、警報情報を出力する。このようにすることで、警報制御装置１０は、光量の変化量が所定量以上になってから所定時間が経過した時点で、運転者の状態に基づいて適切に警報情報を出力することができる。
【００３３】
例えば、出力制御部１２４は、警報情報を出力するか否かを制御するための出力許可フラグを変化させることにより、状態検出部１２２の検出状況に基づいて警報情報を出力するか否かを制御する。出力制御部１２４は、出力許可フラグの値が１である場合、状態検出部１２２における検出状況に基づいて警報情報を出力し、出力許可フラグの値が０である場合、状態検出部１２２における検出状況にかかわらず警報情報を出力しないように制御する。
【００３４】
図３は、光量の変化量と、撮像装置１が備える絞り機構が制御する絞り量と、出力許可フラグの値の関係を示す図である。例えば、車両Ｖが日中に道路を走行中である場合にトンネルに突入したりトンネルから脱出したりすると、撮像装置１の撮像領域における光量が大きく変化する。この場合、撮像装置１が備える絞り機構の絞り量が適切な量に制御されるまでに時間がかかる。
【００３５】
図３には、車両Ｖが日中に道路を走行中である場合にトンネルに突入した場合の光量の変化量と、撮像装置１が備える絞り機構が制御する絞り量とが示されている。図３に示す例では、時刻ｔ０から時間が経過し、時刻ｔ１になると、撮像装置１が備える絞り機構の絞り量が適切な量に制御される。これに対して、出力制御部１２４は、光量の変化量が所定量以上変化してから所定時間が経過するまでの間、すなわち、時刻ｔ０から時刻ｔ１までの間に、出力許可フラグを１から０に制御し、時刻ｔ０から時刻ｔ１までの間に警報情報を出力しないように制御する。
【００３６】
ここで、所定時間は、例えば、撮像装置１が光量の急変に対応して正常な画像が撮像できるまでの期間（例えば、絞り機構の絞り量が安定したことを示す所定値に収束するまでの時間）であり、数秒程度である。なお、出力制御部１２４は、所定時間を変化させるようにしてもよい。例えば、出力制御部１２４は、変化量特定部１２３が特定した光量の変化量が所定量以上になってから、状態検出部１２２が検出した運転者の状態が、運転者が正常であることを検出するまでの時間を所定時間に設定してもよい。このようにすることで、警報制御装置１０は、光量の変化量が所定量以上になった場合に、運転者の状態の誤検出又は未検出により警報情報が出力されることを確実に防止するとともに、撮像装置１が正常な画像を撮像できるようになった時点から運転者の状態に基づいて警報情報を出力することができる。
【００３７】
なお、出力制御部１２４は、出力許可フラグの値に基づいて警報情報を出力するか否かを制御したが、これに限らない。出力制御部１２４は、変化量特定部１２３が特定した光量の変化量が所定量以上になってから所定時間が経過するまでの間、状態検出部１２２が、運転者の状態が異常であるか正常であるかを判定するための閾値を、通常の閾値に比べて高くしてもよい。
【００３８】
この場合、状態検出部１２２は、運転者の顔の向き、運転者の顔の角度、開眼度が未検出である場合に、これらの値を、正常である場合よりも小さい値に設定するようにしてもよい。このようにすることで、状態検出部１２２は、変化量特定部１２３が特定した光量の変化量が所定量以上になってから所定時間が経過するまでの間、異常検出情報が出力されることが抑制され、運転者の状態の誤検出により警報情報が出力されることを抑制することができる。
【００３９】
［警報情報の出力制御に係る処理の流れ］
続いて、警報制御装置１０による警報情報の出力制御に係る処理の流れについて説明する。図４は、本実施形態に係る警報制御装置１０による警報情報の出力制御に係る処理の流れを示すフローチャートである。なお、本フローチャートの開始時に、出力許可フラグが１に設定されているものとする。
【００４０】
まず、取得部１２１は、撮像装置１が撮像した運転者の画像を取得する（Ｓ１）。
続いて、状態検出部１２２は、取得部１２１が取得した画像に基づいて、運転者の状態を検出する（Ｓ２）。
続いて、変化量特定部１２３は、撮像装置１が撮像する領域における光量の変化量を特定する（Ｓ３）。
【００４１】
続いて、出力制御部１２４は、Ｓ３において特定された光量の変化量が所定量以上であるか否かを判定する（Ｓ４）。出力制御部１２４は、特定された光量の変化量が所定量以上であると判定すると、Ｓ５に移し、出力許可フラグの値を０に設定する。出力制御部１２４は、特定された光量の変化量が所定量未満であると判定すると、Ｓ６に処理を移す。
【００４２】
続いて、出力制御部１２４は、出力許可フラグの値が０であるか否かを判定する（Ｓ６）。出力制御部１２４は、出力許可フラグの値が０であると判定すると、Ｓ７に処理を移し、出力許可フラグの値が０ではないと判定すると、Ｓ９に処理を移す。
【００４３】
Ｓ７において、出力制御部１２４は、光量の変化量が所定量以上となってから所定時間経過したか否かを判定する。出力制御部１２４は、所定時間経過したと判定すると、Ｓ８に処理を移し、所定時間経過していないと判定すると、Ｓ１に処理を移す。
【００４４】
Ｓ８において、出力制御部１２４は、出力許可フラグの値を１に設定する。
Ｓ９において、出力制御部１２４は、Ｓ２において検出された運転者の状態に基づいて警報情報を出力する。
【００４５】
［本実施形態の効果］
以上説明したように、本実施形態に係る警報制御装置１０は、撮像装置１が撮像する領域における光量の変化量が所定量以上になってから所定時間が経過するまでの間、状態検出部１２２における検出状況にかかわらず、運転者の状態が異常であることを示す警報情報を出力せず、光量の変化量が所定量以上になってから所定時間が経過すると、状態検出部１２２における検出状況に基づいて警報情報を出力する。
【００４６】
これにより、警報制御装置１０は、撮像装置１が撮像する領域における光量の変化量が著しく大きくなり、撮像装置１が備える絞り機構が絞りを適切に調整することができない間、運転者の状態の誤検出や未検出に伴い警報情報が出力されることを抑制することができる。
【００４７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００４８】
例えば、上述の実施形態では、撮像装置１が、撮像する領域における光量の変化量を示す変化量情報を警報制御装置１０に出力することとしたが、これに限らない。例えば、車両Ｖの運転席に、撮像装置１の撮像領域における光量の変化量を検出する検出装置を設けておき、検出装置が、当該領域における光量の変化量を示す変化量情報を警報制御装置１０に出力してもよい。
【００４９】
また、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
【符号の説明】
【００５０】
１・・・撮像装置
２・・・ＥＣＵ
１０・・・警報制御装置
１１・・・記憶部
１２・・・制御部
１２１・・・取得部
１２２・・・状態検出部
１２３・・・変化量特定部
１２４・・・出力制御部
Ｖ・・・車両
【図１】
2020024607.tif 000003
【図２】
2020024607.tif 000004
【図３】
2020024607.tif 000005
【図４】
2020024607.tif 000006