(57)【特許請求の範囲】
【請求項１】
ドライバの運転状態を推定する運転状態推定装置であって、
ドライバの顔を撮像する顔撮像部と、
前記顔撮像部が撮像した顔画像からドライバの鼻孔位置を認識する鼻孔位置認識部と、
前記鼻孔位置認識部が顔画像からドライバの鼻孔位置を認識できない場合に、当該ドライバに発声を要求する発声要求部と、
前記発声要求部の要求に応答してドライバが発声した音声を取得する音声取得部と、
前記音声取得部が取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定するマスク装着推定部と、
前記マスク装着推定部がマスクを装着していると推定した場合に、前記顔撮像部が撮像した顔画像からマスクの外形線を認識する外形線認識部と、
前記外形線認識部が認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識する顔状態認識部と、
前記顔状態認識部が眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識部が顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える、運転状態推定装置。
【請求項２】
前記マスク装着推定部は、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数と前記音声取得部が取得した音声の周波数とが類似する場合に、ドライバがマスクを装着していると推定することを特徴とする、請求項１に記載の運転状態推定装置。
【請求項３】
前記外形線認識部は、前記顔撮像部が撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識することを特徴とする、請求項１または２に記載の運転状態推定装置。
【請求項４】
前記マスク装着推定部がマスクを装着していると推定した場合に、前記外形線認識部が認識したマスクの外形線に基づいて、ドライバの鼻孔位置を推定する鼻孔位置推定部を更に備え、
前記顔状態認識部は、前記鼻孔位置推定部が推定した鼻孔位置に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識することを特徴とする、請求項１に記載の運転状態推定装置。
【請求項５】
前記運転状態推定部は、前記顔状態認識部が認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識部が認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することを特徴とする、請求項１〜４のいずれかに記載の運転状態推定装置。
【請求項６】
ドライバの運転状態を推定する運転状態推定方法であって、
ドライバの顔を撮像する顔撮像ステップと、
前記顔撮像部が撮像した顔画像からドライバの鼻孔位置を認識する鼻孔位置認識ステップと、
前記鼻孔位置認識ステップで顔画像からドライバの鼻孔位置を認識できない場合に、当該ドライバに発声を要求する発声要求ステップと、
前記発声要求ステップでの要求に応答してドライバが発声した音声を取得する音声取得ステップと、
前記音声取得ステップで取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定するマスク装着推定ステップと、
前記マスク装着推定ステップでマスクを装着していると推定した場合に、前記顔撮像ステップで撮像した顔画像からマスクの外形線を認識する外形線認識ステップと、
前記外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識する顔状態認識ステップと、
前記顔状態認識ステップで眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識ステップで顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える、運転状態推定方法。
【請求項７】
前記マスク装着推定ステップでは、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数と前記音声取得ステップで取得した音声の周波数とが類似する場合に、ドライバがマスクを装着していると推定することを特徴とする、請求項６に記載の運転状態推定方法。
【請求項８】
前記外形線認識ステップでは、前記顔撮像ステップで撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識することを特徴とする、請求項６または７に記載の運転状態推定方法。
【請求項９】
前記マスク装着推定ステップでマスクを装着していると推定された場合に、前記外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの鼻孔位置を推定する鼻孔位置推定ステップを更に備え、
前記顔状態認識ステップでは、前記鼻孔位置推定ステップで推定した鼻孔位置に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識することを特徴とする、請求項６に記載の運転状態推定方法。
【請求項１０】
前記運転状態推定ステップでは、前記顔状態認識ステップで認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識ステップで認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することを特徴とする、請求項６〜９のいずれかに記載の運転状態推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転状態推定装置、及び運転状態推定方法に関し、より特定的には、運転中にドライバがマスクを装着していたとしても、鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法に関する。
【背景技術】
【０００２】
従来、ドライバの運転状態を推定する技術として、ドライバの顔を撮像し、撮像した顔画像から得られるドライバの鼻孔の位置に基づいて、眼の位置を特定して眼の開度、及び顔の向きを判定することによって、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定する運転状態推定装置が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００１−５９５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来の運転状態推定装置では、運転中にドライバがマスクを装着している場合、マスクによって鼻孔が隠蔽され、撮像した顔画像から鼻孔の位置が特定できない。
【０００４】
そのため、眼の位置を特定して眼の開度を判定したり、顔の向きを判定したりすることができず、ドライバが閉眼状態であるか否かを推定することができないと共に、脇見状態であるか否かを推定することができない。
【０００５】
そこで、本発明は、上記問題に鑑みてなされた。すなわち、運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の局面は、ドライバの運転状態を推定する運転状態推定装置に向けられている。本発明は、ドライバの顔を撮像する顔撮像部と、顔撮像部が撮像した顔画像からマスクの外形線を認識する外形線認識部と、外形線認識部が認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識する顔状態認識部と、顔状態認識部が眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識部が顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える。
【０００７】
これにより、運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。
【０００８】
また、顔撮像部が撮像した顔画像からドライバの鼻孔位置を認識する鼻孔位置認識部と、鼻孔位置認識部が顔画像からドライバの鼻孔位置を認識できない場合に、当該ドライバに発声を要求する発声要求部と、発声要求部の要求に応答してドライバが発声した音声を取得する音声取得部と、音声取得部が取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定するマスク装着推定部とを更に備え、顔状態認識部は、マスク装着推定部がマスクを装着していると推定した場合に、外形線認識部が認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識し、運転状態推定部は、顔状態認識部が認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識部が認識した顔の向きから脇見状態であるか否かを推定することが好ましい。
【０００９】
これにより、ドライバがマスクをしていることを確実に推定でき、運転中にドライバがマスクを装着していたとしても、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。
【００１０】
また、マスク装着推定部は、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数と前記音声取得部が取得した音声の周波数とが類似する場合に、ドライバがマスクを装着していると推定することが好ましい。
【００１１】
これにより、ドライバがマスクをしていることを確実に推定でき、運転中にドライバがマスクを装着していたとしても、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。
【００１２】
また、外形線認識部は、前記顔撮像部が撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識することが好ましい。
【００１３】
これにより、マスクの外形線に基づいて、ドライバの眼の位置を特定でき、運転中にドライバがマスクを装着していたとしても、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。
【００１４】
また、マスク装着推定部がマスクを装着していると推定した場合に、外形線認識部が認識したマスクの外形線に基づいて、ドライバの鼻孔位置を推定する鼻孔位置推定部を更に備え、顔状態認識部は、前記鼻孔位置推定部が推定した鼻孔位置に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識し、運転状態推定部は、顔状態認識部が眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識部が顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定することが好ましい。
【００１５】
これにより、運転中にドライバがマスクを装着していたとしても、鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。
【００１６】
また、運転状態推定部は、前記顔状態認識部が認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識部が認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することが好ましい。
【００１７】
これにより、運転中にドライバがマスクを装着していたとしても、ドライバが閉眼状態であるか否かを確実に推定すると共に、脇見状態であるか否かを確実に推定することができる運転状態推定装置を提供することができる。
【００１８】
本発明の第２の局面は、ドライバの運転状態を推定する運転状態推定装置に向けられている。本発明は、ドライバの顔を撮像する顔撮像部と、顔撮像部が撮像した顔画像に対応するドライバの顔のサーモグラフ画像を取得するサーモグラフ画像取得部と、サーモグラフ画像取得部が取得した顔のサーモグラフに基づいて、顔撮像部が撮像した顔画像中の所定の温度よりも低い温度を示す顔の部分を鼻孔位置として推定する鼻孔位置推定部と、鼻孔位置推定部が推定した鼻孔位置に基づいて、顔撮像部が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する顔状態認識部と、顔状態認識部が認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識部が認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える。
【００１９】
これにより、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。
【００２０】
また、運転状態推定部は、顔状態認識部が認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識部が認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することが好ましい。
【００２１】
これにより、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを確実に推定すると共に、脇見状態であるか否かを確実に推定することができる運転状態推定装置を提供することができる。
【００２２】
本発明の第３の局面は、ドライバの運転状態を推定する運転状態推定方法に向けられている。本発明は、ドライバの顔を撮像する顔撮像ステップと、顔撮像ステップで撮像した顔画像からマスクの外形線を認識する外形線認識ステップと、外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識する顔状態認識ステップと、顔状態認識ステップで眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識ステップで顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える。
【００２３】
これにより、運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。
【００２４】
また、顔撮像部が撮像した顔画像からドライバの鼻孔位置を認識する鼻孔位置認識ステップと、鼻孔位置認識ステップで顔画像からドライバの鼻孔位置を認識できない場合に、当該ドライバに発声を要求する発声要求ステップと、発声要求ステップでの要求に応答してドライバが発声した音声を取得する音声取得ステップと、音声取得ステップで取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定するマスク装着推定ステップとを更に備え、顔状態認識ステップでは、前記マスク装着推定ステップでマスクを装着していると推定した場合に、外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識し、運転状態推定ステップでは、顔状態認識ステップで認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識ステップで認識した顔の向きから脇見状態であるか否かを推定することが好ましい。
【００２５】
これにより、ドライバがマスクをしていることを確実に推定でき、運転中にドライバがマスクを装着していたとしても、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。
【００２６】
また、マスク装着推定ステップでは、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数と前記音声取得ステップで取得した音声の周波数とが類似する場合に、ドライバがマスクを装着していると推定することが好ましい。
【００２７】
これにより、ドライバがマスクをしていることを確実に推定でき、運転中にドライバがマスクを装着していたとしても、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。
【００２８】
また、外形線認識ステップでは、顔撮像ステップで撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識することが好ましい。
【００２９】
これにより、マスクの外形線に基づいて、ドライバの眼の位置を特定でき、運転中にドライバがマスクを装着していたとしても、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。
【００３０】
また、マスク装着推定ステップでマスクを装着していると推定された場合に、外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの鼻孔位置を推定する鼻孔位置推定ステップを更に備え、顔状態認識ステップでは、前記鼻孔位置推定ステップで推定した鼻孔位置に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識し、運転状態推定ステップでは、顔状態認識ステップで眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識ステップで顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定することが好ましい。
【００３１】
これにより、運転中にドライバがマスクを装着していたとしても、鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。
【００３２】
また、運転状態推定ステップでは、前記顔状態認識ステップで認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識ステップで認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することが好ましい。
【００３３】
これにより、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを確実に推定すると共に、脇見状態であるか否かを確実に推定することができる運転状態推定装置を提供することができる。
【００３４】
本発明の第４の局面は、ドライバの運転状態を推定する運転状態推定方法に向けられている。本発明は、ドライバの顔を撮像する顔撮像ステップと、顔撮像ステップで撮像した顔画像に対応するドライバの顔のサーモグラフ画像を取得するサーモグラフ画像取得ステップと、サーモグラフ画像取得ステップで取得した顔のサーモグラフに基づいて、前記顔撮像ステップで撮像した顔画像中の所定の温度よりも低い温度を示す顔の部分を鼻孔位置として推定する鼻孔位置推定ステップと、鼻孔位置推定ステップで推定した鼻孔位置に基づいて、顔撮像ステップで撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する顔状態認識ステップと、顔状態認識ステップで認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識ステップで認識した顔の向きから脇見状態であるか否かを推定する運転状態推定ステップとを備える。
【００３５】
これにより、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。
【００３６】
また、運転状態推定ステップでは、顔状態認識ステップで認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔状態認識ステップで認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することが好ましい。
【００３７】
これにより、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを確実に推定すると共に、脇見状態であるか否かを確実に推定することができる運転状態推定方法を提供することができる。
【発明の効果】
【００３８】
運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法を提供することができる。
【発明を実施するための最良の形態】
【００３９】
（第１の実施形態）
以下、本発明の第１の実施の形態に係る運転状態推定装置について、図面に従って詳細に説明する。
【００４０】
図１は、本発明の第１の実施の形態に係る運転状態推定装置１００の全体構成を示すブロック図である。図１において、運転状態推定装置１００は、顔撮像部１１０、鼻孔位置認識部１２０、発声要求部１３０、音声取得部１４０、マスク装着推定部１５０、外形線認識部１６０、鼻孔位置推定部１７０、顔状態認識部１８０、及び運転状態推定部１９０を備える。
【００４１】
顔撮像部１１０は、ドライバの顔を撮像できる位置に配置されたドライバの顔を撮像する、例えばカメラである。カメラＡＳＳＹの中に、赤外線カメラとＬＥＤが搭載されている。
【００４２】
鼻孔位置認識部１２０は、顔撮像部１１０が撮像したドライバの顔画像を画像認識することによって、鼻孔位置を認識する。
【００４３】
発声要求部１３０は、鼻孔位置認識部１２０がドライバの鼻孔位置を認識できない場合に、音声案内、及び／又は表示案内によってドライバに発声を要求する。
【００４４】
音声取得部１４０は、発声要求部１３０の発声要求に応答してドライバが発声した音声を取得する、例えばマイクである。
【００４５】
マスク装着推定部１５０は、音声取得部１４０が取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定する。すなわち、マスク装着推定部１５０は、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数ｆ１と音声取得部１４０が取得した音声のＦＦＴ演算によって得られる周波数ｆ２とが、図２に示すように類似する場合に、ドライバがマスクを装着していると推定する。これにより、ドライバがマスクをしていることを確実に推定できる。
【００４６】
外形線認識部１６０は、顔撮像部１１０が撮像した顔画像を画像認識することによって、顔撮像部１１０が撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識する。なお、外形線認識部１６０は、顔撮像部１１０が撮像した顔画像を画像認識することによって、顔撮像部１１０が撮像した顔画像中の略楕円形状の顔の外形線を認識してもよい。
【００４７】
鼻孔位置推定部１７０は、図３に示すように、顔撮像部１１０が撮像した顔画像中の外形線認識部１６０が認識した四角形状のマスクの外形線Ｌ１の横方向の中央、縦方向の上辺から約１センチメートルの位置を鼻孔位置Ｎと推定する。これにより、マスクの外形線に基づいて鼻孔の位置を推定できる。なお、鼻孔位置推定部１７０は、顔撮像部１１０が撮像した顔画像中の外形線認識部１６０が認識した略楕円形状の顔の外形線Ｌ２の略中央の位置を鼻孔位置Ｎと推定してもよい。
【００４８】
顔状態認識部１８０は、鼻孔位置推定部１７０が推定した鼻孔位置に基づいて、顔撮像部１１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識し、認識データを運転状態推定部１９０へ出力する。
【００４９】
運転状態推定部１９０には、プリクラッシュ制御システム等の車両を制御するシステムが含まれる。運転状態推定部１９０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する。プリクラッシュ制御システムは、このようなドライバの運転状態の推定により、車両と障害物との衝突の危険を報ずる警告や、衝突回避走行の制御などを実行するタイミングをドライバの疲れ具合等に応じて決定する。
【００５０】
以下、本発明の第１の実施の形態に係る運転状態推定装置１００の動作について、図４のフロー図に従って説明する。
【００５１】
まず、顔撮像部１１０は、ドライバの顔を撮像する（ステップＳ４０１）。次に、鼻孔位置推定部１７０は、顔撮像部１１０が撮像した顔画像から鼻孔位置が認識できたか否かを判定する（ステップＳ４０２）。
【００５２】
ステップＳ４０２において、鼻孔位置を認識できたと判定された場合、鼻孔位置推定部１７０は、鼻孔位置を特定する（ステップＳ４０２→ステップＳ４１１）。鼻孔位置の特定がなされると、顔状態認識部１８０は、鼻孔位置推定部１７０が特定した鼻孔位置に基づいて、顔撮像部１１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する（ステップＳ４１１→ステップＳ４０９）。顔状態が認識されると、運転状態推定部１９０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する（ステップＳ４０９→ステップＳ４１０）。
【００５３】
一方、ステップＳ４０２において、鼻孔位置を認識できたと判定されなかった場合、発声要求部１３０は、ドライバに発声を要求する（ステップＳ４０３）。音声取得部１４０は、発声要求に応答してドライバが発声した音声を取得する（ステップＳ４０４）。音声が取得されると、マスク装着推定部１５０は、音声取得部１４０が取得した音声を周波数分析する（ステップＳ４０５）。マスク装着推定部１５０は、周波数分析の結果、ドライバがマスクを装着しているか否かを推定する（ステップＳ４０６）。
【００５４】
ステップＳ４０６において、マスクを装着していないと推定された場合、鼻孔位置推定部１７０は、鼻孔位置を特定する（ステップＳ４０６→ステップＳ４１１）。鼻孔位置の特定がなされると、顔状態認識部１８０は、鼻孔位置推定部１７０が特定した鼻孔位置に基づいて、顔撮像部１１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する（ステップＳ４１１→ステップＳ４０９）。顔状態が認識されると、運転状態推定部１９０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する（ステップＳ４０９→ステップＳ４１０）。
【００５５】
一方、ステップＳ４０６において、マスクを装着していると推定された場合、外形線認識部１６０は、顔撮像部１１０が撮像した顔画像を画像認識することによって、顔撮像部１１０が撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識する（ステップＳ４０７）。マスクの外形線の認識がなされると、鼻孔位置推定部１７０は、顔撮像部１１０が撮像した顔画像中の外形線認識部１６０が認識した四角形状のマスクの外形線に基づいて、鼻孔位置を推定する（ステップＳ４０８）。鼻孔位置の推定がなされると、顔状態認識部１８０は、鼻孔位置推定部１７０が推定した鼻孔位置に基づいて、顔撮像部１１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する（ステップＳ４０８→ステップＳ４０９）。顔状態が認識されると、運転状態推定部１９０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する（ステップＳ４０９→ステップＳ４１０）。
【００５６】
このように、本発明によれば、運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法を提供することができる。
【００５７】
（第２の実施形態）
以下、本発明の第２の実施の形態に係る運転状態推定装置について、図面に従って詳細に説明する。
【００５８】
図５は、本発明の第２の実施の形態に係る運転状態推定装置２００の全体構成を示すブロック図である。図５において、運転状態推定装置２００は、顔撮像部２１０、サーモグラフ画像取得部２２０、鼻孔位置推定部２３０、顔状態認識部２４０、及び運転状態推定部２５０を備える。
【００５９】
顔撮像部１１０は、ドライバの顔を撮像できる位置に配置されたドライバの顔を撮像する、例えばカメラである。カメラＡＳＳＹの中に、赤外線カメラとＬＥＤが搭載されている。
【００６０】
サーモグラフ画像取得部２２０は、顔撮像部２１０が撮像した顔画像に対応するドライバの顔のサーモグラフ画像を取得する。
【００６１】
鼻孔位置推定部２３０は、サーモグラフ画像取得部２２０が取得した顔のサーモグラフに基づいて、顔撮像部２１０が撮像した顔画像中の所定の温度よりも低い温度を示す顔の部分を鼻孔位置として推定する。
【００６２】
顔状態認識部２４０は、鼻孔位置推定部２３０が推定した鼻孔位置に基づいて、顔撮像部２１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識し、認識データを運転状態推定部２５０へ出力する。
【００６３】
運転状態推定部２５０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する。
【００６４】
以下、本発明の第２の実施の形態に係る運転状態推定装置２００の動作について、図６のフロー図に従って説明する。
【００６５】
まず、顔撮像部２１０は、ドライバの顔を撮像する（ステップＳ６０１）。次に、サーモグラフ画像取得部２２０は、顔撮像部２１０が撮像した顔画像に対応するドライバの顔のサーモグラフ画像を取得する（ステップＳ６０２）。
【００６６】
サーモグラフ画像が取得されると、鼻孔位置推定部２３０は、サーモグラフ画像取得部２２０が取得した顔のサーモグラフに基づいて、顔撮像部２１０が撮像した顔画像中の所定の温度よりも低い温度を示す顔の部分を鼻孔位置として推定する（ステップＳ６０３）。
【００６７】
鼻孔位置が推定されると、顔状態認識部２４０は、鼻孔位置推定部２３０が推定した鼻孔位置に基づいて、顔撮像部２１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する（ステップＳ６０４）。
【００６８】
運転状態推定部２５０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する（ステップＳ６０５）。
【００６９】
このように、本発明によれば、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法を提供することができる。
【００７０】
上記実施の形態で説明した構成は、単に具体例を示すものであり、本願発明の技術的範囲を制限するものではない。本願の効果を奏する範囲において、任意の構成を採用することが可能である。
【産業上の利用可能性】
【００７１】
運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法等として有用である。
【図面の簡単な説明】
【００７２】
【図１】本発明の第１の実施の形態に係る運転状態推定装置の全体構成を示すブロック図
【図２】音声の周波数分析に係る模式図
【図３】鼻孔位置の推定の様子を示す模式図
【図４】本発明の第１の実施の形態に係る運転状態推定装置の動作を示すフロー図
【図５】本発明の第２の実施の形態に係る運転状態推定装置の全体構成を示すブロック図
【図６】本発明の第２の実施の形態に係る運転状態推定装置の動作を示すフロー図
【符号の説明】
【００７３】
１００  運転状態推定装置
１１０  顔撮像部
１２０  鼻孔位置認識部
１３０  発声要求部
１４０  音声取得部
１５０  マスク装着推定部
１６０  外形線認識部
１７０  鼻孔位置推定部
１８０  顔状態認識部
１９０  運転状態推定部
２００  運転状態推定装置
２１０  顔撮像部
２２０  サーモグラフ画像取得部
２３０  鼻孔位置推定部
２４０  顔状態認識部
２５０  運転状態推定部
【図１】
0004962917.tif 000002
【図２】
0004962917.tif 000003
【図３】
0004962917.tif 000004
【図４】
0004962917.tif 000005
【図５】
0004962917.tif 000006
【図６】
0004962917.tif 000007