(57)【要約】      （修正有）【課題】カメラの撮像画像から運転者の顔を検出する技術に関し、顔検出性能の維持と、誤検出の防止との両立を図る装置・方法・プログラムを提供する。【解決手段】本発明の運転者判定装置１００は、運転者を含む画像を撮像する撮像部１１０と、予め設定された運転者の典型的な顔位置を参照して、前記撮像部の撮像画像から、運転者の顔の候補を検出する顔検出部１１１と、前記顔検出部が検出した運転者の顔の候補の信頼度を前記典型的な顔位置に基づいて算出する信頼度算出部１１３と、前記信頼度算出部が算出した信頼度に応じて、前記顔検出部が検出した運転者の顔の候補が、運転者の顔であるかを判定する顔判定部と、前記顔判定部が運転者の顔であると判定した顔を処理対象の顔として追跡する顔追跡部と、前記算出した信頼度を参照して、処理対象の顔を切り替える顔切り替え部１１５とを有する。【選択図】図１
2020194224.tif 000002
【特許請求の範囲】
【請求項１】
運転者を含む画像を撮像する撮像部と、
予め設定された運転者の典型的な顔位置を参照して、前記撮像部の撮像画像から、運転者の顔の候補を検出する顔検出部と、
前記顔検出部が検出した運転者の顔の候補の信頼度を、前記典型的な顔位置に基づいて算出する信頼度算出部と、
前記信頼度算出部が算出した信頼度に応じて、前記顔検出部が検出した運転者の顔の候補が、運転者の顔であるかを判定する顔判定部と、
前記顔判定部が運転者の顔であると判定した顔を処理対象の顔として追跡する顔追跡部と、
前記信頼度算出部が算出した信頼度を参照して、前記処理対象の顔を切り替える顔切替部と、
を備えた運転者判定装置。
【請求項２】
前記顔切替部は、前記典型的な顔位置の外に、前記処理対象の顔が出た場合に、当該処理対象の顔を切り替える請求項１に記載の運転者判定装置。
【請求項３】
前記顔切替部は、前記信頼度に対する所定の閾値に基づいて前記処理対象の顔の切り替えの要否を判定するものであり、
前記顔切替部は、前記所定の閾値を、前記処理対象の顔の位置に応じて変更する請求項２に記載の運転者判定装置。
【請求項４】
前記運転者の典型的な顔位置の範囲を設定する顔範囲設定部をさらに備え、
前記顔範囲設定部は、前記顔切替部によって前記処理対象の顔を切り替える判断が行われた際に、前記顔切替部による前記処理対象の顔の切り替えに先立って、前記処理対象の顔のサイズに応じて、典型的な顔位置の範囲を設定する請求項１から３の何れか１項に記載の運転者判定装置。
【請求項５】
運転者を含む画像を撮像する撮像ステップと、
予め設定された運転者の典型的な顔位置を参照して、撮像画像から、運転者の顔の候補を検出する顔検出ステップと、
検出した運転者の顔の候補の信頼度を、前記典型的な顔位置に基づいて算出する信頼度算出ステップと、
算出した信頼度に応じて、検出した運転者の顔の候補が、運転者の顔であるかを判定する顔判定ステップと、
運転者の顔であると判定した顔を処理対象の顔として追跡する追跡ステップと、
前記信頼度を参照して、前記処理対象の顔を切り替える顔切替ステップと、
を含む運転者判定方法。
【請求項６】
請求項１から４の何れか１項に記載の運転者判定装置としてコンピュータを機能させるための運転者判定プログラムであって、前記顔検出部、前記信頼度算出部、前記顔判定部、および、前記顔切替部としてコンピュータを機能させるための運転者判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転者を判定する運転者判定装置、運転者判定方法、および運転者判定プログラムに関する。
【背景技術】
【０００２】
近年、車両走行時に運転者を支援する技術が車両に搭載されるようになってきている。このような技術には、例えば、カメラにより撮影された入力画像に基づいてドライバの顔の向きを推定し、当該推定結果に基づいてドライバの脇見を検出する装置がある。このような装置においては、ドライバの顔を撮影するカメラの故障などにより、ドライバの顔の向きを正確に推定することができなくなる場合がある。このため、推定された人の顔の向きと、予め設定されている、所定の方向を見た時の顔の向きとを比較することで、異常を検出する技術が知られている（例えば、特許文献１参照）。
【０００３】
また、車両の運転者の顔の画像に基づいて、運転者の眠気状態を推定するものもある。このような装置においては、カメラによって撮影された乗員の顔画像から抽出される顔特徴点と、予め学習積みの乗員状態を表す学習済みモデルとを比較することによって、乗員の状態を推定する技術が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２１９５７８号公報
【特許文献２】特開２００７−２５７０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述のように、カメラの撮像画像から運転者の顔を検出する技術では、運転者が横を向いた、または運転者が顔を遮蔽する動作を行った等の理由で運転者の顔全体が見えにくくなるため、運転者の顔が正しく検出できなくなる場合がある。
【０００６】
また、車両内の運転者とは異なる搭乗者の顔が、運転者の顔として誤検出されるために、運転者の顔が正しく検出できなくなる場合もある。
【０００７】
一方で、運転者の顔が正しく検出できなくなった場合に、どのような理由で検出できなくなったのかの識別は困難である。
【０００８】
このように、どのような理由で運転者の顔が正しく検出できなくなったのかの識別が困難な場合には、運転者の顔全体が見えにくい状態での顔検出性能の維持と、誤検出の防止との両立を行うのは難しいという問題がある。
【０００９】
本発明の一態様は、上述した事情に鑑みてなされたものであり、顔検出性能の維持と、誤検出の防止との両立を図ることができる技術を実現することを目的とする。
【課題を解決するための手段】
【００１０】
前記の課題を解決するために、本発明の一態様に係る運転者判定装置は、運転者を含む画像を撮像する撮像部と、予め設定された運転者の典型的な顔位置を参照して、前記撮像部の撮像画像から、運転者の顔の候補を検出する顔検出部と、前記顔検出部が検出した運転者の顔の候補の信頼度を、前記典型的な顔位置に基づいて算出する信頼度算出部と、前記信頼度算出部が算出した信頼度に応じて、前記顔検出部が検出した運転者の顔の候補が、運転者の顔であるかを判定する顔判定部と、前記顔判定部が運転者の顔であると判定した顔を処理対象の顔として追跡する顔追跡部と、前記信頼度算出部が算出した信頼度を参照して、前記処理対象の顔を切り替える顔切替部と、を備えている。
【００１１】
また、本発明の一態様に係る運転者判定方法は、運転者を含む画像を撮像する撮像ステップと、予め設定された運転者の典型的な顔位置を参照して、撮像画像から、運転者の顔の候補を検出する顔検出ステップと、検出した運転者の顔の候補の信頼度を、前記典型的な顔位置に基づいて算出する信頼度算出ステップと、算出した信頼度に応じて、検出した運転者の顔の候補が、運転者の顔であるかを判定する顔判定ステップと、運転者の顔であると判定した顔を処理対象の顔として追跡する追跡ステップと、前記信頼度を参照して、前記処理対象の顔を切り替える顔切替ステップと、を含んでいる。
【００１２】
前記の構成によれば、予め設定された典型的な顔位置に基づいて算出した信頼度に基づいて、運転者の顔を適切に検出することができるとともに、誤検出が生じた場合には、速やかに、誤検出された顔を、正しい運転手の顔に切り替えることができるため、顔検出性能の維持と、誤検出の防止との両立を図ることができる。
【００１３】
また、本発明の一態様に係る運転者判定装置は、前記顔切替部は、前記典型的な顔位置の外に、前記処理対象の顔が出た場合に、当該処理対象の顔を切り替える。
【００１４】
前記の構成によれば、典型的な顔位置の外に処理対象の顔が出た場合には、速やかに顔の切り替えを行うことができ、顔検出性能を維持と、誤検出の防止との両立を図ることができる。
【００１５】
また、本発明の一態様に係る運転者判定装置は、前記顔切替部は、前記信頼度に対する所定の閾値に基づいて前記処理対象の顔の切り替えの要否を判定するものであり、前記顔切替部は、前記所定の閾値を、前記処理対象の顔の位置に応じて変更する。
【００１６】
前記の構成によれば、運転者の顔を処理対象の顔として正しく追従している場合であって、運転者が横を向いたことにより信頼度が低く算出される場合に、処理対象の顔が切り替えられるのを抑制することができる。
【００１７】
また、本発明の一態様に係る運転者判定装置は、前記運転者の典型的な顔位置の範囲を設定する顔範囲設定部をさらに備え、前記顔範囲設定部は、前記顔切替部によって前記処理対象の顔を切り替える判断が行われた際に、前記顔切替部による前記処理対象の顔の切り替えに先立って、前記処理対象の顔のサイズに応じて、典型的な顔位置の範囲を設定する。
【００１８】
前記の構成によれば、顔のサイズによって、顔の検出位置が大きく変化するのを抑制することができ、運転者の顔の候補の検出と、検出した運転者の顔の候補の信頼度の算出とを精度良く行うことができる。
【００１９】
また、本発明の一態様に係る運転者判定プログラムは、前記の運転者判定装置としてコンピュータを機能させるための運転者判定プログラムであって、前記顔検出部、前記信頼度算出部、前記顔判定部、および、前記顔切替部としてコンピュータを機能させる。
【発明の効果】
【００２０】
本発明の一態様によれば、顔検出性能の維持と、誤検出の防止との両立を図ることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る運転者判定装置の概要構成を示すブロック図である。
【図２】運転者判定装置による処理の概要を示す図である。
【図３】典型的な顔位置と、検出された顔の位置との関係の一例を示す図である。
【図４】切り替え要と判定される顔の位置の一例を示す図である。
【図５】切り替え不要と判定される顔の位置の一例を示す図である。
【図６】切り替えの要否が判定される顔の位置の一例を示す図である。
【図７】顔切替部による顔を切り替える処理の概要を示す図である。
【図８】運転者判定装置による処理の流れを示すフローチャートである。
【図９】運転者判定装置による処理の流れを示すフローチャートである。
【図１０】運転者判定装置による処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明に係る実施形態を、図面に基づいて説明する。
【００２３】
図１は、本実施形態に係る運転者判定装置１００の概要構成を示すブロック図である。図２は、本実施形態に係る運転者判定装置１００による処理の概要を示す図である。
【００２４】
図１に示すように、運転者判定装置１００は撮像部１１０を備え、撮像部１１０により車両内の画像であって、車両の運転者を含む画像を撮像する。運転者判定装置１００は、撮像部１１０の撮像画像から車両の搭乗者の顔を検出し、検出した顔が運転者の顔であるか否かの判定を行う。図３に示すように、運転者判定装置１００は、撮像部１１０の撮像画像５において、予め設定された運転者の典型的な顔位置の範囲Ａ１を示す矩形枠を参照して、当該典型的な顔位置の範囲Ａ１内において検出された顔を、運転者の顔と判定する。運転者判定装置１００は、運転者の顔であると判定した顔を、処理対象の顔として追跡する。
【００２５】
運転者判定装置１００は、記憶部１２０、顔範囲設定部１１２、撮像部１１０、顔検出部１１１、信頼度算出部１１３、顔判定部１１４、顔切替部１１５、および顔追跡部１１６を含んでいる。
【００２６】
記憶部１２０は、記憶媒体として例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込および読出しが可能な不揮発性メモリとＲＡＭ等の揮発性メモリを使用したものである。
【００２７】
記憶部１２０は、運転者判定装置１００で用いられる各種データを記憶している。また、記憶部１２０は、撮像部１１０による撮像画像であって、運転者の画像を含む撮像画像を記憶している。
【００２８】
顔範囲設定部１１２は、車両の通常走行時の運転者個々の個人差を学習し、個人差学習での運転者の顔位置の典型的な範囲を、典型的な顔位置の範囲Ａ１に設定する。例えば、顔範囲設定部１１２は、車両の動力源であるエンジンおよび／またはモータのオン期間中、所定時間毎、例えば数秒毎に、その所定時間内における車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の平均値および偏差量といった統計情報を演算する。なお、運転者の顔または視線の現在の方向は、撮像部１１０の撮像画像に基づいて判定される。顔範囲設定部１１２は、この運転者の顔または視線の方向に基づいて、所定時間内の運転者の特徴量である車両の正面方向に対して運転者が正面として顔または視線を保持する方向である保持方向の統計値を演算する。
【００２９】
なお、顔範囲設定部１１２によって演算する統計情報は、前記所定時間内の運転者の顔または視線の保持方向について演算した平均値や偏差量だけではなく、それまで演算（学習）した統計情報も用いて、つまりそれまで演算した統計情報も加味した統計情報を演算するようにしてもよい。
【００３０】
顔範囲設定部１１２は、演算した、運転者の顔または視線の保持方向の統計情報に基づいて、運転者の顔位置の典型的な範囲Ａ１を設定し、設定した典型的な範囲Ａ１を、演算した統計情報とともに記憶部１２０に記憶させる。
【００３１】
顔範囲設定部１１２は、個人差学習での運転者の顔位置を囲む矩形枠の四隅平均±１σを運転者の顔位置の典型的な範囲Ａ１として設定する。つまり、顔範囲設定部１１２は、個人差学習での運転者の顔位置を囲む矩形枠の上端平均、下端平均、左端平均、および右端平均を用いて、下記の（式１）、（式２）、（式３）、および（式４）によって、運転者の顔位置の典型的な範囲Ａ１の上端、下端、左端、および右端を設定する。
【００３２】
【数１】
2020194224.tif 000003
【００３３】
【数２】
2020194224.tif 000004
【００３４】
【数３】
2020194224.tif 000005
【００３５】
【数４】
2020194224.tif 000006
【００３６】
また、顔範囲設定部１１２は、撮像部１１０の撮像画像における運転者の現在の顔の大きさに基づいて、典型的な範囲Ａ１の設定を行ってもよい。つまり、顔範囲設定部１１２は、個人差学習での運転者の顔位置を囲む矩形枠の上端平均、下端平均、左端平均、および右端平均と、撮像部１１０の撮像画像における運転者の現在の顔の大きさと、を用いて、下記の（式５）、（式６）、（式７）、および（式８）によって、運転者の顔位置の典型的な範囲Ａ１の上端、下端、左端、および右端を設定してもよい。
【００３７】
【数５】
2020194224.tif 000007
【００３８】
【数６】
2020194224.tif 000008
【００３９】
【数７】
2020194224.tif 000009
【００４０】
【数８】
2020194224.tif 000010
【００４１】
撮像部１１０の撮像画像に、運転者の顔が大きく写る状況では、運転者の顔の動きは同じでも、運転者の顔の検出位置が大きく変化してしまう。このため、顔範囲設定部１１２は、撮像部１１０の撮像画像における運転者の現在の顔のサイズを、運転者の顔位置の典型的な範囲Ａ１を設定するパラメータとして用いる。これにより、顔範囲設定部１１２は、運転者の顔が大きく写る状況において、運転者の顔の位置が正しく検出されるように、運転者の顔位置の典型的な範囲Ａ１を設定することができる。
【００４２】
また、顔範囲設定部１１２は、運転者の現在の顔の大きさだけではなく、直近の所定の期間において収集した、撮像部１１０の撮像画像における運転者の顔のサイズの平均値を用いて、運転者の顔位置の典型的な範囲Ａ１を設定してもよい。これにより、運転者の顔のサイズを示すパラメータの安定化を図ることができ、運転者の顔位置の典型的な範囲Ａ１を適切に設定することができる。
【００４３】
撮像部１１０は、運転者の顔を含む画像を撮像できる箇所、例えばステアリング上、ダッシュボード上、ステアリング中央、速度メータ脇、またはフロントピラー等、に設置されたカメラである。撮像部１１０は、１秒間に複数枚、静止画像を撮像するスチルカメラであってもよいし、動画像を撮像するビデオカメラであってもよい。なお、撮像部１１０は、運転者判定装置１００の構成要素として含まれている構成に限らず、運転者判定装置１００は、車両内にある、外部のカメラから運転者を含む画像を取得する構成であってもよい。
【００４４】
顔検出部１１１は、撮像部１１０の撮像画像から、運転者の顔の候補を検出する。顔検出部１１１は、撮像画像の画像認識を行って、撮像画像中の顔らしい画像部分を検出する。顔検出部１１１は、撮像画像中に検出した顔らしい画像部分について、予め設定された運転者の典型的な顔位置を参照して、撮像画像から、運転者の顔の候補を検出する。
【００４５】
図２、および図３は、撮像画像５内における予め設定された典型的な顔位置の範囲Ａ１と、撮像画像５内に検出された運転者の顔の候補の位置の範囲を示す顔矩形Ｆ１と、の位置関係の一例を示す図である。図２に示したように、顔検出部１１１は、撮像部１１０の撮像画像５に対する画像認識により、撮像画像５中に、顔らしい画像部分を検出すると、当該顔らしい画像部分を囲む矩形枠であり、撮像画像５が撮像された瞬間における、当該顔らしい画像部分の位置を示す顔矩形Ｆ１を設定する。図３に示すように、顔検出部１１１は、顔矩形Ｆ１が、予め設定された典型的な顔位置の範囲Ａ１内に収まっている場合に、当該顔矩形Ｆ１内にある顔らしい画像を、運転者の顔の候補として検出する。顔検出部１１１は、予め設定された典型的な顔位置の範囲Ａ１内に、複数の顔らしい画像を検出した場合には、検出したそれぞれの顔を運転者の顔の候補として検出してもよい。
【００４６】
信頼度算出部１１３は、顔検出部１１１が検出した運転者の顔の候補の信頼度を、典型的な顔位置の範囲Ａ１に基づいて算出してもよい。信頼度算出部１１３は、運転者の顔の候補が、運転者の顔として信頼し得る度合いを、信頼度として算出する。信頼度算出部１１３は、顔矩形Ｆ１の、典型的な顔位置の範囲Ａ１に対する位置と、運転者の顔の候補が撮像画像５において如何に顔らしいかの度合いと、に基づいて、運転者の顔の候補の信頼度を算出してもよい。信頼度算出部１１３は、例えば、顔矩形Ｆ１の中心位置の、典型的な顔位置の範囲Ａ１の中心位置に対するズレ量から信頼度を算出してもよい。また、信頼度算出部１１３は、例えば、顔矩形Ｆ１の面積が、典型的な顔位置の範囲Ａ１の面積に対して占める割合から信頼度を算出してもよい。
【００４７】
顔判定部１１４は、信頼度算出部１１３が算出した信頼度に応じて、顔検出部１１１が検出した運転者の顔の候補が、運転者の顔であるかを判定する。顔判定部１１４は、例えば、信頼度算出部１１３が算出した信頼度が予め設定された所定の顔判定閾値よりも高ければ、顔検出部１１１が検出した運転者の顔の候補が、運転者の顔であると判定する。
【００４８】
顔追跡部１１６は、顔判定部１１４によって運転者の顔であると判定された顔を処理対象の顔として、撮像部１１０の撮像画像において、当該処理対象の顔を追跡する。顔追跡部１１６は、図２、および図３に示したように、撮像部１１０の撮像画像５において、処理対象の顔を、顔矩形Ｆ１で囲み、処理対象の顔の移動に伴って顔矩形Ｆ１を移動させることで、処理対象の顔を追跡してもよい。
【００４９】
顔追跡部１１６による処理対象の顔の追跡中において、信頼度算出部１１３は、追跡中の処理対象の顔の信頼度の算出を継続する。また、信頼度算出部１１３は、顔追跡部１１６による処理対象の顔の追跡中において、顔検出部１１１により新たな運転者の顔の候補が検出された場合には、当該新たな運転者の顔の候補の信頼度の算出も行う。
【００５０】
顔切替部１１５は、信頼度算出部１１３が算出した信頼度を参照して、処理対象の顔を切り替える。顔切替部１１５は、信頼度算出部１１３が算出した信頼度が、所定の顔切替閾値よりも低くなり、信頼度が高い新たな運転者の顔の候補がある場合には、処理対象の顔の入れ替えを行う。
【００５１】
このように、運転者判定装置１００は、予め設定された典型的な顔位置に基づいて算出した信頼度が低い場合でも、典型的な顔位置に新たな顔候補がなければ処理対象の顔を追跡し続けるため、顔検出性能を維持することができる。また、予め設定された典型的な顔位置に基づいて算出した信頼度に基づいて、運転者の顔を切り替えるため、誤検出が生じた場合であっても、速やかに、誤検出された顔を、正しい運転手の顔に切り替えることができる。よって、顔検出性能の維持と、誤検出の防止との両立を図ることができる。
【００５２】
顔切替部１１５は、信頼度算出部１１３が算出した信頼度に対して、処理対象の顔の切り替えの要否を判定するために用いる当該所定の顔切替閾値を、処理対象の顔の位置に応じて変更する。
【００５３】
また、顔切替部１１５は、顔検出部１１１による新しい運転者の顔の候補の検出の有無、新しい運転者の顔の候補の数、新しい運転者の顔の候補それぞれの検出継続期間、および新しい運転者の顔の候補それぞれの信頼度と、追跡中の処理対象の顔の信頼度と、に基づいて、処理対象の顔の切り替え要否を判定する。
【００５４】
図４は、顔切替部１１５によって、顔の切り替え要と判定される、処理対象の顔の位置の一例を示す図である。図４に示すように、顔矩形Ｆ１の位置において、顔検出部１１１によって検出され、顔判定部１１４によって運転者の顔であると判定された、処理対象の顔が、最新顔矩形Ｆ２の位置に移動した場合、顔切替部１１５、処理対象の顔を切り替える。
【００５５】
顔切替部１１５は、最新顔矩形Ｆ２の位置が、典型的な顔位置の範囲Ａ１の外に出たことを検出すると、処理対象の顔の切り替えが必要であると判定する構成であってもよいし、最新顔矩形Ｆ２の位置が、典型的な顔位置の範囲Ａ１の外に出た際に算出された信頼度を参照して、処理対象の顔の切り替えが必要であると判定する構成であってもよい。
【００５６】
顔切替部１１５は、所定の顔切替閾値を用いて、処理対象の顔の切り替えの要否を判定するため、当該所定の顔切替閾値は、最新顔矩形Ｆ２が、典型的な顔位置の範囲Ａ１の外に出た場合に、信頼度算出部１１３によって算出される信頼度よりも高く設定されている。これにより、顔切替部１１５は、最新顔矩形Ｆ２の位置に係る情報を取得することなく、信頼度算出部１１３によって算出される信頼度と、顔切替閾値とに基づいて、処理対象の顔の切り替えが必要であると判定することができる。
【００５７】
このように、顔切替部１１５は、典型的な顔位置の範囲Ａ１の外に、処理対象の顔が出た場合には、当該処理対象の顔を切り替える必要があると判定する。顔切替部１１５は、処理対象の顔を切り替える必要があると判定すると、典型的な顔位置の範囲Ａ１内から、新しい運転者の顔の探索の開始を許可することを、運転者判定装置１００の各部に通知する。
【００５８】
なお、最新顔矩形Ｆ２が、典型的な顔位置の範囲Ａ１からはみ出ているか否かは、顔追跡部１１６によって判定されてもよい。顔追跡部１１６は、例えば、最新顔矩形Ｆ２の位置が、典型的な顔位置の範囲Ａ１の四隅±１σ内であれば、最新顔矩形Ｆ２の位置が、典型的な顔位置の範囲Ａ１からはみ出ていないと判定する。
【００５９】
図５、および図６は、追跡中の処理対象の顔が運転者の顔であるにも関わらず、信頼度算出部１１３によって算出される信頼度が低くなってしまう場合の例を示した図である。
【００６０】
図５に示したように、追跡中の顔が、運転者の顔であるにも関わらず、運転者が横を向いたことによって、最新顔矩形Ｆ２の位置が、典型的な顔位置の範囲Ａ１の外に出てしまう場合がある。このような場合には、処理対象の顔を切り替えることなく、運転者の顔である処理対象の顔を追跡し続けるのが望ましい。
【００６１】
顔切替部１１５は、最新顔矩形Ｆ２の、典型的な顔位置の範囲Ａ１に対する位置に加えて、処理対象の顔の角度を、処理対象の顔の位置として、当該処理対象の顔の位置に応じた顔切替閾値を算出することができてもよい。顔切替部１１５は、典型的な顔位置の範囲Ａ１の外に出た、最新顔矩形Ｆ２の位置の処理対象の顔の角度が高角度の顔、つまり横顔に近い顔であれば、処理対象の顔の切り替えの要否を判定するために用いる所定の顔切替閾値の値を低く設定する。顔切替部１１５は、処理対象の顔の角度に応じて処理対象の顔の切り替えの要否を判定するために用いる所定の顔切替閾値を変更することができてもよく、角度が高くなるほど、顔切替閾値の値を低くすることができてもよい。
【００６２】
これにより、顔切替部１１５は、運転者が横を向いたことにより、最新顔矩形Ｆ２が典型的な顔位置の範囲Ａ１の外に出た場合に、運転者の顔が正しく検出されているにも関わらず、運転者の顔が切り替えられるのを抑制することができる。
【００６３】
このように、運転者判定装置１００は、対象者の顔の切り替えの要否を判断するために用いる信頼度に対する顔切替閾値を、運転者の顔の位置に応じて変更するため、顔検出性能の維持と、誤検出の防止との両立を図ることができる。
【００６４】
図６は、追跡中の処理対象の運転者の顔が、運転者のバイザーを下ろす動作等によって運転者の腕に遮蔽され、運転者の顔の位置が、運転者の腕の後にある状態となった場合を示している。図６に示したように、運転者の顔の位置により、運転者の顔が遮蔽され、顔検出部１１１によって運転者の顔が検出できなくなる場合がある。このように、追跡中の処理対象の顔が運転者の顔であるにも関わらず、運転者の顔が遮蔽される位置にあるために、顔検出部１１１によって運転者の顔が検出できなくなる、または、信頼度算出部１１３によって算出される信頼度が低くなってしまう場合もある。
【００６５】
このような場合には、顔切替部１１５は、処理対象の顔を切り替えることなく運転者の顔である処理対象の顔を追跡し続ける、または、運転者の顔が遮蔽物の後ろの位置ではなくなり顔検出部１１１により検出可能となった際には速やかに処理対象の顔として再び追跡を開始する必要がある。
【００６６】
顔切替部１１５は、例えば、直近の所定期間における追跡中の処理対象の顔の信頼度の平均、追跡中の処理対象の顔の移動の軌跡、および運転者の顔の候補の数などの入力値を組み合わせて、運転者の顔が遮蔽されたことによって顔追跡部１１６による追跡が中断されたことを検出することができてもよい。顔切替部１１５は、例えば、直近の所定期間における追跡中の処理対象の顔の信頼度の平均が所定の顔切替閾値よりも高く、処理対象の顔の移動の軌跡から、最新顔矩形Ｆ２が典型的な顔位置の範囲Ａ１の外に出た形跡なく、顔追跡部１１６による追跡が中断された場合には、運転者の顔が遮蔽されたと判断し、処理対象の顔の切り替えは不要であると判定することができてもよい。
【００６７】
顔切替部１１５によって、処理対象の顔の切り替えは不要であると判定された場合には、顔追跡部１１６は、最新顔矩形Ｆ２の位置を、最後に処理対象の顔の追跡を行っていた位置に固定し、処理対象の顔が再び検出されるまで、当該最新顔矩形Ｆ２の追跡を継続してもよい。
【００６８】
また、追跡中の運転者の顔が遮蔽された際に、顔矩形F３の位置に、後部座席の搭乗者の顔が、運転者の顔の候補として誤検出される場合がある。また、この場合に、運転者の顔の候補が複数誤検出される場合がある。顔切替部１１５は、運転者の顔の候補の数、運転者の顔の候補の直近の所定期間における信頼度の平均等の入力値に基づいて、処理対象の顔の切り替えを行う。
【００６９】
なお、図６に示した例では、誤検出された顔矩形Ｆ３の位置は、典型的な顔位置の範囲Ａ１であるため、顔切替部１１５によって顔の切り替え要と判定される。よって、このような場合には、運転者判定装置１００は、信頼度の高い運転手の顔が検出されるまで繰り返し、運転者の顔の切り替え処理を実行してもよい。
【００７０】
図７は、運転者の顔が遮蔽されている位置から、遮蔽されていない位置になった場合の撮像部１１０の撮像画像の例を示す図である。図７に示すように、運転者の顔が遮蔽されたことにより、第１の顔矩形ＦＸ１の位置の、後部座席の搭乗者の顔が処理対象の顔と誤検出される場合がある。このような場合には、誤検出された顔が、第１の顔矩形ＦＸ１の位置において追跡中であっても、運転者の顔が遮蔽されていない位置になった際には、典型的な顔位置の範囲Ａ１内の第２の顔矩形ＦＸ２の位置に、新たな運転者の顔の候補として、正しい運転者の顔が検出される。
【００７１】
信頼度算出部１１３によって算出される信頼度は、第１の顔矩形ＦＸ１の位置の顔よりも、第２の顔矩形ＦＸ２の位置の顔が高くなる。よって、顔追跡部１１６は、信頼度算出部１１３によって算出された信頼度を参照して、運転者の顔が遮蔽されている位置から、遮蔽されていない位置になった場合は、速やかに、処理対象の顔を、運転者の顔に切り替えることができる。
【００７２】
このように、運転者判定装置１００は、運転者の顔の位置に応じて、対象者の顔の切り替えの要否を判断する。このため、運転者判定装置１００は、顔検出性能の維持と、誤検出の防止との両立を図ることができる。そして、運転者の顔が遮蔽される位置にある場合等で、運転者の顔の位置に起因して誤検出が生じた場合であっても、運転者の顔が遮蔽されていない状態となった際には、速やかに、運転者の顔を正しく検出することができる。
【００７３】
顔範囲設定部１１２は、顔切替部１１５によって処理対象の顔を切り替える判断が行われた際に、顔切替部１１５による処理対象の顔の切り替えに先立って、処理対象の顔のサイズに応じて、運転者の典型的な顔位置の範囲Ａ１を再設定する。
【００７４】
このように、顔のサイズに応じて、運転者の典型的な顔位置の範囲Ａ１が再設定されるため、顔のサイズによって、顔の検出位置が大きく変化するのを抑制することができ、運転者の顔の候補の検出と、検出した運転者の顔の候補の信頼度の算出と、を精度良く行うことができる。
【００７５】
（運転者判定装置の処理の流れについて）
図８〜図１０は、運転者判定装置１００の処理の流れを示すフローチャートである。図８は、運転者判定装置１００の全体的な処理の流れを示すフローチャートであり、図９、および図１０は、図８に示した処理の実行後に、運転者の顔の切り替え要否の判定が必要になった場合に運転者判定装置１００によって実行される処理の流れを示すフローチャートである。なお、以下の説明において、運転者の典型的な顔位置の範囲Ａ１は、予め、顔範囲設定部１１２によって設定されているとして、処理の流れを説明する。
【００７６】
図８は、運転者判定装置１００の全体的な処理の流れを示すフローチャートである。運転者判定装置１００は、撮像部１１０が撮像した運転者を含む撮像画像を取得する（ステップＳ１）。
【００７７】
次に、運転者判定装置１００は、顔検出部１１１の機能により、撮像部１１０の撮像画像から、運転者の顔の候補を検出する（ステップＳ２）。
【００７８】
続いて、運転者判定装置１００は、顔検出部１１１が撮像部１１０の撮像画像から検出した運転者の顔の候補について、信頼度算出部１１３の機能により信頼度を算出する（ステップＳ３）。
【００７９】
運転者判定装置１００は、信頼度算出部１１３が算出した信頼度に応じて、顔判定部１１４の機能により、顔検出部１１１が撮像部１１０の撮像画像から検出した運転者の顔の候補が運転者の顔であるか否かを判定する（ステップＳ４）。
【００８０】
運転者判定装置１００は、ステップＳ４において、顔検出部１１１が撮像部１１０の撮像画像から検出した運転者の顔の候補が運転者の顔であると顔判定部１１４が判定すると（ステップＳ４でＹＥＳ）、ステップＳ５に進む。運転者判定装置１００は、ステップＳ４において、顔検出部１１１が撮像部１１０の撮像画像から検出した運転者の顔の候補が運転者の顔ではないと運転者判定装置１００が判定すると（ステップＳ４でＮＯ）、ステップＳ１に戻る。
【００８１】
運転者判定装置１００は、顔検出部１１１が撮像部１１０の撮像画像から検出した運転者の顔の候補が運転者の顔であると顔判定部１１４が判定すると、運転者の顔であると判定された顔を処理対象の顔として、顔追跡部１１６の機能により、当該処理対象の顔の追跡を開始する（ステップＳ５）。
【００８２】
図８のフローチャートが流れを示す処理を行い、処理対象の顔の追跡を開始した後、運転者の顔の切り替えの要否を判定しなければいけない事象が生じた場合の例を、図９、および図１０のフローチャートを用いて説明する。図９は、顔追跡部１１６による処理対象の顔の追跡中に、処理対象の顔が運転者の典型的な顔位置の範囲Ａ１の外に出た場合に、運転者判定装置１００によって実行される処理の流れを示すフローチャートである。図１０は、顔追跡部１１６の処理対象の顔の追跡中に、処理対象の顔よりも信頼度の高い顔が検出された場合に、運転者判定装置１００によって実行される処理の別の流れを示すフローチャートである。
【００８３】
図９に示すように、運転者判定装置１００は、顔追跡部１１６の処理対象の顔の追跡中、顔追跡部１１６の機能により、追跡中の処理対象の顔の最新顔矩形Ｆ２の位置は、運転者の典型的な顔位置の範囲Ａ１内であるか否かの判定を繰り返し行う（ステップＳ１１）。運転者判定装置１００は、顔追跡部１１６により、追跡中の処理対象の顔の最新顔矩形Ｆ２の位置は、運転者の典型的な顔位置の範囲Ａ１内であると判定されている間（ステップＳ１１においてＹＥＳ）は、ステップＳ１１を繰り返す。運転者判定装置１００は、顔追跡部１１６により、追跡中の処理対象の顔の最新顔矩形Ｆ２の位置は、運転者の典型的な顔位置の範囲Ａ１の外であると判定されると（ステップＳ１１でＮＯ）、ステップＳ１２に進み、顔切替部１１５の機能により処理対象の顔の切り替え処理を開始する。
【００８４】
顔切替部１１５によって、顔の切り替え処理が開始されると、運転者判定装置１００は、撮像部１１０の撮像画像から、顔検出部１１１の機能により運転者の顔の候補を検出する（ステップＳ１２）。
【００８５】
続いて、運転者判定装置１００は、顔検出部１１１が撮像部１１０の撮像画像から検出した運転者の顔の候補について、信頼度算出部１１３の機能により信頼度を算出する（ステップＳ１３）。
【００８６】
運転者判定装置１００は、信頼度算出部１１３が算出した信頼度に応じて、顔判定部１１４の機能により、顔検出部１１１が撮像部１１０の撮像画像から検出した運転者の顔の候補が運転者の顔であるか否かを判定する（ステップＳ１４）。
【００８７】
運転者判定装置１００は、ステップＳ１４において、顔検出部１１１が撮像部１１０の撮像画像から検出した運転者の顔の候補が運転者の顔であると顔判定部１１４が判定すると（ステップＳ１４でＹＥＳ）、ステップＳ１５に進む。運転者判定装置１００は、ステップＳ１４において、顔検出部１１１が撮像部１１０の撮像画像から検出した運転者の顔の候補が運転者の顔ではないと運転者判定装置１００が判定すると（ステップＳ１４でＮＯ）、ステップＳ１１に戻る。
【００８８】
運転者判定装置１００は、顔検出部１１１が撮像部１１０の撮像画像から検出した運転者の顔の候補が運転者の顔であると顔判定部１１４が判定すると、顔切替部１１５の機能により、新たに運転者の顔であると判定された顔に、処理対象の顔を切り替えて、顔追跡部１１６の機能により、当該処理対象の顔の追跡を開始する（ステップＳ１５）。
【００８９】
また、図１０に示すように、運転者判定装置１００は、顔追跡部１１６による処理対象の顔の追跡中であっても、撮像部１１０の撮像画像からの顔検出部１１１による運転者の顔の新たな候補の検出（ステップＳ２１）、信頼度算出部１１３による運転者の顔の新たな候補の信頼度の算出（ステップＳ２２）、顔判定部１１４による運転者の顔の新たな候補が運転者の顔であるか否かの判定、および顔切替部１１５による処理対象の顔の切り替えの要否の判定（ステップＳ２３）を継続して行っている。
【００９０】
ステップＳ２３において、顔切替部１１５の機能により、顔追跡部１１６が追跡中の処理対象の顔よりも、信頼度の高い運転者の顔の新たな候補があると判定すると（ステップＳ２３でＹＥＳ）、顔切替部１１５はステップＳ２４に進む。ステップＳ２３において、顔切替部１１５により、顔追跡部１１６が追跡中の処理対象の顔よりも、信頼度の高い運転者の顔の新たな候補がないと判定されると（ステップＳ２３でＮＯ）、運転者判定装置１００は、ステップＳ２１に戻り処理を継続する。
【００９１】
顔切替部１１５は、処理対象の顔を、追跡中の顔から、当該追跡中の顔よりも信頼度が高い、新たな候補の運転者の顔と切り替える（ステップＳ２４）。
【００９２】
運転者判定装置１００は、顔追跡部１１６の機能により、顔切替部１１５によって切り替えられた新たな処理対象の顔の追跡を開始する。
【００９３】
〔ソフトウェアによる実現例〕
運転者判定装置１００の各機能ブロック（特に顔検出部１１１、顔範囲設定部１１２、信頼度算出部１１３、顔判定部１１４、顔切替部１１５、および顔追跡部１１６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００９４】
後者の場合、運転者判定装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、前記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、前記コンピュータにおいて、前記プロセッサが前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。前記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００９５】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００９６】
１００  運転者判定装置
１１０  撮像部
１１１  顔検出部
１１２  顔範囲設定部
１１３  信頼度算出部
１１４  顔判定部
１１５  顔切替部
１１６  顔追跡部
【図１】
2020194224.tif 000011
【図２】
2020194224.tif 000012
【図３】
2020194224.tif 000013
【図４】
2020194224.tif 000014
【図５】
2020194224.tif 000015
【図６】
2020194224.tif 000016
【図７】
2020194224.tif 000017
【図８】
2020194224.tif 000018
【図９】
2020194224.tif 000019
【図１０】
2020194224.tif 000020