(57)【要約】  搭乗者状態判定装置（１００）は、車室内撮像用のカメラ（２）による撮像画像（Ｉ）を示す画像データを取得する画像データ取得部（１１）と、画像データを用いて、撮像画像（Ｉ）に対する画像認識処理を実行する画像認識処理部（１２）と、画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部（１３）と、不動状態判定部（１３）による判定結果を用いて、搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部（１４）とを備え、異常状態判定部（１４）は、不動状態の継続時間（Ｔ）が基準時間（Ｔｔｈ）を超えたとき、搭乗者が異常状態であると判定する。
2019198179.tif 000002
【特許請求の範囲】
【請求項１】
車室内撮像用のカメラによる撮像画像を示す画像データを取得する画像データ取得部と、
前記画像データを用いて、前記撮像画像に対する画像認識処理を実行する画像認識処理部と、
前記画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部と、
前記不動状態判定部による判定結果を用いて、前記搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部と、を備え、
前記異常状態判定部は、前記不動状態の継続時間が基準時間を超えたとき、前記搭乗者が前記異常状態であると判定する
ことを特徴とする搭乗者状態判定装置。
【請求項２】
前記異常状態判定部は、前記基準時間を自動運転レベルに応じて異なる値に設定することを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項３】
前記画像認識処理は、前記搭乗者の開眼度を検出する処理を含むものであり、
前記異常状態判定部は、前記基準時間を前記開眼度の検出結果の信頼度に応じて異なる値に設定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項４】
前記画像認識処理は、前記搭乗者の開眼度を検出する処理を含むものであり、
前記不動状態判定部による判定方法は、前記開眼度の検出結果を用いる方法と前記開眼度の検出結果を用いない方法とを含むものであり、
前記不動状態判定部は、前記画像認識処理部が前記開眼度の検出に失敗した場合、前記開眼度の検出結果を用いない方法により前記搭乗者が前記不動状態であるか否かを判定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項５】
前記画像認識処理は、前記撮像画像における顔領域を検出する処理を含むものであり、
前記不動状態判定部は、前記顔領域の移動量又は前記顔領域のサイズの変化量が基準量未満である場合、前記搭乗者が前記不動状態であると判定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項６】
前記撮像画像は、前記カメラにより互いに異なるタイミングにて撮像された第１撮像画像及び第２撮像画像を含むものであり、
前記顔領域は、前記第１撮像画像における第１顔領域及び前記第２撮像画像における第２顔領域を含むものであり、
前記不動状態判定部は、前記第１顔領域の面積又は前記第２顔領域の面積に対する前記第１顔領域及び前記第２顔領域が互いに重畳している部位の面積の比率に基づき前記移動量を算出する
ことを特徴とする請求項５記載の搭乗者状態判定装置。
【請求項７】
前記画像認識処理は、前記搭乗者の頭部の傾き角度を検出する処理を含むものであり、
前記不動状態判定部は、前記傾き角度が基準角度以上であり、かつ、前記移動量又は前記変化量が前記基準量未満である場合、前記搭乗者が前記不動状態であると判定する
ことを特徴とする請求項５記載の搭乗者状態判定装置。
【請求項８】
前記画像認識処理は、前記搭乗者の開眼度を検出する処理を含むものであり、
前記不動状態判定部は、前記開眼度の変化に基づき前記搭乗者が前記不動状態であるか否かを判定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項９】
前記画像認識処理は、前記撮像画像における顔領域を検出する処理を含むものであり、
前記不動状態判定部は、所定時間内に撮像された複数枚の前記撮像画像における前記顔領域の中心部の位置を示す基準ヒストグラムと、他の所定時間内に撮像された複数枚の前記撮像画像における前記顔領域の中心部の位置を示す比較用ヒストグラムとを生成して、前記基準ヒストグラムと前記比較用ヒストグラムとを比較することにより前記搭乗者が前記不動状態であるか否かを判定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項１０】
前記画像認識処理は、前記搭乗者の表情を検出する処理を含むものであり、
前記不動状態判定部は、前記表情の変化の有無に基づき前記搭乗者が前記不動状態であるか否かを判定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項１１】
前記画像認識処理は、前記搭乗者の骨格モデルを用いて前記搭乗者の肩、腕及び頭部の傾き角度を検出する処理を含むものであり、
前記不動状態判定部は、前記傾き角度の変化の有無に基づき前記搭乗者が前記不動状態であるか否かを判定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項１２】
前記搭乗者による車両設備の操作状態を示す操作状態情報を取得する操作状態情報取得部を備え、
前記不動状態判定部は、前記画像認識処理の結果及び前記操作状態情報を用いて前記搭乗者が前記不動状態であるか否かを判定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項１３】
請求項１記載の搭乗者状態判定装置と、
前記異常状態判定部により前記搭乗者が前記異常状態であると判定されたとき、警告を出力する制御を実行する警告出力制御部と、
を備えることを特徴とする警告出力制御装置。
【請求項１４】
前記警告出力制御部は、警告用の画像を表示装置に表示させる制御、警告用の音声を音声出力装置に出力させる制御又は警告用の信号を無線通信装置に送信させる制御のうちの少なくとも一つを実行することを特徴とする請求項１３記載の警告出力制御装置。
【請求項１５】
画像データ取得部が、車室内撮像用のカメラによる撮像画像を示す画像データを取得するステップと、
画像認識処理部が、前記画像データを用いて、前記撮像画像に対する画像認識処理を実行するステップと、
不動状態判定部が、前記画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定するステップと、
異常状態判定部が、前記不動状態判定部による判定結果を用いて、前記搭乗者が覚醒度の低下による異常状態であるか否かを判定するステップと、を備え、
前記異常状態判定部は、前記不動状態の継続時間が基準時間を超えたとき、前記搭乗者が前記異常状態であると判定する
ことを特徴とする搭乗者状態判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法に関する。
【背景技術】
【０００２】
従来、車室内撮像用のカメラによる撮像画像を用いて、運転者が覚醒度の低下による異常状態であるか否かを判定する技術が開発されている（例えば、特許文献１，２参照。）。以下、覚醒度の低下による異常状態を単に「異常状態」ということがある。【０００３】
特許文献１記載の技術は、１個のカメラによる撮像画像に対する画像認識処理を実行することにより、運転者の開眼度を検出するものである。特許文献１記載の技術は、当該検出された開眼度に基づき運転者が異常状態であるか否かを判定するものである。【０００４】
特許文献２記載の技術は、複数個のカメラの各々による撮像画像に運転者の頭部が含まれているか否かを判定することにより、前傾方向又は後傾方向に対する運転者の姿勢変化を検出するものである。特許文献２記載の技術は、当該検出された姿勢変化に基づき運転者が異常状態であるか否かを判定するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−９９８８４号公報
【特許文献２】特開２０１７−４９６３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
覚醒度の低下による異常状態には、意識の消失により前傾姿勢が発生している状態（以下「前傾状態」という。）、眼を開けた状態にて瞬眠が発生している状態（以下「開眼瞬眠状態」という。）、眼を閉じた状態にて瞬眠が発生している状態（以下「閉眼瞬眠状態」という。）及び意識の消失により後傾姿勢が発生している状態（以下「後傾状態」という。）などがある。【０００７】
これらの異常状態のうち、閉眼瞬眠状態は開眼度の変化を伴うものであり、前傾状態及び後傾状態は姿勢の変化を伴うものである。このため、閉眼瞬眠状態は特許文献１記載の技術により判定可能であり、前傾状態及び後傾状態は特許文献２記載の技術により判定可能である。これに対して、開眼瞬眠状態による開眼度の変化は小さく、姿勢の変化も小さい。このため、開眼瞬眠状態は特許文献１，２記載の技術により判定することができないという問題があった。【０００８】
また、特許文献１記載の技術は、開眼度が正常に検出されない状態（例えば運転者がサングラスを着用している状態又は運転者の眼が運転者の前髪により隠されている状態など）である場合、異常状態の判定をすることができないという問題があった。【０００９】
本発明は、上記のような課題を解決するためになされたものであり、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度が正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の搭乗者状態判定装置は、車室内撮像用のカメラによる撮像画像を示す画像データを取得する画像データ取得部と、画像データを用いて、撮像画像に対する画像認識処理を実行する画像認識処理部と、画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部と、不動状態判定部による判定結果を用いて、搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部とを備え、異常状態判定部は、不動状態の継続時間が基準時間を超えたとき、搭乗者が異常状態であると判定するものである。
【発明の効果】
【００１１】
本発明によれば、上記のように構成したので、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度が正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１に係る警告出力制御装置の要部を示すブロック図である。
【図２】実施の形態１に係る警告出力制御装置のうちの画像認識処理部の要部を示すブロック図である。
【図３】図３Ａは、撮像画像の一例を示す説明図である。図３Ｂは、顔領域の一例を示す説明図である。図３Ｃは、複数個の特徴点の一例を示す説明図である。
【図４】図４Ａは、喜びの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｂは、驚きの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｃは、恐れの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｄは、悲しみの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｅは、怒りの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｆは、嫌悪の表情に対応する複数個の特徴点の位置関係を示す説明図である。
【図５】複数個の特徴点及び運転者の骨格モデルの一例を示す説明図である。
【図６】図６Ａは、実施の形態１に係る警告出力制御装置のハードウェア構成を示すブロック図である。図６Ｂは、実施の形態１に係る警告出力制御装置の他のハードウェア構成を示すブロック図である。
【図７】実施の形態１に係る警告出力制御装置の動作を示すフローチャートである。
【図８】第ｎの撮像画像における顔領域と第ｎ＋１の撮像画像における顔領域とが互いに重畳している状態の一例を示す説明図である。
【図９】ＰＥＲＣＬＯＳの一例を示す説明図である。
【図１０】図１０Ａは、基準ヒストグラムに係る所定時間の一例を示す説明図である。図１０Ｂは、基準ヒストグラムに係る顔領域の中心部のｘ座標値及びｙ座標値の一例を示す説明図である。図１０Ｃは、基準ヒストグラムの一例を示す説明図である。
【図１１】図１１Ａは、比較用ヒストグラムに係る所定時間の一例を示す説明図である。図１１Ｂは、比較用ヒストグラムに係る顔領域の中心部のｘ座標値及びｙ座標値の一例を示す説明図である。図１１Ｃは、比較用ヒストグラムの一例を示す説明図である。
【図１２】実施の形態２に係る警告出力制御装置の要部を示すブロック図である。
【図１３】実施の形態２に係る警告出力制御装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
【００１４】
実施の形態１．
図１は、実施の形態１に係る警告出力制御装置の要部を示すブロック図である。図２は、実施の形態１に係る警告出力制御装置のうちの画像認識処理部の要部を示すブロック図である。図１及び図２を参照して、実施の形態１の搭乗者状態判定装置１００及び警告出力制御装置２００について説明する。
【００１５】
車両１は、車室内撮像用のカメラ２を有している。カメラ２は、例えば、車両１のセンタークラスターに設けられている。カメラ２は、例えば、赤外線カメラ又は可視光カメラにより構成されている。
【００１６】
画像データ取得部１１は、カメラ２による撮像画像Ｉを示す画像データを所定の時間間隔にてカメラ２から取得するものである。画像データ取得部１１は、当該取得された画像データを画像認識処理部１２に出力するものである。
【００１７】
画像認識処理部１２は、画像データ取得部１１により出力された画像データを用いて、撮像画像Ｉに対する画像認識処理を実行するものである。画像認識処理部１２による画像認識処理は、例えば、顔領域検出部２１、顔特徴点検出部２２、開眼度検出部２３、傾き角度検出部２４、表情検出部２５、人体領域検出部３１、骨格特徴点検出部３２及び傾き角度検出部３３による以下の処理を含むものである。
【００１８】
顔領域検出部２１は、撮像画像Ｉにおける車両１の運転者の顔に対応する領域（以下「顔領域」という。）Ａ１を検出するものである。顔領域Ａ１の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。以下、車両１の運転者を単に「運転者」という。
【００１９】
顔特徴点検出部２２は、顔領域Ａ１における複数個の特徴点Ｐ１であって、運転者の個々の顔パーツに対応する複数個の特徴点Ｐ１を検出するものである。特徴点Ｐ１の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
【００２０】
具体的には、例えば、顔特徴点検出部２２は、運転者の右眼に対応する複数個の特徴点Ｐ１、運転者の左眼に対応する複数個の特徴点Ｐ１、運転車の鼻に対応する複数個の特徴点Ｐ１及び運転者の口に対応する複数個の特徴点Ｐ１を検出する。運転者の右眼に対応する複数個の特徴点Ｐ１は、例えば、目尻に対応する特徴点Ｐ１、目頭に対応する特徴点Ｐ１、上瞼に対応する特徴点Ｐ１及び下瞼に対応する特徴点Ｐ１などを含むものである。運転者の左眼に対応する複数個の特徴点Ｐ１は、例えば、目尻に対応する特徴点Ｐ１、目頭に対応する特徴点Ｐ１、上瞼に対応する特徴点Ｐ１及び下瞼に対応する特徴点Ｐ１などを含むものである。運転者の鼻に対応する複数個の特徴点Ｐ１は、例えば、鼻根に対応する特徴点Ｐ１、鼻背に対応する特徴点Ｐ１、鼻翼に対応する特徴点Ｐ１及び鼻尖に対応する特徴点Ｐ１などを含むものである。運転者の口に対応する複数個の特徴点Ｐ１は、例えば、上唇に対応する特徴点Ｐ１及び下唇に対応する特徴点Ｐ１などを含むものである。
【００２１】
図３Ａは撮像画像Ｉの一例を示しており、図３Ｂは顔領域Ａ１の一例を示しており、図３Ｃは複数個の特徴点Ｐ１の一例を示している。図３Ｃに示す例においては、運転者の右眼に対応する４個の特徴点Ｐ１、運転者の左眼に対応する４個の特徴点Ｐ１、運転者の鼻に対応する２個の特徴点Ｐ１及び運転者の口に対応する３個の特徴点Ｐ１が検出されている。
【００２２】
開眼度検出部２３は、顔特徴点検出部２２により検出された複数個の特徴点Ｐ１（より具体的には運転者の右眼に対応する複数個の特徴点Ｐ１及び運転者の左眼に対応する複数個の特徴点Ｐ１）を用いて、運転者の開眼度Ｄを検出するものである。開眼度Ｄの検出方法は公知の種々の方法を用いることができるものであり、以下の具体例に限定されるものではない。
【００２３】
具体的には、例えば、開眼度検出部２３は、上瞼に対応する特徴点Ｐ１と下瞼に対応する特徴点Ｐ１間の距離（以下「瞼間距離」という。）の現在値を算出する。開眼度検出部２３は、所定時間内の瞼間距離の最頻値に基づき、瞼間距離の基準値を算出する。開眼度検出部２３は、基準値に対する現在値の比率に基づき開眼度Ｄを算出する。すなわち、開眼度Ｄの単位はパーセントである。
【００２４】
傾き角度検出部２４は、顔特徴点検出部２２により検出された複数個の特徴点Ｐ１を用いて、運転者の頭部の傾き角度θ１を検出するものである。傾き角度θ１の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
【００２５】
傾き角度θ１は、例えば、運転者の顔が車両１の前方に向けられており、かつ、運転者の後頭部が運転席のヘッドレストに当接している状態を基準（すなわち０°）とするものである。傾き角度検出部２４は、例えば、運転者の首を軸とする回転方向の傾き角度θ１、前傾方向又は後傾方向に対する傾き角度θ１及び左右方向に対する傾き角度θ１を検出する。
【００２６】
表情検出部２５は、顔特徴点検出部２２により検出された複数個の特徴点Ｐ１を用いて、運転者の表情を検出するものである。表情の検出方法は公知の種々の方法を用いることができるものであり、以下の具体例に限定されるものではない。
【００２７】
具体的には、例えば、表情検出部２５は、運転者の右眉に対応する３個の特徴点Ｐ１、運転者の左眉に対応する３個の特徴点Ｐ１、運転者の右眼に対応する２個の特徴点Ｐ１、運転者の左眼に対応する２個の特徴点Ｐ１及び運転者の口に対応する４個の特徴点Ｐ１の位置関係、すなわち合計１４個の特徴点Ｐ１の位置関係に基づき運転者の表情を検出する。図４Ａは、喜びの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｂは、驚きの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｃは、恐れの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｄは、悲しみの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｅは、怒りの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｆは、嫌悪の表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。
【００２８】
人体領域検出部３１は、撮像画像Ｉにおける運転者の顔及び体に対応する領域（以下「人体領域」という。）Ａ２を検出するものである。人体領域Ａ２の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
【００２９】
骨格特徴点検出部３２は、人体領域Ａ２における複数個の特徴点Ｐ２であって、いわゆる「骨格モデル」の生成に用いられる複数個の特徴点Ｐ２を検出するものである。特徴点Ｐ２の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
【００３０】
傾き角度検出部３３は、骨格特徴点検出部３２により検出された複数個の特徴点Ｐ２を用いて、運転者の骨格モデルを生成するものである。傾き角度検出部３３は、当該生成された骨格モデルを用いて、運転者の肩の傾き角度θ２、運転者の腕の傾き角度θ３及び運転者の頭部の傾き角度θ４を検出するものである。傾き角度θ２，θ３，θ４の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
【００３１】
傾き角度θ２，θ３，θ４は、例えば、運転者の顔が車両１の前方に向けられており、かつ、運転者の後頭部が運転席のヘッドレストに当接しており、かつ、運転者の背中が運転席の背もたれに当接しており、かつ、運転者が両手で車両１のハンドルを掴んでおり、かつ、車両１の操舵角が略０°である（すなわち車両１が略直進中である）状態を基準とするものである。傾き角度θ４の具体例は傾き角度θ１の具体例と同様であるため、詳細な説明は省略する。
【００３２】
図５は、複数個の特徴点Ｐ２及び運転者の骨格モデルの一例を示している。図５に示す例においては、１２個の特徴点Ｐ２が検出されており、いわゆる「棒モデル」による骨格モデルが生成されている。
【００３３】
不動状態判定部１３は、画像認識処理部１２による画像認識処理の結果を用いて、運転者の動きがない状態（以下「不動状態」という。）であるか否かを判定するものである。不動状態判定部１３による判定方法の具体例については後述する。
【００３４】
異常状態判定部１４は、不動状態判定部１３による判定結果を用いて、運転者が覚醒度の低下による異常状態であるか否かを判定するものである。以下、覚醒度の低下による異常状態を単に「異常状態」という。
【００３５】
すなわち、異常状態判定部１４は、不動状態判定部１３による判定結果を用いて不動状態の継続時間Ｔを算出する。異常状態判定部１４は、当該算出された継続時間Ｔを所定の基準時間Ｔｔｈと比較する。異常状態判定部１４は、継続時間Ｔが基準時間Ｔｔｈを超えたとき、運転者が異常状態であると判定する。
【００３６】
警告出力制御部１５は、異常状態判定部１４により運転者が異常状態であると判定されたとき、警告を出力する制御を実行するものである。
【００３７】
具体的には、例えば、警告出力制御部１５は、警告用の画像を表示装置３に表示させる制御を実行する。または、例えば、警告出力制御部１５は、警告用の音声を音声出力装置４に出力させる制御を実行する。すなわち、当該画像又は当該音声による警告は、主として車内に対する警告である。
【００３８】
または、例えば、警告出力制御部１５は、警告用の信号を無線通信装置５に送信させる制御を実行する。当該信号は、インターネットなどの広域通信網を介して、いわゆる「センター」に送信される。または、当該信号は、いわゆる「車車間通信」により、車両１の周囲を走行中の他車両に送信される。すなわち、当該信号による警告は、主として車外に対する警告である。
【００３９】
表示装置３は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）又はＨＵＤ（Ｈｅａｄ−Ｕｐ  Ｄｉｓｐｌａｙ）により構成されている。音声出力装置４は、例えば、スピーカーにより構成されている。無線通信装置５は、例えば、インターネット接続用の送信機及び受信機又は車車間通信用の送信機及び受信機により構成されている。
【００４０】
なお、警告出力制御部１５は、警告用の画像を表示装置３に表示させる制御、警告用の音声を音声出力装置４に出力させる制御又は警告用の信号を無線通信装置５に送信させる制御のうちのいずれか二以上を実行するものであっても良い。
【００４１】
顔領域検出部２１、顔特徴点検出部２２、開眼度検出部２３、傾き角度検出部２４、表情検出部２５、人体領域検出部３１、骨格特徴点検出部３２及び傾き角度検出部３３により、画像認識処理部１２の要部が構成されている。画像データ取得部１１、画像認識処理部１２、不動状態判定部１３及び異常状態判定部１４により、搭乗者状態判定装置１００の要部が構成されている。搭乗者状態判定装置１００及び警告出力制御部１５により、警告出力制御装置２００の要部が構成されている。
【００４２】
次に、図６を参照して、警告出力制御装置２００の要部のハードウェア構成について説明する。
【００４３】
図６Ａに示す如く、警告出力制御装置２００はコンピュータにより構成されており、当該コンピュータはプロセッサ４１及びメモリ４２を有している。メモリ４２には、当該コンピュータを画像データ取得部１１、画像認識処理部１２、不動状態判定部１３、異常状態判定部１４及び警告出力制御部１５として機能させるためのプログラムが記憶されている。メモリ４２に記憶されているプログラムをプロセッサ４１が読み出して実行することにより、画像データ取得部１１、画像認識処理部１２、不動状態判定部１３、異常状態判定部１４及び警告出力制御部１５の機能が実現される。
【００４４】
または、図６Ｂに示す如く、警告出力制御装置２００は処理回路４３を有するものであっても良い。この場合、画像データ取得部１１、画像認識処理部１２、不動状態判定部１３、異常状態判定部１４及び警告出力制御部１５の機能が処理回路４３により実現されるものであっても良い。
【００４５】
または、警告出力制御装置２００はプロセッサ４１、メモリ４２及び処理回路４３を有するものであっても良い。この場合、画像データ取得部１１、画像認識処理部１２、不動状態判定部１３、異常状態判定部１４及び警告出力制御部１５の機能のうちの一部の機能がプロセッサ４１及びメモリ４２により実現されて、残余の機能が処理回路４３により実現されるものであっても良い。
【００４６】
プロセッサ４１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などを用いたものである。
【００４７】
メモリ４２は、例えば、半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクを用いたものである。より具体的には、メモリ４２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＦＤ（Ｆｌｏｐｐｙ  Ｄｉｓｋ）、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ）又はＭＤ（Ｍｉｎｉ  Ｄｉｓｃ）などを用いたものである。
【００４８】
処理回路４３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）などを用いたものである。
【００４９】
次に、図７のフローチャートを参照して、警告出力制御装置２００の動作について説明する。警告出力制御装置２００は、例えば、電源がオンされている状態（より具体的には車両１のイグニッション電源がオンされている状態）にて、図７に示す処理を繰り返し実行するようになっている。
【００５０】
まず、ステップＳＴ１にて、画像データ取得部１１は、撮像画像Ｉを示す画像データをカメラ２から取得する。画像データ取得部１１は、当該取得された画像データを画像認識処理部１２に出力する。
【００５１】
次いで、ステップＳＴ２にて、画像認識処理部１２は、画像データ取得部１１により出力された画像データを用いて、撮像画像Ｉに対する画像認識処理を実行する。画像認識処理の具体例は既に説明したとおりであるため、再度の説明は省略する。
【００５２】
次いで、ステップＳＴ３にて、不動状態判定部１３は、画像認識処理部１２による画像認識処理の結果を用いて、運転者が不動状態であるか否かを判定する。不動状態判定部１３による判定方法の具体例については後述する。
【００５３】
運転者が不動状態であると判定された場合（ステップＳＴ３“ＹＥＳ”）、ステップＳＴ４にて、異常状態判定部１４は、不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたか否かを判定する。この継続時間Ｔは、異常状態判定部１４により算出されたものである。
【００５４】
不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたと判定された場合（ステップＳＴ４“ＹＥＳ”）、ステップＳＴ５にて、警告出力制御部１５は警告を出力する制御を実行する。警告出力制御部１５による警告の出力方法の具体例は既に説明したとおりであるため、再度の説明は省略する。
【００５５】
次に、図８〜図１１を参照して、不動状態判定部１３による判定方法の具体例について説明する。
【００５６】
〈不動状態判定部１３による判定方法の第１具体例〉
不動状態判定部１３は、顔領域検出部２１による検出結果を用いて、時間的に連続する２フレーム分の撮像画像Ｉｎ，Ｉｎ＋１における顔領域Ａ１ｎ，Ａ１ｎ＋１について（ｎは任意の整数）、顔領域Ａ１ｎ，Ａ１ｎ＋１が互いに重畳している部位の面積（以下「重畳面積」という。）を算出する。不動状態判定部１３は、顔領域Ａ１ｎの面積又は顔領域Ａ１ｎ＋１の面積に対する重畳面積の比率（以下「重畳面積比率」という。）を算出する。不動状態判定部１３は、重畳面積比率に基づき顔領域Ａ１の移動量を算出する。例えば、不動状態判定部１３は、重畳面積比率が小さいほど顔領域Ａ１の移動量を大きい値に算出する。不動状態判定部１３は、顔領域Ａ１の移動量が所定の基準量未満である場合、運転者が不動状態であると判定する。なお、重畳面積比率の分母は、顔領域Ａ１ｎと顔領域Ａ１ｎ＋１の和（より具体的には論理和）に対応する部位の面積であっても良い。
【００５７】
図８は、第ｎの撮像画像Ｉｎにおける顔領域Ａ１ｎと第ｎ＋１の撮像画像Ｉｎ＋１における顔領域Ａ１ｎ＋１とが互いに重畳している状態の一例を示している。図中、網掛け部は顔領域Ａ１ｎ，Ａ１ｎ＋１が互いに重畳している部位を示している。上記のとおり、撮像画像Ｉｎ，Ｉｎ＋１は時間的に連続する２フレームに対応するものである。すなわち、撮像画像Ｉｎ，Ｉｎ＋１は互いに異なるタイミングにて撮像されたものである。
【００５８】
〈不動状態判定部１３による判定方法の第２具体例〉
不動状態判定部１３は、顔領域検出部２１による検出結果を用いて、時間的に連続する２フレーム分の撮像画像Ｉｎ，Ｉｎ＋１における顔領域Ａ１ｎ，Ａ１ｎ＋１について（ｎは任意の整数）、顔領域Ａ１ｎのサイズに対する顔領域Ａ１ｎ＋１のサイズの変化量を算出する。当該算出された変化量は、前後方向に対する運転者の頭部の移動量を示すものである。不動状態判定部１３は、顔領域Ａ１のサイズの変化量が所定の基準量未満である場合、運転者が不動状態であると判定する。
【００５９】
〈不動状態判定部１３による判定方法の第３具体例〉
不動状態判定部１３は、顔領域検出部２１による検出結果を用いて、所定時間内の第１番目に撮像された撮像画像Ｉにおける顔領域Ａ１の中心部に対する、所定時間内の第２番目以降に撮像された撮像画像Ｉの各々における顔領域Ａ１の中心部の移動量を算出する。不動状態判定部１３は、当該算出された移動量を積算することにより、所定時間内の顔領域Ａ１の移動量を算出する。不動状態判定部１３は、顔領域Ａ１の移動量が所定の基準量未満である場合、運転者が不動状態であると判定する。
【００６０】
〈不動状態判定部１３による判定方法の第４具体例〉
不動状態判定部１３は、傾き角度検出部２４による検出結果を用いて、運転者の頭部の傾き角度θ１が所定の基準角度以上であるか否かを判定する。不動状態判定部１３は、第１具体例又は第３具体例と同様の方法により、顔領域Ａ１の移動量が基準量未満であるか否かを判定する。不動状態判定部１３は、傾き角度θ１が基準角度以上であり、かつ、顔領域Ａ１の移動量が基準量未満である場合、運転者が不動状態であると判定する。
【００６１】
〈不動状態判定部１３による判定方法の第５具体例〉
不動状態判定部１３は、傾き角度検出部２４による検出結果を用いて、運転者の頭部の傾き角度θ１が所定の基準角度以上であるか否かを判定する。不動状態判定部１３は、第２具体例と同様の方法により、顔領域Ａ１のサイズの変化量が基準量未満であるか否かを判定する。不動状態判定部１３は、傾き角度θ１が基準角度以上であり、かつ、顔領域Ａ１のサイズの変化量が基準量未満である場合、運転者が不動状態であると判定する。
【００６２】
〈不動状態判定部１３による判定方法の第６具体例〉
通常、人間のまばたきは３種類に分類される。すなわち、無意識に行われる「周期性まばたき」、眼に光が差し込んだときに行われる「反射性まばたき」及び意識的に行われる「随意性まばたき」である。周期性まばたきは、人間が覚醒している状態にて略一定の周期にて（すなわち略一定の頻度にて）行われる。
【００６３】
そこで、不動状態判定部１３は、開眼度検出部２３による検出結果を用いて、運転者の瞬きの頻度を算出する。不動状態判定部１３は、当該算出された頻度が所定の閾値未満である場合、運転者が不動状態であると判定する。
【００６４】
〈不動状態判定部１３による判定方法の第７具体例〉
不動状態判定部１３は、開眼度検出部２３による検出結果を用いて、いわゆる「ＰＥＲＣＬＯＳ」を算出する。ＰＥＲＣＬＯＳは、所定時間（いわゆる「ウインドウサイズ」）ＴＷＩＮＤＯＷにおける、運転者の眼が閉じている時間ＴＣＬＯＳＥの割合を示すものである。したがって、ＰＥＲＣＬＯＳの算出には以下の式（１）が用いられる。
【００６５】
ＰＥＲＣＬＯＳ＝Σ（ＴＣＬＯＳＥ）／ＴＷＩＮＤＯＷ  （１）
【００６６】
図９は、ＰＥＲＣＬＯＳの一例を示している。図中、Ｄｔｈは、開眼度Ｄに対する比較対象となる閾値であって、運転者が眼を開けている状態であるか運転者が眼を閉じている状態であるかの判定に用いられるものである。不動状態判定部１３は、例えば、所定の閾値Ｄｔｈを用いて個々のＴＣＬＯＳＥを算出して、これらのＴＣＬＯＳＥの総和であるΣ（ＴＣＬＯＳＥ）を算出することにより、ＰＥＲＣＬＯＳを算出する。
【００６７】
不動状態判定部１３は、所定時間毎に（すなわちＴＷＩＮＤＯＷ毎に）ＰＥＲＣＬＯＳを算出して、これらのＰＥＲＣＬＯＳの変化量を算出する。不動状態判定部１３は、ＰＥＲＣＬＯＳの変化量が所定の基準量未満である場合、運転者が不動状態であると判定する。
【００６８】
〈不動状態判定部１３による判定方法の第８具体例〉
不動状態判定部１３は、ｎフレーム分の撮像画像Ｉ０〜Ｉｎ−１における顔領域Ａ１０〜Ａ１ｎ−１の中心部の位置座標（より具体的にはｘ座標値ｘ０〜ｘｎ−１及びｙ座標値ｙ０〜ｙｎ−１）を示す情報を顔領域検出部２１から取得する（ｎは２以上の整数）。撮像画像Ｉ０〜Ｉｎ−１は、所定条件（以下「キャリブレーション条件」という。）の成立タイミングｔ１を始点とする所定時間（例えばＡ＋α秒）内に撮像されたものである。カメラ２による撮像フレームレートをｆｒａｍｅ＿ｒａｔｅとすると、ｎとＡの関係は以下の式（２）により表される。
【００６９】
ｎ＝Ａ＊ｆｒａｍｅ＿ｒａｔｅ  （２）
【００７０】
図１０Ａは、所定時間（すなわちＡ＋α秒）の一例を示している。図１０Ｂは、顔領域Ａ１０〜Ａ１ｎ−１の中心部のｘ座標値ｘ０〜ｘｎ−１及びｙ座標値ｙ０〜ｙｎ−１の一例を示している。
【００７１】
不動状態判定部１３は、撮像画像Ｉの全体又は撮像画像Ｉの一部（例えば撮像画像Ｉのうちの顔領域Ａ１を含む蓋然性が他の部位よりも高い部位）を所定間隔（例えばＢピクセル間隔）に分割してなる複数個の領域と一対一に対応する複数個のビンを設定する。不動状態判定部１３は、ｎ個の顔領域Ａ１０〜Ａ１ｎ−１について、各ビンに含まれる顔領域Ａ１の中心部の個数をカウントしてなるヒストグラムを生成する。以下、このヒストグラムを「基準ヒストグラム」という。図１０Ｃは、基準ヒストグラムの一例を示している。
【００７２】
その後、不動状態判定部１３は、ｍフレーム分の撮像画像Ｉ０〜Ｉｍ−１における顔領域Ａ１０〜Ａ１ｍ−１の中心部の位置座標（より具体的にはｘ座標値ｘ０〜ｘｍ−１及びｙ座標値ｙ０〜ｙｍ−１）を示す情報を顔領域検出部２１から取得する（ｍは２以上の整数）。撮像画像Ｉ０〜Ｉｍ−１は、撮像画像Ｉｍ−１の撮像タイミングｔ２を終点とする所定時間（例えばＣ秒）内に撮像されたものである。カメラ２による撮像フレームレートをｆｒａｍｅ＿ｒａｔｅとすると、ｍとＣの関係は以下の式（３）により表される。
【００７３】
ｍ＝Ｃ＊ｆｒａｍｅ＿ｒａｔｅ  （３）
【００７４】
図１１Ａは、所定時間（すなわちＣ秒）の一例を示している。図１１Ｂは、顔領域Ａ１０〜Ａ１ｍ−１の中心部のｘ座標値ｘ０〜ｘｍ−１及びｙ座標値ｙ０〜ｙｍ−１の一例を示している。
【００７５】
不動状態判定部１３は、基準ヒストグラムにおける複数個のビンと同様の複数個のビンを設定する。不動状態判定部１３は、ｍ個の顔領域Ａ１０〜Ａ１ｍ−１について、各ビンに含まれる顔領域Ａ１の中心部の個数をカウントしてなるヒストグラムを生成する。以下、このヒストグラムを「比較用ヒストグラム」という。図１１Ｃは、比較用ヒストグラムの一例を示している。
【００７６】
不動状態判定部１３は、比較用ヒストグラムにおける各ビンの値を、基準ヒストグラムにおける対応するビンの値と比較する。これにより、不動状態判定部１３は、基準ヒストグラムに対する比較用ヒストグラムの変化の度合を求める。具体的には、例えば、不動状態判定部１３は、ヒストグラムにおける値の分布の変化の度合を求めたり、又は最大値に対応するビンの位置の変化の有無を求めたりする。これにより、不動状態判定部１３は、運転者の顔の変化の有無を判定する。不動状態判定部１３は、運転者の顔の変化がないと判定された場合、運転者が不動状態であると判定する。
【００７７】
なお、比較用ヒストグラムは、基準ヒストグラムが生成された後、所定の時間間隔にて繰り返し生成されるもの（すなわち所定の時間間隔にて更新されるもの）であっても良い。不動状態判定部１３は、比較用ヒストグラムが生成される度毎に（すなわち比較用ヒストグラムが更新される度毎に）、最新の比較用ヒストグラムにおける各ビンの値を基準ヒストグラムにおける対応するビンの値と比較するものであっても良い。
【００７８】
〈不動状態判定部１３による判定方法の第９具体例〉
通常、人間が覚醒している状態においては、周囲の環境又は会話の内容などに応じて、略一定の周期にて（すなわち略一定の頻度にて）表情が変化する。これに対して、覚醒度が低下している状態においては表情の変化がなくなる。より具体的には、表情筋が弛緩することにより口角が下がった表情が維持される。
【００７９】
そこで、不動状態判定部１３は、表情検出部２５による検出結果を用いて、運転者の表情の変化の有無を判定する。不動状態判定部１３は、表情の変化がないと判定された場合、運転者が不動状態であると判定する。
【００８０】
〈不動状態判定部１３による判定方法の第１０具体例〉
不動状態判定部１３は、傾き角度検出部３３による検出結果を用いて、傾き角度θ２の変化の有無（すなわち運転者の肩の動きの有無）を判定する。また、不動状態判定部１３は、傾き角度θ３の変化の有無（すなわち運転者の腕の動きの有無）を判定する。また、不動状態判定部１３は、傾き角度θ４の変化の有無（すなわち運転者の頭部の動きの有無）を判定する。
【００８１】
不動状態判定部１３は、これら動きの有無の判定結果に基づき、運転者が不動状態であるか否かを判定する。例えば、不動状態判定部１３は、運転者の肩の動きがなく、かつ、運転者の腕の動きがなく、かつ、運転者の頭部の動きがない場合、運転者が不動状態であると判定する。
【００８２】
なお、不動状態判定部１３は、第１具体例〜第１０具体例のうちのいずれか１個の方法を実行するものであっても良く、又は第１具体例〜第１０具体例のうちのいずれか２個以上の方法を実行するものであっても良い。第１具体例〜第１０具体例のうちのいずれか２個以上の方法が実行されるものである場合、不動状態判定部１３は、当該２個以上の方法のうちの所定個数以上の方法により運転者が不動状態であると判定されたとき、運転者が不動状態であることを示す判定結果を異常状態判定部１４に出力するものであっても良い。または、この場合、不動状態判定部１３は、個々の方法による判定結果を重み付けすることにより、最終的な判定結果を異常状態判定部１４に出力するものであっても良い。
【００８３】
このように、実施の形態１の搭乗者状態判定装置１００は、運転者が不動状態であるか否かを判定して、不動状態の継続時間Ｔに基づき運転者が異常状態であるか否かを判定する。また、運転者が不動状態であるか否かの判定方法は、開眼度Ｄの検出結果を用いない方法（第１具体例、第２具体例、第３具体例、第４具体例、第５具体例、第８具体例、第９具体例及び第１０具体例）を含むものである。このため、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度Ｄが正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる。
【００８４】
また、運転者が不動状態であるか否かの判定方法（第１具体例〜第１０具体例）は、いずれも、カメラ２による撮像画像Ｉを用いるものである。すなわち、生体センサ等の高価なデバイスは不要である。このため、警告出力制御装置２００を含むシステム全体を安価に実現することができる。
【００８５】
なお、異常状態判定部１４は、車両１に設けられている自動運転制御用のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）から、いわゆる「自動運転レベル」を示す情報を取得するものであっても良い。自動運転レベルは０〜５の値により表されるものであり、レベル０は車両１が手動運転により走行中であることを示している。異常状態判定部１４は、当該取得された情報を用いて、基準時間Ｔｔｈを車両１の自動運転レベルに応じて異なる値に設定するものであっても良い。例えば、異常状態判定部１４は、自動運転レベルが２以下である場合、自動運転レベルが３以上である場合に比して基準時間Ｔｔｈを小さい値に設定するものであっても良い。これにより、車両１の自動運転レベルに応じて、適切な基準時間Ｔｔｈに基づく異常状態の判定を実現することができる。
【００８６】
また、開眼度検出部２３は、開眼度Ｄを検出する処理を実行したとき、当該検出の成否を示す情報を不動状態判定部１３に出力するものであっても良い。不動状態判定部１３は、開眼度検出部２３により出力された情報を用いて、開眼度検出部２３が開眼度Ｄの検出に成功した場合は開眼度Ｄの検出結果を用いる方法（第６具体例又は第７具体例のうちの少なくとも１個の方法）により運転者が不動状態であるか否かを判定して、開眼度検出部２３が開眼度Ｄの検出に失敗した場合は開眼度Ｄの検出結果を用いない方法（第１具体例、第２具体例、第３具体例、第４具体例、第５具体例、第８具体例、第９具体例又は第１０具体例のうちの少なくとも１個の方法）により運転者が不動状態であるか否かを判定するものであっても良い。これにより、開眼度Ｄの検出の成否に応じて、適切な方法による不動状態の判定を実現することができる。
【００８７】
また、開眼度検出部２３は、開眼度Ｄの検出に成功したとき、当該検出結果の信頼度を示す情報を異常状態判定部１４に出力するものであっても良い。異常状態判定部１４は、開眼度検出部２３により出力された情報を用いて、基準時間Ｔｔｈを開眼度Ｄの検出結果の信頼度に応じて異なる値に設定するものであっても良い。例えば、異常状態判定部１４は、信頼度が所定の閾値未満である場合、信頼度が閾値以上である場合に比して基準時間Ｔｔｈを小さい値に設定するものであっても良い。これにより、開眼度Ｄの検出結果の信頼度に応じて、適切な基準時間Ｔｔｈに基づく異常状態の判定を実現することができる。
【００８８】
また、不動状態判定部１３による判定方法が第４具体例及び第５具体例を含まないものである場合、画像認識処理部１２は、図２に示す傾き角度検出部２４を除去してなるものであっても良い。
【００８９】
また、不動状態判定部１３による判定方法が第６具体例及び第７具体例を含まないものである場合、画像認識処理部１２は、図２に示す開眼度検出部２３を除去してなるものであっても良い。
【００９０】
また、不動状態判定部１３による判定方法が第９具体例を含まないものである場合、画像認識処理部１２は、図２に示す表情検出部２５を除去してなるものであっても良い。
【００９１】
また、不動状態判定部１３による判定方法が第１０具体例を含まないものである場合、画像認識処理部１２は、図２に示す人体領域検出部３１、骨格特徴点検出部３２及び傾き角度検出部３３を除去してなるものであっても良い。
【００９２】
また、警告出力制御部１５による警告の出力方法は、上記の具体例に限定されるものではない。警告出力制御部１５は、例えば、異常状態判定部１４により運転者が異常状態であると判定されたとき、車両１のハザードランプを点灯させる制御を実行するものであっても良い。
【００９３】
また、搭乗者状態判定装置１００は、運転者が異常状態であるか否かの判定に用いることができるのはもちろんのこと、車両１の搭乗者のうちの運転者と異なる搭乗者が異常状態であるか否かの判定にも用いることができる。例えば、搭乗者状態判定装置１００は、車両１がレベル３以上の自動運転により走行しているとき、運転席に着座しているものの車両１を運転していない搭乗者が異常状態であるか否かの判定にも用いることができる。
【００９４】
以上のように、実施の形態１の搭乗者状態判定装置１００は、車室内撮像用のカメラ２による撮像画像Ｉを示す画像データを取得する画像データ取得部１１と、画像データを用いて、撮像画像Ｉに対する画像認識処理を実行する画像認識処理部１２と、画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部１３と、不動状態判定部１３による判定結果を用いて、搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部１４とを備え、異常状態判定部１４は、不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたとき、搭乗者が異常状態であると判定する。これにより、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度Ｄが正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる。
【００９５】
また、異常状態判定部１４は、基準時間Ｔｔｈを自動運転レベルに応じて異なる値に設定する。これにより、車両１の自動運転レベルに応じて、適切な基準時間Ｔｔｈに基づく異常状態の判定を実現することができる。
【００９６】
また、画像認識処理は、搭乗者の開眼度Ｄを検出する処理を含むものであり、異常状態判定部１４は、基準時間Ｔｔｈを開眼度Ｄの検出結果の信頼度に応じて異なる値に設定する。これにより、開眼度Ｄの検出結果の信頼度に応じて、適切な基準時間Ｔｔｈに基づく異常状態の判定を実現することができる。
【００９７】
また、画像認識処理は、搭乗者の開眼度Ｄを検出する処理を含むものであり、不動状態判定部１３による判定方法は、開眼度Ｄの検出結果を用いる方法と開眼度Ｄの検出結果を用いない方法とを含むものであり、不動状態判定部１３は、画像認識処理部１２が開眼度Ｄの検出に失敗した場合、開眼度Ｄの検出結果を用いない方法により搭乗者が不動状態であるか否かを判定する。これにより、開眼度Ｄの検出の成否に応じて、適切な方法による不動状態の判定を実現することができる。
【００９８】
また、画像認識処理は、撮像画像Ｉにおける顔領域Ａ１を検出する処理を含むものであり、不動状態判定部１３は、顔領域Ａ１の移動量又は顔領域Ａ１のサイズの変化量が基準量未満である場合、搭乗者が不動状態であると判定する。これにより、例えば、第１具体例、第２具体例及び第３具体例を実現することができる。
【００９９】
また、撮像画像Ｉは、カメラ２により互いに異なるタイミングにて撮像された第１撮像画像（Ｉｎ）及び第２撮像画像（Ｉｎ＋１）を含むものであり、顔領域Ａ１は、第１撮像画像（Ｉｎ）における第１顔領域（Ａ１ｎ）及び第２撮像画像（Ｉｎ＋１）における第２顔領域（Ａ１ｎ＋１）を含むものであり、不動状態判定部１３は、第１顔領域（Ａ１ｎ）の面積又は第２顔領域（Ａ１ｎ＋１）の面積に対する第１顔領域（Ａ１ｎ）及び第２顔領域（Ａ１ｎ＋１）が互いに重畳している部位の面積の比率に基づき移動量を算出する。これにより、例えば、第１具体例を実現することができる。
【０１００】
また、画像認識処理は、搭乗者の頭部の傾き角度θ１を検出する処理を含むものであり、不動状態判定部１３は、傾き角度θ１が基準角度以上であり、かつ、移動量又は変化量が基準量未満である場合、搭乗者が不動状態であると判定する。これにより、例えば、第４具体例及び第５具体例を実現することができる。
【０１０１】
また、画像認識処理は、搭乗者の開眼度Ｄを検出する処理を含むものであり、不動状態判定部１３は、開眼度Ｄの変化に基づき搭乗者が不動状態であるか否かを判定する。これにより、例えば、第６具体例及び第７具体例を実現することができる。
【０１０２】
また、画像認識処理は、撮像画像Ｉにおける顔領域Ａ１を検出する処理を含むものであり、不動状態判定部１３は、所定時間内に撮像された複数枚の撮像画像（Ｉ０〜Ｉｎ−１）における顔領域（Ａ１０〜Ａ１ｎ−１）の中心部の位置を示す基準ヒストグラムと、他の所定時間内に撮像された複数枚の撮像画像（Ｉ０〜Ｉｍ−１）における顔領域（Ａ１０〜Ａ１ｍ−１）の中心部の位置を示す比較用ヒストグラムとを生成して、基準ヒストグラムと比較用ヒストグラムとを比較することにより搭乗者が不動状態であるか否かを判定する。これにより、例えば、第８具体例を実現することができる。
【０１０３】
また、画像認識処理は、搭乗者の表情を検出する処理を含むものであり、不動状態判定部１３は、表情の変化の有無に基づき搭乗者が不動状態であるか否かを判定する。これにより、例えば、第９具体例を実現することができる。
【０１０４】
また、画像認識処理は、搭乗者の骨格モデルを用いて搭乗者の肩、腕及び頭部の傾き角度θ２，θ３，θ４を検出する処理を含むものであり、不動状態判定部１３は、傾き角度θ２，θ３，θ４の変化の有無に基づき搭乗者が不動状態であるか否かを判定する。これにより、例えば、第１０具体例を実現することができる。
【０１０５】
また、実施の形態１の警告出力制御装置２００は、搭乗者状態判定装置１００と、異常状態判定部１４により搭乗者が異常状態であると判定されたとき、警告を出力する制御を実行する警告出力制御部１５とを備える。これにより、運転者の異常状態が発生したとき、その旨を示す警告を出力することができる。
【０１０６】
また、警告出力制御部１５は、警告用の画像を表示装置３に表示させる制御、警告用の音声を音声出力装置４に出力させる制御又は警告用の信号を無線通信装置５に送信させる制御のうちの少なくとも一つを実行する。これにより、運転者の異常状態が発生したとき、その旨を示す警告を車内又は車外に対して出力することができる。
【０１０７】
また、実施の形態１の搭乗者状態判定方法は、画像データ取得部１１が、車室内撮像用のカメラ２による撮像画像Ｉを示す画像データを取得するステップＳＴ１と、画像認識処理部１２が、画像データを用いて、撮像画像Ｉに対する画像認識処理を実行するステップＳＴ２と、不動状態判定部１３が、画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定するステップＳＴ３と、異常状態判定部１４が、不動状態判定部１３による判定結果を用いて、搭乗者が覚醒度の低下による異常状態であるか否かを判定するステップＳＴ４とを備え、異常状態判定部１４は、不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたとき、搭乗者が異常状態であると判定する。これにより、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度Ｄが正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる。
【０１０８】
実施の形態２．
図１２は、実施の形態２に係る警告出力制御装置の要部を示すブロック図である。図１２を参照して、実施の形態２の搭乗者状態判定装置１００ａ及び警告出力制御装置２００ａについて説明する。なお、図１２において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。
【０１０９】
操作状態情報取得部１６は、運転者による車両設備６の操作状態を示す情報（以下「操作状態情報」という。）を取得するものである。具体的には、例えば、操作状態情報取得部１６は、図示しないＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などの車内ネットワークを介して、車両設備６から操作状態情報を取得する。
【０１１０】
車両設備６は、主として車両１の走行に関するものである。車両設備６は、例えば、ステアリング、アクセルペダル、ブレーキペダル、ターンシグナル、ドア及びシフトレバーなどを含むものである。
【０１１１】
操作状態情報取得部１６は、当該取得された操作状態情報を不動状態判定部１３ａに出力するものである。
【０１１２】
不動状態判定部１３ａは、画像認識処理部１２による画像認識処理の結果及び操作状態情報取得部１６により出力された操作状態情報を用いて、運転者が不動状態であるか否かを判定するものである。
【０１１３】
すなわち、不動状態判定部１３ａは、操作状態情報取得部１６により出力された操作状態情報を用いて、運転者による車両設備６の操作の有無を判定する。また、不動状態判定部１３ａは、画像認識処理部１２による画像認識処理の結果を用いて、第１具体例〜第１０具体例のうちの少なくとも１個の方法により、運転者の動きの有無を判定する。不動状態判定部１３ａは、運転者による車両設備６の操作がなく、かつ、運転者の動きがないと判定された場合、運転者が不動状態であると判定する。第１具体例〜第１０具体例は実施の形態１にて説明したものと同様であるため、再度の説明は省略する。
【０１１４】
画像データ取得部１１、画像認識処理部１２、不動状態判定部１３ａ、異常状態判定部１４及び操作状態情報取得部１６により、搭乗者状態判定装置１００ａの要部が構成されている。搭乗者状態判定装置１００ａ及び警告出力制御部１５により、警告出力制御装置２００ａの要部が構成されている。
【０１１５】
警告出力制御装置２００ａの要部のハードウェア構成は、実施の形態１にて図６を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、不動状態判定部１３ａの機能はプロセッサ４１及びメモリ４２により実現されるものであっても良く、又は処理回路４３により実現されるものであっても良い。また、操作状態情報取得部１６の機能はプロセッサ４１及びメモリ４２により実現されるものであっても良く、又は処理回路４３により実現されるものであっても良い。
【０１１６】
次に、図１３のフローチャートを参照して、警告出力制御装置２００ａの動作について説明する。警告出力制御装置２００ａは、例えば、電源がオンされている状態（より具体的には車両１のイグニッション電源がオンされている状態）にて、図１３に示す処理を繰り返し実行するようになっている。
【０１１７】
まず、ステップＳＴ６にて、操作状態情報取得部１６は、車両設備６の操作状態情報を取得する。操作状態情報取得部１６は、当該取得された操作状態情報を不動状態判定部１３ａに出力する。
【０１１８】
次いで、ステップＳＴ１にて、画像データ取得部１１は、撮像画像Ｉを示す画像データをカメラ２から取得する。画像データ取得部１１は、当該取得された画像データを画像認識処理部１２に出力する。
【０１１９】
次いで、ステップＳＴ２にて、画像認識処理部１２は、画像データ取得部１１により出力された画像データを用いて、撮像画像Ｉに対する画像認識処理を実行する。画像認識処理の具体例は実施の形態１にて説明したとおりであるため、再度の説明は省略する。
【０１２０】
次いで、ステップＳＴ３ａにて、不動状態判定部１３ａは、画像認識処理部１２による画像認識処理の結果及び操作状態情報取得部１６により出力された操作状態情報を用いて、運転者が不動状態であるか否かを判定する。不動状態判定部１３ａによる判定方法の具体例は既に説明したとおりであるため、再度の説明は省略する。
【０１２１】
運転者が不動状態であると判定された場合（ステップＳＴ３ａ“ＹＥＳ”）、ステップＳＴ４にて、異常状態判定部１４は、不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたか否かを判定する。この継続時間Ｔは、異常状態判定部１４により算出されたものである。
【０１２２】
不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたと判定された場合（ステップＳＴ４“ＹＥＳ”）、ステップＳＴ５にて、警告出力制御部１５は警告を出力する制御を実行する。警告出力制御部１５による警告の出力方法の具体例は実施の形態１にて説明したとおりであるため、再度の説明は省略する。
【０１２３】
このように、画像認識処理の結果に加えて操作状態情報を用いることにより、運転者が不動状態であるか否かをより正確に判定することができる。
【０１２４】
なお、車両１に設けられているＥＣＵがＯＢＤ（Ｏｎ−Ｂｏａｒｄ  Ｄｉａｇｎｏｓｔｉｃｓ）機能を有している場合、操作状態情報取得部１６は、当該ＯＢＤ機能により出力された操作状態情報を取得するものであっても良い。
【０１２５】
また、不動状態判定部１３ａが第８具体例を実行するものである場合、不動状態判定部１３ａは、操作状態情報を用いてキャリブレーション条件の成立タイミングｔ１を検出するものであっても良い。すなわち、キャリブレーション条件は、運転者が車両設備６を操作していないという条件であっても良い。これにより、比較用ヒストグラムに対する比較に適した基準ヒストグラム（すなわち当該比較により運転者が不動状態であるか否かをより正確に判定可能な基準ヒストグラム）を生成することができる。
【０１２６】
また、搭乗者状態判定装置１００ａは、実施の形態１にて説明したものと同様の種々の変形例、すなわち搭乗者状態判定装置１００と同様の種々の変形例を採用することができる。
【０１２７】
また、警告出力制御装置２００ａは、実施の形態１にて説明したものと同様の種々の変形例、すなわち警告出力制御装置２００と同様の種々の変形例を採用することができる。
【０１２８】
以上のように、実施の形態２の搭乗者状態判定装置１００ａは、搭乗者による車両設備６の操作状態を示す操作状態情報を取得する操作状態情報取得部１６を備え、不動状態判定部１３ａは、画像認識処理の結果及び操作状態情報を用いて搭乗者が不動状態であるか否かを判定する。画像認識処理の結果に加えて操作状態情報を用いることにより、運転者が不動状態であるか否かをより正確に判定することができる。
【０１２９】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１３０】
本発明の搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法は、例えば、いわゆる「ドライバーモニタリングシステム」に応用することができる。
【符号の説明】
【０１３１】
１  車両、２  カメラ、３  表示装置、４  音声出力装置、５  無線通信装置、６  車両設備、１１  画像データ取得部、１２  画像認識処理部、１３，１３ａ  不動状態判定部、１４  異常状態判定部、１５  警告出力制御部、１６  操作状態情報取得部、２１  顔領域検出部、２２  顔特徴点検出部、２３  開眼度検出部、２４  傾き角度検出部、２５  表情検出部、３１  人体領域検出部、３２  骨格特徴点検出部、３３  傾き角度検出部、４１  プロセッサ、４２  メモリ、４３  処理回路、１００，１００ａ  搭乗者状態判定装置、２００，２００ａ  警告出力制御装置。
【図１】
2019198179.tif 000003
【図２】
2019198179.tif 000004
【図３】
2019198179.tif 000005
【図４】
2019198179.tif 000006
【図５】
2019198179.tif 000007
【図６】
2019198179.tif 000008
【図７】
2019198179.tif 000009
【図８】
2019198179.tif 000010
【図９】
2019198179.tif 000011
【図１０】
2019198179.tif 000012
【図１１】
2019198179.tif 000013
【図１２】
2019198179.tif 000014
【図１３】
2019198179.tif 000015
【手続補正書】
【提出日】令和2年3月11日(2020.3.11)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の搭乗者状態判定装置は、車室内撮像用のカメラによる撮像画像を示す画像データを取得する画像データ取得部と、画像データを用いて、撮像画像に対する画像認識処理を実行する画像認識処理部と、画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部と、不動状態判定部による判定結果を用いて、搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部とを備え、画像認識処理は、撮像画像における顔領域を検出する処理を含むものであり、不動状態判定部は、顔領域の移動量又は顔領域のサイズの変化量が基準量未満である場合、搭乗者が不動状態であると判定し、異常状態判定部は、不動状態の継続時間が基準時間を超えたとき、搭乗者が異常状態であると判定するものである。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車室内撮像用のカメラによる撮像画像を示す画像データを取得する画像データ取得部と、
前記画像データを用いて、前記撮像画像に対する画像認識処理を実行する画像認識処理部と、
前記画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部と、
前記不動状態判定部による判定結果を用いて、前記搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部と、を備え、
前記画像認識処理は、前記撮像画像における顔領域を検出する処理を含むものであり、
前記不動状態判定部は、前記顔領域の移動量又は前記顔領域のサイズの変化量が基準量未満である場合、前記搭乗者が前記不動状態であると判定し、
前記異常状態判定部は、前記不動状態の継続時間が基準時間を超えたとき、前記搭乗者が前記異常状態であると判定する
ことを特徴とする搭乗者状態判定装置。
【請求項２】
前記異常状態判定部は、前記基準時間を自動運転レベルに応じて異なる値に設定することを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項３】
前記画像認識処理は、前記搭乗者の開眼度を検出する処理を含むものであり、
前記異常状態判定部は、前記基準時間を前記開眼度の検出結果の信頼度に応じて異なる値に設定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項４】
前記画像認識処理は、さらに、前記搭乗者の開眼度を検出する処理を含むものであり、
前記不動状態判定部による判定方法は、前記開眼度の検出結果を用いる方法と前記開眼度の検出結果を用いない方法とを含むものであり、
前記不動状態判定部は、前記画像認識処理部が前記開眼度の検出に失敗した場合、前記開眼度の検出結果を用いない方法により前記搭乗者が前記不動状態であるか否かを判定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項５】
前記撮像画像は、前記カメラにより互いに異なるタイミングにて撮像された第１撮像画像及び第２撮像画像を含むものであり、
前記顔領域は、前記第１撮像画像における第１顔領域及び前記第２撮像画像における第２顔領域を含むものであり、
前記不動状態判定部は、前記第１顔領域の面積又は前記第２顔領域の面積に対する前記第１顔領域及び前記第２顔領域が互いに重畳している部位の面積の比率に基づき前記移動量を算出する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項６】
前記画像認識処理は、さらに、前記搭乗者の頭部の傾き角度を検出する処理を含むものであり、
前記不動状態判定部は、さらに、前記傾き角度が基準角度以上であり、かつ、前記移動量又は前記変化量が前記基準量未満である場合、前記搭乗者が前記不動状態であると判定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項７】
前記画像認識処理は、さらに、前記搭乗者の開眼度を検出する処理を含むものであり、
前記不動状態判定部は、さらに、前記開眼度の変化に基づき前記搭乗者が前記不動状態であるか否かを判定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項８】
前記画像認識処理は、さらに、前記撮像画像における顔領域を検出する処理を含むものであり、
前記不動状態判定部は、さらに、所定時間内に撮像された複数枚の前記撮像画像における前記顔領域の中心部の位置を示す基準ヒストグラムと、他の所定時間内に撮像された複数枚の前記撮像画像における前記顔領域の中心部の位置を示す比較用ヒストグラムとを生成して、前記基準ヒストグラムと前記比較用ヒストグラムとを比較することにより前記搭乗者が前記不動状態であるか否かを判定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項９】
前記画像認識処理は、さらに、前記搭乗者の表情を検出する処理を含むものであり、
前記不動状態判定部は、さらに、前記表情の変化の有無に基づき前記搭乗者が前記不動状態であるか否かを判定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項１０】
前記画像認識処理は、さらに、前記搭乗者の骨格モデルを用いて前記搭乗者の肩、腕及び頭部の傾き角度を検出する処理を含むものであり、
前記不動状態判定部は、さらに、前記傾き角度の変化の有無に基づき前記搭乗者が前記不動状態であるか否かを判定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項１１】
前記搭乗者による車両設備の操作状態を示す操作状態情報を取得する操作状態情報取得部を備え、
前記不動状態判定部は、前記画像認識処理の結果及び前記操作状態情報を用いて前記搭乗者が前記不動状態であるか否かを判定する
ことを特徴とする請求項１記載の搭乗者状態判定装置。
【請求項１２】
請求項１記載の搭乗者状態判定装置と、
前記異常状態判定部により前記搭乗者が前記異常状態であると判定されたとき、警告を出力する制御を実行する警告出力制御部と、
を備えることを特徴とする警告出力制御装置。
【請求項１３】
前記警告出力制御部は、警告用の画像を表示装置に表示させる制御、警告用の音声を音声出力装置に出力させる制御又は警告用の信号を無線通信装置に送信させる制御のうちの少なくとも一つを実行することを特徴とする請求項１２記載の警告出力制御装置。
【請求項１４】
画像データ取得部が、車室内撮像用のカメラによる撮像画像を示す画像データを取得するステップと、
画像認識処理部が、前記画像データを用いて、前記撮像画像に対する画像認識処理を実行するステップと、
不動状態判定部が、前記画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定するステップと、
異常状態判定部が、前記不動状態判定部による判定結果を用いて、前記搭乗者が覚醒度の低下による異常状態であるか否かを判定するステップと、を備え、
前記画像認識処理は、前記撮像画像における顔領域を検出する処理を含むものであり、
前記不動状態判定部は、前記顔領域の移動量又は前記顔領域のサイズの変化量が基準量未満である場合、前記搭乗者が前記不動状態であると判定し、
前記異常状態判定部は、前記不動状態の継続時間が基準時間を超えたとき、前記搭乗者が前記異常状態であると判定する
ことを特徴とする搭乗者状態判定方法。
【国際調査報告】
2019198179.tif 000016
2019198179.tif 000017
2019198179.tif 000018
2019198179.tif 000019