(57)【要約】  画像処理装置（１００）は、車室内撮像用のカメラ（２）による撮像画像に対する画像認識処理を実行する画像認識部（１３）と、画像認識処理用の１個以上の閾値（Ｔｈ）のうちの少なくとも１個の閾値（Ｔｈ）を運転モード情報に応じて異なる値に設定する閾値設定部（１４）とを備える。
2019229938.tif 000002
【特許請求の範囲】
【請求項１】
車室内撮像用のカメラによる撮像画像に対する画像認識処理を実行する画像認識部と、
前記画像認識処理用の１個以上の閾値のうちの少なくとも１個の閾値を運転モード情報に応じて異なる値に設定する閾値設定部と、
を備える画像処理装置。
【請求項２】
前記少なくとも１個の閾値は、前記画像認識処理における検出結果の信頼度に対する比較対象となる信頼度判定閾値を含むものであり、
前記画像認識処理において前記信頼度が前記信頼度判定閾値よりも大きいと判定された場合、前記検出結果を用いた処理が実行されるものである
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像認識部は、前記画像認識処理において前記信頼度が前記信頼度判定閾値よりも大きいと判定された場合、前記検出結果を用いた他の画像認識処理を実行することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記画像認識処理は顔領域を検出するものであり、前記他の画像認識処理は顔特徴点を検出するものであることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記画像認識処理は顔特徴点を検出するものであり、前記他の画像認識処理は搭乗者の開眼度を検出するものであることを特徴とする請求項３記載の画像処理装置。
【請求項６】
前記画像認識処理は顔特徴点を検出するものであり、前記他の画像認識処理は搭乗者の顔向き角度を検出するものであることを特徴とする請求項３記載の画像処理装置。
【請求項７】
前記画像認識処理は手領域を検出するものであり、前記他の画像認識処理は手特徴点を検出するものであることを特徴とする請求項３記載の画像処理装置。
【請求項８】
前記画像認識処理は手特徴点を検出するものであり、前記他の画像認識処理は搭乗者の手の形状を検出するものであることを特徴とする請求項３記載の画像処理装置。
【請求項９】
前記画像認識処理は手特徴点を検出するものであり、前記他の画像認識処理は搭乗者の手の動きを検出するものであることを特徴とする請求項３記載の画像処理装置。
【請求項１０】
前記画像認識処理において前記信頼度が前記信頼度判定閾値よりも大きいと判定された場合、前記検出結果を用いた搭乗者状態判定処理を実行する搭乗者状態判定部を備えることを特徴とする請求項２記載の画像処理装置。
【請求項１１】
前記画像認識処理は搭乗者の開眼度を検出するものであり、前記搭乗者状態判定処理は前記搭乗者が居眠り状態であるか否かを判定するものであることを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
前記画像認識処理は搭乗者の顔向き角度を検出するものであり、前記搭乗者状態判定処理は前記搭乗者が脇見状態であるか否かを判定するものであることを特徴とする請求項１０記載の画像処理装置。
【請求項１３】
前記画像認識処理において前記信頼度が前記信頼度判定閾値よりも大きいと判定された場合、前記検出結果を用いたジェスチャ認識処理を実行するジェスチャ認識部を備えることを特徴とする請求項２記載の画像処理装置。
【請求項１４】
前記画像認識処理は搭乗者の手の形状を検出するものであることを特徴とする請求項１３記載の画像処理装置。
【請求項１５】
前記画像認識処理は搭乗者の手の動きを検出するものであることを特徴とする請求項１３記載の画像処理装置。
【請求項１６】
前記運転モード情報は、車両が手動運転モードに設定されているか自動運転モードに設定されているかを示すものであり、
前記閾値設定部は、前記車両が前記自動運転モードに設定されている場合、前記車両が前記手動運転モードに設定されている場合に比して前記信頼度判定閾値を小さい値に設定する
ことを特徴とする請求項２記載の画像処理装置。
【請求項１７】
前記運転モード情報は、車両が手動運転モードに設定されているか自動運転モードに設定されているかを示すものであり、
前記閾値設定部は、前記車両が前記自動運転モードに設定されている場合において、前記車両が前記自動運転モードから前記手動運転モードへの遷移直前状態であると判定されたとき、前記車両が前記手動運転モードに設定されている場合に比して前記信頼度判定閾値を小さい値に設定する
ことを特徴とする請求項２記載の画像処理装置。
【請求項１８】
前記運転モード情報は、自動運転制御装置により出力されたものであり、
前記自動運転制御装置は、操作入力装置に対する操作入力により前記車両の運転モードを切り替えるものである
ことを特徴とする請求項１６記載の画像処理装置。
【請求項１９】
前記運転モード情報は、自動運転制御装置により出力されたものであり、
前記自動運転制御装置は、ナビゲーション情報を用いて前記車両が前記遷移直前状態であるか否かを判定するものである
ことを特徴とする請求項１７記載の画像処理装置。
【請求項２０】
前記運転モード情報は、自動運転制御装置により出力されたものであり、
前記自動運転制御装置は、車載器による受信信号を用いて前記車両が前記遷移直前状態であるか否かを判定するものである
ことを特徴とする請求項１７記載の画像処理装置。
【請求項２１】
前記閾値設定部は、前記少なくとも１個の閾値を前記運転モード情報及び眠気情報に応じて異なる値に設定することを特徴とする請求項１記載の画像処理装置。
【請求項２２】
前記閾値設定部は、前記少なくとも１個の閾値を前記運転モード情報及び眠気情報に応じて異なる値に設定するものであり、
前記眠気情報は、搭乗者の眠気レベルを示すものであり、
前記閾値設定部は、前記眠気レベルが基準レベル以上である場合、前記眠気レベルが前記基準レベル未満である場合に比して前記信頼度判定閾値を小さい値に設定する
ことを特徴とする請求項２記載の画像処理装置。
【請求項２３】
前記閾値設定部は、前記少なくとも１個の閾値を前記運転モード情報及び車外環境情報に応じて異なる値に設定することを特徴とする請求項１記載の画像処理装置。
【請求項２４】
前記閾値設定部は、前記少なくとも１個の閾値を前記運転モード情報及び車外環境情報に応じて異なる値に設定するものであり、
前記車外環境情報は、車両の周囲における降水量を示すものであり、
前記閾値設定部は、前記降水量が基準量以上である場合、前記降水量が前記基準量未満である場合に比して前記信頼度判定閾値を小さい値に設定する
ことを特徴とする請求項２記載の画像処理装置。
【請求項２５】
画像認識部が、車室内撮像用のカメラによる撮像画像に対する画像認識処理を実行するステップと、
閾値設定部が、前記画像認識処理用の１個以上の閾値のうちの少なくとも１個の閾値を運転モード情報に応じて異なる値に設定するステップと、
を備える画像処理方法。
【請求項２６】
車室内撮像用のカメラと、
前記カメラによる撮像画像に対する画像認識処理を実行する画像認識部と、前記画像認識処理用の１個以上の閾値のうちの少なくとも１個の閾値を運転モード情報に応じて異なる値に設定する閾値設定部と、を有する画像処理装置と、
を備える画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理システムに関する。
【背景技術】
【０００２】
従来、車室内撮像用のカメラによる撮像画像に対する画像認識処理を実行するシステムが開発されている。画像認識処理の結果は、例えば、搭乗者が異常状態であるか否かの判定に用いられる（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１４６７４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、いわゆる「自動運転」に関する技術開発が進められている。これに伴い、車両の運転モードに応じた画像認識処理の実現が求められている。例えば、車両が手動運転モードに設定されているときは、搭乗者が異常状態であるか否かの判定の精度を上げて、当該判定の実行回数（すなわち当該判定の実行頻度）を減らす画像認識処理の実現が求められている。すなわち、手動運転モードにおいては、異常状態の過検出を防止して、不要な警報の出力を減らすことが求められている。また、車両が自動運転モードに設定されているときは、いつでも自動運転モードから手動運転モードへの切替えに対応することができるように、当該判定の精度を下げて、当該判定の実行回数（すなわち当該判定の実行頻度）を増やす画像認識処理の実現が求められている。すなわち、自動運転モードにおいては、異常状態の未検出を防止して、異常状態の取りこぼしを防ぐことが求められている。【０００５】
本発明は、上記のような課題を解決するためになされたものであり、車両の運転モードに応じた画像認識処理を実現することができる画像処理装置、画像処理方法及び画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、車室内撮像用のカメラによる撮像画像に対する画像認識処理を実行する画像認識部と、画像認識処理用の１個以上の閾値のうちの少なくとも１個の閾値を運転モード情報に応じて異なる値に設定する閾値設定部とを備えるものである。
【発明の効果】
【０００７】
本発明によれば、上記のように構成したので、車両の運転モードに応じた画像認識処理を実現することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る画像処理システムが車両に設けられている状態を示すブロック図である。
【図２】図２Ａは、実施の形態１に係る制御装置のハードウェア構成を示すブロック図である。図２Ｂは、実施の形態１に係る制御装置の他のハードウェア構成を示すブロック図である。
【図３】図３Ａは、実施の形態１に係る画像処理装置の動作を示すフローチャートである。図３Ｂは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。図３Ｃは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。図３Ｄは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。
【図４】図４Ａは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。図４Ｂは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。
【図５】図５Ａは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。図５Ｂは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。図５Ｃは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。図５Ｄは、実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。
【図６】実施の形態１に係る画像処理装置の他の動作を示すフローチャートである。
【図７】図７Ａは、撮像画像及び顔領域の一例を示す説明図である。図７Ｂは、撮像画像及び顔領域の他の例を示す説明図である。図７Ｃは、撮像画像及び顔領域の他の例を示す説明図である。図７Ｄは、撮像画像及び顔領域の他の例を示す説明図である。
【図８】実施の形態１に係る他の画像処理システムが車両に設けられている状態を示すブロック図である。
【図９】実施の形態２に係る画像処理システムが車両に設けられている状態を示すブロック図である。
【図１０】実施の形態３に係る画像処理システムが車両に設けられている状態を示すブロック図である。
【図１１】実施の形態３に係る他の画像処理システムが車両に設けられている状態を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
【００１０】
実施の形態１．
図１は、実施の形態１に係る画像処理システムが車両に設けられている状態を示すブロック図である。図１を参照して、実施の形態１の画像処理システム３００について説明する。
【００１１】
車両１は車室内撮像用のカメラ２を有している。カメラ２は、例えば、赤外線カメラ又は可視光カメラにより構成されている。カメラ２は、例えば、車両１のダッシュボード（より具体的にはセンタークラスター）に設けられている。以下、カメラ２による撮像対象となる搭乗者を単に「搭乗者」という。すなわち、搭乗者は運転者を含むものである。
【００１２】
車両１は自動運転に対応している。すなわち、車両１は手動運転モード又は自動運転モードにより走行自在である。自動運転制御装置３は、車両１の運転モードを切り替える制御を実行するものである。また、自動運転制御装置３は、車両１が自動運転モードに設定されている場合、車両１を走行させる制御を実行するものである。
【００１３】
画像データ取得部１１は、カメラ２による撮像画像（以下単に「撮像画像」という。）を示す画像データをカメラ２から取得するものである。画像データ取得部１１は、当該取得された画像データを画像認識部１３に出力するものである。
【００１４】
運転モード情報取得部１２は、車両１の運転モードに関する情報（以下「運転モード情報」という。）を自動運転制御装置３から取得するものである。運転モード情報は、例えば、車両１が手動運転モードに設定されているか自動運転モードに設定されているかを示すものである。運転モード情報取得部１２は、当該取得された運転モード情報を閾値設定部１４に出力するものである。
【００１５】
画像認識部１３は、画像データ取得部１１により出力された画像データを用いて、撮像画像に対する複数種類の画像認識処理を実行するものである。複数種類の画像認識処理の各々は、１個以上の閾値Ｔｈを用いるものである。閾値設定部１４は、これらの閾値Ｔｈを設定するものである。以下、画像認識処理及び閾値Ｔｈの具体例について説明する。
【００１６】
まず、画像認識部１３は、撮像画像における搭乗者の顔に対応する領域（以下「顔領域」という。）を検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「顔領域検出処理」と総称する。閾値設定部１４は、顔領域検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
【００１７】
顔領域検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。顔領域検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、顔領域検出処理のアルゴリズムに応じたものである。顔領域検出処理における検出結果の信頼度Ｒは、顔領域内のコントラスト差、搭乗者の顔に対する遮蔽物（例えば搭乗者の手又は飲食物）の有無、及び搭乗者の装着物（例えばマスク、帽子又はマフラー）の有無などの種々の要因により変動する。
【００１８】
また、画像認識部１３は、顔領域検出処理の結果を用いて、複数個の顔パーツ（例えば右眼、左眼、右眉、左眉、鼻及び口）の各々に対応する複数個の特徴点（以下「顔特徴点」という。）を検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「顔特徴点検出処理」と総称する。閾値設定部１４は、顔特徴点検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
【００１９】
顔特徴点検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。顔特徴点検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、顔特徴点検出処理のアルゴリズムに応じたものである。顔特徴点検出処理における検出結果の信頼度Ｒは、顔領域における個々の顔パーツに対応する領域内のコントラスト差、搭乗者の顔に対する遮蔽物（例えば搭乗者の手又は飲食物）の有無、及び搭乗者の装着物（例えばサングラス又はマスク）の有無などの種々の要因により変動する。
【００２０】
また、画像認識部１３は、顔特徴点検出処理の結果を用いて、搭乗者の開眼度を検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「開眼度検出処理」と総称する。閾値設定部１４は、開眼度検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
【００２１】
開眼度検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。開眼度検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、開眼度検出処理のアルゴリズムに応じたものである。開眼度検出処理における検出結果の信頼度Ｒは、搭乗者の顔における眼鏡又はサングラスの有無、当該眼鏡又は当該サングラスによる反射光の有無、及び当該眼鏡又は当該サングラスに対する風景の映り込みの有無などの種々の要因により変動する。
【００２２】
また、画像認識部１３は、顔特徴点検出処理の結果を用いて、搭乗者の顔向き角度を検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「顔向き検出処理」と総称する。閾値設定部１４は、顔向き検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
【００２３】
顔向き検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。顔向き検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、顔向き検出処理のアルゴリズムに応じたものである。顔向き検出処理における検出結果の信頼度Ｒは、搭乗者の装着物（例えばマスク、帽子又はマフラー）の有無などの種々の要因により変動する。
【００２４】
また、画像認識部１３は、撮像画像における搭乗者の手に対応する領域（以下「手領域」という。）を検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「手領域検出処理」と総称する。閾値設定部１４は、手領域検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
【００２５】
手領域検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。手領域検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、手領域検出処理のアルゴリズムに応じたものである。手領域検出処理における検出結果の信頼度Ｒは、種々の要因により変動する。
【００２６】
また、画像認識部１３は、手領域検出処理の結果を用いて、複数個の手パーツ（例えば親指、人差し指、中指、薬指、小指及び手の平）の各々に対応する複数個の特徴点（以下「手特徴点」という。）を検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「手特徴点検出処理」と総称する。閾値設定部１４は、手特徴点検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
【００２７】
手特徴点検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。手特徴点検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、手特徴点検出処理のアルゴリズムに応じたものである。手特徴点検出処理における検出結果の信頼度Ｒは、種々の要因により変動する。
【００２８】
また、画像認識部１３は、手特徴点検出処理の結果を用いて、搭乗者の手の形状を検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「手形状検出処理」と総称する。閾値設定部１４は、手形状検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
【００２９】
手形状検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。手形状検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、手形状検出処理のアルゴリズムに応じたものである。手形状検出処理における検出結果の信頼度Ｒは、種々の要因により変動する。
【００３０】
また、画像認識部１３は、手特徴点検出処理の結果を用いて、搭乗者の手の動きを検出する処理を実行する。次いで、画像認識部１３は、当該検出の成否を判定する処理を実行する。当該検出が成功である場合、画像認識部１３は、当該検出の結果の信頼度Ｒを算出する処理を実行して、当該信頼度Ｒの大小を判定する処理を実行する。以下、これらの処理を「手動き検出処理」と総称する。閾値設定部１４は、手動き検出処理が実行されるよりも先に、当該検出用の閾値（以下「検出閾値」という。）Ｔｈ１、当該成否の判定用の閾値（以下「成否判定閾値」という。）Ｔｈ２及び当該信頼度Ｒに対する比較対象となる閾値（以下「信頼度判定閾値」という。）Ｔｈ３を設定する。
【００３１】
手動き検出処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。手動き検出処理用の閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は、手動き検出処理のアルゴリズムに応じたものである。手動き検出処理における検出結果の信頼度Ｒは、種々の要因により変動する。
【００３２】
ここで、閾値設定部１４は、１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）のうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を、運転モード情報取得部１２により出力された運転モード情報に応じて異なる値に設定するようになっている。
【００３３】
具体的には、例えば、閾値設定部１４は、車両１が自動運転モードに設定されている場合、車両１が手動運転モードに設定されている場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。すなわち、個々の信頼度判定閾値Ｔｈ３は２値のうちのいずれかの値に選択的に設定される。
【００３４】
また、顔特徴点検出処理は、顔領域検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。開眼度検出処理は、顔特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。顔向き検出処理は、顔特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。
【００３５】
また、手特徴点検出処理は、手領域検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。手形状検出処理は、手特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。手動き検出処理は、手特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。
【００３６】
搭乗者状態判定部１５は、画像認識部１３による画像認識処理（より具体的には開眼度検出処理又は顔向き検出処理）の結果を用いて、搭乗者が異常状態であるか否かを判定する処理（以下「搭乗者状態判定処理」という。）を実行するものである。
【００３７】
具体的には、例えば、搭乗者状態判定部１５は、開眼度検出処理の結果を用いて、搭乗者が居眠り状態であるか否かを判定する処理（以下「居眠り状態判定処理」という。）を実行する。居眠り状態判定処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。
【００３８】
また、例えば、搭乗者状態判定部１５は、顔向き検出処理の結果を用いて、搭乗者が脇見状態であるか否かを判定する処理（以下「脇見状態判定処理」という。）を実行する。脇見状態判定処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。
【００３９】
ここで、居眠り状態判定処理は、開眼度検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。脇見状態判定処理は、顔向き検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。
【００４０】
判定結果記憶部１６は、搭乗者状態判定部１５による判定結果を示す情報（以下「判定結果情報」という。）を記憶するものである。判定結果情報は、例えば、搭乗者が居眠り状態であるか否かを示す情報、居眠り状態判定処理において算出された搭乗者の眠気レベルを示す情報、搭乗者が脇見状態であるか否かを示す情報、及び脇見状態判定処理に用いられた搭乗者の顔向き角度を示す情報を含むものである。
【００４１】
警告出力装置４は、搭乗者が異常状態であることを示す判定結果情報が判定結果記憶部１６に記憶されている場合、警告を出力するものである。具体的には、例えば、警告出力装置４は、警告用の画像を表示したり、又は警告用の音声を出力したりするものである。警告出力装置４は、例えば、ディスプレイ又はスピーカにより構成されている。
【００４２】
ジェスチャ認識部１７は、画像認識部１３による画像認識処理（より具体的には手形状検出処理及び手動き検出処理）の結果を用いて、搭乗者によるハンドジェスチャを認識する処理（以下「ジェスチャ認識処理」という。）を実行するものである。ジェスチャ認識処理は公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。
【００４３】
ここで、ジェスチャ認識処理は、手形状検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定されて、かつ、手動き検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合にのみ実行されるようになっている。
【００４４】
画像認識部１３、閾値設定部１４、搭乗者状態判定部１５及びジェスチャ認識部１７により、画像処理装置１００の要部が構成されている。画像データ取得部１１、運転モード情報取得部１２、判定結果記憶部１６及び画像処理装置１００により、制御装置２００の要部が構成されている。カメラ２及び制御装置２００により、画像処理システム３００の要部が構成されている。
【００４５】
次に、図２を参照して、制御装置２００の要部のハードウェア構成について説明する。
【００４６】
図２Ａに示す如く、制御装置２００はコンピュータにより構成されており、当該コンピュータはプロセッサ３１及びメモリ３２，３３を有している。メモリ３２には、当該コンピュータを画像データ取得部１１、運転モード情報取得部１２、画像認識部１３、閾値設定部１４、搭乗者状態判定部１５及びジェスチャ認識部１７として機能させるためのプログラムが記憶されている。メモリ３２に記憶されているプログラムをプロセッサ３１が読み出して実行することにより、画像データ取得部１１、運転モード情報取得部１２、画像認識部１３、閾値設定部１４、搭乗者状態判定部１５及びジェスチャ認識部１７の機能が実現される。また、判定結果記憶部１６の機能はメモリ３３により実現される。
【００４７】
または、図２Ｂに示す如く、制御装置２００はメモリ３３及び処理回路３４を有するものであっても良い。この場合、画像データ取得部１１、運転モード情報取得部１２、画像認識部１３、閾値設定部１４、搭乗者状態判定部１５及びジェスチャ認識部１７の機能が処理回路３４により実現されるものであっても良い。
【００４８】
または、制御装置２００はプロセッサ３１、メモリ３２，３３及び処理回路３４を有するものであっても良い（不図示）。この場合、画像データ取得部１１、運転モード情報取得部１２、画像認識部１３、閾値設定部１４、搭乗者状態判定部１５及びジェスチャ認識部１７の機能のうちの一部の機能がプロセッサ３１及びメモリ３２により実現されて、残余の機能が処理回路３４により実現されるものであっても良い。
【００４９】
プロセッサ３１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）を用いたものである。
【００５０】
メモリ３２，３３は、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、メモリ３２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）又はＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などを用いたものである。
【００５１】
処理回路３４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。
【００５２】
次に、図３及び図４のフローチャートを参照して、画像処理装置１００の動作について説明する。
【００５３】
画像処理装置１００は、例えば画像データ取得部１１により画像データが出力されたとき、図３Ａに示すステップＳＴ１の処理を開始するようになっている。なお、ステップＳＴ１の処理が開始されるよりも先に、運転モード情報取得部１２により運転モード情報が出力されているものとする。
【００５４】
まず、ステップＳＴ１にて、閾値設定部１４は、顔領域検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
【００５５】
次いで、ステップＳＴ２にて、画像認識部１３が顔領域検出処理を実行する。ステップＳＴ２の顔領域検出処理は、ステップＳＴ１にて設定された閾値Ｔｈを用いるものである。
【００５６】
ステップＳＴ２の顔領域検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ３にて、閾値設定部１４は、顔特徴点検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
【００５７】
次いで、ステップＳＴ４にて、画像認識部１３が顔特徴点検出処理を実行する。ステップＳＴ４の顔特徴点検出処理は、ステップＳＴ２の顔領域検出処理における検出結果を用いるものであり、かつ、ステップＳＴ３にて設定された閾値Ｔｈを用いるものである。
【００５８】
ステップＳＴ４の顔特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ５にて、閾値設定部１４は、開眼度検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
【００５９】
次いで、ステップＳＴ６にて、画像認識部１３が開眼度検出処理を実行する。ステップＳＴ６の開眼度検出処理は、ステップＳＴ４の顔特徴点検出処理における検出結果を用いるものであり、かつ、ステップＳＴ５にて設定された閾値Ｔｈを用いるものである。
【００６０】
ステップＳＴ６の開眼度検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ７にて、搭乗者状態判定部１５が居眠り状態判定処理を実行する。ステップＳＴ７の居眠り状態判定処理は、ステップＳＴ６の開眼度検出処理における検出結果を用いるものである。
【００６１】
また、ステップＳＴ４の顔特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ８にて、閾値設定部１４は、顔向き検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
【００６２】
次いで、ステップＳＴ９にて、画像認識部１３が顔向き検出処理を実行する。ステップＳＴ９の顔向き検出処理は、ステップＳＴ４の顔特徴点検出処理における検出結果を用いるものであり、かつ、ステップＳＴ８にて設定された閾値Ｔｈを用いるものである。
【００６３】
ステップＳＴ９の顔向き検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ１０にて、搭乗者状態判定部１５が脇見状態判定処理を実行する。ステップＳＴ１０の脇見状態判定処理は、ステップＳＴ９の開眼度検出処理における検出結果を用いるものである。
【００６４】
なお、ステップＳＴ２の顔領域検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定された場合、ステップＳＴ３以降の処理（すなわちステップＳＴ３〜ＳＴ１０の処理）は実行されない。
【００６５】
また、ステップＳＴ４の顔特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定された場合、ステップＳＴ５以降の処理（すなわちステップＳＴ５〜ＳＴ１０の処理）は実行されない。
【００６６】
また、ステップＳＴ６の開眼度検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定された場合、ステップＳＴ７の処理は実行されない。
【００６７】
また、ステップＳＴ９の顔向き検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定された場合、ステップＳＴ１０の処理は実行されない。
【００６８】
次に、図５及び図６のフローチャートを参照して、画像処理装置１００の他の動作について説明する。
【００６９】
画像処理装置１００は、例えば画像データ取得部１１により画像データが出力されたとき、図５Ａに示すステップＳＴ２１の処理を開始するようになっている。なお、ステップＳＴ２１の処理が開始されるよりも先に、運転モード情報取得部１２により運転モード情報が出力されているものとする。
【００７０】
まず、ステップＳＴ２１にて、閾値設定部１４は、手領域検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
【００７１】
次いで、ステップＳＴ２２にて、画像認識部１３が手領域検出処理を実行する。ステップＳＴ２２の手領域検出処理は、ステップＳＴ２１にて設定された閾値Ｔｈを用いるものである。
【００７２】
ステップＳＴ２２の手領域検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ２３にて、閾値設定部１４は、手特徴点検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
【００７３】
次いで、ステップＳＴ２４にて、画像認識部１３が手特徴点検出処理を実行する。ステップＳＴ２４の手特徴点検出処理は、ステップＳＴ２２の手領域検出処理における検出結果を用いるものであり、かつ、ステップＳＴ２３にて設定された閾値Ｔｈを用いるものである。
【００７４】
ステップＳＴ２４の手特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ２５にて、閾値設定部１４は、手形状検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
【００７５】
次いで、ステップＳＴ２６にて、画像認識部１３が手形状検出処理を実行する。ステップＳＴ２６の手形状検出処理は、ステップＳＴ２４の手特徴点検出処理における検出結果を用いるものであり、かつ、ステップＳＴ２５にて設定された閾値Ｔｈを用いるものである。
【００７６】
また、ステップＳＴ２４の手特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ２７にて、閾値設定部１４は、手動き検出処理用の１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）を設定する。このとき、閾値設定部１４は、これらの閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報に応じて異なる値に設定する。
【００７７】
次いで、ステップＳＴ２８にて、画像認識部１３が手動き検出処理を実行する。ステップＳＴ２８の手動き検出処理は、ステップＳＴ２４の手特徴点検出処理における検出結果を用いるものであり、かつ、ステップＳＴ２７にて設定された閾値Ｔｈを用いるものである。
【００７８】
ステップＳＴ２６の手形状検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定されて、かつ、ステップＳＴ２８の手動き検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定された場合、ステップＳＴ２９にて、ジェスチャ認識部１７がジェスチャ認識処理を実行する。ステップＳＴ２９のジェスチャ認識処理は、ステップＳＴ２６の手形状検出処理における検出結果及びステップＳＴ２８の手動き検出処理における検出結果を用いるものである。
【００７９】
なお、ステップＳＴ２２の手領域検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定された場合、ステップＳＴ２３以降の処理（すなわちステップＳＴ２３〜ＳＴ２９の処理）は実行されない。
【００８０】
また、ステップＳＴ２４の手特徴点検出処理において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定された場合、ステップＳＴ２５以降の処理（すなわちステップＳＴ２５〜ＳＴ２９の処理）は実行されない。
【００８１】
また、ステップＳＴ２６の手形状検出処理又はステップＳＴ２８の手動き検出処理のうちの少なくとも一方において検出結果の信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定された場合、ステップＳＴ２９の処理は実行されない。
【００８２】
次に、図７を参照して、顔領域検出処理用の信頼度判定閾値Ｔｈ３の具体例について説明する。図７Ａ〜図７Ｄの各々は、撮像画像Ｉ及び顔領域Ａの一例を示している。
【００８３】
図７に示す例において、顔領域検出処理における検出結果の信頼度Ｒは０〜１００の値により表されるものであり、当該値が大きいほど検出結果の信頼性が高いことを示している。閾値設定部１４は、車両１が手動運転モードに設定されている場合、顔領域検出処理用の信頼度判定閾値Ｔｈ３を「６０」に設定する。閾値設定部１４は、車両１が自動運転モードに設定されている場合、顔領域検出処理用の信頼度判定閾値Ｔｈ３を「４０」に設定する。
【００８４】
図７Ａに示す例において、顔領域Ａ内のコントラスト差は小さく、かつ、搭乗者の顔に対する遮蔽物（例えば搭乗者の手又は飲食物）はなく、かつ、搭乗者の装着物（例えばマスク、帽子又はマフラー）もない。このため、信頼度Ｒは高い値（例えば「８０」）に算出される。この結果、車両１が手動運転モードに設定されている場合、信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定されて、ステップＳＴ３の処理が開始される。また、車両１が自動運転モードに設定されている場合も、信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定されて、ステップＳＴ３の処理が開始される。
【００８５】
図７Ｂに示す例において、顔領域Ａは搭乗者の顔に対してずれており、実質的に顔領域Ａの検出は失敗している。しかしながら、顔領域検出処理において顔領域Ａの検出が成功であると判定されて、信頼度Ｒが算出されたものとする。この場合、信頼度Ｒは低い値（例えば「３０」）に算出される。この結果、車両１が手動運転モードに設定されている場合、信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定されて、ステップＳＴ３以降の処理は実行されない。また、車両１が自動運転モードに設定されている場合も、信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定されて、ステップＳＴ３以降の処理は実行されない。
【００８６】
図７Ｃに示す例において、顔領域Ａ内に上半部と下半部間のコントラスト差が生じている。このコントラスト差により、図７Ａに示す例に比して信頼度Ｒが低い値（例えば「５０」）に算出される。この結果、車両１が手動運転モードに設定されている場合、信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定されて、ステップＳＴ３以降の処理は実行されない。他方、車両１が自動運転モードに設定されている場合は、信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定されて、ステップＳＴ３の処理が開始される。
【００８７】
図７Ｄに示す例において、顔領域Ａ内に左半部と右半部間のコントラスト差が生じている。このコントラスト差により、図７Ａに示す例に比して信頼度Ｒが低い値（例えば「５０」）に算出される。この結果、車両１が手動運転モードに設定されている場合、信頼度Ｒが信頼度判定閾値Ｔｈ３以下であると判定されて、ステップＳＴ３以降の処理は実行されない。他方、車両１が自動運転モードに設定されている場合は、信頼度Ｒが信頼度判定閾値Ｔｈ３よりも大きいと判定されて、ステップＳＴ３の処理が開始される。
【００８８】
なお、自動運転制御装置３は、車両１が自動運転モードに設定されている場合、車両１が自動運転モードから手動運転モードに遷移する直前の状態（以下「遷移直前状態」という。）であるか否かを判定するものであっても良い。閾値設定部１４は、車両１が自動運転モードに設定されている場合において、車両１が遷移直前状態であると判定されたときのみ、車両１が手動運転モードに設定されている場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定するものであっても良い。
【００８９】
また、自動運転制御装置３は、車両１内の操作入力装置（不図示）に対する操作入力により車両１の運転モードを切り替えるものであっても良い。操作入力装置は、例えば、タッチパネル又はハードウェアスイッチにより構成されている。
【００９０】
また、自動運転制御装置３は、車両１用のナビゲーションシステム（不図示）により出力された情報（以下「ナビゲーション情報」という。）を用いて、車両１の位置等に応じて車両１の運転モードを切り替えるものであっても良い。
【００９１】
また、自動運転制御装置３は、ナビゲーション情報を用いて、例えば以下のような方法により車両１が遷移直前状態であるか否かを判定するものであっても良い。すなわち、車両１が自動運転モードに設定されている場合、ナビゲーション情報は、車両１の位置を示す情報、及び車両１を自動運転モードから手動運転モードに切り替えるべき地点（以下「切替え対象地点」という。）の位置を示す情報を含むものである。自動運転制御装置３は、車両１の位置から切替え対象地点の位置までの経路距離が所定距離（例えば１００メートル）未満である場合、車両１が遷移直前状態であると判定する。
【００９２】
また、自動運転制御装置３は、車両１に搭載されている車載器（不図示）による受信信号を用いて、道路の種類等に応じて車両１の運転モードを切り替えるものであっても良い。例えば、自動運転制御装置３は、車両１が高速道路を走行中である場合は車両１を自動運転モードに設定して、車両１が一般道路を走行中である場合は車両１を手動運転モードに設定するものであっても良い。
【００９３】
また、自動運転制御装置３は、車載器による受信信号を用いて、例えば以下のような方法により車両１が遷移直前状態であるか否かを判定するものであっても良い。すなわち、自動運転制御装置３は、ＥＴＣ（Ｅｌｅｃｔｒｏｎｉｃ  Ｔｏｌｌ  Ｃｏｌｌｅｃｔｉｏｎ  Ｓｙｓｔｅｍ）用の車載器により車両１が高速道路から脱出することを示す信号（すなわち車両１が一般道路に進入する予定であることを示す信号）が受信されたとき、車両１が遷移直前状態になったと判定する。
【００９４】
また、閾値設定部１４は、信頼度判定閾値Ｔｈ３以外の閾値Ｔｈを運転モード情報に応じて異なる値に設定するものであっても良い。例えば、閾値設定部１４は、個々の検出閾値Ｔｈ１を運転モード情報に応じて異なる値に設定するものであっても良い。また、閾値設定部１４は、個々の成否判定閾値Ｔｈ２を運転モード情報に応じて異なる値に設定するものであっても良い。
【００９５】
また、搭乗者状態判定部１５による搭乗者状態判定処理は、居眠り状態判定処理を含まないもの（すなわち脇見状態判定処理のみを含むもの）であっても良い。この場合、画像認識部１３による画像認識処理は、開眼度検出処理を含まないものであっても良い。
【００９６】
また、搭乗者状態判定部１５による搭乗状態判定処理は、脇見状態判定処理を含まないもの（すなわち居眠り状態判定処理のみを含むもの）であっても良い。この場合、画像認識部１３による画像認識処理は、顔向き検出処理を含まないものであっても良い。
【００９７】
また、ジェスチャ認識部１７によるジェスチャ認識処理は、手動き検出処理の結果を用いないもの（すなわち手形状検出処理の結果のみを用いるもの）であっても良い。この場合、画像認識部１３による画像認識処理は、手形状検出処理を含まないものであっても良い。
【００９８】
また、ジェスチャ認識部１７によるジェスチャ認識処理は、手形状検出処理の結果を用いないもの（すなわち手動き検出処理の結果のみを用いるもの）であっても良い。この場合、画像認識部１３による画像認識処理は、手動き検出処理を含まないものであっても良い。
【００９９】
また、搭乗者状態判定部１５が画像処理装置１００外に設けられているものであっても良い。すなわち、画像認識部１３、閾値設定部１４及びジェスチャ認識部１７により画像処理装置１００の要部が構成されているものであっても良い。
【０１００】
また、ジェスチャ認識部１７が画像処理装置１００外に設けられているものであっても良い。すなわち、画像認識部１３、閾値設定部１４及び搭乗者状態判定部１５により画像処理装置１００の要部が構成されているものであっても良い。
【０１０１】
また、搭乗者状態判定部１５及びジェスチャ認識部１７が画像処理装置１００外に設けられているものであっても良い。すなわち、画像認識部１３及び閾値設定部１４により画像処理装置１００の要部が構成されているものであっても良い。この場合のブロック図を図８に示す。
【０１０２】
以上のように、実施の形態１の画像処理装置１００は、車室内撮像用のカメラ２による撮像画像に対する画像認識処理を実行する画像認識部１３と、画像認識処理用の１個以上の閾値Ｔｈのうちの少なくとも１個の閾値Ｔｈを運転モード情報に応じて異なる値に設定する閾値設定部１４とを備える。これにより、車両１の運転モードに応じた画像認識処理を実現することができる。
【０１０３】
また、運転モード情報は、車両１が手動運転モードに設定されているか自動運転モードに設定されているかを示すものであり、閾値設定部１４は、車両１が自動運転モードに設定されている場合、車両１が手動運転モードに設定されている場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。換言すれば、閾値設定部１４は、車両１が手動運転モードに設定されている場合、車両１が自動運転モードに設定されている場合に比して信頼度判定閾値Ｔｈ３を大きい値に設定する。これにより、車両１が手動運転モードに設定されているときは搭乗者状態判定処理の精度を上げて搭乗者状態判定処理の実行回数（すなわち実行頻度）を減らすことができ、かつ、車両１が自動運転モードに設定されているときは搭乗者状態判定処理の精度を下げて搭乗者状態判定処理の実行回数（すなわち実行頻度）を増やすことができる。この結果、手動運転モードにおいては、異常状態の過検出を防止して、不要な警告の出力を減らすことができる。また、自動運転モードにおいては、異常状態の未検出を防止して、異常状態の取りこぼしを防ぐことができる。
【０１０４】
特に、車両１が遷移直前状態であるか否かの判定が行われない場合、すなわち車両１が遷移直前状態であるか否かが不明であり、いつ車両１が自動運転モードから手動運転モードに切り替わるか分からないような場合であっても、車両１が自動運転モードに設定されているときは車両１が遷移直前状態であると見做して、異常状態の未検出を防止することができる。これにより、いつでも自動運転モードから手動運転モードへの切替えに対応することができ、異常状態の取りこぼしを防ぐことができる。
【０１０５】
実施の形態２．
図９は、実施の形態２に係る画像処理システムが車両に設けられている状態を示すブロック図である。図９を参照して、実施の形態２の画像処理システム３００ａについて説明する。なお、図９において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。
【０１０６】
実施の形態１にて説明したとおり、判定結果記憶部１６は判定結果情報を記憶するものである。判定結果情報は、居眠り状態判定処理において算出された搭乗者の眠気レベルを示す情報（以下「眠気情報」という。）を含むものである。
【０１０７】
眠気情報取得部１８は、判定結果記憶部１６に記憶されている眠気情報を判定結果記憶部１６から取得するものである。眠気情報取得部１８は、当該取得された眠気情報を閾値設定部１４ａに出力するものである。
【０１０８】
画像認識部１３は、画像データ取得部１１により出力された画像データを用いて、撮像画像に対する複数種類の画像認識処理を実行するものである。複数種類の画像認識処理の各々は、１個以上の閾値Ｔｈを用いるものである。閾値設定部１４ａは、これらの閾値Ｔｈを設定するものである。画像認識処理及び閾値Ｔｈの具体例は実施の形態１にて説明したものと同様であるため、再度の説明は省略する。
【０１０９】
ここで、閾値設定部１４ａは、１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）のうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を、運転モード情報取得部１２により出力された運転モード情報及び眠気情報取得部１８により出力された眠気情報に応じて異なる値に設定するようになっている。
【０１１０】
具体的には、例えば、閾値設定部１４ａは、車両１が自動運転モードに設定されている場合、車両１が手動運転モードに設定されている場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。また、閾値設定部１４ａは、これらの場合の各々において、眠気情報の示す眠気レベルが所定レベル（以下「基準レベル」という。）以上である場合、眠気情報の示す眠気レベルが基準レベル未満である場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。すなわち、個々の信頼度判定閾値Ｔｈ３は４値のうちのいずれかの値に選択的に設定される。
【０１１１】
画像認識部１３、閾値設定部１４ａ、搭乗者状態判定部１５及びジェスチャ認識部１７により、画像処理装置１００ａの要部が構成されている。画像データ取得部１１、運転モード情報取得部１２、判定結果記憶部１６、眠気情報取得部１８及び画像処理装置１００ａにより、制御装置２００ａの要部が構成されている。カメラ２及び制御装置２００ａにより、画像処理システム３００ａの要部が構成されている。
【０１１２】
制御装置２００ａの要部のハードウェア構成は、実施の形態１にて図２を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、閾値設定部１４ａ及び眠気情報取得部１８の各々の機能は、プロセッサ３１及びメモリ３２により実現されるものであっても良く、又は処理回路３４により実現されるものであっても良い。
【０１１３】
画像処理装置１００ａの動作は、実施の形態１にて図３〜図６のフローチャートを参照して説明したものと同様であるため、図示及び説明を省略する。ただし、閾値設定部１４ａは、ステップＳＴ１，ＳＴ３，ＳＴ５，ＳＴ８，ＳＴ２１，ＳＴ２３，ＳＴ２５，ＳＴ２７の各々において、少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報及び眠気情報に応じて異なる値に設定する。
【０１１４】
なお、閾値設定部１４ａは、少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報及び眠気情報に応じて異なる値に設定するものであれば良い。閾値設定部１４ａによる閾値Ｔｈの設定方法は、上記の具体例に限定されるものではない。
【０１１５】
例えば、信頼度判定閾値Ｔｈ３は、車両１の運転モード及び搭乗者の眠気レベルに応じて、２値のうちのいずれかの値に選択的に設定されるものであっても良く、又は３値のうちのいずれかの値に選択的に設定されるものであっても良く、又は５値以上のうちのいずれかの値に選択的に設定されるものであっても良い。
【０１１６】
そのほか、画像処理装置１００ａ、制御装置２００ａ及び画像処理システム３００ａは、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。
【０１１７】
以上のように、実施の形態２の画像処理装置１００ａにおいて、閾値設定部１４ａは、少なくとも１個の閾値Ｔｈを運転モード情報及び眠気情報に応じて異なる値に設定する。これにより、車両１の運転モード及び搭乗者の眠気レベルに応じた画像認識処理を実現することができる。
【０１１８】
また、眠気情報は、搭乗者の眠気レベルを示すものであり、閾値設定部１４ａは、眠気レベルが基準レベル以上である場合、眠気レベルが基準レベル未満である場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。これにより、搭乗者の眠気レベルが小さいとき（すなわち搭乗者が覚醒しているとき）は、居眠り状態判定処理などの搭乗者状態判定処理の実行回数を減らすことができる。他方、搭乗者の眠気レベルが大きいとき（すなわち搭乗者の覚醒度が低下しているとき）は、居眠り状態判定処理などの搭乗者状態判定処理の実行回数を増やすことができる。
【０１１９】
実施の形態３．
図１０は、実施の形態３に係る画像処理システムが車両に設けられている状態を示すブロック図である。図１０を参照して、実施の形態３の画像処理システム３００ｂについて説明する。なお、図１０において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。
【０１２０】
車外環境情報生成部１９は、車両１の車外環境に関する情報（以下「車外環境情報」をという。）を生成するものである。車外環境情報は、例えば、車両１の周囲における天候（より具体的には降雨量若しくは降雪量）を示す情報、現在の時間帯を示す情報、車両１の周囲における渋滞の発生状態を示す情報、又は車両１と車両１の周囲を走行中の他車両との車間距離を示す情報のうちの少なくとも一つを含むものである。車外環境情報生成部１９は、当該生成された車外環境情報を閾値設定部１４ｂに出力するものである。
【０１２１】
車外環境情報の生成には、例えば、カメラ２による撮像画像又はセンサ類５による検出値のうちの少なくとも一方が用いられる。図１０において、カメラ２と車外環境情報生成部１９間（又は画像データ取得部１１と車外環境情報生成部１９間）の接続線は図示を省略している。センサ類５は、例えば、超音波センサ、ミリ波レーダ又はレーザレーダのうちの少なくとも一つにより構成されている。
【０１２２】
画像認識部１３は、画像データ取得部１１により出力された画像データを用いて、撮像画像に対する複数種類の画像認識処理を実行するものである。複数種類の画像認識処理の各々は、１個以上の閾値Ｔｈを用いるものである。閾値設定部１４ｂは、これらの閾値Ｔｈを設定するものである。画像認識処理及び閾値Ｔｈの具体例は実施の形態１にて説明したものと同様であるため、再度の説明は省略する。
【０１２３】
ここで、閾値設定部１４ｂは、１個以上の閾値Ｔｈ（例えば検出閾値Ｔｈ１、成否判定閾値Ｔｈ２及び信頼度判定閾値Ｔｈ３）のうちの少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を、運転モード情報取得部１２により出力された運転モード情報及び車外環境情報生成部１９により出力された車外環境情報に応じて異なる値に設定するようになっている。
【０１２４】
具体的には、例えば、車両１の周囲における降雨量又は降雪量（以下「降水量」と総称する。）を示す情報が車外環境情報に含まれているものとする。閾値設定部１４ｂは、車両１が自動運転モードに設定されている場合、車両１が手動運転モードに設定されている場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。また、閾値設定部１４ｂは、これらの場合の各々において、車外環境情報の示す降水量が所定量（以下「基準量」という。例えば０．５ミリメートル毎時）以上である場合、車外環境情報の示す降水量が基準量未満である場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。すなわち、個々の信頼度判定閾値Ｔｈ３は４値のうちのいずれかの値に選択的に設定される。
【０１２５】
画像認識部１３、閾値設定部１４ｂ、搭乗者状態判定部１５及びジェスチャ認識部１７により、画像処理装置１００ｂの要部が構成されている。画像データ取得部１１、運転モード情報取得部１２、判定結果記憶部１６、車外環境情報生成部１９及び画像処理装置１００ｂにより、制御装置２００ｂの要部が構成されている。カメラ２及び制御装置２００ｂにより、画像処理システム３００ｂの要部が構成されている。
【０１２６】
制御装置２００ｂの要部のハードウェア構成は、実施の形態１にて図２を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、閾値設定部１４ｂ及び車外環境情報生成部１９の各々の機能は、プロセッサ３１及びメモリ３２により実現されるものであっても良く、又は処理回路３４により実現されるものであっても良い。
【０１２７】
画像処理装置１００ｂの動作は、実施の形態１にて図３〜図６のフローチャートを参照して説明したものと同様であるため、図示及び説明を省略する。ただし、閾値設定部１４ｂは、ステップＳＴ１，ＳＴ３，ＳＴ５，ＳＴ８，ＳＴ２１，ＳＴ２３，ＳＴ２５，ＳＴ２７の各々において、少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報及び車外環境情報に応じて異なる値に設定する。
【０１２８】
なお、閾値設定部１４ｂは、少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報及び車外環境情報に応じて異なる値に設定するものであれば良い。閾値設定部１４ｂによる閾値Ｔｈの設定方法は、上記の具体例に限定されるものではない。
【０１２９】
例えば、現在の時間帯を示す情報が車外環境情報に含まれている場合、閾値設定部１４ｂは、現在の時間帯が朝方の時間帯、昼間の時間帯、夕方の時間帯又は夜間の時間帯のうちのいずれの時間帯であるかに応じて信頼度判定閾値Ｔｈ３を異なる値に設定するものであっても良い。
【０１３０】
また、例えば、車両１の周囲における渋滞の発生状態を示す情報が車外環境情報に含まれている場合、閾値設定部１４ｂは、車両１の周囲における渋滞発生の有無に応じて信頼度判定閾値Ｔｈ３を異なる値に設定するものであっても良い。
【０１３１】
また、例えば、車両１と車両１の周囲を走行中の他車両との車間距離を示す情報が車外環境情報に含まれている場合、閾値設定部１４ｂは、車外環境情報の示す車間距離が所定距離（以下「基準距離」という。）以上であるか否かに応じて信頼度判定閾値Ｔｈ３を異なる値に設定するものであっても良い。
【０１３２】
また、図１１に示す如く、制御装置２００ｂは眠気情報取得部１８を有するものであっても良い。この場合、閾値設定部１４ｂは、少なくとも１個の閾値Ｔｈ（例えば信頼度判定閾値Ｔｈ３）を運転モード情報、眠気情報及び車外環境情報に応じて異なる値に設定するものであっても良い。
【０１３３】
そのほか、画像処理装置１００ｂ、制御装置２００ｂ及び画像処理システム３００ｂは、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。
【０１３４】
以上のように、実施の形態３の画像処理装置１００ｂにおいて、閾値設定部１４ｂは、少なくとも１個の閾値Ｔｈを運転モード情報及び車外環境情報に応じて異なる値に設定する。これにより、車両１の運転モード及び車両１の車外環境に応じた画像認識処理を実現することができる。
【０１３５】
また、車外環境情報は、車両１の周囲における降水量を示すものであり、閾値設定部１４ｂは、降水量が基準量以上である場合、降水量が基準量未満である場合に比して信頼度判定閾値Ｔｈ３を小さい値に設定する。これにより、例えば、車両１の周囲における降雨又は降雪があるときは、搭乗者状態判定処理の実行回数を増やすことができる。他方、車両１の周囲における降雨及び降雪がないときは、搭乗者状態判定処理の実行回数を減らしつつ、搭乗者状態判定処理の精度を向上することができる。
【０１３６】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１３７】
本発明の画像処理装置、画像処理方法及び画像処理システムは、例えば、車両の搭乗者が異常状態であるか否かの判定、又は車両の搭乗者によるハンドジェスチャの認識に用いることができる。
【符号の説明】
【０１３８】
１  車両、２  カメラ、３  自動運転制御装置、４  警告出力装置、５  センサ類、１１  画像データ取得部、１２  運転モード情報取得部、１３  画像認識部、１４，１４ａ，１４ｂ  閾値設定部、１５  搭乗者状態判定部、１６  判定結果記憶部、１７  ジェスチャ認識部、１８  眠気情報取得部、１９  車外環境情報生成部、３１  プロセッサ、３２  メモリ、３３  メモリ、３４  処理回路、１００，１００ａ，１００ｂ  画像処理装置、２００，２００ａ，２００ｂ  制御装置、３００，３００ａ，３００ｂ  画像処理システム。
【図１】
2019229938.tif 000003
【図２】
2019229938.tif 000004
【図３】
2019229938.tif 000005
【図４】
2019229938.tif 000006
【図５】
2019229938.tif 000007
【図６】
2019229938.tif 000008
【図７】
2019229938.tif 000009
【図８】
2019229938.tif 000010
【図９】
2019229938.tif 000011
【図１０】
2019229938.tif 000012
【図１１】
2019229938.tif 000013
【手続補正書】
【提出日】令和2年8月5日(2020.8.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車室内撮像用のカメラによる撮像画像に対する画像認識処理を実行する画像認識部と、
前記画像認識処理用の１個以上の閾値のうちの少なくとも１個の閾値を、車両が第１の運転モードか第２の運転モードに設定されているかを示す運転モード情報に応じて異なる値に設定する閾値設定部と、を備え、
前記閾値設定部は、車両が前記第１の運転モードに設定されている場合、車両が前記第２の運転モードに設定されている場合に比して前記少なくとも１個の閾値を小さい値に設定し、
前記画像認識部は、前記少なくとも１個の閾値を用いて前記画像認識処理における検出結果を用いた処理を実行するか否かを判定する
ことを特徴とする画像処理装置。
【請求項２】
前記少なくとも１個の閾値は、前記検出結果の信頼度に対する比較対象となる信頼度判定閾値を含むものであり、
前記画像認識処理において前記信頼度が前記信頼度判定閾値よりも大きいと判定された場合、前記検出結果を用いた処理が実行され、
前記信頼度が前記信頼度判定閾値以下であると判定された場合、前記検出結果を用いた処理が実行されないものである
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像認識部は、前記画像認識処理において前記信頼度が前記信頼度判定閾値よりも大きいと判定された場合、前記検出結果を用いた他の画像認識処理を実行することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記画像認識処理は顔領域を検出するものであり、前記他の画像認識処理は顔特徴点を検出するものであることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記画像認識処理は顔特徴点を検出するものであり、前記他の画像認識処理は搭乗者の開眼度を検出するものであることを特徴とする請求項３記載の画像処理装置。
【請求項６】
前記画像認識処理は顔特徴点を検出するものであり、前記他の画像認識処理は搭乗者の顔向き角度を検出するものであることを特徴とする請求項３記載の画像処理装置。
【請求項７】
前記画像認識処理は手領域を検出するものであり、前記他の画像認識処理は手特徴点を検出するものであることを特徴とする請求項３記載の画像処理装置。
【請求項８】
前記画像認識処理は手特徴点を検出するものであり、前記他の画像認識処理は搭乗者の手の形状を検出するものであることを特徴とする請求項３記載の画像処理装置。
【請求項９】
前記画像認識処理は手特徴点を検出するものであり、前記他の画像認識処理は搭乗者の手の動きを検出するものであることを特徴とする請求項３記載の画像処理装置。
【請求項１０】
前記画像認識処理において前記信頼度が前記信頼度判定閾値よりも大きいと判定された場合、前記検出結果を用いた搭乗者状態判定処理を実行する搭乗者状態判定部を備えることを特徴とする請求項２記載の画像処理装置。
【請求項１１】
前記画像認識処理は搭乗者の開眼度を検出するものであり、前記搭乗者状態判定処理は前記搭乗者が居眠り状態であるか否かを判定するものであることを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
前記画像認識処理は搭乗者の顔向き角度を検出するものであり、前記搭乗者状態判定処理は前記搭乗者が脇見状態であるか否かを判定するものであることを特徴とする請求項１０記載の画像処理装置。
【請求項１３】
前記画像認識処理において前記信頼度が前記信頼度判定閾値よりも大きいと判定された場合、前記検出結果を用いたジェスチャ認識処理を実行するジェスチャ認識部を備えることを特徴とする請求項２記載の画像処理装置。
【請求項１４】
前記画像認識処理は搭乗者の手の形状を検出するものであることを特徴とする請求項１３記載の画像処理装置。
【請求項１５】
前記画像認識処理は搭乗者の手の動きを検出するものであることを特徴とする請求項１３記載の画像処理装置。
【請求項１６】
前記運転モード情報における前記第１の運転モード及び前記第２の運転モードは、それぞれ自動運転モード及び手動運転モードであり、
前記閾値設定部は、前記車両が前記自動運転モードに設定されている場合、前記車両が前記手動運転モードに設定されている場合に比して前記信頼度判定閾値を小さい値に設定する
ことを特徴とする請求項２記載の画像処理装置。
【請求項１７】
前記運転モード情報における前記第１の運転モード及び前記第２の運転モードは、それぞれ自動運転モード及び手動運転モードであり、
前記閾値設定部は、前記車両が前記自動運転モードに設定されている場合において、前記車両が前記自動運転モードから前記手動運転モードへの遷移直前状態であると判定されたとき、前記車両が前記手動運転モードに設定されている場合に比して前記信頼度判定閾値を小さい値に設定する
ことを特徴とする請求項２記載の画像処理装置。
【請求項１８】
前記運転モード情報は、自動運転制御装置により出力されたものであり、
前記自動運転制御装置は、操作入力装置に対する操作入力により前記車両の運転モードを切り替えるものである
ことを特徴とする請求項１６記載の画像処理装置。
【請求項１９】
前記運転モード情報は、自動運転制御装置により出力されたものであり、
前記自動運転制御装置は、ナビゲーション情報を用いて前記車両が前記遷移直前状態であるか否かを判定するものである
ことを特徴とする請求項１７記載の画像処理装置。
【請求項２０】
前記運転モード情報は、自動運転制御装置により出力されたものであり、
前記自動運転制御装置は、車載器による受信信号を用いて前記車両が前記遷移直前状態であるか否かを判定するものである
ことを特徴とする請求項１７記載の画像処理装置。
【請求項２１】
前記閾値設定部は、前記少なくとも１個の閾値を前記運転モード情報及び眠気情報に応じて異なる値に設定することを特徴とする請求項１記載の画像処理装置。
【請求項２２】
前記閾値設定部は、前記少なくとも１個の閾値を前記運転モード情報及び眠気情報に応じて異なる値に設定するものであり、
前記眠気情報は、搭乗者の眠気レベルを示すものであり、
前記閾値設定部は、前記眠気レベルが基準レベル以上である場合、前記眠気レベルが前記基準レベル未満である場合に比して前記信頼度判定閾値を小さい値に設定する
ことを特徴とする請求項２記載の画像処理装置。
【請求項２３】
前記閾値設定部は、前記少なくとも１個の閾値を前記運転モード情報及び車外環境情報に応じて異なる値に設定することを特徴とする請求項１記載の画像処理装置。
【請求項２４】
前記閾値設定部は、前記少なくとも１個の閾値を前記運転モード情報及び車外環境情報に応じて異なる値に設定するものであり、
前記車外環境情報は、車両の周囲における降水量を示すものであり、
前記閾値設定部は、前記降水量が基準量以上である場合、前記降水量が前記基準量未満である場合に比して前記信頼度判定閾値を小さい値に設定する
ことを特徴とする請求項２記載の画像処理装置。
【請求項２５】
画像認識部が、車室内撮像用のカメラによる撮像画像に対する画像認識処理を実行するステップと、
閾値設定部が、前記画像認識処理用の１個以上の閾値のうちの少なくとも１個の閾値を、車両が第１の運転モード又は第２の運転モードに設定されているかを示す運転モード情報に応じて異なる値に設定するステップと、
を備え、
前記閾値設定部は、車両が前記第１の運転モードに設定されている場合、車両が前記第２の運転モードに設定されている場合に比して前記少なくとも１個の閾値を小さい値に設定し、
前記画像認識部は、前記少なくとも１個の閾値を用いて前記画像認識処理における検出結果を用いた処理を実行するか否かを判定する
ことを特徴とする画像処理方法。
【請求項２６】
車室内撮像用のカメラと、
前記カメラによる撮像画像に対する画像認識処理を実行する画像認識部と、前記画像認識処理用の１個以上の閾値のうちの少なくとも１個の閾値を、車両が第１の運転モード又は第２の運転モードに設定されているかを示す運転モード情報に応じて異なる値に設定する閾値設定部と、を有する画像処理装置と、
を備え、
前記閾値設定部は、車両が前記第１の運転モードに設定されている場合、車両が前記第２の運転モードに設定されている場合に比して前記少なくとも１個の閾値を小さい値に設定し、
前記画像認識部は、前記少なくとも１個の閾値を用いて前記画像認識処理における検出結果を用いた処理を実行するか否かを判定する
ことを特徴とする画像処理システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の画像処理装置は、車室内撮像用のカメラによる撮像画像に対する画像認識処理を実行する画像認識部と、画像認識処理用の１個以上の閾値のうちの少なくとも１個の閾値を、車両が第１の運転モードか第２の運転モードに設定されているかを示す運転モード情報に応じて異なる値に設定する閾値設定部と、を備え、閾値設定部は、車両が第１の運転モードに設定されている場合、車両が第２の運転モードに設定されている場合に比して少なくとも１個の閾値を小さい値に設定し、画像認識部は、少なくとも１個の閾値を用いて画像認識処理における検出結果を用いた処理を実行するか否かを判定するものである。
また、本発明の画像処理方法は、画像認識部が、車室内撮像用のカメラによる撮像画像に対する画像認識処理を実行するステップと、閾値設定部が、画像認識処理用の１個以上の閾値のうちの少なくとも１個の閾値を、車両が第１の運転モード又は第２の運転モードに設定されているかを示す運転モード情報に応じて異なる値に設定するステップと、を備え、閾値設定部は、車両が第１の運転モードに設定されている場合、車両が第２の運転モードに設定されている場合に比して少なくとも１個の閾値を小さい値に設定し、画像認識部は、少なくとも１個の閾値を用いて画像認識処理における検出結果を用いた処理を実行するか否かを判定するものである。
また、本発明の画像処理システムは、車室内撮像用のカメラと、カメラによる撮像画像に対する画像認識処理を実行する画像認識部と、画像認識処理用の１個以上の閾値のうちの少なくとも１個の閾値を、車両が第１の運転モード又は第２の運転モードに設定されているかを示す運転モード情報に応じて異なる値に設定する閾値設定部と、を有する画像処理装置と、を備え、閾値設定部は、車両が第１の運転モードに設定されている場合、車両が第２の運転モードに設定されている場合に比して少なくとも１個の閾値を小さい値に設定し、画像認識部は、少なくとも１個の閾値を用いて画像認識処理における検出結果を用いた処理を実行するか否かを判定するものである。
【国際調査報告】
2019229938.tif 000014
2019229938.tif 000015
2019229938.tif 000016
2019229938.tif 000017