(57)【特許請求の範囲】
【請求項１】
車両に設置された撮影アセンブリに車両運転手のビデオストリームを収集させるように制御することと、
前記ビデオストリーム中の少なくとも１つの画像の顔部とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得することであって、前記データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶されていることと、
前記特徴マッチング結果に特徴マッチング成功が示されれば、車両に前記車両の受信した操作コマンドを実行させるように制御することと、
前記ビデオストリームに基づいて運転手疲労状態検出を行い、運転手疲労状態検出の結果に基づいて、異常運転状態の警報通知及び／又はスマート運転制御を行うことと、を含み、
前記データセット中の事前記憶顔画像には運転権限が対応して設置され、
前記特徴マッチング結果に特徴マッチング成功が示されれば、車両に前記車両の受信した操作コマンドを実行させるように制御することは、
特徴マッチングに成功した事前記憶顔画像に対応する運転権限を取得することと、
前記車両に前記車両の受信した前記運転権限範囲内の操作コマンドを実行させるように制御することと、を含み、
前記ビデオストリームに基づいて運転手疲労状態検出を行うことは、
前記ビデオストリーム中の少なくとも１つの画像の顔の少なくとも一部の領域を検出し、開口閉口状態情報を得ることと、
所定時間内の前記開口閉口状態情報に基づいて、運転手疲労状態を表すための指標のパラメータ値を取得することと、
運転手疲労状態を表すための指標のパラメータ値に基づいて、運転手疲労状態検出の結果を決定することと、を含み、
前記運転手疲労状態を表すための指標は、欠伸度を含み、前記欠伸度のパラメータ値は、欠伸状態、欠伸回数、欠伸持続時間、欠伸頻度のいずれか一項又は複数項を含むことを特徴とする運転管理方法。
【請求項２】
前記車両とクラウドサーバとが通信接続状態にある時に、前記クラウドサーバにデータセットダウンロード要求を送信することと、
前記クラウドサーバから送信されるデータセットを受信し記憶することと、を更に含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に基づいて前記車両運転手の身元情報を取得することと、前記クラウドサーバに前記画像と前記身元情報を送信することと、を更に含み、又は、
前記特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に基づいて前記車両運転手の身元情報を取得することと、前記画像中の顔部を切り出すことと、前記クラウドサーバに前記切り出した顔部と前記身元情報を送信することと、を更に含むことを特徴とする請求項２に記載の方法。
【請求項４】
収集された画像の生体検出結果を取得することを更に含み、
前記特徴マッチング結果に基づいて、車両に前記車両の受信した操作コマンドを実行させるように制御することは、
前記特徴マッチング結果と前記生体検出結果に基づいて、車両に前記車両の受信した操作コマンドを実行させるように制御することを含むことを特徴とする請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記ビデオストリームに基づいて運転手状態検出を行うことと、
運転手状態検出の結果に基づいて、異常運転状態の警報通知及び／又はスマート運転制御を行うことと、を更に含み、
前記運転手状態検出は、運転手注意散漫状態検出、運転手所定注意散漫動作検出、運転手ジェスチャー検出のいずれか一項又は複数項を含むことを特徴とする請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記ビデオストリームに基づいて運転手疲労状態検出を行うことは、
前記ビデオストリーム中の少なくとも１つの画像の顔の少なくとも一部の領域を検出し、開眼閉眼状態情報を含む顔の少なくとも一部の領域の状態情報を得ることと、
所定時間内の前記顔の少なくとも一部の領域の状態情報に基づいて、運転手疲労状態を表すための指標のパラメータ値を取得することと、
運転手疲労状態を表すための指標のパラメータ値に基づいて、運転手疲労状態検出の結果を決定することと、を含み、
前記運転手疲労状態を表すための指標は、閉眼度を含み、
前記閉眼度のパラメータ値は、閉眼回数、閉眼頻度、閉眼持続時間、閉眼幅、半閉眼回数、半閉眼頻度のいずれか一項又は複数項を含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記ビデオストリームに基づいて運転手注意散漫状態を検出することは、
前記ビデオストリーム中の運転手画像に対して顔向き方向及び／又は視線方向の検出を行い、顔向き方向情報及び／又は視線方向情報を得ることと、
所定時間内の前記顔向き方向情報及び／又は視線方向情報に基づいて、顔偏向度、視線偏向度のいずれか一項又は複数項を含む、運転手注意散漫状態を表すための指標のパラメータ値を決定することと、
前記運転手注意散漫状態を表すための指標のパラメータ値に基づいて、運転手注意散漫状態検出の結果を決定することと、を含み、
前記顔偏向度のパラメータ値は、頭部回転回数、頭部回転持続時間、頭部回転頻度のいずれか一項又は複数項を含み、及び／又は、
前記視線偏向度のパラメータ値は、視線方向偏向角度、視線方向偏向時間、視線方向偏向頻度のいずれか一項又は複数項を含むことを特徴とする請求項５又は６に記載の方法。
【請求項８】
前記ビデオストリーム中の運転手画像に対して顔向き方向及び／又は視線方向の検出を行うことは、
前記ビデオストリーム中の運転手画像の顔キーポイントを検出することと、
前記顔キーポイントに基づいて、顔向き方向及び／又は視線方向の検出を行うことと、を含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記顔キーポイントに基づいて、顔向き方向検出を行って顔向き方向情報を得ることは、
前記顔キーポイントに基づいて、頭部姿勢の特徴情報を取得することと、
前記頭部姿勢の特徴情報に基づいて、顔向き方向情報を決定することと、を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記所定注意散漫動作は、喫煙動作、飲水動作、飲食動作、電話通話動作、娯楽動作のいずれか一項又は複数項を含むことを特徴とする請求項５〜９のいずれか一項に記載の方法。
【請求項１１】
前記ビデオストリームに基づいて運転手所定注意散漫動作検出を行うことは、
前記ビデオストリーム中の少なくとも１つの画像に対して前記所定注意散漫動作に対応する目標対象検出を行い、目標対象の検出枠を得ることと、
前記目標対象の検出枠に基づいて、前記所定注意散漫動作が発生したか否かを決定することと、を含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
所定注意散漫動作が発生した場合に、所定時間内に前記所定注意散漫動作が発生したか否かの決定結果に基づいて、運転手注意散漫度を表すための指標のパラメータ値を取得することと、
前記運転手注意散漫度を表すための指標のパラメータ値に基づいて、運転手所定注意散漫動作検出の結果を決定することと、を更に含み、
前記運転手注意散漫度の指標のパラメータ値は、所定注意散漫動作の回数、所定注意散漫動作の持続時間、所定注意散漫動作の頻度のいずれか一項又は複数項を含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
運転手所定注意散漫動作検出の結果に所定注意散漫動作が検出されたことが示されれば、検出された注意散漫動作を通知することを更に含むことを特徴とする請求項１０〜１２のいずれか一項に記載の方法。
【請求項１４】
前記運転手状態検出の結果に対応する制御操作を実行することを更に含み、
前記運転手状態検出の結果に対応する制御操作を実行することは、
決定された前記運転手状態検出の結果が通知／警告所定条件を満たした場合に、前記通知／警告所定条件に対応する通知／警告情報を出力すること、及び／又は、
決定された前記運転手状態検出の結果が所定情報送信条件を満たした場合に、所定連絡先に所定情報を送信するか又は所定連絡先と通信接続を確立すること、及び／又は、
決定された前記運転手状態検出の結果が所定運転モード切換条件を満たした場合に、運転モードを自動運転モードに切り換えることの少なくとも一項を含むことを特徴とする請求項５〜１３のいずれか一項に記載の方法。
【請求項１５】
前記クラウドサーバに前記運転手状態検出の少なくとも一部の結果を送信することを更に含み、
前記少なくとも一部の結果は、運転手状態検出により決定された異常運転状態情報を含むことを特徴とする請求項５〜１４のいずれか一項に記載の方法。
【請求項１６】
前記ビデオストリームにおける前記異常運転状態情報に対応する画像又はビデオセグメントを記憶すること、及び／又は、
前記クラウドサーバに前記ビデオストリームにおける前記異常運転状態情報に対応する画像又はビデオセグメントを送信することを更に含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記車両と携帯端末機とが通信接続状態にある時に、前記携帯端末機にデータセットダウンロード要求を送信することと、
前記携帯端末機から送信されるデータセットを受信し記憶することと、を更に含み、
前記データセットは、前記携帯端末機が前記データセットダウンロード要求を受信した時にクラウドサーバから取得されて、前記車両に送信されるものであることを特徴とする請求項１に記載の方法。
【請求項１８】
前記特徴マッチング結果に特徴マッチング未成功が示されれば、受信された操作コマンドの実行を拒否することを更に含むことを特徴とする請求項１〜１７のいずれか一項に記載の方法。
【請求項１９】
登録提示情報を送信することと、
前記登録提示情報に基づいて運転手の登録顔画像を含む運転手登録要求を受信することと、
前記登録顔画像に基づいてデータセットを生成することと、を更に含むことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記ビデオストリーム中の少なくとも１つの画像の顔部とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得することは、
前記車両とクラウドサーバとが通信接続状態にある時に、前記ビデオストリーム中の少なくとも１つの画像の顔部を前記クラウドサーバにアップロードし、且つ前記クラウドサーバから送信される特徴マッチング結果を受信することを含むことを特徴とする請求項１〜１９のいずれか一項に記載の方法。
【請求項２１】
車両から送信される車両運転手のビデオストリームを受信することと、
前記ビデオストリームにおける顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得ることであって、前記データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶されており、前記データセット中の事前記憶顔画像には運転権限が対応して設置されていることと、
前記特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に対応する運転権限を取得し、前記車両に、前記権限範囲内における車両制御を許可するコマンドを送信することと、
前記ビデオストリームに基づいて運転手疲労状態検出を行い、運転手疲労状態検出の結果に基づいて、異常運転状態の警報通知を行い及び／又は前記車両にスマート運転制御を行うコマンドを送信することと、を含み、
前記ビデオストリームに基づいて運転手疲労状態検出を行うことは、
前記ビデオストリーム中の少なくとも１つの画像の顔の少なくとも一部の領域を検出し、開口閉口状態情報を得ることと、
所定時間内の前記開口閉口状態情報に基づいて、運転手疲労状態を表すための指標のパラメータ値を取得することと、
運転手疲労状態を表すための指標のパラメータ値に基づいて、運転手疲労状態検出の結果を決定することと、を含み、
前記運転手疲労状態を表すための指標は、欠伸度を含み、前記欠伸度のパラメータ値は、欠伸状態、欠伸回数、欠伸持続時間、欠伸頻度のいずれか一項又は複数項を含むことを特徴とする運転管理方法。
【請求項２２】
車両から送信されるデータセットダウンロード要求を受信することであって、前記データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶されていることと、
前記車両に前記データセットを送信することと、を更に含むことを特徴とする請求項２１に記載の方法。
【請求項２３】
車両又は携帯端末機から送信される、運転手の登録顔画像を含む運転手登録要求を受信することと、
前記登録顔画像に基づいてデータセットを生成することと、を更に含むことを特徴とする請求項２１又は２２に記載の方法。
【請求項２４】
前記ビデオストリームにおける顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得ることは、
前記ビデオストリームにおける顔画像とデータセット中の少なくとも１つの事前記憶顔画像とに対して特徴マッチングを行って、前記特徴マッチング結果を得ることを含み、又は、前記車両から、前記ビデオストリームにおける顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得することを含むことを特徴とする請求項２１〜２３のいずれか一項に記載の方法。
【請求項２５】
前記車両から送信される運転手状態検出の少なくとも一部の結果を受信し、異常運転状態の警報通知を行い及び／又は前記車両にスマート運転制御を行うコマンドを送信することを更に含み、
前記少なくとも一部の結果は、運転手状態検出により決定された異常運転状態情報を含むことを特徴とする請求項２１〜２４のいずれか一項に記載の方法。
【請求項２６】
前記運転手状態検出の結果に対応する制御操作を実行することを更に含み、
前記運転手状態検出の結果に対応する制御操作を実行することは、
決定された前記運転手状態検出の結果が通知／警告所定条件を満たした場合に、前記通知／警告所定条件に対応する通知／警告情報を出力すること、及び／又は、
決定された前記運転手状態検出の結果が所定情報送信条件を満たした場合に、所定連絡先に所定情報を送信するか又は所定連絡先と通信接続を確立すること、及び／又は、
決定された前記運転手状態検出の結果が所定運転モード切換条件を満たした場合に、運転モードを自動運転モードに切り換えることを含むことを特徴とする請求項２５に記載の方法。
【請求項２７】
前記異常運転状態情報に対応する画像又はビデオセグメントを受信することを更に含むことを特徴とする請求項２５又は２６に記載の方法。
【請求項２８】
前記異常運転状態情報に基づいてデータ統計、車両管理、運転手管理の少なくとも１種の操作を行うことを更に含み、
前記異常運転状態情報に基づいてデータ統計を行うことは、
前記異常運転状態情報に基づいて受信された前記異常運転状態情報に対応する画像又はビデオセグメントを統計し、前記画像又はビデオセグメントを異なる異常運転状態に従って分類し、各種の前記異常運転状態の統計情報を決定することを含み、
前記異常運転状態情報に基づいて車両管理を行うことは、
前記異常運転状態情報に基づいて受信された前記異常運転状態情報に対応する画像又はビデオセグメントを統計し、前記画像又はビデオセグメントを異なる車両に従って分類し、各前記車両の異常運転統計状況を決定することを含み、
前記異常運転状態情報に基づいて運転手管理を行うことは、
前記異常運転状態情報に基づいて受信された前記異常運転状態情報に対応する画像又はビデオセグメントを処理し、前記画像又はビデオセグメントを異なる運転手に従って分類し、各前記運転手の異常運転統計状況を決定することを含むことを特徴とする請求項２７に記載の方法。
【請求項２９】
実行可能コマンドを記憶するためのメモリと、
前記メモリと通信して前記実行可能コマンドを実行して請求項１〜２０のいずれか一項に記載の運転管理方法又は請求項２１〜２８のいずれか一項に記載の運転管理方法を完成するためのプロセッサと、を含むことを特徴とする電子機器。
【請求項３０】
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器で実行される時に、前記電子機器中のプロセッサに、請求項１〜２０のいずれか一項に記載の運転管理方法又は請求項２１〜２８のいずれか一項に記載の運転管理方法を実行させることを特徴とするコンピュータプログラム。
【請求項３１】
コンピュータ読取可能コマンドを記憶するためのコンピュータ記憶媒体であって、前記コンピュータ読取可能コマンドが実行される時に、コンピュータに、請求項１〜２０のいずれか一項に記載の運転管理方法又は請求項２１〜２８のいずれか一項に記載の運転管理方法を実現させることを特徴とするコンピュータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１８年６月４日に中国特許局に提出された、出願番号ＣＮ２０１８１０５６５７１１．１、発明の名称「運転管理方法及びシステム、車載スマートシステム、電子機器並びに媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本願は、人工知能技術に関し、特に、運転管理方法及びシステム、車載スマートシステム、電子機器並びに媒体に関する。
【背景技術】
【０００３】
スマート車両は、環境感知、計画策定、マルチレベル運転支援などの機能を一体化した統合システムであり、その中にコンピュータ、現代化感知、情報融合、通信、人工知能及び自動制御などの技術が集中的に用いられ、代表的な先端技術複合体となっている。現在、スマート車両の研究については、主に自動車の安全性、快適性の向上、及び優れた人間と車両の間の対話インタフェースの提供に取り組んでいる。近年、スマート車両は世界自動車工業分野で研究されている人気課題と自動車産業成長の新興動力になり、多くの先進国においてそれぞれ重点として発展するスマート交通システムに取り入れられている。
【発明の概要】
【０００４】
本願の実施例は、運転管理方法及びシステム、車載スマートシステム、電子機器並びに媒体を提供する。
【０００５】
本願の実施例の一態様によれば、提供される運転管理方法は、
車両に設置された撮影アセンブリに車両運転手のビデオストリームを収集させるように制御することと、
前記ビデオストリーム中の少なくとも１つの画像の顔部とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得することであって、前記データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶されていることと、
前記特徴マッチング結果に特徴マッチング成功が示されれば、車両に前記車両の受信した操作コマンドを実行させるように制御することと、を含む。
【０００６】
選択可能に、前記方法は、
前記車両とクラウドサーバとが通信接続状態にある時に、前記クラウドサーバにデータセットダウンロード要求を送信することと、
前記クラウドサーバから送信されるデータセットを受信し記憶することと、を更に含む。
【０００７】
選択可能に、前記方法は、
前記特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に基づいて前記車両運転手の身元情報を取得することと、
前記クラウドサーバに前記画像と前記身元情報を送信することと、を更に含む。
【０００８】
選択可能に、前記方法は、
前記特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に基づいて前記車両運転手の身元情報を取得することと、
前記画像中の顔部を切り出すことと、
前記クラウドサーバに前記切り出した顔部と前記身元情報を送信することと、を更に含む。
【０００９】
選択可能に、前記方法は、収集された画像の生体検出結果を取得することを更に含み、
特徴マッチング結果に基づいて、車両に前記車両の受信した操作コマンドを実行させるように制御することは、
前記特徴マッチング結果と生体検出結果に基づいて、車両に前記車両の受信した操作コマンドを実行させるように制御することを含む。
【００１０】
選択可能に、前記データセット中の事前記憶顔画像には更に運転権限が対応して設置され、
前記方法は、前記特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に対応する運転権限を取得することを更に含み、
車両に前記車両の受信した操作コマンドを実行させるように制御することは、車両に前記車両の受信した前記権限範囲内の操作コマンドを実行させるように制御することを含む。
【００１１】
選択可能に、前記方法は、
前記ビデオストリームに基づいて運転手状態検出を行うことと、
運転手状態検出の結果に基づいて、異常運転状態の警報通知及び／又はスマート運転制御を行うことと、を更に含む。
【００１２】
選択可能に、前記運転手状態検出は、運転手疲労状態検出、運転手注意散漫状態検出、運転手所定注意散漫動作検出、運転手ジェスチャー検出のいずれか一項又は複数項を含む。
【００１３】
選択可能に、前記ビデオストリームに基づいて運転手疲労状態検出を行うことは、
前記ビデオストリーム中の少なくとも１つの画像の顔の少なくとも一部の領域を検出し、開眼閉眼状態情報、開口閉口状態情報のいずれか一項又は複数項を含む顔の少なくとも一部の領域の状態情報を得ることと、
所定時間内の前記顔の少なくとも一部の領域の状態情報に基づいて、運転手疲労状態を表すための指標のパラメータ値を取得することと、
運転手疲労状態を表すための指標のパラメータ値に基づいて、運転手疲労状態検出の結果を決定することと、を含む。
【００１４】
選択可能に、前記運転手疲労状態を表すための指標は、閉眼度、欠伸度のいずれか一項又は複数項を含む。
【００１５】
選択可能に、前記閉眼度のパラメータ値は、閉眼回数、閉眼頻度、閉眼持続時間、閉眼幅、半閉眼回数、半閉眼頻度のいずれか一項又は複数項を含み、及び／又は、
前記欠伸度のパラメータ値は、欠伸状態、欠伸回数、欠伸持続時間、欠伸頻度のいずれか一項又は複数項を含む。
【００１６】
選択可能に、前記ビデオストリームに基づいて運転手注意散漫状態を検出することは、
前記ビデオストリーム中の運転手画像に対して顔向き方向及び／又は視線方向の検出を行い、顔向き方向情報及び／又は視線方向情報を得ることと、
所定時間内の前記顔向き方向情報及び／又は視線方向情報に基づいて、顔偏向度、視線偏向度のいずれか一項又は複数項を含む、運転手注意散漫状態を表すための指標のパラメータ値を決定することと、
前記運転手注意散漫状態を表すための指標のパラメータ値に基づいて、運転手注意散漫状態検出の結果を決定することと、を含む。
【００１７】
選択可能に、前記顔偏向度のパラメータ値は、頭部回転回数、頭部回転持続時間、頭部回転頻度のいずれか一項又は複数項を含み、及び／又は、
前記視線偏向度のパラメータ値は、視線方向偏向角度、視線方向偏向時間、視線方向偏向頻度のいずれか一項又は複数項を含む。
【００１８】
選択可能に、前記ビデオストリーム中の運転手画像に対して顔向き方向及び／又は視線方向の検出を行うことは、
前記ビデオストリーム中の運転手画像の顔キーポイントを検出することと、
前記顔キーポイントに基づいて、顔向き方向及び／又は視線方向の検出を行うことと、を含む。
【００１９】
選択可能に、前記顔キーポイントに基づいて、顔向き方向検出を行って顔向き方向情報を得ることは、
前記顔キーポイントに基づいて、頭部姿勢の特徴情報を取得することと、
前記頭部姿勢の特徴情報に基づいて、顔向き方向情報を決定することと、を含む。
【００２０】
選択可能に、前記所定注意散漫動作は、喫煙動作、飲水動作、飲食動作、電話通話動作、娯楽動作のいずれか一項又は複数項を含む。
【００２１】
選択可能に、前記ビデオストリームに基づいて運転手所定注意散漫動作検出を行うことは、
前記ビデオストリーム中の少なくとも１つの画像に対して前記所定注意散漫動作に対応する目標対象検出を行い、目標対象の検出枠を得ることと、
前記目標対象の検出枠に基づいて、前記所定注意散漫動作が発生したか否かを決定することと、を含む。
【００２２】
選択可能に、前記方法は、
所定注意散漫動作が発生した場合に、所定時間内に前記所定注意散漫動作が発生したか否かの決定結果に基づいて、運転手注意散漫度を表すための指標のパラメータ値を取得することと、
前記運転手注意散漫度を表すための指標のパラメータ値に基づいて、運転手所定注意散漫動作検出の結果を決定することと、を更に含む。
【００２３】
選択可能に、前記運転手注意散漫度の指標のパラメータ値は、所定注意散漫動作の回数、所定注意散漫動作の持続時間、所定注意散漫動作の頻度のいずれか一項又は複数項を含む。
【００２４】
選択可能に、前記方法は、
運転手所定注意散漫動作検出の結果に所定注意散漫動作が検出されたことが示されれば、検出された注意散漫動作を通知することを更に含む。
【００２５】
選択可能に、前記方法は、
前記運転手状態検出の結果に対応する制御操作を実行することを更に含む。
【００２６】
選択可能に、前記運転手状態検出の結果に対応する制御操作を実行することは、
決定された前記運転手状態検出の結果が通知／警告所定条件を満たした場合に、前記通知／警告所定条件に対応する通知／警告情報を出力すること、及び／又は、
決定された前記運転手状態検出の結果が所定情報送信条件を満たした場合に、所定連絡先に所定情報を送信するか又は所定連絡先と通信接続を確立すること、及び／又は、
決定された前記運転手状態検出の結果が所定運転モード切換条件を満たした場合に、運転モードを自動運転モードに切り換えることの少なくとも一項を含む。
【００２７】
選択可能に、前記方法は、
前記クラウドサーバに前記運転手状態検出の少なくとも一部の結果を送信することを更に含む。
【００２８】
選択可能に、前記少なくとも一部の結果は、運転手状態検出により決定された異常運転状態情報を含む。
【００２９】
選択可能に、前記方法は、
前記ビデオストリームにおける前記異常運転状態情報に対応する画像又はビデオセグメントを記憶すること、及び／又は、
前記クラウドサーバに前記ビデオストリームにおける前記異常運転状態情報に対応する画像又はビデオセグメントを送信することを更に含む。
【００３０】
選択可能に、前記方法は、
前記車両と携帯端末機とが通信接続状態にある時に、前記携帯端末機にデータセットダウンロード要求を送信することと、
前記携帯端末機から送信されるデータセットを受信し記憶することと、を更に含む。
【００３１】
選択可能に、前記データセットは、前記携帯端末機が前記データセットダウンロード要求を受信した時にクラウドサーバから取得されて、前記車両に送信されるものである。
【００３２】
選択可能に、前記方法は、
前記特徴マッチング結果に特徴マッチング未成功が示されれば、受信された操作コマンドの実行を拒否することを更に含む。
【００３３】
選択可能に、前記方法は、
登録提示情報を送信することと、
前記登録提示情報に基づいて運転手の登録顔画像を含む運転手登録要求を受信することと、
前記登録顔画像に基づいてデータセットを生成することと、を更に含む。
【００３４】
選択可能に、前記ビデオストリーム中の少なくとも１つの画像の顔部とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得することは、
前記車両とクラウドサーバとが通信接続状態にある時に、前記ビデオストリーム中の少なくとも１つの画像の顔部を前記クラウドサーバにアップロードし、且つ前記クラウドサーバから送信される特徴マッチング結果を受信することを含む。
【００３５】
本願の実施例の別の態様によれば、提供される車載スマートシステムは、
車両に設置された撮影アセンブリに車両運転手のビデオストリームを収集させるように制御するためのビデオ収集ユニットと、
前記ビデオストリーム中の少なくとも１つの画像の顔部とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得するための結果取得ユニットであって、前記データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶されている結果取得ユニットと、
前記特徴マッチング結果に特徴マッチング成功が示されれば、車両に前記車両の受信した操作コマンドを実行させるように制御するための操作ユニットと、を含む。
【００３６】
本願の実施例の更に別の態様によれば、提供される運転管理方法は、
車両から送信される識別待ちの顔画像を受信することと、
前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得ることであって、前記データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶されていることと、
前記特徴マッチング結果に特徴マッチング成功が示されれば、前記車両に車両制御を許可するコマンドを送信することと、を含む。
【００３７】
選択可能に、前記方法は、
車両から送信されるデータセットダウンロード要求を受信することであって、前記データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶されていることと、
前記車両に前記データセットを送信することと、を更に含む。
【００３８】
選択可能に、前記方法は、
車両又は携帯端末機から送信される、運転手の登録顔画像を含む運転手登録要求を受信することと、
前記登録顔画像に基づいてデータセットを生成することと、を更に含む。
【００３９】
選択可能に、前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得ることは、
前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像とに対して特徴マッチングを行って、前記特徴マッチング結果を得ることを含む。
【００４０】
選択可能に、前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得ることは、
前記車両から、前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得することを含む。
【００４１】
選択可能に、前記方法は、
前記車両から送信される運転手状態検出の少なくとも一部の結果を受信し、異常運転状態の警報通知を行い及び／又は前記車両にスマート運転制御を行うコマンドを送信することを更に含む。
【００４２】
選択可能に、前記少なくとも一部の結果は、運転手状態検出により決定された異常運転状態情報を含む。
【００４３】
選択可能に、前記方法は、前記運転手状態検出の結果に対応する制御操作を実行することを更に含む。
【００４４】
選択可能に、前記運転手状態検出の結果に対応する制御操作を実行することは、
決定された前記運転手状態検出の結果が通知／警告所定条件を満たした場合に、前記通知／警告所定条件に対応する通知／警告情報を出力すること、及び／又は、
決定された前記運転手状態検出の結果が所定情報送信条件を満たした場合に、所定連絡先に所定情報を送信するか又は所定連絡先と通信接続を確立すること、及び／又は、
決定された前記運転手状態検出の結果が所定運転モード切換条件を満たした場合に、運転モードを自動運転モードに切り換えることを含む。
【００４５】
選択可能に、前記方法は、
前記異常運転状態情報に対応する画像又はビデオセグメントを受信することを更に含む。
【００４６】
選択可能に、前記方法は、
前記異常運転状態情報に基づいてデータ統計、車両管理、運転手管理の少なくとも１種の操作を行うことを更に含む。
【００４７】
選択可能に、前記異常運転状態情報に基づいてデータ統計を行うことは、
前記異常運転状態情報に基づいて受信された前記異常運転状態情報に対応する画像又はビデオセグメントを統計し、前記画像又はビデオセグメントを異なる異常運転状態に従って分類し、各種の前記異常運転状態の統計情報を決定することを含む。
【００４８】
選択可能に、前記異常運転状態情報に基づいて車両管理を行うことは、
前記異常運転状態情報に基づいて受信された前記異常運転状態情報に対応する画像又はビデオセグメントを統計し、前記画像又はビデオセグメントを異なる車両に従って分類し、各前記車両の異常運転統計状況を決定することを含む。
【００４９】
選択可能に、前記異常運転状態情報に基づいて運転手管理を行うことは、
前記異常運転状態情報に基づいて受信された前記異常運転状態情報に対応する画像又はビデオセグメントを処理し、前記画像又はビデオセグメントを異なる運転手に従って分類し、各前記運転手の異常運転統計状況を決定することを含む。
【００５０】
本願の実施例の更に１つの態様によれば、提供される電子機器は、
車両から送信される識別待ちの顔画像を受信するための画像受信ユニットと、
前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得るためのマッチング結果取得ユニットであって、前記データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶されているマッチング結果取得ユニットと、
前記特徴マッチング結果に特徴マッチング成功が示されれば、前記車両に車両制御を許可するコマンドを送信するためのコマンド送信ユニットと、を含む。
【００５１】
本願の実施例のまた１つの態様によれば、提供される運転管理システムは、上記のいずれか一項に記載の運転管理方法を実行するための車両及び／又は上記のいずれか一項に記載の運転管理方法を実行するためのクラウドサーバを含む。
【００５２】
選択可能に、前記システムは、
運転手の登録顔画像を含む運転手登録要求を受信することと、
前記運転手登録要求を前記クラウドサーバに送信することとに用いられる携帯端末機を更に含む。
【００５３】
本願の実施例のまた１つの態様によれば、提供される電子機器は、実行可能コマンドを記憶するためのメモリと、
前記メモリと通信して前記実行可能コマンドを実行して上記のいずれか一項に記載の運転管理方法を完成するためのプロセッサと、を含む。
【００５４】
本願の実施例のまた１つの態様によれば、提供されるコンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時に、前記電子機器中のプロセッサにより上記のいずれか一項に記載の運転管理方法を実現するためのコマンドを実行する。
【００５５】
本願の実施例のまた１つの態様によれば、提供されるコンピュータ記憶媒体は、コンピュータ読取可能コマンドを記憶するためのコンピュータ記憶媒体であって、前記コマンドが実行される時に上記のいずれか一項に記載の運転管理方法を実現する。
【００５６】
本願の上記実施例で提供された運転管理方法及びシステム、車載スマートシステム、電子機器並びに媒体によれば、車両に設置された撮影アセンブリに車両運転手のビデオストリームを収集させるように制御し、ビデオストリーム中の少なくとも１つの画像の顔部とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得し、特徴マッチング結果に特徴マッチング成功が示されれば、車両に車両の受信した操作コマンドを実行させるように制御することにより、運転手の識別のネットワークに対する依存性が減少され、ネットワークに接続されていなくても特徴マッチングが実現でき、更に車両の安全保障性が高められる。
【００５７】
以下、図面及び実施例を通じて本願の技術的手段をさらに詳しく説明する。
【図面の簡単な説明】
【００５８】
【図１】本願のいくつかの実施例の運転管理方法のフローチャットである。
【図２】本願のいくつかの実施例でビデオストリームに基づいて運転手疲労状態検出を行うフローチャットである。
【図３】本願のいくつかの実施例でビデオストリームに基づいて運転手注意散漫状態検出を行うフローチャットである。
【図４】本願のいくつかの実施例でビデオストリームに基づいて運転手所定注意散漫動作検出を行うフローチャットである。
【図５】本願のいくつかの実施例の運転手状態検出方法のフローチャットである。
【図６】本願のいくつかの実施例の運転管理方法の一応用例のフローチャットである。
【図７】本願のいくつかの実施例の車載スマートシステムの構造模式図である。
【図８】本願の別のいくつかの実施例の運転管理方法のフローチャットである。
【図９】本願のいくつかの実施例の電子機器の構造模式図である。
【図１０】本願のいくつかの実施例の運転管理システムの使用フローチャットである。
【図１１】本願の別のいくつかの実施例の運転管理システムの使用フローチャットである。
【図１２】本願のいくつかの実施例の電子機器の一応用例の構造模式図である。
【発明を実施するための形態】
【００５９】
明細書の一部を構成する図面は、本願の実施例を説明し、その説明と共に本願の原理を解釈することに用いられる。
【００６０】
図面を参照し、以下の詳細な説明により本願をより明瞭に理解することができる。
【００６１】
ここで、図面を参照しながら本願の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本願の範囲を限定するものではないことに注意すべきである。
【００６２】
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
【００６３】
以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願及びその適用または使用へのなんらの制限にもならない。
【００６４】
関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。
【００６５】
なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
【００６６】
本願の実施例は端末装置、コンピュータシステム、サーバなどの電子機器に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末装置、コンピュータシステム、サーバなどの電子機器との併用に適する公知の端末装置、計算システム、環境及び／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
【００６７】
端末装置、コンピュータシステム、サーバなどの電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。
【００６８】
図１は本願のいくつかの実施例の運転管理方法のフローチャットである。図１に示すように、本実施例の運転管理方法の実行主体は車両側機器であってよく、例えば、実行主体は車載スマートシステム又は他の類似機能を備えた機器であってよく、この実施例の方法は、以下を含む。
【００６９】
１１０において、車両に設置された撮影アセンブリに車両運転手のビデオストリームを収集させるように制御する。
【００７０】
選択可能に、運転手の画像を収集するために、撮影アセンブリが車両内部における運転席を撮影可能な位置に設置され、この撮影アセンブリの位置が一定の位置であってもよく、不定の位置であってもよく、不定の位置である場合に、異なる運転手によっては撮影アセンブリの位置を調整可能であり、一定の位置である場合に、異なる運転手によっては撮影アセンブリのレンズ方向を調整可能である。
【００７１】
選択可能な一例では、この操作１１０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動するビデオ収集ユニット７１によって実行されてもよい。
【００７２】
１２０において、ビデオストリーム中の少なくとも１つの画像の顔部とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得する。
【００７３】
選択可能に、データセット中に少なくとも１つの登録済み運転手の事前記憶顔画像が記憶されており、即ち登録した運転手に対応する顔画像が事前記憶顔画像としてデータセットに保存されている。
【００７４】
選択可能に、顔検出（例えば、ニューラルネットワークに基づく顔検出）により画像中の顔部を得てよく、顔部とデータセット中の事前記憶顔画像とに対して特徴マッチングを行うには、顔部の特徴と事前記憶顔画像の特徴をそれぞれ畳み込みニューラルネットワークにより取得してから特徴マッチングを行ってよく、そのようにして顔部と同一の顔に対応する事前記憶顔画像を識別して画像が収集された運転手の身元の識別を実現する。
【００７５】
選択可能な一例では、この操作１２０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する結果取得ユニット７２によって実行されてもよい。
【００７６】
１３０において、特徴マッチング結果に特徴マッチング成功が示されれば、車両に車両の受信した操作コマンドを実行させるように制御する。
【００７７】
選択可能に、特徴マッチング結果は、特徴マッチング成功と特徴マッチング未成功を含み、特徴マッチングに成功した時に、この車両運転手が登録した運転手であって車両を制御できることを示し、この時に、車両に受信された操作コマンド（運転手からの操作コマンド）を実行させるように制御する。
【００７８】
選択可能な一例では、この操作１３０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する操作ユニット７３によって実行されてもよい。
【００７９】
本願の上記実施例で提供された運転管理方法によれば、車両に設置された撮影アセンブリに車両運転手のビデオストリームを収集させるように制御し、ビデオストリーム中の少なくとも１つの画像の顔部とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得し、特徴マッチング結果に特徴マッチング成功が示されれば、車両に車両の受信した操作コマンドを実行させるように制御することにより、運転手の識別のネットワークに対する依存性が減少され、ネットワークに接続されていなくても特徴マッチングが実現でき、更に車両の安全保障性が高められる。
【００８０】
１つ又は複数の選択可能な実施例では、運転管理方法は、
車両とクラウドサーバとが通信接続状態にある時に、クラウドサーバにデータセットダウンロード要求を送信することと、
クラウドサーバから送信されるデータセットを受信し記憶することと、を更に含む。
【００８１】
選択可能に、一般的にはデータセットがクラウドサーバに保存されており、本実施例では、車両側で顔マッチングを行う時にネットワークに接続されていなくても顔マッチングを可能にし、ネットワークに接続されている場合にクラウドサーバからデータセットをダウンロードし且つデータセットを車両側に保存することを可能にするのを実現することを目的とし、この時に、ネットワークに接続されていなくてクラウドサーバと通信不可能であっても、車両側で顔マッチングが実現でき、更に車両側によるデータセットの管理が容易になる。
【００８２】
１つ又は複数の選択可能な実施例では、運転管理方法は、
特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に基づいて車両運転手の身元情報を取得ことと、
クラウドサーバに画像と身元情報を送信することと、を更に含む。
【００８３】
本実施例では、特徴マッチングに成功した時に、この運転手が既に登録した運転手であり、データセットから対応する身元情報を得て画像と身元情報をクラウドサーバに送信することができるのを示し、そのようにクラウドサーバでこの運転手に対するリアルタイムトラッキング（例えば、ある運転手がいつどこである車両を運転するか）を確立でき、また、画像がビデオストリームに基づいて得られたものであるため、ネットワークに接続されている場合に画像をリアルタイムでクラウドサーバにアップロードすることで、運転手運転状態の分析、統計及び／又は管理を実現することができる。
【００８４】
１つ又は複数の選択可能な実施例では、運転管理方法は、
特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に基づいて車両運転手の身元情報を取得することと、
画像中の顔部を切り出すことと、
クラウドサーバに切り出した顔部と身元情報を送信することと、を更に含んでもよい。
【００８５】
顔マッチングのプロセスが画像中の顔部に基づいて実現されるため、本実施例では、クラウドサーバに画像を送信する時に、画像分割に基づいて得られた顔部のみを送信してよく、このように車載側機器とクラウドサーバとの通信ネットワークのオーバーヘッドが減少され、クラウドサーバが切り出した顔部と身元情報を受信すると、次回の顔識別の基礎とするために既存の顔画像を増加又は置換するように、この顔部を新しいこの運転手の顔画像としてデータセットに保存してよい。
【００８６】
１つ又は複数の選択可能な実施例では、運転管理方法は、収集された画像の生体検出結果を取得することを更に含んでもよく、
操作１３０は、
特徴マッチング結果と生体検出結果に基づいて、車両に車両の受信した操作コマンドを実行させるように制御することを含んでよい。
【００８７】
本実施例では、生体検出は画像が真実人物（又は生きている人）からのものであるか否かを判断するために用いられ、生体検出により運転手の身元検証をより精確にすることができる。本実施例では生体検出の具体的な形態は限定されなく、例えば、画像の３次元情報深度分析、顔部オプティカルフロー解析、フーリエスペクトル分析、縁部又は光反射などの偽造防止手がかり分析、ビデオストリーム中のマルチフレームビデオの画像フレームの総合分析などの方法を用いて実現してよく、そのため、ここで詳しい説明を省略する。
【００８８】
選択可能に、データセット中の事前記憶顔画像には更に運転権限が対応して設置され、
運転管理方法は、特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に対応する運転権限を取得することを更に含んでもよく、
操作１３０は、車両に車両の受信した権限範囲内の操作コマンドを実行させるように制御することを含んでよい。
【００８９】
本実施例では、異なる運転手に対して異なる運転権限を設置して分類管理を実現することにより、車両の安全性を高め、権限が高い運転手がより高い制御権限を有するのを保障することができ、ユーザ体験を高めることができる。異なる権限の設置は操作時間及び／又は操作範囲を限定することにより区別でき、例えば、一部の運転手に対応する運転権限は昼間又は特定時間のみに運転可能であるが、別の運転手に対応する運転権限は終日運転可能であるなどのようになり、又は、一部の運転手に対応する運転権限は車両を運転する時に車内娯楽デバイスを使用することができるが、別の些運転手に対応する運転権限は運転のみが可能である。
【００９０】
１つ又は複数の選択可能な実施例では、運転管理方法は、
ビデオストリームに基づいて運転手状態検出を行うことと、
運転手状態検出の結果に基づいて、異常運転状態の警報通知及び／又はスマート運転制御を行うことと、を更に含む。
【００９１】
いくつかの実施例では、運転手状態検出の結果を出力してよい。
【００９２】
別のいくつかの実施例では、運転手状態検出の結果に基づいて車両に対してスマート運転制御を行ってよい。
【００９３】
更に別のいくつかの実施例では、運転手状態検出の結果を出力すると共に、運転手状態検出の結果に基づいて車両にスマート運転制御を行ってよい。
【００９４】
選択可能に、運転手状態検出の結果をローカル出力し及び／又は運転手状態検出の結果を遠隔出力してよい。ここで、運転手状態検出の結果のローカル出力とは、運転手状態検出装置又は運転手監視システムにより運転手状態検出の結果を出力するか、又は車両中の中央制御システムに運転手状態検出の結果を出力することを指し、そのように車両はこの運転手状態検出の結果に基づいて車両にスマート運転制御を行う。運転手状態検出の結果の遠隔出力とは、例えば、クラウドサーバ又は管理ノードに運転手状態検出の結果を送信することを指し、そのようにクラウドサーバ又は管理ノードは運転手状態検出の結果の收集、分析及び／又は管理を行うか、又はこの運転手状態検出の結果に基づいて車両に対して遠隔制御を行う。
【００９５】
選択可能な一例では、運転手状態検出の結果に基づいて異常運転状態の警報通知及び／又はスマート運転制御を行うことはプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する出力モジュール及び／又はスマート運転制御モジュールによって実行されてもよい。
【００９６】
選択可能な一例では、上記操作はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する運転手状態検出ユニットによって実行されてもよい。
【００９７】
いくつかの実施例では、運転手状態検出は、例えば、運転手疲労状態検出、運転手注意散漫状態検出、運転手所定注意散漫動作検出、運転手ジェスチャー検出のいずれか一項又は複数項を含んでよいが、それらに限定されない。そのようにして運転手状態検出の結果は対応するように運転手疲労状態検出の結果、運転手注意散漫状態検出の結果、運転手所定注意散漫動作検出の結果、運転手ジェスチャー検出の結果のいずれか一項又は複数項を含んでよいが、それらに限定されない。
【００９８】
本実施例では、所定注意散漫動作は、例えば、喫煙動作、飲水動作、飲食動作、電話通話動作、娯楽動作などの運転手の注意をそらせるいかなる注意散漫動作であってよい。ここで、飲食動作は例えば果物、間食などの食物を食べる動作であり、娯楽動作は例えばメッセージを送る、ゲームをプレイする、歌を歌うなどの電子機器により実行するいかなる動作であり、ここで、電子機器は例えば携帯電話端末、モバイルコンピュータ、ゲーム機などである。
【００９９】
本願の上記実施例で提供された運転手状態検出方法によれば、運転手画像に対して運転手状態検出を行い且つ運転手状態検出の結果を出力して、運転手の運転状態のリアルタイム検出を実現することができ、そのように運転手の運転状態が悪い時にタイムリーで対応する対策を取り、安全運転を保証し、道路交通事故の発生を回避する。
【０１００】
図２は本願のいくつかの実施例でビデオストリームに基づいて運転手疲労状態検出を行うフローチャットである。選択可能な一例では、図２に示す実施例はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する状態検出ユニットによって実行されてもよい。図２に示すように、ビデオストリームに基づいて運転手疲労状態検出を行う方法は、以下を含んでよい。
【０１０１】
２０２において、ビデオストリーム中の少なくとも１つの画像の顔の少なくとも一部の領域を検出し、顔の少なくとも一部の領域の状態情報を得る。
【０１０２】
選択可能な一例では、上記顔の少なくとも一部の領域は、運転手の顔の眼部領域、運転手の顔の口部領域及び運転手の顔部全領域などのうちの少なくとも１つを含んでよい。ここで、この顔の少なくとも一部の領域の状態情報は、開眼閉眼状態情報、開口閉口状態情報のいずれか一項又は複数項を含んでよい。
【０１０３】
選択可能に、上記開眼閉眼状態情報は、運転手の閉眼検出に利用可能であり、例えば、運転手が半閉眼（「半」とは眼を完全に閉めていない状態、例えば眠い状態で目を細くしている状態などを指す）したか否か、眼を閉めたか否か、閉眼回数、閉眼幅などを検出する。選択可能に、開眼閉眼状態情報は開眼の高さに対して正規化処理を行った後の情報であってよい。選択可能に、上記開口閉口状態情報は、運転手の欠伸検出に利用可能であり、例えば、運転手が欠伸をしているか否か、欠伸回数などを検出する。選択可能に、開口閉口状態情報は開口の高さに対して正規化処理を行った後の情報であってよい。
【０１０４】
選択可能な一例では、運転手画像に対して顔キーポイント検出を行い、検出された顔キーポイント中の眼キーポイントを直接利用して計算し、計算結果により開眼閉眼状態情報を得てよい。
【０１０５】
選択可能な一例では、先に顔キーポイント中の眼キーポイント（例えば、眼キーポイントの運転手画像での座標情報）を利用して運転手画像中の眼の位置を検出して眼画像を得、更にこの眼画像を利用して上眼瞼線と下眼瞼線を得、上眼瞼線と下眼瞼線との間隔を計算することにより開眼閉眼状態情報を得てよい。
【０１０６】
選択可能な一例では、顔キーポイント中の口キーポイントを直接利用して計算し、計算結果により開口閉口状態情報を得てよい。
【０１０７】
選択可能な一例では、先に顔キーポイント中の口キーポイント（例えば、口キーポイントの運転手画像での座標情報）を利用して運転手画像中の口の位置を検出し、剪断などの方式により口画像を得、更にこの口画像を利用して上口唇腺と下口唇腺を得、上口唇腺と下口唇腺との間隔を計算することにより開口閉口状態情報を得てよい。
【０１０８】
２０４において、所定時間内の顔の少なくとも一部の領域の状態情報に基づいて、運転手疲労状態を表すための指標のパラメータ値を取得する。
【０１０９】
いくつかの選択可能な例では、運転手疲労状態を表すための指標は、例えば、閉眼度、欠伸度のいずれか一項又は複数項を含んでよいが、それらに限定されない。
【０１１０】
選択可能な一例では、閉眼度のパラメータ値は、例えば、閉眼回数、閉眼頻度、閉眼持続時間、閉眼幅、半閉眼回数、半閉眼頻度のいずれか一項又は複数項を含んでよいが、それらに限定されなく、及び／又は、欠伸度のパラメータ値は、例えば、欠伸状態、欠伸回数、欠伸持続時間、欠伸頻度のいずれか一項又は複数項を含んでよいが、それらに限定されない。
【０１１１】
２０６において、運転手疲労状態を表すための指標のパラメータ値に基づいて、運転手疲労状態検出の結果を決定する。
【０１１２】
選択可能に、上記運転手疲労状態検出の結果は、疲労状態未検出と疲労運転状態を含んでよい。又は、上記運転手疲労状態検出の結果は疲労運転程度であってもよく、ここで、疲労運転程度は、正常運転等級（非疲労運転等級と呼んでもよい）及び疲労運転等級を含んでよい。ここで、疲労運転等級は１つの等級であってもよく、複数の異なる等級に分けてもよく、例えば、上記疲労運転等級は通知疲労運転等級（軽度疲労運転等級と呼んでもよい）と警告疲労運転等級（重度疲労運転等級と呼んでもよい）に分けて良い。勿論、疲労運転程度は例えば軽度疲労運転等級、中度疲労運転等級及び重度疲労運転等級などのようなより多い等級に分けてもよい。本実施例では疲労運転程度に含まれる異なる等級は限定されない。
【０１１３】
図３は本願のいくつかの実施例でビデオストリームに基づいて運転手注意散漫状態検出を行うフローチャットである。選択可能な一例では、図３に示す実施例はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する状態検出ユニットによって実行されてもよい。図３に示すように、ビデオストリームに基づいて運転手注意散漫状態検出を行う方法は、以下を含んでよい。
【０１１４】
３０２において、ビデオストリーム中の運転手画像に対して顔向き方向及び／又は視線方向の検出を行い、顔向き方向情報及び／又は視線方向情報を得る。
【０１１５】
選択可能に、上記顔向き方向情報は、運転手の顔方向が正常であるか否かを決定するために利用可能であり、例えば、運転手の横顔が前方に向けているか否か、頭部回転しているか否かなどを決定する。選択可能に、顔向き方向情報は運転手の顔の直前と運転手の運転している車両の直前との夾角であってよい。選択可能に、上記視線方向情報は運転手の視線方向が正常であるか否かを決定するために利用可能であり、例えば、運転手が前方を目視しているか否かなどを決定し、視線方向情報は運転手の視線に偏向現象が発生したか否かなどを判断するために利用可能である。選択可能に、視線方向情報は運転手の視線と運転手の運転している車両の直前との夾角であってよい。
【０１１６】
３０４において、所定時間内の顔向き方向情報及び／又は視線方向情報に基づいて、運転手注意散漫状態を表すための指標のパラメータ値を決定する。
【０１１７】
いくつかの選択可能な例では、運転手注意散漫状態を表すための指標は、例えば、顔偏向度、視線偏向度のいずれか一項又は複数項を含んでよいが、それらに限定されない。選択可能な一例では、顔偏向度のパラメータ値は、例えば、頭部回転回数、頭部回転持続時間、頭部回転頻度のいずれか一項又は複数項を含んでよいが、それらに限定されなく、及び／又は、視線偏向度のパラメータ値は、例えば、視線方向偏向角度、視線方向偏向時間、視線方向偏向頻度のいずれか一項又は複数項を含んでよいが、それらに限定されない。
【０１１８】
選択可能な一例では、上記視線偏向度は、例えば、視線が偏向したか否か及び視線が大幅に偏向したか否かなどのうちの少なくとも一項を含んでよく、上記顔偏向度（顔ずれ度又は頭部回転度と呼んでもよい）は、例えば、頭部回転したか否か、短時間頭部回転したか否か及び長時間頭部回転したか否かのうちの少なくとも一項を含んでよい。
【０１１９】
選択可能な一例では、顔向き方向情報が第１の向き方向より大きく、第１の向き方向より大きいという現象がＮ１フレーム（例えば、９フレーム又は１０フレームなど）持続したと判断した場合に、運転手に大角度で長時間頭部回転した現象が一回発生したと決定し、そのように大角度で長時間頭部回転したことを一回記録してもよく、今回の頭部回転時間を記録してもよく、また、顔向き方向情報が第１の向き方向より大きくないが、第２の向き方向より大きく、第１の向き方向より大きくなく第２の向き方向より大きいという現象がＮ１フレーム（例えば、９フレーム又は１０フレームなど）持続したと判断した場合に、運転手に小角度で長時間頭部回転した現象が一回発生したと決定し、そのように小角度で頭部回転したことを一回記録してもよく、今回の頭部回転時間を記録してもよい。
【０１２０】
選択可能な一例では、視線方向情報と自動車直前との夾角が第１の夾角より大きく、第１の夾角より大きいという現象がＮ２フレーム（例えば、８フレーム又は９フレームなど）持続したと判断した場合に、運転手に視線が大幅に偏向した現象が一回発生したと決定し、そのように視線が大幅に偏向したことを一回記録してもよく、今回視線が大幅に偏向した時間を記録してもよく、また、視線方向情報と自動車直前との夾角が第１の夾角より大きくないが、第２の夾角より大きく、第１の夾角より大きくなく第２の夾角より大きいという現象がＮ２フレーム（例えば、８フレーム又は９フレームなど）持続したと判断した場合に、運転手に視線が偏向した現象が一回発生したと決定し、そのように視線が偏向したことを一回記録してもよく、今回視線が偏向した時間を記録してもよい。
【０１２１】
選択可能な一例では、上記第１の向き方向、第２の向き方向、第１の夾角、第２の夾角、Ｎ１及びＮ２の値は実際に応じて設置可能であり、本実施例では値は限定されない。
【０１２２】
３０６において、運転手注意散漫状態を表すための指標のパラメータ値に基づいて、運転手注意散漫状態検出の結果を決定する。
【０１２３】
選択可能に、上記運転手注意散漫状態検出の結果は、例えば、運転手注意力集中（運転手注意力未散漫）、運転手注意力散漫を含んでよく、又は、運転手注意散漫状態検出の結果は運転手注意力散漫等級であってよく、例えば、運転手注意力集中（運転手注意力未散漫）、運転手注意力軽度散漫、運転手注意力中度散漫、運転手注意力極度散漫などを含んでよい。ここで、運転手注意力散漫等級は、運転手注意散漫状態を表すための指標のパラメータ値が満たす所定の条件により決定してよい。例えば、視線方向偏向角度と顔向き方向偏向角度がいずれも第１の所定の角度より小さければ、運転手注意力散漫等級は運転手注意力集中となり、また、視線方向偏向角度と顔向き方向偏向角度のいずれか一方が第１の所定角度以上であり、持続時間が第１の所定の時間より大きく、且つ第２の所定の時間以下であれば、運転手注意力軽度散漫となり、また、視線方向偏向角度と顔向き方向偏向角度のいずれか一方が第１の所定の角度以上であり、持続時間が第２の所定の時間より大きく、且つ第３の所定の時間以下であれば、運転手注意力中度散漫となり、また、視線方向偏向角度と顔向き方向偏向角度のいずれか一方が第１の所定角度以上であり且つ持続時間が第３の所定の時間より大きければ、運転手注意力重度散漫となり、ここで、第１の所定の時間が第２の所定の時間より小さく、第２の所定の時間が第３の所定の時間より小さい。
【０１２４】
本実施例は運転手画像の顔向き方向及び／又は視線方向を検出して運転手注意散漫状態を表すための指標のパラメータ値を決定し、更にそれに基づいて運転手注意散漫状態検出の結果を決定することにより、運転手が注意力を集中して運転しているか否かを判断でき、運転手注意散漫状態の指標を計量化し、運転専心程度を視線偏向度と頭部回転程度指標の少なくとも一方として計量化することにより、タイムリーで客観的に運転手の専心運転状態を判断することに寄与する。
【０１２５】
いくつかの実施例では、ビデオストリーム中の運転手画像に対して顔向き方向及び／又は視線方向の検出を行う操作３０２には、
ビデオストリーム中の運転手画像の顔キーポイントを検出することと、
顔キーポイントに基づいて、顔向き方向及び／又は視線方向の検出を行うことと、を含んでよい。
【０１２６】
顔キーポイントに一般的に頭部姿勢特徴情報が含まれるため、いくつかの選択可能な例では、顔キーポイントに基づいて、顔向き方向検出を行い、顔向き方向情報を得ることは、顔キーポイントに基づいて、頭部姿勢の特徴情報を取得することと、頭部姿勢の特徴情報に基づいて、顔向き方向（頭部姿勢と呼んでも良い）情報を決定することを含み、ここの顔向き方向情報は例えば顔を振り向けた方向及び角度を示すことができ、ここの振り向け方向は左、右、下及び／又は上へ振り向ける方向などであってよい。
【０１２７】
選択可能な一例では、運転手が注意力を集中して運転しているか否かを顔向き方向により判断できる。顔向き方向（頭部姿勢）を（ｙａｗ，ｐｉｔｃｈ）で表してよく、ただし、ｙａｗは頭部の正規化球面座標（カメラの所在するカメラ座標系）での水平偏向角度（ヨー角）と垂直偏向角度（ピッチ角）を表す。水平偏向角及び／又は垂直偏向角が所定の角度閾値より大きく且つ持続時間が所定の時間閾値より大きい時に、運転手注意散漫状態検出の結果として注意力が集中されていないと決定してよい。
【０１２８】
選択可能な一例では、対応するニューラルネットワークを利用して少なくとも１つの運転手画像の顔向き方向情報を得てよい。例えば、上記の検出された顔キーポイントを第１のニューラルネットワークに入力し、第１のニューラルネットワークにより受信された顔キーポイントに基づいて頭部姿勢の特徴情報を抽出し、且つ第２のニューラルネットワークに入力し、第２のニューラルネットワークによりこの頭部姿勢の特徴情報に基づいて頭部姿勢推定を行い、顔向き方向情報を得るようにしてよい。
【０１２９】
十分に発展されており好適なリアルタイム性を有する、頭部姿勢特徴情報を抽出するための既存のニューラルネットワーク及び顔向き方向を推定するためのニューラルネットワークを用いて顔向き方向情報を取得する場合に、カメラにより取得されたビデオについて、ビデオ中の少なくとも１つの画像フレーム（即ち、少なくとも１フレームの運転手画像）に対応する顔向き方向情報をタイムリーで精確に検出でき、それにより運転手注意力程度を決定する正確性の向上に寄与する。
【０１３０】
いくつかの選択可能な例では、顔キーポイントに基づいて、視線方向検出を行って視線方向情報を得ることは、顔キーポイント中の眼キーポイントの位置決定した眼画像により瞳縁部位置を決定し、更に瞳縁部位置により瞳中心位置を計算することと、瞳中心位置と眼中心位置により視線方向情報を計算することとを含む。例えば、瞳中心位置と眼画像中の眼中心位置のベクトルを計算し、このベクトルを視線方向情報としてよい。
【０１３１】
選択可能な一例では、視線方向により運転手が注意力を集中して運転しているか否かを判断できる。視線方向を（ｙａｗ，ｐｉｔｃｈ）で表してよく、ただし、ｙａｗは視線の正規化球面座標（カメラの所在するカメラ座標系）での水平偏向角度（ヨー角）と垂直偏向角度（ピッチ角）を表す。水平偏向角及び／又は垂直偏向角が所定の角度閾値より大きく且つ持続時間が所定の時間閾値より大きい時に、運転手注意散漫状態検出の結果として注意力が集中されていないとを決定してよい。
【０１３２】
選択可能な一例では、顔キーポイント中の眼キーポイントの位置決定した眼画像により瞳縁部位置を決定することは、第３のニューラルネットワークに基づいて、顔キーポイントに基づいて、分割された画像中の眼領域画像に対して瞳縁部位置検出を行い、第３のニューラルネットワークの出力した情報により瞳縁部位置を取得するように実現されてよい。
【０１３３】
図４は本願のいくつかの実施例でビデオストリームに基づいて運転手所定注意散漫動作検出を行うフローチャットである。選択可能な一例では、図４に示す実施例はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する状態検出ユニットによって実行されてもよい。図４に示すように、ビデオストリームに基づいて運転手所定注意散漫動作検出を行う方法は、以下を含んでよい。
【０１３４】
４０２において、ビデオストリーム中の少なくとも１つの画像に対して所定注意散漫動作に対応する目標対象検出を行い、目標対象の検出枠を得る。
【０１３５】
４０４において、目標対象の検出枠に基づいて所定注意散漫動作が発生したか否かを決定する。
【０１３６】
本実施例では、運転手に対して所定注意散漫動作検出を行う時に、所定注意散漫動作に対応する目標対象を検出し、検出された目標対象の検出枠に基づいて所定注意散漫動作が発生したか否かを決定することにより、運転手の注意力が散漫したか否かを判断することになり、精確な運転手所定注意散漫動作検出の結果の取得に寄与し、それにより運転手状態検出の結果の正確性の向上に寄与する。
【０１３７】
例えば、所定注意散漫動作が喫煙動作である時に、上記操作４０２〜４０４は、第４のニューラルネットワークにより運転手画像に対して顔検出を行って顔検出枠を得、顔検出枠の特徴情報を抽出することと、第４のニューラルネットワークにより顔検出枠の特徴情報に基づいて喫煙動作が発生したか否かを決定することとを含んでよい。
【０１３８】
更に例えば、所定注意散漫動作が飲食動作／飲水動作／電話通話動作／娯楽動作（即ち、飲食動作及び／又は飲水動作及び／又は電話通話動作及び／又は娯楽動作）である時に、上記操作４０２〜４０４は、第５のニューラルネットワークにより運転手画像に対して飲食動作／飲水動作／電話通話動作／娯楽動作に対応する特定目標対象検出を行って特定目標対象の検出枠を得ることと、特定目標対象の検出枠に基づいて所定注意散漫動作の検出結果を決定することとを含んでよく、ただし、特定目標対象は、手部、口部、眼部、目標物体を含んでよく、目標物体は、例えば、容器、食物、電子機器のいずれか１種又は複数種を含んでよいが、それらに限定されなく、この所定注意散漫動作の検出結果は、飲食動作／飲水動作／電話通話動作／娯楽動作が発生しなかった、飲食動作が発生した、飲水動作が発生した、電話通話動作が発生した、娯楽動作が発生したうちのいずれか１種を含んでよい。
【０１３９】
いくつかの選択可能な例では、所定注意散漫動作が飲食動作／飲水動作／電話通話動作／娯楽動作（即ち、飲食動作及び／又は飲水動作及び／又は電話通話動作及び／又は娯楽動作）である時に、特定目標対象の検出枠に基づいて所定注意散漫動作の検出結果を決定することは、手部の検出枠、口部の検出枠、眼部の検出枠及び目標物体の検出枠が検出されたか否か、手部の検出枠と目標物体の検出枠とが重なったか否か、目標物体の種類及び目標物体の検出枠と口部の検出枠又は眼部の検出枠との距離が所定の条件を満たしたか否かに応じて、所定注意散漫動作の検出結果を決定することを含んでよい。
【０１４０】
選択可能に、手部の検出枠と目標物体の検出枠が重なり、目標物体の種類が容器又は食物であり、且つ目標物体の検出枠と口部の検出枠が重なった場合に、飲食動作又は飲水動作が発生したと決定し、及び／又は、手部の検出枠と目標物体の検出枠とが重なり、目標物体の種類が電子機器であり、且つ目標物体の検出枠と口部の検出枠との最小距離が第１の所定の距離より小さく、又は目標物体の検出枠と眼部の検出枠との最小距離が第２の所定距離より小さい場合に、娯楽動作又は電話通話動作が発生したと決定する。
【０１４１】
また、手部の検出枠、口部の検出枠及び任意の目標物体の検出枠が同時に検出されず、且つ手部の検出枠、眼部の検出枠及び任意の目標物体の検出枠が同時に検出されなかった場合に、注意散漫動作の検出結果として飲食動作、飲水動作、電話通話動作及び娯楽動作が検出されなかったと決定し、及び／又は、手部の検出枠と目標物体の検出枠が重なっていない場合に、注意散漫動作の検出結果として飲食動作、飲水動作、電話通話動作及び娯楽動作が検出されなかったと決定し、及び／又は、目標物体の種類が容器又は食物であり、且つ目標物体の検出枠と口部の検出枠とが重なっておらず、及び／又は、目標物体の種類が電子機器であり、且つ目標物体の検出枠と口部の検出枠との最小距離が第１の所定距離より小さくなく、又は目標物体の検出枠と眼部の検出枠との最小距離が第２の所定距離より小さくない場合に、注意散漫動作の検出結果として飲食動作、飲水動作、電話通話動作及び娯楽動作が検出されなかったと決定する。
【０１４２】
また、運転手画像に対して所定注意散漫動作検出を行う上記実施例は、運転手注意散漫状態検出の結果として所定注意散漫動作が検出された場合に、検出された所定注意散漫動作を通知することを更に含んでもよく、例えば、喫煙動作が検出された時に、喫煙が検出されたことを通知し、飲水動作が検出された時に、飲水動作が検出されたことを通知し、電話通話動作が検出された時に、電話通話が検出されたことを通知する。
【０１４３】
選択可能な一例では、検出された所定注意散漫動作を通知する上記操作はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する通知ユニットによって実行されてもよい。
【０１４４】
また、更に図４に示すように、運転手画像に対して運転手所定注意散漫動作検出を行う別の実施例は、以下を選択的に含んでもよい。
【０１４５】
４０６において、所定注意散漫動作が発生した場合に、所定時間内に所定注意散漫動作が発生したか否かの決定結果に基づいて、運転手注意散漫度を表すための指標のパラメータ値を取得する。
【０１４６】
選択可能には、運転手注意散漫度を表すための指標は、例えば、所定注意散漫動作の回数、所定注意散漫動作の持続時間、所定注意散漫動作の頻度のいずれか一項又は複数項を含んでよいが、それらに限定されない。例えば、喫煙動作の回数、持続時間、頻度、飲水動作の回数、持続時間、頻度、電話通話動作の回数、持続時間、頻度などが挙げられる。
【０１４７】
４０８において、運転手注意散漫度を表すための指標のパラメータ値に基づいて、運転手所定注意散漫動作検出の結果を決定する。
【０１４８】
選択可能に、上記運転手所定注意散漫動作検出の結果は、所定注意散漫動作未検出、所定注意散漫動作検出を含んでよい。また、上記運転手所定注意散漫動作検出の結果は注意散漫等級であってよく、例えば、注意散漫等級は、注意力未散漫等級（専心運転等級と呼んでもよい）、通知注意散漫運転等級（軽度注意散漫運転等級と呼んでもよい）及び警告注意散漫運転等級（重度注意散漫運転等級と呼んでもよい）に分けてよい。勿論、注意散漫等級は、例えば注意力未散漫運転等級、軽度注意散漫運転等級、中度注意散漫運転等級及び重度注意散漫運転等級等のようなより多い等級に分けてもよい。勿論、本実施例の少なくとも１つの実施例の注意散漫等級は他の状況に応じて分けてもよく、上記の等級に限定されない。
【０１４９】
選択可能な一例では、注意散漫等級は、運転手注意散漫度を表すための指標のパラメータ値が満たす所定の条件により決定してよい。例えば、所定注意散漫動作が検出されなかった場合に、注意散漫等級は注意力未散漫等級（専心運転等級と呼んでもよい）となり、また、所定注意散漫動作の持続時間が第１の所定の時間より小さく且つ頻度が第１の所定の頻度より小さいことが検出された場合に、注意散漫等級は軽度注意散漫運転等級となり、また、所定注意散漫動作の持続時間が第１の所定の時間より大きく及び／又は頻度が第１の所定の頻度より大きいことが検出された場合に、注意散漫等級は重度注意散漫運転等級となる。
【０１５０】
いくつかの実施例では、運転手状態検出方法は、運転手注意散漫状態検出の結果及び／又は運転手所定注意散漫動作検出の結果により、注意散漫通知情報を出力することを更に含んでもよい。
【０１５１】
選択可能に、運転手注意散漫状態検出の結果が運転手注意力散漫又は運転手注意力散漫等級であり、及び／又は運転手所定注意散漫動作検出の結果として所定注意散漫動作が検出された場合に、注意散漫通知情報を出力して、注意力を集中して運転するように運転手の注意を喚起してよい。
【０１５２】
選択可能な一例では、運転手注意散漫状態検出の結果及び／又は運転手所定注意散漫動作検出の結果により注意散漫通知情報を出力する上記操作はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する通知ユニットによって実行されてもよい。
【０１５３】
図５は本願のいくつかの実施例の運転手状態検出方法のフローチャットである。選択可能な一例では、図５に示す実施例はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する状態検出ユニットによって実行されてもよい。図５に示すように、この実施例の運転手状態検出方法は、以下を含む。
【０１５４】
５０２において、ビデオストリームに基づいて運転手疲労状態検出、運転手注意散漫状態検出及び運転手所定注意散漫動作検出を行って、運転手疲労状態検出の結果、運転手注意散漫状態検出の結果及び運転手所定注意散漫動作検出の結果を得る。
【０１５５】
５０４において、運転手疲労状態検出の結果、運転手注意散漫状態検出の結果及び運転手所定注意散漫動作検出の結果が満たす所定の条件により運転状態等級を決定する。
【０１５６】
５０６において、決定された運転状態等級を運転手状態検出の結果とする。
【０１５７】
選択可能な一例では、それぞれの運転手状態等級がそれぞれ所定の条件に対応し、運転手疲労状態検出の結果、運転手注意散漫状態検出の結果及び運転手所定注意散漫動作検出の結果が満たす所定の条件をリアルタイムで判断することで、満たされた所定の条件に対応する運転手状態等級を運転手状態検出の結果とすることができる。ここで、運転手状態等級は、例えば、正常運転状態（専心運転等級と呼んでもよい）、通知運転状態（運転状態が悪い）、警告運転状態（運転状態が非常に悪い）を含んでよい。
【０１５８】
選択可能な一例では、上記図５に示す実施例はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する出力モジュールによって実行されてもよい。
【０１５９】
例えば、正常運転状態（専心運転等級と呼んでもよい）に対応する所定の条件は、以下を含んでよい。
【０１６０】
条件１、運転手疲労状態検出の結果：疲労状態未検出又は非疲労運転等級。
【０１６１】
条件２、運転手注意散漫状態検出の結果：運転手の注意力が集中している。
【０１６２】
条件３、運転手所定注意散漫動作検出の結果：所定注意散漫動作未検出又は注意力未散漫等級。
【０１６３】
上記条件１、条件２、条件３が全て満たされた場合に、運転状態等級が正常運転状態（専心運転等級と呼んでもよい）となる。
【０１６４】
例えば、通知運転状態（運転状態が悪い）に対応する所定の条件は、以下を含んでよい。
【０１６５】
条件１１、運転手疲労状態検出の結果：通知疲労運転等級（軽度疲労運転等級と呼んでもよい）。
【０１６６】
条件２２、運転手注意散漫状態検出の結果：運転手注意力軽度散漫。
【０１６７】
条件３３、運転手所定注意散漫動作検出の結果：通知注意散漫運転等級（軽度注意散漫運転等級と呼んでもよい）。
【０１６８】
上記条件１１、条件２２、条件３３のいずれか一方が満たされ且つ他の条件中の結果がよりひどい疲労運転等級、注意力散漫等級、注意散漫等級に対応する所定の条件に達していない場合に、運転状態等級が通知運転状態（運転状態が悪い）となる。
【０１６９】
例えば、警告運転状態（運転状態が非常に悪い）に対応する所定の条件は、以下を含んでよい。
【０１７０】
条件１１１、運転手疲労状態検出の結果：警告疲労運転等級（重度疲労運転等級と呼んでもよい）。
【０１７１】
条件２２２、運転手注意散漫状態検出の結果：運転手注意力極度散漫。
【０１７２】
条件３３３、運転手所定注意散漫動作検出の結果：警告注意散漫運転等級（重度注意散漫運転等級と呼んでもよい）。
【０１７３】
上記条件１１１、条件２２２、条件３３３のいずれか一方が満たされた時に、運転状態等級が警告運転状態（運転状態が非常に悪い）となる。
【０１７４】
いくつかの実施例では、運転手状態検出方法は、
運転手状態検出の結果に対応する制御操作を実行することを更に含んでもよい。
【０１７５】
選択可能な一例では、運転手状態検出の結果に対応する制御操作を実行することはプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する制御ユニットによって実行されてもよい。
【０１７６】
選択可能に、運転手状態検出の結果に対応する制御操作を実行することは、
決定された運転手状態検出の結果が通知／警告所定条件を満たした場合に、例えば、通知運転状態（例えば、運転状態が悪い）に対応する所定の条件を満たし又は運転状態等級が通知運転状態（例えば、運転状態が悪い）である場合に、この通知／警告所定条件に対応する通知／警告情報を出力し、例えば、声（例えば、音声又は鳴動など）／光（例えば、点灯又は点滅など）／振動などの方式により運転手に通知して運転手の注意を喚起し、運転手に散漫した注意力を運転に復帰させるか又は運転手を休ませるように促し、それにより安全運転を実現し、道路交通事故を回避すること、及び／又は、
決定された運転手状態検出の結果が所定運転モード切換条件を満たした場合に、例えば、警告運転状態（例えば、運転状態が非常に悪い）に対応する所定の条件を満たし又は運転状態等級が警告注意散漫運転等級（重度注意散漫運転等級と呼んでもよい）である時に、運転モードを自動運転モードに切り換えて安全運転を実現し、道路交通事故を回避し、また、更に声（例えば、音声又は鳴動など）／光（例えば、点灯又は点滅など）／振動などの方式により運転手に通知して運転手の注意を喚起し、運転手に散漫した注意力を運転に復帰させるか又は運転手を休ませるように促してよいこと、及び／又は、決定された運転手状態検出の結果が所定情報送信条件を満たした場合に、所定連絡先に所定情報を送信するか又は所定連絡先と通信接続を確立し、例えば、運転手がある一つ又はいくつかの動作をする時に運転手が危険状態に置かれており又は援助を求めていることを示すように約束し、これらの動作が検出されると所定連絡先（例えば、非常用電話、最近使用した連絡先の電話又は設定された緊急連絡先の電話）に所定情報（例えば、非常情報、通知情報又は電話掛け）を送信し、更に直接車載機器により所定連絡先と通信接続（例えば、ビデオ通話、音声通話又は電話通話）を確立でき、このように運転手の個人の安全及び／又は財産の安全を保障することの少なくとも１つを含んでよい。
【０１７７】
１つ又は複数の選択可能な実施例では、運転手状態検出方法は、クラウドサーバに運転手状態検出の少なくとも一部の結果を送信することを更に含んでもよい。
【０１７８】
選択可能に、少なくとも一部の結果は、運転手状態検出により決定された異常運転状態情報を含む。
【０１７９】
本実施例では、運転手状態検出により得られた結果の一部又は全部をクラウドサーバに送信することで、異常運転状態情報のバックアップを実現でき、正常運転状態を記録する必要がないので、本実施例は異常運転状態情報のみをクラウドサーバに送信し、また、得られた運転手状態検出結果に正常運転状態情報と異常運転状態情報を含む時に、一部の結果を伝送し、即ち、異常運転状態情報のみをクラウドサーバに送信し、また、運転手状態検出の結果が全て異常運転状態情報である時に、異常運転状態情報を全てクラウドサーバに伝送する。
【０１８０】
選択可能に、運転手状態検出方法は、車両側にビデオストリームにおける異常運転状態情報に対応する画像又はビデオセグメントを記憶すること、及び／又は、
クラウドサーバにビデオストリームにおける異常運転状態情報に対応する画像又はビデオセグメントを送信することを更に含んでもよい。
【０１８１】
本実施例では、車両側に異常運転状態情報に対応する画像又はビデオセグメントをローカル保存することにより、証拠保存が実現され、その後で運転手異常運転状態による運転安全問題又は他の問題が発生した場合に、保存された画像又はビデオセグメントを呼び出すことで責任決定を行うことができ、保存された画像又はビデオセグメントから発生した問題に関連する異常運転状態が発見された時に、この運転手の責任と決定でき、更に、車両側のデータの誤消去又は意図的な消去を防止するために、異常運転状態情報に対応する画像又はビデオセグメントをクラウドサーバにアップロードしてバックアップすることができ、情報が必要とされる時に、クラウドサーバから車両側にダウンロードして調査するか、又はクラウドサーバから他のクライアントにダウンロードして調査することができる。
【０１８２】
１つ又は複数の選択可能な実施例では、運転管理方法は、車両と携帯端末機とが通信接続状態にある時に、携帯端末機にデータセットダウンロード要求を送信することと、
携帯端末機から送信されるデータセットを受信し記憶することと、を更に含む。
【０１８３】
ここで、データセットは携帯端末機がデータセットダウンロード要求を受信した時にクラウドサーバから取得され且つ車両に送信されるものである。
【０１８４】
選択可能に、携帯端末機は携帯電話、ＰＡＤ又は他の車両上の端末装置などであってよく、携帯端末機がデータセットダウンロード要求を受信するとクラウドサーバにデータセットダウンロード要求を送信し、続いてデータセットを得てから車両に送信し、携帯端末機によりデータセットをダウンロードする時に、携帯端末機に固有のネットワーク（例えば、２Ｇ、３Ｇ、４Ｇネットワークなど）を利用することができ、車両がネットワークに制限されてクラウドサーバからデータセットをダウンロードできなくて顔マッチングができないという問題を回避する。
【０１８５】
１つ又は複数の選択可能な実施例では、運転管理方法は、特徴マッチング結果に特徴マッチング未成功が示されれば、受信された操作コマンドの実行を拒否することを更に含む。
【０１８６】
本実施例では、特徴マッチング未成功はこの運転手が登録されていないことを示し、この時に、登録済み運転手の権益を保障するために、車両はこの運転手の操作コマンドの実行を拒否する。
【０１８７】
選択可能に、運転管理方法は、
登録提示情報を送信することと、
登録提示情報に基づいて運転手の登録顔画像を含む運転手登録要求を受信することと、
登録顔画像に基づいてデータセットを生成することと、を更に含む。
【０１８８】
本実施例では、車両により運転手からの運転手登録要求を受信し、この運転手の登録顔画像を保存し、車両側でこの登録顔画像に基づいてデータセットを生成し、データセットにより車両側での単独した顔マッチングが実現可能であり、クラウドサーバからデータセットをダウンロードする必要がなくなる。
【０１８９】
図６は本願のいくつかの実施例の運転管理方法の一応用例のフローチャットである。図６に示すように、本実施例の運転管理方法の実行主体は例えば車載スマートシステム又は他の類似機能を備えた機器のような車両側機器であってよく、且つ選別された顔画像と運転手ＩＤ情報（身元情報）に対応の運転手権限情報を分配した後データセットに保存し、
車両クライアントは運転手画像を取得し、運転手画像に対して順に顔検出、品質選別及び生体識別を行い、選別された識別待ちの顔画像をデータセットにおける全ての顔画像とマッチングし、マッチングがニューラルネットワークにより抽出可能な顔特徴に基づいて実現され、比較結果に基づいて識別待ちの顔画像に対応する権限情報を決定し、権限情報に基づいて車両動作を制御し、また、車両クライアントはそれぞれ識別待ちの画像とデータセット中の顔画像に対して特徴抽出を行い、対応する顔特徴を得、顔特徴に基づいてマッチングし、マッチング結果に基づいて対応する操作を実行する。
【０１９０】
１つ又は複数の選択可能な実施例では、操作１２０は、車両とクラウドサーバとが通信接続状態にある時に、ビデオストリーム中の少なくとも１つの画像の顔部をクラウドサーバにアップロードし、且つクラウドサーバから送信される特徴マッチング結果を受信することを含んで良い。
【０１９１】
本実施例では、クラウドサーバで特徴マッチングを行うことが実現され、マッチングを行う前に、車両はビデオストリーム中の少なくとも１つの画像の顔部をクラウドサーバにアップロードし、クラウドサーバはこの顔部とデータセット中の顔画像とに対して特徴マッチングを行い、特徴マッチング結果を得、車両はクラウドサーバからこの特徴マッチング結果を取得し、そのように車両とクラウドサーバとの間のデータ伝送量が減少され、ネットワークオーバーヘッドが低減される。
【０１９２】
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。
【０１９３】
図７は本願のいくつかの実施例の車載スマートシステムの構造模式図である。この実施例の車載スマートシステムは、本願の上記の各運転管理方法の実施例を実現するために利用可能である。図７に示すように、この実施例の車載スマートシステムは、以下を含む。
【０１９４】
ビデオ収集ユニット７１は、車両に設置された撮影アセンブリに車両運転手のビデオストリームを収集させるように制御するために用いられる。
【０１９５】
結果取得ユニット７２は、ビデオストリーム中の少なくとも１つの画像の顔部とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得するために用いられる。
【０１９６】
選択可能に、データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶された。
【０１９７】
操作ユニット７３は、特徴マッチング結果に特徴マッチング成功が示されれば、車両に車両の受信した操作コマンドを実行させるように制御するために用いられる。
【０１９８】
本願の上記実施例で提供された車載スマートシステムによれば、車両に設置された撮影アセンブリに車両運転手のビデオストリームを収集させるように制御し、ビデオストリーム中の少なくとも１つの画像の顔部とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得し、特徴マッチング結果に特徴マッチング成功が示されれば、車両に車両の受信した操作コマンドを実行させるように制御することにより、運転手の識別のネットワークに対する依存性が減少され、ネットワークに接続されていなくても特徴マッチングが実現でき、更に車両の安全保障性が高められる。
【０１９９】
１つ又は複数の選択可能な実施例では、車載スマートシステムは、
車両とクラウドサーバとが通信接続状態にある時に、クラウドサーバにデータセットダウンロード要求を送信するための第１のデータダウンロードユニットと、
クラウドサーバから送信されるデータセットを受信し記憶するためのデータ保存ユニットと、を更に含む。
【０２００】
１つ又は複数の選択可能な実施例では、車載スマートシステムは、
特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に基づいて車両運転手の身元情報を取得することと、クラウドサーバに画像と身元情報を送信することとに用いられる第１のクラウド記憶ユニットを更に含む。
【０２０１】
１つ又は複数の選択可能な実施例では、車載スマートシステムは、
特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に基づいて車両運転手の身元情報を取得することと、画像中の顔部を切り出すことと、クラウドサーバに切り出した顔部と身元情報を送信することとに用いられる第２のクラウド記憶ユニットを更に含んでもよい。
【０２０２】
１つ又は複数の選択可能な実施例では、車載スマートシステムは、
収集された画像の生体検出結果を取得するための生体検出ユニットと、
特徴マッチング結果と生体検出結果に基づいて、車両に車両の受信した操作コマンドを実行させるように制御するための操作ユニット７３と、を更に含んでもよい。
【０２０３】
選択可能に、データセット中の事前記憶顔画像には更に運転権限が対応して設置され、
本実施例のシステムは、
特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に対応する運転権限を取得するための権限取得ユニットと、
更に車両に車両の受信した権限範囲内の操作コマンドを実行させるように制御するために用いられる操作ユニット７３と、を更に含んでもよい。
【０２０４】
１つ又は複数の選択可能な実施例では、車載スマートシステムは、
ビデオストリームに基づいて運転手状態検出を行うための状態検出ユニット、
運転手状態検出の結果に基づいて、異常運転状態の警報通知を行うための出力ユニット、及び／又は、
運転手状態検出の結果に基づいてスマート運転制御を行うためのスマート運転制御ユニットを更に含む。
【０２０５】
いくつかの実施例では、運転手の運転手状態検出の結果を出力してよい。
【０２０６】
別のいくつかの実施例では、運転手状態検出の結果に基づいて車両にスマート運転制御を行ってよい。
【０２０７】
更に別のいくつかの実施例では、運転手状態検出の結果を出力すると共に、運転手状態検出の結果に基づいて車両にスマート運転制御を行ってよい。
【０２０８】
選択可能に、運転手状態検出は、運転手疲労状態検出、運転手注意散漫状態検出、運転手所定注意散漫動作検出、運転手ジェスチャー検出のいずれか一項又は複数項を含む。
【０２０９】
選択可能に、状態検出ユニットは、ビデオストリームに基づいて運転手疲労状態検出を行う時に、
ビデオストリーム中の少なくとも１つの画像の顔の少なくとも一部の領域を検出し、開眼閉眼状態情報、開口閉口状態情報のいずれか一項又は複数項を含む顔の少なくとも一部の領域の状態情報を得ることと
所定時間内の顔の少なくとも一部の領域の状態情報に基づいて、運転手疲労状態を表すための指標のパラメータ値を取得することと、
運転手疲労状態を表すための指標のパラメータ値に基づいて、運転手疲労状態検出の結果を決定することとに用いられる。
【０２１０】
選択可能には、運転手疲労状態を表すための指標は、閉眼度、欠伸度のいずれか一項又は複数項を含む。
【０２１１】
選択可能に、閉眼度のパラメータ値は、閉眼回数、閉眼頻度、閉眼持続時間、閉眼幅、半閉眼回数、半閉眼頻度のいずれか一項又は複数項を含み、及び／又は、
欠伸度のパラメータ値は、欠伸状態、欠伸回数、欠伸持続時間、欠伸頻度のいずれか一項又は複数項を含む。
【０２１２】
１つ又は複数の選択可能な実施例では、状態検出ユニットは、ビデオストリームに基づいて運転手注意散漫状態検出を行う時に、
ビデオストリーム中の運転手画像に対して顔向き方向及び／又は視線方向の検出を行い、顔向き方向情報及び／又は視線方向情報を得ることと、
所定時間内の顔向き方向情報及び／又は視線方向情報に基づいて、顔偏向度、視線偏向度のいずれか一項又は複数項を含む、運転手注意散漫状態を表すための指標のパラメータ値を決定することと、
運転手注意散漫状態を表すための指標のパラメータ値に基づいて、運転手注意散漫状態検出の結果を決定することとに用いられる。
【０２１３】
選択可能に、顔偏向度のパラメータ値は、頭部回転回数、頭部回転持続時間、頭部回転頻度のいずれか一項又は複数項を含み、及び／又は、
視線偏向度のパラメータ値は、視線方向偏向角度、視線方向偏向時間、視線方向偏向頻度のいずれか一項又は複数項を含む。
【０２１４】
選択可能に、状態検出ユニットは、ビデオストリーム中の運転手画像に対して顔向き方向及び／又は視線方向の検出を行う時に、
ビデオストリーム中の運転手画像の顔キーポイントを検出することと、
顔キーポイントに基づいて、顔向き方向及び／又は視線方向の検出を行うこととに用いられる。
【０２１５】
選択可能に、状態検出ユニットは、顔キーポイントに基づいて、顔向き方向検出を行う時に、
顔キーポイントに基づいて、頭部姿勢の特徴情報を取得することと、
頭部姿勢の特徴情報に基づいて、顔向き方向情報を決定することとに用いられる。
【０２１６】
選択可能に、所定注意散漫動作は、喫煙動作、飲水動作、飲食動作、電話通話動作、娯楽動作のいずれか一項又は複数項を含む。
【０２１７】
１つ又は複数の選択可能な実施例では、状態検出ユニットは、ビデオストリームに基づいて運転手所定注意散漫動作検出を行う時に、
ビデオストリーム中の少なくとも１つの画像に対して所定注意散漫動作に対応する目標対象検出を行い、目標対象の検出枠を得ることと、
目標対象の検出枠に基づいて所定注意散漫動作が発生したか否かを決定することとに用いられる。
【０２１８】
選択可能に、状態検出ユニットは、更に、
所定注意散漫動作が発生した場合に、所定時間内に所定注意散漫動作が発生したか否かの決定結果に基づいて、注意散漫度を特徴決定するための指標のパラメータ値を取得することと、
注意散漫度を特徴決定するための指標のパラメータ値に基づいて、運転手所定注意散漫動作検出の結果を決定することとに用いられる。
【０２１９】
選択可能に、注意散漫度の指標のパラメータ値は、所定注意散漫動作の回数、所定注意散漫動作の持続時間、所定注意散漫動作の頻度のいずれか一項又は複数項を含む。
【０２２０】
選択可能に、車載スマートシステムは、
運転手所定注意散漫動作検出の結果に所定注意散漫動作が検出されたことが示されれば、検出された注意散漫動作を通知するための通知ユニットを更に含む。
【０２２１】
選択可能に、車載スマートシステムは、
運転手状態検出の結果に対応する制御操作を実行するための制御ユニットを更に含む。
【０２２２】
選択可能に、制御ユニットは、
決定された運転手状態検出の結果が通知／警告所定条件を満たした場合に、通知／警告所定条件に対応する通知／警告情報を出力すること、及び／又は、
決定された運転手状態検出の結果が所定情報送信条件を満たした場合に、所定連絡先に所定情報を送信するか又は所定連絡先と通信接続を確立すること、及び／又は、
決定された運転手状態検出の結果が所定運転モード切換条件を満たした場合に、運転モードを自動運転モードに切り換えることに用いられる。
【０２２３】
１つ又は複数の選択可能な実施例では、車載スマートシステムは、
クラウドサーバに運転手状態検出の少なくとも一部の結果を送信するための結果送信ユニットを更に含む。
【０２２４】
選択可能に、少なくとも一部の結果は、運転手状態検出により決定された異常運転状態情報を含む。
【０２２５】
選択可能に、車載スマートシステムは、
ビデオストリームにおける異常運転状態情報に対応する画像又はビデオセグメントを記憶すること、及び／又は、
クラウドサーバにビデオストリームにおける異常運転状態情報に対応する画像又はビデオセグメントを送信することに用いられるビデオ記憶ユニットを更に含む。
【０２２６】
１つ又は複数の選択可能な実施例では、車載スマートシステムは、
車両と携帯端末機とが通信接続状態にある時に、携帯端末機にデータセットダウンロード要求を送信することと、携帯端末機から送信されるデータセットを受信し記憶することとに用いられる第２のデータダウンロードユニットを更に含む。
【０２２７】
選択可能に、データセットは携帯端末機がデータセットダウンロード要求を受信した時にクラウドサーバから取得され且つ車両に送信されるものである。
【０２２８】
１つ又は複数の選択可能な実施例では、操作ユニット７３は、更に、特徴マッチング結果に特徴マッチング未成功が示されれば、受信された操作コマンドの実行を拒否するために用いられる。
【０２２９】
選択可能に、操作ユニット７３は、更に、登録提示情報を送信することと、
登録提示情報に基づいて運転手の登録顔画像を含む運転手登録要求を受信することと、
登録顔画像に基づいてデータセットを生成することとに用いられる。
【０２３０】
１つ又は複数の選択可能な実施例では、結果取得ユニット７２は、車両側機器とクラウドサーバとが通信接続状態にある時に、ビデオストリーム中の少なくとも１つの画像の顔部をクラウドサーバにアップロードし、且つクラウドサーバから送信される特徴マッチング結果を受信するために用いられる。
【０２３１】
本願の実施例で提供された車載スマートシステムのいずれか１つの実施例の動作プロセス及び設置方式は全て本願の上記の対応方法の実施例の具体的な説明を参照してよく、紙数に限りがあるので、ここで詳しい説明を省略する。
【０２３２】
図８は本願の別のいくつかの実施例の運転管理方法のフローチャットである。図８に示すように、本実施例の運転管理方法の実行主体はクラウドサーバであってよく、例えば、実行主体は電子機器又は他の類似機能を備えた機器であってよく、この実施例の方法は、以下を含む。
【０２３３】
８１０において、車両から送信される識別待ちの顔画像を受信する。
【０２３４】
選択可能に、識別待ちの顔画像が車両により収集され、顔検出により収集されたビデオ中の画像から顔画像が得られ、ビデオ中の画像に基づく顔画像取得プロセスは顔検出、顔品質選別及び生体識別を含んでよく、これらのプロセスにより、得られた識別待ちの顔画像が車両中の真実運転手の品質のよい顔画像であることを保証でき、後続の特徴マッチングの効果が保証される。
【０２３５】
選択可能な一例では、この操作８１０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する画像受信ユニット９１によって実行されてもよい。
【０２３６】
８２０において、顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得る。
【０２３７】
選択可能に、データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶され、選択可能に、クラウドサーバは車両から特徴マッチング結果を直接取得してよく、この時に、特徴マッチングのプロセスが車両側で実現される。
【０２３８】
選択可能に、車両から顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得する。
【０２３９】
選択可能な一例では、この操作８２０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動するマッチング結果取得ユニット９２によって実行されてもよい。
【０２４０】
８３０において、特徴マッチング結果に特徴マッチング成功が示されれば、車両に車両制御を許可するコマンドを送信する。
【０２４１】
選択可能な一例では、この操作８３０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動するコマンド送信ユニット９３によって実行されてもよい。
【０２４２】
本願の上記実施例で提供された運転管理方法によれば、車両側で顔特徴マッチングを実現することにより、運転手の識別のネットワークに対する依存性が減少され、ネットワークに接続されていなくても特徴マッチングが実現でき、更に車両の安全保障性が高められる。
【０２４３】
選択可能に、運転管理方法は、
車両から送信されるデータセットダウンロード要求を受信することであって、前記データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶されていることと、
車両にデータセットを送信することと、を更に含む。
【０２４４】
選択可能に、一般的にはデータセットがクラウドサーバに保存されており、本実施例では、車両側で顔マッチングを行う時にネットワークに接続されていなくても顔マッチングを可能にし、ネットワークに接続されている場合にクラウドサーバからデータセットをダウンロードし且つデータセットを車両側に保存することを可能にするのを実現することを目的とし、この時に、ネットワークに接続されていなくてクラウドサーバと通信不可能であっても、車両側で顔マッチングが実現でき、更に車両側によるデータセットの管理が容易になる。
【０２４５】
１つ又は複数の選択可能な実施例では、運転管理方法は、
車両又は携帯端末機から送信される、運転手の登録顔画像を含む運転手登録要求を受信することと、
登録顔画像に基づいてデータセットを生成することと、を更に含む。
【０２４６】
運転手が登録したか否かを識別するために、まず登録した運転手に対応する登録顔画像を記憶する必要があり、本実施例では、クラウドサーバにおいて、登録済みの登録顔画像のためにデータセットを生成し、データセットに既に登録した複数の運転手の登録顔画像を保存するようになっており、クラウドサーバにより保存することで、データの安全性が保証される。
【０２４７】
１つ又は複数の選択可能な実施例では、操作８２０は、
顔画像とデータセット中の少なくとも１つの事前記憶顔画像とに対して特徴マッチングを行って特徴マッチング結果を得ることを含んでよい。
【０２４８】
本実施例では、クラウドサーバで特徴マッチングを行うことが実現され、マッチングを行う前に、車両はビデオストリーム中の少なくとも１つの画像の顔部をクラウドサーバにアップロードし、クラウドサーバはこの顔部とデータセット中の顔画像とに対して特徴マッチングを行い、特徴マッチング結果を得、車両はクラウドサーバからこの特徴マッチング結果を取得し、そのように車両とクラウドサーバとの間のデータ伝送量が減少され、ネットワークオーバーヘッドが低減される。
【０２４９】
１つ又は複数の選択可能な実施例では、運転管理方法は、
車両から送信される運転手状態検出の少なくとも一部の結果を受信し、異常運転状態の警報通知を行い及び／又は車両にスマート運転制御を行うコマンドを送信することを更に含む。
【０２５０】
選択可能に、少なくとも一部の結果は、運転手状態検出により決定された異常運転状態情報を含む。
【０２５１】
運転手状態検出により得られた結果の一部又は全部をクラウドサーバに送信することで、異常運転状態情報のバックアップを実現でき、正常運転状態を記録する必要がないので、本実施例は異常運転状態情報のみをクラウドサーバに送信し、また、得られた運転手状態検出結果に正常運転状態情報と異常運転状態情報を含む時に、一部の結果を伝送し、即ち、異常運転状態情報のみをクラウドサーバに送信し、また、運転手状態検出の結果が全て異常運転状態情報である時に、異常運転状態情報を全てクラウドサーバに伝送する。
【０２５２】
１つ又は複数の選択可能な実施例では、運転管理方法は、運転手状態検出の結果に対応する制御操作を実行することを更に含む。
【０２５３】
選択可能に、決定された運転手状態検出の結果が通知／警告所定条件を満たした場合に、例えば、通知運転状態（例えば、運転状態が悪い）に対応する所定の条件を満たし又は運転状態等級が通知運転状態（例えば、運転状態が悪い）である場合に、この通知／警告所定条件に対応する通知／警告情報を出力し、例えば、声（例えば、音声又は鳴動など）／光（例えば、点灯又は点滅など）／振動などの方式により運転手に通知して運転手の注意を喚起し、運転手に散漫した注意力を運転に復帰させるか又は運転手を休ませるように促し、それにより安全運転を実現し、道路交通事故を回避すること、及び／又は、決定された運転手状態検出の結果が所定運転モード切換条件を満たした場合に、例えば、警告運転状態（例えば、運転状態が非常に悪い）に対応する所定の条件を満たし又は運転状態等級が警告注意散漫運転等級（重度注意散漫運転等級と呼んでもよい）である時に、運転モードを自動運転モードに切り換えて安全運転を実現し、道路交通事故を回避し、また、更に声（例えば、音声又は鳴動など）／光（例えば、点灯又は点滅など）／振動などの方式により運転手に通知して運転手の注意を喚起し、運転手に散漫した注意力を運転に復帰させるか又は運転手を休ませるように促してよいこと、及び／又は、
決定された運転手状態検出の結果が情報送信所定条件を満たした場合に、所定連絡先に所定情報を送信するか又は所定連絡先と通信接続を確立し、例えば、運転手がある一つ又はいくつかの動作をする時に運転手が危険状態に置かれており又は援助を求めていることを示すように約束し、これらの動作が検出されると所定連絡先（例えば、非常用電話、最近使用した連絡先の電話又は設定された緊急連絡先の電話）に所定情報（例えば、非常情報、通知情報又は電話掛け）を送信し、更に直接車載機器により所定連絡先と通信接続（例えば、ビデオ通話、音声通話又は電話通話）を確立でき、このように、運転手の個人の安全及び／又は財産の安全を保障することになる。
【０２５４】
選択可能に、運転管理方法は、
異常運転状態情報に対応する画像又はビデオセグメントを受信することを更に含む。
【０２５５】
本実施例では、車両側のデータの誤消去又は意図的な消去を防止するために、異常運転状態情報に対応する画像又はビデオセグメントをクラウドサーバにアップロードしてバックアップすることができ、情報が必要とされる時に、クラウドサーバから車両側にダウンロードして調査するか、又はクラウドサーバから他のクライアントにダウンロードして調査することができる。
【０２５６】
選択可能に、運転管理方法は、
異常運転状態情報に基づいてデータ統計、車両管理、運転手管理の少なくとも１種の操作を行うことを更に含む。
【０２５７】
クラウドサーバは複数の車両の異常運転状態情報を受信でき、ビッグデータに基づくデータ統計、車両及び運転手の管理を実現でき、車両と運転手に更に好適なサービスを提供することを実現する。
【０２５８】
選択可能に、異常運転状態情報に基づいてデータ統計を行うことは、
異常運転状態情報に基づいて受信された異常運転状態情報に対応する画像又はビデオセグメントを統計し、画像又はビデオセグメントを異なる異常運転状態に従って分類し、各種の異常運転状態統計情報を決定することを含む。
【０２５９】
様々な異常運転状態の分類統計により、ビッグデータに基づく運転手によく発生する異常運転状態を得ることができ、車両開発者により多い参照データを提供することができ、そのように異常運転状態に対処するのに更に適する設置又は装置を車両に提供し、運転手により快適な運転環境を提供する。
【０２６０】
選択可能に、異常運転状態情報に基づいて車両管理を行うことは、
異常運転状態情報に基づいて受信された異常運転状態情報に対応する画像又はビデオセグメントを統計し、画像又はビデオセグメントを異なる車両に従って分類し、各車両の異常運転統計状況を決定することを含む。
【０２６１】
車両に基づいて異常運転状態情報を統計することで、車両に対応する全ての運転手の異常運転状態情報を処理でき、例えば、ある車両に問題が発生した場合に、この車両に対応する全ての異常運転状態情報を調査することで責任決定を実現できる。
【０２６２】
選択可能に、異常運転状態情報に基づいて運転手管理を行うことは、
異常運転状態情報に基づいて受信された異常運転状態情報に対応する画像又はビデオセグメントを処理し、画像又はビデオセグメントを異なる運転手に従って分類し、各運転手の異常運転統計状況を決定することを含む。
【０２６３】
運転手に基づいて異常運転状態情報を統計することで、各運転手の運転習慣及びよく発生する問題を得ることができ、更に各運転手に個人化サービスを提供でき、安全に運転させる目的を達成すると同時に、運転習慣がよい運転手の邪魔になることがなく、例えば、異常運転状態情報を統計してある運転手が常に運転する時に欠伸すると決定した場合に、より高い音量の通知情報をこの運転手に提供することができる。
【０２６４】
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。
【０２６５】
図９は本願のいくつかの実施例の電子機器の構造模式図である。この実施例の電子機器は、本願の上記の各運転管理方法の実施例を実現するために利用可能である。図９に示すように、この実施例の電子機器は、以下を含む。
【０２６６】
画像受信ユニット９１は、車両から送信される識別待ちの顔画像を受信するために用いられる。
【０２６７】
マッチング結果取得ユニット９２は、顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得るために用いられる。
【０２６８】
選択可能に、データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶された。
【０２６９】
選択可能に、車両から顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得する。
【０２７０】
コマンド送信ユニット９３は、特徴マッチング結果に特徴マッチング成功が示されれば、車両に車両制御を許可するコマンドを送信するために用いられる。
【０２７１】
本願の上記実施例で提供された電子機器によれば、車両側で顔特徴マッチングを実現することにより、運転手の識別のネットワークに対する依存性が減少され、ネットワークに接続されていなくても特徴マッチングが実現でき、更に車両の安全保障性が高められる。
【０２７２】
選択可能に、電子機器は、
車両から送信されるデータセットダウンロード要求を受信し、前記データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶されており、車両に前記データセットを送信することに用いられる第１のデータ送信ユニットを更に含む。
【０２７３】
１つ又は複数の選択可能な実施例では、電子機器は、
車両又は携帯端末機から送信される、運転手の登録顔画像を含む運転手登録要求を受信することと、
登録顔画像に基づいてデータセットを生成することとに用いられる登録要求受信ユニットを更に含む。
【０２７４】
１つ又は複数の選択可能な実施例では、マッチング結果取得ユニット９２は、顔画像とデータセット中の少なくとも１つの事前記憶顔画像とに対して特徴マッチングを行って特徴マッチング結果を得るために用いられる。
【０２７５】
１つ又は複数の選択可能な実施例では、電子機器は、
車両から送信される運転手状態検出の少なくとも一部の結果を受信し、異常運転状態の警報通知を行い及び／又は車両にスマート運転制御を行うコマンドを送信するための検出結果受信ユニットを更に含む。
【０２７６】
選択可能に、少なくとも一部の結果は、運転手状態検出により決定された異常運転状態情報を含む。
【０２７７】
１つ又は複数の選択可能な実施例では、電子機器は、
運転手状態検出の結果に対応する制御操作を実行するための実行制御ユニットを更に含む。
【０２７８】
選択可能に、実行制御ユニットは、
決定された運転手状態検出の結果が通知／警告所定条件を満たした場合に、通知／警告所定条件に対応する通知／警告情報を出力すること、及び／又は、
決定された運転手状態検出の結果が所定情報送信条件を満たした場合に、所定連絡先に所定情報を送信するか又は所定連絡先と通信接続を確立すること、及び／又は、
決定された運転手状態検出の結果が所定運転モード切換条件を満たした場合に、運転モードを自動運転モードに切り換えることに用いられる。
【０２７９】
選択可能に、電子機器は、
異常運転状態情報に対応する画像又はビデオセグメントを受信するためのビデオ受信ユニットを更に含む。
【０２８０】
選択可能に、電子機器は、
異常運転状態情報に基づいてデータ統計、車両管理、運転手管理の少なくとも１種の操作を行うための異常処理ユニットを更に含む。
【０２８１】
選択可能に、異常処理ユニットは、異常運転状態情報に基づいてデータ統計を行う時に、異常運転状態情報に基づいて受信された異常運転状態情報に対応する画像又はビデオセグメントを統計し、画像又はビデオセグメントを異なる異常運転状態に従って分類し、各種の異常運転状態の統計情報を決定するために用いられる。
【０２８２】
選択可能に、異常処理ユニットは、異常運転状態情報に基づいて車両管理を行う時に、異常運転状態情報に基づいて受信された異常運転状態情報に対応する画像又はビデオセグメントを統計し、画像又はビデオセグメントを異なる車両に従って分類し、各車両の異常運転統計状況を決定するために用いられる。
【０２８３】
選択可能に、異常処理ユニットは、異常運転状態情報に基づいて運転手管理を行う時に、異常運転状態情報に基づいて受信された異常運転状態情報に対応する画像又はビデオセグメントを処理し、画像又はビデオセグメントを異なる運転手に従って分類し、各運転手の異常運転統計状況を決定するために用いられる。
【０２８４】
本願の実施例で提供された電子機器のいずれか１つの実施例の動作プロセス及び設置方式は全て本願の上記の対応方法の実施例の具体的な説明を参照してよく、紙数に限りがあるので、ここで詳しい説明を省略する。
【０２８５】
本願の実施例の別の態様によれば、提供される運転管理システムは、図１−６に示す実施例のうちのいずれか１つの運転管理方法を実行するための車両及び／又は図８に示す実施例のうちのいずれか１つの運転管理方法を実行するためのクラウドサーバを含む。
【０２８６】
選択可能に、運転管理システムは、
運転手の登録顔画像を含む運転手登録要求を受信することと、
運転手登録要求をクラウドサーバに送信することとに用いられる携帯端末機を更に含む。
【０２８７】
図１０は本願のいくつかの実施例の運転管理システムの使用フローチャットである。図１０に示すように、上記実施例により実現される登録プロセスは携帯電話側（携帯端末機）で実現され、且つ選別された顔画像と運転手のＩＤ情報（身元情報）をクラウドサーバにアップロードし、クラウドサーバは顔画像と運転手ＩＤ情報及びこの顔画像に対応するユーザ権限情報をデータセットに保存し、権限マッチングを行う必要がある時に、車両クライアントによりデータセットを車両クライアントにダウンロードしてマッチングし、また、車両クライアントは運転手画像を取得し、運転手画像に対して顔検出、品質選別及び生体識別を行い、選別された識別待ちの顔画像をデータセットにおける全ての顔画像とマッチングし、マッチングがニューラルネットワークにより抽出可能な顔特徴に基づいて実現され、比較結果に基づいて識別待ちの顔画像に対応する権限情報を決定し、権限情報に基づいて車両の動作を制御する。
【０２８８】
図１１は本願の別のいくつかの実施例の運転管理システムの使用フローチャットである。図１１に示すように、上記実施例により実現される登録プロセスは携帯電話側（携帯端末機）で実現され、且つ選別された顔画像と運転手ＩＤ情報（身元情報）をクラウドサーバにアップロードし、クラウドサーバは顔画像と運転手ＩＤ情報及びこの顔画像に対応するユーザ権限情報をデータセットに保存し、権限マッチングを行う必要がある時に、車両クライアントのアップロードした識別待ちの顔画像を受信し、識別待ちの顔画像をデータセットにおける全ての顔画像とマッチングし、マッチングがニューラルネットワークにより抽出可能な顔特徴に基づいて実現され、比較結果に基づいて識別待ちの顔画像に対応する権限情報を決定し、権限情報に基づいて車両の動作を制御する。車両クライアントは運転手画像を取得し、運転手画像に対して順に顔検出、品質選別及び生体識別を行い、識別待ちの顔画像を得る。
【０２８９】
本願の実施例の別の態様によれば、提供される電子機器は、実行可能コマンドを記憶するためのメモリと、
メモリと通信して実行可能コマンドを実行して上記のいずれか１つの実施例の運転管理方法を完成するためのプロセッサと、を含む。
【０２９０】
図１２は本願のいくつかの実施例の電子機器の一応用例の構造模式図である。以下、本願の実施例の端末装置又はサーバを実現するのに適する電子機器の構造模式図を示す図１２を参照する。図１２に示すように、この電子機器は１つ又は複数のプロセッサ、通信部などを含み、前記１つ又は複数のプロセッサは、例えば、１つ又は複数の中央処理ユニット（ＣＰＵ）１２０１、及び／又は１つ又は複数の加速ユニット１２１３などであり、加速ユニットは、ＧＰＵ、ＦＰＧＡ、他の種類の専用プロセッサなどを含むが、それらに限定されなく、プロセッサは読み取り専用メモリ（ＲＯＭ）１２０２に記憶された実行可能コマンド又は記憶部１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信部１２１２はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されなく、プロセッサは読み取り専用メモリ１２０２及び／又はランダムアクセスメモリ１２０３と通信して実行可能コマンドを実行し、通信バス１２０４を介して通信部１２１２に接続され、通信部１２１２を介して他のターゲットデバイスと通信してよく、それにより本願の実施例で提供されるいずれか一項の方法に対応する操作を完成し、例えば、車両に設置された撮影アセンブリに車両運転手のビデオストリームを収集させるように制御し、ビデオストリーム中の少なくとも１つの画像の顔部とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得し、特徴マッチング結果に特徴マッチング成功が示されれば、車両に車両の受信した操作コマンドを実行させるように制御する。
【０２９１】
また、ＲＡＭ１２０３には、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。ＣＰＵ１２０１、ＲＯＭ１２０２及びＲＡＭ１２０３は、バス１２０４を介して相互に接続される。ＲＡＭ１２０３を有する場合に、ＲＯＭ１２０２は選択可能なモジュールである。ＲＡＭ１２０３は実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭ１２０２に書き込み、実行可能コマンドによってプロセッサ１２０１に本願の上記のいずれか１つの方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インタフェース１２０５もバス１２０４に接続される。通信部１２１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。
【０２９２】
キーボード、マウスなどを含む入力部１２０６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部１２０７と、ハードディスクなどを含む記憶部１２０８と、ＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信部１２０９などがＩ／Ｏインタフェース１２０５に接続されている。通信部１２０９は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブ１２１０も必要に応じてＩ／Ｏインタフェース１２０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体１２１１は、必要に応じてドライブ１２１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部１２０８にインストールする。
【０２９３】
なお、図１２に示す構造は選択可能な一実施形態に過ぎず、具体的な実践過程では、実際の必要に応じて上記図１２の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えば加速ユニット１２１３とＣＰＵ１２０１は分離設置するかまたは加速ユニット１２１３をＣＰＵ１２０１に統合するようにしてよく、通信部は分離設置するか、またはＣＰＵ１２０１又は加速ユニット１２１３に統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本願の保護範囲に属する。
【０２９４】
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願のいずれか１つの実施例で提供された運転管理方法のステップを対応して実行する対応のコマンドを含んでよい。このような実施例では、該コンピュータプログラムは通信部によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体からインストールされ得る。ＣＰＵ１２０１によって該コンピュータプログラムを実行する時に、本願の方法で限定された上記機能を実行する。
【０２９５】
本願の実施例の別の態様によれば、提供されるコンピュータ記憶媒体は、コンピュータ読取可能コマンドを記憶するためのコンピュータ記憶媒体であって、前記コマンドが実行される時に上記実施例のいずれか一項の運転管理方法の操作を実行うる。
【０２９６】
本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。
【０２９７】
本願の方法、装置、システム及び機器は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせによって本願の方法、装置、システム及び機器を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本願の方法のステップは、特に断らない限り、以上で説明した順序に限定されない。また、いくつかの実施例では、本願は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本願の方法を実現するための機械可読コマンドを含む。従って、本願は本願の方法を実行するためのプログラムが記憶された記録媒体も含む。
【０２９８】
本願の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本願を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本願の原理及び実際応用をより明瞭に説明するため、かつ当業者が本願を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。
【図１】
0006932208.tif 000002
【図２】
0006932208.tif 000003
【図３】
0006932208.tif 000004
【図４】
0006932208.tif 000005
【図５】
0006932208.tif 000006
【図６】
0006932208.tif 000007
【図７】
0006932208.tif 000008
【図８】
0006932208.tif 000009
【図９】
0006932208.tif 000010
【図１０】
0006932208.tif 000011
【図１１】
0006932208.tif 000012
【図１２】
0006932208.tif 000013