【手続補正書】
【提出日】令和1年11月22日(2019.11.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両に設置された撮影アセンブリに車両運転手のビデオストリームを収集させるように制御することと、
前記ビデオストリーム中の少なくとも１つの画像の顔部とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得することであって、前記データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶されていることと、
前記特徴マッチング結果に特徴マッチング成功が示されれば、車両に前記車両の受信した操作コマンドを実行させるように制御することと、を含むことを特徴とする運転管理方法。
【請求項２】
前記車両とクラウドサーバとが通信接続状態にある時に、前記クラウドサーバにデータセットダウンロード要求を送信することと、
前記クラウドサーバから送信されるデータセットを受信し記憶することと、を更に含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に基づいて前記車両運転手の身元情報を取得することと、前記クラウドサーバに前記画像と前記身元情報を送信することと、を更に含み、又は、
前記特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に基づいて前記車両運転手の身元情報を取得することと、前記画像中の顔部を切り出すことと、前記クラウドサーバに前記切り出した顔部と前記身元情報を送信することと、を更に含むことを特徴とする請求項１又は２に記載の方法。
【請求項４】
収集された画像の生体検出結果を取得することを更に含み、
前記特徴マッチング結果に基づいて、車両に前記車両の受信した操作コマンドを実行させるように制御することは、
前記特徴マッチング結果と前記生体検出結果に基づいて、車両に前記車両の受信した操作コマンドを実行させるように制御することを含むことを特徴とする請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記データセット中の事前記憶顔画像には更に運転権限が対応して設置され、
前記方法は、前記特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングに成功した事前記憶顔画像に対応する運転権限を取得することを更に含み、
車両に前記車両の受信した操作コマンドを実行させるように制御することは、車両に前記車両の受信した前記権限範囲内の操作コマンドを実行させるように制御することを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記ビデオストリームに基づいて運転手状態検出を行うことと、
運転手状態検出の結果に基づいて、異常運転状態の警報通知及び／又はスマート運転制御を行うことと、を更に含み、
前記運転手状態検出は、運転手疲労状態検出、運転手注意散漫状態検出、運転手所定注意散漫動作検出、運転手ジェスチャー検出のいずれか一項又は複数項を含むことを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記ビデオストリームに基づいて運転手疲労状態検出を行うことは、
前記ビデオストリーム中の少なくとも１つの画像の顔の少なくとも一部の領域を検出し、開眼閉眼状態情報、開口閉口状態情報のいずれか一項又は複数項を含む顔の少なくとも一部の領域の状態情報を得ることと、
所定時間内の前記顔の少なくとも一部の領域の状態情報に基づいて、運転手疲労状態を表すための指標のパラメータ値を取得することと、
運転手疲労状態を表すための指標のパラメータ値に基づいて、運転手疲労状態検出の結果を決定することと、を含み、
前記運転手疲労状態を表すための指標は、閉眼度、欠伸度のいずれか一項又は複数項を含み、
前記閉眼度のパラメータ値は、閉眼回数、閉眼頻度、閉眼持続時間、閉眼幅、半閉眼回数、半閉眼頻度のいずれか一項又は複数項を含み、及び／又は、
前記欠伸度のパラメータ値は、欠伸状態、欠伸回数、欠伸持続時間、欠伸頻度のいずれか一項又は複数項を含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記ビデオストリームに基づいて運転手注意散漫状態を検出することは、
前記ビデオストリーム中の運転手画像に対して顔向き方向及び／又は視線方向の検出を行い、顔向き方向情報及び／又は視線方向情報を得ることと、
所定時間内の前記顔向き方向情報及び／又は視線方向情報に基づいて、顔偏向度、視線偏向度のいずれか一項又は複数項を含む、運転手注意散漫状態を表すための指標のパラメータ値を決定することと、
前記運転手注意散漫状態を表すための指標のパラメータ値に基づいて、運転手注意散漫状態検出の結果を決定することと、を含み、
前記顔偏向度のパラメータ値は、頭部回転回数、頭部回転持続時間、頭部回転頻度のいずれか一項又は複数項を含み、及び／又は、
前記視線偏向度のパラメータ値は、視線方向偏向角度、視線方向偏向時間、視線方向偏向頻度のいずれか一項又は複数項を含むことを特徴とする請求項６又は７に記載の方法。
【請求項９】
前記ビデオストリーム中の運転手画像に対して顔向き方向及び／又は視線方向の検出を行うことは、
前記ビデオストリーム中の運転手画像の顔キーポイントを検出することと、
前記顔キーポイントに基づいて、顔向き方向及び／又は視線方向の検出を行うことと、を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記顔キーポイントに基づいて、顔向き方向検出を行って顔向き方向情報を得ることは、
前記顔キーポイントに基づいて、頭部姿勢の特徴情報を取得することと、
前記頭部姿勢の特徴情報に基づいて、顔向き方向情報を決定することと、を含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記所定注意散漫動作は、喫煙動作、飲水動作、飲食動作、電話通話動作、娯楽動作のいずれか一項又は複数項を含むことを特徴とする請求項６〜１０のいずれか一項に記載の方法。
【請求項１２】
前記ビデオストリームに基づいて運転手所定注意散漫動作検出を行うことは、
前記ビデオストリーム中の少なくとも１つの画像に対して前記所定注意散漫動作に対応する目標対象検出を行い、目標対象の検出枠を得ることと、
前記目標対象の検出枠に基づいて、前記所定注意散漫動作が発生したか否かを決定することと、を含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
所定注意散漫動作が発生した場合に、所定時間内に前記所定注意散漫動作が発生したか否かの決定結果に基づいて、運転手注意散漫度を表すための指標のパラメータ値を取得することと、
前記運転手注意散漫度を表すための指標のパラメータ値に基づいて、運転手所定注意散漫動作検出の結果を決定することと、を更に含み、
前記運転手注意散漫度の指標のパラメータ値は、所定注意散漫動作の回数、所定注意散漫動作の持続時間、所定注意散漫動作の頻度のいずれか一項又は複数項を含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
運転手所定注意散漫動作検出の結果に所定注意散漫動作が検出されたことが示されれば、検出された注意散漫動作を通知することを更に含むことを特徴とする請求項１１〜１３のいずれか一項に記載の方法。
【請求項１５】
前記運転手状態検出の結果に対応する制御操作を実行することを更に含み、
前記運転手状態検出の結果に対応する制御操作を実行することは、
決定された前記運転手状態検出の結果が通知／警告所定条件を満たした場合に、前記通知／警告所定条件に対応する通知／警告情報を出力すること、及び／又は、
決定された前記運転手状態検出の結果が所定情報送信条件を満たした場合に、所定連絡先に所定情報を送信するか又は所定連絡先と通信接続を確立すること、及び／又は、
決定された前記運転手状態検出の結果が所定運転モード切換条件を満たした場合に、運転モードを自動運転モードに切り換えることの少なくとも一項を含むことを特徴とする請求項６〜１４のいずれか一項に記載の方法。
【請求項１６】
前記クラウドサーバに前記運転手状態検出の少なくとも一部の結果を送信することを更に含み、
前記少なくとも一部の結果は、運転手状態検出により決定された異常運転状態情報を含むことを特徴とする請求項６〜１５のいずれか一項に記載の方法。
【請求項１７】
前記ビデオストリームにおける前記異常運転状態情報に対応する画像又はビデオセグメントを記憶すること、及び／又は、
前記クラウドサーバに前記ビデオストリームにおける前記異常運転状態情報に対応する画像又はビデオセグメントを送信することを更に含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記車両と携帯端末機とが通信接続状態にある時に、前記携帯端末機にデータセットダウンロード要求を送信することと、
前記携帯端末機から送信されるデータセットを受信し記憶することと、を更に含み、
前記データセットは、前記携帯端末機が前記データセットダウンロード要求を受信した時にクラウドサーバから取得されて、前記車両に送信されるものであることを特徴とする請求項１に記載の方法。
【請求項１９】
前記特徴マッチング結果に特徴マッチング未成功が示されれば、受信された操作コマンドの実行を拒否することを更に含むことを特徴とする請求項１〜１８のいずれか一項に記載の方法。
【請求項２０】
登録提示情報を送信することと、
前記登録提示情報に基づいて運転手の登録顔画像を含む運転手登録要求を受信することと、
前記登録顔画像に基づいてデータセットを生成することと、を更に含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記ビデオストリーム中の少なくとも１つの画像の顔部とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得することは、
前記車両とクラウドサーバとが通信接続状態にある時に、前記ビデオストリーム中の少なくとも１つの画像の顔部を前記クラウドサーバにアップロードし、且つ前記クラウドサーバから送信される特徴マッチング結果を受信することを含むことを特徴とする請求項１〜２０のいずれか一項に記載の方法。
【請求項２２】
車両から送信される識別待ちの顔画像を受信することと、
前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得ることであって、前記データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶されていることと、
前記特徴マッチング結果に特徴マッチング成功が示されれば、前記車両に車両制御を許可するコマンドを送信することと、を含むことを特徴とする運転管理方法。
【請求項２３】
車両から送信されるデータセットダウンロード要求を受信することであって、前記データセットに少なくとも１つの登録済み運転手の事前記憶顔画像が記憶されていることと、
前記車両に前記データセットを送信することと、を更に含むことを特徴とする請求項２２に記載の方法。
【請求項２４】
車両又は携帯端末機から送信される、運転手の登録顔画像を含む運転手登録要求を受信することと、
前記登録顔画像に基づいてデータセットを生成することと、を更に含むことを特徴とする請求項２２又は２３に記載の方法。
【請求項２５】
前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得ることは、
前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像とに対して特徴マッチングを行って、前記特徴マッチング結果を得ることを含み、又は、前記車両から、前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得することを含むことを特徴とする請求項２２〜２４のいずれか一項に記載の方法。
【請求項２６】
前記車両から送信される運転手状態検出の少なくとも一部の結果を受信し、異常運転状態の警報通知を行い及び／又は前記車両にスマート運転制御を行うコマンドを送信することを更に含み、
前記少なくとも一部の結果は、運転手状態検出により決定された異常運転状態情報を含むことを特徴とする請求項２２〜２５のいずれか一項に記載の方法。
【請求項２７】
前記運転手状態検出の結果に対応する制御操作を実行することを更に含み、
前記運転手状態検出の結果に対応する制御操作を実行することは、
決定された前記運転手状態検出の結果が通知／警告所定条件を満たした場合に、前記通知／警告所定条件に対応する通知／警告情報を出力すること、及び／又は、
決定された前記運転手状態検出の結果が所定情報送信条件を満たした場合に、所定連絡先に所定情報を送信するか又は所定連絡先と通信接続を確立すること、及び／又は、
決定された前記運転手状態検出の結果が所定運転モード切換条件を満たした場合に、運転モードを自動運転モードに切り換えることを含むことを特徴とする請求項２６に記載の方法。
【請求項２８】
前記異常運転状態情報に対応する画像又はビデオセグメントを受信することを更に含むことを特徴とする請求項２６又は２７に記載の方法。
【請求項２９】
前記異常運転状態情報に基づいてデータ統計、車両管理、運転手管理の少なくとも１種の操作を行うことを更に含み、
前記異常運転状態情報に基づいてデータ統計を行うことは、
前記異常運転状態情報に基づいて受信された前記異常運転状態情報に対応する画像又はビデオセグメントを統計し、前記画像又はビデオセグメントを異なる異常運転状態に従って分類し、各種の前記異常運転状態の統計情報を決定することを含み、
前記異常運転状態情報に基づいて車両管理を行うことは、
前記異常運転状態情報に基づいて受信された前記異常運転状態情報に対応する画像又はビデオセグメントを統計し、前記画像又はビデオセグメントを異なる車両に従って分類し、各前記車両の異常運転統計状況を決定することを含み、
前記異常運転状態情報に基づいて運転手管理を行うことは、
前記異常運転状態情報に基づいて受信された前記異常運転状態情報に対応する画像又はビデオセグメントを処理し、前記画像又はビデオセグメントを異なる運転手に従って分類し、各前記運転手の異常運転統計状況を決定することを含むことを特徴とする請求項２８に記載の方法。
【請求項３０】
実行可能コマンドを記憶するためのメモリと、
前記メモリと通信して前記実行可能コマンドを実行して請求項１〜２１のいずれか一項に記載の運転管理方法又は請求項２２〜２９のいずれか一項に記載の運転管理方法を完成するためのプロセッサと、を含むことを特徴とする電子機器。
【請求項３１】
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器で実行される時に、前記電子機器中のプロセッサにより請求項１〜２１のいずれか一項に記載の運転管理方法又は請求項２２〜２９のいずれか一項に記載の運転管理方法を実現するためのコマンドを実行することを特徴とするコンピュータプログラム。
【請求項３２】
コンピュータ読取可能コマンドを記憶するためのコンピュータ記憶媒体であって、前記コマンドが実行される時に請求項１〜２１のいずれか一項に記載の運転管理方法又は請求項２２〜２９のいずれか一項に記載の運転管理方法を実現することを特徴とするコンピュータ記憶媒体。