(57)【要約】本開示の実施例は、運転者在席状態検出方法及び装置、機器並びにコンピュータ記憶媒体を提供する。前記方法は、車載画像取得装置が遮られていないことを確認するステップと、車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するステップと、取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するステップと、を含む。そのようにして、本開示の実施例では、車載画像取得装置が遮られていないと決定した後、車載画像取得装置の画像に顔画像を含むか否かを判断することによって、運転者の在席状態を決定することができるので、車載画像取得装置が遮られていることで運転者在席状態検出に及ぼす影響を低減でき、運転者在席状態の検出の正確性や信頼性を向上できる。
2022502788.tif 000002
【特許請求の範囲】
【請求項１】
車載画像取得装置が遮られていないことを確認するステップと、
車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するステップと、
取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するステップと、を含む、運転者在席状態検出方法。
【請求項２】
取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定するステップと、
前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を更に含む請求項１に記載の方法。
【請求項３】
前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、
選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を含む請求項２に記載の方法。
【請求項４】
前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップを更に含む請求項２又は３に記載の方法。
【請求項５】
前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、前記運転者が在席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、
選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップと、を含む請求項４に記載の方法。
【請求項６】
運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すステップを更に含む請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記第１警告情報を出した後、
運転者が在席していると決定した後、前記第１警告情報を出すことを止めるステップを更に含む請求項６に記載の方法。
【請求項８】
前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするステップを更に含む請求項１〜７のいずれか一項に記載の方法。
【請求項９】
携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、
前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶する請求項２〜７のいずれか一項に記載の方法。
【請求項１０】
車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶する請求項２〜７のいずれか一項に記載の方法。
【請求項１１】
前記車載画像取得装置が遮られていないことを確認するステップは、
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを含む請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、
前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を含む請求項１１に記載の方法。
【請求項１３】
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に含む請求項１１に記載の方法。
【請求項１４】
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に含む請求項１１に記載の方法。
【請求項１５】
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に含む請求項１１に記載の方法。
【請求項１６】
前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される請求項１３〜１５のいずれか一項に記載の方法。
【請求項１７】
前記車載画像取得装置は赤外線カメラである請求項１〜１６のいずれか一項に記載の方法。
【請求項１８】
前記車載画像取得装置が遮られている状態にあると決定した場合に、
前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すステップを更に含む請求項１１〜１７のいずれか一項に記載の方法。
【請求項１９】
前記第２警告情報を出した後、
前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるステップを更に含む請求項１８に記載の方法。
【請求項２０】
前記車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含む請求項１〜１９のいずれか一項に記載の方法。
【請求項２１】
車載画像取得装置が遮られていないことを確認するように構成される第１処理モジュールと、
車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するように構成される抽出モジュールと、
取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するように構成される第２処理モジュールと、を含む、運転者在席状態検出装置。
【請求項２２】
前記第２処理モジュールは、更に、
取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定するステップと、
前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を実行するように構成される請求項２１に記載の装置。
【請求項２３】
前記第２処理モジュールは、
前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を実行するように構成される請求項２２に記載の装置。
【請求項２４】
前記第２処理モジュールは、更に、
前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するように構成される請求項２２又は２３に記載の装置。
【請求項２５】
前記第２処理モジュールは、
前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップは、前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップと、を実行するように構成される請求項２４に記載の装置。
【請求項２６】
前記第２処理モジュールは、更に、運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すように構成される請求項２１〜２５のいずれか一項に記載の装置。
【請求項２７】
前記第２処理モジュールは、更に、第１警告情報を出した後、運転者が在席していると決定した後、前記第１警告情報を出すことを止めるように構成される請求項２６に記載の装置。
【請求項２８】
前記第２処理モジュールは、更に、前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするように構成される請求項２１〜２７のいずれか一項に記載の装置。
【請求項２９】
前記第１処理モジュールは、更に、
携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、
前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶するように構成される請求項２２〜２７のいずれか一項に記載の装置。
【請求項３０】
前記第１処理モジュールは、更に、
車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶するように構成される請求項２２〜２７のいずれか一項に記載の装置。
【請求項３１】
前記第１処理モジュールは、
車載画像取得装置が遮られていないことを確認するステップは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを実行するように構成される請求項２１〜３０のいずれか一項に記載の装置。
【請求項３２】
前記第１処理モジュールは、
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を実行するように構成される請求項３１に記載の装置。
【請求項３３】
前記第１処理モジュールは、
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に実行するように構成される請求項３１に記載の装置。
【請求項３４】
前記第１処理モジュールは、
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される請求項３１に記載の装置。
【請求項３５】
前記第１処理モジュールは、
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される請求項３１に記載の装置。
【請求項３６】
前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される請求項３３〜３５のいずれか一項に記載の装置。
【請求項３７】
前記車載画像取得装置は赤外線カメラである請求項２１〜３６のいずれか一項に記載の装置。
【請求項３８】
前記第１処理モジュールは、更に、前記車載画像取得装置が遮られている状態にあると決定した場合に、前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すように構成される請求項３１〜３７のいずれか一項に記載の装置。
【請求項３９】
前記第１処理モジュールは、更に、第２警告情報を出した後、前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるように構成される請求項３８に記載の装置。
【請求項４０】
前記車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含む請求項２１〜３９のいずれか一項に記載の装置。
【請求項４１】
プロセッサと、プロセッサ上で実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を含み、
前記プロセッサは、前記コンピュータプログラムを実行させて、請求項１〜２０のいずれか一項に記載の方法を実行するように構成される電子機器。
【請求項４２】
コンピュータに、請求項１〜２０のいずれか一項に記載の方法を実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項４３】
コンピュータに、請求項１〜２０のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１９年６月２８日に中国特許局に提出された、出願の番号２０１９１０５８０６１８．２、出願の名称「運転者在席状態検出方法及び装置、機器並びにコンピュータ記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本開示は、運転監視に関し、特に運転者在席状態検出方法及び装置、電子機器並びにコンピュータ記憶媒体に関する。
【背景技術】
【０００３】
関連技術において、運転者監視システムの機能としては、主に運転者の疲労状態を監視する機能及び危険運転行動等を監視する機能を含み、監視結果に基づいて運転者に報知して、インテリジェントドライブのセキュリティレベルを好適に向上して、車両走行の安全性を高くすることができる。
【発明の概要】
【０００４】
本開示の実施例は、運転者在席状態検出の技術的解決手段を提供することを目的とする。
【０００５】
本開示の実施例は、
車載画像取得装置が遮られていないことを確認するステップと、
車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するステップと、
取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するステップと、を含む運転者在席状態検出方法を提供する。
【０００６】
任意選択的に、前記方法は、
取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定するステップと、
前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を更に含む。
【０００７】
任意選択的に、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、
選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を含む。
【０００８】
任意選択的に、前記方法は、
前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップを更に含む。
【０００９】
任意選択的に、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、前記運転者が在席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、
選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップと、を含む。
【００１０】
任意選択的に、前記方法は、
運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すステップを更に含む。
【００１１】
任意選択的に、第１警告情報を出した後、前記方法は、
運転者が在席していると決定した後、前記第１警告情報を出すことを止めるステップを更に含む。
【００１２】
任意選択的に、前記方法は、
前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするステップを更に含む。
【００１３】
任意選択的に、携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、
前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶する。
【００１４】
任意選択的に、車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶する。
【００１５】
任意選択的に、前記車載画像取得装置が遮られていないことを確認するステップは、
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを含む。
【００１６】
任意選択的に、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、
前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を含む。
【００１７】
任意選択的に、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に含む。
【００１８】
任意選択的に、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に含む。
【００１９】
任意選択的に、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に含む。
【００２０】
任意選択的に、前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される。
【００２１】
任意選択的に、前記車載画像取得装置は赤外線カメラである。
【００２２】
任意選択的に、前記車載画像取得装置が遮られている状態にあると決定した場合に、前記方法は、
前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すステップを更に含む。
【００２３】
任意選択的に、第２警告情報を出した後、前記方法は、
前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるステップを更に含む。
【００２４】
任意選択的に、前記車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含む。
【００２５】
本開示の実施例は、
車載画像取得装置が遮られていないことを確認するように構成される第１処理モジュールと、
車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するように構成される抽出モジュールと、
取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するように構成される第２処理モジュールと、を含む運転者在席状態検出装置を更に提供する。
【００２６】
任意選択的に、前記第２処理モジュールは、更に、取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定し、前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するように構成される。
【００２７】
任意選択的に、前記第２処理モジュールは、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を実行するように構成される。
【００２８】
任意選択的に、前記第２処理モジュールは、更に、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するように構成される。
【００２９】
任意選択的に、前記第２処理モジュールは、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップと、を実行するように構成される。
【００３０】
任意選択的に、前記第２処理モジュールは、更に、運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すように構成される。
【００３１】
任意選択的に、前記第２処理モジュールは、更に、第１警告情報を出した後、運転者が在席していると決定した後、前記第１警告情報を出すことを止めるように構成される。
【００３２】
任意選択的に、前記第２処理モジュールは、更に、前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするように構成される。
【００３３】
任意選択的に、前記第１処理モジュールは、更に、
携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、
前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶するように構成される。
【００３４】
任意選択的に、前記第１処理モジュールは、更に、
車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶するように構成される。
【００３５】
任意選択的に、前記第１処理モジュールは、車載画像取得装置が遮られていないことを確認するステップは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを実行するように構成される。
【００３６】
任意選択的に、前記第１処理モジュールは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を実行するように構成される。
【００３７】
任意選択的に、前記第１処理モジュールは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に実行するように構成される。
【００３８】
任意選択的に、前記第１処理モジュールは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される。
【００３９】
任意選択的に、前記第１処理モジュールは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される。
【００４０】
任意選択的に、前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される。
【００４１】
任意選択的に、前記車載画像取得装置は赤外線カメラである。
【００４２】
任意選択的に、前記第１処理モジュールは、更に、前記車載画像取得装置が遮られている状態にあると決定した場合に、前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すように構成される。
【００４３】
任意選択的に、前記第１処理モジュールは、更に、第２警告情報を出した後、前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるように構成される。
【００４４】
任意選択的に、前記車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含む。
【００４５】
本開示の実施例は、プロセッサと、プロセッサ上で実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を含み、
前記プロセッサは、前記コンピュータプログラムを実行させて、上記のいずれか１種の運転者在席状態検出方法を実行するように構成される電子機器を更に提供する。
【００４６】
本開示の実施例は、コンピュータ読み取り可能な記憶媒体を更に提供する。前記コンピュータ読み取り可能な記憶媒体は、コンピュータに、本開示の実施例で開示されたいずれか１種の運転者在席状態検出方法を実行させるためのコンピュータプログラムを記憶する。
【００４７】
本開示の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータに、本開示の実施例で開示されたいずれか１種の運転者在席状態検出方法を実行させるためのものである。
【００４８】
本開示の実施例で提供された運転者在席状態検出方法及び装置、電子機器並びにコンピュータ読み取り可能な記憶媒体において、車載画像取得装置が遮られていないことを確認し、車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出し、取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定する。そのようにして、本開示の実施例では、車載画像取得装置が遮られていないと決定した後、車載画像取得装置の画像に顔画像を含むか否かを判断することによって、運転者の在席状態を決定することができるので、車載画像取得装置が遮られていることで運転者在席状態検出に及ぼす影響を低減でき、運転者在席状態の検出の正確性や信頼性を向上できる。
【００４９】
以上の一般説明と以下の詳細説明は解釈するための例示的なものに過ぎず、本開示を制限しないことを理解すべきである。
【図面の簡単な説明】
【００５０】
【図１】本開示の実施例の運転者在席状態検出方法のフローチャートである。
【図２】本開示の実施例の運転者在席状態検出装置の構成の構造模式図である。
【図３】本開示の実施例の電子機器の構造模式図である。
【発明を実施するための形態】
【００５１】
ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。
【００５２】
以下、図面及び実施例を参照しながら、本開示を更に詳細に説明する。ここで提供される実施例は、本開示を限定するためのものではなく、ただ本開示を解釈することを目的とすることを理解すべきである。なお、以下で提供される実施例は、本開示を実施する全ての実施例ではなく、本開示を実施するための一部の実施例となり、本開示の実施例に記載の技術的解決手段は、矛盾しない限り、任意に組み合わせた形態で実施可能である。
【００５３】
本開示の実施例では、用語「含む」、「からなる」またはその他のあらゆる変形は非排他的包含を含むように意図され、それにより一連の要素を含む方法または装置は、明確に記載された要素のみならず、明示されていない他の要素、または実施方法または装置に固有の要素をも含むことを説明する必要がある。特に断らない限り、語句「一つの……を含む」により限定される要素は、該要素を含む方法または装置に別の関連要素がさらに存在することを排除するものではない（例えば、方法のステップ又は装置のユニットが挙げられ、例えば、ユニットが一部の回路、一部のプロセッサ、一部のプログラム又はソフトウェア等であってもよい）。
【００５４】
本明細書の用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３種の場合を示してもよい。また、本明細書の用語の「少なくとも１種」は多種のうちのいずれか１種又は多種のうちの少なくとも２種の任意の組合を示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１種を含むということは、Ａ、Ｂ及びＣから構成される集合から選択されるいずれか１つ又は複数の要素を含むことを示してもよい。
【００５５】
例えば、本開示の実施例で提供された運転者在席状態検出方法は、一連のステップを含むが、記載されたステップに限定されることがなく、同様に、本開示の実施例で提供された運転者在席状態検出装置は、一連のモジュールを含むが、明確に記載されたモジュールを含むことに限定されることがなく、更に、関連情報を取得してもよく、情報に基づいて処理する時に必要とされるモジュールを含んでも良い。
【００５６】
本開示の実施例は端末に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。ここで、端末は、車載端末、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム等であってよい。
【００５７】
端末等の電子機器は、コンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。
【００５８】
以上で記載した内容によれば、本開示のいくつかの実施例では、運転者監視システム、インテリジェント車室等に実施可能な運転者在席状態検出方法及び装置を提供する。
【００５９】
図１は本開示の実施例の運転者在席状態検出方法のフローチャートであり、図１に示すように、このフローは、以下のステップを含んでもよい。
【００６０】
ステップ１０１：車載画像取得装置が遮られていないことを確認する。ここで、いわゆる車載画像取得装置が遮られているのは、不透明材料によって車載画像取得装置の視野の７５％以上が遮られていることである。
【００６１】
ここで、車載画像取得装置はカメラであってもよく、任意選択的に、車載画像取得装置は夜や他の光線が足りない時に車内画像データを取得できる赤外線カメラであってもよい。
【００６２】
実際に適用するに際して、車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、車載画像取得装置が遮られている状態にあるか否かを決定することができる。一例として、車載画像取得装置によって取得された画像の特徴情報に基づいて、車載画像装置が遮られているか否かを判断できる。
【００６３】
一実施形態として、上記の取得された画像の特徴情報は、平均輝度、前景面積と有効面積の割合、画像輪郭数の少なくとも一項を含んでもよく、そのうち、画像の平均輝度は全画像の平均輝度を表し、画像の前景面積は取得された画像から認識された画像の前景部分の面積を表し、画像の有効面積は事前に設定されたものであり、画像の有効面積は取得された画像の面積以下であり、画像の輪郭数量は取得された画像に対して目標認識を行うことで得られた目標輪郭数である。
【００６４】
実際に適用するに際して、いろいろな方法で画像の前景部分と背景部分の分離を実現可能であり、一例として、動的閾値分割法を用いて画像の前景部分と背景部分の分離を実現でき、動的閾値分割法で画像の前景部分と背景部分の分離を実現する過程において、具体的には、画像の異なる領域に異なる濃淡閾値を設置してもよく、画像中の画素点に対して画素点の濃淡値と対応の濃淡閾値を比較することによって、画素点が前景点であるか背景点であるかを決定でき、更に画像の前景部分と背景部分を決定できる。
【００６５】
実際に適用するに際して、輪郭検出方法で画像に対して目標検出と認識を行って目標の輪郭を取得でき、更に、目標の輪郭数量を決定でき、例えば、画像に対して輪郭検出を行った後、シート、人体等の５つの目標輪郭を取得でき、そのように画像輪郭数を５とする。本開示の実施例では、輪郭検出方法が限定されるものではない。
【００６６】
任意選択的に、上記の取得された画像の有効面積は、車載画像取得装置と車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定されてもよい。画像取得装置が赤外線カメラである時に、補光用ランプが赤外線補光用ランプである。具体的な一例では、補光用ランプが画像取得装置のレンズの周りに均一に分布され、即ち、補充光が取得された全画像に均一に分布された時に、画像の有効面積は取得された画像画面全体の面積であってもよく、また、補充光が主に取得された画像画面の中央に分布された時に、取得された画像画面の短辺の長さを直径とする円の面積を有効面積としてもよい。
【００６７】
実際に適用するに際して、車載画像取得装置は画像を取得した後、更に処理するために、取得された画像をプロセッサ等の装置に送信してもよく、車載画像取得装置は画像をリアルタイムに取得して、連続的に取得された複数の画像を得ることができ、例えば、Ｎ秒ごとに画像を取得してもよく、Ｎが事前に設定されたものであってもよい。
【００６８】
ステップ１０２：車両に取り付けられ、少なくとも車両の運転席領域の画像を取得するために用いられる車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出する。
【００６９】
ここで、車両の起動状態とは、車両が起動した時及び起動した後から車両がシャットダウンするまでの状態を指す。
【００７０】
実際に適用するに際して、運転席に人がいる時に運転席での人員画像を撮影できるように、車載画像取得装置を運転席領域に向かって取り付けてもよい。一例として、車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含み、設定速度を実際の要求に応じて設定可能であり、例えば、設定速度を１ｋｍ／ｈ又は他の速度値にしてもよい。実際に適用するに際して、取得された画像から顔認識技術で顔画像を抽出してもよく、本開示の実施例では、顔認識技術の種類が限定されるものではなく、例えば、深層学習に基づく顔認識技術を用いてもよい。
【００７１】
ステップ１０３：取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定する。
【００７２】
本開示の実施例では、運転者が欠席しているのは、特定の運転者が運転席にいない状態又は運転席に人がいない状態を示し、取得された画像から顔画像が抽出されなかった場合に、運転席に人がいないと直接決定でき、更に運転者が欠席していると決定できる。
【００７３】
実際に適用するに際して、ステップ１０１〜ステップ１０３は、運転者欠席検出装置におけるプロセッサ等に基づいて実現可能であり、上記プロセッサは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、デジタル信号処理装置（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｄｅｖｉｃｅ：ＤＳＰＤ）、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ：ＦＰＧＡ）、中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：ＣＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサのうち少なくとも１種であってもよい。運転者欠席検出装置によっては、上記プロセッサ機能を実現するための電子デバイスが他のものであってもよく、本開示の実施例で具体的に限定されないことが理解される。
【００７４】
運転者監視システムを実際に使用している過程で、一部の運転者は監視されることに反感を抱く等の原因で、例えば、衣類、紙コップやテープ等の物体を用いて監視カメラを遮って、監視システムが無効になって運転者の在席状態を正確に判断できなくなる。
【００７５】
本開示の実施例では、車載画像取得装置が遮られていないと決定した後、車載画像取得装置の画像に顔画像を含むか否かを判断することによって、運転者の在席状態を決定することができるので、車載画像取得装置が遮られていることで運転者在席状態検出に及ぼす影響を回避でき、運転者在席状態の検出の正確性や信頼性を向上できる。更に、取得された画像から顔画像が抽出された時に、画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチング可能か否かを決定でき、取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定できる。
【００７６】
任意選択的に、取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定できる。
【００７７】
実際に適用するに際して、運転者登録手法で運転者の顔画像を事前に記憶しておくことができる。
【００７８】
任意選択的に、携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶することができる。具体的には、携帯端末にインストールされたアプリ（ＡＰＰｌｉｃａｔｉｏｎ、ＡＰＰ）によってクラウドサーバで運転者登録を行うことができ、携帯端末によって運転者登録を行う時にこの携帯端末によってクラウドサーバに運転者の顔画像をアップロードし、ここで、車両が起動しない時にクラウドサーバで運転者登録を行ってもよく、車両が起動したが走行していない状態にある場合にクラウドサーバで運転者登録を行ってもよい。
【００７９】
任意選択的に、車両が起動したが走行していない状態にある場合に、権限認証が成功した後、車載画像取得装置によって運転者の顔画像を取得し保存するステップを使用することによって運転者の顔画像を事前に記憶しておく。
【００８０】
本開示の実施例では、取得された画像中の顔画像が事前に記憶された運転者の顔画像とマッチング可能か否かを判断することによって運転者の欠席又は在席を正確に検出することを実現できる。顔画像がマッチング可能か否かについての検出によって、運転席に非関係者又は運転資格のない人員が現れた時に運転席に人がいるか否かのみについて検出するので、車両が不安全になるか、又は運転が不安全になることを回避する。以上から分かるように、本開示の実施例では、在席すべき運転者の顔画像を事前に取得し、次に現在抽出されている顔画像が事前に記憶された在席すべき運転者の顔画像とマッチング可能か否かを判断することによって、在席すべき運転者の在席状態を決定することができ、運転の安全性を更に向上した。
【００８１】
本開示の実施例では、上記の取得された画像中の顔画像として１つの顔画像を含んでもよく、複数の顔画像を含んでもよく、取得された画像中の顔画像が複数の顔画像である時に、上記の取得された画像中の各顔画像については、それぞれ所在する画像領域を決定でき、例えば、上記の取得された画像中の１つの顔画像が取得された画像の運転席領域に位置してもよく、取得された画像の非運転席領域に位置してもよく、画像の運転席領域が事前に設置されてもよく、例えば、画像の左半分を画像の運転席領域としてもよい。
【００８２】
一実施形態として、取得された画像から抽出された顔画像に複数の顔画像を含む時に、複数の顔画像から取得された画像の運転席領域に位置する顔画像を選択し、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するようにしてもよい。
【００８３】
任意選択的に、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定する。
【００８４】
以上から分かるように、本開示の実施例では、選択された画像運転席領域に位置する顔画像に対して更に顔画像の特徴がマッチング可能か否かについて判断して、現在運転席領域に現れた人員が在席すべき運転者であるか否かを決定でき、運転者在席状態検出の正確性を更に向上した。
【００８５】
一実施形態として、取得された画像中の顔画像が事前に記憶された運転者の顔画像の特徴とマッチング可能か否かをリアルタイムに判断することによって、運転者の欠席持続時間を決定してもよい。
【００８６】
つまり、複数フレームの画像を連続的に取得した場合に、取得された各画像フレームに対して、その中の顔画像が事前に記憶された運転者の顔画像の特徴とマッチング可能か否かを判断し、複数回連続的に判断した結果、いずれもマッチングしない時に、複数フレームの画像の取得時間によって運転者の欠席持続時間を決定でき、例えば、１分間内に取得された複数フレームの画像について判断した結果、いずれもマッチング不可能であれば、運転者の欠席持続時間が少なくとも１分間であると決定できる。
【００８７】
更に、運転者の欠席持続時間が第１設定時間を超えたか否かを判断してもよく、運転者の欠席持続時間が第１設定時間を超えた場合に（即ち、第１設定時間以上の場合に）、第１警告情報を出してもよく、運転者の欠席持続時間が第１設定時間を超えていない時に、運転者の欠席持続時間を計測し続けてもよい。
【００８８】
ここで、第１設定時間は実際の応用シーンに応じて事前に設置しておいてもよく、例えば、第１設定時間は２秒間であってもよい。第１警告情報の形式は、音声警告情報、発光警告情報、振動警告情報等を含むが、それらに限定されない。
【００８９】
更に、第１警告情報を出した後、運転者が在席していると決定した後、第１警告情報を出すことを止めてもよく、そのようにして、運転者在席状態の変化に応じて第１警告情報を柔軟的に処理でき、実際の要求に更に応えられる。
【００９０】
更に、第１警告情報を出した後、後に調べることができるように、第１警告情報をローカルに保存してもよく、また、第１警告情報を出した後、遠隔監視人員に通知できるように、第１警告情報をクラウドにアップロードしてもよい。
【００９１】
任意選択的に、後に分析できるように、更に車載画像取得装置によって運転者の欠席状態で取得された画像をローカルに保存するか、又はクラウドにアップロードするようにしてもよい。
【００９２】
車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、車載画像取得装置が遮られている状態にあるか否かを決定する実施形態では、一例として、取得された画像に基づいて取得された画像の平均輝度を決定してもよく、取得された画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は取得された画像の平均輝度が第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上である場合に、車載画像取得装置が遮られている状態にあると決定できる。
【００９３】
任意選択的に、取得された画像の平均輝度が第１輝度閾値以上且つ第２輝度閾値以下であると決定した場合に、取得された画像の前景面積と有効面積の割合を決定してもよく、取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上である場合に、車載画像取得装置が遮られている状態にあると決定できる。
【００９４】
具体的な一例では、遮られた面積（前景面積）が画像全体の有効面積の７５％以上であると定義された時に、車載画像取得装置（例えば、赤外線カメラ）が遮られていると考えられる。
【００９５】
任意選択的に、前記取得された画像の平均輝度が第１輝度閾値以上且つ第２輝度閾値以下であると決定し、且つ取得された画像の前景面積と有効面積の割合が設定値以下であると決定した場合に、取得された画像中の輪郭数量を決定してもよく、取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上である場合に、車載画像取得装置が遮られている状態にあると決定でき、取得された画像中の輪郭数量が設定数量以上である場合に、車載画像取得装置が遮られていない状態にあると決定できる。
【００９６】
本開示の実施例では、第１輝度閾値、第２輝度閾値、設定値、設定数量はいずれも実際の応用シーンに応じて事前に設置してもよく、例えば、６５％〜８５％を設定値の範囲としてもよく、８〜１２を設定数量の範囲としてもよく、第２設定時間、第３設定時間及び第４設定時間はいずれも実際の応用シーンに応じて事前に設置してもよく、第２設定時間、第３設定時間及び第４設定時間は２つずつに同様であってもよく、異なってもよく、一例において、第２設定時間、第３設定時間及び第４設定時間の範囲はいずれも４秒〜７秒である。
【００９７】
更に、車載画像取得装置が遮られていないと決定した時刻から時間を計測して車載画像取得装置が遮られていた持続時間を取得し、且つ車載画像取得装置が遮られていた持続時間が第５設定時間を超えた（即ち、第５設定時間以上）か否かを判断し、車載画像取得装置が遮られていた持続時間が第５設定時間を超えた場合に、第２警告情報を出してもよく、車載画像取得装置が遮られていた持続時間が第５設定時間を超えていない場合に、時間を計測し続けて、車載画像取得装置が遮られていた持続時間を取得し続けるようにしてもよい。
【００９８】
ここで、第５設定時間は、実際の応用シーンに応じて事前に設置してもよく、第１設定時間と同じであってもよいし、異なってもよい。例えば、５秒間を第５設定時間としてもよい。第２警告情報の形式は、音声警告情報、発光警告情報、振動警告情報等を含むが、それらに限定されない。
【００９９】
更に、第２警告情報を出した後、車載画像取得装置が遮られていない状態にあると決定した後、第２警告情報を出すことを止めてもよく、そのようにして、車載画像取得装置が遮られているか否かに応じて、第２警告情報を出すか否かを柔軟的に決定でき、実際の要求に更に応えられる。
【０１００】
更に、第２警告情報を出した後、後に調べることができるように、第２警告情報をローカルに保存してもよく、第２警告情報を出した後、遠隔監視人員に通知できるように、第２警告情報をクラウドにアップロードしてもよい。
【０１０１】
実際に適用するに際して、画像取得装置が赤外線カメラである時に、赤外線カメラの特徴を考慮しなければならず、運転者がテープ等によって赤外線補光用ランプ全体を遮った時に、前景面積が必ず７５％より大きいというわけではなく、この時に画像の平均輝度によって赤外線カメラが遮られているか否かを判断する必要があり、例えば、画像の平均輝度が第１輝度閾値より小さいか否かを判断し、画像の平均輝度が第１輝度閾値より小さいか、又は第２輝度閾値より大きい場合に、時間の計測を開始し、持続時間が５秒に到達すると、赤外線カメラが遮られていると考えられ、画像の平均輝度が第１輝度閾値以上且つ第２輝度閾値以下である場合に、動的閾値分割法で画像の前景背景分割を行い、前景面積が有効面積の７５％より大きければ、時間の計測を開始し、持続時間が５秒に到達すると、赤外線カメラが遮られていると考えられ、前景面積が有効面積の７５％より大きくなければ、輪郭検出によって画像の輪郭数を取得し、輪郭数量が１０より少なく且つ持続時間が５秒に到達すると、赤外線カメラが遮られていると考えられ、輪郭数量が１０より少なくなければ、赤外線カメラが遮られていないと考えられる。
【０１０２】
一実施形態として、赤外線カメラが遮られており、且つ持続時間が第５設定時間を超えたことが検出されると、第２警告情報を出してもよく、例えば、「カメラを遮らないでください」という音声警告を第２警告情報としてもよく、また、運転者が欠席しており、且つ運転者の欠席持続時間が第１設定時間を超えたことが検出されると、第１警告情報を出してもよく、例えば、「運転席に帰ってください」という音声警告を第１警告情報としてもよい。
【０１０３】
具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならなく、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。
【０１０４】
前記実施例で提供された運転者在席状態検出方法をもとに、本開示の実施例は運転者在席状態検出装置を提供する。
【０１０５】
図２は本開示の実施例の運転者在席状態検出装置の構成の構造模式図であり、図２に示すように、前記装置は、
車載画像取得装置が遮られていないことを確認するように構成される第１処理モジュール２０１と、
車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するように構成される抽出モジュール２０２と、
取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するように構成される第２処理モジュール２０３と、を含む。
【０１０６】
一実施形態では、前記第２処理モジュール２０３は、更に、取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定し、前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するように構成される。
【０１０７】
一実施形態では、前記第２処理モジュール２０３は、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を実行するように構成される。
【０１０８】
一実施形態では、前記第２処理モジュール２０３は、更に、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するように構成される。
【０１０９】
一実施形態では、前記第２処理モジュール２０３は、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップは、前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップとを実行するように構成される。
【０１１０】
一実施形態では、前記第２処理モジュール２０３は、更に、運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すように構成される。
【０１１１】
一実施形態では、前記第２処理モジュール２０３は、更に、第１警告情報を出した後、運転者が在席していると決定した後、前記第１警告情報を出すことを止めるように構成される。
【０１１２】
一実施形態では、前記第２処理モジュール２０３は、更に、前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするように構成される。
【０１１３】
一実施形態では、前記第１処理モジュール２０１は、更に、携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶するように構成される。
【０１１４】
一実施形態では、前記第１処理モジュール２０１は、更に、
車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶するように構成される。
【０１１５】
一実施形態では、前記第１処理モジュール２０１は、車載画像取得装置が遮られていないことを確認するステップは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを実行するように構成される。
【０１１６】
一実施形態では、前記第１処理モジュール２０１は、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を実行するように構成される。
【０１１７】
一実施形態では、前記第１処理モジュール２０１は、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に実行するように構成される。
【０１１８】
一実施形態では、前記第１処理モジュール２０１は、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される。
【０１１９】
一実施形態では、前記第１処理モジュール２０１は、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される。
【０１２０】
一実施形態では、前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される。
【０１２１】
一実施形態では、前記車載画像取得装置は赤外線カメラである。
【０１２２】
一実施形態では、前記第１処理モジュール２０１は、更に、前記車載画像取得装置が遮られている状態にあると決定した場合に、前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すように構成される。
【０１２３】
一実施形態では、前記第１処理モジュール２０１は、更に、第２警告情報を出した後、前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるように構成される。
【０１２４】
一実施形態では、前記車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含む。
【０１２５】
実際に適用するに際して、上記第１処理モジュール２０１、抽出モジュール２０２及び第２処理モジュール２０３はいずれも電子機器に位置するプロセッサによって実現可能であり、このプロセッサは、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクプロセッサのうち少なくとも１種であってもよい。
【０１２６】
また、本実施例における各機能モジュールは一つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、二つ以上で一つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形式で実現してもよく、ソフトウェア機能モジュールの形式で実現してもよい。
【０１２７】
前記の統合されたユニットはソフトウェア機能モジュールの形で実現されかつ独立した製品として販売または使用されない場合、コンピュータ読み取り可能記憶媒体に記憶されてもよく、このような見解をもとに、本実施例の技術的解決手段は実質的に従来技術に寄与する部分又はこの技術的解決手段の全部又は一部がソフトウェア製品の形で実施できると言え、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器などであってもよい）又はｐｒｏｃｅｓｓｏｒ（プロセッサ）に本実施例に記載の方法のステップの全てまたは一部を実行させる複数の命令を含む。前記記憶媒体は、ＵＳＢメモリ、モバイルハードディスク、読み出し専用メモリ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ：ＲＡＭ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能な様々な媒体を含む。
【０１２８】
具体的には、本実施例の運転者在席状態検出方法に対応するコンピュータプログラムコマンドは、光ディスク、ハードディスク、ＵＳＢメモリ等の記憶媒体に記憶可能であり、記憶媒体における運転者在席状態検出方法に対応するコンピュータプログラムコマンドが電子機器により読み取られて実行される時に、上記実施例のいずれか１種の運転者在席状態検出方法を実現する。
【０１２９】
前記実施例と同じ技術的構想によれば、図３に示すように、本開示の実施例で提供された電子機器３０は、コンピュータプログラムやデータを記憶するように構成されるメモリ３１と、前記メモリに記憶されているコンピュータプログラムを実行させて上記実施例のいずれか１種の運転者在席状態検出方法を実現するように構成されるプロセッサ３２と、を含んでもよい。
【０１３０】
実際に適用するに際して、上記メモリ３１は、ＲＡＭのような揮発性メモリ（ｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ）、又はＲＯＭ、フラッシュメモリ（ｆｌａｓｈ  ｍｅｍｏｒｙ）、ハードディスク（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ：ＨＤＤ）或いは半導体ディスク（Ｓｏｌｉｄ−Ｓｔａｔｅ  Ｄｒｉｖｅ：ＳＳＤ）のような非揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ）、又は上記の種類のメモリの組合せであってもよく、プロセッサ３２にコマンドやデータを提供する。上記プロセッサ３２は、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクプロセッサのうち少なくとも１種であってもよい。装置によっては、上記プロセッサ機能を実現するための電子デバイスは他のものであってもよく、本開示の実施例では限定されないことが理解される。
【０１３１】
本開示の実施例は、コンピュータに、本開示の実施例で開示されたいずれか１種の運転者在席状態検出方法を実行させるためのコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体を更に提供する。
【０１３２】
本開示の実施例は、コンピュータに、本開示の実施例で開示されたいずれか１種の運転者在席状態検出方法を実行させるためのコンピュータプログラムを更に提供する。
【０１３３】
いくつかの実施例では、本開示の実施例で提供された装置に備えた機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実施形態については上記方法実施例の説明を参照してもよく、簡単化するために、ここで重複説明は割愛する。以上の各実施例についての説明はそれぞれの実施例の相違点を強調する傾向があり、その同一又は類似的な点について相互に参照してもよく、簡単化するために、本明細書で一つずつに繰り返して説明しない。本願で提供される各方法の実施例が開示した方法は、矛盾なく任意に組み合わせて新たな方法の実施例を得ることができる。本願で提供される各製品の実施例が開示した特徴は、矛盾なく任意に組み合わせて新たな製品の実施例を得ることができる。本願で提供される各方法又は装置の実施例が開示した特徴は、矛盾なく任意に組み合わせて新たな方法の実施例又は装置の実施例を得ることができる。
【０１３４】
以上の実施形態に対する説明によって、当業者であれば上記実施例の方法はソフトウェアと必要な共通ハードウェアプラットフォームとの組み合わせという形態で実現できることを明らかに理解可能であり、当然ながら、ハードウェアによって実現してもよいが、多くの場合において前者はより好ましい実施形態である。このような見解をもとに、本開示の技術的解決手段は実質的にまたは従来技術に寄与する部分はソフトウェアの形で実施することができ、該コンピュータソフトウェア製品は記憶媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、端末（携帯電話、コンピュータ、サーバ、エアコン、またはネットワーク機器などであってもよい）に本開示の各実施例に記載の方法を実行させる複数の命令を含む。
【０１３５】
以上、図面を参照しながら本開示の実施例を説明したが、本開示は上記の具体的実施形態に限定されるものではなく、上記の具体的実施形態は例示的なものにすぎず、限定する意図がなく、当業者であれば、本開示に示唆された場合に、本開示の趣旨や特許請求の範囲を逸脱しない限り、様々な変形を加えることができ、それらは全て本開示の保護範囲に含まれる。
【図１】
2022502788.tif 000003
【図２】
2022502788.tif 000004
【図３】
2022502788.tif 000005
【手続補正書】
【提出日】令和3年4月6日(2021.4.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車載画像取得装置が遮られていないことを確認するステップと、
車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するステップと、
取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するステップと、を含む、運転者在席状態検出方法。
【請求項２】
取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定するステップと、
前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、
前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップと、を更に含む請求項１に記載の方法。
【請求項３】
前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、
選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を含み、
前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、前記運転者が在席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、
選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップと、を含む請求項２に記載の方法。
【請求項４】
運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すステップを更に含む請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記第１警告情報を出した後、
運転者が在席していると決定した後、前記第１警告情報を出すことを止めるステップを更に含む請求項４に記載の方法。
【請求項６】
前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするステップを更に含む請求項１〜５のいずれか一項に記載の方法。
【請求項７】
携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、
前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶し、
又は、
車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶する請求項２〜５のいずれか一項に記載の方法。
【請求項８】
前記車載画像取得装置が遮られていないことを確認するステップは、
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを含む請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、
前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を含む請求項８に記載の方法。
【請求項１０】
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に含む請求項８に記載の方法。
【請求項１１】
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に含む請求項８に記載の方法。
【請求項１２】
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に含む請求項８に記載の方法。
【請求項１３】
前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される請求項１０〜１２のいずれか一項に記載の方法。
【請求項１４】
前記車載画像取得装置が遮られている状態にあると決定した場合に、
前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すステップを更に含み、
前記第２警告情報を出した後、
前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるステップを更に含む請求項８〜１３のいずれか一項に記載の方法。
【請求項１５】
プロセッサと、プロセッサ上で実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を含み、
前記プロセッサは、前記コンピュータプログラムを実行させて、請求項１〜１４のいずれか一項に記載の方法を実行するように構成される電子機器。
【請求項１６】
コンピュータに、請求項１〜１４のいずれか一項に記載の方法を実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項１７】
コンピュータに、請求項１〜１４のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
【国際調査報告】
2022502788.tif 000006
2022502788.tif 000007
2022502788.tif 000008
2022502788.tif 000009