(57)【要約】本開示は、車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体に関する。前記方法は、車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することと、前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することと、前記第１画像に基づいて顔認識を行うことと、顔認識の成功に応じて、前記車両の少なくとも１つのドアロックにドアロック解除コマンドを送信することと、を含む。【選択図】図１
2021516646.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することと、
前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することと、
前記第１画像に基づいて顔認識を行うことと、
顔認識の成功に応じて、前記車両の少なくとも１つのドアロックにドアロック解除コマンドを送信することと、を含むことを特徴とする車両のドアロック解除方法。
【請求項２】
前記所定の条件は、
前記距離が所定の距離閾値より小さいことと、
前記距離が所定の距離閾値より小さくなる持続時間が所定の時間閾値に達することと、
持続時間の期間に取得される前記距離が、前記目標対象物が前記車両に近づいていることを示すこととのうちの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記少なくとも１つの距離センサは、ブルートゥース距離センサを含み、
前記車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することは、
外部装置と前記ブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、
前記ブルートゥースによるペアリング接続の成功に応じて、前記ブルートゥース距離センサによって前記外部装置を持っている目標対象物と前記車両との間の第１距離を取得することと、を含むことを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記少なくとも１つの距離センサは、超音波距離センサを含み、
前記車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することは、
前記車両の車室外部に設置される前記超音波距離センサによって前記目標対象物と前記車両との間の第２距離を取得することを含むことを特徴とする請求項１又は２に記載の方法。
【請求項５】
前記少なくとも１つの距離センサは、ブルートゥース距離センサ及び超音波距離センサを含み、
前記車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することは、外部装置と前記ブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、前記ブルートゥースによるペアリング接続の成功に応じて、前記ブルートゥース距離センサによって前記外部装置を持っている目標対象物と前記車両との間の第１距離を取得することと、前記超音波距離センサによって前記目標対象物と前記車両との間の第２距離を取得することと、を含み、
前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することは、前記第１距離及び前記第２距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することを含むことを特徴とする請求項１又は２に記載の方法。
【請求項６】
前記所定の条件は、第１所定の条件及び第２所定の条件を含み、
前記第１所定の条件は、前記第１距離が所定の第１距離閾値より小さいことと、前記第１距離が所定の第１距離閾値より小さくなる持続時間が所定の時間閾値に達することと、持続時間の期間に取得される前記第１距離が、前記目標対象物が前記車両に近づいていることを示すこととのうちの少なくとも１つを含み、
前記第２所定の条件は、前記第２距離が前記第１距離閾値より小さい所定の第２距離閾値より小さいことと、前記第２距離が所定の第２距離閾値より小さくなる持続時間が所定の時間閾値に達することとを含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記第１距離及び前記第２距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することは、
前記第１距離が第１所定の条件を満たすことに応じて、前記車両に設置される顔認識システムをウェイクアップすることと、
前記第２距離が第２所定の条件を満たすことに応じて、ウェイクアップされた前記顔認識システムによって、前記目標対象物の第１画像を取得するように前記画像取得モジュールを制御することと、を含むことを特徴とする請求項５又は６に記載の方法。
【請求項８】
前記距離センサは超音波距離センサであり、前記所定の距離閾値は、算出されて得た、前記車両外の対象物と前記車両との間の距離の閾値の基準値を示す距離閾値基準値、及び前記車両外の対象物と前記車両との間の距離の閾値のオフセット値を示す所定の距離閾値オフセット値に基づいて決定されることを特徴とする請求項２〜７のいずれか一項に記載の方法。
【請求項９】
前記所定の距離閾値は前記距離閾値基準値と前記所定の距離閾値オフセット値との差に等しいことを特徴とする請求項８に記載の方法。
【請求項１０】
前記距離閾値基準値は、車両のイグニッションオフ後の特定期間の前記車両外の対象物と前記車両との間の距離の平均値を示す車両のイグニッションオフ後の距離平均値と、ドアロック解除可能な最大距離のうちの最小値を取ることを特徴とする請求項８又は９に記載の方法。
【請求項１１】
前記距離閾値基準値は周期的に更新されることを特徴とする請求項８〜１０のいずれか一項に記載の方法。
【請求項１２】
前記距離センサは超音波距離センサであり、前記所定の時間閾値は、算出されて得た、前記車両外の対象物と前記車両との間の距離が前記所定の距離閾値より小さくなる時間の閾値の基準値を示す時間閾値基準値、及び前記車両外の対象物と前記車両との間の距離が前記所定の距離閾値より小さくなる時間の閾値のオフセット値を示す時間閾値オフセット値に基づいて決定されることを特徴とする請求項２〜１１のいずれか一項に記載の方法。
【請求項１３】
前記所定の時間閾値は前記時間閾値基準値と前記時間閾値オフセット値との和に等しいことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記時間閾値基準値は、前記超音波距離センサの水平方向検知角度、前記超音波距離センサの検知半径、対象物サイズ及び対象物速度のうちの１つ又は複数に基づいて決定されることを特徴とする請求項１２又は１３に記載の方法。
【請求項１５】
種別ごとの対象物サイズ、種別ごとの対象物速度、前記超音波距離センサの水平方向検知角度及び前記超音波距離センサの検知半径に基づいて、種別ごとの対象物に対応する候補基準値を決定することと、
前記種別ごとの対象物に対応する候補基準値から前記時間閾値基準値を決定することと、を更に含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
前記種別ごとの対象物に対応する候補基準値から前記時間閾値基準値を決定することは、
種別ごとの対象物に対応する候補基準値のうちの最大値を前記時間閾値基準値として決定することを含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記顔認識は、生体検出及び顔認証を含み、
前記第１画像に基づいて顔認識を行うことは、
前記画像取得モジュールの画像センサによって前記第１画像を取得し、前記第１画像及び予め登録された顔特徴に基づいて顔認証を行うことと、
前記画像取得モジュールの深度センサによって前記第１画像に対応する第１深度マップを取得し、前記第１画像及び前記第１深度マップに基づいて生体検出を行うことと、を含むことを特徴とする請求項１〜１６のいずれか一項に記載の方法。
【請求項１８】
前記第１画像及び前記第１深度マップに基づいて生体検出を行うことは、
前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることと、
前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
前記画像センサは、ＲＧＢ画像センサ又は赤外線センサを含み、
前記深度センサは、両眼赤外線センサ又は飛行時間ＴＯＦセンサを含むことを特徴とする請求項１７又は１８に記載の方法。
【請求項２０】
前記ＴＯＦセンサは、赤外線波長域に基づくＴＯＦモジュールを用いることを特徴とする請求項１９に記載の方法。
【請求項２１】
前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
前記第１画像に基づいて、前記第１深度マップにおける深度失効画素の深度値を更新して前記第２深度マップを得ることを含むことを特徴とする請求項１８〜２０のいずれか一項に記載の方法。
【請求項２２】
前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
前記第１画像に基づいて、前記第１画像における複数の画素の、深度予測値及び前記複数の画素同士の関連度を示す関連情報を決定することと、
前記複数の画素の深度予測値及び関連情報に基づいて前記第１深度マップを更新して、第２深度マップを得ることと、を含むことを特徴とする請求項１８〜２１のいずれか一項に記載の方法。
【請求項２３】
前記複数の画素の深度予測値及び関連情報に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
前記第１深度マップにおける深度失効画素を決定することと、
前記複数の画素の深度予測値から前記深度失効画素の深度予測値及び前記深度失効画素の複数の周辺画素の深度予測値を取得することと、
前記複数の画素の関連情報から前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度を取得することと、
前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することと、を含むことを特徴とする請求項２２に記載の方法。
【請求項２４】
前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することは、
前記深度失効画素の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することと、
前記深度失効画素の深度予測値及び前記深度関連値に基づいて、前記深度失効画素の更新後の深度値を決定することと、を含むことを特徴とする請求項２３に記載の方法。
【請求項２５】
前記深度失効画素の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することは、
前記深度失効画素と各周辺画素との関連度を前記各周辺画素の重みとして、前記深度失効画素の複数の周辺画素の深度予測値に対して加重和処理を行って、前記深度失効画素の深度関連値を得ることを含むことを特徴とする請求項２４に記載の方法。
【請求項２６】
前記第１画像に基づいて、前記第１画像における複数の画素の深度予測値を決定することは、
前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度予測値を決定することを含むことを特徴とする請求項２２〜２５のいずれか一項に記載の方法。
【請求項２７】
前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度予測値を決定することは、
前記第１画像及び前記第１深度マップを深度予測ニューラルネットワークに入力し処理して、前記第１画像における複数の画素の深度予測値を得ることを含むことを特徴とする請求項２６に記載の方法。
【請求項２８】
前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度予測値を決定することは、
前記第１画像及び前記第１深度マップに対して融合処理を行って、融合結果を得ることと、
前記融合結果に基づいて、前記第１画像における複数の画素の深度予測値を決定することと、を含むことを特徴とする請求項２６又は２７に記載の方法。
【請求項２９】
前記第１画像に基づいて、前記第１画像における複数の画素同士の関連情報を決定することは、
前記第１画像を関連度検出ニューラルネットワークに入力し処理して、前記第１画像における複数の画素の関連情報を得ることを含むことを特徴とする請求項２２〜２８のいずれか一項に記載の方法。
【請求項３０】
前記第１画像に基づいて前記第１深度マップを更新することは、
前記第１画像から前記目標対象物の画像を取得することと、
前記目標対象物の画像に基づいて、前記第１深度マップを更新することと、を含むことを特徴とする請求項１８〜２９のいずれか一項に記載の方法。
【請求項３１】
前記第１画像から前記目標対象物の画像を取得することは、
前記第１画像における前記目標対象物のキーポイント情報を取得することと、
前記目標対象物のキーポイント情報に基づいて、前記第１画像から前記目標対象物の画像を取得することと、を含むことを特徴とする請求項３０に記載の方法。
【請求項３２】
前記第１画像における前記目標対象物のキーポイント情報を取得することは、
前記第１画像に対して目標検出を行って、前記目標対象物の所在領域を得ることと、
前記目標対象物の所在領域の画像に対してキーポイント検出を行って、前記第１画像における前記目標対象物のキーポイント情報を得ることと、を含むことを特徴とする請求項３１に記載の方法。
【請求項３３】
前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
前記第１深度マップから前記目標対象物の深度マップを取得することと、
前記第１画像に基づいて前記目標対象物の深度マップを更新して、前記第２深度マップを得ることと、を含むことを特徴とする請求項１８〜３２のいずれか一項に記載の方法。
【請求項３４】
前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することは、
前記第１画像及び前記第２深度マップを生体検出ニューラルネットワークに入力し処理して、前記目標対象物の生体検出結果を得ることを含むことを特徴とする請求項１８〜３３のいずれか一項に記載の方法。
【請求項３５】
前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することは、
前記第１画像に対して特徴抽出処理を行って、第１特徴情報を得ることと、
前記第２深度マップに対して特徴抽出処理を行って、第２特徴情報を得ることと、
前記第１特徴情報及び前記第２特徴情報に基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項１８〜３４のいずれか一項に記載の方法。
【請求項３６】
前記第１特徴情報及び前記第２特徴情報に基づいて、前記目標対象物の生体検出結果を決定することは、
前記第１特徴情報及び前記第２特徴情報に対して融合処理を行って、第３特徴情報を得ることと、
前記第３特徴情報に基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項３５に記載の方法。
【請求項３７】
前記第３特徴情報に基づいて、前記目標対象物の生体検出結果を決定することは、
前記第３特徴情報に基づいて、前記目標対象物が生体である確率を得ることと、
前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項３６に記載の方法。
【請求項３８】
前記第１画像に基づいて顔認識を行った後、更に、
顔認識の失敗に応じて、前記車両に設置されるパスワードロック解除モジュールをアクティブ化して、パスワードによるロック解除フローを起動することを含むことを特徴とする請求項１〜３７のいずれか一項に記載の方法。
【請求項３９】
前記画像取得モジュールにより取得した車両所有者の顔画像に基づいて車両所有者の登録を行うことと、
前記車両所有者の端末装置により取得した前記車両所有者の顔画像に基づいて遠隔登録を行い、前記車両所有者の顔画像を含む登録情報を前記車両に送信することとの１つ又は２つを更に含むことを特徴とする請求項１〜３８のいずれか一項に記載の方法。
【請求項４０】
車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得するための取得モジュールと、
前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御するためのウェイクアップ制御モジュールと、
前記第１画像に基づいて顔認識を行うための顔認識モジュールと、
顔認識の成功に応じて、前記車両の少なくとも１つのドアロックにドアロック解除コマンドを送信するための送信モジュールと、を含むことを特徴とする車両のドアロック解除装置。
【請求項４１】
前記所定の条件は、
前記距離が所定の距離閾値より小さいことと、
前記距離が所定の距離閾値より小さくなる持続時間が所定の時間閾値に達することと、
持続時間の期間に取得される前記距離が、前記目標対象物が前記車両に近づいていることを示すこととのうちの少なくとも１つを含むことを特徴とする請求項４０に記載の装置。
【請求項４２】
前記少なくとも１つの距離センサは、ブルートゥース距離センサを含み、
前記取得モジュールは、
外部装置と前記ブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、
前記ブルートゥースによるペアリング接続の成功に応じて、前記ブルートゥース距離センサによって前記外部装置を持っている目標対象物と前記車両との間の第１距離を取得することに用いられることを特徴とする請求項４０又は４１に記載の装置。
【請求項４３】
前記少なくとも１つの距離センサは、超音波距離センサを含み、
前記取得モジュールは、
前記車両の車室外部に設置される前記超音波距離センサによって前記目標対象物と前記車両との間の第２距離を取得することに用いられることを特徴とする請求項４０又は４１に記載の装置。
【請求項４４】
前記少なくとも１つの距離センサは、ブルートゥース距離センサ及び超音波距離センサを含み、
前記取得モジュールは、外部装置と前記ブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、前記ブルートゥースによるペアリング接続の成功に応じて、前記ブルートゥース距離センサによって前記外部装置を持っている目標対象物と前記車両との間の第１距離を取得することと、前記超音波距離センサによって前記目標対象物と前記車両との間の第２距離を取得することに用いられ、
前記ウェイクアップ制御モジュールは、前記第１距離及び前記第２距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することに用いられることを特徴とする請求項４０又は４１に記載の装置。
【請求項４５】
前記所定の条件は、第１所定の条件及び第２所定の条件を含み、
前記第１所定の条件は、前記第１距離が所定の第１距離閾値より小さいことと、前記第１距離が所定の第１距離閾値より小さくなる持続時間が所定の時間閾値に達することと、持続時間の期間に取得される前記第１距離が、前記目標対象物が前記車両に近づいていることを示すこととのうちの少なくとも１つを含み、
前記第２所定の条件は、前記第２距離が前記第１距離閾値より小さい所定の第２距離閾値より小さいことと、前記第２距離が所定の第２距離閾値より小さくなる持続時間が所定の時間閾値に達することとを含むことを特徴とする請求項４４に記載の装置。
【請求項４６】
前記ウェイクアップ制御モジュールは、
前記第１距離が第１所定の条件を満たすことに応じて、前記車両に設置される顔認識システムをウェイクアップするためのウェイクアップサブモジュールと、
前記第２距離が第２所定の条件を満たすことに応じて、ウェイクアップされた前記顔認識システムによって、前記目標対象物の第１画像を取得するように前記画像取得モジュールを制御するための制御サブモジュールと、を含むことを特徴とする請求項４４又は４５に記載の装置。
【請求項４７】
前記距離センサは超音波距離センサであり、前記所定の距離閾値は、算出されて得た、前記車両外の対象物と前記車両との間の距離の閾値の基準値を示す距離閾値基準値、及び前記車両外の対象物と前記車両との間の距離の閾値のオフセット値を示す所定の距離閾値オフセット値に基づいて決定されることを特徴とする請求項４１〜４６のいずれか一項に記載の装置。
【請求項４８】
前記所定の距離閾値は前記距離閾値基準値と前記所定の距離閾値オフセット値との差に等しいことを特徴とする請求項４７に記載の装置。
【請求項４９】
前記距離閾値基準値は、車両のイグニッションオフ後の特定期間の前記車両外の対象物と前記車両との間の距離の平均値を示す車両のイグニッションオフ後の距離平均値と、ドアロック解除可能な最大距離のうちの最小値を取ることを特徴とする請求項４７又は４８に記載の装置。
【請求項５０】
前記距離閾値基準値は周期的に更新されることを特徴とする請求項４７〜４９のいずれか一項に記載の装置。
【請求項５１】
前記距離センサは超音波距離センサであり、前記所定の時間閾値は、算出されて得た、前記車両外の対象物と前記車両との間の距離が前記所定の距離閾値より小さくなる時間の閾値の基準値を示す時間閾値基準値、及び前記車両外の対象物と前記車両との間の距離が前記所定の距離閾値より小さくなる時間の閾値のオフセット値を示す時間閾値オフセット値に基づいて決定されることを特徴とする請求項４１〜５０のいずれか一項に記載の装置。
【請求項５２】
前記所定の時間閾値は前記時間閾値基準値と前記時間閾値オフセット値との和に等しいことを特徴とする請求項５１に記載の装置。
【請求項５３】
前記時間閾値基準値は、前記超音波距離センサの水平方向検知角度、前記超音波距離センサの検知半径、対象物サイズ及び対象物速度のうちの１つ又は複数に基づいて決定されることを特徴とする請求項５１又は５２に記載の装置。
【請求項５４】
種別ごとの対象物サイズ、種別ごとの対象物速度、前記超音波距離センサの水平方向検知角度及び前記超音波距離センサの検知半径に基づいて、種別ごとの対象物に対応する候補基準値を決定するための第１決定モジュールと、
前記種別ごとの対象物に対応する候補基準値から前記時間閾値基準値を決定するための第２決定モジュールと、を更に含むことを特徴とする請求項５３に記載の装置。
【請求項５５】
前記第２決定モジュールは、
種別ごとの対象物に対応する候補基準値のうちの最大値を前記時間閾値基準値として決定することに用いられることを特徴とする請求項５４に記載の装置。
【請求項５６】
前記顔認識は、生体検出及び顔認証を含み、
前記顔認識モジュールは、
前記画像取得モジュールの画像センサによって前記第１画像を取得し、前記第１画像及び予め登録された顔特徴に基づいて顔認証を行うための顔認証モジュールと、
前記画像取得モジュールの深度センサによって前記第１画像に対応する第１深度マップを取得し、前記第１画像及び前記第１深度マップに基づいて生体検出を行うための生体検出モジュールと、を含むことを特徴とする請求項４０〜５５のいずれか一項に記載の装置。
【請求項５７】
前記生体検出モジュールは、
前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得るための更新サブモジュールと、
前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定するための決定サブモジュールと、を含むことを特徴とする請求項５６に記載の装置。
【請求項５８】
前記画像センサは、ＲＧＢ画像センサ又は赤外線センサを含み、
前記深度センサは、両眼赤外線センサ又は飛行時間ＴＯＦセンサを含むことを特徴とする請求項５６又は５７に記載の装置。
【請求項５９】
前記ＴＯＦセンサは、赤外線波長域に基づくＴＯＦモジュールを用いることを特徴とする請求項５８に記載の装置。
【請求項６０】
前記更新サブモジュールは、
前記第１画像に基づいて、前記第１深度マップにおける深度失効画素の深度値を更新して前記第２深度マップを得ることに用いられることを特徴とする請求項５７〜５９のいずれか一項に記載の装置。
【請求項６１】
前記更新サブモジュールは、
前記第１画像に基づいて、前記第１画像における複数の画素の、深度予測値及び前記複数の画素同士の関連度を示す関連情報を決定することと、
前記複数の画素の深度予測値及び関連情報に基づいて前記第１深度マップを更新して、第２深度マップを得ることに用いられることを特徴とする請求項５７〜６０のいずれか一項に記載の装置。
【請求項６２】
前記更新サブモジュールは、
前記第１深度マップにおける深度失効画素を決定することと、
前記複数の画素の深度予測値から前記深度失効画素の深度予測値及び前記深度失効画素の複数の周辺画素の深度予測値を取得することと、
前記複数の画素の関連情報から前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度を取得することと、
前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することに用いられることを特徴とする請求項６１に記載の装置。
【請求項６３】
前記更新サブモジュールは、
前記深度失効画素の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することと、
前記深度失効画素の深度予測値及び前記深度関連値に基づいて、前記深度失効画素の更新後の深度値を決定することに用いられることを特徴とする請求項６２に記載の装置。
【請求項６４】
前記更新サブモジュールは、
前記深度失効画素と各周辺画素との関連度を前記各周辺画素の重みとして、前記深度失効画素の複数の周辺画素の深度予測値に対して加重和処理を行って、前記深度失効画素の深度関連値を得ることに用いられることを特徴とする請求項６３に記載の装置。
【請求項６５】
前記更新サブモジュールは、
前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度予測値を決定することに用いられることを特徴とする請求項６１〜６４のいずれか一項に記載の装置。
【請求項６６】
前記更新サブモジュールは、
前記第１画像及び前記第１深度マップを深度予測ニューラルネットワークに入力し処理して、前記第１画像における複数の画素の深度予測値を得ることに用いられることを特徴とする請求項６５に記載の装置。
【請求項６７】
前記更新サブモジュールは、
前記第１画像及び前記第１深度マップに対して融合処理を行って、融合結果を得ることと、
前記融合結果に基づいて、前記第１画像における複数の画素の深度予測値を決定することとに用いられることを特徴とする請求項６５又は６６に記載の装置。
【請求項６８】
前記更新サブモジュールは、
前記第１画像を関連度検出ニューラルネットワークに入力し処理して、前記第１画像における複数の画素の関連情報を得ることに用いられることを特徴とする請求項６１〜６７のいずれか一項に記載の装置。
【請求項６９】
前記更新サブモジュールは、
前記第１画像から前記目標対象物の画像を取得することと、
前記目標対象物の画像に基づいて、前記第１深度マップを更新することに用いられることを特徴とする請求項５７〜６８のいずれか一項に記載の装置。
【請求項７０】
前記更新サブモジュールは、
前記第１画像における前記目標対象物のキーポイント情報を取得することと、
前記目標対象物のキーポイント情報に基づいて、前記第１画像から前記目標対象物の画像を取得することに用いられることを特徴とする請求項６９に記載の装置。
【請求項７１】
前記更新サブモジュールは、
前記第１画像に対して目標検出を行って、前記目標対象物の所在領域を得ることと、
前記目標対象物の所在領域の画像に対してキーポイント検出を行って、前記第１画像における前記目標対象物のキーポイント情報を得ることに用いられることを特徴とする請求項７０に記載の装置。
【請求項７２】
前記更新サブモジュールは、
前記第１深度マップから前記目標対象物の深度マップを取得することと、
前記第１画像に基づいて前記目標対象物の深度マップを更新して、前記第２深度マップを得ることに用いられることを特徴とする請求項５７〜７１のいずれか一項に記載の装置。
【請求項７３】
前記決定サブモジュールは、
前記第１画像及び前記第２深度マップを生体検出ニューラルネットワークに入力し処理して、前記目標対象物の生体検出結果を得ることに用いられることを特徴とする請求項５７〜７２のいずれか一項に記載の装置。
【請求項７４】
前記決定サブモジュールは、
前記第１画像に対して特徴抽出処理を行って、第１特徴情報を得ることと、
前記第２深度マップに対して特徴抽出処理を行って、第２特徴情報を得ることと、
前記第１特徴情報及び前記第２特徴情報に基づいて、前記目標対象物の生体検出結果を決定することに用いられることを特徴とする請求項５７〜７３のいずれか一項に記載の装置。
【請求項７５】
前記決定サブモジュールは、
前記第１特徴情報及び前記第２特徴情報に対して融合処理を行って、第３特徴情報を得ることと、
前記第３特徴情報に基づいて、前記目標対象物の生体検出結果を決定することに用いられることを特徴とする請求項７４に記載の装置。
【請求項７６】
前記決定サブモジュールは、
前記第３特徴情報に基づいて、前記目標対象物が生体である確率を得ることと、
前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検出結果を決定することに用いられることを特徴とする請求項７５に記載の装置。
【請求項７７】
顔認識の失敗に応じて、前記車両に設置されるパスワードロック解除モジュールをアクティブ化して、パスワードによるロック解除フローを起動するためのアクティブ化起動モジュールを更に含むことを特徴とする請求項４０〜７６のいずれか一項に記載の装置。
【請求項７８】
前記画像取得モジュールにより取得した車両所有者の顔画像に基づいて車両所有者の登録を行うことと、
前記車両所有者の端末装置により取得した前記車両所有者の顔画像に基づいて遠隔登録を行い、前記車両所有者の顔画像を含む登録情報を前記車両に送信することとの１つ又は２つに用いられる登録モジュールを更に含むことを特徴とする請求項４０〜７７のいずれか一項に記載の装置。
【請求項７９】
メモリ、顔認識システム、画像取得モジュール及び人体近接監視システムを含み、前記顔認識システムは、前記メモリ、前記画像取得モジュール及び前記人体近接監視システムにそれぞれ接続され、前記人体近接監視システムは、距離が所定の条件を満たすと前記顔認識システムをウェイクアップするマイクロプロセッサ、及び前記マイクロプロセッサに接続される少なくとも１つの距離センサを含み、前記顔認識システムは、ドア領域コントローラに接続される通信インタフェースが更に設置され、顔認識が成功すると、前記通信インタフェースによって、前記ドア領域コントローラへドアを解錠するための制御情報を送信することを特徴とする車載顔認証ロック解除システム。
【請求項８０】
前記少なくとも１つの距離センサは、ブルートゥース距離センサおよび超音波距離センサの少なくとも一方を含むことを特徴とする請求項７９に記載の車載顔認証ロック解除システム。
【請求項８１】
前記画像取得モジュールは、画像センサ及び深度センサを含むことを特徴とする請求項７９又は８０に記載の車載顔認証ロック解除システム。
【請求項８２】
前記深度センサは、２つの赤外線カメラが前記画像センサのカメラの両側に設置される両眼赤外線センサを含むことを特徴とする請求項８１に記載の車載顔認証ロック解除システム。
【請求項８３】
前記画像取得モジュールは、前記両眼赤外線センサの赤外線カメラと前記画像センサのカメラとの間に設置される補光ライトであって、前記画像センサ用の補光ライトと前記深度センサ用の補光ライトのうちの少なくとも一方を含む少なくとも１つの補光ライトを更に含むことを特徴とする請求項８２に記載の車載顔認証ロック解除システム。
【請求項８４】
前記画像取得モジュールは、前記深度センサのカメラと前記画像センサのカメラとの間に設置されるレーザーを更に含むことを特徴とする請求項８１に記載の車載顔認証ロック解除システム。
【請求項８５】
前記顔認識システムに接続され、ドアを解錠するためのパスワードロック解除モジュールを更に含むことを特徴とする請求項７９〜８４のいずれか一項に記載の車載顔認証ロック解除システム。
【請求項８６】
前記パスワードロック解除モジュールは、タッチスクリーン及びキーボードのうちの１つ又は２つを含むことを特徴とする請求項８５に記載の車載顔認証ロック解除システム。
【請求項８７】
前記マイクロプロセッサ及び前記顔認識システムにそれぞれ接続される電池モジュールを更に含むことを特徴とする請求項７９〜８６のいずれか一項に記載の車載顔認証ロック解除システム。
【請求項８８】
請求項７９〜８７のいずれか一項に記載の車載顔認証ロック解除システムを含み、前記車載顔認証ロック解除システムは前記車両のドア領域コントローラに接続されることを特徴とする車両。
【請求項８９】
前記画像取得モジュールが前記車両の車室外部に設置されることを特徴とする請求項８８に記載の車両。
【請求項９０】
前記画像取得モジュールは、前記車両のＢピラー、少なくとも１つのドア、および少なくとも１つのバックミラーのうちの少なくとも１つに設置されることを特徴とする請求項８９に記載の車両。
【請求項９１】
前記顔認識システムは、前記車両内に設置され、ＣＡＮバスを介して前記ドア領域コントローラに接続されることを特徴とする請求項８８〜９０のいずれか一項に記載の車両。
【請求項９２】
前記少なくとも１つの距離センサは、前記車両内に設置されるブルートゥース距離センサを含むことを特徴とする請求項８８〜９１のいずれか一項に記載の車両。
【請求項９３】
前記少なくとも１つの距離センサは、前記車両の車室外部に設置される超音波距離センサを含むことを特徴とする請求項８８〜９２のいずれか一項に記載の車両。
【請求項９４】
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
前記プロセッサは請求項１〜３９のいずれか一項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項９５】
コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、請求項１〜３９のいずれか一項に記載の方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項９６】
コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードは、電子機器で動作すると、前記電子機器のプロセッサに請求項１〜３９のいずれか一項に記載の方法を実現するためのコマンドを実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本願は、２０１９年２月２８日に中国特許局に提出された、出願番号２０１９１０１５２５６８．８、発明の名称「車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【技術分野】
【０００２】
本開示は、車両技術に関し、特に、車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
現在、ユーザは車両のキーでドアを解錠する。したがって、車両のキーを持たなければならないという不便な問題が存在する。また、車両のキーの損壊、失効、紛失が発生するおそれがある。
【発明の概要】
【０００４】
本開示は、車両のドアロック解除の技術的解決手段を提供する。
【０００５】
本開示の一側面によれば、車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することと、前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することと、前記第１画像に基づいて顔認識を行うことと、顔認識の成功に応じて、前記車両の少なくとも１つのドアロックにドアロック解除コマンドを送信することと、を含む車両のドアロック解除方法を提供する。
【０００６】
本開示の別の側面によれば、車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得するための取得モジュールと、前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御するためのウェイクアップ制御モジュールと、前記第１画像に基づいて顔認識を行うための顔認識モジュールと、顔認識の成功に応じて、前記車両の少なくとも１つのドアロックにドアロック解除コマンドを送信するための送信モジュールと、を含む車両のドアロック解除装置を提供する。
【０００７】
本開示の別の側面によれば、メモリ、顔認識システム、画像取得モジュール及び人体近接監視システムを含み、前記顔認識システムは、前記メモリ、前記画像取得モジュール及び前記人体近接監視システムにそれぞれ接続され、前記人体近接監視システムは、距離が所定の条件を満たすと前記顔認識システムをウェイクアップするマイクロプロセッサ、及び前記マイクロプロセッサに接続される少なくとも１つの距離センサを含み、前記顔認識システムは、ドア領域コントローラに接続される通信インタフェースが更に設置され、顔認識が成功すると、前記通信インタフェースによって、前記ドア領域コントローラへドアを解錠するための制御情報を送信する車載顔認証ロック解除システムを提供する。
【０００８】
本開示の別の側面によれば、上記車載顔認証ロック解除システムを含み、上記車載顔認証ロック解除システムは上記車両のドア領域コントローラに接続される車両を提供する。
【０００９】
本開示の別の側面によれば、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは上記車両のドアロック解除方法を実行するように構成される電子機器を提供する。
【００１０】
本開示の別の側面によれば、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドはプロセッサにより実行されると、上記車両のドアロック解除方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。
【００１１】
本開示の別の側面によれば、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードは、電子機器で動作すると、前記電子機器のプロセッサに上記車両のドアロック解除方法を実現するためのコマンドを実行させるコンピュータプログラムを提供する。
【００１２】
本開示の実施例では、車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得し、前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御し、前記第１画像に基づいて顔認識を行い、顔認識の成功に応じて、前記車両の少なくとも１つのドアロックにドアロック解除コマンドを送信することにより、ドアロック解除のセキュリティ性を確保した上で、ドアロック解除の利便性を高めることができる。
【００１３】
以上の一般的な説明と以下の詳細な説明は、例示的及び説明的なものに過ぎず、本開示を制限するものではないと理解すべきである。
【００１４】
本開示の他の特徴および側面は、以下の図面を参照しながら例示的な実施例を詳細に説明することによって明らかになる。
【図面の簡単な説明】
【００１５】
ここで、本明細書の一部として組み込まれる図面は、本開示に適する実施例を示すものであり、明細書と共に本開示の技術的手段を説明するために用いられる。
【００１６】
【図１】本開示の実施例に係る車両のドアロック解除方法のフローチャートを示す。
【図２】車両のＢピラーの模式図を示す。
【図３】本開示の実施例に係る車両のドアロック解除方法における車両のドアロック解除装置の取付高さと識別可能な身長範囲の模式図を示す。
【図４】本開示の実施例に係る車両のドアロック解除方法における超音波距離センサの水平方向検知角度及び超音波距離センサの検知半径の模式図を示す。
【図５ａ】本開示の実施例に係る車両のドアロック解除方法における画像センサ及び深度センサの模式図を示す。
【図５ｂ】本開示の実施例に係る車両のドアロック解除方法における画像センサ及び深度センサの別の模式図を示す。
【図６】本開示の実施例に係る生体検出方法の一例の模式図を示す。
【図７】本開示の実施例に係る生体検出方法において第１画像及び第２深度マップに基づいて第１画像における目標対象物の生体検出結果を決定する一例の模式図を示す。
【図８】本開示の実施例に係る車両のドアロック解除方法における深度予測ニューラルネットワークの模式図を示す。
【図９】本開示の実施例に係る車両のドアロック解除方法における関連度検出ニューラルネットワークの模式図を示す。
【図１０】本開示の実施例に係る車両のドアロック解除方法における深度マップ更新の例示的な模式図を示す。
【図１１】本開示の実施例に係る車両のドアロック解除方法における周辺画素の模式図を示す。
【図１２】本開示の実施例に係る車両のドアロック解除方法における周辺画素の別の模式図を示す。
【図１３】本開示の実施例に係る車両のドアロック解除装置のブロック図を示す。
【図１４】本開示の実施例に係る車載顔認証ロック解除システムのブロック図を示す。
【図１５】本開示の実施例に係る車載顔認証ロック解除システムの模式図を示す。
【図１６】本開示の実施例に係る車両の模式図を示す。
【図１７】例示的な一実施例に示す電子機器８００のブロック図である。
【発明を実施するための形態】
【００１７】
以下に、図面を参照しながら本開示の様々な例示的な実施例、特徴および側面を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を示す。図面において実施例の様々な側面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
【００１８】
ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は他の実施例より好ましいまたは優れるものであると理解すべきではない。
【００１９】
本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書における用語「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。
【００２０】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的な詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路について詳細な説明を行わない。
【００２１】
図１は本開示の実施例に係る車両のドアロック解除方法のフローチャートを示す。この車両のドアロック解除方法は、車両のドアロック解除装置により実行されるようにしてもよい。例えば、この車両のドアロック解除装置は、車両のＢピラー、少なくとも１つのドア、および少なくとも１つのバックミラーのうちの少なくとも１つに取り付けられるようにしてもよい。図２は車両のＢピラーの模式図を示す。例えば、車両のドアロック解除装置は、Ｂピラーに地面から１３０ｃｍ〜１６０ｃｍ離れる箇所に取り付けられ、その水平認識距離が３０ｃｍ〜１００ｃｍであるようにしてもよいが、ここでこれを限定しない。図３は本開示の実施例に係る車両のドアロック解除方法における車両のドアロック解除装置の取付高さと認識可能な身長範囲の模式図を示す。図３に示す例において、車両のドアロック解除装置の取付高さが１６０ｃｍであり、認識可能な身長範囲が１４０ｃｍ〜１９０ｃｍである。
【００２２】
可能な一実施形態では、この車両のドアロック解除方法は、プロセッサによりメモリに記憶されているコンピュータ読み取り可能なコマンドを呼び出すことによって実現されるようにしてもよい。
【００２３】
図１に示すように、この車両のドアロック解除方法は、ステップＳ１１〜ステップＳ１４を含む。
【００２４】
ステップＳ１１において、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得する。
【００２５】
可能な一実施形態では、少なくとも１つの距離センサは、ブルートゥース距離センサを含み、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得することは、外部装置とブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、ブルートゥースによるペアリング接続の成功に応じて、ブルートゥース距離センサによって外部装置を持っている目標対象物と車両との間の第１距離を取得することと、を含む。
【００２６】
この実施形態では、外部装置は、例えば、携帯電話、ウェアラブルデバイス又は電子キー等ブルートゥース機能付きのいかなる携帯型装置であってもよい。ここで、ウェアラブルデバイスは、スマートブレスレット又はスマートグラス等であってもよい。
【００２７】
一例において、少なくとも１つの距離センサがブルートゥース距離センサを含む場合に、ＲＳＳＩ（Ｒｅｃｅｉｖｅｄ  Ｓｉｇｎａｌ  Ｓｔｒｅｎｇｔｈ  Ｉｎｄｉｃａｔｉｏｎ、受信信号強度インジケーション）によって外部装置を持っている目標対象物と車両との間の第１距離を計測するようにしてもよい。ここで、ブルートゥースによる距離測定範囲が１〜１００ｍである。例えば、外部装置を持っている目標対象物と車両との間の第１距離が式１によって決定されるようにしてもよい。
【数１】
2021516646.tif 000003
ただし、
【数２】
2021516646.tif 000004
は現在のＲＳＳＩを示し、
【数３】
2021516646.tif 000005
はマスタとスレーブと（ブルートゥース距離センサと外部装置と）の距離が１ｍである場合のＲＳＳＩを示し、
【数４】
2021516646.tif 000006
は温度、湿度等の環境要素に関連する伝搬係数を示し、
【数５】
2021516646.tif 000007
は外部装置を持っている目標対象物とブルートゥース距離センサとの間の第１距離を示す。
【００２８】
一例において、
【数６】
2021516646.tif 000008
が環境の変化に伴って変化する。異なる環境において、距離を測定する前に、環境要素（例えば、温度及び湿度）に応じて
【数７】
2021516646.tif 000009
を調整する必要がある。環境要素に応じて
【数８】
2021516646.tif 000010
を調整することにより、異なる環境においてブルートゥースによる距離測定の正確性を高めることができる。
【００２９】
一例において、
【数９】
2021516646.tif 000011
は異なる外部装置に応じて校正される必要がある。異なる外部装置に応じて
【数１０】
2021516646.tif 000012
を校正することにより、異なる外部装置に対してブルートゥースによる距離測定の正確性を高めることができる。
【００３０】
一例において、ブルートゥース距離センサで検出された第１距離を複数回取得し、複数回取得された第１距離の平均値に基づいて所定の条件を満たすか否かを判定するようにしてもよい。これにより、一回の距離測定に比べて、誤差を小さくすることができる。
【００３１】
この実施形態では、外部装置とブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することにより、ブルートゥース認証が追加され、ドアロック解除のセキュリティ性を高めることができる。
【００３２】
可能な別の一実施形態では、少なくとも１つの距離センサは、超音波距離センサを含み、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得することは、車両の車室外部に設置される超音波距離センサによって目標対象物と車両との間の第２距離を取得することを含む。
【００３３】
一例において、超音波による距離測定範囲は０．１〜１０ｍであり、測定の精度は１ｃｍである。超音波による距離測定の公式は式３で表されてもよい。
【数１１】
2021516646.tif 000013
ただし、Ｌは第２距離を示し、Ｃは空气中での超音波の伝播速度を示し、Ｔｕは超音波の送信時間と受信時間の時間差の１／２と等しい。
【００３４】
ステップＳ１２において、距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御する。
【００３５】
可能な一実施形態では、所定の条件は、距離が所定の距離閾値より小さいことと、距離が所定の距離閾値より小さくなる持続時間が所定の時間閾値に達することと、持続時間の期間に取得される距離が、目標対象物が車両に近づいていることを示すこととのうちの少なくとも１つを含む。
【００３６】
一例において、所定の条件は、距離が所定の距離閾値より小さいことである。例えば、ブルートゥース距離センサにより複数回検出した第１距離の平均値が距離閾値より小さくなると、所定の条件を満たすと判定する。例えば、距離閾値が５ｍである。
【００３７】
別の例において、所定の条件は、距離が所定の距離閾値より小さくなる持続時間が所定の時間閾値に達することである。例えば、超音波距離センサにより検出した第２距離を取得する場合に、第２距離が距離閾値より小さくなる持続時間が時間閾値に達すると、所定の条件を満たすと判定する。
【００３８】
可能な一実施形態では、少なくとも１つの距離センサは、ブルートゥース距離センサ及び超音波距離センサを含み、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得することは、外部装置とブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、ブルートゥースによるペアリング接続の成功に応じて、ブルートゥース距離センサによって外部装置を持っている目標対象物と車両との間の第１距離を取得することと、超音波距離センサによって目標対象物と車両との間の第２距離を取得することと、を含み、距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御することは、第１距離及び第２距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御することを含む。
【００３９】
この実施形態では、ブルートゥース距離センサと超音波距離センサを協働させることにより、ドアロック解除のセキュリティ性を高めることができる。
【００４０】
可能な一実施形態では、所定の条件は、第１所定の条件及び第２所定の条件を含み、第１所定の条件は、第１距離が所定の第１距離閾値より小さいことと、第１距離が所定の第１距離閾値より小さくなる持続時間が所定の時間閾値に達することと、持続時間の期間に取得される第１距離が、目標対象物が車両に近づいていることを示すこととのうちの少なくとも１つを含み、第２所定の条件は、第２距離が第１距離閾値より小さい所定の第２距離閾値より小さいことと、第２距離が所定の第２距離閾値より小さくなる持続時間が所定の時間閾値に達することとを含む。
【００４１】
可能な一実施形態では、第１距離及び第２距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御することは、第１距離が第１所定の条件を満たすことに応じて、車両に設置される顔認識システムをウェイクアップすることと、第２距離が第２所定の条件を満たすことに応じて、ウェイクアップされた顔認識システムによって、目標対象物の第１画像を取得するように画像取得モジュールを制御することと、を含む。
【００４２】
顔認識システムのウェイクアップは通常、いくらかの時間、例えば４〜５秒がかかるため、顔認識トリガ及び処理が遅くしてしまい、ユーザ体験に影響を与える。上記実施形態では、ブルートゥース距離センサと超音波距離センサを組み合わせることにより、顔認識システムは、ブルートゥース距離センサで取得された第１距離が第１所定の条件を満たすと、ウェイクアップされて早期に動作可能状態となり、超音波距離センサで取得された第２距離が第２所定の条件を満たすと、顔画像処理を迅速に実行することができる。このように、顔認識の効率を高め、ユーザ体験を改善することができる。
【００４３】
可能な一実施形態では、距離センサは超音波距離センサであり、所定の距離閾値は、算出されて得た、車両外の目標対象物と車両との間の距離の閾値の基準値を示す距離閾値基準値、及び車両外の目標対象物と車両との間の距離の閾値のオフセット値を示す所定の距離閾値オフセット値に基づいて決定される。
【００４４】
一例において、距離オフセット値は人の立ちで占められる距離に基づいて決定されるようにしてもよい。例えば、距離オフセット値は、初期化時にデフォルト値が設定される。例えば、デフォルト値が１０ｃｍとなる。
【００４５】
可能な一実施形態では、所定の距離閾値は距離閾値基準値と所定の距離閾値オフセット値との差に等しい。例えば、距離閾値基準値を
【数１２】
2021516646.tif 000014
とし、距離閾値オフセット値を
【数１３】
2021516646.tif 000015
とすると、所定の距離閾値は式４によって決定されてもよい。
【数１４】
2021516646.tif 000016
【００４６】
距離閾値基準値及び距離閾値オフセット値に基づいて所定の距離閾値を決定する態様について、上記のように所定の距離閾値が距離閾値基準値と距離閾値オフセット値との差に等しいことを例として説明したが、当業者であれば、本開示においてこれに限定されないと理解できる。当業者であれば、実際の適用シーンの要求及び／又は個人的な好みに応じて、所定の距離閾値を距離閾値基準値及び距離閾値オフセット値に基づいて決定する具体的な実現態様を柔軟に設定することができる。例えば、所定の距離閾値は、距離閾値基準値と距離閾値オフセット値の和に等しいようにしてもよい。また、例えば、距離閾値基準値と、距離閾値オフセット値と第５所定係数の積との差を所定の距離閾値として決定するようにしてもよい。
【００４７】
一例において、距離閾値基準値は、車両のイグニッションオフ後の特定期間の車両外の対象物と車両との間の距離の平均値を示す車両のイグニッションオフ後の距離平均値と、ドアロック解除可能な最大距離のうちの最小値を取る。例えば、車両のイグニッションオフ後の特定期間を車両のイグニッションオフ後のＮ秒とすれば、車両のイグニッションオフ後の特定期間に距離センサにより検出した距離の平均値が
【数１５】
2021516646.tif 000017
となり、ただし、
【数１６】
2021516646.tif 000018
は、距離センサから取得された
【数１７】
2021516646.tif 000019
時刻の距離値を示す。例えば、ドアロック解除可能な最大距離を
【数１８】
2021516646.tif 000020
とすると、距離閾値基準値は式５によって決定されてもよい。
【数１９】
2021516646.tif 000021
即ち、距離閾値基準値は、車両のイグニッションオフ後の距離平均値
【数２０】
2021516646.tif 000022
とドアロック解除可能な最大距離
【数２１】
2021516646.tif 000023
のうちの最小値を取る。
【００４８】
別の例において、距離閾値基準値は車両のイグニッションオフ後の距離平均値と等しい。この例において、ドアロック解除可能な最大距離を考慮せずに、車両のイグニッションオフ後の距離平均値のみに基づいて距離閾値基準値を決定する。
【００４９】
別の例において、距離閾値基準値はドアロック解除可能な最大距離と等しい。この例において、車両のイグニッションオフ後の距離平均値を考慮せずに、ドアロック解除可能な最大距離のみに基づいて距離閾値基準値を決定する。
【００５０】
可能な一実施形態では、距離閾値基準値は周期的に更新される。例えば、距離閾値基準値の更新周期は５分であり、即ち、距離閾値基準値を５分ごとに更新するようにしてもよい。距離閾値基準値を周期的に更新することにより、異なる環境に適応可能となる。
【００５１】
可能な別の一実施形態では、決定された距離閾値基準値を更新しなくてもよい。
【００５２】
可能な別の一実施形態では、所定の距離閾値はデフォルト値に設定されてもよい。
【００５３】
可能な一実施形態では、距離センサは超音波距離センサであり、所定の時間閾値は、算出されて得た、車両外の対象物と車両との間の距離が所定の距離閾値より小さくなる時間の閾値の基準値を示す時間閾値基準値、及び車両外の対象物と車両との間の距離が所定の距離閾値より小さくなる時間の閾値のオフセット値を示す時間閾値オフセット値に基づいて決定される。
【００５４】
いくつかの実施例では、時間閾値オフセット値は実験的に決定されてもよい。一例において、時間閾値オフセット値は、時間閾値基準値の１／２にデフォルトで設定されてもよい。当業者であれば、実際の適用シーンの要求及び／又は個人的な好みに応じて時間閾値オフセット値を柔軟に設定することができ、ここで限定しない。
【００５５】
可能な別の一実施形態では、所定の時間閾値はデフォルト値に設定されてもよい。
【００５６】
可能な一実施形態では、所定の時間閾値は時間閾値基準値と時間閾値オフセット値との和に等しい。例えば、時間閾値基準値を
【数２２】
2021516646.tif 000024
とし、時間閾値オフセット値を
【数２３】
2021516646.tif 000025
とすると、所定の時間閾値は式６によって決定されてもよい。
【数２４】
2021516646.tif 000026
【００５７】
時間閾値基準値及び時間閾値オフセット値に基づいて所定の時間閾値を決定する態様について、上記のように所定の時間閾値が時間閾値基準値と時間閾値オフセット値との和に等しいことを例として説明したが、当業者であれば、本開示においてこれに限定されないと理解できる。当業者であれば、実際の適用シーンの要求及び／又は個人的な好みに応じて、所定の時間閾値を時間閾値基準値及び時間閾値オフセット値に基づいて決定する具体的な実現態様を柔軟に設定することができる。例えば、所定の時間閾値は、時間閾値基準値と時間閾値オフセット値との差に等しいようにしてもよい。また、例えば、時間閾値オフセット値と第６所定係数との積と、時間閾値基準値との和を所定の時間閾値として決定するようにしてもよい。
【００５８】
可能な一実施形態では、時間閾値基準値は超音波距離センサの水平方向検知角度、超音波距離センサの検知半径、対象物サイズ及び対象物速度のうちの１つ又は複数に基づいて決定される。
【００５９】
図４は本開示の実施例に係る車両のドアロック解除方法における超音波距離センサの水平方向検知角度及び超音波距離センサの検知半径の模式図を示す。例えば、時間閾値基準値は、超音波距離センサの水平方向検知角度、超音波距離センサの検知半径、少なくとも１種の目標対象物サイズ及び少なくとも１種の目標対象物速度に基づいて決定される。超音波距離センサの検知半径は、超音波距離センサの水平方向の検知半径としてもよい。超音波距離センサの検知半径は、ドアロック解除可能な最大距離、例えば１ｍと等しいようにしてもよい。
【００６０】
他の例において、時間閾値基準値は、デフォルト値に設定されてもよいし、他のパラメータに基づいて決定されてもよく、ここで限定されない。
【００６１】
可能な一実施形態では、この方法は、種別ごとの対象物サイズ、種別ごとの対象物速度、超音波距離センサの水平方向検知角度及び超音波距離センサの検知半径に基づいて、種別ごとの対象物に対応する候補基準値を決定することと、種別ごとの対象物に対応する候補基準値から時間閾値基準値を決定することと、を更に含む。
【００６２】
例えば、種別は、歩行者種別、自転車種別及びオートバイ種別等を含んでもよい。対象物サイズは、対象物の幅であるようにしてもよい。例えば、歩行者種別の対象物サイズは歩行者の幅の経験値で、自転車種別の対象物サイズは自転車の幅の経験値等であるようにしてもよい。対象物速度は対象物速度の経験値であるようにしてもてよい。例えば、歩行者種別の対象物速度は歩行者の歩行速度の経験値であるようにしてもよい。
【００６３】
一例において、種別ごとの対象物サイズ、種別ごとの対象物速度、超音波距離センサの水平方向検知角度及び超音波距離センサの検知半径に基づいて、種別ごとの対象物に対応する候補基準値を決定することは、式２を用いて種別
【数２５】
2021516646.tif 000027
の対象に対応する候補基準値
【数２６】
2021516646.tif 000028
を決定することを含む。
【数２７】
2021516646.tif 000029
ただし、
【数２８】
2021516646.tif 000030
は距離センサの水平方向検知角度を示し、
【数２９】
2021516646.tif 000031
は距離センサの検知半径を示し、
【数３０】
2021516646.tif 000032
は種別
【数３１】
2021516646.tif 000033
の対象物サイズを示し、
【数３２】
2021516646.tif 000034
は種別
【数３３】
2021516646.tif 000035
の対象物速度を示す。
【００６４】
種別ごとの対象物サイズ、種別ごとの対象物速度、超音波距離センサの水平方向検知角度及び超音波距離センサの検知半径に基づいて、種別ごとの対象物に対応する候補基準値を決定する態様について、上記のように式２を例として説明したが、当業者であれば、本開示においてこれに限定されないと理解できる。例えば、当業者は実際の適用シーンの要求に応じて式２を調整することができる。
【００６５】
可能な一実施形態では、種別ごとの対象物に対応する候補基準値から時間閾値基準値を決定することは、種別ごとの対象物に対応する候補基準値のうちの最大値を時間閾値基準値として決定することを含む。
【００６６】
他の例において、種別ごとの対象物に対応する候補基準値の平均値を時間閾値基準値として決定してもよいし、種別ごとの対象物に対応する候補基準値のうちの１つを時間閾値基準値としてランダムに選択してもよいが、ここで限定されない。
【００６７】
いくかの実施例では、所定の時間閾値は、体験に影響を与えないように１秒より小さく設定される。一例では、超音波距離センサの水平方向検知角度を小さくすることにより、歩行者、自転車等の通過による干渉を減少することができる。
【００６８】
本開示の実施例では、環境に応じて所定の時間閾値を動的に更新しないようにしてもよい。
【００６９】
本開示の実施例では、距離センサは、長時間にわたって低消費電力（＜５ｍＡ）で動作することができる。
【００７０】
ステップＳ１３において、第１画像に基づいて顔認識を行う。
【００７１】
可能な一実施形態では、顔認識は、生体検出及び顔認証を含み、第１画像に基づいて顔認識を行うことは、画像取得モジュールの画像センサによって第１画像を取得し、第１画像及び予め登録された顔特徴に基づいて顔認証を行うことと、画像取得モジュールの深度センサによって第１画像に対応する第１深度マップを取得し、第１画像及び第１深度マップに基づいて生体検出を行うことと、を含む。
【００７２】
本開示の実施例では、第１画像は目標対象物を含む。ここで、目標対象物は、顔又は人体の少なくとも一部であってもよく、本開示の実施例においてこれについて限定しない。
【００７３】
ここで、第１画像は静的画像又はビデオフレームの画像であってもよい。例えば、ビデオシーケンスから選択された画像を第１画像とし、また、様々な方式でビデオシーケンスから画像を選択することができる。具体的な一例では、第１画像は、ビデオシーケンスから選択された所定の品質条件を満たす画像であり、この所定の品質条件は、目標対象物を含むか否か、目標対象物が画像の中心領域に位置するか否か、目標対象物が完全に画像に含まれるか否か、目標対象物が画像に占める比率、目標対象物の状態（例えば顔角度）、画像鮮明度、画像露光度等のうちの１つ又は任意の組合せを含んでもよく、本開示の実施例においてこれらについて限定しない。
【００７４】
一例において、生体検出を行ってから顔認証を行うようにしてもよい。例えば、目標対象物が生体であることを示す目標対象物の生体検出結果である場合、顔認証フローがトリガされ、目標対象物が補綴であることを示す目標対象物の生体検出結果である場合、顔認証フローがトリガされない。
【００７５】
別の例において、顔認証を行ってから生体検出を行うようにしてもよい。例えば、顔認証が成功する場合、生体検出フローがトリガされ、顔認証が失敗する場合、生体検出フローがトリガされない。
【００７６】
別の例において、生体検出と顔認証を同時に行うようにしてもよい。
【００７７】
この実施形態では、生体検出は、目標対象物が生体であるか否かを検証するためのものであり、例えば、目標対象物が人体であるか否かを検証することができる。顔認証は、取得された画像における顔特徴を抽出し、取得された画像における顔特徴を予め登録された顔特徴と照合し、同一の人の顔特徴であるか否かを判断するためのものであり、例えば、取得された画像における顔特徴が車両所有者の顔特徴であるか否かを判断することができる。
【００７８】
本開示の実施例では、深度センサとは深度情報を取得するためのセンサを指す。本開示の実施例は深度センサの動作原理及び動作波長帯を限定しない。
【００７９】
本開示の実施例では、画像取得モジュールの画像センサと深度センサは、別々に設置されてもよく、一体的に設置されてもよい。例えば、画像取得モジュールの画像センサと深度センサは、画像センサがＲＧＢ（Ｒｅｄ、赤；Ｇｒｅｅｎ、緑；Ｂｌｕｅ、青）センサ又は赤外線センサを採用し、深度センサが両眼赤外線センサ又はＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ、飛行時間）センサを採用するように別々に設置さてもよく、画像取得モジュールがＲＧＢＤ（Ｒｅｄ、赤；Ｇｒｅｅｎ、緑；Ｂｌｕｅ、青；Ｄｅｅｐ、深度）センサを用いて画像センサと深度センサの機能を実現するように一体的に設置されてもよい。
【００８０】
一例として、画像センサは、ＲＧＢセンサである。画像センサがＲＧＢセンサである場合、画像センサで取得された画像はＲＧＢ画像である。
【００８１】
別の例として、画像センサは赤外線センサである。画像センサが赤外線センサである場合、画像センサで取得された画像は赤外線画像である。ここで、赤外線画像は、スポットのあるものであってもよく、スポットのないものであってもよい。
【００８２】
他の例において、画像センサは他の種別のセンサであってもよく、本開示の実施例においてこれについて限定しない。
【００８３】
選択可能的に、車両のドアロック解除装置は、様々な方式で第１画像を取得することができる。例えば、いくつかの実施例では、車両のドアロック解除装置にカメラが設置されており、車両のドアロック解除装置はカメラによって静的画像又はビデオストリームを取得して第１画像を得る。本開示の実施例において、第１画像の取得方式について限定しない。
【００８４】
一例として、深度センサは三次元センサである。例えば、深度センサは、２つの赤外線カメラを含む両眼赤外線センサ、飛行時間ＴＯＦセンサ又は構造化光センサである。構造化光センサは、コード化構造化光センサ又はスペックル構造化光センサであってもよい。深度センサによって目標対象物の深度マップを取得することにより、高精度の深度マップを取得することができる。本開示の実施例は、目標対象物を含む深度マップを用いて生体検出を行うことにより、目標対象物の深度情報を十分に発見することができ、生体検出の正確性を高めることができる。例えば、目標対象物が顔である場合、本開示の実施例は、顔を含む深度マップを用いて生体検出を行うことにより、顔データの深度情報を十分に発見することができ、生体顔検出の正確性を高めることができる。
【００８５】
一例において、ＴＯＦセンサは赤外線波長域に基づくＴＯＦモジュールを用いる。この例において、赤外線波長域に基づくＴＯＦモジュールを用いることにより、外部の光線による深度マップの撮影への影響を低減することができる。
【００８６】
本開示の実施例では、第１深度マップと第１画像は対応するものである。例えば、第１深度マップ及び第１画像は、それぞれ深度センサ及び画像センサにより同一シーンに対して取得されたものであり、又は、深度センサ及び画像センサにより同一時刻で同一目標領域に対して取得されたものであるが、本開示の実施例はこれについて限定しない。
【００８７】
図５ａは本開示の実施例に係る車両のドアロック解除方法における画像センサ及び深度センサの模式図を示す。図５ａに示す例において、画像センサはＲＧＢセンサであり、画像センサのカメラはＲＧＢカメラであり、深度センサは、両眼赤外線センサであり、画像センサのＲＧＢカメラの両側に設置される２つの赤外線（ＩＲ）カメラを含む。ここで、２つの赤外線カメラは、両眼視差の原理に基づいて深度情報を取得する。
【００８８】
一例において、画像取得モジュールは、両眼赤外線センサの赤外線カメラと画像センサのカメラとの間に設置されるものであって、画像センサ用の補光ライト及び深度センサ用の補光ライトのうちの少なくとも一方を含む少なくとも１つの補光ライトを更に含む。例えば、画像センサがＲＧＢセンサである場合、画像センサ用の補光ライトはホワイトライトであり、画像センサが赤外線センサである場合、画像センサ用の補光ライトは赤外線ライトであり、深度センサが両眼赤外線センサである場合、深度センサ用の補光ライトは赤外線ライトであるようにしてもよい。図５ａに示す例において、両眼赤外線センサの赤外線カメラと画像センサのカメラとの間に赤外線ライトが設置されている。例えば、赤外線ライトは、９４０ｎｍの赤外線を用いるようにしてもよい。
【００８９】
一例において、補光ライトはノーマルオープンモードとしてもよい。この例において、画像取得モジュールのカメラが動作状態にある時に、補光ライトはオン状態にある。
【００９０】
別の例において、光線が足りない場合に補光ライトをオンにしてもよい。例えば、環境光センサによって環境光強度を取得し、環境光強度が光強度閾値より低い場合に光線が足りないと判定し、補光ライトをオンにするようにしてもよい。
【００９１】
図５ｂは本開示の実施例に係る車両のドアロック解除方法における画像センサ及び深度センサの別の模式図を示す。図５ｂに示す例において、画像センサはＲＧＢセンサであり、画像センサのカメラはＲＧＢカメラであり、深度センサはＴＯＦセンサである。
【００９２】
一例において、画像取得モジュールは、深度センサのカメラと画像センサのカメラとの間に設置されるレーザーを更に含む。例えば、レーザーがＴＯＦセンサのカメラとＲＧＢセンサのカメラとの間に設置される。例えば、レーザーはＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ  Ｃａｖｉｔｙ  Ｓｕｒｆａｃｅ  Ｅｍｉｔｔｉｎｇ  Ｌａｓｅｒ、垂直共振器面発光レーザ）であり、ＴＯＦセンサはＶＣＳＥＬから発生したレーザー光によって深度マップを取得する。
【００９３】
本開示の実施例では、深度センサは深度マップを取得するためものであり、画像センサは二次元画像を取得するためのものである。ＲＧＢセンサ及び赤外線センサを例として画像センサを説明し、両眼赤外線センサ、ＴＯＦセンサ及び構造化光センサを例として深度センサを説明したが、当業者であれば、本開示の実施例においてこれに限定されないと理解できる。当業者であれば、実際の適用の要求に応じて画像センサ及び深度センサの種類を選択してもよく、二次元画像及び深度マップの取得をそれぞれ実現できればよい。
【００９４】
ステップＳ１４において、顔認識の成功に応じて、車両の少なくとも１つのドアロックにドアロック解除コマンドを送信する。
【００９５】
一例において、車両のドアロック解除装置のＳｏＣは、ドア領域コントローラにドアロック解除コマンドを送信して、ドアを解錠するように制御することができる。
【００９６】
本開示の実施例におけるドアは、出入りのためのドア（例えば、左前ドア、右前ドア、左後ドア、右後ドア）を含んでもよく、車両のトランクのドア等を含んでもよい。それに応じて、前記少なくとも１つのドアロックは、左前ドアロック、右前ドアロック、左後ドアロック、右後ドアロック及びトランクのドアロック等のうちの少なくとも１つを含んでもよい。
【００９７】
可能な一実施形態では、前記顔認識は、権限認証を更に含み、前記の第１画像に基づいて顔認識を行うことは、第１画像に基づいて前記目標対象物の解錠権限情報を取得することと、前記目標対象物の解錠権限情報に基づいて権限認証を行うことと、を含む。この実施形態によれば、異なるユーザに対して異なる解錠権限情報を設定することができ、車両のセキュリティ性を高めることができる。
【００９８】
この実施形態の一例として、前記目標対象物の解錠権限情報は、前記目標対象物に解錠権限が持たれるドアの情報、前記目標対象物の解錠権限の期間、前記目標対象物に対応する解錠権限の回数のうちの１つ又は複数を含む。
【００９９】
例えば、前記目標対象物に解錠権限が持たれるドアの情報は、全てのドア又は一部のドアとしてもよい。例えば、車両所有者や車両所有者の家族、友達に解錠権限が持たれるドアは全てのドアであり、配達員や物件管理スタッフに解錠権限が持たれるドアはトランクのドアであるようにしてもよい。ただし、車両所有者により他人に解錠権限が持たれるドアの情報を設定してもよい。例えば、配車サービスのシーンでは、乗客に解錠権限が持たれるドアは運転席以外のドア及びトランクのドアであるようにしてもよい。
【０１００】
例えば、目標対象物の解錠権限の期間は、全ての時間帯としてもよく、所定の時間帯としてもよい。例えば、車両所有者や車両所有者の家族の解錠権限の期間は、全ての時間帯であるようにしてもよい。車両所有者により他人に解錠権限の期間を設定してもよい。例えば、車両所有者は、車両を友達に貸すシーンでは、友達の解錠権限の期間を２日間に設定してもよい。また例えば、車両所有者は、配達員から連絡された後、配達員の解錠権限の期間を２０１９年９月２９日１３：００−１４：００に設定してもよい。また例えば、レンタカーのシーンでは、お客様が車両を３日間賃借りすれば、レンタカースタッフはこのお客様の解錠権限の期間を３日間に設定してもよい。また例えば、配車サービスのシーンでは、乗客の解錠権限の期間を旅行注文書に記載されているサービス期間にしてもよい。
【０１０１】
例えば、目標対象物に対応する解錠権限の回数は、無限回数又は有限回数にしてもよい。例えば、車両所有者や車両所有者の家族、友達に対応する解錠権限の回数は、無限回数にしてもよい。また例えば、配達員に対応する解錠権限の回数は、有限回数、例えば１回にしてもよい。
【０１０２】
可能な一実施形態では、第１画像及び第１深度マップに基づいて生体検出を行うことは、第１画像に基づいて第１深度マップを更新して、第２深度マップを得ることと、第１画像及び第２深度マップに基づいて目標対象物の生体検出結果を決定することと、を含む。
【０１０３】
具体的には、第１画像に基づいて第１深度マップにおける１つ又は複数の画素の深度値を更新して、第２深度マップを得る。
【０１０４】
いくつかの実施例では、第１画像に基づいて第１深度マップにおける深度失効画素の深度値を更新して、第２深度マップを得る。
【０１０５】
ここで、深度マップにおける深度失効画素とは、深度マップに含まれ、無効な深度値を有する画素、即ち正確でない深度値又は現実に明らか合わない深度値を有する画素を指してもよい。深度失効画素の数は１つ又は複数であってもよい。深度マップにおける少なくとも１つの深度失効画素の深度値を更新することにより、深度失効画素の深度値がより正確になり、生体検出の正確率を高めることに寄与する。
【０１０６】
いくつかの実施例では、第１深度マップは欠損値のある深度マップであり、第１画像に基づいて第１深度マップを修復することによって第２深度マップを得る。ここで、選択可能的に、第１深度マップの修復には、欠損画素の深度値の決定又は補完を含むが、本開示の実施例はこれに限定されない。
【０１０７】
本開示の実施例では、様々な方式で第１深度マップを更新又は修復することができる。いくつかの実施例では、第１画像を直接用いて生体検出を行い、例えば、第１画像を直接用いて第１深度マップを更新する。他のいくつかの実施例では、第１画像を前処理し、前処理後の第１画像に基づいて生体検出を行う。例えば、第１画像から目標対象物の画像を取得し、目標対象物の画像に基づいて第１深度マップを更新する。
【０１０８】
様々な方式で第１画像から目標対象物の画像を切り出すことができる。一例として、第１画像に対して目標検出を行って目標対象物の位置情報、例えば目標対象物の境界ボックス（ｂｏｕｎｄｉｎｇ  ｂｏｘ）の位置情報を得、目標対象物の位置情報に基づいて第１画像から目標対象物の画像を切り出す。例えば、第１画像から目標対象物の境界ボックスの所在する領域の画像を目標対象物の画像として切り出し、また例えば、目標対象物の境界ボックスを一定の倍数で拡大し、第１画像から拡大された境界ボックスの所在する領域の画像を目標対象物の画像として切り出す。別の例として、第１画像における目標対象物のキーポイント情報を取得し、目標対象物のキーポイント情報に基づいて第１画像から目標対象物の画像を取得する。
【０１０９】
選択可能的に、第１画像に対して目標検出を行って目標対象物の所在領域の位置情報を得、目標対象物の所在領域の画像に対してキーポイント検出を行って第１画像における目標対象物のキーポイント情報を得る。
【０１１０】
選択可能的に、目標対象物のキーポイント情報は、目標対象物の複数のキーポイントの位置情報を含んでもよい。目標対象物が顔である場合、目標対象物のキーポイントは、目のキーポイント、眉のキーポイント、鼻のキーポイント、口のキーポイント及び顔輪郭のキーポイント等のうちの１つ又は複数を含んでもよい。ここで、目のキーポイントは、目輪郭のキーポイント、目尻のキーポイント及び瞳のキーポイント等のうちの１つ又は複数を含んでもよい。
【０１１１】
一例において、目標対象物のキーポイント情報に基づいて目標対象物の輪郭を決定し、目標対象物の輪郭に基づいて第１画像から目標対象物の画像を切り出す。目標検出によって得られた目標対象物の位置情報と比べると、キーポイント情報によって得られた目標対象物の位置がより正確であり、後続の生体検出の正確率の向上に寄与する。
【０１１２】
選択可能的に、第１画像における目標対象物のキーポイントに基づいて第１画像における目標対象物の輪郭を決定し、第１画像における目標対象物の輪郭の所在する領域の画像、又は目標対象物の輪郭の所在する領域が一定の倍数で拡大された領域の画像を、目標対象物の画像として決定するようにしてもよい。例えば、第１画像において目標対象物のキーポイントに基づいて決定された楕円形領域を目標対象物の画像として決定するか、または第１画像において目標対象物のキーポイントに基づいて決定された楕円形領域の最小外接矩形領域を目標対象物の画像として決定するようにしてもよいが、本開示の実施例は目標対象物の画像の取得方式を限定しない。
【０１１３】
このように、第１画像から目標対象物の画像を取得し、目標対象物の画像に基づいて生体検出を行うことにより、第１画像における背景情報による生体検出への干渉を低減することができる。
【０１１４】
本開示の実施例では、取得された元の深度マップに対して更新処理を行うようにしてもよい。あるいは、いくつかの実施例では、第１深度マップから目標対象物の深度マップを取得し、第１画像に基づいて目標対象物の深度マップを更新して第２深度マップを得る。
【０１１５】
一例として、第１画像における目標対象物の位置情報を取得し、目標対象物の位置情報に基づいて第１深度マップから目標対象物の深度マップを取得する。ここで、選択可能的に、予め第１深度マップ及び第１画像に対してレジストレーション又は位置合わせ処理を行ってもよい。本開示の実施例は目標対象物の深度マップの取得方式を限定しない。
【０１１６】
このように、第１深度マップから目標対象物の深度マップを取得し、第１画像に基づいて目標対象物の深度マップを更新して第２深度マップを得ることにより、第１深度マップにおける背景情報による生体検出への干渉を低減することができる。
【０１１７】
いくつかの実施例では、第１画像及び第１画像に対応する第１深度マップが取得された後、画像センサのパラメータ及び深度センサのパラメータに基づいて、第１画像と第１深度マップの位置合わせをする。
【０１１８】
一例として、第１深度マップに対して変換処理を行って、変換処理後の第１深度マップと第１画像の位置合わせをるようにしてもよい。例えば、深度センサのパラメータ及び画像センサのパラメータに基づいて第１変換行列を決定し、第１変換行列に基づいて第１深度マップに対して変換処理を行うようにしてもよい。それに応じて、第１画像の少なくとも一部に基づいて、変換処理後の第１深度マップの少なくとも一部を更新して第２深度マップを得るようにしてもよい。例えば、第１画像に基づいて、変換処理後の第１深度マップを更新して第２深度マップを得る。また例えば、第１画像から切り出された目標対象物の画像に基づいて、第１深度マップから切り出された目標対象物の深度マップを更新して第２深度マップを得る等のようにする。
【０１１９】
別の例として、第１画像に対して変換処理を行って、変換処理後の第１画像と第１深度マップの位置合わせをるようにしてもよい。例えば、深度センサのパラメータ及び画像センサのパラメータに基づいて第２変換行列を決定し、第２変換行列に基づいて第１画像に対して変換処理を行うようにしてもよい。それに応じて、変換処理後の第１画像の少なくとも一部に基づいて、第１深度マップの少なくとも一部を更新して第２深度マップを得るようにしてもよい。
【０１２０】
選択可能的に、深度センサのパラメータは、深度センサの内部パラメータ及び／又は外部パラメータを含んでもよく、画像センサのパラメータは、画像センサの内部パラメータ及び／又は外部パラメータを含んでもよい。第１深度マップと第１画像の位置合わせをすることにより、第１深度マップと第１画像の対応部分の、第１深度マップと第１画像における位置が同じようにすることができる。
【０１２１】
上述した例では、第１画像は元の画像（例えば、ＲＧＢ又は赤外線画像）であり、他のいくつかの実施例では、第１画像は元の画像から切り出された目標対象物の画像であってもよく、類似的に、第１深度マップは元の深度マップから切り出された目標対象物の深度マップであってもよいが、本開示の実施例はこれらを限定しない。
【０１２２】
図６は本開示の実施例に係る生体検出方法の一例の模式図を示す。図６に示される例において、第１画像がＲＧＢ画像であり、かつ目標対象物が顔であり、ＲＧＢ画像と第１深度マップに対してｓ補正処理を行い、処理後の画像を顔キーポイントモデルに入力して処理し、ＲＧＢ顔画像（目標対象物の画像）及び深度顔画像（目標対象物の深度マップ）を得、ＲＧＢ顔画像に基づいて深度顔画像を更新又は修復する。このように、後続のデータ処理量を低減して、生体検出効率及び正確率を高めることができる。
【０１２３】
本開示の実施例では、目標対象物の生体検出結果は、目標対象物が生体であることを示すか、又は目標対象物が補綴であることを示すようにしてもよい。
【０１２４】
いくつかの実施例では、第１画像及び第２深度マップを生体検出ニューラルネットワークに入力し処理して、第１画像における目標対象物の生体検出結果を得る。又は、他の生体検出アルゴリズムによって第１画像及び第２深度マップを処理して、生体検出結果を得る。
【０１２５】
いくつかの実施例では、第１画像に対して特徴抽出処理を行って第１特徴情報を得、第２深度マップに対して特徴抽出処理を行って第２特徴情報を得、第１特徴情報及び第２特徴情報に基づいて第１画像における目標対象物の生体検出結果を決定する。
【０１２６】
ここで、選択可能的に、特徴抽出処理は、ニューラルネットワーク又は他の機械学習アルゴリズムによって実現することができ、抽出された特徴情報の種別は、選択可能的にサンプルを用いた学習によって得ることができるが、本開示の実施例はこれらについて限定しない。
【０１２７】
いくつかの特定のシーン（例えば、室外の光が強いシーン）では、取得される深度マップ（例えば、深度センサで取得される深度マップ）は一部の面積が失効となる場合がある。また、正常な光の照射でも、メガネによる反射、黒い髪又は黒いメガネフレーム等の要因によって深度マップの部分的失効をランダムに引き起こす。いくつかの特別な紙も、類似的に、印刷された顔写真の深度マップに広面積の失効又は部分的失効を引き起こす。また、深度センサのアクティブ光源が遮蔽される場合、補綴の深度マップの一部が失効になるが、補綴の画像センサでの結像が正常となることがあり得る。このように、深度マップの一部又は全部が失効となる場合に、深度マップに基づく生体と補綴の区別に誤差が発生する。従って、本開示の実施例では、第１深度マップを修復又は更新し、修復又は更新後の深度マップを用いて生体検出を行うことにより、生体検出の正確率の向上に寄与する。
【０１２８】
図７は本開示の実施例に係る生体検出方法で第１画像及び第２深度マップに基づいて第１画像中における目標対象物の生体検出結果を決定する一例の模式図を示す。
【０１２９】
この例において、第１画像及び第２深度マップを生体検出ネットワークに入力して生体検出処理を行って、生体検出結果を得る。
【０１３０】
図７に示すように、この生体検出ネットワークは、第１画像に対して特徴抽出処理を行って第１特徴情報を得るための第１サブネットワーク及び第２深度マップに対して特徴抽出処理を行って第２特徴情報を得るための第２サブネットワークという２つのブランチを含む。
【０１３１】
選択可能的な一例では、第１サブネットワークは、畳み込み層、ダウンサンプリング層及び全結合層を含んでもよい。
【０１３２】
例えば、第１サブネットワークは、１層の畳み込み層、１層のダウンサンプリング層及び１層の全結合層を含んでもよい。ここで、この１層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、この１層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよく、この１層の全結合層は、１つ又は複数の全結合層を含んでもよい。
【０１３３】
また例えば、第１サブネットワークは、多層の畳み込み層、多層のダウンサンプリング層及び１層の全結合層を含んでもよい。ここで、各層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、各層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよく、この１層の全結合層は、１つ又は複数の全結合層を含んでもよい。ここで、第ｉ層の畳み込み層の後に第ｉ層のダウンサンプリング層がカスケード接続され、第ｉ層のダウンサンプリング層の後に第ｉ＋１層の畳み込み層がカスケード接続され、第ｎ層のダウンサンプリング層の後に全結合層がカスケード接続され、ここで、ｉ及びｎはいずれも正の整数であり、１≦ｉ≦ｎであり、ｎは深度予測ニューラルネットワークにおける畳み込み層及びダウンサンプリング層の層数である。
【０１３４】
又は、第１サブネットワークは、畳み込み層、ダウンサンプリング層、正規化層及び全結合層を含んでもよい。
【０１３５】
例えば、第１サブネットワークは、１層の畳み込み層、１つの正規化層、１層のダウンサンプリング層及び１層の全結合層を含んでもよい。ここで、この１層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、この１層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよく、この１層の全結合層は、１つ又は複数の全結合層を含んでもよい。
【０１３６】
また例えば、第１サブネットワークは、多層の畳み込み層、複数の正規化層、多層のダウンサンプリング層及び１層の全結合層を含んでもよい。ここで、各層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、各層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよく、この１層の全結合層は、１つ又は複数の全結合層を含んでもよい。ここで、第ｉ層の畳み込み層の後に第ｉの正規化層がカスケード接続され、第ｉの正規化層の後に第ｉ層のダウンサンプリング層がカスケード接続され、第ｉ層のダウンサンプリング層の後に第ｉ＋１層の畳み込み層がカスケード接続され、第ｎ層のダウンサンプリング層の後に全結合層がカスケード接続され、ここで、ｉ及びｎはいずれも正の整数であり、１≦ｉ≦ｎであり、ｎは第１サブネットワークにおける畳み込み層、ダウンサンプリング層の層数及び正規化層の個数を示す。
【０１３７】
一例として、第１画像に対して畳み込み処理を行って第１畳み込み結果を得、第１畳み込み結果に対してダウンサンプリング処理を行って第１ダウンサンプリング結果を得、第１ダウンサンプリング結果に基づいて第１特徴情報を得る。
【０１３８】
例えば、１層の畳み込み層及び１層のダウンサンプリング層によって第１画像に対して畳み込み処理及びダウンサンプリング処理を行うようにしてもよい。ここで、この１層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、この１層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよい。
【０１３９】
また例えば、多層の畳み込み層及び多層のダウンサンプリング層によって第１画像に対して畳み込み処理及びダウンサンプリング処理を行うようにしてもよい。ここで、各層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、各層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよい。
【０１４０】
例えば、第１畳み込み結果に対してダウンサンプリング処理を行って第１ダウンサンプリング結果を得ることは、第１畳み込み結果に対して正規化処理を行って第１正規化結果を得ることと、第１正規化結果に対してダウンサンプリング処理を行って第１ダウンサンプリング結果を得ることと、を含むようにしてもよい。
【０１４１】
例えば、第１ダウンサンプリング結果を全結合層に入力して、全結合層によって第１ダウンサンプリング結果に対して融合処理を行って、第１特徴情報を得るようにしてもよい。
【０１４２】
選択可能的に、第２サブネットワークは、第１サブネットワークと同じのネットワーク構造を有するが、異なるパラメータを有する。又は、第２サブネットワークは、第１サブネットワークと異なるネットワーク構造を有する。本開示の実施例は第２サブネットワークの具体的な実現について限定しない。
【０１４３】
図７に示すように、生体検出ネットワークは、第１サブネットワークによって得られた第１特徴情報及び第２サブネットワークによって得られた第２特徴情報を処理して、第１画像における目標対象物の生体検出結果を得るための第３サブネットワークを更に含む。選択可能的に、第３サブネットワークは、全結合層及び出力層を含んでもよい。例えば、出力層はｓｏｆｔｍａｘ関数を採用し、出力層の出力が１の場合、目標対象物が生体であることを示し、出力層の出力が０の場合、目標対象物が補綴であることを示すが、本開示の実施例において第３サブネットワークの具体的な実現について限定しない。
【０１４４】
一例として、第１特徴情報及び第２特徴情報に対して融合処理を行って第３特徴情報を得、第３特徴情報に基づいて第１画像における目標対象物の生体検出結果を決定する。
【０１４５】
例えば、全結合層によって第１特徴情報及び第２特徴情報に対して融合処理を行って第３特徴情報を得る。
【０１４６】
いくつかの実施例では、第３特徴情報に基づいて第１画像における目標対象物が生体である確率を得、目標対象物が生体である確率に基づいて目標対象物の生体検出結果を決定する。
【０１４７】
例えば、目標対象物が生体である確率が第２閾値より大きい場合、目標対象物が生体であることを示す目標対象物の生体検出結果と決定される。また例えば、目標対象物が生体である確率が第２閾値以下の場合、目標対象物の生体検出結果として補綴であると決定される。
【０１４８】
いくつかの他の実施例では、第３特徴情報に基づいて目標対象物が補綴である確率を得、目標対象物が補綴である確率に基づいて目標対象物の生体検出結果を決定する。例えば、目標対象物が補綴である確率が第３閾値より大きい場合、目標対象物が補綴であることを示す目標対象物の生体検出結果と決定される。また例えば、目標対象物が補綴である確率が第３閾値以下の場合、目標対象物の生体検出結果として生体であると決定される。
【０１４９】
一例において、第３特徴情報をＳｏｆｔｍａｘ層に入力して、Ｓｏｆｔｍａｘ層によって目標対象物が生体又は補綴である確率を得るようにしてもよい。例えば、Ｓｏｆｔｍａｘ層の出力には、目標対象物が生体である確率を示すニューロン及び目標対象物が補綴である確率を示すニューロンという２つのものを含むが、本開示の実施例はこれに限定されない。
【０１５０】
本開示の実施例では、第１画像及び第１画像に対応する第１深度マップを取得し、第１画像に基づいて第１深度マップを更新して第２深度マップを得、第１画像及び第２深度マップに基づいて第１画像における目標対象物の生体検出結果を決定することにより、深度マップを改善し、生体検出の正確性を高めることができる。
【０１５１】
可能な一実施形態では、第１画像に基づいて第１深度マップを更新して、第２深度マップを得ることは、第１画像に基づいて、第１画像における複数の画素の、深度予測値及びこの複数の画素同士の関連度を示す関連情報を決定することと、この複数の画素の深度予測値及び関連情報に基づいて第１深度マップを更新して、第２深度マップを得ることと、を含む。
【０１５２】
具体的には、第１画像に基づいて第１画像における複数の画素の深度予測値を決定し、複数の画素の深度予測値に基づいて第１深度マップを修復して改善する。
【０１５３】
具体的には、第１画像を処理して第１画像における複数の画素の深度予測値を得る。例えば、第１画像を深度予測ニューラルネットワークに入力し処理して、複数の画素の深度予測結果を得、例えば、第１画像に対応する深度予測マップを得るが、本開示の実施例はこれに限定されない。
【０１５４】
いくつかの実施例では、第１画像及び第１深度マップに基づいて、第１画像における複数の画素の深度予測値を決定する。
【０１５５】
一例として、第１画像及び第１深度マップを深度予測ニューラルネットワークに入力し処理して、第１画像における複数の画素の深度予測値を得る。又は、他の方式によって第１画像及び第１深度マップを処理して、複数の画素の深度予測値を得るが、本開示の実施例は深度予測値の取得方式について限定しない。
【０１５６】
図８は本開示の実施例に係る車両のドアロック解除方法における深度予測ニューラルネットワークの模式図を示す。図８に示すように、第１画像及び第１深度マップを深度予測ニューラルネットワークに入力し処理して、初期深度推定マップを得るようにしてもよい。初期深度推定マップに基づいて、第１画像における複数の画素の深度予測値を決定することができる。例えば、初期深度推定マップの画素値は第１画像における対応画素の深度予測値である。
【０１５７】
深度予測ニューラルネットワークは、様々なネットワーク構造によって実現されることができる。一例において、深度予測ニューラルネットワークは、コード化部分及びデコード部分を含む。ここで、選択可能的に、コード化部分は、畳み込み層及びダウンサンプリング層を含み、デコード部分は、逆畳み込み層及び／又はアップサンプリング層を含むようにしてもよい。なお、コード化部分及び／又はデコード部分は、正規化層を更に含んでもよい。本開示の実施例は、コード化部分及びデコード部分の具体的な実現について限定しない。コード化部分において、ネットワーク層数の増加に伴って、特徴マップの解像度が次第に低くなり、特徴マップの数量が次第に多くなり、これにより豊富なセマンティック特徴及び画像の空間特徴を得ることができ、デコード部分において、特徴マップの解像度が次第に増大し、デコード部分から最終的に出力する特徴マップの解像度が第１深度マップの解像度と同じである。
【０１５８】
いくつかの実施例では、第１画像及び第１深度マップに対して融合処理を行って融合結果を得、融合結果に基づいて第１画像における複数の画素の深度予測値を決定する。
【０１５９】
一例において、第１画像及び第１深度マップを結合（ｃｏｎｃａｔ）して、融合結果を得るようにしてもよい。
【０１６０】
一例において、融合結果に対して畳み込み処理を行って第２畳み込み結果を得、第２畳み込み結果に基づいてダウンサンプリング処理を行って第１コード化結果を得、第１コード化結果に基づいて第１画像における複数の画素の深度予測値を決定する。
【０１６１】
例えば、畳み込み層によって融合結果に対して畳み込み処理を行って第２畳み込み結果を得るようにしてもよい。
【０１６２】
例えば、第２畳み込み結果に対して正規化処理を行って第２正規化結果を得、第２正規化結果に対してダウンサンプリング処理を行って第１コード化結果を得る。ここで、正規化層によって第２畳み込み結果に対して正規化処理を行って第２正規化結果を得、ダウンサンプリング層によって第２正規化結果に対してダウンサンプリング処理を行って第１コード化結果を得るようにしてもよい。又は、ダウンサンプリング層によって第２畳み込み結果に対してダウンサンプリング処理を行って第１コード化結果を得るようにしてもよい。
【０１６３】
例えば、第１コード化結果に対して逆畳み込み処理を行って第１逆畳み込み結果を得、第１逆畳み込み結果に対して正規化処理を行って深度予測値を得る。ここで、逆畳み込み層によって第１コード化結果に対して逆畳み込み処理を行って第１逆畳み込み結果を得、正規化層によって第１逆畳み込み結果に対して正規化処理を行って深度予測値を得るようにしてもよい。又は、逆畳み込み層によって第１コード化結果に対して逆畳み込み処理を行って深度予測値を得るようにしてもよい。
【０１６４】
例えば、第１コード化結果に対してアップサンプリング処理を行って第１アップサンプリング結果を得、第１アップサンプリング結果に対して正規化処理を行って深度予測値を得る。ここで、アップサンプリング層によって第１コード化結果に対してアップサンプリング処理を行って第１アップサンプリング結果を得、正規化層によって第１アップサンプリング結果に対して正規化処理を行って深度予測値を得るようにしてもよい。又は、アップサンプリング層によって第１コード化結果に対してアップサンプリング処理を行って深度予測値を得るようにしてもよい。
【０１６５】
なお、第１画像を処理して第１画像における複数の画素の関連情報を得る。ここで、第１画像における複数の画素の関連情報は、第１画像の複数の画素のそれぞれとその周辺画素との関連度を含むようにしてもよい。ここで、画素の周辺画素は、画素に隣接する少なくとも１つの隣接画素を含んでもよく、又は、この画素との間隔が一定の数値を超えない複数の画素を含んでもよい。例えば、図１１に示すように、画素５の周辺画素は、それに隣接する画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９を含み、これに応じて、第１画像における複数の画素の関連情報は、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９と画素５との関連度を含む。一例として、第１画素と第２画素との関連度は、第１画素と第２画素の相関性によって測定可能であり、ここで、本開示の実施例は、関連技術を用いて画素同士の相関性を決定することができ、ここで詳細な説明を省略する。
【０１６６】
本開示の実施例では、様々な方式によって複数の画素の関連情報を決定することができる。いくつかの実施例では、第１画像を関連度検出ニューラルネットワークに入力し処理して、第１画像における複数の画素の関連情報を得る。例えば、第１画像に対応する関連特徴マップを得る。又は、他のアルゴリズムによって複数の画素の関連情報を得てもよい。本開示の実施例は関連情報の取得方式について限定しない。
【０１６７】
図９は本開示の実施例に係る車両のドアロック解除方法における関連度検出ニューラルネットワークの模式図を示す。図９に示すように、第１画像を関連度検出ニューラルネットワークに入力し処理して、複数枚の関連特徴マップを得る。複数枚の関連特徴マップに基づいて、第１画像における複数の画素の関連情報を決定することができる。例えば、ある画素の周辺画素とはこの画素との距離が０と等しい画素を指し、即ち、この画素の周辺画素とはこの画素に隣接する画素を指す。この場合、関連度検出ニューラルネットワークは８枚の関連特徴マップを出力する。例えば、第１の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ−１，ｊ−１と画素Ｐｉ，ｊとの関連度であり、ただし、Ｐｉ，ｊは第ｉ行第ｊ列の画素を示し、第２の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ−１，ｊと画素Ｐｉ，ｊとの関連度であり、第３の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ−１，ｊ＋１と画素Ｐｉ，ｊとの関連度であり、第４の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ、ｊ−１と画素Ｐｉ，ｊとの関連度であり、第５の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ，ｊ＋１と画素Ｐｉ，ｊとの関連度であり、第６の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ＋１，ｊ−１と画素Ｐｉ，ｊとの関連度であり、第７の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ＋１，ｊと画素Ｐｉ，ｊとの関連度であり、第８の関連特徴マップにおいて、画素Ｐｉ，ｊの画素値＝第１画像の画素Ｐｉ＋１，ｊ＋１と画素Ｐｉ，ｊとの関連度である。
【０１６８】
関連度検出ニューラルネットワークは、様々なネットワーク構造によって実現されることができる。一例として、関連度検出ニューラルネットワークは、コード化部分及びデコード部分を含むようにしてもよい。ここで、コード化部分は、畳み込み層及びダウンサンプリング層を含み、デコード部分は、逆畳み込み層及び／又はアップサンプリング層を含むようにしてもよい。コード化部分は、正規化層を更に含んでもよく、デコード部分は、正規化層を含んでもよい。コード化部分において、特徴マップの解像度が次第に低くなり、特徴マップの数量が次第に多くなり、これにより豊富なセマンティック特徴及び画像の空間特徴が得られ、デコード部分において、特徴マップの解像度が次第に増大し、デコード部分から最終的に出力する特徴マップの解像度が第１画像の解像度と同じである。本開示の実施例では、関連情報は画像であってもよく、他のデータ形式、例えば行列等であってもよい。
【０１６９】
一例として、第１画像を関連度検出ニューラルネットワークに入力し処理して、第１画像における複数の画素の関連情報を得ることは、第１画像に対して畳み込み処理を行って、第３畳み込み結果を得ることと、第３畳み込み結果に基づいてダウンサンプリング処理を行って、第２コード化結果を得ることと、第２コード化結果に基づいて、第１画像における複数の画素の関連情報を得ることと、を含むようにしてもよい。
【０１７０】
一例において、畳み込み層によって第１画像に対して畳み込み処理を行って、第３畳み込み結果を得るようにしてもよい。
【０１７１】
一例において、第３畳み込み結果に基づいてダウンサンプリング処理を行って、第２コード化結果を得ることは、第３畳み込み結果に対して正規化処理を行って、第３正規化結果を得ることと、第３正規化結果に対してダウンサンプリング処理を行って、第２コード化結果を得ることと、を含むようにしてもよい。この例において、正規化層によって第３畳み込み結果に対して正規化処理を行って第３正規化結果を得、ダウンサンプリング層によって第３正規化結果に対してダウンサンプリング処理を行って第２コード化結果を得るようにしてもよい。又は、ダウンサンプリング層によって第３畳み込み結果に対してダウンサンプリング処理を行って第２コード化結果を得るようにしてもよい。
【０１７２】
一例において、第２コード化結果に基づいて、関連情報を決定することは、第２コード化結果に対して逆畳み込み処理を行って第２逆畳み込み結果を得ることと、第２逆畳み込み結果に対して正規化処理を行って関連情報を得ることと、を含むようにしてもよい。この例において、逆畳み込み層によって第２コード化結果に対して逆畳み込み処理を行って第２逆畳み込み結果を得、正規化層によって第２逆畳み込み結果に対して正規化処理を行って関連情報を得るようにしてもよい。又は、逆畳み込み層によって第２コード化結果に対して逆畳み込み処理を行って関連情報を得るようにしてもよい。
【０１７３】
一例において、第２コード化結果に基づいて関連情報を決定することは、第２コード化結果に対してアップサンプリング処理を行って第２アップサンプリング結果を得ることと、第２アップサンプリング結果に対して正規化処理を行って関連情報を得ることと、を含むようにしてもよい。例において、アップサンプリング層によって第２コード化結果に対してアップサンプリング処理を行って第２アップサンプリング結果を得、正規化層によって第２アップサンプリング結果に対して正規化処理を行って関連情報を得るようにしてもよい。又は、アップサンプリング層によって第２コード化結果に対してアップサンプリング処理を行って関連情報を得るようにしてもよい。
【０１７４】
現在のＴＯＦ、構造化光等の３Ｄセンサは、室外に位置する場合、太陽光に影響されやすく、深度マップに広面積のホール・欠損が発生して、３Ｄ生体検出アルゴリズムの性能に影響を及ぼしてしまう。本開示の実施例において、深度マップの自己改善に基づく３Ｄ生体検出アルゴリズムで、３Ｄセンサで検出された深度マップを改善し修復することにより、３Ｄ生体検出アルゴリズムの性能が高められる。
【０１７５】
いくつかの実施例では、複数の画素の深度予測値及び関連情報が得られた後、複数の画素の深度予測値及び関連情報に基づいて、第１深度マップを更新して、第２深度マップを得る。図１０は本開示の実施例に係る車両のドアロック解除方法における深度マップ更新の例示的な模式図を示す。図１０に示す例において、第１深度マップは欠損値のある深度マップであり、得られた複数の画素の深度予測値及び関連情報はそれぞれ初期深度推定マップ及び関連特徴マップであり、この場合、欠損値のある深度マップ、初期深度推定マップ及び関連特徴マップを深度マップ更新モジュール（例えば、深度更新ニューラルネットワーク）に入力し処理して、最終的な深度マップ、即ち第２深度マップを得る。
【０１７６】
いくつかの実施例では、この複数の画素の深度予測値から深度失効画素の深度予測値及び深度失効画素の複数の周辺画素の深度予測値を取得し、この複数の画素の関連情報から深度失効画素と深度失効画素の複数の周辺画素との関連度を取得し、深度失効画素の深度予測値、深度失効画素の複数の周辺画素の深度予測値、及び深度失効画素と深度失効画素の周辺画素との関連度に基づいて、深度失効画素の更新後の深度値を決定する。
【０１７７】
本開示の実施例では、様々な方式によって深度マップにおける深度失効画素を決定することができる。一例として、第１深度マップにおいて深度値が０と等しい画素を深度失効画素として決定するか、または第１深度マップにおいて深度値を有しない画素を深度失効画素として決定する。
【０１７８】
この例において、欠損値のある第１深度マップにおいて、値のある（即ち、深度値が０でない）部分について、その深度値が正確で信頼可能なものとみなし、その深度値を更新せずに元の深度値を保持し、深度値が０となる画素について、深度値を更新する。
【０１７９】
別の例として、深度センサは、深度失効画素の判定ための深度値として、１つ又は複数の所定の数値又は所定の範囲を設定してもよい。例において、第１深度マップにおいて、深度値が所定の数値と等しいか又は所定の範囲にある画素を深度失効画素として決定するようにしてもよい。
【０１８０】
本開示の実施例において、他の統計方式によって第１深度マップにおける深度失効画素を決定してもよいが、深度失効画素の決定方式について限定しない。
【０１８１】
この実施形態では、第１画像における深度失効画素と同じ位置の画素の深度値を深度失効画素の深度予測値として決定してもよく、類似的に、第１画像における深度失効画素の周辺画素と同じ位置の画素の深度値を深度失効画素の周辺画素の深度予測値として決定してもよい。
【０１８２】
一例として、深度失効画素の周辺画素と深度失効画素との間の距離は第１閾値以下である。
【０１８３】
図１１は本開示の実施例に係る車両のドアロック解除方法における周辺画素の模式図を示す。例えば、第１閾値が０である場合に、隣接画素のみを周辺画素とする。例えば、画素５の隣接画素は、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９を含み、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９のみを画素５の周辺画素とする。
【０１８４】
図１２は本開示の実施例に係る車両のドアロック解除方法における周辺画素の別の模式図を示す。例えば、第１閾値が１である場合に、隣接画素のほか、隣接画素のさらに隣の画素も周辺画素とする。即ち、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９のほか、画素１０〜画素２５も画素５の周辺画素とする。
【０１８５】
一例として、深度失効画素の周辺画素の深度予測値、及び深度失効画素と深度失効画素の複数の周辺画素との関連度に基づいて、深度失効画素の深度関連値を決定し、深度失効画素の深度予測値及び深度関連値に基づいて、深度失効画素の更新後の深度値を決定する。
【０１８６】
別の例として、深度失効画素の周辺画素の深度予測値、及び深度失効画素とこの周辺画素との関連度に基づいて、深度失効画素に対するこの周辺画素の有効深度値を決定し、深度失効画素に対するその各周辺画素の有効深度値及び深度失効画素の深度予測値に基づいて、深度失効画素の更新後の深度値を決定する。例えば、深度失効画素の１つの周辺画素の深度予測値とこの周辺画素に対応する関連度との積を、深度失効画素に対するこの周辺画素の有効深度値として決定してもよい。ここで、この周辺画素に対応する関連度とは、この周辺画素と深度失効画素との関連度を指す。例えば、深度失効画素に対するその各周辺画素の有効深度値の和と第１所定係数との積を決定して第１積を得、深度失効画素の深度予測値と第２所定係数との積を決定して第２積を得、第１積と第２積との和を深度失効画素の更新後の深度値として決定するようにしてもよい。いくつかの実施例では、第１所定係数と第２所定係数の和は１とする。
【０１８７】
一例において、深度失効画素と各周辺画素との関連度を各周辺画素の重みとして、深度失効画素の複数の周辺画素の深度予測値に対して加重和処理を行って、深度失効画素の深度関連値を得る。例えば、画素５を深度失効画素とする場合、深度失効画素５の深度関連値が
【数３４】
2021516646.tif 000036
となり、深度失効画素５の更新後の深度値は式７によって決定されることができる。
【数３５】
2021516646.tif 000037
ただし、
【数３６】
2021516646.tif 000038
であり、
【数３７】
2021516646.tif 000039
は画素
【数３８】
2021516646.tif 000040
と画素５との関連度を示し、
【数３９】
2021516646.tif 000041
は画素
【数４０】
2021516646.tif 000042
の深度予測値を示す。
【０１８８】
別の例において、深度失効画素の複数の周辺画素のうちの各周辺画素と深度失効画素との関連度および各周辺画素の深度予測値の積を決定し、積の最大値を深度失効画素の深度関連値とする。
【０１８９】
一例において、深度失効画素の深度予測値と深度関連値の和を深度失効画素の更新後の深度値とする。
【０１９０】
別の例において、深度失効画素の深度予測値と第３所定係数との積を決定して第３積を得、深度関連値と第４所定係数との積を決定して第４積を得、第３積と第４積との和を深度失効画素の更新後の深度値とする。いくつかの実施例では、第３所定係数と第４所定係数との和は１とする。
【０１９１】
いくつかの実施例では、第２深度マップにおける非深度失効画素の深度値は第１深度マップにおけるこの非深度失効画素の深度値と等しい。
【０１９２】
いくつかの他の実施例では、非深度失効画素の深度値を更新して、より正確な第２深度マップを得るようにしてもよい。これにより、生体検出の正確性を更に高めることができる。
【０１９３】
本開示の実施例では、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得し、距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御し、第１画像に基づいて顔認識を行い、顔認識の成功に応じて、車両の少なくとも１つのドアロックにドアロック解除コマンドを送信することにより、ドアロック解除のセキュリティ性を確保した上で、ドアロック解除の利便性を高めることができる。本開示の実施例を採用すれば、車両所有者が車両に近づいている時に、意図的に動作（例えば、ボタンのタッチ、ジェスチャ）することなく、生体検出と顔認証フローを自動的にトリガし、車両所有者の生体検出と顔認証が成功すると、ドアを自動的に開けることができる。
【０１９４】
可能な一実施形態では、この方法は、第１画像に基づいて顔認識を行った後、顔認識の失敗に応じて、車両に設置されるパスワードロック解除モジュールをアクティブ化して、パスワードによるロック解除フローを起動することを更に含む。
【０１９５】
この実施形態では、パスワードによるロック解除は顔認識によるロック解除の代替手段となる。顔認識の失敗の原因は、目標対象物が補綴であることを示す生体検出結果であること、顔認証が失敗したこと、画像取得が失敗した（例えば、カメラが故障した）こと、および認識回数が所定の回数を超えたこと等のうちの少なくとも１つを含んでもよい。目標対象物の顔認識が失敗すると、パスワードによるロック解除フローを起動する。例えば、Ｂピラーのタッチスクリーンによってユーザから入力するパスワードを取得するようにしてもよい。一例において、パスワードをＭ回、例えば５回連続で間違って入力した場合、パスワードによるロック解除を失効にするようにしてもよい。
【０１９６】
可能な一実施形態では、この方法は、画像取得モジュールにより取得した車両所有者の顔画像に基づいて車両所有者の登録を行うことと、車両所有者の端末装置により取得した車両所有者の顔画像に基づいて遠隔登録を行い、車両所有者の顔画像を含む登録情報を車両に送信することとの１つ又は２つを更に含む。
【０１９７】
一例において、画像取得モジュールにより取得した車両所有者の顔画像に基づいて車両所有者の登録を行うことは、タッチスクリーンの登録ボタンがクリックされたことを検出すると、ユーザにパスワードの入力を要求し、パスワードの検証が成功すると、画像取得モジュールのＲＧＢカメラをオンにさせてユーザの顔画像を取得し、取得された顔画像に基づく登録を行い、後続の顔認証時に顔の照合を行うようにこの顔画像における顔特徴を予め登録される顔特徴として抽出することを含む。
【０１９８】
一例において、車両所有者の端末装置により取得した車両所有者の顔画像に基づいて遠隔登録を行い、車両所有者の顔画像を含む登録情報を車両に送信する。この例において、車両所有者は、携帯電話のＡｐｐ（Ａｐｐｌｉｃａｔｉｏｎ、アプリ）を介してＴＳＰ（Ｔｅｌｅｍａｔｉｃｓ  Ｓｅｒｖｉｃｅ  Ｐｒｏｖｉｄｅｒ、自動車テレマティクス・サービス・プロバイダー）クラウドに、車両所有者の顔画像を含む登録要求を送信し、ＴＳＰクラウドは、登録要求をドアロック解除装置の車載用Ｔ−Ｂｏｘ（Ｔｅｌｅｍａｔｉｃｓ  Ｂｏｘ、テレマティクス・ボックス）に送信し、車載用Ｔ−Ｂｏｘは、登録要求に応じて顔認識機能をアクティブ化し、後続の顔認証時に顔の照合を行うように登録要求に含まれる顔画像における顔特徴を予め登録される顔特徴とするようにしてもよい。
【０１９９】
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができると理解すべきであり、紙数に限りがあるので、本開示ではその説明を省略する。
【０２００】
当業者であれば、具体的な実施形態の上記方法において記載された各ステップの順序は、実施手順を厳密に当該順序に限定するものではない。各ステップの具体的な実行順序は、各ステップの機能と可能な内在的論理に応じて決定されることが理解される。
【０２０１】
なお、本開示は、車両のドアロック解除装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムを更に提供し、これらのいずれも本開示で提供される車両のドアロック解除方法のいずれか１つを実現するために利用可能であり、対応する技術的手段及び説明については、方法の対応する記載を参照すればよく、ここで省略する。
【０２０２】
図１３は本開示の実施例に係る車両のドアロック解除装置のブロック図を示す。この装置は、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得するための取得モジュール２１と、距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御するためのウェイクアップ制御モジュール２２と、第１画像に基づいて顔認識を行うための顔認識モジュール２３と、顔認識の成功に応じて、車両の少なくとも１つのドアロックにドアロック解除コマンドを送信するための送信モジュール２４と、を含む。
【０２０３】
本開示の実施例では、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得し、距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御し、第１画像に基づいて顔認識を行い、顔認識の成功に応じて、車両の少なくとも１つのドアロックにドアロック解除コマンドを送信することにより、ドアロック解除のセキュリティ性を確保した上で、ドアロック解除の利便性を高めることができる。
【０２０４】
可能な一実施形態では、所定の条件は、距離が所定の距離閾値より小さいことと、距離が所定の距離閾値より小さくなる持続時間が所定の時間閾値に達することと、持続時間の期間に取得される距離が、目標対象物が車両に近づいていることを示すこととのうちの少なくとも一１つを含む。
【０２０５】
可能な一実施形態では、少なくとも１つの距離センサは、ブルートゥース距離センサを含み、取得モジュール２１は、外部装置とブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、ブルートゥースによるペアリング接続の成功に応じて、ブルートゥース距離センサによって外部装置を持っている目標対象物と車両との間の第１距離を取得することに用いられる。
【０２０６】
この実施形態では、外部装置は、例えば、携帯電話、ウェアラブルデバイス又は電子キー等ブルートゥース機能付きのいかなる携帯型装置であってもよい。ここで、ウェアラブルデバイスは、スマートブレスレット又はスマートグラス等であってもよい。
【０２０７】
この実施形態では、外部装置とブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することにより、ブルートゥース認証が追加され、ドアロック解除のセキュリティ性を高めることができる。
【０２０８】
可能な一実施形態では、少なくとも１つの距離センサは、超音波距離センサを含み、取得モジュール２１は、車両の車室外部に設置される超音波距離センサによって目標対象物と車両との間の第２距離を取得することに用いられる。
【０２０９】
可能な一実施形態では、少なくとも１つの距離センサは、ブルートゥース距離センサ及び超音波距離センサを含み、取得モジュール２１は、外部装置とブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、ブルートゥースによるペアリング接続の成功に応じて、ブルートゥース距離センサによって外部装置を持っている目標対象物と車両との間の第１距離を取得することと、超音波距離センサによって目標対象物と車両との間の第２距離を取得することに用いられ、ウェイクアップ制御モジュール２２は、第１距離及び第２距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御することに用いられる。
【０２１０】
この実施形態では、ブルートゥース距離センサと超音波距離センサを協働させることにより、ドアロック解除のセキュリティ性を高めることができる。
【０２１１】
可能な一実施形態では、所定の条件は、第１所定の条件及び第２所定の条件を含み、第１所定の条件は、第１距離が所定の第１距離閾値より小さいことと、第１距離が所定の第１距離閾値より小さくなる持続時間が所定の時間閾値に達することと、持続時間の期間に取得される第１距離が、目標対象物が車両に近づいていることを示すこととのうちの少なくとも１つを含み、第２所定の条件は、第２距離が第１距離閾値より小さい所定の第２距離閾値より小さいことと、第２距離が所定の第２距離閾値より小さくなる持続時間が所定の時間閾値に達することとを含む。
【０２１２】
可能な一実施形態では、ウェイクアップ制御モジュール２２は、第１距離が第１所定の条件を満たすことに応じて、車両に設置される顔認識システムをウェイクアップするためのウェイクアップサブモジュールと、第２距離が第２所定の条件を満たすことに応じて、ウェイクアップされた顔認識システムによって、目標対象物の第１画像を取得するように画像取得モジュールを制御するための制御サブモジュールと、を含む。
【０２１３】
顔認識システムのウェイクアップは通常、いくらかの時間、例えば４〜５秒がかかるため、顔認識のトリガ及び処理が遅くしてしまい、ユーザ体験に影響を与える。上記実施形態では、ブルートゥース距離センサと超音波距離センサを組み合わせることにより、顔認識システムは、ブルートゥース距離センサで取得された第１距離が第１所定の条件を満たしすと、ウェイクアップされて早期に動作可能状態となり、超音波距離センサで取得された第２距離が第２所定の条件を満たすと、顔画像処理を迅速に実行することができる。このように、顔認識の効率を高め、ユーザ体験を改善することができる。
【０２１４】
可能な一実施形態では、距離センサは超音波距離センサであり、所定の距離閾値は、算出されて得た、車両外の対象物と車両との間の距離の閾値の基準値を示す距離閾値基準値、及び車両外の対象物と車両との間の距離の閾値のオフセット値を示す所定の距離閾値オフセット値に基づいて決定される。
【０２１５】
可能な一実施形態では、所定の距離閾値は距離閾値基準値と所定の距離閾値オフセット値との差に等しい。
【０２１６】
可能な一実施形態では、距離閾値基準値は、車両のイグニッションオフ後の特定期間の車両外の対象物と車両との間の距離の平均値を示す車両のイグニッションオフ後の距離平均値と、ドアロック解除可能な最大距離のうちの最小値を取る。
【０２１７】
可能な一実施形態では、距離閾値基準値は、周期的に更新される。距離閾値基準値を周期的に更新することにより、異なる環境に適応可能となる。
【０２１８】
可能な一実施形態では、距離センサは超音波距離センサであり、所定の時間閾値は、算出されて得た、車両外の対象物と車両との間の距離が所定の距離閾値より小さくなる時間の閾値の基準値を示す時間閾値基準値、及び車両外の対象物と車両との間の距離が所定の距離閾値より小さくなる時間の閾値のオフセット値を示す時間閾値オフセット値に基づいて決定される。
【０２１９】
可能な一実施形態では、所定の時間閾値は、時間閾値基準値と時間閾値オフセット値との和に等しい。
【０２２０】
可能な一実施形態では、時間閾値基準値は、超音波距離センサの水平方向検知角度、超音波距離センサの検知半径、対象物サイズ及び対象物速度のうちの１つ又は複数に基づいて決定される。
【０２２１】
可能な一実施形態では、装置は、種別ごとの対象物サイズ、種別ごとの対象物速度、超音波距離センサの水平方向検知角度及び超音波距離センサの検知半径に基づいて、種別ごとの対象物に対応する候補基準値を決定するための第１決定モジュールと、種別ごとの対象物に対応する候補基準値から時間閾値基準値を決定するための第２決定モジュールと、を更に含む。
【０２２２】
可能な一実施形態では、第２決定モジュールは、種別ごとの対象物に対応する候補基準値のうちの最大値を時間閾値基準値として決定することに用いられる。
【０２２３】
いくつかの実施例では、所定の時間閾値は、体験に影響を与えないように１秒より小さく設定される。一例では、超音波距離センサの水平方向検知角度を小さくすることにより、歩行者、自転車等の通過による干渉を減少することができる。
【０２２４】
可能な一実施形態では、顔認識は、生体検出及び顔認証を含み、顔認識モジュール２３は、画像取得モジュールの画像センサによって第１画像を取得し、第１画像及び予め登録された顔特徴に基づいて顔認証を行うための顔認証モジュールと、画像取得モジュールの深度センサによって第１画像に対応する第１深度マップを取得し、第１画像及び第１深度マップに基づいて生体検出を行うための生体検出モジュールと、を含む。
【０２２５】
この実施形態では、生体検出は、目標対象物が生体であるか否かを検証するためのものであり、例えば、目標対象物が人体であるか否かを検証することができる。顔認証は、取得された画像における顔特徴を抽出し、取得された画像における顔特徴を予め登録された顔特徴と照合し、同一の人の顔特徴であるか否かを判断するためのものであり、例えば、取得された画像における顔特徴が車両所有者の顔特徴であるか否かを判断することができる。
【０２２６】
可能な一実施形態では、生体検出モジュールは、第１画像に基づいて第１深度マップを更新して、第２深度マップを得るための更新サブモジュールと、第１画像及び第２深度マップに基づいて目標対象物の生体検出結果を決定するための決定サブモジュールと、を含む。
【０２２７】
可能な一実施形態では、画像センサは、ＲＧＢ画像センサ又は赤外線センサを含み、深度センサは、両眼赤外線センサ又は飛行時間ＴＯＦセンサを含む。ここで、両眼赤外線センサは、２つの赤外線カメラを含む。構造化光センサは、コード化構造化光センサ又はスペックル構造化光センサであってもよい。深度センサによって目標対象物の深度マップを取得することにより、高精度の深度マップを取得することができる。本開示の実施例は、目標対象物を含む深度マップを用いて生体検出を行うことにより、目標対象物の深度情報を十分に発見することができ、生体検出の正確性を高めることができる。例えば、目標対象物が顔である場合、本開示の実施例は、顔を含む深度マップを用いて生体検出を行うことにより、顔データの深度情報を十分に発見することができ、生体顔検出の正確性を高めることができる。
【０２２８】
可能な一実施形態では、ＴＯＦセンサは赤外線波長域に基づくＴＯＦモジュールを用いる。赤外線波長域に基づくＴＯＦモジュールを用いることにより、外部の光線による深度マップの撮影への影響を低減することができる。
【０２２９】
可能な一実施形態では、更新サブモジュールは、第１画像に基づいて第１深度マップにおける深度失効画素の深度値を更新して、第２深度マップを得ることに用いられる。
【０２３０】
ここで、深度マップにおける深度失効画素とは、深度マップに含まれ、無効な深度値を有する画素、即ち正確でない深度値又は現実に明らか合わない深度値を有する画素を指してもよい。深度失効画素の数は１つ又は複数であってもよい。深度マップにおける少なくとも１つの深度失効画素の深度値を更新することにより、深度失効画素の深度値がより正確になり、生体検出の正確率を高めることに寄与する。
【０２３１】
可能な一実施形態では、更新サブモジュールは、第１画像に基づいて、第１画像における複数の画素の、深度予測値及び複数の画素同士の関連度を示す関連情報を決定することと、複数の画素の深度予測値及び関連情報に基づいて第１深度マップを更新して、第２深度マップを得ることに用いられる。
【０２３２】
可能な一実施形態では、更新サブモジュールは、第１深度マップにおける深度失効画素を決定することと、複数の画素の深度予測値から深度失効画素の深度予測値及び深度失効画素の複数の周辺画素の深度予測値を取得することと、複数の画素の関連情報から深度失効画素と深度失効画素の複数の周辺画素との関連度を取得することと、深度失効画素の深度予測値、深度失効画素の複数の周辺画素の深度予測値、及び深度失効画素と深度失効画素の周辺画素との関連度に基づいて、深度失効画素の更新後の深度値を決定することに用いられる。
【０２３３】
可能な一実施形態では、更新サブモジュールは、深度失効画素の周辺画素の深度予測値、及び深度失効画素と深度失効画素の複数の周辺画素との関連度に基づいて、深度失効画素の深度関連値を決定することと、深度失効画素の深度予測値及び深度関連値に基づいて、深度失効画素の更新後の深度値を決定することに用いられる。
【０２３４】
可能な一実施形態では、更新サブモジュールは、深度失効画素と各周辺画素との関連度を各周辺画素の重みとして、深度失効画素の複数の周辺画素の深度予測値に対して加重和処理を行って、深度失効画素の深度関連値を得ることに用いられる。
【０２３５】
可能な一実施形態では、更新サブモジュールは、第１画像及び第１深度マップに基づいて、第１画像における複数の画素の深度予測値を決定することに用いられる。
【０２３６】
可能な一実施形態では、更新サブモジュールは、第１画像及び第１深度マップを深度予測ニューラルネットワークに入力し処理して、第１画像における複数の画素の深度予測値を得ることに用いられる。
【０２３７】
可能な一実施形態では、更新サブモジュールは、第１画像及び第１深度マップに対して融合処理を行って、融合結果を得ることと、融合結果に基づいて、第１画像における複数の画素の深度予測値を決定することに用いられる。
【０２３８】
可能な一実施形態では、更新サブモジュールは、第１画像を関連度検出ニューラルネットワークに入力し処理して、第１画像における複数の画素の関連情報を得ることに用いられる。
【０２３９】
可能な一実施形態では、更新サブモジュールは、第１画像から目標対象物の画像を取得することと、目標対象物の画像に基づいて第１深度マップを更新することに用いられる。
【０２４０】
可能な一実施形態では、更新サブモジュールは、第１画像における目標対象物のキーポイント情報を取得することと、目標対象物のキーポイント情報に基づいて、第１画像から目標対象物の画像を取得することに用いられる。
【０２４１】
一例において、目標対象物のキーポイント情報に基づいて目標対象物の輪郭を決定し、目標対象物の輪郭に基づいて第１画像から目標対象物の画像を切り出す。目標検出によって得られた目標対象物の位置情報と比べると、キーポイント情報によって得られた目標対象物の位置がより正確であり、後続の生体検出の正確率の向上に寄与する。
【０２４２】
このように、第１画像から目標対象物の画像を取得し、目標対象物の画像に基づいて生体検出を行うことにより、第１画像における背景情報による生体検出への干渉を低減することができる。
【０２４３】
可能な一実施形態では、更新サブモジュールは、第１画像に対して目標検出を行って、目標対象物の所在領域を得ることと、目標対象物の所在領域の画像に対してキーポイント検出を行って、第１画像における目標対象物のキーポイント情報を得ることに用いられる。
【０２４４】
可能な一実施形態では、更新サブモジュールは、第１深度マップから目標対象物の深度マップを取得することと、第１画像に基づいて目標対象物の深度マップを更新して、第２深度マップを得ることに用いられる。
【０２４５】
このように、第１深度マップから目標対象物の深度マップを取得し、第１画像に基づいて目標対象物の深度マップを更新して第２深度マップを得ることにより、第１深度マップにおける背景情報による生体検出への干渉を低減することができる。
【０２４６】
いくつかの特定のシーン（例えば、室外の光が強いシーン）では、取得される深度マップ（例えば、深度センサで取得される深度マップ）は一部の面積が失効となる場合がある。なお、正常な光の照射でも、メガネによる反射、黒い髪又は黒いメガネフレーム等の要因によって深度マップの部分的失効をランダムに引き起こす。いくつかの特別な紙も、類似的に、印刷された顔写真の深度マップに広面積の失効又は部分的失効を引き起こす。また、深度センサのアクティブ光源が遮蔽される場合、補綴の深度マップの一部が失効になるが、補綴の画像センサでの結像が正常となることがあり得る。このように、深度マップの一部又は全部が失効となる場合に、深度マップに基づく生体と補綴の区別に誤差が発生する。従って、本開示の実施例では、第１深度マップを修復又は更新し、修復又は更新後の深度マップを用いて生体検出を行うことにより、生体検出の正確率の向上に寄与する。
【０２４７】
可能な一実施形態では、決定サブモジュールは、第１画像及び第２深度マップを生体検出ニューラルネットワークに入力し処理して、目標対象物の生体検出結果を得ることに用いられる。
【０２４８】
可能な一実施形態では、決定サブモジュールは、第１画像に対して特徴抽出処理を行って第１特徴情報を得ることと、第２深度マップに対して特徴抽出処理を行って第２特徴情報を得ることと、第１特徴情報及び第２特徴情報に基づいて、目標対象物の生体検出結果を決定することに用いられる。
【０２４９】
ここで、選択可能的に、特徴抽出処理は、ニューラルネットワーク又は他の機械学習アルゴリズムによって実現することができ、抽出された特徴情報の種別は、選択可能的にサンプルを用いた学習によって得ることができるが、本開示の実施例はこれらについて限定しない。
【０２５０】
可能な一実施形態では、決定サブモジュールは、第１特徴情報及び第２特徴情報に対して融合処理を行って第３特徴情報を得ることと、第３特徴情報に基づいて、目標対象物の生体検出結果を決定することに用いられる。
【０２５１】
可能な一実施形態では、決定サブモジュールは、第３特徴情報に基づいて目標対象物が生体である確率を得ることと、目標対象物が生体である確率に基づいて目標対象物の生体検出結果を決定することに用いられる。
【０２５２】
本開示の実施例では、車両に設置される少なくとも１つの距離センサによって車両外の目標対象物と車両との間の距離を取得し、距離が所定の条件を満たすことに応じて、車両に設置される画像取得モジュールを、目標対象物の第１画像を取得するようにウェイクアップして制御し、第１画像に基づいて顔認識を行い、顔認識の成功に応じて、車両の少なくとも１つのドアロックにドアロック解除コマンドを送信することにより、ドアロック解除のセキュリティ性を確保した上で、ドアロック解除の利便性を高めることができる。本開示の実施例を採用すれば、車両所有者が車両に近づいている時に、意図的に動作（例えば、ボタンのタッチ、ジェスチャ）することなく、生体検出と顔認証フローを自動的にトリガし、車両所有者の生体検出と顔認証が成功すると、ドアを自動的に開けることができる。
【０２５３】
可能な一実施形態では、装置は、顔認識の失敗に応じて、車両に設置されるパスワードロック解除モジュールをアクティブ化して、パスワードによるロック解除フローを起動するためのアクティブ化起動モジュールを更に含む。
【０２５４】
この実施形態では、パスワードによるロック解除は顔認識によるロック解除の代替手段となる。顔認識の失敗の原因は、目標対象物が補綴であることを示す生体検出結果であること、顔認証が失敗したこと、画像取得が失敗した（例えば、カメラが故障した）こと、および認識回数が所定の回数を超えたこと等のうちの少なくとも１つを含んでもよい。目標対象物の顔認識が失敗すると、パスワードによるロック解除フローを起動する。例えば、Ｂピラーのタッチスクリーンによってユーザから入力するパスワードを取得するようにしてもよい。
【０２５５】
可能な一実施形態では、装置は、画像取得モジュールにより取得した車両所有者の顔画像に基づいて車両所有者の登録を行うことと、車両所有者の端末装置により取得した車両所有者の顔画像に基づいて遠隔登録を行い、車両所有者の顔画像を含む登録情報を車両に送信することとの１つ又は２つに用いられる登録モジュールを更に含む。
【０２５６】
この実施形態によれば、後続の顔認証時にこの予め登録された顔特徴に基づいて顔照合を行うことができる。
【０２５７】
いくつかの実施例では、本開示の実施例で提供された装置に備える機能又はモジュールは、上記の方法実施例に記載の方法を実行するために用いられるものであり、その具体的な実施については上記の方法実施例の記載を参照すればよく、説明を簡潔化するために、ここでは重複の説明は省略する。
【０２５８】
図１４は本開示の実施例に係る車載顔認証ロック解除システムのブロック図を示す。図１４に示すように、この車載顔認証ロック解除システムは、メモリ３１、顔認識システム３２、画像取得モジュール３３及び人体近接監視システム３４を含み、顔認識システム３２は、メモリ３１、画像取得モジュール３３及び人体近接監視システム３４にそれぞれ接続され、人体近接監視システム３４は、距離が所定の条件を満たすと顔認識システムをウェイクアップするマイクロプロセッサ３４１、及びマイクロプロセッサ３４１に接続される少なくとも１つの距離センサ３４２を含み、顔認識システム３２は、ドア領域コントローラに接続される通信インタフェースが更に設置され、顔認識が成功すると、通信インタフェースによって、ドア領域コントローラへドアを解錠するための制御情報を送信する。
【０２５９】
一例において、メモリ３１は、フラッシュメモリ（Ｆｌａｓｈ）及びＤＤＲ３（Ｄｏｕｂｌｅ  Ｄａｔｅ  Ｒａｔｅ  ３、第３世代のダブルデータレート）メモリの少なくとも１つを含んでもよい。
【０２６０】
一例において、顔認識システム３２は、ＳｏＣ（Ｓｙｓｔｅｍ  ｏｎ  Ｃｈｉｐ、システムオンチップ）を用いて実現されてもよい。
【０２６１】
一例において、顔認識システム３２は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ、コントローラエリアネットワーク）バスを介してドア領域コントローラに接続される。
【０２６２】
可能な一実施形態では、少なくとも１つの距離センサ３４２は、ブルートゥース距離センサおよび超音波距離センサの少なくとも１つを含む。
【０２６３】
一例において、超音波距離センサは、シリアル（Ｓｅｒｉａｌ）バスを介してマイクロプロセッサ３４１に接続される。
【０２６４】
可能な一実施形態では、画像取得モジュール３３は、画像センサ及び深度センサを含む。
【０２６５】
一例において、画像センサは、ＲＧＢセンサ及び赤外線センサの少なくとも１つを含む。
【０２６６】
一例において、深度センサは、両眼赤外線センサ及び飛行時間ＴＯＦセンサの少なくとも１つを含む。
【０２６７】
可能な一実施形態では、深度センサは、２つの赤外線カメラが画像センサのカメラの両側に設置される両眼赤外線センサを含む。例えば、図５ａに示す例において、画像センサはＲＧＢセンサであり、画像センサのカメラはＲＧＢカメラであり、深度センサは、両眼赤外線センサであり、２つのＩＲ（赤外線）カメラを含み、両眼赤外線センサの２つの赤外線カメラが画像センサのＲＧＢカメラの両側に設置される。
【０２６８】
一例において、画像取得モジュール３３は、両眼赤外線センサの赤外線カメラと画像センサのカメラとの間に設置されるものであって、画像センサ用の補光ライト及び深度センサ用の補光ライトの少なくとも一方を含む少なくとも１つの補光ライトを更に含む。例えば、画像センサがＲＧＢセンサである場合、画像センサ用の補光ライトはホワイトライトであり、画像センサが赤外線センサである場合、画像センサ用の補光ライトは赤外線ライトであり、深度センサが両眼赤外線センサである場合、深度センサ用の補光ライトは赤外線ライトであるようにしてもよい。図５ａに示す例において、両眼赤外線センサの赤外線カメラと画像センサのカメラとの間に赤外線ライトが設置される。例えば、赤外線ライトは、９４０ｎｍの赤外線を用いるようにしてもよい。
【０２６９】
一例において、補光ライトはノーマルオープンモードとしてもよい。この例において、画像取得モジュールのカメラが動作状態にある時に、補光ライトはオン状態にある。
【０２７０】
別の例において、光線が足りない場合に補光ライトをオンにしてもよい。例えば、環境光センサによって環境光強度を取得し、環境光強度が光強度閾値より低い場合に光線が足りないと判定し、補光ライトをオンにするようにしてもよい。
【０２７１】
可能な一実施形態では、画像取得モジュール３３は、深度センサのカメラと画像センサのカメラとの間に設置されるレーザーを更に含む。例えば、図５ｂに示す例において、画像センサがＲＧＢセンサであり、画像センサのカメラがＲＧＢカメラであり、深度センサがＴＯＦセンサであり、レーザーがＴＯＦセンサのカメラとＲＧＢセンサのカメラとの間に設置されている。例えば、レーザーはＶＣＳＥＬであり、ＴＯＦセンサはＶＣＳＥＬから発生したレーザー光によって深度マップを取得する。
【０２７２】
一例において、深度センサは、ＬＶＤＳ（Ｌｏｗ−Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌｉｎｇ、低電圧差動信号）インタフェースを介して顔認識システム３２に接続される。
【０２７３】
可能な一実施形態では、車載顔認証ロック解除システムは、顔認識システム３２に接続され、ドアを解錠するためのパスワードロック解除モジュール３５を更に含む。
【０２７４】
可能な一実施形態では、パスワードロック解除モジュール３５は、タッチスクリーン及びキーボードの１つ又は２つを含む。
【０２７５】
一例において、タッチスクリーンは、ＦＰＤ−Ｌｉｎｋ（Ｆｌａｔ  Ｐａｎｅｌ  Ｄｉｓｐｌａｙ  Ｌｉｎｋ、フラットパネルディスプレイリンク）を介して顔認識システム３２に接続される。
【０２７６】
可能な一実施形態では、車載顔認証ロック解除システムは、マイクロプロセッサ３４１及び顔認識システム３２にそれぞれ接続される電池モジュール３６を更に含む。
【０２７７】
可能な一実施形態では、メモリ３１、顔認識システム３２、人体近接監視システム３４及び電池モジュール３６は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ、電子制御ユニット）に搭載されてもよい。
【０２７８】
図１５は本開示の実施例に係る車載顔認証ロック解除システムの模式図を示す。図１５に示す例において、メモリ３１、顔認識システム３２、人体近接監視システム３４及び電池モジュール（Ｐｏｗｅｒ  Ｍａｎａｇｅｍｅｎｔ）３６は、ＥＣＵに搭載されており、顔認識システム３２は、ＳｏＣを用いて実現され、メモリ３１は、フラッシュメモリ（Ｆｌａｓｈ）及びＤＤＲ３メモリを含み、少なくとも１つの距離センサ３４２は、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）距離センサ及び超音波（Ｕｌｔｒａｓｏｎｉｃ）距離センサを含み、画像取得モジュール３３は、深度センサ（３Ｄ  Ｃａｍｅｒａ）を含み、深度センサは、ＬＶＤＳインタフェースを介して顔認識システム３２に接続され、パスワードロック解除モジュール３５は、タッチスクリーン（Ｔｏｕｃｈ  Ｓｃｒｅｅｎ）を含み、タッチスクリーンは、ＦＰＤ−Ｌｉｎｋを介して顔認識システム３２に接続され、顔認識システム３２は、ＣＡＮバスを介してドア領域コントローラに接続される。
【０２７９】
図１６は本開示の実施例に係る車両の模式図を示す。図１６に示すように、車両は、ドア領域コントローラ４２に接続される車載顔認証ロック解除システム４１を含む。
【０２８０】
可能な一実施形態では、画像取得モジュールが車両の車室外部に設置される。
【０２８１】
可能な一実施形態では、画像取得モジュールは、車両のＢピラー、少なくとも１つのドア、少なくとも１つのバックミラーのうちの少なくとも１つに設置される。
【０２８２】
可能な一実施形態では、顔認識システムは、車両内に設置され、ＣＡＮバスを介してドア領域コントローラに接続される。
【０２８３】
可能な一実施形態では、少なくとも１つの距離センサは、車両内に設置されるブルートゥース距離センサを含む。
【０２８４】
可能な一実施形態では、少なくとも１つの距離センサは、車両の車室外部に設置される超音波距離センサを含む。
【０２８５】
本開示の実施例は、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体を更に提供する。コンピュータ読み取り可能な記憶媒体は、不揮発性コンピュータ読み取り可能な記憶媒体であってもよく、又は揮発性コンピュータ読み取り可能な記憶媒体であってもよい。
【０２８６】
本開示の実施例は、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードは、電子機器で動作すると、前記電子機器のプロセッサに上記車両のドアロック解除方法を実現するためのコマンドを実行させるコンピュータプログラムを更に提供する。
【０２８７】
本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは上記方法を実行するように構成される電子機器を更に提供する。
【０２８８】
電子機器は、端末、サーバ又は他の形態の装置として提供されてもよい。
【０２８９】
図１７は例示的な一実施例に基づいて示された電子機器８００のブロック図である。例えば、電子機器８００は車両のドアロック解除装置等の端末であってもよい。
【０２９０】
図１７を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６の一つまたは複数を含むことができる。
【０２９１】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つまたは複数のプロセッサ８２０を含んでもよい。なお、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つまたは複数のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
【０２９２】
メモリ８０４は、電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において運用するあらゆるアプリケーションプログラムまたは方法の命令、連絡者データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶装置またはそれらの組み合わせによって実現できる。
【０２９３】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つまたは複数の電源、および電子機器８００のための電力の生成、管理および配分に関する他のコンポーネントを含んでもよい。
【０２９４】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つまたは複数のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードである場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。前面カメラおよび／または後面カメラのそれぞれは固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
【０２９５】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、マイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードである場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０は、オーディオ信号を出力するためのスピーカーをさらに含む。
【０２９６】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
【０２９７】
センサコンポーネント８１４は電子機器８００各面の状態評価のための一つまたは複数のセンサを含む。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４は、電子機器８００または電子機器８００のコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化をさらに検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含む。センサコンポーネント８１４は、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用する光センサをさらに含んでもよい。いくつかの実施例では、該センサコンポーネント８１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサをさらに含んでもよい。
【０２９８】
通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇ、３Ｇ、４Ｇ或いは５Ｇ、またはそれらの組み合わせにアクセスできる。例示的一実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例では、前記通信コンポーネント８１６は、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
【０２９９】
例示的な実施例では、電子機器８００は一つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現し、上記方法を実行するために用いることができる。
【０３００】
例示的な実施例では、非揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４がさらに提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
【０３０１】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各態様を実現させるためのコンピュータ読み取り可能プログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体を含むことができる。
【０３０２】
コンピュータ読み取り可能な記憶媒体は命令実行装置に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらなる具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているパンチカードまたはスロット内の突起構造のような機械的符号化装置、、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルによるパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【０３０３】
ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを経由して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
【０３０４】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つまたは複数のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種別のネットワークを介してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを介して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能プログラム命令を実行することにより、本開示の各態様を実現するようにしてもよい。
【０３０５】
ここで、本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明した。フローチャートおよび／またはブロック図の各ブロックと、フローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できると理解すべきである。
【０３０６】
これらのコンピュータ読み取り可能プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つまたは複数のブロックで指定された機能／動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器に特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ読み取り可能な記憶媒体は、フローチャートおよび／またはブロック図の一つまたは複数のブロックで指定された機能／動作の各態様を実現するための命令を有する製品を含む。
【０３０７】
コンピュータ読み取り可能プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成するようにしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つまたは複数のブロックで指定された機能／動作を実現する。
【０３０８】
図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つまたは複数の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現されてもよい。例えば、連続的な二つのブロックは実質的に並行に実行されてもよく、係る機能によって、逆な順序で実行されてもよい場合がある。ブロック図および／またはフローチャートにおける各ブロックと、ブロック図および／またはフローチャートにおけるブロックとの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現されてもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現されてもよいことに注意すべきである。
【０３０９】
以上、本開示の各実施例を説明したが、上記説明は網羅的なものではなく例示的なものであり、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に用いられた用語は、各実施例の原理、実際の適用または従来技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【図１】
2021516646.tif 000043
【図２】
2021516646.tif 000044
【図３】
2021516646.tif 000045
【図４】
2021516646.tif 000046
【図５ａ】
2021516646.tif 000047
【図５ｂ】
2021516646.tif 000048
【図６】
2021516646.tif 000049
【図７】
2021516646.tif 000050
【図８】
2021516646.tif 000051
【図９】
2021516646.tif 000052
【図１０】
2021516646.tif 000053
【図１１】
2021516646.tif 000054
【図１２】
2021516646.tif 000055
【図１３】
2021516646.tif 000056
【図１４】
2021516646.tif 000057
【図１５】
2021516646.tif 000058
【図１６】
2021516646.tif 000059
【図１７】
2021516646.tif 000060
【手続補正書】
【提出日】令和2年9月25日(2020.9.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することと、
前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することと、
前記第１画像に基づいて顔認識を行うことと、
顔認識の成功に応じて、前記車両の少なくとも１つのドアロックにドアロック解除コマンドを送信することと、を含むことを特徴とする車両のドアロック解除方法。
【請求項２】
前記所定の条件は、
前記距離が所定の距離閾値より小さいことと、
前記距離が所定の距離閾値より小さくなる持続時間が所定の時間閾値に達することと、
持続時間の期間に取得される前記距離が、前記目標対象物が前記車両に近づいていることを示すこととのうちの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記少なくとも１つの距離センサは、ブルートゥース距離センサを含み、
前記車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することは、
外部装置と前記ブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、
前記ブルートゥースによるペアリング接続の成功に応じて、前記ブルートゥース距離センサによって前記外部装置を持っている目標対象物と前記車両との間の第１距離を取得することと、を含み、
又は、
前記少なくとも１つの距離センサは、超音波距離センサを含み、
前記車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することは、
前記車両の車室外部に設置される前記超音波距離センサによって前記目標対象物と前記車両との間の第２距離を取得することを含み、
又は、
前記少なくとも１つの距離センサは、ブルートゥース距離センサ及び超音波距離センサを含み、
前記車両に設置される少なくとも１つの距離センサによって前記車両外の目標対象物と前記車両との間の距離を取得することは、外部装置と前記ブルートゥース距離センサとのブルートゥースによるペアリング接続を確立することと、前記ブルートゥースによるペアリング接続の成功に応じて、前記ブルートゥース距離センサによって前記外部装置を持っている目標対象物と前記車両との間の第１距離を取得することと、前記超音波距離センサによって前記目標対象物と前記車両との間の第２距離を取得することと、を含み、
前記距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することは、前記第１距離及び前記第２距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することを含むことを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記所定の条件は、第１所定の条件及び第２所定の条件を含み、
前記第１所定の条件は、前記第１距離が所定の第１距離閾値より小さいことと、前記第１距離が所定の第１距離閾値より小さくなる持続時間が所定の時間閾値に達することと、持続時間の期間に取得される前記第１距離が、前記目標対象物が前記車両に近づいていることを示すこととのうちの少なくとも１つを含み、
前記第２所定の条件は、前記第２距離が前記第１距離閾値より小さい所定の第２距離閾値より小さいことと、前記第２距離が所定の第２距離閾値より小さくなる持続時間が所定の時間閾値に達することとを含み、
及び／又は、
前記第１距離及び前記第２距離が所定の条件を満たすことに応じて、前記車両に設置される画像取得モジュールを、前記目標対象物の第１画像を取得するようにウェイクアップして制御することは、
前記第１距離が第１所定の条件を満たすことに応じて、前記車両に設置される顔認識システムをウェイクアップすることと、
前記第２距離が第２所定の条件を満たすことに応じて、ウェイクアップされた前記顔認識システムによって、前記目標対象物の第１画像を取得するように前記画像取得モジュールを制御することと、を含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記距離センサは超音波距離センサであり、前記所定の距離閾値は、算出されて得た、前記車両外の対象物と前記車両との間の距離の閾値の基準値を示す距離閾値基準値、及び前記車両外の対象物と前記車両との間の距離の閾値のオフセット値を示す所定の距離閾値オフセット値に基づいて決定されることを特徴とする請求項２〜４のいずれか一項に記載の方法。
【請求項６】
前記所定の距離閾値は前記距離閾値基準値と前記所定の距離閾値オフセット値との差に等しく、
及び／又は、
前記距離閾値基準値は、車両のイグニッションオフ後の特定期間の前記車両外の対象物と前記車両との間の距離の平均値を示す車両のイグニッションオフ後の距離平均値と、ドアロック解除可能な最大距離のうちの最小値を取り、
及び／又は、
前記距離閾値基準値は周期的に更新されることを特徴とする請求項５に記載の方法。
【請求項７】
前記距離センサは超音波距離センサであり、前記所定の時間閾値は、算出されて得た、前記車両外の対象物と前記車両との間の距離が前記所定の距離閾値より小さくなる時間の閾値の基準値を示す時間閾値基準値、及び前記車両外の対象物と前記車両との間の距離が前記所定の距離閾値より小さくなる時間の閾値のオフセット値を示す時間閾値オフセット値に基づいて決定されることを特徴とする請求項２〜６のいずれか一項に記載の方法。
【請求項８】
前記所定の時間閾値は前記時間閾値基準値と前記時間閾値オフセット値との和に等しく、
及び／又は、
前記時間閾値基準値は、前記超音波距離センサの水平方向検知角度、前記超音波距離センサの検知半径、対象物サイズ及び対象物速度のうちの１つ又は複数に基づいて決定されることを特徴とする請求項７に記載の方法。
【請求項９】
種別ごとの対象物サイズ、種別ごとの対象物速度、前記超音波距離センサの水平方向検知角度及び前記超音波距離センサの検知半径に基づいて、種別ごとの対象物に対応する候補基準値を決定することと、
種別ごとの対象物に対応する候補基準値のうちの最大値を前記時間閾値基準値として決定することを含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記顔認識は、生体検出及び顔認証を含み、
前記第１画像に基づいて顔認識を行うことは、
前記画像取得モジュールの画像センサによって前記第１画像を取得し、前記第１画像及び予め登録された顔特徴に基づいて顔認証を行うことと、
前記画像取得モジュールの深度センサによって前記第１画像に対応する第１深度マップを取得することと、
前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることと、
前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
前記第１画像に基づいて、前記第１深度マップにおける深度失効画素の深度値を更新して前記第２深度マップを得ることを含み、
及び／又は、
前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
前記第１画像に基づいて、前記第１画像における複数の画素の、深度予測値及び前記複数の画素同士の関連度を示す関連情報を決定することと、
前記複数の画素の深度予測値及び関連情報に基づいて前記第１深度マップを更新して、第２深度マップを得ることと、を含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記複数の画素の深度予測値及び関連情報に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
前記第１深度マップにおける深度失効画素を決定することと、
前記複数の画素の深度予測値から前記深度失効画素の深度予測値及び前記深度失効画素の複数の周辺画素の深度予測値を取得することと、
前記複数の画素の関連情報から前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度を取得することと、
前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することと、を含み、
及び／又は、
前記第１画像に基づいて、前記第１画像における複数の画素の深度予測値を決定することは、
前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度予測値を決定することを含み、
及び／又は、
前記第１画像に基づいて、前記第１画像における複数の画素同士の関連情報を決定することは、
前記第１画像を関連度検出ニューラルネットワークに入力し処理して、前記第１画像における複数の画素の関連情報を得ることを含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記深度失効画素の深度予測値、前記深度失効画素の複数の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することは、
前記深度失効画素の周辺画素の深度予測値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することと、
前記深度失効画素の深度予測値及び前記深度関連値に基づいて、前記深度失効画素の更新後の深度値を決定することと、を含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記第１画像に基づいて前記第１深度マップを更新することは、
前記第１画像に対して目標検出を行って、前記目標対象物の所在領域を得ることと、
前記目標対象物の所在領域の画像に対してキーポイント検出を行って、前記第１画像における前記目標対象物のキーポイント情報を得ることと、
前記目標対象物のキーポイント情報に基づいて、前記第１画像から前記目標対象物の画像を取得することと、
前記目標対象物の画像に基づいて、前記第１深度マップを更新することと、を含むことを特徴とする請求項１０〜１３のいずれか一項に記載の方法。
【請求項１５】
前記第１画像に基づいて前記第１深度マップを更新して、第２深度マップを得ることは、
前記第１深度マップから前記目標対象物の深度マップを取得することと、
前記第１画像に基づいて前記目標対象物の深度マップを更新して、前記第２深度マップを得ることと、を含み、
及び／又は、
前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することは、
前記第１画像及び前記第２深度マップを生体検出ニューラルネットワークに入力し処理して、前記目標対象物の生体検出結果を得ることを含み、
及び／又は、
前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することは、
前記第１画像に対して特徴抽出処理を行って、第１特徴情報を得ることと、
前記第２深度マップに対して特徴抽出処理を行って、第２特徴情報を得ることと、
前記第１特徴情報及び前記第２特徴情報に対して融合処理を行って、第３特徴情報を得ることと、
前記第３特徴情報に基づいて、前記目標対象物が生体である確率を得ることと、
前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項１０〜１４のいずれか一項に記載の方法。
【請求項１６】
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
前記プロセッサは請求項１〜１５のいずれか一項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項１７】
コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、請求項１〜１５のいずれか一項に記載の方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１８】
コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードは、電子機器で動作すると、前記電子機器のプロセッサに請求項１〜１５のいずれか一項に記載の方法を実現するためのコマンドを実行させることを特徴とするコンピュータプログラム。
【国際調査報告】
2021516646.tif 000061
2021516646.tif 000062
2021516646.tif 000063
2021516646.tif 000064
2021516646.tif 000065
2021516646.tif 000066