(57)【要約】  本発明は、人体認識方法、機器及び記憶媒体を提供する。該方法には、少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定し、三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算し、カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定し、人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行う。本発明は、人体再認識技術において人体の三次元空間座標を導入することで、画像の認識結果に対して予め判断の処理を行い、認識エラーのある画像を再認識し、これにより、人体認識結果の精度を効率的に高めることができる。【選択図】  図２
2021502646.tif 000002
【特許請求の範囲】
【請求項１】
人体認識方法であって、
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定するステップと、
三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算するステップと、
カメラごとについて、前記カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定するステップと、
人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行うステップと、を含むことを特徴とする人体認識方法。
【請求項２】
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する前記ステップの前に、
歩行者再認識技術ＲｅＩＤを用いてシーンにおける複数のカメラによって収集された画像に対して人体認識を行い、複数のカメラでのターゲット人物の対応関係を得るステップと、
複数のカメラでのターゲット人物の対応関係に基づき、少なくとも２台のカメラによって収集されたターゲット人物の入る画像を選別するステップと、をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する前記ステップは、
任意の２台のカメラで同時刻に収集されたターゲット人物の入る画像を選出するステップと、
前記２台のカメラによって収集されたターゲット人物の入る前記画像において、前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスをそれぞれ取得するステップであって、前記カメラマトリックスは既知のカメラパラメータに基づいて取得される、ステップと、
前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得るステップと、を含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得る前記ステップは、
Ｘ１とＸ２はそれぞれ、前記２台のカメラでの前記画像内のターゲット人物の座標であり、Ｐ１はＸ１に対応するカメラのカメラマトリックスであり、Ｐ２はＸ２に対応するカメラのカメラマトリックスであるとみなすステップであって、Ｘ１、Ｘ２と三次元空間における前記ターゲット人物の座標Ｗとは以下のような対応関係があり、
Ｘ１＝Ｐ１＊Ｗ、Ｘ２＝Ｐ２＊Ｗ、
そのうち、＊は乗算を表す、ステップを含むことを特徴とする請求項３に記載の方法。
【請求項５】
三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算する前記ステップは、
Ｕｉ＝Ｐｉ＊Ｗであるようにするステップであって、
そのうち、Ｕｉはｉ番目のカメラでのＷの逆投影座標であり、Ｐｉはｉ番目のカメラのカメラマトリックスであり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像のカメラの総数である、ステップと、
ｅｉ＝Ｕｉ−Ｘｉであるようにするステップであって、
そのうち、ｅｉはｉ番目のカメラでの逆投影エラーであり、Ｘｉはｉ番目のカメラに対応する画像内での前記ターゲット人物の座標であり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像のカメラの総数であるステップと、を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定する前記ステップは、
前記カメラの逆投影エラーがプリセットの閾値より大きい場合、前記カメラは人体認識エラーがあると決定するステップを含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行う前記ステップの後に、
異なるカメラに対応する画像内での前記ターゲット人物の座標、及び、画像タグを取得するステップと、
前記座標と画像タグを監視プラットフォームに送信するステップと、をさらに含むことを特徴とする請求項１〜請求項６のいずれか１項に記載の方法。
【請求項８】
人体認識機器であって、
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定するための決定モジュールと、
三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算するための計算モジュールと、
カメラごとについて、前記カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定するための判別モジュールと、
人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行うための認識モジュールと、を含むことを特徴とする人体認識機器。
【請求項９】
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する前に、歩行者再認識技術ＲｅＩＤを用いてシーンにおける複数のカメラによって収集された画像に対して人体認識を行い、複数のカメラでのターゲット人物の対応関係を得て、
複数のカメラでのターゲット人物の対応関係に基づき、少なくとも２台のカメラによって収集されたターゲット人物の入る画像を選別するための予め認識モジュールをさらに含むことを特徴とする請求項８に記載の機器。
【請求項１０】
前記決定モジュールは、具体的に、
任意の２台のカメラで同時刻に収集されたターゲット人物の入る画像を選出し、
前記２台のカメラによって収集されたターゲット人物の入る前記画像において、前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスをそれぞれ取得し、そのうち、前記カメラマトリックスは既知のカメラパラメータに基づいて取得されるものであり、
前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得るためのものであることを特徴とする請求項８に記載の機器。
【請求項１１】
前記画像内のターゲット人物の座標、及び２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得ることは、
Ｘ１とＸ２はそれぞれ、２台のカメラでの前記画像内のターゲット人物の座標であり、Ｐ１はＸ１に対応するカメラのカメラマトリックスであり、Ｐ２はＸ２に対応するカメラのカメラマトリックスであるとみなすことであって、Ｘ１、Ｘ２と三次元空間における前記ターゲット人物の座標Ｗとは以下のような対応関係があり、
Ｘ１＝Ｐ１＊Ｗ、Ｘ２＝Ｐ２＊Ｗ、
そのうち、＊は乗算を表す、前記みなすことを含むことを特徴とする請求項１０に記載の機器。
【請求項１２】
三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算することは、
Ｕｉ＝Ｐｉ＊Ｗであるようにすることであって、
そのうち、Ｕｉはｉ番目のカメラでのＷの逆投影座標であり、Ｐｉはｉ番目のカメラのカメラマトリックスであり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像のカメラの総数である、前記することと、
ｅｉ＝Ｕｉ−Ｘｉであるようすることであって、
そのうち、ｅｉはｉ番目のカメラでの逆投影エラーであり、Ｘｉはｉ番目のカメラに対応する画像内での前記ターゲット人物の座標であり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像のカメラの総数である、前記することと、を含むことを特徴とする請求項１１に記載の機器。
【請求項１３】
前記判別モジュールは、具体的に、
前記カメラの逆投影エラーがプリセットの閾値より大きい場合、前記カメラは人体認識エラーがあると決定するためのものであることを特徴とする請求項８に記載の機器。
【請求項１４】
前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行った後に、異なるカメラに対応する画像内での前記ターゲット人物の座標、及び、画像タグを取得し、
前記座標と画像タグを監視プラットフォームに送信するための送信モジュールをさらに含むことを特徴とする請求項８〜請求項１３のいずれか１項に記載の機器。
【請求項１５】
サーバであって、プロセッサとメモリを含み、メモリには前記プロセッサによる実行可能な命令が記憶され、そのうち、前記プロセッサは、前記実行可能な命令を実行することで請求項１〜請求項７のいずれか１項に記載の人体認識方法を実行させるように構成されていることを特徴とするサーバ。
【請求項１６】
コンピュータプログラムを記憶するコンピュータ可読記憶媒体であって、当該プログラムがプロセッサによって実行されると、請求項１〜請求項７のいずれか１項に記載の人体認識方法を実現することを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識技術の分野に関し、特に人体認識方法、機器及び記憶媒体に関する。
【背景技術】
【０００２】
監視技術の発展に伴い、配備されているカメラの数は徐々に増加し、これによりクローズドシーンでの人体に対するリアルタイム追跡と認識を可能にする。
【０００３】
現在、多視点条件での複数人追跡と認識は、主に二次元画像情報に依存し、人体が二次元画像におけるセマンティック特徴により人体に対するクロスカメラの認識と関連付けを行う。
【０００４】
しかしながら、複数のカメラで呈する人体の姿勢の違いは非常に大きい場合があり、これによって二次元画像における人体の視覚的特徴は大きな偏差があるようになった。これにより、二次元画像で提供された情報をもって行われるクロスカメラの認識も、精度が低く、人体認識エラーが発生しやすくなった。
【０００５】
「関連出願の相互参照」
本願は、２０１８年７月３日に中国特許局に提出した、出願番号が２０１８１０７１９６９２３であり、出願人が百度在線網絡技術（北京）有限公司で、発明の名称が「人体認識方法、機器及び記憶媒体」である中国特許出願の優先権を主張し、その開示内容の全ては援用により本願に組み入れられる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、人体認識方法、機器及び記憶媒体を提供し、人体再認識技術において人体の三次元空間座標を導入することで、画像の認識結果に対して予め判断の処理を行い、且つ認識エラーのある画像を再認識し、これにより、人体認識結果の精度を効率的に高めることができる。
【課題を解決するための手段】
【０００７】
第１の態様では、本発明は、人体認識方法を提供し、
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定するステップと、
三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算するステップと、
カメラごとについて、前記カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定するステップと、
人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行うステップと、を含む。
【０００８】
本実施例において、人体再認識技術において人体の三次元空間座標を導入することで、画像の認識結果に対して予め判断の処理を行い、認識エラーのある画像を再認識し、これにより、人体認識結果の精度を効率的に高めることができる。
【０００９】
１つの可能な設計では、少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定するステップの前に、
歩行者再認識技術ＲｅＩＤを用いてシーンにおける複数のカメラによって収集された画像に対して人体認識を行い、複数のカメラでのターゲット人物の対応関係を得るステップと、
複数のカメラでのターゲット人物の対応関係に基づき、少なくとも２台のカメラによって収集されたターゲット人物の入る画像を選別するステップと、をさらに含む。
【００１０】
本実施例において、シーンに少なくとも２台のカメラを予め配置し、カメラごとの観察視点が異なり、これらのカメラを介してシーンにおける人体の活動に対して追跡と認識を行うことができ、歩行者再認識技術ＲｅＩＤによってターゲット人物と複数のカメラとの対応関係を得て、これによりターゲット人物の入る頭の画像を取得して、ターゲット人物の追跡精度を向上させる。
【００１１】
１つの可能な設計では、少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する前記ステップは、
任意の２台のカメラで同時刻に収集されたターゲット人物の入る画像を選出するステップと、
前記２台のカメラによって収集されたターゲット人物の入る前記画像において、前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスをそれぞれ取得するステップであって、前記カメラマトリックスは、既知のカメラパラメータに基づいて取得される、ステップと、
前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得るステップと、を含む。
【００１２】
本実施例において、ターゲット人物の入る画像において、画像内のターゲット人物の座標、及び、２台のカメラのカメラマトリックスによって、三次元空間におけるターゲット人物の座標を正確に算出することができる。
【００１３】
１つの可能な設計では、前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得る前記ステップは、
Ｘ１とＸ２はそれぞれ、前記２台のカメラでの前記画像内のターゲット人物の座標であり、Ｐ１はＸ１に対応するカメラのカメラマトリックスであり、Ｐ２はＸ２に対応するカメラのカメラマトリックスであるとみなすステップであって、Ｘ１、Ｘ２と三次元空間における前記ターゲット人物の座標Ｗとは以下のような対応関係があり、
Ｘ１＝Ｐ１＊Ｗ、Ｘ２＝Ｐ２＊Ｗ、
そのうち、＊は乗算を表す、ステップを含む。
【００１４】
１つの可能な設計では、三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算する前記ステップは、
Ｕｉ＝Ｐｉ＊Ｗであるようにするステップであって、
そのうち、Ｕｉはｉ番目のカメラでのＷの逆投影座標、Ｐｉはｉ番目のカメラのカメラマトリックスであり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像のカメラの総数である、ステップと、
ｅｉ＝Ｕｉ−Ｘｉであるようにするステップであって、
そのうち、ｅｉはｉ番目のカメラでの逆投影エラーであり、Ｘｉはｉ番目のカメラに対応する画像内での前記ターゲット人物の座標、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像のカメラの総数である、ステップと、を含む。
【００１５】
本実施例において、三次元空間における座標、及び、カメラのカメラマトリックスに基づいてカメラによって収集された画像での三次元空間における座標の逆投影座標を計算し、当該逆投影座標と、カメラによって収集された画像内の対応する座標（既存の二次元画像座標アルゴリズムに従って得たものである）との差を計算し、三次元空間における座標に対応する逆投影エラーを正確に計算することができる。
【００１６】
１つの可能な設計では、カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定する前記ステップは、
前記カメラの逆投影エラーがプリセットの閾値より大きい場合、前記カメラは人体認識エラーがあると決定するステップを含む。
【００１７】
本実施例において、逆投影エラーを利用して人体認識結果を評価し、これにより人体認識結果をより正確にすることができる。
【００１８】
１つの可能な設計では、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行う前記ステップの後に、
異なるカメラに対応する画像内での前記ターゲット人物の座標、及び、画像タグを取得するステップと、
前記座標と画像タグを監視プラットフォームに送信するステップとをさらに含む。
【００１９】
本実施例において、取得した異なるカメラに対応する画像内でのターゲット人物の座標、及び、画像タグを監視プラットフォームに送信し、これによりターゲット人物に対する監視プラットフォームの監視が正確であるようにすることができる。
【００２０】
第２の態様では、本発明の実施例は、人体認識機器を提供し、
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定するための決定モジュールと、
三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算するための計算モジュールと、
カメラごとについて、前記カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定するための判別モジュールと、
人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行うための認識モジュールと、を含む。
【００２１】
１つの可能な設計では、
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する前に、歩行者再認識技術ＲｅＩＤを用いてシーンにおける複数のカメラによって収集された画像に対して人体認識を行い、複数のカメラでのターゲット人物の対応関係を得て、
複数のカメラでのターゲット人物の対応関係に基づき、少なくとも２台のカメラによって収集されたターゲット人物の入る画像を選別するための予め認識モジュールをさらに含む。
【００２２】
１つの可能な設計では、前記決定モジュールは、具体的に、
任意の２台のカメラで同時刻に収集されたターゲット人物の入る画像を選出し、
前記２台のカメラによって収集されたターゲット人物の入る前記画像において、前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスをそれぞれ取得し、そのうち、前記カメラマトリックスは既知のカメラパラメータに基づいて取得されるものであり、
前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得るためのものである。
【００２３】
１つの可能な設計では、前記画像内のターゲット人物の座標、及び、２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得ることは、
Ｘ１とＸ２はそれぞれ、２台のカメラでの前記画像内のターゲット人物の座標であり、Ｐ１はＸ１に対応するカメラのカメラマトリックスであり、Ｐ２はＸ２に対応するカメラのカメラマトリックスであるとみなすことであって、Ｘ１、Ｘ２と三次元空間における前記ターゲット人物の座標Ｗとは以下のような対応関係があり、
Ｘ１＝Ｐ１＊Ｗ、Ｘ２＝Ｐ２＊Ｗ、
そのうち、＊は乗算を表す、前記みなすことを含む。
【００２４】
１つの可能な設計では、三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算することは、
Ｕｉ＝Ｐｉ＊Ｗであるようにすることであって、
そのうち、Ｕｉはｉ番目のカメラでのＷの逆投影座標であり、Ｐｉはｉ番目のカメラのカメラマトリックスであり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像のカメラの総数である、前記することと、
ｅｉ＝Ｕｉ−Ｘｉであるようにすることであって、
そのうち、ｅｉはｉ番目のカメラでの逆投影エラーであり、Ｘｉはｉ番目のカメラに対応する画像内での前記ターゲット人物の座標であり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像のカメラの総数である、前記することと、を含む。
【００２５】
１つの可能な設計では、前記判別モジュールは、具体的に、
前記カメラの逆投影エラーがプリセットの閾値より大きい場合、前記カメラは人体認識エラーがあると決定するためのものである。
【００２６】
１つの可能な設計では、
前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行った後に、異なるカメラに対応する画像内での前記ターゲット人物の座標、及び、画像タグを取得し、
前記座標と画像タグを監視プラットフォームに送信するための送信モジュールをさらに含む。
【００２７】
第３の態様では、本発明の実施例は、プロセッサとメモリを含むサーバを提供し、メモリには前記プロセッサによる実行可能な命令が記憶され、そのうち、前記プロセッサは、前記実行可能な命令を実行することで第１の態様のいずれか１項に記載の人体認識方法を実行させるように構成されている。
【００２８】
第４の態様では、本発明の実施例は、コンピュータプログラムを記憶するコンピュータ可読記憶媒体を提供し、当該プログラムがプロセッサによって実行されると、第１の態様のいずれか１項に記載の人体認識方法を実現する。
【発明の効果】
【００２９】
本発明に係る人体認識方法、機器及び記憶媒体は、少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定し、三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算し、カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定し、人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行う。本発明は、人体再認識技術において人体の三次元空間座標を導入することで、画像の認識結果に対して予め判断の処理を行い、認識エラーのある画像を再認識し、これにより、人体認識結果の精度を効率的に高めることができる。
【図面の簡単な説明】
【００３０】
本発明の実施例又は従来技術の技術的解決手段をより明確に説明するため、以下に実施例又は従来技術の記述において必要な図面を用いて簡単に説明を行うが、当然ながら、以下に記載する図面は本発明のいくつかの実施例であり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面に想到しうる。
【図１】本発明の１つの応用シーンの概略構造図である。
【図２】本発明の実施例１に係る人体認識方法のフローチャートである。
【図３】本発明の実施例２に係る人体認識機器の概略構造図である。
【図４】本発明の実施例３に係る人体認識機器の概略構造図である。
【図５】本発明の実施例４に係るサーバである。
【発明を実施するための形態】
【００３１】
本発明の実施例の目的、技術的解決手段及び利点をより明瞭にするために、以下、本発明の実施例に係る図面を参照しながら、その技術的解決手段について明瞭、且つ完全に説明し、当然のことながら、記載される実施例は本発明の実施例の一部にすぎず、そのすべての実施例ではない。当業者は、本発明における実施例に基づいて創造的な労働を要することなく、取得されたその他のすべての実施例は、いずれも本発明の保護範囲に属する。
【００３２】
本発明の明細書と特許請求の範囲、及び、上記の図面における用語「第１」、「第２」、「第３」、「第４」など（存在する場合）は、類似の対象を区別するためのものであり、特定の順序又はシーケンスを説明するためのものである必要はない。本明細書に説明する本発明の実施例を、例えば、本明細書で図示又は説明したもの以外の順序で実施できるように、使用されるデータを適宜交換できると理解すべきである。また、「含む」と「持つ」という用語、及び、それらの任意の変形は、いずれも非排他的含有を網羅することを意図し、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品、又はデバイスは、明示的にリストされているステップ又はユニットに限定される必要はなく、明示的にリストされていないもの、又は、これらのプロセス、方法、製品又はデバイスに固有の他のステップ又はユニットを含んでもよい。
【００３３】
以下、具体的な実施例をもって本発明の技術的解決手段を詳細に説明する。以下のこのいくつかの具体的な実施例は、互いに組み合わせられることができ、いくつかの実施例では同様又は類似のコンセプト又はプロセスを繰り返して説明しない場合がある。
【００３４】
以下、当業者が理解できるように、本願における用語の一部を解釈して説明する。
【００３５】
１）歩行者再認識技術（Ｐｅｒｓｏｎ  ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ、略称ＲｅＩＤ）は、コンピュータビジョンテクノロジーを使用して画像又はビデオシーケンスには特定の歩行者が存在するかどうかを判断する技術である。画像検索の副問題として広く考えられている。監視対象としての歩行者画像を与え、クロスデバイスでの当該歩行者画像を検索する。これは、現在の固定されているカメラの視覚的な制限を補うように設計され、さらに、歩行者検出/歩行者追跡技術と組み合わせることができ、インテリジェントビデオ監視、インテリジェントセキュリティなどの分野で広く適用できる。
【００３６】
１つのシーンにおいて、異なる視点からシーンにおける人体の活動を観察できる複数のカメラを予め配置した。具体的に、図１は、本発明の１つの応用シーンの概略構造図であり、図１に示すように、シーンにおける全てのカメラは、カメラグループ１０を構成し、カメラグループ１０における異なるカメラ１１は、収集されたターゲット人物の画像をサーバ２０に送信し、サーバ２０は、少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する。本実施例での三次元空間はシーンにおける空間のことを指す。サーバ２０は、三次元空間におけるターゲット人物の座標に基づいて異なるカメラ１１でのターゲット人物の逆投影エラーをそれぞれ計算し、カメラ１１の逆投影エラーに基づいてカメラ１１は人体認識エラーがあるかどうかを決定し、人体認識エラーがある場合、ターゲット人物の入る全てのカメラ１１の逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いてカメラ１１でのターゲット人物に対して改めて再認識処理を行う。サーバ２０は、最終的に認識した異なるカメラでのターゲット人物に対応する画像内での座標、及び、画像タグを監視プラットフォーム３０に送信する。本実施例は人体再認識技術において人体の三次元空間座標を導入することで、画像の認識結果に対して予め判断の処理を行い、認識エラーのある画像を再認識し、これにより、人体認識結果の精度を効率的に高めることができる。
【００３７】
以下、具体的な実施例をもって本発明の技術的解決手段及び本願の技術的解決手段で上記技術的課題を如何に解決するかを詳細に説明する。以下のこのいくつかの具体的な実施例は、互いに組み合わせられることができ、いくつかの実施例では同様又は類似のコンセプト又はプロセスを繰り返して説明しない場合がある。以下、図面を参照しながら、本発明の実施例を説明する。
【００３８】
図２は、本発明の実施例１に係る人体認識方法のフローチャートであり、図２に示すように、本実施例での方法は以下のステップを含むことができる。
【００３９】
Ｓ１０１において、少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する。
【００４０】
１つ選択的な実施形態では、任意の２台のカメラで同時刻に収集されたターゲット人物の入る画像を選出し、２台のカメラによって収集されたターゲット人物の入る画像において、画像内のターゲット人物の座標、及び、２台のカメラのカメラマトリックスをそれぞれ取得し、そのうち、前記カメラマトリックスは既知のカメラパラメータに基づいて取得したものであり、前記画像内のターゲット人物の座標、及び、２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得ることができる。
【００４１】
本実施例において、シーンに複数のカメラを予め配置し、カメラごとの観察視点が異なり、これらのカメラを介してシーンにおける人体の活動に対して追跡と認識を行うことができる。１つ選択的な実施形態では、歩行者再認識技術ＲｅＩＤを用いてシーンにおける複数のカメラによって収集された画像に対して人体認識を行い、複数のカメラでのターゲット人物の対応関係を得て、複数のカメラでのターゲット人物の対応関係に基づき、少なくとも２台のカメラによって収集されたターゲット人物の入る画像を選別することができる。
【００４２】
具体的に、Ｘ１とＸ２はそれぞれ、２台のカメラでの前記画像内のターゲット人物の座標であり、Ｐ１はＸ１に対応するカメラのカメラマトリックスであり、Ｐ２はＸ２に対応するカメラのカメラマトリックスであると仮定すると、Ｘ１、Ｘ２と三次元空間における前記ターゲット人物の座標Ｗとは以下のような対応関係があり、
Ｘ１＝Ｐ１＊Ｗ、Ｘ２＝Ｐ２＊Ｗ、
そのうち、＊は乗算を表す。
【００４３】
Ｓ１０２において、三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算する。
【００４４】
本実施例において、三次元空間における座標、及び、カメラのカメラマトリックスに基づいてカメラによって収集された画像での三次元空間における座標の逆投影座標を計算し、当該逆投影座標と、カメラによって収集された画像内の対応する座標（既存の二次元画像座標アルゴリズムに従って得たものである）との差を計算し、対応する逆投影エラーを得ることができる。
【００４５】
１つ選択的な実施形態では、三次元空間におけるターゲット人物の座標Ｗをすでに得たと仮定し、Ｕｉ＝Ｐｉ＊Ｗであるようにし、
そのうち、Ｕｉはｉ番目のカメラでのＷの逆投影座標であり、Ｐｉはｉ番目のカメラのカメラマトリックスであり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像のカメラの総数であり、
ｅｉ＝Ｕｉ−Ｘｉであるようにし、
そのうち、ｅｉはｉ番目のカメラでの逆投影エラーであり、Ｘｉはｉ番目のカメラに対応する画像内での前記ターゲット人物の座標であり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像のカメラの総数である。
【００４６】
Ｓ１０３において、カメラごとについて、前記カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定する。
【００４７】
本実施例において、逆投影エラーの大きさによってカメラに対応する画像は人体認識エラーがあるかどうかを決定することができる。選択的に、とあるカメラの逆投影エラーがプリセットの閾値より大きい場合、前記カメラは人体認識エラーがあると決定する。とあるカメラの逆投影エラーがプリセットの閾値より大きくない場合、前記カメラの人体認識結果が正しいと決定する。
【００４８】
Ｓ１０４において、人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行う。
【００４９】
本実施例において、従来の歩行者再認識技術ＲｅＩＤによって人体認識エラーのあるカメラでのターゲット人物に対して再認識処理を行い、これにより、認識エラーの結果を効率的に除外し、人体認識の精度を高めることができる。
【００５０】
１つ選択的な実施形態では、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行った後に、さらに、最後、異なるカメラに対応する画像内での前記ターゲット人物の座標、及び、画像タグを取得し、前記座標と画像タグを監視プラットフォームに送信する。
【００５１】
本実施例において、少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定し、三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算し、カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定し、人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行う。本発明は、人体再認識技術において人体の三次元空間座標を導入することで、画像の認識結果に対して予め判断の処理を行い、認識エラーのある画像を再認識し、これにより、人体認識結果の精度を効率的に高めることができる。
【００５２】
図３は、本発明の実施例２に係る人体認識機器の概略構造図であり、図３に示すように、本実施例に係る人体認識機器は、
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定するための決定モジュール４１と、
三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算するための計算モジュール４２と、
カメラごとについて、前記カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定するための判別モジュール４３と、
人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行うための認識モジュール４４と、を含むことができる。
【００５３】
１つの可能な設計では、前記決定モジュール４１は、具体的に、
任意の２台のカメラで同時刻に収集されたターゲット人物の入る画像を選出し、
２台のカメラによって収集されたターゲット人物の入る画像において、画像内のターゲット人物の座標、及び、２台のカメラのカメラマトリックスをそれぞれ取得し、そのうち、前記カメラマトリックスは既知のカメラパラメータに基づいて取得したものであり、
前記画像内のターゲット人物の座標、及び、２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得るためのものである。
【００５４】
１つの可能な設計では、前記画像内のターゲット人物の座標、及び、２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得ることは、
Ｘ１とＸ２はそれぞれ、２台のカメラでの前記画像内のターゲット人物の座標であり、Ｐ１はＸ１に対応するカメラのカメラマトリックスであり、Ｐ２はＸ２に対応するカメラのカメラマトリックスであるとみなすことであって、Ｘ１、Ｘ２と三次元空間における前記ターゲット人物の座標Ｗとは以下のような対応関係があり、
Ｘ１＝Ｐ１＊Ｗ、Ｘ２＝Ｐ２＊ Ｗ、
そのうち、＊は乗算を表す、前記みなすことを含む。
【００５５】
１つの可能な設計では、三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算することは、
Ｕｉ＝Ｐｉ＊Ｗであるようにすることであって、
そのうち、Ｕｉはｉ番目のカメラでのＷの逆投影座標であり、Ｐｉはｉ番目のカメラのカメラマトリックスであり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像のカメラの総数である、前記することと、
ｅｉ＝Ｕｉ−Ｘｉであるようにすることであって、
そのうち、ｅｉはｉ番目のカメラでの逆投影エラーであり、Ｘｉはｉ番目のカメラに対応する画像内での前記ターゲット人物の座標であり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像のカメラの総数である、前記することと、を含む。
【００５６】
１つの可能な設計では、前記判別モジュール４３は、具体的に、
前記カメラの逆投影エラーがプリセットの閾値より大きい場合、前記カメラは人体認識エラーがあると決定するためのものである。
【００５７】
本実施例に係る人体認識機器は、上記いずれか１つの方法の実施例の方法における技術的解決手段を実行することができ、その実現原理及び技術的効果は類似し、本実施例では繰り返して説明しない。
【００５８】
図４は、本発明の実施例３に係る人体認識機器の概略構造図である。図４に示すように、図３に示すような機器を基にし、本実施例に係る人体認識機器は、
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する前に、歩行者再認識技術ＲｅＩＤを用いてシーンにおける複数のカメラによって収集された画像に対して人体認識を行い、複数のカメラでのターゲット人物の対応関係を得て、
複数のカメラでのターゲット人物の対応関係に基づき、少なくとも２台のカメラによって収集されたターゲット人物の入る画像を選別するための予め認識モジュール４５をさらに含むことができる。
【００５９】
１つの可能な設計では、
前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行った後に、異なるカメラに対応する画像内での前記ターゲット人物の座標、及び、画像タグを取得し、
前記座標と画像タグを監視プラットフォームに送信するための送信モジュール４６をさらに含む。
【００６０】
本実施例に係る人体認識機器は、上記いずれか１つの方法の実施例の方法における技術的解決手段を実行することができ、その実現原理及び技術的効果は類似し、本実施例では繰り返して説明しない。
【００６１】
図５は、本発明の実施例４に係るサーバであり、図５に示すように、本実施例におけるサーバ５０は、プロセッサ５１とメモリ５２を含む。
【００６２】
メモリ５２は、コンピュータプログラム（例えば、上記人体認識方法を実現するアプリケーションプログラム、機能モジュールなど）、コンピュータ命令などを記憶するためのものであり、上記のコンピュータプログラム、コンピュータ命令などは、1つ又は複数のメモリ５２に仕切りに記憶されてもよい。さらに、上記のコンピュータプログラム、コンピュータ命令、データなどは、プロセッサ５１によって呼び出されることができる。
【００６３】
プロセッサ５１は、前記メモリ５２が記憶する前記コンピュータプログラムを実行することで、上記実施例に係る方法における各ステップを実現するためのものである。具体的に、前の方法の実施例における関連説明を参照することができる。そのうち、メモリ５２、プロセッサ５１は、バス５３を介して結合的に接続されてもよい。
【００６４】
本実施例に係るサーバは、上記いずれか１つの方法の実施例の方法における技術的解決手段を実行することができ、その実現原理及び技術的効果は類似し、本実施例では繰り返して説明しない。
【００６５】
また、本願の実施例はさらに、コンピュータによる実行の命令を記憶するコンピュータ可読記憶媒体を提供し、当該コンピュータによる実行の命令がユーザデバイスの少なくとも１つのプロセッサによって実行される場合、ユーザデバイスは上記様々可能な方法を実行する。
【００６６】
そのうち、コンピュータ可読媒体は、コンピュータ記憶媒体と通信媒体を含み、そのうち、通信媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む。記憶媒体は、汎用又は専用コンピュータからアクセスできる任意の利用可能な媒体であってもよい。例示的な記憶媒体は、プロセッサが当該記憶媒体から情報を読み取り、当該記憶媒体に情報を書き込むことができるように、プロセッサに結合される。当然ながら、記憶媒体はまた、プロセッサを構成する一部であってもよい。プロセッサと記憶媒体は、ＡＳＩＣにあってもよい。なお、当該ＡＳＩＣは、ユーザデバイスにあってもよい。当然ながら、プロセッサと記憶媒体もディスクリートコンポーネントとして通信デバイスに存在してもよい。
【００６７】
当業者であれば、上記各方法の実施例を実現するすべて又は一部のステップはプログラムコマンドに関連するハードウェアにより完了することができると理解すべきである。前述のプログラムはコンピュータ読み取り可能な記憶媒体に記憶することができる。該プログラムを実行する場合、上記各方法の実施例を含むステップを実行し、前述の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク又はコンパクトディスクなどのプログラムコードを記憶できる様々な媒体を含む。
【００６８】
最後に説明すべきものとして、以上の各実施例は、本発明の技術的解決手段を説明するためのものであって、これを制限するものではなく、前述の各実施例を参照しながら本発明を詳細に説明するが、当業者であれば、依然として前述の各実施例に記載の技術的解決手段を修正するか、又はそのうちの一部又はすべての技術的特徴に対して同等置換を行うことができ、これらの修正又は置換は、対応する技術的解決手段の本質を本発明の各実施例の技術的解決手段の範囲から逸脱しないと理解すべきである。
【図１】
2021502646.tif 000003
【図２】
2021502646.tif 000004
【図３】
2021502646.tif 000005
【図４】
2021502646.tif 000006
【図５】
2021502646.tif 000007
【手続補正書】
【提出日】令和2年5月12日(2020.5.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識技術の分野に関し、特に人体認識方法、機器及び記憶媒体に関する。
【背景技術】
【０００２】
監視技術の発展に伴い、配備されているカメラの数は徐々に増加し、これによりクローズドシーンでの人体に対するリアルタイム追跡と認識を可能にする。
【０００３】
現在、多視点条件での複数人追跡と認識は、主に二次元画像情報に依存し、人体が二次元画像におけるセマンティック特徴により人体に対するクロスカメラの認識と関連付けを行う。
【０００４】
しかしながら、複数のカメラで呈する人体の姿勢の違いは非常に大きい場合があり、これによって二次元画像における人体の視覚的特徴は大きな偏差があるようになった。これにより、二次元画像で提供された情報をもって行われるクロスカメラの認識も、精度が低く、人体認識エラーが発生しやすくなった。
【０００５】
「関連出願の相互参照」
本願は、２０１８年７月３日に中国特許局に提出した、出願番号が２０１８１０７１９６９２３であり、出願人が百度在線網絡技術（北京）有限公司で、発明の名称が「人体認識方法、機器及び記憶媒体」である中国特許出願の優先権を主張し、その開示内容の全ては援用により本願に組み入れられる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、人体認識方法、機器及び記憶媒体を提供し、人体再認識技術において人体の三次元空間座標を導入することで、画像の認識結果に対して予め判断の処理を行い、且つ認識エラーのある画像を再認識し、これにより、人体認識結果の精度を効率的に高めることができる。
【課題を解決するための手段】
【０００７】
第１の態様では、本発明は、人体認識方法を提供し、
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定するステップと、
三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算するステップと、
カメラごとについて、前記カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定するステップと、
人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行うステップと、を含む。
【０００８】
本実施例において、人体再認識技術において人体の三次元空間座標を導入することで、画像の認識結果に対して予め判断の処理を行い、認識エラーのある画像を再認識し、これにより、人体認識結果の精度を効率的に高めることができる。
【０００９】
１つの可能な設計では、少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定するステップの前に、
歩行者再認識技術ＲｅＩＤを用いてシーンにおける複数のカメラによって収集された画像に対して人体認識を行い、複数のカメラでのターゲット人物の対応関係を得るステップと、
複数のカメラでのターゲット人物の対応関係に基づき、少なくとも２台のカメラによって収集されたターゲット人物の入る画像を選別するステップと、をさらに含む。
【００１０】
本実施例において、シーンに少なくとも２台のカメラを予め配置し、カメラごとの観察視点が異なり、これらのカメラを介してシーンにおける人体の活動に対して追跡と認識を行うことができ、歩行者再認識技術ＲｅＩＤによってターゲット人物と複数のカメラとの対応関係を得て、これによりターゲット人物の入る画像を取得して、ターゲット人物の追跡精度を向上させる。
【００１１】
１つの可能な設計では、少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する前記ステップは、
任意の２台のカメラで同時刻に収集されたターゲット人物の入る画像を選出するステップと、
前記２台のカメラによって収集されたターゲット人物の入る前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスをそれぞれ取得するステップであって、前記カメラマトリックスは、既知のカメラパラメータに基づいて取得される、ステップと、
前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得るステップと、を含む。
【００１２】
本実施例において、ターゲット人物の入る画像内のターゲット人物の座標、及び、２台のカメラのカメラマトリックスによって、三次元空間におけるターゲット人物の座標を正確に算出することができる。
【００１３】
１つの可能な設計では、前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得る前記ステップは、
Ｘ１とＸ２はそれぞれ、前記２台のカメラでの前記画像内のターゲット人物の座標であり、Ｐ１はＸ１に対応するカメラのカメラマトリックスであり、Ｐ２はＸ２に対応するカメラのカメラマトリックスであるとみなすステップであって、Ｘ１、Ｘ２と三次元空間における前記ターゲット人物の座標Ｗとは以下のような対応関係があり、
Ｘ１＝Ｐ１＊Ｗ、Ｘ２＝Ｐ２＊Ｗ、
そのうち、＊は乗算を表す、ステップを含む。
【００１４】
１つの可能な設計では、三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算する前記ステップは、
Ｕｉ＝Ｐｉ＊Ｗであるようにするステップであって、
そのうち、Ｕｉはｉ番目のカメラでのＷの逆投影座標、Ｐｉはｉ番目のカメラのカメラマトリックスであり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像を収集したカメラの総数である、ステップと、
ｅｉ＝Ｕｉ−Ｘｉであるようにするステップであって、
そのうち、ｅｉはｉ番目のカメラでの逆投影エラーであり、Ｘｉはｉ番目のカメラに対応する画像内での前記ターゲット人物の座標、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像を収集したカメラの総数である、ステップと、を含む。
【００１５】
本実施例において、三次元空間における座標、及び、カメラのカメラマトリックスに基づいてカメラによって収集された画像での三次元空間における座標の逆投影座標を計算し、当該逆投影座標と、カメラによって収集された画像内の対応する座標（既存の二次元画像座標アルゴリズムに従って得たものである）との差を計算し、三次元空間における座標に対応する逆投影エラーを正確に計算することができる。
【００１６】
１つの可能な設計では、カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定する前記ステップは、
前記カメラの逆投影エラーがプリセットの閾値より大きい場合、前記カメラは人体認識エラーがあると決定するステップを含む。
【００１７】
本実施例において、逆投影エラーを利用して人体認識結果を評価し、これにより人体認識結果をより正確にすることができる。
【００１８】
１つの可能な設計では、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行う前記ステップの後に、
異なるカメラに対応する画像内での前記ターゲット人物の座標、及び、画像タグを取得するステップと、
前記座標と画像タグを監視プラットフォームに送信するステップとをさらに含む。
【００１９】
本実施例において、取得した異なるカメラに対応する画像内でのターゲット人物の座標、及び、画像タグを監視プラットフォームに送信し、これによりターゲット人物に対する監視プラットフォームの監視が正確であるようにすることができる。
【００２０】
第２の態様では、本発明の実施例は、人体認識機器を提供し、
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定するための決定モジュールと、
三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算するための計算モジュールと、
カメラごとについて、前記カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定するための判別モジュールと、
人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行うための認識モジュールと、を含む。
【００２１】
１つの可能な設計では、
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する前に、歩行者再認識技術ＲｅＩＤを用いてシーンにおける複数のカメラによって収集された画像に対して人体認識を行い、複数のカメラでのターゲット人物の対応関係を得て、
複数のカメラでのターゲット人物の対応関係に基づき、少なくとも２台のカメラによって収集されたターゲット人物の入る画像を選別するための予め認識モジュールをさらに含む。
【００２２】
１つの可能な設計では、前記決定モジュールは、
任意の２台のカメラで同時刻に収集されたターゲット人物の入る画像を選出し、
前記２台のカメラによって収集されたターゲット人物の入る画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスをそれぞれ取得し、そのうち、前記カメラマトリックスは既知のカメラパラメータに基づいて取得されるものであり、
前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得るためのものである。
【００２３】
１つの可能な設計では、前記画像内のターゲット人物の座標、及び、２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得ることは、
Ｘ１とＸ２はそれぞれ、２台のカメラでの前記画像内のターゲット人物の座標であり、Ｐ１はＸ１に対応するカメラのカメラマトリックスであり、Ｐ２はＸ２に対応するカメラのカメラマトリックスであるとみなすことであって、Ｘ１、Ｘ２と三次元空間における前記ターゲット人物の座標Ｗとは以下のような対応関係があり、
Ｘ１＝Ｐ１＊Ｗ、Ｘ２＝Ｐ２＊Ｗ、
そのうち、＊は乗算を表す、前記みなすことを含む。
【００２４】
１つの可能な設計では、三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算することは、
Ｕｉ＝Ｐｉ＊Ｗであるようにすることであって、
そのうち、Ｕｉはｉ番目のカメラでのＷの逆投影座標であり、Ｐｉはｉ番目のカメラのカメラマトリックスであり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像を収集したカメラの総数である、前記することと、
ｅｉ＝Ｕｉ−Ｘｉであるようにすることであって、
そのうち、ｅｉはｉ番目のカメラでの逆投影エラーであり、Ｘｉはｉ番目のカメラに対応する画像内での前記ターゲット人物の座標であり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像を収集したカメラの総数である、前記することと、を含む。
【００２５】
１つの可能な設計では、前記判別モジュールは、
前記カメラの逆投影エラーがプリセットの閾値より大きい場合、前記カメラは人体認識エラーがあると決定するためのものである。
【００２６】
１つの可能な設計では、
前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行った後に、異なるカメラに対応する画像内での前記ターゲット人物の座標、及び、画像タグを取得し、
前記座標と画像タグを監視プラットフォームに送信するための送信モジュールをさらに含む。
【００２７】
第３の態様では、本発明の実施例は、プロセッサとメモリを含むサーバを提供し、メモリには前記プロセッサによる実行可能な命令が記憶され、そのうち、前記プロセッサは、前記実行可能な命令を実行することで第１の態様のいずれか１項に記載の人体認識方法を実行させるように構成されている。
【００２８】
第４の態様では、本発明の実施例は、コンピュータプログラムを記憶するコンピュータ可読記憶媒体を提供し、当該プログラムがプロセッサによって実行されると、第１の態様のいずれか１項に記載の人体認識方法を実現する。
【発明の効果】
【００２９】
本発明に係る人体認識方法、機器及び記憶媒体は、少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定し、三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算し、カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定し、人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行う。本発明は、人体再認識技術において人体の三次元空間座標を導入することで、画像の認識結果に対して予め判断の処理を行い、認識エラーのある画像を再認識し、これにより、人体認識結果の精度を効率的に高めることができる。
【図面の簡単な説明】
【００３０】
本発明の実施例又は従来技術の技術的解決手段をより明確に説明するため、以下に実施例又は従来技術の記述において必要な図面を用いて簡単に説明を行うが、当然ながら、以下に記載する図面は本発明のいくつかの実施例であり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面に想到しうる。
【図１】本発明の１つの応用シーンの概略構造図である。
【図２】本発明の実施例１に係る人体認識方法のフローチャートである。
【図３】本発明の実施例２に係る人体認識機器の概略構造図である。
【図４】本発明の実施例３に係る人体認識機器の概略構造図である。
【図５】本発明の実施例４に係るサーバである。
【発明を実施するための形態】
【００３１】
本発明の実施例の目的、技術的解決手段及び利点をより明瞭にするために、以下、本発明の実施例に係る図面を参照しながら、その技術的解決手段について明瞭、且つ完全に説明し、当然のことながら、記載される実施例は本発明の実施例の一部にすぎず、そのすべての実施例ではない。当業者は、本発明における実施例に基づいて創造的な労働を要することなく、取得されたその他のすべての実施例は、いずれも本発明の保護範囲に属する。
【００３２】
本発明の明細書と特許請求の範囲、及び、上記の図面における用語「第１」、「第２」、「第３」、「第４」など（存在する場合）は、類似の対象を区別するためのものであり、特定の順序又はシーケンスを説明するためのものである必要はない。本明細書に説明する本発明の実施例を、例えば、本明細書で図示又は説明したもの以外の順序で実施できるように、使用されるデータを適宜交換できると理解すべきである。また、「含む」と「持つ」という用語、及び、それらの任意の変形は、いずれも非排他的含有を網羅することを意図し、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品、又はデバイスは、明示的にリストされているステップ又はユニットに限定される必要はなく、明示的にリストされていないもの、又は、これらのプロセス、方法、製品又はデバイスに固有の他のステップ又はユニットを含んでもよい。
【００３３】
以下、具体的な実施例をもって本発明の技術的解決手段を詳細に説明する。以下のこのいくつかの具体的な実施例は、互いに組み合わせられることができ、いくつかの実施例では同様又は類似のコンセプト又はプロセスを繰り返して説明しない場合がある。
【００３４】
以下、当業者が理解できるように、本願における用語の一部を解釈して説明する。
【００３５】
１）歩行者再認識技術（Ｐｅｒｓｏｎ  ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ、略称ＲｅＩＤ）は、コンピュータビジョンテクノロジーを使用して画像又はビデオシーケンスには特定の歩行者が存在するかどうかを判断する技術である。画像検索の副問題として広く考えられている。監視対象としての歩行者画像を与え、クロスデバイスでの当該歩行者画像を検索する。これは、現在の固定されているカメラの視覚的な制限を補うように設計され、さらに、歩行者検出/歩行者追跡技術と組み合わせることができ、インテリジェントビデオ監視、インテリジェントセキュリティなどの分野で広く適用できる。
【００３６】
１つのシーンにおいて、異なる視点からシーンにおける人体の活動を観察できる複数のカメラを予め配置した。具体的に、図１は、本発明の１つの応用シーンの概略構造図であり、図１に示すように、シーンにおける全てのカメラは、カメラグループ１０を構成し、カメラグループ１０における異なるカメラ１１は、収集されたターゲット人物の画像をサーバ２０に送信し、サーバ２０は、少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する。本実施例での三次元空間はシーンにおける空間のことを指す。サーバ２０は、三次元空間におけるターゲット人物の座標に基づいて異なるカメラ１１でのターゲット人物の逆投影エラーをそれぞれ計算し、カメラ１１の逆投影エラーに基づいてカメラ１１は人体認識エラーがあるかどうかを決定し、人体認識エラーがある場合、ターゲット人物の入る全てのカメラ１１の逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いてカメラ１１でのターゲット人物に対して改めて再認識処理を行う。サーバ２０は、最終的に認識した異なるカメラでのターゲット人物に対応する画像内での座標、及び、画像タグを監視プラットフォーム３０に送信する。本実施例は人体再認識技術において人体の三次元空間座標を導入することで、画像の認識結果に対して予め判断の処理を行い、認識エラーのある画像を再認識し、これにより、人体認識結果の精度を効率的に高めることができる。
【００３７】
以下、具体的な実施例をもって本発明の技術的解決手段及び本願の技術的解決手段で上記技術的課題を如何に解決するかを詳細に説明する。以下のこのいくつかの具体的な実施例は、互いに組み合わせられることができ、いくつかの実施例では同様又は類似のコンセプト又はプロセスを繰り返して説明しない場合がある。以下、図面を参照しながら、本発明の実施例を説明する。
【００３８】
図２は、本発明の実施例１に係る人体認識方法のフローチャートであり、図２に示すように、本実施例での方法は以下のステップを含むことができる。
【００３９】
Ｓ１０１において、少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する。
【００４０】
１つ選択的な実施形態では、任意の２台のカメラで同時刻に収集されたターゲット人物の入る画像を選出し、２台のカメラによって収集されたターゲット人物の入る画像内のターゲット人物の座標、及び、２台のカメラのカメラマトリックスをそれぞれ取得し、そのうち、前記カメラマトリックスは既知のカメラパラメータに基づいて取得したものであり、前記画像内のターゲット人物の座標、及び、２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得ることができる。
【００４１】
本実施例において、シーンに複数のカメラを予め配置し、カメラごとの観察視点が異なり、これらのカメラを介してシーンにおける人体の活動に対して追跡と認識を行うことができる。１つ選択的な実施形態では、歩行者再認識技術ＲｅＩＤを用いてシーンにおける複数のカメラによって収集された画像に対して人体認識を行い、複数のカメラでのターゲット人物の対応関係を得て、複数のカメラでのターゲット人物の対応関係に基づき、少なくとも２台のカメラによって収集されたターゲット人物の入る画像を選別することができる。
【００４２】
具体的に、Ｘ１とＸ２はそれぞれ、２台のカメラでの前記画像内のターゲット人物の座標であり、Ｐ１はＸ１に対応するカメラのカメラマトリックスであり、Ｐ２はＸ２に対応するカメラのカメラマトリックスであると仮定すると、Ｘ１、Ｘ２と三次元空間における前記ターゲット人物の座標Ｗとは以下のような対応関係があり、
Ｘ１＝Ｐ１＊Ｗ、Ｘ２＝Ｐ２＊Ｗ、
そのうち、＊は乗算を表す。
【００４３】
Ｓ１０２において、三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算する。
【００４４】
本実施例において、三次元空間における座標、及び、カメラのカメラマトリックスに基づいてカメラによって収集された画像での三次元空間における座標の逆投影座標を計算し、当該逆投影座標と、カメラによって収集された画像内の対応する座標（既存の二次元画像座標アルゴリズムに従って得たものである）との差を計算し、対応する逆投影エラーを得ることができる。
【００４５】
１つ選択的な実施形態では、三次元空間におけるターゲット人物の座標Ｗをすでに得たと仮定し、Ｕｉ＝Ｐｉ＊Ｗであるようにし、
そのうち、Ｕｉはｉ番目のカメラでのＷの逆投影座標であり、Ｐｉはｉ番目のカメラのカメラマトリックスであり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像を収集したカメラの総数であり、
ｅｉ＝Ｕｉ−Ｘｉであるようにし、
そのうち、ｅｉはｉ番目のカメラでの逆投影エラーであり、Ｘｉはｉ番目のカメラに対応する画像内での前記ターゲット人物の座標であり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像を収集したカメラの総数である。
【００４６】
Ｓ１０３において、カメラごとについて、前記カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定する。
【００４７】
本実施例において、逆投影エラーの大きさによってカメラに対応する画像は人体認識エラーがあるかどうかを決定することができる。１つの選択的な実施形態では、とあるカメラの逆投影エラーがプリセットの閾値より大きい場合、前記カメラは人体認識エラーがあると決定する。とあるカメラの逆投影エラーがプリセットの閾値より大きくない場合、前記カメラの人体認識結果が正しいと決定する。
【００４８】
Ｓ１０４において、人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行う。
【００４９】
本実施例において、従来の歩行者再認識技術ＲｅＩＤによって人体認識エラーのあるカメラでのターゲット人物に対して再認識処理を行い、これにより、認識エラーの結果を効率的に除外し、人体認識の精度を高めることができる。
【００５０】
１つ選択的な実施形態では、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行った後に、さらに、最後、異なるカメラに対応する画像内での前記ターゲット人物の座標、及び、画像タグを取得し、前記座標と画像タグを監視プラットフォームに送信する。
【００５１】
本実施例において、少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定し、三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算し、カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定し、人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行う。本発明は、人体再認識技術において人体の三次元空間座標を導入することで、画像の認識結果に対して予め判断の処理を行い、認識エラーのある画像を再認識し、これにより、人体認識結果の精度を効率的に高めることができる。
【００５２】
図３は、本発明の実施例２に係る人体認識機器の概略構造図であり、図３に示すように、本実施例に係る人体認識機器は、
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定するための決定モジュール４１と、
三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算するための計算モジュール４２と、
カメラごとについて、前記カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定するための判別モジュール４３と、
人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行うための認識モジュール４４と、を含むことができる。
【００５３】
１つの可能な設計では、前記決定モジュール４１は、
任意の２台のカメラで同時刻に収集されたターゲット人物の入る画像を選出し、
２台のカメラによって収集されたターゲット人物の入る画像内のターゲット人物の座標、及び、２台のカメラのカメラマトリックスをそれぞれ取得し、そのうち、前記カメラマトリックスは既知のカメラパラメータに基づいて取得したものであり、
前記画像内のターゲット人物の座標、及び、２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得るためのものである。
【００５４】
１つの可能な設計では、前記画像内のターゲット人物の座標、及び、２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得ることは、
Ｘ１とＸ２はそれぞれ、２台のカメラでの前記画像内のターゲット人物の座標であり、Ｐ１はＸ１に対応するカメラのカメラマトリックスであり、Ｐ２はＸ２に対応するカメラのカメラマトリックスであるとみなすことであって、Ｘ１、Ｘ２と三次元空間における前記ターゲット人物の座標Ｗとは以下のような対応関係があり、
Ｘ１＝Ｐ１＊Ｗ、Ｘ２＝Ｐ２＊Ｗ、
そのうち、＊は乗算を表す、前記みなすことを含む。
【００５５】
１つの可能な設計では、三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算することは、
Ｕｉ＝Ｐｉ＊Ｗであるようにすることであって、
そのうち、Ｕｉはｉ番目のカメラでのＷの逆投影座標であり、Ｐｉはｉ番目のカメラのカメラマトリックスであり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像を収集したカメラの総数である、前記することと、
ｅｉ＝Ｕｉ−Ｘｉであるようにすることであって、
そのうち、ｅｉはｉ番目のカメラでの逆投影エラーであり、Ｘｉはｉ番目のカメラに対応する画像内での前記ターゲット人物の座標であり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像を収集したカメラの総数である、前記することと、を含む。
【００５６】
１つの可能な設計では、前記判別モジュール４３は、
前記カメラの逆投影エラーがプリセットの閾値より大きい場合、前記カメラは人体認識エラーがあると決定するためのものである。
【００５７】
本実施例に係る人体認識機器は、上記いずれか１つの方法の実施例の方法における技術的解決手段を実行することができ、その実現原理及び技術的効果は類似し、本実施例では繰り返して説明しない。
【００５８】
図４は、本発明の実施例３に係る人体認識機器の概略構造図である。図４に示すように、図３に示すような機器を基にし、本実施例に係る人体認識機器は、
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する前に、歩行者再認識技術ＲｅＩＤを用いてシーンにおける複数のカメラによって収集された画像に対して人体認識を行い、複数のカメラでのターゲット人物の対応関係を得て、
複数のカメラでのターゲット人物の対応関係に基づき、少なくとも２台のカメラによって収集されたターゲット人物の入る画像を選別するための予め認識モジュール４５をさらに含むことができる。
【００５９】
１つの可能な設計では、
前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行った後に、異なるカメラに対応する画像内での前記ターゲット人物の座標、及び、画像タグを取得し、
前記座標と画像タグを監視プラットフォームに送信するための送信モジュール４６をさらに含む。
【００６０】
本実施例に係る人体認識機器は、上記いずれか１つの方法の実施例の方法における技術的解決手段を実行することができ、その実現原理及び技術的効果は類似し、本実施例では繰り返して説明しない。
【００６１】
図５は、本発明の実施例４に係るサーバであり、図５に示すように、本実施例におけるサーバ５０は、プロセッサ５１とメモリ５２を含む。
【００６２】
メモリ５２は、コンピュータプログラム（例えば、上記人体認識方法を実現するアプリケーションプログラム、機能モジュールなど）、コンピュータ命令などを記憶するためのものであり、上記のコンピュータプログラム、コンピュータ命令などは、1つ又は複数のメモリ５２に仕切りに記憶されてもよい。さらに、上記のコンピュータプログラム、コンピュータ命令、データなどは、プロセッサ５１によって呼び出されることができる。
【００６３】
プロセッサ５１は、前記メモリ５２が記憶する前記コンピュータプログラムを実行することで、上記実施例に係る方法における各ステップを実現するためのものである。具体的に、前の方法の実施例における関連説明を参照することができる。そのうち、メモリ５２、プロセッサ５１は、バス５３を介して結合的に接続されてもよい。
【００６４】
本実施例に係るサーバは、上記いずれか１つの方法の実施例の方法における技術的解決手段を実行することができ、その実現原理及び技術的効果は類似し、本実施例では繰り返して説明しない。
【００６５】
また、本願の実施例はさらに、コンピュータによる実行の命令を記憶するコンピュータ可読記憶媒体を提供し、当該コンピュータによる実行の命令がユーザデバイスの少なくとも１つのプロセッサによって実行される場合、ユーザデバイスは上記様々可能な方法を実行する。
【００６６】
そのうち、コンピュータ可読媒体は、コンピュータ記憶媒体と通信媒体を含み、そのうち、通信媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む。記憶媒体は、汎用又は専用コンピュータからアクセスできる任意の利用可能な媒体であってもよい。例示的な記憶媒体は、プロセッサが当該記憶媒体から情報を読み取り、当該記憶媒体に情報を書き込むことができるように、プロセッサに結合される。当然ながら、記憶媒体はまた、プロセッサを構成する一部であってもよい。プロセッサと記憶媒体は、ＡＳＩＣにあってもよい。なお、当該ＡＳＩＣは、ユーザデバイスにあってもよい。当然ながら、プロセッサと記憶媒体もディスクリートコンポーネントとして通信デバイスに存在してもよい。
【００６７】
当業者であれば、上記各方法の実施例を実現するすべて又は一部のステップはプログラムコマンドに関連するハードウェアにより完了することができると理解すべきである。前述のプログラムはコンピュータ読み取り可能な記憶媒体に記憶することができる。該プログラムを実行する場合、上記各方法の実施例を含むステップを実行し、前述の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク又はコンパクトディスクなどのプログラムコードを記憶できる様々な媒体を含む。
【００６８】
最後に説明すべきものとして、以上の各実施例は、本発明の技術的解決手段を説明するためのものであって、これを制限するものではなく、前述の各実施例を参照しながら本発明を詳細に説明するが、当業者であれば、依然として前述の各実施例に記載の技術的解決手段を修正するか、又はそのうちの一部又はすべての技術的特徴に対して同等置換を行うことができ、これらの修正又は置換は、対応する技術的解決手段の本質を本発明の各実施例の技術的解決手段の範囲から逸脱しないと理解すべきである。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人体認識方法であって、
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定するステップと、
三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算するステップと、
カメラごとについて、前記カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定するステップと、
人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行うステップと、を含むことを特徴とする人体認識方法。
【請求項２】
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する前記ステップの前に、
歩行者再認識技術ＲｅＩＤを用いてシーンにおける複数のカメラによって収集された画像に対して人体認識を行い、複数のカメラでのターゲット人物の対応関係を得るステップと、
複数のカメラでのターゲット人物の対応関係に基づき、少なくとも２台のカメラによって収集されたターゲット人物の入る画像を選別するステップと、をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する前記ステップは、
任意の２台のカメラで同時刻に収集されたターゲット人物の入る画像を選出するステップと、
前記２台のカメラによって収集されたターゲット人物の入る画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスをそれぞれ取得するステップであって、前記カメラマトリックスは既知のカメラパラメータに基づいて取得される、ステップと、
前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得るステップと、を含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得る前記ステップは、
Ｘ１とＸ２はそれぞれ、前記２台のカメラでの前記画像内のターゲット人物の座標であり、Ｐ１はＸ１に対応するカメラのカメラマトリックスであり、Ｐ２はＸ２に対応するカメラのカメラマトリックスであるとみなすステップであって、Ｘ１、Ｘ２と三次元空間における前記ターゲット人物の座標Ｗとは以下のような対応関係があり、
Ｘ１＝Ｐ１＊Ｗ、Ｘ２＝Ｐ２＊Ｗ、
そのうち、＊は乗算を表す、ステップを含むことを特徴とする請求項３に記載の方法。
【請求項５】
三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算する前記ステップは、
Ｕｉ＝Ｐｉ＊Ｗであるようにするステップであって、
そのうち、Ｕｉはｉ番目のカメラでのＷの逆投影座標であり、Ｐｉはｉ番目のカメラのカメラマトリックスであり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像を収集したカメラの総数である、ステップと、
ｅｉ＝Ｕｉ−Ｘｉであるようにするステップであって、
そのうち、ｅｉはｉ番目のカメラでの逆投影エラーであり、Ｘｉはｉ番目のカメラに対応する画像内での前記ターゲット人物の座標であり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像を収集したカメラの総数であるステップと、を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定する前記ステップは、
前記カメラの逆投影エラーがプリセットの閾値より大きい場合、前記カメラは人体認識エラーがあると決定するステップを含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行う前記ステップの後に、
異なるカメラに対応する画像内での前記ターゲット人物の座標、及び、画像タグを取得するステップと、
前記座標と画像タグを監視プラットフォームに送信するステップと、をさらに含むことを特徴とする請求項１〜請求項６のいずれか１項に記載の方法。
【請求項８】
人体認識機器であって、
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定するための決定モジュールと、
三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算するための計算モジュールと、
カメラごとについて、前記カメラの逆投影エラーに基づいて前記カメラは人体認識エラーがあるかどうかを決定するための判別モジュールと、
人体認識エラーがある場合、前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行うための認識モジュールと、を含むことを特徴とする人体認識機器。
【請求項９】
少なくとも２台のカメラによって収集されたターゲット人物の入る画像に基づき、三次元空間におけるターゲット人物の座標を決定する前に、歩行者再認識技術ＲｅＩＤを用いてシーンにおける複数のカメラによって収集された画像に対して人体認識を行い、複数のカメラでのターゲット人物の対応関係を得て、
複数のカメラでのターゲット人物の対応関係に基づき、少なくとも２台のカメラによって収集されたターゲット人物の入る画像を選別するための予め認識モジュールをさらに含むことを特徴とする請求項８に記載の機器。
【請求項１０】
前記決定モジュールは、
任意の２台のカメラで同時刻に収集されたターゲット人物の入る画像を選出し、
前記２台のカメラによって収集されたターゲット人物の入る画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスをそれぞれ取得し、そのうち、前記カメラマトリックスは既知のカメラパラメータに基づいて取得されるものであり、
前記画像内のターゲット人物の座標、及び、前記２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得るためのものであることを特徴とする請求項８に記載の機器。
【請求項１１】
前記画像内のターゲット人物の座標、及び２台のカメラのカメラマトリックスに基づき、三次元空間におけるターゲット人物の座標を得ることは、
Ｘ１とＸ２はそれぞれ、２台のカメラでの前記画像内のターゲット人物の座標であり、Ｐ１はＸ１に対応するカメラのカメラマトリックスであり、Ｐ２はＸ２に対応するカメラのカメラマトリックスであるとみなすことであって、Ｘ１、Ｘ２と三次元空間における前記ターゲット人物の座標Ｗとは以下のような対応関係があり、
Ｘ１＝Ｐ１＊Ｗ、Ｘ２＝Ｐ２＊Ｗ、
そのうち、＊は乗算を表す、前記みなすことを含むことを特徴とする請求項１０に記載の機器。
【請求項１２】
三次元空間における前記ターゲット人物の座標に基づいて異なるカメラでの前記ターゲット人物の逆投影エラーをそれぞれ計算することは、
Ｕｉ＝Ｐｉ＊Ｗであるようにすることであって、
そのうち、Ｕｉはｉ番目のカメラでのＷの逆投影座標であり、Ｐｉはｉ番目のカメラのカメラマトリックスであり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像を収集したカメラの総数である、前記することと、
ｅｉ＝Ｕｉ−Ｘｉであるようすることであって、
そのうち、ｅｉはｉ番目のカメラでの逆投影エラーであり、Ｘｉはｉ番目のカメラに対応する画像内での前記ターゲット人物の座標であり、ｉ＝１、２、３・・・Ｎであり、Ｎはターゲット人物の入る画像を収集したカメラの総数である、前記することと、を含むことを特徴とする請求項１１に記載の機器。
【請求項１３】
前記判別モジュールは、
前記カメラの逆投影エラーがプリセットの閾値より大きい場合、前記カメラは人体認識エラーがあると決定するためのものであることを特徴とする請求項８に記載の機器。
【請求項１４】
前記ターゲット人物の入る全てのカメラの逆投影エラーがプリセットの閾値より大きくなくなるまで、歩行者再認識技術ＲｅＩＤを用いて前記カメラでのターゲット人物に対して改めて再認識処理を行った後に、異なるカメラに対応する画像内での前記ターゲット人物の座標、及び、画像タグを取得し、
前記座標と画像タグを監視プラットフォームに送信するための送信モジュールをさらに含むことを特徴とする請求項８〜請求項１３のいずれか１項に記載の機器。
【請求項１５】
サーバであって、プロセッサとメモリを含み、メモリには前記プロセッサによる実行可能な命令が記憶され、そのうち、前記プロセッサは、前記実行可能な命令を実行することで請求項１〜請求項７のいずれか１項に記載の人体認識方法を実行させるように構成されていることを特徴とするサーバ。
【請求項１６】
コンピュータプログラムを記憶するコンピュータ可読記憶媒体であって、当該コンピュータプログラムがプロセッサによって実行されると、請求項１〜請求項７のいずれか１項に記載の人体認識方法を実現することを特徴とするコンピュータ可読記憶媒体。
【国際調査報告】
2021502646.tif 000008
2021502646.tif 000009
2021502646.tif 000010
2021502646.tif 000011