(57)【要約】      （修正有）【課題】双眼歩行者検出システム（ＢＰＤＳ）を提供する。【解決手段】ＢＰＤＳは、所定の領域を通過する歩行者の所定の双眼画像をキャプチャする双眼カメラ、キャプチャされた双眼画像を処理する画像／ビデオ処理ＡＳＩＣ、プロセッサ及びネットワークインターフェース並びにオペレーティングシステムとコンピュータ実行可能命令を保存するメモリを有する双眼歩行者検出システム制御器を含む。コンピュータ実行可能命令は、プロセッサによって実行される場合、プロセッサに、双眼カメラによって、歩行者の双眼画像をキャプチャする段階、双眼画像を双眼補正する段階、補正された双眼画像の視差マップを計算する段階、二重ストリームディープラーニングニューラルネットワークをトレーニングする段階及びトレーニングした二重ストリームディープラーニングニューラルネットワークを使って所定の領域を通過する歩行者を検出する段階を遂行する。【選択図】図６
2020061128.tif 000002
【特許請求の範囲】
【請求項１】
双眼歩行者検出システムであって、
所定の領域を通過する複数の歩行者の複数の双眼画像をキャプチャするための第１カメラおよび第２カメラを有する双眼カメラ；
前記双眼カメラによってキャプチャされた前記複数の歩行者の前記複数の双眼画像を前処理する画像／ビデオ処理特定用途向け集積回路（ＡＳＩＣ）；および
プロセッサ、ネットワークインターフェース、およびオペレーティングシステムとコンピュータ実行可能命令を保存するメモリを有する双眼歩行者検出システム制御器を含み、
前記コンピュータ実行可能命令は、前記プロセッサで実行された場合、前記プロセッサに、
前記双眼カメラによって、前記所定の領域を通過する前記歩行者の前記複数の双眼画像をキャプチャする段階；
前記画像／ビデオ処理ＡＳＩＣによって、キャプチャされた前記歩行者の前記複数の双眼画像を双眼補正する段階；
双眼補正された前記歩行者の前記複数の双眼画像の視差マップを計算する段階；
二重ストリームディープラーニングニューラルネットワークをトレーニングする段階であって、前記二重ストリームディープラーニングニューラルネットワークが、前記歩行者の前記複数の双眼画像の視差マップから視差特徴量を抽出するためのニューラルネットワーク、および前記歩行者の前記複数の双眼画像の前記補正された左側画像及び視差マップから特徴量を学習及び融合するためのニューラルネットワークを含む、段階；および
前記トレーニングした二重ストリームディープラーニングニューラルネットワークを通じて、前記所定の領域を通過する前記複数の歩行者を検出する段階
のうち一つ以上を遂行させる、双眼歩行者検出システム。
【請求項２】
前記第１カメラが第１レンズおよび前記第１レンズを通じて左側画像をキャプチャするための第１ＣＭＯＳセンサを含み、前記第２カメラが第２レンズおよび前記第２レンズを通じて右側画像をキャプチャするための第２ＣＭＯＳセンサを含み、前記左側画像と前記右側画像が双眼画像を形成する、請求項１に記載の双眼歩行者検出システム。
【請求項３】
前記画像／ビデオ処理ＡＳＩＣが、
前記双眼カメラの較正を遂行する段階；
前記歩行者の前記複数の双眼画像を双眼補正する段階であって、前記歩行者の前記複数の双眼画像が、前記歩行者の複数のトレーニング双眼画像、および歩行者検出のための前記双眼カメラによってキャプチャされた前記歩行者の複数のリアルタイム双眼画像を含む、段階；
トレーニングフェーズにおいて前記歩行者の前記複数のトレーニング双眼画像の視差マップを計算する段階；および
アプリケーションフェーズにおいて前記歩行者の前記複数のリアルタイム双眼画像の視差マップを計算する段階
のうち一つ以上を遂行するようにプログラミングされた、請求項１に記載の双眼歩行者検出システム。
【請求項４】
前記トレーニングフェーズが、
前記歩行者の前記複数の双眼画像の視差マップを使って、前記視差特徴量を抽出するためのニューラルネットワークをトレーニングする段階；
前記歩行者の前記複数の左側画像を使って、ＲＧＢ及び視差の特徴量を学習及び融合するためのニューラルネットワークをトレーニングする段階；および
トレーニングした前記視差特徴量を抽出するためのニューラルネットワークと前記特徴量を学習及び融合するためのニューラルネットワークをスタッキングして、前記二重ストリームディープラーニングニューラルネットワークを形成する段階
を含む、請求項３に記載の双眼歩行者検出システム。
【請求項５】
前記アプリケーションフェーズが、
前記双眼カメラによって、前記歩行者の前記複数のリアルタイム双眼画像をキャプチャする段階；
前記画像／ビデオ処理ＡＳＩＣによって、キャプチャされた前記歩行者の前記複数のリアルタイム双眼画像を双眼補正する段階；
前記画像／ビデオ処理ＡＳＩＣによって、双眼補正された前記歩行者の前記複数のリアルタイム双眼画像の視差マップを計算する段階；
前記トレーニングフェーズの間に形成された前記二重ストリームディープラーニングニューラルネットワークを使って、前記歩行者の前記複数のリアルタイム双眼画像の前記補正された左側画像と視差マップから前記複数の歩行者を検出する段階；および
検出結果に対して非最大抑制を遂行して最終歩行者検出結果を取得する段階
を含む、請求項４に記載の双眼歩行者検出システム。
【請求項６】
前記二重ストリームディープラーニングニューラルネットワークを使って前記複数の歩行者を検出する段階が、
前記視差特徴量を抽出するためのニューラルネットワークを使って、前記歩行者の前記複数のリアルタイム双眼画像の視差マップから視差特徴量を抽出する段階；
前記ＲＧＢ及び視差の特徴量を学習及び融合するためのニューラルネットワークの最初のＮ個の層を使って、前記歩行者の補正された複数の左側画像からＲＧＢ特徴量を学習する段階であって、前記Ｎが正の整数である、段階；
抽出された前記視差特徴量と学習された前記ＲＧＢ特徴量を複数のチャネルを通じてスタッキングする段階；および
前記特徴量を学習及び融合するためのニューラルネットワークの最後のＭ−Ｎ個の層を使って、視差とＲＧＢの特徴量を融合させて、最終歩行者検出結果を取得する段階
を含み、Ｍは、Ｎより大きい正の整数であり、前記特徴量を学習及び融合するためのニューラルネットワークの層の総数である、請求項５に記載の双眼歩行者検出システム。
【請求項７】
Ｎが７であり、Ｍが１５である、請求項６に記載の双眼歩行者検出システム。
【請求項８】
前記双眼歩行者検出システムが、出入口を通過する複数の歩行者を見下ろす双眼カメラを有する前記出入口の上に設置された、請求項１に記載の双眼歩行者検出システム。
【請求項９】
前記双眼歩行者検出システムが、出入口を通過する複数の歩行者に対面する双眼カメラを有する前記出入口の上に所定の角度で設置された、請求項１に記載の双眼歩行者検出システム。
【請求項１０】
前記ネットワークインターフェースがパワーオンイーサネット（ＰＯＥ）ネットワークインターフェースを含み、前記双眼歩行者検出システムに供給される電力が前記ＰＯＥネットワークインターフェースによって提供され、最終歩行者検出結果が、前記ネットワークインターフェースと通信ネットワークを通じて前記最終歩行者検出結果を収集するサーバに送信される、請求項１に記載の双眼歩行者検出システム。
【請求項１１】
双眼歩行者検出システムを使って歩行者を検出する方法であって、
前記双眼歩行者検出システムの双眼カメラを使って、所定の領域を通過する複数の歩行者の複数の双眼画像をキャプチャする段階；
前記双眼歩行者検出システムの画像／ビデオ処理特定用途向け集積回路（ＡＳＩＣ）を通じて、キャプチャされた前記歩行者の前記複数の双眼画像を双眼補正する段階；
前記画像／ビデオ処理ＡＳＩＣを通じて、双眼補正された前記歩行者の前記複数の双眼画像の視差マップを計算する段階；
計算された前記歩行者の前記複数の双眼画像の補正された左側画像および視差マップを使って、二重ストリームディープラーニングニューラルネットワークをトレーニングする段階であって、前記二重ストリームディープラーニングニューラルネットワークが、前記歩行者の前記複数の双眼画像の視差マップから視差特徴量を抽出するためのニューラルネットワーク、および前記歩行者の前記複数の双眼画像の前記補正された左側画像及び視差マップから特徴量を学習及び融合するためのニューラルネットワークを含む、段階；および
前記トレーニングした二重ストリームディープラーニングニューラルネットワークを通じて、前記所定の領域を通過する前記複数の歩行者を検出する段階
を含む、方法。
【請求項１２】
前記双眼歩行者検出システムが、
前記所定の領域を通過する前記複数の歩行者の複数の双眼画像をキャプチャするための第１カメラおよび第２カメラを有する前記双眼カメラ；
前記双眼カメラによってキャプチャされた前記歩行者の前記複数の双眼画像を前処理する前記画像／ビデオ処理ＡＳＩＣ；および
プロセッサ、ネットワークインターフェース、およびオペレーティングシステムとコンピュータ実行可能命令を保存するメモリを有する双眼歩行者検出システム制御器を含み、
前記コンピュータ実行可能命令は、前記プロセッサで実行された場合、前記プロセッサに、前記方法の一つ以上の動作を遂行させる、請求項１１に記載の方法。
【請求項１３】
前記画像／ビデオ処理ＡＳＩＣが、
前記双眼カメラの較正を遂行する段階；
前記歩行者の前記複数の双眼画像を双眼補正する段階であって、前記歩行者の前記複数の双眼画像が、前記歩行者の複数のトレーニング双眼画像、および歩行者検出のための前記双眼カメラによってキャプチャされた前記歩行者の複数のリアルタイム双眼画像を含む、段階；
トレーニングフェーズにおいて前記歩行者の前記複数のトレーニング双眼画像の視差マップを計算する段階；および
アプリケーションフェーズにおいて前記歩行者の前記複数のリアルタイム双眼画像の視差マップを計算する段階
のうち一つ以上を遂行するようにプログラミングされた、請求項１１に記載の方法。
【請求項１４】
前記トレーニングフェーズが、
前記歩行者の前記複数の双眼画像の視差マップを使って、前記視差特徴量を抽出するためのニューラルネットワークをトレーニングする段階；
前記歩行者の前記複数の左側画像を使って、ＲＧＢ及び視差の特徴量を学習及び融合するためのニューラルネットワークをトレーニングする段階；および
トレーニングした前記視差特徴量を抽出するためのニューラルネットワークと前記特徴量を学習及び融合するためのニューラルネットワークをスタッキングして、前記二重ストリームディープラーニングニューラルネットワークを形成する段階
を含む、請求項１３に記載の方法。
【請求項１５】
前記アプリケーションフェーズが、
前記双眼カメラによって、前記歩行者の前記複数のリアルタイム双眼画像をキャプチャする段階；
前記画像／ビデオ処理ＡＳＩＣによって、キャプチャされた前記歩行者の前記複数のリアルタイム双眼画像を双眼補正する段階；
前記画像／ビデオ処理ＡＳＩＣによって、双眼補正された前記歩行者の前記複数のリアルタイム双眼画像の視差マップを計算する段階；
前記トレーニングフェーズの間に形成された前記二重ストリームディープラーニングニューラルネットワークを使って、前記歩行者の前記複数のリアルタイム双眼画像の前記補正された左側画像と視差マップから前記複数の歩行者を検出する段階；および
検出結果に対して非最大抑制を遂行して最終歩行者検出結果を取得する段階
を含む、請求項１４に記載の方法。
【請求項１６】
前記二重ストリームディープラーニングニューラルネットワークを使って前記複数の歩行者を検出する段階が、
前記視差特徴量を抽出するためのニューラルネットワークを使って、前記歩行者の前記複数のリアルタイム双眼画像の視差マップから視差特徴量を抽出する段階；
前記ＲＧＢ及び視差の特徴量を学習及び融合するためのニューラルネットワークの最初のＮ個の層を使って、前記歩行者の補正された複数の左側画像からＲＧＢ特徴量を学習する段階であって、前記Ｎが正の整数である、段階；
抽出された前記視差特徴量と学習された前記ＲＧＢ特徴量を複数のチャネルを通じてスタッキングする段階；および
前記特徴量を学習及び融合するためのニューラルネットワークの最後のＭ−Ｎ個の層を使って、視差とＲＧＢの特徴量を融合させて、最終歩行者検出結果を取得する段階を
含み、Ｍは、Ｎより大きい正の整数であり、前記特徴量を学習及び融合するためのニューラルネットワークの層の総数である、請求項１５に記載の方法。
【請求項１７】
Ｎが７であり、Ｍが１５である、請求項１６に記載の方法。
【請求項１８】
前記双眼歩行者検出システムが、出入口を通過する複数の歩行者を見下ろす双眼カメラを有する前記出入口の上に設置された、請求項１１に記載の方法。
【請求項１９】
前記双眼歩行者検出システムが、出入口を通過する複数の歩行者に対面する双眼カメラを有する前記出入口の上に所定の角度で設置された、請求項１１に記載の方法。
【請求項２０】
前記ネットワークインターフェースがパワーオンイーサネット（ＰＯＥ）ネットワークインターフェースを含み、前記双眼歩行者検出システムに供給される電力が前記ＰＯＥネットワークインターフェースによって提供され、最終歩行者検出結果が、前記ネットワークインターフェースと通信ネットワークを通じて前記最終歩行者検出結果を収集するサーバに送信される、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示内容は、一般的に、歩行者検出に関し、さらに具体的には、二重ストリームディープラーニング（ｄｕａｌ−ｓｔｒｅａｍ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ）ニューラルネットワークを有する双眼歩行者検出システムおよび二重ストリームディープラーニングニューラルネットワークを有する双眼歩行者検出システムを利用する方法に関する。
【背景技術】
【０００２】
歩行者検出は、商店、街頭、またはスポーツ競技場のような限定された領域でのビデオ監視および歩行者カウンティングにおいて重要な役割をする。多くの方法を利用して歩行者を検出できるが、例えば、（ａ）単一フレーム映像に基づく単眼（ｍｏｎｏｃｕｌａｒ）ビデオ歩行者検出、（ｂ）フレーム動き情報に基づく単眼ビデオ歩行者検出、（ｃ）双眼ビジョンに基づく歩行者検出、（ｄ）３Ｄデータ獲得システムなどを利用した歩行者検出がある。方法（ａ）は、単眼ＲＧＢ画像の色およびテクスチャ情報のみを利用する。影、足跡、または帽子をかぶっている歩行者のように区別し難い対象の場合、検出堅固性が不良であり、誤検出がしばしば発生する。方法（ｂ）は、後続フレーム間の歩行者のエッジ特徴量に基づいて歩行者の動き情報を抽出し、動いている歩行者に対する検出結果と堅固性がいずれも良好である。しかし、後続フレーム間のエッジ特徴量の抽出が容易でなく、停止状態の歩行者検出がたびたび失敗するため、停止状態の歩行者に対してはさほど良好でない。方法（ｃ）は、さらに正確な歩行者検出結果のために双眼情報を使う。しかし、既存の方法は関心領域を選択するために視差マップ（ｄｉｓｐａｒｉｔｙ  ｍａｐ）のみを使うものであり、関心領域の歩行者検出は依然として単眼ＲＧＢ画像特性に基づく。したがって、この方法は誤った歩行者対象（例えば、影、足跡）の除去にのみ使われ得、帽子を着用している対象のような特殊な歩行者対象の検出効果は依然として不良である。３Ｄデータ獲得装備に依存する歩行者検出方法の助けによって、方法（ｄ）を使って３次元情報を収集することによって３次元位置を正確に決定することができる。しかし、この方法は、ありふれた公共の場所には設置し難いＬｉＤＡＲのような高価な３Ｄデータ獲得システムをさらに使わなければならないため、実際のシナリオではこの方法はさほど実用的ではない。
【０００３】
前述した問題点および不適合性を解決するために、当技術分野にはこれまで解決されていない要求が依然として存在する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一様態において、本開示内容は双眼歩行者検出システムに関する。ある実施例で、双眼歩行者検出システムは、双眼カメラ、画像／ビデオ処理特定用途向け集積回路（ＡＳＩＣ）、および双眼歩行者検出システム制御器を含む。双眼カメラは、所定の領域を通過する歩行者の所定個数の双眼画像をキャプチャするための第１カメラおよび第２カメラを有する。第１カメラは、第１レンズ、および第１レンズを通じて左側画像をキャプチャするための第１ＣＭＯＳセンサを含む。第２カメラは、第２レンズ、および第２レンズを通じて右側画像をキャプチャするための第２ＣＭＯＳセンサを含む。左側画像と右側画像は双眼画像を形成する。画像／ビデオ処理ＡＳＩＣは、双眼カメラによってキャプチャされる歩行者の双眼画像を前処理（ｐｒｅｐｒｏｃｅｓｓ）する。双眼歩行者検出システム制御器は、プロセッサ、ネットワークインターフェース、およびオペレーティングシステムとコンピュータ実行可能命令を保存するメモリを含む。コンピュータ実行可能命令がプロセッサで実行される場合、コンピュータ実行可能命令は、プロセッサに、双眼カメラによって、所定の領域を通過する歩行者の双眼画像をキャプチャする段階；画像／ビデオ処理ＡＳＩＣによって、キャプチャした歩行者の双眼画像を双眼補正する段階；双眼補正された歩行者の双眼画像の視差マップを計算する段階；二重ストリームディープラーニングニューラルネットワークをトレーニングする段階；およびトレーニングした二重ストリームディープラーニングニューラルネットワークを通じて、所定の領域を通過する歩行者を検出する段階のうち一つ以上を遂行するようにする。二重ストリームディープラーニングニューラルネットワークは、歩行者の双眼画像の視差マップから視差特徴量を抽出するためのニューラルネットワーク、およびＲＧＢ特徴量を学習して歩行者の双眼画像からの視差マップと融合させるためのニューラルネットワークを含む。
【０００５】
ある実施例で、歩行者の双眼画像は、歩行者の所定のトレーニング双眼画像、および歩行者検出用双眼カメラによってキャプチャされる歩行者の所定のリアルタイム双眼画像を含む。画像／ビデオ処理ＡＳＩＣは、双眼カメラの較正を遂行し、歩行者の双眼画像を双眼補正し、トレーニング期間中、歩行者のトレーニング双眼画像の視差マップを計算し、アプリケーション期間中歩行者のリアルタイム双眼画像の視差マップを計算するようにプログラミングされる。
【０００６】
ある実施例で、トレーニングフェーズは、１）歩行者の双眼画像の視差マップを使って視差特徴量を抽出するためのニューラルネットワークをトレーニングする段階；２）ＲＧＢ特徴量を学習してＲＧＢ及び視差特徴量を融合させるためのニューラルネットワークをトレーニングする段階であって、ＲＧＢ特徴量の学習は歩行者の左側画像にのみ基づく段階；３）前述したトレーニングしたニューラルネットワークをスタッキングして二重ストリームディープラーニングニューラルネットワークを形成する段階；および４）形成された二重ストリームディープラーニングニューラルネットワークを、歩行者の双眼画像の視差マップと左側画像を利用して微細調整する段階を含む。
【０００７】
ある実施例で、アプリケーションフェーズは、双眼カメラによって、歩行者のリアルタイム双眼画像をキャプチャする段階；画像／ビデオ処理ＡＳＩＣによって、キャプチャした歩行者のリアルタイム双眼画像を双眼補正する段階；画像／ビデオ処理ＡＳＩＣによって、双眼補正されたリアルタイム双眼画像の視差マップを計算する段階；トレーニング期間の間形成された二重ストリームディープラーニングニューラルネットワークを使ってリアルタイム双眼画像の視差マップに連関された左側画像から歩行者を検出する段階；および検出結果に対して非最大抑制（ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ）演算を遂行して最終歩行者検出結果を取得する段階を含む。
【０００８】
ある実施例で、二重ストリームディープラーニングニューラルネットワークを使って歩行者を検出するプロセスは、視差特徴量を抽出するためのニューラルネットワークを使ってリアルタイム双眼画像の視差マップから視差特徴量を抽出する段階；ＲＧＢ特徴量を学習してこれを視差特徴量と融合させるためのニューラルネットワークの最初のＮ個の層を使って左側画像からのＲＧＢ特徴量を学習する段階；抽出された視差特徴量および学習されたＲＧＢ特徴量を多数のチャネルを通じてスタッキングする段階；および特徴量を学習して融合させるためのニューラルネットワークの最終Ｍ−Ｎ個の層を使って視差特徴量とＲＧＢ特徴量を融合させて最終歩行者検出結果を取得する段階を含む。ある実施例で、Ｎは正の整数であり、Ｍは、Ｎより大きい正の整数であり、特徴量を学習して融合させるためのニューラルネットワークの層の総数である。一実施例で、Ｎは７であり、Ｍは１５である。
【０００９】
一実施例で、双眼歩行者検出システムは、出入口を通過する歩行者に向けて双眼カメラを有する出入口の上に設置される。他の一実施例で、双眼歩行者検出システムは、出入口を通過する歩行者に向けて双眼カメラを有する出入口の上に所定の角度で設置される。
【００１０】
ある実施例で、ネットワークインターフェースはパワー・オン・イーサネット（登録商標）（ＰＯＥ）ネットワークインターフェースを含む。双眼歩行者検出システムへの電力の供給はＰＯＥネットワークインターフェースによって提供され、最終歩行者検出結果は、ネットワークインターフェースと通信ネットワークを通じて最終歩行者検出結果を収集するサーバに送信される。
【００１１】
さらに他の一様態で、本開示内容は、双眼歩行者検出システムを利用して歩行者を検出する方法に関する。ある実施例で、方法は、双眼歩行者検出システムの双眼カメラを使って、所定の領域を通過する歩行者の所定の双眼画像をキャプチャする段階；双眼歩行者検出システムの画像／ビデオ処理ＡＳＩＣを通じて、キャプチャした歩行者の双眼画像を双眼補正する段階；画像／ビデオ処理ＡＳＩＣを通じて、双眼補正された歩行者の双眼画像の視差マップを計算する段階；歩行者の双眼画像の視差マップと左側画像を使って二重ストリームディープラーニングニューラルネットワークをトレーニングする段階；およびトレーニングした二重ストリームディープラーニングニューラルネットワークを通じて、所定の領域を通過する歩行者を検出する段階を含む。
【００１２】
ある実施例で、二重ストリームディープラーニングニューラルネットワークは、双眼画像の視差マップから視差特徴量を抽出するためのニューラルネットワーク、およびＲＧＢ特徴量を学習してこれを双眼画像からの視差特徴量と融合させるためのニューラルネットワークを含む。
【００１３】
ある実施例で、双眼歩行者検出システムは、双眼カメラ、画像／ビデオ処理特定用途向け集積回路（ＡＳＩＣ）、および双眼歩行者検出システム制御器を含む。双眼カメラは、所定の領域を通過する歩行者の所定個数の双眼画像をキャプチャするように第１カメラおよび第２カメラを有する。第１カメラは、第１レンズ、および第１レンズを通じて左側画像をキャプチャするための第１ＣＭＯＳセンサを含む。第２カメラは、第２レンズ、および第２レンズを通じて右側画像をキャプチャするための第２ＣＭＯＳセンサを含む。左側画像と右側画像は双眼画像を形成する。画像／ビデオ処理ＡＳＩＣは、双眼カメラによってキャプチャされる歩行者の双眼画像を前処理する。双眼歩行者検出システム制御器は、プロセッサ、ネットワークインターフェース、およびオペレーティングシステムとコンピュータ実行可能命令を保存するメモリを含む。コンピュータ実行可能命令がプロセッサで実行される場合、コンピュータ実行可能命令は、プロセッサに、前述した方法の一つ以上の段階を遂行するようにする。
【００１４】
ある実施例で、歩行者の双眼画像は、歩行者の所定のトレーニング双眼画像、および歩行者検出用双眼カメラによってキャプチャされる歩行者の所定のリアルタイム双眼画像を含む。画像／ビデオ処理ＡＳＩＣは、双眼カメラの較正を遂行し、歩行者の双眼画像を双眼補正し、トレーニングフェーズの間歩行者のトレーニング双眼画像の視差マップを計算し、アプリケーションフェーズの間歩行者のリアルタイム双眼画像の視差マップを計算するようにプログラミングされる。
【００１５】
ある実施例で、トレーニングフェーズは、歩行者の双眼画像の視差マップを使って視差特徴量を抽出するためのニューラルネットワークをトレーニングする段階；ＲＧＢ特徴量を学習してこれを視差特徴量と融合させるためのニューラルネットワークをトレーニングする段階であって、ＲＧＢ特徴量の学習は歩行者の左側画像にのみ基づく段階；前述したトレーニングしたニューラルネットワークをスタッキングして二重ストリームディープラーニングニューラルネットワークを形成する段階；および形成された二重ストリームディープラーニングニューラルネットワークを、歩行者の双眼画像の視差マップと左側画像を利用して微細調整する段階を含む。
【００１６】
ある実施例で、アプリケーションフェーズは、双眼カメラによって、歩行者のリアルタイム双眼画像をキャプチャする段階；画像／ビデオ処理ＡＳＩＣによって、キャプチャした歩行者のリアルタイム双眼画像を双眼補正する段階；画像／ビデオ処理ＡＳＩＣによって、双眼補正された歩行者のリアルタイム双眼画像の視差マップを計算する段階；トレーニングフェーズの間形成された二重ストリームディープラーニングニューラルネットワークを使ってリアルタイム双眼画像の視差マップと共に左側画像から歩行者を検出する段階；および検出結果に対して非最大抑制演算を遂行して最終歩行者検出結果を取得する段階を含む。
【００１７】
ある実施例で、二重ストリームディープラーニングニューラルネットワークを使って歩行者を検出するプロセスは、視差特徴量を抽出するためのニューラルネットワークを使って歩行者のリアルタイム双眼画像の視差マップから視差特徴量を抽出する段階；ＲＧＢ特徴量を学習してこれを視差特徴量と融合させるためのニューラルネットワークの最初のＮ個の層を使って歩行者の左側画像からＲＧＢ特徴量を学習する段階；抽出された視差特徴量および学習されたＲＧＢ特徴量を多数のチャネルを通じてスタッキングする段階；特徴量を学習して融合させるためのニューラルネットワークの最終Ｍ−Ｎ個の層を使って視差特徴量とＲＧＢ特徴量を融合させて最終歩行者検出結果を取得する段階を含む。ある実施例で、Ｎは正の整数であり、Ｍは、Ｎより大きい正の整数であり、特徴量を学習して融合させるためのニューラルネットワークの層の総数である。一実施例で、Ｎは７であり、Ｍは１５である。
【００１８】
一実施例で、双眼歩行者検出システムは、出入口を通過する歩行者を見下ろす双眼カメラを有する出入口の上に設置される。他の一実施例で、双眼歩行者検出システムは、出入口を通過する歩行者を対面する双眼カメラを有する出入口の上に所定の角度で設置される。
【００１９】
ある実施例で、ネットワークインターフェースはパワー・オン・イーサネット（ＰＯＥ）ネットワークインターフェースを含む。双眼歩行者検出システムへの電力の供給はＰＯＥネットワークインターフェースによって提供され、最終歩行者検出結果は、ネットワークインターフェースと通信ネットワークを通じて最終歩行者検出結果を収集するサーバに送信される。
【００２０】
本開示内容のこれらの様態およびその他の様態は、下記の図面と共に下記の好ましい実施例の説明から明白になるはずであるが、本開示内容の新規の概念の思想と範囲から逸脱することなく変形および修正可能である。
【図面の簡単な説明】
【００２１】
添付図面は本開示内容の一つ以上の実施例を例示し、本開示内容の特徴と利点は、叙述された説明と共に、本開示内容の原理を説明する役割をする。可能であれば、実施例の同一または類似する要素を示すように、図面の全体に亘って同じ参照番号が使われる。
【図１】本開示内容のある実施例による二重ストリームディープラーニングニューラルネットワークを有する双眼歩行者検出システムのブロック図を図示した図面。
【図２】本開示内容のある実施例による双眼歩行者検出システムの底面図を図示した図面。
【図３】本開示内容のある実施例による出入口を出入りする歩行者を検出するように出入口の上に設置された双眼歩行者検出システムを図示した図面。
【図４】本開示内容のある実施例による出入口を見下ろすように出入口の上に設置された双眼歩行者検出システムを図示した図面。
【図５】本開示内容のある実施例による歩行者を対面するように出入口の上に傾斜した角度で設置された双眼歩行者検出システムを図示した図面。
【図６】本開示内容のある実施例による二重ストリームディープラーニングニューラルネットワークのトレーニングフェーズとアプリケーションフェーズのブロック図を図示した図面。
【図７】本開示内容のある実施例による二重ストリームディープラーニングニューラルネットワークを利用して歩行者を検出する段階を詳細に図示した図面。
【図８】本開示内容のある実施例による二重ストリームディープラーニングニューラルネットワーク図面を使ってシングルショットマルチボックス検出器（ＳＳＤ）基盤ニューラルネットワークを図示した図面。
【図９】本開示内容のある実施例による図８に図示した二重ストリームディープラーニングニューラルネットワーク図面を使ってＳＳＤニューラルネットワークからの一部検出ブランチを図示した図面。
【発明を実施するための形態】
【００２２】
本開示内容は、本開示内容内での多くの修正と変形が通常の技術者に明白であるため、単に例示的に意図された下記の例でさらに具体的に説明する。本開示内容の多様な実施例を詳細に説明する。図面を参照すると、同じ番号は、存在するのであれば、図面の全体に亘って同じ構成要素を示す。本明細書の説明および下記の特許請求の範囲の全体に亘って使われている通り、「一」、「一つ」、および「その」の意味は、文脈を明白に別途に指示しない限り、複数の参照を含む。また、本明細書の説明および下記の特許請求の範囲の全体に亘って使われている通り、「内」（ｉｎ）の意味は、文脈を明白に別途に指示しない限り、「内」および「上」（ｏｎ）を含む。また、読者の便宜のために本明細書で題名または副題を使うことができ、これは本開示内容の範囲に影響を及ぼさない。また、本明細書で使われた一部の用語は下記においてさらに具体的に定義される。
【００２３】
本明細書で使われた用語は、一般的に当業界で本開示内容の文脈内でそして、各用語が使われる特定の状況で通常の意味を有する。開示内容の説明に使われる所定の用語は、本開示内容の説明に関して実務者に追加の指針を提供するように、以下で説明されるか本明細書の他の箇所で説明される。便宜上、例えば、イタリック体および／または引用符号を使って所定の用語を強調することができる。強調表示の使用は用語の範囲と意味に影響を及ぼさず、用語の範囲と意味は、強調表示されるかどうかにかかわらず、同じ文脈において同じである。同じものを一つより多い方式で言えるという点を理解されたい。したがって、本願で説明する用語のうち任意の一つ以上に対して、代替言語および同義語を使うことができ、用語が精巧化されたかまたは本願で説明されるかに対する特別な意味はない。所定の用語についての同義語が提供される。一つ以上の同義語に対する説明は他の同義語の使用を排除しない。本願で説明する任意の用語の例を含んで明細書のいずれにおいても、例を使うのは例示に過ぎず、本開示内容または例示された任意の用語の範囲および意味を決して限定しない。同様に、本開示内容は本明細書に記載の多様な実施例に限定されない。
【００２４】
別途に定義しない限り、本願で使われるすべての技術用語と科学用語は、本開示内容に属する通常の技術者が一般的に理解する意味と同じ意味を有する。矛盾がある場合、定義を含んだ本願が統制する。
【００２５】
本願で使われるように、「ぐらい」、「約」、または「概略」は、一般的に与えられた値または範囲の２０％以内、好ましくは１０％、さらに好ましくは５％以内を意味する。本願で与えられる数量は、概略的なものであって、明白に言及されない限り、「ぐらい」、「約」、または「概略」を推論できることを意味する。
【００２６】
本願で使われるように、「複数」は二個以上を意味する。
【００２７】
本願で使われるように、「含む」（ｃｏｍｐｒｉｓｉｎｇ）、「含む」（ｉｎｃｌｕｄｉｎｇ）、「持つ」、「有する」、「含有する」、「含む」（ｉｎｖｏｌｖｉｎｇ）等の用語は、開放型として理解するべきであり、すなわち、該当対象に限定されずその対象を含むことを意味する。
【００２８】
本願で使われるように、Ａ、Ｂ、Ｃのうち少なくとも一つという語句は、非排他的論理ＯＲを使う論理（ＡまたはＢまたはＣ）を意味するものと解釈されるべきである。方法内の一つ以上の段階は本開示内容の原理を変更することなく異なる順序で（または同時に）延長され得ることを理解しなければならない。
【００２９】
本願で使われるように、モジュールという用語は、特定用途向け集積回路（ＡＳＩＣ）、電子回路、組み合わせ型論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コードを実行するプロセッサ（共有型、専用、またはグループ型）、説明される機能を提供する他の適切なハードウェア構成要素、またはシステムオンチップでのように、このような例のうち一部又は全部の組み合わせ、またはこれらの一部を指し示し得、またはこれらを含むことができる。モジュールという用語は、プロセッサによって実行されるコードを保存するメモリ（共有型、専用、またはグループ型）を含むことができる。
【００３０】
前記において使われたようなコードという用語は、ソフトウェア、ファームウェア、および／またはマイクロコードを含むことができ、プログラム、ルーチン、関数、クラス、および／または客体を指し示し得る。前記において使われたような共有という用語は、多数のモジュールからの一部のコードまたはすべてのコードが単一（共有型）プロセッサを使って実行され得ることを意味する。また、多数のモジュールからの一部のコードまたはすべてのコードは単一（共有型）メモリによって保存され得る。前記において使われたようなグループという用語は、単一モジュールからの一部のコードまたはすべてのコードがプロセッサのグループを使って実行され得ることを意味する。また、単一モジュールからの一部のコードまたはすべてのコードはメモリのグループを使って保存され得る。
【００３１】
本願で説明する装置および方法は、一つ以上のプロセッサによって実行される一つ以上のコンピュータプログラムによって具現され得る。コンピュータプログラムは非一時的類型（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｔａｎｇｉｂｌｅ）のコンピュータ読み取り可能媒体上に保存されるプロセッサ実行可能命令を含む。コンピュータプログラムは、また、保存されたデータを含むことができる。非一時的類型のコンピュータ読み取り可能媒体の非制限的な例は不揮発性メモリ、磁気記憶装置、および光学保存装置である。
【００３２】
以下、添付図面である本開示内容の実施例が図示されている図１〜図９を参照して本開示内容をさらに詳細に説明する。しかし、本開示内容は、他の多くの形態に具体化され得、本明細書に説明された実施例に限定されるものと解釈してはならず；かえって、このような実施例は、本開示内容が徹底かつ完全に行われるように提供されたものであり、本開示内容の範囲を通常の技術者に完全に伝達されたい。同じ番号は全体に亘って同じ要素を指し示す。
【００３３】
一様態で、本開示は図１に図示されたような双眼歩行者検出システム１００に関する。ある実施例で、双眼歩行者検出システム１００は、双眼カメラ１１０、画像／ビデオ処理特定用途向け集積回路（ＡＳＩＣ）１２０、および双眼歩行者検出システム制御器１３０を含む。図１および図３に図示された通り、双眼カメラ１１０は、所定の領域を通過する歩行者３０３の一連の双眼画像をキャプチャするための第１カメラ１１１と第２カメラ１１２を具備する。第１カメラ１１１は、第１レンズ１１１１、および第１レンズ１１１１を通じて左側画像をキャプチャするための第１ＣＭＯＳセンサ１１１２を含む。第２カメラ１１２は、第２レンズ１１２１、および第２レンズ１１２１を通じて右側画像をキャプチャするための第２ＣＭＯＳセンサ１１２２を含む。左側画像と右側画像は双眼画像を形成する。
【００３４】
ある実施例で、双眼歩行者検出システム１００は図３に図示された通り、出入口３０２を覆って閉鎖領域に設置される。閉鎖領域は壁３０１を含み、出入口３０２は左側ドア３０２１と右側ドア３０２２を含む。第１ドア３０２１および／または第２ドアが開放される時、歩行者３０３は閉鎖領域に進入したり閉鎖領域から退場することができる。
【００３５】
ある実施例で、閉鎖領域の内外に歩く歩行者をカウントするためには、歩行者を正確にカウントするように少なくとも一つの双眼歩行者検出システム１００が設置されなければならない。
【００３６】
一実施例で、歩行者３０３の双眼画像はビデオ形態でキャプチャされる。他の一実施例で、歩行者３０３の双眼画像は双眼カメラ１１０を通じてキャプチャされたビデオからサンプリングされた停止画像にキャプチャされる。ある実施例で、双眼ビデオのサンプリングレートは２０〜２５フレーム／秒（ｆｐｓ）である。画像／ビデオ処理ＡＳＩＣ１２０およびプロセッサ１３１の速度により、双眼ビデオのサンプリングレートは、移動通信ネットワークプラットホームを使って３２０×２４０ピクセルの画像解像度で１０ｆｐｓ〜１４ｆｐｓに減少し得る。
【００３７】
ある実施例で、閉鎖領域が複数のドアを含む場合、少なくとも一つの双眼歩行者検出システム１００が各ドアの上に設置されなければならない。
【００３８】
ある実施例で、ドアが異常に広いか店頭に壁３０１がない場合、歩行者を正確にカウントするために複数の双眼歩行者検出システム１００が出入口の上に設置され得る。
【００３９】
一実施例で、図４に図示された通り、双眼歩行者検出システム１００は、進入路の真上、歩行者３０３の真上、および壁３０１から所定の距離、例えば、壁３０１から６０ｃｍ〜８０ｃｍ距離に設置され得る。このような設置によると、双眼歩行者検出システム１００によりキャプチャされた画像が扁平となり得、影と足跡により歩行者検出が失敗し得、歩行者検出の精度が理想的ではないこともある。
【００４０】
他の一実施例で、図５に図示された通り、双眼歩行者検出システム１００は進入路と歩行者３００の上におよび壁３０１から所定の距離、例えば、壁３０１から６０ｃｍ〜８０ｃｍ距離に所定の角度で設置され得る。このような設置によると、双眼歩行者検出システム１００によりキャプチャされた画像がより現実的であり得、影と足跡をキャプチャされた画像と区別することができ、歩行者検出の正確性が改善され得る。
【００４１】
再び図１を参照すると、ある実施例で、画像／ビデオ処理ＡＳＩＣ１２０は双眼カメラ１１０によりキャプチャした歩行者３０３の双眼画像を前処理する。画像／ビデオ処理ＡＳＩＣ１２０は、専用グラフィックレンダリング演算を行うように設計されたグラフィック処理ユニット（ＧＰＵ）を含むことができる。前処理は、特に、双眼カメラの較正、トレーニング双眼画像の双眼補正、歩行者検出のためのリアルタイム双眼画像の双眼補正、および視差マップの計算を含む。双眼歩行者検出システム制御器１３０は、プロセッサ１３１、ネットワークインターフェース１３２、およびオペレーティングシステム１３３３とコンピュータ実行可能命令１３３４を保存するメモリ１３３を含む。プロセッサ１３１は、シングルコアプロセッサ、マルチコアプロセッサ、共有型プロセッサ、専用プロセッサ、プロセッサのグループ、および人工知能関連演算を扱うように設計された人工知能（ＡＩ）プロセッサを含むことができる。
【００４２】
オペレーティングシステム１３３３、コンピュータ実行可能命令１３３４、および二重ストリームディープラーニングニューラルネットワークの動作に使われる多くのパラメータは、不揮発性ソリッドステートドライブ（ＳＳＤ）装置１３３２に保存される。コンピュータ実行可能命令１３３４がプロセッサ１３１で実行される場合、コンピュータ実行可能命令１３３４は、一つ以上のＤＤＲ  ＲＡＭ装置１３３１にローディングされ、所定の領域を通過する歩行者３０３の双眼画像を双眼カメラ１１０によりキャプチャすること、キャプチャした歩行者３０３の双眼画像を画像／ビデオ処理ＡＳＩＣ１２０により双眼補正すること、双眼補正された歩行者３０３の双眼画像の視差マップを計算すること、二重ストリームディープラーニングニューラルネットワーク６２５をトレーニングすること、およびトレーニングした二重ストリームディープラーニングニューラルネットワーク６２５を通じて所定の領域を通過する歩行者３０３を検出することのうち一つ以上をプロセッサ１３１が遂行するようにする。
【００４３】
図６を参照すると、本開示内容のある実施例により二重ストリームディープラーニングニューラルネットワークのトレーニングフェーズとアプリケーションフェーズのブロック図が図示されている。ある実施例で、双眼カメラ１１０は、図６のボックス６０１に図示された通り、双眼カメラ１１０の一貫性と正確性を増加させるように較正され得る。双眼カメラの較正は、双眼カメラ１１０が特定された大きさの客体を異なる角度から撮像できるようにし、双眼カメラ１１０の内部パラメータおよび外部パラメータを計算する。
【００４４】
一実施例で、較正の特定段階は、（ａ）双眼カメラ１１０を使って１２×１２黒色−白色チェッカーボードを作って異なる角度からのチェッカーボードの１５枚の写真を撮像する。チェッカーボードは、双眼カメラ１１０の第１カメラ１１１と第２カメラ１１２の視点に同時に存在しなければならず、較正の特定段階は、較正の間前述したキャプチャされた１５枚の写真により（ｂ）ＭＡＴＬＡＢの較正キットｔｏｏｌｂｏｘ＿ｃａｌｉｂを使ったカメラの較正を含む。第１カメラ１１１と第２カメラ１１２の以下のパラメータは較正を通じて取得される。
【００４５】
左側ｘ方向の焦点距離：
【数１】
2020061128.tif 000003
左側ｙ方向の焦点距離：
【数２】
2020061128.tif 000004
右側ｘ方向の焦点距離：
【数３】
2020061128.tif 000005
右側ｙ方向の焦点距離：
【数４】
2020061128.tif 000006
左側カメラの画像中心座標：
【数５】
2020061128.tif 000007
右側カメラの画像中心座標：
【数６】
2020061128.tif 000008
第１カメラの歪曲パラメータ：
【数７】
2020061128.tif 000009
第２カメラの歪曲パラメータ：
【数８】
2020061128.tif 000010
第１カメラ１１１と第２カメラ１１２間の回転マトリックス：Ｒ；および
シフトベクターＴ．
【００４６】
これらのカメラパラメータは、双眼カメラ１１０によりキャプチャされる歩行者の双眼画像の双眼補正を遂行するのに使われる。ある実施例で、双眼カメラ１１０は、第１カメラ１１１により第１画像Ｉ１をキャプチャし、第２カメラ１１２により第２画像Ｉ２をキャプチャする。これら二つの双眼画像（Ｉ１およびＩ２）は、ｓｔｅｒｅｏＲｅｃｔｉｆｙ、ｉｎｉｔＵｎｄｉｓｔｏｒｔＲｅｃｔｉｆｙＭａｐ、およびｒｅｍａｐを含む補正関数を使用することによって、そして、前述した双眼較正を通じて取得されるパラメータ
【数９】
2020061128.tif 000011
を使うことによって双眼補正される。
【００４７】
ある実施例で、使われた関数は以下を含む。
【数１０】
2020061128.tif 000012
【００４８】
ここで、ｌｅｆｔ＿ｓｒｃは第１画像Ｉ１であり、ｒｉｇｈｔ＿ｓｒｃは第２画像Ｉ２であり、ｌｅｆｔ＿ｄｓｔは補正した第１画像
【数１１】
2020061128.tif 000013
であり、ｒｉｇｈｔ＿ｄｓｔは補正された第２画像
【数１２】
2020061128.tif 000014
である。
【００４９】
補正された双眼画像
【数１３】
2020061128.tif 000015
はトレーニングフェーズ６０１およびアプリケーションフェーズ６２０に供給され得る。
【００５０】
ある実施例で、二重ストリームディープラーニングニューラルネットワーク６２５は、歩行者３０３の双眼画像の視差マップから視差特徴量を抽出するためのニューラルネットワーク、およびＲＧＢ特徴量を学習してこれを歩行者３０３の双眼画像からの視差特徴量と融合させるためのニューラルネットワークを含む。ある実施例で、特徴量を学習して融合させるためのニューラルネットワークはＭ個の層を含み、ここで、Ｍは、正の整数であり、特徴量を学習して融合させるためのニューラルネットワークの層の総数である。
【００５１】
ある実施例で、歩行者３０３の双眼画像は、歩行者３０３の所定のトレーニング双眼画像、および歩行者検出用双眼カメラ１１０によりキャプチャされる歩行者３０３の所定のリアルタイム双眼画像を含む。画像／ビデオ処理ＡＳＩＣ１２０は、双眼カメラ１１０の較正を遂行する段階；歩行者３０３の双眼画像を双眼補正する段階；トレーニングフェーズ６１０の間歩行者３０３のトレーニング双眼画像の視差マップを計算する段階；およびアプリケーションフェーズ６２０の間歩行者３０３のリアルタイム双眼画像の視差マップを計算する段階のうち一つ以上を遂行するようにプログラミングされる。
【００５２】
ある実施例で、トレーニングフェーズ６１０で、双眼カメラ１１０からの歩行者３０３のトレーニング双眼画像は、歩行者３０３のトレーニング双眼画像を双眼補正するためのボックス６１１に向かう。歩行者３０３の補正されたトレーニング双眼画像は、ボックス６１３内の歩行者３０３のこのようなトレーニング双眼画像の視差マップを計算するのに使われる。
【００５３】
補正された双眼画像
【数１４】
2020061128.tif 000016
の視差マップ（ｄ）は、標準セミグローバルブロックマッチング（ＳＧＢＭ）アルゴリズムを使うことによって生成される。視差マップ（ｄ）は０〜２５５のピクセル値を有するグレースケール画像である。
【００５４】
視差マップ（ｄ）は、第１（左側）位置と第２（右側）位置間に画像上の各ポイントに対する偏差量を記録する。例えば、第１（左側）画像でラインｉのコラムｊに該当する位置
【数１５】
2020061128.tif 000017
に対して、このポイントは、一致検索を通じて右側画像で発見されて現れ
【数１６】
2020061128.tif 000018
、これに伴いΔｊが視差マップ（ｄ（ｉ、ｊ））の値である。さらに遠くある客体に対しては、第１画像と第２画像の位置偏差Δｊが小さいであろう。近くある客体に対しては、第１画像と第２画像の位置偏差Δｊが大きいであろう。したがって、視差マップ（ｄ）は、双眼カメラ１１０の第１カメラ１１１と第２カメラ１１２のそれぞれからの客体の相対距離を反映する。
【００５５】
ある実施例で、引き続き、歩行者３０３の双眼画像の計算された視差マップを、歩行者３０３のこれらトレーニング双眼画像の視差マップの視差特徴量を抽出するようにボックス６１５で使う。視差特徴量を抽出するためのニューラルネットワークのトレーニング後に、視差特徴量を抽出するためのニューラルネットワークのトレーニングの出力は、特徴量を学習および融合させるためのニューラルネットワークをトレーニングするようにボックス６１７に供給される。一旦、視差特徴量を抽出するためのニューラルネットワークと特徴量を学習および融合させるためのニューラルネットワークがトレーニングされたのであれば、視差特徴量を抽出するためのニューラルネットワークと特徴量を学習および融合させるためのニューラルネットワークを結合して、ボックス６１９での二重ストリームディープラーニングニューラルネットワークの形成とトレーニングに使う。ボックス６１９の出力は、アプリケーションフェーズ６２０において歩行者３０３の検出に使われる二重ストリームディープラーニングニューラルネットワーク６２５を形成する。
【００５６】
ある実施例で、視差特徴量を抽出するためのニューラルネットワークのアーキテクチャーは、図８に図示されたようなシングルショットマルチボックス検出器（ＳＳＤ）を参照する。一実施例で、ＳＳＤのバックボーンは２３個の層からなり、各層は、畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）演算、非線形活性化、およびプーリング演算を含み、これらの演算は、２３層のそれぞれにより図８に図示された等式により遂行される。
【００５７】
図８に図示された通り、このような２３個の層は互いに順次接続される。非線形活性化はｆ（ｘ）＝ｍａｘ（０、ｘ）として定義されたＲｅＬＵ活性化関数を取る。プーリング演算は最大値（最大プーリング）で遂行され、これは各ピクセルが該当ピクセルの隣のピクセルの最大値に置き換えられることを意味する。
【００５８】
ある実施例で、ｃｏｎｖは畳み込み演算を表し、ｐｏｏｌはプーリング演算を表し、ｋ  ｘ  ｋはプーリングカーネルまたは畳み込みカーネルの大きさを表し、ｐは特徴量グラフのエッジのピクセル（パディング）の数を表し、ｓは畳み込みカーネルのステップ大きさ（ストライド）を表し、ｃは畳み込みカーネル巡回（チャンネル）を表す。
【００５９】
ある実施例で、図８に図示された通り、検出ブランチ１１（ＤＢ  ＃１）、検出ブランチ２１（ＤＢ  ＃２）、検出ブランチ３１（ＤＢ  ＃３）、検出ブランチ４１（ＤＢ  ＃４）、検出ブランチ５１（ＤＢ  ＃５）、および検出ブランチ６１（ＤＢ  ＃６）は、第１０層、第１５層、第１７層、第１９層、第２１層、および第２３層にそれぞれ形成される。検出ブランチのそれぞれは二つの畳み込み演算後に形成される。図９に図示された通り、第１畳み込みは歩行者位置特徴量マップをもたらし、第２畳み込みは該当するスコアリング特徴量マップをもたらす。位置特徴量マップでの各ピクセル位置（ｘ、ｙ）に対する４＊ｋ値は、ｋ個の予測長方形位置の上部左側コーナーの座標、長さ、および幅を表す。位置特徴量マップでの各ピクセル位置（ｘ、ｙ）に対する２＊ｋ値は、ｋ個の予測位置の「歩行者」および「背景」に対応するｋ個の予測スコアリングを表す。検出ブランチ（ＤＢ  ＃１、ＤＢ  ＃２、ＤＢ  ＃３、ＤＢ  ＃４、ＤＢ  ＃５、およびＤＢ  ＃６）のそれぞれによって取得される歩行者検出結果は、図８に図示された通り、最終歩行者検出結果を取得するように結合される。
【００６０】
ある実施例で、ＳＳＤの検出ブランチのカテゴリーの数は、２に設定され、すなわち、「歩行者」カテゴリーと「背景」カテゴリーとしてのみ設定される。双眼画像フレーム
【数１７】
2020061128.tif 000019
の多数Ｎは双眼ビデオからサンプリングされる。トレーニングについて、Ｎは双眼画像フレームの総数である。補正演算後に、補正された双眼画像
【数１８】
2020061128.tif 000020
が取得される。補正された双眼画像
【数１９】
2020061128.tif 000021
を処理した後、これら双眼画像
【数２０】
2020061128.tif 000022
の双眼視差マップ
【数２１】
2020061128.tif 000023
を計算する。それぞれの双眼画像フレームに対して、すべての歩行者境界ボックス（境界ボックス）を左側画像で手動でマーキングする。各境界ボックスは、上部左側コーナーの座標、長さ、および幅によって表示される。
【００６１】
トレーニングの間、これら双眼画像
【数２２】
2020061128.tif 000024
の双眼視差マップ
【数２３】
2020061128.tif 000025
は視差特徴量を抽出するためのニューラルネットワークへの入力である反面、歩行者境界ボックス情報は視差特徴量を抽出するためのニューラルネットワークの出力である。視差特徴量を抽出するためのニューラルネットワークは、逆伝播および勾配下降法（ｂａｃｋ  ｐｒｏｐａｇａｔｉｏｎ  ａｎｄ  ｔｈｅ  ｇｒａｄｉｅｎｔ  ｄｅｓｃｅｎｔ  ｍｅｔｈｏｄ）を使ってトレーニングされる。トレーニングの終了時、視差特徴量を抽出するためのニューラルネットワークの最初の７個の層のみが視差特徴量抽出のために維持され、残りの層は廃棄される。最後に、視差マップが入力される場合、視差特徴量を抽出するためのニューラルネットワークは初期視差マップの１／８解像度を有する特徴量マップを生成する。
【００６２】
ある実施例で、特徴量を学習および融合させるためのニューラルネットワークのアーキテクチャーも、類似するパラメータと式を使う図８に図示されたようなシングルショットマルチボックス検出器（ＳＳＤ）を参照する。ある実施例で、ＳＳＤの検出ブランチのカテゴリーの数も、２に設定され、すなわち、「歩行者」カテゴリーと「背景」カテゴリーとしてのみ設定される。補正された左側画像フレーム
【数２４】
2020061128.tif 000026
は特徴量を学習および融合させるためのニューラルネットワークへの入力であり、左側画像の歩行者境界ボックス情報は特徴量を学習および融合させるためのニューラルネットワークの出力として使われる。特徴量を学習および融合させるためのニューラルネットワークも逆伝播および勾配下降法によってトレーニングされる。
【００６３】
ある実施例で、図７のボックス６１９に図示された通り、二重ストリームディープラーニングニューラルネットワークは、視差特徴量を抽出するためのニューラルネットワークを使って抽出される視差特徴量と特徴量を学習および融合させるためのニューラルネットワークの第７層によって学習されるＲＧＢ特徴量を結合することによって形成されトレーニングされる。これら特徴量は、特徴量を学習および融合させるためのニューラルネットワークの後続構造により順伝播（ｆｏｒｗａｒｄ  ｐｒｏｐａｇａｔｉｏｎ）に連結（ｃｏｎｃａｔｅｎａｔｅ）され連続する。
【００６４】
で、アプリケーションフェーズ６２０において、歩行者３０３のリアルタイム双眼画像は較正された双眼カメラ１１０から受信され、歩行者３０３のこのような双眼画像はボックス６２１で双眼補正される。歩行者３０３の補正されたリアルタイム双眼画像はボックス６２３で歩行者３０３のこのようなリアルタイム双眼画像の視差マップを計算するのに使われる。ボックス６１９でトレーニングした二重ストリームディープラーニングニューラルネットワークは歩行者３０３を検出するようにボックス６２５で使われる。ボックス６２５からの歩行者検出出力は非最大抑制演算を遂行するようにボックス６２７で使われる。最終歩行者検出結果は、ボックス６２５の出力に対して非最大抑制演算が遂行された後にボックス６２９で取得される。
【００６５】
図７を参照すると、本開示内容のある実施例により二重ストリームディープラーニングニューラルネットワークを使って歩行者を検出する詳細動作が図示されている。歩行者３０３の入力双眼画像は二つの別々のストリームである第１ストリームと第２ストリームに関する。第１ストリームはボックス６２５１１とボックス６２５１３を含み、このストリームは歩行者３０３の双眼画像の視差特徴量を抽出するのに使われる。第２ストリームはボックス６２５２１とボックス６２５２３を含み、このストリームは歩行者３０３の左側画像のＲＧＢ特徴量を学習するのに使われる。第１ストリームにおいて、ボックス６２５１１では、歩行者３０３の入力双眼画像の視差マップが受信される。歩行者３０３の双眼画像の受信された視差マップは、視差特徴量を抽出するためのニューラルネットワークを使って視差特徴量を抽出するようにボックス６２５１３で使われる。第２ストリームにおいて、ボックス６２５２１では、歩行者３０３の双眼補正された左側画像が受信される。歩行者３０３の受信された双眼補正された左側画像は、特徴量を学習および融合させるためのニューラルネットワークの最初のＮ個の層を使ってＲＧＢ特徴量を学習するようにボックス６２５２３で使われて、ここで、Ｎは正の整数であり、Ｎ＜Ｍである。
【００６６】
ある実施例で、ボックス６２５１３からの抽出された視差特徴量およびボックス６２５２３からの学習されたＲＧＢ特徴量は、ボックス６２５２５でチャネルを通じてスタッキングされる。スタッキングされた視差特徴量とＲＧＢ特徴量は、特徴量を学習および融合させるためのニューラルネットワークの残っているＭ−Ｎ個の層に伝送される。最終歩行者検出結果は、特徴量を学習および融合させるためのニューラルネットワークの第Ｍ層の出力である。一実施例で、Ｍは１５であり、Ｎは７である。
【００６７】
ある実施例で、ネットワークインターフェース１３２はパワーオンイーサネット（ＰＯＥ）ネットワークインターフェースである。双眼歩行者検出システム１００への電力の供給はＰＯＥネットワークインターフェースによって提供され、最終歩行者検出結果は、図１に図示された通り、ネットワークインターフェース１３２と通信ネットワーク１４０を通じて最終歩行者検出結果を収集するサーバに送信される。
【００６８】
ある実施例で、一旦、二重ストリームディープラーニングニューラルネットワーク６２５が形成されて適切にトレーニングされたのであれば、二重ストリームディープラーニングニューラルネットワーク６２５を使って歩行者を検出することができる。
【００６９】
実際の歩行者検出アプリケーションにおいて、双眼ＲＧＢ画像
【数２５】
2020061128.tif 000027
は双眼カメラ１１０によりキャプチャされる。引き続き、キャプチャされた双眼ＲＧＢ画像
【数２６】
2020061128.tif 000028
を補正し、補正された双眼画像
【数２７】
2020061128.tif 000029
を取得する。補正された双眼画像
【数２８】
2020061128.tif 000030
を使って双眼視差マップ（ｄ）を計算する。双眼視差マップ（ｄ）は、視差特徴量を抽出するように視差特徴量を抽出するためのニューラルネットワークによって使われ、補正された左側画像
【数２９】
2020061128.tif 000031
は最初のＮ個の層を使ってＲＧＢ特徴量を学習するように特徴量を学習および融合させるためのニューラルネットワークによって使われる。抽出された視差特徴量と学習されたＲＧＢ特徴量はチャネルを通じてスタッキングされる。引き続き、スタッキングされた特徴量を、特徴量を学習および融合させるためのニューラルネットワークの残っているＭ−Ｎ個の層に伝送して歩行者検出結果を得る。歩行者境界ボックス情報（
【数３０】
2020061128.tif 000032
は初期歩行者検出結果として使われ、ここで、各歩行者境界ボックス情報は、歩行者境界ボックスの上部左側コーナーの座標、高さ、幅、および該当検出点数を含む。
【００７０】
ある実施例で、初期歩行者検出結果は図６のボックス６２７に図示されたような非最大抑制演算を使って精緻化される。一実施例では、以下の段階を取る。
【００７１】
（ａ）初期化段階：
【数３１】
2020061128.tif 000033
【００７２】
（ｂ）
【数３２】
2020061128.tif 000034
から最高検出点数（Ｂｍａｘ）を有する歩行者境界ボックスを選択し、
【数３３】
2020061128.tif 000035
を検索して、
【数３４】
2020061128.tif 000036
を形成するようにＢｍａｘとの４０％重なりより大きいすべての歩行者境界ボックスを探す。
【数３５】
2020061128.tif 000037
が空いているセットである場合、段階（ｄ）に進行する。そうでなければ、段階（ｃ）に進行する。
【００７３】
（ｃ）
【数３６】
2020061128.tif 000038
から
【数３７】
2020061128.tif 000039
を除去する。
【００７４】
（ｄ）
【数３８】
2020061128.tif 000040
からＢｍａｘを除去し、Ｂｍａｘを
【数３９】
2020061128.tif 000041
に加える。
【数４０】
2020061128.tif 000042
が空いているセットでない場合、段階（ｄ）に進行する。そうでなければ、段階（ｅ）に進行する。
【００７５】
（ｅ）最終歩行者検出結果
【数４１】
2020061128.tif 000043
を取得し、ここで、Ｋ＜＝Ｎである。
【００７６】
さらに他の一様態で、本開示内容は双眼歩行者検出システム１００を使って歩行者を検出する方法に関する。ある実施例で、方法は、双眼歩行者検出システム１００の双眼カメラ１１０を使って、所定の領域を通過する歩行者３０３の所定の双眼画像をキャプチャする段階；双眼歩行者検出システム１００の画像／ビデオ処理ＡＳＩＣ１２０を通じて、キャプチャした歩行者３０３の双眼画像を双眼補正する段階；画像／ビデオ処理ＡＳＩＣ１２０を通じて、双眼補正された歩行者３０３の双眼画像の視差マップを計算する段階；計算された歩行者３０３の双眼画像の視差マップと補正された左側画像を使って二重ストリームディープラーニングニューラルネットワーク６２５をトレーニングする段階；およびトレーニングした二重ストリームディープラーニングニューラルネットワーク６２５を通じて、所定の領域を通過する歩行者３０３を検出する段階を含む。
【００７７】
ある実施例で、二重ストリームディープラーニングニューラルネットワーク６２５は、歩行者３０３の双眼画像の視差マップから視差特徴量を抽出するためのニューラルネットワーク、およびＲＧＢの特徴量を学習してこれを歩行者３０３の双眼画像からの視差特徴量と融合させるためのニューラルネットワークを含む。
【００７８】
ある実施例で、双眼歩行者検出システム１００は、双眼カメラ１１０、画像／ビデオ処理特定用途向け集積回路（ＡＳＩＣ）１２０、および双眼歩行者検出システム制御器１３０を含む。双眼カメラ１１０は、所定の領域を通過する歩行者３０３の双眼画像の所定の数をキャプチャするための第１カメラ１１１と第２カメラ１１２を具備する。第１カメラ１１１は、第１レンズ１１１１、および第１レンズ１１１１を通じて左側画像をキャプチャするための第１ＣＭＯＳセンサ１１１２を含む。第２カメラ１１２は、第２レンズ１１２１、および第２レンズ１１２１を通じて右側画像をキャプチャするための第２ＣＭＯＳセンサ１１２２を含む。左側画像と右側画像は双眼画像を形成する。画像／ビデオ処理ＡＳＩＣ１２０は、双眼カメラ１１０によりキャプチャした歩行者３０３の双眼画像を前処理する。双眼歩行者検出システム制御器１３０は、プロセッサ１３１、ネットワークインターフェース１３２、およびオペレーティングシステム１３３３とコンピュータ実行可能命令１３３４を保存するメモリ１３３を含む。コンピュータ実行可能命令１３３４がプロセッサ１３１で実行される場合、コンピュータ実行可能命令１３３４はプロセッサ１３１にとって前述した方法の一つ以上の動作を遂行するようにする。
【００７９】
ある実施例で、歩行者３０３の双眼画像は、歩行者３０３の所定のトレーニング双眼画像、および歩行者検出用双眼カメラ１１０によりキャプチャした歩行者３０３の所定のリアルタイム双眼画像を含む。画像／ビデオ処理ＡＳＩＣ１２０は、双眼カメラ１１０を較正して、歩行者３０３の双眼画像を双眼補正し、トレーニングフェーズの間歩行者３０３のトレーニング双眼画像の視差マップを計算し、アプリケーションフェーズの間歩行者３０３のリアルタイム双眼画像の視差マップを計算するようにプログラミングされる。
【００８０】
ある実施例で、トレーニングフェーズは、歩行者３０３の双眼画像の視差マップを使って視差特徴量を抽出するためのニューラルネットワークをトレーニングする段階；歩行者３０３の左側画像のみを使ってＲＧＢ特徴量を学習してこれを視差特徴量と融合させるためのニューラルネットワークをトレーニングする段階；および視差特徴量を抽出するためのニューラルネットワークと特徴量を学習して融合させるためのニューラルネットワークをスタッキングして二重ストリームディープラーニングニューラルネットワーク６２５を形成する段階を含む。
【００８１】
ある実施例で、アプリケーションフェーズは、双眼カメラ１１０により、歩行者３０３のリアルタイム双眼画像をキャプチャする段階；画像／ビデオ処理ＡＳＩＣ１２０により、キャプチャした歩行者３０３のリアルタイム双眼画像を双眼補正する段階；画像／ビデオ処理ＡＳＩＣ１２０により、双眼補正された歩行者３０３のリアルタイム双眼画像の視差マップを計算する段階；トレーニングフェーズの間形成された二重ストリームディープラーニングニューラルネットワークを使って歩行者３０３のリアルタイム双眼画像の視差マップと補正された左側画像から歩行者３０３を検出する段階；および検出結果に対して非最大抑制演算を遂行して最終歩行者検出結果を取得する段階を含む。
【００８２】
ある実施例で、二重ストリームディープラーニングニューラルネットワーク６２５を使って歩行者３０３を検出するプロセスは、視差特徴量を抽出するためのニューラルネットワークを使って歩行者３０３のリアルタイム双眼画像の視差マップから視差特徴量を抽出する段階；ＲＧＢ及び視差特徴量を学習して融合させるためのニューラルネットワークの最初のＮ個の層を使って歩行者３０３の補正された左側画像からＲＧＢ特徴量を学習する段階；抽出された視差特徴量と学習されたＲＧＢ特徴量を多数のチャネルを通じてスタッキングする段階；および特徴量を学習して融合させるためのニューラルネットワークの最終Ｍ−Ｎ個の層を使って視差特徴量とＲＧＢ特徴量を融合させて最終歩行者検出結果を取得する段階を含む。ある実施例で、Ｎは正の整数であり、Ｍは、Ｎより大きい正の整数であり、特徴量を学習して融合させるためのニューラルネットワークの層の総数である。一実施例で、Ｎは７であり、Ｍは１５である。
【００８３】
一実施例で、双眼歩行者検出システム１００は、出入口３０１を通過する歩行者３０３を見下ろす双眼カメラ１１０を有する出入口３０１の上に設置される。他の一実施例で、双眼歩行者検出システム１００は、出入口３０１を通過する歩行者３０３を対面する双眼カメラ１１０を有する出入口３０１の上に所定の角度で設置される。
【００８４】
ある実施例で、ネットワークインターフェース１３２はパワーオンイーサネット（ＰＯＥ）ネットワークインターフェースを含む。双眼歩行者検出システム１００への電力の供給はＰＯＥネットワークインターフェースによって提供され、最終歩行者検出結果は、ネットワークインターフェース１３２と通信ネットワーク１４０を通じて最終歩行者検出結果を収集するサーバに送信される。
【００８５】
通信ネットワーク１４０は、無線個人用通信網（ＷＰＡＮ）、無線近距離通信網（ＷＬＡＮ）、無線大都市通信網（ＷＭＡＮ）、無線広域通信網（ＷＷＡＮ）、セルラーネットワーク、および移動通信ネットワークを含むことができる。ＷＰＡＮは、Ｗｉ−Ｆｉ（Ｗｉ−Ｆｉ）ネットワーク、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）ネットワーク、赤外線ネットワーク、およびジグビー（Ｚｉｇｂｅｅ）ネットワークも含むことができる。
【００８６】
本開示内容の例示的な実施例の前述した説明は、例示および説明のために提示されたものに過ぎず、徹底するように意図されたものではなく、または本発明を開示された具体的な形態に限定しようとするものでもない。前述した教示に照らして、多くの修正および変形が可能である。
【００８７】
実施例は、通常の技術者が本開示内容と多様な実施例を意図した特定の用途に適合な多様な修正と共に利用することができるように、本開示内容の原理および実際の適用を説明するように選択および説明された。代替実施例は、本開示内容の思想および範囲を逸脱することなく本開示内容が属する技術分野の通常の技術者に明白となるはずである。これに伴い、本開示内容の範囲は前述した説明およびその説明に記載された例示的な実施例よりは添付された特許請求の範囲によって定義される。
【図１】
2020061128.tif 000044
【図２】
2020061128.tif 000045
【図３】
2020061128.tif 000046
【図４】
2020061128.tif 000047
【図５】
2020061128.tif 000048
【図６】
2020061128.tif 000049
【図７】
2020061128.tif 000050
【図８】
2020061128.tif 000051
【図９】
2020061128.tif 000052
【外国語明細書】
2020061128000001.pdf