【手続補正書】
【提出日】令和2年3月5日(2020.3.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
双眼歩行者検出システムであって、
所定の期間に所定の領域を通過する複数の歩行者の複数の双眼画像をキャプチャするための第１カメラおよび第２カメラを有する双眼カメラであって、各双眼画像が左側画像及び右側画像を含む、双眼カメラ；
前記双眼カメラによってキャプチャされた前記歩行者の前記複数の双眼画像を前処理する画像／ビデオ処理特定用途向け集積回路（ＡＳＩＣ）；および
プロセッサ、ネットワークインターフェース、およびオペレーティングシステムとコンピュータ実行可能命令を保存するメモリを有する双眼歩行者検出システム制御器を含み、
前記コンピュータ実行可能命令は、前記プロセッサで実行された場合、前記プロセッサに、
前記双眼カメラによって、前記所定の期間に前記所定の領域を通過する前記歩行者の前記複数の双眼画像をキャプチャする段階；
前記画像／ビデオ処理ＡＳＩＣによって、キャプチャされた前記歩行者の前記複数の双眼画像を双眼補正することで、複数の補正された双眼画像を取得する段階であって、各前記複数の補正された双眼画像が、補正された左側画像及び補正された右側画像を含む、段階；
前記画像／ビデオ処理ＡＳＩＣによって、前記複数の補正された双眼画像の視差マップを計算する段階；
二重ストリームディープラーニングニューラルネットワークをトレーニングする段階であって、前記二重ストリームディープラーニングニューラルネットワークが、前記歩行者の前記複数の双眼画像の視差マップから視差特徴量を抽出するためのニューラルネットワーク、および前記歩行者の前記複数の双眼画像の前記複数の補正された左側画像及び視差マップから特徴量を学習及び融合するためのニューラルネットワークを含む、段階；および
前記トレーニングした二重ストリームディープラーニングニューラルネットワークを通じて、前記所定の期間に前記所定の領域を通過する前記複数の歩行者を検出する段階
のうち一つ以上を遂行させる、双眼歩行者検出システム。
【請求項２】
前記第１カメラが第１レンズおよび前記第１レンズを通じて前記左側画像をキャプチャするための第１ＣＭＯＳセンサを含み、前記第２カメラが第２レンズおよび前記第２レンズを通じて前記右側画像をキャプチャするための第２ＣＭＯＳセンサを含み、前記左側画像と前記右側画像が双眼画像を形成する、請求項１に記載の双眼歩行者検出システム。
【請求項３】
前記画像／ビデオ処理ＡＳＩＣが、
前記双眼カメラの較正を遂行する段階；
前記歩行者の前記複数の双眼画像を双眼補正する段階であって、前記歩行者の前記複数の双眼画像が、前記歩行者の複数のトレーニング双眼画像、および歩行者検出のための前記双眼カメラによってキャプチャされた前記歩行者の複数のリアルタイム双眼画像を含む、段階；
トレーニングフェーズにおいて前記歩行者の前記複数のトレーニング双眼画像の視差マップを計算する段階；および
アプリケーションフェーズにおいて前記歩行者の前記複数のリアルタイム双眼画像の視差マップを計算する段階
のうち一つ以上を遂行するようにプログラミングされた、請求項１に記載の双眼歩行者検出システム。
【請求項４】
前記トレーニングフェーズが、
前記歩行者の前記複数の双眼画像の視差マップを使って、前記視差特徴量を抽出するためのニューラルネットワークをトレーニングする段階；
前記歩行者の前記複数の左側画像を使って、ＲＧＢ及び視差の特徴量を学習及び融合するためのニューラルネットワークをトレーニングする段階；および
トレーニングした前記視差特徴量を抽出するためのニューラルネットワークと前記特徴量を学習及び融合するためのニューラルネットワークをスタッキングして、前記二重ストリームディープラーニングニューラルネットワークを形成する段階
を含む、請求項３に記載の双眼歩行者検出システム。
【請求項５】
前記アプリケーションフェーズが、
前記双眼カメラによって、前記歩行者の前記複数のリアルタイム双眼画像をキャプチャする段階；
前記画像／ビデオ処理ＡＳＩＣによって、キャプチャされた前記歩行者の前記複数のリアルタイム双眼画像を双眼補正する段階；
前記画像／ビデオ処理ＡＳＩＣによって、双眼補正された前記歩行者の前記複数のリアルタイム双眼画像の視差マップを計算する段階；
前記トレーニングフェーズの間に形成された前記二重ストリームディープラーニングニューラルネットワークを使って、前記歩行者の前記複数のリアルタイム双眼画像の前記複数の補正された左側画像と視差マップから前記複数の歩行者を検出する段階；および
検出結果に対して非最大抑制を遂行して最終歩行者検出結果を取得する段階
を含む、請求項４に記載の双眼歩行者検出システム。
【請求項６】
前記二重ストリームディープラーニングニューラルネットワークを使って前記複数の歩行者を検出する段階が、
前記視差特徴量を抽出するためのニューラルネットワークを使って、前記歩行者の前記複数のリアルタイム双眼画像の視差マップから視差特徴量を抽出する段階；
前記ＲＧＢ及び視差の特徴量を学習及び融合するためのニューラルネットワークの最初のＮ個の層を使って、前記歩行者の補正された複数の左側画像からＲＧＢ特徴量を学習する段階であって、前記Ｎが正の整数である、段階；
抽出された前記視差特徴量と学習された前記ＲＧＢ特徴量を複数のチャネルを通じてスタッキングする段階；および
前記特徴量を学習及び融合するためのニューラルネットワークの最後のＭ−Ｎ個の層を使って、視差とＲＧＢの特徴量を融合させて、最終歩行者検出結果を取得する段階
を含み、Ｍは、Ｎより大きい正の整数であり、前記特徴量を学習及び融合するためのニューラルネットワークの層の総数である、請求項５に記載の双眼歩行者検出システム。
【請求項７】
Ｎが７であり、Ｍが１５である、請求項６に記載の双眼歩行者検出システム。
【請求項８】
前記双眼歩行者検出システムが、出入口を通過する複数の歩行者を見下ろす双眼カメラを有する前記出入口の上に設置された、請求項１に記載の双眼歩行者検出システム。
【請求項９】
前記双眼歩行者検出システムが、出入口を通過する複数の歩行者に対面する双眼カメラを有する前記出入口の上に所定の角度で設置された、請求項１に記載の双眼歩行者検出システム。
【請求項１０】
前記ネットワークインターフェースがパワーオンイーサネット（ＰＯＥ）ネットワークインターフェースを含み、前記双眼歩行者検出システムに供給される電力が前記ＰＯＥネットワークインターフェースによって提供され、最終歩行者検出結果が、前記ネットワークインターフェースと通信ネットワークを通じて前記最終歩行者検出結果を収集するサーバに送信される、請求項１に記載の双眼歩行者検出システム。
【請求項１１】
双眼歩行者検出システムを使って歩行者を検出する方法であって、
前記双眼歩行者検出システムの双眼カメラを使って、所定の期間に所定の領域を通過する複数の歩行者の複数の双眼画像をキャプチャする段階であって、各前記複数の双眼画像が左側画像及び右側画像を含む、段階；
前記双眼歩行者検出システムの画像／ビデオ処理特定用途向け集積回路（ＡＳＩＣ）を通じて、キャプチャされた前記歩行者の前記複数の双眼画像を双眼補正することで、複数の補正された双眼画像を取得する段階であって、各前記複数の補正された双眼画像が、補正された左側画像及び補正された右側画像を含む、段階；
前記画像／ビデオ処理ＡＳＩＣを通じて、前記複数の補正された双眼画像の視差マップを計算する段階；
計算された前記歩行者の前記複数の双眼画像の前記複数の補正された左側画像および視差マップを使って、二重ストリームディープラーニングニューラルネットワークをトレーニングする段階であって、前記二重ストリームディープラーニングニューラルネットワークが、前記歩行者の前記複数の双眼画像の視差マップから視差特徴量を抽出するためのニューラルネットワーク、および前記歩行者の前記複数の双眼画像の前記複数の補正された左側画像及び視差マップから特徴量を学習及び融合するためのニューラルネットワークを含む、段階；および
前記トレーニングした二重ストリームディープラーニングニューラルネットワークを通じて、前記所定の期間に前記所定の領域を通過する前記複数の歩行者を検出する段階
を含む、方法。
【請求項１２】
前記双眼歩行者検出システムが、
前記所定の期間に前記所定の領域を通過する前記複数の歩行者の複数の双眼画像をキャプチャするための第１カメラおよび第２カメラを有する前記双眼カメラであって、各前記複数の双眼画像が、前記第１カメラによってキャプチャされた左側画像及び前記第２カメラによってキャプチャされた右側画像を含む、双眼カメラ；
前記双眼カメラによってキャプチャされた前記歩行者の前記複数の双眼画像を前処理する前記画像／ビデオ処理ＡＳＩＣ；および
プロセッサ、ネットワークインターフェース、およびオペレーティングシステムとコンピュータ実行可能命令を保存するメモリを有する双眼歩行者検出システム制御器を含み、
前記コンピュータ実行可能命令は、前記プロセッサで実行された場合、前記プロセッサに、前記方法の一つ以上の動作を遂行させる、請求項１１に記載の方法。
【請求項１３】
前記画像／ビデオ処理ＡＳＩＣが、
前記双眼カメラの較正を遂行する段階；
前記歩行者の前記複数の双眼画像を双眼補正する段階であって、前記歩行者の前記複数の双眼画像が、前記歩行者の複数のトレーニング双眼画像、および歩行者検出のための前記双眼カメラによってキャプチャされた前記歩行者の複数のリアルタイム双眼画像を含む、段階；
トレーニングフェーズにおいて前記歩行者の前記複数のトレーニング双眼画像の視差マップを計算する段階；および
アプリケーションフェーズにおいて前記歩行者の前記複数のリアルタイム双眼画像の視差マップを計算する段階
のうち一つ以上を遂行するようにプログラミングされた、請求項１１に記載の方法。
【請求項１４】
前記トレーニングフェーズが、
前記歩行者の前記複数の双眼画像の視差マップを使って、前記視差特徴量を抽出するためのニューラルネットワークをトレーニングする段階；
前記歩行者の前記複数の左側画像を使って、ＲＧＢ及び視差の特徴量を学習及び融合するためのニューラルネットワークをトレーニングする段階；および
トレーニングした前記視差特徴量を抽出するためのニューラルネットワークと前記特徴量を学習及び融合するためのニューラルネットワークをスタッキングして、前記二重ストリームディープラーニングニューラルネットワークを形成する段階
を含む、請求項１３に記載の方法。
【請求項１５】
前記アプリケーションフェーズが、
前記双眼カメラによって、前記歩行者の前記複数のリアルタイム双眼画像をキャプチャする段階；
前記画像／ビデオ処理ＡＳＩＣによって、キャプチャされた前記歩行者の前記複数のリアルタイム双眼画像を双眼補正する段階；
前記画像／ビデオ処理ＡＳＩＣによって、双眼補正された前記歩行者の前記複数のリアルタイム双眼画像の視差マップを計算する段階；
前記トレーニングフェーズの間に形成された前記二重ストリームディープラーニングニューラルネットワークを使って、前記歩行者の前記複数のリアルタイム双眼画像の前記複数の補正された左側画像と視差マップから前記複数の歩行者を検出する段階；および
検出結果に対して非最大抑制を遂行して最終歩行者検出結果を取得する段階
を含む、請求項１４に記載の方法。
【請求項１６】
前記二重ストリームディープラーニングニューラルネットワークを使って前記複数の歩行者を検出する段階が、
前記視差特徴量を抽出するためのニューラルネットワークを使って、前記歩行者の前記複数のリアルタイム双眼画像の視差マップから視差特徴量を抽出する段階；
前記ＲＧＢ及び視差の特徴量を学習及び融合するためのニューラルネットワークの最初のＮ個の層を使って、前記歩行者の補正された複数の左側画像からＲＧＢ特徴量を学習する段階であって、前記Ｎが正の整数である、段階；
抽出された前記視差特徴量と学習された前記ＲＧＢ特徴量を複数のチャネルを通じてスタッキングする段階；および
前記特徴量を学習及び融合するためのニューラルネットワークの最後のＭ−Ｎ個の層を使って、視差とＲＧＢの特徴量を融合させて、最終歩行者検出結果を取得する段階を
含み、Ｍは、Ｎより大きい正の整数であり、前記特徴量を学習及び融合するためのニューラルネットワークの層の総数である、請求項１５に記載の方法。
【請求項１７】
Ｎが７であり、Ｍが１５である、請求項１６に記載の方法。
【請求項１８】
前記双眼歩行者検出システムが、出入口を通過する複数の歩行者を見下ろす双眼カメラを有する前記出入口の上に設置された、請求項１１に記載の方法。
【請求項１９】
前記双眼歩行者検出システムが、出入口を通過する複数の歩行者に対面する双眼カメラを有する前記出入口の上に所定の角度で設置された、請求項１１に記載の方法。
【請求項２０】
前記ネットワークインターフェースがパワーオンイーサネット（ＰＯＥ）ネットワークインターフェースを含み、前記双眼歩行者検出システムに供給される電力が前記ＰＯＥネットワークインターフェースによって提供され、最終歩行者検出結果が、前記ネットワークインターフェースと通信ネットワークを通じて前記最終歩行者検出結果を収集するサーバに送信される、請求項１２に記載の方法。