(57)【要約】好適な実施形態の一例は、畳み込み層群を含む人工ニューラルネットワークの第１の畳み込み層に、入力データ項目を提供することと、前記畳み込み層群における前記入力データ項目を処理することと、前記畳み込み層群の最後の畳み込み層から出力された特徴マップにおいて、第１の特徴マップパッチおよび第２の特徴マップパッチを定義することと、前記第１の特徴マップパッチを第１の分類器に提供し、前記第２の特徴マップパッチを第２の分類器に提供することと、を含む。【選択図】図６
2018527660.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのプロセッサコアと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備える装置であって、前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサコアに実行されると、前記装置に少なくとも、
・  畳み込み層群を含む人工ニューラルネットワークの第１の畳み込み層に、入力データ項目を提供することと、
・  前記畳み込み層群における前記入力データ項目を処理することと、
・  前記畳み込み層群の最後の畳み込み層から出力された特徴マップにおいて、第１の特徴マップパッチおよび第２の特徴マップパッチを定義することと、
・  前記第１の特徴マップパッチを第１の分類器に提供し、前記第２の特徴マップパッチを第２の分類器に提供することと、
を遂行させるように構成される、装置。
【請求項２】
前記入力データ項目は画像を含む、請求項１に記載の装置。
【請求項３】
前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサコアに実行されると、前記装置に、オリジナル画像が拡縮された一連のものを組み合わせることによって前記画像を得ることを遂行させるように構成される、請求項２に記載の装置。
【請求項４】
前記第１の分類器は、前記人工ニューラルネットワークの第１の全結合層を含む、請求項１から３のいずれかに記載の装置。
【請求項５】
前記第２の分類器は、前記人工ニューラルネットワークの第２の全結合層を含む、請求項１から４のいずれかに記載の装置。
【請求項６】
前記畳み込み層群は、４つの畳み込み層を含む、請求項１から５のいずれかに記載の装置。
【請求項７】
前記畳み込み層群における前記入力データ項目を処理することは、次の層の処理の前に前の畳み込み層からの出力を正規化することを含む、請求項１から６のいずれかに記載の装置。
【請求項８】
前記畳み込み層群における前記入力データ項目を処理することは、次の層の処理の前に前の畳み込み層からの出力をサブサンプリングすることを含む、請求項１から６のいずれかに記載の装置。
【請求項９】
前記畳み込み層群における前記入力データ項目を処理することは、第３の畳み込み層の後に局地コントラスト正規化を実行することを含む、請求項１から８のいずれかに記載の装置。
【請求項１０】
前記人工ニューラルネットワークは、人の画像を検出するように構成される、請求項１から９のいずれかに記載の装置。
【請求項１１】
前記畳み込みニューラルネットワークは、歩行者の画像を検出するように構成された、請求項９に記載の装置。
【請求項１２】
前記第１の特徴マップパッチと前記第２の特徴マップパッチとは、少なくとも部分的に重複している、請求項１から１１のいずれかに記載の装置。
【請求項１３】
前記第１の特徴マップパッチは、前記第２の特徴マップパッチに含まれている、請求項１２に記載の装置。
【請求項１４】
・  畳み込み層群を含む人工ニューラルネットワークの第１の畳み込み層に、入力データ項目を提供することと、
・  前記畳み込み層群における前記入力データ項目を処理することと、
・  前記畳み込み層群の最後の畳み込み層から出力された特徴マップにおいて、第１の特徴マップパッチおよび第２の特徴マップパッチを定義することと、
・  前記第１の特徴マップパッチを第１の分類器に提供し、前記第２の特徴マップパッチを第２の分類器に提供することと、
を含む方法。
【請求項１５】
前記入力データ項目は画像を含む、請求項１４に記載の方法。
【請求項１６】
オリジナル画像が拡縮された一連のものを組み合わせることによって前記画像を得ることをさらに含む、請求項１５に記載の方法。
【請求項１７】
前記第１の分類器は、前記人工ニューラルネットワークの第１の全結合層を含む、請求項１４から１６のいずれかに記載の方法。
【請求項１８】
前記第２の分類器は、前記人工ニューラルネットワークの第２の全結合層を含む、請求項１４から１７のいずれかに記載の方法。
【請求項１９】
前記畳み込み層群は、４つの畳み込み層を含む、請求項１４から１８のいずれかに記載の方法。
【請求項２０】
前記畳み込み層群における前記入力データ項目を処理することは、次の層の処理の前に前の畳み込み層からの出力を正規化することを含む、請求項１４から１９のいずれかに記載の方法。
【請求項２１】
前記畳み込み層群における前記入力データ項目を処理することは、次の層の処理の前に前の畳み込み層からの出力をサブサンプリングすることを含む、請求項１４から１９のいずれかに記載の方法。
【請求項２２】
前記畳み込み層群における前記入力データ項目を処理することは、第３の畳み込み層の後に局地コントラスト正規化を実行することを含む、請求項１４から２１のいずれかに記載の方法。
【請求項２３】
前記人工ニューラルネットワークは、人の画像を検出するように構成される、請求項１４から２２のいずれかに記載の方法。
【請求項２４】
前記畳み込みニューラルネットワークは、歩行者の画像を検出するように構成される、請求項２３に記載の方法。
【請求項２５】
前記第１の特徴マップパッチと前記第２の特徴マップパッチとは、少なくとも部分的に重複している、請求項１４から２４のいずれかに記載の方法。
【請求項２６】
前記第１の特徴マップパッチは、前記第２の特徴マップパッチに含まれている、請求項２５に記載の方法。
【請求項２７】
・  畳み込み層群を含む人工ニューラルネットワークの第１の畳み込み層に、入力データ項目を提供する手段と、
・  前記畳み込み層群における前記入力データ項目を処理する手段と、
・  前記畳み込み層群の最後の畳み込み層から出力された特徴マップにおいて、第１の特徴マップパッチおよび第２の特徴マップパッチを定義する手段と、
・  前記第１の特徴マップパッチを第１の分類器に提供し、前記第２の特徴マップパッチを第２の分類器に提供する手段と、
を含む装置。
【請求項２８】
一連のコンピュータ可読命令が記憶される非一時的コンピュータ可読媒体であって、当該命令は少なくとも１つのプロセッサによって実行されると、装置に少なくとも、
・  畳み込み層群を含む人工ニューラルネットワークの第１の畳み込み層に、入力データ項目を提供することと、
・  前記畳み込み層群における前記入力データ項目を処理することと、
・  前記畳み込み層群の最後の畳み込み層から出力された特徴マップにおいて、第１の特徴マップパッチおよび第２の特徴マップパッチを定義することと、
・  前記第１の特徴マップパッチを第１の分類器に提供し、前記第２の特徴マップパッチを第２の分類器に提供することと、
を実行させる、非一時的コンピュータ可読媒体。
【請求項２９】
請求項１４から２６の少なくとも１つに記載の方法を実施させるように構成されたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演算ネットワークを用いたオブジェクトの検出に関する。
【発明の背景】
【０００２】
機械学習では、データを基にした学習が可能なアルゴリズムの設計を検証する。機械学習アルゴリズムを入力に適用してモデルを構築してもよく、新たなデータに対する予測に使用できる。機械学習は、統計、人工知能、最適化に関連し、明確な規則に基づくアルゴリズムを構築できないようなタスクに利用される。そのようなタスクの例としては、画像認識、文字認識、電子メール用スパムフィルタリングが挙げられる。
【０００３】
人工ニューラルネットワークは、機械学習が可能な演算ツールである。人工ニューラルネットワーク（以下、ニューラルネットワークとも称される）では、「ニューロン」と呼ばれる相互接続された演算部が、トレーニングデータに適応でき、その後協働してモデルにおける予測を行う。これは、生物学的ニューラルネットワークにおける処理にある程度似通っている場合がある。
【０００４】
ニューラルネットワークは、いくつかの層を有してもよい。このうち、第１の層は入力を受け付けるように構成された入力層である。この入力層は、隠れ層とも称される第２の層のニューロンに接続されたニューロンを有する。隠れ層のニューロンは、別の隠れ層または出力層に接続されていてもよい。
【０００５】
ニューラルネットワークによっては、ある層の各ニューロンが後続の層の各ニューロンに接続されるものもある。そのようなニューラルネットワークは、全結合ネットワークと呼ばれる。トレーニングデータは、各接続について当該接続の強度を特徴付ける重みを推定可能とするために使用される。全結合層および全結合ではない層を有するニューラルネットワークも存在する。畳み込みニューラルネットワークにおける全結合層は、密結合層とも称される。
【０００６】
ニューラルネットワークによっては、信号が入力層から出力層へと一方向にのみ伝搬するものもある。この場合、入力層に戻るように伝搬するための接続は存在しない。このようなニューラルネットワークは、フィードフォワードニューラルネットワークと呼ばれる。入力層に戻るように伝搬するための接続が存在するようなニューラルネットワークは、リカレント（再帰型）ニューラルネットワークと呼ばれる。
【０００７】
畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）は、フィードフォワードニューラルネットワークであり、全結合層ではない層を有する。ＣＮＮでは、畳み込み層のニューロンは前段の層のサブセットまたは近傍のニューロンに接続される。これにより、少なくともいくつかのＣＮＮでは、入力の空間特徴が保たれる。ＣＮＮは、畳み込み層および全結合層の両方を有してもよい。
【発明の概要】
【０００８】
本発明は、独立クレームの特徴によって定められている。いくつかの特定の実施形態は、従属クレームに定められている。
【０００９】
本発明の第１の態様では装置が提供され、前記装置は、少なくとも１つのプロセッサコアと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備え、前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサコアに実行されると、前記装置に少なくとも、畳み込み層群を含む人工ニューラルネットワークの第１の畳み込み層に、入力データ項目を提供することと、前記畳み込み層群における前記入力データ項目を処理することと、前記畳み込み層群の最後の畳み込み層から出力された特徴マップにおいて、第１の特徴マップパッチおよび第２の特徴マップパッチを定義することと、前記第１の特徴マップパッチを第１の分類器に提供し、前記第２の特徴マップパッチを第２の分類器に提供することと、を遂行させるように構成される。
【００１０】
第１の態様の様々な実施形態は、以下に挙げる少なくとも１つの特徴を備えてもよい。
・  前記入力データ項目は画像を含む。
・  前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサコアに実行されると、前記装置に、オリジナル画像が拡縮された一連のものを組み合わせることによって前記画像を得ることを遂行させるように構成される。
・  前記第１の分類器は、前記人工ニューラルネットワークの第１の全結合層を含む。
・  前記第２の分類器は、前記人工ニューラルネットワークの第２の全結合層を含む。
・  前記畳み込み層群は、４つの畳み込み層を含む。
・  前記装置は、次の層の処理の前に前の畳み込み層からの出力を正規化することによって、前記畳み込み層群における前記入力データ項目を処理するように構成される。
・  前記装置は、次の層の処理の前に前の畳み込み層からの出力をサブサンプリングすることによって、前記畳み込み層群における前記入力データ項目を処理するように構成される。
・  前記装置は、第３の畳み込み層の後に局地コントラスト正規化を実行することによって、前記畳み込み層群における前記入力データ項目を処理するように構成される。
・  前記人工ニューラルネットワークは、人の画像を検出するように構成される。
・  前記畳み込みニューラルネットワークは、歩行者の画像を検出するように構成される。
・  前記第１の特徴マップパッチと前記第２の特徴マップパッチとは、少なくとも部分的に重複している。
・  前記第１の特徴マップパッチは、前記第２の特徴マップパッチに含まれている。
【００１１】
本発明の第２の態様では方法が提供され、前記方法は、畳み込み層群を含む人工ニューラルネットワークの第１の畳み込み層に、入力データ項目を提供することと、前記畳み込み層群における前記入力データ項目を処理することと、前記畳み込み層群の最後の畳み込み層から出力された特徴マップにおいて、第１の特徴マップパッチおよび第２の特徴マップパッチを定義することと、前記第１の特徴マップパッチを第１の分類器に提供し、前記第２の特徴マップパッチを第２の分類器に提供することと、を含む。
【００１２】
第２の態様の様々な実施形態は、以下に挙げる少なくとも１つの特徴を備えてもよい。
・  前記入力データ項目は画像を含む。
・  前記方法は、オリジナル画像が拡縮された一連のものを組み合わせることによって前記画像を得ることをさらに含む。
・  前記第１の分類器は、前記人工ニューラルネットワークの第１の全結合層を含む。
・  前記第２の分類器は、前記人工ニューラルネットワークの第２の全結合層を含む。
・  前記畳み込み層群は、４つの畳み込み層を含む。
・  前記畳み込み層群における前記入力データ項目を処理することは、次の層の処理の前に前の畳み込み層からの出力を正規化することを含む。
・  前記畳み込み層群における前記入力データ項目を処理することは、次の層の処理の前に前の畳み込み層からの出力をサブサンプリングすることを含む。
・  前記畳み込み層群における前記入力データ項目を処理することは、第３の畳み込み層の後に局地コントラスト正規化を実行することを含む。
・  前記人工ニューラルネットワークは、人の画像を検出するように構成される。
・  前記畳み込みニューラルネットワークは、歩行者の画像を検出するように構成される。
・  前記第１の特徴マップパッチと前記第２の特徴マップパッチとは、少なくとも部分的に重複している。
・  前記第１の特徴マップパッチは、前記第２の特徴マップパッチに含まれている。
【００１３】
本発明の第３の態様では装置が提供され、前記装置は、畳み込み層群を含む人工ニューラルネットワークの第１の畳み込み層に、入力データ項目を提供する手段と、前記畳み込み層群における前記入力データ項目を処理する手段と、前記畳み込み層群の最後の畳み込み層から出力された特徴マップにおいて、第１の特徴マップパッチおよび第２の特徴マップパッチを定義する手段と、前記第１の特徴マップパッチを第１の分類器に提供し、前記第２の特徴マップパッチを第２の分類器に提供する手段と、を含む。
【００１４】
本発明の第４の態様では非一時的コンピュータ可読媒体が提供され、前記媒体には一連のコンピュータ可読命令が記憶され、当該命令は少なくとも１つのプロセッサによって実行されると、装置に少なくとも、畳み込み層群を含む人工ニューラルネットワークの第１の畳み込み層に、入力データ項目を提供することと、前記畳み込み層群における前記入力データ項目を処理することと、前記畳み込み層群の最後の畳み込み層から出力された特徴マップにおいて、第１の特徴マップパッチおよび第２の特徴マップパッチを定義することと、前記第１の特徴マップパッチを第１の分類器に提供し、前記第２の特徴マップパッチを第２の分類器に提供することと、を実行させる。
【００１５】
本発明の第５の態様では、第２の態様による方法を実施させるように構成されたコンピュータプログラムが提供される。
【産業上の利用可能性】
【００１６】
本発明の少なくともいくつかの実施形態は、機械ベースのパターン認識を向上させる点において産業上の利用ができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の少なくともいくつかの実施形態に対応できる例示のシステムを示す。
【００１８】
【図２Ａ】図２Ａは、本発明の少なくともいくつかの実施形態による例示のＣＮＮを示す。
【図２Ｂ】図２Ｂは、本発明の少なくともいくつかの実施形態による例示のＣＮＮを示す。
【００１９】
【図３】図３は、本発明の少なくともいくつかの実施形態に対応できる例示の装置を示す。
【００２０】
【図４】図４は、本発明の少なくともいくつかの実施形態による例示の人工ニューラルネットワークを示す。
【００２１】
【図５】図５は、本発明の少なくともいくつかの実施形態において、入力画像区域に基づいて特徴マップパッチが生成される様子を示す。
【００２２】
【図６】図６は、本発明の少なくともいくつかの実施形態による方法のフローチャートである。
【実施例の詳細説明】
【００２３】
様々な大きさの物体を認識する際の計算負荷を低減するため、少なくとも２つの縮尺に対して人工ニューラルネットワークにおける一群の畳み込み層が再利用される。これにより、当該少なくとも２つの縮尺に対する物体認識を実行するために、畳み込み処理が一度のみ実行される。得られる特徴マップから少なくとも２つの特徴マップパッチが前記少なくとも２つの縮尺に対応して特定できるように、１つの入力画像に対して畳み込み層の特徴を利用してもよい。この少なくとも２つの特徴マップパッチはそれぞれ対応する分類器に入力できる。この分類器は、それぞれ対応する縮尺で物体認識を実行するように構成される。
【００２４】
図１は、本発明の少なくともいくつかの実施形態に対応できる例示のシステムを示す。図１は、歩行者１２０が歩く道路１０１の画像１１０を示す。ここでは歩行者検出について説明するが、本発明はこれに限定されるものではなく、当業者であれば理解できるように、本発明は視覚的、聴覚的、またはその他の種類のデータについてのパターン認識に幅広く適用可能である。例えば、本発明は該当する実施形態に応じて、自転車乗用者認識、手書き文字認識、顔認識、交通標識認識、音声認識、言語認識、手話認識、および／またはスパムメール認識に対して有効に適用である。
【００２５】
図１において、道路１０１はカメラ１３０により撮影される。カメラ１３０は、道路の少なくとも一部を含む画像１１０を撮影するように構成される。カメラ１３０は、内蔵される電荷結合素子（Charge-Coupled Device：ＣＣＤ）等の撮像装置から得られた画像データに対して前処理を実行するように構成されてもよい。前処理の例としては、撮像画像内のダイナミックレンジを広げるためのモノクロ変換、コントラスト調整、および輝度調整を含む。いくつかの実施形態では、画像データはさらに、画像認識アルゴリズム供給に適したビット深度となるよう縮小される。前処理は、例えば画像認識アルゴリズムへ供給される領域１２５のような関心領域を選択することを含んでもよい。ただし、ＣＮＮは、これに通常入力データが供給される前に過度に前処理される必要がないという利点を持つため、前処理は実質的に不要または限定的であってもよい。例えば、カメラ１３０は自動運転車両に設けられてもよい。あるいは、カメラ１３０は人間の運転手が運転する車に、歩行者や動物をはねそうになったら警告および／または自動ブレーキを作用させるために設けられてもよい。
【００２６】
カメラ１３０からフェーズ１４０、１５０、１６０、１７０、１８０を有する畳み込みニューラルネットワークにデータが供給される。フェーズ１４０は、カメラ１３０から受信した画像を処理するように構成された第１の畳み込み層を有する。第１の畳み込み層１４０は、カメラ１３０から受信した画像からのデータを処理するように配置された複数のカーネルを有してもよい。カーネルに供給される当該画像の一部を、カーネルの受信野と称してもよい。カーネルはフィルタとも称される。隣接するカーネルの受信野同士は、ある程度重してもよく、例えば、それにより畳み込みニューラルネットワークは画像内で移動するオブジェクトに対応可能となる。いくつかの実施形態では、第１の畳み込み層１４０の各カーネルは同じ重みを利用する。つまり、カーネルのニューロン間で重みが異なっていても、第１の畳み込み層１４０の各カーネルの重み表は同じとなる。これにより独自の重みの数を低減でき、畳み込みニューラルネットワークが画像の様々な部位を同様に処理可能となる。例えば歩行者検出では、歩行者は画像のあらゆる部位に存在しうるため、このことが有効となりうる。独立した重みの数を制御することはさらに、畳み込みニューラルネットワークのトレーニングが容易となるという利点をもたらしうる。
【００２７】
第１の畳み込み層１４０は、複数の特徴マップを生成してもよい。第２の畳み込み層１５０は、第１の畳み込み層１４０からこれらの特徴マップを受信または読み出し可能であってもよい。第２の畳み込み層１５０は、第１の畳み込み層１４０の特徴マップの全てまたはそのサブセットを使用してもよい。ここでのサブセットとは、第１の畳み込み層１４０が生成する特徴マップの少なくとも１つであって、全体を含まない一群を意味する。第２の畳み込み層１５０は、第２の畳み込み層１５０の１または複数のカーネルを使用して、第１の畳み込み層において生成された特徴マップを処理して、第２層特徴マップを生成するように構成されてもよい。第２層特徴マップは、第３の畳み込み層１６０に少なくとも部分的に設けられてもよい。少なくとも１つの第３層特徴マップが出力として生成されるように、第３の畳み込み層１６０は、その１または複数のカーネルを利用して第２層特徴マップを処理するように構成されてもよい。
【００２８】
図１のＣＮＮのフェーズ１７０は、例えば全結合層を含む第１の分類器を含む。図１の例では、第１の分類器の出力は、画像１１０に歩行者が含まれるか否かの判定である。第１の分類器は、例えばソフトマックス（softmax）分類器を含んでもよい。フェーズ１７０は、少なくとも１つの第３層特徴マップの第１サブセクションまたはパッチを入力として受信するように構成される。この第１サブセクションは、フェーズ１７０が物体認識を実行する際の縮尺に対応する。
【００２９】
図１のフェーズ１８０は、第２の分類器を含む。第２の分類器は、例えば全結合層を含んでもよい。図１の例では、第２の分類器の出力は、画像１１０に歩行者が含まれるか否かの判定である。第２の分類器は、例えばソフトマックス分類器を含んでもよい。フェーズ１８０は、少なくとも１つの第３層特徴マップの第２サブセクションまたはパッチを入力として受信するように構成される。この第２サブセクションは、フェーズ１８０が物体認識を実行する際の縮尺に対応する。
【００３０】
通常、第３の畳み込み層１６０からの特徴マップデータを入力として受信するように構成された分類器は３つ以上存在しうる。より詳細には、各分類器は、物体認識を実行する際の縮尺に対応する特徴マップパッチを入力として受信するように構成されてもよい。特徴マップパッチは少なくとも部分的に重複してもよい。少なくとも１つの特徴マップパッチは、別の特徴マップパッチに含まれてもよい。第３の畳み込み層１６０が複数の特徴マップを出力する場合、特徴マップパッチは、この最後の畳み込み層から出力される各特徴マップのパッチを含んでもよい。すなわち、特徴マップ群が出力される場合、特徴マップパッチは特徴マップパッチ群を含んでもよい。
【００３１】
図１には３つの畳み込み層が示されているが、これはあくまで例示であり、畳み込み層の数は異なってもよい。例えば、３つではなく４つ、５つ、６つ、あるいはその他の数であってもよい。畳み込み層の数がいくつの場合でも、分類器に入力される特徴マップパッチは最後の畳み込み層から得られるものであってもよい。複数の縮尺に対して畳み込み処理を一度のみ実行することに利点がある。これにより、各縮尺に対して個別に畳み込み処理が実行される場合と比較して、コンピュータ処理時間および／またはプロセッササイクルが短縮できるためである。
【００３２】
例えば、図１のカメラ１３０およびＣＮＮは、携帯電話、スマートフォン、その他の同様の機器のような携帯機器に設けられてもよい。この携帯機器を車に設置して、前方に歩行者がいる可能性がある場合に車の運転手に警告を発することを可能としてもよい。
【００３３】
いくつかの実施形態では、カメラ１３０およびＣＮＮは同じ装置に設けられていない。例えば、カメラ１３０は、車や携帯機器に設けられ、撮影した映像を少なくとも部分的におよび／または処理しておよび／または圧縮して、バックエンドサーバ装置または車内のコンピュータで動作するＣＮＮに供給するように構成されてもよい。例えば、サーバが車または携帯機器に対して戻される判定の指示を供給してもよい。
【００３４】
いくつかの実施形態では、例えば第１の畳み込み層１４０および第２の畳み込み層１６０のようなＣＮＮ層がそれぞれ異なる装置に設けられる。例えば、第１の装置がカメラ１３０および第１の畳み込み層１４０を有し、第２の装置が第２の畳み込み層１５０を動作するように構成されてもよい。原則として第３の装置が第３の畳み込み層１６０を動作しうる。第１の装置、第２の装置、および／または第３の装置は携帯機器であってもよく、あるいはそのうちの少なくとも１つが、例えばバックエンドサーバであってもよい。第１、第２、第３の装置の少なくとも２つが携帯機器である場合、例えばＮＦＣまたはＢｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信インターフェースにより互いに通信するように構成されてもよい。
【００３５】
図２Ａは、本発明の少なくともいくつかの実施形態による例示のＣＮＮを示す。このＣＮＮは、図２Ａで層１、層２、層３、層４、出力と示された５つの層を有する。層１〜４は畳み込み層であり、出力層は全結合層である。図２Ａのネットワークの入力ウィンドウの寸法は１２８×６４である。出力層における分類器は、１４×６の寸法を有する特徴マップパッチを受信するように構成されている。
【００３６】
図２Ｂは、本発明の少なくとも一部の実施形態における例示のＣＮＮを示す。このＣＮＮは、図２Ｂで層１、層２、層３、層４、出力と示された５つの層を有する。層１〜４は畳み込み層であり、出力層は全結合層である。図２Ｂのネットワークの入力ウィンドウの寸法は１５２×７６である。層１〜４は図２Ａにおけるネットワークのものと同じである。出力層における分類器は、１７×７の寸法を有する特徴マップパッチを受信するように構成されている。
【００３７】
上述のように図２Ａと図２Ｂの各ＣＮＮは、入力ウィンドウの寸法と、分類器に設けられる特徴マップパッチの寸法と、分類器の構造とが互いに異なる。本発明の少なくとも一部の実施形態では、層１〜４に対して、それらよりも大きい入力ウィンドウのサイズに合う単一の画像が提供され、その後、最後の畳み込み層からの出力により特徴マップパッチが決定され、図２Ａおよび２Ｂの分類器にそれぞれ提供される。このようにして、一度の畳み込み処理で、特徴マップパッチの入力が両方の分類器に提供できる。
【００３８】
図示の例では、最初の３つの畳み込み層の後に、局地コントラスト正規化動作が実行される。さらに当該局地正規化動作に続いて、サブサンプリング動作が実行される。通常、入力画像は、オリジナル画像が拡縮された一連のものを含みうる。これにより、様々な大きさの物体が検出しやすくなる。例えば、オリジナル画像が拡縮された一連のものが、入力画像において少なくとも部分的に重複していてもよい。
【００３９】
図２Ａおよび図２Ｂの例では、層１である第１の畳み込み層は、１画素のストライドで、７×７×３サイズの３２個のカーネルにより１２８×６８×３の入力画像をフィルタリングする。第１の畳み込み層の出力は第２の畳み込み層に入力され、例えば正規化、サブサンプリングされてもよい。層２である第２の畳み込み層は、入力されたものを５×５×３２サイズの６４個のカーネルによりフィルタリングする。層３である第３の畳み込み層は、第２の畳み込み層の、例えば正規化およびサブサンプリングされていてもよい出力に接続される３×３×１２８サイズの１２８個のカーネルを有する。層４である第４の畳み込み層は、３×３×１２８サイズのカーネルを有する。
【００４０】
図３は、例えばＣＮＮを動作させることで、本発明の少なくともいくつかの実施形態に対応できる例示の装置を示す。図示の装置３００は、例えばコンピュータまたは演算装置であってもよい。装置３００は、例えばシングルコアまたはマルチコアプロセッサであってもよいプロセッサ３１０を有する。シングルコアプロセッサは、単一のプロセッサコアを有し、マルチコアプロセッサは２つ以上のプロセッサコアを有するものである。プロセッサ３１０は、例えばクアルコム社製、スナップドラゴン８００プロセッサであってもよい。プロセッサ３１０は、２つ以上のプロセッサであってもよい。プロセッサコアは、例えばＡＲＭホールディングス製のＣｏｒｔｅｘ−Ａ８プロセッサコアまたは、アドバンスト・マイクロ・デバイセズ製Ｂｒｉｓｂａｎｅプロセッサコアであってもよい。プロセッサ３１０は、クアルコム社製、スナップドラゴンおよび／またはインテル社製、Ｃｏｒｅプロセッサの少なくとも１つであってもよい。プロセッサ３１０は、少なくとも１つの特定用途向け集積回路（Application-Specific Integrated Circuit：ＡＳＩＣ）を含んでもよい。プロセッサ３１０は、少なくとも１つのフィールドプログラマブルゲートアレイ（Field-Programmable Gate Array：ＦＰＧＡ）を含んでもよい。プロセッサ３１０は、装置３００における方法ステップを実現する手段であってもよい。プロセッサ３１０は、少なくとも一部がコンピュータ命令により動作を実行するように構成されてもよい。
【００４１】
装置３００は、メモリ３２０を有してもよい。メモリ３２０は、ランダムアクセスメモリおよび／または固定メモリを含んでもよい。メモリ３２０は、少なくとも１つのＲＡＭチップを含んでもよい。例えばメモリ３２０は、磁気、光学、および／またはホログラフィックメモリを含んでもよい。メモリ３２０の少なくとも一部は、プロセッサ３１０にアクセス可能であってもよい。メモリ３２０は、情報を記憶する手段であってもよい。メモリ３２０は、プロセッサ３１０が実行するように構成されたコンピュータ命令を含んでもよい。プロセッサ３１０に所定の動作を実行させるように構成されたコンピュータ命令がメモリ３２０に記憶され、装置３００全体がメモリ３２０からのコンピュータ命令を使用したプロセッサ３１０の指令に基づいて動作するように構成されている場合、プロセッサ３１０および／またはその少なくとも１つのプロセッサコアが当該所定の動作を実行するように構成されているとみなすことができる。メモリ３２０は、少なくとも部分的にプロセッサ３１０内に構成されてもよい。
【００４２】
装置３００は、送信部３３０を有してもよい。装置３００は、受信部３４０を有してもよい。送信部３３０および受信部３４０は、少なくとも１つのセルラーまたはノンセルラー通信規格に従って互いに情報を送受信するように構成されてもよい。送信部３３０は、２つ以上の送信部であってもよい。受信部３４０は、２つ以上の受信部であってもよい。例えば、送信部３３０および／または受信部３４０は、ＷＬＡＮ、イーサネット（登録商標）、ＷＣＤＭＡ（登録商標）、および／またはＷｉＭＡＸ（登録商標）の規格に従って動作するように構成されてもよい。
【００４３】
装置３００は、ユーザインターフェース（ＵＩ）３６０を有してもよい。ＵＩ３６０は、ディスプレイ、キーボード、タッチスクリーンの少なくとも１つであってもよい。例えば、ユーザは人工ニューラルネットワークを構成するように、またはドライブの目的地をプログラムするように、ＵＩ３６０を介して装置３００を操作可能であってもよい。
【００４４】
プロセッサ３１０には、プロセッサ３１０から情報を、装置３００内に設けられた別装置に、装置３００内の電線を介して出力するように構成された送信部が設けられてもよい。例えば、当該送信部は、メモリ３２０への少なくとも１つの電線を介して、メモリ３２０への記録用に情報を出力するように構成された、シリアルバス送信部であってもよい。当該送信部は、シリアルバスではなく、並列バス送信部であってもよい。同様に、プロセッサ３１０は、装置３００内の別装置から、装置３００内の電線を介して、プロセッサ３１０内に情報を受信するように構成された受信部を有してもよい。例えば、当該受信部は、受信部３４０からの少なくとも１つの電線を介して、プロセッサ３１０内での処理用に情報を受信するように構成されたシリアルバス受信部であってもよい。当該受信部は、シリアルバスではなく、並列バス受信部であってもよい。
【００４５】
装置３００は、図３に図示されていない装置をさらに有してもよい。装置３００は、装置３００のユーザを少なくとも部分的に認証するように構成された指紋センサを有してもよい。いくつかの実施形態では、装置３００は上述の装置のうち、少なくとも１つを含まない。
【００４６】
プロセッサ３１０、メモリ３２０、送信部３３０、受信部３４０、および／またはＵＩ３６０は、様々な形式で、装置３００内の電線により相互接続されていてもよい。例えば、上述の装置はそれぞれ、独立して装置３００内のマスターバスに接続されて、情報のやり取りが可能であってもよい。ただし、当業者に理解されるように、これは単に一例であって、実施形態によっては、本発明の範囲から逸脱することなく、上述の装置の少なくとも２つを様々な方法で内部接続してもよい。
【００４７】
図４は、本発明の少なくともいくつかの実施形態による例示の人工ニューラルネットワークを示す。図の左側には、入力ウィンドウを示す。この入力ウィンドウは、入力１に対して寸法１２８×６４、入力２に対して寸法１５２×７６、概して入力ｎに対して寸法ｈｎ×ｗｎである。図の中心部分には、概略的にＣ１−Ｃ２−Ｃ３−Ｃ４と示した畳み込みニューラルネットワーク層群を示す。図の右側には、全結合層であり、分類器として機能する出力層を示す。出力１と記載された分類器は、１４×６のサイズの特徴マップパッチを入力として受信するように構成されている。これは、具体的にはこの分類器が最後の畳み込み層から出力された１２８の特徴マップそれぞれから１４×６のサイズのパッチを受信することを意味する。出力２と記載された分類器は、１７×７のサイズの特徴マップパッチを入力として受信するように構成されている。これは、具体的にはこの分類器が最後の畳み込み層から出力された１２８の特徴マップそれぞれから１７×７のサイズのパッチを受信することを意味する。出力ｎと記載された分類器は、ｈｎ'×ｗｎ'のサイズの特徴マップパッチを入力として受信するように構成されている。これは、具体的にはこの分類器が最後の畳み込み層から出力された１２８の特徴マップそれぞれからｈｎ'×ｗｎ'のサイズのパッチを受信することを意味する。それぞれの分類器は、例えばソフトマックス分類器を含んでもよい。
【００４８】
図４の例では、分類器出力１は、対応する寸法１２８×６４の入力ウィンドウから得られた、寸法１４×６の特徴マップパッチに対して動作するように構成されている。これにより、出力１は対応する縮尺で物体認識を実行するように構成されている。同様に、出力２から出力ｎは、それぞれ対応する特定の縮尺で動作し、対応するサイズの入力ウィンドウから得られた特徴マップパッチを受信するように構成される。畳み込み処理は一度実行するのみでよく、省計算資源が実現できる。入力ウィンドウは、入力画像において少なくとも部分的に重複する入力画像区域であってもよい。特徴マップパッチは、最後の畳み込み層から出力される特徴マップにおいて少なくとも部分的に重複してもよい。
【００４９】
図５は、本発明の少なくとも一部の実施形態において、入力画像区域に基づいて特徴マップパッチが生成される様子を示す。左側に入力画像５１０を示し、右側に入力画像５１０から畳み込み層群Ｃを介して得られる特徴マップ５２０を示す。
【００５０】
具体的には、寸法１２８×６４の入力ウィンドウ、または入力画像区域を畳み込み層群Ｃに通すことで、寸法１４×６の特徴マップパッチが得られる。同様に、寸法１５２×７６の入力画像区域を畳み込み層群Ｃに通すことで、寸法１７×７の特徴マップパッチが得られる。寸法１８４×９６の入力画像区域を畳み込み層群Ｃに通すことで、寸法２１×９の特徴マップパッチが得られ、寸法２２０×１１０の入力画像区域を畳み込み層群Ｃに通すことで、寸法２５×１１の特徴マップパッチが得られる。全ての特徴マップパッチは、入力画像を一度畳み込み層群Ｃに通すことで得られる。各特徴マップパッチは、物体認識用の分類器が動作するように構成された縮尺で当該分類器に提供されてもよい。これにより、畳み込み層群Ｃに対する一度の通過で、マルチスケールでの物体認識が実現できる。
【００５１】
畳み込みニューラルネットワーク型歩行者検出器を４つ含む群を利用して、性能比較評価を実行して、以下の結果が得られた。性能評価は、トレーニング用にはＩＮＲＩＡ歩行者データセットを使用して、試験用にはＩＮＲＩＡ歩行者データセットと、米国カリフォルニア工科大学製歩行者データセットの両方を使用して行われた。畳み込みニューラルネットワーク共用（Convolutional Neural Network with Sharing Features）という特徴を有する本発明の方法をＣＮＮ−ＳＦと称する。比較対象の方法として、一般的なパッチレベルの物体認識によるＣＮＮであるＣＮＮパッチと、従来の方法を利用した画像レベルのスキャンニングであるＣＮＮ画像とを利用した。パッチレベルのスキャニングにおいて、ウィンドウ単位の特徴が、入力画像から生成された各ウィンドウ候補から直接抽出される。これに対して、画像レベルのスキャニングは、ウィンドウ単位の特徴が、入力画像全体に対して事前に計算された特徴マップから抽出されるという点で異なる。表１において、ＭＲは画像毎の擬陽性の誤り指数（Miss Rate）を％で示す。表１では、ＣＮＮ−ＳＦ方法により、ＣＮＮパッチとＣＮＮ画像の両方に対して精度が遜色ないことが示されている。
2018527660.tif 000003
2018527660.tif 000004
【００５２】
表２は、ＣＮＮパッチおよびＣＮＮ画像技術の両方に対して、ＣＮＮ−ＳＦを利用した場合の物体認識処理の大幅な速度向上を示している。例えば、ＣＮＮ画像に対しては、２倍の速度向上が実現されている。
【００５３】
図６は、本発明の少なくともいくつかの実施形態による方法のフローチャートを示す。図示の方法におけるフェーズは、例えば図３に示す装置３００のような装置で実行できる。
【００５４】
フェーズ６１０は、畳み込み層群を含む人工ニューラルネットワークの第１の畳み込み層に、入力データ項目を提供することを含む。フェーズ６２０は、前記畳み込み層群における前記入力データ項目を処理することを含む。フェーズ６３０は、前記畳み込み層群の最後の畳み込み層から出力された特徴マップにおいて、第１の特徴マップパッチおよび第２の特徴マップパッチを定義することを含む。最後に、フェーズ６４０は、前記第１の特徴マップパッチを第１の分類器に提供し、前記第２の特徴マップパッチを第２の分類器に提供することを含む。
【００５５】
開示された本発明の実施形態は、本明細書に開示された特定の構造、プロセスステップ、または材料に限定されるものではなく、当該技術分野の当業者によって認識されうる均等物にまで拡張されることは理解されるであろう。また、本明細書に使用されている用語は、特定の実施形態を記載する目的のみに用いられているものであり、限定する意図はないことも理解されるであろう。
【００５６】
本明細書の全体を通じて、「１つの実施形態」または「ある実施形態」との言及は、当該実施形態に関連して記載されている特定の特徴、構造、または特徴が本発明の少なくとも１つの実施形態に含まれていることを示している。したがって、本明細書の各所に述べられた「１つの実施形態では」または「ある実施形態では」という表現が、全て同一の実施形態に言及しているとは限らない。
【００５７】
本明細書で使用されている複数の品目、構造的要素、組成要素、および／または材料は、便宜上、共通のリストとして提示されていてもよい。しかし、これらのリストは、それぞれの部材が別個で特異な部材であると個別に識別されるものであると解されるべきである。したがって、別途反対の記載がない限り、共通の群として示されているということのみを理由に、これらのリストの個別の部材が、同じリストの任意の他の部材の事実上の均等物であると解されるべきではない。さらに、本発明の各種実施形態および例は、本明細書においてその様々な構成要素に対する代替物と併せて言及されていてもよい。このような実施形態、例、および代替物は、互いの事実上の均等物であると解されるものではなく、本発明の別個の自律的な描写であると考えられることが理解されるであろう。
【００５８】
さらに、記載された特徴、構造、または特徴は、１または複数の実施形態において任意の方法で組み合わされてもよい。以下の説明では、長さ、幅、形状等の例といった数々の特定の詳細を挙げて本発明の実施形態の完全な理解を促している。しかし、当該技術分野の当業者は、本発明が１または複数の特定の詳細を除いても、または他の方法、構成要素、材料等によっても実施しうることを認識するであろう。その他の例として、公知の構造、材料、または動作は、本発明の態様が不明瞭となるのを避けるため、詳細に図示または記載されていない。
【００５９】
上述の例は、１または複数の適用例における本発明の原則を例示するものであり、発明の才能を発揮することなく、また、本発明の原則および概念から逸脱することなく、形式、使用、および実施の詳細において様々な変更をなしうることは当業者には明らかであろう。したがって、以下に定められている請求項を除いては、本発明の限定を意図するものではない。
【図１】
2018527660.tif 000005
【図２Ａ】
2018527660.tif 000006
【図２Ｂ】
2018527660.tif 000007
【図３】
2018527660.tif 000008
【図４】
2018527660.tif 000009
【図５】
2018527660.tif 000010
【図６】
2018527660.tif 000011
【手続補正書】
【提出日】平成30年2月16日(2018.2.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
・  畳み込み層群を含む人工ニューラルネットワークの第１の畳み込み層に、入力データ項目を提供することと、
・  前記畳み込み層群における前記入力データ項目を処理することと、
・  前記畳み込み層群の最後の畳み込み層から出力された特徴マップにおいて、第１の特徴マップパッチおよび第２の特徴マップパッチを定義することと、
・  前記第１の特徴マップパッチを第１の分類器に提供し、前記第２の特徴マップパッチを第２の分類器に提供することと、
を含む方法。
【請求項２】
前記入力データ項目は画像を含む、請求項１に記載の方法。
【請求項３】
オリジナル画像が拡縮された一連のものを組み合わせることによって前記画像を得ることをさらに含む、請求項２に記載の方法。
【請求項４】
前記第１の分類器は、前記人工ニューラルネットワークの第１の全結合層を含む、請求項１から３のいずれかに記載の方法。
【請求項５】
前記第２の分類器は、前記人工ニューラルネットワークの第２の全結合層を含む、請求項１から４のいずれかに記載の方法。
【請求項６】
前記畳み込み層群は、４つの畳み込み層を含む、請求項１から５のいずれかに記載の方法。
【請求項７】
前記畳み込み層群における前記入力データ項目を処理することは、次の層の処理の前に前の畳み込み層からの出力を正規化することを含む、請求項１から６のいずれかに記載の方法。
【請求項８】
前記畳み込み層群における前記入力データ項目を処理することは、次の層の処理の前に前の畳み込み層からの出力をサブサンプリングすることを含む、請求項１から６のいずれかに記載の方法。
【請求項９】
前記畳み込み層群における前記入力データ項目を処理することは、第３の畳み込み層の後に局地コントラスト正規化を実行することを含む、請求項１から８のいずれかに記載の方法。
【請求項１０】
前記人工ニューラルネットワークは、人の画像を検出するように構成される、請求項１から９のいずれかに記載の方法。
【請求項１１】
前記畳み込みニューラルネットワークは、歩行者の画像を検出するように構成される、請求項１０に記載の方法。
【請求項１２】
前記第１の特徴マップパッチと前記第２の特徴マップパッチとは、少なくとも部分的に重複している、請求項１から１１のいずれかに記載の方法。
【請求項１３】
前記第１の特徴マップパッチは、前記第２の特徴マップパッチに含まれている、請求項１２に記載の方法。
【請求項１４】
・  畳み込み層群を含む人工ニューラルネットワークの第１の畳み込み層に、入力データ項目を提供する手段と、
・  前記畳み込み層群における前記入力データ項目を処理する手段と、
・  前記畳み込み層群の最後の畳み込み層から出力された特徴マップにおいて、第１の特徴マップパッチおよび第２の特徴マップパッチを定義する手段と、
・  前記第１の特徴マップパッチを第１の分類器に提供し、前記第２の特徴マップパッチを第２の分類器に提供する手段と、
を含む装置。
【請求項１５】
処理手段及び記憶手段を備える装置であって、前記記憶手段はプログラム命令を格納し、前記プログラム命令は、前記処理手段に実行されると、前記装置に、請求項１から１３のいずれかに記載の方法を遂行させるように構成される、装置。
【請求項１６】
装置の処理手段に実行されると、前記装置に、請求項１から１３のいずれかに記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。
【国際調査報告】
2018527660.tif 000012
2018527660.tif 000013