(57)【特許請求の範囲】
【請求項１】
畳み込みネットワークの挙動のシミュレーションするため、コンピュータによって実行される方法であって、
前記畳み込みネットワークは１組の層（１，２，３）で定義され、各層がニューロン(４)の二次元格子によって構成されており、最後の層(３)を除いた各層(１,２,３)がそれぞれ後続のターゲット層(８)についてソース層(７)を表し、前記ソース層のそれぞれの部分ソース領域と呼ばれる複数のニューロン(４)が同一の結合重み行列タイプを共有しており、
符号化フィルタ(１０)および復号化フィルタ(１１)におけるそれぞれの結合重み行列タイプを分解するステップを含み、該それぞれの結合重み行列タイプは符号化フィルタ(１０)および復号化フィルタ(１１)のスカラー積で表わされ、
前記ソース層(７)の活動および前記符号化フィルタ(１０)に基づいて再構成ソースイメージを計算するステップと、
前記再構成ソースイメージ(９)と前記復号化フィルタ(１１)の畳み込みで、前記ターゲット層(８)の第１入力を出力するステップと、
を含む前記方法。
【請求項２】
前記符号化フィルタ(１０)と前記復号化フィルタ(１１)が予め設定されている、請求項１に記載の方法。
【請求項３】
畳み込みネットワーク(１２)の内部状態を同定するステップをさらに含み、前記内部状態は前記再構成ソースイメージ(９)によって同定され、該再構成ソースイメージ(９)は前記符号化フィルタ(１０)およびこれに対応するソース層(７)の活動に基づいて計算される、請求項２に記載の方法。
【請求項４】
畳み込みネットワークの挙動のシミュレーションするため、コンピュータによって実行される方法であって、
各層がニューロン(４)の二次元格子によって構成され、最後の層(３)を除いた各層(１,２,３)がそれぞれ後続のターゲット層(８)についてソース層(７)を表し、部分ソース領域と呼ばれるソース層(７)の複数のニューロン(４)が同一の結合重み行列を共有する、一組の層(１,２,３)で定義されており、
符号化フィルタ(１０)と復号化フィルタ(１１)のスカラー積によって各結合重み行列を表すステップ(Ｓ３)と、
各ソース層(７)について、対応する符号化フィルタ(１０)と対応する部分ソース領域の活動に基づいて、再構成ソースイメージ(９)を計算するステップ(Ｓ５)と、
各結合重み行列および各ターゲット層について、前記再構成ソースイメージ(９)と前記復号化フィルタの畳み込みで前記ターゲット層(８)の入力を計算するステップ(Ｓ６)と、
各ターゲット層(８)について、前記ターゲット層(８)のニューロン(４)の応答関数と前記ターゲット層(８)の計算された入力を使用して、前記ソース層(７)の活動に応答して前記ターゲット層(８)の活動を計算するステップと、
を含む、前記方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は畳み込みネットワーク（convolutional network）挙動のシミュレーション方法に関し、ネットワークの内部状態の視覚化に関し、また、パターン認識等の方法を実施するコンピュータ・ソフトウェア・プログラムに関する。
【０００２】
【従来の技術】
生物学上現実的なコネクショニスト・ネットワークを取扱うときは、通常、複数の問題に遭遇する。第１に、結合が統計学的に学習されない場合、結合を高次元ニューロン特徴空間における２つの点を結ぶものとして、機能的に定義しなければならないが、これはほとんど不可能な作業である。第２に、高次元であるために、シミュレーションの間に、ネットワークの内部状態を解釈して視覚化することは困難である。さらに、このようなネットワークの（メモリ及び性能の）シミュレーションは、主に結合の数によって決定される。
【０００３】
本発明は、畳み込みネットワーク、すなわち、部分領域（sub-area）を有する層を持つネットワークを特に対象とする。このようなネットワークでは、ネットワークの層の部分領域のニューロンは、共通の結合重み行列を共有する。畳み込みネットワークが遭遇する主な問題は、共有結合を使用しているダイナミクスの大規模な計算、結合パターンの非直観的な設計、及びその結果の処理の困難さである。局所的なダイナミック正規化手順は、計算のオーバーヘッドをさらに増加させる。最後に、ネットワーク状態（すなわち、その活性度）の視覚化は、多次元空間で発生する。
【０００４】
【発明が解決しようとする課題】
畳み込みネットワークが遭遇する上述の問題に鑑みて、本発明は、シミュレーションのコストを削減し、直観的な視覚化可能性を含めたネットワークの活性度を理解するためのより良い手段を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明の第１の態様によると、畳み込みネットワーク挙動のシミュレーション方法が提案される。畳み込みネットワークは、それぞれニューロンの二次元格子から構成される一組の層によって定義される。ネットワークの最後の層以外の各層は、それぞれ後続のターゲット層（target layer）のためのソース層（source layer）を表す。部分ソース領域と呼ばれるソース層の複数のニューロンは、同一の結合重み行列（畳み込みネットワークの重み共有技法）を共有する。結合重み行列は、符号化フィルタと復号化フィルタとのスカラー積によって表すことができ、これによって、ソース層（ソース層の活性度）からそれぞれのターゲット層への駆動信号の通信を、符号化フィルタステップと復号化フィルタステップに分解することができる。
【０００６】
符号化フィルタステップは、符号化フィルタとソース層の活性度に基づいて、再構成ソースイメージ（source reconstruction image）を算出するステップを含むことができる。復号化フィルタステップは、再構成ソースイメージと復号化フィルタの畳込み演算によってターゲット層への入力を算出するステップを含むことができる
再構成ソースイメージは、各部分ソース領域と対応する符号化フィルタのスカラー積を求め、全ての部分ソース領域のスカラー積の結果を結合することによって算出することができる。
【０００７】
符号化フィルタ及び／又は復号化フィルタは、予め設定することも、あるいは学習過程によって生成することもできる。
【０００８】
有利なことに、符号化フィルタステップ及び／又は復号化フィルタステップは、高速フーリエ変換（ＦＦＴ）によって実行することができる。
【０００９】
符号化フィルタ及び復号化フィルタは、それぞれ、対応する結合重み行列が並進不変性を示す軸に沿って、伸張することができる。
【００１０】
本発明のさらなる態様は、上述の方法を用いてネットワークの内部状態を視覚化する方法に関する。ネットワークの内部状態は、ソース層と後続するターゲット層間の各結合についての再構成ソースイメージによって視覚化される。各再構成イメージは、符号化フィルタ及び対応するソース層の活性度に基づいて算出される。
【００１１】
各再構成ソースイメージは、ソース層の各部分ソース領域と対応する符号化フィルタとのスカラー積をとった後に、全ての部分領域について、得られたスカラー積を結合することによって、算出される。
【００１２】
本発明のさらなる態様によると、畳み込みネットワーク挙動のシミュレーションのための別の方法が提案される。畳み込みネットワークは、一組の層によって定義される。各層は、ニューロンの二次元格子から構成される。最後の層を除いた各層は、それぞれに後続するターゲット層のついてのソース層を表す。部分ソース領域と呼ばれるソース層の複数のニューロンは、それぞれ同一の結合重み行列を共有する。本発明によれば、各結合重み行列は、符号化フィルタと復号化フィルタのとスカラー積によって表される。各ソース層について、対応する符号化フィルタと対応する部分ソース領域の活性度に基づいて、再構成ソースイメージが算出される。各結合重み行列、各部分ターゲット領域、及び各ターゲット層について、ターゲット層の入力は、先行するソース層の再構成ソースイメージと復号化フィルタの畳み込みとして算出される。最後に、各ターゲット層について、ターゲット層のニューロンの応答関数及びターゲット層の計算された入力を使用して、ターゲット層の活性度が算出される。
【００１３】
各再構成ソースイメージは、ソース層の各部分ソース領域と対応する符号化フィルタとのスカラー積をとった後に、全ての部分領域について、得られたスカラー積を結合することによって、算出される。
【００１４】
本発明のさらに別の態様によると、データ処理デバイス上で実行されるときに上記方法を実現するコンピュータ・ソフトウェア・プログラムが提案される。
【００１５】
最後に、パターン認識方法の使用（ロボット等）が提案される。
【００１６】
【発明の実施の形態】
本発明の第１の理論上の背景を、図１〜図３を参照して説明する。
【００１７】
複数の層１，２，３から構成される大抵のニューラルネットワーク１２で共通であるのは、ニューロン４の活性度Ａi(ｔ)の評価のある部分において、すべてのソース（source）ニューロンｊからターゲット（target）ニューロンｉ（図１参照）へ到来する信号の寄与度Ａj(ｔ)は、重み行列Ｊi;jを使用して線形に加算され、単一のスカラーｈi(ｔ)になる。
【００１８】
【数１】
0004132892.tif 000002
【００１９】
ニューロンのインデックスｉ、ｊは、全てのニューロンを一意に番号付ける。例えば、空間の局所部分を用いて入力空間（以下、「特徴空間」とも呼ぶ）を離散的にサンプリングするとき、インデックスは、ニューロンがどの部分に反応しているかを一意に指示することができる。同様に、高次元特徴空間において、ｉ及びｊは、単一のインデックスではなく、それぞれがいくつかのサブインデックスで構成されていると考えることができる。
【００２０】
ニューロンのインデックスは、ソースタイプインデックスｋとターゲットタイプインデックスｌ、及び、タイプ従属のニューロンインデックスｉ、ｊに分けることができる。つまり、所定のタイプmのすべてのニューロンの集合をＴmで表すとすると、ｉ∈Ｔk、ｊ∈Ｔlとなる。対応するソースニューロンタイプ及びターゲットニューロンタイプの組ｋ、ｌによって結合タイプが一意に決定され、従って式(１)の合計を同一タイプの結合グループに分割することができる。
【００２１】
【数２】
0004132892.tif 000003
0004132892.tif 000004
【００２２】
【数３】
0004132892.tif 000005
【００２３】
0004132892.tif 000006
【００２４】
【数４】
0004132892.tif 000007
【００２５】
事実、「畳み込みネットワーク（図１の１２）」又は「重み共有ネットワーク」と呼ぶことができる多数のニューラルネットワークは、この特定の特性を利用する。重みを共有することによって、独立のパラメータの数が削減され、またこのようなネットワークが扱い易くなる。さらに、別個のニューロンｉ、ｊ（但し、タイプｋ、ｌは固定）に対して同一の重み行列を繰り返し用いることは、固定されたタイプのすべてのニューロン（すべて同一の重み行列を有する）について学習が事実上同時に起こることを意味する。
【００２６】
0004132892.tif 000008
【００２７】
0004132892.tif 000009
【００２８】
大量のフィルタに対しての本発明による解決策は、フィルタを分解することである。式(２)から開始する。
【００２９】
【数５】
0004132892.tif 000010
【００３０】
0004132892.tif 000011
【００３１】
一般の結合カーネルは、前述のように並進不変であり、また、インデックスを比較可能とするために、換算関数ｉ→ｊ、ｊ＝Ｌ(ｉ)が２つのインデックスｉ、ｊの間の「インタフェース」として動作すると仮定する。これは、並進不変性の条件に、異なるサイズのｎi、及びｎi＝Ｌ(ｎj)の、ｉ及びｊステップの増加を含めることができることを意味する。従って以下の関係が成り立つ。
【００３２】
【数６】
0004132892.tif 000012
【００３３】
もちろん、Ｌには目的に合った関数が選ばれるべきであり、例えば、インデックスｉ、ｊの自然数を使用する場合、Ｌは同じく自然数を返すべきである。
【００３４】
0004132892.tif 000013
【００３５】
【数７】
0004132892.tif 000014
【００３６】
インデックスｉ及びｊに対して必要な並進不変性を達成するために、線形関数ｊ→ｘ、ｘ＝Ｍ(ｊ) が存在すると仮定すると、以下の式が成り立つ。
【００３７】
【数８】
0004132892.tif 000015
【００３８】
従って、以下の式が成り立つ。
【００３９】
【数９】
0004132892.tif 000016
【００４０】
これは、結合カーネルが、共通の空間ｘにおけるニューロン依存の位置ｘi:＝Ｍ[Ｌ(ｉ)] 及びｘj:＝Ｍ(ｊ)を中心とする２つのフィルタのスカラー積によって与えられる（生成される）ことを意味する。
【００４１】
並進不変性は、以下のようにして検査することができる。
【００４２】
【数１０】
0004132892.tif 000017
【００４３】
0004132892.tif 000018
【００４４】
この考え方の利点は以下に挙げるように明白である。
【００４５】
・ｎ”×ｎ’個のフィルタの代わりにｎ”＋ｎ’個のフィルタを記憶し処理すれば良いので、畳み込みネットワークの組み合わせ問題を回避できる。
【００４６】
・ある結合のタイプによって渡されるソースデータを、再構成イメージＲ(ｘ;ｔ)を用いて視覚化し変換できる。
【００４７】
・フィルタと再構成イメージが同一空間で作用するので、フィルタを分析し、かつフィルタがソースデータにどのように作用するのかを理解することができる。
【００４８】
本発明の考え方は、ソースニューロンの全体グループ（同一タイプ）からターゲットニューロンの全体グループ（同一タイプ）に渡されるメッセージを、それらの間の再構成イメージ（視覚化のために使用できる）とともに、符号化/複合化のプロセスとして理解することができることを意味している。このことを、図３を参照して説明する。
【００４９】
0004132892.tif 000019
【００５０】
0004132892.tif 000020
【００５１】
・ターゲット層８のニューロンｉ（図２の４）の全シナプス入力場（他の結合からの多くの寄与度を含むことができる）が算出（図２の５）された後、局所ニューロンダイナミクスの非線形処理ステップ（図２の６）を適用する。
【００５２】
・ネットワーク内で識別可能なあらゆる可能性のある結合タイプについて、上記３つのステップを繰り返す。
【００５３】
シナプス場の算出は畳み込みを利用するだけなので、フーリエ畳み込み定理を使用して計算を簡単にすることができる。特に、ＦＦＴ手法を使用することができる。並進不変の結合構造の場合とは逆に、フーリエ技法は提案された技法について意味を持つが、それは、ｋ及びｌのあらゆる組み合わせについて畳み込みカーネルがあるからでなく、すべてのｋ及びすべてのｌについてのみ記憶する必要があるからである。これは、領域間のシナプス場の算出について、ｎ”×ｎ’個のフィルタを使用する代わりに、ｎ”＋ｎ’個のみが必要であることを意味する。
【００５４】
標準的な畳み込みネットワークで生じるその他の計算は、以下に示すように、Ｘ空間における畳み込み及び成分の線形結合を用いて記述することができる。再構成イメージは、式8を使用して以下のように記述することができる。
【００５５】
【数１１】
0004132892.tif 000021
但し、ソースニューロンｌの各タイプについて、部分再構成ソースイメージは以下の通りである。
【００５６】
【数１２】
0004132892.tif 000022
また、部分活性度イメージは以下の通りである。
【００５７】
【数１３】
0004132892.tif 000023
【００５８】
0004132892.tif 000024
【００５９】
【数１４】
0004132892.tif 000025
そして、ターゲットユニット位置ｘiでの畳み込みを評価する。
【００６０】
【数１５】
0004132892.tif 000026
【００６１】
本発明の実施例について、図４を参照して説明する。
【００６２】
ステップＳ１で処理を開始した後、ステップＳ２でネットワーク結合構造が定義される。この定義ステップＳ２とともに、結合を分解する符号化/復号化フィルタを見つけなくてはならない。このステップＳ３の後、シミュレーション・ループＳ４が開始する。各結合タイプ及び各ソース領域/部分領域について、初めに、符号化フィルタとソース層の活性度を使用して、再構成ソースイメージが算出される。従って、このステップＳ５において、処理領域（部分領域）のソース層の活性度とともに符号化フィルタが使用され、再構成ソースイメージが得られる。このイメージはターゲット領域へ渡されるが、通信帯域幅の要求は低い。ステップＳ６で、ターゲット層の入力は、単に復号化フィルタを再構成ソースイメージに適用することによって算出される。これらの２つのステップＳ５及びＳ６は、互いに独立に実行することができるので、容易に並列化することができる。加えて、計算は行列要素演算と離散フーリエ変換を含むだけなので、システムのハードウェア実現が容易である。ネットワークのダイナミクスがＣＡＤ実行であるべき時間の間、シミュレーション・ループが繰り返される。ステップＳ７のこの時間の間に、処理がまだ完了しないことが決定され、従って、手続きはステップＳ８でシミュレーション開始ステップＳ４に戻る。そうでない場合は、ステップＳ９で処理が停止される。
【００６３】
再構成ソースイメージは、ソース領域からターゲットが受け取る情報を最も圧縮した形態で含んでいる。従って、符号化フィルタ及び復号化フィルタが直観的な空間（例えば、視覚処理のための二次元空間）で選択されると、再構成ソースイメージをステップＳ１０で使用して、ネットワークに沿った通信を視覚化することができる。
【００６４】
0004132892.tif 000027
【００６５】
0004132892.tif 000028
【００６６】
本発明を要約すると、畳み込みネットワークの２つの層間の結合を記述する重み行列は、付加空間で伸張する２つのフィルタのスカラー積として記述される。付加空間は、通常重み行列がその並進不変性を示す空間となるように選択される。駆動入力に対する分解及び線形性の仮定から、１つの層（ソース層）から、次の層（ターゲット層）まで駆動信号を通信するプロセスを符号化ステップと復号化ステップに分解することができるという結果になる。
【００６７】
本発明の典型的な応用形態は、パターン認識（例えば、音響又は視覚）であり、例えばロボットに使用できる。
【００６８】
本発明の利点は、以下のように要約することができる。
【００６９】
・ネットワーク・ダイナミクス全体の計算を通してのフーリエ変換の使用により、シミュレーション計算について最適化された環境及びハードウェアの使用が可能になる。
【００７０】
・ネットワークの異なる層間の通信オーバーヘッドの削減により、ネットワーク・ダイナミクス演算の並列化が可能になる。
【００７１】
・高次層間の結合を、共通の作業空間（視覚処理について、通常は二次元網膜座標ｘ、ｙ）上の符号化フィルタ及び復号化フィルタとして直感的に設計することができる。
【図面の簡単な説明】
【図１】並進不変の畳み込みネットワークを図式的に示す図である。
【図２】ネットワーク挙動を計算するときの非線形ステップと線形ステップの区切りを示す図である。
【図３】符号化フィルタ、再構成ソースイメージ及び復号化フィルタによりソース層とターゲット層の間の結合の分解を説明する図である。
【図４】本発明によって提案された処理を表すフローチャートである。
【図５】ネットワークの活性度に基づいた、再構成イメージの計算（符号化ステップ）を示す図である。
【図６】再構成イメージに基づいた、ネットワークの活性度の計算（復号化ステップ）を示す図である。
【符号の説明】
１、２、３        層
４        ニューロン
７        ソース層
８        ターゲット層
９        再構成ソースイメージ
１０      符号化フィルタ
１１      復号化フィルタ
１２      畳み込みネットワーク
【図１】
0004132892.tif 000029
【図２】
0004132892.tif 000030
【図３】
0004132892.tif 000031
【図４】
0004132892.tif 000032
【図５】
0004132892.tif 000033
【図６】
0004132892.tif 000034