(57)【要約】【課題】人工視覚システムトレーニング方法を提供する。【解決手段】特徴サンプルベクトルを含む特徴行列と応答サンプルスカラーを含む対応する応答サンプルベクトルを形成し（Ｓ２）、応答サンプルベクトルに対する特徴行列を伴うリンクベクトルを確定するために、反復的なプロシージャを使用する。この反復的なプロシージャは、応答サンプルベクトル領域で応答サンプルベクトル誤差推定値を確定し（Ｓ４）、応答サンプルベクトル誤差推定値を、リンクベクトル領域で対応するリンクベクトル誤差推定値に変換し（Ｓ６）、リンクベクトル誤差推定値によりリンクベクトル領域でリンクベクトル推定値を確定し（Ｓ７）、リンクベクトル推定値を応答サンプルベクトル領域で対応する応答サンプルベクトル推定値に変換する（Ｓ８）。これを応答サンプルベクトル誤差推定値が十分小さくなるまで繰り返す（Ｓ５）。【選択図】図１
2004513432.tif 000002
【特許請求の範囲】
【請求項１】
以下のステップからなる人工視覚システムトレーニング方法であって、
特徴サンプルベクトルを含む特徴行列と応答サンプルスカラーを含む対応する応答サンプルベクトルを形成し、
上記応答サンプルベクトルに対する上記特徴行列を伴うリンクベクトルを確定するものにおいて、
反復的なリンクベクトルを確定する方法が、
応答サンプルベクトル領域で応答サンプルベクトル誤差推定値を確定し、
上記応答サンプルベクトル誤差推定値を、リンクベクトル領域で対応するリンクベクトル誤差推定値に変換し、
上記リンクベクトル誤差推定値によりリンクベクトル領域でリンクベクトル推定値を確定し、
上記リンクベクトル推定値を応答サンプルベクトル領域で対応する応答サンプルベクトル推定値に変換するステップを含み、
応答サンプルベクトル誤差推定値が十分に小さくなるまで上記ステップを繰り返すことを特徴とする方法。
【請求項２】
請求項１の方法において、繰り返しステップが、
現在の応答サンプルベクトル推定値と上記応答サンプルベクトルの間の差を表す応答サンプルベクトル誤差推定値を確定し、
上記特徴マトリックの転置行列を使用して上記リンクベクトル誤差推定値を上記応答サンプルベクトル誤差推定値に変換し、
現在のリンクベクトル推定値からリンクベクトル誤差推定値を減算することによって更新リンクベクトル推定値を形成し、
上記特徴マトリックスを使用して上記更新リンクベクトル推定値を更新応答サンプルベクトル推定値に変換する
ステップを含むことを特徴とする方法。
【請求項３】
請求項１の方法において、繰り返しステップが、
上記特徴行列を使用して現在のリンクベクトル推定値を更新応答サンプルベクトル推定値に変換し、
現在の応答サンプルベクトル推定値と上記更新応答サンプルベクトル推定値の間の差を表す応答サンプルベクトル誤差推定値を確定し、
上記特徴マトリックの転置行列を使用して上記応答サンプルベクトル誤差推定値をリンクベクトル誤差推定値に変換し、
上記現在リンクベクトル推定値から上記リンクベクトル誤差推定値を減算することによって更新リンクベクトル推定値を形成する
ステップを含むことを特徴とする方法。
【請求項４】
請求項２または３の方法において、上記リンクベクトル誤差推定値を特徴正規化することを特徴とする方法。
【請求項５】
請求項４の方法において、行列の対角要素によって表す特徴正規化を
【数１】
2004513432.tif 000035
（ここでａｎｈは上記特徴行列要素を示し、Ｎは特徴サンプルベクトルの数を表し、そしてＨは各特徴サンプルベクトルの構成要素数を表す）
によって行うことを特徴とする方法。
【請求項６】
請求項２または３の方法において、上記更新応答サンプルベクトル推定値をサンプル正規化することを特徴とする方法。
【請求項７】
請求項６の方法において、行列の対角要素によって表すサンプル正規化を
【数２】
2004513432.tif 000036
（ここでａｎｈは上記特徴行列要素を示し、Ｎは特徴サンプルベクトルの数を表し、そしてＨは各特徴サンプルベクトルの構成要素数を表す）
によって行うことを特徴とする方法。
【請求項８】
請求項２または３の方法において、リンクベクトル誤差推定値を特徴正規化し、そして上記更新応答サンプルベクトル推定値をサンプル正規化することを特徴とする方法。
【請求項９】
請求項８の方法において、行列の対角要素によって表す特徴正規化を
【数３】
2004513432.tif 000037
により行い、そして、行列の対角要素によって表すサンプル正規化を
【数４】
2004513432.tif 000038
（ここでａｎｈは上記特徴行列要素を示し、Ｎは特徴サンプルベクトルの数を表し、そしてＨは各特徴サンプルベクトルの構成要素数を表す）
によって行うことを特徴とする方法。
【請求項１０】
請求項２ないし９のいずれかの方法において、選択的に近似特徴行列によって上記特徴行列を置換するものであり、最大要素だけを各行に保存し、すべての他の要素をゼロによって置換することを特徴とする方法。
【請求項１１】
請求項２ないし１０のいずれかの方法において、選択的に近似特徴行列によって上記特徴行列を置換するものであり、最大要素だけを各列に保存し、すべての他の要素をゼロによって置換することを特徴とする方法。
【請求項１２】
請求項１ないし１１のいずれかの方法において、すべての非ゼロ要素が上記特徴マトリックと同じ傾向であり、そして上記応答サンプルベクトルのすべての非ゼロ要素が同じ傾向を有することを特徴とする方法。
【請求項１３】
以下のステップからなる人工視覚システムトレーニング方法であって、
特徴サンプルベクトルを含む特徴行列と応答サンプルベクトルを含む対応する応答サンプルベクトルを形成し、
上記応答サンプル行列に対する上記特徴行列を伴うリンクベクトルを確定するものにおいて、
反復的なリンクベクトルを確定する方法が、
応答サンプルベクトル領域で応答サンプル行列誤差推定値を確定し、
上記応答サンプル行列誤差推定値を、リンク行列領域で対応するリンク行列誤差推定値に変換し、
上記リンク行列誤差推定値によりリンク行列領域でリンク行列推定値を確定し、
上記リンク行列推定値を応答サンプル行列領域で対応する応答サンプル行列推定値に変換するステップを含み、
応答サンプル行列誤差推定値が十分に小さくなるまで上記ステップを繰り返すことを特徴とする方法。
【請求項１４】
以下のステップからなる連想型ネットワークトレーニング方法であって、
特徴サンプルベクトルを含む特徴行列と応答サンプルスカラーを含む対応する応答サンプルベクトルを形成し、
上記応答サンプルベクトルに対する上記特徴行列を伴うリンクベクトルを確定するものにおいて、
反復的なリンクベクトルを確定する方法が、
応答サンプルベクトル領域で応答サンプルベクトル誤差推定値を確定し、
上記応答サンプルベクトル誤差推定値を、リンクベクトル領域で対応するリンクベクトル誤差推定値に変換し、
上記リンクベクトル誤差推定値によりリンクベクトル領域でリンクベクトル推定値を確定し、
上記リンクベクトル推定値を応答サンプルベクトル領域で対応する応答サンプルベクトル推定値に変換するステップを含み、
応答サンプルベクトル誤差推定値が十分に小さくなるまで上記ステップを繰り返すことを特徴とする方法。
【請求項１５】
以下のステップからなる連想型ネットワークトレーニング方法であって、
特徴サンプルベクトルを含む特徴行列と応答サンプルベクトルを含む対応する応答サンプルベクトルを形成し、
上記応答サンプル行列に対する上記特徴行列を伴うリンクベクトルを確定するものにおいて、
反復的なリンクベクトルを確定する方法が、
応答サンプルベクトル領域で応答サンプル行列誤差推定値を確定し、
上記応答サンプル行列誤差推定値を、リンク行列領域で対応するリンク行列誤差推定値に変換し、
上記リンク行列誤差推定値によりリンク行列領域でリンク行列推定値を確定し、
上記リンク行列推定値を応答サンプル行列領域で対応する応答サンプル行列推定値に変換するステップを含み、
応答サンプル行列誤差推定値が十分に小さくなるまで上記ステップを繰り返すことを特徴とする方法。
【請求項１６】
人工視覚システムリンクベクトルトレーニング装置であって、特徴サンプルベクトルを含む特徴行列と応答サンプルスカラーを含む対応する応答サンプルベクトルを形成する手段を含むものにおいて、
応答サンプルベクトル領域で応答サンプルベクトル誤差推定値を確定する手段（１０）、
上記応答サンプルベクトル誤差推定値を、リンクベクトル領域で対応するリンクベクトル誤差推定値に変換する手段（１２）、
上記リンクベクトル誤差推定値によりリンクベクトル領域でリンクベクトル推定値を確定する手段（１４、１６）、及び
上記リンクベクトル推定値を応答サンプルベクトル領域で対応する応答サンプルベクトル推定値に変換する手段（１８）を有することを特徴とする装置。
【請求項１７】
人工視覚システムリンク行列トレーニング装置であって、特徴サンプルベクトルを含む特徴行列と応答サンプルベクトルを含む対応する応答サンプルベクトルを形成する手段を含むものにおいて、
応答サンプル行列領域で応答サンプル行列誤差推定値を確定する手段（１０）、
上記応答サンプル行列誤差推定値を、リンク行列領域で対応するリンク行列誤差推定値に変換する手段（１２）、
上記リンク行列誤差推定値によりリンク行列領域でリンク行列推定値を確定する手段（１４、１６）、そして
上記リンク行列推定値を応答サンプル行列領域で対応する応答サンプル行列推定値に変換する手段（１８）を有することを特徴とする装置。
【請求項１８】
連想型ネットワークトレーニング装置であって、特徴サンプルベクトルを含む特徴行列と応答サンプルスカラーを含む対応する応答サンプルベクトルを形成する手段を含むものにおいて、
応答サンプルベクトル領域で応答サンプルベクトル誤差推定値を確定する手段（１０）、
上記応答サンプルベクトル誤差推定値を、リンクベクトル領域で対応するリンクベクトル誤差推定値に変換する手段（１２）、
上記リンクベクトル誤差推定値によりリンクベクトル領域でリンクベクトル推定値を確定する手段（１４、１６）、及び
上記リンクベクトル推定値を応答サンプルベクトル領域で対応する応答サンプルベクトル推定値に変換する手段（１８）を有することを特徴とする装置。
【請求項１９】
連想型ネットワークトレーニング装置であって、特徴サンプルベクトルを含む特徴行列と応答サンプルベクトルを含む対応する応答サンプルベクトルを形成する手段を含むものにおいて、
応答サンプル行列領域で応答サンプル行列誤差推定値を確定する手段（１０）、
上記応答サンプル行列誤差推定値を、リンク行列領域で対応するリンク行列誤差推定値に変換する手段（１２）、
上記リンク行列誤差推定値によりリンク行列領域でリンク行列推定値を確定する手段（１４、１６）、そして
上記リンク行列推定値を応答サンプル行列領域で対応する応答サンプル行列推定値に変換する手段（１８）を有することを特徴とする装置。
【請求項２０】
特徴行列を応答サンプルベクトルにリンクさせるリンクベクトルを確定するためのコンピュータプログラム製品であって、プログラム要素が、
応答サンプルベクトル領域で応答サンプルベクトル誤差推定値を確定し、
上記応答サンプルベクトル誤差推定値を、リンクベクトル領域で対応するリンクベクトル誤差推定値に変換し、
上記リンクベクトル誤差推定値によりリンクベクトル領域でリンクベクトル推定値を確定し、
上記リンクベクトル推定値を応答サンプルベクトル領域で対応する応答サンプルベクトル推定値に変換するステップを含み、
応答サンプルベクトル誤差推定値が十分に小さくなるまで上記ステップを繰り返し実行することを特徴とするプログラム製品。
【請求項２１】
特徴行列を応答サンプル行列にリンクさせるリンク行列を確定するためのコンピュータプログラム製品であって、プログラム要素が、
応答サンプルベクトル領域で応答サンプル行列誤差推定値を確定し、
上記応答サンプル行列誤差推定値を、リンク行列領域で対応するリンク行列誤差推定値に変換し、
上記リンク行列誤差推定値によりリンク行列領域でリンク行列推定値を確定し、
上記リンク行列推定値を応答サンプル行列領域で対応する応答サンプル行列推定値に変換するステップを含み、
応答サンプル行列誤差推定値が十分に小さくなるまで上記ステップを繰り返し実行することを特徴とするプログラム製品。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、連想型のネットワークのトレーニングに関し、特に人工視覚システムや知覚像−応答システムのトレーニングに関する。
【０００２】
【従来の技術】
特許文献１は、情報のチャネル表現に基づく知覚像−応答システムを開示する。リンクマトリックスＣは、測定知覚像列ベクトルｘから形成された機能ベクトルａを応答列ベクトルｕとリンクする。それには下記行列方程式を使用する。
【数５】
2004513432.tif 000003
【０００３】
これらのシステムの基本的な考えに、システムトレーニングがある。すなわち、どのようにリンク行列Ｃを確定するかがある。特許文献１では、これを機能ベクトルａｉと応答ベクトルｕｉの異なるトレーニングのサンプルのペアを収集することによって達成している。各ペアが同じリンク行列Ｃによってリンクされているべきであるため、下記の方程式のセットが得られる。
【数６】
2004513432.tif 000004
ここで、Ｎはトレーニングサンプルの個数またはトレーニングシーケンスの長さを示し、Ａは特徴行列を示す。これらの方程式は、従来の近似方法（例えば平均二乗誤差を最小化する方法）によりリンク行列Ｃを確定することで解明できるかもしれない（非特許文献１参照）。
【０００４】
【特許文献１】
国際公開ＷＯ　００／５８９１４号公報
【非特許文献１】
Ｕｓｉｎｇ　ＭＡＴＬＡＢ　（ＭＡＴＬＡＢの使用：Ｍａｔｈ　Ｗｏｒｋｓ　Ｉｎｃ．（マス　ワークス　インコーポレイテド（１９９６年））第４−２ページないし第４−３ページ、第４−１３ページないし第４−１４ページ
【０００５】
【発明が解決しようとする課題】
しかしながら、これらの近似方法は、何千もの機能と何千ものサンプルを取り扱う連想型のネットワークの複雑性を限定する多くのシステムにとって十分なものではない。
【０００６】
本発明の目的は、より大きい連想型のネットワークを可能にする効率的なトレーニング方法を提供することである。
【０００７】
【課題を解決するための手段】
本発明の請求項１に係る人工視覚システムトレーニング方法は、
特徴サンプルベクトルを含む特徴行列と応答サンプルスカラーを含む対応する応答サンプルベクトルを形成し、
上記応答サンプルベクトルに対する上記特徴行列を伴うリンクベクトルを確定するものにおいて、
反復的なリンクベクトルを確定する方法が、
応答サンプルベクトル領域で応答サンプルベクトル誤差推定値を確定し、
上記応答サンプルベクトル誤差推定値を、リンクベクトル領域で対応するリンクベクトル誤差推定値に変換し、
上記リンクベクトル誤差推定値によりリンクベクトル領域でリンクベクトル推定値を確定し、
上記リンクベクトル推定値を応答サンプルベクトル領域で対応する応答サンプルベクトル推定値に変換するステップを含み、
応答サンプルベクトル誤差推定値が十分に小さくなるまで上記ステップを繰り返すステップからなることを特徴とする方法である。
【０００８】
同請求項２の方法は、請求項１の方法において、繰り返しステップが、
現在の応答サンプルベクトル推定値と上記応答サンプルベクトルの間の差を表す応答サンプルベクトル誤差推定値を確定し、
上記特徴マトリックの転置行列を使用して上記リンクベクトル誤差推定値を上記応答サンプルベクトル誤差推定値に変換し、
現在のリンクベクトル推定値からリンクベクトル誤差推定値を減算することによって更新リンクベクトル推定値を形成し、
上記特徴マトリックスを使用して上記更新リンクベクトル推定値を更新応答サンプルベクトル推定値に変換する
ステップを含むことを特徴とする方法である。
【０００９】
同請求項３の方法は、請求項１の方法において、繰り返しステップが、
上記特徴行列を使用して現在のリンクベクトル推定値を更新応答サンプルベクトル推定値に変換し、
現在の応答サンプルベクトル推定値と上記更新応答サンプルベクトル推定値の間の差を表す応答サンプルベクトル誤差推定値を確定し、
上記特徴マトリックの転置行列を使用して上記応答サンプルベクトル誤差推定値をリンクベクトル誤差推定値に変換し、
上記現在リンクベクトル推定値から上記リンクベクトル誤差推定値を減算することによって更新リンクベクトル推定値を形成する
ステップを含むことを特徴とする方法である。
【００１０】
同請求項４に係る方法は、請求項２または３の方法において、上記リンクベクトル誤差推定値を特徴正規化することを特徴とする方法である。
【００１１】
同請求項５に係る方法は、請求項４の方法において、行列の対角要素によって表す特徴正規化を
【数７】
2004513432.tif 000005
（ここでａｎｈは上記特徴行列要素を示し、Ｎは特徴サンプルベクトルの数を表し、そしてＨは各特徴サンプルベクトルの構成要素数を表す）
によって行うことを特徴とする方法である。
【００１２】
同請求項６に係る方法は、請求項２または３の方法において、上記更新応答サンプルベクトル推定値をサンプル正規化することを特徴とする方法である。
【００１３】
同請求項７に係る方法は、請求項６の方法において、行列の対角要素によって表すサンプル正規化を
【数８】
2004513432.tif 000006
（ここでａｎｈは上記特徴行列要素を示し、Ｎは特徴サンプルベクトルの数を表し、そしてＨは各特徴サンプルベクトルの構成要素数を表す）
によって行うことを特徴とする方法である。
【００１４】
同請求項８に係る方法は、請求項２または３の方法において、リンクベクトル誤差推定値を特徴正規化し、そして上記更新応答サンプルベクトル推定値をサンプル正規化することを特徴とする方法である。
【００１５】
同請求項９に係る方法は、請求項８の方法において、行列の対角要素によって表す特徴正規化を
【数９】
2004513432.tif 000007
により行い、そして、行列の対角要素によって表すサンプル正規化を
【数１０】
2004513432.tif 000008
（ここでａｎｈは上記特徴行列要素を示し、Ｎは特徴サンプルベクトルの数を表し、そしてＨは各特徴サンプルベクトルの構成要素数を表す）
によって行うことを特徴とする方法である。
【００１６】
同請求項１０に係る方法は、請求項２ないし９のいずれかの方法において、選択的に近似特徴行列によって上記特徴行列を置換するものであり、最大要素だけを各行に保存し、すべての他の要素をゼロによって置換することを特徴とする方法である。
【００１７】
同請求項１１に係る方法は、請求項２ないし１０のいずれかの方法において、選択的に近似特徴行列によって上記特徴行列を置換するものであり、最大要素だけを各列に保存し、すべての他の要素をゼロによって置換することを特徴とする方法である。
【００１８】
同請求項１２に係る方法は、請求項１ないし１１のいずれかの方法において、すべての非ゼロ要素が上記特徴マトリックと同じ傾向であり、そして上記応答サンプルベクトルのすべての非ゼロ要素が同じ傾向を有することを特徴とする方法である。
【００１９】
請求項１３に係る人工視覚システムトレーニング方法は、
特徴サンプルベクトルを含む特徴行列と応答サンプルベクトルを含む対応する応答サンプルベクトルを形成し、
上記応答サンプル行列に対する上記特徴行列を伴うリンクベクトルを確定するものにおいて、
反復的なリンクベクトルを確定する方法が、
応答サンプルベクトル領域で応答サンプル行列誤差推定値を確定し、
上記応答サンプル行列誤差推定値を、リンク行列領域で対応するリンク行列誤差推定値に変換し、
上記リンク行列誤差推定値によりリンク行列領域でリンク行列推定値を確定し、
上記リンク行列推定値を応答サンプル行列領域で対応する応答サンプル行列推定値に変換するステップを含み、
応答サンプル行列誤差推定値が十分に小さくなるまで上記ステップを繰り返すことを特徴とする方法である。
【００２０】
請求項１４に係る連想型ネットワークトレーニング方法は、
特徴サンプルベクトルを含む特徴行列と応答サンプルスカラーを含む対応する応答サンプルベクトルを形成し、
上記応答サンプルベクトルに対する上記特徴行列を伴うリンクベクトルを確定するものにおいて、
反復的なリンクベクトルを確定する方法が、
応答サンプルベクトル領域で応答サンプルベクトル誤差推定値を確定し、
上記応答サンプルベクトル誤差推定値を、リンクベクトル領域で対応するリンクベクトル誤差推定値に変換し、
上記リンクベクトル誤差推定値によりリンクベクトル領域でリンクベクトル推定値を確定し、
上記リンクベクトル推定値を応答サンプルベクトル領域で対応する応答サンプルベクトル推定値に変換するステップを含み、
応答サンプルベクトル誤差推定値が十分に小さくなるまで上記ステップを繰り返すことを特徴とする方法である。
【００２１】
請求項１５に係る連想型ネットワークトレーニング方法は、
特徴サンプルベクトルを含む特徴行列と応答サンプルベクトルを含む対応する応答サンプルベクトルを形成し、
上記応答サンプル行列に対する上記特徴行列を伴うリンクベクトルを確定するものにおいて、
反復的なリンクベクトルを確定する方法が、
応答サンプルベクトル領域で応答サンプル行列誤差推定値を確定し、
上記応答サンプル行列誤差推定値を、リンク行列領域で対応するリンク行列誤差推定値に変換し、
上記リンク行列誤差推定値によりリンク行列領域でリンク行列推定値を確定し、
上記リンク行列推定値を応答サンプル行列領域で対応する応答サンプル行列推定値に変換するステップを含み、
応答サンプル行列誤差推定値が十分に小さくなるまで上記ステップを繰り返すことを特徴とする方法である。
【００２２】
請求項１６に係る人工視覚システムリンクベクトルトレーニング装置は、特徴サンプルベクトルを含む特徴行列と応答サンプルスカラーを含む対応する応答サンプルベクトルを形成する手段を含むものにおいて、
応答サンプルベクトル領域で応答サンプルベクトル誤差推定値を確定する手段、
上記応答サンプルベクトル誤差推定値を、リンクベクトル領域で対応するリンクベクトル誤差推定値に変換する手段、
上記リンクベクトル誤差推定値によりリンクベクトル領域でリンクベクトル推定値を確定する手段、及び
上記リンクベクトル推定値を応答サンプルベクトル領域で対応する応答サンプルベクトル推定値に変換する手段を有することを特徴とする装置である。
【００２３】
請求項１７に係る人工視覚システムリンク行列トレーニング装置は、特徴サンプルベクトルを含む特徴行列と応答サンプルベクトルを含む対応する応答サンプルベクトルを形成する手段を含むものにおいて、
応答サンプル行列領域で応答サンプル行列誤差推定値を確定する手段、
上記応答サンプル行列誤差推定値を、リンク行列領域で対応するリンク行列誤差推定値に変換する手段、
上記リンク行列誤差推定値によりリンク行列領域でリンク行列推定値を確定する手段、そして
上記リンク行列推定値を応答サンプル行列領域で対応する応答サンプル行列推定値に変換する手段を有することを特徴とする装置である。
【００２４】
請求項１８に係る連想型ネットワークトレーニング装置は、特徴サンプルベクトルを含む特徴行列と応答サンプルスカラーを含む対応する応答サンプルベクトルを形成する手段を含むものにおいて、
応答サンプルベクトル領域で応答サンプルベクトル誤差推定値を確定する手段、
上記応答サンプルベクトル誤差推定値を、リンクベクトル領域で対応するリンクベクトル誤差推定値に変換する手段、
上記リンクベクトル誤差推定値によりリンクベクトル領域でリンクベクトル推定値を確定する手段、及び
上記リンクベクトル推定値を応答サンプルベクトル領域で対応する応答サンプルベクトル推定値に変換する手段を有することを特徴とする装置である。
【００２５】
請求項１９に係る連想型ネットワークトレーニング装置は、特徴サンプルベクトルを含む特徴行列と応答サンプルベクトルを含む対応する応答サンプルベクトルを形成する手段を含むものにおいて、
応答サンプル行列領域で応答サンプル行列誤差推定値を確定する手段、
上記応答サンプル行列誤差推定値を、リンク行列領域で対応するリンク行列誤差推定値に変換する手段、
上記リンク行列誤差推定値によりリンク行列領域でリンク行列推定値を確定する手段、そして
上記リンク行列推定値を応答サンプル行列領域で対応する応答サンプル行列推定値に変換する手段を有することを特徴とする装置である。
【００２６】
請求項２０に係るコンピュータプログラム製品は、特徴行列を応答サンプルベクトルにリンクさせるリンクベクトルを確定するためのものであって、プログラム要素が、
応答サンプルベクトル領域で応答サンプルベクトル誤差推定値を確定し、
上記応答サンプルベクトル誤差推定値を、リンクベクトル領域で対応するリンクベクトル誤差推定値に変換し、
上記リンクベクトル誤差推定値によりリンクベクトル領域でリンクベクトル推定値を確定し、
上記リンクベクトル推定値を応答サンプルベクトル領域で対応する応答サンプルベクトル推定値に変換するステップを含み、
応答サンプルベクトル誤差推定値が十分に小さくなるまで上記ステップを繰り返し実行することを特徴とするものである。
【００２７】
同請求項２１に係るコンピュータプログラム製品は、プログラム要素が、
応答サンプルベクトル領域で応答サンプル行列誤差推定値を確定し、
上記応答サンプル行列誤差推定値を、リンク行列領域で対応するリンク行列誤差推定値に変換し、
上記リンク行列誤差推定値によりリンク行列領域でリンク行列推定値を確定し、
上記リンク行列推定値を応答サンプル行列領域で対応する応答サンプル行列推定値に変換するステップを含み、
応答サンプル行列誤差推定値が十分に小さくなるまで上記ステップを繰り返し実行することを特徴とする製品である。
【００２８】
【発明の実施の形態】
数式６で示す方程式の構造を検討することで、行列Ｕの各行が行列Ｃの対応している行についてだけ実際に知識を要求することがわかる。例えば、行列Ｕの行ｋ（ｕｋと示す）が、行列Ｃの行ｋ（Ｃｋと示す）についてだけ知識を要求する。これは下記方程式から明らかである。
【数１１】
2004513432.tif 000009
【００２９】
従って数式５で示す方程式は独立してリンク行列Ｃの各々の行を確定することによって解明され得る。さらに数式５とした方程式で示されたように、応答状態を表現することがスカラー表現またはチャネル（ベクトル）表現でも可能である。またスカラー量をベクトル量に変換することまたはその逆も可能である。従って、応答行列の各コラムベクトルをスカラーに変換することが可能であり、それによって、構成要素としてこれらのスカラーを包含している応答サンプル（行）ベクトルｕを得ることができる。この応答サンプルベクトルｕは、下記の式により特徴行列Ａにリンクされる。
【数１２】
2004513432.tif 000010
【００３０】
すなわち、数式１１及び数式１２で示す方程式が同じ構造を有するので、基本的な問題が下記の方程式を解明することであることが理解される。
【数１３】
2004513432.tif 000011
ここで行列ｕ、Ａが既知であれば行列ｃが特定される。
【００３１】
数式１３で示す方程式の問題は、応答サンプルベクトルｕとリンクベクトルｃが異なるベクトル空間または領域に存在することである。多くの場合、特徴行列Ａは矩形行列であって正方行列ではない（Ｈが数式１２で示す方程式のＮと一般には等しくない）ためである。従って、特徴行列Ａはいかなる自然の逆数も持たない。本発明による反復法は、ベクトルＡとベクトルｕからベクトルｃを確定するために使用する。ベクトルｕが既知であるため、応答サンプルベクトルｕの現在推定値＾ｕ（ｉ）が応答領域内で形成され、そして誤差Δｕ＝＾ｕ（ｉ）−ｕは、特徴行列Ａの転置行列を使用してリンクベクトル領域中の対応するリンクベクトル誤差Δｃに変換される。このリンクベクトル誤差は、更新リンクベクトル推定値＾ｃ（ｉ＋１）を形成するために、現在のリンクベクトル推定値＾ｃ（ｉ）から減算される。この更新推定値が、特徴行列Ａを使用して応答サンプルベクトル領域に戻され、それによって、更新応答サンプルベクトル推定値＾ｕ（ｉ＋１）を形成する。従って、このプロセスの反復的なステップを下式のように書き得る。
【数１４】
2004513432.tif 000012
【００３２】
このプロシージャを、図１のフローチャートで説明する。このプロシージャは、ステップＳ１でスタートする。ステップＳ２では特徴サンプル及び応答サンプルを収集する。ステップＳ３では、初期応答サンプルベクトル推定値を確定する。一例としてはゼロベクトルである。ステップＳ４では、応答サンプルベクトル領域での誤差を確定する。この誤差が十分に小さいかどうかをステップＳ５で検証する。誤差が小さくなければ、プロシージャはステップＳ６に進み、誤差をリンクベクトル領域に変換する。ステップＳ７では、変換した誤差を使用してリンクベクトル推定値を確定する。ステップＳ８では、応答サンプルベクトル領域に戻ってこの推定値を変換する。したがって、プロシージャループはステップＳ４へ戻る。ステップＳ５において誤差が十分に小さければ、プロシージャはステップＳ９で終了する。
【００３３】
図２は、上述した方法を実行するのに適するトレーニングシステムの構成を示す。応答領域誤差は、対応推定値＾ｕから実際の応答サンプルベクトルｕを減算することによって加算器１０で形成する。応答領域誤差は、変換またはサンプリングブロック１２に送られる。転置行列ＡＴによる誤差の変換は、サンプリングフォームと見ることができる。このブロックでは正規化も行う。これについてはさらに後述する。その結果として生じるリンクベクトル領域誤差は、加算器１４で現在のリンクベクトル推定値から減算される。この現在のリンクベクトル推定値は遅延及び記憶ブロック１６に格納、記憶され、遅延される。更新リンクベクトル推定値は、変換または再構成ブロック１８に送られ、更新応答サンプルベクトル推定値を作り出す。このブロックでは正規化も行う。これについてはさらに後述する。更新リンクベクトル推定値は、遅延及び記憶ブロック１６に送られる。変換ブロック１２、１８はともに、それらの特徴行列Ａの変換に基づく。例えば図２の各ブロックは、１つまたは複数のマイクロプロセッサまたはマイクプロセッサと信号処理装置の組み合わせ及びそれらに対応しているソフトウェアの組み合わせによって実現される。もちろん、１つまたは複数のＡＳＩＣ（アプリケーション特性ＩＣ）でも実現し得る。
【００３４】
上述した方程式（数式１４）に代えて、下記の式に従って順序を変更することができる。
【数１５】
2004513432.tif 000013
【００３５】
本発明の実施形態では、特徴行列Ａまたは転置行列またはその両方が正規化される。例えば、混合正規化の例では、リンクベクトル方程式中の行列ＡＴは、対角正規化行列ＮＦによって下式のように特徴が正規化される。
【数１６】
2004513432.tif 000014
そして応答ベクトル方程式中の行列Ａは、下式のように対角正規化行列ＮＳによって特徴正規化される。
【数１７】
2004513432.tif 000015
【００３６】
従って、この混合例で、特徴正規化要素は、特徴行列Ａの行和の逆の値として得られる。一方、サンプル正規化ファクタは、行列Ａの列和の逆の値として得られる。この数式１４、１５で示す方程式の正規化はそれぞれ下式のように書き直せる。
【数１８】
2004513432.tif 000016
【数１９】
2004513432.tif 000017
後掲の資料Ａは、数式１８で示す方程式のＭＡＴＬＡＢコード（登録商標）の実例を含む。
【００３７】
他の可能性として、特徴正規化ＡＴと数式１４、１５で示す方程式を正規化せずにＡを保有することがある。この場合、適当な正規化行列ＮＦが下式で与えられる。
【数２０】
2004513432.tif 000018
【００３８】
この正規化により数式１４、１５で示す方程式を下式にそれぞれ書き直せる。
【数２１】
2004513432.tif 000019
【数２２】
2004513432.tif 000020
同じく後掲の資料Ｂは、数式２１で示す方程式のＭＡＴＬＡＢコードの実例を示す。
【００３９】
さらに他の可能性として、サンプル正規化Ａと数式１４、１５で示す方程式を正規化せずにＡＴを保有することがある。この場合、適当な正規化行列ＮＳが下式で与えられる。
【数２３】
2004513432.tif 000021
【００４０】
この正規化により数式１４、１５で示す方程式を下式にそれぞれ書き直せる。
【数２４】
2004513432.tif 000022
【数２５】
2004513432.tif 000023
同じく後掲の資料Ｃは、数式２４で示す方程式のＭＡＴＬＡＢコードのさらなる実例を含む。
【００４１】
この記述では、上記正規化を行列で表現してある。しかしながら、これらの行列が対角行列であるため、ベクトルとしての正規化を表現する等価の数式を繰り返す方程式で書き表すことも可能である。例えば、数式１８で示す方程式は以下のように書き直せる。
【数２６】
2004513432.tif 000024
ここでＮＦとＮＳは対応している行列の対角線要素によって定まる行ベクトルである。
【００４２】
本発明の本質的な特徴は、特徴行列Ａが非負要素だけを含むことである。誤差関数Δｕｎの勾配は特徴行列Ａの要素に直接的に関係する。直接の関連は下式の通りである。
【数２７】
2004513432.tif 000025
【００４３】
従って勾配が非負値だけを含むことが解る。これは、勾配傾向をテストすることが必要でないということを示す。リンクベクトル構成要素ｃｈの値の増加は、正方向に誤差を移動させるか、まったく影響を及ぼさない。この特徴は、本発明に係る速い反復的なプロシージャの根拠である。根本的な問題により接近して検討することにより、非負要素Ａが必然的に正でなくてもよいことを示す。要求されるのは、それらがすべて正かすべて負であるという一貫した傾向があることである。ベクトルｕ、ｃについても同様である。
【００４４】
上記説明において、全特徴行列Ａは繰り返しに関連する。近似例において、特徴行列Ａは、各行の最大値だけが保存された近似によって置換され得る。この近似は、すべての方程式で使用できる。また選択した一つの方程式で、あるいは方程式内の特徴行列Ａの選択した発生の１つだけで使用することもできる。数式１４で示す方程式に対応している近似混合正規化の具体例を、資料ＤでＭＡＴＬＡＢの例によって示す。この例では、近似は数式１４で示す方程式の第１行で使用されている。このような近似方法の利点は、各行中の最大の要素だけが保存されるので、残りの要素がゼロ点によって近似され、非常に速いことである。正規化後に生じる正規化行列は、複数の１とゼロ点だけを含む。これは、演算が複雑な行列の乗算が、誤差ベクトルΔｕ内で誤差構成要素を単純に再シャッフルすることによって置換できることを意味する。
【００４５】
類似の近似において、特徴行列Ａを各カラム（サンプルベクトル）の最大値だけが保存される行列により近似できる。混合正規化において、両方の近似、例えば特徴正規化とサンプル正規化の両方を使用する近似が使用可能である。
【００４６】
上述の反復的なトレーニングプロセスは、ストップクライテリアの複数の可能な選択がある。１つの可能性は、Δｕの構成要素について絶対値の平均を使用することである。例えば、
【数２８】
2004513432.tif 000026
として、閾値εを超えるまで繰り返す。
【００４７】
ほかの例として、Δｕの最大誤差要素を使用することがある。例えば、
【数２９】
2004513432.tif 000027
【００４８】
もし大きい誤差が小さい誤差より支障を来すものであるとみなすならば、二乗誤差が使用できる。例えば、
【数３０】
2004513432.tif 000028
【００４９】
上記ストップクライテリアは、絶対的スカラー誤差推定量を基本とする。しかしながら、相対的な推定値も可能である。例えば、推定値は下式のように書き表せる。
【数３１】
2004513432.tif 000029
この式は資料に示すプログラムコードで使用されている。
【００５０】
代わりに、繰り返しを所定回数後に中止してもよい。組み合わせも可能である。例えば、もし誤差が十分に小さくなければ、予め定めた繰り返し回数後にプロシージャを中止する。これは、例えば誤差ベクトルのいくつかの誤差要素が何回かの繰り返し後も大きいままであるとき等に生じ得る。そのような場合、集まったリンクベクトルｃの構成要素が関連し得る。
【００５１】
多くの場合、リンクベクトルの値＾ｃが反復過程の間にゼロ値に近づく。その結果、特徴行列Ａの対応行が無視され、そして応答ベクトルにリンクされない。「短縮」と示したプロシージャによれば、この特徴は、リンクベクトル推定値からゼロ要素と対応行内の特徴行列を取り除くために使用できる（その位置を記憶する）。それで新しい正規化を短縮された特徴行列について行え、その上に反復的なプロシージャに再入する。この短縮は、リンクベクトル要素がゼロに近づくたびに、好ましくはゼロに近い予め定めた限界値を下まわるときに行う。除去した値の位置を記憶するので、非負要素が集まったとき、完全リンクベクトルを再記憶することができる。
【００５２】
上述のように、リンク行列Ｃの各行を独立して確定させて、数式５で示す方程式を解き得る。しかしながら、上述の反復的なプロシージャは、完全行列にも使用し得る。例えば行列式の場合、数式１４で示す方程式を以下のように書き直せる。
【数３２】
2004513432.tif 000030
【００５３】
一般的に言って特徴行列Ａがスパース行列（行列要素のほとんどが０である行列）であるので、スパースマトリックオペレーションをサポートする演算システムにおいて上述のプロシージャを実現することが望ましい。そのようなシステムの例は、Ｍａｔｈ　Ｗｏｒｋｓ　Ｉｎｃ（マス　ワークス　インコーポレイテド）によるＭＡＴＬＡＢである。明らかに非負要素だけが記憶されるので、記憶の必要性を減らし、演算速度を上昇させる。乗算と加算が非負要素のためにだけ行われるからである。
【００５４】
上述のように本発明を、人工視覚システムについて述べたが、同じ原理は、知覚像−応答システムや連想型のネットワークに適用し得る。この場合、非負要素だけを含む特徴ベクトルを非負要素だけを含む応答ベクトル（おそらく１要素だけを含む）にマッピングする。例としては、音声処理システムと例えば温度、圧力、位置、速度などのセンサ変数の変化に基づく制御システムである。
【００５５】
本発明については上述した例以外にも、本発明の本質を変更することなく種々の変形例があることは、当業者には明確に理解されることである。
【００５６】
【資料】
＜資料Ａ＞
ＭＡＴＬＡＢ表記法では、混合正規化プロシージャを以下のように書き得る。
【表１】
2004513432.tif 000031
ここで「”．”」は、エレメントワイズオペレーションを示し、そして「”Ｔ”」は転置行列を示す。
＜資料Ｂ＞
ＭＡＴＬＡＢＲ表記法では、特徴領域正規化プロシージャを以下のように書き得る。
【表２】
2004513432.tif 000032
＜資料Ｃ＞
ＭＡＴＬＡＢ表記法では、サンプル領域正規化プロシージャを以下のように書き得る。
【表３】
2004513432.tif 000033
＜資料Ｄ＞
ＭＡＴＬＡＢ表記法では、混合近似正規化プロシージャを以下のように書き得る。
【表４】
2004513432.tif 000034
【図面の簡単な説明】
【図１】
本発明に係るトレーニング方法の具体例を示すフローチャートである。
【図２】
本発明に係るトレーニングシステムの構造を示す図である。
【図１】
2004513432.tif 000039
【図２】
2004513432.tif 000040
【国際公開パンフレット】
2004513432.tif 000041
2004513432.tif 000042
2004513432.tif 000043
2004513432.tif 000044
2004513432.tif 000045
2004513432.tif 000046
2004513432.tif 000047
2004513432.tif 000048
2004513432.tif 000049
2004513432.tif 000050
2004513432.tif 000051
2004513432.tif 000052
2004513432.tif 000053
2004513432.tif 000054
2004513432.tif 000055
2004513432.tif 000056
2004513432.tif 000057
2004513432.tif 000058
2004513432.tif 000059
2004513432.tif 000060
2004513432.tif 000061
2004513432.tif 000062
2004513432.tif 000063
2004513432.tif 000064
2004513432.tif 000065
2004513432.tif 000066
2004513432.tif 000067
2004513432.tif 000068
【国際調査報告】
2004513432.tif 000069
2004513432.tif 000070
2004513432.tif 000071