(57)【要約】異なる対象物の種々の特徴を記述する多重線形データを収集および分析する際に使用するための、データ構造、方法、記憶媒体および論理装置。より詳細に説明すると、未知の個人、未知の対象物、個人が行っている未知の行動、個人が浮かべている未知の表情を認識することができ、前に記録したことがなかった既知の行動を個人が行っている行動として合成することができ、前に記録したことがなかった表情を個人が浮かべている表情として合成することができる。次元低減技術等（図２の２００，２０２，２０４，２０５，２０６）により、対象物または行動を記述している記憶データの量を低減することができる。
2005514683.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの対象物の対象物記述子を生成するためのデータ構造であって、
少なくとも１つの対象物の少なくとも１つの特徴に関する情報を含む複数の第１のデータ要素を備え、前記第１のデータ要素の情報を、前記対象物記述子を入手するために使用することができ、前記対象物記述子が、前記少なくとも１つの対象物の少なくとも１つの特徴およびもう１つの特徴に関連していて、前記対象物記述子に基づいて、前記少なくとも１つの対象物の前記もう１つの特徴に関する情報を含む複数の第２のデータ要素を生成するために使用することができることを特徴とするデータ構造。
【請求項２】
前記少なくとも１つの各対象物が、人の識別、人が行った行動、および関節角度のうちの１つであることを特徴とする請求項１に記載のデータ構造。
【請求項３】
前記少なくとも１つの対象物の前記少なくとも１つの特徴が、歩行運動、登り運動および下り運動のうちの少なくとも１つであることを特徴とする請求項２に記載のデータ構造。
【請求項４】
前記少なくとも１つの対象物が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの１つであることを特徴とする請求項１に記載のデータ構造。
【請求項５】
前記少なくとも１つの対象物の前記少なくとも１つの特徴が、微笑んでいる表情、まじめな表情およびあくびをしている表情のうちの少なくとも１つであることを特徴とする請求項４に記載のデータ構造。
【請求項６】
前記第１のデータ要素が、少なくとも２つの原始関数により定義されることを特徴とする請求項１に記載のデータ構造。
【請求項７】
前記原始関数が、人の識別、人が行った行動および関節角度のうちの少なくとも１つを含むことを特徴とする請求項６に記載のデータ構造。
【請求項８】
前記原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの少なくとも１つを含むことを特徴とする請求項６に記載のデータ構造。
【請求項９】
前記第１のデータ要素が、前記原始関数に基づいて編成されたテンソルを形成することを特徴とする請求項６に記載のデータ構造。
【請求項１０】
前記第２のデータ要素が、少なくとも２つの原始関数により定義されることを特徴とする請求項１に記載のデータ構造。
【請求項１１】
前記対象物記述子が、ｎモードの正規直交分解手順により入手されることを特徴とする請求項１に記載のデータ構造。
【請求項１２】
前記第２のデータ要素が生成モデルにより生成されることを特徴とする請求項１に記載のデータ構造。
【請求項１３】
サンプル対象物記述子に基づいて、サンプル対象物を識別するためのデータ構造であって、
少なくとも２つの第１の原始関数により定義される情報を含む複数の第１のデータ要素であって、前記第１のデータ要素が複数の対象物記述子の中の少なくとも１つを入手するために使用することができる複数の第１のデータ要素と、
少なくとも２つの第２の原始関数により定義される情報を含む複数の第２のデータ要素とを備え、前記第２のデータ要素が前記サンプル対象物記述子を入手するために使用することができ、前記対象物記述子の中の前記少なくとも１つが、前記サンプル対象物記述子を前記対象物記述子の中の１つとして潜在的に識別することができるかどうかを判断するために、前記サンプル対象物記述子と比較されるように構成されていて、前記複数の各対象物記述子が複数の対象物のそれぞれに関連していることを特徴とするデータ構造。
【請求項１４】
前記サンプル対象物が、人の識別、人が行った行動および関節角度のうちの１つであることを特徴とする請求項１３に記載のデータ構造。
【請求項１５】
前記各対象物が、人の識別、人が行った行動および人の関節の関節角度のうちの１つであることを特徴とする請求項１３に記載のデータ構造。
【請求項１６】
前記各対象物および前記サンプル対象物が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの１つであることを特徴とする請求項１３に記載のデータ構造。
【請求項１７】
前記第１の原始関数が、人の識別、人が行った行動および人の関節の関節角度を含むことを特徴とする請求項１３に記載のデータ構造。
【請求項１８】
前記第１の原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルを含むことを特徴とする請求項１３に記載のデータ構造。
【請求項１９】
前記第２の原始関数が、人の識別、人が行った行動および人の関節の関節角度を含むことを特徴とする請求項１３に記載のデータ構造。
【請求項２０】
前記第２の原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルを含むことを特徴とする請求項１３に記載のデータ構造。
【請求項２１】
前記第１のデータ要素が、前記第１の原始関数に基づいて編成されたテンソルを形成することを特徴とする請求項１３に記載のデータ構造。
【請求項２２】
前記第２のデータ要素が、前記第２の原始関数に基づいて編成されたテンソルを形成することを特徴とする請求項１３に記載のデータ構造。
【請求項２３】
前記各対象物記述子および前記サンプル対象物記述子が、ｎモードの１つの値の分解手順により入手されることを特徴とする請求項１３に記載のデータ構造。
【請求項２４】
前記サンプル対象物を、前記対象物の中の１つとして潜在的に識別することができるかどうかを判断するために、前記サンプル対象物記述子の大きさが前記対象物記述子のそれぞれの大きさと比較されることを特徴とする請求項１３に記載のデータ構造。
【請求項２５】
少なくとも１つの対象物の対象物記述子を生成するための方法であって、
少なくとも１つの対象物の少なくとも１つの特徴に関する情報を含む複数の第１のデータ要素を収集するステップと、
前記第１のデータ要素の情報に基づいて、前記対象物の前記少なくとも１つの特徴およびもう１つの特徴に関連する前記対象物記述子を入手するステップと、
前記対象物記述子に基づいて、前記少なくとも１つの対象物の前記もう１つの特徴に関する情報を含む複数の第２のデータ要素を生成するステップとを含むことを特徴とする方法。
【請求項２６】
前記少なくとも１つの各対象物が、人の識別、人が行った行動および関節角度のうちの１つであることを特徴とする請求項２５に記載の方法。
【請求項２７】
前記少なくとも１つの対象物の前記少なくとも１つの特徴が、歩行運動、登り運動および下り運動のうちの少なくとも１つであることを特徴とする請求項２５に記載の方法。
【請求項２８】
前記少なくとも１つの対象物が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルであることを特徴とする請求項２５に記載の方法。
【請求項２９】
前記少なくとも１つの対象物の前記少なくとも１つの特徴が、微笑んでいる表情、まじめな表情およびあくびをしている表情のうちの少なくとも１つであることを特徴とする請求項２５に記載の方法。
【請求項３０】
前記第１のデータ要素が、少なくとも２つの原始関数により定義されることを特徴とする請求項２５に記載の方法。
【請求項３１】
前記原始関数が、人の識別、人が行った行動および関節角度のうちの少なくとも１つを含むことを特徴とする請求項３０に記載の方法。
【請求項３２】
前記原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの少なくとも１つを含むことを特徴とする請求項３０に記載の方法。
【請求項３３】
前記第１のデータ要素が、前記原始関数に基づいて編成されたテンソルを形成することを特徴とする請求項３０に記載の方法。
【請求項３４】
前記第２のデータ要素が、少なくとも２つの原始関数に基づいて編成されたテンソルを形成することを特徴とする請求項２５に記載の方法。
【請求項３５】
前記対象物記述子が、ｎモードの１つの値の分解手順により入手されることを特徴とする請求項２５に記載の方法。
【請求項３６】
前記第２のデータ要素が生成モデルにより生成することを特徴とする請求項２５に記載の方法。
【請求項３７】
サンプル対象物記述子に基づいて、サンプルを識別するための方法であって、
少なくとも２つの原始関数により定義される複数のデータ要素を収集するステップと、
前記データ要素の情報に基づいて、複数の対象物記述子の中の少なくとも１つを入手するステップと、
前記サンプル対象物記述子を、前記対象物記述子の中の１つとして識別することができるかどうかを判断するために、前記サンプル対象物記述子を少なくとも１つの前記対象物記述子と比較するステップであって、前記各対象物記述子が複数の各対象物と関連するステップとを含むことを特徴とする方法。
【請求項３８】
前記サンプル対象物が、人の識別、人が行った行動および関節角度のうちの１つであることを特徴とする請求項３７に記載の方法。
【請求項３９】
前記各サンプル対象物が、人の識別、人が行った行動および関節角度のうちの１つであることを特徴とする請求項３７に記載の方法。
【請求項４０】
前記サンプル対象物が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの１つであることを特徴とする請求項３７に記載の方法。
【請求項４１】
前記各対象物が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの１つであることを特徴とする請求項３７に記載の方法。
【請求項４２】
前記原始関数が、人の識別、人が行った行動および関節角度のうちの１つを含むことを特徴とする請求項３７に記載の方法。
【請求項４３】
前記原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの少なくとも１つを含むことを特徴とする請求項３７に記載の方法。
【請求項４４】
前記データ要素が、前記原始関数に基づいて編成されたテンソルを形成することを特徴とする請求項３７に記載の方法。
【請求項４５】
前記サンプル対象物のもう１つの特徴を記述する複数のもう１つのデータ要素を生成するステップをさらに含み、前記もう１つのデータ要素が、少なくとも２つの原始関数により定義されることを特徴とする請求項３７に記載の方法。
【請求項４６】
前記入手ステップが、ｎモードの１つの値の分解手順により、前記各サンプル対象物記述子を抽出するステップを含むことを特徴とする請求項３７に記載の方法。
【請求項４７】
前記入手ステップが、ｎモードの１つの値の分解手順により、前記複数の対象物記述子の中の少なくとも１つを抽出するステップを含むことを特徴とする請求項３７に記載の方法。
【請求項４８】
前記比較ステップが、前記サンプル対象物を、前記対象物の中の第１および第２の対象物の１つとして潜在的に識別することができるかどうかを判断するために、前記サンプル対象物記述子の大きさを、前記対象物記述子の大きさと比較するステップを含むことを特徴とする請求項３７に記載の方法。
【請求項４９】
少なくとも１つの対象物の対象物記述子を生成することができるソフトウェア・プログラムを記憶するための記憶媒体であって、前記ソフトウェア・プログラムが、処理装置により実行される場合に、前記処理装置に、
前記少なくとも１つの対象物の少なくとも１つの特徴に関する情報を含む、複数の第１のデータ要素を収集するステップと、
前記第１のデータ要素の情報に基づいて、前記対象物の前記少なくとも１つの特徴およびもう１つの特徴に関連する前記対象物記述子を入手するステップと、
前記対象物記述子に基づいて、前記少なくとも１つの対象物の前記もう１つの特徴に関する情報を含む複数の第２のデータ要素を生成するステップと、
を実行させるように構成されることを特徴とする記憶媒体。
【請求項５０】
前記少なくとも１つの各対象物が、人の識別、人が行った行動、および関節角度のうちの１つであることを特徴とする請求項４９に記載の記憶媒体。
【請求項５１】
前記少なくとも１つの対象物の前記少なくとも１つの特徴が、歩行運動、登り運動および下り運動のうちの少なくとも１つであることを特徴とする請求項４９に記載の記憶媒体。
【請求項５２】
前記少なくとも１つの対象物が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルであることを特徴とする請求項４９に記載の記憶媒体。
【請求項５３】
前記少なくとも１つの対象物の前記少なくとも１つの特徴が、微笑んでいる表情、まじめな表情およびあくびをしている表情のうちの少なくとも１つであることを特徴とする請求項４９に記載の記憶媒体。
【請求項５４】
前記第１のデータ要素が、少なくとも２つの原始関数により定義されることを特徴とする請求項４９に記載の記憶媒体。
【請求項５５】
前記原始関数が、人の識別、人が行った行動および関節角度のうちの少なくとも１つを含むことを特徴とする請求項５４に記載の記憶媒体。
【請求項５６】
前記原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの少なくとも１つを含むことを特徴とする請求項５４に記載の記憶媒体。
【請求項５７】
前記第１のデータ要素が、前記原始関数に基づいて編成されたテンソルを形成することを特徴とする請求項５４に記載の記憶媒体。
【請求項５８】
前記第２のデータ要素が、少なくとも２つの原始関数に基づいてテンソルを形成することを特徴とする請求項４９に記載の記憶媒体。
【請求項５９】
前記対象物記述子が、ｎモードの１つの値の分解手順により入手されることを特徴とする請求項４９に記載の記憶媒体。
【請求項６０】
前記第２のデータ要素が生成モデルにより生成することを特徴とする請求項４９に記載の記憶媒体。
【請求項６１】
サンプル対象物記述子に基づいてサンプル対象物を識別するためのソフトウェア・プログラムを含む記憶媒体であって、前記ソフトウェア・プログラムが、処理装置によって実行される場合に、前記処理装置に、
少なくとも２つの原始関数により定義される複数のデータ要素を収集するステップと、
前記データ要素の情報に基づいて、複数の対象物記述子の中の少なくとも１つを入手するステップと、
前記サンプル対象物記述子を、前記対象物記述子の中の少なくとも１つとして識別することができるかどうかを判断するために、前記サンプル対象物記述子を前記対象物記述子の中の少なくとも１つと比較するステップであって、前記各対象物記述子が複数の各対象物と関連するステップと、
を実行するように構成されることを特徴とする記憶媒体。
【請求項６２】
前記サンプル対象物が、人の識別、人が行った行動および関節角度のうちの１つであることを特徴とする請求項６１に記載の記憶媒体。
【請求項６３】
前記各対象物が、人の識別、人が行った行動および関節角度のうちの１つであることを特徴とする請求項６１に記載の記憶媒体。
【請求項６４】
前記サンプル対象物が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの１つであることを特徴とする請求項６１に記載の記憶媒体。
【請求項６５】
前記各対象物が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの１つであることを特徴とする請求項６１に記載の記憶媒体。
【請求項６６】
前記原始関数が、人の識別、人が行った行動および関節角度のうちの少なくとも１つを含むことを特徴とする請求項６１に記載の記憶媒体。
【請求項６７】
前記原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの少なくとも１つを含むことを特徴とする請求項６１に記載の記憶媒体。
【請求項６８】
前記第１のデータ要素が、前記原始関数に基づいて編成されたテンソルを形成することを特徴とする請求項６１に記載の記憶媒体。
【請求項６９】
さらに、前記サンプル対象物のもう１つの特徴を記述する複数のもう１つのデータ要素を生成するステップを含み、前記もう１つのデータ要素が、少なくとも２つの別の原始関数により定義されることを特徴とする請求項６１に記載の記憶媒体。
【請求項７０】
前記もう１つの原始関数および前記原始関数が同じものであることを特徴とする請求項６９に記載の記憶媒体。
【請求項７１】
前記入手ステップが、ｎモードの１つの値の分解手順により、前記各サンプル対象物記述子および前記複数の対象物記述子の中の少なくとも１つを抽出するステップを含むことを特徴とする請求項６１に記載の記憶媒体。
【請求項７２】
前記比較ステップが、前記サンプル対象物を、前記対象物の中の第１および第２の対象物の１つとして潜在的に識別することができるかどうかを判断するために、前記サンプル対象物記述子の大きさを前記対象物記述子の大きさと比較するステップを含むことを特徴とする請求項６１に記載の記憶媒体。
【請求項７３】
少なくとも２つの対象物記述子用のデータ構造であって、
少なくとも２つの原始関数により定義された情報を含む複数のデータ要素を備え、前記対象物記述子の中の１つを入手するために、前記データ要素を使用することができ、前記対象物記述子の中の前記１つが、低減した次元を有することができることを特徴とするデータ構造。
【請求項７４】
低減した次元を有する前記対象物記述子の中の１つを除いて、前記各対象物記述子が全次元を維持することを特徴とする請求項７３に記載のデータ構造。
【請求項７５】
前記原始関数が、人の識別、人が行った行動および関節角度のうちの少なくとも１つを含むことを特徴とする請求項７３に記載のデータ構造。
【請求項７６】
前記原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの少なくとも１つを含むことを特徴とする請求項７３に記載のデータ構造。
【請求項７７】
前記各対象物記述子が、複数の対象物のそれぞれに関連していることを特徴とする請求項７３に記載のデータ構造。
【請求項７８】
前記データ要素が、前記原始関数に基づいて編成されたテンソルを形成することを特徴とする請求項７３に記載のデータ構造。
【請求項７９】
前記少なくとも２つの対象物記述子の中の前記１つが、ｎモードの１つの値の分解手順により入手されることを特徴とする請求項７３に記載のデータ構造。
【請求項８０】
前記対象物記述子の中の前記１つの次元が、ｎモード直交反復手順により低減されることを特徴とする請求項７３に記載のデータ構造。
【請求項８１】
少なくとも２つの対象物記述子のうちの一方の次元を低減するための方法であって、
少なくとも２つの原始関数により定義される複数のデータ要素を収集するステップと、
前記データ要素の情報に基づいて、前記対象物記述子の中の前記１つを入手するステップと、
前記対象物記述子の中の前記１つの次元を低減するステップとを含むことを特徴とする方法。
【請求項８２】
低減した次元を有する前記対象物記述子の中の前記１つを除いて、前記各対象物記述子が全次元を維持することを特徴とする請求項８１に記載のデータ構造。
【請求項８３】
前記原始関数が、人の識別、人が行った行動および関節角度のうちの少なくとも１つを含むことを特徴とする請求項８１に記載の方法。
【請求項８４】
前記原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの少なくとも１つを含むことを特徴とする請求項８１に記載の方法。
【請求項８５】
前記各対象物記述子が、複数の対象物のそれぞれに関連していることを特徴とする請求項８１に記載の方法。
【請求項８６】
前記データ要素が、前記原始関数に基づいて編成されたテンソルを形成することを特徴とする請求項８１に記載の方法。
【請求項８７】
前記少なくとも２つの対象物記述子の中の前記１つが、ｎモードの１つの値の分解手順により入手されることを特徴とする請求項８１に記載の方法。
【請求項８８】
前記対象物記述子の中の前記１つの次元が、ｎモード直交反復手順により低減されることを特徴とする請求項８１に記載の方法。
【請求項８９】
少なくとも２つの対象物記述子のうちの一方の次元を低減するためのソフトウェア・プログラムを記憶している記憶媒体であって、前記ソフトウェア・プログラムが、処理装置によって実行される場合に、前記処理装置に、
少なくとも２つの原始関数により定義される複数のデータ要素を収集するステップと、
前記データ要素の情報に基づいて、前記対象物記述子の中の前記１つを入手するステップと、
前記対象物記述子の中の前記１つの次元を低減するステップと、
を実行させるように構成されることを特徴とする記憶媒体。
【請求項９０】
低減した次元を有する前記対象物記述子の中の前記１つを除いて、前記各対象物記述子が全次元を維持することを特徴とする請求項８９に記載の記憶媒体。
【請求項９１】
前記原始関数が、人の識別、人が行った行動および関節角度のうちの少なくとも１つを含むことを特徴とする請求項８９に記載の記憶媒体。
【請求項９２】
前記原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの少なくとも１つを含むことを特徴とする請求項８９に記載の記憶媒体。
【請求項９３】
前記各対象物記述子が、複数の対象物のそれぞれに関連していることを特徴とする請求項８９に記載の記憶媒体。
【請求項９４】
前記データ要素が、前記原始関数に基づいて編成されたテンソルを形成することを特徴とする請求項８９に記載の記憶媒体。
【請求項９５】
前記少なくとも２つの対象物記述子の中の前記１つが、ｎモードの１つの値の分解手順により入手されることを特徴とする請求項８９に記載の記憶媒体。
【請求項９６】
前記対象物記述子の中の前記１つの次元が、ｎモード直交反復手順により低減されることを特徴とする請求項８９に記載の記憶媒体。
【請求項９７】
少なくとも１つの対象物の対象物記述子を生成するための論理装置であって、前記論理装置が、
前記少なくとも１つの対象物の少なくとも１つの特徴に関する情報を含む複数の第１のデータ要素を収集するステップと、
前記第１のデータ要素の情報に基づいて、前記対象物の前記少なくとも１つの特徴およびもう１つの特徴に関連する前記対象物記述子を入手するステップと、
前記対象物記述子に基づいて、前記少なくとも１つの対象物の前記もう１つの特徴に関する情報を含む複数の第２のデータ要素を生成するステップと、
を実行するために処理装置により実行することができることを特徴とする論理装置。
【請求項９８】
前記少なくとも１つの各対象物が、人の識別、人が行った行動、および関節角度のうちの１つであることを特徴とする請求項９７に記載の論理装置。
【請求項９９】
前記少なくとも１つの対象物の前記少なくとも１つの特徴が、歩行運動、登り運動および下り運動のうちの少なくとも１つであることを特徴とする請求項９７に記載の論理装置。
【請求項１００】
前記少なくとも１つの対象物が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルであることを特徴とする請求項９７に記載の論理装置。
【請求項１０１】
サンプル対象物記述子に基づいて、サンプル対象物を識別するための論理装置であって、前記論理装置が、
少なくとも２つの原始関数により定義される複数のデータ要素を収集するステップと、
前記データ要素の情報に基づいて、複数の対象物記述子の中の少なくとも１つを入手するステップと、
前記サンプル対象物記述子を、前記対象物記述子の中の１つとして識別することができるかどうかを判断するために、前記サンプル対象物記述子を、対象物記述子の中の少なくとも１つと比較するステップであって、前記各対象物記述子が、複数の各対象物と関連するステップと、
を実行するために処理装置により実行することができることを特徴とする論理装置。
【請求項１０２】
前記原始関数が、人の識別、人が行った行動および関節角度のうちの少なくとも１つを含むことを特徴とする請求項１０１に記載の論理装置。
【請求項１０３】
前記原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの少なくとも１つを含むことを特徴とする請求項１０１に記載の論理装置。
【請求項１０４】
前記データ要素が、前記原始関数に基づいて編成されたテンソルを形成することを特徴とする請求項１０１に記載の論理装置。
【請求項１０５】
前記サンプル対象物のもう１つの特徴を記述する複数の別のデータ要素を生成するステップをさらに含み、前記別のデータ要素が、少なくとも２つの原始関数により定義されることを特徴とする請求項１０１に記載の論理装置。
【請求項１０６】
少なくとも２つの対象物記述子のうちの一方の次元を低減するための論理装置であって、
少なくとも２つの原始関数により定義される複数のデータ要素を収集するステップと、
前記データ要素の情報に基づいて、前記対象物記述子の中の前記１つを入手するステップと、
前記対象物記述子の中の前記１つの次元を低減するステップと、
を実行するために処理装置により実行することができることを特徴とする論理装置。
【請求項１０７】
低減した次元を有する前記対象物記述子の中の前記１つを除いて、前記各対象物記述子が全次元を維持することを特徴とする請求項１０６に記載の論理装置。
【請求項１０８】
前記原始関数が、人の識別、人が行った行動および関節角度のうちの少なくとも１つを含むことを特徴とする請求項１０６に記載の論理装置。
【請求項１０９】
前記原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの少なくとも１つを含むことを特徴とする請求項１０６に記載の論理装置。
【請求項１１０】
前記対象物記述子の中の前記１つの次元が、ｎモード直交反復手順により低減されることを特徴とする請求項１０６に記載の論理装置。
【請求項１１１】
対象物記述子を生成するためのデータ構造であって、
少なくとも２つの原始関数により定義される複数のデータ要素を備え、前記データ要素の情報を、正規直交分解手順により前記対象物記述子を入手するために使用することができることを特徴とするデータ構造。
【請求項１１２】
前記データ要素が、前記原始関数に基づいて編成されたテンソルを形成していて、前記テンソルが一定の次数を有することを特徴とする請求項１１１に記載のデータ構造。
【請求項１１３】
前記ｎモードの正規直交分解手順が、ｎモードの特異値分解手順であることを特徴とする請求項１１２に記載のデータ構造。
【請求項１１４】
前記ｎモードの特異値分解手順が、前記テンソルをコア・テンソルおよび少なくとも２つの正規直交行列に分解することができることを特徴とする請求項１１３に記載のデータ構造。
【請求項１１５】
前記各原始関数が、人の識別、人が行った行動および関節角度のうちの１つであることを特徴とする請求項１１１に記載のデータ構造。
【請求項１１６】
前記各原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの１つであることを特徴とする請求項１１１に記載のデータ構造。
【請求項１１７】
対象物記述子を生成するための方法であって、
少なくとも２つの原始関数により定義される複数のデータ要素を収集するステップと、
ｎモードの正規直交分解手順により、前記データ要素の情報に基づいて前記対象物記述子を入手するステップとを含むことを特徴とする方法。
【請求項１１８】
前記データ要素が、前記原始関数に基づいて編成されたテンソルを形成していて、前記テンソルが一定の次数を有することを特徴とする請求項１１７に記載の方法。
【請求項１１９】
前記ｎモードの正規直交分解手順が、ｎモードの特異値分解手順であることを特徴とする請求項１１８に記載の方法。
【請求項１２０】
前記ｎモードの特異値分解手順が、前記テンソルをコア・テンソルおよび少なくとも２つの正規直交行列に分解することができることを特徴とする請求項１１９に記載の方法。
【請求項１２１】
前記各原始関数が、人の識別、人が行った行動および関節角度のうちの１つであることを特徴とする請求項１１７に記載の方法。
【請求項１２２】
前記各原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの１つであることを特徴とする請求項１１７に記載の方法。
【請求項１２３】
対象物記述子を生成することができるソフトウェア・プログラムを記憶している記憶媒体であって、前記ソフトウェア・プログラムが、処理装置によって実行される場合に、前記処理装置に、
少なくとも２つの原始関数により定義される複数のデータ要素を収集するステップと、
前記データ要素の情報に基づいて、ｎモードの正規直交分解プロセスにより、前記対象物記述子を入手するステップと
を実行させるように構成されることを特徴とする記憶媒体。
【請求項１２４】
前記データ要素が、前記原始関数に基づいて編成されたテンソルを形成していて、前記テンソルが一定の次数を有することを特徴とする請求項１２３に記載の記憶媒体。
【請求項１２５】
前記ｎモードの正規直交分解手順が、ｎモードの特異値分解手順であることを特徴とする請求項１２４に記載の記憶媒体。
【請求項１２６】
前記ｎモードの特異値分解手順が、前記テンソルを１つのコア・テンソルおよび少なくとも２つの正規直交行列に分解することができることを特徴とする請求項１２５に記載の記憶媒体。
【請求項１２７】
前記各原始関数が、人の識別、人が行った行動および関節角度のうちの１つであることを特徴とする請求項１２３に記載の記憶媒体。
【請求項１２８】
前記各原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの１つであることを特徴とする請求項１２３に記載の記憶媒体。
【請求項１２９】
対象物記述子を生成するための論理装置であって、前記論理装置を、
少なくとも２つの原始関数により定義される複数のデータ要素を収集するステップと、
ｎモードの正規直交分解手順により、前記データ要素の情報に基づいて、前記対象物記述子を入手するステップと、
を実行するために処理装置により実行することができることを特徴とする論理装置。
【請求項１３０】
前記データ要素が、前記原始関数に基づいて編成されたテンソルを形成していて、前記テンソルが一定の次数を有することを特徴とする請求項１２９に記載の論理装置。
【請求項１３１】
前記ｎモードの正規直交分解手順が、ｎモードの特異値分解手順であることを特徴とする請求項１３０に記載の論理装置。
【請求項１３２】
前記ｎモードの特異値分解手順が、前記テンソルをコア・テンソルおよび少なくとも２つの正規直交行列に分解することができることを特徴とする請求項１３１に記載の論理装置。
【請求項１３３】
前記各原始関数が、人の識別、人が行った行動および関節角度のうちの１つであることを特徴とする請求項１２９に記載の論理装置。
【請求項１３４】
前記各原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの１つであることを特徴とする請求項１２９に記載の論理装置。
【請求項１３５】
情報を収集するための方法であって、
少なくとも２つの原始関数により定義される複数のデータ要素を収集するステップと、
既知の値を有する前記原始関数により編成されている前記データ要素に基づいて、少なくとも１つの第１のテンソルを形成するステップと、
既知の値を有する前記原始関数により編成されている前記データ要素に基づいて、少なくとも１つの第２のテンソルを形成するステップとを含むことを特徴とする方法。
【請求項１３６】
前記各原始関数が、人の識別、人が行った行動および関節角度のうちの１つであることを特徴とする請求項１３４に記載の方法。
【請求項１３７】
前記各原始関数が、人の識別、観察位置、照明、人が浮かべる表情およびピクセルのうちの１つであることを特徴とする請求項１３５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、データを入手するための論理装置、データ構造、システムおよび方法に関し、特に、対象物の少なくとも１つの特徴を記述するデータを入手し、新しいデータを合成し、入手したデータを認識し、対象物（例えば、人）の１つまたはそれ以上の特徴を記述するデータ量を低減するための論理装置、データ構造、システムおよび方法に関する。
【０００２】
（関連出願との相互参照）
本出願は、引用によってその全文を本明細書の記載に援用する、特許文献１、特許文献２，特許文献３の優先権を主張する。
【背景技術】
【０００３】
自然の画像は、背景の構造、照明および画像形成に関連する複数の要因を合成したものである。これらの要因がかなり変化しても、人間の知覚は自然の画像を依然として認識することができる。例えば、人間は、顔の幾何学的形状、表情、頭の外観および照明条件が種々様々に変化しても、顔を認識することができる驚くべき能力を有している。
【０００４】
従来のいくつかの顔認識システムは、主成分解析（「ＰＣＡ」）、独立成分解析（「ＩＣＡ」）のような線形モデルの助けを借りて開発されたものである。主成分解析（「ＰＣＡ」）は、従来の顔の画像認識システムおよびプロセスで使用されてきた一般に使用されている線形技術である。その性質により、線形モデルは、画像形成の際に１つの要因が変化する場合に最もよく機能する。それ故、顔認識システムのための線形技術は、人のＩＤ（識別）が唯一変化することができる要因である場合にうまく機能する。しかし、他の要因（照明、観察位置および表情など）も顔の画像を修正できる場合には、線形顔認識システムの認識率は、劇的に低減する恐れがある。
【０００５】
同様に、人間の運動も、行った行動、特定の個人の動きの特有のパターンを捕捉する運動の署名を含む複数の要素を合成したものである。これらの要因が大きく変化しても、人間の認識は、このような動きの特定の特徴を認識することができる。１９６０年代には、心理学者のＧｕｎｎａｒ  Ｋｏｈａｎｓｓｏｎは、ライトを人の手足に取り付け、異なる活動（例えば、歩行、走行および踊りなど）を行う人をビデオ撮影するという一連の実験を行った。ライトだけを見ることができるこれらの移動するライト・ビデオの観察者に、行った活動を分類するように求め、のろのろ歩行またはエネルギッシュな／疲れた歩行のような動きのいくつかの特徴に注目するように求めた。このタスクは簡単に行うことができ、観察者は、ある場合には、この方法により特定の個人を見分けることができ、認識することさえできた。運動の署名は人間の運動の知覚できる要素であり、運動の署名は実際の運動のタイプから切り離すことができる実体的な量であるという考えを裏付けるものであるといえる。
【０００６】
しかし、従来の技術の欠点のうちの少なくともいくつかを克服しなければならない。
【０００７】
【特許文献１】米国特許出願第６０／３３７，９１２号公報
【特許文献２】米国特許出願第６０／３８３，３００号公報
【特許文献３】米国特許出願第６０／４０２，３７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明を使用すれば、上記欠点を解決することができる。本発明の１つの目的は、対象物記述子を生成するための論理装置、データ構造、記憶媒体、システムおよび方法を提供することである。本発明の例示としての実施形態の場合には、このようなデータ構造は、少なくとも１つの対象物の少なくとも１つの特徴に関する情報を有する複数の第１のデータ要素を含むことができる。第１のデータ要素の情報は、対象物記述子を入手するために使用することができる。対象物記述子は、少なくとも１つの対象物の少なくとも１つの特徴、およびもう１つの特徴に関連していて、対象物記述子に基づいて、少なくとも１つの対象物のもう１つの特徴に関する情報を含む複数の第２のデータ要素を生成するために使用することができる。
【課題を解決するための手段】
【０００９】
本発明の他の実施形態の場合には、本発明の方法は、少なくとも１つの対象物の少なくとも１つの特徴に関する情報を含む複数の第１のデータ要素を含むことができる。対象物記述子は、第１のデータ要素の情報に基づいて入手され、対象物の少なくとも１つの特徴およびもう１つの特徴と関連している。複数の第２のデータ要素は、対象物記述子に基づく少なくとも１つの対象物のもう１つの特徴に関する情報を含む。
【００１０】
本発明のさらにもう１つの例示としての実施形態の場合には、記憶媒体は、処理装置により実行された場合、処理装置に一連のステップを実行させるように構成されているソフトウェア・プログラムを含む。一連のステップは、少なくとも１つの対象物の少なくとも１つの特徴に関する情報を含む複数の第１のデータ要素を含むことができる。対象物記述子は、第１のデータ要素の情報に基づいて入手され、対象物の少なくとも１つの特徴およびもう１つの特徴と関連している。複数の第２のデータ要素は、対象物記述子に基づく少なくとも１つの対象物のもう１つの特徴に関する情報を含む。
【００１１】
本発明のもう１つの例示としての実施形態の場合には、論理装置は、一連のステップを実行するために処理装置により実行することができる。一連のステップは、少なくとも１つの対象物の少なくとも１つの特徴に関する情報を含む複数の第１のデータ要素を含むことができる。対象物記述子は、第１のデータ要素の情報に基づいて入手され、対象物の少なくとも１つの特徴およびもう１つの特徴と関連している。複数の第２のデータ要素は、対象物記述子に基づく少なくとも１つの対象物のもう１つの特徴に関する情報を含む。
【００１２】
本発明のもう１つの目的は、サンプル対象物記述子に基づいて、複数の対象物のサンプル対象物を識別するための論理装置、データ構造、記憶媒体、システムおよび方法を提供することである。本発明の例示としての実施形態の場合には、このようなデータ構造は、少なくとも２つの第１の原始関数が定義する情報を有する複数の第１のデータ要素を含むことができる。第１のデータ要素は、複数の対象物記述子の中の少なくとも１つを入手するために使用することができる。例示としてのデータ構造は、また、少なくとも２つの第２の原始関数が定義する情報を有する複数の第２のデータ要素を含むことができる。第２のデータ要素は、サンプル対象物記述子を入手するために使用することができる。少なくとも１つの入手した対象物記述子は、対象物が対象物記述子の中の１つとして、潜在的に識別することができるかどうかを判断するために、サンプル対象物記述子と比較されるように構成されている。複数の各対象物記述子は、複数の各対象物に関連している。
【００１３】
本発明のもう１つの例示としての実施形態の場合には、本発明の方法は、少なくとも２つの原始関数が定義する複数のデータ要素を含むことができる。複数の対象物記述子の中の少なくとも１つは、データ要素の情報に基づいて入手することができる。サンプル対象物記述子は、サンプル対象物記述子が、対象物記述子の中の１つとして識別することができるかどうかを判断するために、対象物記述子の中の少なくとも１つと比較される。各対象物記述子は、複数の各対象物と関連している。
【００１４】
本発明のさらにもう１つの例示としての実施形態の場合には、記憶媒体は、処理装置により実行された場合、処理装置に一連のステップを実行させるように構成されているソフトウェア・プログラムを含む。一連のステップは、少なくとも２つの原始関数が定義する複数のデータ要素を含むことができる。複数の対象物記述子の中の少なくとも１つは、データ要素の情報に基づいて入手される。サンプル対象物記述子は、サンプル対象物記述子が、対象物記述子の中の１つとして識別することができるかどうかを判断するために、対象物記述子の中の少なくとも１つと比較される。各対象物記述子は、複数の各対象物と関連している。
【００１５】
本発明のもう１つの例示としての実施形態の場合には、論理装置は、一連のステップを実行するために処理装置により実行することができる。一連のステップは、少なくとも２つの原始関数が定義する複数のデータ要素を含むことができる。複数の対象物記述子の中の少なくとも１つは、データ要素の情報に基づいて入手される。サンプル対象物記述子は、サンプル対象物記述子が、対象物記述子の中の１つとして識別することができるかどうかを判断するために、対象物記述子の中の少なくとも１つと比較される。各対象物記述子は、複数の各対象物と関連している。
【００１６】
本発明のさらにもう１つの目的は、少なくとも２つの対象物記述子のうちの一方の次元を低減するための論理装置、データ構造、記憶媒体、システムおよび方法を提供することである。本発明の例示としての実施形態の場合には、このようなデータ構造は、少なくとも２つの原始関数が定義する情報を有する複数のデータ要素を含むことができる。データ要素は、対象物記述子の中の１つを入手するために使用することができる。対象物記述子の中の１つは、低減した次元を有することができる。
【００１７】
本発明のもう１つの例示としての実施形態の場合には、本発明の方法は、少なくとも２つの原始関数が定義する複数のデータ要素を含むことができる。データ要素の情報に基づいて対象物記述子の中の１つが入手される。対象物記述子の中の１つの次元は低減される。
【００１８】
本発明のさらにもう１つの例示としての実施形態の場合には、記憶媒体は、処理装置により実行された場合、処理装置に一連のステップを実行させるように構成されているソフトウェア・プログラムを含む。一連のステップは、少なくとも２つの原始関数が定義する複数のデータ要素を含むことができる。データ要素の情報に基づいて対象物記述子の中の１つが入手される。対象物記述子の中の１つの次元が低減される。
【００１９】
本発明のもう１つの例示としての実施形態の場合には、論理装置は、一連のステップを実行するために処理装置により実行することができる。一連のステップは、少なくとも２つの原始関数が定義する複数のデータ要素を含むことができる。データ要素の情報に基づいて対象物記述子の中の１つが入手される。対象物記述子の中の１つの次元は低減される。
【００２０】
本発明の例示としての実施形態を示す添付の図面を参照しながら、以下の詳細な説明を読めば、本発明の他の目的、特徴および利点を理解することができるだろう。
【００２１】
図面全体を通して、同じ参照番号および記号は、別段の指定がない限り、図の実施形態の類似の機能、要素、構成部材または一部を示すために使用する。さらに、図面を参照しながら以下に本発明について詳細に説明するが、この説明は例示としての実施形態を参照しながら行う。添付の特許請求の範囲に記載する本発明の真の範囲および精神から逸脱することなしに、記述の実施形態を種々に変化および修正することができる。
【発明を実施するための最良の形態】
【００２２】
図１は、いくつかの対象物の種々の特徴を記述するデータの収集および分析の際に使用するデータ分析システム１００の例示としての実施形態である。この実施形態の場合には、中央サーバ１０２は、システム１００内に位置していて、その内部に中央処理装置（「ＣＰＵ」）１０４、データ記憶装置１０６およびデータベース１０８を含む。中央サーバ１０２は、通信ネットワーク１１０に接続していて、この通信ネットワークはデータ捕捉システム１１２に接続している。データ捕捉システム１１２は、少なくとも１台のカメラ（図面を簡単にするために図示していない）を含むことができる。第１のクライアント・サーバ１１４はシステム１００内に位置していて、その内部にＣＰＵ１１６、データ記憶装置１１８、およびデータベース１２０を含む。第１のクライアント・サーバ１１４は、通信ネットワーク１１０に接続している。第２のクライアント・サーバ１２４もシステム１００内に位置していて、ＣＰＵ１２６、データ記憶装置１２８およびデータベース１３０を含む。第２のクライアント・サーバ１２４も、通信ネットワーク１１０に接続している。中央サーバ１０２、画像捕捉システム１１２、第１のクライアント・サーバ１１４および第２のクライアント・サーバ１２４は、通信ネットワーク１１０を通して相互にデータ・メッセージを転送することができることを理解されたい。
【００２３】
本発明の好ましい実施形態の場合には、データ捕捉システム１１２として、少なくとも４台のビデオ・カメラを使用する「ＶＩＣＯＮ」システムを使用することができる。ＶＩＣＯＮシステムは、人間の手足の動き等を捕捉するために使用することができる。
【００２４】
多重線形データ分析アプリケーションは、中央サーバ１０２のデータ記憶装置１０６に記憶することができる。この多重線形データ分析アプリケーションは、未知の個人、未知の対象物、個人が行っている未知の行動、未知の表情、未知の照明、未知の観察位置等を識別することができる。このようなアプリケーションは、また、前に記録したことがない既知の行動を、個人が行っているものとして合成することもできるし、前に記録したことがない表情を個人が浮かべているものとして記録することもできる。さらに、このアプリケーションは、次元低減技術等により、対象物または行動を記述する記憶データの量を低減することができる。次元の低減は圧縮およびデータ低減と同じものであることを理解されたい。多重線形データ分析アプリケーションは、好適には、いくつかの主体からデータ捕捉システム１１２が収集するデータのコーパスを使用することが好ましい。データのコーパスは、サーバ１０２のデータベース１０８に記憶され、テンソルイボＤ（以下、イボＤは、
【数１】
2005514683.tif 000003
のように、イタリック体かつボールド体を表す。同様に、ボＤは、ボールド体、イＤはイタリック体のみを、それぞれ表すものとする。）
として編成することができる。テンソルイボＤについては以下にさらに詳細に説明する。
【００２５】
ｎウェイ・アレイまたは多次元行列、またはｎモード行列とも呼ばれるテンソルは、ベクトル（一次テンソル）および行列（二次テンソル）の高次の一般化である。テンソルは、一組のベクトル空間上での多重線形マッピングであると定義することができる。テンソルは下式、すなわち、イボＡ∈イＩイＲＩ１×Ｉ２×．．．×ＩＮにより表すことができる。ここで、イボＡはテンソルである。テンソルイボＡの次数はイＮである。テンソルは、原始関数のグループにより形成されている。各原始関数は、第１の原始関数が一組のモード１ベクトルであり、第２のベクトルが一組のモード２ベクトルであり、ｎ番目の原始関数が一組のモードｎベクトルであるような一組のモード・ベクトルである。他の実施形態の場合には、原始関数は、行列の行ベクトル、行列の列ベクトル、ベクトルの指数等であってもよい。テンソルイＡの要素は、イＡｉ１．．．ｉｎ．．．ｉＮまたはイａｉ１．．．ｉｎ．．．ｉＮで表される。ここで、１≦イｉｎ≦イＩｎである。スカラは小文字（ａ，ｂ，．．．）で表し、ベクトルは太い小文字で（ボａ，ボｂ，．．．）で表し、行列は太い大文字（ボＡ，ボＢ．．．）で表し、高次のテンソルはイタリックの太い大文字（イボＡ，イボＢ．．．）で表す。
【００２６】
テンソル用語において、列ベクトルはモード１ベクトルと呼ばれ、行ベクトルはモード２ベクトルと呼ばれる。Ｎ番目の次数のテンソルイボＡ∈イＩイＲＩ１×Ｉ２×．．．×ＩＮのモードイｎベクトルは、他の指数は固定しておいて、指数イｉｎを変化させることによりテンソルイボＡから得られるイＩｎ次ベクトルである。モードｎベクトルは、図１２Ａ〜図１２Ｆに示すように、テンソルイボＡを平らにすることにより得ることができる行列ボＡ（ｎ）∈イＩイＲＩｎ×（Ｉ１Ｉ２．．．Ｉｎ−１Ｉｎ＋１．．．ＩＮ）の列ベクトルである。テンソルを平らにする手順については、以下にさらに詳細に説明する。イＲｎで示すテンソルイボＡ∈イＩイＲＩ１×Ｉ２×．．．×ＩＮのｎ階数は、モードイｎベクトルが発生するベクトル空間の次元であると定義される。
イＲｎ＝イｒａｎｋｎ（イボＡ）＝イｒａｎｋ（ボＡ（ｎ））
【００２７】
図１２Ａ〜図１２Ｃは、それぞれ、それぞれが次元Ｉ１×Ｉ２×Ｉ３を有する三次テンソル１２００、１２１０、１２２０を示す。図１２Ｄは、三次テンソル１２００のモード１ベクトルを含む行列１２５０を入手するために、モード１で平らにした後の、三次テンソル１２００を示す。図１２Ａの三次テンソル１２００は、立方体タイプの構造であり、一方、行列１２５０は、行列１２５０内に（ある程度）埋め込まれている１つの指数、すなわち、Ｉ２を有する二次元タイプの構造である。図１２Ｅは、モード２で平らにした後の三次テンソル１２１０のモード２ベクトルを含む行列１２６０である。この三次テンソル１２１０は、立方体タイプの構造であり、一方、行列１２６０は、データと一緒に（ある程度）埋め込まれている１つの指数、例えば、Ｉ３を有する二次元タイプの構造である。図１２Ｆは、三次テンソル１２２０のモード３ベクトルを含む行列１２７０を入手するために、モード３で平らにした後の三次テンソル１２２０を示す。このような三次テンソル１２２０は、立方体タイプの構造であり、一方、行列１２７０は、データと一緒に（ある程度）埋め込まれている１つの指数、例えば、Ｉ１を有する二次元タイプの構造である。
【００２８】
２つの行列の積の一般化は、テンソルと行列との積になる場合がある。イボＡ×ｎボＭで表される行列ボＭ∈イＩイＲＪｎ×ＩｎによるテンソルイボＡ∈イＩイＲＩ１×Ｉ２×．．．Ｉｎ×．．．×ＩＮのモードｎの積は、テンソルイボＢ∈イＩイＲＩ１．．．×Ｉｎ−１×Ｊｎ×Ｉｎ＋１×．．．×ＩＮであり、そのエントリは
【数２】
2005514683.tif 000004
である。テンソルイＢのエントリは、下式により計算される。
【数３】
2005514683.tif 000005
モードイｎの積は、イボＢ＝イボＡ×ｎボＭ、またはボＢ（ｎ）＝ボＭボＡ（ｎ）のような平らにした行列で表すことができる。テンソルおよび行列のモードイｎの積は、多重線形代数およびテンソル分析の場合の内積の特殊なケースである。モードｎの積は、多くの場合、アインシュタインの総和表記法で表されるが、分かりやすくするためにモードイｎの積の記号を使用する。モードイｎの積は、下記の特性を有する。
１．テンソルイボＡ∈イＩイＲＩ１×．．．×Ｉｎ×．．．×Ｉｍ．．．および２つの行列ボＵ∈イＩイＲＪｍ×ＩｍおよびボＶ∈ＩＲＪｎ×Ｉｎである場合、下記の特性は依然として真である。
イボＡ×ｍボＵ×ｎボＶ＝（イボＡ×ｍボＵ）×ｎボＶ
＝（イボＡ×ｎボＶ）×ｍボＵ
＝イボＡ×ｎボＶ×ｍボＵ
２．テンソルイボＡ∈イＩイＲＩ１×．．．×Ｉｎ×．．．×ＩＮおよび２つの行列ボＵ∈イＩイＲＪｎ×ＩｎおよびボＶ∈イＩイＲＫｎ×Ｊｎの場合、下記の特性は依然として真である。
（イボＡ×ｎボＵ）×ｎボＶ＝イボＡ×ｎ（ボＶボＵ）
【００２９】
イＮ次テンソルイボＡ∈イＩイＲＩ１×Ｉ２×．．．×ＩＮは、それがＮ個のベクトルの外積
【数４】
2005514683.tif 000006
として表すことができる場合には、階数１を有する。
。テンソル要素は、イａｉｊ．．．ｍ＝イｕ１ｉイｕ２ｊ．．．イｕＮｍで表される。ここで、イｕ１ｉは、ボｕ１等のイｉ番目の構成部分である。Ｒ＝ｒａｎｋ（イＡ）で表されるＮ次テンソルイボＡの階数は、線形組合わせ内でイＡとなる階数１のテンソルの最も少ない数である。
【数５】
2005514683.tif 000007
【００３０】
特異値分解（ＳＶＤ）は、下記の簡単な例に示すように、階数分解として表すことができる。
【数６】
2005514683.tif 000008
ＳＶＤは、組合わせ直交階数分解であるが、逆は真でないことに留意されたい。通常、階数分解は必ずしも特異値分解ではない。また、ＮモードＳＶＤは、相互に直交する階数１のテンソルの展開式として下記のように表すことができる。
【数７】
2005514683.tif 000009
ここで、ボＵ（ｉｎ）ｎは、行列ボＵｎのイｉｎ列のベクトルである。これは下式
【数８】
2005514683.tif 000010
に類似している。
【００３１】
クライアント・インタフェース・アプリケーションは、それぞれ、第１および第２のクライアント・サーバ１１４、１２４のデータ記憶装置１１８、１２８に記憶することができる。好適には、クライアント・インタフェース・アプリケーションは、ユーザが、上記の多重線形データ分析アプリケーションを制御することができるものであることが好ましい。例えば、クライアント・インタフェース・アプリケーションは、多重線形データ分析アプリケーションに、すでに観察した既知の対象物のこれら特性とは異なるものであってもよい、既知の対象物の特定の特性を記述する新しいデータを生成するように指示することができる。さらに、クライアント・インタフェース・アプリケーションは、多重線形データ分析アプリケーションに、すでに観察した集団の残りのこれら特性とは異なる観察した対象物の集団の残りの特定の特性を記述する新しいデータを生成するように指示することができる。また、クライアント・インタフェース・アプリケーションは、多重線形データ分析アプリケーションに、観察した対象物の集団から未知の対象物を認識し、すでに観察した既知の対象物の特徴から既知の対象物の特徴を認識し、既知の対象物の特徴を記述するために記憶しているデータの量を次元的に低減する等のことを指示することができる。本発明のある例示としての実施形態の場合には、対象物は人であってもよく、特徴は行動であってもよい。本発明の他の実施形態の場合には、対象物は人の顔であってもよいし、特徴は顔の表情であってもよい。クライアント・インタフェース・アプリケーションの指示に従って、多重線形データ分析アプリケーションは、クライアント・インタフェース・アプリケーションに、要求した特徴または対象物を記述するある種の情報を送信することができる。
【００３２】
Ａ．［データのコーパスのテンソル表現による運動の署名］
図２は、多重線形データ分析アプリケーションを示すプロセス２００の例示としての実施形態のフローチャートである。多重線形データ分析アプリケーションのところですでに説明したように、プロセス２００は、未知の主体または個人を認識し、既知の主体が行っている未知の行動を認識し、前に記録したことがない既知の行動を主体等が行っているものとして生成するように構成されている。より詳細に説明すると、多重線形データ分析アプリケーションは、いくつかの主体からデータ捕捉システム１１２により収集する運動データのコーパスを使用する。この運動の情報のコーパスは、サーバ１０２のデータベース１０８に記憶され、少なくとも１つの行動を行っている少なくとも１つの主体の脚の関節の角度を記述する。運動情報のコーパスは、テンソルイボＤとして編成することができる。運動情報のコーパスは、行列ボＤまたはベクトルボｄとしても、編成することができることに留意されたい。例えば、情報が行列ボＤとして編成された場合、プロセス２００は、好適には、同じ状態のままでいることが好ましいが、根元的なテンソル手順は、行列手順と同じものに変換することができる。テンソルイボＤ内に含まれているデータの表現は、複数の指数を特異行列指数（ｓｉｎｇｕｌａｒ  ｍａｔｒｉｘ  ｉｎｄｅｘ）にまとめることができることに留意されたい。同様に、情報がベクトルボｄとして編成された場合には、好適には、プロセス２００は同じ状態のままでいることが好ましいが、根元的なテンソル手順は、ベクトル手順と同じものに変換することができる。また、テンソルイボＤ内に含まれているデータの表現は、複数の指数を特異ベクトル指数（ｓｉｎｇｕｌａｒ  ｖｅｃｔｏｒ  ｉｎｄｅｘ）にまとめることができることに留意されたい。
【００３３】
運動データのコーパスは、好適には、テンソルイボＤを形成する少なくとも１つの行動を行ういくつかの主体から収集することが好ましい。各行動は、複数回反復することができ、運動サイクルは各運動シーケンスから切り離すことができる。例えば、ノイズを抑制するために、収集した運動データを、６Ｈｚの遮断周波数で、低域四次バターワース・フィルタを通過させることができ、欠測値を三次式近似と一緒に補間することができる。関節の角度は、種々の主体（例えば、人）の手足の運動情報を表すために計算することができる。関節の角度を計算するために、運動情報を収集する領域について各手足のためのフレーム座標変換を計算することができ、次に、運動の連鎖内の各手足の相対的な向きを決定することができ、それにより逆運動式が入手される。その後で、関節の角度がテンソルイボＤに記憶される。このようなテンソルイボＤは、イＩイＲＧ×Ｍ×Ｔという形をとることができる。ここで、Ｇは主体の数であり、Ｍは行動の分類の数であり、Ｔは関節角度時間サンプルの数である。
【００３４】
本発明の好ましい実施形態の例示としての実施の場合には、例えば、歩行、階段の登り運動、階段の下り運動のような３つの運動が、各人に対して収集される。もう１つの例示としての実施の場合には、各行動を１０回反復することができる。さらに他の例示としての実施の場合には、人間の手足の運動を、４つの赤外線ビデオ・カメラを使用するＶＩＣＯＮシステムにより記録することができる。これらのカメラは、通常、人間の主体の各脚上に９つずつ取り付けられている１８個のマーカーから反射する赤外線を検出する。次に、システム１１２は、固定座標フレームに対するマーカーの三次元の位置を計算する。ビデオ・カメラは、主体の運動中少なくとも２台のカメラにより各マーカーを観察することができるように、１２メートルの長さの歩道の一方の側上に設置することができる。主体の１つの関節がカバーする３つの角度を抽出するために、主体の体を通る矢状縫合の面、前部の面および横方向の面に対してその運動を測定することができる各手足に対して１つの平面を形成することができる。関節角度時間サンプルが、時間中に運動する種々の関節の関節角度を反映していることに留意されたい。
【００３５】
図２についてさらに詳細に説明すると、ステップ２０２において、プロセス２００は、例えば、新しい運動データのような異なる行動を行っている種々の主体（例えば、人）に関する運動情報またはデータを収集する。この運動はベクトルのグループとして収集される。ベクトルの各グループは、ある行動を行っている主体を表す。各行動および個人が既知のものである場合には、データをテンソルイボＤ内にまとめることができる。行動または個人が不明である場合には、情報のこれら断片が決定されるまで、このようなデータはテンソルイボＤに組み込まれない可能性がある。未知の行動または個人を記述するデータは、新しい主体の新しいデータ・テンソルイボＤｐ，ａ、または新しい主体の新しいデータ・ベクトルボｄとして編成される。新しいデータ・テンソルイボＤｐ，ａは、２つ以上の新しいデータ・ベクトルボｄを含む。新しいデータ・テンソルイボＤｐ，ａの新しい各データ・ベクトルボｄは、行動ａを行っている主体ｐの動きを記述する。
【００３６】
ステップ２０４において、プロセス２００は、正規直交モード行列間の相互関係を定義するために、通常使用することができるコア・テンソルイボＺを計算する。このステップは、図３に示すＮモードの特異値分解（「ＳＶＤ」）プロセス２０４を表す。このステップについては、以下にさらに詳細に説明する。ステップ２０４のＮモードのＳＶＤ手順は、正規直交分解手順であることに留意されたい。ステップ２０４のＮモードＳＶＤ手順は、コア・テンソルイボＺを計算する。ステップ２０４のこの手順がコア・テンソルイボＺを決定した場合には、プロセス２００はステップ２０５に進む。
【００３７】
本発明の他の実施形態の場合には、ｎモードのＳＶＤ手順の代わりに、別のｎモードの正規直交分解手順が使用される。
【００３８】
ステップ２０５において、プロセス２００は、ステップ２０２で収集したデータを分析する。いくつかの主体の運動シーケンスを知っていれば、テンソルイボＤはイＩイＲＧ×Ｍ×Ｔテンソルの形をとることができる。ここで、Ｇは主体または人の数であり、Ｍは行動分類の数であり、Ｔは関節角度時間サンプルの数である。ステップ２０４のイＮモードＳＶＤ手順は、テンソルイＤを下式に示すようにコア・テンソルイボＺおよび３つの直交行列の積に分解する。
イボＤ＝イボＺ×１ボＰ×２ボＡ×３ボＪ
その主体指向の行ベクトルボｐＴｎが人のパラメータの空間をカバーする主体行列ボＰ＝［ｐ１．．．ｐｎ．．．ｐＧ］Ｔは、行動を横切る主体毎の不変性をコード化する。それ故、行列ボＰは、主体または人の運動の署名を含む。その主体指向の行ベクトルボａＴｎが行動のパラメータの空間をカバーしている行動行列ボＡ＝［ａ１  ａｍ  ａＭ］Ｔは、異なる主体を横切る各行動についての不変性をコード化する。その行ベクトルが、関節角度の空間をカバーする関節角度行列ボＪは、好適には、固有運動、運動の変化であることが好ましい。
【００３９】
積イボＺ×３ボＪは、固有運動をテンソル運動、モード（主体および行動分類）の変化および共通の変化のテンソル表現に変換する。積イボＺ×３ボＪは、また、主体のパラメータおよび行動のパラメータが相互にどのように作用するか特徴づける。テンソル
イボＢ＝イボＺ×２ボＡ×３ボＪ
は、特定の行動に関連するすべての運動に対する一組の基本行列を含む行動指向テンソル運動である。テンソル
イボＣ＝イボＺ×１ボＰ×３ボＪ
は、好適には、特定の主体（特定の主体の運動の署名を含む）に関連するすべての運動に対する一組の基本行列を含んでいることが好ましい主体／署名指向のテンソル運動である。コア・テンソルイボＺ、行列ボＡおよびテンソルイボＤのステップ２０４のイＮモードＳＶＤ手順により生成された行列ボＪは、生成モデルを形成する。
【００４０】
ステップ２０６において、プロセス２００は、自分がクライアント・インタフェース・アプリケーションにより、前に記録したことがない少なくとも１つの既知の行動を、新しい主体が行っているものとして記述する新しいデータを合成するように指示されているかどうかを判断する。プロセス２００がそのような指示を受けていた場合には、図４のところでさらに詳細に説明し、本明細書において説明するように、個人生成手順に進むためのステップ２０８を実行する。ステップ２０８の個人生成手順が終了した場合には、プロセス２００はステップ２２６に進む。
【００４１】
ステップ２１０において、プロセス２００は、自分がクライアント・インタフェース・アプリケーションにより、前に記録したことがない新しい行動を、観察した主体の集団の残りが行っているものとして記述する新しいデータを合成するように指示されたかどうかを判断する。プロセス２００がそのような指示を受けていた場合には、図５のところでさらに詳細に説明し、本明細書において説明するように、プロセス２００はステップ２１２の行動生成手順に進む。ステップ２１２の行動生成手順が終了した場合には、プロセス２００はステップ２２６に進む。
【００４２】
ステップ２１４において、プロセス２００は、自分がクライアント・インタフェース・アプリケーションにより、観察した既知の主体の集団の１つとして、既知の行動を行うと観察された未知の主体を認識するように指示されたかどうかを判断する。プロセス２００がそのような指示を受けていた場合には、図６のところでさらに詳細に説明し、以下に説明するように、プロセス２００はステップ２１６の個人認識手順に進む。ステップ２１６の個人認識プロセスが終了した場合には、プロセス２００はステップ２２６に進む。
【００４３】
好ましい実施形態の場合には、プロセス２００は、観察した既知の主体の集団の１つとして未知の行動を行うと観察された未知の主体を認識することができる。
【００４４】
ステップ２１８において、プロセス２００は、自分がクライアント・インタフェース・アプリケーションにより、既知の主体が行っているものとしてすでに観察した行動の１つとして、既知の主体が行っている未知の行動を認識するように指示されたかどうかを判断する。プロセス２００がそのような指示を受けていた場合には、図７のところでさらに詳細に説明し、以下に説明するように、プロセス２００はステップ２２０の行動認識手順に進む。ステップ２２０の個人認識手順が終了した場合には、プロセス２００はステップ２２６に進む。次に、ステップ２２６において、プロセス２００は、新しい主体のデータ・セットをテンソルイＤに組み入れるべきかどうか、またはクライアント・インタフェース・アプリケーションが、新しい指示を送信したかどうかを判断する。より詳細に説明すると、新しい主体用のデータ・セットが入手できる場合には、プロセス２００はステップ２０２に進む。入手できない場合には、プロセス２００は、クライアント・インタフェース・アプリケーションから新しい指示を受け取り、プロセス２００はステップ２０６に進む。
【００４５】
図３は、テンソルイボＤを分解し、コア・テンソルイボＺを計算するために、イＮモードＳＶＤアルゴリズムを実行するための、ステップ２０４の例示としての詳細なＮモードＳＶＤ手順を示す。ステップ２０４のＮモードＳＶＤ手順は、行列用のＳＶＤ手順の自然な一般化に関連していて、そこから発生する。例えば、行列ボＤ∈ＩイＲＩ１×Ｉ２は、例えば、１つの行空間および１つの列空間のような２つの関連するベクトル空間を有する２モードの数学的対象物である。行列用のＳＶＤ手順は、これら２つの空間を直交させ、行列を左の行列ボＵ１∈ＩイＲＩ１×Ｊ１、すなわち、対角線特異値行列
【数９】
2005514683.tif 000011
が表す直交列空間と右の行列ボＵ２∈ＩイＲＩ２×Ｊ２が表す直交行空間との積により
【数１０】
2005514683.tif 000012
として分解する。上記モードｎの積の場合には、この行列の積は
【数１１】
2005514683.tif 000013
で書き換えることができる。テンソルイボＤに含まれているデータが行列ボＤで表される場合には、行列に対するＳＶＤ手順を使用することができる。
【００４６】
延長することにより、テンソルイボＤを、イＮ個の空間を含む次数イＮのテンソルとすることができる。この場合、好適には、イＮは２より大きいことが好ましい。イＮモードＳＶＤは、これらのイＮ個の空間を直交させ、テンソルを分解してイＮ正規直交空間のモードイｎの積にするＳＶＤの自然の一般化である。
イボＤ＝イボＺ×１ボＵ１×２ボＵ２．．．×ｎボＵｎ．．．×ＮボＵＮ
ＮモードのＳＶＤの行列表現は、下式により入手することができる。
【数１２】
2005514683.tif 000014
ここで、
【数１３】
2005514683.tif 000015
は、行列のクロネッカー積である。コア・テンソルイボＺは、従来の行列ＳＶＤ内の対角線特異値行列に類似の行列であってもよい。しかし、コア・テンソルは、対角線構造を持たないことを理解することが重要である。それどころか、イボＺは、一般的に、全テンソルである。コア・テンソルイボＺは、モード行列ボＵｎ間の相互作用を制御する。ここで、イｎ＝１，．．．，イＮである。モード行列ボＵｎは、図１２Ａ〜図１２Ｆに示すように、テンソルイボＤをモードｎで平らにすることで得られる行列ボＤ（ｎ）の列空間をカバーする正規直交ベクトルを含む。
【００４７】
図３に示すように、ステップ２０４の手順は、指数ｎを１に設定することにより、ステップ３０２からスタートする。そうすることにより、プロセス２０４は、テンソルイボＤから最初の行列の計算をスタートすることができる。指数ｎを１に設定した場合には、ステップ２０４の手順はステップ３０４に進む。ステップ３０４において、ステップ２０４の手順は、平らにした行列ボＤ（ｎ）のＳＶＤを計算することにより、行列ボＵｎをイボＤ＝イボＺ×１ボＵ１×２ボＵ２．．．×ｎボＵｎ．．．×ＮボＵＮにより定義されたものとして計算する。行列ボＵｎの計算が終わると、ステップ２０４の手順はステップ３０６に進む。ステップ３０６において、ステップ２０４の手順は、行列ボＵｎがＳＶＤの左の行列になるように設定する。行列ボＵｎが正しく設定されると、ステップ２０４の手順はステップ３０８に進み、ここで指数ｎがテンソルの次数、すなわち、Ｎに等しいかどうかの判断が行われる。指数ｎがテンソルの次数に等しい場合には、ステップ２０４の手順はステップ３１２に進む。等しくない場合には、プロセス２０４はステップ３１０に進む。ステップ３１０において、指数ｎは１だけ増大し、次にステップ２０４の手順はステップ３０４に進む。ステップ３１２において、コア・テンソルイボＺは下式により計算される。
イボＺ＝イボＤ×１ボＵＴ１×２ボＵＴ２．．．×ｎボＵＴｎ．．．×ＮボＵＴＮ
コア・テンソルイボＺを選択した場合には、ステップ２０４の手順は終了する。
【００４８】
ボＤ（ｎ）が正方形でない行列の場合には、ボＤ（ｎ）の次元がより小さいかにより、
【数１４】
2005514683.tif 000016
を分解し次に
【数１５】
2005514683.tif 000017
を計算するか、または
【数１６】
2005514683.tif 000018
を分解し、次に
【数１７】
2005514683.tif 000019
を計算して特異値分解
【数１８】
2005514683.tif 000020
のボＵｎの計算を行うことができる。
【００４９】
図４は、残りの行動を合成し、新しい主体用の前に見たことがなかったステップ２０８の個人生成手順の詳細である。少なくとも１つの行動を含む行動ａを実行している新しい主体の新しい運動データ・テンソルイボＤｐ，ａが与えられた場合には、残りの行動が生成される。ステップ２０８の個人生成手順は、式イボＤｐ，ａ＝イボＢａ×１ボｐＴ内の新しい個人の署名ボｐを計算する。ここで、イボＢａ＝イボＺ×２ボａＴａ×３ボＪである。新しいデータ・テンソルイボＤｐ，ａは、１×１×イＴテンソルであることに留意されたい。より詳細に説明すると、この手順のステップ４０２は、人（または主体）モードで、新しいデータ・テンソルイボＤｐ，ａを平らにし、行ベクトルボｄＴａを生成する。主体モードでこの新しいデータ・テンソルを平らにすることにより、行列ボＤｐ，ａ（ｓｕｂｊｅｃｔ）が生成され、特にボｄＴａと呼ぶことができる１つの行ベクトルが発生する。それゆえ、平らにしたテンソルの場合には、上式イボＤｐ，ａ＝イボＢａ×１ボｐＴをボｄＴａ＝ボｐＴボＢａ（ｓｕｂｊｅｃｔ）またはボｄａ＝ボＢＴａ（ｐｅｏｐｌｅ）ボｐで書き表すことができる。テンソルが平らになると、プロセスはステップ４０４に進み、ここで１つの行動を行っている主体を観察するかどうかの判断が行われる。１つの行動を行っている主体を観察した場合には、ステップ２０８の手順は、ステップ４０６に進む。少なくとも２つの行動を行っている個人を観察した場合には、ステップ２０８の手順は、ステップ４０８に進む。ステップ４０６において、１つの観察した行動に対して、個人の運動の署名が計算される。個人に対する運動の署名はボｐＴ＝ボｄＴａボＢ−１ａ（ｐｅｏｐｌｅ）として定義することができる。個人の運動署名が計算されると、ステップ２０８の手順は終了する。またステップ４０８において、少なくとも２つの観察した行動に対して、個人の運動署名が決定される。いくつかの異なる行動ボｄａ，ｋが観察された場合には、運動署名を下式により計算することができる。
【数１９】
2005514683.tif 000021
ステップ４１０において、ステップ２０８の手順は、主体または個人の完全な一組の運動を合成する。新しい主体の完全な一組の運動は、下式により合成することができる。
イボＤｐ＝イボＢ×１ボｐＴ
ここで、イボＢは、すでに説明したように、イボＢ＝イボＺ×２ボＡ×３ボＪとして定義される。個人の運動署名が計算されると、プロセス２０８は抜け出る。
【００５０】
図５は、主体行列ボＰ内に表示されている主体の残りに対する、前に見たことがない観察した新しい行動を合成するステップ２１２の行動生成手順の詳細である。主体行列ボＰ内に表示されている主体の残りに対して観察した行動は、新しい行動ａを行っている少なくとも１つの主体の新しい運動データ・テンソルイボＤｐ，ａの場合生成される。
【００５１】
より詳細に説明すると、この手順のステップ５０１は、行動モードで新しいデータ・テンソルイボＤｐ，ａを平らにして、行ベクトルボｄＴｐを生成する。行動モードでこの新しいデータ・テンソルを平らにすることにより、行列ボＤｐ，ａ（ａｃｔｉｏｎ）、特にボｄＴｐと呼ぶことができる行ベクトルが生成される。それ故、平らにしたテンソルの場合、上式イボＤｐ，ａ＝イボＣｐ×２ボａＴは、ボｄＴｐ＝ボａＴイボＣｐ（ａｃｔｉｏｎｓ）またはボｄｐ＝ボＣＴｐ（ａｃｔｉｏｎｓ）ボａで書き表すことができる。テンソルが平らになると、この手順は、新しい運動データ・テンソルイボＤｐ，ａが、ステップ５０２で新しい行動を行っている１つの主体を表しているかどうかの判断を行う。新しい運動データ・テンソルイボＤｐ，ａが、新しい行動を行っている１つの主体を表している場合には、ステップ２１２の手順はステップ５０４に進む。新しい運動データ・テンソルイボＤｐ，ａが、新しい行動を行っている２人以上の個人を表している場合には、ステップ２１２の手順はステップ５０６に進む。ステップ５０４において、関連する行動パラメータが、新しい行動を行っている１つの主体を表す、新しい運動データ・テンソルイボＤｐ，ａに基づいて決定される。例えば、運動データベースにすでに記録されている人のような既知の主体が、新しいタイプの行動ボｄｐを行った場合には、関連する行動パラメータイボａＴ＝ボｄＴｐボＣ−１ｐ（ａｃｔｉｏｎｓ）を計算することができる。関連する行動パラメータが計算されると、ステップ２１２の手順はステップ５０８に進む。
【００５２】
ステップ５０６において、関連する行動パラメータが、新しい行動を行っている２つ以上の主体を表す、新しい運動データ・テンソルイボＤｐ，ａに基づいて計算される。同じ新しい行動ｄｐｋを行っているいくつかの異なる主体が観察された場合には、行動パラメータが下式により計算される。
【数２０】
2005514683.tif 000022
関連する行動パラメータを計算した場合には、プロセス２１２はステップ５０８に進み、ここで主体行列ボＰ内に表示されている主体の残りに対する新しい行動が入手される。データベース内のすべての主体に対する新しい行動は、下記のように、すなわち、イボＤａ＝イボＣ×２ボａＴのように合成することができる。この場合、上記のように、イボＣはイボＣ＝イボＺ×１ボＰ×３ボＪである。新しい行動が合成されると、ステップ２１２の手順は終了する。
【００５３】
図６は、既知の行動を行っているまだ識別されていない主体を認識するためのステップ２１６の個人認識手順である。多重線形分析は、いくつかの観察した運動を（それにより、運動データから人を認識することができる）主体パラメータの空間、または（それにより、運動データから行動を認識することができる）空間行動パラメータ内にマッピングする基礎テンソルを供給することができる。個人認識プロセス２１６は、既知の行動を行っている未知の主体の署名ボｐの計算が行われるステップ６０２からスタートする。既知の行動ａの新しい運動ベクトルボｄを、署名ボｐ＝ボＢ−Ｔａ（ｐｅｏｐｌｅ）ボｄを計算することにより、主体署名空間内にマッピングすることができる。署名の計算が行われると、プロセス２１６はステップ６０４に進み、ここで指数変数イｎおよび変数一致係数が初期化される。例えば、指数変数イｎを１に初期化することができ、変数一致係数をマイナス１（−１）に初期化することができる。これらの変数が初期化されると、ステップ６０６が実行され、署名ボｐが主体署名ボｐｎと比較される。この署名は、ボＰ内の人の各署名ボｐｎと比較される。次に、署名ボｐと署名ボｐｎ間の違いの大きさ、すなわち、
【数２１】
2005514683.tif 000023
が決定される。
【００５４】
その後で、ステップ６０８において、署名ボｐと署名ボｐｎとの間の違いのプロセス計算した大きさが、この時点までに計算したすべての大きさより小さいかどうかの判断が行われる。署名ボｐと署名ボｐｎとの間の違いの大きさが、この時点までに計算したすべての違いより小さい場合には、プロセス２１６はステップ６１０に進む。大きい場合には、プロセス２１６はステップ６１２に進む。ステップ６１０において、変数一致係数は指数ｎに等しくなるように設定される。変数一致係数は、通常、署名ボｐが署名ボｐｍａｔｃｈに最もよく一致するような認識した主体の指数を意味する。
【００５５】
次に、ステップ６１２において、指数イｎがＧに等しいかどうかの判断が行われる。等しい場合には、ステップ２１６の手順は、ステップ６１６に進み、等しくない場合には、ステップ２１６の手順はステップ６１４に進む。ステップ６１４において、指数ｎは１だけ増大し、１からイＧまでの主体行列ボＰ内の各主体が比較されるように、手順はステップ６０６に戻る。最後に、ステップ６１６において、署名ボｐｍａｔｃｈが、署名ボｐに最も近い署名として識別される。本発明の好ましい実施形態の場合には、変数一致係数は、署名ボｐに最もよく一致する複数の署名の指数を記録する索引付きアレイである。署名ボｐｍａｔｃｈが識別されると、ステップ２１６の手順は終了する。
【００５６】
図７は、既知の主体が行っている未知の行動を認識するためのステップ２２０の行動認識手順の詳細である。通常、多重線形分析は、観察した運動を行動パラメータの空間内にマッピングする基礎テンソルを生成し、運動データからの行動の認識を可能にする。より詳細に説明すると、ステップ７０２は、未知の行動を行っている既知の個人のベクトルイａを計算する。既知の人イｐの新しい運動データ・ベクトルボｄは、ベクトルボａ＝ボＣ−Ｔｐ（ａｃｔｉｏｎｓ）ボｄを計算することにより、行動パラメータ空間にマッピングすることができる。ベクトルボａが決定されると、ステップ２２０の手順は、ステップ７０４に進み、指数変数ｍおよび変数一致係数が初期化される。指数変数ｍは１に初期化することができ、変数一致係数はマイナス１（−１）に初期化することができる。これらの変数が初期化されると、プロセス２２０はステップ７０６に進み、ベクトルボａが行動パラメータのベクトルボａｍと比較される。より詳細に説明すると、ベクトルボａは、指数ｍが増大すると、ボＡ内の各行動パラメータ・ベクトルボａｍと順次比較される。また、ベクトルボａと行動パラメータ・ベクトルボａｍの間の違いの大きさ、すなわち、
【数２２】
2005514683.tif 000024
も決定される。
【００５７】
ステップ７０８において、ベクトルボａと行動パラメータ・ベクトルボａｍとの間のプロセスが計算した違いの大きさが、この時点までに計算したすべての違いより小さいかどうかの判断が行われる。ベクトルボａと行動パラメータ・ベクトルボａｍとの間の違いの大きさが、この時点までに計算したすべての違いより小さい場合には、ステップ２２０の手順はステップ７１０に進む。大きい場合には、ステップ２２０の手順は、ステップ７１２に進む。ステップ７１０において、ステップ２２０の手順は、変数一致係数が指数ｍに等しくなるように設定する。変数一致係数は、通常、ベクトルボａが行動パラメータ・ベクトルボａｍａｔｃｈに最もよく一致するような、認識した行動の指数を意味する。
【００５８】
次に、ステップ７１２において、指数ｍがイＭに等しいかどうかの判断が行われる。等しい場合には、ステップ２２０の手順は、ステップ７１６に進み、等しくない場合には、手順はステップ７１４に進む。ステップ７１４は、指数ｍが１だけ増大したことを表示し、手順はステップ７０６に進み、その場合、指数ｍは、各行動行列ボＡ内の各行動の度に１からイＭに増大する。ステップ７１４において、行動パラメータ・ベクトルボａｍａｔｃｈが、ベクトルボａに最も近い署名として識別される。本発明の好ましい実施形態の場合には、変数一致係数は、ベクトルボａに最もよく一致する複数の行動の指数を記録する索引付きアレイであってもよい。行動パラメータ・ベクトルボａｍａｔｃｈが識別されると、ステップ２２０の手順は終了する。
【００５９】
Ｂ．［データのコーパスのテンソル表示を使用する顔署名］
図８は、本発明による多重線形データ分析アプリケーション８００を実施するプロセスの例示としての実施形態のフローチャートである。すでに説明したように、多重線形データ分析アプリケーション８００は、未知の主体、未知の表情、未知の観察位置および未知を認識し、主体について前に記録したことがない既知の照明を合成し、照明等を記述しているデータの量を次元的に低減するように構成することができる。多重線形データ分析アプリケーション８００は、いくつかの主体からデータ捕捉システム１１２により収集する顔のデータのコーパスを使用する。この顔情報のコーパスは、サーバ１０２のデータベース１０８に記憶される。この顔情報のコーパスは、照明、視界、表情およびピクセルからできている画像内で捕捉した主体を記述することができる。顔情報のコーパスは、テンソルイボＤとして編成される。テンソルイボＤは、イＩイＲＧ×Ｖ×Ｉ×Ｅ×Ｐテンソルの形をとることができる。ここで、Ｇは主体の数、Ｖは観察位置の数、Ｉは照明の数、Ｅは表情の数、Ｐはピクセルの数である。運動情報のコーパスは、行列ボＤまたはベクトルボｄとしても編成することができることに留意されたい。例えば、情報が行列ボＤとして編成された場合、プロセス８００は、好適には、同じ状態のままでいることが好ましいが、根元的なテンソル手順は、行列手順の同じものに変換することができる。テンソルイボＤ内に含まれているデータの表現は、複数の指数を特異行列指数（ｓｉｎｇｕｌａｒ  ｍａｔｒｉｘ  ｉｎｄｅｘ）にまとめることができることに留意されたい。同様に、情報がベクトルボｄとして編成された場合には、好適には、プロセス８００は、同じ状態のままでいることが好ましいが、根元的なテンソル手順は、ベクトル手順の同じものに変換することができる。また、テンソルイボＤ内に含まれているデータの表現は、複数の指数を特異ベクトル指数（ｓｉｎｇｕｌａｒ  ｖｅｃｔｏｒ  ｉｎｄｅｘ）にまとめることができることに留意されたい。
【００６０】
本発明の好ましい実施形態の場合には、例えば、微笑んでいる表情、普通の表情およびあくびをしている表情のような３つの表情を、ひとりひとりについて収集することができる。各表情を４つの異なる照明、すなわち、ライトの位置、および３つの異なる観察位置で捕捉することができる。４つの異なる照明は、中央からの１本の光、右からの１本の光、左からの１本の光、および右から１本および左から１本の２本の光であってもよい。３つの異なる観察位置は、中央、右へ３４度、および左へ３４度であってもよい。本発明のもう１つの実施形態の場合には、各表情が４つの異なる照明および２つの異なる観察位置で捕捉されるように、もう１つの類似の表情が１人１人について収集される。例えば、４つの異なる照明は、中央からの１本の光、右からの１本の光、左からの１本の光、および右からの１本の光、左からの１本の光の２本の光である。２つの異なる観察位置は、右へ１７度、左へ１７度である。本発明のさらにもう１つの例示としての実施形態の場合には、各表情は、３つの各照明および５つの異なる観察位置で捕捉される。例えば、３つの異なる照明は、中央からの１本の光、右からの１本の光、および左からの１本の光である。また、５つの異なる観察位置は、中央、右へ１７度、左へ１７度、右へ３４度、左へ３４度である。
【００６１】
図８に示すように、ステップ８０２においては、多重線形データ分析アプリケーション８００は、照明、観察位置、表情および主体を記述する顔情報を収集する。主体の表情の視界の個々のピクセルの照明を記述する新しい顔データが収集される。各照明、各視界、各表情および個人が既知の場合には、データはテンソルイボＤ内に取り込まれる。既知でない場合には、情報のこれらの部分が決定されるまで、データをテンソルイボＤ内に組み込むことはできない。未知の照明、視界、表情または個人を記述するデータは、新しいデータ・ベクトルボｄとして編成される。新しいデータ・ベクトルボｄは、ある照明、視界および表情データを有する１つの画像を記述する。次に、ステップ８０４において、多重線形データ分析アプリケーション８００は、コア・テンソルイボＺを計算する。例えば、このステップは、図３に示し、図３のところで説明するＮモードのＳＶＤ手順３０４であってもよい。ＮモードのＳＶＤ手順３０４は、Ｎが５である場合のコア・テンソルイボＺを計算する。手順８０４または３０４が、コア・テンソルイボＺを計算する場合に、多重線形データ分析アプリケーション８００はステップ８０６に進む。テンソルイボＤがイＩイＲＧ×Ｖ×Ｉ×Ｅ×Ｐテンソルの形をしている場合には、Ｇは主体の数であり、Ｖは観察位置の数であり、Ｉは照明の数であり、Ｅは表情の数であり、Ｐはピクセルの数である。イＮモードのＳＶＤプロセス８０４は、下式のようにテンソルイボＤを分解する。
イボＤ＝イボＺ×１ボＵｓｕｂｊｅｃｔｓ×２ボＵｖｉｅｗｓ×３ボＵｉｌｌｕｍ×４ボＵｅｘｐｒｅｓｓ×５ボＵｐｉｘｅｌｓ
この場合、Ｇ×Ｖ×Ｉ×Ｅ×Ｐコア・テンソルイボＺが、５モード行列内に表示されている要因間の相互作用を制御する。Ｇ×Ｇモード行列ボＵｓｕｂｊｅｃｔｓは、主体パラメータの空間をカバーし、Ｖ×Ｖモード行列ボＵｖｉｅｗｓは、観察位置パラメータの空間をカバーしていて、Ｉ×Ｉモード行列ボＵｉｌｌｕｍは、照明パラメータの空間をカバーしていて、Ｅ×Ｅモード行列ボＵｅｘｐｒｅｓｓは、表情パラメータの空間をカバーしている。Ｐ×Ｐモード行列ボＵｐｉｘｅｌｓは、画像の空間を正規直交でカバーしている。
【００６２】
多重線形データ分析は、線形主成分解析（「ＰＣＡ」）分析の種々の態様を含んでいる。ボＵｓｕｂｊｅｃｔｓの各列は、「固有画像」である。これらの固有画像は、好適には、従来の固有顔と同じものであることが好ましい。何故なら、固有画像は、行列ボＤｓｕｂｊｅｃｔｓを生成するために、モード５で平らにしたデータ・テンソルイボＤ上でＳＶＤを実行することにより、計算されるからである。多重線形分析の１つの利点は、コア・テンソルイボＺが、ボＵｐｉｘｅｌｓ内の固有画像を、種々のモード（主体、観察位置、照明、表情）を横切る変化の主要軸を表し、種々の要因が、顔の画像を生成するために、相互にどのように相互作用を行うのかを表す一組の固有画像に変換することである。この変換は、積イボＺ×５ボＵｐｉｘｅｌｓを生成することにより行うことができる。対照的に、ＰＣＡをベースとするベクトルまたは固有画像は、画像を横切る変化の主要な軸だけを表す。
【００６３】
顔情報のデータベースは、観察位置、照明および表情と一緒に変化する各主体に対するＶ・Ｉ・Ｅ画像を含むことができる。ＰＣＡ出力は、各主体を、主体が現れる各画像からの一組のＶ・Ｉ・Ｅベクトル値の係数として表示する。
【００６４】
多重線形分析は、観察位置、照明および表情とは無関係に、Ｇ×Ｖ×Ｉ×Ｅ×Ｐテンソルを含むベースに対して、次元Ｇの同じ係数ベクトルで、各主体を表示することができる。
イボＤ＝イボＺ×２ボＵｖｉｅｗｓ×３ボＵｉｌｌｕｍ×４ボＵｅｘｐｒｅｓｓ×５ボＵｐｉｘｅｌｓ
テンソルイボＤ内の各列は、Ｎ個の固有ベクトルを含む基礎ベクトルである。任意の列内において、第１の固有ベクトルは平均主体を示し、残りの固有ベクトルは、その列に関連する観察位置、照明および表情の特定の組合わせに対する主体を横切る可変性を捕捉する。各画像は、画像を生成した主体、観察位置、照明、および表情要因を表す一組の係数ベクトルで表される。多重線形分解により、多重線形データ分析アプリケーション８００は、クライアント・インタフェース・アプリケーションから受信した指示により、異なるタイプの基礎を形成することができる。
【００６５】
より詳細に説明すると、図８のステップ８１４においては、多重線形データ分析アプリケーション８００は、クライアント・インタフェース・アプリケーションが、多重線形データ分析アプリケーション８００に、観察した既知の主体の集団の中の１つとして、既知の表情を浮かべている観察した未知の主体を認識するように指示したかどうかを判断する。多重線形データ分析アプリケーション８００がこのような指示を受信している場合には、多重線形データ分析アプリケーション８００は、図９にさらに詳細に示し、以下に説明するステップ８１６の個人認識手順に進む。ステップ８１６の個人認識手順が終了すると、多重線形データ分析アプリケーション８００はステップ８２６に進む。ステップ８１８において、多重線形データ分析アプリケーション８００は、クライアント・インタフェース・アプリケーションが、多重線形データ分析アプリケーション８００に、すでに観察した表情の中の１つとしての既知の主体が表示している未知の表情を、このような既知の主体が実行中のものとして認識するように指示したかどうかを判断する。多重線形データ分析アプリケーション８００がそのような指示を受信している場合には、多重線形データ分析アプリケーション８００は、図１０に詳細に示し、以下に説明するようなステップ８２０の表情認識手順に進む。ステップ８２０の表情認識手順が終了すると、多重線形データ分析アプリケーション８００はステップ８２６に進む。
【００６６】
その後で、ステップ８２２において、多重線形データ分析アプリケーション８００は、クライアント・インタフェース・アプリケーションが、多重線形データ分析アプリケーション８００に、照明を記述するデータの量を次元的に低減するように指示したかどうかを判断する。多重線形データ分析アプリケーション８００がそのような指示を受信している場合には、多重線形データ分析アプリケーション８００は、図１１にさらに詳細に示し、以下に説明するようなステップ８２４のデータ低減手順に進む。ステップ８２４のデータ低減手順が終了すると、多重線形データ分析アプリケーション８００はステップ８２６に進む。最後に、ステップ８２６において、多重線形データ分析アプリケーション８００は、新しい主体に対するデータ・セットを収集すべきかどうか、またはクライアント・インタフェース・アプリケーションは新しい指示を送信すべきかを判断する。表情（例えば、顔の表情）を浮かべている新しい主体のためのデータ・セットが入手できる場合には、多重線形データ分析アプリケーション８００はステップ８０２に進む。多重線形データ分析アプリケーション８００が、クライアント・インタフェース・アプリケーションから新しい指示を受信している場合には、多重線形データ分析アプリケーション８００は、ステップ８１４に進む。
【００６７】
図９は、未知の顔の画像：新しいデータ・ベクトルボｄの場合の、まだ識別していない主体を認識するためのステップ８１６の個人認識手順の詳細を示すフローチャートである。多重線形データ分析は、好適には、主体のパラメータ空間内の同じ点に、対象物のすべての画像をマッピングする基礎テンソル（以下に定義する）を生成し、それにより多数対１マッピングを生成することが好ましい。ステップ８１６の個人認識手順は、ステップ９０２からスタートする。このステップにおいては、行列ボＵｓｕｂｊｅｃｔｓが抽出される。ステップ８０４（またはステップ３０４）のＮモードのＳＶＤ手順は、テンソルイボＤを分解し、その結果、式イボＤ＝イボＺ×１ボＵｓｕｂｊｅｃｔｓ×２ボＵｖｉｅｗｓ×３ボＵｉｌｌｕｍ×４ボＵｅｘｐｒｅｓｓ×５ボＵｐｉｘｅｌｓができ、行列ボＵｓｕｂｊｅｃｔｓがこの式から抽出される。より詳細に説明すると、行列ボＵｓｕｂｊｅｃｔｓは、各人イｐに対する係数の行ベクトルボｃＴｐを含む。行列ボＵｓｕｂｊｅｃｔｓが抽出されると、ステップ８１６の手順はステップ９０４に進み、基礎テンソルイＢが生成される。基礎テンソルイＢは、イボＢ＝イボＺ×２ボＵｖｉｅｗｓ×３ボＵｉｌｌｕｍ×４ボＵｅｘｐｒｅｓｓ×５ボＵｐｉｘｅｌｓにより構成される。基礎テンソルイボＢの構成が終了すると、ステップ８１６の手順はステップ９０６に進み、ここでこの手順は指数ｖ、ｉおよびｅを１に初期化する。ステップ９０８において、ステップ８１６の個人認識手順は、サブテンソルイボＢｖ，ｉ，ｅを入手するために、基礎テンソルイボＢ内への指標となる。このことは、次元Ｇ×１×１×１×Ｐを有するサブテンソルイボＢｖ，ｉ，ｅを入手するために、特定の観察位置イｖ、照明イｉおよび表情イｅに対して行われる。
【００６８】
次に、ステップ９１０において、サブテンソルイボＢｖ，ｉ，ｅは、主体モードに沿って平らにされる。サブテンソルイボＢｖ，ｉ，ｅは、Ｇ×Ｐ行列ボＢｖ，ｉ，ｅ（ｓｕｂｊｅｃｔ）を入手するために、主体モードに沿って平らにされる。観察位置イｖ、照明イｉおよび表情イｅ内の主体イｐの特定のトレーニング画像ボｄｄは、ボｄｐ，ｖ，ｉ，ｅ＝ボＢＴｖ，ｉ，ｅ（ｓｕｂｊｅｃｔ）ボｃｐと表記することができることに留意されたい。それ故、イボｃｐ＝ボＢ−Ｔｖ，ｉ，ｅ（ｓｕｂｊｅｃｔ）ボｄｐ，ｖ，ｉ，ｅである。
【００６９】
次に、ステップ９１２において、指数変数ｐおよび変数一致係数が初期化される。例えば、指数変数ｐは１に初期化され、変数一致係数はマイナス１（−１）に初期化される。これらの変数が初期化されると、ステップ８１６の手順はステップ９１４に進み、新しいデータ・ベクトルボｄを一組の候補係数ベクトルに投影するために、投影オペレータボＢ−Ｔｖ，ｉ，ｅ（ｓｕｂｊｅｃｔ）が使用される。新しいデータ・ベクトルボｄの場合、新しいデータ・ベクトルボｄを、イｖ、イｉ、イｅの各組合わせに対する一組の候補係数ベクトルボｃｖ，ｉ，ｅ＝ボＢ−Ｔｖ，ｉ，ｅ（ｓｕｂｊｅｃｔ）ボｄ内に投影するために、投影オペレータボＢ−Ｔｖ，ｉ，ｅ（ｓｕｂｊｅｃｔ）が使用される。ステップ９１６において、候補係数ベクトルボｃｖ，ｉ，ｅの各組が、個人指向係数ベクトルボｃｐと比較される。この比較は、下式により行うことができる。
【数２３】
2005514683.tif 000025
【００７０】
ステップ９１８において、この一組の候補係数ベクトルボｃｖ，ｉ，ｅが、この時点までの主体指向係数ベクトルボｃｐに最もよく一致するかどうかの判断が行われる。最もよく一致しているベクトルボｃｐは、すべての観察位置、照明および表情の中で、
【数２４】
2005514683.tif 000026
の最小値を生じるものであってもよい。この一組の候補係数ベクトルボｃｖ，ｉ，ｅと主体指向係数ベクトルボｃｐとの間の違いの大きさが、この時点までに計算したすべての違いより小さい場合には、ステップ８１６の手順はステップ９２０に進む。小さくない場合には、ステップ８１６の手順はステップ９２２に進む。ステップ９２０においては、変数一致係数が指数ｐに等しくなるように設定される。変数一致係数は、この一組の候補係数ベクトルボｃｖ，ｉ，ｅが主体指向係数ベクトルボｃｍａｔｃｈに最もよく一致するように、最もよく一致した主体の指数を意味する。
【００７１】
その後で、ステップ９２２において、指数ｐがＧに等しいかどうかの判断が行われる。等しい場合には、ステップ８１６の手順は、指数ｐを１に等しくなるように設定し、ステップ９２８に進む。等しくない場合には、ステップ８１６の手順はステップ９２４に進む。ステップ９２４において、指数ｐは１だけ増大し、ステップ８１６の手順はステップ９１４に進み、この手順は１からイＧまでの主体行列ボＵｓｕｂｊｅｃｔｓ内の各主体を試験する。
【００７２】
ステップ９２８において、指数ｅがＥに等しいかどうかの判断が行われる。等しい場合には、ステップ８１６の手順は、指数ｅを１に等しくなるように設定し、ステップ９３０に進む。等しくない場合には、ステップ８１６の手順はステップ９３４に進む。ステップ９３４において、指数ｅは１だけ増大し、ステップ８１６の手順はステップ９０８に進み、この手順は１からＥまでの主体行列ボＵｅｘｐｒｅｓｓ内の各主体を試験する。
【００７３】
ステップ９３０において、指数ｉがＩに等しいかどうかの判断が行われる。等しい場合には、ステップ８１６の手順は、指数ｉを１に等しくなるように設定し、ステップ９３２に進む。等しくない場合には、ステップ８１６の手順はステップ９３６に進む。ステップ９３６において、指数ｉは１だけ増大し、ステップ８１６の手順は、ステップ９０８に進み、この手順は１からＩまでの主体行列ボＵｉｌｌｕｍ内の各主体を試験する。
【００７４】
ステップ９３２において、指数ｖがＶに等しいかどうかの判断が行われる。等しい場合には、ステップ８１６の手順は、ステップ９２６に進む。等しくない場合には、ステップ８１６の手順はステップ９３８に進む。ステップ９３８において、指数ｖは１だけ増大し、ステップ８１６の手順は、ステップ９０８に進み、この手順は１からＶまでの主体行列ボＵｖｉｅｗｓ内の各主体を試験する。最後に、ステップ９２６において、主体一致を、新しいデータ・ベクトルボｄ内に示した主体として識別することができる。本発明の好ましい実施形態の場合には、変数一致係数は、新しいデータ・ベクトルボｄ内に示した主体と最もよく一致する複数の主体の指数を記録している索引付きアレイであってもよい。主体一致が識別されると、ステップ８１６の手順は終了する。
【００７５】
図１０は、未知の顔画像：新しいデータ・ベクトルボｄの場合の、まだ識別していない表情を認識するための、ステップ８２０の表情認識手順の詳細のフローチャートである。ステップ８２０の表情認識手順は、ステップ８１６の主体認識手順とほぼ同じものである。ステップ８２０の表情認識手順は、ステップ１００２からスタートする。このステップにおいては、ステップ９０２においてＵｓｕｂｊｅｃｔｓを抽出する際に使用したのと類似の方法で、行列ボＵｅｘｐｒｅｓｓが抽出される。より詳細に説明すると、行列ボＵｅｘｐｒｅｓｓは、各表情ｅに対する係数の行ベクトルボｃＴｅを含む。行列ボＵｅｘｐｒｅｓｓが抽出されると、ステップ８２０の手順はステップ１００４に進み、基礎テンソルイＢが生成される。基礎テンソルイボＢは、イボＢ＝イボＺ×２ボＵｖｉｅｗｓ×３ボＵｉｌｌｕｍ×１ボＵｓｕｂｊｅｃｔｓ×５ボＵｐｉｘｅｌｓにより構成される。基礎テンソルイボＢの構成が終了すると、ステップ８２０の手順は、ステップ１００６に進み、ここでこの手順は、指数ｖ、ｉおよびｐを１に初期化する。ステップ１００８において、ステップ８２０の表情認識手順は、サブテンソルイボＢｐ，ｖ，ｉを入手するために、基礎テンソルイボＢ内への指標となる。このことは、次元１×１×１×Ｅ×Ｐを有するサブテンソルイボＢｐ，ｖ，ｉを入手するために、特定の主体ｐ、観察位置イｖ、および照明イｉに対して行われる。
【００７６】
次に、ステップ１０１０において、サブテンソルイボＢｐ，ｖ，ｉは、表情モードに沿って平らにされる。サブテンソルイボＢｐ，ｖ，ｉは、Ｅ×Ｐ行列ボＢｐ，ｖ，ｉ（ｅｘｐｒｅｓｓ）を入手するために、表情モードに沿って平らにされる。観察位置イｖ、照明イｉおよび表情イｅ内の主体イｐの特定のトレーニング画像ボｄｄは、ボｄｐ，ｖ，ｉ，ｅ＝ボＢＴｐ，ｖ，ｉ（ｓｕｂｊｅｃｔ）ボｃｅと表記することができることに留意されたい。それ故、ボｃｅ＝ボＢ−Ｔｐ，ｖ，ｉ（ｓｕｂｊｅｃｔ）ボｄｐ，ｖ，ｉ，ｅである。
【００７７】
次に、ステップ１０１２において、指数変数ｅおよび変数一致係数が初期化される。例えば、指数変数ｅは１に初期化され、変数一致係数はマイナス１（−１）に初期化される。これらの変数が初期化されると、ステップ８２０の手順はステップ１０１４に進み、ここで新しいデータ・ベクトルボｄを一組の候補係数ベクトル内に投影するために、投影オペレータボＢ−Ｔｐ，ｖ，ｉ（ｓｕｂｊｅｃｔ）が使用される。新しいデータ・ベクトルボｄの場合、新しいデータ・ベクトルボｄを、イｐ、イｖ、イｉの各組合わせに対する一組の候補係数ベクトルボｃｐ，ｖ，ｉ＝ボＢ−Ｔｐ，ｖ，ｉ（ｓｕｂｊｅｃｔ）ボｄ内に投影するために、投影オペレータボＢ−Ｔｐ，ｖ，ｉ（ｓｕｂｊｅｃｔ）が使用される。ステップ１０１６において、候補係数ベクトルボｃｐ，ｖ，ｉの各組が、人指向係数ベクトルボｃｅと比較される。この比較は、下式により行うことができる。
【数２５】
2005514683.tif 000027
【００７８】
ステップ１０１８において、この一組の候補係数ベクトルボｃｐ，ｖ，ｉが、この時点までの表情指向係数ベクトルボｃｅと最もよく一致するかどうかの判断が行われる。最もよく一致しているベクトルボｃｅは、すべての観察位置、照明および表情の中で、
【数２６】
2005514683.tif 000028
の最小値を生じるものであってもよい。この一組の候補係数ベクトルボｃｐ，ｖ，ｉと表情係数ベクトルボｃｅとの間の違いの大きさが、この時点までに計算したすべての違いより小さい場合には、ステップ８２０の手順は、ステップ１０２０に進む。小さくない場合には、ステップ８２０の手順はステップ１０２２に進む。ステップ１０２０においては、変数一致係数が指数ｐに等しくなるように設定される。変数一致係数は、この一組の候補係数ベクトルボｃｐ，ｖ，ｉが表情係数ベクトルボｃｍａｔｃｈに最もよく一致するような、最もよく一致した表情の指数を意味する。
【００７９】
その後で、ステップ１０２２において、指数ｅがＥに等しいかどうかの判断が行われる。等しい場合には、ステップ８２０の手順は、指数ｐを１に等しくなるように設定し、ステップ１０２８に進む。等しくない場合には、ステップ８２０の手順はステップ１０２４に進む。ステップ１０２４において、指数ｐは１だけ増大し、ステップ８２０の手順は、ステップ１０１４に進み、この手順は１からイＥまでの表情行列ボＵｅｘｐｒｅｓｓ内の各表情を試験する。
【００８０】
ステップ１０２８において、指数ｐがＧに等しいかどうかの判断が行われる。等しい場合には、ステップ８２０の手順は、指数ｅを１に等しくなるように設定し、ステップ１０３０に進む。等しくない場合には、ステップ８２０の手順はステップ１０３４に進む。ステップ１０３４において、指数ｐは１だけ増大し、ステップ８２０の手順は、ステップ１００８に進み、この手順は１からＧまでの主体行列ボＵｓｕｂｊｅｃｔｓ内の各主体を試験する。
【００８１】
ステップ１０３０において、指数ｉがＩに等しいかどうかの判断が行われる。等しい場合には、ステップ８２０の手順は、指数ｉを１に等しくなるように設定し、ステップ１０３２に進む。等しくない場合には、ステップ８２０の手順はステップ１０３６に進む。ステップ１０３６において、指数ｉは１だけ増大し、ステップ８２０の手順は、ステップ１００８に進み、この手順は１からＩまでの照明行列ボＵｉｌｌｕｍ内の各照明を試験する。
【００８２】
ステップ１０３２において、指数ｖがＶに等しいかどうかの判断が行われる。等しい場合には、ステップ８２０の手順はステップ１０２６に進む。等しくない場合には、ステップ８２０の手順はステップ１０３８に進む。ステップ１０３８において、指数ｖは１だけ増大し、ステップ８２０の手順は、ステップ１００８に進み、この手順は１からＶまでの視界行列ボＵｖｉｅｗｓ内の各視界を試験する。最後に、ステップ１０２６において、主体一致を、新しいデータ・ベクトルボｄ内に示した主体として識別することができる。本発明の好ましい実施形態の場合には、変数一致係数は、新しいデータ・ベクトルボｄ内に示した主体と最もよく一致する複数の主体の指数を記録している索引付きアレイであってもよい。主体一致が識別されると、ステップ８２０の手順は終了する。
【００８３】
図１１は、照明を記述するデータの量を次元的に低減するための、データ低減手順ステップ８２４の詳細のフローチャートである。このデータ低減手順ステップ８２４は、ＮモードＳＶＤ手順３０４または８０４からのモード行列を切り捨てることによりデータの量を低減する。ここで、Ｎ＝５である。モード行列を切り捨てると、例示としての低減した次元近似イボＤ’が生じる。モード行列を切り捨てると、限定エラーを有する低減階数イＲ１≦イＩ１，イＲ２≦イＩ２，．．．，イＲＮ≦イＩＮを有するテンソルイボＤの近似となる。
【数２７】
2005514683.tif 000029
この場合、捨てた最小モードイｎの特異値は
【数２８】
2005514683.tif 000030
として定義される。イＲｎ番目のモードイｎの固有値は、サブテンソルＺｉ１，．．．，ｉｎ＝ｍ，．．．，ｉＮのフロベニウス基準である。サブテンソルＺｉ１，．．．，ｉｎ＝Ｒｎ，．．．，ｉＮは、イｉｎ＝イＲｎに固定されているイｎ番目の次元を保持していて、他のすべての次元を変化させることにより、テンソルイボＺから抽出される。指数ｎが初期化されると、手順ステップ８２４は、ステップ１１０４に進む。
【００８４】
テンソル上で使用するためのもう１つの例示としての次元低減手順の場合には、最小二乗誤差関数
【数２９】
2005514683.tif 000031
を最小にすることができる正規直交イＩｎ×イＲｎモード行列ボＵ’ｎ（ここで、ｎ＝１，２，．．．，イＮ）により、最善階数（Ｒ１，Ｒ２，．．．，ＲＮ）近似イボＤ’＝イボＺ’×１ボＵ’１×２ボＵ’２．．．×ＮボＵ’Ｎが、テンソルイボＤに対して計算される。例えば、Ｎは５と等しくてもよい。データ低減手順ステップ８２４は、ステップ１１０２からスタートする。この場合、指数ｎは１に初期化される。
【００８５】
ステップ１１０４において、モード行列ボＵｎが、Ｒｎ列のところで切り捨てられる。Ｒｎ列を超えるモード行列ボＵｎ内のすべてのデータは、行列ボＵｎから除去することができる。行列ボＵｎを切り捨てた後で、手順ステップ８２４はステップ１１０６に進む。ここで指数ｎがＮに等しいかどうかの判断が行われる。等しい場合には、手順ステップ８２４は、ステップ１１１０に進む。等しくない場合には、手順ステップ８２４はステップ１１０８に進む。ステップ１１０８において、指数ｎは１だけ増大し、手順ステップ８２４は、ステップ１１０４に進む。次に、ステップ１１１０において、指数ｎは１に初期化され、手順ステップ８２４は、ステップ１１１２に進み、テンソルが計算される
【数３０】
2005514683.tif 000032
。テンソルイボＵ’ｋ＋１ｎを計算した場合には、手順ステップ８２４はステップ１１１４に進み、行列ボＵ’ｋ＋１ｎ（ｎ）を入手するために、テンソルイボＵ’ｋ＋１ｎがモードｎで平らにされる。次に、ステップ１１１６において、行列ボＵ’ｋ＋１１が、その列がボＵ’ｋ＋１１（１）のＳＶＤの左の行列の第１のＲ１列であるＩ１×Ｒ１行列として計算される。
【００８６】
ステップ１１１８において、指数ｎがＮに等しいかどうかの判断が行われる。等しい場合には、手順ステップ８２４は、ステップ１１２２に進む。等しくない場合には、手順ステップ８２４はステップ１１２０に進み、指数ｎは１だけ増大し、手順ステップ８２４は、ステップ１１１２に進む。次に、ステップ１１２２において、モード行列が収束しているかどうかの判断が行われる。１≦ｎ≦Ｎのときに、
【数３１】
2005514683.tif 000033
であるならば、モード行列は収束している。モード行列が収束している場合には、手順ステップ８２４はステップ１１２４に進む。収束していない場合には、手順ステップ８２４はステップ１１１０に進む。ステップ１１２４において、コア・テンソルイＺ’の計算が行われる。収束したモード行列ボＵ’１，ボＵ’２．．．，ボＵ’Ｎは、コア・テンソルイボＺ’＝イボＵ’Ｎ×ＮボＵ’ＴＮおよびイボＤ’＝イボＺ×１ボＵ’１×２ボＵ’２．．．×ＮボＵ’Ｎを、テンソルイボＤの階数が低減した近似として計算するために使用される。コア・テンソルイボＺ’の計算が行われると、手順ステップ８２４は終了する。
【００８７】
Ｃ．［データのコーパスの行列表現を使用する運動署名］
図１３は、多重線形データ分析アプリケーションを示す多重線形データ分析アプリケーション１３００を実施するプロセスの例示としての実施形態のフローチャートである。多重線形データ分析アプリケーションのところですでに説明したように、プロセス１３００は、前に記録したことがない既知の行動を、主体が行っているものとして合成するように構成されている。より詳細に説明すると、多重線形データ分析アプリケーションは、図２に関連する上記のいくつかの主体から、データ捕捉システム１１２により収集する運動のデータのコーパスを使用する。この運動情報のコーパスは、サーバ１０２のデータベース１０８に記憶され、少なくとも１つの行動を行っている少なくとも１つの主体の脚の関節角度を記述する。運動情報のコーパスは、行列ボＤとして編成することができ、図２のところで説明したいくつかの主体から収集することが好ましい。運動情報のコーパスは、また、テンソルイボＤまたはベクトルボｄとしても編成することができることに留意されたい。多重線形データ分析アプリケーション１３００は、多重線形データ分析アプリケーション１３００が使用するデータが、テンソルイボＤとしてではなく、行列ボＤとして編成されている点を除けば、図２の多重線形データ分析アプリケーション２００に類似している。
【００８８】
図１３についてさらに詳細に説明すると、ステップ１３０２において、プロセス１３００は、例えば、新しい運動データのような、異なる行動を行っている種々の主体（例えば、人）に関する運動情報またはデータを収集する。行動および個人が既知のものである場合には、データを行列ボＤ内に組み込むことができる。行動または個人が未知のものである場合には、情報のこれら断片が決定されるまで、このようなデータは行列ボＤに組み込まれない可能性がある。未知の行動または個人を記述するデータは、新しいデータ行列ボＤｐ、または新しいデータ・ベクトルボｄとして編成される。新しいデータ行列ボＤｐは、２つ以上の新しいデータ・ベクトルボｄを含むことができる。新しいデータ行列ボＤｐの新しい各データ・ベクトルボｄｐ，ａは、行動ａを行っている主体ｐの運動を記述する。いくつかの主体の運動シーケンスが分かっている場合には、行列ボＤはイｎイｔ×イｍ行列の形をとることができる。ここで、イｎは主体の数であり、イｔは関節角度時間サンプルの数であり、イｍは運動分類の数である。下記のように、行列ボＤの第１の列は各主体の平均的歩行を積み重ね、第２の列は平均的登り運動を積み重ね、第３の列は平均的階段の下り運動を積み重ねる。
【数３２】
2005514683.tif 000034
行列ボＤｉの列は平均的歩行であり、ｉ番目の主体の階段の上り下りである。各運動は、時間の経過中の各関節の角度として定義される。
【００８９】
ステップ１３０４において、プロセス１３００は、行列ボＤをコア・マトリックスボＺ、主体行列ボＰ、および行動行列ボＡに分解する。コア・マトリックスボＺは、主体行列ボＰと行動行列ボＡとの間の相互関係を定義するのに使用することができる。このステップは、図１４に示し、以下にさらに詳細に説明する特異値分解（「ＳＶＤ」）プロセス１３０４を示す。ステップ１３０４のＳＶＤ手順は、下式を最小にするコア・マトリックスボＺ、主体行列ボＰおよび行動行列ボＡを計算する正規直交手順である。
【数３３】
2005514683.tif 000035
ここで、ボＩは識別行列である。ステップ１３０４のこの手順がコア・マトリックスボＺを決定した場合には、プロセス１３００はステップ１３０５に進む。
【００９０】
ステップ１３０５において、プロセス１３００は、ステップ１３０２中に収集したデータを分析する。ステップ１３０４のＳＶＤ手順は、行列ボＤを下式のコア・マトリックスボＺおよび２つの直交行列の積に分解する。
ボＤ＝（ボＺＶＴボＰＴ）ＶＴボＡＴ
＝ボＳボＡＴ
ここで、ＶＴオペレータは、行列の列を積み重ねることによりベクトルを生成する「ｖｅｃ」オペレータが後に続く行列移項Ｔである。その行ベクトルボｐｉが人指向のものである主体行列ボＰ＝［ボｐ１．．．ボｐｎ．．．ボｐＧ］Ｔは、各人に対する行動を横切る不変性をコード化する。それ故、主体行列ボＰは、主体または人の運動署名ボｐｉを含む。その行ベクトルボａｃが異なる行動分類ｃに対する係数を含む行動行列
【数３４】
2005514683.tif 000036
は、各行動に対する主体を横切る不変性をコード化する。コア・マトリックスボＺ＝［ボＺ１．．．ボＺｉ．．．ボＺｎ］Ｔは、人および行動から独立している基礎運動を表す。このコア・マトリックスは、正規直交行列ボＰおよびボＡの間の関係を制御する。行列
ボＳ＝（ボＺＶＴボＰＴ）ＶＴ＝［ボＳ１．．．ボＳｉ．．．ボＳｎ］Ｔ
は、人指向署名行列ボＳからなる。
【００９１】
ステップ１３０６において、プロセス１３００は、自分がクライアント・インタフェース・アプリケーションにより、前に記録したことがなかった少なくとも１つの既知の行動を記述する新しいデータを、主体が行っているものとして合成するように指示されているかどうかの判断を行う。プロセス１３００がそのような指示を受けていた場合には、図１５のところでさらに詳細に説明し、本明細書において説明するような個人生成手順に進むためにステップ１３０８を実行する。ステップ１３０８の個人生成手順が終了した場合には、プロセス１３００はステップ１３２６に進む。次に、ステップ１３２６において、プロセス１３００は、新しい主体に対するデータ・セットを行列ボＤに組み入れるべきかどうか、またはクライアント・インタフェース・アプリケーションが新しい指示を送信したかどうかを判断する。より詳細に説明すると、行動を行っている新しい主体に対するデータ・セットが入手できる場合には、プロセス１３００はステップ１３０２に進む。入手できない場合には、プロセス１３００は、クライアント・インタフェース・アプリケーションから新しい指示を受け取り、プロセス１３００はステップ１３０６に進む。
【００９２】
図１４に示すように、ステップ１３０４の手順は、ボＤ＝（ボＺＶＴボＰＴ）ＶＴボＡＴを解いて、行列ボＰを計算することによりステップ１４０２からスタートする。次に、このプロセスは（ボＤボＡ）ＶＴ＝ボＺＶＴボＰＴを計算する。この手順は、左側のＳＶＤ手順を実行し、その結果ボＵボＳボＶＴ＝ボＺＶＴボＰＴとなる。次に、行列ボＶは、行列ボＶの第１のｒ列のところで切り捨てられる。次に、ステップ１３０４の手順は、ボＤＶＴ＝（ボＺボＡＴ）ＶＴボＰＴを計算することによりステップ１４０４で行動行列ボＡを解く。この計算が行われると、この手順は（ボＤＶＴボＰ）ＶＴ＝ボＺボＡＴを計算する。この手順は、左側のＳＶＤを実行し、その結果ボＵボＳボＶＴ＝ボＺボＡＴとなる。次に、行列ボＡは、行列ボＶの第１のｒ列のところで切り捨てられる。ステップ１４０６において、ステップ１３０４の手順は、コア・マトリックスボＺ×ボＺ＝（ボＤＶＴボＰ）ＶＴボＡを入手する。この場合、行列ボＰおよび行列ボＡは正規直交している。行列ボＡおよび行列ボＰを行列ボＶの第１のｒ列に設定することにより次元の低減が効果的に行われることを理解されたい。
【００９３】
図１５は、新しい個人に対する、前に記録したことがなかった残りの行動を合成するステップ１３０８の個人生成手順の詳細である。残りの行動は、ある行動を行っている新しい主体の所与の新しい運動データボＤｎｅｗに対して生成される。新しい主体の新しい署名モデルは下記の行列である。
【数３５】
2005514683.tif 000037
行動分類ｃの一部だけが、行列ボＤｎｅｗにより表される。既知の署名の線形な組合わせは、下式の通りである。
【数３６】
2005514683.tif 000038
ここで、ボＷは加重行列である。ステップ１３０８の個人生成手順は、エラー関数の反復勾配下降により、新しい主体の加重行列ボＷを解く。
【数３７】
2005514683.tif 000039
ここで、ボＡＴｉｎｃは、行列ボＤｎｅｗ内で入手することができる運動例に対応する列だけを有する。より詳細に説明すると、この手順のステップ１５０２は、指数ｔを１に初期化する。ステップ１５０４において、ステップ１３０８の手順は、ボＱ＝イＳイＡＴｉｎｃを計算することにより行列ボＱを入手する。この手順が行列ボＱを入手すると、ステップ１３０８の手順のステップ１５０６は、下記の方法、すなわち、ボＷ（ｔ＋１）＝ボＷ（ｔ）＋γ（ボ
Ｄｎｅｗ−ボＷボＱ）ボＱＴにより、行列ボＷ（ｔ＋１）を計算する。次に、ステップ１５０８は、ボＳｎｅｗ（ｔ＋１）＝ボＷ（ｔ＋１）ボＳを計算することによりボＳｎｅｗ（ｔ＋１）を計算し、次に、この手順はステップ１５１０に進む。
【００９４】
ステップ１５１０において、エラー関数Ｅが収束しているかどうかの判断が行われる。エラー関数Ｅが収束していない場合には、ステップ１３０８の手順は、ステップ１５１２に進み、ここで、指数ｔは１だけ増大し、この手順はステップ１５０４に進む。エラー関数Ｅが収束してる場合には、この手順はステップ１５１４に進む。ステップ１５１４において、ステップ１３０８の手順は行動パラメータｃの中の１つから新しいデータを合成する。例えば、行動パラメータｃが歩行行動を表している場合には、歩行に対する新しいデータが、新しく抽出した署名行列ボＳｎｅｗをかけ算することにより合成され、歩行の行動パラメータボａｗａｌｋが下式のように合成される。
【数３８】
2005514683.tif 000040
新しいデータが合成されると、ステップ１３０８の手順が終了し、抜け出る。
【００９５】
好ましい実施形態を参照しながら本発明を説明してきたが、通常の当業者であれば、本発明の範囲から逸脱することなしに、上記好ましい実施形態を他の方法で種々に変更および修正することができることを理解することができるだろう。通常の当業者であれば、本明細書に開示する本発明の仕様および実行から他の実施形態を思い付くことができるだろう。上記説明および上記例は、例示としてのものであって、本発明の真の範囲および精神は特許請求の範囲に記載する。
【図面の簡単な説明】
【００９６】
【図１】本発明の例示としての実施形態によるデータ分析システムのブロック図である。
【図２】多重線形データを分析する、本発明によるプロセスの例示としての実施形態のフローチャートである。
【図３】Ｎ次元テンソルを分解するためのＮモードのＳＶＤアルゴリズムを実行する、図２のプロセスのコア・テンソル計算手順の例示としての実施形態のフローチャートである。
【図４】新しい個人の残りの行動を合成する、図２のプロセスの例示としての実施形態のフローチャートである。
【図５】一組の個人の観察した行動を合成する、図２のプロセスの行動生成手順の例示としての実施形態のフローチャートである。
【図６】個人のグループの中の１人として既知の行動を行う識別していない個人を認識する、図２のプロセスの個人認識手順の例示としての実施形態のフローチャートである。
【図７】既知の個人が行っている未知の行動を認識する、図２のプロセスの行動認識手順の例示としての実施形態のフローチャートである。
【図８】多重線形データを分析する、本発明によるプロセスのもう１つの例示としての実施形態のフローチャートである。
【図９】未知の顔の画像が与えられた場合の、識別していない個人を認識する、図８のプロセスの個人認識手順の例示としての実施形態のフローチャートである。
【図１０】既知の人が浮かべている識別していない表情を認識する、図８のプロセスの表情認識手順の例示としての実施形態のフローチャートである。
【図１１】ある表情を浮かべている個人を記述するデータの量を次元的に少なくする、図８のプロセスのデータ低減プロセスの例示としての実施形態のフローチャートである。
【図１２Ａ】本発明の例示としての実施形態によるサンプル・テンソルおよび等価のモード１、モード２およびモード３の平らにしたテンソルのブロック図である。
【図１２Ｂ】本発明の例示としての実施形態によるサンプル・テンソルおよび等価のモード１、モード２およびモード３の平らにしたテンソルのブロック図である。
【図１２Ｃ】本発明の例示としての実施形態によるサンプル・テンソルおよび等価のモード１、モード２およびモード３の平らにしたテンソルのブロック図である。
【図１２Ｄ】本発明の例示としての実施形態によるサンプル・テンソルおよび等価のモード１、モード２およびモード３の平らにしたテンソルのブロック図である。
【図１２Ｅ】本発明の例示としての実施形態によるサンプル・テンソルおよび等価のモード１、モード２およびモード３の平らにしたテンソルのブロック図である。
【図１２Ｆ】本発明の例示としての実施形態によるサンプル・テンソルおよび等価のモード１、モード２およびモード３の平らにしたテンソルのブロック図である。
【図１３】多重線形データを分析する、本発明によるプロセスのもう１つの例示としての実施形態のフローチャートである。
【図１４】行列を分解するためにＳＶＤ行列・アルゴリズムを実行する、図１３のプロセスのコア・マトリックス計算手順の例示としての実施形態のフローチャートである。
【図１５】新しい個人の残りの行動を合成する、図１３のプロセスの例示としての実施形態のフローチャートである。
【符号の説明】
【００９７】
１００…データ分析システム
１０２…中央サーバ
１０４…中央処理装置（「ＣＰＵ」）
１０６…データ記憶装置
１０８，１２０，１３０…データベース
１１０…通信ネットワーク
１１２…データ捕捉システム
１１４…。第１のクライアント・サーバ
１１６，１２６…ＣＰＵ
１１８…データ記憶装置
１２４…第２のクライアント・サーバ
１２８…データ記憶装置
【図１】
2005514683.tif 000041
【図２】
2005514683.tif 000042
【図３】
2005514683.tif 000043
【図４】
2005514683.tif 000044
【図５】
2005514683.tif 000045
【図６】
2005514683.tif 000046
【図７】
2005514683.tif 000047
【図８】
2005514683.tif 000048
【図９】
2005514683.tif 000049
【図１０】
2005514683.tif 000050
【図１１】
2005514683.tif 000051
【図１２Ａ】
2005514683.tif 000052
【図１２Ｂ】
2005514683.tif 000053
【図１２Ｃ】
2005514683.tif 000054
【図１２Ｄ】
2005514683.tif 000055
【図１２Ｅ】
2005514683.tif 000056
【図１２Ｆ】
2005514683.tif 000057
【図１３】
2005514683.tif 000058
【図１４】
2005514683.tif 000059
【図１５】
2005514683.tif 000060
【国際調査報告】
2005514683.tif 000061
2005514683.tif 000062