(57)【特許請求の範囲】
【請求項１】
シーンの一連の画像をオンライン処理する方法であって、前記一連の画像は画像テンソルとして表され、前記方法は、
少なくとも１つのセンサーからの前記シーンの前記一連の画像を入力インタフェース装置から取得するステップであって、取得された前記シーンの前記一連の画像は、前記シーン内の構造物によって生じる遮蔽を含み、前記構造物は、前記シーンと１以上のセンサーとの間のビル、雲、あるいは前記ビルと前記雲の両方を含む、取得するステップと、
前記一連の画像の第１画像を用いて、低管状階数テンソル及びスパーステンソルを初期化し、前記低管状階数テンソル及び前記スパーステンソルをメモリ内に記憶するステップであって、前記低管状階数テンソルは、低階数スパニングテンソル基底及び対応するテンソル係数のテンソル積である、記憶するステップと、
連続して取得された画像のそれぞれの連続画像を用いて、メモリに記憶された前回の反復からの連続して記憶された低管状階数テンソル及び連続して記憶されたスパーステンソルを反復的に更新し、更新された低管状階数テンソル及び更新されたスパーステンソルを取得する、更新するステップであって、前記更新された低管状階数テンソルは、低階数スパニングテンソル基底及び対応する更新されたテンソル係数のテンソル積である、更新するステップと、
連続して取得された画像のすべての繰り返しが完了したときに、前記更新された低管状階数テンソル、前記更新されたスパーステンソル、あるいは前記更新された低管状階数テンソルおよび前記更新されたスパーステンソルの両方のうちのいずれかを出力するステップと、を備え、それぞれのステップは前記メモリと通信するプロセッサにおいて実行される
方法。
【請求項２】
前記低管状階数テンソルは、前記連続して取得された画像のすべてに共通のシーン内の背景を表し、前記スパーステンソルは、前記連続して取得された画像の１以上の遮蔽からの前記シーン内の物体を表す、請求項１に記載の方法。
【請求項３】
前記更新された低管状階数テンソルは、１組の出力画像を表し、前記更新されたスパーステンソルは、１組のスパース画像を表す、請求項１に記載の方法。
【請求項４】
前記第１画像は、前記低管状階数テンソル及び前記スパーステンソルを初期化するために用いられる前記一連の画像内の１組の画像である、請求項１に記載の方法。
【請求項５】
前記画像は多時点画像又はマルチアングルビュー画像である、請求項１に記載の方法。
【請求項６】
前記画像テンソルは、テンソルロバスト主成分分析（ＰＣＡ）を用いて、前記低管状階数テンソル及び前記スパーステンソルに分解される、請求項１に記載の方法。
【請求項７】
前記低管状階数テンソルは、前記シーン内の背景を表し、前記スパーステンソルは、前記シーン内の前景を表す、請求項１に記載の方法。
【請求項８】
前記低管状階数テンソルは、ノイズが低減された画像を表し、前記スパーステンソルはノイズを表す、請求項１に記載の方法。
【請求項９】
少なくとも１つのセンサーは前記シーンの前記一連の画像が取得されるときに移動している、請求項１に記載の方法。
【請求項１０】
前記少なくとも１つのセンサーは、人工衛星又は航空機内に配置される、請求項９に記載の方法。
【請求項１１】
前記少なくとも１つのセンサーは、２以上のセンサーであり、前記２以上のセンサーにより取得された前記シーンの前記一連の画像は、前記２以上のセンサーとシーンとの間の雲及び前記シーン内の構造物によって生じる遮蔽を含み、１組の出力画像は、前記遮蔽のない前記シーンを表し、前記出力される１組のスパース画像は前記遮蔽のみを表す、請求項１に記載の方法。
【請求項１２】
画像を処理するシステムであって、各画像は画像テンソルとして表現され、前記システムは、
少なくとも１つのセンサーによって取得された１組の入力画像を連続して受信する入力インタフェースであって、取得されたシーンの一連の画像は、前記シーン内の構造物によって生じる遮蔽を含み、前記構造物は、前記シーンと１以上のセンサーとの間のビル、雲、あるいは前記ビルと前記雲の両方を含む、入力インタフェースと、
メモリと通信するプロセッサとを備え、前記プロセッサは、
一連画像の第１画像を用いて、低管状階数テンソル及びスパーステンソルを初期化し、前記低管状階数テンソル及び前記スパーステンソルをメモリ内に記憶し、
連続して取得された画像のそれぞれの連続画像を用いて、メモリに記憶された前回の反復からの連続して記憶された低管状階数テンソル及び連続して記憶されたスパーステンソルを反復的に更新し、更新された低管状階数テンソル及び更新されたスパーステンソルを取得し、
連続して取得された画像のすべての繰り返しが完了したときに、前記更新された低管状階数テンソル、前記更新されたスパーステンソル、あるいは前記更新された低管状階数テンソルおよび前記更新されたスパーステンソルの両方のうちのいずれかを出力する
システム。
【請求項１３】
前記低管状階数テンソルは、前記連続して取得された画像のすべてに共通のシーン内の背景を表し、前記スパーステンソルは、前記連続して取得された画像の１以上の遮蔽からの前記シーン内の物体を表す、請求項１２に記載のシステム。
【請求項１４】
前記更新された低管状階数テンソルは、１組の出力画像を表し、前記更新されたスパーステンソルは、１組のスパース画像を表す、請求項１２に記載のシステム。
【請求項１５】
前記第１画像は、前記低管状階数テンソル及び前記スパーステンソルを初期化するために用いられる前記一連の画像内の１組の画像である、請求項１２に記載のシステム。
【請求項１６】
前記低管状階数テンソルは、低階数スパニングテンソル基底及び対応するテンソル係数のテンソル積であり、前記更新された低管状階数テンソルは、低階数スパニングテンソル基底及び対応する更新されたテンソル係数のテンソル積である、請求項１２に記載のシステム。
【請求項１７】
前記画像テンソルは、テンソルロバスト主成分分析（ＰＣＡ）を用いて、前記低管状階数テンソル及び前記スパーステンソルに分解される、請求項１２に記載のシステム。
【請求項１８】
前記低管状階数テンソルは、前記シーン内の背景を表し、前記スパーステンソルは、前記シーン内の前景を表す、請求項１２に記載のシステム。
【請求項１９】
前記低管状階数テンソルは、ノイズが低減された画像を表し、前記スパーステンソルはノイズを表す、請求項１２に記載のシステム。
【請求項２０】
シーンの一連の画像をオンライン処理する方法であって、前記一連の画像は画像テンソルとして表され、前記方法は、
少なくとも２つのセンサーからの前記シーンの前記一連の画像を入力インタフェース装置から取得するステップであって、取得された前記シーンの前記一連の画像は、２以上のセンサーとシーンとの間の雲及び前記シーン内の構造物によって生じる遮蔽を含む、取得するステップと、
取得された前記一連の画像の第１画像を用いて、低管状階数テンソル及びスパーステンソルを初期化し、前記低管状階数テンソル及び前記スパーステンソルをメモリ内に記憶するステップであって、前記低管状階数テンソルは、低階数スパニングテンソル基底及び対応するテンソル係数のテンソル積である、記憶するステップと、
連続して取得された画像のそれぞれの連続画像を用いて、メモリに記憶された前回の反復からの連続して記憶された低管状階数テンソル及び連続して記憶されたスパーステンソルを反復的に更新し、更新された低管状階数テンソル及び更新されたスパーステンソルを取得する、更新するステップであって、前記更新された低管状階数テンソルは、低階数スパニングテンソル基底及び対応する更新されたテンソル係数のテンソル積である、更新するステップと
連続して取得された画像のすべての繰り返しが完了したときに、前記更新された低管状階数テンソル、前記更新されたスパーステンソル、あるいは前記更新された低管状階数テンソルおよび前記更新されたスパーステンソルの両方のうちのいずれかを出力するステップと、を備え、それぞれのステップは前記メモリと通信するプロセッサにおいて実行される
方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはコンピュータービジョンに関し、より詳細には、一連の画像をオンラインで処理することに関する。
【背景技術】
【０００２】
多くのコンピュータービジョン用途において、画像を処理して物体を検出するか、又は、例えば背景差分、望ましくないアーチファクト、ノイズ及び遮蔽の除去若しくは低減によって入力画像の品質を改善することができる。画像処理において、次元を低減するために、主成分分析（ＰＣＡ：ｐｒｉｎｃｉｐａｌ  ｃｏｍｐｏｎｅｎｔ  ａｎａｌｙｓｉｓ）が一般的に適用される。しかしながら、画像データが、全体的な破損、遮蔽又は異常値等の意図しないアーチファクトを含む場合、従来のＰＣＡは失敗する可能性がある。この問題を解決するために、ロバストＰＣＡ（ＲＰＣＡ：ｒｏｂｕｓｔ  ＰＣＡ）モデルを用いることができる。
【０００３】
オンライン再帰ＲＰＣＡは、オンラインモードで、すなわち、前回の推定値及び新たに取得したデータのみを用いて、データサンプルを分離することができる。最初に全てのデータサンプルを保存し、その後これらを処理する従来のＲＰＣＡ方法と異なり、オンラインＲＰＣＡは、必要とされるメモリ要件を大幅に低減し、計算効率及び収束を改善する。
【０００４】
２よりも大きい次数の多次元データ（テンソル）の場合、従来の行列ベースの手法を依然として用いることができるように、データをベクトル化することによってベクトル空間にデータを埋め込むことが一般的である。このベクトル化プロセスはほとんどの場合に良好に機能するが、多次元の視点から情報を抽出する際のテンソル表現の効率性が制限される。
【０００５】
代替的に、テンソル代数手法は、高次のデータを処理する際の多次元情報の保持において大きな利点を呈する。しかしながら、全ての高次元データが記憶され処理される必要があるので、テンソルＲＰＣＡがバッチモードで動作することは非常に時間がかかる。
【発明の概要】
【０００６】
テンソルロバスト主成分分析（ＰＣＡ）が、背景差分、ノイズ除去、並びに異常値及び物体検出等の多くの画像処理用途において用いられている。本発明の実施形態は、テンソルの形態で１組の画像を表す多次元データが連続して処理されるオンラインテンソルロバストＰＣＡを提供する。テンソルＰＣＡは、前回の推定及び新たに取得したデータに基づいてテンソルを更新する。
【０００７】
バッチモードで動作する従来のＰＣＡと比較して、本発明は、要求されるメモリ量を大幅に低減し、計算効率を改善する。加えて、本方法は、従来のバッチモード手法と比較して、収束速度及び性能が優れている。例えば、性能は、相対二乗誤差による行列ベースのオンラインロバストＰＣＡ方法よりも少なくとも１０％良好であり、収束速度は、行列ベースのオンラインロバストＰＣＡ方法よりも少なくとも３倍速い。
【０００８】
メモリを低減し、計算効率を増大させるために、本発明者らはオンラインテンソルＲＰＣＡアルゴリズムを提供する。このアルゴリズムは、オンライン行列ＰＣＡ方法を、高次元データ（テンソル）に拡張する。オンラインテンソルＲＰＣＡは、部分的に、テンソル特異値分解（ｔ−ＳＶＤ：ｔｅｎｓｏｒ  ｓｉｎｇｕｌａｒ  ｖａｌｕｅ  ｄｅｃｏｍｐｏｓｉｔｉｏｎ）構造に基づく。
【０００９】
このテンソル代数の背後にある主要な着想は、続いて、テンソル管に沿ってグループ環を構築することである。例えば、２Ｄアレイを管のベクトルとみなし、３Ｄテンソルを管の行列とみなす。そのようなテンソルの枠組みは、高次元データの圧縮及び完成において用いられている。実施形態は、バッチテンソルＲＰＣＡ問題を拡張し、連続データ集合の利点を提供する。これによって、必要とされるメモリが低減し、効率が増大する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態による、画像を向上させるシステムの概略図である。
【図２】本発明の実施形態による、画像を向上させる方法の流れ図である。
【図３】本発明の実施形態によって用いられる乗算演算（ｔ積）の概略図である。
【図４】スパニング基底及び係数のｔ−線形結合によって生成される自由モジュールの要素の概略図である。
【図５】本発明の実施形態によって用いられるｔ−ＳＶＤ  Ｘ＝Ｕ＊Ｓ＊ＶＴの概略図である。
【図６】本発明の実施形態による、オンラインテンソルロバストＰＣＡのための擬似コードのブロック図である。
【図７】本発明の実施形態による、データサンプルを投影するための擬似コードのブロック図である。
【図８】本発明の実施形態による、スパニング基底を更新するための擬似コードのブロック図である。
【図９】本発明の実施形態による、向上した画像と雲のみのスパース画像とに分離された入力画像の概略図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施形態による、画像を処理するシステムの概略図である。センサー１０１、例えば人工衛星内のカメラが、シーン１０３の１組のＴ個の入力画像１０２を連続して捕捉する。画像は、時間ステップｔにおいて単一の移動センサーから得ることができる。連続取得により、画像を記憶するためのメモリ要件が低減する。なぜなら、画像は、センサーによって取得され、プロセッサによって受信されるときにオンライン処理されるためである。画像は、互いの位置合わせを容易にするために重複することができる。画像は、グレイスケール画像又はカラー画像とすることができる。さらに、画像は、連続して取得された多時点画像又はマルチアングルビュー画像とすることができる。
【００１２】
図１に示す例示的な用途では、センサーは移動空間又は空中プラットフォーム（人工衛星、航空機又はドローン）内に配置され、シーン１０３は地上地形である。シーンは、建物等のシーン内の構造物、及びシーンとセンサーとの間の雲に起因した遮蔽を含む可能性がある。目標は、遮蔽なしの１組の向上した出力画像１０４を生成することである。副生成物として、システムは、遮蔽、例えば雲のみを含む１組のスパース画像１０５も生成する。
【００１３】
図２に示すように、本方法は、センサー１０１に電気的又は無線で接続することができるプロセッサ１００において動作する。画像を処理する前に、スパニングテンソルがＬ０として初期化され（２２２）、テンソル係数Ｒ０及びスパーステンソルＥ０が初期化される（２２３）。これについては、以下で説明される図６を参照されたい。
【００１４】
１組の入力画像１０１は、プロセッサによって直接又は間接的に取得され（２１０）、例えば、画像は、カメラ、ビデオカメラによって取得することもできるし、他の手段によって、又は他のソースから得ることもできる。これは例えば、メモリ転送又は無線通信若しくは無線通信である。本明細書に記載する処理の目的で、各画像は画像テンソルＺｔによって表される。
【００１５】
ステップｔにおける画像ごとに、以下のステップが実行される。画像内のデータサンプルが、前回のスパニングテンソル基底Ｌｔ−１を用いてテンソル係数Ｒｔ及びスパーステンソルＥｔに投影される（２２０）。ここで、
【数１】
0006615062.tif 000002
は、スパニング基底Ｌｔ−１に対応する係数を表し、
【数２】
0006615062.tif 000003
である。
【００１６】
スパニングテンソル基底は、前回の基底Ｌｔ−１を開始点として用いることによって更新される（２２５）。更新されたスパニングテンソル基底Ｌｔは、次の処理される画像のために保存される。低階数管状テンソルＸ＝Ｌｔ＊ＲｔＴ及びスパーステンソルＥｔが更新され（２３０）、
【数３】
0006615062.tif 000004
であるような１組の出力画像Ｘｔ１０４及び１組のスパース画像Ｅｔ１０５が生成される。
【００１７】
テンソルフレームワークの概観
三次テンソルを例として用いて、本発明の実施形態によって用いられるテンソル構造体を説明する。ｎ１×ｎ３の大きさの画像を、従来の画像処理のように次元ｎ１ｎ３のベクトルにベクトル化する代わりに、各画像を、画像平面に対し垂直な管状スカラーのベクトルとみなす。全てのベクトルが、単位元（ｉｄｅｎｔｉｔｙ）を有する可換環にわたって自由モジュールを形成し、自由モジュールは、明確に定義された（ｗｅｌｌ−ｄｅｆｉｎｅｄ）基底及び次元を有するベクトル空間に対し同様にふるまう。
【００１８】
表記及び定義
ｎ１×ｎ２×ｎ３の大きさの三次テンソルＡについて、Ａ（ｉ，ｊ，ｋ）は、Ａの（ｉ，ｊ，ｋ）番目の要素を表し、Ａ（ｉ，ｊ，：）は、（ｉ，ｊ）番目の管状スカラーを表す。それぞれ、Ａ（ｉ，：，：）は、ｉ番目の水平方向スライス（ｈｏｒｉｚｏｎｔａｌ  ｓｌｉｃｅ）であり、Ａ（：，ｊ，：）はｊ番目の横方向スライス（ｌａｔｅｒａｌ  ｓｌｉｃｅ）であり、Ａ（：，：，ｋ）又はＡ（ｋ）はＡのｋ番目の正面方向スライス（ｆｒｏｎｔａｌ  ｓｌｉｃｅ）を表す。
【００１９】
ｔ積
【数４】
0006615062.tif 000005
を、画像平面に対し垂直なｎ３タプルとする。図３に示すように、巡回畳み込みによる２つのｎ３タプル
【数５】
0006615062.tif 000006
及び
【数６】
0006615062.tif 000007
間の乗算演算（ｔ積）の結果、
【数７】
0006615062.tif 000008
によって表される別のｎ３タプル
【数８】
0006615062.tif 000009
が得られる。ここで、ｉ＝０，１，．．．，ｎ３−１である。
【００２０】
２つの三次テンソル
【数９】
0006615062.tif 000010
及び
【数１０】
0006615062.tif 000011
を所与として、Ａ及びＢのｔ積の結果は、以下のように定義されるｎ１×ｎ４×ｎ３の大きさの三次テンソルＣである。
【数１１】
0006615062.tif 000012
ここで、ｉ＝１，２，．．．，ｎ１及びｌ＝１，２，．．．，ｎ４である。これは、乗算演算に対応するｔ積「＊」を用いた行列間の乗算と一致する。
【００２１】
可換環
規定の乗算（ｔ積）及び加算の下で、ｎ３タプルの組は、単位元
【数１２】
0006615062.tif 000013
を有する可換環
【数１３】
0006615062.tif 000014
を形成する。
【００２２】
可換環にわたる自由モジュール
【数１４】
0006615062.tif 000015
を、ｎ１×１×ｎ３の大きさの、１組の全て２Ｄの横方向スライスとする。
【数１５】
0006615062.tif 000016
におけるすべての要素は、管状スカラーのベクトルとして特徴づけることができる。任意の要素
【数１６】
0006615062.tif 000017
及び係数
【数１７】
0006615062.tif 000018
について、Ｙ＝Ｘ＊ｖも
【数１８】
0006615062.tif 000019
の要素であるため、
【数１９】
0006615062.tif 000020
は管状スカラー乗算の下で閉じている。
【００２３】
さらに、
【数２０】
0006615062.tif 000021
は、可換環
【数２１】
0006615062.tif 000022
にわたる次元ｎ３の自由モジュールである。フーリエ変換と巡回畳み込みとの間の関係を用いて、このモジュールのためのスパニング基底
【数２２】
0006615062.tif 000023
を構築することができる。
【００２４】
図４は、スパニング基底を所与として、任意の要素
【数２３】
0006615062.tif 000024
を管状スカラー係数
【数２４】
0006615062.tif 000025
とのｔ−線形結合として一意に表現することができることを示す。
【数２５】
0006615062.tif 000026
【００２５】
テンソルＰＣＡ及びテンソル特異値分解（ｔ−ＳＶＤ）
データを概ね含む、より低次元の部分空間を特定する行列ＰＣＡと同様に、高次テンソルデータのためのテンソルＰＣＡを検討する。三次テンソルに焦点を当てる。２Ｄデータサンプルが、自由モジュール
【数２６】
0006615062.tif 000027
のより低次元の自由サブモジュールから到来すると仮定する。ここで、自由サブモジュールは、次元ｄ＜ｎのスパニング基底を有する
【数２７】
0006615062.tif 000028
のサブセットである。本発明者らの目標は、２Ｄデータサンプルを含む自由サブモジュールを特定することである。
【００２６】
ｔ−ＳＶＤ
ｎ１×ｎ３の大きさのｎ２個の２Ｄサンプル
【数２８】
0006615062.tif 000029
を所与として、サンプルを横方向スライスとして配置して、ｎ１×ｎ２×ｎ３の大きさの３ＤテンソルＸを作成する。次に、ｔ−ＳＶＤ方法を用いて、サブモジュールのスパニング基底（主要成分）を決定する。
【００２７】
図５に示すように、ｔ−ＳＶＤは以下のように定義される。
【数２９】
0006615062.tif 000030
ここで、
【数３０】
0006615062.tif 000031
及び
【数３１】
0006615062.tif 000032
は、Ｕ＊ＵＴ＝ＩかつＶ＊ＶＴ＝Ｉを満たす直交テンソルと呼ばれ、ここで、Ｉは第１の正面方向スライスが単位行列であることを除いて、正面方向スライスが全てゼロである単位テンソルであり、上付き文字Ｔは転置演算子である。
【００２８】
【数３２】
0006615062.tif 000033
は、正面方向スライスが対角行列であるテンソルである。画像平面における管状スカラーＳ（ｉ，ｉ，：），ｉ＝１，２，．．．，ｄは特異管と呼ばれ、ここで、ｄは管状スカラーの階数である。
【００２９】
巡回畳み込みと離散フーリエ変換（ＤＦＴ：ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒｍ）との間の関係に基づいて、フーリエ領域においてＳＶＤによりｔ−ＳＶＤを求めることができる。
【数３３】
0006615062.tif 000034
を、
【数３４】
0006615062.tif 000035
によって表されるテンソルＸの第３の次元に沿ったＤＦＴとする。フーリエ領域におけるＳＶＤ
【数３５】
0006615062.tif 000036
を所与として、式（４）におけるｔ−ＳＶＤを以下によって求めることができる。
【数３６】
0006615062.tif 000037
ここで、ｆｆｔ及びｉｆｆｔはそれぞれ、高速フーリエ変換及びその逆数を表す。
【００３０】
行列ＳＶＤの多くの特性がｔ−ＳＶＤに保持されることに留意されたい。これらの中で、重要なものは、立証可能に最適な次元低減のためにトランケートされたｔ−ＳＶＤの最適性である。
【００３１】
オンラインテンソルロバストＰＣＡ
ここで、スパースに破損したデータから低次元のサブモジュールのテンソルを回復する問題を検討する。以下のように分解することができる三次テンソルＺを有すると仮定する。
【数３７】
0006615062.tif 000038
ここで、Ｘは低いテンソル管状階数を有するテンソルであり、Ｅはスパーステンソルである。テンソルＲＰＣＡと呼ばれる、Ｘ及びＥを別個に回復する問題は、最適化問題として定式化することができる。
【数３８】
0006615062.tif 000039
ここで、λは所定の重み係数であり、‖Ｘ‖ＴＮＮは、ｔ−ＳＶＤの意味でテンソルＸの全ての特異値の合算として定義されるテンソル核ノルムを表し、
【数３９】
0006615062.tif 000040
であり、λ＞０である。
【００３２】
式（７）は以下の問題と等価であることに留意されたい。
【数４０】
0006615062.tif 000041
ここで、λ１，λ２＞０である。
【００３３】
ここで、オンラインで動作するテンソルＰＣＡの実施態様を説明する。１組の画像１０２を表す２ＤデータサンプルＺ（：，ｉ，：），ｉ＝１，２，．．．，Ｔが連続して取得される（２１０）と仮定する。本発明者らの目標は、画像がプロセッサ１００において受信されるときにＸのスパニング基底（主成分）をオンラインで推定し、スパーステンソルを同時に分離することである。次に進むために、以下の補題に依拠する。
【００３４】
三次テンソル
【数４１】
0006615062.tif 000042
について、その階数がｒによって上界を設けられると仮定すると、以下が得られる。
【数４２】
0006615062.tif 000043
【００３５】
上記の補題を用いて、式（８）を以下のように書き換える。
【数４３】
0006615062.tif 000044
ここで、
【数４４】
0006615062.tif 000045
である。
【００３６】
連続して取得されるデータ
【数４５】
0006615062.tif 000046
について、式（１０）に基づいて、サンプルごとに以下のように損失関数を定義する。
【数４６】
0006615062.tif 000047
【００３７】
図６は、上記で説明するオンラインテンソルＲＰＣＡ問題を解くためのアルゴリズム１の擬似コードを示す。図７は、データサンプル、すなわち、アルゴリズム１において用いられる画像テンソルＺｔを投影する（２２０）ためのアルゴリズム２の擬似コードを示す。図８は、アルゴリズム１において用いられるスパニングテンソル基底を更新する（２２５）のためのアルゴリズム３の擬似コードを示す。これらのアルゴリズムによって用いられる全ての変数は、本明細書において定義される。
【００３８】
アルゴリズム１への入力は、取得データＡＴ及びタイムラウンド数Ｔを含む。簡単にするために、
【数４７】
0006615062.tif 000048
を用いてｆｆｔ（Ａ，［  ］，３）を表し、
【数４８】
0006615062.tif 000049
を用いて、
【数４９】
0006615062.tif 000050
によって定義される
【数５０】
0006615062.tif 000051
のブロック対角行列を表す。
【００３９】
本発明のオンラインテンソルＲＰＣＡアルゴリズムの１つの主要な着想は、新たな画像Ｚｔにおいて、スパニングテンソル基底Ｌｔ−１の前回の推定値を所与として、Ｚｔにわたる損失関数を最小にし、最適なＲｔ及びＥｔを生成するというものである。このとき、代替的には、最後に推定された成分を用いて、累積損失を最小にすることによって、スパニング基底Ｌｔを更新する（２２５）。
【００４０】
特に、Ｒｔ及びＥｔは、ステップ３において最適化され、詳細はアルゴリズム３に与えられる。アルゴリズム２におけるデータ投影２２０ステップにおいて、Ｓλ［・］は以下によって定義されるソフト閾値処理演算子である。
【数５１】
0006615062.tif 000052
【００４１】
スパニング基底Ｌｔを更新する（２２５）ために、以下を得る。
【数５２】
0006615062.tif 000053
ここで、ｔｒはトレース演算子である。
【００４２】
【数５３】
0006615062.tif 000054
及び
【数５４】
0006615062.tif 000055
とする。ここで、アルゴリズム１のステップ４に示すように、
【数５５】
0006615062.tif 000056
である。Ａｔ、Ｂｔを新たなデータが到来するたびに更新し、図１のステップ５に示し、詳細をアルゴリズム３に示すように、更新されたＡｔ、Ｂｔを、ブロック座標降下法を用いてフーリエ領域におけるスパニング基底Ｌｔを更新することができるように保存する。本発明のアルゴリズムは、データサンプル全体の階数の推定される上界に関する事前情報を必要とすることに留意されたい。
【００４３】
バッチテンソルロバストＰＣＡの場合、画像Ｔまでの全てのデータサンプル、すなわち、
【数５６】
0006615062.tif 000057
内の全ての数のエントリが必要とされる。したがって、バッチテンソルロバストＰＣＡのためのメモリ要件は、ｎ１ｎ３Ｔである。
【００４４】
オンラインテンソルロバストＰＣＡの場合、
【数５７】
0006615062.tif 000058
（ＡＴはＲＴを通じて求めることができる）、
【数５８】
0006615062.tif 000059
を保存する必要がある。したがって、総ストレージ要件は、ｎ３ｒＴ＋ｎ１ｎ３ｒである。これは、ｒ＜＜Ｔであるとき、バッチテンソルロバストＰＣＡの場合よりもはるかに小さい。換言すれば、データサンプルをオンラインで処理するためのメモリ要件は、バッチモードテンソルロバストＰＣＡを用いてデータを処理する場合の約ｒ／Ｔである。ここで、ｒは低階数管状テンソルの階数であり、Ｔは入力画像の数である。
【００４５】
他の画像処理用途
本発明は、他の用途のために用いることもできる。前景検出とも呼ばれる背景差分の場合、画像の前景が、例えば、歩道、車両等の物体の検出及び認識等の更なる処理のために抽出される。背景差分は、一連の画像（ビデオ）における移動物体を検出するのにも用いることができる。背景差分は、コンピュータービジョンにおける多数の用途、例えば、監視追跡又は人間の姿勢推定のための重要な手がかりを提供する。
【００４６】
本発明の実施形態による処理方法において、出力背景画像は、低階数管状テンソルＸから構築され、前景画像は、スパーステンソルＥから構築される。
【００４７】
ノイズ低減の場合、ノイズが低減された画像は、低階数管状テンソルＸから導出される。ノイズを表すスパーステンソルＥは、本質的に無視することができる。
【図１】
0006615062.tif 000060
【図２】
0006615062.tif 000061
【図３】
0006615062.tif 000062
【図４】
0006615062.tif 000063
【図５】
0006615062.tif 000064
【図６】
0006615062.tif 000065
【図７】
0006615062.tif 000066
【図８】
0006615062.tif 000067
【図９】
0006615062.tif 000068