(57)【要約】      （修正有）【課題】画像処理のためのシステム及び方法を提供する。【解決手段】画像を向上させるためのシステム１００は、マルチアングルビュー雲混入画像を取得した１１０後、雲検出を開始することができる。雲検出１２０は、小さなパッチの輝度及び全変動、すなわち全変動閾値処理に基づいて行うことができる。画像ワープ処理１３０は、主要点ＳＩＦＴ特徴マッチング１３１と、それに続くエピポーラ点転写とによって達成することができる。特に、雲のないエリアからの画像の全ての対間の基礎行列を推定する手法１３３を用いることができ、シーンのエピポーラ幾何学に制約されるＳＩＦＴフロー１３５を適用することによって、全ての画像対の密な対応点を得る。目標画像である復元される雲混入画像を決定することができる１３７と、全ての他の画像が、互いに対し位置合わせされるように、点転写方程式１３９によって目標画像の同じ視野角にワープされる。【選択図】図１Ａ
2018101408.tif 000002
【特許請求の範囲】
【請求項１】
画像処理のためのシステムであって、
センサーによって生成されたシーンの記憶されたマルチアングルビュー画像の組を含むコンピューター可読メモリであって、それによって、各マルチアングルビュー画像がピクセルを含み、少なくとも１つのマルチアングルビュー画像が、前記シーンの少なくとも一部分において曇ったエリアを含み、結果として欠落ピクセルが生じる、コンピューター可読メモリと、
前記コンピューター可読メモリと通信するプロセッサであって、
前記マルチアングルビュー画像の組における少なくとも３つのマルチアングルビュー画像を、前記シーンの目標視野角に対し位置合わせして、前記シーンのビューの目標点を表す位置合わせされたマルチアングルビュー画像の組を形成し、それによって、前記少なくとも３つのマルチアングルビュー画像のうちの少なくとも１つの位置合わせされたマルチアングルビュー画像が、前記曇ったエリアに起因して欠落ピクセルを有し、
ベクトル化された、位置合わせされたマルチアングルビュー画像を用いて行列を形成し、なお、該行列は前記欠落ピクセルに起因して不完全であり、
行列補完を用いて前記行列を補完し、前記位置合わせされたマルチアングルビュー画像を組み合わせて、前記曇ったエリアのない前記シーンの融合画像を生成する、
ように構成される、プロセッサと、
を備える、システム。
【請求項２】
前記マルチアングルビュー画像の組は、３次元（３Ｄ）シーンのものであり、前記マルチアングルビュー画像の組の各マルチアングルビュー画像は、前記３Ｄシーンに対する未知のセンサー位置を用いて、前記３Ｄシーンから同じ時点において取得されるか、異なる時点において取得されるか、又はそれらの何らかの組み合わせで取得されるかのうちの１つである、
請求項１に記載のシステム。
【請求項３】
前記３Ｄシーンのビューの前記目標点に対し前記少なくとも３つのマルチアングルビュー画像を前記位置合わせすることは、前記３Ｄシーンのエピポーラ幾何学に基づく、
請求項２に記載のシステム。
【請求項４】
前記行列補完は低階数行列補完であり、前記低階数行列補完の各列が、ベクトル化された、位置合わせされたマルチアングルビュー画像に対応し、前記少なくとも１つの位置合わせされたマルチアングルビュー画像の前記欠落ピクセルが、前記曇ったエリアに対応するようになっている、
請求項１に記載のシステム。
【請求項５】
前記センサーは移動している、
請求項１に記載のシステム。
【請求項６】
前記センサーは、人工衛星又は航空機内に配置される、
請求項１に記載のシステム。
【請求項７】
前記シーンは、前記センサーと、シーン及び該シーン内の構造物との間で雲によって生じる遮蔽又は前記曇ったエリアを含む、
請求項１に記載のシステム。
【請求項８】
前記シーンの前記目標視野角に対する前記マルチアングルビュー画像の前記位置合わせは、基礎行列に基づいて、前記シーンのビューの前記目標点を表す前記位置合わせされたマルチアングルビュー画像の組を形成する、
請求項１に記載のシステム。
【請求項９】
前記基礎行列は、前記マルチアングル画像における主要な点によって推定される、
請求項８に記載のシステム。
【請求項１０】
前記主要な点は、ＳＩＦＴマッチングに基づく、
請求項９に記載のシステム。
【請求項１１】
より多くの画像を含む反復プロセスは、前記選択された画像が前記復元される画像に高相関するように、閾値を満たす前記融合画像を改善する、
請求項９に記載のシステム。
【請求項１２】
前記プロセッサ及び前記コンピューター可読メモリと通信するユーザーインターフェースが、ユーザーによる前記ユーザーインターフェースの表面からの入力を受信する際に、前記マルチアングルビュー画像の組を取得し、前記コンピューター可読メモリ内に記憶する、
請求項１に記載のシステム。
【請求項１３】
３次元（３Ｄ）シーンの高精細（ＨＤ）画像の画像処理のための方法であって、
プロセッサによって、センサーによって生成された前記３ＤシーンのマルチアングルビューＨＤ画像の組を、入力インターフェースによって又は前記プロセッサと通信するコンピューター可読メモリから取得することであって、各マルチアングルビューＨＤ画像がピクセルを含み、少なくとも１つのマルチアングルビューＨＤ画像が、前記３Ｄシーンの少なくとも一部分において遮蔽エリアを含むようになっており、結果として欠落ピクセルが生じることと、
前記プロセッサによって、前記マルチアングルビューＨＤ画像の組における少なくとも３つのマルチアングルビューＨＤ画像を、前記３Ｄシーンの目標視野角に対し位置合わせして、前記３Ｄシーンのビューの目標点を表す位置合わせされたマルチアングルビューＨＤ画像の組を形成することであって、前記少なくとも３つのマルチアングルビューＨＤ画像のうちの少なくとも１つの位置合わせされたマルチアングルビューＨＤ画像が、前記遮蔽エリアに起因して欠落ピクセルを含むようになっていることと、
前記プロセッサによって、ベクトル化された、位置合わせされたマルチアングルビューＨＤ画像を用いて行列を形成することであって、それによって、該行列は、前記欠落ピクセルに起因して不完全であることと、
前記プロセッサによって、行列補完を用いて前記行列を補完し、前記位置合わせされたマルチアングルビューＨＤ画像を組み合わせて、前記遮蔽エリアのない前記３Ｄシーンの融合ＨＤ画像を生成することと、
を含む、方法。
【請求項１４】
前記３Ｄシーンのビューの前記目標点に対し前記少なくとも３つのマルチアングルビュー画像を前記位置合わせすることは、前記３Ｄシーンのエピポーラ幾何学に基づく、
請求項１３に記載の方法。
【請求項１５】
前記行列補完は低階数行列補完であり、前記低階数行列補完の各列が、ベクトル化された、位置合わせされたマルチアングルビュー画像に対応し、前記少なくとも１つの位置合わせされたマルチアングルビュー画像の前記欠落ピクセルが曇ったエリアに対応するようになっている、
請求項１３に記載の方法。
【請求項１６】
前記センサーは移動しており、人工衛星又は航空機内に配置される、
請求項１３に記載の方法。
【請求項１７】
方法を実行するためにコンピューターによって実行可能なプログラムを具現化した非一時的コンピューター可読記憶媒体であって、前記方法はシーンの画像の画像処理のためのものであり、
前記方法は、
プロセッサによって、センサーによって生成された前記シーンのマルチアングルビュー画像の組を、入力インターフェースによって又は前記プロセッサと通信するコンピューター可読メモリから取得することであって、各画像がピクセルを含み、少なくとも１つの画像が、前記シーンの少なくとも一部分において遮蔽エリアを含むようになっており、結果として欠落ピクセルが生じることと、
前記プロセッサによって、前記画像の組における少なくとも３つの画像を、前記シーンの目標視野角に対し位置合わせして、前記シーンのビューの目標点を表す位置合わせされた画像の組を形成し、前記少なくとも３つの画像のうちの少なくとも１つの位置合わせされた画像が、前記遮蔽エリアに起因して欠落ピクセルを含むようにすることと、
前記プロセッサによって、ベクトル化された、位置合わせされた画像を用いて行列を形成することであって、それによって、該行列は、前記欠落ピクセルに起因して不完全であることと、
前記プロセッサによって、行列補完を用いて前記行列を補完し、前記位置合わせされた画像を組み合わせて、前記遮蔽エリアのない前記シーンの融合画像を生成することと、
を含む、非一時的コンピューター可読記憶媒体。
【請求項１８】
前記シーンは、前記センサーと、シーン及び該シーン内の構造物との間で雲によって生じる遮蔽又は曇ったエリアを含む、
請求項１７に記載の記憶媒体。
【請求項１９】
前記シーンの前記目標視野角に対する前記マルチアングルビュー画像の前記位置合わせは、基礎行列に基づいて、前記シーンのビューの前記目標点を表す前記位置合わせされたマルチアングルビュー画像の組を形成する、
請求項１７に記載の記憶媒体。
【請求項２０】
前記基礎行列は、前記マルチアングル画像における主要な点によって推定され、前記主要な点は、ＳＩＦＴマッチングに基づく、
請求項１９に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、包括的には、画像処理に関し、より詳細には、３次元（３Ｄ）シーンの複数の雲混入高精細（ＨＤ）空中画像を融合して、雲のないＨＤ画像を生成することに関する。
【背景技術】
【０００２】
航空写真における一般的な問題は、取得された光学的空中画像に、視界を遮る雲が混入していることである。特に、雲は、光学的画像において致命的な問題となる可能性があり、特に、画像の解釈可能性を制限する。例えば、雲は、都市計画及び環境モニタリング等の用途において、画像の使用可能性を妨げる。空中画像取得の高いコストに起因して、異なる時点に又は異なる視野角から捕捉された複数の雲混入画像を融合することによって、雲のない画像を生成することが望ましい。
【０００３】
従来の雲除去方法は、画像が良好に位置合わせされていると仮定し、これらの画像が異なる視野角から捕捉されている場合であっても視差を考慮に入れない。一方、本開示は、僅かなずれが高精細（ＨＤ）画像に対し大きな影響を及ぼし、ＨＤ画像における大きなぼけにつながり得ることを観測している。これは、建物が様々な高度を呈する都市エリアの場合に特に当てはまり得る。
【０００４】
したがって、最新のＨＤ画像用途の要件を満たすために、本開示は、３次元（３Ｄ）シーンのＨＤ画像に適した融合アルゴリズムを展開する必要性に対処している。
【発明の概要】
【０００５】
本開示は、３次元（３Ｄ）シーンの複数の雲混入高精細（ＨＤ）空中画像を融合して、雲のないＨＤ画像を生成することに関する。本開示は特に、未知のカメラ位置を用いてマルチアングルビューＨＤ画像等のずれたＨＤ画像の集合を融合することに関する。
【０００６】
本開示の実施形態は、エピポーラ幾何学及び行列補完技法を組み込んだ、ＨＤ画像のための画像融合アルゴリズムフレームワークに基づく。それによって、シーンの画像を取得する際、取得された画像は、推定エピポーラ幾何学に基づいて、目標画像の視野角に対してワープ又は位置合わせされる。エピポーラ幾何学は、基本的に、立体視の幾何学として説明することができる。例えば、２つのカメラが２つの別個の位置から３Ｄシーンを見るとき、３Ｄ点と、それらの２次元（２Ｄ）画像への投影との間に複数の幾何学的関係が存在し、これが画像点間の制約につながる。これらの関係は、カメラをピンホールカメラモデルによって近似することができるという仮定に基づいて導出することができる。次に、画像融合プロセスは、低階数行列補完問題として定式化することができ、行列の各列が、ベクトル化されたワープ画像に対応し、欠落したエントリが、復元される雲又は遮蔽エリアに対応するようにされる。曇ったエリア又は雲混入ＨＤ空中画像は、カメラによるシーンの画像の全景を雲により覆って妨げるエリアに起因して、不完全な画像であることに留意されたい。さらに、低階数行列補完問題は、行列が低階数を有すると仮定することによって、欠落したエントリを有する行列を補完するのに用いることができる。これは、制約最適化問題として解くことができる。
【０００７】
本開示は、高精細画像を融合する前に、雲混入画像が、全ての画像が同じロケーションから取得されたかのように同じ視野角に対し位置合わせされる（ワープされる）必要があるという認識に基づいている。これが重要である少なくとも１つの理由は、本開示が、従来の撮像方法の空中画像取得の高いコストを回避するためである。本開示は、異なる時点に捕捉された、及び／又は異なる視野角から捕捉された画像からの複数の雲混入画像を融合する。特に、従来の画像再構成方法は、取得された雲混入画像が良好に位置合わせされていると仮定し、これらの画像が異なる視野角から捕捉されている場合であっても視差を考慮に入れない。視差とは、物体の位置又は方向が、異なる位置から見たとき、例えば、カメラのビューファインダーを通じて見たときとレンズを通じて見たときとで異なって見える効果であると理解することができる。
【０００８】
本開示は、異なる角度から取得された画像のワープ処理により、不完全な画像が導かれ得るという別の認識にも基づく。例えば、建物の背後で取得され、建物の前面からのビューに対しワープされた画像は、前面からのみ可視のいくつかのピクセルが欠落していることになる。さらに、いくつかのピクセルが、ビューの雲混入に起因して欠落することになる。欠落ピクセルは、数ある用途の中でも、都市計画及び環境モニタリング等の最近の用途における画像の利用可能性を妨げ、これらの画像を、適切な解を与えるのに使用不可能にするか、又は適切な解を与えることができないようにする。実験を通じて、僅かなずれが、高精細（ＨＤ）画像に対し大きな影響を有し、ＨＤ画像における大きなぼけにつながることを発見した。また、実験を通じて、これが、ビルが様々な高度を呈する都市エリアにおいて特に当てはまることもわかった。さらに、上述したような、都市計画及び環境モニタリングを含む最近のＨＤ画像用途の要件を満たすために、本開示は、３ＤシーンのＨＤ画像に適した融合システム及び方法を開発することの本質的な必要性に対処する。
【０００９】
本開示は、ベクトル化されたワープ画像によって形成される行列が、画像における少なくともいくつかのピクセルの類似性に起因して、低階数となることを更に発見又は認識した。ワープ画像をベクトル化するために、各ピクセルの大きさ値を１つずつベクトルに入れる。ピクセルの順序は、行ごと、列ごと、又は全ての画像にわたって順序が同じである限り任意の他の種類とすることができる。低階数、例えば階数２を想定することによって、画像の独立したベクトルの小さな数２を得ることができ、これを用いて、ワープ画像の全てのベクトルを表すことができる。低階数制約は、異なる角度から見た全ての画像にわたって情報を融合する際に有利である。このため、欠落ピクセルは、低階数行列補完方法を用いて復元することができる。本開示の少なくとも１つの主要な態様は、数ある主要な態様の中でも、同じ視野角に対しワープされるベクトル化された雲混入画像によって形成される行列の行列補完を用いて雲のない画像を復元することである。
【００１０】
本開示の方法及びシステムをどのように実施することができるかをより良好に理解するために、少なくとも１つの手法は、少なくとも３つのフェーズ、すなわち、雲検出、画像ワープ処理及び画像融合を有することを含む。特定の用途に応じて、他のフェーズが組み込まれる場合があることが予期される。
【００１１】
マルチアングルビュー雲混入画像を取得した（ステップ１）後、雲検出が開始される。雲検出（ステップ２）は、小さなパッチの輝度及び全変動に基づいて行うことができる。
【００１２】
画像ワープ処理（ステップ３）は、幾何学的距離正則化器を用いたＳＩＦＴフロー（すなわち、主要点ＳＩＦＴ特徴マッチング−ステップ３ａ）と、それに続くエピポーラ点転写によって達成することができる。特に、本開示は、雲のないエリアからの画像の全ての対間の基礎行列を推定する手法（すなわち、基礎行列推定−ステップ３ｂ）を用いることができ、次に、シーンのエピポーラ幾何学に制約されるＳＩＦＴフローを適用することによって、全ての画像対の密な対応点を得る（すなわち、エピポーラ幾何学により正則化されたＳＩＦＴフロー−ステップ３ｃ）。目標画像である復元される雲混入画像を決定することができる（すなわち、遮蔽検出−ステップ３ｄ）と、全ての他の画像が、互いに対し位置合わせされるように、点転写方程式によって目標画像の同じ視野角に対しワープされる（すなわち、点転写−ステップ３ｅ）。
【００１３】
画像のワープ処理後、目標画像に対し位置合わせするようにワープされた画像の集合が得られる。ワープ画像は、雲混入又は遮蔽に起因する欠落ピクセルを含む。それによって、ベクトル化された、良好に位置合わせされた画像を連結することによって形成される行列が低階数を有すると仮定して、行列補完技法を用いることによって、画像融合を達成することができる（すなわち、低階数行列補完による画像融合−ステップ４）。低階数行列補完は、復元される行列が低階数を有するという仮定の下で、行列の欠落エントリを推定する。このようにして、雲のない画像を生成することができる（すなわち、雲のない画像−ステップ５）。
【００１４】
本開示の別の態様によれば、画像処理のためのシステムが提供される。本システムは、センサーによって生成されたシーンの記憶されたマルチアングルビュー画像の組を有するコンピューター可読メモリを備える。各マルチアングルビュー画像はピクセルを含み、少なくとも１つのマルチアングルビュー画像は、シーンの少なくとも一部分において曇ったエリアを含み、結果として欠落ピクセルが生じる。コンピューター可読メモリと通信するプロセッサが、マルチアングルビュー画像の組における少なくとも３つのマルチアングルビュー画像を、シーンの目標視野角に対し位置合わせして、シーンのビューの目標点を表す位置合わせされたマルチアングルビュー画像の組を形成するように構成され、それによって、少なくとも３つのマルチアングルビュー画像のうちの少なくとも１つの位置合わせされたマルチアングルビュー画像が、曇ったエリアに起因して欠落ピクセルを有する。プロセッサは、ベクトル化された、位置合わせされたマルチアングルビュー画像を用いて行列を形成するように構成され、行列は欠落ピクセルに起因して不完全である。最終的に、プロセッサは、行列補完を用いて行列を補完し、位置合わせされたマルチアングルビュー画像を組み合わせて、曇ったエリアのないシーンの融合画像を生成するように構成される。
【００１５】
本開示の実施形態によれば、３次元（３Ｄ）シーンの高精細（ＨＤ）画像の画像処理のための方法が提供される。本方法は、プロセッサによって、センサーによって生成された３ＤシーンのマルチアングルビューＨＤ画像の組を、入力インターフェースによって又はプロセッサと通信するコンピューター可読メモリから取得することを含み、各マルチアングルビューＨＤ画像がピクセルを含み、少なくとも１つのマルチアングルビューＨＤ画像が、３Ｄシーンの少なくとも一部分において遮蔽エリアを含むようになっており、結果として欠落ピクセルが生じる。本方法は、プロセッサによって、マルチアングルビューＨＤ画像の組における少なくとも３つのマルチアングルビューＨＤ画像を、３Ｄシーンの目標視野角に対し位置合わせして、３Ｄシーンのビューの目標点を表す位置合わせされたマルチアングルビューＨＤ画像の組を形成することを含み、少なくとも３つのマルチアングルビューＨＤ画像のうちの少なくとも１つの位置合わせされたマルチアングルビューＨＤ画像が、遮蔽エリアに起因して欠落ピクセルを含むようになっている。本方法は、プロセッサによって、ベクトル化された、位置合わせされたマルチアングルビューＨＤ画像を用いて行列を形成することを含み、それによって、行列は、欠落ピクセルに起因して不完全である。最終的に、本方法は、プロセッサによって、行列補完を用いて行列を補完し、位置合わせされたマルチアングルビューＨＤ画像を組み合わせて、遮蔽エリアのない３Ｄシーンの融合ＨＤ画像を生成することを含む。
【００１６】
本開示の別の実施形態によれば、方法を実行するためにコンピューターによって実行可能なプログラムを具現化した非一時的コンピューター可読記憶媒体が提供される。本方法は、シーンの画像の画像処理のためのものである。本方法は、プロセッサによって、センサーによって生成されたシーンのマルチアングルビュー画像の組を、入力インターフェースによって又はプロセッサと通信するコンピューター可読メモリから取得することを含み、各画像がピクセルを含み、少なくとも１つの画像が、シーンの少なくとも一部分において遮蔽エリアを含むようになっており、結果として欠落ピクセルが生じる。本方法は、プロセッサによって、画像の組における少なくとも３つの画像を、シーンの目標視野角に対し位置合わせして、シーンのビューの目標点を表す位置合わせされた画像の組を形成することを含み、少なくとも３つの画像のうちの少なくとも１つの位置合わせされた画像が、遮蔽エリアに起因して欠落ピクセルを含むようになっている。本方法は、プロセッサによって、ベクトル化された、位置合わせされた画像を用いて行列を形成することを含み、それによって、行列は、欠落ピクセルに起因して不完全である。最終的に、本方法は、プロセッサによって、行列補完を用いて行列を補完し、位置合わせされた画像を組み合わせて、遮蔽エリアのないシーンの融合画像を生成することを含む。
【００１７】
ここに開示されている実施形態は、添付図面を参照して更に説明される。示されている図面は、必ずしも一律の縮尺というわけではなく、その代わり、一般的に、ここに開示されている実施形態の原理を示すことに強調が置かれている。
【図面の簡単な説明】
【００１８】
【図１Ａ】図１Ａは、本開示の実施形態による、画像を向上させるためのシステム、特に、視差の影響を有する高解像度画像のための画像融合アルゴリズムフレームワークのフローチャートのブロック図である。
【図１Ｂ】図１Ｂは、本開示の実施形態による、用いることができるコンポーネントを含む図１Ａのシステムを示す概略図である。
【図１Ｃ】図１Ｃは、本開示の実施形態による、ベクトル化された、位置合わせされたマルチアングルビュー画像及び行列補完を用いて行列を形成する詳細を提供する、図１Ａのシステムの流れ図である。
【図２】図２Ａ、図２Ｂおよび図２Ｃは、合成雲混入画像のためのシミュレーション結果を示す写真であって、図２Ａは、雲のない地上検証データを示し、図２Ｂは、合成された雲に覆われた画像を示し、図２Ｃは、本開示の実施形態による本開示のシステム及び方法による融合画像を示す。
【図３】図３Ａ、図３Ｂおよび図３Ｃは、実際の雲混入画像のためのシミュレーション結果を示す写真であって、図３Ａは、元の雲混入画像を示し、図３Ｂは、本開示の本システム及び方法によって検出された雲及び雲の影を示し、図３Ｃは、本開示の実施形態による、本開示のシステム及び方法によって再構成された結果を示す。
【図４】図４Ａ、図４Ｂおよび図４Ｃは、実際の雲混入画像のためのシミュレーション結果を示す写真であって、図４Ａは、元の雲混入画像を示し、図４Ｂは、本開示の本システム及び方法によって検出された雲及び雲の影を示し、図４Ｃは、本開示の実施形態による、本開示のシステム及び方法によって再構成された結果を示す。
【図５】図５は、本開示の実施形態による、代替のコンピューター又はプロセッサを用いて実現することができる図１Ａの方法を示すブロック図である。
【発明を実施するための形態】
【００１９】
上記で明らかにされた図面は、ここに開示されている実施形態を記載しているが、この論述において言及されるように、他の実施形態も意図されている。この開示は、限定ではなく代表例として例示の実施形態を提示している。ここに開示されている実施形態の原理の範囲及び趣旨に含まれる非常に多くの他の変更及び実施形態を当業者は考案することができる。
【００２０】
以下の説明は、例示的な実施形態のみを提供し、本開示の範囲も、適用範囲も、構成も限定することを意図していない。そうではなく、例示的な実施形態の以下の説明は１つ以上の例示的な実施形態を実施することを可能にする説明を当業者に提供する。添付の特許請求の範囲に明記されているような開示された主題の趣旨及び範囲から逸脱することなく要素の機能及び配置に行うことができる様々な変更が意図されている。
【００２１】
以下の説明では、実施形態の十分な理解を提供するために、具体的な詳細が与えられる。しかしながら、当業者は、これらの具体的な詳細がなくても実施形態を実施することができることを理解することができる。例えば、開示された主題におけるシステム、プロセス、及び他の要素は、実施形態を不必要な詳細で不明瞭にしないように、ブロック図形式の構成要素として示される場合がある。それ以外の場合において、よく知られたプロセス、構造、及び技法は、実施形態を不明瞭にしないように不必要な詳細なしで示される場合がある。さらに、様々な図面における同様の参照符号及び名称は、同様の要素を示す。
【００２２】
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として描かれるプロセスとして説明される場合がある。フローチャートは、動作を逐次的なプロセスとして説明することができるが、これらの動作の多くは、並列又は同時に実行することができる。加えて、これらの動作の順序は、再配列することができる。プロセスは、その動作が完了したときに終了することができるが、論述されない又は図に含まれない追加のステップを有する場合がある。さらに、特に説明される任意のプロセスにおける全ての動作が全ての実施形態において行われ得るとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応することができる。プロセスが関数に対応するとき、その関数の終了は、呼び出し側関数又はメイン関数へのその機能の復帰に対応することができる。
【００２３】
さらに、開示された主題の実施形態は、少なくとも一部は手動又は自動のいずれかで実施することができる。手動実施又は自動実施は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせを用いて実行することもできるし、少なくとも援助することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するプログラムコード又はプログラムコードセグメントは、マシン可読媒体に記憶することができる。プロセッサ（複数の場合もある）が、それらの必要なタスクを実行することができる。
【００２４】
本開示の実施形態は、エピポーラ幾何学及び行列補完技法を組み込んだ高精細（ＨＤ）画像のための画像融合アルゴリズムフレームワークに基づいている。シーンから画像を取得するとき、取得された画像は、推定エピポーラ幾何学に基づいて、ターゲット画像の視野角に対しワープされるか又は位置合わせされる。次に、画像融合プロセスは、低階数行列補完問題として定式化することができ、行列の各列がベクトル化されたワープ画像に対応し、欠落したエントリが、復元される雲又は遮蔽エリアに対応するようにされる。曇ったエリア又は雲混入ＨＤ空中画像は、カメラによるシーンの画像の全景を雲により覆って妨げるエリアに起因して、不完全な画像である。さらに、低階数行列補完問題は、行列が低階数を有すると仮定することによって、欠落したエントリを有する行列を補完するのに用いることができる。これは、制約最適化問題として解くことができる。
【００２５】
特に、いくつかの実施形態では、方法及びシステムは、メモリ内のセンサーによって生成されたシーンの記憶されたマルチアングルビュー画像の組を記憶するステップを含む。各マルチアングルビュー画像はピクセルを含み、少なくとも１つのマルチアングルビュー画像は、シーンの少なくとも一部分に曇ったエリアを含み、結果として欠落ピクセルが生じる。メモリと通信するプロセッサは、マルチアングルビュー画像の組内の少なくとも３つのマルチアングルビュー画像を、シーンの目標視野角に対し位置合わせし、シーンのビューの目標点を表す、位置合わせされたマルチアングルビュー画像の組を形成するように構成され、それによって、少なくとも３つのマルチアングルビュー画像のうちの少なくとも１つの位置合わせされたマルチアングルビュー画像が、曇ったエリアに起因して欠落ピクセルを有する。プロセッサは、ベクトル化された、位置合わせされたマルチアングルビュー画像を用いて行列を形成するように構成され、行列は、欠落ピクセルに起因して不完全である。最終的に、プロセッサは、行列補完を用いて行列を補完し、位置合わせされたマルチアングルビュー画像を組み合わせて、曇ったエリアのないシーンの融合画像を生成するように構成される。
【００２６】
本開示は、ＨＤ画像を融合する前に、雲混入画像が、全ての画像が同じロケーションから取得されたかのように同じ視野角に対し位置合わせされる（ワープされる）必要があるという認識に基づいている。これは、本開示が、とりわけ、従来の撮像方法の空中画像取得の高いコストを回避することに起因して重要であり得る。本開示は、異なる時点に捕捉されたか、異なる視野角から捕捉されたか、又はその両方の画像からの複数の雲混入画像を融合する。従来の画像再構成方法は、取得された雲混入画像が良好に位置合わせされていると仮定し、これらの画像が異なる視野角から捕捉されている場合であっても視差を考慮に入れない。視差とは、物体の位置又は方向が、異なる位置から見たとき、すなわち、カメラのビューファインダーを通じて見たときとレンズを通じて見たときとで異なって見える効果であると理解することができる。
【００２７】
本開示は、異なる角度から取得された画像の位置合わせにより、不完全な画像が導かれ得るという別の認識にも基づく。例えば、建物の背後で取得され、建物の前面からのビューに対し位置合わせされた画像は、前面からのみ可視のいくつかのピクセルが欠落していることになる。さらに、いくつかのピクセルが、ビューの雲混入に起因して欠落することになる。欠落ピクセルは、数ある用途の中でも、都市計画及び環境モニタリング等の今日の用途における画像の利用可能性を妨げ、これらの画像を、適切な解を与えるのに使用不可能にするか、又は適切な解を与えることができないようにする。実験を通じて、僅かなずれが、ＨＤ画像に対し大きな影響を有し、ＨＤ画像における大きなぼけにつながることを発見した。また、実験を通じて、これが、ビルが様々な高度を呈する都市エリアにおいて特に当てはまることもわかった。
【００２８】
ベクトル化されたワープ画像によって形成される行列は、画像における少なくともいくつかのピクセルの類似性に起因して、低階数となることも更に認識された。ワープ画像をベクトル化するために、各ピクセルの大きさ値を１つずつベクトルに入れる。ピクセルの順序は、行ごと、列ごと、又は全ての画像にわたって順序が同じである限り任意の他の種類とすることができる。低階数、例えば階数２を想定することによって、画像の独立したベクトルの小さな数２を得ることができ、これを用いて、ワープ画像の全てのベクトルを表すことができる。低階数制約は、異なる角度から見た全ての画像にわたって情報を融合する際に有利である。このため、欠落ピクセルは、低階数行列補完方法を用いて復元することができ、低階数行列補完の各列が、ベクトル化された、位置合わせされたマルチアングルビュー画像に対応し、少なくとも１つの位置合わせされたマルチアングルビュー画像の欠落ピクセルが、曇ったエリアに対応するようになっている。本開示の多くの態様の中でも主要な態様は、同じ視野角にワープされたベクトル化された雲混入画像によって形成される行列の行列補完を用いて、雲のない画像を復元することである。
【００２９】
本開示の実施形態により少なくとも３つのフェーズが組み合わされており、これらは、雲検出、画像ワープ処理及び画像融合を含む。当然ながら、特定の用途に応じて他のフェーズも組み込むことができる。
【００３０】
図１Ａは、本開示の実施形態による、画像を向上させるためのシステム１００、特に、視差の影響を有する高解像度画像のための画像融合アルゴリズムフレームワークのフローチャートのブロック図である。マルチアングルビュー雲混入画像を取得した（１１０）後、雲検出を開始することができる。
【００３１】
雲検出１２０に関して、雲検出１２０は、小さなパッチの輝度及び全変動、すなわち全変動閾値処理に基づいて行うことができる。
【００３２】
画像ワープ処理１３０は、主要点ＳＩＦＴ特徴マッチング１３１と、それに続くエピポーラ点転写とによって達成することができる。特に、本開示は、雲のないエリアからの画像の全ての対間の基礎行列を推定する（１３３）手法を用いることができ、次に、シーンのエピポーラ幾何学に制約されるＳＩＦＴフローを適用することによって、全ての画像対の密な対応点を得る（１３５）。目標画像である復元される雲混入画像を決定することができる（１３７）と、全ての他の画像が、互いに対し位置合わせされるように、点転写方程式によって目標画像の同じ視野角にワープされる（１３９）。
【００３３】
図１Ａを更に参照すると、画像のワープ処理後、目標画像に対し位置合わせするようにワープされた画像の集合が得られる。ワープ画像は、雲混入又は遮蔽に起因する欠落ピクセルを含む。それによって、ベクトル化された、良好に位置合わせされた画像を連結することによって形成される行列が低階数を有すると仮定して、行列補完技法を用いることによって、画像融合を達成することができる（１４０）。このようにして、雲のない画像を生成することができる（１５０）。
【００３４】
図１Ｂは、本開示の実施形態による、用いることができるコンポーネントを含む図１Ａのシステム１００を示す概略図である。センサー１０２Ａ、１０２Ｂ、すなわち、人工衛星におけるカメラは、連続的に又は非連続的にシーン１０３のＴ個の入力画像１０４の組を捕捉する。カメラ１０２Ａ、１０２Ｂは、移動している航空機、人工衛星、又はシーン１０３の写真を撮ることを可能にする何らかの他のセンサー保持デバイス内に存在することができる。さらに、センサー１０２Ａ、１０２Ｂの数は、数量が制限されておらず、センサー１０２Ａ、１０２Ｂの数は、特定の用途に基づくことができる。入力画像１０４は、時間ステップｔにおいて単一の移動センサーによって得ることができるか、又は異なる時点、異なる角度、及び異なる高度において複数のセンサー１０２Ａ、１０２Ｂによって得ることができる。連続取得により、画像１０４を記憶するためのメモリ要件が低減する。なぜなら、入力画像１０４は、１つ以上のセンサー１０２Ａ、１０２Ｂによって取得され、プロセッサ１１４によって受信されるときに、オンラインで処理することができるためである。入力画像１０４は、互いに対する画像のレジストレーションすることを容易にするように重複することができる。入力画像１０４は、グレイスケール画像又はカラー画像とすることができる。さらに、入力画像１０４は、連続して取得された多時点画像又はマルチアングルビュー画像とすることができる。
【００３５】
更に図１Ｂを参照すると、１つ以上のセンサー１０２Ａ、１０２Ｂを、移動空間又は空中プラットフォーム（人工衛星、航空機又はドローン）に配置することができ、シーン１０３は、地上地形、又は地表面上若しくはその上方に位置する何らかの他のシーンとすることができる。シーン１０３は、建物等のシーン１０３内の構造物、及びシーン１０３と１つ以上のセンサー１０２Ａ、１０２Ｂとの間の雲に起因した遮蔽を含む可能性がある。数ある目標の中でも、本開示の少なくとも１つの目標は、遮蔽なしの向上した出力画像１０５の組を生成することである。副生成物として、システムは、遮蔽、例えば雲のみを含むスパース画像１０６の組も生成する。
【００３６】
図１Ｃは、本開示の実施形態による、ベクトル化された、位置合わせされたマルチアングルビュー画像及び行列補完を用いて行列を形成する詳細を提供する、図１Ａのシステムの流れ図である。図１Ｃに示すように、システムはプロセッサ１１４において動作し、プロセッサ１１４は、電気的に又は無線によりセンサー１０２Ａ、１０２Ｂに接続することができる。
【００３７】
図１Ｂの入力画像１０４の組は、プロセッサ１１４によって直接、又は間接的に取得され（図１Ｃの１１０）、例えば画像は、センサー１０２Ａ、１０２Ｂ、すなわちカメラ、ビデオカメラによって取得する（１１０）ことができるか、又は他の手段によって若しくは他のソース、例えば、メモリ転写、若しくは無線若しくは無線通信から得ることができる。プロセッサ及びコンピューター可読メモリと通信するユーザーインターフェースは、ユーザーによってユーザーインターフェースの表面から入力を受信する際に、マルチアングルビュー画像の組を取得し、コンピューター可読メモリに記憶することができることがあり得る。
【００３８】
図１Ｃを更に参照すると、雲検出１２０は、小さなパッチの輝度及び全変動、すなわち、全変動閾値処理に基づいて、特に、画像をパッチに分割し、各パッチの平均輝度及び全変動を計算することによって行うことができる。それによって、各パッチは、特定の条件下で雲、又は雲の影としてラベル付けすることができる。次に、小さな面積を有する検出された領域を、雲マスクから除去することができる。なぜなら、これらは、建物の表面又は建物の影等の他の平坦な物体である可能性が高いためである。最終的に、雲マスクは、薄い雲を有する雲に覆われたエリアの境界も雲マスクによって覆われるように拡張することができる。
【００３９】
マルチアングルビュー画像をシーンの目標視野角に対し位置合わせすることにより、基礎行列に基づくことができるシーンのビューの目標点を表す位置合わせされたマルチアングルビュー画像の組が形成される。マルチアングル画像における主要点によって基礎行列が推定され、主要点は、ＳＩＦＴマッチングに基づく。例えば、画像ワープ処理１３０は、主要点ＳＩＦＴ特徴マッチング１３１、すなわち、幾何学的距離正則化器を用いたＳＩＦＴフローと、それに続くエピポーラ点転写によって達成することができる。特に、本開示は、雲のないエリアからの画像の全ての対間の基礎行列を推定する手法１３３を用いることができ、次に、シーンのエピポーラ幾何学に制約されるＳＩＦＴフロー１３５を適用することによって、全ての画像対の密な対応点を得る。それによって、基礎行列がマルチアングル画像内の主要点によって推定される。さらに、より多くの画像を含む反復的プロセスが、選択された画像が復元される画像と高相関するように閾値を満たす融合画像を改善することができることが予期される。
【００４０】
また更に図１Ｃを参照すると、目標画像である復元される雲混入画像を決定することができる（１３７）と、全ての他の画像が、互いに対し位置合わせされるように、点転写方程式によって目標画像の同じ視野角に対しワープされる（１３９）。
【００４１】
画像のワープ処理後、目標画像に対し位置合わせするようにワープされた画像の集合が得られる。ワープ画像は、雲混入又は遮蔽に起因する欠落ピクセルを含む。それによって、ベクトル化された、良好に位置合わせされた画像を連結することによって形成される行列が低階数を有すると仮定して、行列補完技法を用いることによって、画像融合を達成することができる（１４０）。低階数行列補完は、復元される行列が低階数を有するという仮定の下で、行列の欠落エントリを推定する。直接階数最小化は計算的に追跡不可能であるため、問題を再定式化するために、凸緩和又は非凸緩和が通常用いられる。このようにして、雲のない画像を生成することができる（１５０）。
【００４２】
本開示の少なくとも３つのフェーズの各フェーズ、すなわち雲検出、画像ワープ処理及び画像融合を以下で更に定義する。上述したように、雲検出は、小さなパッチの輝度及び全変動に基づいて行うことができる。同様に上述したように、画像ワープ処理は、幾何学的距離正則化器と、同様に上述した、それに続くエピポーラ点転写によるＳＩＦＴフローによって達成することができる。画像融合は、ベクトル化された、良好に位置合わせされた画像を連結することによって形成される行列が低階数を有すると仮定して、行列補完技法を用いる。以下で、各フェーズを詳細に更に説明する。それにもかかわらず、特定の用途に応じて、本開示に他のフェーズを組み込むことができることがあり得る。
【００４３】
雲検出
進化型の雲検出手法が本発明によるフレームワークに適用され、正確度の高い雲マスクが得られる場合があるが、本文書では、輝度及び全変動閾値処理に基づいた単純な手法を用いる。なぜなら、雲検出の正確度の僅かな損失は、本発明によるフレームワークにおける最終的な再構成品質に大きな影響を与えないためである。
【００４４】
特に、本発明では、画像をパッチに分割し、各パッチＰの平均輝度
【数１】
2018101408.tif 000003
及び全変動ＴＶ（Ｐ）を計算する。パッチは、或る
【数２】
2018101408.tif 000004
について、
【数３】
2018101408.tif 000005
の場合、雲としてラベル付けされ、
【数４】
2018101408.tif 000006
の場合、雲の影としてラベル付けされる。次に、小さな面積を有する検出された領域が、雲マスクから除去される。なぜなら、これらは、建物の表面又は建物の影等の他の平坦な物体である可能性が高いためである。最終的に、雲マスクは、薄い雲を有する雲に覆われたエリアの境界も雲マスクによって覆われるように拡張される。
【００４５】
画像ワープ処理
アフィンカメラモデルは、本発明によるデータセット内の視差を捕捉するのに不十分であるため、１つの画像をワープして別の画像と位置合わせすることができる２Ｄホモグラフィは存在しない。本発明による戦略は、雲のないエリアからの画像の全ての対間の基礎行列を推定し、次に、シーンのエピポーラ幾何学に制約されるＳＩＦＴフローを適用することによって、全ての画像対の密な対応点を得ることである。目標画像である復元される雲混入画像が決定されると、全ての他の画像が、互いに対し位置合わせされるように、点転写方程式（１）によって目標画像の同じ視野角にワープされる。
【００４６】
エピポーラ幾何学の基礎
本発明によるアルゴリズムにおいて用いられることになる、エピポーラ幾何学におけるいくつかの基本的な結果の簡単な概要を与える。読み手は、詳細な説明及び導出に関しては、Hartley及びZissermanを参照されたい。３つの画像の例を検討し、ｘ＝（ｘ１，ｘ２，ｘ３）Ｔ、ｘ’＝（ｘ１’，ｘ２’，ｘ３’）Ｔ及びｘ’’＝（ｘ１’’，ｘ２’’，ｘ３’’）Ｔが、それぞれ、第１の画像、第２の画像及び第３の画像の同次座標であるものとする。第１の画像及び第２の画像の基礎行列をＦ２１∈Ｒ３×３によって表し、ここで、この式は、ｘ⇔ｘ’が対応点の対である場合、ｘ’ＴＦ２１ｘ＝０を満たす。線｛（ｘ１，ｘ２）｜ａｘ１＋ｂｘ２＋ｃ＝０｝がｌ＝（ａ，ｂ，ｃ）Ｔによって表される。点ｘは、ｘＴｌ＝０である場合にのみ、線ｌ上にある。２つの線ｌ１及びｌ２の交点における点ｘは、ｘ＝ｌ１×ｌ２を満たし、ここで、×はベクトル外積を示す。
【００４７】
ｘ⇔ｘ’⇔ｘ’’が対応する点であると仮定する。このため、ｘ’’Ｆ３１ｘ＝０及びｘ’’Ｆ３２ｘ’＝０である。すなわち、ｘ’’は、それぞれ点ｘ及びｘ’に対応するエピポーラ線と呼ばれる２つの線ｌ＝Ｆ３１ｘ及びｌ’＝Ｆ３２ｘ’の交点にある。したがって、基礎行列を介した点転写は以下のように定式化される。
【数５】
2018101408.tif 000007
【００４８】
主要点ＳＩＦＴマッチング
ＳＩＦＴフローは、第２の画像が、エネルギー関数（２）が最小化されるという意味で第１の画像に近くなるように、第２の画像における画素の最適な配置を得るアルゴリズムである。特に、ここで、ｘ＝（ｘ１，ｘ２）及びｘ’＝（ｘ１’，ｘ２’）がそれぞれ、第１の画像及び第２の画像の非同次座標を表すものとし、ｗｘ＝（ｗｘ１，ｗｘ２）が、第２の画像内のロケーションｘにおけるピクセルの変位を表すものとする。ｓ１（ｘ）が第１の画像内のｘにおけるＳＩＦＴ特徴ベクトルであり、ｓ２（ｘ＋ｗｘ）が第２の画像内のｘ’＝ｘ＋ｗｘにおけるＳＩＦＴ特徴ベクトルであるものとする。最小化されるエネルギー関数は以下のように定義される。
【数６】
2018101408.tif 000008
ここで、α、ｄ及びγは、非負のチューニングパラメーターであり、Ｎは、画像内の４つ全ての連結された近傍の集合を示す。（２）における第１の項は、ＳＩＦＴ特徴における差異を測定し、第２の項は大きな移動をペナルティー化し、第３の項は近隣ピクセルの類似の変位を促進する。｛ｗｘ｝にわたる（２）の最小化は、離散状態空間最大和確率伝播（ＢＰ）によって行われる。距離変換及びマルチレベル伝播等のいくつかの技法は、ＢＰを加速するためにＳＩＦＴフローにおいて利用される。
【００４９】
エピポーラ幾何学により正則化されたＳＩＦＴフロー
（２）を最小化するフロー｛ｗｘ｝は、第２の画像が視覚的に第１の画像と類似するように第２の画像をワープすることができる。一方、これは、第１の画像内のｘにおけるピクセル、及び第２の画像内のｘ’＝ｘ＋ｗｘにおけるピクセルが、それらのＳＩＦＴ特徴が類似し得る場合であっても、３Ｄシーン内の共通の点に対応することを保証するものではない。本発明によるフレームワークでは、目標は、エピポーラ幾何学を満たす対応する点｛ｘ⇔ｘ＋ｗｘ｝を見つけることである。このために、エネルギー関数（２）に追加の項を加えて、幾何学的誤差の一次近似であるサンプソン距離をペナルティー化する。変更されたエネルギー関数は、
【数７】
2018101408.tif 000009
である。ここで、［・］ｉは、ベクトルのｉ番目の要素を表し、βは、非負のチューニングパラメーターであり、Ｆ２１は、２つの画像の基礎行列であり、最後の項はサンプソン距離である。サンプソン距離は、ｘ⇔ｘ＋ｗｘが、推定エピポーラ幾何学を満たす対応する点の対である場合、すなわち、（ｘ＋ｗｘ）ＴＦ２１ｘ＝０である場合にのみゼロであることに留意されたい。
【００５０】
基礎行列Ｆ２１を推定するために、ＳＩＦＴ検出器によって検出された主要点においてＳＩＦＴ特徴をマッチングすることによって画像対ごとに初期対応点を取得する。次に、基礎行列は、ＲＡＮＳＡＣロバスト推定方式を用いて、初期対応点の組から推定される。元のＳＩＦＴフローに続いて、新たなエネルギー関数（３）を最小化するために、加速確率伝播アルゴリズムが用いられる。
【００５１】
遮蔽の影響により、誤った対応点が導かれる場合があることを考え、画像の対ごとに２つのフローを用いて対応点を検証する。フローの一方は第１の画像から第２の画像へのものであり、他方は第２の画像から第１の画像へのものである。対応点の組は、この組における双方の点が２つのフローに従って自身に戻るか否かを検証される。戻らない場合、この組は遮蔽点として扱われる。
【００５２】
点転写
雲混入目標画像を所与として、点転写方程式（１）を用いて全ての他の画像をワープして、目標画像と位置合わせする。ここで、ｘ及びｘ’は、エピポーラ幾何学により正則化されたＳＩＦＴフロー（３）によって推定される対応点である。より詳細には、Ｉ１（ｘ）及びＩ２（ｘ’）が、それぞれ、ｘにおける第１の画像の輝度及びｘ’における第２の画像の輝度を表すものとする。目標画像が第３の画像であると仮定すると、その座標はｘ’’によって表される。ｘ⇔ｘ’が対応点の対であり、かつｘ’’＝Ｆ３１ｘ×Ｆ３２ｘ’である場合、ｘ⇔ｘ’⇔ｘ’’は、基礎行列Ｆ３１及びＦ３２によって定義されるエピポーラ幾何学に従う対応点である。したがって、
【数８】
2018101408.tif 000010
を得る。ここで、
【数９】
2018101408.tif 000011
は、それぞれ、目標画像と位置合わせするようにワープされた第１の画像及び第２の画像である。
【００５３】
画像融合
画像のワープ処理後、目標画像に対し位置合わせするようにワープされた画像の集合が得られる。ワープ画像は、雲混入又は遮蔽に起因する欠落ピクセルを含む。画像の各対が２つのワープ画像を生成し、このため、合計でＮ−１個のワープ画像を有することに注目されたい。ここで、Ｎはデータセット内の画像数であり、−１は目標画像を除外するためのものである。融合性能を改善するために、ワープ画像と、全てのワープ画像の支配的な固有画像（dominant eigen image）
【数１０】
2018101408.tif 000012
との間の相関係数の観点で、潜在的に高品質であるワープ画像のサブセットを選択する。ワープ画像は、
【数１１】
2018101408.tif 000013
との相互相関係数が事前に設定された閾値よりも高い場合に選択される。
【００５４】
低階数行列補完は、復元される行列が低階数を有するという仮定の下で行列の欠落エントリを推定する。直接階数最小化は計算的に追跡不可能であるため、問題を再定式化するために、凸緩和又は非凸緩和が通常用いられる。階数最小化の最も厳密な凸緩和法は核ノルム最小化であり、以下のように定式化される。
【数１２】
2018101408.tif 000014
ここで、Ωは、可視エントリのインデックスの組であり、Ｙは、観測される不完全な行列であり、｜｜・｜｜＊は核ノルムを示す。問題（４）は、特異値閾値処理（ＳＶＴ）アルゴリズムのクラスによって効率的に解くことができ、これは、核ノルムの近接作用素を反復的に評価する。特異値分解Ｇ＝ＵＤＶＴを所与とすると、Ｇに対する近接作用素は以下のように定義される。
【数１３】
2018101408.tif 000015
ここで、Ｓλ（Ｄ）のエントリは以下によって与えられる。
【数１４】
2018101408.tif 000016
【００５５】
核ノルム正則化された最小二乗問題を解くことによって行列補完を行うための加速近接勾配（ＡＰＧ）アルゴリズムを検討する。
【数１５】
2018101408.tif 000017
ここで、Ａは線形作用素であり、ｂは観測ベクトルであり、μ＞０はチューニングパラメーターである。行列設定に対する高速反復縮退及び閾値処理アルゴリズム（ＦＩＳＴＡ）の拡張であるＡＰＧアルゴリズムは、以下に従って反復する。
【数１６】
2018101408.tif 000018
ここで、ｋ≧１は、反復インデックスであり、初期化はｔ０＝１、及びＸ０＝Ｘ１＝０であり、τ≧ＬＡ（作用素Ａのリプシッツ定数）であり、
【数１７】
2018101408.tif 000019
は（５）において定義される近接作用素である。
【００５６】
行列補完問題において、線形作用素Ａは、Ａ（Ｘ）＝ｖｅｃ（ＸΩ）及びｂ＝ｖｅｃ（ＹΩ）として定義される選択作用素である。随伴行列Ａ＊は、ベクトルの要素を行列形式に戻し、ΩＣ内のエントリ、すなわちΩの補数をゼロで埋める。｜｜Ａ（Ｘ）｜｜２≦１・｜｜Ｘ｜｜Ｆであるため、Ａの最小のリプシッツ定数ＬＡは１である。ここで、等式は、ＡがＸにおける全ての非ゼロエントリを選択した場合にのみ成立する。
【００５７】
合成雲混入画像のためのシミュレーション結果は、（ａ）雲のない地上検証データ、（ｂ）合成された雲に覆われた画像、（ｃ）本発明のアルゴリズムによる融合画像、（ｄ）オンラインテンソルロバストＰＣＡによる融合結果、（ｅ）画像融合のために用いられた画像のうちの１つ、である。
【００５８】
実際の雲混入画像のためのシミュレーション結果において、各行は試験画像の組に対応する。列は左から右に、（ａ）元の雲混入画像、（ｂ）本発明のアルゴリズムによって検出された雲及び雲の影、（ｃ）本発明のアルゴリズムによる再構成結果、（ｄ）オンラインテンソルロバストＰＣＡによって再構成された結果、及び（ｅ）画像融合に用いられる画像のうちの１つ、を示す。
【００５９】
数値結果
本発明のデータセットは、各々がサイズ１４１７８×１４１７８の、共通の都市シーンの１３個のマルチアングルビューＤｉｇｉｔａｌＧｌｏｂｅ  ＨＤ画像の集合である。画像は、地面に近い物体に準じて粗く位置合わせされる。画像の３つの組が試験のために元の画像からクロップされる。ここで、各組は、地面に従って粗く位置合わせされるサイズ１０２４×１０２４の１３個の画像の集合である。本発明による実験において、画像の輝度は、［０，１］内になるように正規化される。雲検出のためのパラメーターを、
【数１８】
2018101408.tif 000020
となるように設定し、（３）におけるパラメーターを、α＝３０、ｄ＝３００、γ＝０．０１、及びβ＝１０となるように設定する。本発明のアルゴリズムの再構成結果を、オンラインテンソルロバストＰＣＡアルゴリズムの結果と比較する。
【００６０】
合成雲混入画像
図２Ａ、図２Ｂ及び図２Ｃは、合成雲混入画像のためのシミュレーション結果を示す写真であり、図２Ａは、雲のない地上検証データを示し、図２Ｂは、合成された雲に覆われた画像を示し、図２Ｃは、本開示の実施形態による本開示のシステム及び方法による融合画像を示す。
【００６１】
特に、図２Ａ〜図２Ｃは、雲によって覆われるシーン内の物体を正しく再構成する本開示の実施態様を示す一連の写真である。図２Ａは、地上検証データとしての役割を果たす目標画像としてシーンを表す雲のない画像である写真である。図２Ｂは、このとき、本開示の試験アルゴリズムの入力となる合成された雲に覆われた画像である。雲に覆われたエリア２０４は、点線の円として示される白い空間として表される。図２Ｃは、本開示の方法に適用した後の再構成結果を示す。図２Ｃの再構成結果を図２Ａの地上検証データと比較する際、本発明によるアルゴリズムが、全ての建物を正しく位置特定し、視覚的に妥当な画像を生成したことを見てとることができる。
【００６２】
図２Ａ〜図２Ｃを参照すると、地面に近い物体は、より高い高度の物体よりもぼけていないことが観測される。これを説明することができる少なくとも１つの理由は、図２Ａ及び図２Ｃを比較することによるものである。ここで、地面に近い物体は粗く位置合わせされているのに対し、建物の最上部の大きな動きが存在することを見てとることができる。
【００６３】
実際の雲混入画像
図３Ａ、図３Ｂ及び図３Ｃは、実際の雲混入画像のためのシミュレーション結果を示す写真であり、図３Ａは、元の雲混入画像を示し、図３Ｂは、本開示の本システム及び方法によって検出された雲及び雲の影を示し、図３Ｃは、本開示の実施形態による、本開示のシステム及び方法によって再構成された結果を示す。
【００６４】
図４Ａ、図４Ｂ及び図４Ｃは、実際の雲混入画像のためのシミュレーション結果を示す写真であり、図４Ａは、元の雲混入画像を示し、図４Ｂは、本開示の本システム及び方法によって検出された雲及び雲の影を示し、図４Ｃは、本開示の実施形態による、本開示のシステム及び方法によって再構成された結果を示す。
【００６５】
図３Ａ及び図４Ａは、元の雲混入画像の例を示し、すなわち、図３Ａについて、参照符号３０４を有する点線の円を用いてラベル付けされた白い雲を見て、図４Ａについて、参照符号４０４を有する点線の円を用いてラベル付けされた白い雲を見る。
【００６６】
図３Ｂ及び図４Ｂは、本開示に基づく雲検出結果を示し、ここで、図３Ｂ及び図４Ｂの双方について、雲は、参照符号３０６を有する白い点線の円によって示される黒いエリアでマーキングされている。
【００６７】
図３Ｃ及び図４Ｃは、本開示の方法を用いた結果を示す。ここで、本開示の方法は、シーンの雲のない画像を、確信を持って提供することが明らかである。多くの理由の中でも少なくとも１つの理由は、少なくとも行列補完によるものである。ここで、欠落ピクセルの座標は、雲及び影検出プロセスによってより正確に検出される。
【００６８】
本開示の実施形態によれば、システム及び方法は、マルチアングルビューＨＤ画像の集合における雲混入エリアを復元する画像融合アルゴリズムフレームワークを提供する。例えば、本開示のフレームワークは、まず、エピポーラ幾何学により正則化されたＳＩＦＴフローを用い、その後点転写を用いて、異なる角度から見た画像を、目標画像の同じ視野角にワープし、次に、低階数行列補完方法を用いて、混入エリア又は遮蔽エリアの欠落ピクセルを融合する。雲混入ＨＤ画像に対する数値結果は、本開示のシステム及び方法が、ＨＤマルチアングルビュー画像を融合する際の性能を大幅に改善することを実証した。
【００６９】
他の画像処理用途
本開示は、他の用途にも用いることができる。前景検出としても知られる背景減算の場合、画像の前景は、例えば、歩行者、車両等の物体検出及び認識等の更なる処理のために抽出される。画像のシーケンス（ビデオ）内の移動物体を検出するために背景減算を用いることができる。背景減算は、コンピュータービジョンにおける多数の用途のための重要なキュー、例えば、監視追跡又は人間の姿勢推定を提供する。
【００７０】
本開示の別の実施形態は、シーンの画像を取得するセンサーと、様々な角度から取得されたシーンのマルチアングル画像の組を記憶するメモリであって、少なくともいくつかの画像が、シーンの少なくとも一部を遮蔽する雲を含む、メモリと、マルチアングル画像を同じ視野角にワープし、ワープ画像を雲のない画像に融合するプロセッサとを備えるカメラを含む。本開示の別の実施形態は、シーンの画像を取得するセンサーと、様々な角度からセンサーによって取得されたシーンのマルチアングル画像の組を記憶するメモリであって、少なくともいくつかの画像が、シーンの少なくとも一部を遮蔽する雲を含む、メモリと、組内の画像のうちの少なくともいくつかを同じ視野角にワープし、なお、ワープ画像は、欠落ピクセル、すなわち、値のないピクセルを含み、ベクトル化されたワープ画像を用いて行列を形成し、なお、行列は、欠落ピクセルに起因して不完全であり、行列補完方法を用いて行列を補完して、雲に覆われていないシーンの画像を生成する、プロセッサと、を備えるカメラ含むことができることが予期される。
【００７１】
図５は、本開示の実施形態による、代替のコンピューター又はプロセッサを用いて実現することができる図１Ａの方法を示すブロック図である。コンピューター５１１は、プロセッサ５４０と、コンピューター可読メモリ５１２と、記憶装置５５８と、ディスプレイ５５２及びキーボード５５１を備えるユーザーインターフェース５４９とを含み、それらはバス５５６を通して接続される。例えば、プロセッサ５４０及びコンピューター可読メモリ５１２と通信するユーザーインターフェース５５７は、ユーザーによるユーザーインターフェース５５７の面、キーボード５５３から入力を受信すると、画像データを取り込み、コンピューター可読メモリ５１２に記憶する。
【００７２】
コンピューター５１１は、適用例によって決まる電源５５４を含むことができ、電源５５４は任意選択でコンピューター５１１の外部に位置することができる。バス５５６を通して、ディスプレイデバイス５４８に接続するように構成されるユーザー入力インターフェース５５７をリンクすることができ、ディスプレイデバイス５４８は、数ある中でも、コンピューターモニター、カメラ、テレビ、プロジェクター又はモバイルデバイスを含むことができる。プリンターインターフェース５５９も、バス５５６を通して接続することができ、印刷デバイス５３２に接続するように構成することができ、印刷デバイス５３２は、数ある中でも、液体インクジェットプリンター、固体インクプリンター、大規模商用プリンター、熱プリンター、ＵＶプリンター又は染料昇華型プリンターを含むことができる。ネットワークインターフェースコントローラー（ＮＩＣ）５３４は、バス５５６を通してネットワーク５３６に接続するように構成され、数ある中でも、画像データ又は他のデータを、コンピューター５１１の外部にあるサードパーティーディスプレイデバイス、サードパーティーイメージングデバイス、及び／又はサードパーティー印刷デバイス上にレンダリングすることができる。
【００７３】
更に図５を参照すると、数ある中でも、画像データ又は他のデータを、ネットワーク５３６の通信チャネルを介して送信することができ、及び／又は、記憶するため及び／又は更に処理するために記憶システム５５８内に記憶することができる。さらに、時系列データ又は他のデータは、受信機５４６（又は外部受信機５３８）からワイヤレスで若しくは有線で受信することができるか、又は送信機５４７（又は外部送信機５３９）を介してワイヤレス若しくは有線で送信することができ、受信機５４６及び送信機５４７はいずれもバス５５６を通して接続される。コンピューター５１１は、入力インターフェース５０８を介して、外部検知デバイス５４４及び外部入力／出力デバイス５４１に接続することができる。例えば、外部検知デバイス５４４は、マシンの時系列データが収集される前に、その最中に、その後にデータを収集するセンサーを含むことができる。コンピューター５１１は、他の外部コンピューター５４２に接続することができる。出力インターフェース５０９を用いて、プロセッサ５４０から、処理済みのデータを出力することができる。プロセッサ５４０及び非一時的コンピューター可読記憶媒体５１２と通信するユーザーインターフェース５４９は、ユーザーによるユーザーインターフェース５４９の面５５２からの入力を受信すると、領域データを取り込み、非一時的コンピューター可読記憶媒体５１２に記憶することに留意されたい。
【００７４】
本開示の上述した実施形態は、多数の方法のうちの任意のもので実施することができる。例えば、上記実施形態は、ハードウェア、ソフトウェア、又はそれらの組み合わせを用いて実施することができる。ソフトウェアで実施されるとき、このソフトウェアコードは、単一のコンピューター内に設けられているのか又は複数のコンピューター間に分散されているのかを問わず、任意の適したプロセッサ又はプロセッサのセット体上で実行することができる。そのようなプロセッサは、集積回路構成要素に１つ以上のプロセッサを有する集積回路として実施することができる。ただし、プロセッサは、任意の適したフォーマットの回路部を用いて実施することができる。
【００７５】
また、本明細書において略述された様々な方法又はプロセスは、様々なオペレーティングシステム又はプラットフォームのうちの任意の１つを用いる１つ以上のプロセッサ上で実行可能なソフトウェアとしてコード化することができる。加えて、そのようなソフトウェアは、複数の適したプログラミング言語及び／又はプログラミングツール若しくはスクリプティングツールのうちの任意のものを用いて記述することができ、実行可能機械語コード、又はフレームワーク若しくは仮想機械上で実行される中間コードとしてコンパイルすることもできる。通常、プログラムモジュールの機能は、様々な実施形態において所望に応じて組み合わせることもできるし、分散させることもできる。
【００７６】
また、本開示の実施形態は、方法として具現化することができ、この方法の一例が提供されている。この方法の一部として実行される動作は、任意の適した方法で順序付けることができる。したがって、例示したものと異なる順序で動作が実行される実施形態を構築することができ、この順序は、幾つかの動作が例示の実施形態では順次的な動作として示されていても、それらの動作を同時に実行することを含むことができる。さらに、請求項の要素を修飾する、特許請求の範囲における「第１」、「第２」等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。
【図１Ａ】
2018101408.tif 000021
【図１Ｂ】
2018101408.tif 000022
【図１Ｃ】
2018101408.tif 000023
【図２】
2018101408.tif 000024
【図３】
2018101408.tif 000025
【図４】
2018101408.tif 000026
【図５】
2018101408.tif 000027
【外国語明細書】
2018101408.tif 000028
2018101408.tif 000029
2018101408.tif 000030
2018101408.tif 000031
2018101408.tif 000032
2018101408.tif 000033
2018101408.tif 000034
2018101408.tif 000035
2018101408.tif 000036
2018101408.tif 000037
2018101408.tif 000038
2018101408.tif 000039
2018101408.tif 000040
2018101408.tif 000041
2018101408.tif 000042
2018101408.tif 000043
2018101408.tif 000044
2018101408.tif 000045
2018101408.tif 000046
2018101408.tif 000047
2018101408.tif 000048
2018101408.tif 000049
2018101408.tif 000050
2018101408.tif 000051
2018101408.tif 000052
2018101408.tif 000053
2018101408.tif 000054
2018101408.tif 000055
2018101408.tif 000056
2018101408.tif 000057
2018101408.tif 000058
2018101408.tif 000059
2018101408.tif 000060
2018101408.tif 000061
2018101408.tif 000062
2018101408.tif 000063
2018101408.tif 000064
2018101408.tif 000065
2018101408.tif 000066
2018101408.tif 000067
2018101408.tif 000068
2018101408.tif 000069
2018101408.tif 000070
2018101408.tif 000071
2018101408.tif 000072