(57)【要約】【課題】本発明は、グラフスペクトル領域における信号を、グラフ部分空間上へのその信号のマッピングを計算することによって処理する方法を提供する。【解決手段】方法は、まず信号からグラフを構築し、次に、グラフおよび信号からグラフ行列を求めることによって、信号を処理する。グラフ行列および信号に基づいてクリロフベースの部分空間が求められる。クリロフ部分空間のフィルターが決定される。フィルターは、信号を変換してフィルタリングされた信号を生成し、これが出力される。【選択図】図２
2015212937.tif 000002
【特許請求の範囲】
【請求項１】
信号を処理する方法であって、以下の順序付けされたステップ、すなわち、
前記信号からグラフを構築するステップと、
前記グラフおよび前記信号からグラフ行列を求めるステップと、
前記グラフ行列および前記信号に基づいてクリロフベースの部分空間を求めるステップと、
前記クリロフベースの部分空間のフィルターを決定するステップであって、前記フィルターは、前記信号を変換してフィルタリングされた信号を生成する、決定するステップと、
前記フィルタリングされた信号を出力するステップと、
を含み、前記ステップは、プロセッサにおいて実行される、信号を処理する方法。
【請求項２】
前記クリロフベースの部分空間は、近似クリロフ部分空間と、有理クリロフ部分空間と、近似有理クリロフ部分空間と、それらの組合せとからなる群から選択される、請求項１に記載の方法。
【請求項３】
前記フィルターは、グラフ行列関数および近似グラフ行列関数からなる群から選択される、請求項１に記載の方法。
【請求項４】
前記グラフ行列関数は、行列多項式と、近似多項式と、行列有理関数と、近似行列有理関数と、それらの組合せとからなる群から選択される、請求項３に記載の方法。
【請求項５】
前記行列多項式は、区間における前記信号のグラフフーリエスペクトル成分を最適に抑制する一方で、前記区間の外側の前記グラフフーリエスペクトル成分を強調する、請求項４に記載の方法。
【請求項６】
前記行列多項式は、１つまたは複数の非インターレース区間における前記信号のグラフフーリエスペクトル成分を抑制する一方で、前記１つまたは複数の非インターレース区間の外側の前記グラフスペクトル成分を強調する多項式の組合せである、請求項４に記載の方法。
【請求項７】
チェビシェフ多項式の根および前記チェビシェフ多項式の再帰式の１つまたは複数の組合せを用いて、チェビシェフ反復法に基づいて前記フィルターを決定するステップをさらに含む、請求項３に記載の方法。
【請求項８】
前記行列有理関数は、前記グラフ行列の逆行列に基づく、請求項４に記載の方法。
【請求項９】
クリロフ部分空間反復法に基づいて前記フィルターを決定するステップをさらに含む、請求項１に記載の方法。
【請求項１０】
共役勾配反復法に基づいて前記クリロフ部分空間反復法を求めるステップをさらに含む、請求項９に記載の方法。
【請求項１１】
前記グラフ行列関数は、該グラフ行列の部分固有値問題を解く反復法に基づき、前記部分固有値問題は、固有値の一部を計算する問題であり、前記反復法の反復数は閾値によって決まる、請求項３に記載の方法。
【請求項１２】
前記反復法は、クリロフ部分空間法および有理クリロフ部分空間反復法のうちの一方またはそれらの組合せに基づく、請求項１１に記載の方法。
【請求項１３】
前記クリロフ部分空間反復法は、ランチョシュ法および共役勾配法のうちの一方またはそれらの組合せに基づく、請求項１２に記載の方法。
【請求項１４】
前記グラフ行列は、グラフ隣接性、ランダムウォークおよびラプラシアン行列のうちの１つまたは組合せに基づき、前記グラフ行列のエントリは、前記グラフのエッジの重みによって決まる、請求項１に記載の方法。
【請求項１５】
前記フィルターは、前記信号に適応する、請求項１に記載の方法。
【請求項１６】
前記関数は、前記信号に適応する、請求項３に記載の方法。
【請求項１７】
前記多項式は、前記信号に適応する、請求項５に記載の方法。
【請求項１８】
前記信号は、画像と、画像内のパッチと、画像の集合と、ビデオシーケンスと、ビデオシーケンス内のパッチと、奥行きマップと、奥行きマップのパッチと、それらの組合せからなる群から選択され、前記グラフは、ノードおよびエッジを含み、前記方法は、
個々の画像ピクセルもしくは個々のビデオボクセルまたは画像ピクセル群もしくはビデオボクセル群において、前記信号を表すグラフ頂点を求めるステップと、
前記信号を用いて前記グラフのエッジの重みを求めるステップと、
をさらに含む、請求項１に記載の方法。
【請求項１９】
前記信号は、画像と、画像内のパッチと、画像の集合と、ビデオシーケンスと、ビデオシーケンス内のパッチと、それらの組合せとからなる群から選択される第１の画像信号によって求められ、前記グラフは、ノードおよびエッジを含み、前記方法は、
画像の第２の集合と、第２のビデオシーケンスと、前記第２のビデオシーケンス内のパッチとから選択される奥行き信号および第２の画像信号にアクセスするステップと、
奥行き画像ベースのレンダリングを用いて、前記第２の画像信号を前記第１の画像信号の視点にワープするステップと、
前記ワープ画像信号を用いて前記グラフのエッジの重みを求めるステップと
をさらに含む、請求項１に記載の方法。
【請求項２０】
前記信号は、ノイズがあり、前記フィルターは、ローパスフィルターである、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には信号処理に関し、より詳細には、２Ｄ画像または２Ｄビデオ、および３Ｄ画像または３Ｄビデオのノイズ除去に関する。
【背景技術】
【０００２】
信号処理における広範にわたる用途が、データの幾何学的構造を表すグラフの頂点上に表すことができるデータを提示する。これらの用途には、ソーシャルネットワーク、エネルギーネットワーク、輸送ネットワークおよびセンサーネットワークと、合成のおよび未加工の画像、ビデオ、並びに医用画像およびハイパースペクトル画像とが含まれる。
【０００３】
１つの特定の用途は、３Ｄビデオ信号処理である。３Ｄビデオ信号処理では、ソース信号に適用される種々の取得技法および圧縮技法に起因して、画像は、多くの場合に様々な品質レベルを有する。例えば、ステレオカメラの撮像センサーおよび回路によって、またはショットノイズから、輝度または色の変化が生じる可能性がある。従来の画像処理技術を用いて画像の品質を改善することができる。奥行きマップ圧縮は、３Ｄビデオフォーマット、例えば、３Ｄアドバンストビデオコーディング（ＡＶＣ）および３Ｄ高効率ビデオコーディング（ＨＥＶＣ）の不可欠な部分となっているため、奥行き情報を利用して、低品質の画像を向上させることが望ましい。
【０００４】
従来の画像処理用途では、グラフ信号処理ツールが用いられてきた。例えば、通常の補間手順は、スペクトルグラフを用い、スペクトルグラフでは、アップサンプリング問題は、グラフスペクトル領域において実行される正則化最小二乗問題として定式化される。この手法は、奥行き画像アップサンプリングに拡張されている。ノイズのあるステレオ画像の画質を向上させる同様のグラフベースの方法は、奥行き情報を用いてガイド画像を生成する。しかしながら、これらの方法は、非常に高次元のデータの完全固有値分解を求めることが必要であることに起因して、高い複雑度を被る。
【０００５】
別の手法は、正則化パラメーターを有する正則化最小二乗問題によってグラフスペクトルフィルターを定義する。この手法は、フィルタリング結果が正則化パラメーターの選択の影響を非常に受けやすいという不利な点を有する。
【０００６】
完全な固有分解を回避する代替的な手法は、多項式によって近似されるグラフスペクトルフィルターを用いる。フィルタリング演算は、ピクセル領域内のグラフラプラシアン行列の関数としての多項式を適用することによって行われる。その手法は、フィルタリングプロセスを所定の固定された関数に限定するが、これは、多岐にわたる所与の信号にとって最適でない場合がある。
【０００７】
グラフ上の信号の基礎
グラフ信号処理において、無向グラフＧ＝（Ｖ、Ｅ）は、ノードとも呼ばれる頂点の集合Ｖ＝｛１、２、・・・、Ｎ｝を含み、これらの頂点の集合は、エッジの集合Ｅ＝｛（ｉ、ｊ、ｗｉｊ）｝、ｉ、ｊ∈Ｖによって連結され、ここで、（ｉ、ｊ、ｗｉｊ）は、重みｗｉｊ≧０と関連付けられたノードｉおよびｊ間のエッジを表す。ノードｉの次数ｄｉは、ノードｉに連結されたエッジ重みの和である。
【０００８】
グラフの隣接行列Ｗは、エントリｗｉｊ≧０を有するＮ×Ｎの対称行列であり、対角次数行列は、Ｄ：＝ｄｉａｇ｛ｄ１、ｄ２、・・・、ｄＮ｝である。グラフラプラシアン行列Ｌ：Ｄ−Ｗは、半正定行列であり、このため、固有分解Ｌ＝ＵΛＵＴを許可する。ここで、Ｕは、列が固有値の正規直交集合を形成する直交行列であり、Λ＝ｄｉａｇ｛λ１、・・・、λＮ｝は、全て実数の対応する固有値から作成される行列である。
【０００９】
ラプラシアン行列の固有値および固有ベクトルは、グラフ信号のスペクトル解釈を提供する。ここで、固有値は、グラフフーリエ周波数として扱うことができ、固有ベクトルは、一般化フーリエモードとして扱うことができる。
【００１０】
グラフは、フィルター試験ベンチマークのうちの１つとして従来用いられている基礎を成す画像フィルターと関連付けることができる。特に、入力画像
【数１】
2015212937.tif 000003
について、従来フィルタリングされる出力画像
【数２】
2015212937.tif 000004
は、以下のように書くことができる。
【００１１】
【数３】
2015212937.tif 000005
【００１２】
グラフスペクトルフィルタリング（ＧＳＦ）Ｈは、グラフスペクトル領域における画像処理の目的で設計することができる。ここで、Ｈは、直交行列であり、通常、Ｈ＝ｈ（∧）として与えられる。ここで、ｈ（λ）は、実変数λの実数値関数であり、フィルターを決定する。頂点領域における対応するグラフフィルターＨは、以下のように表すことができる。
【００１３】
【数４】
2015212937.tif 000006
【００１４】
グラフベースの画像処理の基礎
画像処理用途の場合、画像内のピクセルは、グラフ内のノードとして扱うことができる一方、ノードを連結するエッジにおける重みは、エッジによって連結されるピクセルの類似度の尺度を表す。図１Ａに示すように、グラフベースの画像処理の文脈において、グラフの頂点は、画像内のピクセルに対応する。図１Ａは、画像ノイズ除去のためのグラフベースの手法を設定および適用する前に定義される単純な４連結グラフを示している。各ピクセルは、画像平面内の４つの直接近傍にのみ連結される。画像または画像スライス内の全てのピクセルは、単一のグラフを共有し、１つのグラフスペクトル領域内で処理される。
【００１５】
グラフ内の連結構造が定義された後、グラフエッジごとに重みが割り当てられる。１つの手法は、バイラテラルの重みを割り当てることである。ここで、重みｗｉｊは、以下によって定義される。
【００１６】
【数５】
2015212937.tif 000007
【００１７】
第１の指数項は、空間距離ペナルティであり、ｐｉは、ピクセル空間ロケーションを指し、第２の指数項は、輝度距離ペナルティであり、ここで、ｘｉｎは、輝度値を指す。
【発明の概要】
【発明が解決しようとする課題】
【００１８】
本発明の実施の形態は、グラフスペクトル領域における信号、例えば、２Ｄ画像もしくは２Ｄビデオまたは３Ｄ画像もしくは３Ｄビデオを、グラフ部分空間上へのその信号のマッピングを計算することによって処理する方法を提供する。
【００１９】
本方法は、信号からグラフを構築し、次に、グラフのフーリエスペクトル特性を定義するグラフからグラフ行列を求める。本方法は、次に、グラフ行列と、信号を部分空間にフィルタリングするフィルターとに基づいて、低次元部分空間を求める。フィルターを用いて信号を部分空間にフィルタリングすることによって、フィルタリングされた信号が生成され、これが出力信号となる。
【００２０】
１つの実施の形態は、グラフ行列を、グラフ隣接性（Ｗ）、ランダムウォーク（Ｄ−１Ｗ）およびラプラシアン行列（Ｌ）のうちの１つまたは組合せに基づいて求め、グラフ行列のエントリは、グラフのエッジの重みによって決まる。本発明のいくつかの実施の形態によれば、グラフラプラシアン行列Ｌは、例えば、正規化されたＤ−１Ｌまたは対称に正規化されたＤ−１／２ＬＤ−１／２ラプラシアンと置き換えることができる。
【００２１】
１つの実施の形態において、Ｋによって表される部分空間は、クリロフ部分空間と、近似クリロフ部分空間と、有理クリロフ部分空間と、近似有理クリロフ部分空間と、それらの組合せとからなる群から選択されるクリロフベースの部分空間として求められる。
【００２２】
ＰＫによって表されるフィルターは、グラフ行列、例えば、ｈ（Ｌ）の関数とすることができる。代替的に、本発明のいくつかの実施の形態によれば、フィルターは、近似グラフ行列関数とすることができ、例えば、グラフ行列の正確な関数がｈ（Ｌ）によって与えられる場合、近似行列関数は、
【数６】
2015212937.tif 000008
とすることができ、ここで、行列
【数７】
2015212937.tif 000009
は、行列Ｌの近似であり、例えば、Ｌの正確度が低減された表現である一方、関数ｈ（）は、同じままである。
【００２３】
１つの特定の実施の形態では、部分空間Ｋは、グラフラプラシアンのクリロフ部分空間として定義される。これは、多項式ベースのフィルターを決定することを可能にするので有利である。
【００２４】
フィルターは、例えば、区間における信号のグラフフーリエスペクトル成分を最適に抑制する一方で、区間の外側のグラフフーリエスペクトル成分を強調する行列多項式を用いて求めることができる。
【００２５】
１つの実施の形態では、多項式は、帯域よりも上の信号のグラフフーリエスペクトル成分を最適に、かつ一様に抑制する所定の阻止帯域を有する一方で、帯域よりも下のグラフフーリエスペクトル成分を強調するグラフフーリエチェビシェフ多項式である。
【００２６】
同様の実施の形態では、多項式は、１つまたは複数の非インターレース区間における信号のグラフフーリエスペクトル成分を抑制する一方で、１つまたは複数の非インターレース区間の外側のグラフスペクトル成分を強調する多項式の組合せである。例えば、多項式は、対応する区間におけるチェビシェフ多項式の積とすることができる。別の例では、１つまたは複数の非インターレース区間における信号のグラフフーリエスペクトル成分を最適に、かつ一様に抑制する一方で、１つまたは複数の非インターレース区間の外側のグラフスペクトル成分を強調する多項式を求めることができる。
【００２７】
１つの実施の形態は、チェビシェフ多項式の根を用いて、二項チェビシェフ反復法に基づいてフィルターを決定する。別の実施の形態は、チェビシェフ多項式のための再帰式を利用して、例えば、三項チェビシェフ反復法をもたらす。
【００２８】
異なる実施の形態において、多項式は、信号に適応し、適応とは、多項式係数または根が信号に依拠して求められることを意味する。１つの実施の形態では、適応多項式の例は、共役勾配（ＣＧ）手順の反復を用いるパラメーターフリー適応フィルタリング手法である。ＣＧ適応フィルターは、１つの実施の形態のクリロフ部分空間多項式近似の例とみなすことができ、行列有理関数は、グラフ行列の逆行列、またはグラフ行列が非正規行列である場合は、擬似逆行列に基づく。
【００２９】
代替的にまたは付加的に、グラフ行列関数は、グラフ行列のための部分的固有値問題を解く反復法に基づくことができる。ここで、部分固有値問題は、固有値の一部を計算する問題であり、反復法の反復数は、閾値によって求められる。この実施の形態は、部分固有値問題を解く反復法の反復数を制限することによって、ユーザーがフィルター品質および計算コストの双方を制御することを可能にするという認識に基づく。例えば、ローパスフィルタリングの目的のために、スペクトルにおける低帯域をターゲットにし得る。反復数が大きすぎる場合、フィルタリング法は、計算コストが高いのみでなく、フィルタリングを特に選択されたターゲットに限定し、フィルター品質を下げる。
【００３０】
部分固有値問題を解く反復法の例は、クリロフ部分空間法および有理クリロフ部分空間法を含む。１つの実施の形態では、クリロフ部分空間法は、例えば、ランチョシュ法または共役勾配法であり、ともにクリロフ部分空間多項式適応フィルターの他の例としての役割を果たし、ここで、多項式の根および係数は、信号に適応する。
【００３１】
いくつかの実施の形態は、適応は、フィルターが様々なスペクトル分布を有する広範にわたる信号の信号フィルタリングを実行し、全ての所与の信号についてフィルター品質を自動的に適応させることを可能にするので有利であるという認識に基づいて、適応行列関数および適応多項式を用いる適応フィルターを提案する。
【００３２】
別の実施の形態では、信号は、１組のステレオ画像またはマルチビュー画像からのノイズのある画像であり、奥行きマップ、および信号の異なる視点を捕捉する第２の画像の形態の補助情報を有する。奥行きマップを用いて、第２の画像を、ノイズのある画像の視点に一致するようにワープすることができる。
【００３３】
本方法は、第２のワープ画像からグラフを構築し、グラフラプラシアン行列を計算する。画像ノイズ除去は、ローパスフィルタリングによって実現することができる。本方法は、例えば、上記の実施の形態において定義されたチェビシェフフィルタおよびＣＧフィルターを用いて、グラフラプラシアンのより低次元のクリロフ部分空間上への、フィルタリングされる画像の投影を直接求めることによって、ノイズのある画像のグラフベースのフィルタリングを実行する。
【００３４】
提案される方法は、既存の多項式グラフフィルターにわたってピーク信号対ノイズ比における約１ｄＢ〜３ｄＢの改善を有する、主観的に、よりきれいな画像を生成する。
【図面の簡単な説明】
【００３５】
【図１Ａ】画像から構築される従来の単純な４連結グラフである。
【図１Ｂ】本発明の実施の形態による、奥行き情報の助けにより３Ｄ画像ノイズ除去を処理するグラフである。
【図２】本発明の実施の形態による、信号を処理する方法の流れ図である。
【図３】本発明の実施の形態による、部分空間を求める方法の流れ図である。
【図４】本発明の実施の形態による、フィルターを決定する方法の流れ図である。
【図５Ａ】本発明の実施の形態による、グラフ行列関数フィルターを決定する方法の流れ図である。
【図５Ｂ】本発明の実施の形態による、フィルタリングされた信号を計算する方法の流れ図である。
【図６】本発明の実施の形態による、奥行き情報を用いて３Ｄ画像ノイズ除去を処理するグラフを構築する方法の流れ図である。
【発明を実施するための形態】
【００３６】
図２は、信号２０２を処理する方法のフローチャートを示している。信号２０２をセンサー２０１によって取得することができる。例えば、センサーは、カメラまたは３Ｄビデオカメラである。代替的に、信号は、メモリ内に記憶されている。通常、信号は、デジタル（バイナリ）データの形態をとる。グラフ２０６が信号から構築される（２０５）。グラフからグラフ行列２１１が求められる（２１０）。グラフ行列および信号に基づいて部分空間２２１が求められる（２２０）。部分空間に対するフィルター２３１が決定される（２３０）。フィルター２３１は、フィルタリング除去された信号２４１を生成する部分空間２２１に信号２０２をマッピング（２４０）するマップである。
【００３７】
図３は、クリロフ部分空間３０５、近似クリロフ部分空間３１０、有理クリロフ部分空間３２０および近似有理クリロフ部分空間３３０、並びにそれらの組合せ３４０からなる群から部分空間を求める（２２０）ためのフローチャートを示している。
【００３８】
図４は、グラフ行列関数４０５、およびグラフ行列の近似関数４１０、またはそれらの組合せ４４０からなる群から、部分空間２２１およびグラフ行列２１１に基づいてフィルター２３１を決定する（２３０）ためのフローチャートを示している。
【００３９】
図５Ａは、グラフ行列関数４０５としてのフィルター方法２３０の選択５４０の選択肢の例を示すいくつかの実施の形態のフローチャートを示している。１つの実施の形態では、信号を部分空間にフィルタリングするために、反復チェビシェフ法５０５が適用される。別の実施の形態では、フィルタリングを行うために、共役勾配法５１０が用いられる。様々な実施の形態において、グラフ行列関数フィルター４０５をランチョシュ法５２０として選択することができる（５５０）。
【００４０】
図５Ｂは、５５０等の選択されたフィルター２３１の方法をどのように用いて、フィルター実施５９０を用いてフィルタリングされた信号２４１を計算することができるかを示している。フィルター実施は、コンピューターコードとして行うこともできるし、コンピューティングデバイス内に事前にプログラムすることもできる。
【００４１】
ステップ、例えば、フィルター実施５９０を、当該技術分野において既知のメモリおよび入／出力インターフェースに接続されたプロセッサにおいて実行することができる。プロセッサは、例えば、マルチコアプロセッサ、パラレルプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはグラフィック処理ユニット（ＧＰＵ）とすることができる。
【００４２】
本発明の実施の形態を、以下でより詳細に、さらに説明する。
【００４３】
部分空間マッピングによるグラフフィルタリング
グラフフィルタリング問題は、グラフラプラシアン行列Ｌ２１１の関数ｈ（Ｌ）４０５を入力信号ｘｉｎに適用する一般的なタスクとの関連で考察することができる。この入力信号は、簡潔にするために、以後、ｂ２０２によって表し、以下の式が成り立つ。
【００４４】
【数８】
2015212937.tif 000010
【００４５】
画像ノイズ除去のために、目標は、高周波数ノイズを抑制することであり、この場合、グラフフィルターｈ（Ｌ）は、ローパスフィルターである。
【００４６】
一般関数ｈ（Ｌ）の場合、ｂの次元が大きいとき、Ｌの固有分解によるｂに対するｈ（Ｌ）の作用を正確に計算する問題が解決困難となる。この困難を克服するために、適切な低次元部分空間Ｋ上へのｘ＊の投影を設定し、評価する。部分空間フィルターを表す部分空間Ｋ２２１上へのマッピングをＰｋによって表すと、部分空間Ｋ内の式（４）の解ｘ＊の投影
【数９】
2015212937.tif 000011
は、以下となる。
【００４７】
【数１０】
2015212937.tif 000012
【００４８】
例えば、ローパスフィルターに関心がある場合、クリロフ部分空間投影技法を用いることができ、すなわち、次数（ｋ＋１）のクリロフ部分空間３０５において、ベクトルによって解ｘ＊を近似する。
【００４９】
【数１１】
2015212937.tif 000013
【００５０】
クリロフ部分空間は、外部固有値（ｅｘｔｒｅｍｅ  ｅｉｇｅｎｖａｌｕｅ）に対応する固有ベクトルを近似することができ、したがって、クリロフ部分空間は、ハイパスフィルターおよびローパスフィルターにとって適切な選択肢である。ここで、多項式フィルタリングの制約内で、ｈ（ＰＫＬＰＫ）を実用においてのみ利用可能な、ＰＫｈ（Ｌ）の代用として用いる。さらに、式（６）におけるクリロフ部分空間は、初期画像ｘｉｎ＝ｂから開始して構築され、したがって、画像内に実際に存在するＬスペクトルモードのみを考慮に入れる。
【００５１】
次数ｋのクリロフ部分空間を用いるフィルターの実施は、フィルター関数ｈ（・）自体が次数ｋ以下の多項式ｈ（λ）＝ｐｋ（λ）である場合に、特に単純にすることができる。なぜなら、
【数１２】
2015212937.tif 000014
であるためである。ここで、等式が成り立つ理由は、部分空間Ｋが次数ｋ以下の任意の多項式ｐｋ（・）について全ての可能なベクトルｐｋ（Ｌ）ｂを含み、すなわち、ｐｋ（Ｌ）ｂ∈Ｋであるためである。行列Ｌがスパースであり、次数ｋが小さいとき、計算利得が達成される。
【００５２】
フィルターは、有理クリロフ部分空間３２０およびそれらの近似３３０に基づいて構築することもできる。
【数１３】
2015212937.tif 000015
として定義される有理クリロフ部分空間Ｋｒは、外部固有値とは対照的に内部固有値を推定し、それによって帯域通過フィルターおよび帯域除去フィルターの設計を可能にする。
【００５３】
チェビシェフ多項式グラフスペクトルノイズ除去
計算的考察に起因して多項式フィルタリングに限定すると、最適な多項式ローパスフィルターを設計する問題を設定することができる。
【００５４】
本発明における最適多項式ローパスフィルターの第１の例は、チェビシェフ多項式に基づいている。特に、ｌ∈（０、２）〜２まで延在する阻止帯域を用いて、区間［０、２］にわたって定義された次数ｋのチェビシェフ多項式ｈｋ−ＣＨＥＢ５０５を用いる。この例では、対称正規化ラプラシアンＬの固有空間の観点でグラフスペクトルを定義するので、Ｌの全ての固有値が、区間［０、２］内にある。チェビシェフ多項式の構築は、例えば、区間［−１、１］にわたって、ｉ＝１・・・ｋについて次数ｋのチェビシェフ多項式
【数１４】
2015212937.tif 000016
の根を求め、次に、この根を線形変換により区間［ｌ、２］にシフトして多項式ｈｋ−ＣＨＥＢの根ｒｉを得て、次に、ｒ０を用いてｈｋ−ＣＨＥＢ（０）＝１となるように多項式をスケーリングすることによって得ることができる。この結果、以下の式
【数１５】
2015212937.tif 000017
となり、ｉ＝１、・・・、ｋについて、ｘｉ＝ｒｉｘｉ−１−Ｌｘｉ−１を反復的に評価することによって
【数１６】
2015212937.tif 000018
を計算することができる。ここで、ｘ０＝ｒ０ｂである。
【００５５】
チェビシェフ多項式の積を用いて、より一般的なフィルターを構築することができる。例えば、帯域通過フィルターｈＢＰ（λ）は、まず、区間［０、ｌ１］に根を有するハイパスチェビシェフフィルターｈＨＰ（λ）と、区間［ｌ２、２］に根を有する第２のチェビシェフ多項式ｈＬＰ（λ）とを構築することによって達成することができる。ここで、ｈＨＰ（０）＝ｈＬＰ（０）＝１であり、ｌ１＜ｌ２である。次に、以下を設定することによって、帯域通過フィルターが得られる。
【００５６】
【数１７】
2015212937.tif 000019
【００５７】
チェビシェフ多項式は、ミニマックス最適であり、区間［ｌ、２］において全てのスペクトル成分を一様に抑制し、［ｌ、２］の外側では、いかなる他の多項式よりも高速に増大する。阻止帯域周波数ｌは、依然としてフィルタリングの前に設定される必要がある設計パラメーターである。次のサブセクションにおいて、適応フィルターの例として、変分パラメーターフリー法を説明する。
【００５８】
クリロフノイズ除去のための共役勾配（ＣＧ）法
Ｌは、ハイパスフィルターであるので、そのムーア−ペンローズ擬似逆行列Ｌ†は、ローパスフィルターであり、このため、ｈ（Ｌ）＝Ｌ†を選択すること、すなわち、ｘ＊＝Ｌ†ｂを設定することによって、ローパスグラフスペクトルフィルターを設計することができる。
【００５９】
グラフフィルタリング問題を制約付き二次計画法として定式化する部分空間投影技法を用いる。
【００６０】
【数１８】
2015212937.tif 000020
【００６１】
ここで、初期近似ｘ０およびベクトルｆは、選択されないままである。式（７）における問題に対する解は、ＣＧ法５１０のｋ回の反復を実行することによって計算することができる。ｈｋ−ＣＧによって、ｘ０＝ｆ＝ｂを有するｋステップＣＧフィルターを表す。この場合、
【数１９】
2015212937.tif 000021
となる。これは、式（６）において定義される次数（ｋ＋１）のクリロフ部分空間である。ｈｋ−ＣＧ０によって、ｘ０＝ｂおよびｆ＝０を有するｋステップＣＧフィルターを表す。さらに、別の選択、例えば、ｘ０＝０およびｆ＝ｂによって、次数ｋのクリロフ空間ｓｐａｎ｛ｂ、Ｌｂ、・・・、Ｌｋ−１ｂ｝に等しい
【数２０】
2015212937.tif 000022
が得られる。
【００６２】
ＣＧ手順は、入力信号に基づいてスペクトル応答を適応的に調整するので、有利である。
【００６３】
グラフベースの３Ｄ画像処理
図１Ｂは、奥行きマップおよび代替の第２のビューの形態で利用可能な副情報の助けにより３Ｄ画像ノイズ除去を処理するための提案されたグラフを示している。図１Ｂにおいて、ｐｉは、ピクセルを表し、破線は、穴に起因したそのピクセルへの欠落したリンクを表す。穴は、第２のビューにおける遮蔽に起因して、第１のビューの視点に整合するように第２のビューおよび奥行きマップから生成することができない第１のビュー内のピクセルである。グラフ内の接続構造が定義されると、各グラフエッジに重みが割り当てられる。１つの手法は、重みｗｉｊを、式（３）に従ってバイラテラルな重みとして、または共同のバイラテラルな重みとして割り当てる。
【００６４】
グラフ２０６の構築は、図６に示されている。ここで、奥行き信号および第２の画像がグラフを構築するのに利用される。図６におけるブロック図は、３Ｄ画像ノイズ除去の場合に図２における「グラフ構築」ブロック２０５の実施とすることができることに留意されたい。
【００６５】
センサー２０１からの信号は、３つの部分、すなわち、第１の画像２０２と、第２の画像６０５と、奥行き情報６１０と、から構成することができる。第１の画像２０２は、本発明において提案されるような１つの実施の形態を用いて処理することができるのに対し、第２の画像６０５および奥行き情報６１０は、グラフ構造の構築に役立つように用いることができる。第２の画像は、第１の画像と異なる視点にある。奥行き画像ベースのレンダリング（ＤＩＢＲ）プロセス６２０は、第２の画像６０５および奥行き情報６１０を入力として取り、出力としてワープ画像６２５が得られる。最終的に、ワープ画像６２５および第１の画像２０２を用いてグラフ２０６を構築する（６３０）ことができる。
【００６６】
エッジの重みは、式（３）におけるように定義することができ、ガイドされる画像は、ワープ画像６２５である。従来の奥行き画像の基づくレンダリング（ＤＩＢＲ）プロセスを用いて、ワープ／ガイド画像を生成することができ、これについて以下で説明する。
【００６７】
現在の画像内のピクセル位置ｉ＝［ｕ、ｖ］ごとに、カメラパラメーターおよびピンホールカメラモデルに基づいて、対応するロケーションｉ’＝［ｕ’、ｖ’］を求めることができる。このため、ワープ画像内のｘｉｎ（ｉ）は、高品質画像において
【数２１】
2015212937.tif 000023
から取得される。［ｕ、ｖ］は、常に整数ロケーションのピクセルに位置するが、［ｕ’、ｖ’］は、サブピクセルロケーションを指し示すことができる。結果として、高品質画像におけるサブピクセル補間は、精度を維持するように実行される必要がある。例えば、Ｈ．２６５／ＨＥＶＣビデオコーディング規格において定義される８タップ補間フィルターまたは７タップ補間フィルターを用いることができる。
【００６８】
さらに、ワーピングプロセス中に、前景の物体の近くで遮蔽が生じる可能性がある。この遮蔽は、穴エリアとしてマーク付される。通常の穴埋め手順は、修復技法を用いて背景ピクセルを穴内に伝搬する。埋められた穴は、多くの場合に信頼できないので、１つの例では、埋められたピクセルを、グラフを構築するためのガイドとして用いない。代わりに、穴ピクセルへの、または穴ピクセルからのいかなるリンクも回避する。図１Ｂに示すように、ピクセルｐｉの下に穴ピクセルがあるので、このピクセルのために、３つのリンクが残されている。このようにして、提案されるグラフフィルタリング演算は、任意の従来のフィルタリングが穴ピクセルに対し実行されるのに対し、非穴ピクセルに対してのみ実行される。
【００６９】
パッチベースの処理
必要メモリを低減するために、独立してフィルタリングされた画像のパッチを用いることができる。さらに、パッチに基づく手法は、並列な実施に好都合であり、Ｈ．２６５／ＨＥＶＣ等の通常のビデオコーディングフレームワークにおいて用いられるコーディングユニット構造と同期させることができる。多項式の次数ｋは、パッチサイズが大きくなると、増大する傾向にある。パッチ処理を用いることにより、異なるパッチ上の一貫しない信号正規化に起因して、パッチの共通境界においてフィルタリングされた信号の望ましくない人工的な視覚ブロッキングが生じる場合がある。そのようなブロッキングを回避するために、１つの方法は、後処理正規化ステップを導入する。例えば、後処理正規化ステップは、元のノイズのある信号を、全てのパッチ上のフィルタリングされた出力信号が広がる１次元の部分空間に投影することに基づくことができる。この投影は、計算的に安価であり、十分に自動的であり、パラメーターを調整する必要がなく、ブロッキングが除去されるので、有利である。
【図１Ａ】
2015212937.tif 000024
【図１Ｂ】
2015212937.tif 000025
【図２】
2015212937.tif 000026
【図３】
2015212937.tif 000027
【図４】
2015212937.tif 000028
【図５Ａ】
2015212937.tif 000029
【図５Ｂ】
2015212937.tif 000030
【図６】
2015212937.tif 000031
【外国語明細書】
2015212937.tif 000032
2015212937.tif 000033
2015212937.tif 000034
2015212937.tif 000035
2015212937.tif 000036
2015212937.tif 000037
2015212937.tif 000038
2015212937.tif 000039
2015212937.tif 000040
2015212937.tif 000041
2015212937.tif 000042
2015212937.tif 000043
2015212937.tif 000044
2015212937.tif 000045
2015212937.tif 000046
2015212937.tif 000047
2015212937.tif 000048
2015212937.tif 000049
2015212937.tif 000050
2015212937.tif 000051
2015212937.tif 000052
2015212937.tif 000053
2015212937.tif 000054
2015212937.tif 000055
2015212937.tif 000056
2015212937.tif 000057
2015212937.tif 000058
2015212937.tif 000059
2015212937.tif 000060
2015212937.tif 000061