(57)【要約】【課題】  最大事後（ＭＡＰ）推定値に基づき、雑音性ビデオフレームに対するビデオ雑音除去技法が提供される。【解決手段】  雑音はガウス分布及びビットレートによって測定可能な先天的条件付き密度モデルに相似又は満足するという仮定のもとで、雑音除去される現在フレームのＭＡＰ推定値は、レート歪み最適化問題として表され得る。ラグランジュパラメータを変動させるため、レート歪み最適化問題に基づく制約最小化問題が使用され、雑音除去過程を最適化する。ラグランジュパラメータは雑音歪み関数として決定される。【選択図】        図１
2010531624.tif 000002
【特許請求の範囲】
【請求項１】
雑音性ビデオデータを雑音除去する方法であって、
原ビデオデータ及び雑音データを含む雑音性ビデオデータの現在フレームを受信するステップと、
雑音性ビデオデータの先行フレームに対する原ビデオデータの推定値を受信するステップと、
雑音データの分散及び現在フレームの符号化に関連づけられた量子化レベルを決定するステップと、
少なくとも雑音データの分散、量子化レベル、及び雑音性ビデオデータの先行フレームに対する原ビデオデータの推定値に基づいて現在フレームを雑音除去するステップと、
雑音除去に基づいて現在フレームに対する原ビデオデータを推定するステップと
を備える方法。
【請求項２】
雑音性ビデオデータの各々の後続フレームについて、受信、決定、雑音除去、及び推定の前記各ステップを繰り返して実行することをさらに備える、請求項１に記載の方法。
【請求項３】
前記量子化レベルを決定するステップは、Ｈ．２６４ビデオ符号化標準に従って実行する符号器の量子化パラメータを決定することを含む、請求項１に記載の方法。
【請求項４】
前記推定するステップは、前記雑音データの統計分布に基づいて決定された雑音条件付き密度に基づいて推定することを含む、請求項１に記載の方法。
【請求項５】
前記推定するステップは、前記先行フレームに基づいて決定された先天的条件付き密度モデルに基づいて推定することを含む、請求項１に記載の方法。
【請求項６】
前記雑音除去するステップは、前記先行フレームに基づいて最大事後（ＭＡＰ）ベースの雑音除去を行うことを含む、請求項１に記載の方法。
【請求項７】
前記雑音除去するステップは、前記現在フレームを圧縮することを含む、請求項１に記載の方法。
【請求項８】
前記雑音除去するステップは、前記雑音データのレート歪み特性を最適化することを含む、請求項１に記載の方法。
【請求項９】
前記受信するステップは、原ビデオデータ及びガウス分布を特徴とする雑音データを含む雑音性ビデオデータの現在フレームを受信することを含む、請求項１に記載の方法。
【請求項９】
請求項１に記載の方法を実行するコンピュータ実行可能命令を備えるコンピュータ読み取り可能メディア。
【請求項１０】
コンピューティングシステムによって受信された雑音性ビデオデータを雑音除去するビデオ雑音除去システムであって、
雑音性ビデオデータの複数のフレームを記憶する少なくとも１つのデータ記憶装置であって、各フレームは原画像データ及びガウス分布によって特徴づけられる雑音画像データを含む、データ記憶装置と、
雑音性ビデオデータの前記複数のフレームについて雑音画像データの分散を決定し、雑音性ビデオデータの少なくとも１つの先行フレームに対する原ビデオデータの少なくとも１つの推定値及び分散に基づいて現在フレームの最大事後（ＭＡＰ）ベースの雑音除去を実行する雑音除去コンポーネントであって、前記雑音除去コンポーネントは前記雑音画像データを有しない前記現在フレームの原画像データの推定値を最適に決定する、雑音除去コンポーネントと、
を備えるビデオ雑音除去システム。
【請求項１１】
前記少なくとも１つの先行フレームに対する原ビデオデータの前記少なくとも１つの推定値は、前記雑音除去コンポーネントによって決定された少なくとも１つのＭＡＰベースの推定値である、請求項１０に記載のビデオ雑音除去システム。
【請求項１２】
前記雑音除去コンポーネントによって実行された前記ＭＡＰベースの雑音除去の出力をＨ．２６４フォーマットに従って符号化するＨ．２６４符号器
をさらに備える、請求項１０に記載のビデオ雑音除去システム。
【請求項１３】
前記雑音除去コンポーネントは、前記現在フレームの符号化に関連づけられた量子化レベルをさらに決定する、請求項１０に記載のビデオ雑音除去システム。
【請求項１４】
前記雑音除去コンポーネントは、可変ラグランジュパラメータを最適に設定することによって前記現在フレームの前記原画像データの前記推定値を最適に決定する、請求項１０に記載のビデオ雑音除去システム。
【請求項１５】
前記雑音除去コンポーネントは、前記雑音画像データと前記推定値との間の歪み及び動き補償後の剰余に関連づけられたビットレートに基づいてレート歪み関数に関連づけられた可変ラグランジュパラメータを最適に設定する、請求項１４に記載のビデオ雑音除去システム。
【請求項１６】
前記雑音除去コンポーネントは、前記原データの前記推定値のピーク信号対雑音比（ＰＳＮＲ）において、前記雑音画像データを含む前記現在フレームのＰＳＮＲよりも実質的に約４〜１０デシベルの範囲の増加を達成する、請求項１４に記載のビデオ雑音除去システム。
【請求項１７】
原画像の系列及び前記原画像内に埋め込まれた雑音データの対応する系列を含む雑音性ビデオデータを処理する方法であって、
原画像及びガウス雑音を含む雑音性画像を受信するステップと、
前記系列内の前記原画像に先立つ先行画像の推定原画像及びガウス雑音の分散に基づき、前記雑音性画像のレート歪み特性に関連づけられた可変ラグランジュパラメータの最適化を含めて前記現在フレームを雑音除去するステップと
を備える方法。
【請求項１８】
前記雑音除去するステップは、前記雑音性画像の歪み特性を前提とする前記推定原画像を決定するステップを含む、請求項１７に記載の方法。
【請求項１９】
前記雑音除去するステップは、動き補償後の剰余に関連づけられたビットレートを前提とする前記推定原画像を決定するステップを含む、請求項１７に記載の方法。
【請求項２０】
前記雑音除去するステップは、前記雑音性ビデオデータを符号化するために採用されたビデオ符号化標準に関連づけられた量子化レベルに基づいて雑音除去するステップをさらに含む、請求項１７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本願は、２００７年６月２５日に出願された「ＲＡＴＥ  ＤＩＳＴＯＲＴＩＯＮ  ＯＰＴＩＭＩＺＡＴＩＯＮ  ＦＯＲ  ＶＩＤＥＯ  ＤＥＮＯＩＳＩＮＧ」と題する米国仮特許出願第６０／９４５，９９５号への優先権を主張する。
【０００２】
［発明の分野］
本開示は、ビデオ雑音除去に関し、さらに具体的には、ビデオの雑音を除去するための最大事後（ＭＡＰ: maximum a posteriori）ベース最適化に関する。
【背景技術】
【０００３】
ビデオ雑音除去は、ビデオ信号から雑音を除去するために使用される。ビデオ雑音除去の方法は、一般的に空間ビデオ雑音除去及び時間ビデオ雑音除去へ分けられてきた。空間雑音除去の方法は、雑音抑圧のために１つのフレームを解析し、画像雑音低減技法に類似している。時間ビデオ雑音除去の方法は、画像系列内に埋め込まれた時間情報を使用し、動き適応形方法と動き補償形方法へさらに細分することができる。例えば、動き適応形方法は画素の動き検出の解析を使用し、動きが検出されなかった先行画素を平均しようと試みる。例えば、動き補償形方法は動き推定を使用し、先行フレーム内の特定位置から画素値を予測及び判断する。名前によって暗示されるように、空間・時間ビデオ雑音除去方法は、空間雑音除去と時間雑音除去の組み合わせを使用する。
【０００４】
ビデオ雑音はアナログ雑音及び／又はディジタル雑音を含むことができる。破損したビデオ信号の中で生じ得るアナログ雑音の様々な型の例を少しだけ挙げると、そのような雑音源は、無線通信路アーチファクト（高周波干渉、例えば、ドット、短い水平色線など、輝度及び色チャネル干渉、例えば、アンテナ問題、ビデオ重複−疑似輪郭外観）、ＶＨＳテープアーチファクト（色特定劣化、輝度及び色チャネル干渉、フレーム端での線の混乱シフト、例えば、線再同期信号の不整合、広い水平雑音ストリップ）、被膜アーチファクト（メディア上の埃、汚物、飛沫、引っかき傷、縮み、指紋）、及び沢山の他のアナログ雑音型を含むことができる。ビデオ信号の中で生じ得るディジタル雑音の様々な型の例を少し挙げると、雑音源は、低ビットレートからの妨害、リンギング、ディジタル送信チャネルの喪失又はディスク傷害、例えば、物理ディスク上の引っかき傷の場合のブロック誤り又は損傷、及び沢山の他のディジタル雑音型を含む。
【０００５】
従来のビデオ雑音除去方法は、特定の型の雑音、例えば、特別の特性を有する雑音について設計され、ビデオから雑音を除去するために異なる抑圧方法が提案されてきた。
【０００６】
例えば、１つの従来の雑音除去システムは、近似された３Ｄウィナーフィルタ(Wiener filter)と一緒に動き補償（ＭＣ）を使用することを提案する。別の従来の雑音除去システムは、空間・時間カルマンフィルタを使用することを提案する。しかしながら、そのような従来の方法は、多大な量の計算及び記憶装置を必要とする。計算及び記憶装置を低減する幾つかのシステムが提案されたが、それらのシステムの適用性は狭い。さらに、標準のＨ．２６４符号器はある一定の変数を固定し、雑音除去が適用されるべき雑音、例えば、ガウス雑音の従属特性について本質的に最適化されない。
【０００７】
従って、ビデオ雑音除去の一層良好な解決法を提供することが望ましい。ビデオ雑音除去の現在の設計について上に説明した欠陥は、今日の設計問題の幾つかの問題を単に概観することを意図し、全ての問題を論じ尽くすことを意図するものではない。例えば、下記の様々な非限定的実施形態の説明を検討するとき、最新技術に伴う他の問題がさらに明らかになる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一層詳細な説明及び添付の図面として後続する例示的、非限定的な実施形態の様々な態様について基本的又は一般的に理解できるようにするため、簡単な概要が本明細書で提供される。しかしながら、この概要は包括的又は徹底的な概観を意図していない。この概要の唯一の目的は、様々な例示的及び非限定的な実施形態に関連した幾つかのコンセプトを、後続する一層詳細な説明の前置きとして簡単な形式で提示することである。
【０００９】
雑音性(noisy)ビデオ系列の先行フレームに対する最大事後（ＭＡＰ）推定値に基づき、雑音性ビデオフレームに対するビデオ雑音除去技法が提供される。
【課題を解決するための手段】
【００１０】
雑音は、ガウス分布の性質を仮定され、先天的条件付き密度モデル(a priori conditional density model)はビットレートの関数として測定される。従って、雑音除去される現在のフレームのＭＡＰ推定値はレート歪み最適化問題として表現することができる。可変ラグランジュパラメータを最適に設定して雑音除去過程を最適化するため、レート歪み最適化問題に基づく制約最小化問題を使用することができる。ラグランジュパラメータは、雑音歪み及び雑音性ビデオの符号化に関連づけられた量子化レベルの関数として決定され得る。
【００１１】
ビデオ雑音除去のＭＡＰベース最適化技法は、添付の図面を参照してさらに説明される。
【図面の簡単な説明】
【００１２】
【図１】通信可能に結合されたデバイスによって記憶、処理、又は送信されたことに起因して、雑音がビデオ信号の中へ導入される高レベルブロック図を示す。
【図２】本明細書で説明される雑音が加算されるブロック図を示す。
【図３】本明細書で説明される雑音除去が適用された後、雑音除去されるブロック図を示す。
【図４】雑音除去過程へ適用可能な例示的高レベル流れ図である。
【図５】元のビデオ信号の最適再構築を決定するＭＡＰベース技法を示す例示的流れ図である。
【図６】第１の原画像の原キャプチャを示す。
【図７】第１の原画像の意図的に雑音を加算されたバージョンを示す。
【図８】第１の原画像に関する、Ｈ．２６４解凍後の原キャプチャの再構築を示す。
【図９】第１の原画像に関する、雑音除去を適用された後の雑音バージョンの再構築を示す。
【図１０】第２の原画像の原キャプチャを示す。
【図１１】第２の原画像の意図的に雑音を加算されたバージョンを示す。
【図１２】第２の原画像に関する、Ｈ．２６４解凍後の原キャプチャの再構築を示す。
【図１３】第２の原画像に関する、雑音除去を適用された後の雑音バージョンの再構築を示す。
【図１４】原ビデオ信号の最適再構築を決定するために適用され得る例示的ＭＡＰベース技法を示す追加の流れ図である。
【図１５】原ビデオ信号の最適再構築を決定するために適用され得る例示的ＭＡＰベース技法を示す追加の流れ図である。
【図１６】原ビデオ信号の最適再構築を決定するために適用され得る例示的ＭＡＰベース技法を示すブロック図である。
【図１７】原ビデオ信号の最適再構築を決定するために適用され得る例示的ＭＡＰベース技法を示す追加の流れ図である。
【図１８】様々な実施形態が実現される例示的で非限定的なコンピューティングシステム又はオペレーティング環境を表すブロック図である。
【図１９】この後で記述される雑音除去の実施形態によるサービスを受けるのに適したネットワーク環境の概観を示す。
【発明を実施するための形態】
【００１３】
背景の中で検討されたように、高レベルにおいて、ビデオの雑音除去は、理想的ビデオがディジタル化又は送信されている過程で、いつ歪ませられるかに関連する。歪みは様々な理由、例えば、対象物の動き、ピントの欠如、又はビデオキャプチャに関与する光学システムの欠陥などによって起こる。キャプチャ及び記憶の後、ビデオは雑音性通信路を介して送信される間にさらに歪ませられる。結果の雑音性(noisy)又は歪みビデオは可視的に不愉快であり、幾つかの仕事、例えば、区分化、認識、及び圧縮の実行を一層困難にする。従って、可視的外観を改善し、ビデオの記憶装置要件を低減し、ビデオ上で実行される追加操作を容易にする最適のやり方で、理想的ビデオの正確な推定値を「破損した」観察画像から再構築できることが望ましい。
【００１４】
これらの論点を考慮して、様々な実施形態は、ガウス又は正規振幅分布に従った値を有する加法的ガウス雑音によって劣化したビデオを復元することによって、ビデオ雑音除去処理を最適化する。図１は、ビデオが配布される持続期間中にビデオの中へ導入される様々な雑音源を示す。例えば、キャプチャシステムＣＳは雑音Ｎ１を理想的信号ＩＳへ導入する。キャプチャの後、雑音Ｎ１を有するビデオはデバイスＤ１へ送信され、送信中の潜在的誤りなどに起因して追加雑音Ｎ２を導入する。デバイスＤ１は、データを受信、記憶、圧縮、又は変換するとき更なる追加雑音Ｎ３を導入することができる。次いで、同じようにして、ビデオがデバイスＤ１からデバイスＤ２へ、又はデバイスＤ２からデバイスＤ３へ、以下同様に送信されるとき、追加雑音Ｎ４、Ｎ６、Ｎ８が送信雑音源からビデオへ加算することができる。デバイスＤ２及びＤ３は、それぞれ雑音Ｎ５及びＮ７をさらに導入する。ビデオの中へ導入された雑音の比較的高いパーセンテージは、ガウス特性に近似するかガウス特性を有するので、雑音はガウス分布の性質を有すると仮定され、問題は次のように定式化され得る。
Ｉｎ＝Ｉ＋ｎ          式１
ここで、Ｉ  ＝  ［Ｉ１，Ｉ２．．．Ｉｋ，Ｉｋ＋１．．．Ｉｍ］Ｔは原ビデオ又は理想的ビデオであり、Ｉｋはｋ番目のフレームであり、ｎ  ＝  ［ｎ１，ｎ２．．．ｎｋ，ｎｋ＋１，．．．ｎｍ］Ｔは加法的ガウス雑音であり、Ｉｎ  ＝  ［Ｉ１ｎ，Ｉ２ｎ．．．Ｉｋｎ，Ｉｋ＋１ｎ．．．Ｉｍｎ］Ｔはビデオの雑音性観察画である。Ｉｋ、ｎｋ、Ｉｋｎは長さＮのベクトルを表し、ここで、Ｎは各フレーム内の画素の数である。この後で説明される様々な非限定的実施形態において、原ビデオ又は理想的ビデオについての推定値
【数１】
2010531624.tif 000003
は、雑音性ビデオＩｎの解析に基づいて提供される。
【００１５】
これまで説明されたコンセプトは、図２及び図３のブロック図で示される。例えば、図２はビデオ信号内で雑音を獲得する一般的過程を表し、原信号２００は雑音加法過程２２０によって多様な雑音源２１０からの雑音と結合し、雑音性信号２３０を生じる。図３で示されるように、この問題への解決法は雑音性信号２３０を受信し、雑音除去過程２５０を実行することによって最適化される。雑音除去過程２５０は、特に、雑音２４０がガウス分布であることの仮定に基づいて、雑音性信号２３０の中の雑音２４０を最適に推定する。上記の仮定は、極めて多様な現実世界の雑音加法シナリオをカバーする合理的仮定である。雑音除去過程２５０によって推定雑音２４０を除去した結果、原信号２６０の最適推定が計算され得る。雑音２４０の推定は、雑音除去過程２５０の一部分として、記憶されてもよいし、記憶されなくてもよい。例えば、雑音２４０は廃棄することができる。雑音除去過程２５０の幾つかの実施形態は、この後で一層詳細に説明される。
【００１６】
例えば、幾つかの実施形態は図４の流れ図に従って動作することができる。デバイス又はシステムは全体的過程から利益を受けることができる。即ち、デバイス又はシステムが、更なる処理又は低減された記憶装置により、原信号に対して一層忠実なビデオ信号から利益を受けることができる場合はいつでもそうである。４００において、デバイスは雑音性信号を受信する。４１０では、雑音がガウス特性を有するという仮定に基づいて、雑音が推定され、ステップ４２０では、４１０で決定された雑音の推定値に基づいて、雑音除去過程が原信号をさらに推定する。
【００１７】
この点に関して、ビデオ雑音除去を実行するため、最大事後（ＭＡＰ）推定技法が使用される。この技法は、これから図５の流れ図に関連させて一層詳細に説明される。５００では、雑音性ビデオデータが受信される。ビデオデータ内の雑音は、ガウス分布特性を満足する傾向があることの仮定に基づいて、５１０でＭＡＰ推定値がビデオ先天的モデルによって決定される。ビットレートを先天的モデルの測定値として使用することによって、これまで特定された問題は、５２０でレート歪み最適化問題として再定式化することができる。レートを目的関数として設定し、歪み量を制約として設定することによって、問題は制約最小化問題としてさらに再定式化され得る。１つの態様において、制約最小化問題は５３０で凸最適化問題を解くことによって最適に克服される。このようにして、雑音性ビデオに関連づけられたレート歪みの最適化によりＭＡＰベースのビデオ雑音除去解決法が達成される。原信号の推定値は、続いて５４０で決定される。
【００１８】
雑音除去処理の様々な実施形態及び更なる基礎コンセプトは、この後で一層詳細に説明される。
【００１９】
ＭＡＰベースのビデオ雑音除去
ベイズの原理(Bayesian principle)に従って、２つの項、即ち、雑音条件付き密度モデルと先天的条件付き密度モデルにより、ＭＡＰ推定値を決定するＭＡＰベースのビデオ雑音除去技法が提供される。言及されたように、雑音はガウス分布を満足すること、及び先天的モデルはビットレートによって測定されることの、上述の仮定に基づき、ＭＡＰ推定値はレート歪み最適化問題として表され得る。
【００２０】
レート歪み最適化問題に対する適切なラグランジュパラメータを見出すため、レート歪み問題は、レートを目的関数として設定し、歪みを制約として設定することによって、制約最小化問題へ変換される。このようにして、ラグランジュパラメータは、歪み制約によって決定され得る。歪み制約を固定すると、最適ラグランジュパラメータが得られる。代わって、最適ラグランジュパラメータは最適雑音除去結果を導く。
【００２１】
この後で説明される更なる非限定的実施形態では、ＭＡＰベースのビデオ雑音除去技法に関する追加の詳細が提供され、例示的実現からの幾つかの結果が記述される。これらの結果は、様々な実施形態の効果及び効率を実証する。
【００２２】
実施形態によれば、雑音性ビデオの入力はフレームごとに雑音を除去されるので、フレームＩｋｎを雑音除去するとき、先行フレーム
【数２】
2010531624.tif 000004
の推定された原バージョンは既に再構築されている。これらのバージョンは、先行フレームのＭＡＰ推定値である。例示的実現では、現在のフレームを雑音除去する時に１つの先行参照フレームが使用されるが、任意の数の先行参照フレームへ技法を拡張し得ることが分かる。所与の
【数３】
2010531624.tif 000005
（参照フレーム）及びＩｋｎ（現在の雑音性フレーム）に対し、現在フレームＩｋの最大事後（ＭＡＰ）推定値は、次のように記述される。
【数４】
2010531624.tif 000006
【００２３】
ベイズの規則を使用することによって、式２は次のように表され得る。
【数５】
2010531624.tif 000007
【００２４】
Ｉｋに関係しない全ての関数を無視すると、式３の推定値は次のように書くことができる。
【数６】
2010531624.tif 000008
【００２５】
Ｉｋｎ  ＝  Ｉｋ  ＋  ｎｋであるから、
【数７】
2010531624.tif 000009
はＰｒ（Ｉｋｎ｜Ｉｋ）に等しい。従って、式４の推定値は次のようにさらに単純化され得る。
【数８】
2010531624.tif 000010
【００２６】
上記の式５の「負の対数」関数を取ると、次の結果を生じる。
【数９】
2010531624.tif 000011
【００２７】
式６によれば、ＭＡＰ推定値
【数１０】
2010531624.tif 000012
は、雑音条件付き密度Ｐｒ（Ｉｋｎ｜Ｉｋ）及び先天的条件付き密度
【数１１】
2010531624.tif 000013
に基づいている。
【００２８】
雑音条件付き密度モデル
所与の原フレームＩｋに対し、雑音条件付き密度Ｐｒ（Ｉｋｎ｜Ｉｋ）は上記の式１の雑音分布によって決定される。一般的に、雑音はガウス分布を満足するか、ガウス分布に相似である。ガウス分布に対する密度は、次のように平均μｎ及び分散σｎ２を有するものと定義される。
【数１２】
2010531624.tif 000014
【００２９】
式１及び式７によれば、式６の最初の項である条件付き密度の負の対数−ｌｏｇ［Ｐｒ（Ｉｋｎ｜Ｉｋ）］は、次のように表され得る。
【数１３】
2010531624.tif 000015
【００３０】
先天的条件付き密度モデル
ビデオ雑音除去を用いて現在フレームの雑音を除去するとき、現在フレームは先行フレームの「破損した」バージョンと見ることができる。即ち、
【数１４】
2010531624.tif 000016
ここで、Ａは動き推定行列として見ることができ、ｒは動き補償後の剰余である。
【００３１】
ｒは次の密度関数を満足すると仮定すれば、
【数１５】
2010531624.tif 000017
【００３２】
従って、式６の２番目の項（先天的条件付き密度）は、次のように書くことができる。
【数１６】
2010531624.tif 000018
【００３３】
レート歪み最適化への関係
式８及び式１１を結合し、μｎ  ＝  ０と仮定し、定数項を無視すると（最小化はＩｋの上で行われ、定数項はＩｋから独立であるから、定数項の無視は、関心事の最適化及び雑音除去過程に影響しない）、式６は次式に帰着する。
【数１７】
2010531624.tif 000019
【００３４】
式１２の最初の項（Ｉｋｎ  -  Ｉｋ）２は、雑音性データと原データの推定値との間の歪みＤｋと見ることができる。２番目の項
【数１８】
2010531624.tif 000020
を剰余
【数１９】
2010531624.tif 000021
のビットレートＲｋと定義することによって、方程式１２は次のように書き直すことができる。
【数２０】
2010531624.tif 000022
【００３５】
ここで、エネルギー関数Φ（）は、動き補償剰余のビットレートＲによって測定される。これは合理的である。というのは、自然のビデオの場合、剰余のビットレートＲは通常全く小さいからである。しかしながら、雑音性ビデオの場合、ビットレートは大きくなるかもしれない。従って、剰余の小さいビットレートを有する再構築フレームを見出すことは、雑音を低減することに等しい。
【００３６】
実施形態によれば、式１３から、最小化は正則化パラメータαに基づいて２つの目的関数Ｄｋ及びＲｋの上で行われることが観察される。所与のαに対し、式１３の最適解が決定され得る。しかしながら、式１３の形式で適切な解を決定することは困難である。従って、１つの実施形態において、式１３は次のように制約最小化問題として解かれる。
【数２１】
2010531624.tif 000023
ここでＤｋ０は閾値であり、雑音の分散及び量子化パラメータによって決定される。Ｄｋ０を固定することによって、方程式１３のために最適ラグランジュパラメータαが見出され得る。この点に関して、ＭＡＰ推定値
【数２２】
2010531624.tif 000024
は雑音性データＩｋｎの圧縮バージョンである。従って、システムは同時にビデオ信号を圧縮して雑音を除去するように動作する。
【００３７】
式１４の出力を決定するため、一般的に、ビットレートＲは次のように歪みＤの関数であると仮定される。
【数２３】
2010531624.tif 000025
【００３８】
式１５のＲ（Ｄ）関数はＤに関して凸であるから、式１４の最適化問題は凸であり、最適解は次のＫａｒｕｓｈ−Ｋｕｈｎ−Ｔｕｃｋｅｒ（ＫＫＴ）条件を解くことによって達成することができる。
【数２４】
2010531624.tif 000026
次の結果が得られる。
【数２５】
2010531624.tif 000027
【００３９】
方程式１３によれば、αはレート歪み最適化問題のラグランジュパラメータである。従って、例えば、普通に使用されるビデオ圧縮標準であるＨ．２６４符号化標準のラグランジュパラメータは、次のようになるべきである。
【数２６】
2010531624.tif 000028
【００４０】
本明細書の様々な実施形態で説明されるビデオ雑音除去アルゴリズムは、さらに例示的で非限定的なＨ．２６４の実現に基づいて評価された。ビデオ雑音をシミュレートするため、クリーンなビデオ系列は、ガウス雑音を加算することによって最初に手作業で歪ませられた。次いで、雑音性ビデオは、これまで説明された技法を使用することによって雑音除去された。それぞれ図６から図９まで、及び図１０から図１３までに示されるように、技法の有効性は２つの別個のビデオ系列で可視的に観察され得る。図６、図７、図８、及び図９は同じフレームであり、それぞれ原キャプチャ６００、原キャプチャの意図的雑音バージョン６１０、Ｈ．２６４解凍後の原キャプチャの再構築６２０、及び本明細書の様々な実施形態で説明される雑音除去を適用した後の雑音バージョンの再構築６３０を示す。同様に、異なる原キャプチャについて、図１０、１１、１２、及び１３は、それぞれ原キャプチャ１０００、原キャプチャの意図的雑音バージョン１０１０、Ｈ．２６４解凍後の原キャプチャの再構築１０２０、及び本明細書で説明される雑音除去を適用した後の雑音バージョンの再構築１０３０を示す。
【００４１】
多様に選択された異なる雑音分散について動作の性能は良好であることが観察された。１つの非限定的実現では、パラメータＤｋ０及びβがそれぞれ
【数２７】
2010531624.tif 000029
及びβ＝０．３９２へ設定された。ピーク信号対雑音比（ＰＳＮＲ）は、原ビデオ系列との比較によって計算可能であり、３つのＰＳＮＲ測定値の性能を比較することによって、図６から図９及び図１０から図１３の表示を数量化するために使用することができる。前記３つのＰＳＮＲ測定値とは、雑音性ビデオ６１０及び１０１０のＰＳＮＲ、原（クリーン）ビデオ６２０及び１０２０についてＨ．２６４符号器を使用して再構築されたビデオのＰＳＮＲ、及び雑音性ビデオについて本明細書で説明される実施形態を使用して再構築されたビデオ６３０及び１０３０のＰＳＮＲである。Ｈ．２６４符号器を用いてビデオが再構築される後者の２つの方法では、雑音分散に従って量子化パラメータ（ＱＰ）が変更された。
【００４２】
従って、図６から図１３までは２つの別個のビデオ系列のＰＳＮＲ性能を示す。これらのビデオ系列は、１つの例として、ガウス雑音Ｎ（０，１００）によって歪ませられている。本明細書で説明される様々な実施形態は、ＰＳＮＲに関して雑音性ビデオよりも著しく性能が勝る。これは雑音が大きく低減されることを意味する。ＰＳＮＲ性能は、このようにしてＨ．２６４を使用する原ビデオの符号化バージョンよりもさらに良好であることが観察される。この理由は、ＱＰが３５に設定されるとき、例えば、原ビデオの多数の高周波内容が量子化され、その量子化は再構築されたビデオを過剰に平滑化するが、本明細書で説明される実施形態を用いるが故に、雑音が過剰に量子化された高周波に部分的にペナルティーを科すことができるため、ビデオの過剰な平滑化が回避される。再構築されたビデオの可視品質も吟味される。図９及び図１３のそれぞれのフレーム６３０及び１０３０の可視検査も、フレーム６２０及び１０２０の原ビデオ圧縮バージョンと比較したとき、本明細書で説明される実施形態が雑音を大きく低減し、同等かそれ以上の良好な可視品質を備えて原ビデオを復元できることを示している。
【００４３】
下記の表Ｉでは、雑音分散４９、１００、及び１６９について、テスト系列の平均ＰＳＮＲ性能比較が示される。１つの非限定的実現において、ＰＳＮＲ性能は雑音性ビデオよりも約４〜１０ｄＢ（例えば、３．８２３〜１０．１８６ｄＢ）だけ高いことが観察された。これは顕著な改善である。
【００４４】
【表１】
2010531624.tif 000030
【００４５】
図１４は、雑音除去を実行する他の例示的流れ図を示す。１４００では、実質的にガウス雑音によって破損した原画像を含む雑音性ビデオの現在フレーム及び雑音性ビデオの先行フレームについての原画像推定値が受信される。１４１０では、ガウス雑音データの分散が決定され、１４２０では、Ｈ．２６４符号器の量子化パラメータ（ＱＰ）が設定される。１４３０では、ガウス雑音の分散、ＱＰ、及び先行フレームの推定値に基づいて現在フレームのＭＡＰベース雑音除去が実行され、レート歪み最適化によって（例えば、可変ラグランジュパラメータを最適に設定して）現在フレームに対する原画像を推定する。最後に１４４０では、雑音性ビデオによって表された画像系列を雑音除去するため、後続フレームのために手順を反復することができる。
【００４６】
図１５は、原ビデオ信号の最適再構築を決定するために適用される例示的ＭＡＰベース技法を示す追加の流れ図である。１５００では、原ビデオ及び雑音、例えば、ガウス分布を特徴とする雑音を含む雑音性ビデオの現在フレームが受信、検索、又はアクセスされる。１５１０では、雑音性ビデオの先行フレームに対する原ビデオ推定値が受信、検索、又はアクセスされる。そのようなアクセスは、メモリ、例えば、非限定的にＲＡＭ、フラッシュ、ビデオバッファなどから行われ、又はストリーム、例えば、カメラからのライブストリームの一部分として提供される。この点に関して、本明細書の技法は、ビデオ信号が系列内のフレームとして表される場合、いつでも適用可能である。
【００４７】
１５２０では、雑音分散及び現在フレームの符号化に関連づけられた量子化レベルが決定される。量子化レベルの決定は、Ｈ．２６４符号化標準の量子化パラメータの決定を含むことができる。１５３０では、雑音分散及び現在フレームの符号化に関連づけられた量子化レベルに基づいて雑音除去が実行される。雑音除去は、先行フレームに基づく最大事後（ＭＡＰ）ベース雑音除去、現在フレームの圧縮、及び／又は雑音レート歪みの最適化を含むことができる。１５４０では、雑音除去に基づいて現在フレームの原ビデオが推定される。例えば、推定は、雑音の統計分布から決定された雑音条件付き密度に基づくことができ、及び／又は先行フレームに基づいて決定された先天的条件付き密度モデルに基づくことができる。１５５０では、雑音性ビデオの各々の後続フレームについてステップ１５００〜１５４０が繰り返して実行され、ビデオの指定された系列を雑音除去する。
【００４８】
図１６は、原ビデオ信号の最適再構築を決定するために適用される例示的ＭＡＰベース技法を示すブロック図である。図示されるように、デバイス１６００は、記憶装置、例えば、ＲＡＭ１６００、及びビデオデータを処理する１つ又は複数のプロセッサ又はマイクロプロセッサ１６０５を含み、ビデオデータは、システムによって受信されるか（例えば、ライブストリーム、又はストリーミングビデオ）、ローカル又はリモートのデータ記憶装置１６３０の中に記憶されて検索される。様々な実施形態において、雑音除去コンポーネントは雑音性ビデオを入力として取る（例えば、ライブで受信されるか記憶される）。１つの態様において、雑音除去コンポーネントは雑音分散推定値１６１２を決定する。次いで、推定値１６１２に基づき、最初のフレームの後の各々の現在フレームについて、雑音除去コンポーネントは先行フレーム推定値１６１４及び現在の雑音性フレーム１６１６を取り、現在フレーム１６１８の推定値を決定する。
【００４９】
図１６は、コンピューティングシステムによって受信された雑音性ビデオデータを雑音除去するビデオ雑音除去システムを示す。コンピューティングシステムは、雑音性ビデオデータのフレームを記憶するデータ記憶装置を含み、各フレームは原画像データ及びガウス分布によって特徴づけられる雑音画像データを含む。システムは雑音除去コンポーネントをさらに含む。雑音除去コンポーネントは、雑音性ビデオデータのフレームについて雑音画像データの分散を決定し、雑音性ビデオデータの１つ又は複数の先行フレームに対する原ビデオデータの推定値及び分散に基づいて、上記で説明したように、現在フレームの最大事後（ＭＡＰ）ベース雑音除去を実行する。このようにして、雑音除去コンポーネントは、雑音画像データを有しない現在フレームの原画像データ推定値を最適に決定する。
【００５０】
１つの実施形態において、１つ又は複数の先行フレームに対する原ビデオデータの推定値は、雑音除去コンポーネントによって決定された少なくとも１つのＭＡＰベース推定値である。雑音除去コンポーネントは、雑音除去コンポーネントによって実行されたＭＡＰベース雑音除去の出力をＨ．２６４フォーマットに従って符号化するＨ．２６４符号器を含むことができる。１つの実施形態において、雑音除去コンポーネントは、現在のフレームの符号化に関連づけられた量子化レベルをさらに決定する。
【００５１】
他の実施形態において、雑音除去コンポーネントは、可変ラグランジュパラメータを最適に設定することによって、現在フレームの原画像データの推定値を最適に決定する。この点に関して、雑音除去コンポーネントは、雑音画像データと推定値との間の歪み及び動き補償後の剰余に関連づけられたビットレートに基づいて、レート歪み関数に関連づけられた可変ラグランジュパラメータを最適に設定する。結果として、雑音除去コンポーネントは、原データの推定値のピーク信号対雑音比（ＰＳＮＲ）において、雑音画像データを含む現在フレームのＰＳＮＲよりも実質的に約４〜１０デシベルの範囲の増加を達成する。
【００５２】
図１７は、原ビデオ信号の最適再構築を決定するために適用される例示的ＭＡＰベース技法を示す追加の流れ図である。１７００では、画像系列の現在の原画像及びガウス雑音を含む雑音性画像が、システムによって受信される。１７１０では、系列内で現在の原画像に先立つ先行画像の推定原画像がアクセスされ、ガウス雑音の推定分散が受信されるか決定される。１７２０では、先行画像の推定原画像及び推定分散に基づき雑音性画像のレート歪み特性の可変ラグランジュパラメータを最適化することによって、現在の原画像が雑音除去される。選択的に、１７３０において、雑音除去は、雑音性画像の歪み特性及び動き補償後の剰余に関連づけられたビットレートを前提とする推定原画像の決定を含むことができる。他の選択肢として、１７４０では、雑音性ビデオを符号化するために採用されたビデオ符号化標準に関連づけられた量子化レベルに基づいて、雑音除去を実行することができる。
【００５３】
例示的コンピュータネットワーク及び環境
本明細書で説明される協力的連接符号化(cooperative concatenated coding)の様々な実施形態が、コンピュータ又は他のクライアント又はサーバデバイスと連係して実現され得ることを当業者は理解する。これらのコンピュータ又は他のクライアント又はサーバデバイスは、コンピュータネットワークの一部分として配置されるか分散コンピューティング環境の中で配置され、任意の種類のデータ記憶装置へ接続され得る。この点に関して、本明細書で説明される様々な実施形態は、任意の数のメモリ又は記憶ユニットを有する任意のコンピュータシステム又は環境で実現され、任意の数のアプリケーション及びプロセスが、任意の数の記憶ユニットを横断して生起する。この環境は、非限定的に、リモート又はローカル記憶装置を有するネットワーク環境又は分散コンピューティング環境の中に配置されたサーバコンピュータ及びクライアントコンピュータを有する環境を含む。
【００５４】
分散コンピューティングは、コンピューティングデバイス及びシステム間の通信交換によって、コンピュータリソース及びサービスの共有を提供する。これらのリソース及びサービスは、例えば、ファイルのような、オブジェクトについての、情報、キャッシュ記憶及びディスク記憶の交換を含む。これらのリソース及びサービスは、負荷の平衡、リソースの拡張、処理の専門化などのために複数の処理ユニットを横断する処理能力の共有をさらに含む。分散コンピューティングは、ネットワーク接続性を利用し、クライアントが集合能力をテコ入れして企業全体から利益を得ることを可能にする。この点に関して、多様なデバイスが、この開示の様々な実施形態について説明されたような協力的連接符号化の１つ又は複数の態様を実現するアプリケーション、オブジェクト、又はリソースを有する。
【００５５】
図１８は、例示的ネットワーク又は分散コンピューティング環境の概略図を提供する。分散コンピューティング環境は、コンピューティングオブジェクト１８１０、１８１２など、及びコンピューティングオブジェクト又はデバイス１８２０、１８２２、１８２４、１８２６、１８２８などを備える。これらはアプリケーション１８３０、１８３２、１８３４、１８３６、１８３８によって表されるようなプログラム、メソッド、データ記憶装置、プログラム可能論理などを含む。オブジェクト１８１０、１８１２など、及びコンピューティングオブジェクト又はデバイス１８２０、１８２２、１８２４、１８２６、１８２８などは、異なるデバイス、例えば、ＰＤＡ、オーディオ／ビデオデバイス、移動電話、ＭＰ３プレーヤ、パーソナルコンピュータ、ラップトップなどを備えてもよいことを理解することができる。
【００５６】
各々のオブジェクト１８１０、１８１２など、及びコンピューティングオブジェクト又はデバイス１８２０、１８２２、１８２４、１８２６、１８２８などは、通信ネットワーク１８４０を介して、１つ又は複数の他のオブジェクト１８１０、１８１２など、及びコンピューティングオブジェクト又はデバイス１８２０、１８２２、１８２４、１８２６、１８２８などと、直接又は間接に通信することができる。図１８では単一の要素として示されているが、ネットワーク１８４０は、図１８のシステムへサービスを提供する他のコンピューティングオブジェクト及びコンピューティングデバイスを備えてもよく、及び／又は、複数の相互接続ネットワーク（図示しない）を表してもよい。各々のオブジェクト１８１０、１８１２など、又は１８２０、１８２２、１８２４、１８２６、１８２８などは、アプリケーション、例えば、アプリケーション１８３０、１８３２、１８３４、１８３６、１８３８をさらに含有することができる。これらのアプリケーションは、この開示の様々な実施形態に従って提供される協力的連接符号化アーキテクチャと通信するか実現するのに適したＡＰＩ、又は他のオブジェクト、ソフトウェア、ファームウェア、及び／又はハードウェアを利用してもよい。
【００５７】
分散コンピューティング環境をサポートする多様なシステム、コンポーネント、及びネットワーク構成が存在する。例えば、コンピューティングシステムは、有線又は無線システム、ローカルネットワーク又は広域分散ネットワークによって相互に接続され得る。現在、多くのネットワークがインターネットへ結合されている。インターネットは、広域分散ネットワークのためにインフラストラクチャを提供し、多くの異なるネットワークを包含する。もっとも、様々な実施形態で説明される協力的連接符号化に付随して行われる例示的通信のために、任意のネットワークインフラストラクチャが使用され得る。
【００５８】
このようにして、多数のネットワークトポロジ及びネットワークインフラストラクチャ、例えば、クライアント／サーバ、ピアツーピア、又はハイブリッドアーキテクチャが利用され得る。「クライアント」とは、このクライアントが関係を有しない別のクラス又はグループのサービスを使用するクラス又はグループの構成員である。クライアントは、別のプログラム又はプロセスによって提供されるサービスを要求するプロセス、即ち、おおまかに言えば、命令又はタスクの集合であり得る。クライアントプロセスは、他のプログラム又はサービス自体に関する作業詳細を「知る」必要なしに、要求されたサービスを利用する。
【００５９】
クライアント／サーバアーキテクチャ、特にネットワークされたシステムにおいて、クライアントとは、通常、別のコンピュータ、例えば、サーバによって提供される共有ネットワークリソースにアクセスするコンピュータである。図１８では、非限定的な例として、コンピュータ１８２０、１８２２、１８２４、１８２６、１８２８などはクライアントであると考えられ、コンピュータ１８１０、１８１２などはサーバであると考えられる。ここで、サーバ１８１０、１８１２などはデータサービス、例えば、クライアントコンピュータ１８２０、１８２２、１８２４、１８２６、１８２８などからのデータの受信、データの記憶、データの処理、クライアントコンピュータ１８２０、１８２２、１８２４、１８２６、１８２８などへのデータの送信を提供する。もっとも、状況により、どのようなコンピュータもクライアント、サーバ、又はこれらの双方であると考えられる。
【００６０】
サーバとは、典型的には、リモート又はローカルネットワーク、例えば、インターネット又は無線ネットワークインフラストラクチャを介してアクセス可能なリモート・コンピュータシステムである。クライアントプロセスは第１のコンピュータシステムの中で活動し、サーバプロセスは第２のコンピュータシステムの中で活動し、通信メディアを介して相互に通信して分散機能性を提供し、複数のクライアントがサーバの情報収集能力を利用することを可能にする。協力的連接符号化を実行する技法に従って利用されるどのようなソフトウェアオブジェクトも、単独で提供されるか、複数のコンピューティングデバイス又はオブジェクトを横断して分散され得る。
【００６１】
例えば、通信ネットワーク／バス１８４０がインターネットであるネットワーク環境において、サーバ１８１０、１８１２などはウェブサーバとすることができ、クライアント１８２０、１８２２、１８２４、１８２６、１８２８などは多数の既知のプロトコル、例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ）を介してウェブサーバと通信する。分散コンピューティング環境によって特徴づけられるように、サーバ１８１０、１８１２などもクライアント１８２０、１８２２、１８２４、１８２６、１８２８などとしての機能を果たすこともできる。
【００６２】
例示的コンピューティングデバイス
言及されたように、有利には、本明細書で説明される技法は、協力的ユーザの集合からデータ送信が望まれる場合に、任意のデバイスへ適用され得る。従って、理解すべきことは、全ての種類のハンドヘルド、持ち運び可能、及びその他のコンピューティングデバイス及びコンピューティングオブジェクトが、様々な実施形態と連係して使用を想定されることである。即ち、デバイスがデータの送信（又は受信）を望む場合は常にそうである。従って、この後の図１９で説明される汎用リモートコンピュータは、コンピューティングデバイスの１つの例にすぎない。さらに、本明細書で説明される協力的連接符号化を実現する実施形態は、いずれも下記の汎用コンピュータの１つ又は複数の態様を含むことができる。
【００６３】
必須ではないが、実施形態は、デバイス又はオブジェクトに対するサービスの開発者によって使用されるオペレーティングシステムによって部分的に実現することができ、及び／又は、本明細書で説明される様々な実施形態の１つ又は複数の機能的態様を実行するように動作するアプリケーションソフトウェアの中に含められることができる。ソフトウェアとは、１つ又は複数のコンピュータ、例えば、クライアントワークステーション、サーバ、又は他のデバイスによって実行されるコンピュータ実行可能命令、例えば、プログラムモジュールの一般的意味で記述される。コンピュータシステムはデータ通信に使用される多様な構成及びプロトコルを有し、従って特定の構成又はプロトコルを限定として考えてはならないことを、当業者は理解する。
【００６４】
図１９は、適切なコンピューティングシステム環境１９００の例を示す。環境１９００では、本明細書で説明される実施形態の１つ又は複数の態様を実現することができる。もっとも、上記で明らかにされたように、コンピューティングシステム環境１９００は適切なコンピューティング環境の１つの例にすぎず、使用又は機能性の範囲に関して限定を暗示することを意図しない。さらに、例示的動作環境１９００の中で示されるコンポーネントの１つ又は組み合わせの通りに、コンピューティング環境１９００が依存関係又は必要条件とされると解釈されるべきではない。
【００６５】
図１９を参照すると、１つ又は複数の実施形態を実現する例示的リモートデバイスは、コンピュータ１９１０の形態をした汎用コンピューティングデバイスを含む。コンピュータ１９１０のコンポーネントは、非限定的に、処理ユニット１９２０、システムメモリ１９３０、及びシステムバス１９２２を含む。システムバス１９２２は、システムメモリを含む様々なシステムコンポーネントを処理ユニット１９２０へ結合する。
【００６６】
コンピュータ１９１０は、典型的には、多様なコンピュータ読み取り可能メディアを含む。これらのメディアは、コンピュータ１９１０によってアクセスされる任意の利用可能メディアである。システムメモリ１９３０は、揮発性及び／又は不揮発性メモリ、例えば、読み出し専用メモリ（ＲＯＭ）及び／又はランダムアクセス・メモリ（ＲＡＭ）の形態をしたコンピュータ記憶メディアを含む。限定ではなく例として、メモリ１９３０はオペレーティングシステム、アプリケーションプログラム、他のプログラムモジュール、及びプログラムデータを含むことができる。
【００６７】
ユーザは、入力デバイス１９４０を介してコマンド及び情報をコンピュータ１９１０の中へ入れることができる。モニタ又は他の型のディスプレイデバイスも、インタフェース、例えば、出力インタフェース１９５０を介してシステムバス１９２２へ接続される。モニタに加えて、コンピュータは他の周辺出力デバイス、例えば、スピーカ及びプリンタをさらに含むことができる。スピーカ及びプリンタは出力インタフェース１９５０を介して接続される。
【００６８】
コンピュータ１９１０は、１つ又は複数のリモートコンピュータ、例えば、リモートコンピュータ１９７０への論理接続を使用して、ネットワーク又は分散環境で動作する。リモートコンピュータ１９７０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、又は他の共通ネットワークノード、又は他のリモートメディア消費又は送信デバイスであり、コンピュータ１９１０に関して上記で説明された要素のいずれか又は全部を含む。図１９で示される論理接続は、ネットワーク１９７２、例えば、ローカルエリア・ネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含むが、他のネットワーク／バスを含んでもよい。そのようなネットワーク環境は、家庭、オフィス、企業規模のコンピュータネットワーク、イントラネット、及びインターネットで珍しくない。
【００６９】
「例示的」の語は、本明細書では、例、事例、又は例証として役立つことを意味するように使用される。疑念を回避するため、本明細書で開示される主題は、そのような例によって限定されない。加えて、本明細書で「例示的」として説明される態様又は設計は、必ずしも他の態様又は設計よりも好ましいか有利であると解釈されるべきでなく、当業者に知られた同等の例示的構造及び技法を排除することを意味しない。さらに、「含む」、「有する」、「含有する」、及び他の類似の語が詳細な説明又は特許請求の範囲の中で使用されるが、疑念を回避するため、そのような用語は、追加又は他の要素を排除しない開放転換語(open transition word)としての用語「備える(comprise)」に類似したやり方で、包含的であることを意図される。
【００７０】
本明細書で説明される様々な実現及び実施形態は、全部がハードウェア、一部がハードウェアであって一部がソフトウェア、並びに全部がソフトウェアである態様を有する。本明細書で使用される場合、「コンポーネント」、「システム」などの用語は、同様にハードウェアであるか、ハードウェアとソフトウェアとの組み合わせであるか、ソフトウェアであるか、又は実行中のソフトウェアであるコンピュータ関連エンティティを意味することを意図している。例えば、コンポーネントは、非限定的に、プロセッサ上で実行しているプロセス、プロセッサ、オブジェクト、実行形式ファイル、実行スレッド、プログラム、及び／又はコンピュータである。例として、コンピュータ上で実行しているアプリケーション及びコンピュータの双方はコンポーネントであり得る。１つ又は複数のコンポーネントはプロセス及び／又は実行スレッドの中に存在し、コンポーネントは１つのコンピュータの上に局地化され、及び／又は、２つ以上のコンピュータ間に分散される。
【００７１】
このようにして、本明細書で説明される実施形態の方法及び装置、又はこれらのある一定の態様又は部分は、プログラムコード（即ち、命令）の形態を取ることができる。プログラムコードは、有形メディア、例えば、フロッピー（登録商標）ディスケット、ＣＤ―ＲＯＭ、ハードドライブ、又は他の機械読み取り可能記憶メディアの中で具体化される。ここで、プログラムコードが機械、例えば、コンピュータの中へロードされて実行されるとき、機械は技法を実施する装置となる。プログラム可能コンピュータ上でプログラムコードが実行される場合、コンピューティングデバイスは、一般的にプロセッサ、プロセッサによって読み取り可能な記憶メディア（揮発性及び不揮発性メモリ及び／又は記憶素子を含む）、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスを含む。
【００７２】
さらに、開示された主題はシステム、方法、装置、又は製造品として実現され、標準プログラミング及び／又はエンジニアリング技法を使用してソフトウェア、ファームウェア、ハードウェア、又はこれらの組み合わせを形成し、コンピュータ又はプロセッサベースのデバイスを制御して本明細書で詳説される態様を実現する。「製造品」、「コンピュータ・プログラムプロダクト」の用語、又はこれらに類似する用語は、本明細書で使用される場合、任意のコンピュータ読み取り可能デバイス、搬送波、又はメディアからアクセス可能なコンピュータプログラムを包含することを意図される。例えば、コンピュータ読み取り可能メディアは、非限定的に、磁気記憶デバイス（例えば、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップなど）、光ディスク（例えば、コンパクトディスク（ＣＤ）、ディジタル多機能ディスク（ＤＶＤ）など）、スマートカード、及びフラッシュ・メモリデバイス（例えば、カード、スティック）を含むことができる。さらに、コンピュータ読み取り可能電子データ、例えば、電子メールの送信及び受信で使用されるデータ、又はネットワーク、例えば、インターネット又はローカルエリア・ネットワーク（ＬＡＮ）にアクセスするとき使用されるデータを搬送するため、搬送波を採用できることが知られている。
【００７３】
上述したシステムは、幾つかのコンポーネント間の相互作用に関して説明されてきた。理解されることとして、そのようなシステム及びコンポーネントは、それらのコンポーネント又は指定されたサブコンポーネント、指定されたコンポーネント又はサブコンボーネントのあるもの、及び／又は追加のコンポーネントを、上記の様々な順列及び組み合わせに従って含むことができる。サブコンポーネントは、さらに、親コンポーネントの中に含まれるのではなく、例えば、階層配列に従って他のコンポーネントへ通信可能に結合されるコンポーネントとして実現することができる。さらに、注意すべきこととして、１つ又は複数のコンポーネントが単一コンポーネントとして結合され、集合機能性を提供するか、幾つかの別々のサブコンポーネントへ分割されて、１つ又は複数の中間層、例えば、管理層が提供される。これはそのようなサブコンポーネントへ通信可能に結合して、統合機能性を提供するためである。本明細書で説明されるコンポーネントは、さらに、本明細書で具体的に説明されなくても当業者には一般的に知られている１つ又は複数の他のコンポーネントと交信してもよい。
【００７４】
上記で説明された例示的システムを考慮すると、開示された主題に従って実現される方法論は、様々なフローチャートを参照することによって一層良好に理解される。説明を簡単にするため、方法論は一連のブロックとして図示及び説明されたが、権利を請求される主題はブロック順序によって限定されないことを理解すべきである。というのは、幾つかのブロックは、本明細書で図示及び説明される順序とは異なる順序で生起し、及び／又は他のブロックと同時に生起するからである。順次でないか分岐した流れがフローチャートによって表示される場合、様々な他の分岐、流れの経路、及びブロックの順序が実現されて同一又は類似の結果を達成することが理解される。さらに、この後で説明される方法論を実現するためには、図示されたブロックの全てが必要であるわけではない。
【００７５】
さらに理解されるように、開示された上記のシステム及び下記の方法は、人工知能又は知識又は規則ベースのコンポーネント、サブコンポーネント、プロセス、手段、方法論、又はメカニズム（例えば、サポートベクタマシン、ニューラルネットワーク、エキスパートシステム、ベイズ信頼ネットワーク、ファジー論理、データ融合エンジン、分類器など）を含むか、それらによって構成される。そのようなコンポーネントは、とりわけ、ある一定のメカニズム又はこれらのメカニズムによって実行されるプロセスを自動化し、システム及び方法の一部分を一層適応形にすると共に効率的及び知的にすることができる。
【００７６】
実施形態は、様々な図面に関連して説明されたが、他の類似の実施形態が使用されてもよく、又は説明された実施形態へ修正及び追加を施して、説明された実施形態から逸脱することなく同一機能を実行してもよいことを理解されたい。
【００７７】
例示的実施形態は、特定のプログラミング言語構造、仕様、又は標準を背景として提示されるが、実施形態はそのように限定されるのではなく、任意の言語で実装され、最適化アルゴリズム及びプロセスを実行してもよい。さらに、実施形態は複数の処理チップ又はデバイスの中で実現されるか、それらを横断して実現されることが可能であり、同様に複数のデバイスを横断して記憶されてもよい。従って、本発明は単一の実施形態に限定されるべきではなく、添付された特許請求の範囲に従った幅及び範囲で解釈されるべきである。
【図１】
2010531624.tif 000031
【図２】
2010531624.tif 000032
【図３】
2010531624.tif 000033
【図４】
2010531624.tif 000034
【図５】
2010531624.tif 000035
【図１４】
2010531624.tif 000036
【図１５】
2010531624.tif 000037
【図１６】
2010531624.tif 000038
【図１７】
2010531624.tif 000039
【図１８】
2010531624.tif 000040
【図１９】
2010531624.tif 000041
【図６−９】
2010531624.tif 000042
【図１０−１３】
2010531624.tif 000043
【手続補正書】
【提出日】平成20年10月4日(2008.10.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
雑音性ビデオデータを雑音除去する方法であって、
原ビデオデータ及び雑音データを含む雑音性ビデオデータの現在フレームを受信するステップと、
雑音性ビデオデータの先行フレームに対する原ビデオデータの推定値を受信するステップと、
雑音データの分散及び現在フレームの符号化に関連づけられた量子化レベルを決定するステップと、
少なくとも雑音データの分散、量子化レベル、及び雑音性ビデオデータの先行フレームに対する原ビデオデータの推定値に基づいて現在フレームを雑音除去するステップと、
雑音除去に基づいて現在フレームに対する原ビデオデータを推定するステップと
を備える方法。
【請求項２】
雑音性ビデオデータの各々の後続フレームについて、受信、決定、雑音除去、及び推定の前記各ステップを繰り返して実行することをさらに備える、請求項１に記載の方法。
【請求項３】
前記量子化レベルを決定するステップは、Ｈ．２６４ビデオ符号化標準に従って実行する符号器の量子化パラメータを決定することを含む、請求項１に記載の方法。
【請求項４】
前記推定するステップは、前記雑音データの統計分布に基づいて決定された雑音条件付き密度に基づいて推定することを含む、請求項１に記載の方法。
【請求項５】
前記推定するステップは、前記先行フレームに基づいて決定された先天的条件付き密度モデルに基づいて推定することを含む、請求項１に記載の方法。
【請求項６】
前記雑音除去するステップは、前記先行フレームに基づいて最大事後（ＭＡＰ）ベースの雑音除去を行うことを含む、請求項１に記載の方法。
【請求項７】
前記雑音除去するステップは、前記現在フレームを圧縮することを含む、請求項１に記載の方法。
【請求項８】
前記雑音除去するステップは、前記雑音データのレート歪み特性を最適化することを含む、請求項１に記載の方法。
【請求項９】
前記受信するステップは、原ビデオデータ及びガウス分布を特徴とする雑音データを含む雑音性ビデオデータの現在フレームを受信することを含む、請求項１に記載の方法。
【請求項１０】
コンピューティングシステムによって受信された雑音性ビデオデータを雑音除去するビデオ雑音除去システムであって、
雑音性ビデオデータの複数のフレームを記憶する少なくとも１つのデータ記憶装置であって、各フレームは原画像データ及びガウス分布によって特徴づけられる雑音画像データを含む、データ記憶装置と、
雑音性ビデオデータの前記複数のフレームについて雑音画像データの分散を決定し、雑音性ビデオデータの少なくとも１つの先行フレームに対する原ビデオデータの少なくとも１つの推定値及び分散に基づいて現在フレームの最大事後（ＭＡＰ）ベースの雑音除去を実行する雑音除去コンポーネントであって、前記雑音除去コンポーネントは前記雑音画像データを有しない前記現在フレームの原画像データの推定値を最適に決定する、雑音除去コンポーネントと、
を備えるビデオ雑音除去システム。
【請求項１１】
前記少なくとも１つの先行フレームに対する原ビデオデータの前記少なくとも１つの推定値は、前記雑音除去コンポーネントによって決定された少なくとも１つのＭＡＰベースの推定値である、請求項１０に記載のビデオ雑音除去システム。
【請求項１２】
前記雑音除去コンポーネントによって実行された前記ＭＡＰベースの雑音除去の出力をＨ．２６４フォーマットに従って符号化するＨ．２６４符号器
をさらに備える、請求項１０に記載のビデオ雑音除去システム。
【請求項１３】
前記雑音除去コンポーネントは、前記現在フレームの符号化に関連づけられた量子化レベルをさらに決定する、請求項１０に記載のビデオ雑音除去システム。
【請求項１４】
前記雑音除去コンポーネントは、可変ラグランジュパラメータを最適に設定することによって前記現在フレームの前記原画像データの前記推定値を最適に決定する、請求項１０に記載のビデオ雑音除去システム。
【請求項１５】
前記雑音除去コンポーネントは、前記雑音画像データと前記推定値との間の歪み及び動き補償後の剰余に関連づけられたビットレートに基づいてレート歪み関数に関連づけられた可変ラグランジュパラメータを最適に設定する、請求項１４に記載のビデオ雑音除去システム。
【請求項１６】
前記雑音除去コンポーネントは、前記原データの前記推定値のピーク信号対雑音比（ＰＳＮＲ）において、前記雑音画像データを含む前記現在フレームのＰＳＮＲよりも実質的に約４〜１０デシベルの範囲の増加を達成する、請求項１４に記載のビデオ雑音除去システム。
【請求項１７】
原画像の系列及び前記原画像内に埋め込まれた雑音データの対応する系列を含む雑音性ビデオデータを処理する方法であって、
原画像及びガウス雑音を含む雑音性画像を受信するステップと、
前記系列内の前記現在画像に先立つ先行画像の推定原画像及びガウス雑音の分散に基づき、前記雑音性画像のレート歪み特性に関連づけられた可変ラグランジュパラメータの最適化を含めて前記現在フレームを雑音除去するステップと
を備える方法。
【請求項１８】
前記雑音除去するステップは、前記雑音性画像の歪み特性を前提とする前記推定原画像を決定するステップを含む、請求項１７に記載の方法。
【請求項１９】
前記雑音除去するステップは、動き補償後の剰余に関連づけられたビットレートを前提とする前記推定原画像を決定するステップを含む、請求項１７に記載の方法。
【請求項２０】
前記雑音除去するステップは、前記雑音性ビデオデータを符号化するために採用されたビデオ符号化標準に関連づけられた量子化レベルに基づいて雑音除去するステップをさらに含む、請求項１７に記載の方法。
【国際調査報告】
2010531624.tif 000044