(57)【要約】      （修正有）【課題】エンコーダが計算的に制限された環境でも可能な符号化及び復号化方法を提供する。【解決手段】デコーダは、符号化値の空間のマップを記憶するメモリを含む。マップは、空間を分割する複数のセルを含み、各セルは符号化値のクラスターを包囲し、クラスターを量子化された符号化値に量子化する。各セルはラベルによって識別され、複数のセルは同じラベルによって識別され、セルは、同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされる。デコーダは、マップ上の符号化値を包囲するセルのラベルを受信する受信機と、サイド情報を用いて符号化値を推定し、符号化値の推定値を生成し、マップ上でラベルによって識別される、符号化値の推定値に最も近いセルを選択し、符号化値を、選択されたセルの量子化された符号化値として決定する、プロセッサとを備える。【選択図】図７
2018033131.tif 000002
【特許請求の範囲】
【請求項１】
符号化値の空間のマップを記憶するメモリであって、前記マップは、前記空間を分割する複数のセルを含み、これにより、前記各セルは符号化値のクラスターを包囲し、該符号化値のクラスターを量子化された符号化値に量子化し、前記各セルは有限アルファベットから選択されたラベルによって識別され、これにより、前記マップ内の前記複数のセルは同じラベルによって識別され、前記セルは、前記同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされる、メモリと、
エンコーダから、多次元空間の前記マップ上の符号化値を包囲するセルのラベルを受信する受信機と、
サイド情報を用いて前記符号化値を推定し、前記符号化値の推定値を生成し、前記空間の前記マップ上で前記受信したラベルによって識別される、前記符号化値の前記推定値に最も近いセルを選択し、前記符号化値を、前記選択されたセルの前記量子化された符号化値として決定する、プロセッサと、
を備える、デコーダ。
【請求項２】
前記空間は多次元空間である、請求項１に記載のデコーダ。
【請求項３】
前記セルは、規則的格子に沿って配列される、請求項１に記載のデコーダ。
【請求項４】
前記空間は２次元空間であり、前記マップ内の前記各セルは六角形形状を有する、請求項１に記載のデコーダ。
【請求項５】
前記空間は３次元空間であり、前記セルは規則的な３次元格子に沿って配列される、請求項１に記載のデコーダ。
【請求項６】
前記サイド情報は、信号の統計的類似度尺度を含む、請求項１に記載のデコーダ。
【請求項７】
前記サイド情報は、１つ以上の欠落した上位ビットを決定することによって生成される誤りに対する訂正を含む、請求項１に記載のデコーダ。
【請求項８】
前記訂正は、エンコーダにおいて決定される、請求項７に記載のデコーダ。
【請求項９】
信号はマルチスペクトルイメージである、請求項１に記載のデコーダ。
【請求項１０】
信号は、レーダーシステムによって取得される、請求項１に記載のデコーダ。
【請求項１１】
前記レーダーシステムは、合成開口レーダー(ＳＡＲ)システムである、請求項１０に記載のデコーダ。
【請求項１２】
前記符号化値は、測定行列を用いて信号を測定することによって生成される、請求項１に記載のデコーダ。
【請求項１３】
前記信号の測定値にディザーを加えて前記符号化値を生成する、請求項１２に記載のデコーダ。
【請求項１４】
前記決定された符号化値を用いて前記信号を再構成する、請求項１２に記載のデコーダ。
【請求項１５】
前記再構成は、凸最適化及び貪欲アルゴリズムのうちの１つ又は組み合わせを用いて実行される、請求項１４に記載のデコーダ。
【請求項１６】
符号化値を復号化する方法であって、
送信された符号化値を推定して、推定値を生成することであって、前記推定はサイド情報を用いることと、
符号化値の多次元空間のマップ上で前記推定値を位置特定することであって、前記マップは、前記多次元空間を分割する複数のセルを含み、これにより、前記各セルは、符号化値のクラスターを包囲し、該符号化値のクラスターを量子化された符号化値に量子化し、前記各セルは、有限アルファベットから選択されたラベルによって識別され、これにより、前記マップ内の前記複数のセルは同じラベルによって識別され、前記セルは、前記同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされることと、
通信チャネルを介して送信されたセルのラベルを受信することと、
前記マップ上で、前記送信されたラベルを有するセルの中から、前記推定値に最も近いセルを選択することと、
前記セルの量子化値を、復号化値として選択することと、
を含み、前記方法の各ステップは、デコーダのプロセッサによって実行される、方法。
【請求項１７】
前記多次元空間は２次元空間であり、前記マップ内の前記各セルは六角形形状である、請求項１６に記載の方法。
【請求項１８】
前記多次元空間は３次元空間であり、前記セルは規則的な３次元格子に沿って配列される、請求項１６に記載の方法。
【請求項１９】
前記復号化値を用いて信号を再構成し、再構成信号のスパース性を促進することであって、前記スパース性は前記サイド情報に基づいて重み付けされること、
を更に含む、請求項１６に記載の方法。
【請求項２０】
符号化値を決定するプロセッサと、
符号化値の多次元空間のマップを記憶するメモリであって、前記マップは、前記多次元空間を分割する複数のセルを含み、これにより、前記各セルは符号化値のクラスターを包囲し、該符号化値のクラスターを量子化された符号化値に量子化し、前記各セルは有限アルファベットから選択されたラベルによって識別され、これにより、前記マップ内の複数のセルは同じラベルによって識別され、前記セルは、前記同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされる、メモリと、
デコーダに、前記多次元空間の前記マップ上に前記符号化値を包囲する前記セルのラベルを送信する送信機と、
を備える、エンコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、包括的には信号処理に関し、より詳細には、非圧縮信号のコーディングに関し、コーディングは符号化及び復号化の少なくとも一方を含む。
【背景技術】
【０００２】
不可逆圧縮は、信号処理及び信号伝送において広く用いられている。いくつか例を挙げると、カメライメージ、マルチスペクトルイメージ、ハイパースペクトルイメージ及び合成開口レーダー(ＳＡＲ)データの圧縮等の不可逆信号圧縮のいくつかの応用形態が存在する。そのような応用形態では、目標は、エンコーダを用いて信号を符号化し、僅かな数のビットを用いて信号を表し、それによって信号をより低いビットレートで送信できるようにすることであるが、これと引き換えに信号の幾分の歪みが生じ、すなわち、圧縮中に情報の幾分の損失があり、圧縮が不可逆となる。
【０００３】
図１Ａは、従来のコーディング方法及びシステムのブロック図である。システムは、エンコーダ１１０及びデコーダ１２０を備える。エンコーダは、入力として、非圧縮信号１０１をとり、圧縮信号１１１を生成する。圧縮信号をデコーダに送信するために無損失伝送１１５が用いられる。これによって、非圧縮信号の推定値である解凍信号１２１が得られる。
【０００４】
エンコーダ、すなわち、圧縮を実行するシステム又は方法の目標は、所与のビットレートについて可能な限り少ない歪みで信号を表すビットストリーム、すなわちビットシーケンスを生成することである。代替的に、エンコーダは、応用形態によって許容することができる歪みを所与として可能な限り少ないビットでビットストリームを生成する場合がある。
【０００５】
デコーダ、すなわち、信号を解凍するシステム又は方法は、デコーダによって生成されるビットシーケンスを用いて、所与のビットレートについて可能な限り少ない歪みで元の信号を復元する。
【０００６】
最も一般的に用いられる符号化方法は、２つの技法、すなわち、予測及びそれに続く変換を用いる。予測は、信号の他の部分又は他の信号からの情報を用いて、符号化される信号の一部、例えば、イメージのブロックを予測することを試みる。したがって、エンコーダは、ビットストリーム内に予測パラメーター、すなわち、予測がどのように実行されたか、例えば、信号のいずれの部分が用いられ、いずれの予測方法が用いられたかを含め、それによって、デコーダも同じ予測ステップを行うことができるようにする。
【０００７】
予測は通常不完全であるため、予測残差が存在し、この予測残差も符号化される。残差の符号化が容易であることが期待されるため、予測パラメーターを送信するのに用いられるレート及び残差をコーディングするのに用いられるレートは、予測なしで信号を単に符号化するよりも低い。
【０００８】
残差を符号化するために、エンコーダはまず、信号を、符号化がより単純な異なる領域にマッピングする変換を用いる。変換の目標は、信号の構造を明らかにし(expose)、符号化が僅かな数のビットしか必要としないようにすることである。例えば、イメージ及びビデオ圧縮は、離散コサイン変換(ＤＣＴ)を用いて残余を変換する場合がある。なぜなら、残余のＤＣＴ係数及び残余自体が同じ情報を表すにもかかわらず、残余自体よりも残余のＤＣＴ係数を符号化する方が容易であるためである。その理由は、ＤＣＴが、符号化される僅かな数の有意係数の情報を集中させるためである。
【０００９】
これらの２つの技法は通常、例えば、レートと歪みとのトレードオフが信号全体にわたって最適にトレードされるように信号の各部分についてビットストリームのいくつのビットを用いるかを選択することによってエンコーダの性能を精緻化する他の技法と組み合わされる。
【００１０】
不都合なことに、これらの符号化技法は、非常に複雑なエンコーダを生成し、通常、非常に単純なデコーダを必要とする。これは、イメージ及びビデオ符号化等の多くの用途において受容可能である。これらの用途では、エンコーダは大きなリソースが利用可能であるが、再生デバイスにおけるデコーダは限られたリソースを有する。しかしながら、エンコーダが計算的に制限されなくてはならない応用形態では、これは問題となる。
【００１１】
例えば、人工衛星イメージ又はレーダー信号圧縮に利用可能な計算リソースは、空間移動条件に耐えることができるプロセッサ及び電力に対する制約に起因して、非常に限られている。同様に、ハイパースペクトル又はマルチスペクトルイメージ圧縮等の応用形態では、予測及び変換のために用いられる必要があるデータ量は、最新技術のポータブルデバイスにとって非常に大きなメモリストレージを必要とする。モバイルデバイス、例えば、携帯電話及び他のハンドヘルドデバイスにおける最新のビデオ圧縮であっても、メインプロセッサに対する負荷を最小限にし、電力消費を低減するために、別個のプロセッサを用いる。そのような応用形態の多くについて、デコーダに利用可能な計算リソース及び電力は本質的に無制限である。例えば、衛星データのデコーダは、復号化のために利用可能な大きなストレージ及びいくつかの処理ノードを有する大型のデータセンターの一部である場合がある。このため、デコーダがより複雑になることと引き換えにエンコーダの複雑度を低減することは理にかなっている。
【００１２】
代替的な手法は、当該技術分野において、サイド情報を用いた圧縮としても知られる分散圧縮である。この種の方法は、エンコーダにおいて予測ステップを実行しない。エンコーダが信号を予測し、残差を符号化するのではなく、エンコーダは、デコーダが、デコーダにおいて利用可能なサイド情報から信号に関する何らかの予測を実行することが可能であると仮定する。予測はサイド情報に基づくため、不完全である可能性があり、したがって、復号化によって重大な歪みが生じる可能性がある。このため、エンコーダの役割は、デコーダにおいて、復号化信号の歪みを低減するために予測と共に用いることができるビットストリームを送信することである。
【００１３】
実際には、サイド情報を用いた全ての実際的なコーディング方法は、ビットストリームを訂正することを試みる。特に、デコーダにおける予測方法は、後に更に復号されるとき、解凍信号を生成することができる予測ビットストリームを予測することを試みる。エンコーダは、予測ビットストリーム内の誤りを訂正して誤りのないビットストリームを生成することができる送信ビットストリームを生成することを試みる。誤りのないビットストリームは、その後、再構成のために用いられる。
【００１４】
送信ビットストリームを符号化するために、エンコーダは依然として変換ステップを実行するが、次に、誤り訂正符号(ＥＣＣ)を用いて情報を符号化する。ビットストリームは予測を通じてデコーダにおいて利用可能であるため、シンドロームとして知られる、ＥＣＣによって生成される僅かな量の誤り訂正情報を送信することのみが必要である。予測ステップはデコーダにおいて実行されるので、エンコーダの複雑度は大幅に低減される。他方で、デコーダの複雑度は大幅に増大し、デコーダがエンコーダよりも強力なシステムとなることができるとき、サイド情報を用いた圧縮が適用可能になる。
【００１５】
図１Ｂは、シンドローム及びサイド情報を用いたコーディングの方法及びシステムを示す。システムは、入力として非圧縮信号２０１をとり、圧縮信号２１１又はシンドロームを生成するエンコーダ２１０を備える。圧縮信号２１１又はシンドロームはデコーダ２２０に無損失伝送され(１１５)、デコーダ２２０は解凍信号２２１を生成する。
【００１６】
サイド情報を用いた圧縮は、エンコーダにおける負荷を低減するが、符号化ステップに加えて変換ステップをなおも必要とし、これは場合によっては計算的に複雑となる可能性がある。
【００１７】
さらに、全ての実際の圧縮方法は、誤り訂正を用い、ビットストリームを別個に復号化するため、これらの方法は、ビットストリームを正確に訂正することができることを確実にする。これらの方法が、十分な誤り訂正情報を送信することに失敗する場合、復号化は失敗し、元の信号に関係していない信号を復元する可能性がある。多くの場合、誤り訂正における失敗は、ビットストリームを復号化することができなかったことの結果である可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【００１８】
この理由により、ほとんどの実際的な方法は、必要よりも多くの数のシンドロームビットを送信して、訂正が機能することを保証し、これにより帯域幅を浪費する。さらに、余分なビットは、圧縮方法の歪み特性を改善しない。代替的に、フィードバックベースのレート制御システムが、圧縮システムの上位で実施される可能性があり、このレート制御システムは復号化を試み、成功しない場合、より多くのシンドロームビットを必要とする。これには、リアルタイムの復号化及びエンコーダとデコーダとの間の２方向通信の双方が必要であり、これは多くの応用形態において可能でない。
【課題を解決するための手段】
【００１９】
１つの実施の形態は、符号化値の空間のマップを記憶するメモリであって、前記マップは、前記空間を分割する複数のセルを含み、これにより、前記各セルは符号化値のクラスターを包囲し、該符号化値のクラスターを量子化された符号化値に量子化し、前記各セルは有限アルファベットから選択されたラベルによって識別され、これにより、前記マップ内の前記複数のセルは同じラベルによって識別され、前記セルは、前記同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされる、メモリと、エンコーダから、多次元空間の前記マップ上の符号化値を包囲するセルのラベルを受信する受信機と、サイド情報を用いて前記符号化値を推定し、前記符号化値の推定値を生成し、前記空間の前記マップ上で前記受信したラベルによって識別される、前記符号化値の前記推定値に最も近いセルを選択し、前記符号化値を、前記選択されたセルの前記量子化された符号化値として決定する、プロセッサと、を備える、デコーダを開示する。
【００２０】
別の実施の形態は、送信された符号化値を推定して、推定値を生成することであって、前記推定はサイド情報を用いることと、符号化値の多次元空間のマップ上で前記推定値を位置特定することであって、前記マップは、前記多次元空間を分割する複数のセルを含み、これにより、前記各セルは、符号化値のクラスターを包囲し、該符号化値のクラスターを量子化された符号化値に量子化し、前記各セルは、有限アルファベットから選択されたラベルによって識別され、これにより、前記マップ内の前記複数のセルは同じラベルによって識別され、前記セルは、前記同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされることと、通信チャネルを介して送信されたセルのラベルを受信することと、前記マップ上で、前記送信されたラベルを有するセルの中から、前記位置特定された推定値に最も近いセルを選択することと、前記第２のセルの量子化値を、前記信号の復号化値として選択することと、を含む、方法を開示する。該方法の前記ステップは、デコーダのプロセッサによって実行される。
【００２１】
別の実施の形態は、符号化値を決定するプロセッサと、符号化値の多次元空間のマップを記憶するメモリであって、前記マップは、前記多次元空間を分割する複数のセルを含み、これにより、前記各セルは符号化値のクラスターを包囲し、該符号化値のクラスターを量子化された符号化値に量子化し、前記各セルは有限アルファベットから選択されたラベルによって識別され、これにより、前記マップ内の複数のセルは同じラベルによって識別され、前記セルは、前記同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされる、メモリと、デコーダに、前記多次元空間の前記マップ上に前記符号化値を包囲する前記セルのラベルを送信する送信機と、を備える、エンコーダを開示する。
【図面の簡単な説明】
【００２２】
【図１Ａ】従来の圧縮方法及びシステムの概略ブロック図(high level block diagram：ハイレベルブロック図)である。
【図１Ｂ】サイド情報を用いた従来の圧縮方法及びシステムの概略ブロック図である。
【図１Ｃ】この発明の実施の形態による圧縮方法及びシステムの概略ブロック図である。
【図２Ａ】この発明の実施の形態による符号化行列を用いたユニバーサルエンコーダの動作の概略図である。
【図２Ｂ】この発明の実施の形態によるスカラー量子化の概略図である。
【図２Ｃ】この発明の実施の形態によるスカラー量子化の概略図である。
【図２Ｄ】この発明の実施の形態によるユニバーサルエンコーダの動作の代替的な解釈の概略図である。
【図３Ａ】この発明の実施の形態によるデコーダにおける予測からの欠落情報の復元の概略図である。
【図３Ｂ】この発明の実施の形態によるデコーダにおける予測からの欠落情報の復元の概略図である。
【図４】この発明の実施の形態を用いた圧縮合成開口レーダー(ＳＡＲ)データの流れ図である。
【図５】この発明の実施の形態を用いたマルチスペクトル又はハイパースペクトルイメージの圧縮の流れ図である。
【図６】いくつかの実施の形態による、エンコーダ及びデコーダによって用いられる符号化値の空間のマップの概略図である。
【図７】いくつかの実施の形態の原理による、デコーダと通信して符号化及び／又は復号化を実施するエンコーダのブロック図である。
【図８Ａ】いくつかの実施の形態による、値を符号化するための方法のブロック図である。
【図８Ｂ】いくつかの実施の形態による、符号化値を復号化するための方法のブロック図である。
【図９】１つの実施の形態による、データ圧縮を実行するための符号化方法及び復号化方法のブロック図である。
【発明を実施するための形態】
【００２３】
サイド情報を用いた圧縮のための非単調量子化
圧縮方法及びシステム
図１Ｃは、この発明のいくつかの実施の形態による圧縮のための方法及びシステムを示す。システムは、非圧縮信号３０１を入力としてとり、量子化測定値３２１を生成するエンコーダ３１０を備え、量子化測定値３２１はデコーダ３２０に無損失伝送することができる(３１５)。デコーダは、サイド情報ｙ３１９を用いて量子化測定値を復号し、解凍信号３２１ａを生成する。
【００２４】
概観
エンコーダ
ユニバーサルエンコーダの役割は、信号ｘ３０１を、圧縮信号３２１であるビットストリームに符号化することである。エンコーダは、デコーダが、サイド情報ｙ３１９を用いて、
【００２５】
【数１】
2018033131.tif 000003
【００２６】
で表されるｘの予測を形成することができると仮定する。これは幾らかの歪みを含む可能性がある。
【００２７】
圧縮されていないｘを符号化するために、エンコーダ３１０は、ｘの線形測定値を取得し、この線形測定値にディザーｗ３６０が付加され、次に、非単調量子化を用いて量子化され、量子化データｑ３２１、すなわち圧縮信号が生成される。以下で説明するように、非単調量子化は、デコーダ３２０によって復元することができる量子化測定値から余分な情報、例えば、１つ以上の最上位ビットを除去することとみなすことができる。
【００２８】
デコーダ
デコーダは、サイド情報３１９を用いて、ｘの推定値である
【００２９】
【数２】
2018033131.tif 000004
【００３０】
を形成する。次に、デコーダは、
【００３１】
【数３】
2018033131.tif 000005
【００３２】
の線形測定値を取得し、ディザーｗを付加する。この結果は、非単調量子化器により量子化され、これによって、ｘの符号化であるｑから欠落している情報の予測が生成される。欠落情報がｑに加えられ、１組の量子化測定値
【００３３】
【数４】
2018033131.tif 000006
【００３４】
が生成される。これらの測定値は、ｘの予測
【００３５】
【数５】
2018033131.tif 000007
【００３６】
、及びｘに関する任意の他の事前知識と共に用いられ、
【００３７】
【数６】
2018033131.tif 000008
【００３８】
が再構成される。
【００３９】
【数７】
2018033131.tif 000009
【００４０】
は、
【００４１】
【数８】
2018033131.tif 000010
【００４２】
よりも大幅に歪みが少ないｘの推定値である。
【００４３】
符号化
図２Ａは、符号化を概略的に示す。非圧縮信号ｘ３０１は、実次元又は複素次元とすることができるＮ個の次元を有する。１つの実施の形態は、次元Ｍ×Ｎを有する符号化行列Ａ３５０を用いて、信号ｘのＭ個の線形測定値Ａｘを取得する。行列Ａは、実行列又は複素行列とすることができる。好ましい実施の形態では、実信号は、実行列を用いて測定され、複素数値信号は、複素数値行列を用いて測定される。しかしながら、いくつかの実施の形態では、実信号は、複素数値行列を用いて測定することができ、逆も同様である。
【００４４】
行列は、複数の方法で生成することができる。好ましい実施の形態では、行列はランダムに生成される。例えば、行列Ａにおけるエントリは、独立同一分布の一様分布、ラーデマッヘル分布、ガウス分布又はサブガウス分布から取り出されたランダム変数の実現とすることができる。代替的に、行列Ａの行は、Ｎ次元の単位球から一様にサンプリングすることができる。
【００４５】
別の実施の形態では、行列Ａは、離散フーリエ変換(ＤＦＴ)行列、又はアダマール変換行列、又は離散サイン若しくはコサイン変換(ＤＣＴ又はＤＳＴ)行列、又は列が並べ替えされ、行のうちのいくつかが除去された上記の行列のうちの任意のものとすることができる。別の実施の形態では、行列は、低密度パリティチェックコード(ＬＤＰＣ)行列又はエクスパンダグラフ行列とすることができる。構造化された行列(ＤＦＴ、ＤＣＴ、ＤＳＴ、アダマール)又はスパース行列(ＬＤＰＣ、エクスパンダグラフ)を用いる利点は、これらの行列がより少ないメモリ及び処理を必要とし、このためエンコーダの複雑度を低減することである。
【００４６】
その後、Ａｘ＋ｗとして線形測定値にディザーｗ３６０が付加され、量子化パラメーターΔを有する非単調Ｂビットスカラー量子化器を用いて結果が量子化される。好ましい実施の形態では、ディザーは、サポートΔ又は２ＢΔを有する一様分布からランダムに生成される。これはスカラー量子化器であり入力はベクトルであるため、量子化器機能は、ベクトル要素の各々に要素単位で適用されることに留意されたい。
【００４７】
図２Ｂ及び図２Ｃは、Ｂ＝１及びＢ＝２の場合についてそれぞれ、Ｂビットのスカラー量子化器を示す。特に、スカラー量子化関数は、周期２Ｂを有して周期的であり、２Ｂ個の別個の出力レベルを有する。これはＢ個のビットを用いて表すことができる。入力空間が、長さΔの間隔に分割され、各間隔は２Ｂ個の出力レベルのうちの１つにマッピングされる。複数の間隔が同じレベルにマッピングされる。
【００４８】
図２Ｄに示すように、非単調量子化器Ｑ(・)は、量子化間隔Δを有する一様スカラー量子化器Ｑ’(・)とみなすこともでき、その後に、異なる量子化レベルを１にマッピングする演算が続く。一様スカラー量子化器Ｑ’(・)は、最上位ビット(ＭＳＢ)のうちの１つ以上が破棄された(２５０)マルチビット表現ｑ’２４０を生成する。このため、同じ最下位ビット(ＬＳＢ)が保持された(２５１)全ての量子化レベルは同じ出力を有する。エンコーダの出力は、ｑ３２１であり、これはデコーダ３２０によって入力信号ｘ３０１を推定するのに用いられる。
【００４９】
復号化
デコーダ３２０は、信号ｘの幾らかの歪みを有する推定
【００５０】
【数９】
2018033131.tif 000011
【００５１】
を可能にするサイド情報ｙ３１９へのアクセスを有する。
【００５２】
【数１０】
2018033131.tif 000012
【００５３】
の推定値のための予測子は関数ｆ(・)であり、予測は、この関数を適用することによって求められる。
【００５４】
【数１１】
2018033131.tif 000013
【００５５】
複数の方法を用いて信号を予測することができ、複数の方式を用いてデコーダにおいてサイド情報を取得することができる。それらのうちのいくつかが以下に説明される。
【００５６】
デコーダは、エンコーダと同じようにして、予測信号を測定し、ディザーｗを付加する。
【００５７】
【数１２】
2018033131.tif 000014
【００５８】
量子化間隔Δを有する一様スカラー量子化器Ｑ’(・)を用いて量子化される場合、予測量子化値は、
【００５９】
【数１３】
2018033131.tif 000015
【００６０】
となる。しかしながら、予測測定値
【００６１】
【数１４】
2018033131.tif 000016
【００６２】
は、符号化ｑと組み合わされると、復号化された量子化測定値
【００６３】
【数１５】
2018033131.tif 000017
【００６４】
を生成することができるより多くの情報を含み、この復号化された量子化測定値に基づいて、信号を解凍することができる。この情報を抽出するために、デコーダは、一様量子化器Ｑ’(・)によって用いられる可能な出力レベルの組からレベルを選択する。特に、各係数
【００６５】
【数１６】
2018033131.tif 000018
【００６６】
は、対応する符号化ｑｉと一致する全てのレベルから選択される。全てのこれらのレベルから、予測係数
【００６７】
【数１７】
2018033131.tif 000019
【００６８】
に最も近いレベルが選択される。
【００６９】
この選択は、図３Ａ〜図３Ｂに示す例によって実証される。符号化レベルｑｉ＝１を所与として、複数の可能な一致領域が存在し、それらのうちの２つが図３Ａに示される。図３Ｂに示す対応する一様量子化器は、符号化ｑｉ＝１に一致する２つの異なる量子化レベルを有し、これは、図において円で表される、
【００７０】
【数１８】
2018033131.tif 000020
【００７１】
及び
【００７２】
【数１９】
2018033131.tif 000021
【００７３】
に対応する。サイド情報からの予測
【００７４】
【数２０】
2018033131.tif 000022
【００７５】
は、レベル−２．５に最も近いため、これは、復号化された量子化測定
【００７６】
【数２１】
2018033131.tif 000023
【００７７】
として選択されるのに対し、図に×印を有する円によって示すように、レベル１．５は破棄される。非単調量子化器及び一様量子化器のレベルは必ずしも一致しないことに留意されたい。
【００７８】
理想的には、復号化測定値
【００７９】
【数２２】
2018033131.tif 000024
【００８０】
は、スカラー量子化器を用いて圧縮された信号の対応する測定値と等しいはずであり、すなわち、測定値はＱ’(Ａｘ＋ｗ)に等しいはずである。しかしながら、実際には、何らかの復号化誤りが存在する可能性がある。いくつかの実施の形態では、これらの誤りは、以下に説明するように、後続の再構成が誤りを補償することができるため、無視することができる。
【００８１】
いくつかの実施の形態では、エンコーダは、デコーダにおけるこれらの誤りの訂正を可能にする他の情報を用いることができる。例えば、エンコーダがアクセスを有するか又は予測測定値を決定することができる場合、エンコーダは、誤りが生じる場合の係数を求めることができる。次に、エンコーダは、これらの誤りのロケーションを示す別個のビットストリームを送信することができ、それによって、デコーダはこれらの係数を破棄することができる。代替的に、エンコーダは、係数が破棄されないようにこれらの誤りに対する訂正を送信することができる。
【００８２】
復号化測定値
【００８３】
【数２３】
2018033131.tif 000025
【００８４】
を所与とすると、デコーダは、サイド情報、予測、及び一般モデル等のｘに関する任意の事前情報を用いて信号の推定値
【００８５】
【数２４】
2018033131.tif 000026
【００８６】
を再構成する。
【００８７】
再構成
デコーダの目標は、復号化測定値と一致し、ｘのモデルに関する事前知識に従う信号
【００８８】
【数２５】
2018033131.tif 000027
【００８９】
を推定することである。例えば、従来のモデルは、或る基準におけるスパース性又は低全変動ノルムを有する。
【００９０】
スパース性モデルの場合、推定値のための再構成は、
【００９１】
【数２６】
2018033131.tif 000028
【００９２】
等の最適化の形態をとる。ここで、０≦ｐ≦１であり、||・||ｐはｌｐノルムを表し、Ｂは、信号がスパースであると仮定される基準又は辞書を表し、
【００９３】
【数２７】
2018033131.tif 000029
【００９４】
は、基準Ｂにおける信号を含むスパースな係数を表す。
【００９５】
同様に、低全変動モデルの場合、再構成は以下の形態をとる。
【００９６】
【数２８】
2018033131.tif 000030
【００９７】
ここで、||・||ＴＶは、信号モデルのための適切な全変動ノルムを表す。
【００９８】
多くの場合、最適化は、ノルムのための重みを生成するサイド情報を用いることができる。
【００９９】
【数２９】
2018033131.tif 000031
【０１００】
ここで、||・||ｐ，ｖ及び||・||ＴＶ，ｖは、それぞれ、当該技術分野において既知の重み付きｌｐ及び全変動ノルムである。重みｖは、ｘのサイド情報又は予測から導出することができる。例えば、予測が基準Ｂにおいてスパースである場合、重みは、再構成された信号のスパース性パターンが、当該技術分野においてよく知られた方法を用いた基準のスパース性に類似するように設定することができる。
【０１０１】
サイド情報が類似信号である場合、例えば、復元された信号
【０１０２】
【数３０】
2018033131.tif 000032
【０１０３】
が予測
【０１０４】
【数３１】
2018033131.tif 000033
【０１０５】
に類似していることを要求することによって、この類似信号を上記の最適化における更なるソフト制約又はハード制約として用いることもできる。これは例えば、当該技術分野においてよく知られた方法を用いて、最適化のコスト関数における
【０１０６】
【数３２】
2018033131.tif 000034
【０１０７】
等の更なるペナルティ係数(ソフト制約)、又は
【０１０８】
【数３３】
2018033131.tif 000035
【０１０９】
等の制約(ハード制約)を用いて強制することができる。
【０１１０】
上記の最適化において、制約
【０１１１】
【数３４】
2018033131.tif 000036
【０１１２】
は凸であり、
【０１１３】
【数３５】
2018033131.tif 000037
【０１１４】
として表すことができるか、又は等価には、
【０１１５】
【数３６】
2018033131.tif 000038
【０１１６】
として表すことができる。代替的に、例えば、ｐ＞１について、
【０１１７】
【数３７】
2018033131.tif 000039
【０１１８】
又は
【０１１９】
【数３８】
2018033131.tif 000040
【０１２０】
にペナルティを課すことによって、これらを緩和し、ソフト制約として課すこともできる。
【０１２１】
用いられ得る他の最適化は、貪欲アルゴリズム又は凸最適化を含む。
【０１２２】
いくつかの実施の形態では、再構成された信号
【０１２３】
【数３９】
2018033131.tif 000041
【０１２４】
は、測定値の新たな改善された予測をもたらし、したがって新たな改善された、例えば誤りが少ない復号化測定値をもたらす、ｘの新たな改善された予測とみなすことができる。これにより、今度は、歪みがより少ない新たな再構成
【０１２５】
【数４０】
2018033131.tif 000042
【０１２６】
が得られる。このプロセスは、終了条件に到達するまで、例えば、改善が存在しないか、又は改善が所定の閾値未満となるまで繰り返すことができる。
【０１２７】
さらに、再構成された信号
【０１２８】
【数４１】
2018033131.tif 000043
【０１２９】
が利用可能になった後、これをサイド情報及び予測と併せて用いて、予測を更に改善することができる。例えば、辞書は、再構成された信号
【０１３０】
【数４２】
2018033131.tif 000044
【０１３１】
及び予測信号
【０１３２】
【数４３】
2018033131.tif 000045
【０１３３】
から学習することができ、当該技術分野においてよく知られた方法を用いて、サイド情報を所与として信号の新たな予測を生成するのに用いることができる。ここで、再び、上記と同様に用いて再構成を改善することができる改善された予測が提供される。このプロセスは、改善が存在しないか、又は改善が所定の閾値未満となるまで繰り返すことができる。
【０１３４】
サイド情報の生成
デコーダにおいて用いられるサイド情報は、複数のソース、更には、エンコーダ自体から、別個のビットストリームで到来することができる。例えば、サイド情報は、より高い歪み及びより低いレートを有する同じ信号の圧縮されたバージョン、又は圧縮される信号に非常に類似した異なる信号の圧縮されたバージョンとすることができる。サイド情報は、双方の信号の平均値、それらの分散及びそれらの相互相関等の、サイド情報における信号からの圧縮信号の予測を改善する量も含むことができる。この情報は、エンコーダにおいて決定し、信号のユニバーサル符号化と共に記憶又は送信することもできる。
【０１３５】
圧縮方法及びシステム
図４は、この発明の１つの実施の形態によるシステムの詳細を示す。エンコーダ３１０は、入力信号３０１の線形測定値Ａｘを取得し、ディザーｗをＡｘ＋ｗ４１０として追加する。非単調量子化４１２が、ユニバーサル測定値に適用される。ユニバーサル測定値は、デコーダ３２０に送信することができる。図４におけるこの実施の形態は、例えば、合成開口レーダー(ＳＡＲ)信号、又は他のレーダー若しくは光及びレーダー(ＬＩＤＡＲ)データを圧縮するのに用いることができる。そのようなデータは、多くの場合、イメージ形成又はイメージ再構成として知られる変換を通じてイメージを復元するのに用いられる。
【０１３６】
この特定の実施の形態では、エンコーダは、サイド情報４５０を生成するのに必要な情報を別個に符号化することもできる。これを行うために、エンコーダは、非一様サブサンプリング４５５及び粗い量子化４５６を行うことができる。サイド情報ｙ３１９も、イメージ形成４７０のためにデコーダに送信することができ、デコーダは、サイド情報３１９としての役割を果たす粗いイメージ予測を生成する。デコーダは、データ予測４４０をサイド情報に適用して、測定値Ａｘ＋ｗ４１０を予測することができる。
【０１３７】
測定値から、デコーダは、量子化４２０の最上位ビット(ＭＳＢ)を復元し、これによって、イメージ形成４３０を行うのに必要なデータを復元する。イメージ形成は、予測データ４４０も用いることができる。
【０１３８】
図５は、この発明の別の実施の形態によるシステムの詳細を示す。この実施の形態は、マルチスペクトルイメージ及びハイパースペクトルイメージ等の基準信号に類似した信号を圧縮するのに用いることができる。この実施の形態は、信号が、マルチスペクトル又はハイパースペクトルイメージ等のマルチバンドイメージであることを仮定して説明されているが、他の例は、数ある中でも、様々なカメラによって取得された同じシーンのビデオシーケンス又はイメージとすることができる。
【０１３９】
ここで、エンコーダは、イメージ予測５４０によって用いられる、以下で更に説明される基準帯域及びサイド情報５２０を生成する。
【０１４０】
アプリケーション及びプロトコル
合成開口レーダー(ＳＡＲ)は、多くの場合、人工衛星又は航空機に搭載され、通常、非常に高い分解能で大きなエリアをイメージングするのに用いられるレーダーシステムである。ＳＡＲシステムは、パルスを放出し、その反射を受信し記録することによって動作する。これらの記録は、ＳＡＲイメージを生成するために後に処理される未加工ＳＡＲデータである。イメージ形成として知られるこの処理は、人工衛星又は航空機では利用可能でない大きな計算能力及びメモリを必要とするため、地上局において、通常強力なコンピューターによって実行される。
【０１４１】
ＳＡＲ未加工データは、圧縮するのが特に難しい。なぜなら、一見すると、これらは構造を欠いているように見えるためである。しかしながら、ＳＡＲイメージは(イメージであるので)構造を有し、これを、原理的には圧縮のために用いることができる。従来の圧縮方法又はサイド情報を用いた圧縮方法は、イメージ形成が符号化段階において行われることを必要とする。これは、人工衛星におけるエンコーダの計算能力を超えている可能性がある。
【０１４２】
しかしながら、この発明の一実施の形態を用いて、イメージ形成を実行することなくデータを圧縮することができる。これは、デコーダ、通常は強力な地上局において、予測及び再構成ステップ中に実行される。後続の記述は、「送信する」という単語を用いて、符号化後のビットストリームの使用を表すことに留意されたい。これはなぜなら、通常の最新のアプリケーションにおいて、そのようなデータは地上局において、復号化及び処理のためにサーバーに直ちに送信されるためである。データは、後続の取出し及び処理のために、メモリ又は永続記憶装置、例えば、ディスク又はテープに記憶することもできる。
【０１４３】
エンコーダは、上記で説明したプロトコルを用いて、データを符号化及び送信する。ＳＡＲシステムによって受信されるデータは、既にイメージの測定値であり、エンコーダに対し実装される符号化行列は、恒等行列又はデータのサブセットを選択するサブサンプリング行列とすることができることに留意されたい。一方、有効な符号化行列Ａは、ＳＡＲイメージからＳＡＲデータへの線形システムを記述する行列を用いた、実装される行列の分解である。
【０１４４】
多くのＳＡＲシステムにおいて、デコーダは、別のソースからのサイド情報を有しない場合がある。このため、ＳＡＲシステムは、サイド情報の生成及び送信も行う。１つの実施の形態では、ＳＡＲデータは、線形システムを用いてサブサンプリング又は測定され、その後、従来の粗い、すなわち非常に少ないビットを用いる一様量子化器を用いて量子化される。これらの量子化測定値はサイド情報として送信される。
【０１４５】
デコーダは、スパース再構成、又は低い全変動を用いた再構成、又は以前のＳＡＲデータから学習した辞書を用いた再構成、及び最適化ベースの再構成方法を用いて、サイド情報から粗いイメージを再構成する。この粗いイメージは、一様に符号化信号のための予測としての役割を果たす。このため、イメージは、データの予測を生成し、上記で説明した復号化プロトコルを辿るために用いられる。
【０１４６】
ＳＡＲデータは、異なる偏光のデータ、又は異なる人工衛星によって収集されたデータを含むことができる。この発明は、このデータを圧縮するのに同様に用いることができる。いくつかの実施の形態では、１つの偏光若しくは１つの人工衛星からのデータ、又はこれらの線形測定値は、別の偏光又は別の人工衛星からのデータの復号化のためのサイド情報としての役割を果たすことができる。
【０１４７】
マルチスペクトルデータ及びハイパースペクトルデータ
マルチスペクトルデータ又はハイパースペクトルデータにおいて同様の問題が現れる。このデータは、同じターゲット、例えば、シーン、グランドスワス(ground swath)又は物体から得られた複数のイメージを含み、各イメージは、マルチスペクトルの場合比較的広い範囲であり、ハイパースペクトルの場合比較的狭い範囲である、特定のスペクトル帯範囲におけるターゲットの反射率のみを記録する。そのようなシステムは、多くの場合可搬であり、通常、大きな計算リソースへのアクセスを有しない人工衛星、航空機、自律飛行機、又は地上車両に搭載される。
【０１４８】
ＳＡＲ及び他のレーダーデータを有するマルチスペクトルデータ及びハイパースペクトルデータの主な違いは、マルチスペクトルイメージ及びハイパースペクトルイメージが通常直接取得され、イメージ形成ステップが、イメージを生成するのに必要ないことである。換言すれば、圧縮されるデータはイメージ自体である。
【０１４９】
また、従来の圧縮方法は、予測及び変換ステップが、エンコーダにおいて実行されることを必要とする。そのようなシステムが、計算が制約された応用形態において用いられるとき、イメージの予測及び変換は非常に複雑となる可能性がある。後続の論考において、「送信」という単語を用いて符号化後のビットストリームの使用を表すことに留意されたい。これはなぜなら、通常の最新の応用形態において、そのようなデータは復号化及び処理のためにサーバーに直ちに送信されるためである。しかしながら、データは、メモリ、又は後の取出し及び処理のためのハードドライブ若しくはテープである永続記憶装置に記憶される場合もある。
【０１５０】
ここでもまた、この発明の実施の形態は、そのようなイメージを効率的に圧縮するために用いることができる。ユニバーサルエンコーダプロトコルは、上記で説明したように動作する。効率性のために、測定行列Ａは、イメージの組全体に対して、イメージの小さなサブセットに対して、各スペクトル帯域に対して別個に、又は各イメージのブロックに対して、又はそれらの組み合わせに対して作用することができる。
【０１５１】
サイド情報は、エンコーダシステムによっても送信される。いくつかの実施の形態では、サイド情報は単一の基準帯域を含み、これは、人工衛星における全てのイメージの和、又はイメージの何らかの他の組み合わせを含む単一のイメージ又は全色性イメージとすることができる。この基準帯域は、この発明の実施の形態を用いて、又はジョイントフォトグラフィックエキスパートグループ(ＪＰＥＧ)(ＩＳＯ／ＩＥＣ１０９１８)若しくはＪＰＥＧ２０００等の別個の符号化システムを用いて符号化される。マルチスペクトルイメージ及びハイパースペクトルイメージは、帯域間で非常に類似しているため、基準帯域は符号化データの予測として用いることができる。
【０１５２】
一方、多くの場合、予測は線形予測方式を用いて改善することができる。ｙが基準であり、ｘが予測される場合、ｘの線形最小平均二乗誤差(ＭＭＳＥ)予測子は、
【０１５３】
【数４４】
2018033131.tif 000046
【０１５４】
であり、ここで、μｘ及びμｙはそれぞれｘ及びｙの平均であり、
【０１５５】
【数４５】
2018033131.tif 000047
【０１５６】
及び
【０１５７】
【数４６】
2018033131.tif 000048
【０１５８】
はそれらの分散であり、σｘｙはそれらの共分散である。当該技術分野において、この予測を複数の基準を用いる予測に拡張する方法は簡単であり、よく知られている。
【０１５９】
エンコーダは、基準帯域にアクセスを有するため、全てのスペクトル帯域について、関連する手段を、サイド情報、分散及び共分散として決定して送信することは簡単であり、それによって、受信機において予測を改善することができる。これがサイド情報として送信される場合、受信機は、サイド情報を用いて、基準帯域から各スペクトル帯域の予測を改善する。いくつかの実施の形態では、性能を更に改善するために、これらの量を、イメージの部分、例えばブロックにおいて決定、送信及び使用することができ、それによって、イメージのローカル統計が、予測によってより良好に利用される。
【０１６０】
さらに、上記で説明するように、この場合のエンコーダは、サイド情報を用いて信号の単純な予測を決定する機能を有し、このため、復号化誤りが発生するときを検出することが可能である。このため、エンコーダは、別個のサイド情報として位置を送信することができ、これらの誤りの大きさとすることができ、これによって、デコーダにおいてこれらの誤りを訂正することができる。
【０１６１】
当然ながら、より多くのサイド情報が決定及び送信されると、サイド情報によって消費されるレートが高くなる。サイド情報のために用いられるレートが増大すると、予測を改善することができ、これにより、ユニバーサル符号化の必要とされるレートが減少する。一方、リターンの漸減が存在し、すなわち利得が減少する。このため、サイド情報のために必要とされる量及びレートは、ユニバーサル符号化のために必要とされるレートとバランスをとられるべきである。
【０１６２】
デコーダは、サイド情報を用いて１つ以上のスペクトル帯域を予測し、次に符号化を用いてイメージを再構成する。スペクトル帯域のサブセットが既に復号化されている場合、サブセットを用いて、その後復号化されるスペクトル帯域の予測を改善することができ、これによって復号化性能が改善する。上記で説明したように、再構成は新たな予測として、新たなサイド情報を生成するために用いることができ、それによってプロセスを繰り返すことができ、復号化性能が更に改善する。辞書学習技法も上記で説明したように用いることができる。
【０１６３】
ユニバーサルベクトル量子化を用いたマルチスペクトルイメージ圧縮
いくつかの実施の形態は、スカラー量子化をベクトル量子化に一般化することができるという認識に基づく。これにより、スカラー量子化の圧縮効率を更に改善することができる。そのために、いくつかの実施の形態では、符号化は、量子化ラベルを再利用して複数の量子化セルをラベル付けし、サイド情報を利用してデコーダにおける正しいセルを選択する。イメージは、復元された量子化セルとの一貫性を強制しながら、サイド情報を重みに組み込んで、重み付けされた全変動最小化を用いて再構成することができる。
【０１６４】
実際に、１つの実施の形態は、エンコーダにおける低い複雑度を維持しながら、スペクトル帯域間の相関を利用してビットレートを低減する。相関はデコーダにおいて利用される。デコーダは、以前に復号されたスペクトル帯域からの情報をサイド情報として用いて、ビットストリームを拡張し復号化するように設計される。イメージを復号及び復元することは、スパース最適化問題を解決することを必要とする。これは、量子化圧縮センシング(ＣＳ)問題とみなすことができる。
【０１６５】
いくつかの実施の形態は、ＣＳを用いて軽量エンコーダを設計することができるが、最上位ビット(ＭＳＢ)は冗長な情報を符号化するため、レート効率が良くないという認識に基づく。ユニバーサル量子化は、ＭＳＢをなくすことによって冗長性を取り除く。しかしながら、これによって、再構成問題が、場合によっては組み合わせ論的複雑さを伴って、非凸となる。ベクトル量子化への一般化は、問題を更に悪化させる。
【０１６６】
対応策として、いくつかの実施の形態は、サイド情報を用いて、レート効率を妥協することなく、再構成を凸でかつ扱いやすいものにする。特に、分散コーディングの原理と同様に、１つの実施の形態では、エンコーダは、サイド情報から予測をどのように精緻化するかに関する情報、すなわち、信号の圧縮測定値の、それらの予測に対する相対ロケーションのみを送信する。このため、デコーダは、予測を用いて、測定値が属する凸量子化セルを生成し、スパース復元アルゴリズムを用いて、そのセル内の測定値により信号を復号化する。さらに、デコーダは、サイド情報を用いて、圧縮復元アルゴリズムを、符号化信号により近い解にバイアスする。
【０１６７】
図６は、いくつかの実施の形態による、エンコーダ６２０及びデコーダ６３０によって用いられる符号化値の空間のマップ６１０の概略図を示す。マップ６１０は、符号化値の空間を分割する複数のセル、例えば、６１１、６１２及び６１３を含む。この例では、空間は、多次元、すなわち、ｘ１及びｘ２の値にわたる２次元である。空間の次元は、異なる実施の形態について変動することができる。空間は、各セルが符号化値のクラスターを包囲し、符号化値のクラスターを量子化された符号化値に量子化するように分割される。例えば、セル６１３は、連続値のサブセットを取り囲み、すなわち、量子化した。各セルは、有限のアルファベットから選択されたラベルによって識別され、マップ内の複数のセルが同じラベルによって識別されるようになっており、セルは、同じラベルによって識別されるセルの対が、共通の境界を共有しないようにラベル付けされる。
【０１６８】
例えば、図６において、セルは、整数１、２、３…Ｎを用いてラベル付けされ、Ｎは有限数である。一方、異なる実施の形態は異なる値を用いることができる。例えば、１つの実施の形態は、アルファベット「ａ、ｂ、ｃ等」の文字を用いてセルをラベル付けする。数Ｎの値は通常低く、符号化値の空間の次元Ｄに依拠することができる。例えば、ＮはＤ＋１に等しくすることができるが、他の値が可能である。Ｎの低い値は、圧縮率を改善するのに役立つ。Ｎの値が低いことに起因して、異なるセルが同じラベルを有する可能性がある。例えば、セル６１１及び６１３は同じラベル「２」を有する。同一のラベルを有するセルの曖昧さをなくすために、１つの実施の形態は、同じラベルによって識別されるセルの対が共通の境界を共有しないようにセルをラベル付けする。
【０１６９】
異なる実施の形態において、セルは異なる形状を有することができる。例えば、図６の２次元の例において、セルは、２次元空間を分割する際により効果的な六角形形状を有する。代替的な実施の形態では、セルは、より容易に分割に用いられる矩形形状を有する。
【０１７０】
エンコーダは、値６２２を符号化し、マップ６１０上で符号化値を包囲するセルを位置特定する。この例では、エンコーダは、ラベル「０」を有するセル６２４を選択し、ラベル「０」をデコーダ６３０に送信する。デコーダ６３０は、サイド情報を用いて符号化値を予測する(６３２)。そのような予測値は、符号化値と異なる。予測値６３２を包囲するマップ６１０上のセル６３３のラベルは「１」であり、ラベル「０」の送信値と異なる。そのために、デコーダは、送信ラベル「０」を有する予測値６３２に最も近いセルを選択する。これは、この例ではセル６３４である。セル６３４は、連続値のサブセットを包囲し、すなわち、連続値のサブセットを量子化値に量子化する。セル６３４のそのような量子化値は、デコーダ６３０によって決定された復号化値である。
【０１７１】
図７は、いくつかの実施の形態の原理による、デコーダと通信して符号化及び／又は復号を実施するエンコーダのブロック図を示す。エンコーダ７２０は、符号化値を決定するプロセッサと、符号化値の多次元空間のマップ７１０を記憶するメモリ７２４とを備える。マップ６１０は、多次元空間を分割する複数のセルを含み、各セルが符号化値のクラスターを包囲し、符号化値のクラスターを量子化された符号化値に量子化するようにする。ここで、各セルは、有限のアルファベットから選択されたラベルによって識別され、マップ内の複数のセルが同じラベルによって識別されるようにし、セルは同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされる。エンコーダは、多次元空間のマップ上の符号化値を包囲するセル７５０を決定し、送信機７２２を用いてデコーダ７３０にセル７５０のラベル７４０を送信する。
【０１７２】
同様に、デコーダ７３０は、エンコーダ７２０からラベル７４０を受信するための受信機７３２と、マップ７１０を記憶するメモリ７３４とを備える。デコーダはプロセッサ７３６も備え、このプロセッサ７３６は、サイド情報を用いて符号化値を推定し、符号化値の推定値を生成し、多次元空間のマップ上で受信したラベルによって識別される、符号化値の推定値に最も近いセルを選択し、符号化値を、選択されたセルの量子化された符号化値として決定する。
【０１７３】
本明細書において用いられるとき、プロセッサという用語は、単一のコアマイクロプロセッサ、マルチコアマイクロプロセッサ、コンピューティングクラスター、フィールドプログラマブルゲートアレイ(ＦＰＧＡ)、特定用途向け集積回路(ＡＳＩＣ)、又はそれらの組み合わせを含む任意の数の他の構成を包含するように理解される。メモリは、ランダムアクセスメモリ(ＲＡＭ)、リードオンリーメモリ(ＲＯＭ)、フラッシュメモリ又は任意の他の適切なメモリ(ストレージを含む)システムを含むことができ、非一時的コンピューター−可読ストレージ媒体とすることができる。本明細書において用いられるとき、「非一時的コンピューター可読ストレージ媒体」という用語は、揮発性メモリ(例えば、ＤＲＡＭ及びＳＲＡＭ)及び不揮発性メモリ(例えば、フラッシュメモリ、磁気メモリ及び光メモリ)を包含するが、一時的な信号を除外するように理解される。
【０１７４】
図８Ａは、いくつかの実施の形態による、値を符号化するための方法のブロック図を示す。本方法のステップは、エンコーダのプロセッサによって実行される。エンコーダは、値を符号化して(８１０)、符号化値８１５を生成し、符号化値８１５を包囲するマップ７１０上のセル７５０を選択する(８２０)。エンコーダは、セルのラベル７４０を選択し(８３０)、選択されたラベルを送信する(８４０)。
【０１７５】
図８Ｂは、いくつかの実施の形態による、符号化値を復号化するための方法のブロック図を示す。本方法のステップは、デコーダのプロセッサによって実行される。デコーダは、送信された符号化値を推定し(８５０)、推定値８４５を生成する。推定は、デコーダによって再構成される信号の統計的類似度尺度等のサイド情報８４７を用いて実行される。デコーダは、送信されたラベル７４０を受信し(８６０)、マップ７１０上で、ラベル７４０を有するセルの中から推定値８４５に最も近いセル８７５を選択する(８７０)。デコーダは、セル８７５の量子化値を復号化値として選択する。
【０１７６】
例えば、いくつかの実施の形態は、Ｄ３格子を用い、ベクトルｙの量子化レベルが、
【０１７７】
【数４７】
2018033131.tif 000049
【０１７８】
を用いて計算される。ここで、Ｄ３(・)は、その引数における三つ組に対し演算を行うＤ３格子量子化器であり、Δはスケーリング係数であり、ｗはカノニカル量子化セルにわたって一様に取り出されたオプションのディザーであり、３つの座標の各々に沿ってｍｏｄが別個に取られる。Ｄ３格子量子化器のボロノイ領域は十二面体であり、３Ｄにおける空間充填パッキングを形成する。ｍｏｄ関数は、量子化ラベルが再利用され、同じラベルを有する中心が、各座標に沿ってΔ２Ｂの整数倍に等しいオフセットを有することを確実にする。
【０１７９】
様々な実施の形態では、デコーダは、サイド情報へのアクセスを有し、ラベル再利用の結果として生じる不明瞭性を解消し、量子化された圧縮センシング(ＣＳ)問題を解決することができる。ＣＳ問題は、スパースな信号
【０１８０】
【数４８】
2018033131.tif 000050
【０１８１】
を検討する。信号は、ランダム投影ｙ＝Ａｘを用いて測定され、検知行列
【０１８２】
【数４９】
2018033131.tif 000051
【０１８３】
によって
【０１８４】
【数５０】
2018033131.tif 000052
【０１８５】
が得られる。自然なイメージの場合、勾配がスパースであること、すなわち、低全変動(ＴＶ)が、通常好ましい信号モデルである。復元により、ＴＶ最小化を通じたモデルが強制される。
【０１８６】
【数５１】
2018033131.tif 000053
【０１８７】
ここで、Ｘは２次元イメージであり、ｘはイメージＸのベクトル化されたバージョンであり、等方性ＴＶは以下のように定義される。
【０１８８】
【数５２】
2018033131.tif 000054
【０１８９】
信号がスパースであることが知られていない場合に必要なｎと比較して、適切な検知行列を用いると、信号再構成のためにｍ＝Ｏ(ｋ  ｌｏｇ  ｎ)≪ｎしか用いなくてよい。ここで、ｋは、モデルスパース性を測定する。このため、ＣＳ取得は、取得中の信号の暗黙的な圧縮を行う。完全にランダム化された行列構成、及び高速変換を利用した、より構造化された行列構成を含む複数の行列構成を用いることができる。高速変換は、メモリ要件及び計算要件を大幅に低減するため、軽量圧縮にとって魅力的である。
【０１９０】
ＣＳは非常に有効な取得手法であるが、簡単な方式で実施される場合、圧縮方法として良好に機能しない。特に、ＣＳベースの圧縮方法は、大きなアンダーサンプリング係数にもかかわらず、変換コーディングと比較して不良なレート−歪み性能を被る。理由は、基本的に、ＣＳベースの測定は、スパース性パターンがスパースであることが考慮に入れられると、信号をオーバーサンプリングするためである。そのために、いくつかの実施の形態は、ＣＳをベクトル量子化と組み合わせて、送信の圧縮率を増大させる。
【０１９１】
図９は、１つの実施の形態による、圧縮を実行する符号化及び復号化アーキテクチャのブロック図を示す。この実施の形態では、符号化は、量子化ラベルを再利用して複数の量子化セルをラベル付けし、デコーダにおいて正しいセルを選択するためにサイド情報を利用する。イメージは、復元された量子化セルとの一貫性を強制しながら、サイド情報を重みに組み込んで、重み付けされた全変動最小化を用いて再構成される。
【０１９２】
符号化
いくつかの実施の形態では、エンコーダ９１０は、イメージ９０５の帯域９２５のうちの１つをサイド情報９２３として送信する。サイド情報９２３は、様々な技法を用いて符号化又は圧縮することができる。また、このサイド情報を、エンコーダによって送信される更なる統計と組み合わせて、イメージの他の帯域を予測することができる。
【０１９３】
残りの帯域は、サイズｎｘ×ｎｙの重複しないブロックに分割される。少数のランダム投影
【０１９４】
【数５３】
2018033131.tif 000055
【０１９５】
が、例えば、部分アダマール行列Ａ９１５を用いて、各ブロック
【０１９６】
【数５４】
2018033131.tif 000056
【０１９７】
について計算され、すなわち、アダマール変換の行及びディザーｗをランダムにサブサンプリングすることによって得られる。式(１０)に従って、Δのスケーリングを有するＤ３格子を用いて、測定値が３つを１セットにして量子化される(９２０)。ユニバーサルベクトル量子化器がＤ３格子を用いるとき、３つの測定値の各ブロックを、２３Ｂ−１個の点のうちの１つにマッピングすることができる。したがって、測定ごとに
【０１９８】
【数５５】
2018033131.tif 000057
【０１９９】
ビットが必要とされる。サブサンプリング係数を考慮に入れると、実際のレートは
【０２００】
【数５６】
2018033131.tif 000058
【０２０１】
ビット毎ピクセル(ｂｐｐ)である。
【０２０２】
サイド情報９２３は、デコーダにおいて元の量子化セルを予測するのに用いられ、これにより、ｍｏｄ演算から生じる曖昧性を解消し、一貫性のある再構成を凸問題にする。一方、予測は、その品質に依拠して誤りを生じる場合がある。グループは、誤りベクトルがΔ２Ｂに等しいノルムを有するとき、すなわち、誤りベクトルのエントリのうちの１つのみが±Δ２Ｂのいずれかを含むときに一次誤差による影響を受ける。デコーダ自体は、いくつかのスパースな誤りに対してロバストにすることができるが、低品質の予測はデコーダが訂正することができるよりも多くの誤りを引き起こす可能性がある。
【０２０３】
好都合なことに、エンコーダは、他の帯域へのアクセスも有し、そのような誤りが生じる場所を示す追加のサイド情報を計算し、符号化し、送信することができる(９２７)。このため、より多くの又はより少ない誤りをもたらすようにΔ及びＢを設計する際のトレードオフは、ここで、誤りのロケーションを用いてサイド情報を符号化するのに必要な追加のレートとして現れる。Δが大きくなり、Ｂが高くなるほど、予測誤りが少なくなるため、これらは、それぞれ、より大きな再構成誤り及びより高いユニバーサル量子化レートと引き換えに、誤り符号化のためのレートを低くすることを必要とする。これに対応して、Δ及びＢが小さくなるほど、それぞれ、再構成の歪み及びユニバーサル量子化レートが低減するが、誤りに関するサイド情報を符号化するレートが増大する。
【０２０４】
いくつかの実施の形態によって使用される妥協は、一次誤りを明示的に符号化することによって達成される。なぜなら、再構成プログラムにおけるそれらの誤りの訂正は、それらのノルムが小さいことに起因して、あまり効果的でないためである。例えば、これは、以下の形で行われる。各グループは、０〜
【０２０５】
【数５７】
2018033131.tif 000059
【０２０６】
の範囲をとるラベルを有する。一次誤りを呈するグループのラベルは、昇順でソートされ、ユニバーサル指数ゴロム符号を用いて差分符号化される。６つのタイプの誤りしか存在し得ないため、グループあたり少なくともｌｏｇ２(６)ビットを必要とするコードであれば、正誤(the correct error)を区別するのに十分である。高次エラーに関して、グループラベルは、ここでも差分指数ゴロム符号を用いてコード化される唯一の情報である。
【０２０７】
復号化
デコーダ９３０は、利用可能なユニバーサルに量子化されたＣＳ測定値ｙｑ及びサイド情報９２３から得られたそれらの実数値予測９５０であるｐを有する。例えば、予測９５０は、まず、信号ｘｐｒｅｄを予測し、次に、測定行列を用いてこれを測定すること(９４０)によって得ることができ、すなわち、ｐ＝Ａｘｐｒｅｄ＋ｗである。
【０２０８】
同様に、スカラーの場合、予測を用いて、ユニバーサル量子化の前にユニバーサル量子化される測定値が属していた正しいボロノイセルを判断する(９３５)。受信したラベルに一致し、かつ予測測定値に最も近い、最も近いボロノイセルを選択するいくつかの方法がある。好ましい実施の形態では、予測ｐが、最も近い格子点
【０２０９】
【数５８】
2018033131.tif 000060
【０２１０】
に量子化され、その後、ユニバーサルに量子化され、
【０２１１】
【数５９】
2018033131.tif 000061
【０２１２】
が得られる。次に、一貫したラベルのための探索領域を決定するために、
【０２１３】
【数６０】
2018033131.tif 000062
【０２１４】
がｐｑから減算される。２Ｄ格子について図６に示すように、目標は、ユニバーサル量子化された測定値と一致し、かつ予測に最も近い領域を選択することである。Ｄ３格子の場合、以下のように生成される２７個の近傍点が存在する。
【０２１５】
【数６１】
2018033131.tif 000063
【０２１６】
ここで、ｓｉは、３次元ベクトルにおける要素０、２Ｂ、−２Ｂの全ての可能な組み合わせである。
最終的に、推定される再構成点は、
【０２１７】
【数６２】
2018033131.tif 000064
【０２１８】
であり、ここで、
【０２１９】
【数６３】
2018033131.tif 000065
【０２２０】
である。
【０２２１】
予測の品質、並びにＢ及びΔの選択された値に依拠して、予測誤りの頻度は増減し得る。このため、復元された量子化測定値は、以下のようにモデル化することができる。
【０２２２】
【数６４】
2018033131.tif 000066
【０２２３】
ここで、ｖは量子化誤りであり、ｅは復号化誤りを捕捉するΔ２Ｂの整数倍の有限アルファベットから引き出される要素を有するベクトルである。
【０２２４】
Δの良好な予測及び適切な値を所与とすると、ｅはグループスパースになる傾向がある。さらに、エンコーダは、誤りのうちのいくつか又は全てを訂正し、ｅ〜０の対応する係数をリセットするのに用いることができるｅに関する情報を含むことができる。ここで、
【０２２５】
【数６５】
2018033131.tif 000067
【０２２６】
は、通常次数２以上の、訂正されていない既知の誤りを含むグループのラベルの集合
を表す。
【０２２７】
量子化格子との一貫性が再構成問題において強制される。一方、Ｄ３格子のボロノイ領域は十二面体であり、復号が非常に複雑になる可能性がある。したがって近似が用いられ、十二面体は半径Δの球によって置き換えられる。
【０２２８】
イメージ９６０を復元するために(９７０)、デコーダは、イメージ予測の支援により、復元された測定値を用いる。特に、復元は、一貫性のある再構成を用いて重み付けされたＴＶ最小化を解く。
【０２２９】
【数６６】
2018033131.tif 000068
【０２３０】
ここで、ＷＴＶ(・)は重み付けされた等方性全変動であり、
【０２３１】
【数６７】
2018033131.tif 000069
【０２３２】
であり、ｆ(・)は、誤りのグループスパース性に起因した混合ｌ１／ｌ２ノルムを有するペナルティを用いて、復号化誤りにペナルティを課し、
【０２３３】
【数６８】
2018033131.tif 000070
【０２３４】
であり、Ｗｉ，ｊは、イメージの各画素における勾配がどのようにペナルティを課されるべきかを決定する重みであり、
【０２３５】
【数６９】
2018033131.tif 000071
【０２３６】
は、訂正されていない既知の誤りが存在する場合、それらの誤りを含むグループのラベルを含む集合である。
【０２３７】
量子化曖昧性を解消することに加えて、サイド情報から得られる予測は、重みＷｉ，ｊを導出するのにも用いられる。低い重みは、予測の勾配の大きさが所定の閾値よりも大きいときに用いられ、高い重みは、勾配がより低く、重み付けされたｌ１最小化と類似した設定であるときに用いられる。結果として得られるモデルは、予測内に存在するエッジよりも予測内に存在しないエッジに大きくペナルティを課す。予測は他のスペクトル帯域から導出されるので、モデルは、特にエッジ間で、スペクトル帯域間の相関を強化する。
【０２３８】
関数ｆ(・)は、
【０２３９】
【数７０】
2018033131.tif 000072
【０２４０】
内のデータの部分、すなわち、復号化誤りが存在すると疑う部分についてデータ一貫性を促進する。二次ペナルティはより一般的なデータ一貫性ペナルティであるが、ユニバーサルスカラー量子化器のための同様のペナルティは、それらのスパース性により、いくつかの復号化誤りの復元を可能にした。例えば、１つの実施の形態では、ペナルティは、ベクトルユニバーサル量子化から生じた種類の復号化誤りであるため、ブロックスパースベクトルへの一般化である。
【０２４１】
この発明の上記で説明した実施の形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施の形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピューターに設けられるのか又は複数のコンピューター間に分散されるのかにかかわらず、任意の適したプロセッサ又はプロセッサの集合体において実行することができる。そのようなプロセッサは、１つ以上のプロセッサを集積回路部品に有する集積回路として実装することができる。ただし、プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。
【０２４２】
例えば、１つの実施の形態は、方法を実行するためのプロセッサによって実行可能なプログラムが具現化された非一時的コンピューター可読ストレージ媒体を用いて実施される。本方法は、送信された符号化値を推定して、推定値を生成することであって、推定はサイド情報を用いることと、符号化値の多次元空間のマップ上で、推定値を包囲する第１のセルを位置特定することであって、マップは、多次元空間を分割する複数のセルを含み、それによって、各セルは、符号化値のクラスターを包囲し、符号化値のクラスターを量子化された符号化値に量子化し、各セルは、有限アルファベットから選択されたラベルによって識別され、それによって、マップ内の複数のセルは同じラベルによって識別され、セルは、同じラベルによって識別されるセルの対が共通の境界を共有しないようにラベル付けされることと、通信チャネルを介して送信されたセルのラベルを受信することと、マップ上で、送信されたラベルを有するセルの中から、第１のセルに最も近い第２のセルを選択することと、第２のセルの量子化値を、信号の復号化値として選択することとを含む。
【０２４３】
また、この発明の実施の形態は、例が提供された方法として実施することができる。この方法の一部として実行される動作は、任意の適切な方法で順序付けすることができる。したがって、動作が示したものと異なる順序で実行される実施の形態を構築することができ、これには、例示の実施の形態では一連の動作として示されたにもかかわらず、いくつかの動作を同時に実行することを含めることもできる。
【図１Ａ】
2018033131.tif 000073
【図１Ｂ】
2018033131.tif 000074
【図１Ｃ】
2018033131.tif 000075
【図２Ａ】
2018033131.tif 000076
【図２Ｂ】
2018033131.tif 000077
【図２Ｃ】
2018033131.tif 000078
【図２Ｄ】
2018033131.tif 000079
【図３Ａ】
2018033131.tif 000080
【図３Ｂ】
2018033131.tif 000081
【図４】
2018033131.tif 000082
【図５】
2018033131.tif 000083
【図６】
2018033131.tif 000084
【図７】
2018033131.tif 000085
【図８Ａ】
2018033131.tif 000086
【図８Ｂ】
2018033131.tif 000087
【図９】
2018033131.tif 000088
【外国語明細書】
2018033131.tif 000089
2018033131.tif 000090
2018033131.tif 000091
2018033131.tif 000092
2018033131.tif 000093
2018033131.tif 000094
2018033131.tif 000095
2018033131.tif 000096
2018033131.tif 000097
2018033131.tif 000098
2018033131.tif 000099
2018033131.tif 000100
2018033131.tif 000101
2018033131.tif 000102
2018033131.tif 000103
2018033131.tif 000104
2018033131.tif 000105
2018033131.tif 000106
2018033131.tif 000107
2018033131.tif 000108
2018033131.tif 000109
2018033131.tif 000110
2018033131.tif 000111
2018033131.tif 000112
2018033131.tif 000113
2018033131.tif 000114
2018033131.tif 000115
2018033131.tif 000116
2018033131.tif 000117
2018033131.tif 000118
2018033131.tif 000119
2018033131.tif 000120
2018033131.tif 000121
2018033131.tif 000122
2018033131.tif 000123
2018033131.tif 000124
2018033131.tif 000125
2018033131.tif 000126
2018033131.tif 000127
2018033131.tif 000128
2018033131.tif 000129
2018033131.tif 000130
2018033131.tif 000131
2018033131.tif 000132
2018033131.tif 000133
2018033131.tif 000134
2018033131.tif 000135
2018033131.tif 000136
2018033131.tif 000137
2018033131.tif 000138
2018033131.tif 000139
2018033131.tif 000140
2018033131.tif 000141
2018033131.tif 000142
2018033131.tif 000143