(57)【要約】  品質改善されるべき信号は、空間的低周波領域に比べて空間的高周波領域において品質低下を被ることが多い。従って、品質改善されるべき信号と、品質改善されるべき信号のスパース近似から抽出された高周波部分とを結合することにより、品質改善が効率的に実行できる。第１解像度を有する第１信号ｓをアップサンプリングする装置は、第１信号ｓに対してアップサンプリング処理を適用して第１解像度より高い第２解像度を有する第２信号ｕを取得するアップサンプラー１０と、スパース近似を使用して第２解像度を有する近似済み信号ａを生成するスパーシティ強調部２０と、近似済み信号ａから高周波部分ｈを抽出する高周波部分抽出部３０と、第２信号ｕと抽出された高周波部分ｈとを結合する結合部４０と、を備える。【選択図】図１
2016517118.tif 000002
【特許請求の範囲】
【請求項１】
第１解像度を有する第１信号（ｓ）をアップサンプリングする装置であって、
前記第１信号に対してアップサンプリング処理を適用して前記第１解像度より高い第２解像度を有する第２信号を取得するよう構成されたアップサンプラー（１０）と、
スパース近似を使用して、前記第２解像度を有する近似済み信号（ａ）を生成するよう構成されたスパーシティ強調部（２０）と、
前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するよう構成された高周波部分抽出部（３０）と、
前記第２信号（ｕ）と前記抽出された高周波部分（ｈ）とを結合するよう構成された結合部（４０）と、を備える装置。
【請求項２】
請求項１に記載の装置であって、
前記アップサンプラー（１０）は、ＦＩＲフィルタ、ＩＩＲフィルタ又は両者の組合せを使用して前記アップサンプリング処理を実行するよう構成された、装置。
【請求項３】
請求項１又は２に記載の装置であって、
前記スパーシティ強調部（２０）は、前記第２信号に対してスパース近似を適用することによって、前記近似済み信号を生成するよう構成された、装置。
【請求項４】
請求項１乃至３のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、順に、順変換を実行して変換係数を取得し、前記変換係数を閾値処理して閾値処理済み変換係数を取得し、かつ前記閾値処理済み変換係数に対して逆変換を実行することによって、前記スパース近似を実行するよう構成された、装置。
【請求項５】
請求項１乃至３のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、コスト関数を最適化することによって、前記スパース近似を実行するよう構成された、装置。
【請求項６】
請求項１乃至３のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、パラメータ化された関数の係数を順に最適化することにより前記近似済み信号を連続的に構築することによって、前記スパース近似を実行するよう構成された、装置。
【請求項７】
請求項１乃至６のいずれかに記載の装置であって、
前記高周波部分抽出部（３０）はハイパスフィルタである、装置。
【請求項８】
請求項１乃至６のいずれかに記載の装置であって、
前記高周波部分抽出部（３０）は、前記近似済み信号の低周波部分を推定（５０、６０）し、かつ前記近似済み信号から前記低周波部分を差し引く（７０）ことによって、前記近似済み信号から前記高周波部分を抽出するよう構成された、装置。
【請求項９】
請求項８に記載の装置であって、
前記高周波部分抽出部（３０）は、前記近似済み信号に対してダウンサンプリング（５０）とそれに続くアップサンプリング（６０）とを行うことによって、前記低周波部分を推定するよう構成された、装置。
【請求項１０】
請求項９に記載の装置であって、
前記高周波部分抽出部は、ダウンサンプリングされた前記近似済み信号をアップサンプリング（６０）する際に、前記アップサンプラー（１０）のアップサンプリング処理を使用するよう構成された、装置。
【請求項１１】
請求項１乃至１０のいずれかに記載の装置であって、
前記結合部（４０）は、前記第２信号（ｕ）と前記近似済み信号の高周波部分（ｈ）とを結合する際に、その一方と他方とを相互に加算するよう構成された、装置。
【請求項１２】
請求項１乃至１１のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）、前記高周波部分抽出部（３０）及び前記結合部（４０）は、前記スパーシティ強調部（２０）が前記結合部の結合によって得られた結合済み信号（ｘ）に対してスパース近似を適用するような反復において、前記生成と前記抽出と前記結合とを反復的に実行するよう構成された、装置。
【請求項１３】
請求項１乃至１２のいずれかに記載の装置であって、
前記第１信号、前記第２信号及び前記近似済み信号は二次元信号である、装置。
【請求項１４】
請求項１乃至１３のいずれかに記載の装置であって、
一連の一次元の横列毎及び縦列毎のアップサンプリングステップを使用して、二次元信号をアップサンプリングするよう構成された、装置。
【請求項１５】
入力信号（ｓ）を強調する装置であって、
スパース近似を使用して、前記入力信号を近似している近似済み信号（ａ）を生成するよう構成されたスパーシティ強調部（２０）と、
前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するよう構成された高周波部分抽出部（３０）と、
前記入力信号（ｓ）と前記近似済み信号から抽出された高周波部分（ｈ）とを結合するよう構成された結合部（４０）と、を備える装置。
【請求項１６】
請求項１５に記載の装置であって、
前記スパーシティ強調部（２０）は、前記入力信号に対してスパース近似を適用することによって、前記近似済み信号を生成するよう構成された、装置。
【請求項１７】
請求項１５又は１６に記載の装置であって、
前記スパーシティ強調部（２０）は、順に、順変換を実行して変換係数を取得し、前記変換係数を閾値処理して閾値処理済み変換係数を取得し、かつ前記閾値処理済み変換係数に対して逆変換を実行することによって、前記スパース近似を実行するよう構成された、装置。
【請求項１８】
請求項１５乃至１９のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、コスト関数を最適化することによって、前記スパース近似を実行するよう構成された、装置。
【請求項１９】
請求項１５乃至１８のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、パラメータ化された関数の係数を順に最適化することにより前記近似済み信号を連続的に構築することによって、前記スパース近似を実行するよう構成された、装置。
【請求項２０】
請求項１５乃至１９のいずれかに記載の装置であって、
前記高周波部分抽出部（３０）はハイパスフィルタである、装置。
【請求項２１】
請求項１５乃至２０のいずれかに記載の装置であって、
前記高周波部分抽出部（３０）は、前記近似済み信号の低周波部分を推定（５０、６０）し、かつ前記近似済み信号から前記低周波部分を差し引くことによって、前記近似済み信号から前記高周波部分を抽出するよう構成された、装置。
【請求項２２】
請求項２１に記載の装置であって、
前記高周波部分抽出部（３０）は、前記近似済み信号に対してダウンサンプリング（５０）とそれに続くアップサンプリング（６０）とを行うことによって、前記低周波部分を推定するよう構成された、装置。
【請求項２３】
請求項１５乃至２２のいずれかに記載の装置であって、
前記結合部（４０）は、前記入力信号と前記近似済み信号の高周波部分とを結合する際に、その一方と他方とを相互に加算するよう構成された、装置。
【請求項２４】
請求項１５乃至２３のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）、前記高周波部分抽出部（３０）及び前記結合部（４０）は、前記スパーシティ強調部（２０）が前記結合部の結合によって得られた結合済み信号（ｘ）に対してスパース近似を適用するような反復において、前記生成と前記抽出と前記結合とを反復的に実行するよう構成された、装置。
【請求項２５】
請求項１５乃至２４のいずれかに記載の装置であって、
前記第１信号、前記第２信号及び前記近似済み信号は二次元信号である、装置。
【請求項２６】
請求項１５乃至２４のいずれかに記載の装置であって、
一連の一次元の横列毎及び縦列毎のアップサンプリングステップを使用して、二次元信号を強調するよう構成された、装置。
【請求項２７】
第１解像度を有する第１信号（ｓ）をアップサンプリングする方法であって、
前記第１信号に対してアップサンプリング処理を適用して前記第１解像度より高い第２解像度を有する第２信号（ｕ）を取得するステップと、
スパース近似を使用して、前記第２解像度を有する近似済み信号（ａ）を生成するステップと、
前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するステップと、
前記第２信号（ｕ）と前記抽出された高周波部分（ｈ）とを結合するステップと、を備える方法。
【請求項２８】
入力信号（ｓ）を強調する方法であって、
スパース近似を使用して、前記入力信号を近似している近似済み信号（ａ）を生成するステップと、
前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するステップと、
前記入力信号（ｓ）と前記近似済み信号から抽出された高周波部分（ｈ）とを結合するステップと、を備える方法。
【請求項２９】
コンピュータ上で実行されたとき、請求項２７又は２８に記載の方法を実行するためのコンピュータプログラム又はコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像／ビデオ符号化の分野などにおけるアップサンプリング及び信号強調(signal enhancement)に関する。
【背景技術】
【０００２】
画像アップサンプリングは、入力された低解像度（ＬＲ）画像から高解像度（ＨＲ）画像を生成することに関連する。画像／ビデオは、移動電話、タブレット、ラップトップ、パーソナルコンピュータなど、多様なサイズのディスプレイ上で見られることから、このような画像アップサンプリング作業が注目を集めるようになってきた。例えば、１９２０×１０８０のディスプレイのためのコンテンツが１２８０×７２０のフォーマットでしか入手できず、アップサンプリングが必要となる場合がある。最近では、４Ｋのディスプレイが普及し始めているが、そこに低い解像度（例えば１９２０×１０８０）を有するコンテンツを表示せざるを得ない場合もある。
【０００３】
画像アップサンプリングはまた、画像補間、アップスケーリング、リサイジング、リサンプリング、スーパー・レゾリューションなどとも呼ばれている。アップサンプリングを達成するために多数の確立された方法が使用可能であり、例えば、バイリニア・フィルタ（２タップ）又はバイキュービック・フィルタ（４タップ）を用いたＦＩＲフィルタリングが、実装の容易さゆえに頻繁に使用されている。これら技術は、複数のアーチファクトを引き起こす可能性があり、最も多いのは、結果として得られる高解像度画像のブラーリング（blurring)である。本発明の主目的は、シャープなエッジ及びテクスチァを復元する一方で、ブラーリング、リンギング、エイリアシング又は他の可視アーチファクトを低減させることである。ビデオに関しては、再生期間中、時間的コヒーレンスを保持し、ピクチャからピクチャへのフリッカリングを防止するという追加的要件もある。
【０００４】
画像／ビデオのアップサンプリングは、例えば圧縮、編集、監視(surveillance)及びテクスチァ・マッピングなど、画像処理、コンピュータ映像及びグラフィックスにおける多数のアプリケーションと関連している。アップサンプリングは、画像ブラウジング及びビデオ再生ソフトウエアにとってきわめて重大である。画像アップサンプリングにおける細部合成はまた、スケーラブル・ビデオ符号化のためのツールとしても使用可能である。細部合成はまた、例えばビデオ符号化の文脈でのループフィルタ又は後フィルタ段階として、アップサンプリングなしでも使用可能である。
【０００５】
帯域制限された信号に関する信号処理理論は、ナイキストレートやｓｉｎｃ補間（非特許文献１、非特許文献２）よりも高いサンプリングを提唱している。帯域制限の仮定は、シャープなエッジの存在により、殆どの画像に当てはまらない。しかしながら、従来の方式はこの原理に固執し、多くの現実的なアプリケーションにとって許容可能な結果を生み出すために、理想的なローパスフィルタを近似している。バイリニアやバイキュービック補間などの技術は、演算の複雑性が低い評判のよい例といえる。サンプリング理論を帯域制限の条件なしのシフト不変空間に対して拡張することは、例えばＢスプライン（非特許文献３）やＭＯＭＳ補間（非特許文献４）などの、基底関数の所与のサポートのもとで画像品質の向上を提供するような、一般化された補間の枠組みへと導くことになる。しかしながら、これらの線形モデルは、エッジ周辺の高速変化する統計を捕捉することができない。これらの線形モデルにおいて基底関数の次数（degree）を増大させることは、より高次の統計を捕捉する助けとなるが、他方では空間ドメインにおけるより長い効果的なサポートという結果をもたらし、これにより、エッジ周辺のリンギングなどのアーチファクトを生み出してしまう。
【０００６】
線形モデルを改善するために、例えば非特許文献５のように、エッジ方向にそって補間を実行するような方向性補間スキームが提案されてきた。そのスキームは、入力画像における局所共分散を計算し、補間のサポートがエッジに沿うように、高解像度における補間を適合させるためにそれら共分散を使用することで、達成される。しかしながら、結果として得られる画像はまだいくらかのアーチファクトを示す。反復的バックプロジェクション（非特許文献６）技術は、ダウンサンプリング処理が既知である場合に画像補間を改善する。その基本的考えは、ＬＲ画像から復元されたＨＲ画像は、それを同じブラーリング及びダウンサンプリング処理に通過させた場合には、同様に見えるＬＲ画像を生成する筈だというものである。しかしながら、ダウンサンプリングフィルタは既知でない場合が多く、又は入力画像がカメラ捕捉されたものであって、サンプリングシステムの中で使用された光学的アンチエイリアス・フィルタが後続の画像処理段階において既知でない場合もある。従って、ダウンサンプリング処理に直接的に依存しない方法を設計することが望ましい。
【０００７】
画像のアップサンプリングは、画像強調の一つの方式である。画像強調は、画像の品質を向上させることを目的としている。換言すると、画像強調は、画像が例えば損失の多いコーディングによって被ったであろう品質低下を、少なくとも部分的に回復することを目的としている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第８，２９０，２５１号
【特許文献２】米国特許第８，１６５，２１５号
【特許文献３】米国特許第７，５２６，１２３号
【特許文献４】米国特許第７，４０１，００６号
【特許文献５】米国特許第８，３６９，６５３号
【特許文献６】米国特許第８，２６０，０８７号
【特許文献７】米国特許第８，２３３，７３４号
【非特許文献】
【０００９】
【非特許文献１】[Shannon1949] C. E. Shannon, “Communication in the presence of noise,” Proc. Institute of Radio Engineers, vol. 37, no. 1, pp. 10?21, Jan. 1949.
【非特許文献２】[Unser2000] M. Unser, “Sampling - 50 Years After Shannon”, Proc. IEEE, vol. 88, no. 4, pp. 569-587, Apr. 2000.
【非特許文献３】[Unser1999] M. Unser, “Splines: A Perfect Fit for Signal and Image Processing”, IEEE Signal Proc. Magazine, vol. 16, no. 6, pp. 22-38, Nov. 1999.
【非特許文献４】[Blu2001] T. Blu, P. Thevenaz and M. Unser, “MOMS: Maximal-Order Interpolation of Minimal Support”, IEEE Trans. On Image Proc., vol. 10, no. 7, Jul. 2001.
【非特許文献５】[Li2001] X. Li and M. T. Orchard, “New edge-directed interpolation.” IEEE Trans. on Image Proc., 10(10):1521?1527, 2001.
【非特許文献６】[Irani1991] M. Irani and S. Peleg, “Improving resolution by image registration,” Graphical Models and Image Processing, 53:231?239, 1991.
【非特許文献７】[Olshausen1996] B. A. Olshausen and D. J. Field, “Natural image statistics and efficient coding,” Network: Computation in Neural Systems, no. 7, pp. 333?339, 1996.
【非特許文献８】[Blumensath2008] T. Blumensath, M. E. Davies, "Iterative Thresholding for Sparse Approximations", The Journal of Fourier Analysis and Applications, vol.14, no 5, pp. 629-654, Dec 2008.
【非特許文献９】[Chen1998] S. S. Chen, D. L. Donoho, M. A. Saunders, “Atomic Decomposition by Basis Pursuit,” SIAM Journal on Scientific Computing, Vol. 20, no. 1, 1998.
【非特許文献１０】[Mallat1993] S. G. Mallat, “Matching pursuits with time-frequency dictionaries,” IEEE Trans. On. Signal Proc., Vol 41, no. 12. Pp. 3397 ? 3415, Dec 1993.
【非特許文献１１】[Candes2004] E. J. Candes and D. L. Donoho, “New tight frames of curvelets and optimal representations of objects with C2 singularities,” Comm. Pure Appl. Math., vol. 57, no 2, pp. 219-266, 2004.
【非特許文献１２】[Do2005] M. N. Do and M. Vetterli, “The contourlet transform: an efficient directional multiresolution image representation,” IEEE Trans. on Image Proc., vol. 14, no. 12, Dec. 2005.
【非特許文献１３】[Kutyniok2011] G. Kutyniok and W.-Q Lim “Compactly Supported Shearlets are Optimally Sparse”, J. Approx. Theory, Vol. 163, pp. 1564-1589, 2011.
【非特許文献１４】[Aharon2006] M. Aharon, M. Elad and A.M. Bruckstein, “The K-SVD: An Algorithm for Designing of Overcomplete Dictionaries for Sparse Representation,” IEEE Trans. On Signal Proc., vol. 54, no. 11, pp. 4311?4322, Nov. 2006.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従って、本発明の目的は、更に効率的な信号のアップサンプリング及び信号強調についての概念を提供することである。この目的は、添付された独立請求項の主題によって達成される。
【課題を解決するための手段】
【００１１】
本発明は、品質改善されるべき信号は、低周波に比べて高周波において品質低下を被りやすく、従って、品質改善されるべき信号と、その品質改善されるべき信号についてスパース近似(sparse approximation)から抽出された高周波部分とを組み合わせることにより、品質改善が最も効率的に実行されるという、発明者らの知見を活用するものである。本発明の１つの態様によれば、例えば、この知見は第１信号をアップサンプリングするために利用され、そこでは、初期アップサンプリング処理が第１信号に対して適用されて、第１信号の解像度よりも高い解像度を有する第２信号が取得される。ここで、低周波数に比べて高周波数において、アップサンプリング処理の品質が低下しがちになる。本発明の他の態様によれば、上述の考えは、例えば損失の多い符号化によって品質低下していた信号の信号強調のために使用される。事実、本発明の信号強調の概念は、信号強調がアップサンプリング結果に対して適用される、本発明のアップサンプリング概念の一部として見られてもよい。
【００１２】
本発明の望ましい構成は従属請求項の主題であり、本発明の好ましい実施形態は、以下に図面を参照しながら詳細に説明する。
【図面の簡単な説明】
【００１３】
【図１】アップサンプリングされるべき信号をアップサンプリングするための一実施形態に係る装置を示すブロック図である。
【図２】図１の一実施形態に係る詳細抽出部又は高周波部分抽出部３０の初期的な構造を示すブロック図である。
【図３ａ】１つの例示的な画像例を使用して、図１及び図２の例に従うアップサンプリング処理における一連の段階の後の画像コンテンツを示す。
【図３ｂ】１つの例示的な画像例を使用して、図１及び図２の例に従うアップサンプリング処理における一連の段階の後の画像コンテンツを示す。
【図３ｃ】１つの例示的な画像例を使用して、図１及び図２の例に従うアップサンプリング処理における一連の段階の後の画像コンテンツを示す。
【図３ｄ】１つの例示的な画像例を使用して、図１及び図２の例に従うアップサンプリング処理における一連の段階の後の画像コンテンツを示す。
【図３ｅ】１つの例示的な画像例を使用して、図１及び図２の例に従うアップサンプリング処理における一連の段階の後の画像コンテンツを示す。
【図３ｆ】１つの例示的な画像例を使用して、図１及び図２の例に従うアップサンプリング処理における一連の段階の後の画像コンテンツを示す。
【図４】一実施例に係る信号強調のための装置を示すブロック図である。
【図５】他の実施例に係るアップサンプリングのための非反復的に作動する装置を示す。
【図６ａ】信号強調のための装置がループ内フィルタとして使用され得る、ハイブリッド・ビデオ符号器のブロック図を示す。
【図６ｂ】信号強調のための装置がループ内フィルタとして使用され得る、ハイブリッド・ビデオ復号器のブロック図を示す。
【図７ａ】レイヤ間予測ソースを提供するために本発明に係るアップサンプリング装置が使用され得る、空間スケーラビリティをサポートするビデオ符号器を示す。
【図７ｂ】レイヤ間予測ソースを提供するために本発明に係るアップサンプリング装置が使用され得る、空間スケーラビリティをサポートするビデオ復号器を示す。
【発明を実施するための形態】
【００１４】
本発明の幾つかの実施形態を説明する前に、後で述べる実施形態につながる幾つかの考察について説明する。
【００１５】
第１に、ＦＩＲフィルタベースの補間のような線形モデルは、低い周波数成分を補間する場合には信頼できるが、アップサンプリングされた画像の高周波成分を歪ませてしまうことに注目すべきである。従って、以下の実施形態において、そのような初期補間部の出力は、スパース近似（粗い近似）からの細部成分と結合される。例えば、このことは、結合を実行する反復的枠組みを介して実現されてもよい。スパース近似からの細部成分を信号強調のために使用する試みは、自然な画像が幾つかのドメインにおいてスパース的に表現され得る（非特許文献７）という事実によって動機付けられる。スパース近似の段階は、信号を少数の変換係数だけを用いて近似することと考えることができ、例えばその信号を特定のドメインへと変換すること、変換係数を所定の振幅未満からゼロまでに設定すること、及び近似に戻るためにそれら係数を逆変換すること、と考えることができる。変換に使用されるドメインは、例えば離散コサイン変換（ＤＣＴ）、ウェーブレットを用いる多解像度表現(multi-resolution representation)、カーブレット(curvelets)、コンツアレット(contourlets)、シアレット(shearlet)等を用いた多解像度方向性表現(multi-resolution directional representation)、又は、他の固定若しくはトレーニングベースの辞書であってもよい。以下の説明を参照されたい。
【００１６】
つまり、補間の方向を厳密に検出する代わりに、以下の実施形態はスパース近似を使用する。例えば、方向性変換係数の反復的な閾値処理（thresholding)は、優勢エッジ／方向に沿ったよりシャープな画像をもたらす。
【００１７】
図１は、第１解像度を有する第１信号ｓをアップサンプリングする装置５を示し、この装置５は、アップサンプラー１０と、スパーシティ強調部(sparsity enforcer)２０と、高周波部分抽出部３０と、結合部４０とを含む。アップサンプラー１０は、第１信号ｓを受信し、その第１信号に対してアップサンプリング処理を適用して、第１解像度よりも高い第２解像度を有する第２信号を取得するよう構成されている。結合部４０は、アップサンプラー１０の出力と接続された第１入力を有し、結合部４０とスパーシティ強調部２０と高周波部分抽出部３０とはその順番で互いに直列に接続されており、その結果、結合部４０の出力と結合部４０の第２入力との間のループが形成されている。結合部４０の出力は、装置５の出力をも同時に形成している。
【００１８】
特に、最初は、近似済み信号ａから高周波部分抽出部３０によって抽出される高周波部分ｈは、第２信号ｕが結合部４０を無修正で通過するように、つまり結合部４０の出力における信号ｘがｕと等しくなるように、設定されてもよい。スパーシティ強調部２０は、スパース近似を使用して、第２解像度を有しかつ入来信号ｘを近似している近似済み信号ａを生成するよう構成されている。高周波部分抽出部３０は、近似済み信号ａから高周波部分ｈを抽出し、次に高周波部分ｈは結合部４０によって第２信号ｕと結合され、その結果、強調され／アップサンプリングされたアップサンプリング済み信号ｘをもたらす。
【００１９】
図１の装置５の基礎をなす作動モード、長所、及び思想について、以下において更に詳細に説明する。しかしながら、アップサンプリングされるべき信号ｓは、如何なるタイプの信号であってもよい点に留意すべきである。例えば、信号ｓはビデオ又はピクチャであってもよく、すなわち、信号ｓの空間解像度を増大させるよう、装置５を用いて１つの場面を二次元的に空間的サンプリングしたものでもよい。しかしながら、代替的に、信号ｓは例えばある物理的特性を空間的又は時間的にサンプリングした一次元の信号であってもよい。例えば、信号ｓは、表面プロファイルを空間的にサンプリングするプロファイロメータ(profilometer)の出力信号であってもよい。ここでは、図１の実施形態は、一次元信号について説明する。画像のアップサンプリングについては、以下の説明は、例えば横列及び縦列毎の操作を用いることで二次元へと拡張可能であり、又は、画像サンプルに対して二次元操作を使用することで直接的に実現可能である。装置５により実行される細部合成は、全体画像に対して行われてもよく、又は、ブロック若しくは領域毎に行われてもよい。
【００２０】
ベクトルｓ∈ＲNとして表現される次元Ｎ×１の入力ＬＲ信号を考慮されたい。最終目的は、次元Ｍ×１の出力ＨＲ信号を生成することであり、ここで、Ｍ＞Ｎである。
【００２１】
アップサンプラー１０は、入力ＬＲ信号を受け取り、ｓ∈ＲNの初期アップサンプリングを実行し、例えばＦＩＲフィルタベースの補間を使用して信号ｕ∈ＲMを生成する。
【００２２】
このように、アップサンプラー１０は装置５の処理の第１段階を構成している。
【００２３】
一例として、ＬＲ画像の縦列（コラム）が、ｓ＝［ａｂｃｄ］Tで示すように、４個のサンプルで構成されると仮定する。サンプルの個数を２倍する作業について考える。特定の画像境界を超えるサンプルは、最後の利用可能なサンプルを繰り返すことによって得られる、と仮定する。他の種類の境界拡張もまた可能である。
【００２４】
新たなサンプルｘ1がサンプルｂとｃの中間で生成される必要がある場合には、バイキュビックフィルタ（bicubic filter）の係数は［−１，９，９，−１］／１６、つまりｘ1＝（−ａ＋９ｂ＋９ｃ−ｄ）／１６である。これを他のサンプルまで拡張すると、ベクトル表示ｕ＝Ｕ・ｓが得られ、ここでＵはアップサンプリング行列と呼ばれる。
【数１】
2016517118.tif 000003
【００２５】
初期近似の他の形式、例えばＢ−スプラインや非線形技術なども使用することができる。初期アップサンプリングの複雑性を低く保つため、及び同時に初期アップサンプリング済み画像の良好な品質を達成するために、６タップ又は８タップのＦＩＲフィルタが望ましい。
【００２６】
これまで説明してきたアップサンプラー１０に関する留意点を要約すると、アップサンプラー１０はＦＩＲフィルタ、ＩＩＲフィルタ、又はそれら両方の組合せを使用して、初期アップサンプリング処理を実行するよう構成されてもよい。
【００２７】
図１の実施例では、装置５によって出力された信号ｘの反復的精製を実行するために、スパーシティ強調部２０、高周波部分抽出部３０及び結合部４０が協働して作動する。すなわち、信号ｘの品質はある反復から次の反復へと着実に向上する。これに関する詳細は、以下にさらに説明する。
【００２８】
反復的な手順において、初期アップサンプリング済み信号ｕは推定された精製信号ｈ(i)∈ＲMと結合されて、次式のような精製済み信号ｘ(i)∈ＲMが生成され、ここでｉは反復回数を表す。
【数２】
2016517118.tif 000004
【００２９】
最初の反復において、精製信号ｈ(0)がゼロに初期化され、そのためｘ(0)＝ｕとなる。次に、スパーシティ強調部２０によってスパーシティ強調ステップがｘ(i)に対して実行され、近似済み信号ａ(i)が生成される。次に、ｈ(i+1)として示されたａ(i)の高周波細部が高周波部分抽出部３０によって抽出され、これが推定されたＨＲ信号を更新するために結合部４０によって使用されて、ｘ(i+1)を生成する。この手順はある反復回数で繰り返され、最終段階の後のｘ(i+1)におけるサンプルが出力ＨＲ画像を形成する。反復的精製を要約すると、次式のようになる。
【数３】
2016517118.tif 000005
【００３０】
つまり、スパーシティ強調部２０と高周波部分抽出部３０と結合部４０とが、各反復の中で生成と抽出と結合とを反復的に実行し、ここで、スパーシティ強調部２０は、結合部４０が実行する結合によって取得された結合済み信号ｘに対してスパース近似を適用する。
【００３１】
結合部４０は、例示的に、アップサンプル信号ｕと現在の精製信号ｈとの間の加算として構成されてもよい点に留意すべきであり、ここで現在の精製信号ｈは、初期的には、即ち初回の反復の開始時には、中立元 (neutral element)と等しくなるように設定される。代替的に、結合部４０は例えば乗算のような他の結合形式を使用してもよく、その場合、例えば信号ｈは、初回の反復の開始時には、中立元、即ち１と等しくなるように設定され得る。
【００３２】
スパーシティ強調部２０によって実行されるスパース近似とは、アトムと呼ばれる少数の基本信号（elementary signals)の線形結合を用いた、信号の大部分に当てはまる近似を指すものとして使用される用語である。基本信号は、ＤＣＴ，ＤＦＴ，ウェーブレットのような基底関数から構成されてもよく、又は、コンツアレット，シアレット等のような過完備関数(over-complete function) から構成されてもよい。
【００３３】
スパース近似を実行するためには、複数の方法が存在する。例えば、
・順変換，閾値処理，逆変換（反復的閾値処理（非特許文献８））
・正則化を用いたコスト関数の最適化（Ｌ０最小化、Ｌ１最小化、基底追跡(Basis Pursuit)（非特許文献９））
・一係数ごとの信号近似の連続的な構築（マッチング追跡（Matching Pursuit)（非特許文献１０）、直交マッチング追跡（Orthogonal Matching Pursuit)）
【００３４】
ここで、まず信号拡張についての短い導入を述べ、次にスパース近似のための好ましい実施形態、つまり閾値処理のスキームについて説明する。
【００３５】
Ｍ×Ｐの寸法を有する行列Ｂを考慮されたい。ここで、縦列は｛ｂ0,ｂ1,ｂ2,…,ｂp-1｝である。行列Ｂは、また辞書(dictionary)とも称される。ＤＣＴの場合には、｛ｂ0,ｂ1,ｂ2,…,ｂp-1｝は種々の周波数におけるコサイン関数である。前述したように、信号ｘ(i)はＭ×１の寸法を有する。ベクトルｂiの各々もまたＭ×１の寸法を有し、辞書Ｂの中にはＰ個のそのようなベクトルが存在する。
【００３６】
いわゆる信号拡張の作業は、ベクトルｂiに関して信号ｘを表現することである。即ち、
【数４】
2016517118.tif 000006
ここで、｛ｗ0,ｗ1,ｗ2…ｗp-1｝は重み又は変換係数と称される。
【００３７】
この式は、以下のように簡略化して記述することができる。
【数５】
2016517118.tif 000007
ここで、ｗ＝［ｗ0，ｗ1，ｗ2…ｗp-1］Tである。
【００３８】
Ｐ＜Ｍの場合には、辞書はＭ×１の寸法を有する所定のベクトルを表現できない。Ｐ＝Ｍであり、かつベクトルｂiが線形的に独立するように選択された場合には、それらベクトルは基底ベクトルと呼ばれ、Ｍ×１の寸法を有する如何なるｘをも表現でき、例えばＢはＤＣＴ又はＤＦＴベースで構成される。Ｐ＞Ｍの場合には、辞書は過完備と称される。本発明の実施形態において、辞書はこれら３種類の可能なタイプのいずれであってもよい。
【００３９】
画像のサブバンド分解、即ち１つの画像を多数のチャネルへと分割することは、順変換を指すために使用されるもう一つの用語である。一つ又は複数の変換係数が１つのサブバンドとして考慮され得る。
【００４０】
スパース近似の作業は、少数の非ゼロの重み｛ｗk｝だけを用いてｘに近い表現を生成することである。そのため、ｗは疎(sparse)である。
【００４１】
典型的な閾値処理の手法においては、ｗはｘの順変換によって見つけられ、ある閾値未満の大きさを有する重みｗkはゼロに設定される。Ａが辞書Ｂについての順変換であると仮定する。即ち、
【数６】
2016517118.tif 000008
【００４２】
ＤＣＴやＤＦＴのような直交辞書の場合には、順変換Ａは行列Ｂの単なる転置である。他の辞書に関しては、適切な順変換を決定するための複数の手法が存在する。
【００４３】
要素毎の閾値処理を実行する閾値処理演算子Ｔが以下のように定義される。
【数７】
2016517118.tif 000009
【００４４】
軟型閾値処理、硬型閾値処理、又は適応型閾値処理のような他の形式の閾値処理もまた可能である。
【００４５】
閾値処理後の重みは信号拡張の中で使用され、近似済み信号ａ、即ちａ＝Ｂ・Ｔ（Ａ・ｘ）が得られる。スパース近似は全体の反復的処理の一部であるため、各反復の期間中に次式が成立する。
【数８】
2016517118.tif 000010
閾値は各反復において異なるように設定され得る。また、異なる辞書要素に対応する重みに対して、異なる閾値が使用され得る。
【００４６】
つまり、換言すると、スパーシティ強調部２０は、順変換、即ちＡを用いた変換を実行して変換係数ｗを得ること、その変換係数を閾値処理して閾値処理済み係数、即ちＴ（ｗk）を得ること、及びその閾値処理済み係数に対してＢを用いた逆変換を実行すること、を順次行うことで、スパース近似を実行するよう構成されてもよい。しかしながら、上述したようなスパース近似を行うための閾値処理概念は、複数の可能性の中の１つの可能性でしかない。例えば、上述の方法に代えて、スパース近似を行うためにコスト関数最適化スキームが使用されてもよい。例えば、コスト関数は、非ゼロの変換係数の数又はその変換係数のエネルギーの尺度と、スパース近似を一方とし近似されるべき入来信号ｘを他方としたそれらの間の差異という別の尺度と、を組合せることもできる。代替的に、スパーシティ強調部は、パラメータ化された関数の係数を順次最適化することで、近似済み信号を連続的に構築することにより、スパース近似を実行するよう構成されてもよい。
【００４７】
図１の装置の機能の説明を続けると、高周波部分抽出部３０は、以下のように細部抽出を行う。この抽出は、ＲMにおける低周波成分が、Ｕにおけるフィルタ、即ちアップサンプラー１０によって、忠実にアップサンプリングされるという仮定に基づいている。従って、これら低周波成分は変更されるべきでなく、寧ろ、近似ａ(i)の細部（高周波部分）がアップサンプリング済み信号を精製するために使用されるべきである。この目的で、ａ(i)の低周波部分が推定され、細部ｈ(i+1)を有する信号を得るために差し引かれる。
【００４８】
ある実施形態においては、ａ(i)をダウンサンプリングし、その後ダウンサンプリングされた信号をアップサンプリングすることによって、ａ(i)の低周波部分が推定される。
【００４９】
この目的で、高周波部分抽出部３０が図２に示すように構成されてもよい。図２は、高周波部分抽出部の対応する内部構造の一例を示す。信号ａが入力される高周波部分抽出部３０の入力と、信号ｈが出力される高周波部分抽出部３０の出力との間には、減算部７０の非反転入力と出力とがそれぞれ接続されている。信号ａが入力される入力と、減算部７０の反転入力との間には、ダウンサンプラー５０及びアップサンプラー６０が記載の順序で直列に接続されている。
【００５０】
換言すれば、ａをダウンサンプリングし、次にそのダウンサンプリングされた信号をアップサンプリングした結果として得られる信号が、ａ(i)から差し引かれて、細部ｈ(i+1)を有する信号が生成される。即ち、
【数９】
2016517118.tif 000011
【００５１】
好ましい実施形態において、細部抽出段階３０において使用されるアップサンプラー６０、即ちＶは、前述した初期アップサンプリングに使用されるアップサンプラー１０、即ちＵと同じである。抽出された細部、即ちｈは、推定されたＨＲ信号ｘを次の反復において更新するために使用される。
【数１０】
2016517118.tif 000012
【００５２】
最後の反復の後のｘ(i+1)内のサンプルが出力ＨＲ信号を形成する。
【００５３】
図３ａ〜図３ｆは、信号ｓの一例としての画像を参照しながら上述した実施形態の作動モードを示す。図３ａは、アップサンプラー１０によるアップサンプリング処理前の入力ＬＲ画像ｓを示す。低い空間解像度に起因して、この画像は小さい。アップサンプラー１０によるアップサンプリングの後、推定されたＨＲ画像ｕが得られる。アップサンプリング処理によってピクセル数が増大したため、この画像ｕは図３ａの画像と比べてサイズが大きくなっている。上述したように、ｕはｕ＝Ｕ・ｓによって得られてもよい。この初期アップサンプリング処理の後、現時点で強調されるべき信号、即ちｘにスパース近似が施される。例えば最初の反復の開始時において、ｘはｕと等しいことを思い出して欲しい。図３ｃは、最初の反復後のｕのスパース近似の結果、即ち上述した例示的な閾値の実施形態において１０％の非ゼロの重みを使用したａ(o)を示す。
【００５４】
その後、スパース近似即ちａは、高周波部分抽出又は細部抽出を受け、この抽出は、上述のようにダウンサンプリング処理とそれに続くアップサンプリング処理の連続的な適用によって実行され、その結果、ａの推定された低周波成分が得られる。図３ｄは、図２の実施形態を使用した最初の反復の結果、即ちＵ・Ｄ・ａ(0)を示す。図２内の減算部は、次にａ(0)の推定された細部、即ち高周波部分
2016517118.tif 000013
を結果としてもたらす。最後に、結合部４０内の結合により信号ｘが更新されて、図３ｆは最初の反復後の結果、即ち
2016517118.tif 000014
を示す。つまり、図３ｆは細部を有する更新されたＨＲ画像を示し、その画像内の斜めの線は、図３ｂに示す初期アップサンプリング済みの結果と比べてシャープに見える。
【００５５】
スパース近似において使用可能な辞書について以下に説明する。ピース毎の滑らかなデータのスパース表現を取得することを目標として、方向性変換を構築しかつ実装するための広範な研究が行われてきた。カーブレット変換は、ピース毎の滑らかな画像の最適なスパース近似を提供すると考えられる、１つの方向性変換である（非特許文献１１）。しかしながら、カーブレットは、帯域制限されているため、空間ドメインにおいて限定的な定位しか提供できない。コンツアレットは、方向性フィルタバンクに基づいて構築され、コンパクトにサポートされた方向性要素である（非特許文献１２）。この手法における方向選択性は、アーチファクトを起こしがちなフィルタバンクの特別なサンプリング規則によって人工的に課せられている。更に、ピース毎の滑らかな画像のためのスパース近似に対する理論的保証は存在しない。
【００５６】
近年、所謂シアレットと呼ばれる新規な方向性表現システムが開発され、それは、連続的モデル及び離散的モデルの統一された取り扱いを提供し、ピース毎の滑らかな画像の最適なスパース表現を可能にする（非特許文献１３）。シアレットの顕著な特徴の一つは、回転の代わりにせん断によって方向選択性が達成されるという点である。この点は、実際に連続界と離散界との間の明確なリンクにとって決定的であり、シア行列がある条件下において整数格子を保持するという事実から生まれたものである。更に、シアレットはコンパクトにサポートされ得るため、シアレットは空間ドメインにおける高度な定位を提供する。
【００５７】
辞書はまた、１セットの実例を使用するトレーニングによっても生成され得る（非特許文献１４）。
【００５８】
これまで説明した実施形態は、全て信号アップサンプリングに関する。しかし、強調されるべき信号を強調するためにスパース近似とその後の高周波部分抽出とを使用することは、他の方法で取得された信号であって、如何なる理由であれ強調される必要があるか又は強調されることが有利な信号に対しても、転用可能である。図４において、信号強調の一例、特に入力信号を強調する装置の一例について説明する。ここでは、図１〜図３ｆに関連して上述した細部合成の枠組みが使用されて、上述したような入力画像であり得る入力信号の強調されたバージョンを生成する。強調された信号のサンプル解像度は入力信号のサンプル解像度と同じであってもよい。画像の場合には、強調された画像は入力画像と同じ解像度を有してもよい。
【００５９】
図４を説明するにあたり、これまで説明してきた図において既に使用された同じ参照記号が再使用される点に留意されたい。つまり、これら構成要素の機能は既に上述した機能と同じであり、従って、それらの機能、可能な代替案、及び実現方法などに関する上述した記載事項の全ては、図４の実施形態にも適用されるという意味である。
【００６０】
図４は入力信号ｓを強調するための装置を示し、この装置は、スパーシティ強調部２０と高周波部分抽出部３０と結合部４０とを含み、これら三部は、結合部４０の出力と第１入力との間に記載された順序でループを構成するよう接続されており、結合部４０の第２入力は入来する信号ｓを受信する。結合部４０の出力は図４の装置の出力をも同時に形成する。
【００６１】
図１と図４を比較すると明らかなように、図４の装置は実際には図１のアップサンプリング装置５の１つの構成要素であってもよく、その場合、初期的にアップサンプリングされた信号ｕは、図４の場合には強調されるべき信号ｓを表現している。換言すると、図４では初期アップサンプラー１０は使用されない。図１の場合と同様に、図４の装置もまた、入来信号を強調する際に作動の反復モードを使用する。図４の場合には、細部抽出部又はハイパス部分抽出部３０を実現するためにハイパスフィルタが使用されてもよい。
【００６２】
ビデオ符号化の文脈において、例えば図４の装置によって実行される信号強調は、例えば細部合成を実現させるために使用されてもよい。そのような細部合成は、例えばＨ．２６４又はＨＥＶＣなどのハイブリッド・ビデオコーデックのＤＰＣＭ復元段階の後に、例えばループフィルタやポストフィルタとして適用されてもよい。
【００６３】
ここで、上述した実施形態についての一般的な注意点について述べる。
【００６４】
アップサンプリングの概念に関し、例えば、上述した点の他に、細部合成処理が反復的に作動する必要がない点にも留意すべきである。換言すれば、単に１回だけの反復であっても十分になり得る。その場合、アップサンプリング装置の他の実施形態を開示する図５に示されるように、ループ構成を省略することができる。ここでも、対応する信号強調装置、即ち図４の実施形態に対する代替的な装置は、初期アップサンプラー１０を省略して、信号強調装置に入来する信号として信号ｓを直接的に受け取るようにすることで実現できる。
【００６５】
更に、スパーシティ強調部２０によって使用されるスパース近似は、第２信号を近似している近似済み信号ａを取得するために、必ずしも第２信号、即ちアップサンプラー１０により取得されたｕに対して作動する必要がない。寧ろ代替案によれば、スパーシティ強調部２０は第１信号に対して直接的に作動するよう構成され得る。例えば図１に示す反復的構成において、スパース近似部２０は、少なくとも最初の反復に関する限り、初期信号ｓをその入力として使用することが可能である。このように、図１に示すアップサンプリング処理の反復的構成を使用する場合、スパース近似部２０によって実行されるスパース近似は、例えば最初の反復において第１信号ｓに対して直接実行されてもよく、他方、その後の反復（単数又は複数回）においては、結合の結果、即ち結合済み／更新済みの信号ｘを使用して実行されてもよい。第１信号に対してスパース近似を直接適用する場合、スパーシティ強調部２０は、第１信号を第２解像度へとアップサンプリングするために、例えばアップサンプラー１０とは異なるアップサンプリング処理を使用してもよい。代替的に、スパーシティ強調部は、第１解像度から第２解像度へと遷移させるために、辞書の基底関数の補間済みバージョンを使用するなどして、順変換、即ちＡを修正してもよい。更に、第２信号及び近似済み信号の単純な加算は、単なる一例に過ぎず、変更可能である点にも注意されたい。
【００６６】
同様に、強調の概念に関し、上述した内容とは別に強調処理が必ずしも反復的に作動する必要はない点も留意すべきである。換言すれば、単に１回の反復だけで十分である可能性もある。更に、第２信号及び近似済み信号の単純な加算は単なる一例に過ぎず、変更可能である点にも注意されたい。
【００６７】
上述した実施形態が、一次元的にサンプリングされた信号だけでなく、静止ピクチャ又はビデオのフレームのような画像など二次元的にサンプリングされた信号に対しても適用され得ることは、既に述べたとおりである。ピクチャ／画像に対して適用された場合、初期アップサンプラー１０は、上述したようにＦＩＲフィルタ、ＩＩＲフィルタ又は類似のフィルタとして実現されてもよく、かつこのフィルタは、二次元的に作動するか、又は例えば入来信号を最初に一方向に沿ってフィルタ処理し、次に最初の方向に対して直角の別の方向に処理するように、つまり横列毎に処理してから縦列毎に処理するかその逆順で処理するように、順次的に作動してもよい。同様に、スパース近似部２０により実行されるスパース近似は、二次元的に、又は一次元的スパース近似の連鎖として、つまり、まず横列毎に処理してから次に縦列毎に処理するかその逆順で処理するように、作動してもよい。例えば、スパース近似の上述した閾値処理の構成を想像してもらいたい。その場合、順変換Ａ及び逆変換Ｂは、最初に画像の縦列部分に対して適用され、次に横列毎に適用されるか、又はその逆順で適用される、一次元の変換であってもよい。理論的には、一方向に沿ってスパース近似を実行することと、他の方向に沿ってスパース近似を実行することとの切り替えは、１回の反復内で実行可能である。即ち、高周波部分抽出の前、又は反復から反復への間のいずれでも実行可能である。
【００６８】
代替的に、初期アップサンプリング、スパース近似、細部抽出及び結合は、全て最初に１つの軸に沿って実行され、次に、このプロセスを直交軸について再度実行することもできる。つまり、まず横列毎に実行して次に縦列毎に実行し、又はこの逆の順序で実行するなどできる。このように、Ｍ×Ｎ画像ｓは、最初に横列軸に沿って、即ち各横列についてアップサンプリングされた、サイズ２Ｍ×Ｎを有する強調されたアップサンプリング済み画像ｘへとアップサンプリングされ、次に、そのサイズ２Ｍ×Ｎを有する強調されたアップサンプリング済み画像ｘは、縦列軸に沿って、即ち各縦列について、上述した実施形態のうちのいずれかに従う強調されたアップサンプリング処理が適用されて、その結果、二次元的にアップサンプリングされた２Ｍ×２Ｎの画像がもたらされる。このように、アップサンプリング装置は、一次元的にアップサンプリングされた二次元信号を取得するために、二次元信号の横列又は縦列のうちの一方を第１信号に順次指定し、この第１信号のアップサンプリングを実行することで、二次元信号をアップサンプリングしてもよい。その後、そのアップサンプリング装置は、一次元的にアップサンプリングされた二次元信号の横列及び縦列のうちの他方を第１信号に順次指定し、この第１信号のアップサンプリングを実行してもよい。
【００６９】
すでに上述したように、スパース近似は現在の信号バージョンｘに対して局所的又は全体的に適用されてもよい。つまり、スパース近似の閾値処理構成の場合、順変換及び逆変換が、全体画像をカバーするように画像にわたって変換窓をシフトしながら画像に対して局所的に適用されてもよく、又は全体的に適用されてもよい。
【００７０】
完全性を期す意味から、図６ａ及び図６ｂはハイブリッド・ビデオ符号器１００及びハイブリッド・ビデオ復号器２００をそれぞれ示す。これは、ＤＰＣＭ（差分パルスコードモジュレーション）タイプのハイブリッド・ビデオコーデックなどにおいて、図４の信号強調装置を使用する上述の可能性を説明するためである。図６ａ及び図６ｂはそのようなハイブリッド・ビデオ符号器／復号器の典型的な構造を示す。符号器１００は、減算部１０２と量子化部１０４とエントロピーコーダ１０６とを含み、それらが、信号ｓが入力されるビデオ入力とビデオデータストリームが出力されるビデオ出力との間に、記載の順序で直列に接続されている。減算部１０２のもう一方の反転入力には予測信号
2016517118.tif 000015
が適用されるが、この予測信号は、例えば空間的及び／又は時間的予測モードを含む、例えば複数の予測モードを使用して取得されたものである。減算部１０２に出力において、残余信号ｅ、即ち予測残余が結果として得られ、この信号に対して量子化部１０４による量子化が施される。図示しないが、量子化部１０４は、量子化の前に残余信号ｅをスペクトル変換することで、スペクトルドメインにおいて量子化を実行してもよい。量子化によってオリジナルの残余信号ｅとは異なる残りの残余信号ｅ’は、次にエントロピーコーダ１０６によってビデオデータストリームへと損失なく符号化される。こうして残余信号ｅ’が復号器において使用可能になるとともに、符号器１００の予測ループ１０８内へと入力される。その予測ループ１０８には、結合部１１０とループ内フィルタ１１４と予測部１１２とがこの記載の順序で互いに直列に接続された直列接続が含まれており、結合部１１０の第１入力が残余信号ｅ’を受信し、結合部１１０の他の入力が予測信号
2016517118.tif 000016
を受信して、結合部１１０は加算によってＤＰＣＭ復元された信号ｓ’を計算する。ループ内フィルタ１１４は、ＤＰＣＭ復元された信号ｓ’を改善して最終的に復元された信号
2016517118.tif 000017
をもたらす。この最終信号
2016517118.tif 000018
は、任意ではあるがピクチャバッファ内に記憶されて後続の予測のための参照として働いてもよく、よって参照信号と称される。予測部１１２は予測を実行する。即ち、この参照信号
2016517118.tif 000019
に基づいて、かつ上述したようにこの目的のために例えば空間的及び／又は時間的予測を使用して、
2016517118.tif 000020
を取得する。このように、ループ内フィルタ１１４は予測ソースを改善するものであり、上述した図４の信号強調装置を含んでもよい。
【００７１】
対応するハイブリッド復号器２００は、図６ｂに示すように構成されてもよい。即ち、エントロピーデコーダ２０２がその入力においてビデオデータストリームを受信して残余信号ｅ’を出力し、この残余信号が復号器２００の予測ループ２１０によって受信される。このループは、符号器１００の予測ループ１０８に則して構築されている。予測ループ２０８は、結合部２１０とループ内フィルタ２１４と予測部２１２とを含み、結合部２１０の第１入力が予測信号
2016517118.tif 000021
をその第１入力において受信し、残余信号ｅ’をその第２入力において受信して、結合部２１０の出力における信号ｓ’がＤＰＣＭ復元信号を構成する。その信号ｓ’はループ内フィルタ２１４を通過し、このフィルタは図６ａにおけるフィルタ１１４と同様に作動するものであり、従って図４の信号強調装置を含んでもよく、結果として復号器出力信号
2016517118.tif 000022
をもたらす。上述したように、この最終信号
2016517118.tif 000023
はまた、任意ではあるがピクチャバッファ内に記憶されてもよく、更に後続の予測のための参照として作用してもよく、よって参照信号と称される。予測部２１２はこの参照信号
2016517118.tif 000024
に基づいて予測を実行し、予測部１１２の予測、即ち空間的及び／又は時間的予測を使用する予測を再度実行し、それにより例えば予測信号
2016517118.tif 000025
を取得する。
【００７２】
完全性を期す意味から、図７ａ及び図７ｂは、図１若しくは図５のアップサンプリング装置又は上述した他のアップサンプリングの実施形態のいずれもが空間スケーラビリティをサポートしているビデオコーデックにおいて使用可能であることを示す。図７は、ビデオが入力され、ビデオが強調コーダ３００へと直接的に到達し、かつビデオがダウンサンプラー３０２を介してベースコーダ３０４へと間接的に到達する、ビデオ符号器を示す。ベースコーダ３０４は、例えば図６ａ及び図６ｂに関して上述したようなハイブリッド・ビデオ符号化を使用して、ダウンサンプリングされたビデオをベースデータストリーム３０６へと符号化する。強調コーダ３００はダウンサンプリングされていないオリジナルビデオに対して作用するが、レイヤ間冗長性低減のためには、強調コーダ３００は、ベースレイヤデータストリーム３０６から取得可能なダウンサンプリングされたビデオの復元を使用する。この目的で、アップサンプラー３０８は、復元されたベースレイヤ信号をアップサンプリングして、そのアップサンプリングされた信号を強調コーダ３００に対するレイヤ間予測ソースとして供給する。次に、強調コーダ３００は、レイヤ間予測を使用してより高度な空間解像度を有するビデオの予測的な符号化をより効率的に実行する。アップサンプラー３０８は、図１又は図５などにそれぞれ示して説明したように実現されてもよい。強調コーダ３００は、レイヤ間予測残余を強調レイヤデータストリーム３１０内へと符号化し、ここで、強調レイヤデータストリーム３１０とベースレイヤデータストリーム３０６との両方がスケーラブルデータストリーム３１２を形成する。図７ｂは対応するビデオ復号器を示しており、ベースレイヤデータストリーム３０６と強調レイヤデータストリーム３１０とからなるビデオデータストリーム３１２を受信し、強調デコーダ３１４とベースデコーダ３１６とを含む。ベースデコーダ３１６は、ベースレイヤデータストリーム３０６を使用して低い空間解像度のビデオ３１８を復元し、このビデオ３１８がアップサンプラー３２０によりアップサンプリングされて、強調デコーダ３１４によるレイヤ間予測のための予測ソースを形成する。強調デコーダ３１４は、アップサンプラー３２０により提供された予測ソースと強調レイヤデータストリーム３１０とをそれぞれ用いたレイヤ間予測を使用することで、高い空間解像度のビデオを復元する。アップサンプラー３２０とアップサンプラー３０８とは同じであり、アップサンプラー３２０は、図１若しくは図５、又はアップサンプリング装置の他の実施例の何れかに関して上述したように、実現されてもよい。
【００７３】
これまで装置の文脈で幾つかの態様を示してきたが、これらの態様は対応する方法の説明でもあることは明らかであり、そのブロック又は装置が方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応する装置の対応するブロックもしくは項目又は特徴を表している。方法ステップの幾つか又は全てが、例えばマイクロプロセッサ、プログラム可能なコンピュータ、又は電子回路のようなハードウエア装置によって（又は使用して）実行されてもよい。幾つかの実施形態では、最も重要なステップの何れか１つ又は複数がそれら装置によって実行されてもよい。
【００７４】
所定の構成要件にも依るが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能な）、デジタル記憶媒体、例えばフレキシブルディスク，ＤＶＤ，ブルーレイ，ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ，フラッシュメモリなどのデジタル記憶媒体を使用して実行することができる。したがって、デジタル記憶媒体はコンピュータ読み取り可能であってもよい。
【００７５】
本発明に従う幾つかの実施形態は、上述した方法の１つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【００７６】
一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、そのプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動可能である。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されていても良い。
【００７７】
本発明の他の実施形態は、上述した方法の１つを実行するための、機械読み取り可能なキャリアに記憶されたコンピュータプログラムを含む。
【００７８】
換言すれば、本発明の方法のある実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【００７９】
本発明の他の実施形態は、上述した方法の１つを実行するために記録されたコンピュータプログラムを含む、データキャリア（又はデジタル記憶媒体又はコンピュータ読み取り可能な媒体）である。そのデータキャリア、デジタル記憶媒体、又は記録された媒体は、典型的に有形及び／又は非一時的である。
【００８０】
本発明の他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットを介するデータ通信接続を介して伝送されるよう構成されても良い。
【００８１】
他の実施形態は、上述した方法の１つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
【００８２】
他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【００８３】
本発明に従う他の実施形態は、ここで説明した方法の１つを実行するためのコンピュータプログラムを、受信器へ（例えば電子的に又は光学的に）伝送するよう構成された装置又はシステムを含む。受信器は、例えばコンピュータ、携帯機器、メモリーデバイス又はそれらの類似物であってもよい。装置又はシステムは、例えばコンピュータプログラムを受信器へと転送するファイルサーバを含んでもよい。
【００８４】
幾つかの実施形態においては、（例えば書換え可能ゲートアレイのような）プログラム可能な論理デバイスが上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の１つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。
【００８５】
本明細書に記載された装置は、ハードウエア装置を用いるか、コンピュータを用いるか、又はハードウエア装置とコンピュータとの組合せを用いて、実装されてもよい。
【００８６】
本明細書に記載された方法は、ハードウエア装置を用いるか、コンピュータを用いるか、又はハードウエア装置とコンピュータとの組合せを用いて、実行されてもよい。
【００８７】
上述した実施形態は、本発明の原理を単に例示的に示したに過ぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではなく、添付した特許請求の範囲によってのみ限定されるべきである。
【図１】
2016517118.tif 000026
【図２】
2016517118.tif 000027
【図３ａ】
2016517118.tif 000028
【図３ｂ】
2016517118.tif 000029
【図３ｃ】
2016517118.tif 000030
【図３ｄ】
2016517118.tif 000031
【図３ｅ】
2016517118.tif 000032
【図３ｆ】
2016517118.tif 000033
【図４】
2016517118.tif 000034
【図５】
2016517118.tif 000035
【図６ａ】
2016517118.tif 000036
【図６ｂ】
2016517118.tif 000037
【図７ａ】
2016517118.tif 000038
【図７ｂ】
2016517118.tif 000039
【手続補正書】
【提出日】平成27年2月24日(2015.2.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１解像度を有する第１信号（ｓ）をアップサンプリングする装置であって、
前記第１信号に対してアップサンプリング処理を適用して前記第１解像度より高い第２解像度を有する第２信号を取得するよう構成されたアップサンプラー（１０）と、
スパース近似を使用して、前記第２解像度を有する近似済み信号（ａ）を生成するよう構成されたスパーシティ強調部（２０）と、
前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するよう構成された高周波部分抽出部（３０）であって、前記高周波部分抽出部（３０）は、ハイパスフィルタであるか、又は前記近似済み信号の低周波部分を推定（５０、６０）し、かつ前記近似済み信号から前記低周波部分を差し引く（７０）ことによって、前記近似済み信号から前記高周波部分を抽出するよう構成されている、高周波部分抽出部（３０）と、
前記第２信号（ｕ）と前記抽出された高周波部分（ｈ）とを結合するよう構成された結合部（４０）と、を備える装置。
【請求項２】
請求項１に記載の装置であって、
前記アップサンプラー（１０）は、ＦＩＲフィルタ、ＩＩＲフィルタ又は両者の組合せを使用して前記アップサンプリング処理を実行するよう構成された、装置。
【請求項３】
請求項１又は２に記載の装置であって、
前記スパーシティ強調部（２０）は、前記第２信号に対してスパース近似を適用することによって、前記近似済み信号を生成するよう構成された、装置。
【請求項４】
請求項１乃至３のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、順に、順変換を実行して変換係数を取得し、前記変換係数を閾値処理して閾値処理済み変換係数を取得し、かつ前記閾値処理済み変換係数に対して逆変換を実行することによって、前記スパース近似を実行するよう構成された、装置。
【請求項５】
請求項１乃至３のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、コスト関数を最適化することによって、前記スパース近似を実行するよう構成された、装置。
【請求項６】
請求項１乃至３のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、パラメータ化された関数の係数を順に最適化することにより前記近似済み信号を連続的に構築することによって、前記スパース近似を実行するよう構成された、装置。
【請求項７】
請求項１乃至６のいずれかに記載の装置であって、
前記高周波部分抽出部（３０）は、前記近似済み信号に対してダウンサンプリング（５０）とそれに続くアップサンプリング（６０）とを行うことによって、前記低周波部分を推定するよう構成された、装置。
【請求項８】
請求項７に記載の装置であって、
前記高周波部分抽出部は、ダウンサンプリングされた前記近似済み信号をアップサンプリング（６０）する際に、前記アップサンプラー（１０）のアップサンプリング処理を使用するよう構成された、装置。
【請求項９】
請求項１乃至８のいずれかに記載の装置であって、
前記結合部（４０）は、前記第２信号（ｕ）と前記近似済み信号の高周波部分（ｈ）とを結合する際に、その一方と他方とを相互に加算するよう構成された、装置。
【請求項１０】
請求項１乃至９のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）、前記高周波部分抽出部（３０）及び前記結合部（４０）は、前記スパーシティ強調部（２０）が前記結合部の結合によって得られた結合済み信号（ｘ）に対してスパース近似を適用するような反復において、前記生成と前記抽出と前記結合とを反復的に実行するよう構成された、装置。
【請求項１１】
請求項１乃至１０のいずれかに記載の装置であって、
前記第１信号、前記第２信号及び前記近似済み信号は二次元信号である、装置。
【請求項１２】
請求項１乃至１１のいずれかに記載の装置であって、
一連の一次元の横列毎及び縦列毎のアップサンプリングステップを使用して、二次元信号をアップサンプリングするよう構成された、装置。
【請求項１３】
入力信号（ｓ）を強調する装置であって、
スパース近似を使用して、前記入力信号を近似している近似済み信号（ａ）を生成するよう構成されたスパーシティ強調部（２０）と、
前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するよう構成された高周波部分抽出部（３０）であって、前記高周波部分抽出部（３０）は、ハイパスフィルタであるか、又は前記近似済み信号の低周波部分を推定（５０、６０）し、かつ前記近似済み信号から前記低周波部分を差し引く（７０）ことによって、前記近似済み信号から前記高周波部分を抽出するよう構成されている、高周波部分抽出部（３０）と、
前記入力信号（ｓ）と前記近似済み信号から抽出された高周波部分（ｈ）とを結合するよう構成された結合部（４０）と、を備える装置。
【請求項１４】
請求項１３に記載の装置であって、
前記スパーシティ強調部（２０）は、前記入力信号に対してスパース近似を適用することによって、前記近似済み信号を生成するよう構成された、装置。
【請求項１５】
請求項１３又は１４に記載の装置であって、
前記スパーシティ強調部（２０）は、順に、順変換を実行して変換係数を取得し、前記変換係数を閾値処理して閾値処理済み変換係数を取得し、かつ前記閾値処理済み変換係数に対して逆変換を実行することによって、前記スパース近似を実行するよう構成された、装置。
【請求項１６】
請求項１３乃至１５のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、コスト関数を最適化することによって、前記スパース近似を実行するよう構成された、装置。
【請求項１７】
請求項１３乃至１６のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、パラメータ化された関数の係数を順に最適化することにより前記近似済み信号を連続的に構築することによって、前記スパース近似を実行するよう構成された、装置。
【請求項１８】
請求項１３乃至１７のいずれかに記載の装置であって、
前記高周波部分抽出部（３０）は、前記近似済み信号に対してダウンサンプリング（５０）とそれに続くアップサンプリング（６０）とを行うことによって、前記低周波部分を推定するよう構成された、装置。
【請求項１９】
請求項１３乃至１８のいずれかに記載の装置であって、
前記結合部（４０）は、前記入力信号と前記近似済み信号の高周波部分とを結合する際に、その一方と他方とを相互に加算するよう構成された、装置。
【請求項２０】
請求項１３乃至１９のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）、前記高周波部分抽出部（３０）及び前記結合部（４０）は、前記スパーシティ強調部（２０）が前記結合部の結合によって得られた結合済み信号（ｘ）に対してスパース近似を適用するような反復において、前記生成と前記抽出と前記結合とを反復的に実行するよう構成された、装置。
【請求項２１】
請求項１３乃至２０のいずれかに記載の装置であって、
前記第１信号、前記第２信号及び前記近似済み信号は二次元信号である、装置。
【請求項２２】
請求項１３乃至２１のいずれかに記載の装置であって、
一連の一次元の横列毎及び縦列毎のアップサンプリングステップを使用して、二次元信号を強調するよう構成された、装置。
【請求項２３】
第１解像度を有する第１信号（ｓ）をアップサンプリングする方法であって、
前記第１信号に対してアップサンプリング処理を適用して前記第１解像度より高い第２解像度を有する第２信号（ｕ）を取得するステップと、
スパース近似を使用して、前記第２解像度を有する近似済み信号（ａ）を生成するステップと、
ハイパスフィルタを使用するか、又は前記近似済み信号の低周波部分を推定し（５０、６０）、かつ前記近似済み信号から前記低周波部分を差し引くことによって、前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するステップと、
前記第２信号（ｕ）と前記抽出された高周波部分（ｈ）とを結合するステップと、を備える方法。
【請求項２４】
入力信号（ｓ）を強調する方法であって、
スパース近似を使用して、前記入力信号を近似している近似済み信号（ａ）を生成するステップと、
ハイパスフィルタを使用するか、又は前記近似済み信号の低周波部分を推定し（５０、６０）、かつ前記近似済み信号から前記低周波部分を差し引くことによって、前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するステップと、
前記入力信号（ｓ）と前記近似済み信号から抽出された高周波部分（ｈ）とを結合するステップと、を備える方法。
【請求項２５】
コンピュータ上で実行されたとき、請求項２３又は２４に記載の方法を実行するためのコンピュータプログラム又はコンピュータプログラム製品。
【手続補正書】
【提出日】平成27年12月1日(2015.12.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１解像度を有する第１信号（ｓ）をアップサンプリングする装置であって、
前記第１信号に対してアップサンプリング処理を適用して前記第１解像度より高い第２解像度を有する第２信号を取得するよう構成されたアップサンプラー（１０）と、
スパース近似を使用して、前記第２解像度を有する近似済み信号（ａ）を生成するよう構成されたスパーシティ強調部（２０）と、
前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するよう構成された高周波部分抽出部（３０）であって、前記高周波部分抽出部（３０）は、ハイパスフィルタであるか、又は前記近似済み信号の低周波部分を推定（５０、６０）し、かつ前記近似済み信号から前記低周波部分を差し引く（７０）ことによって、前記近似済み信号から前記高周波部分を抽出するよう構成されている、高周波部分抽出部（３０）と、
前記第２信号（ｕ）と前記抽出された高周波部分（ｈ）とを結合するよう構成された結合部（４０）と、を備える装置。
【請求項２】
請求項１に記載の装置であって、
前記アップサンプラー（１０）は、ＦＩＲフィルタ、ＩＩＲフィルタ又は両者の組合せを使用して前記アップサンプリング処理を実行するよう構成された、装置。
【請求項３】
請求項１又は２に記載の装置であって、
前記スパーシティ強調部（２０）は、前記第２信号に対してスパース近似を適用することによって、前記近似済み信号を生成するよう構成された、装置。
【請求項４】
請求項１乃至３のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、順に、順変換を実行して変換係数を取得し、前記変換係数を閾値処理して閾値処理済み変換係数を取得し、かつ前記閾値処理済み変換係数に対して逆変換を実行することによって、前記スパース近似を実行するよう構成された、装置。
【請求項５】
請求項１乃至３のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、コスト関数を最適化することによって、前記スパース近似を実行するよう構成された、装置。
【請求項６】
請求項１乃至３のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、パラメータ化された関数の係数を順に最適化することにより前記近似済み信号を連続的に構築することによって、前記スパース近似を実行するよう構成された、装置。
【請求項７】
請求項１乃至６のいずれかに記載の装置であって、
前記高周波部分抽出部（３０）は、前記近似済み信号に対してダウンサンプリング（５０）とそれに続くアップサンプリング（６０）とを行うことによって、前記低周波部分を推定するよう構成された、装置。
【請求項８】
請求項７に記載の装置であって、
前記高周波部分抽出部は、ダウンサンプリングされた前記近似済み信号をアップサンプリング（６０）する際に、前記アップサンプラー（１０）のアップサンプリング処理を使用するよう構成された、装置。
【請求項９】
請求項１乃至８のいずれかに記載の装置であって、
前記結合部（４０）は、前記第２信号（ｕ）と前記近似済み信号の高周波部分（ｈ）とを結合する際に、その一方と他方とを相互に加算するよう構成された、装置。
【請求項１０】
請求項１乃至９のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）、前記高周波部分抽出部（３０）及び前記結合部（４０）は、前記スパーシティ強調部（２０）が前記結合部の結合によって得られた結合済み信号（ｘ）に対してスパース近似を適用するような反復において、前記生成と前記抽出と前記結合とを反復的に実行するよう構成された、装置。
【請求項１１】
請求項１乃至１０のいずれかに記載の装置であって、
前記第１信号、前記第２信号及び前記近似済み信号は二次元信号である、装置。
【請求項１２】
請求項１乃至１１のいずれかに記載の装置であって、
一連の一次元の横列毎及び縦列毎のアップサンプリングステップを使用して、二次元信号をアップサンプリングするよう構成された、装置。
【請求項１３】
入力信号（ｓ）を強調する装置であって、
スパース近似を使用して、前記入力信号を近似している近似済み信号（ａ）を生成するよう構成されたスパーシティ強調部（２０）と、
前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するよう構成された高周波部分抽出部（３０）であって、前記高周波部分抽出部（３０）は、ハイパスフィルタであるか、又は前記近似済み信号の低周波部分を推定（５０、６０）し、かつ前記近似済み信号から前記低周波部分を差し引く（７０）ことによって、前記近似済み信号から前記高周波部分を抽出するよう構成されている、高周波部分抽出部（３０）と、
前記入力信号（ｓ）と前記近似済み信号から抽出された高周波部分（ｈ）とを結合するよう構成された結合部（４０）と、を備える装置。
【請求項１４】
請求項１３に記載の装置であって、
前記スパーシティ強調部（２０）は、前記入力信号に対してスパース近似を適用することによって、前記近似済み信号を生成するよう構成された、装置。
【請求項１５】
請求項１３又は１４に記載の装置であって、
前記スパーシティ強調部（２０）は、順に、順変換を実行して変換係数を取得し、前記変換係数を閾値処理して閾値処理済み変換係数を取得し、かつ前記閾値処理済み変換係数に対して逆変換を実行することによって、前記スパース近似を実行するよう構成された、装置。
【請求項１６】
請求項１３乃至１５のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、コスト関数を最適化することによって、前記スパース近似を実行するよう構成された、装置。
【請求項１７】
請求項１３乃至１６のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）は、パラメータ化された関数の係数を順に最適化することにより前記近似済み信号を連続的に構築することによって、前記スパース近似を実行するよう構成された、装置。
【請求項１８】
請求項１３乃至１７のいずれかに記載の装置であって、
前記高周波部分抽出部（３０）は、前記近似済み信号に対してダウンサンプリング（５０）とそれに続くアップサンプリング（６０）とを行うことによって、前記低周波部分を推定するよう構成された、装置。
【請求項１９】
請求項１３乃至１８のいずれかに記載の装置であって、
前記結合部（４０）は、前記入力信号と前記近似済み信号の高周波部分とを結合する際に、その一方と他方とを相互に加算するよう構成された、装置。
【請求項２０】
請求項１３乃至１９のいずれかに記載の装置であって、
前記スパーシティ強調部（２０）、前記高周波部分抽出部（３０）及び前記結合部（４０）は、前記スパーシティ強調部（２０）が前記結合部の結合によって得られた結合済み信号（ｘ）に対してスパース近似を適用するような反復において、前記生成と前記抽出と前記結合とを反復的に実行するよう構成された、装置。
【請求項２１】
請求項１３乃至２０のいずれかに記載の装置であって、
前記入力信号及び前記近似済み信号は二次元信号である、装置。
【請求項２２】
請求項１３乃至２１のいずれかに記載の装置であって、
一連の一次元の横列毎及び縦列毎のアップサンプリングステップを使用して、二次元信号を強調するよう構成された、装置。
【請求項２３】
第１解像度を有する第１信号（ｓ）をアップサンプリングする方法であって、
前記第１信号に対してアップサンプリング処理を適用して前記第１解像度より高い第２解像度を有する第２信号（ｕ）を取得するステップと、
スパース近似を使用して、前記第２解像度を有する近似済み信号（ａ）を生成するステップと、
ハイパスフィルタを使用するか、又は前記近似済み信号の低周波部分を推定し（５０、６０）、かつ前記近似済み信号から前記低周波部分を差し引くことによって、前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するステップと、
前記第２信号（ｕ）と前記抽出された高周波部分（ｈ）とを結合するステップと、を備える方法。
【請求項２４】
入力信号（ｓ）を強調する方法であって、
スパース近似を使用して、前記入力信号を近似している近似済み信号（ａ）を生成するステップと、
ハイパスフィルタを使用するか、又は前記近似済み信号の低周波部分を推定し（５０、６０）、かつ前記近似済み信号から前記低周波部分を差し引くことによって、前記近似済み信号（ａ）から高周波部分（ｈ）を抽出するステップと、
前記入力信号（ｓ）と前記近似済み信号から抽出された高周波部分（ｈ）とを結合するステップと、を備える方法。
【請求項２５】
コンピュータ上で実行されたとき、請求項２３又は２４に記載の方法を実行するためのコンピュータプログラム又はコンピュータプログラム製品。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
その後、スパース近似即ちａは、高周波部分抽出又は細部抽出を受け、この抽出は、上述のようにダウンサンプリング処理とそれに続くアップサンプリング処理の連続的な適用によって実行され、その結果、ａの推定された低周波成分が得られる。図３ｄは、図２の実施形態を使用した最初の反復の結果、即ちＵ・Ｄ・ａ(0)を示す。図２内の減算部７０は、次にａ(0)の推定された細部、即ち高周波部分
2016517118.tif 000040
を結果としてもたらす。最後に、結合部４０内の結合により信号ｘが更新されて、図３ｆは最初の反復後の結果、即ち
2016517118.tif 000041
を示す。つまり、図３ｆは細部を有する更新されたＨＲ画像を示し、その画像内の斜めの線は、図３ｂに示す初期アップサンプリング済みの結果と比べてシャープに見える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
対応するハイブリッド復号器２００は、図６ｂに示すように構成されてもよい。即ち、エントロピーデコーダ２０２がその入力においてビデオデータストリームを受信して残余信号ｅ’を出力し、この残余信号が復号器２００の予測ループ２０８によって受信される。このループは、符号器１００の予測ループ１０８に則して構築されている。予測ループ２０８は、結合部２１０とループ内フィルタ２１４と予測部２１２とを含み、結合部２１０が予測信号
2016517118.tif 000042
をその第１入力において受信し、残余信号ｅ’をその第２入力において受信して、結合部２１０の出力における信号ｓ’がＤＰＣＭ復元信号を構成する。その信号ｓ’はループ内フィルタ２１４を通過し、このフィルタは図６ａにおけるフィルタ１１４と同様に作動するものであり、従って図４の信号強調装置を含んでもよく、結果として復号器出力信号
2016517118.tif 000043
をもたらす。上述したように、この最終信号
2016517118.tif 000044
はまた、任意ではあるがピクチャバッファ内に記憶されてもよく、更に後続の予測のための参照として作用してもよく、よって参照信号と称される。予測部２１２はこの参照信号
2016517118.tif 000045
に基づいて予測を実行し、予測部１１２の予測、即ち空間的及び／又は時間的予測を使用する予測を再度実行し、それにより例えば予測信号
2016517118.tif 000046
を取得する。
【国際調査報告】
2016517118.tif 000047
2016517118.tif 000048
2016517118.tif 000049