(57)【特許請求の範囲】
【請求項１】
撮影された複数枚の観測画像から１枚の高解像度画像を推定する超解像復元に適した領域ごとの映像符号化システムであって、
映像符号化装置と復号装置からなり、
前記映像符号化装置は、
符号化の対象とする画像の圧縮符号化を行う符号化手段と、
前記符号化手段の前段に、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に領域分割し、分割した結果をサイド情報として前記復号装置に送出する領域分割手段と、
を有することを特徴とする映像符号化システム。
【請求項２】
前記領域分割手段は、
主成分分析により求められた主成分画像に対してブロック毎に閾値処理を行うことにより動き領域を決定する動き領域判別手段と、
フーリエ振幅スペクトルの主成分分析を行い、主成分スペクトルで所定の値より大きな値を持つブロックを特異領域とする特異領域判別手段と、
前記動き領域判別手段により決定された前記動き領域と前記特異領域判別手段で決定された特異領域の差分を超解像可能領域と判定する超解像可能領域判定手段と、
を含む請求項１記載の映像符号化システム。
【請求項３】
前記符号化手段は、
前記領域分割手段にて前記超解像可能領域と判定された該領域内のマクロブロックに対して、フレーム間誤差をサブピクセル位置ずれ量に基づいて低減するインター符号化を行う手段を含む
請求項１または２記載の映像符号化システム。
【請求項４】
前記復号装置は、
前記符号化装置で符号化されたブロックが入力されると、該符号化装置の前記領域分割手段から取得した前記サイド情報に基づいて、各ブロック毎に前記超解像可能領域、前記特異領域、前記平坦・静止領域に分類し、該超解像可能領域に対しては、複数枚の観測画像から１枚の高解像度画像を推定する超解像復元を行い、他の領域については補間を行う復号手段を有する
請求項１記載の映像符号化システム。
【請求項５】
撮影された複数枚の観測画像から１枚の高解像度画像を推定する超解像復元に適した領域毎に符号化を行う映像符号化装置であって、
符号化の対象とする画像の圧縮符号化を行う符号化手段と、
前記符号化手段の前段に、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に領域分割し、分割した結果をサイド情報として前記復号装置に送出する領域分割手段と、
を有することを特徴とする映像符号化装置。
【請求項６】
前記領域分割手段は、
主成分分析により求められた主成分画像に対してブロック毎に閾値処理を行うことにより動き領域を決定する動き領域判別手段と、
フーリエ振幅スペクトルの主成分分析を行い、主成分スペクトルで所定の値より大きな値を持つブロックを特異領域とする特異領域判別手段と、
前記動き領域判別手段により決定された前記動き領域と前記特異領域判別手段で決定された特異領域の差分を超解像可能領域と判定する超解像可能領域判定手段と、
を含む請求項５記載の映像符号化装置。
【請求項７】
前記符号化手段は、
前記領域分割手段にて前記超解像可能領域と判定された該領域内のマクロブロックに対して、フレーム間誤差をサブピクセル位置ずれ量に基づいて低減するインター符号化を行う手段を含む
請求項５または６記載の映像符号化装置。
【請求項８】
撮影された複数枚の観測画像から１枚の高解像度画像を推定する超解像復元に適した領域毎に符号化を行う映像符号化装置から入力されたデータを復号する映像復号装置であって、
前記符号化装置で符号化されたブロックが入力されると、該符号化装置から入力された領域分割の結果であるサイド情報に基づいて、各ブロック毎に、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に分類し、該超解像可能領域に対しては、複数枚の観測画像から１枚の高解像度画像を推定する超解像復元を行い、他の領域については補間を行う復号手段を有する
ことを特徴とする映像復号装置。
【請求項９】
撮影された複数枚の観測画像から１枚の高解像度画像を推定する超解像復元に適した領域毎に符号化及び復号化を行う映像符号化・復号化方法であって、
映像符号化装置と復号装置からなるシステムにおいて、
前記映像符号化装置は、
符号化を行う前処理として、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に領域分割し、分割した結果をサイド情報として前記復号装置に送出する領域分割ステップと、
符号化の対象とする画像の圧縮符号化を行う符号化ステップと、を行い、
前記復号装置は、
前記符号化装置で符号化されたブロックが入力されると、該符号化装置から取得した前記サイド情報に基づいて、各ブロック毎に前記超解像可能領域、前記特異領域、前記平坦・静止領域に分類し、該超解像可能領域に対しては、複数枚の観測画像から１枚の高解像度画像を推定する超解像復元を行い、他の領域については補間を行う復号ステップを行う
ことを特徴とする映像符号化方法。
【請求項１０】
前記領域分割ステップにおいて、
主成分分析により求められた主成分画像に対してブロック毎に閾値処理を行うことにより動き領域を決定する動き領域判別ステップと、
フーリエ振幅スペクトルの主成分分析を行い、主成分スペクトルで所定の値より大きな値を持つブロックを特異領域とする特異領域判別ステップと、
前記動き領域判別ステップにより決定された前記動き領域と前記特異領域判別ステップで決定された特異領域の差分を超解像可能領域と判定する超解像可能領域判定ステップと、
を行う請求項９記載の映像符号化方法。
【請求項１１】
前記符号化ステップにおいて、
前記領域分割ステップにて前記超解像可能領域と判定された該領域内のマクロブロックに対して、フレーム間誤差をサブピクセル位置ずれ量に基づいて低減するインター符号化を行う
請求項９または１０記載の映像符号化方法。
【請求項１２】
請求項５乃至７のいずれか１項に記載の映像符号化装置を構成する各手段としてコンピュータを機能させるための映像符号化プログラム。
【請求項１３】
請求項８に記載の映像復号装置を構成する各手段としてコンピュータを機能させるための映像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラムに係り、特に、撮影された映像を超解像復元により高解像度化するための映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラムに関する。
【背景技術】
【０００２】
高精細な映像（画像）が医療、セキュリティ、リモートセンシング、マルチメディアなどの分野で求められている。高価な撮像素子はコストが高く、いずれ性能限界を迎える。そこで、ソフトウェアによる高解像度化、特に、超解像技術が注目されている。「超解像復元」は、複数枚の観測画像から１枚の高解像度画像を推定する画像処理技術である。
【０００３】
一方、一般にカメラで撮影された画像や動画像は伝送コストやストレージコストを減らすために圧縮される。映像の圧縮符号化は伝送コスト、ストレージコストを小さくするために不可欠な処理である。しかし、その際に発生する量子化ノイズの影響で超解像の精度が低下し、高精細な映像を得ることができない。
【０００４】
ここでは、最初に、映像符号化と超解像復元の両分野にまたがる先行研究の従来技術を説明する。映像符号化と超解像復元の両分野にまたがる先行研究は、「圧縮された映像に対する超解像復元」と「超解像を利用した高効率圧縮」の２つに分類される。
【０００５】
（１）圧縮された映像に対する超解像復元
圧縮による量子化ノイズを含む複数枚の低解像度画像から１枚の高解像度画像を推定する方法がある（例えば、非特許文献１参照）。この方法は、通常の超解像復元よりも問題が複雑化し、また、高解像度画像の推定精度は低下する。また、量子化によって失われた周波数帯域を復元することは極めて困難である。
【０００６】
（２）超解像を利用した高効率圧縮
映像の圧縮効率を高めるために超解像復元を利用する方法がある（例えば、非特許文献２，３，４，５参照）。この方法は、エンコーダ側で映像の全フレーム（あるいは一部）をダウンサンプルし、デコーダ側で超解像復元を行うことにより元の高精細映像に近い映像を出力することができる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】C. A. Segall. R. Molina, and A. K. Katsaggelos, " High-Resolution Images from Low-Resolution Compressed Video" IEEE Sig. Proc. Mag. 2003.
【非特許文献２】D. Barreto, L. D. Alvarez, R. Molina, A. K. Katsaggelos, "Region-based Super-Resolution for compression", Multidimensional Systems and Sig. Proc., Springer Netherlands 2007.
【非特許文献３】Minmin Shen, Ping Xue, Ci Wang, "A Novel Scalable Video Coding Scheme Using Super-Resolution Techniques" Multimedia Signal Processing, IEEE 2008.
【非特許文献４】近藤敏志、遠間正真、"Video Coding with Super-Resolution Post-Processing" IEEE International Conference on Image Processing, 2006.
【非特許文献５】A. Segall, M. Elad, P. Milanfar, R. Webb and C. Fogg, "Improved High-Definition Video by Encoding at an Intermidiate Resolution "Visual Communications and Image Processing 2004, Proc. Of SPIE-IS&T Electronic Imageing, SPIE Vol. 5308.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記のように、本来、「映像の高圧縮」と「超解像復元の精度維持」とでは、その目的が相反するため、超解像復元の精度を維持したまま対象の映像を高圧縮することが困難であった。
【０００９】
本発明は、上記の点に鑑みなされたもので、「映像の高圧縮」と「超解像復元の精度維持」を両立させることが可能な映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、本発明（請求項１）は、撮影された複数枚の観測画像から１枚の高解像度画像を推定する超解像復元に適した領域ごとの映像符号化システムであって、
映像符号化装置と復号装置からなり、
前記映像符号化装置は、
符号化の対象とする画像の圧縮符号化を行う符号化手段と、
前記符号化手段の前段に、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に領域分割し、分割した結果をサイド情報として前記復号装置に送出する領域分割手段と、を有する。
【００１１】
また、本発明（請求項２）は、請求項１の前記領域分割手段において、
主成分分析により求められた主成分画像に対してブロック毎に閾値処理を行うことにより動き領域を決定する動き領域判別手段と、
フーリエ振幅スペクトルの主成分分析を行い、主成分スペクトルで所定の値より大きな値を持つブロックを特異領域とする特異領域判別手段と、
前記動き領域判別手段により決定された前記動き領域と前記特異領域判別手段で決定された特異領域の差分を超解像可能領域と判定する超解像可能領域判定手段と、を含む。
【００１２】
また、本発明（請求項３）は、請求項１の前記符号化手段において、
前記領域分割手段にて前記超解像可能領域と判定された該領域内のマクロブロックに対して、フレーム間誤差をサブピクセル位置ずれ量に基づいて低減するインター符号化を行う手段を含む。
【００１３】
また、本発明（請求項４）は、請求項１の前記復号装置において、
前記符号化装置で符号化されたブロックが入力されると、該符号化装置の前記領域分割手段から取得した前記サイド情報に基づいて、各ブロック毎に前記超解像可能領域、前記特異領域、前記平坦・静止領域に分類し、該超解像可能領域に対しては、複数枚の観測画像から１枚の高解像度画像を推定する超解像復元を行い、他の領域については補間を行う復号手段を有する。
【００１４】
また、本発明（請求項５）は、撮影された複数枚の観測画像から１枚の高解像度画像を推定する超解像復元に適した領域毎に符号化を行う映像符号化装置であって、
符号化の対象とする画像の圧縮符号化を行う符号化手段と、
前記符号化手段の前段に、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に領域分割し、分割した結果をサイド情報として前記復号装置に送出する領域分割手段と、を有する。
【００１５】
また、本発明（請求項６）は、請求項５の前記領域分割手段において、
主成分分析により求められた主成分画像に対してブロック毎に閾値処理を行うことにより動き領域を決定する動き領域判別手段と、
フーリエ振幅スペクトルの主成分分析を行い、主成分スペクトルで所定の値より大きな値を持つブロックを特異領域とする特異領域判別手段と、
前記動き領域判別手段により決定された前記動き領域と前記特異領域判別手段で決定された特異領域の差分を超解像可能領域と判定する超解像可能領域判定手段と、を含む。
【００１６】
また、本発明（請求項７）は、請求項５または６の前記符号化手段において、
前記領域分割手段にて前記超解像可能領域と判定された該領域内のマクロブロックに対して、フレーム間誤差をサブピクセル位置ずれ量に基づいて低減するインター符号化を行う手段を含む。
【００１７】
また、本発明（請求項８）は、撮影された複数枚の観測画像から１枚の高解像度画像を推定する超解像復元に適した領域毎に符号化を行う映像符号化装置から入力されたデータを復号する映像復号装置であって、
前記符号化装置で符号化されたブロックが入力されると、該符号化装置から入力された領域分割の結果であるサイド情報に基づいて、各ブロック毎に、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に分類し、該超解像可能領域に対しては、複数枚の観測画像から１枚の高解像度画像を推定する超解像復元を行い、他の領域については補間を行う復号手段を有する。
【００１８】
また、本発明（請求項９）は、撮影された複数枚の観測画像から１枚の高解像度画像を推定する超解像復元に適した領域毎に符号化及び復号化を行う映像符号化・復号化方法であって、
映像符号化装置と復号装置からなるシステムにおいて、
前記映像符号化装置は、
符号化を行う前処理として、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に領域分割し、分割した結果をサイド情報として前記復号装置に送出する領域分割ステップと、
符号化の対象とする画像の圧縮符号化を行う符号化ステップと、を行い、
前記復号装置は、
前記符号化装置で符号化されたブロックが入力されると、該符号化装置から取得した前記サイド情報に基づいて、各ブロック毎に前記超解像可能領域、前記特異領域、前記平坦・静止領域に分類し、該超解像可能領域に対しては、複数枚の観測画像から１枚の高解像度画像を推定する超解像復元を行い、他の領域については補間を行う復号ステップを行う。
【００１９】
また、本発明（請求項１０）は、請求項９の前記領域分割ステップにおいて、
主成分分析により求められた主成分画像に対してブロック毎に閾値処理を行うことにより動き領域を決定する動き領域判別ステップと、
フーリエ振幅スペクトルの主成分分析を行い、主成分スペクトルで所定の値より大きな値を持つブロックを特異領域とする特異領域判別ステップと、
前記動き領域判別ステップで決定された前記動き領域と前記特異領域判別ステップで決定された特異領域の差分を超解像可能領域と判定する超解像可能領域判定ステップと、を行う。
【００２０】
また、本発明（請求項１１）は、請求項９または１０の前記領域分割ステップにおいて、
前記領域分割ステップにて前記超解像可能領域と判定された該領域内のマクロブロックに対して、フレーム間誤差をサブピクセル位置ずれ量に基づいて低減するインター符号化を行う。
【００２１】
また、本発明（請求項１２）は、請求項５乃至７のいずれか１項に記載の映像符号化装置を構成する各手段としてコンピュータを機能させるための映像符号化プログラムである。
【００２２】
また、本発明（請求項１３）は、請求項８に記載の映像復号装置を構成する各手段としてコンピュータを機能させるための映像復号プログラムである。
【発明の効果】
【００２３】
上記のように、本発明によれば、並進に近い動き領域を検出することで高解像度化が可能な領域を推定することができ、超解像度画像の復元画像の品質を向上させることが可能となる。
【００２４】
さらに、本発明による中間データを経由したインター符号化は、映像の高圧縮と超解像復元の精度維持を両立する優れた効果を奏する。
【図面の簡単な説明】
【００２５】
【図１】複数枚の観測画像を２倍の高解像度格子に位置合わせした結果例である。
【図２】従来法と本発明の処理フローである。
【図３】本発明の一実施の形態における符号化システムの構成図である。
【図４】本発明の一実施の形態における動作のフローチャートである。
【図５】本発明の一実施の形態における領域分割の例である。
【図６】本発明の一実施の形態におけるインター符号化のフローチャートである。
【図７】本発明の一実施の形態におけるＭ＝２の時の位置ずれ量とインデックスの関係を示す図である。
【図８】本発明の一実施の形態におけるインター符号化処理における２倍に高解像度化する際の流れを示す図である。
【発明を実施するための形態】
【００２６】
以下図面と共に、本発明の実施の形態を説明する。
【００２７】
本発明は、超解像復元にFarisuらの文献１「S. Farsiu, M. D. Robinson, M. Elad and P. Milanfar, "Fast and robust multi-frame super-resolution," IEEE Transactions on Image Proc. vol. 13, no. 10, pp. 1327-1344, 2004」の手法を用いることを前提にした符号化である。この手法により「映像の高圧縮」と「超解像復元の精度維持」を両立させることができる。
【００２８】
［第１の実施の形態］
従来の超解像復元は複数枚の観測画像をサブピクセル精度で位置合わせた後、MAP(Maximum a posteriori:最大事後確率)推定や最尤推定など計算コストの高い処理により高解像度画像を推定する。Farisuらの文献１の手法は、この計算コストの高い過程を「fusion」と「ぼけ除去＋補間」の２つに分ける。これらの処理はそれぞれ高速に行うことができる。
【００２９】
以下に詳細に説明する。
【００３０】
「fusion」は、複数枚の観測画像を高解像度格子に位置合わせを行った際に、格子点ごとに位置合わせで重なる画素値のメディアン（中央値）をとる処理である。この画像を本発明では「中間データ」と定義する。
【００３１】
図１は、複数枚の観測画像（２×２ピクセル）を２倍の高解像度格子に位置合わせさせる様子を表す。「ボケ除去＋補間」では、「fusion」で求まった中間データに対しMAP推定を行う。ボケの除去と同時に「fusion」で画素が位置合わせできなかった格子点の画素を推定する。なお、１枚の中間データから１枚の高解像度画像を推定するMAP推定の計算コストは小さい。
【００３２】
次に、映像の取得から高解像度映像出力までの従来の方法と本発明のフローを図２に示し、図３に本発明の符号化システムの構成を示す。
【００３３】
従来の方法では、MPEG-2及びH.264等で符号化された映像を復号後、Farisuらの文献１に示される解像復元を行う。符号化はイントラ符号化とインター符号化に分けることができる。
【００３４】
インター符号化には、動き推定、動き補償、DCT(Discrete cosine Transform)変換、量子化、エントロピー符号化等が含まれる。
【００３５】
図３に示す符号化システムのエンコーダ側（符号化装置１００）は、領域分割部１１０、動き推定部１２０、符号化部A１３０、符号化部B１４０から構成される。デコーダ側（復号装置２００）は、復号部２１０、超解像復元部２２０、補間部２２０から構成される。
【００３６】
以下に、図３に示すシステムの動作を説明する。
【００３７】
図４は、本発明の第１の実施の形態における動作のフローチャートである。
【００３８】
ステップ１０１）  符号化装置１００は、取得した映像に対して、領域分割部１１０において、GOP（Group Of Pictures）毎に、領域の分割を行い、動きが存在し、高解像度化が見込める領域である「超解像可能領域」、動きが存在するが高解像度化が見込めない領域である「特異領域」、及び、「静止・平坦領域」の３つに分類する。分類方法については後述する。領域分割の結果をサイド情報として、符号化部Ａ１３０，符号化部Ｂ１４０，復号装置２００の復号部２１０に送出する。
【００３９】
ステップ１０２）  動き推定部１２０は、サイド情報に基づいて、「超解像可能領域」及び「特異領域」に対して動き補償を行い、動き補償が施された「超解像可能領域」は符号化部A１３０に出力し、動き補償が行われた「特異領域」は符号化部B１４０に出力する。一方、「静止・平坦領域」は符号化部B１４０に出力する。
【００４０】
ステップ１０３）  符号化部A１３０は、「超解像可能領域」に対してインターフレーム符号化を行い、その符号化データAを、符号化部B１４０は「特異領域」「静止・平坦領域」に対して従来の方法による符号化を行い、その符号化データBを、それぞれデコード側（復号装置２００）に送出する。
【００４１】
ステップ１０４）  復号装置２００の復号部２１０は、サイド情報に基づいて、符号化装置２００から入力された符号化データA及び符号化データBを復号し、復号された超解像可能領域のデータについては超解像復元部２２０において超解像復元して出力する。一方、復号された超解像可能領域以外のデータについては補間を行うことにより高解像度映像を出力する。
【００４２】
以下に、各構成要素の動作を詳細に説明する。
【００４３】
＜領域分割部１１０＞
次に、上記の領域分割部１１０における領域分割法について説明する。
【００４４】
本発明は、画面全体にわたって高精細化することを考える。超解像復元はサブピクセルであるにしろ、動きが存在する領域に対して適用することができるが、いかなる領域でも高解像度化できるわけではない。超解像を行っても補間法による結果があまり変わらない場合、また、超解像復元を行うことでかえってノイズを発生させてしまうことが起こり得る。よって映像の中から動きが存在し、かつ高解像度化が期待できる「超解像可能領域」を抽出することが必要となる。デコーダ側の処理において、高解像度化が期待できない「特異領域」や「静止・平坦領域」に対しては補間法を適用することで、画面全体に対する処理量を小さくすることができ、また、上記のようなノイズ発生による劣化を防ぐことができる。さらに領域分割を符号化の前処理として行うことにより、領域毎に適した符号化を行うことが可能になる。
【００４５】
（１）超解像可能領域：
「超解像可能領域」とは、高解像度化が見込める領域であり、具体的には小領域毎に動きが並進で近似できる領域と定義する。その理由を以下に説明する。
【００４６】
単純な並進だけでなく、アフィン変換あるいは射影変換のような動きに対しても超解像復元による高解像化は可能である。しかし、実際の映像には線形変換で表すことのできない複雑な動きが存在し、そのような映像に超解像復元を適用するとかえってノイズが発生してしまう。複雑な動きは、例えば非剛体の動きやオクルージョンである。
【００４７】
一般的に線形変換は、アフィン変換や射影変換であっても小領域毎に見ると並進で近似できる領域を「超解像可能領域」と定義し、近似できない動き領域を「特異領域」と定義する。
【００４８】
（２）超解像可能領域判別：
領域分割部１１０は、超解像可能領域判別を以下の手順で行う。
【００４９】
（ａ）動き領域の判別
（ｂ）特異領域の判別
（ｃ）上記の（ａ）、（ｂ）より動き領域から特異領域を引いて残った領域が超解像可能領域とする。
【００５０】
以下に詳細に説明する。
【００５１】
図５は、本発明の一実施の形態における領域分割の例を示す。
【００５２】
（ａ）動き領域判別：
領域分割部１１０は、動き領域の判別にはBarretoらの非特許文献２に記載の手法を用いる。GOP（Group OF Picture）に含まれるＫ枚の画像ｆk（ｋ＝１，…，Ｋ）に対して、画像認識の分野で用いられる主成分分析（PCA）を行う（例えば、文献２「Gunturk, B. Batur, A, Altunbasak, Y. Hayes, M& Mersereau, R."Eigenface-domain super-resolution for face recognition" IEEE Transactions on Image Proc. 12, 597-606, 2003」を参照）。その第１成分を主成分画像ｐｃとすると、
【００５３】
【数１】
0005436371.tif 000002
と表される。ここで、ｅ1(k)は共分散行列の最大固有値に対応する固有ベクトルである。GOPにおいて動きを含む領域には大きい主成分値が現れる。なぜなら、動きによりその領域の輪郭やテクスチャが移動し、平均との差が大きくなるからである。このようにして求まった主成分画像に対してブロック毎に閾値処理を行うことにより動き領域を決定する。
【００５４】
（ｂ）特異領域判別：
特異領域判別には、フーリエ振幅スペクトルの主成分分析を行う。フーリエ変換は式（２）のように信号の時間推移が周波数推移に相当する性質を持つ。
【００５５】
【数２】
0005436371.tif 000003
GOPに含まれるＫ枚の画像ｆk（ｋ＝１，…，Ｋ）に対して、それぞれブロック毎に高速フーリエ変換（ＦＦＴ）を行い、その振幅スペクトルをスペクトル画像Ａkとすると、
【００５６】
【数３】
0005436371.tif 000004
と表される。ここで、ＦBはブロック毎の高速フーリエ変換である。これらＫ枚のスペクトル画像に対して主成分分析を行う。
【００５７】
その第１主成分を主成分スペクトルFpcとすると、
【００５８】
【数４】
0005436371.tif 000005
と表される。ここで、ｅ´1(k)は共分散行列の最大固有値に対応する固有ベクトルである。
【００５９】
主成分スペクトルで大きな値を持つブロックは特異領域である。なぜなら、各ブロック内の動きが並進に近ければ振幅スペクトルはほぼ等しく、主成分の値は小さいからである。
【００６０】
なお、高速フーリエ変換を行う前に境界付近の影響を避けるためハニング窓をかけ、周波数分解能をあげるためにゼロパディングを行う。さらに主成分分析を行う前に、スペクトル画像Ａkの各ブロックＡBk（ω１，ω２）（−π≦ω１，ω２≦π）に対して、以下の式（５）のように直流成分付近の振幅スペクトル値を０にした後、全体の値を０〜１に正規化する。
【００６１】
【数５】
0005436371.tif 000006
直流成分付近の変化は映像の微かな画素値の変化でも相対的に大きく、常に大きな主成分値をとってしまうからである。正規化は映像の種類によらず主成分がとる範囲をある程度狭めることができ、閾値処理が行いやすくなる。
【００６２】
＜符号化部Ａ１３０＞
本発明の符号化装置１００の符号化部Ａ１３０では、中間データを利用したインター符号化を行っている。
【００６３】
MPEG-2, H. 264のインタフレーム符号化では動き推定後、それぞれ１／２画素、１／４画素精度の動き補償が行われる。サブピクセル精度の動き補償によりフレーム間誤差を小さくすることができるが、量子化に伴い映像にブロックノイズやモスキートノイズが生じてしまう。また、動き保障の参照フレームはMPEG-2ではＰまたはＢピクチャ、H.264ではブロック毎に任意のフレーム選択することが許されている。しかし、MPEG-2におけるPまたはＢピクチャや、H.264における参照フレームを決定する方法は特に定められていない。フレーム符号化では、超解像可能領域と判定された領域内のマクロブロックに対してインター符号化を行う。
【００６４】
本発明の符号化部Ａ１３０におけるインター符号化は、中間データを経由したフレーム間誤差の低減と、その際の参照フレームをサブピクセル位置ずれ量に応じて決定する。
【００６５】
以下にその手順を示す。図６は、本発明の一実施の形態におけるインター符号化のフローチャートである。
【００６６】
ステップ２０１）  符号化部Ａ１３０は、まず、既存技術により動き推定を行う。解像度をＭ倍にする場合、位置ずれ量は１／Ｍ画素精度で求める必要がある。
【００６７】
ステップ２０２）  GOPに含まれるＫ枚の画素列fｋ（k＝１，…，Ｋ）の中で超解像可能領域のマクロブロックを利用してＫ枚の中間データを生成する。このとき、あるフレームを基準に高解像度格子に位置合わせされる位置はＭ２通り存在する。どこに位置合わせされたかはｘ方向とｙ方向の位置ずれ量ｄｘ，ｄｙの組み合わせによって決まり、［１，２，…，Ｍ２］のインデックスを付ける。なお、簡略化のため、イントラ符号化であるkeyフレームを基準とし、key、フレームに「１」のインデックスを割り当てる。図７にＭ＝２の時の位置ずれ量とインデックスの関係を示す。
【００６８】
ステップ２０３）  再び、動き情報を用いて中間データをダウンサンプリングし、元の映像の解像度に戻す。こうしてダウンサンプルされた映像
【００６９】
【数６】
0005436371.tif 000007
は解像度・動き共に元の映像fｋと変わらないが、中間データ生成時にメディアンを取るため、画素値が変化している。この画像列に対し、次の動き補償を行う。
【００７０】
ステップ２０４）  同じインデックスを持つブロックを参照ブロックとし、ピクセル精度の動き補償を行う。これにより、ブロックの境界部分を除いてフレーム間誤差をゼロにすることができる。なお、［２，…，Ｍ２］のインデックスを持つブロックの内、１つはKeyフレームとのインター符号化を行う必要がある。例えば、中間データ生成時に重なったブロック（同じインデックスを持つ）が４枚あるとき、１枚はイントラ符号化であるKeyフレームと１／Ｍ画素精度の動き補償を行い、残りの３枚は最初に選択したフレームとピクセル精度の動き補償を行う。図８に２倍に高解像度化する際の流れの例を示す。フレーム間誤差がほぼゼロになることで符号化効率を大きく向上させることができ、そのため量子化の程度を小さくすることができる。
【００７１】
＜復号装置２００＞
復号装置２００は、符号化装置１００からブロックが入力されると、符号化装置１００の領域分割部１１０から送信された領域分割情報であるサイド情報（「超解像可能領域」、「特異領域」、「平坦・静止領域」）に基づいて、ブロックを復号する。具体的には、サイド情報が「超解像可能領域」となっているブロックに対しては超解像復元部２１０において、超解像復元を行い、「特異領域」、「平坦・静止領域」のブロックに対しては、補間部２２０において補間を行う。
【００７２】
［本発明の領域分割と従来技術との比較］
（ａ）複雑な動きに対する対処法：
複雑な動きに対する従来の方法の対処法では、１画素毎に超解像復元に使用するか否かを判断する画素選択（文献２「矢口陽一、田中正行、奥富正敏、"オクルージョンや明るさ変化にロバストな超解像処理"情報処理学会研究報告（コンピュータビジョンとイメージメディア2007-CVIM-159）、Vol.2007, No.42, pp.51-56, May, 2007」参照）がある。外れ値除去も同様であり、様々な手法が存在する。また、位置合わせ誤差に応じて、画素（あるいは領域）毎にMAP推定の評価関数の重みを変化させる手法（文献３「O.A. Omer and T. Tanaka, "Multiframe image and video super-resolution algorithm with inaccurate motion registration errors rejection," Visual Communications and Image Processing (VCIP) 2008, San Jose, CA, Jan. 2007」、文献４「O. A. Omer and T. Tanaka, "Region-based Super-Resolution for Video Sequences considering Registration Error", Proc. of the 3rd Pacific-Rim Symposium on Image and Video Technology, 2009」参照）が存在する。これらの手法は全て厳密な動き推定後に行う手法で計算コストが高いため圧縮の前処理には向いていない。
【００７３】
それに対して、本発明の領域分割部１１０の手法は動き推定の結果を必要とせず、映像の動きが並進で近似できるが否かを高速に判定することができる。
【００７４】
（ｂ）領域分割のサイド情報とデコーダ側の処理：
本発明の復号装置２００での復号部２１０では、超解像可能領域に対しては超解像復元、その他の領域に対しては単純な補間を行う。
【００７５】
これに対し、非特許文献２のBarretoらの研究は、超解像復元を利用した高効率圧縮であるが、同じ用に領域分割の情報をサイド情報としている。ブロックごとに「動き領域」、「テクスチャ」「平坦領域」に分類し、「動き領域」に対しては超解像復元、残りの領域に対しては補間などにより単純な処理を行っている。しかし、当該手法では、複雑な動きを含む場合には、映像はかえって劣化してしまう。
【００７６】
これに対し、本発明は、そのような劣化を防ぐことができる。
【００７７】
本発明の目的は、低ビットレートで無圧縮の中間データに近い画像を復元することである。これにより、低ビットレートで高精度の超解像復元を行うことができるので、「映像の高圧縮」と「超解像復元の精度維持」を両立させることができる。
【００７８】
なお、上記の図３に示す符号化装置及び復号装置の構成要素の動作をプログラムとして構築し、符号化装置及び復号装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００７９】
また、構築されたプログラムを、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００８０】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【符号の説明】
【００８１】
１００  符号化装置
１１０  領域分割部
１２０  動き推定部
１３０  符号化部Ａ
１４０  符号化部Ｂ
２００  復号装置
２１０  超解像復元部
２２０  補間部
【図１】
0005436371.tif 000008
【図２】
0005436371.tif 000009
【図３】
0005436371.tif 000010
【図４】
0005436371.tif 000011
【図６】
0005436371.tif 000012
【図７】
0005436371.tif 000013
【図５】
0005436371.tif 000014
【図８】
0005436371.tif 000015