(57)【要約】      （修正有）【課題】輝度補償及び輝度補償を用いて超解像処理を行うための方法及び装置を提供する。画像列における画像間で輝度差がある場合の超解像アルゴリズムを改善する。また、それぞれ異なる校正パラメータを持つ別々のカメラで画像列が取り込まれ、結果として輝度の階調レベルがそれぞれ異なる場合の超解像アルゴリズムを改善する。【解決手段】輝度マスキングを輝度補償と合わせて用いることで、実際に動き誤差を有するブロックが超解像度化から確実に除外されるようにする。【選択図】図１０
2007329678.tif 000002
【特許請求の範囲】
【請求項１】
画像列に対して輝度マスキング及び輝度補償を用いた超解像処理を行うための方法であって、
補間を行って最初の高解像度推定画像を生成するステップ（１０１０）と、
輝度マスキング及び／又は輝度補償を用いた位置合わせを行って位置合わせ画像を生成するステップ（１０２２）と、
以下のステップを繰り返すステップとを備えることを特徴とする方法。
点拡がり関数を用いて前記高解像度推定画像を不鮮明化し、不鮮明化画像を生成するステップ（１０１４）
前記不鮮明化画像と前記位置合わせ画像とを減算し、差分画像を生成するステップ（１００６）
点拡がり逆関数を用いて前記差分画像を逆投影し、逆投影画像を生成するステップ（１００８）
正則化を行って平滑化画像を生成するステップ（１０１８）と、
前記平滑化画像と前記逆投影画像とを組み合わせ、強調係数を生成するステップ（１０１６）
前記強調係数を高解像度推定画像に更新し、新たな高解像度推定画像を生成するステップ（１０１２）
【請求項２】
輝度マスキング及び／又は輝度補償を用いた位置合わせを行って位置合わせ画像を生成する請求項１記載の方法であって、
動き検出を行ってワーピングベクトルと予測画像とを生成するステップ（１００２）と、
輝度マスキング及び輝度補償を行って輝度マスクと輝度補償値とを生成するステップ（１０２０）と、
前記ワーピングベクトルと、輝度マスクと、輝度補償値とに基づいて位置合わせを行い、位置合わせ画像を生成するステップ（１００４）と
を備えることを特徴とする方法。
【請求項３】
輝度マスキング及び輝度補償を行って輝度マスクと輝度補償値とを生成する請求項２記載の方法であって、
歪みを算出するステップ（Ｓ４０２）と、
前記歪みとしきい値とを比較するステップ（Ｓ４０４）と、
前記歪みが前記しきい値を満たす場合に、超解像度化に使用可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ４１４）と、
前記歪みが前記しきい値を満たさない場合に、以下のステップを実行するステップとを備える方法。
輝度差を算出し、前記輝度補償値を生成するステップ（Ｓ４０６）
輝度補償を行うステップ（Ｓ４０８）
再度歪みを算出するステップ（Ｓ４１０）
前記歪みとしきい値とを比較するステップ（Ｓ４１２）
前記歪みが前記しきい値を満たす場合であって、輝度補償が用いられる場合に、超解像度化に使用可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ４１６）
前記歪みが前記しきい値を満たさない場合に、超解像度化に使用不可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ４１８）
【請求項４】
輝度マスキング及び輝度補償を行って輝度マスクと輝度補償値とを生成する請求項２記載の方法であって、
歪みを算出するステップ（Ｓ５０２）と、
輝度差を算出するステップ（Ｓ５０４）と、
輝度補償を行うステップ（Ｓ５０６）と、
輝度補償された歪みを算出するステップ（Ｓ５０８）と、
前記歪みと、前記輝度補償された歪みとを、しきい値と比較するステップ（Ｓ５１０）と、
前記歪み及び前記輝度補償された歪みのいずれも前記しきい値を満たさない場合に、超解像度化に使用不可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ５１４）と、
前記歪み又は前記輝度補償された歪みが前記しきい値を満たす場合に、以下のステップを実行する方法。
前記歪みと前記輝度補償された歪みとを比較するステップ（Ｓ５１２）
前記歪みが前記輝度補償された歪みよりも小さい場合に、超解像度化に使用可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ５１６）
前記輝度補償された歪みが前記歪みよりも小さい場合であって、輝度補償が用いられる場合に、超解像度化に使用可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ５１８）
【請求項５】
輝度マスキング及び／又は輝度補償を用いた位置合わせを行って位置合わせ画像を生成する請求項１記載の方法であって、
動き検出を行ってワーピングベクトルと予測画像とを生成するステップ（Ｓ１００２）と、
輝度マスキングを行って輝度マスクを生成するステップ（１０２０）と、
前記ワーピングベクトルと輝度マスクとに基づいて位置合わせを行い、位置合わせ画像を生成するステップ（１００４）と
を備えることを特徴とする方法。
【請求項６】
輝度マスキングを行って輝度マスクを生成する請求項５記載の方法であって、
歪みを算出するステップ（Ｓ８０２）と、
前記歪みとしきい値とを比較するステップ（Ｓ８０４）と、
前記歪みが前記しきい値を満たす場合に、超解像度化に使用可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ８０６）と、
前記歪みが前記しきい値を満たさない場合に、超解像度化に使用不可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ８０８）と
を備えることを特徴とする方法。
【請求項７】
輝度マスキング及び／又は輝度補償を用いた位置合わせを行って位置合わせ画像を生成する請求項１記載の方法であって、
動き検出を行ってワーピングベクトルと予測画像とを生成するステップ（Ｓ１００２）と、
輝度補償を行って輝度補償値を生成するステップ（１０２０）と、
前記ワーピングベクトルと輝度補償値とに基づいて位置合わせを行い、位置合わせ画像を生成するステップ（１００４）と
を備えることを特徴とする方法。
【請求項８】
輝度補償を行って輝度補償値を生成する請求項７記載の方法であって、
輝度差を算出するステップ（Ｓ９０２）と、
輝度補償を行うステップと
を備えることを特徴とする方法。
【請求項９】
画像列に対して輝度マスキング及び輝度補償を用いた超解像処理を行うための方法であって、
補間を行って最初の高解像度推定画像を生成するステップ（１１１０）と、
以下のステップを繰り返すステップとを備えることを特徴とする方法。
輝度マスキング及び／又は輝度補償を用いたワーピングを行い、ワープ画像列を生成するステップ（１１２２）
点拡がり関数を用いて前記ワープ画像列を不鮮明化し、不鮮明化画像列を生成するステップ（１１１４）
前記不鮮明化画像列と観測された画像列（入力画像列）とを減算し、差分画像列を生成するステップ（１１０６）
点拡がり逆関数を用いて前記差分画像列を逆投影し、逆投影画像列を生成するステップ（１１０８）
正則化を行って平滑化画像を生成するステップ（１１１８）
前記平滑化画像と前記逆投影画像列とを組み合わせ、強調係数を生成するステップ（１１１６）
前記強調係数を高解像度推定画像に更新し、新たな高解像度推定画像を生成するステップ（１１１２）
【請求項１０】
輝度マスキング及び／又は輝度補償を用いたワーピングを行い、ワープ画像列を生成する請求項９記載の方法であって、
動き検出を行ってワーピングベクトルと予測画像列とを生成するステップ（１１０２）と、
輝度マスキング及び輝度補償を行って輝度マスクと輝度補償値とを生成するステップ（１１２０）と、
前記ワーピングベクトルと、輝度マスクと、輝度補償値とに基づいてワーピングを行い、ワープ画像列を生成するステップ（１１０４）と
を備えることを特徴とする方法。
【請求項１１】
輝度マスキング及び輝度補償を行って複数の輝度マスクと複数の輝度補償値とを生成する請求項１０記載の方法であって、
歪みを算出するステップ（Ｓ４０２）と、
前記歪みとしきい値とを比較するステップ（Ｓ４０４）と、
前記歪みが前記しきい値を満たす場合に、超解像度化に使用可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ４１４）と、
前記歪みが前記しきい値を満たさない場合に、以下のステップを実行するステップとを備える方法。
輝度差を算出し、前記輝度補償値を生成するステップ（Ｓ４０６）
輝度補償を行うステップ（Ｓ４０８）
再度歪みを算出するステップ（Ｓ４１０）
前記歪みとしきい値とを比較するステップ（Ｓ４１２）
前記歪みが前記しきい値を満たす場合であって、輝度補償が用いられる場合に、超解像度化に使用可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ４１６）
前記歪みが前記しきい値を満たさない場合に、超解像度化に使用不可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ４１８）
【請求項１２】
輝度マスキング及び輝度補償を行って複数の輝度マスクと複数の輝度補償値とを生成する請求項１０記載の方法であって、
歪みを算出するステップ（Ｓ５０２）と、
輝度差を算出するステップ（Ｓ５０４）と、
輝度補償を行うステップ（Ｓ５０６）と、
輝度補償された歪みを算出するステップ（Ｓ５０８）と、
前記歪みと、前記輝度補償された歪みとを、しきい値と比較するステップ（Ｓ５１０）と、
前記歪み及び前記輝度補償された歪みのいずれも前記しきい値を満たさない場合に、超解像度化に使用不可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ５１４）と、
前記歪み又は前記輝度補償された歪みが前記しきい値を満たす場合に、以下のステップを実行する方法。
前記歪みと前記輝度補償された歪みとを比較するステップ（Ｓ５１２）
前記歪みが前記輝度補償された歪みよりも小さい場合に、超解像度化に使用可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ５１６）
前記輝度補償された歪みが前記歪みよりも小さい場合であって、輝度補償が用いられる場合に、超解像度化に使用可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ５１８）
【請求項１３】
輝度マスキング及び／又は輝度補償を用いたワーピングを行い、ワープ画像列を生成する請求項９記載の方法であって、
動き検出を行ってワーピングベクトルと予測画像列とを生成するステップ（Ｓ１００２）と、
輝度マスキングを行って輝度マスクを生成するステップ（１０２０）と、
前記ワーピングベクトルと輝度マスクとに基づいてワーピングを行い、ワープ画像列を生成するステップ（１００４）と
を備えることを特徴とする方法。
【請求項１４】
輝度マスキングを行って複数の輝度マスクを生成する請求項１３記載の方法であって、
歪みを算出するステップ（Ｓ８０２）と、
前記歪みとしきい値とを比較するステップ（Ｓ８０４）と、
前記歪みが前記しきい値を満たす場合に、超解像度化に使用可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ８０６）と、
前記歪みが前記しきい値を満たさない場合に、超解像度化に使用不可能であるとして参照ブロックをマーキングし、処理を終了するステップ（Ｓ８０８）と
を備えることを特徴とする方法。
【請求項１５】
輝度マスキング及び／又は輝度補償を用いたワーピングを行い、ワープ画像列を生成する請求項９記載の方法であって、
動き検出を行ってワーピングベクトルと予測画像とを生成するステップ（Ｓ１００２）と、
輝度補償を行って輝度補償値を生成するステップ（１０２０）と、
前記ワーピングベクトルと輝度補償値とに基づいてワーピングを行い、位置合わせ画像列を生成するステップ（１００４）と
を備えることを特徴とする方法。
【請求項１６】
輝度補償を行って複数の輝度補償値を生成する請求項１５記載の方法であって、
輝度差を算出するステップ（Ｓ９０２）と、
輝度補償を行うステップと
を備えることを特徴とする方法。
【請求項１７】
前処理装置又は後処理装置において、輝度マスキング及び輝度補償を用いて超解像処理を行う方法であって、
入力源を必要に応じて逆多重化し、非圧縮画像列又は符号化映像ビットストリームと他のビットストリームとを生成するステップ（６０２）と、
前記符号化映像ビットストリームを必要に応じて復号し、復号化画像列と、オプションで補助データとを生成するステップ（６０４）と、
オプションで、前記復号化画像列又は前記非圧縮画像列に対して前処理を行い、処理画像列を生成するステップ（６０６）と、
前記処理画像列に対して、請求項１〜１６記載の輝度マスキング及び輝度補償を用いた超解像処理を行い、超解像度向上画像列を生成するステップ（６０８）と、
オプションで、前記超解像度向上画像列に対して後処理を行い、処理済み超解像度向上画像列を生成するステップ（６１０）と、
オプションで圧縮を行って、オプションで前記処理済み超解像度向上画像列を格納するステップ（６１２）と、
オプションで前記処理済み超解像度向上画像列を表示するステップ（６１４）と
と備えることを特徴とする方法。
【請求項１８】
エンコーダにおいて、輝度マスキングおよび輝度補償を用いて超解像処理を行う方法であって、
イントラ予測を行うステップ（７０６）と、
動き検出を行うステップ（７０２）と、
変換を行うステップ（７０４）と、
量子化を行うステップ（７０８）と、
エントロピ符号化を行うステップ（７１０）と、
逆量子化を行うステップ（７１２）と、
逆変換を行うステップ（７１４）と、
逆イントラ予測を行うステップ（７１６）と、
動き補償を行うステップ（７１８）と、
前記動き検出及び動き補償に用いる参照画像に対して、請求項１〜１６記載の輝度マスキング及び輝度補償を用いた超解像処理を行うステップ（７２０）と
を備えることを特徴とする方法。
【請求項１９】
デコーダにおいて、輝度マスキング及び輝度補償を用いて超解像処理を行う請求項１〜１６に記載の方法であって、
エントロピ復号を行うステップ（７４０）と、
逆量子化を行うステップ（７４２）と、
逆変換を行うステップ（７４４）と、
逆イントラ予測を行うステップ（７４６）と、
動き補償を行うステップ（７５０）と、
前記動き補償に用いる参照画像に対して、輝度マスキング及び輝度補償を用いた超解像処理を行うステップ（７４８）と
を備えることを特徴とする方法。
【請求項２０】
レイヤ間予測を用いるエンコーダにおいて、輝度マスキング及び輝度補償を用いて超解像処理を行う方法であって、
基本レイヤを符号化するステップ（１２０２）と、
レイヤ間予測を用いて拡張レイヤを符号化するステップ（１２１２）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間残差予測を行うステップ（１２０４）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間動きデータ予測を行うステップ（１２０６）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間イントラ予測を行うステップ（１２０８）と、
前記拡張レイヤを符号化するための追加的な参照として用いられる前記基本レイヤのイントラ画像又は復号化画像に対して、請求項１〜１６記載の輝度マスキング及び輝度補償を用いた超解像処理を行うステップ（１２１０）と
を備えることを特徴とする方法。
【請求項２１】
レイヤ間予測を用いるデコーダにおいて、輝度マスキング及び輝度補償を用いて超解像処理を行う方法であって、
基本レイヤを復号するステップ（１２０２）と、
レイヤ間予測を用いて拡張レイヤを復号するステップ（１２１２）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間残差予測を行うステップ（１２０４）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間動きデータ予測を行うステップ（１２０６）と、
前記拡張レイヤと基本レイヤとの間でレイヤ間イントラ予測を行うステップ（１２０８）と、
前記拡張レイヤを復号するための追加的な参照として用いられる前記基本レイヤのイントラ画像又は復号化画像に対して、請求項１〜１６記載の輝度マスキング及び輝度補償を用いた超解像処理を行うステップ（１２１０）と
を備えることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、あらゆる画像・映像処理、特に画像・映像超解像処理に利用可能である。
【背景技術】
【０００２】
複数の低解像度（ＬＲ）画像から高解像度（ＨＲ）画像を構成するための超解像処理方法は、米国特許出願番号２００４／０１５６５６１  Ａ１（図１）（先行技術１）に開示されている。圧縮画像列に用いる同様の超解像処理方法は、米国特許出願番号２００５／００１９０００  Ａ１（図２）（先行技術２）に開示されている。先行技術１と先行技術２との間の類似点として、ＨＲ推定画像をワーピングし不明瞭化して擬似的なＬＲ画像を形成し、次に観測されたＬＲ画像から当該画像を減算するという点が挙げられる。このワーピング、不明瞭化、及び減算は、向上処理に係わる観測されたＬＲ画像ごとに繰り返される。田中正行及び奥富正敏による技術論文「再構成型超解像処理の高速化アルゴリズム」Ｖｏｌ.２００４  Ｎｏ.１３３、２００４−ＣＶＩＭ−１４６、２００４年１１月（図３）（先行技術３）に開示される異なる方法によれば、観測されたＬＲ画像に対して位置合わせが行われ、観測されたＬＲ画素を含むＨＲグリッドが生成される。ＨＲ推定画像に対してワーピングを行う必要はない。不明瞭化と減算は、ＨＲ推定画像において、位置合わせされたＬＲ画素が少なくとも１つ存在する位置毎に行われる。これにより、より高速なアルゴリズムが得られるという利点がある。
【０００３】
これらの先行技術における共通のステップとして、フレームのワーピングが行われる。ワーピングは、先行技術１及び先行技術２ではＨＲ推定画像に対して行われるのに対し、先行技術３では観測されたＬＲフレームに対して行われる。ワーピングベクトルの検出方法として、ブロックマッチング法、オプティカルフロー法、メッシュアフィン変換法などがある。これらの方法のうち、ブロックマッチングが公知であり、一般的に用いられている。ブロックマッチングでは、平均絶対差や平均２乗誤差などの歪み関数を最小にすることで最適な一致を探す。動きフィールドの連続性といった他の要素も歪み関数に付加されている。またブロックマッチングは、位相限定相関を用いて周波数領域において行うことも可能である。
【０００４】
現実世界における動きは複雑なため、ブロックマッチングで完全にモデル化することはできない。例えば、変換モデルに基づくブロックマッチングは、回転運動には効果的でない。また、オブジェクトの境界はブロックの境界とは一致しないため、１つのブロック内で実際に２つの動きが生じてしまう。また、あるフレームでは隠れていた新しいオブジェクトが別のフレームで現れる遮蔽もブロックマッチングの問題となる。これらの誤差を動き誤差と呼ぶ。
【０００５】
動き誤差を最小化するための従来の方法として、歪みしきい値や差異しきい値などの基準に基づいて、動きベクトルが有効であるか無効であるかのタグ付けを行う方法がある。動きベクトルが無効である場合、ブロックを超解像アルゴリズムに関与させない。動きが複雑な領域に対してはより小さいブロックが用いられるようにブロックサイズを変更することができる。超解像のコンテクストでは、何らかの種類の残差データをＨＲ推定画像に加算して戻し、さらに細密化を図る。動き誤差を最小化するための他の方法として、残差における各画素をテストし、特定のしきい値よりも大きい画素を取り除く方法がある。これは異常値削除としても知られる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
画像列の輝度は、例えば写真の点滅光、ランプのオン／オフ、自然照明などのように、画像ごとに異なる。さらに、画像列は、それぞれ異なる校正パラメータを持つそれぞれ異なるカメラで取り込まれる場合があるため、結果として輝度のレベルや階調がそれぞれ異なる場合がある。そのような場合、オブジェクト又は内容が正確に一致しても、該当するブロックの動きベクトルが無効としてタグ付けされてしまうという問題がある。結果として超解像度化に利用できる情報が失われることになる。
【０００７】
異常値のテストを残差のみに対して行う方法では、輝度の変化によってアーチファクトが生じる。残差は複数フレームの平均値であるため、輝度差分による効果が複数フレームに波及するためである。よって、削除されるべき画素であっても異常値テストをパスする可能性がある。
【課題を解決するための手段】
【０００８】
本発明では、輝度補償（ＩＣ）を用いて輝度変化や輝度差分に関する上記課題を解決する。ＩＣでは、対象ブロック及び参照ブロックのいずれかに対して輝度差分値を加算する。輝度差分値を算出する方法に、参照ブロックの平均値から対象ブロックの平均値を減算する方法がある。ＩＣに対しては、動き検出に用いるブロックサイズとは異なるブロックサイズを用いることができる。
【０００９】
本発明では、ＩＣと共に輝度マスキング（ＩＭ）を用いる。ＩＭでは、動き誤差のテストをブロックに対して行う。これは動きベクトルが有効であるかをテストするのと似ている。しかしながら、ＩＭに対しては、動き検出に用いるブロックサイズとは異なるブロックサイズを用いることができる。例えば、１６×１６ブロックに対して動き検出を行って１つの動きベクトルを生成すると仮定する。次に１６×１６ブロックにおける各８×８ブロックに対してＩＭを行う。ここで、例えば左上の８×８ブロックのみが無効であるとタグ付けされ、他の３つの８×８ブロックが有効である場合がある。これは動きが複雑な画像列にとっては利点となる。
【００１０】
ＩＭ用とＩＣ用のブロックサイズは互いに異なってもよい。例えば、輝度差分値は１６×１６ブロックを用いて算出できるが、ＩＭは各８×８ブロックに対して実行される。ＩＭとＩＣに用いられるブロックサイズは、正方形である必要はなく、メッシュや任意の形であってもよく、いかなるサイズであってもよい。
【００１１】
輝度マスキング（ＩＭ）のみを使用することも可能であり、これは周辺フレーム間で輝度変化がないシーケンスに有効となる。
【００１２】
また、ＩＣとＩＭとを組み合わせるか、又はＩＣ／ＩＭを単独で用いるかの選択は、シーケンス及びフレームレベルのいずれかで自動的に行うことができる。
【発明の効果】
【００１３】
本発明は、超解像度化に用いる画像間の輝度差分や輝度変化を解決するために輝度補償を用いている点で新しい。輝度マスキングを輝度補償と併せて用いることで、実際に動き誤差を有するブロックが超解像度化から確実に除外されるようにする。
【００１４】
また本発明は、それぞれ異なるブロックサイズを輝度補償、輝度マスキング、及び動き検出に用いることができるという点でも新しい。
【００１５】
結果として、超解像度化アルゴリズムを改善できる。
【発明を実施するための最良の形態】
【００１６】
上述のように、超解像度化のためのワーピングは、ＨＲ推定画像及び観測されたＬＲフレームのいずれかに対して行うことができる。本発明は両方の方法に対して利用可能である。本発明の説明を一般化するために、対象フレーム及び参照フレームという用語を用いた。動き検出は、対象フレームと参照フレームとのペアに対して行われる。このため、参照フレームがワーピング対象のフレームとなる。
【００１７】
サブピクセル単位の動き検出を行うための従来方法の１つに、参照フレームをアップサンプリングする方法がある。この場合、対象フレームと参照フレームとはサイズが異なる。動き検出に関しては、ブロックマッチングを行う際にサンプルを減らすという方法がある。ＩＭ及びＩＣに関しては、本発明では、対象フレーム／ブロックに対するアップサンプリング及び参照フレーム／ブロックに対するダウンサンプリングのいずれかを行う。ここではアップサンプリング又はダウンサンプリングの方法を厳密には指定しないが、これは本発明の精神及び範囲に影響を与えるものではない。もしくは、位相限定相関を用いて動き検出を行って、参照フレームのアップサンプリングを行うことなしにサブピクセル精度を実現することが可能である。
【００１８】
［後処理又は前処理装置］
図６は後処理又は前処理装のための超解像処理装置の使用を示すブロック図である。入力Ｄ６５２は、映像及び／又は音声ソースなどで構成される。必要であれば、逆多重化器６０２を用いて映像ソースを他のソースから分離する。また必要であれば、他のソース又は他のビットストリームＤ６５６を他の処理装置で処理する。また、映像ソースを圧縮してもよい。この場合、符号化された映像ビットストリームＤ６５８を映像デコーダ６０４で復号し、復号化画像列Ｄ６６２を生成する。また映像ソースは圧縮されなくてもよい。この場合、非圧縮画像列Ｄ６５４を用いる。オプションで前処理装置６０６を用いて画像列Ｄ６６２及びＤ６５４を処理し、処理画像列Ｄ６６４を生成してもよい。超解像処理装置６０８は画像列を処理して超解像度向上画像列Ｄ６６６を生成する。超解像処理装置６０８は輝度マスキング及び／又は輝度補償も行う。映像ソースを圧縮した場合、超解像処理装置は、符号化映像ビットストリームからの補助データＤ６６０をオプションで用いることができる。補助データの例として、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などがある。超解像度向上画像列は、さらに後処理装置６１０で処理されてもよい。処理済み超解像度向上画像列Ｄ６６８は、表示装置６１４を用いて表示できる。オプションとして、記憶装置６１２を用いて格納されてもよい。また記憶装置６１２において、格納のために圧縮を用いてもよい。
【００１９】
［エンコーダ及びデコーダ］
図７ａ及び図７ｂは、エンコーダ及びデコーダにおける超解像処理装置の使用をそれぞれ示す２枚のブロック図である。エンコーダにおいて、画像列はイントラ符号化又はインター符号化される。イントラ予測処理装置７０６は、対象フレームの情報を用いて予測を行う。動き検出処理装置７０２は、他のフレームを参照して動き補償予測を行う。その結果として処理装置７０２及び７０６から得られる画像は、次に変換処理装置７０４、量子化処理装置７０８、次いでエントロピ処理装置７１０で処理され、符号化映像ビットストリームが生成される。対象フレームは、逆量子化処理装置７１２、逆変換処理装置７１４、動き補償処理装置７１８、及び逆イントラ予測処理装置７１６を備えるローカルデコーダを用いて再構成され、動き検出処理装置７０２が用いる参照フレームとして格納される。本発明では、動き検出処理装置７０２及び動き補償装置７１８が用いる参照フレームの質及び解像度を向上させるために、超解像処理装置７２０を用いる。超解像処理装置７２０は輝度マスキング及び／又は輝度補償も行う。オプションとして、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などの補助データを超解像処理装置７２０において用いることができる。
【００２０】
デコーダにおいて、エントロピ復号処理装置７４０、逆量子化処理装置７４２、逆変換処理装置７４４、逆イントラ予測処理装置７４６、及び動き検出処理装置７５０を用いて、符号化映像ビットストリームから画像列を再構成する。エンコーダと同様に、超解像処理装置７４８を用いて参照フレームの質と解像度を向上させる。超解像処理装置７４８は輝度マスキング及び／又は輝度補償も行う。オプションとして、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などの補助データを超解像処理装置７４８において用いることができる。超解像処理装置７４８は、さらに、表示された画像も改善させる。
【００２１】
説明したエンコーダ及びデコーダは簡略化されたものである。現在、デブロッキングフィルタなど、画質をさらに向上させるための高度なツールを使用するエンコーダやデコーダがある。本発明では、図７ａ及び図７ｂに示されるとおりに符号化と復号が行われる必要はない。ここでは、動き検出、動き補償予測、及び表示に用いる参照フレームを改善することで符号化効率又はピクチャの質を向上させるためにエンコーダ及びデコーダにおいて超解像処理を用いることができることの一例を示しているに過ぎない。
【００２２】
［レイヤ間予測］
図１２ａ及び図１２ｂは、エンコーダ及びデコーダにおけるレイヤ間イントラ予測のための超解像処理装置の使用をそれぞれ示す２枚のブロック図である。符号化効率を向上させるために、階層符号化にレイヤ間予測を用いる。レイヤ間予測を用いる階層符号化の一例として、ＩＳＯ／ＩＥＣ１４９６―１０にスケーラブル拡張を適用するというワーキングドラフトがあり、スケーラブル映像符号化としても知られている。基本レイヤ符号化処理装置１２０２を用いて基本レイヤ画像列を符号化する。拡張レイヤ符号化処理装置１２１２を用いて拡張レイヤ画像列を符号化する。拡張レイヤ符号化処理装置１２１２は、レイヤ間予測を用いて拡張レイヤと基本レイヤとの間の冗長性を削減することで、拡張レイヤだけを符号化する場合と比較して符号化効率を向上させる。レイヤ間残差予測処理装置１２０４を用いて拡張レイヤ残差と基本レイヤ残差との間の冗長性を削減する。レイヤ間動きデータ予測処理装置１２０６を用いて拡張レイヤと基本レイヤとにおける動きデータ間の冗長性を削減する。動きデータの例として、マクロブロック毎に用いられるパーティションサイズ及びタイプ、並びに予測方向、動きベクトルなどがある。レイヤ間イントラ予測処理装置１２０８は、拡張レイヤの画像を符号化するための追加の参照画像として、基本レイヤのイントラ画像又は基本レイヤの再構成画像を利用する。これらの追加の参照画像を改善するために、超解像処理装置１２１０を用いる。超解像処理装置１２１０は輝度マスキング及び／又は輝度補償も行う。オプションとして、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などの補助データを超解像処理装置１２１０において用いることができる。
【００２３】
デコーダにおいて、基本レイヤ復号処理装置１２２２を用いて基本レイヤビットストリームを復号する。拡張レイヤ復号処理装置１２３２は、レイヤ間残差予測処理装置１２２４、レイヤ間動きデータ予測処理装置１２２６、及びレイヤ間イントラ予測処理装置１２２８を用いて拡張レイヤビットストリームを復号する。エンコーダと同様に、レイヤ間イントラ予測処理装置１２２８からの参照ピクチャを改善するために超解像処理装置１２３０を用いる。超解像処理装置１２２８は輝度マスキング及び／又は輝度補償も行う。オプションとして、動きベクトル、量子化パラメータ、デブロッキングフィルタ強度などの補助データを超解像処理装置１２２８において用いることができる。
【００２４】
［超解像処理装置の形態１］
図１０は超解像処理装置内の処理装置を示すブロック図である。補間処理装置１０１０は、超解像度化の対象となるフレームを補間する。補間方法には、公知であるバイリニア補間、バイキュービック補間、Ｌａｎｃｚｏｓ補間などがある。補間された画像は高解像度バッファ１０１２に格納される。これが最初の高解像度推定画像となる。１０２２における処理装置によって、画像列の位置合わせが行われる。１０２２は、参照フレームと対象フレームとの間のワーピングベクトルを算出し、予測画像を生成する動き検出処理装置１００２を備える。ワーピングベクトル及び予測画像は、輝度マスキング及び／又は輝度補償処理装置１０２０に入力され、輝度マスキング及び／又は輝度補償が実行される。位置合わせ処理装置１００４はワーピングベクトル、輝度マスク、及び輝度補償値に基づいて位置合わせを行う。点拡がり関数処理装置１０１４は、高解像度バッファ１０１２における高解像度推定画像を不鮮明化する。フレーム差分処理装置１００６は位置合わせ画像と不鮮明化された高解像度推定画像との間の差分を算出する。点拡がり逆関数処理装置１００８は差分を高解像度グリッドに逆投影する。正則化処理装置１０１８は平滑化画像を算出するために用いられる。高解像度推定処理装置１０１６は逆投影された差分と平滑化の拘束条件とを組み合わせて強調係数を生成する。次にこの強調係数を用いて高解像度推定画像を更新する。これにより、向上処理の繰り返しが１サイクル完了する。この処理を、処理装置１０１４、１００６、１００８、１０１６、及び１０１８を用いて繰り返す。この処理は所定のサイクル数になるまで繰り返してもよいし、強調係数の値が一定のしきい値以下になるまで繰り返してもよい。また、適応向上処理を画素単位で行って、特定の画素のみを選択し、さらなる向上処理を行ってもよい。
【００２５】
［超解像処理装置の形態２］
図１１は超解像処理装置内の処理装置を示す別のブロック図である。補間処理装置１１１０は、超解像度化の対象となるフレームを補間する。補間方法には、公知であるバイリニア補間、バイキュービック補間、Ｌａｎｃｚｏｓ補間などがある。補間された画像は高解像度バッファ１１１２に格納される。これが最初の高解像度推定画像となる。１１２２における処理装置によって、画像列のワーピングが算出される。１１２２は、参照フレームと対象フレームとの間のワーピングベクトルを算出し、予測画像を生成する動き検出処理装置１１０２を備える。ワーピングベクトル及び予測画像は、輝度マスキング及び／又は輝度補償処理装置１１２０に入力され、輝度マスキング及び／又は輝度補償が実行される。ワーピング処理装置１１０４はワーピングベクトル、輝度マスク、及び輝度補償値に基づいてワーピングを行う。点拡がり関数処理装置１１１４は、ワープ画像を不鮮明化する。フレーム差分処理装置１１０６はワープ画像と観測された低解像度画像（入力画像列）との間の差分を算出する。点拡がり逆関数処理装置１１０８は差分を高解像度グリッドに逆投影する。正則化処理装置１１１８は平滑化画像を算出するために用いられる。高解像度推定処理装置１１１６は逆投影された差分と平滑化の拘束条件とを組み合わせて強調係数を生成する。次にこの強調係数を用いて高解像度推定画像を更新する。これにより、向上処理の繰り返しが１サイクル完了する。この処理を、処理装置１１１４、１１０６、１１０８、１１１６、及び１１１８を用いて繰り返す。この処理は所定のサイクル数になるまで繰り返してもよいし、強調係数の値が一定のしきい値以下になるまで繰り返してもよい。また、適応向上処理を画素単位で行って、特定の画素のみを選択し、さらなる向上処理を行ってもよい。
【００２６】
［輝度補償及び輝度マスキングの実施の形態１］
本実施の形態では、図４を参照して輝度マスキング及び輝度補償を説明する。入力は、対象フレームのブロック及び参照フレームのブロックであり、それぞれ対象ブロック（ｃｕｒ＿ｂｌｋ）及び参照ブロック（ｒｅｆ＿ｂｌｋ）と呼ばれる。参照ブロックは、対象ブロックに最も一致する対応ブロックであると動き検出処理で特定されたブロックである。ステップＳ４０２において、歪み計算機は参照ブロックと対象ブロックとの間の歪みを算出する。歪みを算出する方法として、以下のように平均絶対差を算出する方法がある。
【００２７】
distortion = mean(cur_blk - ref_blk)
【００２８】
歪みを算出する別の方法として、以下のように平均２乗差を算出する方法がある。
【００２９】
distortion = mean((cur_blk - ref_blk)^2)
【００３０】
ステップＳ４０４において、比較器は歪みとしきい値とを比較する。しきい値は固定のしきい値であってもよいし、前のフレームの特徴に基づく適応的しきい値であってもよいし、対象フレームの特徴に基づく適応的しきい値であってもよいし、複数のしきい値の組み合わせであってもよい。歪みがしきい値よりも小さい場合、又は歪みがしきい値の基準を満たしている場合、処理はステップＳ４１４で終了し、対応する参照ブロックを超解像度化に用いることができる。この情報は後で用いるためにメモリに格納できる。一方、歪みがしきい値よりも大きい場合、又は歪みがしきい値の基準を満たしていない場合、ステップＳ４０６が実行される。ステップＳ４０６において、輝度差分計算機は、対象ブロックと参照ブロックとの間の輝度差分を算出する。輝度差分を算出する方法として、以下のように対象ブロックと参照ブロックとの平均値の差分を算出する方法がある。
【００３１】
illum_difference = mean(ref_blk) - mean(cur_blk)
【００３２】
輝度差分を算出する別の方法として、対象ブロックと参照ブロックとを周波数領域に変換し、ＤＣ成分間の差分を見つける方法がある。ＤＣＴ変換は、例えば以下のように用いられる。また、ウェーブレット変換も適している。
【００３３】
illum_difference = Inverse_DCT(DC[DCT(cur_blk)] -
DC[DCT(reference_blk)])
【００３４】
ステップＳ４０８において、輝度補償器は輝度差分を補償する。差分を補償する方法として、以下のように参照ブロックにおける全ての係数を減算する方法がある。
【００３５】
ref_blk = ref_blk - illum_difference
【００３６】
他の方法として、周波数領域で減算を行い、逆変換を行う方法もある。ステップＳ４１０において、歪み計算機は、ステップＳ４０２において説明したように歪みを算出する。ここで異なるのは、参照ブロックの内容がステップＳ４０８において変化したという点である。ステップＳ４１２において、比較器は、ステップＳ４０４において説明したように、歪みとしきい値とを比較する。歪みがしきい値よりも小さい場合、又は歪みがしきい値の基準を満たしている場合、処理はステップＳ４１６で終了し、輝度補償を用いる場合は、対応する参照ブロックを超解像度化に用いることができる。一方、歪みがしきい値よりも大きい場合、又は歪みがしきい値の基準を満たしていない場合、ステップＳ４１８で処理が終了し、対応する参照ブロックを超解像度化に用いることができない。このことをマスクするともいう。ここでも、この情報は後で用いるためにメモリに格納できる。
【００３７】
［輝度補償及び輝度マスキングの実施の形態２］
本実施の形態では、図５を参照して輝度マスキング及び輝度補償を説明する。ここでの処理は実施の形態１と同様である。ステップＳ５０２において、歪み計算機は、ステップＳ４０２において説明したように歪みを算出する。ステップＳ４０６、ステップＳ４０８、及びステップＳ４１０と同様に、輝度差分計算機はステップＳ５０４において輝度差分を算出し、輝度補償器はステップＳ５０６において輝度差分を補償し、歪み計算機はステップＳ５０８において歪みを算出する。ステップＳ４０６、ステップＳ４０８、及びステップＳ４１０はステップＳ４０４において歪みが基準を満たさない場合にのみ実行されるのに対し、ステップＳ５０４、ステップＳ５０６、及びステップＳ５０８は必ず実行される。ステップＳ５１０において、比較器は、（輝度補償されていない）歪みと輝度補償された歪みとを、しきい値と比較する。ここでも、しきい値は固定のしきい値であってもよいし、前のフレームの特徴に基づく適応的しきい値であってもよいし、対象フレームの特徴に基づく適応的しきい値であってもよいし、複数のしきい値の組み合わせであってもよい。前記歪み及び輝度補償された歪みのいずれもしきい値より小さくない場合、又は前記歪み及び輝度補償された歪みのいずれもしきい値の基準を満たさない場合、処理はステップＳ５１４で終了し、対応する参照ブロックを超解像度化に用いることができない。このことをマスクするともいう。この情報は後で用いるためにメモリに格納できる。一方、前記歪み及び輝度補償された歪みのうち一方がしきい値の基準を満たしている場合、比較器はステップＳ５１２において、歪みと輝度補償された歪みとを比較する。歪みが輝度補償された歪みよりも小さい場合、処理はステップＳ５１６で終了し、対応する参照ブロックを超解像度化に用いることができる。一方、歪みが輝度補償された歪みよりも大きい場合、処理はステップＳ５１８で終了し、輝度補償を用いる場合は、対応する参照ブロックを超解像度化に用いることができる。ここでも、この情報は後で用いるためにメモリに格納できる。
【００３８】
［輝度マスキング］
本実施の形態では、図８を参照して輝度マスキングを説明する。ここでの処理は、輝度マスキングのみを用いるという点を除いて実施の形態１と同様である。ステップＳ８０２において、歪み計算機は、ステップＳ４０２において説明したように歪みを算出する。ステップＳ８０４において、比較器は、歪みとしきい値とを比較する。ここでも、しきい値は固定のしきい値であってもよいし、前のフレームの特徴に基づく適応的しきい値であってもよいし、対象フレームの特徴に基づく適応的しきい値であってもよいし、複数のしきい値の組み合わせであってもよい。歪みがしきい値よりも小さい場合、又は歪みがしきい値の基準を満たしている場合、処理はステップＳ８０６で終了し、対応する参照ブロックを超解像度化に用いることができる。この情報は後で用いるためにメモリに格納できる。一方、歪みがしきい値よりも大きい場合、又は歪みがしきい値の基準を満たしていない場合、処理はステップＳ８０８で終了し、対応する参照ブロックを超解像度化に用いることができない。このことをマスクするともいう。ここでも、この情報は後で用いるためにメモリに格納できる。
【００３９】
［輝度補償］
本実施の形態では、図９を参照して輝度補償を説明する。ここでの処理においては、輝度補償のみを用いる。ステップＳ４０６及びステップＳ４０８と同様に、輝度差分計算機はステップＳ９０２において輝度差分を算出し、輝度補償器はステップＳ９０４において輝度差分を補償する。
【図面の簡単な説明】
【００４０】
【図１】先行技術である米国特許出願番号２００４／０１５６５６１  Ａ１に開示される超解像アルゴリズムを示す図である。
【図２】先行技術である米国特許出願番号２００５／００１９０００  Ａ１に開示される超解像アルゴリズムを示す図である。
【図３】先行技術である田中正行及び奥富正敏による技術論文「再構成型超解像処理の高速化アルゴリズム」Ｖｏｌ.２００４  Ｎｏ.１３３、２００４−ＣＶＩＭ−１４６、２００４年１１月に開示される超解像処理モデルを示す図である。
【図４】輝度補償及び輝度マスキング処理を示すフロー図である。
【図５】他の輝度補償及び輝度マスキング処理を示すフロー図である。
【図６】後処理又は前処理を目的とする超解像処理装置の使用を示すブロック図である。
【図７ａ】エンコーダにおける超解像処理装置の使用を示すブロック図である。
【図７ｂ】デコーダにおける超解像処理装置の使用を示すブロック図である。
【図８】輝度マスキング処理を示すフロー図である。
【図９】輝度補償処理を示すフロー図である。
【図１０】観測された低解像度画像列に対して位置合わせを行う超解像処理装置における処理装置を示すブロック図である。
【図１１】低解像度画像列をシミュレートするために高解像度推定画像をワーピングする超解像処理装置における処理装置を示すブロック図である。
【図１２ａ】レイヤ間予測を用いるエンコーダにおける超解像処理装置の使用を示すブロック図である。
【図１２ｂ】レイヤ間予測を用いるデコーダにおける超解像処理装置の使用を示すブロック図である。
【図１】
2007329678.tif 000003
【図２】
2007329678.tif 000004
【図３】
2007329678.tif 000005
【図４】
2007329678.tif 000006
【図５】
2007329678.tif 000007
【図６】
2007329678.tif 000008
【図７ａ】
2007329678.tif 000009
【図７ｂ】
2007329678.tif 000010
【図８】
2007329678.tif 000011
【図９】
2007329678.tif 000012
【図１０】
2007329678.tif 000013
【図１１】
2007329678.tif 000014
【図１２ａ】
2007329678.tif 000015
【図１２ｂ】
2007329678.tif 000016
【外国語明細書】
2007329678.tif 000017
2007329678.tif 000018
2007329678.tif 000019
2007329678.tif 000020
2007329678.tif 000021
2007329678.tif 000022
2007329678.tif 000023
2007329678.tif 000024
2007329678.tif 000025
2007329678.tif 000026
2007329678.tif 000027
2007329678.tif 000028
2007329678.tif 000029
2007329678.tif 000030
2007329678.tif 000031
2007329678.tif 000032
2007329678.tif 000033
【図１】
2007329678.tif 000034
【図２】
2007329678.tif 000035
【図３】
2007329678.tif 000036
【図４】
2007329678.tif 000037
【図５】
2007329678.tif 000038
【図６】
2007329678.tif 000039
【図７ａ】
2007329678.tif 000040
【図７ｂ】
2007329678.tif 000041
【図８】
2007329678.tif 000042
【図９】
2007329678.tif 000043
【図１０】
2007329678.tif 000044
【図１１】
2007329678.tif 000045
【図１２ａ】
2007329678.tif 000046
【図１２ｂ】
2007329678.tif 000047