(57)【要約】【課題】フィールド内空間方向性補間とフレーム間時間方向性補間を組み合わせることにより、エッジのジャギを低減し、フレーム間の静止領域におけるフレーム解像度を復元したデインターレース処理を可能とすること等を目的とする。【解決手段】フィールド内画素の方向による補間を行い、補間画素を中心とする近傍画素からなるブロックを用いたブロックマッチングにより画素の方向性を推定し、前記ブロックマッチングの結果から重み係数を計算して、すべての方向補間の結果を重み付け平均したものを最終的な補間結果とするとともに、フレーム間時間方向による補間結果も第２ブロックマッチングを行い、前記第２ブロックマッチング結果から重み係数を計算して、重み付け平均に加え、前記第２ブロックマッチング結果から最良の方向の補間を選択する１パスビデオ超解像処理方法等とする。【選択図】図１
2015095702.tif 000002
【特許請求の範囲】
【請求項１】
インターレース−プログレッシブ変換において、フィールド内の画素の方向性を注目画素近傍領域からなるブロックによるブロックマッチングにより推定して、各方向性補間の結果をマッチング残差から計算される重み係数による重み付け平均したものを最終的な補間の結果とする
ことを特徴とする１パスビデオ超解像処理方法。
【請求項２】
請求項１に記載の１パスビデオ超解像処理方法において、
前記ブロックマッチングの結果から、画像のエッジ部、テクスチャ部、平坦部を判別して、領域毎に最良の補間を選択的に行う
ことを特徴とする１パスビデオ超解像処理方法。
【請求項３】
請求項１または請求項２に記載の１パスビデオ超解像処理方法において、
フレーム間時間方向における奇数フィールドと偶数フィールドからなるフレーム画像による第２ブロックマッチングを行い、時間方向の補間結果も前記第２ブロックマッチングのマッチング残差から重み係数を計算して、フィールド内空間方向性補間の重み付け平均に加えることにより統一的に扱う
ことを特徴とする１パスビデオ超解像処理方法。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の１パスビデオ超解像処理方法において、
前記インターレース−プログレッシブ変換されたフレーム画像も同様にして、フレーム内方向性補間によって任意サイズへの拡大である解像度変換を行う
ことを特徴とする１パスビデオ超解像処理方法。
【請求項５】
請求項４に記載の１パスビデオ超解像処理方法において、
前記解像度変換の結果をマルチスケール非線形エンハンサ処理を適応クリップ処理とともに用いて、さらなる解像度の向上を図る
ことを特徴とする１パスビデオ超解像処理方法。
【請求項６】
フィールド内画素の方向による補間を行い、補間画素を中心とする近傍画素からなるブロックを用いたブロックマッチングにより画素の方向性を推定し、
前記ブロックマッチングの結果から重み係数を計算して、すべての方向補間の結果を重み付け平均したものを最終的な補間結果とするとともに、
フレーム間時間方向による補間結果も第２ブロックマッチングを行い、前記第２ブロックマッチング結果から重み係数を計算して、重み付け平均に加え、前記第２ブロックマッチング結果から最良の方向の補間を選択し、方向性補間の重み付け平均によりプログレッシブ変換された画像をフレーム内空間性補間により任意サイズへ拡大して、解像度変換の結果を非線形エンハンサ処理により、解像度の向上を図る
ことを特徴とする１パスビデオ超解像処理方法。
【請求項７】
請求項１乃至請求項６のいずれか一項に記載の１パスビデオ超解像処理方法を用いて映像処理を遂行する映像処理装置。
【請求項８】
請求項１乃至請求項６のいずれか一項に記載の１パスビデオ超解像処理方法を用いた映像処理をコンピュータに遂行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを格納されたプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の各種フォーマット間の変換処理等における１パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置に関する。
【背景技術】
【０００２】
インターレース−プログレッシブ変換（デインターレースとも称する）は、垂直方向の２倍の拡大と見なせるが、画像の拡大処理は画素値の内挿補間処理として行われてきた。シンク関数による補間公式は無限項のたたみ込みとして表されるが、画像は有限のサイズであるため、窓関数を掛けて有限項近似するか、適当な有限関数で近似していた。特に、インターレース−プログレッシブ変換では、静止領域におけるフレーム解像度を復元するために、フレーム間差分に基づく動き検出処理による動き適応変換が行われてきた。また、近年、超解像（Ｓｕｐｅｒ  Ｒｅｓｏｌｕｔｉｏｎ）と呼ばれる処理の研究が盛んに行われている。
【０００３】
例えば、動き検出回路の例としては、特許第２６４２８４６号公報や特開平５−３００５４１号公報、特開２００１−２２３９９５公報等、多くの公知文献が存在する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−７０１２３号公報
【非特許文献】
【０００５】
【非特許文献１】S. C. Park, M. K. Park, and M. G. Kang, Super-resolution image reconstruction: a technical overview,IEEE Signal Processing Magazine, Vol. 20, No. 3, pp.21-36. May 2003.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
シンク関数を近似した補間処理では、解像度の劣化が生じる。しかし、近似項数を増しても、画像の不連続性によりエッジ部ではリンギングが生じてしまう。フレーム間差分に基づく動き検出処理による動き適応変換では、動き検出処理のための特別な処理が必要となる。検出処理における誤検出、検出漏れを避けるための様々な工夫もなされているが、処理コストが掛かる。再構成型超解像と呼ばれる処理の多くは反復を基本とするものであり、リアルタイム処理には向かない。
【０００７】
本発明は、上述の問題点に鑑み為されたものであり、フィールド内空間方向性補間とフレーム間時間方向性補間を組み合わせることにより、エッジのジャギを低減し、フレーム間の静止領域におけるフレーム解像度を復元したデインターレース処理を可能とし、さらに、フレーム内空間方向性補間によって、画像内容に適応した任意サイズへの拡大である解像度変換処理を可能とすることを目的とする。また、後処理としての非線形エンハンサ処理によって、さらなる解像度の向上を図ることを目的とする。
【課題を解決するための手段】
【０００８】
フィールド内画素の方向による補間を行う。画素の方向性の推定には、補間画素を中心とする近傍画素からなるブロックを用いたブロックマッチングにより推定する。ブロックマッチングの結果から重み係数を計算して、すべての方向補間の結果を重み付け平均したものを最終的な補間結果とする。さらに、フレーム間時間方向による補間結果も同様にブロックマッチングを行い、マッチング結果から重み係数を計算して、重み付け平均に加える。このとき、マッチング結果から最良の方向の補間を選択する。そのようにして、方向性補間の重み付け平均によりプログレッシブ変換された画像をフレーム内空間性補間により任意サイズへ拡大する。さらに、そのような解像度変換の結果を非線形エンハンサ処理により、解像度の向上を図る。すべての処理は１パスでの処理が可能であり、リアルタイム処理も期待される。
【発明の効果】
【０００９】
フィールド内空間方向性補間とフレーム間時間方向性を組み合わせることにより、エッジのジャギを低減し、フレーム間の静止領域におけるフレーム解像度を復元したデインターレース処理が可能となり、さらに、フレーム内空間方向性補間によって、画像内容に適応した任意サイズへの拡大である解像度変換処理が可能となる。後処理としての非線形エンハンサ処理によって、さらなる解像度の向上が図られる。
【図面の簡単な説明】
【００１０】
【図１】本発明の処理全体の概要を説明するブロック図である。
【図２】ブロックマッチングによる画素の方向性の推定について説明する概要図である。
【図３】ＯＤＤｋ−１＆ＥＶＥＮｋ−１とＯＤＤｋ＆ＥＶＥＮｋのフレーム間のブロックマッチング及び時間方向性補間について説明する概要図である。
【図４】サブピクセル精度のフレーム内空間方向性補間について説明する図である。
【図５】非線形エンハンサ処理の動作概要について説明する図である。
【図６】時間空間方向性補間とマルチスケール非線形エンハンサによるビデオ超解像について、階層フィルタ処理概要について説明するために、階層処理を視覚化し、最初の行は入力画像であり、２行目はカーネルサイズ５画素のガウシアンフィルタによるフィルタ処理がなされたものであり、３行目は２行目の結果を１画素おきに用いて同一のフィルタ処理を行ったものである。
【図７】階層フィルタ処理によるマルチスケール非線形エンハンサ処理概要について説明するブロック図である。
【図８】順次走査とインターレース走査について説明するための順次走査について説明する図である。
【図９】順次走査とインターレース走査について説明するためのインターレース走査について説明する図であり、１枚の画像を２枚のフィールドに分け、各フィールドで１本おきに合計５２５本の走査線を走査することを説明する図である。
【図１０】順次走査とインターレース走査について説明するための隣接するフィールドが空間的に１ラインだけオフセットが生じていることを説明する図であって、第１フィールドおよび第２フィールドを併せて１フレームと称するものとする。
【図１１】人工的なエッジ画像例であり、傾斜角が各々１２度である場合を説明する図である。
【図１２】人工エッジ画像におけるエッジ角度（エッジ傾斜角）に対する復元画像と原画像の平均二乗誤差画像のピークＳＮ比の結果のグラフであり、バイキュービック補間（Ｂｉｃｕｂｉｃ）、方向性補間（Ｄｉｒｌｎｔｐ）、方向性補間＋非線形エンハンサ（Ｄｉｒｌｎｔｐ＋ＮＬＥｎｈ）について説明する図である。
【図１３】連続するインターレース走査されたフレーム画像を説明する図である。
【図１４】本発明におけるフィールド内方向性補間処理およびフレーム間時間方向性補間によって、奇数フィールド画素から偶数フィールド画素を生成したフレーム画像への変換結果について説明する図である。
【図１５】図１４に示すエッジ部の領域の拡大画像を説明する図であって、紙面左側が従来法（キュービック補間）を説明し、紙面右側が本発明による画像を説明する図である。
【図１６】図１４に示す静止テロップ部の領域の拡大画像を説明する図であり、紙面左側が従来法（キュービック補間）を説明し、紙面右側が本発明による画像を説明する図である。
【図１７】領域判別による画素毎のブロックマッチング結果のＳＡＤα値の標準偏差値の画像表示を示しており、白い画素ほどエッジらしさを表し、画素毎のマッチング残差による偏差値の差分絶対値の最大値が白１００％になるようにスケールしたものであって、インターレース画像であるので、垂直方向のサイズがフレーム画像の半分となっていることを説明する図である。
【図１８】各領域の画素におけるフィールド内画素の方向性を推定するブロックマッチング結果のＳＡＤα値のグラフの一例を示す図であり、横軸α値０〜８は図２における左上から右下方向から順に右上から左下方向までの９方向を表し、エッジ部（ｅｄｇｅ）、テクスチャ部（ｔｅｘｔｕｒｅ）、平坦部（ｐｌａｎｅ）を示す図である。
【図１９】デインターレース処理の結果を１３５０画素×１０８０ラインに解像度変換した結果を説明する図である。
【図２０】図１９で示した結果に加えて、さらにマルチスケール非線形エンハンサ処理した結果を説明する図である。
【図２１】図１９（エンハンスなし）の結果の周波数スペクトル画像について示す図であり、非線形エンハンサ処理により、周波数成分が拡張されていることを説明する図である。
【図２２】図２０（エンハンスあり）の結果の周波数スペクトル画像について示す図であり、非線形エンハンサ処理により、周波数成分が拡張されていることを説明する図である。
【図２３】垂直周波数０における水平周波数スペクトル（いずれも正規化周波数）のグラフ表示を説明する図であり、レベル０と１のＤｏＧフィルタによるエンハンス結果（Ｆｉｎｅ）、レベル０と１及びレベル１と２のＤｏＧフィルタによるエンハンス結果（Ｆｉｎｅ＋Ｃｏａｒｓｅ）、エンハンスなし（Ｎｏｎ−Ｅｎｈａｎｃｅ）を説明する図である。
【図２４】水平周波数０における垂直周波数スペクトル（いずれも正規化周波数）のグラフ表示を説明する図であり、レベル０と１のＤｏＧフィルタによるエンハンス結果（Ｆｉｎｅ）、レベル０と１及びレベル１と２のＤｏＧフィルタによるエンハンス結果（Ｆｉｎｅ＋Ｃｏａｒｓｅ）、エンハンスなし（Ｎｏｎ−Ｅｎｈａｎｃｅ）を説明する図である。
【図２５】従来の内挿補間処理について説明する図である。
【図２６】再構成型超解像処理について説明するブロック図である。
【発明を実施するための形態】
【００１１】
（実施形態における新規な技術思想）
・インターレース−プログレッシブ変換においては、フィールド内の画素の方向性を注目画素近傍領域からなるブロックによるブロックマッチングにより推定して、各方向性補間の結果をマッチング残差から計算される重み係数による重み付け平均したものを最終的な補間の結果とする点。
【００１２】
・ブロックマッチングの結果から、画像のエッジ部、テクスチャ部、平坦部を判別して、領域毎に最良の補間を選択的に行う点。
【００１３】
・さらに、フレーム間時間方向における奇数フィールドと偶数フィールドからなるフレーム画像によるブロックマッチングを行い、時間方向の補間結果もマッチング残差から重み係数を計算して、フィールド内空間方向性補間の重み付け平均に加えることにより統一的に扱うことができる点。
【００１４】
・インターレース−プログレッシブ変換されたフレーム画像も同様にして、フレーム内方向性補間によって任意サイズへの拡大である解像度変換を行う点。
【００１５】
・解像度変換の結果をマルチスケール非線形エンハンサ処理を適応クリップ処理とともに用いて、さらなる解像度の向上を図る点。
（実施形態における重要な技術要素）
【００１６】
・インターレース−プログレッシブ変換処理（デインターレース処理）。
【００１７】
・解像度変換処理。
【００１８】
・マルチスケール非線形エンハンサ処理。
【００１９】
・適応クリップ処理。
【００２０】
（技術要素の機能）
・インターレース−プログレッシブ変換処理におけるフィールド内画素の方向性推定のためのブロックマッチング処理、フィールド内画素による方向性補間処理、各方向性補間の結果のマッチング残差による重み付け平均処理、マッチング残差による領域判別処理。
【００２１】
・解像度変換処理におけるフレーム内画素の方向性推定のためのブロックマッチング処理、フレーム内画素による方向性補間処理、各方向性補間の結果のマッチング残差による重み付け平均処理。
【００２２】
・マルチスケール非線形エンハンサ処理におけるマルチスケールエッジ検出処理およびレベルに関する非線形操作処理。
【００２３】
・適応クリップ処理における注目画素近傍における入力画素値の最大値最小値探索処理。
【００２４】
実現方法としては、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。
【００２５】
本発明は、限定された離散的な時間空間方向における補間処理の結果の信頼性であるブロックマッチング残差から計算される重み係数を用いた重み付け平均によって、連続的な方向のエッジ領域に対応した補間を行うものであるが、これをさらなる時間空間的な方向に拡張することは原理的にはいくらでも可能であり、多様な空間的な画像内容や画像間の動きに対応することができる。
【００２６】
（本発明にかかる実施形態の要旨）
図１は、本発明の処理全体の概要を説明するブロック図である。図１に示すように、フィールド内およびフレーム間による空間および時間方向の補間処理からなるデインターレース処理（インターレースープログレッシブ変換処理）と、その結果のプログレッシブ画像をフレーム内方向性補間により任意サイズに拡大する解像度変換処理の２段階の処理からなり、さらに、後処理として、マルチスケール化した非線形エンハンサ処理を行う。非線形エンハンサ処理による過剰な補正を抑制するために、注目画素近傍における入力画素値の最大値最小値を探索して、それらの値による適応的なクリップ処理を併用する。
【００２７】
また、図２は、ブロックマッチングによる画素の方向性の推定について説明する概要図である。図２から理解できるように、奇数フィールド（ＯＤＤ）における５つの方向の画素○の組合せにより、偶数フィールド（ＥＶＥＮ）における画素●を補間生成する。補間に用いる画素○を中心とする３画素×３ラインのブロックを定義して、各方向におけるブロック間の差分絶対値総和（ＳＡＤ）を計算する。水平走査線上の画素の１次元補間により生成したサブピクセル精度の画素×による４方向も加える。
【００２８】
ブロックマッチング規準には、Ｍ画素×Ｎラインのブロック領域中の画素数で正規化した差分絶対値総和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ，ＳＡＤ）を用いる。
【数１】
2015095702.tif 000003
【００２９】
ここで、
2015095702.tif 000004
【００３０】
は、整数部分（切捨て）を表す床関数であり、Δαは、方向によるオフセット値である。
【００３１】
ブロックマッチングを行ったすべての方向における補間結果を次のように重み付け平均したものを最終的な補間結果とする。
【数２】
2015095702.tif 000005
【００３２】
ここで、
2015095702.tif 000006
【００３３】
は各方向における補間結果であり、ｗαは次のようなブロックマッチング残差によるガウス重みとする。
【数３】
2015095702.tif 000007
【００３４】
σｒは、各方向におけるブロックマッチングの結果のＳＡＤαの許容範囲の調整パラメータである。
【００３５】
フィールド内画素の方向性が画像内容によっては、明確に得られない場合があるので、画像中のエッジ部、テクスチャ部、平坦部を判別して、領域毎に最適なフィールド内空間補間を行うものとする。
【００３６】
画像の領域判定の方法は、具体的には次のように行うものとする。
【００３７】
１、すべての方向におけるブロックマッチングの結果のＳＡＤ値の標準偏差σＳＡＤを計算する。
【００３８】
２、σＳＡＤ＜ｄの場合、平坦部と判定する。ここで、ｄは、画像中の平坦部であることを判定するための閾値である。
【００３９】
３、ＳＡＤ値データをソートして、小さい方からｎ個のＳＡＤ値データを除外した場合の標準偏差σ（ｎ）ＳＡＤを計算する。
【００４０】
４、｜σＳＡＤ−σ（ｎ）ＳＡＤ｜＜ｅの場合、エッジ部と判定する。そうでなければ、テクスチャ部と判定する。ここで、ｅは、画像中のテクスチャ部であることを判定するための閾値である。
【００４１】
図３は、ＯＤＤｋ−１＆ＥＶＥＮｋ−１とＯＤＤｋ＆ＥＶＥＮｋのフレーム間のブロックマッチング及び時間方向性補間について説明する概要図である。図３に示すように、奇数フィールドと偶数フィールドからなるフレーム画像によるブロック領域を用いて、隣接するフレーム画像間でブロックマッチングを行う。得られるマッチング残差による重み係数とフレーム間補間画素を重み付け平均処理に加えることにより、フレーム間静止領域におけるフレーム解像度を復元する。
【００４２】
また、解像度変換処理は、サブピクセル精度のフレーム内空間方向性補間により次のように行う。図４は、サブピクセル精度のフレーム内空間方向性補間について説明する図である。
【００４３】
2015095702.tif 000008
の入力画像におけるサブピクセル位置の座標を（ξ，η）とすると、次のように簡単になる。
【数４】
2015095702.tif 000009
【００４４】
方向性を推定するためのブロック画素も同様にして、補間に用いる画素を中心としたサブピクセル位置の画素によるものを用いればよい。
【００４５】
また、図５は、非線形エンハンサ処理の動作概要について説明する図である。Ｄｏｇフィルタにより検出されたエッジ成分をレベルに関する非線形操作により高周波成分を拡張して、原画像に加えるが、ここで、非線形操作による過剰な強調を抑制するために、注目画素近傍における入力画素値の最大値最小値を探索して、それらの値による適応的なクリップ処理を行う。レベルに関する非線形操作は、例えば、次のようなものが考えられる。
【数５】
2015095702.tif 000010
【００４６】
ここで、ｓｇｎ（ｘ）は符号関数であり、ｒは、２以上の定数である。
【００４７】
また、図６は、時間空間方向性補間とマルチスケール非線形エンハンサによるビデオ超解像について、階層フィルタ処理概要について説明するために、階層処理を視覚化し、最初の行は入力画像であり、２行目はカーネルサイズ５画素のガウシアンフィルタによるフィルタ処理がなされたものであり、３行目は２行目の結果を１画素おきに用いて同一のフィルタ処理を行ったものである。
【００４８】
このような非線形エンハンサをマルチスケール拡張する。すなわち、画像内容によって、細かなエッジから緩やかなエッジまで、空間周波数に応じた解像度の向上を可能とする。空間周波数の低い成分を抽出するためには、フィルタの演算量が増す（いわゆるタップ数が必要）。
【００４９】
そこで、階層処理によってフィルタ処理の演算量を低減する。図６の１行目（Ｌｅｖｅｌ０）は原画像における画素であり、５タップのフィルタ処理を行った結果が２行目（Ｌｅｖｅｌ１）であり、その結果を１画素おきに同一の５タップのフィルタ処理を行う。以降、フィルタ処理を行う画素間隔を広げていく。図７は、階層フィルタ処理によるマルチスケール非線形エンハンサ処理概要について説明するブロック図である。
【００５０】
（本発明にかかる実施形態の詳細な説明）
実施形態の要旨概要は上述したとおりであるが、本発明にかかる実施形態の詳細な説明について以下に詳述する。なお、以下の説明においては、上述した要旨の内容と一部重複する技術事項も含まれるものであるが、説明の流れを維持して理解を容易にする観点から、重複説明を存置するものとする。
【００５１】
（１パスビデオ超解像処理）
(デインターレース処理）
（インターレース方式ビデオ）
【００５２】
伝送のためには、信号は１次元でなければならない。このため、走査と呼ばれる方法により、時間空間的に３次元であるビデオ信号を１次元の信号に変換する。図９に示すように、１枚の画像（これをフレームと呼ぶ）を２枚のフィールドに分け、各フィールドで１本おきに合計５２５本の走査線で走査する（ＮＴＳＣの場合）。この方式により伝送周波数の帯域を半減することができるが、処理としては複雑になる。すなわち、図１０に示すように、時間方向ｔと垂直方向ｙに着目すれば、走査線は標本点と見ることができるが、インターレース方式の場合は、標本点である画素が時間的に１／６０秒離れているだけでなく、空間的に走査線１ラインだけオフセットが生じている。
【００５３】
ここで、図８は、順次走査とインターレース走査について説明するための順次走査について説明する図であり、図９は、順次走査とインターレース走査について説明するためのインターレース走査について説明する図であり、１枚の画像を２枚のフィールドに分け、各フィールドで１本おきに合計５２５本の走査線を走査することを説明する図である。また、図１０は、順次走査とインターレース走査について説明するための隣接するフィールドが空間的に１ラインだけオフセットが生じていることを説明する図であって、第１フィールドおよび第２フィールドを併せて１フレームと称するものとする。
【００５４】
（内挿補間）
従来の画像の拡大方法は、原画素と原画素の間の画素を内挿補間生成することにより行われている。標本値から元来の連続的な信号ｆａ（ｘ）を復元する内挿公式は、次のように与えられる。
【数６】
2015095702.tif 000011
【００５５】
［数式６］において、Ｔは標本化周期であり、その逆数は標本化周波数と呼ばれる。ｓｉｎ（π／Ｔ）ｘ／（π／Ｔ）ｘは、シンク（ｓｉｎｃ）関数である。画像の場合、ｆａ（αＴ）は原画像における離散的な画素値に相当する。実際には、適当な窓関数を掛けて、無限に続くシンク関数を有限で打ち切ったり、適当な有限関数により近似したりする。上記［数式６］は、１次元信号に対するものである。画像は２次元信号であり、水平垂直の各方向に分離して処理が可能である。デインターレース処理は、フィールド画像の垂直方向における２倍拡大と見なせる。
【００５６】
特に、インターレース−プログレッシブ変換では、静止領域におけるフレーム解像度を復元するために、フレーム間差分に基づく動き検出処理による動き適応変換が行われてきた。動き検出回路の例としては、特許第２６４２８４６号公報や特開平５−３００５４１号公報、特開２００１−２２３９９５公報等、多くある。
【００５７】
また、近年、超解像と呼ばれる処理の研究が盛んに行われている。
［非特許文献］
S. C. Park, M. K. Park, and M. G. Kang, Super-resolution image reconstruction: a technical overview,IEEE Signal Processing Magazine, Vol. 20, No. 3, pp.21-36. May 2003.
【００５８】
［特許文献］
特開２００９−７０１２３号公報「画像処理装置及びその方法」
【００５９】
（フィールド内空間方向性補間）
フィールド内の画素を用いた空間方向性補間によるインターレース−プログレッシブ変換を行う。入力フィールド画像Ｉ（ｉ，ｊ），ｉ＝１，．．，Ｈ，ｊ＝１，．．，Ｖ／２とすると、変換されたフレーム画像Ｉ（ｉ’，ｊ’），ｉ’＝１，．．，Ｈ，ｊ’＝１，．．，Ｖは次のようになる。
【数７】
2015095702.tif 000012
【００６０】
ここで、ｍｏｄは剰余演算子であり、ｋは１から始まるフィールド番号を表す。また、
2015095702.tif 000013
【００６１】
は、空間方向性補間による変換画素である。
【００６２】
画素の方向性の推定には、ブロックマッチングを用いる。ブロックマッチングの規準としては、次のようなＭ画素×Ｎラインのブロック領域中の画素数により正規化した差分絶対値総和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ,ＳＡＤ）を用いる。
【数８】
2015095702.tif 000014
【００６３】
ここで、
2015095702.tif 000015
【００６４】
は、整数部分（切捨て）を表す床関数であり、Δαは、方向によるオフセット値である。図２では、ピクセル精度の方向の場合、Δα＝０，±１，±２であり、サブピクセル精度の方向の場合、Δα＝±０．５，±１．５である。サブピクセル精度の方向性の推定と補間処理は、水平走査線上の画素を１次元補間することにより行う。
【００６５】
ブロックマッチングを行ったすべての方向における補間結果を次のように重み付け平均したものを最終的な補間結果とする。
【数９】
2015095702.tif 000016
【００６６】
ここで、
2015095702.tif 000017
【００６７】
は、各方向における補間結果であり、ｗαは次のようなブロックマッチング残差によるガウス重みとする。
【数１０】
2015095702.tif 000018
【００６８】
ここで、σｒは各方向におけるブロックマッチングの結果ＳＡＤαの許容範囲を調整するためのパラメータである。
【００６９】
（領域適応処理と動き適応処理）
フィールド内画素の方向性が画像内容によっては、明確に得られない場合がある。そこで、画像中のエッジ部、テクスチャ部、平坦部を判別して、領域毎にフィールド内空間補間を行う。画像の領域判定の方法は、次のように行う。
【００７０】
１、すべての方向におけるブロックマッチングの結果のＳＡＤα値の標準偏差σＳＡＤを計算する。
【００７１】
２、σＳＡＤ＜ｄの場合、平坦部と判定する。ここで、ｄは、画像中の平坦部であることを判定するための閾値である。
【００７２】
３、ＳＡＤα値データをソートして、小さい方からｎ個のＳＡＤα値データを除外した場合の標準偏差σ（ｎ）ＳＡＤを計算する。
【００７３】
４、｜σＳＡＤ−σ（ｎ）ＳＡＤ｜＜ｅの場合、エッジ部と判定する。そうでなければ、テクスチャ部と判定する。ここで、ｅは、画像中のテクスチャ部であることを判定するための閾値である。
【００７４】
エッジ部と判定された画素に対してフィールド内方向性補間の重み付け平均を行う。それ以外の領域の画素に関しては、垂直方向のみの補間を行う。
【００７５】
さらにフレーム間でマッチング処理を行い、フレーム間補間処理を行う。図３に示すように、奇数フィールドと偶数フィールドからなるフレーム画像によるブロック領域を用いて、隣接するフレーム画像間でブロックマッチングを行う。得られるマッチング残差による重み係数とフレーム間補間画素を［数式９］の重み付け平均処理に加えることにより、フレーム間静止領域におけるフレーム解像度を復元する。
【００７６】
（解像度変換処理）
任意サイズへの拡大処理である解像度変換処理においてもデインターレース処理同様、空間的な方向性補間を行う。ここでは、インターレース走査されたフィールド画像をプログレッシブ走査されたフレーム画像に変換した結果を方向性補間するため、フレーム内空間方向性補間と呼ぶことにする。
【００７７】
図４の入力フレーム画像におけるサブピクセル位置の画素●を補間生成するには、走査線上のピクセル位置の画素○により１次元補間した画素×によりフレーム内空間方向性補間する。各方向における補間画素値
【００７８】
2015095702.tif 000019
【００７９】
は、画素間の空間的な距離の逆比による重み付け平均により、
【数１１】
2015095702.tif 000020
【００８０】
として計算できるが、
2015095702.tif 000021
【００８１】
の入力画像におけるサブピクセル位置の座標を（ξ，η）とすると、次のように簡単になる。
【数１２】
2015095702.tif 000022
【００８２】
方向性を推定するためのブロック画素も，補間に用いる画素を中心としたサブピクセル位置の画素によるものを用いればよい。各方向における補間画素
【００８３】
2015095702.tif 000023
【００８４】
をデインターレース処理同様、［数式９］の重み付け平均する。
【００８５】
（マルチスケール非線形エンハンサ）
フレーム内空間方向性補間による解像度変換処理の結果を後処理的に画像のエッジ情報に基づいた非線形エンハンサ処理を行うことにより、さらなる解像度の向上を図る。図５に非線形エンハンサ処理の動作を示す。
【００８６】
エッジの検出にはガウシアン差分（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ,ＤｏＧ）フィルタを用いる。ガウシアン差分を計算するためのガウシアン平滑化フィルタの処理カーネルを、
【数１３】
2015095702.tif 000024
【００８７】
とすると、画像Ｉ（ｘ）のＤｏＧフィルタは、
【数１４】
2015095702.tif 000025
【００８８】
である（ただし、１次元の場合）。
【００８９】
ここで、＊はたたみ込み演算であり、σ１＞σ２である。ＤｏＧフィルタはガウシアン平滑化フィルタの２次微分であるラプラシアン（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ, ＬｏＧ）フィルタの良い近似であり、計算効率も高い。画像の場合には、水平垂直方向に分離して処理を行うことができる。ラプラシアンフィルタ同様、方向によらないエッジ検出が可能である。
【００９０】
ＤｏＧフィルタにより検出されたエッジ成分をレベルに関する非線形操作により高周波成分を拡張して、原画像に加えるが、ここで、非線形操作による過剰な強調を抑制するために、注目画素近傍における入力画素値の最大値・最小値を探索して、それらの値による適応的なクリップ処理を行う。
【００９１】
レベルに関する非線形操作としては、例えば、次のようなものが考えられる。
【数１５】
2015095702.tif 000026
【００９２】
ここで、ｓｇｎ（ｘ）は符号関数であり、ｒは２以上の定数である。
【００９３】
このような非線形エンハンサをマルチスケール拡張する。ＤｏＧフィルタによるエッジ検出は、σ値を変えることにより、細かなエッジから緩やかなエッジまで検出が可能であるが、σ値が増すに従って計算量も増える。そこで、次のような階層処理を用いる。
【００９４】
図６は、階層処理を視覚化したものである。最初の行は入力画像であり、２行目はカーネルサイズ５画素のガウシアンフィルタによるフィルタ処理がなされたものである。
【００９５】
また、３行目は、２行目の結果を１画素おきに用いて同一のフィルタ処理を行ったものである。以降、フィルタ処理を行う画素間隔を広げていく。図７は、階層処理によるマルチスケール非線形エンハンサ処理のブロック図であり、図１は、処理全体のブロック図である。
【００９６】
（シミュレーション実験）
（人工エッジ画像実験）
図１１は人工的なエッジ画像例であり、傾斜角が各々１２度である場合を説明する図である。エッジの傾斜角度を０度から６０度まで、６度刻みで変えたエッジ画像に、正規化カットオフ周波数０．３の低域通過フィルタ処理を行って、水平垂直ともに１／２縮小した後、インターレース化を行う。そのようなインターレース画像に対して、本発明による方法を用いてデインターレース処理、解像度変換処理およびマルチスケール非線形エンハンサ処理を行い、原画像を復元する。復元画像と原画像の平均二乗誤差画像ＭＳＥを計算して、そのピークＳＮ比（ＰＳＮＲ）により復元の良さを評価する。バイキュービック補間による従来法とも比較する。
【００９７】
また、図１２は、人工エッジ画像におけるエッジ角度（エッジ傾斜角）に対する復元画像と原画像の平均二乗誤差画像のピークＳＮ比の結果のグラフであり、バイキュービック補間（Ｂｉｃｕｂｉｃ）、方向性補間（Ｄｉｒｌｎｔｐ）、方向性補間＋非線形エンハンサ（Ｄｉｒｌｎｔｐ＋ＮＬＥｎｈ）について説明する図である。
【００９８】
従来法による結果は、エッジの傾斜角度が増すにつれて、ピークＳＮ比が減少しているが、本発明における方向性補間の結果は、エッジの傾斜角度によらず、ほぼ一定であり、最大４．６ｄＢの改善が得られている。また、非線形エンハンサ処理を行うことにより、さらに改善している。補間方向が離散的であっても、重み付け平均を行うことによって、連続的なエッジの方向に対応していることが理解できる。
【００９９】
デインターレース処理および解像度変換処理における方向は、図２にあるようにピクセル精度で５方向、サブピクセル精度で４方向の計９方向とした。方向の推定のためのブロックマッチングのブロックサイズはいずれも９画素×７ライン、各方向の補間結果の重み付け平均のためのσｒは、それぞれ１．０，０．７５とした。非線形エンハンサ処理における階層ＤｏＧフィルタは、σ＝１として、階層はレベル２まで、非線形操作としては、３乗関数を用いた。
【０１００】
（実画像実験）
（デインターレース処理）
図１３は、連続するインターレース走査されたフレーム画像を説明する図である。画像サイズは７２０画素×５７６ライン（ＰＡＬ方式）であり、フィールド間の動きによる縞状のコーミング（ｃｏｍｂｉｎｇ）が見られる。第１画像における奇数フィールド画像をデインターレース処理してフレーム画像に変換する。
【０１０１】
また、図１４は、本発明におけるフィールド内方向性補間処理およびフレーム間時間方向性補間によって、奇数フィールド画素から偶数フィールド画素を生成したフレーム画像への変換結果について説明する図である。
【０１０２】
フィールド内における方向としては、図２にあるようにピクセル精度で５方向、サブピクセル精度で４方向の計９方向とした。フィールド内およびフレーム間方向性推定のためのブロックマッチングにおけるブロックサイズは、９画素×７ラインであり、各方向の補間結果の重み付け平均のためのσｒ＝１．０とした。
【０１０３】
画像中の枠で囲まれた領域は、エッジ部（１４１）、テクスチャ部（１４２）、平坦部（１４３）、静止テロップ部（１４４）であり、従来法であるキュービック補間との違いを比較するために領域を拡大した画像も示している。図１５のエッジ部は従来法と比較して、方向性補間の重み付け平均の結果はジャギが低減して滑らかなのが理解できる。図１６の静止テロップ部はフレーム間時間方向補間により、フレーム解像度が復元されているのが理解できる。また、テクスチャ部は領域判別の結果から従来法同様、垂直方向のみの補間結果となっている。
【０１０４】
ここで、図１５は、図１４に示すエッジ部の領域の拡大画像を説明する図であって、紙面左側が従来法（キュービック補間）を説明し、紙面右側が本発明による画像を説明する図である。また、図１６は、図１４に示す静止テロップ部の領域の拡大画像を説明する図であり、紙面左側が従来法（キュービック補間）を説明し、紙面右側が本発明による画像を説明する図である。
【０１０５】
図１７は、領域判別による画素毎のブロックマッチング結果のＳＡＤα値の標準偏差値の画像表示を示しており、白い画素ほどエッジらしさを表し、画素毎のマッチング残差による偏差値の差分絶対値の最大値が白１００％になるようにスケールしたものであって、インターレース画像であるので、垂直方向のサイズがフレーム画像の半分となっていることを説明する図である。
【０１０６】
また、図１８は、各領域の画素におけるフィールド内画素の方向性を推定するブロックマッチング結果のＳＡＤα値のグラフの一例を示す図であり、横軸α値０〜８は図２における左上から右下方向から順に右上から左下方向までの９方向を表し、エッジ部（ｅｄｇｅ）、テクスチャ部（ｔｅｘｔｕｒｅ）、平坦部（ｐｌａｎｅ）を示す図である。
【０１０７】
領域判別には、ブロックマッチングの結果のＳＡＤα値データをソートして、小さい方から４個のＳＡＤα値を除外した標準偏差σ（４）ＳＡＤを用いた。また、テクスチャ判別のためのしきい値ｅ＝１０とした。
【０１０８】
（解像度変換処理・マルチスケール非線形エンハンサ処理）
また、図１９は、デインターレース処理の結果を１３５０画素×１０８０ラインに解像度変換した結果を説明する図であり、図２０は、図１９で示した結果に加えて、さらにマルチスケール非線形エンハンサ処理した結果を説明する図である。
【０１０９】
解像度変換のためのフレーム内方向性補間におけるブロックマッチングには、デインターレース処理同様、９画素×７ラインのブロックを用いた。方向性も同様に９方向である。非線形エンハンサ処理における階層ＤｏＧフィルタは、σ＝１として、その階層はレベル２まで、非線形操作としては、３乗関数を用いた。
【０１１０】
また、図２１、図２２は、図１９（エンハンスなし）、図２０（エンハンスあり）のそれぞれの結果の周波数スペクトル画像について示す図であり、非線形エンハンサ処理により、周波数成分が拡張されていることを説明する図である。
【０１１１】
図２３は、垂直周波数０における水平周波数スペクトル（いずれも正規化周波数）のグラフ表示を説明する図であり、レベル０と１のＤｏＧフィルタによるエンハンス結果（Ｆｉｎｅ）、レベル０と１及びレベル１と２のＤｏＧフィルタによるエンハンス結果（Ｆｉｎｅ＋Ｃｏａｒｓｅ）、エンハンスなし（Ｎｏｎ−Ｅｎｈａｎｃｅ）を説明する図である。
【０１１２】
図２４は、水平周波数０における垂直周波数スペクトル（いずれも正規化周波数）のグラフ表示を説明する図であり、レベル０と１のＤｏＧフィルタによるエンハンス結果（Ｆｉｎｅ）、レベル０と１及びレベル１と２のＤｏＧフィルタによるエンハンス結果（Ｆｉｎｅ＋Ｃｏａｒｓｅ）、エンハンスなし（Ｎｏｎ−Ｅｎｈａｎｃｅ）を説明する図である。マルチスケール化により、さらに広範囲の周波数成分が拡張されていることが図２３よ図２４とから理解できる。
【０１１３】
（まとめ）
上述のように、次世代テレビ放送における過去の映像コンテンツのリパーパスのために、反復によらない１パスビデオ超解像処理として、画像の局所的な時間空間方向による補間とマルチスケール化した非線形エンハンサを提案した。
【０１１４】
また、インターレース走査されたフィールド画像をプログレッシブ走査されたフレーム画像に変換するデインターレース処理と任意サイズへの拡大を行う解像度変換処理の２段階の処理からなり、デインターレース処理では、フィールド内空間方向性補間にフレーム間時間方向性補間を組み合わせることによって、エッジ部におけるジャギを低減しつつ、静止テロップ部のフレーム解像度を復元した。
【０１１５】
また、フィールド内画素の方向を推定するブロックマッチング残差の結果から領域判別処理を行い、領域毎に最良な補間処理も実現した。
【０１１６】
また、フレーム内空間方向性補間による解像度変換処理を行った後、マルチスケール化した非線形エンハンサにより、さらなる解像度の向上を図った。
【０１１７】
また、上述したすべての処理は１パスでの実現が可能であり、リアルタイムでの処理が期待される。
【０１１８】
なお、図２５は従来の内挿補間処理について説明する図であり、図２６は再構成型超解像処理について説明するブロック図である。
【産業上の利用可能性】
【０１１９】
本発明は、映像分野全般、特に、映像の各種フォーマット間の変換処理に適するが、画像・映像の様々な解析や認識にも適用することができる。
【図１】
2015095702.tif 000027
【図２】
2015095702.tif 000028
【図３】
2015095702.tif 000029
【図４】
2015095702.tif 000030
【図５】
2015095702.tif 000031
【図６】
2015095702.tif 000032
【図７】
2015095702.tif 000033
【図８】
2015095702.tif 000034
【図９】
2015095702.tif 000035
【図１０】
2015095702.tif 000036
【図１１】
2015095702.tif 000037
【図１２】
2015095702.tif 000038
【図１３】
2015095702.tif 000039
【図１４】
2015095702.tif 000040
【図１５】
2015095702.tif 000041
【図１６】
2015095702.tif 000042
【図１７】
2015095702.tif 000043
【図１８】
2015095702.tif 000044
【図１９】
2015095702.tif 000045
【図２０】
2015095702.tif 000046
【図２１】
2015095702.tif 000047
【図２２】
2015095702.tif 000048
【図２３】
2015095702.tif 000049
【図２４】
2015095702.tif 000050
【図２５】
2015095702.tif 000051
【図２６】
2015095702.tif 000052