(57)【要約】【課題】斜線判定の確実性を高めることで斜線部を良好に復元するとともに客観的な復元性能も高いインタレース解除を実現する。【解決手段】斜線判定部は、補間対象画素ｘの上下の走査線中の複数の画素からなる局所的循環部を定め、左方向、右方向にそれぞれ１画素ずつ回転させつつ垂直方向の２画素の画素値の差の総和を算出する。そして、その総和が最小となる最適回転量を求め、左右の最適回転量の差が所定閾値以上である等の条件を満たしたら、斜線又は斜めエッジがあると判定し、最適回転量の逆数を斜線の延伸方向とする。斜線がないと判定された場合には、補間対象画素の上下の画素を用いてサンプル値Ｈ∞線形フィルタにより補間値を求め、斜線ありと判定された場合には斜線の延伸方向に単純線形補間により補間値を求める。これにより、確実性の高い斜線のみを抽出して斜線延伸方向に補間するので、復元性能が向上する。【選択図】図９
2014192659.tif 000002
【特許請求の範囲】
【請求項１】
１フィールドのインターレース画像信号を画素の補間処理によってプログレッシブ画像信号に変換する画像データ処理方法であって、
a)補間対象画素の上の走査線中の隣接するＮ個（Ｎは３以上の整数）の画素からなる画素列及び該補間対象画素の下の走査線中の同じく隣接するＮ個の画素からなる画素列の右端部同士及び左端部同士を結合した仮想的な環状画素列を生成し、該環状画素列を右方向及び左方向に１画素ずつ回転させつつ垂直方向に位置する二個の画素の画素値の差分を求め、その差分が最小になるときの回転量及び回転方向に基づいて、前記補間対象画素を含む斜線の有無の判定、及び斜線がある場合のその延伸方向の識別を行う斜線判定ステップと、
b)前記斜線判定ステップにおいて前記補間対象画素を含む斜線有りと判定された場合には、その斜線の延伸方向に前記補間対象画素を挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求め、前記補間対象画素を含む斜線無しと判定された場合には、前記補間対象画素を垂直方向に挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求める補間値演算ステップと、
を有することを特徴とする画像データ処理方法。
【請求項２】
請求項１に記載の画像データ処理方法であって、
前記補間値演算ステップでは、前記補間対象画素を含む斜線の延伸方向における該補間対象画素の補間又は垂直方向における該補間対象画素の補間の少なくともいずれか一方において、原画像信号を帯域制限フィルタを通して帯域制限したアナログ画像信号と、アナログ画像信号を離散化するサンプラ、サンプル点間に所定数の０点データを挿入するアップサンプラ、フィルタリングを行うデジタルフィルタ、離散信号を連続信号に戻すホールド、を含むアナログ／デジタル／アナログ変換系を通して得られるアナログ画像信号との誤差を小さくするようにデジタルフィルタを設計すべく設定した条件式を、有限次元離散時間系に近似的に変換することで得た計算式を所定の条件に基づいてＨ∞制御により解くことによって又はそれに相当する厳密な計算で解くことによって算出したパラメータを有するサンプル値Ｈ∞フィルタを用いたフィルタリング処理により、前記補間対象画素の画素値を算出することを特徴とする画像データ処理方法。
【請求項３】
請求項２に記載の画像データ処理方法であって、
前記補間値演算ステップでは、処理対象であるインターレース画像に対し所定周波数域におけるゲインを調べ、そのゲインに応じて前記サンプル値Ｈ∞フィルタの伝達特性を変更することを特徴とする画像データ処理方法。
【請求項４】
請求項１乃至３に記載の画像データ処理方法であって、
前記斜線判定ステップでは、前記環状画素列を右方向及び左方向に１画素ずつ回転させつつ垂直方向に位置する二個の画素の画素値の差分をＮ組の画素の組についてそれぞれ求め、その差分の総和が最小になるときの回転量及び回転方向に基づいて、前記補間対象画素を含む斜線の有無の判定、及び斜線がある場合のその延伸方向の識別を行うことを特徴とする画像データ処理方法。
【請求項５】
請求項４に記載の画像データ処理方法であって、
前記斜線判定ステップでは、前記環状画素列を右方向に回転させたときの前記差分の総和の最小値と該環状画素列を左方向に回転させたときの前記差分の総和の最小値との差に基づいて、前記補間対象画素を含む斜線の有無を判定することを特徴とする画像データ処理方法。
【請求項６】
１フィールドのインターレース画像信号を画素の補間処理によってプログレッシブ画像信号に変換する画像データ処理装置であって、
a)補間対象画素の上の走査線中の隣接するＮ個（Ｎは３以上の整数）の画素からなる画素列及び該補間対象画素の下の走査線中の同じく隣接するＮ個の画素からなる画素列の右端部同士及び左端部同士を結合した仮想的な環状画素列を生成し、該環状画素列を右方向及び左方向に１画素ずつ回転させつつ垂直方向に位置する二個の画素の画素値の差分を求め、その差分が最小になるときの回転量及び回転方向に基づいて、前記補間対象画素を含む斜線の有無の判定、及び斜線がある場合のその延伸方向の識別を行う斜線判定手段と、
b)前記斜線判定手段により前記補間対象画素を含む斜線有りと判定された場合には、その斜線の延伸方向に前記補間対象画素を挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求め、前記補間対象画素を含む斜線無しと判定された場合には、前記補間対象画素を垂直方向に挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求める補間値演算手段と、
を備えることを特徴とする画像データ処理装置。
【請求項７】
請求項６に記載の画像データ処理装置であって、
前記補間値演算手段は、前記補間対象画素を含む斜線の延伸方向における該補間対象画素の補間又は垂直方向における該補間対象画素の補間の少なくともいずれか一方において、原画像信号を帯域制限フィルタを通して帯域制限したアナログ画像信号と、アナログ画像信号を離散化するサンプラ、サンプル点間に所定数の０点データを挿入するアップサンプラ、フィルタリングを行うデジタルフィルタ、離散信号を連続信号に戻すホールド、を含むアナログ／デジタル／アナログ変換系を通して得られるアナログ画像信号との誤差を小さくするようにデジタルフィルタを設計すべく設定した条件式を、有限次元離散時間系に近似的に変換することで得た計算式を所定の条件に基づいてＨ∞制御により解くことによって又はそれに相当する厳密な計算で解くことによって算出したパラメータを有するサンプル値Ｈ∞フィルタを用いたフィルタリング処理により、前記補間対象画素の画素値を算出することを特徴とする画像データ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターレース画像をプログレッシブ画像に変換するための画像データ処理方法及び該方法を用いた画像データ処理装置に関する。
【背景技術】
【０００２】
テレビやビデオなどの動画像の走査方式には大別して、インターレース方式とプログレッシブ（ノンインターレースとも呼ばれる）方式とがある。近年は通信路や伝送路の大容量化の進展に伴って高精細の画質を得ることができるプログレッシブ方式が多く用いられるようになってきているが、過去に撮影されたり収録されたりした動画像にはインターレース方式のものが数多くある。こうしたインターレース方式の動画像をプログレッシブ方式に対応したモニタで表示させるためには、インターレース画像信号をプログレッシブ画像信号に変換する必要がある。以下の説明では、このインターレース画像信号からプログレッシブ画像信号への変換を、慣用に従ってインターレース解除という。
【０００３】
インターレース解除の手法には大別して、空間的補間法と時間的補間法とがある。簡単にいうと、空間的補間法とはインターレース解除の対象である１フレーム以外のフレームを参照することなく、当該フレーム内の情報のみを用いて欠落部分（具体的には欠落している水平走査線）の情報を補う補間法である。これに対し、時間的補間法とはインターレース解除の対象である１フレームだけでなくその前後のフレーム（場合によっては前後それぞれ複数のフレーム）も参照して欠落部分の情報を補う補間法である。一般的には、空間的補間法に比べ時間的補間法のほうが復元性能は高いものの、フレーム間での動きや変化の推定などが適切に行えない場合もあり、時間的補間法と空間的補間法とが組み合わせて使用されることも多い。したがって、空間的補間法の性能向上はインターレース解除自体の性能向上に大きく繋がる。
【０００４】
インターレース解除のための空間的補間法として、従来、様々な手法が使用され又は提案されている。これら手法には大別して、線形補間法と非線形補間法とがある。線形補間法は文字通り、線形多項式を用い、隣接する走査線間における輝度や色の差を直線的に補間して目的とする画素値を求める補間法である。
【０００５】
いま、図１９に示す復元画像上の補間対象走査線中の座標位置（ｉ，ｊ）にある画素ｘの画素値を周辺の画素の画素値から補間する場合を考える。図中、垂直座標位置ｉは画像の上方から下方に向かって順に付した走査線の番号、水平座標位置ｊは１本の走査線中の各画素の位置を左方から右方に向かって順に付した画素の番号である。垂直座標位置ｉの走査線は補間対象の走査線（インターレース解除によって画素値が補間される走査線）であり、該走査線上にある画素の値は不明である。これに対し、垂直座標位置ｉ＋１、ｉ−１、ｉ＋３、ｉ−３、…の走査線には観測画像Ｙから抽出した画素値が配列されている。着目している画素（補間対象画素）ｘの周辺に位置する各画素について、図中に示すように、ａ〜ｈと記し、以下の数式中で例えばａと記した場合には、画素ａの画素値を意味するものとする。
【０００６】
最も単純な線形補間では、画素ｘの画素値はその上下に位置する画素の値の平均となる。即ち、数式で表すと、
ｘ＝（ｂ＋ｅ）／２
となる。これを発展させた方法として、より多くの画素値を用いた補間法も提案されている。例えば、上下２個ずつの画素値を用いた３次補間法は次の式で表せる。
ｘ＝−０．０６２５ｇ＋０．５６２５ｂ＋０．５６２５ｅ−０．０６２５ｈ
【０００７】
これら線形補間法はデータ処理が簡単である割に高い復元性能が得られる。しかしながら、補間が垂直方向にのみしか行われないため、画像上に斜線や斜め方向に延伸するエッジ部が存在した場合、その斜線やエッジ部でジャギーを生じ易く、主観的な画質があまり良好でないという欠点がある。なお、説明の煩雑さを避けるために、以下の説明では、特に言及しない場合であっても、斜線は斜め方向に延伸するエッジ部も含むものとする。
【０００８】
非線形補間法は主として上記線形補間法の欠点を克服するものであり、例えば、ＥＬＡ（Edge-based Line Averaging）法、ＡＰＭ（Adaptive Pseudo Median）法、ＭＢＩ（Median Based Interpolation）法、ＬＣＩＤ（Low-Complexity Interpolation method for Deinterlacing）法などの各種手法が知られている（例えば特許文献１参照）。簡単に言えば、これら手法では、着目している画素ｘの周辺にある相関の高い画素の値の組を探索し、そこから平均値又は中央値として補間対象画素ｘの画素値を推定する。
【０００９】
例えばＥＬＡ法では、｜ａ−ｆ｜が｜ｂ−ｅ｜及び｜ｃ−ｄ｜よりも小さければ、画素ａと画素ｆとを結ぶ斜線が存在すると判断し、ａ＋ｆの平均値を画素ｘの値として採用する。即ち、次のような式に従って画素値を求めることができる。
ｍ：＝min｛｜ａ−ｆ｜，｜ｂ−ｅ｜，｜ｃ−ｄ｜｝
｜ａ−ｆ｜＝ｍであるとき、ｘ＝（ａ＋ｆ）／２
｜ｂ−ｅ｜＝ｍであるとき、ｘ＝（ｂ＋ｅ）／２
｜ｃ−ｄ｜＝ｍであるとき、ｘ＝（ｃ＋ｄ）／２
ただし、ｍに一致するものが複数存在する場合には、｜ｂ−ｅ｜＝ｅであるとみなして処理する。細部に相違はあるものの、ＡＰＭ法、ＭＢＩ法、ＬＣＩＤ法なども基本的には同様である。
【００１０】
こうした非線形補間法は、斜線の存在を識別し、斜線が存在する場合にそれに特化した処理を行うものであるため、当然のことながら、直線補間法に比べれば、斜線は滑らかに補間され、主観的な画質の向上が望める。そのため、例えば原画像に対する復元性能を示すＰＳＮＲ（Peak Signal-to-Noise Ratio）などの客観指標でみた復元性能は線形補間法に及ばないものの、空間的補間法において広く使用されている。
【００１１】
しかしながら、上記のような従来の非線形補間法においても、画像中に現れる斜線の状態によっては必ずしも良好な補間が行えない場合がある。例えばＥＬＡ法では、完全な白色の背景の上に細い斜線が存在する等、空間的な高周波成分が多い画像に対して、本来斜線の一部であると判断すべき画素を背景の一部であると誤って認識してしまい、途切れた斜線となってしまうことがある。ＡＰＭ法、ＭＢＩ法 ＬＣＩＤ法などの手法ではこれを改善するための工夫がなされているものの、その改善効果は十分とはいえない。
【００１２】
また従来の非線形補間法では、推定可能な斜線の傾き（角度）が限られる。一般的に、ＥＬＡ法等の各種手法は４５°の傾きの斜線についてはかなり正確に補間するものの、４５°を超えて大きく傾斜した斜線に対してはジャギーなどを生じ易い。より細かく斜線の傾きに対応している手法も提案されているものの、水平に近い斜線では良好な補間がなされにくい（特許文献２参照）。
【００１３】
即ち、従来の線形補間法は、客観的指標でみた復元性能は非線形補間法に勝るものの、斜線においてジャギーを生じ易く、主観的な画質は劣る。一方、斜線処理に特化した従来の非線形補間法においても、斜線の状態によっては必ずしも適切に復元されるとは限らず、客観的な復元性能では線形補間法に劣る。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００７−１８４９３４号公報
【特許文献２】特開２０１２−２１３１３６号公報
【特許文献３】特許第３８２０３３１号公報
【特許文献４】特許第５１４２３００号公報
【非特許文献】
【００１５】
【非特許文献１】掛水（H. Kakemizu）、ほか３名、「ノイズ・リダクション・オブ・ジェーペグ・イメージズ・バイ・サンプルド-データ・エッチ-インフィニティ・オプティマル・イプシロン・フィルターズ（Noise Reduction of JPEG Images by Sampled-data H-infinity Optimal Epsilon Filters）」、プロシーディング・サイス・アニュアル・コンファレンス（Proc. SICE Annual Conference）、2005年、pp. 1080-1085
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本発明は上記課題を解決するためになされたものであり、その目的とするところは、従来の非線形補間法を用いても適切な補間ができないような斜線部分を良好に復元することができるとともに、ＰＳＮＲ等の客観的指標で示される復元性能も高くすることができ、インタレース画像信号から品質の良好なプログレッシブ画像信号を得ることができる画像データ処理方法及び画像データ処理装置を提供することにある。
【課題を解決するための手段】
【００１７】
上述したように、従来の直線補間法は、インターレース画像上の斜線の復元性が劣るものの、客観的復元性能は比較的高い。実際上、原画像から得たインターレース画像に対して３次直線補間法を用いてインターレース解除した復元画像上の補間対象画素の画素値（補間値）と原画像における対応する画素の画素値との誤差を調べると、大きな誤差を示す部位は斜線が顕著に現れるエッジ部に集中しており、それ以外の部位の誤差は比較的小さい。このことから、線形補間法では適切に処理できない斜線部分を適切に処理し、それ以外の部位を線形補間法で処理することで、客観的な復元性能の向上と主観的な画質の向上を両立できることが推測される。一方、非線形補間法における客観的復元性能が線形補間法に比べて劣るのは、斜線推定の精度が十分に高くないために、本来は斜線として扱うべきでない部位までも斜線として処理してしまう点にあると推測できる。
【００１８】
こうしたことから、本願発明者は、従来の非線形補間法に比べてより確実性の高い斜線判定方法を導入し、確実に斜線があると判定できる部位に特化して斜線を再現するように補間を行い、斜線でない部位や斜線である疑いはあるものの確実性が低い部位には垂直方向に線形補間を実行するという手法に想到し、様々なシミュレーション実験により、そうした手法でインターレース解除の性能を向上させることができることを確認した。
【００１９】
即ち、上記課題を解決するためになされた本発明に係る画像データ処理方法は、１フィールドのインターレース画像信号を画素の補間処理によってプログレッシブ画像信号に変換する画像データ処理方法であって、
a)補間対象画素の上の走査線中の隣接するＮ個（Ｎは３以上の整数）の画素からなる画素列及び該補間対象画素の下の走査線中の同じく隣接するＮ個の画素からなる画素列の右端部同士及び左端部同士を結合した仮想的な環状画素列を生成し、該環状画素列を右方向及び左方向に１画素ずつ回転させつつ垂直方向に位置する二個の画素の画素値の差分を求め、その差分が最小になるときの回転量及び回転方向に基づいて、前記補間対象画素を含む斜線の有無の判定、及び斜線がある場合のその延伸方向の識別を行う斜線判定ステップと、
b)前記斜線判定ステップにおいて前記補間対象画素を含む斜線有りと判定された場合には、その斜線の延伸方向に前記補間対象画素を挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求め、前記補間対象画素を含む斜線無しと判定された場合には、前記補間対象画素を垂直方向に挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求める補間値演算ステップと、
を有することを特徴としている。
【００２０】
また上記課題を解決するためになされた本発明に係る画像データ処理装置は、上記本発明に係る画像データ処理方法を実施するための装置であり、１フィールドのインターレース画像信号を画素の補間処理によってプログレッシブ画像信号に変換する画像データ処理装置であって、
a)補間対象画素の上の走査線中の隣接するＮ個（Ｎは３以上の整数）の画素からなる画素列及び該補間対象画素の下の走査線中の同じく隣接するＮ個の画素からなる画素列の右端部同士及び左端部同士を結合した仮想的な環状画素列を生成し、該環状画素列を右方向及び左方向に１画素ずつ回転させつつ垂直方向に位置する二個の画素の画素値の差分を求め、その差分が最小になるときの回転量及び回転方向に基づいて、前記補間対象画素を含む斜線の有無の判定、及び斜線がある場合のその延伸方向の識別を行う斜線判定手段と、
b)前記斜線判定手段により前記補間対象画素を含む斜線有りと判定された場合には、その斜線の延伸方向に前記補間対象画素を挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求め、前記補間対象画素を含む斜線無しと判定された場合には、前記補間対象画素を垂直方向に挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求める補間値演算手段と、
を備えることを特徴としている。
【００２１】
本発明に係る画像データ処理装置により実施される本発明に係る画像データ処理方法において、１枚のインターレース画像が与えられると、斜線判定ステップでは、該画像中の一つの補間対象画素について、その上の走査線中の隣接するＮ個の画素からなる画素列及び該補間対象画素の下の走査線中の同じく隣接するＮ個の画素からなる画素列を抽出し、その二つの画素列の右端部同士及び左端部同士を結合した仮想的な環状画素列を生成する。なお、通常、Ｎの値は奇数とし、補間対象画素の位置を中心とし、その左右に（Ｎ−１／２）個ずつ画素を抽出することでＮ個の画素からなる画素列を抽出するとよい。
【００２２】
さらに斜線判定ステップでは、２×Ｎ個の画素からなる環状画素列を右方向及び左方向に１画素ずつ回転させつつ垂直方向に位置する二個の画素の画素値の差分を求める。より具体的には、例えば、環状画素列を右方向及び左方向に１画素ずつ回転させつつ垂直方向に位置する二個の画素の画素値の差分をＮ組の画素の組についてそれぞれ求め、その差分の総和が最小になるときの回転量及び回転方向を調べる。
【００２３】
いま、補間対象画素を含む斜線が存在した場合、環状画素列を右方向又は左方向に或る画素数分だけ回転させたときに、斜線を構成する画素が補間対象画素を挟んで垂直方向に並ぶ。斜線を構成する画素の画素値はほぼ同じである筈であるから、その補間対象画素を挟んで垂直方向に位置する二個の画素の画素値の差は小さい。一方、補間対象画素の周囲でその斜線以外の領域が平坦である、つまり画素値がほぼ同じであるとすると、上述したように斜線を構成する画素が補間対象画素を挟んで垂直方向に並んだときに、その補間対象画素以外においても垂直方向に位置する二個の画素の画素値の差は小さくなる。これは、例えば斜線を挟んで位置する二つの領域がそれぞれ異なる明度や色の平坦部であっても同様である。そのため、上下の画素の画素値の差分に基づいて、斜線を構成する画素が補間対象画素を挟んで垂直方向に並んだことを認識することができ、斜線が有ると判定することができる。逆に、例えば上下の画素の画素値の差分が小さくならない場合には、斜線が無いものと判定することができる。
【００２４】
また、斜線を構成する画素が補間対象画素を挟んで垂直方向に並ぶまでの環状画素列の回転量（画素数）及び回転方向を求めることで、斜線の延伸方向を識別することができる。さらにまた、平坦部中に斜線が存在する場合だけでなく、それぞれ異なる明度や色を持つ二つの平坦部が接している斜めエッジ部に補間対象画素が含まれる場合も同様に、その斜めエッジ部を構成する画素が補間対象画素を挟んで垂直方向に並んだとき、垂直方向に位置する二個の画素の画素値の差は小さくなる。したがって、斜線判定ステップでは、斜めエッジ部も斜線と同様にその有無を判定することができ、斜めエッジ部が存在する場合にはその延伸方向を識別することができる。
【００２５】
このようにして、本発明に係る画像データ処理方法における斜線判定ステップでは、平坦部中に存在する斜線や二つの平坦部を区分する斜めエッジ部の有無の判定やそれらの延伸方向の識別を高い精度で行うことができる。
【００２６】
また、本発明に係る画像データ処理方法において、前記斜線判定ステップでは、前記環状画素列を右方向に回転させたときの前記差分の総和の最小値と該環状画素列を左方向に回転させたときの前記差分の総和の最小値との差に基づいて、前記補間対象画素を含む斜線の有無を判定するようにしてもよい。これにより、例えば、斜線や斜めエッジ部以外の領域が平坦部ではなく複雑な模様が存在するような場合で斜線や斜めエッジ部の延伸方向を判断するのが難しい場合などに、斜線や斜めエッジ部が存在しないと判定することで、確実性が低いにもかかわらず斜線有りと判定することを回避することができる。
【００２７】
また本発明に係る画像データ処理方法において、
前記補間値演算ステップでは、前記補間対象画素を含む斜線の延伸方向における該補間対象画素の補間又は垂直方向における該補間対象画素の補間の少なくともいずれか一方において、原画像信号を帯域制限フィルタを通して帯域制限したアナログ画像信号と、アナログ画像信号を離散化するサンプラ、サンプル点間に所定数の０点データを挿入するアップサンプラ、フィルタリングを行うデジタルフィルタ、離散信号を連続信号に戻すホールド、を含むアナログ／デジタル／アナログ変換系を通して得られるアナログ画像信号との誤差を小さくするようにデジタルフィルタを設計すべく設定した条件式を、有限次元離散時間系に近似的に変換することで得た計算式を所定の条件に基づいてＨ∞制御により解くことによって又はそれに相当する厳密な計算で解くことによって算出したパラメータを有するサンプル値Ｈ∞フィルタを用いたフィルタリング処理により、前記補間対象画素の画素値を算出することが好ましい。
【００２８】
本願発明者は、これまで長年に亘り、特にデジタルオーディオの分野において、連続時間特性を扱うことができるサンプル値制御理論、より詳しくはサンプル値Ｈ∞制御をデジタルオーディオ信号を扱うデジタル／アナログ変換技術などに導入する試みについて研究を続けてきた（特許文献３参照）。この技術は、元のデジタル信号のサンプルを単に離散時間信号としてのみ捉えるのではなく、サンプル間応答に含まれるアナログ特性をも考慮してＤ／Ａ変換やサンプリングレート変換の際のデジタルフィルタの設計を行うことによって、アナログオーディオとしての聴感上での音質が最良又はそれに近い状態となるようにすることを意図するものであった。さらに、本願発明者は、近年の画像の圧縮技術の進展及びそれに伴う画質改善の必要性に鑑み、サンプル値Ｈ∞最適化の手法を画像のノイズ除去や解像度変換などに適用する試みについて研究を行っている。例えば特許文献４では、ＭＰＥＧ方式などで圧縮率を高めたときに出現し易くなるブロックノイズやモスキートノイズを目立たなくしつつ、原画像の良さを損なわないような高画質を達成することができる画像ノイズ除去方法を提案している。また、非特許文献１には、サンプル値Ｈ∞最適化手法に基づいて設計されたデジタルフィルタによるサンプル点間補間を用いることで、任意倍率で以て画像の解像度を変換可能とした解像度変換器が開示されている。
【００２９】
上記好ましい態様の画像データ処理方法では、補間対象画素に対し垂直方向に又は斜線の延伸方向に直線補間を行う際に、従来の単純直線補間や３次補間ではなく、サンプル値Ｈ∞フィルタを用いた補間が実施される。このサンプル値Ｈ∞フィルタによる補間では、原画像と復元画像との誤差ができるだけ小さくなるように補間値が計算されるので、復元性能を一層向上させることができる。
【発明の効果】
【００３０】
本発明に係る画像データ処理方法及び画像データ処理装によれば、従来の非線形補間法では適切に補間されず、例えばジャギーが生じたり途切れが発生したりするような斜線や斜めエッジ部であっても、良好に復元することができる。また、斜線や斜めエッジ部とみなすべきでない部位については斜線として処理を行うことがないので、ＰＳＮＲ等の客観的指標で示される復元性能を高くすることができる。それにより、インタレース画像信号から品質の良好なプログレッシブ画像信号を得ることができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施例である画像データ処理方法を実施する画像データ処理装置の機能ブロック図。
【図２】本実施例である画像データ処理方法に用いられるデジタルフィルタを設計するための誤差系モデルを示す図。
【図３】図２に示した誤差系モデルを単一レート系モデルに変換したときのブロック図。
【図４】図３に示した単一レート系モデルを一般プラント形式に書き直したブロック図。
【図５】図４を有限次元離散時間系に変換したときのブロック図。
【図６】原画像から推定されるアナログ特性の例を示す図。
【図７】本実施例の画像データ処理方法において処理対象である二種類の斜線の例を示す図。
【図８】本実施例の画像データ処理方法においてアップサンプル画像中の補間対象画素に対して設定される局所的循環部を示す図。
【図９】図８に示した局所的循環部の回転による斜線判定の概略説明図。
【図１０】斜線判定で注意を要する画素パターンを示す図。
【図１１】本実施例の画像データ処理方法におけるインターレース解除のフローチャート。
【図１２】斜線判定の詳細なフローチャート。
【図１３】インターレース解除評価用動画akiyoのプログレッシブ動画像。
【図１４】インターレース解除評価用動画akiyoのインターレース動画像。
【図１５】図１４に示したインターレース動画像に対し従来の線形補間によりインターレース解除した画像。
【図１６】図１４に示したインターレース動画像に対し従来のＥＬＡによりインターレース解除した画像。
【図１７】図１４に示したインターレース動画像に対し本実施例の画像データ処理方法によりインターレース解除した画像。
【図１８】各種手法によるインターレース解除を行ったときの動画１０種に対するＰＳＮＲの平均、及びakiyoとcityに対するＰＳＮＲを示す図。
【図１９】復元画像上の座標（ｉ，ｊ）にある画素ｘとその周辺の画素の配置とを示す図。
【発明を実施するための形態】
【００３２】
以下、本発明に係る画像データ処理方法及び該方法を実行する画像データ処理装置の一実施例について、添付図面を参照しつつ説明する。本実施例の画像データ処理装置は、フィールド毎に、つまりは画像１枚毎に、インターレース画像信号を補間することによりプログレッシブ画像信号に変換する、つまりインターレース解除処理を行うものである。
【００３３】
図１は本実施例の画像データ処理装置の機能ブロック図である。
本実施例の画像データ処理装置において、インターレース解除部１は、１枚のインターレース画像を構成する画像データを受けて、サンプル点間補間により飛び越し走査された走査線上の画素を０点データとして埋めるアップサンプラ２と、挿入された０点データの近傍の画素の画素値を用いて０点データに代わる補間値を算出する線形補間フィルタ３と、アップサンプリングされた画像上で補間対象画素毎に斜線に含まれる又は斜めエッジ部に含まれるか否かを判定するとともに、その斜線又は斜めエッジ部の延伸方向を識別する斜線判定部４と、入力された画像データに対し周波数特性を分析する周波数分析部５と、その周波数分析結果に応じてデジタルフィルタのフィルタ係数を選択するフィルタ選択部６と、を含む。
【００３４】
線形補間フィルタ３は、原画像の特性を考慮したフィルタリングを実行するＨ∞最適線形フィルタであり、２次元の線形畳み込み演算を実行する一つの重要な要素である。また、斜線判定部４は、処理対象であるインターレース画像上の斜線や斜めエッジ部を高い確実性を以て認識し且つその斜線の延伸方向を正確に把握するために、後述するような特徴的な処理を実行するものである。
まず、本実施例の画像データ処理装置における線形補間フィルタ３について詳しく説明する。
【００３５】
上述したように、本実施例の画像データ処理装置で使用される線形補間フィルタは、サンプル値制御理論を用いて設計されたサンプル値Ｈ∞線形フィルタであり、複数の画素の画素値を用いた補間処理によって補間対象画素の画素値を求めるものである。いま、サンプル点間補正を行う、伝達特性がＫ(ｚ)であるＨ∞最適線形フィルタを設計するために、図２に示すような誤差系モデルを考える。図２において、下側の信号経路がレート変換の信号処理系であり、上側の信号経路がその信号処理系による時間遅れを考慮した遅延系である。
【００３６】
図２において、入力ｗは連続時間信号であり、Ｗ(ｓ)は連続時間信号を帯域制限するアンチエリアシングフィルタ１１、Ｓhは連続時間信号をサンプル周期ｈ（＞０）でサンプリングして離散時間信号とするサンプラ１３、↑Ｍはこの離散時間信号のサンプル間に０信号を挿入することでサンプル周期ｈの離散時間信号に変換するアップサンプラ１４、Ｋ(ｚ)は上記挿入された０信号を適宜の値に修正するデジタルフィルタ１５、Ｈh/Mは離散時間信号を連続時間信号に変換するべく周期ｈ／Ｍで動作する０次ホールド１６、である。一方、ｅ-mhsは時間遅れ要素１２である。アンチエリアシングフィルタ１１のアナログ特性がＷ(ｓ)、デジタルフィルタ１５の伝達特性がＫ(ｚ)である。而して、図２に示した誤差系モデルは、帯域制限信号ｒに上述した信号処理による時間遅れｍｈを与え、減算器１８により０次ホールド１６の出力である復元信号ｙと遅延した帯域制限信号との誤差信号ｅを取り出すシステムであるとみることができる。この誤差信号ｅも連続時間信号である。
【００３７】
ここでは、最適なフィルタを得るために、誤差信号ｅができる限り小さくなるようにＩＩＲ型のデジタルフィルタ１５を構成するものとする。即ち、安定な連続時間フィルタ（アンチエリアシングフィルタ１１）と正の整数ｍ、Ｍとが与えられている条件の下で、ＩＩＲ型のデジタルフィルタ１５を設計する。そのために、連続時間信号ｗから誤差信号ｅへ変換するシステムをＴewとおいたとき、与えられたγに対し、次の(1)式を満たすような伝達特性Ｋ(ｚ)を求める。
【数１】
2014192659.tif 000003
つまり、この(1)式が上述したＩＩＲ型デジタルフィルタを設計すべく設定した条件式である。ここでγは誤差の大きさを支配するものであり、小さいほどよい。Ｈ∞制御では、これを繰り返し計算によって最小化する方法が採られる。
【００３８】
図２に示した誤差系モデルはアップサンプラを含むため時変系となっており、このままでは扱いが困難である。そこで、アップサンプラ及びむだ時間系を含む系（マルチレート系）を単一のサンプル周期の有限次元系に変換するために離散時間リフティング及び逆リフティングを導入する。上述の特許文献３、４、非特許文献１等でよく知られているので詳細な説明は略すが、リフティングの導入により、図２に示したマルチレート系のモデルは図３に示す単一レート系のモデルに等価的に変換される。次に、図３中にある連続時間むだ時間要素であるｅ-mhsを有限次元化するために、系の入力をｍステップだけ遅らせるような変換を行う。これにより、所望の設計問題は、伝達特性Ｋ(ｚ)の代わりに非因果的なフィルタｚmＫ'(ｚ)を設計する問題に変換される。
【００３９】
これをさらに有限次元離散時間系の設計問題に帰着させる。その手法の詳細は、カルゴネカー、山本、「ディレイド・シグナル・リコンストラクション・ユージング・サンプルド−データ・コントロール（Delayed signal reconstruction using sampled-data control）」、プロシーディングス・オブ・３５ス・コンファレンス・オン・デシジョン・アンド・コントロール（Proc. of 35th Conf. on Decision and Control）、p.1259-1263、1996年、に記載されているが、ここではＦＳＦＨ（ファーストサンプル・ファーストホールド）手法を適用することにより、制約条件のない近似的な離散時間系設計問題に帰着させる。
【００４０】
ＦＳＦＨ手法はサンプル値制御系の性能を評価する一手法であって、ｈ周期のサンプル値系の連続時間入出力をｈ／Ｎ（Ｎは自然数）周期で動作するサンプラとホールドによって離散化し、十分に大きなＮに対する離散時間信号で連続時間信号を近似する方法である。ＦＳＦＨ手法の詳細は、山本、マディエフスキ、アンダーソン、「コンピュテーション・アンド・コンバージェンス・オブ・フリクエンシ・レスポンス・ビア・ファスト・サンプリング・フォー・サンプルド−データ・コントロール・システムズ（Computation and convergence of frequency response via fast sampling for sampled-data control systems）」、プロシーディングス・オブ・３６ス・コンファレンス・オン・デシジョン・アンド・コントロール（Proc. of 36th Conf. on Decision and Control）、p.2157-2162、1997年、に記載されているのでここでは省略する。
【００４１】
設計のために図３を一般化プラント形式に描き直したものが図４である。この図４中に示した連続時間系システム２０の行列式ｇに対しリフティングを行い、ＦＳＦＨ手法を用いて近似離散化すると図５に示す離散時間系に帰着され、サンプル値系システム３０の近似離散時間系Ｇは次の式で与えられる。
【数２】
2014192659.tif 000004
ここで、Ｇの各行列及び作用素は次のように定義される。
【数３】
2014192659.tif 000005
【００４２】
上記近似離散時間系Ｇを用いて上記(1)式は次の(2)式で近似され、(1)式を満たすような伝達特性Ｋ(ｚ)を求めるということは近似的に有限次元離散時間系の問題に帰着される。    
【数４】
2014192659.tif 000006
ただし、
【数５】
2014192659.tif 000007
である。即ち、図４は図５に示す有限次元離散時間系に変換されることになる。
而して、(2)式を求め、ごく一般的な離散時間Ｈ∞制御問題を解けば、所望のＩＩＲ型デジタルフィルタの伝達特性Ｋ(ｚ)が得られることになる。
なお、上述したサンプル値制御理論によるフィルタ設計手法の基本は特許文献３、４、非特許文献１のほか、本願発明者が各種学会等で発表している論文などに記載されている既知のものである。
【００４３】
さて、図２に戻ると、復元したい、つまりインターレース解除したい画像のアナログ信号の特性を連続時間のアナログ特性Ｗ(ｓ)として与えることで、この特性が与える信号ｒと信号復元系の出力である復元信号ｙとの誤差信号ｅを、ｗからｅへのシステムのＨ∞ノルムの意味で最小化するように、離散信号のサンプル点間をフィルタが補間することになる。したがって、サンプル点間補正に先立ってアナログ特性Ｗ(ｓ)を決定しなければならないが、これは一般に既知ではない。また、上記フィルタの設計にはＨ∞最適化の方法を用いるが、これは計算量の多い処理であり、動画像をオンライン処理する際にリアルタイムで最適なフィルタ設計を行うことは非現実的である。このような制約から、ここでは次のように対応する。
【００４４】
（１）一般的であると推測されるアナログ特性Ｗ(ｓ)を複数用意し、各アナログ特性Ｗ(ｓ)に応じた線形補間フィルタを予めオフラインで計算しておく。計算により得られた複数のフィルタをＫ1、…、Ｋpとする。本実施例の画像データ処理装置では、このフィルタＫ1、…、Ｋpに関するパラメータをアナログ特性に対応付けてフィルタ選択部６に格納しておけばよい。
（２）インターレース解除処理の対象となる観測画像Ｙが与えられたとき、Ｋ1、…、Ｋpの中で最も復元性能が高いフィルタＫqを選択してその観測画像Ｙに適用する。本実施例の画像データ処理装置では、このようなフィルタ選択のための処理を、周波数分析部５及びフィルタ選択部６で実行する。
このような方法を採れば、アナログ特性Ｗ(s)が未知であってもインターレース解除を実行することができ、さらに、リアルタイムでフィルタを計算する必要もないのでＨ∞最適化に伴う計算量も問題とならない。
【００４５】
ここでは、観測画像Ｙのみが与えられている条件下で、複数のフィルタＫ1、…、Ｋpの中で最も高い復元性能を示すフィルタＫqを選択する必要がある。そのために、以下のような処理を実行する。いま一例として、Ｗ1(jω)、Ｗ2(jω)、Ｗ3(jω)という三種類のアナログ特性がＷ(ｓ)として予め用意されている場合について考える。このアナログ特性の一例を図６に示す。
【００４６】
図６に示すように、三種類のアナログ特性の中で、Ｗ1(jω)は相対的に高周波成分を多く含み、Ｗ3(jω)は低周波成分を多く含み、Ｗ2(jω)は両者の中間的な特性を持つ。これらの特性は予備的な実験から得られた原画像の周波数スペクトルの典型例を模したものであり、復元したいと考える原信号のスペクトルに対する推定に相当する。これらのアナログ特性は、ω＝０の付近ではほぼ同じであるが、それよりも少し高い周波帯域では｜Ｗ1(jω)｜＜｜Ｗ2(jω)｜＜｜Ｗ3(jω)｜という関係にある。これらは原画像の特性に関する推定であるが、こうした低周波域のスペクトルの特徴は完全ではないものの或る程度観測画像にも反映される。そこで、｜Ｗ1(jω)｜＜｜Ｗ2(jω)｜＜｜Ｗ3(jω)｜であると推測される周波数帯域において観測画像の周波数成分のゲインを調べ、そのゲインの大きさに従ってアナログ特性を切り替えるようにする。
【００４７】
具体的には、インターレース解除時に、周波数分析部５が観測画像に対し離散フーリエ変換を実行し、その結果の中で所定の低周波域のゲインを調べ、その結果に基づいて予め用意された複数のアナログ特性Ｗ(ｓ)の中で最適なアナログ特性を一つ選択する。そして、フィルタ選択部６では、その選択されたアナログ特性Ｗ(ｓ)に対する最適な補間フィルタとしての伝達特性Ｋ(ｚ)を選択する。これにより、伝達特性Ｋ(ｚ)が固定されれている場合と比較して、原画像の特性を考慮したより適切なフィルタリングを実行することができる。それによって、インターレース解除された復元画像と原画像との誤差をより小さくすることができ、復元性能の向上に有効である。
なお、以下の説明において、上述したサンプル値Ｈ∞最適化手法に基づく特徴的な構成のフィルタを慣用に従ってＹＹフィルタと呼ぶこととする。
【００４８】
次に、本実施例の画像データ処理装置において斜線判定部４で実行される特徴的な斜線の判定処理について説明する。
ここでは、図７に示す二つの態様の斜線を実際に斜線とみなす。図７（ａ）は画像上の二つの平坦部（画素値がほぼ同じである領域）を斜線が分離している例であり、図７（ｂ）は二つの平坦部の境界（エッジ部）自体が斜線とみなされる例である。この二つの態様以外の、例えば周辺に複雑な模様を伴う斜線は確実な識別が困難であるため、もともと斜線であるとみなさないようにする。このように周囲に平坦部を伴う斜線に限定して斜線を識別することで、本来、斜線であると判断すべきでない部分を斜線であると判断してしまうことを回避でき、確実性の高い斜線判定を可能としている。斜線を検出するために、図８のような仮想的な環状の画素列を考える。
【００４９】
図８は、インターレース解除の処理過程において観測画像Ｙを垂直方向に２倍アップサンプリングして得られる画像の一部である。行座標ｉ−１とｉ＋１に対応するのは観測画像に由来する走査線であり、アップサンプリングにより生成された走査線上の座標（ｉ，ｊ）にある画素ｘを周辺の走査線上の画素値に基づいて補間する。図８は画像の一部であるが、アップサンプリング画像において初期値０となっている画素の全てを補間値で置き換えることで、インターレース解除がなされた復元画像が得られる。ここでは、補間対象画素ｘの上の走査線において該補間対象画素ｘを中心としてその両側に２画素ずつ、合計５画素の画素列と、補間対象画素ｘの下の走査線において該補間対象画素ｘを中心としてその両側に２画素ずつ、合計５画素の画素列とを抽出し、右端部同士、及び左端部同士を図８に示すように繋ぐことで、１０個の画素からなる環状の画素列を生成する。この画素値がｕ1，…，ｕ5，ｖ1，…，ｖ5である１０個の画素から構成される環状の画素列を「局所的循環部」と呼ぶこととする。局所的循環部は(3)式のように数ベクトルとして表すこともできる。
Ｃ：＝｛ｕ1  ｕ2  ｕ3  ｕ4  ｕ5  ｖ5  ｖ4  ｖ3  ｖ2  ｖ1｝      …(3)
【００５０】
上記数ベクトルによる表現では、ｖjの順序がｕjの順序と逆になることに注意を要す
る。このように数ベクトルの形式で表された局所的循環部に対し、回転操作を表す関数rotを(4)式、(5)式、(6)式に示すように再帰的に定義する。
rotL(Ｃ)：＝｛ｕ2  ｕ3  ｕ4  ｕ5  ｖ5  ｖ4  ｖ3  ｖ2  ｖ1  ｕ1｝      …(4)
rotR(Ｃ)：＝｛ｖ1  ｕ1  ｕ2  ｕ3  ｕ4  ｕ5  ｖ5  ｖ4  ｖ3  ｖ2｝      …(5)
rot(Ｃ，ｎ)：＝Ｃ  （ｎ＝０の場合）                              …(6)
：＝rot(rotL(Ｃ)，ｎ−１)  （ｎ＜０の場合）
：＝rot(rotR(Ｃ)，ｎ＋１)  （ｎ＞０の場合）
【００５１】
関数rotL、rotRはそれぞれコンピュータにおけるビット演算として一般的な左回転シフトと右回転シフトに相当する操作であり、rotは引数ｎが負であるならばｎ回の右回転シフト（rotR）、正であるならばｎ回の左回転シフト（rotL）を行った結果を出力する関数である。関数rotL、rotRの作用を図示したのが図９である。
【００５２】
また、局所的循環部の中で、補間対象画素ｘを挟んだ上の走査線及び下の走査線において垂直方向に位置する二つの画素の値の差異を求める関数diffを次の(7)式のように定義する。
diff(Ｃ)：＝Σ|Ｃ[ｎ]−Ｃ[５×２＋１−ｎ]|      …(7)
ここでΣはｎ＝１から５までの総和である。
上記定義は局所的循環部の幅（画素数）が５で、長さ（全画素数）が１０＝５×２の場合のものであるが、任意の局所的循環部幅Ｌに対し、上記(7)式中の「５」の部分をＬに置き換えることで同様の操作を定義することができる。また、(6)式に示す関数rotと(7)式に示す関数diffとを用いて次の(8)式で定義される値ρCを、局所的循環部Ｃの最適回転量と呼ぶこととする。ただし、Ｓは局所的循環部幅Ｌに対し０＜Ｓ＜Ｌ/２を満たす整数であり、具体的な決め方については後述する。
ρC：＝argmin diff(rot(Ｃ，ｎ))      …(8)
ここで、argminの対象範囲は−Ｓ≦ｎ≦Ｓである（特記しない限り、以下の式でも同じ）。最適回転量がρCであるとき、補間対象画素ｘを通る、傾きが１/ρCである斜線が存在しているものとみなす。以下、この特徴的な判定方法をＬＣＭ（Local Circulation Matching）と呼ぶ。
図９を参照して、このＬＣＭのアルゴリズムを具体的に説明する。
【００５３】
図９に示すように、局所的循環部を右方向及び左方向に様々に回転させてみると、その中で回転量ｎ＝＋１であるときに、もともと斜線を構成していた画素が補間対象画素ｘを挟んで上下に位置する。このとき、補間対象画素ｘを挟む上下の画素値は一致する（厳密に一致しない場合でもその画素値はほぼ等しくなる）。また、補間対象画素ｘの上下以外の他の上下に並ぶ２個の画素の画素値も近い値となる。何故なら、その上下の２個の画素は、図７で示したような同じ平坦部に位置するものであるからである。そのため、このとき、(7)式により計算されるdiff(rot(Ｃ，ｎ))は最小となる。つまり、(8)式から最適回転量ρCは＋１と求まり、その逆数である傾き１の斜線が補間対象画素ｘを通っていると判定される。
【００５４】
上記斜線判定は、以下のような二つの前提に基づく。
（１）補間対象画素ｘの上下にある走査線上に値が一致する画素が存在するとき、その両画素を結ぶ斜線があると推定できる。
（２）斜線や斜めエッジ部以外の領域が平坦であるならば、その平坦部に含まれる画素の間での画素値の差異は小さいと推定できる。上記のような局所的循環部における回転操作は、斜線や斜めエッジ部以外の領域を折り返すことでその中での誤差（画素値の差異）を調べる効果を持つ。例えば図９において、回転量ｎ＝＋１であるときに、ｕ2、ｕ1やｕ3、ｖ1といった上下に並んだ画素の組において画素値の差をそれぞれ調べることになる。
従来の非線形補間法による斜線部の検出は、斜線そのもののみに注目しており、その斜線の周辺に平坦部があるか否かについては考慮しない。これに対し、このＬＣＭによる斜線の検出手法は、斜線の周囲が平坦であることを条件とすることにより、検出される斜線が確実性の高いものへ限定される効果を持つ。
【００５５】
ただし、実際の画像では、斜線や斜めエッジ部の周囲は平坦であるとは限らず、その部分の画素値の状態は様々であるため、斜線判定を行う際に以下のような幾つかの操作を行うことで不確かな斜線判定を回避する。
（１）斜線の方向が不明瞭である場合の対処
図１０（ａ）はこの場合に想定される状況の一例である。この例では、原画像において右上から左下へ向かう黒い斜線が存在する、又は、左上から右下へと向かう白い斜線が存在する、のいずれとも考えられる。この場合、回転量ｎ＝＋１とｎ＝−１の両方が最適回転量となる。こうした場合、実際にはノイズの影響で正しくないほうに決まることも考えられ、そうなると画質を損なう要因となる。そこで、右回転又は左回転のいずれかを決定するのが難しい状況では、意図的に斜線としての処理を行わないようにする。具体的には、回転方向を左に限定したときの左方向最適回転量ρLと回転方向を右に限定したときの右方向最適回転量ρRとを求め、次の(9)式で定める左右最適回転量差Ｄgapを計算する。そして、この左右最適回転量差Ｄgapが所定の閾値ＴLRを超えた場合にのみ、左回転又は右回転の一方の確実性が高いと判断し、ρL又はρRの一方を最適回転量ρCとして採用する。
Ｄgap：＝｛｜diff(rot(Ｃ，ρL))−diff(rot(Ｃ，ρR))｜｝/｛diff(rot(Ｃ，ρL))＋diff(rot(Ｃ，ρR))｝      …(9)
【００５６】
（２）局所的循環部Ｃの幅Ｌに最適回転量ρCが近い場合の対処
図１０（ｂ）はこの場合に想定される状況の一例である。この例では、図中にＰで示す枠の中に含まれる幅が５である局所的循環部を考えている。このとき、最適回転量はρC＝−２であり、左上から右下へと向かう黒い斜線が存在すると判断される。しかしながら、Ｃに含まれないさらに外側の領域を見れば、例えば座標（ｉ−１，ｊ−２）にある画素は枠Ｐの外側の領域の縁部であって、画素ｘを通る斜線は存在しないというのが正しい判断である。このような誤判定が起きる一つの原因は、最適回転量の探索範囲が局所的循環部Ｃの幅の両端にまで広がっていると、ＬＣＭの特徴である斜線の周囲の状況を判断に反映させるという機能が働かないことにある。実際、図１０（ｂ）の例では、座標（ｉ−１，ｊ−２）の左方に存在する画素が局所的循環部に含まれず、回転量ｎ＝−２に対して回転前の走査線の上下間で比較を行うという適切な動作が行われない。この種の誤判定を低減するためには、最適回転量の探索範囲を制限するパラメータＳを局所的循環部Ｃの幅Ｌの半分よりも小さく設定するとよい。
【００５７】
（３）斜線が存在しないにもかかわらず最適回転量が求まる場合の対処
(4)〜(8)式による最適回転量は上下の走査線の差異が最小となる回転量とのみ定義されているため、最小でありさえすれば対応する差異がどれだけ大きくても最適回転量が定まることになる。しかしながら、これは確実性の高い斜線を推定するということを意味しない。そこで、こうした状況を回避するために、rot(Ｃ，ρC)に含まれる上半分の画素値列（換言すればrot(Ｃ，ρC)[１]，…，rot(Ｃ，ρC)[Ｌ]）と下半分の画素値列（換言すればrot(Ｃ，ρC)[２Ｌ]，…，rot(Ｃ，ρC)[Ｌ＋１]）との相関係数を求め、その値が所定の閾値Ｔcorrを超えない場合には、斜線が存在する確実性が低いとみなし、斜線処理を実施しない。
【００５８】
（４）局所的循環部の望ましい幅の異なる斜線の傾き依存性
最適回転量の探索範囲は高々±Ｌ/２の範囲に制限されるため、水平に近い傾きの斜線を検出するためには、より幅の大きな局所的循環部を用いなければならない。しかしながら、幅の大きな局所的循環部を用いると、小さな傾きを検出するには広すぎる範囲を照合してしまい、本来なら斜線があると判定すべきところを見逃す可能性が高まる。図１０（ｃ）はこの場合に想定される状況の一例である。
【００５９】
図１０（ｃ）の例では、局所的循環部の幅Ｌを５とすれば、中央の補間対象画素ｘを右上から左下へと向かう斜線が検出される。しかしながら、局所的循環部の幅Ｌを７としてしまうとこの斜線は検出されなくなる。このような問題を回避するためには、回転量に応じて異なる大きさの局所的循環部を用いるとよい。即ち、局所的循環部を次の(10)式のように定義すればよい（なお，式中のＬ/２は適宜整数に丸めるものとする）。
Ｃ(Ｌ)：＝［Ｘ（ｉ−１，ｊ−Ｌ/２），…，Ｘ（ｉ−１，ｊ），…，Ｘ（ｉ−１，ｊ＋Ｌ/２），Ｘ（ｉ＋１，ｊ＋Ｌ/２），…，Ｘ（ｉ＋１，ｊ），…，Ｘ（ｉ＋１，ｊ−Ｌ/２）］      …(10)
このように定義された可変長の局所的循環部に対し、最適回転量の定義も次の(11)式に示すように修正することができる。
ρC：＝argmin diff(rot(Ｃ(ｎ＋Ｌw），ｎ))      …(11)
ただし、ここでのパラメータＬwは可変長でない局所的循環部を用いる場合のＬ−Ｓに相当する値である。このＬwをウイング長と呼ぶこととする。以降の説明で、Ｃ’はＣ(ｎ＋Ｌw)を意味するものとし、Ｃとは区別する。
【００６０】
次に、図１に示した構成の画像データ処理装置により実施される、上述したサンプル値Ｈ∞線形フィルタとＬＣＭによる斜線判定・処理とを組み合わせたインターレース解除の処理手順を説明する。図１１はこの処理手順を示すフローチャート、図１２はその中の斜線判定処理の詳細フローチャートである。
【００６１】
まずインターレース画像である１フィールドの観測画像Ｙを構成する画像データが与えられたならば、周波数分析部５は該画像データに対し離散フーリエ変換を実行し、その結果に基づき所定の低周波域のゲインを調べる。フィルタ選択部６はその分析結果に基づき、適切な伝達特性Ｋ(ｚ)を有する線形フィルタを決定する（ステップＳ１）。なお、上述したように、複数の伝達特性Ｋ(ｚ)をそれぞれ持つ複数の線形フィルタは予め求めておくようにする。
【００６２】
一方、アップサンプラ２は観測画像Ｙを垂直方向に２倍アップサンプリングした初期復元画像Ｘを生成する（ステップＳ２）。この初期復元画像Ｘにおいてアップサンプリングにより生成された画素の初期値は例えば０とする。
【００６３】
続いて、斜線判定部４は、初期復元画像Ｘの中のアップサンプリングによって生成された走査線中の一つの画素を補間対象画素ｘとして選択する（ステップＳ３）。そして、そして、座標が(ｉ，ｊ)である補間対象画素ｘに対し、まず該画素ｘが斜線部（又は斜めエッジ部）であるか否かを判定する（ステップＳ４）。
具体的には、次のような処理を実行する。即ち、ｘ（ｉ，ｊ)を中心とするウイング長Ｌwの局所的循環部を設定し、これをＣと定義する（ステップＳ１１）。そして、０≦ｎ≦Ｓについて、次式により左方向最適回転量ρLを算出し、
ρL：＝argmin diff(rot(Ｃ，ｎ))
−Ｓ≦ｎ≦０について、次式により右方向最適回転量ρRを算出する（ステップＳ１２）。
ρR：＝argmin diff(rot(Ｃ，ｎ))
そして、左方向最適回転量ρLと右方向最適回転量ρRとを用い、(9)式により左右最適回転量差Ｄgapを計算する（ステップＳ１３）。
【００６４】
次いで、左右最適回転量差Ｄgapが所定の閾値ＴLRに対しＤgap＜ＴLRであるか否かを判定し（ステップＳ１４）、Ｄgap＜ＴLRであれば（ステップＳ１４でＹｅｓであれば）右回転と左回転のいずれが適切であるか判断不可であると判断し、斜線は存在しないものとみなしてρCを０とする（ステップＳ１５）。一方、Ｄgap≧ＴLRである（ステップＳ１４でＮｏである）場合には、左右いずれの方向の画素値差が大きいかを判定するべくdiff(rot(Ｃ，ρL))＜diff(rot(Ｃ，ρR))であるか否かを判定する（ステップＳ１６）。そして、ステップＳ１６でＹｅｓであれば左方向最適回転量ρLを最適回転量ρCとし（ステップＳ１７）、Ｎｏであれば右方向最適回転量ρRを最適回転量ρCとする（ステップＳ１８）。
【００６５】
最適回転量ρCが一旦定まったならば、その最適回転量ρCに従って回転させたあとの時点における局所的循環部Ｃの上半分の画素列UpperContentと下半分の画素列LowerContentを次のように定義する（ステップＳ１９）。
UpperContent：＝｛rot(Ｃ，ρC)[１]，…，rot(Ｃ，ρC)[ρC＋Ｌw]｝
LowerContent：＝｛rot(Ｃ，ρC)[２(ρC＋Ｌw)]，…，rot(Ｃ，ρC)[ρC＋Ｌw＋１]｝
そして、上半分の画素列UpperContentと下半分の画素列LowerContentとの相関係数corr(UpperContent，LowerContent)を計算し（ステップＳ２０）、その相関係数が閾値Ｔcorr未満であるか否かを判定する（ステップＳ２１）。相関係数が閾値未満であれば（ステップＳ２１でＮｏであれば）実際には斜線が存在しない可能性が高いものと判断し、上記ステップＳ１７、Ｓ１８で定めた最適回転量にかかわらず最適回転量ρCを０とする（ステップＳ２２）。以上の処理により、与えられた局所的循環部に対する最適回転量ρCが確定する。
【００６６】
そのあと、最適回転量ρCが０であるか否かを判定する（ステップＳ２３）。これは、図１１においてステップＳ５の判定処理に相当する。最適回転量ρCが０である（ステップＳ２３でＹｅｓである）場合には、確実性の高い斜線が存在しないとの判定結果であるから、これを受けた線形補間フィルタ３は補間対象画素ｘを挟む垂直方向の画素の画素値を用い、上記のように定められたサンプル値Ｈ∞フィルタによる補間処理によって、補間対象画素ｘの画素値を計算する（ステップＳ２５又はＳ７）。このときには、上述したようにフィルタ選択部６で選択された特性のフィルタを使用するから、推定される原画像の特性によってフィルタの係数が相違する。
【００６７】
一方、最適回転量ρC≠０である（ステップＳ２３でＮｏである）場合には、確実性の高い斜線又は斜めエッジ部が存在するとの判定結果であるから、補間対象画素ｘを含む斜線又は斜めエッジ部の延伸方向の画素の画素値を用い、単純線形補間により補間対象画素ｘの画素値を計算する（ステップＳ２４又はＳ６）。このとき、最適回転量ρCが斜線又は斜めエッジ部の延伸方向を示す。つまり、補間対象画素ｘ（ｉ，ｊ）の画素値は｛ｘ（ｉ−１，ｊ＋ρC）＋ｘ（ｉ＋１，ｊ−ρC）｝／２により求まる。
【００６８】
ステップＳ３〜Ｓ７（又はＳ１１〜Ｓ２５）の処理によって１個の補間対象画素の画素値が求まるから、全ての補間対象画素に対する処理が終了する（ステップＳ８でＹｅｓとなる）まで、補間対象画素を変更しながらステップＳ３〜Ｓ７の処理を繰り返し、全ての補間対象画素に対する処理が終了しならば当該フィールドのインターレース解除処理を終了して、プログレッシブ画像を出力する。
【００６９】
上記フローチャートの処理を実行する際にユーザが用意すべき又は設定すべきパラメータは次のとおりである。これらについては、予め実験的に求めて設定しておくことができる。
（１）候補として想定する複数のアナログ特性Ｗ(ｓ)
（２）アナログ特性Ｗ(ｓ)を識別するために参照する低周波域の範囲
（３）アナログ特性Ｗ(ｓ)の識別閾値
（４）局所的循環部のウイング長Ｌw
（５）最適回転量の探索限界Ｓ
（６）左右最適回転量Ｄgapの判定閾値ＴLR
（７）画素値の一致度合いの相関係数に対する判定閾値Ｔcorr
【００７０】
なお、上記フローチャートでは、１フィールドの観測画像毎に離散フーリエ変換を行い、その結果に基づいてアナログ特性を選択することを想定しているが、専ら計算量節約の観点から、伝達特性が大きくは変化しないと考えられる同一シーン内では（つまり連続する複数のフィールドに亘って）、一旦決定したアナログ特性を共通に使用しても構わない。
【００７１】
次に、本発明に係る画像データ処理装置で実施される画像データ処理方法の効果を、コンピュータ上のシミュレーション計算により評価した結果を説明する。この評価実験には、Xiph.orgがインターネット＜URL: http://media.xiph.org/video/derf/＞において提供している１０種類の動画（akiyo、bowing、city、container、crew、foreman、hall monitor、news、pamphlet、soccer）を用いた。これら画像はいずれも高さｎ１＝２８８画素、幅ｎ２＝３８８画素、毎秒３０フレーム、全長３００フレームのプログレッシブ動画である。実験にあたっては、プログレッシブ動画を垂直方向に２倍ダウンサンプリングすることでインターレース動画像を生成し、これにインターレース解除処理を適用した。
【００７２】
ここでは、線形補間（単純線形補間フィルタ）、３次補間（３次補間フィルタ）、ＹＹ（斜線判定を行わない動的切替えサンプル値Ｈ∞フィルタ）、ＥＬＡ、ＡＰＭ、ＭＢＩ、ＬＣＩＤ、ＬＣＭ（ＬＣＭと単純線形補間フィルタとの組合せ）、ＬＣＭ＋３次補間（ＬＣＭと３次補間フィルタとの組合せ）、ＬＣＭ＋ＹＹ（ＬＣＭと動的切替えサンプル値Ｈ∞フィルタとの組合せ）について評価した。また、ＬＣＭのチューニングパラメータは、局所的循環部のウイング長：Ｌw＝５、最適回転量の探索限界（画素数）：Ｓ＝３、左右最適回転量の判定閾値：ＴLR＝０．４、画素値一致度合いの相関係数に対する判定閾値：Ｔcorr＝０．６と定めた。
【００７３】
図１８に上記各手法を用いたときの動画１０種に対するＰＳＮＲの平均、及びakiyoとcityいう二種の画像に対するＰＳＮＲを示す。図中の（  ）内の数値はＰＳＮＲのランキングである。全体的に、線形フィルタとＬＣＭとを組み合わせると復元性能が向上する傾向が現れており、線形フィルタの適用部位を適切に選択することで線形フィルタの能力を発揮できることが分かる。また、動的切替えＹＹフィルタは単純な線形補間に対して平均で０．４９[dB]、３次補間に対しても０．１０[dB]の性能向上を実現しており、線形フィルタの設計にあたって原画像のアナログ特性を考慮した結果が性能向上に反映されているといえる。このようなアナログ特性の活用の効果はＬＣＭとの組合せの際にも反映されており、ＬＣＭ＋ＹＹ、ＬＣＭ＋３次補間、ＬＣＭの間にある復元性能の序列は、動的切替えＹＹフィルタ、３次補間フィルタ、線形補間フィルタの間の序列に対応している。全体として、平均性能では本実施例のＬＣＭ＋ＹＹが最も高い性能を示しており、３次補間に対しては平均で０．３６[dB]、斜線処理の従来法で最も復元性能の良いＬＣＩＤに対しても０．７５[dB]だけ復元性能が向上していることが分かる。
【００７４】
また、評価用動画の中のakiyoについて、プログレッシブ動画像、インターレース動画像、従来の補間法の一つである線形補間によりインターレース解除した画像、従来の補間法の一つであるＥＬＡによりインターレース解除した画像、そして、本実施例の方法（ＬＣＭ＋ＹＹ）によりインターレース解除した画像を、図１３〜図１７に示す。これら各画像中には、異なる二箇所の斜線部の拡大画像も示している。図１７と図１５とで斜線の復元性を比べてみると、本実施例の手法では、４５°以上の傾きがあって従来法ではジャギーが現れる斜線部の処理が改善されていることが分かる。また図１７と図１６とを比較すると、従来法では斜線検出に失敗して線が途切れている部位において、本実施例による方法は正しく斜線を検出し滑らかにこれを繋いでいることが分かる。以上のように、本実施例による画像データ処理方法は客観的な評価指標のみならず画質の主観的な評価の点でも優位性を実現していることが確認できる。
【００７５】
なお、上記実施例は本発明の一例にすぎず、本発明の趣旨の範囲で適宜変形や修正、追加を行っても本願特許請求の範囲に包含されることは当然である。
【符号の説明】
【００７６】
１…インターレース解除部
２…アップサンプラ
３…線形補間フィルタ
４…斜線判定部
５…周波数分析部
６…フィルタ選択部
１１…アンチエリアシングフィルタ
１２…時間遅れ要素
１３…サンプラ
１４…アップサンプラ
１５…デジタルフィルタ
１６…０次ホールド
１８…減算器
２０…連続時間系システム
３０…サンプル値系システム
【図１】
2014192659.tif 000008
【図２】
2014192659.tif 000009
【図３】
2014192659.tif 000010
【図４】
2014192659.tif 000011
【図５】
2014192659.tif 000012
【図６】
2014192659.tif 000013
【図７】
2014192659.tif 000014
【図８】
2014192659.tif 000015
【図９】
2014192659.tif 000016
【図１０】
2014192659.tif 000017
【図１１】
2014192659.tif 000018
【図１２】
2014192659.tif 000019
【図１８】
2014192659.tif 000020
【図１９】
2014192659.tif 000021
【図１３】
2014192659.tif 000022
【図１４】
2014192659.tif 000023
【図１５】
2014192659.tif 000024
【図１６】
2014192659.tif 000025
【図１７】
2014192659.tif 000026