(57)【特許請求の範囲】
【請求項１】
第１の解像度でなる第１の画像から、上記第１の解像度より高解像度な第２の解像度でなる第２の画像を生成する画像情報変換装置において、
上記第１の解像度より高解像度な解像度であって、第１の画像の原画像に対して時間的に過去の第３の画像を記憶する記憶手段と、
上記第１の画像の原画像と、上記時間的に過去の第３の画像との相対的な動きを、上記第３の画像を構成する画素と同等若しくはより細かい単位で検出する動き検出手段と、
上記原画像と、上記時間的に過去の第３の画像とから、上記動き検出手段で検出された動きに基づいて新たな第３の画像を生成する合成手段と、
上記合成手段で生成された上記新たな第３の画像を上記第２の画像に変換する画像変換手段と
を有することを特徴とする画像情報変換装置。
【請求項２】
請求項１において、
上記第１の画像はインタレース方式の画像信号であって、上記第２の画像はノンインタレース方式の画像信号である
ことを特徴とする画像情報変換装置。
【請求項３】
請求項１において、
上記合成手段は、上記原画像に対して、上記時間的に過去の第３の画像を、上記動き検出手段で検出された動きの位相だけずらした位置に重畳することにより合成する
ことを特徴とする画像情報変換装置。
【請求項４】
請求項１において、
上記合成手段は、
上記動き検出手段の出力に対応する係数データを用いて、上記第１の画像内の画像データと、上記記憶手段に記憶された、上記原画像に対して時間的に過去の第３の画像内の画像データとに基づく演算処理を行うことを特徴とする画像情報変換装置。
【請求項５】
請求項４において、
上記合成手段は、
予め決定された複数種類の係数データを記憶しており、記憶している係数データの内で、上記動き検出手段の出力に対応するものを出力する係数メモリを有することを特徴とする画像情報変換装置。
【請求項６】
請求項１において、
上記合成手段は、
上記動き検出手段の出力と上記第１の画像内の画像データに係る特徴量とに対応する係数データを用いて、上記第１の画像内の画像データと、上記記憶手段に記憶された、上記原画像に対して時間的に過去の第３の画像内の画像データとに基づく演算処理を行うことを特徴とする画像情報変換装置。
【請求項７】
請求項６において、
上記第１の画像から所定の画像データを切り出し、切り出した上記所定の画像データに係る特徴量を抽出する特徴量抽出手段をさらに有し、
上記合成手段は、
上記動き検出手段の出力と、上記特徴量抽出手段の手段とに対応する係数データを用いた演算処理を行うことを特徴とする画像情報変換装置。
【請求項８】
請求項７において、
上記特徴量抽出手段は、
ＡＤＲＣを行う手段を有することを特徴とする画像情報変換装置。
【請求項９】
第１の解像度でなる第１の画像から、上記第１の解像度より高解像度な第２の解像度でなる第２の画像を生成する画像情報変換方法において、
上記第１の解像度より高解像度な解像度であって、第１の画像の原画像に対して時間的に過去の第３の画像を記憶する記憶ステップと、
上記第１の画像の原画像と、上記時間的に過去の第３の画像との相対的な動きを、上記第３の画像を構成する画素と同等若しくはより細かい単位で検出する動き検出ステップと、
上記原画像と、上記時間的に過去の第３の画像とから、上記動き検出ステップで検出された動きに基づいて新たな第３の画像を生成する合成ステップと、
上記合成ステップで生成された上記新たな第３の画像を上記第２の画像に変換する画像変換ステップと
を有することを特徴とする画像情報変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、入力画像内の折り返し歪みを軽減する画像情報変換装置および変換方法に関する。
【０００２】
【従来の技術】
テレビジョン受像機において受信された画像や、ＶＴＲ(Video Tape Recorder) 、ビデオＣＤ（Compact Disk) プレイヤー、ＤＶＤ(Digital Versatile Disk)プレイヤー等で再生された画像等は、左から右に走査が繰り返されることによって、例えばＣＲＴ(Cathod-Ray Tube) 等の表示部に表示される。
【０００３】
すなわち、画像に対応するビームがＣＲＴの蛍光面に照射されることによって蛍光面の各点が発光し、蛍光面の全体によって画像が表示される。従って、表示画像は、画素、すなわち蛍光面上の各点の集合ということができる。このため、表示画像は、アナログ信号としての原画像を、画素の位置でサンプリングすることによって得られるディジタル信号と考えることができる。
【０００４】
従って、表示画像においても、サンプリングの定理が満たされない場合には折り返し歪みが生じる。ここで、サンプリングの定理とは、アナログ信号をサンプリングすることによって得られるディジタル信号から元のアナログ信号を再生するに際しては、アナログ信号の最高周波数の２倍以上の周波数でサンプリングを行う必要がある、という定理である。
【０００５】
【発明が解決しようとする課題】
上述したような、左から右への走査の繰り返しによって形成される画像においては、走査線の方向、すなわち水平方向にはサンプリングの定理を満たすようにプリフィルタがかけられることが多い。しかし、走査線と直行する方向、すなわち垂直方向には、従来、プリフィルタをかける等の処理が施されておらず、表示画像に垂直方向の折り返し歪みが生じるという問題があった。
【０００６】
かかる問題について図１５を参照して説明する。図１５は、時間方向に連続する２個のフレーム、すなわち第Ｎフレーム、第Ｎ＋１フレームにおけるレベル変動の一例を示す。第Ｎフレーム、および第Ｎ＋１フレームの各々については、水平方向がレベルを示し、垂直方向が画像内の垂直方向を示す。また、画素位置（垂直方向に走査線の間隔毎に並んでいる）を丸で示す。原画像における垂直方向のレベル変動（実線の曲線で示す）が垂直方向の画素間隔よりも小さい範囲で変動する、すなわち、１ライン（水平走査期間）に対応する周波数の１／２よりも高い周波数の信号成分を有する場合、サンプリングの定理を満たさないので折り返し歪みが生じる。
【０００７】
例えば第Ｎフレームでは、実線の曲線で示した元の画像信号が折り返し歪みによって点線で示されるような信号となる。このような折り返し歪みは、例えばＹ／Ｃ分離やノイズ除去、画質改善のための信号処理等に悪影響を及ぼすおそれがあった。
【０００８】
また、折り返し歪みによって例えば第Ｎフレームで実線で示したような画像信号が点線で示したような画像信号となっても、視覚的には、解像度が低下するだけであり、視聴者にさほど大きな違和感を感じさせることはない。但し、例えば葉の生い茂った木が風に吹かれている風景等についての原画像は、第Ｎフレーム、第Ｎ＋１フレームにそれぞれ実線で示すような画像となる。このように、折り返し歪みが生じている信号が変化すると、表示画像に、いわゆる画面のざわざわ感が感じられ、これは視聴者に大きな違和感を感じさせる。
【０００９】
一方、ある１フレームに注目した場合に、折り返し歪みを有する画像は、例えば第Ｎフレームの点線で示すように垂直方向の折り返しを含む。このため、１フレームの画像信号のみから高周波成分を含む元の信号を再生することはサンプリングの定理から困難である。また、既に垂直方向の折り返しを有する画像に、垂直方向のプリフィルタをかけて折り返しを除去することも困難である。
【００１０】
従って、この発明の目的は、折り返し歪みの影響を除去することが可能な画像情報変換装置および変換方法を提供することにある。
【００１１】
【課題を解決するための手段】
第１の発明は、第１の解像度でなる第１の画像から、第１の解像度より高解像度な第２の解像度でなる第２の画像を生成する画像情報変換装置において、
第１の解像度より高解像度な解像度であって、第１の画像の原画像に対して時間的に過去の第３の画像を記憶する記憶手段と、
第１の画像の原画像と、時間的に過去の第３の画像との相対的な動きを、第３の画像を構成する画素と同等若しくはより細かい単位で検出する動き検出手段と、
原画像と、時間的に過去の第３の画像とから、動き検出手段で検出された動きに基づいて新たな第３の画像を生成する合成手段と、
合成手段で生成された新たな第３の画像を第２の画像に変換する画像変換手段と
を有することを特徴とする画像情報変換装置である。
【００１３】
また、第２の発明は、第１の解像度でなる第１の画像から、第１の解像度より高解像度な第２の解像度でなる第２の画像を生成する画像情報変換方法において、
第１の解像度より高解像度な解像度であって、第１の画像の原画像に対して時間的に過去の第３の画像を記憶する記憶ステップと、
第１の画像の原画像と、時間的に過去の第３の画像との相対的な動きを、第３の画像を構成する画素と同等若しくはより細かい単位で検出する動き検出ステップと、
原画像と、時間的に過去の第３の画像とから、動き検出ステップで検出された動きに基づいて新たな第３の画像を生成する合成ステップと、
合成ステップで生成された新たな第３の画像を第２の画像に変換する画像変換ステップと
を有することを特徴とする画像情報変換方法である。
【００１５】
以上のような発明によれば、第１の画像と第１の画像を複数フレーム分蓄積してなる第２の画像との間の相対的な動きに応じてなされるクラス分類の結果に基づいてなされる演算処理によって、後続する第２の画像を生成することができる。
【００１６】
【発明の実施の形態】
この発明をテレビジョン受像機に適用した、この発明の一実施形態について以下に説明する。この発明の一実施形態の構成の一例を図１に示す。チューナー１は、図示しないアンテナによって受信された受信信号から、所定のチャンネルのテレビジョン放送信号を検波、復調する。チューナー１の出力の内、画像信号がＬＰＦ（Low Pass Filter)２に供給される。なお、音声信号の処理に係る構成については、この発明と直接的な関係を有しないため、図示および説明を省略する。ＬＰＦ２は、供給される信号をサンプリングの定理を満たすようフィルタリング処理するプリフィルタである。ＬＰＦ２の出力は、Ａ／Ｄ変換部３に供給される。Ａ／Ｄ変換部３は、ＬＰＦ２の出力に対してサンプリング処理を行うことによってディジタル画像信号を生成し、生成したディジタル画像信号を歪み補正部４に供給する。
【００１７】
歪み補正部４は、Ａ／Ｄ変換部３の出力に対して、折り返し歪みを除去若しくは低減する処理を施す。歪み補正部４の出力は、Ｄ／Ａ変換部５に供給される。Ｄ／Ａ変換部５は、歪み補正部４の出力をＤ／Ａ変換することによってアナログ画像信号に変換する。Ｄ／Ａ変換部５の出力がＣＲＴ６に出力される。ＣＲＴ６は、Ｄ／Ａ変換部５の出力に対応した画像を表示する。また、図示せずも、チューナー１とＬＰＦ２の間、または歪み補正部４とＤ／Ａ変換部５との間等に、Ｙ／Ｃ分離等の画像処理を行う構成が設けられている。
【００１８】
なお、Ｙ／Ｃ分離前のコンポジット信号を供給される位置にＡ／Ｄ変換部３が設けられる場合には、Ａ／Ｄ変換部３は、例えばサブキャリアの周波数でサンプリングを行うように構成される。また、Ｙ／Ｃ分離後のコンポーネント信号を供給される位置にＡ／Ｄ変換部３が設けられる場合には、Ａ／Ｄ変換部３は、例えば１３．５ＭＨｚ等の周波数でサンプリングを行うように構成される。
【００１９】
歪み補正部４による処理について説明する。歪み補正部４は、垂直方向の折り返し歪みを含む画像から、高周波成分を含む元の画像を再生する。歪み補正部４は、さらに、再生した元の画像に垂直方向のプリフィルタをかけることにより、垂直方向の高周波成分をカットして、画像に含まれていた折り返し歪みを除去する処理を行う。このフィルタ処理の結果として、折り返し歪みが除去された画像を最終的に得ることができる。
【００２０】
高周波成分を含む元の画像を再生する処理について、図２を参照して詳細に説明する。時間方向に連続する５個のフレーム、すなわち第Ｎフレーム，第Ｎ＋１フレーム，第Ｎ＋２フレーム，第Ｎ＋３フレーム，第Ｎ＋４フレームをそれぞれ、図２Ａ，図２Ｂ，図２Ｃ，図２Ｄ，図２Ｅに示す。図２Ａ〜図２Ｅの各々において、垂直方向が画像における垂直方向を示し、水平方向に画像信号レベルをとる。また、各フレームにおける水平線は走査線を示す。さらに、原画像の一例を、各フレームにおける実線の折れ線で示した。かかる原画像の一例は、各フレームにおいて垂直方向のレベル変化の周波数が水平走査期間に対する周波数の１／２よりも高い周波数で変化し、その位相が時間と共に垂直方向にずれていく三角波となる場合を示すものである。
【００２１】
ここで、第Ｎフレームに注目すると、原画像を走査線上でサンプリングすることによって得られるサンプル値（丸で示す）を結ぶことにより、点線で示すような歪み画像が得られる。この歪み画像は原画像とは全く異なっている。次に、第Ｎ＋１フレームに注目した場合にも、原画像を走査線上でサンプリングすることによって得られるサンプル値を結べば、原画像とは全く異なる歪み画像が得られる。但し、歪み画像の位相が時間と共に垂直方向にずれていくので、第Ｎ＋１フレームのサンプリング位置は第Ｎフレームのサンプリング位置とは異なる。
【００２２】
そこで、第Ｎフレームにおけるサンプル値のサンプリング点を、歪み画像の位相の変化に対応する位置に移動し、移動後のサンプリング点におけるサンプル値と、第Ｎ＋１フレームにおける走査線上のサンプル値とを結ぶことにより、図２Ｂで点線で示すような、図２Ａの点線で示した歪み画像に比べて、より元の画像に近い波形を得ることができる。さらに、第Ｎ＋１フレームにおけるサンプル値のサンプリング点を、歪み画像の位相の変化に対応する位置に移動し、移動後のサンプリング点におけるサンプル値と、第Ｎ＋２フレームにおける走査線上のサンプル値とを結ぶことにより、図２Ｃで点線で示すような、図２Ａ，図２Ｂの点線で示した歪み画像に比べて、より元の画像に近い波形が得られる。
【００２３】
以下、同様にして、過去のフレームのサンプリング点を歪み画像の動きに対応した位置に移動して、移動後のサンプリング点における過去のフレームのサンプル値と、現フレームにおける走査線上のサンプリング点でのサンプル値とを結ぶことによって、図２Ｃ，図２Ｄ，図２Ｅに示すように、元の画像により近い画像を、時間経過と共に順次得ることができる。このような手順を充分なフレーム数に渡って行うことにより、元の画像を充分な精度で再生することができる。
【００２４】
すなわち、歪み画像の動きに対応する位置に画素を想定してサンプリング処理を行うことによって、垂直方向の画素数を増加させることができる。これによってサンプリングの定理が満たされるので、元の画像を再生できることになる。図３に、この様子を概念的に示す。図３Ａには、通常の処理における、Ｎ，Ｎ＋１，Ｎ＋２，Ｎ＋３の各フレームにおける垂直方向のサンプリング位置をそれぞれ、実線、細い点線、中太の点線、太い点線によって示した。また、図３Ｂには、上述したような処理を行う場合の各フレームにおける垂直方向のサンプリング位置を示した。垂直方向でサンプリングされる画素数が時間経過と共に増加することがわかる。これにより、折り返し歪みの無い、若しくは削減された画像が生成される。
【００２５】
次に、動きベクトルに基づくクラス分類適応処理を行って予測演算を行う、歪み補正部４についてより詳細に説明する。理解を容易とするためにクラス分類適応処理についてまず説明する。クラス分類適応処理を用いた予測演算に係る一般的な構成の一例を図４に示す。入力画像が領域切り出し部１０１、１０２に供給される。領域切り出し部１０１は、入力画像から所定の画像領域（クラスタップと称される）を抽出し、クラスタップのデータをＡＤＲＣ(Adoptive Dynamic Range Coding) 部１０３に供給する。ＡＤＲＣ部１０３は、供給されるデータにＡＤＲＣ処理を施すことにより、再量子化コードを生成する。
【００２６】
ＡＤＲＣ処理について以下に説明する。ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recorder) 用の高能率符号化のために開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語調で効率的に表現できるという特徴を有する。このため、クラス分類のコードを発生するための、画像信号の時空間内でのパターンの検出に使用することができる。ＡＤＲＣ部１０３では、以下の式（１）により、クラスタップとして切り出される領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット数で均等に分割して再量子化する。
【００２７】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）×２n ／ＤＲ〕          （１）
ここで、ＤＲは領域内のダイナミックレンジである。また、ｎはビット割り当て数であり、例えばｎ＝２とすることができる。また、Ｌは領域内画素のデータレベルであり、Ｑが再量子化コードである。但し、大かっこ（〔‥‥〕）は切り捨て処理を意味する。
【００２８】
これにより、１画素当たり例えば８ビットからなるクラスタップの画素データが例えば２ビットの再量子化コード値に変換される。このようにして生成される再量子化コード値により、クラスタップのデータにおけるレベル分布のパターンがより少ない情報量によって表現される。例えば７画素からなるクラスタップのタップ構造を用いる場合、上述したような処理により、各画素に対応する７個の再量子化コードｑ1 〜ｑ7 が生成される。かかる出力に基づいてクラスコード発生回路４が発生するクラスコードclass は、次の式（２）のようなものである。
【００２９】
【数１】
0004120095.tif 000002
【００３０】
ここで、ｎはクラスタップとして切り出される画素の数である。また、ｐの値としては、例えばｐ＝２とすることができる。
【００３１】
クラスコードclass は、時空間内での画像データのレベル分布のパターンを分類してなるクラスを表現している。クラスコードclass は、予測係数メモリ１０４に供給される。予測係数メモリ１０４は、後述するようにして予め決定されたクラス毎の予測係数を記憶しており、供給される再量子化コードによって表現されるクラスの予測係数を出力する。一方、領域切り出し部１０２は、入力画像から所定の画像領域（予測タップと称される）を抽出し、予測タップのデータを予測演算部１０５に供給する。予測演算部１０５は、領域切り出し部１０２の出力と、予測係数メモリ１０４から供給される予測係数とに基づいて以下の式（１）のような演算を行うことにより、出力画像ｙを生成する。
【００３２】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn       （３）
ここで、ｘ1 ，‥‥，ｘn が各予測タップの画素データであり、ｗ1 ，‥‥，ｗn が各予測係数である。
【００３３】
次に、予測係数の決定に係る一般的な処理について図５を参照して説明する。出力画像と同一の画像信号形式を有するＨＤ(High Definition) 画像がＨＤ−ＳＤ変換部２０１に供給される。ＨＤ−ＳＤ変換部２０１は、間引き処理等を行うことにより、ＨＤ画像を入力画像と同一の画像信号形式を有するＳＤ(Standard Definition) 画像に変換する。このＳＤ画像が領域切り出し部２０２、２０３に供給される。領域切り出し部２０２は、図４中の領域切り出し部１０１と同様に、ＳＤ画像からクラスタップを切り出し、クラスタップのデータをＡＤＲＣ部２０４に供給する。
【００３４】
ＡＤＲＣ部２０４は、図４中のＡＤＲＣ部１０３と同様なＡＤＲＣ処理を行い、供給されるデータに基づく再量子化コードを生成する。再量子化コードは、クラスコード生成部２０５に供給される。クラスコード生成部２０５は、供給される再量子化コードに対応するクラスを示すクラスコードを生成し、クラスコードを正規方程式加算部２０６に供給する。一方、領域切り出し部２０３は、図４中の領域切り出し部１０２と同様に、供給されるＳＤ画像から予測タップを切り出し、切り出した予測タップのデータを正規方程式加算部２０６に供給する。
【００３５】
正規方程式加算部２０６は、領域切り出し部２０３から供給されるデータを、クラスコード生成部２０５から供給される。クラスコードに対応させて加算し、加算したデータを予測係数決定部２０７に供給する。予測係数決定部２０７は、供給されるデータに基づいて予測係数を決定する。
【００３６】
予測係数を決定するための演算について説明する。図５に示したような構成に対し、ＨＤ画像として複数種類の画像データが供給される。これらの画像データの種類数をｍと表記する場合、式（３）から、以下の式（４）が設定される。
【００３７】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn      （４）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合には、ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（５）で定義して、式（６）によって定義される誤差ベクトルｅの２乗を最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００３８】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝  （５）
（ｋ＝１，２，‥‥ｍ）
【００３９】
【数２】
0004120095.tif 000003
【００４０】
式（６）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗi を決定すれば良い。
【００４１】
【数３】
0004120095.tif 000004
【００４２】
式（７）から各予測係数ｗi を決定する具体的な手順について説明する。式（８）、（９）のようにＸji，Ｙi を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００４３】
【数４】
0004120095.tif 000005
【００４４】
【数５】
0004120095.tif 000006
【００４５】
【数６】
0004120095.tif 000007
【００４６】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算部２０５は、供給されるデータに基づいて式（８）、（９）に示すような演算を行うことにより、Ｘji，Ｙi （ｉ＝１，２，‥‥，ｎ）をそれぞれ計算する。予測係数決定部２０７は、掃き出し法等の一般的な行列解法に従って正規方程式（１０）を解くことにより、予測係数ｗi （ｉ＝１，２，‥‥，ｎ）を算出する。
【００４７】
上述したようなクラス分類適応処理は、入力画像から切り出した画像領域のデータに基づいてクラス分類を行うものであるが、入力画像における動きベクトルを検出し、検出した動きベクトルに基づいてクラス分類適応処理を行うことも同様な演算処理によって実現することができる。この発明の一実施形態は、動きベクトルに基づいてクラス分類適応処理を行う。歪み補正部４の構成の一例を図６に示す。以下の説明は、ビデオカメラをパンやチルトすることによって風景を撮影する等の操作によって得られる、全画面が同一の動きをする歪み画像が入力される場合を前提として行う。また、かかる一例においては、ビデオカメラの通常の出力画像に対して垂直方向に４倍の情報密度（画素密度）の画像情報を蓄積し、また、垂直方向に２倍の情報密度の画像情報を出力するものとする。図１中のＡ／Ｄ変換器３の出力である、折り返し歪みを含む入力画像が動きベクトル検出部１１と、領域切り出し部１３とに供給される。
【００４８】
後述するような蓄積メモリ１６から出力される画像信号が動きベクトル検出部１１と、領域切り出し部１４とに供給される。動きベクトル検出部１１は、入力画像と蓄積メモリ１６から供給される蓄積画像とに基づいて動きベクトルを検出し、検出した動きベクトルを予測係数メモリ１２に供給する。ここで、入力画像と蓄積画像とは情報密度が異なるため、単純にマッチングを行うことはできない。このような場合に、例えば本願出願人の先の提案（特願平１１−０３４８１４号参照）に係る動きベクトル検出処理等を行うことにより、蓄積画像の密度と同等若しくはより細かい精度で動きベクトルを検出することができる。
【００４９】
この方法の概要について、図７Ａに示すような、１枚の画像（基準画像）Ｐｓと、この画像Ｐｓに対して垂直方向に４倍の密度の画像Ｐｈとの間で動きベクトルを検出しようとする場合を例として説明する。図７Ａにおいて、実線のラインは画素が実際に存在しているラインを示し、破線のラインは実際には画素が存在しないラインを示す。画像Ｐｈは、ライン位置が基準画素Ｐｓと一致する画像と、ライン位置を１ラインずつずらした３枚の画像との、計４枚の１倍密画像Ｐｈ１、Ｐｈ２、Ｐｈ３、Ｐｈ４として扱うことができる。
【００５０】
最初に、図７Ｂに示すように、同一の大きさで同一の形の基準ブロックＢｓおよび参照ブロックＢｈ１（図７Ｂでは、５×５のブロックが示されている）を画像ＰｓおよびＰｈ１〜Ｐｈ４の間の１枚の画像例えばＰｈ１の空間的に対応する位置に設定する。そして、図８に示すように、基準ブロックＢｓと同一の位置に存在する画素の画素値どうしの差分の絶対値を求め、この絶対値を１ブロックに渡って集計し、絶対値和を計算する。次に、図８において点線で示すように、参照ブロックＢｈ１を１倍速密画像の画素単位で種々の位置に移動し、移動後の位置で絶対値和をそれぞれ計算する。計算した絶対値和を絶対値和のテーブルに格納する。
【００５１】
移動範囲は、探索範囲として規定される。例えば、水平方向に１画素ずつずれた５個の参照ブロックと、垂直方向に１画素ずつずれた３個の参照ブロックとの合計５×３個の参照ブロックに関して絶対値和が計算される。このような場合には、図９Ａに示すように、５×３個の絶対値和テーブルＴ１が得られる。５×３の範囲の中央位置が原点Ｏである。原点Ｏは、基準ブロックＢｓおよび参照ブロックＢｈ１の空間的な中心と一致する。最終的な絶対値和テービルＴ０の中で、最小値を与える参照ブロックの位置が原点にある時は、動きベクトルが０である。
【００５２】
次に、参照ブロックＢｈ１と同様の大きさで同一の形の参照ブロックＢｈ２を、画像Ｂｈ２の空間的に同一の位置に設定する。参照ブロックＢｈ１の場合と同様に、基準ブロックＢｓと参照ブロックＢｈ２の間の差分の絶対値和を計算し、絶対値和のテーブルＴ２を得る。このテーブルＴ２は、空間的には、テーブルＴ１より４倍密画像の１ライン下側の位置のものである。さらに、参照ブロックＢｈ３およびＢｈ４についても、参照ブロックＢｈ１，Ｂｈ２と同様に基準ブロックＢｓとの差分の絶対値和を計算し、絶対値和のテーブルＴ３およびＴ４を得る。
【００５３】
そして、図９Ｂに示すように、４個のテーブルを４倍密画像から４枚の１倍密画像を得る場合と逆の関係でもって合成し、最終的な絶対値和のテーブルＴ０を作成する。テーブルＴ０は、５×４×３の絶対値の分布を示すものである。このテーブルＴ０の中で、最小値を検出する。原点Ｏから最小値を与える参照ブロックの位置へのベクトルが動きベクトルとして検出される。以上のようにして、動きベクトル検出を４倍密度の画像の精度で行うことができる。
【００５４】
図６に戻り、予測係数メモリ１２は、動きベクトル検出部１１から供給される動きベクトルに適応する予測係数データを予測演算部１５に供給する。ここで、予測係数メモリ１２は、動きベクトルに基づいて分類されるクラスに対応して予め決定された予測係数データを記憶している。領域切り出し部１３、１４は、それぞれ、入力画像、蓄積画像から所定の画像領域を切り出し、切り出した画像領域のデータを予測演算部１５に供給する。予測演算部１５は、予測係数メモリ１２から供給される係数データを使用して、領域切り出し部１３、１４から供給されるデータに基づく予測演算を行う。予測演算の結果が蓄積メモリ１６と画サイズ変換部１７に供給される。
【００５５】
ここで、クラスの分類は、動きベクトル検出部１１による動きベクトルの検出精度に応じて行えば良く、従って、動きベクトルの検出精度を蓄積メモリ１６の出力における画素精度と同等とする場合には、蓄積メモリ１６の出力における画素精度に対応するクラスを予め決定し、決定したクラスを予測係数メモリ１２に記憶させておけば良い。但し、動きベクトルの検出精度を蓄積メモリ１６の出力における画素精度以上とし、そのような動きベクトルの検出精度に対応するクラスに対応する予測係数を予め決定して予測係数メモリ１２に記憶させておくようにすれば、より高精度な予測演算を行うことができる。
【００５６】
蓄積メモリ１６は、予測演算部１５の出力を過去の出力画像として保存する。そして、ビデオカメラの通常の出力画像に対して垂直方向に４倍の情報密度（画素密度）の画像情報が蓄積される毎に、蓄積された画像情報を動きベクトル１１、領域切り出し部１４に出力する。画サイズ変換部１７は、予測演算部１５の出力信号サイズから出力画像の信号サイズへの変換を行う場合に、出力画像内に折り返しが生じないように、帯域フィルタ処理および画サイズ変換処理を行うことにより、出力画像を生成する。
【００５７】
次に、予測係数データを生成する処理について、図１０を参照して説明する。蓄積メモリ１６の出力である画像の解像度と同等の解像度を有する、ＨＤ画像がディレイ部２１に供給される。ディレイ部２１は、供給されるＨＤ画像を１シーケンス分ディレイさせる。ディレイ部２１の出力は、ＨＤ−ＳＤ変換部２２に供給される。ＨＤ−ＳＤ変換部２２は、供給されるＨＤ画像をフィルタ処理することにより、入力画像と同一の画素位置、画素サイズを有するＳＤ画像を生成する。ＳＤ画像は、動きベクトル検出部２３と領域切り出し部２４とに供給される。動きベクトル検出部２３は、図６中の動きベクトル検出部１１と同様の動作を行うことにより、ＨＤ画像の画素レベルと同等若しくはそれ以下の精度でＨＤ画像の動きベクトルを検出する。動きベクトルはクラスコード生成部２６に供給される。
【００５８】
クラスコード生成部２６は、動きベクトルに基づいて分類されるクラスを表現するクラスコードを生成し、生成したクラスコードを正規方程式加算部２７に供給する。一方、領域切り出し部２４は、供給されるＳＤ画像から予測演算において用いられる所定の画像領域を切り出し、切り出した画像領域のデータを切り出し、切り出した画像データを正規方程式加算部２７に供給する。また、領域切り出し部２５は、供給されるＨＤ画像から予測演算において用いられる画像データを切り出し、切り出した画像データを正規方程式加算部２７に供給する。
【００５９】
正規方程式加算部２７は、クラスコード生成部２６から供給されるクラスコードに応じて、領域切り出し２４、２５から供給される画像データを加算し、加算したデータを予測係数決定部２８に供給する。予測係数決定部２８は、供給されるデータに基づいて正規方程式を解く演算を行うことにより、予測係数を決定する。
【００６０】
画サイズ変換部１７による処理について説明する。入力画像、蓄積画像および出力画像における画素位置の関係の一例を図１１に示す。図１１において、入力画像内の画素を斜線を付した丸で示し、蓄積画像内の画素を黒丸で示す。また、出力画像内の画素を白丸で示す。この一例では、入力画像サイズに対して、蓄積画像サイズが８倍とされ、出力画像サイズが蓄積画像サイズの１／２とされている。この一例は、蓄積画像サイズが出力画像サイズの２倍であり、画サイズ変換部１７において蓄積画像を出力画像に変換するための処理が行われるが、蓄積画像サイズを出力画像サイズと同一とし、蓄積画像について画サイズ変換処理を行わないように構成しても良い。
【００６１】
上述したこの発明の一実施形態は、動きベクトルを検出し、検出した動きベクトルに基づいて分類されるクラスに対応する予測係数を用いて予測演算を行うものである。これに対して、入力画像にＡＤＲＣ等の処理を施すことによって得られる再量子化コードを動きベクトルと共に用いることによってクラス分類を行うようにした、この発明の他の実施形態も可能である。
【００６２】
この発明の他の実施形態について以下に説明する。この発明の他の実施形態の全体的な構成は、図１を参照して上述したこの発明の一実施形態と同様である。この発明の他の実施形態における歪み補正部４の構成の一例を図１２に示す。入力画像は、領域切り出し部３１、動きベクトル検出部３４および領域切り出し部３７に供給される。領域切り出し部３１は、入力画像から所定の画像領域を切り出し、切り出した画像領域のデータをＡＤＲＣ部３２に供給する。ＡＤＲＣ部３２は、供給されるデータにＡＤＲＣ処理を施して再量子化コードを生成し、生成した再量子化コードを予測係数メモリ３３に供給する。
【００６３】
一方、動きベクトル検出部３４は、入力画像と蓄積メモリ３９の出力とに基づいて動きベクトルを検出し、検出した動きベクトルを予測係数メモリ３３に供給する。また、領域切り出し部３６、３７は、それぞれ、入力画像、蓄積メモリ３９から供給される画像信号から所定の画像領域を切り出し、切り出した画像領域のデータを予測演算部３５に供給する。また、予測係数メモリ３３は、ＡＤＲＣ部３２から供給される再量子化コードと動きベクトル検出部３４から供給される動きベクトルとに適応する予測係数データを予測演算部３５に供給する。
【００６４】
ここで、予測係数メモリ３３は、再量子化コードと動きベクトルとに基づいて分類されるクラスに対応して、後述するようにして予め決定された予測係数データを記憶している。予測演算部３５は、予測係数メモリ３３から供給される係数データを使用して、領域切り出し部３６、３７から供給される画像領域のデータに基づく予測演算を行う。予測演算の結果が蓄積メモリ３９と画サイズ変換部３８に供給される。
【００６５】
蓄積メモリ３９は、予測演算部３５の出力を過去の出力画像として保存する。そして、ビデオカメラの通常の出力画像に対して垂直方向に例えば４倍の情報密度（画素密度）の画像情報が蓄積される毎に、蓄積された画像情報を領域切り出し部３１と、動きベクトル３４とに出力する。画サイズ変換部３８は、予測演算部３５の出力信号サイズから出力画像の信号サイズにした場合に折り返しが生じないように、帯域フィルタ処理および画サイズ変換処理を行うことにより、出力画像を生成する。
【００６６】
次に、予測係数データを生成する処理について、図１３を参照して説明する。図１２中の蓄積メモリ３９の出力である蓄積画像と同等の解像度を有するＨＤ画像がディレイ部４１に供給される。ディレイ部４１は、供給されるＨＤ画像を１シーケンス分ディレイさせる。ディレイ部４１の出力は、ＨＤ−ＳＤ変換部４２に供給される。ＨＤ−ＳＤ変換部４２は、供給されるＨＤ画像をフィルタ処理することにより、入力画像と同一の画素位置、画素サイズを有するＳＤ画像を生成する。ＳＤ画像は、領域切り出し部４３，動きベクトル検出部４４および領域切り出し部４５に供給される。
【００６７】
領域切り出し部４３は、供給されるＳＤ画像から所定の領域を切り出し、切り出した領域のデータをＡＤＲＣ部５０に供給する。ＡＤＲＣ部５０は、供給するデータに基づいて図１２中のＡＤＲＣ部３２と同様なＡＤＲＣ処理を行い、再量子化コードを生成する。生成される再量子化コードは，クラスコード生成部４７に供給される。また、動きベクトル検出部４４は、供給されるＳＤ画像から，図１２中の動きベクトル検出部３４と同様の動作を行うことにより、ＨＤ画像の画素レベルと同等若しくはそれ以下の精度で動きベクトルを検出する。動きベクトルはクラスコード生成部４７に供給される。クラスコード生成部４７は、再量子化コードと動きベクトルとに基づいて、分類されるクラスを表現するクラスコードを生成し、生成したクラスコードを正規方程式加算部４８に供給する。
【００６８】
一方、領域切り出し部４５は、供給されるＳＤ画像から予測演算において用いられる所定の画像領域を切り出し、切り出した画像領域のデータを正規方程式加算部４８に供給する。また、領域切り出し部４６は、供給されるＨＤ画像から予測演算において用いられる画像データを切り出し、切り出した画像データを正規方程式加算部４８に供給する。正規方程式加算部４８は、クラスコード生成部４７から供給されるクラスコードに応じて、領域切り出し４５、４６から供給される画像データを加算し、加算したデータを予測係数決定部４９に供給する。予測係数決定部４９は、供給されるデータに基づいて正規方程式を解く演算を行うことにより、予測係数を決定する。
【００６９】
図１１に示した、入力画像、蓄積画像および出力画像における画素位置の関係の一例を前提として、この発明の他の実施形態において予測タップとして用いられる画素配置の一例を図１４に示す。出力画像内の画素を薄墨を付した丸で示す。また、入力画像内の画素を斜線を付した丸で示す。また、蓄積画像内の画素を白丸で示す。さらに、出力画像内の画素の内で、黒丸を付した画素を予測しようとする場合に予測タップとして用いられる画素に楕円を付して示した。すなわち、蓄積画像内の７個の画素と、入力画像内の２個の画素とが予測タップとして使用される。
【００７０】
上述したこの発明の一実施形態、およびこの発明の他の実施形態においては、テレビジョン受像機における画像処理にこの発明を適用したものであるが、この発明は、折り返し歪みを有する画像を取扱うあらゆる装置に対して適用することができる。例えば、ＶＴＲ、ビデオＣＤプレイヤー、ＤＶＤプレイヤー等で再生された画像に対して折り返し歪みを除去若しくは低減する処理において、この発明を適用することができる。
【００７１】
また、上述したこの発明の一実施形態等は、垂直方向の折り返し歪みを除去するものであるが、水平方向の折り返し歪みについても、同様にして取り除くことができる。
【００７２】
また、上述したこの発明の一実施形態等では、原画像に対して、蓄積画像が垂直方向に４倍の情報密度を有するものとしたが、画像の累積解像度は、これに限定されるものではない。また、この発明の一実施形態等では、出力画像が垂直方向に２倍の情報密度、すなわち累積解像度の１／２の解像度を有するものとしたが、出力画像の情報密度は、累積解像度に対して、例えば１／３等、１／２以外の比率としても良い。また、画素以下の精度での画サイズも可能である。
【００７３】
また、上述したこの発明の一実施形態等では、動きベクトルは画素単位で検出するものとしたが、例えば背景等の広い画像部分に対応する処理として、１枚の画像を単位として動きベクトルを検出するようにしても良い。また、画像内の所定の画素領域、例えばブロック等を単位として、動きベクトルを検出するようにしても良い。
【００７４】
この発明は、上述したこの発明の一実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００７５】
【発明の効果】
この発明によれば、入力画像と、入力画像に基づくクラス分類適応処理によって生成される画像との相対的な動きに対応して、サンプリング位置を順次ずらしながら、入力画像中の複数個のフレームからのサンプリングデータを積算する処理が行われる。
【００７６】
これにより、入力画像内の各フレームには含まれない、元の画像における高周波成分を含む、より画素数の大きいフレームを有する画像を得ることができる。このような画像に帯域フィルタをかける等の処理を施すことによって、折り返し歪みの無い高密度画像を得ることができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の全体的な構成について説明するためのブロック図である。
【図２】高周波成分を含む画像を再生する処理について説明するための略線図である。
【図３】この発明における、入力画像内の画素位置と、出力画像内の画素位置との関係について説明するための略線図である。
【図４】一般的なクラス分類適応処理における、予測推定に係る構成について説明するためのブロック図である。
【図５】一般的なクラス分類適応処理における、学習に係る構成について説明するためのブロック図である。
【図６】この発明の一実施形態における、予測推定に係る構成について説明するためのブロック図である。
【図７】この発明の一実施形態における動きベクトル検出方法について説明するための略線図である。
【図８】この発明の一実施形態における動きベクトル検出方法について説明するための略線図である。
【図９】この発明の一実施形態における動きベクトル検出方法について説明するための略線図である。
【図１０】この発明の一実施形態における、学習に係る構成について説明するためのブロック図である。
【図１１】この発明の一実施形態における、入力画像、蓄積画像および出力画像における画素位置の関係の一例を示す略線図である。
【図１２】この発明の他の実施形態における、予測推定に係る構成について説明するためのブロック図である。
【図１３】この発明の他の実施形態における、学習に係る構成について説明するためのブロック図である。
【図１４】この発明の他の実施形態において予測タップとして用いられる画素配置の一例を示す略線図である。
【図１５】従来技術の問題点について説明するためのブロック図である。
【符号の説明】
４・・・歪み補正部、１１・・・動きベクトル検出部、１６・・・蓄積メモリ
【図１】
0004120095.tif 000008
【図２】
0004120095.tif 000009
【図３】
0004120095.tif 000010
【図４】
0004120095.tif 000011
【図５】
0004120095.tif 000012
【図６】
0004120095.tif 000013
【図７】
0004120095.tif 000014
【図８】
0004120095.tif 000015
【図９】
0004120095.tif 000016
【図１０】
0004120095.tif 000017
【図１１】
0004120095.tif 000018
【図１２】
0004120095.tif 000019
【図１３】
0004120095.tif 000020
【図１４】
0004120095.tif 000021
【図１５】
0004120095.tif 000022