(57)【特許請求の範囲】
【請求項１】
第１のフレーム画像データを構成する第１のフィールド画像データから垂直方向の折り返し歪を除去することにより解像度の高い第２のフレーム画像データを構成する第２のフィールド画像データを生成する画像処理装置において、
上記第１のフィールド画像データに対して１フィールド遅延させることにより第１のカレントフィールド画像データを生成する第１のフィールドディレイ手段と、
上記第１のカレントフィールド画像データに対して１フィールド遅延させることにより第２のカレントフィールド画像データを生成する第２のフィールドディレイ手段と、
上記第２のカレントフィールド画像データのうち任意の時点から第Ｎ番目（Ｎは自然数）のＮフレーム偶数フィールド画像データ及び当該Ｎフレーム奇数フィールド画像データと、第Ｎ＋１番目のＮ＋１フレーム偶数フィールド画像データ及び当該Ｎ＋１フレーム奇数フィールド画像データとを記憶するフィールド記憶手段と、
上記第１のカレントフィールド画像データから所定の画素数でなる画素ブロックを抽出し、抽出した当該画素ブロックを参照ブロックとして選定し、選定した当該参照ブロックと同じ大きさでかつ同一形状でなる当該画素ブロックを上記フィールド記憶手段に記憶されている上記Ｎフレーム偶数フィールド画像データ、上記Ｎフレーム奇数フィールド画像データ、上記Ｎ＋１フレーム偶数フィールド画像データ及び上記Ｎ＋１フレーム奇数フィールド画像データの中から処理対象ブロックとして抽出する処理対象ブロック抽出手段と、
上記参照ブロックと上記処理対象ブロックとの画素値同士の差分を取ることにより当該参照ブロックに対する誤差値を算出する誤差値算出手段と、
上記参照ブロックの位置を画素単位で上記第１のカレントフィールド画像データの種々の位置へ移動して上記参照ブロックに対する上記誤差値を算出することによって、上記第１のカレントフィールド画像データと、上記Ｎフレーム偶数フィールド画像データ、上記Ｎフレーム奇数フィールド画像データ、上記Ｎ＋１フレーム偶数フィールド画像データ及び上記Ｎ＋１フレーム奇数フィールド画像データとの間の上記参照ブロックの上記位置におけるそれぞれの動きベクトルデータを検出する動きベクトルデータ検出手段と、
上記参照ブロックの位置を上記画素単位で移動して得られた上記誤差値を直線で結ぶことによって当該参照ブロックの位置における最小誤差値を推定し、当該最小誤差値を与える上記参照ブロックの位置の動きベクトルデータに基づいて上記Ｎフレーム偶数フィールド画像データ、上記Ｎフレーム奇数フィールド画像データ、上記Ｎ＋１フレーム偶数フィールド画像データ及び上記Ｎ＋１フレーム奇数フィールド画像データの中から上記動きベクトルが上記画素以下である画像データ１つを選択し、選択された当該画像データを上記第１のカレントフィールド画像データによって更新するフィールド画像データ更新手段と、
上記フィールド画像データ更新手段によって上記動きベクトルが上記画素以下の大きさが０．５画素又はこれに最も近い上記フィールド画像データを選択することにより選択フィールド画像データを生成する選択フィールド画像データ生成手段と、
上記選択フィールド画像データを上記動きベクトルデータの大きさに応じて選択された画素の単位で上記垂直方向に移動することにより当該選択フィールド画像データの画像位置の補正する画像位置補正手段と、
上記第２のカレントフィールド画像データと上記位置補正画像データとを選択して１ラインごと合成することにより上記第１のフィールド画像データよりも画素数の多い高解像度の上記第２のフィールド画像データを生成する歪補正画像データ生成手段と
を具える画像処理装置。
【請求項２】
第１のフレーム画像データを構成する第１のフィールド画像データから垂直方向の折り返し歪を除去することにより解像度の高い第２のフレーム画像データを構成する第２のフィールド画像データを生成する画像処理方法において、
上記第１のフィールド画像データに対して１フィールド遅延させることにより第１のカレントフィールド画像データを生成する第１のフィールドディレイステップと、
上記第１のカレントフィールド画像データに対して１フィールド遅延させることにより第２のカレントフィールド画像データを生成する第２のフィールドディレイステップと、
フィールド記憶手段に上記第２のカレントフィールド画像データのうち任意の時点から第Ｎ番目（Ｎは自然数）のＮフレーム偶数フィールド画像データ及び当該Ｎフレーム奇数フィールド画像データと、第Ｎ＋１番目のＮ＋１フレーム偶数フィールド画像データ及び当該Ｎ＋１フレーム奇数フィールド画像データとを記憶するフィールド記憶ステップと、
上記第１のカレントフィールド画像データから所定の画素数でなる画素ブロックを抽出し、抽出した当該画素ブロックを参照ブロックとして選定し、選定した当該参照ブロックと同じ大きさでかつ同一形状でなる当該画素ブロックを上記フィールド記憶手段に記憶されている上記Ｎフレーム偶数フィールド画像データ、上記Ｎフレーム奇数フィールド画像データ、上記Ｎ＋１フレーム偶数フィールド画像データ及び上記Ｎ＋１フレーム奇数フィールド画像データの中から処理対象ブロックとして抽出する処理対象ブロック抽出ステップと、
上記参照ブロックと上記処理対象ブロックとの画素値同士の差分を取ることにより当該参照ブロックに対する誤差値を算出する誤差値算出ステップと、
上記参照ブロックの位置を画素単位で上記第１のカレントフィールド画像データの種々の位置へ移動して上記参照ブロックに対する上記誤差値を算出することによって、上記第１のカレントフィールド画像データと、上記Ｎフレーム偶数フィールド画像データ、上記Ｎフレーム奇数フィールド画像データ、上記Ｎ＋１フレーム偶数フィールド画像データ及び上記Ｎ＋１フレーム奇数フィールド画像データとの間の上記参照ブロックの上記位置におけるそれぞれの動きベクトルデータを検出する動きベクトルデータ検出ステップと、
上記参照ブロックの位置を上記画素単位で移動して得られた上記誤差値を直線で結ぶことによって当該参照ブロックの位置における最小誤差値を推定し、当該最小誤差値を与える上記参照ブロックの位置の動きベクトルデータに基づいて上記Ｎフレーム偶数フィールド画像データ、上記Ｎフレーム奇数フィールド画像データ、上記Ｎ＋１フレーム偶数フィールド画像データ及び上記Ｎ＋１フレーム奇数フィールド画像データの中から上記動きベクトルが上記画素以下である画像データ１つを選択し、選択された当該画像データを上記第１のカレントフィールド画像データによって更新するフィールド画像データ更新ステップと、
上記フィールド画像データ更新手段によって上記動きベクトルが上記画素以下の大きさが０．５画素又はこれに最も近い上記フィールド画像データを選択することにより選択フィールド画像データを生成する選択フィールド画像データ生成ステップと、
上記選択フィールド画像データを上記動きベクトルデータの大きさに応じて選択された画素の単位で上記垂直方向に移動することにより当該選択フィールド画像データの画像位置の補正する画像位置補正ステップと、
上記第２のカレントフィールド画像データと上記位置補正画像データとを選択して１ラインごと合成することにより上記第１のフィールド画像データよりも画素数の多い高解像度の上記第２のフィールド画像データを生成する歪補正画像データ生成ステップと
を具える画像処理方法。
【発明の詳細な説明】
技術分野
本発明は画像処理装置及び画像処理方法に関し、例えばテレビジョン受像機に適用して好適なものである。
背景技術
従来、テレビジョン受像機においては、受信した画像を表示するディスプレイとしてＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）が採用されている。このＣＲＴは、照射された電子ビームを蛍光面の左上から右下に向かって順次走査することにより、蛍光面の各点を光らせて画像を表示するようになされている。
このようにＣＲＴに表示された画像は、蛍光面の各点すなわち画素の集合からなり、原画像を蛍光面の各画素位置でサンプリングしたディジタル信号とみなすことができる。例えば自然の風景を撮影して得られる表示画像は、アナログ信号でなる実際の自然の風景を、蛍光面の各画素位置をサンプリング点としてサンプリングされたディジタル信号からなる。
ところでテレビジョン受像機においては、元の画像をサンプリングする際に、いわゆるサンプリングの定理、すなわちアナログ信号をサンプリングして得られたディジタル信号から元のアナログ信号を再生するには、アナログ信号の最高周波数の２倍以上の周波数でサンプリングを行う必要があるという定理を満たしていないと、信号レベルの変動が大きくなってＣＲＴに表示される画像に折り返し歪み（ａｒｉａｓｉｎｇ）が生じる。
一般にテレビジョン受像機においては、電子ビームを蛍光面の左上から右下に向かって順次走査することにより画像をＣＲＴに表示していることから、走査線の方向である水平方向には、サンプリングの定理を満たすためにプリフィルタがかけられるのに対して、走査線と直行する方向である垂直方向には、プリフィルタがかけられず、表示画像の垂直方向に折り返し歪みが生じる問題があった。
例えば図１１に示すように、表示画像のうち第Ｎフレームにおける任意の垂直方向の位置に位置する画素に注目した場合、当該垂直方向における元の画素が、図中実線で表すような、１ライン（水平走査期間）に対応する周波数の１／２倍よりも高い周波数の信号成分を有すると、上述のサンプリングの定理を満たさないことから、折り返し歪みが生じ、元の画像を正確に表示することができず、図中点線で示すような信号成分を有する画像しか表示し得ない。このような折り返し歪みは、テレビジョン受像機によるＹ（輝度信号）／Ｃ（色信号）分離、ノイズ除去、画質改善のための信号処理、その他様々な信号処理に弊害を及ぼすことになる。
折り返し歪みが生じても、各画素における画素値が変化しなければ表示画像の解像度が劣化するだけで、視聴者はそれほど大きな違和感を感じることはない。しかしながら、例えば葉の生い茂った木が風に吹かれている風景を表す画像については、第Ｎフレームでは図中実線で表されている信号が、第Ｎ＋１フレームでは実線で表されるような信号に変化する。このように折り返し歪みが生じている画像が変化すると、視聴者は大きな違和感を感じることになる。
ところで、任意の１フレームの表示画像に注目した場合に、当該表示画像は垂直方向の折り返し歪みを含むことから、当該１フレームの表示画像のみから高周波成分を含む元の画像を再生することはサンプリングの定理から困難である。また、既に垂直方向の折り返し歪みを有する画像に、垂直方向のプリフィルタをかけて元の画像を再生することも困難である。
発明の開示
本発明は以上の点を考慮してなされたもので、従来に比して一段と画質を向上し得る画像処理装置及び画像処理方法を提案しようとするものである。
かかる課題を解決するため本発明においては、第１のフレーム画像データを構成する第１のフィールド画像データから垂直方向の折り返し歪を除去することにより解像度の高い第２のフレーム画像データを構成する第２のフィールド画像データを生成する画像処理装置において、第１のフィールド画像データに対して１フィールド遅延させることにより第１のカレントフィールド画像データを生成する第１のフィールドディレイ手段と、第１のカレントフィールド画像データに対して１フィールド遅延させることにより第２のカレントフィールド画像データを生成する第２のフィールドディレイ手段と、第２のカレントフィールド画像データのうち任意の時点から第Ｎ番目（Ｎは自然数）のＮフレーム偶数フィールド画像データ及び当該Ｎフレーム奇数フィールド画像データと、第Ｎ＋１番目のＮ＋１フレーム偶数フィールド画像データ及び当該Ｎ＋１フレーム奇数フィールド画像データとを記憶するフィールド記憶手段と、第１のカレントフィールド画像データから所定の画素数でなる画素ブロックを抽出し、抽出した当該画素ブロックを参照ブロックとして選定し、選定した当該参照ブロックと同じ大きさでかつ同一形状でなる当該画素ブロックをフィールド記憶手段に記憶されているＮフレーム偶数フィールド画像データ、Ｎフレーム奇数フィールド画像データ、Ｎ＋１フレーム偶数フィールド画像データ及びＮ＋１フレーム奇数フィールド画像データの中から処理対象ブロックとして抽出する処理対象ブロック抽出手段と、参照ブロックと処理対象ブロックとの画素値同士の差分を取ることにより当該参照ブロックに対する誤差値を算出する誤差値算出手段と、参照ブロックの位置を画素単位で第１のカレントフィールド画像データの種々の位置へ移動して参照ブロックに対する誤差値を算出することによって、第１のカレントフィールド画像データと、Ｎフレーム偶数フィールド画像データ、Ｎフレーム奇数フィールド画像データ、Ｎ＋１フレーム偶数フィールド画像データ及びＮ＋１フレーム奇数フィールド画像データとの間の参照ブロックの上記位置におけるそれぞれの動きベクトルデータを検出する動きベクトルデータ検出手段と、参照ブロックの位置を画素単位で移動して得られた誤差値を直線で結ぶことによって当該参照ブロックの位置における最小誤差値を推定し、当該最小誤差値を与える参照ブロックの位置の動きベクトルデータに基づいてＮフレーム偶数フィールド画像データ、Ｎフレーム奇数フィールド画像データ、Ｎ＋１フレーム偶数フィールド画像データ及びＮ＋１フレーム奇数フィールド画像データの中から動きベクトルが画素以下である画像データ１つを選択し、選択された当該画像データを第１のカレントフィールド画像データによって更新するフィールド画像データ更新手段と、フィールド画像データ更新手段によって動きベクトルが画素以下の大きさが０．５画素又はこれに最も近いフィールド画像データを選択することにより選択フィールド画像データを生成する選択フィールド画像データ生成手段と、選択フィールド画像データを動きベクトルデータの大きさに応じて選択された画素の単位で垂直方向に移動することにより当該選択フィールド画像データの画像位置の補正する画像位置補正手段と、第２のカレントフィールド画像データと位置補正画像データとを選択して１ラインごと合成することにより第１のフィールド画像データよりも画素数の多い高解像度の第２のフィールド画像データを生成する歪補正画像データ生成手段とを設けることにより、カレントフィールド画像データに対して折り返し歪を除去すると共に、画素数が増加した高解像度のフィールド画像データを生成することができるので、一段と高解像度の画像データを生成することができる
発明の実施するための最良の形態
以下図面について、本発明の一実施例を詳述する。
（１）折り返し歪みの除去方法の原理
ここでは垂直方向の折り返し歪みを含む画像（以下、これを歪み画像と呼ぶ）から元の画像を再生する方法について図１を用いて説明する。この場合、任意の垂直方向の１列に注目すると、当該垂直方向の１列における元の画像は、図中実線で示すように、１ラインに対する周波数の１／２倍よりも高い周波数で周期的に変化し、その位相が時間の経過とともに垂直方向にずれていく三角波で表されるとする。
その際、第Ｎフレームだけに注目すると、元の画像を走査線上でサンプリングすることによって得られるサンプル値でなる画像は、元の画像とは異なったものになる。次に、第Ｎ＋１フレームでは、当該第Ｎ＋１フレームだけに注目すると、第Ｎフレームだけに注目した場合と同様に、元の画像とは異なる歪み画像が生成される。しかしながら、歪み画像の位相は、時間の経過とともに垂直方向にずれていくことから、第Ｎ＋１フレームで得られる歪み画像は、元の画像を第Ｎフレームとは異なる位置でサンプリングすることによって得られた各サンプル値を結んだものである。
これにより、第Ｎフレームにおけるサンプル値のサンプリング点を、元の画像の位相の変化すなわち歪み画像の動きに対応した位置へ移動させ、その移動後のサンプリング点におけるサンプル値と第Ｎ＋１フレームにおけるサンプル値とを結ぶことによって得られる画像は、図中点線で示すような元の画像に近づくことになる。
以下、同様にして、過去のフレームにおけるサンプル値のサンプリング点を歪み画像の動きに対応した位置に移動させ、その移動後のサンプリング点におけるサンプル値と現在のフレームにおけるサンプル値とを結んでいくと、徐々に元の画像が再生されていく。
このようにして歪み画像の動きに対応した位置にサンプリング点を移動させていき、その移動後のサンプリング点における各サンプル値を結んでいくことにより元の画像を再生することができる。すなわち、歪み画像の動きに対応した位置に画素を想定していくことによって垂直方向の画素数が増加して、サンプリングの定理が満たされ、その結果、元の画像が得られるようになる。
かくして図２に示すように、時間的に連続する歪み画像の各フレーム（図２（Ａ））に対して、その動きに対応した位置に、過去のフレームの歪み画像を形成する画素を想定していくことにより、垂直方向の画素数が増加してなる折り返し歪みのない画像（図２（Ｂ））を生成するようになされている。
なお、図１はフレーム画像を単位として説明したが、フィールド画像を単位とするインターレース方式の画像においては、図３に示すように、ｏｄｄフィールド及びｅｖｅｎフィールドが交互に現れることになる。
（２）テレビジョン受像機の全体構成
図４において、１は全体としてテレビジョン受像機の構成を示す。テレビジョン受像機１は、図示しないアンテナによって受信した受信信号Ｓ１をチューナ２に入力する。チューナ２は、受信信号Ｓ１から所望のチャンネルのテレビジョン放送信号を検波及び復調し、その結果得られる画像信号Ｓ２をＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）３に送出する。
ＬＰＦ３は、画像信号Ｓ２がサンプリング定理を満たすようにするためのプリフィルタであり、画像信号Ｓ２の高周波成分を制限し、その結果得た画像信号ＳＳ３をアナログディジタル（Ａ／Ｄ）変換器４に送出する。Ａ／Ｄ変換器４は、画像信号Ｓ３をサンプリングすることによりアナログディジタル変換し、その結果得られる画像データＳ４を歪み補正部５に送出する。
本発明による画像処理装置としての歪み補正部５は、図１〜図３について上述した折り返し歪みの除去方法の原理を用いることにより、画像データＳ４から垂直方向の折り返し歪みを除去し、その結果得た歪み補正画像データＳ５をディジタルアナログ（Ｄ／Ａ）変換器６に送出する。
Ｄ／Ａ変換器６は、歪み補正画像データＳ５をディジタルアナログ変換することによりアナログ信号の歪み補正画像信号Ｓ６を生成し、これをＣＲＴ７に送出する。ＣＲＴ７は、供給された歪み補正画像信号Ｓ６に応じた折り返し歪みのない画像を表示するようになされている。
因みに、チューナ２とＬＰＦ３の間、又は歪み補正部５とＤ／Ａ変換器６の間には、例えばＹ／Ｃ分離その他必要な画像処理を行う回路が設けられることがある。Ａ／Ｄ変換器４は、画像信号Ｓ３としてＹ／Ｃ分離前のコンポジットカラービデオ信号が入力される場合には、サブキャリアの周波数でサンプリングを行い、Ｙ／Ｃ分離後のＹ（輝度）成分及びＣ（クロマ）成分からなる各コンポーネント信号が入力される場合には、１３．５［ＭＨｚ］の周波数でサンプリングする。
（３）歪み補正部の構成
図５は、歪み補正部５の構成を示す。因みに、歪み補正部５では各フィールドごとにそれぞれ画面全体を蓄積するフィールドメモリ１７Ａ〜１７Ｄを設けることにより、入力画像全体との比較により１つの動きベクトルを検出し得るようになされているが、画面全体を分割してなる各領域ごとに対応するメモリを設ければ、一部の領域において同一の動きをする画像においてもその動きベクトルを検出することができる。また、歪み補正部５から出力される歪み補正画像データＳ５としては、垂直方向２倍の画素数の画像でなるものとする。
以下、歪み補正部５の回路構成について具体的に説明する。歪み補正部５においてフィールドディレイ回路１０及びスイッチ１２に、画像データＳ４が入力される。フィールドディレイ回路１０は、画像データＳ４を１フィールド遅延させることによりカレントフィールド画像データＳ１０を生成し、これを動き検出部１１及びフィールドディレイ回路１３に送出する。フィールドディレイ回路１３は、カレントフィールド画像データＳ１０を１フィールド遅延させることにより画像データＳ１１を生成し、これをスイッチ１４及び合成回路１５に送出する。従ってカレントフィールド画像データＳ１０に対して、画像データＳ４は１フィールド後の画像データと、画像データＳ１１は１フィールド前の画像データと位置付けられる。
スイッチ１４は、コントローラ１６からの制御信号Ｓ１２に応じて、画像データＳ１１のうち第Ｎ（Ｎは自然数）フレームのｏｄｄフィールドをフィールド画像データＳ１３Ａとしてフィールドメモリ１７Ａに送出し、第Ｎフレームのｅｖｅｎフィールドをフィールド画像データＳ１３Ｂとしてフィールドメモリ１７Ｂに送出し、第Ｎ＋１フレームのｏｄｄフィールドをフィールド画像データＳ１３Ｃとしてフィールドメモリ１７Ｃに送出し、第Ｎ＋１フレームのｅｖｅｎフィールドをフィールド画像データＳ１３Ｄとしてフィールドメモリ１７Ｄに送出する。
フィールドメモリ１７Ａは、フィールド画像データＳ１３Ａを蓄積した後、これをフィールド画像データＳ１４Ａとして動き検出部１１及びスイッチ１２に送出する。同様にフィールドメモリ１７Ｂ〜１７Ｄは、フィールド画像データＳ１３Ｂ〜Ｓ１３Ｄをそれぞれ蓄積した後、これらをフィールド画像データＳ１４Ｂ〜Ｓ１４Ｄとしてそれぞれ動き検出部１１及びスイッチ１２に送出する。
動き検出部１１は、カレントフィールド画像データＳ１０とフィールドメモリ１７Ａに蓄積されているフィールド画像データＳ１４Ａとの間の動きベクトルと、カレントフィールド画像データＳ１０とフィールドメモリ１７Ｂに蓄積されているフィールド画像データＳ１４Ｂとの間の動きベクトルと、カレントフィールド画像データＳ１０とフィールドメモリ１７Ｃに蓄積されているフィールド画像データＳ１４Ｃとの間の動きベクトルと、カレントフィールド画像データＳ１０とフィールドメモリ１７Ｄに蓄積されているフィールド画像データＳ１４Ｄとの間の動きベクトルとをそれぞれ検出し、その検出結果である動きベクトルデータＳ１５をコントローラ１６に送出する（図６（Ａ））。その際、動き検出部１１は、全画面に対して１つの動きベクトルを検出する。
ところで動き検出部１１は、全画面のうち折り返し歪みが生じている方向すなわち垂直方向の成分については、歪み補正部５に入力された画像データＳ４を構成する画素よりも細かい分解能で動きベクトルを検出する。以下、このような動き検出部１１による動きベクトルの検出動作について図７を参照しながら説明する。なお、図７では垂直方向の誤差値のみを表すものとし、横軸に垂直方向の位置を画素ピッチ単位で表すものとする。またここでは４つのフィールドメモリ１７Ａ、１７Ｂ、１７Ｃ及び１７Ｄに蓄積されている各フィールド画像データＳ１４Ａ、Ｓ１４Ｂ、Ｓ１４Ｃ及びＳ１４Ｄのうち、フィールドメモリ１７Ｂに蓄積されているフィールド画像データＳ１４Ｂとカレント画像データＳ１０との間の動きベクトルを求める場合について説明するが、他のフィールドメモリ１７Ａ、１７Ｃ及び１７Ｄに蓄積されているフィールド画像データＳ１４Ａ、Ｓ１４Ｃ及びＳ１４Ｄとカレントフィールド画像データＳ１０との間の動きベクトルについても同様にして求めるようになされている。
まず動き検出部１１は、例えばカレントフィールド（現フィールド）から所定数の画素でなる参照ブロックを選定すると共に、当該参照ブロックと同一の大きさであってかつ同一の形状の処理対象ブロックをフィールドメモリ１７Ｂに蓄積されているフィールド画像から選定する。
動き検出部１１は、参照ブロック及び処理対象ブロック間でそれぞれ対応する位置に存在する画素の画素値同士の差分をとり、それら各差分の絶対値和（以下、これを誤差値と呼ぶ）を算出する。さらに動き検出部１１は、カレントフィールドの参照ブロックを画素単位で種々の位置に移動させて、当該移動した各位置における誤差値をそれぞれ算出していく。
そして動き検出部１１は、参照ブロックの位置と当該位置における誤差値との対応関係から、各誤差値を補間したときに誤差値が最小となるときの参照ブロックの位置（図中×印で示す位置）を推定する。動き検出部１１は、この誤差値が最小となる参照ブロックの位置に対するベクトルの垂直成分を、画素ピッチよりも細かい分解能での動きベクトルとしている。
かくして、各フィールドメモリ１７Ａ、１７Ｂ、１７Ｃ及び１７Ｄに格納された各フィールド画像データＳ１４Ａ、Ｓ１４Ｂ、Ｓ１４Ｃ及びＳ１４Ｄと、カレントフィールド画像データＳ１０との間の各動きベクトルデータが検出される。
そして図５に戻って、コントローラ１６は、動き検出部１１から供給される動きベクトルデータＳ１５に基づいて、フィールドメモリ１７Ａ〜１７Ｄに格納されているフィールド画像データＳ１４Ａ〜Ｓ１４Ｄの動きベクトルの垂直方向の大きさのうち、画素以下の大きさが最小のもの（０に近いもの）を選択すると共に、当該選択されたフィールド画像データが複数存在する場合には、これら画素以下の大きさが同じ又は近接している複数のフィールド画像データの中の一つを選択し、当該選択されたフィールド画像データを蓄積しているフィールドメモリを更新対象とする。コントローラ１６は、このようにして得られた更新対象のフィールドメモリを指定する切換信号Ｓ１６をスイッチ１４に送出する。
スイッチ１４は切換信号Ｓ１６によって指定されたフィールドメモリに新たなカレントフィールド画像データＳ１０を供給することにより、フィールドメモリ内に蓄積されているフィールド画像データを更新する。
例えば、各フィールドメモリ１７Ａ、１７Ｂ、１７Ｃ及び１７Ｄにそれぞれ蓄積されている各フィールド画像データに対するカレント画像データＳ１０の動きベクトルの垂直方向の大きさが、それぞれ０．２画素、１．５画素、２．８画素及び４．１画素であり、さらにカレントフィールド画像データＳ１０に対して１フィール後のフィールド画像データＳ４の動きベクトルの垂直方向の大きさが−１．１画素である場合、動きベクトルの垂直方向の大きさが４．１画素であるフィールド画像データＳ１４Ｄ及び、動きベクトルの垂直方向の大きさが０．２画素であるフィールド画像データＳ１４Ａ並びに動きベクトルの垂直方向の大きさが２．８画素であるフィールド画像データＳ１４Ｃ（この場合、３．０画素との差分として０．２画素が動きベクトルの垂直方向の大きさの少数点以下の大きさとして考慮される）のうち、最も大きな動きベクトルの垂直方向の大きさとして４．１画素であるフィールド画像データＳ１４Ｄが選択される。
そして、コントローラ１６は選択されたフィールド画像データＳ１４Ｄを蓄積しているフィールドメモリ１７Ｄを更新対象とした切換信号Ｓ１６をスイッチ１４に送出する。スイッチ１４は切換信号Ｓ１６に基づいてこのときのカレントフィールド画像データＳ１０をフィールドメモリ１７Ｄに供給することにより、フィールドメモリ１７Ｄ内のフィールド画像データを更新する。
この結果、各フィールドメモリ１７Ａ、１７Ｂ及び１７Ｃにそれぞれ蓄積されている各フィールド画像データとカレント画像データＳ１０との間の各動きベクトルの垂直方向の大きさは、それぞれ前回検出された各動きベクトルの垂直方向の大きさに前回の１フィールド後のフィールド画像データＳ４の動きベクトルの垂直方向の大きさである１．１画素を加算した結果により、それぞれ１．３画素、２．６画素及び３．９画素となり、さらに更新されたフィールドメモリ１７Ｄ内のフィールド画像データＳ１４Ｄとカレントフィールド画像データＳ１０との間の動きベクトルの垂直方向の大きさは前回の１フィールド後のフィールド画像データＳ４の動きベクトルの垂直方向の大きさである−１．１の符号を反転した値「１．１」となる。因みに、この時、新たな１フィールド後の画像データＳ４の動きベクトルの垂直方向の大きさを画像の動きにより例えば−１．３画素とする。
そして、この状態から動きベクトルの垂直方向の大きさが３．９画素（この場合、４．０画素との差分として０．１画素が動きベクトルの垂直方向の大きさの少数点以下の大きさとして考慮される）であるフィールド画像データＳ１４Ｃ及び、動きベクトルの垂直方向の大きさが１．１画素であるフィールド画像データＳ１４Ｄのうち、最も大きな動きベクトルの垂直方向の大きさとして３．９画素であるフィールド画像データＳ１４Ｃが選択される。
そして、コントローラ１６は選択されたフィールド画像データＳ１４Ｃを蓄積しているフィールドメモリ１７Ｃを更新対象とした切換信号Ｓ１６をスイッチ１４に送出する。スイッチ１４は切換信号Ｓ１６に基づいてこのときのカレントフィールド画像データＳ１０をフィールドメモリ１７Ｃに供給することにより、フィールドメモリ１７Ｄ内のフィールド画像データを更新する。
この結果、各フィールドメモリ１７Ａ、１７Ｂ及び１７Ｄにそれぞれ蓄積されている各フィールド画像データとカレント画像データＳ１０との間の各動きベクトルの垂直方向の大きさは、それぞれ前回検出された各動きベクトル（１．３画素、２．６画素及び１．１画素）に前回の１フィールド後のフィールド画像データＳ４の動きベクトルの垂直方向の大きさである１．３画素を加算した結果により、それぞれ２．６画素、３．９画素及び２．４画素となり、さらに更新されたフィールドメモリ１７Ｃ内のフィールド画像データＳ１４Ｃとカレントフィールド画像データＳ１０との間の動きベクトルの垂直方向の大きさは前回の１フィールド後のフィールド画像データＳ４の動きベクトルの垂直方向の大きさである−１．３の符号を反転した値「１．３」となる。
このようにして、各フィールドメモリ１７Ａ〜１７Ｄのフィールド画像データＳ１４Ａ〜Ｓ１４Ｄのうち、いずれかが順次更新されて行く。因みに、フィールドメモリ内のフィールド画像データの更新方法としては、実際のカレントフィールド画像データＳ１０を書き込む方法に限らず、例えば他のフィールドメモリに蓄積されているフィールド画像データからそれぞれの動きベクトルの垂直方向の大きさを比率に応じてそれぞれのフィールド画像データを平均化した結果を書き込むようにしても良い。
次に、各フィールドメモリ１７Ａ〜１７Ｄに格納されているフィールド画像テータＳ１４Ａ〜Ｓ１４Ｄ又は１フィールド後のフィールド画像データＳ４のなかから必要なフィールド画像データを選択してカレントフィールド画像データＳ１０と合成することにより解像度を創造する方法について説明する。
図５に戻って、コントローラ１６は、動き検出部１１から供給される動きベクトルデータＳ１５に基づいて、フィールドメモリ１７Ａ〜１７Ｄに格納されているフィールド画像データＳ１４Ａ〜Ｓ１４Ｄ又は１フィールド後のフィールド画像データＳ４の動きベクトルの垂直方向の大きさうち、画素以下の大きさが０．５画素又はこれに近いものを選択することにより切換信号Ｓ１７を生成し、これをスイッチ１２に送出する。
例えば、各フィールドメモリ１７Ａ、１７Ｂ、１７Ｃ及び１７Ｄにそれぞれ蓄積されている各フィールド画像データに対するカレント画像データＳ１０の動きベクトルの垂直方向の大きさが、それぞれ０．２画素、１．５画素、２．８画素及び４．１画素であり、さらにカレントフィールド画像データＳ１０に対して１フィール後の画像データＳ４の動きベクトルの垂直方向の大きさが−１．１画素である場合、動きベクトルの垂直方向の大きさが１．５画素であるフィールド画像データＳ１４Ｂが選択される。このように動きベクトルの垂直方向の画素以下の大きさが０．５画素であるフィールド画像データを選択することにより、後述する合成回路１５において垂直方向に２倍密（解像度が２倍）の歪み補正画像データＳ５を得ることができる。因みに、動きベクトルの垂直方向の大きさが１．５画素であるフィールド画像データＳ１４Ｂがない場合には、その前後の動きベクトルの垂直方向の大きさ（０．２画素及び２．８画素）を有するフィールド画像データＳ１４Ａ及びＡ１４Ｃから動きベクトルの垂直方向の大きさが１．５画素であるフィールド画像データを生成するようにしても良い。
またコントローラ１６は、動き量データＳ１５に基づいて、選択したフィールド画像の動きベクトルを示す動きベクトルデータＳ１８を位置補正回路１８に送出する（図６（Ｂ））。
スイッチ１２は、コントローラ１６から供給される切換信号Ｓ１７に基づいて、画素以下の動きベクトルの垂直方向の大きさが０．５画素に最も近いフィールド画像データを選択し、これを選択フィールド画像データＳ１９として位置補正回路１８に送出する。以下、同様にして、スイッチ１２は、コントローラ１６から供給される切換信号Ｓ１７に基づいてフィールド毎に接続状態を切り換えながら、所望のフィールド画像データを順次選択していくことにより選択フィールド画像データＳ１９を生成し、これを位置補正回路１８に送出する。
位置補正回路１８は、動きベクトルデータＳ１８が示す画素ピッチ単位の動き量に応じて、選択フィールド画像データＳ１９の各フィールド画像を画素ピッチ単位でずらすことにより画像位置の補正を行い、その結果得られた位置補正画像データＳ２０を合成回路１５に送出する。例えば図６（Ｂ）に示すように、選択フィールド画像データＳ１９の動きベクトルの垂直方向の大きさが１．５画素である場合、１画素分だけ選択フィールド画像データＳ１９を垂直方向にシフトすることにより、０．５画素の位置、すなわち各画素を垂直方向に２倍密とする位置に画像データを得ることができる。
合成回路１５は、フィールドディレイ回路１３から供給される画像データＳ１１と位置補正画像データＳ２０とを合成することにより、歪み補正画像データＳ５を生成し、これを外部に出力する（図６（Ｃ）及び図８（Ａ））。具体的には図８（Ｂ）に示すように、合成回路１５は、画像データＳ１１（図中（１））と位置補正画像データＳ２０（図中（２））とを所定のタイミングで１ライン毎に順次切り換えて出力することにより歪み補正画像データＳ５を生成している。
ここでコントローラ１６による歪み補正部５の制御手順について図９に示すフローチャートを用いて説明する。ステップＳＰ１から入ったステップＳＰ２において、コントローラ１６は、カレントフィールド画像データＳ１０と当該カレントフィールド画像データＳ１０に対して１フィールド後のフィールド画像データＳ１４及び各フィールド画像データＳ１４Ａ〜Ｓ１４Ｄとの間の動きベクトルを示す動きベクトルデータＳ１５を取得する。
ステップＳＰ３において、コントローラ１６は、フィールド画像データＳ１４Ａ〜Ｓ１４Ｄの動き量のうち、動きベクトルの垂直方向の大きさの画素ピッチ以下の大きさが最小のもの（０に近いもの）を選択すると共に、当該選択されたフィールド画像データが複数存在する場合には、これら画素ピッチ以下の大きさが同じ又は近い複数のフィールド画像データのうち動きベクトルの垂直方向の大きさが大きいものを一つ選択して切換信号Ｓ１６を生成し、これをスイッチ１４に送出する。ステップＳＰ４において、コントローラ１６は、フィールド画像データＳ４及びフィールド画像データＳ１４Ａ〜Ｓ１４Ｄの動きベクトルの垂直方向の大きさのうち、画素ピッチ以下の大きさが０．５画素ピッチに最も近いものを選択して切換信号Ｓ１７を生成し、これをスイッチ１２に送出する。
ステップＳＰ５において、コントローラ１６は、選択したフィールド画像の動きベクトルを示す動きベクトルデータＳ１８を位置補正回路１８に送出する。次にステップＳＰ６に移って処理を終了する。一方、ステップＳＰ７において、スイッチ１４は、フィールドメモリ１７Ａ〜１７Ｄのうち、切換信号Ｓ１６が示すフィールドメモリ１７にこのときのカレントフィールド画像データＳ１０を書き込みことにより、当該フィールドメモリ内のフィールド画像データＳ１４を更新する。ステップＳＰ８において、スイッチ１２は、フィールド画像データＳ１４Ａ〜Ｓ１４Ｄのうち、切換信号Ｓ１７に基づくフィールド画像データＳ１４を順次選択して出力する。
（４）動作及び利点
以上の構成において、歪み補正部５は、入力されたフィールド画像データＳ４のカレントフィールド画像に対して時間的に前後する所定数のフィールド画像を所望のフィールドメモリ１７に蓄積しておく。そして歪み補正部５は、これらフィールドメモリ１７に蓄積されている所定数のフィールド画像のカレントフィールド画像に対する動きベクトルをそれぞれ検出して、これら検出した各動きベクトルの垂直方向の垂直方向の大きさのうち画素以下の大きさが０．５画素に最も近いものを選択する。
歪み補正部５は、選択したフィールド画像をその画素レベルの動き量に応じた画素分だけずらして位置を補正して、この補正されたフィールド画像とカレントフィールド画像とを合成することにより、入力された画像データＳ４の各フィールド画像に比して画素数の多い、例えば２倍密の高解像度のフィールド画像でなる歪み補正画像データＳ５を生成する。
このようにカレントフィールド画像に対して時間的に前後する所定数のフィールド画像をフィールドメモリ１７に蓄積しておき、このうち所望のフィールド画像を選択してカレントフィールド画像と合成することにより、カレントフィールド画像に比して高解像度のフィールド画像が生成される。
以上の構成によれば、カレントフィールド画像に対して時間的に前後する所定数のフィールド画像をフィールドメモリ１７に蓄積しておき、このうち所望のフィールド画像を選択してカレントフィールド画像と合成することにより、カレントフィールド画像に比して高解像度のフィールド画像を生成することができ、かくして折り返し歪みのない高画質のフィールド画像を生成し得る。
因みに、解像度を創造する方法は、本願優先出願日に未公開である特願平１０−２９８９２０号において提案されているが、本願発明では解像度を創造するためのフィールドメモリ１７Ａ〜１７Ｄの各フィールド画像データＳ１４Ａ〜Ｓ１４Ｄと、カレントフィールド画像データＳ１０との間の動きベクトルを検出するようにしたことにより、例えば特願平１０−２９８９２０号に開示されているように、１フレーム前後の画像データとの間の動きベクトルを検出し、これに応じて解像度創造用メモリ内の画像データの位置を補正して行く方法に比べて、動きベクトルの誤差による位置補正誤差の累積を回避することができ、一段と正確な位置に解像度創造用の画像を合成することができる。
（５）他の実施例
なお上述の実施の形態においては、フィールド画像データＳ４のうち垂直方向の解像度を創造する場合について述べたが、本発明はこれに限らず、動きベクトルの水平方向の成分を用いることにより、水平方向の解像度を創造することもできる。
また上述の実施の形態においては、本発明を４フィールド分のフィールドメモリ１７Ａ〜１７Ｄを有する歪み補正部５に適用した場合について述べたが、本発明はこれに限らず、要は、複数のフィールドメモリを有する歪み補正部５に本発明を広く適用し得る。
また上述の実施の形態においては、フィールド画像データＳ４から垂直方向２倍の歪み補正画像データＳ５を生成した場合について述べたが、本発明はこれに限らず、例えばスイッチ１２において選択するフィールド画像データとしてその動きベクトルの画素以下の大きさ（少数点以下の大きさ）が例えば０．２５画素、０．５画素及び０．７５画素又はこれらに近いものを選択することにより、垂直方向４倍の画像データを生成することができ、種々の密度に解像度を高くすることができる。
また上述の実施の形態においては、本発明をテレビジョン受像機１の歪み補正部５に適用した場合について述べたが、本発明はこれに限らず、例えばＶＴＲ（Ｖｉｄｅｏ  Ｔａｐｅ  Ｒｅｃｏｒｄｅｒ）、ビデオＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）プレイヤー、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）プレイヤーのように、画像データを扱う装置に本発明を広く適用し得る。
また上述の実施の形態においては、垂直方向に２倍密の画像を得ることにより、インターレース方式の画像をノンインターレース（プログレッシブ）方式の画像に変換する場合について述べたが、本発明はこれに限らず、例えば図４との対応部分に同一符号を付して示す図１０に示すように、ノンインターレース方式の画像データＳ５を得た状態で当該画像データＳ５に対してフィルタ部２６によりフィルタをかけることにより折り返し歪みを除去した後、当該歪み除去後の画像データＳ２６を間引き部２７に供給し垂直方向の画素を間引いてインターレース方式の画像データＳ２７に戻すようにしても良い。これにより折り返し歪みを有効に除去することができる。
上述のように本実施例によれば、カレントフィールド画像データに対して垂直方向の折り返し歪を除去し、画素数が増加した高解像度のフィールド画像データを生成することができるので、一段と高解像度の画像データを生成することができる。また、フレーム単位で画像データが入力されるプログレッシブ方式においても、歪み補正部５に複数のフレームメモリを設け、フレーム単位で図５〜図９について上述した処理を行うことにより、図１に示した原理に基づいて画像データの解像度を上げることができる。
産業上の利用可能性
例えば低解像度の画像データから高解像度の画像データを生成する画像処理装置及び画像処理方法に適用して好適である。
【図面の簡単な説明】
図１は、折り返し歪みを除去する方法の原理の説明に供する略線図である。
図２は、折り返し歪みのない画像を生成する過程の説明に供する略線図である。
図３は、折り返し歪みを除去する帆法の原理の説明に供する略線図である。
図４は、本発明によるテレビジョン受像機の一実施の形態を示すブロック図である。
図５は、歪み補正部の構成を示すブロック図である。
図６は、歪み補正画像データの生成過程の説明に供する略線図である。
図７は、動き量の検出の説明に供する略線図である。
図８は、歪み補正画像データの説明に供する略線図である。
図９は、コントローラによる歪み補正部の制御手順を示すフローチャートである。
図１０は、フィルタ部及び間引き部を追加した構成を示すブロック図である。
図１１は、折り返し歪みの発生原理の説明に供する略線図である。
【図１】
0004300446.tif 000002
【図２】
0004300446.tif 000003
【図３】
0004300446.tif 000004
【図４】
0004300446.tif 000005
【図５】
0004300446.tif 000006
【図６】
0004300446.tif 000007
【図７】
0004300446.tif 000008
【図８】
0004300446.tif 000009
【図９】
0004300446.tif 000010
【図１０】
0004300446.tif 000011
【図１１】
0004300446.tif 000012
0004300446.tif 000013