(57)【特許請求の範囲】
【請求項１】
テレシネ変換した画像を倍速変換することにより生成され、１コマが４フィールドで構成され、コマの最初が第１のフィールドで始まり、第２、第３、及び第４のフィールドへと後続する画像信号が入力される画像信号処理装置において、
入力された上記画像信号について、現フィールドの検出画素と、上記現フィールドから１フレーム後のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づきコマを構成する各フィールドを特定するシーケンス検出手段と、
上記現フィールドの検出画素について、上記現フィールドから２フレーム後のフィールドに対する動きベクトルを検出する動きベクトル検出手段と、
上記シーケンス検出手段により特定した各フィールドに応じて、検出した上記動きベクトルのベクトル量の範囲内で、上記画像信号の上記検出画素の位置をシフトさせる画像制御手段とを備え、
上記画像制御手段は、
特定した上記第１のフィールドについて、上記検出画素を上記動きベクトルの反対方向へシフトさせ、
特定した上記第４のフィールドについて、上記検出画素を上記動きベクトルの方向へシフトさせ、
特定した上記第２及び上記第３のフィールドについて、上記検出画素を、上記第１のフィールドから後続するにつれて、上記第４のフィールドにおいてシフトさせた画素位置へ順次接近するように、上記動きベクトルの方向又は上記動きベクトルの反対方向へシフトさせること
を特徴とする画像信号処理装置。
【請求項２】
上記画像制御手段は、上記第２のフィールドのシフト量を０にすること
を特徴とする請求項１記載の画像信号処理装置
【請求項３】
上記画像制御手段は、上記第２のフィールドの後へフィールドが続く毎に、上記シフト量を、検出した上記動きベクトルのベクトル量の１／４倍ずつ増加させ、上記第１のフィールドのシフト量を、上記現フィールドから２フレーム前のフィールドに基づく動きベクトルのベクトル量の１／４倍とすること
を特徴とする請求項２記載の画像信号処理装置。
【請求項４】
上記画像制御手段は、上記第３のフィールドのシフト量を０にすること
を特徴とする請求項１記載の画像信号処理装置
【請求項５】
上記画像制御手段は、上記第４のフィールドのシフト量を、検出した上記動きベクトルのベクトル量の１／４倍とし、上記第１のフィールドのシフト量を、上記現フィールドから２フレーム前のフィールドに基づく動きベクトルのベクトル量の２／４倍とし、上記第２のフィールドのシフト量を、上記現フィールドから２フレーム前のフィールドに基づく動きベクトルのベクトル量の１／４倍とすること
を特徴とする請求項４記載の画像信号処理装置。
【請求項６】
上記シーケンス検出手段は、上記差分値が連続して０になる場合に、先に入力された現フィールドを、第１のフィールドとして特定すること
を特徴とする請求項１記載の画像信号処理装置。
【請求項７】
上記動きベクトル検出手段は、所定の画素数からなるブロック毎に、ブロックマッチング法に基づいて上記動きベクトルを検出すること
を特徴とする請求項１記載の画像信号処理装置。
【請求項８】
上記入力された画像信号は、ＰＡＬ方式のインターレース画像信号であること
を特徴とする請求項１記載の画像信号処理装置。
【請求項９】
テレシネ変換した画像を倍速変換することにより生成され、１コマが４フィールドで構成され、コマの最初が第１のフィールドで始まり、第２、第３、及び第４のフィールドへと後続する画像信号が入力され、
入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから１フレーム後のフィールドの同一箇所における検出画素との間で演算した画素信号レベルの差分値に基づき、コマを構成する各フィールドを特定し、
上記現フィールドの検出画素について、上記現フィールドから２フレーム後のフィールドに対する動きベクトルを検出し、
特定した上記第１のフィールドについて、上記検出画素を上記動きベクトルの反対方向へシフトさせ、
特定した上記第４のフィールドについて、上記検出画素を上記動きベクトルの方向へシフトさせ、
特定した上記第２及び上記第３のフィールドについて、上記検出画素を、上記第１のフィールドから後続するにつれて、上記第４のフィールドにおいてシフトさせた画素位置へ順次接近するように、上記動きベクトルの方向又は上記動きベクトルの反対方向へシフトさせること
を特徴とする画像信号処理方法。
【請求項１０】
上記第２のフィールドのシフト量を０にすること
を特徴とする請求項９記載の画像信号処理方法。
【請求項１１】
上記第２のフィールドの後へフィールドが続く毎に、上記シフト量を、検出した上記動きベクトルのベクトル量の１／４倍ずつ増加させ、上記第１のフィールドのシフト量を、上記現フィールドから２フレーム前のフィールドに基づく動きベクトルのベクトル量の１／４倍とすること
を特徴とする請求項１０記載の画像信号処理方法。
【請求項１２】
上記第３のフィールドのシフト量を０にすること
を特徴とする請求項９記載の画像信号処理方法。
【請求項１３】
上記第４のフィールドのシフト量を、検出した上記動きベクトルのベクトル量の１／４倍とし、上記第１のフィールドのシフト量を、上記現フィールドから２フレーム前のフィールドに基づく動きベクトルのベクトル量の２／４倍とし、上記第２のフィールドのシフト量を、上記現フィールドから２フレーム前のフィールドに基づく動きベクトルのベクトル量の１／４倍とすること
を特徴とする請求項１２記載の画像信号処理方法。
【請求項１４】
上記差分値が連続して０になる場合に、先に入力された現フィールドを、第１のフィールドとして特定すること
を特徴とする請求項９記載の画像信号処理方法。
【請求項１５】
上記動きベクトルを、所定の画素数からなるブロック毎に、ブロックマッチング法に基づいて検出すること
を特徴とする請求項９記載の画像信号処理方法。
【請求項１６】
上記入力画像信号として、フィールド周波数を５０フィールド／秒から１００フィールド／秒へ２倍に変換したＰＡＬ方式のインターレース画像信号が入力されること
を特徴とする請求項９記載の画像信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成される画像信号の各検出画素の位置をシフトさせる画像信号処理装置及び方法に関する。
【０００２】
【従来の技術】
テレビ放送の走査方式としては、従来から水平走査線を１本おきに飛越して走査するインタレース走査方式が最も広く採用されている。このインタレース走査方式では、奇数番目の走査線から構成されるフィールド画像と、偶数番目の走査線から構成されるフィールド画像により１枚のフレーム画像を形成し、画面全体がちらついて見える面フリッカ妨害を抑え、画面品質の劣化を防止する。
【０００３】
また、このインタレース走査方式は、世界各国のテレビジョン標準方式として採用されており、このうち例えば欧州のテレビジョン放送におけるＰＡＬ（Ｐｈａｓｅ  Ａｌｔｅｒｎａｔｉｏｎ  ｂｙ  Ｌｉｎｅ）方式では、フィールド周波数が５０〔Ｈｚ〕（フレーム画像が２５フレーム／秒、フィールド画像が５０フィールド／秒）で構成される。
【０００４】
特にこのＰＡＬ方式では、更なる面フリッカ妨害の抑制を期すべく、入力画像信号を補間等の処理を行うことにより、フィールド周波数を５０Ｈｚから２倍の１００Ｈｚの画像信号に変換する、フィールド周波数倍速方式が従来より採用されている。
【０００５】
図１５は、このフィールド周波数倍速方式を適用したフィールド倍速変換回路５のブロック構成例を示している。このフィールド倍速変換回路５は、入力端子６１と、水平垂直偏向回路６２と、ＣＲＴ６３とを備えるテレビジョン受像機６に集積化される。このフィールド倍速変換回路５は、倍速変換部５１と、フレームメモリ５２とを備える。
【０００６】
倍速変換部５１は、入力端子６１から入力された、例えばＰＡＬ方式の５０フィールド／秒の画像信号を、フレームメモリ５２へ書き込む。また、この倍速変換部５１は、フレームメモリ５２へ書き込んだ画像信号を、書込み時の２倍の速度で読み出す。これにより、５０フィールド／秒の画像信号の周波数を２倍に変換し、１００フィールド／秒の画像信号を生成することができる。
【０００７】
倍速変換部５１は、倍速変換した画像信号をＣＲＴ６３へ出力する。ＣＲＴ６３は、入力された画像信号を画面上に表示する。なお、ＣＲＴ６３における画像信号の水平、垂直の偏向は、水平垂直偏向回路６２において生成された、入力画像信号の２倍の周波数の水平垂直鋸歯状波に基づいて制御する。
【０００８】
図１６は、倍速変換前後の各画像信号における各フィールドと画素位置との関係を示している。ここで横軸は時間、縦軸は画素の垂直方向の位置を示す。また、図１６（ａ）の白丸で示した画像信号は、倍速変換前の５０フィールド／秒のインタレース画像信号であり、図１６（ｂ）の黒丸で示した画像信号は、倍速変換した１００フィールド／秒のインタレース画像信号である。
【０００９】
図１６（ａ）に示す画像信号において、フィールドｆ１とフィールドｆ２は、フィルムの同一のコマから作成された信号となり、以下同様にフィールドｆ３とフィールドｆ４も同一のコマを構成する。これらの画像信号は、インタレース画像信号であるため、隣り合うフィールド間で垂直方向の画素位置が異なる。このため、インタレース性を保ちつつ、各フィールド間に１個ずつのフィールドを新規に生成することはできない。
【００１０】
そこで、図１６（ｂ）に示すように、フィールドｆ１とフィールドｆ２の間に、新規に２枚のフィールドｆ２´、ｆ１´を生成する。そして、フィールドｆ２とフィールドｆ３の間では、フィールドの生成を行わず、フィールドｆ３とフィールドｆ４の間に、新規に２枚のフィールドｆ４´、ｆ３´を生成する。すなわち４フィールド、２フレームで１つのコマを形成する。
【００１１】
この新規に生成したフィールドｆ１´、ｆ２´、・・・は、それぞれの画素値を、各画素の周囲３画素の中間値として、メディアン・フィルタ等を用いて求める場合もある。また、この新規に生成したフィールドｆ１´、ｆ２´、・・・は、それぞれフィールドｆ１、ｆ２、・・と同じ内容となる。
【００１２】
すなわち、フィールド倍速変換回路５は、倍速変換前の画像信号のフィールド間に２枚のフィールドを新規に生成する部分と全く生成しない部分とを交互に配置することで、単位時間当たりの画面枚数を増やすことができ、上述の面フリッカ妨害を抑えることが可能となる。
【００１３】
ところで、２４コマ／秒の静止画で構成される映画のフィルムを通常のテレビで見るためには、インターレースのテレビ信号にするために、テレビシネマ変換（以下、テレシネ変換と称する）を行う。このテレシネ変換後の画像信号において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図１７に示す。ここで横軸は画像の水平方向における位置、縦軸は時間を示している。図１７（ａ）に示す倍速変換前の画像信号において、フィールドｆ１、ｆ２は、同一のコマを構成するため、同じ位置に画像が表示される。この画像は、フィールドｆ３に移行すると水平方向（右方向）へ移動する。フィールドｆ４は、フィールドｆ３と同一のコマを構成するため、フィールドｆ３と同一の位置に表示される。
【００１４】
この図１７（ａ）に示すテレシネ変換後の画像信号をフィールド周波数倍速方式により倍速変換すると、図１７（ｂ）に示すように、同一のコマを構成するフィールドｆ１、ｆ２´、ｆ１´、ｆ２で、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｆ３、ｆ４´、ｆ３´、ｆ４で同一位置に同一の画像が表示される。
【００１５】
【発明が解決しようとする課題】
ところで、このテレシネ変換後に倍速変換した画像信号は、図１７（ｂ）に示すように、フィールドｆ１〜ｆ２まで同じ位置に表示される一方、ｆ２〜ｆ３に移行する場合に大きく水平方向へ移動する。特に倍速変換後の画像信号は、１／１００秒の周期で規則的に各フィールドを構成しているため、画像の動作する時間帯が画像の静止する時間帯と比較して短く、実際にＣＲＴを介して番組を視聴すると画像の動きが不連続に見えてしまう。
【００１６】
従って、かかる動きの不連続性を解消するため、例えばブロックマッチング法に基づき、画面を所定の画素からなるブロックに分割し、各ブロック単位で相似度を評価することにより動きベクトルを求める。そしてこの求めた動きベクトルに応じて各ブロック毎に画素位置をシフトさせて動き補正する。
【００１７】
しかしながら、図１８に示すように、物体の画像が左方向に移動し、背景が右方向に移動するような単一のブロック内に２方向の動きが存在する場合において、動きベクトルの方向を正確に検出することができず、上述した画像の動きの不連続性を解消することができないという問題点があった。
【００１８】
そこで本発明は、上述したような実情に鑑みて提案されたものであり、テレシネ変換した画像を倍速変換することにより生成された画像信号について、単一ブロック内で２方向に画像が動くようなバリエーションの画像においても、面フリッカ妨害を抑えつつ、動きをスムーズにすることができる画像信号処理装置及び方法を提供することを目的とする。
【００１９】
【課題を解決するための手段】
本発明者は、上述した課題を解決するために、テレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成される画像信号が入力され、演算した画素信号レベルの差分値に基づいて各フィールドを特定し、特定した第１のフィールドにおいて動きベクトルの反対方向へ、特定した第４のフィールドにおいて動きベクトルの方向へ、更に特定した第２及び第３のフィールドにおいて上記第１のフィールドから後続するにつれて上記第４のフィールドにおいてシフトさせた画素位置へ順次接近するように、検出画素の位置をシフトさせる画像信号処理装置及び方法を発明した。
【００２０】
すなわち、本発明を適用した画像信号処理装置は、テレシネ変換した画像を倍速変換することにより生成され、１コマが４フィールドで構成され、コマの最初が第１のフィールドで始まり、第２、第３、及び第４のフィールドへと後続する画像信号が入力される画像信号処理装置であって、入力された上記画像信号について、現フィールドの検出画素と、上記現フィールドから１フレーム後のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づきコマを構成する各フィールドを特定するシーケンス検出手段と、上記現フィールドの検出画素について、上記現フィールドから２フレーム後のフィールドに対する動きベクトルを検出する動きベクトル検出手段と、上記シーケンス検出手段により特定した各フィールドに応じて、検出した上記動きベクトルのベクトル量の範囲内で、上記画像信号の上記検出画素の位置をシフトさせる画像制御手段とを備え、上記画像制御手段は、特定した上記第１のフィールドについて上記検出画素を上記動きベクトルの反対方向へシフトさせ、特定した上記第４のフィールドについて上記検出画素を上記動きベクトルの方向へシフトさせ、特定した上記第２及び上記第３のフィールドについて上記検出画素を、上記第１のフィールドから後続するにつれて、上記第４のフィールドにおいてシフトさせた画素位置へ順次接近するように、上記動きベクトルの方向又は上記動きベクトルの反対方向へシフトさせることを特徴とする。
【００２１】
すなわち、本発明に係る画像信号処理方法は、テレシネ変換した画像を倍速変換することにより生成され、１コマが４フィールドで構成され、コマの最初が第１のフィールドで始まり、第２、第３、及び第４のフィールドへと後続する画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから１フレーム後のフィールドの同一箇所における検出画素との間で演算した画素信号レベルの差分値に基づき、コマを構成する各フィールドを特定し、上記現フィールドの検出画素について、上記現フィールドから２フレーム後のフィールドに対する動きベクトルを検出し、特定した上記第１のフィールドについて、上記検出画素を上記動きベクトルの反対方向へシフトさせ、特定した上記第４のフィールドについて上記検出画素を上記動きベクトルの方向へシフトさせ、特定した上記第２及び上記第３のフィールドについて上記検出画素を、上記第１のフィールドから後続するにつれて上記第４のフィールドにおいてシフトさせた画素位置へ順次接近するように、上記動きベクトルの方向又は上記動きベクトルの反対方向へシフトさせることを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００２３】
本発明は、例えばＰＡＬ（Ｐｈａｓｅ  Ａｌｔｅｒｎａｔｉｏｎ  ｂｙ  Ｌｉｎｅ）方式によるテレビジョン受像機に内蔵される画像信号処理装置１に適用される。図１は、画像信号処理装置１のブロック構成図である。
【００２４】
画像信号処理装置１は、図１に示すように、第１の画像メモリ１１と、第２の画像メモリ１２と、シーケンス検出部１３と、動きベクトル検出部１４と、画像シフト部１５と、画像逆シフト部１６と、スイッチ１７とを備えている。
【００２５】
第１の画像メモリ１１は、テレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成された、例えば１００フィールド／秒のインタレース画像信号が順次供給される。
【００２６】
第１の画像メモリ１１は、供給された画像信号を、各フィールド単位で、１フレーム分格納する。すなわち、第１の画像メモリ１１から出力される画像信号は、この第１の画像メモリ１１に供給される画像信号より１フレーム後になる。
【００２７】
第２の画像メモリ１２は、第１の画像メモリ１１と同様の内部構成を有し、第１の画像メモリ１１から供給された画像信号を、各フィールド単位で、１フレーム分格納する。すなわち、第２の画像メモリ１２から出力される画像信号は、この第２の画像メモリ１２に供給される画像信号より１フレーム後になり、第１の画像メモリ１１に供給される画像信号より２フレーム後になる。この第２の画像メモリ１２に格納された画像信号は、動きベクトル検出部１４に供給される。
【００２８】
シーケンス検出部１３は、第１の画像メモリ１１に供給される画像信号と、第１の画像メモリ１１から出力される画像信号を検出し、各画素毎に画像信号レベルを比較し、両者間で差分値を演算する。すなわち、このシーケンス検出部１３は、画面上の同一箇所における画素の画像信号レベルを、１フレーム間隔で比較する。シーケンス検出部１３は、画像信号レベルの差分値の演算結果を画像シフト部１５及び画像逆シフト部１６へ送信する。
【００２９】
動きベクトル検出部１４は、第１の画像メモリ１１に供給される画像信号と、第２の画像メモリ１２から出力される画像信号を検出し、例えばブロックマッチング法に基づき、動きベクトルを検出する。このブロックマッチング法は、画面を所定の画素からなるブロックに分割し、各ブロック単位で相似度を評価することにより動きベクトルを求める方法である。動きベクトル検出部１４は、各画素毎又は各ブロック毎に検出した動きベクトルを画像シフト部１５及び画像逆シフト部１６へ送信する。
【００３０】
画像シフト部１５は、画素信号レベルの比較結果をシーケンス検出部１３から受信する。また、画像シフト部１５は、動きベクトル検出部１４が検出した動きベクトルを受信する。更に画像シフト部１５は、第１の画像メモリ１１から、入力画像信号よりも１フレーム遅延された画像信号が供給される。画像シフト部１５は、この供給された画像信号における各画素位置を、受信した動きベクトルのベクトル量の範囲内で、かつベクトル方向へシフトさせる。
【００３１】
画像逆シフト部１６は、画素信号レベルの比較結果をシーケンス検出部１３から受信する。また、画像逆シフト部１６は、動きベクトル検出部１４が検出した動きベクトルを受信する。更に画像逆シフト部１６は、第１の画像メモリ１１から、入力画像信号よりも１フレーム遅延された画像信号が供給される。画像逆シフト部１６は、この供給された画像信号における各画素位置を、受信した動きベクトルの反対方向へシフトさせる。なお、この画像逆シフト部１６は、上述の画像シフト部１５と一体化されて構成される場合にも適用可能である。
【００３２】
画像シフト部１５及び画像逆シフト部１６は、フィールド単位で各画素位置をシフトさせた画像信号を、スイッチ１７へ供給する。スイッチ１７は、シーケンス検出部１３から供給される画素信号レベルの比較結果に基づき、フィールド単位で、必要な画像信号を選択する。スイッチ１７により選択された画像信号はＣＲＴ２へ出力される。ＣＲＴ２は、スイッチ１７から入力された画像信号を画面上に表示し、また画像信号の水平、垂直方向の偏向を、図示しない水平垂直偏向回路に基づき、制御する。
【００３３】
なお、画像信号処理装置１には、画像信号のフィールド周波数を倍速変換するフィールド倍速変換回路３が集積される場合もある。フィールド倍速変換回路３は、解像度を向上させることにより、面フリッカ妨害を防止すべく集積されるものであり、例えば、ＰＡＬ方式において、補間等の処理を行うことにより、フィールド周波数が５０Ｈｚの画像信号を２倍の１００Ｈｚの画像信号に変換する。
【００３４】
フィールド周波数変換回路３は、図１に示すように、テレビジョン受像機に接続された入力端子３１と、倍速変換部３２と、フレームメモリ３３とを備える。
【００３５】
倍速変換部３２は、テレビジョン受像機から入力端子３１を介して入力された、テレシネ変換後の画像信号を、フレームメモリ３３へ書き込む。また、この倍速変換部３２は、フレームメモリ３３へ書き込んだ画像信号を、書込み時の２倍の速度で読み出す。これにより、例えば、ＰＡＬ方式の５０フィールド／秒の画像信号の周波数を２倍に変換し、１００フィールド／秒の画像信号を生成することができる。倍速変換部３２は、この倍速変換した画像信号を画像信号処理装置１へ供給する。
【００３６】
図２は、このフィールド倍速変換回路３における倍速変換前後の各フィールドと画素位置の関係を示している。ここで横軸は時間、縦軸は画素の垂直方向の位置を示す。
【００３７】
倍速変換前の画像信号は、ＰＡＬ方式の５０フィールド／秒のインタレース画像信号であり、図２（ａ）に示すように、２フィールドで１つのコマを形成する。
【００３８】
一方、倍速変換後の画像信号は、１００フィールド／秒のインタレース画像信号であるため、図２（ｂ）に示すように、フィールドｔ１とフィールドｔ２の間に、新規に２枚のフィールドｔ２´、ｔ１´を生成する。そして、フィールドｔ２とフィールドｔ３の間では、フィールドの生成を行わず、フィールドｔ３とフィールドｔ４の間に、新規に２枚のフィールドｔ４´、ｔ３´を生成する。すなわち、画像信号は、４フィールドで１つのコマを形成することとなる。
【００３９】
この新規に生成したフィールドｔ１´、ｔ２´、・・・は、それぞれの画素値を、各画素の周囲３画素の中間値として、メディアン・フィルタ等を用いて求める場合もある。また、この新規に生成したフィールドｔ１´、ｔ２´、・・・は、それぞれフィールドｔ１、ｔ２、・・と同じ内容となる。これにより、４フィールドで１つのコマを形成することとなり、単位時間当たりの画面枚数を増やすことで解像度を向上させることができ、面フリッカ妨害を抑制することが可能となる。
【００４０】
次に、本発明に係る画像信号処理装置１の動作について説明する。
【００４１】
画像信号処理装置１は、フィールド倍速変換回路３から、テレシネ変換後、倍速変換した１コマが４フィールドで構成される画像信号が順次供給される。この画像信号の水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図３に示す。この図３において、横軸は画像の水平方向における位置、縦軸は時間を示している。既にテレシネ変換された画像は、図３に示すように、フィールドｔ１、ｔ２´、ｔ１´、ｔ２の順で、一定の時間間隔で第１の画像メモリ１１に供給され、画像は全て同一の位置に表示される。またフィールドｔ３に移行すると画像が水平方向（右方向）に移り、フィールドｔ３、ｔ４´、ｔ３´、ｔ４の順で第１の画像メモリ１１に供給される。
【００４２】
ここで、例えば、第１の画像メモリ１１に供給されるフィールド（以下、参照フィールドと称する）が、フィールドｔ３である場合には、第２の画像メモリ１２から出力される、参照フィールドより２フレーム前のフィールド（以下、２フレーム遅延フィールドと称する）は、フィールドｔ１となる。
【００４３】
動きベクトル検出部１４は、この参照フィールドと２フレーム遅延フィールド間で、各画素又は各ブロック単位で動きベクトルを検出する。図３に示す例の場合には、動きベクトルのベクトル方向は、２フレーム遅延フィールドを基準として水平方向（右方向）となり、ベクトル量はＡとなる。同様に、参照フィールドがｔ５の場合には、２フレーム遅延フィールドは、ｔ３となり、動きベクトルのベクトル量はＢとなる。この手順を繰り返すことにより、２フレーム遅延フィールドを基準とした動きベクトルのベクトル方向とベクトル量を順次求めることができる。動きベクトル検出部１４は、この求めた動きベクトルのベクトル量とベクトル方向とを画像シフト部１５及び画像逆シフト部１６へ順次送信する。
【００４４】
シーケンス検出部１３は、参照フィールドと、第１の画像メモリ１１から出力される、参照フィールドより１フレーム前のフィールド（以下、１フレーム遅延フィールドと称する）を順次検出し、同一の画素位置における画素信号レベルの差分値をそれぞれ演算する。
【００４５】
すなわち、図４に示すように、参照フィールドｔ１´と、１フレーム遅延フィールドｔ１は、同一のコマを構成するため、例えば画素位置ａ点における画素信号レベルの差分値は０になる。次に参照フィールドとしてフィールドｔ２が供給されると、１フレーム遅延フィールドはフィールドｔ２´となり、ａ点における画素信号レベルの差分値は同様に０となる。
【００４６】
次に参照フィールドとしてフィールドｔ３が供給されると、１フレーム遅延フィールドはｔ１´となり、両者はそれぞれ別のコマを形成するため、ａ点における画素信号レベルの差分値は０以外（以下、１とする）となる。次に参照フィールドとしてｔ４´が供給されると１フレーム遅延フィールドはフィールドｔ２となり、ａ点における画素信号レベルの差分値は、同様に１となる。
【００４７】
更に、参照フィールドとしてｔ３´が供給されると、１フレーム遅延フィールドは、ｔ３となり、両者は同一のコマを形成するため、ａ点における画素信号レベルの差分値は再び０になる。その後に供給される参照フィールドについても同様の傾向となり、演算した差分値は、４フィールド周期で「００１１」の順で繰り返される。従って、このシーケンスを４フィールド単位で検出することにより、各フィールドの前後関係を特定することが可能となる。
【００４８】
この傾向を１フレーム遅延フィールドにつき着目すると、差分値は、コマの最初のフィールドから「００１１」の順になる。従って、図４に示すように、最初に差分値０を算出したとき、検出した１フレーム遅延フィールドを、コマの最初のフィールド（以下、第１のフィールドと称する）として特定する。また差分値０が連続したときには、検出した１フレーム遅延フィールドを第２のフィールドとして特定する。また差分値として最初に１を算出した場合に、検出した１フレーム遅延フィールドを第３のフィールドとして特定する。また、差分値１が連続したときには、検出した１フレーム遅延フィールドを第４のフィールドとして特定する。
【００４９】
シーケンス検出部１３は、上述の各フィールドにおける前後関係の特定結果を、画像シフト部１５及び画像逆シフト部１６へ送信する。
【００５０】
画像シフト部１５及び画像逆シフト部１６は，供給される画像信号を、シーケンス検出部１３により特定された各フィールドの前後関係に基づき、検出画素の位置をベクトル方向へシフトさせる。画像信号が画像シフト部１５に供給されるまでに、各フィールドが第１のフィールド〜第４のフィールドのいずれに該当するか判明しているため、検出画素の位置を正確かつ容易にシフトさせることができる。
【００５１】
各フィールドのシフト方向は、図５の黒で塗りつぶした矢印のように、第１のフィールドにおいて動きベクトルの反対方向にシフトさせ、第２のフィールド以降では、動きベクトルの方向へシフトさせる。ここで第２のフィールド以降のシフト量は、第２のフィールドから後続するにつれて上記動きベクトルのベクトル量の範囲内で順次増大させ、第４のフィールドにおいて最大となるようにする。すなわち本発明では、各フィールドを動きベクトルの方向及び反対方向へバランスよくシフトさせることにより、シフト量が最大となる第４のフィールドにおいて、シフト量を抑え込み、動きベクトル検出時の誤差を軽減させる。
【００５２】
この動きベクトル検出時の誤差とは、例えば単一ブロック内で２方向に画像が動くとき（例えば、物体の画像が左方向に移動し、背景が右方向に移動するような場合）において、動きベクトルの検出した方向が誤っている場合をいう。例えば図５における点線の矢印に示すように、各フィールドを動きベクトルのベクトル方向のみにシフトさせて動き補正する例では、第４のフィールドにおいて、シフト量自体が過大となる。検出した動きベクトルの方向が誤っている場合には、第４のフィールドにおいて画像を大きく移動させている分、画面上で誤差が顕著に現れてしまう。
【００５３】
一方、各フィールドを動きベクトルの方向及び反対方向へバランスよくシフトさせる本発明では、図５に示すように第４のフィールドにおけるシフト量を小さく抑えることができる。これにより、単一のブロック内で２方向に画像が動くときに、検出した動きベクトルの方向を誤っても、画面上にかかる誤差を目立たせることなく、スムーズな動きを実現することができる。
【００５４】
また図５に示す例において、画像のシフト量は、第２のフィールドのシフト量を０とし、第２のフィールドの後へフィールドが続く毎に、検出した動きベクトルのベクトル量の１／４倍ずつ増加させることも可能である。かかる場合、ベクトル量がＡの場合には、第２のフィールドのシフト量を０とし、第３のフィールトをＡ×１／４倍、第４のフィールドをＡ×２／４倍だけシフトさせる。また次のコマの第１のフィールドにおいて、シフト量を、動きベクトルＡの１／４倍とし、同様に次のコマにおける動きベクトルがＢの場合には、第２のフィールドのシフト量を０とし、第３のフィールドのシフト量をＢ×１／４倍、第４のフィールドのシフト量をＢ×２／４倍とすることも可能である。
【００５５】
このようにシフトさせることにより、シフト量を時間に対して線形に増加させることが可能となり、画像の動きを更にスムーズにすることができる。
【００５６】
各フィールドにおいて画像をシフトさせた結果を図６に示す。画像は、後のフィールドに移行する毎に徐々に水平方向へ移動する。すなわち、画像シフト部１５は、動きベクトル量に相当する画像のシフト量を、各フィールドに分散することが可能となる。これにより、画像をシフトさせる前と比べて、第４のフィールドから第１のフィールドに移行する際に画像を大きく移動させることなく、画像の動きをスムーズにすることができる。
【００５７】
なお、画像シフト部１５は、例えば図７に示すように、各画像を第１及び第２のフィールドにおいて動きベクトルの反対方向にシフトさせ、第３のフィールド以降において、動きベクトルの方向へシフトさせることも可能である。ここで第１及び第２のフィールドでは、シフト量を第１のフィールドから後続するにつれて順次減少するようにシフトさせる。また、第３及び第４のフィールドでは、シフト量を第３のフィールドから後続するにつれて上記動きベクトルのベクトル量の範囲内で順次増大させ、第４のフィールドにおいて最大となるようにする。これにより、図５に示す例と同様に各フィールドを異なる方向へシフトさせることにより、１フィールドあたりのシフト量を抑え込み、動きベクトル検出時の誤差を軽減させることができる。
【００５８】
また図７に示す例において、画像のシフト量は、第３のフィールドのシフト量を０とし、第３のフィールドの後へフィールドが続く毎に、検出した動きベクトルのベクトル量の１／４倍ずつ増加させることも可能である。かかる場合、ベクトル量がＡの場合には、第３のフィールドのシフト量を０とし、第４のフィールトをＡ×１／４倍だけシフトさせる。また次のコマの第１のフィールドにおいて、シフト量を、動きベクトルＡの２／４倍とし、第２のフィールドにおいてシフト量を１／４倍とする。同様に次のコマにおける動きベクトルがＢの場合には、第３のフィールドのシフト量を０とし、第４のフィールドのシフト量をＢ×１／４倍とすることも可能である。
【００５９】
この図７に示すように画像をシフトさせた結果を図８に示す。この図８においても同様に、各画像は、後のフィールドに移行する毎に徐々に水平方向へ移動する。
【００６０】
更に、この画像シフト部１５、各画像を第１乃至第３のフィールドにおいて動きベクトルの反対方向にシフトさせ、第４のフィールドにおいて、動きベクトルの方向へシフトさせることも可能である。かかる場合には、この第１乃至第３のフィールドにおいて、シフト量を第１のフィールドから後続するにつれて順次減少するようにシフトさせる。
【００６１】
この画像信号処理装置１を、フィールド倍速変換回路３を集積化してテレビジョン受像機に内蔵することにより、テレシネ変換後、倍速変換した画像信号特有である動きの不連続感を解消することができる。すなわち、この画像信号処理装置１は、単一のブロック内で２方向に画像が動く場合等、様々なバリエーションの画像においても、フィールド倍速変換回路３により解像度を向上させ、面フリッカ妨害を抑制しつつ、各画像の動きを更にスムーズにすることができる。
【００６２】
従って、この画像信号処理装置１は、単独で実施する場合のみならず、フィールド倍速変換回路３と一体で実施することで顕著な効果が得られる。また、フィールド倍速変換回路が既に集積化されているテレビジョン受像機に対しても、後からこの画像信号処理装置１を内蔵することにより、バージョンアップを容易に実現することができる。
【００６３】
なお、本発明に係る画像信号処理装置１は上述の実施の形態に限定されるものではない。本発明は、入力される画像信号について、コマを構成するフィールドの順番を入れ替えてＣＲＴ２へ出力する画像信号処理装置４に対しても適用可能である。図９に、この画像信号処理装置４のブロック構成例を示す。上述の画像信号処理装置１と同一の構成要素は同一符号を付することによりその詳細な説明を省略する。
【００６４】
この画像信号処理装置４は、第１の画像メモリ１１と、第２の画像メモリ１２と、シーケンス検出部１３と、動きベクトル検出部１４と、画像シフト部５５と、画像逆シフト部５６と、スイッチ１７とを備えている。
【００６５】
画像シフト部５５は、画像信号レベルの比較結果をシーケンス検出部１３から受信する。また、画像シフト部５５は、動きベクトル検出部１４が検出した動きベクトルを受信する。更に画像シフト部５５は、第２の画像メモリ１２から供給された画像信号における各画素位置を受信した動くベクトルのベクトル量の範囲内で、かつベクトル方向へシフトさせる。すなわち、この画像シフト部５５がシフトさせる画像信号は、入力画像信号よりも２フレーム遅延された画像信号である。
【００６６】
画像逆シフト部５６は、画素信号レベルの比較結果をシーケンス検出部１３から受信する。また、画像逆シフト部５６は、動きベクトル検出部１４が検出した動きベクトルを受信する。更に画像逆シフト部５６は、第１の画像メモリ１２へ供給される画像信号における各画素位置を、受信した動きベクトルのベクトル量の範囲内で、かつベクトル方向と反対方向へシフトさせる。すなわち、この画像逆シフト部５６がシフトさせる画像信号は、入力画像信号と同一であるため、上記画像シフト部５５がシフトさせる画像信号より２フレーム分の時間差がある。なお、画像逆シフト部５６は、上記画像シフト部５５と一体化されて構成される場合もある。
【００６７】
この画像シフト部５５及び画像逆シフト部５６によりシフトされた画像信号は、共にスイッチ１７へ入力される。スイッチ１７は、シーケンス検出部１３から供給される画素信号レベルの比較結果に基づき、フィールド単位で、必要な画像信号を選択する。スイッチ１７により選択された画像信号はＣＲＴ２へ出力される。
【００６８】
次に、本発明を適用した画像信号処理装置４の動作について図１０を用いて説明する。
【００６９】
画像信号処理装置４は、フィールド倍速変換回路３から、テレシネ変換後、倍速変換した１コマ４フィールドで構成される画像信号が順次入力される。この画像信号処理装置４は、供給された画像信号につき、第１及び第２のフィールドを特定し、これらを第２の画像メモリ１２に基づき２フレーム遅延させて、動きベクトルのベクトル方向へシフトさせる。また、画像信号処理装置４は、供給された画像信号につき、第３乃至第４のフィールドを特定し、これらを遅延させずに、動きベクトルの反対方向へシフトさせる。
【００７０】
画像信号処理装置４へ供給される画像信号は、フィールドｔ１、ｔ２´、ｔ１´、ｔ２の順で、一定の時間間隔で配列している。またフィールドｔ３へ移行すると動きベクトルＡの位置に画像が移動し、フィールドｔ３、ｔ４´、ｔ３´、ｔ４の順で画像信号処理装置４へ供給される。更にフィールドｔ５へ移行すると、動きベクトルＢの位置に画像が移動し、フィールドｔ５、ｔ６´、ｔ５´、ｔ６の順で画像信号処理装置４へ供給される。
【００７１】
動きベクトル検出部１４は、画像信号処理装置１に入力される画像信号について順次２フレーム間隔で動きベクトルを検出する。例えば、第２の画像メモリ１２から出力されるフィールドがフィールドｔ１であるとき、第１の画像メモリ１１に供給されるフィールドは、２フレーム後となるため、フィールドｔ３となる。従って、動きベクトル検出部１４は、先ずフィールドｔ１とフィールドｔ３との間で動きベクトルを求める。
【００７２】
次に、第２の画像メモリ１２から出力されるフィールドがフィールドｔ２´となる場合には、第１の画像メモリに供給されるフィールドはフィールドｔ４´となるため、フィールドｔ２´とフィールドｔ４´との間で動きベクトルを検出する。すなわち、この動きベクトル検出部１４は、図１０に示す括弧書き番号の順で動きベクトルを順次検出していく。
【００７３】
ここで（１）の時間帯において動きベクトルを検出後、画像シフト部５５には、フィールドｔ１が入力される。また、画像逆シフト部５６には、フィールドｔ３が入力される。画像シフト部５５は、このフィールドｔ１をベクトル方向へシフトさせ、又はシフト量を０としてスイッチ１７へ出力する。また画像逆シフト部５６に入力されたフィールドｔ３は、２フレーム遅延させた後にベクトル方向にシフトさせるため、何ら処理を施さない。
【００７４】
同様に（２）の時間帯において動きベクトルを検出後、画像シフト部５５には、フィールドｔ２´が入力される。画像シフト部５５は、このフィールドｔ２´をベクトル方向へシフトさせ、スイッチ１７へ出力する。また画像逆シフト部５６に入力されたフィールドｔ４´は、２フレーム遅延させた後にベクトル方向にシフトさせるため、何ら処理を施さない。
【００７５】
（３）の時間帯においてフィールドｔ１´とフィールドｔ３´間で動きベクトルを検出後、画像シフト部５５にはフィールドｔ１´が入力され、また画像逆シフト部５６には、フィールドｔ３´が入力される。かかる場合において、画像逆シフト部５６は、入力されたフィールドｔ３´を動きベクトルの反対方向へシフトさせる。なお、フィールドｔ１´については、画像逆シフト部５６により画像をシフトしているため、何ら処理を施さなくても良い。
【００７６】
同様に（４）の時間帯においても、画像逆シフト部５６により、入力されたフィールドｔ４を動きベクトルの反対方向へシフトさせる。
【００７７】
更に、（５）の時間帯においては、フィールドｔ３とフィールドｔ５との間で動きベクトルを検出後、画像シフト部５５には、フィールドｔ３が入力され、画像逆シフト部５６には、フィールドｔ５が入力される。画像シフト部はフィールドｔ３をベクトル方向にシフトさせ、又はシフト量を０とする。ちなみにこのフィールドｔ３は既に一度画像逆シフト部５６に入力されているが、１つのフィールドに対するシフトの重複を防止するために、かかる画像逆シフト部５６において何ら処理を施されていない。
【００７８】
同様に（６）の時間帯においても、画像シフト部５５により、入力されたフィールドｔ４´を動きベクトルの方向へシフトさせる。
【００７９】
すなわち、この画像信号処理装置４は、上述の処理手順からも示されるように、動きベクトルを検出後、画像シフト部５５及び画像逆シフト部５６へ供給される各フィールドを交互にシフトさせる。
【００８０】
また図１１は、画像信号処理装置４において、シフト量に応じて各フィールドを並べ替えた結果を示している。この図１１において、コマを構成する各フィールド（例えばフィールドｔ３、ｔ４´、ｔ３´、ｔ４）において、図１０に示す入力画像信号と順番が入れ替わっている。これは、コマを構成する各フィールドにおいて、どのフィールドから先にシフトさせても同一の結果を得ることができることを示唆している。
【００８１】
すなわち、この画像信号処理装置４は、画像信号処理装置１と同様に、単一のブロック内で２方向に画像が動く場合等、様々なバリエーションの画像においても、面フリッカ妨害を抑制しつつ、各画像の動きを更にスムーズにすることができる。
【００８２】
また、図１１に示す例において、画像のシフト量を、フィールドｔ１のシフト量を０とし、フィールドｔ１´において、検出した動きベクトルのベクトル量Ａの１／４倍とすることも可能である。また次のコマの第１のフィールドにおいて、シフト量を、ベクトル量Ａの２／４倍とし、第２のフィールドにおいてシフト量を、ベクトル量Ａ１／４倍とし、同様に次のコマにおける動きベクトルがＢの場合には、第３のフィールドのシフト量を０とし、第４のフィールドのシフト量をＢ×１／４倍とすることも可能である。これにより、出力される画像信号は、図７に示す画像のシフト例と同一になり、シフト量を時間に対して線形に増加させることが可能となることから、画像の動きを更にスムーズにすることができる。
【００８３】
このフィールドの並び替えについては、図１１に示される例に限定されるものではなく、１コマを構成する４つのフィールド内において、（例えば、フィールドｔ３、ｔ４´、ｔ３´、ｔ４の順に配列している入力画像信号において）、シフトさせるベクトル方向とベクトル量を自由に設定することができる。
【００８４】
例えば図１２に示すように、出力する画像信号が、フィールドｔ４、ｔ３、ｔ４´、ｔ３´の順で水平方向に並ぶようにシフトさせることも可能である。また、例えば図１３に示すように、出力する画像信号が、フィールドｔ４´、ｔ３´、ｔ４、ｔ３の順で水平方向に並ぶようにシフトさせることも可能である。更に、例えば図１４に示すように、出力する画像信号が、フィールドｔ３´、ｔ４、ｔ３、ｔ４´の順で水平方向に並ぶようにシフトさせることも可能である。
【００８５】
これら図１２〜図１４に示す例において、シフト量をベクトル量の１／４倍ずつ増減させることで、シフト量を時間に対して線形に増減させ、画像の動きの更なる改善を図ることも可能である。
【００８６】
本発明を適用した画像信号処理装置は、ＰＡＬ方式によるテレビジョン受像機に対して適用される場合に限定されることはなく、例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ  ＴＶ  Ｓｙｓｔｅｍ  Ｃｏｍｍｉｔｔｅｅ）方式の６０フィールド秒（３０コマ／秒）のインタレース画像信号が入力されるテレビジョン受像機に対しても適用可能である。また、ＳＥＣＡＭ方式によるテレビジョン受像機に対しても適用可能である。
【００８７】
更に、本発明に係る画像信号処理装置は、テレビジョン受像機に内蔵される場合のみならず、テレビジョン受像機に接続する信号変換器へも内蔵可能であることは勿論である。
【００８８】
【発明の効果】
以上詳細に説明したように、本発明に係る画像信号処理装置及び方法は、テレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成される画像信号が入力され、演算した画素信号レベルの差分値に基づいて各フィールドを特定し、特定した第１のフィールドにおいて動きベクトルの反対方向へ、特定した第４のフィールドにおいて動きベクトルの方向へ、更に特定した第２及び第３のフィールドにおいて上記第１のフィールドから後続するにつれて上記第４のフィールドにおいてシフトさせた画素位置へ順次接近するように、検出画素の位置をシフトさせる。
【００８９】
これにより、本発明に係る画像信号処理装置及び方法は、単一のブロック内で２方向に画像が動く場合等、様々なバリエーションの画像においても、面フリッカ妨害を抑制しつつ、各画像の動きをスムーズにすることができる。
【図面の簡単な説明】
【図１】本発明を適用した画像信号処理装置のブロック構成図である。
【図２】フィールド倍速変換回路における倍速変換前後の各フィールドと画素位置の関係を示した図である。
【図３】水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図４】シーケンス検出部におけるシーケンスの検出方法について説明するための図である。
【図５】画像シフト部及び画像逆シフト部における画像のシフト方法について説明するための図である。
【図６】各フィールドにおいて画像をシフトさせた結果を示した図である。
【図７】各画像を第１及び第２のフィールドにおいて動きベクトルの反対方向にシフトさせるシフト方法について説明するための図である。
【図８】図７に示すシフト方法により画像をシフトさせた結果を示した図である。
【図９】入力される画像信号について、コマを構成するフィールドの順番を入れ替えてＣＲＴへ出力する画像信号処理装置のブロック構成図である。
【図１０】コマを構成するフィールドの順番を入れ替えて出力する画像信号処理装置の動作例について示した図である。
【図１１】図１０に示す画像信号処理装置の動作例を、コマを構成するフィールドの順番を入れ替えて説明するための図である。
【図１２】コマを構成するフィールドの順番を入れ替えて出力する画像信号処理装置の第２の動作例を示した図である。
【図１３】コマを構成するフィールドの順番を入れ替えて出力する画像信号処理装置の第３の動作例を示した図である。
【図１４】コマを構成するフィールドの順番を入れ替えて出力する画像信号処理装置の第４の動作例を示した図である。
【図１５】フィールド周波数倍速方式を適用したフィールド倍速変換回路のブロック構成図である。
【図１６】倍速変換前後の各フィールドと画素位置の関係を示した図である。
【図１７】水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図１８】単一のブロック内に２方向の動きが存在するバリエーションの画像について説明するための図である。
【符号の説明】
１，４  画像信号処理装置、２  ＣＲＴ、３  フィールド倍速変換回路、１１第１の画像メモリ、１２  第２の画像メモリ、１３  シーケンス検出部、１４動きベクトル検出部、１５，５５  画像シフト部、１６，５６  画像逆シフト部、３１  入力端子、３２  倍速変換部、３３  フレームメモリ
【図１】
0003596521.tif 000002
【図２】
0003596521.tif 000003
【図３】
0003596521.tif 000004
【図４】
0003596521.tif 000005
【図５】
0003596521.tif 000006
【図６】
0003596521.tif 000007
【図７】
0003596521.tif 000008
【図８】
0003596521.tif 000009
【図９】
0003596521.tif 000010
【図１０】
0003596521.tif 000011
【図１１】
0003596521.tif 000012
【図１２】
0003596521.tif 000013
【図１３】
0003596521.tif 000014
【図１４】
0003596521.tif 000015
【図１５】
0003596521.tif 000016
【図１６】
0003596521.tif 000017
【図１７】
0003596521.tif 000018
【図１８】
0003596521.tif 000019