(57)【特許請求の範囲】
【請求項１】
インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成装置において、
前記動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段と、
前記蓄積手段に蓄積された前記所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、前記所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段と、
前記計算手段により計算された前記第１の残差と前記第２の残差のうちの何れかが所定の基準値より大きい場合、前記所定のフレームを構成するブロックを動画ブロックと判定し、前記第１の残差、前記第２の残差、および前記動きベクトルのうちの何れもが前記所定の基準値以下である場合、静止画ブロックと判定する判定手段と、
前記判定に基づいて前記静止画像データを生成する生成手段と
を備えることを特徴とする静止画像データ生成装置。
【請求項２】
前記フレームは、第１のフィールドと第２のフィールドから構成され、
前記計算手段は、前記蓄積手段に蓄積された前記所定のフレームの第１のフィールド内の第１のブロックと、その所定のフレームの前のフレームの第１のフィールド内の、前記第１のブロックに対応するブロックとで規定される残差を前記第１の残差として計算し、
前記所定のフレームの第２のフィールド内の第２のブロックと、その所定のフレームの後のフレームの第２のフィールド内の、前記第２のブロックに対応するブロックとで規定される残差を前記第２の残差として計算する
ことを特徴とする請求項１に記載の静止画像データ生成装置。
【請求項３】
インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成方法において、
前記動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、
蓄積された前記所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、前記所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、
計算された前記第１の残差と前記第２の残差のうちの何れかが所定の基準値より大きい場合、前記所定のフレームを構成するブロックを動画ブロックと判定し、前記第１の残差、前記第２の残差、および前記動きベクトルのうちの何れもが前記所定の基準値以下である場合、静止画ブロックと判定し、
前記判定に基づいて前記静止画像データを生成する
ことを特徴とする静止画像データ生成方法。
【請求項４】
インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成装置において、
前記動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段と、
前記蓄積手段に蓄積された前記所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、前記所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段と、
前記計算手段により計算された前記第１の残差と前記第２の残差のうちの何れかが所定の基準値より大きい場合、前記所定のフレームを構成するブロックを動画ブロックと判定し、前記第１の残差、前記第２の残差、および前記動きベクトルのうちの何れもが前記所定の基準値以下である場合、静止画ブロックと判定する判定手段と、
前記判定に対応して、前記動画ブロックと前記静止画ブロックとの境界近傍において段階的に変化する補間係数を用いて、前記所定のフレームを構成する２つのフィールドのうちの１つのフィールドの各画素値の補間画像データを、前記静止画像データとして生成する生成手段と
を備えることを特徴とする静止画像データ生成装置。
【請求項５】
インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成方法において、
前記動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、
蓄積された前記所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、前記所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、
計算された前記第１の残差と前記第２の残差のうちの何れかが所定の基準値より大きい場合、前記所定のフレームを構成するブロックを動画ブロックと判定し、前記第１の残差、前記第２の残差、および前記動きベクトルのうちの何れもが前記所定の基準値以下である場合、静止画ブロックと判定し、
前記判定に対応して、前記動画ブロックと前記静止画ブロックとの境界近傍において段階的に変化する補間係数を用いて、前記所定のフレームを構成する２つのフィールドのうちの１つのフィールドの各画素値の補間画像データを、前記静止画像データとして生成する
ことを特徴とする静止画像データ生成方法。
【請求項６】
インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成装置において、
前記動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段と、
前記蓄積手段に蓄積された前記所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、前記所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段と、
前記計算手段により計算された前記第１の残差と前記第２の残差のうちの何れかが所定の基準値より大きい場合、前記所定のフレームを構成するブロックを動画ブロックと判定し、前記第１の残差、前記第２の残差、および前記動きベクトルのうちの何れもが前記所定の基準値以下である場合、静止画ブロックと判定する判定手段と、
前記所定のフレームの１つのフィールドの各画素を対象画素とし、前記対象画素がフレームの最下ラインの画素であるとき、前記最下ラインの１つ上のラインの画素が、前記最下ラインの１つ下のラインに位置するものとして、前記判定に対応して、前記動画ブロックと前記静止画ブロックとの境界近傍において段階的に変化する補間係数と、前記対象画素が位置するラインの１つ上のラインおよび１つ下のラインに位置する画素の画素値とを用いて、各対象画素の画素値の補間画像データを、前記静止画像データとして生成する生成手段と
を備えることを特徴とする静止画像データ生成装置。
【請求項７】
インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成方法において、
前記動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、
蓄積された前記所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、前記所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、
計算された前記第１の残差と前記第２の残差のうちの何れかが所定の基準値より大きい場合、前記所定のフレームを構成するブロックを動画ブロックと判定し、前記第１の残差、前記第２の残差、および前記動きベクトルのうちの何れもが前記所定の基準値以下である場合、静止画ブロックと判定し、
前記所定のフレームの１つのフィールドの各画素を対象画素とし、前記対象画素がフレームの最下ラインの画素であるとき、前記最下ラインの１つ上のラインの画素が、前記最下ラインの１つ下のラインに位置するものとして、前記判定に対応して、前記動画ブロックと前記静止画ブロックとの境界近傍において段階的に変化する補間係数と、前記対象画素が位置するラインの１つ上のラインおよび１つ下のラインに位置する画素の画素値とを用いて、各対象画素の画素値の補間画像データを、前記静止画像データとして生成する
ことを特徴とする静止画像データ生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、静止画像データ生成装置および静止画像データ生成方法に関し、特に、インタレースの動画像データより静止画像データを生成するとき、所定のフレームのブロックと前後のフレームの対応するブロックとで規定される差分絶対値の総和と、動きベクトルにより、動画ブロックまたは静止画ブロックの正確な判定を行い、良質の静止画像データを生成するようにした静止画像データ生成装置および静止画像データ生成方法に関する。
【０００２】
【従来の技術】
従来より、インタレースの動画像データより静止画像データを生成することが行われている。
【０００３】
インタレースの動画像データより静止画像データを生成する場合、動画像データの所定のフレームのデータを、そのまま用いて静止画像データを生成すると、１つのフレームを構成する２つのフィールドの走査に時間的な隔たり（ＮＴＳＣ方式の場合、1/60秒）があるため、生成された静止画像のうち、その間に移動する動画部分には、ぶれが生ずる。
【０００４】
そこで、１つのフレームを構成する画素を所定の数の画素からなるブロックに分割し、そのブロックの単位で、動画ブロックまたは静止画ブロックの判定を行うようにする。動画ブロックと静止画ブロックの判定は、１つのフレームを構成する２つのフィールド間で、対応するブロック同士を比較し、その差分が所定値以上であれば、動画ブロックであると判定し、所定値未満であれば、静止画ブロックであると判定するようにする。そして、動画ブロックにおいては、１つのフレームを構成する２つのフィールドデータのうち、一方のフィールドデータのみを用いてブロック内の静止画像データを生成し、静止画ブロックにおいては、１つのフレームを構成する両方のフィールドデータを用いてブロック内の静止画像データを生成するようにする。
【０００５】
このようにすることで、インタレースの動画像データより、動画像の動きに起因するぶれを抑制した静止画像データを生成することができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の動画ブロックと静止画ブロックの判定方法においては、特に、静止画ブロックの空間的な変化量が大きい場合、例えば、ブロック内で隣接する画素の画素値が急激に変化するような高域成分の多い静止画ブロックの場合、そのブロックに対応する２つのフィールドデータ間に所定値以上の差分が生ずるため、静止画ブロックを動画ブロックと誤認し易い課題があった。
【０００７】
また、上述したように、静止画ブロックの静止画は２つのフィールドデータを用いて生成され、動画ブロックの静止画は一方のフィールドデータを用いて生成されるため、静止画ブロックと動画ブロックとの境界において、解像度が不連続となり、その結果、静止画ブロックと動画ブロックとの境界は不自然な画像となる課題があった。
【０００８】
さらに、上述の処理を行う画像処理装置を実現する場合、静止画ブロックと動画ブロックとの判定を行うための回路が必要となり、構成が複雑化し、装置が大型化するとともに、低コストでの実現が困難である課題があった。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、所定のフレームとその前後のフレームのインタレース動画像データを用いて、動画ブロックと静止画ブロックのより正確な判定を行い、良質の静止画像データを生成するようにした静止画像データ生成装置を実現するものである。
【００１０】
【課題を解決するための手段】
請求項１に記載の静止画像データ生成装置は、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段と、蓄積手段に蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段と、計算手段により計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定する判定手段と、判定に基づいて静止画像データを生成する生成手段とを備えることを特徴とする。
【００１１】
請求項３に記載の静止画像データ生成方法は、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定し、判定に基づいて静止画像データを生成することを特徴とする。
【００１２】
請求項４に記載の静止画像データ生成装置は、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段と、蓄積手段に蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段と、計算手段により計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定する判定手段と、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数を用いて、所定のフレームを構成する２つのフィールドのうちの１つのフィールドの各画素値の補間画像データを、静止画像データとして生成する生成手段とを備えることを特徴とする。
請求項５に記載の静止画像データ生成方法は、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定し、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数を用いて、所定のフレームを構成する２つのフィールドのうちの１つのフィールドの各画素値の補間画像データを、静止画像データとして生成することを特徴とする。
請求項６に記載の静止画像データ生成装置は、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段と、蓄積手段に蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段と、計算手段により計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定する判定手段と、所定のフレームの１つのフィールドの各画素を対象画素とし、対象画素がフレームの最下ラインの画素であるとき、最下ラインの１つ上のラインの画素が、最下ラインの１つ下のラインに位置するものとして、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数と、対象画素が位置するラインの１つ上のラインおよび１つ下のラインに位置する画素の画素値とを用いて、各対象画素の画素値の補間画像データを、静止画像データとして生成する生成手段とを備えることを特徴とする。
請求項７に記載の静止画像データ生成方法は、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定し、所定のフレームの１つのフィールドの各画素を対象画素とし、対象画素がフレームの最下ラインの画素であるとき、最下ラインの１つ上のラインの画素が、最下ラインの１つ下のラインに位置するものとして、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数と、対象画素が位置するラインの１つ上のラインおよび１つ下のラインに位置する画素の画素値とを用いて、各対象画素の画素値の補間画像データを、静止画像データとして生成することを特徴とする。
【００１６】
請求項１に記載の静止画像データ生成装置においては、蓄積手段が、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、計算手段が、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、判定手段が、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定し、生成手段が、判定に基づいて静止画像データを生成する。例えば、判定手段により、ブロックが動画ブロックと判定されたとき、生成手段に、一方のフィールドデータを基に対応する補間画像データを生成させ、静止画ブロックと判定されたとき、両方のフィールドデータを基に対応する補間画像データを生成させることができる。
【００１７】
請求項３に記載の静止画像データ生成方法においては、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとが蓄積され、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルが計算され、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックが動画ブロックと判定され、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定され、判定に基づいて静止画像データが生成される。例えば、ブロックが動画ブロックと判定されたとき、一方のフィールドデータを基に対応する補間画像データが生成され、静止画ブロックと判定されたとき、両方のフィールドデータを基に対応する補間画像データが生成される。
【００１８】
請求項４に記載の静止画像データ生成装置においては、蓄積手段が、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、計算手段が、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、判定手段が、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定し、生成手段が、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数を用いて、所定のフレームを構成する２つのフィールドのうちの１つのフィールドの各画素値の補間画像データを、静止画像データとして生成する。例えば、動画ブロックから静止画ブロックに近づくに従い、一方のフィールドデータを用いて生成した補間画像データから、両方のフィールドデータを用いて生成した補間画像データに、段階的に移行させた補間画像データを生成手段に生成させることができる。
請求項５に記載の静止画像データ生成方法においては、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとが蓄積され、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルが計算され、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックが動画ブロックと判定され、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定され、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数を用いて、所定のフレームを構成する２つのフィールドのうちの１つのフィールドの各画素値の補間画像データが、静止画像データとして生成される。
請求項６に記載の静止画像データ生成装置においては、蓄積手段が、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、計算手段が、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、判定手段が、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定し、生成手段が、所定のフレームの１つのフィールドの各画素を対象画素とし、対象画素がフレームの最下ラインの画素であるとき、最下ラインの１つ上のラインの画素が、最下ラインの１つ下のラインに位置するものとして、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数と、対象画素が位置するラインの１つ上のラインおよび１つ下のラインに位置する画素の画素値とを用いて、各対象画素の画素値の補間画像データを、静止画像データとして生成する。
請求項７に記載の静止画像データ生成方法においては、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとが蓄積され、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルが計算され、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックが動画ブロックと判定され、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定され、所定のフレームの１つのフィールドの各画素を対象画素とし、対象画素がフレームの最下ラインの画素であるとき、最下ラインの１つ上のラインの画素が、最下ラインの１つ下のラインに位置するものとして、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数と、対象画素が位置するラインの１つ上のラインおよび１つ下のラインに位置する画素の画素値とを用いて、各対象画素の画素値の補間画像データが、静止画像データとして生成される。
【００２２】
【発明の実施の形態】
以下に本発明の実施例を説明するが、特許請求の範囲に記載の各手段と以下の実施例との対応関係を明かにするために、各手段の後の括弧内に、対応する実施例（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し、勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００２３】
請求項１に記載の静止画像データ生成装置は、インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成装置において、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段（例えば、図１のフレームメモリ１１）と、蓄積手段に蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段（例えば、図１の動き検出回路１７）と、計算手段により計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定する判定手段（例えば、図１の動画静止画判定装置２０）と、判定に基づいて静止画像データを生成する生成手段（例えば、図１の補間画像生成装置１３）とを備えることを特徴とする。
【００２４】
請求項４に記載の静止画像データ生成装置は、インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成装置において、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段（例えば、図１のフレームメモリ１１）と、蓄積手段に蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段（例えば、図１の動き検出回路１７）と、計算手段により計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定する判定手段（例えば、図１の動画静止画判定装置２０）と、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数を用いて、所定のフレームを構成する２つのフィールドのうちの１つのフィールドの各画素値の補間画像データを、静止画像データとして生成する生成手段（例えば、図２の境界判定・係数切換回路３２）とを備えることを特徴とする。
【００２６】
図１は本発明の静止画像データ生成装置を応用した画像圧縮記録システムの一実施例の構成を示すブロック図である。
【００２７】
画像入力装置１は、例えば、放送用ビデオテープレコーダと、その出力信号をＡ-Ｄ(アナログ-デジタル）変換する装置とから構成され、デジタル化した画像信号を前処理装置２に出力するようになされている。
【００２８】
前処理装置２は、画像入力装置１より入力された画像信号に対し、サンプリング数や毎秒のフレーム数を所定の値にする解像度変換と、符号化すべき画素を限定する画素数変換を行い、画像圧縮装置３に出力するようになされている。
【００２９】
画像圧縮装置３は、前処理装置２から入力されるインタレースの動画像データを、所定の圧縮動画像データや圧縮静止画像データに圧縮符号化した後、ビデオＣＤ(Compact Disc)、ＤＶＤ(Digital Video Disc)などの記録媒体にデジタル映像信号を記録する記録装置４に出力するようになされている。
【００３０】
画像圧縮装置３の制御回路２３は、前処理装置２より入力される動画像データから圧縮静止画像データを生成する場合（図示せぬ装置から静止画生成指令の入力を受けた場合）、スイッチ２４を端子b側に切り換えるようになされている。また、制御回路２３は、圧縮動画像データを生成する場合、動き補償を行わない圧縮動画像データ（Iピクチャのデータ）を検知したとき、スイッチ２４を端子b側に切り換え、動き補償を行う圧縮動画像データ（PピクチャまたはBピクチャのデータ）を検知したとき、端子a側に切り換えるようになされている。
【００３１】
フレームメモリ１１は、前処理装置２より画像圧縮装置３に入力される動画像データをフレーム単位で、この実施例の場合３フレーム分、蓄積し、適宜、動き検出回路１７と残差検出回路１８に出力するようになされている。
【００３２】
引き算回路１２は、前処理装置２より入力される動画像データから、スイッチ２４を介して入力されるデータ（予測画像データ（スイッチ２４の端子aから供給されるデータ）または零データ（スイッチ２４の端子bから供給されるデータ））を減じ、予測誤差データとして補間画像生成装置１３に出力するようになされている。
【００３３】
補間画像生成装置１３は、圧縮静止画像データを生成する場合、動画静止画判定装置２０から供給されるブロック毎に判定された動画ブロックまたは静止画ブロックの判定結果に対応する補間画像データを生成し、ＤＣＴ(Discrete Cosine Transform)回路１４に出力するようになされている。また、補間画像生成装置１３は、圧縮動画像データを生成する場合（圧縮静止画像データを生成しない場合）、引き算回路１２より入力される予測誤差データを、そのまま（特に処理せずに）ＤＣＴ回路１４に出力するようになされている。
【００３４】
ＤＣＴ回路１４は、補間画像生成装置１３より入力された画像データに対して２次元ＤＣＴ（離散コサイン変換）を施して、冗長性を除去し、一部分の周波数成分にエネルギー集中させた後、量子化回路１５に出力するようになされている。
【００３５】
量子化回路１５は、ＤＣＴ回路１４が出力するＤＣＴ係数を量子化し、可変長符号化回路１６と逆量子化回路２１に出力するようになされている。
【００３６】
可変長符号化回路１６は、量子化回路１５より供給された量子化代表値または量子化代表ベクトルの出現確率を基に、平均的な符号長が短くなるように符号割当を行い、記録装置４に出力するようになされている。
【００３７】
逆量子化回路２１と、逆ＤＣＴ回路２２は、それぞれ、量子化回路１５とＤＣＴ回路１４と逆の変換処理を行うようになされており、量子化回路１５より入力される量子化画像データは、逆量子化回路２１で逆量子化され、さらに逆ＤＣＴ回路２２で逆離散コサイン変換が施された後、足し算回路２５に入力されるようになされている。
【００３８】
動き検出回路１７は、フレームメモリ１１から入力される所定のフレームデータを基に、動きベクトルと動き補償後の残差（差分絶対値の総和）を計算し、動き補償回路１９と動画静止画判定装置２０に出力するようになされている。
【００３９】
動き補償回路１９は、フレームメモリ２６より読み込んだ、１つ前のフレームの画像データを、動き検出回路１７より入力される動きベクトルに基づいて、動き補償を施し、予測画像データを生成し、スイッチ２４の端子ａを介して引き算回路１２に出力するとともに、足し算回路２５に出力するようになされている。
【００４０】
足し算回路２５は、動き補償回路１９から入力された予測画像データに、逆ＤＣＴ回路２２から入力される予測誤差データを加え、フレームメモリ２６に記憶させるようになされている。
【００４１】
残差検出回路１８は、フレームメモリ１１より入力されるフレームデータを基に、所定のフレームを構成するブロック毎に残差を求め、動画静止画判定装置２０に出力するようになされている。
【００４２】
動画静止画判定装置２０は、動き検出回路１７から供給される動きベクトルおよび動き補償後の残差の情報と、残差検出回路１８から供給される残差情報を基に、処理対象のフレームを構成するブロック毎に動画または静止画の判定を行い、その判定結果を補間画像生成装置１３に出力するようになされている。
【００４３】
図２は、補間画像生成装置１３の一実施例の構成を示すブロック図である。
【００４４】
境界判定・係数切換回路３２は、動画静止画判定装置２０から供給される判定情報を基に、補間画像データを生成するとき用いられる補間係数を決定し、フィルタ演算回路３１に出力するようになされている。
【００４５】
フィルタ演算回路３１は、この補間係数を基に、引き算回路１２より入力される画像データから補間画像データを生成することにより、対応する静止画像データ生成し、ＤＣＴ回路１４に出力するようになされている。
【００４６】
次に、図３のフローチャートを参照して図１の画像圧縮記録システムの処理動作について説明する。
【００４７】
図３のステップＳ１で、画像入力装置１は、ビデオテープなどより再生した画像信号をデジタル化した後、前処理装置２に出力する。前処理装置２はこの画像信号を、所定の値のサンプリング数、フレーム数、および画素数の動画像データに変換し、画像圧縮装置３に出力する。このようにして、例えば、水平方向が704画素、垂直方向が480画素からなる輝度データと、水平方向が352画素、垂直方向が240画素からなる色差データが、画像圧縮装置３に入力される。
【００４８】
今、Iピクチャデータが画像圧縮装置３に入力されたものとする。
【００４９】
続くステップＳ２で、制御回路２３は、この動画像データより圧縮静止画像データを生成するか否かを判断する。図示せぬ装置より、静止画生成指令が入力されていないとき（圧縮動画像データを生成することが指令されているとき）、このステップでＮＯの判定がなされ、ステップＳ３に分岐する。ステップＳ３で、制御回路２３は、今、前処理装置２より入力されている画像データが、動き補償を行う画像データ（PピクチャまたはBピクチャのデータ）であるか否かを判断する。今の場合、Iピクチャのデータが入力されたので、ＮＯの判定がなされ、ステップＳ４で、制御回路２３は、スイッチ２４を端子ｂに接続する。
【００５０】
続くステップＳ５で、前処理装置２より入力された動画像データは、引き算回路１２により、スイッチ２４から入力された信号が減じられ、補間画像生成装置１３に出力される。今の場合、スイッチ２４は、他方の端子が接地された端子ｂに接続されているため、スイッチ２４から入力される信号は零であり、前処理装置２から入力された動画像データは、実質的に、そのまま、補間画像生成装置１３に出力される。また、このとき、前処理装置２より入力された動画像データは、フレーム単位で、フレームメモリ１１に記憶される。
【００５１】
補間画像生成装置１３は、動画像データから、所定の圧縮静止画像データを生成する場合、動画静止画判定装置２０から供給される判定結果に基づいて、引き算回路１２から入力される動画像信号より、所定の静止画像データを生成するための補間画像データを生成し、ＤＣＴ回路１４に出力する。今の場合、動画像データから圧縮静止画像データを生成する処理ではないので、引き算回路１２より入力された動画像データが、そのままＤＣＴ回路１４に出力される。
【００５２】
この動画像信号は、ＤＣＴ回路１４で、離散コサイン変換が施され、エネルギーが一部の周波数成分に集中された後、量子化回路１５で、所定の量子化レベルに対応する値に各画素値またはその組み合わせによる値がまるめられ、可変長符号化回路１６に出力される。
【００５３】
可変長符号化回路１６は、量子化された画像データに対し、平均的な符号長が短くなるように符号化を行い、記録装置４に出力する。
【００５４】
続くステップＳ６で、記録装置４は、入力された圧縮画像データを記録媒体に記録する。
【００５５】
このようにして、画像入力装置１で生成された動画像データは、圧縮符号化され、記録媒体に記録される。
【００５６】
前処理装置２より入力された動画像データが動き補償を必要とする画像データ（PピクチャまたはBピクチャのデータ）である場合、ステップＳ３で、ＹＥＳの判定がなされ、後続のステップＳ７で、制御回路２３は、スイッチ２４を端子ａに接続する。
【００５７】
ステップＳ８で、フレームメモリ１１は、所定のフレームデータと、その前後のフレームデータを動き検出回路１７と残差検出回路１８に出力する。動き検出回路１７は、所定のフレームとその前のフレームデータを用いて、所定のフレームを構成するブロック（輝度データで16*16画素、色差データで8*8画素）に対し、動きベクトルを算出し、動き補償回路１９と動画静止画判定装置２０に出力する。
【００５８】
続く、ステップＳ９で、動き補償回路１９は、この動きベクトルを基に、フレームメモリ２６から供給される１つ前のフレームのデータに対して、動き補償を施して予測画像データを生成し、スイッチ２４を介して引き算回路１２に出力する。
【００５９】
後続のステップＳ１０で、引き算回路１２は、前処理装置２より入力された動画像データから動き補償回路１９より入力された予測画像データを減じ、補間画像生成装置１３に出力する。そして、今の場合、静止画像データを生成する処理ではないので、補間画像生成装置１３は、引き算回路１２より入力された画像データをそのままＤＣＴ回路１４に出力する。
【００６０】
その後、この動画像データは、ＤＣＴ回路１４で、離散コサイン変換され、量子化回路１５で、量子化された後、可変長符号化回路１６で、符号割当ての処理が施され、記録装置４に出力される。このとき、量子化回路１５で量子化された画像データは、逆量子化回路２１にも入力され、逆量子化され、逆ＤＣＴ回路２２で、逆離散コサイン変換された後（予測誤差データに変換された後）、足し算回路２５に出力される。足し算回路２５は、この予測誤差データに動き補償回路１９から入力される予測画像データを加え、フレームメモリ２６に記憶させる。
【００６１】
続く、ステップＳ６で、記録処理が実行され、記録媒体に画像データが記録される。このようにして、圧縮動画像データが記録媒体に記録される。
【００６２】
以上の処理は、従来の場合と同様の処理である。
【００６３】
今、前処理装置２より入力された動画像データから、圧縮静止画像データを生成することが指令されたものとする。この場合、ステップＳ２で、ＹＥＳの判定がなされ、ステップＳ１１で、制御回路２３は、スイッチ２４を端子ｂに接続する。
【００６４】
続く、ステップＳ１２で、フレームメモリ１１は、対象となるフレームデータとその前後のフレームデータを動き検出回路１７と残差検出回路１８に出力する。動き検出回路１７は、対象となるフレームのブロックとその後のフレーム（または前のフレームでもよい）の対応するブロックとで規定される動きベクトルを算出し、動き補償回路１９と動画静止画判定装置２０に出力する。また、動き検出回路１７は、動き補償後の残差を計算し、動画静止画判定装置２０に出力する。残差検出回路１８は、対象となるフレームのフィールドのブロック毎に、そのブロックとその前後のフレームの対応するフィールドのブロックとの残差を計算し、動画静止画判定装置２０に出力する。このとき、計算される残差Ｅの式を数１に示す。
【００６５】
【数１】
0003937247.tif 000002
【００６６】
数１において、ｎは、ブロック内の画素数であり、ｄ_o(i)は、所定のブロックiの画素の画素値であり、ｄ_r(i)は、それに対応するブロックiの画素の画素値である。すなわち、この実施例の場合、残差は、各画素の差分の絶対値の総和とされている。
【００６７】
ここで、ステップＳ１２で、計算される動きベクトルと、残差について、図４に示す図を参照して説明する。
【００６８】
図４は、対象フレームに対応する圧縮静止画像データの生成時に使用される動きベクトルと残差を計算するために必要な３つのフレームを表している。
【００６９】
対象フレームとその前後のフレームは、それぞれ２つのフィールドで構成されており、以後、それぞれ、topフィールドとbottomフィールドと称する。
【００７０】
bottom-bottom残差Ｅbは、対象フレームのbottomフィールドのブロックと前のフレームのbottomフィールド（対応するフィールド）の対応するブロックとで計算される残差である。
【００７１】
top-top残差Ｅtは、対象フレームのtopフィールドのブロックと後のフレームのtopフィールド（対応するフィールド）の対応するブロックとで計算される残差である。
【００７２】
bottom-top動きベクトルＢは、対象フレームのbottomフィールドのブロックと後のフレームのtopフィールド（対応しないフィールド）の対応する移動後のブロックとで計算される動きベクトルである。
【００７３】
未補償の残差Ｅ0は、対象フレームのbottomフィールドのブロックと後のフレームのtopフィールドの対応するブロックとで計算される残差である。
【００７４】
動き補償後の残差Ｅbtは、対象フレームのbottomフィールドのブロックを動き補償したブロックと後のフレームのtopフィールドの対応するブロックとで計算される残差である。
【００７５】
なお、bottom-top動きベクトルＢ、未補償の残差Ｅ0、および動き補償後の残差Ｅbtは、対象フレームと前のフレームとで規定されるものを用いるようにしてもよい。
【００７６】
続くステップＳ１３で、これらの計算結果が用られて、ブロックの動画または静止画の判定処理が行われる。
【００７７】
ここで、図３のステップＳ１３のサブルーチン処理の詳細を、図５のフローチャートを参照して説明する。
【００７８】
図５のステップＳ２１で、動画静止画判定装置２０は、ブロック毎に、top-top残差Ｅtが規準値Th1を超えている否かを判断する。そのブロックのtop-top残差Ｅtが規準値Th1を超えていると判断した場合、ステップＳ２２に分岐し、そのブロックは動画ブロックであると判定される。
【００７９】
また、ステップＳ２１で、動画静止画判定装置２０は、そのブロックのtop-top残差Ｅtが規準値Th1以下であると判断した場合、さらに、ステップＳ２３で、そのブロックのbottom-bottom残差Ｅbが規準値Th1を超えているか否かを判断する。動画静止画判定装置２０が、そのブロックのbottom-bottom残差Ｅbが規準値Th1を超えていると判断した場合、ステップＳ２２に分岐し、そのブロックは動画ブロックであると判定される。
【００８０】
ステップＳ２３で、そのブロックのbottom-bottom残差Ｅbが規準値Th1以下であると判断された場合、ステップＳ２４で、動画静止画判定装置２０は、動きベクトルＢの長さ（大きさ）Ｌが規準値Th2を超えているか否かを判断する。動きベクトルＢの長さＬが規準値Th2以下であると判断された場合、ステップＳ２６に分岐し、そのブロックは、静止画であると判定される。
【００８１】
ステップＳ２４で、動きベクトルＢの長さＬが規準値Th2を超えていると判断された場合、さらに、ステップＳ２５で、動き補償後の残差Ｅbtが、未補償の残差Ｅ0の一定の割合を超えているか否かが判断され、動き補償後の残差Ｅbtが、未補償の残差Ｅ0の一定の割合k以上であると判断された場合、ステップＳ２６に分岐し、そのブロックは静止画ブロックであると判定され、動き補償後の残差Ｅbtが、未補償の残差Ｅ0の一定の割合kより小さいと判断された場合、ステップＳ２２に分岐し、そのブロックは動画ブロックであると判定される。
【００８２】
図５のフローチャートに示すステップＳ２１とステップＳ２３においては、隣接するフレームの対応するフィールド間で規定される残差（top-top残差Etとbottom-bottom残差Eb）を用いて判定を行うため、同一フレームの２つのフィールド間で規定される残差を用いる判定と比べ、正確な判定結果を得ることができる。
【００８３】
また、ステップＳ２４に示す動きベクトルによる判定を用いることにより、所定の大きさの物体が早く移動するような入力画像を静止画と誤認すること（所定のブロックで、フィールド毎に残差が大きく変化するが、たまたま、top-top残差Etとbottom-bottom残差Ebが所定値以下である動画ブロックを静止画ブロックと誤認すること）を抑止することができる。
【００８４】
さらに、ステップＳ２５に示す判定を用いることにより、たまたま、後のtopフィールドに、対象のブロックと類似したブロックが存在する場合、静止画ブロックを動きベクトルに対応する動画ブロックと誤認することを抑止することができる。
【００８５】
このようにして、所定のブロック間での残差と動きベクトルを用いて、対象のブロックが動画ブロックであるのか静止画ブロックであるのかの正確な判定を行うことができる。なお、top-top残差Etとbottom-bottom残差Ebのうち、いずれか一方でも規準値Th1を超えているとき、対象ブロックは、動画ブロックであるとし、それ以外のとき、静止画ブロックであると判定するようにしてもよい。
【００８６】
続いて、図３のステップＳ１４で、補間画像生成装置１３は、動画静止画判定装置２０から供給される動画静止画の判定結果に基づき、引き算回路１２より入力される動画像データから静止画像データを生成する。
【００８７】
ここで、このステップの処理の詳細を図６と図７を参照して説明する。
【００８８】
図６は、動画ブロックと静止画ブロックとが隣接した状態を表している。
【００８９】
図６に示す動画ブロックと静止画ブロックには、それぞれ、２フィールド分のデータが示されている。それぞれのフィールドは、topとbottomで示したラインの画素を含んでいる。
【００９０】
静止画ブロックと動画ブロックのiラインj列のtopフィールドの画素値をt(i,j)とし、iラインj列のbottomフィールドの画素値をb(i,j)とすると、フィルタ演算回路３１は、topフィールドの画素値はそのままとするが、引き算回路１２から供給される画素値t(i,j),b(i,j)、および画素値t(i+1,j)を用いて、iラインj列のbottomフィールドの画素値bn(i,j)の補間画像データを式（１）に従って生成する。
bn(i,j)=k1*t(i,j)+k2*b(i,j)+k1*t(i+1,j)                 （１）
【００９１】
ここで、補間係数k1と補間係数k2は、動画静止画判定装置２０から供給される判定結果を基に境界判定・係数切換回路３２が設定し、フィルタ演算回路３１に出力する補間係数であり、静止画ブロックと動画ブロックとでは、異なる値となる。また、静止画ブロックと動画ブロックとの境界近傍においては、各画素値が不連続な値とならないように、境界判定・係数切換回路３２は、補間係数k1と補間係数K2を段階的に変化させ、フィルタ演算回路３１に出力する。図７に静止画ブロックにおける、補間係数K1と補間係数K2の具体的な値の例を示す。
【００９２】
図７には、静止画ブロックと動画ブロックの境界近傍における静止画ブロック内の４つの画素の画素値を求めるときに用いられる補間係数K1と補間係数K2の値の例が示されている。
【００９３】
例えば、輝度信号の画素値においては、境界から４つ目（または、それ以降）の画素の画素値を計算するときの対応する補間係数K1と補間係数K2の値は、それぞれ0と1となっており、これを式（１）に代入すると、bn(i,j)=b(i,j)となる。このことは、生成された補間画像データ（bottomフィールドの画素値）には、静止画ブロックのbottomフィールドの画素値がそのまま用いられることを意味している。これと同様に、境界から十分（４画素以上）離れた静止画ブロックの画素の補間画像データは、静止画ブロックの画素の画素値をそのまま用いるようにする。すなわち、静止画ブロックに対応する静止画像データは、静止画ブロックの２つのフィールドデータがそのまま用いられることになる。
【００９４】
また、境界から３つ目、２つ目、および１つ目の画素の画素値を図７に示した補間係数K1と補間係数K2より求めると、それぞれ、次のようになる。
(1/8)*t(i,j)+(6/8)*b(i,j)+(1/8)*t(i+1,j),
(2/8)*t(i,j)+(4/8)*b(i,j)+(2/8)*t(i+1,j),
(3/8)*t(i,j)+(2/8)*b(i,j)+(3/8)*t(i+1,j)
【００９５】
動画ブロックに近づくに従い、topフィールド（一方のフィールド）の画素値の重みが増し、bottomフィールドの画素値の重みが減っていくことがわかる。すなわち、静止画ブロック内の静止画ブロックと動画ブロックとの境界近傍においては、境界に近づく程、一方のフィールド（topフィールド）データがより大きい重みを持った静止画像データが生成される。
【００９６】
一方、動画ブロックにおいては、境界判定・係数切換回路３２は、補間係数K1を1/2、補間係数K2を0に設定し、フィルタ演算回路３１に供給する。従って、フィルタ演算回路３１は、topフィールド（一方のフィールド）のみの画素値を用いてbottomフィールドの画素値を生成する。この場合、bn(i,j)は、
(1/2)*t(i,j)+(1/2)*t(i+1,j)となり、これは、iライン目のtopフィールドの画素値と、i+1ライン目のtopフィールドの画素値の平均値となっている。すなわち、フィルタ演算回路３１は、topフィールドデータのみを用いて、より自然な補間画像データ（bottomフィールドデータ）を生成する。
【００９７】
なお、境界判定・係数切換回路３２は、動画ブロックにおいては、静止画ブロックとの境界近傍と中央部とで補間係数K1,K2の値を変化させることはしない。これにより、静止画像に較べて鮮明でない可能性の高い動画像がさらに不鮮明になるのを防止する。
【００９８】
このように、動画ブロックでは、一方のフィールドデータを基に、静止画ブロックでは、２つのフィールドデータを基に、それぞれ、補間画像データが生成され、静止画ブロックの動画ブロックとの境界近傍においては、段階的に係数が変化するので、より自然な静止画像データが生成される。
【００９９】
このことは、色差信号についても同様である。なお、色差信号は、１つのフレームを構成する画素数が、輝度信号のそれの半分であるため、輝度信号の画素に対応する補間係数と同じ値の補間係数が用いられる。
【０１００】
また、式（１）において、bn(i,j)が画面上の最下ラインの画素値である場合、フィルタ演算回路３１は、仮想的に、その１つ下のラインの画素値t(i+1,j)を考え、その値は、iラインのtopフィールドの画素値t(i,j)と同様であるとして計算する。すなわち、この場合、bn(i,j)は、式（２）で与えられる。
bn(i,j)=2*k1*t(i,j)+k2*b(i,j)                           （２）
【０１０１】
このようにして、補間画像生成装置１３は、動画静止画判定装置２０から供給される判定結果を基に、自然な補間画像データを生成するため、より良質の静止画像データを生成することができる。
【０１０２】
図３の説明に戻り、続く、ステップＳ１５で、補間画像生成装置１３は、この静止画像データをＤＣＴ回路１４に出力する。静止画像データは、ＤＣＴ回路１４で離散コサイン変換され、量子化回路１５で量子化され、可変長符号化回路１６で符号化された後、記録装置４に出力される。その後、後続のステップＳ６で、記録装置４は、この圧縮静止画像データを記録媒体に記録する。
【０１０３】
以上のようにして、インタレース動画像データのブロックを、正確に動画ブロックと静止画ブロックに判定することにより、ぶれが少く、解像度の低下を最小限に押さえた静止画像データを生成することができる。
【０１０４】
また、動画ブロックと静止画ブロックとの境界近傍で、解像度の不連続を考慮して、補間係数を段階的に変化させているため、より自然な静止画像データを生成することができる。
【０１０５】
さらにまた、本発明の静止画像データ生成装置は、従来の画像圧縮装置を構成する回路を基本的にそのまま用いるようにしているため、設計が容易であり、かつ低コストで簡易な構成で実現することができる。
【０１０６】
なお、上述の実施例においては、残差として差分絶対値の総和を用いたが、差分２乗の総和としてもよい。また、動画ブロックのデータを、topフィールドの画像データから生成するようにしたが、bottomフィールドの画像データから生成するようにしてもよい。さらに、静止画ブロックのデータをtopフィールドのそのままデータと、bottomフィールドのデータを演算したデータとから生成するようにしたが、bottomフィールドのそのままのデータと、topフィールドのデータを演算したデータとから生成することもできる。また、動画ブロック、静止画ブロックの判定手法やそれに対応した補間手法は、種々の画素数や解像度に柔軟に対応することが可能である。
【０１０７】
【発明の効果】
以上のように、本発明によれば、所定のフレームのブロックと、その前後のフレームの所定のフィールドの対応するブロックとで規定される残差または動きベクトルを計算し、計算された残差または動きベクトルを用いて、動画ブロックまたは静止画ブロックの判定を行うようにしたので、動画ブロックと静止画ブロックの誤認判定を抑止することができる。
【０１０８】
また、本発明によれば、動画ブロックと静止画ブロックとの境界において、より自然な静止画像データを生成することができる。
【図面の簡単な説明】
【図１】本発明の静止画像データ生成装置を用いた画像圧縮記録システムの一実施例の構成を示すブロック図である。
【図２】補間画像生成装置１３の一実施例の構成を示すブロック図である。
【図３】図１の画像圧縮記録システムの処理動作を説明するフローチャートである。
【図４】残差と動きベクトルを計算するとき使用されるフレーム内のブロックの関係を示す図である。
【図５】図３のステップＳ１３に示すサブルーチン処理の詳細を説明するフローチャートである。
【図６】静止画ブロックと動画ブロックが隣接した場合の画素を示す図である。
【図７】静止画ブロックにおける境界からの距離と補間係数の値との関係を示す図である。
【符号の説明】
１  画像入力装置，  ２  前処理装置，  ３  画像圧縮装置，  ４  記録装置，  １１  フレームメモリ，  １２  引き算回路，  １３  補間画像生成装置，１４  ＤＣＴ回路，  １５  量子化回路，  １６  可変長符号化回路，  １７動き検出回路，  １８  残差検出回路，  １９  動き補償回路，  ２０  動画静止画判定装置，  ２１  逆量子化回路，  ２２  逆ＤＣＴ回路，  ２３  制御回路，  ２４  スイッチ，  ２５  足し算回路，  ２６  フレームメモリ，  ３１  フィルタ演算回路，  ３２  境界判定・係数切換回路
【図１】
0003937247.tif 000003
【図２】
0003937247.tif 000004
【図３】
0003937247.tif 000005
【図４】
0003937247.tif 000006
【図５】
0003937247.tif 000007
【図６】
0003937247.tif 000008
【図７】
0003937247.tif 000009