(57)【要約】      （修正有）【課題】動きベクトルを検出するための演算処理量を削減することができ、高画質化が可能になる動き補償型ＩＰ変換処理装置及び方法を提供する。【解決手段】ＳＡＤ演算部と、ＳＡＤ最小値判定部、候補ベクトル生成部と、動きベクトル決定部とを備え、フィールド画像をブロックに分割し、所定の探索エリア内でブロックマッチングによりブロック毎に動きベクトル検出し、その動きベクトルに応じ、インターレース・プログレッシブ変換処理を行う動き補償型ＩＰ変換処理装置において、動きベクトルを検出する際、現在ブロックの周辺のブロックの検出済み動きベクトルを検索候補とする。画面上部エッジの場合には、前フィールドの下部のブロックの検出済み動きベクトルを探索候補とする。画面左エッジの場合には、前ラインの右端部のブロックの検出済み動きベクトルを探索候補とする。【選択図】図１
2006217486.tif 000002
【特許請求の範囲】
【請求項１】
ＳＡＤ演算部と、ＳＡＤ最小値判定部と、候補ベクトル生成部と、動きベクトル決定部とを備え、フィールド画像をブロックに分割し、所定の探索エリア内でブロックマッチングを行うことで、ブロック毎に動きベクトル検出を行い、その動きベクトルに応じ、インターレース・プログレッシブ変換処理を行う動き補償型ＩＰ変換処理装置において、
現在処理中のブロックの動きベクトルを検出する際、現在ブロックの周辺のブロックの検出済み動きベクトルを検索候補ベクトルの１つとするとともに、現在処理中のブロックが画面上部エッジの場合には、前フィールドの下部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとし、現在処理中のブロックが画面左エッジの場合には、前ラインの右端部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとすることを特徴とする動き補償型ＩＰ変換処理装置。
【請求項２】
フィールド画像をブロックに分割し、所定の探索エリア内でブロックマッチングを行うことで、ブロック毎に動きベクトル検出を行い、その動きベクトルに応じ、インターレース・プログレッシブ変換処理を行う、動き補償型ＩＰ変換処理方法において、
現在処理中のブロックの動きベクトルを検出する際、現在ブロックの周辺のブロックの検出済み動きベクトルを検索候補ベクトルの１つとするとともに、現在処理中のブロックが画面上部エッジの場合には、前フィールドの下部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとし、現在処理中のブロックが画面左エッジの場合には、前ラインの右端部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとすることを特徴とする動き補償型ＩＰ変換処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償型インターレース・プログレッシブ（以下、「ＩＰ」という）変換処理装置及び方法において、動きベクトルを検出する際、検出精度を低減させることなく演算量を削減する動きベクトル検出方法に関し、特に画面上部エッジ、画面左エッジの検出動きベクトルの精度向上に関する。
【背景技術】
【０００２】
従来、動画像をディジタル化し、そのデータを圧縮符号化する方法として、参照画像として記憶された過去の画像を動き補償して予測画像を作り、原画像との差分画像を符号化する方法が広く行われている。この代表例として、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ  ）方式があり、動き補償を行うための動きベクトルを検出するその方法として、ブロックマッチングによる動きベクトル検出方法が一般的である。
【０００３】
動き補償型ＩＰ変換処理における動きベクトル検出も、ＭＰＥＧ方式などにおける動きベクトル検出方法と同様な手法で実現できる。
【０００４】
一般的な動きベクトル検出方法である、ブロックマッチングによる全探索手法について、図をもとに説明する。図５は従来例の動きベクトル検出方法の概念図であり、現在フレーム５０１の予測対象ブロック５０３の動きベクトル５０６を、既に符号化済みの前フレーム５００の情報を用いてブロックマッチング方法によって検出する全探索手法を示したものである。予測対象ブロック５０３の動きベクトル５０６は、前フレーム５００上の同位置のブロック５０７を中心に一定の探索範囲５０２内に含まれる参照ブロック５０４と予測対象ブロック５０３のマッチングによって検出される。
【０００５】
図４は、従来例の動きベクトル検出処理のブロック図である。図４において、探索範囲内の全て、あるいは、いくつかのブロックを参照する候補ベクトル４１３で指し示す、前フレームの参照ブロックと現在フレームの予測対象ブロックとの各画素の差分絶対値和（ＳＡＤ）をＳＡＤ演算部４００にて順次計算する。そして、この探索範囲内でＳＡＤが最小となるブロックをＳＡＤ最小値検出部４０１で検出し、この判定結果４１４をもとに、動きベクトル決定部４０３にて動きベクトル４１５を決定する。前記探索範囲内の全てのブロックについて各画素の差分を計算し、参照ブロックを決定する方法は全探索手法と呼ばれ、最も精度良く参照ブロックを検出することができる方法である。しかしながら、全探索手法では、探索範囲内の全てのブロックについて各画素の差分を計算しなければならないため、演算処理量が増大してしまうという問題がある。
【０００６】
図６は、従来例の候補ベクトル処理の説明図であり、特許文献１に示される画像の境界を超えて存在するブロックに対応する候補ベクトルの処理を示す図と同じものである。図６の（ａ）及び（ｂ）は、画面の端の処理を示しており、実線６０２、６０４は画面の境界を示している。また、ペア（０，０）は、候補ベクトルがゼロであるとみなすブロックを示している。
【０００７】
しかしながら、従来例では、画像の境界を超えて存在するブロックに対応する候補ベクトルが強制的にゼロとされているため、現在処理中のブロックとの相関が低くなってしまうため、検出する動きベクトルの精度が下がるという問題が生じる。
【特許文献１】特開平８−２５１６０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来例のブロックマッチングによる全探索手法を用いた動きベクトル検出方法は、探索範囲内で参照ブロックの位置を動きベクトルを表す最小単位で移動させ、それぞれの位置に対するＳＡＤを計算するため、精度良い動きベクトルを検出する確率は上がるが、それに伴い動きベクトルを検出するための演算処理量が増大し、演算の回路規模や処理時間も大きくなる問題がある。
【０００９】
また、画面上部エッジ、画面左エッジのブロックを処理する時には候補ベクトルが少ない、かつ現在処理中のブロックと相関の高いブロックに対応する候補ベクトルを使用していないので、動きベクトルの精度が下がるという問題が生じる。
【課題を解決するための手段】
【００１０】
上記問題点を解決するため、本発明の動き補償型ＩＰ変換処理装置及び方法における動きベクトル検出方法は、フィールド画像をブロックに分割し、所定の探索エリア内でブロックマッチングを行うことで、ブロック毎に、画面上ラインから下ラインの順に、かつ、ライン左から右の順に、動きベクトル検出を行い、その動きベクトルに応じ、インターレース・プログレッシブ変換処理を行う、動き補償型ＩＰ変換処理方法、及び、装置の動きベクトル検出方法において、現在処理中のブロックの動きベクトルを検出する際、現在ブロックの周辺のブロックの検出済み動きベクトルを検索候補ベクトルの１つとすることを特徴とする。
【００１１】
また、本発明は、現在処理中のブロックが画面上部エッジの場合には、前フィールドの下部付近のブロックの検出済み動きベクトルを探索候補ベクトルの１つとすることを特徴とする。
【００１２】
そして、本発明は、現在処理中のブロックが画面左エッジの場合には、前ラインの右端部付近のブロックの検出済み動きベクトルを探索候補ベクトルの１つとすることを特徴とする。
【００１３】
すなわち、本発明は、ＳＡＤ演算部と、ＳＡＤ最小値判定部と、候補ベクトル生成部と、動きベクトル決定部とを備え、フィールド画像をブロックに分割し、所定の探索エリア内でブロックマッチングを行うことで、ブロック毎に動きベクトル検出を行い、その動きベクトルに応じ、インターレース・プログレッシブ変換処理を行う動き補償型ＩＰ変換処理装置において、現在処理中のブロックの動きベクトルを検出する際、現在ブロックの周辺のブロックの検出済み動きベクトルを検索候補ベクトルの１つとするとともに、現在処理中のブロックが画面上部エッジの場合には、前フィールドの下部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとし、現在処理中のブロックが画面左エッジの場合には、前ラインの右端部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとする動き補償型ＩＰ変換処理装置である。
【００１４】
また、本発明は、フィールド画像をブロックに分割し、所定の探索エリア内でブロックマッチングを行うことで、ブロック毎に動きベクトル検出を行い、その動きベクトルに応じ、インターレース・プログレッシブ変換処理を行う、動き補償型ＩＰ変換処理方法において、現在処理中のブロックの動きベクトルを検出する際、現在ブロックの周辺のブロックの検出済み動きベクトルを検索候補ベクトルの１つとするとともに、現在処理中のブロックが画面上部エッジの場合には、前フィールドの下部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとし、現在処理中のブロックが画面左エッジの場合には、前ラインの右端部のブロックの検出済み動きベクトルを探索候補ベクトルの１つとする動き補償型ＩＰ変換処理方法である。
【００１５】
以上のように、本発明では、検出済みの動きベクトルを探索候補ベクトルの１つとして利用するので、動きベクトルを検出するための演算処理量を削減することができ、画面の上部エッジ、左エッジの処理を行う場合にも、候補ベクトルの数を減らさないので検出される動きベクトルの精度が上がり、高画質化可能になる。
【発明の効果】
【００１６】
本発明によれば、検出済みの動きベクトルを探索候補ベクトルの１つとして利用するので、動きベクトルを検出するための演算処理量を削減することができ、画面の上部エッジ、左エッジの処理を行う場合にも、候補ベクトルの数を減らさないので検出される動きベクトルの精度が上がり、高画質化可能になる。
【発明を実施するための最良の形態】
【００１７】
本発明を実施するための最良の形態を説明する。
本発明における動き補償型ＩＰ変換処理は、図２の本発明の動きベクトル検出概念図に示すように、インターレース画像であるフィールドｎ画像（２０２）と、その２フィールド期間離れたフィールドｎ−２画像（２００）との間に、フィールドｎ−１画像（２０１）を補間するものであり、その補間フィールド画像を生成する時に動きベクトルを使用する。
【００１８】
以下、本発明の動きベクトル検出方法の実施形態について、図を用いて説明する。図２において、補間フィールド画像２０１を生成するために、１フィールド画像をＭ×Ｎの画素ブロック２０７に分割し、例えば、通常の走査線方式の通り画面左上から右下にブロック単位で処理していく。補間フィールド画像（フィールドｎ−１）２０１を生成する過程において、現在処理中のブロック（２０４）に対し、候補ベクトル（２０６）に参照される１フィールド前の画像（フィールドｎ−２画像）２００の参照ブロック１（２０３）と、１フィールド後の画像（フィールドｎ画像）２０２の参照ブロック２（２０５）の差分をとる。この差分は、参照ブロック１と参照ブロック２のそれぞれの画素の差分絶対値和（ＳＡＤ）として計算される。全ての候補ベクトルについてＳＡＤを計算し、その最小値を示すベクトルが現在処理中ブロックの動きベクトルとして決定される。
【００１９】
この過程について、図１の本発明の動きベクトル検出処理のブロック図をもとに説明する。図１において、ＳＡＤ演算部１００には、補間フィールド画像に対する、１フィールド前の画像データ１１０、１フィールド後の画像データ１１１が入力される。ＳＡＤ演算部１００は、候補ベクトル生成部１０２より出力される候補ベクトル１１３が指し示す参照ブロック１と参照ブロック２の間のＳＡＤを計算する。候補ベクトル全てに対し、同様の演算を行い、これら演算結果１１２の中から、ＳＡＤ最小値判定部１０１によりＳＡＤの最小値が判定され、その判定結果１１４をもとに候補ベクトル１１３の中から動きベクトル決定部１０３において、現在処理中のブロックの動きベクトル１１５が決定される。
【００２０】
図３は、本発明の候補ベクトルとするブロックの説明図である。補間フィールドを生成するための処理が進み、１フィールド画像内では、現在処理中のブロック３０２の周辺に、現在処理中のブロック３０２との相関が高い、既に動きベクトルが検出された周辺８ブロック３０３が存在する。ここで、周辺ブロック３０３の中で、現在処理ブロック３０２の右隣に位置するブロック、または下、右下、左下に位置する３つのブロックは、１フィールド前の補間フィールド画像を生成する時に処理されたブロックを意味する。図１においては、動きベクトル１１５をメモリ１０４に保存しておき、次期処理ブロックでの処理に、周辺ブロックなどの既検出ベクトル１１６を候補ベクトルとして利用する。このように、現在処理中のブロックとの相関が高い、周辺ブロックの検出済み動きベクトル３０４，３０５，３０６，３０７を候補ベクトルとすることで、全探索方式に比べ、動きベクトル検出のための演算処理量を低減することができる。
【００２１】
図７は、本発明の候補ベクトルとするブロックの説明図（画面左エッジ）である。画面左エッジを処理する場合、現在処理中のブロックとの相関が高い、周辺ブロックの検出済み動きベクトルとするブロックが７０４、７０５で示される２つの候補ベクトルとするブロックになってしまう。そこで、画面外ブロック７０７に前ライン右エッジ（付近）の検出済み動きベクトル７０６を候補ベクトルの１つとすることで、検出すべき動きベクトルの精度を高くすることができる。ここで、画面外ブロック７０７に対応する前ライン右エッジ（付近）の検出済み動きベクトルは、７０６の１つ左のブロックｘでも構わないし、２つ左のブロックｙでも構わない。
【００２２】
例えば、画面全体が一定方向に移動する画像を処理する場合には、画面内の各ブロックで動きベクトルの相関が高くなる。よって、現在処理中のブロックより離れた場所に位置するブロック（図７の７０６）を候補ベクトルの１つとすることで検出すべき動きベクトルの精度を高くすることができる。
【００２３】
図８は、本発明の候補ベクトルとするブロックの説明図（画面上部エッジ）である。画面上部エッジを処理する場合、現在処理中のブロックとの相関が高い、周辺ブロックの検出済み動きベクトルとするブロックが８０５で示される１つの候補ベクトルとするブロックになってしまう。そこで、画面外ブロック８０６、８０７、８０８に前フィールド下部エッジ（付近）の検出済み動きベクトル８１０、８１１、８１２を候補ベクトルとすることで、検出すべき動きベクトルの精度を高くすることができる。ここで、画面外ブロック８０６、８０７、８０８に対応する前フィールド下部エッジ（付近）の検出済み動きベクトルは、８１０、８１１、８１２の１つ上のブロックａ、ｂ、ｃでも構わないし、２つ上のブロックｄ、ｅ、ｆでも構わない。
【００２４】
例えば、画面全体が一定方向に移動する画像を処理する場合には、画面内の各ブロックで動きベクトルの相関が高くなる。よって、現在処理中のブロックより離れた場所に位置するブロック（図８の８１０、８１１、８１２）を候補ベクトルの１つとすることで検出すべき動きベクトルの精度を高くすることができる。
【００２５】
このようにして、本発明によると、検出済みの動きベクトルを探索候補ベクトルの１つとして利用するので、動きベクトルを検出するための演算処理量を削減することができ、画面の上部エッジ、左エッジの処理を行う場合にも、候補ベクトルの数を減らさないので検出される動きベクトルの精度が上がり、高画質化可能になる。
【図面の簡単な説明】
【００２６】
【図１】本発明の動きベクトル検出処理のブロック図。
【図２】本発明の動きベクトル検出方法の概念図。
【図３】本発明の候補ベクトルとするブロックの説明図。
【図４】従来例の動きベクトル検出処理のブロック図。
【図５】従来例の動きベクトル検出方法の概念図。
【図６】従来例の候補ベクトル処理の説明図。
【図７】本発明の候補ベクトルとするブロックの説明図（画面左エッジ）。
【図８】本発明の候補ベクトルとするブロックの説明図（画面上部エッジ）。
【符号の説明】
【００２７】
１００  ＳＡＤ演算部                      １０１  ＳＡＤ最小値判定部
１０２  候補ベクトル生成部                １０３  動きベクトル決定部
１０４  メモリ                            １１０  １フィールド前画像データ
１１１  １フィールド後画像データ          １１２  演算結果
１１３  候補ベクトル                      １１４  判定結果
１１５  動きベクトル                      １１６  既検出ベクトル
２００  フィールドｎ−２画像              ２０１  フィールドｎ−１画像（補間）
２０２  フィールドｎ画像                  ２０３  参照ブロック１
２０４  現在処理ブロック                  ２０５  参照ブロック２
２０６  候補ベクトル                      ２０７  画素ブロック
３００  １フィールド画面                  ３０１  ブロック
３０２  現在処理ブロック                  ３０３  現在処理ブロックの周辺ブロック
３０４  候補ベクトルとするブロック１      ３０５  候補ベクトルとするブロック２
３０６  候補ベクトルとするブロック３      ３０７  候補ベクトルとするブロック４
３０８  処理済みブロック                  ４００  ＳＡＤ演算部
４０１  ＳＡＤ最小値判定部                ４０２  候補ベクトル生成部
４０３  動きベクトル決定部                ４１０  前フレームデータ
４１１  現在フレームデータ                ４１２  演算結果
４１３  候補ベクトル                      ４１４  判定結果
４１５  動きベクトル                      ５００  前フレーム
５０１  現在フレーム                      ５０２  探索範囲
５０３  予測対象ブロック                  ５０４  参照ブロック
５０５  候補ベクトル                      ５０６  動きベクトル
５０７  予測対象ブロックと同位置のブロック
６０１、６０３  現在処理ブロック          ６０２、６０４  画像の境界
７００  １フィールド画面                  ７０１  ブロック
７０２  現在処理ブロック                  ７０３  現在処理ブロックの周辺ブロック
７０４  候補ベクトルとするブロック１      ７０５  候補ベクトルとするブロック２
７０６  候補ベクトルとするブロックＡ      ７０７  画面外ブロック
７０８  処理済みブロック                  ８００  前フィールド画面ｎ−１
８０１  現在処理中のフィールド画面ｎ      ８０２  ブロック
８０３  現在処理ブロック                  ８０４  現在処理ブロックの周辺ブロック
８０５  候補ベクトルとするブロック１      ８０６、８０７、８０８  画面外ブロック
８０９  処理済みブロック                  ８１０  候補ベクトルとするブロックＡ
８１１  候補ベクトルとするブロックＢ      ８１２  候補ベクトルとするブロックＣ
【図１】
2006217486.tif 000003
【図２】
2006217486.tif 000004
【図３】
2006217486.tif 000005
【図４】
2006217486.tif 000006
【図５】
2006217486.tif 000007
【図６】
2006217486.tif 000008
【図７】
2006217486.tif 000009
【図８】
2006217486.tif 000010