(57)【特許請求の範囲】
【請求項１】
輝度信号と色信号とを含むコンポジットビデオ信号から、注目している点である注目点の動きベクトルを検出する画像処理装置において、
前記注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、前記コンポジットビデオ信号の前記輝度信号と前記色信号とを加算または減算して得られた画像信号から、前記注目点における前記色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、または前記フィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成手段と、
前記注目点の周辺の前記注目フィールドにおける点の前記第１の特徴量および前記注目点の前記第１の特徴量に、配置および値の最も近い前記第１の特徴量であって、前記他のフィールドにおける前記第１の特徴量を検出することにより、前記動きベクトルに近似する第１のベクトルを検出する第１の検出手段と、
前記注目フィールドと他のフィールドとについて、前記動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、前記対象点の存在するフィールドにおける前記対象点の周辺の点であって、前記対象点に隣接するか、前記対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、前記対象点に対応する第２の特徴量を生成する第２の生成手段と、
前記第１のベクトルで指定される位置を中心とした、前記他のフィールドのサーチする領域から、前記注目フィールドにおける前記注目点の周辺の点の前記第２の特徴量および前記注目点の前記第２の特徴量に、配置および値の最も近い前記第２の特徴量であって、前記他のフィールドにおける前記第２の特徴量の位置を示す、第２のベクトルとして前記動きベクトルを検出する第２の検出手段と
を含むことを特徴とする画像処理装置。
【請求項２】
前記第１の検出手段は、前記注目点の属する動画像の画面である前記注目フィールドの前記第１の特徴量と、最も相関の強い前記第１の特徴量であって、前記注目画面に隣接する前記動画像の画面である前記他のフィールドの前記第１の特徴量の位置から、前記動きベクトルに近似する前記第１のベクトルを検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の検出手段は、前記注目点の属する動画像の画面である前記注目フィールドにおける、前記注目点を含む第１の範囲の前記第２の特徴量と、最も相関の強い前記第２の特徴量であって、前記注目フィールドに隣接する前記動画像の画面である前記他のフィールドにおける、前記第１のベクトルで指定される位置を中心としたサーチする領域の前記第２の特徴量の位置から、前記第２のベクトルとして前記動きベクトルを検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第２の検出手段は、前記第２の特徴量にクラス分類適応処理を適用し、前記第２のベクトルとして前記動きベクトルを検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第２の検出手段は、前記注目点における前記色信号の位相を用いて、クラス分類する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第２の検出手段は、前のフィールドにおいて検出された前記第２のベクトルで示される位置の前記第２の特徴量に適応処理を適用する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
輝度信号と色信号とを含むコンポジットビデオ信号から注目している点である注目点の動きベクトルを検出する画像処理方法において、
前記注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、前記コンポジットビデオ信号の前記輝度信号と前記色信号とを加算または減算して得られた画像信号から、前記注目点における前記色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、または前記フィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成ステップと、
前記注目点の周辺の前記注目フィールドにおける点の前記第１の特徴量および前記注目点の前記第１の特徴量に、配置および値の最も近い前記第１の特徴量であって、前記他のフィールドにおける前記第１の特徴量を検出することにより、前記動きベクトルに近似する第１のベクトルを検出する第１の検出ステップと、
前記注目フィールドと他のフィールドとについて、前記動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、前記対象点の存在するフィールドにおける前記対象点の周辺の点であって、前記対象点に隣接するか、前記対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、前記対象点に対応する第２の特徴量を生成する第２の生成ステップと、
前記第１のベクトルで指定される位置を中心とした、前記他のフィールドのサーチする領域から、前記注目フィールドにおける前記注目点の周辺の点の前記第２の特徴量および前記注目点の前記第２の特徴量に、配置および値の最も近い前記第２の特徴量であって、前記他のフィールドにおける前記第２の特徴量の位置を示す、第２のベクトルとして前記動きベクトルを検出する第２の検出ステップと
を含むことを特徴とする画像処理方法。
【請求項８】
輝度信号と色信号とを含むコンポジットビデオ信号から注目している点である注目点の動きベクトルを検出する画像処理用のプログラムであって、
前記注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、前記コンポジットビデオ信号の前記輝度信号と前記色信号とを加算または減算して得られた画像信号から、前記注目点における前記色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、または前記フィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成ステップと、
前記注目点の周辺の前記注目フィールドにおける点の前記第１の特徴量および前記注目点の前記第１の特徴量に、配置および値の最も近い前記第１の特徴量であって、前記他のフィールドにおける前記第１の特徴量を検出することにより、前記動きベクトルに近似する第１のベクトルを検出する第１の検出ステップと、
前記注目フィールドと他のフィールドとについて、前記動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、前記対象点の存在するフィールドにおける前記対象点の周辺の点であって、前記対象点に隣接するか、前記対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、前記対象点に対応する第２の特徴量を生成する第２の生成ステップと、
前記第１のベクトルで指定される位置を中心とした、前記他のフィールドのサーチする領域から、前記注目フィールドにおける前記注目点の周辺の点の前記第２の特徴量および前記注目点の前記第２の特徴量に、配置および値の最も近い前記第２の特徴量であって、前記他のフィールドにおける前記第２の特徴量の位置を示す、第２のベクトルとして前記動きベクトルを検出する第２の検出ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項９】
輝度信号と色信号とを含むコンポジットビデオ信号から注目している点である注目点の動きベクトルを検出する画像処理装置を制御するコンピュータに、
前記注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、前記コンポジットビデオ信号の前記輝度信号と前記色信号とを加算または減算して得られた画像信号から、前記注目点における前記色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、または前記フィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成ステップと、
前記注目点の周辺の前記注目フィールドにおける点の前記第１の特徴量および前記注目点の前記第１の特徴量に、配置および値の最も近い前記第１の特徴量であって、前記他のフィールドにおける前記第１の特徴量を検出することにより、前記動きベクトルに近似する第１のベクトルを検出する第１の検出ステップと、
前記注目フィールドと他のフィールドとについて、前記動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、前記対象点の存在するフィールドにおける前記対象点の周辺の点であって、前記対象点に隣接するか、前記対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、前記対象点に対応する第２の特徴量を生成する第２の生成ステップと、
前記第１のベクトルで指定される位置を中心とした、前記他のフィールドのサーチする領域から、前記注目フィールドにおける前記注目点の周辺の点の前記第２の特徴量および前記注目点の前記第２の特徴量に、配置および値の最も近い前記第２の特徴量であって、前記他のフィールドにおける前記第２の特徴量の位置を示す、第２のベクトルとして前記動きベクトルを検出する第２の検出ステップと
を実行させるプログラム。
【請求項１０】
輝度信号と色信号とを含むコンポジットビデオ信号から注目している点である注目点の動きベクトルを検出する演算において使用される係数を生成する画像処理装置において、
前記注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、前記コンポジットビデオ信号の前記輝度信号と前記色信号とを加算または減算して得られた画像信号から、前記注目点における前記色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、または前記フィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成手段と、
前記注目点の周辺の前記注目フィールドにおける点の前記第１の特徴量および前記注目点の前記第１の特徴量に、配置および値の最も近い前記第１の特徴量であって、前記他のフィールドにおける前記第１の特徴量を検出することにより、前記動きベクトルに近似する近似ベクトルを検出する検出手段と、
前記注目フィールドと他のフィールドとについて、前記動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、前記対象点の存在するフィールドにおける前記対象点の周辺の点であって、前記対象点に隣接するか、前記対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、前記対象点に対応する第２の特徴量を生成する第２の生成手段と、
前記近似ベクトルで指定される位置を中心とした所定の大きさの領域の前記第２の特徴量から求められる正規方程式であって、残差を最小とする正規方程式を解くことにより、前記係数を算出する算出手段と
を含むことを特徴とする画像処理装置。
【請求項１１】
前記算出手段は、前記近似ベクトルで指定される位置を中心とした前記大きさの領域の前記第２の特徴量から、前記動きベクトルを検出するクラス分類適応処理において使用される前記係数を算出する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
輝度信号と色信号とを含むコンポジットビデオ信号から注目している点である注目点の動きベクトルを検出する演算において使用される係数を生成する画像処理方法において、
前記注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、前記コンポジットビデオ信号の前記輝度信号と前記色信号とを加算または減算して得られた画像信号から、前記注目点における前記色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、または前記フィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成ステップと、
前記注目点の周辺の前記注目フィールドにおける点の前記第１の特徴量および前記注目点の前記第１の特徴量に、配置および値の最も近い前記第１の特徴量であって、前記他のフィールドにおける前記第１の特徴量を検出することにより、前記動きベクトルに近似する近似ベクトルを検出する検出ステップと、
前記注目フィールドと他のフィールドとについて、前記動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、前記対象点の存在するフィールドにおける前記対象点の周辺の点であって、前記対象点に隣接するか、前記対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、前記対象点に対応する第２の特徴量を生成する第２の生成ステップと、
前記近似ベクトルで指定される位置を中心とした所定の大きさの領域の前記第２の特徴量から求められる正規方程式であって、残差を最小とする正規方程式を解くことにより、前記係数を算出する算出ステップと
を含むことを特徴とする画像処理方法。
【請求項１３】
輝度信号と色信号とを含むコンポジットビデオ信号から注目している点である注目点の動きベクトルを検出する演算において使用される係数を生成する画像処理用のプログラムであって、
前記注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、前記コンポジットビデオ信号の前記輝度信号と前記色信号とを加算または減算して得られた画像信号から、前記注目点における前記色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、または前記フィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成ステップと、
前記注目点の周辺の前記注目フィールドにおける点の前記第１の特徴量および前記注目点の前記第１の特徴量に、配置および値の最も近い前記第１の特徴量であって、前記他のフィールドにおける前記第１の特徴量を検出することにより、前記動きベクトルに近似する近似ベクトルを検出する検出ステップと、
前記注目フィールドと他のフィールドとについて、前記動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、前記対象点の存在するフィールドにおける前記対象点の周辺の点であって、前記対象点に隣接するか、前記対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、前記対象点に対応する第２の特徴量を生成する第２の生成ステップと、
前記近似ベクトルで指定される位置を中心とした所定の大きさの領域の前記第２の特徴量から求められる正規方程式であって、残差を最小とする正規方程式を解くことにより、前記係数を算出する算出ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１４】
輝度信号と色信号とを含むコンポジットビデオ信号から注目している点である注目点の動きベクトルを検出する演算において使用される係数を生成する画像処理装置を制御するコンピュータに、
前記注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、前記コンポジットビデオ信号の前記輝度信号と前記色信号とを加算または減算して得られた画像信号から、前記注目点における前記色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、または前記フィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成ステップと、
前記注目点の周辺の前記注目フィールドにおける点の前記第１の特徴量および前記注目点の前記第１の特徴量に、配置および値の最も近い前記第１の特徴量であって、前記他のフィールドにおける前記第１の特徴量を検出することにより、前記動きベクトルに近似する近似ベクトルを検出する検出ステップと、
前記注目フィールドと他のフィールドとについて、前記動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、前記対象点の存在するフィールドにおける前記対象点の周辺の点であって、前記対象点に隣接するか、前記対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、前記対象点に対応する第２の特徴量を生成する第２の生成ステップと、
前記近似ベクトルで指定される位置を中心とした所定の大きさの領域の前記第２の特徴量から求められる正規方程式であって、残差を最小とする正規方程式を解くことにより、前記係数を算出する算出ステップと
を実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、動きベクトルを検出するか、または動きベクトルの検出の処理に使用される係数を算出する画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
NTSC(National Television System Committee)方式のコンポジットビデオ信号から動きベクトルを検出することができる。
【０００３】
従来のNTSC方式のコンポジットビデオ信号から動きベクトルを検出する処理において、そのまま動きベクトルを検出する処理を実行すると、色信号に対応して変調されているサブキャリアの影響により、誤差が大きくなる。そこで、一旦、コンポジットビデオ信号が輝度信号および色信号に簡易に分離され、簡易に分離された輝度信号のみを基に、動きベクトルが検出される。
【０００４】
または、簡易に分離された色信号のみを基に、動きベクトルが検出されるか、若しくは、輝度信号および色信号を個々に使用して、それぞれに動きベクトルが検出され、それぞれの検出結果を基に、判定の処理が実行される。
【０００５】
【発明が解決しようとする課題】
しかしながら、コンポジットビデオ信号から動きベクトルを検出する処理において、精度の高い動きベクトルの検出は困難であった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、コンポジットビデオ信号から、より精度の高い動きベクトルを検出できるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の第１の画像処理装置は、注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、コンポジットビデオ信号の輝度信号と色信号とを加算または減算して得られた画像信号から、注目点における色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、またはフィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成手段と、注目点の周辺の注目フィールドにおける点の第１の特徴量および注目点の第１の特徴量に、配置および値の最も近い第１の特徴量であって、他のフィールドにおける第１の特徴量を検出することにより、動きベクトルに近似する第１のベクトルを検出する第１の検出手段と、注目フィールドと他のフィールドとについて、動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、対象点の存在するフィールドにおける対象点の周辺の点であって、対象点に隣接するか、対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、対象点に対応する第２の特徴量を生成する第２の生成手段と、第１のベクトルで指定される位置を中心とした、他のフィールドのサーチする領域から、注目フィールドにおける注目点の周辺の点の第２の特徴量および注目点の第２の特徴量に、配置および値の最も近い第２の特徴量であって、他のフィールドにおける第２の特徴量の位置を示す、第２のベクトルとして動きベクトルを検出する第２の検出手段とを含むことを特徴とする。
【０００８】
第１の検出手段は、注目点の属する動画像の画面である注目フィールドの第１の特徴量と、最も相関の強い第１の特徴量であって、注目画面に隣接する動画像の画面である他のフィールドの第１の特徴量の位置から、動きベクトルに近似する第１のベクトルを検出するようにすることができる。
【０００９】
第２の検出手段は、注目点の属する動画像の画面である注目フィールドにおける、注目点を含む第１の範囲の第２の特徴量と、最も相関の強い第２の特徴量であって、注目フィールドに隣接する動画像の画面である他のフィールドにおける、第１のベクトルで指定される位置を中心としたサーチする領域の第２の特徴量の位置から、第２のベクトルとして動きベクトルを検出するようにすることができる。
【００１０】
第２の検出手段は、第２の特徴量にクラス分類適応処理を適用し、第２のベクトルとして動きベクトルを検出するようにすることができる。
【００１１】
第２の検出手段は、注目点における色信号の位相を用いて、クラス分類することができる。
【００１２】
第２の検出手段は、前のフィールドにおいて検出された第２のベクトルで示される位置の第２の特徴量に適応処理を適用するようにすることができる。
【００１３】
本発明の第１の画像処理方法は、注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、コンポジットビデオ信号の輝度信号と色信号とを加算または減算して得られた画像信号から、注目点における色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、またはフィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成ステップと、注目点の周辺の注目フィールドにおける点の第１の特徴量および注目点の第１の特徴量に、配置および値の最も近い第１の特徴量であって、他のフィールドにおける第１の特徴量を検出することにより、動きベクトルに近似する第１のベクトルを検出する第１の検出ステップと、注目フィールドと他のフィールドとについて、動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、対象点の存在するフィールドにおける対象点の周辺の点であって、対象点に隣接するか、対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、対象点に対応する第２の特徴量を生成する第２の生成ステップと、第１のベクトルで指定される位置を中心とした、他のフィールドのサーチする領域から、注目フィールドにおける注目点の周辺の点の第２の特徴量および注目点の第２の特徴量に、配置および値の最も近い第２の特徴量であって、他のフィールドにおける第２の特徴量の位置を示す、第２のベクトルとして動きベクトルを検出する第２の検出ステップとを含むことを特徴とする。
【００１４】
本発明の第１の記録媒体のプログラムは、注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、コンポジットビデオ信号の輝度信号と色信号とを加算または減算して得られた画像信号から、注目点における色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、またはフィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成ステップと、注目点の周辺の注目フィールドにおける点の第１の特徴量および注目点の第１の特徴量に、配置および値の最も近い第１の特徴量であって、他のフィールドにおける第１の特徴量を検出することにより、動きベクトルに近似する第１のベクトルを検出する第１の検出ステップと、注目フィールドと他のフィールドとについて、動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、対象点の存在するフィールドにおける対象点の周辺の点であって、対象点に隣接するか、対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、対象点に対応する第２の特徴量を生成する第２の生成ステップと、第１のベクトルで指定される位置を中心とした、他のフィールドのサーチする領域から、注目フィールドにおける注目点の周辺の点の第２の特徴量および注目点の第２の特徴量に、配置および値の最も近い第２の特徴量であって、他のフィールドにおける第２の特徴量の位置を示す、第２のベクトルとして動きベクトルを検出する第２の検出ステップとを含むことを特徴とする。
【００１５】
本発明の第１のプログラムは、注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、コンポジットビデオ信号の輝度信号と色信号とを加算または減算して得られた画像信号から、注目点における色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、またはフィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成ステップと、注目点の周辺の注目フィールドにおける点の第１の特徴量および注目点の第１の特徴量に、配置および値の最も近い第１の特徴量であって、他のフィールドにおける第１の特徴量を検出することにより、動きベクトルに近似する第１のベクトルを検出する第１の検出ステップと、注目フィールドと他のフィールドとについて、動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、対象点の存在するフィールドにおける対象点の周辺の点であって、対象点に隣接するか、対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、対象点に対応する第２の特徴量を生成する第２の生成ステップと、第１のベクトルで指定される位置を中心とした、他のフィールドのサーチする領域から、注目フィールドにおける注目点の周辺の点の第２の特徴量および注目点の第２の特徴量に、配置および値の最も近い第２の特徴量であって、他のフィールドにおける第２の特徴量の位置を示す、第２のベクトルとして動きベクトルを検出する第２の検出ステップとをコンピュータに実行させることを特徴とする。
【００１６】
本発明の第２の画像処理装置は、注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、コンポジットビデオ信号の輝度信号と色信号とを加算または減算して得られた画像信号から、注目点における色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、またはフィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成手段と、注目点の周辺の注目フィールドにおける点の第１の特徴量および注目点の第１の特徴量に、配置および値の最も近い第１の特徴量であって、他のフィールドにおける第１の特徴量を検出することにより、動きベクトルに近似する近似ベクトルを検出する検出手段と、注目フィールドと他のフィールドとについて、動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、対象点の存在するフィールドにおける対象点の周辺の点であって、対象点に隣接するか、対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、対象点に対応する第２の特徴量を生成する第２の生成手段と、近似ベクトルで指定される位置を中心とした所定の大きさの領域の第２の特徴量から求められる正規方程式であって、残差を最小とする正規方程式を解くことにより、係数を算出する算出手段とを含むことを特徴とする。
【００１７】
算出手段は、近似ベクトルで指定される位置を中心とした大きさの領域の第２の特徴量から、動きベクトルを検出するクラス分類適応処理において使用される係数を算出するようにすることができる。
【００１８】
本発明の第２の画像処理方法は、注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、コンポジットビデオ信号の輝度信号と色信号とを加算または減算して得られた画像信号から、注目点における色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、またはフィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成ステップと、注目点の周辺の注目フィールドにおける点の第１の特徴量および注目点の第１の特徴量に、配置および値の最も近い第１の特徴量であって、他のフィールドにおける第１の特徴量を検出することにより、動きベクトルに近似する近似ベクトルを検出する検出ステップと、注目フィールドと他のフィールドとについて、動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、対象点の存在するフィールドにおける対象点の周辺の点であって、対象点に隣接するか、対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、対象点に対応する第２の特徴量を生成する第２の生成ステップと、近似ベクトルで指定される位置を中心とした所定の大きさの領域の第２の特徴量から求められる正規方程式であって、残差を最小とする正規方程式を解くことにより、係数を算出する算出ステップとを含むことを特徴とする。
【００１９】
本発明の第２の記録媒体のプログラムは、注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、コンポジットビデオ信号の輝度信号と色信号とを加算または減算して得られた画像信号から、注目点における色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、またはフィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成ステップと、注目点の周辺の注目フィールドにおける点の第１の特徴量および注目点の第１の特徴量に、配置および値の最も近い第１の特徴量であって、他のフィールドにおける第１の特徴量を検出することにより、動きベクトルに近似する近似ベクトルを検出する検出ステップと、注目フィールドと他のフィールドとについて、動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、対象点の存在するフィールドにおける対象点の周辺の点であって、対象点に隣接するか、対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、対象点に対応する第２の特徴量を生成する第２の生成ステップと、近似ベクトルで指定される位置を中心とした所定の大きさの領域の第２の特徴量から求められる正規方程式であって、残差を最小とする正規方程式を解くことにより、係数を算出する算出ステップとを含むことを特徴とする。
【００２０】
本発明の第２のプログラムは、注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、コンポジットビデオ信号の輝度信号と色信号とを加算または減算して得られた画像信号から、注目点における色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、またはフィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量を生成する第１の生成ステップと、注目点の周辺の注目フィールドにおける点の第１の特徴量および注目点の第１の特徴量に、配置および値の最も近い第１の特徴量であって、他のフィールドにおける第１の特徴量を検出することにより、動きベクトルに近似する近似ベクトルを検出する検出ステップと、注目フィールドと他のフィールドとについて、動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、対象点の存在するフィールドにおける対象点の周辺の点であって、対象点に隣接するか、対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、対象点に対応する第２の特徴量を生成する第２の生成ステップと、近似ベクトルで指定される位置を中心とした所定の大きさの領域の第２の特徴量から求められる正規方程式であって、残差を最小とする正規方程式を解くことにより、係数を算出する算出ステップとをコンピュータに実行させることを特徴とする。
【００２１】
本発明の第１の画像処理装置および方法、記録媒体、並びにプログラムにおいては、注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、コンポジットビデオ信号の輝度信号と色信号とを加算または減算して得られた画像信号から、注目点における色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、またはフィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量が生成され、注目点の周辺の注目フィールドにおける点の第１の特徴量および注目点の第１の特徴量に、配置および値の最も近い第１の特徴量であって、他のフィールドにおける第１の特徴量を検出することにより、動きベクトルに近似する第１のベクトルが検出され、注目フィールドと他のフィールドとについて、動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、対象点の存在するフィールドにおける対象点の周辺の点であって、対象点に隣接するか、対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、対象点に対応する第２の特徴量が生成され、第１のベクトルで指定される位置を中心とした、他のフィールドのサーチする領域から、注目フィールドにおける注目点の周辺の点の第２の特徴量および注目点の第２の特徴量に、配置および値の最も近い第２の特徴量であって、他のフィールドにおける第２の特徴量の位置を示す、第２のベクトルとして動きベクトルが検出される。
【００２２】
本発明の第２の画像処理装置および方法、記録媒体、並びにプログラムにおいては、注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、コンポジットビデオ信号の輝度信号と色信号とを加算または減算して得られた画像信号から、注目点における色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、またはフィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量が生成され、注目点の周辺の注目フィールドにおける点の第１の特徴量および注目点の第１の特徴量に、配置および値の最も近い第１の特徴量であって、他のフィールドにおける第１の特徴量を検出することにより、動きベクトルに近似する近似ベクトルが検出され、注目フィールドと他のフィールドとについて、動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、対象点の存在するフィールドにおける対象点の周辺の点であって、対象点に隣接するか、対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、対象点に対応する第２の特徴量が生成され、近似ベクトルで指定される位置を中心とした所定の大きさの領域の第２の特徴量から求められる正規方程式であって、残差を最小とする正規方程式を解くことにより、係数が算出される。
【００２３】
【発明の実施の形態】
図１は、本発明に係る画像処理装置の実施の形態の構成を示すブロック図である。
【００２４】
NTSCデコーダ１１は、入力された、NTSC(National Television System Committee)方式のコンポジットビデオ信号である画像信号を基に、画像信号に対応する、デジタルデータである画像信号を生成すると共に、デジタルデータである画像信号に対応するサブキャリア位相情報を生成する。NTSCデコーダ１１は、生成したデジタルデータである画像信号およびサブキャリア位相情報を画像メモリ１２に供給する。
【００２５】
NTSCデコーダ１１により生成されるデジタルデータである画像信号は、例えば、輝度を示すＹ信号の値から色を示すＩ信号の値を減算した結果、Ｙ信号の値から色を示す他の信号であるＱ信号の値を減算した結果、Ｙ信号の値にＩ信号の値を加算した結果、およびＹ信号の値にＱ信号の値を加算した結果のいずれかの値からなる。
【００２６】
NTSCデコーダ１１により生成されるサブキャリア位相情報は、NTSCデコーダ１１により生成されたデジタルデータである画像信号に含まれる値が、Ｙ信号の値からＩ信号の値を減算した結果であるか、Ｙ信号の値からＱ信号の値を減算した結果であるか、Ｙ信号の値にＩ信号の値を加算した結果であるか、またはＹ信号の値にＱ信号の値を加算した結果であるかを示す情報である。
【００２７】
図２は、NTSCデコーダ１１により生成されるデジタルデータである画像信号およびサブキャリア位相情報を説明する図である。
【００２８】
以下、この明細書において、フィールド＃−１は、フィールド＃０の前のフィールドを示し、フィールド＃−２は、フィールド＃−１の前のフィールドを示す。フィールド＃＋１は、フィールド＃０の次（後）のフィールドを示し、フィールド＃＋２は、フィールド＃＋１の次のフィールドを示す。
【００２９】
フィールド＃０および番号の絶対値が偶数であるフィールドは、いわゆるトップフィールドである。番号の絶対値が奇数であるフィールドは、いわゆるボトムフィールドである。
【００３０】
例えば、フィールド＃−１は、ボトムフィールドであり、ライン２、ライン４、およびライン６などに対応する画像信号を含む。フィールド＃０は、いわゆるトップフィールドであり、ライン１、ライン３、およびライン５などに対応する画像信号を含む。
【００３１】
例えば、フレーム＃−１は、フィールド＃−２および図示せぬフィールド＃−３により構成される。フレーム＃０は、フィールド＃０およびフィールド＃−１により構成される。フレーム＃＋１は、フィールド＃＋２およびフィールド＃＋１により構成される。
【００３２】
従って、例えば、フレーム＃０には、フィールド＃０のライン１、フィールド＃−１のライン２、フィールド＃０のライン３、フィールド＃−１のライン４、フィールド＃０のライン５、およびフィールド＃−１のライン６が、画面の上から順に並び、さらに、フィールド＃０のラインおよびフィールド＃−１のラインが交互に並ぶ。
【００３３】
NTSCデコーダ１により生成されるデジタルデータは、NTSC方式のコンポジットビデオ信号のうちの、輝度信号および色信号により平衡変調されている部分の位相が変化する周期に対応し、フィールドにおいて空間方向に離散的なデータである。NTSCデコーダ１により生成されるデジタルデータを構成する、いわゆる画素に対応する個々の値は、NTSC方式のコンポジットビデオ信号を量子化することにより生成され、１つの輝度および色に対応する。
【００３４】
図２において、白い四角、白い丸、黒い四角、および黒い丸は、デジタルデータである画像信号を構成し、１つの画素に対応する、それぞれ１つの値を示す。
【００３５】
白い四角は、輝度を示すＹ信号の値に、色を示すＩ信号の値を加算した結果に対応する値であることを示す。白い丸は、Ｙ信号の値に、色を示す他の信号であるＱ信号の値を加算した結果に対応する値であることを示す。
【００３６】
黒い四角は、Ｙ信号の値からＩ信号の値を減算した結果に対応する値であることを示す。黒い丸は、Ｙ信号の値からＱ信号の値を減算した結果に対応する値であることを示す。
【００３７】
NTSCデコーダ１１により生成されるデジタルデータである画像信号の値における、Ｙ信号の値およびＩ信号の値の加算若しくは減算、またはＹ信号の値およびＱ信号の値の加算若しくは減算は、NTSCデコーダ１１に入力されるNTSC方式のコンポジットビデオ信号における、サブキャリアが平衡変調されてなる色信号成分に対応するＩ信号およびＱ信号の位相の反転に対応する。
【００３８】
サブキャリア位相情報は、NTSCデコーダ１１により生成されるデジタルデータである画像信号の値のそれぞれが、Ｙ信号の値からＩ信号の値を減算した値、Ｙ信号の値からＱ信号の値を減算した値、Ｙ信号の値にＩ信号の値を加算した値、およびＹ信号の値にＱ信号の値を加算した値のいずれに対応するかを示す情報である。
【００３９】
画像メモリ１２は、NTSCデコーダ１１から供給された画像信号およびサブキャリア位相情報を記憶し、記憶している画像信号およびサブキャリア位相情報を動きベクトル検出部１３に供給する。
【００４０】
動きベクトル検出部１３は、画像処理装置の外部から供給されるパラメータＡおよびパラメータＢ、並びに画像メモリ１２から供給された画像信号およびサブキャリア位相情報を基に、画像メモリ１２から供給された画像信号のそれぞれ値に対応する、注目しているフィールドと次のフィールドとの間の動きベクトルを生成し、生成した動きベクトルを出力する。
【００４１】
パラメータＡおよびパラメータＢは、動きベクトル検出部１３における処理の内容を指定するパラメータであり、例えば、動きベクトル検出部１３の動きベクトルの検出の処理における相関の算出方式、マッチングをとるブロックの大きさ、または探索（サーチ）領域の大きさなどを指定する。
【００４２】
図３は、動きベクトル検出部１３の構成を示すブロック図である。画像メモリ１２から供給された画像信号およびサブキャリア位相情報は、バッファ２１、特徴量変換部２３、および特徴量変換部２４に入力される。
【００４３】
バッファ２１は、画像メモリ１２から供給された画像信号およびサブキャリア位相情報を記憶し、記憶している画像信号およびサブキャリア位相情報を特徴量変換部２３およびバッファ２２に供給する。すなわち、バッファ２１は、入力された画像信号およびサブキャリア位相情報を１つのフィールドに対応する期間遅延させ、遅延された画像信号およびサブキャリア位相情報を特徴量変換部２３およびバッファ２２に供給する。
【００４４】
バッファ２２は、バッファ２１から供給された画像信号およびサブキャリア位相情報を記憶し、記憶している画像信号およびサブキャリア位相情報を特徴量変換部２４に供給する。すなわち、バッファ２２は、バッファ２１から供給された画像信号およびサブキャリア位相情報を１つのフィールドに対応する期間遅延させ、遅延された画像信号およびサブキャリア位相情報を特徴量変換部２４に供給する。
【００４５】
特徴量変換部２３は、画像メモリ１２から入力された画像信号およびサブキャリア位相情報、並びにバッファ２１から供給された画像信号およびサブキャリア位相情報を基に、上位階層特徴量を生成し、生成した上位階層特徴量を上位階層動きベクトル検出部２５に供給する。
【００４６】
特徴量変換部２４は、画像メモリ１２から入力された画像信号およびサブキャリア位相情報、並びにバッファ２２から供給された画像信号およびサブキャリア位相情報を基に、下位階層特徴量を生成し、サブキャリア位相情報と共に、生成した上位階層特徴量を下位階層動きベクトル検出部２６に供給する。
【００４７】
なお、特徴量変換部２３および特徴量変換部２４は、入力された画像信号およびサブキャリア位相信号を基に、リアルタイムに上位階層特徴量または下位階層特徴量を生成して、順次出力するようにしても、フィールド毎に、生成した上位階層特徴量または下位階層特徴量を一時的に記憶し、フィールドを単位として上位階層特徴量または下位階層特徴量をまとめて出力するようにしてもよい。
【００４８】
上位階層動きベクトル検出部２５は、パラメータＡで指定された演算方式等により、特徴量変換部２３から供給された上位階層特徴量を基に、最終的に検出される動きベクトルに近似し、フィールド間のおおまかな動きを示す上位階層ベクトルを生成し、生成した上位階層ベクトルを下位階層動きベクトル検出部２６に供給する。
【００４９】
下位階層動きベクトル検出部２６は、パラメータＢで指定された演算方式等により、特徴量変換部２４から供給された下位階層特徴量およびサブキャリア位相情報、並びに上位階層動きベクトル検出部２５から供給された上位階層ベクトルを基に、上位階層ベクトルに比較して、より精度の高い下位階層ベクトルを生成し、生成した下位階層ベクトルを動きベクトルとして出力する。
【００５０】
図４は、上位階層動きベクトル検出部２５の構成を示すブロック図である。ベクトル生成部３１は、生成するベクトルの大きさおよび方向の範囲を示す、パラメータＡに含まれるデータを基に、所定の範囲の大きさおよび方向を有するベクトルを順次生成し、生成したベクトルを相関値算出部３２および判定部３３に供給する。
【００５１】
相関値算出部３２は、相関値の算出方式を指定するパラメータＡに含まれるデータを基に、ベクトル生成部３１から供給されたベクトルで指定される、１つのフィールドに対応する上位階層特徴量と、他のフィールドに対応する上位階層特徴量との相関値を算出し、算出した相関値を判定部３３に供給する。例えば、相関値は、上位階層特徴量の差分の絶対値の和である。相関値は、上位階層特徴量の差分の絶対値の２乗の和とすることができる。または、相関値は、１つのフィールドに対応する上位階層特徴量と、他のフィールドに対応する上位階層特徴量とを、２つの確率変数の数列とする相関、すなわち、上位階層特徴量の相互相関とすることができる。
【００５２】
相関値算出部３２は、元の画像信号のデータに比較して疎である上位階層特徴量を用いた、疎であるブロックを用いて相関値の算出の処理を実行する。従って、上位階層動きベクトル検出部２５における演算量を少なくすることができる。
【００５３】
判定部３３は、ベクトル生成部３１から供給されたベクトルに対応させて、相関値算出部３２から供給された相関値を記憶する。所定の範囲の大きさおよび方向を有するベクトルに対応する相関値が算出されたとき、判定部３３は、相関値の算出方式を指定するパラメータＡに含まれるデータを基に、記憶している相関値のうち、最も相関の強い相関値を選択し、選択した相関値に対応するベクトルを上位階層ベクトルとして出力する。例えば、相関値が上位階層特徴量の差分の絶対値の２乗の和であるとき、判定部３３は、最小の相関値に対応するベクトルを上位階層ベクトルとして出力する。
【００５４】
図５は、下位階層動きベクトル検出部２６の構成を示すブロック図である。ベクトル生成部４１は、上位階層動きベクトル検出部２５から供給された上位階層ベクトル、および生成するベクトルの大きさおよび方向の範囲を示す、パラメータＢに含まれるデータを基に、所定の範囲の大きさおよび方向を有するベクトルを順次生成し、生成したベクトルを相関値算出部４２および判定部４３に供給する。
【００５５】
相関値算出部４２は、相関値の算出方式を指定するパラメータＢに含まれるデータを基に、ベクトル生成部４１から供給されたベクトルで指定される１つのフィールドに対応する下位階層特徴量と、他のフィールドに対応する下位階層特徴量との相関値を算出し、算出した相関値を判定部４３に供給する。例えば、相関値は、下位階層特徴量の差分の絶対値の和である。相関値は、下位階層特徴量の差分の絶対値の２乗の和とすることができる。または、相関値は、１つのフィールドに対応する下位階層特徴量と、他のフィールドに対応する下位階層特徴量とを、２つの確率変数の数列とする相関、すなわち、下位階層特徴量の相互相関とすることができる。
【００５６】
相関値算出部４２は、元の画像信号のデータと同等の密度の下位階層特徴量を用いた、密なブロックを用いて相関値の算出の処理を実行する。
【００５７】
判定部４３は、ベクトル生成部４１から供給されたベクトルに対応させて、相関値算出部４２から供給された相関値を記憶する。所定の範囲の大きさおよび方向を有するベクトルに対応する相関値が算出されたとき、判定部４３は、相関値の算出方式を指定するパラメータＢに含まれるデータを基に、記憶している相関値のうち、最も相関の強い相関値を選択し、選択した相関値に対応するベクトルを下位階層ベクトルとして出力する。例えば、相関値が下位階層特徴量の差分の絶対値の和であるとき、判定部４３は、最小の相関値に対応するベクトルを下位階層ベクトルとして出力する。
【００５８】
図６乃至図９を参照して、動きベクトル検出部１３が実行する処理の詳細な例について説明する。
【００５９】
図６は、上位階層動きベクトル検出部２５による上位階層ベクトルの検出の処理に使用される上位階層特徴量、下位階層動きベクトル検出部２６による下位階層ベクトルの検出の処理に使用される下位階層特徴量、および下位階層動きベクトル検出部２６のサーチ領域の例を示す図である。
【００６０】
図６の数字は、重みを表す。例えば、重みの全てが１であるとき、特徴量変換部２３は、画像信号に含まれる所定の位相のデータを、そのまま上位階層特徴量として出力する。
【００６１】
例えば、上位階層動きベクトル検出部２５は、上位階層特徴量のうち、動きベクトルを検出しようとしている注目点に対応する注目データと、注目データの周辺の６つのデータであって、注目データと位相が同一であるデータを１つのブロックとし、他のフィールドにおける、注目データと位相が同一であるデータとのマッチングをとる。すなわち、上位階層動きベクトル検出部２５は、注目しているフィールドの１つのブロックに属している、所定の数の特徴量の配置とその値が最も近い、他のフィールドの特徴量の位置を検出する。上位階層ベクトルは、注目しているフィールドの注目データの位置から、他のフィールドの、配置および値が最も近い特徴量の位置を示す。
【００６２】
ここで、データの位相が同一であるとは、データの算出の元になった信号が同一であり、かつ、加算または減算である、データの算出の方式が同一であることをいう。
【００６３】
例えば、１つのデータがＹ信号の値からＩ信号の値を減算した値を有し、他のデータがＹ信号の値からＩ信号の値を減算した値を有するとき、この２つのデータの位相は同一である。１つのデータがＹ信号の値からＱ信号の値を減算した値を有し、他のデータがＹ信号の値からＱ信号の値を減算した値を有するとき、この２つのデータの位相は同一である。
【００６４】
同様に、１つのデータがＹ信号の値にＩ信号の値を加算した値を有し、他のデータがＹ信号の値にＩ信号の値を加算した値を有するとき、この２つのデータの位相は同一である。１つのデータがＹ信号の値にＱ信号の値を加算した値を有し、他のデータがＹ信号の値にＱ信号の値を加算した値を加算した値を有するとき、この２つのデータの位相は同一である。
【００６５】
一方、Ｙ信号の値からＩ信号の値を減算した値を有するデータ、Ｙ信号の値にＩ信号の値を加算した値を有するデータ、Ｙ信号の値からＱ信号の値を減算した値を有するデータ、およびＹ信号の値にＱ信号の値を加算した値を有するデータは、互いに位相が異なる。
【００６６】
特徴量変換部２３は、２つのデータの位相が同一であるか否かを、サブキャリア位相情報を基に知ることができる。
【００６７】
図７に示すように、例えば、上位階層動きベクトル検出部２５は、注目するフィールドであるフィールド＃−１において、注目データと、白丸で示す注目データの周辺の、注目データと位相が同一である、６角形の頂点に位置する白丸に対応する６つのデータとからなる、上位階層特徴量のブロックを単位として、対応するフィールドであるフィールド＃０とのマッチングをとる。より具体的には、上位階層動きベクトル検出部２５は、注目するフィールドの上位階層特徴量のブロックと、対応するフィールドであるフィールド＃０において、サーチの対象となる対象点に対応する対象データについて、対象データと、白丸で示す対象データの周辺の、対象データと位相が同一である、６角形の頂点に位置する白丸に対応する６つのデータとからなる、上位階層特徴量のブロックとの相関を算出し、マッチングを判定する。
【００６８】
次に、図６に戻り、下位階層特徴量の例について説明する。
【００６９】
特徴量変換部２４は、例えば、注目しているフィールドの、注目データの周辺のデータを基に、注目データに対応する下位階層特徴量を算出する。特徴量変換部２４は、例えば、注目しているフィールドの、注目データに隣接する４つのデータのそれぞれに重み１を乗算して、注目データに重み４を乗算して、乗算した結果を加算して下位階層特徴量とする。
【００７０】
同様に、特徴量変換部２４は、注目しているフィールドに対応するフィールドのサーチの対象となる対象点に対応する対象データについて、対象データの周辺のデータを基に、対象データに対応する下位階層特徴量を算出する。
【００７１】
また、特徴量変換部２４は、例えば、図８に示すように、注目しているフィールド＃−１において、注目データから２つ上側のデータ、注目データから２つ下側のデータ、注目データから２つ右側のデータ、および注目データから２つ左側のデータのそれぞれに重み１を乗算して、注目データに重み４を乗算して、乗算した結果を加算して下位階層特徴量とする。
【００７２】
特徴量変換部２４は、対応するフィールド＃０において、対象データから２つ上側のデータ、対象データから２つ下側のデータ、対象データから２つ右側のデータ、および対象データから２つ左側のデータのそれぞれに重み１を乗算して、対象データに重み４を乗算して、乗算した結果を加算して下位階層特徴量とする。
【００７３】
下位階層動きベクトル検出部２６は、上位階層動きベクトル検出部２５から供給された上位階層ベクトルで指定されるデータの位置を中心とした、対応するフィールドの特徴量の所定の範囲のサーチする領域において、注目しているフィールドの所定の数の下位階層特徴量からなるブロックと、相関が最も強い、所定の数の下位階層特徴量からなるブロックの位置を検出する。下位階層動きベクトル検出部２６は、注目しているフィールドの注目データの位置から、対応するフィールドの検出されたブロックの中心位置を示す下位階層ベクトルを動きベクトルとして出力する。
【００７４】
図９は、下位階層動きベクトル検出部２６がサーチする領域およびブロックの例を示す図である。図９において、三角は、下位階層特徴量を示す。
【００７５】
図９に示す例において、サーチされる領域は、横に７つの下位階層特徴量が並び、縦に７つの下位階層特徴量が並ぶ矩形の領域である。サーチするブロックは、横に５つの下位階層特徴量が並び、縦に５つの下位階層特徴量が並ぶ矩形の領域である。
【００７６】
図１０は、マッチングを判定する、上位階層特徴量の他のブロックの例を示す図である。図１０において、三角は、注目データと位相が同一であるデータを示す。
【００７７】
図１０に示すように、例えば、上位階層動きベクトル検出部２５は、注目するフィールドであるフィールド＃−１において、黒い三角で示す注目データと、白い三角で示す注目データの周辺の、注目データと位相が同一である、６角形の頂点に位置する白い三角に対応する６つのデータとからなる、上位階層特徴量のブロックを単位として、対応するフィールドであるフィールド＃０における、最も相関の強いブロックを検出する。
【００７８】
特徴量変換部２３が、注目データと同位相の画像信号のデータからなる上位階層特徴量を出力するとき、上位階層特徴量のデータの数は、元の画像信号のデータの４分の１となる。
【００７９】
図１１および図１２は、上位階層特徴量の他の例を示す図である。
【００８０】
図１１に示すように、特徴量変換部２３は、例えば、所定のフィールドの１つのライン上の、それぞれ異なる位相の４つのデータの平均値を算出し、算出された平均値を上位階層特徴量として出力する。
【００８１】
図１２に示すように、特徴量変換部２３は、例えば、所定のフィールドの上下に隣接する２つのライン上の、上下および左右に相互に隣接する、それぞれ異なる位相の４つのデータの平均値を算出し、算出された平均値を上位階層特徴量として出力する。
【００８２】
特徴量変換部２３が、それぞれ異なる位相の４つのデータの平均値を算出し、上位階層特徴量を出力するとき、上位階層特徴量のデータの数は、元の画像信号のデータの４分の１となる。
【００８３】
図１３乃至図１７は、下位階層特徴量の他の例を示す図である。
【００８４】
図１３に示すように、特徴量変換部２４は、注目しているフィールド＃−１の、注目データの上側のデータおよび下側のデータ、並びに注目データから左側に２つめのデータおよび注目データから右側に２つめのデータを基に、下位階層特徴量を算出する。例えば、注目データをp2とし、上側のデータをp0とし、左側に２つめのデータをp1とし、右側に２つめのデータをp3とし、下側のデータをp4としたとき、注目データp2に対応する下位階層特徴量yは、式（１）で算出される。
y=p0+p1+4*p2+p3+p4                  （１）
【００８５】
特徴量変換部２４は、対応するフィールド＃０の、対象データの上側のデータおよび下側のデータ、並びに対象データから左側に２つめのデータおよび対象データから右側に２つめのデータを基に、下位階層特徴量を算出する。例えば、対象データをp2とし、上側のデータをp0とし、左側に２つめのデータをp1とし、右側に２つめのデータをp3とし、下側のデータをp4としたとき、対象データp2に対応する下位階層特徴量yは、式（１）で算出される。
【００８６】
図１３を参照して説明した下位階層特徴量は、注目データまたは対象データの周辺の、それぞれ位相が異なる４つのデータを基に算出されるので、サブキャリアの変動成分の影響を少なくすることができ、よって、より精度の高い動きベクトルを検出することができるようになる。
【００８７】
図１４に示すように、特徴量変換部２４は、注目フィールドであるフィールド＃−１の注目データに対応する下位階層特徴量を算出するとき、注目データ、注目フィールドの前のフィールドであるフィールド＃−２のラインであって、注目データが位置するラインの上側および下側のライン上の、注目データの上側のデータおよび下側のデータ、並びに、注目データから左側に２つめのデータおよび注目データから右側に２つめのデータを基に、下位階層特徴量を算出する。例えば、注目データをp2とし、注目データが位置するライン４の上側の、前のフィールド＃−２のライン３における、注目データの上側のデータをp0とし、ライン４の左側に２つめのデータをp1とし、ライン４の右側に２つめのデータをp3とし、注目データが位置するライン４の下側の、前のフィールド＃−２のライン５における、注目データの下側のデータをp4とし、注目データp2に対応する下位階層特徴量yは、式（２）で算出される。
y=p0+p1+4*p2+p3+p4                  （２）
【００８８】
特徴量変換部２４は、対応するフィールドであるフィールド＃０の対象データに対応する下位階層特徴量を算出するとき、対象データ、フィールド＃０の次のフィールドであるフィールド＃＋１のラインであって、対象データが位置するラインの上側および下側のライン上の、対象データの上側のデータおよび下側のデータ、並びに、対象データから左側に２つめのデータおよび対象データから右側に２つめのデータを基に、下位階層特徴量を算出する。例えば、対象データをp2とし、対象データが位置するライン３の上側の、次のフィールド＃＋１のライン２における、対象データの上側のデータをp0とし、ライン３の左側に２つめのデータをp1とし、ライン３の右側に２つめのデータをp3とし、対象データが位置するライン３の下側の、次のフィールド＃＋１のライン４における、対象データの下側のデータをp4とし、対象データp2に対応する下位階層特徴量yは、式（２）で算出される。
【００８９】
図１５に示すように、特徴量変換部２４は、注目しているフィールド＃−１の、注目データ、注目データの上側のデータおよび下側のデータ、並びに注目データの左側に隣接するデータおよび注目データの右側に隣接するデータを基に、注目データに対応する下位階層特徴量を算出する。例えば、注目データをp2とし、注目データの上側のデータをp0とし、注目データの左側に隣接するデータをp1とし、注目データの右側に隣接するデータをp3とし、注目データの下側のデータをp4としたとき、注目データp2に対応する下位階層特徴量yは、式（３）で算出される。
y=p0+p1+4*p2+p3+p4                  （３）
【００９０】
特徴量変換部２４は、対応しているフィールド＃０の、対象データ、対象データの上側のデータおよび下側のデータ、並びに対象データの左側に隣接するデータおよび対象データの右側に隣接するデータを基に、対象データに対応する下位階層特徴量を算出する。例えば、対象データをp2とし、対象データの上側のデータをp0とし、対象データの左側に隣接するデータをp1とし、対象データの右側に隣接するデータをp3とし、対象データの下側のデータをp4としたとき、対象データp2に対応する下位階層特徴量yは、式（３）で算出される。
【００９１】
図１６に示すように、特徴量変換部２４は、注目しているフィールド＃−１の、注目データ、注目データの左側に隣接するデータおよび注目データの右側に隣接するデータ、並びに注目データから左側に２つめのデータおよび注目データから右側に２つめのデータを基に、注目データに対応する下位階層特徴量を算出する。例えば、注目データをp2とし、注目データの左側に２つめのデータをp0とし、注目データの左側に隣接するデータをp1とし、注目データの右側に隣接するデータをp3とし、注目データの右側に２つめのデータをp4としたとき、注目データp2に対応する下位階層特徴量yは、式（４）で算出される。
y=p0+p1+2*p2+2*p3+p4                  （４）
【００９２】
特徴量変換部２４は、対象しているフィールド＃０の、対象データ、対象データの左側に隣接するデータおよび対象データの右側に隣接するデータ、並びに対象データから左側に２つめのデータおよび対象データから右側に２つめのデータを基に、対象データに対応する下位階層特徴量を算出する。例えば、対象データをp2とし、対象データの左側に２つめのデータをp0とし、対象データの左側に隣接するデータをp1とし、対象データの右側に隣接するデータをp3とし、対象データの右側に２つめのデータをp4としたとき、対象データp2に対応する下位階層特徴量yは、式（４）で算出される。
【００９３】
図１７に示すように、特徴量変換部２４は、注目フィールドであるフィールド＃−１の下位階層特徴量を算出するとき、注目データ、注目データから左側に２つめのデータ、および注目データから右側に２つめのデータ、並びに注目フィールドの前のフィールドであるフィールド＃−２のラインであって、注目データが位置するラインの上側および下側のライン上の、注目データ、注目データから左側に２つめのデータ、並びに注目データから右側に２つめのデータのそれぞれの上側のデータおよび下側のデータを基に、下位階層特徴量を算出する。
【００９４】
例えば、注目データをp4とし、左側に２つめのデータをp3とし、右側に２つめのデータをp5とし、注目データが位置するライン４の上側の、前のフィールド＃−２のライン３における、注目データの上側のデータをp1とし、p3の上側のデータをp0とし、p5の上側のデータをp2とし、注目データが位置するライン４の下側の、前のフィールド＃−２のライン５における、注目データの下側のデータをp7とし、p3の下側のデータをp6とし、p5の下側のデータをp8とし、注目データp4に対応する下位階層特徴量yは、式（５）で算出される。
y=p0+(-2)*p1+p2+(-2)*p3+4*p4+(-2)*p5+p6+(-2)*p7+p8            （５）
【００９５】
特徴量変換部２４は、対応するフィールドであるフィールド＃０の下位階層特徴量を算出するとき、対象データ、対象データから左側に２つめのデータ、および対象データから右側に２つめのデータ、並びに対象フィールドの次のフィールドであるフィールド＃＋１のラインであって、対象データが位置するラインの上側および下側のライン上の、対象データ、対象データから左側に２つめのデータ、並びに対象データから右側に２つめのデータのそれぞれの上側のデータおよび下側のデータを基に、下位階層特徴量を算出する。
【００９６】
例えば、対象データをp4とし、左側に２つめのデータをp3とし、右側に２つめのデータをp5とし、対象データが位置するライン３の上側の、次のフィールド＃＋１のライン２における、対象データの上側のデータをp1とし、p3の上側のデータをp0とし、p5の上側のデータをp2とし、対象データが位置するライン３の下側の、次のフィールド＃＋１のライン４における、対象データの下側のデータをp7とし、p3の下側のデータをp6とし、p5の下側のデータをp8とし、対象データp4に対応する下位階層特徴量yは、式（５）で算出される。
【００９７】
以上に例示した上位階層特徴量および下位階層特徴量は、それぞれ特徴量間で演算が実行されるので、正規化していない。勿論、上位階層特徴量および下位階層特徴量を正規化するようにしてもよい。
【００９８】
図１８は、本発明に係る画像処理装置の動きベクトルの検出の処理を説明するフローチャートである。ステップＳ１１において、動きベクトル検出部１３は、画像メモリ１２を介して、NTSCデコーダ１１から供給されたサブキャリア位相情報を基に、注目データのサブキャリアの位相を取得する。
【００９９】
ステップＳ１２において、特徴量変換部２３は、画像信号および取得したサブキャリアの位相を基に、注目フィールドおよび対応するフィールドについて、上位階層の特徴量を算出し、算出された特徴量を上位階層特徴量として出力する。
【０１００】
ステップＳ１３において、上位階層動きベクトル検出部２５は、特徴量変換部２３から供給された上位階層特徴量を基に、動きベクトルに近似する近似ベクトルである、上位階層ベクトルを検出する。上位階層ベクトルの検出の処理の詳細は、後述する。
【０１０１】
ステップＳ１４において、特徴量変換部２４は、画像信号および取得したサブキャリアの位相を基に、注目フィールドおよび対応するフィールドについて、下位階層の特徴量を算出し、算出された特徴量を下位階層特徴量として出力する。
【０１０２】
ステップＳ１５において、下位階層動きベクトル検出部２６は、特徴量変換部２４から供給された下位階層特徴量、および上位階層動きベクトル検出部２５から供給された上位階層ベクトルを基に、下位階層ベクトルを検出する。下位階層ベクトルの検出の処理の詳細は、後述する。
【０１０３】
ステップＳ１６において、下位階層動きベクトル検出部２６は、動きベクトルを出力して、処理は終了する。すなわち、下位階層動きベクトル検出部２６は、検出した下位階層動きベクトルを動きベクトルとして出力する。
【０１０４】
図１９は、ステップＳ１３に対応する、上位階層動きベクトル検出部２５による、上位階層ベクトルの検出の処理の詳細を説明するフローチャートである。ステップＳ２１において、上位階層動きベクトル検出部２５のベクトル生成部３１は、パラメータＡを基に、所定のベクトルを生成し、相関値算出部３２および判定部３３に供給する。ステップＳ２２において、相関値算出部３２は、注目フィールドの注目データに対応する上位階層特徴量を中心とし、所定の数の上位階層特徴量からなるブロックと、対応するフィールドの、ベクトル生成部３１から供給されたベクトルで指定される位置を中心とし、所定の数の上位階層特徴量からなるブロックとの相関値を算出する。相関値算出部３２は、例えば、相関値として、注目フィールドのブロックに属する上位階層特徴量と、対応するフィールドのブロックに属する上位階層特徴量との差分の絶対値の和を算出する。
【０１０５】
ステップＳ２３において、判定部３３は、ベクトル生成部３１から供給されたベクトルに対応させて、相関値算出部３２から供給された相関値を記憶する。
【０１０６】
ステップＳ２４において、上位階層動きベクトル検出部２５は、パラメータＡにより指定された、所定の範囲の相関値を算出したか否かを判定し、所定の範囲の相関値を算出していないと判定された場合、ステップＳ２１に戻り、次のベクトルに対応して、相関値の演算の処理を繰り返す。
【０１０７】
ステップＳ２４において、パラメータＡに含まれるデータで指定される、所定の範囲の相関値を算出したと判定された場合、ステップＳ２５に進み、判定部３３は、記憶している相関値のうち、最も強い相関に対応するベクトルを選択する。例えば、相関値算出部３２が、相関値として、注目フィールドのブロックに属する上位階層特徴量と、対応するフィールドのベクトルに指定される位置のブロックに属する上位階層特徴量との差分の絶対値の和を算出するとき、判定部３３は、最小の相関値を選択する。
【０１０８】
ステップＳ２６において、判定部３３は、上位階層ベクトルとして、ステップＳ２５の処理で選択したベクトルを出力して、処理は終了する。
【０１０９】
図２０は、ステップＳ１５に対応する下位階層ベクトルの検出の処理の詳細を説明するフローチャートである。ステップＳ３１において、下位階層動きベクトル検出部２６のベクトル生成部４１は、上位階層ベクトルおよびパラメータＢを基に、所定のベクトルを生成し、相関値算出部４２および判定部４３に供給する。ステップＳ３２において、相関値算出部４２は、注目フィールドの注目データに対応する下位階層特徴量を中心とし、所定の数の下位階層特徴量からなるブロックと、対応するフィールドの、上位階層ベクトル、およびベクトル生成部４１から供給されたベクトルで指定される位置を中心とし、所定の数の下位階層特徴量からなるブロックとの相関値を算出する。相関値算出部４２は、例えば、相関値として、注目フィールドのブロックに属する下位階層特徴量と、対応するフィールドのベクトルで指定される位置のブロックに属する下位階層特徴量との相互相関を算出する。
【０１１０】
ステップＳ３３において、判定部４３は、ベクトル生成部４１から供給されたベクトルに対応させて、相関値算出部４２から供給された相関値を記憶する。
【０１１１】
ステップＳ３４において、下位階層動きベクトル検出部２６は、パラメータＢに含まれるデータにより指定された、所定の範囲の相関値を算出したか否かを判定し、所定の範囲の相関値を算出していないと判定された場合、ステップＳ３１に戻り、相関値の演算の処理を繰り返す。
【０１１２】
ステップＳ３４において、所定の範囲の相関値を算出したと判定された場合、ステップＳ３５に進み、判定部４３は、記憶している相関値のうち、最も強い相関に対応するベクトルを選択する。例えば、相関値算出部４２が、相関値として、注目フィールドのブロックに属する下位階層特徴量と、対応するフィールドのベクトルに指定される位置のブロックに属する下位階層特徴量との相互相関を算出するとき、判定部３３は、最大の相関値を選択する。
【０１１３】
ステップＳ３６において、判定部４３は、下位階層ベクトルとして、ステップＳ３５の処理で選択したベクトルを出力して、処理は終了する。
【０１１４】
このように、本発明に係る画像処理装置は、より精度の高い動きベクトルを検出することができる。
【０１１５】
本発明に係る画像処理装置は、２つの階層において動きベクトルを検出する処理を実行するようにしたので、回路規模を大きくすることなく、また、複雑な演算を必要とすることなく、より精度の高い動きベクトルを検出できる。
【０１１６】
次に、クラス分類適応処理による下位階層ベクトルの検出について説明する。
【０１１７】
ここで、クラス分類処理について簡単に説明する。
【０１１８】
いま、例えば、下位階層特徴量において、ある注目データと、それに隣接する３つのデータにより、２×２データでなるクラスタップを構成し、また、各データは、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、注目データを含む２×２の４データのブロックは、各データのレベル分布により、１６（＝（２1）4）パターンに分類することができる。従って、いまの場合、注目データは、１６のパターンに分類することができ、このようなパターン分けが、クラス分類処理である。
【０１１９】
ここで、通常、各データには、例えば８ビット程度が割り当てられる。また、クラスタップを、３×３の９データで構成すると、このようなクラスタップを対象にクラス分類処理を行ったのでは、（２8）9という膨大な数のクラスに分類されることになる。
【０１２０】
そこで、本実施の形態においては、クラスタップに対して、ＡＤＲＣ(Adaptive Dynamic Range Coding)処理が施され、これにより、クラスタップを構成するデータのビット数を小さくすることで、クラス数を削減する。
【０１２１】
説明を簡単にするため、下位階層特徴量の、１つのライン上に並んだ４データで構成されるクラスタップを考えると、ＡＤＲＣ処理においては、そのデータ値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、クラスタップで構成されるブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップのブロックを構成するデータのデータ値がＫビットに再量子化される。
【０１２２】
即ち、ブロック内の各データ値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【０１２３】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。
【０１２４】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【０１２５】
クラスタップを構成するデータに割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、クラス数を削減することができる。
【０１２６】
なお、本実施の形態では、ＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【０１２７】
本実施の形態において、このように分類されたクラス毎に適応処理を実行する。適応処理としては、予め学習された予測係数を用いた予測演算を行う方式と、重心法により予測値を学習しておく方式がある。また、学習を行うための条件としては、画像信号および動きベクトルからなる、目標となる教師信号を用意しておく必要がある。
【０１２８】
次に、この教師信号を用いて、予め学習により生成されたクラス毎の予測係数を用いた予測演算を行う適応処理について説明する。例えば、５×５の下位階層特徴量E0乃至E24の２５タップにより予測タップを構成し、動き評価値E'を予測することを考える。
【０１２９】
動き評価値の予測値E'は、式（６）により算出される。
【０１３０】
【数１】
0003777592.tif 000002
Eiは、下位階層特徴量を示する。wiは、予測係数を示す。
【０１３１】
例えば、９つのデータに、上述の１ビットＡＤＲＣを適用し、５１２クラスに分類したとき、各クラス毎に生成された予測係数と下位階層特徴量との積和演算により動き評価値E'が予測される。
【０１３２】
例えば、直交する２つの動き評価値E'を算出し、それぞれ動きベクトルのｘ成分およびｙ成分とし、動きベクトルを算出することができる。また、例えば、ｎ個の動き評価値E'を算出し、それぞれが方向が異なるｎ個の単位ベクトルの大きさを示すものとし、ｎ個の動き評価値E'のそれぞれを、ｎ個の単位ベクトルのそれぞれに乗算して、乗算された結果を加算することにより、動きベクトルを算出することができる。
【０１３３】
上述の予測係数は、予め学習により生成しておくため、ここで、その学習について説明する。
【０１３４】
式（６）のモデルに基づく予測係数を最小自乗法により生成する例を示す。
【０１３５】
最小自乗法は、次のように適用される。一般化した例として、Xを入力データ、Wを予測係数、Yを予測値として式（７）を考える。
観測方程式：XW=Y                            （７）
【０１３６】
【数２】
0003777592.tif 000003
【０１３７】
上述の観測方程式により収集されたデータに最小自乗法を適用する。式（６）の例においては、nは、25であり、mは、学習データの数である。
【０１３８】
式（７）の観測方程式を基に、式（９）の残差方程式を考える。
【０１３９】
【数３】
0003777592.tif 000004
【０１４０】
式（９）の残差方程式から、各wiの最確値は、式（１０）に示す値を最小にする条件が成り立つ場合に対応する。
【０１４１】
【数４】
0003777592.tif 000005
【０１４２】
すなわち、式（１１）の条件を考慮すればよい。
【０１４３】
【数５】
0003777592.tif 000006
【０１４４】
式（１１）のiに基づくn個の条件を満たすw1乃至wnを算出すればよい。そこで、残差方程式（９）から式（１２）が得られる。
【０１４５】
【数６】
0003777592.tif 000007
【０１４６】
式（１１）および式（１２）により、式（１３）が得られる。
【０１４７】
【数７】
0003777592.tif 000008
【０１４８】
式（１０）および式（１３）から、正規方程式（１４）が得られる。
【０１４９】
【数８】
0003777592.tif 000009
【０１５０】
式（１４）の正規方程式において、未知数の数nと同じ数の方程式を立てることが可能であるので、確wiの最確値を求めることができる。例えば、掃き出し法（Gauss-Jordanの消去法）を用いて、式（１４）が解かれる。
【０１５１】
以上のようにして、クラスごとに最適な予測係数wを求め、さらに、その予測係数wを用い、式（６）により、教師信号の動きベクトルに近いベクトルを示す予測値E'を求めるのが適応処理である。
【０１５２】
なお、適応処理は、式（６）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数wが、教師信号を用いての、いわば学習により求められるため、元の動きベクトルを再現することができる。このことから、適応処理は、いわば創造作用がある処理ということができる。
【０１５３】
図２１は、クラス分類適応処理により下位階層ベクトルを検出する、下位階層動きベクトル検出部２６の他の構成を示すブロック図である。
【０１５４】
クラス分類部５１は、サブキャリア位相情報、および下位階層特徴量を基に、クラス分類し、分類されたクラスを示すクラスデータを予測タップ抽出部５２に供給する。例えば、クラス分類部５１は、注目データの位相に対応して、クラス分類する。また、例えば、クラス分類部５１は、注目データに対応する、所定の数の下位階層特徴量にＡＤＲＣ処理を適用し、クラス分類する。
【０１５５】
予測タップ抽出部５２は、クラスデータで示されるクラス、メモリ５５から供給される、前のフィールドに対応する下位階層ベクトル、および上位階層ベクトルを基に、所定の位置の、所定の数の下位階層特徴量を抽出して、抽出した下位階層特徴量を予測タップとして演算部５３に供給する。
【０１５６】
演算部５３は、予測係数メモリ５４から供給される、所定の数の予測係数からなる係数セットを基に、例えば、式（６）に示す演算を実行して、下位階層ベクトルを予測する。演算部５３は、予測された下位階層ベクトルをメモリ５５に供給するとともに、外部に出力する。
【０１５７】
メモリ５５は、演算部５３から供給された下位階層ベクトルを記憶し、記憶している下位階層ベクトルを予測タップ抽出部５２に供給する。
【０１５８】
図２２は、ステップＳ１５の処理に対応する、図２１に構成を示す下位階層動きベクトル検出部２６による、下位階層ベクトルの検出の処理を説明するフローチャートである。
【０１５９】
ステップＳ４１において、クラス分類部５１は、サブキャリア位相情報および下位階層特徴量を基に、注目データに対応してクラス分類する。
【０１６０】
ステップＳ４２において、予測タップ抽出部５２は、分類されたクラス、メモリ５５から供給された、前のフィールドに対応する下位階層ベクトル、および上位階層ベクトルに対応する、所定の数の、所定の下位階層特徴量である予測タップを抽出する。
【０１６１】
ステップＳ４３において、演算部５３は、予測係数メモリ５４に記憶されている係数セット、および予測タップを基に、下位階層ベクトルを演算する。
【０１６２】
ステップＳ４４において、演算部５３は、下位階層ベクトルをメモリ５５に記憶させると共に、下位階層ベクトルを出力して、処理は終了する。
【０１６３】
このように、図２１に構成を示す下位階層動きベクトル検出部２６は、下位階層特徴量にクラス分類適応処理を適用して、より精度の高い動きベクトルを生成することができる。
【０１６４】
図２３は、図２３に構成を示す下位階層動きベクトル検出部２６において、下位階層ベクトルの演算の処理に使用される予測係数を生成する画像処理装置の構成を示すブロック図である。
【０１６５】
図１に示す画像処理装置と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０１６６】
係数生成部１０１は、画像処理装置の外部から供給されるパラメータＡ、および画像メモリ１２から供給されたサブキャリア位相情報を基に、画像メモリ１２から供給された画像信号と動きベクトルに対応する係数セットを生成し、生成した係数セットを出力する。係数セットは、各クラスに対応する、所定の数の予測係数からなる。
【０１６７】
パラメータＡは、係数生成部１０１における処理の内容を指定するパラメータであり、例えば、相関の算出方式、マッチングをとるブロックの大きさ、または探索領域の大きさなどを指定する。
【０１６８】
図２４は、係数生成部１０１の構成を示すブロック図である。図３に示す動きベクトル検出部１３と同様の部分には同一の番号を付してあり、その説明は省略する。
【０１６９】
学習部１１１は、特徴量変換部２４から供給された下位階層特徴量およびサブキャリア位相情報、並びに上位階層動きベクトル検出部２５から供給された上位階層ベクトルを基に、動きベクトルを算出するための係数セットを算出し、算出した係数セットを出力する。
【０１７０】
図２５は、学習部１１１の構成を示すブロック図である。図２１に構成を示す下位階層動きベクトル検出部２６と同様の部分には同一の番号を付してあり、その説明は省略する。
【０１７１】
予測タップ抽出部５２は、クラスデータで示されるクラス、メモリ１２２から供給される、前のフィールドに対応する予測動きベクトル、および上位階層ベクトルを基に、所定の下位階層特徴量を抽出して、抽出した下位階層特徴量を予測タップとして係数算出部１２１に供給する。
【０１７２】
係数算出部１２１は、予測タップ抽出部５２から供給された、下位階層特徴量の所定のデータからなる予測タップを基に、予測係数および予測動きベクトルを算出する。係数算出部１２１は、算出した係数を予測係数メモリ１２３に供給すると共に、算出した予測動きベクトルをメモリ１２２に供給する。
【０１７３】
メモリ１２２は、係数算出部１２１から供給された予測動きベクトルを記憶し、記憶している予測動きベクトルを予測タップ抽出部５２に供給する。すなわち、予測タップ抽出部５２には、１つ前のフィールドに対応する予測動きベクトルが供給される。
【０１７４】
予測係数メモリ１２３は、係数算出部１２１から供給された予測係数を記憶し、記憶している予測係数を係数セットとして出力する。
【０１７５】
次に、図２６のフローチャートを参照して、画像処理装置の学習の処理を説明する。
【０１７６】
ステップＳ１０１において、係数生成部１０１は、画像メモリ１２を介して、NTSCデコーダ１１から供給されたサブキャリア位相情報を基に、注目データのサブキャリアの位相を取得する。
【０１７７】
ステップＳ１０２において、特徴量変換部２３は、上位階層の特徴量を算出し、算出された特徴量を上位階層特徴量として出力する。
【０１７８】
ステップＳ１０３において、上位階層動きベクトル検出部２５は、特徴量変換部２３から供給された上位階層特徴量を基に、上位階層ベクトルを検出する。ステップＳ１０３の処理の詳細は、図１９のフローチャートを参照して説明した処理と同様なのでその説明は省略する。
【０１７９】
ステップＳ１０４において、特徴量変換部２４は、下位階層の特徴量を算出し、算出された特徴量を下位階層特徴量として出力する。
【０１８０】
ステップＳ１０５において、学習部１１１は、特徴量変換部２４から供給された下位階層特徴量、および上位階層動きベクトル検出部２５から供給された上位階層ベクトルを基に、係数セットを算出して、処理は終了する。
【０１８１】
図２７は、ステップＳ１０５の処理に対応する、学習部１１１による、係数セットの算出の処理の詳細を説明するフローチャートである。
【０１８２】
ステップＳ１１１において、クラス分類部５１は、サブキャリア位相情報および下位階層特徴量を基に、注目データに対応し、クラス分類する。
【０１８３】
ステップＳ１１２において、予測タップ抽出部５２は、分類されたクラス、メモリ１２２から供給された、前のフィールドに対応する予測動きベクトル、および上位階層ベクトルに対応する、所定の数の、所定の下位階層特徴量である予測タップを抽出する。
【０１８４】
ステップＳ１１３において、係数算出部１２１は、予測タップ抽出部５２から供給された予測タップ、および外部から供給された動きベクトルを基に、係数を算出する。係数算出部１２１は、算出した係数を予測係数メモリ１２３に供給する。
【０１８５】
ステップＳ１１４において、予測係数メモリ１２３は、係数を記憶して、処理は終了する。
【０１８６】
このように、図２３に構成を示す画像処理装置は、下位階層ベクトルの演算の処理に使用される予測係数を生成することができる。
【０１８７】
なお、以上の説明においてデジタルデータである画像信号は、Ｙ信号、Ｉ信号、またはＱ信号に対応する信号であると説明したが、Ｙ信号、Ｉ信号、またはＱ信号からなる信号に限定されず、Ｙ信号、Ｕ信号、およびＶ信号、Ｙ信号、Ｐｂ信号、およびＰｒ信号、またはＹ信号、Ｃｂ信号、およびＣｒ信号などの他の方式の画像信号であってもよい。
【０１８８】
また、本発明に係る画像処理装置は、NTSC方式のコンポジットビデオ信号である画像信号を基に、動きベクトルを検出すると説明したが、NTSC方式に限らず、PAL(Phase Alternation by Line)方式などの他の方式のコンポジットビデオ信号を基に、動きベクトルを検出するようにしてもよい。
【０１８９】
なお、本発明に係る画像処理装置は、注目している注目フィールドと、注目フィールドの次のフィールドとの動きベクトルを検出すると説明したが、注目している注目フィールドと、注目フィールドの前のフィールドとの動きベクトルを検出するようにしてもよい。
【０１９０】
また、本発明に係る画像処理装置は、フィールドを単位とし動きベクトルを検出すると説明したが、フレームを単位として動きベクトルを検出するようにしてもよい。
【０１９１】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１９２】
図２８は、記録媒体およびコンピュータの例を説明する図である。CPU（Central Processing Unit）５０１は、各種アプリケーションプログラムや、OS（Operating System)を実際に実行する。ROM（Read-only Memory）５０２は、一般的には、CPU５０１が使用するプログラムや演算用のパラメータのうちの基本的に固定のデータを格納する。RAM（Random-Access Memory）５０３は、CPU５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータを格納する。これらはCPUバスなどから構成されるホストバス５０４により相互に接続されている。
【０１９３】
ホストバス５０４は、ブリッジ５０５を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【０１９４】
キーボード５０８は、CPU５０１に各種の指令を入力するとき、使用者により操作される。マウス５０９は、ディスプレイ５１０の画面上のポイントの指示や選択を行うとき、使用者により操作される。ディスプレイ５１０は、液晶表示装置またはCRT（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。HDD（Hard Disk Drive）５１１は、ハードディスクを駆動し、それらにCPU５０１によって実行するプログラムや情報を記録または再生させる。
【０１９５】
ドライブ５１２は、装着されている磁気ディスク５５１、光ディスク５５２、光磁気ディスク５５３、または半導体メモリ５５４に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インターフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているRAM５０３に供給する。
【０１９６】
これらのキーボード５０８乃至ドライブ５１２は、インターフェース５０７に接続されており、インターフェース５０７は、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介してCPU５０１に接続されている。
【０１９７】
ビデオインターフェース５１３は、供給された画像信号を取得し、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して、取得した画像信号をRAM５０３またはCPU５０１に供給する。
【０１９８】
記録媒体は、図２８に示すように、コンピュータとは別に、ユーザにブロック図に対応する処理を実行するプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５５１（フロッピディスク（登録商標）を含む）、光ディスク５５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク５５３（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリ５５４などよりなるリムーバブルメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や、HDD５１１などで構成される。
【０１９９】
なお、ユーザにブロック図に対応する処理を実行するプログラムは、有線または無線の通信媒体を介して、コンピュータに供給されるようにしてもよい。
【０２００】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０１】
【発明の効果】
本発明の第１の画像処理装置および方法、記録媒体、並びにプログラムによれば、注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、コンポジットビデオ信号の輝度信号と色信号とを加算または減算して得られた画像信号から、注目点における色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、またはフィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量が生成され、注目点の周辺の注目フィールドにおける点の第１の特徴量および注目点の第１の特徴量に、配置および値の最も近い第１の特徴量であって、他のフィールドにおける第１の特徴量を検出することにより、動きベクトルに近似する第１のベクトルが検出され、注目フィールドと他のフィールドとについて、動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、対象点の存在するフィールドにおける対象点の周辺の点であって、対象点に隣接するか、対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、対象点に対応する第２の特徴量が生成され、第１のベクトルで指定される位置を中心とした、他のフィールドのサーチする領域から、注目フィールドにおける注目点の周辺の点の第２の特徴量および注目点の第２の特徴量に、配置および値の最も近い第２の特徴量であって、他のフィールドにおける第２の特徴量の位置を示す、第２のベクトルとして動きベクトルが検出されるようにしたので、コンポジットビデオ信号から、より精度の高い動きベクトルを検出できるようになる。
【０２０２】
本発明の第２の画像処理装置および方法、記録媒体、並びにプログラムによれば、注目点の存在する注目しているフィールドである注目フィールドと他のフィールドとについて、コンポジットビデオ信号の輝度信号と色信号とを加算または減算して得られた画像信号から、注目点における色信号の位相と同じ位相の点の値であるか、それぞれのフィールドの１つのライン上の連続する４つの点であって、それぞれ異なる位相の４つの点の平均値であるか、またはフィールドの２つのライン上の上下および左右に相互に隣接する４つの点であって、それぞれ異なる位相の４つの点の平均値である第１の特徴量が生成され、注目点の周辺の注目フィールドにおける点の第１の特徴量および注目点の第１の特徴量に、配置および値の最も近い第１の特徴量であって、他のフィールドにおける第１の特徴量を検出することにより、動きベクトルに近似する近似ベクトルが検出され、注目フィールドと他のフィールドとについて、動きベクトルの検出の演算の対象となる対象点の値に第１の重みを乗じて得た結果と、対象点の存在するフィールドにおける対象点の周辺の点であって、対象点に隣接するか、対象点から１つまたは２つの点だけ離れた点の値に第２の重みを乗じて得た結果とを加算した値である、対象点に対応する第２の特徴量が生成され、近似ベクトルで指定される位置を中心とした所定の大きさの領域の第２の特徴量から求められる正規方程式であって、残差を最小とする正規方程式を解くことにより、係数が算出されるようにしたので、算出された係数を使用することにより、コンポジットビデオ信号から、より精度の高い動きベクトルを検出できるようになる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の実施の形態の構成を示すブロック図である。
【図２】画像信号およびサブキャリア位相情報を説明する図である。
【図３】動きベクトル検出部１３の構成を示すブロック図である。
【図４】上位階層動きベクトル検出部２５の構成を示すブロック図である。
【図５】下位階層動きベクトル検出部２６の構成を示すブロック図である。
【図６】動きベクトルの検出の処理を説明する図である。
【図７】上位階層特徴量の例を説明する図である。
【図８】下位階層特徴量の例を説明する図である。
【図９】サーチされる領域およびブロックの例を示す図である。
【図１０】上位階層特徴量の他のブロックの例を示す図である。
【図１１】上位階層特徴量の他の例を示す図である。
【図１２】上位階層特徴量の他の例を示す図である。
【図１３】下位階層特徴量の他の例を示す図である。
【図１４】下位階層特徴量の他の例を示す図である。
【図１５】下位階層特徴量の他の例を示す図である。
【図１６】下位階層特徴量の他の例を示す図である。
【図１７】下位階層特徴量の他の例を示す図である。
【図１８】動きベクトルの検出の処理を説明するフローチャートである。
【図１９】上位階層ベクトルの検出の処理の詳細を説明するフローチャートである。
【図２０】下位階層ベクトルの検出の処理の詳細の例を説明するフローチャートである。
【図２１】下位階層動きベクトル検出部２６の他の構成を示すブロック図である。
【図２２】下位階層ベクトルの検出の処理の詳細の他の例を説明するフローチャートである。
【図２３】本発明に係る画像処理装置の実施の形態の他の構成を示すブロック図である。
【図２４】係数生成部１０１の構成を示すブロック図である。
【図２５】学習部１１１の構成を示すブロック図である。
【図２６】学習の処理を説明するフローチャートである。
【図２７】係数セットの算出の処理を説明するフローチャートである。
【図２８】記録媒体を説明する図である。
【符号の説明】
１１  NTSCデコーダ，  １２  画像メモリ，  １３  動きベクトル検出部，  ２３  特徴量変換部，  ２４  特徴量変換部，  ２５  上位階層動きベクトル検出部，  ２６  下位階層動きベクトル検出部，  ３１  ベクトル生成部，  ３２相関値算出部，  ３３  判定部，  ４１  ベクトル生成部，  ４２  相関値算出部，  ４３  判定部，  ５１  クラス分類部，  ５２  予測タップ抽出部，  ５３  演算部，  ５４  予測係数メモリ，  ５５  メモリ，  １０１  係数生成部，  １１１  学習部，  １２１  係数算出部，  １２２  メモリ，  １２３  予測係数メモリ，  ５０１  ＣＰＵ，  ５０２  ＲＯＭ，  ５０３  ＲＡＭ，  ５１１  HDD，  ５５１  磁気ディスク，  ５５２  光ディスク，  ５５３  光磁気ディスク，  ５５４  半導体メモリ
【図１】
0003777592.tif 000010
【図２】
0003777592.tif 000011
【図３】
0003777592.tif 000012
【図４】
0003777592.tif 000013
【図５】
0003777592.tif 000014
【図６】
0003777592.tif 000015
【図７】
0003777592.tif 000016
【図８】
0003777592.tif 000017
【図９】
0003777592.tif 000018
【図１０】
0003777592.tif 000019
【図１１】
0003777592.tif 000020
【図１２】
0003777592.tif 000021
【図１３】
0003777592.tif 000022
【図１４】
0003777592.tif 000023
【図１５】
0003777592.tif 000024
【図１６】
0003777592.tif 000025
【図１７】
0003777592.tif 000026
【図１８】
0003777592.tif 000027
【図１９】
0003777592.tif 000028
【図２０】
0003777592.tif 000029
【図２１】
0003777592.tif 000030
【図２２】
0003777592.tif 000031
【図２３】
0003777592.tif 000032
【図２４】
0003777592.tif 000033
【図２５】
0003777592.tif 000034
【図２６】
0003777592.tif 000035
【図２７】
0003777592.tif 000036
【図２８】
0003777592.tif 000037