(57)【特許請求の範囲】
【請求項１】
入力画像信号の部分画像に関して動きを検出する動き判定装置において、
部分画像に関するフレーム間差分を検出する第１の検出手段と、
上記部分画像に関する空間アクティビティを検出する第２の検出手段と、
上記空間アクティビティの値が大きくなるに従ってしきい値が大きくなるように設定された第１および第２のしきい値変化特性に基づいて、上記第２の検出手段により検出された上記空間アクティビティの値に対応する第１および第２のしきい値をそれぞれ発生するしきい値発生手段と、
上記第１の検出手段により検出されたフレーム間差分を少なくとも上記第１および第２のしきい値とそれぞれ比較する第１および第２の比較手段と、
上記第２の検出手段により検出された空間アクティビティを予め設定された第３のしきい値と比較する第３の比較手段と、
上記第１、第２および第３の比較手段の比較結果が供給され、上記部分画像の動きの程度を少なくとも３段階で示す動きクラスを決定する手段と、
上記動きクラスを決定する手段により決定された、所定の画素および該所定の画素の近傍の画素の複数の動きクラスに対して多数決判定の処理を行う多数決判定手段と
からなり、
上記動きクラスを決定する手段は、
上記フレーム間差分が上記第１のしきい値より大きく、且つ上記空間アクティビティが上記第３のしきい値より大きい時に、動きクラスを第１の動きクラスに決定し、
上記第１のクラスではなく、上記フレーム間差分が上記第２のしきい値より大きい時に、動きクラスを第２の動きクラスに決定し、
上記第１および第２のクラスではない時に、動きクラスを第３の動きクラスに決定することを特徴とする動き判定装置。
【請求項２】
入力画像信号の部分画像に関して動きを検出する動き判定方法において、
部分画像に関するフレーム間差分を検出する第１の検出のステップと、
上記部分画像に関する空間アクティビティを検出する第２の検出のステップと、
上記空間アクティビティの値が大きくなるに従ってしきい値が大きくなるように設定された第１および第２のしきい値変化特性に基づいて、上記第２の検出手段により検出された上記空間アクティビティの値に対応する第１および第２のしきい値をそれぞれ発生するステップと、
上記第１の検出ステップにより検出されたフレーム間差分を少なくとも上記第１および第２のしきい値とそれぞれ比較するステップと、
上記第２の検出ステップにより検出された空間アクティビティを予め設定された第３のしきい値と比較するステップと、
上記比較により得られた比較結果が供給され、上記部分画像の動きの程度を少なくとも３段階で示す動きクラスを決定するステップと、
上記動きクラスを決定するステップにより決定された、所定の画素および該所定の画素の近傍の画素の複数の動きクラスに対して多数決判定の処理を行う多数決判定ステップと
からなり、
上記動きクラスを決定するステップにおいて、
上記フレーム間差分が上記第１のしきい値より大きく、且つ上記空間アクティビティが上記第３のしきい値より大きい時に、動きクラスを第１の動きクラスに決定し、
上記第１のクラスではなく、上記フレーム間差分が上記第２のしきい値より大きい時に、動きクラスを第２の動きクラスに決定し、
上記第１および第２のクラスではない時に、動きクラスを第３の動きクラスに決定することを特徴とする動き判定方法。
【請求項３】
入力画像信号から前記入力信号と異なる出力画像信号を形成するようにした画像情報変換装置において、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第１の画素を選択する第１のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第２の画素を選択する第２のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第３の画素を選択する第３のデータ選択手段と、
予め取得されている推定式係数を記憶するメモリ手段と、
上記第１のデータ選択手段で選択された複数の第１の画素と上記推定式係数の線形推定式によって、上記入力画像信号より多い画素数の出力画像信号を生成する信号生成手段と、
上記第２のデータ選択手段で選択された複数の第２の画素のレベル分布のパターンを検出することによって空間クラスを形成し、上記第３のデータ選択手段で選択された複数の第３の画素に基づいて、動きクラスを形成し、上記空間クラスと上記動きクラスとを統合したクラス情報に対応して上記推定式係数を上記信号生成手段に供給するクラス決定手段と、
上記信号生成手段に対して接続され、ラインの倍速処理を行うことによって、インターレス方式入力画像信号からプログレッシブ方式出力画像信号へ変換する走査変換手段とを有し、
上記動きクラスを形成するための動き判定部は、
上記複数の第３の画素からなる部分画像に関するフレーム間差分を検出する第１の検出手段と、
上記部分画像に関する空間アクティビティを検出する第２の検出手段と、
上記空間アクティビティの値が大きくなるに従ってしきい値が大きくなるように設定された第１および第２のしきい値変化特性に基づいて、上記第２の検出手段により検出された上記空間アクティビティの値に対応する第１および第２のしきい値をそれぞれ発生するしきい値発生手段と、
上記第１の検出手段により検出されたフレーム間差分を少なくとも上記第１および第２のしきい値とそれぞれ比較する第１および第２の比較手段と、
上記第２の検出手段により検出された空間アクティビティを予め設定された第３のしきい値と比較する第３の比較手段と、
上記第１、第２および第３の比較手段の比較結果が供給され、上記部分画像の動きの程度を少なくとも３段階で示す動きクラスを決定する手段と、
上記動きクラスを決定する手段により決定された、所定の画素および該所定の画素の近傍の画素の複数の動きクラスに対して多数決判定の処理を行う多数決判定手段と
からなり、
上記動きクラスを決定する手段は、
上記フレーム間差分が上記第１のしきい値より大きく、且つ上記空間アクティビティが上記第３のしきい値より大きい時に、動きクラスを第１の動きクラスに決定し、
上記第１のクラスではなく、上記フレーム間差分が上記第２のしきい値より大きい時に、動きクラスを第２の動きクラスに決定し、
上記第１および第２のクラスではない時に、動きクラスを第３の動きクラスに決定することを特徴とする画像情報変換装置。
【請求項４】
請求項３において、
上記信号生成手段は、水平方向に上記入力画像信号の２倍の画素数の出力画像信号を生成することを特徴とする画像情報変換装置。
【請求項５】
請求項３において、
上記予測係数は、上記線形推定式によって、出力画像信号の画素を生成した時に、生成された値と上記画素の真値との誤差を最小とするように、上記クラス情報毎に予め学習によって求めることを特徴とする画像情報変換装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像信号の動き判定装置、その方法および画素情報変換装置に関する。
【０００２】
【従来の技術】
入力ディジタル画像信号を異なる走査線構造へ変換する画像信号変換装置、ディジタル画像信号を圧縮する高能率符号化等の画像処理において、画像の注目部分の静止、動きを判定する動き判定が使用される。従来の動き判定装置では、画像部分（例えば１フレームの画像を細分化したブロック）についてフレーム間差分の絶対値の和を求め、絶対値の和の大小によって、画像部分の動きの有無を判定するようにしていた。すなわち、フレーム間差分の絶対値和が大きい時には、画像部分に動きがありと決定し、これが小さい時には、静止と決定している。
【０００３】
【発明が解決しようとする課題】
従来の動き判定は、静止および動きの２段階の判定であるために、静止画像に対する処理を行った部分と動き画像に対する処理を行った部分との境界で、画質の差が目立つ問題があった。また、フレーム間差分のみを用いた判定は、誤った判定のおそれがある。すなわち、フレーム間差分が大きい場合でも、フィールド内アクティビティが大きいと、実際には、静止画像に近い場合があり、逆に、フレーム間差分が小さい場合でも、フィールド内のアクティビティが無いと実際には，動画に近い場合がある。さらに、フレーム間差分とフィールド内アクティビティとの関係が線形であることを用いた動き判定方法として、勾配法が知られている。しかしながら、勾配法の場合では、フィールド内のアクティビティの大小に応じて、動き判定を容易とするなどの柔軟性を持たせることができない問題がある。
【０００４】
従って、この発明の目的は、動き判定の誤りのおそれを少なくし、複数段階の判定結果を発生することが可能な動き判定装置、その方法および画像情報変換装置を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、入力画像信号の部分画像に関して動きを検出する動き判定装置において、
部分画像に関するフレーム間差分を検出する第１の検出手段と、
部分画像に関する空間アクティビティを検出する第２の検出手段と、
空間アクティビティの値が大きくなるに従ってしきい値が大きくなるように設定された第１および第２のしきい値変化特性に基づいて、第２の検出手段により検出された空間アクティビティの値に対応する第１および第２のしきい値をそれぞれ発生するしきい値発生手段と、
第１の検出手段により検出されたフレーム間差分を少なくとも第１および第２のしきい値とそれぞれ比較する第１および第２の比較手段と、
第２の検出手段により検出された空間アクティビティを予め設定された第３のしきい値と比較する第３の比較手段と、
第１、第２および第３の比較手段の比較結果が供給され、部分画像の動きの程度を少なくとも３段階で示す動きクラスを決定する手段と、
動きクラスを決定する手段により決定された、所定の画素および該所定の画素の近傍の画素の複数の動きクラスに対して多数決判定の処理を行う多数決判定手段と
からなり、
動きクラスを決定する手段は、
フレーム間差分が第１のしきい値より大きく、且つ空間アクティビティが第３のしきい値より大きい時に、動きクラスを第１の動きクラスに決定し、
第１のクラスではなく、フレーム間差分が第２のしきい値より大きい時に、動きクラスを第２の動きクラスに決定し、
第１および第２のクラスではない時に、動きクラスを第３の動きクラスに決定することを特徴とする動き判定装置である。
【０００６】
請求項２の発明は、入力画像信号の部分画像に関して動きを検出する動き判定方法において、
部分画像に関するフレーム間差分を検出する第１の検出のステップと、
部分画像に関する空間アクティビティを検出する第２の検出のステップと、
空間アクティビティの値が大きくなるに従ってしきい値が大きくなるように設定された第１および第２のしきい値変化特性に基づいて、第２の検出手段により検出された空間アクティビティの値に対応する第１および第２のしきい値をそれぞれ発生するステップと、
第１の検出ステップにより検出されたフレーム間差分を少なくとも第１および第２のしきい値とそれぞれ比較するステップと、
第２の検出ステップにより検出された空間アクティビティを予め設定された第３のしきい値と比較するステップと、
比較により得られた比較結果が供給され、部分画像の動きの程度を少なくとも３段階で示す動きクラスを決定するステップと、
動きクラスを決定するステップにより決定された、所定の画素および該所定の画素の近傍の画素の複数の動きクラスに対して多数決判定の処理を行う多数決判定ステップと
からなり、
動きクラスを決定するステップにおいて、
フレーム間差分が第１のしきい値より大きく、且つ空間アクティビティが第３のしきい値より大きい時に、動きクラスを第１の動きクラスに決定し、
第１のクラスではなく、フレーム間差分が第２のしきい値より大きい時に、動きクラスを第２の動きクラスに決定し、
第１および第２のクラスではない時に、動きクラスを第３の動きクラスに決定することを特徴とする動き判定方法である。
【０００７】
請求項３の発明は、入力画像信号から前記入力信号と異なる出力画像信号を形成するようにした画像情報変換装置において、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第１の画素を選択する第１のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第２の画素を選択する第２のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第３の画素を選択する第３のデータ選択手段と、
予め取得されている推定式係数を記憶するメモリ手段と、
第１のデータ選択手段で選択された複数の第１の画素と推定式係数の線形推定式によって、入力画像信号より多い画素数の出力画像信号を生成する信号生成手段と、
第２のデータ選択手段で選択された複数の第２の画素のレベル分布のパターンを検出することによって空間クラスを形成し、第３のデータ選択手段で選択された複数の第３の画素に基づいて、動きクラスを形成し、空間クラスと動きクラスとを統合したクラス情報に対応して推定式係数を信号生成手段に供給するクラス決定手段と、
信号生成手段に対して接続され、ラインの倍速処理を行うことによって、インターレス方式入力画像信号からプログレッシブ方式出力画像信号へ変換する走査変換手段とを有し、
動きクラスを形成するための動き判定部は、
複数の第３の画素からなる部分画像に関するフレーム間差分を検出する第１の検出手段と、
部分画像に関する空間アクティビティを検出する第２の検出手段と、
空間アクティビティの値が大きくなるに従ってしきい値が大きくなるように設定された第１および第２のしきい値変化特性に基づいて、第２の検出手段により検出された空間アクティビティの値に対応する第１および第２のしきい値をそれぞれ発生するしきい値発生手段と、
第１の検出手段により検出されたフレーム間差分を少なくとも第１および第２のしきい値とそれぞれ比較する第１および第２の比較手段と、
第２の検出手段により検出された空間アクティビティを予め設定された第３のしきい値と比較する第３の比較手段と、
第１、第２および第３の比較手段の比較結果が供給され、部分画像の動きの程度を少なくとも３段階で示す動きクラスを決定する手段と、
動きクラスを決定する手段により決定された、所定の画素および該所定の画素の近傍の画素の複数の動きクラスに対して多数決判定の処理を行う多数決判定手段と
からなり、
動きクラスを決定する手段は、
フレーム間差分が第１のしきい値より大きく、且つ空間アクティビティが第３のしきい値より大きい時に、動きクラスを第１の動きクラスに決定し、
第１のクラスではなく、フレーム間差分が第２のしきい値より大きい時に、動きクラスを第２の動きクラスに決定し、
第１および第２のクラスではない時に、動きクラスを第３の動きクラスに決定することを特徴とする画像情報変換装置である。
【０００８】
この発明では、フレーム間差分と空間アクティビティ（例えばダイナミックレンジ）との両方を参照して動き判定するので、フレーム間差分のみを使用するのと比較してより正確に動き判定を行うことができる。また、３段階以上の動きの程度を判別するので、動き判定の結果に基づいて画像処理を行うと、動／静の２段階の動き判定と比較して、より自然な結果を得ることが可能となる。
【０００９】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１および図２は、この発明の一実施形態の構成を示す。図１の構成は、入力ディジタル画像信号から動きクラスＭＪを発生する部分であり、図２は、動きクラスＭＪから多数決判定によって最終的な動きクラスＭＤを発生する部分である。すなわち、図１に示す部分と図２に示す部分とが直列に接続されることによって、一実施形態が構成される。
【００１０】
最初に図１の構成部分について説明する。入力端子１からの入力ディジタル画像信号がタップ構築回路２に供給される。一例として、入力ディジタル画像信号がインターレス信号であって、タップ構築回路２では、図３に示す５０個の画素が動き判定に使用するタップとして選択され、選択されたタップが出力される。図３は、ｔ−１，ｔ、ｔ＋１と時間的に連続する３フィールドの空間的に同一部分の画像を示している。図３中のドットが所定周波数でサンプリングされることが得られる画素を示す。例えば１画素は、８ビットの輝度値である。
【００１１】
時間ｔ−１のフィールドでは、時間的に連続する３ラインのそれぞれから対応する位置の５個のタップが選択される。同様に、時間ｔ＋１のフィールドでは、時間的に連続する３ラインのそれぞれから対応する位置の５個のタップが選択される。これらのフィールドのタップの空間的な位置が同一である。また、現在（時間ｔ）のフィールドでは、時間的に連続する４ラインのそれぞれから対応する位置の５個のタップが選択される。インターレス方式であるために、これらの４ラインは、ｔ−１およびｔ＋１のフィールドのタップとは、空間的に１ラインずれている。そして、図３において、×で示す位置が注目点であり、この注目点に関しての動き判定がなされる。
【００１２】
タップ構築回路２に対してダイナミックレンジＤＲ検出回路３、フレーム間差分ＦｒＧ検出回路４および空間勾配ＳＧsum 検出回路５が接続される。ダイナミックレンジＤＲ検出回路３に対して比較器６が接続され、ダイナミックレンジＤＲとしきい値ｔｈ４が比較される。フレーム間差分ＦｒＧ検出回路４に対して比較器７，８，９が接続される。比較器７では、フレーム間差分ＦｒＧとしきい値ｔｈ１とが比較され、比較器８および９では、フレーム間差分ＦｒＧとしきい値ｔｈ２およびｔｈ３とがそれぞれ比較される。
【００１３】
比較器６，７，８，９は、入力値がしきい値より大きい時に、"1" の出力を発生し、そうでない時に、"0" の出力を発生する。例えばＦｒＧ≧ｔｈ１の時には、比較器７の出力が"1" となり、ＦｒＧ＜ｔｈ１の時には、その出力が"0" となる。空間勾配ＳＧsum 検出回路５に対しては、しきい値発生部１２が接続される。しきい値発生部１２については後述する。
【００１４】
ダイナミックレンジＤＲは、空間アクティビティの一例である。タップ構築回路２からの５０個のタップの画素値の最大値ＭＡＸと最小値ＭＩＮの差がダイナミックレンジＤＲとされる。すなわち、ＤＲ＝ＭＡＸ−ＭＩＮである。しきい値ｔｈ４は、ダイナミックレンジＤＲの大きさを判定するためのものである。
【００１５】
フレーム間差分ＦｒＧは、ｔ−１のフィールドの１５個のタップの画素値のそれぞれと、ｔ＋１のフィールドの空間的に同一位置の１５個のタップの画素値との差分を求め、求まった１５個のフレーム間差分を絶対値に変換し、さらに、フレーム間差分の絶対値を合計した値である。一般的には、フレーム間差分ＦｒＧが大きいほど、フレーム間の動きが大きいものと判定される。
【００１６】
空間勾配ＳＧsum は、ｔ−１のフィールドの空間勾配ＳＧ（ｔ−１）、ｔのフィールドの空間勾配ＳＧｔ、ｔ＋１のフィールドの空間勾配ＳＧ（ｔ＋１）の合計値である。これらの空間勾配も、ダイナミックレンジＤＲと同様に空間アクティビティの一つである。各フィールドの空間勾配は、それぞれの画素と隣接画素との差分の絶対値を求め、差分の絶対値を合計した値である。例えばｔ−１のフィールドにおいて、左上コーナーの画素の場合では、その真下の画素と右側の画素とが隣接画素であり、自分の画素値と各隣接画素の画素値の差分が計算される。同様に、他の画素に関しても、垂直方向および水平方向における隣接画素との差分値が計算される。そして、１５個の画素に関する差分値を合計することによって、ｔ−１のフィールドの空間勾配ＳＧ（ｔ−１）が求められる。他のフィールドの空間勾配ＳＧｔおよびＳＧ（ｔ＋１）も同様に求められる。
【００１７】
比較器６および７の出力がアンドゲート１０に供給され、アンドゲート１０の出力ＬＶ３が動きクラスＭＪ決定部１１に供給される。比較器８の出力ＬＶ２および比較器９の出力ＬＶ３が動きクラスＭＪ決定部１１に供給される。ＭＪ決定部１１は、ＬＶ１，ＬＶ２，ＬＶ３を受け取って２ビットの動きクラスＭＪを出力する。動きクラスＭＪは、０，１，２，３の値をとりうる。動きクラス０から動きクラス３に向かって、注目点の動きが大きいことを表す。
【００１８】
動きクラスＭＪ決定部１１は、下記の条件によって動きクラスＭＪを決定し、動きクラスＭＪを出力端子１３に出力する。図４は、ＬＶ１，ＬＶ２，ＬＶ３から動きクラスＭＪを決定する場合の論理を示す。
【００１９】
動きクラスＭＪ＝３
ＦｒＧ≧ｔｈ１、且つＤＲ≧ｔｈ４（ＬＶ３＝"1" ）
動きクラスＭＪ＝２
ＦｒＧ≧ｔｈ２（ＬＶ２＝"1" ）、且つＬＶ３＝"0"
動きクラスＭＪ＝１
ＦｒＧ≧ｔｈ３（ＬＶ１＝"1" ）、且つＬＶ３＝"0" 、ＬＶ２＝"0"
動きクラス０
上記以外（ＬＶ３＝ＬＶ２＝ＬＶ１＝"0" ）
しきい値発生部１２は、図５に示すように、空間勾配ＳＧsum の大きさに従って変化するしきい値ｔｈ１、ｔｈ２、ｔｈ３を発生する。各しきい値の変化の仕方が独立であるが、空間勾配ＳＧsum が大きくなるに従って各しきい値も大きくなる傾向を有する。発生したしきい値ｔｈ１、ｔｈ２およびｔｈ３が上述した比較器７、８、９に対してそれぞれ供給され、フレーム間差分ＦｒＧと比較される。それによって、上述した条件に従って図５に示すように、４種類の動きクラスＭＪが決定される。
【００２０】
しきい値ｔｈ１を発生するために、空間勾配ＳＧsum が供給される区間判定回路２１および区間内位置判定回路２２と、区間判定回路２１の出力に対応したパラメータを出力するメモリ２３と、区間内位置判定回路２２の出力とメモリ２３からのパラメータを受け取ってしきい値ｔｈ１を発生するｔｈ１計算回路２４とが設けられている。図５に示すように、空間勾配ＳＧsum のＡ０、Ａ１、Ａ２、Ａ３で示す値によって、４個の区間が規定される。３個の区間（Ａ０−Ａ１）（Ａ１−Ａ２）（Ａ２−Ａ３）は、互いに等しい幅とされる。また、ＳＧsum ＞Ａ３以上の区間では、しきい値ｔｈ１、ｔｈ２、ｔｈ３の値が飽和したものとされる。区間判定回路２１によって、４個の区間の内の１つの区間が決定される。
【００２１】
また、空間勾配ＳＧsum の値Ａ０〜Ａ３にそれぞれと対応するしきい値レベルＢ１０、Ｂ１１、Ｂ１２、Ｂ１３が規定され、これらのレベルがメモリ２３から出力される。例えば区間（Ａ０−Ａ１）の場合では、レベルＢ１０およびＢ１１がメモリ２３からしきい値計算回路２４に対して出力される。３個の各区間の中は、均等に例えば６４分割される。区間内位置判定回路２２は、区間内の位置を決定する。区間内の位置が決定されると、しきい値計算回路２４は、線形補間によって、しきい値ｔｈ１を発生する。例えば区間（Ａ０−Ａ１）内の位置では、その位置に応じた係数をレベルＢ１０およびＢ１１に対してそれぞれ乗算し、乗算結果を加算することによって、しきい値ｔｈ１が得られる。
【００２２】
しきい値ｔｈ２を発生するために、区間判定回路３１、区間内位置判定回路３２、メモリ３３および計算回路３４が設けられる。しきい値ｔｈ３を発生するために、区間判定回路４１、区間内位置判定回路４２、メモリ４３および計算回路４４が設けられる。これらの構成は、上述したしきい値ｔｈ１を発生するための構成と同様に動作する。但し、メモリ３４には、しきい値ｔｈ２用のレベルＢ２０、Ｂ２１、Ｂ２２、Ｂ２３が格納され、メモリ４４には、しきい値ｔｈ３用のレベルＢ３０、Ｂ３１、Ｂ３２、Ｂ３３が格納されている。
【００２３】
図１に示す構成によって、上述したように決定された動きクラスＭＪに対して、図２に示す構成によって多数決判定処理を行う。この多数決判定処理は、動きクラスの孤立点を除去し、また、近傍の動きクラスに整合した動きクラスするために行われる。多数決判定処理を付加することによって、出力画像中の破綻を少なくすることができる。タップ構築回路５２は、入力動きクラスと、ライン遅延回路５３からの１ライン前の動きクラスと、フィールド遅延回路５４からの１フィールド前の動きクラスと、フィールド遅延回路５４およびライン遅延回路５５を通ることで形成された前フィールドで且つ１ライン前の動きクラスとから多数決判定のためのタップを構築する。
【００２４】
図６は、多数決判定の対象としての注目点Ｐ０の近傍に位置する複数のタップの一例を示す。すなわち、各タップは、入力ディジタル画像信号の画素に対する注目点の位置（図３参照）に対応している。また、注目点Ｐ０が存在する現行ラインと同一フィールド内の１ライン上（−１Ｈライン）と、現行ラインより空間的に１ライン上の前フィールドのライン（−２６３Ｈライン）と、現行ラインより空間的に１ライン下の前フィールドのライン（−２６２Ｈライン）とが示されている。
【００２５】
注目点Ｐ０と垂直方向に整列する、−１Ｈライン上のタップＰ１、−２６３Ｈライン上のタップＰａが選択される。タップＰａの左右のタップＰｂが選択される。タップＰ１より一つのタップを飛ばした左右の位置のタップＰ３が選択される。注目点のタップＰ０より一つのタップを飛ばした左側のタップＰ２が選択される。注目点のタップＰ０の下側の位置に対して左右のタップＰｃが選択される。このように選択されたタップ数は、全てで１０個存在する。
【００２６】
タップ構築回路５２は、図６に示される全タップの内で、モードに応じて多数決判定に使用するタップを選択することが可能とされている。モードは、入力ディジタル画像信号の絵柄、動きの程度等に応じてユーザが選択する。図７は、モードの種類と各モードで選択されるタップを示す。モード０、モード１、モード２、モード３の４通りのモードと、各モードに関して、フィールド内処理とフレーム間処理とが設定される。従って、選択されるタップの組み合わせとしては、全てで８種類存在する。
【００２７】
最も単純なモード０では、フィールド内処理の場合には、注目点のタップＰ０のみが使用され、フレーム間処理の場合では、Ｐ０およびＰａのタップが使用される。最も複雑なモード３では、フィールド内処理の場合には、Ｐ０、Ｐ１、Ｐ２、Ｐ３の５個のタップが使用され、フレーム間処理の場合には、Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐｂ、Ｐｃの９個のタップが使用される。
【００２８】
図２に戻って説明すると、タップ構築回路５２からは、モードに応じて選択されタップの動きクラスがクラス毎に出力される。動きクラス３の個数がカウンタ５６によってカウントされ、動きクラス２の個数がカウンタ５７によってカウントされ、動きクラス１の個数がカウンタ５８によってカウントされる。カウンタ５６、５７、５８のそれぞれのカウント値が比較器５９、６０、６１に供給される。
【００２９】
比較器５９は、カウンタ５６によりカウントされた動きクラス３の個数をしきい値thr3と比較する。比較器６０は、カウンタ５７によりカウントされた動きクラス２の個数をしきい値thr2と比較する。比較器６１は、カウンタ５８によりカウントされた動きクラス１の個数をしきい値thr1と比較する。比較器５９、６０、６１は、それぞれカウント値がしきい値以上の時に"1" であり、そうでない時に"0" である比較出力ＣＤ３、ＣＤ２、ＣＤ１を発生する。比較器５９、６０、６１のそれぞれの出力ＣＤ３、ＣＤ２、ＣＤ１が動きクラスＭＤ決定部６２に供給される。動きクラス決定部６２は、比較出力ＣＤ３、ＣＤ２、ＣＤ１を受け取って最終的な動きクラスＭＤを決定する。
【００３０】
図８は、動きクラス決定部６２のクラス決定の論理を示す。ＣＤ３＝"1" の場合では、ＭＤ＝３と動きクラスが決定される。ＣＤ３＝"0" 、ＣＤ２＝"1" の場合では、ＭＤ＝２と動きクラスが決定される。ＣＤ３＝"0" 、ＣＤ２＝"0" 、ＣＤ１＝"1" の場合では、ＭＤ＝１と動きクラスが決定される。ＣＤ３＝"0" 、ＣＤ２＝"0" 、ＣＤ１＝"0" の場合では、ＭＤ＝０と動きクラスが決定される。このように決定された２ビットの動きクラスＭＤが出力される。しきい値thr1、thr2、thr3は、それぞれ適切に設定された固定値である。
【００３１】
ソフトウェアで行う場合の多数決判定の処理について図９のフローチャートを参照して説明する。動きクラスＭＪが決定された後に、ステップＳＴ１において、モードに応じたタップが構築される。ステップＳＴ２において、各タップの動きクラスを取得する。ステップＳＴ３では、動きクラス３の個数がしきい値thr3以上か否かが決定される。そうであれば、ステップＳＴ４において、ＭＤ＝３と動きクラスが決定される。
【００３２】
動きクラス３の個数がしきい値thr3以上でないと、ステップＳＴ５において、動きクラス２の個数がしきい値thr2以上か否かが決定される。そうであれば、ステップＳＴ６において、ＭＤ＝２と動きクラスが決定される。ステップＳＴ５の結果が否定であれば、ステップＳＴ７において、動きクラス１の個数がしきい値thr1以上か否かが決定される。そうであれば、ステップＳＴ８において、ＭＤ＝１と動きクラスが決定される。ステップＳＴ７の結果が否定であれば、ＭＤ＝０と決定される。以上で処理が終了する。
【００３３】
上述したこの発明による動き判定装置は、画像信号変換装置における動きクラスの生成に対して適用することができる。この画像信号変換装置は、ＳＤ（Standard Definition ）信号が入力され、ＨＤ（High Definition ）信号を出力するものである。また、ＨＤ画素を生成する場合、生成するＨＤ画素の近傍にある、ＳＤ画素をクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、より真値に近いＨＤ画素を得るものである。図１０は、このような手法による画像信号変換装置である。
【００３４】
図１０において、入力ＳＤ信号（５２５ｉ信号）が第１のタップ選択回路１０１、第２のタップ選択回路１０３および第３のタップ選択回路１０４に供給される。第１のタップ選択回路１０１は、予測に使用するＳＤ画素（予測タップと称する）を選択するものである。第２のタップ選択回路１０３は、生成するＨＤ画素の近傍のＳＤ画素のレベル分布のパターンに対応するクラス分類に使用するＳＤ画素（空間クラスタップと称する）を選択するものである。第３のタップ選択回路１０４は、生成するＨＤ画素の近傍のＳＤ画素に基づいて動きに対応するクラス分類に使用するＳＤ画素（動きクラスタップと称する）を選択するものである。
【００３５】
第１のタップ選択回路１０１により選択された予測タップが推定予測演算回路１０２に供給される。第２のタップ選択回路１０３により選択された空間クラスタップが空間クラス検出回路１０５に供給される。空間クラス検出回路１０５は、空間クラスを検出する。検出された空間クラスがクラス合成回路１０７に供給される。第３のタップ選択回路１０４により選択された動きクラスタップが動きクラス検出回路１０６に供給される。動きクラス検出回路１０６は、動きクラスを検出する。検出された動きクラスがクラス合成回路１０７に供給される。クラス合成回路１０７によって、空間クラスおよび動きクラスが統合され、最終的なクラスコードが形成される。
【００３６】
このクラスコードが係数メモリ１０８に対して、アドレスとして供給され、係数メモリ１０８からクラスコードに対応する係数データが読出される。係数データと予測タップとが推定予測演算回路１０２に供給される。推定予測演算回路１０２では、予測タップ（５２５ｉ信号の画素）と予測係数との線形推定式を用いて出力映像信号（５２５ｐ信号）のデータを算出する。推定予測演算回路１０２は、現存ライン上のデータ（ラインデータＬ１）と、生成ライン上のデータ（ラインデータＬ２）を出力する。同時に、推定予測演算回路１０２は、水平方向で２倍の数の画素を出力する。５２５ｉ信号は、ライン数が５２５本のインターレス信号を意味し、５２５ｐ信号は、ライン数が５２５本のプログレッシブ（ノンインターレス）信号を意味する。
【００３７】
推定予測演算回路１０２からのラインデータＬ１、Ｌ２が線順次変換回路１０９に供給される。線順次変換回路１０９は、ライン倍速の処理を行う。推定予測演算回路１０２は、５２５ｉ信号から５２５ｐ信号を生成するので、水平周期は、５２５ｉ信号と同一である。線順次変換回路１０９は、水平周期を２倍とするライン倍速処理を行う。線順次変換回路１０９から５２５ｐ信号が取り出される。
【００３８】
図１１は、１フィールドの画像の一部を拡大することによって、５２５ｉ信号と５２５ｐ信号との画素の配置を示すものである。大きなドットが５２５ｉ信号の画素であり、小さいドットが出力される５２５ｐ信号の画素である。この関係は、図１１以外の他の図面においても同様である。図１１は、あるフレーム（Ｆ）の奇数（Ｏ）フィールドの画素配置である。他のフィールド（偶数フィールド）では、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図１１ら分かるように、５２５ｉ信号のラインと同一位置のラインデータＬ１および５２５ｉ信号の上下のラインの中間位置のラインデータＬ２を形成し、また、各ラインの水平方向の画素数を２倍とする。従って、推定予測演算回路１０２によって、５２５ｐ信号の４画素のデータが同時的に生成される。
【００３９】
図１２は、ライン倍速処理をアナログ波形を用いて示すものである。推定予測演算回路１０２によって、ラインデータＬ１およびＬ２が同時に生成される。ラインデータＬ１には、順にａ１，ａ２，ａ３，・・・のラインが含まれ、ラインデータＬ２には、順にｂ１，ｂ２，ｂ３，・・・のラインが含まれる。線順次変換回路１０９は、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータをスイッチング回路によって交互に選択することによって、線順次出力（ａ０，ｂ０，ａ１，ｂ１，・・・）を形成する。
【００４０】
図示しないが、出力映像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力映像信号（５２５ｐ信号）を表示することが可能なように、その同期系が構成されている。入力映像信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一実施形態をテレビジョン受像機に内蔵することができる。
【００４１】
図１３は、第２のタップ選択回路１０３により選択されるタップ（ＳＤ画素）を示す。図１３は、時間的に連続するフレームＦ−１の奇数フィールドｏ（Ｆ−１／ｏと表記する）、Ｆ−１の偶数フィールド（Ｆ−１／ｅ）、Ｆ／ｏ、Ｆ／ｅのそれぞれの垂直方向の画素の配列を示す。
【００４２】
図１３に示すように、フィールドＦ／ｏのラインデータＬ１およびＬ２を予測する時の空間クラスタップは、このフィールドＦ／ｏの次のフィールドＦ／ｅに含まれ、生成すべき５２５ｐ信号の画素と空間的に近傍位置の入力画素Ｔ１およびＴ２と、フィールドＦ／ｏに含まれ、生成すべき５２５ｐ信号の画素の近傍の入力画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ−１／ｅの入力画素Ｔ６，Ｔ７である。フィールドＦ／ｅのラインデータＬ１およびＬ２を予測する時も同様にタップが選択される。なお、ラインデータＬ１の画素を予測するモード１では、Ｔ７の画素をクラスタップとして選択せず、ラインデータＬ２の画素を予測するモード２では、Ｔ４の画素をクラスタップとして選択しないようにしても良い。
【００４３】
ここで、前述したこの発明による動き判定装置は、動きクラス検出回路１０６に対して適用される。従って、タップ選択回路１０４により選択されるタップ、すなわち、動きクラスタップは、図３に示すような５０個のＳＤ画素である。そして、前述したように、最終的な動きクラスＭＤが決定され、これが動きクラスとしてクラス合成回路１０７に供給される。
【００４４】
タップ選択回路１０３で選択された空間クラスタップが空間クラス検出回路１０５に供給される。空間クラス検出回路１０５は、選択された空間クラスタップのレベル分布のパターンを検出する。この場合、各画素８ビットのＳＤデータを２ビットのＳＤデータへ圧縮するような処理を行う。一例として、ＡＤＲＣ（Adaptive Dynamic Range Coding ）によって、空間クラスタップのＳＤ画素のデータが圧縮される。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。
【００４５】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recoder）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ、ビット割当をｎ、空間クラスタップの画素のデータレベルをＬ、再量子化コードをＱとして、以下の式（１）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００４６】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝        （１）
ただし、｛  ｝は切り捨て処理を意味する。
【００４７】
予測係数メモリ１０８には、５２５ｉ信号のパターンと５２５ｐ信号の関係を学習することにより、取得された予測係数が各クラス毎に記憶されている。予測係数は、線形推定式により５２５ｉ信号を５２５ｐ信号へ変換するための情報である。なお、予測係数の取得方法については後述する。
【００４８】
予測係数メモリ１０８のクラスに対応したアドレスから、そのクラスの予測係数が読出される。この予測係数は、推定予測演算回路１０２に供給される。推定予測演算回路１０２は、タップ選択回路１０１からの予測タップ（画素値）Ｔ１，Ｔ２，・・・Ｔｉと、予測係数ｗ1 ，ｗ2 ，・・・ｗｉとの線形１次結合式（式（２））の演算を行うことにより、ラインデータＬ１、Ｌ２を算出する。但し、ラインデータＬ１およびＬ２との間では、使用する予測係数が相違する。
【００４９】
Ｌ１＝ｗ1 Ｔ１＋ｗ2 Ｔ２＋・・・・＋ｗｉＴｉ            （２）
このように、予測係数が各クラス毎に予め学習により求められた上で、予測係数メモリ１０８に記憶しておき、入力される予測タップおよび読出された予測係数に基づいて演算が行われ、入力されたデータに対応する出力データを形成して出力することにより、入力データを単に補間処理したのとは異なり、高画質のプログレッシブ方式の映像信号を出力することができる。
【００５０】
次に、係数メモリ１０８に格納される係数データの作成方法（学習）について図１４を用いて説明する。係数データを学習によって得るためには、まず、既に知られているＨＤ画像（５２５ｐ信号）に対応し、ＨＤ画像の１／４の画素数のＳＤ画像を２次元間引きフィルタ１２０によって形成する。例えばＨＤデータの垂直方向の画素を垂直間引きフィルタによりフィールド内の垂直方向の周波数が１／２になるように間引き処理し、さらに水平間引きフィルタにより、ＨＤデータの水平方向の画素を間引き処理することにより、ＳＤデータを得る。
【００５１】
２次元間引きフィルタ１２０からのＳＤ信号がタップ選択回路１２１、タップ選択回路１２２およびタップ選択回路１２３にそれぞれ供給される。これらのタップ選択回路は、図１０に示す信号変換装置におけるタップ選択回路１０１、１０３、１０４と同様に、予測タップ、空間クラスタップ、動きクラスタップを選択する。タップ選択回路１２１からの予測タップが正規方程式加算回路１２７に供給される。タップ選択回路１２２からの空間クラスタップが空間クラス検出回路１２４に供給される。タップ選択回路１２３からの動きクラスタップが動きクラス検出回路１２５に供給される。
【００５２】
信号変換装置における空間クラス検出回路１０５と同様に、空間クラス検出回路１２４は、空間クラスタップのデータをＡＤＲＣにより圧縮し、空間クラスコードを発生する。また、動きクラス検出回路１２５は、信号変換装置における動きクラス検出回路１０６と同様に、動きクラスタップから動きクラスコードを発生する。空間クラスコードと動きクラスコードとがクラス合成回路１２６によって合成され、最終的なクラスが形成される。クラス合成回路１２６からのクラスコードが正規方程式加算回路１２７へ供給される。
【００５３】
ここで、正規方程式加算回路１２７の説明のために、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために学習をより一般化してｎ画素による予測を行う場合について説明する。予測タップとして選択されるＳＤ画素のレベルをそれぞれｘ1 、‥‥、ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数データｗ1 、‥‥、ｗn によるｎタップの線形推定式を設定する。これを下記の式（３）に示す。学習前は、ｗi が未定係数である。
【００５４】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn             （３）
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（３）にしたがって、以下に示す式（４）が設定される。
【００５５】
ｙk ＝ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn            （４）
（ｋ＝１，２，‥‥ｍ）
ｍ＞ｎの場合、予測係数ｗi 、‥‥ｗn は、一意に決まらないので、誤差ベクトルｅの要素を以下の式（５）で定義して、式（６）を最小にする予測係数を求める。いわゆる、最小自乗法による解法である。
【００５６】
ｅk ＝ｙk −｛ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn｝  （５）
（ｋ＝１，２，‥‥ｍ）
【００５７】
【数１】
0004193233.tif 000002
【００５８】
ここで、式（６）のｗi による偏微分係数を求める。それは以下の式（７）を `０' にするように、各係数ｗi を求めればよい。
【００５９】
【数２】
0004193233.tif 000003
【００６０】
以下、式（８）、（９）のようにＸij、Ｙi を定義すると、式（７）は、行列を用いて式（１０）へ書き換えられる。
【００６１】
【数３】
0004193233.tif 000004
【００６２】
【数４】
0004193233.tif 000005
【００６３】
【数５】
0004193233.tif 000006
【００６４】
この方程式は、一般に正規方程式と呼ばれている。図１４中の正規方程式加算回路１２７は、クラス合成回路１２６から供給されたクラス情報と、タップ選択回路１２１から供給された予測タップと、生成しようとするプログレッシブ画像の画素（教師信号）を用いて、この正規方程式の加算を行う。
【００６５】
学習に充分なフレーム数のデータの入力が終了した後、正規方程式加算回路１２７は、予測係数決定部１２８に正規方程式データを出力する。予測係数決定部１２８は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗi について解き、予測係数を算出する。予測係数決定部１２８は、算出された予測係数を予測係数メモリ１２９に書込む。
【００６６】
以上のように学習を行った結果、予測係数メモリ１２９には、クラス毎に、プログレッシブ画像の注目画素ｙを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納される。予測係数メモリ１２９に格納された予測係数は、上述の画像情報変換装置において、予測係数メモリ１０８にロードされる。
【００６７】
以上の処理により、線形推定式により、インターレス画像のデータからプログレッシブ画像のデータを生成するための予測係数の学習が終了する。
【００６８】
なお、５２５本のライン数は、一例であって、他の走査線構造の出力画像信号を生成する場合に対してもこの発明を適用できる。例えば図１５に示すように、５２５ｉ信号を１０５０ｉ（ライン数１０５０本のインターレス）信号へ変換する場合に対しても同様にこの発明を適用できる。
【００６９】
【発明の効果】
この発明は、フレーム間差分のみではなく、空間アクティビティを反映した動き判定を行うので、動き判定を正確に行うことができる。例えばフレーム間差分が大きい場合であっても、フィールド内のアクティビティが大きいことから、静止画に近い場合を検出したり、フレーム間差分が小さくも、アクティビティが無い時に動画に近い情報を検出できる。また、単なる動きと静止の２段階判定ではなく、３段階以上に動きの程度を判定するので、動き判定に基づいて画像処理を行った時に、処理後の画像が不自然になることを防止することができる。
【００７０】
また、この発明による画像情報変換装置では、入力映像信号の複数画素に基づいてクラスを検出し、各クラスで最適となる推定予測式を用いて画素値を生成するので、従来の画像情報変換装置と比較して、静止画、動画とも高画質とすることができる。さらに、動きの情報をクラスの情報に取り込むので、静止画／動画の検出と、検出による切り替えが不要とでき、切り替え時に画質の相違が目立つことを防止でき、また、動き検出の誤りによる劣化を大幅に少なくできる。
【図面の簡単な説明】
【図１】この発明による動き判定装置の一実施形態の一部ブロック図である。
【図２】この発明による動き判定装置の他の実施形態の一部ブロック図である。
【図３】この発明の一実施形態において動き判定に使用するタップを示す略線図である。
【図４】この発明の一実施形態における動きクラスＭＪを決定する論理を示す略線図である。
【図５】この発明の一実施形態におけるしきい値を説明するための略線図である。
【図６】この発明の一実施形態における動きクラスの多数決判定処理に使用するタップを示す略線図である。
【図７】この発明の一実施形態における動きクラスの多数決判定処理のモードを示す略線図である。
【図８】この発明の一実施形態における動きクラスＭＤを決定する論理を示す略線図である。
【図９】この発明の一実施形態における動きクラスの多数決判定処理の流れを示すフローチャートである。
【図１０】この発明を適用できる画像情報変換装置の一例のブロック図である。
【図１１】ＳＤ画素と５２５ｐの画素の位置関係を説明するための略線図である。
【図１２】線順次変換動作を説明するための波形図である。
【図１３】ＳＤ画素および５２５ｐの画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図１４】係数データを取得するための構成の一例を示すブロック図である。
【図１５】ＳＤ画素と１０５０ｉの画素の位置関係を説明するための略線図である。
【符号の説明】
３・・・ダイナミックレンジ検出回路、４・・・フレーム間差分検出回路、５・・・空間勾配検出回路、６，７，８，９・・・比較器、１１・・・動きクラス決定部、１０１、１０２、１０４・・・タップ選択回路、１０８・・・係数メモリ、１０９・・・線順次変換回路
【図１】
0004193233.tif 000007
【図２】
0004193233.tif 000008
【図３】
0004193233.tif 000009
【図４】
0004193233.tif 000010
【図５】
0004193233.tif 000011
【図６】
0004193233.tif 000012
【図７】
0004193233.tif 000013
【図８】
0004193233.tif 000014
【図９】
0004193233.tif 000015
【図１０】
0004193233.tif 000016
【図１１】
0004193233.tif 000017
【図１２】
0004193233.tif 000018
【図１３】
0004193233.tif 000019
【図１４】
0004193233.tif 000020
【図１５】
0004193233.tif 000021