(57)【特許請求の範囲】
【請求項１】
画像フォーマットの変換を行う際に、補間対象と異なったフレームまたはフィールドの画像信号から形成される画像間補間信号と、前記補間対象と同じフレームまたはフィールドの画像信号から形成される画像内補間信号とを、動き係数に応じて混合比を変化させて混合する動画像信号の適応処理制御装置において、
入来画像信号のフレームまたはフィールド間の差を画像間差分信号として得る画像間差分信号手段と、
前記入来画像信号のフレームまたはフィールド内の走査線間の差を空間アクティビティとして得るアクティビティ検出手段と、
前記空間アクティビティが所定値以下の場合は、前記所定値で下限を制限し、下限を制限した前記空間アクティビティを得る下限制限手段と、
前記下限を制限した空間アクティビティで前記画像間差分信号を除算し、動き係数を得る除算手段とを有することを特徴とする動画像信号の適応処理制御装置。
【請求項２】
画像フォーマットの変換を行う際に、補間対象と異なったフレームまたはフィールドの画像信号から形成される画像間補間信号と、前記補間対象と同じフレームまたはフィールドの画像信号から形成される画像内補間信号とを、動き係数に応じて混合比を変化させて混合する動画像信号の適応処理制御方法において、
入来画像信号のフレームまたはフィールド間の差を画像間差分信号として得て、
前記入来画像信号のフレームまたはフィールド内の走査線間の差を空間アクティビティとして得て、
前記空間アクティビティが所定値以下の場合は、前記所定値で下限を制限し、下限を制限した前記空間アクティビティを得、
前記下限を制限した空間アクティビティで前記画像間差分信号を除算し動き係数を得ることを特徴とする動画像信号の適応処理制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
画像信号を伝送、蓄積、表示する際に、動画像信号を異なった動画像フォーマットに変換するもので、特に画像間補間信号と画像内補間信号を得て、両者を画像の状況により適応的に混合比を変化させて混合する適応処理の制御に関する。
【０００２】
【従来の技術】
＜画像走査線補間＞
走査線構造や画像レートなどが異なった画像フォーマット間で、画像フォーマットを変換する必要があり、そのためには元の画像に、変換後の画像フォーマットで存在しない部分を、元の画像の周辺画像から補間して形成する必要がある。この様な変換が必要となるのは、放送形態の違いにより画像フォーマット自体を変換する必要がある場合の他、フリッカ等インターレース妨害を軽減して表示したい場合、液晶表示装置やプラズマディスプレイ等インターレースで表示装置をドライブするのが困難な場合などがある。
【０００３】
この様な画像フォーマット変換の代表的なものがインターレース(飛越し)走査画像信号を、プログレッシブ(順次、ノンインターレースとも呼ばれる)走査画像信号に変換する場合である。
インターレース走査画像信号をプログレッシブ走査画像信号に変換するためには、インターレースで間引かれて消失している走査線を補間する。補間は周辺走査線から行われるが、画像の状態に応じて補間処理で使う周辺走査線を変更する。
画像が静止している場合は、前後のフィールドから補間することで、折返しひずみが少なく解像度の高い画像が得られるが、画像が動くと解像度の低下や２重像になる。
そこで、画像が動いた場合は、上下の走査線を用いて補間する。この様に補間処理方法を画像に適応させて変える場合には、画像の状況(動き係数)を判断し、補間処理を制御することになり、そのための適応処理制御回路(装置)が必要になる。
【０００４】
＜従来例動画像適応処理制御装置＞
従来例の動画像適応処理制御装置について説明する。基本的な処理は、補間対象フィールドの前後のフィールド間、すなわち１フレーム間の差分により画像の動静を判断する。１フレーム間差分信号は、適応制御に適した信号(動き係数)に加工処理される。
図４はその構成を示したものである。前フィールド画像信号入力端子１より入来する処理対象フィールドの前のフィールド画像信号と、後フィールド画像信号入力端子８より入来する処理対象フィールドの後のフィールド画像信号は、減算器２に与えられる。減算器２では前後フィールド間の差が取られ、絶対値化器３に与えられる。
【０００５】
絶対値化器３では差分信号を絶対値化し、空間低域通過フィルタ(ＬＰＦ)５に与える。空間ＬＰＦ５は、差分絶対値の変化を押さえてスムージングし、レベル変換器４６に与える。
レベル変換器４６は、スムージングされた差分絶対値を実際の制御に適した形にレベル変換する。レベル変換器４６は上下リミッタを含み、入力信号に対して第１の所定値以下は出力を０とし、第２の所定値以上は１とし、その間は連続的に変化させる。この様にして形成された信号は制御信号出力端子７より出力される。
【０００６】
【発明が解決しようとする課題】
従来の動画像信号の適応処理制御装置は、画像の空間変化の激しい部分では、画像間差分信号も大きくなるので動き係数(画像間変化の程度)が大きいと判断されやすく、画像の空間変化の少ない部分では、画像間差分信号も小さくなるので動き係数が小さいと判断されやすく、必ずしも適切に動き係数が検出されていない。その結果必ずしも適切な動画像信号の適応処理がなされない。
本発明は以上の点に着目してなされたもので、下限を制限した空間アクティビティで画像間差分信号を除算することで画像間変化に対応した動き係数を得ることができる動画像信号の適応処理制御装置及び方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、下記の装置及び方法を提供するものである。
（１） 画像フォーマットの変換を行う際に、補間対象と異なったフレームまたはフィールドの画像信号から形成される画像間補間信号と、前記補間対象と同じフレームまたはフィールドの画像信号から形成される画像内補間信号とを、動き係数に応じて混合比を変化させて混合する動画像信号の適応処理制御装置において、
入来画像信号のフレームまたはフィールド間の差を画像間差分信号として得る画像間差分信号手段と、
前記入来画像信号のフレームまたはフィールド内の走査線間の差を空間アクティビティとして得るアクティビティ検出手段と、
前記空間アクティビティが所定値以下の場合は、前記所定値で下限を制限し、下限を制限した前記空間アクティビティを得る下限制限手段と、
前記下限を制限した空間アクティビティで前記画像間差分信号を除算し、動き係数を得る除算手段とを有することを特徴とする動画像信号の適応処理制御装置。
（２） 画像フォーマットの変換を行う際に、補間対象と異なったフレームまたはフィールドの画像信号から形成される画像間補間信号と、前記補間対象と同じフレームまたはフィールドの画像信号から形成される画像内補間信号とを、動き係数に応じて混合比を変化させて混合する動画像信号の適応処理制御方法において、
入来画像信号のフレームまたはフィールド間の差を画像間差分信号として得て、
前記入来画像信号のフレームまたはフィールド内の走査線間の差を空間アクティビティとして得て、
前記空間アクティビティが所定値以下の場合は、前記所定値で下限を制限し、下限を制限した前記空間アクティビティを得、
前記下限を制限した空間アクティビティで前記画像間差分信号を除算し動き係数を得ることを特徴とする動画像信号の適応処理制御方法。
【０００８】
（ 作 用 ）
本発明では、下限を制限した空間アクティビティで画像間差分信号を除算して動き係数を得る。これにより、画像の空間変化の激しい部分では、画像間差分信号も大きくなるが、空間アクティビティも大きくなり、画像の空間変化の少ない部分では、画像間差分信号も小さくなるが、空間アクティビティも小さくなり、前記除算を行うことで画像の空間的な変化に左右されない動き係数(画像間変化の程度)が判断される。アクティビティは下限を有するので、アクティビティが小さなときに前記除算後の信号が不必要に大きくならず、ノイズなどで不安定に変化することもない。
【０００９】
【発明の実施の形態】
＜第１の実施例動画像適応処理制御装置＞
本発明の動画像信号の適応処理制御装置の第１の実施例について以下に説明する。
図１は、その構成を示したもので、図４の従来例と同一構成要素には同一番号を付してある。図１には、図４と比較して除算器４、上ライン画像信号入力端子９、下ライン画像信号入力端子１４、減算器１０、絶対値化器１１、空間ＬＰＦ１２、下限制限器１３がある。
本実施例において、従来例と異なるのは画像間差分信号の空間アクティビティによる除算であり、除算後の処理構成は従来例と同じである。
【００１０】
前フィールド画像信号入力端子１より入来する処理対象フィールドの前のフィールド画像信号と、後フィールド画像信号入力端子８より入来する処理対象フィールドの後のフィールド画像信号は、減算器２に与えられる。減算器２では前後フィールド間の差が取られ、絶対値化器３に与えられる。
絶対値化器３では差分信号が絶対値化され、除算器４に与えられる。除算器４は下限制限器１３から与えられる除算のための信号を分母として、絶対値化された差分値を除算し、除算された差分値を空間低域通過フィルタ(ＬＰＦ)５に与える。
【００１１】
空間ＬＰＦ５は垂直に５ライン、水平に７画素程度を畳込み加算することで実現される。なお、空間ＬＰＦ５の直流成分ゲインは１とする。
空間ＬＰＦ５は、差分絶対値の変化を押さえてスムージングし、レベル変換器６に与える。レベル変換器６は、スムージングされた差分絶対値を実際の制御に適した形にレベル変換する。レベル変換器６は上下リミッタを含み、入力信号に対して第１の所定値以下は出力を０とし、第２の所定値以上は１とし、その間は線形で連続的に変化させる。第１の所定値を０.３、第２の所定値を１.３とすると、その間の線形変化域の出力値は、入力値を０.３減算すれば得られる。この様にして形成された信号は動き係数として動き係数出力端子７より出力される。
【００１２】
一方、上ライン画像信号入力端子９より入来する処理対象走査線の上の走査線信号と、下ライン画像信号入力端子１４より入来する処理対象走査線の下の走査線信号は、減算器１０に与えられる。
減算器１０では上下ライン間の差が取られ、絶対値化器１１に与えられる。
絶対値化器１１では差分信号を絶対値化し、空間低域通過フィルタ(ＬＰＦ)１２に与える。
【００１３】
空間ＬＰＦ１２は、差分絶対値の変化を押さえてスムージングし、下限制限器１３に与える。空間ＬＰＦ１２は空間ＬＰＦ５と類似するもので垂直に５ライン、水平に７画素程度を畳込み加算することで実現される。なお、空間ＬＰＦ１２の直流成分ゲインも１とする。
下限制限器１３は、スムージングされた差分絶対値が、第３の所定値以下の場合は前記第３の所定値にし、第３の所定値以上の場合はそのままの値を出力する。第３の所定値は、画像信号最大振幅の２％程度の値とする。この様にして形成された除算のための信号は除算器４に与えられる。
【００１４】
＜第２の実施例動画像適応処理制御装置＞
本発明の動画像信号の適応処理制御装置の第２の実施例について以下に説明する。
図２は、その構成を示したもので、図１の第１の実施例と同一構成要素には同一番号を付してある。図２には、図１と比較してフィールド内補間信号入力端子２１、フィールド間補間信号入力端子３３、減算器２２、垂直ＬＰＦ２３、絶対値化器２４、加算器２７がある。また、レベル変換器２６の処理内容が異なる。第２の実施例の動画像信号の適応処理制御装置は、特開平８−１３０７１６号「走査線補間装置及び走査線補間用動きベクトル検出装置」等に示されているフィールド間補間信号とフィールド内補間信号の差分を用いるものである。処理の理論的説明は特開平８−１３０７１６号にされているので説明を省略する。
【００１５】
フィールド内補間信号入力端子２１より入来する処理対象フィールドと同じフィールドから作られたフィールド内補間信号と、フィールド間補間信号入力端子２５より入来する処理対象フィールドの前後のフィールドから作られたフィールド間補間信号は、減算器２２に与えられる。減算器２２では２種類の補間信号の差が取られ、異補間差分信号として垂直ＬＰＦ２３に与えられる。
垂直ＬＰＦ２３は垂直方向にフィルタリングし、垂直高周波数成分を抑圧し、絶対値化器２４に与えられる。これは垂直に５ライン程度を畳込み加算することで実現される。
【００１６】
絶対値化器２４では異補間差分信号が絶対値化され、絶対値化された異補間差分信号は加算器２７に与えられる。加算器２７では、絶対値化器２４から与えられる絶対値化された画像間差分信号と絶対値化された異補間差分信号が加算され、加算結果が除算器４に与えられる。
除算器４は、図１と同様に下限制限器１３から与えられる除算のための信号を分母として、絶対値化された差分値を除算し、除算された差分値を空間ＬＰＦ５に与える。空間ＬＰＦ５は、図１と同様に差分絶対値の変化を押さえてスムージングし、レベル変換器２６に与える。
【００１７】
レベル変換器２６は、スムージングされた差分絶対値を実際の制御に適した形にレベル変換する。レベル変換器２６の処理は図１のレベル変換器６と類似するが、第１の所定値及び第２の所定値は、入力信号の変換に合わせて若干異なる。２種類の差信号の加算により信号レベルが上がっているので、第１の所定値は０.５、第２の所定値は１.５とする。この様にして形成された信号は動き係数として動き係数出力端子７より出力される。
【００１８】
＜走査線補間装置＞
上記の実施例動画像信号の適応処理制御装置は、図３の走査線補間装置等に組み込まれて使用される。
図５に、図３の処理による走査線数の様子を示す。図５で縦方向は画像の垂直方向を示し、横方向が時間である。図６は適応補間で用いられるフィールド間補間とフィールド内補間の方法を示したものである。
図３の走査線補間装置の動作について以下に説明する。
図３において適応制御部３８は、図１の第１の実施例動画像信号の適応処理制御装置や図２の第２の実施例の動画像信号の適応処理制御装置に相当するものである。適応制御部３８は動き係数ｋを出力し、これによりフィールド間補間とフィールド内補間の混合比を変化させる。
【００１９】
画像入力３１から入来したインターレース動画像信号は、フィールド遅延器３２で１フィールドと所定ライン遅延させられ、上ライン画像信号としてライン遅延器３３、加算器３４、適応制御部３８に与えられる。ここで所定ライン数は動き補償処理の垂直エリアに依存して設定され、４ライン程度である。
ライン遅延器３３では上ライン信号を１ライン遅延させられ、下ライン画像信号として、加算器３４と適応制御部３８に与えられる。フィールド遅延器３２からは、動き補償により所定ライン数±Ｙライン及び±Ｘ画素遅延させられた画素が、後フィールド画像信号として、加算器４０と適応制御部３８に与えられる。
【００２０】
フィールド遅延器４２からは、動き補償により所定ライン数±Ｙライン及び±Ｘ画素遅延させられた画素が、前フィールド画像信号として、加算器４０と適応制御部３８に与えられる。ここで、±Ｙ、±Ｘは動き補償の動きベクトルで、フィールド遅延器３２とフィールド遅延器４２では、補間時間関係が逆になるので遅延量の正負も逆になる。
【００２１】
加算器３４は上ライン画像信号と下ライン画像信号を加算して１／２倍し、フィールド内補間信号として、乗算器３５と適応制御部３８に与える。
加算器４０は前フィールド画像信号と後フィールド画像信号を加算して１／２倍し、フィールド間補間信号として、乗算器４１と適応制御部３８に与える。
乗算器３５は適応制御部３８から与えられる動き係数ｋ(０〜１)を乗じて、加算器３６に与える。乗算器４１は減算器３９から与えられる逆動き係数(１−ｋ)を乗じて、加算器３６に与える。
加算器３６は動き係数ｋが乗じられたフィールド内補間信号と逆動き係数(１−ｋ)が乗じられたフィールド間補間信号とを加算して、最終的な補間信号を形成して補間画像出力３７より出力する。
【００２２】
【発明の効果】
本発明では、下限を制限した空間アクティビティで画像間差分信号を除算して動き係数を得る。これにより、画像の空間変化の激しい部分では、画像間差分信号も大きくなるが、空間アクティビティも大きくなり、画像の空間変化の少ない部分では、画像間差分信号も小さくなるが、空間アクティビティも小さくなり、前記除算することで画像の空間的な変化に左右されない動き係数(画像間変化の程度)が判断される。
【００２３】
アクティビティは下限を有するので、アクティビティが小さなときに除算後の信号が不必要に大きくならず、ノイズ等で不安定に変化することもない。この様に動き係数が空間変化の程度の影響を受け難くなり、動き係数による適応処理が画像の動きの程度に対して正しく行われるので、画質劣化の少ないフォーマット変換等が可能になる。
【図面の簡単な説明】
【図１】本発明の動画像信号の適応処理制御装置の第１実施例の構成を示す図である。
【図２】本発明の動画像信号の適応処理制御装置の第２実施例の構成を示す図である。
【図３】本発明の走査線補間装置の一実施例の構成例を示す図である。
【図４】従来の動画像信号の適応処理制御装置の一構成例を示す図である。
【図５】プログレッシブ変換の様子を示す図である。
【図６】補間処理の様子を示す図である。
【符号の説明】
１…前フィールド画像信号入力端子、
２，１０，２２，３９…減算器、
３，１１，２４…絶対値化器、
４…除算器、
５，１２…空間ＬＰＦ、
６，２６，４６…レベル変換器、
８…後フィールド画像信号入力端子、
９…上ライン画像信号入力端子、
１３…下限制限器、
１４…下ライン画像信号入力端子、
２１…フィールド内補間信号入力端子、
２３…垂直ＬＰＦ、
２５…フィールド間補間信号入力端子、
２７，３４，３６，４０…加算器、
３１…画像入力端子、
３２，４２…フィールド遅延器、
３３…ライン遅延器、
３５，４１…乗算器、
３７…補間画像出力端子、
３８…適応制御部、
ｋ…動き係数(０〜１)
【図１】
0003770523.tif 000002
【図２】
0003770523.tif 000003
【図３】
0003770523.tif 000004
【図４】
0003770523.tif 000005
【図５】
0003770523.tif 000006
【図６】
0003770523.tif 000007