(57)【要約】【課題】動画符号化装置において、符号化データ量の増加を抑え鮮鋭度の高い動画画質を提供すると供に、高速処理を実現する。【解決手段】入力動画データのエッジ量を演算し第１のエッジ量データ信号を出力すると共に、入力動画データを１フレーム期間遅延させるフレームメモリと、前記フレームメモリで１フレーム期間遅延させた動画データのエッジ量を演算し第２のエッジ量データ信号を出力する。前記第１のエッジ量データ信号と前記第２のエッジ量データ信号からフレーム間のエッジ量変化データを演算し、そのエッジ量変化データにより動きの有ったエッジ部を判別し、空間フィルターの周波数特性を制御し、最適な空間フィルター処理を行い動画エンコードする。それによって符号データ量を抑えながら動きのある映像対象の鮮鋭度を高くして符号化をすることができ、また繰り返し演算を行わずに動きの有ったエッジ部を判別できるので高速の処理が可能となる。【選択図】図１
2007282010.tif 000002
【特許請求の範囲】
【請求項１】
動画データ信号を入力する動画データ入力手段と、前記動画データ入力手段より入力した入力動画データのエッジ量を演算し第１のエッジ量データ信号を出力する第１のエッジ量演算手段と、前記動画データ入力手段より入力した入力動画データを１フレーム期間遅延させるフレームメモリ手段と、前記フレームメモリ手段で１フレーム期間遅延させた動画データのエッジ量を演算し第２のエッジ量データ信号を出力する第２のエッジ量演手段と、前記第１のエッジ量データ信号と前記第２のエッジ量データ信号の違いにより空間フィルターの特性を制御する空間フィルター制御手段と、前記空間フィルター制御手段で制御され２次元フィルター演算を行う空間フィルター手段と、前記空間フィルター手段で補正された動画データ信号をデータ圧縮し符号データを出力する動画符号化手段と、前記符号データを出力する符号データ出力手段を備えた動画符号化装置。
【請求項２】
前記空間フィルター制御手段は、前記第１のエッジ量データが前記第２のエッジ量データより大きい場合はフィルター係数を切り替えて前記空間フィルターの特性をエッジ強調フィルターとする事を特徴とする請求項１記載の動画符号化装置。
【請求項３】
前記空間フィルター制御手段は、前記第１のエッジ量データと前記第２のエッジ量データからフィルター係数を演算し、前記第１のエッジ量データが前記第２のエッジ量データより大きい程、前記空間フィルターのエッジ強調度を大きくする事を特徴とする請求項１記載の動画符号化装置。
【請求項４】
前記空間フィルター制御手段は、前記第１のエッジ量データと前記第２のエッジ量データの差分データ値と所定の閾値と比較し、前記比較した結果に応じて段階的にエッジ強調度が切り替わる様に複数のフィルター係数セットを切り替えて前記空間フィルターを制御する事を特徴とする請求項１記載の動画符号化装置。
【請求項５】
前記空間フィルター制御手段は、前記第１のエッジ量データと前記第２のエッジ量データの比データ値と所定の閾値と比較し、前記比較した結果に応じて段階的にエッジ強調度が切り替わる様に複数のフィルター係数セットを切り替えて前記空間フィルターを制御する事を特徴とする請求項１記載の動画符号化装置。
【請求項６】
前記空間フィルター制御手段は、前記第１のエッジ量データが前記第２のエッジ量データより小さい場合フィルター係数を切り替えて、前記空間フィルターがローパスフィルター特性となる事を特徴とする請求項１記載の動画符号化装置。
【請求項７】
前記空間フィルター制御手段は、前記第１のエッジ量データが前記第２のエッジ量データより大きい場合は、前記空間フィルターの特性に関して垂直方向と水平方向の高周波領域の増幅度を大きくし斜め方向の高周波領域を増幅しない方向性特性を持った空間フィルターとする事を特徴とする請求項１記載の動画符号化装置。
【請求項８】
前記空間フィルター制御手段は、前記第１のエッジ量データが前記第２のエッジ量データより大きい程、前記空間フィルターの特性に関して垂直方向と水平方向の高周波領域の増幅度を大きくし斜め方向の高周波領域を増幅しない方向性特性を持った空間フィルターとする事を特徴とする請求項１記載の動画符号化装置。
【請求項９】
前記空間フィルター制御手段は、前記第１のエッジ量データと前記第２のエッジ量データの差分データ値と所定の閾値と比較し、前記比較した結果に応じて、前記空間フィルターの特性に関して垂直方向と水平方向の高周波領域の増幅度が段階的に異なりまた斜め方向の高周波領域を増幅しない様にした複数のフィルター係数セットを切り替えて前記事空間フィルターを制御する事を特徴とする請求項１記載の動画符号化装置。
【請求項１０】
前記空間フィルター制御手段は、前記第１のエッジ量データが前記第２のエッジ量データより小さい場合は、前記空間フィルターの特性に関して垂直方向と水平方向の高周波領域を減衰させず、斜め方向の高周波領域のみを減衰させる方向性特性を持った空間フィルターとする事を特徴とする請求項１記載の動画符号化装置。
【請求項１１】
前記第１のエッジ量演算手段と第２のエッジ量演算手段は、水平方向のパワースペクトラムと垂直方向のパワースペクトラムからエッジ量を演算する事を特徴とする請求項１記載の動画符号化装置。
【請求項１２】
前記第１のエッジ量演算手段と第２のエッジ量演算手段は、前記空間フィルター手段の中心画素を基準として、左右方向に位置をずらした複数の水平方向のパワースペクトラムと上下方向に位置をずらした複数の垂直方向のパワースペクトラムからエッジ量を演算する事を特徴とする請求項１記載の動画符号化装置。
【請求項１３】
前記第１のエッジ量演算手段と第２のエッジ量演算手段は、前記空間フィルター手段の垂直方向の参照範囲と同一の垂直方向範囲を参照して演算した水平方向のパワースペクトラムと、前記空間フィルター手段の水平方向の参照範囲と同一の水平方向範囲を参照して演算した垂直方向のパワースペクトラムからエッジ量を演算する事を特徴とする請求項１記載の動画符号化装置。
【請求項１４】
動画データ信号を入力し、前記入力した入力動画データのエッジ量を演算し第１のエッジ量データ信号を出力し、前記入力した入力動画データを１フレーム期間遅延させ、前記１フレーム期間遅延させた動画データのエッジ量を演算し第２のエッジ量データ信号を出力し、前記第１エッジ量データ信号と前記第２エッジ量データ信号から空間フィルターの特性を制御し、前記特性制御された空間フィルターで前記入力動画データに２次元フィルタ演算を行い、前記空間フィルター演算されたデータ信号を動画データ圧縮し、符号データを出力する動画符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画信号を符号化する動画符号化装置及び動画符号化方法に関する。
【背景技術】
【０００２】
従来、符号化の前段に空間フィルターを置き、入力動画信号の動き量に応じて２次元空間フィルターの特性の特性を切り替えてぼかし、符号量を削減していた（例えば、特許文献１参照）。
【特許文献１】特開平６−６２３９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の技術においては、以下のような問題が生ずる。
【０００４】
即ち、動きの有る部分をぼかす為に、動きのある映像対象により高い鮮鋭度を要求する監視カメラなど用途には使用できない。
また、動き検出器により入力動画データのフレーム間の動き量を検出するために繰り返し演算が必要となり、処理時間がかり高速化する事が難しいと言う問題がある。
【０００５】
本発明は、かかる問題点に鑑みて為されたものであり、入力動画信号の動き量の検出を必要とせず、符号データ量を抑えながら動きのある映像対象の鮮鋭度を高めまたは保持して、高速に符号化を行う事を可能とする動画符号化装置及び動画符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、動画データ信号を入力する動画データ入力手段と、前記動画データ入力手段より入力した入力動画データのエッジ量を演算し第１のエッジ量データ信号を出力する第１のエッジ量演算手段と、前記動画データ入力手段より入力した入力動画データを１フレーム期間遅延させるフレームメモリ手段と、前記フレームメモリ手段で１フレーム期間遅延させた動画データのエッジ量を演算し第２のエッジ量データ信号を出力する第２のエッジ量演手段と、前記第１のエッジ量データ信号と前記第２のエッジ量データ信号の違いにより空間フィルターの特性を制御する空間フィルター制御手段と、前記空間フィルター制御手段で制御され２次元フィルター演算を行う空間フィルター手段と、前記空間フィルター手段で補正された動画データ信号をデータ圧縮し符号データを出力する動画符号化手段と、前記符号データを出力する符号データ出力手段を備えたものである。
【発明の効果】
【０００７】
本発明に係る動画符号化装置によれば、繰り返し演算を必要とせずに高速で簡易な装置と方法で動きの有る映像のエッジ部を判別でき、その判別結果に基づき適応的に空間フィルター処理を行う事が可能で、それにより符号データ量を抑えながら動きのある映像対象の鮮鋭度を高くしまたは保持して符号化することができる。
【発明を実施するための最良の形態】
【０００８】
本発明の第１の態様に係る動画符号化装置は、動画データ信号を入力する動画データ入力手段と、前記動画データ入力手段より入力した入力動画データのエッジ量を演算し第１のエッジ量データ信号を出力する第１のエッジ量演算手段と、前記動画データ入力手段より入力した入力動画データを１フレーム期間遅延させるフレームメモリ手段と、前記フレームメモリ手段で１フレーム期間遅延させた動画データのエッジ量を演算し第２のエッジ量データ信号を出力する第２のエッジ量演手段と、前記第１のエッジ量データ信号と前記第２のエッジ量データ信号の違いにより空間フィルターの特性を制御する空間フィルター制御手段と、前記空間フィルター制御部で制御され２次元フィルター演算を行う空間フィルター手段と、前記空間フィルター手段で補正された動画データ信号をデータ圧縮し符号データを出力する動画符号化手段と、前記符号データを出力する符号データ出力手段を備えたものである。
【０００９】
これによれば、動画フレーム間のエッジ量の違いによって２次元空間フィルターの特性を変えて、動きの有ったエッジ部のみにエッジ強調することが出来る。
ＭＰＥＧなどの動画エンコーダでは予測画像との誤差をＤＣＴ変換して量子化後、可変長符号化するハイブリッド符号化方式が採用されており、エッジ強調すると動画データの高周波成分が増えてしまいＤＣＴ変換後の高周波成分も増加し、その為符号量が増加してしまう。
しかし、前述の様に動きの有るエッジ部のみにエッジ強調する事によって、符号データ量を抑えながら動きのある映像対象の鮮鋭度を高くし符号化をする事が可能となる。
【００１０】
本発明の第２の態様に係る動画符号化装置は、前記空間フィルター制御手段において、前記第１のエッジ量データが所定の値より大きく、かつ前記第１のエッジ量データが前記第２のエッジ量データより大きい場合はフィルター係数を切り替えて前記空間フィルターの特性をエッジ強調フィルターとする事を特徴とするものである。
【００１１】
これによれば、フレーム間のエッジ量の大小比較により空間フィルターの係数を切り替えるので、簡易な回路構成で高速に動きの有ったエッジ部のみにエッジ強調することができ、符号データ量を抑えながら動きのある映像対象の鮮鋭度を高くすることができる。
【００１２】
本発明の第３の態様に係る動画符号化装置は、前記空間フィルター制御手段において、前記第１のエッジ量データと前記第２のエッジ量データからフィルター係数を演算し、前記第１のエッジ量データが前記第２のエッジ量データより大きい程、前記空間フィルターのエッジ強調度を大きくする事を特徴とするものである。
【００１３】
これによれば、フレーム間のエッジ量の変化が多くなるに従い連続的にエッジ強調度が変化するので、エッジ強度の境目が目立たずに動きの有ったエッジ部のみにエッジ強調することができ、符号データ量を抑えながら動きのある映像対象の鮮鋭度を高くすることができる。
【００１４】
本発明の第４の態様に係る動画符号化装置は、前記空間フィルター制御手段において、前記第１のエッジ量データと前記第２のエッジ量データの差分データ値と所定の閾値と比較し、前記比較した結果に応じて段階的にエッジ強調度が切り替わる様に複数のフィルター係数セットを切り替えて前記空間フィルターを制御する事を特徴とするものである。
【００１５】
これによれば、フレーム間におけるエッジ量の変化が少ない場合はエッジ強調度の弱くし、エッジ量変化が多い場合は段階的エッジ強調度を強くする事ができ、エッジ強度の境目が目立たずに動きの有ったエッジ部のみにエッジ強調することができ、符号データ量を抑えながら動きのある映像対象の鮮鋭度を高くすることができる。
【００１６】
本発明の第５の態様に係る動画符号化装置は、前記空間フィルター制御手段において、前記第１のエッジ量データと前記第２のエッジ量データの比データ値と所定の閾値と比較し、前記比較した結果に応じて段階的にエッジ強調度が切り替わる様に複数のフィルター係数セットを切り替えて前記空間フィルターを制御する事を特徴とする事を特徴とするものである。
【００１７】
これによれば、エッジ量の比を用いる為、カメラのレンズ特性の違いやフォーカスの状態の違いにより発生するエッジ量のばらつきの影響を受けずにフレーム間におけるエッジ量の比が小さい場合はエッジ強調度の弱くし、エッジ量の比が大きい場合は段階的エッジ強調度を強くする事ができ、エッジ強度の境目が目立たずに動きの有ったエッジ部のみにエッジ強調することができ、符号データ量を抑えながら動きのある映像対象の鮮鋭度を高くすることができる。
【００１８】
本発明の第６の態様に係る動画符号化装置は、前記空間フィルター制御手段において、前記第１のエッジ量データが前記第２のエッジ量データより小さい場合フィルター係数を切り替えて、前記空間フィルターがローパスフィルター特性となる事を特徴とするものである。
【００１９】
これによれば、フレーム間のエッジ量の大小比較により空間フィルターの係数を切り替えるので簡易な回路構成で高速に処理でき、動きの有ったエッジ部はぼかさず、動きの無かったエッジ部のみをぼかす事により、動きの有った映像対象の鮮鋭度を保持しつつ符号データ量を削減する事ができる。
【００２０】
本発明の第７の態様に係る動画符号化装置は、前記空間フィルター制御手段において、前記第１のエッジ量データが前記第２のエッジ量データより大きい場合は、前記空間フィルターの特性に関して垂直方向と水平方向の高周波領域の増幅度を大きくし斜め方向の高周波領域を増幅しない方向性特性を持った空間フィルターとする事を特徴とするものである。
【００２１】
これによれば、動きの有ったエッジ部のみに対し、斜め方向の高周波領域を強調する事無くエッジ強調することができるのでノイズの影響が少なくなり、符号データ量を抑えながら動きのある映像対象の鮮鋭度を高くすることができる。
【００２２】
本発明の第８の態様に係る動画符号化装置は、前記空間フィルター制御手段において、前記第１のエッジ量データが前記第２のエッジ量データより大きい程、前記空間フィルターの特性に関して垂直方向と水平方向の高周波領域の増幅度を大きくし斜め方向の高周波領域を増幅しない方向性特性を持った空間フィルターとする事を特徴とする事を特徴とするものである。
【００２３】
これによれば、フレーム間のエッジ量変化が多くなるに従い連続的に垂直方向と水平方向のエッジ強調度を変化させることができるのでエッジ強度の境目が目立つ事無く、また斜め方向の高周波領域を強調する事が無くエッジ強調することができるのでノイズの影響が少なくなり、符号データ量を抑えながら動きのある映像対象の鮮鋭度を高くすることができる。
【００２４】
本発明の第９の態様に係る動画符号化装置は、前記空間フィルター制御手段は、前記第１のエッジ量データと前記第２のエッジ量データの差分データ値と所定の閾値と比較し、前記比較した結果に応じて、前記空間フィルターの特性に関して垂直方向と水平方向の高周波領域の増幅度が段階的に異なりまた斜め方向の高周波領域を増幅しない様にした複数のフィルター係数セットを切り替えて前記事空間フィルターを制御する事を特徴とするものである。
【００２５】
これによれば、フレーム間におけるエッジ量の差が少ない場合は垂直方向と水平方向のエッジ強調度を少なくし、エッジ量の差が多い場合は垂直方向と水平方向のエッジ強調度を段階的多くする事ができ、その為にエッジ強度の境目が目立たなく、また斜め方向の高周波領域を強調する事が無くエッジ強調することができるのでノイズの影響が少なくなり、符号データ量を抑えながら動きのある映像対象の鮮鋭度を高くすることができる。
【００２６】
本発明の第１０の態様に係る動画符号化装置は、前記空間フィルター制御手段において、前記第１のエッジ量データが前記第２のエッジ量データより小さい場合は、前記空間フィルターの特性に関して垂直方向と水平方向の高周波領域を減衰させず、斜め方向の高周波領域のみを減衰させる方向性特性を持った空間フィルターとする事を特徴とするものである。
【００２７】
これによれば、動きの有ったエッジ部はそのままとし、動きの無かったエッジ部に対しては、垂直方向と水平方向のエッジはぼかさずに斜め方向のみをぼかす事により画質劣化を最小限に抑え、また斜め方向の高周波領域を減衰させる事で、高周波ノイズを低減させ、動きのある映像対象の鮮鋭度を保持しながら符号データ量を削減する事ができる。
【００２８】
本発明の第１１の態様に係る動画符号化装置は、前記第１のエッジ量演算手段と第２のエッジ量演算手段において、水平方向空間周波数のパワースペクトラムと垂直方向空間周波数のパワースペクトラムからエッジ量を演算する事を特徴とするものである。
【００２９】
これによれば、動画データを構成するフレーム画像の空間周波数成分に着目し、エッジ量として水平方向の高周波領域と垂直方向の高周波領域に限定したパワースペクトラム値を用いることにより、ノイズの影響を受け難くなり、精度良くエッジ量を求めることが出来る。
【００３０】
本発明の第１２の態様に係る動画符号化装置は、前記第１のエッジ量演算手段と第２のエッジ量演算手段は、前記空間フィルター手段の中心画素を基準として、左右方向に位置をずらした複数の水平方向のパワースペクトラムと上下方向に位置をずらした複数の垂直方向のパワースペクトラムからエッジ量を演算する事を特徴とするものである。
これによれば、空間フィルターの中心画素に対し、上下左右どちらにエッジが有っても位置ずれすることなくエッジ量を演算でき、動きの有ったエッジ部に対し正確に空間フィルター特性を制御する事ができ、動きのある映像対象の鮮鋭度を高めまたは保持しつつ高速の動画符号化が可能である。
【００３１】
本発明の第１３の態様に係る動画符号化装置は、前記第１のエッジ量演算手段と第２のエッジ量演算手段は、前記空間フィルター手段の垂直方向の参照範囲と同一の垂直方向範囲を参照して演算した水平方向のパワースペクトラムと、前記空間フィルター手段の水平方向の参照範囲と同一の水平方向範囲を参照して演算した垂直方向のパワースペクトラムからエッジ量を演算する事を特徴とするものである。
【００３２】
これによれば、前記空間フィルター手段と同一の参照画素範囲のパワースペクトラムからエッジ量を演算する事ができ、検出したエッジ位置と空間フィルターの中心画素のずれが無く、動きの有ったエッジ部に対し正確に空間フィルター特性を制御することが出来き、また同一範囲の参照画素データを使用する為、処理効率が良く高速化が可能である。
【００３３】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３４】
図１は、本実施の形態に係る動画符号化装置の構成を示すブロック図である。
動画データ信号を入力する動画データ入力１００、入力した入力動画データのエッジ量を画素毎に演算しその結果を第１のエッジ量データ信号として画素毎に出力する第１のエッジ量演算部１０２、前記動画データ入力より入力した入力動画データを１フレーム期間遅延させるフレームメモリ１０１、前記フレームメモリで１フレーム期間遅延させた動画データのエッジ量を画素毎に演算しその結果を第２のエッジ量データ信号として画素毎に出力する第２のエッジ量演部１０３、前記第１のエッジ量データ信号と前記第２のエッジ量データ信号の違いからフレーム間のエッジの動きを判定し画素毎にフィルター係数を決定する空間フィルター制御部１０４、前記空間フィルター制御部で決定されたフィルター係数で２次元フィルター演算を行う空間フィルター１０５、前記空間フィルター１０５で補正された動画データ信号をデータ圧縮し符号データを出力する動画エンコーダ１０６と、前記符号データを出力する符号データ出力部１０７を備えている。
【００３５】
図２は、前記図１の空間フィルター制御部の第１の実施例を示すブロック図である。
入力動画のエッジ量が入力される第１のエッジ量データ入力２００、１フレーム期間遅延された入力動画のエッジ量が入力される第２のエッジ量データ入力２０１、前記第１のエッジ量データと所定の閾値１を比較する第１比較器２０２、前記第１のエッジ量データと前記第２のエッジ量データを比較する第２比較器２０３、前記第１の比較器２０２と前記第２の比較器２０３の結果をＡＮＤするＡＮＤゲート２０５、前記ＡＮＤゲート２０５の結果に応じて事前に決められたフィルター係数を出力するフィルター係数メモリ２０４、前記フィルター係数を出力する空間フィルター係数出力２０６を備えている。
【００３６】
図３は、前記図２のフィルター係数メモリ２０４の第１の実施例による空間フィルター係数値とその配列を示したものであり、前記第１比較器２０２と前記第２比較器２０３の結果をＡＮＤするＡＮＤゲート２０５の結果として、第１のエッジ量≧第２のエッジ量でありかつ第1のエッジ量≧閾値１とする第１場合は中心画素の係数を４８／１６とし周辺８画素の係数を−４／１６とする空間フィルター係数を出力し、前記第１の場合以外は中心画素の係数を１とし周辺８画素の係数を０としている。
【００３７】
このように、入力した動画データの前記第１のエッジ量データと１フレーム期間遅延された前記第２のエッジ量データより、前記第１のエッジ量データが所定の閾値より大きく、かつ前記第１のエッジ量データが前記第２のエッジ量データより大きい場合は動きの有るエッジ部と判定し空間フィルターによりエッジ強調処理し、それ以外の場合はエッジでは無いかまたは動きの無いエッジ部と判断し、空間フィルターは無補正とする。
このように処理された動画データは、動きの有る部分の鮮鋭度が向上し、監視カメラなど動きのある映像対象により高い鮮鋭度を要求する用途に適した動画データに補正することが出来る。
【００３８】
一方、動きの無いエッジ部にはエッジ強調を行わない為、動画エンコーダで符号化した場合の符号データ量の増加を抑える事ができる。
ＭＰＥＧなどの動画エンコーダでは予測画像との誤差をＤＣＴ変換し量子化後に可変長符号化するハイブリッド符号化方式が採用されており、エッジ強調すると動画データの高周波成分が増えてしまいＤＣＴ変換後の高周波成分も増えその為符号量が増加してしまう。
符号量を抑えるには、動画データの鮮鋭度を必要としない部分には、選択的にエッジ強調しない様に空間フィルターを制御する。
特に監視カメラでは、カメラが固定されている為、動きのある映像対象が無い場合はエッジ強調されずに符号量は増加しない。また動きのある映像対象が有った場合もエッジ強調された輪郭部のみデータ量が増えるので、符号データ量の増加を抑える事ができる。
【００３９】
図４は、前記図１の空間フィルター制御部の第２の実施例を示すブロック図である。
入力動画のエッジ量が入力される第１のエッジ量データ入力３００、１フレーム期間遅延された入力動画のエッジ量が入力される第２のエッジ量データ入力３０１、前記第１のエッジ量データから前記第２のエッジ量データを減算する減算器３０２、前記第１のエッジ量データと所定の閾値１を比較する比較器３０３、前記減算器３０２の結果データＳと前記比較器３０３の結果から、フィルター係数を演算するフィルター係数演算部３０４と前記フィルター係数を出力する空間フィルター係数出力３０５を備えている。
【００４０】
図５は、前記フィルター係数演算部３０４から出力する空間フィルター係数値とその係数配列を示したものであり、前記比較器３０３と前記減算器３０２の結果データＳにより、Ｋ＝調整係数×Ｓとして、Ｓ＞０でありかつ第１のエッジ量≧閾値１とする第１場合は、中心画素の係数を１＋Ｋ／８とし周辺８画素の係数を−Ｋ／６４とする空間フィルター係数を出力し、前記第１の場合以外は中心画素の係数を１とし周辺８画素の係数を０としている。なお前記調整係数は入力動画像の鮮鋭度により決まる値で、使用するカメラの光学系の条件等により事前の評価で決まる値である。
【００４１】
このように、入力した動画データの前記第１のエッジ量データと１フレーム期間遅延された前記第２のエッジ量データより、前記第１のエッジ量データが前記所定の閾値１より大きく、かつ前記第１のエッジ量データから前記第２のエッジ量データを減算した結果データＳが正の場合は、前記結果データＳはエッジ部の変化の程度に比例するものとして、結果データＳが小さい場合はエッジ強調度を弱くし、大きい場合はエッジ強調度を強くする様に無段階に空間フィルター強度を制御する。図１４と図１５は図５の前記第１の場合の係数配列と係数値の空間フィルターの特性を示したものであり、図１４はＫ＝４とした場合であり高周波領域の利得は１．５〜１．７程度の強調度が得られ、図１５はＫ＝８とした場合であり高周波領域の利得は２．０〜２．５程度の強調度が得られ、結果データＳによって決まる係数Ｋの値により無段階に空間フィルターの強調度を制御できる事を示している。
【００４２】
このように処理された動画データは、無段階にエッジ強度が変わるのでエッジ強度の境目が目立たずに動きの有ったエッジ部のみにエッジ強調することができ、符号データ量を抑えながら動きのある映像対象の鮮鋭度を高くすることができる。
【００４３】
図６は、前記図１の空間フィルター制御部の第３の実施例を示すブロック図である。
入力動画のエッジ量が入力される第１のエッジ量データ入力４００、１フレーム期間遅延された入力動画のエッジ量が入力される第２のエッジ量データ入力４０１、前記第１のエッジ量データから前記第２のエッジ量データを減算する減算器４０２、前記減算結果と所定の閾値２を比較する第１の比較器４０３と、前記減算結果と所定の閾値３を比較する第２の比較器４０４と、前記第１のエッジ量データと所定の閾値１を比較する第３の比較器４０５と、前記第１比較器４０３の結果と前記第２比較器４０４と前記第３比較器４０５の結果から、フィルター係数を出力するフィルター係数メモリ４０６と前記フィルター係数を出力する空間フィルター係数出力４０７を備えている。
【００４４】
図７は、前記フィルター係数メモリ４０６から出力する空間フィルター係数値とその係数配列を示したものであり、（第１のエッジ量−第２のエッジ量）≧閾値３でありかつ第1のエッジ量≧閾値１とする第１場合は中心画素の係数を１２８／６４とし周辺８画素の係数を−８／６４とし、（第１のエッジ量−第２のエッジ量）＜閾値３でありかつ（第１のエッジ量−第２のエッジ量）≧閾値２でありかつ第1のエッジ量≧閾値１とする第２場合は中心画素の係数を９６／６４とし周辺８画素の係数を−４／６４とし、前記第１と前記第２の場合以外は中心画素の係数を１とし周辺８画素の係数を０としている。前記第１の場合の空間フィルターの特性は図１５となり、前記第２の場合の空間フィルターの特性は図１４となり、エッジ量の差分値に応じて高周波領域の利得の異なる空間フィルター処理を切り替える構成を備えている。
【００４５】
そのため、フレーム間における量の変化が少ない場合はエッジ強調度の弱くし、エッジ量変化が多い場合は段階的エッジ強調度を強くする事ができ、エッジ強度の境目が目立たずに動きの有ったエッジ部のみにエッジ強調することができ、符号データ量を抑えながら動きのある映像対象の鮮鋭度を高くすることができる。
【００４６】
図８は、前記図１の空間フィルター制御部の第４の実施例を示すブロック図である。
入力動画のエッジ量が入力される第１のエッジ量データ入力５００、１フレーム期間遅延された入力動画のエッジ量が入力される第２のエッジ量データ入力５０１、前記第１のエッジ量データを前記第２のエッジ量データで除算する除算器５０２、前記除算結果と所定の閾値２を比較する第１の比較器５０３と、前記除算結果と所定の閾値３を比較する第２の比較器５０４と、前記第１のエッジ量データと所定の閾値１を比較する第３の比較器５０５と、前記第１の比較器５０３の結果と前記第２の比較器５０４と前記第３の比較器５０５の結果から、フィルター係数を出力するフィルター係数メモリ５０６と前記フィルター係数を出力する空間フィルター係数出力５０７を備えている。前記フィルター係数メモリ５０６は、前述の図７と同一の構成である。
【００４７】
これによれば、エッジ量が変化した比を用いる為、カメラのレンズ特性の違いやフォーカスの状態の違いにより発生する光学的なＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）の変化によりエッジ量がばらついた場合でも、エッジ量のバラつきの影響を受けずに、フレーム間におけるエッジ量の変化が少ない場合はエッジ強調度の弱くし、エッジ量変化が多い場合は段階的エッジ強調度を強くする事ができ、エッジ強度の境目が目立たずに動きの有ったエッジ部のみにエッジ強調することができ、符号データ量を抑えながら動きのある映像対象の鮮鋭度を高くすることができる。
【００４８】
図９は、図２に示した前記空間フィルター制御部のフィルター係数メモリ２０４の第２の実施例によるフィルター係数値とその係数による空間フィルターの係数配列を示したもので、前記第１の比較器２０２と前記第２の比較器２０３の結果をＡＮＤするＡＮＤゲート２０５の結果として、第１のエッジ量≧第２のエッジ量でありかつ第1のエッジ量≧閾値１とする第１場合は中心画素の係数を１とし周辺８画素の係数を０とし、第１の場合以外は中心画素の係数を４／１６とし、水平垂直方向の周辺４画素の係数を２／１６、斜め方向の周辺４画素の係数を１／１６としている。
【００４９】
図１６は、前記第１の場合以外の係数配列による空間フィルターの特性を示したものであり、全方向の高周波領域の利得が０となるローパス特性である事を示している。
【００５０】
これによれば、動きの有ったエッジ部はぼかさず、動きの無かったエッジ部のみをぼかす事により、動きの有った映像対象の鮮鋭度を保持しつつ符号データ量を削減する事ができる。
【００５１】
図１０は、図２に示した前記空間フィルター制御部のフィルター係数メモリ２０４の第３の実施例による空間フィルターの係数値とその係数配列を示したもので、前記第１の比較器２０２と前記第２の比較器２０３の結果をＡＮＤするＡＮＤゲート２０５の結果として、第１のエッジ量≧第２のエッジ量でありかつ第1のエッジ量≧閾値１とする第１場合は中心画素の係数を８０／６４とし、斜め方向の周辺４画素の係数を−４／６４とし水平垂直方向の周辺４画素の係数を０とし、前記第１の場合以外は中心画素の係数を１とし周辺８画素の係数を０としている。
【００５２】
図１７は、図１０の前記第１の場合の係数配列による空間フィルターの特性を示したものであり、水平方向と垂直方向の高周波領域の利得は１．５となり、斜め方向の高周波領域の利得は１となる方向性特性のある空間フィルターである事を示している。
【００５３】
これによれば、動きの有ったエッジ部のみに対し、斜め方向の高周波領域を強調する事無く水平方向と垂直方向についてエッジ強調することができので、符号データ量を抑えながら鮮鋭度を高くした符号化を行う事ができる。
【００５４】
図１１は、図４に示した前記空間フィルター制御部のフィルター係数演算部３０４の第２の実施例による空間フィルターの係数値と係数配列を示したもので、前記比較器３０３と前記減算器３０２の結果データＳにより、Ｋ＝調整係数×Ｓとして、Ｓ＞０でありかつ第１のエッジ量≧閾値１とする第１場合は、中心画素の係数を１＋Ｋ／８とし、斜め方向の周辺４画素の係数を−Ｋ／６４とし、水平垂直方向の周辺４画素の係数を０とし、前記第１の場合以外は中心画素の係数を１とし周辺８画素の係数を０としている。なお前記調整係数は入力動画像の鮮鋭度により決まる値で、使用するカメラの光学系の条件等により事前の評価で決まる値である。
【００５５】
図１７と図１８は図１１の前記第１の場合の係数配列による空間フィルターの特性を示したものであり、図１７はＫ＝４とした場合であり水平方向と垂直方向の高周波領域の利得は１．５となり斜め方向の高周波領域の利得は１となる、図１８はＫ＝８とした場合であり水平方向と垂直方向の高周波領域の利得は２となり斜め方向の高周波領域の利得は１となる、結果データＳによって決まる係数Ｋの値により斜め方向の高周波領域の利得は１にしたまま、無段階に水平方向と垂直方向の空間フィルターの強調度を制御できる事を示している。
【００５６】
これによれば、フレーム間のエッジ量の変化が多くなるに従い連続的に垂直方向と水平方向のエッジ強調度を変化させることができるので、エッジ強度の境目が目立つ事が無く、また斜め方向の高周波領域を強調する事が無いので、符号データ量を抑えながら鮮鋭度を高くした符号化を行う事ができる。
【００５７】
図１２は、図６に示した前記空間フィルター制御部のフィルター係数メモリ４０６の第２の実施例による空間フィルターの係数値と係数配列を示したもので、（第１のエッジ量−第２のエッジ量）≧閾値３でありかつ第1のエッジ量≧閾値１とする第１場合は中心画素の係数を９６／６４とし斜め方向の周辺４画素の係数を−８／６４とし水平垂直方向の周辺４画素の係数を０とし、（第１のエッジ量−第２のエッジ量）＜閾値３でありかつ（第１のエッジ量−第２のエッジ量）≧閾値２でありかつ第１のエッジ量≧閾値１とする第２場合は中心画素の係数を８０／６４とし斜め方向の周辺４画素の係数を−４／６４とし水平垂直方向の周辺４画素の係数を０としている。
【００５８】
前記第１の場合の空間フィルターの特性は図１８となり水平方向と垂直方向の高周波領域の利得は２となり斜め方向の高周波領域の利得は１となる、前記第２の場合の空間フィルターの特性は図１７となり水平方向と垂直方向の高周波領域の利得は１．５となり斜め方向の高周波領域の利得は１となる、エッジ量の差分値に応じて水平方向と垂直方向にのみ高周波領域の利得が異なる空間フィルターを切り替える構成を備えている。
【００５９】
これによれば、フレーム間におけるエッジ量の変化が少ない場合は垂直方向と水平方向のエッジ強調度の少なくし、エッジ量変化が多い場合は垂直方向と水平方向のエッジ強調度を段階的多くする事ができエッジ強度の境目が目立たないく、また斜め方向の高周波領域を強調する事が無いので符号データ量を抑えながら鮮鋭度を高くした符号化を行うことができる。
【００６０】
図１３は、図２に示した前記空間フィルター制御部のフィルター係数メモリ２０４の第４の実施例による空間フィルターの係数値と係数配列を示したもので、前記第１の比較器２０２と前記第２の比較器２０３の結果をＡＮＤするＡＮＤゲート２０５の結果として、第１のエッジ量≧第２のエッジ量でありかつ第1のエッジ量≧閾値１とする第１場合は中心画素の係数を１とし周辺８画素の係数を０とし、第１の場合以外は中心画素の係数を１２／１６とし、水平垂直方向の周辺４画素の係数を２／１６、斜め方向の周辺４画素の係数を−１／１６としている。
【００６１】
図１９は前記の第１の場合以外の係数値と係数配列のよる空間フィルターの特性を示したものであり、水平方向と垂直方向の高周波領域の利得は１であり斜め方向の高周波領域の利得が０となる事をしめしている。
これによれば、動きの有ったエッジ部は補正せずにそのままとし、また動きの無かったエッジ部に対しては、垂直方向と水平方向のエッジはぼかさずに斜め方向のみをぼかす事により画質劣化を最小限に抑え高周波ノイズを低減させる事により、動きのある映像対象の鮮鋭度を保持しつつ符号データ量を削減する事ができる。
【００６２】
図２０は、前記図１の第１のエッジ量演算部１０２と第２のエッジ量演算部１０３の実施例を示すブロック構成図であり、動画データ信号を入力する動画データ入力６００、前記入力した入力動画データの所定の範囲を参照し画素毎に水平方向の高周波領域のパワースペクトラムデータを演算し出力する水平方向パワースペクトラム演算部６０１、前記入力した入力動画データの所定の範囲を参照し画素毎に垂直方向の高周波領域のパワースペクトラムデータを演算し出力する垂直方向パワースペクトラム演算部６０２、前記水平方向の高周波領域のパワースペクトラムデータと前記垂直方向の高周波領域のパワースペクトラムデータを加算する加算器６０３、前記加算した結果をエッジ量データとして出力するエッジ量データ出力６０４を備えている。
【００６３】
前記水平方向パワースペクトラム演算部６０１は、前記入力した入力動画データの所定の範囲を参照し所定の右位置水平方向パワースペクトラム演算係数と畳み込み演算しその結果の絶対値を右位置水平方向パワースペクトラムデータとして出力する右位置水平方向パワースペクトラム演算部６０５、前記入力した入力動画データの所定の範囲を参照し所定の左位置水平方向パワースペクトラム演算係数と畳み込み演算しその結果の絶対値を左位置水平方向パワースペクトラムデータとして出力する左位置水平方向パワースペクトラム演算部６０６、前記右位置水平方向パワースペクトラムデータと前記左位置水平方向パワースペクトラムデータを加算する加算器６０９を備え、前記加算結果を水平方向パワースペクトラムデータとして出力する。
【００６４】
前記垂直方向パワースペクトラム演算部６０２は、前記入力した入力動画データの所定の範囲を参照し所定の上位置垂直方向パワースペクトラム演算係数と畳み込み演算しその結果の絶対値を上位置垂直方向パワースペクトラムデータとして出力する上位置垂直方向パワースペクトラム演算部６０７、前記入力した入力動画データの所定の範囲を参照し所定の下位置垂直方向パワースペクトラム演算係数と畳み込み演算しその結果の絶対値を下位置垂直方向パワースペクトラムデータとして出力する下位置垂直方向パワースペクトラム演算部６０６、前記上位置垂直方向パワースペクトラムデータと前記下位置垂直方向パワースペクトラムデータを加算する加算器６１０を備え、前記加算結果を垂直方向パワースペクトラムデータとして出力する。
【００６５】
図２１は前記右位置水平方向パワースペクトラム演算係数、前記左位置水平方向パワースペクトラム演算係数、上位置垂直方向パワースペクトラム演算係数、下位置垂直方向パワースペクトラム演算係数を示したもので、対応する参照画素と畳み込み演算する係数値と係数配置を示している。非参照画素を含めた各３×３画素の参照画素範囲は共通であり、さらに前記図１の空間フィルターの参照画素範囲とも一致している。図２１に示す係数は１と−１のみで構成され、畳み込み演算は加減算器のみで行える事を示している。なお＊は参照しない画素データである。
【００６６】
図２１のパワースペクトラム演算係数は以下の２次元ＤＦＴ（離散的フーリエ変換）により算出されたものである。
２次元ＤＦＴ処理は、入力２次元データより２次元離散フーリエ係数に変換する処理であり一般形式としは数式１, 数式２, 数式３より求められる。
【００６７】
【数１】
2007282010.tif 000003
【００６８】
【数２】
2007282010.tif 000004
【００６９】
【数３】
2007282010.tif 000005
【００７０】
ここで、Ｍ１は水平方向のサンプル点数、Ｍ２は垂直方向のサンプル点数、ｆ（ｎ１，ｎ２）は入力２次元データ（０≦ｎ１＜Ｍ１、０≦ｎ２＜Ｍ２）、Ｆ（ｋ１，ｋ２）は求める２次元離散フーリエ係数（０≦ｋ１＜Ｍ１、０≦ｋ２＜Ｍ２）である。
【００７１】
パワースペクトラム演算に当り、参照画素範囲を前記空間フィルターの参照画素範囲と同一にする為に前記水平方向パワースペクトラム演算部では前記数式１の水平方向のサンプル点数としてＭ１＝２とし、垂直方向のサンプル点数として前記空間フィルターの参照画素範囲と同一になるようにＭ２＝３とし、水平方向の高周波領域の２次元離散フーリエ係数はｋ１＝１、ｋ２＝０とする第１の演算条件より、２次元離散フーリエ係数Ｆ（１、０）を演算する。水平方向２画素×垂直方向３画素の参照画素と畳み込み演算する水平方向パワースペクトラム演算係数は１および−１で構成され図２１の右位置水平方向パワースペクトラム演算係数および左位置水平方向パワースペクトラム演算係数となる。
【００７２】
前記垂直方向パワースペクトラム演算部では前記数式１の水平方向のサンプル点数として前記空間フィルターの参照画素範囲と同一になるようにＭ１＝３とし、垂直方向のサンプル点数としてＭ２＝２として、垂直方向の高周波領域の２次元離散フーリエ係数はｋ１＝０、ｋ２＝１とする第２の演算条件により、２次元離散フーリエ係数Ｆ（０、１）を演算する。水平方向３画素×垂直方向２画素の参照画素と畳み込み演算する垂直方向パワースペクトラム演算係数は１および−１で構成され図２１の上位置垂直方向パワースペクトラム演算係数および下位置垂直方向パワースペクトラム演算係数となる。
【００７３】
パワースペクトラムは離散フーリエ係数Ｆ（ｋ１，ｋ２）の絶対値で表されるが、前記第１と第２の演算条件では演算結果とし虚数部が発生しない為、単純な絶対値演算でパワースペクトラム値を演算することができる。
【００７４】
このように、動画データを構成するフレーム画像の空間周波数成分に着目し、エッジ量として水平方向の高周波領域と垂直方向の高周波領域のパワースペクトラム値に限定することにより、ノイズの影響を受け難くなり、精度良くエッジ量を求めることが出来る。
またパワースペクトラム演算に当っては、加減算のみの極めて簡易な演算で実現でき、空間フィルターと同一の参照画素範囲からエッジ量を演算する事ができ、検出したエッジ位置と空間フィルターの中心画素のずれが無く、正確に空間フィルター特性を制御することが出来きる。また空間フィルターと同一範囲の参照画素データを使用する為、処理効率が良く高速化が可能である。
【００７５】
さらに、空間フィルターの中心画素に対し、上下左右どちらにエッジが有っても位置ずれすることなくエッジ量を演算でき、動きの有ったエッジ部に対し正確に空間フィルター特性を制御することが出来き、動きのある映像対象の鮮鋭度を高めまたは保持した高速の動画符号化が可能である。
【産業上の利用可能性】
【００７６】
本発明に係る動画符号化装置によれば、繰り返し演算を必要とせずに高速で簡易な装置と方法で動きの有る映像のエッジ部を検出でき、符号データ量を抑えながら動きのある映像対象の鮮鋭度を高くしまたは保持して符号化することができる点で有用である。
【図面の簡単な説明】
【００７７】
【図１】本発明の一実施の形態に係る動画符号化装置の構成を示すブロック図
【図２】上記実施の形態に係る空間フィルター制御部の第１の実施例を示すブロック図
【図３】上記空間フィルター制御部の第１の実施例におけるフィルター係数メモリの第１の実施例によるフィルター係数値と係数配列を示した図
【図４】上記実施の形態に係る空間フィルター制御部の第２の実施例を示すブロック図
【図５】上記空間フィルター制御部の第２の実施例におけるフィルター係数メモリの第１の実施例によるフィルター係数値と係数配列を示した図
【図６】上記実施の形態に係る空間フィルター制御部の第３の実施例を示すブロック図
【図７】上記空間フィルター制御部の第３の実施例におけるフィルター係数メモリの第１の実施例によるフィルター係数値と係数配列を示した図
【図８】上記実施の形態に係る空間フィルター制御部の第４の実施例を示すブロック図
【図９】上記空間フィルター制御部の第１の実施例におけるフィルター係数メモリの第２の実施例によるフィルター係数値と係数配列を示した図
【図１０】上記空間フィルター制御部の第１の実施例におけるフィルター係数メモリの第３の実施例によるフィルター係数値と係数配列を示した図
【図１１】上記空間フィルター制御部の第２の実施例におけるフィルター係数メモリの第２の実施例によるフィルター係数値と係数配列を示した図
【図１２】上記空間フィルター制御部の第３の実施例におけるフィルター係数メモリの第２の実施例によるフィルター係数値と係数配列を示した図
【図１３】上記空間フィルター制御部の第１の実施例におけるフィルター係数メモリの第４の実施例によるフィルター係数値と係数配列を示した図
【図１４】上記図５の係数Ｋ＝４とした場合の空間フィルターの特性図でありまた、上記図７の中心画素の係数を９６／６４とし周辺８画素の係数を−４／６４と場合の空間フィルターの特性図
【図１５】上記図５の係数Ｋ＝８とした場合の空間フィルターの特性図でありまた、上記図７の中心画素の係数を１２８／６４とし周辺８画素の係数を−８／６４とした場合の空間フィルターの特性図
【図１６】上記図９における中心画素の係数を４／１６とし、水平垂直方向の周辺４画素の係数を２／１６、斜め方向の周辺４画素の係数を１／１６とした空間フィルターの特性図
【図１７】上記図１１の係数Ｋ＝４とした場合の空間フィルターの特性図でありまた、また上記図１０および図１２の中心画素の係数を８０／６４とし斜め方向の周辺４画素の係数を−４／６４とし水平垂直方向の周辺４画素の係数を０とした場合の空間フィルターの特性図
【図１８】上記図１１の係数Ｋ＝８とした場合の空間フィルターの特性図でありまた、また上記図１２の中心画素の係数を９６／６４とし斜め方向の周辺４画素の係数を−８／６４とし水平垂直方向の周辺４画素の係数を０とした場合の空間フィルターの特性図
【図１９】上記図１３の中心画素の係数を１２／１６とし、水平垂直方向の周辺４画素の係数を２／１６、斜め方向の周辺４画素の係数を−１／１６とした場合の空間フィルターの特性図
【図２０】上記実施の形態に係るエッジ量演算部の実施例を示すブロック図
【図２１】上記図２０の右位置水平方向パワースペクトラム演算部、左位置水平方向パワースペクトラム演算部、上位置垂直方向パワースペクトラム演算部、下位置垂直方向パワースペクトラム演算部において畳み込み演算する係数値と配置を示した図
【符号の説明】
【００７８】
１００    動画データ入力
１０１    フレームメモリ
１０２    エッジ量演算部
１０３    エッジ量演算部
１０４    空間フィルター制御部
１０５    空間フィルター
１０６    動画エンコーダ
１０７    符号データ出力
２００    第１のエッジ量データ入力
２０１    第２のエッジ量データ入力
２０２    比較器
２０３    比較器
２０４    フィルター係数メモリ
２０５    ＡＮＤゲート
２０６    空間フィルター係数出力
３００    第１のエッジ量データ入力
３０１    第２のエッジ量データ入力
３０２    減算器
３０３    比較器
３０４    フィルター係数演算部
３０５    空間フィルター係数出力
４００    第１のエッジ量データ入力
４０１    第２のエッジ量データ入力
４０２    減算器
４０３    比較器
４０４    比較器
４０５    比較器
４０６    フィルター係数メモリ
４０７    空間フィルター係数出力
５００    第１のエッジ量データ入力
５０１    第２のエッジ量データ入力
５０２    除算器
５０３    比較器
５０４    比較器
５０５    比較器
５０６    フィルター係数メモリ
５０７    空間フィルター係数出力
６００    動画データ入力
６０１    水平方向パワースペクトラム演算部
６０２    垂直方向パワースペクトラム演算部
６０３    加算器
６０４    エッジ量データ出力
６０５    右位置水平方向パワースペクトラム演算部
６０６    左位置水平方向パワースペクトラム演算部
６０７    上位置垂直方向パワースペクトラム演算部
６０８    下位置垂直方向パワースペクトラム演算部
６０９    加算器
６１０    加算器
【図１】
2007282010.tif 000006
【図２】
2007282010.tif 000007
【図３】
2007282010.tif 000008
【図４】
2007282010.tif 000009
【図５】
2007282010.tif 000010
【図６】
2007282010.tif 000011
【図７】
2007282010.tif 000012
【図８】
2007282010.tif 000013
【図９】
2007282010.tif 000014
【図１０】
2007282010.tif 000015
【図１１】
2007282010.tif 000016
【図１２】
2007282010.tif 000017
【図１３】
2007282010.tif 000018
【図１４】
2007282010.tif 000019
【図１５】
2007282010.tif 000020
【図１６】
2007282010.tif 000021
【図１７】
2007282010.tif 000022
【図１８】
2007282010.tif 000023
【図１９】
2007282010.tif 000024
【図２０】
2007282010.tif 000025
【図２１】
2007282010.tif 000026