(57)【要約】【課題】　動画像を符号化する場合に、照明装置などのによる光学的な雑音や機器内部で重畳される雑音などにより、符号化効率が低下し、画質劣化を起こしていた。これを平均化フィルタリングなどにより平滑化処理することが行われているが、このような処理ではフィルタ処理に符号化装置のパフォーマンスを費やしてしまい、符号化処理能力に制限が生じてしまう。【解決手段】　符号化ブロック単位の動きベクトルの時間的推移と動画像信号の平均輝度の時間的推移を求め、その動きベクトル及び平均輝度の履歴から画像信号に重畳されている雑音を想定し、入力のゆらぎに起因する雑音を除去する。また、符号化ブロック単位の動きベクトルの時間的推移を求め、符号化フレーム全体の動きベクトル履歴からフレーム全体の微少動き（ブレ）を検出し、ブレを補正する。【選択図】　図１
2004129296.tif 000002
【特許請求の範囲】
【請求項１】
　動画像信号を入力し、圧縮符号化する動画像符号化装置において、
　入力画像をブロック単位で前に符号化され復号されたデータとの差分値が最小となる動きベクトルを求める動き探索部と、
　該動きベクトルの推移を求める動きベクトル履歴推定部と、
　符号化フレーム全体の動きベクトル履歴からフレーム全体の微少動きを検出するブレ検出部と、
　前記ブレ検出部により検出されたブレを補正するブレ補正部を備えることを特徴とする動画像符号化装置。
【請求項２】
　前記ブレ検出部において、符号化対象フレームの全ブロックでの動きベクトルの方向及び大きさの度数分布を求め、該度数分布における最大分布を示す動きベクトルの割合が、全ブロックにおける所定の割合以上を示す場合にブレと判断することを特徴とする前記請求項１記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は、動画像を圧縮符号化して伝送する装置に関する。
【背景技術】
【０００２】
　動画像信号を圧縮符号化して、情報量を削減する装置では、一般にテレビカメラなどの光学入力装置を用いて画像を入力するために、光学的な雑音、例えば照明装置のちらつきや、安価な入力装置では入力装置内で重畳される雑音が発生している。符号化装置に入力される動画像信号にこのような雑音が多く含まれる場合に、符号化効率が低下し、結果として画質の劣化を生じることになる。
【０００３】
　従来の動画像信号を符号化して情報量を圧縮する装置においては、この画質劣化を防ぐためには、ちらつきのない照明装置を使ったり、雑音の少ない入力装置を行うことなどの方法のほかに、入力した画像を記憶しておく何枚かのフレームメモリと、空間フィルタ手段を備え、画像データの空間的かつ時間的なフィルタリング演算により雑音を低減していた。
【０００４】
　この演算の例を図５を元に説明する。入力画像はまずフレームメモリ５０３に格納される。格納された時間ｔにおける画像は、時間方向フィルタリング部５０１によって、フレームメモリ５０３に記憶されている時間ｔより前、例えば時間ｔ−１あるいはｔ−２等の過去の画像データとの画素単位の加算平均を取ることにより、時間的なゆらぎは低減される。
【０００５】
　さらに、空間フィルタリング部５０２において、例えば縦３画素×横３画素による平均化フィルタリングが行われる。この空間的フィルタリングをフレーム内の全画素に施すことにより、時間的及び空間的に平滑化が施され、そのデータが以後の符号化処理に送られる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
　上記したように、雑音除去のために、空間的かつ時間的にフィルタリング演算を行うと、このフィルタリング演算に符号化装置のパフォーマンスを費やしてしまい、本来符号化に割り振ることのできる処理能力に制限が生じることになり、結果的に画質が劣化してしまうことになる。そのために、さらに処理能力の高いプロセッサを用いる必要が生じ、結果的にコストアップにつながってしまい、さらにフレームメモリを必要とするために、全体としてコストアップになってしまう。よって本発明は以上のような問題点を解決するものであり、使用環境などに左右されることなく、かつ符号化装置のコストアップとなることなく、高品質に画像を符号化することができる画像符号化装置を提供するものである。
【課題を解決するための手段】
【０００７】
　本発明の第１画像符号化装置によれば、動画像信号を入力し、圧縮符号化する動画像符号化装置において、入力画像をブロック単位で前に符号化され復号されたデータとの差分値が最小となる動きベクトルを求める動き探索部と、該動きベクトルの推移及び入力画像の平均輝度の推移を求める動きベクトル履歴推定部と、前記動きベクトル履歴推定部の結果に基づいて入力画像中の雑音を検出し、該雑音を除去する雑音検出／除去手段を備えることにより、上記課題を解決する。
【０００８】
　本発明の第２画像符号化装置によれば、前記動きベクトル履歴推定部において、動きベクトルの方向及び量がランダムであるか否か、または動きベクトルの量が所定値以下でかつ平均輝度に揺らぎがある場合に、雑音と判断することにより、上記課題を解決する。
【０００９】
　本発明の第３画像符号化装置によれば、動画像信号を入力し、圧縮符号化する動画像符号化装置において、入力画像をブロック単位で前に符号化され復号されたデータとの差分値が最小となる動きベクトルを求める動き探索部と、該動きベクトルの推移を求める動きベクトル履歴推定部と、符号化フレーム全体の動きベクトル履歴からフレーム全体の微少動きを検出するブレ検出部と、前記ブレ検出部により検出されたブレを補正するブレ補正部を備えることにより、上記課題を解決する。
【００１０】
　本発明の第４画像符号化装置によれば、前記ブレ検出部において、符号化対象フレームの全ブロックでの動きベクトルの方向及び大きさの度数分布を求め、該度数分布における最大分布を示す動きベクトルの割合が、全ブロックにおける所定の割合以上を示す場合にブレと判断することにより、上記課題を解決する。
【発明の効果】
【００１１】
　本発明によれば、符号化ブロック単位の動きベクトルの時間的推移と動画像信号の平均輝度の時間的推移を求め、その動きベクトル及び平均輝度の履歴から画像信号に重畳されている雑音を測定し、入力のゆらぎに起因する雑音をフレームメモリや空間／時間フィルタ回路を追加することなしに除去することができ、符号化効率を向上させ、高画質な画像データとして符号化を行うことができる。
【００１２】
　また、符号化ブロック単位の動きベクトルの時間的推移を求め、符号化フレーム全体の動きベクトル履歴からフレーム全体の微少動き（ブレ）を検出し、ブレを補正することにより、フレームメモリなどを追加することなしに、高品質な画像データとして符号化を行うことができる。
【発明を実施するための最良の形態】
【００１３】
　以下に図面を用いて本発明を詳細に説明する。図１は本発明の第１の実施形態における画像符号化装置の構成を示すブロック図である。図１のブロック図に従って符号化処理を説明する。
【００１４】
　画像入力装置からの画像信号は減算部１０１に入力されるとともに、動き探索部１０９に入力される。減算部１０１で１つ前に符号化されたデータを復号したデータとの差分がとられ、符号化制御部１１１の制御により、差分データあるいは入力データのどちらかがスイッチ１０２で選択されＤＣＴ部１０４へ入力される。
【００１５】
　入力されたデータはＤＣＴ部１０４で８画素×８画素のブロック単位で離散コサイン変換が行われ、量子化部１０５において、符号化制御部１１１から指示された量子化ステップで量子化が行われ、可変長符号化部１１２に送られる。それとともに逆量子化部１０６、逆ＤＣＴ部１０７によってデータが復号される。
【００１６】
　前記スイッチ１０２で選択されたＤＣＴ部１０４への入力が入力画像信号である場合は、復号された信号が、差分データの場合には、１つ前に符号化され復号化したデータと加算された信号がフレームメモリ１１０に記憶される。
【００１７】
　動き探索部１０９では、入力画像信号をブロック単位で１つ前に符号化された復号されたデータとの差分値が最小となるベクトルを求める。減算部１０１へは差分値が最小となったブロックのデータが送られ、求められた動きベクトル値を相手側に送信すると共に、動きベクトル履歴推定部１１３に値が送られる。
【００１８】
　また、ＤＣＴ部１０４からの出力のうちＤＣ成分も同様に動きベクトル履歴推定部１１３に送られる。動きベクトル推定部１１３の結果にしたがって、雑音検出／除去制御部１１４は入力画像に含まれる雑音が除去できるように、符号化制御部１１１へ制御パラメータを送る。この動きベクトル履歴推定部１１３及び雑音検出／除去制御部１１４が本願発明特有の構成であり、これにより入力画像に含まれる雑音が除去できるように符号化制御部１１１へ制御パラメータを送るものである。
【００１９】
　動きベクトル履歴推定部１１３では各ブロックの過去の動きベクトル及び対象ブロックの平均輝度情報から、その動きが本来の被写体の動きか雑音によるものかを判断する。その判断方法を説明する。
【００２０】
　動きベクトル履歴推定部１１３では、まず動き探索部１０９から送られてくる各ブロックの動きベクトル（Ｖｘ，Ｖｙ）を以下の式のように回転座標系（α、θ）に変換する。
【００２１】
　αt＝（Ｖｘ2＋Ｖｙ2）1/2， θt＝ｔａｎ（Ｖｙ／Ｖｘ）
動きベクトル履歴推定部１１３には、常に１つ前の符号化フレームで求めたαt-1，θt-1が格納されており、αt，θt，αt-1，θt-1よりα，θの時間的な変位量ｄαt，ｄθtを求める。
【００２２】
　一般に被写体がある動きを持っている場合には、図２に示すように、その時間的推移にはある方向性があり、動き量も規則性を持っている（図２（ａ））。したがって動きベクトルの方向や量の時間的推移がランダムである場合には、それは雑音による影響と考えられる）図２（ｂ））。そこで、ｄαt，ｄθtにより動きベクトルのランダム性を判断する。
【００２３】
　また、動きベクトル履歴推定部１１３には、ＤＣＴ部１０４から輝度信号の直流成分（ＤＣＹ）が送られる。符号化制御部１１１による切り替えで、フレーム間差分信号がＤＣＴ部１０４に入力された場合、ＤＣＴ部１０４からの出力であるＤＣＹは前フレームとの平均輝度差を表わすことになる。
【００２４】
　照明のちらつきによる雑音が入力信号に混入されている場合、入力されたフレームの全体輝度が揺らぐこととなり、結果としてＤＣＹの変化をもたらす。動きベクトルの動き量が０あるいは０に近い量であるにも関わらず、ＤＣＹに変化がある場合は、照明のちらつきによる雑音が入力画像信号に重畳されていると判断できる。
【００２５】
　入力画像信号の符号化対象ブロックに雑音が重畳されているか否かの判断処理の流れを図３のフローチャートに示す。まず、求めたｄθtの絶対値と閾値θthとを比較し（ステップＳ３０）、｜ｄθt｜≧θthの場合はステップＳ３１へ処理を進める。ステップＳ３１で１つ前の符号化フレームにおける符号化対象ブロックのｄθt-1の絶対値と閾値θthとの比較結果をもとに、｜ｄθt-1｜≧θthであれば、符号化対象ブロックがランダムな動きをしていると判断し、推定パラメータをＡにセットする。
【００２６】
　ステップＳ３０において、｜ｄθt｜＜θthの場合、ステップＳ３２において、１つ前の符号化フレームにおける符号化対象ブロックのｄθt-1の絶対値と閾値θthとの比較結果をもとに、｜ｄθt-1｜＜θthであれば、符号化対象ブロックが、ある方向性をもって動いていると予測し、動きの大きさの変化量ｄαtと閾値ｄαthを比較する（ステップＳ３３）。｜ｄαt｜≧ｄαthの場合、符号化対象ブロックが、ある方向性をもって動いていると判断し、推定パラメータをＢにセットする。ステップＳ３１において｜ｄθt-1｜＜θth、ステップＳ３２において｜ｄθt-1｜≧θth、ステップＳ３３において｜ｄαt｜＜ｄαthの場合、平均輝度ＤＣＹと閾値ＤＣＹthを比較し、ＤＣＹ＜ＤＣＹthの場合、入力画像に照明などの揺らぎがあると判断し、符号化パラメータをＡにセットする（ステップＳ３４）。
【００２７】
　雑音検出／除去制御部１１４では、動きベクトル履歴推定部１１３で得られた推定パラメータを元に、符号化対象ブロックの符号化制御パラメータを決定する。
【００２８】
　推定パラメータがＡとなったブロックでは、雑音が重畳されていると判断し、そのブロックの符号化は行わない。すなわち、”not coded block”として処理され、１つ前のフレームのデータが再生されるように符号化制御部１１１を制御する。その制御の一例として、符号化対象ブロックの量子化ステップを強制的にデータの有効桁数の最大値とし、量子化結果を０とする。また、推定パラメータがＡとなったブロックの動きベクトルが送出されないように、動きベクトル送出制御部１１５を制御する。
【００２９】
　推定パラメータがＢとなったブロックでは、従来の技術同様の符号化が行われ送信される。したがって、雑音が重畳されていると判断された符号化対象ブロックは符号化されないため、従来はそのブロックを符号化することによって浪費していた符号量を、本来の符号化すべきブロックに割り当てることができる。
【００３０】
　次に、第２の実施形態を説明する。図４は第２の実施形態の画像符号化装置を示すブロック図である。動きベクトル履歴推定部１１３において第１の実施形態同様動きベクトルからαt，θtを求める。符号化対象フレームの全ブロックで求められたαt，θtそれぞれの度数分布を求め、最大度数のベクトル量αtｍａｘ，θtｍａｘを算出する。
【００３１】
　次に、αtｍａｘ±αth，θtｍａｘ±θthの度数を求める。ここで、αth，θthはそれぞれ最大度数のベクトル量近傍の値をもつ度数を求めるための閾値である。
【００３２】
　ブレ検出／補正制御部４０１において、これらの求められた度数からブレを判断する。αtｍａｘ±αth，θtｍａｘ±θthの度数が全ブロックの所定の割合を超えた場合、例えば全ブロックの５０％を超えた場合、フレーム全体がある特定方向にブレたと判断する。この割合は、符号化フレームフォーマットあるいは符号化フレームレート等により適宜変更される。
【００３３】
　フレーム全体がブレたと判断された場合、動きベクトルのベクトル量が、αtｍａｘ±αth，θtｍａｘ±θthのブロックについては、符号化を行わない様に制御を行う。つまり、その制御の一例として、第１の実施形態同様、符号化対象ブロックの量子化ステップを強制的にデータの有効桁数の最大値とし、量子化結果を０とする。さらに、それらのブロックの動きベクトルが送出されないように、動きベクトル送出制御部４０２を制御する。
【００３４】
　動きベクトルのベクトル量がαtｍａｘ±αth，θtｍａｘ±θth以外のブロックについては、被写体の動きと判断し、従来の技術同様に符号化を行い、符号化データが送信され、同時に符号化ブロックについての動きベクトル補正値が動きベクトルと共に送信される。
【００３５】
　ここで、動きベクトル補正値とは、ブレ分の動きベクトルであり、αtｍａｘ，θtｍａｘである。復号化側では、送られてきた符号化データと動きベクトルから対象ブロックのデータを復元し、その後、動きベクトル補正値によりブレ分の補正を行う。
【００３６】
　よって、本来の被写体の動きでなく、ブレのみと判断された符号化対象ブロックは、符号化されないため、従来はそのブロックを符号化することによって浪費していた符号量を本来の符号化すべきブロックに割り当てることができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の第１の実施形態における動画像符号化装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態における動きベクトルの方向性を示す図である。
【図３】本発明の第１の実施形態における処理の流れを示すブロック図である。
【図４】本発明の第２の実施形態における動画像符号化装置の構成を示すブロック図である。
【図５】従来技術の構成を示す図である。
【符号の説明】
【００３８】
１１１ 符号化制御部
１１３ 動きベクトル履歴推定部
１１４ 雑音検出／除去制御部
１１５ 動きベクトル送出制御部
【図１】
2004129296.tif 000003
【図２】
2004129296.tif 000004
【図３】
2004129296.tif 000005
【図４】
2004129296.tif 000006
【図５】
2004129296.tif 000007