(57)【特許請求の範囲】
【請求項１】
入力画像を表す映像信号の帯域を制限した、前記入力画像に対応する帯域制限映像信号を出力するフィルタ手段と、
前記映像信号または前記帯域制限映像信号のいずれかを出力する切替出力手段と、
前記切替出力手段の出力を１フレーム分蓄積して１フレームに相当する期間遅延した第１の切替映像信号を出力するとともに、蓄積された前記切替出力手段の出力をマクロブロック単位に分割した第２の切替映像信号を出力するメモリ手段と、
前記映像信号と前記帯域制限映像信号と前記第１の切替映像信号とに基づいて、前記映像信号のフレーム間の相関性の低さを表す判定信号を出力する判定手段と、
前記第２の切替映像信号を符号化する符号化手段と、
を備え、
前記切替出力手段は、前記判定信号に基づいて出力を切替えるとともに、
前記判定手段は、
前記映像信号と前記第１の切替映像信号との差を画素毎に演算して出力する第１の差分手段と、
前記帯域制限映像信号と前記第１の切替映像信号との差を画素毎に演算して出力する第２の差分手段と、
フレーム内のそれぞれの画素のうちで、前記第１の差分手段の出力の絶対値が第２の所定値よりも大きく、かつ、前記第２の差分手段の出力の絶対値が第３の所定値よりも大きい、画素の数をカウントする計数器と、
を備え、
前記フレーム間の相関性の低さを表す値が第１の所定値よりも大きい場合は、前記判定信号として、前記切替出力手段に前記帯域制限映像信号を出力させるように切替える第１の判定信号を出力し、
前記フレーム間の相関性の低さを表す値が前記第１の所定値以下である場合は、前記判定信号として、前記切替出力手段に前記映像信号を出力させるように切替える第２の判定信号を出力するとともに、
前記フレーム間の相関性の低さを表す値が前記計数器でカウントされた画素カウント値であることを特徴とする符号化装置。
【請求項２】
判定手段は、入力画像を構成する複数の画素、またはラインからなる判定単位毎に前記入力画像と、当該入力画像の１フレーム前の画像との相関性の低さを表す判定信号を出力し、
切替出力手段は、前記判定信号に基づいて、前記判定単位に対応する映像信号、または帯域制限映像信号のいずれかを出力することを特徴とする請求項１に記載の符号化装置。
【請求項３】
入力画像を表す映像信号の帯域を制限した、前記入力画像に対応する帯域制限映像信号を出力するフィルタリングステップと、
前記映像信号または前記帯域制限映像信号のいずれかを出力する切替出力ステップと、
前記切替出力ステップでの出力を１フレーム分蓄積して１フレームに相当する期間遅延した第１の切替映像信号と、前記切替出力ステップの出力をマクロブロック単位に分割した第２の切替映像信号と、を出力するメモリステップと、
前記映像信号と前記帯域制限映像信号と前記第１の切替映像信号とに基づいて、前記映像信号のフレーム間の相関性の低さを表す判定信号を出力する判定ステップと、
前記第２の切替映像信号を符号化する符号化ステップと、
を備え、
前記切替出力ステップは、前記判定信号に基づいて出力を切替えるとともに、
前記判定ステップは、
前記帯域制限映像信号と前記第１の切替映像信号との差を画素毎に演算して出力する第２の差分ステップと、
フレーム内のそれぞれの画素のうちで、前記第１の差分ステップでの出力の絶対値が第２の所定値よりも大きく、かつ、前記第２の差分ステップでの出力の絶対値が第３の所定値よりも大きい、画素の数をカウントする計数ステップと、
を備え、
前記フレーム間の相関性の低さを表す値が第１の所定値よりも大きい場合は、前記判定信号として、前記切替出力ステップにて前記帯域制限映像信号を出力させるように切替える第１の判定信号を出力し、
前記フレーム間の相関性の低さを表す値が前記第１の所定値以下である場合は、前記判定信号として、前記切替出力ステップにて前記映像信号を出力させるように切替える第２の判定信号を出力するとともに、
前記フレーム間の相関性の低さを表す値が前記計数ステップでカウントされた画素カウント値であることを特徴とする符号化方法。
【請求項４】
判定ステップは、入力画像を構成する複数の画素、またはラインからなる判定単位毎に前記入力画像と、当該入力画像の１フレーム前の画像との相関性の低さを表す判定信号を出力し、
切替出力ステップは、前記判定信号に基づいて、前記判定単位に対応する映像信号、または帯域制限映像信号のいずれかを出力することを特徴とする請求項３に記載の符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば携帯電話やＴＶ電話システム等において、リアルタイムで映像信号を符号化する符号化装置および符号化方法に関するものである。
【０００２】
【従来の技術】
図４に符号化装置の一例を示す。図４に示す符号化装置は、メモリ１、および符号化部１０４により構成される。メモリ１は、輝度信号および色差信号からなる映像信号を、マクロブロックに分割して出力する。図５はマクロブロックの構成を模式的に示す図である。ここでは、各マクロブロックの大きさを１６（画素）×１６（ライン）とする。映像信号が４：２：０の場合、１６×１６の領域の映像は、１６×１６の輝度信号Ｙ、および８×８の２つの色差信号Ｃｂ，Ｃｒによって表される。従って、図５のように、８×８の６つのブロック（輝度信号に対応する４つのブロック、色差信号Ｃｂ，Ｃｒに対応するブロックが２つのブロック）により１つのマクロブロックが構成される。
【０００３】
符号化部１０４は、マクロブロック単位で入力される映像信号に対し、イントラ符号化、またはインター符号化（フレーム間符号化と称する場合もある）を行うことにより符号化データを生成する。減算器２は、マクロブロック単位で入力される映像信号と、予測画像作成器１１により出力される予測画像との差分を出力する。ＤＣＴ回路３は、減算器２の出力に離散コサイン変換（Discrete Cosine Transform）を行うことにより、ＤＣＴ係数を出力する。量子化回路４は、ＤＣＴ回路３により出力されたＤＣＴ係数を量子化する。ＤＣ／ＡＣ予測器５は、現在のブロックに隣接するブロックのＤＣ、およびＡＣ係数に基づいて、ＤＣ係数およびＡＣ係数の予測を行う。ＤＣ／ＡＣ予測器によって出力される予測係数は、図示しない並び替えメモリにより１次元配列に変換し、可変長符号化回路６に出力される。
【０００４】
量子化回路４の出力はまた、逆量子化回路７に与えられる。逆量子化回路７は、量子化回路４により量子化されたＤＣＴ係数を逆量子化する。逆ＤＣＴ回路８は、逆量子化回路の出力を逆ＤＣＴ変換する。加算器９は、逆ＤＣＴ回路８の出力と、予測画像作成器１１の出力とを加算することにより得られる復号画像を復号画像メモリ１０に出力する。復号画像は、インター符号化の際に行われる、動きベクトルの検出、および予測画像の作成に用いられる。
【０００５】
動き検出回路１２は、復号画像メモリ１０により出力される復号画像、およびメモリ１によりマクロブロック単位で入力される映像信号に基づいて、動きベクトルの検出を行う。動きベクトルは、復号画像の中で各マクロブロックに最も近い画像が現れる位置を示すものである。予測画像作成器１１は、動きベクトルに基づいて、復号画像から現在の映像信号に対応する予測画像を作成し、減算器２、および加算器９に出力する。動きベクトル予測回路１３は、動きベクトルの予測を行い、予測ベクトルを可変長符号化回路６に出力する。可変長符号化回路６は、ＤＣ／ＡＣ予測器５、および動きベクトル１３の出力を量子化パラメータなどの付加情報とともに可変長符号化し、ビットストリームを出力する。
【０００６】
以下、イントラ符号化、およびイントラ符号化における符号化部１０４の動作について説明する。
イントラ符号化の場合、予測画像の作成は行われないので、ＤＣＴ回路３にはメモリ１により出力される映像信号がマクロブロック単位で入力される。ＤＣＴ回路３は、映像信号の各マクロブロックに対してＤＣＴ変換を行って得られるＤＣＴ係数を出力する。ＤＣＴ回路３により出力される映像信号のＤＣＴ係数は、量子化回路４により量子化された後、ＤＣ／ＡＣ予測器５によりＤＣ／ＡＣ予測され、可変長符号化回路６により量子化パラメータなどの付加情報とともに可変長符号化されビットストリームとして出力される。ここで、すべてのマクロブロックに対してイントラ符号化を適用するフレームをイントラフレーム（Ｉフレーム）と呼ぶ。
【０００７】
一方、インター符号化の場合、減算器２からは予測画像と、メモリ１により出力される映像信号との差分（差信号）がマクロブロック単位で出力される。ＤＣＴ回路３は予測画像と映像信号との差信号に対し、ＤＣＴ変換を行って得られるＤＣＴ係数を出力する。差信号のＤＣＴ係数は、量子化回路４により量子化された後、ＤＣ／ＡＣ予測器５によりＤＣ／ＡＣ予測され、可変長符号化回路６により動きベクトル、および量子化パラメータなどの付加情報とともに可変長符号化されビットストリームとして出力される。
【０００８】
【発明が解決しようとする課題】
フレーム間予測を用いた符号化装置においては、シーンチェンジの多い映像や、動きの速い映像を符号化する場合、可変長符号化回路６により出力されるビットストリームのデータ容量が増大するという問題があった。また、こうした場合に量子化回路４の量子化ビット数を削減するよう構成した場合は、量子化ステップ幅が粗くなり符号化歪みが発生するという問題があった。
【０００９】
本発明は、上述のような課題を解消するためになされたもので、シーンチェンジの多い映像が入力された場合においても、符号化歪みを増大させることなく符号化データのデータ容量を抑えることが可能な符号化装置、および符号化方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明による符号化装置は、入力画像を表す映像信号の帯域を制限した、前記入力画像に対応する帯域制限映像信号を出力するフィルタ手段と、前記映像信号または前記帯域制限映像信号のいずれかを出力する切替出力手段と、前記切替出力手段の出力を１フレーム分蓄積して１フレームに相当する期間遅延した第１の切替映像信号を出力するとともに、蓄積された前記切替出力手段の出力をマクロブロック単位に分割した第２の切替映像信号を出力するメモリ手段と、前記映像信号と前記帯域制限映像信号と前記第１の切替映像信号とに基づいて、前記映像信号のフレーム間の相関性の低さを表す判定信号を出力する判定手段と、前記第２の切替映像信号を符号化する符号化手段とを備え、前記切替出力手段は、前記判定信号に基づいて出力を切替えるとともに、前記判定手段は、前記映像信号と前記第１の切替映像信号との差を画素毎に演算して出力する第１の差分手段と、前記帯域制限映像信号と前記第１の切替映像信号との差を画素毎に演算して出力する第２の差分手段と、フレーム内のそれぞれの画素のうちで、前記第１の差分手段の出力の絶対値が第２の所定値よりも大きく、かつ、前記第２の差分手段の出力の絶対値が第３の所定値よりも大きい、画素の数をカウントする計数器とを備え、前記フレーム間の相関性の低さを表す値が第１の所定値よりも大きい場合は、前記判定信号として、前記切替出力手段に前記帯域制限映像信号を出力させるように切替える第１の判定信号を出力し、前記フレーム間の相関性の低さを表す値が前記第１の所定値以下である場合は、前記判定信号として、前記切替出力手段に前記映像信号を出力させるように切替える第２の判定信号を出力するとともに、前記フレーム間の相関性の低さを表す値が前記計数器でカウントされた画素カウント値であることを特徴とするものである。
【００１７】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図に基づいて具体的に説明する。尚、図において、従来のものと同一、または相当のものについては同一符号を付して説明を省略する。
【００１８】
図１は本発明の一実施形態による符号化装置の構成を示すブロック図である。図１に示す符号化装置は、フィルタ１０１、切替器１０２、判定器１０３、メモリ１ａ、および符号化部１０４により構成される。符号化部１０４の構成、および動作は、図４に示した従来のものと同様である。
【００１９】
フィルタ１０１は入力される映像信号の帯域（主に高域成分）を制限することにより、当該映像信号に対応する帯域制限映像信号を出力する。切替器１０２は、判定器１０３により出力される判定信号が‘０’の場合は映像信号を選択し、‘１’の場合はフィルタ１０１により出力される帯域制限映像信号をメモリ１ａに出力する（判定信号の詳細については後述する）。メモリ１ａは、切替器１０２により出力される映像信号、または帯域制限映像信号を１フレームに相当する期間遅延した後、判定器１０３に出力する。また、メモリ１ａは、符号化部１０４に対しては、切替器１０２により出力された映像信号、または帯域制限映像信号をマクロブロック単位で出力する。符号化部１０４はメモリ１ａによりマクロブロック単位で出力される、映像信号、または帯域制限映像信号に対し、インター符号化、またはイントラ符号化によるフレーム間予測符号化処理を行う。
【００２０】
判定器１０３は、映像信号、帯域制限映像信号、およびメモリ１ａにより出力される１フレーム前の映像信号、または当該１フレーム前の映像信号に対応する帯域制限映像信号に基づいて、映像信号によって表される画像と、当該画像の１フレーム前の画像との相関性を表す判定信号を出力する。判定器１０３は、現在の画像と、１フレーム前の画像との相関性が高いと判定された場合は判定信号を‘０’とし、低いと判定された場合は‘１’として出力する。これにより、１フレーム前の画像との相関性が高い場合（判定信号‘０’）、映像信号がそのまま符号化部１０４により符号化され、反対に、相関性が低い場合、つまりシーンチェンジが生じた場合（判定信号‘１’）、帯域制限によりデータ容量を削減した帯域制限映像信号が符号化部１０４により符号化される。
【００２１】
符号化部１０４により出力されるビットストリームの符号量は、映像信号にシーンチェンジといった大きな変化が生じた場合に大幅に増加する。したがって、こうした場合に、データ量を削減した帯域制限映像信号を符号化することにより、符号量の急激な増加を防ぐことができる。
【００２２】
以下、判定器１０３の具体的な構成、および動作について説明する。
図２は、判定器１０３の内部構成の一例を示すブロック図である。判定器１０３は、減算器２０１，２０５、絶対値検出器２０２，２０６、比較器２０３，２０７、論理積演算器２０４、計数器２０８、および比較器２０９により構成される。
【００２３】
先に述べたように、メモリ１ａの出力は、１フレーム前の画像を表す映像信号、または当該１フレーム前の画像を表す映像信号をフィルタ１０１により帯域制限した帯域制限映像信号となる。
【００２４】
減算器２０１は映像信号とメモリ１ａの出力との差分を画素毎に出力し、絶対値検出器２０２は減算器２０１の出力の絶対値（差分絶対値ａ）を出力する。減算器２０５はフィルタ１０１の出力とメモリ１ａの出力との差分を画素毎に出力し、絶対値検出器２０６は減算器２０５の出力の絶対値（差分絶対値ｂ）を出力する。
【００２５】
絶対値検出器２０２，２０６により出力される差分絶対値ａ，ｂは、現在の画像と、１フレーム前の画像との差が大きい場合に大きな値となる。ここで、差分絶対値ａは、メモリ１ａの出力がフィルタ１０１により出力される１フレーム前の帯域制限映像信号である場合は、現在の画像を表す映像信号が高域成分を多く含む場合にも大きな値となる。また、差分絶対値ｂは、メモリ１ｂの出力が１フレーム前の画像を表す映像信号である場合、当該１フレーム前の画像を表す映像信号が高域性分を多く含む場合においても大きな値となる。
【００２６】
比較器２０３は、差分絶対値ａを予め設定される定数αと比較し、差分絶対値ａが定数α以下の場合（ａ≦α）、‘０’を出力し、差分絶対値ａがαより大きい場合（ａ＞α）、‘１’を出力する。また、比較器２０７は、差分絶対値ｂを予め設定される定数βと比較し、差分絶対値ｂがβ以下の場合（ｂ≦β）、‘０’を出力し、反対に差分絶対値がβより大きい場合（ｂ＞β）、‘１’を出力する。
【００２７】
論理積演算器２０４は、比較器２０３，２０７の出力の論理積を出力し、計数器２０８は論理積演算器２０４の出力をカウントする。ここで、係数器２０８のカウント値は１フレーム毎にリセットされるものとする。論理積演算器２０４の出力は、差分絶対値ａが設定値αよりも大きく、かつ差分絶対値ｂが設定値βよりも大きい場合に‘１’となる。
【００２８】
比較器２０９は、計数器２０８のカウント値を予め設定される定数γと比較し、当該カウント値が定数γ以下の場合は‘０’、当該カウント値が定数γより大きくなった場合に‘１’となる判定信号を切替器１０２に出力する。したがって、比較器２０９により出力される判定信号は、現在の画像と、１フレーム前の画像との差が大きい場合、つまりシーンチェンジが生じた場合に‘１’となる。切替器１０２は判定信号が‘０’の場合は映像信号をメモリ１ａに出力し、‘１’の場合は帯域制限映像信号をメモリ１ａに出力する。これにより、シーンチェンジが生じた場合、帯域制限によりデータ容量を削減した帯域制限映像信号が符号化される。
【００２９】
なお、フレーム単位で映像信号、または帯域制限映像信号の切替を行う場合、計数器２０８のカウント値をフレーム毎にリセットし、比較器２０９の定数γについても１フレームにおける画素数に対応した値とする。
【００３０】
また、フレーム内の複数ライン、ないし複数画素からなる所定の判定単位毎に映像信号、または帯域制限映像信号の切替を行う場合は、計数器２０８のカウント値を当該判定単位毎にリセットし、比較器２０９の定数γについても１ブロックにおける画素数に対応した値とする。
【００３１】
尚、フィルタ１０１は水平方向の低域通過フィルタでも、垂直方向の低域通過フィルタでも、水平・垂直の２次元フィルタであってもよい。
【００３２】
上記の説明では符号化部１０４がＭＰＥＧ４に準拠した符号化方式を用いる場合について説明したが、符号化部１０４は、Ｈ．２６１、Ｈ．２６３またはＭＰＥＧ２、ＭＰＥＧ１に対応した符号化方式を用いるものであってもよい。また、符号化部１０４は、動き補償予測とＤＣＴを用いた符号化方式に限らず、任意のフレーム間予測符号化方式を用いるものであればよい。
【００３３】
図３は、本発明による符号化装置の他の構成を示すブロック図であり、図１と同一符号は、同一、または相当部分を示す。遅延回路３０１，３０２は、映像信号、およびフィルタ１０１の出力を、それぞれ所定期間遅延する。切替器１０２は、遅延回路３０１，３０２の出力のいずれかをメモリ１ａに出力する。
【００３４】
次に動作について説明する。判定器１０３は、図２に示すものと同様の構成を有し、先に説明した動作により判定信号を出力する。このとき、判定器１０３は複数ラインまたは複数画素からなる所定の判定単位毎に判定を行う。
【００３５】
遅延回路３０１，３０２は、映像信号、およびフィルタ１０１により出力される帯域制限映像信号を、判定器１０３における前記判定単位毎に出力する。切替器１０２は判定器１０３により出力される判定信号に基づいて、遅延回路３０１，３０２の出力を切り替えてメモリ１ａに出力する。これにより、判定器１０３において１フレーム前の画像との相関性が低いと判定された判定単位については、当該判定単位に対応する帯域制限映像信号がメモリ１ａに出力される。また、判定器１０３において１フレーム前の画像との相関性が高いと判定された判定単位については、当該判定単位に対応する映像信号がメモリ１ａに出力される。
【００３６】
メモリ１ａは、切替器１０２により、判定単位毎に出力される映像信号、または帯域制限映像信号を１フレームに相当する期間遅延して判定回路１０３に出力する。また、メモリ１ａは、判定単位毎に出力される映像信号、および／または帯域制限映像信号により構成される１フレーム分の画像を表す信号をブロック単位で符号化部１０４に出力する。
【００３７】
このように、複数のライン、または複数の画素からなる所定の判定単位毎に、１フレーム前の画像との相関性を検出し、前記判定単位毎に出力される判定信号に基づいてフィルタ１０１の出力を切替えることで、画像の一部が大きく変化するような場合、変化している部分のみにフィルタをかけることにより、フィルタ処理に伴う解像度劣化を目立たなくすることができる。
【００３８】
なお、判定器１０３は輝度信号のみに基づいて判定信号を出力し、色差信号については、画面上で同一位置に相当する輝度信号の判定結果を使用するよう構成してもよい。
【００３９】
また、上記説明においては、映像信号が図５に示したような４：２：０信号であるとしたが、映像信号はこれに限らず、ＲＧＢ信号であっても、カラー情報をもたないモノクローム信号であってもよい。
【００４０】
【発明の効果】
請求項１、および３に記載の符号化装置、および符号化方法は、１フレーム前の画像を出力するためのメモリと、符号化される信号をマクロブロック単位に分割して出力するためのメモリを兼用することができるので、回路規模を縮小することができる。
【図面の簡単な説明】
【図１】  本発明の一実施形態による符号化装置の構成を示すブロック図である。
【図２】  判定器の構成の一例を示すブロック図である。
【図３】  本発明の一実施形態による符号化装置の他の構成を示すブロック図である。
【図４】  従来の符号化装置の構成を示すブロック図である。
【図５】  ブロックの構成を示す概念図である。
【符号の説明】
１ａ  メモリ、１０１  フィルタ、１０２  切替器、１０３  判定器、１０４符号化部、２０１  減算器、２０２  絶対値検出器、２０３  比較器、２０４論理積演算器、２０５  減算器、２０６  絶対値検出器、２０７  比較器、２０８  計数器、２０９  比較器。
【図１】
0003985567.tif 000002
【図２】
0003985567.tif 000003
【図３】
0003985567.tif 000004
【図４】
0003985567.tif 000005
【図５】
0003985567.tif 000006