(57)【特許請求の範囲】
【請求項１】
符号化対象画像データを入力する入力手段と、
符号化された前画面の画像データを復号して得られた画像データと前記符号化対象画像データとから動きベクトルを求め、前記動きベクトルに応じて前記符号化対象画像データに対する予測画像データを発生する発生手段と、
前記符号化対象画像データの１画面中の第１エリアに対して強制的に画面内符号化し、前記１画面中の前記第１エリア以外の第２エリアに対して画面内符号化と前記発生手段により発生された予測画像データを用いた画面間符号化とを適応的に用いてブロック符号化する符号化手段と、
前記第１エリアをオーバーラップさせながら所定画面毎に移動させる制御手段
とを有する画像符号化装置であって、
前記制御手段は、更に前記第１エリア内のオーバーラップエリアの符号化対象画像データに対する前記予測画像データが、前記前画面の第１エリアに含まれる画像から得られたものか否かを前記動きベクトルに応じて判断し、前記予測画像データが前記前画面の第１エリアに含まれる画像から得られる場合、その符号化対象画像データに対して前記強制的な画面内符号化を行わず、前記第２エリアと同様な符号化処理を実行するように制御することを特徴とする画像符号化装置。
【請求項２】
前記第１エリアの移動方向に対する幅Ｗは、
Ｗ≧Ｍ＋１
Ｍ：前記移動方向に対する動き補償可能な最大検索範囲量
を満足する値であり、
前記制御手段は、
１≦Ｓ≦（Ｗ−Ｍ）
Ｓ：前記所定画面毎に移動させる前記第１エリアの移動量
を満足する値に設定された移動量Ｓを示すデータが入力され、その入力されたデータに基づいて前記第１エリアを移動させることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
符号化対象画像データに入力する入力工程と、
符号化された前画面の画像データを復号して得られた画像データと前記符号化対象画像データとから動きベクトルを求め、前記動きベクトルに応じて前記符号化対象画像データに対する予測画像データを発生する発生工程と、
前記符号化対象画像データの１画面中の第１エリアに対して強制的に画面内符号化し、前記１画面中の前記第１エリア以外の第２エリアに対して画面内符号化と前記発生工程で発生された予測画像データを用いた画面間符号化とを適応的に用いてブロック符号化する符号化工程と、
前記第１エリアをオーバーラップさせながら所定画面毎に所定量移動させる制御工程
とを有する画像符号化方法であって、
前記制御工程は、更に前記第１エリア内のオーバーラップエリアの符号化対象画像データに対する前記予測画像データが、前記前画面の第１エリアに含まれる画像から得られたものか否かを前記動きベクトルに応じて判断し、前記予測画像データが前記前画面の第１エリアに含まれる画像から得られる場合、その符号化対象画像データに対して前記強制的な画面内符号化を行わず、前記第２エリアと同様な符号化処理を実行するように制御することを特徴とする画像符号化方法。
【請求項４】
前記第１エリアの移動方向に対する幅Ｗは
Ｗ≧Ｍ＋１
Ｍ：前記移動方向に対する動き補償可能な最大検索範囲量
を満足する値であり、
前記制御工程では、
１≦Ｓ≦（Ｗ−Ｍ）
Ｓ：前記所定画面毎に移動させる前記第１エリアの移動量
を満足する値に設定された移動量Ｓを示すデータが入力され、その入力されたデータに基づいて前記第１エリアを移動させることを特徴とする請求項３に記載の画像符号化方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、画面内符号化と画面間符号化とを併用して一連の画像データを符号化する画像符号化方法及び画像符号化装置に関する。
【０００２】
【従来の技術】
画像情報はデータ量が膨大になるので、種々の圧縮符号化方式が提案及び検討されている。その一つに、フレーム内符号化方式とフレーム間符号化方式を組み合わせたものが有力視されている。
【０００３】
フレーム内符号化方式は、フレーム内で近隣する画素同士が類似する明るさと色を持つという画像の特性を利用して情報圧縮するものである。実際の画像では、空や壁など、多くの部分が同程度の明るさと色を持つので、ほぼ、１／５〜１／１０程度に情報圧縮できる。
【０００４】
フレーム間符号化は、動画では時間的に隣接するフレームが類似した画像になることを利用するものであり、フレーム間の差異の情報のみを符号化し、伝送する。具体的に説明すると、通常の動画では、近接するフレームの絵柄は、多少の動きや変形はあるにしても、基本的に類似している。この点を利用し、先ず、圧縮符号化しようとするフレームと、これに近接するフレーム（例えば、直前のフレーム）との間の類似性（動き、色及び明るさ等）を計算し、その計算結果に基づいて、近接フレームから符号化しようとするフレームの予測値を算出する。そして、符号化しようとするフレームとこの予測値との差分符号化して伝送する。
【０００５】
例えば、人物だけが映っている画像で、人物が右に移動している動画では、移動する人物の、それも差分情報のみを符号化すればよく、高い圧縮率を実現できる。これに動き補償予測方式を加えると、動きの移動情報が増加するものの、移動の前後で人物像がほとんど一致することから人物像の各画素の差分値も非常に小さくなり、全体としてより高い圧縮率を達成できる。
【０００６】
なお、フレーム内符号化とフレーム間符号化は、フレーム全体でなく、フレームの一部のブロックで選択されることもある。即ち、フレームの一部がフレーム内符号化され、残りがフレーム間符号化されることもある。
【０００７】
フレーム間符号化方式は、伝送エラーが伝搬する性質を有するので、適宜の間隔でフレーム内符号化方式を挿入する必要がある。これは、リフレッシュと呼ばれる。
【０００８】
【発明が解決しようとする課題】
フレーム内符号化方式は一般に、フレーム間符号化方式よりも発生データ量が多いので、リフレッシュによりデータ量が急激に増大し、伝送レート等との兼ね合いもあって、画質が大幅に劣化することがあった。
【０００９】
本発明は、このような不都合を生じない画像符号化方法及び画像符号化装置を提示することを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するその一つの発明の画像符号化装置は、符号化対象画像データを入力する入力手段と、符号化された前画面の画像データを復号して得られた画像データと前記符号化対象画像データとから動きベクトルを求め、前記動きベクトルに応じて前記符号化対象画像データに対する予測画像データを発生する発生手段と、前記符号化対象画像データの１画面中の第１エリアに対して強制的に画面内符号化し、前記１画面中の前記第１エリア以外の第２エリアに対して画面内符号化と前記発生手段により発生された予測画像データを用いた画面間符号化とを適応的に用いてブロック符号化する符号化手段と、前記第１エリアをオーバーラップさせながら所定画面毎に移動させる制御手段とを有する画像符号化装置であって、前記制御手段は、更に前記第１エリア内のオーバーラップエリアの符号化対象画像データに対する前記予測画像データが、前記前画面の第１エリアに含まれる画像から得られたものか否かを前記動きベクトルに応じて判断し、前記予測画像データが前記前画面の第１エリアに含まれる画像から得られる場合、その符号化対象画像データに対して前記強制的な画面内符号化を行わず、前記第２エリアと同様な符号化処理を実行するように制御することを特徴とする。
また、上記課題を解決するその一つの発明の画像符号化方法は、符号化対象画像データに入力する入力工程と、符号化された前画面の画像データを復号して得られた画像データと前記符号化対象画像データとから動きベクトルを求め、前記動きベクトルに応じて前記符号化対象画像データに対する予測画像データを発生する発生工程と、前記符号化対象画像データの１画面中の第１エリアに対して強制的に画面内符号化し、前記１画面中の前記第１エリア以外の第２エリアに対して画面内符号化と前記発生工程で発生された予測画像データを用いた画面間符号化とを適応的に用いてブロック符号化する符号化工程と、前記第１エリアをオーバーラップさせながら所定画面毎に所定量移動させる制御工程とを有する画像符号化方法であって、前記制御工程は、更に前記第１エリア内のオーバーラップエリアの符号化対象画像データに対する前記予測画像データが、前記前画面の第１エリアに含まれる画像から得られたものか否かを前記動きベクトルに応じて判断し、前記予測画像データが前記前画面の第１エリアに含まれる画像から得られる場合、その符号化対象画像データに対して前記強制的な画面内符号化を行わず、前記第２エリアと同様な符号化処理を実行するように制御することを特徴とする。
【００１２】
【実施例】
以下、図面を参照して本発明の実施例を詳細に説明する。
【００１３】
図１は、本発明の一実施例の概略構成ブロック図を示す。図１において、１０は、符号化しようとするアナログ画像信号が入力する入力端子、１２は入力端子１０からのアナログ画像信号をディジタル化するＡ／Ｄ変換器、１４はＡ／Ｄ変換器１２の出力画像データをブロックに分割してブロック順に出力するブロック分割回路である。
【００１４】
１６はブロック分割回路１４の出力から、予測差分符号化における予測値を減算する減算器、１８はブロック分割回路１４の出力（ａ接点）又は減算器１６の出力（ｂ接点）を選択するスイッチ、２０は、スイッチ１８の出力を、所定大きさのブロック単位で直交変換（例えば、離散コサイン変換）する直交変換回路、２２は直交変換回路２０から出力される変換係数を量子化する量子化回路である。
【００１５】
２４は量子化回路２２の出力を逆量子化する逆量子化回路、２６は逆量子化回路２４の出力を逆直交変換する逆直交変換回路、２８は、逆直交変換回路２６の出力に、フレーム間符号化のときには予測値を、フレーム内符号化のときには’０’を加算する加算器、３０は、回路２４，２６，２８により復号された画像データを一時記憶する画像メモリ、３２は、ブロック分割回路１４からの現フレームの画像データと、画像メモリ３０からの前フレームの画像データとから動きベクトルを検出する動きベクトル検出回路、３４は、動きベクトル検出回路３２により検出された動きベクトルに従い、画像メモリ３０からの前フレームの画像データを動き補償する動き補償回路である。動き補償回路３４の出力がフレーム間符号化の予測値になり、減算器１６、及びスイッチ３６を介して加算器２８に印加される。
【００１６】
スイッチ３６はスイッチ１８と連動して切り換えられ、フレーム内符号化のときには、ａ接点に接続して加算器２８に’０’値を印加し、フレーム間符号化のときには、ｂ接点に接続して動き補償回路３４の出力を加算器２８に印加する。なお、スイッチ３６はスイッチ１８と連動して切り換えられる。
【００１７】
３８は、動きベクトル検出回路３２の検出出力から、リフレッシュを解除すべき領域を検出し、リフレッシュ解除信号を出力する予測領域検出回路である。この回路３８の詳細な動作は後述する。
【００１８】
４０は、ブロック分割回路１４の出力と減算器１６の出力とを比較し、フレーム間符号化とフレーム内符号のどちらが符号化効率が高いかを判定する判定回路、４２は、設定値Ｗ，Ｓと予測領域検出回路３８からのリフレッシュ解除信号に従い、リフレッシュを制御するリフレッシュ制御回路である。判定回路４０の出力及びリフレッシュ制御回路４２の出力は共にオア回路４４に印加され、オア回路４４の出力がスイッチ１８，３６を切り換え制御する。
【００１９】
４６は、量子化回路２２の出力を可変長符号化する可変長符号化回路、４８は、可変長符号化回路４６の出力を伝送路の伝送レートに合わせてバッファリングするバッファ・メモリ、５０はバッファ・メモリ４８の出力を所定伝送フォーマットに変換する伝送インターフェース回路、５２は伝送インターフェース回路５０の出力を伝送路に接続する出力端子である。
【００２０】
先ず、画像信号の処理の基本的な流れを説明する。Ａ／Ｄ変換器１２は入力端子１０から入力するアナログ画像信号をディジタル化する。ブロック分割回路１４は、Ａ／Ｄ変換器１２の出力を水平方向にａ（例えば、８）画素、垂直方向にｂ（例えば、８）ラインのブロックに分割する。ブロック分割回路１４の出力は、スイッチ１８のａ接点、減算器１６、動きベクトル検出回路３２及び判定回路４０に印加される。
【００２１】
減算器１６は、ブロック分割回路１４の出力から予測値（動き補償回路３４の出力）を減算し、予測誤差データをスイッチ１８のｂ接点に出力する。スイッチ１８はオア回路４４の出力に従い、ブロック単位でａ接点又はｂ接点に接続する。スイッチ１８がａ接点に接続するとき、スイッチ３６もａ接点に接続し、スイッチ１８がｂ接点に接続するとき、スイッチ３６もｂ接点に接続する。スイッチ１８，３６がａ接点に接続するときはフレーム内符号化になり、ｂ接点に接続するときはフレーム間符号化になる。
【００２２】
直交変換回路２０は、スイッチ１８により選択された画像データ（原画像データ又は予測誤差データ）をブロック毎に直交変換（例えば、離散コサイン変換）し、その変換係数データを量子化回路２２が量子化する。
【００２３】
逆量子化回路２４は、量子化回路２２の出力を逆量子化し、逆直交変換回路２６は、逆量子化回路２４の出力を逆直交変換する。スイッチ３６は、フレーム内符号化のブロックではａ接点に接続し、フレーム間符号化のブロックではｂ接点に接続する。これにより、加算器２８は、フレーム内符号化のブロックでは、逆直交変換回路２６の出力をそのまま出力し、フレーム間符号化のブロックでは逆直交変換回路２６の出力に予測値を加算して出力する。
【００２４】
画像メモリ３０は加算器２８の出力を１フレーム期間、遅延し、動きベクトル検出回路３２と動き補償回路３４に出力する。動きベクトル検出回路３２には、ブロック分割回路１４の出力も供給されており、動きベクトル検出回路３２は、両信号から符号化ブロック単位で動きベクトルを検出し、検出結果を動き補償回路３４と予測領域検出回路３８に出力する。動き補償回路３４は、動きベクトル検出回路３２からの動きベクトルに従い、画像メモリ３０からの前フレームの画像データを画像の動きを相殺するように移動、即ち、動き補償し、現フレームの予測値として減算器１６及びスイッチ３６のｂ接点に供給する。
【００２５】
可変長符号化回路４６は、量子化回路２２の出力を可変長符号化し、その出力はバッファ・メモリ４８に一時記憶される。伝送インターフェース回路５０は、伝送クロックに同期してバッファ・メモリ４８からデータを読み出し、所定の伝送フォーマットで出力端子５２に出力する。なお、図示を省略してあるが、この伝送フォーマットには、動きベクトル検出回路３２で検出される動きベクトル情報、伝送同期信号及び誤り訂正符号などが含まれる。
【００２６】
次に、予測領域検出回路３８、判定回路４０及びリフレッシュ制御回路４２の作用を詳細に説明する。
【００２７】
リフレッシュ制御回路４２は、リフレッシュの幅とシフト量をそれぞれ規定する制御値Ｗ，Ｓと予測領域検出回路３８からのリフレッシュ解除信号に応じて、”０”（即ち、Ｌ）信号又は”１”（即ち、Ｈ）信号を出力する。本実施例では、１フレームでリフレッシュを完了するのではなく、数フレームにわたって部分的にフレーム内符号化を実行することにより、リフレッシュを行なう。制御値Ｗ，Ｓによりリフレッシュすべきブロック又は画素であっても、予測画像である前フレームでフレーム内符号化されている等、特にリフレッシュする必要の無い部分は、フレーム内符号化する必要が無い。予測領域検出回路３８は、そのようなリフレッシュする必要の無いブロックを検出し、リフレッシュ解除信号を出力する。リフレッシュ制御回路４２は、リフレッシュの幅の制御値Ｗの範囲内であっても、予測領域検出回路３８からのリフレッシュ解除信号に応じてその部分のリフレッシュを中止する。これにより、伝送エラーの伝搬を抑制しつつ、フレーム内符号化による発生データ量の増加を最小限に抑えることができる。
【００２８】
予測領域検出回路３８がなくても、制御値Ｗ，Ｓが適切に設定されていれば、リフレッシュの際の発生データ量の急激な増加を抑制できるが、予測領域検出回路３８を設けることで、リフレッシュのためのフレーム内符号化による発生データ量の増加を最小限に抑えることができる。
【００２９】
具体的に説明する。通常の符号化処理の際には、リフレッシュ制御回路４２は”０”信号又はＬ信号を出力する。従って、オア回路４４の出力は判定回路４０の出力に一致し、スイッチ１８，３６は判定回路４０により切り換え制御される。
【００３０】
リレッシュすべきブロックに対して、リフレッシュ制御回路４２は、”１”信号又はＨ信号を出力する。これにより、オア回路４４の出力は”１”になり、スイッチ１８，３６は共にａ接点に接続して、フレーム内符号化に強制される。
【００３１】
図２を参照して、フレーム間でリフレッシュするエリアの相互関係を説明する。図２では、第１フレームは、設定されたＷの幅を持つエリアがリフレッシュされ（即ち、フレーム内符号化され）、次の第２フレームでは、水平方向に制御値Ｓだけシフトした制御値Ｗの幅のエリアがリフレッシュされる。第３フレーム以降についても同様のシフト動作が繰り返され、Ｎフレームで１画面のリフレッシュが終了する。
【００３２】
図３を参照して、ＷとＳの関係を説明する。第１フレームで左端の横幅Ｗの範囲をリフレッシュしたとき、残りのエリアは、フレーム内符号化又はフレーム間符号化で符号化されるので、一般的には次のフレームに伝搬するエラーを含む可能性がある。フレーム間動き補償を使用しなければ、第２フレームでは、Ｗだけ右にシフトした幅Ｗの範囲をリフレッシュすればよい。しかし、フレーム間動き補償を用いると、動き補償能力に対応した距離だけエラーが伝搬するので、この、エラーが伝搬する可能性のある範囲を次のフレームで再びリフレッシュする必要がある。具体的には、次式のようにＷ，Ｓを設定すればよい。
【００３３】
Ｗ≧Ｍ＋１
１≦Ｓ≦Ｗ−Ｍ
ここで、Ｍはエラーの伝搬可能距離（横幅）である。Ｍ，Ｗ，Ｓの各値は、ブロック単位又は画素単位である。
【００３４】
図３に示すように、第２フレームでは、リフレッシュ・エリアが第１フレームに対しＳだけ右に移動するが、ＷとＳが上記条件式を満足すると、第１フレームと第２フレームでリフレッシュ・エリアがＭ以上オーバーラップするので、第１フレームでリフレッシュされない部分からエラー伝搬する可能性のある部分が第２フレームで再びリフレッシュされ、第１フレームでリフレッシュされたエリアにエラーが伝搬することがない。
【００３５】
しかし、第２フレームのエラー伝搬可能範囲（オーバーラップ・エリア）に注目すると、このエラー伝搬可能範囲での動き補償予測信号が、第１フレームでリフレッシュされた画像（又は、フレーム内符号化された画像）に基づくものであれば、エラー伝搬することはない。
【００３６】
説明の都合上、エラー伝搬可能範囲を例えば図３の右側に示すように、水平方向で２ブロック（１ブロックを８画素×８ラインとする）とする。（Ｎ）は第２フレームでノーマル・モードで符号化されるブロック、（Ｒ）は第２フレームでリフレッシュ・モードで符号化されるブロックであることを示す。（ｍ，ｎ）は動き補償予測の動きベクトルであり、ｍは水平方向の画素数、ｎは垂直方向のライン数を示す。符号化するフレームとその予測フレームを同じ位置で重ね合わせたとして、符号化すべきブロックは、ｍがマイナスのときには、ｍ画素だけ左側の画像を予測値として符号化され、ｍがプラスの時には、ｍ画素だけ右側の画像信号でブロック化される。また、ｎについては、符号化すべきブロックは、ｎがマイナスのときには、ｎラインだけ上側の画像を予測値として符号化され、ｎがプラスの時には、ｎラインだけ下側の画像信号でブロック化される。
【００３７】
図３に示す例では、右上のブロック６０は、水平に−４画素、垂直に０ラインの動きベクトルで動き補償予測されており、その下のブロック６２は、水平方向に２１画素、垂直方向に０ラインの動きベクトルで動き補償予測される。従って、第２フレームのブロック６０は、第１フレームでブロック６０の位置よりも左側にある画像、即ち、第１フレームのリフレッシュ・エリアに含まれる画像から予測されるので、第１フレームからエラー伝搬することが無い。即ち、第２フレームのブロック６０は、リフレッシュする必要がない。
【００３８】
予測領域検出回路３８は、動きベクトル検出回路３２の出力から、予測された領域が前フレームでリフレッシュされたものであるかどうかを検出し、リフレッシュされている場合にリフレッシュ解除信号をリフレッシュ制御回路４２に印加する。リフレッシュ制御回路４２は、このリフレッシュ解除信号が入力すると、制御値Ｗ，Ｓに関わらず、このブロックの処理期間、”０”信号を出力する。この結果、スイッチ１８，３６は専ら４０の出力により切換え制御され、ノーマル・モードでの動作となる。
【００３９】
ブロック６２では水平動きベクトルが＋２１であり、第１フレームのリフレッシュされていない画像部分から予測されるので、エラーが伝搬する可能性がある。予測領域検出回路３８は、エラーの伝搬可能性を検出し、リフレッシュ解除信号を出力しない。これにより、リフレッシュ制御回路４２は、制御値Ｗ，Ｓ通りに、”１”信号を出力する。この結果、ブロック６２は、制御値Ｗ，Ｓ通りに、リフレッシュされる。
【００４０】
予測領域検出回路３８は、符号化されるフレームのオーバーラップ・エリアにおいて、動きベクトル検出回路３２からの予測動きベクトルを使用し、予測フレームでリフレッシュされたエリアから予測されるブロックに対してリフレッシュ解除信号を出力し、予測フレームでリフレッシュされないエリアから予測されるブロックではリフレッシュ解除信号を出力しないように動作する。オーバーラップ・エリア以外では、予測領域検出回路３８は、リフレッシュ解除信号を出力しない。
【００４１】
エラー伝搬可能範囲の残りブロックについても、制御値Ｗ，Ｓ及びリフレッシュ解除信号に従い、リフレッシュ制御回路４２は、同様に処理して、最小限に必要なブロックをリフレッシュする。次フレーム以降も同様にリフレッシュする。
【００４２】
これらの動作により、本実施例では、必要最低限の範囲をリフレッシュすることになり、リフレッシュによるデータ量の増加を抑えると共に、画質劣化を少なくすることができ、総合的な画質の向上を図れる。
【００４３】
以上の説明では、リフレッシュ・エリアを縦に延びるストライプ状にしたものを横に移動させたが、図４に示すように、リフレッシュ・エリアを横に延びるストライプ状にして縦に移動させてもよい。この場合には、予測領域検出回路３８は専ら垂直方向の動きベクトルに従いリフレッシュ解除信号を生成する。
【００４４】
本実施例では、フレーム間動き補償符号化について説明したがフィールド間動き補償についても同様であることは明らかである。また、フィールド間／フレーム間動き補償についても、それぞれの動き補償範囲について同様である。
【００４５】
また、１フレーム前を予測フレームとする予測符号化を例に説明したが、本発明は、予測フレームが２フレーム前又は３フレーム前であってもよいことは明らかである。つまり、予測フレームは１フレーム前に限定されないし、更には、前フレームであることにも限定されない。例えば、後フレーム、又は前及び後フレームを予測フレームとする予測符号化、更には、これらを組み合わせる予測符号化であっても、本発明を適用できる。
【００４６】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、リフレッシュによるデータ量の増加を少なくすることができ、更にエラー伝播も防止することができるので、符号化効率及び画質を向上させることができる。
【図面の簡単な説明】
【図１】本発明の一実施例の構成ブロック図である。
【図２】本実施例のリフレッシュ動作の説明図である。
【図３】リフレッシュ・エリアのシフトと、リフレッシュ解除信号の作用の説明図である。
【図４】リフレッシュ・エリアの別の設定例である。
【符号の説明】
１０：入力端子
１２：Ａ／Ｄ変換器
１４：ブロック分割回路
１６：減算器
１８：スイッチ
２０：直交変換回路
２２：量子化回路
２４：逆量子化回路
２６：逆直交変換回路
２８：加算器
３０：画像メモリ
３２：動きベクトル検出回路
３４：動き補償回路
３６：スイッチ
３８：予測領域検出回路
４０：判定回路
４２：リフレッシュ制御回路
４４：オア回路
４６：可変長符号化回路
４８：バッファ・メモリ
５０：伝送インターフェース回路
５２：出力端子
【図１】
0003618783.tif 000002
【図２】
0003618783.tif 000003
【図３】
0003618783.tif 000004
【図４】
0003618783.tif 000005