(57)【要約】【課題】入力画像を分割して画面内予測符号化を行う画像符号化装置において、分割境界での圧縮率を高め、画質も向上できるような画像符号化装置及び画像符号化方法を提供する。【解決手段】入力画像を複数に分割する画像分割器２０と、分割した画像のそれぞれに対応して設けられ、かつ前記画像分割器２０から入力した分割画像を符号化するとともに、局部復号情報を記憶するフレームメモリ５８を備えた複数の符号化器４０〜４２と、を備えた画像符号化装置１において、複数の符号化器４０〜４２のうち少なくとも一つの符号化器が画面内予測符号化を行い、分割画像の前記符号化器４１と前記符号化器４０との符号化の開始と、前記符号化器４２と前記符号化器４１との符号化の開始をずらす入力バッファ３０〜３２と、各前記フレームメモリ５８同士を接続する信号線６０とを備えた。【選択図】図３
2006295721.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を複数に分割する分割手段と、分割した画像のそれぞれに対応して設けられ、かつ前記分割手段から入力した分割画像を符号化するとともに、局部復号情報を記憶する記憶手段を備えた複数の符号化器と、を備えた画像符号化装置において、
複数の符号化器のうち少なくとも一つの符号化器が画面内予測符号化を行い、分割画像の前記一つの符号化器と他の一つの符号化器との符号化の開始をずらす遅延手段と、各前記記憶手段同士を接続する接続手段とを備えたことを特徴とする画像符号化装置。
【請求項２】
前記一つの符号化器と前記他の一つの符号化器との符号化の開始の時間差は、後から画面内予測符号化する前記一つの符号化器が、先に符号化した前記他の一つの符号化器の局部復号情報を参照して画面内予測符号化することを可能とする時間であることを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記一つの符号化器と前記他の一つの符号化器との符号化の開始の時間差は、前記一つの符号化器と前記他の一つの符号化器との分割画像の符号化にかかる所要時間のうち長い方の所要時間であることを特徴とする請求項２記載の画像符号化装置。
【請求項４】
前記遅延手段により遅延して後から画面内予測符号化する前記一つの符号化器は、先に符号化した前記他の一つの符号化器の局部復号情報を参照して画面内予測符号化することを特徴とする請求項１〜３のうちいずれか１項記載の画像符号化装置。
【請求項５】
前記符号化器から画面内予測符号化された情報が入力され、同一の画像の分割画像からなる画面内予測符号化された情報が、同時期に出力するように出力時期を調整する出力調整手段を備えたことを特徴とする請求項１〜４のうちいずれか１項記載の画像符号化装置。
【請求項６】
前記出力調整手段が出力した符号化情報を合成する合成手段を備えたことを特徴とする請求項５記載の画像符号化装置。
【請求項７】
入力画像を複数に分割して、この分割画像それぞれを、局部復号情報を用いて符号化する画像符号化方法において、
前記分割画像のうち少なくとも一つの分割画像の画面内予測符号化と他の一つの分割画像の符号化との開始をずらすことを特徴とする画像符号化方法。
【請求項８】
前記一つの分割画像の画面内予測符号化と前記他の一つの分割画像の符号化との開始の時間差は、後から行う前記一つの分割画像の画面内予測符号化が、先に行っている前記他の一つの分割画像の符号化の局部復号情報を参照して画面内予測符号化することを可能とする時間であることを特徴とする請求項７記載の画像符号化方法。
【請求項９】
前記一つの分割画像の画面内予測符号化と前記他の一つの分割画像の符号化との開始の時間差は、前記一つの分割画像と前記他の一つの分割画像の符号化にかかる時間のうち長い方の時間であることを特徴とする請求項８記載の画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画面内予測符号化が用いられる高効率画像圧縮符号化を行う画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
従来、動画像の圧縮符号化方式としてＭＰＥＧ２（Moving Picture Experts Group phase2）方式に代表される画面間予測符号化を用いた方式が多く利用されている。
【０００３】
近年、ＨＤＴＶ（High Definition TeleVision）など従来よりも高精細で情報量の多い画像フォーマットによる放送や、媒体への記録が行われるようになってきた。例えばＨＤＴＶフォーマットの１つである１０８０ｉは有効表示領域が１９２０画素×１０８０ラインであり、従来のアナログテレビ放送の７２０画素×４８０ラインと比較しても遥かに情報量が増加している。
【０００４】
上記１０８０ｉなどの情報量の多いＨＤＴＶフォーマットの画像をＭＰＥＧ２方式により圧縮符号化する場合には、単体の符号化装置では処理しきれないことがあり、特許文献１のように入力画像を分割して、それぞれの分割領域ごとに符号化装置を用意し処理を行うことがあった。
【特許文献１】特開平７−２７４１８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このような情報量の多い画像を、さらに高効率圧縮符号化する方式として画面間予測符号化に加えて画面内予測符号化を用いた方式が用いられることがある。例えば、ＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication sector）規格のＨ．２６４がある。
【０００６】
画面内予測符号化とは、同一画面内で、符号化済みの情報との相関をとることにより符号化する方法であり、従来のＭＰＥＧ２方式では採り入れられていなかったが、これを採用することでＭＰＥＧ２方式よりも高効率に圧縮符号化が行える。ただし、演算量が増加するためＨＤＴＶなどでは、単体の符号化器の能力では符号化できないことがあり、画像を分割して複数の符号化器に符号化を行わせることがある。
【０００７】
画面内予測符号化を分割した画像に対して行うと、分割した画像間の境界を符号化する際に、分割画像間で符号化済み画像を予測画像として参照する必要になることがある。例えば、図１のように横に３分割して符号化する場合、各分割領域Ａ，Ｂ，Ｃそれぞれの左上端より右方向に向かって、１６×１６画素のマクロブロック単位や４×４画素単位など複数×複数画素単位で画面内予測符号化処理は行われることが多い。
【０００８】
特許文献１記載の方法では、３つの符号化器がそれぞれ担当する分割領域Ａ，Ｂ，Ｃにおいて、図２のように同一の画面をほぼ同一の時刻に符号化する。ここで、図２のＰ１〜Ｐ４は、符号化する画面の順序を表し、Ｐ１が１枚目、Ｐ２が２枚目、Ｐ３が３枚目、Ｐ４が４枚目を表す。画面内予測符号化は同一の画面内の符号化済みの画素を使用して予測するため、領域Ｂの上端を符号化しようとした時に、まだ符号化が終了していない領域Ａの下端の画素を予測画素として使用する可能性がある。しかし、当該画素は符号化が終了していないため予測画素として使用できない。このため、図１のような分割のとき、特許文献１記載の方法で画面内予測符号化しようとすると、画像に応じて適切な予測を行った画面内予測符号化ができない可能性があり、分割境界で圧縮率や画質の低下が起ることがあった。
【０００９】
そこで本発明では、例えば入力画像を分割して画面内予測符号化する符号化装置において、分割境界での圧縮率や画質の低下を軽減できるような画像符号化装置及び画像符号化方法を提供することを課題とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、請求項１の発明は、入力画像を複数に分割する分割手段と、分割した画像のそれぞれに対応して設けられ、かつ前記分割手段から入力した分割画像を符号化するとともに、局部復号情報を記憶する記憶手段を備えた複数の符号化器と、を備えた画像符号化装置において、
複数の符号化器のうち少なくとも一つの符号化器が画面内予測符号化を行い、分割画像の前記一つの符号化器と他の一つの符号化器との符号化の開始をずらす遅延手段と、各前記記憶手段同士を接続する接続手段とを備えたことを特徴とする。
【００１１】
請求項７の発明は、入力画像を複数に分割して、この分割画像それぞれを、局部復号情報を用いて符号化する画像符号化方法において、
前記分割画像のうち少なくとも一つの分割画像の画面内予測符号化と他の一つの分割画像の符号化との開始をずらすことを特徴とする。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態を説明する。入力画像を複数に分割する分割手段と、分割した画像のそれぞれに対応して設けられ、かつ前記分割手段から入力した分割画像を符号化するとともに、局部復号情報を記憶する記憶手段を備えた複数の符号化器と、を備えた画像符号化装置において、複数の符号化器のうち少なくとも一つの符号化器が画面内予測符号化を行い、分割画像の前記一つの符号化器と他の一つの符号化器との符号化の開始をずらす遅延手段と、各前記記憶手段同士を接続する接続手段とを備える。このように、入力画像を複数に分割した際に、複数の符号化器のうち少なくとも１つが画面内予測符号化するために、各符号化器の開始をずらす遅延手段を設け、さらに各符号化器内の記憶手段同士を接続することで、分割の境界でも局部復号化情報を、接続手段により各符号化器内の記憶手段を共有できるため、画面内予測符号化をより効率的に使用することができ、従来よりも圧縮率や画質を向上させることができる。
【００１３】
また、前記一つの符号化器と前記他の一つの符号化器との符号化の開始の時間差は、後から画面内予測符号化する前記一つの符号化器が、先に符号化した前記他の一つの符号化器の局部復号情報を参照して画面内予測符号化することを可能とする時間としてもよい。
【００１４】
また、前記一つの符号化器と前記他の一つの符号化器との符号化の開始の時間差は、前記一つの符号化器と前記他の一つの符号化器との分割画像の符号化にかかる所要時間のうち長い方の所要時間としてもよい。
【００１５】
また、前記遅延手段により遅延して後から画面内予測符号化する前記一つの符号化器は、先に符号化した前記他の一つの符号化器の局部復号情報を参照して画面内予測符号化してもよい。
【００１６】
また、前記符号化器から画面内予測符号化された情報が入力され、同一の画像の分割画像からなる画面内予測符号化された情報が、同時期に出力するように出力時期を調整する出力調整手段を備えてもよい。
【００１７】
また、前記出力調整手段が出力した符号化情報を合成する合成手段を備えてもよい。
【実施例１】
【００１８】
本発明の一実施例にかかる画像符号化装置１は、図３に示すように、入力端子１０と、分割手段としての画像分割器２０と、遅延手段としての入力バッファ３０〜３２と、符号化器４０〜４２と、出力調整手段としての出力バッファ８０〜８２と、合成手段としての符号化信号合成器９０と、出力端子１００とを備えている。
【００１９】
画像分割器２０は、入力端子１０から入力された画像を図４のように横に３分割して、分割した画像（以下分割画像と記す）を入力バッファ３０〜３２へそれぞれ出力している。
【００２０】
入力バッファ３０〜３２はランダムアクセスが可能なメモリであり、入力バッファ３０は図４のＡ領域を１画面分、入力バッファ３１は図２のＢ領域を２画面分、入力バッファ３２は図４のＣ領域を３画面分の画像をそれぞれ記憶しておくことができる。このように各入力バッファの記憶容量に差を持たせることにより、入力バッファ３１は入力バッファ３０よりも１画面分、入力バッファ３２は入力バッファ３１よりも１画面分ずらしてそれぞれが接続されている符号化器より読み出されて画面内予測符号化ができる。こうして、入力バッファ３０〜３２は少なくとも二つの符号化器の分割画像の画面内予測符号化の開始をずらしている。また、符号化器４０〜４２が読み出す際は、１６×１６画素のマクロブロック単位で読み出す。
【００２１】
符号化器４０は画面内予測部５０と、減算器５１と、動き補償部５２と、動きベクトル検出部５３と、画面内／画面間予測モード切替え部５４と、符号化部５６と、局部復号部５７と、局部復号情報を記憶する記憶手段としてのフレームメモリ５８と、エントロピー符号化部５９とからなる。
【００２２】
画面内予測部５０は、入力バッファ３０から読み出した現画面のマクロブロックを４×４画素の領域に分割して、Ｈ．２６４における画面内予測符号化方法の９種類のモードからその領域に合った適切なモードを選択し符号化する方法で画面内予測符号化し、予測画素と現画素との予測誤差（差分値）を出力する。
【００２３】
ここで、Ｈ．２６４における画面内予測符号化方法を説明する。Ｈ．２６４では画面内予測符号化方法として１６×１６画素のマクロブロックを１６個の４×４画素の領域に分割して行う方法と、１６×１６画素のマクロブロックに対して行う方法の２通りが規定されているが、本実施例で行う４×４画素の領域に対して画面内予測符号化する方法を説明する。Ｈ．２６４では、４×４画素の領域に対して図５に示すように９種類のモードが規定されており、各領域毎にこれらの中から適切なモードを選択し符号化することができる。例えば図５（ａ）のＭｏｄｅ０は、画面内予測符号化対象画素ｙより先に符号化後復号化された画素ｘと、画面内予測符号化対象画素ｙを矢印ｑに沿ってそれぞれの差をとり、それら差分値を符号化する。復号化する際は、差分値に画素ｘの値を加算することにより復号化できる。このように、Ｍｏｄｅ０では、予測画素として符号化領域の上段の同じ列の画素を使用して符号化する。図５（ｂ）のＭｏｄｅ１および図５（ｄ）のＭｏｄｅ３〜（ｉ）のＭｏｄｅ８は矢印の向きが異なる以外はＭｏｄｅ０と同様に行う。図５（ｃ）のＭｏｄｅ２は画素ｘの平均値と画素ｙとの差分値を符号化する。
【００２４】
画面内／画面間予測モード切替え部５４は、画面内予測を行う画面の場合は画面内予測部５０の出力を符号化部５６へ出力し、画面間予測を行う画面の場合は減算器５１の出力を符号化部５６へ出力するように符号化制御部５５が制御する。
【００２５】
符号化部５６は、画面内／画面間予測モード切替え部５４の出力を例えば直交変換符号化する。直交変換符号化された符号化データは量子化し符号量を低減して、エントロピー符号化部５９および局部復号部５７へ出力する。直交変換符号化は、Ｈ．２６４では、ＭＰＥＧ２等で行われていた８×８画素単位の離散コサイン変換（ＤＣＴ）に代わり、４×４画素単位の整数変換（Integer Transform）が行われる。本実施例においても整数変換を行う。量子化する際の量子化ステップは、符号化制御部５５により符号量に応じて変更される。
【００２６】
エントロピー符号化部５９は、符号化部５６および動きベクトル検出部５３より入力された符号化データおよび動きベクトルをエントロピー符号化する。Ｈ．２６４では、指数ゴロム符号およびＣＡＶＬＣ（Context-based Adaptive Variable Length Coding）やＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）という符号を使用する。本実施例においても、指数ゴロム符号およびＣＡＶＬＣやＣＡＢＡＣを使用してエントロピー符号化する。エントロピー符号化により符号量を更に低減された符号化データは、符号化制御部５５により所定の符号化レートに制御され、符号化器４０の出力として出力バッファ８０に出力される。
【００２７】
局部復号部５７は、符号化部５６の出力を、逆量子化および直交変換復号化し、復号してフレームメモリ５８へ出力する。直交変換復号化としては、Ｈ．２６４では逆整数変換が行われ、本実施例においても逆整数変換を行う。この逆整数変換後の出力は予測誤差である。画面内予測の場合は予測画素との差分値であるので、予測画素と差分値を加算し画素値を復号してフレームメモリ５８に出力する。画面間予測の場合は動き補償された前画面との差分値であるので、動き補償部５２で動き補償されたデータと差分値を加算し、次の画面で使用する前画面の画像データとして復号しフレームメモリ５８に出力する。
【００２８】
フレームメモリ５８は、局部復号部５７で復号された復号化データを格納する。また、画面内予測か画面間予測かのモードにより、画面内予測部５０か、動きベクトル検出部５３および動き補償部５２へ復号化データを出力する。また、符号化器４１または４２より復号化データの要求があった場合は、信号線６０を介して符号化器４１または４２へ復号化データを出力する。画面内予測部５０または動きベクトル検出部５３において符号化器４１または４２内のフレームメモリ５８の復号化データが必要になった場合は、符号化器４１または符号化器４２内のフレームメモリ５８へ復号化データの要求を行い、信号線６０を介して入力される復号化データを画面内予測部５０または動きベクトル検出部５３へ出力する。
【００２９】
動きベクトル検出部５３は、入力画像である現画面とフレームメモリ５８から読み出した前画面より、１６×１６画素のマクロブロック毎に動きベクトルを求め動き補償部５２およびエントロピー符号化部５９へ出力する。動きベクトルは、例えば、全探索型動きベクトル検出による探索領域と符号化するマクロブロックとのマッチング計算により求める。
【００３０】
動き補償部５２は、動きベクトル検出部５３で求めた動きベクトルに基づいて、フレームメモリ５８から出力された前画面を動き補償し減算器５１へ出力する。
【００３１】
減算器５１は、動き補償部５２で動き補償された前画面と、入力画像である現画面とを減算し予測誤差（差分値）を出力する。
【００３２】
符号化制御部５５は、符号化器４０内の他の機能部への制御（画面内予測モードか画面間予測モードかの切替えや、発生符号量に基づく符号化レートの調整等）を行う。
【００３３】
符号化器４１および４２の構成および内部にある各機能部は、符号化器４０および符号化器４０内の各機能部と同一であるため、符号化器４０と同一の符号を付して説明を省略する。
【００３４】
出力バッファ８０〜８２はＦＩＦＯ（First In First Out）メモリで構成され、出力バッファ８０が３画面分、出力バッファ８１が２画面分、出力バッファ８２が１画面分の符号化データを記憶することが出来る。このように各出力バッファの容量を変えて設定することで各符号化器４０〜４２を、それぞれ１画面ずつ遅延させて動作させることによる時間差を吸収し、出力時期を調整することができる。このように、出力バッファ８０〜８２は、同一の画像の分割画像からなる画面内予測符号化された情報が、同時期に出力するように出力時期を調整する。
【００３５】
符号化信号合成器９０は出力バッファ８０〜８２の出力を合成して１画面のデータに構成し、出力端子１００から出力する。
【００３６】
本実施例においては、符号化器４０〜４２の各フレームメモリ５８を接続する接続手段としての信号線６０が設けられている。これにより各フレームメモリ５８の記憶データを符号化器４０〜４２が共用でき、画面内予測部５０および動きベクトル検出部５３は、各フレームメモリ５８の記憶データを用いて画面内予測や動きベクトルの検出が行える。
【００３７】
次に、このような構成からなる符号化装置の画面内予測符号化を行う際の動作を図７を参照して説明する。
【００３８】
まず、画像分割器２０は、入力端子１０より入力された入力画像に対し、図４のように横に３つに分割して入力バッファ３０〜３２へ出力する。
【００３９】
入力バッファ３０は、図４のＡの領域を１画面分記憶する。入力バッファ３１は図４のＢの領域を２画面分記憶する。入力バッファ３２は図４のＣの領域を３画面分記憶する。
【００４０】
図７の時刻ｔ１では、符号化器４０は、入力バッファ３０がマクロブロックの読み出しが可能な量（１６ライン以上）を記憶したため、画面内予測符号化するためにマクロブロック単位で入力バッファから読み出す。この時、画面内／画面間予測モード切替え部５４は画面内予測部５０の出力が符号化部５６に入力されるように符号化制御部５５によって切替えられている。なお、時刻ｔ１では符号化器４１および４２はまだ動作しない。
【００４１】
画面内予測部５０は、入力バッファ３０より読み出されたマクロブロックを、図６の矢印ｓに示す順序で、４×４画素単位に上述した図５の９種類のモードから適切なモードを選択し、フレームメモリ５８より読み出した予測画素を用いる画面内予測符号化方法により予測誤差を算出し出力する。
【００４２】
画面内予測部５０から出力された予測誤差は、画面内／画面間予測モード切替え部５４を経由して符号化部５６に入力され、まず、４×４画素単位の整数変換を行い、次いで量子化し符合量を削減する。
【００４３】
量子化した符号化データはエントロピー符号化部５９にて、指数ゴロム符号およびＣＡＶＬＣなどにより可変長符号化された後、符号化制御部５５により所定の符号化レートに制御され、出力バッファ８０へ出力される。出力バッファ８０では符号化器４２が１画面目の符号化を終了するまで符号化データを記憶する。
【００４４】
一方、符号化部５６の出力である量子化後の符号化データは局部復号部５７にも出力される。局部出力部６１内では入力された符号化データを逆量子化、逆整数変換を行い画面内予測部５０の出力値（予測誤差）に戻し、さらに９つの画面内予測モードのうち使用したモードに合った予測画素と加算することで、符号化データを復号する。復号化されたデータはフレームメモリ５８に出力される。
【００４５】
フレームメモリ５８は復号化データを記憶し、画面内予測部５０の要求に従って画面内予測符号化に必要な予測画素のデータを出力する。
【００４６】
上述のような画面内予測符号化を１画面目の各マクロブロックに対して行う。符号化器４０は１画面目が終了すると、２画面目を符号化する。２画面目は後述する画面間予測符号化を行う。
【００４７】
次に図７の時刻ｔ２では、符号化器４０が２画面目の符号化を行い、同時に符号化器４１は、入力バッファ３１から１画面目をマクロブロック単位に読み出し、符号化器４０と同様に画面内予測符号化する。符号化器４１で符号化されたデータは出力バッファ８１に出力され、出力バッファ８１では符号化器４２が１画面目の符号化を終了するまで記憶する。なお、時刻ｔ２では符号化器４２はまだ動作しない。
【００４８】
符号化器４１が符号化する図４のＢ領域上端の４×４画素の領域に対して画面内予測符号化する際に、信号線６０を使用して符号化器４０内のフレームメモリ５８にアクセスすることにより、上方向の予測画素を使用して符号化することができる。
【００４９】
詳細には、まず、図４のＢ領域上端の４×４画素で上方向の予測画素の参照を行うこととなった場合、符号化器４１内の画面内予測部５０は、フレームメモリ５８に対して予測画素の要求を行う。フレームメモリ５８は要求された予測画素が符号化器４０内のフレームメモリ５８に記憶されているデータであることを検出すると、符号化器４０内のフレームメモリ５８に対して予測画素データの要求を行う。符号化器４０内のフレームメモリ５８は符号化器４１内のフレームメモリ５８の要求に対して予測画素データを信号線６０へ出力する。符号化器４１内のフレームメモリ５８は信号線６０から入力された予測画素データを画面内予測部５０へ出力し、画面内予測部５０において画面内予測が行われる。
【００５０】
次に図７の時刻ｔ３では、符号化器４０は３画面目の画面間予測符号化を開始し、符号化器４１は２画面目の画面間予測符号化を開始し、符号化器４２は１画面目の画面内予測符号化を開始する。符号化器４２の符号化データは出力バッファ８２に出力する。
【００５１】
符号化器４２の画面内予測符号化も符号化器４１と同様に、信号線６０より符号化器４１内のフレームメモリ５８のデータにアクセスすることにより符号化器４２が符号化する領域（図４のＣ領域）の上端における上方向の予測画素を参照した符号化ができる。
【００５２】
符号化信号合成器９０では、出力バッファ８０〜８２に１画面目の符号化データが揃うと、出力バッファ８０の符号化データ（図４のＡ領域）、出力バッファ８１の符号化データ（図４のＢ領域）、出力バッファ８２の符号化データ（図４のＣ領域）の順にデータを合成し出力端子１００より符号化データを出力する。
【００５３】
このように動作させることで、図７に示すように画面を分割して、後から画面内予測符号化する符号化器が画面内予測符号化することを可能とする時間以上の１画面期間ずつ各符号化器をずらして処理することになり、符号化器４０で符号化した画面Ｐ１の局部復号データを符号化器４１で使用でき（矢印ｒ１）、符号化器４１で符号化した画面Ｐ１の局部復号データを符号化器４２で使用できるようになる（矢印ｒ２）。これによって、分割領域の境界において画像に応じた適切な画面内予測符号化のモードが選択可能となり、圧縮率の低下や画質の低下を軽減することができる。
【００５４】
こうして、画面内予測符号化の開始の時間差は、後から画面内予測符号化する符号化器が、先に符号化した符号化器の局部復号情報を参照して画面内予測符号化することを可能とする時間となり、本実施例では、各符号化器が分割画像の画面内予測符号化にかかる所要時間となる。
【００５５】
なお、本実施例では４×４画素単位で画面内予測符号化を行ったが、Ｈ．２６４で規定されている１６×１６画素単位でも同様に行えることは言うまでもなく、画面内予測符号化の単位によらず分割境界を越える参照を行うような画面内予測符号化に適用できる。
【００５６】
次に、本実施例で画面間予測符号化を行う際の動作を図８〜図１０を参照して説明する。
【００５７】
図８の時刻ｔ２では、符号化器４０が１画面目の符号化を終了し、２画面目をマクロブロック単位で入力バッファ３０から読み出す。この時、画面内／画面間予測モード切替え部５４は減算器５１の出力が符号化部５６に入力されるように符号化制御部５５によって切替えられている。
【００５８】
入力された２画面目のマクロブロックは、動きベクトル検出部５３においてフレームメモリ５８にある１画面目の復号画像において、予め設定された領域を全探索型動きベクトル検出により探索し動きベクトルを求める。動き補償部５２は、求められた動きベクトルに基づいてフレームメモリ５８にある１画面目の復号画像を動き補償し、減算器５１において入力画像との差分をとり、予測誤差として画面内／画面間予測モード切替え部５４を経由して符号化部５６へ出力する。
【００５９】
符号化部５６では画面内予測符号化時と同様に、整数変換および量子化し、エントロピー符号化部５９および局部復号部５７へ出力する。
【００６０】
量子化された符号化データは、エントロピー符号化部５９でも画面内予測符号化時と同様に、指数ゴロム符号およびＣＡＶＬＣ等により可変長符号化された後、符号化制御部５５により所定の符号化レートに制御され、出力バッファ８０へ出力される。
【００６１】
局部復号部５７は、符号化部５６からの量子化された符号化データを逆量子化、逆整数変換し、減算器５１の出力である予測誤差に復号する。復号された予測誤差は、動き補償部５２で動き補償されたデータと加算されて２画面目の復号化データとしてフレームメモリ５８に出力する。
【００６２】
フレームメモリ５８は、局部復号部５７で復号された２画面目の復号化データを次の３画面目との画面間予測符号化を行うために記憶する。
【００６３】
上述のような画面間予測符号化を２画面内の各マクロブロックに対して行う。符号化器４０は２画面目が終了すると、３画面目を符号化する。３画面目も画面間予測符号化する。
【００６４】
符号化器４０が画面間予測符号化する際に、動きベクトルの探索範囲として符号化器４１が符号化した領域（図４のＢ領域）が含まれることがある。その場合は、信号線６０を通して符号化器４１内のフレームメモリ５８より当該データを読み出す。これにより、図８に示すように、符号化器４０において画面Ｐ２の動きベクトル探索時に符号化器４０が符号化した前画面である画面Ｐ１のデータを参照するだけでなく（矢印ｒ３）、符号化器４１が符号化した画面Ｐ１のデータも参照することが可能となる（矢印ｒ４）。
【００６５】
符号化器４０の動きベクトル探索において図４のＢ領域を探索することとなった場合の動作の詳細を説明する。符号化器４０内の動きベクトル検出部５３は、フレームメモリ５８に対して探索領域のデータの要求を行う。符号化器４０内のフレームメモリ５８は要求された探索領域のデータが符号化器４１内のフレームメモリ５８に記憶されているデータであることを検出すると、符号化器４１内のフレームメモリ５８に対して探索領域のデータの要求を行う。符号化器４１内のフレームメモリ５８は符号化器４０内のフレームメモリ５８の要求に対して探索領域のデータを信号線６０へ出力する。符号化器４０内のフレームメモリ５８は信号線６０から入力された探索領域のデータを動きベクトル検出部５３へ出力し、動きベクトル検出部５３において動きベクトルの探索が行われる。
【００６６】
符号化器４１の２画面目の画面間予測符号化も、符号化器４０と同様に行われる。この場合は、図９の時刻ｔ３に示すように、符号化器４１において画面Ｐ２の動きベクトル探索時に符号化器４１が符号化した前画面である画面Ｐ１のデータを参照するだけでなく（矢印ｒ６）、符号化器４０が符号化した画面Ｐ１のデータおよび、符号化器４２が符号化した画面Ｐ１のデータも参照することが可能となり（矢印ｒ５、ｒ７）、分割境界を越えた動きベクトルを求めることができる。この場合も信号線６０を通して探索領域のデータを符号化器４０内のフレームメモリ５８や符号化器４２内のフレームメモリ５８から読み出す。
【００６７】
符号化器４２の２画面目の画面間予測符号化も、符号化器４０および４１と同様に行われる。この場合は、図１０の時刻ｔ４に示すように、符号化器４２において画面Ｐ２の動きベクトル探索時に符号化器４２が符号化した前画面である画面Ｐ１のデータを参照するだけでなく（矢印ｒ１０）、符号化器４０が符号化した画面Ｐ１のデータおよび、符号化器４１が符号化した画面Ｐ１のデータも参照することが可能となり（矢印ｒ８、ｒ９）、分割境界を越えた動きベクトルを求めることができる。この場合も信号線６０を通して探索領域のデータを符号化器４０内のフレームメモリ５８や符号化器４１内のフレームメモリ５８から読み出す。
【００６８】
なお、各フレームメモリ５８は符号化器４０〜４２をずらして動作させているため、図１０の矢印ｒ８のように参照する場合は、数枚前のデータまで保存することになる。また、本実施例では画面間予測符号化の際に１画面前のデータを参照する例を示したが、符号化済みの画像であれば複数前からの参照も可能である。このようにフレームメモリ５８は、動きベクトルの探索範囲や参照画面数に合わせて、記憶する画面の枚数や容量を決定するとよい。
【００６９】
このように本実施例では、画面内予測符号化だけでなく、画面間予測符号化時にも分割境界を越えたデータの参照が行える。そのため、画面間予測符号化時にも分割境界で圧縮率の低下や画質の低下を軽減することができる。
【００７０】
なお、入力バッファ３０〜３２はランダムアクセスが可能なメモリでなく、ＦＩＦＯとし、符号化器４０〜４２に、水平走査順に入力された画像データを画面内予測部５０や、動きベクトル検出部５３に出力するためのマクロブロック形式に変換する回路を設けてもよい。或いは画像分割器２０で、水平走査順に入力された画像データをマクロブロック形式に変換し、ＦＩＦＯとした入力バッファ３０〜３２に出力するようにしてもよい。
【００７１】
また、入力バッファの容量は、入力バッファ３０が１画面分、入力バッファ３１が２画面分、入力バッファ３２が３画面分に限らず、入力バッファ３１、３２は、それぞれが接続されている符号化器４１、４２が画面内予測符号化処理を行うために必要な時間以上ずれて動作できるだけの容量があればよく、入力バッファ３０は、符号化器４０が画面内予測符号化処理を行うのに必要なデータが揃うだけの容量があればよい。
【００７２】
また、符号化器４１が画面内予測符号化を始めるタイミングは、符号化器４０が２画面目の画面内予測符号化を開始したときに限らず、符号化器４０が符号化を始めてから符号化器４１が符号化器４０のフレームメモリ５８のデータを使用して画面内予測符号化処理を行える時間以降であればよい。符号化器４２が画面内予測符号化を始めるタイミングも同様に、符号化器４１が２画面目の画面内予測符号化を開始したときに限らず、符号化器４１が符号化を始めてから符号化器４２が符号化器４１のフレームメモリ５８のデータを使用して画面内予測符号化処理を行える時間以降であればよい。
【００７３】
また、出力バッファ８０〜８２の容量は、出力バッファ８０が３画面分、出力バッファ８１が２画面分、出力バッファ８２が１画面分に限らず、符号化器４１、４２が画面内予測符号化処理を行うために必要な時間以上ずらして動作させた分を吸収・調整し、同時期に出力できるだけの容量があればよい。
【００７４】
また、符号化信号合成器９０は、出力バッファ８０〜８２の全てで１画面分の符号化データが揃ってから出力端子１００に出力することに限らず、出力バッファ８０、出力バッファ８１、出力バッファ８２の順で出力できればよい。
【００７５】
さらに、上記実施例では、画面を横に３分割していたが、分割数を３に限らないことは言うまでも無く、縦に分割したり、図１１のように縦２分割、横２分割の４分割等としてもよい。この場合は画面内予測においては上方向だけでなく左方向からの予測時にも他のフレームメモリのデータを参照できる。
【００７６】
ただし、各符号化器をずらして符号化処理をさせているため、図８に示すように時刻ｔ２において、符号化器４０の２枚目の画面Ｐ２の画面間予測符号化時に、符号化器４２が符号化する１枚目の画面Ｐ１は参照できない。このように、横に分割した場合は画面下方向、縦に分割した場合は画面右方向の参照範囲が限られてしまうことがある。そのため、分割画像の大きさは、画面間予測符号化時における各符号化器の動きベクトルの探索範囲より小さくしすぎない方が好ましい。
【００７７】
また、複数の符号化器のうち、少なくとも２つの符号化器の画面内予測符号化の開始がずれればよい。つまり、上記実施例で符号化器４０と符号化器４１をずらして、符号化器４２は符号化器４０と同じタイミングで動作させてもよい。或いは符号化器４０と符号化器４１をずらして、符号化器４２は符号化器４１と同じタイミングで動作させてもよい。しかし、この場合は画面間予測符号化時に符号化器４１と符号化器４２間でフレームメモリ５８の共有ができないため、図４の領域Ｂと領域Ｃの分割境界で圧縮率や画質の低下が起る。ずらして動作させない分割境界が画面中央に近いと圧縮率や画質の低下が目立ち易いため、同じタイミングで動作させる場合は、画面の端に近い分割画像間（例えば上端と下端等）で行うことが好ましい。
【００７８】
また、上記実施例では符号化器４０〜４２は全て画面内予測符号化を行っていたが、それに限らず、少なくとも一つの符号化器が画面内予測符号化を行えばよい。例えば符号化器４１のみが画面内予測符号化を行った場合は、符号化器４１が請求項１に記載した一つの符号化器となり、符号化器４０と４２が他の一つの符号化器となる。符号化器４２のみが画面内予測符号化を行った場合は、符号化器４２が請求項１に記載した一つの符号化器となり、符号化器４０と４１が他の一つの符号化器となる。符号化器４１が画面内予測符号化を行う場合の符号化開始の時間差は、後から画面内予測符号化する一つの符号化器としての符号化器４１が、先に符号化した他の一つの符号化器としての符号化器４０の局部復号情報としてのフレームメモリ５８の復号化データを参照して画面内予測符号化を行える時間が好ましく、さらに好ましくは一つの符号化器としての符号化器４１と他の一つの符号化器としての符号化器４０、４２が分割画像の符号化にかかる所要時間のうち長い方とした方がよい。符号化器４２が画面内予測符号化を行う場合の符号化開始の時間差は、後から画面内予測符号化する一つの符号化器としての符号化器４２が、先に符号化した他の一つの符号化器としての符号化器４１の局部復号情報としてのフレームメモリ５８の復号化データを参照して画面内予測符号化を行える時間が好ましく、さらに好ましくは一つの符号化器としての符号化器４２と他の一つの符号化器としての符号化器４０、４１が分割画像の符号化にかかる所要時間のうち長い方とした方がよい。
【００７９】
本発明は、例えば図１２のように、放送局等においてテレビカメラで撮影した画像を、送信機に出力する前に適用して圧縮符号化すれば、高効率に画質の低下の少ない画像を送信することができる。
【００８０】
また、例えば図１３のように、アナログテレビ放送やビデオカメラで撮影した画像等の非圧縮の画像を、光ディスクやハードディスクなどの記録媒体に記録する前に本発明を適用して圧縮符号化すれば、高効率に画質の低下の少ない画像を記録することができる。
【００８１】
また、例えば図１４のように、地上デジタル放送などの圧縮符号化されたデジタル放送を、Ｈ．２６４などの従来より高効率な圧縮符号化に再圧縮符号化する際に本発明を適用すれば、入力画像の画質の低下を抑えつつ、さらに高い圧縮率で符号化することができる。そして、それを再放送すれば、携帯端末などの比較的低い通信速度の端末でも画質の低下が少なく地上デジタル放送などを視聴することができ、再放送の代わりに再圧縮符号化後のデータを光ディスクやハードディスクなどの記録媒体に記録すれば、再圧縮符号化する前よりも多くの情報を記録することができる。
【００８２】
前述した実施例によれば、以下の符号化装置および符号化方法が得られる。
【００８３】
（付記１）入力画像を複数に分割する画像分割器２０と、分割した画像のそれぞれに対応して設けられ、かつ前記画像分割器２０から入力した分割画像を符号化するとともに、局部復号情報を記憶するフレームメモリ５８を備えた複数の符号化器４０〜４２と、を備えた画像符号化装置１において、
複数の符号化器４０〜４２のうち少なくとも一つの符号化器が画面内予測符号化を行い、分割画像の前記符号化器４１と前記符号化器４０との符号化の開始と、前記符号化器４２と前記符号化器４１との符号化の開始をずらす入力バッファ３０〜３２と、各前記フレームメモリ５８同士を接続する信号線６０とを備えたことを特徴とする画像符号化装置１。
【００８４】
（付記２）前記符号化器４１と前記符号化器４０との符号化の開始と、前記符号化器４２と前記符号化器４１との符号化の開始の時間差は、後から画面内予測符号化する前記符号化器４１または４２が、先に符号化した前記符号化器４０または４１のフレームメモリ５８を参照して画面内予測符号化することを可能とする時間であることを特徴とする付記１記載の画像符号化装置１。
【００８５】
（付記３）前記符号化器４１と前記符号化器４０との符号化の開始と、前記符号化器４２と前記符号化器４１との符号化の開始の時間差は、前記符号化器４０〜４２が分割画像の符号化にかかる所要時間のうち長い方の所要時間であることを特徴とする付記２記載の画像符号化装置１。
【００８６】
（付記４）前記入力バッファ３１または３２により遅延して後から画面内予測符号化する前記符号化器４１または４２は、先に符号化した前記符号化器４０または４１のフレームメモリ５８を参照して画面内予測符号化することを特徴とする付記１〜３のうちいずれか１項記載の画像符号化装置１。
【００８７】
（付記５）前記符号化器４０〜４２から画面内予測符号化された情報が入力され、同一の画像の分割画像からなる画面内予測符号化された情報が、同時期に出力するように出力時期を調整する出力バッファ８０〜８２を備えたことを特徴とする付記１〜４のうちいずれか１項記載の画像符号化装置１。
【００８８】
（付記６）前記出力バッファ８０〜８２が出力した符号化情報を合成する符号化信号合成器９０を備えたことを特徴とする付記５記載の画像符号化装置１。
【００８９】
（付記７）入力画像を複数に分割して、この分割画像それぞれを、局部復号情報を用いて符号化する画像符号化方法において、
前記分割画像のうち少なくとも一つの分割画像の符号化器４０〜４２の開始をずらすことを特徴とする画像符号化方法。
【００９０】
（付記８）前記符号化器４１と前記符号化器４０の符号化の開始と、前記符号化器４２と前期符号化器４１の符号化の開始の時間差は、後から画面内予測符号化する前記符号化器４１または４２が、先に画面内予測符号化した前記符号化器４０または４１の局部復号情報を参照して画面内予測符号化することを可能とする時間であることを特徴とする付記７記載の画像符号化方法。
【００９１】
（付記９）前記符号化器４１と前記符号化器４０の符号化の開始と、前記符号化器４２と前期符号化器４１の符号化の開始の時間差は、前記符号化器４０〜４２が分割画像の符号化にかかる時間のうち長い方であることを特徴とする付記８記載の画像符号化方法。
【００９２】
なお、本発明は、画面を複数に分割して少なくとも一つの分割画面が画面内予測符号化する符号化装置または符号化方法であれば、Ｈ．２６４に限らず適用できる。
【図面の簡単な説明】
【００９３】
【図１】従来技術において画像を３分割した場合の説明図である。
【図２】図１に示された３分割した画像を３つの符号化器で符号化する際の説明図である。
【図３】本発明の一実施例にかかる画像符号化装置のブロック図である。
【図４】図３に示された画像符号化装置の画像分割器が入力画像を３分割した場合を示す説明図である。
【図５】Ｈ．２６４における画面内予測符号化のモードの説明図である。
【図６】Ｈ．２６４におけるマクロブロック内での画面内予測符号化の順序の説明図である。
【図７】図３に示される画像符号化装置の画面内予測符号化時の分割画像間の予測方向の説明図である。
【図８】図３に示される画像符号化装置の画面間予測符号化時の符号化器の予測方向の説明図である。
【図９】図３に示される画像符号化装置の画面間予測符号化時の符号化器の予測方向の説明図である。
【図１０】図３に示される画像符号化装置の画面間予測符号化時の符号化器の予測方向の説明図である。
【図１１】図３に示された画像分割器の入力画像の他の分割方法を示す説明図である。
【図１２】本発明の適用例を示す説明図である。
【図１３】図１２とは別の適用例を示す説明図である。
【図１４】図１１、１２とは別の適用例を示す説明図である。
【符号の説明】
【００９４】
１            画像符号化装置
２０          画像分割器（分割手段）
３０〜３２    入力バッファ（遅延手段）
４０〜４２    符号化器
５８          フレームメモリ（記憶手段）
６０          信号線（接続手段）
８０〜８２    出力バッファ（出力調整手段）
９０          符号化信号合成器（合成手段）
【図１】
2006295721.tif 000003
【図２】
2006295721.tif 000004
【図３】
2006295721.tif 000005
【図４】
2006295721.tif 000006
【図５】
2006295721.tif 000007
【図６】
2006295721.tif 000008
【図７】
2006295721.tif 000009
【図８】
2006295721.tif 000010
【図９】
2006295721.tif 000011
【図１０】
2006295721.tif 000012
【図１１】
2006295721.tif 000013
【図１２】
2006295721.tif 000014
【図１３】
2006295721.tif 000015
【図１４】
2006295721.tif 000016