(57)【特許請求の範囲】
【請求項１】
動画像圧縮符号化方式において画像符号化を行うにあたって、画像の符号化モードを画像を重なり合わない市松模様になるようにマクロブロック単位を順次ＩＮＴＲＡモードで符号化を行い、２回で全てのマクロブロックがＩＮＴＲＡモードで符号化されることを特徴とする画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テレビ会議装置などの画像通信装置における画像符号化方法に関するものである。
【０００２】
【従来の技術】
近年ＩＴＵ−Ｔにおいてオーディオビジュアル・サービス用のビデオ符号化方式、静止画符号化方式、多量化方式、通信手順等が正式勧告化され、それに伴い各社からＩＴＵ−Ｔ勧告に準拠したテレビ会議システムやテレビ電話などの画像処理装置が発表されている。
【０００３】
以下、図面を参照しながら従来の画像符号化方式の説明を行う。図５は、従来の画像符号化方式のブロック図、図６は同画像符号化装置のＤＣＴの説明図、図７は同画像符号化装置の量子化の説明図、図８は同画像符号化装置の動き補償の説明図、図９は同画像符号化装置のＩＮＴＲＡ／ＩＮＴＥＲモードの説明図、図１０は同画像符号化装置におけるストリームの構造図である。画像符号化方式にはＩＮＴＲＡ（画像内符号化）モード、ＩＮＴＥＲ（画像間符号化）モードの２種類の符号化モードがあるためそれぞれの場合にしたがって説明を行う。
【０００４】
図５において、ＩＮＴＲＡモードの場合、入力画像１はＤＣＴ部３によりＤＣＴを施され、次に量子化部４により量子化を施され、その次に可変長符号化部５で可変長符号化を施され、符号化制御部６による符号化情報と多量化部７により多量化され、伝送用ビットストリーム８に変換される。
【０００５】
ＩＮＴＥＲモードの場合、入力画像１は動き補償部２により生成された予測画像との差分をとられ、次にＤＣＴ部３でＤＣＴを施され、次に量子化部４により量子化を施され、その次に可変長符号化部５で可変長符号化を施され、符号化制御部６による符号化情報と多量化部７により多量化され、伝送用ビットストリーム８に変換される。１１は減算器、１２および１３は信号切換手段、１４は加算器である。
【０００６】
ＩＮＴＲＡモード、ＩＮＴＥＲモードとともに量子化部４で量子化されたデータは逆量子化部９で逆量子化を施され、逆ＤＣＴ部１０で逆ＤＣＴされ、入力画像１とともに、動き補償部２で予測画像を生成するために用いられる。
【０００７】
図６は従来のＤＣＴ３による原画像１１の係数の変化を示したものである。原画像１１のデータに対しＤＣＴを施すとＤＣＴ係数１２に変換される。ＤＣＴ変換を施されると原画像１１のデータではほぼ均一にデータが散らばっていたものが、ＤＣＴ係数１２に変換されると左上に行くほど成分の絶対値が大きくなっていて、右下にいくほど成分の絶対値が小さくなっている。この時左上の過度の成分を直流成分、左上の方の成分を低周波成分、右下の成分を高周波成分と呼ぶ。さらに低周波成分、高周波成分をまとめて交流成分とよぶ。すなわちＤＣＴにおいては直流成分、低周波成分に分布が集中し、高周波成分の値は小さくなるのである。
【０００８】
図７は量子化部４によるＤＣＴ係数１２の変化を示している。量子化の処理は符号化制御部６により決定される量子化特性値Ｑをもとに行われる。量子化は直流成分と交流成分に分けて行われる。直流成分に対しては成分を２で割り、その整数部分を量子化成分とする。交流成分に対しては、成分を２×Ｑで割り、その整数部分を量子化成分とする。これにより２×Ｑより小さい値の交流成分は全て無くなり０になる。実際にＤＣＴ係数１２にＱ＝８として量子化を行い、得られたものを量子化係数１３としている。量子化に左角の６画素以外の値は０になっている。原画像１１のデータは非常に少ない成分のみを持つ量子化係数１３の量子化成分に変換され、情報が圧縮されている。
【０００９】
さらに情報量が圧縮された量子化係数１３の量子化成分と２の動き補償部２で生成された動きベクトルを可変長符号化部５によりさらに情報量を減少させ、符号化制御部６で生成された制御情報を多量化部７で定められたフォーマットに並べ替え、伝送用ビットストリーム８が生成される。ここで生成された伝送用ビットストリーム８は相手側の端末で逆の操作を行うことにより元の画像に複号される。
【００１０】
図８は動き補償部２の説明図である。符号化モードがＩＮＴＥＲモードの時、この動き補償が行われる。まず、符号化を行おうとしている新規フレーム１７に対して、このフレームが符号化される直前に符号化された直前のフレームとそのさらに一つ前に符号化されたフレームとの差分画像の量子化係数に対し、逆量子化部９による逆量子化と逆ＤＣＴ部１０による逆ＤＣＴを施し、直前の前の予測画像との和を取り、前回相手側で再現されたものと同じフレーム（直前の予測画像１４）が再現する。その後、直前の予測画像１４と今回符号化する新規フレーム１７に対して、動きベクトル探索が施される。動きベクトル探索は以下の手順で行われる。新規フレーム１７のマクロブロック１６に対して、直前の予測画像と一致するブロック１５を探索する、その際にブロックとの位置のずれが動きベクトル１８である。新規フレーム１７のマクロブロック１６の位置に直前の予測画像の一致するブロック１５を貼り付けたものが今回の予測画像である。
【００１１】
図９はＩＮＴＲＡモードとＩＮＴＥＲモードの符号化画像を示したものである。ＩＮＴＲＡモードで符号化されるＩＮＴＲＡフレーム１９では発生した画像そのものを符号化する画像データとして用いている。ＩＮＴＥＲモードでは予測画像と新規フレームの差分をとり、その画像（ＩＮＴＥＲフレーム２０）を符号化する画像データとして用いている。ＩＮＴＲＡフレーム１９では新規フレームそのものを送るため非常に符号量が多く、ＩＮＴＥＲフレーム２０では差分データは動いている部分にしか発生しないため符号量が少なくなる。Ｑ値８ではＩＮＴＥＲフレーム２０の符号量はＩＮＴＲＡフレーム１９の符号量の約１０分の１程度まで減少する。
【００１２】
図１０は画像符号化の際の符号化モードのシーケンスを表すものである。一般に画像圧縮符号化では符号化を始めた最初のフレーム（フレーム番号１のフレーム）はＩＮＴＲＡモードで符号化され、それに引き続くフレームはＩＮＴＥＲモードで符号化される。ＩＮＴＥＲモードのフレームの中でもマクロブロック単位にＩＮＴＲＡモードを挿入して１００フレーム単位で全てのマクロブロックを更新するようにしていた。
【００１３】
【発明が解決しようとする課題】
従来の画像圧縮符号化方式では、符号化モードをＩＮＴＲＡモードで１回符号化した後に、ＩＮＴＥＲモードで送出する手順をとっていた。この手順では符号量としては少なくなるが、媒体へ伝送ビットストリームを記録した際のランダムアクセス、無線で伝送ビットストリームを送出した際のビット列にエラーが生じた場合に、ビットストリームの途中から符号化画像を複号する必要が生じるが、ＩＮＴＥＲモードの情報しかない場合、ＩＮＴＲＡモードへの更新はマクロブロック単位で行われているため、画像全体が復元するまで１００フレーム以上の時間がかかるという問題点を有していた。したがってこの画像圧縮符号化方式において、伝送ビットストリームの任意の位置からの画像複号のための時間を短縮することが要求されている。また全てのフレームをＩＮＴＲＡフレームとして送出すれば、完全に伝送ビットストリームの任意の位置から画像を復元することが可能になるが、すべてＩＮＴＥＲフレームで送出した場合の１０倍以上の符号量が発生する。
【００１４】
そこで本発明は、動画像圧縮過程において伝送ビットストリームの任意の位置からの画像複号のための時間を短縮させることができ、発生する符号量が全てＩＮＴＲＡフレームの場合と比較して少ない画像符号化方法を提供することを目的としている。
【００１５】
【課題を解決するための手段】
請求項１の発明は、動画像圧縮符号化方式において画像符号化を行うにあたって、画像の符号化モードを画像を重なり合わない市松模様になるようにマクロブロック単位を順次ＩＮＴＲＡモードで符号化を行い、２回で全てのマクロブロックがＩＮＴＲＡモードで符号化されるようにした。
【００１８】
【発明の実施の形態】
請求項１に記載の発明は、伝送ビットストリームの任意の位置から２フレーム再現することにより完全に画像を復元することができる。
【００２１】
以下、本発明の実施の形態を図面を参照して説明する。図１は本発明の一実施の形態の画像圧縮符号化方式のブロック図、図２、図３、図４は同符号化モードのマクロブロック別切り替え方法の説明図である。この圧縮符号化方式にはＩＮＴＲＡ（画像内符号化）モード、ＩＮＴＥＲ（画像間符号化）モードの２種類の符号化モードがあるためそれぞれの場合にしたがって説明を行う。
【００２２】
図１において、２１は本発明の方式にしたがって符号化モードを切り替える符号化制御部である。ＩＮＴＲＡモードの場合、入力画像１はＤＣＴ部３によりＤＣＴを施され、次に量子化部４により量子化を施さて、その次に可変長符号化部５で可変長符号化を施される。さらに、本発明の方式にしたがって符号化モードを切り替える符号化制御部２１による符号化情報と多量化部７により多量化され、伝送用ビットストリーム８に変換される。
【００２３】
ＩＮＴＥＲモードの場合、入力画像１は動き補償部２により生成された予測画像との差分をとられ、次にＤＣＴ部３でＤＣＴを施され、次に量子化部４により量子化を施され、その次に可変長符号化部５で可変長符号化を施され、符号化制御部２１と多量化部７により多量化され、伝送用ビットストリーム８に変換される。１１は減算器、１２および１３は信号切換手段、１４は加算器である。
【００２４】
図２は符号化モードのマクロブロック別切り替え方法を示したものである。ＩＮＴＲＡブロックをｎフレームで順次、上からマクロブロックを更新するように配置してある。図２ではｎ＝３として説明する。フレーム番号を３で割ったあまりが０のフレーム（０  ｍｏｄ  ｎと記す）ではフレームの上から１／３のマクロブロックがＩＮＴＲＡモードで符号化され、フレーム番号を３で割ったあまりが１のフレーム（１  ｍｏｄ  ｎと記す）ではフレームの上から１／３から２／３のマクロブロックがＩＮＴＲＡモードで符号化され、フレーム番号を３で割ったあまりが２のフレーム（１  ｍｏｄ  ｎと記す）ではフレームの上から２／３から３／３のマクロブロックがＩＮＴＲＡモードデ符号化される。一般のｎで表現するとフレーム番号をｎで割ったあまりがｍの時、上からｍ／ｎから（ｍ＋１）／ｎのフレームをＩＮＴＲＡブロックで符号化するということになる。
【００２５】
このように符号化モードをＩＮＴＲＡモードに切り替えることにより、ｎフレーム再生するだけで画面全体が復元されるようになる。この場合全てのフレームをＩＮＴＲＡで送り続ける場合に比較して約（ｎ＋９）／１０ｎ程度の符号発生量になる。
【００２６】
図３は符号化モードのマクロブロック別切り替え方法を示したものである。フレーム番号を２で割ったあまりが０になるフレームでは左上がＩＮＴＲＡブロックになるように市松模様にＩＮＴＲＡ／ＩＮＴＥＲブロックを配置し、フレーム番号を２で割ったあまりが１になるフレームでは左上がＩＮＴＥＲブロックになるように市松模様にＩＮＴＲＡ／ＩＮＴＥＲブロックを配置する。これにより２フレーム再生するだけで画面全体が復元されるようになる。この場合全てのフレームをＩＮＴＲＡで送り続ける場合に比較して約（ｎ＋１）／２ｎ程度の符号発生量になる。
【００２７】
図４は符号化モードのマクロブロック別切り替え方法を示したものである。つねに符号化フレームの中央部をＩＮＴＲＡモードで符号化を行う符号化方式である。この場合、符号化して生成された伝送ビットストリームはどの位置から複号を開始しても必ず画像の中央のＩＮＴＲＡブロックは復元されることになる。この場合全てのフレームをＩＮＴＲＡで送り続ける場合に比較して約２／５程度の符号発生量になる。
【００２８】
【発明の効果】
請求項１の発明によれば、伝送ビットストリームの任意の位置から２フレーム再現することにより完全に画像を復元することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の画像符号化方式のブロック図
【図２】本発明の一実施の形態の画像符号化方式の符号化モードのマクロブロック別切り替え方法の説明図
【図３】本発明の一実施の形態の画像符号化方式の符号化モードのマクロブロック別切り替え方法の説明図
【図４】本発明の一実施の形態の画像符号化方式の符号化モードのマクロブロック別切り替え方法の説明図
【図５】従来の画像符号化方式のブロック図
【図６】従来の画像符号化装置のＤＣＴの説明図
【図７】従来の画像符号化装置の量子化の説明図
【図８】従来の画像符号化装置の動き補償の説明図
【図９】従来の画像符号化装置のＩＮＴＲＡ／ＩＮＴＥＲモードの説明図
【図１０】従来の画像符号化装置におけるストリームの構造図
【符号の説明】
１  入力画像
２  動き補償部
３  ＤＣＴ部
４  量子化部
５  可変長符号化部
６  符号化制御部
７  多量化部
８  伝送用ビットストリーム
９  逆量子化部
１０  逆ＤＣＴ部
１１  減算器
１９  ＩＮＴＲＡフレーム
２０  ＩＮＴＥＲフレーム
【図１】
0003855332.tif 000002
【図２】
0003855332.tif 000003
【図３】
0003855332.tif 000004
【図４】
0003855332.tif 000005
【図５】
0003855332.tif 000006
【図６】
0003855332.tif 000007
【図７】
0003855332.tif 000008
【図８】
0003855332.tif 000009
【図９】
0003855332.tif 000010
【図１０】
0003855332.tif 000011