(57)【要約】【課題】一枚の画面を構成する複数のＭＢのうち、重要なＭＢに対して効率良くリフレッシュを行える動画像符号化装置を提供する。【解決手段】位置判定部１８−１は、ブロック切出部１１から通知されたマクロブロックの番号（ＭＢ番号）とテーブル１８−２に記憶されている次にイントラ符号化を行うマクロブロック（ＭＢ）のＭＢ番号とを比較し、比較結果をイントラ・インター設定部１９に通知する。イントラ・インター設定部１９は位置判定部１８−１からの比較結果が一致を示すときは、ＭＢの符号化方法をイントラ符号化とし、不一致を示すときは、インター符号化を設定する。【選択図】図１
2005318257.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成するフレームをブロックに分割し、該ブロック単位で符号化を行う動画像符号化装置において、
ブロック単位でイントラ符号化を行う順番が、前記フレームを構成する複数のブロックの一つを起点に螺旋状となるように前記ブロックに割当てられたブロック番号を配列して記憶するテーブルと、
前記分割されたブロックのブロック番号と前記テーブルに記憶されているブロック番号とを比較する比較部と、
前記比較部による比較の結果、前記テーブルに記憶されているイントラ符号化を行うブロック番号と一致しているとき、該ブロック番号のブロックに対する符号化方法をイントラ符号化に設定する符号化モード設定部と
を備えたことを特徴とする動画像符号化装置。
【請求項２】
前記テーブルに記憶されているイントラ符号化の対象となるブロックは、前記フレームを構成する一部のブロックから構成される矩形領域であることを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
動画像を構成するフレームをブロックに分割し、該ブロック単位で符号化を行う動画像符号化装置において、
ブロック単位でイントラ符号化を行う順番が、前記フレームを構成する複数のブロックの一つを起点に螺旋状となるように前記ブロックに割当てられたブロック番号を配列して記憶するテーブルと、
ブロック単位で符号化されたときの符号量を抽出する発生ビット量抽出部と、
該発生ビット量抽出部の出力に基づいてイントラ符号化を行うブロックを求め、前記テーブルに設定するリフレッシュ位置設定部と、
前記分割されたブロックのブロック番号と前記テーブルに記憶されているブロック番号とを比較する比較部と、
前記比較部による比較の結果、前記テーブルに記憶されているイントラ符号化を行うブロック番号と一致しているとき、該ブロック番号のブロックに対する符号化方法をイントラ符号化に設定する符号化モード設定部と
を備えたことを特徴とする動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化装置に関し、特に、イントラ符号の挿入により伝送誤りから生じた画質の劣化を回復させる動画像符号化装置に関する。
【背景技術】
【０００２】
動画像の帯域圧縮符号化の基本的な方式として、予測符号化方式と変換符号化方式がある。映像信号には統計的な性質があること、即ちフレーム内の画素間およびフレーム間の画素間に相関性があることが知られており、この性質を利用して高能率の符号化が行われる。
【０００３】
予測符号化方式は、時間領域における相関性を利用した方式であり、変換符号化は、周波数領域における相関性を利用した方式である。
【０００４】
予測符号化方式としては、動き補償予測により得られる予測画像との差分情報を符号化する動き補償予測方式が知られている。
【０００５】
一方、変換符号化方式としては、画面を画素ごとにブロック化したものを離散コサイン変換（ＤＣＴ）により周波数領域に変換し、得られた各周波数成分を変換係数（ＤＣＴ係数）を量子化して伝送する。
【０００６】
そして、近年においては、この両者を組み合わせた方式が一般に採用されている。
【０００７】
例えば、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）のＨ２６１，Ｈ２６３や国際標準化機構（ＩＳＯ）のもとに設立された画像圧縮の標準化グループによるＭＰＥＧ（Moving Picture Experts Group）では１６×１６の画素ブロック（以下、ＭＢと称する。）単位で符号化が行われる。
【０００８】
上述のような方式を採用する一般的な動画像符号化装置では、動き補償予測を行わず、入力した画像データをそのまま符号化するイントラ符号化と、フレームメモリに蓄積されている補償予測画像と入力した画像データから動きベクトルを算出し、この動きベクトルと前述の補償予測画像から次の画面である補償予測画像を形成し、入力した画像データとの差分画像を算出して符号化するインター符号化とが行われる。
【０００９】
ところで、インター符号化では動き補償予測を行っていることから、動画像符号化装置のフレームメモリには原画像とは多少異なる画像を保有することになり、一定時間が経過すると原画像との差が大きくなってしまい、画像品質を劣化させる原因となっている。
【００１０】
そこで、このような動画像符号化装置では、定期的にイントラ符号化によるリフレッシュを行って誤ったデータが残留、拡散することを防止している。
【００１１】
このようなイントラ符号化によるリフレッシュは、ＭＢ単位で可変長符号化させた際に得られる発生ビット数が予め定められた値を越えたことを検出するとともに、この検出回数が閾値に達したＭＢに対してイントラ符号化を行っている（特許文献１参照）。
【特許文献１】特開２００１−１６９２８６
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、上述のようなイントラ符号化によって画像データをリフレッシュする方式にはまだ解決すべき課題が残されている。
【００１３】
即ち、上記従来の方式では、ＭＢ単位でイントラ符号化によるリフレッシュを行うべきか判断しているため、例えば、リフレッシュが必要とされたＭＢを含む周辺の複数のＭＢに対してもイントラ符号化を行うべき状況もあるが、イントラ符号化によるリフレッシュを行うべきか判断する閾値によっては、本来リフレッシュが必要なＭＢの一部が除かれてしまうことがある。
【００１４】
そこで、本発明はこのような課題を解決するためになされたもので、一枚の画面を構成する複数のＭＢのうち、重要なＭＢに対して効率良くリフレッシュを行えるようにすることを目的とする。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、本発明の動画像符号化装置は、ブロック単位でイントラ符号化を行う順番が、前記フレームを構成する複数のブロックの一つを起点に螺旋状となるように前記ブロックに割当てられたブロック番号を配列して記憶するテーブルと、前記分割されたブロックのブロック番号と前記テーブルに記憶されているブロック番号とを比較する比較部と、前記比較部による比較の結果、前記テーブルに記憶されているイントラ符号化を行うブロック番号と一致しているとき、該ブロック番号のブロックに対する符号化方法をイントラ符号化に設定する符号化モード設定部とを備えたことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、マクロブロック単位でイントラリフレッシュを行う際、画像の重要な部分を構成するマクロブロックを連続してリフレッシュさせることで、違和感を生じさせることのない再生画像を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の実施の形態について説明する。
【実施例１】
【００１８】
図１は、本発明の第１の実施形態における動画像符号化装置１の構成を示したブロック図である。
【００１９】
同図において、動画像符号化装置１は、ブロック切出部１１、動き検出部１２、動き補償部１３、離散コサイン変換（ＤＣＴ）・量子化部１４、逆離散コサイン変換（ＩＤＣＴ）・逆量子化部１５、可変長符号化部１６、フレームメモリ１７、リフレッシュカウンター部１８、イントラ／インター設定部１９、モード切替部２０とから構成される。また、リフレッシュカウンタ部１８は、位置判定部１８−１とテーブル１８−２から構成されている。
【００２０】
ブロック切出部１１は、入力画面をＮ×Ｎ（Ｎは任意の整数）からなるマクロブロック（ＭＢ）に分割すると共に、このＭＢに割当てられたＭＢ番号をリフレッシュカウンタ１８に通知する。
【００２１】
ＤＣＴ・量子化部１４は、ブロック切出部１１で分割されたブロック（ＭＢ）単位で離散コサイン変換を行い、得られたＤＣＴ係数を量子化する。
【００２２】
可変長符号化部１６は、分割されたＭＢのモード情報などと共に量子化されたＤＣＴ係数の可変長符号化を行う。即ち、発生確率の高い信号に対して短い符号を割当て、発生確率の低い信号に対して長い符号を割当て、平均の符号長を短くする操作を行う。
【００２３】
動き検出部１２では、動き補償予測を行うインター符号化の場合において、フレームメモリ１７に蓄積されている画像データと分割された原画ブロックとを用いて入力画面の動きベクトル、即ち１フレーム以上前の近傍画素の値を参照して動きの方向と距離を検出する。
【００２４】
動き補償部１３は、動き検出部１２で検出された動きベクトルに対応し、フレームメモリ１７に蓄積されている画素の値を予測値として１フレーム以上前の近傍画素からの予測原画像を作成し、インター符号化のときは差分画像を形成する。
【００２５】
ＩＤＣＴ・逆量子化部１５は、ＤＣＴ係数データの逆量子化および逆離散コサイン変換を行う。
【００２６】
フレームメモリ１７には、ＤＣＴ係数を逆量子化および逆離散コサイン変換したＭＢに動き補償部１３で作成した予測画像が加算され、次の入力画面の動き補償予測画像データが１フレーム単位で蓄積される。
【００２７】
テーブル１８−２は、イントラ符号化を行うＭＢの番号を記憶しており、位置判定部１８−１は、ブロック切出し部１１から通知されたＭＢ番号とテーブル１８−２に記憶されているＭＢ番号との一致判定を行う。そして、リフレッシュカウンタ部１８は、位置判定部１８−１の判定結果をイントラ／インター設定部１９に出力する。
【００２８】
イントラ／インター設定部１９は、リフレッシュカウンタ部１８の判定結果に基づく一致または不一致を示す信号を受信すると、モード切替部２０に対してイントラ符号化モードかインター符号化モードを指示する指示信号を出力する。
【００２９】
モード切替部２０は、イントラ／インター設定部１９からの指示信号によりイントラ符号化モードかインター符号化モードかの何れかの符号化に切り替え、即ち、イントラ符号化モードのときは接点ＳをＡに、インター符号化モードのときは接点をＢに切り替える。
【００３０】
このように構成された第１の実施形態における動画像符号化装置を用いて動画像を符号化する動作について、図２を参照して説明する。
【００３１】
まず、図示しない画像入力部から入力された画面は、ブロック切出し部１１で１６×１６画素の輝度情報と８×８画素の２つの色差情報をから成るＭＢに分割され、ブロック情報として出力される。このとき、分割されたＭＢのＭＢ番号は、リフレッシュカウンタ部１８へ出力される（Ｓ２０１，Ｓ２０２）。
【００３２】
リフレッシュカウンタ部１８にＭＢ番号が入力されると、位置判定部１８−１はテーブル１８−２を参照して、次に符号化するＭＢのＭＢ番号が登録されているかの判定を行い、この判定結果をイントラ／インター設定部１９に通知する（Ｓ２０３）。
【００３３】
ここで、テーブル１８−２に登録されているイントラ符号化によって処理されるＭＢの順番に関するデータについて説明する。  
図３は、イントラ符号化するＭＢの順番が登録されているテーブル１８−２の一例を示しており、カウンター値３１とイントラ符号化するＭＢのＭＢ番号とが対応付けられて登録されている。  
カウンター値は０から始まり動画像を構成する１フレームに含まれるＭＢの数を最大値となり、ＭＢをイントラ符号化する毎に１だけカウントアップされ、新たにイントラ符号化するＭＢのＭＢ番号が決定されることになる。  
つまり、位置判定部１８−１は、ブロック切出し部１１から通知されたＭＢ番号と位置判定部１８−１によって管理されるカウンターの値に対応し、次にイントラ符号化するＭＢ番号とが一致するか否かを判定している。
【００３４】
ここで、位置判定部１８−１がブロック切出部１１から受けたＭＢ番号と、テーブル１８−２に記憶され次にイントラ符号化を行うと指定されたＭＢ番号が一致したことを検出すると、ＭＢ番号が一致したことを示す信号（例えば、１ビットの信号「１」）が出力される。
【００３５】
この出力はイントラ／インター設定部１９によって受信され、設定する符号化モードの判定に利用される。ここでは一致したことを示す信号が受信されるので、イントラ／インター設定部１９は、ＭＢの符号化モードをイントラ符号化に設定するようモード切替部２０に指示する（Ｓ２０４）。
【００３６】
モード切替部２０では、イントラ符号化モードで符号化する旨の指示を受けると、接点Ｓを端子Ａ側にセットする。ここで、端子Ａの出力は０であるため、ブロック切出し部１１から出力されたＭＢはゼロ差分がとられ（Ｓ２０５）、即ち、ブロック切出し部１１から出力された画像データの状態で、離散コサイン変換（ＤＣＴ）・量子化部１４に入力される。
【００３７】
ＤＣＴ・量子化部１４では、入力された画像データにＤＣＴ演算を行ってＤＣＴ係数を求め、さらに、この求めたＤＣＴ係数の量子化が行われる（Ｓ２０６）。そして、量子化されたＭＢの画像データは可変長符号化部１６でブロック毎の符号化モード情報とともに可変長符号化が行われる（Ｓ２０７）。
【００３８】
なお、ＤＣＴ・量子化部１４の出力は逆離散コサイン変換（ＩＤＣＴ）・逆量子化部１５にも入力されて逆量子化および逆離散コサイン変換され、この結果がモード切替部２０の出力と加算演算されてフレームメモリ１７に書込まれる（Ｓ２０８）。
【００３９】
ここでは、モード切替部２０にイントラ符号化モードが設定されているため、モード切替部２０の出力は０であることから、ＩＤＣＴ・逆量子化部１５の出力はそのままフレームメモリ１７に書込まれ、補償予測画像データとして用いられる。
【００４０】
一方、位置判定部１８−１がＳ２０３の処理で不一致と判定すると、ＭＢ番号が不一致であることを示す信号（例えば、１ビットの「０」）が出力され、この結果、イントラ／インター設定部１９は、モード切替部２０に対して符号化モードをインター符号化に設定するように指示する（Ｓ２０４）。
【００４１】
モード切替部２０は、符号化モードをインター符号化にする旨の指示を受けると、接点Ｓを端子Ｂ側にセットする。
【００４２】
インター符号化では、フレームメモリ１７に蓄積されている補償予測画像データとブロック切出し部１１で切出された入力画像データのＭＢから動き検出部１２にて動きベクトルが求められる（Ｓ２０９）。この後、フレームメモリ１７に蓄積されている１フレーム以前の画像データから予測画像が形成され、ブロック切出し部１１から出力された画像データのＭＢとの差分画像が求められる（Ｓ２１０）。
【００４３】
そして、この差分画像はＤＣＴ・量子化部１４に入力されて、ＤＣＴ変換および量子化の各処理が行われ（Ｓ２０６）、続いて、可変長符号化（Ｓ２０７）及びＩＤＣＴ・逆量子化（Ｓ２０８）と同様の処理が実行される。
【００４４】
なお、ここではモード切替部２０でインター符号化モードが設定されているため、ＩＤＣＴ・逆量子化部１５の出力は、動き補償部１３から出力された予測画像と加算演算された後にフレームメモリ１７に書込まれることになる。
【００４５】
以上の処理は、ブロック切出部１１で入力画像データからＭＢが切出される毎に繰返し実行される。
【００４６】
ここで、テーブル１８−２に登録されているイントラ符号化を行うＭＢの順番についてより具体的に説明する。
【００４７】
通常、ＭＢをイントラ符号化することで、ＭＢ単位に画像データのリフレッシュ、即ち、フレーム間の相関関係が低くなったときに、ＭＢをインター符号化からイントラ符号化に切り替えて符号化処理する場合、左上のＭＢから右方向にずらしながらリフレッシュ処理を行い，この処理を行をずらしながら実行することで実行しているが、ここでは、予め定められたＭＢを中心に渦巻状にイントラ符号化するＭＢの順番を設定している。
【００４８】
図４は、１フレームを構成する複数のＭＢに対してイントラ符号化を行う順番をより分かりやすく示した図であり、この図に示される順番に対応した状態でテーブル１８−２にＭＢ番号が登録されている。  
図４を参照すると、ＭＢ番号が４９のＭＢを起点に、ＭＢ番号４８のＭＢ、ＭＢ番号３７のＭＢ、ＭＢ番号３８のＭＢと、イントラ符号化するＭＢの順番が渦巻状に形成されている。なお、ＭＢ番号が０のＭＢの次にイントラ符号化するＭＢは、ＭＢ番号が１のＭＢではなくＭＢ番号が１０のＭＢ番号となっているが、これは、ＭＢ番号が１〜９のＭＢに対するイントラ符号化が既に実施されているためである。
【００４９】
以上のように、画像データを構成する複数のＭＢに対して、あるＭＢを起点に渦巻状でイントラ符号化することで、フレームの指定されたＭＢを中心にこれと近接するＭＢを連続的にリフレッシュさせているため、視覚的に重要な画像部分を速やかに乱れの少ない画像に戻すことが可能となる。
【００５０】
なお、上記の説明では、図４に示すように、あるＭＢを中心に１フレームを構成するＭＢ全てに対してリフレッシュを行うようにするとしているが、予め指定したＭＢを中心に所定個数分だけリフレッシュを行うようにしても良い。  
図５はこのような一部のＭＢに対するリフレッシュを行う例を表している図面で、画面の中心にあるＭＢ番号が４９のＭＢを起点として、ＭＢ番号が４８のＭＢ、ＭＢ番号が３７のＭＢ、以下、矢印によって示されている通り、ＭＢ番号が５９までの９つのＭＢをリフレッシュしている。
【００５１】
例えば、ニュース番組など、画面の中心にのみ動きのある人物が配置されている場合、符号化によって生じる歪の影響が周辺の画像データに比べて中心部分が大きくなるため、中心部分にたいして連続的にリフレッシュを行うことで伝送効率を悪化させずに画像の劣化を防ぐことが可能となる。
【００５２】
なお、画面の中心部分のみをリフレッシュするだけでは、周囲のＭＢで生じた歪がシーンチェンジされるまで残ることになるため、部分的なリフレッシュを所定回数行った後に、画面全体に対するリフレッシュを行うことが好ましい。
【実施例２】
【００５３】
図６は、本発明の第２の実施形態における動画像符号化装置６０の構成を示したブロック図である。なお、図１と共通する部分については説明を省略し、異なる部分について詳しく説明する。
【００５４】
図６において、動画像符号化装置６０は、発生ビット数抽出部６１、リフレッシュ位置設定部６２を備え、リフレッシュカウンタ部６３のテーブル６３−２に登録されるリフレッシュ開始位置および範囲がリフレッシュ位置設定部６２によって設定される点が第１の実施形態で説明した動画像符号化装置１の構成と異なっている。
【００５５】
続いて、動画像符号化装置６０の発明に係る動作について、図７を参照して説明する。
【００５６】
まず、入力された画像はブロック切出部１１によってＭＢに分割され、ＭＢ単位で画像データが出力される。このとき、ブロック切出部１１からは出力したＭＢに割当てられたＭＢ番号がリフレッシュカウンタ部６３に通知される。  
一方、出力されたＭＢ単位の画像データは減算処理された後にＤＣＴ・量子化部１４によって量子化処理され、量子化されたＭＢの画像データは可変長符号化部１６でブロックごとの符号化モード情報とともに可変長符号化が行われる（Ｓ７０１）。
【００５７】
発生ビット数抽出部６１は、可変長符号化部１６が可変長符号化処理を行う毎にＭＢ単位で発生したビット数ＭＢ＿bitsを抽出し、リフレッシュ位置設定部６２に通知する（Ｓ７０２）。
【００５８】
リフレッシュ位置設定部６２は、発生ビット数抽出部６１からＭＢ単位で受け取ったＭＢ＿bitsから符号量の多いＭＢを抽出し、次のフレームからリフレッシュする開始位置と範囲を求めてテーブル６３−２に設定する（Ｓ７０３）。  
なお、リフレッシュの開始位置と範囲は、例えば以下のようにして求められる。
【００５９】
まず、発生した符号量の多いＭＢの判定は、予め定められた閾値とＭＢ単位で発生した符号量とを比較することで行わる。このとき用いられる閾値はシステム設計者によって伝送容量や画像の重要性を考慮して決定される値である。  
そして、閾値を超えた符号量を発生させたＭＢを含む矩形領域を求め、この領域をリフレッシュ範囲とし、この中心位置にあるＭＢをリフレッシュ開始位置に設定する。
【００６０】
このようにしてリフレッシュするＭＢの開始位置と範囲が決定すると、テーブル６３−２には、リフレッシュの起点となるＭＢのＭＢ番号から順に螺旋状にリフレッシュされるＭＢ番号がカウンター値に対応して登録される。
【００６１】
なお、これ以外にも、発生符号量の最も大きいＭＢを求め、このＭＢを中心に予め指定された範囲、例えば、上下２ＭＢ分と左右２ＭＢ分から構成される計９つのＭＢ、に対してりフレッシュを施すとしても構わない。
【００６２】
テーブル６３−２に対してリフレッシュするＭＢに関する情報が登録されると、次のフレームからこの情報に基づいてリフレッシュが行われる。
【００６３】
即ち、ブロック切出部１１が次に入力される画面をＭＢ単位に分割する際に後段に出力するＭＢのＭＢ番号がリフレッシュカウンタ部６３に通知されるため、位置判定部３１−１はこの通知されたＭＢ番号とテーブル６３−２に登録されているＭＢ番号とをカウンターが示す値に従って比較し、一致／不一致を示す信号をイントラ／インター設定部１９に通知する（Ｓ７０４）。
【００６４】
そして、イントラ／インター設定部１９は、一致を示す信号を受信すると符号化モードをイントラ符号化に設定するよう、また、不一致を示す信号を受信すると符号化モードをインター符号化に設定するよう制御を行う（Ｓ７０５）。
【００６５】
このようにして、１フレームに対する符号化を行う毎にリフレッシュするＭＢを決定することで、効率良く画質の改善を行えるとともに、画像の重要な部分から順番に符号化による歪を取り除くことが可能となる。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施例１に係る動画像符号化装置の構成を示すブロック図。
【図２】本発明の実施例１に係るブロック単位でイントラ符号化を行う処理を示すフローチャート。
【図３】イントラ符号化する順番が記憶されるテーブルの構成を示す図。
【図４】フレームを構成するブロックが螺旋状にイントラ符号化する処理を示す図。
【図５】フレームを構成するブロックの一部に対して螺旋状にイントラ符号化する処理を示す図。
【図６】本発明の実施例２に係る動画像符号化装置の構成を示すブロック図。
【図７】本発明の実施例２に係るイントラ符号化を行うブロックを設定する処理を示すフローチャート。
【符号の説明】
【００６７】
１，６０・・・動画像符号化装置
１１・・・ブロック切出部
１２・・・動き検出部
１３・・・動き補償部
１４・・・離散コサイン変換（ＤＣＴ）・量子化部
１５・・・逆離散コサイン変換（ＩＤＣＴ）・逆量子化部
１６・・・可変長符号化部
１７・・・フレームメモリ
１８，６３・・・リフレッシュカウンタ部
１８−１，６３−１・・・位置判定部
１８−２，６３−２・・・テーブル
１９・・・イントラ・インター設定部
６１・・・発生ビット量抽出部
６２・・・リフレッシュ位置設定部
【図１】
2005318257.tif 000003
【図２】
2005318257.tif 000004
【図３】
2005318257.tif 000005
【図４】
2005318257.tif 000006
【図５】
2005318257.tif 000007
【図６】
2005318257.tif 000008
【図７】
2005318257.tif 000009