(57)【特許請求の範囲】
【請求項１】
入力動画像を複数のブロックに分割し、該ブロック対応にフレーム内符号化又はフレーム間符号化を行う符号化手段と、
前記ブロック対応に、リフレッシュ周期毎にフレーム内符号化によるリフレッシュ動作を行うように前記符号化手段を制御し、且つ前記ブロック対応のリフレッシュ動作時に、入力フレームをフレーム内符号化するモードと、参照フレームをフレーム内符号化するモードとを、前記符号化手段の動き推定部からの動きベクトルが静止ブロックを示す時に、前記参照フレームをフレーム内符号化するモードに切替えるように前記符号化手段を制御し、前記リフレッシュ周期内に於けるフレーム内符号化を行った時点から前記リフレッシュ周期を開始するように制御する構成のリフレッシュ動作制御手段と
を備えたことを特徴とする動画像符号化装置。
【請求項２】
前記リフレッシュ動作制御手段は、リフレッシュ動作時に、前記符号化手段の動き推定部からの動きベクトルが静止ブロックを示す時、入力フレームの当該ブロックと空間的に同一位置の参照フレームのブロックをフレーム内符号化し、前記動きベクトルが静止ブロックを示さない時、前記入力フレームの当該ブロックをフレーム内符号化するように、前記符号化手段を制御する構成を備えたことを特徴とする請求項１記載の動画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、フレーム内符号化及びフレーム間符号化を行い、且つフレーム内符号化によるリフレッシュ動作を行う動画像符号化装置に関する。
動画像信号の高能率符号化技術としてフレーム間符号化方式がある。このフレーム間符号化方式は、連続するフレーム間の相関が高いことを利用して、処理フレームと動き推定を行った前フレームとの差分値を符号化する方式であり、例えば、動画像圧縮符号化の国際標準方式であるＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１（Ｍoving Ｐicture  Ｅxperts  Ｇroup  Ｐhase１）及びＩＳＯ／ＩＥＣ  ＭＰＥＧ−２は、このような方式を採用している。
【０００２】
【従来の技術】
前述のフレーム間符号化方式を実現する動画像符号化装置は、既に各種の構成が提案されており、フレーム内符号化部と、フレームメモリを有するフレーム間符号化部と、動き推定部と、量子化部と、可変長符号化部とを含む構成を備えており、例えば、低遅延が要求される通信用や放送用に適用する場合、先頭のフレームについてはフレーム内符号化を行い、その後のフレームについてフレーム間符号化を行うことになる。
【０００３】
その場合、特に、空間周波数変換である離散コサイン変換（ＤＣＴ）を適用する構成に於いては、送信側の符号化装置と受信側の復号化装置とに於ける演算精度の相違により、符号化装置に於ける局部復号画像と、受信側の復号化装置で復号した画像とに相違が生じる。この誤差は、フレーム間符号化処理の継続によって累積されるから、時間の経過に伴って、局部復号画像と受信側の復号画像との相違が大きくなる問題がある。
【０００４】
このような問題を解決する為に、一定周期毎に強制的にフレーム内符号化を行い、局部復号画像と受信側復号画像との誤差の累積値をクリアするリフレッシュ動作を行う構成が知られている。前述の国際標準方式の例えばＨ．２６１に於いては、ブロック単位でフレーム間符号化とフレーム内符号化とを切替えて、ブロック単位のフレーム内符号化によってリフレッシュ動作を行うものであり、所定の周期としては、１３２回の有意係数のブロックが発生すると、前述のフレーム内符号化によるリフレッシュ動作を行うことが規定されている。
【０００５】
このようなブロック単位で制御しているのは、フレーム単位でフレーム内符号化を行うと、発生情報量が極端に増大し、バッファメモリがオーバーフローする状態となって駒落としが必要となり、再生画質の劣化が生じたり、又は遅延が大きくなったりするから、これらを回避する為のものである。又離散コサイン変換は、例えば、８×８画素の大きさのサブブロックについて行う場合が一般的であり、このサブブロックの複数個により構成されるマクロブロックを、前記フレーム内符号化及びフレーム間符号化のブロック単位とすることができる。
【０００６】
又リフレッシュ動作時に、有効ブロックと判定したブロックに対してリフレッシュ動作を行う方式（例えば、特開平１−２５８５７３号公報参照）や、相関がないフレームについてブロック毎に順次フレーム内符号化によりリフレッシュ動作を行う方式（例えば、特開平３−６４１９０号公報参照）が知られている。又フレーム内符号化によりリフレッシュ動作を行ったブロックと、フレーム内符号化を行ったブロックとの発生情報量を基に制御する方式（例えば、特開平７−９５５６４号公報参照）が知られている。
【０００７】
【発明が解決しようとする課題】
動画像信号の高能率符号化技術としてのフレーム間符号化方式に於いては、前述のリフレッシュ動作を所定の周期で行うものであり、この周期が短い程、符号化装置の局部復号画像と受信側の復号画像との相違が少なくなるが、リフレッシュ動作を行う為のフレーム内符号化により発生情報量が増加する。反対に、この周期を長くすると、発生情報量を低減できるが、符号化装置の局部復号画像と受信側の復号画像との相違が大きくなり、再生画質の劣化等の問題が生じる。
【０００８】
又リフレッシュ動作の為のフレーム内符号化を行ったブロックと、その周辺のフレーム間符号化を行ったブロックとについての再生画質は、フレーム内符号化を行ったブロックが良好となるから、再生画質が視覚的に違和感を与える場合がある。
【０００９】
【課題を解決するための手段】
本発明の動画像符号化装置は、（１）入力動画像を複数のブロックに分割し、このブロック対応にフレーム内符号化又はフレーム間符号化を行う符号化手段と、ブロック対応に、リフレッシュ周期毎に強制的にフレーム内符号化によるリフレッシュ動作を行うように符号化手段を制御し、且つリフレッシュ周期内に於けるフレーム内符号化を行った時点からリフレッシュ周期を開始するように制御する構成のリフレッシュ動作制御手段とを備えている。従って、シーンチェンジ等の場合のフレーム内符号化が発生すると、リフレッシュ周期は、その時点から開始される。
【００１０】
又（２）動画像符号化装置は、リフレッシュ動作制御手段は、ブロック毎の符号化処理によりカウントアップするブロック対応のカウンタと、このカウンタのカウント内容がリフレッシュ周期を示すか否かを判定し、リフレッシュ周期を示す時に、カウンタをリセットして、符号化手段にリフレッシュ動作を指示し、且つリフレッシュ周期内に於けるフレーム内符号化を行った時にカウンタをリセットする判定部とを備えることができる。
【００１１】
又（３）本発明の動画像符号化装置は、入力動画像を複数のブロックに分割し、このブロック対応にフレーム内符号化又はフレーム間符号化を行う符号化手段と、ブロック対応のリフレッシュ動作時に、入力フレームをフレーム内符号化するモードと、参照フレームをフレーム内符号化するモードとを、入力フレームの内容に対応して切替えるように符号化手段を制御する構成のリフレッシュ動作制御手段とを備えている。
【００１２】
又（４）動画像符号化装置のリフレッシュ動作制御手段は、リフレッシュ動作時に、符号化手段の動き推定部からの動きベクトルが静止ブロックを示す時、入力フレームの該ブロックと空間的に同一位置の参照フレームのブロックをフレーム内符号化するように、符号化手段を制御する構成を備えることができる。
【００１３】
【発明の実施の形態】
図１は本発明の実施の形態の説明図であり、１は動き推定部、２はブロック位置発生部、３はリフレッシュカウンタ、４は減算器、５は第１のセレクタ、６はフレームメモリ、７は量子化部、８はＦＤＣＴ部（離散コサイン変換部）、９は情報量制御部、１０はＩＤＣＴ部（逆離散コサイン変換部）、１１は逆量子化部、１２は加算器、１３は第２のセレクタ、１４は可変長符号化部、１５は出力バッファである。
【００１４】
この実施の形態は、動き推定部１と、減算器４と、第１，第２のセレクタ５，１３と、フレームメモリ６と、量子化部７と、ＦＤＣＴ部８と、情報量制御部９と、ＩＤＣＴ部１０と、逆量子化部１１と、加算器１２と、可変長符号化部１４とにより、符号化手段を構成し、第１，第２のセレクタ５，１３によりフレーム内符号化とフレーム間符号化とを切替える構成の場合を示す。又ブロック位置発生部２と、リフレッシュカウンタ３とによりリフレッシュ動作制御手段を構成し、第１，第２のセレクタ５，１３を制御して、リフレッシュ動作を行うように符号化手段を制御する場合を示す。
【００１５】
ディジタル化された入力画像信号は、動き推定部１と、減算器４と、第１のセレクタ５とに加えられる。動き推定部１は、入力画像の動きを検出して、その動きベクトルを出力すると共に、動き補償による誤差信号の大きさ等から符号化モードを決定する。例えば、動きベクトルが零或いは所定値以下の場合、そのブロックは静止ブロックと判定し、それ以外は動きブロックと判定することができる。又ブロック位置発生部２は、複数のブロックに分割した入力画像の中の現在処理しているブロックの番号を保持している。
【００１６】
リフレッシュカウンタ３は、ブロック毎のカウンタを有し、動き推定部１からの動きベクトルと符号化モードと、ブロック位置発生部２からの処理ブロック番号と、予め設定されたリフレッシュ周期とが入力されて、現在処理しているブロック対応のカウンタのカウントアップやリセット等の制御を行い、且つ第１，第２のセレクタ５，１３を制御するセレクト信号を出力する。
【００１７】
又第１のセレクタ５は、リフレッシュカウンタ３からのセレクト信号により、入力Ａ，Ｂ，Ｃの何れかを選択して出力する３−１セレクタであり、Ａは入力画像、Ｂは減算器４によるフレーム間差分、Ｃはフレームメモリ６からの参照フレームであって、通常のフレーム内符号化又はリフレッシュ動作時に入力フレームをフレーム内符号化する場合は、入力画像Ａが選択出力されることになる。又通常のフレーム間符号化を行う場合は、減算器４の出力のフレーム間差分Ｂが選択出力され、又リフレッシュ動作時に参照フレームをフレーム内符号化する場合に、フレームメモリ６からの参照フレームＣを選択出力することになる。
【００１８】
又第１のセレクタ５から選択出力されたデータは、量子化部７に於いて量子化され、ＦＤＣＴ部８に於いて離散コサイン変換され、可変長符号化部１４により可変長符号に変換され、出力バッファ１５を介して、一定のビットレートで符号化画像として送出される。又ＩＤＣＴ部１０により逆離散コサイン変換され、逆量子化部１１により逆量子化されて局部復号化され、第２のセレクタ１３を介してフレームメモリ６に、次のフレームの参照フレームとして加えられる。
【００１９】
第２のセレクタ１３は、リフレッシュカウンタ３からのセレクト信号により、入力Ａ，Ｂの何れかを選択して出力する２−１セレクタであり、フレーム内符号化の場合は入力Ｂが選択出力され、フレーム間符号化の場合は入力Ａが選択出力される。又フレームメモリ６からは、動き推定部１からの動きベクトルに従って動き補償された参照フレームが読出され、減算器４とセレクタ５と加算器１２とに加えられる。
【００２０】
又情報量制御部９は、可変長符号化部１４に於ける発生情報量を基に、符号化画像の平均情報量を、指定した値となるように量子化部７に加える量子化パラメータを制御して、発生情報量が極端に多くならないようにするものである。なお、動き推定部１，フレームメモリ６，量子化部７，ＦＤＣＴ部８，情報量制御部９，ＩＤＣＴ部１０，逆量子化部１１，可変長符号化部１４等は、既に知られている構成を適用できるものである。
【００２１】
図２は本発明の実施の形態のリフレッシュカウンタの説明図であり、２１はレジスタ、２２は判定部、２３はリセット付き加算部であり、リフレッシュ動作制御手段の要部を示すものである。レジスタ２１は、ブロック対応のカウント情報を保持し、ブロック位置発生部２からの処理ブロック番号により指定されたブロック対応のカウント情報を、リセット付き加算部２３からの出力に従って更新する。従って、ブロック対応のカウンタを構成すると共に、そのカウント情報は、順次加算された内容に更新されるか、又はリセットされる。
【００２２】
又判定部２２は、動き推定部１からの符号化モード及びベクトルデータ（動きベクトル）と、予め設定されたリフレッシュ周期と、レジスタ２１から出力されるカウント情報とが入力され、リセット付き加算部２３に対しては、カウント情報の加算の指示信号又はカウント情報のリセットの指示信号を出力し、又第１，第２のセレクタ５，１３に対してそれぞれセレクト信号１，２を出力する。
【００２３】
この判定部２２は、例えば、ブロック対応に、図３に示すフローチャートに従って動作する。先ず、動き推定部１からの符号化モードにより、処理ブロックが無効ブロック（動きベクトルが零で、且つ画素データが伝送されないブロック）か否かを判定し（３１）、無効ブロックの場合は、セレクト信号１はＢ、セレクト信号２はＡとする（３２）。それによって、入力画像が第１のセレクタ５により選択出力され、又第２のセレクタ１３により加算器１２の出力が選択出力されて、フレーム間符号化が行われる。
【００２４】
又無効ブロックでない場合は、フレーム内符号化ブロックか否かを判定する（３３）。例えば、フレーム間符号化モードによって符号化を行っている場合に、シーンチェンジ等が発生すると、その最初のフレームは、フレーム内符号化を行うものである。このようなフレーム内符号化の場合は、リフレッシュ動作を行った場合と同様であるから、リセット信号を発行し（３４）、セレクト信号１はＡ、セレクト信号２はＢとする（３５）。
【００２５】
従って、第１のセレクタ５により入力画像が選択出力され、第２のセレクタ１３により逆量子化部１１の出力が選択出力されてフレーム内符号化が行われる。又リセット付き加算部２３は、リセット信号によってレジスタ２１の処理ブロック対応のカウント情報をリセットしてレジスタ２１に加えるから、この処理ブロック対応のカウント情報はリセットされ、この時点からリフレッシュ周期を開始するように、レジスタ２１のカウント情報が制御される。
【００２６】
又フレーム間符号化の場合は、カウンタ値はリセット周期であるか否かを判定する（３６）。即ち、レジスタ２１から出力される処理ブロックのカウント情報がリフレッシュ周期と一致するか否かを判定し、一致していない場合は、インクリメント信号を発行する（３７）。それにより、リセット付き加算部２３は、レジスタ２１の処理ブロック対応のカウント情報を＋１し、レジスタ２１のカウント情報を更新する。そして、セレクト信号１はＢ、セレクト信号２はＡとする（３８）。従って、第１のセレクタ５により減算器４からのフレーム間差分が選択出力され、第２のセレクタ１３により加算器１２の出力が選択出力されて、フレーム間符号化が行われる。
【００２７】
又カウンタ値がリセット周期である場合、ベクトル値は零であるか否かを判定する（３９）。即ち、動き推定部１からの動くベクトル値が零（静止ブロック）であるか否かを判定し、零でない場合（動きブロック）はリセット信号を発行し（４０）、又セレクタ信号１はＡ、セレクト信号２はＢとする（４１）。従って、第１のセレクタ５により入力画像が選択出力され、第２のセレクタ１３により逆量子化部１１の出力が選択出力されて、入力フレームについてのフレーム内符号化が行われる。又レジスタ２１の処理ブロック対応のカウント情報はリセットされ、新たに、リフレッシュ周期を開始するように、レジスタ２１のカウント情報が制御される。
【００２８】
又ベクトル値が零（静止ブロック）の場合は、リセット信号を発行し（４２）、セレクト信号１はＣ、セレクト信号２はＢとする（４３）。従って、第１のセレクタ５によりフレームメモリ６からの参照フレームが選択出力され、又第２のセレクタ１３により逆量子化部１１の出力が選択出力されて、入力フレームの代わりに、参照フレームについてフレーム内符号化が行われ、且つレジスタ２１の処理ブロック対応のカウント情報はリセットされて、この時点からリフレッシュ周期が開始される。
【００２９】
この場合、入力フレームの静止ブロックについてフレーム内符号化を行ってリフレッシュ動作を行うと、このブロックのみ再生画質が向上して違和感を与えることになる。そこで、本発明の実施の形態に於いては、前述のように、静止ブロックについては、このブロックと空間的に同一位置の参照フレームのブロックについてフレーム内符号化してリフレッシュ動作を行うものである。これにより、参照フレームの対応ブロックは量子化誤差等を含むことから、再生画質は他のブロックに近似したものとなり、違和感を与えることがなくなる。なお、動きベクトルにより動きブロックであることを判定した場合は、入力フレームのブロック対応のフレーム内符号化によるリフレッシュ動作を行うことになる。
【００３０】
【発明の効果】
以上説明したように、本発明は、ブロック対応のリフレッシュ周期を、リフレッシュ動作及びそれに相当するフレーム内符号化を行った場合に、その時点から開始するように制御することにより、リフレッシュ周期を可能な限り長くして、再生画質の劣化を生じさせることなく、符号化効率を向上させることができる利点がある。
【００３１】
又リフレッシュ動作時に於いて、動き推定部１からの動きベクトルが静止ブロックを示す場合に、フレームメモリ６からの参照フレームの該当ブロックについてフレーム内符号化を行うことによって、再生画質が視覚的に違和感を与えない符号化を行うことができる利点がある。なお、符号化手段及びリフレッシュ動作制御手段は、図示の実施の形態のみに限定されるものではなく、種々付加変更し得るものである。
【図面の簡単な説明】
【図１】本発明の実施の形態の説明図である。
【図２】本発明の実施の形態のリフレッシュカウンタの説明図である。
【図３】本発明の実施の形態の判定部のフローチャートである。
【符号の説明】
１  動き推定部
２  ブロック位置発生部
３  リフレッシュカウンタ
５  第１のセレクタ
６  フレームメモリ
７  量子化部
８  ＦＤＣＴ部（離散コサイン変換部）
１０  ＩＤＣＴ部（逆離散コサイン変換部）
１１  逆量子化部
【図１】
0003823275.tif 000002
【図２】
0003823275.tif 000003
【図３】
0003823275.tif 000004