(57)【要約】【目的】画面中でブロックの整数倍から構成される第１のエリア（メインエリア）の画像と第１のエリア以外の領域（サブエリア）の画像の圧縮符号化を効率よく行う。【構成】第１フレームメモリ１より読み出されるメインエリアの画像データは、加算器２と、２次元ＤＣＴ回路５と、第１量子化回路６と、可変長符号化回路２２に加えて第１逆量子化回路７と逆２次元ＤＣＴ回路８と第２フレームメモリ１２と第３フレームメモリ１３にて圧縮符号化され、サブエリアの画像データは、第１〜第４スイッチを切り換えることにより、加算器２と、１次元ＤＣＴ回路１７と、第２量子化回路１８と、可変長符号化回路２２に加えて第２逆量子化回路１９と逆１次元ＤＣＴ回路２０と第２フレームメモリ１２と第３フレームメモリ１３にて圧縮符号化が為される。【選択図】図１
2004007734.tif 000002
【特許請求の範囲】
【請求項１】
画面を所定単位のブロックに分割し、各ブロック毎にデータ圧縮を行う画像圧縮符号化方法に於いて、
画面中でブロックの整数倍から構成される第１のエリアの画像情報を第１の符号化手法により符号化し、
前記画面中で前記第１のエリア以外の領域の画像情報を第１の符号化手法と異なる符号化手法により符号化し、
前記両符号化データを共通のチャンネルより出力させることを特徴とする画像圧縮符号化方法。
【請求項２】
前記第１のエリアの画像情報は２次元ＤＣＴ変換により符号化し、前記第１のエリア以外の領域の画像情報は１次元ＤＣＴ変換により符号化することを特徴とする請求項１記載の画像圧縮符号化方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は画像をデジタル化し、そのデータを圧縮符号化する画像圧縮符号化方法に関する。
【０００２】
【従来の技術】
動画像をデジタル化し、そのデータを圧縮符号化する方法に於いて、各フレームの画素を格子状のブロックに分割し、それぞれのブロックに対し、予測、直交変換を適当に組み合わせて処理することにより圧縮符号化を行う方法が従来一般に用いられている。例えば、国際的な標準規格である「ＩＳＯ標準１１１７２（通称ＭＰＥＧ）」ではこの方法が採用されている。
【０００３】
ＭＰＥＧ規格に従った符号化回路は、１フレームの中の８×８画素を１ブロックとし、さらに２×２ブロックをまとめたものをマクロブロック（１６×１６画素サイズ）とし、このマクロブロックを単位として処理を行っている。このため通常ＭＰＥＧで扱われる画像サイズは、横１６×Ｍ画素、縦１６×Ｎ画素（Ｍ、Ｎは正の整数）となっている。
【０００４】
ここで、処理する画像サイズが１６の整数倍でない場合は、余った部分を切り落とすか、１６の倍数になるように画素を補って処理をする。どちらの処理を行うかは、用途に応じて選択されることが多い。
例えば通常のＮＴＳＣ信号をデジタル化した場合、１フレームは７２０×４８３画素となるが、１６画素を単位に処理をすると縦に３画素余りが出る。この信号を一般のテレビで表示する場合、余った３画素の部分は表示範囲の外にあり、このデータを切り落とし、７２０×４８０画素としても問題がない。逆にスタジオで信号の編集等をするなど素材の持つ情報が欠落するのは適当でない場合は、補間を用いて画素を７２０×４９６として処理をすることができる。
【０００５】
【発明が解決しようとする課題】
しかしここで、補間を用いた場合は、データを付け加えた分だけ冗長となり、圧縮の目的に合わない。また符号化した信号を復号して表示する際に、補間したデータを切り落とすという余分な処理も必要となる。逆に、ブロック処理に適応するようにデータを切り落とした場合、落されたデータに含まれていたデータを再現することは不可能となる。
【０００６】
そこで、本発明は画像をブロック単位に処理する際、例えば、画像サイズがブロックサイズの整数倍でないような場合であっても、それ以外の画素に適切な処理を行える符号化方法を提供するものである。
【０００７】
【課題を解決するための手段】
各請求項の発明は、それぞれ以下に示す特徴を備える。
請求項１の発明は、画面を所定単位のブロックに分割し、各ブロック毎にデータ圧縮を行う画像圧縮符号化方法であって、画面中でブロックの整数倍から構成される第１のエリアの画像情報を第１の符号化手法により符号化し、前記画面中で前記第１のエリア以外の領域の画像情報を第１の符号化手法と異なる符号化手法により符号化し、前記両符号化データを共通のチャンネルより出力させることを特徴とする。
請求項２の発明は、請求項１に記載の画像圧縮符号化方法であって、前記第１のエリアの画像情報は２次元ＤＣＴ変換により符号化し、前記第１のエリア以外の領域の画像情報は１次元ＤＣＴ変換により符号化することを特徴とする。
【０００８】
【作用】
よって、本発明によれば、画面中でブロックの整数倍から構成される第１のエリアの画像と第１のエリア以外の領域の画像が異なる手法で変換圧縮処理され、共通チャンネルより出力される。
【０００９】
【実施例】
以下、本発明を図示する一実施例に従い説明する。
図１は、本実施例の動画圧縮符号化回路の回路ブロック図を示し、図２は本実施例のＮＴＳＣテレビ画面の分割構成を示す図である。
図２より明らかな様に、本実施例では、ＮＴＳＣの有効映像ラインを、マクロブロック（１６ドット×１６ライン）を単位として構成されるメインエリア（７２０ドット×４８０ライン）と、ラインセグメント（８ドット×１ライン）で構成されるサブエリア（７２０ドット×３ライン）に区分して、メインエリアはＭＰＥＧによる２次元直交量子化と圧縮処理を施し、サブエリアについては１次元直交量子化と圧縮処理を施すことを特徴としている。
【００１０】
図１より明らかな様に、ＮＴＳＣの１フレーム分の有効映像ライン４８３ライン分の画像データは、一旦第１フレームメモリ１に蓄積される。尚、蓄積されるフレームは、ＭＰＥＧデータの形成の都合上、ＩピクチャやＰピクチャとして処理されるフレームが先行して記憶され、時間的にその間に位置してＢピクチャとして処理されるフレームは、後で記憶される。
【００１１】
第１フレームメモリ１からは、メインエリアの画像データは、マクロブロック単位で出力され、ＭＰＥＧのデータ処理が実行される。
ＭＰＥＧのＩピクチャの形成時には、マクロブロック単位の画像データは直接第１スイッチ４を介して２次元ＤＣＴ変換回路５に入力され２次元直交変換処理され、更に第１量子化回路６にて量子化処理が施される。量子化出力は第３スイッチ２１を介して可変長符号化回路２２に入力され、識別信号付加回路２３を介して出力される。尚、識別符号付加回路２３は、メインエリアの最初のマクロブロックの情報に先行して第１の識別符号例えば”００００００１ＦＥ”を出力し、サブエリアの最初のラインセグメントに先行して第２の識別符号例えば”００００００１ＦＦ”を出力する。Ｉピクチャ形成時には量子化出力は、第１逆量子化回路７にて逆量子化され、更に第１逆２次元ＤＣＴ変換回路８にて逆変換されて元の画像データに変換され第４スイッチ９と加算器１０と第５スイッチ１１を介して第２フレームメモリ１２に記憶される。
【００１２】
次に、ＭＰＥＧのＰピクチャの形成時には、マクロブロック単位の画像データは減算器２にて第２フレームメモリ１２より読み出された対応マクロブロックの画像データと減算処理され差分データとされ、１スイッチ４を介して２次元ＤＣＴ変換回路５に入力され２次元直交変換処理され、更に第１量子化回路６にて量子化処理が施される。量子化出力は第３スイッチ２１を介して可変長符号化回路２２に入力され、識別信号付加回路２３を介して出力される。このＰピクチャ形成時には量子化出力は、第１逆量子化回路７にて逆量子化され、更に第１逆２次元ＤＣＴ変換回路８にて逆変換されて元の差分データに変換され、第４スイッチ９を介して加算器１０に入力される。加算器１０は、第６スイッチを介して入力される第２フレームメモリ１２の出力と加算されて元の画像データに変換され、第５スイッチ１１を介して第３フレームメモリ１３に記憶される。
【００１３】
２個のフレームメモリに画像データが記憶されることにより、続いて入力されるフレームのＢピクチャー処理が可能になる。Ｂピクチャ処理は時間的に前後するＩ又はＰピクチャにより形成される。
次に、ＭＰＥＧのＢピクチャの形成時には、画像データはマクロブロック単位で減算器２に入力される。減算器２には、混合回路１４の出力が第５スイッチ１５を介して入力される。この混合回路１４は、第２フレームメモリ１２より読み出された対応マクロブロックの画像データと、第３フレームメモリ１３より読み出された対応マクロブロックの画像データを混合しており、第１フレームメモリ１より出力される画像データに近似するデータを形成している。減算器２は、第１フレームメモリ１より出力される画像データより、その近似データを減算して差分データを形成している。差分データは、１スイッチ４を介して２次元ＤＣＴ変換回路５に入力され２次元直交変換処理され、更に第１量子化回路６にて量子化処理が施される。量子化出力は第３スイッチ２１を介して可変長符号化回路２２に入力され、識別信号付加回路２３を介して出力される。
【００１４】
メインエリアの画像データはＭＰＥＧの変換圧縮手法により前述する要領で時間的に関連した変換圧縮処理が為される。この手法は、識別符号付加回路を除きＭＰＥＧとして周知の構成であり、本実施例の特徴は以下の構成にある。
本実施例では、エリア制御回路の出力に基づき第２・第３・第４スイッチを切り換えて残るサブエリアの画像データを８ドット単位で第１フレームメモリ１より読み出して１次元のＤＣＴ変換処理を行っている。この変換処理は、メインエリアのＩピクチャやＰピクチャやＢピクチャの処理に準じた処理が為され、第１・第５・第６・第７スイッチはそのままの状態に保たれ、その処理タイミングは各フレームのメインエリアの処理に続いて実行される。
【００１５】
従って、メインエリアがＩピクチャを形成した直後、第１フレームメモリより読み出されるサブエリアの８ドット単位のセグメントデータは、第１スイッチ３と第２スイッチ４を介して１次元ＤＣＴ変換回路１７に入力され、１次元のＤＣＴ変換が為される。この変換出力は、第２量子化回路１８にて量子化処理を施された後に、第４スイッチを介して可変長符号化回路２２に入力され識別符号付加回路２３を経て出力される。一方第２量子化出力は第２逆量子化回路１９にて逆量子化され、逆１次元ＤＣＴ変換回路にて元の画像データに変換され、第４スイッチ９と加算器１０と第５スイッチ１１を介して第２フレームメモリ１２に記憶される。
【００１６】
次に、メインエリアがＰピクチャを形成した直後、前記第１フレームメモリより読み出されるサブエリアの８ドット単位のセグメントデータは、前記第１フレームメモリ１より読み出される対応セグメントデータと共に前記減算器２に入力されて減算処理により差分データに変換され、前記第１スイッチ３と前記第２スイッチ４を介して前記１次元ＤＣＴ変換回路１７に入力され、１次元のＤＣＴ変換が為される。この変換出力は、前記第２量子化回路１８にて量子化処理を施された後に、前記第４スイッチを介して前記可変長符号化回路２２に入力され識別符号付加回路２３を経て出力される。一方第２量子化出力は前記第２逆量子化回路１９にて逆量子化され、前記逆１次元ＤＣＴ変換回路にて元の画像データに変換され、第４スイッチ９を介して加算器１０に入力される。この加算器１０は、第２フレームメモリ１０より読み出され第６スイッチ１５と第７スイッチを介して入力される対応セグメントデータを加算して元の画像データに変換され、前記第５スイッチ１１を介して前記第３フレームメモリ１３に記憶される。
【００１７】
更に、メインエリアがＢピクチャを形成した直後、前記第１フレームメモリより読み出されるサブエリアの８ドット単位のセグメントデータは、前記減算器２に入力される。この減算器２には、前記第２フレームメモリ１２と前記第３フレームメモリ１３より読み出される対応セグメントデータを前記混合回路１４にて得られるデータを第６スイッチ１５より入力して減算入力としている。この減算処理により得られる差分データは、前記第１スイッチ３と前記第２スイッチ４を介して前記１次元ＤＣＴ変換回路１７に入力され、１次元のＤＣＴ変換が為される。この変換出力は、前記第２量子化回路１８にて量子化処理を施された後に、前記第４スイッチを介して前記可変長符号化回路２２に入力され識別符号付加回路２３を経て出力される。
【００１８】
前述する様に、本実施例では、メインエリアのＩピクチャ処理、サブエリアの独立１次元処理、メインエリアのＰピクチャ処理、サブエリアの従属的１次元処理、メインエリアのＢピクチャ処理、サブエリアの従属的１次元処理が順に為される。
その結果、図３に示す様に、出力される符号化圧縮データは、メインエリアの符号化圧縮データには識別符号０００００１ＦＦが先行し、サブエリアの符号化圧縮データには識別符号０００００１ＦＥが先行して多重される。
【００１９】
本実施例では、メインエリアとサブエリアの区別なく画面全体で、動きベクトルを求めて処理を行っているが、必要に応じてエリアを区切って動きベクトルを求めることも可能である。
以下、図４に示す本実施例の復号化回路の動作について説明する。
まずメインエリアのＩピクチャのデータは、可変長復号回路２４に於て可変長復号処理され、第８スイッチを介して第１逆量子化回路２６に入力され逆量子化処理れる。逆量子化の後、逆２次元ＤＣＴ変換回路２７にてマクロブロック単位の元の画像データに変換され、第９スイッチ２８と第１０スイッチ２９とを介してメインエリアの画像データが第４フレームメモリ３０に記憶される。同時に画像データは第１１スイッチ３１を介して第５フレームメモリ３２に記憶される。次に、サブエリアのデータが入力されると、エリア検出回路３９が識別符号を検出して前記第８スイッチ２５と前記第９スイッチ２８を切り換える。そこで、可変長復号出力が第２逆量子化回路３５に入力され逆量子化処理れる。逆量子化の後、逆１次元ＤＣＴ変換回路３６にて元の画像データに変換され、前記第９スイッチ２８と前記第１０スイッチ２９とを介してサブエリアの画像データが前記第４フレームメモリ３０に記憶される。同時に画像データは前記第１１スイッチ３１を介して前記第５フレームメモリ３２に記憶され１フレーム分の復号処理が終了する。
【００２０】
続いて、メインエリアのＰピクチャのデータが入力されると、エリア検出回路３９が識別符号を検出して前記第８スイッチ２５と前記第９スイッチ２８を切り換える。同時に、前記第９・第１０・第１２スイッチも切り換えられる。Ｐピクチャのデータは、前記可変長復号回路２４に於て可変長復号処理され、前記第８スイッチを介して前記第１逆量子化回路２６に入力され逆量子化処理れる。逆量子化の後、前記逆２次元ＤＣＴ変換回路２７にて元の差分画像データに変換され、前記第９スイッチ２８を介して加算器３７に入力される。この加算器３７には、第５フレームメモリ３２に記憶された対応マクロブロックの画像データが第１２スイッチを介して入力され、元の画像データが加算により復元される。復元された画像データは前記第１０スイッチ２９を介して第４フレームメモリ３０に記憶される。同時に画像データは第１１スイッチ３１を介して第６フレームメモリ３２に記憶される。次に、サブエリアのデータが入力されると、エリア検出回路３９が識別符号を検出して前記第８スイッチ２５と前記第９スイッチ２８を切り換える。そこで、可変長復号出力が第２逆量子化回路３５に入力され逆量子化処理れる。逆量子化の後、逆１次元ＤＣＴ変換回路３６にて元の差分データに変換され、前記第９スイッチ２８を介して前記加算回路３７に入力される。この加算器３７には、第５フレームメモリ３２に記憶された対応ラインセグメントの画像データが第１２スイッチを介して入力され、元の画像データが加算により復元される。復元された画像データは前記第１０スイッチ２９を介して前記第４フレームメモリ３０に記憶される。同時に画像データは前記第１１スイッチ３１を介して前記第６フレームメモリ３３に記憶され１フレーム分の復号処理が終了する。
【００２１】
更に、メインエリアのＢピクチャのデータが入力されると、エリア検出回路３９が識別符号を検出して前記第８スイッチ２５と前記第９スイッチを切り換える。エリア検出回路３９が識別符号を検出して前記第８スイッチ２５と前記第９スイッチ２８を切り換える。Ｂピクチャのデータは、前記可変長復号回路２４に於て可変長復号処理され、前記第８スイッチを介して前記第１逆量子化回路２６に入力され逆量子化処理れる。逆量子化の後、前記逆２次元ＤＣＴ変換回路２７にて元の差分データに変換され、前記第９スイッチ２８を介して加算器３７に入力される。この加算器３７には、前記第５フレームメモリ３２と第６フレームメモリ３３にそれぞれ記憶された対応マクロブロックの画像データが混合回路３８に入力され、所定の比例配分により元の画像データが第１２スイッチを介して入力され、加算により当該フレームの画像データが復元される。復元された画像データは前記第１０スイッチ２９を介して第４フレームメモリ３０に記憶される。次に、サブエリアのデータが入力されると、にエリア検出回路３９が識別符号を検出して前記第８スイッチ２５と前記第９スイッチを切り換える。その結果、可変長復号出力が第２逆量子化回路３５に入力され逆量子化処理れる。逆量子化の後、逆１次元ＤＣＴ変換回路３６にて元の差分データに変換され、前記第９スイッチ２８を介して前記加算回路３７に入力される。この加算器３７には、前記第５フレームメモリ３２と第６フレームメモリ３３にそれぞれ記憶された対応セグメントの画像データが混合回路３８に入力され、所定の比例配分により復元された画像データが第１２スイッチを介して入力され、加算により当該フレームの画像データが復元される。復元された画像データは前記第１０スイッチを介して前記加算器３７に入力される。この加算器３７には、前記第５フレームメモリ３２に記憶された対応ラインセグメントの画像データが前記第１２スイッチを介して入力され、元の画像データが加算により復元される。復元された画像データは前記第１０スイッチ２９を介して前記第４フレームメモリ３０に記憶される。同時に画像データは前記第１１スイッチ３１を介して前記第６フレームメモリ３２に記憶され１フレーム分の復号処理が終了する。
【００２２】
前述する手順で各フレームの符号化圧縮データが復元される。しかし、復号に際してサブエリアの復号を必要としない場合もある。そこで、サブエリアの復号化を省略することも可能であり、その場合には、メモリ容量を減じることができるばかりか、１次元処理に関する回路系を省略することもできる。
【００２３】
【発明の効果】
本発明によれば、画面中でブロックの整数倍から構成される第１のエリアの画像情報と第１のエリア以外の領域の画像情報を異なる符号化手法により符号化するので、例えば、マクロブロック単位の処理を基本とした画像圧縮符号化回路では問題となる端数画素の符号化処理を効果的に行うことができ、また、符号化されたデータを復号する際、端数画素のデータの必要性に応じて、復号を省略することも可能となる。
【図面の簡単な説明】
【図１】本発明の１実施例を示す符号化回路の回路ブロック図である。
【図２】本発明のフレームの構成説明図である。
【図３】本発明の１実施例を示すデータ配列説明図である。
【図４】本発明の１実施例を示す復号化回路の回路ブロック図である。
【符号の説明】
１７　１次元ＤＣＴ変換回路
１８　第２量子化回路
１９　第２逆量子化回路
２０　逆１次元ＤＣＴ変換回路
２３　識別符号付加回路
２４　エリア切換制御回路
【図１】
2004007734.tif 000003
【図２】
2004007734.tif 000004
【図３】
2004007734.tif 000005
【図４】
2004007734.tif 000006