(57)【要約】【課題】処理速度を高め、電子回路をコンパクトにすることができる画像復号化装置を提供する。【解決手段】周波数逆変換部１０は、周波数逆変換処理部１６１と、内部記憶部１５、データ制御部１３及びオーバラップ演算部１６４からなるオーバラップ処理部１２と、外部記憶部１６とを備える。データ制御部１３は、周波数逆変換された画像データを内部記憶部１５に書き込み、オーバラップ処理領域分の画像データが格納されると、これを順次内部記憶部１５から読み出してオーバラップ演算部１６４に入力し、内部記憶部１５に残された水平方向の画像データを外部記憶部１６に移送する。また、データ制御部１３は、外部記憶部１６に格納された画像データと内部記憶部１５に格納された画像データとを合成したものがオーバラップ処理領域の画像データを含む場合には、これを外部記憶部１６及び内部記憶部１５から読み出してオーバラップ演算部１６４に入力する。【選択図】図２
2016025362.tif 000002
【特許請求の範囲】
【請求項１】
水平方向にｘ×ｐ×ｍ画素、及び垂直方向にｙ×ｑ×ｎ画素を有する画像データの、前記各画素に対応した係数データからなる画像符号化データを、水平方向のｐ×ｍ画素及び垂直方向のｑ×ｎ画素からなるマクロブロックに対応した画像符号化データ毎に、順次水平方向に復号化するとともに、各マクロブロック分の画像符号化データについては、それぞれ水平方向のｍ画素及び垂直方向のｎ画素からなる単位ブロックに対応した画像符号化データ毎に、順次水平方向に復号化して出力する復号化部と、
前記復号化部から順次出力される単位ブロック分の係数データを、順次逆量子化して出力する逆量子化部と、
前記逆量子化部から出力される係数データを周波数逆変換して画像データを生成する周波数逆変換部とを少なくとも備えた画像復号化装置において、
前記周波数逆変換部は、
前記逆量子化部から順次出力される単位ブロック分の係数データを、該単位ブロック毎に周波数逆変換して画像データに戻す周波数逆変換処理部と、
前記周波数逆変換処理部により生成された画像データにオーバラップ処理を施すオーバラップ処理部と、
前記周波数逆変換処理部により生成された画像データの一部を記憶する記憶部であって、前記オーバラップ処理部の外部に設けられた外部記憶部とを備え、
前記オーバラップ処理部は、
前記周波数逆変換処理部により周波数逆変換された画像データを記憶する内部記憶部と、
前記外部データ記憶部及び内部データ記憶部への画像データの書き込み及び読み出しを行うデータ制御部と、
前記データ制御部から入力された画像データに対してオーバラップ処理を実行するオーバラップ演算部とからなり、
前記データ制御部は、前記周波数逆変換処理部によって、前記単位ブロック毎、且つマクロブロック毎に周波数逆変換された画像データを、前記周波数逆変換処理部から順次受信して前記内部記憶部に書き込む一方、前記各単位ブロックに跨る領域として設定された所定のオーバラップ処理領域分の画像データが前記内部記憶部に格納されると、該オーバラップ処理領域分の画像データを順次前記内部記憶部から読み出して前記オーバラップ演算部に入力するとともに、前記マクロブロック分について前記内部記憶部に残された水平方向に連続する画素分の画像データを前記内部記憶部から読み出して前記外部記憶部に書き込み、更に、前記外部記憶部に格納された画像データと前記内部記憶部に格納された画像データとを合成したものが前記オーバラップ処理領域に対応する画像データを含む場合には、該オーバラップ処理領域に対応する画像データを前記外部記憶部及び内部記憶部からそれぞれ読み出して前記オーバラップ演算部に入力するように構成されることを特徴とする画像復号化装置。
但し、前記ｎ、ｍ、ｐ、ｑ、ｘ及びｙは、それぞれ正の整数である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮された画像符号化データを伸長して復号化する画像復号化装置に関する。
【背景技術】
【０００２】
従来より、通信における負担等の軽減を目的として、画像データを圧縮し、符号化する画像符号化装置、並びに、その逆処理である、符号化した画像データを伸長して元の画像に復元（復号）する画像復号化装置が知られている。そして、近年では、より高い圧縮率で圧縮可能な符号化、及びその復号化の規格が提案されている（非特許文献１参照）。
【０００３】
前記規格に従った従来の画像復号化装置の概略構成を図５に示す。同図５に示すように、この画像復号化装置１００は、ビットストリーム解析部１１０と、ＶＬＣ復号化部１２０と、適応型スキャン部１３０と、係数逆予測部１４０と、逆量子化部１５０と、周波数逆変換部１６０と、色空間逆変換部１７０とからなる。尚、前記ＶＬＣ復号化部１２０の「ＶＬＣ」は、「Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ」の略称で可変長符号化方式の意である。
【０００４】
前記ビットストリーム解析部１１０は、入力されたビットストリームを解析し、画像情報を抽出するとともに、符号化された係数データを分離し、前記ＶＬＣ復号化部１２０に入力する。
【０００５】
ところで、図７に示すように、符号化時において、原画像データ２００は、１６画素（水平方向）×１６画素（垂直方向）から形成されるマクロブロックＭＢに分割され、このマクロブロックＭＢを処理単位として、水平方向（ラスター方向）に順次周波数変換されて係数化されるとともに、１つのマクロブロックＭＢについては、更に、４画素（水平方向）×４画素（垂直方向）から形成される単位ブロックに分割され、この単位ブロックを処理単位として水平方向に順次周波数変換されて係数化される。
【０００６】
そして、マクロブロックＭＢ毎に、４×４画素の左上の１画素がブランクで、残り１５画素がＨＰ（Ｈｉｇｈ  Ｐａｓｓ）係数である１６個の単位ブロックからなる第１階層データ（ＨＰ係数データ）と、４×４画素の左上の１画素がブランクで、残り１５画素がＬＰ（Ｌｏｗ  Ｐａｓｓ）係数である１個の単位ブロックからなる第２階層データ（ＬＰ係数データ）と、１画素のＤＣ（Ｄｉｒｅｃｔ  Ｃｕｒｒｅｎｔ）係数からなる第３階層データ（ＤＣ係数データ）とが生成される。
【０００７】
斯くして、符号化後の画像データは、マクロブロックＭＢ単位の、第１階層データ（ＨＰ係数データ）、第２階層データ（ＬＰ係数データ）及び第３階層データ（ＤＣ係数データ）から構成されており、前記ビットストリーム解析部１１０は、これら第１階層データ、第２階層データ及び第３階層データを抽出して、前記ＶＬＣ復号化部１２０に入力する。
【０００８】
前記ＶＬＣ復号化部１２０は、前記ビットストリーム解析部１１０で分離された画像符号化データである第１階層データ、２階層データ及び第３階層データに対して、ＶＬＣ復号化処理である可変長復号処理を施して、前記適応型スキャン部１３０に出力する。
【０００９】
前記適応型スキャン部１３０は、符号化の際に、定められた手法によって画素順が入れ替えられた第１階層データ及び第２階層データについて、これを符号化時とは逆の手順によって入れ替え、元の画素順に戻す処理を行う。尚、符号化時に実施される入替処理は、単位ブロックの左上部にあたる周波数帯域の低い側に非ゼロの係数を集めることで（逆に右下部にあたる周波数帯域の高い側に係数値がゼロのものが集まる）、符号化時の圧縮率を高めるために行われるものである。
【００１０】
前記係数逆予測部１４０は、前記適応型スキャン部１３０から入力したマクロブロックＭＢ毎の前記第１階層データ、第２階層データ、及び第３階層データについて、それぞれ、隣接するマクロブロックＭＢ間において、その値（係数値）を比較することによって予測モードを導出し、導出した予測モードについて設定された演算式に従い、相関の高いマクロブロックＭＢの対応する画素の係数値を、対象画素の係数値に加算することで、各画素について、符号化における予測処理前の係数値を復元（逆予測）する。そして、逆予測後の第１階層データ、第２階層データ及び第３階層データをマクロブロックＭＢ毎に逆量子化部１５０に入力する。
【００１１】
前記逆量子化部１５０は、前記係数逆予測部１４０により逆予測された第１階層データ、第２階層データ及び第３階層データを、それぞれ設定された量子化パラメータで乗算して逆量子化する処理を行い、処理後の第１階層データ、第２階層データ及び第３階層データを、マクロブロックＭＢ毎に周波数逆変換部１６０に入力する。
【００１２】
前記周波数逆変換部１６０は、前記逆量子化部１５０によって逆量子化されたマクロブロックＭＢ単位の係数データ、即ち、第１階層データ、第２階層データ及び第３階層データを、単位ブロック（４×４画素）の２次元空間データに戻し、更に、この単位ブロック毎に水平方向に順次処理して、係数データを画素データに変換するとともに、各単位ブロックの境界をスムーズにするためのオーバラップ処理を行う。
【００１３】
この周波数逆変換部１６０のより詳しい構成を図６に示す。同図６に示すように、前記周波数逆変換部１６０は、周波数逆変換処理部１６１及びオーバラップ処理部１６２、並びに２つの外部記憶部である第１外部記憶部１６５及び第２外部記憶部１６６からなり、更に、オーバラップ処理部１６２は、データ制御部１６３及びオーバラップ演算部１６４からなる。
【００１４】
前記周波数逆変換処理部１６１は、上述したように、前記逆量子化部１５０によって逆量子化されたマクロブロックＭＢ単位の係数データを、単位ブロック（４×４画素）毎の２次元空間データに戻し、更に、この単位ブロック毎に水平方向に順次処理して、係数データを画像データに変換した後、変換後の画像データを、前記単位ブロックを１単位として、前記データ制御部１６３に入力する。
【００１５】
また、前記オーバラップ処理部１６２は、前記周波数逆変換処理部１６１からマクロブロックＭＢ単位で入力される画像データに対して、各単位ブロックの境界をスムーズにするためのオーバラップ処理を行う。このオーバラップ処理の全体を理解するための説明図を図８に示す。
【００１６】
図８に示すように、オーバラップ処理部１６２は、周波数逆変換処理部１６１からマクロブロックＭＢ単位で入力される画素データ３００に対し、その左上端部、右上端部、左下端部及び右下端部については、それぞれ６画素（水平方向）×６画素（垂直方向）を単位としてオーバラップ処理を行い、上辺部及び下辺部については、それぞれ４画素（水平方向）×６画素（垂直方向）を単位としてオーバラップ処理を行い、左辺部及び右辺部については、それぞれ６画素（水平方向）×４画素（垂直方向）を単位としてオーバラップ処理を行い、残りの部分については、それぞれ４画素（水平方向）×４画素（垂直方向）を単位としてオーバラップ処理を行う。この単位でオーバラップ処理を施すことで、当該オーバラップ処理の領域が、各単位ブロック（４×４画素）を跨ぐことになり、各単位ブロックの境界をスムーズにすることができる。
【００１７】
このようなオーバラップ処理を実現するために、前記データ制御部１６３は、前記周波数逆変換処理部１６１から入力される前記単位ブロック毎の画素データを、以下のようにようにして処理する。尚、オーバラップ演算部１６４は、前記データ制御部１６３から受信した画像データに順次オーバラップ処理を施した後、処理後の画像データを前記色空間逆変換部１７０に出力する。
【００１８】
前記データ制御部１６３は、まず、周波数逆変換処理部１６１から入力される最初のマクロブロック（左上端部のマクロブロック）ＭＢ分の画像データを、前記第１外部記憶部１６５に格納する。図９（ａ）は、このようにして第１外部記憶部１６５に格納される画像データの対応する画素を示しており、斜線を付した画素の画像データが第１外部記憶部１６５に格納される。
【００１９】
次に、データ制御部１６３は、第１外部記憶部１６５に格納された画像データから、まず、左上端部の６画素×６画素の画像データ（上述したオーバラップ処理単位の画像データであり、図９（ｂ）に示した網掛け部分）を読み出して、前記オーバラップ演算部１６４に送信し、以後同様にして、当該マクロブロックＭＢ内の画像データを、オーバラップ処理単位で順次水平方向に読み出して、オーバラップ演算部１６４に送信する（図９（ｃ）及び（ｄ）参照）。
【００２０】
ついで、データ制御部１６３は、前記第１外部記憶部１６５に残された画像データの内、当該マクロブロックＭＢの下２行分の画像データ（図９（ｄ）の縦縞を付した領域の画素データ）を読み出して、前記第２外部記憶部１６６に格納する処理を行う。
【００２１】
このようにして、最初のマクロブロックＭＢについての処理を完了すると、データ制御部１６３は、次に、右隣のマクロブロックＭＢの画像データを単位ブロック毎に順次入力して、前記第１外部記憶部１６５に格納し、格納した画像データを、オーバラップ処理単位で順次読み出して（図９（ｅ）及び（ｆ）参照）、オーバラップ演算部１６４に送信する。このようにして、オーバラップ処理可能な画像データをオーバラップ演算部１６４に出力すると、第１外部記憶部１６５には、当該マクロブロックＭＢの右２列分の画像データと、下２行分の画像データが残されるが、データ制御部１６３は、第１外部記憶部１６５に残った画像データの内、下２行分の画像データ（図９（ｆ）の縦縞を付した領域の画像データ）を読み出して、前記第２外部記憶部１６６に格納する。
【００２２】
データ制御１６３は、以後同様にして、マクロブロックＭＢ単位で入力される画像データを、一旦第１外部記憶部１６５に格納した後、格納した画像データを、オーバラップ処理単位で順次読み出して、オーバラップ演算部１６４に送信する。そして、第１外部記憶部１６５に残された画像データの内、下２行分の画像データを記第２外部記憶部１６６に格納する。
【００２３】
図９（ｅ）及び（ｆ）は、画像データの上辺中間部のマクロブロックＭＢの処理を示し、図９（ｇ）及び（ｈ）は、画像データの右上端部のマクロブロックＭＢの処理を示している。また、図１０（ａ）及び（ｂ）は、画像データの左辺中間部のマクロブロックＭＢの処理を示し、図１０（ｃ）及び（ｄ）は、画像データの右辺中間部のマクロブロックＭＢの処理を示し、図１０（ｅ）及び（ｆ）は、画像データの左下端部のマクロブロックＭＢの処理を示し、図１０（ｇ）及び（ｈ）は、画像データの右下端部のマクロブロックＭＢの処理を示している。
【００２４】
尚、２行目の以降のマクロブロックＭＢの処理については、前記データ制御１６３は、前記第２外部記憶部１６６に格納された、一つ上のマクロブロックＭＢの下２行分の画像データと、第１外部記憶部１６５に格納された画像データとを合成した画像データから、オーバラップ処理単位の画像データを順次オーバラップ演算部１６４に出力する（図１０（ａ）〜（ｈ）参照）。
【００２５】
そして、前記色空間逆変換部１７０は、以上のようにして、前記周波数逆変換部１６０（より具体的には、オーバラップ演算部１６４）から入力された画像データを、色空間逆変換が不要な場合は当該色空間逆変換を行わず、色空間逆変換が必要な場合は当該色空間逆変換を行った後、処理後の全画像データを、１画像分の画像データとして、外部に出力する。
【先行技術文献】
【非特許文献】
【００２６】
【非特許文献１】ＪＰＥＧ  ＸＲ勧告書ITU-T T.832 : Information technology -JPEG XR image coding system - Image coding specification. [online].Recommendation T.832(01/12). Approval 2012-01-13. Status : In force.Retrieved from the Internet : <URL : http://www.itu.int/rec/T-REC-T.832-201201-I/en>.
【発明の概要】
【発明が解決しようとする課題】
【００２７】
ところで、伸長対象である画像圧縮データは、技術進歩に伴う解像度の向上によって、そのデータ量が急増しており、上記従来の画像復号化装置１００においても、その処理を短縮すべく、更なる効率化が求められている。また、画像復号化装置１００は、カメラ，各種モバイル等に搭載されているが、近年これらに実装される各種ディバイスのコンパクト化が求められており、当該画像復号化装置１００においても、これを構成する電子回路（ハード構成）をコンパクトにする必要がある。
【００２８】
このような背景の下、本発明者は、上記従来の画像復号化装置１００の改良点を鋭意探究したところ、前記周波数逆変換処理部１６１において、更なる改良の余地があることを知見するに至った。尚、図９（ｅ）及び（ｇ）から分かるように、従来、第１外部記憶部１６５の記憶容量としては、当該マクロブロックＭＢ分の１６×１６画素と、前のマクロブロックＭＢの右２列分である２×１４画素の合計２８４画素分の画像データを記憶することができる容量を必要とした。
【００２９】
本発明は、以上の実情に鑑み成されたものであって、従来に増して処理速度を高めることができ、また、電子回路をコンパクトにすることができる画像復号化装置の提供を、その目的とする。
【課題を解決するための手段】
【００３０】
上記課題を解決するための本発明は、
水平方向にｘ×ｐ×ｍ画素、及び垂直方向にｙ×ｑ×ｎ画素を有する画像データの、前記各画素に対応した係数データからなる画像符号化データを、水平方向のｐ×ｍ画素及び垂直方向のｑ×ｎ画素からなるマクロブロックに対応した画像符号化データ毎に、順次水平方向に復号化するとともに、各マクロブロック分の画像符号化データについては、それぞれ水平方向のｍ画素及び垂直方向のｎ画素からなる単位ブロックに対応した画像符号化データ毎に、順次水平方向に復号化して出力する復号化部と、
前記復号化部から順次出力される単位ブロック分の係数データを、順次逆量子化して出力する逆量子化部と、
前記逆量子化部から出力される係数データを周波数逆変換して画像データを生成する周波数逆変換部とを少なくとも備えた画像復号化装置において、
前記周波数逆変換部は、
前記逆量子化部から順次出力される単位ブロック分の係数データを、該単位ブロック毎に周波数逆変換して画像データに戻す周波数逆変換処理部と、
前記周波数逆変換処理部により生成された画像データにオーバラップ処理を施すオーバラップ処理部と、
前記周波数逆変換処理部により生成された画像データの一部を記憶する記憶部であって、前記オーバラップ処理部の外部に設けられた外部記憶部とを備え、
前記オーバラップ処理部は、
前記周波数逆変換処理部により周波数逆変換された画像データを記憶する内部記憶部と、
前記外部データ記憶部及び内部データ記憶部への画像データの書き込み及び読み出しを行うデータ制御部と、
前記データ制御部から入力された画像データに対してオーバラップ処理を実行するオーバラップ演算部とからなり、
前記データ制御部は、前記周波数逆変換処理部によって、前記単位ブロック毎、且つマクロブロック毎に周波数逆変換された画像データを、前記周波数逆変換処理部から順次受信して前記内部記憶部に書き込む一方、前記各単位ブロックに跨る領域として設定された所定のオーバラップ処理領域分の画像データが前記内部記憶部に格納されると、該オーバラップ処理領域分の画像データを順次前記内部記憶部から読み出して前記オーバラップ演算部に入力するとともに、前記マクロブロック分について前記内部記憶部に残された水平方向に連続する画素分の画像データを前記内部記憶部から読み出して前記外部記憶部に書き込み、更に、前記外部記憶部に格納された画像データと前記内部記憶部に格納された画像データとを合成したものが前記オーバラップ処理領域に対応する画像データを含む場合には、該オーバラップ処理領域に対応する画像データを前記外部記憶部及び内部記憶部からそれぞれ読み出して前記オーバラップ演算部に入力するように構成された画像復号化装置に係る。但し、前記ｎ、ｍ、ｐ、ｑ、ｘ及びｙは、それぞれ正の整数である。
【００３１】
本発明に係る画像復号化装置によれば、まず、復号化部によって、（ｘ×ｐ×ｍ）×（ｙ×ｑ×ｎ）画素を有する画像データの、各画素に対応した係数データからなる画像符号化データが復号化される。その際、復号化部は、（ｐ×ｍ）×（ｑ×ｎ）画素からなるマクロブロックに対応した画像符号化データ毎に、順次水平方向に復号化し、各マクロブロック分の画像符号化データについては、それぞれ水平方向のｍ画素及び垂直方向のｎ画素からなる単位ブロックに対応した画像符号化データ毎に、順次水平方向に復号化する。
【００３２】
次に、前記復号化から順次出力される単位ブロック分の係数データは、逆量子化部により逆量子化されて、周波数逆変換部に入力される。
【００３３】
そして、周波数逆変換部では、まず、前記周波数逆変換処理部により、前記逆量子化部から順次出力される単位ブロック分の係数データが、当該単位ブロック毎に周波数逆変換されて画像データに戻され、当該単位ブロック毎の画像データが前記マクロブロック毎に、順次、オーバラップ処理部に入力される。
【００３４】
ついで、オーバラップ処理部では、前記単位ブロック毎、且つマクロブロック毎に順次周波数逆変換された画像データが、前記データ制御部によって受信され、当該単位ブロック毎の画像データが前記内部記憶部に書き込まれる。そして、所定のオーバラップ処理領域分の画像データが前記内部記憶部に格納されると、前記データ制御部は、当該オーバラップ処理領域分の画像データを順次前記内部記憶部から読み出して前記オーバラップ演算部に入力するとともに、１つのマクロブロック分についての処理を終えると、前記内部記憶部に残された水平方向に連続する画素分の画像データを前記内部記憶部から読み出して前記外部記憶部に書き込む。
【００３５】
前記データ制御部は、このようにして、順次マクロブロック毎に入力される画像データを処理する。また、データ制御部は、水平方向の一群のマクロブロックについて処理を終え、次の一群のマクロブロックについて処理する際に、前記外部記憶部に格納された画像データと前記内部記憶部に格納された画像データとを合成したものが、前記オーバラップ処理領域に対応する画像データを含む場合には、該オーバラップ処理領域に対応する画像データを前記外部記憶部及び内部記憶部からそれぞれ読み出して前記オーバラップ演算部に入力する。
【００３６】
一方、オーバラップ演算部では、順次入力される画像データに対しオーバラップ処理を施して、処理後の画像データを順次出力する。
【００３７】
斯くして、本発明の画像復号化装置によれば、前記周波数逆変換部において、周波数逆変換後の画像データを、一時的に、順次記憶部（内部記憶部）に保持するとともに、オーバラップ処理領域に対応する画像データが当該記憶部（内部記憶部）に格納されると、直ちに、当該オーバラップ処理領域に対応する画像データを読み出して、オーバラップ演算部に出力するようにしているので、当該記憶部（内部記憶部）の容量を、マクロブロック分に相当する従来の容量よりも小さい、必要最小限のものにすることができ、そのハードウエア構成をコンパクトなものにすることができる。
【００３８】
また、このような小さな容量で足りることから、当該記憶部をオーバラップ処理部内に設けることができ、この面からも周波数逆変換部全体のハードウエア構成をコンパクトなものにすることができるとともに、当該記憶部をオーバラップ処理部内に設けることで、従来に比べて、処理速度を高めることができ、処理の高効率化を図ることができる。
【発明の効果】
【００３９】
以上のように、本発明に係る画像復号化装置によれば、周波数逆変換部において、周波数逆変換後の画像データを、順次一時的に記憶する記憶部の容量を、従来に比べて小さくすることができ、そのハードウエア構成をコンパクトなものにすることができる。
【００４０】
また、この記憶部をオーバラップ処理部内に設けることができるため、周波数逆変換部全体のハードウエア構成をコンパクトなものにすることができるとともに、従来に比べて、処理速度を高めることができ、処理の高効率化を図ることができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の一実施形態に係る画像復号化装置の概略構成を示したブロック図である。
【図２】本実施形態の周波数逆変換部の概略構成を示したブロック図である。
【図３】本実施形態の周波数逆変換部における処理を説明するための説明図である。
【図４】本実施形態の周波数逆変換部における処理を説明するための説明図である。
【図５】従来の画像復号化装置の概略構成を示したブロック図である。
【図６】従来の周波数逆変換部の概略構成を示したブロック図である。
【図７】従来の画像復号化装置における処理を説明するための説明図である。
【図８】従来の画像復号化装置における処理を説明するための説明図である。
【図９】従来の周波数逆変換部における処理を説明するための説明図である。
【図１０】従来の周波数逆変換部における処理を説明するための説明図である。
【発明を実施するための形態】
【００４２】
以下、本発明の具体的な実施の形態について、図面を参照しながら説明する。
【００４３】
図１は、本実施形態に係る画像復号化装置の概略構成を示したブロック図であり、図２は、周波数逆変換部の概略構成を示したブロック図である。尚、本例の画像復号化装置１は、上述した従来の画像復号化装置１００を改良したものであり、従来の周波数逆変換部１６０とは、その構成が異なる周波数逆変換部１０を備えている点を除いて、当該従来の画像復号化装置１００と同じ構成を備えている。したがって、図１において、同じ構成部分には同じ符号を付している。
【００４４】
図１に示すように、本例の画像復号化装置１は、ビットストリーム解析部１１０、ＶＬＣ復号化部１２０、適応型スキャン部１３０、係数逆予測部１４０、逆量子化部１５０、周波数逆変換部１０及び色空間逆変換部１７０からなる。
【００４５】
上述した従来の画像復号化装置１００についての説明と重複するが、まず、これと同じ構成部分であるビットストリーム解析部１１０、ＶＬＣ復号化部１２０、適応型スキャン部１３０、係数逆予測部１４０、逆量子化部１５０及び色空間逆変換部１７０の概略について説明する。
【００４６】
まず、ビットストリーム解析部１１０は、入力されたビットストリームを解析し、画像情報を抽出するとともに、マクロブロックＭＢ（１６×１６画素）に対応する第１階層データ（ＨＰ係数データ）、第２階層データ（ＬＰ係数データ）及び第３階層データ（ＤＣ係数データ）を、マクロブロックＭＢ単位で分離して、ＶＬＣ復号化部１２０に入力する。
【００４７】
そして、ＶＬＣ復号化部１２０は、前記ビットストリーム解析部１１０においてマクロブロックＭＢ単位で分離された画像符号化データである第１階層データ、２階層データ及び第３階層データに対して、ＶＬＣ復号化処理である可変長復号処理を施して、適応型スキャン部１３０に出力する。
【００４８】
次に、適応型スキャン部１３０は、符号化の際に、定められた手法によって画素順が入れ替えられた第１階層データ及び第２階層データについて、これを符号化時とは逆の手順で入れ替えて、元の画素順に戻す処理を行う。
【００４９】
そして、係数逆予測部１４０は、前記適応型スキャン部１３０から入力したマクロブロックＭＢ単位の前記第１階層データ、第２階層データ、及び第３階層データについて、それぞれ、隣接するマクロブロックＭＢ間において、その値（係数値）を比較することによって予測モードを導出し、導出した予測モードについて設定された演算式に従い、相関の高いマクロブロックＭＢの対応する画素の係数値を、対象画素の係数値に加算することで、各画素について、符号化における予測処理前の係数値を復元（逆予測）する。そして、逆予測後の第１階層データ、第２階層データ及び第３階層データをマクロブロックＭＢ単位で逆量子化部１５０に入力する。
【００５０】
逆量子化部１５０は、係数逆予測部１４０により逆予測された第１階層データ、第２階層データ及び第３階層データを、それぞれ設定された量子化パラメータで乗算して逆量子化する処理を行い、処理後の第１階層データ、第２階層データ及び第３階層データを、マクロブロックＭＢ単位で周波数逆変換部１６０に入力する。
【００５１】
前記色空間逆変換部１７０は、詳しくは後述する周波数逆変換部１０によって周波数逆変換された画像データを、色空間逆変換が不要な場合は当該色空間逆変換を行わず、色空間逆変換が必要な場合は当該色空間逆変換を行った後、処理後の全画素データを、１画像分の画像データとして、外部に出力する。
【００５２】
次に、本例の周波数逆変換部１０の詳細について説明する。
【００５３】
図２に示すように、前記周波数逆変換部１０は、周波数逆変換処理部１６１，オーバラップ処理部１２，及びこのオーバラップ処理部１２の外部に設けられる外部記憶部１６から構成され、更に、オーバラップ処理部１２は、データ制御部１３，内部記憶部１５及びオーバラップ演算部１６４から構成される。
【００５４】
前記周波数逆変換処理部１６１は、前記逆量子化部１５０によって逆量子化されたマクロブロックＭＢ単位の係数データを、単位ブロック（４×４画素）毎の２次元空間データに戻し、更に、この単位ブロック毎に水平方向（ラスター方向）に順次処理して、係数データを画像データに変換した後、変換後の画像データを、前記単位ブロックを１単位として、前記データ制御部１３に入力する。
【００５５】
前記データ制御部１３は、前記周波数逆変換処理部１６１から出力される単位ブロック毎の画像データを受信して、受信した画像データの前記内部記憶部１５及び外部記憶部１６への書き込みと読み出しを行い、更にオーバラップ処理領域ごとの画像データをオーバラップ演算部１６４に入力し、オーバラップ演算部１６４は入力された画像データにオーバラップ処理を施した後、前記色空間逆変換部１７０に出力する。
【００５６】
以下、このデータ制御部１３における処理について、図３及び図４に基づいて説明する。
【００５７】
尚、重複した説明にはなるが、オーバラップ処理部１２におけるオーバラップ処理は、前記周波数逆変換処理部１６１からマクロブロックＭＢ（１６×１６画素）単位で入力される画像データに対して、各単位ブロック（４×４画素）の境界をスムーズにするための処理であり、上述した図８に示すように、周波数逆変換処理部１６１からマクロブロックＭＢ単位で入力される画像データ３００に対し、その左上端部、右上端部、左下端部及び右下端部については、それぞれ６画素（水平方向）×６画素（垂直方向）を単位としてオーバラップ処理を行い、上辺部及び下辺部については、それぞれ４画素（水平方向）×６画素（垂直方向）を単位としてオーバラップ処理を行い、左辺部及び右辺部については、それぞれ６画素（水平方向）×４画素（垂直方向）を単位としてオーバラップ処理を行い、残りの部分については、それぞれ４画素（水平方向）×４画素（垂直方向）を単位としてオーバラップ処理を行う。この単位でオーバラップ処理を施すことで、当該オーバラップ処理の領域が、各単位ブロック（４×４画素）を跨ぐことになり、各単位ブロックの境界をスムーズにすることができる。
【００５８】
そして、このような処理領域でオーバラップ処理を行うために、前記データ制御部１３は、前記周波数逆変換処理部１６１から入力される単位ブロック（４×４画素）毎の画像データを、まず、前記内部記憶部１５に順次格納する。図３（ａ）に、最初（左上端部）のマクロブロックＭＢ分の画像データを内部記憶部１５に格納する、その概念的な状態を示している。同図３（ａ）に示すように、内部記憶部１５には、まず、最初の行に当たる単位ブロック分の画素データが、その左端の単位ブロックものから順に、順次水平方向右隣の単位ブロックの画像データが格納され、同様に、順次下の行のものが格納される。
【００５９】
データ制御部１３は、このようにして、周波数逆変換処理部１６１から入力される画像データを順次内部記憶部１５に格納しながら、当該内部記憶部１５内に、所定のオーバ処理領域に対応した画像データが格納されると、このオーバ処理領域に対応した画像データを内部記憶部１５から読み出して、前記オーバラップ演算部１６４に出力する。この状態を図３（ｂ）に示している。図３（ｂ）では、最初の行に対応する４つの単位ブロック分、及びその次の行の２つの単位ブロック分の画像データが内部記憶部１５に格納されると、左上端部の６×６画素の画像データ（図３（ｂ）において（１）を付した網掛け部分の画素の画像データ）についてオーバラップ処理を行うことが可能であるため、データ制御部１３は、この左上端部の６×６画素の画像データを内部記憶部１５から読み出して、オーバラップ演算部１６４に出力する。
【００６０】
データ制御部１３は、以後同様にして、周波数逆変換処理部１６１から入力される画像データを順次内部記憶部１５に格納しながら、当該内部記憶部１５内に、所定のオーバ処理領域に対応した画像データが格納され時点で、このオーバ処理領域に対応した画像データを内部記憶部１５から読み出して、前記オーバラップ演算部１６４に出力する。図３（ｃ）は、２番目のオーバラップ処理領域（４×６画素）の画像データ（図３（ｃ）において、（２）を付した網掛け部分の画素の画像データ）を、内部記憶部１５から読み出して、オーバラップ演算部１６４に出力した状態を示し、図３（ｄ）は、最初のマクロブロックＭＢ分の画像データの内部記憶部１５への格納を完了するとともに、オーバラップ処理可能な画像データを順次オーバラップ演算部１６４に出力した状態を示している。尚、図３（ｄ）における括弧付の数字の（１）〜（９）は、画像データの出力順を表している。
【００６１】
図３（ｄ）に示すように、最初のマクロブロックＭＢについて、画像データの処理を完了すると、内部記憶部１５内には、最初のマクロブロックＭＢの右２列分の画像データ（斜線部分）と、下２行分の画像データ（縦縞部分）が残される。データ制御部１３は、これらの画像データの内、右２列分の画像データを内部記憶部１５内に残し、下２行分の画像データを内部記憶部１５から読み出して前記外部記憶部１６に格納する処理を行う。
【００６２】
データ制御部１３は、以後、同様にしてマクロブロックＭＢ単位で入力される画像データを処理する。図３（ｅ）及び（ｆ）は、画像データの上辺中間部のマクロブロックＭＢの処理を示し、図３（ｇ）及び（ｈ）は、画像データの右上端部のマクロブロックＭＢの処理を示している。また、図４（ａ）及び（ｂ）は、画像データの左辺中間部のマクロブロックＭＢの処理を示し、図４（ｃ）及び（ｄ）は、画像データの右辺中間部のマクロブロックＭＢの処理を示し、図４（ｅ）及び（ｆ）は、画像データの左下端部のマクロブロックＭＢの処理を示し、図４（ｇ）及び（ｈ）は、画像データの右下端部のマクロブロックＭＢの処理を示している。
【００６３】
図３（ｅ），（ｆ），（ｇ）及び（ｈ）に示すように、データ制御部１３は、上辺中間部及び右上端部のマクロブロックＭＢの処理においては、内部記憶部１５内に残された、それぞれ左隣のマクロブロックＭＢの右２列分の画像データと、新たに内部記憶部１５内に格納された当該マクロブロックＭＢの画像データとを合成した状態から、オーバラップ処理領域に対応した画像データを順次内部記憶部１５から読み出してオーバラップ演算部１６４に出力する。そして、最上行のマクロブロックＭＢを全て処理すると、各マクロブロックＭＢについて、その下２行分の画像データが外部記憶部１６内に格納された状態となる。
【００６４】
また、図４（ａ）〜（ｈ）に示すように、最上行より下の行のマクロブロックＭＢを処理する際には、データ制御部１３は、外部記憶部１６内に格納された、上の行に係るマクロブロックＭＢの下２行分の画像データと、新たに内部記憶部１５内に格納された当該マクロブロックＭＢの画像データとを合成した状態から、オーバラップ処理領域に対応した画像データを順次内部記憶部１５及び外部記憶部１６から読み出してオーバラップ演算部１６４に出力する。尚、一つのマクロブロックＭＢの画像データを処理した後に内部記憶部１５内に残る下２行分の画像データについては、データ制御部１３は、上記と同様にして、内部記憶部１５から読み出して前記外部記憶部１６に格納する。
【００６５】
以上の構成を備えた本例の画像復号化装置１によれば、上述したように、その各部において、画像に係るデータがマクロブロックＭＢ単位で処理され、更に、各マクロブロックＭＢについては、単位ブロック毎に処理される。
【００６６】
そして、画像圧縮データは、まず、ビットストリーム解析部１１０において処理され、マクロブロックＭＢに対応した係数データが、マクロブロックＭＢ単位で抽出される。ついで、抽出された係数データは、ＶＬＣ復号化部１２０において、ＶＬＣ復号化処理（可変長復号処理）が施された後、適応型スキャン部１３０において、符号化時とは逆の手順で入れ替えられて、元の画素順に戻される。
【００６７】
そして、元の画素順に戻された係数データは、係数逆予測部１４０において、符号化における予測処理前の係数値に復元され、次に、逆量子化部１５０において、それぞれ設定された量子化パラメータを乗算することによって逆量子化され、ついで、周波数逆変換部１０において、周波数逆変換処理とオーバラップ処理が施された画像データに復元され、この後、色空間逆変換部１７０において、必要に応じて、色空間逆変換処理が施される。
【００６８】
そして、前記周波数逆変換部１０のオーバラップ処理部１２では、順次、周波数逆変換部１６１から入力される画像データを、データ制御部１３による制御の下で、内部記憶部１５に格納しながら、内部記憶部１５に所定のオーバラップ処理領域に対応した画像データが格納される都度、当該オーバラップ処理領域に対応した画像データを内部記憶部１５から読み出して、オーバラップ演算部１６４においてオーバラップ処理を施す。また、内部記憶部１５に残される画像データの内、マクロブロックＭＢの下２行分の画像データは、当該内部記憶部１５から外部記憶部１６に移送され、隣接するマクロブロックＭＢに係る画像データを処理する際に、当該マクロブロックＭＢに係る画像データと外部記憶部１６に格納された画像データとを合成した状態から、オーバラップ処理領域に対応した画像データを順次内部記憶部１５及び外部記憶部１６から読み出して、オーバラップ演算部１６４においてオーバラップ処理を施す。
【００６９】
斯くして、本例の画像復号化装置１によれば、そのオーバラップ処理部１２において、周波数逆変換後の画像データを、一時的に、順次内部記憶部１５に保持するとともに、オーバラップ処理領域に対応する画像データが当該内部記憶部１５に格納されると、直ちに、当該オーバラップ処理領域に対応する画像データを読み出して、オーバラップ演算部１６４に出力するようにしているので、当該内部記憶部１５の容量を、従来に比べてより小さい、必要最小限のものにすることができ、そのハードウエア構成をコンパクトなものにすることができる。因みに、本例では、図３（ｅ）及び（ｇ）から分かるように、内部記憶部１５の記憶容量は１０８画素分の画像データを記憶することができる容量で足り、従来必要とした２８４画素分の画像データを記憶することができる容量に比べて、半分以下の容量で足りる。
【００７０】
また、このような小さな容量で足りることから、当該記憶部をオーバラップ処理部１２内に設けることができ、この面からも周波数逆変換部１０の全体のハードウエア構成をコンパクトなものにすることができるとともに、オーバラップ処理部１０内に内部記憶部１５を設けることで、従来に比べて、処理速度を高めることができ、処理の高効率化を図ることができる。
【００７１】
以上、本発明の一実施形態について説明したが、本発明に係る具体的な態様は、何ら、これに限定されるものではない。
【００７２】
例えば、上例の画像復号化装置１では、画像データが１６×１６画素のマクロブロック単位で構成され、このマクロブロックが４×４画素の単位ブロックから構成されるものとして、当該画像データを処理するようにしたが、これに限られるものではなく、一般例としては、マクロブロックが水平方向ｐ×ｍ画素及び垂直方向のｑ×ｎ画素から構成され、単位ブロックが水平方向ｍ画素及び垂直方向ｎ画素から構成される画像データを処理するようにしても良い。
【符号の説明】
【００７３】
１    画像復号化装置
１０  周波数逆変換部
１２  オーバラップ処理部
１３  データ制御部
１５  内部記憶部
１６  外部記憶部
１００  画像復号化装置
１１０  ビットストリーム解析部
１２０  ＶＬＣ復号化部
１３０  適応型スキャン部
１４０  係数逆予測部
１５０  逆量子化部
１６０  周波数逆変換部
１６１  周波数逆変換処理部
１６２  オーバラップ処理部
１６３  データ制御部
１６４  オーバラップ演算部
１６５  第１外部記憶部
１６６  第２外部記憶部
１７０  色空間逆変換部
【図１】
2016025362.tif 000003
【図２】
2016025362.tif 000004
【図３】
2016025362.tif 000005
【図４】
2016025362.tif 000006
【図５】
2016025362.tif 000007
【図６】
2016025362.tif 000008
【図７】
2016025362.tif 000009
【図８】
2016025362.tif 000010
【図９】
2016025362.tif 000011
【図１０】
2016025362.tif 000012