(57)【要約】【課題】サイズの大きな画像を処理する際にも従来装置に対して大きな回路及び大幅な修正を加えることなく、また大きなメモリサイズを必要とせずに高速化を実現できる符号復号装置を提供する。【解決手段】本発明の符号復号装置は、画像データを圧縮した符号データを入力として符号に含まれるヘッダーから必要なデータをデコードするヘッダーデコード回路と、画像データを色空間毎のデータに振り分ける色空間データ振分回路と、単一の色空間ごとのデータを入力として符号復号する画像復号回路と、単一の色空間ごとに復号されたデータを全色空間に合成する色空間データ合成回路と、データを格納するメモリ回路を含み、上記画像復号回路は、複数種類の色空間のために複数設けられ、上記メモリ回路は各画像復号回路に対して少なくとも一つ設けられていることを特徴とする。【選択図】図１
2007235678.tif 000002
【特許請求の範囲】
【請求項１】
画像データを圧縮した符号データを入力として、符号に含まれるヘッダーから必要なデータをデコードするヘッダーデコード回路と、
画像データを色空間毎のデータに振り分ける色空間データ振分回路と、
単一の色空間ごとのデータを入力として符号復号する画像復号回路と、
単一の色空間ごとに復号されたデータを全色空間に合成する色空間データ合成回路と、
データを格納するメモリ回路を含み、
上記画像復号回路は、複数種類の色空間のために複数設けられ、上記メモリ回路は各画像復号回路に対して少なくとも一つ設けられていることを特徴とする符号復号装置。
【請求項２】
ＪＰＥＧ２０００符号を入力として、符号に含まれるヘッダーよりサブバンド及びコードブロック内情報をデコードするヘッダーデコード回路と、
ビットストリーム内のＭＱ符号をコンポーネント単位に振り分けかつ各コンポーネントのＭＱ符号をコードブロック単位に振り分けるコンポーネントデータ振分回路と、
コンポーネント毎にコードブロック単位でＭＱ符号をウェーブレット係数に復号するＭＱ復号回路と、
ウェーブレット係数をウェーブレット逆変換するＷＴ復号回路と、
全コンポーネントのウェーブレット係数を合成するコンポーネントデータ合成回路と、
全コンポーネントのウェーブレット係数を用いて逆色変換を行う逆色変換回路と、
データを格納するメモリ回路を含み、
上記ＭＱ復号回路と上記ＷＴ復号回路を備える画像復号回路が、複数種類のコンポーネントのために複数設けられ、上記メモリ回路は各画像復号回路に対して少なくとも一つ設けられていることを特徴とする符号復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続画像処理を行う従来の符号復号装置に関する。
【背景技術】
【０００２】
図４は、連続画像処理を行う従来の符号復号回路のブロック図である。以下では、連続画像処理の例としてＪＰＥＧ２０００を挙げて説明する。
【０００３】
ＪＰＥＧ２０００の符号ストリームの構成は図５のように示される。先頭マーカーとして必須のＳＯＣ（Ｓｔａｒｔ  Ｏｆ  Ｃｏｄｓｔｒｅａｍ）から始まるメインヘッダー、各タイルパートヘッダーの最初に必須であるＳＯＴ（Ｓｔａｒｔ  Ｏｆ  Ｔｉｌｅ−ｐａｒｔ）から始まるタイルパートヘッダー、タイルパートビットストリーム、及び、終了マーカーとして必須であるＥＯＣ（Ｅｎｄ  Ｏｆ  Ｃｏｄｅｓｔｒｅａｍ）から成っている。
【０００４】
タイルパートビットストリームは、パケットヘッダーとパケットデータよりなる複数のパケットが、メインヘッダーで規定された順番（ｐｒｏｇｒｅｓｓｉｏｎ  ｏｒｄｅｒ）で並べられた構造である。ＪＰＥＧ２０００では、以下の表１に示す５つの異なるプログレスオーダー（ｐｒｏｇｒｅｓｓｉｏｎ  ｏｒｄｅｒ）がサポートされている。
【０００５】
【表１】
2007235678.tif 000003
【０００６】
例えば、ＣＰＲＬ（Ｃｏｍｐｏｎｅｎｔ−Ｐｏｓｉｔｉｏｎ−Ｒｅｓｏｌｕｔｉｏｎ  ｌｅｖｅｌ−Ｌａｙｅｒ）のプログレスオーダーでは、ビットストリームが、図６に示すように構成される。
【０００７】
以上のような符号ストリームを持つＪＰＥＧ２０００の復号化の流れを、次に説明する。図７は、従来のＪＰＥＧ２０００符号復号回路１０４’の概略のブロック図である。ＪＰＥＧ２０００符号１２０’は、ヘッダーデコード回路１０６’に入力され、メインヘッダー、タイルパートヘッダー、パケットヘッダー部及びＭＱ符号に切り分けられる。ヘッダーからＭＱ符号を復号するための情報（サブバンド及びコードブロック内情報）がデコードされ、その情報を元に切り分けられたＭＱ符号がコードブロック順にメモリ１１２’内に格納される。ＭＱ復号回路１３０’ではコードブロック単位で処理が行われるため、すべてのＭＱ符号はメモリ１１２’にコードブロック順で格納される（図８参照）。
【０００８】
メモリ１１２’に格納されたＭＱ符号は、コードブロック順でＭＱ復号回路１３０’に入力され、その結果ウェーブレット係数がメモリ１１２’に出力される（図９参照）。その際、出力されるウェーブレット係数は、コードブロック単位でメモリ１１２’に格納され、ＷＴ復号回路１３２’へはライン単位で出力される（図９参照）。
【０００９】
ライン単位で入力されるウェーブレット係数は、ＷＴ復号回路１３２’で画像データ（ＹｃｂＣｒ）に復号され、ライン単位でメモリ１１２’に格納される（図１０参照）。逆色変換回路１１０’では入力された画像データを、以下の表２に示すような式を用いて逆可逆コンポーネント変換（Ｉｎｖｅｒｓｅ−ＲＣＴ）又は逆不可逆コンポーネント変換（Ｉｎｖｅｒｓｅ−ＩＣＴ）が行われる（図１０参照）。逆色変換を行った後、逆色変換回路１１０’から画像データ（ＲＧＢ）が出力される。
【００１０】
【表２】
2007235678.tif 000004
【００１１】
従来の符号復号回路１０４’では、回路規模を小さくするために、コンポーネント毎に回路を持たず１つの回路ですべてのコンポーネントを順次復号する、という方式を採用している。従って、最終的に画像に復号する際に行う逆色変換をできるだけ時間の無駄無く行うには、全てのコンポーネントの情報が必要となる。即ち、図８、９、１０に示す全コンポーネントの画像データをメモリ空間に格納しなければならない。
【００１２】
今後、ハイビジョン画像等のサイズの大きな画像の復号処理を行う必要性が高くなる。しかし、従来の符号復号回路を用いてサイズの大きな画像の符号復号を行うと、データサイズの増加のため処理速度が遅くなり、期待されたような連続画像処理を実現できない可能性が生じ得る。
【００１３】
図１１に示すように、従来の符号復号回路４’を複数セット（図１１では３セット）並列に並べて、連続画像処理速度を上げることが考えられる。確かに図１１のようにすれば、複数フレームが並列に復号され符号復号装置全体として連続画像処理速度を上げることができる。しかし、符号復号装置に必要なメモリ量が符号復号回路４’を並列に並べた分増加し、メモリコストが大きく増加することになる。即ち、図１１のように３セット並列に並べるならばメモリコストは３倍に増加する。つまり、従来の符号復号回路４’を用いてサイズの大きな画像の連続画像復号を行う場合、連続画像処理速度とメモリコストとは、トレードオフの関係になっていることがわかる。
【００１４】
なお、特許文献１は、符号化画像データを復号する復号ユニットと、規定時間内にその符号化画像データの復号が完了しない状勢になったとき以降の復号を簡略化処理に切り替える簡略化ユニットとを含むことを特徴とする画像復号装置を開示する。特許文献２は、画像データを周波数変換する周波数変換手段と、この周波数変換された係数をビットプレーン符号化するビットプレーン符号化手段と、このビットプレーン符号化後の符号を所定の符号量になるまで符号を破棄する符号破棄手段とを備える、画像データを圧縮符号化する画像符号化装置であって、前記符号破棄手段が、所定の第１の符号単位で前記破棄を行う第１の手段と、この第１の符号単位による破棄後に前記第１の符号単位より小さい第２の符号単位で前記破棄を必要に応じて行う第２の手段とを備えていることを特徴とする画像符号化装置を開示する。
【特許文献１】特開２００４−２２９３１４公報
【特許文献２】特開２００５−３９７９３公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
本発明は、ハイビジョン画像のようなサイズの大きな画像を処理する際にも、従来の符号復号装置に対して大きな回路及び大幅な修正を加えることなく、且つ、大きなメモリサイズを必要とせずに、処理高速化を実現できる装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明は、上記の目的を達成するために為されたものである。本発明に係る請求項１に記載の符号復号装置は、
画像データを圧縮した符号データを入力として、符号に含まれるヘッダーから必要なデータをデコードするヘッダーデコード回路と、
画像データを色空間毎のデータに振り分ける色空間データ振分回路と、
単一の色空間ごとのデータを入力として符号復号する画像復号回路と、
単一の色空間ごとに復号されたデータを全色空間に合成する色空間データ合成回路と、
データを格納するメモリ回路を含み、
上記画像復号回路は、複数種類の色空間のために複数設けられ、上記メモリ回路は各画像復号回路に対して少なくとも一つ設けられていることを特徴とする。
【００１７】
本発明に係る請求項２に記載の符号復号装置は、
ＪＰＥＧ２０００符号を入力として、符号に含まれるヘッダーよりサブバンド及びコードブロック内情報をデコードするヘッダーデコード回路と、
ビットストリーム内のＭＱ符号をコンポーネント単位に振り分けかつ各コンポーネントのＭＱ符号をコードブロック単位に振り分けるコンポーネントデータ振分回路と、
コンポーネント毎にコードブロック単位でＭＱ符号をウェーブレット係数に復号するＭＱ復号回路と、
ウェーブレット係数をウェーブレット逆変換するＷＴ復号回路と、
全コンポーネントのウェーブレット係数を合成するコンポーネントデータ合成回路と、
全コンポーネントのウェーブレット係数を用いて逆色変換を行う逆色変換回路と、
データを格納するメモリ回路を含み、
上記ＭＱ復号回路と上記ＷＴ復号回路を備える画像復号回路が、複数種類のコンポーネントのために複数設けられ、上記メモリ回路は各画像復号回路に対して少なくとも一つ設けられていることを特徴とする。
【発明の効果】
【００１８】
本発明を利用することにより、ハイビジョン画像のようなサイズの大きな画像を処理する際にも、従来装置に対して大きな回路及び大幅な修正を加えることなく、また大きなメモリサイズを必要とせずに、高速化を実現できる符号復号装置を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明に係る好適な実施形態を説明する。
【００２０】
［第１の実施形態］
図１は、本発明の第１の実施形態に係る連続画像処理を行う符号復号装置２のブロック図である。図２は、図４に示す従来の符号復号回路４’にセレクタ７を加えた符号復号回路４のセットのブロック図である。図２に示すセットが３つ設置され、更に、色空間データ振分回路１４、色空間データ合成回路１６、及び逆色変換回路１８が設置されて、図１に示す符号復号装置２が構成されている。
【００２１】
図１に示す符号復号装置２にて、図２に示すセットが３つ設けられるのは、３つの色空間を想定しているからである。従って、セットの数は３つでなくてもよい。また、メモリ（１２ａ，１２ｂ，１２ｃ）は、色空間のセット毎に設けられている。
【００２２】
図２に示す回路において、セレクタ７は、ヘッダーデコード回路６と画像復号回路８との間に挿入されている。セレクタ７では、「ＩＮ＿Ａ」から入力された画像符号をヘッダーデコード回路６で切り分けた画像データか、「ＩＮ＿Ｂ」から入力される画像データかを、外部から選択する構成になっている。そのため「ＩＮ＿Ａ」を選択するのであれば、従来の符号復号回路４’（図４参照）と同じように使用できる。
【００２３】
図１に示す符号復号装置２に入力された画像符号は、先ずヘッダーデコード回路１１に入力され、そこでヘッダー部から符号情報がデコードされる。その情報から画像データが切り分けられ、色空間データ振分回路１４に入力される。
【００２４】
色空間データ振分回路１４に入力される画像データは、色空間毎の画像符号に振り分けられる。振り分けられた符号はセレクタ（７ａ、７ｂ、７ｃ）を介して、各色空間のための画像復号回路（８ａ、８ｂ、８ｃ）のセットへと入力される。
【００２５】
例えば、図１の画像符号のデータ（画像符号０、画像符号１、及び画像符号２）の夫々が、３つの色空間データ（ここでは、Ｒ、Ｇ、Ｂとする）で構成されているとすると、色空間Ｒのデータは図１の一番上のセットに、色空間Ｇのデータは図１の真ん中のセットに、色空間Ｂのデータは図１の一番下のセットに、振り分けられて入力される、というようになる。このとき夫々のセットで必要となるメモリ量は、画像符号データを振り分けずに一つのセットに格納する場合と比べて、３分の１になる。
【００２６】
それぞれの画像復号回路（８ａ、８ｂ、８ｃ）のセットで復号された符号は、色空間データ合成回路１６で合成され、逆色変換回路１８に入力され、その結果復号された画像が出力される。
【００２７】
第１の実施形態に係る符号復号装置２においては、色空間毎に符号復号回路のセット及びメモリ回路が設けられることにより、１画像分のデータが分散される。このことによって、それぞれの符号復号回路のセットが一度に格納しなければならないデータが削減される（約３分の１となる）。このようにすることで、従来の符号復号回路４’を１セット用いて符号復号する際（図４参照）に必要なメモリ量（メモリコスト）と略同等のメモリ量で、符号復号を実現できる。
【００２８】
更に、第１の実施形態に係る符号復号装置２と、従来の符号復号回路４’を３セット用いて符号復号するもの（図１１参照）とを、まずメモリ量に重点を置いて比較してみる。従来の符号復号回路４’を３セット用いて符号復号するものでは、各画像復号回路８’ですべての色空間データを復号し、逆色変換回路１０’にデータを入力していかなければならない。そのため、１画像分の色空間データを格納するメモリ１２’が符号復号回路毎に必要になる。
【００２９】
一方、第１の実施形態に係る符号復号装置２では、１つの符号復号回路（４ａ、４ｂ、４ｃ）のセットでは１つの色空間データのみの処理を行うので、メモリ（１２ａ、１２ｂ、１２ｃ）には単一色空間データが格納されるメモリ量を備えればよい。その結果、従来の符号復号回路を３セット用いる場合と比較して、約１／３のメモリ量（メモリコスト）で符号復号を実現できる。
【００３０】
次に、第１の実施形態に係る符号復号装置２と、従来の符号復号回路４’を３セット用いて符号復号するもの（図１１参照）とを、連続画像処理速度に重点を置いて比較してみる。入力する画像を３画像連続で処理する場合を考えると、従来の符号復号回路４’を３セット用いて符号復号するものと、第１の実施形態に係る符号復号装置２とでは、連続３画像分を処理する時間は等しい。このことにより、連続画像処理速度は略同等であるといえる。
【００３１】
従って、第１の実施形態に係る符号復号装置２を用いた連続画像処理では、従来の符号復号回路４’を３セット用いて符号復号するものに必要なメモリコストの１／３で、従来の符号復号回路４’を３セット用いて符号復号するものと同等の連続画像速度を実現できる。
【００３２】
以上のことより、ハイビジョン画像のようなサイズの大きな画像を処理する際にも、従来の符号復号回路４’に対して大幅な修正を加えることなく、またメモリサイズを大きくすることなく、高速化を実現する装置を提供できる。
【００３３】
［第２の実施形態］
図３は、本発明の第２の実施形態に係る連続画像処理を行う符号復号装置１０２のブロック図である。図３に示す装置は、第１の実施形態に係る符号復号装置２においてＪＰＥＧ２０００の符号復号を為すように設定したものである。
【００３４】
入力されたＪ２Ｋ符号１２０は、先ずヘッダーデコード回路１１１に入力され、そこでヘッダー部から符号情報がデコードされる。その情報から画像データが切り分けられ、コンポーネントデータ振分回路１１４に入力される。
【００３５】
コンポーネントデータ振分回路１１４に入力される画像データは、コンポーネント毎の画像符号に振り分けられる。ＪＰＥＧ２０００のビットストリームは、図６のような構成になっているので、ヘッダーデコード回路１１１で切り分けられたＭＱ符号はヘッダー情報から容易に振り分けられ得る。
【００３６】
振り分けられた符号はセレクタ（１０７ａ、１０７ｂ、１０７ｃ）を介して、各コンポーネントのための画像復号回路（１０８ａ、１０８ｂ、１０８ｃ）へ入力される。それぞれの画像復号回路で復号された符号は、コンポーネントデータ合成回路１１６で合成され、逆色変換回路１１８に入力され復号された画像が出力される。
【００３７】
第２の実施形態に係る符号復号装置においても、ハイビジョン画像のようなサイズの大きな画像を処理する際に、従来の符号復号回路に対して大幅な修正を加えることなく、またメモリサイズを大きくすることなく、高速化を実現できる装置とすることができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の第１の実施形態に係る連続画像処理を行う符号復号装置のブロック図である。
【図２】図４に示す従来の符号復号回路にセレクタを加えた符号復号回路のセットのブロック図である。
【図３】本発明の第２の実施形態に係る連続画像処理を行う符号復号装置のブロック図である。
【図４】連続画像処理を行う従来の符号復号回路のブロック図である。
【図５】ＪＰＥＧ２０００の符号ストリームの構成である。
【図６】ＣＰＲＬ（Ｃｏｍｐｏｎｅｎｔ−Ｐｏｓｉｔｉｏｎ−Ｒｅｓｏｌｕｔｉｏｎ  ｌｅｖｅｌ−Ｌａｙｅｒ）のプログレスオーダーでの、ビットストリームの構である。
【図７】従来のＪＰＥＧ２０００符号復号回路の概略のブロック図である。
【図８】従来のＪＰＥＧ２０００符号復号回路における、ヘッダーデコード回路、ＭＱ復号回路、及びメモリの関係を示すブロック図である。
【図９】従来のＪＰＥＧ２０００符号復号回路における、ＭＱ復号回路、ＷＴ復号回路、及びメモリの関係を示すブロック図である。
【図１０】従来のＪＰＥＧ２０００符号復号回路における、ＷＴ復号回路、逆色変換回路、及びメモリの関係を示すブロック図である。
【図１１】従来の符号復号回路を３セット並列して形成される符号復号装置のブロック図である。
【符号の説明】
【００３９】
２・・・符号復号装置、４・・・符号復号回路、６・・・ヘッダーデコード回路、７セレクタ、８・・・画像復号回路、１０・・・逆色変換回路、１２・・・メモリ、１４・・・色空間データ振分回路、１６・・・色空間データ合成回路、１８・・・逆色変換回路、２０・・・画像符号、２２・・・画像。
【図１】
2007235678.tif 000005
【図２】
2007235678.tif 000006
【図３】
2007235678.tif 000007
【図４】
2007235678.tif 000008
【図５】
2007235678.tif 000009
【図６】
2007235678.tif 000010
【図７】
2007235678.tif 000011
【図８】
2007235678.tif 000012
【図９】
2007235678.tif 000013
【図１０】
2007235678.tif 000014
【図１１】
2007235678.tif 000015