(57)【要約】【課題】符号化ストリームのビデオ復号化装置において、画質低下を極力抑えつつ、復号処理に必要なフレーム格納用メモリ使用量を削減する。【解決手段】ビットストリームＢＳの復号化を行う復号化部１０と、復号化部からの復号化ビデオデータＤ１を分割するデータ分割部２０と、データ分割部からの分割ビデオデータＤ２を圧縮するデータ圧縮部３０と、データ圧縮部からの圧縮ビデオデータＤ３を蓄積するデータ蓄積部４０と、データ蓄積部によって蓄積される蓄積データＤ４を伸張するデータ伸張部５０と、前記各部を制御する制御部６０からなり、制御部は、データ分割部に対して復号化ビデオデータを所定サイズに分割するように制御し、データ圧縮部に対して分割ビデオデータの各々に圧縮率を設定して圧縮を行うように制御し、データ伸張部とデータ圧縮部に対して共通の符号化アルゴリズムを用いて圧縮と伸張を行うように制御する。【選択図】図１
2006109266.tif 000002
【特許請求の範囲】
【請求項１】
システムに入力されるビデオデータが符号化されたビットストリームの復号化を行う復号化手段と、
前記復号化手段より出力される復号化ビデオデータを所定のサイズで分割するデータ分割手段と、
前記データ分割手段より出力される分割ビデオデータを所定のアルゴリズムで圧縮するデータ圧縮手段と、
前記データ圧縮手段より出力される圧縮ビデオデータを蓄積するデータ蓄積手段と、
前記データ蓄積手段によって蓄積される蓄積データを所定のアルゴリズムで伸張するデータ伸張手段と、
前記復号化手段と前記データ分割手段と前記データ圧縮手段と前記データ伸張手段を制御する制御手段とからなり、
前記制御手段は、前記データ分割手段に対して前記復号化ビデオデータを所定サイズに分割するように制御し、前記データ圧縮手段に対して前記分割ビデオデータの各々に圧縮率を設定して圧縮を行うように制御し、前記データ伸張手段と前記データ圧縮手段に対して共通の符号化アルゴリズムを用いて圧縮と伸張を行うように制御するように構成されているビデオ復号化装置。
【請求項２】
前記復号化手段は、前記制御手段に対して前記ビットストリームに含まれる動きベクトル情報を出力し、
前記制御手段は、前記動きベクトル情報に応じて前記圧縮率を設定し、前記データ圧縮手段に対して前記圧縮率で前記分割ビデオデータを圧縮するように制御する請求項１に記載のビデオ復号化装置。
【請求項３】
前記制御手段は、前記復号化手段から出力される前記復号化ビデオデータから輝度情報を抽出し、前記輝度情報に応じて前記圧縮率を設定し、前記データ圧縮手段に対して前記圧縮率で前記分割ビデオデータを圧縮するように制御する請求項１に記載のビデオ復号化装置。
【請求項４】
前記制御手段は、前記復号化手段から出力される前記復号化ビデオデータから色情報を抽出し、前記色情報に応じて前記圧縮率を設定し、前記データ圧縮手段に対して前記圧縮率で前記分割ビデオデータを圧縮するように制御する請求項１に記載のビデオ復号化装置。
【請求項５】
前記制御手段は、前記データ分割手段より出力される前記分割ビデオデータが前記データ圧縮手段に入力される度に前記圧縮率を決定して圧縮を行うよう前記データ圧縮手段を制御する請求項２から請求項４までのいずれかに記載のビデオ復号化装置。
【請求項６】
前記制御手段は、前記データ分割手段より出力される前記分割ビデオデータの１フレーム分の復号化が完了した後に前記圧縮率を決定してその分割ビデオデータの圧縮を行うよう前記データ圧縮手段を制御する請求項２から請求項４までのいずれかに記載のビデオ復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化されたビデオデータであるビットストリームを復号化するビデオ復号化装置にかかわり、特には、ＭＰＥＧ復号システム等で必要とされるビデオメモリサイズの削減の技術に関する。
【背景技術】
【０００２】
従来の技術におけるビデオ復号化装置で用いられている圧縮アルゴリズムは、次の２つのステップに分けられる。
【０００３】
（１）誤差拡散アルゴリズムによるデータ圧縮
基本的圧縮単位は、４つの連続した水平画素を含む「カルテット」と定義される。誤差拡散圧縮により、カルテットの各画素を個別に圧縮する。１ビット誤差拡散アルゴリズムを用いることにより、本来３２ビット（４画素×８ビット／画素）を有する画素のカルテットは、２８ビットに圧縮される（４画素×７ビット／画素）。
【０００４】
（２）カルテット当たり１画素切り捨てによるデータ圧縮
次のステップでは、「カルテット当たり１画素切り捨て」を行う。カルテット当たり１画素切り捨てアルゴリズムは、４つの７ビット画素のカルテットを２４ビットカルテットに圧縮するものである。データ圧縮器は、切り捨てるカルテットの最良の画素を計算し、再構築記述子（「ＲＤ」）としてカルテットの最後の３ビットに再構築方法を格納する。この圧縮段階の後、画素の圧縮されたカルテットは２４ビットを有する（３画素×７ビット／画素＋３ビットＲＤ）。
【特許文献１】特表２００２−５３４８６５公報（第３７−４４頁、第１４図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来技術では、均一にデータを削減するアルゴリズムを用いているが、これは画質低下を伴う。上記の例では、（１）の「誤差拡散アルゴリズムによるデータ圧縮」のステップで１画素当たり８ビットから７ビットに減じているため、１画素当たりで表現可能な階調数が２５６階調から１２８階調に半減する。さらに（２）の「カルテット当たり１画素切り捨てによるデータ圧縮」により、４画素中の１画素の情報が再構築記述子に置き換えられ、オリジナルの情報が失われることになる。
【０００６】
従来技術の画像情報から均一にデータ量を削減するアプローチは、削減後のデータ量が一定となるためメモリ管理が容易になる。しかし、上記のように画像上の全ての４画素ごとに画質低下が生じるため、画面全体にわたって画質が低下する。
【０００７】
符号化されたビデオデータのビットストリームを復号化するために必要となるデータ蓄積部は数フレーム分を必要とする。しかし、これは非常に大きな容量であり、使用メモリの増加、すなわちシステムコストの増加に繋がる。
【０００８】
本発明は、このような事情に鑑みて創作したものであり、圧縮時の画質低下を抑えつつ、効率的にデータ蓄積容量を削減できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明においては、メモリ使用量の削減のためのデータ圧縮を行うに当たって、圧縮による画質低下が目立たない部分に対して高い圧縮率で圧縮を行い、画質低下が目立つ部分には低い圧縮率で圧縮を行うことで、全体的な画質低下を抑える。圧縮による画質低下が目立つ部分の判断は、符号化ストリームに含まれる動きベクトル情報や、復号化後のビデオストリームに含まれる輝度情報や色情報に基づいて行う。
【００１０】
すなわち、本発明によるビデオ復号化装置は、
システムに入力されるビデオデータが符号化されたビットストリームの復号化を行う復号化手段と、
前記復号化手段より出力される復号化ビデオデータを所定のサイズで分割するデータ分割手段と、
前記データ分割手段より出力される分割ビデオデータを所定のアルゴリズムで圧縮するデータ圧縮手段と、
前記データ圧縮手段より出力される圧縮ビデオデータを蓄積するデータ蓄積手段と、
前記データ蓄積手段によって蓄積される蓄積データを所定のアルゴリズムで伸張するデータ伸張手段と、
前記復号化手段と前記データ分割手段と前記データ圧縮手段と前記データ伸張手段を制御する制御手段とからなり、
前記制御手段は、前記データ分割手段に対して前記復号化ビデオデータを所定サイズに分割するように制御し、前記データ圧縮手段に対して前記分割ビデオデータの各々に圧縮率を設定して圧縮を行うように制御し、前記データ伸張手段と前記データ圧縮手段に対して共通の符号化アルゴリズムを用いて圧縮と伸張を行うように制御するものとして構成されている。
【００１１】
この構成によれば、データ分割手段により復号化ビデオデータを分割した上で、各分割ビデオデータに、その映像やデータの特性に応じて個別に圧縮率を設定し、適応的に圧縮する。これにより、映像やデータの特性に応じて効率良くデータ配分を行うことができ、圧縮時の画質低下を抑え、効率的にデータ蓄積容量を削減できる。
【００１２】
上記構成において、前記復号化手段および前記制御手段については、その１つの態様として、前記復号化手段が、前記制御手段に対して前記ビットストリームに含まれる動きベクトル情報を出力し、前記制御手段が、前記動きベクトル情報に応じて前記圧縮率を設定し、前記データ圧縮手段に対して前記圧縮率で前記分割ビデオデータを圧縮するように制御するものとして構成されているのが好ましい。
【００１３】
動きの激しい画像部分は動きベクトルが大きい。動きの激しいほど、人間の目には画質劣化が目立たなくなる。そこで、大きい動きベクトル値を含んだ画像領域を復号化したデータに対しては高い圧縮率で圧縮を行い割り当てデータ量を少なくし、小さい動きベクトル値を含んだ画像領域を復号化したデータに対しては低い圧縮率で圧縮を行い割り当てデータ量を多くする。その結果として、画質低下を抑えつつ、全体としてデータ圧縮の効率が改善され、復号化に必要なメモリ使用量の削減が可能となる。
【００１４】
また、上記構成において、前記制御手段については、別の態様として、前記復号化手段から出力される前記復号化ビデオデータから輝度情報を抽出し、前記輝度情報に応じて前記圧縮率を設定し、前記データ圧縮手段に対して前記圧縮率で前記分割ビデオデータを圧縮するように制御するものとして構成されているのが好ましい。
【００１５】
人間の視覚では、一定量の輝度変化があった場合、輝度値の高い領域での変化よりも低い領域での変化の方が明るさの変化をより大きく感じる。そこで、輝度値の高い領域を復号化したデータに対しては高い圧縮率で圧縮を行い割り当てデータ量を少なくし、輝度値の低い領域を復号化したデータに対しては低い圧縮率で圧縮を行い割り当てデータ量を多くする。その結果として、画質低下を抑えつつ、全体としてデータ圧縮の効率が改善され、復号化に必要なメモリ使用量の削減が可能となる。
【００１６】
また、上記構成において、前記制御手段については、別の態様として、前記復号化手段から出力される前記復号化ビデオデータから色情報を抽出し、前記色情報に応じて前記圧縮率を設定し、前記データ圧縮手段に対して前記圧縮率で前記分割ビデオデータを圧縮するように制御するものとして構成されているのが好ましい。
【００１７】
一般的な映画などの映像コンテンツにおいて、視聴者が最も注目するのは人物であり、色情報という観点においても肌色や赤系統の色が付与された領域に注意が注がれる傾向がある。そこで、例えば、肌色の領域に着目する場合、肌色の画像部分を含まない領域を復号化したデータに対しては高い圧縮率で圧縮を行い割り当てデータ量を少なくし、肌色の画像部分を多く含む領域を復号化したデータに対しては低い圧縮率で圧縮を行い割り当てデータ量を多くする。その結果として、画質低下を抑えつつ、全体としてデータ圧縮の効率が改善され、復号化に必要なメモリ使用量の削減が可能となる。
【００１８】
また、上記構成において、前記制御手段については、別の態様として、前記データ分割手段より出力される前記分割ビデオデータが前記データ圧縮手段に入力される度に前記圧縮率を決定して圧縮を行うよう前記データ圧縮手段を制御するものとして構成されているのが好ましい。
【００１９】
復号化手段より順に入力される分割ビデオデータに対して随時に圧縮率を設定してゆき、最終的に１画面分の圧縮データの総和が一定サイズ以下となるように圧縮率の配分を行う。圧縮率に関しては動的に調整を行う。例えば、圧縮後の平均圧縮率が目標圧縮率を下回りそうであれば、平均圧縮率が高くなるように調整してデータ量を減らし、目標圧縮率を上回りそうであれば平均圧縮率が低くなるように調整してデータ量を増やすようにする。その結果として、データ蓄積手段にビデオデータを格納する際、１回のデータ入力で動的に圧縮率を変更し設定する。これにより、ＭＰＥＧ等の復号処理には変更を施さないで、復号化に必要なメモリ使用量の削減を行うことが可能となる。
【００２０】
また、上記構成において、前記制御手段については、別の態様として、前記データ分割手段より出力される前記分割ビデオデータの１フレーム分の復号化が完了した後に前記圧縮率を決定してその分割ビデオデータの圧縮を行うよう前記データ圧縮手段を制御するものとして構成されているのが好ましい。
【００２１】
この場合、復号化手段より入力される分割ビデオデータに対して最適な圧縮率の配分を行うために、データの入力を２回行う。１回目の入力で、全ての分割領域に対する圧縮パラメータを取得して、目標圧縮率と各々の圧縮パラメータの比率からそれぞれの圧縮率を算出し、２回目の入力で、既に算出した圧縮率に基づいて圧縮を行う。その結果として、データ蓄積手段に復号化済みビデオデータを格納する際、２回入力で圧縮率を設定して格納することにより、より効率的にデータ割り当てを行うことができ、画質の低下を抑えつつ、復号化に必要なメモリ使用量の削減が可能となる。
【発明の効果】
【００２２】
本発明は、符号化されたビデオデータのビットストリームの復号化に必要なデータ蓄積ための使用メモリを削減するためのアプローチであり、本発明によれば、映像やデータの特性に応じて効率良くデータ配分を行うことによって圧縮時の画質低下を抑え、効率的にデータ蓄積容量を削減することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明にかかわるビデオ復号化装置の実施の形態を図面に基づいて詳細に説明する。ここでは、ＭＰＥＧストリームの復号化装置を例に、そのメモリ削減方法について説明する。
【００２４】
（ＭＰＥＧの説明）
ＭＰＥＧ（Moving Picture Experts Group）規格に従った圧縮とは、１フレーム分の画像内での空間周波数特性と、過去および未来に再生されるべき画像との時間相関特性とを用いた圧縮である。この圧縮を経ることにより、各ピクチャデータは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのうち何れかに変換される。Ｉピクチャ（Intra（フレーム内符号化画像））は、時間相関特性を用いず、１フレーム分の画像内での空間周波数特性を利用して圧縮されているものである。Ｐピクチャ（Predictive（フレーム間順方向予測符号化画像））は、過去方向に再生されるべき画像との時間相関特性を用いて圧縮されているものである。Ｂピクチャ（Bidirectionallypredictive（双方向予測符号化画像）は、過去方向および未来方向に再生されるべき画像との時間相関特性を用いて圧縮されているものである。
【００２５】
Ｉピクチャはピクチャ内符号化を行うため、復号化の際には他のピクチャを参照することなく再生できる。しかし、Ｐピクチャは過去のＩピクチャまたはＰピクチャを参照してピクチャ間符号化するため、復号化の際には過去のＩピクチャまたはＰピクチャが復号化されていないと復号化できない。また、Ｂピクチャは過去および未来の両方向のＩピクチャまたはＰピクチャを用いて符号化するため、復号化の際には予測に用いた過去および未来のＩピクチャまたはＰピクチャが復号化されている必要がある。このため、各ピクチャの表示順番と符号化順番とが一致しない現象が生じる。つまり、映像としてはＩ→Ｂ→Ｐという表示順であっても、符号化あるいは復号化はＩ→Ｐ→Ｂという順で行われる。
【００２６】
（動きベクトルの説明）
ＭＰＥＧ規格での符号化に利用される動きベクトルに関して説明する。動きベクトルは、ＭＰＥＧ方式に基づいた動画像の圧縮時において実行される動き補償処理に用いられるものである。動き補償処理では、符号化する画像を１６画素×１６画素のマクロブロックに分割する。そして、各マクロブロック内の各画素値と、過去および未来のいずれか一方の画像内の対応する画素値との差の絶対値をとる。その絶対値をマクロブロック内の全ての画素について加算し、絶対値の総和を求める。そして、絶対値の総和が最小となる領域を探し、その領域と符号化する画像の、そのマクロブロックとの位置関係を動きベクトルとして符号化する。これによって実際に符号化する情報量の削減が可能となる。
【００２７】
（ビデオ復号化装置の説明）
図１に本発明の実施の形態におけるＭＰＥＧ復号化装置の構成を示す。ＢＳはビットストリーム、１０は復号化部、Ｄ１は復号化ビデオデータ、２０はデータ分割部、Ｄ２は分割ビデオデータ、３０はデータ圧縮部、Ｄ３は圧縮ビデオデータ、４０はデータ蓄積部、Ｄ４は蓄積データ、５０はデータ伸張部、６０は制御部である。復号化部１０はさらに分離部１１、可変長復号化部１２、逆量子化部１３、逆ＤＣＴ部１４、動き補償部１５から構成されている。
【００２８】
（復号化部の説明）
復号化部１０の動作について説明する。分離部１１は、入力されたビットストリームＢＳを動きベクトル情報などの情報と、変換係数データに分離する。ここで変換係数とは、ＤＣＴ係数データを量子化し、可変長符号化されたデータである。可変長復号化部１２は、分離部１１によって分離された変換係数を可変長復号化し、量子化されたＤＣＴ係数データを出力する。逆量子化部１３は、可変長復号化部１２によって可変長復号化されたＤＣＴ係数データを逆量子化する。逆ＤＣＴ部１４は逆量子化部１３によって逆量子化されたＤＣＴ係数データに逆ＤＣＴ処理を行い、画像データとして復号化する。Ｐピクチャ、Ｂピクチャをデコードする際には、動き補償部１５が過去に復号化したＩピクチャまたはＰピクチャと、分離部１１によって分離された動きベクトルデータを用いて動き補償処理を行い、逆ＤＣＴ部１４で復号化された画像データと加算することによって復号化される。復号化されたデータは復号化ビデオデータＤ１として復号化部１０より出力される。
【００２９】
（データ分割部、データ圧縮部、データ蓄積部、データ伸張部の説明）
データ分割部２０は制御部６０によって制御され、復号化部１０で復号化された復号化ビデオデータＤ１を所定のサイズで分割して分割ビデオデータＤ２を生成し、データ圧縮部３０に出力する。
【００３０】
データ圧縮部３０は制御部６０によって制御され、データ分割部２０で分割された分割ビデオデータＤ２をデータ蓄積部４０に格納する際に所定の圧縮アルゴリズムでデータ圧縮処理を行う。この際、それぞれの分割ビデオデータＤ２に対して任意の圧縮率で圧縮が行われる。データ圧縮部３０で出力されたデータは圧縮ビデオデータＤ３となり、データ蓄積部４０に蓄積される。
【００３１】
データ蓄積部４０は、ＭＰＥＧ復号化のためのメモリである。上記で説明した通り、Ｐピクチャを復号化するためにはＩピクチャが先に復号化されている必要があり、Ｐピクチャの復号化が行われるまで、復号化済みのＩピクチャのフレームデータはデータ蓄積部４０に格納される。Ｂピクチャの復号化時も同様に、Ｂピクチャの復号化に必要な復号化済みのＩピクチャとＰピクチャのフレームデータはデータ蓄積部４０に格納される。格納されたデータは蓄積データＤ４となる。
【００３２】
データ伸張部５０は、データ圧縮部３０と同一の符号化アルゴリズムで伸張処理を行い、データ蓄積部４０から蓄積データＤ４を読み出す際にビデオデータを伸張する。データ圧縮部３０で行われる圧縮アルゴリズムは特に限定されないが、圧縮率を任意に変更できるアルゴリズムであることが好ましい。
【００３３】
（発明の実施の形態の説明）
従来の技術によると、復号化ビデオデータＤ１を圧縮してデータ蓄積部４０に格納することにより、復号化に必要なメモリ使用量を削減することができる。しかし、この際に対象となるデータ１フレーム分全てのデータ対して均一に、同一のアルゴリズムを用いた非可逆圧縮を適用するため、画面一様に画質低下が生じることになる。
【００３４】
これに対し本発明の実施の形態では、復号化ビデオデータＤ１を複数の領域に分割し、各々の分割領域に対して、圧縮の有無や圧縮率の強弱（圧縮パラメータと呼ぶ）を適切に設定して圧縮を行うことによって、画質の低下を防ぎつつ、復号化に必要なメモリ使用量を削減する。
【００３５】
各々の分割領域に対して異なる圧縮を行うためには、まず分割領域を所定の手段で評価し、その評価結果に基づき、その分割領域に対する圧縮パラメータを決定する必要がある。実施の形態１〜３は、各分割領域に対して圧縮パラメータを決定するための評価方法に関する。
【００３６】
（実施の形態１）
本発明の実施の形態１におけるビデオ復号化装置は、動きベクトル情報を使用して圧縮パラメータを決定する方法を適用したものである。
【００３７】
ＭＰＥＧアルゴリズムで圧縮されたビットストリームＢＳは、動きベクトル情報を含んでいる。上述した通り、動きベクトルは復号化対象となるマクロブロックと、過去および未来の画像との位置関係を示す情報であり、動きベクトル情報が大きいほど画像の離れた位置にある情報を参照している。つまり、動きベクトルの大きいマクロブロックほど動きの激しい部分と考えられる。
【００３８】
動きの激しい部分であるほど、人間の目には画質劣化が目立たなくなるため、大きい動きベクトル値を含んだマクロブロック領域を復号化したデータに対しては高い圧縮率で圧縮を行い、小さい動きベクトル値を含んだマクロブロックを復号化したデータに対しては低い圧縮率で圧縮を行うようにすれば、データ圧縮の効率が良くなる。
【００３９】
図１において、復号化部１０は復号化ビデオデータＤ１をデータ分割部２０に出力し、データ分割部２０はマクロブロック単位で復号化ビデオデータＤ１を分割してデータ圧縮部３０に出力する。この際、制御部６０は、復号化部１０を制御してそのマクロブロックの符号化情報として含まれていた動きベクトル情報を取得し、その大きさに応じてデータ圧縮部３０を制御して圧縮率を設定してデータ圧縮を行う。ここで、上述した評価基準によれば、動きベクトル値が大きければ圧縮率を高くし、動きベクトル値が小さければ圧縮率を低くする。
【００４０】
実施の形態１によれば、動きベクトル情報に着目し、動きの大きい領域ほど圧縮率を高くして割り当てデータ量を少なくすることにより、画質低下を抑えつつ、復号化に必要なメモリ使用量の削減が可能となる。
【００４１】
（実施の形態２）
本発明の実施の形態２におけるビデオ復号化装置は、画像の輝度情報を使用して圧縮パラメータを決定する方法を適用したものである。
【００４２】
人間が視覚で感じる明るさという感覚量は、輝度情報とは線形に対応しないことが知られている。Ｓｔｅｖｅｎｓの法則によると、人間の感覚は刺激の大きさの指数乗に比例し、明るさの場合、この指数は０．３３であると言われている。この法則によると、例えば輝度が１０倍、１００倍になったとしても、明るさとしては２．１４倍、４．５７倍にしかならない（１０0.33≒２．１４。１００0.33≒４．５７。）。このため人間の視覚では、一定量の輝度変化があった場合、輝度値の高い領域での変化よりも、低い領域での変化の方が明るさの変化をより大きく感じることになる。
【００４３】
実施の形態２においては、この視覚の特性を利用する。すなわち、輝度値の高い領域を復号化したデータに対しては高い圧縮率で圧縮を行い、輝度値の低い領域を復号化したデータに対しては低い圧縮率で圧縮を行うようにする。
【００４４】
図１において、復号化部１０は復号化ビデオデータＤ１をデータ分割部２０に出力し、データ分割部２０は所定のブロック（例えば、マクロブロック単位）で分割し、データ圧縮部３０に出力する。データ圧縮部３０は、分割ビデオデータＤ２のブロックごとにブロック内の全画素の輝度値の総和を算出し、その値に基づいて圧縮率を設定する。つまり、上述した評価基準によれば、輝度値の総和が大きい値であれば圧縮率を高くし、輝度値の総和が小さい値であれば圧縮率を低くする。
【００４５】
実施の形態２によれば、画像の輝度情報に着目し、輝度の高い領域ほど圧縮率を高くして割り当てデータ量を少なくすることにより、画質低下を抑えつつ、復号化に必要なメモリ使用量の削減が可能となる。
【００４６】
（実施の形態３）
本発明の実施の形態３におけるビデオ復号化装置は、画像の色情報を使用して圧縮パラメータを決定する方法を適用したものである。
【００４７】
一般的な映画などの映像コンテンツにおいて、視聴者が最も注目するのは人物であり、色情報という観点においても肌色や赤系統の色が付与された領域に注意が注がれる傾向がある。また、人間の視覚では色そのものに対する感覚が輝度に対して低く、１画素当たりの階調数を輝度に対しては８ビットとし、色差に対しては７ビットとしてもよい。
【００４８】
実施の形態３においては、例えば肌色の領域に着目する場合、肌色の画像部分を含まない領域を復号化したデータに対しては高い圧縮率で圧縮を行い、肌色の画像部分を多く含む領域を復号化したデータに対しては低い圧縮率で圧縮を行うようにする。
【００４９】
図１において、復号化部１０は復号化ビデオデータＤ１をデータ分割部２０に出力し、データ分割部２０は所定のブロック（例えば、マクロブロック単位）で分割し、データ圧縮部３０に出力する。データ圧縮部３０は、各分割ビデオデータＤ２のブロック内全画素の中から肌色と判定される画素数をカウントし、その値に基づいて圧縮率を設定する。つまり、上述した評価基準によれば、肌色の画素数が少なければ圧縮率を高くし、肌色の画素数が多ければ圧縮率を低くする。
【００５０】
実施の形態３によれば、画像の色情報に着目し、肌色を含まない領域ほど圧縮率を高くして割り当てデータ量を少なくすることにより、画質低下を抑えつつ、復号化に必要なメモリ使用量の削減が可能となる。
【００５１】
（実施の形態１〜３における課題）
本発明の目的は復号化に必要なメモリ使用量の削減であるため、実施の形態１〜３において、圧縮後のデータ量が圧縮前のデータに比して一定量にまで削減されることを保証しなくてはならない。しかし、入力されるビデオデータのパターンは無数に存在するため、あらゆるパターンに対して一定の基準で圧縮を行うと、圧縮後のデータ量は一定に定まらなくなる。この課題を解決するため、１フレーム分の圧縮後のデータの総和が一定量になるように、圧縮を行う分割領域単位で圧縮パラメータの調整を行う。
【００５２】
実施の形態４、実施の形態５は、実施の形態１〜３で説明した分割領域の各々に対して、圧縮パラメータの調整を行う方法に関する。したがって、実施の形態４、実施の形態５は、実施の形態１〜３のいずれかと組み合わせて実施する。
【００５３】
（実施の形態４）
本発明の実施の形態４におけるビデオ復号化装置は、分割領域に対して、１パスで分割領域の各々に対して動的に圧縮率を変更して設定する方法を適用したものである。
【００５４】
１パスでの圧縮率の設定とは、復号化部１０より順に入力される分割領域（圧縮単位に相当する）に対して随時に圧縮率を設定してゆき、最終的にフレームデータ１画面分の圧縮データの総和が一定サイズ以下となるように圧縮率の配分を行う手法である。圧縮率に関しては動的に調整を行い、圧縮後の平均圧縮率が目標圧縮率を下回りそうであれば、平均圧縮率が高くなるように調整してデータ量を減らし、目標圧縮率を上回りそうであれば平均圧縮率が低くなるように調整してデータ量を増やすようにする。
【００５５】
実施の形態４によれば、データ蓄積部４０にビデオデータを格納する際、１回のデータ入力で動的に圧縮率を変更し設定する。これによりＭＰＥＧ復号処理については、その変更の必要がなく、復号化に必要なメモリ使用量の削減を行うことが可能となる。
【００５６】
（実施の形態５）
本発明の実施の形態５におけるビデオ復号化装置は、分割領域に対して、２パスで前記分割領域の各々に対して圧縮率を設定する方法を適用したものである。
【００５７】
２パスでの圧縮率の設定とは、復号化部１０より入力されるフレームデータの各分割領域（圧縮単位に相当する）に対して最適な圧縮率の配分を行うために、データの入力を２回行う手法である。１回目の入力で、全ての分割領域に対する圧縮パラメータを取得して、目標圧縮率と各々の圧縮パラメータの比率からそれぞれの圧縮率を算出し、２回目の入力で、既に算出した圧縮率に基づいて圧縮を行う。
【００５８】
実施の形態５によれば、データ蓄積部４０に復号化済みビデオデータを格納する際、２パスで圧縮率を設定して格納することにより、より効率的にデータ割り当てを行うことができ、画質の低下を抑えつつ、復号化に必要なメモリ使用量の削減が可能となる。
【００５９】
（実施例）
実施の形態１〜３のうちのいずれか１つと実施の形態４〜５のうちのいずれか１つとを組み合わせることで具体的な効果を得ることができる。したがって、以下の３つの組み合わせに関して説明を行うことで、各実施の形態の実施例とする。
【００６０】
（実施例１）実施の形態１（画像データ内のマクロブロックの動きベクトル情報）と実施の形態４の組み合わせ
（実施例２）実施の形態２（画像データ内の輝度情報）と実施の形態４の組み合わせ
（実施例３）実施の形態３（画像データ内の色情報）と実施の形態５の組み合わせ
（実施例１）
本発明のビデオ復号化装置の実施例として、実施の形態１による動きベクトルを圧縮パラメータとして復号化に必要なメモリ使用量を削減する方法を説明する。１フレーム内の画素数を横６４画素×縦４８画素とし、１画素当たりの情報量として輝度成分１Ｂｙｔｅ（８ｂｉｔ）と色成分１Ｂｙｔｅ（８ｂｉｔ）の合計２Ｂｙｔｅを持っているとすると、全く圧縮を行わない場合、１フレーム分の画像情報量は、６４×４８×２＝６，１４４Ｂｙｔｅとなる。
【００６１】
１フレーム分の画像を縦１６画素×横１６画素のマクロブロック単位に分割すると、横４×縦３で、合計１２個のマクロブロックに分割することができる。それぞれのマクロブロックには符号化時に動きベクトルが付与されており、制御部６０は復号化部１０を制御することによって、この動きベクトルの大きさを参照し、データ圧縮部３０を制御してデータ圧縮を行う。
【００６２】
実施の形態１によれば、動きベクトルの値が大きいマクロブロックほど圧縮率を高く、動きベクトルの値が小さいマクロブロックほど圧縮率を低くすることにより画質低下を抑えることができるが、ここでは説明を簡潔にするため、圧縮率は３段階（大／中／小）のいずれかのレベルを使用するものとする。
【００６３】
図２（ａ）にマクロブロックに分割したフレームデータの動きベクトルのパラメータ例を示す。図中の１つの枠がマクロブロックに相当し、枠内の数字が動きベクトルの大きさを表す。圧縮率は０％（無圧縮）、２５％、５０％の３段階のレベルを使用し、目標圧縮率を２５％（メモリ使用量：４，６０８Ｂｙｔｅ＝６，１４４×（１−０．２５））とする。また、各マクロブロックに圧縮を行った結果、全てのデータの圧縮率の平均が目標圧縮率となるように、実施の形態４による圧縮率の調整を適用する。以下に、図２（ａ）で挙げたデータを例に実施例を説明する。
【００６４】
実施の形態４によれば、１パスで圧縮を行う際には、設定された目標圧縮率に応じて動的に圧縮率の調整を行うことで、最終的に目標圧縮率に収まるようにする。
【００６５】
まず、基準となる圧縮率を設定するための条件を定める必要がある。これは動きベクトルの大きさに対して閾値Ａ、閾値Ｂ（閾値Ａ＜閾値Ｂとする）を設け、動きベクトルの大きさが閾値Ａ未満の値であれば小レベルの圧縮率で圧縮を行い、閾値Ａ以上、閾値Ｂ未満の値であれば中レベルの圧縮率で圧縮を行い、閾値Ｂ以上の値であれば大レベルの圧縮を行うようにする。
【００６６】
図１において、復号化部１０で復号化されたフレームデータがデータ分割部２０によって分離され、データ圧縮部３０に出力される。出力順は、図２（ａ）での格子状に並んだマクロブロックの、上段、中段、下段の順で左から右に向かってデータが出力されるものとする。また、動きベクトルの大きさの閾値としては、閾値Ａ＝３０、閾値Ｂ＝６０とする。
【００６７】
まず、図２（ａ）における上段１列目マクロブロックの動きベクトルの大きさは１０であり、閾値Ａよりも小さい値なので、圧縮率は０％とする。同様に上段２列目、３列目、４列目のマクロブロックに関しても閾値Ａ未満の値であるため、圧縮率は０％と決定される。
【００６８】
次に、中段１列目マクロブロックの動きベクトルの大きさは３０であり、閾値Ａ以上、閾値Ｂ未満となるため、圧縮率は２５％となる。同様に中段２列目、３列目のマクロブロックも閾値Ａ以上、閾値Ｂ未満であるため、圧縮率は２５％と決定される。
【００６９】
中段４列目マクロブロックの動きベクトルの大きさは２０であり、閾値Ａ未満の値であるため、本来は圧縮率を０％と設定すべきであるが、ここで０％と設定すると、合計の平均圧縮率が目標値である２５％を下回るため、圧縮率の調整を行う。具体的には、本来の圧縮率から圧縮レベルを１つ上げる。これにより、中段４列目のマクロブロックの圧縮率は２５％と決定される。
【００７０】
下段１列目マクロブロックの動きベクトルの大きさは８５であり、閾値Ｂ以上の値であるため、圧縮率を５０％とする。下段２列目マクロブロックも同様に閾値Ｂ以上の値であるため、圧縮率を５０％とする。
【００７１】
下段３列目と４列目のマクロブロックの動きベクトルの大きさは５０と１５であり、閾値と比較すると、それぞれ２５％、０％と設定すべきであるが、この値を設定すると、合計の平均圧縮率が目標値である２５％を下回ってしまうため、圧縮率の調整を行う。合計の平均圧縮率を目標値である２５％にするためには、下段３列目、４列目のデータ共に５０％にする必要がある。これにより、この２つのマクロブロックの圧縮率は共に５０％と決定される。実施の形態４により決定された圧縮率を図２（ｂ）に示す。
【００７２】
ここで、平均圧縮率は（０×４＋２５×４＋５０×４）／１２＝２５（％）となり、復号化に必要なメモリ使用量が２５％削減されたことになる。
【００７３】
以上に示したように、実施の形態４によれば、復号化部１０より出力されるデータに対して随時に圧縮率を設定することにより、データ圧縮部３０は１回のデータ入力で圧縮率を決定してデータ圧縮を行い、復号化に必要なメモリ使用量の削減を行うことができる。
【００７４】
（実施例２）
実施の形態２による輝度情報を圧縮パラメータとして復号化に必要なメモリ使用量を削減する方法を説明する。
【００７５】
ビデオ画像の条件は実施例１と同じものとする。本実施例では、圧縮を行う単位をマクロブロック単位として説明する。この場合、マクロブロック毎に圧縮率を決定するため、圧縮パラメータである輝度情報をマクロブロック単位で１つ決定する必要があるが、これは対象マクロブロック内に含まれる全画素の輝度の平均をとることで算出する。
【００７６】
実施の形態２によれば、輝度値が高いマクロブロックほど圧縮率を高く、輝度値が低いマクロブロックほど圧縮率を低くすることにより画質低下を抑えることができる。ここでも実施例１と同様に、圧縮率は３段階（大／中／小）のいずれかのレベルを使用するものとする。
【００７７】
図３（ａ）にマクロブロックに分割したフレームデータの輝度情報のパラメータ例を示す。図中の１つの枠がマクロブロックに相当し、枠内の数字がマクロブロックに含まれる全画素の輝度値の平均値を表す。圧縮率は０％（無圧縮）、２５％、５０％の３段階のレベルを使用し、目標圧縮率を２５％（メモリ使用量：４，６０８Ｂｙｔｅ＝６，１４４×（１−０．２５））とする。また、各マクロブロックに圧縮を行った結果、全てのデータの圧縮率の平均が目標圧縮率となるように、実施の形態４による圧縮率の調整を適用する。以下に、図３（ａ）で挙げたデータを例に実施例を説明する。
【００７８】
まず、実施例１と同様に圧縮率を設定するための条件を定める。実施例１と異なるのは輝度情報に対して閾値Ａ、閾値Ｂ（閾値Ａ＜閾値Ｂとする）を設ける点である。輝度情報が閾値Ａ未満の値であれば小レベルの圧縮率で圧縮を行い、閾値Ａ以上、閾値Ｂ未満の値であれば中レベルの圧縮率で圧縮を行い、閾値Ｂ以上の値であれば大レベルの圧縮を行うようにする。
【００７９】
図１において、制御部６０は復号化部１０を制御することによって復号化を行い、出力された復号化ビデオデータＤ１に対してデータ分割部２０を制御してマクロブロック単位の分割を行う。この際に、制御部６０はマクロブロック内平均輝度値を算出し、この値を参照してデータ圧縮部３０を制御して圧縮率の設定を行い、データを圧縮する。出力順は、図３（ａ）での格子状に並んだマクロブロックの、上段、中段、下段の順で左から右に向かってデータが出力されるものとする。また、輝度情報の閾値としては、閾値Ａ＝８５、閾値Ｂ＝１７０とする。
【００８０】
まず、図３（ａ）における上段１列目と２列目マクロブロックの輝度情報はそれぞれ８４、３４であり、閾値Ａよりも低い値なので、圧縮率は０％とする。上段３列目、４列目のマクロブロックは閾値Ａ以上、閾値Ｂ未満の値であるため、圧縮率は２５％と決定される。
【００８１】
次に、中段１列目と２列目マクロブロックの輝度情報は５０、１０であり、閾値Ａ未満となるため、圧縮率は０％となる。中段３列目、４列目のマクロブロックは閾値Ｂ以上であるため、圧縮率は５０％と決定される。
【００８２】
下段１列目と２列目マクロブロックの輝度情報は３０、７０であり、閾値Ａ未満の値であり、閾値と比較すると、ともに０％と設定すべきであるが、この値を設定すると、合計の平均圧縮率が目標値である２５％を下回ってしまうため、圧縮率の調整を行う。具体的には、本来の圧縮率から圧縮レベルを１つ上げる。これにより、下段１、２列目のマクロブロックの圧縮率はともに２５％と決定される。
【００８３】
下段３列目マクロブロックの輝度情報は１６０であり、閾値Ａ以上、閾値Ｂ未満の値であり、２５％と設定すべきであるが、この値を設定すると、合計の平均圧縮率が目標値である２５％を下回ってしまうため、圧縮率の調整を行う。具体的には、本来の圧縮率から圧縮レベルを１つ上げる。これにより、下段３列目のマクロブロックの圧縮率は５０％と決定される。
【００８４】
下段４列目のマクロブロックの輝度情報は１９２であり、閾値Ｂ以上の値であるため、圧縮率は５０％と決定される。こうして決定された圧縮率を図３（ｂ）に示す。
【００８５】
ここで、平均圧縮率は（０×４＋２５×４＋５０×４）／１２＝２５（％）となり、復号化に必要なメモリ使用量が２５％削減されたことになる。
【００８６】
以上に示したように、実施の形態４によれば、データ分割部２０より出力されるデータに対して随時に圧縮率を設定することにより、１回のデータ出力で圧縮率を決定してデータ圧縮を行い、復号化に必要なメモリ使用量の削減を行うことができる。
【００８７】
（実施例３）
実施の形態３による、色情報を圧縮パラメータとして復号化に必要なメモリ使用量を削減する方法を説明する。
【００８８】
ビデオ画像の条件は実施例１と同じものとする。本実施例においても実施例１、２と同様に圧縮を行う単位をマクロブロック単位として説明する。まず、圧縮率を決定するために色情報をマクロブロック単位で１つ決定する必要があるが、これは対象マクロブロック内で肌色と判断される画素の総数を用いる。肌色かどうかの判別は、例えば画素の色情報をＨＳＩ表色系に変換し、色相（Ｈｕｅ）が一定の範囲内に収まっていることで肌色とみなす判別方法などがある。
【００８９】
実施の形態３によれば、肌色領域を多く含まないマクロブロックほど圧縮率を高く、肌色領域を多く含むマクロブロックほど圧縮率を低くすることにより画質低下を抑えることができる。また、各マクロブロックに圧縮を行った結果、全てのデータの圧縮率の平均が目標圧縮率となるように、実施の形態５による圧縮率の調整を適用する。
【００９０】
実施の形態５によれば、２回データ入力を行い、１回目のデータ入力（１パス目）で各マクロブロックに対する圧縮率を設定し、２回目のデータ入力（２パス目）で圧縮を行う。また、図１において、制御部６０は復号化部１０を制御することによって復号化を行い、出力された復号化ビデオデータＤ１に対してデータ分割部２０を制御してマクロブロック単位での分割を行う。この際に、制御部６０はマクロブロック内の肌色と判別された画素数をカウントし、平均圧縮率が目標値となるように圧縮率の配分を設定し、その設定での圧縮が行われるようにデータ圧縮部３０を制御する。
【００９１】
例えば、図４（ａ）に示した画像の場合、各マクロブロックに含まれる肌色画素数をカウントし、肌色画素数の最も少ない４つのマクロブロックに対しては５０％の圧縮率とし、肌色画素数の最も多い４つのマクロブロックに対しては０％の圧縮率とし、残りの４つのマクロブロックに対しては２５％の圧縮率とすれば、平均圧縮率を目標値の２５％とすることができる。実施の形態５により決定された圧縮率を図４（ｂ）に示す。
【００９２】
次に２パス目で、復号化部１０で復号化された復号化ビデオデータＤ１がマクロブロック単位でデータ圧縮部３０に出力される。データ圧縮部３０は１パス目で設定した圧縮率に基づき、入力されたデータを圧縮する。
【００９３】
以上に示したように、実施の形態５によれば、データの入力を２回行い、１パス目で各マクロブロックに対する圧縮率を設定し、２パス目で圧縮を行うことにより、効率的に圧縮率を配分してデータ圧縮を行い、復号化に必要なメモリ使用量の削減を行うことができる。
【００９４】
実施の形態４の問題として、全てのデータに対して最適な圧縮率配分が行われず、画像上の一部の領域においては画質低下が目立つことが考えられる。また、圧縮率の配分の基準の設定（本実施例では、閾値Ａ・閾値Ｂの設定がこれに相当する）が困難である。これに対して、実施の形態５では効率的な圧縮率配分を行う方法であるが、データを２回入力する必要があり、そのため復号化部１０やデータ圧縮部３０ではある程度高速な処理が要求される点が問題となる。
【００９５】
上記に述べたように、実施の形態４と実施の形態５ではそれぞれに利点があるため、本発明のメモリ削減を実施するに当たっては、システム構成に応じて使い分けを行うことが可能である。
【００９６】
以上、実施の形態１〜５に示したような処理を行うことによって、ビデオ復号化装置において、画質低下を最小限に抑え、かつ復号化に必要なメモリ使用量の削減が可能である。
【００９７】
なお、実施の形態ではＭＰＥＧ方式を符号化方式の例として説明を行ったが、ＭＰＥＧ同様の動き補償を行い、現在の映像を復号化するために過去あるいは未来のフレームを参照するような符号化方式であればＭＰＥＧ方式以外の符号化方式であっても構わない。
【００９８】
また、圧縮率を設定する単位である分割領域に関して、実施例では全てマクロブロック単位としたが、マクロブロック以外の単位で領域を分割し、その分割領域毎に圧縮率を設定することも可能である。
【００９９】
また、実施の形態５では２パスによる圧縮率設定に関して説明したが、２パスに限らず、最適化を行うために３パス以上を行う方法もある。
【産業上の利用可能性】
【０１００】
本発明のビデオ復号化装置におけるメモリ削減方法は、ＭＰＥＧの復号化に必要なメモリ使用量を削減するため、ＡＶ用途ＤＶＤ機器（ＤＶＤプレーヤ、ＤＶＤレコーダ）等の開発において、部品コストを下げるために有効な方法である。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施の形態におけるメモリ削減を実現するビデオ復号化装置の構成を示すブロック図
【図２】本発明のビデオ復号化装置における実施例１の動作説明図
【図３】本発明のビデオ復号化装置における実施例２の動作説明図
【図４】本発明のビデオ復号化装置における実施例３の動作説明図
【符号の説明】
【０１０２】
１０  復号化部
１１  分離部
１２  可変長復号化部
１３  逆量子化部
１４  逆ＤＣＴ部
１５  動き補償部
２０  データ分割部
３０  データ圧縮部
４０  データ蓄積部
５０  データ伸張部
６０  制御部
ＢＳ  ビットストリーム
Ｄ１  復号化ビデオデータ
Ｄ２  分割ビデオデータ
Ｄ３  圧縮ビデオデータ
Ｄ４  蓄積データ 
【図１】
2006109266.tif 000003
【図２】
2006109266.tif 000004
【図３】
2006109266.tif 000005
【図４】
2006109266.tif 000006