(57)【要約】【課題】  ダウンサンプリング処理を利用したデータ圧縮伸張法におけるデータ圧縮率を向上させることを目的とする。【解決手段】  画像データは、ＤＳ領域分割部１３０において多数のＤＳ領域に分割され、重要でないＤＳ領域は、ダウンサンプリング部１３１でのダウンサンプリングによりブロックサイズからなる縮小データに変換される。再配置部１３２は、１つのＤＳ領域内に２以上の縮小データを配置し、当該ＤＳ領域内のその他の部分にフィルデータを挿入し、縮小データが配置されないＤＳ領域を除去して画像全体のサイズを縮小させる。この様にして縮小化された画像データは、ＪＰＥＧエンコーダ１４に入力され、ブロックごとにＤＣＴ処理及び量子化処理などが行われる。復元時には、ＪＰＥＧデコーダにより伸張処理された後、元の配置を復元し、縮小データについては補間処理を行って、画像データが復元される。【選択図】  図４
2005269620.tif 000002
【特許請求の範囲】
【請求項１】
画像データをブロックサイズの整数倍からなるダウンサンプリング領域に分割するダウンサンプリング領域分割ステップと、
少なくとも一部のダウンサンプリング領域について、ダウンサンプリングを行ってピクセル数を減少させ、ブロックサイズの整数倍からなる縮小データを生成するダウンサンプリングステップと、
１つのダウンサンプリング領域内に２以上の縮小データを配置し、当該ダウンサンプリング領域内に残されたピクセルにフィルデータを挿入するとともに、縮小データが配置されないダウンサンプリング領域を除去する再配置ステップと、
上記再配置ステップが実行された画像データを上記ブロックサイズからなるブロック領域に分割し、各ブロック領域ごとの直交変換及び量子化処理を含む圧縮処理を行って圧縮画像データを生成するデータ圧縮ステップと、
圧縮画像データに対し、ブロック領域ごとの逆量子化処理及び逆直交変換を含む伸張処理を行って画像データを復元するデータ伸張ステップと、
復元された画像データ中に含まれる縮小データの配置を復元する配置復元ステップと、
復元された画像データ中に含まれる各縮小データについて、ピクセルデータを補間してダウンサンプリング領域からなる画像データを復元する補間ステップとを備えた画像圧縮伸張法。
【請求項２】
画像データをブロックサイズの整数倍からなるダウンサンプリング領域に分割するダウンサンプリング領域分割手段と、
少なくとも一部のダウンサンプリング領域について、ダウンサンプリングを行ってピクセル数を減少させ、ブロックサイズの整数倍からなる縮小データを生成するダウンサンプリング手段と、
１つのダウンサンプリング領域内に２以上の縮小データを配置し、当該ダウンサンプリング領域内に残されたピクセルにフィルデータを挿入するとともに、縮小データが配置されないダウンサンプリング領域を除去する再配置手段と、
上記再配置手段により生成された画像データを上記ブロックサイズからなるブロック領域に分割し、各ブロック領域ごとの直交変換及び量子化処理を含む圧縮処理を行って圧縮画像データを生成するデータ圧縮手段とを備えた画像圧縮装置。
【請求項３】
上記再配置手段は、ダウンサンプリング領域内の所定位置に、ブロックサイズからなる識別領域を残して、縮小データを配置することを特徴とする請求項２に記載の画像圧縮装置。
【請求項４】
上記再配置手段は、フィルデータからなるダウンサンプリング領域を再配置後の上記画像データに付加し、この画像データを矩形形状に整形することを特徴とする請求項２に記載の画像圧縮装置。
【請求項５】
画像データの一部をダウンサンプリングして得られたブロックサイズの整数倍からなる縮小データをフィルデータとともに再配置し、更に上記ブロックサイズからなるブロック領域ごとの直交変換及び量子化処理を含む圧縮処理が行われた圧縮画像データを伸張する画像伸張装置であって、
圧縮画像データに対し、ブロック領域ごとの逆量子化処理及び逆直交変換を含む伸張処理を行って、画像データを復元するデータ伸張手段と、
復元された画像データ中に含まれるフィルデータに基づいて、縮小データの配置を復元する配置復元手段と、
復元された画像データ中に含まれる各縮小データについて、ピクセルデータを補間してダウンサンプリング前の画像データを復元する補間手段とを備えた画像伸張装置。
【請求項６】
上記再配置手段は、ダウンサンプリング領域中のフィルデータが挿入されていないブロック領域内におけるピクセルデータの平均値がフィルデータから所定距離を有しない場合には、当該ブロック領域内のピクセルデータを変更することを特徴とする請求項２に記載の画像圧縮装置。
【請求項７】
上記フィルデータが、ピクセルデータの中央値であることを特徴とする請求項６に記載の画像圧縮装置。
【請求項８】
上記所定距離が、上記データ圧縮手段におけるＤＣ係数に対する量子化ステップ幅に基づいて定められることを特徴とする請求項７に記載の画像圧縮装置。
【請求項９】
上記ダウンサンプリング領域分割手段は、画像データをサイズの異なる２以上のダウンサンプリング領域に分割し、
上記ダウンサンプリング手段は、ダウンサンプリング領域のサイズに応じて、縮小率の異なるダウンサンプリングを行って、同一サイズの縮小データを生成することを特徴とする請求項２に記載の画像圧縮装置。
【請求項１０】
上記ダウンサンプリング手段は、少なくとも一部のダウンサンプリング領域について、ダウンサンプリングを行って、ブロックサイズからなる中間縮小データを生成し、
上記ダウンサンプリングにより生成された中間縮小データを集めて、新たなダウンサンプリング領域を生成し、この新たなダウンサンプリング領域について、再度ダウンサンプリングを行って、ブロックサイズからなる縮小データを生成することを特徴とする請求項２に記載の画像圧縮装置。
【請求項１１】
画像データを構成する輝度データをブロックサイズの整数倍からなる輝度ダウンサンプリング領域に分割し、上記画像データを構成する色差データをブロックサイズの整数倍からなる色差ダウンサンプリング領域に分割するダウンサンプリング領域分割手段と、
少なくとも一部の輝度ダウンサンプリング領域について、輝度データのダウンサンプリングを行ってデータ数を減少させ、ブロックサイズの整数倍からなる縮小輝度データを生成する輝度ダウンサンプリング手段と、
１つの輝度ダウンサンプリング領域内に２以上の縮小輝度データを配置し、当該輝度ダウンサンプリング領域内に残されたピクセルにフィルデータを挿入する輝度データ再配置手段と、
ダウンサンプリングが行われた輝度ダウンサンプリング領域に基づいて決定される色差ダウンサンプリング領域について、色差データのダウンサンプリングを行ってデータ数を減少させ、ブロックサイズの整数倍からなる縮小色差データを生成する色差ダウンサンプリング手段と、
１つの色差ダウンサンプリング領域内に２以上の縮小色差データを配置する色差データ再配置手段と、
上記輝度データ再配置手段及び色差データ再配置手段により生成された輝度データ及び色差データについて、上記ブロックサイズからなるブロック領域に分割し、各ブロック領域ごとの直交変換及び量子化処理を含む圧縮処理を行って圧縮画像データを生成するデータ圧縮手段とを備え、
上記輝度データ再配置手段は、輝度ダウンサンプリング領域内の所定位置に、ブロックサイズからなる識別領域を残して、縮小輝度データを配置することを特徴とする画像圧縮装置。
【請求項１２】
ダウンサンプリングが行われていない色差ダウンサンプリング領域を縮小色差データと同一サイズに分割し、分割色差データを生成する非縮小データ分割手段を備え、
上記色差データ再配置手段が、縮小色差データ及び分割色差データを再配置することを特徴とする請求項１１に記載の画像圧縮装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像圧縮伸張法、画像圧縮装置及び画像伸張装置に係り、更に詳しくは、画像データを分割したブロック領域ごとに直交変換及び量子化処理が行われるＪＰＥＧなどの画像圧縮伸張法の改良に関する。
【背景技術】
【０００２】
静止画像からなる画像データの圧縮伸張方法としては、ＣＣＩＴＴ（international Telegraph and Telephone Consultative Committee）及びＩＳＯ（International Standards Organazasion）により標準化されたＪＰＥＧ（Joint Photographic Expert Group）規格が広く知られている。このＪＰＥＧ規格では、８×８ピクセルを１ブロックとして、フレーム画像を複数のブロックに分割し、空間座標を周波数座標に変換することによって行われる画像データの圧縮方法と、その伸張方法が規定されている。
【０００３】
ＪＰＥＧ規格によるデータ圧縮器（以下、ＪＰＥＧ圧縮器と呼ぶ）では、入力された画像データを多数のブロックに分割し、各ブロックごとにＤＣＴ（Discrete Cosine Transform：離散コサイン変換）処理及び量子化処理が行われる。この量子化処理では、量子化テーブルによってＤＣＴ係数ごとに規定されたデータに量子化ファクタＱを乗じた値が量子化ステップ幅として用いられる。ＤＣＴ処理で求められたＤＣＴ係数を当該量子化ステップ幅により量子化することにより、データ量の削減が不可逆的に行われている。その後、ランレングス処理、差分処理及びハフマン符号化処理などを利用したエントロピー符号化処理が行われ、圧縮画像データが生成される。この符号化処理は、データ量の削減を可逆的に行う処理である。
【０００４】
一方、ＪＰＥＧ規格によるデータ伸張器（以下、ＪＰＥＧ伸張器と呼ぶ）では、上記ＪＰＥＧ圧縮器とは逆の処理が行われ、画像データが復元される。すなわち、入力された圧縮画像データが復号化され、同じ量子化テーブル及び量子化ファクタＱを用いて逆量子化される。その後、逆ＤＣＴ処理部において逆ＤＣＴ変換され、各ブロックを合成することにより、画像データが復元される。
【０００５】
上述したＪＰＥＧ圧縮器において、データ圧縮率をより高めようとした場合、量子化テーブル又は量子化ファクタＱを変更し、量子化ステップ幅をより大きくする必要がある。しかしながら、不可逆処理である量子化処理において多くのデータ量を削減すれば、復元された画像データの品質が著しく劣化する。しかも、この品質劣化は画面全体にわたって生ずることから、画像中に重要領域と非重要領域とがある場合であっても、双方の領域において画像品質が一様に劣化してしまうという問題があった。
【０００６】
この様な課題を解決するために、画像中の領域ごとに復元後の品質を異ならせる圧縮処理法が従来から提案されている（例えば、特許文献１）。特許文献１では、量子化処理前のＤＣＴ係数をマスクするマスク回路を備えたデータ圧縮処理器が開示されている。このデータ圧縮処理器では、マスク回路において使用されるマスクを領域ごとに異ならせることによって、重要領域では高画質で符号化し、非重要領域については低画質で符号化している。
【０００７】
しかしながら、このデータ圧縮処理器では、一連の処理であるＤＣＴ処理及び量子化処理の途中でマスク処理を行う必要があることから、ＪＰＥＧチップセットのような汎用のＪＰＥＧ圧縮処理器を利用することができず、データ圧縮処理器が高価になるという問題があった。また、上記マスク処理は、ブロック内における処理であるため、削減できるデータ量には限界があった。
【特許文献１】特開平０６−０５４３１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した課題を解決する一提案として、本出願の発明者らは先行する特許出願を行っている（特願２００３−４３３６７号）。この先行出願には、ＪＰＥＧ圧縮処理の前処理として、画像データを複数の小領域に分割し、一部の小領域についてダウンサンプリング処理を行う技術が開示されている。このダウンサンプリング処理は、分割された小領域内の画像データをダウンサンプリングにより縮小して上記ブロックに一致させ、当該領域内の残りの部分にフィルデータを挿入する処理である。この方法を用いれば、汎用のＪＰＥＧ圧縮処理器を利用しつつ、画像中の領域ごとに品質を異ならせて、データ量を削減することができる。
【０００９】
本発明は、上記の事情に鑑みてなされたものであり、ダウンサンプリング処理を利用したデータ圧縮伸張法におけるデータ圧縮率を向上させることを目的とする。また、汎用のデータ圧縮器及びデータ伸張器を利用することができ、画像中の領域ごとに品質を異ならせてデータ量を削減する画像圧縮伸張法におけるデータ圧縮率を向上させることを目的とする。特に、ＪＰＥＧ圧縮器及びＪＰＥＧ伸張器を用いて、より高い圧縮率を得る実現することを目的とする。
【課題を解決するための手段】
【００１０】
第１の本発明による画像圧縮伸張法は、画像圧縮法及び画像伸張法からなる。この画像圧縮法は、ダウンサンプリング領域分割ステップ、ダウンサンプリングステップ、再配置ステップ及びデータ圧縮ステップにより構成される。また、上記画像伸張法は、データ伸張ステップ、配置復元ステップ及び補間ステップにより構成される。
【００１１】
ダウンサンプリング領域分割ステップは、画像データをブロックサイズのｎ倍（ｎは２以上の整数）からなるダウンサンプリング領域に分割する。ダウンサンプリングステップは、少なくとも一部のダウンサンプリング領域について、ダウンサンプリングを行ってピクセル数を減少させ、ブロックサイズのｍ倍（ｍはｎより小さい自然数）からなる縮小データを生成する。再配置ステップは、１つのダウンサンプリング領域内に２以上の縮小データを配置し、当該ダウンサンプリング領域内に残されたピクセルにフィルデータを挿入するとともに、縮小データが配置されないダウンサンプリング領域を除去する。データ圧縮ステップは、上記再配置ステップが実行された画像データを上記ブロックサイズからなるブロック領域に分割し、各ブロック領域ごとの直交変換及び量子化処理を含む圧縮処理を行って圧縮画像データを生成する。この様な構成により、画像領域の一部についてダウンサンプリング及び再配置を行って、データ圧縮ステップの前処理として、画像データを空間的に圧縮することができる。
【００１２】
データ伸張ステップは、圧縮画像データに対し、ブロック領域ごとの逆量子化処理及び逆直交変換を含む伸張処理を行って画像データを復元する。配置復元ステップは、復元された画像データ中に含まれる縮小データの配置を復元する。補間ステップは、復元された画像データ中に含まれる各縮小データについて、ピクセルデータを補間してダウンサンプリング領域からなる画像データを復元する。この様な構成により、データ伸張ステップの後処理により、空間的に圧縮された画像データを復元することができる。
【００１３】
第２の本発明による画像圧縮装置は、画像データをブロックサイズの整数倍からなるダウンサンプリング領域に分割するダウンサンプリング領域分割手段と、少なくとも一部のダウンサンプリング領域について、ダウンサンプリングを行ってピクセル数を減少させ、ブロックサイズからなる縮小データを生成するダウンサンプリング手段と、１つのダウンサンプリング領域内に２以上の縮小データを配置し、当該ダウンサンプリング領域内に残されたピクセルにフィルデータを挿入するとともに、縮小データが配置されないダウンサンプリング領域を除去する再配置手段と、上記再配置手段により生成された画像データを上記ブロックサイズからなるブロック領域に分割し、各ブロック領域ごとの直交変換及び量子化処理を含む圧縮処理を行って圧縮画像データを生成するデータ圧縮手段とを備えて構成される。
【００１４】
第３の本発明による画像圧縮装置は、上記構成に加えて、上記再配置手段が、ダウンサンプリング領域内の所定位置に、ブロックサイズからなる識別領域を残して、縮小データを配置するように構成される。この様な構成により、縮小データが配置されたダウンサンプリング領域は、所定位置にフィルデータが挿入される。このため、画像伸張時に、当該フィルデータに基づいて縮小データが配置されているダウンサンプリング領域であることを識別することができる。
【００１５】
第４の本発明による画像圧縮装置は、上記構成に加えて、上記再配置手段が、フィルデータからなるダウンサンプリング領域を上記画像データに付加し、この画像データを矩形形状に整形するように構成される。この様な構成により、データ圧縮手段として、ＪＰＥＧ圧縮器などの汎用手段を用いることができる。
【００１６】
第５の本発明による画像伸張装置は、画像データの一部をダウンサンプリングして得られたブロックサイズの整数倍からなる縮小データをフィルデータとともに再配置し、更に上記ブロックサイズからなるブロック領域ごとの直交変換及び量子化処理を含む圧縮処理が行われた圧縮画像データを伸張する画像伸張装置であって、圧縮画像データに対し、ブロック領域ごとの逆量子化処理及び逆直交変換を含む伸張処理を行って、画像データを復元するデータ伸張手段と、復元された画像データ中に含まれるフィルデータに基づいて、縮小データの配置を復元する配置復元手段と、復元された画像データ中に含まれる各縮小データについて、ピクセルデータを補間してダウンサンプリング前の画像データを復元する補間手段とを備えて構成される。
【００１７】
第６の本発明による画像圧縮装置は、上記構成に加えて、上記再配置手段が、ダウンサンプリング領域中のフィルデータが挿入されていないブロック領域内におけるピクセルデータの平均値がフィルデータから所定距離を有しない場合には、当該ブロック領域内のピクセルデータを変更するように構成される。この様な構成により、伸張処理後の画像データが、フィルデータに一致し、誤ってフィルデータと判別されるのを防止することができる。
【００１８】
第７の本発明による画像圧縮装置は、上記構成に加えて、上記フィルデータが、ピクセルデータの中央値として構成される。この様な構成により、データ圧縮手段においてレベルシフトが行われる場合に、フィルデータの誤判別を容易に防止することができる。
【００１９】
第８の本発明による画像圧縮装置は、上記構成に加えて、上記所定距離が、上記データ圧縮手段におけるＤＣ係数に対する量子化ステップ幅に基づいて定められる。この様な構成により、量子化テーブル又は量子化ファクタが変更可能である場合であっても、フィルデータの誤判別を防止することができる。
【００２０】
第９の本発明による画像圧縮装置は、上記構成に加えて、上記ダウンサンプリング領域分割手段が、画像データをサイズの異なる２以上のダウンサンプリング領域に分割し、上記ダウンサンプリング手段が、ダウンサンプリング領域のサイズに応じて、縮小率の異なるダウンサンプリングを行って、同一サイズの縮小データを生成する。この様な構成により、縮小率の異なるダウンサンプリングを組み合わせて使用することができ、データ圧縮率を更に向上させることができる。
【００２１】
第１０の本発明による画像圧縮装置は、上記構成に加えて、上記ダウンサンプリング手段が、少なくとも一部のダウンサンプリング領域について、ダウンサンプリングを行って、ブロックサイズからなる中間縮小データを生成し、上記ダウンサンプリングにより生成された中間縮小データを集めて、新たなダウンサンプリング領域を生成し、この新たなダウンサンプリング領域について、再度ダウンサンプリングを行って、ブロックサイズからなる縮小データを生成するように構成される。この様な構成により、この様な構成により、縮小率の異なるダウンサンプリングを容易に組み合わせて使用することができる。
【００２２】
第１１の本発明による画像圧縮装置は、輝度データ及び色差データからなる画像データの圧縮処理を行っており、ダウンサンプリング領域分割手段と、輝度ダウンサンプリング手段と、輝度データ再配置手段と、色差ダウンサンプリング手段と、色差データ再配置手段と、データ圧縮手段とを備えて構成される。ダウンサンプリング領域分割手段は、画像データを構成する輝度データをブロックサイズの整数倍からなる輝度ダウンサンプリング領域に分割し、上記画像データを構成する色差データをブロックサイズの整数倍からなる色差ダウンサンプリング領域に分割する。
【００２３】
ダウンサンプリングされた輝度データは、輝度ダウンサンプリング手段及び輝度データ再配置手段によって処理される。輝度ダウンサンプリング手段は、少なくとも一部の輝度ダウンサンプリング領域について、輝度データのダウンサンプリングを行ってデータ数を減少させ、ブロックサイズの整数倍からなる縮小輝度データを生成する。輝度データ再配置手段は、１つの輝度ダウンサンプリング領域内に２以上の縮小輝度データを配置し、当該輝度ダウンサンプリング領域内に残されたピクセルにフィルデータを挿入する。その際、輝度ダウンサンプリング領域内の所定位置に、ブロックサイズからなる識別領域を残して、縮小輝度データを配置する。
【００２４】
一方、ダウンサンプリングされた色差データは、色差ダウンサンプリング手段及び色差データ再配置手段によって処理される。色差ダウンサンプリング手段は、ダウンサンプリングが行われた輝度ダウンサンプリング領域に基づいて決定される色差ダウンサンプリング領域について、色差データのダウンサンプリングを行ってデータ数を減少させ、ブロックサイズの整数倍からなる縮小色差データを生成する。色差データ再配置手段は、１つの色差ダウンサンプリング領域内に２以上の縮小色差データを配置する。
【００２５】
この様な構成により、縮小色差データが再配置される色差ダウンサンプリング領域には識別領域を配置する必要がなく、輝度データ及び色差データからなる画像データの圧縮効率を向上させることができる。
【００２６】
第１２の本発明による画像圧縮装置は、上記構成に加えて、ダウンサンプリングが行われていない色差ダウンサンプリング領域を縮小色差データと同一サイズに分割し、分割色差データを生成する色差データ分割手段を備え、上記色差データ再配置手段が、縮小色差データ及び分割色差データを再配置するように構成される。
【００２７】
この様な構成により、色差データについては、縮小データだけでなく、非縮小データも再配置することができるので、輝度データ及び色差データからなる画像データの圧縮効率を更に向上させることができる。
【発明の効果】
【００２８】
本発明によれば、ダウンサンプリング処理を利用したデータ圧縮伸張法におけるデータ圧縮率を向上させることができる。また、汎用のデータ圧縮器及びデータ伸張器を利用することができ、画像中の領域ごとに品質を異ならせてデータ量を削減する画像圧縮伸張法におけるデータ圧縮率を向上させることができる。特に、ＪＰＥＧ圧縮器及びＪＰＥＧ伸張器を用いて、より高い圧縮率を得る実現することができる。
【発明を実施するための最良の形態】
【００２９】
実施の形態１．
<画像伝送システム>
図１は、本発明の実施の形態１による画像圧縮伸張システムの一構成例を示したブロック図であり、画像伝送システムの例が示されている。この画像伝送システムは、通信ネットワーク１００により接続された送信側ユニットＵｔ及び受信側ユニットＵｒからなり、画像データを圧縮して、送信側ユニットＵｔから受信側ユニットＵｒへ伝送することができる。ここでは、送信側ユニットＵｔに接続された画像入力装置１０１の画像データが、送信側ユニットＵｒに接続された画像出力装置１０２へ伝送される。
【００３０】
通信ネットワーク１００は、デジタルデータを伝送するための有線又は無線の通信回線からなり、必要に応じて交換機や中継機などが含まれる。例えば、Ｅｔｈｅｒｎｅｔ（登録商標）、インターネット、ＡＴＭ（Asynchronous Transfer Mode）などのパケット通信網やその他のデジタルネットワークを利用することができる。
【００３１】
画像入力装置１０１は、画像データを提供する装置であり、例えば、カメラなどの撮像装置、スキャナなどの画像読取装置、ＨＤＤ（Hard Disc Drive）などのデータ記憶装置などからなる。本実施の形態では、画像入力装置１０１が、ＲＧＢフォーマットからなる静止画の画像データを生成し、送信側ユニットＵｔへ出力しているものとする。なお、本明細書における静止画とは、２次元的な広がりをもって配置された多数のピクセルからなる画像を意味し、動画を構成する各フレーム画像やフレーム間の差分画像なども含まれる。
【００３２】
画像出力装置１０２は、受信側ユニットＵｒから出力される画像データを利用する装置であり、例えば、ＬＣＤなど表示装置、プリンタなどの画像形成装置、ＨＤＤ（Hard Disc Drive）などのデータ記憶装置などからなる。
【００３３】
<送信側ユニット>
図２は、図１の送信側ユニットＵｔの一構成例を示したブロック図である。この送信側ユニットＵｔは、ＹＵＶ変換部１０、画像圧縮部１１及びデータ送信部１２により構成される。画像入力装置１０１において生成された画像データは、まず、ＹＵＶ変換部１０においてＹＵＶフォーマットの画像データへ変換された後、画像圧縮部１１において圧縮処理され、データ量が削減された圧縮データとなる。この圧縮データが、データ送信部１２によって通信ネットワーク１００へ送出される。
【００３４】
ＹＵＶ変換部１０は、ＲＧＢフォーマットの画像データを予め定められたＹＵＶフォーマット（例えばＹＵＶ４１０，４１１，４２０，４２２，４４４）の画像データへ変換するフォーマット変換手段である。なお、画像入力装置１０１からＹＵＶフォーマットの画像データが入力される場合や、ＲＧＢフォーマットの画像データのままでＪＰＥＧ圧縮を行う場合には、ＹＵＶ変換部１０は省略される。
【００３５】
画像圧縮部１１は、画像縮小コンバータ１３及びＪＰＥＧエンコーダ１４により構成される。画像縮小コンバータ１３は、入力画像を多数の小領域に分割し、少なくとも一部の小領域について解像度を低下させ、さらに、これらの小領域を並び替えることによって画像全体のサイズを縮小化させている。この低解像度化は、要求される画像品質に応じて上記小領域ごとに行われる。一方、ＪＰＥＧエンコーダ１４は、画像データに対し、ＪＰＥＧ規格による圧縮処理を行って、データ量が更に削減された圧縮データを生成している。
【００３６】
<受信側ユニット>
図３は、図１の受信側ユニットＵｒの一構成例を示したブロック図である。この受信側ユニットＵｒは、ＲＧＢ変換部２２、画像伸張部２１及びデータ受信部２０により構成される。送信側ユニットＵｔから通信ネットワーク１００へ送出された圧縮データは、データ受信部２０によって受信される。受信された圧縮データは、画像伸張部２１において伸張処理され、ＹＵＶフォーマットの画像データが復元される。この画像データは、ＲＧＢ変換部２２においてＲＧＢフォーマットへ変換され、画像出力装置１０２へ出力される。
【００３７】
画像伸張部２１は、ＪＰＥＧデコーダ２３及び画像拡大コンバータ２４からなる。データ受信部２０からの圧縮データは、ＪＰＥＧデコーダ２３においてＪＰＥＧ規格による伸張処理が行われ、ＪＰＥＧ圧縮前の画像データが復元される。伸張された画像データは、画像拡大コンバータ２４における並び替え及び高解像度化によって画像サイズが拡大し、低解像度化前の画像データが復元される。
【００３８】
ＲＧＢ変換部２２は、画像拡大コンバータ２４から出力されるＹＵＶフォーマットの画像データをＲＧＢフォーマットに変換し、画像出力装置１０２へ出力している。なお、画像出力装置１０２にＹＵＶフォーマットの画像データを入力する場合や、ＲＧＢフォーマットの画像データのままでＪＰＥＧ圧縮を行っている場合には、ＲＧＢ変換部２２は省略される。
【００３９】
<画像圧縮部>
図４は、図２の画像圧縮部１１の一構成例を示したブロック図であり、画像縮小コンバータ１３及びＪＰＥＧエンコーダ１４について詳細な構成例が示されている。画像縮小コンバータ１３は、ダウンサンプリング領域分割部（ＤＳ領域分割部）１３０、ダウンサンプリング部１３１及び再配置部１３２により構成される。
【００４０】
［ＤＳ領域分割部］
ＤＳ領域分割部１３０は、ＹＵＶ変換された画像データを複数のＤＳ領域に分割している。各ＤＳ領域は、任意のピクセル数を有し、任意の形状からなる領域とすることができるが、圧縮効率を考慮すれば、ＪＰＥＧエンコーダ１４において使用されるブロックを基本単位とし、その集合体をＤＳ領域とすることが望ましい。
【００４１】
ＪＰＥＧのブロックサイズは８×８ピクセルであることから、その整数倍であるＤＳ領域サイズとしては、１６×１６ピクセル、３２×３２ピクセル、２４×１６ピクセル、８×３２ピクセルなどが考えられる。ただし、後述するブロックサイズの識別領域を各ＤＳ領域内に挿入する場合、再配置によって画像領域全体を縮小化させるためには、面積比でＤＳ領域サイズをブロックサイズの３倍以上にしておく必要がある。
【００４２】
また、各ＤＳ領域は、異なるサイズであってもよいし、異なる形状であってもよいが、後述する再配置処理の容易さを考慮すれば、同一サイズ及び同一形状とすることが望ましく、さらに矩形形状（特に正方形形状）とすることがより望ましい。以下、本実施の形態では、画像領域全体を１６×１６ピクセルからなる同一サイズのＤＳ領域に分割する場合の例について説明する。
【００４３】
［ダウンサンプリング部］
ダウンサンプリング部１３１は、少なくとも一部のＤＳ領域について、当該ＤＳ領域を構成する各ピクセルデータのダウンサンプリングを行い、ピクセル数を減少させた縮小データに変換している。この縮小データのサイズは、ＪＰＥＧエンコーダにおける圧縮率を考慮すれば、ブロックサイズの整数倍にすることが望ましく、ここではブロックサイズ（８×８ピクセル）に一致させるものとする。
【００４４】
ダウンサンプリング処理の対象となるＤＳ領域は、各ＤＳ領域に要求される画像品質に応じて決定される。例えば、全体の画像領域中に、高い画像品質が要求される重要領域と、そうではない非重要領域とがある場合には、非重要領域であるＤＳ領域についてのみダウンサンプリング処理が行われる。例えば、重要領域を含むＤＳ領域については入力データ（非縮小データ）がそのまま出力され、重要領域を含まないＤＳ領域についてはダウンサンプリング処理によって得られた縮小データが出力される。
【００４５】
重要領域及び非重要領域の判別、すなわち、ダウンサンプリングの対象となるＤＳ領域の判別は、予め決定され、あるいは、オペレータによって指定される。また、図示しないセンサーの出力信号に基づいて重要領域及び非重要領域を自動判別させてもよし、画像データに基づいて自動判別させることもできる。例えば、動画像のフレーム間での比較結果に基づいて、動きのある領域を重要領域と判別することができる。また、比較的変化の少ない平坦な画像領域を非重要領域と判別することもできる。
【００４６】
ダウンサンプリング処理は、ＤＳ領域内のピクセルを抜き出す間引き処理や、ローパスフィルタを利用したフィルタ処理などにより実現される。その際、間引き処理のみでダウンサンプリング処理を実現してもよいが、フィルタ処理と間引き処理とを併用することによって、歪みの少ない高精度のダウンサンプリング処理を実現することができる。例えば、ローパスフィルタとしてガウシアンフィルタを用いる処理では、１次元ガウシアンフィルタを画像データの水平方向に適用し、その結果、得られるデータに対して垂直方向に同じフィルタが適用される。この様にしてガウシアンフィルタによりフィルタ処理された画像データに間引き処理を行うことにより、精度よくダウンサンプリングを行うことができる。
【００４７】
図５（ａ）及び（ｂ）は、画像圧縮部１１におけるＤＳ領域分割とダウンサンプリングの一例を示した図である。図中の（ａ）には、画像領域全体を１６×１６ピクセルのＤＳ領域Ａ１に分割した場合が示されている。図中のＢＬは８×８ピクセルのＪＰＥＧブロックである。ＤＳ領域分割部１３０は、ＤＳ領域Ａ１がブロックＢＬの集合体となるように、分割する基準位置（図中では画面領域の左上）をＪＰＥＧにおけるブロック分割の場合と一致させている。ダウンサンプリング部１３１は、非重要領域であるＤＳ領域Ａ１について、当該ＤＳ領域内のピクセル数が縦横それぞれ１／２になるようにダウンサンプリングし、８×８ピクセルの縮小データへ変換している。同様にして、図中の（ｂ）には、画像領域全体を３２×３２ピクセルのＤＳ領域Ａ２に分割した場合が示されている。ＤＳ領域分割部１３０により分割された非重要領域であるＤＳ領域Ａ２は、ダウンサンプリング部１３１によって、縦横それぞれを１／４にダウンサンプリングした８×８ピクセルの縮小データへ変換される。
【００４８】
図６は、ダウンサンプリング部１３１の詳細構成例を示したブロック図である。このダウンサンプリング部１３１は、ＤＳ領域内の各ピクセルデータに基づいてダウンサンプリングを行う適応型ダウンサンプリング部であり、輪郭や細かな変化が含まれるＤＳ領域については高画質を維持する一方、平坦な画像からなるＤＳ領域については低解像度化させて、データ量を削減している。
【００４９】
この適応型ダウンサンプリング部は、ローパスフィルタ３０、間引き処理部３１、出力選択部３２、減算器３３及びダウンサンプリング判定部（ＤＳ判定部）３４により構成され、ＤＳ領域を構成する１６×１６ピクセルのピクセルデータf16(x,y)が入力される。ピクセルデータf16(x,y)とは、ＤＳ領域内の座標（ｘ，ｙ）における輝度データＹ又は色差データＵ，Ｖである。
【００５０】
入力ピクセルデータf16(x,y)は、ローパスフィルタ３０において高周波成分が除去され、低周波成分からなるピクセルデータfL(x,y)となる。このピクセルデータfL(x,y)は、さらに間引き処理部３１において１ビットおきに間引かれて、次式で表される８×８ピクセルのピクセルデータf８(x,y)となる。
【数１】
2005269620.tif 000003
すなわち、ローパスフィルタ３０及び間引き処理部３１においてダウンサンプリング処理が行われ、縮小データが生成される。出力選択部３２は、非縮小データであるピクセルデータf16(x,y)、又は、縮小データであるピクセルデータf8(x,y)の一方を選択し、出力ピクセルデータfo(x,y)として再配置部１３２へ出力している。
【００５１】
ＤＳ判定部３４は、ＤＳ領域内に含まれる高周波成分に基づいて、ダウンサンプリングを行うか否かを判定し、この判定結果に基づいて出力選択部３２を切替制御している。このＤＳ判定部３４は、ＭＳＨ（Means Square High Frequency component）算出部３５及び閾値比較部３６からなり、減算器３３において求められた高周波成分からなるピクセルデータfH(x,y)が入力されている。ＭＳＨ算出部３５は、次式に従ってピクセルデータfH(x,y)の２乗和（ＭＳＨ）を求めている。
【数２】
2005269620.tif 000004
【００５２】
閾値比較部３６は、上式により求められたＭＳＨを所定の判定閾値Ｔｈと比較し、ＭＳＨが判定閾値Ｔｈより小さい場合には、出力選択部３２にダウンサンプリングされたピクセルデータf8(x,y)を出力させ、判定閾値Ｔｈ以上の場合には、入力ピクセルデータf16(x,y)をそのまま出力させる。
【数３】
2005269620.tif 000005
【００５３】
［再配置部］
再配置部１３２は、ダウンサンプリング部１３１の出力データの並び替えを行って、画像全体のサイズを縮小化させた画像データを生成し、ＪＰＥＧエンコーダ１４へ出力している。ダウンサンプリング部１３１から出力されるデータには、１６×１６ピクセルからなる非縮小データと、８×８ピクセルからなる縮小データとが混在している。このため、２以上の縮小データを集め、同一のＤＳ領域内に再配置すれば、ＤＳ領域の数を削減することができ、画像全体のサイズを縮小させることができる。
【００５４】
ダウンサンプリング部１３１において、連続する各ＤＳ領域に対してダウンサンプリングが行われ、縮小データが連続して出力された場合、再配置部１３２は、これらの縮小データを同一のＤＳ領域内に順次に配置していく。縮小データが連続していない場合、あるいは、連続する数が少ない場合には、ＤＳ領域内に当該縮小データを配置した後、残された部分にフィルデータが挿入される。フィルデータとは、予め定められた任意のピクセルデータである。なお、フィルデータが挿入された領域をフィル領域と呼ぶことにする。
【００５５】
また、縮小データが配置されるＤＳ領域内には、上記空き領域とは別に、８×８ピクセルからなるフィル領域が常に設けられる。このフィル領域は、当該ＤＳ領域が、縮小データの配置された領域であることを識別可能にする識別領域であり、ＤＳ領域内における位置が予め定められている。縮小データのＤＳ領域内における配置順序は予め定められており、かつ、空き領域がフィル領域とされることから、受信側ユニットＵｒでは、これらのフィルデータに基づいて縮小データの配置を復元することができ、送信側ユニットＵｔから受信側ユニットＵｒへ、別途、縮小データの配置に関する情報を伝送する必要はない。また、上記空き領域や識別領域を同一データが挿入されたフィル領域とすることにより、ＪＰＥＧエンコーダ１４において圧縮処理される際の圧縮率を高めることができる。
【００５６】
なお、ＪＰＥＧエンコーダ１４は、矩形以外の形状からなる画像データを処理することができない。このため、再配置部１３２は、ＤＳ領域が削減された画像データの末尾にフィルデータのみからなるＤＳ領域を追加し、画像データが矩形形状となるように整形している。
【００５７】
図７の（ａ）〜（ｃ）は、画像縮小コンバータ１３の動作の一例を示した図である。
ＤＳ領域分割部１３０、ダウンサンプリング部１３１及び再配置部１３２による処理は、それぞれが、画像データの左上から開始され、水平方向に左から右へ順次に推移させるものとする。また、画像データの右端まで処理が完了すれば、処理対象を下方向へシフトさせ、処理済み領域の直下に位置する領域について同様の処理を繰り返されるものとする。
【００５８】
図中の（ａ）には、ＤＳ領域分割の様子が示されている。ＤＳ領域分割部１３０は、画像入力装置１０１から入力された９６×９６ピクセルの画像データについて、当該画像の領域全体を１６×１６ピクセルからなる３６個のＤＳ領域（♯１〜♯３６）に分割し、各ＤＳ領域の画像データをダウンサンプリング部１３１へ順次に出力する。このうち、♯２２，♯２８，♯３４が重要領域であり、その他のＤＳ領域は非重要領域であるものとする。
【００５９】
図中の（ｂ）には、ダウンサンプリングの様子が示されている。ダウンサンプリング部１３１は、ＤＳ領域分割部１３０から順次に出力される各ＤＳ領域について、重要領域又は非重要領域のいずれであるのかを判別する。この結果、重要領域であると判別した場合には、ダウンサンプリングを行わず、１６×１６ピクセルのピクセルデータを出力する。一方、非重要領域であると判別した場合には、縦横のピクセル数をそれぞれ１／２にするダウンサンプリングを行って、８×８ピクセルからなる縮小データを出力する。
【００６０】
図中の（ｃ）には、データ再配置の様子が示されている。再配置部１３２は、ダウンサンプリング部１３１から縮小データが出力されると、ＤＳ領域内の左上、右上、左下の順に配置していく。また、ＤＳ領域内の右下の８×８ピクセルにはフィルデータを挿入してフィル領域（識別領域）とする。図中では、♯１〜♯３が最初のＤＳ領域に配置され、♯４〜♯６が次のＤＳ領域に配置されている。以降も同様にして連続する縮小データ♯１〜♯２１が３個ずつＤＳ領域内に配置されていく。
【００６１】
その後、ダウンサンプリング部１３１から非縮小データ♯２２が出力されると、再配置部１３２は、新たなＤＳ領域に当該データ♯２２を配置する。その後、再び連続する縮小データ♯２３〜♯２７が出力され、３個ずつＤＳ領域内に配置されていく。次に、ダウンサンプリング部１３１から非縮小データ♯２８が出力された時点で、直前のＤＳ領域には、２個の縮小データ（♯２６，２７）しか配置されていない。このため、再配置部１３２は、ＤＳ領域内の左下の空き領域にもフィルデータを挿入してフィル領域とする。
【００６２】
次に、縮小データ♯２９〜♯３３、非縮小データ♯３４が順に出力された場合も全く同様にして配置される。そして、最後の縮小データ♯３６が配置された時点で、そのＤＳ領域内には空き領域（左下）が残っているため、当該空き領域にもフィルデータを挿入される。最後に、フィルデータのみからなる３個のＤＳ領域を追加して、画像全体の形状を矩形形状に整形して、再配置部１３２は処理を終了する。
【００６３】
なお、再配置部１３２では、画像データを縮小化させる際、縮小化された画像データの水平方向のサイズ（ピクセル数）を元の画像サイズに一致させ、垂直方向のサイズのみを縮小化させている。この様にして、再配置部１３２における処理方向に関する画像データのサイズを元の画像データに基づいて決定しておけば、元の画像サイズに関する情報がなくても、画像拡大コンバータ２４において正しく復元することができる。従って、送信側ユニットＵｔから受信側ユニットＵｒへ、別途、画像サイズに関する情報を伝送する必要がない。
【００６４】
また、ＹＵＶフォーマットからなる画像データは、１つの輝度データＹ及び２つの色差データＵ，Ｖからなるため、上記ＤＳ領域分割部１３０、ダウンサンプリング部１３１及び再配置部１３２は、これらの３つのデータに対して上述した処理をそれぞれ行っている。
【００６５】
また、ダウンサンプリング部１３１から再配置部１３２へ出力されるデータは、縮小データ及び非縮小データのみであってもよいし、ダウンサンプリングが行われたＤＳ領域内の空き領域にフィルデータを挿入したデータ（つまり、元の画像データと領域サイズが同じデータ）であってもよい。
【００６６】
<ＪＰＥＧエンコーダ>
ＪＰＥＧエンコーダ１４は、ブロック分割部１４０、ＤＣＴ処理部１４１、量子化処理部１４２、符号化部１４３、量子化テーブルＴ１及び符号テーブルＴ２により構成される（図４参照）。画像圧縮コンバータから出力された画像データは、ブロック分割部１４０において８×８ピクセルからなる複数のブロックに分割される。ＤＣＴ処理部１４１は、分割された各ブロックごとに離散コサイン変換を行ってＤＣＴ係数を求めている。この様にして求められた各ＤＣＴ係数は、量子化処理部１４２により、量子化テーブルＴ１を用いて量子化される。
【００６７】
図８は、量子化テーブルＴ１の一例を示した図であり、量子化ステップ幅を規定するためのデータが、水平方向及び垂直方向の周波数成分ごとにマトリクス状に示されている。通常、輝度データ及び色差データの量子化処理には、異なる量子化テーブルが用いられており、図中の（ａ）には輝度データ用の量子化テーブル、（ｂ）には色差データ用の量子化テーブルの例が示されている。これらのデータテーブルは、いずれも周波数が増大するのに応じて量子化ステップ幅を拡大させるデータからなり、この傾向は、色差データ用の量子化テーブルの方が、輝度データ用の量子化テーブルよりも顕著である。
【００６８】
量子化処理部１４２は、ＤＣＴ係数を量子化処理する際、当該ＤＣＴ係数に応じたデータを量子化テーブルＴ１から読み出し、読み出されたデータにさらに量子化ファクタ（量子化係数）Ｑを乗じた値を量子化ステップ幅として用いている。この量子化ファクタＱは、圧縮率及び画像品質を調整するための任意の値であり、予め与えられている。この量子化ファクタＱを大きくすれば、量子化ステップ幅が増大し、データ圧縮率を向上させることができるが、それにともなってブロック歪みが発生し、画像品質が低下する。
【００６９】
図６に示した適応型のダウンサンプリング部１３１を用いる場合、閾値比較部３６における判定閾値Ｔｈを大きくすれば、ＪＰＥＧ圧縮後のデータ量を削減することができる。このため、比較的小さな量子化ファクタＱを用いて所望の圧縮率を得ることができる。ただし、この判定閾値Ｔｈを大きくし過ぎると、輪郭や細かな変化のある領域にも劣化を招くようになる。このため、復元された画像データが良好な品質となるように、判定閾値Ｔｈ及び量子化ファクタＱの組み合わせを決定する必要がある。つまり、判定閾値Ｔｈは、量子化ファクタＱに基づいて決定され、また、量子化ファクタＱは、判定閾値Ｔｈに基づいて決定される。
【００７０】
符号化部１４３は、量子化後のＡＣ係数については、ブロック内でのランレングス変換処理を行い、量子化後のＤＣ係数については、ブロック間での差分処理を行った後、これらのデータについて、エントロピー符号を用いた符号化処理が行われる。エントロピー符号とは、出現確率に応じた符号長を有する符号体系であり、ハフマン符号が広く知られている。符号テーブルＴ２には、ハフマン符号の符号表が保持されており、符号化部１４３は、この符号テーブルＴ２を用いて上記符号化処理を行っている。
【００７１】
<画像伸張部>
図９は、図３の画像伸張部２１の一構成例を示したブロック図であり、ＪＰＥＧデコーダ２３及び画像拡大コンバータ２４について詳細な構成例が示されている。
【００７２】
［ＪＰＥＧデコーダ］
ＪＰＥＧデコーダ２３は、復号化部２３０、逆量子化処理部２３１、逆ＤＣＴ処理部２３２、量子化テーブルＴ１及び符号テーブルＴ２により構成され、ＪＰＥＧエンコーダ１４とは逆の処理を行って圧縮データを伸張し、ＪＰＥＧ圧縮前の画像データを復元している。なお、量子化テーブルＴ１及び符号テーブルＴ２は、ＪＰＥＧエンコーダ１４と同じデータテーブルを使用する必要があり、必要に応じて圧縮データに付加され、送信側ユニットＵｔから受信側ユニットＵｒへ伝送することもできる。
【００７３】
復号化部２３０では、符号テーブルＴ２を用いて圧縮データ中のハフマン符号を復号化し、さらに、差分処理されたＤＣ係数及びランレングス変換されたＡＣ係数を復号化する。復号化処理されたデータは、逆量子化処理部２３１において、量子化テーブルＴ１を用いて逆量子化され、ブロックごとのＤＣＴ係数が復元される。このＤＣＴ係数は、逆ＤＣＴ処理部２３２において逆ＤＣＴ処理され、ＪＰＥＧ圧縮処理前の画像データ、すなわち、画像縮小コンバータ１３により縮小化された画像データが復元される。
【００７４】
［画像拡大コンバータ］
画像拡大コンバータ２４は、ＤＳ領域分割部２４０、配置復元部２４１及び補間処理部２４２により構成され、画像縮小コンバータ１３の場合と逆の処理を行って、縮小処理前の画像データを復元している。まず、ＤＳ領域分割部２４０が、ＪＰＥＧデコーダ２３から出力される画像データを複数のＤＳ領域に分割する。このＤＳ領域には、送信側ユニットＵｔのＤＳ領域分割部１３０で使用されたＤＳ領域と同じサイズ（ここでは、１６×１６ピクセル）が用いられる。
【００７５】
配置復元部２４１は、分割された各ＤＳ領域内に存在するフィル領域に基づいて、当該ＤＳ領域内における非縮小データ又は縮小データの配置状態を判別し、この判別結果に基づいて縮小データの並べ替えを行った後、補間処理部２４２へ出力している。
【００７６】
図１０の（ａ）〜（ｅ）は、ＤＳ領域が１６×１６ピクセル、縮小データが８×８ピクセルからなる場合におけるＤＳ領域内の全ての配置状態を示した図である。（ａ）は、ＤＳ領域内にフィル領域が存在しない場合であり、非縮小データが配置されていると判別することができる。この判別は、ＤＳ領域内の右下がフィル領域でないことを判別するだけで行うことができる。（ｂ）〜（ｄ）は、ＤＳ領域内に１〜３個の縮小データが配置されている場合、（ｅ）は、ＤＳ領域がフィル領域のみからなる場合であり、いずれも８×８ピクセルからなるフィル領域の数により判別することができる。
【００７７】
なお、１６×１６ピクセルのＤＳ領域に、８×８ピクセルからなる任意の数のフィル領域を配置する場合、配置パターンの組み合わせは２４通り考えられ、（ａ）及び（ｅ）の配置パターンを除けば１４通りとなる。つまり、フィル領域１個の配置パターンが４通り、２個の配置パターンが６通り、３個の配置パターンが４通りある。このため、（ｂ）〜（ｄ）の場合におけるフィル領域の配置方法は、本実施の形態の例に限られるものではなく、上記１４通りの中から任意に選択可能であることは言うまでもない。
【００７８】
補間処理部２４２は、配置復元部２４１から出力された縮小データについて、ピクセル間を補完してピクセル数を増大させ、ダウンサンプリング前の元のサイズ（すなわちＤＳ領域のサイズ）に復元する。この補間処理には、ＬＰ拡大法、線形補間、２次補間、３次補間などを使用することができる。ＬＰ拡大法とは、ダウンサンプリング部によるサンプリングの際に失われた高周波成分を推定して画像を復元する方法である。一方、非縮小データについては補間処理を行わない。このようにして、画像縮小コンバータ１３によるサイズ縮小前の画像データが復元され、ＲＧＢ変換部２０へ出力される。
【００７９】
なお、ＹＵＶフォーマットからなる画像の圧縮データは、１つの輝度データＹ及び２つの色差データＵ，Ｖそれぞれについての圧縮データからなるため、上記ＤＳ領域分割部２４０、配置復元部２４１、補間処理部２４２は、これらの３つの圧縮データに対して上述した処理をそれぞれ行っている。
【００８０】
上記実施の形態では、画像データを１６×１６ピクセルのＤＳ領域に分割し、一部の領域について８×８ピクセルにダウンサンプリングする例について説明した。しかしながら、本発明はこの様なピクセル数の場合に限定されるものではない。
【００８１】
<３２×３２のＤＳ領域>
図１１の（ａ）〜（ｃ）は、画像データを３２×３２ピクセルのＤＳ領域に分割し、８×８ピクセルの縮小データにダウンサンプリングして再配置する場合の様子を示した図である。（ａ）では、画像領域全体が３２×３２ピクセルからなる複数のＤＳ領域に分割されている。（ｂ）では、重要領域を含まないＤＳ領域について、縦横のピクセル数をそれぞれ１／４にするダウンサンプリングを行って、８×８ピクセルの縮小データへ変換している。（ｃ）では、連続する縮小データを集めて、同一のＤＳ領域内に再配置し、画像領域全体のサイズを縮小している。
【００８２】
図１１では、図７の場合に比べ、縮小後の画像領域全体のサイズが大きくなっているが、画像領域全体が更に大きくなり、連続する非重要領域が多数存在するような場合には、図７の方法よりも画像領域全体のサイズをより小さくすることが期待できる。
【００８３】
実施の形態２．
実施の形態１の画像圧縮伸張システムでは、画像拡大コンバータ２４内の配置復元部２４１が、ＤＳ領域内に存在するフィル領域の位置に基づいて、非縮小データ及び縮小データの配置を判別している。このため、非縮小データの一部又は縮小データがフィル領域と一致する場合には、配置復元部２４１が、誤った判別を行うおそれがある。本実施の形態では、このような誤判別を防止することができる画像圧縮伸張システムについて説明する。
【００８４】
一般に、ＪＰＥＧエンコーダ１４により圧縮処理された画像データには量子化誤差が生じている。つまり、フィルデータとして任意の値を採用したとすれば、画像縮小コンバータ１３において画像データに挿入されたフィルデータは、その後、ＪＰＥＧ圧縮処理及びＪＰＥＧ伸張処理を経て、画像拡大コンバータ２４に入力される時点では、異なるデータに変化している可能性がある。この場合、配置復元部２４１において縮小データを正しく判別することができなくなる。
【００８５】
この様な誤判別を回避する第１の対策として、量子化誤差が生じた場合であっても、フィルデータを判別可能な判別方法を画像拡大コンバータ２４において採用することが考えられる。すなわち、配置復元部２４１が、フィルデータを中心とし、量子化誤差の最大値に基づく幅を有する範囲内にあるピクセルデータをフィルデータであると判別すれば、量子化誤差が生じていてもフィルデータを正しく判別することができる。
【００８６】
また、上記誤判別を回避する第２の対策として、量子化誤差による影響を受けない値をフィルデータとして採用することが考えられる。すなわち、量子化処理部１４２における量子化ステップのいずれか一つをフィルデータとして採用すれば、量子化処理によってフィルデータが異なる値に変化することはなく、配置復元部２４１において縮小データを正しく判別することができる。
【００８７】
ところが、ＪＰＥＧエンコーダ１４では、量子化テーブルＴ１及び量子化ファクタＱにより量子化ステップ幅が与えられ、この量子化ステップ幅に基づいて、量子化ステップが決定されている。このため、量子化テーブルＴ１及び量子化ファクタＱが変化すれば、量子化誤差の最大値や、量子化ステップも変化し、フィルデータも変更しなければならなくなる。ただし、量子化ステップ幅から量子化ステップを求める際の基準値となる値０だけは量子化ステップ幅にかかわらず、常に量子化ステップとなる。従って、上記第２の対策を採用し、量子化処理時における値０をフィルデータとして採用することが望ましい。
【００８８】
ＪＰＥＧエンコーダ１４内では、演算処理の都合上、各ピクセルデータから中央値を引いてレベルシフトさせ、符号付きデータに変換してからＤＣＴ処理が行われている。そして、ＪＰＥＧデコーダ２３内において逆ＤＣＴ処理が完了したピクセルデータに上記中央値を加算することによって元のピクセルデータに戻している。従って、この中央値をフィルデータとして採用すればよい。
【００８９】
一般に、各ピクセルデータは８ビットで表現され、０〜２５５の値をとるため、ＪＰＥＧエンコーダ１４内では、その中央値１２８を各ピクセルデータから引いて、符号付きデータに変換される。つまり、量子化処理の時点におけるＤＣ係数０が、ピクセルデータの平均値１２８に相当する。従って、フィルデータをピクセルデータの中央値１２８にすれば、量子化処理時におけるＤＣＴ係数は全てゼロになり、量子化ステップ幅にかかわらず、フィルデータが量子化誤差による影響を受けることはなくなる。
【００９０】
次に、上述した通り、ＪＰＥＧ規格による圧縮伸張処理では、高周波成分になるほど量子化ステップ幅を増大させた量子化テーブルＴ１（図８参照）が使用される。このため、ＪＰＥＧ圧縮伸張処理を経て復元された画像データには、圧縮過程でＤＣ成分のみに絞り込まれたブロックが含まれている可能性がある。この様なブロックでは、復元後に全ピクセルの値が一致し、その値は圧縮前のピクセルデータの平均値（ただし整数）となる。従って、ＪＰＥＧブロックを構成するピクセルデータの平均値がフィルデータに近い値であった場合、ＪＰＥＧ圧縮伸張処理を経ることによって、当該ＪＰＥＧブロック内の全ピクセルがフィルデータに一致し、フィル領域と区別することができなくなる可能性がある。つまり、配置復元部２４１がフィル領域を誤判別し、画像拡大コンバータ２４において元の画像データを正しく復元することができない可能性がある。
【００９１】
このようなフィル領域の誤判別を防止するためには、再配置部１３２において、平均値が１２８付近となるＪＰＥＧブロックについて、当該平均値を１２８から遠ざけるように加工しておく必要がある。具体的には、ＪＰＥＧ圧縮伸張処理によるブロック内の平均値の最大変動幅がα未満であるとすれば、ＪＰＥＧ圧縮前の平均値と１２８との差がα未満であるブロックについて、当該平均値が１２８＋α又は１２８−αになるようにピクセルデータを変更しておけばよいことになる。例えば、ブロック内のピクセルデータをf(x,y)とし、次式（５）を満足する場合には、画像データの平均値を予め１２８−αに変更し、次式（６）を満足する場合には、画像データの平均値を予め１２８＋αに変更しておく必要がある。
【数４】
2005269620.tif 000006
【００９２】
このようなαの決定方法について説明する。ＪＰＥＧによるＤＣＴ処理では、ＤＣ係数が次式（７）によって求められている。このため、ＪＰＥＧブロック内の平均値をαだけ変化させると、ＤＣ係数は１６αだけ変化することになる。例えば、各ピクセルデータにそれぞれαを加算した場合、ＤＣ係数は１６αだけ増大する。
【数５】
2005269620.tif 000007
【００９３】
上述した通り、ＤＣ係数は、量子化処理部１４２において、量子化テーブルＴ１及び量子化ファクタＱにより決まる量子化ステップ幅により量子化処理される。ＤＣ係数の場合、図８に示した量子化テーブルＴ１の左上端のデータが用いられる。このデータは通常１６であり、１６Ｑが量子化ステップ幅として用いられる。この場合、演算精度上の誤差を除けば、ＤＣ係数の量子化誤差は１６Ｑ未満ということができる。従って、１６α≧１６Ｑ（つまりα≧Ｑ）が成立すれば、ブロック内の平均値が１２８−α及び１２８＋αの場合に、ＪＰＥＧ圧縮伸張処理後における当該ブロック内の平均値が１２８に変化することはない。
【００９４】
ピクセルデータの変更による画像品質への影響を考慮すれば、できるだけ小さい値をαとして採用することが好ましく、このような観点からはα＝Ｑとすることが望ましい。ただし、α<２Ｑであれば、原理的には復元後の画像データがα＝Ｑの場合と同じになることから、演算精度上の誤差を考慮すれば、Ｑ<α<２Ｑの範囲内でαを決定することがより望ましい。
【００９５】
具体的には、再配置部１３２が、１６×１６ピクセルの非縮小データを構成する４個の各ＪＰＥＧブロック（８×８ピクセル）と、８×８ピクセルからなる縮小データのそれぞれを上式（５），（６）に適用する。その結果、上式（５）を満たす場合には、平均値が１２８＋αとなるように、当該ブロック内の各ピクセルに同一の値を加える。また、上式（６）を満たす場合には、平均値が１２８−αとなるように、当該ブロック内の各ピクセルから同一の値を引く。
【００９６】
実施の形態３．
実施の形態１では、画像領域全体を同一サイズのＤＳ領域に分割する場合の例について説明した。これに対し、本実施の形態では、異なるサイズのＤＳ領域に分割し、ダウンサンプリングにおける縮小率を異ならせる場合について説明する。
【００９７】
図１２の（ａ）〜（ｃ）は、本発明の実施の形態３による画像圧縮伸張システムの動作の一例を示した図である。
【００９８】
図中の（ａ）には、ＤＳ領域分割部１３０によるＤＳ領域分割の様子が示されている。ＤＳ領域分割部１３０は、２以上のサイズの異なるＤＳ領域を混在させて、画像領域全体を分割している。ここでは、３２×３２ピクセルからなる大きなＤＳ領域と、１６×１６ピクセルからなる小さなＤＳ領域とを混在させている。その際、重要領域は小さなＤＳ領域に含まれるように分割している。また、非重要領域については、重要領域から遠い部分を大きなＤＳ領域に分割し、重要領域に近い部分を小さなＤＳ領域に分割している。
【００９９】
具体的には、画像入力装置１０１から入力された９６×９６ピクセルの画像データについて、当該画像の領域全体を７個の大きなＤＳ領域（♯１〜♯３，♯４，♯７，♯１０，♯１３）及び８個の小さなＤＳ領域（♯５，♯６，♯８，♯９，♯１１，♯１２，♯１４，♯１５）に分割し、各ＤＳ領域の画像データをダウンサンプリング部１３１へ出力している。このうち♯９，♯１２，♯１５が重要領域であり、いずれも小さなＤＳ領域に分割されている。
【０１００】
図中の（ｂ）には、ダウンサンプリング部１３１によるダウンサンプリングの様子が示されている。ダウンサンプリング部１３１は、非重要領域である各ＤＳ領域についてダウンサンプリングを行って、８×８ピクセルからなる縮小データへ変換している。つまり、ＤＳ領域のサイズに応じた縮小率でダウンサンプリングを行って、ＤＳ領域のサイズにかかわらず、同じサイズの縮小データに変換している。
【０１０１】
具体的には、ＤＳ領域分割部１３０により３２×３２ピクセルに分割された大きなＤＳ領域（♯１〜♯３，♯４，♯７，♯１０，♯１３）については、縦横のピクセル数をそれぞれ１／４に縮小させるダウンサンプリングを行っている。一方、１６×１６ピクセルに分割された小さなＤＳ領域（♯５，♯６，♯８，♯１１，♯１４）については、縦横のピクセル数をそれぞれ１／２に縮小させるダウンサンプリングを行っている。この結果、１６×１６ピクセルの非縮小データ（♯９，♯１２，♯１５）と、８×８ピクセルの縮小データとが再配置部１３２へ出力される。
【０１０２】
図中の（ｃ）には、再配置部１３２によるデータ再配置の様子が示されている。再配置部１３２は、小さなＤＳ領域（１６×１６ピクセル）内に縮小データを再配置している。その際、ダウンサンプリング部１３１において、１／４にダウンサンプリグされた縮小データ（１／４縮小データ）と、１／２にダウンサンプリグされた縮小データ（１／２縮小データ）とを区分し、同一のＤＳ領域内に１／４縮小データ及び１／２縮小データを混在させないように再配置している。
【０１０３】
また、１／４縮小データを配置する場合と、１／２縮小データを配置する場合について、ＤＳ領域内におけるフィル領域及び縮小データの配置を異ならせて、フィル領域に基づいて両者を識別可能にしている。具体的には、１／２縮小データをＤＳ領域内に配置する場合には、実施の形態１の場合と同様、右下にフィル領域を配置するととともに、縮小データを左上、右上、左下の順に配置していく。一方、１／４縮小データをＤＳ領域内に配置する場合には、左上にフィル領域を配置するととともに、縮小データを右下、左下、右上の順に配置していく。
【０１０４】
縮小データ♯１〜♯３は１／４縮小データであるため、１６×１６ピクセルのＤＳ領域内の左上にフィル領域を配置し、右下から所定の順に各縮小データが配置される。縮小データ♯４も１／４縮小データであるため、同様にして、次のＤＳ領域内に配置される。続く縮小データ♯５，♯６は１／２縮小データであるため、縮小データ♯４と同じＤＳ領域には配置せず、新たなＤＳ領域に配置される。従って、縮小データ♯４が配置されたＤＳ領域の空き領域にはフィルデータが挿入され、次のＤＳ領域内の右下にフィル領域を配置し、縮小データ♯５，♯６が左上から所定の順に配置される。次の縮小データ♯７は１／４縮小データであるため、縮小データ♯５，♯６とは別のＤＳ領域に配置される。以下、同様にして非縮小データ及び縮小データが順に再配置されていく。
【０１０５】
図中の（ｃ）を図１１の（ｃ）と比較すれば、いずれも重要領域についてはダウンサンプリングを行わず、非重要領域についてはダウンサンプリングを行って１／４縮小データに変換しているにもかかわらず、画像領域全体のサイズをより縮小できていることがわかる。
【０１０６】
図１３の（ａ）〜（ｈ）は、ＤＳ領域が１６×１６ピクセル、縮小データが８×８ピクセルの場合におけるＤＳ領域内の全ての配置状態を示した図である。（ａ）は、ＤＳ領域内にフィル領域が存在しない場合であり、非縮小データが配置されていると判別することができる。この判別は、ＤＳ領域内の左上及び右下がフィル領域でないことを判別するだけで行うことができる。（ｂ）〜（ｄ）は、ＤＳ領域内に１〜３個の１／２縮小データが配置されている場合、（ｅ）〜（ｇ）は、ＤＳ領域内に１〜３個の１／４縮小データが配置されている場合、（ｈ）は、ＤＳ領域がフィル領域のみからなる場合であり、いずれも８×８ピクセルからなるフィル領域の配置により判別することができる。なお、（ｂ）〜（ｇ）の場合におけるフィル領域の配置方法は、本実施の形態の例に限られるものではなく、上述した１４通りの中から任意に選択可能である。
【０１０７】
実施の形態４．
実施の形態３では、画像領域全体を異なるサイズのＤＳ領域に分割し、ダウンサンプリングにおける縮小率を異ならせる場合について説明した。これに対し、本実施の形態では、画像領域全体を同一サイズのＤＳ領域に分割し、階層的にダウンサンプリングを行う場合について説明する。
【０１０８】
本実施の形態では、ダウンサンプリング部１３１において、重要領域を含まない一部のＤＳ領域に対し、２回（又は３回以上）のダウンサンプリングが行われる。すなわち、複数のＤＳ領域について、それぞれダウンサンプリングを行って得られた複数の縮小データを集め、これらの縮小データの集合体に対して再度ダウンサンプリングを行っている。この場合、２回ダウンサンプリングされたＤＳ領域は、演算精度による誤差やフィルタ処理に起因する差を除けば、縮小率が２倍のダウンサンプリングを行った場合と同じ結果が得られる。つまり、階層的なダウンサンプリングを行っても、実施の形態３の場合と、ほぼ同じ結果を得ることができる。
【０１０９】
図１４及び図１５の（ａ）〜（ｅ）は、本発明の実施の形態４による画像圧縮伸張システムの動作の一例を示した図である。図中の（ａ）には、ＤＳ領域分割部１３０によるＤＳ領域分割の様子が示されている。ＤＳ領域分割部１３０は、実施の形態１の場合と全く同様にして、画像領域全体を１６×１６ピクセルのＤＳ領域（♯１〜♯３６）に分割している。このうち♯２２，♯２８，♯３４が重要領域である。
【０１１０】
図中の（ｂ）には、ダウンサンプリング部１３１による１回目のダウンサンプリングの様子が示されている。ダウンサンプリング部１３１は、非重要領域である各ＤＳ領域についてダウンサンプリングを行い、１６×１６ピクセルからなる１／２縮小データへ変換している。ここまでの動作は、実施の形態１の場合と同じである。
【０１１１】
図中の（ｃ）には、縮小データをグループ化する様子が示されている。ダウンサンプリング部１３１は、隣接する４個の１／２縮小データをグループ化することによって、１６×１６ピクセルからなる新たなＤＳ領域を生成する。すなわち、隣接する縮小データ♯１，♯２，♯７及び♯８を集めて新ＤＳ領域♯Ａを生成し、縮小データ♯３，♯４，♯９及び♯１０を集めて新ＤＳ領域♯Ｂを生成する。以下も同様にして、新ＤＳ領域♯Ａ〜♯Ｇを生成する。その際、グループ化できない縮小データ♯１５，♯１６，♯２１，♯２７及び♯３３は、そのままにしておく。
【０１１２】
図中の（ｄ）には、ダウンサンプリング部１３１による２回目のダウンサンプリングの様子が示されている。２回目のダウンサンプリングは、グループ化された新ＤＳ領域に対してのみ行われ、これらの領域については８×８ピクセルからなる１／４縮小データが生成される。２回目のダウンサンプリングが完了した時点で、実施の形態３における図１２の（ｂ）と同じ状態になる。
【０１１３】
図中の（ｅ）には、再配置部１３２によるデータ再配置の様子が示されている。再配置部１３２は、２回ダウンサンプリングされた１／４縮小データと、１回ダウンサンプリングされた１／２縮小データとを区分し、同一のＤＳ領域内に１／４縮小データ及び１／２縮小データを混在させないように再配置している。その配置方法は、実施の形態３の場合と同様である。
【０１１４】
実施の形態５．
上記実施の形態では、画像縮小コンバータ１３及び画像拡大コンバータ２４が、輝度データＹ及び色差データＵ，Ｖについて同じ処理をそれぞれ行っており、これらの各データに対する処理を区別することなく説明した。これに対し、本実施の形態では、輝度データＹに対する処理と、色差データＵ，Ｙに対する処理とを異ならせる場合について説明する。
【０１１５】
図１６は、本発明の実施の形態５による画像圧縮装置の要部の一構成例を示したブロック図であり、図２の画像縮小コンバータ１３の詳細構成が示されている。この画像縮小コンバータ１３は、ＹＵＶに共通のＤＳ領域分割部１３０と、ＹＵＶごとの３個のダウンサンプリング部１３１，１３１ｓと、ＹＵＶごとの３個の再配置部１３２，１３２ｓにより構成される。
【０１１６】
ＤＳ領域分割部１３０は、輝度データＹ及び色差データＵ，ＶのそれぞれについてＤＳ領域への分割を行っており、実施の形態１の場合と同様のＤＳ領域分割処理が行われている。つまり、ＹＵＶそれぞれについて、同じピクセルデータは同じＤＳ領域に属するようにＤＳ領域分割が行われている。
【０１１７】
ダウンサンプリング部１３１は、輝度データＹのダウンサンプリングを行う適用型ダウンサンプリング部であり、実施の形態１の場合と同様、対象となるＤＳ領域が重要領域であるか否かを判定し、この判定結果に基づいてダウンサンプリングを行っている（図６参照）。一方、２個のダウンサンプリング部１３１ｓは、色差データＵ，Ｖのダウンサンプリングをそれぞれ行っているが、ダウンサンプリングを行うか否かの判断は、輝度データ用のダウンサンプリング部１３１の判定結果に従う。
【０１１８】
図１７は、図１６のダウンサンプリング部１３１ｓの詳細構成例を示したブロック図である。このダウンサンプリング部１３１ｓは、図６の適応型ダウンサンプリング部１３１と比較すれば、出力選択部３２を制御するための減算器３３及びダウンサンプリング判定部（ＤＳ判定部）３４を有していない点で相違する。このため、出力選択部３２は、輝度データＹ用のダウンサンプリング部１３１におけるＤＳ判定部３４の判定結果に基づいて動作させている。つまり、同じＤＳ領域は、輝度データＹについてダウンサンプリングを行えば、色差データＵ，Ｖについてもダウンサンプリングが行われ、輝度データＹについてダウンサンプリングが行われなければ、色差データＵ，Ｖについてもダウンサンプリングが行われない。
【０１１９】
再配置部１３２は、輝度データＹについて縮小データの再配置を行っており、実施の形態１の場合と同様、縮小データを再配置するとともに、縮小データが配置されたＤＳ領域内の所定位置にフィルデータからなる識別領域を配置している。一方、再配置部１３２ｓは、色差データＵ，Ｖについて縮小データの再配置を行っているが、その際、縮小データが配置されたＤＳ領域であっても、当該ＤＳ領域内にフィルデータからなる識別領域を配置しない。このため、輝度データＹに比べ、同じＤＳ領域内により多くの縮小データを配置することができる。
【０１２０】
図１８は、本発明の実施の形態５による画像圧縮伸張システムの動作の一例を示した図である。この図は、図７（実施の形態１）と同じ画像データに関し、図中の（ａ）に輝度データＹの再配置の様子、図中の（ｂ）に色差データＵ，Ｖの再配置の様子がそれぞれ示されている。
【０１２１】
輝度データＹに関する再配置処理は、実施の形態１で説明した方法と同じ処理であるため、ここでは説明を省略する。色差データＵ，Ｖについては、連続する縮小データをＤＳ領域内に再配置していく際、１つのＤＳ領域内に４個の縮小データを配置している。このため、ダウンサンプリング部１３１ｓから５個以上の縮小データが連続して入力された場合、５個目以降の縮小データが次のＤＳ領域に配置される。つまり、１つのＤＳ領域内に配置できる最大数に達するまで、各ＤＳ領域ごとに縮小データを詰めて配置している。一方、連続する縮小データが３個以下の場合には、空き領域にフィルデータが挿入される。図中では、♯１〜♯４が最初のＤＳ領域に配置され、♯５〜♯８が次のＤＳ領域に配置されている。以降も同様にして連続する縮小データ♯１〜♯２１が４個ずつＤＳ領域内に配置されていく。その他の処理は、輝度データＹの場合と同様である。
【０１２２】
この場合、再配置された色差データＵ，Ｖには、フィルデータからなる識別領域が配置されていないため、再配置後の色差データＵ，Ｖに基づいて、配置復元時に縮小データと非縮小データの識別を行うことができない。しかしながら、本実施の形態では、色差データＵ，Ｖ及び輝度データＹについて、ダウンサンプリングを行うＤＳ領域を一致させており、また、ＪＰＥＧ圧縮後の色差データＵ，Ｖは、ＪＰＥＧ圧縮後の輝度データＹとともに、送信側ユニットＵｔから受信側ユニットＵｒへ伝送される。このため、再配置後の輝度データＹに基づいて、再配置後の色差データＵ，Ｖについても縮小データと非縮小データを識別することができ、その配置を復元することができる。
【０１２３】
図１９は、本発明の実施の形態５による画像伸張装置の要部の一構成例を示したブロック図であり、図３の画像拡大コンバータ２４の詳細構成が示されている。この画像拡大コンバータ２４は、ＹＵＶに共通のＤＳ領域分割部２４０と、ＹＵＶごとの３個の配置復元部２４１，２４１ｓと、ＹＵＶに共通の補間処理部２４２により構成される。
【０１２４】
ＤＳ領域分割部２４０は、ＪＰＥＧデコーダ２３から出力される輝度データＹ及び色差データＵ，ＶのそれぞれについてＤＳ領域への分割を行っており、実施の形態１の場合と同様のＤＳ領域分割処理が行われている。
【０１２５】
配置復元部２４１は、輝度データＹの配置復元を行っており、実施の形態１の場合と同様、対象となるＤＳ領域が縮小データ及び非縮小データのいずれであるのかを判別し、この判別結果に基づいて、これらのデータ配置を復元している。一方、２個の配置復元部２４１ｓは、色差データＵ，Ｖの配置復元を行っているが、対象となるＤＳ領域が縮小データ及び非縮小データのいずれであるのかの判別は、輝度データ用の配置復元部２４１の判別結果を利用している。
【０１２６】
すなわち、縮小データ及び非縮小データの配置は、これらの出現順が決まれば一意に決まる。このため、輝度データＹ用の配置復元部２４１の判別結果から、再配置された色差データＵ，Ｖにおける縮小データ及び非縮小データの配置を知ることができる。この様にして、配置復元部２４１ｓは配置復元を行っている。
【０１２７】
実施の形態６．
実施の形態５では、ＹＵＶ変換部１０においてＹＵＶ４４４フォーマットへの変換が行われ、変換後の輝度データ及び色差データのデータ数が同一である場合の例について説明した。これに対し、本実施の形態では、ＹＵＶ４２２，ＹＵＶ４２０などへの変換が行われ、変換後の輝度データ及び色差データのデータ数が異なる場合について更に説明する。
【０１２８】
一般に、人間の目は、輝度成分に比べて色成分に対する識別力が弱く、垂直方向に比べて水平方向に対する識別力が弱い。ＹＵＶ４２２，ＹＵＶ４２０などのフォーマットでは、このような視覚特性を利用して、色差データのデータ数が輝度データよりも少なくなっている。つまり、ＹＵＶ変換部１０において、ＲＧＢフォーマットがＹＵＶ４２２，ＹＵＶ４２０などのフォーマットへ変換された画像データは、輝度データＹのデータ数と、色差データＵ，Ｖのデータ数とが一致しない。従って、ＤＳ領域分割部１３０において、輝度データＹ及び色差データＵ，Ｖが同じサイズのＤＳ領域にそれぞれ分割されると、色差データＵ，Ｖの各ＤＳ領域と、輝度データＹのＤＳ領域とは一致しなくなる。以下では、必要に応じて、色差データＵ，ＶのＤＳ領域の「色差ＤＳ領域」、輝度データＹのＤＳ領域を「輝度ＤＳ領域」と呼んで区別することにする。
【０１２９】
図２０は、ＹＵＶ４２２フォーマットの画像データの一例を示した図である。ＹＵＶ４２２フォーマットの場合、色差データＵ，Ｖの水平データ数が輝度データＹの半分になっており、各色差データＵ，Ｖは、水平方向に隣接する２個の輝度データＹに対応づけられている。このため、色差ＤＳ領域も水平方向に隣接する２個の輝度ＤＳ領域に対応している。
【０１３０】
図中の（ａ）は輝度データＹについてＤＳ領域分割の様子が示され、図中の（ｂ）は輝度データＹについてＤＳ領域分割の様子が示されている。９６×９６ピクセルからなるＹＵＶ４２２フォーマットの画像データは、９６×９６個の輝度データＹと、それぞれ４８×９６個の色差データＵ，Ｖからなる。輝度データＹ及び色差データＵ，Ｖは、ＤＳ領域分割部１３０において、１６×１６個のデータからなるＤＳ領域にそれぞれ分割されるため、輝度データＹは、３６個の輝度ＤＳ領域（♯１〜♯３６）に分割され、色差データＵ，Ｖは、１８個の色差ＤＳ領域（♯１〜♯１８）に分割される。この場合、色差ＤＳ領域＃ｎは、輝度ＤＳ領域＃２ｎ−１及び＃２ｎに対応している（ｎは１〜１８の整数）。
【０１３１】
色差データＵ，Ｖ用のダウンサンプリング部１３１ｓは、色差ＤＳ領域＃ｎが対応する２個の輝度ＤＳ領域♯２ｎ−１，♯２ｎに関するダウンサンプリング部１３１での判定結果に基づいて、当該色差ＤＳ領域＃ｎについてダウンサンプリングを行うか否かを決定する。具体的には、２個の輝度ＤＳ領域♯２ｎ−１，♯２ｎがともに重要領域である場合には、色差ＤＳ領域♯ｎは重要領域であると決定し、ダウンサンプリングを行わない。一方、２個の輝度ＤＳ領域♯２ｎ−１，♯２ｎのいずれか一方又は両方が非重要領域であれば、色差ＤＳ領域♯ｎは非重要領域であると決定し、ダウンサンプリングが行われる。図２０では、輝度ＤＳ領域の♯２１，♯２２，＃２７，♯２８，＃３３，♯３４が重要領域であるため、色差ＤＳ領域の♯１１，♯１４，♯１７が重要領域となる。ただし、２個の輝度ＤＳ領域♯２ｎ−１，♯２ｎのうち、一方が重要領域で他方が非重要領域である場合に、色差ＤＳ領域♯ｎについてダウンサンプリングを行うか否かについては、予め任意に定めておくことができる。
【０１３２】
図２１は、本発明の実施の形態６による画像圧縮伸張システムの動作の一例を示した図である。図２１の（ａ）には、図２０に示した輝度データＹについて、データ再配置の様子が示されている。また、図２１の（ｂ）には、図２０に示した色差データＵ，Ｖについて、データ再配置の様子が示されている。
【０１３３】
再配置部１３２は、画像縮小コンバータ１３へ入力される輝度データＹと、画像縮小コンバータ１３から出力される輝度データＹについて、水平方向のデータ数を一致させるように、ダウンサンプリング部１３１から出力される縮小データを再配置している。図２１の（ａ）では、水平方向のデータ数が９６個となるように再配置を行っている。
【０１３４】
全く同様にして、再配置部１３２ｓは、画像縮小コンバータ１３へ入力される色差データＵ，Ｖと、画像縮小コンバータ１３から出力される色差データＵ，Ｖについて、水平方向のデータ数を一致させるように、ダウンサンプリング部１３１ｓから出力される縮小データを再配置している。図２１の（ｂ）では、水平方向のデータ数が４８個となるように再配置を行っている。
【０１３５】
本実施の形態では、色差ＤＳ領域と輝度ＤＳ領域とが一致していないが、ＹＵＶフォーマットに応じて、色差ＤＳ領域は、輝度ＤＳ領域に対応づけられている。このため、実施の形態５の場合と同様、再配置後の輝度データＹに含まれる識別情報に基づいて、再配置後の色差データＵ，Ｖについても縮小データと非縮小データを識別することができ、その配置を復元することができる。
【０１３６】
なお、ＪＰＥＧ圧縮器（ＪＰＥＧチップなど）には、ＲＧＢフォーマットをＹＵＶ４２２フォーマットに変換するＹＵＶ変換部１０がＪＰＥＧエンコーダ１４の前段に設けられ、入力画像データのフォーマットとしてＲＧＢフォーマットを採用しているものがある。図２の画像圧縮部１１として、この様なＪＰＥＧ圧縮器を使用する場合、画像縮小コンバータ１３から出力されるＹＵＶフォーマットの画像データを一旦ＲＧＢフォーマットに変換し、当該ＪＰＥＧ圧縮器へ入力すればよい。
【０１３７】
この場合、画像縮小コンバータの前段にあるＹＵＶ変換部１０では、ＹＵＶ４４４、ＹＵＶ４２２などの任意のフォーマットを選択することができる。ＹＵＶ４２２を選択した場合、画像縮小コンバータ１３は上述した本実施の形態の場合と同様になる。一方、ＹＵＶ４４４を採用した場合には、その後、ＪＰＥＧ圧縮器内においてＹＵＶ４２２に再変換されることを考慮して、ダウンサンプリング処理における縮小データのサイズを決めることが望ましい。つまり、色差データについては、水平方向に隣接する２個のＤＳ領域を合成して新たなＤＳ領域とし、この新たなＤＳ領域についてダウンサンプリングを行うことが望ましい。
【０１３８】
ただし、ＤＳ領域分割部１３０において、輝度データＹ及び色差データＵ，Ｖに関するＤＳ領域のサイズを異ならせ、色差データＵ，Ｖについては、上記新たなＤＳ領域への分割を行っておけば、上記合成処理は不要となる。例えば、ＹＵＶ４２２フォーマットの場合であれば、ＤＳ領域分割部１３０が、輝度データＹについては１６×１６ピクセルのＤＳ領域に分割し、色差データについては、水平方向のピクセル数を２倍にした３２×１６ピクセルからなるＤＳ領域に分割すればよい。
【０１３９】
実施の形態７．
上記実施の形態５及び６では、色差データＵ，Ｖの縮小データを１つの色差ＤＳ領域内に詰めて再配置する一方、非縮小データについては、このような再配置を行わない場合について説明した。これに対し、本実施の形態では、縮小データとともに非縮小データも再配置させる場合について説明する。
【０１４０】
図２２は、本発明の実施の形態７による画像縮小コンバータ１３の一構成例を示したブロック図である。この画像縮小コンバータ１３は、図１６の場合（実施の形態５）と比較すれば、２つの非縮小データ分割部１３４を備えている点で異なる。
【０１４１】
非縮小データ分割部１３４は、色差データＵ，Ｖ用のダウンサンプリング部１３１ｓから出力される非縮小データを縮小データと同じサイズに分割して、再配置部１３２ｓへ出力する。再配置部１３２ｓは、縮小データ及び非縮小データを区別することなく、実施の形態５又は６における縮小データの場合と全く同様にして、これらのデータを再配置する。すなわち、１つの色差ＤＳ領域内に配置できる最大数に達するまで、各色差ＤＳ領域ごとに縮小データ又は非縮小データを詰めて再配置していく。
【０１４２】
図２３及び図２４は、本発明の実施の形態７による画像圧縮伸張システムの動作の一例を示した図である。図２３は、図２２の画像縮小コンバータ１３における非縮小データの分割処理までの一例を示した図である。図中の（ａ）には、ＤＳ領域分割部１３０から出力される色差データＵ，Ｖの一例が示されている。この色差データＵ，Ｖは、図２０の場合（実施の形態６）と同じものであり、ＤＳ領域分割部１３０において、１６×１６個のデータからなる色差ＤＳ領域♯１〜♯１８に分割されている。また、色差ＤＳ領域♯１１，♯１４及び♯１７が重要領域であり、その他の色差ＤＳ領域は非重要領域であるものとする。
【０１４３】
図中の（ｂ）は、ダウンサンプリング部１３１ｓから出力される縮小データ及び非縮小データが示されている。非重要領域についてはダウンサンプリングが行われ、８×８個の縮小データに変換されている。一方、重要領域についてはダウンサンプリングされることなく、１６×１６個のデータが非縮小データとして出力される。
【０１４４】
図中の（ｃ）は、非縮小データ分割部１３４から出力される縮小データ及び分割データが示されている。非縮小データ分割部１３４は、ダウンサンプリング部１３１ｓから入力される縮小データをそのまま出力する一方、非縮小データを縮小データと同じサイズ（８×８）に４分割して出力する。ここでは、ダウンサンプリングが行われていない非縮小データ♯１１，♯１４，♯１７が、それぞれ４分割され、１２個の分割データ♯１１ａ〜♯１１ｄ，♯１４ａ〜♯１４ｄ，♯１７ａ〜♯１７ｄが生成されている。
【０１４５】
図２４は、図２２の再配置部１３２ｓの動作の一例を示した図である。この再配置部１３２ｓは、縮小データ及び分割データの再配置を行っている。その際、実施の形態５の場合と同様にして、色差ＤＳ領域を単位として４個ずつ再配置していくこともできるが、本実施の形態では、水平方向に順次に配置している。すなわち、画像データの左上から開始して、水平方向に左から右へ順次に配置し、画像データの右端に達すれば、下方向へシフトさせて、再び水平方向に左から右へ順次に配置させる動作を繰り返している。なお、分割データを配置する場合には、１個の非縮小データを構成する４個の分割データを連続して配置している。
【０１４６】
この様にして、画像縮小コンバータ１３が、色差データＵ，Ｖを水平方向に再配置している場合、画像拡大コンバータ２４において再配置前の色差データＵ，Ｖを復元する際、色差ＤＳ領域に分割する必要がない。このため、ＪＰＥＧデコーダ２３から出力された色差データＵ，Ｖは、ＤＳ領域分割部２４０を介することなく、配置復元部２４１ｓへ入力される。
【０１４７】
ダウンサンプリングを行っていない非縮小データは、縮小データよりもサイズが大きいが、非縮小データを分割し、縮小データと同一サイズの分割データにすれば、縮小データ及び非縮小データが混在している場合であっても、これらのデータを隙間なく詰めて再配置することができる。従って、フィルデータは、画像データを矩形形状に整形するために最下部に追加するだけでよく、再配置後の色差データＵ，Ｖのサイズをより小さくすることができる。
【０１４８】
なお、画像拡大コンバータ２４における復元時には、配置復元部２４１によって、縮小データの配置復元だけでなく、分割データの配置復元も行われる。分割データの配置復元処理についても、縮小データの配置復元処理と同様、輝度データＹに含まれる識別情報に基づいて行うことができることは言うまでもない。
【０１４９】
図２５及び図２６は、実施の形態６及び７による画像縮小コンバータについて比較説明するための説明図である。図２５には、水平方向に重要領域と非重要領域が繰り返し現われる画像データの一例が示されている。この画像データは、ＹＵＶ４２２フォーマットが採用された１２８×９６ピクセルの画像データである。輝度ＤＳ領域及び色差ＤＳ領域は、ともに１６×１６のデータサイズからなり、輝度データＹが４８個の輝度ＤＳ領域♯１〜＃４８に分割され、色差データＵ，Ｖが２４個の色差ＤＳ領域♯１〜＃２４に分割されている。当該画像データは、水平方向に重要領域と非重要領域が繰り返し現われることから、実施の形態６及び７の画像縮小コンバータ１３における処理の結果に顕著な差が生じる。
【０１５０】
図２６は、実施の形態６及び７の画像縮小コンバータ１３に図２５の画像データが入力された場合の出力データが示されている。図中の（ａ）には、実施の形態６による再配置後の状態が示され、（ｂ）には、実施の形態７による再配置後の状態が示されている。
【０１５１】
上述した通り、実施の形態６の画像縮小コンバータ１３では、輝度データＹに識別領域を挿入しなければならないが、色差データＵ，Ｖには識別領域を挿入する必要がない。このため、輝度データＹ及び色差データＵ，Ｖの再配置後のサイズを比較すれば、通常、色差データＵ，Ｖの方が小さくなる。ところが、図２５に示したような画像データでは、水平方向に重要領域と非重要領域が繰り返し現われることから、ＹＵＶ４２２フォーマットの画像データの様に、輝度データＹ及び色差データＵ，Ｖについて水平方向のデータ数が異なる場合には、再配置後のサイズに関する上記関係が逆転する場合がある。
【０１５２】
図中の（ａ）では、輝度データＹは縮小されているが、色差データＵ，Ｖは縮小されていない。ＪＰＥＧエンコーダ１４において圧縮処理を行うためには、輝度データＹ及び色差データＵ，Ｖの垂直方向の長さを一致させておく必要があるため、再配置部１３２は、輝度データＹの末尾（破線で囲んだ部分）にもフィルデータを追加する。その結果、当該画像データは、画像縮小コンバータ１３において全く縮小されないことになる。
【０１５３】
これに対し、図中の（ｂ）では、輝度データＹ及び色差データＵ，Ｖがともに縮小され、画像縮小コンバータ１３において、画像データの縮小が行われている。実施の形態７では、色差データＵ，Ｖの非縮小データを分割して、縮小データとともに効率的に再配置している。このため、重要領域と非重要領域が繰り返し現われた場合であっても、実施の形態６の場合ような圧縮率の逆転が生じることはない。
【０１５４】
なお、上記の各実施の形態における画像圧縮部１１及び画像伸張部２１は、パーソナルコンピュータ等の計算機上で実行可能なコンピュータプログラムとして提供することができる。また、ＪＰＥＧエンコーダ１４及びＪＰＥＧデコーダ２３をＪＰＥＧチップ、ＰＣ用アドオンボードなどの高速処理可能な汎用ハードウエアにより構成し、画像縮小コンバータ１３及び画像拡大コンバータ２４をコンピュータプログラムにより構成することもできる。これらのコンピュータプログラムは、例えば、ＣＤ−ＲＯＭなどの光記憶媒体、フレキシブルディスクなどの磁気記憶媒体、ＩＣメモリなどの半導体記憶媒体に格納して提供される。また、インターネット、ＬＡＮ（Local Area Network）などの電気通信回線を介して提供することもできる。
【図面の簡単な説明】
【０１５５】
【図１】本発明の実施の形態１による画像圧縮伸張システムの一構成例を示したブロック図である。
【図２】図１の送信側ユニットＵｔの一構成例を示したブロック図である。
【図３】図１の受信側ユニットＵｒの一構成例を示したブロック図である。
【図４】図２の画像圧縮部１１の一構成例を示したブロック図であり、画像縮小コンバータ１３及びＪＰＥＧエンコーダ１４について詳細な構成例が示されている。
【図５】画像圧縮部１１におけるＤＳ領域分割とダウンサンプリングの一例を示した図である。
【図６】ダウンサンプリング部１３１の詳細構成例を示したブロック図である。
【図７】画像縮小コンバータ１３の動作の一例を示した図である。
【図８】量子化テーブルＴ１の一例を示した図である。
【図９】図３の画像伸張部２１の一構成例を示したブロック図であり、ＪＰＥＧデコーダ２３及び画像拡大コンバータ２４について詳細な構成例が示されている。
【図１０】ＤＳ領域が１６×１６ピクセル、縮小データが８×８ピクセルからなる場合におけるＤＳ領域内の全ての配置状態を示した図である。
【図１１】画像データを３２×３２ピクセルのＤＳ領域に分割し、８×８ピクセルの縮小データにダウンサンプリングして再配置する場合の様子を示した図である。
【図１２】本発明の実施の形態３による画像圧縮伸張システムの動作の一例を示した図である。
【図１３】ＤＳ領域が１６×１６ピクセル、縮小データが８×８ピクセルの場合におけるＤＳ領域内の全ての配置状態を示した図である。
【図１４】本発明の実施の形態４による画像圧縮伸張システムの動作の一例を示した図である。
【図１５】図１４に引き続いて画像圧縮伸張システムの動作の一例を示した図である。
【図１６】本発明の実施の形態５による画像縮小コンバータ１３の詳細構成が示されている。
【図１７】図１６のダウンサンプリング部１３１ｓの詳細構成例を示したブロック図である。
【図１８】本発明の実施の形態５による画像圧縮伸張システムの動作の一例を示した図である。
【図１９】本発明の実施の形態５による画像拡大コンバータ２４の詳細構成が示されている。
【図２０】ＹＵＶ４２２フォーマットの画像データの一例を示した図である。
【図２１】本発明の実施の形態６による画像圧縮伸張システムの動作の一例を示した図である。
【図２２】本発明の実施の形態７による画像縮小コンバータ１３の一構成例を示したブロック図である。
【図２３】図２２の画像縮小コンバータ１３における非縮小データの分割処理までの一例を示した図である。
【図２４】図２２の再配置部１３２ｓの動作の一例を示した図である。
【図２５】水平方向に重要領域と非重要領域が繰り返し現われる画像データの一例を示した図である。
【図２６】実施の形態６及び７の画像縮小コンバータ１３に図２５の画像データが入力された場合の出力データが示されている。
【符号の説明】
【０１５６】
１３    画像縮小コンバータ
１４    ＪＰＥＧエンコーダ
２３    ＪＰＥＧデコーダ
２４    画像拡大コンバータ
１３０  ＤＳ領域分割部
１３１，１３１ｓ  ダウンサンプリング部
１３２，１３２ｓ  再配置部
１３４  非縮小データ分割部
１４０  ブロック分割部
１４１  ＤＣＴ処理部
１４２  量子化処理部
１４３  符号化部
Ｔ１    量子化テーブル
Ｔ２    符号テーブル
２３０  復号化部
２３１  逆量子化処理部
２３２  逆ＤＣＴ処理部
２４０  ＤＳ領域分割部
２４１，２４１ｓ  配置復元部
２４２  補間処理部
【図１】
2005269620.tif 000008
【図２】
2005269620.tif 000009
【図３】
2005269620.tif 000010
【図４】
2005269620.tif 000011
【図５】
2005269620.tif 000012
【図６】
2005269620.tif 000013
【図７】
2005269620.tif 000014
【図８】
2005269620.tif 000015
【図９】
2005269620.tif 000016
【図１０】
2005269620.tif 000017
【図１１】
2005269620.tif 000018
【図１２】
2005269620.tif 000019
【図１３】
2005269620.tif 000020
【図１４】
2005269620.tif 000021
【図１５】
2005269620.tif 000022
【図１６】
2005269620.tif 000023
【図１７】
2005269620.tif 000024
【図１８】
2005269620.tif 000025
【図１９】
2005269620.tif 000026
【図２０】
2005269620.tif 000027
【図２１】
2005269620.tif 000028
【図２２】
2005269620.tif 000029
【図２３】
2005269620.tif 000030
【図２４】
2005269620.tif 000031
【図２５】
2005269620.tif 000032
【図２６】
2005269620.tif 000033