(57)【要約】【課題】高速に符号データの符号列を、画像データを再生することなく符号データレベルで再構成し、縦横方向の解像度が異なる画像を容易に再現する符号化処理装置を提供する。【解決手段】画像データをＪＰＥＧ２０００アルゴリズムに従い圧縮符号化し、サブバンドに一対一対応した符号列により構成される符号データを生成して、符号列記録手段に少なくともＬＬサブバンドに対応する符号列を含むサブバンド対応の符号列を記録し、前記符号列記録手段に記録されたサブバンド対応の符号列を編集して新たな符号データを生成する。【選択図】図３
2007027816.tif 000002
【特許請求の範囲】
【請求項１】
画像データをＪＰＥＧ２０００アルゴリズムに従い圧縮符号化する圧縮符号化手段と、サブバンドに一対一対応した符号列により構成される符号データを生成する符号列生成手段と、少なくともＬＬサブバンドに対応する符号列を含むサブバンド対応の符号列を記録する符号列記録手段と、前記符号列記録手段に記録されたサブバンド対応の符号列を編集し新たな符号データを生成する符号列編集手段とを有することを特徴とする符号化処理装置。
【請求項２】
請求項１に記載の符号化処理装置において、前記符号列編集手段は、前記符号列記録手段に記録されたサブバンドに対応する符号列を編集して、再生画像の縦横で解像度が異なる符号列を生成することを特徴とする符号化処理装置。
【請求項３】
請求項１に記載の符号化処理装置において、前記符号列編集手段は、前記符号列記録手段に記録されたサブバンドに対応する符号列を編集して、再生画像の縦横で解像度が異なる符号データの符号列の順序を編集することを特徴とする符号化処理装置。
【請求項４】
請求項１乃至３のいずれかに記載の符号化処理装置において、使用者の再生画像の縦横の変倍率を受信する変倍率指定手段を有し、前記符号列編集手段は、前記指定された変倍率に対応して、サブバンドに対応する符号列を編集して符号データを再構成することを特徴とする符号化処理装置。
【請求項５】
請求項４に記載の符号化処理装置において、生成される符号データが３次元画像再生用の符号データであることを特徴とする符号化処理装置。
【請求項６】
請求項１乃至５のいずれかに記載の符号化処理装置において、符号化される符号データがＪＰＥＧ  ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格に基づいた符号データであることを特徴とする符号化処理装置。
【請求項７】
画像データをＪＰＥＧ２０００アルゴリズムに従い圧縮符号化し、サブバンドに一対一対応した符号列により構成される符号データを生成して、符号列記録手段に少なくともＬＬサブバンドに対応する符号列を含むサブバンド対応の符号列を記録し、前記符号列記録手段に記録されたサブバンド対応の符号列を編集して新たな符号データを生成することを特徴とする符号化処理方法。
【請求項８】
コンピュータに、請求項１乃至６のいずれかに記載の符号化処理装置の機能を実現させるためのプログラム。
【請求項９】
コンピュータが読み取り可能な記録媒体であって、請求項８に記載のプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化処理装置および方法、並びにプログラムおよび記録媒体に関し、具体的には、ＪＰＥＧ２０００で符号化された符号データを高速に編集し復号化する符号化処理装置および方法、並びにプログラムおよび記録媒体に関し、特に、３Ｄ画像のような大容量のデータ処理であって、さまざまな解像度変倍用の符号データを編集して配信するシステムに関する。
【背景技術】
【０００２】
１）ＪＰＥＧ２０００符号化におけるＬＬサブバンド用符号列活用に係る先行出願としては特許文献１がある。この特許文献１では、ＬＬサブバンド用のデータを予め用意することによって、伸張装置における処理効率を向上するものである。
【０００３】
２）再生画像の縦横が異なる解像度変倍処理に係る先行出願として特許文献２がある。
特許文献２では、横又は縦方向の変倍率が大きな広画角画像データに対しては、圧縮符号化処理装置は、変倍率の大きな方向の高周波成分に優先的に符号を割り当てるような圧縮符号化処理を行う。領域によって変倍率が異なる３６０゜パノラマ画像データなどに対しては、変倍率が大きな領域に優先的に符号を割り当てるような圧縮符号化処理を行う。
これにより、方向や領域によって変倍率が異なる広画角画像を圧縮符号化し、全体的に解像度のバランスの良い画像を再生可能な圧縮データを生成している。
【０００４】
３）３Ｄ画像の縦横が異なる解像度変倍処理に係る先行技術としては非特許文献１の記事がある。以下、非特許文献１の記事を抜粋する。
２３５ｐｐｉと従来の２倍以上となる世界最高の精細度で３Ｄ表示が可能だ。携帯電話向けディスプレイとして開発を進める。
ＮＥＣはこのほど、２３５ｐｐｉと従来の２倍以上となる世界最高の精細度で３Ｄ表示が可能な２.５インチシステムオングラス液晶ディスプレイを開発したと発表した。裸眼立体視可能な携帯電話向けディスプレイとして開発を進める。
【０００５】
縦長の長方形画素を採用して横方向の解像度を従来の２倍にした新開発の「Ｈｏｒｉｚｏｎｔａｌｌｙ  Ｄｏｕｂｌｅ−Ｄｅｎｓｉｔｙ  Ｐｉｘｅｌｓ」（ＨＤＤＰ）構成と「レンチキュラーレンズ」により、２.５インチサイズで６４０×４８０ピクセル（４７０×２３５ｐｐｉ）と高密度な画素配置が可能になった。
【０００６】
２Ｄ表示時には隣り合った２つの長方形画素に同じ画像を、３Ｄ表示時は左右の目に対応する画像をそれぞれ表示することで、従来の正方形画素を利用したディスプレイでは３２０×２４０ピクセル（１８０ｐｐｉ程度）で３Ｄ表示解像度は９０ｐｐｉ程度にとどまっていたのが、よりきめ細かい表現が可能になった。２Ｄ表示と３Ｄ表示は切り替え可能。２Ｄ映像の一部を３Ｄにすることもできる。薄型ながら、３Ｄ表示時も十分に明るい映像が楽しめるという。
【０００７】
裸眼立体視可能なディスプレイは、左右の目に対応する２枚の視差画像を横方向に１画素ずつ交互に表示するため、２Ｄ時と比べて画素が半減し、画像が荒くなるという問題があった。また、２Ｄ／３Ｄ切り替え可能な従来製品は、３Ｄ表示時に明るさが低下していた。
【特許文献１】特開２００３−１７９７５９号公報
【特許文献２】特開２００４−８０１８５号公報
【非特許文献１】「ＮＥＣ、２.５インチＶＧＡで３Ｄ表示可能な液晶パネル」、[online]、２００４／０８／３１、アイティメディア株式会社、インターネット、<URL : http://www.itmedia.co.jp/news/articles/0408/31/news038.html>
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ＪＰＥＧ２０００符号化の仕様においては、任意解像度に対応した符号データを高速に再構成する機能を提供している。
ＪＰＥＧ２０００における符号化では、通常は、全てのデコンポジションレベルのＬＬ成分の符号列を保持することなく生成するため、符号データ生成時やデコード時には、順次合成して処理する必要があった。例えば、符号データがウェーブレット変換処理され、２ＬＬ、１ＨＬ、１ＬＨ、１ＨＨ、２ＨＬ、２ＬＨ、２ＨＨのサブバンド単位で符号化された場合、通常１ＬＬの符号データは失われているため、２ＬＬと、２ＨＬ、２ＬＨ、２ＨＨによって１ＬＬが生成され、続いて、１ＬＬと、１ＨＬ、１ＬＨ、１ＨＨによって元画像が再現される。その結果、３次元（３Ｄ）画像のような右眼左眼用に２倍の大容量の画像データを処理するような場合に、デコンポジションレベルが大きいと、処理速度のネックの一つとなって問題になっていた。
【０００９】
また、右眼左眼用に２倍の画像データを処理する３Ｄ画像の生成では（例えば、レンチキラーレンズを使用した３Ｄ画像の再現では）、縦方向の解像度と比較して横方向の解像度が落ちるため、横方向の解像度を２倍にして再現することで、より高精度の再現を可能にしている。
【００１０】
本発明は、上記の実情を考慮してなされたものであって、高速に符号データの符号列を、画像データを再生することなく符号データレベルで再構成し、縦横方向の解像度（の変倍率）が異なる画像を容易に再現する符号化処理装置および方法、並びにプログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述の課題を解決するために、請求項１に記載の発明は、画像データをＪＰＥＧ２０００アルゴリズムに従い圧縮符号化する圧縮符号化手段と、サブバンドに一対一対応した符号列により構成される符号データを生成する符号列生成手段と、少なくともＬＬサブバンドに対応する符号列を含むサブバンド対応の符号列を記録する符号列記録手段と、前記符号列記録手段に記録されたサブバンド対応の符号列を編集し新たな符号データを生成する符号列編集手段とを有することを特徴とする。
【００１２】
請求項２に記載の発明は、請求項１に記載の符号化処理装置において、前記符号列編集手段は、前記符号列記録手段に記録されたサブバンドに対応する符号列を編集して、再生画像の縦横で解像度（の変倍率）が異なる符号列を生成することを特徴とする。
請求項３に記載の発明は、請求項１に記載の符号化処理装置において、前記符号列編集手段は、前記符号列記録手段に記録されたサブバンドに対応する符号列を編集して、再生画像の縦横で解像度（の変倍率）が異なる符号データの符号列の順序を編集することを特徴とする。
【００１３】
請求項４に記載の発明は、請求項１乃至３のいずれかに記載の符号化処理装置において、使用者の再生画像の縦横の変倍率を受信する変倍率指定手段を有し、前記符号列編集手段は、前記指定された変倍率に対応して、サブバンドに対応する符号列を編集して符号データを再構成することを特徴とする。
請求項５に記載の発明は、請求項４に記載の符号化処理装置において、生成される符号データが３次元画像再生用の符号データであることを特徴とする。
請求項６に記載の発明は、請求項１乃至５のいずれかに記載の符号化処理装置において、符号化される符号データがＪＰＥＧ  ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格に基づいた符号データであることを特徴とする。
【００１４】
請求項７に記載の発明は、画像データをＪＰＥＧ２０００アルゴリズムに従い圧縮符号化し、サブバンドに一対一対応した符号列により構成される符号データを生成して、符号列記録手段に少なくともＬＬサブバンドに対応する符号列を含むサブバンド対応の符号列を記録し、前記符号列記録手段に記録されたサブバンド対応の符号列を編集して新たな符号データを生成することを特徴とする。
請求項８に記載の発明は、コンピュータに、請求項１乃至６のいずれかに記載の符号化処理装置の機能を実現させるためのプログラムである。
請求項９に記載の発明は、コンピュータが読み取り可能な記録媒体であって、請求項８に記載のプログラムを記録したことを特徴とする記録媒体である。
【発明の効果】
【００１５】
本発明によれば、ＪＰＥＧ２０００においてサブバンド単位で独立な符号列を構成し、ＬＬサブバンドのデータを保存して、符号データの再編集で使用することができる。これにより、符号レベルで予めＬＬサブバンドデータを用意しておけるので、パーサにおける符号データの高速編集を可能とすることができる。
【００１６】
また、ＪＰＥＧ２０００のパーサにおいて、縦横の解像度（の変倍率）の異なる符号データを供給することができるので、高速に縦長または横長のプログレシッブデータを配信でき、重要な符号データほど先行して送信することによって配信エラー時のリスクを解消することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の符号化処理装置に係る好適な実施形態を説明する。
【００１８】
（１）ＪＰＥＧ２０００符号化による実施例：
図１と図２は、本発明の実現方式について説明するための図である。
図１は通常の変倍処理の場合を示し、（Ａ）は元画像、（Ｂ）は変倍後の画像を示している。変倍後の画像（Ｂ）は、縦横同率の変倍（縮小）となっている。
図２は、縦横の変倍率が異なる変倍処理で再現した場合の再現例を示しており、本発明では、符号データを編集し、縦横の変倍率が異なる変倍画像を生成する符号データを再構成するものである。
【００１９】
図３は、本発明の符号化処理装置の基本構成について説明するための図である。
符号化をするサーバにおいて、画像データ入力部１により画像データを入力し、符号化処理部２により画像データを符号化し、符号データ再構成部３により、符号化された符号データを再構成して縦横の変倍率が異なる画像データを再生する符号データを再構成し、符号データ配信部４により、復号化をするクライアントへ符号データの転送を行う。
復号化をするクライアントにおいて、復号化処理部５で送られてきた符号データを復号して、画像データ出力部６により復号した画像データを出力する。
本発明では、符号データ再構成部３と符号データ配信部４が主要な構成要素である。
【００２０】
即ち、本発明の符号化処理装置は、図４のフローチャートに示した手順で処理される。
まず、画像データ入力部１で画像データを入力する（ステップＳ１）。
次に、符号化処理部２で符号化する。例えば、以下で説明するように、ＪＰＥＧ２０００で符号化する（ステップＳ２）。この時、全てのデコンポジションレベルのＬＬサブバンドの符号列を保持しておく。
次に、符号データ再構成部３で符号列を編集して符号データを再構成する（ステップＳ３）。本発明では、以下で説明していくように、縦横の変倍率の異なる符号データを構成する。この時、保持しておいたＬＬサブバンドの符号データを使用する。例えば、要求解像度に応じた符号データを再構成する。
次に、符号データ配信部４にて、再構成した符号データを配信する（ステップＳ４）。
次に、受信した符号データを復号化処理部５で復号する（ステップＳ５）。
最後に、復号画像を画像データ出力部６で出力する（ステップＳ６）。
【００２１】
以下、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格の符号化の方式に沿って本発明の実現方式について説明する。ＪＰＥＧ２０００の詳しい説明については、特開２００３−１６９３３３号公報等に記載されている。
【００２２】
ＪＰＥＧ２０００の符号化処理は、図５に示すように、色変換、ウェーブレット変換、量子化、エントロピー符号化（ビットプレーン符号化）、符号列処理（タグ処理、パケット生成）により構成されている。ＪＰＥＧ２０００仕様においては、最終段の符号列処理部で、仕様に合った符号列を生成し、符号データを生成する。
本発明の図３の構成では、符号データ生成後に、符号データ再構成部３で符号データを再編集する構成としているが、符号データ再構成部３では、この符号列形成処理を行い、符号データを再構成する。
【００２３】
ＪＰＥＧ２０００の符号化処理は、おおよそ以下の手順で行われる。
（ａ）画像データを、Ｙ，Ｃｒ，Ｃｂの色成分毎のデータに変換する。
各色成分の色データに対して以下の処理をする。
（ｂ）２次元離散ウェーブレット変換を施し、複数のデコンポジションレベルに展開する。
（ｃ）得られるウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施す。
（ｄ）スカラ量子化されたデータに対し、ＪＰＥＧ２０００に規定のエントロピー符号化処理（いわゆる係数モデリングによる算術符号化処理）を施す。
全ての色データに対して（ｂ）乃至（ｄ）の処理を施した後、
（ｅ）ＪＰＥＧ２０００で規定する符号列を生成する。
【００２４】
上記（ｂ）の２次元離散ウェーブレット変換は、１次元の変換（フィルタ処理）を水平・垂直方向それぞれに適用することによって実現するものである。即ち、先に、画像に対して垂直方向に１次元の離散ウェーブレット変換を適用し、低周波サブバンドＬと高周波サブバンドＨに分解する。
次に、それぞれのサブバンドに対して水平方向に１次元離散ウェーブレット変換を適用することにより、ＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分解する。
続いて、２次元離散ウェーブレット変換によって得られたサブバンドＬＬに対して、さらに繰り返して２次元離散ウェーブレット変換を適用することにより、ＬＬ、１ＨＬ、１ＬＨ、１ＨＨ、２ＨＬ、２ＬＨ、２ＨＨの７つのサブバンドに分解する。
【００２５】
本発明では、（ｂ）〜（ｄ）で符号データを形成する段階で、（ｅ）の段階で生成される符号データがサブバンド毎に独立して扱えるようにし、続いて、要求解像度に応じたサブバンドに対応する符号列の集合より構成される符号データを再構成する。
【００２６】
本実施形態による符号化処理装置では、Ｎ個の１次元信号ｘ（ｎ）（ｎ＝０，・・・，Ｎ−１）に対する１次元離散ウェーブレット変換は、次式を用いて行われるものとする。
【００２７】
ｈ（ｎ）＝ｘ（２ｎ＋１）−（ｘ（２ｎ）＋ｘ（２ｎ＋２））／２    （式１）
ｌ（ｎ）＝ｘ（２ｎ）＋（ｈ（ｎ−１）＋ｈ（ｎ））／４            （式２）
【００２８】
ここで、ｈ（ｎ）は高周波サブバンドの変換係数、ｌ（ｎ）は低周波サブバンドの変換係数を表す。尚、上式の計算において必要となる１次元信号ｘ（ｎ）の両端ｘ（ｎ）（ｎ＜０及びｎ≧Ｎ）は、公知の手法を用いて１次元信号ｘ（ｎ）（０≦ｎ＜Ｎ）の値から求める。
【００２９】
図６は、ＪＰＥＧ２０００における、符号化対象である画像データと、符号形成単位となるタイル、サブバンド、プリシンクト、コードブロックの関係を示している。タイルとは、画像を矩形に分割した画像データの単位である。分割数が１の場合は、一つの画像がタイルに相当している。個々のタイルは独立したタイル毎に１つの画像データと見なし、ウェーブレット変換される。タイルを、色空間変換部でＲＧＢからＹＵＶまたはＹＣｂＣｒに変換し、２次元ウェーブレット変換部で色成分ごとにウェーブレット変換した結果として、サブバンドが生成され、サブバンド単位で量子化される。
【００３０】
プリシンクトとは、サブバンドを（ユーザが指定可能なサイズの）矩形に分割したもの（をＨＬ，ＬＨ，ＨＨの３つのサブバンドについて集めたものであり（図７参照）、プリシンクトは３つで１まとまりを成す。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１まとまりで）で、タイル（画像）中の場所（Ｐｏｓｉｔｉｏｎ）を表すものである。
【００３１】
プリシンクトは、タイルの画像データをウェーブレット変換した結果生成され、タイル（画像）中のある領域の符号データからなる。前述したプリシンクトに相当する符号データは、タイル（画像）中のあるプリシンクト領域の符号データなのである。プリシンクトをさらに（ユーザが指定可能なサイズの）矩形に分割したものがコードブロックである。
【００３２】
量子化後のサブバンドの係数は、コードブロック単位でビットプレーン符号化される（１つのビットプレーンは３つのサブビットプレーンに分解されて符号化される）。プリシンクトに含まれる全てのコードブロックから、前記符号の一部を取り出して集めたもの（ｅｘ.全てのコードブロックのＭＳＢから３枚目までのビットプレーンの符号を集めたもの）がパケットであり、上記“一部”は“空”でもよいので、パケットの中身が符号的には“空（から）”ということもある。
【００３３】
全てのプリシンクト（＝全てコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（ｅｘ.画像全域のウェーブレット係数の、ＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤとよぶ。レイヤは、画像全体のビットプレーンの符号の一部であり、すべてのレイヤを集めると画像全域の全てのビットプレーンの符号になる。
【００３４】
各サブバンドＳの量子化された係数値をビットプレーン符号化してレイヤ構成した後の各レイヤｎに対応する符号列ＣＳ（Ｓ，ｎ）が生成される。例えば、レイヤ数がＮである場合、ＬＬサブバンドの符号データに係る符号列はＣＳ１（１ＬＬ）、ＣＳ２（２ＬＬ）、…、ＣＳＮ（ＮＬＬ）で構成される。
【００３５】
図６は、ＪＰＥＧ２０００の仕様において、ウェーブレット変換の階層数（デコンポジションレベル）＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤ構成と、それに含まれるパケットの例を示している。
この場合は、プリシンクトサイズ＝サブバンドサイズであり、図６でいうプリシンクトの大きさと同じ大きさのコードブロックを採用しているため、デコンポジションレベル２のサブバンドは４つのコードブロックに、デコンポジションレベル１のサブバンドは９個のコードブロックに分割されている。
【００３６】
ＪＰＥＧ２０００の仕様においては、パケットは、プリシンクトを単位とするもので、同一解像度に対応するサブバンド間を跨っていてもかまわない。ここでは、プリシンクト＝サブバンドとした場合、ＪＰＥＧ２０００の標準仕様においては、ＨＬ〜ＨＨサブバンドを跨いだものとなっている。図８中、いくつかのパケットを太線で囲んである。パケットは「コードブロックの符号の一部を取り出して集めたもの」である。
【００３７】
ＪＰＥＧ２０００の標準化仕様においては、ビットプレーン符号化部で符号破棄前の符号を作り、（ポスト量子化部で）ビットトランケーション（コードブロック単位の符号の破棄）と符号量の微調整を行い、パケットの並びを生成し、（算術符号化部で）ＪＰＥＧ２０００の符号フォーマットに符号を形成する。パケットの並びをプログレッション順序と呼ぶ。ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格の符号データはパケットと呼ばれる符号列単位で形成される（図９〜図１１参照）。
【００３８】
ＪＰＥＧ２０００の標準仕様においては、パケットは、同一のデコンポジションレベルの符号列の集まり、即ち、ＣＳ（Ｓｉ，ｎ）（ｉ＝１，２，…，Ｍ）の部分集合により構成される符号列により再構成されたものであった。
本発明では、パケットを形成する対象をサブバンド間を跨らないようにすることで、サブバンド対応した、あるいは、サブバンドに対応する符号列が峻別できるようにできる。
このような構成にすることで、後述するように、符号データ形成後にパケットをサブバンド単位で編集可能になるのである。
【００３９】
ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格のパケットは、プログレシブ順にシーケンス化され、それぞれ、プリシンクト、解像度レベル、およびコンポーネント（色成分）、画質レベル（レイヤ）で配列される。ここで、コンポーネントについては、これまで詳しく述べなかったが、コンポーネントとは色成分を指し、符号化が画像のタイル単位に色成分毎になされることに対応している（図１２参照）。また、解像度レベルとは、サブバンドの階層（デコンポジションレベル）を指し、先に説明したように、サブバンド毎に求められたウェーブレット係数についてコードブロック単位の算術符号データが生成されているので、サブバンドの階層（デコンポジションレベル）毎に符号データは区別することができる。
【００４０】
本発明においても、サブバンド単位で生成されたパケットは、パケットを並び替えることでプログレッション順を並び替えることができる。
【００４１】
ＪＰＥＧ２０００規格では、画質（レイヤ（Ｌ））、解像度（Ｒ）、コンポーネント（Ｃ）、位置（プリシンクト（Ｐ））という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッションが定義されている。
【００４２】
・ＬＲＣＰ  プログレッション：プリシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現できる。レイヤプログレッションとも呼ばれる。
【００４３】
・ＲＬＣＰ  プログレッション：プリシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現できる。
【００４４】
・ＲＰＣＬ  プログレッション：レイヤ、コンポーネント、プリシンクト、解像度レベルの順序に復号されるため、ＲＬＣＰ同様、解像度レベルのプログレッションであるが、特定位置の優先度を高くすることができる。
【００４５】
・ＰＣＲＬ  プログレッション：レイヤ、解像度レベル、コンポーネント、プリシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現できる。
【００４６】
・ＣＰＲＬ  プログレッション：レイヤ、解像度レベル、プリシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現できる。
【００４７】
このようにＪＰＥＧ２０００規格の符号データの符号列順を示すプログレッション順は、符号データのヘッダに記載されるため、符号列のヘッダを解析することで、パケット（符号列）単位で特定のパケット（符号列）をアクセスできる。
【００４８】
復号化処理は逆の手順で行われる。
勿論、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。なお、ＪＰＥＧ２０００に準拠する符号化処理を全てハードウェア回路で実現する符号化処理装置は、既に存在している。
【００４９】
また、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００の符号化方式による動画のデータは、フレームを単位としてウェーブレット変換を使用した符号化方式により階層符号化し、階層符号化されたフレームをパケット化して、それぞれの階層に対応する複数のパケットからなるパケット群を生成する。
【００５０】
（２）縦横の変倍率が異なる画像を再生する符号データの生成：
ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格では、上述したような、解像度レベル（デコンポジションレベル）の符号列の構成は、縦横同一解像度レベルの符号データを生成する。即ち、ＬＬ、１ＬＨ、１ＨＬ、１ＨＨ、２ＬＨ、２ＨＬ、２ＨＨの７つのサブバンドが符号化される場合にあっては、ＬＬ及び２ＬＨ、２ＨＬ、２ＨＨのサブバンドで構成するデコンポジション２の解像度レベルの符号データと、１ＬＬ及び１ＬＨ、１ＨＬ、１ＨＨで構成するデコンポジション１の解像度レベルの符号データである。
【００５１】
尚、ここで、１ＬＬの符号データは、ＬＬ及び２ＬＨ、２ＨＬ、２ＨＨのサブバンドで構成するデコンポジション２の符号データである。図９〜図１１はＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格の符号化により生成された符号データの一例を示しているが、符号データを構成する各パケットはデコンポジションレベル（解像度レベル）に対応していて、サブバンドに対応していない。
【００５２】
一方、本発明で構成する解像度レベルのデータは上記以外に、１ＬＬと２ＬＨのサブバンドで構成する符号データ、及び、１ＬＬと１ＬＨのサブバンドで構成する符号データの解像度レベルが生成できる。
【００５３】
図１３は、本発明の符号データ再構成部３の構成について説明するための図である。
符号データ再構成部３は、符号列編集部３１と符号データ保存部３２により構成され、サブバンド（ウェーブレット変換係数データ）に対応した符号列を編集し符号データを再構成する。また、符号データ再構成部３の別の構成としては、後述するように、ＬＬ部分符号保存部３３をもつこともあるが、必須ではない。また、図１３には、解像度指定部７を備えているが、同様に後述するが、これも必須ではない。
【００５４】
符号列編集部３１では、縦横の変倍率が異なる画像を再生する符号データを生成し、その符号データの符号列を編集して符号データを再構成する。
【００５５】
図１４は、本発明の符号化過程について説明するための図である。全体の流れについては、（３）で後述する。同図では、ＬＬ部分符号保存部３３と符号データ保存部３２が示されているが、ＬＬ部分符号保存部３３には、１ＬＬ、２ＬＬ、・・・、ｎＬＬサブバンドに対応する符号列が保存されている。デコンポジションレベルｎを指定することにより、対応するサブバンドの符号列が読み出せるような形式で保存されている。
【００５６】
一方、その他の符号データは、符号データ保存部３２に示すように、サブバンドに対応する符号列が抽出できるような形式で符号データが保存されていればよい。例えば、ヘッダにサブバンドと符号列の対応が書かれ、ヘッダを参照することで、対応する符号列を抽出することができるようにする。
【００５７】
（３）ＪＰＥＧ２０００符号化におけるＬＬデータの符号列生成：
本発明の別の構成では、複数のデコンポジションレベルのＬＬサブバンドの符号データを別途記録する手段をもち、ＬＬサブバンドに対応する符号列データを、指定されたデコンポジションレベルの符号データを生成する場合に使用する。符号レベルで予めＬＬサブバンドデータを用意しておくことで、パーサにおける高速編集を可能とすることができる。
【００５８】
ＬＬサブバンドに対応する符号列は、典型的には、以下に示すように符号データ生成過程で生成する。
【００５９】
先にＪＰＥＧ２０００における符号化過程について説明したが、ＪＰＥＧ２０００の標準仕様では、画像に対して垂直方向に１次元の離散ウェーブレット変換を適用し、低周波サブバンドＬと高周波サブバンドＨに分解する。次に、それぞれのサブバンドに対して水平方向に１次元離散ウェーブレット変換を適用することにより、１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨの４つのサブバンドに分解する。
【００６０】
続いて、２次元離散ウェーブレット変換によって得られたサブバンド１ＬＬに対して、さらに繰り返して２次元離散ウェーブレット変換を適用することにより、２ＬＬ、１ＨＬ、１ＬＨ、１ＨＨ、２ＨＬ、２ＬＨ、２ＨＨの７つのサブバンドに分解する。復号化の時には、逆に、２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨによって１ＬＬを再構成し、１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨによって元画像を再生する。
【００６１】
本発明では、この途中結果の１ＬＬを保持しておいて、先述したようにサブバンドに対応する符号列を生成する。１ＬＬを２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨによって再構成することなく直接別途保持しておいた１ＬＬに対応する符号列を使用することで、符号データを効率的に再構成することができる。
【００６２】
図１３においては、符号データ再構成部３のＬＬ部分符号保存部３３に、ＬＬ成分の符号列が保存し、符号列編集部３１で、ＬＬ成分の符号列を使用して、符号データを再構成する。
【００６３】
ＬＬ部分符号保存部３３に、ＬＬ成分の符号列１ＬＬ、２ＬＬ、・・・、ｎＬＬが、保存されているので、サムネイル画像情報などの低周波成分のデータを配信する場合に、これらのデータを選択し配信することができる。
【００６４】
図１５は、本発明において、ＬＬサブバンドデータ対応の符号列を使用する場合の処理の流れについて示している。元画像は、符号化する場合に上述したようにＬＬサブバンドに係る符号列を生成する。生成した符号データは、編集され、ＬＬ部分符号保存部３３にＬＬ成分だけ分離して保存して、符号データ保存部３２には、残りの符号データが保存されている。この例では、ＪＰＥＧ２０００仕様に基づく符号データの形式で保存されている。２ＬＬと２ＬＨサブバンドにより構成される符号データが再構成されて配信され、復号化される。
【００６５】
符号列の順序を編集することもできる。典型的には、ＬＬ成分の符号列を先に並べ、それ以外の成分の符号列を後に並べることにより、重要な符号データほど先行して送信することができる。
【００６６】
図１３の解像度指定部７は、解像度指示部７１で画像データの解像度を入力し、符号列選択部７２では、指示に基づいて符号データの解像度（の変倍率）を設定し、符号列を選択する。
【００６７】
ここでは、符号データは、縦横それぞれ２のベキ乗分の１の画像データを再生することになるため、典型的な解像度の指示は、縦横の変倍率を２の倍数で指定することで実現する。例えば、縦は４分の１倍、横２分の１倍の指定をして、図１（Ａ）を元画像とした場合において、図２（Ｃ）のような画像を再生する符号データを選択する。サブバンドとして２ＬＬと２ＨＬの符号列により構成される符号データを再現することで実現できる。このようにして、縦横の変倍率が異なる画像を再生する符号データを生成することができる。典型的には、後述するような３次元画像用の符号データを生成する場合がある。
【００６８】
即ち、図１６のフローチャートに示したような手順で解像度を指定し、符号データを再構成する。
まず、解像度指示部７１で解像度を指定する（ステップＳ１１）。例えば、元画像の縦横の縮小率を２の倍数分の１で指定する。あるいは、横２分の１倍、縦は４分の１倍と指定する。
次に、符号列選択部７２で符号列を選択する（対応するサブバンドの符号列を選択する）（ステップＳ１２）。例えば、横は１／２ｎ、縦は１／２ｍ、（ｍ＝ｎ＋１）と指定した場合、ｍＬＬ、ｍＬＨに対応する符号列を選択する。
次に、符号データ再構成部３にて符号データを構成する（ステップＳ１３）。上記の例においては、ｍＬＬ、ｍＬＨに対応する符号列で符号データを構成する。
【００６９】
以下、図３で示すように、符号データ配信部４にて符号データを配信し、復号化処理部５で復号処理した後、画像データ出力部６で画像データを出力する。
【００７０】
（４）縦方向の解像度の異なる三次元符号データ配信例：
レンチキラーレンズを使用した３Ｄ画像の再現では、縦方向の解像度と比較して横方向の解像度が落ちるために、横方向の解像度を２倍にて再現することで、より高精度の再現を可能にしている。
本発明の別の構成では、３Ｄ画像用の符号データを生成するときに、横方向の解像度が縦方向の解像度の２倍となるように再現する符号データを再構成するようにする。
【００７１】
３次元立体画像用の画像データは、視差の異なる二つの符号データによって構成されている。
図１５は、本発明の３Ｄ画像の再生について説明するための図である。入力画像データが二つの画像データである点が特徴である。符号化処理部と符号データ再構成部では二つの画像データに対してそれぞれ符号化し、縦横の変倍率が異なる画像を再生する符号データを生成する。そして、前述したような解像度指定に基づいて、符号列を選択している。
【００７２】
例えば、縦方向の解像度が横方向の解像度の１／２倍にした画像データを再生する符号データは、次のような手順で生成する。
（ａ）三次元用表示用の視差の異なる二つの画像を入力する。
（ｂ）両方の画像データをＪＰＥＧ２０００で符号化する。この時、上述の（１）で述べたように、符号データの符号列はサブバンドに対応するように符号列を生成する。
（ｃ）符号化後に縦方向の解像度が横方向の解像度の１／２倍になるようなサブバンドに対応する符号列からなる符号データを生成する。二つの符号データを再構成する。
（ｄ）再構成した符号データを（配信し）復号する。
（ｅ）縦方向の解像度が横方向の解像度の１／２倍になる３次元画像用の画像データを再生する。
【００７３】
本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の符号化処理装置を構成する各機能をそれぞれプログラム化して、予め記録媒体に書き込んでおき、この記録媒体に記録されたこれらのプログラムをコンピュータに備えられたメモリあるいは記憶装置に格納し、そのプログラムを実行することによって、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
また、上記プログラムは、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。
【００７４】
なお、上述した実施形態の機能を実現するプログラムは、ディスク系（例えば、磁気ディスク、光ディスク等）、カード系（例えば、メモリカード、光カード等）、半導体メモリ系（例えば、ＲＯＭ、不揮発性メモリ等）、テープ系（例えば、磁気テープ、カセットテープ等）等のいずれの形態の記録媒体で提供されてもよい。あるいは、ネットワークを介して記憶装置に格納されたプログラムをサーバコンピュータから直接供給を受けるようにしてもよい。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
このように、上述した実施形態の機能をプログラム化して流通させることによって、コストの低廉化、および可搬性や汎用性を向上させることができる。
【図面の簡単な説明】
【００７５】
【図１】縦横変倍率が同じ画像データの生成例である。
【図２】本発明の縦横変倍率が異なる画像データの生成例である。
【図３】本発明の符号化処理装置の構成を説明するための図である。
【図４】本発明における符号化処理の処理手順を示すフローチャートである。
【図５】階層符号化圧縮伸長アルゴリズムの基本を説明するための図である。
【図６】プリシンクトとコードブロックを説明するための図である。
【図７】デコンポジションレベルとサブバンドを説明するための図である。
【図８】ビットプレーン符号化例であり、レイヤとパケットの関係を説明するための図である。
【図９】ＪＰＥＧ２０００のパケットについて説明するための図である（その１）。
【図１０】ＪＰＥＧ２０００のパケットについて説明するための図である（その２）。
【図１１】ＪＰＥＧ２０００のパケットについて説明するための図である（その３）。
【図１２】タイル分割の基本を説明するための図である。
【図１３】本発明の符号データ再構成部の構成を説明する図である。
【図１４】本発明の符号化過程について説明するための図である。
【図１５】本発明の３Ｄ画像の再生について説明するための図である。
【図１６】本発明の符号データ再構成部で符号列の選択処理の手順を示すフローチャートである。
【符号の説明】
【００７６】
１…画像データ入力部、２…符号化処理部、３…符号データ再構成部、３１…符号列編集部、３２…符号データ保存部、３３…ＬＬ部分符号保存部、４…符号データ配信部、５…復号化処理部、６…画像データ出力部、７…解像度指定部、７１…解像度指示部、７２…符号列選択部。
【図１】
2007027816.tif 000003
【図２】
2007027816.tif 000004
【図３】
2007027816.tif 000005
【図４】
2007027816.tif 000006
【図５】
2007027816.tif 000007
【図６】
2007027816.tif 000008
【図７】
2007027816.tif 000009
【図８】
2007027816.tif 000010
【図９】
2007027816.tif 000011
【図１０】
2007027816.tif 000012
【図１１】
2007027816.tif 000013
【図１２】
2007027816.tif 000014
【図１３】
2007027816.tif 000015
【図１４】
2007027816.tif 000016
【図１５】
2007027816.tif 000017
【図１６】
2007027816.tif 000018