(57)【要約】【課題】記録、再生、伝送又は表示を行うシステムに用いて好適な、多様な画質モードに対応可能な画像の符号化データを生成し、またシステムで設定された画質モードに応じて符号化データから所望の画像データを抽出可能とする画像符号化方法、画像符号化装置及び記録装置を提供する。【解決手段】入力画像データを複数の周波数帯域に分割する帯域分割手段と、帯域分割された各画像データの大きさを所定の閾値で複数の階層に分割する画質分割手段と、前記帯域分割手段で帯域分割された画像データの垂直成分の程度に応じて前記画質分割手段における前記閾値を設定する設定手段とを備える。【選択図】      図１
2004349939.tif 000002
【特許請求の範囲】
【請求項１】
入力した画像データを圧縮符号化する画像符号化方法において、
入力画像データを複数の周波数帯域に分割する帯域分割工程と、
前記帯域分割工程で帯域分割された各画像データの大きさを所定の閾値で複数の階層に分割する画質分割工程と、
前記帯域分割工程で帯域分割された画像データの垂直成分の程度に応じて前記画質分割工程における前記閾値を設定する設定工程とを有することを特徴とする画像符号化方法。
【請求項２】
請求項１において、前記設定工程は前記帯域分割された画像データの前記垂直成分が低いときは前記垂直成分が高いときに比べて前記閾値を高く設定することを特徴とする画像符号化方法。
【請求項３】
請求項１において、前記帯域分割工程および前記画質分割工程で分割された画像のデータブロックを並べてデータストリームを生成するストリーム生成工程をさらに有し、該ストリーム生成工程は分割された帯域順序よりも、分割された画質順序を優先して前記データブロックを並べてデータストリームを生成することを特徴とする画像符号化方法。
【請求項４】
請求項３において、前記ストリーム生成工程は前記データブロックをパケットデータとしてまとめ、さらに付加情報を付加して前記データストリームを生成するときに、前記パケットデータをＪＰＥＧ２０００の方式のＬＲＣＰプログレッションオーダで並べることを特徴とする画像符号化方法。
【請求項５】
請求項３において、所望の画質レベルを入力する入力工程と、前記データストリームの先頭からデータの切出し地点を逐次解析するストリーム解析工程と、前記入力工程で入力された画質レベルに適合する切出し地点を算出して前記ストリーム解析工程に指示する算出工程をさらに有することを特徴とする画像符号化方法。
【請求項６】
請求項５において、前記ストリーム解析工程が解析した切出し地点以降のデータブロックの数と同じ数のデータ内容が零であるデータブロックを新たに追加する零データブロック追加工程をさらに有することを特徴とする画像符号化方法。
【請求項７】
入力した画像データを圧縮符号化する画像符号化方法において、
入力画像データを複数の周波数帯域に分割する帯域分割工程と、
前記帯域分割工程で帯域分割された各画像データを複数の画像空間に分割する位置分割工程とを有し、
前記帯域分割工程で帯域分割された帯域データの画素数を複数の表示解像度を包含する値とし、前記位置分割工程で位置分割された帯域データの画素数を複数の表示画角を包含する値とするように符号化空間の画素数を設定することを特徴とする画像符号化方法。
【請求項８】
請求項７において、前記位置分割工程は前記複数の表示画角のうち縦横比が１に近い画角のときは、垂直方向の画素数を固定し、水平方向は全画角の中心位置から左右均等になるよう設定して画像位置分割することを特徴とする画像符号化方法。
【請求項９】
請求項７において、前記帯域分割工程および前記位置分割工程で分割された画像のデータブロックを並べてデータストリームを生成するストリーム生成工程をさらに有し、該ストリーム生成工程は分割された位置順序よりも、分割された帯域順序を優先して前記データブロックを並べてデータストリームを生成することを特徴とする画像符号化方法。
【請求項１０】
請求項９において、前記ストリーム生成工程は前記データブロックをパケットデータとしてまとめ、さらに付加情報を付加して前記データストリームを生成するときに、前記パケットデータをＪＰＥＧ２０００の方式のＲＰＣＬプログレッションオーダで並べることを特徴とする画像符号化方法。
【請求項１１】
請求項９において、所望の解像度または画角レベルを入力する入力工程と、前記データストリームの先頭からデータの切出し地点を逐次解析するストリーム解析工程と、前記入力工程で入力された解像度又は画角レベルに適合する切出し地点を算出して前記ストリーム解析工程に指示する算出工程をさらに有することを特徴とする画像符号化方法。
【請求項１２】
請求項１１において、前記ストリーム解析工程が解析した切出し地点以降のデータブロックの数と同じ数のデータ内容が零であるデータブロックを新たに追加する零データブロック追加工程をさらに有することを特徴とする画像符号化方法。
【請求項１３】
入力した画像データを圧縮符号化する画像符号化方法において、
入力画像データを複数の周波数帯域に分割する帯域分割工程と、
前記帯域分割工程で帯域分割された各画像データを複数の画像空間に分割する位置分割工程と
前記帯域分割工程で帯域分割された各画像データの大きさを所定の閾値で複数の階層に分割する画質分割工程とを有し、
前記帯域分割工程で帯域分割された帯域データの画素数が複数の表示解像度を包含する値となるよう設定し、前記位置分割工程で位置分割される帯域データの画素数が複数の表示画角を包含する値となるように画素数を設定し、前記帯域分割された画像データの前記垂直成分が低いときは前記垂直成分が高いときに比べて前記閾値を高くなるように設定することを特徴とする画像符号化方法。
【請求項１４】
請求項１３において、前記帯域分割工程、前記位置分割工程及び前記画質分割工程で分割された画像のデータブロックを並べてデータストリームを生成するストリーム生成工程をさらに有し、該ストリーム生成工程は分割された帯域または位置順序よりも分割された画質順序を優先し、さらに分割された位置順序よりも分割された帯域順序を優先して前記データブロックを並べてデータストリームを生成することを特徴とする画像符号化方法。
【請求項１５】
請求項１４において、所望の解像度、画角または画質レベルを入力する入力工程と、前記データストリームの先頭からデータの切出し地点を逐次解析するストリーム解析工程と、前記入力工程で入力された解像度、画角または画質レベルに適合する切出し地点を算出して前記ストリーム解析工程に指示する算出工程をさらに有することを特徴とする画像符号化方法。
【請求項１６】
請求項１５において、前記ストリーム解析工程が解析した切出し地点以降のデータブロックの数と同じ数のデータ内容が零であるデータブロックを新たに追加する零データブロック追加工程をさらに有することを特徴とする画像符号化方法。
【請求項１７】
請求項１３において、前記帯域分割工程における分割数が、前記表示解像度数＋１であることを特徴とする画像符号化方法。
【請求項１８】
請求項１７において、前記帯域分割工程、前記位置分割工程及び前記画質分割工程で分割された画像のデータブロックを並べてデータストリームを生成するストリーム生成工程をさらに有し、分割された帯域・位置・画質を並べる優先順位をストリームの途中で変更することを特徴とする画像符号化方法。
【請求項１９】
入力した画像データを圧縮符号化する画像符号化装置において、
入力画像データを複数の周波数帯域に分割する帯域分割手段と、
前記帯域分割手段で帯域分割された各画像データを複数の画像空間に分割する位置分割手段と、
前記帯域分割手段で帯域分割された各画像データの大きさを所定の閾値で複数の階層に分割する画質分割手段と、
前記帯域分割手段で帯域分割された帯域データの画素数が複数の表示解像度を包含するように分割するよう設定し、前記位置分割手段で位置分割された帯域データの画素数を複数の表示画角を包含するように画素数を設定し、前記帯域分割された画像データの前記垂直成分が低いときは前記垂直成分が高いときに比べて前記閾値を高く設定する設定手段を備えたことを特徴とする画像符号化装置。
【請求項２０】
請求項１９において、前記帯域分割手段、前記位置分割手段及び前記画質分割手段で分割された画像のデータブロックを並べてデータストリームを生成するストリーム生成手段をさらに有し、該ストリーム生成手段は分割された帯域または位置順序よりも分割された画質順序を優先し、さらに分割された位置順序よりも分割された帯域順序を優先して前記データブロックを並べてデータストリームを生成することを特徴とする画像符号化装置。
【請求項２１】
請求項２０において、前記データストリームを記録する記録装置において、所望の解像度、画角または画質にしたがって、前記データストリームを所定の切出し地点で分離して、分離したデータストリームの前半部分に含まれる符号化データを第１の記録エリアに記録し、分離したデータストリームの後半部分に含まれる符号化データを前記第１の記録エリアとは異なる第２の記録エリアに記録することを特徴とする記録装置。
【請求項２２】
請求項２１において、前記記録手段は前記第１の記録エリアに記録する前記符号化データは、固定長化して記録することを特徴とする記録装置。
【請求項２３】
請求項２１または請求項２２において、前記第１の記録エリアと前記第２の記録エリアは同一の記録用ディスクに設けられ、前記記録手段は前記第１の記録エリアに記録するデータを前記ディスクの内周側のエリアに、前記第２の記録エリアに記録するデータを前記ディスクの外周側のエリアにそれぞれ記録することを特徴とする記録装置。
【請求項２４】
請求項２１または請求項２２において、前記第１の記録エリアと前記第２の記録エリアはそれぞれ異なる記録媒体に設けられ、前記記録手段は前記第１の記録エリアに記録するデータを大容量の記録媒体に優先して記録することを特徴とする記録装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、所望の解像度あるいは画質で復号できる符号化画像を生成する画像符号化方法、画像符号化装置及び記録装置に関するものである。
【０００２】
【従来の技術】
従来、デジタルスチルカメラやデジタルビデオカメラで撮影した画像を表示する装置としては、テレビモニターやパーソナルコンピュータ（ＰＣ）のモニターが一般的である。また、近年になって、多くの解像度に比較的柔軟に対応できるＰＣモニターや、複数の解像度を表示可能なデジタルテレビシステム等のインフラが整いつつある。
【０００３】
一方、カメラ本体では、１００万画素を越えるＣＣＤに代表されるような高画素の撮像素子を搭載した製品や、撮影画像を容易に視認可能とする大型液晶モニターを搭載した製品が主流となっている。さらに、近年になって、撮影画像の一部を切り出して直接印刷するようなプリントシステムのインフラや、カメラをインターネット等のネットワークと接続し、撮影画像を電子メール等で送受信するといったインフラも整ってきている。
【０００４】
このように、以前は一つの解像度のみを表示する標準モニターあるいはテレビモニターに対して最適な出力画像が得られるようにカメラシステムを構成していたが、今日のカメラシステムでは、上記したように多様な画像出力形態に柔軟に対応することが重要となっており、柔軟に対応するために必要な高画質・大容量データを効率よく生成・出力する構成が必要となっている。
【０００５】
多様な表示形態に対応するための技術としては、高精細画像（ＨＤ）を記録して、標準画像（ＳＤ）で再生する先行技術が特開平０６−３３９１１４号（特許文献１）に開示されている。特許文献１の第１６図に記録方法、第２７図に標準画像の再生方法、第１９図に高精細画像の再生方法のブロック図が示されている。特許文献１の第１６図に示されたように、入力の高精細画像をダウンコンバートした標準画像（図中１６２の出力信号）と、前記高精細画像と前記標準画像をアップコンバートした画像（図中１６４の出力信号）の差分情報（図中１６９の出力信号）を、同時に記録している。標準画像を再生するときは、特許文献１の第２７図に示されたように、前記ダウンコンバートした標準画像のみを選択再生して（図中１９３の出力信号）表示する。一方、高精細画像を再生するときは、特許文献１の第１９図に示されたように、ダウンコンバートした標準画像データをアップコンバートしたデータ（図中１９１の出力信号）と、標準画像のアップコンバートデータと高精細画像の差分データ（図中１９５の出力信号）とを合成して（図中１９４の出力信号）表示する。以上のような構成が、特許文献１に開示されている。
【０００６】
また、異なる先行技術として、同一画像を複数の解像度で伝送する技術が特開２０００−１８４３２８号（特許文献２）に開示されている。特許文献２の第３図には、所定の画像を、可逆圧縮したデータ（Ｃ１）と、非可逆圧縮した第２図に示すような階層構造をもつデータ（Ｃ２）に変換して、データベースサーバ３０に蓄積する構成が開示されている。医師の診断で所望する画像を参照するときは、標準モニターの参照端末１４で所望の解像度で表示する。一方、画像データで診断する場合には、高精細表示が可能な診断用ワークステーション１２で、所望の解像度で画像データを確認する。この場合、非可逆圧縮のデータだけでなく、最終確認をするために可逆圧縮データも表示・操作することが可能なシステムとなっている。このように、用途や表示端末に応じて、所定の画像を所望する解像度で表示する技術が特許文献２に開示されている。
【０００７】
さらに、特開２０００−３６９５９号（特許文献３）には、画像データを解像度レベルにおいて階層符号化し、各解像度レベルを生成する変換係数を分割（タイル化）し、画像データの所望する部分あるいは解像度レベルで、ランダムアクセスと高速アクセスの両立を可能にするタイルデータの構築方法が開示されている。特許文献３の第３図にあるように、各解像度レベルの変換係数の分割方法を、原画像の画素と同じ部分にある変換係数に分割し（３０４、３０２、３０３）、かつ、第５図にあるように解像度レベルで同じ部分にある変換係数のタイルを連続するように並べ、かつ、連続するタイルデータのポインター情報をヘッダ情報に入れる。これにより、ユーザは、所望する解像度レベル及び部分の画像データを、全データから探し出す事はしないで、前記ポインター情報とそれに続く分割データを抜き出す操作だけで、データを読み出すことができるので、高速なランダムアクセスを実現することができる。以上のような構成が、特許文献３に開示されている。
【０００８】
【特許文献１】
特開平６−３３９１１４号公報（第１６図、第２７図、第１９図）
【特許文献２】
特開２０００−１８４３２８号公報（第２図、第３図）
【特許文献３】
特開２０００−３６９５９号公報（第３図、第５図）
【０００９】
【発明が解決しようとする課題】
しかしながら上記した特許文献においては、複数の解像度に対応しようとする思想で書かれているものであって、今日のビデオテープレコーダ、ＤＶＤレコーダ或いはＨＤレコーダ等で採用されている高画質モード（以降ＸＰモードと記載する）・標準モード（以降ＳＰモードと記載する）・長時間モード（以降ＬＰモードと記載する）のような記録システムの各モード、つまり選択的に記録画質とそれに応じた記録時間（あるいは記録枚数）を設定するモードに対応する構成のものは考えられていない。
【００１０】
すなわち従来の技術では、同一解像度で複数の画質に対応するモード（ＸＰモード、ＳＰモード、ＬＰモード）を有する記録システム等に対して、単一の符号化データですべてのモードに対応することができないといった問題点があった。
【００１１】
本発明は上記の如き問題点を解決して、記録、再生、伝送又は表示を行うシステムに用いて好適な、多様な画質モードに対応可能な画像の符号化データを生成し、またシステムで設定された画質モードに応じて前記符号化データから所望の画像データを抽出可能とする画像符号化方法、画像符号化装置及び記録装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
斯かる目的を達成する為の手段として、本発明は以下の構成からなる手段を有する。
【００１３】
本発明の画像符号化方法は、入力した画像データを圧縮符号化する画像符号化方法において、入力画像データを複数の周波数帯域に分割する帯域分割工程と、前記帯域分割工程で帯域分割された各画像データの大きさを所定の閾値で複数の階層に分割する画質分割工程と、前記帯域分割工程で帯域分割された画像データの垂直成分の程度に応じて前記画質分割工程における前記閾値を設定する設定工程とを有することを特徴とする。
【００１４】
また、本発明の画像符号化装置は、入力した画像データを圧縮符号化する画像符号化装置において、入力画像データを複数の周波数帯域に分割する帯域分割手段と、前記帯域分割手段で帯域分割された各画像データを複数の画像空間に分割する位置分割手段と、前記帯域分割手段で帯域分割された各画像データの大きさを所定の閾値で複数の階層に分割する画質分割手段と、前記帯域分割手段で帯域分割された帯域データの画素数が複数の表示解像度を包含するように分割するよう設定し、前記位置分割手段で位置分割された帯域データの画素数を複数の表示画角を包含するように画素数を設定し、前記帯域分割された画像データの前記垂直成分が低いときは前記垂直成分が高いときに比べて前記閾値を高く設定する設定手段を備えたことを特徴とする。
【００１５】
また、本発明の記録装置は、前記画像符号化装置で生成されたデータストリームを記録する記録装置であって、所望の解像度、画角または画質にしたがって、前記データストリームを所定の切出し地点で分離して、分離したデータストリームの前半部分に含まれる符号化データを第１の記録エリアに記録し、分離したデータストリームの後半部分に含まれる符号化データを前記第１の記録エリアとは異なる第２の記録エリアに記録することを特徴とする。
【００１６】
【発明の実施の形態】
本発明の実施の形態における各実施例では、画像の符号化方式としてＪＰＥＧ２０００（Ｍｏｔｉｏｎ  ＪＰＥＧ２０００を含む）を用いる。ＪＰＥＧ２０００方式に関しては、ＩＳＯ／ＩＥＣ１５４４４−１（以降、規格書と称す）に記載されているので詳細な説明は省略するが、本発明の実施の形態に関連するところの概略を以下に説明する。
【００１７】
前記規格書では、階層符号化により生成される圧縮符号化データを同一の解像度（Ｒ）、画像位置（Ｐ）、画質（Ｌ）、信号成分（Ｃ）でまとめ、パケットデータ単位で前記圧縮符号化データを区分する仕組みが規定されている。これによって、前記パケットデータの並び替えに応じて復号処理の優先順位を決定できる。
【００１８】
また、規格書のＡｎｎｅｘＢのＢ．１２章には標準的な５つの優先順位が規定されている。その５つとは、画質・解像度・成分・位置（ＬＲＣＰ）の順、解像度・画質・成分・位置（ＲＬＣＰ）の順、解像度・位置・成分・画質（ＲＰＣＬ）の順、位置・成分・解像度・画質（ＰＣＲＬ）の順、成分・位置・解像度・画質（ＣＰＲＬ）の順である。具体的には、ＬＲＣＰでは、画像全体の画質が向上する画質優先の表示方法となり、ＲＬＣＰやＲＰＣＬでは、画像全体の解像度が向上する解像度優先の表示方法となる。また、ＰＣＲＬは、画像の一部から全体の画像が表示される位置優先の表示方法となり、ＣＰＲＬは、画像全体の着色状態が向上する成分優先の表示方法となる。
【００１９】
しかしながら上記規格書には、デジタルテレビシステムにあるような画質や解像度の階層構造で表される多彩な表現形態を満たす方法までは規定されていない。特に、デジタルテレビシステムにおいては、７２０×４８０（インターレス・ノンインターＳＤ）、１２８０×７２０（ノンインターＨＤ）、１９２０×１０８０（インターレスＨＤ）の複数の解像度を表示するモードがあり、さらに画角も４：３（Ｎａｒｒｏｗ）と１６：９（Ｗｉｄｅ）の２種類の表示モードがある。このように多彩な表示形態に加え、さらに高画質モード（ＸＰ）、標準モード（ＳＰ）、長時間モード（ＬＰ）といった再生形態が存在する。
【００２０】
ＪＰＥＧ２０００方式で圧縮符号化した画像データを用いれば、原理的には上記表示モードに必要な符号化パケットデータをランダムアクセスして、復号処理することで、上記の多彩な表示モードを実現することができるが、必要なパケットデータを抽出する際に、全てのパケットの属性を検出して探し出すのではシステム上の大変な処理負荷となり、現実的でない。そこで、表示モード毎に必要なパケットデータをあらかじめまとめておき、所望する表示モードが選択されたときは、ある程度まとまった単位でパケットデータを抽出すれば、処理負荷がかなり軽減される。本実施の形態ではそこに着眼し、所定のパケットデータの並びを規定し、パケットデータの選択処理をすることなく、容易に多彩な表示モードを実現したり、あるいは、表示モードを変更したりすることを可能にする。そのような実施例を以下に詳述する。
【００２１】
（実施例１）
図１は、画質に関する多様なモード（ＬＰ、ＳＰ、ＸＰ）に対応した第一の実施例となる画像符号化装置及び画像復号化装置のブロック図である。図１の（ａ）が画像符号化装置、（ｂ）が画像復号化装置の構成である。なお、図１の画像符号化装置及び画像復号化装置は一体化されていてもよく（所謂コーデック）、磁気テープ、ＤＶＤやＢｌｕ−Ｒａｙなどのディスク、メモリカードなどを記録媒体に用いた記録再生装置等に適用できる。
【００２２】
図１（ａ）の画像符号化装置１０は入力画像データをＪＰＥＧ２０００方式で圧縮して出力する構成であって、以下の構成要素からなる。１は入力画像データをウェブレット変換（ＤＷＴ）して高域成分と低域成分に帯域分割し、各帯域（サブバンド）において同じ位置画像データを所定の大きさ（プリシンクト）に位置分割する帯域・位置分割部、２は帯域・位置分割処理された画像データを所定刻みで量子化しデジタル値する量子化部、３は量子化した画像データを所定ブロック（コードブロック）でまとめ、各ブロックに関してＥＢＣＯＴ方式のエントロピー符号化を行う符号化部、４は符号化された前記コードブロックに関してビット深さ方向に画質分割し、同一の解像度・位置・画質の単位（パケットデータ）でまとめ、前記パケットデータを所定の順番に並び替え、さらに前記パケットデータの属性や並び方情報等を所定フォーマットで付加して、一連のビットストリームを形成するストリーム生成部、５は生成されたビットストリームをＪＰＥＧ２０００の所定のファイルフォーマット形式に整え、データを書き出す出力部である。
【００２３】
図１（ｂ）の画像復号化装置２０は入力された符号化データを伸張して出力する構成であって、以下の構成要素からなる。２１は符号化データに対して所望する解像度・位置・画質情報を受けるユーザインターフェースあるいはデジタルインターフェース等の読み出しコマンド入力部、２２は入力した読み出しコマンドの情報から、画像の符号化データの対応する部分を算出し、ストリーム解析部２４に適宜指令を出す操作指令部（マイクロコンピュータ）、２３は符号化された画像データを入力し、ファイルフォーマットから所望する画像の符号化データを読み込む入力部、２４は前記符号化データのビットストリームを分析し、前記操作司令情報に従って必要なデータを切り出すビットストリーム解析部、２５は切り出された前記符号化データをコードブロック単位でＩＥＢＣＯＴ方式のエントロピー復号化を行う復号化部、２６は復号された画像データのデジタル値に所定刻み値を乗じて逆量子化する逆量子化部、２７は所望の画像位置データの逆量子化された変換係数を所定位置に並べ、逆ウェブレット変換で帯域合成し、所望の画像データを出力する帯域合成部である。
【００２４】
まず、圧縮時の画像データの処理を図１（ａ）に従って説明する。本実施例においては、想定画像としてノンインターＨＤ１２８０×７２０を包含するように構成するため、図２のような１９２０×９６０画素の解像度のフレームを用いる。
【００２５】
画像ソースから取り込まれた１フレーム分の画像データは、帯域・位置分割部１で、水平方向にウェブレット変換され、さらに垂直方向にウェブレット変換される。ウェブレット変換のフィルター処理により、画像データは高域成分と低域成分に帯域（サブバンド）分割され、係数変換される。
【００２６】
図２は、上述の２次元のウェブレット変換を施し、高域の変換係数と低域の変換係数の入れ替え操作を行った状態を示している。図２において１フレーム分の画像データ１００が、４つの帯域（１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨ）の変換係数１０１に分割されている。通常のＪＰＥＧ２０００方式では低周波帯域（１ＬＬ）に対して、再帰的に、上述のウェブレット変換および係数入れ替え操作を行うが、本発明の第一の実施例では、１回のウェブレット変換等の操作で目的を達成するので、それ以上の説明を行わない。
【００２７】
また、２次元の帯域（サブバンド）の表記方法については、低域帯域をＬ、高域帯域をＨで表し、１回のウェブレット操作で生成される係数を１としている。
【００２８】
また、帯域分割の回数（解像度レベル）の表記方法については、２次元ウェブレット変換で生成される最低帯域の係数をＲ０とし、低域係数に対する高域データには＋１する表記法も図中の（）内に示してある。例えば、今回は１回の操作だったので、Ｒ０の１ＬＬと、Ｒ１の１ＨＬ、１ＬＨ、１ＨＨが生成されている。１ＬＬに対して再帰的にウェブレット操作を加えれば、Ｒ０の２ＬＬと、Ｒ１の２ＨＬ、２ＬＨ、２ＨＨと、Ｒ２の１ＨＬ、１ＬＨ、１ＨＨが生成される（図１６参照）。今後の帯域分割された変換係数を表す場合、上記の表記方法で説明をしていく。
【００２９】
以上のウェブレット操作により帯域分割された係数は、さらに、１フレーム分の画像データ１００の画素と同じ位置の変換係数のまとまり（プリシンクト）に分割する操作、いわゆる位置分割の操作も行うが、本実施例の場合は、位置分割を行わない（１個のプリシンクトとする）。
【００３０】
前記位置分割によるまとまり（プリシンクト）の表記方法は、図３に示してあるように、Ｐの下付添字に、解像度レベルを表記し、続いてプリシンクトを表記する。従って、本実施例では、Ｒ０がＰ００、Ｒ１がＰ１０で構成される。
【００３１】
図１に戻って、以上のような帯域・位置分割操作を帯域・位置分割部１で行った変換係数は、量子化部２で所定の刻み幅で数値化される。刻み幅は各帯域（１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨ）で独立に設定することも、関連付けて設定することも可能である。
【００３２】
量子化された変換係数は、符号化部３で圧縮符号化する。符号化については、まず、各位置（プリシンクト）において、図４に示すように、さらに細かいコードブロックに分割する。１０３がコードブロックであり、Ｐ００に関しては、０から１２７のコードブロックに分割されている。また、Ｐ１０に関しては、０から３８３のコードブロックに分割されている。
【００３３】
さらに分割された前記コードブロックに対して、エントロピー符号化処理を行う。具体的には、図５に示すように、コードブロック１０３の変換係数を上位ビット（ＭＳＢ）から下位ビット（ＬＳＢ）に並べて、各ビットプレーン１０４の二値化データを算術符号化する。
【００３４】
算術符号化に関しては、角ビットプレーン内の各画素において、対象画素の周辺画素値と、対象画素の上位ビットから、符号化モデルを決定して、算術符号化する。この方式をＥＢＣＯＴ方式のエントロピー符号化方式と呼んでいる。
【００３５】
以上のように、ビットプレーン１０４単位で符号化されたデータは、図１のストリーム生成部４に送られる。
【００３６】
ストリーム生成部４では、解像度・位置分割されたブロック（プリシンクト）を集めて、今度はビット深さ方向に所定値レベルで分割する。通常この分割は、画質の改善寄与率でコードブロック単位毎に決められるが、本実施例では、説明の簡略化のため、図５に示すすように、所定レベルで分割する。
【００３７】
本実施例のビット深さ方向の分割は、３つのブロック１０５（レイヤ）で以下のように分割する。
【００３８】
第１の解像度のデータブロックＰ００は、上位６ビットを第１のレイヤ（Ｌ０）とし、第２のレイヤ（Ｌ１）にはデータがなく、残り下位２ビットを第３のレイヤ（Ｌ２）としている。第２の解像度のデータブロックＰ１０は、垂直成分の低域データ（１ＨＬ）は、上位６ビットと、その他（１ＬＨ、１ＨＨ）の上位２ビットを第１のレイヤ（Ｌ０）とし、垂直成分の高域データ（１ＬＨ、１ＨＨ）の上位６ビットから上位３ビットまで（中位４ビット）を第２のレイヤ（Ｌ１）とし、残り下位２ビットを第３のレイヤ（Ｌ２）としている。
【００３９】
このように、ビット深さ方向に分割するのは、各画素において画質に寄与するデータブロックに分けていることになるので、画質に関して分割したということと等価になる。また、解像度・位置・画質分割されたデータをパケットデータと呼ぶ。
【００４０】
以上の解像度・位置・画質に分割された符号化データのイメージを図６に示す。図において、１０２が解像度・位置に分割されたデータブロックを表し、縦方向が画質に分割されたデータブロックを表している。
【００４１】
本発明の特徴となる画質に関する分割方法として、第一の画質ブロック（Ｌ０）に、水平方向の上位６ビットを含ませている点がある。このことにより、Ｌ０の画質をもつ長時間モード（ＬＰ）でも、標準モード（ＳＰ）と同程度水平解像度を確保できることになる。テレビモニターの場合、垂直解像度はＴＶ本数で限定されるが、水平解像度はＴＶ表示能力まで表現できるので、水平解像度を保つ事により、画質劣化を低減することが可能となる。
【００４２】
前記パケットデータは、図１のストリーム生成部４で、さらに、並び替え処理、付加情報の追加をして一連のストリームデータとして出力する。
【００４３】
図７（ａ）において、ストリームデータの構成を説明する。まず、生成されたパケットデータには、マーカセグメント１３１により付加情報が追加される。一連のストリームデータの先頭には、ヘッダ情報１２１があり、続いて、マーカセグメントが付加されたパケットデータ群１１５が並び、最後にフッタ情報１２２がある。
【００４４】
ヘッダ情報１２１は、ストリームの開始を示すＳＯＣ（Ｓｔａｒｔ  ｏｆ  Ｃｏｄｅ  ｓｔｒｅａｍ）マーカが先頭にあり、続いてメインヘッダ（ＭＨ）が続く。メインヘッダはＳＩＺ（ｉｍａｇｅ  ａｎｄ  ｔｉｌｅ  Ｓｉｚｅ）マーカが先頭で、画素に関する情報を付加する。ここには、原画の画像の大きさに関する情報も含まれている。メインヘッダには、量子化に関するマーカセグメントＱＣＤ（Ｑｕａｎｔｉｚａｔｉｏｎ  Ｄｅｆａｕｌｔ）の他に、パケットヘッダの並べ方に関するマーカセグメントＣＯＤ（Ｃｏｄｉｎｇ  ｓｔｙｌｅ  Ｄｅｆａｕｌｔ）、ＰＯＣ（Ｐｒｏｇｒｅｓｓｉｏｎ  ｏｒｄｅｒ  Ｃｈａｎｇｅ）がある。前者は一連のストリーム全体の情報であり、後者は部分的にパケットの並べ方を変える場合の情報が含まれる。
【００４５】
以上のヘッダ情報のあとに、タイルパートヘッダ（ＴｐＨ）が続く。本実施例では採用していないが、１フレーム画像の帯域分割の前に、１フレーム画像を小領域（タイル）に分割することも、ＪＰＥＧ２０００符号化方式では可能である。本実施例の場合、前記タイル分割は行っていないので、１フレーム画像は１タイルデータと解釈される。このタイルに関する情報がタイルパートヘッダにある。
【００４６】
タイルパートヘッダは、開始を示すマーカセグメントＳＯＴ（Ｓｔａｒｔ  ｏｆ  Ｔｉｌｅ−ｐａｒｔ）で始まる。このＳＯＴには、１つのタイルパートの長さに関する情報もある。タイルパートヘッダの他の情報として、タイル内のパケットデータの並び方に関する情報ＣＯＤ、ＰＯＣが存在する。優先順位はタイルパートヘッダ内の方が高い。タイルパートヘッダの最後には、その後に続くパケットデータが開始されることを示すＳＯＤ（Ｓｔａｒｔ  ｏｆ  Ｄａｔａ）がある。ヘッダ情報には、その他情報もあるが本発明には関係ないので、説明を省略する。
【００４７】
パケットデータは、パケットの先頭であること示すＳＯＰ（Ｓｔａｒｔ  ｏｆ  Ｐａｃｋｅｔ）マーカセグメントがあり、パケットデータの終わりには、パケットの終了を示すＥＰＨ（Ｅｎｄ  ｏｆ  Ｐａｃｋｅｔ  Ｈｅａｄｅｒ）がある。
一連のストリームデータの最後にはフッタ情報として、ストリームの終了を示すマーカセグメントＥＯＣ（Ｅｎｄ  ｏｆ  Ｃｏｄｅｓｔｒｅａｍ）がある。
【００４８】
このように、１フレーム画像の符号化データに、上述の付加情報を加えて一連のストリームデータとして、ストリーム生成部４で生成される。
【００４９】
ここで、本発明の特徴となるパケットデータの並べ方について、図７（ａ）を使って説明する。まず、最初に画質に関してパケットデータを上位レイヤから順に、Ｌ０、Ｌ１、Ｌ２と並べる。さらに、同じ画質のパケットデータ内の並べ方は、解像度の低い順に、Ｐ００、Ｐ１０に並べる。このような並べ方を画質優先のプログレッションオーダと呼び、ＪＰＥＧ２０００の標準で用意されている５つの中で、ＬＲＣＰ（画質−解像度−成分−位置）が該当する。本実施例では、このプログレッションオーダを、前記メインヘッダのＣＯＤマーカセグメントの情報として付加しておく。
【００５０】
図１に戻って、このように生成されたストリームデータは、出力のポスト処理を行うために出力部５に送られる。出力部５では、後段の出力形態にあった形で、ストリームデータを生成しなおす。
【００５１】
例えば、後段にファイルシステムを有するディスクシステムがあれば、前記ストリームデータ情報に対して、動画の同期に関する情報、著作権に関する情報等を付加して、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００のファイルファーマットデータとして出力する。また、後段がデジタルインターフェースであれば、パケット伝送するために前記ストリームデータを小分けに分割し、適宜ヘッダ情報を付加して出力する。
【００５２】
以上が、図１（ａ）の画像符号化装置１０の動作説明である。
【００５３】
続いて、画像符号化装置１０で圧縮された画像の符号化データを伸張する動作について、図１（ｂ）のブロック図に従って説明する。
【００５４】
まず、画像データをどのような表示形態、あるいは出力形態で出力をするか、読み出しコマンド入力部２１から指示入力する。コマンド入力元がユーザならばユーザインターフェースとなり、他の機器であればデジタル通信等のデジタルインターフェースとなる。
【００５５】
また、読み出しコマンドで指示する読み出し方法とは、具体的には、表示部の表示可能な解像度ＨＤ、ＳＤであったり、画角ワイド画角１６：９（Ｗ）、標準画角４：３（Ｎ）であったり、画質ＸＰ、ＳＰ、ＬＰであったりする。
【００５６】
また、出力先が別の記録媒体を有する機器であったりする場合、出力先の記録容量や復号能力に見合ったデータストリームを読み出すために、デジタルインターフェースを介して、読み出しコマンドが入力される。
【００５７】
本実施例の場合、画質に関する複数のモードＸＰ、ＳＰ、ＬＰに対応しているので、出力先の能力に応じて、読み出し方法が上記モードに合致するように入力する。前記読み出し方法のコマンド入力を受けて、操作司令部２２は、ストリームデータ操作部２４に対して、操作方法の指令を出す。
【００５８】
一方、符号化された画像データは入力部２３で取り込まれ、ファイルシステムやその他伝送フォーマットからストリームデータが入力される。ビットストリーム解析部２４では、入力したストリームデータから図７（ａ）に示したような必要なパケットデータを取り出す。
【００５９】
続いて、ストリームデータは、ＳＯＣで始まる先頭のマーカセグメントから順次処理され、逐次パケットデータも処理される。例えば、パケットデータ『Ｐ００  Ｌ０』『Ｐ１０  Ｌ０』まで処理されると、画像データとしては、図７（ｂ）に示すように、全解像度の上位２ビットと、全解像度の水平方向の上位３ビットから上位６ビット（中位４ビット）までの画像データとなる。コード量としては最もコンパクトであり、画質に関しては水平方向成分のデータ上位６ビットまで含んでいるので、ＴＶモニタでの劣化を低減している。いわゆる長時間モード（ＬＰ）となる。
【００６０】
さらに、パケットデータを『Ｐ００  Ｌ１』『Ｐ１０  Ｌ１』まで処理すると、図７（ｃ）に示すように、全解像度の上位６ビットの画像データとなるので、いわゆる標準的な画質が得られる標準画質モード（ＳＰ）となる。
【００６１】
さらに、残りのパケットデータ『Ｐ００  Ｌ２』『Ｐ１０  Ｌ２』まで処理すると、図７（ｄ）に示すように、全解像度の全８ビットの画像データとなるので、高画質モード（ＸＰ）となる。
【００６２】
このように、画質優先モードでパケットデータを並べておけば、所望するモードの画像データを、すべてのヘッダ情報を解析することなく、ストリーム先頭からの順次処理だけで抽出することが可能となる。これは、有限な電力で小型化を強いられるポータブル機器において、制限されたワークメモリや処理能力でも実現可能な処理となる。具体的には、他の機器にデータをダビングする時のモード変換（ＸＰモードからＳＰ、ＬＰへのダウンコンバート）時の処理が想定される。
【００６３】
上記先頭からパケットデータ取り出した後の作業として、デジタルダビングする場合は以下の処理を行う。最後に取り出したパケットデータの後には、一連のストリームデータのパケットデータ数が変わらないように、零パケットデータを付加する。さらに、零パケットデータを付加することによって、変化するパケットデータ長の情報をＳＯＴマーカセグメントに反映させる。
【００６４】
このような処理をすると、多少コード量が増加するが、ストリームの切り出しによる解像度・画質の変更等の情報をヘッダ情報に反映させる必要がなくなり、ヘッダ処理の負荷を低減できる。また、ストリームのフォーマット形式を統一しているので、編集作業等でモードの異なるストリームの繋ぎを容易にする。つまり、モードが切り替わっても、データの読み取りシーケンス（パケットの読み出す回数、ヘッダ情報の属性変更等）に変更が生じないため、画質だけ変化するスムーズなモード移行の切り替えが可能となる。また、ストリームデータの構造は変えていないので、ストリームデータ構造に特化して記録媒体に記録するシステムを容易に実現することができる。
【００６５】
なお、本実施例では、符号化時の全ての画像データが存在すること（ＸＰモード）を前提に説明しているが、ＬＰモードのように一部のデータしかない場合なども、上記のように零パケットを挿入しておけば、ＬＰからＳＰ、ＸＰへのアップコンバート作業も上述と同様の処理で実現することは、可能である。
【００６６】
再び、図１に戻ると、ビットストリーム解析部２４で処理された前記パケットデータは、復号化部２５に送られる。復号化部２５では、前記パケットデータから、図５のコードブロックとビットプレーンの構造を構築し、コードブロック単位でエントロピー復号処理を行う。エントロピー復号は、各ビットプレーンにおいて、符号化時に決定した符号化モデルに則って算術復号し、二値データを復元する。そして、コードブロック毎に前記復号されたビットプレーンを、上位ビットから下位ビットにならべ、変換係数を復元する。変換係数は、解像度・位置分割のＩＤにより、図４のように変換係数空間に再構築される。
【００６７】
再構築された変換係数は、逆量子化部２６に送られ、所定の刻み幅が乗じられ、変換係数値が復元される。この変換係数値は、帯域合成部２７で逆ウェブレット変換を施され、周波数帯域合成され、画像データとなる。前記画像データは、復号された画像データとして出力される。以上が、図１（ｂ）の画像復号化装置２０の動作説明である。
【００６８】
以上説明したように、本実施例によれば、複数の画質モードを実現する上で、単なるビット方向の画質分割ではなく、解像度・画質分割をして、水平方向の帯域データを重視して、上位の画質レベルに分類することにより、画質の劣化を低減することができる。
【００６９】
また、前記解像度・画質分割のパケットデータの並びに関して画質優先の並びにすることで、復号時の先頭からの順次読み出しで、複数の画質モードに必要なデータを、容易に取得することができる。
【００７０】
また、零パケットを挿入することにより、ストリーム構成のフォーマット形式を変更することなく、複数の画質モードを実現することができ、スムーズなモード移行と処理負荷の低減を実現できる。
【００７１】
さらに、複数の画質モードを統一したフォーマットで実現しているので、ストリーム構造に特化した記録フォーマットを容易に構築することができる。
【００７２】
なお、本実施例においては、解像度をＨＤモードとして想定して説明したが、これに限ること無くＳＤモードやその他の解像度においても有効な技術となる。
【００７３】
また、本実施例においては、画質分割を、所定のビット数で一様に行ったが、実際に行われるコードブロック単位での画質向上寄与率で決定される値に対して、重み係数を乗算した形で実現する方が好ましく、本発明の効果をより一層高める別の実施例となる。
【００７４】
さらに、本実施例においては、３つの画質モードで説明したが、２つあるいは、４つ以上の画質モードでも、本発明を摘要することは可能である。
【００７５】
（実施例２）
次に、本発明により、解像度・画角に関する多様なモード（ＳＮ、ＳＷ、ＨＷ）に対応する第２の実施例について説明する。基本的な処理ブロックは第１の実施例と同じなので、説明は省略する。以下処理の異なる部分のみ説明していく。
【００７６】
本実施例においては、想定画像として、ノンインターで１６：９のワイド画角であるＨＤ１２８０×７２０（以下ＨＷと呼ぶ）とノンインターで１６：９のワイド画角であるＳＤ７２０×４８０（以下ＳＷと呼ぶ）とノンインターで４：３の標準画角であるＳＤ７２０×４８０（以下ＳＮと呼ぶ）としている。ただし、ＨＷに関しては、包含するような解像度にしているため、１９２０×９６０画素の解像度のフレームで説明している（図８参照）。
【００７７】
まず、圧縮時の処理については、画像ソースから取り込まれた１フレームの画像データに対して、２次元のウェブレット変換を施す処理までは、第１の実施例と同じである。
【００７８】
本実施例においては、図８に示すように、原画像の位置と同じ位置の変換係数をまとめ、位置ブロック（プリシンクト）２０２に分割する操作が加わる。
【００７９】
図８において、帯域分割された帯域（サブバンド）において、３つの領域（プリシンクト）に分割している。第１のプリシンクト（Ｐ００、Ｐ１０）は画像中央で７２０×４８０の領域で、その両脇に第２、第３のプリシンクト（Ｐ０１、Ｐ１１、Ｐ０２、Ｐ１２）１２０×４８０の領域になるように位置分割している。
【００８０】
上述のように解像度・位置に分割された変換係数に対して量子化後、図９に示すコードブロック２０３に分割する。Ｐ００に関しては、０から９５のコードブロックに分割され、Ｐ１０に関しては、０から２８７のコードブロックに分割される。分割された前記コードブロックに対して、第１の実施例同様に、エントロピー符号化処理を行う。
【００８１】
符号化されたデータは、１フレーム分の画像データ２００において、解像度・位置分割されたブロック（プリシンクト）２０２単位で集められ、図１０に示すように、ビット深さ方向の所定値レベルで３つのブロック２０５（レイヤ）に分割される。
【００８２】
上位２ビットを第１のレイヤ（Ｌ０）とし、第２のレイヤ（Ｌ１）を中位４ビット、残り下位２ビットを第３のレイヤ（Ｌ２）としている。
【００８３】
以上の解像度・位置・画質に分割された符号化された画像データのイメージを図１１に示す。図１１において、２０２が解像度・位置に分割されたデータブロックを表し、縦方向に画質で分割されたデータブロックを表している。
【００８４】
本発明の特徴は、解像度・位置に関する分割方法で、ＳＤ標準画角４：３（ＳＮ）、ＳＤワイド画角１６：９（ＳＷ）、ＨＤ標準画角４：３（ＨＮ）、ＨＤワイド画角１６：９（ＨＷ）の表示モードを表現していることである。具体的には、第１解像度（１ＬＬ）の第１のプリシンクト（Ｐ０）が７２０×４８０のＳＮモードであり、第１解像度（１ＬＬ）の第１、２、３のプリシンクト（Ｐ０、Ｐ１、Ｐ２）が９６０×４８０のＳＷモードであり、第２解像度（１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨ）の第１のプリシンクト（Ｐ０）が１４４０×９６０のＨＮモードであり、第２解像度（１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨ）の第１、２、３のプリシンクト（Ｐ０、Ｐ１、Ｐ２）が１９２０×９６０ＨＷモードとなる。
【００８５】
次に、解像度・位置・画質に分割されたパケットデータの並びに関して、図１２（ａ）において、説明する。ストリームデータの全体構造は第１の実施例と同じで、先頭のヘッダ情報２２１、パケットデータ群２１５、フッタ情報２２２となる。
【００８６】
付加情報（マーカセグメント）の構成についても、同じなので説明は省き、パケットデータの並びについてのみ、説明する。まず、最初に解像度の低い順に、Ｐ００、Ｐ１０と並べる。さらに、同じ解像度のパケットデータ内の並べ方は、位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２に並べる。ＪＰＥＧ２０００のプログレッションオーダの中で、ＲＰＣＬ（解像度−位置−成分−画質）が該当し、メインヘッダのＣＯＤマーカセグメントの情報として付加しておく。
【００８７】
前記ストリームデータは、第１の実施例同様に、出力形態にあわせた形で出力する。以上が、画像圧縮時の処理の説明である。
【００８８】
続いて、圧縮された画像の符号化データを伸張する動作について、説明する。まず、符号化された画像データに対して、読み出しコマンド入力部２１から読み出し方法を指定するコマンドが入力され、操作司令部２２がストリーム操作部に操作方法を指令する。本実施例での読み出し方法とは、解像度・画角に関する複数のモードで、ＨＤワイド画角のＨＷ、ＳＤワイド画角のＳＷ、ＳＤ標準画角のＳＮである。
【００８９】
一方、符号化された画像データは、入力部２３から取り込まれ、ストリームデータとなって、ストリーム操作部に送られる。前記ストリームデータから、必要なパケットデータの取り出し方を図１２で説明する。
【００９０】
パケットデータ『Ｐ００  Ｌ０』『Ｐ０  Ｌ１』『Ｐ００  Ｌ２』まで処理されると、画像データとしては、図１２（ｂ）に示すように、ＳＤ解像度の第１解像度の４：３画角の画像データとなる。いわゆるＳＤ標準画角（ＳＮ）であり、デジタルテレビシステムの４８０Ｉ（Ｄ１）で主流の表示方法である。
【００９１】
さらに、パケットデータを『Ｐ０１  Ｌ０』『Ｐ０１  Ｌ１』『Ｐ０１  Ｌ２』『Ｐ０２  Ｌ０』『Ｐ０２  Ｌ１』『Ｐ０２  Ｌ２』まで処理すると、図１２（ｃ）に示すように、ＳＤ解像度の第１解像度の１６：９画角の画像データとなる。いわゆるＳＤワイド画角（ＳＷ）であり、デジタルテレビシステムの４８０Ｐ（Ｄ２）で主流の表示方法である。
【００９２】
さらに、残りのパケットデータ『Ｐ１０  Ｌ０』『Ｐ１０  Ｌ１』『Ｐ１０  Ｌ２』『Ｐ１１  Ｌ０』『Ｐ１１  Ｌ１』『Ｐ１１  Ｌ２』『Ｐ１２  Ｌ０』『Ｐ１２  Ｌ１』『Ｐ１２  Ｌ２』まで処理すると、図１２（ｄ）に示すように、ＨＤ解像度の第２解像度までの１６：９画角の画像データが含まれる。いわゆるＨＤワイド（ＨＷ）であり、デジタルテレビシステムの７２０Ｐ（Ｄ３）で主流の表示方法である。
【００９３】
このように、解像度優先モードでパケットデータを並べておけば、所望するモードの画像データを、すべてのヘッダ情報を解析することなく、ストリームの先頭からの順次処理だけで抽出することが可能となる。これは、前述したようにポータブル機器に向いた処理となる。
【００９４】
また、本実施例においても、第１の実施例と同様に、零パケット挿入の操作が可能で、コンバート変換、編集によるモード移行、記録システムへの同様の効果が得られる。
【００９５】
以上のように抽出されたパケットデータは、第１の実施例と同様に処理されデータは復号されて出力される。
【００９６】
以上が、本実施例の伸長処理の動作説明である。
【００９７】
以上説明したように、本発明の実施例によれば、複数の表示モードを実現する上で、解像度・位置分割して、画角・解像度を表示モードにあわせることにより、各種画像表示方法を実現することができる。
【００９８】
また、前記解像度・位置分割のパケットデータの並びに関して解像度優先の並びにすることで、復号時の先頭から順次読み出し、複数の表示モードに必要なデータを、容易に取得することができる。
【００９９】
また、ＪＰＥＧ２０００方式には帯域分割する前に、画像を複数のタイルに分割する処理があり、この機能を使っても、画角の切り替えを行う事は可能であるが、帯域分割する前の画像分割は、復号時に分割境界で画像歪みが発生してしまうが、本実施例の画像分割では、プリシンクト境界での画像歪みは発生しないので、より良好な画像復元が実現できる。
【０１００】
本実施例においては、３つの表示モードで説明したが、２つ（ＳＮ、ＨＷ）の解像度と画角が両方変化する表示モードでも、本発明を摘要することは可能である。
【０１０１】
また、上記２つの表示モードでは、位置優先のプログレッションオーダ（ＰＲＣＬ）でも表示モードを切り替える事ができる。
【０１０２】
また、本実施例においては、画角を画像位置の階層構造（プリシンクト）を利用した。ＪＰＥＧ２０００方式では、帯域分割する前に画像をタイル分割する処理を設ける事ができる。本実施例では、タイル分割なし（１タイル）の処理で説明したが、このタイル分割処理により画角の切り替えを実現することも可能である。前記プログレッションオーダは全て、タイル内（タイルパートストリーム内のパケットデータの並び替え）で行われている。従って、タイル分割は、プログレッションオーダの観点からみると最優先されるので、位置優先のプログレッションオーダとなる。従って、タイル分割＋解像度優先プログレッションオーダにすると、ＰＲｘｘのプログレッションオーダになり、上記２つの表示モードを実現することが可能となり、本発明の他の実施例となる。この場合の実施例では、前記プログレッションオーダＰＲＣＬは、ＪＰＥＧ２０００の標準で用意されたものでないが、本実施例では、標準のオーダで実現できるので、ＪＰＥＧ２０００の規格内で実現できる。
【０１０３】
（実施例３）
次に、本発明により、解像度・画角・画質に関する多様なモード（ＳＮ、ＳＷ、ＨＷ、ＬＰ、ＳＰ、ＸＰ）に対応した第３の実施例について説明する。基本的な処理ブロックは第１の実施例と同じなので、説明を省く。また、本実施例における想定画像についても、第２の実施例と同じなので、説明を省く。以下処理の異なる部分のみ説明していく。
【０１０４】
圧縮時の処理については、画像ソースから取り込まれた１フレームの画像データをエントロピー符号化するまでは、第２の実施例と同じなので説明を省略する。
【０１０５】
符号化されたデータは、１フレーム分の画像データ３００において、解像度・位置分割されたプリシンクトに集められ、図１３に示すように、ビット深さ方向の所定値レベルで３つのレイヤ３０５に分割される。
【０１０６】
第１の解像度のデータブロックＰ００は、上位６ビットを第１のレイヤ（Ｌ０）とし、第２のレイヤ（Ｌ１）にはデータがなく、残り下位２ビットを第３のレイヤ（Ｌ２）としている。第２の解像度のデータブロックＰ１０は、垂直成分の低域データ（１ＨＬ）の上位６ビットと、その他（１ＬＨ、１ＨＨ）の上位２ビットを第１のレイヤ（Ｌ０）とし、垂直成分の高域データ（１ＬＨ、１ＨＨ）の中位４ビットを第２のレイヤ（Ｌ１）とし、残り下位２ビットを第３のレイヤ（Ｌ２）として、画質の分割が行われる。
【０１０７】
以上の解像度・位置・画質に分割された符号化された画像データのイメージを図１４に示す。本発明の特徴である画質に関する分割方法は第１の実施例と同じで、解像度・位置に関する分割方法は第２の実施例と同じである。
【０１０８】
次に、解像度・位置・画質に分割されたパケットデータの並びに関して、図１５（ａ）において、説明する。
【０１０９】
ストリームデータの全体構造及び、付加情報の構成に関しては、第１の実施例と同じであり、情報の内容のみとパケットデータの並び方が異なっているだけであるので、まずパケットデータの並び方に関して説明する。
【０１１０】
まず、最初に画質の上位レイヤから、Ｌ０、Ｌ１、Ｌ２と並べる。さらに、同じ画質のパケットデータ内の並べ方は、解像度の低い順に、Ｐ００、Ｐ１０と並べる。さらに、同じ解像度のパケットデータ内の並べ方は、位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２に並べる。ＪＰＥＧ２０００のプログレッションオーダの中にはないＬＲＰＣ（画質―解像度―位置―成分）の並べ方となる。しかしながら、ＪＰＥＧ２０００のプログレッションオーダには未割当てコードがあり、新規に設定する余地があるので、メインヘッダのＣＯＤの情報として付加しておく。
【０１１１】
前記ストリームデータは、第１の実施例同様に、出力形態にあわせた形で出力する。以上が、本実施例の圧縮符号化処理の動作である。
【０１１２】
次に、前記符号化処理された画像データを伸張する動作について、図２６のフローチャートを参照しながら説明する。
【０１１３】
まず、符号化された画像データに対して、読み出しコマンド入力部から読み出し方法に関する要求仕様を受信し（ステップ１３０１）、操作司令部がパケット切り出し点を算出してストリーム操作部に操作方法を指令する（ステップ１３０２）。本実施例での読み出し方法とは、解像度・画角・画質に関する複数のモードで、ＨＤワイド画角ＨＷ、ＳＤワイド画角ＳＷ、ＳＤ標準画角ＳＮと、高画質モードＸＰ、標準画質モードＳＰ、長時間モードＬＰである。
【０１１４】
一方、符号化された画像データは、入力部から取り込まれ、ストリームデータとなって、ストリーム操作部に送られる。このストリームデータから必要なパケットデータを取り出し、パケット数Ｎの計測を開始する（ステップ１３０３）。
【０１１５】
パケットデータ『Ｐ００  Ｌ０』が処理されると（ステップ１３０４）、画像データとしては、図１５（ｂ）に示すように、ＳＤ解像度の第１解像度までの標準４：３画角の上位６ビットの画像データとなる。いわゆるＳＤ標準画角の標準画質モード（ＳＮ／Ｓｐ）となる。
【０１１６】
さらに、パケットデータを『Ｐ０１  Ｌ０』『Ｐ０２  Ｌ０』まで処理すると（ステップ１３０５）、図１５（ｃ）に示すように、ＳＤ解像度の第１解像度までのワイド１６：９画角の上位６ビットの画像データとなる。いわゆるＳＤワイド画角の標準画質モード（ＳＷ／Ｓｐ）となる。
【０１１７】
さらに、パケットデータを『Ｐ１０  Ｌ０』『Ｐ１１  Ｌ０』『Ｐ１２  Ｌ０』まで処理すると（ステップ１３０６）、図１５（ｄ）に示すように、ＨＤ解像度の第１解像度までのワイド１６：９画角の上位２ビットと第１解像度までの水平方向のワイド１６：９画角の中位４ビットの画像データとなる。いわゆるＨＤワイド画角の長時間モード（ＨＷ／Ｌｐ）となる。
【０１１８】
さらに、パケットデータを『Ｐ００  Ｌ１』『Ｐ０１  Ｌ１』『Ｐ０２  Ｌ１』『Ｐ１０  Ｌ１』『Ｐ１１  Ｌ１』『Ｐ１２  Ｌ１』まで処理すると（ステップ１３０７）、図１５（ｅ）に示すように、ＨＤ解像度の第１解像度までのワイド画角１６：９の上位６ビットの画像データとなる。いわゆるＨＤワイド画角の標準画質モード（ＨＷ／Ｓｐ）となる。
【０１１９】
さらに、パケットデータを『Ｐ００  Ｌ２』『Ｐ０１  Ｌ２』『Ｐ０２  Ｌ２』『Ｐ１０  Ｌ２』『Ｐ１１  Ｌ２』『Ｐ１２  Ｌ２』まで処理すると（ステップ１３０８）、図１５（ｆ）に示すように、ＨＤ解像度の第１解像度までのワイド画角１６：９の全８ビットの画像データとなる。いわゆるＨＤワイド画角の高画質モード（ＨＷ／Ｘｐ）となる。
【０１２０】
このように、画質・解像度・位置優先モードでパケットデータを並べておけば、所望するモードの画像データを、ストリームの先頭からの順次処理だけで抽出することが可能となり、前述したポータブル機器に向いた処理となる。また、本実施例においても、零パケット挿入（ステップ１３０９）による各種効果が得られる。その後、抽出処理は終了となる（ステップ１３１０）。また、フローが異常処理となったときは、異常終了（ステップ１３２０）となる。
【０１２１】
以上のように抽出されたパケットデータは、第１の実施例と同様に処理されデータは復号されて出力される。以上が、本実施例の伸張処理の動作である。
【０１２２】
以上説明したように、本発明の実施例によれば、複数の表示・画質モードを実現する上で、解像度・位置・画質分割して、画角・解像度の表示モードにあわせ、水平方向の帯域データを重視した画質分割をすることで、各種画像表示方法と、劣化の少ない画質モードとを両立することできる。
【０１２３】
また、前記解像度・位置・画質分割のパケットデータの並びに関して、画質・解像度・位置優先の並びにすることで、復号時の先頭から順次読み出し、複数のモードに必要なデータを、容易に取得することができる。
【０１２４】
また、復号時のフォーマット形式を変更することなく、複数の表示モードを実現することができる。これにより、モード移行の切り替わり動作は、スムーズになるとともに、処理負荷の低減を実現できる。
【０１２５】
（実施例４）
次に、本発明により、解像度・画角・画質に関する多様なモード（ＳＮ、ＳＷ、ＨＷ、ＬＰ、ＳＰ、ＸＰ）に対応した第４の実施例について説明する。基本的な処理ブロック、想定画像は第３の実施例と同じなので、説明は省く。以下処理の異なる部分のみ説明していく。
【０１２６】
まず、圧縮時の処理について、説明する。画像ソースから取り込まれた１フレームの画像データ４００を帯域分割するが、第２の実施例と異なるのは、図１６に示すように、２次元ウェブレット変換で生成する低域データに対して再度２次元のウェブレット変換を行う。これにより、３つの帯域分割が行われ、第１の解像度は２ＬＬで、第２の解像度は２ＨＬ、２ＬＨ、２ＨＨで、第３の解像度が１ＨＬ、１ＬＨ、１ＨＨとなる。
【０１２７】
次に、前記帯域分割されたサブバンドを、図１７に示すように、３つのプリシンクト４０２に分割する。第１、第２の解像度での第１のプリシンクト（Ｐ００、Ｐ１０）は画像中央で３６０×２４０画素の領域となり、その両脇に第２、第３のプリシンクト（Ｐ０１、Ｐ１１、Ｐ０２、Ｐ１２）６０×２４０画素の領域となるように位置分割している。第３の解像度での第１のプリシンクト（Ｐ２０）は画像中央で７２０×４８０画素の領域となり、その両脇に第２、第３のプリシンクト（Ｐ２１、Ｐ２２）１２０×４８０画素の領域となるように位置分割している。
【０１２８】
上述のように解像度・位置分割されたデータを、図１８に示すように、コードブロック４０３に分割する。第２解像度の第１プリシンクトＰ１０において、０から７１のコードブロックに分割され、第１の実施例同様に、エントロピー符号化処理を行う。
【０１２９】
符号化されたデータは、１フレーム分の画像データ４００において、解像度・位置分割されたプリシンクトに集められ、図１９に示すように、ビット深さ方向の所定値レベルで３つのレイヤ４０５に分割される。
【０１３０】
第１の解像度のデータブロックＰ００は（図示せず）、上位６ビットを第１のレイヤ（Ｌ０）とし、第２のレイヤ（Ｌ１）のデータはなく、下位２ビットを第３のレイヤ（Ｌ２）としている。第２の解像度のデータブロックＰ１０は、図１９のように、垂直成分の低域データ（２ＨＬ）の上位６ビットと、その他（２ＬＨ、２ＨＨ）の上位２ビットを第１のレイヤ（Ｌ０）とし、垂直成分の高域データ（１ＬＨ、１ＨＨ）の中位４ビットを第２のレイヤ（Ｌ１）、残り下位２ビットを第３のレイヤ（Ｌ２）としている。第３の解像度のデータブロックＰ２０は（図示せず）、第２の解像度のデータブロックにおける分割方法に準じる。第１の実施例同様に、説明の単純化のため画質向上寄与率に関係なく、一様のビット数で画質の分割している。
【０１３１】
以上の解像度・位置・画質に分割された符号化された画像データのイメージを図２０に示す。本発明の特徴である解像度・位置に関する分割方法は、解像度の階層がひとつ多くなっているが、基本的には、第２の実施例同じで、画質に関する分割方法は第１の実施例と同じである。
【０１３２】
次に、解像度・位置・画質に分割されたパケットデータの並びに関して、図２１（ａ）において、説明する。ストリームデータの全体構造及び、付加情報の構成に関しては、第１の実施例と同じであり、情報の内容のみとパケットデータの並び方が異なっているだけであるので、まずパケットデータの並び方に関して説明する。
【０１３３】
まず、第２解像度（Ｐ００、Ｐ１０）までは、最初に画質の上位レイヤから、Ｌ０、Ｌ１、Ｌ２と並べる。そして、同じ画質のパケットデータ内の並べ方は、位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２に並べる。さらに、同じ位置のパケットデータ内の並べ方は、解像度の低い順に、Ｐ００、Ｐ１０と並べる。ＬＰＲＣ（画質―位置―解像度―成分）のプログレッションオーダである。
【０１３４】
つぎに、第３解像度（Ｐ２０）からは、最初に画質の上位レイヤから、Ｌ０、Ｌ１、Ｌ２と並べる。そして、同じ画質のパケットデータ内の並べ方は、解像度の低い順に、Ｐ００、Ｐ１０と並べる。さらに、同じ解像度のパケットデータ内の並べ方は、位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２に並べる。つまり、ＬＲＰＣ（画質−解像度−位置−成分）である。
【０１３５】
上記のように、プログレッションオーダを途中で切り替える場合、ＪＰＥＧ２０００ではＰＯＣマーカセグメントが用意されている。ＰＯＣマーカセグメントは、プログレッシブオーダを変更する開始点の解像度番号、位置番号（画質番号の開始点は零）と、変更を終了する終了点の解像度番号、位置番号、画質番号と、変更するプログレッションオーダを、指定するようになっている。本実施例の場合、メインヘッダのＰＯＣマーカセグメントに、開始点の解像度番号０、位置番号０を、終了点の解像度番号１、位置番号２、画質番号０を、プログレッションオーダＬＰＣＲを指定し、引き続き、次の開始点の解像度番号０、位置番号０を、終了点の解像度番号２、位置番号２、画質番号２を、プログレッションオーダＬＲＰＣを指定する。
【０１３６】
ただし、上記のプログレッションオーダＬＰＲＣやＬＲＰＣは、ＪＰＥＧ２０００の標準で用意されていないが、前述のようにＪＰＥＧ２０００符号化方式には、プログレッションオーダのコードでまだ未割り当てがあるので、新規に設定される余地はある。
【０１３７】
前記ストリームデータは、第１の実施例同様に、出力形態にあわせた形で出力する。以上が、本実施例の圧縮符号化処理の動作である。
【０１３８】
次に、前記符号化処理された画像データを伸張する動作について説明する。
【０１３９】
まず、符号化された画像データに対して、読み出しコマンド入力部から読み出し方法が入力され、操作司令部がストリーム操作部に操作方法を指令する。
【０１４０】
一方、符号化された画像データは、入力部から取り込まれ、ストリームデータとなって、ストリーム操作部に送られる。前記ストリームデータから、必要なパケットデータの取り出し方を図２１で説明する。
【０１４１】
パケットデータ『Ｐ００  Ｌ０』『Ｐ１０  Ｌ０』が処理されると、画像データとしては、図２１（ｂ）に示すように、ＳＤ解像度の第２解像度までの標準４：３画角の上位２ビットと、第２解像度までの水平方向の標準４：３画角の中位４ビットの画像データとなる。いわゆるＳＤ標準画角の長時間モード（ＳＮ／Ｌｐ）となる。
【０１４２】
さらに、パケットデータを『Ｐ０１  Ｌ０』『Ｐ１１  Ｌ０』『Ｐ０２  Ｌ０』『Ｐ１２  Ｌ０』まで処理すると、図２１（ｃ）に示すように、ＳＤ解像度の第２解像度までのワイド１６：９画角の上位２ビットと、第２解像度までの水平方向のワイド１６：９画角の中位４ビットの画像データとなる。いわゆるＳＤワイド画角の長時間モード（ＳＷ／Ｌｐ）となる。
【０１４３】
さらに、パケットデータを『Ｐ２０  Ｌ０』『Ｐ２１  Ｌ０』『Ｐ２２  Ｌ０』『Ｐ００  Ｌ１』『Ｐ０１  Ｌ１』『Ｐ０２  Ｌ１』『Ｐ１０  Ｌ１』『Ｐ１１  Ｌ１』『Ｐ１２  Ｌ１』まで処理すると、図２１（ｄ）に示すように、ＨＤ解像度の第３解像度までのワイド１６：９画角で上位２ビットと第３解像度までの水平方向のワイド１６：９画角の中位４ビットの画像データとなる。いわゆるＨＤワイド画角の長時間モード（ＨＷ／Ｌｐ）となる。
【０１４４】
さらに、パケットデータを『Ｐ２０  Ｌ１』『Ｐ２１  Ｌ１』『Ｐ２２  Ｌ１』まで処理すると、図２１（ｅ）に示すように、ＨＤ解像度の第３解像度までのワイド１６：９画角で上位６ビットの画像データとなる。いわゆるＨＤワイド画角の標準画質モード（ＨＷ／Ｓｐ）となる。
【０１４５】
さらに、パケットデータを『Ｐ００  Ｌ２』『Ｐ０１  Ｌ２』『Ｐ０２  Ｌ２』『Ｐ１０  Ｌ２』『Ｐ１１  Ｌ２』『Ｐ１２  Ｌ２』『Ｐ２０  Ｌ２』『Ｐ２１  Ｌ２』『Ｐ２２  Ｌ２』まで処理すると、図２１（ｆ）に示すように、ＨＤ解像度の第３解像度までのワイド１６：９画角で全８ビットの画像データとなる。いわゆるＨＤワイド画角の高画質モード（ＨＷ／Ｘｐ）となる。
【０１４６】
このように、画質・位置・解像度優先モードと画質・解像度・位置優先モードを切り替えてパケットデータを並べておけば、ＨＤワイド画角の画質を重視したモードで画像データを、ストリームの先頭からの順次処理だけで抽出することが可能なり、前述したポータブル機器に向いた処理となる。また、本実施例においても、零パケット挿入による各種効果が得られる。
【０１４７】
以上のように抽出されたパケットデータは、第１の実施例と同様に処理されデータは復号されて出力される。以上が、本実施例の伸張処理の動作である。
【０１４８】
以上説明したように、本実施例によれば、３つの帯域分割とプログレッションオーダを途中で変化させることにより、ＨＤワイド画角の画質モードを重視しつつ、ＳＤの画角切り替えも可能な表示処理を、ストリームの先頭からの順次読み出しで、容易に実現することができる。
【０１４９】
（実施例５）
次に、本発明により、解像度・画角・画質に関する多様なモード（ＳＮ、ＳＷ、ＨＷ、ＬＰ、ＳＰ、ＸＰ）に対応した第５の実施例について説明する。基本的な処理ブロック、想定画像、一部データ処理手順は、第４の実施例と同じなので説明は省き、異なる部分のみ説明していく。
【０１５０】
まず、圧縮時の処理については、パケットデータを並べるところまでは、第４の実施例と同じである。
【０１５１】
解像度・位置・画質に分割されたパケットデータの並びに関して、図２２（ａ）において、説明する。
【０１５２】
まず、第２解像度（Ｐ００、Ｐ１０）までは、最初に画質の上位レイヤから、Ｌ０、Ｌ１、Ｌ２と並べる。そして、同じ画質のパケットデータ内の並べ方は、位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２に並べる。さらに、同じ位置のパケットデータ内の並べ方は、解像度の低い順に、Ｐ００、Ｐ１０と並べる。ＬＰＲＣ（画質―位置―解像度―成分）のプログレッションオーダである。
【０１５３】
つぎに、第３解像度（Ｐ２０）からは、最初に画質の上位レイヤから、Ｌ０、Ｌ１、Ｌ２と並べる。そして、同じ画質のパケットデータ内の並べ方は、解像度の低い順に、Ｐ００、Ｐ１０と並べる。さらに、同じ解像度のパケットデータ内の並べ方は、位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２と並べる。ＬＲＰＣ（画質−解像度−位置−成分）である。
【０１５４】
上記のように、本実施例においても第４の実施例と同様にプログレッションオーダを途中で切り替えている。メインヘッダのＰＯＣマーカセグメントに、開始点の解像度番号０、位置番号０を、終了点の解像度番号１、位置番号２、画質番号２を、プログレッションオーダＬＰＣＲを指定し、引き続き、次の開始点の解像度番号２、位置番号０を、終了点の解像度番号２、位置番号２、画質番号２を、プログレッションオーダＬＲＰＣを指定する。
【０１５５】
ただし、第４の実施例同様に、上記のプログレッションオーダＬＰＲＣ  やＬＲＰＣは、ＪＰＥＧ２０００の標準ではないが新規に設定される余地はある。
【０１５６】
前記ストリームデータは、第４の実施例同様に、出力形態にあわせた形で出力する。以上が、本実施例の圧縮符号化処理の動作である。
【０１５７】
次に、前記符号化処理された画像データを伸張する動作について説明するが、ストリームデータのパケットデータの読み出し以外は、第４の実施例と同じなので、説明は省略する。ストリームデータの符号化データの取り出し方を図２２で説明する。
【０１５８】
パケットデータ『Ｐ００  Ｌ０』『Ｐ１０  Ｌ０』が処理されると、画像データとしては、図２２（ｂ）に示すように、ＳＤ解像度の第２解像度までの標準４：３画角の上位２ビットと、第２解像度までの水平方向の標準４：３画角の中位４ビットの画像データとなる。いわゆるＳＤ標準画角の長時間モード（ＳＮ／Ｌｐ）となる。
【０１５９】
さらに、パケットデータを『Ｐ０１  Ｌ０』『Ｐ１１  Ｌ０』『Ｐ０２  Ｌ０』『Ｐ１２  Ｌ０』まで処理すると、図２２（ｃ）に示すように、ＳＤ解像度の第２解像度までのワイド１６：９画角の上位２ビットと、第２解像度までの水平方向のワイド１６：９画角の中位４ビットの画像データとなる。いわゆるＳＤワイド画角の長時間モード（ＳＷ／Ｌｐ）となる。
【０１６０】
さらに、パケットデータを『Ｐ００  Ｌ１』『Ｐ１０  Ｌ１』『Ｐ０１  Ｌ１』『Ｐ１１  Ｌ１』『Ｐ０２  Ｌ１』『Ｐ１２  Ｌ１』まで処理すると、図２２（ｄ）に示すように、ＳＤ解像度の第２解像度までのワイド１６：９画角で上位６ビットの画像データとなる。いわゆるＳＤワイド画角の標準画質モード（ＳＷ／Ｓｐ）となる。
【０１６１】
さらに、パケットデータを『Ｐ００  Ｌ２』『Ｐ１０  Ｌ２』『Ｐ０１  Ｌ２』『Ｐ１１  Ｌ２』『Ｐ０２  Ｌ２』『Ｐ１２  Ｌ２』まで処理すると、図２２（ｅ）に示すように、ＳＤ解像度の第２解像度までのワイド１６：９画角で全８ビットの画像データとなる。いわゆるＳＤワイド画角の高画質モード（ＳＷ／Ｘｐ）となる。
【０１６２】
さらに、パケットデータを『Ｐ２０  Ｌ０』『Ｐ２１  Ｌ０』『Ｐ２２  Ｌ０』『Ｐ２０  Ｌ１』『Ｐ２１  Ｌ１』『Ｐ２２  Ｌ１』『Ｐ２０  Ｌ２』『Ｐ２１  Ｌ２』『Ｐ２２  Ｌ２』まで処理すると、図２２（ｆ）に示すように、ＨＤ解像度の第３解像度までのワイド１６：９画角で全８ビットの画像データとなる。いわゆるＨＤワイド画角の高画質モード（ＨＷ／Ｘｐ）となる。
【０１６３】
このように、画質・位置・解像度優先モードと解像度・画質・位置優先モードを切り替えてパケットデータを並べておけば、ＳＤワイド画角の画質を重視したモードで画像データを、ストリームの先頭からの順次処理だけで抽出することが可能なり、前述したポータブル機器に向いた処理となる。また、本実施例においても、零パケット挿入による各種効果が得られる。
【０１６４】
以上のように抽出されたパケットデータは、第１の実施例と同様に処理されデータは復号されて出力される。以上が、本実施例の伸張処理の動作である。
【０１６５】
以上説明したように、本実施例によれば、３つの帯域分割とプログレッションオーダを途中で変化させることにより、ＳＤワイド画角の画質モードを重視しつつ、ＳＤ標準画角／ＨＤワイド画角の切り替えも可能な表示処理を、ストリームの先頭からの順次読み出しで、容易に実現することができる。
【０１６６】
（実施例６）
次に、本発明により、解像度・画角・画質に関する多様なモード（ＳＮ、ＳＷ、ＨＷ、ＬＰ、ＳＰ、ＸＰ）に対応した第６の実施例について説明する。基本的な処理ブロック、想定画像、一部データ処理手順は、第４の実施例と同じなので説明は省き、異なる部分のみ説明していく。
【０１６７】
まず、圧縮時の処理については、パケットデータを並べるところまでは、第４の実施例と同じである。解像度・位置・画質に分割されたパケットデータの並びに関して、図２３（ａ）において、説明する。
【０１６８】
まず、第２の解像度（Ｐ００、Ｐ１０）までは、最初に位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２と並べる。そして、同じ位置のパケットデータ内の並べ方は、画質の上位レイヤから、Ｌ０、Ｌ１、Ｌ２と並べる。さらに、同じ画質のパケットデータ内の並べ方は、解像度の低い順に、Ｐ００、Ｐ１０と並べる。ＰＬＲＣ（位置−画質−解像度−成分）である。
【０１６９】
つぎに、第３解像度（Ｐ２０）からは、最初に解像度の低い順に、Ｐ０２と並べる。そして、同じ解像度のパケットデータ内の並べ方は、位置の番号順に、Ｐ００、Ｐ０１、Ｐ０２と並べる。さらに、同じ位置のパケットデータ内の並べ方は、画質の上位レイヤから、Ｌ０、Ｌ１、Ｌ２に並べる。ＲＰＬＣ（解像度−位置−画質−成分）である。
【０１７０】
上記のように、本実施例においても第４の実施例と同様にプログレッションオーダを途中で切り替えている。メインヘッダのＰＯＣマーカセグメントに、開始点の解像度番号０、位置番号０を、終了点の解像度番号１、位置番号２、画質番号２を、プログレッションオーダＰＬＲＣを指定し、引き続き、次の開始点の解像度番号２、位置番号０を、終了点の解像度番号２、位置番号２、画質番号２を、プログレッションオーダＲＰＬＣを指定する。
【０１７１】
ただし、第４の実施例同様に、上記のプログレッションオーダＰＬＲＣ  やＲＰＬＣは、ＪＰＥＧ２０００の標準ではないが新規に設定される余地はある。
【０１７２】
前記ストリームデータは、第４の実施例同様に、出力形態にあわせた形で出力する。以上が、本実施例の圧縮符号化処理の動作である。
【０１７３】
次に、前記符号化処理された画像データを伸張する動作について説明するが、ストリームデータのパケットデータの読み出し以外は、第４の実施例と同じなので説明は省略する。ストリームデータの符号化データの取り出し方を図２３で説明する。
【０１７４】
パケットデータ『Ｐ００  Ｌ０』『Ｐ１０  Ｌ０』が処理されると、画像データとしては図２３（ｂ）に示すように、ＳＤ解像度の第２解像度までの標準４：３画角の上位２ビットと、第２解像度までの水平方向の標準４：３画角の中位４ビットの画像データとなる。いわゆるＳＤ標準画角の長時間モード（ＳＮ／Ｌｐ）となる。
【０１７５】
さらに、パケットデータを『Ｐ００  Ｌ１』『Ｐ１０  Ｌ１』まで処理すると、図２３（ｃ）に示すように、ＳＤ解像度の第２解像度までの標準４：３画角で上位６ビットの画像データとなる。いわゆるＳＤ標準画角の標準画質モード（ＳＮ／Ｓｐ）となる。
【０１７６】
さらに、パケットデータを『Ｐ００  Ｌ２』『Ｐ１０  Ｌ２』まで処理すると、図２３（ｄ）に示すように、ＳＤ解像度の第２解像度までの標準４：３画角で全８ビットの画像データとなる。いわゆるＳＤ標準画角の標準画質モード（ＳＮ／Ｘｐ）となる。
【０１７７】
さらに、パケットデータを『Ｐ０１  Ｌ０』『Ｐ１１  Ｌ０』『Ｐ０１  Ｌ１』『Ｐ１１  Ｌ１』『Ｐ０１  Ｌ２』『Ｐ１１  Ｌ２』『Ｐ０２  Ｌ０』『Ｐ１２  Ｌ０』『Ｐ０２  Ｌ１』『Ｐ１２  Ｌ１』『Ｐ０２  Ｌ２』『Ｐ１２  Ｌ２』まで処理すると、図２３（ｅ）に示すように、ＳＤ解像度の第２解像度までのワイド１６：９画角で全８ビットの画像データとなる。いわゆるＳＤワイド画角の高画質モード（ＳＷ／Ｘｐ）となる。
【０１７８】
さらに、パケットデータを『Ｐ２０  Ｌ０』『Ｐ２０  Ｌ１』『Ｐ２０  Ｌ２』『Ｐ２１  Ｌ０』『Ｐ２１  Ｌ１』『Ｐ２１  Ｌ２』『Ｐ２２  Ｌ０』『Ｐ２２  Ｌ１』『Ｐ２２  Ｌ２』まで処理すると、図２３（ｆ）に示すように、ＨＤ解像度の第３解像度までのワイド１６：９画角で全８ビットの画像データとなる。いわゆるＨＤワイド画角の高画質モード（ＨＷ／Ｘｐ）となる。
【０１７９】
このように、画質・位置・解像度優先モードと解像度・画質・位置優先モードを切り替えてパケットデータを並べておけば、ＳＤ標準画角の画質を重視したモードで画像データを、ストリームの先頭からの順次処理だけで抽出することが可能なり、前述したポータブル機器に向いた処理となる。また、本実施例においても、零パケット挿入による各種効果が得られる。
【０１８０】
以上のように抽出されたパケットデータは、第１の実施例と同様に処理されデータは復号されて出力される。以上が、本実施例の伸張処理の動作である。
【０１８１】
以上説明したように、本実施例によれば、３つの帯域分割とプログレッションオーダを途中で変化させることにより、ＳＤ標準画角の画質モードを重視しつつ、ＳＤ／ＨＤワイド画角の切り替えも可能な表示処理を、ストリームの先頭からの順次読み出しで、容易に実現することができる。
【０１８２】
（実施例７）
次に、これまでの実施例で説明してきたストリームデータを、記録媒体に記憶しダビングするシステムに関する実施例７を、図２４を用いて説明する。
【０１８３】
図２４（ａ）が本発明を実施した実施例のブロック図である。
【０１８４】
図２４（ａ）において、１０は第３の実施例の符号化装置、２０は第３の実施例の復号化装置、３０はディスクビデオカメラシステム、３１はカメラ部、３２はバッファメモリ、３３はデータ転送部、３４はディスクメディア、３５はデジタルインターフェース、４０はメモリカードビデオカメラシステム、４１はデジタルインターフェース、４２はバッファメモリ、４３はデータ転送部、４４はメモリカードメディアである。
【０１８５】
まず、ディスクビデオカメラシステム３０の記録に関して説明する。被写体映像がカメラ部から取り込まれると、画像・位置・画質に分割符号化する符号化装置１０でデータ圧縮され、バッファメモリ３２に書き込まれる。バッファメモリにデータが所定量蓄積されると、データ転送部３３が動作し、バッファメモリ３２の符号化データをディスクメディア３４に書き込む。
【０１８６】
ここで、分割された符号化データとディスク書込みエリアの関係を図２４（ｂ）、（ｃ）で説明する。
【０１８７】
書き込むストリームデータは、第３の実施例で生成された図１５のように、５つの階層データをもつ。一方、本実施例のディスクメディアは、図２４（ｃ）に示すように、片面二層のディスクシステムであり、書込みエリアを厚さ方向に３４ａ、３４ｂに分割して入れることができる。また、円周方向には図２４（ｂ）に示すように、リードインエリア３４ｘと第１のデータエリア３４ｙ、第２のデータエリア３４ｚに分かれている。リードインエリアは、ディスクを管理する上で必要な制御データが書き込まれ、データ書き込めないので、データを書き込むエリアは４つに分けることができる。
【０１８８】
そこで、ＳＤ解像度の標準画角の標準画質データ（ＳＮ／Ｓｐ）は、現行ＴＶシステム必須の表示方法なので、固定長化してアクセスの容易なディスク内周エリア３４ｙの上層の３４ａに記録する。ＳＤ解像度のワイド画角の標準画質データ（ＳＷ／Ｓｐ）とＨＤ解像度のワイド画角の長時間モードデータ（ＨＷ／Ｌｐ）は、デジタルＴＶの標準表示方法なので、やはり固定長化してアクセスの容易なディスク内周エリア３４ｙの下層の３４ｂに記録する。さらに、ＨＤ解像度のワイド画角の標準画質データ（ＨＷ／Ｓｐ）とＨＤ解像度ワイド画角の高画質データ（ＨＷ／Ｘｐ）は、可変長のまま外周エリア３４ｚの上層３４ａと下層３４ｂにそれぞれ分けて記録しておく。
【０１８９】
ここで、内周エリアは各解像度・画角の表示で必要なデータを記録し、しかも固定長化しているので、各表示方法でサーチ・特殊再生等でデータを検索するのに効果がある。
【０１９０】
また、内周記録エリアのデータが一杯になってしまった時は、内周エリアの境界を移動させ、外周エリアのデータをオーバーライトするようにしておくと、ＨＤワイド画角の高画質化データを書き換えるだけで、高画質モードから長時間モード記録に容易に変更できる。
【０１９１】
次に、本システムを用いたダビング動作を説明する。
【０１９２】
図２４（ａ）において、ダビングソース送り元がディスクビデオカメラ３０で、送り先がメモリカードビデオカメラ４０である。まず、ＳＤ解像度の画像データしか復号できないメモリカードビデオカメラ４０は、デジタルインターフェース４１、３５を介してＳＤ解像度の画像データを要求する。ディスクビデオカメラ３０は、ディスクメディア３４の内周エリア上層に書き込まれたＳＤ解像度の標準画角の標準画質データをデータ転送部３３でバッファメモリ３２に逐次読み出す。ストリームとしては先頭から２つの分のパケットデータとなる。前記パケットデータを含んだストリームの一部を復号化装置２０は読み出す。復号化装置２０では、読み出したＳＤ解像度の画像データのパケットに対して、ＨＤワイド画角の高画質モードに不足するパケットデータを零パケットとして挿入し、ストリームを再構築して、デジタルインターフェース３５に送る。デジタルインターフェース３５、４１を介してストリームデータは、メモリカードビデオカメラ４０に送られる。そして、データは、既にストリーム化されているので、符号化装置１０ではファイルフォーマット処理を施す程度で、バッファメモリ４２に書き込まれる。前記ダビングデータは、ＳＤ解像度の画像データ以外は零パケットになっているので、データ量もコンパクトな形で、バッファメモリ４２からメモリカードメディア４４にデータ転送部４３で書き込まれる。
【０１９３】
以上のように、デジタルダビングするときのモード変換は、先頭から読み出した必要なストリームの後に、零パケットデータを挿入するだけで、コード量を減らし機器間のデータ転送を容易にして、実現することができる。
【０１９４】
また、ストリームの前半にあるデータは、アクセス頻度が高いので、内周側に記録することにより、ダビング時のデータ転送速度を稼ぐ事ができる。さらに、ストリーム後半にあるデータを外周に配置し可変長にすることにより、高精細なデータを漏らす事無く記録したり、零パケットのコード長の変更にも、有効に記録エリアを利用したりすることができる。
【０１９５】
（実施例８）
最後に、これまでの実施例で説明してきたストリームデータを、複数の記録媒体に分けて記録するシステムに関して、本発明の実施例を、図２５で説明する。
【０１９６】
図２５（ａ）が本発明を実施した実施例の記録動作時のブロック図である。
【０１９７】
図において、５１がカメラ部、１０が実施例３の符号化装置、５２、５５がバッファメモリ、５３、５６がデータ転送部、５７がディスクメディア、５４がメモリカードメディアである。
【０１９８】
カメラ部５１から入力された画像は、符号化装置１０で、解像度・位置・画質分割されパケットデータの並びであるストリームデータを生成する。ストリームデータはファイルシステムのヘッダ処理等の付加データをつけて、バッファメモリ５２、５５に書き出す。ここで、５５は実施例７で述べたディスクの内周エリアに書き込むデータであり、５２はディスクエリアの外周エリアに書き込むデータである。そして、前記バッファメモリ５２、５５に書かれたデータは、データ転送部５３、５６で、記録メディアである５４、５７に書き込まれる。つまり、高画質化データをメモリカードに、ベースラインデータをディスクに書き込むシステムである。
【０１９９】
ここで、再生動作について、図２５（ｂ）で説明する。再生時にカードメディアがあれば、メモリカードから高画質化データを読み出し、ディスクからベースラインデータを読み出して、復号化装置２０でＨＤワイド画角の高画質ストリームデータ再構成したのち、データを復号して、デジタルテレビシステム６０にフルスペックで出力する。
【０２００】
一方、メモリカードメディア５４が装着されて無ければ、図２５（ｃ）に示すように、ディスク５７からベースラインデータを読み出して、カードが無いために不足しているデータを復号装置２０で零パケット挿入して、ストリームデータを整えた後、復号処理して、ＳＤ標準画角の標準画質データを出力し、本体内のＬＣＤ５８に表示する。
【０２０１】
このように、本実施例においても、ストリームデータの先頭からの抽出あるいは、零パケット挿入で、モード変換ができる復号化方式で、優先順位の高いメディアにストリーム前半のデータを割り当てておけば、複数のメディアにデータを振り分けて記録することができる。
【０２０２】
【発明の効果】
以上説明したように、本発明によれば、多様な画質モードに対応可能な画像の符号化データを容易に生成できる。またシステムで設定された画質モードに応じて符号化データから所望の画像データを抽出できる。
【図面の簡単な説明】
【図１】（ａ）は本発明における符号化装置１０の全体ブロック図、（ｂ）は本発明における復号化装置２０の全体ブロック図である。
【図２】本発明の実施例１における画像の帯域分割の概念図である。
【図３】本発明の実施例１における位置分割の概念図である。
【図４】本発明の実施例１におけるコードブロック分割の概念図である。
【図５】本発明の実施例１におけるに画質分割の概念図である。
【図６】本発明の実施例１における階層的な分割の概念図である。
【図７】（ａ）、（ｂ）、（ｃ）、（ｄ）は本発明の実施例１におけるストリームデータの概念図である。
【図８】本発明の実施例２における位置分割の概念図である。
【図９】本発明の実施例２におけるコードブロック分割の概念図である。
【図１０】本発明の実施例２における画質分割の概念図である。
【図１１】本発明の実施例２における階層的な分割の概念図である。
【図１２】（ａ）、（ｂ）、（ｃ）、（ｄ）は本発明の実施例２におけるストリームデータの概念図である。
【図１３】本発明の実施例３における画質分割の概念図である。
【図１４】本発明の実施例３における階層的な分割の概念図である。
【図１５】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）は本発明の実施例２におけるストリームデータの概念図である。
【図１６】本発明の実施例４における画像の帯域分割の概念図である。
【図１７】本発明の実施例４における位置分割の概念図である。
【図１８】本発明の実施例４におけるコードブロック分割の概念図である。
【図１９】本発明の実施例４における画質分割の概念図である。
【図２０】本発明の実施例４における階層的な分割の概念図である。
【図２１】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）は本発明の実施例４におけるストリームデータの概念図である。
【図２２】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）は本発明の実施例５におけるストリームデータの概念図である。
【図２３】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）は本発明の実施例６におけるストリームデータの概念図である。
【図２４】本発明の実施例７におけるダビングシステムの全体のブロック図である。
【図２５】本発明の実施例８における複数メディアシステムの全体のブロック図である。
【図２６】本発明の実施例３におけるストリームデータ抽出処理に関するフローチャートである。
【符号の説明】
１  帯域・位置分割部
２  量子化部
３  符号化部
４  ストリーム生成部
５  出力部
１０  画像符号化装置
２０  画像復号化装置
２１  コマンド入力部
２２  操作指令部（マイクロコンピュータ）
２３  入力部
２４  ビットストリーム解析部
２５  復号化部
２６  逆量子化部
２７  帯域合成部
【図１】
2004349939.tif 000003
【図２】
2004349939.tif 000004
【図３】
2004349939.tif 000005
【図４】
2004349939.tif 000006
【図５】
2004349939.tif 000007
【図６】
2004349939.tif 000008
【図７】
2004349939.tif 000009
【図８】
2004349939.tif 000010
【図９】
2004349939.tif 000011
【図１０】
2004349939.tif 000012
【図１１】
2004349939.tif 000013
【図１２】
2004349939.tif 000014
【図１３】
2004349939.tif 000015
【図１４】
2004349939.tif 000016
【図１５】
2004349939.tif 000017
【図１６】
2004349939.tif 000018
【図１７】
2004349939.tif 000019
【図１８】
2004349939.tif 000020
【図１９】
2004349939.tif 000021
【図２０】
2004349939.tif 000022
【図２１】
2004349939.tif 000023
【図２２】
2004349939.tif 000024
【図２３】
2004349939.tif 000025
【図２４】
2004349939.tif 000026
【図２５】
2004349939.tif 000027
【図２６】
2004349939.tif 000028