(57)【要約】【課題】画像の圧縮処理の際のタイルなどの分割領域の設定を工夫し、元の画像とアスペクト比／サイズの異なる画面への画像表示を考慮した符号化データを生成する。【解決手段】画像５０と異なるアスペクト比／サイズの画面に対応した画像領域５１を設定する。画像５０の圧縮処理において、（ａ）のようにタイルＴｉの境界を画像領域５１の境界と一致させたり、（ｂ）のようにタイルを設定し、プレシンクト又はコードブロック（不図示）の境界を画像領域５１の境界と一致させ、あるいは、画像領域５１をＲＯＩ領域に設定する。画像５０の符号化データは、画像領域５１の符号のみからなる符号化データへの変換と、画像領域５１の符号のみの伸長による画像領域５１の画像再生が容易である。【選択図】        図３
2004228717.tif 000002
【特許請求の範囲】
【請求項１】
画像が複数の領域に分割され、各分割領域が依存関係にない状態で圧縮される圧縮処理を行う画像処理方法において、
前記圧縮処理の分割領域を、その境界が、前記画像と異なるアスペクト比又はサイズを有する前記画像内の画像領域の境界と一致するように設定することを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、前記圧縮処理の圧縮アルゴリズムはＪＰＥＧ２０００に準拠し、前記圧縮処理におけるタイル、プレシンクト又はコードブロックの境界を前記画像領域の境界と一致させることを特徴とする画像処理方法。
【請求項３】
ＪＰＥＧ２０００準拠の圧縮アルゴリズムにより画像の圧縮処理を行う画像処理方法において、
前記画像と異なるアスペクト比又はサイズを有する前記画像内の画像領域を、前記圧縮処理のＲＯＩ領域として設定することを特徴とする画像処理方法。
【請求項４】
画像が複数の領域に分割され、各分割領域が依存関係にない状態で圧縮された符号化データの変換処理を行う画像処理方法において、
前記変換処理により、前記符号化データを、分割領域の境界が前記画像と異なるアスペクト比又はサイズを有する前記画像内の画像領域の境界と一致した符号化データに変換することを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法において、前記符号化データはＪＰＥＧ２０００準拠の圧縮アルゴリズムにより圧縮された符号化データであり、前記変換処理により変換された符号化データは、そのタイル、プレシンクト又はコードブロックの境界が前記画像領域の境界と一致した符号データであることを特徴とする画像処理方法。
【請求項６】
ＪＰＥＧ２０００準拠の圧縮アルゴリズムにより画像を圧縮した符号化データの変換処理を行う画像処理方法において、
前記変換処理により、前記符号化データを、前記画像と異なるアスペクト比又はサイズを有する前記画像内の画像領域をＲＯＩ領域とした符号化データに変換することを特徴とする画像処理方法。
【請求項７】
画像が複数の領域に分割され、各分割領域が依存関係にない状態で圧縮される圧縮処理を行う手段と、
アスペクト比又はサイズを設定する手段と、
前記圧縮処理の分割領域を、その境界が、前記設定する手段により設定されたアスペクト比又はサイズを有する前記画像内の画像領域の境界と一致するように設定する手段とを有することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、前記圧縮処理の圧縮アルゴリズムはＪＰＥＧ２０００に準拠し、前記分割領域を設定する手段は前記圧縮処理のタイル、プレシンクト又はコードブロックを、その境界が前記画像領域の境界と一致するように設定することを特徴とする画像処理装置。
【請求項９】
ＪＰＥＧ２０００準拠の圧縮アルゴリズムにより画像の圧縮処理を行う手段と、
アスペクト比又はサイズを設定する手段と、
前記設定する手段により設定されたアスペクト比又はサイズを有する前記画像内の画像領域を、前記圧縮処理のＲＯＩ領域として設定する手段とを有することを特徴とする画像処理装置。
【請求項１０】
画像が複数の領域に分割され、各分割領域が依存関係にない状態で圧縮された符号化データの変換処理を行う手段と、
アスペクト比又はサイズを設定する手段と、
前記分割領域を、その境界が、前記設定する手段により設定されたアスペクト比又はサイズを有する前記画像内の画像領域の境界と一致するように設定する手段とを有し、
前記変換処理によって前記符号化データを、前記設定された分割領域で圧縮された符号化データに変換することを特徴とする画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置において、前記符号化データはＪＰＥＧ２０００準拠の圧縮アルゴリズムにより圧縮された符号化データであり、前記分割領域を設定する手段はタイル、プレシンクト又はコードブロックを、その境界が前記画像領域の境界と一致するように設定することを特徴とする画像処理装置。
【請求項１２】
ＪＰＥＧ２０００準拠の圧縮アルゴリズムにより圧縮された画像の符号化データの変換処理を行う手段と、
アスペクト比又はサイズを設定する手段と、
前記設定する手段により設定されたアスペクト比又はサイズを有する前記画像内の画像領域をＲＯＩ領域として設定する手段とを有し、
前記変換処理によって前記符号化データを前記設定されたＲＯＩ領域を有する符号化データに変換することを特徴とする画像処理装置。
【請求項１３】
アスペクト比又はサイズを設定する手段と、
請求項１乃至６のいずれか１項に記載の画像処理方法により処理された画像の符号化データを、前記設定する手段により設定されたアスペクト比又はサイズを持つ前記画像内の画像領域に対応した符号のみからなる符号化データに変換する手段とを有することを特徴とする画像処理装置。
【請求項１４】
外部装置と通信を行うための通信手段と、
ある外部装置より前記通信手段によって受信されたアスペクト比又はサイズの指定情報に従ってアスペクト比又はサイズを設定する設定手段と、
請求項１乃至６のいずれか１項に記載の画像処理方法により処理された画像の符号化データを、前記設定手段により設定されたアスペクト比又はサイズを持つ前記画像内の画像領域に対応した符号のみからなる符号化データに変換する手段とを有し、
前記変換する手段により変換された符号化データを前記通信手段によって前記ある外部装置へ送信することを特徴とする画像処理装置。
【請求項１５】
アスペクト比又はサイズを設定する手段と、
請求項１乃至６のいずれか１項に記載の画像処理方法により処理された画像の符号化データに対し、前記設定する手段により設定されたアスペクト比又はサイズを持つ前記画像内の画像領域に対応した符号のみの伸長処理を行う手段とを有することを特徴とする画像処理装置。
【請求項１６】
静止画像又は動画像を撮影するための電子カメラ装置であって、請求項７、８又は９に記載の画像処理装置を有し、撮影された画像が前記画像処理装置により圧縮処理されることを特徴とする電子カメラ装置。
【請求項１７】
静止画像又は動画像を撮影するための電子カメラ装置であって、請求項１０、１１又は１２に記載の画像処理装置を有し、撮影された画像の符号化データが前記画像処理装置により変換処理されることを特徴とする電子カメラ装置。
【請求項１８】
請求項１乃至６のいずれか１項に記載の画像処理方法のための手順をコンピュータに実行させるプログラム。
【請求項１９】
請求項１８に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理に係り、特に、画像の圧縮処理に関する。
【０００２】
【従来の技術】
画像は圧縮された状態で蓄積又は伝送されるのが一般的である。静止画像の圧縮にはＪＰＥＧが、動画像の圧縮にはＭＰＥＧが広く利用されている。
【０００３】
さて、パソコン、携帯情報端末、携帯電話器などの画像表示画面は、アスペクト比、縦横のサイズが様々である。それらの機器で、ＪＰＥＧやＭＰＥＧで圧縮された画像の符号化データをネットワーク経由で取り込んだり記憶媒体から取り込んで画像を表示する時に、画像表示画面のアスペクト比、サイズが元の画像のアスペクト比、サイズと異なるときには、符号化データより元のの画像を伸長し、その画像の必要な領域の切り出しや縮小変倍処理が必要であった（例えば特許文献１参照）。これを従来技術１と記す。
【０００４】
そのような処理を不要にするために、画像の符号化データを送信する側で、異なったアスペクト比、サイズの複数の画像の符号化データを用意しておき、受信側の画像表示面のアスペクト比、サイズに対応した符号化データを選択して送信することも行われている。これを従来技術２と記す。
【０００５】
ＪＰＥＧやＭＰＥＧに代わる画像圧縮方式として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  ＦＣＤ  １５４４４−１）とその拡張方式であるＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  ＦＣＤ  １５４４４−３）が注目されている。ＪＰＥＧ２０００については例えば非特許文献１に詳しい。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、時間的に連続する複数の静止画像それぞれをフレームとして動画像を扱うが、個々のフレームはＪＰＥＧ２０００の圧縮アルゴリズムで圧縮される。
【０００６】
【特許文献１】
特開２００１−２２８８５７号公報
【非特許文献１】
野水泰之著、「次世代画像符号化方式ＪＰＥＧ２０００」、
株式会社トリケップス、２００１年２月１３日
【０００７】
【発明が解決しようとする課題】
前記従来技術１は、画像を表示する側で画像の切り出しや縮小変倍のための余分な処理が必要となる。元の画像の一部を切り出したり縮小変倍をするということは、受信する符号化データの符号量が本来必要な符号量より大きいということであるので、符号化データの受信処理と伸長処理に余分な時間がかかる。
【０００８】
前記従来技術２は、送信する側で、同じ画像について複数の符号化データを蓄積したり、そのような符号化データを作成するためのコストが大きい。
【０００９】
よって、本発明の目的は、上に述べたような従来技術の問題点を解決するための手段を提供することにある。より具体的に本発明の目的を列挙すれば、
（１）画像の圧縮処理によって、又は、画像の符号化データの変換処理によって、必要な符号の伸長処理のみで元の画像とアスペクト比、サイズの異なる画像を再生可能な符号化データを生成する画像処理方法、画像処理装置及び電子カメラ装置を提供すること。
（２）画像の圧縮処理によって、又は、画像の符号化データの変換処理によって、元の画像とアスペクト比、サイズの異なる画像の符号化データに容易に変換可能な符号化データを生成する画像処理方法、画像処理装置及び電子カメラ装置を提供すること。
（３）画像の符号化データを、元の画像とアスペクト比、サイズが異なる画像の再生に必要な符号のみからなる符号化データに変換する画像処理装置を提供すること。
（４）画像の符号化データより、外部装置の画面又は画面上のウインドのアスペクト比、サイズの画像の再生に必要な符号のみからなる符号化データを生成し、それを外部装置へ送信する画像処理装置を提供すること。及び
（５）画像の符号化データの必要な符号のみの伸長処理により、元の画像とアスペクト比、サイズの異なる画面又は画面上のウィンドウに表示するための画像を再生する画像処理装置を提供すること、である。
【００１０】
【課題を解決するための手段】
後述のように、ＪＰＥＧ２０００の圧縮アルゴリズムでは、画像は複数の領域に分割され、それぞれの分割領域が依存関係にない状態で圧縮される。本発明は、このような圧縮アルゴリズムの特徴を上記目的の達成のために利用する。また、ＪＰＥＧ２０００には、ウェーブレット係数のビットシフトにより特定の領域を高画質化するＲＯＩ機能があるが、本発明は上記目的の達成のためにこのＲＯＩ機能も利用する。このような本発明の特徴は以下の通りである。
【００１１】
本発明の１つの特徴は、請求項１に記載されるように、画像が複数の領域に分割され、各分割領域が依存関係にない状態で圧縮される圧縮処理を行う画像処理方法において、前記圧縮処理の分割領域を、その境界が、前記画像と異なるアスペクト比又はサイズを有する前記画像内の画像領域の境界と一致するように設定する画像処理方法にある。
【００１２】
本発明のもう１つの特徴は、請求項２に記載されるように、請求項１に記載の画像処理方法において、前記圧縮処理の圧縮アルゴリズムはＪＰＥＧ２０００に準拠し、前記圧縮処理におけるタイル、プレシンクト又はコードブロックの境界を前記画像領域の境界と一致させることにある。
【００１３】
本発明のもう１つの特徴は、請求項３に記載されるように、ＪＰＥＧ２０００準拠の圧縮アルゴリズムにより画像の圧縮処理を行う画像処理方法において、
前記画像と異なるアスペクト比又はサイズを有する前記画像内の画像領域を、前記圧縮処理のＲＯＩ領域として設定する画像処理方法にある。
【００１４】
本発明のもう１つの特徴は、請求項４に記載されるように、画像が複数の領域に分割され、各分割領域が依存関係にない状態で圧縮された符号化データの変換処理を行う画像処理方法において、前記変換処理により、前記符号化データを、分割領域の境界が前記画像と異なるアスペクト比又はサイズを有する前記画像内の画像領域の境界と一致した符号化データに変換する画像処理方法にある。
【００１５】
本発明のもう１つの特徴は、請求項５に記載されるように、請求項４に記載の画像処理方法において、前記符号化データはＪＰＥＧ２０００準拠の圧縮アルゴリズムにより圧縮された符号化データであり、前記変換処理により変換された符号化データは、そのタイル、プレシンクト又はコードブロックの境界が前記画像領域の境界と一致した符号データであることにある。
【００１６】
本発明のもう１つの特徴は、請求項６に記載されるように、ＪＰＥＧ２０００準拠の圧縮アルゴリズムにより画像を圧縮した符号化データの変換処理を行う画像処理方法において、前記変換処理により、前記符号化データを、前記画像と異なるアスペクト比又はサイズを有する前記画像内の画像領域をＲＯＩ領域とした符号化データに変換する画像処理方法にある。
【００１７】
本発明のもう１つの特徴は、請求項７に記載されるように、画像が複数の領域に分割され、各分割領域が依存関係にない状態で圧縮される圧縮処理を行う手段と、アスペクト比又はサイズを設定する手段と、前記圧縮処理の分割領域を、その境界が、前記設定する手段により設定されたアスペクト比又はサイズを有する前記画像内の画像領域の境界と一致するように設定する手段とを有する画像処理装置にある。
【００１８】
本発明のもう１つの特徴は、請求項８に記載されるように、請求項７に記載の画像処理装置において、前記圧縮処理の圧縮アルゴリズムはＪＰＥＧ２０００に準拠し、前記分割領域を設定する手段は前記圧縮処理のタイル、プレシンクト又はコードブロックを、その境界が前記画像領域の境界と一致するように設定することにある。
【００１９】
本発明のもう１つの特徴は、請求項９に記載されるように、ＰＥＧ２０００準拠の圧縮アルゴリズムにより画像の圧縮処理を行う手段と、アスペクト比又はサイズを設定する手段と、前記設定する手段により設定されたアスペクト比又はサイズを有する前記画像内の画像領域を、前記圧縮処理のＲＯＩ領域として設定する手段とを有する画像処理装置にある。
【００２０】
本発明のもう１つの特徴は、請求項１０に記載されるように、画像が複数の領域に分割され、各分割領域が依存関係にない状態で圧縮された符号化データの変換処理を行う手段と、アスペクト比又はサイズを設定する手段と、前記分割領域を、その境界が、前記設定する手段により設定されたアスペクト比又はサイズを有する前記画像内の画像領域の境界と一致するように設定する手段とを有し、前記変換処理によって前記符号化データを、前記設定された分割領域で圧縮された符号化データに変換する画像処理装置にある。
【００２１】
本発明のもう１つの特徴は、請求項１１に記載されるように、請求項１０に記載の画像処理装置において、前記符号化データはＪＰＥＧ２０００準拠の圧縮アルゴリズムにより圧縮された符号化データであり、前記分割領域を設定する手段はタイル、プレシンクト又はコードブロックを、その境界が前記画像領域の境界と一致するように設定することにある。
【００２２】
本発明のもう１つの特徴は、請求項１２に記載されるように、ＪＰＥＧ２０００準拠の圧縮アルゴリズムにより圧縮された画像の符号化データの変換処理を行う手段と、アスペクト比又はサイズを設定する手段と、前記設定する手段により設定されたアスペクト比又はサイズを有する前記画像内の画像領域をＲＯＩ領域として設定する手段とを有し、前記変換処理によって前記符号化データを前記設定されたＲＯＩ領域を有する符号化データに変換する画像処理装置にある。
【００２３】
本発明のもう１つの特徴は、請求項１３に記載のように、アスペクト比又はサイズを設定する手段と、請求項１乃至６のいずれか１項に記載の画像処理方法により処理された画像の符号化データを、前記設定する手段により設定されたアスペクト比又はサイズを持つ前記画像内の画像領域に対応した符号のみからなる符号化データに変換する手段とを有する画像処理装置にある。
【００２４】
本発明のもう１つの特徴は、請求項１４に記載されるように、外部装置と通信を行うための通信手段と、ある外部装置より前記通信手段によって受信されたアスペクト比又はサイズの指定情報に従ってアスペクト比又はサイズを設定する設定手段と、請求項１乃至６のいずれか１項に記載の画像処理方法により処理された画像の符号化データを、前記設定手段により設定されたアスペクト比又はサイズを持つ前記画像内の画像領域に対応した符号のみからなる符号化データに変換する手段とを有し、前記変換する手段により変換された符号化データを前記通信手段によって前記ある外部装置へ送信する画像処理装置にある。
【００２５】
本発明のもう１つの特徴は、請求項１５に記載されるように、アスペクト比又はサイズを設定する手段と、請求項１乃至６のいずれか１項に記載の画像処理方法により処理された画像の符号化データに対し、前記設定する手段により設定されたアスペクト比又はサイズを持つ前記画像内の画像領域に対応した符号のみの伸長処理を行う手段とを有する画像処理装置にある。
【００２６】
本発明のもう１つの特徴は、請求項１６に記載されるように、請求項７、８又は９に記載の画像処理装置を有し、撮影された画像が前記画像処理装置により圧縮処理される電子カメラ装置にある。
【００２７】
本発明のもう１つの特徴は、請求項１７に記載されるように、請求項１０、１１又は１２に記載の画像処理装置を有し、撮影された画像の符号化データが前記画像処理装置により変換処理される電子カメラ装置にある。
【００２８】
【発明の実施の形態】
以下、ＪＰＥＧ２０００の圧縮アルゴリズムを利用することを前提として、本発明の実施の形態を説明する。以下の説明の理解の参考のために、まずＪＰＥＧ２０００について概説する。
【００２９】
図１５は、ＪＰＥＧ２０００の基本的な圧縮／伸長のアルゴリズムを説明するためのブロック図である。圧縮処理の対象となる画像データは、各コンポーネント毎に、重複しない矩形領域（タイル）に分割され、各コンポーネント毎にタイル単位で処理される。ただし、画像全体を１つのタイルとして処理することも可能である。
【００３０】
各コンポーネントの各タイル画像は、色空間変換／逆変換部１で、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施される。この色空間変換が省かれる場合もある。
【００３１】
色空間変換後のタイル画像は、ウェーブレット変換／逆変換部２により、２次元のウェーブレット変換（離散ウェーブレット変換）を施され、複数のサブバンドに分解される。ウェーブレット係数はサブバンド毎に量子化／逆量子化部３によって量子化される。ＪＰＥＧ２０００は可逆圧縮（ロスレス圧縮）と非可逆圧縮（ロシィ圧縮）のいずれも可能であり、可逆圧縮の場合には量子化ステップ幅は常に１であり、この段階では実質的に量子化されない。
【００３２】
量子化後の各サブバンド係数は、エントロピー符号化／復号化部４でエントロピー符号化される。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ  Ｂｌｏｃｋ  Ｃｏｄｉｎｇ  ｗｉｔｈ
Ｏｐｔｉｍｉｚｅｄ  Ｔｒｕｎｃａｔｉｏｎ）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。量子化後の各サブバンド係数のビットプレーンが、上位ビットから下位ビットへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００３３】
タグ処理部５において、エントロピー符号化／復号化部４で生成されたコードブロックの符号がまとめられパケットが作成され、次に、パケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、位置（プレシンクト）、レイヤ、コンポーネント（色成分）の組み合わせによる５種類のプログレッション順序が定義されている。
【００３４】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図１６に示す。図１６に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ（Ｍａｉｎ  Ｈｅａｄｅｒ）と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ（Ｔｉｌｅ  Ｈｅａｄｅｒ）と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Ｔｉｌｅ  Ｄａｔａ）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００３５】
伸長処理は圧縮処理と逆の処理となる。符号化データはタグ処理部５で各コンポーネントの各タイルの符号列に分解される。この符号列はエントロピー符号化／復号化部４によってエントロピー復号化される。復号化されたウェーブレット係数は量子化／逆量子化部３で逆量子化されたのち、ウェーブレット変換／逆変換部２で２次元の逆ウェーブレット変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は色空間変換／逆変換部１で逆色変換処理を施されてＲＧＢなどのコンポーネントから構成されるタイル画像に戻される。
【００３６】
２次元ウェーブレット変換についてさらに説明する。図１７乃至図２１は、モノクロ画像（又はカラー画像の１つのコンポーネント）の１６×１６画素のタイル画像に対して、ＪＰＥＧ２０００で採用されている５×３変換と呼ばれるウェーブレット変換を垂直方向及び水平方向に施す過程を説明するための図である。
【００３７】
図１７は変換前のタイル画像である。図示のようにＸＹ座標をとり、あるｘについて、Ｙ座標がｙである画素の画素値をＰ（ｙ）（０≦ｙ≦１５）と表す。ＪＰＥＧ２０００では、まず垂直方向（Ｙ座標方向）に、Ｙ座標が奇数（ｙ＝２ｉ＋１）の画素を中心にハイパスフィルタを施して係数Ｃ（２ｉ＋１）を得る。次に、Ｙ座標が偶数（ｙ＝２ｉ）の画素を中心にローパスフィルタを施して係数Ｃ（２ｉ）を得る（これを全てのｘについて行う）。ここで、ハイパスフィルタとローパスフィルタはそれぞれ式（１）と式（２）で表される。式中のｆｌｏｏｒ（ｘ）は、ｘのフロア関数（実数ｘを、ｘを越えず、かつｘに最も近い整数に置換する関数）である。
【００３８】
Ｃ（２ｉ＋１）＝Ｐ（２ｉ＋１）−ｆｌｏｏｒ（  （Ｐ（２ｉ）＋Ｐ（２ｉ＋２））／２  ）      式（１）
Ｃ（２ｉ）＝Ｐ（２ｉ）＋ｆｌｏｏｒ（  （Ｃ（２ｉ−１）＋Ｃ（２ｉ＋１）＋２）／４  ）        式（２）
【００３９】
なお、画像の端部においては、中心となる画素に対して隣接画素群が存在しないことがあり、この場合は「ミラリング」と呼ばれる手法によって不足する画素値を補うことになる。ミラリングは、文字通り境界を中心として画素値を線対称に折り返し、折り返した値を隣接画素群の値とみなす操作である。
【００４０】
ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数をＬ、とそれぞれ表記すれば、垂直方向の変換によって図１７の画像は図１８のようなＬ係数、Ｈ係数の配列へと変換される。
【００４１】
続いて、図１８の係数配列に対して、水平方向に、Ｘ座標が奇数（ｙ＝２ｉ＋１）の係数を中心にハイパスフィルタを施し、次にＸ座標が偶数（ｘ＝２ｉ）の係数を中心にローパスフィルタを施す（これを全てのｙについて行う。この場合、前記の式のＰ（２ｉ）等は係数値を表すものと読み替える）。
【００４２】
Ｌ係数を中心にローパスフィルタを施して得られる係数をＬＬ、Ｌ係数を中心にハイパスフィルタを施して得られる係数をＨＬ、Ｈ係数を中心にローパスフィルタを施して得られる係数をＬＨ、Ｈ係数を中心にハイパスフィルタを施して得られる係数をＨＨ、とそれぞれ表記すれば、図１８の係数配列は図１９の様な係数配列へと変換される。ここで同一の記号を付した係数群はサブバンドと呼ばれ、図１９は４つのサブバンドで構成される。
【００４３】
以上の処理で、１回のウェーブレット変換（１回のデコンポジション（分解））が終了する。図２０は、ウェーブレット係数をサブバンド毎に集めたもので、このように係数を配列することをデインターリーブと呼び、図１９のような状態に配置することをインターリーブと呼ぶ。
【００４４】
２回目のウェーブレット変換は、ＬＬサブバンドを原画像と見なして、同様の処理により行われる。その処理結果をデインターリーブすると、図２１に示すようなサブバンドの係数が得られる。なお、図２０及び図２１中の係数の接頭の１や２は、その係数が得られるまでのウェーブレット変換の回数（デコンポジション・レベル）を示す。
【００４５】
図２２に、デコンポジション・レベル数＝３の場合のサブバンド分解の様子を示す。なお、図２２（ｄ）に示す各サブバンド中の括弧で囲んだ数字は解像度レベルを表す。
【００４６】
ＪＰＥＧ２０００においては、画像は複数の領域に分割され、各分割領域は依存関係にない状態で圧縮されるが、分割領域として前記のタイルとコードブロックのほかにプレシンクトがあり、画像≧タイル≧サブバンド≧プレシンクト≧コードブロックの大きさ関係がある。前述の説明から明らかなように、デインターリーブされた各サブバンド上の領域は原画像上の特定の領域と１対１の対応関係があり、したがって、プレシンクトもコードブロックも原画像上の特定の領域と１対１の対応関係がある。
【００４７】
デコンポジション回数が３の場合のタイル、プレシンクト、コードブロックの対応関係を図２３に模式的に示す。各サブバンド中の網掛けした領域は原画像上の同じ領域に対応したプレシンクトであり、３ＨＬ，３ＬＨ，３ＨＨサブバンドに関して示すようにプレシンクトは１つ以上のコードブロックに分割される。
【００４８】
プレシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図１６の各タイルに関するＳＯＤ以下の部分がパケットの集合である。全てのプレシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位と言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００４９】
以上説明したＪＰＥＧ２０００の符号化データを構成するパケットは領域、画質、コンポーネント、解像度の各インデックスを持っているため、符号状態で領域、画質、コンポーネント、解像度の各パラメータで符号の取捨選択が可能である。すなわち、ある符号化データを、伸長することなく、領域、画質、コンポーネント、解像度の各パラメータを変更した別の符号化データに変換することができる。
【００５０】
また、ＪＰＥＧ２０００は、画像全体の圧縮率を下げることなく、特定の領域の圧縮率を下げる（高画質化する）選択的領域画質向上機能（ＲＯＩ）がある。ＪＰＥＧ２０００では、ＲＯＩ領域のウェーブレット係数をビットシフトするＭａｘ  Ｓｈｉｆｔ方式と呼ばれるＲＯＩの方式が規定されている。符号化データを、画像の特定領域をＲＯＩ領域とした符号化データに変換することも可能である。
【００５１】
図１は、本発明の画像処理方法及び装置の実施の形態を説明するための画像処理システムの一例を示す。この画像処理システムは、画像ソース１０１から画像データを取り込み圧縮して符号化データを出力する画像処理装置１００と、符号データソース２０１から画像の符号化データを取り込み変換処理を行い、変換後の符号化データを出力する画像処理装置２００と、画像処理装置１００，２００より出力される画像の符号化データを蓄積する記憶部３００と、記憶部３００に蓄積されている画像の符号化データ又はそれを変換した符号化データを有線又は無線の伝送路もしくはネットワークを介して外部装置４０１，４０２へ送信する画像処理装置４００と、記憶部３００に蓄積されている画像の符号化データを伸長して表示装置５０１，５０２に画像を表示させる画像処理装置５００とから構成される。
【００５２】
ここで、画像とは静止画像あるいは動画像の各フレームであり、符号化データはＪＰＥＧ２０００フォーマットの符号化データである。
【００５３】
この画像処理システムにおける画像処理の概要を図２乃至図５を参照して説明する。
【００５４】
図２において、５０は画像ソース１０１から入力される、あるサイズ、あるアスペクト比（例えば４：３）の画像である。画像処理装置１００においては、この画像５０を圧縮して符号化データを生成するが、元の画像５０と異なったアスペクト比（例えば１６：９）、サイズを設定することにより、そのようなアスペクト比、サイズを有する画面や画面上のウインドウに表示するのに都合の良い符号化データを生成することができる。
【００５５】
すなわち、画像処理装置１００において、設定されたアスペクト比とサイズを持つ、例えば図２（ｂ）に示すような画像領域５１や、図２（ｃ）に示すような画像領域５２、図２（ｄ）に示すような画像領域５３，５４を設定する。そして、圧縮処理の分割領域の境界を画像領域の境界と一致させるように、分割領域を設定する。なお、境界を一致させるといっても画素単位で完全に一致させる必要なく、画像の再生表示に支障のない程度に一致させれば足りる。
【００５６】
図２（ｂ）に示すような画像領域５１が設定された場合、タイルの境界と画像領域５１の境界とを一致させるように、例えば図３（ａ）に示すようにタイルＴ１，Ｔ２，Ｔ３を設定する。タイルサイズは２のべき乗で指定されるため、境界を一致させるために必要ならば、また、タイルサイズを均等化したいなどの理由から、より小さなタイルに分割してもよい。また、より小さな分割領域の境界を画像領域５１の境界と一致させることもできる。例えば、図３（ｂ）に示すようにタイル分割し、プレシンクト又はコードブロック（不図示）を、その境界が画像領域５１の境界と一致するように設定する。
【００５７】
図２（ｃ）に示すような画像領域５２が設定された場合、例えば、図４（ａ）に示すようにタイルＴ０〜Ｔ４を設定する。あるいは、例えば図４（ｂ）に示すようにタイルＴ０〜Ｔ８に分割し、プレシンクト又はコードブロックの境界を画像領域５２の境界に一致させる。
【００５８】
図２（ｄ）に示すような２つの画像領域５３，５４が設定された場合、例えば、図５（ａ）に示すようにタイルＴ０〜Ｔ６を設定する。あるいは、例えば図５（ｂ）のようにタイルＴ０〜Ｔ５を設定し、プレシンクト又はコードブロックの境界を画像領域５３，５４のそれぞれの境界と一致させる。
【００５９】
このようにタイル、プレシンクト又はコードブロックの境界と画像領域との境界とを一致させて圧縮したＪＰＥＧ２０００の符号化データは、画像領域の符号のみの伸長処理により、それ以外の格別の処理を行うことなく、その画像領域の画像を再生することができる。また、符号化データから画像領域の符号のみを抽出して再構成することにより、画像領域の符号のみからなる符号化データに容易に変換することができる。
【００６０】
また、画像処理装置１００において、画像領域を圧縮処理のＲＯＩ領域に設定することができる。例えば、図２（ｂ）の画像領域５１、図２（ｃ）の画像領域５２をＲＯＩ領域に設定することができる。この場合、タイルなどの分割領域は、前述のように設定してもよいし、画像領域の境界を考慮せずに設定してもよい。また、図２（ｄ）の画像領域５３，５４については、図５（ａ）又は図５（ｂ）により説明したように、例えば、タイル又はプレシンクトもしくはコードブロックの境界を一方の画像領域５３（又は５４）の境界に一致させ、もう一方の画像領域５４（又は５３）の全域をＲＯＩ領域に設定することができる。
【００６１】
ＭａｘＳｈｉｆｔ方式では、ＲＯＩ領域のウェーブレット係数は上位側へビットシフトされてから符号化されるため、符号化データの上位ビットプレーンの符号のみを伸長することにより、ＲＯＩ領域に設定された画像領域の画像のみを再生することができる。また、例えば、符号化データの上位ビットプレーンの符号のみを抽出して再構成することにより、ＲＯＩ領域に設定された画像領域のみの符号からなる符号化データに容易に変換することができる。
【００６２】
画像処理装置２００においては、あるサイズ、あるアスペクト比（例えば４：３）の画像の符号化データを符号化データソース２０１から取り込み、画像処理装置１００に関連して述べたような、指定されたアスペクト比（例えば１６：９）、サイズを有する画面や画面上のウインドウに表示するのに都合の良い符号化データを生成する。ただし、画像処理装置２００においては、取り込んだ符号化データを伸長して再圧縮するのではなく、符号状態での変換処理によって、そのような符号化データを生成する。
【００６３】
画像処理装置４００は、画像処理装置１００又は２００により処理された画像の符号化データを記憶部３００より取り込み、外部装置４０１，４０２の画面のアスペクト比、サイズを持つ画像領域の符号のみからなる符号化データに変換して、それら外部装置へ伝送路もしくはネットワークを通じて送信する装置である。画像処理装置５００は、記憶部３００より画像の符号化データを取り込み、表示装置５０１，５０２の画面又は画面上のウインドウのアスペクト比、サイズを持つ画像領域の符号のみを伸長し、再生した画像データをそれら表示装置５０１，５０２に出力する装置である。
【００６４】
以下、画像処理装置１００，２００，４００，５００について、より具体的に説明する。
【００６５】
画像処理装置１００は、請求項１，２，３，７，８及び９に係るものであり、例えば図６に示すように、画像読込部１１０、圧縮処理部１１１、符号化データ出力部１１２、アスペクト比／サイズ設定部１１３及び領域設定部１１４から構成される。図７は、この画像処理装置１００の動作を説明するためのフローチャートである。
【００６６】
まず、アスペクト比／サイズ設定部１１３により、１つ又は２つ以上のアスペクト比及び／又はサイズが設定される（ステップＳ１００）。
【００６７】
次に、領域設定部１１４において、図２に関連して説明したような、設定されたアスペクト比及び／又はサイズを持つ１つ以上の画像領域が設定される。そして、図３乃至図５に関連して説明したように、圧縮処理の分割領域（タイル、プレシンクト又はコードブロック）の境界を画像領域の境界と一致させるように分割領域が設定され、あるいは、１つの画像領域が圧縮処理のＲＯＩ領域として設定される（ステップＳ１０２，Ｓ１０４）。
【００６８】
このような設定の後、画像読込部１１０によって画像ソース１０１より１つの画像データが圧縮処理部１１１に読み込まれる（ステップＳ１０６）。圧縮処理部１１１は、領域設定部１１４により設定された分割領域又はＲＯＩ領域に従って画像データの圧縮処理を実行する（ステップＳ１０８）。生成された符号化データは符号化データ出力部１１２によって記憶部３００へ出力される（ステップＳ１１０）。
【００６９】
ステップＳ１０６からステップＳ１１０の処理の繰り返しにより、画像ソース１０１より入力される画像データが順に圧縮処理され、その符号化データが記憶部１１２に蓄積される。最後の画像データの処理が終了すると（ステップＳ１１２，Ｙｅｓ）、あるいは不図示の手段から処理終了指示が入力されると、一連の処理動作が終了する。
【００７０】
画像処理装置２００は、請求項４，５，６，１０，１１及び１２に係るものであり、例えば図８に示すように、符号化データ読込部２１０、符号変換処理部２１１、符号化データ出力部２１２、アスペクト比／サイズ設定部２１３及び領域設定部２１４から構成される。図９は、この画像処理装置２００の動作を説明するためのフローチャートである。
【００７１】
まず、アスペクト比／サイズ設定部２１３により、１つ又は２つ以上のアスペクト比及び／又はサイズが設定される（ステップＳ２００）。
【００７２】
次に、領域設定部２１４において、図２に関連して説明したような、設定されたアスペクト比及び／又はサイズを持つ１つ以上の画像領域が設定される。そして、図３乃至図５に関連して説明したように、圧縮処理の分割領域（タイル、プレシンクト又はコードブロック）の境界を画像領域の境界と一致させるように分割領域が設定され、あるいは、１つの画像領域が圧縮処理のＲＯＩ領域として設定される（ステップＳ２０２，Ｓ２０４）。
【００７３】
以上の設定の後、符号化データ読込部２１０によって符号化データソース２０１より１つの画像の符号化データが符号変換処理部２１１に読み込まれる（ステップＳ２０６）。符号変換処理部２１１は、領域設定部２１４により設定された分割領域又はＲＯＩ領域に従って符号化データの変換処理を実行し、元の画像データを設定された分割領域又はＲＯＩ領域で圧縮したものと同じ符号化データを生成する（ステップＳ２０８）。生成された符号化データは、符号化データ出力部２１２によって記憶部３００へ出力される（ステップＳ２１０）。
【００７４】
ステップＳ２０６からステップＳ２１０の処理の繰り返しにより、符号化データソース２０１より入力される符号化データが順に変換され、その符号化データが記憶部１１２に蓄積される。最後の符号化データの処理が終了すると（ステップＳ２１２，Ｙｅｓ）、あるいは不図示の入力手段から処理終了指示が入力されると、一連の処理動作が終了する。
【００７５】
画像処理装置４００は、請求項１３及び１４に係るものであり、例えば図１０に示すように、符号化データ読込部４１０、符号変換処理部４１１、通信部４１２、アスペクト比／サイズ設定部４１３及び領域設定部４１４から構成される。図１１は、この画像処理装置４００の動作を説明するためのフローチャートである。
【００７６】
まず、図１１に不図示の手順で画像送信要求を受け付けた外部装置４０１，４０２（送信要求装置）より、その画面に対応したアスペクト比／サイズ指定情報が送信され、これが通信部４１２により受信される。このアスペクト比／サイズ指定情報に従ったアスペクト比および／又はサイズが、アスペクト比／サイズ設定部４１３により設定される（ステップＳ４００）。なお、ここで設定されるアスペクト比／サイズは、画像処理装置１００，２００で設定されたアスペクト比／サイズのいずれかと一致しなければならない。逆に言えば、画像処理装置４００で設定される可能性のあるアスペクト比／サイズが画像処理装置１００，２００で設定されることになる。
【００７７】
次に、領域設定部４１４において、図２に関連して説明したような、設定されたアスペクト比及び／又はサイズを持つ１つ以上の画像領域が設定される（ステップＳ４０２）。この画像領域が元の画像全体となることもある。
【００７８】
次に、送信要求装置より要求された画像の符号化データが符号化データ読込部４１０によって記憶部３００より読み込まれる（ステップＳ４０６）。符号変換処理４１１は設定された画像領域の情報に従ってその符号化データの変換処理を実行し、設定された画像領域の符号のみからなる符号化データを生成する（ステップＳ４０８）。より具体的には、画像領域に含まれる分割領域（タイル、プレシンクト又はコートブロック）の符号のみを抽出して符号化データを再構成する。画像領域がＲＯＩ領域として処理された符号化データならば、例えば上位ビットプレーンの符号のみを抽出して符号化データを再構成する。
【００７９】
この変換後の符号化データは、通信部４１２により送信要求元装置へ送信される（ステップＳ４１０）。
【００８０】
ステップＳ４０６からステップＳ４１０の処理の繰り返しにより、要求元装置から要求された画像の符号化データが順に変換されて要求元装置へ送信される。最後の画像の符号化データの処理が終了すると（ステップＳ４１２，Ｙｅｓ）、あるいは要求元装置より終了指示を受信すると、一連の処理動作が終了する。
【００８１】
このように、送信要求元装置の画面のアスペクト比／サイズに応じて、必要な符号のみからなる符号化データが送信要求元装置へ送信されるため、送信要求元装置では受信した符号化データを伸長することにより、画像サイズ調整などの余分な処理を必要とせずに、効率的に画像を再生し表示することができる。また、表示に必要な符号のみが送受信されなるため、余分な符号の送受信による送受信処理時間の増加も回避される。また、記憶部３００に蓄積されている符号化データを、送信要求元装置のアスペクト比／サイズに応じた符号化データに変換して送信するため、様々なアスペクト比／サイズの画像の符号化データを記憶部３００に蓄積しておく必要がなく、記憶部３００の利用効率も向上する。
【００８２】
画像処理装置５００は、請求項１５に係るものであり、例えば図１２に示すように、符号化データ読込部５１０、伸長処理部５１１、画像出力部５１２、アスペクト比／サイズ設定部５１３及び領域設定部５１４から構成される。図１３は、この画像処理装置５００の動作を説明するためのフローチャートである。
【００８３】
まず、画像を表示させようとする表示装置５０１，５０２の画面又は画面上のウィンドウに対応したアスペクト比／サイズがアスペクト比／サイズ設定部５１３により設定される（ステップＳ５００）。なお、ここで設定されるアスペクト比／サイズは、画像処理装置１００，２００で設定されたアスペクト比／サイズのいずれかと一致しなければならない。逆に言えば、画像処理装置５００で設定される可能性のあるアスペクト比／サイズが画像処理装置１００，２００で設定されることになる。
【００８４】
次に、領域設定部５１４において、図２に関連して説明したように、設定されたアスペクト比及び／又はサイズを持つ１つ以上の画像領域が設定される（ステップＳ５０２）。この画像領域が元の画像全体となることもある。
【００８５】
以上の設定後、符号化データ読込部５１０により記憶部３００に蓄積されている画像の符号化データが伸長処理部５１１に読み込まれる（ステップＳ５０６）。伸長処理部５１１は、その符号化データの設定された画像領域の符号のみを伸長し、再生された画像データを表示すべき表示装置５０１又は５０２へ出力し表示させる（ステップＳ５０８，Ｓ５１０）。より具体的には、画像領域に含まれる分割領域（タイル、プレシンクト又はコートブロック）の符号のみを伸長する。画像領域がＲＯＩ領域として処理された符号化データならば、例えば上位ビットプレーンの符号のみを伸長する。
【００８６】
ステップＳ５０６からステップＳ５１０の処理の繰り返しにより、記憶部３００に蓄積された画像の符号化データが順次伸長されて表示される。不図示の手段から終了指示が入力されると（ステップＳ５１２）、一連の動作が終了する。
【００８７】
このように、表示装置の画面のアスペクト比／サイズに応じて、元の画像の必要な領域の符号のみが伸長されて画像が再生表示されるため、表示装置側で画像サイズの調整などを行う必要がない。また、画像処理装置５００においても、表示する必要のない領域の符号の伸長処理を行わないので処理効率も良い。また、様々なアスペクト比／サイズの画像の符号化データを記憶部３００に蓄積しておく必要がないため、記憶部３００の利用効率も向上する。
【００８８】
以上に説明した画像処理装置１００，２００，４００，５００やそれらを含む画像処理システムは、パソコンなどの汎用コンピュータ上でソフトウェアにより実現可能であることは明らかである。画像処理装置１００，２００，４００，５００の機能、換言すれば、それら装置における画像処理の手順をコンピュータのハードウェア資源を利用し実現するためのプログラムと、それが記録された各種記録（記憶）媒体も本発明に包含される。
【００８９】
図１４は、請求項１６，１７に係る電子カメラ装置の一例を示すブロック図である。この電子カメラ装置は、画像処理装置１００，２００の機能が組み込まれていることが特徴であり、これ以外の構成は一般的なデジタルスチルカメラやデジタルビデオカメラなどと同様である。
【００９０】
図１４において、６００は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。６０１はＣＣＤ型又はＭＯＳ型のイメージャであり、撮像光学系６００により結像される光学像を色分解してから光量に応じた電気信号に変換する。６０２はイメージャ６０１の出力信号をサンプリングしてデジタル信号に変換するＣＤＳ・Ａ／Ｄ変換部であり、相関二重サンプリング（ＣＤＳ）回路とＡ／Ｄ変換回路からなる。
【００９１】
６０３は画像プロセッサであり、例えばプログラム（マイクロコード）で制御される高速のデジタル信号プロセッサからなる。この画像プロセッサ６０３は、ＣＤＳ・Ａ／Ｄ変換部６０２より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ６０１、ＣＤＳ・Ａ／Ｄ変換部６０２、表示部６０４を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示部６０４は例えば液晶表示装置であり、モニタリング画像（スルー画像）や撮影画像などの画像の表示、その他の情報の表示などに利用される。
【００９２】
以上に説明した撮像光学系６００、イメージャ６０１、ＣＤＳ・Ａ／Ｄ変換部６０２及び画像プロセッサ６０３は、静止画像又は動画像を撮影するための撮像手段を構成している。
【００９３】
圧縮処理部６２０は、図６中の圧縮処理部１１１に対応する手段である。符号変換処理部６２２は、図８中の符号変換処理部２１１に対応する手段である。
【００９４】
媒体記録部６１２は、記録（記憶）媒体６１３に対する情報の書き込み／読み出しを行う手段である。記録媒体６１３は例えば各種メモリカードである。６１４は有線又は無線の伝送路あるいはネットワークを通じ、外部のパソコンなどと情報の交換を行うためのインターフェース部である。
【００９５】
システムコントローラ６０６は、マイクロコンピュータからなり、操作部６０７から入力されるユーザの操作情報や画像プロセッサ６０３から与えられる情報などに応答して、撮像光学系６００のシャッター機構、絞り機構、ズーミング機構、画像プロセッサ６０３、圧縮処理部６２０、符号変換処理部６２２、媒体記録部６１２などの制御を行う。６０５はメモリであり、画像データやその符号化データなどの一時記憶域、画像プロセッサ６０３やシステムコントローラ６０６、圧縮処理部６２０、符号変換処理部６２２、媒体記録部６１２などの作業記憶域として利用される。操作部６０７は、電子カメラ装置の操作のための一般的な操作ボタン（スイッチ）のほかに、アスペクト比／サイズの設定のための操作ボタンも備える。
【００９６】
画像処理装置１００の機能は、圧縮処理部６２０、システムコントローラ６０６（その上で動作するプログラム）、媒体記録部６１２などにより実現される。撮像手段が、その画像ソース１０１（図６）に対応する。画像処理装置２００の機能は、符号変換処理部６２２、システムコントローラ６０６（その上で動作するプログラム）、媒体記録部６１２などにより実現される。記録媒体６１３が、その符号化データソース２０１（図８）に対応する。なお、圧縮処理部６２０や符号変換処理部６２２を、システムコントローラ６０６又は画像プロセッサ６０３を利用しプログラムにより実現することも可能である。
【００９７】
動作は次の通りである。操作部６０７の撮影ボタンが押下されると、システムコントローラ６０６より撮影指示が画像プロセッサ６０３に与えられ、画像プロセッサ６０３は静止画像撮影又は動画像撮影の条件でイメージャ６０１を駆動する。撮影された画像のデータは画像プロセッサ６０３を経由してメモリ６０５に一時的に記憶される。通常、この画像データは、システムコントローラ３０６の制御により、予め指定された又はデフォルトの圧縮率で圧縮処理部６０８により圧縮され、その符号化データが媒体記録部６１２により記録媒体６１３に記録される。
【００９８】
画像処理装置１００の機能を利用する場合には、操作部６０７からの指定に従って、システムコントローラ６０６により図６及び図７を参照して説明したと同様のアスペクト比／サイズの設定と領域設定が行われ、圧縮処理部６２０で図６中の圧縮処理部１１１と同様の圧縮処理が実行される。生成された符号化データは記録媒体６１３に記録される。
【００９９】
操作部６０７より指示することにより、画像処理装置２００の機能を利用することができる。この場合、操作部６０７からの指定に従って、システムコントローラ６０６により図８及び図９を参照して説明したと同様のアスペクト比／サイズの設定と領域設定が行われた後、記録媒体６１３に記録されている符号化データが読み出され、符号変換処理部６２２で図８中の符号変換処理部２１１と同様の符号変換処理が実行される。変換後の符号化データは記録媒体６１３に記録される。
【０１００】
なお、ここまでＪＰＥＧ２０００を前提として説明したが、本発明における圧縮アルゴリズムはＪＰＥＧ２０００のみに限定されるものではないことは明らかである。
【０１０１】
【発明の効果】
以上に説明したように、本発明によれば次のような効果を得られる。
【０１０２】
請求項１乃至１２、１６、１７に記載の画像処理方法、画像処理装置又は電子カメラ装置により生成される符号化データは、元の画像と異なるアスペクト比、サイズを持つ画像領域の符号のみを伸長することより、その画像領域の画像を再生することができる。また、符号化データの変換処理により、元の画像と異なるアスペクト比、サイズの画像領域の符号のみからなる符号化データを容易に生成することでき、その伸長処理により、その画像領域の画像を再生できる。したがって、画像表示に利用される可能性のある画面やウィンドウのアスペクト比、サイズを予め設定しておくことにより、様々なアスペクト比、サイズに合わせた符号化データを用意することなく、また、画像の切り出しや縮小変倍などの余分な処理を行うことなく、元の画像とアスペクト比、サイズの異なる画面又はウインドウに表示するための画像の再生が可能となる。
【０１０３】
請求項１３に記載の画像処理装置によれば、画像の符号化データから、元の画像とアスペクト比、サイズが異なる画像の再生に必要な符号のみからなる符号化データを生成することができる。したがって、元の画像と異なるアスペクト比、サイズの画面又はウィンドウに画像を表示する画像表示装置などに、この画像表示装置によって変換した符号化データを与えるならば、余分な符号の伸長処理や、画像の切り出しや縮小変倍などの処理を行うことなく、効率的な画像表示が可能となる。
【０１０４】
請求項１４に記載の画像処理装置によれば、送信要求元装置へ、その画面又は画面上のウィンドウのアスペクト比、サイズを持つ画像の再生に必要な符号のみからなる符号化データを送信することができる。したがって、送信要求元装置においては、余分な処理を行うことなく効率的に画像を表示することができ、また、余分な符号を受信しないため符号化データの受信処理の時間も短縮できる。画像処理装置側においても、余分な符号を送信しないため送信処理時間を短縮できるとともに、アスペクト比、サイズの異なる様々な符号化データを蓄積しておく必要がないため、その蓄積のためのコストを削減できる。
【０１０５】
請求項１５に記載の画像処理装置によれば、不要な符号の伸長処理、画像の切り出しや縮小変倍などの余分な処理を行うことなく、元の画像とアスペクト比、サイズの異なる画面又は画面上のウィンドウに表示するための画像を効率的に再生することができる。
【０１０６】
請求項１８に記載のプログラム又は請求項１９に記載の記録媒体によれば、パソコンなどの汎用コンピュータや専用コンピュータを利用して、請求項１乃至６に記載の画像処理方法を実施することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を説明するための画像処理システムの一例を示すシステム構成図である。
【図２】元の画像とアスペクト比、サイズの異なる画像領域の設定についての説明図である。
【図３】圧縮処理の分割領域の設定の説明図である。
【図４】圧縮処理の分割領域の設定の説明図である。
【図５】圧縮処理の分割領域の設定の説明図である。
【図６】図１中の画像処理装置１００の構成例を示すブロック図である。
【図７】画像処理装置１００の動作説明のためのフローチャートである。
【図８】図１中の画像処理装置２００の構成例を示すブロック図である。
【図９】画像処理装置２００の動作説明のためのフローチャートである。
【図１０】図１中の画像処理装置４００の構成例を示すブロック図である。
【図１１】画像処理装置４００の動作説明のためのフローチャートである。
【図１２】図１中の画像処理装置５００の構成例を示すブロック図である。
【図１３】画像処理装置５００の動作説明のためのフローチャートである。
【図１４】本発明による電子カメラ装置の一例を示すブロック図である。
【図１５】ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。
【図１６】ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【図１７】タイル画像の一例を示す図である。
【図１８】タイル画像に対する垂直方向のウェーブレット変換により得られる係数配列を示す図である。
【図１９】図１８の係数配列に対する水平方向のウェーブレット変換により得られる係数配列を示す図である。
【図２０】図１９の係数配列をデインターリーブした図である。
【図２１】２回の２次元ウェーブレット変換により得られる係数配列を示す図である。
【図２２】３レベルの２次元ウェーブレット変換によるサブバンド分解の様子を示す図である。
【図２３】タイル、サブバンド、プリシンクト及びコードブロックの関係を示す模式図である。
【符号の説明】
５０    画像
５１，５２，５３，５４  画像領域
１００  画像処理装置
１０１  画像ソース
１１１  圧縮処理部
１１３  アスペクト比／サイズ設定部
１１４  領域設定部
２００  画像処理装置
２０１  符号化データソース
２１１  符号変換処理部
２１３  アスペクト比／サイズ設定部
２１４  領域設定部
３００  記憶部
４００  画像処理装置
４０１，４０２  外部装置
４１１  符号変換処理部
４１３  アスペクト比／サイズ設定部
４１４  領域設定部
５００  画像処理装置
５０１，５０２  表示装置
５１１  伸長処理部
５１３  アスペクト比／サイズ設定部
５１４  領域設定部
６２０  圧縮処理部
６２２  符号変換処理部
【図１】
2004228717.tif 000003
【図２】
2004228717.tif 000004
【図３】
2004228717.tif 000005
【図４】
2004228717.tif 000006
【図５】
2004228717.tif 000007
【図６】
2004228717.tif 000008
【図７】
2004228717.tif 000009
【図８】
2004228717.tif 000010
【図９】
2004228717.tif 000011
【図１０】
2004228717.tif 000012
【図１１】
2004228717.tif 000013
【図１２】
2004228717.tif 000014
【図１３】
2004228717.tif 000015
【図１４】
2004228717.tif 000016
【図１５】
2004228717.tif 000017
【図１６】
2004228717.tif 000018
【図１７】
2004228717.tif 000019
【図１８】
2004228717.tif 000020
【図１９】
2004228717.tif 000021
【図２０】
2004228717.tif 000022
【図２１】
2004228717.tif 000023
【図２２】
2004228717.tif 000024
【図２３】
2004228717.tif 000025