(57)【要約】【課題】プリンタ出力と表示出力というような出力装置の特性に合わせて、符号データのアクセス方法またはプログレッシブ復号の方法を適応的に変更し、さらに、符号データアクセス方法またはプログレッシブオーダを制御して効率的かつ効果的な出力を実現する画像処理システムを提供する。【解決手段】この画像処理システムは、少なくとも１つのクライアントとサーバとの間で符号化データを伝送する画像処理システムであって、前記クライアントは、実行すべき処理機能を選択する手段と、該手段により選択された処理機能を前記サーバへ通知する通知手段とを有し、前記サーバは、前記クライアントとの間の符号化データの伝送時のストリームの種類を、前記クライアントより通知された処理機能に基づき選択する手段と、該手段により選択されたストリームの種類を前記クライアントへ通知する手段とを有するものである。【選択図】図３
2006295886.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのクライアントとサーバとの間で符号化データを伝送する画像処理システムであって、
前記クライアントは、実行すべき処理機能を選択する手段と、該手段により選択された処理機能を前記サーバへ通知する通知手段とを有し、
前記サーバは、前記クライアントとの間の符号化データの伝送時のストリームの種類を、前記クライアントより通知された処理機能に基づき選択する手段と、該手段により選択されたストリームの種類を前記クライアントへ通知する手段とを有する
ことを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムにおいて、前記クライアントと前記サーバとの間で伝送される符号化データはＪＰＥＧ２０００準拠のデータであり、前記サーバにおけるストリームの種類を選択する前記手段は、前記クライアントより通知された処理機能が表示のときにストリームの種類としてＪＰＰ−ストリームを選択することを特徴とする画像処理システム。
【請求項３】
請求項１に記載の画像処理システムにおいて、前記クライアントと前記サーバとの間で伝送される符号化データはＪＰＥＧ２０００準拠のデータであり、前記サーバにおけるストリームの種類を選択する前記手段は、前記クライアント装置より通知された処理機能が印刷、保存又はアップロードのときにストリームの種類としてＪＰＴ−ストリームを選択することを特徴とする画像処理システム。
【請求項４】
少なくとも１つのクライアントとサーバとの間で圧縮画像データを伝送する画像処理システムであって、
前記クライアントは、実行すべき処理機能を選択する手段と、該手段により選択された処理機能及び前記サーバとの間の符号化データの伝送時のストリームの種類を前記サーバへ通知する手段とを有し、
前記サーバは、前記クライアントより通知された処理機能に基づき前記クライアントより通知されたストリームの種類の修正の要否を判断し、修正が不要と判断したときには該通知されたストリームの種類を選択し、修正が必要と判断したときには該通知された処理機能に基づき他のストリームの種類を選択する手段と、該手段により選択されたストリームの種類を前記クライアントへ通知する手段とを有する
ことを特徴とする画像処理システム。
【請求項５】
請求項４に記載の画像処理システムにおいて、前記クライアントと前記サーバとの間で伝送される圧縮画像データはＪＰＥＧ２０００準拠のデータであり、前記サーバにおけるストリームの種類を選択する前記手段は、前記クライアントより処理機能として表示を通知され、ストリームの種類としてＪＰＴ−ストリームを通知されたときには、ストリームの種類の修正が必要と判断し、ストリームの種類としてＪＰＰ−ストリームを選択することを特徴とする画像処理システム。
【請求項６】
請求項４に記載の画像処理システムにおいて、前記クライアントと前記サーバとの間で伝送される符号化データはＪＰＥＧ２０００準拠のデータであり、前記サーバにおけるストリームの種類を選択する手段は、前記クライアントより処理機能として印刷、保存又はアップロードを通知され、ストリームの種類としてＪＰＰ−ストリームを通知されたときには、ストリームの種類の修正が必要と判断し、ストリームの種類としてＪＰＴ−ストリームを選択することを特徴とする画像処理システム。
【請求項７】
請求項１または４に記載の画像処理システムにおいて、前記クライアントと前記サーバとの間で伝送される符号化データはＪＰＥＧ２０００の符号化データであり、前記サーバは、前記クライアントへ伝送すべき符号化データがシングルレイヤであるときに、該符号化データをマルチレイヤの符号化データへ変換する手段を有することを特徴とする画像処理システム。
【請求項８】
請求項１または４に記載の画像処理システムにおいて、前記クライアントと前記サーバとの間で伝送される符号化データはＪＰＥＧ２０００準拠のデータであり、前記サーバは、前記クライアントへ伝送すべき符号化データがマルチレイヤであるときに、該符号化データをシングルレイヤの符号化データへ変換する手段を有することを特徴とする画像処理システム。
【請求項９】
請求項１または４に記載の画像処理システムにおいて、前記クライアントと前記サーバとの間で伝送される符号化データはＪＰＥＧ２０００準拠のデータであり、前記クライアントにおける通知する手段は、選択された処理機能が表示のときに画質指定も前記サーバへ通知し、前記サーバは、前記クライアントより画質指定を通知されたときには、前記クライアントへ伝送すべき符号化データの該通知された画質指定に対応した部分符号を選択する手段を有することを特徴とする画像処理システム。
【請求項１０】
コンピュータに、請求項１乃至９のいずれかに記載の画像処理システムの機能を実現するためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、プログラムおよび記録媒体に関し、特に、プログレッションオーダの符号データの復号処理に関する。
【背景技術】
【０００２】
インターネットの普及に伴い、ＷＷＷサーバ（以下、ウェブサーバ）にホームページを開設して情報を公開し、一般の利用者がこれらウェブサーバにアクセスして様々な情報を検索・取得することができるようになってきた。このようにインターネット上に情報を公開するウェブサーバと、その情報を閲覧するためのクライアントを含むシステムにおいて、クライアントではウェブブラウザを使用することでウェブサーバによって公開された情報を閲覧することができる。
【０００３】
ウェブサーバには、ホームページを開設するためにＨＴＭＬのソースで記述した文書が保存されており、それにクライアントのウェブブラウザがアクセスすることでクライアントのディスプレイ等の表示装置に表示をする。
また、クライアントのウェブブラウザは、表示しているホームページ内のリンクを辿ることで、必要な情報を得ることができる。
【０００４】
また、サーバが管理する画像ファイルへ断片的にアクセスして、クライアントで表示するためのプロトコルとして、ＩＩＰ（Ｉｎｔｅｒｎｅｔ  Ｉｍａｇｉｎｇ  Ｐｒｏｔｏｃｏｌ）がある。このＩＩＰは、ＦｌａｓｈＰｉｘという画像データファイルフォーマットに最適なプロトコルになっており、ネットワークを通して画像データの一部分を要求することができるものである。
【０００５】
このサーバとクライアントとの間で圧縮画像を転送する転送プロトコルとして、ＪＰＥＧ２０００の圧縮画像を対象としたＪＰＩＰ（ＪＰＥＧ２００００  Ｉｎｔｅｒａｃｔｉｖｅ  Ｐｒｏｔｏｃｏｌ）というものがある。ＪＰＩＰとは、ＪＰＥＧ２０００ファイルへ断片的にアクセスして表示するためのプロトコルである。
このＪＰＩＰとＪＰＥＧ２０００とを利用すれば、画像の部分領域へのアクセスや解像度の選択も可能になる。さらに、画質の変更、カラー/モノクロの切り替え、レスポンスデータの制限サイズの設定もクライアントの要求によって簡単に行なうことができる。
【０００６】
ＪＰＩＰを用いてもＪＰＥＧ２０００の画像データを断片的に送信した場合、クライアント側で画像データを復号するためには、受信した断片的な符号化データをキャッシュしておく必要がある。これは、ＪＰＥＧ２０００の各スケーラビリティの符号データは、そのスケーラビリティより１つ下のスケーラビリティのデータからの差分データであるためである。ＪＰＩＰでは、符号データを伝送する際のストリーム・タイプとして、ＪＰＰ−ストリームとＪＰＴ−ストリームの２つがある。
【０００７】
ＪＰＰ−ストリームとは、プレシンクト分割符号をそのコードストリーム順に従って伝送することを指し、図２４に示すように、これは初めから画像全体が表示され、時間の経過とともに画像全体の画質が向上していく。初めは低画質の画像であっても画像全体の概要は把握できるため、早い時点で画像全体の画質が向上し、その内容を把握できるため表示を目的とする形態には都合が良いものである。
【０００８】
ＪＰＴ−ストリームとは、タイル分割符号をそのコードストリーム順に従って伝送することを指し、図２５に示すように、初めは左上のタイル画像が表示され、次に右上のタイル画像が表示され、さらに左下、右下と続いて画像全体が表示される。この場合、タイル単位で伸長処理が実行されるため、各タイルの伸長処理に同じメモリが利用可能であるので必要なメモリ量が少なくて済むというメリットがある。また、各符号データをタイル単位で連続して伝送するため伝送効率も良い。主に印刷や保存、クライアントから画像データをサーバへ更新するような目的に好適なものである。
以下に、符号データに関連した先行技術について説明する。
【０００９】
（１）符号データのプログレッシブ制御に関する技術：
特許文献１は、タイルの画像属性に従って該タイルのプログレッシブ順序を切り替えて符号化する。
また、特許文献２は、ＪＰＥＧ２０００符号データを高速に現在表示している画像の解像度レベルから順番に解像度レベルを上げてプログレッシブ表示する。
【００１０】
（２）符号データアクセス制御に関する技術：
特許文献３は、多重解像度表現であるＦｌａｓｈＰｉｘと、それにアクセスするためのプロトコルであるＩＩＰについてのものである。
また、特許文献４は、ＪＰＩＰ（ＪＰＥＧ２０００  Ｉｎｔｅｒａｃｔｉｖｅ  Ｐｒｏｔｏｃｏｌ）において、クライアントがキャッシュを有し、サーバに対して未キャッシュの符号の送信を要求するものである。
また、特許文献９は、ＪＰＩＰプレシンクトストリーム（ＪＰＰ−ストリーム）をＪＰＥＧ２０００ストリームに変換する技術である。
【００１１】
（３）ＪＰＥＧ２０００の符号列制御処理に関する技術：
特許文献５は、符号列の削除や並替により新符号列を作成する符号列作成装置であり、本発明で説明しているＪＰＥＧ２０００における符号列編集処理に関するものである。
【００１２】
（４）プログレッションオーダの変更に関する技術：
一般的に、クライアント側で符号データのプログレッションオーダを変更して符号データを復号再生するには、サーバにおいて、符号データを構成する複数のパケットのうち、それぞれのプログレッシブに該当するパケットをそれぞれ選別し、選別したパケットを、それぞれのプログレッシブ順序に従ってそれぞれ並べ替えて、それぞれのプログレッシブに該当するパケット群からなる符号データを再送する必要があった。再転送時間がかかるためリアルタイム処理には向かなかった。
【００１３】
特に、複数の受信端末が一つのサーバ上の符号データについて、そのプログレッションオーダを指定して符号データを生成する場合には、複数の受信端末にそれぞれ送信するといった複雑な処理を行わなければならず、リアルタイムにこれらの処理を行うことは困難であるという課題があった。
一方、ロスレスの符号データを送信する場合は、クライアント側で自由に符号データを編集しプログレッションオーダを変更して復号再生することも可能であるが、符号量が大きくなるために転送負荷がかかるという問題があった。
【００１４】
特許文献６は、異なる品質の画像を指定する複数の利用者に対して、対応するプログレッションオーダの異なった品質の画像をそれぞれ同時に配信することができるようにする。
また、特許文献７は、クライアント側で表示要求に適したプログレッションオーダに変換する場合に、メモリに格納されていない符号化データにはＺＬＰを適用してＪＰＥＧ２０００準拠の符号化データを作成する。
【００１５】
（５）ＪＰＥＧ２０００標準規格に準拠した符号データの符号レベルでの編集に関する技術：
ＪＰＥＧ２０００の符号データまたはフレーム編集に関する技術には、特許文献５や特許文献８がある。
ＪＰＥＧ２０００ではマルチレイヤ構造をもつ符号データを生成することができる。ここで、レイヤとは画質のレベルに相当し、使用者はレイヤを選択することで再生画質を選択できる。例えば、符号データが３つのレイヤにより構成される場合にあっては、最低画質である画質レベル１の画像を再生する場合には、レイヤ１の符号データを復号再生する。画質レベル２の場合は、レイヤ１とレイヤ２の符号データを再生する。最高画質である画像を再生する場合は、レイヤ１とレイヤ２とレイヤ３の符号データを再生する。
マルチレイヤ構造をもつ符号データを利用することにより復号側で容易に必要に応じて復号する前に復号する符号データのレイヤを選択することができる。
【特許文献１】特開２００３−２３５４４号公報
【特許文献２】特開２００４−４０６７４号公報
【特許文献３】特開平１１−２０５７８６号公報
【特許文献４】特開２００３−２３６３０号公報
【特許文献５】特開２００３−１６９３３３号公報
【特許文献６】特開２００３−２４４６７６号公報
【特許文献７】特開２００３−１６９２１６号公報
【特許文献８】特開２００４−０８８４２５号公報
【特許文献９】特開２００４−２７４７５８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
（１）出力種別情報に基づくプログレッシブオーダ：
プリンタ出力の場合の復号では、順次プリント処理を進めていく上で、符号データは部分ごとに（ラスタ順に）順次完全に復号されていくことが望ましく、部分的であっても画像データが完全に復号されないと復号できない。また、プリンタ出力の場合は、ラスタ順にデータを受け取って、処理を進めた方が省メモリで効率的に処理が進むということもある。
【００１７】
一方、表示系の復号では、符号データが表示領域全域にわたって徐々に復号することで早い段階で全体的な画像の概要を把握することができることが望ましい。
したがって、表示系への出力の場合に、レイヤ単位あるいは解像度単位にプログレッシブ復号せずに、領域毎にプログレッシブ復号すると、画像の全体的な概観を先に知ることができない。
【００１８】
（２）出力種別情報に基づく符号データアクセス：
ＪＰＩＰにおいては、クライアントからの要求に応じて、サーバは完全な画像ファイル、タイルパートストリーム（ＪＰＴ−ストリーム）またはプレシンクトストリーム（ＪＰＰ−ストリーム）の形式をもつ符号データを戻す。
ＪＰＴ−ストリームは、ＪＰＥＧ２０００パート１規格で規定されるタイルパートの組としてサブ画像の符号データを戻す方法であり、ＪＰＰ−ストリームは、ＪＰＥＧ２０００パート１規格で規定されるプレシンクトの組としてサブ画像の符号データを戻す方法である。
【００１９】
ＪＰＴ−ストリームにより順次アクセスした符号データを再生する場合は、タイル分割されたタイル領域毎に順次完全に再生するのに対して、ＪＰＰ−ストリームにより順次アクセスした符号データを再生する場合は、タイル領域に跨った広い領域で、小さい領域（プレシンクト）単位に徐々に再生することができる。すなわち、ＪＰＴ−ストリームのアクセスによる再生では、一時に再生する範囲が画像全体の中であるタイル領域に限定されているのに対し、ＪＰＰ−ストリームのアクセスによる再生では、一時に再生する範囲はタイル領域に限定されず画像全体での再生が可能なのである。
【００２０】
そこで、（ラスタ順に）順次完全に復号されていくことが望ましいプリンタ出力の場合に、ＪＰＴストリームで部分（タイル）ごとに完全な符号データをアクセスし再生する。一方、表示領域全域にわたって徐々に復号することが望ましい表示系の出力の場合には、ＪＰＰストリームで画像領域全体に渡って、細かい単位で徐々に符号データをアクセスし再生する。また、部分毎に表示する場合にも、領域内ではＪＰＰストリームで符号データをアクセスすることが望ましい。
【００２１】
（３）プログレッシブ復号：
レイヤプログレッシブで画像を表示すると、利用者からは、「段々輪郭がはっきりしてくる」ように見える。これを文字や写真等が混在した文書に適用した場合、写真は初期段階では中間調が見えないのでほぼ完全に復元されてからでないと認識できないが、一方、文字はエッジが強いので完全に復元される前に認識できる。
また、低い解像度から徐々に解像度が上がる解像度プログレッシブを用いて画像を表示すると、利用者からは、ピントがぼけた状態から徐々にピントが合ってくるように見える。これを文字及び写真等が混在した文書に適用すると、写真は完全に復元される前に大まかな内容を認識することができ、文字はほぼ完全に復元されないと認識できない。
【００２２】
本発明は、上記のことを考慮してなされたものであって、プリンタ出力と表示出力というような出力装置の特性に合わせて、符号データのアクセス方法またはプログレッシブ復号の方法を適応的に変更し、さらに、符号データアクセス方法またはプログレッシブオーダを制御して効率的かつ効果的な出力を実現することを目的とする。
【００２３】
（４）符号データの形成後のプログレッションオーダの変更：
Ｍｏｔｉｏｎ  ＪＰＥＧ２０００が動画配信システムに適用された場合、即ち、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００がベースとされ、１つのサーバから複数のクライアント（受信端末）に対して動画データが配信される場合、クライアント（受信端末）が指定する品質（プログレッシブ）によって、階層化された１つのファイルデータ（符号データ）に対する処理内容がそれぞれ異なるという課題があった。
【００２４】
例えば、サーバに対して、第１のクライアント（受信端末）により空間解像度のプログレッシブが指定されるとともに、第２のクライアント（受信端末）により画質のプログレッシブが指定されるような場合である。このような場合、サーバ側では、全てのクライアント（受信端末）の要求に応えられるように符号データを用意するための負荷が大きくなり、リアルタイムに処理できないという課題があった。
これは、動画配信システムにおいては、１つのフレーム（同一のフレーム）に対して割り当てられる品質の種類は１種類のみであるため、動画配信システムのサーバは、複数のそれぞれの受信端末に対して配信するための品質をそれぞれ用意しないといけないからである。
【００２５】
（５）プログレッションオーダの変更による必要なパケットの再転送：
クライアント側でプログレッションオーダの変更により必要なパケットを再転送する必要があった。
ＪＰＥＧ２０００は、複数個のプログレッションオーダの符号列構成を選択することができ、符号データの形成後であっても、クライアント側でサーバ側から送信された符号データを編集してプログレッションオーダを相互に変換したり、必要でない符号列を削除することも可能である。
【００２６】
例えば、クライアント側で解像度レベルを変更して出力するような場合、サーバ側からクライアント側に送信された符号データが解像度プログレッシブで構成されていない符号データであったとしても、クライアント側において符号レベルで符号データの形成後に必要な符号列で再構成して、符号データを生成し再生することができる。これは、レイヤプログレッションの符号データをあるレイヤまで復号再生した後に、解像度を変更して符号データを再構成して復号再生するような場合である。
【００２７】
ところが、プログレッションオーダに基づいて符号データが一部のレベルの符号列が削除されて符号データが形成されている場合にあっては、プログレッションオーダを変更後、必要な符号列が欠損してしまっている場合が起こる。
このようなとき、再生画質に問題が起こる場合がある。すなわち、必要なパケットを再転送することにより上記課題は解決できるが、リアルタイムに処理できないという問題がある。特に、ストリーミング形のモーションデータに対してリアルタイムに処理する場合には大きな問題となる。
【００２８】
（６）周波数視覚特性と解像度視覚特性の両立：
ＪＰＥＧ２０００では、主に周波数視覚特性のレベルに対応したレイヤプログレッシブと、解像度視覚特性のレベルに対応した解像度プログレッシブをもっており、通常どちらか一方のプログレッシブを選択して、許容レベルを保証する符号列で構成された符号データが生成される。例えば、解像度プログレッシブを選択した場合は、ある解像度レベルの符号列で構成された符号データを生成する。ところが、符号データは周波数視覚特性と解像度視覚特性の両方の許容を保証するものではない。
【００２９】
本発明の目的は、クライアント側で符号データのプログレッションオーダを変更し再編集したり復号する場合に、サーバからパケットの一部を再ロードすることなくプログレッションオーダを変更することである。
その場合にあって、サーバ側からクライアント側に受信された符号データを使用して、符号データの形成後のプログレッションオーダを変更した符号データの復号画像を出力する場合にあっても要求画質を保証することである。例えば、クライアント側に受信された符号データを使用して、プログレッションオーダを解像度プログレッシブに変更して、解像度を変更した（例えば、プリンタの解像度に合わせた）符号データを形成し、復号再生するような場合にあって、復号再生画質を保証することである。
【課題を解決するための手段】
【００３０】
上記の課題を解決するために、請求項１に記載の画像処理システムの発明は、少なくとも１つのクライアントとサーバとの間で符号化データを伝送する画像処理システムであって、前記クライアントは、実行すべき処理機能を選択する手段と、該手段により選択された処理機能を前記サーバへ通知する通知手段とを有し、前記サーバは、前記クライアントとの間の符号化データの伝送時のストリームの種類を、前記クライアントより通知された処理機能に基づき選択する手段と、該手段により選択されたストリームの種類を前記クライアントへ通知する手段とを有することを特徴とする。
【００３１】
請求項２に記載の発明は、請求項１に記載の画像処理システムにおいて、前記クライアントと前記サーバとの間で伝送される符号化データはＪＰＥＧ２０００準拠のデータであり、前記サーバにおけるストリームの種類を選択する前記手段は、前記クライアントより通知された処理機能が表示のときにストリームの種類としてＪＰＰ−ストリームを選択することを特徴とする。
【００３２】
請求項３に記載の発明は、請求項１に記載の画像処理システムにおいて、前記クライアントと前記サーバとの間で伝送される符号化データはＪＰＥＧ２０００準拠のデータであり、前記サーバにおけるストリームの種類を選択する前記手段は、前記クライアント装置より通知された処理機能が印刷、保存又はアップロードのときにストリームの種類としてＪＰＴ−ストリームを選択することを特徴とする。
【００３３】
請求項４に記載の画像処理システムの発明は、少なくとも１つのクライアントとサーバとの間で圧縮画像データを伝送する画像処理システムであって、前記クライアントは、実行すべき処理機能を選択する手段と、該手段により選択された処理機能及び前記サーバとの間の符号化データの伝送時のストリームの種類を前記サーバへ通知する手段とを有し、前記サーバは、前記クライアントより通知された処理機能に基づき前記クライアントより通知されたストリームの種類の修正の要否を判断し、修正が不要と判断したときには該通知されたストリームの種類を選択し、修正が必要と判断したときには該通知された処理機能に基づき他のストリームの種類を選択する手段と、該手段により選択されたストリームの種類を前記クライアントへ通知する手段とを有することを特徴とする。
【００３４】
請求項５に記載の発明は、請求項４に記載の画像処理システムにおいて、前記クライアントと前記サーバとの間で伝送される圧縮画像データはＪＰＥＧ２０００準拠のデータであり、前記サーバにおけるストリームの種類を選択する前記手段は、前記クライアントより処理機能として表示を通知され、ストリームの種類としてＪＰＴ−ストリームを通知されたときには、ストリームの種類の修正が必要と判断し、ストリームの種類としてＪＰＰ−ストリームを選択することを特徴とする。
【００３５】
請求項６に記載の発明は、請求項４に記載の画像処理システムにおいて、前記クライアントと前記サーバとの間で伝送される符号化データはＪＰＥＧ２０００準拠のデータであり、前記サーバにおけるストリームの種類を選択する手段は、前記クライアントより処理機能として印刷、保存又はアップロードを通知され、ストリームの種類としてＪＰＰ−ストリームを通知されたときには、ストリームの種類の修正が必要と判断し、ストリームの種類としてＪＰＴ−ストリームを選択することを特徴とする。
【００３６】
請求項７に記載の発明は、請求項１または２に記載の画像処理システムにおいて、前記クライアントと前記サーバとの間で伝送される符号化データはＪＰＥＧ２０００の符号化データであり、前記サーバは、前記クライアントへ伝送すべき符号化データがシングルレイヤであるときに、該符号化データをマルチレイヤの符号化データへ変換する手段を有することを特徴とする。
【００３７】
請求項８に記載の発明は、請求項１または４に記載の画像処理システムにおいて、前記クライアントと前記サーバとの間で伝送される符号化データはＪＰＥＧ２０００準拠のデータであり、前記サーバは、前記クライアントへ伝送すべき符号化データがマルチレイヤであるときに、該符号化データをシングルレイヤの符号化データへ変換する手段を有することを特徴とする。
【００３８】
請求項９に記載の発明は、請求項１または４に記載の画像処理システムにおいて、前記クライアントと前記サーバとの間で伝送される符号化データはＪＰＥＧ２０００準拠のデータであり、前記クライアントにおける通知する手段は、選択された処理機能が表示のときに画質指定も前記サーバへ通知し、前記サーバは、前記クライアントより画質指定を通知されたときには、前記クライアントへ伝送すべき符号化データの該通知された画質指定に対応した部分符号を選択する手段を有することを特徴とする。
【００３９】
請求項１０に記載のプログラムの発明は、コンピュータに、請求項１乃至９のいずれかに記載の画像処理システムの機能を実現するためのプログラムである。
請求項１１に記載の記録媒体の発明は、請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００４０】
本発明によれば、符号データアクセス方法またはプログレッシブオーダを制御して効率的かつ効果的な出力を実現できる。
【００４１】
また、表示装置への表示出力であるか、あるいは、プリンタ等へのプリント出力であるかを識別するための出力種別情報に基づいてアクセス単位（符号化）を制御する機能を提供し、出力種別に応じて最適な符号データのアクセスが可能となる。
【００４２】
また、出力種別情報に基づいてプログレッシブオーダを制御する機能を提供することにより、出力種別に応じて最適なプログレッシブオーダの選択が可能となる。プリンタ出力の場合に、部分的であっても画像データが完全に復号されないと復号できないので、プリンタの復号では順次プリント処理を進めていく上で、符号データは部分ごとに（ラスタ順に）順次完全に復号する。プリンタ出力の場合はラスタ順にデータを受け取って処理を進めるので省メモリで効率的に処理が進む。
【００４３】
また、プリンタへ出力する場合には領域毎にプログレッシブ復号するので、省メモリで効率的な出力が可能となる。
また、プリンタ画像出力順序とはプリンタに画像が出力されていく場合の画像生成順であり、一般的には、左から右に（主走査方向に）上から下へ（副走査方向に）向けて（ラスタ順に）画像出力する。プリンタへ出力する場合に、必要な画像領域のデータを先行して確実に復号することで効率的に画像出力できる。
【００４４】
また、表示する場合には、レイヤ（階層）毎にプログレッシブ復号することにより、早い段階で画像の全体的な概観を知ることができる。
また、表示領域を含む領域でレイヤ（階層）毎にプログレッシブ復号するようにしたので、表示領域において早い段階で画像の全体的な概観を知ることができる。
【００４５】
さらに、出力種別情報と原稿種情報に基づいてプログレッシブオーダを制御する機能を提供することにより、文字を含む原稿であるとか絵柄原稿であるという原稿種情報を使用し、表示の際に、重要な画像属性を早い段階で知るように制御できる。
また、表示の場合に絵柄原稿は解像度プログレッシブ復号する機能を提供することにより、文字や線画を含まないような絵柄原稿の場合に解像度プログレッシブ復号し、初期段階から中間調を見ることができ、ピントがぼけた状態から徐々にピントが合ってくるように表示再生できる。
また、表示の場合に文字や線画を含む原稿の場合はレイヤプログレッシブ復号する機能を提供することにより、利用者からは、早い段階から段々輪郭がはっきりしてくるように表示再生できる。
【００４６】
また、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）標準規格に基づいた符号化としたことにより、符号は階層符号であり、符号レベルでの階層毎の符号化制御が容易にできる。
【００４７】
また、アクセス単位の選択がプリンタの場合は領域単位アクセスする機能を提供することにより、プリンタ出力の場合、実画像領域に対応する符号データ単位でアクセスし、効率的な省メモリのプリント処理が可能となる。
また、アクセス単位の選択が表示の場合にはレイヤ単位アクセスする機能を提供することにより、表示出力の場合、プリシンクト単位でアクセスすることで、階層単位で符号データをアクセスすることが可能となり、早い段階で画像の全体的な概観を知ることができる。
また、領域単位がＪＰＥＧ２０００規格のプリシンクト単位またはタイル単位とする機能を提供することにより、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）標準規格に基づいた符号化における領域単位で容易に符号データのアクセスができる。
【００４８】
また、本発明によると、符号列が一部削除されたロッシーな符号データがあっても、符号データの一部を再送することなく、指定された複数のプログレッションの符号データを（サーバ側で）生成できる機能を提供する。したがって、プログレッションを変更しても欠ける符号列がないようにできる。
【００４９】
また、クライアント側で、あるプログレッションオーダの符号データの再現では使用しない符号列を保存するようにして、プログレッション変更時に符号列の欠如ない符号データを再構成することで、プログレッションを変更して再復号再生できる機能を提供できる。
【００５０】
また、領域毎に異なるプログレッションの符号データを生成できるので、領域毎にプログレッションの異なる画像を再生することができる。さらに、動画像の再生の場合に好適な符号データによる再生をすることができ、符号データの一部を再送することなくクライアント側でリアルタイムに符号データのプログレッションを変更することが可能である。
【００５１】
また、ＪＰＥＧ２０００標準規格に基づいた符号化では、複数のプログレッションオーダを持ち符号レベルでの符号データの編集が容易である。
【発明を実施するための最良の形態】
【００５２】
以下、図面を参照して本発明に係る好適な実施形態について説明する。
【００５３】
図１は、本発明の実施の形態に係る画像処理装置としてのコンピュータ機器の概略構成を示すブロック図である。同図において、ＣＰＵ１０１は、一次記憶装置１０２に格納されたプログラムを実行して、このコンピュータ機器全体の動作制御を行なう。一次記憶装置（以下、一次記憶と略称する）１０２は、記憶媒体の一例として、主にメモリが想定され、二次記憶装置（以下、二次記憶と略称する）１０３に記憶されたプログラム等が読み込まれて格納される。この二次記憶１０３には、ハードディスク等の記憶媒体を利用することができる。
一般に、一次記憶１０２に格納可能なデータ容量は、二次記憶１０３に格納可能なデータ容量よりも小さく、一次記憶１０２に格納しきれないプログラムやデータ等は二次記憶１０３に格納される。また、長時間記憶しておかなければならないデータ等も二次記憶１０３に格納される。本実施の形態では、このコンピュータ機器の動作制御処理が記述されたソフトウエア・プログラムが二次記憶１０３に格納されており、係るソフトウエア・プログラムは、ＣＰＵ１０１による実行に先立って、一次記憶１０２に読み込まれる。
【００５４】
入力装置１０４は、例えば、マウス等の補助入力装置やキーボード等の入力装置であり、利用者の操作をコンピュータに設定するために用いられる。出力装置１０５は、例えば、モニタやプリンタ等である。そして通信ＩＦ１０６は、外部装置との双方向の通信が可能な通信インターフェースである。
上記各部は、内部バス１０７によって相互にデータ転送可能に接続されており、ＣＰＵ１０１によるコンピュータ機器全体の動作制御を実現している。
尚、本実施の形態に係る画像処理装置としてのコンピュータ機器の構成には、この他にも様々な形態が考えられるが、現在では一般的なコンピュータ機器及びその周辺デバイスを利用可能であり、本実施形態における詳細な説明は省略する。
【００５５】
図２は、本発明の実施の形態における通信ネットワークの概略を示す図であり、サーバ・クライアント環境を示している。同図において、２０１及び２０２は、クライアントとしての利用者端末であり、個々の利用者端末は、図１を参照して上述した画像処理装置としてのコンピュータ機器（コンピュータシステム）である。クライアント２０１及び２０２とサーバ１０とは、インターネットを含む一般的な通信ネットワーク（以下、単にネットワークと称する）３０を介して、互いにデータ通信を行なうことが可能である。サーバコンピュータ（以下、単にサーバと称する）１０は、画像ファイルを蓄積するハードディスク等の大容量の記憶装置１１を備えている。
【００５６】
本実施の形態において、記憶装置１１には、ＪＰＥＧ２０００符号化方式に従って予め符号化された画像データが数多く格納されている。したがって、クライアント２０１、２０２は、サーバ１０に、記憶装置１１が保存している画像の符号化データの中から所望の符号データについて、必要な分だけを要求する。サーバ１０がクライアントから要求された画像の符号データをこのクライアントに送信するために行なう処理について説明する。
【００５７】
クライアントが記憶装置１１に保存されている画像をダウンロードするためには、ウェブブラウザを用いてサーバ１０にアクセスする必要がある。サーバ１０は、このアクセスを受け、記憶装置１１に保存されている画像の一部もしくは全部の画像を、例えば、サムネイル形式でクライアントである利用者端末に提示する。これにより、ウェブブラウザは、これらの画像が表示されることになる。
【００５８】
このウェブブラウザに表示された画像の群から、クライアントが、マウスやキーボードといった入力デバイスを用いて所望の画像を指示すると、利用者端末は条件に応じた画像サイズや解像度に従って、所望の画像のデータ中の断片的なデータの送信要求をサーバ１０に対して送信する。サーバ１０はこの要求に応じた断片的なデータをクライアントに送信するので、クライアントはこれをＪＰＩＰの仕組みを使って受信し、バッファにキャッシュする。そこで、受信した画像を表示する際には、キャッシュしたＪＰＥＧ２０００のシンタックスに準拠したビットストリームを作成し、その後、そのビットストリームを復号して表示する。
【００５９】
＜実施形態１＞
図３は、本実施形態１の構成を説明するための図である。
本実施形態１に係る画像処理装置は、図３に示すように、符号データを保持しているサーバ１０と符号データを復号出力するクライアント２０が互いにネットワークを介して結合されている。
クライアント２０側では、サーバ１０に対して特定の符号データのアクセス（読み出し）要求を送り、サーバ１０から送信された符号ストリームを受信して、復号処理を行って、出力処理を行う。
サーバ１０では、クライアント２０からの符号ストリームのアップロード要求を受信して、領域範囲対応の符号データをアクセス単位で選択して、符号ストリームを生成して、クライアント２０へ送信する。
【００６０】
本実施形態１では、符号データを二つ以上のアクセス（読み出し）単位でアクセスする符号データアクセス機能を有しており、出力種別情報に基づいて符号データのアクセス（読み出し）単位を選択する。
ここで、符号データのアクセス単位としては、画像領域単位毎の符号データをアクセスする場合と、階層符号データにおける階層単位毎の符号データをアクセスする場合などがある。画像領域毎の符号データをアクセスする場合には、異なる画像領域に対応する符号データをアクセスする場合がある。
【００６１】
また、出力種別情報とは、表示装置への表示出力であるか、あるいは、プリンタ等へのプリント出力であるかを識別するための情報である。出力種別に応じて最適な符号データのアクセスが可能となる。
【００６２】
＜実施形態２＞
図４は、本実施形態２の構成を説明するための図である。
本実施形態２では、出力種別情報に基づいてプログレッシブオーダを制御する。
符号データを二つ以上のプログレッシブオーダ（符号データを構成する符号列順）で復号する復号化手段を有しており、出力種別情報に基づいて最適なプログレッシブオーダの選択ができるようになっている。
【００６３】
プリンタ出力の場合には、完全に復号して画像データが生成されていないとプリンタ出力できないが、限られた量の画像データ毎に復号再生されていればよい。
したがって、プリンタの復号では順次プリント処理を進めていく上で、符号データは部分ごとに（ラスタ順に）順次完全に復号する。これにより、ラスタ順にデータを受け取って処理を進めるので省メモリで効率的に処理が進められる。
【００６４】
プリンタは、一般的には、主走査方向に左から右に、副走査方向に上から下へ向けて（ラスタ順に）画像出力していくため、特に、領域毎に、プリンタ画像出力順序に対応した領域から順番にプログレッシブ復号することで、必要な画像領域のデータを先行して確実に復号することで効率的に画像出力できる（図５）。
【００６５】
一方、表示系への出力の場合は、表示画面全体を一度に見ることができるので、図５に示すように全体的に徐々に復号されていった方がよい。
そのことから、表示する場合はレイヤ（階層）毎にプログレッシブ復号することで、早い段階で画像の全体的な概観を知ることができる。ただし、一度に見られる範囲は、表示領域に限定されることから、表示する場合に、表示領域を含む領域の範囲にある符号データをレイヤ毎にプログレッシブ復号することで、表示領域において早い段階で画像の全体的な概観を知ることができる。
【００６６】
出力種別情報に基づいてプログレッシブオーダを制御する場合には、次のような順序で処理する。
まず、出力種別情報（例えば、プリンタあるいは表示系かの区別）を読み込み、この出力種別情報に基づいて、復号プログレッシブ順を決定する。
符号データ保存部から符号データを、先に決定した復号プログレッシブ順に読み込んで復号し、復号したデータを出力する。
【００６７】
また、本実施形態２では、原稿種情報に基づいてもプログレッシブオーダを制御できるようにして、表示の際に、重要な画像属性を早い段階で知るように制御できる。
原稿種情報とは、文字を含む原稿や絵柄原稿である等の原稿の種類を示す情報である。
一般的に、画像処理装置では、原稿を読み込んだ場合に、原稿種別を認識する。あるいは、符号化過程で、エッジ情報を調べるなどして原稿種を判別することもできるようになっている。
【００６８】
ところで、文字や線画を含まないような絵柄原稿の場合は、レイヤ毎にプログレッシブ復号するのではなくて、解像度プログレッシブ復号することで、初期段階から中間調を見ることができて、ピントがぼけた状態から徐々にピントが合ってくるように表示再生できる。
一方、文字や線画を含む原稿の場合は、レイヤプログレッシブ復号することで、利用者からは、早い段階から段々輪郭がはっきりしてくるように表示再生できる。
【００６９】
原稿種情報に基づいてプログレッシブオーダを制御する場合には、次のような順序で処理する。
まず、出力種別情報と原稿種情報を読み込み、これらの出力種別情報と原稿種情報に基づいて、復号プログレッシブ順を決定する。
符号データ保存部から符号データを、先に決定した復号プログレッシブ順に読み込んで復号し、復号したデータを出力する。
【００７０】
＜実施形態３＞
本発明は、複数符号データで構成される符号データファイルを対象とし、符号レベルで符号データの符号列の編集ができる符号化方式の符号データで有効である。
即ち、本発明では、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格で符号化されているデータのように、階層符号化（多重解像度符号化）されプログレッシブ順の制御ができると共に、部分符号データを簡単にアクセスすることが可能である符号データを対象とする。
【００７１】
ＪＰＥＧ２０００規格の符号化については、上述の特許文献５等に記載されているように、符号データレベルでの編集が容易であり、符号データを構成する階層を解像度レベルや領域レベルで容易に選択することができる仕様になっている。
【００７２】
以下、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格に基づいた符号データの符号レベルのアクセスと編集機能を中心にＪＰＥＧ２０００規格に基づいた符号データの生成過程について説明する。
【００７３】
（Ａ）ＪＰＥＧ２０００符号化処理の概要：
ＪＰＥＧ２０００の符号処理は、図６に示すように、色空間変換・逆変換部、２次元ウェーブレット変換・逆変換部、量子化・逆量子化部、エントロピー符号化・復号化部（ビットプレーン符号化）、符号列処理部（タグ処理、パケット生成）により構成され、おおよそ以下に示すような流れで処理が行われる。
【００７４】
（１）色空間変換部で、インターレース画像のフレームデータを、Ｙ，Ｃｒ，Ｃｂの色成分毎のデータに変換する。
各色成分の色データに対して、
（２）２次元離散ウェーブレット変換を施す。
（３）得られるウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施す。
（４）スカラ量子化されたデータに対しＪＰＥＧ２０００に規定のエントロピー符号化処理（いわゆる係数モデリングによる算術符号化処理）を施す。
全ての色データに対して（２）乃至（４）の処理を施した後、
（５）ＪＰＥＧ２０００で規定する符号列（図７に示すようなコードストリーム）を生成する。
【００７５】
図８は、符号化対象である画像データと、符号形成単位となるタイル、サブバンド、プレシンクト、コードブロックの関係を示している。タイルとは、画像を矩形に分割した画像データの単位である。分割数が１の場合は、一つの画像がタイルに相当している。個々のタイルは、独立したタイル毎に１つの画像データとみなして、ウェーブレット変換される。タイルを、色空間変換部でＲＧＢからＹＵＶまたはＹＣｂＣｒに変換し、２次元ウェーブレット変換部で色成分ごとにウェーブレット変換した結果として、サブバンドが生成され、サブバンド単位で量子化される。
【００７６】
前述したプリシンクトとは、サブバンドを（利用者が指定可能なサイズの）矩形に分割したもの（をＨＬ，ＬＨ，ＨＨの３つのサブバンドについて集めたものであり（図９参照）、プリシンクトは３つで１まとまりをなす。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１まとまり）で、タイル（画像）中の場所（Ｐｏｓｉｔｉｏｎ）を表すものである。
【００７７】
プリシンクトは、タイルの画像データをウェーブレット変換した結果生成され、タイル（画像）中のある領域の符号データからなる。前述したプリシンクトアクセス単位に相当する符号データは、タイル（画像）中のあるプリシンクト領域の符号データである。プリシンクトをさらに（利用者が指定可能なサイズの）矩形に分割したものがコードブロックである。
【００７８】
量子化後のサブバンドの係数は、コードブロック単位でビットプレーン符号化される（１つのビットプレーンは３つのサブビットプレーンに分解されて符号化される）。プリシンクトに含まれる全てのコードブロックから、前記の符号の一部を取り出して集めたもの（例えば、全てのコードブロックのＭＳＢから３枚目までのビットプレーンの符号を集めたもの）がパケットであり、上記“一部”は“空（から）”でもよいので、パケットの中身が符号的には“空（から）”ということもある。
【００７９】
全てのプリシンクト（＝全てコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、ＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤとよぶ。レイヤは、画像全体のビットプレーンの符号の一部であり、すべてのレイヤを集めると画像全域の全てのビットプレーンの符号になる。
【００８０】
図１０は、ウェーブレット変換の階層数（デコンポジションレベル）＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤ構成と、それに含まれるパケットの例を示している。この場合は、プリシンクトサイズ＝サブバンドサイズであり、図８でいうプリシンクトの大きさと同じ大きさのコードブロックを採用しているため、デコンポジションレベル２のサブバンドは４つのコードブロックに、デコンポジションレベル１のサブバンドは９個のコードブロックに分割されている。
【００８１】
パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合、ＨＬ〜ＨＨサブバンドをまたいだものとなる（図１０中、いくつかのパケットを太線で囲んである）。パケットは、「コードブロックの符号の一部を取り出して集めたもの」である。
【００８２】
ビットプレーン符号化部で符号破棄前の符号を作り、（ポスト量子化部で）ビットトランケーション（コードブロック単位の符号の破棄）と符号量の微調整を行い、パケットの並びを生成し、（算術符号化部で）ＪＰＥＧ２０００の符号フォーマットに符号を形成する。パケットの並びをプログレッション順序と呼ぶ。ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格の符号データはパケットと呼ばれる符号列単位で形成される。（図１１〜１３参照）
【００８３】
ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格のパケットは、プログレッシブ順にシーケンス化され、それぞれ、プリシンクト、解像度レベル、およびコンポーネント（色成分）、画質階層レベル（レイヤ）で配列される。ここで、コンポーネントについては、これまで詳しく述べなかったが、コンポーネントとは色成分を指し、符号化が画像のタイル単位に色成分毎になされることに対応している（図１４参照）。
【００８４】
また、解像度レベルとは、サブバンドの階層（デコンポジションレベル）を指し、先に説明したように、サブバンド毎に求められたウェーブレット係数についてコードブロック単位の算術符号データが生成されているので、サブバンドの階層（デコンポジションレベル）毎に符号データは区別することができるのである。
【００８５】
また、画質階層レベル（レイヤ）は、画質レベルに対応して、例えば、３ＬＬのコードブロック単位のデータを最低レベルのレイヤとして構成し、３ＬＬに３ＨＬ乃至３ＨＨを加えたコードブロック単位のデータを次のレイヤとし、さらに、２ＨＬ乃至２ＨＨを加えたコードブロック単位のデータを次のレイヤとし、さらに、１ＨＬ乃至１ＨＨを２ＨＬ乃至２ＨＨを加えたコードブロック単位のデータを最高レイヤとしてレイヤデータを構成する。
同様に、あるタイルあるいはプリシンクトの符号データをアクセスする場合は、対応するタイル領域の全てのレイヤ（画質階層）レベルで該当する符号データをアクセスする。
【００８６】
ＪＰＥＧ２０００規格では、画質階層（レイヤ（Ｌ））、解像度（Ｒ）、コンポーネント（Ｃ）、位置（プリシンクト（Ｐ））という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッションが定義されている。
【００８７】
・ＬＲＣＰ  プログレッション：プリシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現できる。レイヤプログレッションとも呼ばれる。
・ＲＬＣＰ  プログレッション：プリシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現できる。
・ＲＰＣＬ  プログレッション：レイヤ、コンポーネント、プリシンクト、解像度レベルの順序に復号されるため、ＲＬＣＰ  同様、解像度レベルのプログレッションであるが、特定位置の優先度を高くすることができる。
・ＰＣＲＬ  プログレッション：レイヤ、解像度レベル、コンポーネント、プリシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現できる。
・ＣＰＲＬ  プログレッション：レイヤ、解像度レベル、プリシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現できる。
【００８８】
このようにＪＰＥＧ２０００規格の符号データの符号列順を示すプログレッション順は、符号データのヘッダに記載されるため、符号列のヘッダを解析することで、パケット（符号列）単位で特定のパケット（符号列）をアクセスすることができる。
即ち、符号化される符号データがＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格に基づいた符号データであることで、符号レベルでの階層毎の符号化制御が容易である。
【００８９】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。図６を用いて簡単に説明する。
まず、符号列処理（タグ処理、パケット生成）では、外部より入力したコードストリーム（復号処理を施す画像データ中の独立に復号可能なデータの一部または全部）に付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。
【００９０】
コードストリーム内のタグ情報に基づく順番で、復号化の対象となるビットの位置が定められるとともに、エントロピー復号化部において、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。このコンテキストとコードストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。（この時、エントロピー復号化部は、独立に復号可能な符号データの復号を行い、符号データ中の独立に復号可能な状態にない符号は復号処理を実施しない）。
【００９１】
そして、逆量子化部において、量子化係数を使用して生成されたデータに対して逆量子化処理を施し、ウェーブレット係数を獲得する。このようにして復号化されたデータは各周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色（空間）逆変換部によって元の表色系の画像データに変換される。
【００９２】
本発明の構成では、復号時に符号データを部分毎に徐々に復号化していくプログレシブ復号をとる。
領域単位で画像をプログレッシブに復号する場合は、符号データは領域単位で分割され独立に符号化されているので、そのそれぞれの領域の復号処理が独立に処理可能であり、領域単位で復号された復号画像は出力領域も互いに排他的であるため、別々に復号しその結果をつなげるだけで画像を生成することができる。
【００９３】
一方、レイヤ単位であるいは解像度単位で画像をプログレッシブに復号する場合は、典型的には、レイヤ単位であるいは解像度単位で符号データの一部ずつ順番に復号化する過程で、逆量子化によって生成されるウェーブレット係数を一時的に保存しておく。
そして、保存されたウェーブレット係数の一部あるいは全部を読み出して逆ウェーブレット変換処理を施し、続いて色（空間）逆変換処理を施し画像生成する。ウェーブレット係数は、レイヤ単位であるいは解像度単位で符号データの一部ずつ順番に復号化する過程で、線形に加算し更新されていくことで、プログレッシブに復号出力することができる。
【００９４】
本実施形態３では、このようなプログレッシブに復号する機能を用いて、出力種別情報に基づいてプログレッシブオーダを制御する。
【００９５】
（Ｂ）アクセス方式制御：
以上の様に、ＪＰＥＧ２０００の符号データは、パケット単位で構成されているため、ＪＰＥＧ２０００の符号データではパケット単位でアクセスすることが可能であり、原符号から必要な符号列（パケット）だけを抜き出して、新たな符号を簡単に生成できる。
このことにより、原符号から、必要に応じて部分的な符号だけを復号することができる。例えば、サーバに保存した大きな画像をクライアント側で表示する場合に、必要な画質だけの符号、必要な解像度だけの符号、見たい場所だけの符号、見たいコンポ−ネントだけの符号をサーバから受信し、復号することができる。
【００９６】
この様に、サーバにあるＪＰＥＧ２０００符号から、必要な符号だけを受信するためのプロトコルをＪＰＩＰ（ＪＰＥＧ２０００  Ｉｎｔｅｒａｃｔｉｖｅ  Ｐｒｏｔｏｃｏｌ）と呼んでおり、現在ＩＳＯで標準化検討途上にある。
ところで、このような、階層的な符号データを部分的にアクセスするためのプロトコルは、古くは、画像の多重解像度表現であるＦｌａｓｈＰｉｘがあり、それにアクセスするためのプロトコルであるＩＩＰ（Ｉｎｔｅｒｎｅｔ  Ｉｍａｇｉｎｇ  Ｐｒｏｔｏｃｏｌ）に見ることができる（上述の特許文献３）。また、ＪＰＩＰについては、特許文献９が知られ、ＪＰＩＰにおけるキャッシュモデル等に関しては、特許文献４が知られている。
【００９７】
さて、本発明においては、図３で説明したように、クライアントからサーバに、出力したい領域の符号データを指定して、領域が指定された場合に、サーバが当該領域をカバーする領域の符号データを送信する。ある階層の符号データのみを送信する場合も同様である。
【００９８】
プリシンクトごとにパケットを抽出しているときに、必要なプリシンクトを判断してパケットを抽出するようにすれば、必要なプリシンクトのパケットを抽出して送信することができる。
また、領域単位に符号データをアクセスする場合には、プリシンクトごとに、指定領域をカバーする領域のパケットを抽出しているときに、必要な指定領域を判断してパケットを抽出すれば、必要な指定領域をカバーする領域のパケットのみを抽出して送信することができる。
一方、レイヤ単位に符号データをアクセスする場合には、プリシンクトごとに、指定レイヤのパケットを抽出しているときに、必要なレイヤを判断してパケットを抽出すれば、必要なレイヤのパケットのみを抽出して送信することができる。
【００９９】
本発明では、このようなプログレッシブに復号する機能を用いて、出力種別情報に基づいてアクセス単位を制御する。
例えば、出力種別情報に基づいてアクセス単位を制御する場合には、次のような順序で処理する。
まず、出力種別情報と画像領域指定を読み込み、この出力種別情報に基づき指定された画像領域に対応する符号データのアクセス方式を決定する。
符号データ保存部から符号データを、先に決定したアクセス方式に基づいて読み込んで復号し、復号したデータを出力する。
【０１００】
先に説明したように、符号化される符号データがＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格に基づいた符号データのように、符号データのアクセス単位が領域単位とレイヤ単位で選択される画像処理装置においては、プリンタ出力の場合はアクセス単位がタイル単位であるから、実画像領域に対応する符号データ単位でアクセスすることにより、効率的な省メモリのプリント処理が可能となる。
一方、表示出力の場合には、アクセス単位が領域単位であるから、レイヤ単位で符号データをアクセスすることが可能となり、早い段階で画像の全体的な概観を知ることができる。
ＪＰＩＰ（ＪＰＥＧ２０００  Ｉｎｔｅｒａｃｔｉｖｅ  Ｐｒｏｔｏｃｏｌ）の規定に基づき符号データをアクセスする場合においては、典型的には、出力種別情報が、（ラスタ順に）順次完全に復号されていくことが望ましいプリンタ出力の場合には、ＪＰＴストリームで部分（タイル）ごとに完全な符号データをアクセスし再生するように、アクセス方式としては、ＪＰＴストリームを選択する。
一方、出力種別情報が、表示領域全域にわたって徐々に復号することが望ましい表示系の出力の場合には、アクセス方式としては、ＪＰＰストリームを選択し、画像領域全体に渡って、細かい単位で徐々に符号データをアクセスし再生する。また、部分毎に表示する場合にも、領域内ではＪＰＰストリームで符号データをアクセスするように、アクセス方式としては、ＪＰＰストリームを選択する。
【０１０１】
このように、本発明では、プリンタに出力する場合に、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格のプリシンクト単位またはタイル単位の領域毎にプログレッシブ順に符号データをアクセスすることで、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）標準規格に基づいた符号化における領域単位で容易に符号データのアクセスが可能となる。
【０１０２】
＜実施形態４＞
図１５は、本実施形態４の概念について説明するための図である。
本実施形態４は、復号側でプログレッションを変更した符号列を構成し、新たに構成する符号データで復号するようにした。プログレッションとしては、例えば、プログレッシブ（品質）として、空間解像度、画質、およびカラーコンポーネント等である。
【０１０３】
符号側で符号列を一部削除したロッシーな符号データを形成してしまったとき、復号側でプログレッションを変更する場合に、従来の方式では、変更後のプログレッションの符号データには、符号列が一部不足する場合があった。
このような状況を図１６に示した符号データの構成例を用いて説明する。
【０１０４】
図１６の符号データは、解像度が３レベル（解像度０から解像度２まで）、レイヤが２レベル（レイヤ０からレイヤ１まで）を有する全部で８個の符号列より構成されている。
また、符号データは、レイヤプログレッションと解像度プログレッションの二つの符号列順で構成するものとする。
【０１０５】
ここで、レイヤプログレッションで構成されている符号データにおいて、レイヤ１レベルの符号列を削除した符号データを、解像度プログレッションで解像度３レベルの符号列を削除した符号データの構成に切り替えて復号しようとしても、パケット４、５、６が削除されているために生成できない。
【０１０６】
また、逆に、解像度プログレッションで解像度３レベルの符号列を削除した符号データを、レイヤプログレッションで構成されている符号データにおいてレイヤ１レベルの符号列を削除した符号データに切り替えて復号する場合には、パケット３が不足してしまう。
【０１０７】
図１７は、本実施形態４の構成を説明するための図であり、図１８は、符号データの流れについて説明するための図である。
サーバ１０側では、画像データ入力部で入力した画像データを画像データ保存部１に記憶するとともに、その画像データを符号化処理して、生成した符号データを符号データ保存部１へ保存する。
また、サーバ１０側では、符号列を一部削除したロッシーな符号データを形成する場合にあっても、符号データ再構成処理にて、符号データを再構成し、複数プログレッションに対応する符号データを生成して、和集合の符号列で符号データを形成し符号データ保存部１へ保存する。
さらに、サーバ１０側で再構成された符号データは、送信処理部でクライアント２０へ送信される。
【０１０８】
クライアント２０側では、サーバ１０から送信された符号データを受信処理部で受信し、符号データ保存部２へ保存するとともに、符号データ再構成（プログレッション選択）部で、符号データのプログレッションを一つ選択し、この選択に基づいて復号する符号データを再構成し、復号化処理部で復号し、画像データ保存部２へ保存するとともに、出力処理部で再生される。ここで、一つのプログレッションの符号データを再構成したとき、使用しない符号列は符号データ保存部２に保存して残しておく。
【０１０９】
ここで、サーバ１０側における送信符号データの選択制御では、トラフィック（レスポンス）やサーバ側の処理負担の大きさに基づいて、転送遅延が起こらないようにプログレッションを選択し、符号データを生成してクライアント２０側へ送信する。
【０１１０】
次に、図１８を用いて符号データの流れを説明する。
サーバ１０側では、一つの画像データが入力され、複数個のプログレッションをもつ符号データが生成され、それらの和集合の符号列がクライアント２０側へ転送される。クライアント２０側では、プログレッションを選択して符号データを生成し、復号再生する。
クライアント２０側で、あるプログレッションの符号データを生成するのに不要となった符号列も符号データ保存部２に保存しておく。
また、プログレッションを変更して再生する要求があった場合、保存して残しておいた符号列を使用して別のプログレッションの符号データを再構成し復号再生する。その時使用しない符号列は保存し残しておく。
【０１１１】
クライアント２０側では、この保存された符号列を使用することによって、プログレッションの異なる符号データも、不足する符号列をサーバ側から再ロードすることなく復号再生することができる。
【０１１２】
＜実施形態５＞
本実施形態５では、ＪＰＥＧ２０００規格に基づいた符号データを実施形態４に適用することを考える。
以下、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格の符号化およびＭｏｔｉｏｎ  ＪＰＥＧ２０００規格について説明する。ＪＰＥＧ２０００の詳しい説明については、特許文献５等に記載されている。
【０１１３】
（Ａ）ＪＰＥＧ２０００符号化処理の概要：
ＪＰＥＧ２０００の符号処理は、図６に示すように、色空間変換・逆変換部、２次元ウェーブレット変換・逆変換部、量子化・逆量子化部、エントロピー符号化・復号化部（ビットプレーン符号化）、符号列処理部（タグ処理、パケット生成）により構成され、おおよそ以下に示すような流れで処理が行われる。
【０１１４】
（１）色空間変換部で、インターレース画像のフレームデータを、Ｙ，Ｃｒ，Ｃｂの色成分毎のデータに変換する。
各色成分の色データに対して、
（２）２次元離散ウェーブレット変換を施す。
（３）得られるウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施す。
（４）スカラ量子化されたデータに対しＪＰＥＧ２０００に規定のエントロピー符号化処理（いわゆる係数モデリングによる算術符号化処理）を施す。
全ての色データに対して（２）乃至（４）の処理を施した後、
（５）ＪＰＥＧ２０００で規定する符号列（図７に示すようなコードストリーム）を生成する。
（６）サーバ側で複数のプログレッションの符号列を生成し、その符号データの和集合の符号列で符号データを形成する。
【０１１５】
図８は、符号化対象である画像データと、符号形成単位となるタイル、サブバンド、プレシンクト、コードブロックの関係を示している。タイルとは、画像を矩形に分割した画像データの単位である。分割数が１の場合は、一つの画像がタイルに相当している。個々のタイルは、独立したタイル毎に１つの画像データとみなして、ウェーブレット変換される。タイルを、色空間変換部でＲＧＢからＹＵＶまたはＹＣｂＣｒに変換し、２次元ウェーブレット変換部で色成分ごとにウェーブレット変換した結果として、サブバンドが生成され、サブバンド単位で量子化される。
【０１１６】
前述したプリシンクトとは、サブバンドを（利用者が指定可能なサイズの）矩形に分割したもの（をＨＬ，ＬＨ，ＨＨの３つのサブバンドについて集めたものであり（図９参照）、プリシンクトは３つで１まとまりをなす。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１まとまり）で、タイル（画像）中の場所（Ｐｏｓｉｔｉｏｎ）を表すものである。
【０１１７】
プリシンクトは、タイルの画像データをウェーブレット変換した結果生成され、タイル（画像）中のある領域の符号データからなる。前述したプリシンクトアクセス単位に相当する符号データは、タイル（画像）中のあるプリシンクト領域の符号データである。プリシンクトをさらに（利用者が指定可能なサイズの）矩形に分割したものがコードブロックである。
【０１１８】
量子化後のサブバンドの係数は、コードブロック単位でビットプレーン符号化される（１つのビットプレーンは３つのサブビットプレーンに分解されて符号化される）。プリシンクトに含まれる全てのコードブロックから、前記の符号の一部を取り出して集めたもの（例えば、全てのコードブロックのＭＳＢから３枚目までのビットプレーンの符号を集めたもの）がパケットであり、上記“一部”は“空（から）”でもよいので、パケットの中身が符号的には“空（から）”ということもある。
【０１１９】
全てのプリシンクト（＝全てコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、ＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤとよぶ。レイヤは、画像全体のビットプレーンの符号の一部であり、すべてのレイヤを集めると画像全域の全てのビットプレーンの符号になる。
【０１２０】
図１０は、ウェーブレット変換の階層数（デコンポジションレベル）＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤ構成と、それに含まれるパケットの例を示している。この場合は、プリシンクトサイズ＝サブバンドサイズであり、図８でいうプリシンクトの大きさと同じ大きさのコードブロックを採用しているため、デコンポジションレベル２のサブバンドは４つのコードブロックに、デコンポジションレベル１のサブバンドは９個のコードブロックに分割されている。
【０１２１】
パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合、ＨＬ〜ＨＨサブバンドをまたいだものとなる（図１０中、いくつかのパケットを太線で囲んである）。パケットは、「コードブロックの符号の一部を取り出して集めたもの」である。
【０１２２】
ビットプレーン符号化部で符号破棄前の符号を作り、（ポスト量子化部で）ビットトランケーション（コードブロック単位の符号の破棄）と符号量の微調整を行い、パケットの並びを生成し、（算術符号化部で）ＪＰＥＧ２０００の符号フォーマットに符号を形成する。パケットの並びをプログレッション順序と呼ぶ。ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格の符号データはパケットと呼ばれる符号列単位で形成される。（図１１〜１３参照）
【０１２３】
ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）規格のパケットは、プログレシブ順にシーケンス化され、それぞれ、プリシンクト、解像度レベル、およびコンポーネント（色成分）、画質階層レベル（レイヤ）で配列される。ここで、コンポーネントについては、これまで詳しく述べなかったが、コンポーネントとは色成分を指し、符号化が画像のタイル単位に色成分毎になされることに対応している（図１４参照）。
【０１２４】
また、解像度レベルとは、サブバンドの階層（デコンポジションレベル）を指し、先に説明したように、サブバンド毎に求められたウェーブレット係数についてコードブロック単位の算術符号データが生成されているので、サブバンドの階層（デコンポジションレベル）毎に符号データは区別することができるのである。
【０１２５】
また、画質階層レベル（レイヤ）は、画質レベルに対応して、例えば、３ＬＬのコードブロック単位のデータを最低レベルのレイヤとして構成し、３ＬＬに３ＨＬ乃至３ＨＨを加えたコードブロック単位のデータを次のレイヤとし、さらに、２ＨＬ乃至２ＨＨを加えたコードブロック単位のデータを次のレイヤとし、さらに、１ＨＬ乃至１ＨＨを２ＨＬ乃至２ＨＨを加えたコードブロック単位のデータを最高レイヤとしてレイヤデータを構成する。
同様に、あるタイルあるいはプリシンクトの符号データをアクセスする場合は、対応するタイル領域の全てのレイヤ（画質階層）レベルで該当する符号データをアクセスする。
【０１２６】
ＪＰＥＧ２０００規格では、画質階層（レイヤ（Ｌ））、解像度（Ｒ）、コンポーネント（Ｃ）、位置（プリシンクト（Ｐ））という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッションが定義されている。
【０１２７】
・ＬＲＣＰ  プログレッション：プリシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現できる。レイヤプログレッションとも呼ばれる。
・ＲＬＣＰ  プログレッション：プリシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現できる。
・ＲＰＣＬ  プログレッション：レイヤ、コンポーネント、プリシンクト、解像度レベルの順序に復号されるため、ＲＬＣＰ  同様、解像度レベルのプログレッションであるが、特定位置の優先度を高くすることができる。
・ＰＣＲＬ  プログレッション：レイヤ、解像度レベル、コンポーネント、プリシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現できる。
・ＣＰＲＬ  プログレッション：レイヤ、解像度レベル、プリシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現できる。
【０１２８】
このようにＪＰＥＧ２０００規格の符号データの符号列順を示すプログレッション順は、符号データのヘッダに記載されるため、符号列のヘッダを解析することで、パケット（符号列）単位で特定のパケット（符号列）をアクセスすることができる。
【０１２９】
復号化処理は、逆の手順で行われる。
勿論、これらの処理は、ハードウェア回路により実現しても良い。この場合には、処理の高速化が図られる。なお、ＪＰＥＧ２０００に準拠する符号化処理を全てハードウェア回路で実現する画像処理装置は、既に存在する。
【０１３０】
（Ｂ）Ｍｏｔｉｏｎ  ＪＰＥＧ２０００規格への適用：
Ｍｏｔｉｏｎ  ＪＰＥＧ２０００の符号化方式による動画のデータは、フレームを単位としてウェーブレット変換を使用した符号化方式により階層符号化し、階層符号化されたフレームをパケット化して、それぞれの階層に対応する複数のパケットからなるパケット群を生成する。
このＭｏｔｉｏｎＪＰＥＧ２０００では、フレーム単位に独立して扱えるため、本発明の方式を容易に適応することができる。
【０１３１】
本発明では、符号列を一部削除したロッシーな符号列を形成する場合にあっても、生成された符号データを再構成し、複数のプログレッションの符号データを生成し、これらの符号データの和集合の符号列で符号データを形成するところに特徴があった。
【０１３２】
図１９を用いて、本実施形態５の符号データ生成を説明する。図中の符号データは、ＪＰＥＧ２０００の仕様に基づくパケット単位で構成されており、解像度が２レベル（解像度０から解像度１まで）、レイヤが４レベル（レイヤ０からレイヤ３まで）を有する全部で８個の符号列より構成されている。
【０１３３】
この例において、レイヤ３の符号列を削除した符号データから解像度０の符号データを作る場合について説明する。
従来では、サーバ側でレイヤ３の符号列を削除した符号データを作ってしまうと、６つのパケットのみがクライアントに送信される。ここで、クライアントで、受信した符号データから解像度１を削除して解像度変換を行うと、パケット６の符号データが不足しているため、サーバ側からパケット６の符号列を再ロードしないと、再生画像の画質劣化が起こってしまう。
【０１３４】
しかし、本実施形態５では、サーバ側では、レイヤ３を削除した符号データと、解像度１を削除した符号データとを作成し、これらの和集合の符号データを作成して、クライアントへ送信するようにしている。
クライアントでは、受信した符号データからレイヤ３を削除して表示出力しても、また、解像度１を削除して低解像度出力しても、符号列の不足がなくサーバ側から再ロードすることなくクライアント側で符号データを復号再生することができる。
【０１３５】
＜実施形態６＞
ウェブサーバとクライアントとの間で圧縮画像を転送するときにＪＰＩＰを用い、ウェブサーバによって公開された情報をクライアントから閲覧するシステムにおいて、最初に画像データを完全に再現するのではなく、画像データの一部分の符号データを再生し、解像度の低い画像データを表示装置に表示してから利用者が確認し、さらに詳しく見たい画像領域を指定することで、指定した画像領域を再生することがある。これは、一部の符号データだけを復号し、再生することが可能となってきたこと、特に、地図などの大きな画像データを小さな表示領域しか持たない表示装置で再生するような場合に有効になってくることなどが挙げられる。これは、広い範囲から小さな領域を指定して、指定された領域を詳細に再生することが望ましいからである。
【０１３６】
しかしながら、このように選択した部分領域を詳しく再生するシステムでは、部分領域を指定後に再生する画像データの出力先としては、最初に一部の符号データを再生した表示装置（解像度の低い画像データを表示した表示装置）ではなく、複写機やインクジェットプリンタ等の画像形成装置という場合がある。これは、紙やＯＨＰシートといった記録媒体に出力して活用したいという要求があるからである。例えば、ＰＤＡ（Personal Digital Assistant）や携帯電話といった小さい表示領域しか持たない携帯端末では、表示可能な範囲が限られているので、表示装置で表示する場合には、現時点での表示領域より広いサイズに出力して詳しく見たいという要求がある。
ところで、表示装置と画像形成装置とでは、画像データの処理方式が異なり、画像形成装置では、ラスタ順の領域単位で順次、画像データが処理されるが、表示装置では、メモリ上に書き込まれた画像データが出力できるといった点で異なる。
【０１３７】
本実施形態６は、前述したシステムにおいて、符号データを再生する場合に、これらの出力機器の特徴に合った処理を行なうことを目的とし、サーバとクライアントにおける符号データの伝送時のストリームの種類を、クライアントで実行しようとする処理に応じて制御することで、表示処理を高速に実行することができ、また、印刷などの処理の場合でも少ないメモリで高速に実行することを可能とするものである。
【０１３８】
図２０は、実施形態６のクライアントの構成を説明するための図である。
クライアント２０は、その端末で処理を行いたい機能を選択する処理選択手段と、サーバ１０に対しての要求命令を生成する生成手段と、生成手段で生成した要求命令に対してのサーバからの応答命令を解釈する解釈手段と、サーバ１０から受信した符号データを伸長して出力装置１０５にて表示するための処理を実行する表示処理手段と、サーバ１０から受信した符号データを伸長し出力装置１０５にて印刷するための処理を実行する印刷処理手段と、サーバ１０から受信した符号データを一次記憶１０２又は二次記憶１０３に保存するための処理を実行する保存処理手段と、サーバ１０へ符号データを更新するための処理を実行する更新処理手段と、サーバ１０とネットワーク３０を経由した通信を行う通信処理手段と、クライアント２０の内部の各処理手段の動作処理を制御する制御手段とを有した構成である。本実施形態６では、上記の構成としたが、新たな処理が追加された場合には、それに応じた処理手段を備えることは言うまでもない。
【０１３９】
図２１は、実施形態６のサーバの構成を説明するための図である。サーバ１０は、画像データの符号データを格納する格納手段と、クライアント２０１又は２０２とネットワーク３０を経由した通信を行う通信手段と、クライアント２０１又は２０２から受信した要求を解釈するとともに、処理機能の指定を判断する解釈手段と、クライアント２０１又は２０２から受信した要求中の処理機能の指定に基づいて、サーバ１０がサポートしているストリームの種類の中から１つのストリームを選択する選択手段と、クライアント２０１又は２０２への符号化データを出力する出力手段と、クライアント２０１又は２０２から送信される更新された符号化データで既に格納手段に保存されている符号データを更新するための処理を実行する更新処理手段と、更新した符号データを格納手段に保存するための処理を実行する保存処理手段と、サーバ１０の内部の各処理手段の動作処理を制御する制御手段と、格納手段に格納されている符号データをシングルレイヤからマルチレイヤへと符号変換、もしくは符号データをマルチレイヤからシングルレイヤへの符号変換を行う符号変換手段を有した構成である。
【０１４０】
図２２は、クライアント２０が、サーバ１０から受信した符号データを出力装置１０５で印刷、表示又は保存の処理を実行する場合の処理手順を示すフローチャートである。
利用者がクライアント２０の入力装置１０４を使用することで出力装置１０５に表示されるメニューを操作することで処理機能を選択する（ステップＳ１）。
【０１４１】
ステップＳ１で選択された処理機能の指定を含んだ要求命令を生成し、当該要求命令をクライアント２０の通信手段によりネットワーク３０を経由してサーバ１０に送信する（ステップＳ２）。このステップＳ２の処理によって，サーバ１０にクライアント２０で選択された処理機能が通知される。この要求命令は、画像データに対応する符号データの指定も含まれる。なお、要求命令中に、オプション機能として符号データのストリームの種類や画像データの画質を設定することもできる。
【０１４２】
ステップＳ２でサーバ１０に送信した要求命令に対する応答命令を受信する（ステップＳ３）。
次に、ステップＳ３で受信した応答命令のレスポンスヘッダをクライアント２０の解釈手段にて解釈する（ステップＳ４）。この時、レスポンスヘッダを解釈するとともに、サーバ１０で選択された符号データのストリームの種類を認識する。
【０１４３】
ステップＳ１で選択された処理機能に対応する処理手段（本実施形態６では、表示処理手段、印刷処理手段、保存処理手段のいずれか）では、ステップＳ４のレスポンスヘッダの解釈結果に基づき、レスポンスヘッダに続くレスポンスデータを解釈する（ステップＳ５）。この処理によって、ステップＳ１で選択された処理機能によって以下のように処理が実行される。
【０１４４】
（１）処理機能が「表示」である場合、クライアント２０の表示処理手段にて、受信したレスポンスデータを伸長し、出力装置１０５（この場合は、ディスプレイ）に表示させる処理を実行する。
（２）処理機能が「印刷」である場合、クライアント２０の印刷処理手段にて、受信したレスポンスデータを伸長し、出力装置１０５（この場合、プリンタ等の画像形成装置）で画像形成される処理を実行する。
（３）処理機能が「保存」である場合、クライアント２０の保存処理手段にて、受信したレスポンスデータをクライアント２０の一次記憶１０２又は二次記憶１０３（この場合、ハードディスクやメモリ）にファイルとして格納する処理を実行する。
【０１４５】
図２３は、サーバ１０が、クライアント２０１又は２０２から要求命令を受信し、受信した要求命令に対する処理手順を示すフローチャートである。
サーバ１０の通信手段にて、クライアント２０１又は２０２からの要求命令を受信する（ステップＳ１１）。
サーバ１０の解釈手段にて要求命令を解釈する（ステップＳ１２）。なお、この処理で、クライアント２０１又は２０２で選択された処理機能が認識される。
【０１４６】
ステップＳ１２で認識された処理機能を参照し、サーバ１０がサポートする符号化データのストリームの種類を選択する（ステップＳ１３）。なお、本実施形態６では、符号データのストリームの種類は、ＪＰＰ−ストリームとＪＰＴ−ストリームであり、処理機能を参照することでこのいずれかを選択する。
一例として、クライアント２０１又は２０２で選択された処理機能で「表示」が指定されている場合には、ＪＰＰ−ストリームを選択し、クライアント２０１又は２０２で選択された処理機能で「印刷」、「保存」、又は「更新」が指定されている場合には、ＪＰＴ−ストリームを選択する。
【０１４７】
また、要求命令中にオプション指定として、ストリームの種類が指定されている場合には、要求命令も参照することで、そのストリームの種類が指定された処理機能に適さないと判断された場合は、別の適したストリームの種類を選択する。例えば、クライアント２０１又は２０２で選択された処理機能が「表示」であるため符号データのストリームの種類がＪＰＴ−ストリームを指定している場合、ＪＰＰ−ストリームが選択可能であるなら、ストリームの種類をＪＰＰ−ストリームに変更する。
同様に、クライアント２０１又は２０２で選択された処理機能が「印刷」、「保存」、又は「更新」であるため符号データのストリームの種類がＪＰＰ−ストリームを指定している場合、ＪＰＴ−ストリームが選択可能であるなら、ストリームの種類をＪＰＴ−ストリームに変更する。
【０１４８】
サーバ１０の出力手段は、ステップＳ１３で選択された符号データのストリームの種類を指定したレスポンスヘッダを生成し、サーバ１０の通信手段にてクライアント２０１又は２０２へ送信する（ステップＳ１４）。この処理によって、クライアント２０は、サーバ１０で選択された符号データのストリームの種類がクライアントに通知される。
【０１４９】
ステップＳ１４で生成したレスポンスヘッダに続いてレスポンスデータとして、ステップＳ１３で選択された符号データのストリームの種類に基づいて符号データをサーバ１０の通信手段からクライアント２０１又は２０２に送信する。
【０１５０】
本実施形態６によれば、クライアントで実行する処理機能に適したストリームの種類によって符号化データの伝送が行われるため、クライアントにおける画像表示を高速に実行可能となり、また印刷、保存又は更新を少ないメモリで行うことができる。
【０１５１】
＜実施形態７＞
本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態を構成する各機能をそれぞれプログラム化して、予め記録媒体に書き込んでおき、この記録媒体に記録されたこれらのプログラムをコンピュータに備えられたメモリあるいは記憶装置に格納し、そのプログラムを実行することによって、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
また、上記プログラムは、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１５２】
なお、上述した実施形態の機能を実現するプログラムは、ディスク系（例えば、磁気ディスク、光ディスク等）、カード系（例えば、メモリカード、光カード等）、半導体メモリ系（例えば、ＲＯＭ、不揮発性メモリ等）、テープ系（例えば、磁気テープ、カセットテープ等）等のいずれの形態の記録媒体で提供されてもよい。あるいは、ネットワークを介して記憶装置に格納されたプログラムをサーバコンピュータから直接供給を受けるようにしてもよい。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
このように、上述した実施形態の機能をプログラム化して流通させることによって、コストの低廉化、および可搬性や汎用性を向上させることができる。
【図面の簡単な説明】
【０１５３】
【図１】本発明の実施の形態に係る画像処理装置としてのコンピュータ機器の概略構成を示すブロック図である。
【図２】本発明の実施の形態における通信ネットワークの概略を示す図である。
【図３】実施形態１の構成を説明するための図である。
【図４】実施形態２の構成を説明するための図である。
【図５】プリンタ出力の場合と表示の場合の処理の順番を説明するための図である。
【図６】階層符号化圧縮伸長アルゴリズムの基本を説明するための図である。
【図７】コードストリームの構造を説明するための図である。
【図８】プリシンクトとコードブロックを説明するための図である。
【図９】デコンポジションレベルとサブバンドを説明するための図である。
【図１０】ビットプレーン符号化例であり、レイヤとパケットとの関係を説明するための図である。
【図１１】ＪＰＥＧ２０００のパケットについて説明するための図である（その１）。
【図１２】ＪＰＥＧ２０００のパケットについて説明するための図である（その２）。
【図１３】ＪＰＥＧ２０００のパケットについて説明するための図である（その３）。
【図１４】タイル分割の基本を説明するための図である。
【図１５】実施形態４の概念について説明するための図である。
【図１６】本実施形態４におけるプログレッションの切り替えについて説明するための符号データの構成例である。
【図１７】実施形態４の構成を説明するための図である。
【図１８】実施形態４における符号データの流れについて説明するための図である。
【図１９】実施形態５におけるプログレッションの切り替えについて説明するための符号データの構成例である。
【図２０】実施形態６のクライアントの構成を説明するための図である。
【図２１】実施形態６のサーバの構成を説明するための図である。
【図２２】クライアントがサーバから受信した符号データを印刷、表示又は保存の処理を実行する場合の処理手順を示すフローチャートである。
【図２３】サーバがクライアントから要求命令を受信し、受信した要求命令に対する処理手順を示すフローチャートである。
【図２４】ＪＰＰ−ストリームで伝送された符号データを時間経過によって表示される画像の表示例である。
【図２５】ＪＰＴ−ストリームで伝送された符号データを時間経過によって表示される画像の表示例である。
【符号の説明】
【０１５４】
１０…サーバ、１１…記憶装置、２０，２０１，２０２…クライアント、３０…（通信）ネットワーク、１０１…ＣＰＵ、１０２…一次記憶装置、１０３…二次記憶装置、１０４…入力装置、１０５…出力装置、１０６…通信ＩＦ、１０７…内部バス。
【図９】
2006295886.tif 000003
【図２４】
2006295886.tif 000004
【図１】
2006295886.tif 000005
【図２】
2006295886.tif 000006
【図３】
2006295886.tif 000007
【図４】
2006295886.tif 000008
【図５】
2006295886.tif 000009
【図６】
2006295886.tif 000010
【図７】
2006295886.tif 000011
【図８】
2006295886.tif 000012
【図１０】
2006295886.tif 000013
【図１１】
2006295886.tif 000014
【図１２】
2006295886.tif 000015
【図１３】
2006295886.tif 000016
【図１４】
2006295886.tif 000017
【図１５】
2006295886.tif 000018
【図１６】
2006295886.tif 000019
【図１７】
2006295886.tif 000020
【図１８】
2006295886.tif 000021
【図１９】
2006295886.tif 000022
【図２０】
2006295886.tif 000023
【図２１】
2006295886.tif 000024
【図２２】
2006295886.tif 000025
【図２３】
2006295886.tif 000026
【図２５】
2006295886.tif 000027