(57)【要約】【課題】  データ送信時間の短縮化を図るとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行う。【解決手段】  画像データ（例えば、JPEG2000コードストリーム）を抽出手段３２により１つ又は複数の関心領域に分割し、第１順位設定手段３３により分割した関心領域毎に優先順位を付し、分解手段３１及び第１送信手段３７の動作により優先順位が高い関心領域の画像データ（例えば、JPEG2000コードストリーム）を画像要求元である他の画像処理装置に対して先に送信する。これにより、必要な画像データを他の画像処理装置側に先に送信することで、データ送信時間の短縮化を図ることができるとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。【選択図】    図１４
2005260319.tif 000002
【特許請求の範囲】
【請求項１】
画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置において、
ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付手段と、
前記コードストリームを分解して構成要素単位で取り出す分解手段と、
前記コードストリームから関心領域を抽出する抽出手段と、
この抽出手段により抽出された関心領域に優先順位を設定する第１順位設定手段と、
前記関心領域に対応する構成要素単位で分解された前記コードストリームを、前記第１順位設定手段により設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する第１送信手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、絵文字領域分離を行い、その分離結果に基づいて前記関心領域を抽出する、
ことを特徴する請求項１記載の画像処理装置。
【請求項３】
前記抽出手段は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、
前記第１順位設定手段は、分離された文字情報中のタイトルとみなされる文字情報を優先する、
ことを特徴する請求項１記載の画像処理装置。
【請求項４】
前記抽出手段は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、
前記第１順位設定手段は、分離された文字情報中の文字サイズの大きい文字情報を優先する、
ことを特徴する請求項１記載の画像処理装置。
【請求項５】
前記抽出手段は、絵文字領域分離を行い、その分離結果である絵柄情報領域を前記関心領域として抽出し、
前記第１順位設定手段は、分離された絵柄情報中の絵柄サイズの大きい絵柄情報を優先する、
ことを特徴する請求項１記載の画像処理装置。
【請求項６】
前記第１順位設定手段は、前記関心領域として抽出された部分の低解像度画像の優先順位を高く設定し、他の部分は前記関心領域以外の領域と同じ優先順位になるような順位付けを行う、
ことを特徴する請求項１ないし５のいずれか一記載の画像処理装置。
【請求項７】
前記第１順位設定手段は、前記関心領域として抽出された部分の低解像度画像の優先順位を高くし、他の部分は前記関心領域以外の領域より低い優先順位になるような順位付けを行う、
ことを特徴する請求項１ないし５のいずれか一記載の画像処理装置。
【請求項８】
前記第１順位設定手段は、前記関心領域における視覚的重要性に対する定量的指標を使用して重要な画像領域を選択して順位付けを行う、
ことを特徴する請求項１記載の画像処理装置。
【請求項９】
前記第１順位設定手段は、送信要求した前記他の画像処理装置の描画領域に応じて順位付けを行う、
ことを特徴する請求項１記載の画像処理装置。
【請求項１０】
前記第１順位設定手段により高位に順位付けられた前記関心領域の前記コードストリームを復号化する第１復号化手段と、
この第１復号化手段により復号化された画像データに対して画像処理を行う画像処理手段と、
この画像処理手段により画像処理された画像データを階層的に圧縮し符号化する第１符号化手段と、
を備え、
前記第１送信手段は、画像処理されて符号化された前記関心領域に対応する構成要素単位で分解された前記コードストリームを、設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する、
ことを特徴する請求項１ないし９のいずれか一記載の画像処理装置。
【請求項１１】
前記画像処理手段は、コントラスト変換処理、色調変換処理、明度変換処理、ノイズ除去処理、平滑化処理の少なくとも一つの処理を行う、
ことを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置において、
ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付手段と、
前記コードストリームから関心領域を抽出する抽出手段と、
この抽出手段により抽出された前記関心領域の前記コードストリームを復号化する第２復号化手段と、
この第２復号化手段により復号化された前記関心領域を正規化する正規化手段と、
この正規化手段により正規化された前記関心領域を１つの画像にまとめる集約手段と、
この集約手段により１つの画像にまとめられた前記関心領域を、前記関心領域毎に分割し、分割した前記関心領域を階層的に圧縮し符号化処理する第２符号化手段と、
送信要求した前記他の画像処理装置の描画領域に応じて符号化処理された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する第２送信手段と、
を備えることを特徴とする画像処理装置。
【請求項１３】
前記抽出手段により抽出された前記関心領域に、優先順位を設定する第２順位設定手段を備えることを特徴する請求項１２記載の画像処理装置。
【請求項１４】
前記第２復号化手段により復号化された画像データに対して画像処理を行う画像処理手段を備え、
前記第２送信手段は、前記画像処理手段により画像処理されて前記第２符号化手段により符号化された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する、
ことを特徴する請求項１２または１３記載の画像処理装置。
【請求項１５】
画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、
ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付機能と、
前記コードストリームを分解して構成要素単位で取り出す分解機能と、
前記コードストリームから関心領域を抽出する抽出機能と、
この抽出機能により抽出された関心領域に優先順位を設定する第１順位設定機能と、
前記関心領域に対応する構成要素単位で分解された前記コードストリームを、前記第１順位設定機能により設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する第１送信機能と、
を実行させることを特徴とするプログラム。
【請求項１６】
前記抽出機能は、絵文字領域分離を行い、その分離結果に基づいて前記関心領域を抽出する、
ことを特徴する請求項１５記載のプログラム。
【請求項１７】
前記抽出機能は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、
前記第１順位設定機能は、分離された文字情報中のタイトルとみなされる文字情報を優先する、
ことを特徴する請求項１５記載のプログラム。
【請求項１８】
前記抽出機能は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、
前記第１順位設定機能は、分離された文字情報中の文字サイズの大きい文字情報を優先する、
ことを特徴する請求項１５記載のプログラム。
【請求項１９】
前記抽出機能は、絵文字領域分離を行い、その分離結果である絵柄情報領域を前記関心領域として抽出し、
前記第１順位設定機能は、分離された絵柄情報中の絵柄サイズの大きい絵柄情報を優先する、
ことを特徴する請求項１５記載のプログラム。
【請求項２０】
前記第１順位設定機能は、前記関心領域として抽出された部分の低解像度画像の優先順位を高く設定し、他の部分は前記関心領域以外の領域と同じ優先順位になるような順位付けを行う、
ことを特徴する請求項１５ないし１９のいずれか一記載のプログラム。
【請求項２１】
前記第１順位設定機能は、前記関心領域として抽出された部分の低解像度画像の優先順位を高くし、他の部分は前記関心領域以外の領域より低い優先順位になるような順位付けを行う、
ことを特徴する請求項１５ないし１９のいずれか一記載のプログラム。
【請求項２２】
前記第１順位設定機能は、前記関心領域における視覚的重要性に対する定量的指標を使用して重要な画像領域を選択して順位付けを行う、
ことを特徴する請求項１５記載のプログラム。
【請求項２３】
前記第１順位設定機能は、送信要求した前記他の画像処理装置の描画領域に応じて順位付けを行う、
ことを特徴する請求項１５記載のプログラム。
【請求項２４】
前記第１順位設定機能により高位に順位付けられた前記関心領域の前記コードストリームを復号化する第１復号化機能と、
この第１復号化機能により復号化された画像データに対して画像処理を行う画像処理機能と、
この画像処理機能により画像処理された画像データを階層的に圧縮し符号化する第１符号化機能と、
を前記コンピュータに実行させ、
前記第１送信機能は、画像処理されて符号化された前記関心領域に対応する構成要素単位で分解された前記コードストリームを、設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する、
ことを特徴する請求項１５ないし２３のいずれか一記載のプログラム。
【請求項２５】
前記画像処理機能は、コントラスト変換処理、色調変換処理、明度変換処理、ノイズ除去処理、平滑化処理の少なくとも一つの処理を行う、
ことを特徴とする請求項２４記載のプログラム。
【請求項２６】
画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、
ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付機能と、
前記コードストリームから関心領域を抽出する抽出機能と、
この抽出機能により抽出された前記関心領域の前記コードストリームを復号化する第２復号化機能と、
この第２復号化機能により復号化された前記関心領域を正規化する正規化機能と、
この正規化機能により正規化された前記関心領域を１つの画像にまとめる集約機能と、
この集約機能により１つの画像にまとめられた前記関心領域を、前記関心領域毎に分割し、分割した前記関心領域を階層的に圧縮し符号化処理する第２符号化機能と、
送信要求した前記他の画像処理装置の描画領域に応じて符号化処理された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する第２送信機能と、
を実行させることを特徴とするプログラム。
【請求項２７】
前記抽出機能により抽出された前記関心領域に、優先順位を設定する第２順位設定機能を前記コンピュータに実行させることを特徴する請求項２６記載のプログラム。
【請求項２８】
前記第２復号化機能により復号化された画像データに対して画像処理を行う画像処理機能を前記コンピュータに実行させ、
前記第２送信機能は、前記画像処理機能により画像処理されて前記第２符号化機能により符号化された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する、
ことを特徴する請求項２６または２７記載のプログラム。
【請求項２９】
請求項１５ないし２８のいずれか一記載のプログラムを記憶していることを特徴とする記憶媒体。
【請求項３０】
画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置における画像送信方法において、
ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付工程と、
前記コードストリームを分解して構成要素単位で取り出す分解工程と、
前記コードストリームから関心領域を抽出する抽出工程と、
この抽出工程により抽出された関心領域に優先順位を設定する第１順位設定工程と、
前記関心領域に対応する構成要素単位で分解された前記コードストリームを、前記第１順位設定工程により設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する第１送信工程と、
を有していることを特徴とする画像送信方法。
【請求項３１】
画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置における画像送信方法において、
ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付工程と、
前記コードストリームから関心領域を抽出する抽出工程と、
この抽出工程により抽出された前記関心領域の前記コードストリームを復号化する第２復号化工程と、
この第２復号化工程により復号化された前記関心領域を正規化する正規化工程と、
この正規化工程により正規化された前記関心領域を１つの画像にまとめる集約工程と、
この集約工程により１つの画像にまとめられた前記関心領域を、前記関心領域毎に分割し、分割した前記関心領域を階層的に圧縮し符号化処理する第２符号化工程と、
送信要求した前記他の画像処理装置の描画領域に応じて符号化処理された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する第２送信工程と、
を有していることを特徴とする画像送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、プログラム、記憶媒体及び画像送信方法に関する。
【背景技術】
【０００２】
近年、画像圧縮伸長アルゴリズムとして、高圧縮率でも高画質な画像を復元可能な国際標準としてJPEG2000という新しい方式が規格化されつつある。かかるJPEG2000においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる（特許文献１参照）。また、JPEG2000においては、一つの画像ファイル内で低解像度データと高解像度データとに分けることが可能になっている。
【０００３】
このようなJPEG2000の方式で圧縮された画像ファイルの利用方法の一例としては、次に示すような利用方法が考えられる。例えば、JPEG2000の方式で圧縮された画像ファイルをＷｅｂサーバ等のサーバコンピュータ（以下においては、サーバという。）側にまとめて蓄積し、クライアントコンピュータ（以下においては、クライアントという。）側で必要に応じてサーバにアクセスしてJPEG2000の方式で圧縮された画像ファイルから低解像度データのみを引き取り、ブラウザがサムネイル表示処理を行うような利用方法である。この転送形式としてプログレッシブ送信があり、画像をプログレッシブに表示を行う。このような利用方法によれば、サーバからクライアント側に画像データを送信する際のネットワークトラフィックを軽減することが可能となっており、サムネイル表示処理時間を短縮することが可能になっている。
【０００４】
なお、JPEG2000方式の中には、さらに、JPMといわれる複数の画像を階層別に保持可能な方式や、JPIPと呼ばれるJPEG2000ファイルをHTTPやTCP、IPなどの通信プロトコル上で伝送することができる規格が制定されている。
【０００５】
【特許文献１】特開２００１−１９７５００公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
サーバ中にある画像をサムネイルで表示した中から所望の画像を選択するといったアプリケーションを使用する場合、サーバ中に格納されたサムネイル画像をクライアントのアプリケーション側に送信する必要がある。
【０００７】
しかしながら、通常、このサムネイル画像は単に画像の縮小版でしかなく、サーバ中から画像を見つけ出すという用途に使用する場合には小さすぎて不向きである。したがって、ある程度表示画面サイズの大きな画像を使用したい場合、基本的にこれら全画像のデータの送信が必要となってしまい多大な送信時間がかかり不都合がある。
【０００８】
また、画像をサーバからダウンロードする前段階において、ディスプレイ上での確認作業を行う場合でも、全サムネイル画像の画像データの送信をアプリケーション側にしなければならず、送信時間がかかり確認作業に不便である。
【０００９】
本発明の目的は、必要な画像データを先に送信することで、データ送信時間の短縮化を図るとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことである。
【００１０】
本発明の目的は、必要な画像データのみを送信することで、データ送信時間の短縮化を図るとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことである。
【課題を解決するための手段】
【００１１】
請求項１記載の発明の画像処理装置は、画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置において、ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付手段と、前記コードストリームを分解して構成要素単位で取り出す分解手段と、前記コードストリームから関心領域を抽出する抽出手段と、この抽出手段により抽出された関心領域に優先順位を設定する第１順位設定手段と、前記関心領域に対応する構成要素単位で分解された前記コードストリームを、前記第１順位設定手段により設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する第１送信手段と、を備える。
【００１２】
したがって、画像データ（例えば、JPEG2000コードストリーム）が１つ又は複数の関心領域に分割され、分割した関心領域毎に優先順位が付けられ、優先順位が高い関心領域の画像データ（例えば、JPEG2000コードストリーム）が画像要求元である他の画像処理装置に対して先に送信される。これにより、必要な画像データを先に送信することで、データ送信時間の短縮化が図られるとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
【００１３】
請求項２記載の発明は、請求項１記載の画像処理装置において、前記抽出手段は、絵文字領域分離を行い、その分離結果に基づいて前記関心領域を抽出する。
【００１４】
したがって、文字情報が重要である場合には関心領域として文字情報領域の抽出が可能であり、絵柄情報が重要である場合には関心領域として絵柄情報領域の抽出が可能である。すなわち、文字や絵柄は画像データの内容を知る上で非常に重要な項目であることから、文字や絵柄を関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
【００１５】
請求項３記載の発明は、請求項１記載の画像処理装置において、前記抽出手段は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、前記第１順位設定手段は、分離された文字情報中のタイトルとみなされる文字情報を優先する。
【００１６】
したがって、関心領域として抽出された文字情報中のタイトルとみなされる文字情報が最優先で他の画像処理装置に送信される。文字情報中のタイトルは画像データの内容を知る上で非常に重要な項目であると考えられることから、文字情報中のタイトルを関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
【００１７】
請求項４記載の発明は、請求項１記載の画像処理装置において、前記抽出手段は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、前記第１順位設定手段は、分離された文字情報中の文字サイズの大きい文字情報を優先する。
【００１８】
したがって、関心領域として抽出された文字情報中の文字サイズの大きい文字情報が最優先で他の画像処理装置に送信される。文字サイズの大きい文字情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、文字サイズの大きい文字情報を関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
【００１９】
請求項５記載の発明は、請求項１記載の画像処理装置において、前記抽出手段は、絵文字領域分離を行い、その分離結果である絵柄情報領域を前記関心領域として抽出し、前記第１順位設定手段は、分離された絵柄情報中の絵柄サイズの大きい絵柄情報を優先する。
【００２０】
したがって、関心領域として抽出された文字情報中の絵柄サイズの大きい絵柄情報が最優先で他の画像処理装置に送信される。絵柄サイズの大きい絵柄情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、絵柄サイズの大きい絵柄情報を関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
【００２１】
請求項６記載の発明は、請求項１ないし５のいずれか一記載の画像処理装置において、前記第１順位設定手段は、前記関心領域として抽出された部分の低解像度画像の優先順位を高く設定し、他の部分は前記関心領域以外の領域と同じ優先順位になるような順位付けを行う。
【００２２】
したがって、関心領域として抽出された部分の低解像度画像が最優先で他の画像処理装置に送信された後は、関心領域として抽出された部分の低解像度画像以外の部分と関心領域以外の領域とが他の画像処理装置に送信されるので、関心領域部分以外の領域の内容も比較的早く確認することが可能になる。
【００２３】
請求項７記載の発明は、請求項１ないし５のいずれか一記載の画像処理装置において、前記第１順位設定手段は、前記関心領域として抽出された部分の低解像度画像の優先順位を高くし、他の部分は前記関心領域以外の領域より低い優先順位になるような順位付けを行う。
【００２４】
したがって、関心領域として抽出された部分の低解像度画像が最優先で他の画像処理装置に送信された後は、関心領域以外の領域が関心領域として抽出された部分の低解像度画像以外の部分よりも先に他の画像処理装置に送信されるので、関心領域部分以外の領域の内容を早く確認することが可能になる。
【００２５】
請求項８記載の発明は、請求項１記載の画像処理装置において、前記第１順位設定手段は、前記関心領域における視覚的重要性に対する定量的指標を使用して重要な画像領域を選択して順位付けを行う。
【００２６】
したがって、視覚的重要性に対する定量的指標が高い部分は画像データの内容を知る上で非常に重要な項目であると考えられることから、視覚的重要性に対する定量的指標が高い部分を最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
【００２７】
請求項９記載の発明は、請求項１記載の画像処理装置において、前記第１順位設定手段は、送信要求した前記他の画像処理装置の描画領域に応じて順位付けを行う。
【００２８】
したがって、他の画像処理装置が携帯電話であるような場合には描画領域が小さいことから、関心領域の低域画像（ウェーブレット階層での低解像度画像）のみに優先順位が付与されることにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
【００２９】
請求項１０記載の発明は、請求項１ないし９のいずれか一記載の画像処理装置において、前記第１順位設定手段により高位に順位付けられた前記関心領域の前記コードストリームを復号化する第１復号化手段と、この第１復号化手段により復号化された画像データに対して画像処理を行う画像処理手段と、この画像処理手段により画像処理された画像データを階層的に圧縮し符号化する第１符号化手段と、を備え、前記第１送信手段は、画像処理されて符号化された前記関心領域に対応する構成要素単位で分解された前記コードストリームを、設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する。
【００３０】
したがって、関心領域の画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量の削減が可能となり、送信速度の向上を図ることができる。
【００３１】
請求項１１記載の発明は、請求項１０記載の画像処理装置において、前記画像処理手段は、コントラスト変換処理、色調変換処理、明度変換処理、ノイズ除去処理、平滑化処理の少なくとも一つの処理を行う。
【００３２】
したがって、例えば、関心領域が文字情報である場合には、コントラスト変換処理を行うことにより、文字を鮮明にすることが可能になる。また、関心領域が絵柄情報である場合においてモアレが目立つ場合には、平滑化処理を行うようにすれば良い。
【００３３】
請求項１２記載の発明の画像処理装置は、画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置において、ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付手段と、前記コードストリームから関心領域を抽出する抽出手段と、この抽出手段により抽出された前記関心領域の前記コードストリームを復号化する第２復号化手段と、この第２復号化手段により復号化された前記関心領域を正規化する正規化手段と、この正規化手段により正規化された前記関心領域を１つの画像にまとめる集約手段と、この集約手段により１つの画像にまとめられた前記関心領域を、前記関心領域毎に分割し、分割した前記関心領域を階層的に圧縮し符号化処理する第２符号化手段と、送信要求した前記他の画像処理装置の描画領域に応じて符号化処理された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する第２送信手段と、を備える。
【００３４】
したがって、画像データ（例えば、JPEG2000コードストリーム）から関心領域が抽出され、抽出した各関心領域が１つの画像にまとめられ、各関心領域毎に分割されて階層的に圧縮符号化された画像データ（例えば、JPEG2000コードストリーム）から、送信要求してきた他の画像処理装置の描画領域に応じた送信する画像のサイズが決定され、クライアントに送信される。これにより、必要な画像データのみを送信することで、データ送信時間の短縮化が図られるとともに、画像データを受け取ったクライアント側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
【００３５】
請求項１３記載の発明は、請求項１２記載の画像処理装置において、前記抽出手段により抽出された前記関心領域に、優先順位を設定する第２順位設定手段を備える。
【００３６】
したがって、各関心領域に優先順位が付されることにより、各関心領域を優先順位毎に復元することが可能になる。
【００３７】
請求項１４記載の発明は、請求項１２または１３記載の画像処理装置において、前記第２復号化手段により復号化された画像データに対して画像処理を行う画像処理手段を備え、前記第２送信手段は、前記画像処理手段により画像処理されて前記第２符号化手段により符号化された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する。
【００３８】
したがって、関心領域の画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量の削減が可能となり、送信速度の向上を図ることができる。
【００３９】
請求項１５記載の発明のプログラムは、画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付機能と、前記コードストリームを分解して構成要素単位で取り出す分解機能と、前記コードストリームから関心領域を抽出する抽出機能と、この抽出機能により抽出された関心領域に優先順位を設定する第１順位設定機能と、前記関心領域に対応する構成要素単位で分解された前記コードストリームを、前記第１順位設定機能により設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する第１送信機能と、を実行させる。
【００４０】
したがって、画像データ（例えば、JPEG2000コードストリーム）が１つ又は複数の関心領域に分割され、分割した関心領域毎に優先順位が付けられ、優先順位が高い関心領域の画像データ（例えば、JPEG2000コードストリーム）が画像要求元である他の画像処理装置に対して先に送信される。これにより、必要な画像データを先に送信することで、データ送信時間の短縮化が図られるとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
【００４１】
請求項１６記載の発明は、請求項１５記載のプログラムにおいて、前記抽出機能は、絵文字領域分離を行い、その分離結果に基づいて前記関心領域を抽出する。
【００４２】
したがって、文字情報が重要である場合には関心領域として文字情報領域の抽出が可能であり、絵柄情報が重要である場合には関心領域として絵柄情報領域の抽出が可能である。すなわち、文字や絵柄は画像データの内容を知る上で非常に重要な項目であることから、文字や絵柄を関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
【００４３】
請求項１７記載の発明は、請求項１５記載のプログラムにおいて、前記抽出機能は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、前記第１順位設定機能は、分離された文字情報中のタイトルとみなされる文字情報を優先する。
【００４４】
したがって、関心領域として抽出された文字情報中のタイトルとみなされる文字情報が最優先で他の画像処理装置に送信される。文字情報中のタイトルは画像データの内容を知る上で非常に重要な項目であると考えられることから、文字情報中のタイトルを関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
【００４５】
請求項１８記載の発明は、請求項１５記載のプログラムにおいて、前記抽出機能は、絵文字領域分離を行い、その分離結果である文字情報領域を前記関心領域として抽出し、前記第１順位設定機能は、分離された文字情報中の文字サイズの大きい文字情報を優先する。
【００４６】
したがって、関心領域として抽出された文字情報中の文字サイズの大きい文字情報が最優先で他の画像処理装置に送信される。文字サイズの大きい文字情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、文字サイズの大きい文字情報を関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
【００４７】
請求項１９記載の発明は、請求項１５記載のプログラムにおいて、前記抽出機能は、絵文字領域分離を行い、その分離結果である絵柄情報領域を前記関心領域として抽出し、前記第１順位設定機能は、分離された絵柄情報中の絵柄サイズの大きい絵柄情報を優先する。
【００４８】
したがって、関心領域として抽出された文字情報中の絵柄サイズの大きい絵柄情報が最優先で他の画像処理装置に送信される。絵柄サイズの大きい絵柄情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、絵柄サイズの大きい絵柄情報を関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
【００４９】
請求項２０記載の発明は、請求項１５ないし１９のいずれか一記載のプログラムにおいて、前記第１順位設定機能は、前記関心領域として抽出された部分の低解像度画像の優先順位を高く設定し、他の部分は前記関心領域以外の領域と同じ優先順位になるような順位付けを行う。
【００５０】
したがって、関心領域として抽出された部分の低解像度画像が最優先で他の画像処理装置に送信された後は、関心領域として抽出された部分の低解像度画像以外の部分と関心領域以外の領域とが他の画像処理装置に送信されるので、関心領域部分以外の領域の内容も比較的早く確認することが可能になる。
【００５１】
請求項２１記載の発明は、請求項１５ないし１９のいずれか一記載のプログラムにおいて、前記第１順位設定機能は、前記関心領域として抽出された部分の低解像度画像の優先順位を高くし、他の部分は前記関心領域以外の領域より低い優先順位になるような順位付けを行う。
【００５２】
したがって、関心領域として抽出された部分の低解像度画像が最優先で他の画像処理装置に送信された後は、関心領域以外の領域が関心領域として抽出された部分の低解像度画像以外の部分よりも先に他の画像処理装置に送信されるので、関心領域部分以外の領域の内容を早く確認することが可能になる。
【００５３】
請求項２２記載の発明は、請求項１５記載のプログラムにおいて、前記第１順位設定手段は、前記関心領域における視覚的重要性に対する定量的指標を使用して重要な画像領域を選択して順位付けを行う。
【００５４】
したがって、視覚的重要性に対する定量的指標が高い部分は画像データの内容を知る上で非常に重要な項目であると考えられることから、視覚的重要性に対する定量的指標が高い部分を最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
【００５５】
請求項２３記載の発明は、請求項１５記載のプログラムにおいて、前記第１順位設定手段は、送信要求した前記他の画像処理装置の描画領域に応じて順位付けを行う。
【００５６】
したがって、他の画像処理装置が携帯電話であるような場合には描画領域が小さいことから、関心領域の低域画像（ウェーブレット階層での低解像度画像）のみに優先順位が付与されることにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
【００５７】
請求項２４記載の発明は、請求項１５ないし２３のいずれか一記載のプログラムにおいて、前記第１順位設定機能により高位に順位付けられた前記関心領域の前記コードストリームを復号化する第１復号化機能と、この第１復号化機能により復号化された画像データに対して画像処理を行う画像処理機能と、この画像処理機能により画像処理された画像データを階層的に圧縮し符号化する第１符号化機能と、を前記コンピュータに実行させ、前記第１送信機能は、画像処理されて符号化された前記関心領域に対応する構成要素単位で分解された前記コードストリームを、設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する。
【００５８】
したがって、関心領域の画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量の削減が可能となり、送信速度の向上を図ることができる。
【００５９】
請求項２５記載の発明は、請求項２４記載のプログラムにおいて、前記画像処理機能は、コントラスト変換処理、色調変換処理、明度変換処理、ノイズ除去処理、平滑化処理の少なくとも一つの処理を行う。
【００６０】
したがって、例えば、関心領域が文字情報である場合には、コントラスト変換処理を行うことにより、文字を鮮明にすることが可能になる。また、関心領域が絵柄情報である場合においてモアレが目立つ場合には、平滑化処理を行うようにすれば良い。
【００６１】
請求項２６記載の発明のプログラムは、画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付機能と、前記コードストリームから関心領域を抽出する抽出機能と、この抽出機能により抽出された前記関心領域の前記コードストリームを復号化する第２復号化機能と、この第２復号化機能により復号化された前記関心領域を正規化する正規化機能と、この正規化機能により正規化された前記関心領域を１つの画像にまとめる集約機能と、この集約機能により１つの画像にまとめられた前記関心領域を、前記関心領域毎に分割し、分割した前記関心領域を階層的に圧縮し符号化処理する第２符号化機能と、送信要求した前記他の画像処理装置の描画領域に応じて符号化処理された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する第２送信機能と、を実行させる。
【００６２】
したがって、画像データ（例えば、JPEG2000コードストリーム）から関心領域が抽出され、抽出した各関心領域が１つの画像にまとめられ、各関心領域毎に分割されて階層的に圧縮符号化された画像データ（例えば、JPEG2000コードストリーム）から、送信要求してきた他の画像処理装置の描画領域に応じた送信する画像のサイズが決定され、クライアントに送信される。これにより、必要な画像データのみを送信することで、データ送信時間の短縮化が図られるとともに、画像データを受け取ったクライアント側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
【００６３】
請求項２７記載の発明は、請求項２６記載のプログラムにおいて、前記抽出機能により抽出された前記関心領域に、優先順位を設定する第２順位設定機能を前記コンピュータに実行させる。
【００６４】
したがって、各関心領域に優先順位が付されることにより、各関心領域を優先順位毎に復元することが可能になる。
【００６５】
請求項２８記載の発明は、請求項２６または２７記載のプログラムにおいて、前記第２復号化機能により復号化された画像データに対して画像処理を行う画像処理機能を前記コンピュータに実行させ、前記第２送信機能は、前記画像処理機能により画像処理されて前記第２符号化機能により符号化された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する。
【００６６】
したがって、関心領域の画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量の削減が可能となり、送信速度の向上を図ることができる。
【００６７】
請求項２９記載の発明の記憶媒体は、請求項１５ないし２８のいずれか一記載のプログラムを記憶している。
【００６８】
したがって、この記憶媒体に記憶されたプログラムをコンピュータにインストールするか、あるいは解釈させることにより、請求項１３ないし２４のいずれか一記載の発明と同様の作用を得ることが可能になる。
【００６９】
請求項３０記載の発明の画像送信方法は、画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置における画像送信方法において、ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付工程と、前記コードストリームを分解して構成要素単位で取り出す分解工程と、前記コードストリームから関心領域を抽出する抽出工程と、この抽出工程により抽出された関心領域に優先順位を設定する第１順位設定工程と、前記関心領域に対応する構成要素単位で分解された前記コードストリームを、前記第１順位設定工程により設定された優先順位に基づいて送信要求した前記他の画像処理装置に送信する第１送信工程と、を有している。
【００７０】
したがって、画像データ（例えば、JPEG2000コードストリーム）が１つ又は複数の関心領域に分割され、分割した関心領域毎に優先順位が付けられ、優先順位が高い関心領域の画像データ（例えば、JPEG2000コードストリーム）が画像要求元である他の画像処理装置に対して先に送信される。これにより、必要な画像データを先に送信することで、データ送信時間の短縮化が図られるとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
【００７１】
請求項３１記載の発明の画像送信方法は、画像データを１つまたは複数の領域に分割し、各領域を階層的に圧縮符号化して符号列として生成したコードストリームを格納する画像処理装置における画像送信方法において、ネットワークを介して接続された他の画像処理装置からの画像送信の要求を受け付ける受付工程と、前記コードストリームから関心領域を抽出する抽出工程と、この抽出工程により抽出された前記関心領域の前記コードストリームを復号化する第２復号化工程と、この第２復号化工程により復号化された前記関心領域を正規化する正規化工程と、この正規化工程により正規化された前記関心領域を１つの画像にまとめる集約工程と、この集約工程により１つの画像にまとめられた前記関心領域を、前記関心領域毎に分割し、分割した前記関心領域を階層的に圧縮し符号化処理する第２符号化工程と、送信要求した前記他の画像処理装置の描画領域に応じて符号化処理された前記コードストリームから、送信する画像のサイズの前記コードストリームを抽出し、送信要求した前記他の画像処理装置に送信する第２送信工程と、を有している。
【００７２】
したがって、画像データ（例えば、JPEG2000コードストリーム）から関心領域が抽出され、抽出した各関心領域が１つの画像にまとめられ、各関心領域毎に分割されて階層的に圧縮符号化された画像データ（例えば、JPEG2000コードストリーム）から、送信要求してきた他の画像処理装置の描画領域に応じた送信する画像のサイズが決定され、クライアントに送信される。これにより、必要な画像データのみを送信することで、データ送信時間の短縮化が図られるとともに、画像データを受け取ったクライアント側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
【発明の効果】
【００７３】
請求項１，１５，３０記載の発明によれば、画像データ（例えば、JPEG2000コードストリーム）を１つ又は複数の関心領域に分割し、分割した関心領域毎に優先順位を付け、優先順位が高い関心領域の画像データ（例えば、JPEG2000コードストリーム）を画像要求元である他の画像処理装置に対して先に送信することにより、必要な画像データを先に送信することで、データ送信時間の短縮化を図るとともに、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことができる。
【００７４】
請求項２，１６記載の発明によれば、文字情報が重要である場合には関心領域として文字情報領域を抽出することができ、絵柄情報が重要である場合には関心領域として絵柄情報領域を抽出することができる。すなわち、文字や絵柄は画像データの内容を知る上で非常に重要な項目であることから、文字や絵柄を関心領域として最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。
【００７５】
請求項３，１７記載の発明によれば、関心領域として抽出された文字情報中のタイトルとみなされる文字情報を最優先で他の画像処理装置に送信することにより、文字情報中のタイトルは画像データの内容を知る上で非常に重要な項目であると考えられることから、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。
【００７６】
請求項４，１８記載の発明によれば、関心領域として抽出された文字情報中の文字サイズの大きい文字情報を最優先で他の画像処理装置に送信することにより、文字サイズの大きい文字情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。
【００７７】
請求項５，１９記載の発明によれば、関心領域として抽出された文字情報中の絵柄サイズの大きい絵柄情報を最優先で他の画像処理装置に送信することにより、絵柄サイズの大きい絵柄情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。
【００７８】
請求項６，２０記載の発明によれば、関心領域として抽出された部分の低解像度画像が最優先で他の画像処理装置に送信された後は、関心領域として抽出された部分の低解像度画像以外の部分と関心領域以外の領域とを他の画像処理装置に送信するので、関心領域部分以外の領域の内容も比較的早く確認することができる。
【００７９】
請求項７，２１記載の発明によれば、関心領域として抽出された部分の低解像度画像を最優先で他の画像処理装置に送信した後は、関心領域以外の領域を関心領域として抽出された部分の低解像度画像以外の部分よりも先に他の画像処理装置に送信するので、関心領域部分以外の領域の内容を早く確認することができる。
【００８０】
請求項８，２２記載の発明によれば、視覚的重要性に対する定量的指標が高い部分は画像データの内容を知る上で非常に重要な項目であると考えられることから、視覚的重要性に対する定量的指標が高い部分を最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。
【００８１】
請求項９，２３記載の発明によれば、他の画像処理装置が携帯電話であるような場合には描画領域が小さいことから、関心領域の低域画像（ウェーブレット階層での低解像度画像）のみに優先順位を付与することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことができる。
【００８２】
請求項１０，２４記載の発明によれば、関心領域の画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量の削減ができ、送信速度の向上を図ることができる。
【００８３】
請求項１１，２５記載の発明によれば、例えば、関心領域が文字情報である場合には、コントラスト変換処理を行うことにより、文字を鮮明にすることができる。また、関心領域が絵柄情報である場合においてモアレが目立つ場合には、平滑化処理を行うようにすれば良い。
【００８４】
請求項１２，２６，３１記載の発明によれば、画像データ（例えば、JPEG2000コードストリーム）から関心領域を抽出し、抽出した各関心領域を１つの画像にまとめ、各関心領域毎に分割されて階層的に圧縮符号化された画像データ（例えば、JPEG2000コードストリーム）から、送信要求してきた他の画像処理装置の描画領域に応じた送信する画像のサイズを決定し、クライアントに送信することにより、必要な画像データのみを送信することで、データ送信時間の短縮化を図かるとともに、画像データを受け取ったクライアント側においては画像の確認作業を迅速に行うことができる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことができる。
【００８５】
請求項１３，２７記載の発明によれば、各関心領域に優先順位を付すことにより、各関心領域を優先順位毎に復元することができる。
【００８６】
請求項１４，２８記載の発明によれば、関心領域の画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量を削減することができ、送信速度の向上を図ることができる。
【００８７】
請求項２９記載の発明によれば、この記憶媒体に記憶されたプログラムをコンピュータにインストールするか、あるいは解釈させることで、請求項１３ないし２４のいずれか一記載の発明と同様の作用効果を得ることができる。
【発明を実施するための最良の形態】
【００８８】
［JPEG2000について］
最初に、本発明の前提となる「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」の概要について説明する。
【００８９】
図１は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００９０】
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、JPEGの後継アルゴリズムであるJPEG2000でＤＷＴが採用された大きな理由の一つとなっている。
【００９１】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。つまり、ひとつのファイルから低解像度部分（縮小画像）を取り出すことができるようになる。また、画像の一部（タイリング画像）を取り出すことができるようになる。
【００９２】
原画像の入出力部分には、色空間変換・逆変換１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
【００９３】
次に、JPEG2000アルゴリズムについて説明する。
【００９４】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネントごと、また、タイル１１２ごとに、独立に行われる。
【００９５】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【００９６】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００９７】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【００９８】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００９９】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【０１００】
ここで、図５はビットプレーンに順位付けする手順の一例を示す説明図である。図５に示すように、この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号０から３まで、コード・ブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジション・レベル１のウェーブレット係数値を求めている。
【０１０１】
また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」構成の概念の一例を示す説明図も図５に併せて示す。変換後のコード・ブロックは、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【０１０２】
レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１，３のビットプレーンから成っている。そして、ＬＳＢ（Least Significant Bit：最下位ビット）に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ（Most Significant Bit：最上位ビット）に近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【０１０３】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【０１０４】
図６には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ（bit stream）の先頭にはヘッダ（メインヘッダ（Main header）、タイル境界位置情報等であるタイルパートヘッダ（tile part header））と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Main header）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（end of codestream）が置かれる。また、図７は、符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコードストリーム構造を示すものである。図７に示すように、タイルによる分割処理を行っても、あるいはタイルによる分割処理を行わなくても、同様のパケット列構造を持つことになる。
【０１０５】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【０１０６】
以上が、「JPEG2000アルゴリズム」の概要である。
【０１０７】
[第一の実施の形態]
本発明の第一の実施の形態について説明する。なお、ここでは、JPEG2000を代表とする画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【０１０８】
本実施の形態のサーバコンピュータ及びクライアントコンピュータは、そのコンピュータにインストールされるか、あるいは解釈されて実行される画像処理プログラムによって動作制御されて画像処理を実行する。本実施の形態では、そのような画像処理プログラムを記憶する記憶媒体も紹介する。
【０１０９】
図８は、本実施の形態におけるシステム構築例を示す模式図である。
【０１１０】
本実施の形態の画像データ処理システムでは、画像処理装置であるサーバコンピュータ（以下においては、サーバという。）２にＬＡＮ（Local Area Network）等のネットワーク３を介して画像処理装置であるクライアントコンピュータ（以下においては、クライアントという。）４が複数台接続されたサーバクライアントシステム１を想定する。このサーバクライアントシステム１は、スキャナやデジタルカメラ等の画像入力機器５及びプリンタ等の画像出力機器６をネットワーク３上でシェアし得る環境が整えられている。また、ネットワーク３上には、ＭＦＰ（Multi Function Peripheral：デジタル複合機）７が接続され、このＭＦＰ７が画像入力機器５や画像出力機器６として機能するように環境が構築されていても良い。
【０１１１】
このようなサーバクライアントシステム１は、例えばイントラネット８を介して別のサーバクライアントシステム１とのデータ通信可能に構築され、インターネット通信網９を介して外部環境とデータ通信可能に構築されている。
【０１１２】
サーバ２は、各種画像イメージを画像データとして記憶する画像管理機能を発揮するものである。
【０１１３】
図９は、本実施の形態における画像処理装置としてのサーバ２及びクライアント４のモジュール構成図である。
【０１１４】
サーバ２及びクライアント４は、情報処理を行うＣＰＵ（Central Processing Unit）１１、情報を格納するＲＯＭ（Read Only Memory）１２及びＲＡＭ（Random Access Memory）１３等の一次記憶装置１４、種々のフォーマットのデータファイル（画像データや文書データ）及び後述する圧縮符号を記憶する記憶部であるＨＤＤ（Hard Disk Drive）１５等の二次記憶装置１６、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ等のリムーバブルディスク装置１７、ネットワーク３を介して外部の他のコンピュータと通信により情報を伝達するためのネットワークインターフェース１８、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示装置１９、並びに操作者がＣＰＵ１１に命令や情報等を入力するためのキーボード２０、マウス等のポインティングデバイス２１等から構成されており、これらの各部間で送受信されるデータをバスコントローラ２２が調停して動作する。
【０１１５】
なお、本実施の形態においては、クライアント４として一般的なパーソナルコンピュータを適用して説明しているが、これに限るものではなく、ＰＤＡ（Personal Digital Assistants）と称される携帯用情報端末palmTopＰＣ、携帯電話、ＰＨＳ（Personal Handyphone System）等であっても良い。
【０１１６】
本実施の形態においては、サーバ２のＨＤＤ１５に圧縮符号化された画像データが記憶保持される。なお、サーバ２のＨＤＤ１５に記憶保持されている画像データは、「JPEG2000アルゴリズム」に従って生成された圧縮符号である。より具体的には、圧縮符号は、図１０に示すような矩形領域（タイル）に分割された分割画像を圧縮符号化して一次元に並べることにより、図１１に示すような構成になる。図１１において、ＳＯＣは、コードストリームの開始を示すマーカセグメントである。また、ＭＨは、メインヘッダであり、コードストリーム全体に共通する値を格納している。コードストリーム全体に共通する値としては、例えばタイル横量、タイル縦量、画像横量、画像縦量などが記録されている。ＭＨに続くデータは、各タイルを符号化したデータであり、図１１では図１０に示すタイルの番号に従って主走査方向／副走査方向に各タイルを圧縮したデータが並べられている。圧縮符号の最後にあるＥＯＣマーカは、圧縮符号の最後であることを示すマーカセグメントである。
【０１１７】
また、図１２は「JPEG2000アルゴリズム」に従って生成された圧縮符号の解像度モデルを示す説明図である。図１２に示すように、「JPEG2000アルゴリズム」に従って生成された圧縮符号においては、一つの画像ファイル内で低解像度データと高解像度データとに分けることが可能になっている。なお、図１２では２種類の解像度だけを示しているが、実際には、全てのデータを１とすると、ＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）に応じて、1/2，1/4，1/8，1/16，・・・，1/2ｎと複数の低解像度部分に係る圧縮符号を抽出することが可能である。
【０１１８】
このようなサーバ２及びクライアント４では、ユーザが電源を投入するとＣＰＵ１１がＲＯＭ１２内のローダーというプログラムを起動させ、ＨＤＤ１５よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ１３に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
【０１１９】
ここで、サーバ２及びクライアント４は、アプリケーションプログラムとして、画像処理プログラムをＨＤＤ１５に記憶している。この意味で、ＨＤＤ１５は、画像処理プログラムを記憶する記憶媒体として機能する。
【０１２０】
また、一般的には、サーバ２及びクライアント４のＨＤＤ１５等の二次記憶装置１６にインストールされる動作プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等に記録され、この記録された動作プログラムがＨＤＤ１５等の二次記憶装置１６にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムは、例えばネットワークインターフェース１８を介して外部から取り込まれ、ＨＤＤ１５等の二次記憶装置１６にインストールされても良い。
【０１２１】
サーバ２及びクライアント４は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、ＣＰＵ１１が各種の演算処理を実行して各部を集中的に制御する。サーバ２のＣＰＵ１１又はクライアント４のＣＰＵ１１が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。
【０１２２】
なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路（図示せず）を別途設け、論理回路の動作により各種の演算処理を実行するようにするのが望ましい。
【０１２３】
ここで、サーバ２のＣＰＵ１１及びクライアント４のＣＰＵ１１が実行する画像要求／表示処理について説明する。図１３は、画像要求／表示処理の流れを示すフローチャートである。図１３に示すように、サーバ２及びクライアント４によって実行される画像要求／表示処理は、まず、キーボード２０又はポインティングデバイス２１の操作によりオペレータ（クライアント４を操作するユーザ）が、サーバ２のＨＤＤ１５に記憶保持されているJPEG2000の画像ファイル名を決定する（ステップＳ１）。
【０１２４】
クライアント４においては、続くステップＳ２で、受信処理を起動する。この段階では後述するステップＳ４における「受信処理」で示される動作を行うプログラムに起動をかける。この受信処理プログラム自体は、サーバ２からのレスポンス受信を完了するまで待機状態となる。
【０１２５】
ステップＳ３では、ステップＳ１で決定されたJPEG2000の画像ファイル名をリクエスト信号としてサーバ２に対して送信する。
【０１２６】
以上のステップＳ１〜Ｓ３により画像要求処理が実行されている。
【０１２７】
なお、クライアント４からのリクエスト信号には、当該クライアント４の表示装置１９の描画領域を示す描画領域信号も包含される。描画領域信号は、表示装置１９に描画されるウィンドウの大きさを示すものである。描画領域とは、画像が描画される全ての領域をいう。例えば、表示装置１９全体への描画領域（ＰＤＡ、palmTopＰＣ、LegacyＰＣ等）、マルチウィンドウ時の特定のウィンドウに対する描画領域（通常のパーソナルコンピュータ等）、あるアプリケーションに画像を貼り付ける時の描画領域（アルバムソフトウェアへのサムネイル画像の貼り付け等）である。
【０１２８】
一方、サーバ２は、サービス終了信号の検知（ステップＴ１のＹ）、またはクライアント４からのリクエスト信号の受信（ステップＴ２のＹ）に待機している。
【０１２９】
以下においては、クライアント４から画像要求があった場合について説明する。
【０１３０】
JPEG2000の画像ファイル名をクライアント４からのリクエスト信号として受信すると（ステップＴ２のＹ：受付手段）、JPEG2000の画像ファイルに対してクライアント４の描画領域に応じた画像送信処理を実行する（ステップＴ３）。
【０１３１】
ここで、サーバ２のＣＰＵ１１が画像処理プログラムに基づいて実行する画像送信処理の内容について説明する。図１４は、サーバ２の画像送信処理に係る機能ブロック図である。図１４に示すように、ＣＰＵ１１は画像処理プログラムに基づいて動作することで、サーバ２のＨＤＤ１５に記憶保持されている所定のJPEG2000コードストリームを分解して構成要素単位で取り出す分解手段であるコードストリーム分解部３１、関心領域を抽出する抽出手段である関心領域抽出部３２、関心領域抽出部３２で抽出された各関心領域の優先順位を設定する第１順位設定手段である優先順位設定部３３、優先順位設定部３３により高位に位置づけられたコードストリームを「JPEG2000アルゴリズム」に従って復号化する第１復号化手段であるデコード部３４、デコード部３４により復号化された画像に対して画像処理を行う画像処理手段である画像処理部３５、画像処理部３５により画像処理された画像データを「JPEG2000アルゴリズム」に従って符号化する第１符号化手段であるエンコード部３６、第１送信手段であるデータ送信部３７の各機能を実現する。
【０１３２】
コードストリーム分解部３１は、JPEG2000コードストリームをヘッダと構成する要素とに分解する。この分解にはJPIPでは２種類あり、タイルデータを取り出すTileベースのJPTストリームとプリシンクトデータを取り出すPrecinctsベースのJPPストリームの方法がある。
【０１３３】
関心領域抽出部３２が抽出する関心領域は、例えば、画像を絵文字分離した結果等である。文字情報が重要である場合には関心領域として文字情報領域の抽出が可能であり、絵柄情報が重要である場合には関心領域として絵柄情報領域の抽出が可能である。すなわち、文字や絵柄は画像データの内容を知る上で非常に重要な項目であることから、文字や絵柄を関心領域として最優先で画像要求元であるクライアント４に送信することにより、画像データを受け取った画像要求元であるクライアント４側においては画像の確認作業を迅速に行うことが可能になる。画像の絵文字分離の方式は様々な方式が提案されているが、例えば特許3278431号公報に記載されているように、画像に対して２値化処理を行い、画像の黒連結成分塊の大きさを利用して、文字らしい大きさの塊をさらに文字行として統合する方法などを用いて文書画像の属性を決定し、画像を分割する等の方式がある。
【０１３４】
また、JPEG2000におけるＲＯＩ（Region Of Interest）領域を関心領域抽出部３２が抽出する関心領域としても良い。このＲＯＩ領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。ＲＯＩとは、他の部分に比べて相対的に画質を向上させるための技術であるが、その内容については周知であるので、説明は省略する。
【０１３５】
優先順位設定部３３における優先順位の設定基準の一例としては、
１．画像を絵文字分離した結果の文字情報を優先
２．分離された文字情報中のタイトルとみなされる文字情報を優先
２．分離された文字情報中の文字サイズの大きい文字情報を優先
という基準例が挙げられる。「タイトルとみなされる文字情報」又は「文字サイズの大きい文字情報」は、画像データを判断する上で重要な情報とみなされるからである。なお、「タイトルとみなされる文字情報」か否かの判断は、位置及び文字サイズ等によって判断される。また、文字色やアンダーラインの有無によって「タイトルとみなされる文字情報」か否かの判断を行うようにしても良い。すなわち、設定基準が「画像を絵文字分離した結果の文字情報を優先」である場合は、文字情報領域の部分のコードストリームの優先順位が高くなるような処理を行う。また、設定基準が「タイトルとみなされる文字情報」である場合は、入力画像に対しタイトル抽出処理を行いタイトル領域の情報を求め、この情報をもとにタイトル部分のコードストリームの優先順位が更に高くなるような処理を行う。一方、設定基準が「文字サイズの大きい文字情報」である場合は、入力画像に対し文字の大きさ判定処理を行い文字のサイズの情報を求め、この情報をもとに文字のサイズが大きい部分のコードストリームの優先順位が更に高くなるような処理を行う。すなわち、関心領域として抽出された文字情報中のタイトルとみなされる文字情報や関心領域として抽出された文字情報中の文字サイズの大きい文字情報が最優先で画像要求元であるクライアント４に送信されることになる。文字情報中のタイトルや文字サイズの大きい文字情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、画像データを受け取った画像要求元であるクライアント４側においては画像の確認作業を迅速に行うことが可能になる。
【０１３６】
また、設定基準の一例としては、
１．画像を絵文字分離した結果の絵柄情報を優先
２．分離された絵柄情報中の絵柄サイズの大きい絵柄情報を優先
という基準例が挙げられる。「絵柄サイズの大きい絵柄情報」は、画像データを判断する上で重要な情報とみなされるからである。すなわち、関心領域として抽出された文字情報中の絵柄サイズの大きい絵柄情報が最優先で画像要求元であるクライアント４に送信されることになる。絵柄サイズの大きい絵柄情報は画像データの内容を知る上で非常に重要な項目であると考えられることから、画像データを受け取った画像要求元であるクライアント４側においては画像の確認作業を迅速に行うことが可能になる。
【０１３７】
さらに、上述したような設定基準により優先順位が設定された情報においては、更なる順位付けが可能である。例えば、関心領域として抽出された部分の全てのコードストリームの順位が他の領域より高くなるような順位付けと、関心領域として抽出された部分の低域画像（つまりウェーブレット階層での低解像度画像）の優先順位を高くし他の部分は関心領域以外の領域と同じ優先順位になるような順位付けと、関心領域として抽出された部分の低域画像（つまりウェーブレット階層での低解像度画像）の優先順位を高くし他の部分は関心領域以外の領域より低い優先順位になるような順位付けの３種類が挙げられる。関心領域として抽出された部分の低域画像（つまりウェーブレット階層での低解像度画像）の優先順位を高くし他の部分は関心領域以外の領域と同じ優先順位になるような順位付けの場合には、関心領域として抽出された部分の低解像度画像が最優先で画像要求元であるクライアント４に送信された後は、関心領域として抽出された部分の低解像度画像以外の部分と関心領域以外の領域とが画像要求元であるクライアント４に送信されるので、関心領域部分以外の領域の内容も比較的早く確認することが可能になる。関心領域として抽出された部分の低域画像（つまりウェーブレット階層での低解像度画像）の優先順位を高くし他の部分は関心領域以外の領域より低い優先順位になるような順位付けの場合には、関心領域として抽出された部分の低解像度画像が最優先で画像要求元であるクライアント４に送信された後は、関心領域以外の領域が関心領域として抽出された部分の低解像度画像以外の部分よりも先に画像要求元であるクライアント４に送信されるので、関心領域部分以外の領域の内容を早く確認することが可能になる。
【０１３８】
さらにまた、優先順位設定部３３における優先順位の決定手法としては、JPEG2000ファイル情報のヘッダ情報からマルチスケール領域における画像符号器のエントロピー分布又はビット割当を推定して基礎画像特徴の視覚的重要性に対する定量的指標とし、この視覚的重要性に対する定量的指標を使用して重要な画像領域を選択して順位付けを行うようにしても良い（例えば、特開２００３−２３００１２公報参照）。詳細には、JPEG2000ファイル情報のヘッダ情報から、符号ブロックの長さ、零ビットプレーンの数、符号化パスの数のようなファイル情報がエントロピー分布を判定するために使用される。したがって、視覚的重要性に対する定量的指標が高い部分は画像データの内容を知る上で非常に重要な項目であると考えられることから、視覚的重要性に対する定量的指標が高い部分を最優先で他の画像処理装置に送信することにより、画像データを受け取った他の画像処理装置側においては画像の確認作業を迅速に行うことが可能になる。
【０１３９】
また、優先順位設定部３３における優先順位の設定は、クライアント４からのリクエスト信号に包含される当該クライアント４の描画領域を示す描画領域信号に応じて実行するようにしても良い。すなわち、クライアント４が携帯電話であるような場合には表示装置１９の描画領域が小さいことから、関心領域の低域画像（ウェーブレット階層での低解像度画像）のみに優先順位が付与されることになる。
【０１４０】
デコード部３４は、関心領域抽出部４１で抽出された関心領域のJPEG2000コードストリームを「JPEG2000アルゴリズム」に従って復号化処理する。復号化処理については、図１で示した空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の説明において前述したので、ここでの説明は省略する。
【０１４１】
画像処理部３５は、デコード部３４により復号化された画像に対し、コントラスト変換処理、色調変換処理、明度変換処理、ノイズ除去処理、平滑化処理等の少なくとも１つの処理を行う。例えば、関心領域が文字情報である場合には、コントラスト変換処理を行うことにより、文字を鮮明にすることができる。また、関心領域が絵柄情報である場合においてモアレが目立つ場合には、平滑化処理を行うようにすれば良い。このようにデコード部３４により復号化された画像、つまり関心領域の画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量の削減が可能となり、送信速度の向上を図ることができる。
【０１４２】
エンコード部３６は、画像処理部３５で画像処理された画像を「JPEG2000アルゴリズム」に従って符号化処理する。符号化処理については、図１で示した空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の説明において前述したので、ここでの説明は省略する。
【０１４３】
上述したように、サーバ２における画像送信処理は、画像データ（JPEG2000コードストリーム）から１つ又は複数の関心領域を抽出し、抽出した関心領域毎に優先順位を付け、優先順位が高い関心領域の画像を先にリクエスト信号を送信してきたクライアント４に対して送信するようにしたものである。例えば、関心領域として抽出された部分の低域画像（つまりウェーブレット階層での低解像度画像）の優先順位を高くし他の部分は関心領域以外の領域より低い優先順位になるような順位付けの場合には、まず、関心領域として抽出された部分の低域画像（つまりウェーブレット階層での低解像度画像）が送信され、次に関心領域以外の領域の低域画像（つまりウェーブレット階層での低解像度画像）が送信され、続いて関心領域として抽出された部分の高域画像（つまりウェーブレット階層での高解像度画像）が送信され、最後に関心領域以外の領域の高域画像（つまりウェーブレット階層での高解像度画像）が送信されることになる。
【０１４４】
続くステップＴ４では、リクエスト信号を送信してきたクライアント４に対して画像データ（JPEG2000コードストリーム）が正しく送信されたか否かをチェックする。クライアントに対して画像データ（JPEG2000コードストリーム）が正しく送信されない要因としては、クライアント４がビジー状態とか、ネットワークが切断された、など様々なネットワーク障害に起因するエラー対策があるが、詳細についてはここでは省略する。
【０１４５】
クライアント４に対して画像データ（JPEG2000コードストリーム）が正しく送信されていない場合は（ステップＴ４のＮ）、ステップＴ３に戻り、リクエスト信号を送信してきたクライアント４に対して作成された画像データ（JPEG2000コードストリーム）を再度送信する。
【０１４６】
クライアント４に対して画像データ（JPEG2000コードストリーム）が正しく送信されている場合は（ステップＴ４のＹ）、ステップＴ１に戻り、次のリクエストに向けて待機する。
【０１４７】
そして、サービス終了信号を検知したときは（ステップＴ１のＹ）、サービスを終了する。このようにすることで、一連のサービスが一巡したところでサービスを終了するように、初期段階でチェックすることが可能になっている。
【０１４８】
そして、クライアント４は、サーバ２から画像データ（JPEG2000コードストリーム）を受信すると（ステップＳ４のＹ）、当該画像データ（JPEG2000コードストリーム）に対して伸長処理（復号化処理）を実行し（ステップＳ５）、表示装置１９に表示する（ステップＳ６）。なお、「JPEG2000アルゴリズム」に従った復号化処理は、周知の技術であることから、ここでの説明は省略する。
【０１４９】
以上のステップＳ４〜Ｓ６により画像表示処理が実行されている。
【０１５０】
このように本実施の形態によれば、画像データ（JPEG2000コードストリーム）を１つ又は複数の関心領域に分割し、分割した関心領域毎に優先順位を付け、優先順位が高い関心領域の画像データ（JPEG2000コードストリーム）が画像要求元であるクライアント４に対して先に送信される。これにより、データ送信時間の短縮化が図られるとともに、画像データを受け取ったクライアント４側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
【０１５１】
[第二の実施の形態]
本発明の第二の実施の形態を図１５および図１６に基づいて説明する。なお、前述した第一の実施の形態と同一部分は同一符号で示し説明も省略する。本実施の形態は、前述した第一の実施の形態とは、サーバ２における画像送信処理の内容が異なるものである。
【０１５２】
図１５は、本発明の第二の実施の形態のサーバ２の画像送信処理に係る機能ブロック図である。図１５に示すように、ＣＰＵ１１は画像処理プログラムに基づいて動作することで、サーバ２のＨＤＤ１５に記憶保持されている所定のJPEG2000コードストリームから関心領域を抽出する抽出手段である関心領域抽出部４１、関心領域抽出部４１で抽出された各関心領域を「JPEG2000アルゴリズム」に従って復号化する第２復号化手段であるデコード部４２、デコード部４２により復号化された画像を正規化する正規化手段である正規化処理部４３、正規化処理部４３により正規化された各関心領域を１つの画像にまとめる集約手段である画像集約部４４、画像集約部４４により集約された画像に対して画像処理を行う画像処理手段である画像処理部４５、画像処理部４５により画像処理された画像データを「JPEG2000アルゴリズム」に従って符号化する第２符号化手段であるエンコード部４６、第２送信手段であるデータ送信部４７の各機能を実現する。
【０１５３】
関心領域抽出部４１が抽出する関心領域は、前述した関心領域抽出部３２と同様であるので、説明は省略する。
【０１５４】
デコード部４２は、関心領域抽出部４１で抽出された関心領域を「JPEG2000アルゴリズム」に従って復号化処理する。復号化処理については、図１で示した空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の説明において前述したので、ここでの説明は省略する。
【０１５５】
正規化処理部４３は、関心領域抽出部４１で抽出され、デコード部４２により「JPEG2000アルゴリズム」に従って復号化された各関心領域の画像を正規化する。例えば、関心領域として文字情報領域が抽出された場合、抽出された文字情報領域は、様々な大きさの場合がある。具体的には、タイトルは大きく、それ以外の文字は小さいなど文字フォントの大きさが違っていることが通常である。そこで、本実施の形態においては、抽出された各関心領域（例えば、文字情報領域）における文字行の文字高さで各文字行を正規化する。図１６に示すように、文字高さの正規化は、各関心領域（例えば、文字情報領域）における文字行の文字高さの中で、最大のものに合わせて他の関心領域（例えば、文字情報領域）における文字行を拡大する（図１６（ｃ））。なお、文字高さの正規化は、各関心領域（例えば、文字情報領域）における文字行の文字高さの中で、最小のものに合わせて他の関心領域（例えば、文字情報領域）における文字行を縮小しても良い。あるいは、人間が認識できる文字サイズ（例えば、６０画素）や、その後の処理（例えば、ＯＣＲ処理）にとって最適な文字サイズに合わせて正規化しても良い。
【０１５６】
さらには、関心領域（例えば、文字情報領域）における文字行の幅で正規化を行う。関心領域（例えば、文字情報領域）における文字行の幅の正規化は、文字高さの正規化後に、最も幅の大きな文字幅に統一する（図１６（ｄ））。図１６（ｄ）に示す例では「方針発表会」という関心領域（文字情報領域）は、文字幅が小さいが、これは左詰めで画像を詰めて、右側は背景（白）として画像を構成する。
【０１５７】
画像集約部４４は、正規化処理部４３により正規化された各関心領域を１つの画像にまとめる。図１６（ｅ）に示すように、各Ｈ×Ｗの大きさの関心領域画像が３Ｈ×Ｗの大きさの１つの画像にまとめられる。
【０１５８】
画像処理部４５は、画像集約部４４により１つの画像にまとめられた関心領域画像に対し、コントラスト変換処理、色調変換処理、明度変換処理、ノイズ除去処理、平滑化処理等の少なくとも１つの処理を行う。例えば、関心領域が文字情報である場合には、コントラスト変換処理を行うことにより、文字を鮮明にすることができる。また、関心領域が絵柄情報である場合においてモアレが目立つ場合には、平滑化処理を行うようにすれば良い。このように画像集約部４４により１つの画像にまとめられた関心領域画像に対して画像処理を行うことにより、ノイズ等が減少するため、画像データ全体のデータ量の削減が可能となり、送信速度の向上を図ることができる。
【０１５９】
エンコード部４６は、画像処理部４５で画像処理された画像を「JPEG2000アルゴリズム」に従って符号化処理する。符号化処理については、図１で示した空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の説明において前述したので、ここでの説明は省略する。ここで、各関心領域は、正規化処理部４３において文字幅、文字高さが揃った複数領域の画像が作られていることにより、「JPEG2000アルゴリズム」における「タイリング処理」の分割サイズ（画像サイズ）が同一でなくてはならないという条件が満たされている。このように、１つの関心領域または複数の関心領域をそれぞれタイリングし、ウェーブレット変換を行い圧縮符号化してJPEG2000ファイル形式に変換することにより、送信先のクライアント４の描画領域に応じて送信する画像のサイズを変更することが可能になっている。また、関心領域毎にタイリングすることにより、関心領域別に復元可能になっている。したがって、前述した第一の実施の形態のように各関心領域について優先順位を付するようにした場合には、各関心領域を優先順位毎に復元することも可能である。
【０１６０】
データ送信部４７は、リクエスト信号を送信してきたクライアント４の描画領域に応じて画像データ（JPEG2000コードストリーム）から送信する画像のサイズのコードストリームを抽出し、リクエスト信号を送信してきたクライアント４に送信する。
【０１６１】
このように本実施の形態によれば、画像データ（JPEG2000コードストリーム）から関心領域を抽出し、抽出した各関心領域を１つの画像にまとめ、各関心領域毎にタイリングされてJPEG2000ファイル形式に変換された画像データ（JPEG2000コードストリーム）から、リクエスト信号を送信してきたクライアント４の描画領域に応じた送信する画像のサイズが決定され、クライアントに送信される。これにより、データ送信時間の短縮化が図られるとともに、画像データを受け取ったクライアント側においては画像の確認作業を迅速に行うことが可能になる。また、プログレッシブ表示する際の画像データ表示を効率良く行うことが可能になる。
【０１６２】
なお、本実施の形態においては、関心領域である文字情報領域を例にして正規化を行ったが、絵柄情報領域を関心領域とし、絵柄情報領域に対して正規化を行えることはいうまでもない。
【図面の簡単な説明】
【０１６３】
【図１】本発明の前提となるJPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図６】符号列データの１フレーム分の概略構成を示す説明図である。
【図７】符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコードストリーム構造を示す説明図である。
【図８】本発明の第一の実施の形態のシステム構築例を示す模式図である。
【図９】画像処理装置のモジュール構成図である。
【図１０】二次元に分割された分割画像の一例を示す説明図である。
【図１１】その分割画像に基づいて「JPEG2000アルゴリズム」に従って生成された圧縮符号を示す説明図である。
【図１２】「JPEG2000アルゴリズム」に従って生成された圧縮符号の解像度モデルを示す説明図である。
【図１３】画像要求／表示処理の流れを示すフローチャートである。
【図１４】サーバの画像送信処理に係る機能ブロック図である。
【図１５】本発明の第二の実施の形態のサーバの画像送信処理に係る機能ブロック図である。
【図１６】正規化処理部及び画像集約部における処理動作を示す説明図である。
【符号の説明】
【０１６４】
２，４    画像処理装置
３１      分解手段
３２，４１      抽出手段
３３      第１順位設定手段
３４      第１復号化手段
３５，４５      画像処理手段
３６      第１符号化手段
３７      第１送信手段
４２      第２復号化手段
４３      正規化手段
４４      集約手段
４６      第２符号化手段
４７      第２送信手段
【図１】
2005260319.tif 000003
【図２】
2005260319.tif 000004
【図３】
2005260319.tif 000005
【図４】
2005260319.tif 000006
【図５】
2005260319.tif 000007
【図６】
2005260319.tif 000008
【図７】
2005260319.tif 000009
【図８】
2005260319.tif 000010
【図９】
2005260319.tif 000011
【図１０】
2005260319.tif 000012
【図１１】
2005260319.tif 000013
【図１２】
2005260319.tif 000014
【図１３】
2005260319.tif 000015
【図１４】
2005260319.tif 000016
【図１５】
2005260319.tif 000017
【図１６】
2005260319.tif 000018