(57)【要約】【課題】画像データの送受信に際して、受信側でのメモリの節約を実現するＪＰＥＧ２０００符号化及び復号化装置を提供する。【解決手段】符号化装置側で、画像データに含まれるオブジェクト毎に規定される領域をオブジェクトの種類について判別し、文字領域に対して文字認識処理を実行してテキストデータを作成し、ＪＰＥＧ２０００ファイルを構成するビットストリームに対して、所定のウェーブレット分解レベル後に挿入すべくＸＭＬｂｏｘを付加し、ＸＭＬｂｏｘ内にテキストデータに対応するＸＭＬデータを格納させる。他方、復号化装置側では、ＪＰＥＧ２０００ファイルの復号化の途中に、ＪＰＥＧ２０００ファイルのビットストリームに付加されたＸＭＬｂｏｘを読み込むか否かを、ユーザに選択させ、ＸＭＬｂｏｘが読み込まれた場合に、それに格納されるＸＭＬデータを処理して、テキストデータを取得する。【選択図】  図４
2004297508.tif 000002
【特許請求の範囲】
【請求項１】
ＪＰＥＧ２０００ファイルを作成するＪＰＥＧ２０００符号化装置において、
画像データを符号化してＪＰＥＧ２０００ファイルに変換するＪＰＥＧ２０００符号化手段と、
上記画像データに含まれるオブジェクト毎に規定される領域を、オブジェクトの種類について判別する領域判別手段と、
上記領域判別手段により文字が含まれると判別された領域に対して、文字認識処理を実行し、テキストデータを作成し、該テキストデータに対応するＸＭＬデータを作成するＸＭＬデータ作成手段と、
上記ＪＰＥＧ２０００ファイルを構成するビットストリームに対して、所定のウェーブレット分解レベル後に挿入するように、所定のデータを格納し得るＸＭＬｂｏｘを付加し、該ＸＭＬｂｏｘ内に上記ＸＭＬデータ作成手段により作成されたＸＭＬデータを格納させるＸＭＬｂｏｘ付加手段と、を有していることを特徴とするＪＰＥＧ２０００符号化装置。
【請求項２】
請求項１記載のＪＰＥＧ２０００符号化装置により作成されたＪＰＥＧ２０００ファイルを受信して、復号化するＪＰＥＧ２０００復号化装置において、
ＪＰＥＧ２０００ファイルを復号化して画像データに変換するＪＰＥＧ２０００復号化手段と、
上記ＪＰＥＧ２０００復号化手段によるＪＰＥＧ２０００ファイルの復号化の途中に、ＪＰＥＧ２０００ファイルのビットストリームに付加されたＸＭＬｂｏｘを読み込むか否かを、ユーザに選択させる選択手段と、
上記ＸＭＬｂｏｘが読み込まれた場合に、該ＸＭＬｂｏｘに格納されるＸＭＬデータを処理して、テキストデータを取得するＸＭＬデータ処理手段とを有していることを特徴とするＪＰＥＧ２０００復号化装置。
【請求項３】
ＪＰＥＧ２０００ファイルを作成するＪＰＥＧ２０００符号化装置において、
画像データを符号化してＪＰＥＧ２０００ファイルに変換するＪＰＥＧ２０００符号化手段と、
上記画像データに含まれるオブジェクト毎に規定される領域を、該領域の位置について判別する領域判別手段と、
上記領域判別手段により判別された各領域の位置情報に対応するＸＭＬデータを作成するＸＭＬデータ作成手段と、
上記ＪＰＥＧ２０００ファイルを構成するビットストリームに対して、所定のデータを格納し得るＸＭＬｂｏｘを付加し、該ＸＭＬｂｏｘ内に上記ＸＭＬデータ作成手段により作成されたＸＭＬデータを格納させるＸＭＬｂｏｘ付加手段と、を有していることを特徴とするＪＰＥＧ２０００符号化装置。
【請求項４】
請求項３記載のＪＰＥＧ２０００符号化装置により作成されたＪＰＥＧ２０００ファイルを受信して、復号化するＪＰＥＧ２０００復号化装置において、
ＪＰＥＧ２０００ファイルを復号化するＪＰＥＧ２０００復号化手段と、
各ＪＰＥＧ２０００ファイルに付加されるＸＭＬｂｏｘに格納されたＸＭＬデータに基づき、上記領域判別手段により判別された各領域の位置情報を取得する位置情報取得手段と、
上記位置情報取得手段により取得された位置情報に基づき、各領域に対応する各ＪＰＥＧ２０００ファイル中の符号データを特定する符号データ特定手段と、
上記符号データ特定手段により特定された符号化データの一部を切り取る符号化データ切取り手段と、を有していることを特徴とするＪＰＥＧ２０００復号化装置。
【請求項５】
上記符号化データ切取り手段が、複数のＪＰＥＧ２０００ファイルから、それぞれ、上記符号データ特定手段により特定された符号化データのうちのインデックス表示に必要な解像度の符号データのみを取得し、更に、取得された符号データでインデックスファイルを構成することを特徴とする請求項４記載のＪＰＥＧ２０００復号化装置。
【請求項６】
更に、上記インデックスファイルにＸＭＬｂｏｘを付加し、該ＸＭＬｂｏｘ内に該インデックスファイルを構成する各領域の抽出元であるファイルを特定可能な情報データを格納させるＸＭＬｂｏｘ付加手段を備えており、
上記ＪＰＥＧ２０００復号化手段は、インデックス表示画像上での各領域の選択に応じて、該領域に対応する抽出元ファイルを復号化することを特徴とする請求項５記載のＪＰＥＧ２０００復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＪＰＥＧ２０００符号化及び復号化装置に関する。
【０００２】
【従来の技術】
現在の通信環境のもとでは、比較的大容量の画像データを受信する場合、受信を完了するまでに、多くの時間を要することがある。これに対処する技術として、従来、送信側では、画像データの圧縮符号化時に画像データを階層的に符号化し、他方、受信側では、各階層の符号化データを受信する度に復号化を行い再生することにより、早い段階で、画像の大まかな内容を認識できるようにするものが知られている（例えば特許文献１）。
【０００３】
【特許文献１】
特開２００１−２１８２０８号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の従来技術において、受信の早期段階で得られる画像は、通常、解像度が低く、このため、画像に含まれる画像領域の概要を把握することはできるものの、それに含まれる文字領域内の文字の可読性については十分ではない場合が多い。良好な文字の可読性を確保するには、符号化データの受信及び復号化を継続することで画像の解像度を上げればよいが、この場合には、時間がかかり、また、受信側でメモリ等の資源を多く要することとなる。
【０００５】
また、従来では、受信側で、送信側から送られてくるデータに基づく複数の画像から、オブジェクト判別により識別される画像内の各領域（すなわち画像領域又は文字領域）を抽出して、抽出した画像領域又は文字領域を一画面上にインデックス表示する技術が知られている。この技術では、通常、送信側から送られてくる複数の符号化データが全て復号化され、画像データに変換された上で、画像から各領域が抽出されるが、この場合には、受信側で、複数の画像データを開くためのメモリが必要となり、また、その処理制御が複雑になることから、インデックス表示が得られるまでに多くの時間を要するという問題があった。
【０００６】
本発明は、上記技術的課題に鑑みてなされたもので、特にＪＰＥＧ２０００方式で処理される画像データの送受信に際して、処理時間の短縮化及び受信側でのメモリ等の資源の節約を実現し得るＪＰＥＧ２０００符号化及び復号化装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本願の請求項１に係る発明は、ＪＰＥＧ２０００ファイルを作成するＪＰＥＧ２０００符号化装置において、画像データを符号化してＪＰＥＧ２０００ファイルに変換するＪＰＥＧ２０００符号化手段と、上記画像データに含まれるオブジェクト毎に規定される領域を、オブジェクトの種類について判別する領域判別手段と、該領域判別手段により文字が含まれると判別された領域に対して、文字認識処理を実行し、テキストデータを作成し、該テキストデータに対応するＸＭＬデータを作成するＸＭＬデータ作成手段と、上記ＪＰＥＧ２０００ファイルを構成するビットストリームに対して、所定のウェーブレット分解レベル後に挿入するように、所定のデータを格納し得るＸＭＬｂｏｘを付加し、該ＸＭＬｂｏｘ内に上記ＸＭＬデータ作成手段により作成されたＸＭＬデータを格納させるＸＭＬｂｏｘ付加手段と、を有していることを特徴としたものである。
【０００８】
また、本願の請求項２に係る発明は、請求項１記載のＪＰＥＧ２０００符号化装置により作成されたＪＰＥＧ２０００ファイルを受信して、復号化するＪＰＥＧ２０００復号化装置において、ＪＰＥＧ２０００ファイルを復号化して画像データに変換するＪＰＥＧ２０００復号化手段と、該ＪＰＥＧ２０００復号化手段によるＪＰＥＧ２０００ファイルの復号化の途中に、ＪＰＥＧ２０００ファイルのビットストリームに付加されたＸＭＬｂｏｘを読み込むか否かを、ユーザに選択させる選択手段と、上記ＸＭＬｂｏｘが読み込まれた場合に、該ＸＭＬｂｏｘに格納されるＸＭＬデータを処理して、テキストデータを取得するＸＭＬデータ処理手段とを有していることを特徴としたものである。
【０００９】
更に、本願の請求項３に係る発明は、ＪＰＥＧ２０００ファイルを作成するＪＰＥＧ２０００符号化装置において、画像データを符号化してＪＰＥＧ２０００ファイルに変換するＪＰＥＧ２０００符号化手段と、上記画像データに含まれるオブジェクト毎に規定される領域を、該領域の位置について判別する領域判別手段と、該領域判別手段により判別された各領域の位置情報に対応するＸＭＬデータを作成するＸＭＬデータ作成手段と、上記ＪＰＥＧ２０００ファイルを構成するビットストリームに対して、所定のデータを格納し得るＸＭＬｂｏｘを付加し、該ＸＭＬｂｏｘ内に上記ＸＭＬデータ作成手段により作成されたＸＭＬデータを格納させるＸＭＬｂｏｘ付加手段と、を有していることを特徴としたものである。
【００１０】
また、更に、本願の請求項４に係る発明は、請求項３記載のＪＰＥＧ２０００符号化装置により作成されたＪＰＥＧ２０００ファイルを受信して、復号化するＪＰＥＧ２０００復号化装置において、ＪＰＥＧ２０００ファイルを復号化するＪＰＥＧ２０００復号化手段と、各ＪＰＥＧ２０００ファイルに付加されるＸＭＬｂｏｘに格納されたＸＭＬデータに基づき、上記領域判別手段により判別された各領域の位置情報を取得する位置情報取得手段と、該位置情報取得手段により取得された位置情報に基づき、各領域に対応する各ＪＰＥＧ２０００ファイル中の符号データを特定する符号データ特定手段と、該符号データ特定手段により特定された符号化データの一部を切り取る符号化データ切取り手段と、を有していることを特徴としたものである。
【００１１】
また、更に、本願の請求項５に係る発明は、請求項４に係る発明において、上記符号化データ切取り手段が、複数のＪＰＥＧ２０００ファイルから、それぞれ、上記符号データ特定手段により特定された符号化データのうちのインデックス表示に必要な解像度の符号データのみを取得し、更に、取得された符号データでインデックスファイルを構成することを特徴としたものである。
【００１２】
また、更に、本願の請求項６に係る発明は、請求項５に係る発明において、上記インデックスファイルにＸＭＬｂｏｘを付加し、該ＸＭＬｂｏｘ内に該インデックスファイルを構成する各領域の抽出元であるファイルを特定可能な情報データを格納させるＸＭＬｂｏｘ付加手段を備えており、上記ＪＰＥＧ２０００復号化手段は、インデックス表示画像上での各領域の選択に応じて、該領域に対応する抽出元ファイルを復号化することを特徴としたものである。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照しながら説明する。
実施の形態１．
図１は、本発明の実施の形態１に係る多機能複合機及び端末機器から構成されたネットワークシステムを概略的に示す図である。このネットワークシステム１は、プリンタ，ファクス，コピー，スキャナ等の多機能を備えた多機能複合機（Ｍｕｌｔｉｐｌｅ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ：以下、ＭＦＰと略記）１０と、パーソナルコンピュータ等の複数の端末機器２０とを有している。各機器は、データ送受信可能に、ネットワークバス２を介して互いに接続されている。このネットワークシステム１では、例えば、端末機器２０からＭＦＰ１０へ情報データ（画像データを含む）を送信してプリントしたり、ＭＦＰ１０のスキャナ１１（図２参照）で原稿を読み取ることにより情報データを取得し、これを端末機器２０へ送信して保存したりすることが可能である。
【００１４】
また、このネットワークシステム１は、ネットワークバス２を介して、インターネット９０に接続されてもよい。この場合、ＭＦＰ１０は、必要に応じて、例えば他のネットワーク上にある遠隔の端末機器からの情報データを、インターネット９０経由で受信し、プリントすることも可能である。
【００１５】
図２は、ＭＦＰ１０の基本構成を概略的に示すブロック図である。このＭＦＰ１０は、その基本構成として、所定のオペレーティングプログラムに基づき各種の命令を実行させるなどして、ＭＦＰ１０内の各構成を制御するＣＰＵ３と、ビットマップ形式等のフォーマット形式の画像データを符号化してＪＰＥＧ２０００ファイルに変換するＪＰＥＧ２０００符号化部４と、データ入出力ポートとして、ネットワークシステム１（図１参照）上の外部機器に接続するネットワークインターフェースカード（図中では「ＮＩＣ」と表記）６と、ユーザが各種の入力設定を実行する操作部７と、上記のオペレーティングシステム等を格納するＲＯＭ８と、ＪＰＥＧ２０００符号化部４により取得された符号化データ等のデータを一時的に保存するためのＲＡＭ９と、原稿を読み取りビットマップ形式の画像データを取得するスキャナ１１と、を有している。ＪＰＥＧ２０００符号化部４には、ウェーブレット変換処理時に使用するウェーブレット変換専用のメモリ４ａが接続されている。これら各構成は、データ送受信可能に、バス１９等によって互いに接続されている。
【００１６】
一方、図３は、端末機器２０の内部構成を概略的に示す図である。この端末機器２０は、所定のオペレーティングプログラムに基づき各種の命令を実行させるなどして、端末機器２０内の各構成を制御するＣＰＵ２１と、例えば外部から受信したＪＰＥＧ２０００ファイルに対して復号化処理を実行するＪＰＥＧ２０００復号化部２２と、データ入出力ポートとして、ネットワークシステム１（図１参照）上の外部機器に接続するネットワークインターフェースカード（図中では「ＮＩＣ」と表記）２３と、キーボード，マウス等の各種設定入力を行うための入力部２４と、ハードディスクドライブ（図中では「ＨＤＤ」と表記）２５と、各処理に際してデータを一時的に保存するためのＲＡＭ２６と、上記のオペレーティングシステム等を格納するＲＯＭ２７と、端末機器２０における画像等の処理情報を表示する表示部２８と、を有している。
【００１７】
本実施の形態１では、ＭＦＰ１０側で作成される符号化データが端末機器２０へ送信され、端末機器２０側で復号化され表示される送受信に際して、画像に対応するデータとともにＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）データを格納するＸＭＬｂｏｘを含み得るＪＰＥＧ２０００ファイルの周知の特徴を利用して、処理時間の短縮化及び端末機器２０側でのメモリの使用抑制を図る処理が実行される。
【００１８】
この処理を実行するために、ＭＦＰ１０は、図２から分かるように、上記の基本構成に加えて、ＪＰＥＧ２０００符号化部によるＪＰＥＧ２０００ファイルの作成時に、ファイルを構成する領域の種類を判別する領域判別部１２と、該領域判別部１２により判別された領域に含まれる情報に基づき、ＸＭＬデータを作成するためのＸＭＬデータ作成部１３と、ＪＰＥＧ２０００ファイルに対してＸＭＬｂｏｘを付加するＸＭＬｂｏｘ付加部１４と、を有している。
【００１９】
図４は、かかる構成を用いて、ＪＰＥＧ２０００ファイルにＸＭＬｂｏｘが付加され、ＸＭＬｂｏｘ内に所定のＸＭＬデータが格納される処理の流れを示す説明図である。ＭＦＰ１０では、外部からＮＩＣ６を介して入力される若しくはスキャナ１１により原稿が読み取られることで、画像データ３０が取得されると、ＪＰＥＧ２０００符号化部４により、解像度プログレッシブ方式で画像データの符号化処理が行われる。「解像度プログレッシブ方式」とは、取得されたＪＰＥＧ２０００ファイルを構成するデータが、低解像度に対応する符号化データから配列される方式である。かかる解像度プログレッシブ方式で配列されてなる符号化データが端末機器２０側で受信され表示される場合には、低解像度の画像から次第に鮮明になるように表示が行われる。
【００２０】
また、ＭＦＰ１０では、画像データ３０が取得されると、ＪＰＥＧ２０００符号化処理と同時に、領域判別部１２（図２参照）によって、画像データ３０に含まれるオブジェクト毎に領域が規定され、これらの領域が文字領域又は画像領域のいずれであるかが判別される。これにより、例えば図４に示す画像データ３０は、第１の画像領域３１，第２の画像領域３２，文字領域３３を含むデータとして認識される。続いて、文字領域３３に対して、ＸＭＬデータ作成部１３により文字認識処理（ＯＣＲ処理）が実行され、テキストデータ３４が作成される。その後、テキストデータ３４はＸＭＬ化される。
【００２１】
更に、ＸＭＬｂｏｘ付加部１４により、ＪＰＥＧ２０００符号化処理後のデータが低解像度から順に配列されてなるビットストリーム（以下、ＪＰＥＧ２０００ビットストリームという）に対して、所定のウェーブレット分解レベル後にすなわち所定解像度に対応するデータの後に挿入するように、ＸＭＬｂｏｘ３６が付加される。そして、このＸＭＬｂｏｘ３６に対して、テキストデータ３４がＸＭＬ化されてなるＸＭＬデータが格納される。図４では、符号３５が、ＸＭＬｂｏｘ３６を含むＪＰＥＧ２０００ビットストリームの構成例をあらわす。また、符号３５ａが、ＸＭＬｂｏｘ３５よりも上位に位置し、比較的低解像度の画像に対応する符号化データをあらわし、更に、符号３５ｂが、ＸＭＬｂｏｘ３５よりも下位に位置し、より高解像度の画像に対応する符号化データをあらわす。
以上の処理により、テキストデータ３４がＸＭＬ化されてなるＸＭＬデータを格納するＸＭＬｂｏｘ３６が付加されたＪＰＥＧ２０００ファイルが作成される。
【００２２】
図５には、前述したようにＭＦＰ１０で実行されるＪＰＥＧ２０００ファイルの作成処理についてのフローチャートを示す。この処理は、ＲＯＭ８に記憶されているプログラムに従って、ＣＰＵ３により実行される。この処理では、まず、外部からＮＩＣ６を介して入力される若しくはスキャナ１１により原稿が読み取られることで、画像データが取得されると（ステップＳ４１）、解像度プログレッシブ方式でＪＰＥＧ２０００符号化処理を開始する（ステップＳ４２）。次に、画像データを構成する領域の種類について判別を行う（ステップＳ４３）。
【００２３】
ステップＳ４３の後、そのステップでの領域判別結果に基づき、画像データ中に文字領域が存在するか否かを判断する（ステップＳ４４）。この結果、文字領域が存在しないと判断された場合には、文字の可読性について配慮する必要がないので、ステップＳ４９へ進み、符号化後のデータのみから構成されるＪＰＥＧ２０００ファイルが取得される。
【００２４】
他方、ステップＳ４４で、文字領域が存在すると判断された場合には、引き続き、ＯＣＲ処理を実行することにより、テキストデータを取得し（ステップＳ４５）、更に、そのテキストデータをＸＭＬ化する（ステップＳ４６）。その後、ＪＰＥＧ２０００符号化後のデータの所定位置にＸＭＬｂｏｘ３６を付加する（ステップＳ４７）。続いて、ステップＳ４６で作成されたＸＭＬデータを、ＸＭＬｂｏｘ３６に格納する（ステップＳ４８）。その結果、ＸＭＬデータを格納するＸＭＬｂｏｘ３６が付加されたビットストリーム構成を備えたＪＰＥＧ２０００ファイルが取得される（ステップＳ４９）。以上で、ＪＰＥＧ２０００ファイルの作成処理が終了する。
【００２５】
なお、このフローチャートでは、ステップＳ４２より開始されるＪＰＥＧ２０００符号化処理と、ステップＳ４３〜４８のＸＭＬデータを付加するための各処理が順に行われるように示されるが、両処理が同時に進行するようにしてもよい。
【００２６】
図６は、端末機器２０側で、前述したようなＸＭＬｂｏｘ３６が付加されたＪＰＥＧ２０００ファイルが受信された場合に実行される復号化処理の流れを示す説明図である。この復号化処理に際しては、端末機器２０側で、ＭＦＰ１０から受信されたＪＰＥＧ２０００ファイルに基づく画像を表示するためのアプリケーションソフトが起動させられる。また、ユーザは、このアプリケーションソフトを介して、ＸＭＬデータの読み込み，復号化処理の継続等の各種の指示を出すことができる。なお、かかるアプリケーションソフトは、端末機器２０に予めインストールされたソフトウェアであり、ＨＤＤ２５に格納され、必要に応じて起動させられる。
【００２７】
ＪＰＥＧ２０００ファイルは、符号化データ３５ａ（図４参照）のうちの上位にあるすなわち低解像度側の符号データから順次送信されるが、この符号データが端末機器２０側で受信されると、データが順次自動的に復号化される。その結果、比較的低解像度の画像４０が取得され、る。その後、端末機器２０の表示部２８には、画像４０とともに、ＸＭＬｂｏｘ３６を読み込むか若しくは読み飛ばすかをユーザに選択させるべく、「ＸＭＬデータを読み込みますか？」というメッセージと「ＹＥＳ」及び「ＮＯ」の選択ボタンとを備えた選択画面４１が表示される。ここで、ユーザが「ＮＯ」を選択すると、ＸＭＬｂｏｘ３６が飛ばされ、引き続き、より高解像度の画像に対応する符号化データ３５ｂ（図４参照）が受信されて、復号化処理が継続される。
【００２８】
他方、ユーザが「ＹＥＳ」を選択すると、引き続き、次の選択画面４２が表示部２８に表示される。この選択画面４２には、項目「テキストデータを表示」，「解像度を上げる」，「処理終了」が表示され、ユーザは、そのうちのいずれかを選択することができる。
【００２９】
この選択画面４２において、ユーザが「テキストデータを表示」を選択すると、ＸＭＬｂｏｘ３６内に格納されたＸＭＬデータが読み込まれ、ブラウザが起動させられる。そして、端末機器２０の表示部２８には、図７に示すように、読み込まれたＸＭＬデータが変換されてなるテキストデータ４４が、低解像度の画像４０とともに、ブラウザを介して表示される。図７に示す符号４３は、表示部２８の表示画面を示す。このように、表示部２８に表示される画像４０自体が低解像度である段階で、ＸＭＬｂｏｘ３６に格納されたＸＭＬデータを読み込み、テキストデータ４４を表示することで、元の画像データ３０（図４参照）に含まれる文字領域３３内の文字の可読性を、受信の比較的早い段階で確保することができる。なお、ブラウザは、端末機器２０に予めインストールされたソフトウェアであり、ＨＤＤ２５に格納され、必要に応じて読み出される。
【００３０】
また、ユーザが項目「解像度を上げる」を選択すると、引き続き、より高解像度の画像に対応するデータが受信されて、復号化処理が継続される。更に、ユーザが項目「処理終了」を選択すると、それ以上の復号処理が実行されずに、処理が終了される。
【００３１】
図８には、前述したように端末機器２０で実行されるＪＰＥＧ２０００ファイルの復号処理についてのフローチャートを示す。ＭＦＰ１０からのＪＰＥＧ２０００ファイルの受信が開始されると（ステップＳ５１）、端末機器２０は、受信されたデータを、順次復号化する。この受信及び復号化は、ＪＰＥＧ２０００ビットストリームに含まれるＸＭＬｂｏｘ３６の前にある比較的低解像度の画像に対応するデータについて行われる（ステップＳ５２）。そして、符号化されたデータに基づき、表示部２８には、低解像度の画像を表示する（ステップＳ５３）。
【００３２】
続いて、ＸＭＬｂｏｘ３６を読み込むか否かを判定する（ステップＳ５４）。この結果、ユーザにより読み込まないと指示された場合には、ステップＳ５６へ進み、ＸＭＬｂｏｘ３６の下位にあるより高解像度画像に対応するデータ（図４参照）を受信し、受信されたデータを順次復号化する。ＪＰＥＧ２０００ビットストリームを構成する全てのデータを受信し復号化した時点で、処理が終了する。
【００３３】
他方、ステップＳ５４において、ユーザによりＸＭＬｂｏｘ３６を読み込むと指定された場合には、引き続き、ユーザの指示の種類を判定する。すなわち、ユーザが、テキストデータ表示，解像度ＵＰ，処理の終了のいずれを指示したかを判定する。この結果、ユーザによりテキストデータの表示が指定されたと判定した場合には、表示部２８において、低解像度の画像とともに、テキストデータをブラウザに表示する（ステップＳ５７）。
【００３４】
また、ステップＳ５５において、ユーザにより解像度ＵＰが指定されたと判定した場合には、ステップＳ５６へ進み、ＸＭＬｂｏｘ３６の下位にあるより高解像度画像に対応するデータを受信し、受信されたデータを順次復号化する。ＪＰＥＧ２０００ビットストリームを構成する全てのデータを受信し復号化した時点で、処理が終了する。
更に、ステップＳ５５において、ユーザにより処理終了が指定されたと判定した場合、即座に処理が終了する。
【００３５】
なお、参考までに、画像データが所定サイズで規定されるタイル毎にウェーブレット分解レベル３で符号化された場合には、符号化後のデータは、図９に示すような高周波成分及び低周波成分からなるサブバンドに分解された状態となる。この図で、ＬＬは、水平・垂直低周波成分，ＬＨは、水平低周波成分・垂直高周波成分，ＨＬは、水平高周波成分・垂直低周波成分，ＨＨは、水平・垂直高周波成分をあらわす。各表記に付された数字が小さいほど、より低解像度の画像に対応するデータをあらわす。
【００３６】
また、図１０には、ＸＭＬｂｏｘ３６を含むＪＰＥＧ２０００ビットストリームの構成例を示す図である。このＪＰＥＧ２０００ビットストリームでは、ウェーブレット分解レベル２（ＨＬ２，ＬＨ２，ＨＨ２）の後にＸＭＬｂｏｘ３６が付加されている。かかるＪＰＥＧ２０００ビットストリームの復号化処理に際して、端末機器２０では、まず、ビットストリームにおいてＸＭＬｂｏｘ３６の前にあるＬＬ〜ＨＨ２の符号化データが受信され、自動的に復号化される。その後、必要に応じて、ＸＭＬｂｏｘ３６が読み込まれる。更に、表示部２８に表示される画像４０の解像度を上げるには、ＸＭＬｂｏｘ３６の後にあるＨＬ３〜ＨＨ３の符号化データが順次受信され復号化される。
【００３７】
以上の説明から明らかなように、本実施の形態１によれば、端末機器２０側で、解像度プログレッシブ方式で取得される画像がまだ低解像度である段階に、ＸＭＬｂｏｘ３６に格納されたＸＭＬデータを読み込み、テキストデータを表示することで、元の画像データ３０に含まれる文字の可読性を、比較的早い段階で確保することができる。これにより、端末機器２０側でユーザが文字を含む画像の内容を把握し得るまでに要する処理時間の短縮化が可能となり、また、この場合には、ＭＦＰ１０側で作成されたＪＰＥＧ２０００ファイルを構成する全データが受信されないため、端末機器２０側でのメモリの節約が可能である。
【００３８】
実施の形態２．
前述した実施の形態１では、ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ファイルを用いて、端末機器２０側での受信の早期段階で、元の画像データに含まれる文字の可読性を確保することが行われたが、この実施の形態２では、ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ファイルを用いて、端末機器２０側での迅速なインデックス表示を可能とする。
【００３９】
図１１は、本発明の実施の形態２に係る、ＪＰＥＧ２０００ファイルにＸＭＬｂｏｘが付加され、ＸＭＬｂｏｘ内に所定のＸＭＬデータが格納される処理の流れを示す説明図である。ＭＦＰ１０では、外部からＮＩＣ６を介して入力される若しくはスキャナ１１により原稿が読み取られることで、画像データ５０が取得されると、ＪＰＥＧ２０００符号化部４により、符号化処理の基本単位であるタイル毎に、ＪＰＥＧ２０００符号化処理が行われる。
【００４０】
また、ＭＦＰ１０では、画像データ５０が取得されると、ＪＰＥＧ２０００符号化処理と同時に、領域判別部１２（図２参照）によって、画像データ５０に含まれるオブジェクト毎に領域が規定され、これらの領域が文字領域又は画像領域のいずれであるかが判別される。これにより、例えば図１１に示す画像データ５０は、画像領域５１，文字領域５２を含むデータとして認識される。続いて、画像データ５０中の各領域５１，５２について、その位置情報をあらわすデータ（以下、位置情報データという）５３が作成される。ここでは、図１１に示されるように、各領域が矩形状に設定され、その位置情報が、それら領域の１対角線上にある頂点のタイル座標であらわされている。具体的には、文字領域５２のタイル座標が、Ｔ（ｘ１，ｙ１）−Ｔ（ｘ２，ｙ２）で、また、画像領域５１のタイル座標が、Ｔ（ｘ３，ｙ３）−Ｔ（ｘ４，ｙ４）であらわされている。
【００４１】
その後、位置情報データ５３がＸＭＬ化される。続いて、ＸＭＬｂｏｘ付加部１４により、ＪＰＥＧ２０００符号化後のデータが所定の順に配列されてなるＪＰＥＧ２０００ビットストリーム５４における所定位置（この実施の形態２では末尾）に、ＸＭＬｂｏｘ５５が付加される。そして、このＸＭＬｂｏｘ５５に対して、位置情報データ５３がＸＭＬ化されてなるＸＭＬデータが格納される。
以上の処理により、位置情報データ５３がＸＭＬ化されてなるＸＭＬデータを格納するＸＭＬｂｏｘ５５が付加されたＪＰＥＧ２０００ファイルが作成される。
【００４２】
図１２には、本実施の形態２に係る、ＭＦＰ１０で実行されるＪＰＥＧ２０００ファイルの作成処理についてのフローチャートを示す。この処理では、まず、外部からＮＩＣ６を介して入力される若しくはスキャナ１１により原稿が読み取られることで、画像データが取得されると（ステップＳ６１）、ＪＰＥＧ２０００符号化処理を開始する（ステップＳ６２）。次に、画像データを構成する領域の種類について判別を行う（ステップＳ６３）。
【００４３】
その後、ステップＳ６３で判別した各領域の位置をあらわす位置情報を作成し、位置情報データを取得する（ステップＳ６４）。更に、その位置情報データをＸＭＬ化する（ステップＳ６５）。次に、ＪＰＥＧ２０００符号化後のデータに対して、ＸＭＬｂｏｘ５５を付加する（ステップＳ６６）。そして、位置情報データがＸＭＬ化されてなるＸＭＬデータを、ＸＭＬｂｏｘ５５に格納する（ステップＳ６７）。これにより、位置情報データを格納したＸＭＬｂｏｘ５５が付加されたビットストリーム構成を備えたＪＰＥＧ２０００ファイルが取得される（ステップＳ６８）。以上で、ＪＰＥＧ２０００ファイルの作成処理が終了する。
【００４４】
なお、このフローチャートでは、ステップＳ６２より開始されるＪＰＥＧ２０００符号化処理と、ステップＳ６３〜Ｓ６７のＸＭＬデータを付加するための各処理が順に行われるように示されるが、両処理が同時に進行するようにしてもよい。
【００４５】
図１３は、端末機器２０側で、前述したようなＸＭＬｂｏｘ５５が付加されたＪＰＥＧ２０００ファイルを複数受信した上で、各ＪＰＥＧ２０００ファイルから所定の領域を抽出し、インデックス表示を行う処理の流れを示す説明図である。この処理に際して、端末機器２０側では、ＭＦＰ１０から受信されたＪＰＥＧ２０００ファイルに含まれる各領域を抽出してインデックス表示するためのアプリケーションソフトが起動させられる。また、ユーザは、このアプリケーションソフトを介して、インデックス表示の対象とする領域の設定等、各種の設定を行うことができる。なお、かかるアプリケーションソフトは、端末機器２０に予めインストールされたソフトウェアであり、ＨＤＤ２５に格納され、必要に応じて起動させられる。
【００４６】
この実施の形態２では、各ＪＰＥＧ２０００ファイルが端末機器２０側で受信されても、自動的に復号化処理が行われず、ＪＰＥＧ２０００ファイルは、インデックス表示の指示があるまで待機させられる。図１３には、待機させられるＪＰＥＧ２０００ファイルが、ＪＰＥＧ２０００ビットストリーム５４，６４として示されている。各ＪＰＥＧ２０００ビットストリーム５４，６４の末尾には、ＸＭＬ化された位置情報データを格納したＸＭＬｂｏｘ５５，６５が付加されている。なお、ここでは、２つのＪＰＥＧ２０００ビットストリーム５４，６４のみを取り上げたが、ＪＰＥＧ２０００ビットストリームの数は、特に限定されるものでなく、また、これ以外のＪＰＥＧ２０００ビットストリームが存在した場合にも、ＪＰＥＧ２０００ビットストリーム５４，６４と同様の処理が施される。
【００４７】
各ＪＰＥＧ２０００ビットストリーム５４，６４から「画像領域」を抽出してインデックス表示を行う場合を例にして説明する。画像領域のインデックス表示を行うユーザの指示があれば、各ファイルに付加されたＸＭＬｂｏｘ５５，６５が参照され、各画像領域についての位置情報が取得される。
【００４８】
この位置情報に基づき、ＪＰＥＧ２０００ビットストリーム５４，６４中の画像領域を含むタイルに対応する符号データ（タイルデータ）５６，６６が特定される。各タイルデータ５６及び６６は、それぞれ、解像度の異なる符号データ５６ａ，５６ｂ，５６ｃ及び６６ａ，６６ｂ，６６ｃから構成されている。そして、この符号データ５６，６６から、インデックス表示に必要な解像度をもたらす符号データ、すなわち解像度の低い符号データ５６ａ，５６ｂ及び６６ａ，６６ｂが抽出される。
【００４９】
その後、各ＪＰＥＧ２０００ビットストリーム５４，６４から抽出された符号データ５６ａ，５６ｂ及び６６ａ，６６ｂが、インデックス表示用に再構成されることにより、１つのインデックスファイルのビットストリーム７０が作成される。このインデックスファイルが復号化されると、インデックス表示画像８０が得られる。なお、図１３では、符号データ５６ａ，５６ｂ及び６６ａ，６６ｂが、それぞれ、インデックス表示画像８０中の「飛行機」及び「魚」に対応する。
【００５０】
図１４は、インデックスファイルのビットストリーム７０に対して、更に、各領域の抽出元となる画像データを関連付けた場合の例を示す説明図である。ここでは、図１３を参照して説明したように、各ＪＰＥＧ２０００ファイルから抽出された所定の領域に対応する符号データにより構成されるインデックスファイルのビットストリーム７０に、各領域の抽出元となる画像データを関連付けたＸＭＬｂｏｘ、すなわち、各領域の抽出元ファイルを特定可能な情報データ（例えばＵＲＬ等）を格納したＸＭＬｂｏｘ７５が付加される。このインデックスファイルが復号化されると、インデックス表示画像８０が得られるとともに、この画像８０に含まれる各領域に対して、抽出元ファイルが関連付けられる。例えば、図１４から分かるように、左上の「飛行機」を示す画像領域をクリック等で選択すると、その領域の抽出元であるＪＰＥＧ２０００ファイルが復号化されて、元画像５０を表示することができる。
【００５１】
以上の説明から明らかなように、本実施の形態２によれば、端末機器２０側で、複数のＪＰＥＧ２０００ファイルから各領域を抽出してインデックス表示する場合に、各ファイルに付加されたＸＭＬｂｏｘに格納される位置情報に基づき、各領域に対応する符号データを抽出し、抽出した符号データからインデックスファイルを再構成した上で、これを復号化するので、ＭＦＰ１０から受信された複数のＪＰＥＧ２０００ファイルを全て符号化することなく、端末機器２０側でのメモリの節約が可能である。
【００５２】
なお、本発明は、例示された実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能であることは言うまでもない。例えば図２及び３では、ＭＦＰ１０及び端末機器２０における全構成をハードウェアとして図示しているが、これに限定されることなく、ＪＰＥＧ２０００符号化部４，領域判別部１２，ＸＭＬデータ作成部１３及びＸＭＬｂｏｘ付加部１４，ＪＰＥＧ２０００復号化部２２等の構成については、ソフトウェアとして構成されることも可能である。
また、前述した実施の形態では、解像度による階層符号化の例を示したが、本発明は、画質（レイヤ）による階層符号化についても同様に適用できる。
【００５３】
【発明の効果】
本願発明の第１の態様によれば、ＪＰＥＧ２０００復号化装置側で、解像度プログレッシブ方式で取得される画像がまだ低解像度である段階に、ＸＭＬｂｏｘに格納されたＸＭＬデータを読み込み、テキストデータを表示することで、元の画像データに含まれる文字の可読性を、比較的早い段階で確保することができる。これにより、ＪＰＥＧ２０００復号化装置側でユーザが文字を含む画像の内容を把握し得るまでに要する処理時間の短縮化が可能となり、また、この場合には、ＪＰＥＧ２０００符号化装置側で作成されたＪＰＥＧ２０００ファイルを構成する全データが受信されないため、ＪＰＥＧ２０００復号化装置側でのメモリの節約が可能である。
【００５４】
また、本願発明の第２の態様によれば、ＪＰＥＧ２０００復号化装置側で、複数のＪＰＥＧ２０００ファイルから各領域を抽出してインデックス表示する場合に、各ファイルに付加されたＸＭＬｂｏｘに格納される位置情報に基づき、各領域に対応する符号データを抽出し、抽出した符号データからインデックスファイルを再構成した上で、これを復号化するので、ＪＰＥＧ２０００符号化装置から受信された複数のＪＰＥＧ２０００ファイルを全て復号化することなく、ＪＰＥＧ２０００復号化装置側でのメモリの節約が可能である。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係るＭＦＰ及び端末機器から構成されたネットワークシステムを概略的に示す図である。
【図２】上記ＭＦＰの基本構成を概略的に示すブロック図である。
【図３】上記端末機器の基本構成を概略的に示すブロック図である。
【図４】上記ＭＦＰ側で、ＪＰＥＧ２０００ファイルにＸＭＬｂｏｘが付加され、ＸＭＬｂｏｘ内に所定のＸＭＬデータが格納される処理の流れを示す説明図である。
【図５】ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ファイルの作成処理についてのフローチャートである。
【図６】上記端末機器側でのＪＰＥＧ２０００ファイルの復号化処理の流れを示す説明図である。
【図７】上記端末機器側で、低解像度画像とともにテキストデータが表示されている状態をあらわす図である。
【図８】上記端末機器側でのＪＰＥＧ２０００ファイルの復号化処理についてのフローチャートである。
【図９】ウェーブレット分解レベル３で符号化された画像データを、サブバンドに分解して示す図である。
【図１０】ウェーブレット分解レベル２の符号化データの後に、ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ビットストリームの構成を示す図である。
【図１１】本発明の実施の形態２に係る、ＪＰＥＧ２０００ファイルにＸＭＬｂｏｘが付加され、ＸＭＬｂｏｘ内に所定のＸＭＬデータが格納される処理の流れを示す説明図である。
【図１２】上記実施の形態２に係る、ＪＰＥＧ２０００ファイルの作成処理についてのフローチャートである。
【図１３】ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ファイルを端末機器側で複数受信した上で、各ＪＰＥＧ２０００ファイルの所定の領域を抽出して、インデックス表示を行う処理の流れを示す説明図である。
【図１４】インデックスファイルのビットストリームに対して、各領域の抽出元となる画像データを関連付けた場合の例を示す説明図である。
【符号の説明】
１…ネットワークシステム
３…ＣＰＵ
４…ＪＰＥＧ２０００符号化部
１０…多機能複合機
１２…領域判別部
１３…ＸＭＬデータ作成部
１４…ＸＭＬｂｏｘ付加部
２０…端末機器
２１…ＣＰＵ
２２…ＪＰＥＧ２０００復号化部
３０…元の画像データ
３１，３２…画像領域
３３…文字領域
３５…ＪＰＥＧ２０００ビットストリーム
３６…ＸＭＬｂｏｘ
４０…画像
４４…テキストデータ
５３…位置情報データ
８０…インデックス表示画像
【図１】
2004297508.tif 000003
【図２】
2004297508.tif 000004
【図３】
2004297508.tif 000005
【図４】
2004297508.tif 000006
【図５】
2004297508.tif 000007
【図６】
2004297508.tif 000008
【図７】
2004297508.tif 000009
【図８】
2004297508.tif 000010
【図９】
2004297508.tif 000011
【図１０】
2004297508.tif 000012
【図１１】
2004297508.tif 000013
【図１２】
2004297508.tif 000014
【図１３】
2004297508.tif 000015
【図１４】
2004297508.tif 000016