(57)【特許請求の範囲】
【請求項１】
画像をＤＣＴ変換する変換手段と、
前記変換手段によって変換された画像を分割する第１の分割手段と、
前記第１の分割手段によって分割された画像を、該第１の分割手段による分割の軸とは独立した軸によって分割する第２の分割手段と、
前記第２の分割手段によって分割された画像と画像格納手段に格納されている画像との差分を生成する差分手段と、
前記差分手段によって生成された差分画像を符号化する符号化手段
を具備し、
前記第１の分割手段による分割の軸として階調の軸とした場合は、前記第２の分割手段による分割の軸を解像度の軸とし、
前記第１の分割手段は、前記変換手段によって変換された画像を商と残差に分割し、
前記第２の分割手段は、商の画像に対して低周波と高周波の画像と、残差の画像に対して低周波と高周波の画像に分割する、
ことを特徴とする画像処理装置。
【請求項２】
前記差分手段は、処理結果である差分を前記画像格納手段に格納し、前回の処理結果である差分を前記画像格納手段から取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記符号化手段によって符号化された画像を出力する装置における操作、又は、該装置の性能に応じて、前記第１の分割手段又は前記第２の分割手段による処理を制御する制御手段
をさらに具備することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記符号化手段による処理結果である符号を記憶する記憶手段と、
前記符号化手段によって符号化された画像を出力する装置における操作、又は、該装置の性能に応じて、前記記憶手段に記憶された符号を選択する制御を行う制御手段
をさらに具備することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
コンピュータを、
画像をＤＣＴ変換する変換手段と、
前記変換手段によって変換された画像を分割する第１の分割手段と、
前記第１の分割手段によって分割された画像を、該第１の分割手段による分割の軸とは独立した軸によって分割する第２の分割手段と、
前記第２の分割手段によって分割された画像と画像格納手段に格納されている画像との差分を生成する差分手段と、
前記差分手段によって生成された差分画像を符号化する符号化手段
として機能させ、
前記第１の分割手段による分割の軸として階調の軸とした場合は、前記第２の分割手段による分割の軸を解像度の軸とし、
前記第１の分割手段は、前記変換手段によって変換された画像を商と残差に分割し、
前記第２の分割手段は、商の画像に対して低周波と高周波の画像と、残差の画像に対して低周波と高周波の画像に分割する、
画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、画像情報を複数画素からなる複数ブロックに分割しブロック単位で符号化を行い伝送する画像符号化伝送方式であって、各ブロックの画像を周波数成分毎の複数の符号化データで符号化するとともに、第１の周波数成分の符号化データを一画面分伝送した後に第２の周波数成分の符号化データを一画面分伝送する画像符号化伝送方式を提供するものであり、各ブロックの画像を周波数成分毎の少なくとも１の符号化データを符号化し、各ブロックに対して周波数成分毎の符号化データが存在するか否かを示すデータとともに符号化データを伝送することが開示されている。
【０００３】
特許文献２には、画像の伝送時間の短縮、ホストコンピュータ側の画像記憶容量の削減、圧縮作業回数の低減を目的とし、ホストコンピュータの分離手段は、直交変換した後データを直流係数と交流係数とに分離し、符号化手段はこれらのデータから低域符号化画像データと高域符号化画像データとを生成し、送出側伝送手段は、先ず確認用の低域符号化画像データを端末装置に伝送し、端末装置のデータ伸長手段はこのデータから低域復号化画像データを生成し、ディスプレイは低域復号化画像データを表示し、検索目的とする画像が探し出されると、ホストコンピュータは高域符号化画像データを端末装置に伝送し、合成手段はこの高域符号化画像データと低域符号化画像データとを合成し、合成されたデータに基づき画像を表示することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０１−２１３０８５号公報
【特許文献２】特開平０５−２６８４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、互いに独立した２つの軸で分割した画像を符号化するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、画像をＤＣＴ変換する変換手段と、前記変換手段によって変換された画像を分割する第１の分割手段と、前記第１の分割手段によって分割された画像を、該第１の分割手段による分割の軸とは独立した軸によって分割する第２の分割手段と、前記第２の分割手段によって分割された画像と画像格納手段に格納されている画像との差分を生成する差分手段と、前記差分手段によって生成された差分画像を符号化する符号化手段を具備し、前記第１の分割手段による分割の軸として階調の軸とした場合は、前記第２の分割手段による分割の軸を解像度の軸とし、前記第１の分割手段は、前記変換手段によって変換された画像を商と残差に分割し、前記第２の分割手段は、商の画像に対して低周波と高周波の画像と、残差の画像に対して低周波と高周波の画像に分割する、ことを特徴とする画像処理装置である。
【０００８】
請求項２の発明は、前記差分手段は、処理結果である差分を前記画像格納手段に格納し、前回の処理結果である差分を前記画像格納手段から取得することを特徴とする請求項１に記載の画像処理装置である。
【００１０】
請求項３の発明は、前記符号化手段によって符号化された画像を出力する装置における操作、又は、該装置の性能に応じて、前記第１の分割手段又は前記第２の分割手段による処理を制御する制御手段をさらに具備することを特徴とする請求項１又は２に記載の画像処理装置である。
【００１１】
請求項４の発明は、前記符号化手段による処理結果である符号を記憶する記憶手段と、前記符号化手段によって符号化された画像を出力する装置における操作、又は、該装置の性能に応じて、前記記憶手段に記憶された符号を選択する制御を行う制御手段をさらに具備することを特徴とする請求項１又は２に記載の画像処理装置である。
【００１２】
請求項５の発明は、コンピュータを、画像をＤＣＴ変換する変換手段と、前記変換手段によって変換された画像を分割する第１の分割手段と、前記第１の分割手段によって分割された画像を、該第１の分割手段による分割の軸とは独立した軸によって分割する第２の分割手段と、前記第２の分割手段によって分割された画像と画像格納手段に格納されている画像との差分を生成する差分手段と、前記差分手段によって生成された差分画像を符号化する符号化手段として機能させ、前記第１の分割手段による分割の軸として階調の軸とした場合は、前記第２の分割手段による分割の軸を解像度の軸とし、前記第１の分割手段は、前記変換手段によって変換された画像を商と残差に分割し、前記第２の分割手段は、商の画像に対して低周波と高周波の画像と、残差の画像に対して低周波と高周波の画像に分割する、画像処理プログラムである。
【発明の効果】
【００１３】
請求項１の画像処理装置によれば、互いに独立した２つの軸で分割した画像を符号化することができる。
【００１５】
請求項２の画像処理装置によれば、分割した画像を画像格納手段に格納し、第２の分割手段による前回の分割結果を画像格納手段から取得することができる。
【００１７】
請求項３の画像処理装置によれば、符号化された画像を出力する装置における操作、又は、その装置の性能に応じて、第１の分割手段又は第２の分割手段による処理を制御することができる。
【００１８】
請求項４の画像処理装置によれば、符号化された画像を出力する装置における操作、又は、その装置の性能に応じて、記憶手段に記憶された符号を選択する制御を行うことができる。
【００１９】
請求項５の画像処理プログラムによれば、互いに独立した２つの軸で分割した画像を符号化することができる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施の形態の構成例についての概念的なモジュール構成図である。
【図２】本実施の形態を利用したシステム構成例を示す説明図である。
【図３】第１の実施の形態による処理例を示すフローチャートである。
【図４】第１の実施の形態による処理例を示すフローチャートである。
【図５】本実施の形態による処理例を示す説明図である。
【図６】第２の実施の形態の構成例についての概念的なモジュール構成図である。
【図７】第３の実施の形態の構成例についての概念的なモジュール構成図である。
【図８】第３の実施の形態による処理例を示す説明図である。
【図９】第３の実施の形態による処理例を示す説明図である。
【図１０】第３の実施の形態による処理例を示すフローチャートである。
【図１１】第３の実施の形態による処理例を示すフローチャートである。
【図１２】第３の実施の形態による処理例を示すフローチャートである。
【図１３】第３の実施の形態による処理例を示すフローチャートである。
【図１４】第４の実施の形態の構成例についての概念的なモジュール構成図である。
【図１５】第５の実施の形態の構成例についての概念的なモジュール構成図である。
【図１６】第６の実施の形態の構成例についての概念的なモジュール構成図である。
【図１７】第６の実施の形態による処理例を示すフローチャートである。
【図１８】第６の実施の形態による処理例を示すフローチャートである。
【図１９】第６の実施の形態による処理例を示すフローチャートである。
【図２０】第７の実施の形態の構成例についての概念的なモジュール構成図である。
【図２１】第８の実施の形態の構成例についての概念的なモジュール構成図である。
【図２２】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
＜＜第１の実施の形態＞＞
図１は、第１の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
【００２２】
第１の実施の形態である符号化装置１００は、画像を符号化するものであって、図１の例に示すように、第１データ分割モジュール１１５、第２データ分割モジュール１２０、差分算出モジュール１２５、画像格納モジュール１３０、符号化モジュール１３５を有しており、入力画像１０５を符号化して出力符号１４０を生成する。また、符号化装置１００に対応する復号装置１５０は、符号化装置１００による処理結果である出力符号１４０を復号して出力画像１９５を出力する。
様々な装置によって利用されるクラウド／分散環境では、その装置の性能（スペック）に応じて必要な画像品質が異なる。また、同じ装置であっても、処理の目的によって求められる画像品質は異なる。符号化装置１００は、符号を加算的に構成することにより、装置からの要求に応じた選択的な情報の転送を実現しようとするものである。
【００２３】
第１データ分割モジュール１１５は、第２データ分割モジュール１２０と接続されており、入力画像１０５を受け付け、第２データ分割モジュール１２０に第１分割画像１１７を渡す。第１データ分割モジュール１１５は、入力画像１０５を分割する。
第２データ分割モジュール１２０は、第１データ分割モジュール１１５、差分算出モジュール１２５と接続されており、第１データ分割モジュール１１５より第１分割画像１１７を受け取り、差分算出モジュール１２５に第２分割画像１２２を渡す。第２データ分割モジュール１２０は、第１データ分割モジュール１１５によって分割された第１分割画像１１７を、第１データ分割モジュール１１５による分割の軸とは独立した軸によって分割する。そして、分割した一部を選択して、差分算出モジュール１２５に渡す。
第１データ分割モジュール１１５と第２データ分割モジュール１２０による分割の軸として、解像度、階調、画像位置、色成分のいずれかを用い、第２データ分割モジュール１２０による分割の軸は、第１データ分割モジュール１１５による軸とは異なるようにしてもよい。特に、画質を示す階調の軸と解像度の軸（第１データ分割モジュール１１５を階調の軸とした場合は、第２データ分割モジュール１２０を解像度の軸、又は、第１データ分割モジュール１１５を解像度の軸とした場合は、第２データ分割モジュール１２０を階調の軸）としてもよい。
【００２４】
差分算出モジュール１２５は、第２データ分割モジュール１２０、画像格納モジュール１３０、符号化モジュール１３５と接続されており、第２データ分割モジュール１２０より第２分割画像１２２を受け取り、符号化モジュール１３５に差分画像１２７を渡す。差分算出モジュール１２５は、第２データ分割モジュール１２０によって分割された第２分割画像１２２と画像格納モジュール１３０に格納されている画像との差分を生成する。最初の第２分割画像１２２である場合は、画像格納モジュール１３０に格納されている画像は無いので、差分はその最初の第２分割画像１２２そのものとなる。なお、差分は一般的な減算処理によって生成する。
差分算出モジュール１２５は、差分算出モジュール１２５による処理結果である差分を画像格納モジュール１３０に格納し、前回の処理結果である差分を画像格納モジュール１３０から取得するようにしてもよい。
画像格納モジュール１３０は、差分算出モジュール１２５と接続されている。画像格納モジュール１３０は、差分算出モジュール１２５から処理結果である差分を受け取り、記憶する。そして、記憶している差分算出モジュール１２５の処理結果（前回受け取った差分）を差分算出モジュール１２５へ渡す。受け付ける分割画像の変更に応じて随時更新する。
符号化モジュール１３５は、差分算出モジュール１２５と接続されており、差分算出モジュール１２５より差分画像１２７を受け取り、出力符号１４０を復号装置１５０へ出力する。符号化モジュール１３５は、差分算出モジュール１２５によって生成された差分画像１２７を符号化する。符号化方法は任意の既存の技術を用いればよい。
【００２５】
復号装置１５０は、復号モジュール１５５、差分加算モジュール１６０、画像格納モジュール１６５を有している。
復号モジュール１５５は、差分加算モジュール１６０と接続されており、符号化装置１００から出力符号１４０を受け付け、差分加算モジュール１６０に差分画像１５７を渡す。復号モジュール１５５は、出力符号１４０を復号（差分算出モジュール１２５による符号化の逆処理）を行う。
差分加算モジュール１６０は、復号モジュール１５５、画像格納モジュール１６５と接続されており、復号モジュール１５５より差分画像１５７を受け取り、出力画像１９５を出力する。差分加算モジュール１６０は、復号モジュール１５５によって復号された差分画像１５７と画像格納モジュール１６５に格納されている画像との加算（差分算出モジュール１２５の逆処理）を行う。最初の差分画像１５７である場合は、画像格納モジュール１６５に格納されている画像は無いので、加算結果はその最初の差分画像１５７そのものとなる。
画像格納モジュール１６５は、差分加算モジュール１６０と接続されている。画像格納モジュール１６５は、差分加算モジュール１６０から処理結果を受け取り、記憶する。そして、記憶している差分加算モジュール１６０の処理結果（前回受け取った加算結果）を差分加算モジュール１６０へ渡す。
【００２６】
図２は、本実施の形態（後述する実施の形態を含む）を利用したシステム構成例を示す説明図である。
符号化装置１００、照合処理装置２１０、認識処理装置２２０、プレゼンテーション用端末２３０、モバイル端末２４０は、通信回線２９０を介してそれぞれ接続されている。通信回線２９０は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット等であってもよい。
照合処理装置２１０、認識処理装置２２０、プレゼンテーション用端末２３０、モバイル端末２４０は、図１の例に示した復号装置１５０の具体例である。例えば、照合処理装置２１０は医療機関にて用いられ、高階調かつ高周波数の画像を再現することが求められている。文字認識等を行う認識処理装置２２０、ＷＥＢ表示を行うプレゼンテーション用端末２３０では、伝送時間を短縮するために、低階調であるが高周波数の画像を再現することが求められている。照合処理装置２１０等と比較して小画面であるモバイル端末２４０では、高階調であるが低周波数の画像を再現することが求められている。モバイル端末２４０の画面の解像度から高周波情報は不要な場合である。
符号化装置１００は、照合処理装置２１０等からの要求にしたがって必要とする符号を送信する。
【００２７】
図３は、第１の実施の形態による処理例を示すフローチャートである。
ステップＳ３００では、処理を開始する。
ステップＳ３０２では、第１データ分割モジュール１１５が、入力画像１０５を受け付ける。
ステップＳ３０４では、第１データ分割モジュール１１５が、入力画像１０５を分割し、第１分割画像１１７を生成する。
ステップＳ３０６では、第２データ分割モジュール１２０が、第１分割画像１１７を分割し、第２分割画像１２２を生成する。
ステップＳ３０８では、差分算出モジュール１２５が、第２分割画像１２２と画像格納モジュール１３０に格納されている画像との差分画像１２７を生成する。
ステップＳ３１０では、差分算出モジュール１２５が、画像格納モジュール１３０に第２分割画像１２２を格納する。
ステップＳ３１２では、符号化モジュール１３５が、差分画像１２７を符号化し、出力符号１４０を生成する。
ステップＳ３１４では、符号化モジュール１３５が、出力符号１４０を出力する。
ステップＳ３９９では、処理を終了する。
【００２８】
図４は、第１の実施の形態による処理例を示すフローチャートである。
ステップＳ４００では、処理を開始する。
ステップＳ４０２では、復号モジュール１５５が、出力符号１４０を受け付ける。
ステップＳ４０４では、復号モジュール１５５が、出力符号１４０を復号して、差分画像１５７を生成する。
ステップＳ４０６では、差分加算モジュール１６０が、差分画像１５７に画像格納モジュール１６５に格納されている画像を加算して、出力画像１９５を生成する。
ステップＳ４０８では、差分加算モジュール１６０が、画像格納モジュール１６５に出力画像１９５を格納する。
ステップＳ４１０では、差分加算モジュール１６０が、出力画像１９５を出力する。
ステップＳ４９９では、処理を終了する。
【００２９】
図５に示す例を用いて、本実施の形態による第１データ分割モジュール１１５、第２データ分割モジュール１２０による技術的意義を説明する。なお、この説明は、本実施の形態の理解を容易にすることを目的とするものであり、概念的な説明である。
画質には複数の側面があるが、代表的なのは解像度と階調である。図５の例に示すグラフは、横軸に周波数、縦軸に階調を示している。つまり、互いに独立な軸として、周波数、階調の例を示している。ここで、原画像（量子化（符号化）前の画像）が持つ情報量を、図５（ａ）の例に示す原画像５００であるとする。もちろんのことながら、量子化前の画像であるので、周波数、階調ともに、失っている情報はない。
原画像５００に対して、ＪＰＥＧ圧縮を適用した場合は、図５（ｂ）の例に示すように、圧縮後の画像（又は、その圧縮した画像を復号した画像）の情報量はＪＰＥＧ情報５２０となり、原画像５００と比較すると、消失情報５１０が量子化によって失う情報である。
また、ＪＰＥＧ  Ｐｒｏｇｒｅｓｓｉｖｅの手法を採用したとしても、図５（ｃ）の例に示すように、伸長時において、周波数の軸に対してだけ、ＪＰＥＧ分割情報５２２、ＪＰＥＧ分割情報５２４、ＪＰＥＧ分割情報５２６のように調整ができる。つまり、ＪＰＥＧ圧縮では、スケーラブルなのが周波数（解像度）の軸のみである。したがって、周波数のみでスケールする従来技術であるＪＰＥＧ圧縮は、階調を制御できない。階調の量子化で失われた情報は、後から補間することができない。なお、情報を失わないようにすると全体の圧縮率が低下することとなる。
【００３０】
そこで、本実施の形態では、画像情報を独立な複数の軸で分割し、加算的に伸長できるように構成する。つまり、図５（ｄ）の例に示すように、伸長時において、周波数と階調を自由に選択可能としている。
これによりそれぞれの軸についてユーザが必要とする情報だけを取得できるようにする。また、これにともない画像の伝送時間を短縮することができる。
具体的には、図２の例に示した小画面であるモバイル端末２４０（又は色補正処理装置）等では、高階調であって、低周波数の画像を再現するために、例えば、図５（ｄ）で示している分割情報５５２、分割情報５５８、分割情報５６４を受信して、伸長する。モバイル端末２４０等の解像度の制約で高周波情報を省略した場合である。また、図２の例に示した認識処理装置２２０、プレゼンテーション用端末２３０（又は文字認識装置）等では、低階調であって、高周波数の画像を再現するために、例えば、図５（ｄ）で示している分割情報５６４、分割情報５６６、分割情報５６８を送信する。ここでは、伝送時間の制約で、高階調情報を省略したものである。また、図２の例に示した照合装置２１０では、高階調であって、高周波数の画像を再現するために、例えば、図５（ｄ）で示している分割情報５５２〜５６８を送信する。ここでは、原画像と同等の情報を必要としている場合である。
また、ユーザが利用する画像出力装置の物理的制約によって、分割の軸に上限値を設定することで、ユーザが取得する画像についての知識がなくても適切な情報だけを選択できるようになる。
【００３１】
一般に画像を分割すると情報量は増加する。どのように分割すれば情報量の増加が抑えられるかを以下に説明する。ある事象をａとｂの結合事象としたとき、情報量Ｉ（ａ，ｂ）は数（１）のように展開できる。
【数１】
0006497014.tif 000002
つまり、ａとｂが独立な事象であれば、Ｉ（ａ，ｂ）はａの情報量とｂの情報量に（増加なく）分割できる。
したがって、本実施の形態における第１の分割と第２の分割が、分割した結果がそれぞれ独立な事象となるように構成できれば、前述の情報量の増加はないことになる。本実施の形態では、後述するように異なる周波数の係数同士や、階調を量子化係数で除した商と余りの関係等は独立な事象だと期待できるため、本実施の形態における分割として好適である。
【００３２】
＜＜第２の実施の形態＞＞
図６は、第２の実施の形態の構成例についての概念的なモジュール構成図を示している。
本実施の形態では、符号化装置１００に画像変換モジュール６１０、復号装置１５０に画像逆変換モジュール６７０を付加したものであり、変換処理の追加による出力符号データ量の削減を行うものである。なお、前述の実施の形態と同種の部位には同一符号を付し重複した説明を省略する（以下、同様）。
符号化装置６００は、画像変換モジュール６１０、第１データ分割モジュール１１５、第２データ分割モジュール１２０、差分算出モジュール１２５、画像格納モジュール１３０、符号化モジュール１３５を有している。
画像変換モジュール６１０は、第１データ分割モジュール１１５と接続されており、入力画像１０５を受け付け、第１データ分割モジュール１１５に変換画像６１２を渡す。画像変換モジュール６１０は、入力画像１０５を変換する。例えば、入力画像１０５に周波数変換等の圧縮に有効な変換を加える。具体的には、符号化装置６００をＪＰＥＧに適用する場合、離散コサイン変換（ＤＣＴ）を行う。
第１データ分割モジュール１１５は、画像変換モジュール６１０、第２データ分割モジュール１２０と接続されており、画像変換モジュール６１０より変換画像６１２を受け取り、第２データ分割モジュール１２０に第１分割画像１１７を渡す。
【００３３】
復号装置６５０は、復号モジュール１５５、差分加算モジュール１６０、画像格納モジュール１６５、画像逆変換モジュール６７０を有している。
差分加算モジュール１６０は、復号モジュール１５５、画像格納モジュール１６５、画像逆変換モジュール６７０と接続されており、復号モジュール１５５より差分画像１５７を受け取り、画像逆変換モジュール６７０に変換画像６６７を渡す。
画像逆変換モジュール６７０は、差分加算モジュール１６０と接続されており、差分加算モジュール１６０より変換画像６６７を受け取り、出力画像１９５を出力する。画像逆変換モジュール６７０は、画像変換モジュール６１０の逆処理を行うことで、出力画像１９５を生成する。
【００３４】
＜＜第３の実施の形態＞＞
図７は、第３の実施の形態の構成例についての概念的なモジュール構成図を示している。
符号化装置７００は、ＤＣＴモジュール７１０、階調分割モジュール７１５、解像度分割モジュール７２０、差分算出モジュール７２５、画像格納モジュール７３０、Ｈｕｆｆｍａｎ符号化モジュール７３５を有している。符号化装置７００は、第２の実施の形態の符号化装置６００をＪＰＥＧに適用する場合の例である。
ＤＣＴモジュール７１０は、階調分割モジュール７１５と接続されており、入力画像７０５を受け付け、階調分割モジュール７１５に変換画像７１２を渡す。ＤＣＴモジュール７１０は、画像変換モジュール６１０に対応するものであり、離散コサイン変換を行う。
階調分割モジュール７１５は、ＤＣＴモジュール７１０、解像度分割モジュール７２０と接続されており、ＤＣＴモジュール７１０より変換画像７１２を受け取り、解像度分割モジュール７２０に第１分割画像７１７を渡す。階調分割モジュール７１５は、第１データ分割モジュール１１５に対応するものであり、階調の軸で分割を行う。
解像度分割モジュール７２０は、階調分割モジュール７１５、差分算出モジュール７２５と接続されており、階調分割モジュール７１５より第１分割画像７１７を受け取り、差分算出モジュール７２５に第２分割画像７２２を渡す。解像度分割モジュール７２０は、第２データ分割モジュール１２０に対応するものであり、解像度の軸で分割を行う。
差分算出モジュール７２５は、解像度分割モジュール７２０、画像格納モジュール７３０、Ｈｕｆｆｍａｎ符号化モジュール７３５と接続されており、解像度分割モジュール７２０より第２分割画像７２２を受け取り、Ｈｕｆｆｍａｎ符号化モジュール７３５に差分画像７２７を渡す。差分算出モジュール７２５は、差分算出モジュール１２５に対応するものである。
画像格納モジュール７３０は、差分算出モジュール７２５と接続されている。画像格納モジュール７３０は、画像格納モジュール１３０に対応するものである。
Ｈｕｆｆｍａｎ符号化モジュール７３５は、差分算出モジュール７２５と接続されており、差分算出モジュール７２５より差分画像７２７を受け取り、出力符号７４０を出力する。Ｈｕｆｆｍａｎ符号化モジュール７３５は、符号化モジュール１３５に対応するものであり、ハフマン符号化処理を行う。
【００３５】
復号装置７５０は、Ｈｕｆｆｍａｎ復号モジュール７５５、差分加算モジュール７６０、画像格納モジュール７６５、逆ＤＣＴモジュール７７０を有している。復号装置７５０は、第２の実施の形態の復号装置６５０をＪＰＥＧに適用する場合の例である。
Ｈｕｆｆｍａｎ復号モジュール７５５は、差分加算モジュール７６０と接続されており、出力符号７４０を受け付け、差分加算モジュール７６０に差分画像７５７を渡す。Ｈｕｆｆｍａｎ復号モジュール７５５は、復号モジュール１５５に対応するものであり、ハフマン復号処理を行う。
差分加算モジュール７６０は、Ｈｕｆｆｍａｎ復号モジュール７５５、画像格納モジュール７６５、逆ＤＣＴモジュール７７０と接続されており、Ｈｕｆｆｍａｎ復号モジュール７５５より差分画像７５７を受け取り、逆ＤＣＴモジュール７７０に変換画像７６７を渡す。差分加算モジュール７６０は、差分加算モジュール１６０に対応するものである。
画像格納モジュール７６５は、差分加算モジュール７６０と接続されている。画像格納モジュール７６５は、画像格納モジュール１６５に対応するものである。
逆ＤＣＴモジュール７７０は、差分加算モジュール７６０と接続されており、差分加算モジュール７６０より変換画像７６７を受け取り、出力画像７９５を出力する。逆ＤＣＴモジュール７７０は、画像逆変換モジュール６７０に対応するものであり、逆離散コサイン変換（ＤＣＴモジュール７１０の逆処理）を行う。
【００３６】
図８、図９の例を用いて、第３の実施の形態による処理例を示す。
図８（Ａ）に示す例は、ＤＣＴモジュール７１０が受け付ける入力画像７０５の具体例である。
図８（Ｂ）に示す例は、ＤＣＴモジュール７１０による入力画像７０５に対する処理結果である変換画像７１２の具体例である。
図８（Ｃ）に示す例は、階調分割モジュール７１５が用いる粗い量子化テーブル（標準の３倍）の具体例である。図８（Ｄ）に示す例は、階調分割モジュール７１５が用いる細かい量子化テーブル（標準の０．５倍）の具体例である。この例では、各値は、図８（Ｃ）に示す例の１／６となっている。
図８（Ｅ）に示す例は、階調分割モジュール７１５による処理経過を示している。図８（Ｂ）に示す例を、図８（Ｃ）に示す例で除算した場合の商である。つまり、粗い階調で量子化したものであり、低階調成分の符号となっている。
図８（Ｆ）に示す例は、階調分割モジュール７１５による処理経過を示している。図８（Ｂ）に示す例を、図８（Ｄ）に示す例で除算した場合の商である。つまり、細かい階調で量子化したものであり、今回は符号化しない。
図８（Ｇ）に示す例は、図８（Ｅ）に示す例と図８（Ｆ）に示す例から生成したものである。つまり、残差であり、高階調成分の符号となっている。具体的に、左上の値の例をもって示すと、「２８（図８（Ｆ）に示す例の左上の成分の値）−２４（図８（Ｅ）に示す例の左上の成分の値×６）＝４」となる。
【００３７】
図９（Ｅ）に示す例は図８（Ｅ）と同じであり、図９（Ｆ）に示す例は図８（Ｆ）と同じであり、図９（Ｇ）に示す例は図８（Ｇ）と同じである。これらの例は、階調分割モジュール７１５による処理結果を示している。
図９（Ｈ）、（Ｉ）、（Ｊ）、（Ｈ）に示す例は、解像度分割モジュール７２０による処理結果を示している。図９（Ｈ）、（Ｉ）に示す例は、図９（Ｅ）に示す例に対する解像度分割モジュール７２０による処理結果であり、図９（Ｊ）、（Ｋ）に示す例は、図９（Ｇ）に示す例に対する解像度分割モジュール７２０による処理結果である。左側の図９（Ｈ）、（Ｊ）に示す例は、左上の４×４の低周波、右側の図９（Ｉ）、（Ｋ）に示す例は、その他の高周波成分に制限したものである。なお、各例のグレイ部分は強制的に０に置換したものである。図９（Ｈ）に示す例は低階調／低周波であり、図９（Ｉ）に示す例は低階調／高周波であり、図９（Ｊ）に示す例は高階調／低周波であり、図９（Ｋ）に示す例は高階調／高周波である。
この後、差分算出モジュール７２５でこれら４つのブロック例（図９（Ｈ）、（Ｉ）、（Ｊ）、（Ｋ）に示す例）を予め定められた順番で差分を算出し、Ｈｕｆｆｍａｎ符号化モジュール７３５による処理を行う。
【００３８】
図１０は、第３の実施の形態による処理例（符号化処理）を示すフローチャートである。これは、ブロック毎に処理を進める例を示している。
ステップＳ１０００では、処理を開始する。
ステップＳ１００２では、画像をブロックに分割しＤＣＴ処理を行う。
ステップＳ１００４では、選択情報を設定する。
ステップＳ１００６では、階調を分割し選択する。
ステップＳ１００８では、解像度を分割し選択する。
ステップＳ１０１０では、既出力情報との差分を計算する。
ステップＳ１０１２では、Ｈｕｆｆｍａｎ符号化を行う。
ステップＳ１０１４では、情報が残っているか否かを判断し、残っている場合はステップＳ１００４へ戻り、それ以外の場合はステップＳ１０１６へ進む。
ステップＳ１０１６では、未処理ブロックが残っているか否かを判断し、残っている場合はステップＳ１００２へ戻り、それ以外の場合は処理を終了する（ステップＳ１０９９）。
【００３９】
図１１は、第３の実施の形態による処理例（符号化処理）を示すフローチャートである。これは、選択情報毎に処理を進める例を示している。
ステップＳ１１００では、処理を開始する。
ステップＳ１１０２では、選択情報を設定する。
ステップＳ１１０４では、画像をブロックに分割しＤＣＴ処理を行う。
ステップＳ１１０６では、階調を分割し選択する。
ステップＳ１１０８では、解像度を分割し選択する。
ステップＳ１１１０では、既出力情報との差分を計算する。
ステップＳ１１１２では、Ｈｕｆｆｍａｎ符号化を行う。
ステップＳ１１１４では、未処理ブロックが残っているか否かを判断し、残っている場合はステップＳ１１０４へ戻り、それ以外の場合はステップＳ１１１６へ進む。
ステップＳ１１１６では、残り情報が必要であるか否かを判断し、必要である場合はステップＳ１１０２へ戻り、それ以外の場合は処理を終了する（ステップＳ１１９９）。
【００４０】
図１２は、第３の実施の形態による処理例（復号処理）を示すフローチャートである。これは、逐次復号する例を示している。
ステップＳ１２００では、処理を開始する。
ステップＳ１２０２では、Ｈｕｆｆｍａｎ復号を行う。
ステップＳ１２０４では、既入力情報に復号情報を加算する。
ステップＳ１２０６では、逆ＤＣＴ処理を行う。
ステップＳ１２０８では、未処理ブロックが残っているか否かを判断し、残っている場合はステップＳ１２０２へ戻り、それ以外の場合はステップＳ１２１０へ進む。
ステップＳ１２１０では、情報が残っているか否かを判断し、残っている場合はステップＳ１２０２へ戻り、それ以外の場合は処理を終了する（ステップＳ１２９９）。
【００４１】
図１３は、第３の実施の形態による処理例（復号処理）を示すフローチャートである。これは、情報をまとめて復号する例を示している。
ステップＳ１３００では、処理を開始する。
ステップＳ１３０２では、Ｈｕｆｆｍａｎ復号を行う。
ステップＳ１３０４では、既入力情報に復号情報を加算する。
ステップＳ１３０６では、未処理ブロックが残っているか否かを判断し、残っている場合はステップＳ１３０２へ戻り、それ以外の場合はステップＳ１３０８へ進む。
ステップＳ１３０８では、情報が残っているか否かを判断し、残っている場合はステップＳ１３０２へ戻り、それ以外の場合はステップＳ１３１０へ進む。
ステップＳ１３１０では、逆ＤＣＴ処理を行う。
ステップＳ１３１２では、未処理ブロックが残っているか否かを判断し、残っている場合はステップＳ１３１０へ戻り、それ以外の場合は処理を終了する（ステップＳ１３９９）。
なお、図１２の例のステップＳ１２０６でのＤＣＴ処理の回数は（分割数×ブロック数）であるが、ステップＳ１３１０でのＤＣＴ処理の回数は（ブロック数）に減らせることができる。図１２の例に示す処理よりも高速処理を行う場合に採用してもよい。また、図１２の例に示す逐次処理とあわせて中間的な処理を行ってもよい。
【００４２】
＜＜第４の実施の形態＞＞
図１４は、第４の実施の形態の構成例についての概念的なモジュール構成図を示している。
符号化装置１４００は、階調分割モジュール１４１５、解像度分割モジュール１４２０、差分算出モジュール１４２５、画像格納モジュール１４３０、符号化モジュール１４３５を有している。階調分割モジュール１４１５の前に、予測モジュール１４１０を付加してもよい。
予測モジュール１４１０は、階調分割モジュール１４１５と接続されており、入力画像１４０５を受け付ける。予測モジュール１４１０は、画素値予測処理を行う。画素値予測処理は既存の処理方法を採用してもよい。階調分割モジュール１４１５等によって、予測モジュール１４１０による処理結果である予測残差を分割してもよい。その場合は復号装置１４５０に逆処理を行う逆予測モジュール１４７０が必要となる。
階調分割モジュール１４１５は、予測モジュール１４１０、解像度分割モジュール１４２０と接続されている。階調分割モジュール１４１５は、階調分割モジュール７１５と同等の処理を行う。
解像度分割モジュール１４２０は、階調分割モジュール１４１５、差分算出モジュール１４２５と接続されている。解像度分割モジュール１４２０は、解像度分割モジュール７２０と同等の処理を行う。
差分算出モジュール１４２５は、解像度分割モジュール１４２０、画像格納モジュール１４３０、符号化モジュール１４３５と接続されている。差分算出モジュール１４２５は、差分算出モジュール７２５と同等の処理を行う。
画像格納モジュール１４３０は、差分算出モジュール１４２５と接続されている。画像格納モジュール１４３０は、画像格納モジュール７３０と同等の処理を行う。
符号化モジュール１４３５は、差分算出モジュール１４２５と接続されており、出力符号１４４０を出力する。符号化モジュール１４３５は、符号化モジュール１３５と同等の処理を行う。
復号装置１４５０は、復号モジュール１４５５、差分加算モジュール１４６０、画像格納モジュール１４６５、逆予測モジュール１４７０を有している。
復号モジュール１４５５は、差分加算モジュール１４６０と接続されており、出力符号１４４０を受け付ける。復号モジュール１４５５は、復号モジュール１５５と同等の処理を行う。
差分加算モジュール１４６０は、復号モジュール１４５５、画像格納モジュール１４６５、逆予測モジュール１４７０と接続されている。差分加算モジュール１４６０は、差分加算モジュール７６０と同等の処理を行う。
画像格納モジュール１４６５は、差分加算モジュール１４６０と接続されている。画像格納モジュール１４６５は、画像格納モジュール７６５と同等の処理を行う。
逆予測モジュール１４７０は、差分加算モジュール１４６０と接続されており、出力画像１４９５を出力する。逆予測モジュール１４７０は、予測モジュール１４１０の逆処理を行う。
【００４３】
図１４（Ａ）に示す例は、入力画像１４０５の具体例である。
図１４（Ｂ）、（Ｃ）に示す例は、階調分割モジュール１４１５による処理結果例である。図１４（Ｂ）に示す例は、図１４（Ａ）に示す例を１６で量子化したものである。図１４（Ｃ）に示す例は、図１４（Ｂ）に示す例の残差である。例えば、左上の画素は１６×７＋１０＝１２２となって画素値と一致する（「７」は図１４（Ｂ）に示す例の左上の成分値、「１０」は図１４（Ｃ）に示す例の左上の成分値、「１２２」は図１４（Ａ）に示す例の左上の画素値）。
図１４（Ｄ）、（Ｅ）、（Ｆ）、（Ｇ）に示す例は、解像度分割モジュール１４２０による処理結果を示している。図１４（Ｄ）、（Ｅ）に示す例は、図１４（Ｂ）に示す例に対する解像度分割モジュール１４２０による処理結果であり、図１４（Ｆ）、（Ｇ）に示す例は、図１４（Ｃ）に示す例に対する解像度分割モジュール１４２０による処理結果である。図１４（Ｄ）、（Ｆ）に示す例は、１：４のサブサンプリング処理結果、図１４（Ｅ）、（Ｇ）に示す例は、その他の画素に制限したものである。なお、各例のグレイ部分は強制的に０に置換したものである。
例えば、画像中の文字だけ読みたい場合、階調の残差情報は必要ない、又は優先度を低くすればよい。
【００４４】
＜＜第５の実施の形態＞＞
図１５は、第５の実施の形態の構成例についての概念的なモジュール構成図を示している。
復号装置１５５０は、復号モジュール１５５、差分加算モジュール１６０、画像格納モジュール１６５、操作情報入力モジュール１５８０を有している。
画像格納モジュール１６５は、差分加算モジュール１６０、操作情報入力モジュール１５８０と接続されており、操作情報入力モジュール１５８０より端末情報１５８４を受け取る。
操作情報入力モジュール１５８０は、画像格納モジュール１６５、符号化装置１５００の分割制御モジュール１５８５と接続されており、ユーザ操作１５９５を受け付け、分割制御モジュール１５８５へ操作情報１５８２を渡し、画像格納モジュール１６５へ端末情報１５８４を渡す。操作情報入力モジュール１５８０は、復号装置１５５０に対するユーザの操作情報１５８２を入力し、符号化装置１５００に送信する。操作情報１５８２として、例えば、画像の縮小・拡大を行うためのピンチイン・ピンチアウト、画像を移動させるためのフリック等がある。
【００４５】
符号化装置１５００は、第１データ分割モジュール１１５、第２データ分割モジュール１２０、差分算出モジュール１２５、画像格納モジュール１３０、符号化モジュール１３５、分割制御モジュール１５８５を有している。
第１データ分割モジュール１１５は、第２データ分割モジュール１２０、分割制御モジュール１５８５と接続されており、入力画像１０５を受け付け、第２データ分割モジュール１２０に第１分割画像１１７を渡す。
第２データ分割モジュール１２０は、第１データ分割モジュール１１５、差分算出モジュール１２５、分割制御モジュール１５８５と接続されており、第１データ分割モジュール１１５より第１分割画像１１７を受け取り、差分算出モジュール１２５に第２分割画像１２２を渡す。
分割制御モジュール１５８５は、第１データ分割モジュール１１５、第２データ分割モジュール１２０、復号装置１５５０の操作情報入力モジュール１５８０と接続されており、操作情報入力モジュール１５８０より操作情報１５８２を受け取る。分割制御モジュール１５８５は、符号化装置１５００によって符号化された画像を出力する復号装置１５５０（出力符号１４０を受け取った復号装置１５５０）における操作、又は、その復号装置１５５０の性能に応じて、第１データ分割モジュール１１５又は第２データ分割モジュール１２０による処理を制御する。具体的には、復号装置１５５０の操作情報入力モジュール１５８０で入力されたユーザの操作情報又は復号装置１５５０の物理的制限に応じて、第１データ分割モジュール１１５、第２データ分割モジュール１２０を制御する。例えば、初期状態では復号装置１５５０の表示解像度で制限をかけておく。操作情報入力モジュール１５８０からの操作情報１５８２がピンチインである場合は、解像度上限を変更する。又は操作情報入力モジュール１５８０からの操作情報１５８２がフリックである場合は、差分をとる空間的範囲を制限する。
【００４６】
＜＜第６の実施の形態＞＞
図１６は、第６の実施の形態の構成例についての概念的なモジュール構成図を示している。第５の実施の形態に、ＤＣＴモジュール１６１０、空間分割モジュール１６１３、逆ＤＣＴモジュール１６７０を付加し、第１データ分割モジュール１１５を階調分割モジュール１６１５に、第２データ分割モジュール１２０を解像度分割モジュール１６２０に、符号化モジュール１３５をＨｕｆｆｍａｎ符号化モジュール１６３５に、復号モジュール１５５をＨｕｆｆｍａｎ復号モジュール１６５５に具体化したものである。
符号化装置１６００は、ＤＣＴモジュール１６１０、空間分割モジュール１６１３、階調分割モジュール１６１５、解像度分割モジュール１６２０、差分算出モジュール１６２５、画像格納モジュール１６３０、Ｈｕｆｆｍａｎ符号化モジュール１６３５、分割制御モジュール１６８５を有している。
ＤＣＴモジュール１６１０は、空間分割モジュール１６１３と接続されており、入力画像１６０５を受け付ける。
空間分割モジュール１６１３は、ＤＣＴモジュール１６１０、階調分割モジュール１６１５、分割制御モジュール１６８５と接続されている。
階調分割モジュール１６１５は、空間分割モジュール１６１３、解像度分割モジュール１６２０と接続されている。
解像度分割モジュール１６２０は、階調分割モジュール１６１５、差分算出モジュール１６２５、分割制御モジュール１６８５と接続されている。
差分算出モジュール１６２５は、解像度分割モジュール１６２０、画像格納モジュール１６３０、Ｈｕｆｆｍａｎ符号化モジュール１６３５と接続されている。
画像格納モジュール１６３０は、差分算出モジュール１６２５と接続されている。
Ｈｕｆｆｍａｎ符号化モジュール１６３５は、差分算出モジュール１６２５と接続されており、出力符号１６４０を出力する。
復号装置１６５０は、Ｈｕｆｆｍａｎ復号モジュール１６５５、差分加算モジュール１６６０、画像格納モジュール１６６５、逆ＤＣＴモジュール１６７０、操作情報入力モジュール１６８０を有している。
Ｈｕｆｆｍａｎ復号モジュール１６５５は、差分加算モジュール１６６０と接続されており、出力符号１６４０を受け付ける。
差分加算モジュール１６６０は、Ｈｕｆｆｍａｎ復号モジュール１６５５、画像格納モジュール１６６５、逆ＤＣＴモジュール１６７０と接続されている。
画像格納モジュール１６６５は、差分加算モジュール１６６０と接続されている。
逆ＤＣＴモジュール１６７０は、差分加算モジュール１６６０と接続されており、出力画像１６９５を出力する。
操作情報入力モジュール１６８０は、符号化装置１６００の分割制御モジュール１６８５と接続されており、ユーザ操作１６７７を受け付け、分割制御モジュール１６８５に操作内容１６８２を渡す。
【００４７】
初期状態（操作内容１６８２を未だ受信していない場合）、操作内容１６８２として、ピンチイン、フリックを操作情報入力モジュール１６８０から分割制御モジュール１６８５が受信した場合について説明する。
初期状態では、図１６（Ａ１）の例に示す全体画像１６４１の符号化結果である出力符号１６４０を送信する。この場合、図１６（Ａ２）の例に示すように全体１６４４Ａ内の低周波領域１６４５Ａ（白部分）を利用する。これは、復号装置１６５０側の表示装置の解像度の制限によって解像度分割の上限を制約する。なお、高周波領域１６４６Ａ（グレイ部分）は０で置換している。
図１６（Ｂ１）の例に示すように操作内容１６８２として部分画像１６４２のピンチインを受信した場合、表示部分の解像度が上がったので差分を送出するように制御する。この場合、差分は図１６（Ｂ２）の例に示すように高周波領域１６４６Ｂとなる。なお、低周波領域１６４５Ｂ（グレイ部分）は０で置換している。そして、表示していない部分は０で置換して符号量を削減する。
図１６（Ｃ１）の例に示すように操作内容１６８２として部分画像１６４２から部分画像１６４３へのフリックを受信した場合、注目部分が移動したので該当位置の符号を送出するように制御する。この場合、差分は図１６（Ｃ２）の例に示すように高周波領域１６４６Ｃとなる。なお、低周波領域１６４５Ｃ（グレイ部分）は０で置換している。そして、再度フリックして既送出部分に戻った場合は符号の送出は不要である。
【００４８】
図１７は、第６の実施の形態（符号化装置１６００、復号装置１６５０）による処理例を示すフローチャートである。
ステップＳ１７００では、処理を開始する。
ステップＳ１７０２では、符号化装置１６００は、復号装置１６５０に関する復号端末情報を取得する。
ステップＳ１７０４では、符号化装置１６００は、解像度上限を設定する。
ステップＳ１７０６では、符号化装置１６００は、差分情報を符号化する。ステップＳ１７０６の詳細な処理例は、図１８の例に示すフローチャートを用いて後述する。
ステップＳ１７０８では、復号装置１６５０は、差分情報を復号する。ステップＳ１７０８の詳細な処理例は、図１９の例に示すフローチャートを用いて後述する。
ステップＳ１７１０では、符号化装置１６００は、復号装置１６５０から操作情報を取得する。
ステップＳ１７１２では、符号化装置１６００は、操作情報に合わせて空間的位置、及び解像度を設定する。
ステップＳ１７１４では、符号化装置１６００は、必要な情報は転送済みか否かを判断し、転送済みの場合はステップＳ１７１０へ戻り、それ以外の場合はステップＳ１７０６へ戻る。
【００４９】
図１８は、第６の実施の形態（符号化装置１６００）による処理例を示すフローチャートである。
ステップＳ１８００では、差分情報符号化処理を開始する。
ステップＳ１８０２では、画像をブロックに分割しＤＣＴ処理を行う。
ステップＳ１８０４では、階調を分割し選択する。
ステップＳ１８０６では、解像度を分割し選択する。
ステップＳ１８０８では、既出力情報との差分を計算する。
ステップＳ１８１０では、Ｈｕｆｆｍａｎ符号化を行う。
ステップＳ１８９９では、差分情報符号化処理を終了する。
図１８の例に示す処理例では、復号側の操作に合わせてオンデマンドで符号を生成するが、後述する第７の実施の形態のように、予め符号を生成しておいて操作に合わせて生成済みの符号を送出するのでもよい。
【００５０】
図１９は、第６の実施の形態（復号装置１６５０）による処理例を示すフローチャートである。この処理例では、基本的に逐次復号となる。
ステップＳ１９００では、差分情報復号処理を開始する。
ステップＳ１９０２では、Ｈｕｆｆｍａｎ復号を行う。
ステップＳ１９０４では、既入力情報に復号情報を加算する。
ステップＳ１９０６では、逆ＤＣＴ処理を行う。
ステップＳ１９９９では、差分情報復号処理を終了する。
【００５１】
＜＜第７の実施の形態＞＞
図２０は、第７の実施の形態の構成例についての概念的なモジュール構成図である。
復号装置１５５０の操作情報入力モジュール１５８０は、画像格納モジュール１６５、符号化装置２０００の分割制御モジュール２０８５と接続されており、ユーザ操作１５９５を受け付け、分割制御モジュール２０８５へ操作情報１５８２を渡し、画像格納モジュール１６５へ端末情報１５８４を渡す。
符号化装置２０００は、第１データ分割モジュール１１５、第２データ分割モジュール１２０、差分算出モジュール１２５、画像格納モジュール１３０、符号化モジュール１３５、符号格納モジュール２０４５、分割制御モジュール２０８５を有している。
符号格納モジュール２０４５は、分割制御モジュール２０８５、符号化モジュール１３５、復号装置１５５０の復号モジュール１５５と接続されており、出力符号１４０を受け付ける。符号格納モジュール２０４５は、符号化モジュール１３５による処理結果である出力符号１４０を記憶する。
分割制御モジュール２０８５は、符号格納モジュール２０４５、復号装置１５５０の操作情報入力モジュール１５８０と接続されており、操作情報入力モジュール１５８０より操作情報１５８２を受け取る。分割制御モジュール２０８５は、符号化装置２０００によって符号化された画像を出力する復号装置１５５０（出力符号１４０を受け取った復号装置１５５０）における操作、又は、その復号装置１５５０の性能に応じて、符号格納モジュール２０４５に記憶された符号を選択する制御を行う。
【００５２】
＜＜第８の実施の形態＞＞
図２１は、第８の実施の形態の構成例についての概念的なモジュール構成図である。第８の実施の形態は、第７の実施の形態に、ＤＣＴモジュール１６１０、空間分割モジュール１６１３、逆ＤＣＴモジュール１６７０を付加し、第１データ分割モジュール１１５を階調分割モジュール１６１５に、第２データ分割モジュール１２０を解像度分割モジュール１６２０に、符号化モジュール１３５をＨｕｆｆｍａｎ符号化モジュール１６３５に、復号モジュール１５５をＨｕｆｆｍａｎ復号モジュール１６５５に具体化したものである。
符号化装置２１００は、ＤＣＴモジュール１６１０、空間分割モジュール１６１３、階調分割モジュール１６１５、解像度分割モジュール１６２０、差分算出モジュール１６２５、画像格納モジュール１６３０、Ｈｕｆｆｍａｎ符号化モジュール１６３５、分割制御モジュール２０８５、符号格納モジュール２１４５を有している。
符号格納モジュール２１４５は、分割制御モジュール２０８５、Ｈｕｆｆｍａｎ符号化モジュール１６３５、復号装置１６５０のＨｕｆｆｍａｎ復号モジュール１６５５と接続されており、出力符号１６４０を受け付ける。符号格納モジュール２１４５は、符号格納モジュール２０４５と同等の処理を行う。
分割制御モジュール２０８５は、符号格納モジュール２１４５、復号装置１６５０の操作情報入力モジュール１６８０と接続されており、操作情報入力モジュール１６８０より操作内容１６８２を受け取る。分割制御モジュール２０８５は、符号格納モジュール２１４５から既分割符号から必要な情報だけを選択する制御を行い、その選択した情報を復号装置１６５０へ送信する。
【００５３】
図２２を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図２２に示す構成は、例えばパーソナルコンピュータ（ＰＣ）等によって構成されるものであり、スキャナ等のデータ読み取り部２２１７と、プリンタ等のデータ出力部２２１８を備えたハードウェア構成例を示している。
【００５４】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２２０１は、前述の実施の形態において説明した各種のモジュール、すなわち、第１データ分割モジュール１１５、第２データ分割モジュール１２０、差分算出モジュール１２５、符号化モジュール１３５、復号モジュール１５５、差分加算モジュール１６０、画像変換モジュール６１０、画像逆変換モジュール６７０、ＤＣＴモジュール７１０、階調分割モジュール７１５、解像度分割モジュール７２０、差分算出モジュール７２５、Ｈｕｆｆｍａｎ符号化モジュール７３５、Ｈｕｆｆｍａｎ復号モジュール７５５、差分加算モジュール７６０、逆ＤＣＴモジュール７７０、予測モジュール１４１０、階調分割モジュール１４１５、解像度分割モジュール１４２０、差分算出モジュール１４２５、符号化モジュール１４３５、復号モジュール１４５５、差分加算モジュール１４６０、逆予測モジュール１４７０、操作情報入力モジュール１５８０、分割制御モジュール１５８５、操作情報入力モジュール１６８０、分割制御モジュール１６８５、分割制御モジュール２０８５、符号格納モジュール２０４５、符号格納モジュール２１４５等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
【００５５】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２０２は、ＣＰＵ２２０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２２０３は、ＣＰＵ２２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバス等から構成されるホストバス２２０４により相互に接続されている。
【００５６】
ホストバス２２０４は、ブリッジ２２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス２２０６に接続されている。
【００５７】
キーボード２２０８、マウス等のポインティングデバイス２２０９は、操作者により操作される入力デバイスである。ディスプレイ２２１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）等があり、各種情報をテキストやイメージ情報として表示する。
【００５８】
ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）２２１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ２２０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、入力画像１０５、第２分割画像１２２、出力符号１４０、差分画像１５７、出力画像１９５等が格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【００５９】
ドライブ２２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体２２１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース２２０７、外部バス２２０６、ブリッジ２２０５、及びホストバス２２０４を介して接続されているＲＡＭ２２０３に供給する。リムーバブル記録媒体２２１３も、ハードディスクと同様のデータ記録領域として利用可能である。
【００６０】
接続ポート２２１４は、外部接続機器２２１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート２２１４は、インタフェース２２０７、及び外部バス２２０６、ブリッジ２２０５、ホストバス２２０４等を介してＣＰＵ２２０１等に接続されている。通信部２２１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部２２１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部２２１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
【００６１】
なお、図２２に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図２２に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図２２に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）等に組み込まれていてもよい。
【００６２】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
【符号の説明】
【００６３】
１００…符号化装置
１１５…第１データ分割モジュール
１２０…第２データ分割モジュール
１２５…差分算出モジュール
１３０…画像格納モジュール
１３５…符号化モジュール
１５０…復号装置
１５５…復号モジュール
１６０…差分加算モジュール
１６５…画像格納モジュール
２１０…照合処理装置
２２０…認識処理装置
２３０…プレゼンテーション用端末
２４０…モバイル端末
２９０…通信回線
６００…符号化装置
６１０…画像変換モジュール
６５０…復号装置
６７０…画像逆変換モジュール
７００…符号化装置
７１０…ＤＣＴモジュール
７１５…階調分割モジュール
７２０…解像度分割モジュール
７２５…差分算出モジュール
７３０…画像格納モジュール
７３５…Ｈｕｆｆｍａｎ符号化モジュール
７５０…復号装置
７５５…Ｈｕｆｆｍａｎ復号モジュール
７６０…差分加算モジュール
７６５…画像格納モジュール
７７０…逆ＤＣＴモジュール
１４００…符号化装置
１４１０…予測モジュール
１４１５…階調分割モジュール
１４２０…解像度分割モジュール
１４２５…差分算出モジュール
１４３０…画像格納モジュール
１４３５…符号化モジュール
１４５０…復号装置
１４５５…復号モジュール
１４６０…差分加算モジュール
１４６５…画像格納モジュール
１４７０…逆予測モジュール
１５００…符号化装置
１５５０…復号装置
１５８０…操作情報入力モジュール
１５８５…分割制御モジュール
１６００…符号化装置
１６１０…ＤＣＴモジュール
１６１３…空間分割モジュール
１６１５…階調分割モジュール
１６２０…解像度分割モジュール
１６２５…差分算出モジュール
１６３０…画像格納モジュール
１６３５…Ｈｕｆｆｍａｎ符号化モジュール
１６５０…復号装置
１６５５…Ｈｕｆｆｍａｎ復号モジュール
１６６０…差分加算モジュール
１６６５…画像格納モジュール
１６７０…逆ＤＣＴモジュール
１６８０…操作情報入力モジュール
１６８５…分割制御モジュール
２０００…符号化装置
２０４５…符号格納モジュール
２０８５…分割制御モジュール
２１００…符号化装置
２１４５…符号格納モジュール
２１８５…分割制御モジュール
【図１】
0006497014.tif 000003
【図２】
0006497014.tif 000004
【図３】
0006497014.tif 000005
【図４】
0006497014.tif 000006
【図５】
0006497014.tif 000007
【図６】
0006497014.tif 000008
【図７】
0006497014.tif 000009
【図８】
0006497014.tif 000010
【図９】
0006497014.tif 000011
【図１０】
0006497014.tif 000012
【図１１】
0006497014.tif 000013
【図１２】
0006497014.tif 000014
【図１３】
0006497014.tif 000015
【図１４】
0006497014.tif 000016
【図１５】
0006497014.tif 000017
【図１６】
0006497014.tif 000018
【図１７】
0006497014.tif 000019
【図１８】
0006497014.tif 000020
【図１９】
0006497014.tif 000021
【図２０】
0006497014.tif 000022
【図２１】
0006497014.tif 000023
【図２２】
0006497014.tif 000024