(57)【要約】  【課題】  動画像を構成するフレーム画像を効率よく符号化する符号化装置を提供する。  【解決手段】  画像処理装置２は、動画像を構成するフレーム画像を符号化する場合に、このフレーム画像上にある複数の参照画素Ａ〜Ｄと、他のフレーム画像上にある参照画素Ｅとを参照して予測データを生成し、生成された予測データを用いた予測符号化処理を行う。また、画像処理装置２は、対象フレームのシーンに応じて、他のフレーム画像上に設定された参照画素Ｅの位置又は数を変化させる。これにより、画像処理装置２は、オブジェクトの動き又はズームなどに適合した符号化処理を行うことができる。【選択図】図５
2006074337.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレーム画像からなる動画像のデータを符号化する符号化装置であって、
符号化対象である注目フレーム画像の画像データに基づいて、この注目フレーム画像とは異なる他のフレーム画像に対する参照情報を生成する参照情報生成手段と、
この注目フレーム画像の少なくとも一部の符号データとして、前記参照情報生成手段により生成された参照情報の符号データを生成する符号生成手段と
を有する符号化装置。
【請求項２】
前記参照情報生成手段は、さらに、注目フレーム画像の注目領域を符号化する場合に、この注目領域とは異なる注目フレーム画像上の他の領域に対する参照情報を生成し、
前記符号生成手段は、注目領域の符号データとして、注目フレーム画像上の他の領域に対する参照情報の符号データ、又は、他のフレーム画像に対する参照情報の符号データを生成する
請求項１に記載の符号化装置。
【請求項３】
注目フレーム画像に応じて、他のフレーム画像に対する参照位置を設定する参照位置設定手段
をさらに有し、
前記参照情報生成手段は、前記参照位置設定手段により設定された参照位置の画像データと、注目フレーム画像における注目領域の画像データとに基づいて、この参照位置に対する参照情報を生成する
請求項１に記載の符号化装置。
【請求項４】
前記参照位置設定手段は、注目フレーム画像における注目領域に応じて、参照位置の数を変更し、
前記参照情報生成手段は、前記参照位置設定手段により設定された少なくとも１つの参照位置の中から、注目領域の画像データとこれらの参照位置の画像データとに基づいて１つの参照位置を選択し、選択された参照位置に対する参照情報を生成する
請求項３に記載の符号化装置。
【請求項５】
前記参照位置設定手段は、注目フレーム画像における注目領域に応じて、他のフレーム画像における参照位置を変更し、
前記参照情報生成手段は、前記参照位置設定手段により設定された参照位置の画像データと、注目フレーム画像における注目領域の画像データとに基づいて、この参照位置に対する参照情報を生成する
請求項３に記載の符号化装置。
【請求項６】
前記参照位置設定手段は、注目フレーム画像と、参照位置が設定される他のフレーム画像との違いに応じて、他のフレーム画像における参照位置を設定する
請求項３に記載の符号化装置。
【請求項７】
前記参照情報生成手段は、注目フレーム画像における注目領域の画像データと、他のフレーム画像における参照位置の画像データとを比較して、注目領域の画像データと参照位置の画像データとの差分が既定の許容範囲内である場合に、この参照位置に対する参照情報を生成し、
前記符号生成手段は、この注目領域の符号データとして、前記参照情報生成手段により生成された参照情報の符号データを生成する
請求項１に記載の符号化装置。
【請求項８】
前記参照情報生成手段は、さらに、注目フレーム画像における注目領域の画像データと、この注目フレーム画像における他の領域の画像データとを比較して、注目領域の画像データと他の領域の画像データとの差分が既定の許容範囲内である場合に、この他の領域に対する参照情報を生成し、
注目フレーム画像における注目領域の画像データと他のフレーム画像における参照位置の画像データとの差分に対する許容範囲は、この注目領域の画像データと注目フレーム画像における他の領域の画像データとの差分に対する許容範囲と異なる
請求項７に記載の符号化装置。
【請求項９】
注目フレーム画像における注目領域の画像データと、他のフレーム画像における参照位置の画像データとを比較して、注目領域の画像データと参照位置の画像データとの差分が既定の許容範囲内である場合に、この注目領域の画像データをこの参照位置の画像データで置換するデータ置換手段
をさらに有する請求項７に記載の符号化装置。
【請求項１０】
複数のフレーム画像間において、注目領域の画像データと他のフレーム画像の参照位置の画像データとの差分が連続して既定の許容範囲内にある場合に、これらの注目領域の画像データをこれらの参照位置の画像データの統計値で置換するデータ置換手段
をさらに有する請求項７に記載の符号化装置。
【請求項１１】
フレーム画像は少なくとも第１のレイヤ画像及び第２のレイヤ画像で構成され、
前記参照情報生成手段は、注目フレーム画像を構成する第１のレイヤ画像を符号化する場合に、他のフレーム画像を構成する第１のレイヤ画像に対する参照情報を生成し、
前記符号生成手段は、この注目フレーム画像を構成する第１のレイヤ画像の少なくとも一部の符号データとして、他のレイヤ画像を構成する第１のレイヤ画像に対する参照情報の符号データを生成する
請求項１に記載の符号化装置。
【請求項１２】
複数のページ画像を含む文書ファイルのデータを符号化する符号化装置であって、
符号化対象であるページ画像の画像データに基づいて、このページ画像とは異なる参照画像に対する参照情報を生成する参照情報生成手段と、
このページ画像の少なくとも一部の符号データとして、前記参照情報生成手段により生成された参照情報の符号データを生成する符号生成手段と
を有する符号化装置。
【請求項１３】
参照画像は、符号化対象であるページ画像とは異なる他のページ画像であり、
前記参照情報生成手段は、他のページ画像に対する参照情報を生成し、
前記符号生成手段は、符号化対象であるページ画像の少なくとも一部の符号データとして、他のページ画像に対する参照情報の符号データを生成する
請求項１２に記載の符号化装置。
【請求項１４】
参照画像は、複数のページ画像に共通して存在する共通オブジェクト画像であり、
前記参照情報生成手段は、共通オブジェクト画像に対する参照情報を生成し、
前記符号生成手段は、符号化対象であるページ画像の少なくとも一部の符号データとして、共通オブジェクト画像に対する参照情報の符号データを生成する
請求項１２に記載の符号化装置。
【請求項１５】
複数のフレーム画像からなる動画像の符号データを復号化する復号化装置であって、
注目フレーム画像の符号データに基づいて、この注目フレーム画像とは異なる他のフレーム画像を参照して、この他のフレーム画像に含まれる画像データを抽出する参照データ抽出手段と、
前記参照データ抽出手段により抽出された画像データに基づいて、注目フレーム画像の少なくとも一部の画像データを生成する画像データ生成手段と
を有する復号化装置。
【請求項１６】
複数のフレーム画像からなる動画像のデータを符号化する符号化方法であって、
符号化対象である注目フレーム画像の画像データに基づいて、この注目フレーム画像とは異なる他のフレーム画像に対する参照情報を生成し、
この注目フレーム画像の少なくとも一部の符号データとして、生成された参照情報の符号データを生成する
符号化方法。
【請求項１７】
複数のフレーム画像からなる動画像の符号データを復号化する復号化方法であって、
注目フレーム画像の符号データに基づいて、この注目フレーム画像とは異なる他のフレーム画像を参照して、この他のフレーム画像に含まれる画像データを抽出し、
抽出された画像データに基づいて、注目フレーム画像の少なくとも一部の画像データを生成する
復号化方法。
【請求項１８】
複数のフレーム画像からなる動画像のデータを符号化する符号化装置において、
符号化対象である注目フレーム画像の画像データに基づいて、この注目フレーム画像とは異なる他のフレーム画像に対する参照情報を生成するステップと、
この注目フレーム画像の少なくとも一部の符号データとして、生成された参照情報の符号データを生成するステップと
を前記符号化装置に実行させるプログラム。
【請求項１９】
複数のフレーム画像からなる動画像の符号データを復号化する復号化装置において、
注目フレーム画像の符号データに基づいて、この注目フレーム画像とは異なる他のフレーム画像を参照して、この他のフレーム画像に含まれる画像データを抽出するステップと、
抽出された画像データに基づいて、注目フレーム画像の少なくとも一部の画像データを生成するステップと
を前記復号化装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測符号化方式を適用した符号化装置及び復号化装置に関する。
【背景技術】
【０００２】
データの自己相関関係に着目して符号化する方法としては、例えば、ランレングス符号化、ＪＰＥＧ−ＬＳ及びＬＺ符号化（Ziv-Lempel符号化）などがある。特に、画像データの場合には、近傍の画素同士が高い相関関係を有するので、この点に着目して画像データを高い圧縮率で符号化することができる。
また、特許文献１は、動画像を構成するフレーム間の相関関係に着目して、フレーム間の差分画像データを算出し、算出された差分画像データと、入力された画像データ（フレーム画像）とを選択的に圧縮符号化する画像データ圧縮装置を開示する。
【特許文献１】特開平１１−３１３３２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、上述した背景からなされたものであり、画像間の相関を利用して入力画像を効率的に符号化する符号化装置、又は、この符号化装置により符号化された符号データを復号化する復号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
［符号化装置］
上記目的を達成するために、本発明にかかる符号化装置は、複数のフレーム画像からなる動画像のデータを符号化する符号化装置であって、符号化対象である注目フレーム画像の画像データに基づいて、この注目フレーム画像とは異なる他のフレーム画像に対する参照情報を生成する参照情報生成手段と、この注目フレーム画像の少なくとも一部の符号データとして、前記参照情報生成手段により生成された参照情報の符号データを生成する符号生成手段とを有する。
【０００５】
好適には、前記参照情報生成手段は、さらに、注目フレーム画像の注目領域を符号化する場合に、この注目領域とは異なる注目フレーム画像上の他の領域に対する参照情報を生成し、前記符号生成手段は、注目領域の符号データとして、注目フレーム画像上の他の領域に対する参照情報の符号データ、又は、他のフレーム画像に対する参照情報の符号データを生成する。
【０００６】
好適には、注目フレーム画像に応じて、他のフレーム画像に対する参照位置を設定する参照位置設定手段をさらに有し、前記参照情報生成手段は、前記参照位置設定手段により設定された参照位置の画像データと、注目フレーム画像における注目領域の画像データとに基づいて、この参照位置に対する参照情報を生成する。
【０００７】
好適には、前記参照位置設定手段は、注目フレーム画像における注目領域に応じて、参照位置の数を変更し、前記参照情報生成手段は、前記参照位置設定手段により設定された少なくとも１つの参照位置の中から、注目領域の画像データとこれらの参照位置の画像データとに基づいて１つの参照位置を選択し、選択された参照位置に対する参照情報を生成する。
【０００８】
好適には、前記参照位置設定手段は、注目フレーム画像における注目領域に応じて、他のフレーム画像における参照位置を変更し、前記参照情報生成手段は、前記参照位置設定手段により設定された参照位置の画像データと、注目フレーム画像における注目領域の画像データとに基づいて、この参照位置に対する参照情報を生成する。
【０００９】
好適には、前記参照位置設定手段は、注目フレーム画像と、参照位置が設定される他のフレーム画像との違いに応じて、他のフレーム画像における参照位置を設定する。
【００１０】
好適には、前記参照情報生成手段は、注目フレーム画像における注目領域の画像データと、他のフレーム画像における参照位置の画像データとを比較して、注目領域の画像データと参照位置の画像データとの差分が既定の許容範囲内である場合に、この参照位置に対する参照情報を生成し、前記符号生成手段は、この注目領域の符号データとして、前記参照情報生成手段により生成された参照情報の符号データを生成する。
【００１１】
好適には、前記参照情報生成手段は、さらに、注目フレーム画像における注目領域の画像データと、この注目フレーム画像における他の領域の画像データとを比較して、注目領域の画像データと他の領域の画像データとの差分が既定の許容範囲内である場合に、この他の領域に対する参照情報を生成し、注目フレーム画像における注目領域の画像データと他のフレーム画像における参照位置の画像データとの差分に対する許容範囲は、この注目領域の画像データと注目フレーム画像における他の領域の画像データとの差分に対する許容範囲と異なる。
【００１２】
好適には、注目フレーム画像における注目領域の画像データと、他のフレーム画像における参照位置の画像データとを比較して、注目領域の画像データと参照位置の画像データとの差分が既定の許容範囲内である場合に、この注目領域の画像データをこの参照位置の画像データで置換するデータ置換手段をさらに有する。
【００１３】
好適には、複数のフレーム画像間において、注目領域の画像データと他のフレーム画像の参照位置の画像データとの差分が連続して既定の許容範囲内にある場合に、これらの注目領域の画像データをこれらの参照位置の画像データの統計値で置換するデータ置換手段をさらに有する。
【００１４】
好適には、フレーム画像は少なくとも第１のレイヤ画像及び第２のレイヤ画像で構成され、前記参照情報生成手段は、注目フレーム画像を構成する第１のレイヤ画像を符号化する場合に、他のフレーム画像を構成する第１のレイヤ画像に対する参照情報を生成し、前記符号生成手段は、この注目フレーム画像を構成する第１のレイヤ画像の少なくとも一部の符号データとして、他のレイヤ画像を構成する第１のレイヤ画像に対する参照情報の符号データを生成する。
【００１５】
また、本発明にかかる符号化装置は、複数のページ画像を含む文書ファイルのデータを符号化する符号化装置であって、符号化対象であるページ画像の画像データに基づいて、このページ画像とは異なる参照画像に対する参照情報を生成する参照情報生成手段と、このページ画像の少なくとも一部の符号データとして、前記参照情報生成手段により生成された参照情報の符号データを生成する符号生成手段とを有する。
【００１６】
好適には、参照画像は、符号化対象であるページ画像とは異なる他のページ画像であり、前記参照情報生成手段は、他のページ画像に対する参照情報を生成し、前記符号生成手段は、符号化対象であるページ画像の少なくとも一部の符号データとして、他のページ画像に対する参照情報の符号データを生成する。
【００１７】
好適には、参照画像は、複数のページ画像に共通して存在する共通オブジェクト画像であり、前記参照情報生成手段は、共通オブジェクト画像に対する参照情報を生成し、前記符号生成手段は、符号化対象であるページ画像の少なくとも一部の符号データとして、共通オブジェクト画像に対する参照情報の符号データを生成する。
【００１８】
［復号化装置］
また、本発明にかかる復号化装置は、複数のフレーム画像からなる動画像の符号データを復号化する復号化装置であって、注目フレーム画像の符号データに基づいて、この注目フレーム画像とは異なる他のフレーム画像を参照して、この他のフレーム画像に含まれる画像データを抽出する参照データ抽出手段と、前記参照データ抽出手段により抽出された画像データに基づいて、注目フレーム画像の少なくとも一部の画像データを生成する画像データ生成手段とを有する。
【００１９】
［符号化方法］
また、本発明にかかる符号化方法は、複数のフレーム画像からなる動画像のデータを符号化する符号化方法であって、符号化対象である注目フレーム画像の画像データに基づいて、この注目フレーム画像とは異なる他のフレーム画像に対する参照情報を生成し、この注目フレーム画像の少なくとも一部の符号データとして、生成された参照情報の符号データを生成する。
【００２０】
［復号化方法］
また、本発明にかかる復号化方法は、複数のフレーム画像からなる動画像の符号データを復号化する復号化方法であって、注目フレーム画像の符号データに基づいて、この注目フレーム画像とは異なる他のフレーム画像を参照して、この他のフレーム画像に含まれる画像データを抽出し、抽出された画像データに基づいて、注目フレーム画像の少なくとも一部の画像データを生成する。
【００２１】
［プログラム］
また、本発明にかかるプログラムは、複数のフレーム画像からなる動画像のデータを符号化する符号化装置において、符号化対象である注目フレーム画像の画像データに基づいて、この注目フレーム画像とは異なる他のフレーム画像に対する参照情報を生成するステップと、この注目フレーム画像の少なくとも一部の符号データとして、生成された参照情報の符号データを生成するステップとを前記符号化装置に実行させる。
【００２２】
また、本発明にかかるプログラムは、複数のフレーム画像からなる動画像の符号データを復号化する復号化装置において、注目フレーム画像の符号データに基づいて、この注目フレーム画像とは異なる他のフレーム画像を参照して、この他のフレーム画像に含まれる画像データを抽出するステップと、抽出された画像データに基づいて、注目フレーム画像の少なくとも一部の画像データを生成するステップとを前記復号化装置に実行させる。
【発明の効果】
【００２３】
本発明の符号化装置によれば、画像間の相関を利用して入力画像を効率よく符号化することができる。
【発明を実施するための最良の形態】
【００２４】
［背景と概略］
まず、本発明の理解を助けるために、その背景及び概略を説明する。
例えば、ＬＺ符号化方式などの予測符号化方式では、既定の参照位置の画素値を参照して予測データを生成し、生成された予測データと注目画素の画像データとが一致する場合に、一致した予測データの参照位置など（以下、参照情報）が注目画素の符号データとして符号化される。そのため、予測データの一致頻度（的中率）が高いほど、高い圧縮率が期待できる。したがって、予測符号化方式では、参照位置をどこに設定するかにより、圧縮効率が大きく変わってくる。一般的には、近傍にある画素群で相関が高いため、参照位置は、注目画素の近傍にある画素（同一画像上）に設定される。
また、ＪＰＥＧ−ＬＳ（非可逆モード）などでは、先行する画素で決定された画素値を用いて後続の画素の画素値を置換することにより、さらに予測データの的中率を高めて圧縮率の向上を図っている。
【００２５】
符号化対象となる入力画像の中には、互いに相関のある複数の画像群を構成するものもある。例えば、動画像を構成する複数のフレーム画像は、動いていない画像領域においてほぼ一致し、動いた画像領域においても、動きの方向及び移動量を加味すればある程度相関があるといえる。
そこで、本実施形態における画像処理装置は、符号化対象となる入力画像（対象画像）を符号化する場合に、少なくとも他の参照画像（例えば、他のフレーム画像）を参照して予測データを生成し、生成された予測データを用いた予測符号化処理を行う。すなわち、本画像処理装置は、他の参照画像に対する参照情報を、対象画像の少なくとも一部の符号データとして符号化する。
また、本画像処理装置は、このように生成された符号データを復号化する場合に、符号データに応じて他の参照画像を参照し、参照画像に含まれる画像データを用いて復号画像を生成する。
【００２６】
なお、特許文献１に記載された手法では、符号化対象となっている現フレームを符号化する場合に、前フレーム（基準画像）との差分画像が生成される。
図１は、差分画像の生成を伴う符号化方式と、本実施形態における符号化方式との相違点を説明する図であり、図１（Ａ）は、前フレームと現フレームとの差分画像を例示し、図１（Ｂ）は、本実施形態における予測データ生成の際に参照される参照位置を例示する。
図１（Ａ）に例示するように、前フレーム（基準画像）と現フレームとの差分画像は、それぞれのフレームに属する画素を全画素について互いに対比し算出された差分値で構成される。そのため、動いていない部分では差分値が０となるが、動いた部分では差分値が存在し多様な値となりうる。つまり、差分画像は、少なくとも動いた部分と動いていない部分とで異なる画素値を有することになる。そのため、差分画像中に、画素値の不連続が生じ、圧縮率の向上を妨げる。
一方、図１（Ｂ）に例示するように、本実施形態における画像処理装置は、図１（Ｂ）に例示するように、注目画素Ｘと同一画像上にある参照画素Ａ〜Ｄと、他の画像（参照画像）上にある参照画素Ｅとを参照する。そして、本画像処理装置は、注目画素Ｘと一定の関係にあるいずれかの参照画素（Ａ〜Ｅ）を選択し、選択された参照画素の画素値に基づいて予測データ（参照情報）を生成する。すなわち、本画像処理装置は、他の画像（前フレーム）の画素値を一律に適用するのではなく、圧縮率の観点から有利な場合にのみ、他の画像の画素値を適用し、高い圧縮率を実現する。
【００２７】
［第１の実施形態］
次に、第１の実施形態における画像処理装置２のハードウェア構成を説明する。
図２は、本発明にかかる符号化方法及び復号化方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図２に例示するように、画像処理装置２は、ＣＰＵ２１２及びメモリ２１４などを含む制御装置２１、通信装置２２、ＨＤＤ・ＣＤ装置などの記録装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置およびキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２５から構成される。
画像処理装置２は、例えば、本発明にかかる符号化プログラム５（後述）及び復号化プログラム６（後述）がプリンタドライバの一部としてインストールされた汎用コンピュータであり、通信装置２２又は記録装置２４などを介して画像データを取得し、取得された画像データを符号化又は復号化してプリンタ装置３に送信する。
【００２８】
［符号化プログラム］
図３は、制御装置２１（図２）により実行され、本発明にかかる符号化方法を実現する第１の符号化プログラム５の機能構成を例示する図である。
図４は、符号化プログラム５によりなされる符号化処理を説明する図であり、図４（Ａ）は、フレーム内予測部５１０及びフレーム間予測部５２０により参照される画素の位置を例示し、図４（Ｂ）は、それぞれの参照画素に対応付けられた符号を例示し、図４（Ｃ）は、符号化プログラム５により生成される符号データを例示する。
【００２９】
図３に例示するように、第１の符号化プログラム５は、フレーム内予測部５１０、フレーム間予測部５２０、予測誤差算出部５３０、ラン計数部５４０、選択部５５０、符号生成部５６０及び参照位置設定部５７０を有する。なお、フレーム内予測部５１０、フレーム間予測部５２０、予測誤差算出部５３０、ラン計数部５４０及び選択部５５０の組合せが本発明にかかる参照情報生成手段の一例である。
符号化プログラム５において、画像データは、通信装置２２又は記録装置２４などを介して入力される。入力された画像データは、符号化プログラム５の前段でラスタライズされている。
【００３０】
フレーム内予測部５１０は、符号化対象となるフレーム画像（以下、対象フレームという）において互いに異なる複数の参照位置の画素値を参照して、この画素値を予測値とし、この予測値と注目画素の画素値との比較結果をラン計数部５４０に対して出力する。本例のフレーム内予測部５１０は、図４（Ａ）に例示するように、それぞれ対象フレーム上の参照画素Ａ〜Ｄの画素値と、符号化対象である注目画素Ｘの画素値とを比較して、いずれかの参照画素において画素値が一致した場合（すなわち、予測が的中した場合）に、参照位置を識別する予測部ＩＤ（後述）をラン計数部５４０に対して出力し、いずれの参照画素においても画素値が一致しなかった場合に、一致しなかった旨をラン計数部５４０に対して出力する。これら参照画素Ａ〜Ｄの位置は、図４（Ａ）に例示するように、注目画素Ｘとの相対位置として設定されている。具体的には、参照画素Ａは、注目画素Ｘの主走査方向上流に設定され、参照画素Ｂ〜Ｄは、注目画素Ｘの上方（副走査方向上流）の主走査ライン上に設定されている。
なお、フレーム内予測部５１０は、少なくとも１つの参照画素を参照して予測を行えばよく、例えば、参照位置Ａのみを参照して、この参照位置Ａの画素値と注目画素Ｘの画素値とを比較して比較結果をラン計数部５４０に出力してもよい。
【００３１】
フレーム間予測部５２０は、対象フレームとは異なる他のフレーム画像（以下、参照フレームという）の画素値を参照して、この参照フレームの画素値を予測値とし、この予測値と注目画素（対象フレームに含まれる画素）の画素値との比較結果をラン計数部５４０に対して出力する。本例のフレーム間予測部５２０は、図４（Ａ）に例示するように、参照フレームに含まれる参照画素Ｅの画素値と、注目画素Ｘの画素値とを比較して、画素値が一致した場合（すなわち、予測が的中した場合）に、この参照位置を識別する予測部ＩＤ（後述）をラン計数部５４０に対して出力し、これ以外の場合に、一致しなかった旨をラン計数部５４０に対して出力する。基準となる参照画素Ｅの相対位置は、対象フレームにおける注目画素Ｘの相対位置と対応し、例えば、対象フレームの解像度と参照フレームの解像度とが一致する場合には、同じ相対位置となる。すなわち、参照画素Ｅは、対象フレームと参照フレームとを重ね合わせた場合に、注目画素Ｘと重なり合う画素である。
以下、対象フレーム内を参照してなされる予測処理（すなわち、フレーム内予測部５１０によりなされる予測処理）をフレーム内予測といい、参照フレーム内を参照してなされる予測処理（すなわち、フレーム間予測部５２０によりなされる予測処理）をフレーム間予測という。
【００３２】
予測誤差算出部５３０は、予め定められた予測方法で注目画素の画素値を予測し、その予測値を注目画素の実際の画素値から減算し、予測誤差値としてラン計数部５４０及び選択部５５０に対して出力する。予測誤差算出部５３０の予測方法は、符号データを復号化する復号化プログラム（後述）の予測方法と対応していればよい。本例では、予測誤差算出部５３０は、フレーム内予測部５１０と同じ参照位置（参照画素Ａ）の画素値を予測値とし、この予測値と実際の画素値（注目画素Ｘの画素値）との差分を算出する。
【００３３】
ラン計数部５４０は、同一の予測部ＩＤが連続する数をカウントし、予測部ＩＤ及びその連続数を選択部５５０に対して出力する。この予測部ＩＤ及びその連続数は、対象フレーム及び参照フレームに対する参照情報の一例である。例えば、ラン計数部５４０は、予測誤差値が入力される場合に、内部カウンタでカウントされている予測部ＩＤ及びその連続数を出力し、その後に、入力された予測誤差値をそのまま選択部５５０に対して出力する。
本例では、図４（Ｂ）に例示するように、それぞれの参照画素Ａ〜Ｅには優先順位が設定されており、複数の参照画素で予測が的中した場合には、ラン計数部５４０（図３）は、設定された優先順位に応じて、予測部ＩＤの連続数を増加させる。なお、複数の参照画素Ａ〜Ｅの優先順位は、予測値の的中率（参照画素の画素値と注目画素Ｘの画素値とが一致する確率）に応じて設定されており、ＭＲＵ（Most Recently Used）アルゴリズムにより動的に更新されてもよい。
【００３４】
選択部５５０は、ラン計数部５４０から入力された予測部ＩＤ、連続数及び予測誤差値に基づいて、最も長く連続した予測部ＩＤを選択し、この予測部ＩＤ及びその連続数並びに予測誤差値を予測データとして符号生成部５６０に対して出力する。
【００３５】
符号生成部５６０は、選択部５５０から入力された予測部ＩＤ、連続数及び予測誤差値を符号化し、通信装置２２又は記録装置２４などに出力する。
より具体的には、符号生成部５６０は、図４（Ｂ）に例示するように、予測部ＩＤ（参照位置）と符号とを互いに対応付けており、注目画素Ｘと画素値が一致した参照位置に対応する符号を出力する。なお、それぞれの参照位置に対応付けられている符号は、例えば、各参照位置の的中率に応じて設定されたエントロピー符号であり、優先順位に対応する符号長となる。
また、符号生成部５６０は、同一の参照位置で連続して画素値が一致する場合には、ラン計数部５４０によりカウントされたその連続数を符号化する。これにより、符号量が少なくなる。このように、符号化プログラム５は、図４（Ｃ）に例示するように、いずれかの参照位置で画素値が一致した場合には、その参照位置に対応する符号と、この参照位置で画素値が一致する連続数とを符号化し、いずれの参照位置でも画素値が一致しなかった場合には、既定の参照位置の画素値と注目画素Ｘの画素値との差分（予測誤差値）を符号化する。
【００３６】
参照位置設定部５７０は、対象フレームに応じて、フレーム間予測部５２０により参照される参照画素の位置及び数を設定する。例えば、参照位置設定部５７０は、対象フレームと参照フレームとを比較して、対象フレームに含まれる画像と参照フレームに含まれる画像との相違（例えば、オブジェクトの移動方向など）に応じて、フレーム間予測で参照される参照位置の数又は相対位置（参照フレーム全体に対する位置）を変更する。フレーム間予測部５２０は、参照位置設定部５７０により設定された参照画素の画素値を予測値とする。
【００３７】
図５は、オブジェクトの移動に応じて設定される参照位置を説明する図である。
図５（Ａ）に例示するように、動画像においてオブジェクト（本例では「月」）が移動すると、このシーンを構成する複数のフレーム間で、オブジェクトの位置が異なることになる。本例のように、現フレーム７００’（対象フレーム）に含まれるオブジェクト（月）が符号化される場合に、前フレーム７００（参照フレーム）に含まれる同一のオブジェクト（月）が参照されるように参照位置が設定されると、予測的中率が高くなり圧縮率が向上する。
そこで、本例の参照位置設定部５７０は、移動するオブジェクト（すなわち、前フレーム７００と現フレーム７００’とで相違する領域）を符号化する場合には、図５（Ｂ）に例示するように、フレーム間予測部５２０により参照される参照位置を変更する。より具体的には、参照位置設定部５７０は、オブジェクトの移動方向及び移動量に応じて、フレーム間予測で参照される参照位置を変更する。
【００３８】
また、オブジェクトの移動速度が速い場合や移動するオブジェクトの数が多い場合などのように、前フレーム７００と現フレーム７００’との相違量が大きい場合に、フレーム間予測の的中率が低下する可能性がある。
そこで、本例の参照位置設定部５７０は、図５（Ｃ）に例示するように、前フレーム７００と現フレーム７００’との相違量に応じて、フレーム間予測部５２０により参照される参照位置の数を変更する。より具体的には、参照位置設定部５７０は、前フレーム７００と現フレーム７００’との相違量が多いほど（例えば、オブジェクトの移動速度が速い場合、移動するオブジェクトの数が多い場合など）、フレーム間予測で参照される参照位置の数を増加させる。
このように、参照位置設定部５７０は、オブジェクトの移動方向などに応じて、フレーム間予測部５２０により参照される参照位置を設定することにより、予測的中率を上げて圧縮率を向上させることができる。
【００３９】
図６は、ズームシーンで設定される参照位置を説明する図である。なお、本図において、参照フレーム（前フレーム）において、対象フレーム（現フレーム）上の注目画素Ｘに対応する画素を、「注目画素Ｘ’」と表示する。
図６（Ａ）に例示するように、ズームイン又はズームアウトによりオブジェクトの大きさが変化するシーン（ズームシーン）では、前フレーム７００（参照フレーム）と、現フレーム７００’（対象フレーム）との間に変位しない点（不動点）が存在する。本例では、不動点を中心とした拡大（ズームイン）により、前フレーム７００における各オブジェクトは現フレーム７００’においてそれぞれ拡大されている。この場合、各オブジェクトの大きさが変化すると共に、各オブジェクトの位置が不動点を中心として放射状に移動することになる。
そこで、本例の参照位置設定部５７０は、ズームシーンのフレームを符号化する場合に、不動点を基準として、ズーム量（拡大倍率又は縮小倍率など）に応じた参照位置（フレーム間予測部５２０により参照される参照位置）を設定する。例えば、ズームインがなされるシーンでは、参照位置設定部５７０は、前フレーム７００（参照フレーム）において注目画素Ｘに対応する位置と不動点との内分点の近傍に、フレーム間予測部５２０により参照される参照位置を設定する。したがって、フレーム間予測で参照される参照位置は、注目画素Ｘが不動点よりも左側（主走査方向の上流）にある場合には、図６（Ｂ）に例示するように、注目画素Ｘ’の右側（主走査方向の下流）に設定され、注目画素Ｘが不動点よりも右側（主走査方向の下流）にある場合には、図６（Ｃ）に例示するように、注目画素Ｘ’の左側（主走査方向の上流）に設定される。また、フレーム間予測で参照される参照位置は、注目画素Ｘが不動点よりも上方（副走査方向の上流）にある場合には、図６（Ｂ）に例示するように、注目画素Ｘ’の下方（副走査方向の下流）に設定され、注目画素Ｘが不動点よりも下方（副走査方向の下流）にある場合には、図６（Ｃ）に例示するように、注目画素Ｘ’の上方（副走査方向の上流）に設定される。
【００４０】
また、ズームアウトがなされるシーンでは、参照位置設定部５７０は、前フレーム７００（参照フレーム）において注目画素Ｘに対応する位置（注目画素Ｘ’）と不動点との外分点の近傍に、フレーム間予測部５２０により参照される参照位置を設定する。例えば、フレーム間予測で参照される参照位置は、注目画素Ｘが不動点よりも左側（主走査方向の上流）にある場合には、注目画素Ｘ’の左側（主走査方向の上流）に設定され、注目画素Ｘが不動点よりも右側（主走査方向の下流）にある場合には、注目画素Ｘ’の右側（主走査方向の下流）に設定される。また、フレーム間予測で参照される参照位置は、注目画素Ｘが不動点よりも上方（副走査方向の上流）にある場合には、注目画素Ｘ’の上方（副走査方向の上流）に設定され、注目画素Ｘが不動点よりも下方（副走査方向の下流）にある場合には、注目画素Ｘ’の下方（副走査方向の下流）に設定される。
このように、参照位置設定部５７０は、ズームシーンにおける不動点及びズーム量などに応じて、フレーム間予測部５２０により参照される参照位置を設定することにより、予測的中率を上げて圧縮率を向上させることができる。
【００４１】
図７は、符号化プログラム５による符号化処理（Ｓ１０）の動作を説明するフローチャートである。
図７に示すように、ステップ１００（Ｓ１００）において、符号化プログラム５は、動画像の画像データ（複数のフレーム）が入力されると、入力されたフレームの中から、順に対象フレーム及び参照フレームを選択する。本例の符号化プログラム５は、動画像の再生順に対象フレームを選択し、選択された対象フレームの直前のフレームを参照フレームとして選択する。
【００４２】
ステップ１１０（Ｓ１１０）において、参照位置設定部５７０は、対象フレームと参照フレームとを比較して、これらのフレームの相違に基づいてシーン判定を行う。参照位置設定部５７０は、オブジェクトが移動するシーンであると判定した場合には、Ｓ１２０の処理に移行し、ズームシーンであると判定した場合には、Ｓ１３０の処理に移行し、これら以外のシーンであると判定した場合には、デフォルトの参照位置（フレーム間予測に用いる参照位置）を設定し、Ｓ１４０の処理に移行する。
【００４３】
ステップ１２０（Ｓ１２０）において、参照位置設定部５７０は、図５を参照して説明したように、オブジェクトの移動方向及び移動量に応じて、フレーム間予測に用いる参照位置を設定する。
ステップ１３０（Ｓ１３０）において、参照位置設定部５７０は、図６を参照して説明したように、ズーム量及び不動点に応じて、フレーム間予測に用いる参照位置を設定する。
【００４４】
ステップ１４０（Ｓ１４０）において、符号化プログラム５は、対象フレームに含まれる各注目画素について、参照情報を生成する。より具体的には、フレーム内予測部５１０は、対象フレーム上の各注目画素Ｘ（図４）の画素値と、対象フレーム上の参照画素Ａ〜Ｄ（図４）の画素値とを比較して、比較結果（予測部ＩＤ）をラン計数部５４０に対して出力し、フレーム間予測部５２０は、参照位置設定部５７０により設定された参照フレーム上の参照画素Ｅ（図４）の画素値と、注目画素Ｘの画素値とを比較して、比較結果（予測部ＩＤ）をラン計数部５４０に対して出力する。また、予測誤差算出部５３０は、各注目画素Ｘについて予測誤差を算出しラン計数部５４０及び選択部５５０に対して出力する。
ラン計数部５４０は、フレーム内予測部５１０及びフレーム間予測部５２０から入力される比較結果（予測部ＩＤ）に基づいて、同一の予測部ＩＤが連続する数をカウントし、予測部ＩＤ及びその連続数を選択部５５０に対して出力する。
選択部５５０は、ラン計数部５４０から入力された予測部ＩＤ、連続数及び予測誤差値に基づいて、最も長く連続した予測部ＩＤを選択し、この予測部ＩＤ及びその連続数並びに予測誤差値を参照情報として符号生成部５６０に対して出力する。
【００４５】
ステップ１５０（Ｓ１５０）において、符号生成部５６０は、選択部５５０から入力された参照情報（予測部ＩＤ、連続数及び予測誤差値）を符号化する。
【００４６】
ステップ１６０（Ｓ１６０）において、符号化プログラム５は、リフレッシュフレームを生成するタイミングであるか否かを判定する。ここで、リフレッシュフレームとは、他のフレーム（参照フレーム）を参照することなく符号化されるフレームである。本例の符号化プログラム５は、リフレッシュフレーム生成後に既定のフレーム数だけフレーム間予測を用いた符号化処理を行った場合に、リフレッシュフレーム生成のタイミングであると判定してＳ１７０の処理に移行し、これ以外の場合にＳ１８０の処理に移行する。すなわち、本例の符号化プログラム５は、既定の間隔で（フレーム数毎に）リフレッシュフレームを生成する。
【００４７】
ステップ１７０（Ｓ１７０）において、符号化プログラム５は、フレーム間予測部５２０により予測処理を適用せずに、次の対象フレームを符号化する。すなわち、本例の符号化プログラム５は、同一フレーム内の参照画素のみを参照する予測符号化処理により、対象フレームを符号化する。なお、リフレッシュフレームに適用する符号化処理は、予測符号化処理に限定されるものではなく、例えば、ＪＰＥＧなどでもよい。
【００４８】
ステップ１８０（Ｓ１８０）において、符号化プログラム５は、動画像を構成する全フレームが符号化されたか否かを判断し、全てのフレームが符号化された場合に、Ｓ１９０の処理に移行し、これ以外の場合に、Ｓ１００の処理に戻って、次の対象フレーム及びこれに対応する参照フレームを選択し、Ｓ１１０からＳ１８０までの処理を繰り返す。
【００４９】
ステップ１９０（Ｓ１９０）において、符号化プログラム５は、動画像を構成する全フレームの符号データを記録装置２４（図２）などに出力する。
【００５０】
以上説明したように、符号化プログラム５は、対象フレームを符号化する場合に、他のフレーム（参照フレーム）を参照して予測符号化を行う。これにより、対象フレーム上の注目画素の画像データは、同一フレーム上の近傍画素との相関関係だけでなく、他のフレーム上の画素との相関関係をも用いて符号化されるため、予測的中率が上がり圧縮率が向上する。
【００５１】
［復号化プログラム］
図８は、制御装置２１（図２）により実行され、本発明にかかる復号化方法を実現する復号化プログラム６の機能構成を例示する図である。
図８に例示するように、復号化プログラム６は、符号復号部６１０、フレーム内抽出部６２０、誤差処理部６３０、補間処理部６４０、フレーム間抽出部６５０及び復号画像生成部６６０を有する。
復号化プログラム６において、符号復号部６１０は、図４（Ｂ）に例示したものと同様に、符号と予測部ＩＤ（参照位置）とを互いに対応付けるテーブルを有し、入力された符号データに基づいて、参照位置（予測部ＩＤ）を特定する。また、符号復号部６１０は、入力された符号データに基づいて、予測部ＩＤの連続数、及び、予測誤差などの数値も復号化する。
このように復号化された参照位置、連続数及び予測誤差（すなわち、参照情報）は、フレーム内抽出部６２０、誤差処理部６３０及び補間処理部６４０に入力される。
【００５２】
フレーム内抽出部６２０は、符号復号部６１０から入力された予測部ＩＤがフレーム内予測のいずれかに対応する場合（すなわち、参照画素Ａ〜Ｄに対応する場合）に、対応する参照位置の画素を参照して、その画素の画素値を復号データとして復号画像生成部６６０に出力する。また、フレーム内抽出部６２０は、この予測部ＩＤと共に連続数が入力された場合には、予測部ＩＤに対応する画素値に対応付けて、この連続数を復号画像生成部６６０に出力する。
【００５３】
誤差処理部６３０は、符号復号部６１０から予測誤差が入力された場合に、入力された予測誤差に対応する画素値を復号データとして復号画像生成部６６０に出力する。本例の誤差処理部６３０は、入力された予測誤差と、直左画素（参照画素Ａに対応する位置）の画素値とを合算して復号データとする。
【００５４】
補間処理部６４０は、符号復号部６１０から入力された予測部ＩＤがフレーム間予測のいずれかに対応する場合に、参照すべき参照フレームの解像度と対象フレームの解像度とを比較して、これらの解像度が異なるときに、補間処理を施す。
例えば、補間処理部６４０は、参照フレームに対して、最近傍法、線形補間法又はキュービックコンボリューション法などの補間処理を施して、参照フレームの解像度を対象フレームの解像度と一致させる。
【００５５】
フレーム間抽出部６５０は、符号復号部６１０からフレーム間予測に対応する予測部ＩＤ及び連続数が入力された場合に、参照フレームの画素を参照して、その画素の画素値を抽出し、抽出された画素値と、入力された連続数とを復号画像生成部６６０に出力する。また、フレーム間抽出部６５０は、参照フレームに補間処理がなされた場合には、補間処理後の画素値を参照フレームから抽出する。
【００５６】
復号画像生成部６６０は、フレーム内抽出部６２０から入力された復号データ、誤差処理部６３０から入力された復号データ、及び、フレーム間抽出部６５０から入力された復号データに基づいて、復号画像を生成する。より具体的には、復号画像生成部６６０は、フレーム内抽出部６２０から復号データ（画素値及び連続数）が入力された場合に、入力された画素値の画素を連続数だけ連続して配置する。また、復号画像生成部６６０は、誤差処理部６３０から復号データ（予測誤差と直左画素値との合算値）が入力された場合に、この合算値を画素値とする画素を配置する。また、復号画像生成部６６０は、フレーム間抽出部６５０から復号データ（画素値及び連続数）が入力された場合に、入力された画素値の画素を連続数だけ連続して配置する。このように配置された画素群が復号画像となる。
【００５７】
このように、本例の復号化プログラム６は、入力された符号データに応じて、対象フレーム内又は参照フレーム内を参照して、参照された画素の画素値を用いて復号画像を生成する。
【００５８】
以上説明したように、本実施形態における画像処理装置２は、符号化対象となる対象フレームとは異なる他のフレーム（参照フレーム）を参照して予測符号化処理を行うことにより、動画像を構成する各フレームの画像データを効率よく符号化し、対象フレーム又は参照フレームを参照することにより、このように符号化された符号データを復号化することができる。
【００５９】
［変形例１］
次に、上記第１の実施形態の変形例を説明する。上記実施形態の画像処理装置２は、動画像を構成するフレームの画像データを可逆に符号化していたが、本変形例の画像処理装置２は、フレームの画像データを非可逆に符号化することにより、圧縮率を向上させる。
図９は、第２の符号化プログラム５２の機能構成を例示する図である。なお、本図における各構成のうち、図３に示された構成と実質的に同一のものには同一の符号が付されている。
図９に例示するように、第２の符号化プログラム５２は、第１の符号化プログラム５に量子化部５８０を追加した構成をとる。
本変形例における量子化部５８０は、注目画素の画素値と参照画素の画素値との差分が許容範囲内である場合に、これらの画素の画素値を単一の画素値に縮退させる。より具体的には、量子化部５８０は、注目画素の画素値とフレーム内予測で参照される各参照画素の画素値との差分が既定の許容範囲内である場合に、注目画素の画素値を参照画素の画素値で置換し、画素値の置換がなされた画像データをフレーム内予測部５１０に対して出力する。これにより、フレーム内予測部５１０によるフレーム内予測の的中率が向上する。また、量子化部５８０は、注目画素の画素値とフレーム間予測で参照される参照画素の画素値との差分が既定の許容範囲内である場合に、注目画素の画素値を参照画素の画素値で置換し、画素値の置換がなされた画像データをフレーム間予測部５２０に対して出力する。これにより、フレーム間予測部５２０によるフレーム間予測の的中率が向上する。
【００６０】
図１０は、量子化部５８０の機能構成を例示する図である。
図１０に例示するように、量子化部５８０は、フレーム内参照部５８２、フレーム間参照部５８４、画素値変更処理部５８６及び誤差分配処理部５８８を含む。
量子化部５８０において、フレーム内参照部５８２は、フレーム内予測部５１０により参照される参照位置（すなわち、対象フレーム内の参照位置）の画素を参照して、この画素の画素値を画素値変更処理部５８６に対して出力する。
フレーム間参照部５８４は、フレーム間予測部５２０により参照される参照位置（すなわち、参照フレーム内の参照位置）の画素を参照して、この画素の画素値を画素値変更処理部５８６に対して出力する。
【００６１】
画素値変更処理部５８６は、注目画素の画素値と、フレーム内参照部５８２から入力された画素値又はフレーム間参照部５８４から入力された画素値とを比較し、その差分が予め設定された許容差分値以下である場合（すなわち、許容範囲内である場合）に、フレーム内参照部５８２又はフレーム間参照部５８４から入力された画素値を注目画素の画素値としてフレーム内予測部５１０（図９）又はフレーム間予測部５２０（図９）に対して出力し、さらに、注目画素の画素値と、フレーム内参照部５８２又はフレーム間参照部５８４から入力された画素値との差分（以下、誤差値）を誤差分配処理部５８８に対して出力する。一方、画素値変更処理部５８６は、注目画素の画素値と、フレーム内参照部５８２又はフレーム間参照部５８４から入力された画素値との差分が許容差分値よりも大きい場合（すなわち、許容範囲外である場合）には、注目画素の画素値をそのままフレーム内予測部５１０（図９）又はフレーム間予測部５２０（図９）に対して出力し、誤差分配処理部５８８に対して０を出力する。
なお、許容差分値（許容範囲）は、注目画素の画素値が１つの参照位置の画素値で連続して置換される場合に、この連続数に応じて減少（狭く）なることが望ましい。
【００６２】
また、画素値変更処理部５８６は、注目画素の画素値とフレーム間参照部５８４から入力された画素値との差分に対する許容差分値を、注目画素の画素値とフレーム内参照部５８２から入力された画素値との差分に対する許容差分値よりも大きな値に設定する。すなわち、本例の量子化部５８０は、フレーム間での非可逆性をフレーム内よりも許容する。一般に、フレーム間の非可逆性（画素値の変更）は、画質劣化として顕在化しにくく、むしろ動画像におけるちらつきを抑制することが期待できる。なお、画素値変更処理部５８６は、注目画素の画素値とフレーム間参照部５８４から入力された画素値との差分に対する許容差分値を固定値とし、注目画素の画素値とフレーム内参照部５８２から入力された画素値との差分に対する許容差分値を上記連続数に応じて減少する可変値としてもよい。
【００６３】
誤差分配処理部５８８は、画素値変更処理部５８６から入力された誤差値に基づいて、誤差分配値を生成し、画像データに含まれる所定の画素の画素値にこれを加算する。例えば、誤差分配処理部５８８は、フレーム内参照部５８２から入力された画素値及びフレーム間参照部５８４から入力された画素値がいずれも許容範囲を満たさない場合（すなわち、画素値変更処理部５８６から０が入力された場合）に、蓄積された誤差値に基づいて、誤差分配値を算出し、算出された誤差分配値を分配する。誤差分配値は、例えば、重み行列を用いた誤差拡散法や平均誤差最小法に従って、誤差値に重み行列の値を掛け合わせて算出される。このように、誤差値が周辺の画素に分配されることにより、部分画像の平均画素値が一定に保たれる。
【００６４】
図１１は、第２の符号化プログラム５２による符号化処理（Ｓ２０）の動作を説明するフローチャートである。
図１１に示すように、ステップ２００（Ｓ２００）において、符号化プログラム５２は、動画像の画像データ（複数のフレーム）が入力されると、入力された動画像の画像データに対して量子化処理がなされたことがあるか否かを判定する。例えば、符号化プログラム５２は、入力された動画像の画像データに添付データに基づいて、符号化プログラム５２による符号化処理がなされたことがあるか否かを判定し、符号化プログラム５２による符号化処理がなされたことがある場合（すなわち、量子化部５８０による量子化処理が施されたことがある場合）に、Ｓ１０の処理に移行し、符号化プログラム５２による符号化処理がなされたことがない場合（すなわち、量子化部５８０による量子化処理が施されたことがない場合）に、Ｓ２１０の処理に移行する。
すなわち、本例の符号化プログラム５２は、量子化部５８０により量子化処理を、同一の動画像データに対して一度だけ施すようにする。これにより、非可逆符号化を繰り返すことによる画質劣化（ジェネレーションノイズ）が防止される。
【００６５】
ステップ２１０（Ｓ２１０）において、量子化部５８０（図９）は、入力された動画像の画像データ（複数のフレーム）に対して、フレーム内予測（フレーム内予測部５１０によりなされる予測処理）又はフレーム間予測（フレーム間予測部５２０によりなされる予測処理）に対応する量子化処理を施す。
量子化部５８０は、量子化処理が施された動画像のデータに、量子化処理がなされたことを示す添付データを添付して、フレーム内予測部５１０及びフレーム間予測部５２０に対して出力する。
【００６６】
Ｓ１０において、符号化プログラム５２は、図７を参照して説明した手順で、動画像を構成する各フレームを符号化する。すなわち、符号化プログラム５２は、入力されたフレームの中から、順に対象フレーム及び参照フレームを選択し、フレーム内予測部５１０は、量子化処理が施された注目画素Ｘ（図４）の画素値と、対象フレーム上の参照画素Ａ〜Ｄ（図４）の画素値とを比較して、比較結果をラン計数部５４０に対して出力し、フレーム間予測部５２０は、参照位置設定部５７０により設定された参照フレーム上の参照画素Ｅ（図４）の画素値と、量子化処理が施された注目画素Ｘの画素値とを比較して、比較結果をラン計数部５４０に対して出力する。また、予測誤差算出部５３０は、各注目画素Ｘについて予測誤差を算出しラン計数部５４０及び選択部５５０に対して出力する。
ラン計数部５４０は、フレーム内予測部５１０及びフレーム間予測部５２０から入力される比較結果に基づいて、同一の予測部ＩＤが連続する数をカウントし、予測部ＩＤ及びその連続数を選択部５５０に対して出力し、選択部５５０は、ラン計数部５４０から入力された予測部ＩＤ、連続数及び予測誤差値に基づいて、最も長く連続した予測部ＩＤを選択し、この予測部ＩＤ及びその連続数並びに予測誤差値を参照情報として符号生成部５６０に対して出力し、符号生成部５６０は、選択部５５０から入力された参照情報（予測部ＩＤ、連続数及び予測誤差値）を符号化する。
また、符号化プログラム５２は、必要に応じて、リフレッシュフレームを生成し、全てのフレームが符号化されると、符号化された全フレームの符号データを記録装置２４（図２）などに出力する。
【００６７】
このように、本変形例における符号化プログラム５２は、いずれかの参照画素Ａ〜Ｅの画素値（注目画素Ｘの画素値と近似するもの）で注目画素Ｘを塗潰す。これにより、符号化プログラム５２は、フレーム内予測部５１０又はフレーム間予測部５２０による予測の的中率を向上させ、圧縮率を向上させることができる。
【００６８】
なお、上記量子化部５８０は、注目画素の画素値と参照画素の画素値との差分が許容範囲内である場合に、注目画素の画素値を参照画素の画素値で置換したが、これに限定されるものではなく、例えば、注目画素の画素値と参照画素の画素値との差分が連続して許容範囲内となる場合に、これらの参照画素の画素値の統計値（平均画素値、最頻値、中央値など）で置換してもよい。
【００６９】
図１２は、量子化された場合の画像データ（量子化画像）を例示する図であり、図１２（Ａ）は、先行する画素の画素値を用いて理想的な入力画像を量子化した場合を例示し、図１２（Ｂ）は、先行する画素の画素値を用いて、ノイズを含む入力画像を量子化した場合を例示し、図１２（Ｃ）は、画素群の平均画素値を用いて、ノイズを含む入力画像を量子化した場合を例示する。なお、図１２において、破線は、入力画像の画素値を示し、一点鎖線は、量子化が許容される画素値の範囲（許容差分値に相当する範囲）を示し、実線は、量子化後の画素値を示す。
【００７０】
図１２（Ａ）に例示するように、参照画素Ａ（注目画素の直左にある参照位置）による量子化は、先行する画素を基準画素として、この基準画素の画素値から既定の範囲内（一点鎖線）の画素値を有する後続画素群を量子化区間とし、この量子化区間に含まれる画素群を基準画素の画素値に置換することにより行われる。そして、後続画素の画素値が、上記範囲外となった場合に、この画素を次の基準画素として次の量子化区間が決定される。
本例の入力画像（破線）は、主走査方向に連続的に画素値が増加する画像であるため、量子化画像（実線）は、主走査方向に階段状に画素値が増加する画像となる。この量子化画像は、先行する画素（参照画素Ａ）の画素値を用いて量子化されているため、入力画像と比較して全体的に濃度が薄くなる（すなわち、画素値が小さくなる）。同様の理由により、画素値が主走査方向に単調減少する入力画像の場合には、量子化画像は、入力画像よりも全体的に濃度が濃くなる（すなわち、画素値が大きくなる）。そのため、上記のように、誤差分配処理部５８８（図１０）により誤差値を分配する必要がでてくる。
【００７１】
また、図１２（Ｂ）に例示するように、画像データにノイズが含まれている場合には、このノイズの位置で量子化区間が区切られる可能性がある。このような場合に、先行する画素の画素値を用いて量子化すると、ノイズ位置を基準とした量子化区間の画素群は、ノイズの値で置換されるため、このノイズが量子化区間に拡散されることになる。
【００７２】
そこで、量子化部５８０は、量子化区間に含まれる複数の画素値を用いて平均値、中央値又は最頻値などの統計値を算出し、この統計値で量子化区間の画素値を置換する。
例えば、量子化区間の平均画素値を量子化した場合には、図１２（Ｃ）に例示するように、量子化画像の画素値は、全体的に、入力画像の画素値を同じ濃度となる。また、平均画素値を用いて量子化することにより、ノイズの影響が緩和される。
なお、本図では、同一フレーム内における走査方向の量子化区間（空間方向の量子化区間）について、平均画素値を適用して量子化する形態を説明したが、これに限定されるものではなく、量子化部５８０は、複数のフレーム間における時間方向の量子化区間（すなわち、複数のフレーム間で、同じ相対位置にある画素に対する量子化が連続して許容される場合）について、この量子化区間に属する画素群の平均画素値等で量子化してもよいし、空間方向及び時間方向の量子化区間（すなわち、走査方向に配列された画素群の画素値、及び、複数のフレーム間で同じ相対位置にある画素群の画素値が許容範囲内になる場合）について、空間方向及び時間方向の量子化区間に属する画素群の平均画素値等で量子化してもよい。
【００７３】
［変形例２］
次に、上記実施形態の第２の変形例を説明する。符号化対象となる各フレームは、複数のレイヤ構造で構成されてもよく、本変形例の符号化プログラム５は、レイヤ構造で構成された複数のフレームを符号化する。
図１３は、レイヤ構造で構成されたフレームの符号化方法を説明する図であり、図１３（Ａ）は、レイヤ構造で構成されたフレームを例示し、図１３（Ｂ）は、レイヤ構造で構成された複数のフレームをシングルストリームで符号化する方法を説明し、図１３（Ｃ）は、レイヤ構造で構成された複数のフレームをマルチストリームで符号化する方法を説明する。
図１３（Ａ）に例示するように、動画像を構成する各フレーム７００は、複数のレイヤ（マスクレイヤ７１０及びイメージレイヤ７２０）で構成され、これらのレイヤに割り当てられた画像要素が合成された状態で出力される。本例の画像処理装置２は、テロップなどの文字画像をマスクレイヤ７１０に割り当て、写真画像又はＣＧ画像などをイメージレイヤ７２０に割り当て、それぞれのフレーム７００を作成する。
【００７４】
画像処理装置２は、このようにマスクレイヤ７１０及びイメージレイヤ７２０で構成される各フレームを符号化する場合に、図１３（Ｂ）に例示するように、それぞれのフレームをマスクレイヤ及びイメージレイヤの順で符号化することにより、マスクレイヤの符号データとイメージレイヤの符号データとが交互に並んだ符号ストリーム（シングルストリーム）を生成する。
この場合に、符号化プログラム５は、現フレーム７００’のイメージレイヤ７２０’の符号データを生成する場合に、１つ飛ばして前フレーム７００のイメージレイヤ７２０を参照してフレーム間予測を行う。これにより、イメージレイヤ７２０’は効率よく符号化される。また、符号化プログラム５は、現フレーム７００’のマスクレイヤ７１０’の符号データを生成する場合に、１つ飛ばして前フレーム７００のマスクレイヤ７１０を参照してフレーム間予測を行う共に、現フレーム７００’のイメージレイヤ７２０’を参照して層間予測を行う。ここで、層間予測とは、同一フレーム内で、他のレイヤ画像を参照してなされる予測処理であり、例えば、フレーム内予測部５１０が他のレイヤ画像を参照することにより実現される。
【００７５】
また、画像処理装置２は、マスクレイヤ７１０及びイメージレイヤ７２０で構成される各フレームを符号化する場合に、図１３（Ｃ）に例示するように、それぞれのフレームに属するマスクレイヤ及びイメージレイヤをそれぞれレイヤの属性で分類して、分類されたレイヤ毎に符号化してもよい。この場合に、マスクレイヤの符号データと、イメージレイヤの符号データとが並行して配列された符号ストリーム（マルチストリーム）となる。
この場合に、符号化プログラム５は、現フレーム７００’のイメージレイヤ７２０’の符号データを生成する場合に、直前の前フレーム７００のイメージレイヤ７２０を参照してフレーム間予測を行う。また、符号化プログラム５は、現フレーム７００’のマスクレイヤ７１０’の符号データを生成する場合に、１つ飛ばして前フレーム７００のマスクレイヤ７１０を参照してフレーム間予測を行う。これにより、マスクレイヤ及びイメージレイヤが共に効率よく圧縮される。
【００７６】
図１４は、層間予測を適用した符号化処理を説明する図である。
図１４（Ａ）に例示するように、符号化プログラム５は、マスクレイヤ７１０の符号データを生成する場合に、フレーム内予測部５１０によりイメージレイヤ７２０を参照して、フレーム７００の画像データを処理することにより、イメージレイヤ７２０に対する参照情報の符号を含む符号データを生成することができる。このように生成される符号データは、マスクレイヤ７１０の符号データとなる。符号化されたマスクレイヤ７１０のうち、ハッチングされた領域は、参照画像（イメージレイヤ７２０）を参照してなされた予測（層間予測）が的中した領域であり、フレーム内予測部５１０による層間予測に対応する符号の連続として符号化される。
このマスクレイヤ７１０の符号データは、イメージレイヤ７２０を参照して復号化されると、フレーム７００の画像に相当する復号画像となる。
【００７７】
このように、第２の変形例における符号化プログラム５は、同一フレームにおける層間予測と、フレーム間予測とを用いて、マスクレイヤ７１０の符号データを生成するため、高い圧縮率を期待できる。
【００７８】
［第２の実施形態］
次に、第２の実施形態を説明する。スライド画像などのように、複数のページが準静的な状態で連続的に出力されるファイル（以下、文書ファイル）がある。このような文書ファイルに含まれる複数のページ画像は、互いに高い相関関係にある場合が多い。
そこで、第２の実施形態における画像処理装置２は、文書ファイルに含まれる１つのページ画像（以下、対象ページ）を符号化する場合に、対象ページとは異なる画像（例えば、後述するテンプレート画像又は他のページ画像）を参照する予測符号化処理により、対象ページの符号データを生成する。
【００７９】
図１５は、複数のページからなる文書ファイルの符号化処理を説明する図である。
図１５に例示するように、文書ファイルに含まれる複数のページは、ヘッダ部分（本例では、ページ番号）、タイトル部分（本例では、「ＡＢＣ商品開発」の文字）、ロゴマーク、及び、フッタ部分で共通する。
そこで、本実施形態における画像処理装置２は、予め、これらの共通部分からなるテンプレート画像８２０を作成し、このテンプレート画像８２０を参照する予測符号化処理により各ページの符号データを生成する。
【００８０】
図１６は、第２の実施形態における符号化プログラム５４の機能構成を例示する図である。なお、本図における各構成のうち、図３に示された構成と実質的に同一のものには同一の符号が付されている。
図１６に例示するように、第３の符号化プログラム５４は、第１の符号化プログラム５におけるフレーム内予測部５１０及びフレーム間予測部５２０をそれぞれページ内予測部５１５及びページ間予測部５２５に置換し、参照位置設定部５７０を削除した構成をとる。
符号化プログラム５４において、ページ内予測部５１５は、符号化対象となるページ画像（対象ページ）に設定された参照位置の画素値を参照して、この画素値を予測値とし、この予測値と注目画素の画素値との比較結果をラン計数部５４０に対して出力する。例えば、ページ内予測部５１５は、図４（Ａ）に例示するように、それぞれ対象ページ上の参照画素Ａ〜Ｄの画素値と、符号化対象である注目画素Ｘの画素値とを比較して、いずれかの参照画素において画素値が一致した場合に、参照位置を識別する予測部ＩＤをラン計数部５４０に対して出力し、いずれの参照画素においても画素値が一致しなかった場合に、一致しなかった旨をラン計数部５４０に対して出力する。
【００８１】
ページ間予測部５２５は、対象ページとは異なる他の画像（以下、参照画像という）の画素値を参照して、この参照フレームの画素値を予測値とし、この予測値と注目画素（対象ページに含まれる画素）の画素値との比較結果をラン計数部５４０に対して出力する。本例のページ間予測部５２５は、図１５に例示したテンプレート画像８２０を参照して、テンプレート画像８２０上の参照位置の画素値と、注目画素Ｘの画素値とを比較して、画素値が一致した場合に、この参照位置を識別する予測部ＩＤをラン計数部５４０に対して出力し、これ以外の場合に、一致しなかった旨をラン計数部５４０に対して出力する。このテンプレート画像８２０上の参照位置は、対象ページにおける注目画素Ｘの相対位置と対応し、例えば、対象ページの解像度とテンプレート画像８２０の解像度とが一致する場合には、同じ相対位置となる。なお、ページ間予測部５２５は、対象ページの符号データを生成する場合に、他のページを参照して予測処理を行ってもよい。
【００８２】
以上説明したように、第２の実施形態における画像処理装置２は、文書ファイルに含まれる対象ページを符号化する場合に、他の画像（テンプレート画像８２０又は他のページ画像）を参照して予測符号化を行うことにより、高い圧縮率で対象ページを符号化できる。また、画像処理装置２は、このように生成された符号データを復号化する場合に、符号データに応じて他の画像（テンプレート画像８２０又は他のページ画像）を参照することにより復号画像を生成することができる。
【００８３】
［その他の変形例］
次に、本発明が適用可能な他の具体例を説明する。
図１７（Ａ）は、３Ｄ動画像の符号化処理を説明する図であり、図１７（Ｂ）は、動画像に秘匿化処理を施す符号化処理を説明する図である。
図１７（Ａ）に例示するように、３Ｄ動画像を構成する各フレーム画像は、立体形状を含み、それぞれの立体形状は複数の断面画像を有する。これらの断面画像は互いに高い相関を有する場合が多い。そのため、これらの断面画像の符号化処理において本発明を適用できる。
例えば、画像処理装置２は、現フレームの立体形状が有する１つの断面画像を注目断面画像として符号化する場合に、現フレームの他の断面画像を参照する予測処理と、他のフレームの立体形状の断面画像を参照するフレーム間予測処理とを併用することにより、高い圧縮率で注目断面画像を符号化することができる。
【００８４】
また、図１７（Ｂ）に例示するように、画像処理装置２は、ノイズ領域を含む参照画像を参照して、動画像を構成する各フレーム画像を符号化することにより、動画像に対する閲覧制御を行うことができる。例えば、秘匿化したい領域（以下、秘匿領域）に対応する領域がノイズで構成されたキー画像を用いて各フレーム画像が符号化されると、各フレーム画像の秘匿領域は、ノイズを参照して符号化される。そのため、ランダム（不均一）にこのキー画像の画素値で予測が的中し、キー画像に対する参照情報の符号がランダムにフレーム画像の符号データに挿入される。そのため、このキー画像を用いずにこの符号データが復号化されると、ノイズ領域に対応する領域（秘匿領域）は、スクランブルがかけられた画像となって復号化される。一方、秘匿化しない領域（非秘匿領域）は、既定の画素値（例えば、最小値又は最大値）で一様に埋められた領域（参照画像）を参照して符号化されるため、キー画像を用いずに復号化されても、閲覧可能な状態で再生される。
【図面の簡単な説明】
【００８５】
【図１】差分画像の生成を伴う符号化方式と、本実施形態における符号化方式との相違点を説明する図であり、（Ａ）は、前フレームと現フレームとの差分画像を例示し、（Ｂ）は、本実施形態における予測データ生成の際に参照される参照位置を例示する。
【図２】本発明にかかる符号化方法及び復号化方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
【図３】制御装置２１（図２）により実行され、本発明にかかる符号化方法を実現する第１の符号化プログラム５の機能構成を例示する図である。
【図４】符号化プログラム５によりなされる符号化処理を説明する図であり、（Ａ）は、フレーム内予測部５１０及びフレーム間予測部５２０により参照される画素の位置を例示し、（Ｂ）は、それぞれの参照画素に対応付けられた符号を例示し、（Ｃ）は、符号化プログラム５により生成される符号データを例示する。
【図５】オブジェクトの移動に応じて設定される参照位置を説明する図である。
【図６】ズームシーンで設定される参照位置を説明する図である。
【図７】符号化プログラム５による符号化処理（Ｓ１０）の動作を説明するフローチャートである。
【図８】制御装置２１（図２）により実行され、本発明にかかる復号化方法を実現する復号化プログラム６の機能構成を例示する図である。
【図９】第２の符号化プログラム５２の機能構成を例示する図である。
【図１０】量子化部５８０の機能構成を例示する図である。
【図１１】第２の符号化プログラム５２による符号化処理（Ｓ２０）の動作を説明するフローチャートである。
【図１２】量子化された場合の画像データ（量子化画像）を例示する図であり、（Ａ）は、先行する画素の画素値を用いて理想的な入力画像を量子化した場合を例示し、（Ｂ）は、先行する画素の画素値を用いて、ノイズを含む入力画像を量子化した場合を例示し、（Ｃ）は、画素群の平均画素値を用いて、ノイズを含む入力画像を量子化した場合を例示する。
【図１３】レイヤ構造で構成されたフレームの符号化方法を説明する図であり、（Ａ）は、レイヤ構造で構成されたフレームを例示し、（Ｂ）は、レイヤ構造で構成された複数のフレームをシングルストリームで符号化する方法を説明し、（Ｃ）は、レイヤ構造で構成された複数のフレームをマルチストリームで符号化する方法を説明する。
【図１４】層間予測を適用した符号化処理を説明する図である。
【図１５】複数のページからなる文書ファイルの符号化処理を説明する図である。
【図１６】第２の実施形態における符号化プログラム５４の機能構成を例示する図である。
【図１７】（Ａ）は、３Ｄ動画像の符号化処理を説明する図であり、（Ｂ）は、動画像に秘匿化処理を施す符号化処理を説明する図である。
【符号の説明】
【００８６】
２・・・画像処理装置
５，５２，５４・・・符号化プログラム
５１０・・・フレーム内予測部
５１５・・・ページ内予測部
５２０・・・フレーム間予測部
５２５・・・ページ間予測部
５３０・・・予測誤差算出部
５４０・・・ラン計数部
５５０・・・選択部
５６０・・・符号生成部
５７０・・・参照位置設定部
５８０・・・量子化部
６・・・復号化プログラム
６１０・・・符号復号部
６２０・・・フレーム内抽出部
６３０・・・誤差処理部
６４０・・・補間処理部
６５０・・・フレーム間抽出部
６６０・・・復号画像生成部
【図１】
2006074337.tif 000003
【図２】
2006074337.tif 000004
【図３】
2006074337.tif 000005
【図４】
2006074337.tif 000006
【図５】
2006074337.tif 000007
【図６】
2006074337.tif 000008
【図７】
2006074337.tif 000009
【図８】
2006074337.tif 000010
【図９】
2006074337.tif 000011
【図１０】
2006074337.tif 000012
【図１１】
2006074337.tif 000013
【図１２】
2006074337.tif 000014
【図１３】
2006074337.tif 000015
【図１４】
2006074337.tif 000016
【図１５】
2006074337.tif 000017
【図１６】
2006074337.tif 000018
【図１７】
2006074337.tif 000019