(57)【要約】【課題】効率良い符号化を行えるようにする。【解決手段】判定テーブル導出部５２は、入力されるフレームに基づく画像を、数フレームにわたって動きのない静止領域と、静止領域以外の動きのある動き領域とに分類し、その分類に基づく判定テーブルを作成する。静止領域処理部５４は、静止領域と判定された領域内の画像を、時間方向の相関の度合いに注目した符号化を行う。動き領域処理部５５は、動き領域と判定された領域内の画像を、空間方向の相関の度合いに注目した符号化を行う。本発明は、動画像を符号化する符号化装置などに適用できる。【選択図】図２
2007116460.tif 000002
【特許請求の範囲】
【請求項１】
入力された複数のフレームを用い、前記複数のフレームのうちの所定のフレームを、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類する分類手段と、
前記第１の領域を第１の符号化方式で符号化する第１の符号化手段と、
前記第２の領域を第１の符号化方式とは異なる符号化方式で符号化する第２の符号化手段と
を備える符号化装置。
【請求項２】
前記分類手段は、
複数のフレームにおける同一の座標の画素値から積分データを算出する第１の算出手段と、
前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記第１の算出手段により算出された前記積分データを減算することにより残差データを算出する第２の算出手段と
を備え、
前記第２の算出手段により算出された前記残差データを所定の演算式に代入した演算結果が、所定の閾値より大きいか否かを判断することにより、前記座標における画素が、前記第１の領域に属するか、または前記第２の領域に属するかを分類する
請求項１に記載の符号化装置。
【請求項３】
前記第１の符号化手段は、
前記フレームを構成するラインを構成する画素のうち、ラスタースキャン順で最初にスキャンされる画素であり、前記分類手段により前記第１の領域であると判断された画素を基準に設定し、その基準に設定された画素値を基準データとする第１の導出手段と、
前記分類手段により前記第１の領域であると判断された画素のうち、隣接する画素の画素値の差分を演算し、差分値データとする第２の導出手段と
を備え、
前記基準値データと前記差分値データを符号化する
請求項１に記載の符号化装置。
【請求項４】
前記第２の符号化手段は、
複数のフレームにおける同一の座標の画素値から積分データを算出する第１の算出手段と、
前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記第１の算出手段により算出された前記積分データを減算することにより残差データを算出する第２の算出手段と
を備え、
前記積分データと前記残差データを符号化する
請求項１に記載の符号化装置。
【請求項５】
前記複数のフレームが１乃至Ｎ枚のフレームから構成されている場合、前記第２の算出手段は、１枚目のフレームにおける積分データを算出し、２乃至Ｎ枚の各フレームにおける積分データは、前のフレームの積分データを用いて算出する
請求項１に記載の符号化装置。
【請求項６】
前記複数のフレームが１乃至Ｎ枚のフレームから構成されている場合、前記第２の算出手段は、１乃至Ｎ−１までの各フレームにおける残差データを算出する
請求項１に記載の符号化装置。
【請求項７】
入力された複数のフレームを用い、前記複数のフレームのうちの所定のフレームを、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類する分類ステップと、
前記第１の領域を第１の符号化方式で符号化する第１の符号化ステップと、
前記第２の領域を第１の符号化方式とは異なる符号化方式で符号化する第２の符号化ステップと
を含む符号化方法。
【請求項８】
入力された複数のフレームを用い、前記複数のフレームのうちの所定のフレームを、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類する分類ステップと、
前記第１の領域を第１の符号化方式で符号化する第１の符号化ステップと、
前記第２の領域を第１の符号化方式とは異なる符号化方式で符号化する第２の符号化ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項９】
複数のフレームのうちの所定のフレームに関し、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類された分類結果、前記第１の領域内の画素の画素値に係わる符号化された第１の符号化データ、および、前記第２の領域内の画素の画素値に係わる符号化された第２の符号化データを入力する入力手段と、
前記入力手段により入力された前記第１の符号化データを、前記分類結果を用いて、第１の領域を判断しながら、第１の復号化方式で復号化する第１の復号化手段と、
前記入力手段により入力された前記第２の符号化データを、前記分類結果を用いて、第２の領域を判断しながら、前記第１の復号化方式とは異なる第２の復号化方式で復号化する第２の復号化手段と
を備える復号化装置。
【請求項１０】
前記分類結果は、
前記複数のフレームにおける同一の座標の画素値から積分データが算出され、
前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記積分データが減算されることにより残差データが算出され、
前記残差データが所定の演算式に代入された演算結果が、所定の閾値より大きいか否かが判断されることにより、前記座標における画素が、前記第１の領域に属するか、または前記第２の領域に属するかが分類された結果である
請求項９に記載の復号化装置。
【請求項１１】
前記第１の符号化データは、
前記フレームを構成するラインを構成する画素のうち、ラスタースキャン順で最初にスキャンされる画素であり、前記第１の領域に分類された画素の画素値と、
前記第１の領域に分類された画素のうち、隣接する画素の画素値の差分値が含まれ、前記第１の復号化方式に対応する符号化方式で符号化されたデータである
請求項９に記載の復号化装置。
【請求項１２】
前記第１の符号化データは、
前記複数のフレームにおける同一の座標の画素値から積分データと、
前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記積分データが減算されることにより残差データが含まれ、前記第２の復号化方式に対応する符号化方式で符号化されたデータである
請求項９に記載の復号化装置。
【請求項１３】
前記複数のフレームが１乃至Ｎ枚のフレームから構成されている場合、前記第２の符号化データには、１枚目のフレームにおける積分データが含まれる
請求項９に記載の復号化装置。
【請求項１４】
前記複数のフレームが１乃至Ｎ枚のフレームから構成されている場合、前記第２の符号化データには、１乃至Ｎ−１までの各フレームにおける残差データが含まれる
請求項９に記載の復号化装置。
【請求項１５】
複数のフレームのうちの所定のフレームに関し、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類された分類結果、前記第１の領域内の画素の画素値に係わる符号化された第１の符号化データ、および、前記第２の領域内の画素の画素値に係わる符号化された第２の符号化データの入力を制御する入力制御ステップと、
前記入力制御ステップの処理で入力が制御された前記第１の符号化データを、前記分類結果を用いて、第１の領域を判断しながら、第１の復号化方式で復号化する第１の復号化ステップと、
前記入力制御ステップの処理で入力が制御された前記第２の符号化データを、前記分類結果を用いて、第２の領域を判断しながら、前記第１の復号化方式とは異なる第２の復号化方式で復号化する第２の復号化ステップと
を含む復号化方法。
【請求項１６】
複数のフレームのうちの所定のフレームに関し、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類された分類結果、前記第１の領域内の画素の画素値に係わる符号化された第１の符号化データ、および、前記第２の領域内の画素の画素値に係わる符号化された第２の符号化データの入力を制御する入力制御ステップと、
前記入力制御ステップの処理で入力が制御された前記第１の符号化データを、前記分類結果を用いて、第１の領域を判断しながら、第１の復号化方式で復号化する第１の復号化ステップと、
前記入力制御ステップの処理で入力が制御された前記第２の符号化データを、前記分類結果を用いて、第２の領域を判断しながら、前記第１の復号化方式とは異なる第２の復号化方式で復号化する第２の復号化ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１７】
請求項８または請求項１６に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は符号化装置および方法、復号化装置および方法、プログラム、並びに記録媒体に関し、特に、画質を低下させることなく、圧縮率を高めるような符号化を行えるようにし、また、そのような符号化が行われたデータを復号化できるようにした符号化装置および方法、復号化装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来の可逆符号化として、ウェーブレット変換を用いたJPEG（Joint Photographic Experts Group ）2000 やDPCM（Differential PCM）を基本としたJPEGLSがある。これらの符号化は、サイズ変更を可能とすることを目的とした符号化方法(JPEG2000) であったり、隣接画素間の強い相関を利用したもの(JPEGLS) であったりした。
【０００３】
符号化された画像は用途により、例えば、医療分野などで利用される画像は、劣化の少ない画像が要求される。そのような要求に応えるために、画像を伝送する際の伝送損失による劣化や、画像を圧縮して保存する際の符号化圧縮による劣化を軽減させることが求められている。このような劣化の少ない画像が必要とされるときには、可逆符号化が用いられる。（例えば、特許文献１参照）
【特許文献１】特開平０９−２３３４７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記したように、劣化の少ない画像が要求されるときには、符号化方式としては、可逆符号化が用いられていた。可逆符号化は、圧縮による画質の劣化を抑えることができるが、圧縮後のデータ量が、不可逆符号化などの符号化方式と比べて大きくなってしまう。
【０００５】
また、一般的な画像では数フレームにわたり、撮影対象が動いている部分と静止している部分がある。画像内で動きがある部分は、時間方向に相関が高いか、または空間方向に相関が高い。画像内で静止している部分は、時間方向に相関が高い。すなわち一般的な画像では、各画素によって周辺との相関の強さが異なる。このような性質を有する画像に、上述したような符号化方式で一律に処理を施すと、圧縮率を高めることができない（効率的な圧縮が行えない）ことがあった。
【０００６】
すなわち、既存の可逆符号化方式は、画像自体の特徴を利用した方式が少なく、圧縮率を高めづらかった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、数フレームの画像データを動いている領域と静止している領域に分離し、それぞれに対して適切な処理を施すことにより効率良く符号化や、符号化された画像の復号化を行えるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の符号化装置は、入力された複数のフレームを用い、前記複数のフレームのうちの所定のフレームを、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類する分類手段と、前記第１の領域を第１の符号化方式で符号化する第１の符号化手段と、前記第２の領域を第１の符号化方式とは異なる符号化方式で符号化する第２の符号化手段とを備える。
【０００９】
前記分類手段は、複数のフレームにおける同一の座標の画素値から積分データを算出する第１の算出手段と、前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記第１の算出手段により算出された前記積分データを減算することにより残差データを算出する第２の算出手段とを備え、前記第２の算出手段により算出された前記残差データを所定の演算式に代入した演算結果が、所定の閾値より大きいか否かを判断することにより、前記座標における画素が、前記第１の領域に属するか、または前記第２の領域に属するかを分類するようにすることができる。
【００１０】
前記第１の符号化手段は、前記フレームを構成するラインを構成する画素のうち、ラスタースキャン順で最初にスキャンされる画素であり、前記分類手段により前記第１の領域であると判断された画素を基準に設定し、その基準に設定された画素値を基準データとする第１の導出手段と、前記分類手段により前記第１の領域であると判断された画素のうち、隣接する画素の画素値の差分を演算し、差分値データとする第２の導出手段とを備え、前記基準値データと前記差分値データを符号化するようにすることができる。
【００１１】
前記第２の符号化手段は、複数のフレームにおける同一の座標の画素値から積分データを算出する第１の算出手段と、前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記第１の算出手段により算出された前記積分データを減算することにより残差データを算出する第２の算出手段とを備え、前記積分データと前記残差データを符号化するようにすることができる。
【００１２】
前記複数のフレームが１乃至Ｎ枚のフレームから構成されている場合、前記第２の算出手段は、１枚目のフレームにおける積分データを算出し、２乃至Ｎ枚の各フレームにおける積分データは、前のフレームの積分データを用いて算出するようにすることができる。
【００１３】
前記複数のフレームが１乃至Ｎ枚のフレームから構成されている場合、前記第２の算出手段は、１乃至Ｎ−１までの各フレームにおける残差データを算出するようにすることができる。
【００１４】
本発明の一側面の符号化方法は、入力された複数のフレームを用い、前記複数のフレームのうちの所定のフレームを、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類する分類ステップと、前記第１の領域を第１の符号化方式で符号化する第１の符号化ステップと、前記第２の領域を第１の符号化方式とは異なる符号化方式で符号化する第２の符号化ステップとを含む。
【００１５】
本発明の一側面におけるプログラムは、入力された複数のフレームを用い、前記複数のフレームのうちの所定のフレームを、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類する分類ステップと、前記第１の領域を第１の符号化方式で符号化する第１の符号化ステップと、前記第２の領域を第１の符号化方式とは異なる符号化方式で符号化する第２の符号化ステップとを含む処理をコンピュータに実行させる。
【００１６】
本発明の一側面の復号化装置は、複数のフレームのうちの所定のフレームに関し、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類された分類結果、前記第１の領域内の画素の画素値に係わる符号化された第１の符号化データ、および、前記第２の領域内の画素の画素値に係わる符号化された第２の符号化データを入力する入力手段と、前記入力手段により入力された前記第１の符号化データを、前記分類結果を用いて、第１の領域を判断しながら、第１の復号化方式で復号化する第１の復号化手段と、前記入力手段により入力された前記第２の符号化データを、前記分類結果を用いて、第２の領域を判断しながら、前記第１の復号化方式とは異なる第２の復号化方式で復号化する第２の復号化手段とを備える。
【００１７】
前記分類結果は、前記複数のフレームにおける同一の座標の画素値から積分データが算出され、前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記積分データが減算されることにより残差データが算出され、前記残差データが所定の演算式に代入された演算結果が、所定の閾値より大きいか否かが判断されることにより、前記座標における画素が、前記第１の領域に属するか、または前記第２の領域に属するかが分類された結果であるようにすることができる。
【００１８】
前記第１の符号化データは、前記フレームを構成するラインを構成する画素のうち、ラスタースキャン順で最初にスキャンされる画素であり、前記第１の領域に分類された画素の画素値と、前記第１の領域に分類された画素のうち、隣接する画素の画素値の差分値が含まれ、前記第１の復号化方式に対応する符号化方式で符号化されたデータであるようにすることができる。
【００１９】
前記第１の符号化データは、前記複数のフレームにおける同一の座標の画素値から積分データと、前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記積分データが減算されることにより残差データが含まれ、前記第２の復号化方式に対応する符号化方式で符号化されたデータであるようにすることができる。
【００２０】
前記複数のフレームが１乃至Ｎ枚のフレームから構成されている場合、前記第２の符号化データには、１枚目のフレームにおける積分データが含まれるようにすることができる。
【００２１】
前記複数のフレームが１乃至Ｎ枚のフレームから構成されている場合、前記第２の符号化データには、１乃至Ｎ−１までの各フレームにおける残差データが含まれるようにすることができる。
【００２２】
本発明の一側面の復号化方法は、複数のフレームのうちの所定のフレームに関し、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類された分類結果、前記第１の領域内の画素の画素値に係わる符号化された第１の符号化データ、および、前記第２の領域内の画素の画素値に係わる符号化された第２の符号化データの入力を制御する入力制御ステップと、前記入力制御ステップの処理で入力が制御された前記第１の符号化データを、前記分類結果を用いて、第１の領域を判断しながら、第１の復号化方式で復号化する第１の復号化ステップと、前記入力制御ステップの処理で入力が制御された前記第２の符号化データを、前記分類結果を用いて、第２の領域を判断しながら、前記第１の復号化方式とは異なる第２の復号化方式で復号化する第２の復号化ステップとを含む。
【００２３】
本発明の一側面のプログラムは、複数のフレームのうちの所定のフレームに関し、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類された分類結果、前記第１の領域内の画素の画素値に係わる符号化された第１の符号化データ、および、前記第２の領域内の画素の画素値に係わる符号化された第２の符号化データの入力を制御する入力制御ステップと、前記入力制御ステップの処理で入力が制御された前記第１の符号化データを、前記分類結果を用いて、第１の領域を判断しながら、第１の復号化方式で復号化する第１の復号化ステップと、前記入力制御ステップの処理で入力が制御された前記第２の符号化データを、前記分類結果を用いて、第２の領域を判断しながら、前記第１の復号化方式とは異なる第２の復号化方式で復号化する第２の復号化ステップとを含む処理をコンピュータに実行させる。
【００２４】
本発明の一側面の記録媒体は、上記したプログラムを記録している。
【００２５】
本発明の一側面における符号化装置および方法、並びにプログラムにおいては、フレーム内で、物体が動いている動き領域と静止している静止領域とが判断され、その判断に基づき、動き領域と静止領域が、それぞれ異なる符号化方式で符号化される。
【００２６】
本発明の一側面における復号化装置および方法、並びにプログラムにおいては、フレーム内で、物体が動いている動き領域と静止している静止領域とが判断された結果が用いられて、動き領域が判断され、動き領域に関して符号化されたデータが復号化されるとともに、静止領域が判断され、静止領域に関して符号化されたデータが復号化される。
【発明の効果】
【００２７】
本発明の一側面によれば、効率良い符号化を行うことができる。
【００２８】
本発明の一側面によれば、画像の特徴に応じた符号化を行うことができる。また、そのように符号化されたデータを復号化することができる。
【発明を実施するための最良の形態】
【００２９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３０】
本発明の一側面の符号化装置（例えば、図２の符号化装置５０）は、入力された複数のフレームを用い、前記複数のフレームのうちの所定のフレームを、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類する分類手段（例えば、図２の判定テーブル導出部５２）と、前記第１の領域を第１の符号化方式で符号化する第１の符号化手段（例えば、図２の動き領域処理部５５）と、前記第２の領域を第１の符号化方式とは異なる符号化方式で符号化する第２の符号化手段（例えば、図２の静止領域処理部５４）とを備える。
【００３１】
前記分類手段（例えば、図３の判定テーブル導出部５２）は、複数のフレームにおける同一の座標の画素値から積分データを算出する第１の算出手段（例えば、図３の積分データ導出部７１）と、前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記第１の算出手段により算出された前記積分データを減算することにより残差データを算出する第２の算出手段（例えば、図３の残差導出部７２）とを備え、前記第２の算出手段により算出された前記残差データを所定の演算式に代入した演算結果が、所定の閾値より大きいか否かを判断することにより、前記座標における画素が、前記第１の領域に属するか、または前記第２の領域に属するかを分類する（例えば、図３の静止領域・動き領域判定部７３）ようにすることができる。
【００３２】
前記第１の符号化手段（例えば、図６の動き領域処理部５５）は、前記フレームを構成するラインを構成する画素のうち、ラスタースキャン順で最初にスキャンされる画素であり、前記分類手段により前記第１の領域であると判断された画素を基準に設定し、その基準に設定された画素値を基準データとする第１の導出手段（例えば、図６の基準値導出部１３２）と、前記分類手段により前記第１の領域であると判断された画素のうち、隣接する画素の画素値の差分を演算し、差分値データとする第２の導出手段（例えば、図６の差分値導出部１３３）とを備え、前記基準値データと前記差分値データを符号化する（例えば、図６のエントロピー符号化処理部１３４）ようにすることができる。
【００３３】
前記第２の符号化手段（例えば、図５の静止領域処理部５４）は、複数のフレームにおける同一の座標の画素値から積分データを算出する第１の算出手段（例えば、図５の積分データ導出部１１２）と、前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記第１の算出手段により算出された前記積分データを減算することにより残差データを算出する第２の算出手段（例えば、図５の残差導出部１１３）とを備え、前記積分データと前記残差データを符号化する（例えば、図５のエントロピー符号化処理部１１４）ようにすることができる。
【００３４】
本発明の一側面の復号化装置（例えば、図１７の復号化装置２１０）は、複数のフレームのうちの所定のフレームに関し、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類された分類結果（例えば、符号化判定テーブルデータ）、前記第１の領域内の画素の画素値に係わる符号化された第１の符号化データ（例えば、符号化動き領域画像データ）、および、前記第２の領域内の画素の画素値に係わる符号化された第２の符号化データ（例えば、符号化静止領域画像データ）を入力する入力手段（例えば、図１７の入力部２１１）と、前記入力手段により入力された前記第１の符号化データを、前記分類結果を用いて、第１の領域を判断しながら、第１の復号化方式で復号化する第１の復号化手段（例えば、図１７の動き領域復号化部２１５）と、前記入力手段により入力された前記第２の符号化データを、前記分類結果を用いて、第２の領域を判断しながら、前記第１の復号化方式とは異なる第２の復号化方式で復号化する第２の復号化手段（例えば、図１７の静止領域復号化部２１４）とを備える。
【００３５】
以下に、本発明の実施の形態について図面を参照して説明する。
【００３６】
本実施の形態は、符号化および復号化に関する。まず先に、本発明における符号化方式の概念について、図１を参照して説明する。
【００３７】
図１Ａは、カメラ１１において物体１２が撮影される様子を示した図である。物体１２は、所定の方向（図１Ａにおいては、図中左方向（矢印方向））に移動している。そのような所定の方向に移動している物体１２をカメラ１１により撮影した場合、図１Ｂに示したような画像が取得（撮影）される。
【００３８】
図１Ｂに示した画像は、カメラ１１は固定され、物体１２の移動方向に移動されることはない（物体１２に追従してカメラ１１が移動し、撮影することはない））状態で撮影された画像である。図１Ｂに示した例では、画像２１−１乃至２１−１０が撮影された状態を示している。物体２１は、撮影されたタイミングにより、画像内の異なる位置に位置している。このように連続して撮影された複数の画像の内の１枚を抽出すると、図１Ｃのようになっている。
【００３９】
図１Ｃにおいては、画像２１−１を抽出した例を示している。画像２１−１は、動き領域３１と静止領域３２とから構成されている。動き領域３１は、物体１２が撮影されている領域であり、静止領域３２は、物体１２が撮影されている以外の部分（背景部分）である。このように、動き領域３１は、複数の画像間を見たときに、動きのある物体（被写体）が写っている領域であり、静止領域３２は、動きのある部分以外（複数の画像間で、同一の画像が撮影されている部分）の領域である。
【００４０】
図１Ｂに示したように、動画像は、複数の静止画像から構成されている。そして動画像を構成する静止画像の１枚に注目すると、図１Ｃに示したように、動き領域３１と静止領域３２に分解することができる。
【００４１】
以下に説明する符号化方式は、このように、動画像を構成する１枚の静止画像（フレーム）を、動き領域３１と静止領域３２に分解し、それぞれの領域の画像を、それぞれ符号化することにより、１枚の静止画像を符号化し、このような符号化を静止画像毎に繰り返すことにより、動画像を符号化する。そして復号化は、それぞれ符号化されている動き領域３１と静止領域３２を、それぞれ復号化し、復号化されたそれぞれの領域の画像を合成することにより１枚の静止画像を復号化し、このような復号化を静止画像毎に繰り返すことにより、動画像を復号化する。
【００４２】
このような符号化を行う符号化装置の構成と動作、復号化を行う復号化装置の構成と動作について以下に説明する。
【００４３】
［符号化装置の構成と動作について］
図２は、本発明を適用した符号化装置の一実施の形態の構成を示す図である。符号化装置５０は、入力部５１、判定テーブル導出部５２、判定テーブル処理部５３、静止領域処理部５４、動き領域処理部５５、および、出力部５６を含む構成とされている。
【００４４】
入力部５１には、例えば、カメラ１１（図１Ａ）により撮影された画像の画像データが入力される。図１Ｂに示したように、入力部５１に入力される画像データは、動画像を構成するフレームであり、フレームのデータが連続的に入力部５１に入力されるとして説明を続ける。以下、適宜、フレームと記述するが、フレームとの記載は、そのフレームの画像データであるとの意味も含むとする。
【００４５】
入力部５１に供給された１フレームを構成する画像データは、判定テーブル導出部５２、静止領域処理部５４、及び、動き領域処理部５５に供給される。判定テーブル導出部５２は、供給された画像データに基づくフレームを、動き領域３１と静止領域３２に分類し、判定テーブルを作成する。作成された判定テーブルは、判定テーブル処理部５３、静止領域処理部５４、および動き領域処理部５５に供給される。
【００４６】
判定テーブル処理部５３は、供給された判定テーブルを所定の方式で符号化する。符号化された判定テーブルは、出力部５６に供給される。以下、判定テーブル処理部５３から出力されるデータを、符号化判定テーブルデータと記述する。
【００４７】
静止領域処理部５４は、判定テーブル導出部５２から供給される判定テーブルを参照し、入力部５１から供給される画像内の静止領域３２を判定する。そして、静止領域３２と判定される領域内の画像を所定の符号化方式で符号化し、出力部５６に供給する。以下、静止領域処理部５４から出力されるデータを、符号化静止領域画像データと記述する。
【００４８】
動き領域処理部５５は、判定テーブル導出部５２から供給される判定テーブルを参照し、入力部５１から供給される画像内の動き領域３１を判定する。そして、動き領域３１と判定される領域内の画像を所定の符号化方式で符号化し、出力部５６に供給する。以下、動き領域処理部５５から出力されるデータを、符号化動き領域画像データと記述する。
【００４９】
出力部５６は、判定テーブル処理部５３から供給された符号化判定テーブルデータ、静止領域処理部５４から供給された符号化静止領域画像データ、および、動き領域処理部５５から供給された符号化動き領域画像データを、図示されていない復号化装置に出力（送信）する。
【００５０】
次に、符号化装置５０を構成する各部の詳細な構成について説明する。図３は、判定テーブル導出部５２の内部構成例を示す図である。判定テーブル導出部５２は、積分データ導出部７１、残差導出部７２、静止領域・動き領域判定部７３、および判定テーブル導出部７４から構成されている。
【００５１】
入力部５１（図２）を介して入力された画像は、判定テーブル導出部５２の積分データ導出部７１と残差導出部７２に供給される。積分データ導出部７１は、供給されたフレーム内の所定の画素値における積分データ（式などを参照し、後述する）を算出する。算出された積分データは、残差導出部７２に供給される。
【００５２】
残差導出部７２は、積分データ導出部７１から供給された積分データと、入力部５１から供給されたフレームとから、残差（式などを参照し、後述する）を算出する。算出された残差は、静止領域・動き領域判定部７３に供給される。静止領域・動き領域判定部７３は、供給された残差を用いて、動き領域３１と静止領域３２を判定する。その判定結果は、判定テーブル導出部７４に供給される。
【００５３】
判定テーブル導出部７４は、画素毎に、動き領域３１であるか、静止領域３２であるかを示すフラグを割り当て、１フレームにおける動き領域３１と静止領域３２の分布に関する判定テーブルを作成し、判定テーブル処理部５３、静止領域処理部５４、および動き領域処理部５５に出力する。
【００５４】
図４は、判定テーブル処理部９１の内部構成例を示す図である。判定テーブル処理部９１は、エントロピー符号化部９１を含む構成とされている。判定テーブル導出部５２からの判定テーブルは、判定テーブル処理部５３のエントロピー符号化部９１に供給される。エントロピー符号化部９１は、供給された判定テーブルを、所定の符号化方式、例えば、ハフマン符号化方式やランレングス符号化方式などのエントロピー符号化方式により、符号化し、符号化判定テーブルデータを生成する。生成された符号化判定テーブルデータは、出力部５６（図２）に供給される。
【００５５】
図５は、静止領域処理部５４の内部構成例を示す図である。静止領域処理部５４は、静止領域選択部１１１、積分データ導出部１１２、残差導出部１１３、および、エントロピー符号化処理部１１４から構成されている。
【００５６】
判定テーブル導出部５２からの判定テーブルは、静止領域処理部５４の静止領域選択部１１１に供給される。静止領域選択部１１１は、供給された判定テーブルから、静止領域３２を判定し、その情報（処理対象とする画素の情報（座標））を、積分データ導出部１１２と残差導出部１１３に供給する。
【００５７】
積分データ導出部１１２には、入力部５１からフレームも供給される。積分データ導出部１１２は、処理対象とされた画素の積分データ（式を参照し、後述する）を算出し、残差導出部１１３とエントロピー符号化処理部１１４に供給する。残差導出部１１３には、入力部５１からフレームも供給される。残差導出部１１３は、処理対象とされた画素の残差データ（式を参照し、後述する）を算出し、エントロピー符号化処理部１１４に供給する。
【００５８】
エントロピー符号化処理部１１４は、積分データ導出部１１２からの積分データと残差導出部１１３からの残差データを、それぞれ、所定の符号化方式、例えば、ハフマン符号化方式やランレングス符号化方式などのエントロピー符号化方式により、符号化し、符号化静止領域画像データを生成する。生成された符号化静止領域画像データは、出力部５６（図２）に供給される。
【００５９】
図６は、動き領域処理部５５の内部構成例を示す図である。動き領域処理部５５は、動き領域選択部１３１、基準値導出部１３２、差分値導出部１３３、および、エントロピー符号化処理部１３４から構成されている。
【００６０】
判定テーブル導出部５２からの判定テーブルは、動き領域処理部５５の動き領域選択部１３１に供給される。動き領域選択部１３１は、供給された判定テーブルから、動き領域３１を判定し、その情報（処理対象とする画素の情報（座標））を、基準値導出部１３２と差分値導出部１３３に供給する。
【００６１】
基準値導出部１３２は、処理対象とされた画素の基準値を求める。詳細は後述するが、基準値とは、差分導出部１３３が差分を開始する画素の画素値である。基準値導出部１３２により導出された、基準値は、差分値導出部１３３とエントロピー符号化処理部１３４に供給される。差分値導出部１３３には、入力部５１からフレームも供給される。差分値導出部１３３は、処理対象とされた画素の差分値データ（式を参照し、後述する）を算出し、エントロピー符号化処理部１３４に供給する。
【００６２】
エントロピー符号化処理部１３４は、基準値データ導出部１３２からの基準値データと差分値導出部１３３からの差分値データを、それぞれ、所定の符号化方式、例えば、ハフマン符号化方式やランレングス符号化方式などのエントロピー符号化方式により、符号化し、符号化動き領域画像データを生成する。生成された符号化動き領域画像データは、出力部５６（図２）に供給される。
【００６３】
出力部５６（図２）には、判定テーブル処理部５３から符号化判定テーブルデータ、静止領域処理部５４から符号化静止領域画像データ、および、動き領域処理部５５から符号化動き領域画像データが供給される。すなわち、図７に示すように、入力部５１に入力された元データ１５１は、符号化装置５０により、符号化判定テーブルデータ１６１、符号化静止領域画像データ１６２、および、符号化動き領域画像データ１６３に符号化される。
【００６４】
このような符号化を行う符号化装置５０（図２）の動作について、図８乃至図１１のフローチャートを参照して説明する。
【００６５】
ステップＳ１１（図８）において、ｍフレーム分のデータが蓄積される。例えば、図２の符号化装置５０において、入力部５１の後段に、蓄積分を設け、その蓄積分にｍフレーム分の画像データが蓄積されるようにしても良い。ここでは、１０フレーム分（ｍ＝１０）の画像データが蓄積されるとして説明を続ける。
【００６６】
ステップＳ１１において、１０フレーム分の画像データが蓄積されると、ステップＳ１２において、判定テーブル導出部５２と判定テーブル処理部５３により、判定テーブル作成と、作成された判定テーブルの符号化の処理が実行される。ステップＳ１２において実行される判定テーブル作成、符号化処理について、図９のフローチャートを参照して説明する。
【００６７】
ステップＳ３１において、判定テーブル導出部５２の積分データ導出部７１（図３）は、積分データを導出する。積分データ導出部７１には、１０フレーム分の画像データが供給される。積分データは、以下の式（１）に基づき算出される。
【００６８】
【数１】
2007116460.tif 000003
【００６９】
式（１）において、Ｉｔｇｗ（ｘ，ｙ）は、ｎフレーム目の座標（ｘ，ｙ）における積分データを示し、ｗの添え字は、何フレーム目の積分データであるかを示す数値である。例えば、Ｉｔｇｗ1（ｘ，ｙ）は、１フレーム目の座標（ｘ，ｙ）における積分データであることを示す。また、式（１）において、Ｌfr（ｘ，ｙ）は、ｎフレーム目の座標（ｘ，ｙ）における画素値を示し、ｆｒの添え字は、何フレーム目の画素値であるかを示す数値である。例えば、Ｌfr1（ｘ，ｙ）は、１フレーム目の座標（ｘ，ｙ）における画素値であることを示す。
【００７０】
式（１）において、２9，２8，２7，・・・，２0（＝１）などは、係数である。係数は、このように、所定の底を複数回累乗した値である。この底は、“２”ではなく、“３”などの他の数値でも良いし、指数は、９，８，７，・・・，０といった減算される数値でなくても良い。
【００７１】
ステップＳ３１において算出される積分データは、式（１）に基づいて算出される。すなわち、１フレーム目の座標（ｘ，ｙ）における積分データＩｔｇｗ1（ｘ，ｙ）は、
１フレーム目の座標（ｘ，ｙ）における画素値に２9を乗算した２9Ｌfr1（ｘ，ｙ）、
２フレーム目の座標（ｘ，ｙ）における画素値に２8を乗算した２8Ｌfr2（ｘ，ｙ）、
３フレーム目の座標（ｘ，ｙ）における画素値に２7を乗算した２7Ｌfr3（ｘ，ｙ）、
４フレーム目の座標（ｘ，ｙ）における画素値に２6を乗算した２6Ｌfr4（ｘ，ｙ）、
５フレーム目の座標（ｘ，ｙ）における画素値に２5を乗算した２5Ｌfr5（ｘ，ｙ）、
６フレーム目の座標（ｘ，ｙ）における画素値に２4を乗算した２4Ｌfr6（ｘ，ｙ）、
７フレーム目の座標（ｘ，ｙ）における画素値に２3を乗算した２3Ｌfr7（ｘ，ｙ）、
８フレーム目の座標（ｘ，ｙ）における画素値に２2を乗算した２2Ｌfr8（ｘ，ｙ）、
９フレーム目の座標（ｘ，ｙ）における画素値に２1を乗算した２1Ｌfr9（ｘ，ｙ）、
および、１０フレーム目の座標（ｘ，ｙ）における画素値に２0（＝１）を乗算したＬfr10（ｘ，ｙ）
を加算した値とされる。
【００７２】
このように積分データ導出部７１は、所定のフレーム（処理対象となっているフレーム（例えば、図１２のフレーム２１−１））の所定の座標の画素値（処理対象となっている画素の値（例えば、図１２のフレーム２１−１の座標（ｘ，ｙ）における画素値）における積分データを、ｍフレーム分の同一の座標の画素値（例えば、図１２のフレーム２１−１乃至２１−１０のそれぞれのフレームにおける座標（ｘ，ｙ））から導出する。
【００７３】
ステップＳ３２において、判定テーブル導出部５２の残差導出部７２（図３）は、残差データを算出する。残差データは、次式（２）に基づき算出される。
【００７４】
【数２】
2007116460.tif 000004
【００７５】
式（２）において、Ｄｉｆｆfr（ｘ，ｙ）は、ｎフレーム目の座標（ｘ，ｙ）における残差データであり、ｆｒの添え字は、何フレーム目の残差であるかを示す。例えば、Ｄｉｆｆfr1（ｘ，ｙ）は、１フレーム目の座標（ｘ，ｙ）における残差データであることを示す。また、式（２）において“１０２３”との数値は、以下の数式の演算結果である。
１０２３＝２9＋２8＋２7＋２6＋２5＋２4＋２3＋２2＋２1＋２0
すなわち、“１０２３”は、式（１）における係数を全て加算した値である。勿論、“２”以外の底の係数を式（１）において用いた場合、この“１０２３”という係数も、式（１）の係数に合った係数に変えられる。
【００７６】
式（２）を参照するに、１フレーム目の残差データＤｉｆｆfr1（ｘ，ｙ）は、１フレーム目の画素値Ｌfr1（ｘ，ｙ）から、１フレーム目の積分データＩｔｇｗ1（ｘ，ｙ）を１０２３で除算した値を減算した値とされる。積分データＩｔｇｗ1（ｘ，ｙ）は、式（１）で算出される値が用いられる。
【００７７】
このように、所定のフレームの所定の座標における残差は、その座標における画素値から積分データ（積分データに所定の係数を除算した値）を減算することにより算出される。
【００７８】
このように、式（１）や式（２）において、係数や係数を加算した値を用いた演算を行うのは、処理対象となっているフレーム（画素値）に依存した結果が得られるようにするためである。例えば、式（１）は、１フレーム目の積分データを求める式であるが、その１フレーム目の画素値Ｌfr1（ｘ，ｙ）に乗算する係数は、他のフレームの画素値（例えば、２フレーム目の画素値Ｌfr2（ｘ，ｙ））に乗算する係数よりも大きな係数とされるので、１フレーム目の画素値が、他のフレームの画素値よりも積分データに大きく影響を及ぼすような演算が行われることになる。
【００７９】
このように、処理対象とされているフレームの影響が大きくなるように、積分データや残差データを求めることにより（係数に偏りを持たせることにより）、後段の符号化を効率良く行う（圧縮率を高める）ことが可能となる。
【００８０】
上記した説明においては、１フレーム目の積分データや残差データが求められる例を挙げて説明した。以下に、２フレーム目の積分データを求める際の式（３）を示す。
【００８１】
【数３】
2007116460.tif 000005
【００８２】
式（３）に示すように、２フレーム目の座標（ｘ，ｙ）における積分データは、２フレーム目の座標（ｘ，ｙ）における画素値に２8を乗算した２8Ｌfr2（ｘ，ｙ）から、１０フレーム目の座標（ｘ，ｙ）における画素値に２0を乗算したＬfr10（ｘ，ｙ）までを加算した値である。この式（３）の上式と、式（１）を比較するに、式（３）の上式は、式（１）から１フレーム目の座標（ｘ，ｙ）における画素値に２9を乗算した２9Ｌfr1（ｘ，ｙ）が加算されていない式であることがわかる。
【００８３】
換言すれば、式（３）の下式に示したように、１フレーム目の座標（ｘ，ｙ）における積分データＩｔｇｗ1（ｘ，ｙ）から、１フレーム目に係わる値２9Ｌfr1（ｘ，ｙ）を減算することにより、２フレーム目の積分データを求めることができる。
【００８４】
このように、２フレーム目の積分データは、１フレーム目の積分データを用いて算出することができる。
【００８５】
３フレーム目の積分データは、次式（４）により求められる。
【００８６】
【数４】
2007116460.tif 000006
【００８７】
式（４）に示したように３フレーム目の積分データは、２フレーム目の積分データＩｔｇｗ2（ｘ，ｙ）から、２フレーム目に係わる画素値２8Ｌfr2（ｘ，ｙ）を減算することにより求めることができる。さらに、３フレーム目の積分データは、１フレーム目の積分データＩｔｇｗ1（ｘ，ｙ）から、１フレーム目に係わる画素値２9Ｌfr1（ｘ，ｙ）と２フレーム目に係わる画素値２8Ｌfr2（ｘ，ｙ）を減算することによっても求めることができる。
【００８８】
このように、２フレーム以降の積分データは、それ以前の積分データ（例えば、１フレーム目の積分データ）を用いて算出することが可能である。
【００８９】
同様に、残差データも、処理対象とされるフレームより以前のフレームの残差データを算出する際に用いられたデータ（積分データ）を用いて算出することができる。例えば、図１３を参照して説明するに、２フレーム目の座標（ｘ，ｙ）における残差データは、次式（５）に基づいて算出される。
【００９０】
【数５】
2007116460.tif 000007
【００９１】
式（５）に示すように、２フレーム目の残差データは、２フレーム目の画素値Ｌfr2（ｘ，ｙ）から、２フレーム目の積分データＩｔｇｗ2（ｘ，ｙ）に（１／５１１）を乗算した値を除算した値とされる。“５１１”は、２8から２0までを加算した値である。
【００９２】
９フレーム目の残差データは、図１３に示したように、２フレーム目の画素値Ｌfr2（ｘ，ｙ）から、９フレーム目の積分データＩｔｇｗ9（ｘ，ｙ）に（１／３）を乗算した値を除算した値とされる。“３”は、２1と２0を加算した値である。
【００９３】
このように、残差データも既に算出されている積分データおよび積分データを算出するのに用いた画素値を用いて算出することができる。
【００９４】
よって、２フレーム目以降の積分データや残差データは、１フレーム目の積分データや残差データを算出する際に用いた値や、算出された値を用いることにより、効率良く（演算量を増大させることなく）算出することが可能となる。
【００９５】
また、残差データＤｉｆｆfr（ｘ，ｙ）は、式（２）、式（５）、図１３に示した式を参照すればわかるように、後に処理される残差データは、更新された積分データに、自己の値を多く含むようになるので、残差として０となる可能性が高くなる。残差データが“０”となることにより、後段の符号化において、圧縮されやすいデータとなる（圧縮率が高いデータとなる）。
【００９６】
図９のフローチャートの説明に戻り、ステップＳ３１において積分データが、ステップＳ３２において残差データが、それぞれ算出されると、ステップＳ３３において、静止領域３２（図１）内の画素であるか否かが判定される。換言すれば、動き領域３１内の画素であるか否かが判定される。
【００９７】
ステップＳ３３における静止領域内の画素であるか否かの判定は、次式（６）に基づく値が算出され、その値が所定の閾値より小さいか否かが判断されることにより行われる。
【００９８】
【数６】
2007116460.tif 000008
【００９９】
式（６）において、Ｖａｒ（ｘ，ｙ）は、座標（ｘ，ｙ）における判定値を示す。式（６）は、分子が１フレーム目の差分データから９フレーム目の差分データをそれぞれ２乗し、加算した値であり、分母がフレーム数から１除算した値（この場合、１０−１＝９）である。この式（６）に基づき算出される判定値Ｖａｒ（ｘ，ｙ）が、以下の条件１を満たすとき、静止領域３２内の画素であると判定される。
条件１
判定値Ｖａｒ（ｘ，ｙ）≦閾値ｔｈsm
【０１００】
すなわち、判定値Ｖａｒ（ｘ，ｙ）が、閾値ｔｈsmよりも小さい値のとき、処理対象とされている座標（ｘ，ｙ）における座標は、静止領域内の画素であると判定される。このことは、以下の条件２を満たすときには、その画素は、動き領域３１内の画素であると判定できることと同一の意味である。
条件２
判定値Ｖａｒ（ｘ，ｙ）＞閾値ｔｈsm
【０１０１】
すなわち、判定値Ｖａｒ（ｘ，ｙ）が、閾値ｔｈsmよりも大きい値のとき、処理対象とされている座標（ｘ，ｙ）における画素は、動き領域内の画素であると判定される。
【０１０２】
ステップＳ３３（図９）において判定テーブル導出部５２（図２）は、式（６）に基づく判定値を算出し、その判定値が所定の閾値以下であるか否かを判断することにより、処理対象とされている画素が、静止領域内の画素であるか否か（動き領域内の画素であるか否か）を判定する。
【０１０３】
ステップＳ３４において、ステップＳ３３における判定結果が、判定テーブルに反映される。例えば、処理対象とされている座標（ｘ，ｙ）の画素が、静止領域内の画素であると判定された場合“０”に、動き領域内の画素であると判定された場合“１”に、それぞれ設定されるようにする。
【０１０４】
このようにした場合、例えば、図１４Ｂに示したような判定テーブルが作成される。図１４Ａは、フレーム内の所定の領域を示した図であり、白丸が静止領域内の画素であると判定された（判定される）画素を示し、黒丸が動き領域内の画素であると判定された（判定される）画素を示す。このような判定がなされた（判定がなされる）とき、上記したように、静止領域内の画素に“０”を割り当て、動き領域内の画素に“１”を割り当てるようすると、図１４Ｂに示したような判定テーブルが作成される。
【０１０５】
ステップＳ３４においては、ステップＳ３３における判定結果を、判定テーブル内の対応する座標（ｘ，ｙ）に書き込むことにより、判定結果を判定テーブルに反映させるための処理が行われる。このような処理が１フレーム分行われたか否かが、ステップＳ３５において判断される。
【０１０６】
ステップＳ３５において、１フレーム分の処理は終了していないと判断された場合、換言すれば、処理対象とされたフレームの判定テーブルはまだ作成途中であると判断された場合、ステップＳ３１に処理が戻され、次の画素に対してステップＳ３１以降の処理が繰り返される。
【０１０７】
一方、ステップＳ３５において、１フレーム分の処理は終了したと判断された場合、ステップ３６に処理が進められる。１フレーム分の処理が終了したと判断された場合、判定テーブル導出部５２（図２）から、導出された判定テーブルが、判定テーブル処理部５３、静止領域処理部５４、動き領域処理部５５に対して出力される。
【０１０８】
判定テーブル処理部５３のエントロピー符号化部９１（図４）は、ステップＳ３６において、供給された判定テーブルを、所定の符号化方式、例えば、ハフマン符号化方式やランレングス符号化方式などのエントロピー符号化方式により、符号化し、符号化判定テーブルデータを生成する。生成された符号化判定テーブルデータは、出力部５６（図２）に供給される。
【０１０９】
このようにして、判定テーブル導出部５２と判定テーブル処理部５３により、ステップＳ１２（図８）における判定テーブルの作成、符号化処理が実行される。ステップＳ１２の処理が行われることにより、判定テーブルが生成されると、ステップＳ１３において、静止領域の符号化処理が実行される。静止領域の符号化処理は、静止領域処理部５４により実行される。
【０１１０】
ステップＳ１３において、静止領域処理部５４により実行される静止領域の符号化処理について、図１０のフローチャートを参照して説明する。ステップＳ５１において、静止領域処理部５４の静止領域選択部１１１（図５）は、静止領域を判定する。すなわち、静止領域選択部１１１には、判定テーブル導出部５２により導出された判定テーブル（例えば、図１４Ｂに示したような“０”と“１”によるフラグにより構成されている判定テーブル）が供給され、その判定テーブルが参照されることにより、静止領域であるか否かの判定（静止領域の選択）が行われる。
【０１１１】
ステップＳ５１の処理で、静止領域であると判定された領域に対して、ステップＳ５２以下の処理が実行される。ステップＳ５２において、積分データ導出部１１２は、積分データを導出する。積分データ導出部１１２は、静止領域選択部１１１から供給される静止領域であると判定された領域に関する情報（積分データを算出する対象とされた画素の座標の情報）と、入力部５１を介して入力されたフレーム（この場合、ステップＳ１１（図８）の処理で蓄積された１０フレーム）が供給される。
【０１１２】
積分データ導出部１１２は、供給されたフレーム内で、処理対象とされた座標（ｘ，ｙ）における画素の積分データを導出する。この積分データの導出は、判定テーブル導出部５２の積分データ導出部７１（図３）と同様の処理により行われる。すなわち、式（１）や式（３）を参照して説明したように、画素値と係数が用いられた演算が行われることにより導出される。積分データの導出に関する処理については、既に説明したので、その説明は省略する。
【０１１３】
ステップＳ５３において、残差導出部１１３により残差データが導出される。残差導出部１１３は、静止領域選択部１１１から供給される静止領域の情報から処理対象とされている画素の座標（積分データの算出の処理対象とされた画素と同一の画素の座標）を特定し、その特定された座標の画素の画素値を、入力部５１を介して供給されるフレームから読み出す。そして、読み出された画素値と、積分データが用いられ、残差データが導出される。
【０１１４】
残差データは、式（２）などを参照して説明したように、画素値と積分データが用いられて算出される。残差導出部１１３は、判定テーブル導出部５２の残差導出部７２（図３）と同様の処理により残差データを算出する。残差導出部７２による残差データの算出の処理に関しては、既に説明したので、ここではその説明を省略する。
【０１１５】
なお、上述したように、判定テーブル導出部５２の積分データ導出部７１（図３）と静止領域処理部５４の積分データ導出部１１２（図５）、判定テーブル導出部５２の残差導出部７２（図３）と静止領域処理部５４の残差導出部１１３（図５）は、それぞれ同一の演算により、また、同一のデータを用いて積分データや残差データを導出しているので、１つのブロックとして符号化装置５０を構成する（または、データを共用する）ようにしても良い。
【０１１６】
このように、積分データ導出部１１２により導出された積分データと、残差導出部１１３により導出された残差データは、エントロピー符号化処理部１１４に供給される。エントロピー符号化処理部１１４は、ステップＳ５４において、供給された積分データと残差データを、所定の符号化方式、例えば、ハフマン符号化方式やランレングス符号化方式などのエントロピー符号化方式により、符号化し、符号化静止領域画像データを生成する。生成された符号化静止領域画像データは、出力部５６（図２）に供給される。
【０１１７】
このようにして、ステップＳ１３（図８）において、静止領域処理部５４により、静止領域の符号化処理が行われている一方で、ステップＳ１４において、動き領域処理部５５により、動き領域の符号化処理が実行される。図８のフローチャートにおいては、静止領域の符号化処理の後、動き領域の符号化処理が実行されるという処理の流れにしたが、静止領域処理部５４による、静止領域の符号化処理と、動き領域処理部５５による、動き領域の符号化処理は、並列的に同時に行われるようにすることも可能である。
【０１１８】
ステップＳ１４において、動き領域処理部５５により実行される動き領域の符号化処理について図１１のフローチャートを参照して説明する。ステップＳ７１において、動き領域処理部５５の動き領域選択部１３１（図６）は、動き領域を判定する。すなわち、動き領域選択部１３１には、判定テーブル導出部５２により導出された判定テーブルが供給され、その判定テーブルが参照されることにより、動き領域であるか否かの判定（動き領域の選択）が行われる（処理対象とされる画素の座標が特定される）。
【０１１９】
ステップＳ７１の処理で、動き領域であると判定された領域に対して、ステップＳ７２以下の処理が実行される。ステップＳ７２において、基準値導出部１３２は、基準値を導出する。基準値導出部１３２は、動き領域選択部１３１から供給される動き領域であると判定された領域に関する情報と、入力部５１を介して入力されたフレーム（この場合、ステップＳ１３（図８）の処理で蓄積された１０フレーム）が供給される。
【０１２０】
基準値導出部１３２は、供給されたフレーム内で、処理対象とされた座標（ｘ，ｙ）における画素を基準値として導出する。基準値の導出について図１５を参照して説明する。図１５は、所定のフレームの一部分を示している。図中左右方向は、ｘ軸方向であり、図中上下方向は、ｙ軸方向であるとする。
【０１２１】
また、図１５において白丸は、静止領域内の画素であることを示し、黒丸は、動き領域内の画素であることを示す。また、黒丸をさらに破線の円で囲った丸は、動き領域内の画素であり、ステップＳ７２において基準値として導出される画素であることを示している。
【０１２２】
フレームは、処理される際（処理対象とされる画素の決定がされる際）、左上から右下にかけてスキャンされるように設定されている。その設定されている処理順序（ラスタースキャン順）を、図１５中に、矢印として図示した（ただし、フレームの上部分のみ）。基準値は、処理対象とされているフレームをラスタースキャン順に走査し、静止領域と判定される画素の次に走査される画素であり、動き領域と判定される画素の画素値である。
【０１２３】
換言すれば、基準値は、所定のｘ軸方向のラインにおいて、ラスタースキャン順（図中、左から右方向）に走査したときに、最初に動き領域内の画素であると判定される画素の画素値である。なお、座標（０，０）の画素（ラスタースキャン順の開始点の座標の画素）が、動き領域と判定された場合、その座標（０，０）の画素の画素値が、基準値として設定される。
【０１２４】
ステップＳ７２においては、このような位置に存在する画素の画素値が、基準値データとして抽出される。ステップＳ７３において、差分値導出部１３３（図６）により差分値が導出される。差分値導出部１３３は、動き領域内で隣り合う画素の差分を算出する。差分値導出部１３３は、動き領域選択部１３１から供給される情報から、処理対象とされているフレーム内の動き領域を判定し、処理対象とする画素を設定する。
【０１２５】
図１５を再度参照して差分値の導出の仕方について説明する。図１５において、動き領域の範囲Ａにおける６個の画素を例に挙げて説明する。動き領域範囲Ａ内にある６個の画素の座標は、それぞれ、（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ＋２，ｊ）、（ｉ＋３，ｊ）、（ｉ＋４，ｊ）、（ｉ＋５，ｊ）である。
【０１２６】
隣り合う画素の差分が算出されるので、差分値ＤＭは、以下の式（７）乃至（１１）により、動き領域の範囲Ａ内からの差分値データが導出される。式（７）乃至（１１）において、例えば、ＬＭ（ｉ，ｊ）とは、座標（ｉ，ｊ）における画素の画素値を表す。
ＤＭ（ｉ＋１，ｊ）＝ＬＭ（ｉ＋１，ｊ）―ＬＭ（ｉ，ｊ）          ・・・（７）
ＤＭ（ｉ＋２，ｊ）＝ＬＭ（ｉ＋２，ｊ）―ＬＭ（ｉ＋１，ｊ）      ・・・（８）
ＤＭ（ｉ＋３，ｊ）＝ＬＭ（ｉ＋３，ｊ）―ＬＭ（ｉ＋２，ｊ）      ・・・（９）
ＤＭ（ｉ＋４，ｊ）＝ＬＭ（ｉ＋４，ｊ）―ＬＭ（ｉ＋３，ｊ）      ・・・（１０）
ＤＭ（ｉ＋５，ｊ）＝ＬＭ（ｉ＋５，ｊ）―ＬＭ（ｉ＋４，ｊ）      ・・・（１１）
【０１２７】
このように、基準値（この場合、ＬＭ（ｉ，ｊ））から順に、隣接する画素との差分が算出される。隣接する画素は、通常、相関度が高い。すなわち、急峻な変化を伴わないことが多い。よって、このような隣接する画素同士の差分値は、小さい値となる。差分値が小さい値となることにより、後述する符号化により、圧縮率を高めた符号化を行うことが可能となる。
【０１２８】
差分値導出部１３３により導出された差分値データは、エントロピー符号化処理部１３４に供給される。エントロピー符号化処理部１３４には、基準値導出部１３２により導出された基準値データも供給される。エントロピー符号化処理部１３４は、供給された基準値データと差分値データを、所定の符号化方式、例えば、ハフマン符号化方式やランレングス符号化方式などのエントロピー符号化方式により、符号化し、符号化動き領域画像データを生成する。生成された符号化動き領域画像データは、出力部５６（図２）に供給される。
【０１２９】
ステップＳ１４（図８）において、動き領域処理部５５（図２）により動き領域の符号化処理が終了されると、ステップＳ１５において、符号化されたデータが、出力部５６により、図示されていない他の装置（復号化装置）に対して出力される。出力部５６には、上述したような処理により、符号化判定テーブルデータ、符号化静止領域画像データ、および、符号化動き領域画像データが供給される。
【０１３０】
出力部５６は、これらの供給されたデータを、例えば、図１６に示したような順で出力する。すなわち、符号化判定テーブル、符号化静止領域画像データ（積分データ、残差データ）、および、符号化動き領域画像データ（基準値データ、差分値データ）順で送信される。このような順で、符号化されたデータを受信する復号化側の装置および動作について次に説明する。
【０１３１】
［復号化装置の構成と動作について］
図１７は、本発明を適用した復号化装置の一実施の形態の構成を示す図である。復号化装置２１０は、入力部２１１、符号化データ分類部２１２、判定テーブル復号化部２１３、静止領域復号化部２１４、動き領域復号化部２１５、合成部２１６、および、出力部２１７を含む構成とされている。
【０１３２】
入力部２１１には、図１６に示した符号化されたデータが順次入力される。入力部２１１に供給されたデータ（符号化データ）は、符号化データ分類部２１２に供給される。符号化データ分類部２１２は、図１６に示したような符号化データを、符号化判定テーブルデータ、符号化静止領域画像データ、符号化動き領域画像データに分類する。符号化データ分類部２１２は、分類したデータの内、符号化判定テーブルデータを、判定テーブル復号化部２１３に、符号化静止領域画像データを、静止領域復号化部２１４に、符号化動き領域画像データを、動き領域復号化部２１５に、それぞれ供給する。
【０１３３】
判定テーブル復号化部２１３は、供給された符号化判定テーブルデータを、符号化方式に対応した復号化方式で復号化し、判定テーブルを、静止領域復号化部２１４と動き領域復号化部２１５に、それぞれ供給する。
【０１３４】
静止領域復号化部２１４は、判定テーブル復号化部２１３から供給される判定テーブルと、符号化データ分類部２１２から供給される符号化静止領域画像データ（積分値データと残差データが含まれるデータ）から、静止領域内の画像を復号化する。復号化された静止領域内の画像データは、合成部２１６に供給される。
【０１３５】
動き領域復号化部２１５は、判定テーブル復号化部２１３から供給される判定テーブルと、符号化データ分類部２１２から供給される符号化動き領域画像データ（基準値データと差分値データが含まれるデータ）から、動き領域内の画像を復号化する。復号化された動き領域内の画像データは、合成部２１６に供給される。
【０１３６】
合成部２１６は、静止領域復号化部２１４から供給される静止領域内の画像データに基づく画像と、動き領域復号化部２１５から供給される動き領域内の画像データに基づく画像を合成し、その合成された画像の画像データを出力部２１７に供給する。出力部２１７は、図示されていない例えばディスプレイなどに、供給された画像データを出力する。
【０１３７】
次に、復号化装置２１０を構成する各部の詳細な構成について説明する。図１８は、判定テーブル復号化部２１３の内部構成例を示す図である。判定テーブル復号化部２１３は、エントロピー復号化部２３１を含む構成とされている。符号化データ分類部２１２からの符号化判定テーブルデータは、判定テーブル復号化部２１３のエントロピー復号化部２３１に供給される。エントロピー復号化部２３１は、供給された符号化判定テーブルデータを、所定の復号化方式、例えば、ハフマン復号化方式やランレングス復号化方式などの、符号化装置５０側での符号化方式に対応するエントロピー復号化方式により、復号化し、復号化された判定テーブルを生成する。生成された判定テーブルは、出力部２１７（図１７）に供給される。
【０１３８】
図１９は、静止領域復号化部２１４の内部構成例を示す図である。静止領域復号化部２１４は、符号化静止領域画像データ分類部２５１、積分データ復号化部２５２、残差データ復号化部２５３、および、静止領域導出部２５４から構成されている。
【０１３９】
符号化静止領域画像データ分類部２５１には、符号化データ分類部２１２から、符号化静止領域画像データが供給される。この供給される符号化静止領域画像データには、図１６に示したように、符号化されている積分データと残差データが含まれている。符号化静止領域画像データ分類部２５１は、供給された符号化静止領域画像データを、積分データと残差データに分類する。分類された積分データは、積分データ復号化部２５２に供給され、残差データは、残差データ復号化部２５３に供給される。
【０１４０】
積分データ復号化部２５２は、供給された符号化されている積分データを復号化し、積分データを生成する。生成された積分データは、静止領域導出部２５４に供給される。残差データ復号化部２５３は、供給された符号化されている残差データを復号化し、残差データを生成する。生成された残差データは、静止領域導出部２５４に供給される。
【０１４１】
静止領域導出部２５４は、供給された積分データと残差データを用いて、静止領域内の画素を生成し、静止領域内の画像を生成する。
【０１４２】
図２０は、動き領域復号化部２１５の内部構成例を示す図である。動き領域復号化部２１５は、符号化動き領域画像データ分類部２７１、基準値復号化部２７２、差分値復号化部２７３、および、動き領域導出部２７４から構成されている。
【０１４３】
符号化動き領域画像データ分類部２７１には、符号化データ分類部２１２から、符号化動き領域画像データが供給される。この供給される符号化動き領域画像データには、図１６に示したように、符号化されている基準値データと差分値データが含まれている。符号化動き領域画像データ分類部２７１は、供給された符号化動き領域画像データを、基準値データと差分値データに分類する。分類された基準値データは、基準値復号化部２７２に供給され、差分値データは、差分値復号化部２７３に供給される。
【０１４４】
基準値復号化部２７２は、供給された符号化されている基準値データを復号化し、基準値データを生成する。生成された基準値データは、動き領域導出部２７４に供給される。差分値データ復号化部２７３は、供給された符号化されている差分値データを復号化し、差分値データを生成する。生成された差分値データは、動き領域導出部２７４に供給される。
【０１４５】
動き領域導出部２７４は、供給された基準値データと差分値データを用いて、動き領域内の画素を生成し、動き領域の画像を生成する。
【０１４６】
このような復号化を行う復号化装置２１０（図１７）の動作について、図２１乃至図２３のフローチャートを参照して説明する。
【０１４７】
ステップＳ１１１（図２１）において、復号化装置２１０の入力部２１１（図１７）は、符号化装置５０により符号化されたデータを受信（入力）する。入力部２１１により入力された符号化データは、符号化データ分類部２１２に供給される。符号化データ分類部２１２は、ステップＳ１１２において、供給された符号化データを分類する。
【０１４８】
符号化データ分類部２１２に供給される符号化データは、図１６に示すように、符号化判定テーブルデータ、符号化静止領域画像データ、および、符号化動き領域画像データから構成されている。符号化データ分類部２１２は、供給された符号化データを、これらの３つのデータに分類する。分類されたデータの内、符号化判定テーブルデータは、判定テーブル復号化部２１３に、符号化静止領域画像データは、静止領域復号化部２１４に、符号化動き領域画像データは、動き領域復号化部２１５に、それぞれ供給される。
【０１４９】
判定テーブル復号化部２１３のエントロピー復号化部２３１（図１８）は、ステップＳ１１２において、供給された符号化判定テーブルデータを、符号化方式に対応した復号化方式（例えば、符号化方式がハフマン符号化方式であった場合、ハフマン復号化方式）で復号化し、判定テーブルを、静止領域復号化部２１４と動き領域復号化部２１５に、それぞれ供給する。
【０１５０】
ステップＳ１１４において、静止領域復号化部２１４は、静止領域の復号化処理を実行する。ステップＳ１１４において実行される静止領域の復号化処理について、図２２のフローチャートを参照して説明する。ステップＳ１３１において、静止領域復号化部２１４の符号化静止領域画像データ分離部２５１は、供給された符号化静止領域画像データを分類する。
【０１５１】
符号化静止領域画像データは、図１６に示したように、符号化されている積分データと残差データが含まれている。符号化静止領域画像データ分類部２５１は、供給された符号化静止領域画像データを、積分データと残差データに分類する。分類された積分データは、積分データ復号化部２５２に供給され、残差データは、残差データ復号化部２５３に供給される。
【０１５２】
積分データ復号化部２５２は、ステップＳ１３２において、供給された符号化されている積分データを復号化し、積分データを生成する。積分データ復号化部２５２に供給され、復号化された積分データは、次式（８）のようなデータである。
【０１５３】
【数７】
2007116460.tif 000009
【０１５４】
式（８）は、式（１）と同様である。すなわち、符号化装置５０の静止領域処理部５４の積分データ導出部１１２（図５）により導出された、１フレーム目の積分データである。この積分データは、符号化装置５０側で、エントロピー符号化処理部１１４（図５）により、符号化されているため、復号化装置２１０側で、ステップＳ１３２（図２２）の処理として、積分データ復号化部２５２により復号化される。
【０１５５】
積分データ復号化部２５２により、積分データが復号化されている一方で、残差データ復号化部２５３により、残差データが復号化される。残差データ復号化部２５３は、ステップＳ１３３において、符号化静止領域画像データ分離部２５１からの符号化されている残差データを復号化する。
【０１５６】
残差データ復号化部２５３に供給され、復号化された残差データは、次式（９）のようなデータである。
【０１５７】
【数８】
2007116460.tif 000010
【０１５８】
残差データ復号化部２５３による復号化により取得される残差データは、式（９）に示したように、１フレーム目の残差Ｄｉｆｆfr1、２フレーム目の残差Ｄｉｆｆfr2、３フレーム目の残差Ｄｉｆｆfr3、４フレーム目の残差Ｄｉｆｆfr4、５フレーム目の残差Ｄｉｆｆfr5、６フレーム目の残差Ｄｉｆｆfr6、７フレーム目の残差Ｄｉｆｆfr7、８フレーム目の残差Ｄｉｆｆfr8、９フレーム目の残差Ｄｉｆｆfr9、および、１０フレーム目の残差Ｄｉｆｆfr10である。
【０１５９】
これらの残差データは、符号化装置５０の静止領域処理部５４の残差データ導出部１１３（図５）により導出された残差データである。この残差データは、符号化装置５０側で、エントロピー符号化処理部１１４（図５）により、符号化されているため、復号化装置２１０側で、ステップＳ１３３（図２２）の処理として、残差データ復号化部２５３により復号化される。
【０１６０】
ステップＳ１３２における処理とステップＳ１３３における処理により、式（８）に示した積分データと、式（９）に示した残差データが、それぞれ生成され、静止領域導出部２５４に供給される。静止領域導出部２５４は、ステップＳ１３４において、供給された積分データと残差データを用いて、静止領域内の画素を生成し、静止領域内の画像を生成する。
【０１６１】
すなわち、静止領域導出部２５４は、積分データと残差データから、静止領域内の画素値を生成し、その生成された画素値を、判定テーブル復号化部２１３からの判定テーブルを参照し静止領域内に配置することにより、静止領域内の画像を生成する。
【０１６２】
静止領域導出部２５４は、以下のようにして画素値を生成する。１フレーム目の静止領域内の画素値は、次式（１０）に基づいて生成される。
【０１６３】
【数９】
2007116460.tif 000011
【０１６４】
すなわち、１フレーム目の画素値Ｌfr1（ｘ，ｙ）は、１フレーム目の残差データＤｉｆｆfr1（ｘ，ｙ）に、１フレーム目の積分データＩｔｇｗ1（ｘ，ｙ）に（１／１０２３）を乗算した値を加算することにより算出される。この式（１０）は、式（２）から導き出すことができる。式（２）は、符号化装置５０で、残差データＤｉｆｆfr1（ｘ，ｙ）を算出するときの式であった。この式（２）において、積分データＩｔｇｗ1（ｘ，ｙ）に係わる項を、残差データＤｉｆｆfr1（ｘ，ｙ）側に移行することにより、式（１０）となる。
【０１６５】
このように、１フレーム目の画素値は、積分データと残差データを加算することにより求めることができる。同様に、２フレーム目の画素値Ｌｆｒ2（ｘ，ｙ）は、次式（１１）により求められる。
【０１６６】
【数１０】
2007116460.tif 000012
【０１６７】
式（１１）における積分データＩｔｇｗ2（ｘ，ｙ）は、上式（１２）により求めることができる。式（１２）における積分データＩｔｇｗ1（ｘ，ｙ）は、式（８）により求められている。式（８）は、上述したように、積分データ復号化部２５２により復号された積分データである。また、式（１２）における画素値Ｌｆｒ1（ｘ，ｙ）は、式（１０）により求められている。
【０１６８】
このように、２フレーム目の画素値Ｌfr2（ｘ，ｙ）は、積分データ復号化部２５２から供給される積分データＩｔｇｗ1（ｘ，ｙ）（式（８））と、その積分データＩｔｇｗ1（ｘ，ｙ）と残差データ復号化部２５３から供給される残差データ（式（９））を用いて算出される１フレーム目の画素値Ｌfr1（ｘ，ｙ）（式（１０））により、算出することができる。
【０１６９】
３フレーム以降の画素値も、２フレーム目の画素値の算出の仕方と同様に算出される。すなわち、その時点で供給されているデータと、その時点までに復号化されているデータが用いられて画素値が復号化される。
【０１７０】
このように、静止領域導出部部２５４は、１フレーム目の積分データと、１乃至９フレーム目の残差データが供給されれば、１乃至１０フレームの、それぞれのフレームにおける静止領域内の画素値を生成することができる。復号化装置２１０では、静止領域の画素値（画像）を、このようにして生成（復号化）するため、符号化装置５０側では、１フレーム目の積分データと、１乃至９フレーム目の残差データのみを送信すれ良い。
【０１７１】
ここで、符号化装置５０が、１乃至９フレーム目の残差データのみを送信すればよい理由について（１０フレーム目の残差データを送信しない理由について）説明を加える。まず以下に、９フレーム目の画素値を生成する際の式（１３）を示す。
【０１７２】
【数１１】
2007116460.tif 000013
【０１７３】
式（１３）に基づき９フレーム目の画素値Ｌfr9（ｘ，ｙ）が算出され、画素値Ｌfr9（ｘ，ｙ）を算出するために必要となる９フレーム目の積分データＩｔｇｗ9（ｘ，ｙ）は、式（１４）に基づいて算出される。
【０１７４】
このように、２フレームから９フレームまでの、それぞれのフレームにおける画素値は、同様の式（差分データと積分データを加算する式）により求められる。１０フレームも、同様に、差分データと積分データを加算することにより求める場合、以下のような式（１５）に基づいて算出されることになる。
【０１７５】
【数１２】
2007116460.tif 000014
【０１７６】
式（１５）に基づき１０フレーム目の画素値Ｌfr10（ｘ，ｙ）が算出され、画素値Ｌfr10（ｘ，ｙ）を算出するために必要となる１０フレーム目の積分データＩｔｇｗ10（ｘ，ｙ）は、式（１６）に基づいて算出される。式（１６）は、式（１）を代入することにより、最終的に、画素値Ｌfr10（ｘ，ｙ）になる。すなわち、この場合、
Ｉｔｇｗ10（ｘ，ｙ）＝Ｌfr10（ｘ，ｙ）  ・・・（１７）
となる。
【０１７７】
式（１７）を、式（１５）に代入すると、
Ｌfr10（ｘ，ｙ）＝Ｄｉｆｆfr10（ｘ，ｙ）＋Ｌfr10（ｘ，ｙ）
となる。よって、この式から、
Ｄｉｆｆfr10（ｘ，ｙ）＝０
と導くことができる。すなわち、１０フレーム目の残差データＤｉｆｆfr10（ｘ，ｙ）は“０”であるので、復号化装置２１０で、１０フレーム目の画素値を算出する際に必要がなく、符号化装置５０側から送信する必要もない。
【０１７８】
また、別の説明を加えると、１０フレーム目の画素値は、次式（１８）により求めることができる。
【０１７９】
【数１３】
2007116460.tif 000015
【０１８０】
すなわち、１０フレーム目の画素値Ｌfr10（ｘ，ｙ）は、１フレーム目の積分データＩｔｇｗ1（ｘ，ｙ）から、（２9・Ｌfr1（ｘ，ｙ）＋２8・Ｌfr2（ｘ，ｙ）＋２7・Ｌfr3（ｘ，ｙ）＋２6・Ｌfr4（ｘ，ｙ）＋２5・Ｌfr5（ｘ，ｙ）＋２4・Ｌfr6（ｘ，ｙ）＋２3・Ｌfr7（ｘ，ｙ）＋２2・Ｌfr8（ｘ，ｙ）＋２・Ｌfr9（ｘ，ｙ））を減算することにより求められる。
【０１８１】
Ｌfr1（ｘ，ｙ）、Ｌfr2（ｘ，ｙ）、Ｌfr3（ｘ，ｙ）、Ｌfr4（ｘ，ｙ）、Ｌfr5（ｘ，ｙ）、Ｌfr6（ｘ，ｙ）、Ｌfr7（ｘ，ｙ）、Ｌfr8（ｘ，ｙ）、Ｌfr9（ｘ，ｙ）は、それぞれ、１０フレーム目の画素値が求められる以前に、上記したような処理により求められている。
【０１８２】
式（１８）には、１０フレーム目の残差データＤｉｆｆfr10（ｘ，ｙ）は含まれていないが、そのような式（１８）から１０フレーム目の画素値を求めることは可能である。よって、１０フレーム目の残差データは必要とされない。よって、符号化装置５０からは、１フレーム目から９フレーム目までの残差データが送信され、１０フレーム目の残差データは送信されない。
【０１８３】
このように、復号化装置２１０においては、１フレーム目の積分データと、１乃至９フレーム目の残差データから、１０フレーム分の画素値（各フレーム内の静止領域内の画素値）を復号化することができる。よって、符号化において効率良い符号化を行うことが可能となり（圧縮率を高めることが可能となり）、そのような符号化されたデータを復号化することが可能となる。
【０１８４】
図２２のフローチャートの説明に戻り、ステップＳ１３４において静止領域内の画素値が順次生成されることにより、静止領域内の画像が生成される。
【０１８５】
このような処理が、静止領域復号化部２１４により実行されている一方で、動き領域復号化部２１５により、ステップＳ１１５（図２１）において、動き領域の復号化処理が実行される。図２１のフローチャートにおいては、静止領域の復号化処理の後、動き領域の復号化処理が実行されるという処理の流れにしたが、静止領域復号化部２１４による、静止領域の復号化処理と、動き領域復号化部２１５による、動き領域の復号化処理は、並列的に同時に行われるようにすることも可能である
【０１８６】
ステップＳ１１５において、動き領域復号化部２１５より実行される動き領域の復号化処理について図２３のフローチャートを参照して説明する。ステップＳ１５１において、動き領域復号化部２１５の符号化動き領域画像データ分離部２７１（図２０）は、供給された符号化動き領域画像データを分類する。
【０１８７】
符号化動き領域画像データは、図１６に示したように、符号化されている基準値データと差分値データが含まれている。符号化動き領域画像データ分類部２７１は、供給された符号化動き領域画像データを、基準値データと差分値データに分類する。分類された基準値データは、基準値復号化部２７２に供給され、差分値データは、差分値復号化部２７３に供給される。
【０１８８】
基準値復号化部２５２は、ステップＳ１５２において、供給された符号化されている基準値データを復号化し、基準値データを生成する。基準値復号化部２５２に供給され、復号化された基準値データは、例えば、ＬＭ（ｉ，ｊ）である。このＬＭ（ｉ，ｊ）は、図１５を参照して説明したように、符号化装置５０の動き領域処理部５５の基準値導出部１３２（図６）で導出される値である。
【０１８９】
このように基準値データは、符号化装置５０の動き領域処理部５４の基準値導出部１３２（図６）により導出された基準値データであり、エントロピー符号化処理部１３４（図６）により、符号化されているため、復号化装置２１０側で、ステップＳ１５２（図２３）の処理として、基準値復号化部２７２により復号化される。
【０１９０】
基準値復号化部２７２により基準値が復号化される一方で、ステップＳ１５３（図２３）において、差分値復号化部２７３により、符号化されている差分値データが復号化される。差分値復号化部２７３に供給され、復号化された差分値データは、例えば、ＤＭ（ｉ＋１，ｊ）といったデータである（式（７））。このＤＭ（ｉ＋１，ｊ）といった差分値データは、図１５や式（７）を参照して説明したように、符号化装置５０の動き領域処理部５５の差分値導出部１３３（図６）で導出される値である。
【０１９１】
このように差分値データは、符号化装置５０の動き領域処理部５４の差分値導出部１３３（図６）により導出された差分値データであり、エントロピー符号化処理部１３４（図６）により、符号化されているため、復号化装置２１０側で、ステップＳ１５３（図２３）の処理として、差分値復号化部２７３により復号化される。
【０１９２】
ステップＳ１５２における処理とステップＳ１５３における処理により、基準値データと、差分値データが、それぞれ復号化され、動き領域導出部２７４に供給される。動き領域導出部２７４は、ステップＳ１５４において、供給された基準値データと差分値データを用いて、動き領域内の画素を生成し、動き領域内の画像を生成する。
【０１９３】
すなわち、動き領域導出部２７４は、基準値データと差分値データから、静止領域内の画素値を生成し、その生成された画素値を、判定テーブル復号化部２１３からの判定テーブルを参照し動き領域内に配置することにより、動き領域内の画像を生成する。
【０１９４】
動き領域導出部２７４は、以下のようにして画素値を生成する。所定のフレームにおける動き領域内の画素値は、次式（１９）乃至（２４）に基づいて生成される。以下に示す式は、図１５の動き領域の範囲Ａ内の画素値を生成するための式である。
ＬＭ（ｉ，ｊ）＝ＬＭ（ｉ，ｊ）      ・・・（１９）
ＬＭ（ｉ＋１，ｊ）＝ＤＭ（ｉ＋１，ｊ）＋ＬＭ（ｉ，ｊ）        ・・・（２０）
ＬＭ（ｉ＋２，ｊ）＝ＤＭ（ｉ＋２，ｊ）＋ＬＭ（ｉ＋１，ｊ）    ・・・（２１）
ＬＭ（ｉ＋３，ｊ）＝ＤＭ（ｉ＋３，ｊ）＋ＬＭ（ｉ＋２，ｊ）    ・・・（２２）
ＬＭ（ｉ＋４，ｊ）＝ＤＭ（ｉ＋４，ｊ）＋ＬＭ（ｉ＋３，ｊ）    ・・・（２３）
ＬＭ（ｉ＋５，ｊ）＝ＤＭ（ｉ＋５，ｊ）＋ＬＭ（ｉ＋４，ｊ）    ・・・（２４）
【０１９５】
動き領域内の範囲Ａ内のラスタースキャン順で、一番初めにスキャンされる画素は、基準値とされた画素であり、その画素の画素値は、式（１９）により算出される。この画素値（基準値）は、基準値復号化部２７２（図２０）により復号化された値である。基準値とされた画素の次の画素（２番目の画素）は、式（２０）により算出される。式（２０）を参照するに、２番目の画素の画素値は、“１番目の画素値（基準値）と２番目の画素値との差分値である差分値ＤＭ（ｉ＋１，ｊ）”と、“１番目の画素値（式（１９）により算出された値）”が加算された値とされる。
【０１９６】
同様に、式（２１）を参照するに、３番目の画素の画素値は、“２番目の画素値（基準値）と３番目の画素値との差分値である差分値ＤＭ（ｉ＋２，ｊ）”と、“２番目の画素値（式（２０）により算出された値）”が加算された値とされる。
【０１９７】
このように、２番目以降の画素値は、差分値と、その前の時点で復号化されている画素の画素値が用いられて算出される。差分値は、順次差分値復号化部２７３により復号化され、供給される値が用いられる。
【０１９８】
このように、動き領域内で、ラスタースキャン順で連続する画素の画素値は、基準とされた画素から順に復号化される。その復号化は、基準とされた画素の画素値（基準値）と、差分値から用いられ、また、順次復号化された画素値が用いられて行われる。
【０１９９】
このような復号化が行われることにより、ステップＳ１５４において、画素値（画像）が生成されると、その生成された動き領域内の画像の画像データが、合成部２１６（図１７）に出力される。
【０２００】
合成部２１６は、ステップＳ１１６（図２１）において、復号化された静止領域内の画像と動き領域内の画像を合成し、１枚の画像（フレーム）を生成し、出力部２１７に供給する。
【０２０１】
このようにして、復号化が行われる。
【０２０２】
上述したように、本実施の形態における符号化と復号化は、それぞれ、静止領域と動き領域に分類され、それぞれの領域毎に行われる。
【０２０３】
静止領域に関する符号化は、上述したように、積分データと残差データが生成され、符号化されることにより行われた。静止領域に関する復号化は、積分データと残差データが復号化されることにより行われた。
【０２０４】
この積分データは、上記したように、処理対象とされるフレーム分（上記した実施の形態においては、ｍ＝１０フレーム）からの画素値を積分した値とした。１０フレーム分の画素値から積分データを算出するということは、時間方向に注目して積分データを算出しているといえる。
【０２０５】
静止領域内の画像は、数フレーム間で静止している画像であると判断された画像であり、フレーム間同士（時間方向）に関わりが深い。そこで、時間方向（すなわち数フレーム間）での積分データを算出し、符号化するようにした。また、残差データも、積分データを用いているため、時間方向の情報を利用していると言える。
【０２０６】
このように、本実施の形態においては、静止領域内の画像は、時間方向に注目して（時間方向の相関の高さに注目して）符号化や復号化が行われるようにした。
【０２０７】
動き領域に関する符号化は、上述したように、基準値データと差分値データが符号化されることにより行われた。動き領域に関する復号化は、基準値データと差分値データが復号化されることにより行われた。
【０２０８】
この差分値データは、上述したように、処理対象とされているフレーム内で、動き領域と判定された領域内の隣り合う画素同士の差分が算出されることにより取得された。同一フレーム内に存在する画素同士から差分を算出するということは、空間方向に注目して算出した値であると言える。
【０２０９】
動き領域内の画像は、静止領域内の画像と異なり、フレーム間（時間方向）における相関は高くなく、フレーム内（動き領域内）における相関が高い。そこで、空間方向（フレーム内の動き領域内）での差分値データを算出し、符号化するようにした。
【０２１０】
このように、本実施の形態においては、動き領域内の画像は、空間方向に注目して（空間方向の相関の高さに注目して）符号化や復号化が行われるようにした。
【０２１１】
このように、１フレームを符号化する際、１フレーム分のデータを同一の符号化方式で符号化するのではなく、１フレーム内の画像の特徴に注目し、特徴にあった符号化を行うようにすることで、効率良く符号化できるようになる（圧縮率を高めることができる）。また、符号化により画質が劣化するようなことがないように、符号化が行えるようになる。さらに、そのような符号化に対応する復号化を行うことも可能となる。
【０２１２】
［記録媒体について］
図２４は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。ＣＰＵ（Central Processing Unit）４０１は、ＲＯＭ（Read Only Memory）４０２、または記憶部４０８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）４０３には、ＣＰＵ４０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ４０１、ＲＯＭ４０２、およびＲＡＭ４０３は、バス４０４により相互に接続されている。
【０２１３】
ＣＰＵ４０１にはまた、バス４０４を介して入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、キーボード、マウス、マイクロホンなどよりなる入力部４０６、ディスプレイ、スピーカなどよりなる出力部４０７が接続されている。ＣＰＵ４０１は、入力部４０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ４０１は、処理の結果を出力部４０７に出力する。
【０２１４】
入出力インターフェース４０５に接続されている記憶部４０８は、例えばハードディスクからなり、ＣＰＵ４０１が実行するプログラムや各種のデータを記憶する。通信部４０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０２１５】
また、通信部４０９を介してプログラムを取得し、記憶部４０８に記憶してもよい。
【０２１６】
入出力インターフェース４０５に接続されているドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア４１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部４０８に転送され、記憶される。
【０２１７】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０２１８】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図２４に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア４１１、またはプログラムが一時的もしくは永続的に格納されるＲＯＭ４０２や、記憶部４０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部４０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２１９】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２２０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２２１】
【図１】本発明の符号化について説明する図である。
【図２】本発明を適用した符号化装置の一実施の形態の構成を示す図である。
【図３】判定テーブル導出部の内部構成例を示す図である。
【図４】判定テーブル処理部の内部構成例を示す図である。
【図５】静止領域処理部の内部構成例を示す図である。
【図６】動き領域処理部の内部構成例を示す図である。
【図７】符号化により生成されるデータについて説明する図である。
【図８】符号化処理について説明するフローチャートである。
【図９】判定テーブルの作成、符号化処理について説明するフローチャートである。
【図１０】静止領域の符号化について説明するフローチャートである。
【図１１】動き領域の符号化について説明するフローチャートである。
【図１２】積分データの算出について説明するための図である。
【図１３】残差データの算出について説明するための図である。
【図１４】判定テーブルについて説明するための図である。
【図１５】基準値の求め方について説明するための図である。
【図１６】符号化されたデータ構成について説明する図である。
【図１７】本発明を適用した復号化装置の一実施の形態の構成を示す図である。
【図１８】判定テーブル復号化部の内部構成例を示す図である。
【図１９】静止領域復号化部の内部構成例を示す図である。
【図２０】動き領域復号化部の内部構成例を示す図である。
【図２１】復号化について説明するフローチャートである。
【図２２】静止領域の復号化について説明するフローチャートである。
【図２３】動き領域の復号化について説明するフローチャートである。
【図２４】記録媒体について説明する図である。
【符号の説明】
【０２２２】
５０  符号化装置，  ５１  入力部，  ５２  判定テーブル導出部，  ５３  判定テーブル処理部，  ５４  静止領域処理部，  ５５  動き領域処理部，  ５６  出力部，  ７１  積分データ導出部，  ７２  残差導出部，  ７３  静止領域・動き領域判定部，  ７４  判定テーブル導出部，  ９１  エントロピー符号化部，  １１１  静止領域選択部，  １１２  積分データ導出部，  １１３  残差導出部，  １１４  エントロピー符号化処理部，  １３１  動き領域選択部，  １３２  基準値導出部，  １３３  差分値導出部，  １３４  エントロピー符号化処理部，  ２１０  復号化装置，  ２１１  入力部，  ２１２  符号化データ分類部，  ２１３  判定テーブル復号化部，  ２１４  静止領域復号化部，  ２１５  動き領域復号化部，  ２１６  合成部，  ２１７  出力部，  ２３１  エントロピー復号化部，  ２５１  符号化静止領域画像データ分類部，  ２５２  積分データ復号化部，  ２５３  残差データ復号化部，  ２５４  静止領域導出部，  ２７１  符号化動き領域画像データ分類部，  ２７２  基準値復号化部，  ２７３  差分値復号化部，  ２７４  動き領域導出部
【図１】
2007116460.tif 000016
【図２】
2007116460.tif 000017
【図３】
2007116460.tif 000018
【図４】
2007116460.tif 000019
【図５】
2007116460.tif 000020
【図６】
2007116460.tif 000021
【図７】
2007116460.tif 000022
【図８】
2007116460.tif 000023
【図９】
2007116460.tif 000024
【図１０】
2007116460.tif 000025
【図１１】
2007116460.tif 000026
【図１２】
2007116460.tif 000027
【図１３】
2007116460.tif 000028
【図１４】
2007116460.tif 000029
【図１５】
2007116460.tif 000030
【図１６】
2007116460.tif 000031
【図１７】
2007116460.tif 000032
【図１８】
2007116460.tif 000033
【図１９】
2007116460.tif 000034
【図２０】
2007116460.tif 000035
【図２１】
2007116460.tif 000036
【図２２】
2007116460.tif 000037
【図２３】
2007116460.tif 000038
【図２４】
2007116460.tif 000039