(57)【要約】【課題】高フレームレートの動画データを高圧縮し、復元する。【解決手段】送信装置および受信装置は、いずれも、注目ブロックについて、注目ブロックの直前のフレームであるパストリファレンス画像VPと、注目ブロックの直後のフレームであるフューチャリファレンス画像VTとにおいて、相関が高い位置関係を検出し、その位置関係にある、パストリファレンス画像の領域R8201の画像データと、フューチャリファレンス画像の領域R8202の画像データとから、注目ブロックの推測値を求める。そして、送信装置は、注目ブロックをその推測値を用いて圧縮する。一方、受信装置は、注目ブロックを、その推測値を用いて復元する。本発明は、例えば、動画を圧縮し、また復元する場合に適用できる。【選択図】図８２
2006086707.tif 000002
【特許請求の範囲】
【請求項１】
動画データを処理する画像処理装置において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離手段と、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出手段と、
前記検出手段で検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測手段と、
前記ブロックの推測値を用いて、前記第３の動画データをブロック単位で圧縮する圧縮手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第２の動画データと、前記圧縮手段による前記第３の動画データの圧縮結果とを、前記第１の動画データの圧縮結果として、独立に出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する他の検出手段と、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの他の推測値を求める他の推測手段と、
前記ブロックの他の推測値を用いて、前記第３の動画データをブロック単位で圧縮する他の圧縮手段と、
前記圧縮手段による前記第３の動画データの圧縮により得られる圧縮データ、または前記他の圧縮手段による前記第３の動画データの圧縮により得られる圧縮データのうちのいずれか一方の圧縮データを選択し、その圧縮データを識別するための識別情報を付加して出力する選択手段と
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記選択手段は、前記圧縮手段による前記第３の動画データの圧縮により得られる圧縮データ、または前記他の圧縮手段による前記第３の動画データの圧縮により得られる圧縮データのうちの、データ量が少ない方の圧縮データを選択する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２の動画データと、前記識別情報が付加された圧縮データとを、前記第１の動画データの圧縮結果として、独立に出力する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記推測手段は、前記検出手段で検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データの重み付き平均値を、前記ブロックの推測値として求める
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、前記第１の動画データの主成分の方向である主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、前記第１の動画データをフィルタリングするフィルタ手段をさらに備え、
前記分離手段は、前記フィルタ手段によるフィルタリング後の前記第１の動画データを、前記第２と第３の動画データに分離する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
動画データを処理する画像処理方法において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離ステップと、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップと、
前記検出ステップで検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップと、
前記ブロックの推測値を用いて、前記第３の動画データをブロック単位で圧縮する圧縮ステップと
を含むことを特徴とする画像処理方法。
【請求項９】
前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する他の検出ステップと、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの他の推測値を求める他の推測ステップと、
前記ブロックの他の推測値を用いて、前記第３の動画データをブロック単位で圧縮する他の圧縮ステップと、
前記圧縮ステップによる前記第３の動画データの圧縮により得られる圧縮データ、または前記他の圧縮ステップによる前記第３の動画データの圧縮により得られる圧縮データのうちのいずれか一方の圧縮データを選択し、その圧縮データを識別するための識別情報を付加して出力する選択ステップと
をさらに含むことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
動画データの処理をコンピュータに実行させるプログラムにおいて、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離ステップと、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップと、
前記検出ステップで検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップと、
前記ブロックの推測値を用いて、前記第３の動画データをブロック単位で圧縮する圧縮ステップと
を含むことを特徴とするプログラム。
【請求項１１】
前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する他の検出ステップと、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの他の推測値を求める他の推測ステップと、
前記ブロックの他の推測値を用いて、前記第３の動画データをブロック単位で圧縮する他の圧縮ステップと、
前記圧縮ステップによる前記第３の動画データの圧縮により得られる圧縮データ、または前記他の圧縮ステップによる前記第３の動画データの圧縮により得られる圧縮データのうちのいずれか一方の圧縮データを選択し、その圧縮データを識別するための識別情報を付加して出力する選択ステップと
をさらに含むことを特徴とする請求項１０に記載のプログラム。
【請求項１２】
動画データの処理をコンピュータに実行させるプログラムが記録されているプログラム記録媒体において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離ステップと、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップと、
前記検出ステップで検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップと、
前記ブロックの推測値を用いて、前記第３の動画データをブロック単位で圧縮する圧縮ステップと
を含むことを特徴とするプログラムが記録されているプログラム記録媒体。
【請求項１３】
前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する他の検出ステップと、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの他の推測値を求める他の推測ステップと、
前記ブロックの他の推測値を用いて、前記第３の動画データをブロック単位で圧縮する他の圧縮ステップと、
前記圧縮ステップによる前記第３の動画データの圧縮により得られる圧縮データ、または前記他の圧縮ステップによる前記第３の動画データの圧縮により得られる圧縮データのうちのいずれか一方の圧縮データを選択し、その圧縮データを識別するための識別情報を付加して出力する選択ステップと
をさらに含むことを特徴とするプログラムが記録されている請求項１２に記載のプログラム記録媒体。
【請求項１４】
動画データを圧縮して得られるデータのデータ構造において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、
前記相関が高い位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データと、
前記第２の動画データと
を含むことを特徴とするデータ構造。
【請求項１５】
前記第３の動画データの他のブロックについて、前記第２の動画データの複数フレームにおいて前記他のブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記他のブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記他のブロックの推測値を求め、
前記他のブロックの推測値を用いて、前記他のブロックを圧縮する
ことにより得られる他の圧縮データをさらに含み、
前記圧縮データと他の圧縮データは、それぞれを識別するための識別情報を含み、
前記他の圧縮データは、前記１つの動きベクトルをさらに含む
ことを特徴とする請求項１４に記載のデータ構造。
【請求項１６】
動画データを圧縮して得られるデータが記録されているデータ記録媒体において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、
前記相関が高い位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データと、
前記第２の動画データと
を含むことを特徴とするデータが記録されているデータ記録媒体。
【請求項１７】
前記第３の動画データの他のブロックについて、前記第２の動画データの複数フレームにおいて前記他のブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記他のブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記他のブロックの推測値を求め、
前記他のブロックの推測値を用いて、前記他のブロックを圧縮する
ことにより得られる他の圧縮データをさらに含み、
前記圧縮データと他の圧縮データは、それぞれを識別するための識別情報を含み、
前記他の圧縮データは、前記１つの動きベクトルをさらに含む
ことを特徴とするデータが記録されている請求項１６に記載のデータ記録媒体。
【請求項１８】
動画データを処理する画像処理装置において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、
前記相関が高い位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データを、前記第２の動画データを用いて、前記第３の動画データに復元する第１の復元手段と、
前記第２と第３の動画データを合成し、前記第１の動画データを復元する第２の復元手段と
を備え、
前記第１の復元手段は、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出手段と、
前記検出手段で検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測手段と、
前記ブロックの推測値と、前記圧縮データとを用いて、前記第３の動画データをブロック単位で復元するブロック復元手段と
を有する
ことを特徴とする画像処理装置。
【請求項１９】
前記ブロックは、
前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる他の圧縮データか、
または前記圧縮データに圧縮されており、
前記圧縮データと他の圧縮データは、それぞれを識別するための識別情報を含み、
前記他の圧縮データは、前記１つの動きベクトルをさらに含む
場合において、
前記識別情報が前記圧縮データを表しているとき、
前記検出手段は、前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、
前記推測手段は、前記検出手段で検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、
前記ブロック復元手段は、前記ブロックの推測値と、前記圧縮データとを用いて、前記ブロックを復元し、
前記識別情報が前記他の圧縮データを表しているとき、
前記検出手段は、前記１つの動きベクトルから、前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を検出し、
前記推測手段は、前記ブロックとの位置関係が前記１つの動きベクトルから求められた位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロック復元手段は、前記ブロックの推測値と、前記他の圧縮データとを用いて、前記ブロックを復元する
ことを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
前記推測手段は、前記検出手段で検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データの重み付き平均値を、前記ブロックの推測値として求める
ことを特徴とする請求項１８に記載の画像処理装置。
【請求項２１】
動画データを処理する画像処理方法において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、
前記相関が高い位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データを、前記第２の動画データを用いて、前記第３の動画データに復元する第１の復元ステップと、
前記第２と第３の動画データを合成し、前記第１の動画データを復元する第２の復元ステップと
を含み、
前記第１の復元ステップは、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップと、
前記検出ステップで検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップと、
前記ブロックの推測値と、前記圧縮データとを用いて、前記第３の動画データをブロック単位で復元するブロック復元ステップと
を含む
ことを特徴とする画像処理方法。
【請求項２２】
前記ブロックは、
前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる他の圧縮データか、
または前記圧縮データに圧縮されており、
前記圧縮データと他の圧縮データは、それぞれを識別するための識別情報を含み、
前記他の圧縮データは、前記１つの動きベクトルをさらに含む
場合において、
前記識別情報が前記圧縮データを表しているとき、
前記検出ステップでは、前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、
前記推測ステップでは、前記検出ステップで検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、
前記ブロック復元ステップでは、前記ブロックの推測値と、前記圧縮データとを用いて、前記ブロックを復元し、
前記識別情報が前記他の圧縮データを表しているとき、
前記検出ステップでは、前記１つの動きベクトルから、前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を検出し、
前記推測ステップでは、前記ブロックとの位置関係が前記１つの動きベクトルから求められた位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロック復元ステップでは、前記ブロックの推測値と、前記他の圧縮データとを用いて、前記ブロックを復元する
ことを特徴とする請求項２１に記載の画像処理方法。
【請求項２３】
動画データの処理を、コンピュータに実行させるプログラムにおいて、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、
前記相関が高い位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データを、前記第２の動画データを用いて、前記第３の動画データに復元する第１の復元ステップと、
前記第２と第３の動画データを合成し、前記第１の動画データを復元する第２の復元ステップと
を含み、
前記第１の復元ステップは、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップと、
前記検出ステップで検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップと、
前記ブロックの推測値と、前記圧縮データとを用いて、前記第３の動画データをブロック単位で復元するブロック復元ステップと
を含む
ことを特徴とするプログラム。
【請求項２４】
前記ブロックは、
前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる他の圧縮データか、
または前記圧縮データに圧縮されており、
前記圧縮データと他の圧縮データは、それぞれを識別するための識別情報を含み、
前記他の圧縮データは、前記１つの動きベクトルをさらに含む
場合において、
前記識別情報が前記圧縮データを表しているとき、
前記検出ステップでは、前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、
前記推測ステップでは、前記検出ステップで検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、
前記ブロック復元ステップでは、前記ブロックの推測値と、前記圧縮データとを用いて、前記ブロックを復元し、
前記識別情報が前記他の圧縮データを表しているとき、
前記検出ステップでは、前記１つの動きベクトルから、前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を検出し、
前記推測ステップでは、前記ブロックとの位置関係が前記１つの動きベクトルから求められた位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロック復元ステップでは、前記ブロックの推測値と、前記他の圧縮データとを用いて、前記ブロックを復元する
ことを特徴とする請求項２３に記載のプログラム。
【請求項２５】
動画データの処理を、コンピュータに実行させるプログラムが記録されているプログラム記録媒体において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、
前記相関が高い位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データを、前記第２の動画データを用いて、前記第３の動画データに復元する第１の復元ステップと、
前記第２と第３の動画データを合成し、前記第１の動画データを復元する第２の復元ステップと
を含み、
前記第１の復元ステップは、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップと、
前記検出ステップで検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップと、
前記ブロックの推測値と、前記圧縮データとを用いて、前記第３の動画データをブロック単位で復元するブロック復元ステップと
を含む
ことを特徴とするプログラムが記録されているプログラム記録媒体。
【請求項２６】
前記ブロックは、
前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる他の圧縮データか、
または前記圧縮データに圧縮されており、
前記圧縮データと他の圧縮データは、それぞれを識別するための識別情報を含み、
前記他の圧縮データは、前記１つの動きベクトルをさらに含む
場合において、
前記識別情報が前記圧縮データを表しているとき、
前記検出ステップでは、前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、
前記推測ステップでは、前記検出ステップで検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、
前記ブロック復元ステップでは、前記ブロックの推測値と、前記圧縮データとを用いて、前記ブロックを復元し、
前記識別情報が前記他の圧縮データを表しているとき、
前記検出ステップでは、前記１つの動きベクトルから、前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を検出し、
前記推測ステップでは、前記ブロックとの位置関係が前記１つの動きベクトルから求められた位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロック復元ステップでは、前記ブロックの推測値と、前記他の圧縮データとを用いて、前記ブロックを復元する
ことを特徴とするプログラムが記録されている請求項２５に記載のプログラム記録媒体。
【請求項２７】
動画データを処理する画像処理装置において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離手段と、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する検出手段と、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求める推測手段と、
前記ブロックの推測値を用いて、前記第３の動画データをブロック単位で圧縮する圧縮手段と
を備えることを特徴とする画像処理装置。
【請求項２８】
前記第２の動画データと、前記圧縮手段による前記第３の動画データの圧縮結果とを、前記第１の動画データの圧縮結果として、独立に出力する
ことを特徴とする請求項２７に記載の画像処理装置。
【請求項２９】
前記推測手段は、前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データの重み付き平均値を、前記ブロックの推測値として求める
ことを特徴とする請求項２７に記載の画像処理装置。
【請求項３０】
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、前記第１の動画データの主成分の方向である主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、前記第１の動画データをフィルタリングするフィルタ手段をさらに備え、
前記分離手段は、前記フィルタ手段によるフィルタリング後の前記第１の動画データを、前記第２と第３の動画データに分離する
ことを特徴とする請求項２７に記載の画像処理装置。
【請求項３１】
動画データを処理する画像処理方法において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離ステップと、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する検出ステップと、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求める推測ステップと、
前記ブロックの推測値を用いて、前記第３の動画データをブロック単位で圧縮する圧縮ステップと
を含むことを特徴とする画像処理方法。
【請求項３２】
動画データの処理を、コンピュータに実行させるプログラムにおいて、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離ステップと、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する検出ステップと、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求める推測ステップと、
前記ブロックの推測値を用いて、前記第３の動画データをブロック単位で圧縮する圧縮ステップと
を含むことを特徴とするプログラム。
【請求項３３】
動画データの処理を、コンピュータに実行させるプログラムが記録されているプログラム記録媒体において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離ステップと、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する検出ステップと、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求める推測ステップと、
前記ブロックの推測値を用いて、前記第３の動画データをブロック単位で圧縮する圧縮ステップと
を含むことを特徴とするプログラムが記録されているプログラム記録媒体。
【請求項３４】
動画データを圧縮して得られるデータのデータ構造において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データと、
前記第２の動画データと
を含み、
前記圧縮データは、前記１つの動きベクトルを含む
ことを特徴とするデータ構造。
【請求項３５】
動画データを圧縮して得られるデータが記録されているデータ記録媒体において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データと、
前記第２の動画データと
を含み、
前記圧縮データは、前記１つの動きベクトルを含む
ことを特徴とするデータが記録されているデータ記録媒体。
【請求項３６】
動画データを処理する画像処理装置において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データを、前記第２の動画データを用いて、前記第３の動画データに復元する第１の復元手段と、
前記第２と第３の動画データを合成し、前記第１の動画データを復元する第２の復元手段と
を備え、
前記第１の復元手段は、
前記１つの動きベクトルから、前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を求める検出手段と、
前記ブロックとの位置関係が前記１つの動きベクトルから求められた位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求める推測手段と、
前記ブロックの推測値と、前記圧縮データとを用いて、前記ブロックを復元するブロック復元手段と
を有する
ことを特徴とする画像処理装置。
【請求項３７】
動画データを処理する画像処理方法において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データを、前記第２の動画データを用いて、前記第３の動画データに復元する第１の復元ステップと、
前記第２と第３の動画データを合成し、前記第１の動画データを復元する第２の復元ステップと
を含み、
前記第１の復元ステップは、
前記１つの動きベクトルから、前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を求める検出ステップと、
前記ブロックとの位置関係が前記１つの動きベクトルから求められた位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求める推測ステップと、
前記ブロックの推測値と、前記圧縮データとを用いて、前記ブロックを復元するブロック復元ステップと
を含む
ことを特徴とする画像処理方法。
【請求項３８】
動画データの処理を、コンピュータに実行させるプログラムにおいて、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データを、前記第２の動画データを用いて、前記第３の動画データに復元する第１の復元ステップと、
前記第２と第３の動画データを合成し、前記第１の動画データを復元する第２の復元ステップと
を含み、
前記第１の復元ステップは、
前記１つの動きベクトルから、前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を求める検出ステップと、
前記ブロックとの位置関係が前記１つの動きベクトルから求められた位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求める推測ステップと、
前記ブロックの推測値と、前記圧縮データとを用いて、前記ブロックを復元するブロック復元ステップと
を含む
ことを特徴とするプログラム。
【請求項３９】
動画データの処理を、コンピュータに実行させるプログラムが記録されているプログラム記録媒体において、
第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、前記第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データを、前記第２の動画データを用いて、前記第３の動画データに復元する第１の復元ステップと、
前記第２と第３の動画データを合成し、前記第１の動画データを復元する第２の復元ステップと
を含み、
前記第１の復元ステップは、
前記１つの動きベクトルから、前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を求める検出ステップと、
前記ブロックとの位置関係が前記１つの動きベクトルから求められた位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求める推測ステップと、
前記ブロックの推測値と、前記圧縮データとを用いて、前記ブロックを復元するブロック復元ステップと
を含む
ことを特徴とするプログラムが記録されているプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、プログラムおよびプログラム記録媒体、並びにデータ構造およびデータ記録媒体に関し、特に、例えば、高フレームレートの動画データを高圧縮し、また、復元することができるようにする画像処理装置および画像処理方法、プログラムおよびプログラム記録媒体、並びにデータ構造およびデータ記録媒体に関する。
【背景技術】
【０００２】
従来、動画（動画像）データは、毎秒３０乃至６０フレーム（３０乃至６０fps(Frame per second)）程度のフレームレートで録画（記録）され、再生される。しかしながら、この程度のフレームレートでは、人間の視覚において、動被写体（動いている被写体）がぼけた画像に知覚されてしまうため、人間にとって、良好な画質が得られているとは言えなかった。
【０００３】
ところで、動画データを、２４０fps程度のフレームレートで記録し、再生すると、人間にとって良好な画質が得られることが知られている。
【０００４】
２４０fpsのフレームレートの動画データは、２４０fpsの高フレームレートに対応した表示装置によって表示することができ、さらに、例えば、フレームを間引き、フレームレートを低下させることによって、３０fpsや６０fpsなどの低フレームレートの表示装置で表示することもできる。
【０００５】
しかしながら、２４０fpsのフレームレートの動画データのフレームを単純に間引いた場合には、画像において、動きの滑らかさが損なわれることになる。
【０００６】
そこで、特許文献１には、高フレームレートの動画データの単純に間引くのではなく、高フレームレートの動画データの複数フレームの平均値を、低フレームレートの動画データとする方法が提案されている。さらに、特許文献１では、高フレームレートの動画データを、複数のフレームレートに対応する複数の階層に階層符号化する方法も提案されている。
【０００７】
ここで、例えば、１２０fpsの階層と、６０fpsの階層との２階層の階層符号化が行われる場合には、例えば、１２０fpsの動画データの、あるフレームのデータD1と、次のフレームのデータD2との平均値(D1+D2)/2が、６０fpsの階層の動画データとされ、データD1とD2のうちの一方のうちの、例えば、データD1だけが、１２０fpsの階層の動画データとされる。この場合、データD2は、６０fpsの階層の動画データ(D1+D2)/2と、１２０fpsの階層の動画データD1とから求めることができる。
【０００８】
ところで、上述したように、２４０fpsなどの高フレームレートの動画データによれば、良好な画質を得ることができるが、２４０fpsの動画データは、従来の３０fpsや６０fpsの動画データに比較して、単純には、８倍や４倍の膨大なデータ量になる。このデータ量は、上述の階層符号化を行っても変わらない。そして、動画データのデータ量が膨大であることは、その動画データのデータ処理の負荷を大にし、また、動画データの伝送や記録に好ましいことではない。
【０００９】
【特許文献１】特開2004-088244号公報。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、このような状況に鑑みてなされたものであり、例えば、高フレームレートの動画データを高圧縮し、また、復元することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の第１の画像処理装置は、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離手段と、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出手段と、検出手段で検出された位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測手段と、ブロックの推測値を用いて、第３の動画データをブロック単位で圧縮する圧縮手段とを備えることを特徴とする。
【００１２】
本発明の第１の画像処理方法は、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離ステップと、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップと、検出ステップで検出された位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップと、ブロックの推測値を用いて、第３の動画データをブロック単位で圧縮する圧縮ステップとを含むことを特徴とする。
【００１３】
本発明の第１のプログラムは、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離ステップと、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップと、検出ステップで検出された位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップと、ブロックの推測値を用いて、第３の動画データをブロック単位で圧縮する圧縮ステップとを含むことを特徴とする。
【００１４】
本発明の第１のプログラム記録媒体に記録されているプログラムは、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離ステップと、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップと、検出ステップで検出された位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップと、ブロックの推測値を用いて、第３の動画データをブロック単位で圧縮する圧縮ステップとを含むことを特徴とする。
【００１５】
本発明の第１のデータ構造は、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、相関が高い位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、ブロックの推測値を用いて、ブロックを圧縮することにより得られる圧縮データと、第２の動画データとを含むことを特徴とする。
【００１６】
本発明の第１のデータ記録媒体に記録されているデータは、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、相関が高い位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、ブロックの推測値を用いて、ブロックを圧縮することにより得られる圧縮データと、第２の動画データとを含むことを特徴とする。
【００１７】
本発明の第２の画像処理装置は、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、相関が高い位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、ブロックの推測値を用いて、ブロックを圧縮することにより得られる圧縮データを、第２の動画データを用いて、第３の動画データに復元する第１の復元手段と、第２と第３の動画データを合成し、第１の動画データを復元する第２の復元手段とを備え、第１の復元手段は、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出手段と、検出手段で検出された位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測手段と、ブロックの推測値と、圧縮データとを用いて、第３の動画データをブロック単位で復元するブロック復元手段とを有することを特徴とする。
【００１８】
本発明の第２の画像処理方法は、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、相関が高い位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、ブロックの推測値を用いて、ブロックを圧縮することにより得られる圧縮データを、第２の動画データを用いて、第３の動画データに復元する第１の復元ステップと、第２と第３の動画データを合成し、第１の動画データを復元する第２の復元ステップとを含み、第１の復元ステップは、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップと、検出ステップで検出された位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップと、ブロックの推測値と、圧縮データとを用いて、第３の動画データをブロック単位で復元するブロック復元ステップとを含むことを特徴とする。
【００１９】
本発明の第２のプログラムは、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、相関が高い位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、ブロックの推測値を用いて、ブロックを圧縮することにより得られる圧縮データを、第２の動画データを用いて、第３の動画データに復元する第１の復元ステップと、第２と第３の動画データを合成し、第１の動画データを復元する第２の復元ステップとを含み、第１の復元ステップは、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップと、検出ステップで検出された位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップと、ブロックの推測値と、圧縮データとを用いて、第３の動画データをブロック単位で復元するブロック復元ステップとを含むことを特徴とする。
【００２０】
本発明の第２のプログラム記録媒体に記録されているプログラムは、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、相関が高い位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、ブロックの推測値を用いて、ブロックを圧縮することにより得られる圧縮データを、第２の動画データを用いて、第３の動画データに復元する第１の復元ステップと、第２と第３の動画データを合成し、第１の動画データを復元する第２の復元ステップとを含み、第１の復元ステップは、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップと、検出ステップで検出された位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップと、ブロックの推測値と、圧縮データとを用いて、第３の動画データをブロック単位で復元するブロック復元ステップとを含むことを特徴とする。
【００２１】
本発明の第３の画像処理装置は、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離手段と、第３の動画データのフレームをブロック分割して得られるブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する検出手段と、ブロックとの位置関係が１つの動きベクトルから求められる位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求める推測手段と、ブロックの推測値を用いて、第３の動画データをブロック単位で圧縮する圧縮手段とを備えることを特徴とする。
【００２２】
本発明の第３の画像処理方法は、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離ステップと、第３の動画データのフレームをブロック分割して得られるブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する検出ステップと、ブロックとの位置関係が１つの動きベクトルから求められる位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求める推測ステップと、ブロックの推測値を用いて、第３の動画データをブロック単位で圧縮する圧縮ステップとを含むことを特徴とする。
【００２３】
本発明の第３のプログラムは、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離ステップと、第３の動画データのフレームをブロック分割して得られるブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する検出ステップと、ブロックとの位置関係が１つの動きベクトルから求められる位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求める推測ステップと、ブロックの推測値を用いて、第３の動画データをブロック単位で圧縮する圧縮ステップとを含むことを特徴とする。
【００２４】
本発明の第３のプログラム記録媒体に記録されているプログラムは、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離する分離ステップと、第３の動画データのフレームをブロック分割して得られるブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する検出ステップと、ブロックとの位置関係が１つの動きベクトルから求められる位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求める推測ステップと、ブロックの推測値を用いて、第３の動画データをブロック単位で圧縮する圧縮ステップとを含むことを特徴とする。
【００２５】
本発明の第２のデータ構造は、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、第３の動画データのフレームをブロック分割して得られるブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、ブロックとの位置関係が１つの動きベクトルから求められる位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求め、ブロックの推測値を用いて、ブロックを圧縮することにより得られる圧縮データと、第２の動画データとを含み、圧縮データは、１つの動きベクトルを含むことを特徴とする。
【００２６】
本発明の第２のデータ記録媒体に記録されているデータは、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、第３の動画データのフレームをブロック分割して得られるブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、ブロックとの位置関係が１つの動きベクトルから求められる位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求め、ブロックの推測値を用いて、ブロックを圧縮することにより得られる圧縮データと、第２の動画データとを含み、圧縮データは、１つの動きベクトルを含むことを特徴とする。
【００２７】
本発明の第４の画像処理装置は、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、第３の動画データのフレームをブロック分割して得られるブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、ブロックとの位置関係が１つの動きベクトルから求められる位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求め、ブロックの推測値を用いて、ブロックを圧縮することにより得られる圧縮データを、第２の動画データを用いて、第３の動画データに復元する第１の復元手段と、第２と第３の動画データを合成し、第１の動画データを復元する第２の復元手段とを備え、第１の復元手段は、１つの動きベクトルから、ブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を求める検出手段と、ブロックとの位置関係が１つの動きベクトルから求められた位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求める推測手段と、ブロックの推測値と、圧縮データとを用いて、ブロックを復元するブロック復元手段とを有することを特徴とする。
【００２８】
本発明の第４の画像処理方法は、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、第３の動画データのフレームをブロック分割して得られるブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、ブロックとの位置関係が１つの動きベクトルから求められる位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求め、ブロックの推測値を用いて、ブロックを圧縮することにより得られる圧縮データを、第２の動画データを用いて、第３の動画データに復元する第１の復元ステップと、第２と第３の動画データを合成し、第１の動画データを復元する第２の復元ステップとを含み、第１の復元ステップは、１つの動きベクトルから、ブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を求める検出ステップと、ブロックとの位置関係が１つの動きベクトルから求められた位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求める推測ステップと、ブロックの推測値と、圧縮データとを用いて、ブロックを復元するブロック復元ステップとを含むことを特徴とする。
【００２９】
本発明の第４のプログラムは、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、第３の動画データのフレームをブロック分割して得られるブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、ブロックとの位置関係が１つの動きベクトルから求められる位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求め、ブロックの推測値を用いて、ブロックを圧縮することにより得られる圧縮データを、第２の動画データを用いて、第３の動画データに復元する第１の復元ステップと、第２と第３の動画データを合成し、第１の動画データを復元する第２の復元ステップとを含み、第１の復元ステップは、１つの動きベクトルから、ブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を求める検出ステップと、ブロックとの位置関係が１つの動きベクトルから求められた位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求める推測ステップと、ブロックの推測値と、圧縮データとを用いて、ブロックを復元するブロック復元ステップとを含むことを特徴とする。
【００３０】
本発明の第４のプログラム記録媒体に記録されているプログラムは、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、第３の動画データのフレームをブロック分割して得られるブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、ブロックとの位置関係が１つの動きベクトルから求められる位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求め、ブロックの推測値を用いて、ブロックを圧縮することにより得られる圧縮データを、第２の動画データを用いて、第３の動画データに復元する第１の復元ステップと、第２と第３の動画データを合成し、第１の動画データを復元する第２の復元ステップとを含み、第１の復元ステップは、１つの動きベクトルから、ブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を求める検出ステップと、ブロックとの位置関係が１つの動きベクトルから求められた位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求める推測ステップと、ブロックの推測値と、圧縮データとを用いて、ブロックを復元するブロック復元ステップとを含むことを特徴とする。
【００３１】
本発明の第１の画像処理装置および第１の画像処理方法、並びに第１のプログラムおよび第１のプログラム記録媒体に記録されているプログラムにおいては、第１の動画データが、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離され、第２の動画データの複数フレームにおいて、相関が高い位置関係が検出される。さらに、その検出された位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値が求められ、そのブロックの推測値を用いて、第３の動画データがブロック単位で圧縮される。
【００３２】
本発明の第１のデータ構造および第１のデータ記録媒体に記録されているデータには、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、相関が高い位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、ブロックの推測値を用いて、ブロックを圧縮することにより得られる圧縮データと、第２の動画データとが含まれる。
【００３３】
本発明の第２の画像処理装置および第２の画像処理方法、並びに第２のプログラムおよび第２のプログラム記録媒体に記録されているプログラムにおいては、第３の動画データが復元され、さらに、第２と第３の動画データが合成されて、第１の動画データが復元される。この場合において、第３の動画データの復元については、第２の動画データの複数フレームにおいて、相関が高い位置関係が検出され、その位置関係にある、第２の動画データの複数フレームの画像データから、第３の動画データのフレームをブロック分割して得られるブロックの推測値が求められる。そして、そのブロックの推測値と、圧縮データとを用いて、第３の動画データがブロック単位で復元される。
【００３４】
本発明の第３の画像処理装置および第３の画像処理方法、並びに第３のプログラムおよび第３のプログラム記録媒体に記録されているプログラムにおいては、第１の動画データが、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離され、第３の動画データのフレームをブロック分割して得られるブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を表す１つの動きベクトルが検出される。そして、ブロックとの位置関係が１つの動きベクトルから求められる位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値が求められ、そのブロックの推測値を用いて、第３の動画データがブロック単位で圧縮される。
【００３５】
本発明の第２のデータ構造および第２のデータ記録媒体に記録されているデータには、第１の動画データを、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データと、第１の動画データから第２の動画データを除いた残りの第３の動画データとに分離し、第３の動画データのフレームをブロック分割して得られるブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、ブロックとの位置関係が１つの動きベクトルから求められる位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値を求め、ブロックの推測値を用いて、ブロックを圧縮することにより得られる圧縮データと、第２の動画データとが含まれる。
【００３６】
本発明の第４の画像処理装置および第４の画像処理方法、並びに第４のプログラムおよび第４のプログラム記録媒体に記録されているプログラムにおいては、第３の動画データが復元され、さらに、第２と第３の動画データが合成されて、第１の動画データが復元される。この場合において、第３の動画データの復元については、１つの動きベクトルから、ブロックについて、第２の動画データの複数フレームにおいてブロックとの相関が高い位置関係が求められ、ブロックとの位置関係が１つの動きベクトルから求められた位置関係にある、第２の動画データの複数フレームの画像データから、ブロックの推測値が求められる。そして、そのブロックの推測値と、圧縮データとを用いて、ブロックが復元される。
【発明の効果】
【００３７】
本発明によれば、高フレームレートの動画データを高圧縮することができる。また、本発明によれば、そのように高圧縮された動画データを復元することができる。
【発明を実施するための最良の形態】
【００３８】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３９】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００４０】
請求項１に記載の画像処理装置は、
動画データを処理する画像処理装置（例えば、図７９の送信装置１）において、
第１の動画データ（例えば、240fps動画データ）を、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データ（例えば、60fps動画データ）と、前記第１の動画データから第２の動画データを除いた残りの第３の動画データ（例えば、240-60fps動画データ）とに分離する分離手段（例えば、図７９の分離回路２１３）と、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出手段（例えば、図９４の相関最大位置検出部２５４）と、
前記検出手段で検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測手段（例えば、図９４の平均値計算部２５５）と、
前記ブロックの推測値を用いて、前記第３の動画データをブロック単位で圧縮する圧縮手段（例えば、図９４の減算部２５６）と
を備えることを特徴とする。
【００４１】
請求項３に記載の画像処理装置は、
前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する他の検出手段（例えば、図９６の相関最大位置検出部２７４）と、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの他の推測値を求める他の推測手段（例えば、図９６の平均値計算部２７５）と、
前記ブロックの他の推測値を用いて、前記第３の動画データをブロック単位で圧縮する他の圧縮手段（例えば、図９６の減算部２７６）と、
前記圧縮手段による前記第３の動画データの圧縮により得られる圧縮データ、または前記他の圧縮手段による前記第３の動画データの圧縮により得られる圧縮データのうちのいずれか一方の圧縮データを選択し、その圧縮データを識別するための識別情報を付加して出力する選択手段（例えば、図８１の選択回路２４０）と
をさらに備えることを特徴とする。
【００４２】
請求項７に記載の画像処理装置は、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、前記第１の動画データの主成分の方向である主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、前記第１の動画データをフィルタリングするフィルタ手段（例えば、図７９の帯域制限フィルタ部２１２）をさらに備え、
前記分離手段は、前記フィルタ手段によるフィルタリング後の前記第１の動画データを、前記第２と第３の動画データに分離する
ことを特徴とする。
【００４３】
請求項８に記載の画像処理方法は、
動画データを処理する画像処理方法において、
第１の動画データ（例えば、240fps動画データ）を、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データ（例えば、60fps動画データ）と、前記第１の動画データから第２の動画データを除いた残りの第３の動画データ（例えば、240-60fps動画データ）とに分離する分離ステップ（例えば、図１０８のステップＳ２８２）と、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップ（例えば、図９５のステップＳ２１２）と、
前記検出ステップで検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップ（例えば、図９５のステップＳ２１３）と、
前記ブロックの推測値を用いて、前記第３の動画データをブロック単位で圧縮する圧縮ステップ（例えば、図９５のステップＳ２１４）と
を含むことを特徴とする。
【００４４】
請求項９に記載の画像処理方法は、
前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する他の検出ステップ（例えば、図９７のステップＳ２２２）と、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの他の推測値を求める他の推測ステップ（例えば、図９７のステップＳ２２３）と、
前記ブロックの他の推測値を用いて、前記第３の動画データをブロック単位で圧縮する他の圧縮ステップ（例えば、図９７のステップＳ２２４）と、
前記圧縮ステップによる前記第３の動画データの圧縮により得られる圧縮データ、または前記他の圧縮ステップによる前記第３の動画データの圧縮により得られる圧縮データのうちのいずれか一方の圧縮データを選択し、その圧縮データを識別するための識別情報を付加して出力する選択ステップ（例えば、図１０９のステップＳ２９２およびＳ２９３）と
をさらに含むことを特徴とする。
【００４５】
請求項１０に記載のプログラムおよび請求項１２に記載のプログラム記録媒体に記録されているプログラムは、
動画データの処理をコンピュータに実行させるプログラムにおいて、
第１の動画データ（例えば、240fps動画データ）を、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データ（例えば、60fps動画データ）と、前記第１の動画データから第２の動画データを除いた残りの第３の動画データ（例えば、240-60fps動画データ）とに分離する分離ステップ（例えば、図１０８のステップＳ２８２）と、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップ（例えば、図９５のステップＳ２１２）と、
前記検出ステップで検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップ（例えば、図９５のステップＳ２１３）と、
前記ブロックの推測値を用いて、前記第３の動画データをブロック単位で圧縮する圧縮ステップ（例えば、図９５のステップＳ２１４）と
を含むことを特徴とする。
【００４６】
請求項１１に記載のプログラムおよび請求項１３に記載のプログラム記録媒体に記録されているプログラムは、
前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する他の検出ステップ（例えば、図９７のステップＳ２２２）と、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの他の推測値を求める他の推測ステップ（例えば、図９７のステップＳ２２３）と、
前記ブロックの他の推測値を用いて、前記第３の動画データをブロック単位で圧縮する他の圧縮ステップ（例えば、図９７のステップＳ２２４）と、
前記圧縮ステップによる前記第３の動画データの圧縮により得られる圧縮データ、または前記他の圧縮ステップによる前記第３の動画データの圧縮により得られる圧縮データのうちのいずれか一方の圧縮データを選択し、その圧縮データを識別するための識別情報を付加して出力する選択ステップ（例えば、図１０９のステップＳ２９２およびＳ２９３）と
をさらに含むことを特徴とする。
【００４７】
請求項１８に記載の画像処理装置は、
動画データを処理する画像処理装置（例えば、図１１０の受信装置２）において、
第１の動画データ（例えば、240fps動画データ）を、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データ（例えば、60fps動画データ）と、前記第１の動画データから第２の動画データを除いた残りの第３の動画データ（例えば、240-60fps動画データ）とに分離し、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、
前記相関が高い位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データを、前記第２の動画データを用いて、前記第３の動画データに復元する第１の復元手段（例えば、図１１０の差分情報復元部３６４）と、
前記第２と第３の動画データを合成し、前記第１の動画データを復元する第２の復元手段（例えば、図１１０の合成部３６５）と
を備え、
前記第１の復元手段は、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出手段（例えば、図１１３の相関最大位置検出部３７７）と、
前記検出手段で検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測手段（例えば、図１１３の推測部３７８）と、
前記ブロックの推測値と、前記圧縮データとを用いて、前記第３の動画データをブロック単位で復元するブロック復元手段（例えば、図１１３の加算部３７９）と
を有する
ことを特徴とする。
【００４８】
請求項２１に記載の画像処理方法は、
動画データを処理する画像処理方法において、
第１の動画データ（例えば、240fps動画データ）を、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データ（例えば、60fps動画データ）と、前記第１の動画データから第２の動画データを除いた残りの第３の動画データ（例えば、240-60fps動画データ）とに分離し、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、
前記相関が高い位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データを、前記第２の動画データを用いて、前記第３の動画データに復元する第１の復元ステップ（例えば、図１１１のステップＳ３０２）と、
前記第２と第３の動画データを合成し、前記第１の動画データを復元する第２の復元ステップ（例えば、図１１１のステップＳ３０３）と
を含み、
前記第１の復元ステップは、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップ（例えば、図１１６のステップＳ３５１や、図１１７のステップＳ３６１）と、
前記検出ステップで検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップ（例えば、図１１６のステップＳ３５２や、図１１７のＳ３６２）と、
前記ブロックの推測値と、前記圧縮データとを用いて、前記第３の動画データをブロック単位で復元するブロック復元ステップ（例えば、図１１６のステップＳ３５３や、図１１７のステップＳ３６３）と
を含む
ことを特徴とする。
【００４９】
請求項２３に記載のプログラムおよび請求項２５に記載のプログラム記録媒体に記録されているプログラムは、
動画データの処理を、コンピュータに実行させるプログラムにおいて、
第１の動画データ（例えば、240fps動画データ）を、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データ（例えば、60fps動画データ）と、前記第１の動画データから第２の動画データを除いた残りの第３の動画データ（例えば、240-60fps動画データ）とに分離し、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出し、
前記相関が高い位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データを、前記第２の動画データを用いて、前記第３の動画データに復元する第１の復元ステップ（例えば、図１１１のステップＳ３０２）と、
前記第２と第３の動画データを合成し、前記第１の動画データを復元する第２の復元ステップ（例えば、図１１１のステップＳ３０３）と
を含み、
前記第１の復元ステップは、
前記第２の動画データの複数フレームにおいて、相関が高い位置関係を検出する検出ステップ（例えば、図１１６のステップＳ３５１や、図１１７のステップＳ３６１）と、
前記検出ステップで検出された前記位置関係にある、前記第２の動画データの複数フレームの画像データから、前記第３の動画データのフレームをブロック分割して得られるブロックの推測値を求める推測ステップ（例えば、図１１６のステップＳ３５２や、図１１７のＳ３６２）と、
前記ブロックの推測値と、前記圧縮データとを用いて、前記第３の動画データをブロック単位で復元するブロック復元ステップ（例えば、図１１６のステップＳ３５３や、図１１７のステップＳ３６３）と
を含む
ことを特徴とする。
【００５０】
請求項２７に記載の画像処理装置は、
動画データを処理する画像処理装置（例えば、図７９の送信装置１）において、
第１の動画データ（例えば、240fps動画データ）を、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データ（例えば、60fps動画データ）と、前記第１の動画データから第２の動画データを除いた残りの第３の動画データ（例えば、240-60fps動画データ）とに分離する分離手段（例えば、図７９の分離回路２１３）と、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する検出手段（例えば、図９６の相関最大位置検出部２７４）と、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求める推測手段（例えば、図９６の平均値計算部２７５）と、
前記ブロックの推測値を用いて、前記第３の動画データをブロック単位で圧縮する圧縮手段（例えば、図９６の減算部２７６）と
を備えることを特徴とする。
【００５１】
請求項３０に記載の画像処理装置は、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、前記第１の動画データの主成分の方向である主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、前記第１の動画データをフィルタリングするフィルタ手段（例えば、図７９の帯域制限フィルタ部２１２）をさらに備え、
前記分離手段は、前記フィルタ手段によるフィルタリング後の前記第１の動画データを、前記第２と第３の動画データに分離する
ことを特徴とする。
【００５２】
請求項３１に記載の画像処理方法は、
動画データを処理する画像処理方法において、
第１の動画データ（例えば、240fps動画データ）を、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データ（例えば、60fps動画データ）と、前記第１の動画データから第２の動画データを除いた残りの第３の動画データ（例えば、240-60fps動画データ）とに分離する分離ステップ（例えば、図１０８のステップＳ２８２）と、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する検出ステップ（例えば、図９７のステップＳ２２２）と、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求める推測ステップ（例えば、図９７のステップＳ２２３）と、
前記ブロックの推測値を用いて、前記第３の動画データをブロック単位で圧縮する圧縮ステップ（例えば、図９７のステップＳ２２４）と
を含むことを特徴とする。
【００５３】
請求項３２に記載のプログラム、および請求項３３に記載のプログラム記録媒体に記録されているプログラムは、
動画データの処理を、コンピュータに実行させるプログラムにおいて、
第１の動画データ（例えば、240fps動画データ）を、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データ（例えば、60fps動画データ）と、前記第１の動画データから第２の動画データを除いた残りの第３の動画データ（例えば、240-60fps動画データ）とに分離する分離ステップ（例えば、図１０８のステップＳ２８２）と、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出する検出ステップ（例えば、図９７のステップＳ２２２）と、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求める推測ステップ（例えば、図９７のステップＳ２２３）と、
前記ブロックの推測値を用いて、前記第３の動画データをブロック単位で圧縮する圧縮ステップ（例えば、図９７のステップＳ２２４）と
を含むことを特徴とする。
【００５４】
請求項３６に記載の画像処理装置は、
動画データを処理する画像処理装置（例えば、図１１０の受信装置２）において、
第１の動画データ（例えば、240fps動画データ）を、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データ（例えば、60fps動画データ）と、前記第１の動画データから第２の動画データを除いた残りの第３の動画データ（例えば、240-60fps動画データ）とに分離し、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データを、前記第２の動画データを用いて、前記第３の動画データに復元する第１の復元手段（例えば、図１１０の差分情報復元部３６４）と、
前記第２と第３の動画データを合成し、前記第１の動画データを復元する第２の復元手段（例えば、図１１０の合成部３６５）と
を備え、
前記第１の復元手段は、
前記１つの動きベクトルから、前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を求める検出手段（例えば、図１１３の相関最大位置検出部３７７）と、
前記ブロックとの位置関係が前記１つの動きベクトルから求められた位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求める推測手段（例えば、図１１３の推測部３７８）と、
前記ブロックの推測値と、前記圧縮データとを用いて、前記ブロックを復元するブロック復元手段（例えば、図１１３の加算部３７９）と
を有する
ことを特徴とする。
【００５５】
請求項３７に記載の画像処理方法は、
動画データを処理する画像処理方法において、
第１の動画データ（例えば、240fps動画データ）を、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データ（例えば、60fps動画データ）と、前記第１の動画データから第２の動画データを除いた残りの第３の動画データ（例えば、240-60fps動画データ）とに分離し、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データを、前記第２の動画データを用いて、前記第３の動画データに復元する第１の復元ステップ（例えば、図１１１のステップＳ３０２）と、
前記第２と第３の動画データを合成し、前記第１の動画データを復元する第２の復元ステップ（例えば、図１１１のステップＳ３０３）と
を含み、
前記第１の復元ステップは、
前記１つの動きベクトルから、前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を求める検出ステップ（例えば、図１１７のステップＳ３６１）と、
前記ブロックとの位置関係が前記１つの動きベクトルから求められた位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求める推測ステップ（例えば、図１１７のステップＳ３６２）と、
前記ブロックの推測値と、前記圧縮データとを用いて、前記ブロックを復元するブロック復元ステップ（例えば、図１１７のステップＳ３６３）と
を含む
ことを特徴とする。
【００５６】
請求項３８に記載のプログラム、および請求項３９に記載のプログラム記録媒体に記録されているプログラムは、
動画データの処理を、コンピュータに実行させるプログラムにおいて、
第１の動画データ（例えば、240fps動画データ）を、その第１の動画データのフレームレートよりも低いフレームレートの第２の動画データ（例えば、60fps動画データ）と、前記第１の動画データから第２の動画データを除いた残りの第３の動画データ（例えば、240-60fps動画データ）とに分離し、
前記第３の動画データのフレームをブロック分割して得られるブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を表す１つの動きベクトルを検出し、
前記ブロックとの位置関係が前記１つの動きベクトルから求められる位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求め、
前記ブロックの推測値を用いて、前記ブロックを圧縮する
ことにより得られる圧縮データを、前記第２の動画データを用いて、前記第３の動画データに復元する第１の復元ステップ（例えば、図１１１のステップＳ３０２）と、
前記第２と第３の動画データを合成し、前記第１の動画データを復元する第２の復元ステップ（例えば、図１１１のステップＳ３０３）と
を含み、
前記第１の復元ステップは、
前記１つの動きベクトルから、前記ブロックについて、前記第２の動画データの複数フレームにおいて前記ブロックとの相関が高い位置関係を求める検出ステップ（例えば、図１１７のステップＳ３６１）と、
前記ブロックとの位置関係が前記１つの動きベクトルから求められた位置関係にある、前記第２の動画データの複数フレームの画像データから、前記ブロックの推測値を求める推測ステップ（例えば、図１１７のステップＳ３６２）と、
前記ブロックの推測値と、前記圧縮データとを用いて、前記ブロックを復元するブロック復元ステップ（例えば、図１１７のステップＳ３６３）と
を含む
ことを特徴とする。
【００５７】
次に、本発明の実施の形態について説明する前に、動画について、理論的な事柄を述べておく。
【００５８】
図１は、２次元平面（ｘ，ｙ）に時間方向（ｔ）を加えた３次元空間における動画データを示している。
【００５９】
図１において、画像P101は、ある時刻（フレーム）の画像であり、画像P102は、その次の時刻の画像であり、画像P103は、さらにその次の時刻の画像である。画像P104は、さらにその次の時刻の画像である。図示を省略したが、画像P101の前の時刻と、画像P104の後の時刻にも、画像が存在する。
【００６０】
図１では、画像P101乃至P104には、時間の経過とともに、y方向に移動する物体（被写体）が写っている。
【００６１】
以上のような動画（動画データ）を、人間が見た場合、動画のフレームレートが、あるフレームレート以上であるときには、動画の隣接する２つのフレーム（の画像）の違いを認識することは出来ない。実際に被験者に視覚実験を行った結果、人間が、隣接する２つのフレーム（の画像）の違いを認識することができないフレームレートは、240fps程度以上であることが分かっている。
【００６２】
ここで、隣接する２つのフレームどうしの間の時間（フレーム周期）を、t0と表すこととすると、フレームレートは、１／t0と表すことができる。
【００６３】
なお、以下では、フレーム周期t0は、１／２４０秒程度として説明を行うが、フレーム周期t0は、１／２４０秒程度でなくても良く、例えば、１／１２０秒程度であっても良い。但し、フレーム周期t0が、例えば、１／１２０秒のように、人間が、隣接する２つのフレーム（の画像）の違いを認識することができないフレーム周期（１／２４０秒程度）より長い場合には、後述する表示装置３（図２４）で表示される動画について、その画質の劣化が、多少、知覚される。
【００６４】
次に、人間の空間方向の認識能力、即ち、近接した２つの点を１つの点ではなく２つの点であると認識（知覚）することができる限界の距離を、r0と表す。
【００６５】
この場合、人間の視覚によって認識（知覚）することができる動画の範囲は、図２のように表すことができる。
【００６６】
即ち、図２は、時間t方向の周波数軸Tと空間方向x,yの周波数軸X,Yとで定義される周波数ドメインを示している。
【００６７】
なお、図が煩雑になるのを避けるため、図２では、空間方向xの周波数軸Xと空間方向yの周波数軸Yとを、１軸で表してある。即ち、図２では、左から右方向に、周波数軸XとYをとってある。また、図２では、上から下方向に、周波数軸Tをとってある。さらに、図２では、周波数軸T（縦方向）は、２π／（４t0）単位で区切ってあり、周波数軸X,Y方向（横方向）は、２π／r0単位で区切ってある。
【００６８】
ここで、周波数ドメインの、後述する他の図も、図２と同様になっている。
【００６９】
人間は、図２に示す、横が２×２π／（２r0）で、縦が２×２π／（２r0）の、原点を中心とする領域R201の範囲外にある高周波数成分を認識することができない。そこで、すべての動画データは、領域R201内に存在することとして、以下、説明を行う。
【００７０】
なお、図２では、領域R201を、長方形状の領域として図示してあるが、領域R201は、実際には、直方体状の領域である。即ち、領域R201は、X方向が、−（π／r0）乃至＋（π／r0）で、Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域である。
【００７１】
次に、動画の各部分のデータの周波数ドメイン上の位置（分布）について説明する。
【００７２】
動画において、ある部分では、そこに投影されている被写体は静止しており、別の部分では、そこに投影されている被写体は動いている。
【００７３】
まず、静止している動画の部分（静止している被写体が投影されている動画の部分）は、時間方向に対して変化しない。
【００７４】
図３は、そのような静止している動画の部分のデータが分布する周波数ドメイン上の領域R301を示している。
【００７５】
領域R301は、X,Y方向が、−２π／（２r0）乃至＋２π／（２r0）で、T方向が−２π／（４t0）乃至＋２π／（４t0）の領域になっている。
【００７６】
なお、動画において完全に静止している部分のデータであれば、T=0であるが、つまり、領域R301はT方向の幅が０であるが、ここでは、被写体が多少動いている場合も考慮して、領域R301は、T方向の幅が０ではなく、２π／（２t0）になっている。また、X,Y方向が、−２π／（２r0）乃至＋２π／（２r0）の範囲に制限されるのは、図２で説明したように、動画データの周波数成分は、X,Y方向については、−２π／（２r0）乃至＋２π／（２r0）の範囲を超える範囲（図２の領域R201の範囲外）には、存在しないからである。
【００７７】
ここで、周波数ドメインにおいて、静止している部分のデータは、T=0の直線（平面）の方向に分布するから、この方向は、静止している部分のデータの主成分（例えば、第１主成分）の方向である。
【００７８】
次に、図４は、動画に投影されている被写体が速度（r0／t0）／２程度で動いている部分のデータが分布する周波数ドメイン上の領域R401を示している。
【００７９】
ここで、以下、適宜、説明を簡単にするために、周波数ドメイン上の点を、X,Y方向の座標Aと、T方向の座標Bとの２つだけを用いて、(A,B)と表す。
【００８０】
領域R401は、原点(0,0)から点（π／r0，-π／(2t0)）の方向に延びる領域であって、T方向に2π／(2t0)の幅を有する領域になっている。
【００８１】
なお、被写体が変形することなく、速度（r0／t0）／２で正確に等速直線運動していれば、領域R401は、T方向の幅が０となるが、ここでは、被写体の多少の変形や、移動速度が（r0／t0）／２から多少ぶれること等を考慮して、T方向の幅が０ではなく、2π／(2t0)になっている。
【００８２】
また、領域R401は、X,Y方向が、−２π／（２r0）乃至＋２π／（２r0）の範囲に制限されているが、これは、領域R301のX,Y方向の範囲が制限されているのと同一の理由による。
【００８３】
ここで、動画に投影されている被写体が速度（r0／t0）／２程度で動いている部分のデータが、原点(0,0)から点（π／r0，-π／(2t0)）の方向上に分布するのは、次の理由による。
【００８４】
即ち、図５の波形R501は、ある時刻t1における被写体の空間方向xの分布を示している。
【００８５】
被写体が、例えば、速度（r0／t0）／２で、例えば、空間方向xに移動しているとき、その移動している被写体は、波形R501，R502，R503，R504，R505，R506，・・・で表すことができる。
【００８６】
ここで、波形R501は、ある時刻（フレーム）t1における被写体を表している。波形R502は、波形R501の時刻t1の次の時刻（フレーム）t1+t0における被写体を表しており、波形R501の位置から、r0／２だけ、x方向に移動している。以下、同様に、波形R503，R504，R505，R506は、それぞれ、時刻t1+2t0，t1+3t0，t1+4t0，t1+5t0における被写体を表している。
【００８７】
図５における波形を空間位置xと時間tの関数と考え、この波形をFunc(x,t)と定義する。図５の波形R501，R502，R503，R504，R505，R506，・・・から明らかなように、Func(x,t)=Func(x-(（r0／t0）／２)×t,０)という関係がある。
【００８８】
さて、xとtという２つの変数による関数Funcを２次元フーリエ変換した周波数ドメイン上のデータを(X,T)とすると、この(X,T)の成分は、フーリエ変換の定義から明らかなように、空間方向xの周期がXであり、時間方向tの周期がTである成分を表している。
【００８９】
Func(x,t)=Func(x-(（r0／t0）／２)×t,０)という関係より、(X,T)は、２次元ベクトル(r0／２, t0)に直交することが言える。
【００９０】
今、図５を用いて説明したが、実際には、空間方向は２次元であり、時間軸も加えると３次元となり、３次元フーリエ変換を考えないといけない。そこで、図６を用いて再度説明する。図６では、図１と同様に、３次元上での説明を行うための図である。
【００９１】
図６の２次元空間(x,y)上の波形R601は、ある時刻t1における被写体の空間方向(x,y)の分布を示している。
【００９２】
被写体が、例えば、速度（r0／t0）／２で、移動しているとき、その移動している被写体は、波形R601，R602，R603，R604，・・・で表すことができる。なお、r0は、図５の説明とは違い、２次元空間(x,y)上の２次元ベクトルである。
【００９３】
ここで、波形R601は、ある時刻（フレーム）t1における被写体を表している。波形R602は、波形R601の時刻t1の次の時刻（フレーム）t1+t0における被写体を表しており、波形R601の位置から、r0／２だけ移動している。以下、同様に、波形R603，R604は、それぞれ、時刻t1+2t0，t1+3t0における被写体を表している。
【００９４】
図６における波形を空間位置(x,y)と時間tの関数と考え、この波形をFunc((x,y),t)と定義する。図６の波形R601，R602，R603，R604，・・・から明らかなように、Func((x,y),t)=Func((x,y)-(（r0／t0）／２)×t,０)という関係がある。
【００９５】
さて、xとyとtという３つの変数による関数Funcを３次元フーリエ変換した周波数ドメイン上のデータを(X,Y,T)とすると、この(X,Y,T)の成分は、フーリエ変換の定義から明らかなように、空間方向xの周期がXであり、空間方向yの周期がYであり、時間方向tの周期がTである成分を表している。
【００９６】
Func((x,y),t)=Func((x,y)-(（r0／t0）／２)×t,０)という関係より、(X,Y,T)は、３次元ベクトル(r0／２, t0)に直交することが言える。
【００９７】
図５および図６に示したように、(X,T)あるいは(X,Y,T)は、ベクトル(r0／２, t0)に直交するので、例えば、図７に示すように、周波数ドメイン上の点（２π／（２r0），−２π／（4t0））（図７において○印で示す位置）にデータが存在したり、点（２π／（４r0），−２π／（8t0））（図７において△印で示す位置）上にデータが存在する。
【００９８】
即ち、速度（r0／t0）／２で移動している波形は、いずれも原点(0,0)と点（π／r0，-π／(2t0)）とを通る直線（平面）R701上に分布する。
【００９９】
速度（r0／t0）／２で動いている部分の、他の周波数成分Xのデータ（波形）も、同様に、直線R701上に分布する。
【０１００】
速度（r0／t0）／２で動いている部分は、時間がt0だけ進むと、r0／２だけ空間方向の位置がずれるので、上述のように、周波数ドメイン上において、原点(0,0)と点（π／r0，-π／(2t0)）とを通る直線R701上に分布する。
【０１０１】
なお、周波数ドメインにおいて、速度（r0／t0）／２で動いている部分のデータは、直線（平面）R701の方向（π／r0，-π／(2t0)）に分布するから、この方向（π／r0，-π／(2t0)）は、速度（r0／t0）／２で動いている部分のデータの主成分の方向である。
【０１０２】
次に、図８は、動画に投影されている被写体が速度r0／t0程度で動いている部分のデータが分布する周波数ドメイン上の領域R801を示している。
【０１０３】
領域R801は、原点(0,0)から点（π／r0，-π／t0）の方向に延びる領域であって、T方向に2π／(2t0)の幅を有する領域になっている。
【０１０４】
即ち、速度r0／t0で動いている部分は、時間がt0だけ進むと、r0だけ空間方向の位置がずれるので、周波数ドメイン上において、原点(0,0)と点（π／r0，-π／t0）とを通る直線上に分布する。
【０１０５】
なお、被写体が変形することなく、速度r0／t0で正確に等速直線運動していれば、領域R801は、T方向の幅が０となるが、ここでは、被写体の多少の変形や、移動速度がr0／t0から多少ぶれること等を考慮して、T方向の幅が０ではなく、2π／(2t0)になっている。
【０１０６】
また、領域R801は、X,Y方向が、−２π／（２r0）乃至＋２π／（２r0）の範囲に制限されているが、これは、図３の領域R301のX,Y方向の範囲が制限されているのと同一の理由による。
【０１０７】
さらに、領域R801は、T方向が、−２π／（２t0）乃至＋２π／（２t0）の範囲に制限されているが、これは、図２で説明したように、動画データの周波数成分は、T方向については、−２π／（２t0）乃至＋２π／（２t0）の範囲を超える範囲（図２の領域R201の範囲外）には、存在しないからである。
【０１０８】
ここで、周波数ドメインにおいて、速度r0／t0で動いている部分のデータは、原点(0,0)と、点（π／r0，-π／t0）とを通る直線の方向（π／r0，-π／t0）に分布するから、この方向（π／r0，-π／t0）は、速度r0／t0で動いている部分のデータの主成分の方向である。
【０１０９】
次に、図９は、動画に投影されている被写体が速度2r0／t0程度で動いている部分のデータが分布する周波数ドメイン上の領域R901を示している。
【０１１０】
領域R901は、原点(0,0)から点（π／r0，-2π／t0）の方向に延びる領域であって、T方向に2π／(2t0)の幅を有する領域になっている。
【０１１１】
即ち、速度2r0／t0で動いている部分は、時間がt0だけ進むと、2r0だけ空間方向の位置がずれるので、周波数ドメイン上において、原点(0,0)と点（π／r0，-2π／t0）とを通る直線上に分布する。
【０１１２】
なお、被写体が変形することなく、速度2r0／t0で正確に等速直線運動していれば、領域R901は、T方向の幅が０となるが、ここでは、被写体の多少の変形や、移動速度がr0／t0から多少ぶれること等を考慮して、T方向の幅が０ではなく、2π／(2t0)になっている。
【０１１３】
また、領域R901は、T方向が、−２π／（２t0）乃至＋２π／（２t0）の範囲に制限されているが、これは、図２で説明したように、動画データの周波数成分は、T方向については、−２π／（２t0）乃至＋２π／（２t0）の範囲を超える範囲（図２の領域R201の範囲外）には、存在しないからである。
【０１１４】
ここで、周波数ドメインにおいて、速度2r0／t0で動いている部分のデータは、原点(0,0)と、点（π／r0，-2π／t0）とを通る直線の方向（π／r0，-2π／t0）に分布するから、この方向（π／r0，-2π／t0）は、速度2r0／t0で動いている部分のデータの主成分の方向である。
【０１１５】
以上、被写体が静止している場合と、被写体が速度(r0／t0)／2，r0／t0，2r0／t0程度で移動している場合それぞれについて、そのような被写体が投影されている動画の部分のデータの、周波数ドメイン上の分布について説明したが、他の速度で移動している部分のデータも、周波数ドメインにおいて、同様に分布する。
【０１１６】
次に、人間の視覚効果について説明する。
【０１１７】
人間の目は、物体から発せられる光を時間方向に積分して認識している。この人間の目における積分機能（視覚の積分機能）は、ブロックの法則（Bloch’s Law）と言われている。人間の目における光の積分時間は、環境によって異なるが、大体１／６０秒程度である。
【０１１８】
ここで、t0を、上述のように、１／２４０秒程度とすると、人間の目における光の積分時間は、４×t0秒と表すことができる。
【０１１９】
動画の中で静止している被写体が投影されている部分を、人間が視線を動かさずに注視して認識する画像は、視覚の積分機能により、静止している部分のデータを、時間方向に、「４×t0」秒程度のローパスフィルタでフィルタリングして得られる画像と等価である。
【０１２０】
このローパスフィルタの通過帯域は、周波数ドメイン上において、図１０に示す領域R1001として表すことができる。
【０１２１】
図１０の領域R1001は、X,Y方向の範囲が、図２の領域R201と同一の−２π／（２r0）乃至＋２π／（２r0）であり、T方向の範囲が、-(2π/(4t0))/2乃至(2π/(4t0))/2の領域である。この領域R1001のT方向の幅は、2π/(4t0)であるが、これが、4t0の時間の積分を表す。
【０１２２】
動画の静止している部分のデータは、図３に示したように、領域R301内に存在するが、人間は、その領域R301のうちの、領域R1001内の情報（データ）しか認識することができない。従って、領域R301のうちの、領域R1001外の情報は、人間にとって無駄な情報である。
【０１２３】
次に、動画の中で、そこに投影されている被写体が速度「（r0／t0）／２」程度で動いている部分を、人間が、その被写体が移動する方向に視線を動かしながら注視して認識する画像、即ち、人間が追従視により認識する画像は、視覚の積分機能により、速度「（r0／t0）／２」程度で動いている部分のデータを、時間方向に、「４×t0」秒程度のローパスフィルタでフィルタリングして得られる画像と等価である。
【０１２４】
但し、いまの場合の追従視では、時間の経過とともに、注視点が速度「（r0／t0）／２」程度で移動するので、ローパスフィルタの通過帯域は、周波数ドメイン上において、図１１に示す領域R1101として表すことができる。
【０１２５】
図１１の領域R1101は、図４の領域R401と同様に、原点(0,0)から点（π／r0，-π／(2t0)）の方向に延びる領域である。さらに、領域R1101は、T方向に2π／(4t0)の幅を有する領域であり、これが、4t0の時間の積分を表す。なお、領域R1101は、図２に示した、動画データが存在する領域R201内に制限されている。
【０１２６】
速度「（r0／t0）／２」程度で移動している部分のデータは、図４に示したように、領域R401内に存在するが、人間は、その領域R401のうちの、領域R1101内の情報しか認識することができない。従って、領域R401のうちの、領域R1101外の情報は、人間にとって無駄な情報である。
【０１２７】
次に、動画の中で、そこに投影されている被写体が速度「r0／t0」程度で動いている部分を、人間が追従視を行うことにより認識する画像は、やはり、視覚の積分機能により、速度「r0／t0」程度で動いている部分のデータを、時間方向に、「４×t0」秒程度のローパスフィルタでフィルタリングして得られる画像と等価である。
【０１２８】
但し、いまの場合の追従視では、時間の経過とともに、注視点が速度「r0／t0」程度で移動するので、ローパスフィルタの通過帯域は、周波数ドメイン上において、図１２に示す領域R1201として表すことができる。
【０１２９】
図１２の領域R1201は、図８の領域R801と同様に、原点(0,0)から点（π／r0，-π／t0）の方向に延びる領域である。さらに、領域R1201は、T方向に2π／(4t0)の幅を有する領域であり、これが、4t0の時間の積分を表す。なお、領域R1201は、図２に示した、動画データが存在する領域R201内に制限されている。
【０１３０】
速度「r0／t0」程度で移動している部分のデータは、図８に示したように、領域R801内に存在するが、人間は、その領域R801のうちの、領域R1201内の情報しか認識することができない。従って、領域R801のうちの、領域R1201外の情報は、人間にとって無駄な情報である。
【０１３１】
次に、動画の中で、そこに投影されている被写体が速度「2r0／t0」程度で動いている部分を、人間が追従視を行うことにより認識する画像は、やはり、視覚の積分機能により、速度「2r0／t0」程度で動いている部分のデータを、時間方向に、「４×t0」秒程度のローパスフィルタでフィルタリングして得られる画像と等価である。
【０１３２】
但し、いまの場合の追従視では、時間の経過とともに、注視点が速度「2r0／t0」程度で移動するので、ローパスフィルタの通過帯域は、周波数ドメイン上において、図１３に示す領域R1301として表すことができる。
【０１３３】
図１３の領域R1301は、図９の領域R901と同様に、原点(0,0)から点（π／r0，-2π／t0）の方向に延びる領域である。さらに、領域R1301は、T方向に2π／(4t0)の幅を有する領域であり、これが、4t0の時間の積分を表す。なお、領域R1301は、図２に示した、動画データが存在する領域R201内に制限されている。
【０１３４】
速度「2r0／t0」程度で移動している部分のデータは、図９に示したように、領域R901内に存在するが、人間は、その領域R901のうちの、領域R1301内の情報しか認識することができない。従って、領域R901のうちの、領域R1301外の情報は、人間にとって無駄な情報である。
【０１３５】
次に、人間が固定視を行う場合について説明する。ここで、固定視とは、追従視とは違い、被写体の移動とは別の視線移動をする場合で、例えば、人間が視線を動かさないで（見ている方向を常に一定に保って）、動画を見る場合が該当する。
【０１３６】
動画の中で、そこに投影されている被写体が速度「（r0／t0）／２」程度で動いている部分を、人間が固定視することにより認識する画像は、視覚の積分機能により、速度「（r0／t0）／２」程度で動いている部分のデータを、時間方向に、「４×t0」秒程度のローパスフィルタでフィルタリングして得られる画像と等価である。
【０１３７】
このローパスフィルタの通過帯域は、周波数ドメイン上において、静止している部分を注視する場合と同一の領域、即ち、図１０の領域R1001で表すことができる。
【０１３８】
ここで、図１４は、周波数ドメインにおいて、速度「（r0／t0）／２」程度で動いている部分のデータが分布する領域R401（図４）と、人間が固定視を行う場合のローパスフィルタの通過帯域としての領域R1001（図１０）とを示している。
【０１３９】
人間は、領域R401のうちの、領域R1001内の情報、つまり、領域R401とR1001とが重複する部分の領域R1401内の情報しか認識することができない。従って、領域R401のうちの、領域R1001外の情報は、人間にとって無駄な情報である。
【０１４０】
なお、図１４において、人間が固定視を行う場合のローパスフィルタの通過帯域としての領域R1001には、動画データが存在する領域R401とは重複しない部分の領域R1402とR1403（図中斜線を付して示す）が存在するが、いまの場合、この領域R1402とR1403には、動画データは存在しない。
【０１４１】
また、上述のように、速度「（r0／t0）／２」程度で動いている部分を、人間が固定視する場合には、人間の視線方向は、動被写体（動いている被写体）の動きとは別の動きをしているので、多少ぼけた画像であっても良好な動画として認識される。
【０１４２】
従って、図１４の領域R1401内のデータを、注視点が速度「（r0／t0）／２」程度で移動する場合のローパスフィルタ、即ち、図１１の領域R1101を通過帯域として有するローパスフィルタでフィルタリングしても、良好な画質の動画として認識される。
【０１４３】
以上から、図１５に示すように、領域R1401のうちの、領域R1101と重複する部分の領域R1501（図中黒色で塗りつぶして示す）内のデータがあれば、速度「（r0／t0）／２」程度で動いている部分は、良好な画質の動画として認識される。
【０１４４】
従って、動画において、速度「（r0／t0）／２」程度で動いている部分を、人間が固定視する場合には、その部分のデータ、即ち、領域R401内のデータから、固定視が行われている場合のローパスフィルタの通過帯域としての領域R1001と、注視点が速度「（r0／t0）／２」程度で移動する場合のローパスフィルタの通過帯域としての領域R1101との重複部分の領域R1501を除いた領域のデータは、無駄である（なくても、人間が認識する画質に、ほとんど影響しない）。
【０１４５】
次に、動画の中で、そこに投影されている被写体が速度「r0／t0」程度で動いている部分を、人間が固定視することにより認識する画像は、視覚の積分機能により、速度「r0／t0」程度で動いている部分のデータを、時間方向に、「４×t0」秒程度のローパスフィルタでフィルタリングして得られる画像と等価である。
【０１４６】
このローパスフィルタの通過帯域は、周波数ドメイン上において、静止している部分を注視する場合と同一の領域、即ち、図１０の領域R1001で表すことができる。
【０１４７】
ここで、図１６は、周波数ドメインにおいて、速度「r0／t0」程度で動いている部分のデータが分布する領域R801（図８）と、人間が固定視を行う場合のローパスフィルタの通過帯域としての領域R1001（図１０）とを示している。
【０１４８】
人間は、領域R801のうちの、領域R1001内の情報、つまり、領域R801とR1001とが重複する部分の領域R1601内の情報しか認識することができない。従って、領域R801のうちの、領域R1001外の情報は、人間にとって無駄な情報である。
【０１４９】
なお、図１６において、人間が固定視を行う場合のローパスフィルタの通過帯域としての領域R1001には、動画データが存在する領域R801とは重複しない部分の領域R1602とR1603（図中斜線を付して示す）が存在するが、いまの場合、この領域R1602とR1603には、動画データは存在しない。
【０１５０】
また、上述のように、速度「r0／t0」程度で動いている部分を、人間が固定視する場合には、人間の視線方向は、動被写体（動いている被写体）の動きとは別の動きをしているので、多少ぼけた画像であっても良好な動画として認識される。
【０１５１】
従って、図１６の領域R1601内のデータを、注視点が速度「r0／t0」程度で移動する場合のローパスフィルタ、即ち、図１２の領域R1201を通過帯域として有するローパスフィルタでフィルタリングしても、良好な画質の動画として認識される。
【０１５２】
以上から、図１７に示すように、領域R1601のうちの、領域R1201と重複する部分の領域R1701（図中黒色で塗りつぶして示す）内のデータがあれば、速度「r0／t0」程度で動いている部分は、良好な画質の動画として認識される。
【０１５３】
従って、動画において、速度「r0／t0」程度で動いている部分を、人間が固定視する場合には、その部分のデータ、即ち、領域R801内のデータから、固定視が行われている場合のローパスフィルタの通過帯域としての領域R1001と、注視点が速度「r0／t0」程度で移動する場合のローパスフィルタの通過帯域としての領域R1201との重複部分の領域R1701を除いた領域のデータは、無駄である。
【０１５４】
次に、動画の中で、そこに投影されている被写体が速度「2r0／t0」程度で動いている部分を、人間が固定視することにより認識する画像は、視覚の積分機能により、速度「r0／t0」程度で動いている部分のデータを、時間方向に、「４×t0」秒程度のローパスフィルタでフィルタリングして得られる画像と等価である。
【０１５５】
このローパスフィルタの通過帯域は、周波数ドメイン上において、静止している部分を注視する場合と同一の領域、即ち、図１０の領域R1001で表すことができる。
【０１５６】
ここで、図１８は、周波数ドメインにおいて、速度「2r0／t0」程度で動いている部分のデータが分布する領域R901（図９）と、人間が固定視を行う場合のローパスフィルタの通過帯域としての領域R1001（図１０）とを示している。
【０１５７】
人間は、領域R901のうちの、領域R1001内の情報、つまり、領域R901とR1001とが重複する部分の領域R1801内の情報しか認識することができない。従って、領域R901のうちの、領域R1001外の情報は、人間にとって無駄な情報である。
【０１５８】
なお、図１８において、人間が固定視を行う場合のローパスフィルタの通過帯域としての領域R1001には、動画データが存在する領域R901とは重複しない部分の領域R1802とR1803（図中斜線を付して示す）が存在するが、いまの場合、この領域R1802とR1803には、動画データは存在しない。
【０１５９】
また、上述のように、速度「2r0／t0」程度で動いている部分を、人間が固定視する場合には、人間の視線方向は、動被写体（動いている被写体）の動きとは別の動きをしているので、多少ぼけた画像であっても良好な動画として認識される。
【０１６０】
従って、図１８の領域R1801内のデータを、注視点が速度「2r0／t0」程度で移動する場合のローパスフィルタ、即ち、図１３の領域R1301を通過帯域として有するローパスフィルタでフィルタリングしても、良好な画質の動画として認識される。
【０１６１】
以上から、図１９に示すように、領域R1801のうちの、領域R1301と重複する部分の領域R1901（図中黒色で塗りつぶして示す）内のデータがあれば、速度「2r0／t0」程度で動いている部分は、良好な画質の動画として認識される。
【０１６２】
従って、動画において、速度「2r0／t0」程度で動いている部分を、人間が固定視する場合には、その部分のデータ、即ち、領域R901内のデータから、固定視が行われている場合のローパスフィルタの通過帯域としての領域R1001と、注視点が速度「2r0／t0」程度で移動する場合のローパスフィルタの通過帯域としての領域R1301との重複部分の領域R1901を除いた領域のデータは、無駄である。
【０１６３】
以上の固定視と追従視の場合の、人間が認識することができる周波数ドメイン上の範囲（領域）についてまとめると、図２０乃至図２３に示すようになる。
【０１６４】
即ち、図２０は、動画の中で静止している物体（被写体）が投影されている部分について、人間が認識することができるデータが存在する領域を示している。
【０１６５】
動画の中で静止している物体が投影されている部分について、人間が認識することができるデータの周波数ドメイン上の領域は、図２０に示すように、図１０に示した領域R1001であり、領域R1001以外にあるデータは、無駄である。
【０１６６】
次に、図２１は、動画の中で、そこに投影されている被写体が速度「（r0／t0）／２」程度で動いている部分について、人間が認識することができるデータが存在する領域を示している。
【０１６７】
動画の中で速度「（r0／t0）／２」程度で動いている部分について、人間が追従視で認識することができるデータの周波数ドメイン上の領域は、図１１に示した領域R1101である。さらに、固定視で認識することができるデータの周波数ドメイン上の領域は、図１５に示した領域R1501であり、この領域R1501は、図１１に示した領域R1101に含まれる。
【０１６８】
従って、速度「（r0／t0）／２」程度で動いている部分について、人間が認識することができるデータの周波数ドメイン上の領域は、図２１に示すように、図１１に示した領域R1101であり、領域R1101以外にあるデータは、無駄である。
【０１６９】
次に、図２２は、動画の中で、そこに投影されている被写体が速度「r0／t0」程度で動いている部分について、人間が認識することができるデータが存在する領域を示している。
【０１７０】
動画の中で速度「r0／t0」程度で動いている部分について、人間が追従視で認識することができるデータの周波数ドメイン上の領域は、図１２に示した領域R1201である。さらに、固定視で認識することができるデータの周波数ドメイン上の領域は、図１７に示した領域R1701であり、この領域R1701は、図１２に示した領域R1201に含まれる。
【０１７１】
従って、速度「r0／t0」程度で動いている部分について、人間が認識することができるデータの周波数ドメイン上の領域は、図２２に示すように、図１２に示した領域R1201であり、領域R1201以外にあるデータは、無駄である。
【０１７２】
次に、図２３は、動画の中で、そこに投影されている被写体が速度「2r0／t0」程度で動いている部分について、人間が認識することができるデータが存在する領域を示している。
【０１７３】
動画の中で速度「2r0／t0」程度で動いている部分について、人間が追従視で認識することができるデータの周波数ドメイン上の領域は、図１３に示した領域R1301である。さらに、固定視で認識することができるデータの周波数ドメイン上の領域は、図１９に示した領域R1901であり、この領域R1901は、図１３に示した領域R1301に含まれる。
【０１７４】
従って、速度「2r0／t0」程度で動いている部分について、人間が認識することができるデータの周波数ドメイン上の領域は、図２３に示すように、図１３に示した領域R1301であり、領域R1301以外にあるデータは、無駄である。
【０１７５】
ここで、上述の場合には、図２０の領域R1001、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301のT方向の幅を、2π/(4t0)としたが、この幅は、視覚の積分機能による積分の時間に相当する幅であればよく、2π/(4t0)に限定されるものではない。
【０１７６】
動画の中で、他の速度で動いている部分のデータについても、同様のことが言える。
【０１７７】
以上のように、人間の視覚効果（視覚特性）、即ち、視覚の積分機能を利用して、周波数ドメイン上において、動画データを、人間が認識することができる領域のデータと、それ以外の無駄なデータとに分類することができる。
【０１７８】
そして、周波数ドメイン上において、動画データから、人間が認識することができる領域のデータだけを抽出すれば、即ち、それ以外の無駄なデータを削除すれば、画質を劣化させずに（人間が動画を見たときに認識する画質）、動画データを圧縮することができる。
【０１７９】
そこで、図２４は、動画データを、視覚の積分機能を利用して圧縮し、さらに、そのように圧縮された動画データを復号（伸張）する画像処理システムの構成例を示している。
【０１８０】
図２４において、送信装置１には、例えば、1/t0=240fpsなどの高フレームレートの動画データが供給される。送信装置１は、そこに供給される動画データを、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301などを通過帯域とするフィルタ（帯域通過フィルタまたは帯域制限フィルタ）でフィルタリングし、その結果得られる、人間が認識することができる周波数ドメイン上の領域のデータを出力する。送信装置１が出力するデータは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどの記録媒体１１に記録され、あるいは、電話回線、地上波、衛星回線、インターネット、有線または無線LAN(Local Area Network)などの伝送媒体１２を介して伝送される。
【０１８１】
受信装置２には、記録媒体１１から再生されたデータ、あるいは、伝送媒体１２を介して伝送されてくるデータが供給される。受信装置２は、そこに供給されるデータを受信して、所定の処理を施し、その結果得られる動画データを、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などで構成される表示装置３に供給して表示させる。
【０１８２】
なお、図２４において、送信装置１、受信装置２、表示装置３は、それぞれ物理的に独立の装置として構成することができる。また、送信装置１および受信装置２は、図２４において点線で囲んで示すように、全体として、物理的に１つの装置として構成することができる。さらに、送信装置１、受信装置２、および表示装置３の全体や、受信装置２および表示装置３を、物理的に１つの装置として構成することもできる。
【０１８３】
次に、図２５は、図２４の送信装置１の第１の構成例を示している。
【０１８４】
バッファ部２１には、送信装置１に供給された高フレームレートの動画データが供給される。バッファ部２１は、そこに供給される動画データを順次記憶する。
【０１８５】
フィルタ部２２は、バッファ部２１に記憶された動画データを適宜読み出し、その動画データを、後述するフィルタ生成部２３から供給されるフィルタ情報にしたがってフィルタリングして、そのフィルタリングにより得られる動画データを、エンコード部２４に供給する。
【０１８６】
フィルタ生成部２３は、バッファ部２１に記憶された動画データを適宜読み出し、その動画データの各部分をフィルタリングするフィルタの情報であるフィルタ情報を生成して、フィルタ部２２に供給する。
【０１８７】
即ち、フィルタ生成部２３は、主成分方向取得部３１とフィルタ情報供給部３２とから構成される。
【０１８８】
主成分方向取得部３１は、バッファ部２１から読み出された動画データの各部分について、周波数ドメイン上での主成分の方向である主成分方向を取得し、その主成分方向の情報を、フィルタ情報供給部３２に供給する。
【０１８９】
フィルタ情報供給部３２は、主成分方向取得部３１からの主成分方向の情報にしたがい、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸Tの方向に特定の幅としての、例えば、2π/(4t0)を有する領域、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として決定し、その通過帯域を、フィルタ情報として、フィルタ部２２に出力する。
【０１９０】
エンコード部２４は、フィルタ部２２から供給される動画データを、例えば、MPEG(Moving Picture Experts Group)1や2などの所定のエンコード（符号化）方法によってエンコードし、その結果得られるエンコードデータを出力する。このエンコードデータが、図２４の記録媒体１１に記録され、あるいは伝送媒体１２を介して伝送される。
【０１９１】
次に、図２６のフローチャートを参照して、図２５の送信装置１の処理について説明する。
【０１９２】
バッファ部２１には、フレームレート1/t0が、例えば、240fpsの高フレームレートの動画データが供給されて順次記憶される。
【０１９３】
そして、ステップＳ１において、フィルタ生成部２３は、バッファ部２１に記憶された動画データを読み出して、自身（フィルタ生成部２３）に入力し、ステップＳ２に進む。
【０１９４】
ステップＳ２では、フィルタ生成部２３（の主成分方向取得部３１およびフィルタ情報供給部３２）が、ステップＳ１で入力された動画データの各部分について、周波数ドメイン上で人間が認識することができる領域、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として求め、その通過帯域をフィルタ情報として、フィルタ部２２に供給する、後述する図３１で説明する「必要な情報の通過帯域を求める処理」を行い、ステップＳ３に進む。
【０１９５】
ステップＳ３では、フィルタ部２２が、バッファ部２１から、ステップＳ２でフィルタ生成部２３から供給されたフィルタ情報のフィルタによるフィルタリングに用いるデータを読み出し、そのデータに対して、ステップＳ２でフィルタ生成部２３から供給されたフィルタ情報が表す通過帯域のフィルタを適用しながら、時間方向のサンプル数を1/4に間引くダウンサンプリングを行う。
【０１９６】
即ち、フィルタ部２２は、バッファ部２１から読み出したデータを、ステップＳ２でフィルタ生成部２３から供給されたフィルタ情報が表す通過帯域のフィルタでフィルタリングしながら、時間方向のサンプリング間隔、即ち、フレーム周期が、元の動画データの４倍である4t0の低フレームレートの動画データを得て、エンコード部２４に出力し、ステップＳ４に進む。
【０１９７】
ステップＳ４では、エンコード部２４が、フィルタ部２２からの動画データをエンコードし、その結果得られるエンコードを出力する。
【０１９８】
なお、ステップＳ１乃至Ｓ４の処理は、バッファ部２１に記憶された動画の各部分のデータすべてについて行われる。
【０１９９】
また、ステップＳ３におけるダウンサンプリングは、バッファ部２１に記憶された動画データの４フレームごとに、１フレームのフィルタリング結果を出力する処理である。従って、バッファ部２１に記憶された動画データの４フレームごとに、その４つのフレームのうちの１フレームついて、フィルタ生成部２３から供給されたフィルタ情報が表す通過帯域のフィルタによるフィルタリングを行えば良い。
【０２００】
以上のように、周波数ドメイン上で人間が認識することができる領域、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、通過帯域とするフィルタによって、動画データをフィルタリングし、さらに、ダウンサンプリングを行うようにしたので、人間の目の視覚効果を考慮した動画データの削減を行うことができる。
【０２０１】
即ち、人間が視覚によって認識することができる周波数ドメイン上の領域が、図２に示したように、X,Y方向が２×２π／（２r0）で、T方向が２×２π／（２t0）の、原点を中心とする領域R201であるとすると、人間が認識することができる最高の画質の動画は、フレームレートが１／t0で、空間方向の画素ピッチがr0の動画である。
【０２０２】
そして、図１０乃至図２３で説明した視覚効果を考慮しない場合には、例えば、動画を時間方向にダウンサンプリングすることにより、そのフレームレートを１／t0よりも低下させると、そのフレームレートが低下した動画を表示した場合に、その動画を見た人間は、画質の劣化を認識する。
【０２０３】
これに対して、送信装置１では、図１０乃至図２３で説明した視覚効果を考慮した処理、即ち、周波数ドメイン上で人間が認識することができる領域である、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、通過帯域とするフィルタによって、動画データをフィルタリングするので、動画のフレームレートを１／(4t0)に低下させても、即ち、動画データのデータ量を１／４に削減しても、人間が画質の劣化を感じない動画を表示することができる。
【０２０４】
即ち、図２７乃至図３０は、それぞれ、図２０の領域R1001、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、通過帯域とするフィルタによって、高フレームレートの動画（フレームレートが1/t0の動画）のデータをフィルタリングしながら、時間方向に1/4のダウンサンプリングを行って得られる低フレームレートの動画（フレームレートが1/(4t0)の動画）のデータの周波数ドメイン上の分布を示している。
【０２０５】
まず、動画の中の静止している部分のデータは、フィルタ部２２において、図２０の領域R1001を通過帯域とするフィルタによってフィルタリングされる。従って、フィルタリング後の動画データは、領域R1001内にのみ存在する。
【０２０６】
領域R1001内の動画データを、時間方向に1/4にダウンサンプリングすると、その動画データは、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては４×t0間隔でサンプリングされたデータとなる。
【０２０７】
このため、図２７に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0)間隔で、折り返し成分が生じる。
【０２０８】
但し、領域R1001は、図１０で説明したことから、X,Y方向が2π/r0で、T方向が2π/(4t0)の領域であるため、折り返し成分どうしは重ならない。
【０２０９】
なお、図２７において、影を付してある部分が、ダウンサンプリング後の動画データが存在する部分である。
【０２１０】
次に、動画の中で、そこに投影されている被写体が速度「（r0／t0）／２」程度で動いている部分のデータは、フィルタ部２２において、図２１の領域R1101を通過帯域とするフィルタによってフィルタリングされる。従って、フィルタリング後の動画データは、領域R1101内にのみ存在する。
【０２１１】
領域R1101内の動画データを、時間方向に1/4にダウンサンプリングすると、その動画データは、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては４×t0間隔でサンプリングされたデータとなる。
【０２１２】
このため、図２８に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0)間隔で、折り返し成分が生じる。
【０２１３】
但し、領域R1101は、図１１で説明したことから、原点(0,0)と点（π／r0，-π／(2t0)）とを結ぶ直線からT方向に2π／(4t0)の幅を有する領域で、かつ、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域であるため、折り返し成分どうしは重ならない。
【０２１４】
なお、図２８において、影を付してある部分が、ダウンサンプリング後の動画データが存在する部分である。
【０２１５】
次に、動画の中で、そこに投影されている被写体が速度「r0／t0」程度で動いている部分のデータは、フィルタ部２２において、図２２の領域R1201を通過帯域とするフィルタによってフィルタリングされる。従って、フィルタリング後の動画データは、領域R1201内にのみ存在する。
【０２１６】
領域R1201内の動画データを、時間方向に1/4にダウンサンプリングすると、その動画データは、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては４×t0間隔でサンプリングされたデータとなる。
【０２１７】
このため、図２９に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0)間隔で、折り返し成分が生じる。
【０２１８】
但し、領域R1201は、図１２で説明したことから、原点(0,0)と点（π／r0，-2π／(2t0)）とを結ぶ直線からT方向に2π／(4t0)の幅を有する領域で、かつ、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域であるため、折り返し成分どうしは重ならない。
【０２１９】
なお、図２９において、影を付してある部分が、ダウンサンプリング後の動画データが存在する部分である。
【０２２０】
次に、動画の中で、そこに投影されている被写体が速度「2r0／t0」程度で動いている部分のデータは、フィルタ部２２において、図２３の領域R1301を通過帯域とするフィルタによってフィルタリングされる。従って、フィルタリング後の動画データは、領域R1301内にのみ存在する。
【０２２１】
領域R1301内の動画データを、時間方向に1/4にダウンサンプリングすると、その動画データは、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては４×t0間隔でサンプリングされたデータとなる。
【０２２２】
このため、図３０に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0)間隔で、折り返し成分が生じる。
【０２２３】
但し、領域R1301は、図１３で説明したことから、原点(0,0)と点（π／r0，-2π／t0）とを結ぶ直線からT方向に2π／(4t0)の幅を有する領域で、かつ、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域であるため、折り返し成分どうしは重ならない。
【０２２４】
なお、図３０において、影を付してある部分が、ダウンサンプリング後の動画データが存在する部分である。
【０２２５】
以上の図２７乃至図３０に示したように、周波数ドメインにおいて、ダウンサンプリング後の動画データの折り返し成分どうしは重ならないということは、そのダウンサンプリング後の動画データから、元のデータ、即ち、図２０の領域R1001、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301内のデータを抽出することができることを意味し、換言すれば、ダウンサンプリング後の動画データが、人間の視覚特性を考慮した必要な情報（人間が認識することができる情報）を、正確に保持していることを意味する。
【０２２６】
なお、ダウンサンプリング後の動画データを、ダウンサンプリング前の動画データに復号（復元）するためには、動画の各部分のデータに、どのようなフィルタを適用したかの情報が必要となる。
【０２２７】
そこで、図２５の送信装置１では、フィルタ情報供給部３２からエンコード部２４に対して、動画の各部分のデータに適用したフィルタのフィルタ情報としての通過帯域である、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301の情報や、その領域R1001，R1101，R1201，R1301の主成分方向の情報を供給し、エンコード部２４では、その情報を、エンコードデータに多重化して出力するようにすることができる。
【０２２８】
次に、図３１のフローチャートを参照して、図２６のステップＳ２でフィルタ生成部２３が行う「必要な情報の通過帯域を求める処理」について説明する。
【０２２９】
まず最初に、ステップＳ１１において、フィルタ生成部２３（図２５）の主成分方向取得部３１は、図２６のステップＳ１で入力された動画データの各部分について、空間方向x,yの周波数軸X,Y、および時間方向tの周波数軸Tで定義される周波数ドメインでの主成分方向を取得し、フィルタ情報供給部３２に供給して、ステップＳ１２に進む。なお、主成分方向は、例えば、空間方向x,yと、時間方向tとの３次元の方向について、フーリエ変換（３次元フーリエ変換）を行うことにより求めることができる。
【０２３０】
ステップＳ１２では、フィルタ情報供給部３２は、周波数ドメインにおいて、原点(0,0)から、主成分方向取得部３１からの主成分方向に延びる領域であって、T方向に２π／（４×t0）の幅を有し、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域、即ち、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として決定し、ステップＳ１３に進む。
【０２３１】
ステップＳ１３では、フィルタ情報供給部３２は、ステップＳ１２で求めたフィルタの通過帯域（を表す情報）を、フィルタ情報として、フィルタ部２２に供給し、「必要な情報の通過帯域を求める処理」を終了する。
【０２３２】
以上のような「必要な情報の通過帯域を求める処理」によれば、例えば、動画像において静止している被写体が投影されている部分に対しては、図２０の領域R1001をフィルタ情報として求めることができる。また、動画において投影されている被写体が速度「（r0／t0）／２」程度で動いている部分に対しては、図２１の領域R1101をフィルタ情報として求めることができる。さらに、動画において投影されている被写体が速度「r0／t0」程度で動いている部分に対しては、図２２の領域R1201をフィルタ情報として求めることができる。また、動画において投影されている被写体が速度「２r0／t0」程度で動いている部分に対しては、図２３の領域R1301をフィルタ情報として求めることができる。動画においてその他の速度で被写体が移動している部分に対しても、人間が認識することができる周波数ドメイン上の範囲の領域をフィルタ情報として求めることができる。
【０２３３】
なお、本実施の形態では、フィルタ生成部２３（図２５）のフィルタ情報供給部３２において、主成分方向取得部３１から供給される主成分方向に延びる周波数ドメイン上の領域を、フィルタの通過帯域として求め、その通過帯域をフィルタ情報として、フィルタ部２２に供給するようにしたが、フィルタ情報供給部３２では、複数の主成分方向それぞれに対する上述のような通過帯域としてのフィルタ情報をあらかじめ求めて記憶しておき、その記憶しているフィルタ情報の中から、主成分方向取得部３１から供給される主成分方向に対応するものを選択して、フィルタ部２２に供給するようにしても良い。
【０２３４】
また、フィルタ生成部２３は、送信装置１とは別の、フィルタ情報を出力する独立の装置として構成することができる。
【０２３５】
ところで、図３１のステップＳ１１では、３次元フーリエ変換によって、動画データの各部分の主成分方向を求めるようにしたが、３次元フーリエ変換の計算量は膨大であるため、ステップＳ１１における、主成分方向を取得する処理に要する計算量も膨大となる。
【０２３６】
そこで、図３２のフローチャートを参照して、図３１のステップＳ１１において、３次元フーリエ変換を行う場合よりも少ない計算量で主成分方向を取得する方法について説明する。
【０２３７】
まず最初に、ステップＳ２１において、フィルタ生成部２３（図２５）の主成分方向取得部３１は、バッファ部２１に記憶された動画データの各フレームのデータを、例えば、横×縦が１６×１６画素などのブロックに分割し、ステップＳ２２に進む。なお、ここでは、各ブロックの画像データが、上述の動画データの各部分のデータとなる。
【０２３８】
ここで、ブロックは、複数の画素で構成されている必要はなく、１画素であっても良い。
【０２３９】
ステップＳ２２では、主成分方向取得部３１は、ステップＳ２１で得られた各ブロックを、順次、注目ブロックとし、注目ブロックについて、その注目ブロックのフレーム（以下、適宜、注目フレームという）の次のフレームとの相関を表す相関情報を求める。さらに、ステップＳ２２では、主成分方向取得部３１は、注目ブロックの相関情報が表す相関が最も高くなる、注目フレームの次のフレーム上の空間方向の位置を求める。即ち、ステップＳ２２では、主成分方向取得部３１は、いわゆるブロックマッチング等により、注目ブロックの空間方向x,yの２次元の動きベクトルを検出する。
【０２４０】
ここで、相関情報としては、いわゆる相関係数を採用することができるが、ここでは、計算コストを考慮して、例えば、注目ブロックを、動きベクトルとの探索範囲内で空間方向x,yに、それぞれ、u,vだけずらした位置における、注目ブロックの各画素と、その画素と同一位置にある、注目フレームの次のフレームの画素との画素値の自乗誤差や差分絶対値の総和などを採用する。この場合、相関情報の「値」が最小になる空間方向の位置u,vが、相関情報が表す相関が最も高くなる、注目フレームの次のフレーム上の空間方向の位置となる。
【０２４１】
なお、相関情報が表す相関が最大（相関情報の値が最小）になる空間方向の位置u,vを、それぞれ、u0,v0と表し、ステップＳ２２で検出される空間方向x,yの動きベクトルを、(u0,v0)と表す。
す。
【０２４２】
その後、ステップＳ２２からＳ２３に進み、主成分方向取得部３１は、ステップＳ２２で検出された動きベクトル(u0,v0)に、元の動画データのフレーム周期t0を、時間方向tのコンポーネントとして加えた３次元の動きベクトル(u0,v0,t0)の方向と直交する方向を、主成分方向として検出し、フィルタ情報供給部３２に供給して、処理を終了する。
【０２４３】
以上の処理によれば、ブロックの主成分方向が、その動きベクトル(u0,v0,t0)に垂直な平面（の拡がり方向）であるとして検出される。
【０２４４】
即ち、注目ブロックについて、動きベクトル(u0,v0,t0)が検出された場合、理想的には、空間方向x,yおよび時間方向tで定義される３次元空間において、動きベクトル(u0,v0,t0)の方向に、注目ブロックの画素値が続いているということ、つまり、注目ブロックのある点(x,y,t)における動画データの値は、mを整数として表される、x,y,tの３次元空間上の点(x+mu0,y+mv0,t+mt0)における動画データの値と同一であることになる。
【０２４５】
従って、時空間の注目ブロックのデータの周波数成分、即ち、時空間の注目ブロックのデータを周波数ドメイン上のデータに変換して得られるデータは、動きベクトル(u0,v0,t0)に垂直な平面上にのみ存在することになる。
【０２４６】
図３２のフローチャートにしたがった方法では、このことを利用して、動きベクトル(u0,v0,t0)に垂直な平面を、主成分方向として検出している。従って、この場合、主成分方向を取得するためには、動きベクトルを検出すれば良く、３次元フーリエ変換を行う必要がないので、少ない計算量で、主成分方向を検出することができる。
【０２４７】
なお、相関情報としては、例えば、相関係数を採用することができる。この場合、相関情報の値（相関係数）が最大の場合が、その相関情報が表す相関が最大の場合となる。
【０２４８】
また、送信装置１（図２５）のエンコード部２４では、フィルタ部２２からの動画データを、特にエンコードせずに、そのまま出力することもできる。
【０２４９】
次に、図３３は、図２４の受信装置２の構成例を示している。
【０２５０】
図２５の送信装置１が出力するエンコードデータは、フレームレートが1/(4t0)の低フレームレートの動画データをエンコードしたものであり、この低フレームレートの動画データを、そのまま、その低フレームレートと同一のフレームレートを有する表示装置に供給して表示させたのでは、本来表示されるべき周波数成分の他、図２８乃至図３０に示した折り返し成分のうちの一部も表示され、その結果、表示装置で表示される動画の画質が劣化する。
【０２５１】
そこで、受信装置２では、フレームレートが1/(4t0)の低フレームレートの動画データを、元のフレームレート1/t0にアップサンプリングし、その結果得られる、フレームレートが1/t0の高フレームレートの動画データを、表示装置３（図２４）に供給することで、表示装置３に、高画質の（画質の劣化が認識されない）動画データを表示させるようになっている。なお、ここでは、表示装置３は、1/t0のフレームレートで動画を表示するようになっているものとする。
【０２５２】
受信装置２では、上述のように、表示装置３において高画質の動画を表示するために、送信装置１から供給される、フレームレートが1/(4t0)の低フレームレートの動画データに対して、所定の通過帯域の周波数成分を通過させるフィルタを適用しながら、時間方向のアップサンプリングを行う。
【０２５３】
即ち、デコード部５０には、送信装置１（図２４）から記録媒体１１または伝送媒体１２を介して、エンコードデータが供給される。デコード部５０は、エンコードデータをデコードし、その結果得られる低フレームレートの動画データを、バッファ部５１に供給する。
【０２５４】
バッファ部５１は、デコード部５０から供給される低フレームレートの動画データを順次記憶する。
【０２５５】
フィルタ部５２は、バッファ部５１に記憶された動画データを適宜読み出し、その動画データを、後述するフィルタ生成部５３から供給されるフィルタ情報にしたがってフィルタリングしながらアップサンプリングし、そのフィルタリングおよびアップサンプリングにより得られる高フレームレートの動画データを出力する。フィルタ部５２が出力する高フレームレートの動画データは、表示装置３（図２４）に供給されて表示される。
【０２５６】
フィルタ生成部５３は、バッファ部５１に記憶された動画データを適宜読み出し、その動画データの各部分を用いてフィルタリングするフィルタの情報であるフィルタ情報を生成して、フィルタ部５２に供給する。
【０２５７】
即ち、フィルタ生成部５３は、主成分方向取得部６１とフィルタ情報供給部６２とから構成される。
【０２５８】
主成分方向取得部６１は、バッファ部５１から読み出された動画データの各部分について、周波数ドメイン上での主成分の方向である主成分方向を取得し、その主成分方向の情報を、フィルタ情報供給部６２に供給する。
【０２５９】
フィルタ情報供給部６２は、主成分方向取得部６１からの主成分方向の情報にしたがい、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸Tの方向に特定の幅としての、例えば、2π/(4t0)を有する領域、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として決定し、その通過帯域を、フィルタ情報として、フィルタ部５２に出力する。
【０２６０】
次に、図３４のフローチャートを参照して、図３３の受信装置２の処理について説明する。
【０２６１】
デコード部５０には、エンコードデータが供給される。デコード部５０は、そのエンコードデータを、フレームレートが1/(4t0)の低フレームレートの動画データにデコードし、バッファ部５１に供給する。バッファ部５１では、デコード部５０から供給される1/(4t0)のフレームレートの低フレームレートの動画データが順次記憶される。
【０２６２】
そして、ステップＳ３１において、フィルタ生成部５３は、バッファ部５１に記憶された動画データのうちのある部分のデータ、即ち、例えば、図３２のステップＳ２１で説明したような１６×１６画素のブロックのデータを読み出して、自身（フィルタ生成部５３）に入力し、ステップＳ３２乃至Ｓ３４に順次進む。
【０２６３】
ステップＳ３２乃至Ｓ３４では、フィルタ生成部５３（の主成分方向取得部６１およびフィルタ情報供給部６２）が、ステップＳ３１で入力されたデータについて、周波数ドメイン上で人間が認識することができる領域を、フィルタの通過帯域として求め、その通過帯域をフィルタ情報として、フィルタ部５２に供給する処理、即ち、上述した図３１の「必要な情報の通過帯域を求める処理」と同様の処理を行う。
【０２６４】
即ち、ステップＳ３２では、フィルタ生成部５３の主成分方向取得部６１は、ステップＳ３１で入力された動画データについて、空間方向x,yの周波数軸X,Y、および時間方向tの周波数軸Tで定義される周波数ドメインでの主成分方向を取得し、フィルタ情報供給部６２に供給して、ステップＳ３３に進む。
【０２６５】
なお、ステップＳ３２において主成分方向は、図３１で説明したように、３次元フーリエ変換を行うことにより求めることもできるし、図３２で説明したように、動きベクトルを検出することにより求めることもできる。また、上述したように、送信装置１からのエンコードデータに、主成分方向（の情報）が多重化されている場合には、デコード部５０において、エンコードデータから主成分方向を分離し、主成分方向取得部６１において、デコード部５０から、その主成分方向（の情報）の供給を受けることにより、主成分方向を取得することもできる。
【０２６６】
さらに、エンコードデータに空間方向x,yの動きベクトル(u0,v0)が含まれる場合には、その動きベクトル(u0,v0)に、エンコードデータに含まれる動画データのフレーム同期4t0を、時間方向tのコンポーネントとして加えて、空間方向x,yおよび時間方向tの３次元の動きベクトル(u0,v0,4t0)とし、図３２で説明したように、その３次元の動きベクトル(u0,v0,4t0)に直交する平面を主成分方向とすることもできる。
【０２６７】
即ち、図２５の送信装置１のエンコード部２４において、動画データが、少なくとも動き補償を利用する、例えば、MPEGなどのエンコード方法によってエンコードされる場合には、エンコードデータには、動き補償に用いられる動きベクトルが含まれる。そこで、デコード部５０においてエンコードデータから動きベクトル（の情報）を抽出し、バッファ部５１を介して、主成分方向取得部６１に、エンコードデータに含まれる動きベクトルを供給するようにし、主成分方向取得部６１では、その動きベクトルに直交する平面を、主成分方向として求める（検出する）ようにすることができる。
【０２６８】
なお、MPEGでは、Iピクチャのブロック（マクロブロック）には、動きベクトルが存在しないが、Iピクチャの動きベクトルは、例えば、PまたはBピクチャのブロックの動きベクトルから推定するようにすればよい。
【０２６９】
ステップＳ３３では、フィルタ情報供給部６２は、周波数ドメインにおいて、原点(0,0)から、主成分方向取得部６１からの主成分方向に延びる領域であって、T方向に２π／（４×t0）の幅を有し、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域、即ち、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として決定し、ステップＳ３４に進む。
【０２７０】
ステップＳ３４では、フィルタ情報供給部６２は、ステップＳ３３で求めたフィルタの通過帯域（を表す情報）を、フィルタ情報として、フィルタ部５２に供給し、ステップＳ３５に進む。
【０２７１】
ステップＳ３５では、フィルタ部５２が、バッファ部５１から動画データを読み出し、その動画データに対して、ステップＳ３４でフィルタ生成部５３から供給されたフィルタ情報が表す通過帯域のフィルタを適用しながら、時間方向のサンプル数を4倍にするアップサンプリングを行う。
【０２７２】
即ち、例えば、いま、ステップＳ３１で入力された動画データが、低フレームレートの動画データのあるフレームのブロック（のデータ）であるとして、そのブロックを注目ブロックとするとともに、注目ブロックのフレームを注目フレームとする。
【０２７３】
フィルタ部５２は、バッファ部５１から読み出した動画データを、フィルタ生成部５３から供給されたフィルタ情報が表す通過帯域のフィルタ、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を通過帯域とするフィルタによってフィルタリングすることにより、注目ブロックの各画素のデータ（画素値）を求める。
【０２７４】
また、フィルタ部５２は、バッファ部５１から読み出した動画データを、フィルタ生成部５３から供給されたフィルタ情報が表す通過帯域のフィルタ、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を通過帯域とするフィルタによってフィルタリングすることにより、注目フレームから次のフレームまでの時間4t0を、時間t0に等分する３つの時刻それぞれにおける画素であって、注目ブロックの各画素を通り、注目ブロックの３次元の動きベクトルの方向に延びる直線上にある画素のデータを求める。なお、注目ブロックの３次元の動きベクトルは、例えば、主成分方向取得部６１で求め、フィルタ情報供給部６２を介して、フィルタ情報とともに、フィルタ部５２に供給することができる。
【０２７５】
フィルタ部５２は、以上のようなフィルタリングおよびアップサンプリングを行うことにより、フレームレートが1/t0の高フレームレートの動画データを得て、ステップＳ３５からＳ３６に進む。
【０２７６】
ステップＳ３６では、フィルタ部５２は、ステップＳ３５で得た高フレームレートの動画データを、表示装置３（図２４）に出力して、処理を終了する。
【０２７７】
なお、ステップＳ３１乃至Ｓ３４の処理は、バッファ部５１に記憶された動画データの各部分すべてについて行われる。
【０２７８】
以上のように、周波数ドメイン上で人間が認識することができる領域、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、通過帯域とするフィルタによって、動画データをフィルタリングし、さらに、アップサンプリングを行うようにしたので、人間の目の視覚効果を考慮したデータ量の削減が行われた低フレームレートの動画データから、高画質の動画データ、つまり、元の高フレームレートの動画データと同様の画質の動画データを得て（元の高フレームレートの動画データと同様の画質を認識することができる動画データを復元して）表示することができる。
【０２７９】
即ち、図３５乃至図３８は、それぞれ、図２０の領域R1001、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、通過帯域とするフィルタによって、図２７乃至図３０の低フレームレートの動画（フレームレートが1/(4t0)の動画）のデータをフィルタリングしながら、時間方向に4倍のアップサンプリングを行って得られる高フレームレートの動画（フレームレートが1/t0の動画）のデータの周波数ドメイン上の分布を示している。
【０２８０】
まず、動画の中の静止している部分のデータに対しては、フィルタ部５２において、図２０の領域R1001を通過帯域とするフィルタによるフィルタリングを行いながらアップサンプリングを行う。従って、そのフィルタリングおよびアップサンプリングによって得られる動画データは、図２０の領域R1001内の周波数成分を有し、さらに、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対してはt0間隔でサンプリングされたデータとなる。
【０２８１】
このため、図３５に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/t0間隔で、折り返し成分が生じる。即ち、折り返し成分が生じるT方向の周期が、図２７に示した場合の４倍になる。
【０２８２】
なお、図３５において、影を付してある部分が、動画データが存在する部分である。
【０２８３】
次に、動画の中で、そこに投影されている被写体が速度「（r0／t0）／２」程度で動いている部分のデータに対しては、フィルタ部５２において、図２１の領域R1101を通過帯域とするフィルタによるフィルタリングを行いながらアップサンプリングを行う。従って、そのフィルタリングおよびアップサンプリングによって得られる動画データは、図２１の領域R1101内の周波数成分を有し、さらに、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対してはt0間隔でサンプリングされたデータとなる。
【０２８４】
このため、図３６に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/t0間隔で、折り返し成分が生じる。即ち、折り返し成分が生じるT方向の周期が、図２８に示した場合の４倍になる。
【０２８５】
なお、図３６において、影を付してある部分が、動画データが存在する部分である。
【０２８６】
次に、動画の中で、そこに投影されている被写体が速度「r0／t0」程度で動いている部分のデータに対しては、フィルタ部５２において、図２２の領域R1201を通過帯域とするフィルタによるフィルタリングを行いながらアップサンプリングを行う。従って、そのフィルタリングおよびアップサンプリングによって得られる動画データは、図２２の領域R1201内の周波数成分を有し、さらに、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対してはt0間隔でサンプリングされたデータとなる。
【０２８７】
このため、図３７に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/t0間隔で、折り返し成分が生じる。即ち、折り返し成分が生じるT方向の周期が、図２９に示した場合の４倍になる。
【０２８８】
なお、図３７において、影を付してある部分が、動画データが存在する部分である。
【０２８９】
次に、動画の中で、そこに投影されている被写体が速度「2r0／t0」程度で動いている部分のデータに対しては、フィルタ部５２において、図２３の領域R1301を通過帯域とするフィルタによるフィルタリングを行いながらアップサンプリングを行う。従って、そのフィルタリングおよびアップサンプリングによって得られる動画データは、図２３の領域R1301内の周波数成分を有し、さらに、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対してはt0間隔でサンプリングされたデータとなる。
【０２９０】
このため、図３８に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/t0間隔で、折り返し成分が生じる。即ち、折り返し成分が生じるT方向の周期が、図３０に示した場合の４倍になる。
【０２９１】
なお、図３８において、影を付してある部分が、動画データが存在する部分である。
【０２９２】
図２で説明したように、人間が認識することができるのは、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域R201であり、図３５乃至図３８において、この領域R201内には、折り返し成分は存在しない。
【０２９３】
従って、フィルタ部５２におけるフィルタリングおよびアップサンプリングにより得られる、1/t0の高フレームレートの動画データが、表示装置３に表示された場合に、その表示された動画に対して、人間は、元の動画（送信装置１に供給された動画）と同様の画質を認識することができる。
【０２９４】
なお、上述したように、図２５の送信装置１のエンコード部２４では、エンコードデータに、フィルタ部２２で用いられたフィルタのフィルタ情報を多重化することができるが、エンコードデータにフィルタ情報が多重化されている場合には、受信装置２（図３３）は、フィルタ生成部５３なしで構成することができる。この場合、受信装置２は、デコード部５０において、エンコードデータからフィルタ情報を分離し、フィルタ部５２に供給するように構成すればよい。
【０２９５】
また、上述の場合には、図２４の送信装置１において1/t0の高フレームレートの動画データを処理して得られる1/(4t0)の低フレームレートの動画データを、受信装置２に入力し、受信装置２において、その低フレームレートの動画データを、1/t0の高フレームレートの動画データに変換することにより、表示装置３において、高画質（送信装置１に入力される動画と同様の画質）の動画を表示するようにしたが、受信装置２には、元々、1/(4t0)の低フレームレートの動画データを入力しても、表示装置３において、ある程度高画質の動画を表示することが可能である。
【０２９６】
即ち、動画において、（ほぼ）静止している被写体が投影されている部分では、時間方向の周波数成分はほとんど存在しないから、上述の図１０に示した領域R301から領域R1001を除いた領域における周波数成分はほとんど存在しない。
【０２９７】
また、動画において、そこに投影されている被写体が速度「（r0／t0）／２」程度で動いている部分では、その動きの方向（空間方向x,yおよび時間方向tの３次元の動きの方向）に垂直な方向の周波数成分以外はほとんど存在しないから、上述の図１１に示した領域R401から領域R1101を除いた領域における周波数成分はほとんど存在しない。
【０２９８】
さらに、動画において、そこに投影されている被写体が速度「r0／t0」程度で動いている部分では、その動きの方向に垂直な方向の周波数成分以外はほとんど存在しないから、上述の図１２に示した領域R801から領域R1201を除いた領域における周波数成分はほとんど存在しない。
【０２９９】
また、動画において、そこに投影されている被写体が速度「2r0／t0」程度で動いている部分では、その動きの方向に垂直な方向の周波数成分以外はほとんど存在しないから、上述の図１３に示した領域R901から領域R1301を除いた領域における周波数成分はほとんど存在しない。
【０３００】
但し、実際には、動画においては、被写体の投影像は、時間の経過に伴って複雑に変化するため、動画において静止している部分であっても、図１０に示した領域R301から領域R1001を除いた領域に、多少のデータ（周波数成分）が存在する。
【０３０１】
同様に、動画において速度「（r0／t0）／２」程度で動いている部分には、図１１に示した領域R401から領域R1101を除いた領域に、多少のデータが存在し、また、動画において速度「r0／t0」程度で動いている部分には、図１２に示した領域R801から領域R1201を除いた領域に、多少のデータが存在する。さらに、動画において速度「2r0／t0」程度で動いている部分には、図１３に示した領域R901から領域R1301を除いた領域に、多少のデータが存在する。
【０３０２】
このような領域R1001，R1101，R1201，R1301外に存在するデータを削除するために、送信装置１（図２５）のフィルタ部２２では、領域R1001，R1101，R1201，R1301を通過帯域とするフィルタによるフィルタリングを行っている。
【０３０３】
従って、受信装置２に入力される低フレームレートの動画データが、送信装置１の処理の結果得られたものでない場合には、領域R1001，R1101，R1201，R1301外に、多少のデータが存在することがあり得る。そして、領域R1001，R1101，R1201，R1301外に、データが存在する場合、受信装置２（図３３）のフィルタ部５２におけるフィルタリングおよびアップサンプリングによって得られる動画データについては、図２に示した人間が認識することができる領域R201内に折り返し成分が混入し、その折り返し成分によって、動画の画質は劣化する。
【０３０４】
しかしながら、領域R1001，R1101，R1201，R1301外に存在するデータは僅かであり、そのような僅かなデータによる折り返し成分に起因して生じる画質の劣化も僅かである。従って、受信装置２に対して、元々、1/(4t0)の低フレームレートの動画データを入力する場合には、送信装置１において得られる低フレームレートの動画データを入力する場合に比較して、多少の画質の劣化はあるが、それでも、元々、1/(4t0)の低フレームレートの動画データを、そのまま表示する場合に比較して、画質が改善された動画を表示することができる。
【０３０５】
なお、受信装置２に入力される1/(4t0)の低フレームレートの動画データが、いわゆる電子シャッタを採用する撮像装置で撮像されたものである場合には、受信装置２（図３３）のフィルタ情報供給部６２において、その低フレームレートの動画データの撮像時の露光時間に対応してT方向の幅が制限された領域を、フィルタの通過帯域として決定することができる。
【０３０６】
即ち、1/(4t0)の低フレームレートの動画データの各フレームの撮像時の露光時間が、t0より大で、4t0より小であるt0'である場合には、各フレームに投影されている被写体の画像は、被写体からの光を、時間t0'だけ積分した値（受光量）に等しい。従って、被写体が動いている場合には、各フレームの画像には、時間t0'に対応するボケ（モーションブラー）が生じる。なお、t0が、例えば、1/240秒程度である場合には、t0'は、例えば、1/120秒程度である。
【０３０７】
時間t0'だけの積分は、図３９に示すような、周波数ドメインのT方向に、2π/t0'の幅を有する領域R3901を通過帯域とするローパスフィルタによるフィルタリングを行うことと等価であり、従って、電子シャッタにより、露光時間をt0'として撮像された動画の各フレームのデータは、領域R3901を通過帯域とするローパスフィルタを通過したデータであると言うことができる。
【０３０８】
なお、領域R3901は、T方向が、-π／t0'乃至π／t0'の範囲の2π/t0'の幅を有し、かつ、X,Y方向が、人間が認識することができる-π／r0乃至π／r0の範囲の2π／r0の幅を有する領域である。上述のように、例えば、t0が1/240秒で、t0'が1/120秒であり、従って、2t0=t0'である場合には、領域R3901は、T方向が、-π／(2t0)乃至π／(2t0)の範囲のπ/t0の幅を有する。
【０３０９】
以上のように、露光時間をt0'として撮像された動画の各フレームのデータは、領域R3901を通過帯域とするローパスフィルタを通過したデータであるから、周波数ドメインにおいて、領域R3901以外には、データは存在しない。
【０３１０】
従って、人間が認識することができる、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301内のデータであっても、図３９の領域R3901外にあるデータは、ノイズ等の、動画本来のデータでないから、不要なデータとして削除するのが望ましい。
【０３１１】
そこで、受信装置２（図３３）のフィルタ情報供給部６２では、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301のT方向を図３９の領域R3901によって制限した領域を、フィルタの通過帯域として決定することができる。
【０３１２】
例えば、いま、上述したように、2t0=t0'であるとすると、図２０の領域R1001は、図３９の領域R3901に含まれるから、フィルタ情報供給部６２では、動画において被写体が静止している部分については、図２０の領域R1001を、そのまま、フィルタの通過帯域として決定することができる。
【０３１３】
また、図２１の領域R1101は、図４０に示すように、その領域R1101のうちの、T方向が、-π／(2t0)乃至π／(2t0)の範囲で、X,Y方向が、-π／r0乃至π／r0の範囲の領域R4001において、図３９の領域R3901と重複するから、フィルタ情報供給部６２では、動画に投影されている被写体が速度「（r0／t0）／２」程度で動いている部分については、図４０の領域R4001を、フィルタの通過帯域として決定することができる。
【０３１４】
さらに、図２２の領域R1201は、図４１に示すように、その領域R1201のうちの、T方向が、-π／(2t0)乃至π／(2t0)の範囲で、X,Y方向が、-π／r0乃至π／r0の範囲の領域R4101において、図３９の領域R3901と重複するから、フィルタ情報供給部６２では、動画に投影されている被写体が速度「r0／t0」程度で動いている部分については、図４１の領域R4101を、フィルタの通過帯域として決定することができる。
【０３１５】
また、図２３の領域R1301は、図４２に示すように、その領域R1301のうちの、T方向が、-π／(2t0)乃至π／(2t0)の範囲で、X,Y方向が、-π／r0乃至π／r0の範囲の領域R4201において、図３９の領域R3901と重複するから、フィルタ情報供給部６２では、動画に投影されている被写体が速度「2r0／t0」程度で動いている部分については、図４２の領域R4201を、フィルタの通過帯域として決定することができる。
【０３１６】
受信装置２（図３３）のフィルタ情報供給部６２において、以上のようにフィルタの通過帯域を決定し、フィルタ部５２でフィルタリングを行うことにより、領域R3901外にある、ノイズ等の、動画本来のデータでない不要なデータが除去されるので、S/N(Signal to Noise ratio)等が向上した動画データを得ることができる。
【０３１７】
ここで、受信装置２において、フィルタの通過帯域を、図３９の領域R3901で制限する場合には、受信装置２に入力される低フレームレートの動画データの撮像時の露光時間t0'が必要となるが、この露光時間t0'は、例えば、受信装置２に入力される動画データに多重化する等して、受信装置２に入力することができる。
【０３１８】
なお、受信装置２に入力されるデータがエンコードされていない場合には、デコード部５０は、そのデータをデコードすることなく、バッファ部５１に供給する。
【０３１９】
ところで、例えば、送信装置１（図２５）の主成分方向取得部３１では、上述したように、注目ブロックの、注目フレームの次のフレームへの動きベクトル(u0,v0)を検出し、その動きベクトル(u0,v0)から、注目ブロックの周波数ドメインでの主成分方向を求めることができる。即ち、主成分方向取得部３１では、注目ブロックの動きベクトル(u0,v0)に、時間方向tのコンポーネントt0を加えた３次元の動きベクトル(u0,v0,t0)と直交する平面を、注目ブロックの周波数ドメインでの主成分方向として求めることができる。
【０３２０】
この場合、注目ブロックの、注目フレームの次のフレームへの動きベクトル(u0,v0)を、例えば、-2倍、-1倍、2倍、3倍したベクトルが、それぞれ、注目ブロックの、注目フレームの前の前のフレーム、前のフレーム、次の次のフレーム、次の次の次のフレームへの動きベクトルに一致していれば、動きベクトル(u0,v0)から求められる注目ブロックの主成分方向は、正確なものとなる。
【０３２１】
しかしながら、動きベクトル(u0,v0)を、例えば、-2倍や、-1倍、2倍、3倍したベクトルが、注目ブロックの、注目フレームの前の前のフレームや、前のフレーム、次の次のフレーム、次の次の次のフレームへの動きベクトルからずれている場合、そのずれに応じて、動きベクトル(u0,v0)から求められる注目ブロックの主成分方向は、誤差を含み、不正確なものとなる。
【０３２２】
即ち、図４３は、送信装置１に供給される高フレームレートの動画データを示している。
【０３２３】
なお、図４３においては、横軸を、空間方向xとして、動画データを示してある。また、動画には動被写体が投影されており、その動被写体は、空間方向xにのみ移動する（空間方向yへの移動はしない）ものとする。図４３では、動被写体は、時間の経過とともに、左から右方向に移動している。
【０３２４】
図４３には、上から順に、時刻（フレーム）t-4t0，t-3t0，t-2t0，t-t0，t，t+t0，t+2t0，t+3t0，t+4t0それぞれにおける画像データが示されている。
【０３２５】
いま、時刻tの画像データを基準とすると、その時刻tの画像データに対して、時刻t-4t0の画像データはK4だけ、時刻t-3t0の画像データはK3だけ、時刻t-2t0の画像データはK2だけ、時刻t-t0の画像データはK1だけ、時刻t+t0の画像データはH1だけ、時刻t+2t0の画像データはH2だけ、時刻t+3t0の画像データはH3だけ、時刻t+4t0の画像データはH4だけ、それぞれ、空間方向xにずれている。
【０３２６】
従って、時刻tの画像データにおけるあるブロックR4300を注目ブロックとすると、その注目ブロックR4300と同一の画像データ（注目ブロックR4300に対応する画像データ）は、時刻t-4t0の画像データでは、注目ブロックR4300から空間方向xにK4だけずれた位置の領域R4314に存在し、時刻t-3t0の画像データでは、注目ブロックR4300から空間方向xにK3だけずれた位置の領域R4313に存在する。同様に、注目ブロックR4300と同一の画像データは、時刻t-2t0の画像データでは、注目ブロックR4300から空間方向xにK2だけずれた位置の領域R4312に、時刻t-t0の画像データでは、注目ブロックR4300から空間方向xにK1だけずれた位置の領域R4311に、時刻t+t0の画像データでは、注目ブロックR4300から空間方向xにH1だけずれた位置の領域R4301に、時刻t+2t0の画像データでは、注目ブロックR4300から空間方向xにH2だけずれた位置のR4302に、時刻t+3t0の画像データでは、注目ブロックR4300から空間方向xにH3だけずれた位置の領域R4303に、時刻t+4t0の画像データでは、注目ブロックR4300から空間方向xにH4だけずれた位置の領域R4304に、それぞれ存在する。
【０３２７】
なお、図４３において、動被写体の動きの大きさは一定ではなく、従って、K4からK3への増加率，K3からK2への増加率、K2からK1への増加率、K1から0への増加率、0からH1への増加率、H1からH2への増加率，H2からH3への増加率、H3からH4への増加率も一定にはなっていない。
【０３２８】
図４３に示したように、被写体が移動している場合、注目ブロックR4300の動きベクトル(u0,v0)は、図４４に示すように、ベクトル(H1,0)が求められる。従って、送信装置１（図２５）の主成分方向取得部３１では、この注目ブロックR4300の動きベクトル(H1,0)から、注目ブロックR4300の主成分方向が求められる。
【０３２９】
そして、送信装置１のフィルタ情報供給部３２では、その主成分方向から、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301などが、フィルタ部２２におけるフィルタリングを行うフィルタの通過帯域として決定される。
【０３３０】
フィルタの通過帯域としての、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301などは、上述したように、T方向に、２π／(4t0)の幅を有するため、このような通過帯域のフィルタによるフィルタリングでは、注目ブロックR4300のフレーム（注目フレーム）の前後４フレーム程度の画像データ、即ち、例えば、時刻t-4t0，t-3t0，t-2t0，t-t0，t，t+t0，t+2t0，t+3t0，t+4t0の９フレームの範囲の画像データや、時刻t-3t0，t-2t0，t-t0，t，t+t0，t+2t0，t+3t0の７フレームの範囲の画像データなどを用いた演算（送信装置１のフィルタ部２２にて行われる演算）によって、フィルタリング結果としての注目ブロックR4300の画像データが求められる。
【０３３１】
即ち、注目ブロックR4300のある位置(x,y)の画素の、フィルタリング結果としての画素値は、例えば、時刻t+t0の画像データにおける位置(x,y)から動きベクトル(H1,0)だけずれた位置付近の画素値、時刻t+2t0の画像データにおける位置(x,y)から動きベクトル(H1,0)の２倍のベクトル(2H1,0)だけずれた位置付近の画素値、時刻t+3t0の画像データにおける位置(x,y)から動きベクトル(H1,0)の３倍のベクトル(3H1,0)だけずれた位置付近の画素値、時刻t+4t0の画像データにおける位置(x,y)から動きベクトル(H1,0)の４倍のベクトル(4H1,0)だけずれた位置付近の画素値、時刻t-t0の画像データにおける位置(x,y)から動きベクトル(H1,0)の−１倍のベクトル(-H1,0)だけずれた位置付近の画素値、時刻t-2t0の画像データにおける位置(x,y)から動きベクトル(H1,0)の−２倍のベクトル(-2H1,0)だけずれた位置付近の画素値、時刻t-3t0の画像データにおける位置(x,y)から動きベクトル(H1,0)の−３倍のベクトル(-3H1,0)だけずれた位置付近の画素値、時刻t-4t0の画像データにおける位置(x,y)から動きベクトル(H1,0)の−４倍のベクトル(-4H1,0)だけずれた位置付近の画素値を用いて求められる。
【０３３２】
ここで、動きベクトル(H1,0)は、図４４に示したように、注目ブロックR4300から、時刻t+t0の画像データにおける、注目ブロックR4300に対応する（注目ブロックR4300と同一の画像データが存在する）領域R4301の位置へのベクトルであるから、注目ブロックR4300から動きベクトル(H1,0)だけずれた時刻t+t0の画像データ上の位置は、注目ブロックR4300に対応する領域R4301の位置に一致する。
【０３３３】
しかしながら、ベクトル(2H1,0)は、図４５に示すように、動きベクトル(H1,0)を２倍したベクトルであるから、注目ブロックR4300からベクトル(2H1,0)だけずれた時刻t+2t0の画像データ上の位置は、注目ブロックR4300に対応する領域R4302の位置に一致するとは限らない。
【０３３４】
また、ベクトル(3H1,0)は、図４６に示すように、動きベクトル(H1,0)を３倍したベクトルであるから、注目ブロックR4300からベクトル(3H1,0)だけずれた時刻t+3t0の画像データ上の位置も、注目ブロックR4300に対応する領域R4303の位置に一致するとは限らない。
【０３３５】
さらに、ベクトル(4H1,0)は、図４７に示すように、動きベクトル(H1,0)を４倍したベクトルであるから、注目ブロックR4300からベクトル(4H1,0)だけずれた時刻t+4t0の画像データ上の位置も、注目ブロックR4300に対応する領域R4304の位置に一致するとは限らない。
【０３３６】
また、ベクトル(-H1,0)は、図４８に示すように、動きベクトル(H1,0)を−１倍したベクトルであるから、注目ブロックR4300からベクトル(-H1,0)だけずれた時刻t-t0の画像データ上の位置も、注目ブロックR4300に対応する領域R4311の位置に一致するとは限らない。
【０３３７】
さらに、ベクトル(-2H1,0)は、図４９に示すように、動きベクトル(H1,0)を−２倍したベクトルであるから、注目ブロックR4300からベクトル(-2H1,0)だけずれた時刻t-2t0の画像データ上の位置も、注目ブロックR4300に対応する領域R4312の位置に一致するとは限らない。
【０３３８】
また、ベクトル(-3H1,0)は、図５０に示すように、動きベクトル(H1,0)を−３倍したベクトルであるから、注目ブロックR4300からベクトル(-3H1,0)だけずれた時刻t-3t0の画像データ上の位置も、注目ブロックR4300に対応する領域R4313の位置に一致するとは限らない。
【０３３９】
さらに、ベクトル(-4H1,0)は、図５１に示すように、動きベクトル(H1,0)を−４倍したベクトルであるから、注目ブロックR4300からベクトル(-4H1,0)だけずれた時刻t-4t0の画像データ上の位置も、注目ブロックR4300に対応する領域R4314の位置に一致するとは限らない。
【０３４０】
このため、注目ブロックR4300に注目したフィルタリングにあたり、時刻t-4t0，t-3t0，t-2t0，t-t0，t+2t0，t+3t0，t+4t0それぞれの画像データについては、注目ブロックR4300に対応する領域R4314，R4313，R4312，R4311，R4302，R4303，R4304からずれた位置の領域の画素値が用いられ、その結果、真の主成分方向に延びる周波数ドメイン上の領域（例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301）内の周波数成分のみのデータを、正確に得ることが困難な場合が生じ得る。
【０３４１】
これは、注目ブロックから次のフレームへの動きベクトルを用いて主成分方向を求めることが、注目ブロックから次のフレームへの動きベクトルの単純な倍数によって、注目ブロックからその他のフレームへの動きベクトルを近似することに相当し、従って、被写体が一定速度で移動していないにもかかわらず、注目ブロックから次のフレームへの動きベクトルを用いて主成分方向を求めると、不正確な主成分方向が得られることに起因する。
【０３４２】
そこで、送信装置１（図２５）の主成分方向取得部３１では、上述したように、注目ブロックと次のフレームとの相関を表す相関情報だけではなく、注目ブロックとその前後の複数のフレームそれぞれとの相関を表す複数の相関情報を用いることによって、注目ブロックから複数のフレームそれぞれへの、いわば平均的な動きを表すベクトル（以下、適宜、平均動きベクトルという）を求め、その平均動きベクトルから、注目ブロックについて、精度の高い主成分方向を求めることができる。
【０３４３】
図５２は、図２５の主成分方向取得部３１において、平均動きベクトルから主成分方向を求める場合の、その主成分方向取得部３１の構成例を示している。
【０３４４】
バッファ部１０１には、バッファ部２１（図２５）から読み出された1/t0の高フレームレートの動画データが供給され、バッファ部１０１は、その動画データを一時記憶する。
【０３４５】
ブロック抽出部１０２は、バッファ部１０１に記憶された動画データを、例えば、上述した１６×１６画素のブロックに分割し、順次、注目ブロックとして選択して、相関演算部１０３に供給する。
【０３４６】
相関演算部１０３は、ブロック抽出部１０２から供給される注目ブロックのフレーム（注目フレーム）に対して時間的に前後の複数のフレーム（のデータ）を、バッファ部１０１から読み出し、注目ブロックと、複数のフレームそれぞれとの相関を表す相関情報を演算して、スケーリング合成部１０４に供給する。
【０３４７】
ここで、相関情報としては、例えば、図３２のステップＳ２２で説明した場合と同様に、注目ブロックを、空間方向x,yに、それぞれ、u,vだけずらした位置における、注目ブロックの各画素と、その画素と同一位置にある他のフレームの画素との画素値の差分絶対値の総和を採用することとする。この場合、上述したように、相関情報の「値」が最小になる空間方向の位置u,vが、相関情報が表す相関が最も高くなる、他のフレーム上の空間方向の位置となる。
【０３４８】
なお、相関演算部１０３において、注目ブロックとの相関情報を演算する対象のフレームの範囲は、フィルタ部２２（図２５）でのフィルタリングに用いられるフレームの範囲に対応した範囲とすることができる。
【０３４９】
即ち、図４３で説明したように、時刻tの画像データを基準とすると（時刻tを注目フレームとすると）、フィルタ部２２でのフィルタリングでは、時刻t-4t0，t-3t0，t-2t0，t-t0，t，t+t0，t+2t0，t+3t0，t+4t0の９フレームの画像データや、時刻t-3t0，t-2t0，t-t0，t，t+t0，t+2t0，t+3t0の７フレームの画像データなどが用いられる。相関演算部１０３において、相関情報を演算するフレームは、この９フレームや７フレームの画像データとほぼ同様の範囲の画像データ、即ち、例えば、時刻t-4t0，t-3t0，t-2t0，t-t0，t，t+t0，t+2t0，t+3t0，t+4t0それぞれの画像データとすることができる。
【０３５０】
なお、時刻tの画像データは、注目ブロックのフレーム（注目フレーム）であるから、その時刻tについては、相関情報を演算する必要はない。即ち、相関演算部１０３において、注目ブロックとの相関情報を演算する対象は、時刻t-4t0，t-3t0，t-2t0，t-t0，t+t0，t+2t0，t+3t0，t+4t0それぞれの画像データである。
【０３５１】
ここで、注目ブロックとの相関情報を演算する対象のフレームを、以下、適宜、相関演算対象フレームという。
【０３５２】
スケーリング合成部１０４は、相関演算部１０３から供給される、複数の相関演算対象フレームそれぞれについて求められた相関情報を、後述するように、空間方向x,yにスケーリングし、さらに、そのスケーリング後の相関情報を合成して、合成相関情報を求める。そして、スケーリング合成部１０４は、その合成相関情報を、最小値検出部１０５に供給する。
【０３５３】
最小値検出部１０５は、スケーリング合成部１０４からの合成相関情報が表す相関が最大となる空間方向の位置である最大相関位置を検出し、その最大相関位置へのベクトルを、注目ブロックの平均動きベクトルとして求める。そして、最小値検出部１０５は、その平均動きベクトルに、バッファ部２１（図２５）から読み出された動画データのフレーム周期t0を、時間方向tのコンポーネントとして加えた３次元の動きベクトルの方向と直交する方向を、主成分方向として検出して出力する。
【０３５４】
次に、図５３は、図４３に示した注目ブロックR4300と、時刻t-4t0，t-3t0，t-2t0，t-t0，t，t+t0，t+2t0，t+3t0，t+4t0それぞれの画像データ（フレーム）との相関情報を示している。
【０３５５】
なお、図５３に示した相関情報は、図５２の相関演算部１０３で求められる。但し、上述したように、注目ブロックR4300と、注目フレームである時刻tの画像データとの相関情報は、演算する必要はない。
【０３５６】
また、図５３において、相関情報としては、上述したように、画素値の差分絶対値の総和が採用されており、従って、相関情報は、下に凸の関数となり、相関情報の「値」が最小になる空間方向の位置が、相関情報が表す相関が最も高くなる空間方向の位置である。そして、注目ブロックから、その位置へのベクトルが、動きベクトルを表す。
【０３５７】
図４３で説明したように、注目ブロックR4300と同一の画像データは、時刻t-4t0では、注目ブロックR4300から空間方向xにK4だけずれた位置の領域R4314に存在し、時刻t-3t0では、注目ブロックR4300から空間方向xにK3だけずれた位置の領域R4313に存在する。同様に、注目ブロックR4300と同一の画像データは、時刻t-2t0では、注目ブロックR4300から空間方向xにK2だけずれた位置の領域R4312に、時刻t-t0では、注目ブロックR4300から空間方向xにK1だけずれた位置の領域R4311に、時刻t+t0では、注目ブロックR4300から空間方向xにH1だけずれた位置の領域R4301に、時刻t+2t0では、注目ブロックR4300から空間方向xにH2だけずれた位置のR4302に、時刻t+3t0では、注目ブロックR4300から空間方向xにH3だけずれた位置の領域R4303に、時刻t+4t0では、注目ブロックR4300から空間方向xにH4だけずれた位置の領域R4304に、それぞれ存在する。
【０３５８】
従って、時刻t-4t0における相関情報は、位置x=K4において最小となり、時刻t-3t0における相関情報は、位置x=K3において最小となる。同様に、時刻t-2t0における相関情報は、位置x=K2において、時刻t-t0における相関情報は、x=K1において、時刻t+t0における相関情報は、位置x=H1において、時刻t+2t0における相関情報は、位置x=H2において、時刻t+3t0における相関情報は、位置x=H3において、時刻t+4t0における相関情報は、位置x=H4において、それぞれ最小となる。
【０３５９】
図５２の主成分方向取得部３１では、注目ブロックR4300の動きが、時刻t-4t0乃至t+4t0の時間において一定であると近似し、その一定の動きを表すベクトルが、平均動きベクトルとして求められる。
【０３６０】
そのため、主成分方向取得部３１のスケーリング合成部１０４は、時刻t-4t0，t-3t0，t-2t0，t-t0，t+t0，t+2t0，t+3t0，t+4t0それぞれにおける相関情報を、空間方向x,yにスケーリングし、さらに、そのスケーリング後の相関情報を合成して、合成相関情報を求める。
【０３６１】
即ち、注目ブロックR4300の動きが、時刻t-4t0乃至t+4t0の時間において一定であると近似した場合、例えば、時刻t+t0における相関情報を基準とすると、時刻t-4t0における相関情報は、時刻t+t0における相関情報に対し、位置（空間方向x,y）に関して−４倍のずれがある。時刻t-3t0における相関情報は、時刻t+t0における相関情報に対し、位置に関して−３倍のずれがある。以下、同様に、時刻t+t0における相関情報に対し、時刻t-2t0における相関情報は、位置に関して−２倍のずれが、時刻t-t0における相関情報は、位置に関して−１倍のずれが、時刻t+2t0における相関情報は、位置に関して２倍のずれが、時刻t+3t0における相関情報は、位置に関して３倍のずれが、時刻t+4t0における相関情報は、位置に関して４倍のずれが、それぞれある。
【０３６２】
そこで、スケーリング合成部１０４は、時刻t-4t0における相関情報の位置のスケールを−１／４倍にする（反転縮小する）スケーリングを行う。同様に、スケーリング合成部１０４は、時刻t-3t0における相関情報の位置のスケールを−１／３倍にするスケーリングを、時刻t-2t0における相関情報の位置のスケールを−１／２倍にするスケーリングを、時刻t-t0における相関情報の位置のスケールを−１倍にする（反転する）スケーリングを、時刻t+2t0における相関情報の位置のスケールを１／２倍にする（縮小する）スケーリングを、時刻t+3t0における相関情報の位置のスケールを１／３倍にするスケーリングを、時刻t+4t0における相関情報の位置のスケールを１／４倍にするスケーリングを、それぞれ行う。
【０３６３】
なお、時刻t+t0における相関情報については、スケーリング合成部１０４は、何らスケーリングを行わないが、スケーリングを行わないことは、位置のスケールを１倍にするスケーリングを行っていると見ることもできる。
【０３６４】
ここで、図５４は、時刻t+t0における相関情報を基準として、時刻t-4t0，t-3t0，t-2t0，t-t0，t+2t0，t+3t0，t+4t0それぞれにおける相関情報をスケーリングした場合の、そのスケーリング後の相関情報を示している。
【０３６５】
スケーリングにより、時刻t-4t0における相関情報は、位置x=-K4/4において最小となり、時刻t-3t0における相関情報は、位置x=-K3/3において最小となる。同様に、時刻t-2t0における相関情報は、位置x=-K2/2において、時刻t-t0における相関情報は、x=-K1において、時刻t+2t0における相関情報は、位置x=H2/2において、時刻t+3t0における相関情報は、位置x=H3/3において、時刻t+4t0における相関情報は、位置x=H4/4において、それぞれ最小となる。
【０３６６】
なお、スケーリングは、時刻t+t0における相関情報を基準として行われるので、時刻t+t0における相関情報は、スケーリングの前でも後でも、位置x=H1において最小となる。
【０３６７】
図５２の主成分方向取得部３１では、スケーリング合成部１０４が、時刻t-4t0，t-3t0，t-2t0，t-t0，t+t0，t+2t0，t+3t0，t+4t0それぞれにおける、スケーリング後の相関情報を合成して、合成相関情報を求める。
【０３６８】
図５５は、図５４の相関情報を合成することにより得られる合成相関情報を示している。
【０３６９】
図５５の合成相関情報は、図５４に示した時刻t-4t0，t-3t0，t-2t0，t-t0，t+t0，t+2t0，t+3t0，t+4t0それぞれにおける、スケーリング後の相関情報を加算する合成を行うことにより求めることができる。
【０３７０】
図５２の主成分方向取得部３１の最小値検出部１０５では、図５５の合成相関情報が最小になる位置x=L1（(x,y)=(L1,0)）が、平均動きベクトル(L1,0)として求められる。
【０３７１】
なお、合成相関情報は、スケーリング後の相関情報を単純に加算する他、重み付け加算することにより求めることもできる。即ち、合成相関情報は、相関情報に対して、注目ブロックの時刻tから近い時刻の相関情報ほど大きな重みを付して加算することにより求めることができる。この場合、注目ブロックの時刻tから近い時刻の画像を重要視した平均動きベクトルが求められることになる。
【０３７２】
最小値検出部１０５では、以上のようにして求められる平均動きベクトル(L1,0)から、注目ブロックの主成分方向が求められる。従って、注目ブロックについて、比較的精度の高い主成分方向を求めることができる。
【０３７３】
即ち、上述のような平均動きベクトル(L1,0)から求められる主成分方向（つまり、(L1,0,t0)に垂直な平面）によれば、図２５のフィルタ部２２では、例えば、注目ブロックR4300のある位置(x,y)の画素の、フィルタリング結果としての画素値が、時刻t+t0の画像データにおける位置(x,y)から動きベクトル(L1,0)だけずれた位置付近の画素値、時刻t+2t0の画像データにおける位置(x,y)から動きベクトル(L1,0)の２倍のベクトル(2L1,0)だけずれた位置付近の画素値、時刻t+3t0の画像データにおける位置(x,y)から動きベクトル(L1,0)の３倍のベクトル(3L1,0)だけずれた位置付近の画素値、時刻t+4t0の画像データにおける位置(x,y)から動きベクトル(L1,0)の４倍のベクトル(4L1,0)だけずれた位置付近の画素値、時刻t-t0の画像データにおける位置(x,y)から動きベクトル(L1,0)の−１倍のベクトル(-L1,0)だけずれた位置付近の画素値、時刻t-2t0の画像データにおける位置(x,y)から動きベクトル(L1,0)の−２倍のベクトル(-2L1,0)だけずれた位置付近の画素値、時刻t-3t0の画像データにおける位置(x,y)から動きベクトル(L1,0)の−３倍のベクトル(-3L1,0)だけずれた位置付近の画素値、時刻t-4t0の画像データにおける位置(x,y)から動きベクトル(L1,0)の−４倍のベクトル(-4L1,0)だけずれた位置付近の画素値を、それぞれ用いて求められる。
【０３７４】
ここで、図５６は、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)だけずれた時刻t+t0の画像データにおける位置を示している。同様に、図５７乃至図６３は、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)の２倍のベクトル(2L1,0)だけずれた時刻t+2t0の画像データにおける位置を、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)の３倍のベクトル(3L1,0)だけずれた時刻t+3t0の画像データにおける位置を、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)の４倍のベクトル(4L1,0)だけずれた時刻t+4t0の画像データにおける位置を、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)の−１倍のベクトル(-L1,0)だけずれた時刻t-t0の画像データにおける位置を、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)の−２倍のベクトル(-2L1,0)だけずれた時刻t-2t0の画像データにおける位置を、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)の−３倍のベクトル(-3L1,0)だけずれた時刻t-3t0の画像データにおける位置を、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)の−４倍のベクトル(-4L1,0)だけずれた時刻t-4t0の画像データにおける位置を、それぞれ示している。
【０３７５】
図５６乃至図６３それぞれと、上述した図４４乃至図５１それぞれとを比較することにより、図５６乃至図６３における場合の方が、図４４乃至図５１における場合よりも、全体として、注目ブロックR4300に対応する領域R4301，R4302，R4303，R4304，R4311，R4312，R4313，R4314に近い位置の画素値を用いて、注目ブロックR4300のフィルタリングが行われることが分かる。
【０３７６】
次に、図６４乃至図６７のフローチャートを参照して、図５２の主成分方向取得部３１が行う処理について説明する。
【０３７７】
なお、図６４乃至図６７のフローチャートにしたがった処理は、図３１のステップＳ１１の処理に対応する。
【０３７８】
図５２の主成分方向取得部３１において、バッファ部１０１には、バッファ部２１（図２５）から読み出された動画データが供給され、バッファ部１０１は、その動画データを一時記憶する。
【０３７９】
そして、図６４のステップＳ１０１において、ブロック抽出部１０２は、バッファ部１０１に記憶された動画データを、図３２のステップＳ２１における場合と同様に、例えば１６×１６画素のブロックに分割し、相関演算部１０３に供給する。なお、以降の処理は、ブロック抽出部１０２で得られたブロックを、順次、注目ブロックとして行われる。
【０３８０】
ここで、注目ブロックの位置（例えば、注目ブロックの左上の画素の位置）を、(x0,y0)と表す。また、注目ブロックのフレーム（注目フレーム）は、時刻tのフレームであるとする。
【０３８１】
ステップＳ１０１の処理後は、図６５のステップＳ１０２に進み、相関演算部１０３は、注目フレームの次のフレームの画像データである時刻t+t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t+t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数E1(u1,v1)を、注目ブロックを対応させる時刻t+t0の画像データの位置(x0+u1,y0+v1)を変えながら求め（(u1,v1)を変えながら求め）、その関数E1(u1,v1)を、時刻t+t0における相関情報として、スケーリング合成部１０４に供給して、ステップＳ１０３に進む。
【０３８２】
ステップＳ１０３では、相関演算部１０３は、注目フレームの次の次のフレームの画像データである時刻t+2t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t+2t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数E2(u2,v2)を、注目ブロックを対応させる時刻t+2t0の画像データの位置(x0+u2,y0+v2)を変えながら求め、その関数E2(u2,v2)を、時刻t+2t0における相関情報として、スケーリング合成部１０４に供給して、ステップＳ１０４に進む。
【０３８３】
ステップＳ１０４では、相関演算部１０３は、注目フレームの３フレームだけ時間的に先の画像データである時刻t+3t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t+3t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数E3(u3,v3)を、注目ブロックを対応させる時刻t+3t0の画像データの位置(x0+u3,y0+v3)を変えながら求め、その関数E3(u3,v3)を、時刻t+3t0における相関情報として、スケーリング合成部１０４に供給して、ステップＳ１０５に進む。
【０３８４】
ステップＳ１０５では、注目フレームの４フレームだけ時間的に先の画像データである時刻t+4t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t+4t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数E4(u4,v4)を、注目ブロックを対応させる時刻t+4t0の画像データの位置(x0+u4,y0+v4)を変えながら求め、その関数E4(u4,v4)を、時刻t+4t0における相関情報として、スケーリング合成部１０４に供給して、図６６のステップＳ１０６に進む。
【０３８５】
ステップＳ１０６では、相関演算部１０３は、注目フレームの前のフレームの画像データである時刻t-t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t-t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数F1(r1,s1)を、注目ブロックを対応させる時刻t-t0の画像データの位置(x0+r1,y0+s1)を変えながら求め、その関数F1(r1,s1)を、時刻t-t0における相関情報として、スケーリング合成部１０４に供給して、ステップＳ１０７に進む。
【０３８６】
ステップＳ１０７では、相関演算部１０３は、注目フレームの前の前のフレームの画像データである時刻t-2t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t-2t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数F2(r2,s2)を、注目ブロックを対応させる時刻t-2t0の画像データの位置(x0+r2,y0+s2)を変えながら求め、その関数F2(r2,s2)を、時刻t-2t0における相関情報として、スケーリング合成部１０４に供給して、ステップＳ１０８に進む。
【０３８７】
ステップＳ１０８では、相関演算部１０３は、注目フレームの３フレームだけ時間的に前の画像データである時刻t-3t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t-3t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数F3(r3,s3)を、注目ブロックを対応させる時刻t-3t0の画像データの位置(x0+r3,y0+s3)を変えながら求め、その関数F3(r3,s3)を、時刻t-3t0における相関情報として、スケーリング合成部１０４に供給して、ステップＳ１０９に進む。
【０３８８】
ステップＳ１０９では、相関演算部１０３は、注目フレームの４フレームだけ時間的に前の画像データである時刻t-4t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t-4t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数F4(r4,s4)を、注目ブロックを対応させる時刻t-4t0の画像データの位置(x0+r4,y0+s4)を変えながら求め、その関数F4(r4,s4)を、時刻t-4t0における相関情報として、スケーリング合成部１０４に供給して、図６７のステップＳ１１０に進む。
【０３８９】
ステップＳ１１０では、スケーリング合成部１０４は、相関演算部１０３から供給された相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，E4(u4,v4)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)，F4(r4,s4)を、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準として、上述したようなスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１０４は、位置(p,q)=(u1,v1)=(u2/2,v2/2)=(u3/3,v3/3)=(u4/4,v4/4)=(-r1,-s1)=(-r2/2,-s2/2)=(-r3/3,-s3/3)=(-r4/4,-s4/4)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報E1(p,q)，E2(2p,2q)，E3(3p,3q)，E4(4p,4q)，F1(-p,-q)，F2(-2p,-2q)，F3(-3p,-3q)，F4(-4p,-4q)を加算することにより、合成相関情報E(p,q)(=E1(p,q)+E2(2p,2q)+E3(3p,3q)+E4(4p,4q)+F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q)+F4(-4p,-4q))を求める。
【０３９０】
なお、合成相関情報E(p,q)は、スケーリング後の相関情報を単純に加算する他、上述したように、重み付け加算することにより求めることもできる。即ち、合成相関情報E(p,q)は、例えば、注目ブロックの時刻tから近い時刻の相関情報ほど大きな重みを付して加算する式８×E1(p,q)+４×E2(2p,2q)+２×E3(3p,3q)+１×E4(4p,4q)+８×F1(-p,-q)+４×F2(-2p,-2q)+２×F3(-3p,-3q)+１×F4(-4p,-4q)を演算することにより求めることができる。
【０３９１】
スケーリング合成部１０４は、ステップＳ１１０において、合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を、最小値検出部１０５に供給して、ステップＳ１１１に進む。
【０３９２】
ステップＳ１１１では、最小値検出部１０５は、スケーリング合成部１０４からの合成相関情報E(p,q)が表す相関が最大となる空間方向の位置（注目ブロックからの相対的な位置）(p,q)を、最大相関位置(p0,q0)として検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)を、最大相関位置(p0,q0)として検出し、その最大相関位置(p0,q0)へのベクトルを、平均動きベクトル(p0,q0)として、ステップＳ１１２に進む。
【０３９３】
ステップＳ１１２では、最小値検出部１０５は、ステップＳ１１１で検出された平均動きベクトル(p0,q0)に、元の動画データのフレーム周期t0を、時間方向tのコンポーネントとして加えた３次元の動きベクトル(p0,q0,t0)の方向と直交する方向が、主成分方向であるとして、３次元の動きベクトル(p0,q0,t0)を、フィルタ情報供給部３２（図２５）に供給して、処理を終了する。
【０３９４】
この場合、フィルタ情報供給部３２は、例えば、主成分方向取得部３１の最小値検出部１０５から供給される３次元の動きベクトル(p0,q0,t0)を、そのままフィルタ情報として、フィルタ部２２（図２５）に供給する。
【０３９５】
フィルタ部２２では、図６８に示すフローチャートにしたがった処理が、図２６のステップＳ３の処理として行われる。
【０３９６】
即ち、ステップＳ１３１において、フィルタ部２２は、フィルタ情報供給部３２からフィルタ情報として供給される３次元の動きベクトル(p0,q0,t0)を受信することにより取得し、ステップＳ１３２に進む。
【０３９７】
ステップＳ１３２では、フィルタ部２２は、時刻tのフレームの注目ブロック内の位置(x,y)における画素の画素値C(t,x,y)を、例えば、式(1/16)×D(t-3t0,x-3p0,y-3q0)＋(2/16)×D(t-2t0,x-2p0,y-2q0)＋(3/16)×D(t-t0,x-p0,y-q0)＋(4/16)×D(t,x,y)＋(3/16)×D(t+t0,x+p0,y+q0)＋(2/16)×D(t+2t0,x+2p0,y+2q0)＋(1/16)×D(t+3t0,x+3p0,y+3q0)を演算することにより求めるフィルタリングを行う。なお、D(t,x,y)は、フィルタリングに用いる動画データの時刻tの位置(x,y)における画素値を表す。
【０３９８】
ここで、式(1/16)×D(t-3t0,x-3p0,y-3q0)＋(2/16)×D(t-2t0,x-2p0,y-2q0)＋(3/16)×D(t-t0,x-p0,y-q0)＋(4/16)×D(t,x,y)＋(3/16)×D(t+t0,x+p0,y+q0)＋(2/16)×D(t+2t0,x+2p0,y+2q0)＋(1/16)×D(t+3t0,x+3p0,y+3q0)の演算は、いわゆるタップ係数を、1/16，2/16，3/16，4/16，3/16，2/16，1/16とし、時間方向に７タップを有する（７フレームの画像データを用いたフィルタリングを行う）FIR(Finite Impulse Response)フィルタによるフィルタリングを行うことに等価である。このようなタップ係数のFIRフィルタは、ローパスフィルタである。
【０３９９】
なお、ステップＳ１３２において、画素値C(t,x,y)の演算としてのフィルタリングは、時間方向のサンプル数を1/4に間引くダウンサンプリングを行いながら、即ち、４フレームごとに１フレームの割合で行われる。つまり、tは、例えば、４×t0の倍数である。
【０４００】
ステップＳ１３２の処理後は、ステップＳ１３３に進み、フィルタ部２２は、フィルタリング結果、即ち、式(1/16)×D(t-3t0,x-3p0,y-3q0)＋(2/16)×D(t-2t0,x-2p0,y-2q0)＋(3/16)×D(t-t0,x-p0,y-q0)＋(4/16)×D(t,x,y)＋(3/16)×D(t+t0,x+p0,y+q0)＋(2/16)×D(t+2t0,x+2p0,y+2q0)＋(1/16)×D(t+3t0,x+3p0,y+3q0)を演算することにより求めた画素値C(t,x,y)を、時刻tの位置(x,y)における画素値として、エンコード部２４に出力する。
【０４０１】
なお、図６８では、時間方向に７タップを有するFIRフィルタによるフィルタリングを行うようにしたが、その他、例えば、時間方向に９タップを有するFIRフィルタによるフィルタリングを行うようにしても良い。
【０４０２】
また、式(1/16)×D(t-3t0,x-3p0,y-3q0)＋(2/16)×D(t-2t0,x-2p0,y-2q0)＋(3/16)×D(t-t0,x-p0,y-q0)＋(4/16)×D(t,x,y)＋(3/16)×D(t+t0,x+p0,y+q0)＋(2/16)×D(t+2t0,x+2p0,y+2q0)＋(1/16)×D(t+3t0,x+3p0,y+3q0)の演算は、ローパスフィルタによるフィルタリングに等価であるが、注目ブロックのフレームに近いほど大きな重みを付した重み付け加算と見ることもできる。
【０４０３】
このように、注目ブロックのフレームに近いほど大きな重みを付した重み付け加算を行うことによって、フィルタリング結果としての画素値C(t,x,y)を求める場合には、合成相関情報E(p,q)を求めるための合成も、上述したように、注目ブロックの時刻tから近い時刻の相関情報ほど大きな重みを付して加算する式８×E1(p,q)+４×E2(2p,2q)+２×E3(3p,3q)+１×E4(4p,4q)+８×F1(-p,-q)+４×F2(-2p,-2q)+２×F3(-3p,-3q)+１×F4(-4p,-4q)の演算によって行うのが望ましい。
【０４０４】
以上のように、注目ブロックと次のフレームとの相関を表す相関情報だけではなく、注目ブロックとその前後の複数のフレームそれぞれとの相関を表す複数の相関情報を用いることによって、注目ブロックから複数のフレームそれぞれへの、いわば平均的な動きを表す平均動きベクトルを求めるようにしたので、その平均動きベクトルから、注目ブロックについて、精度の高い主成分方向を求めることができる。
【０４０５】
さらに、平均動きベクトルを求めるときに用いる複数のフレームの範囲は、フィルタ部２２（図２５）でのフィルタリングに用いられるフレームの範囲に対応した範囲、即ち、フィルタリングに用いられるフレーム（図６８では、注目ブロックのフレームを中心とする７フレーム）とほぼ同様の範囲（図６４乃至図６７では、注目ブロックのフレームを中心とする９フレーム）であるので、フィルタ部２２（図２５）において、正確なフィルタリング結果（本来通過させるべき周波数成分だけのフィルタリング結果）を得ることが可能となる。
【０４０６】
なお、図６８では、注目ブロックのフレームを中心とする７フレームを用いてフィルタリングを行い、図６４乃至図６７では、注目ブロックのフレームを中心とする９フレームを用いて平均動きベクトルを求めるようにしたが、その他、例えば、フィルタリングも平均動きベクトルの算出も、注目ブロックのフレームを中心とする７フレームまたは９フレームを用いて行うことが可能である。また、フィルタリングは、注目ブロックのフレームを中心とする９フレームを用いて行い、平均動きベクトルの算出は、注目ブロックのフレームを中心とする７フレームを用いて行うことも可能である。つまり、フィルタリングに用いるフレームの範囲と、平均動きベクトルの算出に用いるフレームの範囲とは、完全に一致していても良いし、異なっていても、ほぼ一致していれば良い。
【０４０７】
以上のように、フィルタ部２２（図２５）でのフィルタリングに用いられるフレームの範囲とほぼ同様の範囲の複数のフレームを用いて、平均動きベクトルを求めることにより、その平均動きベクトルから、複数のフレームの範囲において比較的正確な主成分方向を求めることができる。
【０４０８】
次に、上述のように、平均動きベクトルによれば、基本的には、比較的正確な主成分方向を求めることができる。
【０４０９】
しかしながら、常時、複数のフレームすべてを用いて、平均動きベクトルを求めると、誤差の大きな平均動きベクトルが得られる場合があり、この場合、主成分方向の精度も劣化し、その結果、フィルタ２２でのフィルタリング結果も、適切でない動画（受信装置２において、人間が画質の劣化を認識しない動画に復元することができない画像）となる。
【０４１０】
即ち、例えば、動画データにおいて、静止している被写体を背景として、その背景の手前側に、動いている被写体が前景として存在する場合、注目ブロックが背景のみを含むときには、他のフレーム（注目フレーム以外のフレーム）では、注目ブロックに対応する背景部分が、前景に隠れて見えない状態となっていることがある。この場合、注目ブロックに対応する背景部分が前景に隠れて見えない状態となっているフレームにおける、注目ブロックとの相関情報の値は、注目ブロックに対応する背景部分の位置で最小になるとは限らず、そのような相関情報を用いて、合成相関情報を算出し、さらに平均動きベクトルを求めると、誤差の大きな平均動きベクトルが得られることがある。
【０４１１】
具体的には、送信装置１に入力された動画データが、例えば、図６９に示す被写体が投影された動画データであったとする。
【０４１２】
ここで、図６９における横軸は、空間方向の位置xを表している。そして、図６９上側は、背景である被写体P6901の波形を示しており、図６９下側は、前景である被写体P6902の波形を示している。
【０４１３】
図６９上側に示した被写体P6901は静止しており、図６９下側に示した被写体P6902は、g/t0[m/s]の速さで、空間方向xに移動している。
【０４１４】
なお、上述の場合には、平均動きベクトルの算出にあたり、時刻t-4t0乃至t+4t0の９時刻（９フレーム）の画像データを用いたが、以下では、時刻t-3t0乃至t+3t0の７時刻（７フレーム）の画像データを用いることとする。時刻t-3t0乃至t+3t0の時間は、6t0という短い時間なので、その時間における被写体P6902の速さは一定であるとみなす（近似する）ことができ、上述したg/t0は、その一定の速さを表す。
【０４１５】
図７０および図７１は、図６９に示した被写体P6901とP6902とが投影された、時刻t-3t0乃至t+3t0の７時刻（７フレーム）それぞれの画像データを示している。
【０４１６】
なお、図７０および図７１には、上から順に、時刻t-3t0乃至t+3t0の７時刻それぞれの画像データを図示してある。図７０および図７１は、符号が付してある部分が異なることを除いて、同一の図である。
【０４１７】
上述した図６４乃至図６７のフローチャートにしたがった処理（以下、適宜、第１の動き検出処理という）によれば、例えば、時刻tにおける画像データが、ブロックに分割される（図６４におけるステップＳ１０１）。図７０および図７１では、時刻tにおける画像データが、ブロックB1乃至B16の１６のブロックに分割されている。
【０４１８】
例えば、いま、背景である被写体P6901のみが含まれるブロックB3が注目ブロックであるとして、第１の動き検出処理を行うと、図７０に示すように、時刻t+t0における画像データにおいて、注目ブロックB3と対応する領域は、注目ブロックB3と同一位置の領域B101であるので、図６５のステップＳ１０２で求められる、時刻t+t0における相関情報E1(u1,v1)の値が最小になるのは、位置(u1,v1)=(0,0)のときである。
【０４１９】
同様に、時刻t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データにおいて、注目ブロックB3と対応する領域は、それぞれ、注目ブロックB3と同一位置の領域B201，B301，B-101，B-201，B-301である。従って、時刻t+2t0における相関情報E2(u2,v2)、時刻t+3t0における相関情報E3(u3,v3)、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)、時刻t-3t0における相関情報F3(r3,s3)の値が最小になるのは、いずれも、位置(u2,v2)，(u3,v3)，(r1,s1)，(r2,s2)，(r3,s3)が、(0,0)のときである。
【０４２０】
従って、第１の動き検出処理によれば、図６７のステップＳ１１１において求められる、スケーリング後の相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)の合成結果である合成相関情報E(p,q)を最小にする(p,q)、つまり平均動きベクトル(p0,q0)は、(0,0)であり、その結果、注目ブロックB3については、３次元の動きベクトルとして、(0,0,t0)が求められる。
【０４２１】
この場合、図６８では、注目ブロックB3の各画素について、領域B-301，B-201，B-101，B3，B101，B201，B301それぞれの対応する画素の画素値に対し、重み１／１６，２／１６，３／１６，４／１６，３／１６，２／１６，１／１６を付した重み付け加算を行うフィルタリングが行われる。領域B-301，B-201，B-101，B3，B101，B201，B301は、いずれも、注目ブロックB3に対応した領域であり、従って、領域B-301，B-201，B-101，B3，B101，B201，B301を用いたフィルタリングにより、人間の視覚で認識することができる周波数成分のみのデータ、即ち、いまの場合、(0,0,t0)に直交する方向（注目ブロックB3のデータの主成分方向）に延びる、T方向の幅が2π/(4t0)の領域R1001（図２０）内の周波数成分のみの適正なデータを得ることができる。
【０４２２】
次に、例えば、前景である被写体P6902のみが含まれるブロックB10が注目ブロックであるとして、第１の動き検出処理を行うと、図７０に示すように、時刻t+t0における画像データにおいて、注目ブロックB10と対応する領域は、注目ブロックB10からx方向にgだけずれた位置の領域B102であるので、図６５のステップＳ１０２で求められる、時刻t+t0における相関情報E1(u1,v1)の値が最小になるのは、位置(u1,v1)=(g,0)のときである。
【０４２３】
同様に、時刻t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データにおいて、注目ブロックB10と対応する領域は、それぞれ、注目ブロックB10からx方向に2gだけずれた位置の領域B202、注目ブロックB10からx方向に3gだけずれた位置の領域B302、注目ブロックB10からx方向に-gだけずれた位置の領域B-102、注目ブロックB10からx方向に-2gだけずれた位置の領域B-202、注目ブロックB10からx方向に-3gだけずれた位置の領域B-302である。
【０４２４】
従って、時刻t+2t0における相関情報E2(u2,v2)の値が最小になるのは、位置(u2,v2)が(2g,0)のときであり、時刻t+3t0における相関情報E3(u3,v3)の値が最小になるのは、位置(u3,v3)が(3g,0)のときであり、時刻t-t0における相関情報F1(r1,s1)の値が最小になるのは、位置(r1,s1)が(-g,0)のときであり、時刻t-2t0における相関情報F2(r2,s2)の値が最小になるのは、位置(r2,s2)が(-2g,0)のときであり、時刻t-3t0における相関情報F3(r3,s3)の値が最小になるのは、位置(r3,s3)が、(-3g,0)のときである。
【０４２５】
以上から、第１の動き検出処理によれば、図６７のステップＳ１１１において求められる、スケーリング後の相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)の合成結果である合成相関情報E(p,q)を最小にする(p,q)、つまり平均動きベクトル(p0,q0)は、(g,0)であり、その結果、注目ブロックB10については、３次元の動きベクトルとして、(g,0,t0)が求められる。
【０４２６】
この場合、図６８では、注目ブロックB10の各画素について、領域B-302，B-202，B-102，B10，B102，B202，B302それぞれの対応する画素の画素値に対し、重み１／１６，２／１６，３／１６，４／１６，３／１６，２／１６，１／１６を付した重み付け加算を行うフィルタリングが行われる。領域B-302，B-202，B-102，B10，B102，B202，B302は、いずれも、注目ブロックB10に対応した領域であり、従って、領域B-302，B-202，B-102，B10，B102，B202，B302を用いたフィルタリングにより、人間の視覚で認識することができる周波数成分のみのデータ、即ち、いまの場合、(g,0,t0)に直交する方向（注目ブロックB10のデータの主成分方向）に延びる、T方向の幅が2π/(4t0)の領域内の周波数成分のみの適正なデータを得ることができる。
【０４２７】
以上のように、注目ブロック、および他のフレームの注目ブロックに対応する領域のすべてが、背景である被写体P6901のみを含む場合や、前景である被写体P6902のみを含む場合には、注目ブロックのデータの主成分方向を正確に求め、その主成分方向に基づくフィルタリングによって、人間の視覚で認識することができる周波数成分のみの適切なデータを得ることができる。
【０４２８】
これに対して、注目ブロック、または他のフレームの注目ブロックに対応する領域が、速度が異なる複数の被写体を含む場合、つまり、速度が異なる複数の被写体の境界部分を含む場合には、誤差の大きな平均動きベクトルが求められることがある。この場合、そのような平均動きベクトルからは、注目ブロックのデータの主成分方向を正確に求められず、その結果、主成分方向に基づくフィルタリングによって、人間の視覚で認識することができる周波数成分のみの適切なデータを得ることができないことがある。
【０４２９】
即ち、例えば、図７１において、背景である被写体P6901のみを含むブロックB7が注目ブロックであるとして、第１の動き検出処理を行うと、時刻t+t0における画像データにおいて、注目ブロックB7と対応する領域は、注目ブロックB7と同一位置の領域B111であるので、図６５のステップＳ１０２で求められる、時刻t+t0における相関情報E1(u1,v1)の値が最小になるのは、位置(u1,v1)=(0,0)のときである。
【０４３０】
同様に、時刻t+2t0，t+3t0，t-t0，t-2t0における画像データにおいて、注目ブロックB7と対応する領域は、それぞれ、注目ブロックB7と同一位置の領域B211，B311，B-111，B-211である。従って、時刻t+2t0における相関情報E2(u2,v2)、時刻t+3t0における相関情報E3(u3,v3)、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)の値が最小になるのは、いずれも、位置(u2,v2)，(u3,v3)，(r1,s1)，(r2,s2)が、(0,0)のときである。
【０４３１】
しかしながら、時刻t-3t0における画像データにおいて、注目ブロックB7と対応する領域は、本来は、注目ブロックB7と同一位置の領域B-311であるはずであるが、図７１では、動いている被写体P6902の後ろに隠れてしまっており、存在しない。このため、時刻t-3t0における相関情報F3(r3,s3)の値が最小になるのは、位置(r3,s3)が(0,0)のときであって欲しいが、相関情報F3(r3,s3)の値が、位置(r3,s3)が(0,0)のときに最小になるとは限らない。
【０４３２】
そして、第１の動き検出処理によれば、図６７のステップＳ１１１において、スケーリング後の相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)の合成結果である合成相関情報E(p,q)を最小にする(p,q)、つまり平均動きベクトル(p0,q0)が求められ、さらに、３次元の動きベクトルとして、(p0,q0,t0)が求められる。
【０４３３】
この３次元の動きベクトル(p0,q0,t0)は、位置(r3,s3)が(0,0)のときに値が最小になるとは限らない相関情報F3(r3,s3)を用いて求められた合成相関情報E(p,q)を最小にする(p,q)である平均動きベクトル(p0,q0)から得られるため、その３次元の動きベクトル(p0,q0,t0)に直交する方向が、注目ブロックB7のデータの主成分方向を正確に表しているとは限らない。
【０４３４】
そして、そのような３次元の動きベクトル(p0,q0,t0)に直交する方向に基づくフィルタリングでは、人間の視覚で認識することができる周波数成分のみの適切なデータを得ることが困難となる。
【０４３５】
次に、例えば、図７１において、背景である被写体P6901のみを含むブロックB14が注目ブロックであるとして、第１の動き検出処理を行うと、時刻t+t0における画像データにおいて、注目ブロックB14と対応する領域は、注目ブロックB14と同一位置の領域B112であるので、図６５のステップＳ１０２で求められる、時刻t+t0における相関情報E1(u1,v1)の値が最小になるのは、位置(u1,v1)=(0,0)のときである。
【０４３６】
同様に、時刻t-t0，t-2t0，t-3t0における画像データにおいて、注目ブロックB14と対応する領域は、それぞれ、注目ブロックB14と同一位置の領域B-112，B-212，B-312である。従って、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)、時刻t-3t0における相関情報F3(r3,s3)の値が最小になるのは、いずれも、位置(r1,s1)，(r2,s2)，(r3,s3)が、(0,0)のときである。
【０４３７】
しかしながら、時刻t+2t0における画像データにおいて、注目ブロックB14と対応する領域は、本来は、注目ブロックB14と同一位置の領域B212であるはずであるが、動いている被写体P6902の後ろに隠れてしまっており、存在しない。このため、時刻t+2t0における相関情報E2(u2,v2)の値が最小になるのは、位置(u2,v2)が(0,0)のときであって欲しいが、相関情報E2(u2,v2)の値が、位置(u2,v2)が(0,0)のときに最小になるとは限らない。
【０４３８】
同様に、時刻t+3t0における画像データにおいて、注目ブロックB14と対応する領域は、本来は、注目ブロックB14と同一位置の領域B312であるはずであるが、動いている被写体P6902の後ろに隠れてしまっており、存在しない。このため、時刻t+3t0における相関情報E3(u3,v3)の値が最小になるのは、位置(u3,v3)が(0,0)のときであって欲しいが、相関情報E3(u3,v3)の値が、位置(u3,v3)が(0,0)のときに最小になるとは限らない。
【０４３９】
そして、第１の動き検出処理によれば、図６７のステップＳ１１１において、スケーリング後の相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)の合成結果である合成相関情報E(p,q)を最小にする(p,q)、つまり平均動きベクトル(p0,q0)が求められ、さらに、３次元の動きベクトルとして、(p0,q0,t0)が求められる。
【０４４０】
この３次元の動きベクトル(p0,q0,t0)は、位置(u2,v2)が(0,0)のときに値が最小になるとは限らない相関情報F2(u2,v2)と、位置(u3,v3)が(0,0)のときに値が最小になるとは限らない相関情報F3(u3,v3)を用いて求められた合成相関情報E(p,q)を最小にする(p,q)である平均動きベクトル(p0,q0)から得られるため、その３次元の動きベクトル(p0,q0,t0)に直交する方向が、注目ブロックB14のデータの主成分方向を正確に表しているとは限らない。
【０４４１】
そして、そのような３次元の動きベクトル(p0,q0,t0)に直交する方向に基づくフィルタリングでは、人間の視覚で認識することができる周波数成分のみの適切なデータを得ることが困難となる。
【０４４２】
次に、例えば、図７１において、背景である被写体P6901と前景である被写体P6902とを含むブロックB9が注目ブロックであるとして、第１の動き検出処理を行うと、注目ブロックB9は、静止している被写体P6901と、動いている被写体P6902との両方を含むため、即ち、静止している被写体P6901のある位置において、動いている被写体P6902が、静止している被写体P6901を隠した状態となっているため、そのような注目ブロックB9に対応する領域は、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データのいずれにも存在しない。
【０４４３】
このため、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)の値は、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データにおける、注目ブロックB9と最も類似する位置(u1,v1)，(u2,v2)，(u3,v3)，(r1,s1)，(r2,s2)，(r3,s3)で、それぞれ最小となる
【０４４４】
そして、第１の動き検出処理によれば、図６７のステップＳ１１１において、スケーリング後の相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)の合成結果である合成相関情報E(p,q)を最小にする(p,q)、つまり平均動きベクトル(p0,q0)が求められ、さらに、３次元の動きベクトルとして、(p0,q0,t0)が求められる。
【０４４５】
この３次元の動きベクトル(p0,q0,t0)は、注目ブロックB9と最も類似する位置において最小になる相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)を用いて求められた合成相関情報E(p,q)を最小にする(p,q)である平均動きベクトル(p0,q0)から得られるため、その３次元の動きベクトル(p0,q0,t0)に直交する方向が、注目ブロックB9のデータの主成分方向を正確に表しているとは限らない。
【０４４６】
そして、そのような３次元の動きベクトル(p0,q0,t0)に直交する方向に基づくフィルタリングでは、人間の視覚で認識することができる周波数成分のみの適切なデータを得ることが困難となる。
【０４４７】
以上のように、注目ブロック、または他のフレームの注目ブロックに対応する領域が、速度が異なる複数の被写体を含む場合、つまり、速度が異なる複数の被写体の境界部分を含む場合には、第１の動き検出処理では、平均動きベクトル、ひいては、注目ブロックのデータの主成分方向を正確に求めることができず、そのような主成分方向に基づくフィルタリングが行われることによって、人間の視覚で認識することができる周波数成分のみの適切なデータを得ることが困難となることがあった。
【０４４８】
そこで、図７２は、注目ブロック、または他のフレームの注目ブロックに対応する領域が、速度が異なる複数の被写体を含む場合であっても、平均動きベクトル、ひいては、注目ブロックのデータの主成分方向を正確に求める処理（以下、適宜、第２の動き検出処理という）を行う図２５の主成分方向取得部３１の構成例を示している。
【０４４９】
なお、図中、図５２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図７２の主成分方向取得部３１は、スケーリング合成部１０４と最小値検出部１０５に代えて、それぞれスケーリング合成部１２４と最小値検出部１２５が設けられている他は、図５２における場合と同様に構成されている。
【０４５０】
スケーリング合成部１２４は、図５２のスケーリング合成部１０４と同様に、相関演算部１０３から供給される、複数の相関演算対象フレームそれぞれについて求められた相関情報を、空間方向x,yにスケーリングし、さらに、そのスケーリング後の相関情報を合成して、合成相関情報を求める。但し、スケーリング合成部１２４では、スケーリング後の相関情報を合成する数（合成する相関情報の数）を変えて、複数の合成相関情報が求められる。そして、スケーリング合成部１２４は、複数の合成相関情報を、最小値検出部１２５に供給する。
【０４５１】
最小値検出部１２５は、スケーリング合成部１２４からの複数の合成相関情報のうちの、相関が最大の合成相関情報である最大合成相関情報を求める。即ち、最小値検出部１２５は、スケーリング合成部１２４からの複数の合成相関情報それぞれの「値」の最小値を求める。さらに、最小値検出部１２５は、複数の合成相関情報から、最小値が最小の合成相関情報を、最大合成相関情報として求める。
【０４５２】
さらに、最小値検出部１２５は、最大合成相関情報が表す相関が最大となる空間方向の位置を、即ち、最大合成相関情報の「値」を最小にする空間方向の位置を、最大相関位置として検出し、その最大相関位置へのベクトルを、平均動きベクトルとして求める。そして、最小値検出部１２５は、平均動きベクトルに、バッファ部２１（図２５）に記憶されている動画データのフレーム周期t0を、時間方向tのコンポーネントとして加えた３次元の動きベクトルを求め、その３次元の動きベクトルの方向と直交する方向を、注目ブロックの主成分方向として検出して出力する。
【０４５３】
また、最小値検出部１２５は、合成相関情報を求めるのに用いられた複数のフレームのうちの、最大合成相関情報を求めるのに合成した相関情報の演算に用いられたフレームの範囲を表す後述するカーネルサイズを、注目ブロックの動きベクトル（平均動きベクトル）の有効範囲、つまり、注目ブロックの主成分方向の有効範囲として、さらに求め、注目ブロックの主成分方向とともに出力する。
【０４５４】
次に、図７３乃至図７７のフローチャートを参照して、主成分方向取得部３１が図７２に示したように構成される場合の図２５のフィルタ生成部２３の処理について説明する。
【０４５５】
なお、図７３乃至図７７のフローチャートにしたがったステップＳ１５１乃至Ｓ１７６の処理のうちの、ステップＳ１５１乃至Ｓ１７２の処理は、第２の動き検出処理であり、図３１のステップＳ１１の処理に対応する。また、ステップＳ１７３乃至Ｓ１７５の処理は、図３１のステップＳ１２の処理に対応し、ステップＳ１７６の処理は、図３１のステップＳ１３の処理に対応する。
【０４５６】
第２の動き検出処理では、速度が異なる複数の被写体が投影された動画の、いわば性質を利用して、注目ブロックとの相関情報を演算する複数のフレームのうちの、注目ブロックと対応する領域を有するフレームについて求められた相関情報だけを合成して合成相関情報を得て、その合成相関情報を用いて、注目ブロックの正確な主成分方向を得ることができる平均動きベクトルを求める。
【０４５７】
即ち、例えば、図６９乃至図７１に示したように、静止している被写体P6901の手前側に、動いている被写体P6902が存在する時刻t-3t0乃至t+3t0の７フレームの間の時間は、6t0という短い時間であるので、動いている被写体P6902の速度は、一定であると近似することができる。
【０４５８】
そして、時刻tの画像データのあるブロックを注目ブロックとした場合に、その注目ブロックに対して、動いている被写体P6902が、遠ざかっていくケースでは、時刻tよりも時間的に後の時刻（未来の時刻）の画像データにおいて、注目ブロックと対応する領域が存在する。即ち、例えば、図７１において、ブロックB7が注目ブロックである場合には、その注目ブロックB7に対して、被写体P6902が遠ざかっていくが、この場合、時刻tよりも時間的に後の時刻t+t0，t+2t0，t+3t0それぞれにおいて、注目ブロックB7に対応する領域B111，B211，B311が存在する。
【０４５９】
また、注目ブロックに対して、動いている被写体P6902が、近づいてくるケースでは、時刻tよりも時間的に前の時刻（過去の時刻）の画像データにおいて、注目ブロックと対応する領域が存在する。即ち、例えば、図７１において、ブロックB14が注目ブロックである場合には、その注目ブロックB14に対して、被写体P6902が近づいてくるが、この場合、時刻tよりも時間的に前の時刻t-t0，t-2t0，t-3t0それぞれにおいて、注目ブロックB14に対応する領域B-112，B-212，B-312が存在する。
【０４６０】
なお、注目ブロックに、静止している被写体P6901と、動いている被写体P6902とが存在するケースでは、時刻tの前後の時刻の画像データにおいて、注目ブロックと対応する領域は存在しない。即ち、例えば、図７１において、ブロックB9が注目ブロックである場合には、注目ブロックB9には、静止している被写体P6901と、動いている被写体P6902とが存在するが、この場合、時刻tよりも前の時刻t-t0，t-2t0，t-3t0と、後の時刻t+t0，t+2t0，t+3t0のうちのいずれにも、注目ブロックB9と対応する領域は存在しない。
【０４６１】
第２の動き検出処理では、以上のような、速度が異なる複数の被写体が投影された動画の性質を利用した処理が行われる。
【０４６２】
即ち、図７２の主成分方向取得部３１において、バッファ部１０１には、バッファ部２１（図２５）から読み出された動画データが供給され、バッファ部１０１は、その動画データを一時記憶する。
【０４６３】
そして、図７３のステップＳ１５１において、ブロック抽出部１０２は、バッファ部１０１に記憶された動画データを、図６４のステップＳ１０１における場合と同様に、例えば１６×１６画素のブロックに分割し、相関演算部１０３に供給する。なお、以降の処理は、ブロック抽出部１０２で得られたブロックを、順次、注目ブロックとして行われる。
【０４６４】
ここで、図６４乃至図６７における場合と同様に、注目ブロックの位置（例えば、注目ブロックの左上の画素の位置）を、(x0,y0)と表す。また、注目ブロックのフレーム（注目フレーム）は、時刻tのフレームであるとする。
【０４６５】
ステップＳ１５１の処理後は、ステップＳ１５２に進み、相関演算部１０３は、注目フレームの次のフレームの画像データである時刻t+t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t+t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数E1(u1,v1)を、注目ブロックを対応させる時刻t+t0の画像データの位置(x0+u1,y0+v1)を変えながら求め、その関数E1(u1,v1)を、時刻t+t0における相関情報として、スケーリング合成部１２４に供給して、ステップＳ１５３に進む。
【０４６６】
ステップＳ１５３では、相関演算部１０３は、注目フレームの次の次のフレームの画像データである時刻t+2t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t+2t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数E2(u2,v2)を、注目ブロックを対応させる時刻t+2t0の画像データの位置(x0+u2,y0+v2)を変えながら求め、その関数E2(u2,v2)を、時刻t+2t0における相関情報として、スケーリング合成部１２４に供給して、ステップＳ１５４に進む。
【０４６７】
ステップＳ１５４では、相関演算部１０３は、注目フレームの３フレームだけ時間的に先の画像データである時刻t+3t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t+3t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数E3(u3,v3)を、注目ブロックを対応させる時刻t+3t0の画像データの位置(x0+u3,y0+v3)を変えながら求め、その関数E3(u3,v3)を、時刻t+3t0における相関情報として、スケーリング合成部１２４に供給して、図７４のステップＳ１５５に進む。
【０４６８】
ステップＳ１５５では、相関演算部１０３は、注目フレームの前のフレームの画像データである時刻t-t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t-t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数F1(r1,s1)を、注目ブロックを対応させる時刻t-t0の画像データの位置(x0+r1,y0+s1)を変えながら求め、その関数F1(r1,s1)を、時刻t-t0における相関情報として、スケーリング合成部１２４に供給して、ステップＳ１５６に進む。
【０４６９】
ステップＳ１５６では、相関演算部１０３は、注目フレームの前の前のフレームの画像データである時刻t-2t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t-2t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数F2(r2,s2)を、注目ブロックを対応させる時刻t-2t0の画像データの位置(x0+r2,y0+s2)を変えながら求め、その関数F2(r2,s2)を、時刻t-2t0における相関情報として、スケーリング合成部１２４に供給して、ステップＳ１５７に進む。
【０４７０】
ステップＳ１５７では、相関演算部１０３は、注目フレームの３フレームだけ時間的に前の画像データである時刻t-3t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t-3t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数F3(r3,s3)を、注目ブロックを対応させる時刻t-3t0の画像データの位置(x0+r3,y0+s3)を変えながら求め、その関数F3(r3,s3)を、時刻t-3t0における相関情報として、スケーリング合成部１２４に供給して、ステップＳ１５８に進む。
【０４７１】
ステップＳ１５８では、スケーリング合成部１２４は、相関演算部１０３から供給された６つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)のうちのすべてについて、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準としてスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１２４は、位置(p,q)=(u1,v1)=(u2/2,v2/2)=(u3/3,v3/3)=(-r1,-s1)=(-r2/2,-s2/2)=(-r3/3,-s3/3)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報E1(p,q)，E2(2p,2q)，E3(3p,3q)，F1(-p,-q)，F2(-2p,-2q)，F3(-3p,-3q)を加算することにより、合成相関情報E(p,q)(=E1(p,q)+E2(2p,2q)+E3(3p,3q)+F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q))を求める。
【０４７２】
なお、合成相関情報E(p,q)は、スケーリング後の相関情報を単純に加算する他、上述したように、重み付け加算することにより求めることもできる。
【０４７３】
以上のように、スケーリング合成部１２４は、ステップＳ１５８において、時刻t+t0における相関情報E1(u1,v1)、時刻t+2t0における相関情報E2(u2,v2)、時刻t+3t0における相関情報E3(u3,v3)、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)、時刻t-3t0における相関情報F3(r3,s3)のすべてを合成した合成相関情報E(p,q)、即ち、注目フレームの時刻tに対して時間的に後の３フレームと、時間的に前の３フレームのそれぞれについての、合計で６つの相関情報を合成した合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を求めるにあたって合成した相関情報の数である６によって、合成相関情報E(p,q)を除算することにより正規化し、さらに、正規化後の合成相関情報E(p,q)に、所定のオフセット値L33を加算することにより、最終的な合成相関情報E(p,q)(={E1(p,q)+E2(2p,2q)+E3(3p,3q)+F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q)}/6+L33)を得る。そして、スケーリング合成部１２４は、その最終的な合成相関情報E(p,q)を、最小値検出部１２５に供給して、ステップＳ１５８からＳ１５９に進む。
【０４７４】
ステップＳ１５９では、最小値検出部１２５は、ステップＳ１５８でスケーリング合成部１２４から供給された、注目フレームの時刻tに対して時間的に後の３フレームと、時間的に前の３フレームのそれぞれについての相関情報を合成した合成相関情報E(p,q)が表す相関が最大となる空間方向の位置(p,q)である(p33,q33)を検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)である(p33,q33)を検出し、位置(p,q)が最大相関位置(p33,q33)である場合の合成相関情報E(p33,q33)の「値」、即ち、最小値E33とともに記憶して、図７５のステップＳ１６０に進む。
【０４７５】
ステップＳ１６０では、スケーリング合成部１２４は、相関演算部１０３から供給された６つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)のうちの、５つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)について、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準としてスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１２４は、位置(p,q)=(u1,v1)=(u2/2,v2/2)=(u3/3,v3/3)=(-r1,-s1)=(-r2/2,-s2/2)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報E1(p,q)，E2(2p,2q)，E3(3p,3q)，F1(-p,-q)，F2(-2p,-2q)を加算することにより、合成相関情報E(p,q)(=E1(p,q)+E2(2p,2q)+E3(3p,3q)+F1(-p,-q)+F2(-2p,-2q))を求める。
【０４７６】
以上のように、スケーリング合成部１２４は、ステップＳ１６０において、時刻t+t0における相関情報E1(u1,v1)、時刻t+2t0における相関情報E2(u2,v2)、時刻t+3t0における相関情報E3(u3,v3)、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)の５つを合成した合成相関情報E(p,q)、即ち、注目フレームの時刻tに対して時間的に後の３フレームと、時間的に前の２フレームのそれぞれについての、合計で５つの相関情報を合成した合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を求めるにあたって合成した相関情報の数である５によって、合成相関情報E(p,q)を除算することにより正規化し、さらに、正規化後の合成相関情報E(p,q)に、所定のオフセット値L23を加算することにより、最終的な合成相関情報E(p,q)(={E1(p,q)+E2(2p,2q)+E3(3p,3q)+F1(-p,-q)+F2(-2p,-2q)}/5+L23)を得る。そして、スケーリング合成部１２４は、その最終的な合成相関情報E(p,q)を、最小値検出部１２５に供給して、ステップＳ１６０からＳ１６１に進む。
【０４７７】
ステップＳ１６１では、最小値検出部１２５は、ステップＳ１６０でスケーリング合成部１２４から供給された、注目フレームの時刻tに対して時間的に後の３フレームと、時間的に前の２フレームのそれぞれについての相関情報を合成した合成相関情報E(p,q)が表す相関が最大となる空間方向の位置(p,q)である(p23,q23)を検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)である(p23,q23)を検出し、位置(p,q)が最大相関位置(p23,q23)である場合の合成相関情報E(p23,q23)の「値」、即ち、最小値E23とともに記憶して、ステップＳ１６２に進む。
【０４７８】
ステップＳ１６２では、スケーリング合成部１２４は、相関演算部１０３から供給された６つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)のうちの、４つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)について、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準としてスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１２４は、位置(p,q)=(u1,v1)=(u2/2,v2/2)=(u3/3,v3/3)=(-r1,-s1)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報E1(p,q)，E2(2p,2q)，E3(3p,3q)，F1(-p,-q)を加算することにより、合成相関情報E(p,q)(=E1(p,q)+E2(2p,2q)+E3(3p,3q)+F1(-p,-q))を求める。
【０４７９】
以上のように、スケーリング合成部１２４は、ステップＳ１６２において、時刻t+t0における相関情報E1(u1,v1)、時刻t+2t0における相関情報E2(u2,v2)、時刻t+3t0における相関情報E3(u3,v3)、時刻t-t0における相関情報F1(r1,s1)の４つを合成した合成相関情報E(p,q)、即ち、注目フレームの時刻tに対して時間的に後の３フレームと、時間的に前の１フレームのそれぞれについての、合計で４つの相関情報を合成した合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を求めるにあたって合成した相関情報の数である４によって、合成相関情報E(p,q)を除算することにより正規化し、さらに、正規化後の合成相関情報E(p,q)に、所定のオフセット値L13を加算することにより、最終的な合成相関情報E(p,q)(={E1(p,q)+E2(2p,2q)+E3(3p,3q)+F1(-p,-q)}/4+L13)を得る。そして、スケーリング合成部１２４は、その最終的な合成相関情報E(p,q)を、最小値検出部１２５に供給して、ステップＳ１６２からＳ１６３に進む。
【０４８０】
ステップＳ１６３では、最小値検出部１２５は、ステップＳ１６２でスケーリング合成部１２４から供給された、注目フレームの時刻tに対して時間的に後の３フレームと、時間的に前の１フレームのそれぞれについての相関情報を合成した合成相関情報E(p,q)が表す相関が最大となる空間方向の位置(p,q)である(p13,q13)を検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)である(p13,q13)を検出し、位置(p,q)が最大相関位置(p13,q13)である場合の合成相関情報E(p13,q13)の「値」、即ち、最小値E13とともに記憶して、ステップＳ１６４に進む。
【０４８１】
ステップＳ１６４では、スケーリング合成部１２４は、相関演算部１０３から供給された６つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)のうちの、３つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)について、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準としてスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１２４は、位置(p,q)=(u1,v1)=(u2/2,v2/2)=(u3/3,v3/3)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報E1(p,q)，E2(2p,2q)，E3(3p,3q)を加算することにより、合成相関情報E(p,q)(=E1(p,q)+E2(2p,2q)+E3(3p,3q))を求める。
【０４８２】
以上のように、スケーリング合成部１２４は、ステップＳ１６４において、時刻t+t0における相関情報E1(u1,v1)、時刻t+2t0における相関情報E2(u2,v2)、時刻t+3t0における相関情報E3(u3,v3)の３つを合成した合成相関情報E(p,q)、即ち、注目フレームの時刻tに対して時間的に後の３フレームのそれぞれについての、合計で３つの相関情報を合成した合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を求めるにあたって合成した相関情報の数である３によって、合成相関情報E(p,q)を除算することにより正規化し、さらに、正規化後の合成相関情報E(p,q)に、所定のオフセット値L03を加算することにより、最終的な合成相関情報E(p,q)(={E1(p,q)+E2(2p,2q)+E3(3p,3q)}/3+L03)を得る。そして、スケーリング合成部１２４は、その最終的な合成相関情報E(p,q)を、最小値検出部１２５に供給して、ステップＳ１６４からＳ１６５に進む。
【０４８３】
ステップＳ１６５では、最小値検出部１２５は、ステップＳ１６４でスケーリング合成部１２４から供給された、注目フレームの時刻tに対して時間的に後の３フレームのそれぞれについての相関情報を合成した合成相関情報E(p,q)が表す相関が最大となる空間方向の位置(p,q)である(p03,q03)を検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)である(p03,q03)を検出し、位置(p,q)が最大相関位置(p03,q03)である場合の合成相関情報E(p03,q03)の「値」、即ち、最小値E03とともに記憶して、図７６のステップＳ１６６に進む。
【０４８４】
ステップＳ１６６では、スケーリング合成部１２４は、相関演算部１０３から供給された６つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)のうちの、５つの相関情報E1(u1,v1)，E2(u2,v2)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)について、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準としてスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１２４は、位置(p,q)=(u1,v1)=(u2/2,v2/2)=(-r1,-s1)=(-r2/2,-s2/2)=(-r3/3,-s3/3)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報E1(p,q)，E2(2p,2q)，F1(-p,-q)，F2(-2p,-2q)，F3(-3p,-3q)を加算することにより、合成相関情報E(p,q)(=E1(p,q)+E2(2p,2q)+F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q))を求める。
【０４８５】
以上のように、スケーリング合成部１２４は、ステップＳ１６６において、時刻t+t0における相関情報E1(u1,v1)、時刻t+2t0における相関情報E2(u2,v2)、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)、時刻t-3t0における相関情報F3(r3,s3)を合成した合成相関情報E(p,q)、即ち、注目フレームの時刻tに対して時間的に後の２フレームと、時間的に前の３フレームのそれぞれについての、合計で５つの相関情報を合成した合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を求めるにあたって合成した相関情報の数である５によって、合成相関情報E(p,q)を除算することにより正規化し、さらに、正規化後の合成相関情報E(p,q)に、所定のオフセット値L32を加算することにより、最終的な合成相関情報E(p,q)(={E1(p,q)+E2(2p,2q)+F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q)}/5+L32)を得る。そして、スケーリング合成部１２４は、その最終的な合成相関情報E(p,q)を、最小値検出部１２５に供給して、ステップＳ１６６からＳ１６７に進む。
【０４８６】
ステップＳ１６７では、最小値検出部１２５は、ステップＳ１６６でスケーリング合成部１２４から供給された、注目フレームの時刻tに対して時間的に後の２フレームと、時間的に前の３フレームのそれぞれについての相関情報を合成した合成相関情報E(p,q)が表す相関が最大となる空間方向の位置(p,q)である(p32,q32)を検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)である(p32,q32)を検出し、位置(p,q)が最大相関位置(p32,q32)である場合の合成相関情報E(p32,q32)の「値」、即ち、最小値E32とともに記憶して、ステップＳ１６８に進む。
【０４８７】
ステップＳ１６８では、スケーリング合成部１２４は、相関演算部１０３から供給された６つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)のうちの、４つの相関情報E1(u1,v1)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)について、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準としてスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１２４は、位置(p,q)=(u1,v1)=(-r1,-s1)=(-r2/2,-s2/2)=(-r3/3,-s3/3)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報E1(p,q)，F1(-p,-q)，F2(-2p,-2q)，F3(-3p,-3q)を加算することにより、合成相関情報E(p,q)(=E1(p,q)+F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q))を求める。
【０４８８】
以上のように、スケーリング合成部１２４は、ステップＳ１６８において、時刻t+t0における相関情報E1(u1,v1)、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)、時刻t-3t0における相関情報F3(r3,s3)を合成した合成相関情報E(p,q)、即ち、注目フレームの時刻tに対して時間的に後の１フレームと、時間的に前の３フレームのそれぞれについての、合計で４つの相関情報を合成した合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を求めるにあたって合成した相関情報の数である４によって、合成相関情報E(p,q)を除算することにより正規化し、さらに、正規化後の合成相関情報E(p,q)に、所定のオフセット値L31を加算することにより、最終的な合成相関情報E(p,q)(={E1(p,q)+F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q)}/4+L31)を得る。そして、スケーリング合成部１２４は、その最終的な合成相関情報E(p,q)を、最小値検出部１２５に供給して、ステップＳ１６８からＳ１６９に進む。
【０４８９】
ステップＳ１６９では、最小値検出部１２５は、ステップＳ１６８でスケーリング合成部１２４から供給された、注目フレームの時刻tに対して時間的に後の１フレームと、時間的に前の３フレームのそれぞれについての相関情報を合成した合成相関情報E(p,q)が表す相関が最大となる空間方向の位置(p,q)である(p31,q31)を検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)である(p31,q31)を検出し、位置(p,q)が最大相関位置(p31,q31)である場合の合成相関情報E(p31,q31)の「値」、即ち、最小値E31とともに記憶して、ステップＳ１７０に進む。
【０４９０】
ステップＳ１７０では、スケーリング合成部１２４は、相関演算部１０３から供給された６つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)のうちの、３つの相関情報F1(r1,s1)，F2(r2,s2)，F3(r3,s3)について、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準としてスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１２４は、位置(p,q)=(-r1,-s1)=(-r2/2,-s2/2)=(-r3/3,-s3/3)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報F1(-p,-q)，F2(-2p,-2q)，F3(-3p,-3q)を加算することにより、合成相関情報E(p,q)(=F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q))を求める。
【０４９１】
以上のように、スケーリング合成部１２４は、ステップＳ１７０において、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)、時刻t-3t0における相関情報F3(r3,s3)を合成した合成相関情報E(p,q)、即ち、注目フレームの時刻tに対して時間的に前の３フレームのそれぞれについての、合計で３つの相関情報を合成した合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を求めるにあたって合成した相関情報の数である３によって、合成相関情報E(p,q)を除算することにより正規化し、さらに、正規化後の合成相関情報E(p,q)に、所定のオフセット値L30を加算することにより、最終的な合成相関情報E(p,q)(={F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q)}/3+L30)を得る。そして、スケーリング合成部１２４は、その最終的な合成相関情報E(p,q)を、最小値検出部１２５に供給して、ステップＳ１７０からＳ１７１に進む。
【０４９２】
ステップＳ１７１では、最小値検出部１２５は、ステップＳ１７０でスケーリング合成部１２４から供給された、注目フレームの時刻tに対して時間的に前の３フレームのそれぞれについての相関情報を合成した合成相関情報E(p,q)が表す相関が最大となる空間方向の位置(p,q)である(p30,q30)を検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)である(p30,q30)を検出し、位置(p,q)が最大相関位置(p30,q30)である場合の合成相関情報E(p30,q30)の「値」、即ち、最小値E30とともに記憶して、図７７のステップＳ１７２に進む。
【０４９３】
ステップＳ１７２では、最小値検出部１２５は、スケーリング合成部１２４からの複数の合成相関情報のうちの、相関が最大の合成相関情報である最大合成相関情報を求める。即ち、最小値検出部１２５は、注目フレームの時刻tに対して時間的に後の３フレームと時間的に前の３フレームの６つの相関情報を合成した合成相関情報E(p,q)の最小値E33（ステップＳ１５９）、注目フレームの時刻tに対して時間的に後の３フレームと時間的に前の２フレームの５つの相関情報を合成した合成相関情報E(p,q)の最小値E23（ステップＳ１６１）、注目フレームの時刻tに対して時間的に後の３フレームと時間的に前の１フレームの４つの相関情報を合成した合成相関情報E(p,q)の最小値E13（ステップＳ１６３）、注目フレームの時刻tに対して時間的に後の３フレームの３つの相関情報を合成した合成相関情報E(p,q)の最小値E03（ステップＳ１６５）、注目フレームの時刻tに対して時間的に後の２フレームと時間的に前の３フレームの５つの相関情報を合成した合成相関情報E(p,q)の最小値E32（ステップＳ１６７）、注目フレームの時刻tに対して時間的に後の１フレームと時間的に前の３フレームの４つの相関情報を合成した合成相関情報E(p,q)の最小値E31（ステップＳ１６９）、注目フレームの時刻tに対して時間的に前の３フレームの３つの相関情報を合成した合成相関情報E(p,q)の最小値E30（ステップＳ１７１）のうちの最小のものを与える合成相関情報を、最大合成相関情報として求める。
【０４９４】
ここで、最大合成相関情報となった合成相関情報を求めるのに、注目フレームの時刻tに対して時間的に後のkフレームと時間的に前のhフレームの相関情報の、合計でk+hの相関情報を合成したとすると（ここでは、k,h=0,1,2,3）、最小値E33，E23，E13，E03，E32，E31，E30のうちの最小のものは、Ehkで表すことができる。
【０４９５】
ステップＳ１７２では、さらに、最小値検出部１２５は、最大合成相関情報の「値」を最小にする空間方向の位置、即ち、最大合成相関情報の最小値Ehkを与える空間方向の位置(phk,qhk)を、最小値E33，E23，E13，E03，E32，E31，E30それぞれとともに記憶した位置(p33,q33)，(p23,q23)，(p13,q13)，(p03,q03)，(p32,q32)，(p31,q31)，(p30,q30)の中から選択することにより検出し、最大相関位置(p0,q0)とする。
【０４９６】
そして、最小値検出部１２５は、最大相関位置(p0,q0)を、平均動きベクトル(p0,q0)として、その平均動きベクトル(p0,q0)に、元の動画データのフレーム周期t0を、時間方向tのコンポーネントとして加えた３次元の動きベクトル(p0,q0,t0)を求め、その３次元の動きベクトル(p0,q0,t0)の方向と直交する方向が、主成分方向であるとして、３次元の動きベクトル(p0,q0,t0)を、フィルタ情報供給部３２（図２５）に供給するとともに、最大合成相関情報の最小値Ehkを、フィルタ情報供給部３２に供給する。さらに、最小値検出部１２５は、最大合成相関情報の最小値Ehkのサフィックスである(h,k)を、最大合成相関情報を求めるのに合成した相関情報の演算に用いられたフレームの範囲を表すカーネルサイズとして、フィルタ情報供給部３２に供給して、ステップＳ１７２からＳ１７３に進む。
【０４９７】
ここで、上述したオフセット値L33（ステップＳ１５８），L23（ステップＳ１６０），L13（ステップＳ１６２），L03（ステップＳ１６４），L32（ステップＳ１６６），L31（ステップＳ１６８），L30（ステップＳ１７０）は、式L33≦L32≦L31≦L30、かつ、式L33≦L23≦L13≦L03を満たす小さな定数である。
【０４９８】
ステップＳ１７３では、フィルタ情報供給部３２（図２５）は、図７２の主成分方向取得部３１（の最小値検出部１２５）からの最大合成相関情報の最小値Ehkが、所定の閾値ε以下（未満）であるかどうかを判定する。ここで、ステップＳ１７３で用いられる閾値εは、オフセット値L33，L23，L13，L03，L32，L31，L30よりも大きな値で、例えば、シミュレーションなどによって決定することができる。また、閾値εは、ユーザの操作に応じて設定することも可能である。
【０４９９】
ステップＳ１７３において、最大合成相関情報の最小値Ehkが、所定の閾値ε以下であると判定された場合、即ち、最大合成相関情報の最小値Ehkがある程度小さく、従って、注目ブロックと対応する領域が、時刻tの前または後のフレームに存在する場合、ステップＳ１７４に進み、フィルタ情報供給部３２は、周波数ドメインにおいて、原点(0,0)から、主成分方向取得部３１からの主成分方向に延びる領域であって、T方向に２π／（４×t0）の幅を有し、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域、即ち、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として決定するとともに、図７２の主成分方向取得部３１（の最小値検出部１２５）からの(h,k)を、そのままカーネルサイズとして決定し、ステップＳ１７６に進む。
【０５００】
一方、ステップＳ１７３において、最大合成相関情報の最小値Ehkが、所定の閾値ε以下でないと判定された場合、即ち、最大合成相関情報の最小値Ehkが大きく、従って、注目ブロックと対応する領域が、時刻tの前および後のフレームのいずれにも存在しない場合、ステップＳ１７５に進み、フィルタ情報供給部３２は、ステップＳ１７４における場合と同様に、周波数ドメインにおいて、原点(0,0)から、主成分方向取得部３１からの主成分方向に延びる領域であって、T方向に２π／（４×t0）の幅を有し、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域を、フィルタの通過帯域として決定する。さらに、ステップＳ１７５では、フィルタ情報供給部３２は、図７２の主成分方向取得部３１（の最小値検出部１２５）からの(h,k)に代えて、(h,k)=(0,0)を、カーネルサイズとして決定し、ステップＳ１７６に進む。
【０５０１】
ステップＳ１７６では、フィルタ情報供給部３２は、ステップＳ１７４またはＳ１７５で決定したフィルタの通過帯域を表すフィルタ情報として、例えば、３次元の動きベクトル(p0,q0,t0)を、フィルタ部２２（図２５）に供給するとともに、カーネルサイズ(h,k)を、フィルタ部２２に供給し、処理を終了する。
【０５０２】
図７３乃至図７７に示したフローチャートにしたがった処理によれば、注目ブロックについて、次のようなフィルタ情報としての３次元の動きベクトル(p0,q0,t0)と、カーネルサイズ(h,k)を求めることができる。
【０５０３】
例えば、図７０に示した動画データにおいて、ブロックB3が注目ブロックである場合には、上述したように、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データそれぞれにおいて、注目ブロックB3と対応する領域B101，B201，B301，B-101，B-201，B-301が存在し、時刻t+t0における相関情報E1(u1,v1)、時刻t+2t0における相関情報E2(u2,v2)、時刻t+3t0における相関情報E3(u3,v3)、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)、時刻t-3t0における相関情報F3(r3,s3)の値は、いずれも、位置(u2,v2)，(u3,v3)，(r1,s1)，(r2,s2)，(r3,s3)が(0,0)のときに最小になり、ほぼ０となる。
【０５０４】
この場合、図７４のステップＳ１５９で求められる、合成相関関数E(p,q)の最小値E33を与える位置(p33,q33)は(0,0)となり、最小値E33は、ほぼオフセット値L33に等しくなる。同様に、図７５のステップＳ１６１で求められる、合成相関関数E(p,q)の最小値E23を与える位置(p23,q23)は(0,0)となり、最小値E23は、ほぼオフセット値L23に等しくなる。また、図７５のステップＳ１６３で求められる、合成相関関数E(p,q)の最小値E13を与える位置(p13,q13)は(0,0)となり、最小値E13は、ほぼオフセット値L13に等しくなる。さらに、図７５のステップＳ１６５で求められる、合成相関関数E(p,q)の最小値E03を与える位置(p03,q03)は(0,0)となり、最小値E03は、ほぼオフセット値L03に等しくなる。また、図７６のステップＳ１６７で求められる、合成相関関数E(p,q)の最小値E32を与える位置(p32,q32)は(0,0)となり、最小値E32は、ほぼオフセット値L32に等しくなる。さらに、図７６のステップＳ１６９で求められる、合成相関関数E(p,q)の最小値E31を与える位置(p31,q31)は(0,0)となり、最小値E31は、ほぼオフセット値L31に等しくなる。また、図７６のステップＳ１７１で求められる、合成相関関数E(p,q)の最小値E30を与える位置(p30,q30)は(0,0)となり、最小値E30は、ほぼオフセット値L30に等しくなる。
【０５０５】
オフセット値L33，L23，L13，L03，L32，L31，L30は、上述したように、式L33≦L32≦L31≦L30、かつ、式L33≦L23≦L13≦L03を満たすので、注目ブロックB3については、図７７のステップＳ１７２において、基本的に、ほぼオフセット値L33となる最小値E33が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出され、平均動きベクトル(p0,q0)として(0,0)が求められる。さらに、ステップＳ１７２では、３次元の動きベクトル(p0,q0,t0)として(0,0,t0)が求められ、カーネルサイズ(h,k)として(3,3)が求められる。
【０５０６】
さらに、オフセット値L33は、上述したように、ステップＳ１７３における閾値εより小さい（以下である）ので、ほぼオフセット値L33となる最小値E33が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出される注目ブロックB3については、図７７のステップＳ１７４において、フィルタ情報となる３次元の動きベクトル(p0,q0,t0)として(0,0,t0)が得られるとともに、カーネルサイズ(h,k)として(3,3)が得られる。
【０５０７】
これは、時刻t-ht0からt+kt0、つまり、時刻t-3t0からt+3t0の間は、注目ブロックB3は、(0,0,t0)という速度（時間t0の間に、空間方向に(0,0)だけ移動する速度）で移動しているということを示している。
【０５０８】
従って、カーネルサイズ(h,k)は、３次元の動きベクトル(p0,q0,t0)、ひいては、その３次元の動きベクトル(p0,q0,t0)から求められる注目ブロックの主成分方向の有効範囲を表しているということができる。
【０５０９】
次に、例えば、図７０に示した動画データにおいて、ブロックB10が注目ブロックである場合には、上述したように、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データそれぞれにおいて、注目ブロックB3と対応する領域B102，B202，B302，B-102，B-202，B-302が存在し、時刻t+t0における相関情報E1(u1,v1)の値は、位置(u1,v1)が(g,0)のときに、時刻t+2t0における相関情報E2(u2,v2)の値は、位置(u2,v2)が(2g,0)のときに、時刻t+3t0における相関情報E3(u3,v3)の値は、位置(u3,v3)が(3g,0)のときに、時刻t-t0における相関情報F1(r1,s1)の値は、位置(r1,s1)が(-g,0)のときに、時刻t-2t0における相関情報F2(r2,s2)の値は、位置(r2,s2)が(-2g,0)のときに、時刻t-3t0における相関情報F3(r3,s3)の値は、位置(r3,s3)が、(-3g,0)のときに、それぞれ最小になり、ほぼ０となる。
【０５１０】
この場合、図７４のステップＳ１５９で求められる、合成相関関数E(p,q)の最小値E33を与える位置(p33,q33)は(g,0)となり、最小値E33は、ほぼオフセット値L33に等しくなる。同様に、図７５のステップＳ１６１で求められる、合成相関関数E(p,q)の最小値E23を与える位置(p23,q23)は(g,0)となり、最小値E23は、ほぼオフセット値L23に等しくなる。また、図７５のステップＳ１６３で求められる、合成相関関数E(p,q)の最小値E13を与える位置(p13,q13)は(g,0)となり、最小値E13は、ほぼオフセット値L13に等しくなる。さらに、図７５のステップＳ１６５で求められる、合成相関関数E(p,q)の最小値E03を与える位置(p03,q03)は(g,0)となり、最小値E03は、ほぼオフセット値L03に等しくなる。また、図７６のステップＳ１６７で求められる、合成相関関数E(p,q)の最小値E32を与える位置(p32,q32)は(g,0)となり、最小値E32は、ほぼオフセット値L32に等しくなる。さらに、図７６のステップＳ１６９で求められる、合成相関関数E(p,q)の最小値E31を与える位置(p31,q31)は(g,0)となり、最小値E31は、ほぼオフセット値L31に等しくなる。また、図７６のステップＳ１７１で求められる、合成相関関数E(p,q)の最小値E30を与える位置(p30,q30)は(g,0)となり、最小値E30は、ほぼオフセット値L30に等しくなる。
【０５１１】
オフセット値L33，L23，L13，L03，L32，L31，L30は、上述したように、式L33≦L32≦L31≦L30、かつ、式L33≦L23≦L13≦L03を満たすので、注目ブロックB10については、図７７のステップＳ１７２において、基本的に、ほぼオフセット値L33となる最小値E33が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出され、平均動きベクトル(p0,q0)として(g,0)が求められる。さらに、ステップＳ１７２では、３次元の動きベクトル(p0,q0,t0)として(g,0,t0)が求められ、カーネルサイズ(h,k)として(3,3)が求められる。
【０５１２】
さらに、オフセット値L33は、上述したように、ステップＳ１７３における閾値εより小さいので、ほぼオフセット値L33となる最小値E33が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出される注目ブロックB10については、図７７のステップＳ１７４において、フィルタ情報となる３次元の動きベクトル(p0,q0,t0)として(g,0,t0)が得られるとともに、カーネルサイズ(h,k)として(3,3)が得られる。
【０５１３】
これは、時刻t-ht0からt+kt0、つまり、時刻t-3t0からt+3t0の間は、注目ブロックB10は、(g,0,t0)という速度（時間t0の間に、空間方向に(g,0)だけ移動する速度）で移動しているということを示している。
【０５１４】
次に、例えば、図７１に示した動画データにおいて、ブロックB7が注目ブロックである場合には、上述したように、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0における画像データそれぞれにおいて、注目ブロックB7と対応する領域B111，B211，B311，B-111，B-211が存在し、時刻t+t0における相関情報E1(u1,v1)の値は、位置(u1,v1)が(0,0)のときに、時刻t+2t0における相関情報E2(u2,v2)の値は、位置(u2,v2)が(0,0)のときに、時刻t+3t0における相関情報E3(u3,v3)の値は、位置(u3,v3)が(0,0)のときに、時刻t-t0における相関情報F1(r1,s1)の値は、位置(r1,s1)が(0,0)のときに、時刻t-2t0における相関情報F2(r2,s2)の値は、位置(r2,s2)が(0,0)のときに、それぞれ最小になり、ほぼ０となる。
【０５１５】
しかしながら、時刻t-3t0における画像データにおいて、注目ブロックB7と対応する領域は、本来は、注目ブロックB7と同一位置の領域B-311であるはずであるが、動いている被写体P6902の後ろに隠れてしまっており、存在しない。このため、時刻t-3t0における相関情報F3(r3,s3)の値が最小になるのは、位置(r3,s3)が(0,0)のときであって欲しいが、相関情報F3(r3,s3)の値は、位置(r3,s3)が(0,0)のときに最小になるとは限らない。即ち、相関情報F3(r3,s3)の値は、(0,0)とは限らないある位置(r3,s3)において最小になり、さらに、その値は、ある程度大きな値となる。
【０５１６】
この場合、図７４のステップＳ１５８において、時刻t-3t0における相関情報F3(r3,s3)をも用いて求められる合成相関関数E(p,q)については、その最小値E33を与える位置(p33,q33)は、(0,0)とは限らないある位置となり、最小値E33は、オフセット値L33よりかなり大きな値になる。同様に、図７６のステップＳ１６６において、時刻t-3t0における相関情報F3(r3,s3)をも用いて求められる合成相関関数E(p,q)についても、その最小値E32を与える位置(p32,q32)は、(0,0)とは限らないある位置となり、最小値E32は、オフセット値L32よりかなり大きな値になる。さらに、図７６のステップＳ１６８において、時刻t-3t0における相関情報F3(r3,s3)をも用いて求められる合成相関関数E(p,q)についても、その最小値E31を与える位置(p31,q31)は、(0,0)とは限らないある位置となり、最小値E31は、オフセット値L31よりかなり大きな値になる。また、図７６のステップＳ１７０において、時刻t-3t0における相関情報F3(r3,s3)をも用いて求められる合成相関関数E(p,q)についても、その最小値E30を与える位置(p30,q30)は、(0,0)とは限らないある位置となり、最小値E30は、オフセット値L30よりかなり大きな値になる。
【０５１７】
一方、図７５のステップＳ１６０において、時刻t-3t0における相関情報F3(r3,s3)を用いずに求められる合成相関関数E(p,q)については、その最小値E23を与える位置(p23,q23)は(0,0)となり、最小値E23は、ほぼオフセット値L23に等しくなる。同様に、図７５のステップＳ１６２において、時刻t-3t0における相関情報F3(r3,s3)を用いずに求められる合成相関関数E(p,q)についても、その最小値E13を与える位置(p13,q13)は(0,0)となり、最小値E13は、ほぼオフセット値L13に等しくなる。さらに、図７５のステップＳ１６４において、時刻t-3t0における相関情報F3(r3,s3)を用いずに求められる合成相関関数E(p,q)についても、その最小値E03を与える位置(p03,q03)は(0,0)となり、最小値E03は、ほぼオフセット値L03に等しくなる。
【０５１８】
オフセット値L23，L13，L03は、上述したことから、式L23≦L13≦L03を満たすので、注目ブロックB7については、図７７のステップＳ１７２において、基本的に、ほぼオフセット値L23となる最小値E23が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出され、平均動きベクトル(p0,q0)として(0,0)が求められる。さらに、ステップＳ１７２では、３次元の動きベクトル(p0,q0,t0)として(0,0,t0)が求められ、カーネルサイズ(h,k)として(2,3)が求められる。
【０５１９】
さらに、オフセット値L23は、上述したように、ステップＳ１７３における閾値εより小さいので、ほぼオフセット値L23となる最小値E23が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出される注目ブロックB7については、図７７のステップＳ１７４において、フィルタ情報となる３次元の動きベクトル(p0,q0,t0)として(0,0,t0)が得られるとともに、カーネルサイズ(h,k)として(2,3)が得られる。
【０５２０】
これは、時刻t-ht0からt+kt0、つまり、時刻t-2t0からt+3t0の間は、注目ブロックB7は、(0,0,t0)という速度で移動しているということを示している。
【０５２１】
次に、例えば、図７１に示した動画データにおいて、ブロックB14が注目ブロックである場合には、上述したように、時刻t+t0，t-t0，t-2t0，t-3t0における画像データそれぞれにおいて、注目ブロックB14と対応する領域B112，B-112，B-212，B-312が存在し、時刻t+t0における相関情報E1(u1,v1)の値は、位置(u1,v1)が(0,0)のときに、時刻t-t0における相関情報F1(r1,s1)の値は、位置(r1,s1)が(0,0)のときに、時刻t-2t0における相関情報F2(r2,s2)の値は、位置(r2,s2)が(0,0)のときに、時刻t-3t0における相関情報F3(r3,s3)の値は、位置(r3,s3)が(0,0)のときに、それぞれ最小になり、ほぼ０となる。
【０５２２】
しかしながら、時刻t+2t0における画像データにおいて、注目ブロックB14と対応する領域は、本来は、注目ブロックB14と同一位置の領域B212であるはずであるが、動いている被写体P6902の後ろに隠れてしまっており、存在しない。このため、時刻t+2t0における相関情報E2(u2,v2)の値が最小になるのは、位置(u2,v2)が(0,0)のときであって欲しいが、相関情報E2(u2,v2)の値は、位置(u2,v2)が(0,0)のときに最小になるとは限らない。即ち、相関情報E2(u2,v2)の値は、(0,0)とは限らないある位置(u2,v2)において最小になり、さらに、その値は、ある程度大きな値となる。
【０５２３】
さらに、時刻t+3t0における画像データにおいて、注目ブロックB14と対応する領域は、本来は、注目ブロックB14と同一位置の領域B312であるはずであるが、動いている被写体P6902の後ろに隠れてしまっており、存在しない。このため、時刻t+3t0における相関情報E3(u3,v3)の値が最小になるのは、位置(u3,v3)が(0,0)のときであって欲しいが、相関情報E3(u3,v3)の値は、位置(u3,v3)が(0,0)のときに最小になるとは限らない。即ち、相関情報E3(u3,v3)の値は、(0,0)とは限らないある位置(u3,v3)において最小になり、さらに、その値は、ある程度大きな値となる。
【０５２４】
この場合、図７４のステップＳ１５８において、時刻t+2t0における相関情報E2(u2,v2)および時刻t+3t0における相関情報E3(u3,v3)をも用いて求められる合成相関関数E(p,q)については、その最小値E33を与える位置(p33,q33)は、(0,0)とは限らないある位置となり、最小値E33は、オフセット値L33よりかなり大きな値になる。同様に、図７５のステップＳ１６０において、時刻t+2t0における相関情報E2(u2,v2)および時刻t+3t0における相関情報E3(u3,v3)をも用いて求められる合成相関関数E(p,q)についても、その最小値E23を与える位置(p23,q23)は(0,0)とは限らないある位置となり、最小値E23は、オフセット値L23よりかなり大きな値となる。また、図７５のステップＳ１６２において、時刻t+2t0における相関情報E2(u2,v2)および時刻t+3t0における相関情報E3(u3,v3)をも用いて求められる合成相関関数E(p,q)についても、その最小値E13を与える位置(p13,q13)は、(0,0)とは限らないある位置となり、最小値E13は、オフセット値L13よりかなり大きな値となる。さらに、図７５のステップＳ１６４において、時刻t+2t0における相関情報E2(u2,v2)および時刻t+3t0における相関情報E3(u3,v3)をも用いて求められる合成相関関数E(p,q)についても、その最小値E03を与える位置(p03,q03)は、(0,0)とは限らないある位置となり、最小値E03は、オフセット値L03よりかなり大きな値となる。
【０５２５】
また、図７６のステップＳ１６６において、時刻t+3t0における相関情報E3(u3,v3)は用いられないが、時刻t+2t0における相関情報E2(u2,v2)を用いて求められる合成相関関数E(p,q)についても、その最小値E32を与える位置(p32,q32)は、(0,0)とは限らないある位置となり、最小値E32は、オフセット値L32よりかなり大きな値になる。
【０５２６】
一方、図７６のステップＳ１６８において、時刻t+2t0における相関情報E2(u2,v2)および時刻t+3t0における相関情報E3(u3,v3)のいずれも用いられずに求められる合成相関関数E(p,q)については、その最小値E31を与える位置(p31,q31)は(0,0)となり、最小値E31は、ほぼオフセット値L31に等しくなる。同様に、図７６のステップＳ１７０において、時刻t+2t0における相関情報E2(u2,v2)および時刻t+3t0における相関情報E3(u3,v3)のいずれも用いられずに求められる合成相関関数E(p,q)についても、その最小値E30を与える位置(p30,q30)は(0,0)となり、最小値E30は、ほぼオフセット値L30に等しくなる。
【０５２７】
オフセット値L31，L30は、上述したことから、式L31≦L30を満たすので、注目ブロックB14については、図７７のステップＳ１７２において、基本的に、ほぼオフセット値L31となる最小値E31が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出され、平均動きベクトル(p0,q0)として(0,0)が求められる。さらに、ステップＳ１７２では、３次元の動きベクトル(p0,q0,t0)として(0,0,t0)が求められ、カーネルサイズ(h,k)として(3,1)が求められる。
【０５２８】
さらに、オフセット値L31は、上述したように、ステップＳ１７３における閾値εより小さいので、ほぼオフセット値L31となる最小値E31が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出される注目ブロックB14については、図７７のステップＳ１７４において、フィルタ情報となる３次元の動きベクトル(p0,q0,t0)として(0,0,t0)が得られるとともに、カーネルサイズ(h,k)として(3,1)が得られる。
【０５２９】
これは、時刻t-ht0からt+kt0、つまり、時刻t-3t0からt+t0の間は、注目ブロックB14は、(0,0,t0)という速度で移動しているということを示している。
【０５３０】
次に、例えば、図７１に示した動画データにおいて、ブロックB9が注目ブロックである場合には、上述したように、注目ブロックB9では、静止している被写体P6901のある位置において、動いている被写体P6902が、静止している被写体P6901を隠した状態となっているため、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データのいずれにも、注目ブロックB9と対応する領域は存在しない。
【０５３１】
このため、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)の値は、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データの、注目ブロックB9と最も類似する位置(u1,v1)，(u2,v2)，(u3,v3)，(r1,s1)，(r2,s2)，(r3,s3)で、それぞれ最小となるが、その値は、ある程度大きな値となる。
【０５３２】
この場合、図７４のステップＳ１５８において求められる合成相関関数E(p,q)については、その最小値E33を与える位置(p33,q33)は、ある位置となり、最小値E33は、オフセット値L33よりかなり大きな値になる。同様に、図７５のステップＳ１６０において求められる合成相関関数E(p,q)についても、その最小値E23を与える位置(p23,q23)はある位置となり、最小値E23は、オフセット値L23よりかなり大きな値となる。また、図７５のステップＳ１６２において求められる合成相関関数E(p,q)についても、その最小値E13を与える位置(p13,q13)はある位置となり、最小値E13は、オフセット値L13よりかなり大きな値となる。さらに、図７５のステップＳ１６４において求められる合成相関関数E(p,q)についても、その最小値E03を与える位置(p03,q03)はある位置となり、最小値E03は、オフセット値L03よりかなり大きな値となる。また、図７６のステップＳ１６６において求められる合成相関関数E(p,q)についても、その最小値E32を与える位置(p32,q32)はある位置となり、最小値E32は、オフセット値L32よりかなり大きな値になる。さらに、図７６のステップＳ１６８において求められる合成相関関数E(p,q)についても、その最小値E31を与える位置(p31,q31)はある位置となり、最小値E31は、オフセット値L31よりかなり大きな値になる。また、図７６のステップＳ１７０において求められる合成相関関数E(p,q)についても、その最小値E30を与える位置(p30,q30)はある位置となり、最小値E30は、オフセット値L30よりかなり大きな値になる。
【０５３３】
従って、最小値E33，E23，E13，E03，E32，E31，E30は、いずれもかなり大きな値となり、図７７のステップＳ１７２において、その中のいずれが最小のものとして選択されたとしても、ステップＳ１７３における閾値εより大きくなり（以上となり）、注目ブロックB9については、図７７のステップＳ１７５において、フィルタ情報となる３次元の動きベクトル(p0,q0,t0)として(p0',q0',t0)が得られるとともに、カーネルサイズ(h,k)として(0,0)が得られる。
【０５３４】
これは、時刻t-ht0からt+kt0、つまり、時刻tのタイミングだけにおいて、注目ブロックB9は、(p0',q0',t0)という速度で移動しているということを示している。換言すれば、カーネルサイズ(h,k)が(0,0)ということは、注目ブロックB9に対応する領域が、他のどの時刻における画像データ内にも存在しないということである。
【０５３５】
なお、(p0',q0')は、最小値E33，E23，E13，E03，E32，E31，E30のうちの最小のものを与える位置(p,q)を表す。また、カーネルサイズ(h,k)が(0,0)のときの(p,q)はダミーデータであり、使用されることはない。
【０５３６】
以上のように、図７３乃至図７７に示したフローチャートにしたがった処理によれば、注目ブロックについて、フィルタ情報としての３次元の動きベクトル(p0,q0,t0)と、カーネルサイズ(h,k)が求められ、これにより、注目ブロックについて、「時刻t-ht0からt+kt0の間は、注目ブロックは(p0,q0,t0)という速度で移動している」という結果を得ることが出来る。
【０５３７】
なお、オフセット値L33，L23，L13，L03，L32，L31，L30が、式L33≦L32≦L31≦L30、かつ、式L33≦L23≦L13≦L03を満たすことにより、基本的には、図７７のステップＳ１７２において、最小値E33，E23，E13，E03，E32，E31，E30のうちの、hやkの大きい最小値Ehkが選択されやすくなる。これにより、動画データにノイズが含まれ、注目ブロックと、他のフレームの注目ブロックに対応する領域との間に、多少の画素値の違いがあっても、注目ブロックが(p0,q0,t0)という速度で移動しているという範囲（時間）を、過小評価してしまうことを防止することができる。
【０５３８】
次に、図２５の主成分方向取得部３１が図７２に示したように構成されるフィルタ生成部２３が、図７３乃至図７７にしたがった処理を行うことにより、フィルタ生成部２３（のフィルタ情報供給部３２）からフィルタ部２２に対して、フィルタ情報としての３次元の動きベクトル(p0,q0,t0)と、カーネルサイズ(h,k)が供給される場合、フィルタ部２２では、図７８に示すフローチャートにしたがった処理が、図２６のステップＳ３の処理として行われる。
【０５３９】
即ち、ステップＳ１９１において、フィルタ部２２は、フィルタ情報供給部３２からフィルタ情報として供給される３次元の動きベクトル(p0,q0,t0)と、カーネルサイズ(h,k)を受信することにより取得し、ステップＳ１９２に進む。
【０５４０】
ステップＳ１９２では、フィルタ部２２は、時刻tのフレームの注目ブロック内の位置(x,y)における画素の画素値C(t,x,y)を、例えば、時刻t-3t0乃至t+3t0における画素の画素値D(t-3t0,x-3p0,y-3q0)，D(t-2t0,x-2p0,y-2q0)，D(t-t0,x-p0,y-q0)，D(t,x,y)，D(t+t0,x+p0,y+q0)，D(t+2t0,x+2p0,y+2q0)，D(t+3t0,x+3p0,y+3q0)のうちの、カーネルサイズ(h,k)に応じた時刻（フレーム）の範囲の画素値を用いた演算により求めるフィルタリングを行う。なお、D(t,x,y)は、フィルタリングに用いる動画データの時刻tの位置(x,y)における画素値を表す。
【０５４１】
即ち、ステップＳ１９２では、フィルタ部２２は、フィルタリング、つまり、注目ブロック内の位置(x,y)における画素の画素値C(t,x,y)の演算を、カーネルサイズ(h,k)によって表される、動きベクトル(p0,q0,t0)の有効範囲内のフレームの画素値のみを用いて行う。
【０５４２】
具体的には、ステップＳ１９２では、フィルタ部２２は、カーネルサイズ(h,k)が(3,3)である場合、時刻t-3t0乃至t+3t0における画素の画素値D(t-3t0,x-3p0,y-3q0)，D(t-2t0,x-2p0,y-2q0)，D(t-t0,x-p0,y-q0)，D(t,x,y)，D(t+t0,x+p0,y+q0)，D(t+2t0,x+2p0,y+2q0)，D(t+3t0,x+3p0,y+3q0)を用い、例えば、式（１）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。この場合、図６８のステップＳ１３２における場合と同様にして、注目ブロックの主成分方向に延びる、T方向の幅が2π/(4t0)の領域を通過帯域とするフィルタによるフィルタリングが行われる。
【０５４３】
【数１】
2006086707.tif 000003
・・・（１）
【０５４４】
また、フィルタ部２２は、カーネルサイズ(h,k)が(2,3)である場合、時刻t-3t0における画素の画素値D(t-3t0,x-3p0,y-3q0)は用いずに、時刻t-2t0乃至t+3t0における画素の画素値D(t-2t0,x-2p0,y-2q0)，D(t-t0,x-p0,y-q0)，D(t,x,y)，D(t+t0,x+p0,y+q0)，D(t+2t0,x+2p0,y+2q0)，D(t+3t0,x+3p0,y+3q0)を用い、例えば、式（２）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。
【０５４５】
【数２】
2006086707.tif 000004
・・・（２）
【０５４６】
さらに、フィルタ部２２は、カーネルサイズ(h,k)が(1,3)である場合、時刻t-3t0における画素の画素値D(t-3t0,x-3p0,y-3q0)、および時刻t-2t0における画素の画素値D(t-2t0,x-2p0,y-2q0)は用いずに、時刻t-t0乃至t+3t0における画素の画素値D(t-t0,x-p0,y-q0)，D(t,x,y)，D(t+t0,x+p0,y+q0)，D(t+2t0,x+2p0,y+2q0)，D(t+3t0,x+3p0,y+3q0)を用い、例えば、式（３）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。
【０５４７】
【数３】
2006086707.tif 000005
・・・（３）
【０５４８】
また、フィルタ部２２は、カーネルサイズ(h,k)が(0,3)である場合、時刻t-3t0における画素の画素値D(t-3t0,x-3p0,y-3q0)、時刻t-2t0における画素の画素値D(t-2t0,x-2p0,y-2q0)、および時刻t-t0における画素の画素値D(t-t0,x-p0,y-q0)は用いずに、時刻t乃至t+3t0における画素の画素値D(t,x,y)，D(t+t0,x+p0,y+q0)，D(t+2t0,x+2p0,y+2q0)，D(t+3t0,x+3p0,y+3q0)を用い、例えば、式（４）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。
【０５４９】
【数４】
2006086707.tif 000006
・・・（４）
【０５５０】
同様に、フィルタ部２２は、カーネルサイズ(h,k)が(3,2)である場合、時刻t+3t0における画素の画素値D(t+3t0,x+3p0,y+3q0)は用いずに、時刻t-3t0乃至t+2t0における画素の画素値D(t-3t0,x-3p0,y-3q0)，D(t-2t0,x-2p0,y-2q0)，D(t-t0,x-p0,y-q0)，D(t,x,y)，D(t+t0,x+p0,y+q0)，D(t+2t0,x+2p0,y+2q0)を用い、例えば、式（５）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。
【０５５１】
【数５】
2006086707.tif 000007
・・・（５）
【０５５２】
さらに、フィルタ部２２は、カーネルサイズ(h,k)が(3,1)である場合、時刻t+3t0における画素の画素値D(t+3t0,x+3p0,y+3q0)、および時刻t+2t0における画素の画素値D(t+2t0,x+2p0,y+2q0)は用いずに、時刻t-3t0乃至t+t0における画素の画素値D(t-3t0,x-3p0,y-3q0)，D(t-2t0,x-2p0,y-2q0)，D(t-t0,x-p0,y-q0)，D(t,x,y)，D(t+t0,x+p0,y+q0)を用い、例えば、式（６）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。
【０５５３】
【数６】
2006086707.tif 000008
・・・（６）
【０５５４】
また、フィルタ部２２は、カーネルサイズ(h,k)が(3,0)である場合、時刻t+3t0における画素の画素値D(t+3t0,x+3p0,y+3q0)、時刻t+2t0における画素の画素値D(t+2t0,x+2p0,y+2q0)、および時刻t+t0における画素の画素値D(t+t0,x+p0,y+q0)は用いずに、時刻t-3t0乃至tにおける画素の画素値D(t-3t0,x-3p0,y-3q0)，D(t-2t0,x-2p0,y-2q0)，D(t-t0,x-p0,y-q0)，D(t,x,y)を用い、例えば、式（７）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。
【０５５５】
【数７】
2006086707.tif 000009
・・・（７）
【０５５６】
一方、カーネルサイズ(h,k)が(0,0)である場合は、注目ブロックと同一の（画像の）領域（注目ブロックに対応する領域）が、他の時刻t-3t0，t-2t0，t-t0，t+t0，t+2t0，t+3t0の画像に存在しない場合であり、この場合、時間方向のフィルタリングは、画質の劣化をもたらすので、注目ブロックのフレーム（注目フレーム）、即ち、時刻tにおける画素の画素値D(t,x,y)のみを用い、例えば、式（８）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。なお、式（８）は、フィルタリングを行わないことと等価である。
【０５５７】
【数８】
2006086707.tif 000010
・・・（８）
【０５５８】
ここで、注目ブロックに対応する領域が、他の時刻t-3t0，t-2t0，t-t0，t+t0，t+2t0，t+3t0の画像に存在しない場合としては、例えば、注目ブロック内に投影されている被写体の移動速度が、人間が認識することができないほど高速である場合や、注目ブロック内に投影されている被写体が、時刻tのフレーム（注目フレーム）にだけ突然現れた場合などがある。
【０５５９】
また、相関情報や合成相関情報の最小値を求めることは、いわゆるブロックマッチングにより動きベクトルを検出することに相当するが、注目ブロック内に投影されている被写体が、ブロックマッチングにおける探索範囲を超えて移動してしまっている場合も、注目ブロックに対応する領域が、他の時刻t-3t0，t-2t0，t-t0，t+t0，t+2t0，t+3t0の画像に存在しない場合に該当する。
【０５６０】
なお、ステップＳ１９２において、画素値C(t,x,y)の演算としてのフィルタリングは、時間方向のサンプル数を1/4に間引くダウンサンプリングを行いながら、即ち、４フレームごとに１フレームの割合で行われる。
【０５６１】
ステップＳ１９２の処理後は、ステップＳ１９３に進み、フィルタ部２２は、フィルタリング結果、即ち、ステップＳ１９２におけるフィルタリング結果（式（１）乃至（８）のうちのいずれかの演算結果）である画素値C(t,x,y)を、時刻tの位置(x,y)における画素値として、エンコード部２４に出力する。
【０５６２】
以上のように、第２の動き検出処理（図７３乃至図７７のステップＳ１５１乃至Ｓ１７６の処理のうちの、ステップＳ１５１乃至Ｓ１７２の処理）では、第１の動き検出処理と同様に、フィルタの通過帯域のT方向の幅である2π/(4t0)に相当する複数のフレームそれぞれとの相関を表す複数の相関情報を用いることによって、注目ブロックから複数のフレームへの、いわば平均的な動きを表す平均動きベクトルを求めるが、その際に、注目ブロックに対応する領域が存在しないフレームについての相関情報を用いないようにしたので、注目ブロックの平均的な動きを正確に表す平均動きベクトルを求めることができ、さらに、注目ブロックについて、正確な主成分方向を求めることができる。
【０５６３】
また、第２の動き検出処理では、カーネルサイズ(h,k)を出力し、フィルタ部２２でのフィルタリングにおいては、そのカーネルサイズ(h,k)に対応した範囲のフレームの画素だけを用いるようにしたので、即ち、注目ブロックに対応する領域が存在しないフレームの画素を用いないようにしたので、人間の視覚で認識することができる周波数成分のみの適切なデータを得ることができる。
【０５６４】
次に、例えば、図２５に示した送信装置１では、上述したように、フレームレート1/t0の動画データを対象に、人間の視覚特性を考慮した必要な情報のみを残すフィルタリングを行うとともに、ダウンサンプリングを行うことで、データ量を削減することができる。
【０５６５】
さらに、図３３に示した受信装置２では、送信装置１が出力するフレームレート1/(4t0)の動画データを対象に、フィルタリングとアップサンプリングを行うことで、理想的には、人間が画質の劣化を感じないフレームレート1/t0の動画データを得ることができる。
【０５６６】
ところで、受信装置２では、フレームレート1/(4t0)の動画データをアップサンプリングすることによって、その動画データの２つのフレームの間に、３フレームが補間され、これにより、フレームレート1/t0の動画データが得られる。このアップサンプリングにより補間されるフレーム（以下、適宜、補間フレームという）の画像データは、フレームレート1/(4t0)の動画データのみから求められるため、実際には、多少の画質の劣化が生じることがある。
【０５６７】
そこで、送信装置１では、フレームレート1/(4t0)の動画データの他に、その動画データの２つのフレームの間に補間される補間フレームの画質の劣化を補う、いわば補足データを得て出力するようにすることができる。
【０５６８】
図７９は、フレームレート1/t0の動画データから、フレームレート1/(4t0)の動画データと、補足データとを得て出力する図２４の送信装置１の構成例を示している。
【０５６９】
なお、以下においては、フレーム周期t0を、例えば、1/240秒とする。この場合、送信装置１に供給（入力）されるフレームレート1/t0の動画データは、フレームレートが240fpsの動画データである。また、フレームレートが240fpsの動画データなどを、以下、適宜、240fps動画データなどと記載する。
【０５７０】
図７９の送信装置１において、入力端子２１１には、240fps動画データが入力される。入力端子２１１は、帯域制限フィルタ部２１２に接続されており、入力端子２１１に入力された240fps動画データは、帯域制限フィルタ部２１２に供給される。
【０５７１】
帯域制限フィルタ部２１２は、例えば、図２５に示したバッファ部２１、フィルタ部２２、およびフィルタ生成部２３で構成されている。帯域制限フィルタ部２１２では、入力端子２１１からの240fps動画データを対象に、上述したような人間の視覚特性を考慮した必要な情報のみを残すフィルタリングが行われる。但し、帯域制限フィルタ部２１２を構成するフィルタ部２２（図２５）では、1/4のダウンサンプリングは行われない。従って、帯域制限フィルタ部２１２から出力される動画データは、240fps動画データのフレームレートが1/4になったフレームレート1/(4t0)の動画データ（60fps動画データ）ではなく、240fps動画データである。
【０５７２】
なお、帯域制限フィルタ部２１２を構成するフィルタ生成部２３（図２５）の主成分方向取得部３１は、例えば、図７２に示したように構成することができる。この場合、フィルタ生成部２３では、図７３乃至図７７で説明した処理が行われ、帯域制限フィルタ部２１２を構成するフィルタ部２２（図２５）に対して、フィルタ情報としての３次元の動きベクトル(p0,q0,t0)と、カーネルサイズ(h,k)とが出力される（図７７のステップＳ１７６）。そして、帯域制限フィルタ部２１２を構成するフィルタ部２２では、図７８で説明したように、カーネルサイズ(h,k)に応じたフィルタリングが行われる。但し、帯域制限フィルタ部２１２を構成するフィルタ部２２では、上述したように、ダウンサンプリングは行われない。即ち、240fps動画データの４フレームごとに１フレームのフィルタリングが行われるのではなく、240fps動画データの各フレーム（の各画素）についてフィルタリングが行われる。
【０５７３】
ここで、帯域制限フィルタ部２１２での処理は、入力端子２１１からの240fps動画データから、人間には認識することができない周波数成分を除去するものであり、いわば240fps動画データを圧縮するための前段階の処理（プリプロセス）と考えることも出来る。帯域制限フィルタ部２１２は、図７９の送信装置１において必須のブロックというわけではなく、従って、図７９の送信装置１は、帯域制限フィルタ部２１２を設けずに構成することができる。この場合、入力端子２１１からの240fps動画データは、帯域制限フィルタ部２１２の後段に設けられている分離回路２１３に対して、直接入力される。
【０５７４】
図７９では、帯域制限フィルタ部２１２が出力する240fps動画データは、その後段の分離回路２１３に供給される。
【０５７５】
分離回路２１３は、帯域制限フィルタ部２１２からの240fps動画データ（第１の動画データ）を、その240fps動画データのフレームレートよりも低いフレームレートの、例えば、60fps動画データ（第２の動画データ）と、240fps動画データから60fps動画データを除いた残りの動画データ（第３の動画データ）とに分離する。即ち、分離回路２１３は、帯域制限フィルタ部２１２からの240fps動画データの４フレームごとに１フレームを選択することで、その240fps動画データから、60fps動画データを分離する。つまり、分離回路２１３は、図２５のフィルタ部２２における1/4のダウンサンプリングの結果得られるのと同様の60fps動画データを得る。さらに、分離回路２１３は、帯域制限フィルタ部２１２からの240fps動画データから、60fps動画データを分離した残りの動画データを得る。
【０５７６】
ここで、240fps動画データから、60fps動画データを分離した残りの動画データを、以下、適宜、240-60fps動画データという。
【０５７７】
分離回路２１３において得られた60fps動画データは、圧縮回路２１４に供給される。また、分離回路２１３において得られた240-60fps動画データは、圧縮の対象の画像としてのターゲット(target)画像として、差分情報抽出部２１７に供給される。
【０５７８】
圧縮回路２１４は、分離回路２１３から供給される60fps動画データを、例えば、MPEGなどの既知のエンコード方法、その他の任意のエンコード方法によりエンコード（圧縮）し、その結果得られるビットストリームを出力する。このビットストリームは、解凍回路２１６と出力端子２１５に供給され、これにより、出力端子２１５からは、60fps動画データのエンコード（圧縮）結果としてのビットストリームが出力される。ここで、圧縮回路２１４は、図２５のエンコード部２４に相当し、従って、圧縮回路２１４が出力するビットストリームは、エンコードデータに相当する。
【０５７９】
解凍回路２１６は、圧縮回路２１４からのビットストリームをデコード（解凍）（伸張）し、即ち、ローカルデコードし、そのローカルデコードの結果得られる60fps動画データを、ターゲット画像の圧縮にあたって参照するリファレンス(reference)画像として、差分情報抽出部２１７に供給する。
【０５８０】
なお、圧縮回路２１４が、例えば、MPEGエンコードなどの、データのエンコードにあたってローカルデコードを行うエンコード方法によるエンコードを行う場合には、圧縮回路２１４において行われるローカルデコードの結果得られる60fps動画データを、リファレンス画像として、圧縮回路２１４から差分情報抽出部２１７に供給するようにすることができる。この場合、解凍回路２１６は、設ける必要がない。
【０５８１】
差分情報抽出部２１７は、分離回路２１３からのターゲット画像である240-60fps動画データを、解凍回路２１６からのリファレンス画像である60fps動画データを用いて圧縮し、その圧縮によって得られるデータ（以下、適宜、差分圧縮データという）を、出力端子２１８に供給する。即ち、差分情報抽出部２１７は、リファレンス画像から、ターゲット画像の推測値を求め、その推測値を用いて、ターゲット画像を圧縮する。具体的には、差分情報抽出部２１７は、ターゲット画像と、その推測値との差分をとることで、ターゲット画像を圧縮する。そして、ターゲット画像とその推測値との差分をとることで、ターゲット画像を圧縮することにより得られるデータである差分圧縮データは、差分情報抽出部２１７から出力端子２１８に供給される。これにより、出力端子２１８からは、240-60fps動画データの圧縮結果としての差分圧縮データが出力される。
【０５８２】
ここで、以上のように、図７９の送信装置１では、60fps動画データのエンコード（圧縮）結果としてのビットストリームと、240-60fps動画データの圧縮結果としての差分圧縮データとが、出力端子２１５と２１８とから、独立に出力される。ビットストリームと差分圧縮データとは、そのまま別々に、あるいは、多重化され、図２４の記録媒体１１に記録され、あるいは、伝送媒体１２を介して伝送される。
【０５８３】
なお、出力端子２１８から出力される、240-60fps動画データの圧縮結果としての差分圧縮データが、上述した補間フレームの画質の劣化を補う補足データである。
【０５８４】
次に、図８０は、分離回路２１３に入力される240fps動画データと、分離回路２１３から出力される60fps動画データ、および240-60fps動画データを示している。なお、図８０において、横軸は時間を表している。
【０５８５】
図８０の一番上のフレームf1，f2，・・・，f13は、図７９の分離回路２１３に入力される240fps動画データを示している。240fps動画データにおいて、あるフレームfiと次のフレームfi+1との時間間隔は、1/240秒である(iは整数）。
【０５８６】
なお、フレームf1の前と、フレームf13の後にも、フレームは続くが、図８０では、図示を省略してある。
【０５８７】
図７９の分離回路２１３は、図８０の一番上に示した240fps動画データを、図８０の上から２番目に示す60fps動画データと、図８０の一番下に示す240-60fps動画データとに分離する。
【０５８８】
即ち、分離回路２１３は、240fps動画データの４フレームf4i+1，f4i+2，f4i+3，f4i+4ごとの、例えば、１フレームf4i+1を選択することにより、図８０の上から２番目に示すようなフレーム・・・，f1，f5，f9，f13，・・・からなる60fps動画データを得る。
【０５８９】
また、分離回路２１３は、240fps動画データから、60fps動画データを除いた残りの、図８０の一番下に示すようなフレーム・・・，f2，f3，f4，f6，f7，f8，f10，f11，f12，・・・からなる240-60fps動画データを得る。
【０５９０】
60fps動画データにおいては、あるフレームと次のフレームとの時間間隔は、1/60秒である。また、240-60fps動画データは、１秒あたりのフレーム数が、240-60=180フレームの動画データである。
【０５９１】
図７９の差分情報抽出部２１７には、図８０の上から２番目に示す60fps動画データがリファレンス画像として供給されるとともに、図８０の一番下に示す240-60fps動画データがターゲット画像として供給される。差分情報抽出部２１７では、ターゲット画像である240-60fps動画データのフレーム・・・，f2，f3，f4，f6，f7，f8，f10，f11，f12，・・・（の画像データ）が、リファレンス画像である60fps動画データのフレーム・・・，f1，f5，f9，f13，・・・（の画像データ）を用いて圧縮される。
【０５９２】
なお、図７９の圧縮回路２１４において、分離回路２１３からの60fps動画データに対して、完全に可逆のエンコードが行われる場合には、分離回路２１３で得られる60fps動画データと、解凍回路２１６から差分情報抽出部２１７に供給されるリファレンス画像としての60fps動画データとは一致する。しかしながら、圧縮回路２１４において、分離回路２１３からの60fps動画データに対して行われるエンコードが完全に可逆でない場合には、分離回路２１３で得られる60fps動画データと、解凍回路２１６から差分情報抽出部２１７に供給されるリファレンス画像としての60fps動画データとには、厳密には違いがある。但し、ここでは、その違いを問題とする必要はないので、以下では、分離回路２１３で得られる60fps動画データと、解凍回路２１６から差分情報抽出部２１７に供給される60fps動画データとは、一致するものとして説明を行う。即ち、厳密には、・・・，f1，f5，f9，f13，・・・（の画像データ）に対してエンコード（図７９の圧縮回路２１４によるエンコード）とデコード（解凍回路２１６によるデコード）を行ったものが、リファレンス画像である。しかし、ここでは、単に、リファレンス画像は図８０の上から２番目に示す60fps動画データのフレーム・・・，f1，f5，f9，f13，・・・（の画像データ）であるとして説明を行う。
【０５９３】
次に、図８１は、図７９の差分情報抽出部２１７の構成例を示している。
【０５９４】
差分情報抽出部２１７は、大きく分けて、ターゲット記憶部２２１、リファレンス記憶部２２２、およびデータ処理部２２３から構成されている。
【０５９５】
ターゲット記憶部２２１には、分離回路２１３（図７９）からターゲット画像としての240-60fps動画データが供給される。ターゲット記憶部２２１は、分離回路２１３からのターゲット画像としての240-60fps動画データを一時記憶する。
【０５９６】
ターゲット記憶部２２１に記憶されたターゲット画像の各フレーム（の画像データ）は、ブロック分割される。そして、そのブロック分割によって得られる各ブロックが、順次、注目ブロックとされ、その注目ブロック（の画像データ）は、ターゲット記憶部２２１から読み出され、入力端子２３３からデータ処理部２２３に入力される。なお、ブロックのサイズは、例えば、上述した場合と同様に、１６×１６画素などを採用することができる。また、ブロックを構成する画素数は、複数画素であってもよいし、１画素であってもよい。
【０５９７】
リファレンス記憶部２２２には、解凍回路２１６（図７９）からリファレンス画像としての60fps動画データが供給される。リファレンス記憶部２２２は、解凍回路２１６からのリファレンス画像としての60fps動画データを一時記憶する。
【０５９８】
リファレンス記憶部２２２に記憶されたリファレンス画像のフレームのうちの、注目ブロックのフレームの直前のフレーム（の画像データ）は、パストリファレンス(past reference)画像として読み出され、入力端子２３１からデータ処理部２２３に入力される。また、リファレンス記憶部２２２に記憶されたリファレンス画像のフレームのうちの、注目ブロックのフレームの直後のフレーム（の画像データ）は、フューチャリファレンス(future reference)画像として読み出され、入力端子２３２からデータ処理部２２３に入力される。
【０５９９】
ここで、ターゲット記憶部２２１には、図８０の一番下に示したターゲット画像である240-60fps動画データのフレームf2，f3，f4，f6，f7，f8，f10，f11，f12等が一時記憶される。また、リファレンス記憶部２２２には、図８０の上から２番目に示したリファレンス画像である60fps動画データのフレームf1，f5，f9，f13等が一時記憶される。
【０６００】
そして、例えば、ターゲット記憶部２２１に記憶されたターゲット画像のフレームf2，f3，f4のうちのいずれかのフレームのブロックが注目ブロックである場合には、リファレンス画像のフレームf1，f5，f9，f13のうちの、ターゲット画像のフレームf2，f3，f4の直前と直後のフレームf1とf5が、それぞれパストリファレンス画像とフューチャリファレンス画像として、リファレンス記憶部２２２から読み出される。
【０６０１】
また、例えば、ターゲット記憶部２２１に記憶されたターゲット画像のフレームf6，f7，f8のうちのいずれかのフレームのブロックが注目ブロックである場合には、リファレンス画像のフレームf1，f5，f9，f13のうちの、ターゲット画像のフレームf6，f7，f8の直前と直後のフレームf5とf9が、それぞれパストリファレンス画像とフューチャリファレンス画像として、リファレンス記憶部２２２から読み出される。
【０６０２】
さらに、例えば、ターゲット記憶部２２１に記憶されたターゲット画像のフレームf10，f11，f12のうちのいずれかのフレームのブロックが注目ブロックである場合には、リファレンス画像のフレームf1，f5，f9，f13のうちの、ターゲット画像のフレームf10，f11，f12の直前と直後のフレームf9とf13が、それぞれパストリファレンス画像とフューチャリファレンス画像として、リファレンス記憶部２２２から読み出される。
【０６０３】
データ処理部２２３は、入力端子２３１乃至２３３、６つの差分データ計算部２３４乃至２３９、選択回路２４０、および出力端子２４１で構成され、入力端子２３３から入力される注目ブロックを、入力端子２３１から入力されるパストリファレンス画像、または入力端子２３２から入力されるフューチャリファレンス画像を用いて圧縮し、その結果得られる差分圧縮データを、出力端子２４１から、図７９の出力端子２１８に出力する。
【０６０４】
即ち、データ処理部２２３は、ターゲット画像を、ブロック単位で圧縮する。
【０６０５】
具体的には、データ処理部２２３において、入力端子２３１から入力されたパストリファレンス画像は、６つの差分データ計算部２３４乃至２３９のうちの、４つの差分データ計算部２３４乃至２３７に供給される。また、入力端子２３２から入力されたフューチャリファレンス画像は、６つの差分データ計算部２３４乃至２３９のうちの、４つの差分データ計算部２３４乃至２３６、および２３８に供給される。さらに、入力端子２３３から入力された注目ブロックは、６つの差分データ計算部２３４乃至２３９のすべてに供給される。
【０６０６】
差分データ計算部２３４は、入力端子２３１からのパストリファレンス画像と、入力端子２３２からのフューチャリファレンス画像とを用い、入力端子２３３からの注目ブロックを圧縮し、その圧縮結果としての、後述する第１の差分データ（圧縮データ）を、選択回路２４０に供給する。
【０６０７】
差分データ計算部２３５も、入力端子２３１からのパストリファレンス画像と、入力端子２３２からのフューチャリファレンス画像とを用い、入力端子２３３からの注目ブロックを圧縮し、その圧縮結果としての、後述する第２の差分データ（他の圧縮データ）を、選択回路２４０に供給する。
【０６０８】
差分データ計算部２３６も、入力端子２３１からのパストリファレンス画像と、入力端子２３２からのフューチャリファレンス画像とを用い、入力端子２３３からの注目ブロックを圧縮し、その圧縮結果としての、後述する第３の差分データを、選択回路２４０に供給する。
【０６０９】
差分データ計算部２３７は、入力端子２３１からのパストリファレンス画像を用い、入力端子２３３からの注目ブロックを圧縮し、その圧縮結果としての、後述する第４の差分データを、選択回路２４０に供給する。
【０６１０】
差分データ計算部２３８は、入力端子２３２からのフューチャリファレンス画像を用い、入力端子２３３からの注目ブロックを圧縮し、その圧縮結果としての、後述する第５の差分データを、選択回路２４０に供給する。
【０６１１】
差分データ計算部２３９は、入力端子２３３からの注目ブロックを圧縮し、その圧縮結果としての、後述する第６の差分データを、選択回路２４０に供給する。
【０６１２】
選択回路２４０は、６つの差分データ計算部２３４乃至２３９からそれぞれ供給される第１乃至第６の差分データの中から、注目ブロックの圧縮結果として最適なものを選択する。ここで、第１乃至第６の差分データのうちの、選択回路２４０において選択されたものを、以下、適宜、選択差分データという。
【０６１３】
選択回路２４０は、選択差分データに、その選択差分データが、第１乃至第６の差分データのうちのいずれであるかを識別するための識別情報としての、後述するケースID(Identification)を付加し、注目ブロックの圧縮結果である差分圧縮データとして、出力端子２４１から出力する。
【０６１４】
次に、差分データ計算部２３４乃至２３９それぞれにおける注目ブロックの圧縮および復元の方法と、注目ブロックの圧縮により得られる第１乃至第６の差分データについて説明する。
【０６１５】
図８２は、ターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VF（のフレーム）を示している。
【０６１６】
いま、sが、１，２，３のうちのいずれかの値をとる変数であるとして、ターゲット画像VTとフューチャリファレンス画像VFとの時間間隔を、s/240秒と表すと、ターゲット画像VTとパストリファレンス画像VPとの時間間隔は、(4-s)/240秒と表すことができる。
【０６１７】
ここで、ターゲット画像VTが、例えば、図８０の一番下に示した240-60fps動画データのフレームf2であるとすると、パストリファレンス画像VPとフューチャリファレンス画像VFは、それぞれ、図８０の上から２番目に示した60fps動画データのフレームf1とf5であり、この場合、変数sは３である。
【０６１８】
また、ターゲット画像VTが、例えば、図８０の一番下に示した240-60fps動画データのフレームf3であるとすると、パストリファレンス画像VPとフューチャリファレンス画像VFは、それぞれ、図８０の上から２番目に示した60fps動画データのフレームf1とf5であり、この場合、変数sは２である。
【０６１９】
さらに、ターゲット画像VTが、例えば、図８０の一番下に示した240-60fps動画データのフレームf4であるとすると、パストリファレンス画像VPとフューチャリファレンス画像VFは、それぞれ、図８０の上から２番目に示した60fps動画データのフレームf1とf5であり、この場合、変数sは１である。他の場合も同様に、変数sは、１，２，３のうちのいずれかである。
【０６２０】
ターゲット画像VTに対して、上述したパストリファレンス画像VPとフューチャリファレンス画像VFとが存在する場合、ターゲット画像VTの注目ブロックは、そのパストリファレンス画像VPとフューチャリファレンス画像VFを、いわばヒントとして圧縮をすることができ、その圧縮結果の復元も同様に、パストリファレンス画像VPとフューチャリファレンス画像VFをヒントとして行うことができる。
【０６２１】
即ち、パストリファレンス画像VPにおいて、ターゲット画像VTの注目ブロックの位置（例えば、注目ブロックの左上の位置）から、ベクトルmv8201だけずれた位置の、注目ブロックと同一のサイズの領域R8201が、注目ブロック（の画像データ）と類似している場合、注目ブロックの各画素の画素値（画像データ）と、領域R8201の対応する画素の画素値との差分をとることにより、各画素の画素値の差分は、ほとんど０となることから、注目ブロックの画像データとして、そのほとんど０である差分を採用することにより、注目ブロックの画像データのデータ量を削減、即ち、注目ブロックを圧縮することができる。
【０６２２】
同様に、フューチャリファレンス画像VFにおいて、ターゲット画像VTの注目ブロックの位置から、ベクトルmv8202だけずれた位置の、注目ブロックと同一のサイズの領域R8202が、注目ブロックと類似している場合には、注目ブロックの各画素の画素値と、領域R8202の対応する画素の画素値との差分をとることにより、各画素の画素値の差分は、ほとんど０となることから、注目ブロックの画像データとして、そのほとんど０である差分を採用することにより、注目ブロックの画像データのデータ量を削減、即ち、注目ブロックを圧縮することができる。
【０６２３】
差分データ計算部２３４乃至２３９（図８１）は、基本的には、上述したように、注目ブロックと、パストリファレンス画像VPまたはフューチャリファレンス画像VFとの差分をとる方法により、注目ブロックを圧縮する。
【０６２４】
ここで、以下においては、240fps動画データとして、例えば、図８３に示す被写体が投影された動画データを考える。
【０６２５】
なお、図８３における横軸は、空間方向の位置x,yを表している。即ち、図８３においては、図が煩雑になるのを避けるため、x,yの２つの空間方向を、１軸で表している。後述する図８４乃至図９３においても同様である。
【０６２６】
図８３において、その上側は、背景である被写体P8301の波形を示しており、下側は、前景である被写体P8302の波形を示している。
【０６２７】
図８３上側に示した被写体P8301は静止しており、図８３下側に示した被写体P8302は、ある空間方向に移動している。
【０６２８】
図８４は、図８３に示した被写体P8301とP8302とが投影されたターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VF（のフレーム）を示している。
【０６２９】
図８４においては、例えば、被写体P8302が、ゆっくりと一定速度で移動しており、被写体P8302の動きベクトル、即ち、240fps動画データにおけるフレーム周期である1/240秒あたりの、被写体P8302の空間方向x,yの移動量を表すベクトルが(U,V)であるとする。
【０６３０】
上述したように、パストリファレンス画像VPとターゲット画像VTとの時間間隔は、(4-s)/240秒であり、ターゲット画像VTとフューチャリファレンス画像VFとの時間間隔は、s/240秒である。
【０６３１】
そして、被写体P8302が、ゆっくりと一定速度で移動している場合には、ターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VFのすべてに、被写体P8302が存在し、さらに、パストリファレンス画像VP上の被写体P8302は、ターゲット画像VT上の被写体P8302から、ベクトル(-(4-s)U,-(4-s)V)だけずれた位置にあり、フューチャリファレンス画像VF上の被写体P8302は、ターゲット画像VT上の被写体P8302から、ベクトル(sU,sV)だけずれた位置にある。
【０６３２】
従って、ターゲット画像VTにおいて、例えば、被写体P8302のみを含むあるブロックB8401を、注目ブロックとして注目すると、パストリファレンス画像VPにおいて、注目ブロックB8401からベクトル(-(4-s)U,-(4-s)V)だけずれた位置の、注目ブロックB8401と同一サイズの領域R8401の画像データは、（理想的には）注目ブロックB8401と同一になっている。また、フューチャリファレンス画像VFにおいても、注目ブロックB8401からベクトル(sU,sV)だけずれた位置の、注目ブロックB8401と同一サイズの領域R8402の画像データは、（理想的には）注目ブロックB8401と同一になっている。
【０６３３】
即ち、パストリファレンス画像VPの領域R8401、注目ブロックB8401、およびフューチャリファレンス画像VFの領域R8402の画像データは、（理想的には）同一になっている。
【０６３４】
差分データ計算部２３４（図８１）では、以上のような図８４に示した場合に適した第１の差分データが求められる。
【０６３５】
即ち、差分データ計算部２３４（図８１）では、例えば、パストリファレンス画像VPの領域R8401と、フューチャリファレンス画像VFの領域R8402との画像データの平均値（領域R8401内の各画素の画素値と、領域R8402内の対応する画素の画素値との平均値）が演算され、その平均値を、注目ブロックB8401の推測値として、注目ブロックB8401とその推測値との差分（注目ブロックB8401の各画素の画素値と、その画素の画素値の推測値との差分）が演算される。この差分は、ほとんど０となるので、注目ブロックB8401のデータ量を削減することができる。差分データ計算部２３４は、以上のような注目ブロックB8401とその推測値との差分を、注目ブロックB8401の圧縮結果である第１の差分データとして出力する。
【０６３６】
ところで、第１の差分データを、元の注目ブロックB8401に復元するには、注目ブロックB8401からパストリファレンス画像VPへの動きベクトルとなるベクトル(-(4-s)U,-(4-s)V)と、注目ブロックB8401からフューチャリファレンス画像VFへの動きベクトルとなるベクトル(sU,sV)との２つの動きベクトルが必要となる。
【０６３７】
しかしながら、第１の差分データに、２つの動きベクトル(-(4-s)U,-(4-s)V)と(sU,sV)とを付加した場合には、その２つの動きベクトル(-(4-s)U,-(4-s)V)と(sU,sV)の分だけ、データ量が増加することになる。
【０６３８】
そこで、差分データ計算部２３４では、次のようにして、注目ブロックB8401の推測値を求めるのに用いる領域R8401およびR8402（への動きベクトル）を求めることにより、動きベクトルなしで復元することができる第１の差分データを求める。
【０６３９】
即ち、いまの場合、被写体P8302が一定速度（速度＝０の場合も含む）で移動していることを前提とするので、注目ブロックB8401から動きベクトル(-(4-s)U,-(4-s)V)だけずれたパストリファレンス画像VP上の領域R8401、注目ブロックB8401から動きベクトル(sU,sV)だけずれたフューチャリファレンス画像VF上の領域R8402、および注目ブロックB8401（の対応する画素）は、図８４に示すように、時空間において一直線上に並ぶ。
【０６４０】
従って、注目ブロックB8401から動きベクトル(-(4-s)U,-(4-s)V)だけずれたパストリファレンス画像VP上の領域R8401と、注目ブロックB8401から動きベクトル(sU,sV)だけずれたフューチャリファレンス画像VF上の領域R8402は、いずれも、時空間において、注目ブロックB8401を通る直線上に存在する。
【０６４１】
そして、パストリファレンス画像VP上の領域R8401と、フューチャリファレンス画像VF上の領域R8402の画像データは、上述したように、（理想的には）同一であるから、その領域R8401とR8402との（画像データ）の相関は、時空間において、注目ブロックB8401を通る直線上に存在するパストリファレンス画像VP上の領域と、フューチャリファレンス画像VF上の領域との相関の中で、最も高くなる。
【０６４２】
従って、パストリファレンス画像VPとフューチャリファレンス画像VFにおいて、注目ブロックB8401を通る時空間の直線上にある領域から、相関が最も高い領域の位置関係を検出すれば、その位置関係にあるパストリファレンス画像VPの領域と、フューチャリファレンス画像VFの領域とが、それぞれ領域R8401とR8402となる。
【０６４３】
即ち、パストリファレンス画像VPとフューチャリファレンス画像VFにおいて、相関が最も高い領域の位置関係を検出することにより、注目ブロックB8401から領域R8401への動きベクトル(-(4-s)U,-(4-s)V)と、注目ブロックB8401から領域R8402への動きベクトル(sU,sV)がなくても、領域R8401とR8402を求めることができる。
【０６４４】
差分データ計算部２３４（図８１）は、以上のような原理を利用して、動きベクトルなしで復元することができる第１の差分データを求める。
【０６４５】
具体的には、差分データ計算部２３４は、注目ブロックを通る時空間の直線上にあるパストリファレンス画像VPの領域Ipとフューチャリファレンス画像VFの領域Ifとの相関を表す相関情報e1(U',V')を、例えば、式（９）にしたがって求める。
【０６４６】
【数９】
2006086707.tif 000011
・・・（９）
【０６４７】
ここで、式（９）において、(x,y)は、ターゲット画像VTにおける注目ブロックの画素の位置を表す。また、Ip(x-(4-s)U'，y-(4-s)V')は、パストリファレンス画像VPにおける位置(x-(4-s)U'，y-(4-s)V')にある画素の画素値を表す。さらに、If(x+sU'，y+sV')は、フューチャリファレンス画像VFにおける位置(x+sU'，y+sV')にある画素の画素値を表す。また、式（９）におけるΣは、注目ブロックを構成する画素すべてについてのサメーションを表す。
【０６４８】
なお、式（９）の相関情報e1(U',V')は、パストリファレンス画像VPの領域Ipと、フューチャリファレンス画像VFの領域Ifとの画素値の差分絶対値の総和であり、従って、パストリファレンス画像VPの領域Ipとフューチャリファレンス画像VFの領域Ifとの相関が高いほど、相関情報e1(U',V')の「値」は、小さくなる。
【０６４９】
差分データ計算部２３４は、式（９）の相関情報e1(U',V')を、考えられる全ての(U',V')について計算する。ここで、考えられる全ての(U',V')とは、例えば、位置(x-(4-s)U'，y-(4-s)V')がパストリファレンス画像VP上にあり、かつ、位置(x+sU'，y+sV')がフューチャリファレンス画像VF上にある場合（範囲）の、(U',V')である。なお、式（９）の相関情報e1(U',V')の計算は、その他、あらかじめ定められた範囲の(U',V')についてだけ行うようにしてもよい。
【０６５０】
差分データ計算部２３４は、各値の(U',V')について計算した相関情報e1(U',V')から最小値を検出し、その相関情報e1(U',V')の最小値を与える(U',V')を、パストリファレンス画像VPとフューチャリファレンス画像VFにおいて、相関が最も高い領域の位置関係を表すベクトル(U,V)として検出する。
【０６５１】
ここで、以上のような、パストリファレンス画像VPとフューチャリファレンス画像VFにおいて、相関が最も高い領域の位置関係を表すベクトル(U,V)を、以下、適宜、位置関係ベクトル(U,V)という。
【０６５２】
差分データ計算部２３４は、位置関係ベクトル(U,V)の検出後、その位置関係ベクトル(U,V)が表す位置関係にあるパストリファレンス画像VPとフューチャリファレンス画像VFとの画像データから、注目ブロックの推測値を求める。
【０６５３】
即ち、差分データ計算部２３４は、注目ブロックからベクトル(-(4-s)U,-(4-s)V)だけずれたパストリファレンス画像VP上の、注目ブロックと同一サイズの領域と、注目ブロックからベクトル(sU,sV)だけずれたフューチャリファレンス画像VF上の、注目ブロックと同一サイズの領域を求め、そのパストリファレンス画像VPの領域と、フューチャリファレンス画像VFの領域との画像データの平均値を、注目ブロックの推測値として求める。
【０６５４】
そして、差分データ計算部２３４は、注目ブロックとその推測値との差分を演算し、注目ブロックの圧縮結果である第１の差分データとして出力する。
【０６５５】
このような第１の差分データは、注目ブロックからパストリファレンス画像VPへの動きベクトル(-(4-s)U,-(4-s)V)と、注目ブロックからフューチャリファレンス画像VFへの動きベクトル(sU,sV)がなくても（第１の差分データに動きベクトルが付加されていなくても）、元の注目ブロックに復元することができる。
【０６５６】
即ち、例えば、図８５に示すように、ターゲット画像VT上のあるブロックB8501を注目ブロックとして、その注目ブロックB8501を復元する場合には、その注目ブロックB8501につき、式（９）の相関情報e1(U',V')を、考えられる全ての(U',V')について計算する。
【０６５７】
具体的には、例えば、図８５に示すように、(U',V')=(U1',V1')として、相関情報e1(U1',V1')を計算する。さらに、例えば、図８６に示すように、(U',V')=(U2',V2')として、相関情報e1(U2',V2')を計算する。
【０６５８】
ここで、図８５では、(U',V')=(U1',V1')とすることにより、相関情報e1(U1',V1')の計算対象となるパストリファレンス画像VPの領域Ipが、動いている被写体P8302のある部分の領域R8501になっている。さらに、図８５では、相関情報e1(U1',V1')の計算対象となるフューチャリファレンス画像VFの領域Ifが、やはり、動いている被写体P8302の同一部分の領域R8502になっている。領域R8501とR8502との相関は高いから、相関情報e1(U1',V1')の値は、小さくなる。なお、図８５において、パストリファレンス画像VPの領域R8501は、注目ブロックB8501から、ベクトル(-(4-s)U1',-(4-s)V1')だけずれた位置にあり、その領域R8501内の画素の画素値Ip(x-(4-s)U1'，y-(4-s)V1')が、式（９）の相関情報e1(U1',V1')の計算に用いられる。また、フューチャリファレンス画像VFの領域R8502は、注目ブロックB8501から、ベクトル(sU1',sV1')だけずれた位置にあり、その領域R8502内の画素値If(x+sU1'，y+sV1')が、式（９）の相関情報e1(U1',V1')の計算に用いられる。
【０６５９】
一方、図８６では、(U',V')=(U2',V2')とすることにより、相関情報e1(U2',V2')の計算対象となるパストリファレンス画像VPの領域Ipが、静止している被写体P8301のある部分の領域R8601になっている。さらに、図８６では、相関情報e1(U2',V2')の計算対象となるフューチャリファレンス画像VFの領域Ifが、静止している被写体P8301の他の部分の領域R8602になっている。領域R8601とR8602との相関はそれほど高くなく、相関情報e1(U2',V2')の値は、それほど小さくならない。なお、図８６において、パストリファレンス画像VPの領域R8601は、注目ブロックB8501から、ベクトル(-(4-s)U2',-(4-s)V2')だけずれた位置にあり、その領域R8601内の画素の画素値Ip(x-(4-s)U2'，y-(4-s)V2')が、式（９）の相関情報e1(U2',V2')の計算に用いられる。また、フューチャリファレンス画像VFの領域R8602は、注目ブロックB8501から、ベクトル(sU2',sV2')だけずれた位置にあり、その領域R8602内の画素値If(x+sU2'，y+sV2')が、式（９）の相関情報e1(U2',V2')の計算に用いられる。
【０６６０】
いま、注目ブロックB8501について計算された相関情報e1(U',V')を最小にする(U',V')が、図８５に示した(U1',V1')であったとする。この場合、注目ブロックB8501が、図８４に示したブロックB8401であったとすると、図８５の領域R8501とR8502は、それぞれ、図８４の領域R8401とR8402に一致する。
【０６６１】
従って、第１の差分データを求めるときに用いられた推測値を、図８４の領域R8401とR8402とそれぞれ同一の図８５の領域R8501とR8502から得ることができ、その推測値を、第１の差分データに加算することにより、注目ブロックB8501(B8401)を復元することができる。
【０６６２】
ここで、以上のような、第１の差分データを元のブロックに復元する方法は、画像圧縮の分野において、従来にはない、まったく新しい方法であり、例えば、60fps動画データなどの低フレームレートの動画データから、240fps動画データなどの高フレームレートの動画データを復元する場合に使用することができる。この復元の方法を要約すると、次のようになる。
【０６６３】
即ち、復元したい高フレームレートの動画データの中の１枚（フレーム）の画像に注目する。この注目した「復元したい画像」に対して時間的に近くにある複数（例えば２枚）の「低フレームレートの動画データを構成する画像」を取り出し、その取り出された複数の画像同士において相関が高い位置関係にある部分を求め、その部分から注目している「復元したい画像」を復元する。
【０６６４】
なお、第１の差分データを復元する方法は、例えば、MPEG2などに用いられているBピクチャのデコードとは異なる。
【０６６５】
即ち、IピクチャとPピクチャのみから構成される動画データを、「低フレームレートの動画データ」と考え、さらにBピクチャを加えた動画データを、「高フレームレートの動画データ」と考えると、第１の差分データを復元する方法は、Bピクチャのデコード方法と、一見、同じように思える。
【０６６６】
しかしながら、MPEG２におけるBピクチャは、そのBピクチャ内の各ブロック（マクロブロック）について、そのブロックと類似しているテクスチャが、IピクチャまたはPピクチャのどの部分に存在しているかを、「動きベクトル」という情報で明示的に保持している。
【０６６７】
一方、第１の差分データは、そのような「動きベクトル」の情報は保持していない。さらに、第１の差分データの復元は、低フレームレートの動画データの複数フレーム、即ち、例えば、パストリファレンス画像VPとフューチャリファレンス画像VFにおいて、相関の高い領域の位置関係を探索（検出）し、その位置関係にある領域を用いて行われる。
【０６６８】
このように、第１の差分データを復元する方法は、「動きベクトル」の情報を保持していない点、および低フレームレートの動画データの複数フレームにおいて相関の高い領域の位置関係を検出し、その位置関係にある領域を用いて行われる点において、Bピクチャのデコード方法とは大きく異なる。
【０６６９】
次に、図８１の差分データ計算部２３５で求められる第２の差分データについて説明する。
【０６７０】
差分データ計算部２３５では、注目ブロックについて、パストリファレンス画像VPとフューチャリファレンス画像VFにおいて注目ブロックとの相関が高い位置関係を表す１つの動きベクトルが検出され、注目ブロックとの位置関係が、その１つの動きベクトルから求められる位置関係にある、パストリファレンス画像VPとフューチャリファレンス画像VFの領域の画像データから、注目ブロックの推測値が求められる。そして、差分データ計算部２３５では、注目ブロックとその推測値との差分が、第２の差分データとして出力される。
【０６７１】
即ち、図８７は、図８３に示した被写体P8301とP8302とが投影されたターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VF（のフレーム）を示している。
【０６７２】
図８７においては、例えば、被写体P8302が、図８４における場合と同様に、一定速度で移動している。但し、図８７では、被写体P8302は、図８４における場合よりもやや速い速度で移動している。なお、図８７でも、被写体P8302の動きベクトル、即ち、240fps動画データにおけるフレーム周期である1/240秒あたりの、被写体P8302の空間方向x,yの移動量を表すベクトルが(U,V)であるとする。
【０６７３】
被写体P8302が、図８４における場合よりもやや速い一定速度で移動している場合も、ターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VFのすべてに、被写体P8302が存在し、さらに、パストリファレンス画像VP上の被写体P8302は、ターゲット画像VT上の被写体P8302から、ベクトル(-(4-s)U,-(4-s)V)だけずれた位置にあり、フューチャリファレンス画像VF上の被写体P8302は、ターゲット画像VT上の被写体P8302から、ベクトル(sU,sV)だけずれた位置にある。
【０６７４】
従って、ターゲット画像VTにおいて、例えば、被写体P8302のみを含むあるブロックB8701を、注目ブロックとして注目すると、パストリファレンス画像VPにおいて、注目ブロックB8701からベクトル(-(4-s)U,-(4-s)V)だけずれた位置の、注目ブロックB8701と同一サイズの領域R8701の画像データは、（理想的には）注目ブロックB8701と同一になっている。また、フューチャリファレンス画像VFにおいても、注目ブロックB8701からベクトル(sU,sV)だけずれた位置の、注目ブロックB8701と同一サイズの領域R8702の画像データは、（理想的には）注目ブロックB8701と同一になっている。
【０６７５】
即ち、パストリファレンス画像VPの領域R8701、注目ブロックB8701、およびフューチャリファレンス画像VFの領域R8702の画像データは、（理想的には）同一になっている。
【０６７６】
差分データ計算部２３５（図８１）では、以上のような図８７に示した場合に適した第２の差分データが求められる。
【０６７７】
即ち、差分データ計算部２３５（図８１）でも、例えば、差分データ計算部２３４における場合と同様に、パストリファレンス画像VPの領域R8701と、フューチャリファレンス画像VFの領域R8702との画像データの平均値が演算され、その平均値を、注目ブロックB8701の推測値として、注目ブロックB8701とその推測値との差分が演算される。この差分は、ほとんど０となるので、注目ブロックB8701のデータ量を削減することができる。差分データ計算部２３５は、以上のような注目ブロックB8701とその推測値との差分を、注目ブロックB8701の圧縮結果である第２の差分データとして出力する。
【０６７８】
ところで、第２の差分データを、元の注目ブロックB8701に復元するには、上述した第１の差分データを復元する場合と同様に、注目ブロックB8701からパストリファレンス画像VPへの動きベクトルとなるベクトル(-(4-s)U,-(4-s)V)と、注目ブロックB8701からフューチャリファレンス画像VFへの動きベクトルとなるベクトル(sU,sV)との２つの動きベクトルが必要となる。
【０６７９】
しかしながら、第２の差分データに、２つの動きベクトル(-(4-s)U,-(4-s)V)と(sU,sV)とを付加した場合には、その２つの動きベクトル(-(4-s)U,-(4-s)V)と(sU,sV)の分だけ、データ量が増加することになる。
【０６８０】
そこで、差分データ計算部２３５では、次のようにして、注目ブロックB8701の推測値を求めるのに用いる領域R8701およびR8702（への動きベクトル）を求めることにより、１つの動きベクトルだけで復元することができる第２の差分データを求める。
【０６８１】
即ち、上述したように、いまの場合、被写体P8302が一定速度で移動していることを前提とするので、注目ブロックB8701から動きベクトル(-(4-s)U,-(4-s)V)だけずれたパストリファレンス画像VP上の領域R8701、注目ブロックB8701から動きベクトル(sU,sV)だけずれたフューチャリファレンス画像VF上の領域R8702、および注目ブロックB8701（の対応する画素）は、図８７に示すように、時空間において一直線上に並ぶ。
【０６８２】
従って、注目ブロックB8701から動きベクトル(-(4-s)U,-(4-s)V)だけずれたパストリファレンス画像VP上の領域R8701と、注目ブロックB8701から動きベクトル(sU,sV)だけずれたフューチャリファレンス画像VF上の領域R8702は、いずれも、時空間において、注目ブロックB8701を通る直線上に存在する。
【０６８３】
また、注目ブロックB8701と、パストリファレンス画像VP上の領域R8701との画像データは、上述したように、（理想的には）同一であるから、注目ブロックB8701と領域R8701との相関は、注目ブロックB8701とパストリファレンス画像VP上の領域との相関の中で最も高くなる。さらに、注目ブロックB8701と、フューチャリファレンス画像VF上の領域R8702との画像データも、上述したように、（理想的には）同一であるから、注目ブロックB8701と領域R8702との相関は、注目ブロックB8701とフューチャリファレンス画像VF上の領域との相関の中で最も高くなる。
【０６８４】
従って、パストリファレンス画像VPとフューチャリファレンス画像VFそれぞれにおいて、注目ブロックB8701との相関が最も高い領域を検出すれば、そのパストリファレンス画像VPの領域と、フューチャリファレンス画像VFの領域とが、それぞれ領域R8701とR8702となる。
【０６８５】
ところで、パストリファレンス画像VP上の領域R8701は、注目ブロックB8701から動きベクトル(-(4-s)U,-(4-s)V)だけずれた位置にあり、フューチャリファレンス画像VF上の領域R8702は、注目ブロックB8701から動きベクトル(sU,sV)だけずれた位置にある。
【０６８６】
従って、パストリファレンス画像VP上の領域R8701の位置も、フューチャリファレンス画像VF上の領域R8702の位置も、１つの動きベクトル(U,V)から求めることができる。
【０６８７】
即ち、注目ブロックB8701から領域R8701への動きベクトル(-(4-s)U,-(4-s)V)と、注目ブロックB8701から領域R8702への動きベクトル(sU,sV)との、合計で２つの動きベクトルがなくても、１つの動きベクトル(U,V)から、領域R8701とR8702を求めることができる。
【０６８８】
差分データ計算部２３５（図８１）は、以上のような原理を利用して、１つの動きベクトル(U,V)から復元することができる第２の差分データを求める。
【０６８９】
具体的には、差分データ計算部２３５は、注目ブロックを通る時空間の直線上にあるパストリファレンス画像VPの領域Ip、またはフューチャリファレンス画像VFの領域Ifそれぞれと、注目ブロックとの相関を表す相関情報e2(U',V')を、例えば、式（１０）にしたがって求める。
【０６９０】
【数１０】
2006086707.tif 000012
・・・（１０）
【０６９１】
ここで、式（１０）において、(x,y)は、ターゲット画像VTにおける注目ブロックの画素の位置を表す。また、Ip(x-(4-s)U'，y-(4-s)V')は、パストリファレンス画像VPにおける位置(x-(4-s)U'，y-(4-s)V')にある画素の画素値を表す。さらに、If(x+sU'，y+sV')は、フューチャリファレンス画像VFにおける位置(x+sU'，y+sV')にある画素の画素値を表す。また、Ic(x,y)は、ターゲット画像VTにおける位置(x,y)における画素の画素値（注目ブロックの画素の画素値）を表す。また、式（１０）におけるΣは、注目ブロックを構成する画素すべてについてのサメーションを表す。
【０６９２】
なお、式（１０）の相関情報e2(U',V')は、パストリファレンス画像VPの領域Ipと注目ブロックとの画素値の差分絶対値と、フューチャリファレンス画像VFの領域Ifと注目ブロックとの画素値の差分絶対値との加算値の総和であり、従って、パストリファレンス画像VPの領域Ipと注目ブロックとの相関や、フューチャリファレンス画像VFの領域Ifと注目ブロックとの相関が高いほど、相関情報e2(U',V')の「値」は、小さくなる。
【０６９３】
差分データ計算部２３５は、式（１０）の相関情報e2(U',V')を、考えられる全ての(U',V')について計算する。ここで、考えられる全ての(U',V')とは、例えば、位置(x-(4-s)U'，y-(4-s)V')がパストリファレンス画像VP上にあり、かつ、位置(x+sU'，y+sV')がフューチャリファレンス画像VF上にある場合の、(U',V')である。なお、式（１０）の相関情報e2(U',V')の計算は、その他、あらかじめ定められた範囲の(U',V')についてだけ行うようにしてもよい。
【０６９４】
即ち、差分データ計算部２３５は、例えば、図８８に示すように、(U',V')=(U1',V1')として、式（１０）の相関情報e2(U1',V1')を計算する。さらに、差分データ計算部２３５は、例えば、図８９に示すように、(U',V')=(U2',V2')として、式（１０）の相関情報e2(U2',V2')を計算する。
【０６９５】
ここで、図８８では、(U',V')=(U1',V1')とすることにより、相関情報e2(U1',V1')の計算対象となるパストリファレンス画像VPの領域Ipが、動いている被写体P8302のうちの注目ブロックB8701における部分と同一の領域R8801になっている。さらに、図８８では、相関情報e2(U1',V1')の計算対象となるフューチャリファレンス画像VFの領域Ifが、やはり、動いている被写体P8302のうちの注目ブロックにおける部分と同一の領域R8802になっている。従って、注目ブロックB8701と、領域R8801またはR8802それぞれとの相関は、いずれも高いから、相関情報e2(U1',V1')の値は、小さくなる。なお、図８８において、パストリファレンス画像VPの領域R8801は、注目ブロックB8701から、ベクトル(-(4-s)U1',-(4-s)V1')だけずれた位置にあり、その領域R8801内の画素の画素値Ip(x-(4-s)U1'，y-(4-s)V1')が、式（１０）の相関情報e2(U1',V1')の計算に用いられる。また、フューチャリファレンス画像VFの領域R8802は、注目ブロックB8701から、ベクトル(sU1',sV1')だけずれた位置にあり、その領域R8802内の画素値If(x+sU1'，y+sV1')が、式（１０）の相関情報e2(U1',V1')の計算に用いられる。
【０６９６】
一方、図８９では、(U',V')=(U2',V2')とすることにより、相関情報e2(U2',V2')の計算対象となるパストリファレンス画像VPの領域Ipが、静止している被写体P8301のある部分の領域R8901になっている。さらに、図８９では、相関情報e2(U2',V2')の計算対象となるフューチャリファレンス画像VFの領域Ifが、静止している被写体P8301の同一部分の領域R8902になっている。注目ブロックB8701は、動いている被写体P8302のある部分であり、従って、注目ブロックB8701と、領域R8901またはR8902それぞれとの相関は、いずれも、それほど高くなく、相関情報e2(U2',V2')の値は、それほど小さくならない。なお、図８９において、パストリファレンス画像VPの領域R8901は、注目ブロックB8701から、ベクトル(-(4-s)U2',-(4-s)V2')だけずれた位置にあり、その領域R8901内の画素の画素値Ip(x-(4-s)U2'，y-(4-s)V2')が、式（１０）の相関情報e2(U2',V2')の計算に用いられる。また、フューチャリファレンス画像VFの領域R8902は、注目ブロックB8701から、ベクトル(sU2',sV2')だけずれた位置にあり、その領域R8902内の画素値If(x+sU2'，y+sV2')が、式（１０）の相関情報e2(U2',V2')の計算に用いられる。但し、図８９では、(U2',V2')=(0,0)になっている。
【０６９７】
いま、注目ブロックB8701について計算された相関情報e2(U',V')を最小にする(U',V')が、図８８に示した(U1',V1')であったとすると、図８８の領域R8801とR8802は、それぞれ、図８７の領域R8701とR8702に一致する。
【０６９８】
そして、領域R8701とR8702の位置は、上述したように、注目ブロックB8701から領域R8701への動きベクトル(-(4-s)U,-(4-s)V)と、注目ブロックB8701から領域R8702への動きベクトル(sU,sV)との、合計で２つの動きベクトルがなくても、注目ブロックB8701について計算された相関情報e2(U',V')を最小にする(U',V')である１つの動きベクトル(U,V)から求めることができる。
【０６９９】
いま、この動きベクトル(U,V)を、相関最大ベクトル(U,V)ということとすると、差分データ計算部２３５は、式（１０）の相関情報e2(U',V')を最小にする(U',V')である相関最大ベクトル(U,V)を検出した後、注目ブロックとの位置関係が、相関最大ベクトル(U,V)から求められる位置関係にあるパストリファレンス画像VPとフューチャリファレンス画像VFとの画像データから、注目ブロックの推測値を求める。
【０７００】
即ち、差分データ計算部２３５は、注目ブロックからベクトル(-(4-s)U,-(4-s)V)だけずれたパストリファレンス画像VP上の、注目ブロックと同一サイズの領域と、注目ブロックからベクトル(sU,sV)だけずれたフューチャリファレンス画像VF上の、注目ブロックと同一サイズの領域を求め、そのパストリファレンス画像VPの領域と、フューチャリファレンス画像VFの領域との画像データの平均値を、注目ブロックの推測値として求める。
【０７０１】
そして、差分データ計算部２３５は、注目ブロックとその推測値との差分を演算し、その演算結果を第２の差分データとして、その第２の差分データに、相関最大ベクトル(U,V)を付加して出力する。
【０７０２】
このような第２の差分データは、注目ブロックからパストリファレンス画像VPへの動きベクトル(-(4-s)U,-(4-s)V)と、注目ブロックからフューチャリファレンス画像VFへの動きベクトル(sU,sV)の２つの動きベクトルがなくても（第２の差分データに２つの動きベクトルが付加されていなくても）、それに付加されている１つの動きベクトルである相関最大ベクトル(U,V)を用いて、元の注目ブロックに復元することができる。
【０７０３】
即ち、第２の差分データを求める場合と同様に、まず、注目ブロックとの位置関係が、第２の差分データに付加されている相関最大ベクトル(U,V)から求められる位置関係にあるパストリファレンス画像VPとフューチャリファレンス画像VFとの画像データから、注目ブロックの推測値を求める。具体的には、注目ブロックからベクトル(-(4-s)U,-(4-s)V)だけずれたパストリファレンス画像VP上の、注目ブロックと同一サイズの領域と、注目ブロックからベクトル(sU,sV)だけずれたフューチャリファレンス画像VF上の、注目ブロックと同一サイズの領域を求め、そのパストリファレンス画像VPの領域と、フューチャリファレンス画像VFの領域との画像データの平均値を、注目ブロックの推測値として求める。
【０７０４】
そして、第２の差分データと、注目ブロックの推測値とを加算することにより、注目ブロックを復元することができる。
【０７０５】
以上のように、第２の差分データは、１つの相関最大ベクトル(U,V)があれば復元することができるので、注目ブロックからパストリファレンス画像VPへの動きベクトル(-(4-s)U,-(4-s)V)と、注目ブロックからフューチャリファレンス画像VFへの動きベクトル(sU,sV)との２つの動きベクトルを付加する場合に比較して、データ量の増加を抑制することができる。
【０７０６】
なお、第１と第２の差分データについては、そのうちのいずれか一方だけを求め、ブロックの圧縮結果としてもよいが、第１と第２の差分データの両方を求め、そのうちの適切な方を、ブロックの圧縮結果とすることにより、次のような利点がある。
【０７０７】
即ち、第１と第２の差分データについては、第２の差分データに相関最大ベクトル(U,V)が付加されることから、その分のデータ量の観点からすれば、動きベクトルが付加されない第１の差分データの方が優れている。
【０７０８】
しかしながら、第１の差分データは、そのデータ量が大になる場合があり、この場合、相関最大ベクトル(U,V)のデータ量を含めても、第２の差分データのデータ量の方が、第１の差分データのデータ量よりも少なくなることがある。
【０７０９】
即ち、例えば、図８８に示したパストリファレンス画像VP上の領域R8801と、フューチャリファレンス画像VF上の領域R8802とは、動いている被写体P8302の部分の画像であるが、この領域R8801とR8802とが、動いている被写体P8302の同一部分の画像であった場合には、注目ブロックB8701について計算される式（９）の相関情報e1(U1',V1')が表す領域R8801とR8802との相関は高くなる。
【０７１０】
一方、例えば、図８９に示したパストリファレンス画像VPの領域R8901と、フューチャリファレンス画像VFの領域R8902とは、静止している被写体P8301の部分の画像であるが、この領域R8901とR8902とが、静止している被写体P8301の同一部分の画像であった場合も、式（９）の相関情報e1(U2',V2')が表す領域R8901とR8902との相関は高くなる。
【０７１１】
つまり、図８８における領域R8801とR8802との相関を表す式（９）の相関情報e1(U1',V1')の値と、図８９における領域R8901とR8902との相関を表す式（９）の相関情報e1(U2',V2')の値とは、理想的には、０となり、同一になる。
【０７１２】
しかしながら、実際には、ノイズ等の影響によって、図８８における領域R8801とR8802との相関情報e1(U1',V1')の値の方が小さくなることや、逆に、図８９における領域R8901とR8902との相関情報e1(U2',V2')の値の方が小さくなることがある。
【０７１３】
そして、図８９における領域R8901とR8902との相関情報e1(U2',V2')の値の方が小さくなった場合には、その領域R8901とR8902から、注目ブロックB8701の推測値が求められる。
【０７１４】
即ち、静止している被写体P8301の部分の領域R8901とR8902から、動いている被写体P8302の部分の注目ブロックB8701の推測値が求められる。
【０７１５】
この、静止している被写体P8301の部分の領域R8901とR8902から求められる注目ブロックB8701の推測値は、注目ブロックB8701（の画像データ）と大きく異なったものとなり、その結果、注目ブロックB8701と、その推定値との差分をとっても、その差分、つまり、第１の差分データは、０または０に近い値にはならず、大きな値となって、データ量はほとんど削減されない。
【０７１６】
この場合、相関最大ベクトル(U,V)のデータ量を含めても、第２の差分データのデータ量の方が、第１の差分データのデータ量よりも少なくなる。
【０７１７】
さらに、ノイズ等の影響によって、注目ブロックB8701の第１の差分データへの圧縮時には、図８８における領域R8801とR8802との相関情報e1(U1',V1')の値と、図８９における領域R8901とR8902との相関情報e1(U2',V2')の値とのうちの一方の値の方が小さくなったのに、その第１の差分データの復元時には、他方の値の方が小さくなることがある。
【０７１８】
この場合、注目ブロックB8701の第１の差分データへの圧縮時に用いられた注目ブロックB8701の推測値と異なる推測値を用いて、第１の差分データが復元されることになるため、元の注目ブロックB8701を復元することができないことになる。
【０７１９】
そこで、注目ブロックB8701について、第１と第２の差分データのうちの、相関最大ベクトル(U,V)が付加される第２の差分データだけを採用することにより、上述したような、データ量がほとんど削減されないことや、元の注目ブロックB8701を復元することができなくなることを防止することができる。
【０７２０】
しかしながら、第２の差分データだけを採用する場合には、相関最大ベクトル(U,V)の分だけのデータ量が、必ず増えることになる。
【０７２１】
そこで、注目ブロックB8701について、第１と第２の差分データの両方を求め、例えば、そのうちのデータ量の少ない方を、注目ブロックB8701の最終的な圧縮結果として選択することにより、データ量を低減するとともに、注目ブロックB8701を復元することができなくなることを防止することができる。
【０７２２】
また、例えば、第１の差分データを求めるときに計算される式（９）の相関情報e1(U',V')の最小値と、２番目に小さい値との差が、ほとんどない場合（例えば、ある閾値以下である場合）には、第１の差分データのデータ量が少ないときでも、第２の差分データを、注目ブロックB8701の最終的な圧縮結果として選択することにより、元の注目ブロックB8701を復元することができなくなることを、より強固に防止することができる。
【０７２３】
次に、図８１の差分データ計算部２３６で求められる第３の差分データについて説明する。
【０７２４】
差分データ計算部２３６では、注目ブロックについて、パストリファレンス画像VPにおいて注目ブロックとの相関が高い位置関係を表す動きベクトルと、フューチャリファレンス画像VFにおいて注目ブロックとの相関が高い位置関係を表す動きベクトルとの、合計で２つの動きベクトルが求められる。
【０７２５】
ここで、以下、適宜、パストリファレンス画像VPにおいて注目ブロックとの相関が高い位置関係を表す動きベクトルを、前動きベクトルといい、また、フューチャリファレンス画像VFにおいて注目ブロックとの相関が高い位置関係を表す動きベクトルを、後動きベクトルという。
【０７２６】
差分データ計算部２３６では、注目ブロックとの位置関係が前動きベクトルで表される位置関係にあるパストリファレンス画像VPの領域の画像データと、注目ブロックとの位置関係が後動きベクトルで表される位置関係にあるフューチャリファレンス画像VFの領域の画像データとから、注目ブロックの推測値が求められる。そして、差分データ計算部２３６では、注目ブロックとその推測値との差分が、第３の差分データとして出力される。
【０７２７】
即ち、図９０は、図８３に示した被写体P8301とP8302とが投影されたターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VF（のフレーム）を示している。
【０７２８】
図９０においては、例えば、被写体P8302が、一定でない速度で移動している。即ち、図９０では、被写体P8302は、パストリファレンス画像VPからターゲット画像VTの時刻にかけては、遅い速度で移動し、ターゲット画像VTからフューチャリファレンス画像VFの時刻にかけては、速い速度で移動している。
【０７２９】
いま、ターゲット画像VTにおいて、例えば、被写体P8302のみを含むあるブロックB9001を、注目ブロックとして注目すると、図９０のパストリファレンス画像VPにおいて、注目ブロックB9001からベクトル(-U1,-V1)だけずれた位置の、注目ブロックB9001と同一サイズの領域R9001の画像データは、（理想的には）注目ブロックB9001と同一になっている。また、フューチャリファレンス画像VFにおいて、注目ブロックB9001からベクトル(U2,V2)だけずれた位置の、注目ブロックB9001と同一サイズの領域R9002の画像データは、（理想的には）注目ブロックB9001と同一になっている。従って、ベクトル(-U1,-V1)は前動きベクトルであり、ベクトル(U2,V2)は後動きベクトルである。
【０７３０】
差分データ計算部２３６（図８１）では、以上のような図９０に示した場合に適した第３の差分データが求められる。
【０７３１】
即ち、差分データ計算部２３６（図８１）では、例えば、パストリファレンス画像VPの領域R9001と、フューチャリファレンス画像VFの領域R9002との画像データの平均値が演算され、その平均値を、注目ブロックB9001の推測値として、注目ブロックB9001とその推測値との差分が演算される。この差分は、ほとんど０となるので、注目ブロックB9001のデータ量を削減することができる。差分データ計算部２３６は、以上のような注目ブロックB9001とその推測値との差分を、注目ブロックB9001の圧縮結果である第３の差分データとして出力する。
【０７３２】
ここで、差分データ計算部２３６は、パストリファレンス画像VPにおいて、注目ブロックB9001と同一の（最も類似する）画像データの領域R9001の位置を表す前動きベクトル(-U1,-V1)と、フューチャリファレンス画像VFにおいて、注目ブロックB9001と同一の（最も類似する）画像データの領域R9002の位置を表す後動きベクトル(U2,V2)を、次のようにして求める。
【０７３３】
即ち、差分データ計算部２３６は、注目ブロックと、パストリファレンス画像VPの領域Ipとの相関を表す相関情報e3(U',V')を、例えば、式（１１）にしたがって求める。
【０７３４】
【数１１】
2006086707.tif 000013
・・・（１１）
【０７３５】
ここで、式（１１）において、(x,y)は、ターゲット画像VTにおける注目ブロックの画素の位置を表し、Ic(x,y)は、ターゲット画像VTにおける位置(x,y)における画素の画素値（注目ブロックの画素の画素値）を表す。また、Ip(x+U'，y+V')は、パストリファレンス画像VPにおける位置(x+U'，y+V')にある画素の画素値を表す。また、式（１１）におけるΣは、注目ブロックを構成する画素すべてについてのサメーションを表す。
【０７３６】
なお、式（１１）の相関情報e3(U',V')は、注目ブロックとパストリファレンス画像VPの領域Ipとの画素値の差分絶対値の総和であり、従って、注目ブロックとパストリファレンス画像VPの領域Ipとの相関が高いほど、相関情報e3(U',V')の「値」は、小さくなる。
【０７３７】
さらに、差分データ計算部２３６は、注目ブロックと、フューチャリファレンス画像VFの領域Ifとの相関を表す相関情報e4(U',V')を、例えば、式（１２）にしたがって求める。
【０７３８】
【数１２】
2006086707.tif 000014
・・・（１２）
【０７３９】
ここで、式（１２）において、(x,y)は、ターゲット画像VTにおける注目ブロックの画素の位置を表し、Ic(x,y)は、ターゲット画像VTにおける位置(x,y)における画素の画素値（注目ブロックの画素の画素値）を表す。また、If(x+U'，y+V')は、フューチャリファレンス画像VFにおける位置(x+U'，y+V')にある画素の画素値を表す。また、式（１２）におけるΣは、注目ブロックを構成する画素すべてについてのサメーションを表す。
【０７４０】
なお、式（１２）の相関情報e4(U',V')は、注目ブロックとフューチャリファレンス画像VFの領域Ifとの画素値の差分絶対値の総和であり、従って、注目ブロックとフューチャリファレンス画像VFの領域Ifとの相関が高いほど、相関情報e4(U',V')の「値」は、小さくなる。
【０７４１】
差分データ計算部２３６は、式（１１）の相関情報e3(U',V')と、式（１２）の相関情報e4(U',V')とを、考えられる全ての(U',V')について計算する。ここで、考えられる全ての(U',V')とは、式（１１）の相関情報e3(U',V')については、位置(x+U'，y+V')がパストリファレンス画像VP上にある場合の(U',V')であり、式（１２）の相関情報e4(U',V')については、位置(x+U'，y+V')がフューチャリファレンス画像VF上にある場合の(U',V')である。なお、式（１１）の相関情報e3(U',V')や、式（１２）の相関情報e4(U',V')の計算は、その他、あらかじめ定められた範囲の(U',V')についてだけ行うようにしてもよい。
【０７４２】
差分データ計算部２３６は、各値の(U',V')について計算した相関情報e3(U',V')から最小値を検出し、その相関情報e3(U',V')の最小値を与える(U',V')を、前動きベクトル(-U1,-V1)として検出する。さらに、差分データ計算部２３６は、各値の(U',V')について計算した相関情報e4(U',V')から最小値を検出し、その相関情報e4(U',V')の最小値を与える(U',V')を、後動きベクトル(U2,V2)として検出する。
【０７４３】
差分データ計算部２３６では、注目ブロックとの位置関係が前動きベクトル(-U1,-V1)で表される位置関係にあるパストリファレンス画像VPの領域の画像データと、注目ブロックとの位置関係が後動きベクトル(U2,V2)で表される位置関係にあるフューチャリファレンス画像VFの領域の画像データとから、注目ブロックの推測値が求められる。そして、差分データ計算部２３６では、注目ブロックとその推測値との差分を、第３の差分データとして、その第３の差分データに、前動きベクトル(-U1,-V1)と、後動きベクトル(U2,V2)とが付加されて出力される。
【０７４４】
このような第３の差分データは、それに付加されている前動きベクトル(-U1,-V1)と、後動きベクトル(U2,V2)とを用いて、元の注目ブロックに復元することができる。
【０７４５】
即ち、第３の差分データを求める場合と同様に、まず、注目ブロックとの位置関係が、第３の差分データに付加されている前動きベクトル(-U1,-V1)と後動きベクトル(U2,V2)で表される位置関係にあるパストリファレンス画像VPとフューチャリファレンス画像VFとの画像データから、注目ブロックの推測値を求める。即ち、注目ブロックから前動きベクトル(-U1,-V1)だけずれたパストリファレンス画像VP上の、注目ブロックと同一サイズの領域と、注目ブロックから後動きベクトル(U2,V2)だけずれたフューチャリファレンス画像VF上の、注目ブロックと同一サイズの領域を求め、そのパストリファレンス画像VPの領域と、フューチャリファレンス画像VFの領域との画像データの平均値を、注目ブロックの推測値として求める。
【０７４６】
そして、第３の差分データと、注目ブロックの推測値とを加算することにより、注目ブロックを復元することができる。
【０７４７】
次に、図８１の差分データ計算部２３７で求められる第４の差分データについて説明する。
【０７４８】
差分データ計算部２３７では、注目ブロックについて、パストリファレンス画像VPにおいて注目ブロックとの相関が高い位置関係を表す動きベクトル、つまり、前動きベクトル（-U1,-V1)だけが求められる（フューチャリファレンス画像VFにおいて注目ブロックとの相関が高い位置関係を表す動きベクトル、つまり、後動きベクトル(U2,V2)は求められない）。
【０７４９】
差分データ計算部２３７では、注目ブロックとの位置関係が前動きベクトル（-U1,-V1)で表される位置関係にあるパストリファレンス画像VPの領域の画像データから、注目ブロックの推測値が求められる。そして、差分データ計算部２３７では、注目ブロックとその推測値との差分が、第４の差分データとして出力される。
【０７５０】
即ち、図９１は、図８３に示した被写体P8301とP8302とが投影されたターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VF（のフレーム）を示している。
【０７５１】
図９１においては、例えば、移動している被写体P8302が、突然消滅している。即ち、図９１では、移動している被写体P8302が、パストリファレンス画像VPからターゲット画像VTの時刻にかけては存在しているが、ターゲット画像VTからフューチャリファレンス画像VFの時刻の間に消滅している。
【０７５２】
いま、ターゲット画像VTにおいて、例えば、被写体P8302のみを含むあるブロックB9101を、注目ブロックとして注目すると、図９１のパストリファレンス画像VPにおいて、注目ブロックB9101からベクトル(-U1,-V1)だけずれた位置の、注目ブロックB9101と同一サイズの領域R9101の画像データは、（理想的には）注目ブロックB9101と同一になっている。また、フューチャリファレンス画像VFにおいては、注目ブロックB9101と同一の（類似する）領域は、存在しない。
【０７５３】
差分データ計算部２３７（図８１）では、以上のような図９１に示した場合に適した第４の差分データが求められる。
【０７５４】
即ち、差分データ計算部２３７（図８１）では、例えば、パストリファレンス画像VPの領域R9101の画像データを、そのまま、注目ブロックB9101の推測値として、注目ブロックB9101とその推測値との差分が演算される。この差分は、ほとんど０となるので、注目ブロックB9101のデータ量を削減することができる。差分データ計算部２３７は、以上のような注目ブロックB9101とその推測値との差分を、注目ブロックB9101の圧縮結果である第４の差分データとして出力する。
【０７５５】
ここで、差分データ計算部２３７は、パストリファレンス画像VPにおいて、注目ブロックB9101と同一の（最も類似する）画像データの領域R9101の位置を表す前動きベクトル(-U1,-V1)を、次のようにして求める。
【０７５６】
即ち、差分データ計算部２３７は、注目ブロックと、パストリファレンス画像VPの領域Ipとの相関を表す相関情報e3(U',V')を、例えば、上述した式（１１）にしたがって求める。
【０７５７】
差分データ計算部２３７は、式（１１）の相関情報e3(U',V')を、考えられる全ての(U',V')について計算する。さらに、差分データ計算部２３７は、各値の(U',V')について計算した相関情報e3(U',V')から最小値を検出し、その相関情報e3(U',V')の最小値を与える(U',V')を、前動きベクトル(-U1,-V1)として検出する。
【０７５８】
差分データ計算部２３７では、注目ブロックとの位置関係が前動きベクトル(-U1,-V1)で表される位置関係にあるパストリファレンス画像VPの領域の画像データから、注目ブロックの推測値が求められる。そして、差分データ計算部２３７では、注目ブロックとその推測値との差分を、第４の差分データとして、その第４の差分データに、前動きベクトル(-U1,-V1)が付加されて出力される。
【０７５９】
このような第４の差分データは、それに付加されている前動きベクトル(-U1,-V1)を用いて、元の注目ブロックに復元することができる。
【０７６０】
即ち、第４の差分データを求める場合と同様に、まず、注目ブロックとの位置関係が、第４の差分データに付加されている前動きベクトル(-U1,-V1)で表される位置関係にあるパストリファレンス画像VPの画像データから、注目ブロックの推測値を求める。即ち、注目ブロックから前動きベクトル(-U1,-V1)だけずれたパストリファレンス画像VP上の、注目ブロックと同一サイズの領域を求め、そのパストリファレンス画像VPの領域の画像データを、そのまま、注目ブロックの推測値として求める。
【０７６１】
そして、第４の差分データと、注目ブロックの推測値とを加算することにより、注目ブロックを復元することができる。
【０７６２】
次に、図８１の差分データ計算部２３８で求められる第５の差分データについて説明する。
【０７６３】
差分データ計算部２３８では、注目ブロックについて、フィーチャリファレンス画像VFにおいて注目ブロックとの相関が高い位置関係を表す動きベクトル、つまり、後動きベクトル（U2,V2)だけが求められる（パストリファレンス画像VPにおいて注目ブロックとの相関が高い位置関係を表す動きベクトル、つまり、前動きベクトル(-U1,-V1)は求められない）。
【０７６４】
差分データ計算部２３８では、注目ブロックとの位置関係が後動きベクトル（U2,V2)で表される位置関係にあるフィーチャリファレンス画像VFの領域の画像データから、注目ブロックの推測値が求められる。そして、差分データ計算部２３８では、注目ブロックとその推測値との差分が、第５の差分データとして出力される。
【０７６５】
即ち、図９２は、図８３に示した被写体P8301とP8302とが投影されたターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VF（のフレーム）を示している。
【０７６６】
図９２においては、例えば、移動している被写体P8302が、突然出現している。即ち、図９２では、移動している被写体P8302が、パストリファレンス画像VPの時刻には存在しないが、その後、ターゲット画像VTの時刻までの間に出現し、フューチャリファレンス画像VFの時刻でも存在している。
【０７６７】
いま、ターゲット画像VTにおいて、例えば、被写体P8302のみを含むあるブロックB9201を、注目ブロックとして注目すると、図９２のフィーチャリファレンス画像VFにおいて、注目ブロックB9201からベクトル(U2,V2)だけずれた位置の、注目ブロックB9201と同一サイズの領域R9202の画像データは、（理想的には）注目ブロックB9201と同一になっている。また、パストリファレンス画像VPにおいては、注目ブロックB9201と同一の（類似する）領域は、存在しない。
【０７６８】
差分データ計算部２３８（図８１）では、以上のような図９２に示した場合に適した第５の差分データが求められる。
【０７６９】
即ち、差分データ計算部２３８（図８１）では、例えば、フィーチャリファレンス画像VFの領域R9202の画像データを、そのまま、注目ブロックB9201の推測値として、注目ブロックB9201とその推測値との差分が演算される。この差分は、ほとんど０となるので、注目ブロックB9201のデータ量を削減することができる。差分データ計算部２３８は、以上のような注目ブロックB9201とその推測値との差分を、注目ブロックB9201の圧縮結果である第５の差分データとして出力する。
【０７７０】
ここで、差分データ計算部２３８は、フィーチャリファレンス画像VFにおいて、注目ブロックB9201と同一の（最も類似する）画像データの領域R9202の位置を表す後動きベクトル(U2,V2)を、次のようにして求める。
【０７７１】
即ち、差分データ計算部２３８は、注目ブロックと、フィーチャリファレンス画像VFの領域Ifとの相関を表す相関情報e4(U',V')を、例えば、上述した式（１２）にしたがって求める。
【０７７２】
差分データ計算部２３８は、式（１２）の相関情報e4(U',V')を、考えられる全ての(U',V')について計算する。さらに、差分データ計算部２３８は、各値の(U',V')について計算した相関情報e4(U',V')から最小値を検出し、その相関情報e4(U',V')の最小値を与える(U',V')を、後動きベクトル(U2,V2)として検出する。
【０７７３】
差分データ計算部２３８では、注目ブロックとの位置関係が後動きベクトル(U2,V2)で表される位置関係にあるフィーチャリファレンス画像VFの領域の画像データから、注目ブロックの推測値が求められる。そして、差分データ計算部２３８では、注目ブロックとその推測値との差分を、第５の差分データとして、その第５の差分データに、後動きベクトル(U2,V2)が付加されて出力される。
【０７７４】
このような第５の差分データは、それに付加されている後動きベクトル(U2,V2)を用いて、元の注目ブロックに復元することができる。
【０７７５】
即ち、第５の差分データを求める場合と同様に、まず、注目ブロックとの位置関係が、第５の差分データに付加されている後動きベクトル(U2,V2)で表される位置関係にあるフィーチャリファレンス画像VFの画像データから、注目ブロックの推測値を求める。即ち、注目ブロックから後動きベクトル(U2,V2)だけずれたフィーチャリファレンス画像VF上の、注目ブロックと同一サイズの領域を求め、そのフィーチャリファレンス画像VFの領域の画像データを、そのまま、注目ブロックの推測値として求める。
【０７７６】
そして、第５の差分データと、注目ブロックの推測値とを加算することにより、注目ブロックを復元することができる。
【０７７７】
次に、図８１の差分データ計算部２３９で求められる第６の差分データについて説明する。
【０７７８】
差分データ計算部２３９では、注目ブロックの推定値が０であるとして、注目ブロックとその推測値との差分が、第６の差分データとして出力される。
【０７７９】
即ち、図９３は、図８３に示した被写体P8301とP8302とが投影されたターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VF（のフレーム）を示している。
【０７８０】
図９３においては、例えば、移動している被写体P8302が、突然出現し、その後、突然消滅している。即ち、図９３では、移動している被写体P8302が、パストリファレンス画像VPの時刻には存在しないが、その後、ターゲット画像VTの時刻までの間に出現し、さらに、フューチャリファレンス画像VFの時刻までの間に消滅している。
【０７８１】
いま、ターゲット画像VTにおいて、例えば、被写体P8302のみを含むあるブロックB9301を、注目ブロックとして注目すると、図９３のパストリファレンス画像VPおよびフィーチャリファレンス画像VFのいずれにも、注目ブロックB9301と同一の（類似する）領域は、存在しない。
【０７８２】
差分データ計算部２３９（図８１）では、以上のような図９３に示した場合に適した第６の差分データが求められる。
【０７８３】
即ち、パストリファレンス画像VPおよびフィーチャリファレンス画像VFのいずれにも、注目ブロックB9301と同一の（類似する）領域が存在しない場合には、パストリファレンス画像VPやフィーチャリファレンス画像VFから、注目ブロックB9301の推測値を求めても、その推測値は、注目ブロックB9301の画像データとはかけ離れた値になる。従って、注目ブロックB9301と、そのような推測値との差分をとっても、その差分は、ほとんど０となることはなく、大きな値になるため、注目ブロックB9301のデータ量を削減することはできない。
【０７８４】
そこで、差分データ計算部２３９は、注目ブロックB9301の推定値を求めずに、注目ブロックB9301を、第６の差分データとして出力する。ここで、第６の差分データは、上述したように、注目ブロックの推定値が０であるとして、注目ブロックとその推測値との差分をとった結果であるとみることもできる。
【０７８５】
なお、以上の第１乃至第６の差分データのうちの、第３乃至第６の差分データは、MPEGにおけるBピクチャと同様の概念のものである。
【０７８６】
また、上述の場合には、相関を表す相関情報として、計算量の削減のために、差分絶対値の総和を採用したが、相関情報としては、相関係数などを採用することもできる。
【０７８７】
次に、図９４は、第１の差分データを求める図８１の差分データ計算部２３４の構成例を示している。
【０７８８】
図９４において、入力端子２５１には、図８１の入力端子２３３からの注目ブロック（の画像データ）が入力される。また、入力端子２５２には、図８１の入力端子２３１からのパストリファレンス画像VPが入力され、入力端子２５３には、図８１の入力端子２３２からのフューチャリファレンス画像VFが入力される。
【０７８９】
入力端子２５１から入力された注目ブロックは、減算部２５６に供給される。
【０７９０】
入力端子２５２から入力されたパストリファレンス画像VPは、相関最大位置検出部２５４および平均値計算部２５５に供給される。入力端子２５３から入力されたフューチャリファレンス画像VFも、相関最大位置検出部２５４および平均値計算部２５５に供給される。
【０７９１】
相関最大位置検出部２５４は、入力端子２５１からの注目ブロックについて、入力端子２５２からのパストリファレンス画像VPと、入力端子２５３からのフューチャリファレンス画像VFとにおいて、相関が高い位置関係を検出する。即ち、相関最大位置検出部２５４は、注目ブロックについて、式（９）の相関情報e1(U',V')を計算し、その相関情報e1(U',V')が表す相関を最大にする(U',V')、つまり、相関情報e1(U',V')の値を最小にする(U',V')を検出する。そして、相関最大位置検出部２５４は、相関情報e1(U',V')の値を最小にする(U',V')を、パストリファレンス画像VPとフューチャリファレンス画像VFにおいて、相関が最も高い領域の位置関係を表す位置関係ベクトル(U,V)として、平均値計算部２５５に供給する。
【０７９２】
平均値計算部２５５は、相関最大位置検出部２５４からの位置関係ベクトル(U,V)が表す位置関係にある、パストリファレンス画像VPとフューチャリファレンス画像VFの領域の画像データから、注目ブロックの推測値を求め、減算部２５６に供給する。
【０７９３】
即ち、平均値計算部２５５は、パストリファレンス画像VPにおいて、注目ブロックからベクトル(-(4-s)U,-(4-s)V)だけずれた位置の領域と、フューチャリファレンス画像VFにおいて、注目ブロックからベクトル(sU,sV)だけずれた位置の領域との画像データの、例えば、重み付け平均値を、式（１３）にしたがって計算し、その重み付け平均値を、注目ブロックの推測値Pre(x,y)として求め、減算部２５６に供給する。
【０７９４】
【数１３】
2006086707.tif 000015
・・・（１３）
【０７９５】
ここで、式（１３）において、(x,y)は、ターゲット画像VTにおける注目ブロックの各画素の位置を表す。また、Ip(x-(4-s)U,y-(4-s)V)は、パストリファレンス画像VPにおける位置(x-(4-s)U,y-(4-s)V)の画素の画素値を表す。さらに、If(x+sU,y+sV)は、フューチャリファレンス画像VFにおける位置(x+sU,y+sV)の画素の画素値を表す。また、Wは、重みで、例えば、1/2などを採用することができる。
【０７９６】
なお、重みWは、例えば、ユーザの操作入力に応じて設定することができる。また、重みWは、その他、例えば、図８２に示した、ターゲット画像VTとパストリファレンス画像VPとの時間差である(4-s)/240秒と、ターゲット画像VTとフューチャリファレンス画像VFとの時間差であるs/240秒との割合を考慮して決めても良い。
【０７９７】
即ち、ターゲット画像VTとパストリファレンス画像VPとの時間差である(4-s)/240秒が、ターゲット画像VTとフューチャリファレンス画像VPとの時間差であるs/240秒よりも短いときは、注目ブロックの推測値は、パストリファレンス画像VPに重きをおいて求めた方が、より精度が高い値を求めることができる。一方、ターゲット画像VTとフューチャリファレンス画像VPとの時間差であるs/240秒が、ターゲット画像VTとパストリファレンス画像VPとの時間差である(4-s)/240秒よりも短いときは、注目ブロックの推測値は、フューチャリファレンス画像VFに重きをおいて求めた方が、より精度が高い値を求めることができる。そこで、重みWは、上述の時間差を表す変数sに依存する値、即ち、例えば、s/4などとすることができる。
【０７９８】
減算部２５６は、平均値計算部２５５から供給される注目ブロックの推測値Pre(x,y)を用いて、入力端子２５１から供給される注目ブロック（の画像データ）Ic(x,y)を圧縮する。即ち、減算部２５６は、平均値計算部２５５から供給される注目ブロックの推測値Pre(x,y)と、入力端子２５１から供給される注目ブロックIc(x,y)との、対応する画素の画素値どうしの差分を計算し、その結果得られる差分値Sub(x,y)=Ic(x,y)-Pre(x,y)を、変換部２５７に供給する。
【０７９９】
変換部２５７は、減算部２５６からの注目ブロックの差分値Sub(x,y)を、周波数空間上のデータに変換する。即ち、変換部２５７は、注目ブロックの差分値Sub(x,y)を、例えば、DCT(Discrete Cosine Transform)変換し、その結果得られるDCT係数を、量子化部２５８に供給する。
【０８００】
量子化部２５８は、変換部２５７からの注目ブロックのDCT係数を量子化し、その結果得られる量子化データを、可変長符号化部２５９に供給する。
【０８０１】
可変長符号化部２５９は、量子化部２５８からの注目ブロックの量子化データを可変長符号化し、その結果得られる可変長符号を、第１の差分データとして、出力端子２６０から、選択回路２４０（図８１）に出力する。なお、注目ブロック（の画像データ）Ic(x,y)とその推測値Pre(x,y)とが完全に一致する場合、可変長符号化部２５９において、注目ブロックの量子化データを可変長符号化することにより得られる可変長符号は、NULLを表すものとなる。
【０８０２】
次に、図９５のフローチャートを参照して、図９４の差分データ計算部２３４の動作について説明する。
【０８０３】
まず最初に、ステップＳ２１１において、注目ブロック、パストリファレンス画像VP、およびフューチャリファレンス画像VFが入力される。即ち、注目ブロックが、入力端子２５１から減算部２５６に入力され、パストリファレンス画像VPが、入力端子２５２から、相関最大位置検出部２５４および平均値計算部２５５に入力される。さらに、フューチャリファレンス画像VFが、入力端子２５３から、相関最大位置検出部２５４および平均値計算部２５５に入力される。
【０８０４】
そして、ステップＳ２１１からＳ２１２に進み、相関最大位置検出部２５４は、入力端子２５１からの注目ブロックについて、入力端子２５２からのパストリファレンス画像VPと、入力端子２５３からのフューチャリファレンス画像VFとにおいて、相関が高い位置関係を検出する。即ち、相関最大位置検出部２５４は、注目ブロックにつき、考えられるすべての(U',V')の値について、式（９）の相関情報e1(U',V')を計算し、その相関情報e1(U',V')が表す相関を最大にする(U',V')、つまり、相関情報e1(U',V')の値を最小にする(U',V')を検出する。そして、相関最大位置検出部２５４は、相関情報e1(U',V')の値を最小にする(U',V')を、パストリファレンス画像VPとフューチャリファレンス画像VFにおいて、相関が最も高い領域の位置関係を表す位置関係ベクトル(U,V)として、平均値計算部２５５に供給し、ステップＳ２１２からＳ２１３に進む。
【０８０５】
ステップＳ２１３では、平均値計算部２５５は、式（１３）にしたがい、相関最大位置検出部２５４からの位置関係ベクトル(U,V)が表す位置関係にある、パストリファレンス画像VPとフューチャリファレンス画像VFの領域の画像データから、注目ブロックの推測値Pre(x,y)を求め、減算部２５６に供給して、ステップＳ２１４に進む。
【０８０６】
ステップＳ２１４では、減算部２５６は、平均値計算部２５５から供給される注目ブロックの推測値Pre(x,y)と、入力端子２５１から供給される注目ブロックIc(x,y)との、対応する画素の画素値どうしの差分を計算し、その結果得られる差分値Sub(x,y)を、変換部２５７に供給して、ステップＳ２１５に進む。
【０８０７】
ステップＳ２１５では、変換部２５７は、減算部２５６からの注目ブロックの差分値Sub(x,y)をDCT変換し、その結果得られるDCT係数を、量子化部２５８に供給して、ステップＳ２１６に進む。ステップＳ２１６では、量子化部２５８は、変換部２５７からの注目ブロックのDCT係数を量子化し、その結果得られる量子化データを、可変長符号化部２５９に供給して、ステップＳ２１７に進む。ステップＳ２１７では、可変長符号化部２５９は、量子化部２５８からの注目ブロックの量子化データを可変長符号化して、ステップＳ２１８に進み、可変長符号化の結果得られる可変長符号を、第１の差分データとして、出力端子２６０から、選択回路２４０（図８１）に出力する。従って、第１の差分データには、位置関係ベクトル(U,V)は含まない。
【０８０８】
以上のようにして、差分データ計算部２３４では、ターゲット画像VTがブロック単位で、第１の差分データに圧縮される。
【０８０９】
次に、図９６は、第２の差分データを求める図８１の差分データ計算部２３５の構成例を示している。
【０８１０】
図９６において、入力端子２７１には、図８１の入力端子２３３からの注目ブロック（の画像データ）が入力される。また、入力端子２７２には、図８１の入力端子２３１からのパストリファレンス画像VPが入力され、入力端子２７３には、図８１の入力端子２３２からのフューチャリファレンス画像VFが入力される。
【０８１１】
入力端子２７１から入力された注目ブロックは、相関最大位置検出部２７４および減算部２７６に供給される。
【０８１２】
入力端子２７２から入力されたパストリファレンス画像VPは、相関最大位置検出部２７４および平均値計算部２７５に供給される。入力端子２７３から入力されたフューチャリファレンス画像VFも、相関最大位置検出部２７４および平均値計算部２７５に供給される。
【０８１３】
相関最大位置検出部２７４は、入力端子２７１からの注目ブロックについて、入力端子２７２からのパストリファレンス画像VPと、入力端子２７３からのフューチャリファレンス画像VFとにおいて、入力端子２７１からの注目ブロックとの相関が高い位置関係を検出する。即ち、相関最大位置検出部２７４は、注目ブロックについて、式（１０）の相関情報e2(U',V')を計算し、その相関情報e2(U',V')が表す相関を最大にする(U',V')、つまり、相関情報e2(U',V')の値を最小にする(U',V')を検出する。そして、相関最大位置検出部２７４は、相関情報e2(U',V')の値を最小にする(U',V')を、パストリファレンス画像VPとフューチャリファレンス画像VFにおいて、注目ブロックとの相関が最も高い領域の位置関係を表す相関最大ベクトル(U,V)として、平均値計算部２７５および可変長符号化部２７９に供給する。
【０８１４】
平均値計算部２７５は、注目ブロックとの位置関係が、相関最大位置検出部２７４からの相関最大ベクトル(U,V)から求められる位置関係にある、パストリファレンス画像VPとフューチャリファレンス画像VFの領域の画像データから、注目ブロックの推測値を求め、減算部２７６に供給する。
【０８１５】
即ち、平均値計算部２７５は、パストリファレンス画像VPにおいて、注目ブロックからベクトル(-(4-s)U,-(4-s)V)だけずれた位置の領域と、フューチャリファレンス画像VFにおいて、注目ブロックからベクトル(sU,sV)だけずれた位置の領域との画像データの、例えば、重み付け平均値を、上述の式（１３）にしたがって計算し、その重み付け平均値を、注目ブロックの推測値Pre(x,y)として求め、減算部２７６に供給する。
【０８１６】
減算部２７６は、平均値計算部２７５から供給される注目ブロックの推測値Pre(x,y)を用いて、入力端子２７１から供給される注目ブロック（の画像データ）Ic(x,y)を圧縮する。即ち、減算部２７６は、平均値計算部２７５から供給される注目ブロックの推測値Pre(x,y)と、入力端子２７１から供給される注目ブロックIc(x,y)との、対応する画素の画素値どうしの差分を計算し、その結果得られる差分値Sub(x,y)=Ic(x,y)-Pre(x,y)を、変換部２７７に供給する。
【０８１７】
変換部２７７は、減算部２７６からの注目ブロックの差分値Sub(x,y)を、周波数空間上のデータに変換する。即ち、変換部２７７は、注目ブロックの差分値Sub(x,y)を、例えば、DCT変換し、その結果得られるDCT係数を、量子化部２７８に供給する。
【０８１８】
量子化部２７８は、変換部２７７からの注目ブロックのDCT係数を量子化し、その結果得られる量子化データを、可変長符号化部２７９に供給する。
【０８１９】
可変長符号化部２７９は、量子化部２７８からの注目ブロックの量子化データを可変長符号化するとともに、相関最大位置検出部２７４からの相関最大ベクトル(U,V)を可変長符号化する。さらに、可変長符号化部２７９は、注目ブロックの量子化データの可変長符号に、相関最大ベクトル(U,V)の可変長符号を付加し、第２の差分データとして、出力端子２８０から、選択回路２４０（図８１）に出力する。なお、注目ブロック（の画像データ）Ic(x,y)とその推測値Pre(x,y)とが完全に一致する場合、可変長符号化部２７９において、注目ブロックの量子化データを可変長符号化することにより得られる可変長符号は、NULLを表すものとなり、第２の差分データは、相関最大ベクトル(U,V)の可変長符号だけとなる。
【０８２０】
次に、図９７のフローチャートを参照して、図９６の差分データ計算部２３５の動作について説明する。
【０８２１】
まず最初に、ステップＳ２２１において、注目ブロック、パストリファレンス画像VP、およびフューチャリファレンス画像VFが入力される。即ち、注目ブロックが、入力端子２７１から相関最大位置検出部２７４および減算部２７６に入力され、パストリファレンス画像VPが、入力端子２７２から、相関最大位置検出部２７４および平均値計算部２７５に入力される。さらに、フューチャリファレンス画像VFが、入力端子２７３から、相関最大位置検出部２７４および平均値計算部２７５に入力される。
【０８２２】
そして、ステップＳ２２１からＳ２２２に進み、相関最大位置検出部２７４は、入力端子２７１からの注目ブロックについて、入力端子２７２からのパストリファレンス画像VPと、入力端子２７３からのフューチャリファレンス画像VFとにおいて、注目ブロックとの相関が高い位置関係を検出する。即ち、相関最大位置検出部２７４は、注目ブロックにつき、考えられるすべての(U',V')の値について、式（１０）の相関情報e2(U',V')を計算し、その相関情報e2(U',V')が表す相関を最大にする(U',V')、つまり、相関情報e2(U',V')の値を最小にする(U',V')を検出する。そして、相関最大位置検出部２７４は、相関情報e2(U',V')の値を最小にする(U',V')を、パストリファレンス画像VPとフューチャリファレンス画像VFにおいて、注目ブロックとの相関が最も高い領域の位置関係を表す相関最大ベクトル(U,V)として、平均値計算部２７５および可変長符号化部２７９に供給し、ステップＳ２２２からＳ２２３に進む。
【０８２３】
ステップＳ２２３では、平均値計算部２７５は、式（１３）にしたがい、注目ブロックとの位置関係が、相関最大位置検出部２７４からの相関最大ベクトル(U,V)から求められる位置関係にある、パストリファレンス画像VPとフューチャリファレンス画像VFの領域の画像データから、注目ブロックの推測値Pre(x,y)を求め、減算部２７６に供給して、ステップＳ２２４に進む。
【０８２４】
ステップＳ２２４では、減算部２７６は、平均値計算部２７５から供給される注目ブロックの推測値Pre(x,y)と、入力端子２７１から供給される注目ブロックIc(x,y)との、対応する画素の画素値どうしの差分を計算し、その結果得られる差分値Sub(x,y)を、変換部２７７に供給して、ステップＳ２２５に進む。
【０８２５】
ステップＳ２２５では、変換部２７７は、減算部２７６からの注目ブロックの差分値Sub(x,y)をDCT変換し、その結果得られるDCT係数を、量子化部２７８に供給して、ステップＳ２２６に進む。ステップＳ２２６では、量子化部２７８は、変換部２７７からの注目ブロックのDCT係数を量子化し、その結果得られる量子化データを、可変長符号化部２７９に供給して、ステップＳ２２７に進む。ステップＳ２２７では、可変長符号化部２７９は、量子化部２７８からの注目ブロックの量子化データを可変長符号化するとともに、相関最大位置検出部２７４からの相関最大ベクトル(U,V)を可変長符号化する。さらに、ステップＳ２２７において、可変長符号化部２７９は、注目ブロックの量子化データの可変長符号に、相関最大ベクトル(U,V)の可変長符号を付加することにより、第２の差分データとして、ステップＳ２２８に進み、その第２の差分データを、出力端子２８０から、選択回路２４０（図８１）に出力する。
【０８２６】
以上のようにして、差分データ計算部２３５では、ターゲット画像VTがブロック単位で、第２の差分データに圧縮される。
【０８２７】
次に、図９８は、第３の差分データを求める図８１の差分データ計算部２３６の構成例を示している。
【０８２８】
図９８において、入力端子２９１には、図８１の入力端子２３３からの注目ブロック（の画像データ）が入力される。また、入力端子２９２には、図８１の入力端子２３１からのパストリファレンス画像VPが入力され、入力端子２９３には、図８１の入力端子２３２からのフューチャリファレンス画像VFが入力される。
【０８２９】
入力端子２９１から入力された注目ブロックは、相関最大位置検出部２９４，２９５、および減算部２９７に供給される。
【０８３０】
入力端子２９２から入力されたパストリファレンス画像VPは、相関最大位置検出部２９４および平均値計算部２９６に供給される。入力端子２９３から入力されたフューチャリファレンス画像VFは、相関最大位置検出部２９５および平均値計算部２９６に供給される。
【０８３１】
相関最大位置検出部２９４は、入力端子２９２からのパストリファレンス画像VPにおいて、入力端子２９１からの注目ブロックとの相関が高い位置関係を検出する相関最大位置検出部２９５は、入力端子２９３からのフューチャリファレンス画像VFにおいて、入力端子２９１からの注目ブロックとの相関が高い位置関係を検出する。
【０８３２】
即ち、相関最大位置検出部２９４は、注目ブロックについて、式（１１）の相関情報e3(U',V')を計算し、その相関情報e3(U',V')が表す相関を最大にする(U',V')、つまり、相関情報e3(U',V')の値を最小にする(U',V')を検出する。そして、相関最大位置検出部２９４は、相関情報e3(U',V')の値を最小にする(U',V')を、パストリファレンス画像VPにおいて、注目ブロックとの相関が最も高い領域の位置関係を表す前動きベクトル(-U1,-V1)として、平均値計算部２９６および可変長符号化部３００に供給する。
【０８３３】
また、相関最大位置検出部２９５は、注目ブロックについて、式（１２）の相関情報e4(U',V')を計算し、その相関情報e4(U',V')が表す相関を最大にする(U',V')、つまり、相関情報e4(U',V')の値を最小にする(U',V')を検出する。そして、相関最大位置検出部２９５は、相関情報e4(U',V')の値を最小にする(U',V')を、フューチャリファレンス画像VFにおいて、注目ブロックとの相関が最も高い領域の位置関係を表す後動きベクトル(U2,V2)として、平均値計算部２９６および可変長符号化部３００に供給する。
【０８３４】
平均値計算部２９６は、注目ブロックとの位置関係が、相関最大位置検出部２９４からの前動きベクトル(-U1,-V1)が表す位置関係にある、パストリファレンス画像VPの領域の画像データと、注目ブロックとの位置関係が、相関最大位置検出部２９５からの後動きベクトル(U2,V2)が表す位置関係にある、フューチャリファレンス画像VFの領域の画像データとから、注目ブロックの推測値を求め、減算部２９７に供給する。
【０８３５】
即ち、平均値計算部２９６は、パストリファレンス画像VPにおいて、注目ブロックから前動きベクトル(-U1,-V1)だけずれた位置の領域と、フューチャリファレンス画像VFにおいて、後ベクトル(U2,V2)だけずれた位置の領域との画像データの、例えば、重み付け平均値を、式（１４）にしたがって計算し、その重み付け平均値を、注目ブロックの推測値Pre(x,y)として求め、減算部２９７に供給する。
【０８３６】
【数１４】
2006086707.tif 000016
・・・（１４）
【０８３７】
ここで、式（１４）において、(x,y)は、ターゲット画像VTにおける注目ブロックの各画素の位置を表す。また、Ip(x-U1,y-V1)は、パストリファレンス画像VPにおける位置(x-U1,y-V1)の画素の画素値を表す。さらに、If(x+U2,y+V2)は、フューチャリファレンス画像VFにおける位置(x+U2,y+V2)の画素の画素値を表す。また、Wは、重みで、例えば、1/2などを採用することができる。
【０８３８】
なお、重みWは、例えば、ユーザの操作入力に応じて設定することができる。また、重みWは、その他、例えば、図８２に示した、ターゲット画像VTとパストリファレンス画像VPとの時間差である(4-s)/240秒と、ターゲット画像VTとフューチャリファレンス画像VFとの時間差であるs/240秒との割合を考慮して決めても良い。
【０８３９】
即ち、ターゲット画像VTとパストリファレンス画像VPとの時間差である(4-s)/240秒が、ターゲット画像VTとフューチャリファレンス画像VPとの時間差であるs/240秒よりも短いときは、注目ブロックの推測値は、パストリファレンス画像VPに重きをおいて求めた方が、より精度が高い値を求めることができる。一方、ターゲット画像VTとフューチャリファレンス画像VPとの時間差であるs/240秒が、ターゲット画像VTとパストリファレンス画像VPとの時間差である(4-s)/240秒よりも短いときは、注目ブロックの推測値は、フューチャリファレンス画像VFに重きをおいて求めた方が、より精度が高い値を求めることができる。そこで、重みWは、上述の時間差を表す変数sに依存する値、即ち、例えば、s/4などとすることができる。
【０８４０】
減算部２９７は、平均値計算部２９６から供給される注目ブロックの推測値Pre(x,y)を用いて、入力端子２９１から供給される注目ブロック（の画像データ）Ic(x,y)を圧縮する。即ち、減算部２９７は、平均値計算部２９６から供給される注目ブロックの推測値Pre(x,y)と、入力端子２９１から供給される注目ブロックIc(x,y)との、対応する画素の画素値どうしの差分を計算し、その結果得られる差分値Sub(x,y)=Ic(x,y)-Pre(x,y)を、変換部２９８に供給する。
【０８４１】
変換部２９８は、減算部２９７からの注目ブロックの差分値Sub(x,y)を、周波数空間上のデータに変換する。即ち、変換部２９８は、注目ブロックの差分値Sub(x,y)を、例えば、DCT変換し、その結果得られるDCT係数を、量子化部２９９に供給する。
【０８４２】
量子化部２９９は、変換部２９８からの注目ブロックのDCT係数を量子化し、その結果得られる量子化データを、可変長符号化部３００に供給する。
【０８４３】
可変長符号化部３００は、量子化部２９９からの注目ブロックの量子化データを可変長符号化するとともに、相関最大位置検出部２９４からの前動きベクトル(-U1,-V1)と、相関最大位置検出部２９５からの後動きベクトル(U2,V2)とを可変長符号化する。さらに、可変長符号化部３００は、注目ブロックの量子化データの可変長符号に、前動きベクトル(-U1,-V1)と後動きベクトル(U2,V2)との可変長符号を付加し、第３の差分データとして、出力端子３０１から、選択回路２４０（図８１）に出力する。なお、注目ブロック（の画像データ）Ic(x,y)とその推測値Pre(x,y)とが完全に一致する場合、可変長符号化部３００において、注目ブロックの量子化データを可変長符号化することにより得られる可変長符号は、NULLを表すものとなり、第３の差分データは、前動きベクトル(-U1,-V1)と後動きベクトル(U2,V2)との可変長符号だけとなる。
【０８４４】
次に、図９９のフローチャートを参照して、図９８の差分データ計算部２３６の動作について説明する。
【０８４５】
まず最初に、ステップＳ２３１において、注目ブロック、パストリファレンス画像VP、およびフューチャリファレンス画像VFが入力される。即ち、注目ブロックが、入力端子２９１から相関最大位置検出部２９４，２９５、および減算部２９７に入力され、パストリファレンス画像VPが、入力端子２９２から、相関最大位置検出部２９４および平均値計算部２９６に入力される。さらに、フューチャリファレンス画像VFが、入力端子２９３から、相関最大位置検出部２９５および平均値計算部２９６に入力される。
【０８４６】
そして、ステップＳ２３１からＳ２３２に進み、相関最大位置検出部２９４は、入力端子２９１からの注目ブロックについて、入力端子２９２からのパストリファレンス画像VPにおいて、注目ブロックとの相関が高い位置関係を検出する。即ち、相関最大位置検出部２９４は、注目ブロックにつき、考えられるすべての(U',V')の値について、式（１１）の相関情報e3(U',V')を計算し、その相関情報e3(U',V')が表す相関を最大にする(U',V')、つまり、相関情報e3(U',V')の値を最小にする(U',V')を検出する。そして、相関最大位置検出部２９４は、相関情報e3(U',V')の値を最小にする(U',V')を、パストリファレンス画像VPにおいて、注目ブロックとの相関が最も高い領域の位置関係を表す前動きベクトル(-U1,-V1)として、平均値計算部２９６および可変長符号化部３００に供給し、ステップＳ２３２からＳ２３３に進む。
【０８４７】
ステップＳ２３３では、相関最大位置検出部２９５は、入力端子２９１からの注目ブロックについて、入力端子２９３からのフューチャリファレンス画像VFにおいて、注目ブロックとの相関が高い位置関係を検出する。即ち、相関最大位置検出部２９５は、注目ブロックにつき、考えられるすべての(U',V')の値について、式（１２）の相関情報e4(U',V')を計算し、その相関情報e4(U',V')が表す相関を最大にする(U',V')、つまり、相関情報e4(U',V')の値を最小にする(U',V')を検出する。そして、相関最大位置検出部２９４は、相関情報e4(U',V')の値を最小にする(U',V')を、フューチャリファレンス画像VFにおいて、注目ブロックとの相関が最も高い領域の位置関係を表す後動きベクトル(U2,V2)として、平均値計算部２９６および可変長符号化部３００に供給し、ステップＳ２３３からＳ２３４に進む。
【０８４８】
ステップＳ２３４では、平均値計算部２９６は、式（１４）にしたがい、注目ブロックとの位置関係が、相関最大位置検出部２９４からの前動きベクトル(-U1,-V1)が表す位置関係にある、パストリファレンス画像VPの領域の画像データと、注目ブロックとの位置関係が、相関最大位置検出部２９５からの後動きベクトル(U2,V2)が表す位置関係にある、フューチャリファレンス画像VFの領域の画像データとから、注目ブロックの推測値Pre(x,y)を求め、減算部２９７に供給して、ステップＳ２３５に進む。
【０８４９】
ステップＳ２３５では、減算部２９７は、平均値計算部２９６から供給される注目ブロックの推測値Pre(x,y)と、入力端子２９１から供給される注目ブロックIc(x,y)との、対応する画素の画素値どうしの差分を計算し、その結果得られる差分値Sub(x,y)を、変換部２９８に供給して、ステップＳ２３６に進む。
【０８５０】
ステップＳ２３６では、変換部２９８は、減算部２９７からの注目ブロックの差分値Sub(x,y)をDCT変換し、その結果得られるDCT係数を、量子化部２９９に供給して、ステップＳ２３７に進む。ステップＳ２３７では、量子化部２９９は、変換部２９８からの注目ブロックのDCT係数を量子化し、その結果得られる量子化データを、可変長符号化部３００に供給して、ステップＳ２３８に進む。ステップＳ２３８では、可変長符号化部３００は、量子化部２９９からの注目ブロックの量子化データを可変長符号化するとともに、相関最大位置検出部２９４からの前動きベクトル(-U1,-V1)と、相関最大位置検出部２９５からの後動きベクトル(U2,V2)とを可変長符号化する。さらに、ステップＳ２３８において、可変長符号化部３００は、注目ブロックの量子化データの可変長符号に、前動きベクトル(-U1,-V1)と後動きベクトル(U2,V2)との可変長符号を付加することにより、第３の差分データとして、ステップＳ２３９に進み、その第３の差分データを、出力端子３０１から、選択回路２４０（図８１）に出力する。
【０８５１】
以上のようにして、差分データ計算部２３６では、ターゲット画像VTがブロック単位で、第３の差分データに圧縮される。
【０８５２】
次に、図１００は、第４の差分データを求める図８１の差分データ計算部２３７の構成例を示している。
【０８５３】
図１００において、入力端子３１１には、図８１の入力端子２３３からの注目ブロック（の画像データ）が入力され、入力端子３１２には、図８１の入力端子２３１からのパストリファレンス画像VPが入力される。
【０８５４】
入力端子３１１から入力された注目ブロックは、相関最大位置検出部３１３および減算部３１５に供給される。
【０８５５】
入力端子３１２から入力されたパストリファレンス画像VPは、相関最大位置検出部３１３および切り出し部３１４に供給される。
【０８５６】
相関最大位置検出部３１３は、入力端子３１２からのパストリファレンス画像VPにおいて、入力端子３１１からの注目ブロックとの相関が高い位置関係を検出する。
【０８５７】
即ち、相関最大位置検出部３１３は、注目ブロックについて、式（１１）の相関情報e3(U',V')を計算し、その相関情報e3(U',V')が表す相関を最大にする(U',V')、つまり、相関情報e3(U',V')の値を最小にする(U',V')を検出する。そして、相関最大位置検出部３１３は、相関情報e3(U',V')の値を最小にする(U',V')を、パストリファレンス画像VPにおいて、注目ブロックとの相関が最も高い領域の位置関係を表す前動きベクトル(-U1,-V1)として、切り出し部３１４および可変長符号化部３１８に供給する。
【０８５８】
切り出し部３１４は、注目ブロックとの位置関係が、相関最大位置検出部３１３からの前動きベクトル(-U1,-V1)が表す位置関係にある、パストリファレンス画像VPの領域の画像データを切り出し、注目ブロックの推測値として、減算部３１５に供給する。
【０８５９】
即ち、切り出し部３１４は、パストリファレンス画像VPにおいて、注目ブロックから前動きベクトル(-U1,-V1)だけずれた位置の領域の画像データを、注目ブロックの推測値Pre(x,y)として切り出し（求め）、減算部３１５に供給する。
【０８６０】
減算部３１５は、切り出し部３１４から供給される注目ブロックの推測値Pre(x,y)を用いて、入力端子３１１から供給される注目ブロック（の画像データ）Ic(x,y)を圧縮する。即ち、減算部３１５は、切り出し部３１４から供給される注目ブロックの推測値Pre(x,y)と、入力端子３１１から供給される注目ブロックIc(x,y)との、対応する画素の画素値どうしの差分を計算し、その結果得られる差分値Sub(x,y)=Ic(x,y)-Pre(x,y)を、変換部３１６に供給する。
【０８６１】
変換部３１６は、減算部３１５からの注目ブロックの差分値Sub(x,y)を、周波数空間上のデータに変換する。即ち、変換部３１６は、注目ブロックの差分値Sub(x,y)を、例えば、DCT変換し、その結果得られるDCT係数を、量子化部３１７に供給する。
【０８６２】
量子化部３１７は、変換部３１６からの注目ブロックのDCT係数を量子化し、その結果得られる量子化データを、可変長符号化部３１８に供給する。
【０８６３】
可変長符号化部３１８は、量子化部３１７からの注目ブロックの量子化データを可変長符号化するとともに、相関最大位置検出部３１３からの前動きベクトル(-U1,-V1)を可変長符号化する。さらに、可変長符号化部３１８は、注目ブロックの量子化データの可変長符号に、前動きベクトル(-U1,-V1)の可変長符号を付加し、第４の差分データとして、出力端子３１９から、選択回路２４０（図８１）に出力する。なお、注目ブロック（の画像データ）Ic(x,y)とその推測値Pre(x,y)とが完全に一致する場合、可変長符号化部３１８において、注目ブロックの量子化データを可変長符号化することにより得られる可変長符号は、NULLを表すものとなり、第４の差分データは、前動きベクトル(-U1,-V1)の可変長符号だけとなる。
【０８６４】
次に、図１０１のフローチャートを参照して、図１００の差分データ計算部２３７の動作について説明する。
【０８６５】
まず最初に、ステップＳ２４１において、注目ブロックおよびパストリファレンス画像VPが入力される。即ち、注目ブロックが、入力端子３１１から相関最大位置検出部３１３および減算部３１５に入力され、パストリファレンス画像VPが、入力端子３１２から、相関最大位置検出部３１３および切り出し部３１４に入力される。
【０８６６】
そして、ステップＳ２４１からＳ２４２に進み、相関最大位置検出部３１３は、入力端子３１１からの注目ブロックについて、入力端子３１２からのパストリファレンス画像VPにおいて、注目ブロックとの相関が高い位置関係を検出する。即ち、相関最大位置検出部３１３は、注目ブロックにつき、考えられるすべての(U',V')の値について、式（１１）の相関情報e3(U',V')を計算し、その相関情報e3(U',V')が表す相関を最大にする(U',V')、つまり、相関情報e3(U',V')の値を最小にする(U',V')を検出する。そして、相関最大位置検出部３１３は、相関情報e3(U',V')の値を最小にする(U',V')を、パストリファレンス画像VPにおいて、注目ブロックとの相関が最も高い領域の位置関係を表す前動きベクトル(-U1,-V1)として、切り出し部３１４および可変長符号化部３１８に供給し、ステップＳ２４２からＳ２４３に進む。
【０８６７】
ステップＳ２４３では、切り出し部３１４は、注目ブロックとの位置関係が、相関最大位置検出部３１３からの前動きベクトル(-U1,-V1)が表す位置関係にある、パストリファレンス画像VPの領域の画像データを、注目ブロックの推測値Pre(x,y)として切り出し、減算部３１５に供給して、ステップＳ２４４に進む。
【０８６８】
ステップＳ２４４では、減算部３１５は、切り出し部３１４から供給される注目ブロックの推測値Pre(x,y)と、入力端子３１１から供給される注目ブロックIc(x,y)との、対応する画素の画素値どうしの差分を計算し、その結果得られる差分値Sub(x,y)を、変換部３１６に供給して、ステップＳ２４５に進む。
【０８６９】
ステップＳ２４５では、変換部３１６は、減算部３１５からの注目ブロックの差分値Sub(x,y)をDCT変換し、その結果得られるDCT係数を、量子化部３１７に供給して、ステップＳ２４６に進む。ステップＳ２４６では、量子化部３１７は、変換部３１６からの注目ブロックのDCT係数を量子化し、その結果得られる量子化データを、可変長符号化部３１８に供給して、ステップＳ２４７に進む。ステップＳ２４７では、可変長符号化部３１８は、量子化部３１７からの注目ブロックの量子化データを可変長符号化するとともに、相関最大位置検出部３１３からの前動きベクトル(-U1,-V1)を可変長符号化する。さらに、ステップＳ２４７において、可変長符号化部３１８は、注目ブロックの量子化データの可変長符号に、前動きベクトル(-U1,-V1)の可変長符号を付加することにより、第４の差分データとして、ステップＳ２４８に進み、その第４の差分データを、出力端子３１９から、選択回路２４０（図８１）に出力する。
【０８７０】
以上のようにして、差分データ計算部２３７では、ターゲット画像VTがブロック単位で、第４の差分データに圧縮される。
【０８７１】
次に、図１０２は、第５の差分データを求める図８１の差分データ計算部２３８の構成例を示している。
【０８７２】
図１０２において、入力端子３３１には、図８１の入力端子２３３からの注目ブロック（の画像データ）が入力され、入力端子３３２には、図８１の入力端子２３２からのフューチャリファレンス画像VFが入力される。
【０８７３】
入力端子３３１から入力された注目ブロックは、相関最大位置検出部３３３および減算部３３５に供給される。
【０８７４】
入力端子３３２から入力されたフューチャリファレンス画像VFは、相関最大位置検出部３３３および切り出し部３３４に供給される。
【０８７５】
相関最大位置検出部３３３は、入力端子３３２からのフューチャリファレンス画像VFにおいて、入力端子３３１からの注目ブロックとの相関が高い位置関係を検出する。
【０８７６】
即ち、相関最大位置検出部３３３は、注目ブロックについて、式（１２）の相関情報e4(U',V')を計算し、その相関情報e4(U',V')が表す相関を最大にする(U',V')、つまり、相関情報e4(U',V')の値を最小にする(U',V')を検出する。そして、相関最大位置検出部３３３は、相関情報e4(U',V')の値を最小にする(U',V')を、フューチャリファレンス画像VFにおいて、注目ブロックとの相関が最も高い領域の位置関係を表す後動きベクトル(U2,V2)として、切り出し部３３４および可変長符号化部３３８に供給する。
【０８７７】
切り出し部３３４は、注目ブロックとの位置関係が、相関最大位置検出部３３３からの後動きベクトル(U2,V2)が表す位置関係にある、フューチャリファレンス画像VFの領域の画像データを切り出し、注目ブロックの推測値として、減算部３３５に供給する。
【０８７８】
即ち、切り出し部３３４は、フューチャリファレンス画像VFにおいて、注目ブロックから後動きベクトル(U2,V2)だけずれた位置の領域の画像データを、注目ブロックの推測値Pre(x,y)として切り出し（求め）、減算部３３５に供給する。
【０８７９】
減算部３３５は、切り出し部３３４から供給される注目ブロックの推測値Pre(x,y)を用いて、入力端子３３１から供給される注目ブロック（の画像データ）Ic(x,y)を圧縮する。即ち、減算部３３５は、切り出し部３３４から供給される注目ブロックの推測値Pre(x,y)と、入力端子３３１から供給される注目ブロックIc(x,y)との、対応する画素の画素値どうしの差分を計算し、その結果得られる差分値Sub(x,y)=Ic(x,y)-Pre(x,y)を、変換部３３６に供給する。
【０８８０】
変換部３３６は、減算部３３５からの注目ブロックの差分値Sub(x,y)を、周波数空間上のデータに変換する。即ち、変換部３３６は、注目ブロックの差分値Sub(x,y)を、例えば、DCT変換し、その結果得られるDCT係数を、量子化部３３７に供給する。
【０８８１】
量子化部３３７は、変換部３３６からの注目ブロックのDCT係数を量子化し、その結果得られる量子化データを、可変長符号化部３３８に供給する。
【０８８２】
可変長符号化部３３８は、量子化部３３７からの注目ブロックの量子化データを可変長符号化するとともに、相関最大位置検出部３３３からの後動きベクトル(U2,V2)を可変長符号化する。さらに、可変長符号化部３３８は、注目ブロックの量子化データの可変長符号に、後動きベクトル(U2,V2)の可変長符号を付加し、第５の差分データとして、出力端子３３９から、選択回路２４０（図８１）に出力する。なお、注目ブロック（の画像データ）Ic(x,y)とその推測値Pre(x,y)とが完全に一致する場合、可変長符号化部３３８において、注目ブロックの量子化データを可変長符号化することにより得られる可変長符号は、NULLを表すものとなり、第５の差分データは、後動きベクトル(U2,V2)の可変長符号だけとなる。
【０８８３】
次に、図１０３のフローチャートを参照して、図１０２の差分データ計算部２３８の動作について説明する。
【０８８４】
まず最初に、ステップＳ２５１において、注目ブロックおよびフューチャリファレンス画像VFが入力される。即ち、注目ブロックが、入力端子３３１から相関最大位置検出部３３３および減算部３３５に入力され、フューチャリファレンス画像VFが、入力端子３３２から、相関最大位置検出部３３３および切り出し部３３４に入力される。
【０８８５】
そして、ステップＳ２５１からＳ２５２に進み、相関最大位置検出部３３３は、入力端子３３１からの注目ブロックについて、入力端子３３２からのフューチャリファレンス画像VFにおいて、注目ブロックとの相関が高い位置関係を検出する。即ち、相関最大位置検出部３３３は、注目ブロックにつき、考えられるすべての(U',V')の値について、式（１２）の相関情報e4(U',V')を計算し、その相関情報e4(U',V')が表す相関を最大にする(U',V')、つまり、相関情報e4(U',V')の値を最小にする(U',V')を検出する。そして、相関最大位置検出部３３３は、相関情報e4(U',V')の値を最小にする(U',V')を、フューチャリファレンス画像VFにおいて、注目ブロックとの相関が最も高い領域の位置関係を表す後動きベクトル(U2,V2)として、切り出し部３３４および可変長符号化部３３８に供給し、ステップＳ２５２からＳ２５３に進む。
【０８８６】
ステップＳ２５３では、切り出し部３３４は、注目ブロックとの位置関係が、相関最大位置検出部３３３からの後動きベクトル(U2,V2)が表す位置関係にある、フューチャリファレンス画像VFの領域の画像データを、注目ブロックの推測値Pre(x,y)として切り出し、減算部３３５に供給して、ステップＳ２５４に進む。
【０８８７】
ステップＳ２５４では、減算部３３５は、切り出し部３３４から供給される注目ブロックの推測値Pre(x,y)と、入力端子３３１から供給される注目ブロックIc(x,y)との、対応する画素の画素値どうしの差分を計算し、その結果得られる差分値Sub(x,y)を、変換部３３６に供給して、ステップＳ２５５に進む。
【０８８８】
ステップＳ２５５では、変換部３３６は、減算部３３５からの注目ブロックの差分値Sub(x,y)をDCT変換し、その結果得られるDCT係数を、量子化部３３７に供給して、ステップＳ２５６に進む。ステップＳ２５６では、量子化部３３７は、変換部３３６からの注目ブロックのDCT係数を量子化し、その結果得られる量子化データを、可変長符号化部３３８に供給して、ステップＳ２５７に進む。ステップＳ２５７では、可変長符号化部３３８は、量子化部３３７からの注目ブロックの量子化データを可変長符号化するとともに、相関最大位置検出部３３３からの後動きベクトル(U2,V2)を可変長符号化する。さらに、ステップＳ２５７において、可変長符号化部３３８は、注目ブロックの量子化データの可変長符号に、後動きベクトル(U2,V2)の可変長符号を付加することにより、第５の差分データとして、ステップＳ２５８に進み、その第５の差分データを、出力端子３３９から、選択回路２４０（図８１）に出力する。
【０８８９】
以上のようにして、差分データ計算部２３８では、ターゲット画像VTがブロック単位で、第５の差分データに圧縮される。
【０８９０】
次に、図１０４は、第６の差分データを求める図８１の差分データ計算部２３９の構成例を示している。
【０８９１】
図１０４において、入力端子３５１には、図８１の入力端子２３３からの注目ブロック（の画像データ）が入力される。入力端子３５１から入力された注目ブロックは、変換部３５２に供給される。
【０８９２】
変換部３５２は、入力端子３５１から入力された注目ブロック、即ち、注目ブロック（の画像データ）Ic(x,y)と、その推測値Pre(x,y)としての０との差分値Sub(x,y)=Ic(x,y)-Pre(x,y)=Ic(x,y)を、周波数空間上のデータに変換する。即ち、変換部３５２は、注目ブロックの画像データIc(x,y)に等しい差分値Sub(x,y)を、例えば、DCT変換し、その結果得られるDCT係数を、量子化部３５３に供給する。
【０８９３】
量子化部３５３は、変換部３５２からの注目ブロックのDCT係数を量子化し、その結果得られる量子化データを、可変長符号化部３５４に供給する。
【０８９４】
可変長符号化部３５４は、量子化部３５３からの注目ブロックの量子化データを可変長符号化し、第６の差分データとして、出力端子３５５から、選択回路２４０（図８１）に出力する。
【０８９５】
次に、図１０５のフローチャートを参照して、図１０４の差分データ計算部２３９の動作について説明する。
【０８９６】
まず最初に、ステップＳ２６１において、注目ブロックが入力される。即ち、注目ブロックが、入力端子３５１から変換部３５２に入力される。
【０８９７】
そして、ステップＳ２６１からＳ２６２に進み、変換部３５２は、入力端子３５１から入力された注目ブロック、即ち、注目ブロック（の画像データ）Ic(x,y)と、その推測値Pre(x,y)としての０との差分値Sub(x,y)=Ic(x,y)-Pre(x,y)=Ic(x,y)をDCT変換し、その結果得られるDCT係数を、量子化部３５３に供給して、ステップＳ２６３に進む。ステップＳ２６３では、量子化部３５３は、変換部３５２からの注目ブロックのDCT係数を量子化し、その結果得られる量子化データを、可変長符号化部３５４に供給して、ステップＳ２６４に進む。ステップＳ２６４では、可変長符号化部３５４は、量子化部３５３からの注目ブロックの量子化データを可変長符号化し、その結果得られる可変長符号を、第６の差分データとして、ステップＳ２６５に進み、その第６の差分データを、出力端子３５５から、選択回路２４０（図８１）に出力する。
【０８９８】
以上のようにして、差分データ計算部２３９では、ターゲット画像VTがブロック単位で、第６の差分データに圧縮される。
【０８９９】
次に、図１０６は、図８１の差分データ計算部２３４乃至２３９が選択回路２４０に対して出力する第１乃至第６の差分データそれぞれのデータ構造を、模式的に示している。
【０９００】
差分データ計算部２３４が選択回路２４０に対して出力する第１の差分データは、図１０６上から１番目に示すように、注目ブロックとその推測値との差分値をDCT処理し、さらに量子化して得られる量子化データの可変長符号からなる。即ち、第１の差分データには、位置関係ベクトル(U,V)は含まれない。
【０９０１】
差分データ計算部２３５が選択回路２４０に対して出力する第２の差分データは、図１０６上から２番目に示すように、注目ブロックとその推測値との差分値をDCT処理し、さらに量子化して得られる量子化データの可変長符号と、相関最大ベクトル(U,V)の可変長符号とからなる。
【０９０２】
差分データ計算部２３６が選択回路２４０に対して出力する第３の差分データは、図１０６上から３番目に示すように、注目ブロックとその推測値との差分値をDCT処理し、さらに量子化して得られる量子化データの可変長符号と、前動きベクトル(-U1,-V1)および後動きベクトル(U2,V2)の可変長符号とからなる。
【０９０３】
差分データ計算部２３７が選択回路２４０に対して出力する第４の差分データは、図１０６上から４番目に示すように、注目ブロックとその推測値との差分値をDCT処理し、さらに量子化して得られる量子化データの可変長符号と、前動きベクトル(-U1,-V1)の可変長符号とからなる。
【０９０４】
差分データ計算部２３８が選択回路２４０に対して出力する第５の差分データは、図１０６上から５番目に示すように、注目ブロックとその推測値との差分値をDCT処理し、さらに量子化して得られる量子化データの可変長符号と、後動きベクトル(U2,V2)の可変長符号とからなる。
【０９０５】
差分データ計算部２３９が選択回路２４０に対して出力する第６の差分データは、図１０６上から６番目に示すように、注目ブロックとその推測値としての０との差分値、即ち、注目ブロックをDCT処理し、さらに量子化して得られる量子化データの可変長符号からなる。
【０９０６】
なお、注目ブロックとその推測値との差分値をDCT処理し、さらに量子化して得られる量子化データの可変長符号は、上述したように、注目ブロックとその推測値とが一致していれば、NULLとなる。
【０９０７】
次に、図１０７は、図８１の選択回路２４０が出力端子２４１から差分圧縮データとして出力する第１乃至第６の差分データのデータ構造を、模式的に示している。
【０９０８】
選択回路２４０は、注目ブロックについて、差分データ計算部２３４乃至２３９が出力する第１乃至第６の差分データのうちの１つを、選択差分データとして選択し、その選択差分データが、第１乃至第６の差分データのうちのいずれであるかを表すケースIDを付加して、出力端子２４１から、差分圧縮データとして出力する。
【０９０９】
図１０７では、第１乃至第６の差分データに対し、ケースIDとして、1,2,3,4,5,6が、それぞれ付加されるようになっている。
【０９１０】
次に、図１０８のフローチャートを参照して、図７９の送信装置１の処理について説明する。
【０９１１】
図７９の入力端子２１１から帯域制限フィルタ部２１２には、240fps動画データが供給される。
【０９１２】
帯域制限フィルタ部２１２は、ステップＳ２８１において、入力端子２１１からの240fps動画データを対象に、上述したような人間の視覚特性を考慮した必要な情報のみを残すフィルタリングを行い、その結果得られる240fps動画データを、分離回路２１３に供給して、ステップＳ２８２に進む。
【０９１３】
ステップＳ２８２では、分離回路２１３は、帯域制限フィルタ部２１２からの240fps動画データを、60fps動画データと、240fps動画データから60fps動画データを除いた残りの240-60fps動画データとに分離し、60fps動画データを、圧縮回路２１４に供給するとともに、240-60fps動画データを、ターゲット画像として、差分情報抽出部２１７に供給する。
【０９１４】
そして、ステップＳ２８３に進み、圧縮回路２１４は、分離回路２１３から供給される60fps動画データをエンコード（圧縮）し、その結果得られるビットストリームを出力する。このビットストリームは、解凍回路２１６と出力端子２１５に供給される。
【０９１５】
その後、ステップＳ２８４に進み、解凍回路２１６は、圧縮回路２１４からのビットストリームをローカルデコードし、そのローカルデコードの結果得られる60fps動画データを、リファレンス画像として、差分情報抽出部２１７に供給して、ステップＳ２８５に進む。
【０９１６】
ステップＳ２８５では、差分情報抽出部２１７は、分離回路２１３からのターゲット画像である240-60fps動画データを、解凍回路２１６からのリファレンス画像である60fps動画データを用いて圧縮し、即ち、リファレンス画像（60fps動画データ）に対するターゲット画像（240-60fps動画データ）の差分に関する差分圧縮データを求めることにより、ターゲット画像を圧縮し、その差分圧縮データを出力端子２１８に供給して、ステップＳ２８６に進む。
【０９１７】
ステップＳ２８６では、60fps動画データ（リファレンス画像）のエンコード結果としてのビットストリームが、出力端子２１５から出力されるとともに、240-60fps動画データの圧縮結果としての差分圧縮データが、出力端子２１８から出力される。
【０９１８】
以上のように、図７９の送信装置１においては、60fps動画データのエンコード結果としてのビットストリームと、240-60fps動画データの圧縮結果としての差分圧縮データとが、別々に独立に出力されるので、受信装置２（図２４）では、例えば、60fps動画データのエンコード結果としてのビットストリームだけを受信することで、60fps動画データを復元することができる。また、受信装置２では、例えば、60fps動画データのエンコード結果としてのビットストリームと、240-60fps動画データの圧縮結果としての差分圧縮データとを受信することで、60fps動画データを復元することもできるし、240fps動画データも復元することができる。即ち、いわゆる、テンポラルスケーラビリティを持たせることが出来る。
【０９１９】
次に、図１０９のフローチャートを参照して、差分情報抽出部２１７が、図１０８のステップＳ２８５で行うターゲット画像（240-60fps動画データ）の圧縮について説明する。
【０９２０】
差分情報抽出部２１７（図８１）では、ステップＳ２９１において、差分データ計算部２３４乃至２３９が、注目ブロックについて、図１０６に示した第１乃至第６の差分データを、図９４乃至図１０５で説明したようにして求め、選択回路２４０に供給して、ステップＳ２９２に進む。
【０９２１】
ステップＳ２９２では、選択回路２４０は、差分データ計算部２３４乃至２３９それぞれからの注目ブロックについての第１乃至第６の差分データのうちの、データ量が最小のものを、選択差分データとして選択し、ステップＳ２９３に進む。
【０９２２】
ここで、注目ブロックについての第１乃至第６の差分データのうちの第１の差分データのデータ量が最小である場合には、選択回路２４０において、第１の差分データを求めるときに計算される式（９）の相関情報e1(U',V')の最小値と、２番目に小さい値との差が、ある閾値以下であるかどうかを判定し、式（９）の相関情報e1(U',V')の最小値と、２番目に小さい値との差が、ある閾値以下であるときには、第１の差分データに代えて、第２乃至第６の差分データのうちのデータ量が最小のもの（第１乃至第６の差分データのうちのデータ量が２番目に小さいもの）を、選択差分データとして選択することができる。この場合、上述したように、第１の差分データを、元の注目ブロックに復元することができなくなることを、より強固に防止することができる。
【０９２３】
ステップＳ２９３では、選択回路２４０は、選択差分データに対して、対応するケースIDを付加し、これにより、図１０７に示したいずれかのデータ構造の差分圧縮データを、注目ブロックの圧縮結果として、出力端子２４１から出力する。
【０９２４】
即ち、これにより、出力端子２４１からは、ブロックごとに、第１乃至第６の差分データのうちの最適なものが出力される。
【０９２５】
以上のように、図７９の送信装置１では、入力端子２１１から入力した240fps動画データを圧縮し、２つの圧縮結果（第１と第２の圧縮結果）を出力する。第１の圧縮結果は、圧縮回路２１４により、240fps動画データから分離した60fps動画データを圧縮して得られるビットストリームである。このビットストリームは、出力端子２１５から出力される。第２の圧縮結果は、差分情報抽出部２１７により、240fps動画データから分離した240-60fps動画データを、60fps動画データとの差分をとることにより圧縮した差分圧縮データである。差分圧縮データは、ブロック単位で可変長符号化されており、出力端子２１８から出力される。
【０９２６】
また、図７９の送信装置１では、帯域制限フィルタ部２１２において、入力端子２１１からの240fps動画データに対して、人間の視覚特性を考慮した通過帯域のフィルタ、即ち、１／６０秒程度のローパスフィルタ（ただし、被写体の動きを考慮して適応的にフィルタ係数（タップ係数）を変更している）をかけている。人間の視覚特性により、１／６０秒程度の範囲内で不規則に移動する物体には人間の目は追従することが出来ずに、１／６０秒の間積分された画素値を認識することから、このようなローパスフィルタ（帯域制限フィルタ）をかけても人間には画質劣化したと感じない。このローパスフィルタによるフィルタリングの結果得られる動画データは、およそ１／６０秒（つまり４／２４０秒）程度の時間内では、被写体が一定速度で動いているような動画データとなる。なぜなら、１／６０秒という間隔よりも短い時間に高速で速度が変化するような不規則な移動はローパスフィルタにより平均化されるからである。このような動画データは、まさに、式（９）の相関情報e1(U',V')や式（１０）の相関情報e2(U',V')を最小とする(U',V')により、ターゲット画像内の注目ブロックの推測値を求めることに適している。なぜなら、式（９）の相関情報e1(U',V')や式（１０）の相関情報e2(U',V')を最小にする(U',V')を求める場合には、図８４あるいは図８７で説明したが、被写体が一定速度で移動していることを前提としているからである。
【０９２７】
次に、図１１０は、送信装置１が図７９に示したように構成される場合の、図２４の受信装置２の構成例を示している。
【０９２８】
受信装置２には、図７９の送信装置１が出力する、60fps動画データのエンコード結果としてのビットストリームと、240-60fps動画データの圧縮結果としての差分圧縮データとが供給され、ビットストリームは入力端子３６１から、差分圧縮データは入力端子３６２から、それぞれ、受信装置２に入力される。そして、入力端子３６１から解凍回路３６３に対して、ビットストリームが供給されるとともに、入力端子３６２から差分情報復元部３６４に対して、差分圧縮データが供給される。
【０９２９】
なお、60fps動画データのエンコード結果としてのビットストリームと、240-60fps動画データの圧縮結果としての差分圧縮データとが多重化データに多重化されている場合には、その多重化データから、ビットストリームと差分圧縮データとが分離され、入力端子３６１と３６２にそれぞれ入力される。
【０９３０】
解凍回路３６３は、図７９の解凍回路２１６と同様に、入力端子３６１からのビットストリームをデコード（解凍）し、60fps動画データを復元する。この60fps動画データは、リファレンス画像として、差分情報復元部３６４に供給されるとともに、合成部３６５に供給される。
【０９３１】
差分情報復元部３６４は、解凍回路３６３からのリファレンス画像としての60fps動画データを用いて、入力端子３６２からの差分圧縮データを、ブロック単位で、240-60fps動画データに復元する。この240-60fps動画データは、合成部３６５に供給される。
【０９３２】
合成部３６５は、解凍回路３６３からの60fps動画データと、差分情報復元部３６４からの240-60fps動画データとを合成し、これにより、240fps動画データを復元して、出力端子３６６から表示装置３（図２４）に出力する。
【０９３３】
次に、図１１１のフローチャートを参照して、図１１０の受信装置２の処理について説明する。
【０９３４】
解凍回路３６３には、入力端子３６１から、60fps動画データのエンコード結果としてのビットストリームが供給される。また、差分情報復元部３６４には、入力端子３６２から、240-60fps動画データの圧縮結果としての差分圧縮データが供給される。
【０９３５】
そして、ステップＳ３０１では、解凍回路３６３は、入力端子３６１からのビットストリームをデコードし、その結果得られる60fps動画データを、リファレンス画像として、差分情報復元部３６４に供給するとともに、合成部３６５に供給して、ステップＳ３０２に進む。
【０９３６】
ステップＳ３０２では、差分情報復元部３６４は、解凍回路３６３からのリファレンス画像としての60fps動画データを用いて、入力端子３６２からの差分圧縮データを、ブロック単位で、240-60fps動画データに復元し、合成部３６５に供給する。
【０９３７】
そして、ステップＳ３０２からＳ３０３に進み、合成部３６５は、解凍回路３６３からの60fps動画データと、差分情報復元部３６４からの240-60fps動画データとを合成し、これにより、240fps動画データを復元して、出力端子３６６から表示装置３（図２４）に出力する。
【０９３８】
即ち、解凍回路３６３は、入力端子３６１からのビットストリームから、例えば、図８０の上から２番目に示した60fps動画データのフレーム・・・，f1，f5，f9，f13，・・・（の画像データ）を復元し、差分情報復元部および合成部３６５に供給する。
【０９３９】
また、差分情報復元部３６４では、解凍回路３６３からの60fps動画データをリファレンス画像として用い、入力端子３６２からの差分圧縮データを、例えば、図８０の一番下に示した240-60fps動画データのフレーム・・・，f2，f3，f4，f6，f7，f8，f10，f11，f12，・・・（の画像データ）に復元し、合成部３６５に供給する。
【０９４０】
合成部３６５は、解凍回路３６３からの60fps動画データの１フレームを選択し、次に、差分情報復元部３６４からの240-60fps動画データの３フレームを選択することを繰り返し、選択したフレームを、1/240秒ごとに、出力端子３６６から出力する。即ち、これにより、60fps動画データと240-60fps動画データとを合成した、図８０の一番上に示したような240fps動画データが、出力端子３６６から出力される。
【０９４１】
次に、図１１２のフローチャートを参照して、図１１０の差分情報復元部３６４が図１１１のステップＳ３０２で行う、240-60fps動画データのデコードについて説明する。
【０９４２】
ステップＳ３１１において、差分情報復元部３６４は、解凍回路３６３（図１１０）からの60fps動画データをリファレンス画像として用い、入力端子３６２（図１１０）からの差分圧縮データを、240-60fps動画データに復元する、後述する処理を行うことで、240-60fps動画データの各フレーム、即ち、ターゲット画像の画素値を、ブロック単位で求め、ステップＳ３１２に進む。
【０９４３】
ステップＳ３１２では、差分情報復元部３６４は、ステップＳ３１１で画素値が求められたブロックを集めることで、240-60fps動画データの各フレームの画像データを得て、ステップＳ３１３に進む。ステップＳ３１３では、差分情報復元部３６４は、ステップＳ３１２で得た240-60fps動画データを、合成部３６５（図１１０）に出力する。
【０９４４】
次に、図１１３は、図１１０の差分情報復元部３６４の構成例を示している。
【０９４５】
差分データ記憶部３７１には、入力端子３６２（図１１０）から差分圧縮データが供給される。差分データ記憶部３７１は、入力端子３６２からの差分圧縮データを一時記憶する。
【０９４６】
リファレンス記憶部３７２には、解凍回路３６３からリファレンス画像としての60fps動画データが供給される。リファレンス記憶部３７２は、解凍回路３６３からのリファレンス画像を一時記憶する。
【０９４７】
ケースID判定部３７３は、これから復元しようとするターゲット画像のブロックを、注目ブロックとして、その注目ブロックの差分圧縮データを、差分データ記憶部３７１から読み出し、その差分圧縮データに付加されているケースID（図１０７）を判定する。そして、ケースID判定部３７３は、注目ブロックについてのケースIDの判定結果を、相関最大位置検出部３７７に供給する。
【０９４８】
可変長復号部３７４は、注目ブロックの差分圧縮データを、差分データ記憶部３７１から読み出し、その差分圧縮データを可変長復号することで、量子化データを得て、逆量子化部３７５に供給する。さらに、可変長復号部３７４は、差分圧縮データを可変長復号することで、必要に応じて、相関最大ベクトル(U,V)、前動きベクトル(-U1,-V1)、または後動きベクトル(U2,V2)を得て、相関最大位置検出部３７７に供給する。
【０９４９】
即ち、差分圧縮データが第１または第６の差分データである場合、つまり、注目ブロックのケースIDが１または６であった場合、図１０６で説明したように、第１または第６の差分データには、量子化データの可変長符号しか含まれていないので、可変長復号部３７４は、その可変長符号を、量子化データに復号し、逆量子化部３７５に供給する。
【０９５０】
また、差分圧縮データが第２の差分データである場合、つまり、注目ブロックのケースIDが２であった場合、図１０６で説明したように、第２の差分データには、量子化データの可変長符号と、相関最大ベクトル(U,V)の可変長符号とが含まれるので、可変長復号部３７４は、その可変長符号を、量子化データと相関最大ベクトル(U,V)に復号する。そして、可変長復号部３７４は、量子化データを、逆量子化部３７５に供給し、相関最大ベクトル(U,V)を、相関最大位置検出部３７７に供給する。
【０９５１】
さらに、差分圧縮データが第３の差分データである場合、つまり、注目ブロックのケースIDが３であった場合、図１０６で説明したように、第３の差分データには、量子化データの可変長符号と、前動きベクトル(-U1,-V1)および後動きベクトル(U2,V2)の可変長符号とが含まれるので、可変長復号部３７４は、その可変長符号を、量子化データと前動きベクトル(-U1,-V1)および後動きベクトル(U2,V2)とに復号する。そして、可変長復号部３７４は、量子化データを、逆量子化部３７５に供給し、前動きベクトル(-U1,-V1)および後動きベクトル(U2,V2)を、相関最大位置検出部３７７に供給する。
【０９５２】
また、差分圧縮データが第４の差分データである場合、つまり、注目ブロックのケースIDが４であった場合、図１０６で説明したように、第４の差分データには、量子化データの可変長符号と、前動きベクトル(-U1,-V1)の可変長符号とが含まれるので、可変長復号部３７４は、その可変長符号を、量子化データと前動きベクトル(-U1,-V1)とに復号する。そして、可変長復号部３７４は、量子化データを、逆量子化部３７５に供給し、前動きベクトル(-U1,-V1)を、相関最大位置検出部３７７に供給する。
【０９５３】
さらに、差分圧縮データが第５の差分データである場合、つまり、注目ブロックのケースIDが５であった場合、図１０６で説明したように、第５の差分データには、量子化データの可変長符号と、後動きベクトル(U2,V2)の可変長符号とが含まれるので、可変長復号部３７４は、その可変長符号を、量子化データと後動きベクトル(U2,V2)とに復号する。そして、可変長復号部３７４は、量子化データを、逆量子化部３７５に供給し、後動きベクトル(U2,V2)を、相関最大位置検出部３７７に供給する。
【０９５４】
逆量子化部３７５は、可変長復号部３７４からの量子化データを逆量子化し、その結果得られる、周波数空間上のデータとしての、例えば、DCT係数を、変換部３７６に供給する。
【０９５５】
変換部３７６は、逆量子化部３７５からのDCT係数を逆DCT変換し、その結果られる、注目ブロックの画像データ（画素値）Ic(x,y)とその推測値Pre(x,y)との差分値Sub(x,y)を、加算部３７９に供給する。
【０９５６】
最大相関位置検出部３７７は、リファレンス記憶部３７２に記憶されたリファレンス画像のうちの、注目ブロックのフレームであるターゲット画像VTの直前と直後のフレームを、それぞれ、パストリファレンス画像VPとフューチャリファレンス画像VFとし、ケースID判定部３７３における注目ブロックのケースIDの判定結果、または可変長復号部３７４から供給される相関最大ベクトル(U,V)、前動きベクトル(-U1,-V1)、後動きベクトル(U2,V2)に基づき、パストリファレンス画像VPとフューチャリファレンス画像VFにおいて相関が高い位置関係や、パストリファレンス画像VPまたはフューチャリファレンス画像VFにおいて、注目ブロックとの相関が高い位置関係を検出して、推測部３７８に供給する。
【０９５７】
推測部３７８は、相関最大位置検出部３７７からの位置関係に基づき、リファレンス記憶部３７２に記憶されたリファレンス画像のうちのパストリファレンス画像VPまたはフューチャリファレンス画像VFから、注目ブロックの推測値Pre(x,y)を求め、加算部３７９に供給する。
【０９５８】
加算部３７９は、変換部３７６からの注目ブロックの差分値Sub(x,y)と、推測部３７８からの注目ブロックの推測値Pre(x,y)とを加算し、これにより、注目ブロック（の画像データ）Ic(x,y)=Sub(x,y)+Pre(x,y)を復元して、合成部３６５（図１１０）に出力する。
【０９５９】
次に、図１１４乃至図１２１のフローチャートを参照して、図１１３の差分情報復元部３６４が、図１１２のステップＳ３１１で行うブロックの画素値（画像データ）を求める処理について説明する。
【０９６０】
まず、ステップＳ３２１において、復元しようとする240-60fps動画データのあるフレームをターゲット画像VTとし、さらに、ターゲット画像VTをブロック分割したあるブロックを注目ブロックとして、差分データ記憶部３７１に記憶された差分圧縮データのうちの、注目ブロックの差分圧縮データが、差分データ記憶部３７１から読み出され、ケースID判定部３７３および可変長復号部３７４に入力されて、ステップＳ３２２に進む。
【０９６１】
ステップＳ３２２では、リファレンス記憶部３７２に記憶されているリファレンス画像のうちの、ターゲット画像VTの直前と直後のフレームが、それぞれ、パストリファレンス画像VPとフューチャリファレンス画像VFとされ、相関最大位置検出部３７７および推測部３７８に入力されて、ステップＳ３２３に進む。
【０９６２】
ここで、例えば、図８０の一番下に示したターゲット画像のフレームf2，f3，f4のうちのいずれかのブロックが注目ブロックである場合には、リファレンス画像のフレームf1，f5，f9，f13のうちの、ターゲット画像のフレームf2，f3，f4の直前と直後のフレームf1とf5が、それぞれパストリファレンス画像とフューチャリファレンス画像とされる。
【０９６３】
また、例えば、ターゲット画像のフレームf6，f7，f8のうちのいずれかのブロックが注目ブロックである場合には、リファレンス画像のフレームf1，f5，f9，f13のうちの、ターゲット画像のフレームf6，f7，f8の直前と直後のフレームf5とf9が、それぞれパストリファレンス画像とフューチャリファレンス画像とされる。
【０９６４】
さらに、例えば、ターゲット画像のフレームf10，f11，f12のうちのいずれかのブロックが注目ブロックである場合には、リファレンス画像のフレームf1，f5，f9，f13のうちの、ターゲット画像のフレームf10，f11，f12の直前と直後のフレームf9とf13が、それぞれパストリファレンス画像とフューチャリファレンス画像とされる。
【０９６５】
ステップＳ３２３では、ケースID判定部３７３は、注目ブロックの差分圧縮データに付加されているケースIDを解析し、そのケースIDの値を求めて、ステップＳ３２４に進む。
【０９６６】
ステップＳ３２４では、可変長復号部３７４は、注目ブロックの差分圧縮データを解析し、その差分圧縮データにおいて可変長符号となっている量子化データを復号（可変長復号）する。可変長復号部３７４で可変長復号が行われることにより得られた量子化データは、可変長復号部３７４から逆量子化部３７５に供給される。なお、量子化データは、ない場合（NULLの場合）もある。
【０９６７】
ステップＳ３２４の処理後は、ステップＳ３２５に進み、逆量子化部３７５は、可変長復号部３７４からの量子化データを逆量子化し、その結果得られる、周波数空間上のデータとしての、例えば、DCT係数を、変換部３７６に供給して、ステップＳ３２５に進む。
【０９６８】
ステップＳ３２５では、変換部３７６は、逆量子化部３７５からのDCT係数を、２次元空間上のデータに変換する逆DCT変換を行い、その結果られる、注目ブロックの画像データ（画素値）とその推測値との差分値Sub(x,y)を、加算部３７９に供給する。なお、ステップＳ３２４での可変長復号において、量子化データがなかった場合（NULLの場合）、変換部３７６は、注目ブロックの差分値Sub(x,y)として０を、加算部３７９に供給する。
【０９６９】
ステップＳ３２６の処理後は、図１１５のステップＳ３２７に進み、ケースID判定部３７３は、注目ブロックの差分圧縮データに付加されているケースIDが１であるかどうか、即ち、注目ブロックの差分圧縮データが第１の差分データであるかどうかを判定する。
【０９７０】
ステップＳ３２７に進み、注目ブロックの差分圧縮データに付加されているケースIDが１であると判定された場合、即ち、注目ブロックの差分圧縮データが第１の差分データである場合、ケースID判定部３７３は、その判定結果を、相関最大位置検出部３７７に供給して、図１１６のステップＳ３５１に進み、以下、後述するように、注目ブロックの差分圧縮データである第１の差分データが復元される。
【０９７１】
また、ステップＳ３２７において、注目ブロックの差分圧縮データに付加されているケースIDが１でないと判定された場合、ステップＳ３２８に進み、ケースID判定部３７３は、注目ブロックの差分圧縮データに付加されているケースIDが２であるかどうか、即ち、注目ブロックの差分圧縮データが第２の差分データであるかどうかを判定する。
【０９７２】
ステップＳ３２８において、注目ブロックの差分圧縮データに付加されているケースIDが２であると判定された場合、即ち、注目ブロックの差分圧縮データが第２の差分データである場合、ケースID判定部３７３は、その判定結果を、相関最大位置検出部３７７に供給して、図１１７のステップＳ３６１に進み、以下、後述するように、注目ブロックの差分圧縮データである第２の差分データが復元される。
【０９７３】
また、ステップＳ３２８において、注目ブロックの差分圧縮データに付加されているケースIDが２でないと判定された場合、ステップＳ３２９に進み、ケースID判定部３７３は、注目ブロックの差分圧縮データに付加されているケースIDが３であるかどうか、即ち、注目ブロックの差分圧縮データが第３の差分データであるかどうかを判定する。
【０９７４】
ステップＳ３２９において、注目ブロックの差分圧縮データに付加されているケースIDが３であると判定された場合、即ち、注目ブロックの差分圧縮データが第３の差分データである場合、ケースID判定部３７３は、その判定結果を、相関最大位置検出部３７７に供給して、図１１８のステップＳ３８１に進み、以下、後述するように、注目ブロックの差分圧縮データである第３の差分データが復元される。
【０９７５】
また、ステップＳ３２９において、注目ブロックの差分圧縮データに付加されているケースIDが３でないと判定された場合、ステップＳ３３０に進み、ケースID判定部３７３は、注目ブロックの差分圧縮データに付加されているケースIDが４であるかどうか、即ち、注目ブロックの差分圧縮データが第４の差分データであるかどうかを判定する。
【０９７６】
ステップＳ３３０において、注目ブロックの差分圧縮データに付加されているケースIDが４であると判定された場合、即ち、注目ブロックの差分圧縮データが第４の差分データである場合、ケースID判定部３７３は、その判定結果を、相関最大位置検出部３７７に供給して、図１１９のステップＳ３９１に進み、以下、後述するように、注目ブロックの差分圧縮データである第４の差分データが復元される。
【０９７７】
また、ステップＳ３３０において、注目ブロックの差分圧縮データに付加されているケースIDが４でないと判定された場合、ステップＳ３３１に進み、ケースID判定部３７３は、注目ブロックの差分圧縮データに付加されているケースIDが５であるかどうか、即ち、注目ブロックの差分圧縮データが第５の差分データであるかどうかを判定する。
【０９７８】
ステップＳ３３１において、注目ブロックの差分圧縮データに付加されているケースIDが５であると判定された場合、即ち、注目ブロックの差分圧縮データが第５の差分データである場合、ケースID判定部３７３は、その判定結果を、相関最大位置検出部３７７に供給して、図１２０のステップＳ４０１に進み、以下、後述するように、注目ブロックの差分圧縮データである第５の差分データが復元される。
【０９７９】
また、ステップＳ３３１において、注目ブロックの差分圧縮データに付加されているケースIDが５でないと判定された場合、即ち、注目ブロックの差分圧縮データに付加されているケースIDが６であり、注目ブロックの差分圧縮データが第６の差分データである場合、ケースID判定部３７３は、その判定結果を、相関最大位置検出部３７７に供給して、図１２１のステップＳ４１１に進み、以下、後述するように、注目ブロックの差分圧縮データである第６の差分データが復元される。
【０９８０】
次に、図１１６のフローチャートを参照して、注目ブロックの差分圧縮データが第１の差分データである場合の、その第１の差分データの復元について説明する。
【０９８１】
相関最大位置検出部３７７は、ケースID判定部３７３から、ケースIDが１である旨の判定結果を受信した場合、ステップＳ３５１において、注目ブロックについて、リファレンス記憶部３７２から読み出されたパストリファレンス画像VPとフューチャリファレンス画像VFとにおいて、相関が高い位置関係を検出する。即ち、相関最大位置検出部３７７は、注目ブロックにつき、図９４の相関最大位置検出部２５４における場合と同様に、考えられる(U',V')の各値について、式（９）の相関情報e1(U',V')を計算し、その相関情報e1(U',V')が表す相関を最大にする(U',V')、つまり、相関情報e1(U',V')の値を最小にする(U',V')を検出する。そして、相関最大位置検出部３７７は、相関情報e1(U',V')の値を最小にする(U',V')を、パストリファレンス画像VPとフューチャリファレンス画像VFにおいて、相関が最も高い領域の位置関係を表す位置関係ベクトル(U,V)として、推測部３７８に供給し、ステップＳ３５１からＳ３５２に進む。
【０９８２】
ステップＳ３５２では、推測部３７８は、相関最大位置検出部３７７からの位置関係ベクトル(U,V)が表す位置関係にある、パストリファレンス画像VPとフューチャリファレンス画像VFの領域の画像データから、注目ブロックの推測値を求め、加算部３７９に供給する。
【０９８３】
即ち、推測部３７８は、パストリファレンス画像VPにおいて、注目ブロックからベクトル(-(4-s)U,-(4-s)V)だけずれた位置の、注目ブロックと同一サイズの領域と、フューチャリファレンス画像VFにおいて、注目ブロックからベクトル(sU,sV)だけずれた位置の、注目ブロックと同一サイズの領域との画像データの、例えば、重み付け平均値を、式（１３）にしたがって計算し、その重み付け平均値を、注目ブロックの推測値Pre(x,y)として求め、加算部３７９に供給して、ステップＳ３５２からＳ３５３に進む。
【０９８４】
ステップＳ３５３では、加算部３７９が、変換部３７６からの注目ブロックの差分値Sub(x,y)と、推測部３７８からの注目ブロックの推測値Pre(x,y)とを加算し、これにより、注目ブロック（の画像データ）Ic(x,y)を復元して、ステップＳ３５４に進み、その注目ブロックIc(x,y)を、合成部３６５（図１１０）に出力する。
【０９８５】
次に、図１１７のフローチャートを参照して、注目ブロックの差分圧縮データが第２の差分データである場合の、その第２の差分データの復元について説明する。
【０９８６】
注目ブロックの差分圧縮データが、第２の差分データである場合には、その第２の差分データには、上述したように、相関最大ベクトル(U,V)が含まれる。そこで、可変長復号部３７４は、ステップＳ３６１において、注目ブロックの差分圧縮データである第２の差分データを解析し、その第２の差分データにおいて可変長符号となっている相関最大ベクトル(U,V)を可変長復号する。可変長復号部３７４で可変長復号が行われることにより得られた相関最大ベクトル(U,V)は、可変長復号部３７４から相関最大位置検出部３７７に供給される。
【０９８７】
さらに、ステップＳ３６１では、相関最大位置検出部３７７は、ケースID判定部３７３から、ケースIDが２である旨の判定結果を受信し、この場合、注目ブロックについて、リファレンス記憶部３７２から読み出されたパストリファレンス画像VPとフューチャリファレンス画像VFとにおいて、注目ブロックとの相関が高い位置関係を検出する。
【０９８８】
即ち、相関最大位置検出部３７７は、可変長復号部３７４からの相関最大ベクトル(U,V)から、パストリファレンス画像VPにおいて、注目ブロックとの相関が高い位置が、注目ブロックからベクトル(-(4-s)U,-(4-s)V)だけずれた位置であることを検出するとともに、フューチャリファレンス画像VFにおいて、注目ブロックとの相関が高い位置が、注目ブロックからベクトル(sU,sV)だけずれた位置であることを検出し、その位置関係を表すベクトル(-(4-s)U,-(4-s)V)および(sU,sV)を、推測部３７８に供給して、ステップＳ３６１からＳ３６２に進む。
【０９８９】
ステップＳ３６２では、推測部３７８は、注目ブロックからの位置が、相関最大位置検出部３７７からのベクトル(-(4-s)U,-(4-s)V)と(sU,sV)が表す位置にある、パストリファレンス画像VPとフューチャリファレンス画像VFの領域の画像データから、注目ブロックの推測値を求め、加算部３７９に供給する。
【０９９０】
即ち、推測部３７８は、パストリファレンス画像VPにおいて、注目ブロックからベクトル(-(4-s)U,-(4-s)V)だけずれた位置の、注目ブロックと同一サイズの領域と、フューチャリファレンス画像VFにおいて、注目ブロックからベクトル(sU,sV)だけずれた位置の、注目ブロックと同一サイズの領域との画像データの、例えば、重み付け平均値を、式（１３）にしたがって計算し、その重み付け平均値を、注目ブロックの推測値Pre(x,y)として求め、加算部３７９に供給して、ステップＳ３６２からＳ３６３に進む。
【０９９１】
ステップＳ３６３では、加算部３７９が、変換部３７６からの注目ブロックの差分値Sub(x,y)と、推測部３７８からの注目ブロックの推測値Pre(x,y)とを加算し、これにより、注目ブロックIc(x,y)を復元して、ステップＳ３６４に進み、その注目ブロックIc(x,y)を、合成部３６５（図１１０）に出力する。
【０９９２】
次に、図１１８のフローチャートを参照して、注目ブロックの差分圧縮データが第３の差分データである場合の、その第３の差分データの復元について説明する。
【０９９３】
注目ブロックの差分圧縮データが、第３の差分データである場合には、その第３の差分データには、上述したように、前動きベクトル(-U1,-V1)、および後動きベクトル(U2,V2)が含まれる。そこで、可変長復号部３７４は、ステップＳ３８１において、注目ブロックの差分圧縮データである第３の差分データを解析し、その第３の差分データにおいて可変長符号となっている前動きベクトル(-U1,-V1)、および後動きベクトル(U2,V2)を可変長復号する。可変長復号部３７４で可変長復号が行われることにより得られた前動きベクトル(-U1,-V1)、および後動きベクトル(U2,V2)は、可変長復号部３７４から相関最大位置検出部３７７に供給される。
【０９９４】
さらに、ステップＳ３８１では、相関最大位置検出部３７７は、ケースID判定部３７３から、ケースIDが３である旨の判定結果を受信し、この場合、注目ブロックについて、リファレンス記憶部３７２から読み出されたパストリファレンス画像VPとフューチャリファレンス画像VFとのそれぞれにおいて、注目ブロックとの相関が高い位置関係を検出する。
【０９９５】
即ち、相関最大位置検出部３７７は、パストリファレンス画像VPにおいて、注目ブロックとの相関が高い位置が、注目ブロックから前動きベクトル(-U1,-V1)だけずれた位置であることを、可変長復号部３７４からの前動きベクトル(-U1,-V1)から検出するとともに、フューチャリファレンス画像VFにおいて、注目ブロックとの相関が高い位置が、注目ブロックから後動きベクトル(U2,V2)だけずれた位置であることを、可変長復号部３７４からの後動きベクトル(U2,V2)から検出し、その位置関係、つまり、可変長復号部３７４からの前動きベクトル(-U1,-V1)、および後動きベクトル(U2,V2)を、推測部３７８に供給して、ステップＳ３８１からＳ３８２に進む。
【０９９６】
ステップＳ３８２では、推測部３７８は、注目ブロックからの位置が、相関最大位置検出部３７７からの前動きベクトル(-U1,-V1)と後動きベクトル(U2,V2)が表す位置にある、パストリファレンス画像VPとフューチャリファレンス画像VFの領域の画像データから、注目ブロックの推測値を求め、加算部３７９に供給する。
【０９９７】
即ち、推測部３７８は、パストリファレンス画像VPにおいて、注目ブロックから前動きベクトル(-U1,-V1)だけずれた位置の、注目ブロックと同一サイズの領域と、フューチャリファレンス画像VFにおいて、注目ブロックから後動きベクトル(U2,V2)だけずれた位置の、注目ブロックと同一サイズの領域との画像データの、例えば、重み付け平均値を、式（１４）にしたがって計算し、その重み付け平均値を、注目ブロックの推測値Pre(x,y)として求め、加算部３７９に供給して、ステップＳ３８２からＳ３８３に進む。
【０９９８】
ステップＳ３８３では、加算部３７９が、変換部３７６からの注目ブロックの差分値Sub(x,y)と、推測部３７８からの注目ブロックの推測値Pre(x,y)とを加算し、これにより、注目ブロックIc(x,y)を復元して、ステップＳ３８４に進み、その注目ブロックIc(x,y)を、合成部３６５（図１１０）に出力する。
【０９９９】
次に、図１１９のフローチャートを参照して、注目ブロックの差分圧縮データが第４の差分データである場合の、その第４の差分データの復元について説明する。
【１０００】
注目ブロックの差分圧縮データが、第４の差分データである場合には、その第４の差分データには、上述したように、前動きベクトル(-U1,-V1)が含まれる。そこで、可変長復号部３７４は、ステップＳ３９１において、注目ブロックの差分圧縮データである第４の差分データを解析し、その第４の差分データにおいて可変長符号となっている前動きベクトル(-U1,-V1)を可変長復号する。可変長復号部３７４で可変長復号が行われることにより得られた前動きベクトル(-U1,-V1)は、可変長復号部３７４から相関最大位置検出部３７７に供給される。
【１００１】
さらに、ステップＳ３９１では、相関最大位置検出部３７７は、ケースID判定部３７３から、ケースIDが４である旨の判定結果を受信し、この場合、注目ブロックについて、リファレンス記憶部３７２から読み出されたパストリファレンス画像VPにおいて、注目ブロックとの相関が高い位置関係を検出する。
【１００２】
即ち、相関最大位置検出部３７７は、パストリファレンス画像VPにおいて、注目ブロックとの相関が高い位置が、注目ブロックから前動きベクトル(-U1,-V1)だけずれた位置であることを、可変長復号部３７４からの前動きベクトル(-U1,-V1)から検出し、その位置関係、つまり、可変長復号部３７４からの前動きベクトル(-U1,-V1)を、推測部３７８に供給して、ステップＳ３９１からＳ３９２に進む。
【１００３】
ステップＳ３９２では、推測部３７８は、注目ブロックからの位置が、相関最大位置検出部３７７からの前動きベクトル(-U1,-V1)が表す位置にある、パストリファレンス画像VPの領域の画像データから、注目ブロックの推測値を求め、加算部３７９に供給する。
【１００４】
即ち、推測部３７８は、パストリファレンス画像VPにおいて、注目ブロックから前動きベクトル(-U1,-V1)だけずれた位置の、注目ブロックと同一サイズの領域の画像データを切り出し、注目ブロックの推測値Pre(x,y)として、加算部３７９に供給して、ステップＳ３９２からＳ３９３に進む。
【１００５】
ステップＳ３９３では、加算部３７９が、変換部３７６からの注目ブロックの差分値Sub(x,y)と、推測部３７８からの注目ブロックの推測値Pre(x,y)とを加算し、これにより、注目ブロックIc(x,y)を復元して、ステップＳ３９４に進み、その注目ブロックIc(x,y)を、合成部３６５（図１１０）に出力する。
【１００６】
次に、図１２０のフローチャートを参照して、注目ブロックの差分圧縮データが第５の差分データである場合の、その第５の差分データの復元について説明する。
【１００７】
注目ブロックの差分圧縮データが、第５の差分データである場合には、その第５の差分データには、上述したように、後動きベクトル(U2,V2)が含まれる。そこで、可変長復号部３７４は、ステップＳ４０１において、注目ブロックの差分圧縮データである第５の差分データを解析し、その第５の差分データにおいて可変長符号となっている後動きベクトル(U2,V2)を可変長復号する。可変長復号部３７４で可変長復号が行われることにより得られた後動きベクトル(U2,V2)は、可変長復号部３７４から相関最大位置検出部３７７に供給される。
【１００８】
さらに、ステップＳ４０１では、相関最大位置検出部３７７は、ケースID判定部３７３から、ケースIDが５である旨の判定結果を受信し、この場合、注目ブロックについて、リファレンス記憶部３７２から読み出されたフューチャリファレンス画像VFにおいて、注目ブロックとの相関が高い位置関係を検出する。
【１００９】
即ち、相関最大位置検出部３７７は、フューチャリファレンス画像VFにおいて、注目ブロックとの相関が高い位置が、注目ブロックから後動きベクトル(U2,V2)だけずれた位置であることを、可変長復号部３７４からの後動きベクトル(U2,V2)から検出し、その位置関係、つまり、可変長復号部３７４からの後動きベクトル(U2,V2)を、推測部３７８に供給して、ステップＳ４０１からＳ４０２に進む。
【１０１０】
ステップＳ４０２では、推測部３７８は、注目ブロックからの位置が、相関最大位置検出部３７７からの後動きベクトル(U2,V2)が表す位置にある、フューチャリファレンス画像VFの領域の画像データから、注目ブロックの推測値を求め、加算部３７９に供給する。
【１０１１】
即ち、推測部３７８は、フューチャリファレンス画像VFにおいて、注目ブロックから後動きベクトル(U2,V2)だけずれた位置の、注目ブロックと同一サイズの領域の画像データを切り出し、注目ブロックの推測値Pre(x,y)として、加算部３７９に供給して、ステップＳ４０２からＳ４０３に進む。
【１０１２】
ステップＳ４０３では、加算部３７９が、変換部３７６からの注目ブロックの差分値Sub(x,y)と、推測部３７８からの注目ブロックの推測値Pre(x,y)とを加算し、これにより、注目ブロックIc(x,y)を復元して、ステップＳ４０４に進み、その注目ブロックIc(x,y)を、合成部３６５（図１１０）に出力する。
【１０１３】
次に、図１２１のフローチャートを参照して、注目ブロックの差分圧縮データが第６の差分データである場合の、その第６の差分データの復元について説明する。
【１０１４】
注目ブロックの差分圧縮データが、第６の差分データである場合には、その第６の差分データは、注目ブロックの推定値Pre(x,y)を０として、注目ブロックIc(x,y)とその推定値Pre(x,y)との差分をとったものとなっている。
【１０１５】
そこで、相関最大位置検出部３７７は、ケースID判定部３７３から、ケースIDが６である旨の判定結果が供給された場合、その判定結果を、推定部３７８に供給し、推定部３７８は、相関最大位置検出部３７７から、ケースIDが６である旨の判定結果が供給された場合には、注目ブロックの推測値Pre(x,y)として０を、加算部３７９に供給する。
【１０１６】
この場合、加算部３７９は、ステップＳ４１１において、変換部３７６からの注目ブロックの差分値Sub(x,y)（但し、ここでは、注目ブロックの画像データIc(x,y)に等しい）と、推測部３７８からの注目ブロックの推測値Pre(x,y)（但し、ここでは、０）とを加算し、これにより、注目ブロックIc(x,y)を復元して、合成部３６５（図１１０）に出力する。
【１０１７】
なお、表示装置３（図２４）が、例えば、60fpsのフレームレートでの表示しか行うことができない場合には、図１１０の受信装置では、入力端子３６１からのビットストリームのみを、解凍回路３６３において復元し、その結果得られる60fps動画データを、そのまま、合成部３６５を介して、表示装置３に出力すればよい。
【１０１８】
また、表示装置３（図２４）が、例えば、120fpsのフレームレートでの表示しか行うことができない場合には、図１１０の受信装置では、以下のような処理を行えばよい。
【１０１９】
即ち、解凍回路３６３では、入力端子３６１からのビットストリームを、60fps動画データに復元し、合成部３６５に供給する。また、差分情報復元部３６４では、入力端子３６２からの差分圧縮データのうちの、図８２で説明した変数sが２のフレームのブロックの差分圧縮データを復元し、合成部３６５に供給する。
【１０２０】
この場合、解凍回路３６３から合成部３６５に対しては、例えば、図８０の上から２番目に示した60fps動画データのフレーム・・・，f1，f5，f9，f13，・・・が供給される。また、差分情報復元部３６４から合成部３６５に対しては、例えば、図８０の一番下に示した240-60fps動画データのフレーム・・・，f2，f3，f4，f6，f7，f8，f10，f11，f12，・・・のうちの、フレーム・・・，f3，f7，f11，・・・が供給される。
【１０２１】
従って、合成部３６５では、解凍回路３６３からの60fps動画データのフレーム・・・，f1，f5，f9，f13，・・・と、差分情報復元部３６４からのフレーム・・・，f3，f7，f11，・・・を、フレーム・・・，f1，f3，f5，f7，f9，f11，f13，・・・の順で選択して出力することにより、フレームレートが120fpsの動画データを得ることができる。このフレームレートが120fpsの動画データを、表示装置３に出力すればよい。
【１０２２】
このようにして、図１１０の受信装置２では、表示装置３（図２４）の表示能力（フレームレート）に応じて適切なフレームレートの動画データを得ることができる。
【１０２３】
以上説明したように、図７９の送信装置１では、例えば、240fps動画データなどの高フレームレートの動画データを高圧縮し、また、図１１０の受信装置２では、そのように高圧縮された高フレームレートの動画データを復元することができる。
【１０２４】
特に、第１の差分データに関しては、高フレームレート（例えば、240fps）の動画を復元する際に、復元したい高フレームレートの動画の中の１枚の画像に注目する。この注目した「復元したい画像」（ターゲット画像）に対して時間的に近くにある複数（例えば２枚）の「低フレームレートを構成する画像（例えば、前述のパストリファレンス画像とフューチャリファレンス画像）」を取り出し、その取り出された複数の画像同士において相関が高い位置関係にある部分（例えば、式（９）の相関情報e1(U',V')を最小とする(U',V')）を求め、その部分から注目している「復元したい画像」を復元するようにしている。これにより、圧縮側（送信装置１）から解凍側（受信装置２）へ、動きベクトルを送信しなくてよいという利点がある。これは、データ量削減に効果がある。
【１０２５】
さらに、動きベクトルを含まない第１の差分データについては、パストリファレンス画像とフューチャリファレンス画像において、相関が高い位置関係が複数あるときに復元に失敗することがあり得る。そこで、そのような場合に対処すべく、送信装置１では、第１の差分データの他に、相関最大ベクトル(U,V)を含む第２の差分データ、さらには、前動きベクトル(-U1,-V1)および後動きベクトル(U2,V2)の両方を含む第３の差分データ、前動きベクトル(-U1,-V1)を含む第４の差分データ、後動きベクトル(U2,V2)を含む第５の差分データ、リファレンス画像を参照せずに復元することができる第６の差分データを採用し、必要に応じて、第１乃至第６の差分データのうちのいずれかを選択する。従って、動画データの復元に失敗することを防止することができる。
【１０２６】
さらに、図７９の送信装置１では、低フレームレートの動画に関するデータ（前述のビットストリーム）と、その低フレームレートの動画から高フレームレートの動画を復元する際に必要となるデータ（前述の差分圧縮データ）とを別々に分けていることにより、「低フレームレートの動画に関するデータ」だけを、図１１０の受信装置２が受信することで、低フレームレートの動画を復元することが出来る。また、「低フレームレートの動画に関するデータ」と「その低フレームレートの動画から高フレームレートの動画を復元する際に必要となるデータ」の両方を受信装置２が受信することで、高フレームレートの動画を復元することが出来る。即ち、いわゆる、テンポラルスケーラビリティを持たせることが出来る。
【１０２７】
次に、上述した一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【１０２８】
そこで、図１２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【１０２９】
コンピュータのメイン・コントローラであるCPU（Central Processing Unit）４０１は、バス４０８を介して、各部に接続されており、オペレーティング・システム（OS）の制御下で、アプリケーションプログラムを実行することにより、上述した一連の処理を行う。CPU４０１が実行するアプリケーションプログラムには、上述した一連の処理を行うためのものが含まれており、CPU４０１は、例えば、VTR(Video Tape Recorder)４１０から、VTRインターフェース４０９、バス４０８、および外部機器インターフェース４０７を介して、HDD(Hard disk Drive)４１４へダウンロードされた動画データを処理する。
【１０３０】
メモリ４０２は、CPU４０１において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。なお、メモリ４０２には、ROM(Read Only Memory)などの不揮発性メモリ及びDRAM(Dynamic Random Access Memory)などの揮発性メモリの双方が含まれる。
【１０３１】
ディスプレイコントローラ４０３は、CPU４０１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ４０３において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ディスプレイ４１１によって画面出力される。例えば、HDD４１４から再生された動画は、上述したように、ディスプレイ４１１で画面表示される。
【１０３２】
入力機器インターフェース４０４は、キーボード４１２やマウス４１３などのユーザ入力機器をコンピュータに接続するための装置である。ユーザは、キーボード４１２やマウス４１３を介して、動画を再生するためのコマンドなどを入力することができる。
【１０３３】
ネットワークインターフェース４０５は、Ethernet（登録商標）などの所定の通信プロトコルに従って、コンピュータをLAN（Local Area Network）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。なお、ネットワーク上では、複数のホスト端末やサーバ（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、上述した一連の処理を実行するためのアプリケーションプログラムを含むソフトウェア・プログラムや、上述のビットストリーム（エンコードデータ）、差分圧縮データを含むデータ・コンテンツなどの配信サービスを行うことができる。また、コンピュータでは、例えば、他人が撮影した動画等が保存されているサーバから、動画データや、上述のビットストリーム、差分圧縮データを、ネットワークを経由してネットワークインターフェース４０５で受信し、HDD４１４へダウンロードすることができる。
【１０３４】
外部機器インターフェース４０７は、HDD４１４やメディア・ドライブ４１５などの外部装置をコンピュータに接続するための装置である。
【１０３５】
HDD４１４は、記憶媒体としての磁気ディスクを固定的に搭載したランダムアクセス可能な外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。HDD４１４には、上述した一連の処理を実行するアプリケーションプログラム等がインストールされる。ここで、「インストール」とは、ソフトウェア・プログラムを実行可能な状態でHDD４１４上に置くことを意味する。HDD４１４には、CPU４０１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納される。なお、アプリケーションプログラムは、可搬形メディア４１６から、あるいは、ネットワークインターフェース４０５を介してダウンロードして、HDD４１４にインストールすることができる。また、アプリケーションプログラムは、あらかじめHDD４１４にインストールしておくことができる。
【１０３６】
メディア・ドライブ４１５は、CD（Compact Disc）やMO（Magneto-Optical disc）、DVD（Digital Versatile Disc）などの可搬型メディア４１６を装填して、そのデータ記録面にアクセスするための装置である。
【１０３７】
可搬型メディア４１６は、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。上述した一連の処理を実行するアプリケーションプログラムや、そのアプリケーションプログラムを実行することにより得られるデータは、可搬型メディア４１６を利用して複数の機器間で物理的に流通・配布することができる。また、データは、ネットワークインターフェース４０５を介して配信することもできる。
【１０３８】
VTRインターフェース４０９は、VTR４１０から再生される動画をコンピュータ内に取り込むための装置である。
【１０３９】
ここで、図１２２に示すコンピュータとしては、米IBM社のパーソナル・コンピュータ"PC／AT（Personal Computer/Advanced Technology）"の互換機又は後継機を採用することができる。勿論、他のアーキテクチャを備えたコンピュータを採用しても良い。
【１０４０】
なお、図７９の送信装置１では、240fps動画データを処理するようにしたが、送信装置１で処理する動画データのフレームレートは、240fpsに限定されるものではない。さらに、分離回路２１３における動画データの分離の仕方も、動画データを、60fps動画データと、残りの240-60fps動画データとに分離するものに限定されるものではない。即ち、分離回路２１３では、例えば、240fps動画データを、30fps、あるいは120fpsの動画データと、残りの動画データとに分離することなどが可能である。
【１０４１】
また、上述の説明における「フレーム」は、「フィールド」と読み替えることができる。
【１０４２】
さらに、本実施の形態では、注目ブロックの推測値を、パストリファレンス画像またはフューチャリファレンス画像を用いて求めるようにしたが、注目ブロックの推測値は、さらに、パストリファレンス画像の時間的に前にあるフレームや、フューチャリファレンス画像の時間的に後にあるフレームを用いて求めるようにすることも可能である。
【１０４３】
また、図７９の送信装置１では、１つのブロックごとに、第１乃至第６の差分データを求め、その中から、ブロックの圧縮結果となるものを選択するようにしたが、送信装置１では、第１の差分データだけ、または第２の差分データだけを求め、その第１または第２の差分データを、そのまま、ブロックの圧縮結果（差分圧縮データ）としてもよい。さらに、送信装置１では、第１の差分データと、第２乃至第６のうちの１以上の差分データとを求め、その中から、ブロックの圧縮結果となるものを選択してもよい。また、送信装置１では、第２の差分データと、第１の差分データおよび第３乃至第６のうちの１以上の差分データとを求め、その中から、ブロックの圧縮結果となるものを選択してもよい。
【図面の簡単な説明】
【１０４４】
【図１】２次元平面(x,y)に時間方向(t)を加えた３次元空間における動画データを示す図である。
【図２】人間の視覚によって認識することができる動画の周波数ドメイン上の範囲を示す図である。
【図３】静止している動画の部分のデータが分布する周波数ドメイン上の領域を示す図である。
【図４】被写体が速度（r0／t0）／２程度で動いている部分のデータが分布する周波数ドメイン上の領域を示す図である。
【図５】速度（r0／t0）／２で動いている被写体を示す波形図である。
【図６】速度（r0／t0）／２で動いている被写体を示す図である。
【図７】速度（r0／t0）／２程度で動いている部分のデータの周波数ドメイン上の部分を説明するための図である。
【図８】被写体が速度r0／t0程度で動いている部分のデータが分布する周波数ドメイン上の領域を示す図である。
【図９】被写体が速度２r0／t0程度で動いている部分のデータが分布する周波数ドメイン上の領域を示す図である。
【図１０】動画の静止している部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１１】被写体が速度(r0／t0)／２程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１２】被写体が速度r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１３】被写体が速度２r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１４】被写体が速度(r0／t0)／２程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１５】被写体が速度(r0／t0)／２程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１６】被写体が速度r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１７】被写体が速度r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１８】被写体が速度２r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１９】被写体が速度２r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図２０】動画の静止している部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図２１】被写体が速度(r0／t0)／２程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図２２】被写体が速度r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図２３】被写体が速度２r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図２４】本発明が適用される画像処理システムの一実施の形態の構成例を示すブロック図である。
【図２５】送信装置１の第１の構成例を示すブロック図である。
【図２６】送信装置１の処理を説明するフローチャートである。
【図２７】送信装置１が出力する動画データを説明する図である。
【図２８】送信装置１が出力する動画データを説明する図である。
【図２９】送信装置１が出力する動画データを説明する図である。
【図３０】送信装置１が出力する動画データを説明する図である。
【図３１】フィルタ生成部２３の処理を説明するフローチャートである。
【図３２】主成分方向を取得する方法を説明するフローチャートである。
【図３３】受信装置２の第１の構成例を示すブロック図である。
【図３４】受信装置２の処理を説明するフローチャートである。
【図３５】受信装置２でのアップサンプリング後の動画データを説明する図である。
【図３６】受信装置２でのアップサンプリング後の動画データを説明する図である。
【図３７】受信装置２でのアップサンプリング後の動画データを説明する図である。
【図３８】受信装置２でのアップサンプリング後の動画データを説明する図である。
【図３９】電子シャッタによる積分を説明する図である。
【図４０】フィルタの通過帯域を説明する図である。
【図４１】フィルタの通過帯域を説明する図である。
【図４２】フィルタの通過帯域を説明する図である。
【図４３】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図４４】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図４５】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図４６】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図４７】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図４８】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図４９】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図５０】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図５１】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図５２】主成分方向取得部３１の構成例を示すブロック図である。
【図５３】相関情報を示す図である。
【図５４】スケーリング後の相関情報を示す図である。
【図５５】合成相関情報を示す図である。
【図５６】動きベクトルを示す図である。
【図５７】動きベクトルを示す図である。
【図５８】動きベクトルを示す図である。
【図５９】動きベクトルを示す図である。
【図６０】動きベクトルを示す図である。
【図６１】動きベクトルを示す図である。
【図６２】動きベクトルを示す図である。
【図６３】動きベクトルを示す図である。
【図６４】主成分方向取得部３１の処理を説明するフローチャートである。
【図６５】主成分方向取得部３１の処理を説明するフローチャートである。
【図６６】主成分方向取得部３１の処理を説明するフローチャートである。
【図６７】主成分方向取得部３１の処理を説明するフローチャートである。
【図６８】フィルタ部２２の処理を説明するフローチャートである。
【図６９】静止している被写体と動いている被写体を示す図である。
【図７０】静止している被写体と動いている被写体とが投影された動画データを示す波形図である。
【図７１】静止している被写体と動いている被写体とが投影された動画データを示す波形図である。
【図７２】主成分方向取得部３１の他の構成例を示すブロック図である。
【図７３】フィルタ生成部２３の処理を説明するフローチャートである。
【図７４】フィルタ生成部２３の処理を説明するフローチャートである。
【図７５】フィルタ生成部２３の処理を説明するフローチャートである。
【図７６】フィルタ生成部２３の処理を説明するフローチャートである。
【図７７】フィルタ生成部２３の処理を説明するフローチャートである。
【図７８】フィルタ部２２の処理を説明するフローチャートである。
【図７９】送信装置１の第２の構成例を示すブロック図である。
【図８０】240fps動画データ、60fps動画データ、および240-60fps動画データを示す図である。
【図８１】差分情報抽出部２１７の構成例を示すブロック図である。
【図８２】ターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VFを示す図である。
【図８３】被写体を示す波形図である。
【図８４】ターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VFを示す波形図である。
【図８５】パストリファレンス画像VP、およびフューチャリファレンス画像VFを示す波形図である。
【図８６】パストリファレンス画像VP、およびフューチャリファレンス画像VFを示す波形図である。
【図８７】ターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VFを示す波形図である。
【図８８】ターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VFを示す波形図である。
【図８９】ターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VFを示す波形図である。
【図９０】ターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VFを示す波形図である。
【図９１】ターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VFを示す波形図である。
【図９２】ターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VFを示す波形図である。
【図９３】ターゲット画像VT、パストリファレンス画像VP、およびフューチャリファレンス画像VFを示す波形図である。
【図９４】差分データ計算部２３４の構成例を示すブロック図である。
【図９５】差分データ計算部２３４の処理を説明するフローチャートである。
【図９６】差分データ計算部２３５の構成例を示すブロック図である。
【図９７】差分データ計算部２３５の処理を説明するフローチャートである。
【図９８】差分データ計算部２３６の構成例を示すブロック図である。
【図９９】差分データ計算部２３６の処理を説明するフローチャートである。
【図１００】差分データ計算部２３７の構成例を示すブロック図である。
【図１０１】差分データ計算部２３７の処理を説明するフローチャートである。
【図１０２】差分データ計算部２３８の構成例を示すブロック図である。
【図１０３】差分データ計算部２３８の処理を説明するフローチャートである。
【図１０４】差分データ計算部２３９の構成例を示すブロック図である。
【図１０５】差分データ計算部２３９の処理を説明するフローチャートである。
【図１０６】第１乃至第６の差分データのデータ構造を示す図である。
【図１０７】ケースIDが付加された第１乃至第６の差分データのデータ構造を示す図である。
【図１０８】送信装置１の処理を説明するフローチャートである。
【図１０９】差分情報抽出部２１７が行うターゲット画像の圧縮を説明するフローチャートである。
【図１１０】受信装置２の第２の構成例を示すブロック図である。
【図１１１】受信装置２の処理を説明するフローチャートである。
【図１１２】差分情報復元部３６４が行う240-60fps動画データのデコードを説明するフローチャートである。
【図１１３】差分情報復元部３６４の構成例を示すブロック図である。
【図１１４】差分情報復元部３６４が行うブロックの画素値を求める処理を説明するフローチャートである。
【図１１５】差分情報復元部３６４が行うブロックの画素値を求める処理を説明するフローチャートである。
【図１１６】差分情報復元部３６４が行うブロックの画素値を求める処理を説明するフローチャートである。
【図１１７】差分情報復元部３６４が行うブロックの画素値を求める処理を説明するフローチャートである。
【図１１８】差分情報復元部３６４が行うブロックの画素値を求める処理を説明するフローチャートである。
【図１１９】差分情報復元部３６４が行うブロックの画素値を求める処理を説明するフローチャートである。
【図１２０】差分情報復元部３６４が行うブロックの画素値を求める処理を説明するフローチャートである。
【図１２１】差分情報復元部３６４が行うブロックの画素値を求める処理を説明するフローチャートである。
【図１２２】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【１０４５】
１  送信装置，  ２  受信装置，  ３  表示装置，  １１  記録媒体，  １２  伝送媒体，  ２１  バッファ部，  ２２  フィルタ部，  ２３  フィルタ生成部，  ２４  エンコード部，  ３１  主成分方向取得部，  ３２  フィルタ情報供給部，  ５０  デコード部，  ５１  バッファ部，  ５２  フィルタ部，  ５３  フィルタ生成部，  ６１  主成分方向取得部，  ６２  フィルタ情報供給部，  １０１  バッファ部，  １０２  ブロック抽出部，  １０３  相関演算部，  １０４  スケーリング合成部，  １０５  最小値検出部，  １２４  合成部，  １２５  最小値検出部，  ２１１  入力端子，  ２１２  帯域制限フィルタ部，  ２１３  分離回路，  ２１４  圧縮回路，  ２１５  出力端子，  ２１６  解凍回路，  ２１７  差分情報抽出部，  ２１８  出力端子，  ２２１  リファレンス記憶部，  ２２２  ターゲット記憶部，  ２２３  データ処理部，  ２３１乃至２３３  入力端子，  ２３４乃至２３９  差分データ計算部，  ２４０  選択回路，  ２４１  出力端子，  ２５１乃至２５３  入力端子，  ２５４  相関最大位置検出部，  ２５５  平均値計算部，  ２５６  減算部，  ２５７  変換部，  ２５８  量子化部，  ２５９  可変長符号化部，  ２６０  出力端子，  ２７１乃至２７３  入力端子，  ２７４  相関最大位置検出部，  ２７５  平均値計算部，  ２７６  減算部，  ２７７  変換部，  ２７８  量子化部，  ２７９  可変長符号化部，  ２８０  出力端子，  ２９１乃至２９３  入力端子，  ２９４，２９５  相関最大位置検出部，  ２９６  平均値計算部，  ２９７  減算部，  ２９８  変換部，  ２９９  量子化部，  ３００  可変長符号化部，  ３０１  出力端子，  ３１１，３１２  入力端子，  ３１３  相関最大位置検出部，  ３１４  切り出し部，  ３１５  減算部，  ３１６  変換部，  ３１７  量子化部，  ３１８  可変長符号化部，  ３１９  出力端子，  ３３１，３３２  入力端子，  ３３３  相関最大位置検出部，  ３３４  切り出し部，  ３３５  減算部，  ３３６  変換部，  ３３７  量子化部，  ３３８  可変長符号化部，  ３３９  出力端子，  ３５１  入力端子，  ３５２  変換部，  ３５３  量子化部，  ３５４  可変長符号化部，  ３５５  出力端子，  ３６１，３６２  入力端子，  ３６３  解凍回路，  ３６４  差分情報復元部，  ３６５  合成部，  ３６６  出力端子，  ３７１  差分データ記憶部，  ３７２  リファレンス記憶部，  ３７３  ケースID判定部，  ３７４  可変長復号部，  ３７５  逆量子化部，  ３７６  変換部，  ３７７  相関最大位置検出部，  ３７８  推測部，  ３７９  加算部，  ４０１  CPU，  ４０２  メモリ，  ４０３  ディスプレイコントローラ，  ４０４  入力機器インターフェース，  ４０５  ネットワークインターフェース，  ４０７  外部機器インターフェース，  ４０９  VTRインターフェース，  ４１０  VTR，  ４１１  ディスプレイ，  ４１２  キーボード，  ４１３  マウス，  ４１４  HDD，  ４１５  メディアドライブ，  ４１６  可搬型メディア
【図１】
2006086707.tif 000017
【図２】
2006086707.tif 000018
【図３】
2006086707.tif 000019
【図４】
2006086707.tif 000020
【図５】
2006086707.tif 000021
【図６】
2006086707.tif 000022
【図７】
2006086707.tif 000023
【図８】
2006086707.tif 000024
【図９】
2006086707.tif 000025
【図１０】
2006086707.tif 000026
【図１１】
2006086707.tif 000027
【図１２】
2006086707.tif 000028
【図１３】
2006086707.tif 000029
【図１４】
2006086707.tif 000030
【図１５】
2006086707.tif 000031
【図１６】
2006086707.tif 000032
【図１７】
2006086707.tif 000033
【図１８】
2006086707.tif 000034
【図１９】
2006086707.tif 000035
【図２０】
2006086707.tif 000036
【図２１】
2006086707.tif 000037
【図２２】
2006086707.tif 000038
【図２３】
2006086707.tif 000039
【図２４】
2006086707.tif 000040
【図２５】
2006086707.tif 000041
【図２６】
2006086707.tif 000042
【図２７】
2006086707.tif 000043
【図２８】
2006086707.tif 000044
【図２９】
2006086707.tif 000045
【図３０】
2006086707.tif 000046
【図３１】
2006086707.tif 000047
【図３２】
2006086707.tif 000048
【図３３】
2006086707.tif 000049
【図３４】
2006086707.tif 000050
【図３５】
2006086707.tif 000051
【図３６】
2006086707.tif 000052
【図３７】
2006086707.tif 000053
【図３８】
2006086707.tif 000054
【図３９】
2006086707.tif 000055
【図４０】
2006086707.tif 000056
【図４１】
2006086707.tif 000057
【図４２】
2006086707.tif 000058
【図４３】
2006086707.tif 000059
【図４４】
2006086707.tif 000060
【図４５】
2006086707.tif 000061
【図４６】
2006086707.tif 000062
【図４７】
2006086707.tif 000063
【図４８】
2006086707.tif 000064
【図４９】
2006086707.tif 000065
【図５０】
2006086707.tif 000066
【図５１】
2006086707.tif 000067
【図５２】
2006086707.tif 000068
【図５３】
2006086707.tif 000069
【図５４】
2006086707.tif 000070
【図５５】
2006086707.tif 000071
【図５６】
2006086707.tif 000072
【図５７】
2006086707.tif 000073
【図５８】
2006086707.tif 000074
【図５９】
2006086707.tif 000075
【図６０】
2006086707.tif 000076
【図６１】
2006086707.tif 000077
【図６２】
2006086707.tif 000078
【図６３】
2006086707.tif 000079
【図６４】
2006086707.tif 000080
【図６５】
2006086707.tif 000081
【図６６】
2006086707.tif 000082
【図６７】
2006086707.tif 000083
【図６８】
2006086707.tif 000084
【図６９】
2006086707.tif 000085
【図７０】
2006086707.tif 000086
【図７１】
2006086707.tif 000087
【図７２】
2006086707.tif 000088
【図７３】
2006086707.tif 000089
【図７４】
2006086707.tif 000090
【図７５】
2006086707.tif 000091
【図７６】
2006086707.tif 000092
【図７７】
2006086707.tif 000093
【図７８】
2006086707.tif 000094
【図７９】
2006086707.tif 000095
【図８０】
2006086707.tif 000096
【図８１】
2006086707.tif 000097
【図８２】
2006086707.tif 000098
【図８３】
2006086707.tif 000099
【図８４】
2006086707.tif 000100
【図８５】
2006086707.tif 000101
【図８６】
2006086707.tif 000102
【図８７】
2006086707.tif 000103
【図８８】
2006086707.tif 000104
【図８９】
2006086707.tif 000105
【図９０】
2006086707.tif 000106
【図９１】
2006086707.tif 000107
【図９２】
2006086707.tif 000108
【図９３】
2006086707.tif 000109
【図９４】
2006086707.tif 000110
【図９５】
2006086707.tif 000111
【図９６】
2006086707.tif 000112
【図９７】
2006086707.tif 000113
【図９８】
2006086707.tif 000114
【図９９】
2006086707.tif 000115
【図１００】
2006086707.tif 000116
【図１０１】
2006086707.tif 000117
【図１０２】
2006086707.tif 000118
【図１０３】
2006086707.tif 000119
【図１０４】
2006086707.tif 000120
【図１０５】
2006086707.tif 000121
【図１０６】
2006086707.tif 000122
【図１０７】
2006086707.tif 000123
【図１０８】
2006086707.tif 000124
【図１０９】
2006086707.tif 000125
【図１１０】
2006086707.tif 000126
【図１１１】
2006086707.tif 000127
【図１１２】
2006086707.tif 000128
【図１１３】
2006086707.tif 000129
【図１１４】
2006086707.tif 000130
【図１１５】
2006086707.tif 000131
【図１１６】
2006086707.tif 000132
【図１１７】
2006086707.tif 000133
【図１１８】
2006086707.tif 000134
【図１１９】
2006086707.tif 000135
【図１２０】
2006086707.tif 000136
【図１２１】
2006086707.tif 000137
【図１２２】
2006086707.tif 000138