(57)【要約】【課題】人間の目の視覚効果を考慮したデータの削減を行う。【解決手段】時間方向の周波数軸Tと空間方向の周波数軸X,Yとで定義される周波数ドメインにおいて、フレームレート1/t0の動画データの主成分方向に延び、時間方向の周波数軸Tの方向に特定の幅２π／(4t0)を有する領域R1101を、通過帯域として、フレームレート1/t0の動画データをフィルタリングするとともに、時間方向に1/4にダウンサンプリングすることにより、フレームレート1/(4t0)の動画データを得る。また、フレームレート1/(4t0)の動画データの主成分方向に延びる領域R1101を、通過帯域として決定し、フレームレート1/(4t0)の動画データに対して、通過帯域R1101のフィルタを適用しながら、時間方向のアップサンプリングを行うことにより、フレームレート1/t0の動画データを得る。本発明は、例えば、高フレームレートの動画の処理に適用できる。【選択図】図１１
2006086705.tif 000002
【特許請求の範囲】
【請求項１】
動画データをフィルタリングするフィルタの情報であるフィルタ情報を求める画像処理方法において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、前記動画データの主成分の方向である主成分方向を検出する主成分方向検出ステップと、
前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、前記フィルタの通過帯域として決定する領域決定ステップと、
前記フィルタの通過帯域を、前記フィルタ情報として出力する出力ステップと
を含むことを特徴とする画像処理方法。
【請求項２】
前記主成分方向検出ステップでは、前記動画データにおける１以上の画素からなるブロックの動きの方向と直交する方向を、前記主成分方向として検出する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記主成分方向検出ステップは、
前記動画データにおいて注目している注目フレームの前記ブロックと、前記注目フレームに対して時間的に前後の複数のフレームそれぞれとの相関を表す相関情報を演算する相関情報演算ステップと、
前記ブロックと前記複数のフレームそれぞれとの相関情報を空間方向にスケーリングして合成した合成相関情報を求めるスケーリング合成ステップと、
前記合成相関情報が表す相関が最大となる空間方向の位置である最大相関位置を検出し、前記最大相関位置へのベクトルを、前記ブロックの動きベクトルとして求める位置検出ステップと
を含み、
前記ブロックの動きベクトルの方向と直交する方向を、前記主成分方向として検出する
ことを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記複数のフレームの範囲は、前記フィルタによるフィルタリングに用いられるフレームの範囲に対応した範囲である
ことを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記主成分方向検出ステップは、
前記動画データにおいて注目している注目フレームの前記ブロックと、前記注目フレームに対して時間的に前後の複数のフレームそれぞれとの相関を表す相関情報を演算する相関情報演算ステップと、
前記ブロックと前記複数のフレームそれぞれとの相関情報を空間方向にスケーリングして合成した合成相関情報を、前記相関情報を合成する数を変えて複数求めるスケーリング合成ステップと、
複数の前記合成相関情報のうちの、相関が最大の合成相関情報である最大合成相関情報を求め、その最大合成相関情報が表す相関が最大となる空間方向の位置である最大相関位置を検出し、前記最大相関位置へのベクトルを、前記ブロックの動きベクトルとして求める位置検出ステップと
を含み、
前記ブロックの動きベクトルの方向と直交する方向を、前記主成分方向として検出する
ことを特徴とする請求項２に記載の画像処理方法。
【請求項６】
前記位置検出ステップでは、前記複数のフレームのうちの、前記最大合成相関情報を求めるのに合成した前記相関情報の演算に用いられたフレームの範囲を、前記動きベクトルの有効範囲として、さらに求める
ことを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記フィルタによるフィルタリングは、前記有効範囲のフレームの画素を用いて行われる
ことを特徴とする請求項６に記載の画像処理方法。
【請求項８】
動画データをフィルタリングするフィルタの情報であるフィルタ情報を求める画像処理装置において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、前記動画データの主成分の方向である主成分方向を検出する主成分方向検出手段と、
前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、前記フィルタの通過帯域として決定し、前記フィルタ情報として出力する領域決定手段と
を備えることを特徴とする画像処理装置。
【請求項９】
動画データをフィルタリングするフィルタの情報であるフィルタ情報を求める画像処理を、コンピュータに実行させるプログラムにおいて、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、前記動画データの主成分の方向である主成分方向を検出する主成分方向検出ステップと、
前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、前記フィルタの通過帯域として決定する領域決定ステップと、
前記フィルタの通過帯域を、前記フィルタ情報として出力する出力ステップと
を含むことを特徴とするプログラム。
【請求項１０】
動画データをフィルタリングするフィルタの情報であるフィルタ情報を求める画像処理を、コンピュータに実行させるプログラムが記録されているプログラム記録媒体において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、前記動画データの主成分の方向である主成分方向を検出する主成分方向検出ステップと、
前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、前記フィルタの通過帯域として決定する領域決定ステップと、
前記フィルタの通過帯域を、前記フィルタ情報として出力する出力ステップと
を含むことを特徴とするプログラムが記録されているプログラム記録媒体。
【請求項１１】
第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングして、前記第１のフレームレートよりも低い第２のフレームレートの動画データを出力する画像処理方法において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、前記第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、前記第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより、前記第２のフレームレートの動画データを得るフィルタステップと、
前記フィルタステップで得られた前記第２のフレームレートの動画データを出力する出力ステップと
を含むことを特徴とする画像処理方法。
【請求項１２】
前記周波数ドメイン上での、前記第１のフレームレートの動画データの主成分の方向である主成分方向を検出し、前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、前記通過帯域として決定する通過帯域算出ステップをさらに含む
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記出力ステップでは、前記第２のフレームレートの動画データを、前記主成分方向とともに出力する
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１４】
前記通過帯域算出ステップでは、前記第１のフレームレートの動画データにおける１以上の画素からなるブロックの動きの方向と直交する方向を、前記主成分方向として検出する
ことを特徴とする請求項１２に記載の画像処理方法。
【請求項１５】
前記通過帯域算出ステップは、
前記第１のフレームレートの動画データにおいて注目している注目フレームの前記ブロックと、前記注目フレームに対して時間的に前後の複数のフレームそれぞれとの相関を表す相関情報を演算する相関情報演算ステップと、
前記ブロックと前記複数のフレームそれぞれとの相関情報を空間方向にスケーリングして合成した合成相関情報を求めるスケーリング合成ステップと、
前記合成相関情報が表す相関が最大となる空間方向の位置である最大相関位置を検出し、前記最大相関位置へのベクトルを、前記ブロックの動きベクトルとして求める位置検出ステップと
を含み、
前記ブロックの動きベクトルの方向と直交する方向を、前記主成分方向として検出する
ことを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
前記複数のフレームの範囲は、前記第１のフレームレートの動画データをフィルタリングするときに用いられるフレームの範囲に対応した範囲である
ことを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記通過帯域算出ステップは、
前記第１のフレームレートの動画データにおいて注目している注目フレームの前記ブロックと、前記注目フレームに対して時間的に前後の複数のフレームそれぞれとの相関を表す相関情報を演算する相関情報演算ステップと、
前記ブロックと前記複数のフレームそれぞれとの相関情報を空間方向にスケーリングして合成した合成相関情報を、前記相関情報を合成する数を変えて複数求めるスケーリング合成ステップと、
複数の前記合成相関情報のうちの、相関が最大の合成相関情報である最大合成相関情報を求め、その最大合成相関情報が表す相関が最大となる空間方向の位置である最大相関位置を検出し、前記最大相関位置へのベクトルを、前記ブロックの動きベクトルとして求める位置検出ステップと
を含み、
前記ブロックの動きベクトルの方向と直交する方向を、前記主成分方向として検出する
ことを特徴とする請求項１４に記載の画像処理方法。
【請求項１８】
前記位置検出ステップでは、前記複数のフレームのうちの、前記最大合成相関情報を求めるのに合成した前記相関情報の演算に用いられたフレームの範囲を、前記動きベクトルの有効範囲として、さらに求める
ことを特徴とする請求項１７に記載の画像処理方法。
【請求項１９】
前記第１のフレームレートの動画データのフィルタリングは、前記有効範囲のフレームの画素を用いて行われる
ことを特徴とする請求項１８に記載の画像処理方法。
【請求項２０】
第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングして、前記第１のフレームレートよりも低い第２のフレームレートの動画データを出力する画像処理装置において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、前記第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、前記第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより、前記第２のフレームレートの動画データを得るフィルタ手段を備える
ことを特徴とする画像処理装置。
【請求項２１】
第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングして、前記第１のフレームレートよりも低い第２のフレームレートの動画データを出力する画像処理を、コンピュータに実行させるプログラムにおいて、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、前記第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、前記第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより、前記第２のフレームレートの動画データを得るフィルタステップと、
前記フィルタステップで得られた前記第２のフレームレートの動画データを出力する出力ステップと
を含むことを特徴とするプログラム。
【請求項２２】
第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングして、前記第１のフレームレートよりも低い第２のフレームレートの動画データを出力する画像処理を、コンピュータに実行させるプログラムが記録されているプログラム記録媒体において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、前記第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、前記第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより、前記第２のフレームレートの動画データを得るフィルタステップと、
前記フィルタステップで得られた前記第２のフレームレートの動画データを出力する出力ステップと
を含むことを特徴とするプログラムが記録されているプログラム記録媒体。
【請求項２３】
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、前記第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより得られる、前記第１のフレームレートより低い第２のフレームレートの動画データを含む
ことを特徴とするデータ構造。
【請求項２４】
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、前記第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより得られる、前記第１のフレームレートより低い第２のフレームレートの動画データが記録されている
ことを特徴とするデータ記録媒体。
【請求項２５】
第１のフレームレートの動画データの前記第１のフレームレートよりも低い第２のフレームレートの動画データをフィルタリングしながら、時間方向にアップサンプリングして、前記第１のフレームレートの動画データを出力する画像処理方法において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、前記第２のフレームレートの動画データの主成分の方向である主成分方向を取得する主成分方向取得ステップと、
前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定する通過帯域決定ステップと、
前記第２のフレームレートの動画データに対して、前記通過帯域の周波数成分を通過させるフィルタを適用しながら、時間方向のアップサンプリングを行うことにより、前記第１のフレームレートの動画データを得るフィルタステップと
を含むことを特徴とする画像処理方法。
【請求項２６】
前記主成分方向取得ステップでは、前記第２のフレームレートの動画データから、前記主成分方向を検出することにより取得する
ことを特徴とする請求項２５に記載の画像処理方法。
【請求項２７】
前記主成分方向取得ステップでは、前記第２のフレームレートの動画データにおける１以上の画素からなるブロックの動きの方向と直交する方向を、前記主成分方向として検出する
ことを特徴とする請求項２６に記載の画像処理方法。
【請求項２８】
前記第２のフレームレートの動画データが、少なくとも動き補償を利用する符号化方法によって符号化されている場合において、
前記主成分方向取得ステップでは、前記動き補償に用いられる動きベクトルの方向と直交する方向を、前記主成分方向として取得する
ことを特徴とする請求項２５に記載の画像処理方法。
【請求項２９】
前記通過帯域決定ステップでは、さらに、前記第２のフレームレートの動画データの撮像時の露光時間に対応して前記時間方向の周波数軸の方向の幅が制限された領域を、フィルタの通過帯域として決定する
ことを特徴とする請求項２５に記載の画像処理方法。
【請求項３０】
第１のフレームレートの動画データの前記第１のフレームレートよりも低い第２のフレームレートの動画データをフィルタリングしながら、時間方向にアップサンプリングして、前記第１のフレームレートの動画データを出力する画像処理装置において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、前記第２のフレームレートの動画データの主成分の方向である主成分方向を取得する主成分方向取得手段と、
前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定する通過帯域決定手段と、
前記第２のフレームレートの動画データに対して、前記通過帯域の周波数成分を通過させるフィルタを適用しながら、時間方向のアップサンプリングを行うことにより、前記第１のフレームレートの動画データを得るフィルタ手段と
を備えることを特徴とする画像処理装置。
【請求項３１】
第１のフレームレートの動画データの前記第１のフレームレートよりも低い第２のフレームレートの動画データをフィルタリングしながら、時間方向にアップサンプリングして、前記第１のフレームレートの動画データを出力する画像処理を、コンピュータに実行させるプログラムにおいて、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、前記第２のフレームレートの動画データの主成分の方向である主成分方向を取得する主成分方向取得ステップと、
前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定する通過帯域決定ステップと、
前記第２のフレームレートの動画データに対して、前記通過帯域の周波数成分を通過させるフィルタを適用しながら、時間方向のアップサンプリングを行うことにより、前記第１のフレームレートの動画データを得るフィルタステップと
を含むことを特徴とするプログラム。
【請求項３２】
第１のフレームレートの動画データの前記第１のフレームレートよりも低い第２のフレームレートの動画データをフィルタリングしながら、時間方向にアップサンプリングして、前記第１のフレームレートの動画データを出力する画像処理を、コンピュータに実行させるプログラムが記録されているプログラム記録媒体において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、前記第２のフレームレートの動画データの主成分の方向である主成分方向を取得する主成分方向取得ステップと、
前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定する通過帯域決定ステップと、
前記第２のフレームレートの動画データに対して、前記通過帯域の周波数成分を通過させるフィルタを適用しながら、時間方向のアップサンプリングを行うことにより、前記第１のフレームレートの動画データを得るフィルタステップと
を含むことを特徴とするプログラムが記録されているプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法および画像処理装置、プログラムおよびプログラム記録媒体、並びにデータ構造およびデータ記録媒体に関し、特に、例えば、人間の目の視覚効果を考慮した動画データの削減を行うことができるようにする画像処理方法および画像処理装置、プログラムおよびプログラム記録媒体、並びにデータ構造およびデータ記録媒体に関する。
【背景技術】
【０００２】
従来、動画（動画像）データは、毎秒３０乃至６０フレーム（３０乃至６０fps(Frame per second)）程度のフレームレートで録画（記録）され、再生される。しかしながら、この程度のフレームレートでは、人間の視覚において、動被写体（動いている被写体）がぼけた画像に知覚されてしまうため、人間にとって、良好な画質が得られているとは言えなかった。
【０００３】
ところで、動画データを、２４０fps程度のフレームレートで記録し、再生すると、人間にとって良好な画質が得られることが知られている。
【０００４】
２４０fpsのフレームレートの動画データは、２４０fpsの高フレームレートに対応した表示装置によって表示することができ、さらに、例えば、フレームを間引き、フレームレートを低下させることによって、３０fpsや６０fpsなどの低フレームレートの表示装置で表示することもできる。
【０００５】
しかしながら、２４０fpsのフレームレートの動画データのフレームを単純に間引いた場合には、画像において、動きの滑らかさが損なわれることになる。
【０００６】
そこで、特許文献１には、高フレームレートの動画データの単純に間引くのではなく、高フレームレートの動画データの複数フレームの平均値を、低フレームレートの動画データとする方法が提案されている。さらに、特許文献１では、高フレームレートの動画データを、複数のフレームレートに対応する複数の階層に階層符号化する方法も提案されている。
【０００７】
ここで、例えば、１２０fpsの階層と、６０fpsの階層との２階層の階層符号化が行われる場合には、例えば、１２０fpsの動画データの、あるフレームのデータD1と、次のフレームのデータD2との平均値(D1+D2)/2が、６０fpsの階層の動画データとされ、データD1とD2のうちの一方のうちの、例えば、データD1だけが、１２０fpsの階層の動画データとされる。この場合、データD2は、６０fpsの階層の動画データ(D1+D2)/2と、１２０fpsの階層の動画データD1とから求めることができる。
【０００８】
ところで、上述したように、２４０fpsなどの高フレームレートの動画データによれば、良好な画質を得ることができるが、２４０fpsの動画データは、従来の３０fpsや６０fpsの動画データに比較して、単純には、８倍や４倍の膨大なデータ量になる。このデータ量は、上述の階層符号化を行っても変わらない。そして、動画データのデータ量が膨大であることは、その動画データのデータ処理の負荷を大にし、また、動画データの伝送や記録に好ましいことではない。
【０００９】
【特許文献１】特開2004-088244号公報。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、このような状況に鑑みてなされたものであり、人間の目の視覚効果を考慮した動画データの削減を行うことができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の第１の画像処理方法は、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、動画データの主成分の方向である主成分方向を検出する主成分方向検出ステップと、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定する領域決定ステップと、フィルタの通過帯域を、フィルタ情報として出力する出力ステップとを含むことを特徴とする。
【００１２】
本発明の第１の画像処理装置は、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、動画データの主成分の方向である主成分方向を検出する主成分方向検出手段と、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定し、フィルタ情報として出力する領域決定手段とを備えることを特徴とする。
【００１３】
本発明の第１のプログラムは、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、動画データの主成分の方向である主成分方向を検出する主成分方向検出ステップと、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定する領域決定ステップと、フィルタの通過帯域を、フィルタ情報として出力する出力ステップとを含むことを特徴とする。
【００１４】
本発明の第１のプログラム記録媒体に記録されているプログラムは、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、動画データの主成分の方向である主成分方向を検出する主成分方向検出ステップと、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定する領域決定ステップと、フィルタの通過帯域を、フィルタ情報として出力する出力ステップとを含むことを特徴とする。
【００１５】
本発明の第２の画像処理方法は、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより、第２のフレームレートの動画データを得るフィルタステップと、フィルタステップで得られた第２のフレームレートの動画データを出力する出力ステップとを含むことを特徴とする。
【００１６】
本発明の第２の画像処理装置は、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより、第２のフレームレートの動画データを得るフィルタ手段を備えることを特徴とする。
【００１７】
本発明の第２のプログラムは、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより、第２のフレームレートの動画データを得るフィルタステップと、フィルタステップで得られた第２のフレームレートの動画データを出力する出力ステップとを含むことを特徴とする。
【００１８】
本発明の第２のプログラム記録媒体に記録されているプログラムは、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより、第２のフレームレートの動画データを得るフィルタステップと、フィルタステップで得られた第２のフレームレートの動画データを出力する出力ステップとを含むことを特徴とする。
【００１９】
本発明のデータ構造は、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより得られる、第１のフレームレートより低い第２のフレームレートの動画データを含むことを特徴とする。
【００２０】
本発明のデータ記録媒体は、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより得られる、第１のフレームレートより低い第２のフレームレートの動画データが記録されていることを特徴とする。
【００２１】
本発明の第３の画像処理方法は、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、第２のフレームレートの動画データの主成分の方向である主成分方向を取得する主成分方向取得ステップと、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定する通過帯域決定ステップと、第２のフレームレートの動画データに対して、通過帯域の周波数成分を通過させるフィルタを適用しながら、時間方向のアップサンプリングを行うことにより、第１のフレームレートの動画データを得るフィルタステップとを含むことを特徴とする。
【００２２】
本発明の第３の画像処理装置は、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、第２のフレームレートの動画データの主成分の方向である主成分方向を取得する主成分方向取得手段と、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定する通過帯域決定手段と、第２のフレームレートの動画データに対して、通過帯域の周波数成分を通過させるフィルタを適用しながら、時間方向のアップサンプリングを行うことにより、第１のフレームレートの動画データを得るフィルタ手段とを備えることを特徴とする。
【００２３】
本発明の第３のプログラムは、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、第２のフレームレートの動画データの主成分の方向である主成分方向を取得する主成分方向取得ステップと、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定する通過帯域決定ステップと、第２のフレームレートの動画データに対して、通過帯域の周波数成分を通過させるフィルタを適用しながら、時間方向のアップサンプリングを行うことにより、第１のフレームレートの動画データを得るフィルタステップとを含むことを特徴とする。
【００２４】
本発明の第３のプログラム記録媒体に記録されているプログラムは、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、第２のフレームレートの動画データの主成分の方向である主成分方向を取得する主成分方向取得ステップと、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定する通過帯域決定ステップと、第２のフレームレートの動画データに対して、通過帯域の周波数成分を通過させるフィルタを適用しながら、時間方向のアップサンプリングを行うことにより、第１のフレームレートの動画データを得るフィルタステップとを含むことを特徴とする。
【００２５】
本発明の第１の画像処理方法および画像処理装置、並びにプログラムおよびプログラム記録媒体においては、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、動画データの主成分の方向である主成分方向が検出され、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域が、フィルタの通過帯域として決定される。
【００２６】
本発明の第２の画像処理方法および画像処理装置、並びにプログラムおよびプログラム記録媒体においては、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより、第２のフレームレートの動画データが得られる。
【００２７】
本発明のデータ構造およびデータ記録媒体に記録されているデータには、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより得られる、第１のフレームレートより低い第２のフレームレートの動画データが含まれる。
【００２８】
本発明の第３の画像処理方法および画像処理装置、並びにプログラムおよびプログラム記録媒体においては、時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、第２のフレームレートの動画データの主成分の方向である主成分方向が取得され、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸の方向に特定の幅を有する領域が、フィルタの通過帯域として決定される。そして、第２のフレームレートの動画データに対して、通過帯域の周波数成分を通過させるフィルタを適用しながら、時間方向のアップサンプリングを行うことにより、第１のフレームレートの動画データが得られる。
【発明の効果】
【００２９】
本発明によれば、データを削減することができる。
【発明を実施するための最良の形態】
【００３０】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３１】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００３２】
請求項１に記載の画像処理方法は、
動画データをフィルタリングするフィルタの情報であるフィルタ情報を求める画像処理方法において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、前記動画データの主成分の方向である主成分方向を検出する主成分方向検出ステップ（例えば、図３１のステップＳ１１）と、
前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、前記フィルタの通過帯域として決定する領域決定ステップ（例えば、図３１のステップＳ１２）と、
前記フィルタの通過帯域を、前記フィルタ情報として出力する出力ステップ（例えば、図３１のステップＳ１３）と
を含むことを特徴とする。
【００３３】
請求項３に記載の画像処理方法は、
前記主成分方向検出ステップは、
前記動画データにおいて注目している注目フレームの前記ブロックと、前記注目フレームに対して時間的に前後の複数のフレームそれぞれとの相関を表す相関情報を演算する相関情報演算ステップ（例えば、図６５のステップＳ１０２乃至Ｓ１０５、および図６６のステップＳ１０６乃至Ｓ１０９）と、
前記ブロックと前記複数のフレームそれぞれとの相関情報を空間方向にスケーリングして合成した合成相関情報を求めるスケーリング合成ステップ（例えば、図６７のステップＳ１１０）と、
前記合成相関情報が表す相関が最大となる空間方向の位置である最大相関位置を検出し、前記最大相関位置へのベクトルを、前記ブロックの動きベクトルとして求める位置検出ステップ（例えば、図６７のステップＳ１１１）と
を含み、
前記ブロックの動きベクトルの方向と直交する方向を、前記主成分方向として検出する
ことを特徴とする。
【００３４】
請求項５に記載の画像処理方法は、
前記主成分方向検出ステップは、
前記動画データにおいて注目している注目フレームの前記ブロックと、前記注目フレームに対して時間的に前後の複数のフレームそれぞれとの相関を表す相関情報を演算する相関情報演算ステップ（例えば、図７３のステップＳ１５２乃至Ｓ１５４、および図７４のステップＳ１５５乃至Ｓ１５７）と、
前記ブロックと前記複数のフレームそれぞれとの相関情報を空間方向にスケーリングして合成した合成相関情報を、前記相関情報を合成する数を変えて複数求めるスケーリング合成ステップ（例えば、図７４のステップＳ１５８、図７５のステップＳ１６０，Ｓ１６２，Ｓ１６４、および図７６のステップＳ１６６，Ｓ１６８，Ｓ１７０）と、
複数の前記合成相関情報のうちの、相関が最大の合成相関情報である最大合成相関情報を求め、その最大合成相関情報が表す相関が最大となる空間方向の位置である最大相関位置を検出し、前記最大相関位置へのベクトルを、前記ブロックの動きベクトルとして求める位置検出ステップ（例えば、図７７のステップＳ１７２）と
を含み、
前記ブロックの動きベクトルの方向と直交する方向を、前記主成分方向として検出する
ことを特徴とする。
【００３５】
請求項８に記載の画像処理装置は、
動画データをフィルタリングするフィルタの情報であるフィルタ情報を求める画像処理装置において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、前記動画データの主成分の方向である主成分方向を検出する主成分方向検出手段（例えば、図２５の主成分方向取得部３１）と、
前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、前記フィルタの通過帯域として決定し、前記フィルタ情報として出力する領域決定手段（例えば、図２５のフィルタ情報供給部３２）と
を備えることを特徴とする。
【００３６】
請求項９に記載のプログラム、および請求項１０に記載のプログラム記録媒体に記録されているプログラムは、
動画データをフィルタリングするフィルタの情報であるフィルタ情報を求める画像処理を、コンピュータに実行させるプログラムにおいて、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、前記動画データの主成分の方向である主成分方向を検出する主成分方向検出ステップ（例えば、図３１のステップＳ１１）と、
前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、前記フィルタの通過帯域として決定する領域決定ステップ（例えば、図３１のステップＳ１２）と、
前記フィルタの通過帯域を、前記フィルタ情報として出力する出力ステップ（例えば、図３１のステップＳ１３）と
を含むことを特徴とする。
【００３７】
請求項１１に記載の画像処理方法は、
第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングして、前記第１のフレームレートよりも低い第２のフレームレートの動画データを出力する画像処理方法において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、前記第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、前記第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより、前記第２のフレームレートの動画データを得るフィルタステップ（例えば、図２６のステップＳ３）と、
前記フィルタステップで得られた前記第２のフレームレートの動画データを出力する出力ステップ（例えば、図２６のステップＳ４）と
を含むことを特徴とする。
【００３８】
請求項１２に記載の画像処理方法は、
前記周波数ドメイン上での、前記第１のフレームレートの動画データの主成分の方向である主成分方向を検出し、前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、前記通過帯域として決定する通過帯域算出ステップ（例えば、図２６のステップＳ２）をさらに含む
ことを特徴とする。
【００３９】
請求項１５に記載の画像処理方法は、
前記通過帯域算出ステップは、
前記第１のフレームレートの動画データにおいて注目している注目フレームの前記ブロックと、前記注目フレームに対して時間的に前後の複数のフレームそれぞれとの相関を表す相関情報を演算する相関情報演算ステップ（例えば、図６５のステップＳ１０２乃至Ｓ１０５、および図６６のステップＳ１０６乃至Ｓ１０９）と、
前記ブロックと前記複数のフレームそれぞれとの相関情報を空間方向にスケーリングして合成した合成相関情報を求めるスケーリング合成ステップ（例えば、図６７のステップＳ１１０）と、
前記合成相関情報が表す相関が最大となる空間方向の位置である最大相関位置を検出し、前記最大相関位置へのベクトルを、前記ブロックの動きベクトルとして求める位置検出ステップ（例えば、図６７のステップＳ１１１）と
を含み、
前記ブロックの動きベクトルの方向と直交する方向を、前記主成分方向として検出する
ことを特徴とする。
【００４０】
請求項１７に記載の画像処理方法は、
前記通過帯域算出ステップは、
前記第１のフレームレートの動画データにおいて注目している注目フレームの前記ブロックと、前記注目フレームに対して時間的に前後の複数のフレームそれぞれとの相関を表す相関情報を演算する相関情報演算ステップ（例えば、図７３のステップＳ１５２乃至Ｓ１５４、および図７４のステップＳ１５５乃至Ｓ１５７）と、
前記ブロックと前記複数のフレームそれぞれとの相関情報を空間方向にスケーリングして合成した合成相関情報を、前記相関情報を合成する数を変えて複数求めるスケーリング合成ステップ（例えば、図７４のステップＳ１５８、図７５のステップＳ１６０，Ｓ１６２，Ｓ１６４、および図７６のステップＳ１６６，Ｓ１６８，Ｓ１７０）と、
複数の前記合成相関情報のうちの、相関が最大の合成相関情報である最大合成相関情報を求め、その最大合成相関情報が表す相関が最大となる空間方向の位置である最大相関位置を検出し、前記最大相関位置へのベクトルを、前記ブロックの動きベクトルとして求める位置検出ステップ（例えば、図７７のステップＳ１７２）と
を含み、
前記ブロックの動きベクトルの方向と直交する方向を、前記主成分方向として検出する
ことを特徴とする。
【００４１】
請求項２０に記載の画像処理装置は、
第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングして、前記第１のフレームレートよりも低い第２のフレームレートの動画データを出力する画像処理装置において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、前記第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、前記第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより、前記第２のフレームレートの動画データを得るフィルタ手段（例えば、図２５のフィルタ部２２）を備える
ことを特徴とする。
【００４２】
請求項２１に記載のプログラム、および請求項２２に記載のプログラム記録媒体に記録されているプログラムは、
第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングして、前記第１のフレームレートよりも低い第２のフレームレートの動画データを出力する画像処理を、コンピュータに実行させるプログラムにおいて、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメインにおいて、前記第１のフレームレートの動画データの主成分の方向である主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を通過帯域として、前記第１のフレームレートの動画データをフィルタリングするとともに、時間方向にダウンサンプリングすることにより、前記第２のフレームレートの動画データを得るフィルタステップ（例えば、図２６のステップＳ３）と、
前記フィルタステップで得られた前記第２のフレームレートの動画データを出力する出力ステップ（例えば、図２６のステップＳ４）と
を含むことを特徴とする。
【００４３】
請求項２５に記載の画像処理方法は、
第１のフレームレートの動画データの前記第１のフレームレートよりも低い第２のフレームレートの動画データをフィルタリングしながら、時間方向にアップサンプリングして、前記第１のフレームレートの動画データを出力する画像処理方法において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、前記第２のフレームレートの動画データの主成分の方向である主成分方向を取得する主成分方向取得ステップ（例えば、図３４のステップＳ３２）と、
前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定する通過帯域決定ステップ（例えば、図３４のステップＳ３３）と、
前記第２のフレームレートの動画データに対して、前記通過帯域の周波数成分を通過させるフィルタを適用しながら、時間方向のアップサンプリングを行うことにより、前記第１のフレームレートの動画データを得るフィルタステップ（例えば、図３４のステップＳ３５）と
を含むことを特徴とする。
【００４４】
請求項３０に記載の画像処理装置は、
第１のフレームレートの動画データの前記第１のフレームレートよりも低い第２のフレームレートの動画データをフィルタリングしながら、時間方向にアップサンプリングして、前記第１のフレームレートの動画データを出力する画像処理装置において、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、前記第２のフレームレートの動画データの主成分の方向である主成分方向を取得する主成分方向取得手段（例えば、図３３の主成分方向取得部６１）と、
前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定する通過帯域決定手段（例えば、図３３のフィルタ情報供給部６２）と、
前記第２のフレームレートの動画データに対して、前記通過帯域の周波数成分を通過させるフィルタを適用しながら、時間方向のアップサンプリングを行うことにより、前記第１のフレームレートの動画データを得るフィルタ手段（例えば、図３３のフィルタ部５２）と
を備えることを特徴とする。
【００４５】
請求項３１に記載のプログラム、および請求項３２に記載のプログラム記録媒体に記録されているプログラムは、
第１のフレームレートの動画データの前記第１のフレームレートよりも低い第２のフレームレートの動画データをフィルタリングしながら、時間方向にアップサンプリングして、前記第１のフレームレートの動画データを出力する画像処理を、コンピュータに実行させるプログラムにおいて、
時間方向の周波数軸と空間方向の周波数軸とで定義される周波数ドメイン上での、前記第２のフレームレートの動画データの主成分の方向である主成分方向を取得する主成分方向取得ステップ（例えば、図３４のステップＳ３２）と、
前記周波数ドメインにおいて、前記主成分方向に延びる領域であって、前記時間方向の周波数軸の方向に特定の幅を有する領域を、フィルタの通過帯域として決定する通過帯域決定ステップ（例えば、図３４のステップＳ３３）と、
前記第２のフレームレートの動画データに対して、前記通過帯域の周波数成分を通過させるフィルタを適用しながら、時間方向のアップサンプリングを行うことにより、前記第１のフレームレートの動画データを得るフィルタステップ（例えば、図３４のステップＳ３５）と
を含むことを特徴とする。
【００４６】
次に、本発明の実施の形態について説明する前に、動画について、理論的な事柄を述べておく。
【００４７】
図１は、２次元平面（ｘ，ｙ）に時間方向（ｔ）を加えた３次元空間における動画データを示している。
【００４８】
図１において、画像P101は、ある時刻（フレーム）の画像であり、画像P102は、その次の時刻の画像であり、画像P103は、さらにその次の時刻の画像である。画像P104は、さらにその次の時刻の画像である。図示を省略したが、画像P101の前の時刻と、画像P104の後の時刻にも、画像が存在する。
【００４９】
図１では、画像P101乃至P104には、時間の経過とともに、y方向に移動する物体（被写体）が写っている。
【００５０】
以上のような動画（動画データ）を、人間が見た場合、動画のフレームレートが、あるフレームレート以上であるときには、動画の隣接する２つのフレーム（の画像）の違いを認識することは出来ない。実際に被験者に視覚実験を行った結果、人間が、隣接する２つのフレーム（の画像）の違いを認識することができないフレームレートは、240fps程度以上であることが分かっている。
【００５１】
ここで、隣接する２つのフレームどうしの間の時間（フレーム周期）を、t0と表すこととすると、フレームレートは、１／t0と表すことができる。
【００５２】
なお、以下では、フレーム周期t0は、１／２４０秒程度として説明を行うが、フレーム周期t0は、１／２４０秒程度でなくても良く、例えば、１／１２０秒程度であっても良い。但し、フレーム周期t0が、例えば、１／１２０秒のように、人間が、隣接する２つのフレーム（の画像）の違いを認識することができないフレーム周期（１／２４０秒程度）より長い場合には、後述する表示装置３（図２４）で表示される動画について、その画質の劣化が、多少、知覚される。
【００５３】
次に、人間の空間方向の認識能力、即ち、近接した２つの点を１つの点ではなく２つの点であると認識（知覚）することができる限界の距離を、r0と表す。
【００５４】
この場合、人間の視覚によって認識（知覚）することができる動画の範囲は、図２のように表すことができる。
【００５５】
即ち、図２は、時間t方向の周波数軸Tと空間方向x,yの周波数軸X,Yとで定義される周波数ドメインを示している。
【００５６】
なお、図が煩雑になるのを避けるため、図２では、空間方向xの周波数軸Xと空間方向yの周波数軸Yとを、１軸で表してある。即ち、図２では、左から右方向に、周波数軸XとYをとってある。また、図２では、上から下方向に、周波数軸Tをとってある。さらに、図２では、周波数軸T（縦方向）は、２π／（４t0）単位で区切ってあり、周波数軸X,Y方向（横方向）は、２π／r0単位で区切ってある。
【００５７】
ここで、周波数ドメインの、後述する他の図も、図２と同様になっている。
【００５８】
人間は、図２に示す、横が２×２π／（２r0）で、縦が２×２π／（２r0）の、原点を中心とする領域R201の範囲外にある高周波数成分を認識することができない。そこで、すべての動画データは、領域R201内に存在することとして、以下、説明を行う。
【００５９】
なお、図２では、領域R201を、長方形状の領域として図示してあるが、領域R201は、実際には、直方体状の領域である。即ち、領域R201は、X方向が、−（π／r0）乃至＋（π／r0）で、Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域である。
【００６０】
次に、動画の各部分のデータの周波数ドメイン上の位置（分布）について説明する。
【００６１】
動画において、ある部分では、そこに投影されている被写体は静止しており、別の部分では、そこに投影されている被写体は動いている。
【００６２】
まず、静止している動画の部分（静止している被写体が投影されている動画の部分）は、時間方向に対して変化しない。
【００６３】
図３は、そのような静止している動画の部分のデータが分布する周波数ドメイン上の領域R301を示している。
【００６４】
領域R301は、X,Y方向が、−２π／（２r0）乃至＋２π／（２r0）で、T方向が−２π／（４t0）乃至＋２π／（４t0）の領域になっている。
【００６５】
なお、動画において完全に静止している部分のデータであれば、T=0であるが、つまり、領域R301はT方向の幅が０であるが、ここでは、被写体が多少動いている場合も考慮して、領域R301は、T方向の幅が０ではなく、２π／（２t0）になっている。また、X,Y方向が、−２π／（２r0）乃至＋２π／（２r0）の範囲に制限されるのは、図２で説明したように、動画データの周波数成分は、X,Y方向については、−２π／（２r0）乃至＋２π／（２r0）の範囲を超える範囲（図２の領域R201の範囲外）には、存在しないからである。
【００６６】
ここで、周波数ドメインにおいて、静止している部分のデータは、T=0の直線（平面）の方向に分布するから、この方向は、静止している部分のデータの主成分（例えば、第１主成分）の方向である。
【００６７】
次に、図４は、動画に投影されている被写体が速度（r0／t0）／２程度で動いている部分のデータが分布する周波数ドメイン上の領域R401を示している。
【００６８】
ここで、以下、適宜、説明を簡単にするために、周波数ドメイン上の点を、X,Y方向の座標Aと、T方向の座標Bとの２つだけを用いて、(A,B)と表す。
【００６９】
領域R401は、原点(0,0)から点（π／r0，-π／(2t0)）の方向に延びる領域であって、T方向に2π／(2t0)の幅を有する領域になっている。
【００７０】
なお、被写体が変形することなく、速度（r0／t0）／２で正確に等速直線運動していれば、領域R401は、T方向の幅が０となるが、ここでは、被写体の多少の変形や、移動速度が（r0／t0）／２から多少ぶれること等を考慮して、T方向の幅が０ではなく、2π／(2t0)になっている。
【００７１】
また、領域R401は、X,Y方向が、−２π／（２r0）乃至＋２π／（２r0）の範囲に制限されているが、これは、領域R301のX,Y方向の範囲が制限されているのと同一の理由による。
【００７２】
ここで、動画に投影されている被写体が速度（r0／t0）／２程度で動いている部分のデータが、原点(0,0)から点（π／r0，-π／(2t0)）の方向上に分布するのは、次の理由による。
【００７３】
即ち、図５の波形R501は、ある時刻t1における被写体の空間方向xの分布を示している。
【００７４】
被写体が、例えば、速度（r0／t0）／２で、例えば、空間方向xに移動しているとき、その移動している被写体は、波形R501，R502，R503，R504，R505，R506，・・・で表すことができる。
【００７５】
ここで、波形R501は、ある時刻（フレーム）t1における被写体を表している。波形R502は、波形R501の時刻t1の次の時刻（フレーム）t1+t0における被写体を表しており、波形R501の位置から、r0／２だけ、x方向に移動している。以下、同様に、波形R503，R504，R505，R506は、それぞれ、時刻t1+2t0，t1+3t0，t1+4t0，t1+5t0における被写体を表している。
【００７６】
図５における波形を空間位置xと時間tの関数と考え、この波形をFunc(x,t)と定義する。図５の波形R501，R502，R503，R504，R505，R506，・・・から明らかなように、Func(x,t)=Func(x-(（r0／t0）／２)×t,０)という関係がある。
【００７７】
さて、xとtという２つの変数による関数Funcを２次元フーリエ変換した周波数ドメイン上のデータを(X,T)とすると、この(X,T)の成分は、フーリエ変換の定義から明らかなように、空間方向xの周期がXであり、時間方向tの周期がTである成分を表している。
【００７８】
Func(x,t)=Func(x-(（r0／t0）／２)×t,０)という関係より、(X,T)は、２次元ベクトル(r0／２, t0)に直交することが言える。
【００７９】
今、図５を用いて説明したが、実際には、空間方向は２次元であり、時間軸も加えると３次元となり、３次元フーリエ変換を考えないといけない。そこで、図６を用いて再度説明する。図６では、図１と同様に、３次元上での説明を行うための図である。
【００８０】
図６の２次元空間(x,y)上の波形R601は、ある時刻t1における被写体の空間方向(x,y)の分布を示している。
【００８１】
被写体が、例えば、速度（r0／t0）／２で、移動しているとき、その移動している被写体は、波形R601，R602，R603，R604，・・・で表すことができる。なお、r0は、図５の説明とは違い、２次元空間(x,y)上の２次元ベクトルである。
【００８２】
ここで、波形R601は、ある時刻（フレーム）t1における被写体を表している。波形R602は、波形R601の時刻t1の次の時刻（フレーム）t1+t0における被写体を表しており、波形R601の位置から、r0／２だけ移動している。以下、同様に、波形R603，R604は、それぞれ、時刻t1+2t0，t1+3t0における被写体を表している。
【００８３】
図６における波形を空間位置(x,y)と時間tの関数と考え、この波形をFunc((x,y),t)と定義する。図６の波形R601，R602，R603，R604，・・・から明らかなように、Func((x,y),t)=Func((x,y)-(（r0／t0）／２)×t,０)という関係がある。
【００８４】
さて、xとyとtという３つの変数による関数Funcを３次元フーリエ変換した周波数ドメイン上のデータを(X,Y,T)とすると、この(X,Y,T)の成分は、フーリエ変換の定義から明らかなように、空間方向xの周期がXであり、空間方向yの周期がYであり、時間方向tの周期がTである成分を表している。
【００８５】
Func((x,y),t)=Func((x,y)-(（r0／t0）／２)×t,０)という関係より、(X,Y,T)は、３次元ベクトル(r0／２, t0)に直交することが言える。
【００８６】
図５および図６に示したように、(X,T)あるいは(X,Y,T)は、ベクトル(r0／２, t0)に直交するので、例えば、図７に示すように、周波数ドメイン上の点（２π／（２r0），−２π／（4t0））（図７において○印で示す位置）にデータが存在したり、点（２π／（４r0），−２π／（8t0））（図７において△印で示す位置）上にデータが存在する。
【００８７】
即ち、速度（r0／t0）／２で移動している波形は、いずれも原点(0,0)と点（π／r0，-π／(2t0)）とを通る直線（平面）R701上に分布する。
【００８８】
速度（r0／t0）／２で動いている部分の、他の周波数成分Xのデータ（波形）も、同様に、直線R701上に分布する。
【００８９】
速度（r0／t0）／２で動いている部分は、時間がt0だけ進むと、r0／２だけ空間方向の位置がずれるので、上述のように、周波数ドメイン上において、原点(0,0)と点（π／r0，-π／(2t0)）とを通る直線R701上に分布する。
【００９０】
なお、周波数ドメインにおいて、速度（r0／t0）／２で動いている部分のデータは、直線（平面）R701の方向（π／r0，-π／(2t0)）に分布するから、この方向（π／r0，-π／(2t0)）は、速度（r0／t0）／２で動いている部分のデータの主成分の方向である。
【００９１】
次に、図８は、動画に投影されている被写体が速度r0／t0程度で動いている部分のデータが分布する周波数ドメイン上の領域R801を示している。
【００９２】
領域R801は、原点(0,0)から点（π／r0，-π／t0）の方向に延びる領域であって、T方向に2π／(2t0)の幅を有する領域になっている。
【００９３】
即ち、速度r0／t0で動いている部分は、時間がt0だけ進むと、r0だけ空間方向の位置がずれるので、周波数ドメイン上において、原点(0,0)と点（π／r0，-π／t0）とを通る直線上に分布する。
【００９４】
なお、被写体が変形することなく、速度r0／t0で正確に等速直線運動していれば、領域R801は、T方向の幅が０となるが、ここでは、被写体の多少の変形や、移動速度がr0／t0から多少ぶれること等を考慮して、T方向の幅が０ではなく、2π／(2t0)になっている。
【００９５】
また、領域R801は、X,Y方向が、−２π／（２r0）乃至＋２π／（２r0）の範囲に制限されているが、これは、図３の領域R301のX,Y方向の範囲が制限されているのと同一の理由による。
【００９６】
さらに、領域R801は、T方向が、−２π／（２t0）乃至＋２π／（２t0）の範囲に制限されているが、これは、図２で説明したように、動画データの周波数成分は、T方向については、−２π／（２t0）乃至＋２π／（２t0）の範囲を超える範囲（図２の領域R201の範囲外）には、存在しないからである。
【００９７】
ここで、周波数ドメインにおいて、速度r0／t0で動いている部分のデータは、原点(0,0)と、点（π／r0，-π／t0）とを通る直線の方向（π／r0，-π／t0）に分布するから、この方向（π／r0，-π／t0）は、速度r0／t0で動いている部分のデータの主成分の方向である。
【００９８】
次に、図９は、動画に投影されている被写体が速度2r0／t0程度で動いている部分のデータが分布する周波数ドメイン上の領域R901を示している。
【００９９】
領域R901は、原点(0,0)から点（π／r0，-2π／t0）の方向に延びる領域であって、T方向に2π／(2t0)の幅を有する領域になっている。
【０１００】
即ち、速度2r0／t0で動いている部分は、時間がt0だけ進むと、2r0だけ空間方向の位置がずれるので、周波数ドメイン上において、原点(0,0)と点（π／r0，-2π／t0）とを通る直線上に分布する。
【０１０１】
なお、被写体が変形することなく、速度2r0／t0で正確に等速直線運動していれば、領域R901は、T方向の幅が０となるが、ここでは、被写体の多少の変形や、移動速度がr0／t0から多少ぶれること等を考慮して、T方向の幅が０ではなく、2π／(2t0)になっている。
【０１０２】
また、領域R901は、T方向が、−２π／（２t0）乃至＋２π／（２t0）の範囲に制限されているが、これは、図２で説明したように、動画データの周波数成分は、T方向については、−２π／（２t0）乃至＋２π／（２t0）の範囲を超える範囲（図２の領域R201の範囲外）には、存在しないからである。
【０１０３】
ここで、周波数ドメインにおいて、速度2r0／t0で動いている部分のデータは、原点(0,0)と、点（π／r0，-2π／t0）とを通る直線の方向（π／r0，-2π／t0）に分布するから、この方向（π／r0，-2π／t0）は、速度2r0／t0で動いている部分のデータの主成分の方向である。
【０１０４】
以上、被写体が静止している場合と、被写体が速度(r0／t0)／2，r0／t0，2r0／t0程度で移動している場合それぞれについて、そのような被写体が投影されている動画の部分のデータの、周波数ドメイン上の分布について説明したが、他の速度で移動している部分のデータも、周波数ドメインにおいて、同様に分布する。
【０１０５】
次に、人間の視覚効果について説明する。
【０１０６】
人間の目は、物体から発せられる光を時間方向に積分して認識している。この人間の目における積分機能（視覚の積分機能）は、ブロックの法則（Bloch’s Law）と言われている。人間の目における光の積分時間は、環境によって異なるが、大体１／６０秒程度である。
【０１０７】
ここで、t0を、上述のように、１／２４０秒程度とすると、人間の目における光の積分時間は、４×t0秒と表すことができる。
【０１０８】
動画の中で静止している被写体が投影されている部分を、人間が視線を動かさずに注視して認識する画像は、視覚の積分機能により、静止している部分のデータを、時間方向に、「４×t0」秒程度のローパスフィルタでフィルタリングして得られる画像と等価である。
【０１０９】
このローパスフィルタの通過帯域は、周波数ドメイン上において、図１０に示す領域R1001として表すことができる。
【０１１０】
図１０の領域R1001は、X,Y方向の範囲が、図２の領域R201と同一の−２π／（２r0）乃至＋２π／（２r0）であり、T方向の範囲が、-(2π/(4t0))/2乃至(2π/(4t0))/2の領域である。この領域R1001のT方向の幅は、2π/(4t0)であるが、これが、4t0の時間の積分を表す。
【０１１１】
動画の静止している部分のデータは、図３に示したように、領域R301内に存在するが、人間は、その領域R301のうちの、領域R1001内の情報（データ）しか認識することができない。従って、領域R301のうちの、領域R1001外の情報は、人間にとって無駄な情報である。
【０１１２】
次に、動画の中で、そこに投影されている被写体が速度「（r0／t0）／２」程度で動いている部分を、人間が、その被写体が移動する方向に視線を動かしながら注視して認識する画像、即ち、人間が追従視により認識する画像は、視覚の積分機能により、速度「（r0／t0）／２」程度で動いている部分のデータを、時間方向に、「４×t0」秒程度のローパスフィルタでフィルタリングして得られる画像と等価である。
【０１１３】
但し、いまの場合の追従視では、時間の経過とともに、注視点が速度「（r0／t0）／２」程度で移動するので、ローパスフィルタの通過帯域は、周波数ドメイン上において、図１１に示す領域R1101として表すことができる。
【０１１４】
図１１の領域R1101は、図４の領域R401と同様に、原点(0,0)から点（π／r0，-π／(2t0)）の方向に延びる領域である。さらに、領域R1101は、T方向に2π／(4t0)の幅を有する領域であり、これが、4t0の時間の積分を表す。なお、領域R1101は、図２に示した、動画データが存在する領域R201内に制限されている。
【０１１５】
速度「（r0／t0）／２」程度で移動している部分のデータは、図４に示したように、領域R401内に存在するが、人間は、その領域R401のうちの、領域R1101内の情報しか認識することができない。従って、領域R401のうちの、領域R1101外の情報は、人間にとって無駄な情報である。
【０１１６】
次に、動画の中で、そこに投影されている被写体が速度「r0／t0」程度で動いている部分を、人間が追従視を行うことにより認識する画像は、やはり、視覚の積分機能により、速度「r0／t0」程度で動いている部分のデータを、時間方向に、「４×t0」秒程度のローパスフィルタでフィルタリングして得られる画像と等価である。
【０１１７】
但し、いまの場合の追従視では、時間の経過とともに、注視点が速度「r0／t0」程度で移動するので、ローパスフィルタの通過帯域は、周波数ドメイン上において、図１２に示す領域R1201として表すことができる。
【０１１８】
図１２の領域R1201は、図８の領域R801と同様に、原点(0,0)から点（π／r0，-π／t0）の方向に延びる領域である。さらに、領域R1201は、T方向に2π／(4t0)の幅を有する領域であり、これが、4t0の時間の積分を表す。なお、領域R1201は、図２に示した、動画データが存在する領域R201内に制限されている。
【０１１９】
速度「r0／t0」程度で移動している部分のデータは、図８に示したように、領域R801内に存在するが、人間は、その領域R801のうちの、領域R1201内の情報しか認識することができない。従って、領域R801のうちの、領域R1201外の情報は、人間にとって無駄な情報である。
【０１２０】
次に、動画の中で、そこに投影されている被写体が速度「2r0／t0」程度で動いている部分を、人間が追従視を行うことにより認識する画像は、やはり、視覚の積分機能により、速度「2r0／t0」程度で動いている部分のデータを、時間方向に、「４×t0」秒程度のローパスフィルタでフィルタリングして得られる画像と等価である。
【０１２１】
但し、いまの場合の追従視では、時間の経過とともに、注視点が速度「2r0／t0」程度で移動するので、ローパスフィルタの通過帯域は、周波数ドメイン上において、図１３に示す領域R1301として表すことができる。
【０１２２】
図１３の領域R1301は、図９の領域R901と同様に、原点(0,0)から点（π／r0，-2π／t0）の方向に延びる領域である。さらに、領域R1301は、T方向に2π／(4t0)の幅を有する領域であり、これが、4t0の時間の積分を表す。なお、領域R1301は、図２に示した、動画データが存在する領域R201内に制限されている。
【０１２３】
速度「2r0／t0」程度で移動している部分のデータは、図９に示したように、領域R901内に存在するが、人間は、その領域R901のうちの、領域R1301内の情報しか認識することができない。従って、領域R901のうちの、領域R1301外の情報は、人間にとって無駄な情報である。
【０１２４】
次に、人間が固定視を行う場合について説明する。ここで、固定視とは、追従視とは違い、被写体の移動とは別の視線移動をする場合で、例えば、人間が視線を動かさないで（見ている方向を常に一定に保って）、動画を見る場合が該当する。
【０１２５】
動画の中で、そこに投影されている被写体が速度「（r0／t0）／２」程度で動いている部分を、人間が固定視することにより認識する画像は、視覚の積分機能により、速度「（r0／t0）／２」程度で動いている部分のデータを、時間方向に、「４×t0」秒程度のローパスフィルタでフィルタリングして得られる画像と等価である。
【０１２６】
このローパスフィルタの通過帯域は、周波数ドメイン上において、静止している部分を注視する場合と同一の領域、即ち、図１０の領域R1001で表すことができる。
【０１２７】
ここで、図１４は、周波数ドメインにおいて、速度「（r0／t0）／２」程度で動いている部分のデータが分布する領域R401（図４）と、人間が固定視を行う場合のローパスフィルタの通過帯域としての領域R1001（図１０）とを示している。
【０１２８】
人間は、領域R401のうちの、領域R1001内の情報、つまり、領域R401とR1001とが重複する部分の領域R1401内の情報しか認識することができない。従って、領域R401のうちの、領域R1001外の情報は、人間にとって無駄な情報である。
【０１２９】
なお、図１４において、人間が固定視を行う場合のローパスフィルタの通過帯域としての領域R1001には、動画データが存在する領域R401とは重複しない部分の領域R1402とR1403（図中斜線を付して示す）が存在するが、いまの場合、この領域R1402とR1403には、動画データは存在しない。
【０１３０】
また、上述のように、速度「（r0／t0）／２」程度で動いている部分を、人間が固定視する場合には、人間の視線方向は、動被写体（動いている被写体）の動きとは別の動きをしているので、多少ぼけた画像であっても良好な動画として認識される。
【０１３１】
従って、図１４の領域R1401内のデータを、注視点が速度「（r0／t0）／２」程度で移動する場合のローパスフィルタ、即ち、図１１の領域R1101を通過帯域として有するローパスフィルタでフィルタリングしても、良好な画質の動画として認識される。
【０１３２】
以上から、図１５に示すように、領域R1401のうちの、領域R1101と重複する部分の領域R1501（図中黒色で塗りつぶして示す）内のデータがあれば、速度「（r0／t0）／２」程度で動いている部分は、良好な画質の動画として認識される。
【０１３３】
従って、動画において、速度「（r0／t0）／２」程度で動いている部分を、人間が固定視する場合には、その部分のデータ、即ち、領域R401内のデータから、固定視が行われている場合のローパスフィルタの通過帯域としての領域R1001と、注視点が速度「（r0／t0）／２」程度で移動する場合のローパスフィルタの通過帯域としての領域R1101との重複部分の領域R1501を除いた領域のデータは、無駄である（なくても、人間が認識する画質に、ほとんど影響しない）。
【０１３４】
次に、動画の中で、そこに投影されている被写体が速度「r0／t0」程度で動いている部分を、人間が固定視することにより認識する画像は、視覚の積分機能により、速度「r0／t0」程度で動いている部分のデータを、時間方向に、「４×t0」秒程度のローパスフィルタでフィルタリングして得られる画像と等価である。
【０１３５】
このローパスフィルタの通過帯域は、周波数ドメイン上において、静止している部分を注視する場合と同一の領域、即ち、図１０の領域R1001で表すことができる。
【０１３６】
ここで、図１６は、周波数ドメインにおいて、速度「r0／t0」程度で動いている部分のデータが分布する領域R801（図８）と、人間が固定視を行う場合のローパスフィルタの通過帯域としての領域R1001（図１０）とを示している。
【０１３７】
人間は、領域R801のうちの、領域R1001内の情報、つまり、領域R801とR1001とが重複する部分の領域R1601内の情報しか認識することができない。従って、領域R801のうちの、領域R1001外の情報は、人間にとって無駄な情報である。
【０１３８】
なお、図１６において、人間が固定視を行う場合のローパスフィルタの通過帯域としての領域R1001には、動画データが存在する領域R801とは重複しない部分の領域R1602とR1603（図中斜線を付して示す）が存在するが、いまの場合、この領域R1602とR1603には、動画データは存在しない。
【０１３９】
また、上述のように、速度「r0／t0」程度で動いている部分を、人間が固定視する場合には、人間の視線方向は、動被写体（動いている被写体）の動きとは別の動きをしているので、多少ぼけた画像であっても良好な動画として認識される。
【０１４０】
従って、図１６の領域R1601内のデータを、注視点が速度「r0／t0」程度で移動する場合のローパスフィルタ、即ち、図１２の領域R1201を通過帯域として有するローパスフィルタでフィルタリングしても、良好な画質の動画として認識される。
【０１４１】
以上から、図１７に示すように、領域R1601のうちの、領域R1201と重複する部分の領域R1701（図中黒色で塗りつぶして示す）内のデータがあれば、速度「r0／t0」程度で動いている部分は、良好な画質の動画として認識される。
【０１４２】
従って、動画において、速度「r0／t0」程度で動いている部分を、人間が固定視する場合には、その部分のデータ、即ち、領域R801内のデータから、固定視が行われている場合のローパスフィルタの通過帯域としての領域R1001と、注視点が速度「r0／t0」程度で移動する場合のローパスフィルタの通過帯域としての領域R1201との重複部分の領域R1701を除いた領域のデータは、無駄である。
【０１４３】
次に、動画の中で、そこに投影されている被写体が速度「2r0／t0」程度で動いている部分を、人間が固定視することにより認識する画像は、視覚の積分機能により、速度「r0／t0」程度で動いている部分のデータを、時間方向に、「４×t0」秒程度のローパスフィルタでフィルタリングして得られる画像と等価である。
【０１４４】
このローパスフィルタの通過帯域は、周波数ドメイン上において、静止している部分を注視する場合と同一の領域、即ち、図１０の領域R1001で表すことができる。
【０１４５】
ここで、図１８は、周波数ドメインにおいて、速度「2r0／t0」程度で動いている部分のデータが分布する領域R901（図９）と、人間が固定視を行う場合のローパスフィルタの通過帯域としての領域R1001（図１０）とを示している。
【０１４６】
人間は、領域R901のうちの、領域R1001内の情報、つまり、領域R901とR1001とが重複する部分の領域R1801内の情報しか認識することができない。従って、領域R901のうちの、領域R1001外の情報は、人間にとって無駄な情報である。
【０１４７】
なお、図１８において、人間が固定視を行う場合のローパスフィルタの通過帯域としての領域R1001には、動画データが存在する領域R901とは重複しない部分の領域R1802とR1803（図中斜線を付して示す）が存在するが、いまの場合、この領域R1802とR1803には、動画データは存在しない。
【０１４８】
また、上述のように、速度「2r0／t0」程度で動いている部分を、人間が固定視する場合には、人間の視線方向は、動被写体（動いている被写体）の動きとは別の動きをしているので、多少ぼけた画像であっても良好な動画として認識される。
【０１４９】
従って、図１８の領域R1801内のデータを、注視点が速度「2r0／t0」程度で移動する場合のローパスフィルタ、即ち、図１３の領域R1301を通過帯域として有するローパスフィルタでフィルタリングしても、良好な画質の動画として認識される。
【０１５０】
以上から、図１９に示すように、領域R1801のうちの、領域R1301と重複する部分の領域R1901（図中黒色で塗りつぶして示す）内のデータがあれば、速度「2r0／t0」程度で動いている部分は、良好な画質の動画として認識される。
【０１５１】
従って、動画において、速度「2r0／t0」程度で動いている部分を、人間が固定視する場合には、その部分のデータ、即ち、領域R901内のデータから、固定視が行われている場合のローパスフィルタの通過帯域としての領域R1001と、注視点が速度「2r0／t0」程度で移動する場合のローパスフィルタの通過帯域としての領域R1301との重複部分の領域R1901を除いた領域のデータは、無駄である。
【０１５２】
以上の固定視と追従視の場合の、人間が認識することができる周波数ドメイン上の範囲（領域）についてまとめると、図２０乃至図２３に示すようになる。
【０１５３】
即ち、図２０は、動画の中で静止している物体（被写体）が投影されている部分について、人間が認識することができるデータが存在する領域を示している。
【０１５４】
動画の中で静止している物体が投影されている部分について、人間が認識することができるデータの周波数ドメイン上の領域は、図２０に示すように、図１０に示した領域R1001であり、領域R1001以外にあるデータは、無駄である。
【０１５５】
次に、図２１は、動画の中で、そこに投影されている被写体が速度「（r0／t0）／２」程度で動いている部分について、人間が認識することができるデータが存在する領域を示している。
【０１５６】
動画の中で速度「（r0／t0）／２」程度で動いている部分について、人間が追従視で認識することができるデータの周波数ドメイン上の領域は、図１１に示した領域R1101である。さらに、固定視で認識することができるデータの周波数ドメイン上の領域は、図１５に示した領域R1501であり、この領域R1501は、図１１に示した領域R1101に含まれる。
【０１５７】
従って、速度「（r0／t0）／２」程度で動いている部分について、人間が認識することができるデータの周波数ドメイン上の領域は、図２１に示すように、図１１に示した領域R1101であり、領域R1101以外にあるデータは、無駄である。
【０１５８】
次に、図２２は、動画の中で、そこに投影されている被写体が速度「r0／t0」程度で動いている部分について、人間が認識することができるデータが存在する領域を示している。
【０１５９】
動画の中で速度「r0／t0」程度で動いている部分について、人間が追従視で認識することができるデータの周波数ドメイン上の領域は、図１２に示した領域R1201である。さらに、固定視で認識することができるデータの周波数ドメイン上の領域は、図１７に示した領域R1701であり、この領域R1701は、図１２に示した領域R1201に含まれる。
【０１６０】
従って、速度「r0／t0」程度で動いている部分について、人間が認識することができるデータの周波数ドメイン上の領域は、図２２に示すように、図１２に示した領域R1201であり、領域R1201以外にあるデータは、無駄である。
【０１６１】
次に、図２３は、動画の中で、そこに投影されている被写体が速度「2r0／t0」程度で動いている部分について、人間が認識することができるデータが存在する領域を示している。
【０１６２】
動画の中で速度「2r0／t0」程度で動いている部分について、人間が追従視で認識することができるデータの周波数ドメイン上の領域は、図１３に示した領域R1301である。さらに、固定視で認識することができるデータの周波数ドメイン上の領域は、図１９に示した領域R1901であり、この領域R1901は、図１３に示した領域R1301に含まれる。
【０１６３】
従って、速度「2r0／t0」程度で動いている部分について、人間が認識することができるデータの周波数ドメイン上の領域は、図２３に示すように、図１３に示した領域R1301であり、領域R1301以外にあるデータは、無駄である。
【０１６４】
ここで、上述の場合には、図２０の領域R1001、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301のT方向の幅を、2π/(4t0)としたが、この幅は、視覚の積分機能による積分の時間に相当する幅であればよく、2π/(4t0)に限定されるものではない。
【０１６５】
動画の中で、他の速度で動いている部分のデータについても、同様のことが言える。
【０１６６】
以上のように、人間の視覚効果（視覚特性）、即ち、視覚の積分機能を利用して、周波数ドメイン上において、動画データを、人間が認識することができる領域のデータと、それ以外の無駄なデータとに分類することができる。
【０１６７】
そして、周波数ドメイン上において、動画データから、人間が認識することができる領域のデータだけを抽出すれば、即ち、それ以外の無駄なデータを削除すれば、画質を劣化させずに（人間が動画を見たときに認識する画質）、動画データを圧縮することができる。
【０１６８】
そこで、図２４は、動画データを、視覚の積分機能を利用して圧縮し、さらに、そのように圧縮された動画データを復号（伸張）する画像処理システムの構成例を示している。
【０１６９】
図２４において、送信装置１には、例えば、1/t0=240fpsなどの高フレームレートの動画データが供給される。送信装置１は、そこに供給される動画データを、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301などを通過帯域とするフィルタ（帯域通過フィルタまたは帯域制限フィルタ）でフィルタリングし、その結果得られる、人間が認識することができる周波数ドメイン上の領域のデータを出力する。送信装置１が出力するデータは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどの記録媒体１１に記録され、あるいは、電話回線、地上波、衛星回線、インターネット、有線または無線LAN(Local Area Network)などの伝送媒体１２を介して伝送される。
【０１７０】
受信装置２には、記録媒体１１から再生されたデータ、あるいは、伝送媒体１２を介して伝送されてくるデータが供給される。受信装置２は、そこに供給されるデータを受信して、所定の処理を施し、その結果得られる動画データを、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などで構成される表示装置３に供給して表示させる。
【０１７１】
なお、図２４において、送信装置１、受信装置２、表示装置３は、それぞれ物理的に独立の装置として構成することができる。また、送信装置１および受信装置２は、図２４において点線で囲んで示すように、全体として、物理的に１つの装置として構成することができる。さらに、送信装置１、受信装置２、および表示装置３の全体や、受信装置２および表示装置３を、物理的に１つの装置として構成することもできる。
【０１７２】
次に、図２５は、図２４の送信装置１の第１の構成例を示している。
【０１７３】
バッファ部２１には、送信装置１に供給された高フレームレートの動画データが供給される。バッファ部２１は、そこに供給される動画データを順次記憶する。
【０１７４】
フィルタ部２２は、バッファ部２１に記憶された動画データを適宜読み出し、その動画データを、後述するフィルタ生成部２３から供給されるフィルタ情報にしたがってフィルタリングして、そのフィルタリングにより得られる動画データを、エンコード部２４に供給する。
【０１７５】
フィルタ生成部２３は、バッファ部２１に記憶された動画データを適宜読み出し、その動画データの各部分をフィルタリングするフィルタの情報であるフィルタ情報を生成して、フィルタ部２２に供給する。
【０１７６】
即ち、フィルタ生成部２３は、主成分方向取得部３１とフィルタ情報供給部３２とから構成される。
【０１７７】
主成分方向取得部３１は、バッファ部２１から読み出された動画データの各部分について、周波数ドメイン上での主成分の方向である主成分方向を取得し、その主成分方向の情報を、フィルタ情報供給部３２に供給する。
【０１７８】
フィルタ情報供給部３２は、主成分方向取得部３１からの主成分方向の情報にしたがい、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸Tの方向に特定の幅としての、例えば、2π/(4t0)を有する領域、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として決定し、その通過帯域を、フィルタ情報として、フィルタ部２２に出力する。
【０１７９】
エンコード部２４は、フィルタ部２２から供給される動画データを、例えば、MPEG(Moving Picture Experts Group)1や2などの所定のエンコード（符号化）方法によってエンコードし、その結果得られるエンコードデータを出力する。このエンコードデータが、図２４の記録媒体１１に記録され、あるいは伝送媒体１２を介して伝送される。
【０１８０】
次に、図２６のフローチャートを参照して、図２５の送信装置１の処理について説明する。
【０１８１】
バッファ部２１には、フレームレート1/t0が、例えば、240fpsの高フレームレート（第１のフレームレート）の動画データが供給されて順次記憶される。
【０１８２】
そして、ステップＳ１において、フィルタ生成部２３は、バッファ部２１に記憶された動画データを読み出して、自身（フィルタ生成部２３）に入力し、ステップＳ２に進む。
【０１８３】
ステップＳ２では、フィルタ生成部２３（の主成分方向取得部３１およびフィルタ情報供給部３２）が、ステップＳ１で入力された動画データの各部分について、周波数ドメイン上で人間が認識することができる領域、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として求め、その通過帯域をフィルタ情報として、フィルタ部２２に供給する、後述する図３１で説明する「必要な情報の通過帯域を求める処理」を行い、ステップＳ３に進む。
【０１８４】
ステップＳ３では、フィルタ部２２が、バッファ部２１から、ステップＳ２でフィルタ生成部２３から供給されたフィルタ情報のフィルタによるフィルタリングに用いるデータを読み出し、そのデータに対して、ステップＳ２でフィルタ生成部２３から供給されたフィルタ情報が表す通過帯域のフィルタを適用しながら、時間方向のサンプル数を1/4に間引くダウンサンプリングを行う。
【０１８５】
即ち、フィルタ部２２は、バッファ部２１から読み出したデータを、ステップＳ２でフィルタ生成部２３から供給されたフィルタ情報が表す通過帯域のフィルタでフィルタリングしながら、時間方向のサンプリング間隔、即ち、フレーム周期が、元の動画データの４倍である4t0の低フレームレートの動画データを得て、エンコード部２４に出力し、ステップＳ４に進む。
【０１８６】
ステップＳ４では、エンコード部２４が、フィルタ部２２からの動画データをエンコードし、その結果得られるエンコードを出力する。
【０１８７】
なお、ステップＳ１乃至Ｓ４の処理は、バッファ部２１に記憶された動画の各部分のデータすべてについて行われる。
【０１８８】
また、ステップＳ３におけるダウンサンプリングは、バッファ部２１に記憶された動画データの４フレームごとに、１フレームのフィルタリング結果を出力する処理である。従って、バッファ部２１に記憶された動画データの４フレームごとに、その４つのフレームのうちの１フレームついて、フィルタ生成部２３から供給されたフィルタ情報が表す通過帯域のフィルタによるフィルタリングを行えば良い。
【０１８９】
以上のように、周波数ドメイン上で人間が認識することができる領域、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、通過帯域とするフィルタによって、動画データをフィルタリングし、さらに、ダウンサンプリングを行うようにしたので、人間の目の視覚効果を考慮した動画データの削減を行うことができる。
【０１９０】
即ち、人間が視覚によって認識することができる周波数ドメイン上の領域が、図２に示したように、X,Y方向が２×２π／（２r0）で、T方向が２×２π／（２t0）の、原点を中心とする領域R201であるとすると、人間が認識することができる最高の画質の動画は、フレームレートが１／t0で、空間方向の画素ピッチがr0の動画である。
【０１９１】
そして、図１０乃至図２３で説明した視覚効果を考慮しない場合には、例えば、動画を時間方向にダウンサンプリングすることにより、そのフレームレートを１／t0よりも低下させると、そのフレームレートが低下した動画を表示した場合に、その動画を見た人間は、画質の劣化を認識する。
【０１９２】
これに対して、送信装置１では、図１０乃至図２３で説明した視覚効果を考慮した処理、即ち、周波数ドメイン上で人間が認識することができる領域である、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、通過帯域とするフィルタによって、動画データをフィルタリングするので、動画のフレームレートを１／(4t0)に低下させても、即ち、動画データのデータ量を１／４に削減しても、人間が画質の劣化を感じない動画を表示することができる。
【０１９３】
即ち、図２７乃至図３０は、それぞれ、図２０の領域R1001、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、通過帯域とするフィルタによって、高フレームレートの動画（フレームレートが1/t0の動画）のデータをフィルタリングしながら、時間方向に1/4のダウンサンプリングを行って得られる低フレームレートの動画（フレームレートが1/(4t0)の動画）のデータの周波数ドメイン上の分布を示している。
【０１９４】
まず、動画の中の静止している部分のデータは、フィルタ部２２において、図２０の領域R1001を通過帯域とするフィルタによってフィルタリングされる。従って、フィルタリング後の動画データは、領域R1001内にのみ存在する。
【０１９５】
領域R1001内の動画データを、時間方向に1/4にダウンサンプリングすると、その動画データは、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては４×t0間隔でサンプリングされたデータとなる。
【０１９６】
このため、図２７に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0)間隔で、折り返し成分が生じる。
【０１９７】
但し、領域R1001は、図１０で説明したことから、X,Y方向が2π/r0で、T方向が2π/(4t0)の領域であるため、折り返し成分どうしは重ならない。
【０１９８】
なお、図２７において、影を付してある部分が、ダウンサンプリング後の動画データが存在する部分である。
【０１９９】
次に、動画の中で、そこに投影されている被写体が速度「（r0／t0）／２」程度で動いている部分のデータは、フィルタ部２２において、図２１の領域R1101を通過帯域とするフィルタによってフィルタリングされる。従って、フィルタリング後の動画データは、領域R1101内にのみ存在する。
【０２００】
領域R1101内の動画データを、時間方向に1/4にダウンサンプリングすると、その動画データは、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては４×t0間隔でサンプリングされたデータとなる。
【０２０１】
このため、図２８に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0)間隔で、折り返し成分が生じる。
【０２０２】
但し、領域R1101は、図１１で説明したことから、原点(0,0)と点（π／r0，-π／(2t0)）とを結ぶ直線からT方向に2π／(4t0)の幅を有する領域で、かつ、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域であるため、折り返し成分どうしは重ならない。
【０２０３】
なお、図２８において、影を付してある部分が、ダウンサンプリング後の動画データが存在する部分である。
【０２０４】
次に、動画の中で、そこに投影されている被写体が速度「r0／t0」程度で動いている部分のデータは、フィルタ部２２において、図２２の領域R1201を通過帯域とするフィルタによってフィルタリングされる。従って、フィルタリング後の動画データは、領域R1201内にのみ存在する。
【０２０５】
領域R1201内の動画データを、時間方向に1/4にダウンサンプリングすると、その動画データは、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては４×t0間隔でサンプリングされたデータとなる。
【０２０６】
このため、図２９に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0)間隔で、折り返し成分が生じる。
【０２０７】
但し、領域R1201は、図１２で説明したことから、原点(0,0)と点（π／r0，-2π／(2t0)）とを結ぶ直線からT方向に2π／(4t0)の幅を有する領域で、かつ、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域であるため、折り返し成分どうしは重ならない。
【０２０８】
なお、図２９において、影を付してある部分が、ダウンサンプリング後の動画データが存在する部分である。
【０２０９】
次に、動画の中で、そこに投影されている被写体が速度「2r0／t0」程度で動いている部分のデータは、フィルタ部２２において、図２３の領域R1301を通過帯域とするフィルタによってフィルタリングされる。従って、フィルタリング後の動画データは、領域R1301内にのみ存在する。
【０２１０】
領域R1301内の動画データを、時間方向に1/4にダウンサンプリングすると、その動画データは、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては４×t0間隔でサンプリングされたデータとなる。
【０２１１】
このため、図３０に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0)間隔で、折り返し成分が生じる。
【０２１２】
但し、領域R1301は、図１３で説明したことから、原点(0,0)と点（π／r0，-2π／t0）とを結ぶ直線からT方向に2π／(4t0)の幅を有する領域で、かつ、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域であるため、折り返し成分どうしは重ならない。
【０２１３】
なお、図３０において、影を付してある部分が、ダウンサンプリング後の動画データが存在する部分である。
【０２１４】
以上の図２７乃至図３０に示したように、周波数ドメインにおいて、ダウンサンプリング後の動画データの折り返し成分どうしは重ならないということは、そのダウンサンプリング後の動画データから、元のデータ、即ち、図２０の領域R1001、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301内のデータを抽出することができることを意味し、換言すれば、ダウンサンプリング後の動画データが、人間の視覚特性を考慮した必要な情報（人間が認識することができる情報）を、正確に保持していることを意味する。
【０２１５】
なお、ダウンサンプリング後の動画データを、ダウンサンプリング前の動画データに復号（復元）するためには、動画の各部分のデータに、どのようなフィルタを適用したかの情報が必要となる。
【０２１６】
そこで、図２５の送信装置１では、フィルタ情報供給部３２からエンコード部２４に対して、動画の各部分のデータに適用したフィルタのフィルタ情報としての通過帯域である、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301の情報や、その領域R1001，R1101，R1201，R1301の主成分方向の情報を供給し、エンコード部２４では、その情報を、エンコードデータに多重化して出力するようにすることができる。
【０２１７】
次に、図３１のフローチャートを参照して、図２６のステップＳ２でフィルタ生成部２３が行う「必要な情報の通過帯域を求める処理」について説明する。
【０２１８】
まず最初に、ステップＳ１１において、フィルタ生成部２３（図２５）の主成分方向取得部３１は、図２６のステップＳ１で入力された動画データの各部分について、空間方向x,yの周波数軸X,Y、および時間方向tの周波数軸Tで定義される周波数ドメインでの主成分方向を取得し、フィルタ情報供給部３２に供給して、ステップＳ１２に進む。なお、主成分方向は、例えば、空間方向x,yと、時間方向tとの３次元の方向について、フーリエ変換（３次元フーリエ変換）を行うことにより求めることができる。
【０２１９】
ステップＳ１２では、フィルタ情報供給部３２は、周波数ドメインにおいて、原点(0,0)から、主成分方向取得部３１からの主成分方向に延びる領域であって、T方向に２π／（４×t0）の幅を有し、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域、即ち、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として決定し、ステップＳ１３に進む。
【０２２０】
ステップＳ１３では、フィルタ情報供給部３２は、ステップＳ１２で求めたフィルタの通過帯域（を表す情報）を、フィルタ情報として、フィルタ部２２に供給し、「必要な情報の通過帯域を求める処理」を終了する。
【０２２１】
以上のような「必要な情報の通過帯域を求める処理」によれば、例えば、動画像において静止している被写体が投影されている部分に対しては、図２０の領域R1001をフィルタ情報として求めることができる。また、動画において投影されている被写体が速度「（r0／t0）／２」程度で動いている部分に対しては、図２１の領域R1101をフィルタ情報として求めることができる。さらに、動画において投影されている被写体が速度「r0／t0」程度で動いている部分に対しては、図２２の領域R1201をフィルタ情報として求めることができる。また、動画において投影されている被写体が速度「２r0／t0」程度で動いている部分に対しては、図２３の領域R1301をフィルタ情報として求めることができる。動画においてその他の速度で被写体が移動している部分に対しても、人間が認識することができる周波数ドメイン上の範囲の領域をフィルタ情報として求めることができる。
【０２２２】
なお、本実施の形態では、フィルタ生成部２３（図２５）のフィルタ情報供給部３２において、主成分方向取得部３１から供給される主成分方向に延びる周波数ドメイン上の領域を、フィルタの通過帯域として求め、その通過帯域をフィルタ情報として、フィルタ部２２に供給するようにしたが、フィルタ情報供給部３２では、複数の主成分方向それぞれに対する上述のような通過帯域としてのフィルタ情報をあらかじめ求めて記憶しておき、その記憶しているフィルタ情報の中から、主成分方向取得部３１から供給される主成分方向に対応するものを選択して、フィルタ部２２に供給するようにしても良い。
【０２２３】
また、フィルタ生成部２３は、送信装置１とは別の、フィルタ情報を出力する独立の装置として構成することができる。
【０２２４】
ところで、図３１のステップＳ１１では、３次元フーリエ変換によって、動画データの各部分の主成分方向を求めるようにしたが、３次元フーリエ変換の計算量は膨大であるため、ステップＳ１１における、主成分方向を取得する処理に要する計算量も膨大となる。
【０２２５】
そこで、図３２のフローチャートを参照して、図３１のステップＳ１１において、３次元フーリエ変換を行う場合よりも少ない計算量で主成分方向を取得する方法について説明する。
【０２２６】
まず最初に、ステップＳ２１において、フィルタ生成部２３（図２５）の主成分方向取得部３１は、バッファ部２１に記憶された動画データの各フレームのデータを、例えば、横×縦が１６×１６画素などのブロックに分割し、ステップＳ２２に進む。なお、ここでは、各ブロックの画像データが、上述の動画データの各部分のデータとなる。
【０２２７】
ここで、ブロックは、複数の画素で構成されている必要はなく、１画素であっても良い。
【０２２８】
ステップＳ２２では、主成分方向取得部３１は、ステップＳ２１で得られた各ブロックを、順次、注目ブロックとし、注目ブロックについて、その注目ブロックのフレーム（以下、適宜、注目フレームという）の次のフレームとの相関を表す相関情報を求める。さらに、ステップＳ２２では、主成分方向取得部３１は、注目ブロックの相関情報が表す相関が最も高くなる、注目フレームの次のフレーム上の空間方向の位置を求める。即ち、ステップＳ２２では、主成分方向取得部３１は、いわゆるブロックマッチング等により、注目ブロックの空間方向x,yの２次元の動きベクトルを検出する。
【０２２９】
ここで、相関情報としては、いわゆる相関係数を採用することができるが、ここでは、計算コストを考慮して、例えば、注目ブロックを、動きベクトルとの探索範囲内で空間方向x,yに、それぞれ、u,vだけずらした位置における、注目ブロックの各画素と、その画素と同一位置にある、注目フレームの次のフレームの画素との画素値の自乗誤差や差分絶対値の総和などを採用する。この場合、相関情報の「値」が最小になる空間方向の位置u,vが、相関情報が表す相関が最も高くなる、注目フレームの次のフレーム上の空間方向の位置となる。
【０２３０】
なお、相関情報が表す相関が最大（相関情報の値が最小）になる空間方向の位置u,vを、それぞれ、u0,v0と表し、ステップＳ２２で検出される空間方向x,yの動きベクトルを、(u0,v0)と表す。
す。
【０２３１】
その後、ステップＳ２２からＳ２３に進み、主成分方向取得部３１は、ステップＳ２２で検出された動きベクトル(u0,v0)に、元の動画データのフレーム周期t0を、時間方向tのコンポーネントとして加えた３次元の動きベクトル(u0,v0,t0)の方向と直交する方向を、主成分方向として検出し、フィルタ情報供給部３２に供給して、処理を終了する。
【０２３２】
以上の処理によれば、ブロックの主成分方向が、その動きベクトル(u0,v0,t0)に垂直な平面（の拡がり方向）であるとして検出される。
【０２３３】
即ち、注目ブロックについて、動きベクトル(u0,v0,t0)が検出された場合、理想的には、空間方向x,yおよび時間方向tで定義される３次元空間において、動きベクトル(u0,v0,t0)の方向に、注目ブロックの画素値が続いているということ、つまり、注目ブロックのある点(x,y,t)における動画データの値は、mを整数として表される、x,y,tの３次元空間上の点(x+mu0,y+mv0,t+mt0)における動画データの値と同一であることになる。
【０２３４】
従って、時空間の注目ブロックのデータの周波数成分、即ち、時空間の注目ブロックのデータを周波数ドメイン上のデータに変換して得られるデータは、動きベクトル(u0,v0,t0)に垂直な平面上にのみ存在することになる。
【０２３５】
図３２のフローチャートにしたがった方法では、このことを利用して、動きベクトル(u0,v0,t0)に垂直な平面を、主成分方向として検出している。従って、この場合、主成分方向を取得するためには、動きベクトルを検出すれば良く、３次元フーリエ変換を行う必要がないので、少ない計算量で、主成分方向を検出することができる。
【０２３６】
なお、相関情報としては、例えば、相関係数を採用することができる。この場合、相関情報の値（相関係数）が最大の場合が、その相関情報が表す相関が最大の場合となる。
【０２３７】
また、送信装置１（図２５）のエンコード部２４では、フィルタ部２２からの動画データを、特にエンコードせずに、そのまま出力することもできる。
【０２３８】
次に、図３３は、図２４の受信装置２の構成例を示している。
【０２３９】
図２５の送信装置１が出力するエンコードデータは、フレームレートが1/(4t0)の低フレームレートの動画データをエンコードしたものであり、この低フレームレートの動画データを、そのまま、その低フレームレートと同一のフレームレートを有する表示装置に供給して表示させたのでは、本来表示されるべき周波数成分の他、図２８乃至図３０に示した折り返し成分のうちの一部も表示され、その結果、表示装置で表示される動画の画質が劣化する。
【０２４０】
そこで、受信装置２では、フレームレートが1/(4t0)の低フレームレートの動画データを、元のフレームレート1/t0にアップサンプリングし、その結果得られる、フレームレートが1/t0の高フレームレートの動画データを、表示装置３（図２４）に供給することで、表示装置３に、高画質の（画質の劣化が認識されない）動画データを表示させるようになっている。なお、ここでは、表示装置３は、1/t0のフレームレートで動画を表示するようになっているものとする。
【０２４１】
受信装置２では、上述のように、表示装置３において高画質の動画を表示するために、送信装置１から供給される、フレームレートが1/(4t0)の低フレームレート（第２のフレームレート）の動画データに対して、所定の通過帯域の周波数成分を通過させるフィルタを適用しながら、時間方向のアップサンプリングを行う。
【０２４２】
即ち、デコード部５０には、送信装置１（図２４）から記録媒体１１または伝送媒体１２を介して、エンコードデータが供給される。デコード部５０は、エンコードデータをデコードし、その結果得られる低フレームレートの動画データを、バッファ部５１に供給する。
【０２４３】
バッファ部５１は、デコード部５０から供給される低フレームレートの動画データを順次記憶する。
【０２４４】
フィルタ部５２は、バッファ部５１に記憶された動画データを適宜読み出し、その動画データを、後述するフィルタ生成部５３から供給されるフィルタ情報にしたがってフィルタリングしながらアップサンプリングし、そのフィルタリングおよびアップサンプリングにより得られる高フレームレートの動画データを出力する。フィルタ部５２が出力する高フレームレートの動画データは、表示装置３（図２４）に供給されて表示される。
【０２４５】
フィルタ生成部５３は、バッファ部５１に記憶された動画データを適宜読み出し、その動画データの各部分を用いてフィルタリングするフィルタの情報であるフィルタ情報を生成して、フィルタ部５２に供給する。
【０２４６】
即ち、フィルタ生成部５３は、主成分方向取得部６１とフィルタ情報供給部６２とから構成される。
【０２４７】
主成分方向取得部６１は、バッファ部５１から読み出された動画データの各部分について、周波数ドメイン上での主成分の方向である主成分方向を取得し、その主成分方向の情報を、フィルタ情報供給部６２に供給する。
【０２４８】
フィルタ情報供給部６２は、主成分方向取得部６１からの主成分方向の情報にしたがい、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸Tの方向に特定の幅としての、例えば、2π/(4t0)を有する領域、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として決定し、その通過帯域を、フィルタ情報として、フィルタ部５２に出力する。
【０２４９】
次に、図３４のフローチャートを参照して、図３３の受信装置２の処理について説明する。
【０２５０】
デコード部５０には、エンコードデータが供給される。デコード部５０は、そのエンコードデータを、フレームレートが1/(4t0)の低フレームレートの動画データにデコードし、バッファ部５１に供給する。バッファ部５１では、デコード部５０から供給される1/(4t0)のフレームレートの低フレームレートの動画データが順次記憶される。
【０２５１】
そして、ステップＳ３１において、フィルタ生成部５３は、バッファ部５１に記憶された動画データのうちのある部分のデータ、即ち、例えば、図３２のステップＳ２１で説明したような１６×１６画素のブロックのデータを読み出して、自身（フィルタ生成部５３）に入力し、ステップＳ３２乃至Ｓ３４に順次進む。
【０２５２】
ステップＳ３２乃至Ｓ３４では、フィルタ生成部５３（の主成分方向取得部６１およびフィルタ情報供給部６２）が、ステップＳ３１で入力されたデータについて、周波数ドメイン上で人間が認識することができる領域を、フィルタの通過帯域として求め、その通過帯域をフィルタ情報として、フィルタ部５２に供給する処理、即ち、上述した図３１の「必要な情報の通過帯域を求める処理」と同様の処理を行う。
【０２５３】
即ち、ステップＳ３２では、フィルタ生成部５３の主成分方向取得部６１は、ステップＳ３１で入力された動画データについて、空間方向x,yの周波数軸X,Y、および時間方向tの周波数軸Tで定義される周波数ドメインでの主成分方向を取得し、フィルタ情報供給部６２に供給して、ステップＳ３３に進む。
【０２５４】
なお、ステップＳ３２において主成分方向は、図３１で説明したように、３次元フーリエ変換を行うことにより求めることもできるし、図３２で説明したように、動きベクトルを検出することにより求めることもできる。また、上述したように、送信装置１からのエンコードデータに、主成分方向（の情報）が多重化されている場合には、デコード部５０において、エンコードデータから主成分方向を分離し、主成分方向取得部６１において、デコード部５０から、その主成分方向（の情報）の供給を受けることにより、主成分方向を取得することもできる。
【０２５５】
さらに、エンコードデータに空間方向x,yの動きベクトル(u0,v0)が含まれる場合には、その動きベクトル(u0,v0)に、エンコードデータに含まれる動画データのフレーム同期4t0を、時間方向tのコンポーネントとして加えて、空間方向x,yおよび時間方向tの３次元の動きベクトル(u0,v0,4t0)とし、図３２で説明したように、その３次元の動きベクトル(u0,v0,4t0)に直交する平面を主成分方向とすることもできる。
【０２５６】
即ち、図２５の送信装置１のエンコード部２４において、動画データが、少なくとも動き補償を利用する、例えば、MPEGなどのエンコード方法によってエンコードされる場合には、エンコードデータには、動き補償に用いられる動きベクトルが含まれる。そこで、デコード部５０においてエンコードデータから動きベクトル（の情報）を抽出し、バッファ部５１を介して、主成分方向取得部６１に、エンコードデータに含まれる動きベクトルを供給するようにし、主成分方向取得部６１では、その動きベクトルに直交する平面を、主成分方向として求める（検出する）ようにすることができる。
【０２５７】
なお、MPEGでは、Iピクチャのブロック（マクロブロック）には、動きベクトルが存在しないが、Iピクチャの動きベクトルは、例えば、PまたはBピクチャのブロックの動きベクトルから推定するようにすればよい。
【０２５８】
ステップＳ３３では、フィルタ情報供給部６２は、周波数ドメインにおいて、原点(0,0)から、主成分方向取得部６１からの主成分方向に延びる領域であって、T方向に２π／（４×t0）の幅を有し、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域、即ち、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として決定し、ステップＳ３４に進む。
【０２５９】
ステップＳ３４では、フィルタ情報供給部６２は、ステップＳ３３で求めたフィルタの通過帯域（を表す情報）を、フィルタ情報として、フィルタ部５２に供給し、ステップＳ３５に進む。
【０２６０】
ステップＳ３５では、フィルタ部５２が、バッファ部５１から動画データを読み出し、その動画データに対して、ステップＳ３４でフィルタ生成部５３から供給されたフィルタ情報が表す通過帯域のフィルタを適用しながら、時間方向のサンプル数を4倍にするアップサンプリングを行う。
【０２６１】
即ち、例えば、いま、ステップＳ３１で入力された動画データが、低フレームレートの動画データのあるフレームのブロック（のデータ）であるとして、そのブロックを注目ブロックとするとともに、注目ブロックのフレームを注目フレームとする。
【０２６２】
フィルタ部５２は、バッファ部５１から読み出した動画データを、フィルタ生成部５３から供給されたフィルタ情報が表す通過帯域のフィルタ、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を通過帯域とするフィルタによってフィルタリングすることにより、注目ブロックの各画素のデータ（画素値）を求める。
【０２６３】
また、フィルタ部５２は、バッファ部５１から読み出した動画データを、フィルタ生成部５３から供給されたフィルタ情報が表す通過帯域のフィルタ、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を通過帯域とするフィルタによってフィルタリングすることにより、注目フレームから次のフレームまでの時間4t0を、時間t0に等分する３つの時刻それぞれにおける画素であって、注目ブロックの各画素を通り、注目ブロックの３次元の動きベクトルの方向に延びる直線上にある画素のデータを求める。なお、注目ブロックの３次元の動きベクトルは、例えば、主成分方向取得部６１で求め、フィルタ情報供給部６２を介して、フィルタ情報とともに、フィルタ部５２に供給することができる。
【０２６４】
フィルタ部５２は、以上のようなフィルタリングおよびアップサンプリングを行うことにより、フレームレートが1/t0の高フレームレートの動画データを得て、ステップＳ３５からＳ３６に進む。
【０２６５】
ステップＳ３６では、フィルタ部５２は、ステップＳ３５で得た高フレームレートの動画データを、表示装置３（図２４）に出力して、処理を終了する。
【０２６６】
なお、ステップＳ３１乃至Ｓ３４の処理は、バッファ部５１に記憶された動画データの各部分すべてについて行われる。
【０２６７】
以上のように、周波数ドメイン上で人間が認識することができる領域、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、通過帯域とするフィルタによって、動画データをフィルタリングし、さらに、アップサンプリングを行うようにしたので、人間の目の視覚効果を考慮したデータ量の削減が行われた低フレームレートの動画データから、高画質の動画データ、つまり、元の高フレームレートの動画データと同様の画質の動画データを得て（元の高フレームレートの動画データと同様の画質を認識することができる動画データを復元して）表示することができる。
【０２６８】
即ち、図３５乃至図３８は、それぞれ、図２０の領域R1001、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、通過帯域とするフィルタによって、図２７乃至図３０の低フレームレートの動画（フレームレートが1/(4t0)の動画）のデータをフィルタリングしながら、時間方向に4倍のアップサンプリングを行って得られる高フレームレートの動画（フレームレートが1/t0の動画）のデータの周波数ドメイン上の分布を示している。
【０２６９】
まず、動画の中の静止している部分のデータに対しては、フィルタ部５２において、図２０の領域R1001を通過帯域とするフィルタによるフィルタリングを行いながらアップサンプリングを行う。従って、そのフィルタリングおよびアップサンプリングによって得られる動画データは、図２０の領域R1001内の周波数成分を有し、さらに、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対してはt0間隔でサンプリングされたデータとなる。
【０２７０】
このため、図３５に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/t0間隔で、折り返し成分が生じる。即ち、折り返し成分が生じるT方向の周期が、図２７に示した場合の４倍になる。
【０２７１】
なお、図３５において、影を付してある部分が、動画データが存在する部分である。
【０２７２】
次に、動画の中で、そこに投影されている被写体が速度「（r0／t0）／２」程度で動いている部分のデータに対しては、フィルタ部５２において、図２１の領域R1101を通過帯域とするフィルタによるフィルタリングを行いながらアップサンプリングを行う。従って、そのフィルタリングおよびアップサンプリングによって得られる動画データは、図２１の領域R1101内の周波数成分を有し、さらに、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対してはt0間隔でサンプリングされたデータとなる。
【０２７３】
このため、図３６に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/t0間隔で、折り返し成分が生じる。即ち、折り返し成分が生じるT方向の周期が、図２８に示した場合の４倍になる。
【０２７４】
なお、図３６において、影を付してある部分が、動画データが存在する部分である。
【０２７５】
次に、動画の中で、そこに投影されている被写体が速度「r0／t0」程度で動いている部分のデータに対しては、フィルタ部５２において、図２２の領域R1201を通過帯域とするフィルタによるフィルタリングを行いながらアップサンプリングを行う。従って、そのフィルタリングおよびアップサンプリングによって得られる動画データは、図２２の領域R1201内の周波数成分を有し、さらに、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対してはt0間隔でサンプリングされたデータとなる。
【０２７６】
このため、図３７に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/t0間隔で、折り返し成分が生じる。即ち、折り返し成分が生じるT方向の周期が、図２９に示した場合の４倍になる。
【０２７７】
なお、図３７において、影を付してある部分が、動画データが存在する部分である。
【０２７８】
次に、動画の中で、そこに投影されている被写体が速度「2r0／t0」程度で動いている部分のデータに対しては、フィルタ部５２において、図２３の領域R1301を通過帯域とするフィルタによるフィルタリングを行いながらアップサンプリングを行う。従って、そのフィルタリングおよびアップサンプリングによって得られる動画データは、図２３の領域R1301内の周波数成分を有し、さらに、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対してはt0間隔でサンプリングされたデータとなる。
【０２７９】
このため、図３８に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/t0間隔で、折り返し成分が生じる。即ち、折り返し成分が生じるT方向の周期が、図３０に示した場合の４倍になる。
【０２８０】
なお、図３８において、影を付してある部分が、動画データが存在する部分である。
【０２８１】
図２で説明したように、人間が認識することができるのは、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域R201であり、図３５乃至図３８において、この領域R201内には、折り返し成分は存在しない。
【０２８２】
従って、フィルタ部５２におけるフィルタリングおよびアップサンプリングにより得られる、1/t0の高フレームレートの動画データが、表示装置３に表示された場合に、その表示された動画に対して、人間は、元の動画（送信装置１に供給された動画）と同様の画質を認識することができる。
【０２８３】
なお、上述したように、図２５の送信装置１のエンコード部２４では、エンコードデータに、フィルタ部２２で用いられたフィルタのフィルタ情報を多重化することができるが、エンコードデータにフィルタ情報が多重化されている場合には、受信装置２（図３３）は、フィルタ生成部５３なしで構成することができる。この場合、受信装置２は、デコード部５０において、エンコードデータからフィルタ情報を分離し、フィルタ部５２に供給するように構成すればよい。
【０２８４】
また、上述の場合には、図２４の送信装置１において1/t0の高フレームレートの動画データを処理して得られる1/(4t0)の低フレームレートの動画データを、受信装置２に入力し、受信装置２において、その低フレームレートの動画データを、1/t0の高フレームレートの動画データに変換することにより、表示装置３において、高画質（送信装置１に入力される動画と同様の画質）の動画を表示するようにしたが、受信装置２には、元々、1/(4t0)の低フレームレートの動画データを入力しても、表示装置３において、ある程度高画質の動画を表示することが可能である。
【０２８５】
即ち、動画において、（ほぼ）静止している被写体が投影されている部分では、時間方向の周波数成分はほとんど存在しないから、上述の図１０に示した領域R301から領域R1001を除いた領域における周波数成分はほとんど存在しない。
【０２８６】
また、動画において、そこに投影されている被写体が速度「（r0／t0）／２」程度で動いている部分では、その動きの方向（空間方向x,yおよび時間方向tの３次元の動きの方向）に垂直な方向の周波数成分以外はほとんど存在しないから、上述の図１１に示した領域R401から領域R1101を除いた領域における周波数成分はほとんど存在しない。
【０２８７】
さらに、動画において、そこに投影されている被写体が速度「r0／t0」程度で動いている部分では、その動きの方向に垂直な方向の周波数成分以外はほとんど存在しないから、上述の図１２に示した領域R801から領域R1201を除いた領域における周波数成分はほとんど存在しない。
【０２８８】
また、動画において、そこに投影されている被写体が速度「2r0／t0」程度で動いている部分では、その動きの方向に垂直な方向の周波数成分以外はほとんど存在しないから、上述の図１３に示した領域R901から領域R1301を除いた領域における周波数成分はほとんど存在しない。
【０２８９】
但し、実際には、動画においては、被写体の投影像は、時間の経過に伴って複雑に変化するため、動画において静止している部分であっても、図１０に示した領域R301から領域R1001を除いた領域に、多少のデータ（周波数成分）が存在する。
【０２９０】
同様に、動画において速度「（r0／t0）／２」程度で動いている部分には、図１１に示した領域R401から領域R1101を除いた領域に、多少のデータが存在し、また、動画において速度「r0／t0」程度で動いている部分には、図１２に示した領域R801から領域R1201を除いた領域に、多少のデータが存在する。さらに、動画において速度「2r0／t0」程度で動いている部分には、図１３に示した領域R901から領域R1301を除いた領域に、多少のデータが存在する。
【０２９１】
このような領域R1001，R1101，R1201，R1301外に存在するデータを削除するために、送信装置１（図２５）のフィルタ部２２では、領域R1001，R1101，R1201，R1301を通過帯域とするフィルタによるフィルタリングを行っている。
【０２９２】
従って、受信装置２に入力される低フレームレートの動画データが、送信装置１の処理の結果得られたものでない場合には、領域R1001，R1101，R1201，R1301外に、多少のデータが存在することがあり得る。そして、領域R1001，R1101，R1201，R1301外に、データが存在する場合、受信装置２（図３３）のフィルタ部５２におけるフィルタリングおよびアップサンプリングによって得られる動画データについては、図２に示した人間が認識することができる領域R201内に折り返し成分が混入し、その折り返し成分によって、動画の画質は劣化する。
【０２９３】
しかしながら、領域R1001，R1101，R1201，R1301外に存在するデータは僅かであり、そのような僅かなデータによる折り返し成分に起因して生じる画質の劣化も僅かである。従って、受信装置２に対して、元々、1/(4t0)の低フレームレートの動画データを入力する場合には、送信装置１において得られる低フレームレートの動画データを入力する場合に比較して、多少の画質の劣化はあるが、それでも、元々、1/(4t0)の低フレームレートの動画データを、そのまま表示する場合に比較して、画質が改善された動画を表示することができる。
【０２９４】
なお、受信装置２に入力される1/(4t0)の低フレームレートの動画データが、いわゆる電子シャッタを採用する撮像装置で撮像されたものである場合には、受信装置２（図３３）のフィルタ情報供給部６２において、その低フレームレートの動画データの撮像時の露光時間に対応してT方向の幅が制限された領域を、フィルタの通過帯域として決定することができる。
【０２９５】
即ち、1/(4t0)の低フレームレートの動画データの各フレームの撮像時の露光時間が、t0より大で、4t0より小であるt0'である場合には、各フレームに投影されている被写体の画像は、被写体からの光を、時間t0'だけ積分した値（受光量）に等しい。従って、被写体が動いている場合には、各フレームの画像には、時間t0'に対応するボケ（モーションブラー）が生じる。なお、t0が、例えば、1/240秒程度である場合には、t0'は、例えば、1/120秒程度である。
【０２９６】
時間t0'だけの積分は、図３９に示すような、周波数ドメインのT方向に、2π/t0'の幅を有する領域R3901を通過帯域とするローパスフィルタによるフィルタリングを行うことと等価であり、従って、電子シャッタにより、露光時間をt0'として撮像された動画の各フレームのデータは、領域R3901を通過帯域とするローパスフィルタを通過したデータであると言うことができる。
【０２９７】
なお、領域R3901は、T方向が、-π／t0'乃至π／t0'の範囲の2π/t0'の幅を有し、かつ、X,Y方向が、人間が認識することができる-π／r0乃至π／r0の範囲の2π／r0の幅を有する領域である。上述のように、例えば、t0が1/240秒で、t0'が1/120秒であり、従って、2t0=t0'である場合には、領域R3901は、T方向が、-π／(2t0)乃至π／(2t0)の範囲のπ/t0の幅を有する。
【０２９８】
以上のように、露光時間をt0'として撮像された動画の各フレームのデータは、領域R3901を通過帯域とするローパスフィルタを通過したデータであるから、周波数ドメインにおいて、領域R3901以外には、データは存在しない。
【０２９９】
従って、人間が認識することができる、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301内のデータであっても、図３９の領域R3901外にあるデータは、ノイズ等の、動画本来のデータでないから、不要なデータとして削除するのが望ましい。
【０３００】
そこで、受信装置２（図３３）のフィルタ情報供給部６２では、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301のT方向を図３９の領域R3901によって制限した領域を、フィルタの通過帯域として決定することができる。
【０３０１】
例えば、いま、上述したように、2t0=t0'であるとすると、図２０の領域R1001は、図３９の領域R3901に含まれるから、フィルタ情報供給部６２では、動画において被写体が静止している部分については、図２０の領域R1001を、そのまま、フィルタの通過帯域として決定することができる。
【０３０２】
また、図２１の領域R1101は、図４０に示すように、その領域R1101のうちの、T方向が、-π／(2t0)乃至π／(2t0)の範囲で、X,Y方向が、-π／r0乃至π／r0の範囲の領域R4001において、図３９の領域R3901と重複するから、フィルタ情報供給部６２では、動画に投影されている被写体が速度「（r0／t0）／２」程度で動いている部分については、図４０の領域R4001を、フィルタの通過帯域として決定することができる。
【０３０３】
さらに、図２２の領域R1201は、図４１に示すように、その領域R1201のうちの、T方向が、-π／(2t0)乃至π／(2t0)の範囲で、X,Y方向が、-π／r0乃至π／r0の範囲の領域R4101において、図３９の領域R3901と重複するから、フィルタ情報供給部６２では、動画に投影されている被写体が速度「r0／t0」程度で動いている部分については、図４１の領域R4101を、フィルタの通過帯域として決定することができる。
【０３０４】
また、図２３の領域R1301は、図４２に示すように、その領域R1301のうちの、T方向が、-π／(2t0)乃至π／(2t0)の範囲で、X,Y方向が、-π／r0乃至π／r0の範囲の領域R4201において、図３９の領域R3901と重複するから、フィルタ情報供給部６２では、動画に投影されている被写体が速度「2r0／t0」程度で動いている部分については、図４２の領域R4201を、フィルタの通過帯域として決定することができる。
【０３０５】
受信装置２（図３３）のフィルタ情報供給部６２において、以上のようにフィルタの通過帯域を決定し、フィルタ部５２でフィルタリングを行うことにより、領域R3901外にある、ノイズ等の、動画本来のデータでない不要なデータが除去されるので、S/N(Signal to Noise ratio)等が向上した動画データを得ることができる。
【０３０６】
ここで、受信装置２において、フィルタの通過帯域を、図３９の領域R3901で制限する場合には、受信装置２に入力される低フレームレートの動画データの撮像時の露光時間t0'が必要となるが、この露光時間t0'は、例えば、受信装置２に入力される動画データに多重化する等して、受信装置２に入力することができる。
【０３０７】
なお、受信装置２に入力されるデータがエンコードされていない場合には、デコード部５０は、そのデータをデコードすることなく、バッファ部５１に供給する。
【０３０８】
ところで、例えば、送信装置１（図２５）の主成分方向取得部３１では、上述したように、注目ブロックの、注目フレームの次のフレームへの動きベクトル(u0,v0)を検出し、その動きベクトル(u0,v0)から、注目ブロックの周波数ドメインでの主成分方向を求めることができる。即ち、主成分方向取得部３１では、注目ブロックの動きベクトル(u0,v0)に、時間方向tのコンポーネントt0を加えた３次元の動きベクトル(u0,v0,t0)と直交する平面を、注目ブロックの周波数ドメインでの主成分方向として求めることができる。
【０３０９】
この場合、注目ブロックの、注目フレームの次のフレームへの動きベクトル(u0,v0)を、例えば、-2倍、-1倍、2倍、3倍したベクトルが、それぞれ、注目ブロックの、注目フレームの前の前のフレーム、前のフレーム、次の次のフレーム、次の次の次のフレームへの動きベクトルに一致していれば、動きベクトル(u0,v0)から求められる注目ブロックの主成分方向は、正確なものとなる。
【０３１０】
しかしながら、動きベクトル(u0,v0)を、例えば、-2倍や、-1倍、2倍、3倍したベクトルが、注目ブロックの、注目フレームの前の前のフレームや、前のフレーム、次の次のフレーム、次の次の次のフレームへの動きベクトルからずれている場合、そのずれに応じて、動きベクトル(u0,v0)から求められる注目ブロックの主成分方向は、誤差を含み、不正確なものとなる。
【０３１１】
即ち、図４３は、送信装置１に供給される高フレームレートの動画データを示している。
【０３１２】
なお、図４３においては、横軸を、空間方向xとして、動画データを示してある。また、動画には動被写体が投影されており、その動被写体は、空間方向xにのみ移動する（空間方向yへの移動はしない）ものとする。図４３では、動被写体は、時間の経過とともに、左から右方向に移動している。
【０３１３】
図４３には、上から順に、時刻（フレーム）t-4t0，t-3t0，t-2t0，t-t0，t，t+t0，t+2t0，t+3t0，t+4t0それぞれにおける画像データが示されている。
【０３１４】
いま、時刻tの画像データを基準とすると、その時刻tの画像データに対して、時刻t-4t0の画像データはK4だけ、時刻t-3t0の画像データはK3だけ、時刻t-2t0の画像データはK2だけ、時刻t-t0の画像データはK1だけ、時刻t+t0の画像データはH1だけ、時刻t+2t0の画像データはH2だけ、時刻t+3t0の画像データはH3だけ、時刻t+4t0の画像データはH4だけ、それぞれ、空間方向xにずれている。
【０３１５】
従って、時刻tの画像データにおけるあるブロックR4300を注目ブロックとすると、その注目ブロックR4300と同一の画像データ（注目ブロックR4300に対応する画像データ）は、時刻t-4t0の画像データでは、注目ブロックR4300から空間方向xにK4だけずれた位置の領域R4314に存在し、時刻t-3t0の画像データでは、注目ブロックR4300から空間方向xにK3だけずれた位置の領域R4313に存在する。同様に、注目ブロックR4300と同一の画像データは、時刻t-2t0の画像データでは、注目ブロックR4300から空間方向xにK2だけずれた位置の領域R4312に、時刻t-t0の画像データでは、注目ブロックR4300から空間方向xにK1だけずれた位置の領域R4311に、時刻t+t0の画像データでは、注目ブロックR4300から空間方向xにH1だけずれた位置の領域R4301に、時刻t+2t0の画像データでは、注目ブロックR4300から空間方向xにH2だけずれた位置のR4302に、時刻t+3t0の画像データでは、注目ブロックR4300から空間方向xにH3だけずれた位置の領域R4303に、時刻t+4t0の画像データでは、注目ブロックR4300から空間方向xにH4だけずれた位置の領域R4304に、それぞれ存在する。
【０３１６】
なお、図４３において、動被写体の動きの大きさは一定ではなく、従って、K4からK3への増加率，K3からK2への増加率、K2からK1への増加率、K1から0への増加率、0からH1への増加率、H1からH2への増加率，H2からH3への増加率、H3からH4への増加率も一定にはなっていない。
【０３１７】
図４３に示したように、被写体が移動している場合、注目ブロックR4300の動きベクトル(u0,v0)は、図４４に示すように、ベクトル(H1,0)が求められる。従って、送信装置１（図２５）の主成分方向取得部３１では、この注目ブロックR4300の動きベクトル(H1,0)から、注目ブロックR4300の主成分方向が求められる。
【０３１８】
そして、送信装置１のフィルタ情報供給部３２では、その主成分方向から、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301などが、フィルタ部２２におけるフィルタリングを行うフィルタの通過帯域として決定される。
【０３１９】
フィルタの通過帯域としての、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301などは、上述したように、T方向に、２π／(4t0)の幅を有するため、このような通過帯域のフィルタによるフィルタリングでは、注目ブロックR4300のフレーム（注目フレーム）の前後４フレーム程度の画像データ、即ち、例えば、時刻t-4t0，t-3t0，t-2t0，t-t0，t，t+t0，t+2t0，t+3t0，t+4t0の９フレームの範囲の画像データや、時刻t-3t0，t-2t0，t-t0，t，t+t0，t+2t0，t+3t0の７フレームの範囲の画像データなどを用いた演算（送信装置１のフィルタ部２２にて行われる演算）によって、フィルタリング結果としての注目ブロックR4300の画像データが求められる。
【０３２０】
即ち、注目ブロックR4300のある位置(x,y)の画素の、フィルタリング結果としての画素値は、例えば、時刻t+t0の画像データにおける位置(x,y)から動きベクトル(H1,0)だけずれた位置付近の画素値、時刻t+2t0の画像データにおける位置(x,y)から動きベクトル(H1,0)の２倍のベクトル(2H1,0)だけずれた位置付近の画素値、時刻t+3t0の画像データにおける位置(x,y)から動きベクトル(H1,0)の３倍のベクトル(3H1,0)だけずれた位置付近の画素値、時刻t+4t0の画像データにおける位置(x,y)から動きベクトル(H1,0)の４倍のベクトル(4H1,0)だけずれた位置付近の画素値、時刻t-t0の画像データにおける位置(x,y)から動きベクトル(H1,0)の−１倍のベクトル(-H1,0)だけずれた位置付近の画素値、時刻t-2t0の画像データにおける位置(x,y)から動きベクトル(H1,0)の−２倍のベクトル(-2H1,0)だけずれた位置付近の画素値、時刻t-3t0の画像データにおける位置(x,y)から動きベクトル(H1,0)の−３倍のベクトル(-3H1,0)だけずれた位置付近の画素値、時刻t-4t0の画像データにおける位置(x,y)から動きベクトル(H1,0)の−４倍のベクトル(-4H1,0)だけずれた位置付近の画素値を用いて求められる。
【０３２１】
ここで、動きベクトル(H1,0)は、図４４に示したように、注目ブロックR4300から、時刻t+t0の画像データにおける、注目ブロックR4300に対応する（注目ブロックR4300と同一の画像データが存在する）領域R4301の位置へのベクトルであるから、注目ブロックR4300から動きベクトル(H1,0)だけずれた時刻t+t0の画像データ上の位置は、注目ブロックR4300に対応する領域R4301の位置に一致する。
【０３２２】
しかしながら、ベクトル(2H1,0)は、図４５に示すように、動きベクトル(H1,0)を２倍したベクトルであるから、注目ブロックR4300からベクトル(2H1,0)だけずれた時刻t+2t0の画像データ上の位置は、注目ブロックR4300に対応する領域R4302の位置に一致するとは限らない。
【０３２３】
また、ベクトル(3H1,0)は、図４６に示すように、動きベクトル(H1,0)を３倍したベクトルであるから、注目ブロックR4300からベクトル(3H1,0)だけずれた時刻t+3t0の画像データ上の位置も、注目ブロックR4300に対応する領域R4303の位置に一致するとは限らない。
【０３２４】
さらに、ベクトル(4H1,0)は、図４７に示すように、動きベクトル(H1,0)を４倍したベクトルであるから、注目ブロックR4300からベクトル(4H1,0)だけずれた時刻t+4t0の画像データ上の位置も、注目ブロックR4300に対応する領域R4304の位置に一致するとは限らない。
【０３２５】
また、ベクトル(-H1,0)は、図４８に示すように、動きベクトル(H1,0)を−１倍したベクトルであるから、注目ブロックR4300からベクトル(-H1,0)だけずれた時刻t-t0の画像データ上の位置も、注目ブロックR4300に対応する領域R4311の位置に一致するとは限らない。
【０３２６】
さらに、ベクトル(-2H1,0)は、図４９に示すように、動きベクトル(H1,0)を−２倍したベクトルであるから、注目ブロックR4300からベクトル(-2H1,0)だけずれた時刻t-2t0の画像データ上の位置も、注目ブロックR4300に対応する領域R4312の位置に一致するとは限らない。
【０３２７】
また、ベクトル(-3H1,0)は、図５０に示すように、動きベクトル(H1,0)を−３倍したベクトルであるから、注目ブロックR4300からベクトル(-3H1,0)だけずれた時刻t-3t0の画像データ上の位置も、注目ブロックR4300に対応する領域R4313の位置に一致するとは限らない。
【０３２８】
さらに、ベクトル(-4H1,0)は、図５１に示すように、動きベクトル(H1,0)を−４倍したベクトルであるから、注目ブロックR4300からベクトル(-4H1,0)だけずれた時刻t-4t0の画像データ上の位置も、注目ブロックR4300に対応する領域R4314の位置に一致するとは限らない。
【０３２９】
このため、注目ブロックR4300に注目したフィルタリングにあたり、時刻t-4t0，t-3t0，t-2t0，t-t0，t+2t0，t+3t0，t+4t0それぞれの画像データについては、注目ブロックR4300に対応する領域R4314，R4313，R4312，R4311，R4302，R4303，R4304からずれた位置の領域の画素値が用いられ、その結果、真の主成分方向に延びる周波数ドメイン上の領域（例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301）内の周波数成分のみのデータを、正確に得ることが困難な場合が生じ得る。
【０３３０】
これは、注目ブロックから次のフレームへの動きベクトルを用いて主成分方向を求めることが、注目ブロックから次のフレームへの動きベクトルの単純な倍数によって、注目ブロックからその他のフレームへの動きベクトルを近似することに相当し、従って、被写体が一定速度で移動していないにもかかわらず、注目ブロックから次のフレームへの動きベクトルを用いて主成分方向を求めると、不正確な主成分方向が得られることに起因する。
【０３３１】
そこで、送信装置１（図２５）の主成分方向取得部３１では、上述したように、注目ブロックと次のフレームとの相関を表す相関情報だけではなく、注目ブロックとその前後の複数のフレームそれぞれとの相関を表す複数の相関情報を用いることによって、注目ブロックから複数のフレームそれぞれへの、いわば平均的な動きを表すベクトル（以下、適宜、平均動きベクトルという）を求め、その平均動きベクトルから、注目ブロックについて、精度の高い主成分方向を求めることができる。
【０３３２】
図５２は、図２５の主成分方向取得部３１において、平均動きベクトルから主成分方向を求める場合の、その主成分方向取得部３１の構成例を示している。
【０３３３】
バッファ部１０１には、バッファ部２１（図２５）から読み出された1/t0の高フレームレートの動画データが供給され、バッファ部１０１は、その動画データを一時記憶する。
【０３３４】
ブロック抽出部１０２は、バッファ部１０１に記憶された動画データを、例えば、上述した１６×１６画素のブロックに分割し、順次、注目ブロックとして選択して、相関演算部１０３に供給する。
【０３３５】
相関演算部１０３は、ブロック抽出部１０２から供給される注目ブロックのフレーム（注目フレーム）に対して時間的に前後の複数のフレーム（のデータ）を、バッファ部１０１から読み出し、注目ブロックと、複数のフレームそれぞれとの相関を表す相関情報を演算して、スケーリング合成部１０４に供給する。
【０３３６】
ここで、相関情報としては、例えば、図３２のステップＳ２２で説明した場合と同様に、注目ブロックを、空間方向x,yに、それぞれ、u,vだけずらした位置における、注目ブロックの各画素と、その画素と同一位置にある他のフレームの画素との画素値の差分絶対値の総和を採用することとする。この場合、上述したように、相関情報の「値」が最小になる空間方向の位置u,vが、相関情報が表す相関が最も高くなる、他のフレーム上の空間方向の位置となる。
【０３３７】
なお、相関演算部１０３において、注目ブロックとの相関情報を演算する対象のフレームの範囲は、フィルタ部２２（図２５）でのフィルタリングに用いられるフレームの範囲に対応した範囲とすることができる。
【０３３８】
即ち、図４３で説明したように、時刻tの画像データを基準とすると（時刻tを注目フレームとすると）、フィルタ部２２でのフィルタリングでは、時刻t-4t0，t-3t0，t-2t0，t-t0，t，t+t0，t+2t0，t+3t0，t+4t0の９フレームの画像データや、時刻t-3t0，t-2t0，t-t0，t，t+t0，t+2t0，t+3t0の７フレームの画像データなどが用いられる。相関演算部１０３において、相関情報を演算するフレームは、この９フレームや７フレームの画像データとほぼ同様の範囲の画像データ、即ち、例えば、時刻t-4t0，t-3t0，t-2t0，t-t0，t，t+t0，t+2t0，t+3t0，t+4t0それぞれの画像データとすることができる。
【０３３９】
なお、時刻tの画像データは、注目ブロックのフレーム（注目フレーム）であるから、その時刻tについては、相関情報を演算する必要はない。即ち、相関演算部１０３において、注目ブロックとの相関情報を演算する対象は、時刻t-4t0，t-3t0，t-2t0，t-t0，t+t0，t+2t0，t+3t0，t+4t0それぞれの画像データである。
【０３４０】
ここで、注目ブロックとの相関情報を演算する対象のフレームを、以下、適宜、相関演算対象フレームという。
【０３４１】
スケーリング合成部１０４は、相関演算部１０３から供給される、複数の相関演算対象フレームそれぞれについて求められた相関情報を、後述するように、空間方向x,yにスケーリングし、さらに、そのスケーリング後の相関情報を合成して、合成相関情報を求める。そして、スケーリング合成部１０４は、その合成相関情報を、最小値検出部１０５に供給する。
【０３４２】
最小値検出部１０５は、スケーリング合成部１０４からの合成相関情報が表す相関が最大となる空間方向の位置である最大相関位置を検出し、その最大相関位置へのベクトルを、注目ブロックの平均動きベクトルとして求める。そして、最小値検出部１０５は、その平均動きベクトルに、バッファ部２１（図２５）から読み出された動画データのフレーム周期t0を、時間方向tのコンポーネントとして加えた３次元の動きベクトルの方向と直交する方向を、主成分方向として検出して出力する。
【０３４３】
次に、図５３は、図４３に示した注目ブロックR4300と、時刻t-4t0，t-3t0，t-2t0，t-t0，t，t+t0，t+2t0，t+3t0，t+4t0それぞれの画像データ（フレーム）との相関情報を示している。
【０３４４】
なお、図５３に示した相関情報は、図５２の相関演算部１０３で求められる。但し、上述したように、注目ブロックR4300と、注目フレームである時刻tの画像データとの相関情報は、演算する必要はない。
【０３４５】
また、図５３において、相関情報としては、上述したように、画素値の差分絶対値の総和が採用されており、従って、相関情報は、下に凸の関数となり、相関情報の「値」が最小になる空間方向の位置が、相関情報が表す相関が最も高くなる空間方向の位置である。そして、注目ブロックから、その位置へのベクトルが、動きベクトルを表す。
【０３４６】
図４３で説明したように、注目ブロックR4300と同一の画像データは、時刻t-4t0では、注目ブロックR4300から空間方向xにK4だけずれた位置の領域R4314に存在し、時刻t-3t0では、注目ブロックR4300から空間方向xにK3だけずれた位置の領域R4313に存在する。同様に、注目ブロックR4300と同一の画像データは、時刻t-2t0では、注目ブロックR4300から空間方向xにK2だけずれた位置の領域R4312に、時刻t-t0では、注目ブロックR4300から空間方向xにK1だけずれた位置の領域R4311に、時刻t+t0では、注目ブロックR4300から空間方向xにH1だけずれた位置の領域R4301に、時刻t+2t0では、注目ブロックR4300から空間方向xにH2だけずれた位置のR4302に、時刻t+3t0では、注目ブロックR4300から空間方向xにH3だけずれた位置の領域R4303に、時刻t+4t0では、注目ブロックR4300から空間方向xにH4だけずれた位置の領域R4304に、それぞれ存在する。
【０３４７】
従って、時刻t-4t0における相関情報は、位置x=K4において最小となり、時刻t-3t0における相関情報は、位置x=K3において最小となる。同様に、時刻t-2t0における相関情報は、位置x=K2において、時刻t-t0における相関情報は、x=K1において、時刻t+t0における相関情報は、位置x=H1において、時刻t+2t0における相関情報は、位置x=H2において、時刻t+3t0における相関情報は、位置x=H3において、時刻t+4t0における相関情報は、位置x=H4において、それぞれ最小となる。
【０３４８】
図５２の主成分方向取得部３１では、注目ブロックR4300の動きが、時刻t-4t0乃至t+4t0の時間において一定であると近似し、その一定の動きを表すベクトルが、平均動きベクトルとして求められる。
【０３４９】
そのため、主成分方向取得部３１のスケーリング合成部１０４は、時刻t-4t0，t-3t0，t-2t0，t-t0，t+t0，t+2t0，t+3t0，t+4t0それぞれにおける相関情報を、空間方向x,yにスケーリングし、さらに、そのスケーリング後の相関情報を合成して、合成相関情報を求める。
【０３５０】
即ち、注目ブロックR4300の動きが、時刻t-4t0乃至t+4t0の時間において一定であると近似した場合、例えば、時刻t+t0における相関情報を基準とすると、時刻t-4t0における相関情報は、時刻t+t0における相関情報に対し、位置（空間方向x,y）に関して−４倍のずれがある。時刻t-3t0における相関情報は、時刻t+t0における相関情報に対し、位置に関して−３倍のずれがある。以下、同様に、時刻t+t0における相関情報に対し、時刻t-2t0における相関情報は、位置に関して−２倍のずれが、時刻t-t0における相関情報は、位置に関して−１倍のずれが、時刻t+2t0における相関情報は、位置に関して２倍のずれが、時刻t+3t0における相関情報は、位置に関して３倍のずれが、時刻t+4t0における相関情報は、位置に関して４倍のずれが、それぞれある。
【０３５１】
そこで、スケーリング合成部１０４は、時刻t-4t0における相関情報の位置のスケールを−１／４倍にする（反転縮小する）スケーリングを行う。同様に、スケーリング合成部１０４は、時刻t-3t0における相関情報の位置のスケールを−１／３倍にするスケーリングを、時刻t-2t0における相関情報の位置のスケールを−１／２倍にするスケーリングを、時刻t-t0における相関情報の位置のスケールを−１倍にする（反転する）スケーリングを、時刻t+2t0における相関情報の位置のスケールを１／２倍にする（縮小する）スケーリングを、時刻t+3t0における相関情報の位置のスケールを１／３倍にするスケーリングを、時刻t+4t0における相関情報の位置のスケールを１／４倍にするスケーリングを、それぞれ行う。
【０３５２】
なお、時刻t+t0における相関情報については、スケーリング合成部１０４は、何らスケーリングを行わないが、スケーリングを行わないことは、位置のスケールを１倍にするスケーリングを行っていると見ることもできる。
【０３５３】
ここで、図５４は、時刻t+t0における相関情報を基準として、時刻t-4t0，t-3t0，t-2t0，t-t0，t+2t0，t+3t0，t+4t0それぞれにおける相関情報をスケーリングした場合の、そのスケーリング後の相関情報を示している。
【０３５４】
スケーリングにより、時刻t-4t0における相関情報は、位置x=-K4/4において最小となり、時刻t-3t0における相関情報は、位置x=-K3/3において最小となる。同様に、時刻t-2t0における相関情報は、位置x=-K2/2において、時刻t-t0における相関情報は、x=-K1において、時刻t+2t0における相関情報は、位置x=H2/2において、時刻t+3t0における相関情報は、位置x=H3/3において、時刻t+4t0における相関情報は、位置x=H4/4において、それぞれ最小となる。
【０３５５】
なお、スケーリングは、時刻t+t0における相関情報を基準として行われるので、時刻t+t0における相関情報は、スケーリングの前でも後でも、位置x=H1において最小となる。
【０３５６】
図５２の主成分方向取得部３１では、スケーリング合成部１０４が、時刻t-4t0，t-3t0，t-2t0，t-t0，t+t0，t+2t0，t+3t0，t+4t0それぞれにおける、スケーリング後の相関情報を合成して、合成相関情報を求める。
【０３５７】
図５５は、図５４の相関情報を合成することにより得られる合成相関情報を示している。
【０３５８】
図５５の合成相関情報は、図５４に示した時刻t-4t0，t-3t0，t-2t0，t-t0，t+t0，t+2t0，t+3t0，t+4t0それぞれにおける、スケーリング後の相関情報を加算する合成を行うことにより求めることができる。
【０３５９】
図５２の主成分方向取得部３１の最小値検出部１０５では、図５５の合成相関情報が最小になる位置x=L1（(x,y)=(L1,0)）が、平均動きベクトル(L1,0)として求められる。
【０３６０】
なお、合成相関情報は、スケーリング後の相関情報を単純に加算する他、重み付け加算することにより求めることもできる。即ち、合成相関情報は、相関情報に対して、注目ブロックの時刻tから近い時刻の相関情報ほど大きな重みを付して加算することにより求めることができる。この場合、注目ブロックの時刻tから近い時刻の画像を重要視した平均動きベクトルが求められることになる。
【０３６１】
最小値検出部１０５では、以上のようにして求められる平均動きベクトル(L1,0)から、注目ブロックの主成分方向が求められる。従って、注目ブロックについて、比較的精度の高い主成分方向を求めることができる。
【０３６２】
即ち、上述のような平均動きベクトル(L1,0)から求められる主成分方向（つまり、(L1,0,t0)に垂直な平面）によれば、図２５のフィルタ部２２では、例えば、注目ブロックR4300のある位置(x,y)の画素の、フィルタリング結果としての画素値が、時刻t+t0の画像データにおける位置(x,y)から動きベクトル(L1,0)だけずれた位置付近の画素値、時刻t+2t0の画像データにおける位置(x,y)から動きベクトル(L1,0)の２倍のベクトル(2L1,0)だけずれた位置付近の画素値、時刻t+3t0の画像データにおける位置(x,y)から動きベクトル(L1,0)の３倍のベクトル(3L1,0)だけずれた位置付近の画素値、時刻t+4t0の画像データにおける位置(x,y)から動きベクトル(L1,0)の４倍のベクトル(4L1,0)だけずれた位置付近の画素値、時刻t-t0の画像データにおける位置(x,y)から動きベクトル(L1,0)の−１倍のベクトル(-L1,0)だけずれた位置付近の画素値、時刻t-2t0の画像データにおける位置(x,y)から動きベクトル(L1,0)の−２倍のベクトル(-2L1,0)だけずれた位置付近の画素値、時刻t-3t0の画像データにおける位置(x,y)から動きベクトル(L1,0)の−３倍のベクトル(-3L1,0)だけずれた位置付近の画素値、時刻t-4t0の画像データにおける位置(x,y)から動きベクトル(L1,0)の−４倍のベクトル(-4L1,0)だけずれた位置付近の画素値を、それぞれ用いて求められる。
【０３６３】
ここで、図５６は、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)だけずれた時刻t+t0の画像データにおける位置を示している。同様に、図５７乃至図６３は、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)の２倍のベクトル(2L1,0)だけずれた時刻t+2t0の画像データにおける位置を、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)の３倍のベクトル(3L1,0)だけずれた時刻t+3t0の画像データにおける位置を、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)の４倍のベクトル(4L1,0)だけずれた時刻t+4t0の画像データにおける位置を、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)の−１倍のベクトル(-L1,0)だけずれた時刻t-t0の画像データにおける位置を、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)の−２倍のベクトル(-2L1,0)だけずれた時刻t-2t0の画像データにおける位置を、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)の−３倍のベクトル(-3L1,0)だけずれた時刻t-3t0の画像データにおける位置を、注目ブロックR4300の位置(x,y)から動きベクトル(L1,0)の−４倍のベクトル(-4L1,0)だけずれた時刻t-4t0の画像データにおける位置を、それぞれ示している。
【０３６４】
図５６乃至図６３それぞれと、上述した図４４乃至図５１それぞれとを比較することにより、図５６乃至図６３における場合の方が、図４４乃至図５１における場合よりも、全体として、注目ブロックR4300に対応する領域R4301，R4302，R4303，R4304，R4311，R4312，R4313，R4314に近い位置の画素値を用いて、注目ブロックR4300のフィルタリングが行われることが分かる。
【０３６５】
次に、図６４乃至図６７のフローチャートを参照して、図５２の主成分方向取得部３１が行う処理について説明する。
【０３６６】
なお、図６４乃至図６７のフローチャートにしたがった処理は、図３１のステップＳ１１の処理に対応する。
【０３６７】
図５２の主成分方向取得部３１において、バッファ部１０１には、バッファ部２１（図２５）から読み出された動画データが供給され、バッファ部１０１は、その動画データを一時記憶する。
【０３６８】
そして、図６４のステップＳ１０１において、ブロック抽出部１０２は、バッファ部１０１に記憶された動画データを、図３２のステップＳ２１における場合と同様に、例えば１６×１６画素のブロックに分割し、相関演算部１０３に供給する。なお、以降の処理は、ブロック抽出部１０２で得られたブロックを、順次、注目ブロックとして行われる。
【０３６９】
ここで、注目ブロックの位置（例えば、注目ブロックの左上の画素の位置）を、(x0,y0)と表す。また、注目ブロックのフレーム（注目フレーム）は、時刻tのフレームであるとする。
【０３７０】
ステップＳ１０１の処理後は、図６５のステップＳ１０２に進み、相関演算部１０３は、注目フレームの次のフレームの画像データである時刻t+t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t+t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数E1(u1,v1)を、注目ブロックを対応させる時刻t+t0の画像データの位置(x0+u1,y0+v1)を変えながら求め（(u1,v1)を変えながら求め）、その関数E1(u1,v1)を、時刻t+t0における相関情報として、スケーリング合成部１０４に供給して、ステップＳ１０３に進む。
【０３７１】
ステップＳ１０３では、相関演算部１０３は、注目フレームの次の次のフレームの画像データである時刻t+2t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t+2t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数E2(u2,v2)を、注目ブロックを対応させる時刻t+2t0の画像データの位置(x0+u2,y0+v2)を変えながら求め、その関数E2(u2,v2)を、時刻t+2t0における相関情報として、スケーリング合成部１０４に供給して、ステップＳ１０４に進む。
【０３７２】
ステップＳ１０４では、相関演算部１０３は、注目フレームの３フレームだけ時間的に先の画像データである時刻t+3t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t+3t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数E3(u3,v3)を、注目ブロックを対応させる時刻t+3t0の画像データの位置(x0+u3,y0+v3)を変えながら求め、その関数E3(u3,v3)を、時刻t+3t0における相関情報として、スケーリング合成部１０４に供給して、ステップＳ１０５に進む。
【０３７３】
ステップＳ１０５では、注目フレームの４フレームだけ時間的に先の画像データである時刻t+4t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t+4t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数E4(u4,v4)を、注目ブロックを対応させる時刻t+4t0の画像データの位置(x0+u4,y0+v4)を変えながら求め、その関数E4(u4,v4)を、時刻t+4t0における相関情報として、スケーリング合成部１０４に供給して、図６６のステップＳ１０６に進む。
【０３７４】
ステップＳ１０６では、相関演算部１０３は、注目フレームの前のフレームの画像データである時刻t-t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t-t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数F1(r1,s1)を、注目ブロックを対応させる時刻t-t0の画像データの位置(x0+r1,y0+s1)を変えながら求め、その関数F1(r1,s1)を、時刻t-t0における相関情報として、スケーリング合成部１０４に供給して、ステップＳ１０７に進む。
【０３７５】
ステップＳ１０７では、相関演算部１０３は、注目フレームの前の前のフレームの画像データである時刻t-2t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t-2t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数F2(r2,s2)を、注目ブロックを対応させる時刻t-2t0の画像データの位置(x0+r2,y0+s2)を変えながら求め、その関数F2(r2,s2)を、時刻t-2t0における相関情報として、スケーリング合成部１０４に供給して、ステップＳ１０８に進む。
【０３７６】
ステップＳ１０８では、相関演算部１０３は、注目フレームの３フレームだけ時間的に前の画像データである時刻t-3t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t-3t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数F3(r3,s3)を、注目ブロックを対応させる時刻t-3t0の画像データの位置(x0+r3,y0+s3)を変えながら求め、その関数F3(r3,s3)を、時刻t-3t0における相関情報として、スケーリング合成部１０４に供給して、ステップＳ１０９に進む。
【０３７７】
ステップＳ１０９では、相関演算部１０３は、注目フレームの４フレームだけ時間的に前の画像データである時刻t-4t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t-4t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数F4(r4,s4)を、注目ブロックを対応させる時刻t-4t0の画像データの位置(x0+r4,y0+s4)を変えながら求め、その関数F4(r4,s4)を、時刻t-4t0における相関情報として、スケーリング合成部１０４に供給して、図６７のステップＳ１１０に進む。
【０３７８】
ステップＳ１１０では、スケーリング合成部１０４は、相関演算部１０３から供給された相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，E4(u4,v4)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)，F4(r4,s4)を、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準として、上述したようなスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１０４は、位置(p,q)=(u1,v1)=(u2/2,v2/2)=(u3/3,v3/3)=(u4/4,v4/4)=(-r1,-s1)=(-r2/2,-s2/2)=(-r3/3,-s3/3)=(-r4/4,-s4/4)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報E1(p,q)，E2(2p,2q)，E3(3p,3q)，E4(4p,4q)，F1(-p,-q)，F2(-2p,-2q)，F3(-3p,-3q)，F4(-4p,-4q)を加算することにより、合成相関情報E(p,q)(=E1(p,q)+E2(2p,2q)+E3(3p,3q)+E4(4p,4q)+F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q)+F4(-4p,-4q))を求める。
【０３７９】
なお、合成相関情報E(p,q)は、スケーリング後の相関情報を単純に加算する他、上述したように、重み付け加算することにより求めることもできる。即ち、合成相関情報E(p,q)は、例えば、注目ブロックの時刻tから近い時刻の相関情報ほど大きな重みを付して加算する式８×E1(p,q)+４×E2(2p,2q)+２×E3(3p,3q)+１×E4(4p,4q)+８×F1(-p,-q)+４×F2(-2p,-2q)+２×F3(-3p,-3q)+１×F4(-4p,-4q)を演算することにより求めることができる。
【０３８０】
スケーリング合成部１０４は、ステップＳ１１０において、合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を、最小値検出部１０５に供給して、ステップＳ１１１に進む。
【０３８１】
ステップＳ１１１では、最小値検出部１０５は、スケーリング合成部１０４からの合成相関情報E(p,q)が表す相関が最大となる空間方向の位置（注目ブロックからの相対的な位置）(p,q)を、最大相関位置(p0,q0)として検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)を、最大相関位置(p0,q0)として検出し、その最大相関位置(p0,q0)へのベクトルを、平均動きベクトル(p0,q0)として、ステップＳ１１２に進む。
【０３８２】
ステップＳ１１２では、最小値検出部１０５は、ステップＳ１１１で検出された平均動きベクトル(p0,q0)に、元の動画データのフレーム周期t0を、時間方向tのコンポーネントとして加えた３次元の動きベクトル(p0,q0,t0)の方向と直交する方向が、主成分方向であるとして、３次元の動きベクトル(p0,q0,t0)を、フィルタ情報供給部３２（図２５）に供給して、処理を終了する。
【０３８３】
この場合、フィルタ情報供給部３２は、例えば、主成分方向取得部３１の最小値検出部１０５から供給される３次元の動きベクトル(p0,q0,t0)を、そのままフィルタ情報として、フィルタ部２２（図２５）に供給する。
【０３８４】
フィルタ部２２では、図６８に示すフローチャートにしたがった処理が、図２６のステップＳ３の処理として行われる。
【０３８５】
即ち、ステップＳ１３１において、フィルタ部２２は、フィルタ情報供給部３２からフィルタ情報として供給される３次元の動きベクトル(p0,q0,t0)を受信することにより取得し、ステップＳ１３２に進む。
【０３８６】
ステップＳ１３２では、フィルタ部２２は、時刻tのフレームの注目ブロック内の位置(x,y)における画素の画素値C(t,x,y)を、例えば、式(1/16)×D(t-3t0,x-3p0,y-3q0)＋(2/16)×D(t-2t0,x-2p0,y-2q0)＋(3/16)×D(t-t0,x-p0,y-q0)＋(4/16)×D(t,x,y)＋(3/16)×D(t+t0,x+p0,y+q0)＋(2/16)×D(t+2t0,x+2p0,y+2q0)＋(1/16)×D(t+3t0,x+3p0,y+3q0)を演算することにより求めるフィルタリングを行う。なお、D(t,x,y)は、フィルタリングに用いる動画データの時刻tの位置(x,y)における画素値を表す。
【０３８７】
ここで、式(1/16)×D(t-3t0,x-3p0,y-3q0)＋(2/16)×D(t-2t0,x-2p0,y-2q0)＋(3/16)×D(t-t0,x-p0,y-q0)＋(4/16)×D(t,x,y)＋(3/16)×D(t+t0,x+p0,y+q0)＋(2/16)×D(t+2t0,x+2p0,y+2q0)＋(1/16)×D(t+3t0,x+3p0,y+3q0)の演算は、いわゆるタップ係数を、1/16，2/16，3/16，4/16，3/16，2/16，1/16とし、時間方向に７タップを有する（７フレームの画像データを用いたフィルタリングを行う）FIR(Finite Impulse Response)フィルタによるフィルタリングを行うことに等価である。このようなタップ係数のFIRフィルタは、ローパスフィルタである。
【０３８８】
なお、ステップＳ１３２において、画素値C(t,x,y)の演算としてのフィルタリングは、時間方向のサンプル数を1/4に間引くダウンサンプリングを行いながら、即ち、４フレームごとに１フレームの割合で行われる。つまり、tは、例えば、４×t0の倍数である。
【０３８９】
ステップＳ１３２の処理後は、ステップＳ１３３に進み、フィルタ部２２は、フィルタリング結果、即ち、式(1/16)×D(t-3t0,x-3p0,y-3q0)＋(2/16)×D(t-2t0,x-2p0,y-2q0)＋(3/16)×D(t-t0,x-p0,y-q0)＋(4/16)×D(t,x,y)＋(3/16)×D(t+t0,x+p0,y+q0)＋(2/16)×D(t+2t0,x+2p0,y+2q0)＋(1/16)×D(t+3t0,x+3p0,y+3q0)を演算することにより求めた画素値C(t,x,y)を、時刻tの位置(x,y)における画素値として、エンコード部２４に出力する。
【０３９０】
なお、図６８では、時間方向に７タップを有するFIRフィルタによるフィルタリングを行うようにしたが、その他、例えば、時間方向に９タップを有するFIRフィルタによるフィルタリングを行うようにしても良い。
【０３９１】
また、式(1/16)×D(t-3t0,x-3p0,y-3q0)＋(2/16)×D(t-2t0,x-2p0,y-2q0)＋(3/16)×D(t-t0,x-p0,y-q0)＋(4/16)×D(t,x,y)＋(3/16)×D(t+t0,x+p0,y+q0)＋(2/16)×D(t+2t0,x+2p0,y+2q0)＋(1/16)×D(t+3t0,x+3p0,y+3q0)の演算は、ローパスフィルタによるフィルタリングに等価であるが、注目ブロックのフレームに近いほど大きな重みを付した重み付け加算と見ることもできる。
【０３９２】
このように、注目ブロックのフレームに近いほど大きな重みを付した重み付け加算を行うことによって、フィルタリング結果としての画素値C(t,x,y)を求める場合には、合成相関情報E(p,q)を求めるための合成も、上述したように、注目ブロックの時刻tから近い時刻の相関情報ほど大きな重みを付して加算する式８×E1(p,q)+４×E2(2p,2q)+２×E3(3p,3q)+１×E4(4p,4q)+８×F1(-p,-q)+４×F2(-2p,-2q)+２×F3(-3p,-3q)+１×F4(-4p,-4q)の演算によって行うのが望ましい。
【０３９３】
以上のように、注目ブロックと次のフレームとの相関を表す相関情報だけではなく、注目ブロックとその前後の複数のフレームそれぞれとの相関を表す複数の相関情報を用いることによって、注目ブロックから複数のフレームそれぞれへの、いわば平均的な動きを表す平均動きベクトルを求めるようにしたので、その平均動きベクトルから、注目ブロックについて、精度の高い主成分方向を求めることができる。
【０３９４】
さらに、平均動きベクトルを求めるときに用いる複数のフレームの範囲は、フィルタ部２２（図２５）でのフィルタリングに用いられるフレームの範囲に対応した範囲、即ち、フィルタリングに用いられるフレーム（図６８では、注目ブロックのフレームを中心とする７フレーム）とほぼ同様の範囲（図６４乃至図６７では、注目ブロックのフレームを中心とする９フレーム）であるので、フィルタ部２２（図２５）において、正確なフィルタリング結果（本来通過させるべき周波数成分だけのフィルタリング結果）を得ることが可能となる。
【０３９５】
なお、図６８では、注目ブロックのフレームを中心とする７フレームを用いてフィルタリングを行い、図６４乃至図６７では、注目ブロックのフレームを中心とする９フレームを用いて平均動きベクトルを求めるようにしたが、その他、例えば、フィルタリングも平均動きベクトルの算出も、注目ブロックのフレームを中心とする７フレームまたは９フレームを用いて行うことが可能である。また、フィルタリングは、注目ブロックのフレームを中心とする９フレームを用いて行い、平均動きベクトルの算出は、注目ブロックのフレームを中心とする７フレームを用いて行うことも可能である。つまり、フィルタリングに用いるフレームの範囲と、平均動きベクトルの算出に用いるフレームの範囲とは、完全に一致していても良いし、異なっていても、ほぼ一致していれば良い。
【０３９６】
以上のように、フィルタ部２２（図２５）でのフィルタリングに用いられるフレームの範囲とほぼ同様の範囲の複数のフレームを用いて、平均動きベクトルを求めることにより、その平均動きベクトルから、複数のフレームの範囲において比較的正確な主成分方向を求めることができる。
【０３９７】
次に、上述のように、平均動きベクトルによれば、基本的には、比較的正確な主成分方向を求めることができる。
【０３９８】
しかしながら、常時、複数のフレームすべてを用いて、平均動きベクトルを求めると、誤差の大きな平均動きベクトルが得られる場合があり、この場合、主成分方向の精度も劣化し、その結果、フィルタ２２でのフィルタリング結果も、適切でない動画（受信装置２において、人間が画質の劣化を認識しない動画に復元することができない画像）となる。
【０３９９】
即ち、例えば、動画データにおいて、静止している被写体を背景として、その背景の手前側に、動いている被写体が前景として存在する場合、注目ブロックが背景のみを含むときには、他のフレーム（注目フレーム以外のフレーム）では、注目ブロックに対応する背景部分が、前景に隠れて見えない状態となっていることがある。この場合、注目ブロックに対応する背景部分が前景に隠れて見えない状態となっているフレームにおける、注目ブロックとの相関情報の値は、注目ブロックに対応する背景部分の位置で最小になるとは限らず、そのような相関情報を用いて、合成相関情報を算出し、さらに平均動きベクトルを求めると、誤差の大きな平均動きベクトルが得られることがある。
【０４００】
具体的には、送信装置１に入力された動画データが、例えば、図６９に示す被写体が投影された動画データであったとする。
【０４０１】
ここで、図６９における横軸は、空間方向の位置xを表している。そして、図６９上側は、背景である被写体P6901の波形を示しており、図６９下側は、前景である被写体P6902の波形を示している。
【０４０２】
図６９上側に示した被写体P6901は静止しており、図６９下側に示した被写体P6902は、g/t0[m/s]の速さで、空間方向xに移動している。
【０４０３】
なお、上述の場合には、平均動きベクトルの算出にあたり、時刻t-4t0乃至t+4t0の９時刻（９フレーム）の画像データを用いたが、以下では、時刻t-3t0乃至t+3t0の７時刻（７フレーム）の画像データを用いることとする。時刻t-3t0乃至t+3t0の時間は、6t0という短い時間なので、その時間における被写体P6902の速さは一定であるとみなす（近似する）ことができ、上述したg/t0は、その一定の速さを表す。
【０４０４】
図７０および図７１は、図６９に示した被写体P6901とP6902とが投影された、時刻t-3t0乃至t+3t0の７時刻（７フレーム）それぞれの画像データを示している。
【０４０５】
なお、図７０および図７１には、上から順に、時刻t-3t0乃至t+3t0の７時刻それぞれの画像データを図示してある。図７０および図７１は、符号が付してある部分が異なることを除いて、同一の図である。
【０４０６】
上述した図６４乃至図６７のフローチャートにしたがった処理（以下、適宜、第１の動き検出処理という）によれば、例えば、時刻tにおける画像データが、ブロックに分割される（図６４におけるステップＳ１０１）。図７０および図７１では、時刻tにおける画像データが、ブロックB1乃至B16の１６のブロックに分割されている。
【０４０７】
例えば、いま、背景である被写体P6901のみが含まれるブロックB3が注目ブロックであるとして、第１の動き検出処理を行うと、図７０に示すように、時刻t+t0における画像データにおいて、注目ブロックB3と対応する領域は、注目ブロックB3と同一位置の領域B101であるので、図６５のステップＳ１０２で求められる、時刻t+t0における相関情報E1(u1,v1)の値が最小になるのは、位置(u1,v1)=(0,0)のときである。
【０４０８】
同様に、時刻t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データにおいて、注目ブロックB3と対応する領域は、それぞれ、注目ブロックB3と同一位置の領域B201，B301，B-101，B-201，B-301である。従って、時刻t+2t0における相関情報E2(u2,v2)、時刻t+3t0における相関情報E3(u3,v3)、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)、時刻t-3t0における相関情報F3(r3,s3)の値が最小になるのは、いずれも、位置(u2,v2)，(u3,v3)，(r1,s1)，(r2,s2)，(r3,s3)が、(0,0)のときである。
【０４０９】
従って、第１の動き検出処理によれば、図６７のステップＳ１１１において求められる、スケーリング後の相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)の合成結果である合成相関情報E(p,q)を最小にする(p,q)、つまり平均動きベクトル(p0,q0)は、(0,0)であり、その結果、注目ブロックB3については、３次元の動きベクトルとして、(0,0,t0)が求められる。
【０４１０】
この場合、図６８では、注目ブロックB3の各画素について、領域B-301，B-201，B-101，B3，B101，B201，B301それぞれの対応する画素の画素値に対し、重み１／１６，２／１６，３／１６，４／１６，３／１６，２／１６，１／１６を付した重み付け加算を行うフィルタリングが行われる。領域B-301，B-201，B-101，B3，B101，B201，B301は、いずれも、注目ブロックB3に対応した領域であり、従って、領域B-301，B-201，B-101，B3，B101，B201，B301を用いたフィルタリングにより、人間の視覚で認識することができる周波数成分のみのデータ、即ち、いまの場合、(0,0,t0)に直交する方向（注目ブロックB3のデータの主成分方向）に延びる、T方向の幅が2π/(4t0)の領域R1001（図２０）内の周波数成分のみの適正なデータを得ることができる。
【０４１１】
次に、例えば、前景である被写体P6902のみが含まれるブロックB10が注目ブロックであるとして、第１の動き検出処理を行うと、図７０に示すように、時刻t+t0における画像データにおいて、注目ブロックB10と対応する領域は、注目ブロックB10からx方向にgだけずれた位置の領域B102であるので、図６５のステップＳ１０２で求められる、時刻t+t0における相関情報E1(u1,v1)の値が最小になるのは、位置(u1,v1)=(g,0)のときである。
【０４１２】
同様に、時刻t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データにおいて、注目ブロックB10と対応する領域は、それぞれ、注目ブロックB10からx方向に2gだけずれた位置の領域B202、注目ブロックB10からx方向に3gだけずれた位置の領域B302、注目ブロックB10からx方向に-gだけずれた位置の領域B-102、注目ブロックB10からx方向に-2gだけずれた位置の領域B-202、注目ブロックB10からx方向に-3gだけずれた位置の領域B-302である。
【０４１３】
従って、時刻t+2t0における相関情報E2(u2,v2)の値が最小になるのは、位置(u2,v2)が(2g,0)のときであり、時刻t+3t0における相関情報E3(u3,v3)の値が最小になるのは、位置(u3,v3)が(3g,0)のときであり、時刻t-t0における相関情報F1(r1,s1)の値が最小になるのは、位置(r1,s1)が(-g,0)のときであり、時刻t-2t0における相関情報F2(r2,s2)の値が最小になるのは、位置(r2,s2)が(-2g,0)のときであり、時刻t-3t0における相関情報F3(r3,s3)の値が最小になるのは、位置(r3,s3)が、(-3g,0)のときである。
【０４１４】
以上から、第１の動き検出処理によれば、図６７のステップＳ１１１において求められる、スケーリング後の相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)の合成結果である合成相関情報E(p,q)を最小にする(p,q)、つまり平均動きベクトル(p0,q0)は、(g,0)であり、その結果、注目ブロックB10については、３次元の動きベクトルとして、(g,0,t0)が求められる。
【０４１５】
この場合、図６８では、注目ブロックB10の各画素について、領域B-302，B-202，B-102，B10，B102，B202，B302それぞれの対応する画素の画素値に対し、重み１／１６，２／１６，３／１６，４／１６，３／１６，２／１６，１／１６を付した重み付け加算を行うフィルタリングが行われる。領域B-302，B-202，B-102，B10，B102，B202，B302は、いずれも、注目ブロックB10に対応した領域であり、従って、領域B-302，B-202，B-102，B10，B102，B202，B302を用いたフィルタリングにより、人間の視覚で認識することができる周波数成分のみのデータ、即ち、いまの場合、(g,0,t0)に直交する方向（注目ブロックB10のデータの主成分方向）に延びる、T方向の幅が2π/(4t0)の領域内の周波数成分のみの適正なデータを得ることができる。
【０４１６】
以上のように、注目ブロック、および他のフレームの注目ブロックに対応する領域のすべてが、背景である被写体P6901のみを含む場合や、前景である被写体P6902のみを含む場合には、注目ブロックのデータの主成分方向を正確に求め、その主成分方向に基づくフィルタリングによって、人間の視覚で認識することができる周波数成分のみの適切なデータを得ることができる。
【０４１７】
これに対して、注目ブロック、または他のフレームの注目ブロックに対応する領域が、速度が異なる複数の被写体を含む場合、つまり、速度が異なる複数の被写体の境界部分を含む場合には、誤差の大きな平均動きベクトルが求められることがある。この場合、そのような平均動きベクトルからは、注目ブロックのデータの主成分方向を正確に求められず、その結果、主成分方向に基づくフィルタリングによって、人間の視覚で認識することができる周波数成分のみの適切なデータを得ることができないことがある。
【０４１８】
即ち、例えば、図７１において、背景である被写体P6901のみを含むブロックB7が注目ブロックであるとして、第１の動き検出処理を行うと、時刻t+t0における画像データにおいて、注目ブロックB7と対応する領域は、注目ブロックB7と同一位置の領域B111であるので、図６５のステップＳ１０２で求められる、時刻t+t0における相関情報E1(u1,v1)の値が最小になるのは、位置(u1,v1)=(0,0)のときである。
【０４１９】
同様に、時刻t+2t0，t+3t0，t-t0，t-2t0における画像データにおいて、注目ブロックB7と対応する領域は、それぞれ、注目ブロックB7と同一位置の領域B211，B311，B-111，B-211である。従って、時刻t+2t0における相関情報E2(u2,v2)、時刻t+3t0における相関情報E3(u3,v3)、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)の値が最小になるのは、いずれも、位置(u2,v2)，(u3,v3)，(r1,s1)，(r2,s2)が、(0,0)のときである。
【０４２０】
しかしながら、時刻t-3t0における画像データにおいて、注目ブロックB7と対応する領域は、本来は、注目ブロックB7と同一位置の領域B-311であるはずであるが、図７１では、動いている被写体P6902の後ろに隠れてしまっており、存在しない。このため、時刻t-3t0における相関情報F3(r3,s3)の値が最小になるのは、位置(r3,s3)が(0,0)のときであって欲しいが、相関情報F3(r3,s3)の値が、位置(r3,s3)が(0,0)のときに最小になるとは限らない。
【０４２１】
そして、第１の動き検出処理によれば、図６７のステップＳ１１１において、スケーリング後の相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)の合成結果である合成相関情報E(p,q)を最小にする(p,q)、つまり平均動きベクトル(p0,q0)が求められ、さらに、３次元の動きベクトルとして、(p0,q0,t0)が求められる。
【０４２２】
この３次元の動きベクトル(p0,q0,t0)は、位置(r3,s3)が(0,0)のときに値が最小になるとは限らない相関情報F3(r3,s3)を用いて求められた合成相関情報E(p,q)を最小にする(p,q)である平均動きベクトル(p0,q0)から得られるため、その３次元の動きベクトル(p0,q0,t0)に直交する方向が、注目ブロックB7のデータの主成分方向を正確に表しているとは限らない。
【０４２３】
そして、そのような３次元の動きベクトル(p0,q0,t0)に直交する方向に基づくフィルタリングでは、人間の視覚で認識することができる周波数成分のみの適切なデータを得ることが困難となる。
【０４２４】
次に、例えば、図７１において、背景である被写体P6901のみを含むブロックB14が注目ブロックであるとして、第１の動き検出処理を行うと、時刻t+t0における画像データにおいて、注目ブロックB14と対応する領域は、注目ブロックB14と同一位置の領域B112であるので、図６５のステップＳ１０２で求められる、時刻t+t0における相関情報E1(u1,v1)の値が最小になるのは、位置(u1,v1)=(0,0)のときである。
【０４２５】
同様に、時刻t-t0，t-2t0，t-3t0における画像データにおいて、注目ブロックB14と対応する領域は、それぞれ、注目ブロックB14と同一位置の領域B-112，B-212，B-312である。従って、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)、時刻t-3t0における相関情報F3(r3,s3)の値が最小になるのは、いずれも、位置(r1,s1)，(r2,s2)，(r3,s3)が、(0,0)のときである。
【０４２６】
しかしながら、時刻t+2t0における画像データにおいて、注目ブロックB14と対応する領域は、本来は、注目ブロックB14と同一位置の領域B212であるはずであるが、動いている被写体P6902の後ろに隠れてしまっており、存在しない。このため、時刻t+2t0における相関情報E2(u2,v2)の値が最小になるのは、位置(u2,v2)が(0,0)のときであって欲しいが、相関情報E2(u2,v2)の値が、位置(u2,v2)が(0,0)のときに最小になるとは限らない。
【０４２７】
同様に、時刻t+3t0における画像データにおいて、注目ブロックB14と対応する領域は、本来は、注目ブロックB14と同一位置の領域B312であるはずであるが、動いている被写体P6902の後ろに隠れてしまっており、存在しない。このため、時刻t+3t0における相関情報E3(u3,v3)の値が最小になるのは、位置(u3,v3)が(0,0)のときであって欲しいが、相関情報E3(u3,v3)の値が、位置(u3,v3)が(0,0)のときに最小になるとは限らない。
【０４２８】
そして、第１の動き検出処理によれば、図６７のステップＳ１１１において、スケーリング後の相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)の合成結果である合成相関情報E(p,q)を最小にする(p,q)、つまり平均動きベクトル(p0,q0)が求められ、さらに、３次元の動きベクトルとして、(p0,q0,t0)が求められる。
【０４２９】
この３次元の動きベクトル(p0,q0,t0)は、位置(u2,v2)が(0,0)のときに値が最小になるとは限らない相関情報F2(u2,v2)と、位置(u3,v3)が(0,0)のときに値が最小になるとは限らない相関情報F3(u3,v3)を用いて求められた合成相関情報E(p,q)を最小にする(p,q)である平均動きベクトル(p0,q0)から得られるため、その３次元の動きベクトル(p0,q0,t0)に直交する方向が、注目ブロックB14のデータの主成分方向を正確に表しているとは限らない。
【０４３０】
そして、そのような３次元の動きベクトル(p0,q0,t0)に直交する方向に基づくフィルタリングでは、人間の視覚で認識することができる周波数成分のみの適切なデータを得ることが困難となる。
【０４３１】
次に、例えば、図７１において、背景である被写体P6901と前景である被写体P6902とを含むブロックB9が注目ブロックであるとして、第１の動き検出処理を行うと、注目ブロックB9は、静止している被写体P6901と、動いている被写体P6902との両方を含むため、即ち、静止している被写体P6901のある位置において、動いている被写体P6902が、静止している被写体P6901を隠した状態となっているため、そのような注目ブロックB9に対応する領域は、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データのいずれにも存在しない。
【０４３２】
このため、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)の値は、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データにおける、注目ブロックB9と最も類似する位置(u1,v1)，(u2,v2)，(u3,v3)，(r1,s1)，(r2,s2)，(r3,s3)で、それぞれ最小となる
【０４３３】
そして、第１の動き検出処理によれば、図６７のステップＳ１１１において、スケーリング後の相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)の合成結果である合成相関情報E(p,q)を最小にする(p,q)、つまり平均動きベクトル(p0,q0)が求められ、さらに、３次元の動きベクトルとして、(p0,q0,t0)が求められる。
【０４３４】
この３次元の動きベクトル(p0,q0,t0)は、注目ブロックB9と最も類似する位置において最小になる相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)を用いて求められた合成相関情報E(p,q)を最小にする(p,q)である平均動きベクトル(p0,q0)から得られるため、その３次元の動きベクトル(p0,q0,t0)に直交する方向が、注目ブロックB9のデータの主成分方向を正確に表しているとは限らない。
【０４３５】
そして、そのような３次元の動きベクトル(p0,q0,t0)に直交する方向に基づくフィルタリングでは、人間の視覚で認識することができる周波数成分のみの適切なデータを得ることが困難となる。
【０４３６】
以上のように、注目ブロック、または他のフレームの注目ブロックに対応する領域が、速度が異なる複数の被写体を含む場合、つまり、速度が異なる複数の被写体の境界部分を含む場合には、第１の動き検出処理では、平均動きベクトル、ひいては、注目ブロックのデータの主成分方向を正確に求めることができず、そのような主成分方向に基づくフィルタリングが行われることによって、人間の視覚で認識することができる周波数成分のみの適切なデータを得ることが困難となることがあった。
【０４３７】
そこで、図７２は、注目ブロック、または他のフレームの注目ブロックに対応する領域が、速度が異なる複数の被写体を含む場合であっても、平均動きベクトル、ひいては、注目ブロックのデータの主成分方向を正確に求める処理（以下、適宜、第２の動き検出処理という）を行う図２５の主成分方向取得部３１の構成例を示している。
【０４３８】
なお、図中、図５２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図７２の主成分方向取得部３１は、スケーリング合成部１０４と最小値検出部１０５に代えて、それぞれスケーリング合成部１２４と最小値検出部１２５が設けられている他は、図５２における場合と同様に構成されている。
【０４３９】
スケーリング合成部１２４は、図５２のスケーリング合成部１０４と同様に、相関演算部１０３から供給される、複数の相関演算対象フレームそれぞれについて求められた相関情報を、空間方向x,yにスケーリングし、さらに、そのスケーリング後の相関情報を合成して、合成相関情報を求める。但し、スケーリング合成部１２４では、スケーリング後の相関情報を合成する数（合成する相関情報の数）を変えて、複数の合成相関情報が求められる。そして、スケーリング合成部１２４は、複数の合成相関情報を、最小値検出部１２５に供給する。
【０４４０】
最小値検出部１２５は、スケーリング合成部１２４からの複数の合成相関情報のうちの、相関が最大の合成相関情報である最大合成相関情報を求める。即ち、最小値検出部１２５は、スケーリング合成部１２４からの複数の合成相関情報それぞれの「値」の最小値を求める。さらに、最小値検出部１２５は、複数の合成相関情報から、最小値が最小の合成相関情報を、最大合成相関情報として求める。
【０４４１】
さらに、最小値検出部１２５は、最大合成相関情報が表す相関が最大となる空間方向の位置を、即ち、最大合成相関情報の「値」を最小にする空間方向の位置を、最大相関位置として検出し、その最大相関位置へのベクトルを、平均動きベクトルとして求める。そして、最小値検出部１２５は、平均動きベクトルに、バッファ部２１（図２５）に記憶されている動画データのフレーム周期t0を、時間方向tのコンポーネントとして加えた３次元の動きベクトルを求め、その３次元の動きベクトルの方向と直交する方向を、注目ブロックの主成分方向として検出して出力する。
【０４４２】
また、最小値検出部１２５は、合成相関情報を求めるのに用いられた複数のフレームのうちの、最大合成相関情報を求めるのに合成した相関情報の演算に用いられたフレームの範囲を表す後述するカーネルサイズを、注目ブロックの動きベクトル（平均動きベクトル）の有効範囲、つまり、注目ブロックの主成分方向の有効範囲として、さらに求め、注目ブロックの主成分方向とともに出力する。
【０４４３】
次に、図７３乃至図７７のフローチャートを参照して、主成分方向取得部３１が図７２に示したように構成される場合の図２５のフィルタ生成部２３の処理について説明する。
【０４４４】
なお、図７３乃至図７７のフローチャートにしたがったステップＳ１５１乃至Ｓ１７６の処理のうちの、ステップＳ１５１乃至Ｓ１７２の処理は、第２の動き検出処理であり、図３１のステップＳ１１の処理に対応する。また、ステップＳ１７３乃至Ｓ１７５の処理は、図３１のステップＳ１２の処理に対応し、ステップＳ１７６の処理は、図３１のステップＳ１３の処理に対応する。
【０４４５】
第２の動き検出処理では、速度が異なる複数の被写体が投影された動画の、いわば性質を利用して、注目ブロックとの相関情報を演算する複数のフレームのうちの、注目ブロックと対応する領域を有するフレームについて求められた相関情報だけを合成して合成相関情報を得て、その合成相関情報を用いて、注目ブロックの正確な主成分方向を得ることができる平均動きベクトルを求める。
【０４４６】
即ち、例えば、図６９乃至図７１に示したように、静止している被写体P6901の手前側に、動いている被写体P6902が存在する時刻t-3t0乃至t+3t0の７フレームの間の時間は、6t0という短い時間であるので、動いている被写体P6902の速度は、一定であると近似することができる。
【０４４７】
そして、時刻tの画像データのあるブロックを注目ブロックとした場合に、その注目ブロックに対して、動いている被写体P6902が、遠ざかっていくケースでは、時刻tよりも時間的に後の時刻（未来の時刻）の画像データにおいて、注目ブロックと対応する領域が存在する。即ち、例えば、図７１において、ブロックB7が注目ブロックである場合には、その注目ブロックB7に対して、被写体P6902が遠ざかっていくが、この場合、時刻tよりも時間的に後の時刻t+t0，t+2t0，t+3t0それぞれにおいて、注目ブロックB7に対応する領域B111，B211，B311が存在する。
【０４４８】
また、注目ブロックに対して、動いている被写体P6902が、近づいてくるケースでは、時刻tよりも時間的に前の時刻（過去の時刻）の画像データにおいて、注目ブロックと対応する領域が存在する。即ち、例えば、図７１において、ブロックB14が注目ブロックである場合には、その注目ブロックB14に対して、被写体P6902が近づいてくるが、この場合、時刻tよりも時間的に前の時刻t-t0，t-2t0，t-3t0それぞれにおいて、注目ブロックB14に対応する領域B-112，B-212，B-312が存在する。
【０４４９】
なお、注目ブロックに、静止している被写体P6901と、動いている被写体P6902とが存在するケースでは、時刻tの前後の時刻の画像データにおいて、注目ブロックと対応する領域は存在しない。即ち、例えば、図７１において、ブロックB9が注目ブロックである場合には、注目ブロックB9には、静止している被写体P6901と、動いている被写体P6902とが存在するが、この場合、時刻tよりも前の時刻t-t0，t-2t0，t-3t0と、後の時刻t+t0，t+2t0，t+3t0のうちのいずれにも、注目ブロックB9と対応する領域は存在しない。
【０４５０】
第２の動き検出処理では、以上のような、速度が異なる複数の被写体が投影された動画の性質を利用した処理が行われる。
【０４５１】
即ち、図７２の主成分方向取得部３１において、バッファ部１０１には、バッファ部２１（図２５）から読み出された動画データが供給され、バッファ部１０１は、その動画データを一時記憶する。
【０４５２】
そして、図７３のステップＳ１５１において、ブロック抽出部１０２は、バッファ部１０１に記憶された動画データを、図６４のステップＳ１０１における場合と同様に、例えば１６×１６画素のブロックに分割し、相関演算部１０３に供給する。なお、以降の処理は、ブロック抽出部１０２で得られたブロックを、順次、注目ブロックとして行われる。
【０４５３】
ここで、図６４乃至図６７における場合と同様に、注目ブロックの位置（例えば、注目ブロックの左上の画素の位置）を、(x0,y0)と表す。また、注目ブロックのフレーム（注目フレーム）は、時刻tのフレームであるとする。
【０４５４】
ステップＳ１５１の処理後は、ステップＳ１５２に進み、相関演算部１０３は、注目フレームの次のフレームの画像データである時刻t+t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t+t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数E1(u1,v1)を、注目ブロックを対応させる時刻t+t0の画像データの位置(x0+u1,y0+v1)を変えながら求め、その関数E1(u1,v1)を、時刻t+t0における相関情報として、スケーリング合成部１２４に供給して、ステップＳ１５３に進む。
【０４５５】
ステップＳ１５３では、相関演算部１０３は、注目フレームの次の次のフレームの画像データである時刻t+2t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t+2t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数E2(u2,v2)を、注目ブロックを対応させる時刻t+2t0の画像データの位置(x0+u2,y0+v2)を変えながら求め、その関数E2(u2,v2)を、時刻t+2t0における相関情報として、スケーリング合成部１２４に供給して、ステップＳ１５４に進む。
【０４５６】
ステップＳ１５４では、相関演算部１０３は、注目フレームの３フレームだけ時間的に先の画像データである時刻t+3t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t+3t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数E3(u3,v3)を、注目ブロックを対応させる時刻t+3t0の画像データの位置(x0+u3,y0+v3)を変えながら求め、その関数E3(u3,v3)を、時刻t+3t0における相関情報として、スケーリング合成部１２４に供給して、図７４のステップＳ１５５に進む。
【０４５７】
ステップＳ１５５では、相関演算部１０３は、注目フレームの前のフレームの画像データである時刻t-t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t-t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数F1(r1,s1)を、注目ブロックを対応させる時刻t-t0の画像データの位置(x0+r1,y0+s1)を変えながら求め、その関数F1(r1,s1)を、時刻t-t0における相関情報として、スケーリング合成部１２４に供給して、ステップＳ１５６に進む。
【０４５８】
ステップＳ１５６では、相関演算部１０３は、注目フレームの前の前のフレームの画像データである時刻t-2t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t-2t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数F2(r2,s2)を、注目ブロックを対応させる時刻t-2t0の画像データの位置(x0+r2,y0+s2)を変えながら求め、その関数F2(r2,s2)を、時刻t-2t0における相関情報として、スケーリング合成部１２４に供給して、ステップＳ１５７に進む。
【０４５９】
ステップＳ１５７では、相関演算部１０３は、注目フレームの３フレームだけ時間的に前の画像データである時刻t-3t0の画像データを、バッファ部１０１から読み出し、注目ブロックと、時刻t-3t0の画像データとの、対応する画素どうしの差分絶対値の総和を表す関数F3(r3,s3)を、注目ブロックを対応させる時刻t-3t0の画像データの位置(x0+r3,y0+s3)を変えながら求め、その関数F3(r3,s3)を、時刻t-3t0における相関情報として、スケーリング合成部１２４に供給して、ステップＳ１５８に進む。
【０４６０】
ステップＳ１５８では、スケーリング合成部１２４は、相関演算部１０３から供給された６つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)のうちのすべてについて、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準としてスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１２４は、位置(p,q)=(u1,v1)=(u2/2,v2/2)=(u3/3,v3/3)=(-r1,-s1)=(-r2/2,-s2/2)=(-r3/3,-s3/3)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報E1(p,q)，E2(2p,2q)，E3(3p,3q)，F1(-p,-q)，F2(-2p,-2q)，F3(-3p,-3q)を加算することにより、合成相関情報E(p,q)(=E1(p,q)+E2(2p,2q)+E3(3p,3q)+F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q))を求める。
【０４６１】
なお、合成相関情報E(p,q)は、スケーリング後の相関情報を単純に加算する他、上述したように、重み付け加算することにより求めることもできる。
【０４６２】
以上のように、スケーリング合成部１２４は、ステップＳ１５８において、時刻t+t0における相関情報E1(u1,v1)、時刻t+2t0における相関情報E2(u2,v2)、時刻t+3t0における相関情報E3(u3,v3)、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)、時刻t-3t0における相関情報F3(r3,s3)のすべてを合成した合成相関情報E(p,q)、即ち、注目フレームの時刻tに対して時間的に後の３フレームと、時間的に前の３フレームのそれぞれについての、合計で６つの相関情報を合成した合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を求めるにあたって合成した相関情報の数である６によって、合成相関情報E(p,q)を除算することにより正規化し、さらに、正規化後の合成相関情報E(p,q)に、所定のオフセット値L33を加算することにより、最終的な合成相関情報E(p,q)(={E1(p,q)+E2(2p,2q)+E3(3p,3q)+F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q)}/6+L33)を得る。そして、スケーリング合成部１２４は、その最終的な合成相関情報E(p,q)を、最小値検出部１２５に供給して、ステップＳ１５８からＳ１５９に進む。
【０４６３】
ステップＳ１５９では、最小値検出部１２５は、ステップＳ１５８でスケーリング合成部１２４から供給された、注目フレームの時刻tに対して時間的に後の３フレームと、時間的に前の３フレームのそれぞれについての相関情報を合成した合成相関情報E(p,q)が表す相関が最大となる空間方向の位置(p,q)である(p33,q33)を検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)である(p33,q33)を検出し、位置(p,q)が最大相関位置(p33,q33)である場合の合成相関情報E(p33,q33)の「値」、即ち、最小値E33とともに記憶して、図７５のステップＳ１６０に進む。
【０４６４】
ステップＳ１６０では、スケーリング合成部１２４は、相関演算部１０３から供給された６つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)のうちの、５つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)について、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準としてスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１２４は、位置(p,q)=(u1,v1)=(u2/2,v2/2)=(u3/3,v3/3)=(-r1,-s1)=(-r2/2,-s2/2)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報E1(p,q)，E2(2p,2q)，E3(3p,3q)，F1(-p,-q)，F2(-2p,-2q)を加算することにより、合成相関情報E(p,q)(=E1(p,q)+E2(2p,2q)+E3(3p,3q)+F1(-p,-q)+F2(-2p,-2q))を求める。
【０４６５】
以上のように、スケーリング合成部１２４は、ステップＳ１６０において、時刻t+t0における相関情報E1(u1,v1)、時刻t+2t0における相関情報E2(u2,v2)、時刻t+3t0における相関情報E3(u3,v3)、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)の５つを合成した合成相関情報E(p,q)、即ち、注目フレームの時刻tに対して時間的に後の３フレームと、時間的に前の２フレームのそれぞれについての、合計で５つの相関情報を合成した合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を求めるにあたって合成した相関情報の数である５によって、合成相関情報E(p,q)を除算することにより正規化し、さらに、正規化後の合成相関情報E(p,q)に、所定のオフセット値L23を加算することにより、最終的な合成相関情報E(p,q)(={E1(p,q)+E2(2p,2q)+E3(3p,3q)+F1(-p,-q)+F2(-2p,-2q)}/5+L23)を得る。そして、スケーリング合成部１２４は、その最終的な合成相関情報E(p,q)を、最小値検出部１２５に供給して、ステップＳ１６０からＳ１６１に進む。
【０４６６】
ステップＳ１６１では、最小値検出部１２５は、ステップＳ１６０でスケーリング合成部１２４から供給された、注目フレームの時刻tに対して時間的に後の３フレームと、時間的に前の２フレームのそれぞれについての相関情報を合成した合成相関情報E(p,q)が表す相関が最大となる空間方向の位置(p,q)である(p23,q23)を検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)である(p23,q23)を検出し、位置(p,q)が最大相関位置(p23,q23)である場合の合成相関情報E(p23,q23)の「値」、即ち、最小値E23とともに記憶して、ステップＳ１６２に進む。
【０４６７】
ステップＳ１６２では、スケーリング合成部１２４は、相関演算部１０３から供給された６つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)のうちの、４つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)について、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準としてスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１２４は、位置(p,q)=(u1,v1)=(u2/2,v2/2)=(u3/3,v3/3)=(-r1,-s1)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報E1(p,q)，E2(2p,2q)，E3(3p,3q)，F1(-p,-q)を加算することにより、合成相関情報E(p,q)(=E1(p,q)+E2(2p,2q)+E3(3p,3q)+F1(-p,-q))を求める。
【０４６８】
以上のように、スケーリング合成部１２４は、ステップＳ１６２において、時刻t+t0における相関情報E1(u1,v1)、時刻t+2t0における相関情報E2(u2,v2)、時刻t+3t0における相関情報E3(u3,v3)、時刻t-t0における相関情報F1(r1,s1)の４つを合成した合成相関情報E(p,q)、即ち、注目フレームの時刻tに対して時間的に後の３フレームと、時間的に前の１フレームのそれぞれについての、合計で４つの相関情報を合成した合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を求めるにあたって合成した相関情報の数である４によって、合成相関情報E(p,q)を除算することにより正規化し、さらに、正規化後の合成相関情報E(p,q)に、所定のオフセット値L13を加算することにより、最終的な合成相関情報E(p,q)(={E1(p,q)+E2(2p,2q)+E3(3p,3q)+F1(-p,-q)}/4+L13)を得る。そして、スケーリング合成部１２４は、その最終的な合成相関情報E(p,q)を、最小値検出部１２５に供給して、ステップＳ１６２からＳ１６３に進む。
【０４６９】
ステップＳ１６３では、最小値検出部１２５は、ステップＳ１６２でスケーリング合成部１２４から供給された、注目フレームの時刻tに対して時間的に後の３フレームと、時間的に前の１フレームのそれぞれについての相関情報を合成した合成相関情報E(p,q)が表す相関が最大となる空間方向の位置(p,q)である(p13,q13)を検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)である(p13,q13)を検出し、位置(p,q)が最大相関位置(p13,q13)である場合の合成相関情報E(p13,q13)の「値」、即ち、最小値E13とともに記憶して、ステップＳ１６４に進む。
【０４７０】
ステップＳ１６４では、スケーリング合成部１２４は、相関演算部１０３から供給された６つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)のうちの、３つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)について、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準としてスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１２４は、位置(p,q)=(u1,v1)=(u2/2,v2/2)=(u3/3,v3/3)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報E1(p,q)，E2(2p,2q)，E3(3p,3q)を加算することにより、合成相関情報E(p,q)(=E1(p,q)+E2(2p,2q)+E3(3p,3q))を求める。
【０４７１】
以上のように、スケーリング合成部１２４は、ステップＳ１６４において、時刻t+t0における相関情報E1(u1,v1)、時刻t+2t0における相関情報E2(u2,v2)、時刻t+3t0における相関情報E3(u3,v3)の３つを合成した合成相関情報E(p,q)、即ち、注目フレームの時刻tに対して時間的に後の３フレームのそれぞれについての、合計で３つの相関情報を合成した合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を求めるにあたって合成した相関情報の数である３によって、合成相関情報E(p,q)を除算することにより正規化し、さらに、正規化後の合成相関情報E(p,q)に、所定のオフセット値L03を加算することにより、最終的な合成相関情報E(p,q)(={E1(p,q)+E2(2p,2q)+E3(3p,3q)}/3+L03)を得る。そして、スケーリング合成部１２４は、その最終的な合成相関情報E(p,q)を、最小値検出部１２５に供給して、ステップＳ１６４からＳ１６５に進む。
【０４７２】
ステップＳ１６５では、最小値検出部１２５は、ステップＳ１６４でスケーリング合成部１２４から供給された、注目フレームの時刻tに対して時間的に後の３フレームのそれぞれについての相関情報を合成した合成相関情報E(p,q)が表す相関が最大となる空間方向の位置(p,q)である(p03,q03)を検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)である(p03,q03)を検出し、位置(p,q)が最大相関位置(p03,q03)である場合の合成相関情報E(p03,q03)の「値」、即ち、最小値E03とともに記憶して、図７６のステップＳ１６６に進む。
【０４７３】
ステップＳ１６６では、スケーリング合成部１２４は、相関演算部１０３から供給された６つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)のうちの、５つの相関情報E1(u1,v1)，E2(u2,v2)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)について、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準としてスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１２４は、位置(p,q)=(u1,v1)=(u2/2,v2/2)=(-r1,-s1)=(-r2/2,-s2/2)=(-r3/3,-s3/3)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報E1(p,q)，E2(2p,2q)，F1(-p,-q)，F2(-2p,-2q)，F3(-3p,-3q)を加算することにより、合成相関情報E(p,q)(=E1(p,q)+E2(2p,2q)+F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q))を求める。
【０４７４】
以上のように、スケーリング合成部１２４は、ステップＳ１６６において、時刻t+t0における相関情報E1(u1,v1)、時刻t+2t0における相関情報E2(u2,v2)、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)、時刻t-3t0における相関情報F3(r3,s3)を合成した合成相関情報E(p,q)、即ち、注目フレームの時刻tに対して時間的に後の２フレームと、時間的に前の３フレームのそれぞれについての、合計で５つの相関情報を合成した合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を求めるにあたって合成した相関情報の数である５によって、合成相関情報E(p,q)を除算することにより正規化し、さらに、正規化後の合成相関情報E(p,q)に、所定のオフセット値L32を加算することにより、最終的な合成相関情報E(p,q)(={E1(p,q)+E2(2p,2q)+F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q)}/5+L32)を得る。そして、スケーリング合成部１２４は、その最終的な合成相関情報E(p,q)を、最小値検出部１２５に供給して、ステップＳ１６６からＳ１６７に進む。
【０４７５】
ステップＳ１６７では、最小値検出部１２５は、ステップＳ１６６でスケーリング合成部１２４から供給された、注目フレームの時刻tに対して時間的に後の２フレームと、時間的に前の３フレームのそれぞれについての相関情報を合成した合成相関情報E(p,q)が表す相関が最大となる空間方向の位置(p,q)である(p32,q32)を検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)である(p32,q32)を検出し、位置(p,q)が最大相関位置(p32,q32)である場合の合成相関情報E(p32,q32)の「値」、即ち、最小値E32とともに記憶して、ステップＳ１６８に進む。
【０４７６】
ステップＳ１６８では、スケーリング合成部１２４は、相関演算部１０３から供給された６つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)のうちの、４つの相関情報E1(u1,v1)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)について、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準としてスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１２４は、位置(p,q)=(u1,v1)=(-r1,-s1)=(-r2/2,-s2/2)=(-r3/3,-s3/3)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報E1(p,q)，F1(-p,-q)，F2(-2p,-2q)，F3(-3p,-3q)を加算することにより、合成相関情報E(p,q)(=E1(p,q)+F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q))を求める。
【０４７７】
以上のように、スケーリング合成部１２４は、ステップＳ１６８において、時刻t+t0における相関情報E1(u1,v1)、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)、時刻t-3t0における相関情報F3(r3,s3)を合成した合成相関情報E(p,q)、即ち、注目フレームの時刻tに対して時間的に後の１フレームと、時間的に前の３フレームのそれぞれについての、合計で４つの相関情報を合成した合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を求めるにあたって合成した相関情報の数である４によって、合成相関情報E(p,q)を除算することにより正規化し、さらに、正規化後の合成相関情報E(p,q)に、所定のオフセット値L31を加算することにより、最終的な合成相関情報E(p,q)(={E1(p,q)+F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q)}/4+L31)を得る。そして、スケーリング合成部１２４は、その最終的な合成相関情報E(p,q)を、最小値検出部１２５に供給して、ステップＳ１６８からＳ１６９に進む。
【０４７８】
ステップＳ１６９では、最小値検出部１２５は、ステップＳ１６８でスケーリング合成部１２４から供給された、注目フレームの時刻tに対して時間的に後の１フレームと、時間的に前の３フレームのそれぞれについての相関情報を合成した合成相関情報E(p,q)が表す相関が最大となる空間方向の位置(p,q)である(p31,q31)を検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)である(p31,q31)を検出し、位置(p,q)が最大相関位置(p31,q31)である場合の合成相関情報E(p31,q31)の「値」、即ち、最小値E31とともに記憶して、ステップＳ１７０に進む。
【０４７９】
ステップＳ１７０では、スケーリング合成部１２４は、相関演算部１０３から供給された６つの相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)のうちの、３つの相関情報F1(r1,s1)，F2(r2,s2)，F3(r3,s3)について、相関情報E1(u1,v1)の位置(u1,v1)のスケールを基準としてスケーリングを行い、さらに、そのスケーリング後の相関情報を合成して、合成相関情報E(p,q)を求める。即ち、スケーリング合成部１２４は、位置(p,q)=(-r1,-s1)=(-r2/2,-s2/2)=(-r3/3,-s3/3)とすることによりスケーリングを行い、さらに、そのスケーリング後の相関情報F1(-p,-q)，F2(-2p,-2q)，F3(-3p,-3q)を加算することにより、合成相関情報E(p,q)(=F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q))を求める。
【０４８０】
以上のように、スケーリング合成部１２４は、ステップＳ１７０において、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)、時刻t-3t0における相関情報F3(r3,s3)を合成した合成相関情報E(p,q)、即ち、注目フレームの時刻tに対して時間的に前の３フレームのそれぞれについての、合計で３つの相関情報を合成した合成相関情報E(p,q)を求めた後、その合成相関情報E(p,q)を求めるにあたって合成した相関情報の数である３によって、合成相関情報E(p,q)を除算することにより正規化し、さらに、正規化後の合成相関情報E(p,q)に、所定のオフセット値L30を加算することにより、最終的な合成相関情報E(p,q)(={F1(-p,-q)+F2(-2p,-2q)+F3(-3p,-3q)}/3+L30)を得る。そして、スケーリング合成部１２４は、その最終的な合成相関情報E(p,q)を、最小値検出部１２５に供給して、ステップＳ１７０からＳ１７１に進む。
【０４８１】
ステップＳ１７１では、最小値検出部１２５は、ステップＳ１７０でスケーリング合成部１２４から供給された、注目フレームの時刻tに対して時間的に前の３フレームのそれぞれについての相関情報を合成した合成相関情報E(p,q)が表す相関が最大となる空間方向の位置(p,q)である(p30,q30)を検出し、即ち、合成相関情報E(p,q)の「値」を最小にする位置(p,q)である(p30,q30)を検出し、位置(p,q)が最大相関位置(p30,q30)である場合の合成相関情報E(p30,q30)の「値」、即ち、最小値E30とともに記憶して、図７７のステップＳ１７２に進む。
【０４８２】
ステップＳ１７２では、最小値検出部１２５は、スケーリング合成部１２４からの複数の合成相関情報のうちの、相関が最大の合成相関情報である最大合成相関情報を求める。即ち、最小値検出部１２５は、注目フレームの時刻tに対して時間的に後の３フレームと時間的に前の３フレームの６つの相関情報を合成した合成相関情報E(p,q)の最小値E33（ステップＳ１５９）、注目フレームの時刻tに対して時間的に後の３フレームと時間的に前の２フレームの５つの相関情報を合成した合成相関情報E(p,q)の最小値E23（ステップＳ１６１）、注目フレームの時刻tに対して時間的に後の３フレームと時間的に前の１フレームの４つの相関情報を合成した合成相関情報E(p,q)の最小値E13（ステップＳ１６３）、注目フレームの時刻tに対して時間的に後の３フレームの３つの相関情報を合成した合成相関情報E(p,q)の最小値E03（ステップＳ１６５）、注目フレームの時刻tに対して時間的に後の２フレームと時間的に前の３フレームの５つの相関情報を合成した合成相関情報E(p,q)の最小値E32（ステップＳ１６７）、注目フレームの時刻tに対して時間的に後の１フレームと時間的に前の３フレームの４つの相関情報を合成した合成相関情報E(p,q)の最小値E31（ステップＳ１６９）、注目フレームの時刻tに対して時間的に前の３フレームの３つの相関情報を合成した合成相関情報E(p,q)の最小値E30（ステップＳ１７１）のうちの最小のものを与える合成相関情報を、最大合成相関情報として求める。
【０４８３】
ここで、最大合成相関情報となった合成相関情報を求めるのに、注目フレームの時刻tに対して時間的に後のkフレームと時間的に前のhフレームの相関情報の、合計でk+hの相関情報を合成したとすると（ここでは、k,h=0,1,2,3）、最小値E33，E23，E13，E03，E32，E31，E30のうちの最小のものは、Ehkで表すことができる。
【０４８４】
ステップＳ１７２では、さらに、最小値検出部１２５は、最大合成相関情報の「値」を最小にする空間方向の位置、即ち、最大合成相関情報の最小値Ehkを与える空間方向の位置(phk,qhk)を、最小値E33，E23，E13，E03，E32，E31，E30それぞれとともに記憶した位置(p33,q33)，(p23,q23)，(p13,q13)，(p03,q03)，(p32,q32)，(p31,q31)，(p30,q30)の中から選択することにより検出し、最大相関位置(p0,q0)とする。
【０４８５】
そして、最小値検出部１２５は、最大相関位置(p0,q0)を、平均動きベクトル(p0,q0)として、その平均動きベクトル(p0,q0)に、元の動画データのフレーム周期t0を、時間方向tのコンポーネントとして加えた３次元の動きベクトル(p0,q0,t0)を求め、その３次元の動きベクトル(p0,q0,t0)の方向と直交する方向が、主成分方向であるとして、３次元の動きベクトル(p0,q0,t0)を、フィルタ情報供給部３２（図２５）に供給するとともに、最大合成相関情報の最小値Ehkを、フィルタ情報供給部３２に供給する。さらに、最小値検出部１２５は、最大合成相関情報の最小値Ehkのサフィックスである(h,k)を、最大合成相関情報を求めるのに合成した相関情報の演算に用いられたフレームの範囲を表すカーネルサイズとして、フィルタ情報供給部３２に供給して、ステップＳ１７２からＳ１７３に進む。
【０４８６】
ここで、上述したオフセット値L33（ステップＳ１５８），L23（ステップＳ１６０），L13（ステップＳ１６２），L03（ステップＳ１６４），L32（ステップＳ１６６），L31（ステップＳ１６８），L30（ステップＳ１７０）は、式L33≦L32≦L31≦L30、かつ、式L33≦L23≦L13≦L03を満たす小さな定数である。
【０４８７】
ステップＳ１７３では、フィルタ情報供給部３２（図２５）は、図７２の主成分方向取得部３１（の最小値検出部１２５）からの最大合成相関情報の最小値Ehkが、所定の閾値ε以下（未満）であるかどうかを判定する。ここで、ステップＳ１７３で用いられる閾値εは、オフセット値L33，L23，L13，L03，L32，L31，L30よりも大きな値で、例えば、シミュレーションなどによって決定することができる。また、閾値εは、ユーザの操作に応じて設定することも可能である。
【０４８８】
ステップＳ１７３において、最大合成相関情報の最小値Ehkが、所定の閾値ε以下であると判定された場合、即ち、最大合成相関情報の最小値Ehkがある程度小さく、従って、注目ブロックと対応する領域が、時刻tの前または後のフレームに存在する場合、ステップＳ１７４に進み、フィルタ情報供給部３２は、周波数ドメインにおいて、原点(0,0)から、主成分方向取得部３１からの主成分方向に延びる領域であって、T方向に２π／（４×t0）の幅を有し、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域、即ち、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として決定するとともに、図７２の主成分方向取得部３１（の最小値検出部１２５）からの(h,k)を、そのままカーネルサイズとして決定し、ステップＳ１７６に進む。
【０４８９】
一方、ステップＳ１７３において、最大合成相関情報の最小値Ehkが、所定の閾値ε以下でないと判定された場合、即ち、最大合成相関情報の最小値Ehkが大きく、従って、注目ブロックと対応する領域が、時刻tの前および後のフレームのいずれにも存在しない場合、ステップＳ１７５に進み、フィルタ情報供給部３２は、ステップＳ１７４における場合と同様に、周波数ドメインにおいて、原点(0,0)から、主成分方向取得部３１からの主成分方向に延びる領域であって、T方向に２π／（４×t0）の幅を有し、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域を、フィルタの通過帯域として決定する。さらに、ステップＳ１７５では、フィルタ情報供給部３２は、図７２の主成分方向取得部３１（の最小値検出部１２５）からの(h,k)に代えて、(h,k)=(0,0)を、カーネルサイズとして決定し、ステップＳ１７６に進む。
【０４９０】
ステップＳ１７６では、フィルタ情報供給部３２は、ステップＳ１７４またはＳ１７５で決定したフィルタの通過帯域を表すフィルタ情報として、例えば、３次元の動きベクトル(p0,q0,t0)を、フィルタ部２２（図２５）に供給するとともに、カーネルサイズ(h,k)を、フィルタ部２２に供給し、処理を終了する。
【０４９１】
図７３乃至図７７に示したフローチャートにしたがった処理によれば、注目ブロックについて、次のようなフィルタ情報としての３次元の動きベクトル(p0,q0,t0)と、カーネルサイズ(h,k)を求めることができる。
【０４９２】
例えば、図７０に示した動画データにおいて、ブロックB3が注目ブロックである場合には、上述したように、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データそれぞれにおいて、注目ブロックB3と対応する領域B101，B201，B301，B-101，B-201，B-301が存在し、時刻t+t0における相関情報E1(u1,v1)、時刻t+2t0における相関情報E2(u2,v2)、時刻t+3t0における相関情報E3(u3,v3)、時刻t-t0における相関情報F1(r1,s1)、時刻t-2t0における相関情報F2(r2,s2)、時刻t-3t0における相関情報F3(r3,s3)の値は、いずれも、位置(u2,v2)，(u3,v3)，(r1,s1)，(r2,s2)，(r3,s3)が(0,0)のときに最小になり、ほぼ０となる。
【０４９３】
この場合、図７４のステップＳ１５９で求められる、合成相関関数E(p,q)の最小値E33を与える位置(p33,q33)は(0,0)となり、最小値E33は、ほぼオフセット値L33に等しくなる。同様に、図７５のステップＳ１６１で求められる、合成相関関数E(p,q)の最小値E23を与える位置(p23,q23)は(0,0)となり、最小値E23は、ほぼオフセット値L23に等しくなる。また、図７５のステップＳ１６３で求められる、合成相関関数E(p,q)の最小値E13を与える位置(p13,q13)は(0,0)となり、最小値E13は、ほぼオフセット値L13に等しくなる。さらに、図７５のステップＳ１６５で求められる、合成相関関数E(p,q)の最小値E03を与える位置(p03,q03)は(0,0)となり、最小値E03は、ほぼオフセット値L03に等しくなる。また、図７６のステップＳ１６７で求められる、合成相関関数E(p,q)の最小値E32を与える位置(p32,q32)は(0,0)となり、最小値E32は、ほぼオフセット値L32に等しくなる。さらに、図７６のステップＳ１６９で求められる、合成相関関数E(p,q)の最小値E31を与える位置(p31,q31)は(0,0)となり、最小値E31は、ほぼオフセット値L31に等しくなる。また、図７６のステップＳ１７１で求められる、合成相関関数E(p,q)の最小値E30を与える位置(p30,q30)は(0,0)となり、最小値E30は、ほぼオフセット値L30に等しくなる。
【０４９４】
オフセット値L33，L23，L13，L03，L32，L31，L30は、上述したように、式L33≦L32≦L31≦L30、かつ、式L33≦L23≦L13≦L03を満たすので、注目ブロックB3については、図７７のステップＳ１７２において、基本的に、ほぼオフセット値L33となる最小値E33が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出され、平均動きベクトル(p0,q0)として(0,0)が求められる。さらに、ステップＳ１７２では、３次元の動きベクトル(p0,q0,t0)として(0,0,t0)が求められ、カーネルサイズ(h,k)として(3,3)が求められる。
【０４９５】
さらに、オフセット値L33は、上述したように、ステップＳ１７３における閾値εより小さい（以下である）ので、ほぼオフセット値L33となる最小値E33が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出される注目ブロックB3については、図７７のステップＳ１７４において、フィルタ情報となる３次元の動きベクトル(p0,q0,t0)として(0,0,t0)が得られるとともに、カーネルサイズ(h,k)として(3,3)が得られる。
【０４９６】
これは、時刻t-ht0からt+kt0、つまり、時刻t-3t0からt+3t0の間は、注目ブロックB3は、(0,0,t0)という速度（時間t0の間に、空間方向に(0,0)だけ移動する速度）で移動しているということを示している。
【０４９７】
従って、カーネルサイズ(h,k)は、３次元の動きベクトル(p0,q0,t0)、ひいては、その３次元の動きベクトル(p0,q0,t0)から求められる注目ブロックの主成分方向の有効範囲を表しているということができる。
【０４９８】
次に、例えば、図７０に示した動画データにおいて、ブロックB10が注目ブロックである場合には、上述したように、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データそれぞれにおいて、注目ブロックB3と対応する領域B102，B202，B302，B-102，B-202，B-302が存在し、時刻t+t0における相関情報E1(u1,v1)の値は、位置(u1,v1)が(g,0)のときに、時刻t+2t0における相関情報E2(u2,v2)の値は、位置(u2,v2)が(2g,0)のときに、時刻t+3t0における相関情報E3(u3,v3)の値は、位置(u3,v3)が(3g,0)のときに、時刻t-t0における相関情報F1(r1,s1)の値は、位置(r1,s1)が(-g,0)のときに、時刻t-2t0における相関情報F2(r2,s2)の値は、位置(r2,s2)が(-2g,0)のときに、時刻t-3t0における相関情報F3(r3,s3)の値は、位置(r3,s3)が、(-3g,0)のときに、それぞれ最小になり、ほぼ０となる。
【０４９９】
この場合、図７４のステップＳ１５９で求められる、合成相関関数E(p,q)の最小値E33を与える位置(p33,q33)は(g,0)となり、最小値E33は、ほぼオフセット値L33に等しくなる。同様に、図７５のステップＳ１６１で求められる、合成相関関数E(p,q)の最小値E23を与える位置(p23,q23)は(g,0)となり、最小値E23は、ほぼオフセット値L23に等しくなる。また、図７５のステップＳ１６３で求められる、合成相関関数E(p,q)の最小値E13を与える位置(p13,q13)は(g,0)となり、最小値E13は、ほぼオフセット値L13に等しくなる。さらに、図７５のステップＳ１６５で求められる、合成相関関数E(p,q)の最小値E03を与える位置(p03,q03)は(g,0)となり、最小値E03は、ほぼオフセット値L03に等しくなる。また、図７６のステップＳ１６７で求められる、合成相関関数E(p,q)の最小値E32を与える位置(p32,q32)は(g,0)となり、最小値E32は、ほぼオフセット値L32に等しくなる。さらに、図７６のステップＳ１６９で求められる、合成相関関数E(p,q)の最小値E31を与える位置(p31,q31)は(g,0)となり、最小値E31は、ほぼオフセット値L31に等しくなる。また、図７６のステップＳ１７１で求められる、合成相関関数E(p,q)の最小値E30を与える位置(p30,q30)は(g,0)となり、最小値E30は、ほぼオフセット値L30に等しくなる。
【０５００】
オフセット値L33，L23，L13，L03，L32，L31，L30は、上述したように、式L33≦L32≦L31≦L30、かつ、式L33≦L23≦L13≦L03を満たすので、注目ブロックB10については、図７７のステップＳ１７２において、基本的に、ほぼオフセット値L33となる最小値E33が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出され、平均動きベクトル(p0,q0)として(g,0)が求められる。さらに、ステップＳ１７２では、３次元の動きベクトル(p0,q0,t0)として(g,0,t0)が求められ、カーネルサイズ(h,k)として(3,3)が求められる。
【０５０１】
さらに、オフセット値L33は、上述したように、ステップＳ１７３における閾値εより小さいので、ほぼオフセット値L33となる最小値E33が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出される注目ブロックB10については、図７７のステップＳ１７４において、フィルタ情報となる３次元の動きベクトル(p0,q0,t0)として(g,0,t0)が得られるとともに、カーネルサイズ(h,k)として(3,3)が得られる。
【０５０２】
これは、時刻t-ht0からt+kt0、つまり、時刻t-3t0からt+3t0の間は、注目ブロックB10は、(g,0,t0)という速度（時間t0の間に、空間方向に(g,0)だけ移動する速度）で移動しているということを示している。
【０５０３】
次に、例えば、図７１に示した動画データにおいて、ブロックB7が注目ブロックである場合には、上述したように、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0における画像データそれぞれにおいて、注目ブロックB7と対応する領域B111，B211，B311，B-111，B-211が存在し、時刻t+t0における相関情報E1(u1,v1)の値は、位置(u1,v1)が(0,0)のときに、時刻t+2t0における相関情報E2(u2,v2)の値は、位置(u2,v2)が(0,0)のときに、時刻t+3t0における相関情報E3(u3,v3)の値は、位置(u3,v3)が(0,0)のときに、時刻t-t0における相関情報F1(r1,s1)の値は、位置(r1,s1)が(0,0)のときに、時刻t-2t0における相関情報F2(r2,s2)の値は、位置(r2,s2)が(0,0)のときに、それぞれ最小になり、ほぼ０となる。
【０５０４】
しかしながら、時刻t-3t0における画像データにおいて、注目ブロックB7と対応する領域は、本来は、注目ブロックB7と同一位置の領域B-311であるはずであるが、動いている被写体P6902の後ろに隠れてしまっており、存在しない。このため、時刻t-3t0における相関情報F3(r3,s3)の値が最小になるのは、位置(r3,s3)が(0,0)のときであって欲しいが、相関情報F3(r3,s3)の値は、位置(r3,s3)が(0,0)のときに最小になるとは限らない。即ち、相関情報F3(r3,s3)の値は、(0,0)とは限らないある位置(r3,s3)において最小になり、さらに、その値は、ある程度大きな値となる。
【０５０５】
この場合、図７４のステップＳ１５８において、時刻t-3t0における相関情報F3(r3,s3)をも用いて求められる合成相関関数E(p,q)については、その最小値E33を与える位置(p33,q33)は、(0,0)とは限らないある位置となり、最小値E33は、オフセット値L33よりかなり大きな値になる。同様に、図７６のステップＳ１６６において、時刻t-3t0における相関情報F3(r3,s3)をも用いて求められる合成相関関数E(p,q)についても、その最小値E32を与える位置(p32,q32)は、(0,0)とは限らないある位置となり、最小値E32は、オフセット値L32よりかなり大きな値になる。さらに、図７６のステップＳ１６８において、時刻t-3t0における相関情報F3(r3,s3)をも用いて求められる合成相関関数E(p,q)についても、その最小値E31を与える位置(p31,q31)は、(0,0)とは限らないある位置となり、最小値E31は、オフセット値L31よりかなり大きな値になる。また、図７６のステップＳ１７０において、時刻t-3t0における相関情報F3(r3,s3)をも用いて求められる合成相関関数E(p,q)についても、その最小値E30を与える位置(p30,q30)は、(0,0)とは限らないある位置となり、最小値E30は、オフセット値L30よりかなり大きな値になる。
【０５０６】
一方、図７５のステップＳ１６０において、時刻t-3t0における相関情報F3(r3,s3)を用いずに求められる合成相関関数E(p,q)については、その最小値E23を与える位置(p23,q23)は(0,0)となり、最小値E23は、ほぼオフセット値L23に等しくなる。同様に、図７５のステップＳ１６２において、時刻t-3t0における相関情報F3(r3,s3)を用いずに求められる合成相関関数E(p,q)についても、その最小値E13を与える位置(p13,q13)は(0,0)となり、最小値E13は、ほぼオフセット値L13に等しくなる。さらに、図７５のステップＳ１６４において、時刻t-3t0における相関情報F3(r3,s3)を用いずに求められる合成相関関数E(p,q)についても、その最小値E03を与える位置(p03,q03)は(0,0)となり、最小値E03は、ほぼオフセット値L03に等しくなる。
【０５０７】
オフセット値L23，L13，L03は、上述したことから、式L23≦L13≦L03を満たすので、注目ブロックB7については、図７７のステップＳ１７２において、基本的に、ほぼオフセット値L23となる最小値E23が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出され、平均動きベクトル(p0,q0)として(0,0)が求められる。さらに、ステップＳ１７２では、３次元の動きベクトル(p0,q0,t0)として(0,0,t0)が求められ、カーネルサイズ(h,k)として(2,3)が求められる。
【０５０８】
さらに、オフセット値L23は、上述したように、ステップＳ１７３における閾値εより小さいので、ほぼオフセット値L23となる最小値E23が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出される注目ブロックB7については、図７７のステップＳ１７４において、フィルタ情報となる３次元の動きベクトル(p0,q0,t0)として(0,0,t0)が得られるとともに、カーネルサイズ(h,k)として(2,3)が得られる。
【０５０９】
これは、時刻t-ht0からt+kt0、つまり、時刻t-2t0からt+3t0の間は、注目ブロックB7は、(0,0,t0)という速度で移動しているということを示している。
【０５１０】
次に、例えば、図７１に示した動画データにおいて、ブロックB14が注目ブロックである場合には、上述したように、時刻t+t0，t-t0，t-2t0，t-3t0における画像データそれぞれにおいて、注目ブロックB14と対応する領域B112，B-112，B-212，B-312が存在し、時刻t+t0における相関情報E1(u1,v1)の値は、位置(u1,v1)が(0,0)のときに、時刻t-t0における相関情報F1(r1,s1)の値は、位置(r1,s1)が(0,0)のときに、時刻t-2t0における相関情報F2(r2,s2)の値は、位置(r2,s2)が(0,0)のときに、時刻t-3t0における相関情報F3(r3,s3)の値は、位置(r3,s3)が(0,0)のときに、それぞれ最小になり、ほぼ０となる。
【０５１１】
しかしながら、時刻t+2t0における画像データにおいて、注目ブロックB14と対応する領域は、本来は、注目ブロックB14と同一位置の領域B212であるはずであるが、動いている被写体P6902の後ろに隠れてしまっており、存在しない。このため、時刻t+2t0における相関情報E2(u2,v2)の値が最小になるのは、位置(u2,v2)が(0,0)のときであって欲しいが、相関情報E2(u2,v2)の値は、位置(u2,v2)が(0,0)のときに最小になるとは限らない。即ち、相関情報E2(u2,v2)の値は、(0,0)とは限らないある位置(u2,v2)において最小になり、さらに、その値は、ある程度大きな値となる。
【０５１２】
さらに、時刻t+3t0における画像データにおいて、注目ブロックB14と対応する領域は、本来は、注目ブロックB14と同一位置の領域B312であるはずであるが、動いている被写体P6902の後ろに隠れてしまっており、存在しない。このため、時刻t+3t0における相関情報E3(u3,v3)の値が最小になるのは、位置(u3,v3)が(0,0)のときであって欲しいが、相関情報E3(u3,v3)の値は、位置(u3,v3)が(0,0)のときに最小になるとは限らない。即ち、相関情報E3(u3,v3)の値は、(0,0)とは限らないある位置(u3,v3)において最小になり、さらに、その値は、ある程度大きな値となる。
【０５１３】
この場合、図７４のステップＳ１５８において、時刻t+2t0における相関情報E2(u2,v2)および時刻t+3t0における相関情報E3(u3,v3)をも用いて求められる合成相関関数E(p,q)については、その最小値E33を与える位置(p33,q33)は、(0,0)とは限らないある位置となり、最小値E33は、オフセット値L33よりかなり大きな値になる。同様に、図７５のステップＳ１６０において、時刻t+2t0における相関情報E2(u2,v2)および時刻t+3t0における相関情報E3(u3,v3)をも用いて求められる合成相関関数E(p,q)についても、その最小値E23を与える位置(p23,q23)は(0,0)とは限らないある位置となり、最小値E23は、オフセット値L23よりかなり大きな値となる。また、図７５のステップＳ１６２において、時刻t+2t0における相関情報E2(u2,v2)および時刻t+3t0における相関情報E3(u3,v3)をも用いて求められる合成相関関数E(p,q)についても、その最小値E13を与える位置(p13,q13)は、(0,0)とは限らないある位置となり、最小値E13は、オフセット値L13よりかなり大きな値となる。さらに、図７５のステップＳ１６４において、時刻t+2t0における相関情報E2(u2,v2)および時刻t+3t0における相関情報E3(u3,v3)をも用いて求められる合成相関関数E(p,q)についても、その最小値E03を与える位置(p03,q03)は、(0,0)とは限らないある位置となり、最小値E03は、オフセット値L03よりかなり大きな値となる。
【０５１４】
また、図７６のステップＳ１６６において、時刻t+3t0における相関情報E3(u3,v3)は用いられないが、時刻t+2t0における相関情報E2(u2,v2)を用いて求められる合成相関関数E(p,q)についても、その最小値E32を与える位置(p32,q32)は、(0,0)とは限らないある位置となり、最小値E32は、オフセット値L32よりかなり大きな値になる。
【０５１５】
一方、図７６のステップＳ１６８において、時刻t+2t0における相関情報E2(u2,v2)および時刻t+3t0における相関情報E3(u3,v3)のいずれも用いられずに求められる合成相関関数E(p,q)については、その最小値E31を与える位置(p31,q31)は(0,0)となり、最小値E31は、ほぼオフセット値L31に等しくなる。同様に、図７６のステップＳ１７０において、時刻t+2t0における相関情報E2(u2,v2)および時刻t+3t0における相関情報E3(u3,v3)のいずれも用いられずに求められる合成相関関数E(p,q)についても、その最小値E30を与える位置(p30,q30)は(0,0)となり、最小値E30は、ほぼオフセット値L30に等しくなる。
【０５１６】
オフセット値L31，L30は、上述したことから、式L31≦L30を満たすので、注目ブロックB14については、図７７のステップＳ１７２において、基本的に、ほぼオフセット値L31となる最小値E31が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出され、平均動きベクトル(p0,q0)として(0,0)が求められる。さらに、ステップＳ１７２では、３次元の動きベクトル(p0,q0,t0)として(0,0,t0)が求められ、カーネルサイズ(h,k)として(3,1)が求められる。
【０５１７】
さらに、オフセット値L31は、上述したように、ステップＳ１７３における閾値εより小さいので、ほぼオフセット値L31となる最小値E31が、最小値E33，E23，E13，E03，E32，E31，E30の中で最小のものとして検出される注目ブロックB14については、図７７のステップＳ１７４において、フィルタ情報となる３次元の動きベクトル(p0,q0,t0)として(0,0,t0)が得られるとともに、カーネルサイズ(h,k)として(3,1)が得られる。
【０５１８】
これは、時刻t-ht0からt+kt0、つまり、時刻t-3t0からt+t0の間は、注目ブロックB14は、(0,0,t0)という速度で移動しているということを示している。
【０５１９】
次に、例えば、図７１に示した動画データにおいて、ブロックB9が注目ブロックである場合には、上述したように、注目ブロックB9では、静止している被写体P6901のある位置において、動いている被写体P6902が、静止している被写体P6901を隠した状態となっているため、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データのいずれにも、注目ブロックB9と対応する領域は存在しない。
【０５２０】
このため、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における相関情報E1(u1,v1)，E2(u2,v2)，E3(u3,v3)，F1(r1,s1)，F2(r2,s2)，F3(r3,s3)の値は、時刻t+t0，t+2t0，t+3t0，t-t0，t-2t0，t-3t0における画像データの、注目ブロックB9と最も類似する位置(u1,v1)，(u2,v2)，(u3,v3)，(r1,s1)，(r2,s2)，(r3,s3)で、それぞれ最小となるが、その値は、ある程度大きな値となる。
【０５２１】
この場合、図７４のステップＳ１５８において求められる合成相関関数E(p,q)については、その最小値E33を与える位置(p33,q33)は、ある位置となり、最小値E33は、オフセット値L33よりかなり大きな値になる。同様に、図７５のステップＳ１６０において求められる合成相関関数E(p,q)についても、その最小値E23を与える位置(p23,q23)はある位置となり、最小値E23は、オフセット値L23よりかなり大きな値となる。また、図７５のステップＳ１６２において求められる合成相関関数E(p,q)についても、その最小値E13を与える位置(p13,q13)はある位置となり、最小値E13は、オフセット値L13よりかなり大きな値となる。さらに、図７５のステップＳ１６４において求められる合成相関関数E(p,q)についても、その最小値E03を与える位置(p03,q03)はある位置となり、最小値E03は、オフセット値L03よりかなり大きな値となる。また、図７６のステップＳ１６６において求められる合成相関関数E(p,q)についても、その最小値E32を与える位置(p32,q32)はある位置となり、最小値E32は、オフセット値L32よりかなり大きな値になる。さらに、図７６のステップＳ１６８において求められる合成相関関数E(p,q)についても、その最小値E31を与える位置(p31,q31)はある位置となり、最小値E31は、オフセット値L31よりかなり大きな値になる。また、図７６のステップＳ１７０において求められる合成相関関数E(p,q)についても、その最小値E30を与える位置(p30,q30)はある位置となり、最小値E30は、オフセット値L30よりかなり大きな値になる。
【０５２２】
従って、最小値E33，E23，E13，E03，E32，E31，E30は、いずれもかなり大きな値となり、図７７のステップＳ１７２において、その中のいずれが最小のものとして選択されたとしても、ステップＳ１７３における閾値εより大きくなり（以上となり）、注目ブロックB9については、図７７のステップＳ１７５において、フィルタ情報となる３次元の動きベクトル(p0,q0,t0)として(p0',q0',t0)が得られるとともに、カーネルサイズ(h,k)として(0,0)が得られる。
【０５２３】
これは、時刻t-ht0からt+kt0、つまり、時刻tのタイミングだけにおいて、注目ブロックB9は、(p0',q0',t0)という速度で移動しているということを示している。換言すれば、カーネルサイズ(h,k)が(0,0)ということは、注目ブロックB9に対応する領域が、他のどの時刻における画像データ内にも存在しないということである。
【０５２４】
なお、(p0',q0')は、最小値E33，E23，E13，E03，E32，E31，E30のうちの最小のものを与える位置(p,q)を表す。また、カーネルサイズ(h,k)が(0,0)のときの(p,q)はダミーデータであり、使用されることはない。
【０５２５】
以上のように、図７３乃至図７７に示したフローチャートにしたがった処理によれば、注目ブロックについて、フィルタ情報としての３次元の動きベクトル(p0,q0,t0)と、カーネルサイズ(h,k)が求められ、これにより、注目ブロックについて、「時刻t-ht0からt+kt0の間は、注目ブロックは(p0,q0,t0)という速度で移動している」という結果を得ることが出来る。
【０５２６】
なお、オフセット値L33，L23，L13，L03，L32，L31，L30が、式L33≦L32≦L31≦L30、かつ、式L33≦L23≦L13≦L03を満たすことにより、基本的には、図７７のステップＳ１７２において、最小値E33，E23，E13，E03，E32，E31，E30のうちの、hやkの大きい最小値Ehkが選択されやすくなる。これにより、動画データにノイズが含まれ、注目ブロックと、他のフレームの注目ブロックに対応する領域との間に、多少の画素値の違いがあっても、注目ブロックが(p0,q0,t0)という速度で移動しているという範囲（時間）を、過小評価してしまうことを防止することができる。
【０５２７】
次に、図２５の主成分方向取得部３１が図７２に示したように構成されるフィルタ生成部２３が、図７３乃至図７７にしたがった処理を行うことにより、フィルタ生成部２３（のフィルタ情報供給部３２）からフィルタ部２２に対して、フィルタ情報としての３次元の動きベクトル(p0,q0,t0)と、カーネルサイズ(h,k)が供給される場合、フィルタ部２２では、図７８に示すフローチャートにしたがった処理が、図２６のステップＳ３の処理として行われる。
【０５２８】
即ち、ステップＳ１９１において、フィルタ部２２は、フィルタ情報供給部３２からフィルタ情報として供給される３次元の動きベクトル(p0,q0,t0)と、カーネルサイズ(h,k)を受信することにより取得し、ステップＳ１９２に進む。
【０５２９】
ステップＳ１９２では、フィルタ部２２は、時刻tのフレームの注目ブロック内の位置(x,y)における画素の画素値C(t,x,y)を、例えば、時刻t-3t0乃至t+3t0における画素の画素値D(t-3t0,x-3p0,y-3q0)，D(t-2t0,x-2p0,y-2q0)，D(t-t0,x-p0,y-q0)，D(t,x,y)，D(t+t0,x+p0,y+q0)，D(t+2t0,x+2p0,y+2q0)，D(t+3t0,x+3p0,y+3q0)のうちの、カーネルサイズ(h,k)に応じた時刻（フレーム）の範囲の画素値を用いた演算により求めるフィルタリングを行う。なお、D(t,x,y)は、フィルタリングに用いる動画データの時刻tの位置(x,y)における画素値を表す。
【０５３０】
即ち、ステップＳ１９２では、フィルタ部２２は、フィルタリング、つまり、注目ブロック内の位置(x,y)における画素の画素値C(t,x,y)の演算を、カーネルサイズ(h,k)によって表される、動きベクトル(p0,q0,t0)の有効範囲内のフレームの画素値のみを用いて行う。
【０５３１】
具体的には、ステップＳ１９２では、フィルタ部２２は、カーネルサイズ(h,k)が(3,3)である場合、時刻t-3t0乃至t+3t0における画素の画素値D(t-3t0,x-3p0,y-3q0)，D(t-2t0,x-2p0,y-2q0)，D(t-t0,x-p0,y-q0)，D(t,x,y)，D(t+t0,x+p0,y+q0)，D(t+2t0,x+2p0,y+2q0)，D(t+3t0,x+3p0,y+3q0)を用い、例えば、式（１）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。この場合、図６８のステップＳ１３２における場合と同様にして、注目ブロックの主成分方向に延びる、T方向の幅が2π/(4t0)の領域を通過帯域とするフィルタによるフィルタリングが行われる。
【０５３２】
【数１】
2006086705.tif 000003
・・・（１）
【０５３３】
また、フィルタ部２２は、カーネルサイズ(h,k)が(2,3)である場合、時刻t-3t0における画素の画素値D(t-3t0,x-3p0,y-3q0)は用いずに、時刻t-2t0乃至t+3t0における画素の画素値D(t-2t0,x-2p0,y-2q0)，D(t-t0,x-p0,y-q0)，D(t,x,y)，D(t+t0,x+p0,y+q0)，D(t+2t0,x+2p0,y+2q0)，D(t+3t0,x+3p0,y+3q0)を用い、例えば、式（２）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。
【０５３４】
【数２】
2006086705.tif 000004
・・・（２）
【０５３５】
さらに、フィルタ部２２は、カーネルサイズ(h,k)が(1,3)である場合、時刻t-3t0における画素の画素値D(t-3t0,x-3p0,y-3q0)、および時刻t-2t0における画素の画素値D(t-2t0,x-2p0,y-2q0)は用いずに、時刻t-t0乃至t+3t0における画素の画素値D(t-t0,x-p0,y-q0)，D(t,x,y)，D(t+t0,x+p0,y+q0)，D(t+2t0,x+2p0,y+2q0)，D(t+3t0,x+3p0,y+3q0)を用い、例えば、式（３）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。
【０５３６】
【数３】
2006086705.tif 000005
・・・（３）
【０５３７】
また、フィルタ部２２は、カーネルサイズ(h,k)が(0,3)である場合、時刻t-3t0における画素の画素値D(t-3t0,x-3p0,y-3q0)、時刻t-2t0における画素の画素値D(t-2t0,x-2p0,y-2q0)、および時刻t-t0における画素の画素値D(t-t0,x-p0,y-q0)は用いずに、時刻t乃至t+3t0における画素の画素値D(t,x,y)，D(t+t0,x+p0,y+q0)，D(t+2t0,x+2p0,y+2q0)，D(t+3t0,x+3p0,y+3q0)を用い、例えば、式（４）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。
【０５３８】
【数４】
2006086705.tif 000006
・・・（４）
【０５３９】
同様に、フィルタ部２２は、カーネルサイズ(h,k)が(3,2)である場合、時刻t+3t0における画素の画素値D(t+3t0,x+3p0,y+3q0)は用いずに、時刻t-3t0乃至t+2t0における画素の画素値D(t-3t0,x-3p0,y-3q0)，D(t-2t0,x-2p0,y-2q0)，D(t-t0,x-p0,y-q0)，D(t,x,y)，D(t+t0,x+p0,y+q0)，D(t+2t0,x+2p0,y+2q0)を用い、例えば、式（５）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。
【０５４０】
【数５】
2006086705.tif 000007
・・・（５）
【０５４１】
さらに、フィルタ部２２は、カーネルサイズ(h,k)が(3,1)である場合、時刻t+3t0における画素の画素値D(t+3t0,x+3p0,y+3q0)、および時刻t+2t0における画素の画素値D(t+2t0,x+2p0,y+2q0)は用いずに、時刻t-3t0乃至t+t0における画素の画素値D(t-3t0,x-3p0,y-3q0)，D(t-2t0,x-2p0,y-2q0)，D(t-t0,x-p0,y-q0)，D(t,x,y)，D(t+t0,x+p0,y+q0)を用い、例えば、式（６）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。
【０５４２】
【数６】
2006086705.tif 000008
・・・（６）
【０５４３】
また、フィルタ部２２は、カーネルサイズ(h,k)が(3,0)である場合、時刻t+3t0における画素の画素値D(t+3t0,x+3p0,y+3q0)、時刻t+2t0における画素の画素値D(t+2t0,x+2p0,y+2q0)、および時刻t+t0における画素の画素値D(t+t0,x+p0,y+q0)は用いずに、時刻t-3t0乃至tにおける画素の画素値D(t-3t0,x-3p0,y-3q0)，D(t-2t0,x-2p0,y-2q0)，D(t-t0,x-p0,y-q0)，D(t,x,y)を用い、例えば、式（７）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。
【０５４４】
【数７】
2006086705.tif 000009
・・・（７）
【０５４５】
一方、カーネルサイズ(h,k)が(0,0)である場合は、注目ブロックと同一の（画像の）領域（注目ブロックに対応する領域）が、他の時刻t-3t0，t-2t0，t-t0，t+t0，t+2t0，t+3t0の画像に存在しない場合であり、この場合、時間方向のフィルタリングは、画質の劣化をもたらすので、注目ブロックのフレーム（注目フレーム）、即ち、時刻tにおける画素の画素値D(t,x,y)のみを用い、例えば、式（８）にしたがって、注目ブロックの画素値C(t,x,y)の演算を行う。なお、式（８）は、フィルタリングを行わないことと等価である。
【０５４６】
【数８】
2006086705.tif 000010
・・・（８）
【０５４７】
ここで、注目ブロックに対応する領域が、他の時刻t-3t0，t-2t0，t-t0，t+t0，t+2t0，t+3t0の画像に存在しない場合としては、例えば、注目ブロック内に投影されている被写体の移動速度が、人間が認識することができないほど高速である場合や、注目ブロック内に投影されている被写体が、時刻tのフレーム（注目フレーム）にだけ突然現れた場合などがある。
【０５４８】
また、相関情報や合成相関情報の最小値を求めることは、いわゆるブロックマッチングにより動きベクトルを検出することに相当するが、注目ブロック内に投影されている被写体が、ブロックマッチングにおける探索範囲を超えて移動してしまっている場合も、注目ブロックに対応する領域が、他の時刻t-3t0，t-2t0，t-t0，t+t0，t+2t0，t+3t0の画像に存在しない場合に該当する。
【０５４９】
なお、ステップＳ１９２において、画素値C(t,x,y)の演算としてのフィルタリングは、時間方向のサンプル数を1/4に間引くダウンサンプリングを行いながら、即ち、４フレームごとに１フレームの割合で行われる。
【０５５０】
ステップＳ１９２の処理後は、ステップＳ１９３に進み、フィルタ部２２は、フィルタリング結果、即ち、ステップＳ１９２におけるフィルタリング結果（式（１）乃至（８）のうちのいずれかの演算結果）である画素値C(t,x,y)を、時刻tの位置(x,y)における画素値として、エンコード部２４に出力する。
【０５５１】
以上のように、第２の動き検出処理（図７３乃至図７７のステップＳ１５１乃至Ｓ１７６の処理のうちの、ステップＳ１５１乃至Ｓ１７２の処理）では、第１の動き検出処理と同様に、フィルタの通過帯域のT方向の幅である2π/(4t0)に相当する複数のフレームそれぞれとの相関を表す複数の相関情報を用いることによって、注目ブロックから複数のフレームへの、いわば平均的な動きを表す平均動きベクトルを求めるが、その際に、注目ブロックに対応する領域が存在しないフレームについての相関情報を用いないようにしたので、注目ブロックの平均的な動きを正確に表す平均動きベクトルを求めることができ、さらに、注目ブロックについて、正確な主成分方向を求めることができる。
【０５５２】
また、第２の動き検出処理では、カーネルサイズ(h,k)を出力し、フィルタ部２２でのフィルタリングにおいては、そのカーネルサイズ(h,k)に対応した範囲のフレームの画素だけを用いるようにしたので、即ち、注目ブロックに対応する領域が存在しないフレームの画素を用いないようにしたので、人間の視覚で認識することができる周波数成分のみの適切なデータを得ることができる。
【０５５３】
次に、図２４の画像処理システムにおいて、表示装置３が1/t0のフレームレートを有する場合には、受信装置２が出力する1/t0のフレームレートの動画を表示することができるが、表示装置３が、1/t0以外のフレームレートを有する場合には、受信装置２が出力する1/t0のフレームレートの動画を表示することが困難となる。
【０５５４】
そこで、図７９は、表示装置３において、それが有するフレームレートに応じた動画を表示することができるエンコードデータを出力する図２４の送信装置１の構成例を示している。
【０５５５】
なお、図７９において、図２５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図７９の送信装置１は、フィルタ部２２に代えて、フィルタ部２０２が設けられている他は、図２５における場合と同様に構成されている。
【０５５６】
フィルタ部２０２は、周波数ドメインにおいて、フレームレート1/t0の動画データの各部分（各ブロック）の主成分方向に延びる領域であって、T方向に幅2π/(4t0)を有する領域を通過帯域として、フレームレート1/t0の動画データをフィルタリングするとともに、時間方向に1/4のダウンサンプリングすることにより、複数の周波数成分に分割された、フレームレート1/(4t0)の動画データを得て、エンコード部２４に出力する。従って、フィルタ部２０２でのフィルタリングは、複数の周波数成分に分割された動画データが得られる点で、そのような複数の周波数成分に分割されていない動画データが得られる図２５のフィルタ部２２でのフィルタリングと異なる。
【０５５７】
次に、フィルタ部２０２でのフィルタリングの詳細について説明するが、その前に、表示装置３があるフレームレートを有する場合の、その表示装置３の表示能力について説明する。
【０５５８】
図８０は、表示装置３が、例えば、1/t0のフレームレートを有し、かつ、１画素１画素を空間方向にr0の間隔で表示することができる場合の表示能力としての領域R8001を表している。
【０５５９】
領域R8001は、周波数ドメイン上において、X,Y方向がそれぞれ−π／ｒ0から＋π／ｒ0の範囲で、T方向が−π／ｔ0から＋π／ｔ0の範囲の直方体状の領域である。表示装置３が、1/t0のフレームレートを有し、かつ、１画素１画素を空間方向にr0の間隔で表示することができる場合においては、領域R8001内の周波数成分のデータを表示することができる。
【０５６０】
図８１は、表示装置３が、例えば、1/(4t0/3)のフレームレートを有し、かつ、１画素１画素を空間方向にr0の間隔で表示することができる場合の表示能力としての領域R8101を表している。
【０５６１】
領域R8101は、周波数ドメイン上において、X,Y方向がそれぞれ−π／ｒ0から＋π／ｒ0の範囲で、T方向が−π／(4ｔ0/3)から＋π／(4ｔ0/3)の範囲の直方体状の領域である。表示装置３が、1/(4t0/3)のフレームレートを有し、かつ、１画素１画素を空間方向にr0の間隔で表示することができる場合においては、領域R8101内の周波数成分のデータを表示することができる。
【０５６２】
図８２は、表示装置３が、例えば、1/(2t0)のフレームレートを有し、かつ、１画素１画素を空間方向にr0の間隔で表示することができる場合の表示能力としての領域R8201を表している。
【０５６３】
領域R8201は、周波数ドメイン上において、X,Y方向がそれぞれ−π／ｒ0から＋π／ｒ0の範囲で、T方向が−π／(2ｔ0)から＋π／(2ｔ0)の範囲の直方体状の領域である。表示装置３が、1/(2t0)のフレームレートを有し、かつ、１画素１画素を空間方向にr0の間隔で表示することができる場合においては、領域R8201内の周波数成分のデータを表示することができる。
【０５６４】
図８３は、表示装置３が、例えば、1/(4t0)のフレームレートを有し、かつ、１画素１画素を空間方向にr0の間隔で表示することができる場合の表示能力としての領域R8301を表している。
【０５６５】
領域R8301は、周波数ドメイン上において、X,Y方向がそれぞれ−π／ｒ0から＋π／ｒ0の範囲で、T方向が−π／(4ｔ0)から＋π／(4ｔ0)の範囲の直方体状の領域である。表示装置３が、1/(4t0)のフレームレートを有し、かつ、１画素１画素を空間方向にr0の間隔で表示することができる場合においては、領域R8301内の周波数成分のデータを表示することができる。
【０５６６】
図７９の送信装置１のフィルタ部２０２では、フレームレート1/t0の動画データをフィルタリングすることにより、表示装置３（図２４）が、例えば、図８０乃至図８３それぞれで説明したいずれの表示能力を有する場合であっても、その表示能力の範囲で最適な表示を行うことができるように、複数の周波数成分に適切（最適に）に分割されたフレームレート1/(4t0)の動画データを得る。
【０５６７】
ところで、上述したように、動画の中で静止している被写体が投影されている部分については、人間は、図２０に示した領域R1001内のデータしか認識しない。また、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分については、人間は、図２１に示した領域R1101内のデータしか認識しない。さらに、動画の中で、そこに投影されている被写体が速度「ｒ0／ｔ0」程度で動いている部分については、人間は、図２２に示した領域R1201内のデータしか認識しない。また、動画の中で、そこに投影されている被写体が速度「２ｒ0／ｔ0」程度で動いている部分については、人間は、図２３に示した領域R1301内のデータしか認識しない。動画において、この他の速度で移動している動被写体についても、同様である。
【０５６８】
従って、動画を表示するにあたり、その動画における被写体の移動速度に応じて、例えば、図２０の領域R1001内のデータや、図２１の領域R1101内のデータ、図２２の領域R1201内のデータ、図２３に示した領域R1301内のデータが存在すれば、人間は、動画の画質の劣化を認識しないので、そのような領域内のデータがあれば十分である。
【０５６９】
一方、表示装置３が、図８０の領域R8001内の周波数成分のデータを表示することができる表示能力を有する場合には、その領域R8001外の（周波数成分）のデータは不要であり、領域R8001内のデータがあれば十分である。
【０５７０】
同様に、表示装置３が、図８１の領域R8101内の周波数成分のデータを表示することができる表示能力を有する場合には、その領域R8101外のデータは不要であり、領域R8101内のデータがあれば十分である。
【０５７１】
さらに、表示装置３が、図８２の領域R8201内の周波数成分のデータを表示することができる表示能力を有する場合には、その領域R8201外のデータは不要であり、領域R8201内のデータがあれば十分である。
【０５７２】
また、表示装置３が、図８３の領域R8301内の周波数成分のデータを表示することができる表示能力を有する場合には、その領域8301外のデータは不要であり、領域8301内のデータがあれば十分である。
【０５７３】
そこで、図７９のフィルタ部２０２は、図８０乃至図８３で説明した表示能力それぞれを有する表示装置３に対処するために、図２５のフィルタ部２２と同様のフィルタリングを行う他、さらに、図８３の領域R8301内の周波数成分、図８３の領域R8301外であって図８２の領域R8201内の周波数成分、図８２の領域R8201外であって図８１のR8101内の周波数成分、および図８１のR8101外であって図８０の領域R8001内の周波数成分の４つの周波数成分のデータに分割するフィルタリングを行う。
【０５７４】
ここで、以下、適宜、上述の４つの周波数成分のデータのうちの、図８３の領域R8301内の周波数成分のデータを、「低域成分動画データ」という。また、図８３の領域R8301外であって図８２の領域R8201内の周波数成分のデータを、「中低域成分動画データ」といい、図８２の領域R8201外であって図８１の領域R8101内の周波数成分のデータを、「中高域成分動画データ」という。さらに、図８１の領域R8101外であって図８０の領域R8001内の周波数成分のデータを、「高域成分動画データ」という。
【０５７５】
次に、動画データの各部分における「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」について説明する。
【０５７６】
動画の中で静止している被写体が投影されている部分については、図２０の領域R1001内のデータがあれば十分である。そして、図２０の領域R1001は、図８３の領域R8301に等しく、従って、図２０の領域R1001のデータは、図８３の領域R8301外には存在しない。従って、動画の中で静止している被写体が投影されている部分については、図２０の領域R1001のデータのすべてが、「低域成分動画データ」であり、「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」は、いずれも存在しない（０である）。
【０５７７】
次に、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分については、図２１の領域R1101内のデータがあれば十分である。そして、図２１の領域R1101は、T方向が、図８２の領域R8201からはみ出すが、図８１の領域R8101には含まれる。
【０５７８】
従って、速度「（ｒ0／ｔ0）／２」程度で動いている部分については、図８４に示すように、図２１の領域R1101内のデータのうちの、図８３の領域R8301内のデータである領域R8401のデータが、「低域成分動画データ」である。
【０５７９】
また、図８５に示すように、図２１の領域R1101内のデータのうちの、図８３の領域R8301外であって図８２の領域R8201内のデータである領域R8501のデータが、「中低域成分動画データ」である。
【０５８０】
さらに、図８６に示すように、図２１の領域R1101内のデータのうちの、図８２の領域R8201外（であって図８１の領域R8101内）のデータである領域R8601のデータが、「中高域成分動画データ」である。
【０５８１】
なお、図２１の領域R1101は、T方向が、図８１の領域R8101に含まれ、従って、図８１の領域R8101外のデータは存在しないので、速度「（ｒ0／ｔ0）／２」程度で動いている部分については、「高域成分動画データ」は存在しない。
【０５８２】
次に、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）」程度で動いている部分については、図２２の領域R1201内のデータがあれば十分である。そして、図２２の領域R1201は、T方向が、図８０の領域R8001の境界まで存在する。
【０５８３】
従って、速度「（ｒ0／ｔ0）」程度で動いている部分については、図８７に示すように、図２２の領域R1201内のデータのうちの、図８３の領域R8301内のデータである領域R8701のデータが、「低域成分動画データ」である。
【０５８４】
また、図８８に示すように、図２２の領域R1201内のデータのうちの、図８３の領域R8301外であって図８２の領域R8201内のデータである領域R8801のデータが、「中低域成分動画データ」である。
【０５８５】
さらに、図８９に示すように、図２２の領域R1201内のデータのうちの、図８２の領域R8201外であって図８１の領域R8101内のデータである領域R8901のデータが、「中高域成分動画データ」である。
【０５８６】
また、図９０に示すように、図２２の領域R1201内のデータのうちの、図８１の領域R8101外（であって図８０の領域R8001内）のデータである領域R9001のデータが、「高域成分動画データ」である。
【０５８７】
次に、動画の中で、そこに投影されている被写体が速度「（２ｒ0／ｔ0）」程度で動いている部分については、図２３の領域R1301内のデータがあれば十分である。そして、図２３の領域R1301は、T方向が、図８０の領域R8001の境界まで存在する。
【０５８８】
従って、速度「（２ｒ0／ｔ0）」程度で動いている部分については、図９１に示すように、図２３の領域R1301内のデータのうちの、図８３の領域R8301内のデータである領域R9101のデータが、「低域成分動画データ」である。
【０５８９】
また、図９２に示すように、図２３の領域R1301内のデータのうちの、図８３の領域R8301外であって図８２の領域R8201内のデータである領域R9201のデータが、「中低域成分動画データ」である。
【０５９０】
さらに、図９３に示すように、図２３の領域R1301内のデータのうちの、図８２の領域R8201外であって図８１の領域R8101内のデータである領域R9301のデータが、「中高域成分動画データ」である。
【０５９１】
また、図９４に示すように、図２３の領域R1301内のデータのうちの、図８１の領域R8101外（であって図８０の領域R8001内）のデータである領域R9401のデータが、「高域成分動画データ」である。
【０５９２】
次に、図９５乃至図９７のフローチャートを参照して、図７９の送信装置１の処理について説明する。
【０５９３】
バッファ部２１には、フレームレート1/t0が、例えば、240fpsの高フレームレートの動画データが供給されて順次記憶される。
【０５９４】
そして、ステップＳ２０１とＳ２０２において、図２６のステップＳ１とＳ２における場合とそれぞれ同様の処理が行われる。
【０５９５】
即ち、ステップＳ２０１において、フィルタ生成部２３は、バッファ部２１に記憶された動画データを読み出して、自身（フィルタ生成部２３）に入力し、ステップＳ２０２に進む。
【０５９６】
ステップＳ２０２では、フィルタ生成部２３（の主成分方向取得部３１およびフィルタ情報供給部３２）が、ステップＳ２０１で入力された動画データの各部分（例えば、各ブロック）について、周波数ドメイン上で人間が認識することができる領域、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として求め、その通過帯域をフィルタ情報として、フィルタ部２０２に供給する、上述の図３１などで説明した「必要な情報の通過帯域を求める処理」を行い、ステップＳ２０３に進む。
【０５９７】
ここで、ステップＳ２０２で求められるフィルタの通過帯域を、以下、適宜、基本帯域という。
【０５９８】
ステップＳ２０３では、フィルタ部２０２が、バッファ部２１から、ステップＳ２０２でフィルタ生成部２３から供給されたフィルタ情報のフィルタによるフィルタリングに用いるデータを読み出し、そのデータに対して、ステップＳ２０２でフィルタ生成部２３から供給されたフィルタ情報が表す基本帯域の周波数成分を通過させ、かつ、図８３の領域R8301の周波数成分を通過させるフィルタを適用しながら、時間方向のサンプル数を1/4に間引くダウンサンプリングを行う。
【０５９９】
そして、ステップＳ２０３からＳ２０４に進み、フィルタ部２０２は、ステップＳ２０３のフィルタリングおよびダウンサンプリングによって得られるデータ、即ち、フレームレート1/(4t0)の「低域成分動画データ」を、エンコード部２４に出力して、図９６のステップＳ２０５に進む。
【０６００】
ステップＳ２０５では、フィルタ部２０２が、ステップＳ２０３でバッファ部２１から読み出したデータに対して、ステップＳ２０２でフィルタ生成部２３から供給されたフィルタ情報が表す基本帯域の周波数成分を通過させるとともに、図８２の領域R8201の周波数成分を通過させるが、図８３の領域R8301の周波数成分は通過させないフィルタ（帯域制限フィルタ）を適用しながら、時間方向のサンプル数を1/4に間引くダウンサンプリングを行う。
【０６０１】
そして、ステップＳ２０５からＳ２０６に進み、フィルタ部２０２は、ステップＳ２０５のフィルタリングおよびダウンサンプリングによって得られるデータ、即ち、フレームレート1/(4t0)の「中低域成分動画データ」を、エンコード部２４に出力して、ステップＳ２０７に進む。
【０６０２】
ステップＳ２０７では、フィルタ部２０２が、ステップＳ２０３でバッファ部２１から読み出したデータに対して、ステップＳ２０２でフィルタ生成部２３から供給されたフィルタ情報が表す基本帯域の周波数成分を通過させるとともに、図８１の領域R8101の周波数成分を通過させるが、図８２の領域R8201の周波数成分は通過させないフィルタを適用しながら、時間方向のサンプル数を1/4に間引くダウンサンプリングを行う。
【０６０３】
そして、ステップＳ２０７からＳ２０８に進み、フィルタ部２０２は、ステップＳ２０７のフィルタリングおよびダウンサンプリングによって得られるデータ、即ち、フレームレート1/(4t0)の「中高域成分動画データ」を、エンコード部２４に出力して、図９７のステップＳ２０９に進む。
【０６０４】
ステップＳ２０９では、フィルタ部２０２が、ステップＳ２０３でバッファ部２１から読み出したデータに対して、ステップＳ２０２でフィルタ生成部２３から供給されたフィルタ情報が表す基本帯域の周波数成分を通過させるとともに、図８０の領域R8001の周波数成分を通過させるが、図８１の領域R8101の周波数成分は通過させないフィルタを適用しながら、時間方向のサンプル数を1/4に間引くダウンサンプリングを行う。
【０６０５】
そして、ステップＳ２０９からＳ２１０に進み、フィルタ部２０２は、ステップＳ２０９のフィルタリングおよびダウンサンプリングによって得られるデータ、即ち、フレームレート1/(4t0)の「高域成分動画データ」を、エンコード部２４に出力する。
【０６０６】
エンコード部２４では、フィルタ部２０２からの、４つの周波数成分に分割されたフレームレート1/(4t0)の動画データ、即ち、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」それぞれが必要に応じてエンコードされ、さらに多重化されて、エンコードデータとして出力される。このエンコードデータは、図２４で説明したように、記録媒体１１に記録され、あるいは、伝送媒体１２を介して伝送される。
【０６０７】
なお、ステップＳ２０２乃至Ｓ２１０の処理は、バッファ部２１に記憶された動画の各部分（各ブロック）のデータすべてについて行われる。
【０６０８】
また、ステップＳ２０３，Ｓ２０５，Ｓ２０７，Ｓ２０９におけるダウンサンプリングは、バッファ部２１に記憶された動画データの４フレームごとに、１フレームのフィルタリング結果を出力する処理である。従って、フィルタ部２０２では、バッファ部２１に記憶された動画データの４フレームごとに、その４フレームのうちの１フレームついてフィルタリングを行えば良い。
【０６０９】
さらに、図７９の送信装置１のエンコード部２４においては、図２５における場合と同様に、動画の各部分のデータに適用したフィルタのフィルタ情報としての基本帯域を表す、例えば、図２０の領域R1001や、図２１の領域R1301、図２２の領域R1301、図２３の領域R1301の情報や、その領域R1001，R1301，R1301，R1301の主成分方向の情報を、エンコードデータに多重化して出力するようにすることができる。
【０６１０】
以上のように、周波数ドメイン上で人間が認識することができる領域、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301等の基本帯域を、表示装置３の表示能力を表す図８０の領域R8001や、図８１の領域R8101、図８２の領域R8201、図８３の領域R8301で制限した帯域を通過帯域として、動画データをフィルタリングするとともに、ダウンサンプリングを行うようにしたので、人間の目の視覚効果を考慮した動画データの削減を行うことができ、さらに、図８０の領域R8001や、図８１の領域R8101、図８２の領域R8201、図８３の領域R8301によって表される表示能力を有する表示装置３にとって適切に分割された動画データを得ることができる。
【０６１１】
次に、図９８乃至図１０９は、図９５乃至図９７のフローチャートにしたがった処理によって得られる「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」それぞれの周波数ドメイン上の分布を示している。
【０６１２】
まず、動画の中で静止している被写体が投影されている部分については、図２０の領域R1001が基本帯域である。そして、図２０の領域R1001のデータについては、上述したように、そのすべてが、「低域成分動画データ」であり、「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」は、いずれも存在しない。即ち、フィルタリング後の動画データは、領域R1001の「低域成分動画データ」のみである。
【０６１３】
領域R1001のデータである「低域成分動画データ」を、時間方向に1/4にダウンサンプリングすると、そのダウンサンプリング後のデータは、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては４×t0間隔でサンプリングされたデータとなる。
【０６１４】
このため、図９８に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0)間隔で、折り返し成分が生じる。
【０６１５】
但し、領域R1001は、図１０で説明したことから、X,Y方向が2π/r0で、T方向が2π/(4t0)の、原点を中心とする長方形（直方体）状の領域であるため、折り返し成分どうしは重ならない。
【０６１６】
なお、図９８において、影を付してある部分が、ダウンサンプリング後の「低域成分動画データ」が存在する部分である。
【０６１７】
次に、動画の中で、そこに投影されている被写体が速度「（r0／t0）／２」程度で動いている部分については、図２１の領域R1101が基本帯域である。そして、図２１の領域R1101のデータについては、上述したように、そのうちの、図８４の領域R8401のデータが、「低域成分動画データ」であり、図８５の領域R8501のデータが、「中低域成分動画データ」であり、図８６の領域R8601のデータが、「中高域成分動画データ」である。また、図２１の領域R1101のデータについては、「高域成分動画データ」は存在しない。
【０６１８】
図８４の領域R8401のデータである「低域成分動画データ」、図８５の領域R8501のデータである「中低域成分動画データ」、図８６の領域R8601のデータである「中高域成分動画データ」を、時間方向に1/4にダウンサンプリングすると、そのダウンサンプリング後のデータは、いずれも、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては４×t0間隔でサンプリングされたデータとなる。
【０６１９】
このため、図８４の領域R8401のデータである「低域成分動画データ」については、図９９に示すように、図８５の領域R8501のデータである「中低域成分動画データ」については、図１００に示すように、図８６の領域R8601のデータである「中高域成分動画データ」については、図１０１に示すように、それぞれ、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0)間隔で、折り返し成分が生じる。
【０６２０】
但し、図８４の領域R8401、図８５の領域R8501、図８６の領域R8601は、図２１の領域R1101を分割した領域であり、その領域R1101は、図２１で説明したことから、原点(0,0)と点（π／r0，-π／(2t0)）とを結ぶ直線からT方向に2π／(4t0)の幅を有する領域で、かつ、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域であるため、図２８に示したように、時間方向に４×t0間隔でサンプリングされても、折り返し成分どうしは重ならない。従って、図２１の領域R1101を分割して得られる図８４の領域R8401の「低域成分動画データ」（図９９）、図８５の領域R8501の「中低域成分動画データ」（図１００）、図８６の領域R8601の「中高域成分動画データ」（図１０１）についても、折り返し成分どうしは重ならない。
【０６２１】
なお、図９９乃至図１０１において、影を付してある部分が、ダウンサンプリング後の動画データが存在する部分である。
【０６２２】
次に、動画の中で、そこに投影されている被写体が速度「r0／t0」程度で動いている部分については、図２２の領域R1201が基本帯域である。そして、図２２の領域R1201のデータについては、上述したように、そのうちの、図８７の領域R8701のデータが、「低域成分動画データ」であり、図８８の領域R8801のデータが、「中低域成分動画データ」であり、図８９の領域R8901のデータが、「中高域成分動画データ」であり、図９０の領域R9001のデータが、「高域成分動画データ」である。
【０６２３】
図８７の領域R8701のデータである「低域成分動画データ」、図８８の領域R8801のデータである「中低域成分動画データ」、図８９の領域R8901のデータである「中高域成分動画データ」、図９０の領域R9001のデータである「高域成分動画データ」を、時間方向に1/4にダウンサンプリングすると、そのダウンサンプリング後のデータは、いずれも、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては４×t0間隔でサンプリングされたデータとなる。
【０６２４】
このため、図８７の領域R8701のデータである「低域成分動画データ」については、図１０２に示すように、図８８の領域R8801のデータである「中低域成分動画データ」については、図１０３に示すように、図８９の領域R8901のデータである「中高域成分動画データ」については、図１０４に示すように、図９０の領域R9001のデータである「高域成分動画データ」については、図１０５に示すように、それぞれ、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0)間隔で、折り返し成分が生じる。
【０６２５】
但し、図８７の領域R8701、図８８の領域R8801、図８９の領域R8901、図９０の領域R9001は、図２２の領域R1201を分割した領域であり、その領域R1201は、図１２で説明したことから、原点(0,0)と点（π／r0，-π／t0）とを結ぶ直線からT方向に2π／(4t0)の幅を有する領域で、かつ、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域であるため、図２９に示したように、時間方向に４×t0間隔でサンプリングされても、折り返し成分どうしは重ならない。従って、図２２の領域R1201を分割して得られる図８７の領域R8701の「低域成分動画データ」（図１０２）、図８８の領域R8801の「中低域成分動画データ」（図１０３）、図８９の領域R8901の「中高域成分動画データ」（図１０４）、図９０の領域R9001の「高域成分動画データ」（図１０５）についても、折り返し成分どうしは重ならない。
【０６２６】
なお、図１０２乃至図１０５において、影を付してある部分が、ダウンサンプリング後の動画データが存在する部分である。
【０６２７】
次に、動画の中で、そこに投影されている被写体が速度「２r0／t0」程度で動いている部分については、図２３の領域R1301が基本帯域である。そして、図２３の領域R1301のデータについては、上述したように、そのうちの、図９１の領域R9101のデータが、「低域成分動画データ」であり、図９２の領域R9201のデータが、「中低域成分動画データ」であり、図９３の領域R9301のデータが、「中高域成分動画データ」であり、図９４の領域R9401のデータが、「高域成分動画データ」である。
【０６２８】
図９１の領域R9101のデータである「低域成分動画データ」、図９２の領域R9201のデータである「中低域成分動画データ」、図９３の領域R9301のデータである「中高域成分動画データ」、図９４の領域R9401のデータである「高域成分動画データ」を、時間方向に1/4にダウンサンプリングすると、そのダウンサンプリング後のデータは、いずれも、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては４×t0間隔でサンプリングされたデータとなる。
【０６２９】
このため、図９１の領域R9101のデータである「低域成分動画データ」については、図１０６に示すように、図９２の領域R9201のデータである「中低域成分動画データ」については、図１０７に示すように、図９３の領域R9301のデータである「中高域成分動画データ」については、図１０８に示すように、図９４の領域R9401のデータである「高域成分動画データ」については、図１０９に示すように、それぞれ、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0)間隔で、折り返し成分が生じる。
【０６３０】
但し、図９１の領域R9101、図９２の領域R9201、図９３の領域R9301、図９４の領域R9401は、図２３の領域R1301を分割した領域であり、その領域R1301は、図１３で説明したことから、原点(0,0)と点（π／r0，-2π／t0）とを結ぶ直線からT方向に2π／(4t0)の幅を有する領域で、かつ、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域であるため、図３０に示したように、時間方向に４×t0間隔でサンプリングされても、折り返し成分どうしは重ならない。従って、図２３の領域R1301を分割して得られる図９１の領域R9101の「低域成分動画データ」（図１０６）、図９２の領域R9201の「中低域成分動画データ」（図１０７）、図９３の領域R9301の「中高域成分動画データ」（図１０８）、図９４の領域R9401の「高域成分動画データ」（図１０９）についても、折り返し成分どうしは重ならない。
【０６３１】
なお、図１０６乃至図１０９において、影を付してある部分が、ダウンサンプリング後の動画データが存在する部分である。
【０６３２】
以上の図９８乃至図１０９に示したように、周波数ドメインにおいて、ダウンサンプリング後の動画データの折り返し成分どうしは重ならないということは、そのダウンサンプリング後の動画データから、元のデータ、即ち、図２０の領域R1001の「低域成分動画データ」、図８４の領域R8401の「低域成分動画データ」、図８５の領域R8501の「中低域成分動画データ」、図８６の領域R8601の「中高域成分動画データ」、図８７の領域R8701の「低域成分動画データ」、図８８の領域R8801の「中低域成分動画データ」、図８９の領域R8901の「中高域成分動画データ」、図９０の領域R9001の「高域成分動画データ」、図９１の領域R9101の「低域成分動画データ」、図９２の領域R9201の「中低域成分動画データ」、図９３の領域R9301の「中高域成分動画データ」、図９４の領域R9401の「高域成分動画データ」を抽出することができることを意味し、換言すれば、ダウンサンプリング後の動画データが、人間の視覚特性を考慮した必要な情報（人間が認識することができる情報）を、正確に保持していることを意味する。
【０６３３】
次に、以上のようなフレームレート1/(4t0)の「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」が多重化されたエンコードデータが、記録媒体１１または伝送媒体１２（図２４）を介して受信装置２に供給される場合の、その受信装置２の構成と処理について説明する。
【０６３４】
図１１０は、表示装置３が、図８３の領域R8301で表される表示能力を有する場合、即ち、1/(4t0)のフレームレートを有し、かつ、１画素１画素を空間方向にr0の間隔で表示することができる場合の図２４の受信装置２の構成例を示している。
【０６３５】
なお、図１１０において、図３３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１１０の受信装置２は、フィルタ生成部５３が設けられておらず、フィルタ部５２に代えて、抽出部２１１が設けられている他は、図３３における場合と同様に構成されている。
【０６３６】
抽出部２１１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから「低域成分動画データ」を抽出し、表示装置３（図２４）に供給する。
【０６３７】
次に、図１１１のフローチャートを参照して、図１１０の受信装置２の処理について説明する。
【０６３８】
デコード部５０には、エンコードデータが供給される。デコード部５０は、そのエンコードデータを、フレームレートが1/(4t0)の低フレームレートの動画データにデコードし、バッファ部５１に供給する。バッファ部５１では、デコード部５０から供給される1/(4t0)のフレームレートの低フレームレートの動画データが順次記憶される。
【０６３９】
そして、ステップＳ２３１において、抽出部２１１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから、「低域成分動画データ」を抽出し、ステップＳ２３２に進む。
【０６４０】
ステップＳ２３２では、抽出部２１１は、ステップＳ２３１で抽出した「低域成分動画データ」を、表示装置３（図２４）に出力する。
【０６４１】
この場合、図８３の領域R8301で表される表示能力を有する表示装置３には、フレームレート1/(4t0)の「低域成分動画データ」が供給されて表示される。
【０６４２】
即ち、例えば、動画の中で静止している被写体が投影されている部分については、フレームレート1/(4t0)の「低域成分動画データ」は、図９８に示した周波数成分のデータであり、表示装置３では、図１１２に影を付して示すように、図９８に示した周波数成分のデータのうちの、図８３の領域R8301内のデータだけが表示される。そして、図９８に示した折り返し成分は表示されない。
【０６４３】
次に、例えば、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分については、「低域成分動画データ」は、図９９に示した周波数成分のデータであり、表示装置３では、図１１３に影を付して示すように、図９９に示した周波数成分のデータのうちの、図８３の領域R8301内のデータである図８４の領域R8401内のデータだけが表示される。そして、表示装置３では、図９９に示した折り返し成分は表示されない。
【０６４４】
次に、例えば、動画の中で、そこに投影されている被写体が速度「ｒ0／ｔ0」程度で動いている部分については、「低域成分動画データ」は、図１０２に示した周波数成分のデータであり、表示装置３では、図１１４に影を付して示すように、図１０２に示した周波数成分のデータのうちの、図８３の領域R8301内のデータである図８７の領域R8701内のデータだけが表示される。そして、図１０２に示した折り返し成分は表示されない。
【０６４５】
次に、例えば、動画の中で、そこに投影されている被写体が速度「２ｒ0／ｔ0」程度で動いている部分については、「低域成分動画データ」は、図１０６に示した周波数成分のデータであり、表示装置３では、図１１５に影を付して示すように、図１０６に示した周波数成分のデータのうちの、図８３の領域R8301内のデータである図９１の領域R9101内のデータだけが表示される。そして、図１０６に示した折り返し成分は表示されない。
【０６４６】
以上のように、表示装置３が、1/(4t0)のフレームレートを有する場合には、「低域成分動画データ」だけを表示装置３に供給することにより、表示装置３では、その表示能力で表示することができる周波数成分のデータを、折り返し成分の影響を受けずに、適切に（最適に）表示することができる。
【０６４７】
なお、上述の説明から分かるように、実際にバッファ部５１以降で使用される動画データは、「低域成分動画データ」と「中低域成分動画データ」と「中高域成分動画データ」と「高域成分動画データ」の４つのデータのうち、「低域成分動画データ」の１つのデータのみである。従って、図１１０におけるデコード部５０では、送信装置１から送られてくる４つのデータのうち「中低域成分動画データ」と「中高域成分動画データ」と「高域成分動画データ」は、デコードしなくても良い。
【０６４８】
次に、図１１６は、表示装置３が、図８２の領域R8201で表される表示能力を有する場合、即ち、1/(2t0)のフレームレートを有し、かつ、１画素１画素を空間方向にr0の間隔で表示することができる場合の図２４の受信装置２の構成例を示している。
【０６４９】
なお、図１１６において、図３３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１１６の受信装置２は、抽出部２２１および合成部２２２が新たに設けられているとともに、フィルタ部５２に代えてフィルタ部２２３が設けられている他は、図３３における場合と同様に構成されている。
【０６５０】
抽出部２２１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから「低域成分動画データ」と「中低域成分動画データ」を抽出し、合成部２２２に供給する。
【０６５１】
合成部２２２は、抽出部２２１からの、フレームレート1/(4t0)の「低域成分動画データ」と「中低域成分動画データ」を合成し、フレームレート1/(4t0)の合成動画データを、フィルタ部２２３に供給する。
【０６５２】
フィルタ部２２３は、合成部２２２から供給されるフレームレート1/(4t0)の合成動画データを用いて、図３３のフィルタ部５２における場合と同様に、フィルタ情報供給部６２からのフィルタ情報に対応したフィルタリングとアップサンプリングを行う。但し、図３３のフィルタ部５２では、４倍のアップサンプリングが行われたが、フィルタ部２２３は、２倍のアップサンプリングを行う。
【０６５３】
次に、図１１７のフローチャートを参照して、図１１６の受信装置２の処理について説明する。
【０６５４】
デコード部５０には、エンコードデータが供給される。デコード部５０は、そのエンコードデータを、フレームレートが1/(4t0)の低フレームレートの動画データにデコードし、バッファ部５１に供給する。バッファ部５１では、デコード部５０から供給される1/(4t0)のフレームレートの低フレームレートの動画データが順次記憶される。
【０６５５】
そして、ステップＳ２４１において、抽出部２２１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから、「低域成分動画データ」を抽出し、合成部２２２に供給して、ステップＳ２４２に進む。ステップＳ２４２では、抽出部２２１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから、「中低域成分動画データ」を抽出し、合成部２２２に供給して、ステップＳ２４３に進む。
【０６５６】
ステップＳ２４３では、合成部２２２は、抽出部２１１から供給された「低域成分動画データ」と「中低域成分動画データ」とを合成し、即ち、例えば、「低域成分動画データ」と「中低域成分動画データ」を加算し、その結果得られるフレームレート1/(4t0)の合成動画データを、フィルタ部２２３に供給する。
【０６５７】
その後、ステップＳ２４４乃至Ｓ２４６では、フィルタ生成部５３（の主成分方向取得部６１およびフィルタ情報供給部６２）が、合成動画データの各部分（例えば、上述したような１６×１６画素のブロック）について、周波数ドメイン上で人間が認識することができる領域を、フィルタの通過帯域として求め、その通過帯域をフィルタ情報として、フィルタ部２２３に供給する処理、即ち、上述した図３１の「必要な情報の通過帯域を求める処理」と同様の処理を行う。
【０６５８】
即ち、ステップＳ２４４では、フィルタ生成部５３の主成分方向取得部６１は、合成動画データの各部分のデータについて、空間方向x,yの周波数軸X,Y、および時間方向tの周波数軸Tで定義される周波数ドメインでの主成分方向を取得し、フィルタ情報供給部６２に供給して、ステップＳ２４５に進む。
【０６５９】
なお、ステップＳ２４４において主成分方向は、図３１で説明したように、合成動画データ（または「低域成分動画データ」）を対象とした３次元フーリエ変換を行うことにより求めることもできるし、図３２で説明したように、動きベクトルを検出することにより求めることもできる。また、上述したように、送信装置１からのエンコードデータに、主成分方向（の情報）が多重化されている場合には、デコード部５０において、エンコードデータから主成分方向を分離し、主成分方向取得部６１において、デコード部５０から、その主成分方向の供給を受けることにより、主成分方向を取得することもできる。
【０６６０】
さらに、図３４のステップＳ３２で説明したように、エンコードデータに空間方向x,yの動きベクトル(u0,v0)が含まれる場合には、その動きベクトル(u0,v0)を、時間方向のコンポーネントt（ここでは、t=4t0）を加えて、空間方向x,yおよび時間方向tの３次元の動きベクトル(u0,v0,t)とし、図３２で説明したように、その３次元の動きベクトル(u0,v0,t)に直交する平面を主成分方向とすることもできる。
【０６６１】
即ち、送信装置１のエンコード部２４において、「低域成分動画データ」が、少なくとも動き補償を利用する、例えば、MPEGなどのエンコード方法によってエンコードされる場合には、エンコードデータには、動き補償に用いられる動きベクトルが含まれる。そこで、デコード部５０において、バッファ部５１を介して、主成分方向取得部６１に、エンコードデータに含まれる動きベクトルを供給するようにし、主成分方向取得部６１では、その動きベクトルに直交する平面を、主成分方向として求める（検出する）ようにすることができる。
【０６６２】
ステップＳ２４５では、フィルタ情報供給部６２は、周波数ドメインにおいて、原点(0,0)から、主成分方向取得部６１からの主成分方向に延びる領域であって、T方向に２π／（４×t0）の幅を有し、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域、即ち、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として決定し、ステップＳ２４６に進む。
【０６６３】
ステップＳ２４６では、フィルタ情報供給部６２は、ステップＳ２４５で求めたフィルタの通過帯域（を表す情報）を、フィルタ情報として、フィルタ部２２３に供給し、ステップＳ２４７に進む。
【０６６４】
ステップＳ２４７では、フィルタ部２２３が、合成部２２２からの合成動画データに対して、ステップＳ２４６でフィルタ生成部５３（のフィルタ情報供給部６２）から供給されたフィルタ情報が表す通過帯域のフィルタを適用しながら、時間方向のサンプル数を2倍にするアップサンプリングを行う。
【０６６５】
即ち、例えば、いま、ステップＳ２４４で主成分方向が取得された合成動画データの部分としてのブロックを、注目ブロックとするとともに、注目ブロックのフレームを注目フレームとする。
【０６６６】
フィルタ部２２３は、合成部２２２からの合成動画データを、フィルタ生成部５３から供給されたフィルタ情報が表す通過帯域のフィルタ、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を通過帯域とするフィルタによってフィルタリングすることにより、注目ブロックの各画素のデータ（画素値）を求める。
【０６６７】
また、フィルタ部２２３は、合成部２２２からの合成動画データを、フィルタ生成部５３から供給されたフィルタ情報が表す通過帯域のフィルタ、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を通過帯域とするフィルタによってフィルタリングすることにより、注目フレームから次のフレームまでの時間4t0を、時間2t0に等分する１つの時刻における画素であって、注目ブロックの各画素を通り、注目ブロックの３次元の動きベクトルの方向に延びる直線上にある画素のデータを求める。なお、注目ブロックの３次元の動きベクトルは、例えば、主成分方向取得部６１で求め、フィルタ情報供給部６２を介して、フィルタ情報とともに、フィルタ部２２３に供給することができる。
【０６６８】
フィルタ部２２３は、フレームレートが1/(4t0）の合成動画データを対象に、以上のようなフィルタリングおよびアップサンプリングを行うことにより、フレームレートが1/(2t0）の合成動画データを得て、ステップＳ２４７からＳ２４８に進む。
【０６６９】
ステップＳ２４８では、フィルタ部２２３は、ステップＳ２４７で得たフレームレート1/(2t0）の合成動画データを、表示装置３（図２４）に出力する。
【０６７０】
この場合、図８２の領域R8201で表される表示能力を有する表示装置３には、フレームレート1/(2t0)の合成動画データが供給されて表示される。
【０６７１】
即ち、いまの場合、合成動画データは、「低域成分動画データ」と「中低域成分動画データ」とを合成したデータである。
【０６７２】
そして、例えば、動画の中で静止している被写体が投影されている部分については、上述したように、フレームレート1/(4t0)の「低域成分動画データ」は、図９８に示した周波数成分のデータであり、フレームレート1/(4t0)の「中低域成分動画データ」は存在しない。
【０６７３】
従って、図９８に示した周波数成分の「低域成分動画データ」と、存在しない「中低域成分動画データ」とを合成して得られるフレームレート1/(4t0)の合成動画データは、図９８に示した周波数成分のデータとなる。
【０６７４】
そして、図９８のフレームレート1/(4t0)の合成動画データ（動画の中の静止している部分のデータ）については、フィルタ部２２３において、図２０の領域R1001を通過帯域とするフィルタによるフィルタリングと、２倍のアップサンプリングが行われる（図１１７のステップＳ２４７）。従って、そのフィルタリングおよびアップサンプリングによって得られる合成動画データは、図２０の領域R1001内の周波数成分を有し、さらに、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては2t0間隔でサンプリングされたデータとなる。
【０６７５】
このため、図１１８に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(2t0)間隔で、折り返し成分が生じる。
【０６７６】
なお、図１１８において、影を付してある部分が、フレームレート1/(2t0)の合成動画データのうちの静止している部分のデータが存在する部分である。
【０６７７】
表示装置３では、図１１８に示したフレームレート1/(2t0)の合成動画データのうちの、図８２の領域R8201内のデータだけが表示される。つまり、図８２の領域R8201で表される表示能力を有する表示装置３では、図１１９に影を付して示す領域内のデータだけが表示され、図１１８に示した折り返し成分は表示されない。
【０６７８】
次に、例えば、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分については、上述したように、フレームレート1/(4t0)の「低域成分動画データ」は、図９９に示した周波数成分のデータであり、フレームレート1/(4t0)の「中低域成分動画データ」は、図１００に示した周波数成分のデータである。
【０６７９】
従って、図９９に示した周波数成分の「低域成分動画データ」と、図１００に示した周波数成分の「中低域成分動画データ」とを合成して得られるフレームレート1/(4t0)の合成動画データは、図１２０に示す周波数成分のデータとなる。
【０６８０】
そして、図１２０のフレームレート1/(4t0)の合成動画データ（速度「（ｒ0／ｔ0）／２」程度で動いている部分のデータ）については、フィルタ部２２３において、図２１の領域R1101を通過帯域とするフィルタによるフィルタリングと、２倍のアップサンプリングが行われる（図１１７のステップＳ２４７）。従って、そのフィルタリングおよびアップサンプリングによって得られる合成動画データは、図１２１に示すように、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては2t0間隔でサンプリングされたデータとなる。
【０６８１】
即ち、図１２１に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(2t0)間隔で、折り返し成分が生じる。
【０６８２】
なお、図１２１において、影を付してある部分が、フレームレート1/(2t0)の合成動画データのうちの速度「（ｒ0／ｔ0）／２」程度で動いている部分のデータが存在する部分である。
【０６８３】
表示装置３では、図１２１に示したフレームレート1/(2t0)の合成動画データのうちの、図８２の領域R8201内のデータだけが表示される。つまり、図８２の領域R8201で表される表示能力を有する表示装置３では、図１２２に影を付して示す領域内のデータだけが表示され、図１２１に示した折り返し成分は表示されない。
【０６８４】
次に、例えば、動画の中で、そこに投影されている被写体が速度「ｒ0／ｔ0」程度で動いている部分については、上述したように、フレームレート1/(4t0)の「低域成分動画データ」は、図１０２に示した周波数成分のデータであり、フレームレート1/(4t0)の「中低域成分動画データ」は、図１０３に示した周波数成分のデータである。
【０６８５】
従って、図１０２に示した周波数成分の「低域成分動画データ」と、図１０３に示した周波数成分の「中低域成分動画データ」とを合成して得られるフレームレート1/(4t0)の合成動画データは、図１２３に示す周波数成分のデータとなる。
【０６８６】
そして、図１２３のフレームレート1/(4t0)の合成動画データ（速度「ｒ0／ｔ0」程度で動いている部分のデータ）については、フィルタ部２２３において、図２２の領域R1201を通過帯域とするフィルタによるフィルタリングと、２倍のアップサンプリングが行われる（図１１７のステップＳ２４７）。従って、そのフィルタリングおよびアップサンプリングによって得られる合成動画データは、図１２４に示すように、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては2t0間隔でサンプリングされたデータとなる。
【０６８７】
即ち、図１２４に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(2t0)間隔で、折り返し成分が生じる。
【０６８８】
なお、図１２４において、影を付してある部分が、フレームレート1/(2t0)の合成動画データのうちの速度「ｒ0／ｔ0」程度で動いている部分のデータが存在する部分である。
【０６８９】
表示装置３では、図１２４に示したフレームレート1/(2t0)の合成動画データのうちの、図８２の領域R8201内のデータだけが表示される。つまり、図８２の領域R8201で表される表示能力を有する表示装置３では、図１２５に影を付して示す領域内のデータだけが表示され、図１２４に示した折り返し成分は表示されない。
【０６９０】
次に、例えば、動画の中で、そこに投影されている被写体が速度「２ｒ0／ｔ0」程度で動いている部分については、上述したように、フレームレート1/(4t0)の「低域成分動画データ」は、図１０６に示した周波数成分のデータであり、フレームレート1/(4t0)の「中低域成分動画データ」は、図１０７に示した周波数成分のデータである。
【０６９１】
従って、図１０６に示した周波数成分の「低域成分動画データ」と、図１０７に示した周波数成分の「中低域成分動画データ」とを合成して得られるフレームレート1/(4t0)の合成動画データは、図１２６に示す周波数成分のデータとなる。
【０６９２】
そして、図１２６のフレームレート1/(4t0)の合成動画データ（速度「２ｒ0／ｔ0」程度で動いている部分のデータ）については、フィルタ部２２３において、図２３の領域R1301を通過帯域とするフィルタによるフィルタリングと、２倍のアップサンプリングが行われる（図１１７のステップＳ２４７）。従って、そのフィルタリングおよびアップサンプリングによって得られる合成動画データは、図１２７に示すように、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては2t0間隔でサンプリングされたデータとなる。
【０６９３】
即ち、図１２７に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(2t0)間隔で、折り返し成分が生じる。
【０６９４】
なお、図１２７において、影を付してある部分が、フレームレート1/(2t0)の合成動画データのうちの速度「２ｒ0／ｔ0」程度で動いている部分のデータが存在する部分である。
【０６９５】
表示装置３では、図１２７に示したフレームレート1/(2t0)の合成動画データのうちの、図８２の領域R8201内のデータだけが表示される。つまり、図８２の領域R8201で表される表示能力を有する表示装置３では、図１２８に影を付して示す領域内のデータだけが表示され、図１２７に示した折り返し成分は表示されない。
【０６９６】
以上のように、表示装置３が、1/(2t0)のフレームレートを有する場合には、「低域成分動画データ」と「中低域成分動画データ」とを合成して、1/(4t0)のフレームレートの合成動画データを得て、主成分方向に基づくフィルタリングを行いながら２倍のアップサンプルを行い、その結果得られる1/(2t0)のフレームレートの合成動画データを表示装置３に供給することにより、表示装置３では、その表示能力で表示することができる周波数成分のデータを、折り返し成分の影響を受けずに、適切に表示することができる。
【０６９７】
なお、上述の説明から分かるように、実際にバッファ部５１以降で使用される動画データは、「低域成分動画データ」と「中低域成分動画データ」と「中高域成分動画データ」と「高域成分動画データ」の４つのデータのうち、「低域成分動画データ」と「中低域成分動画データ」の２つのデータのみである。従って、図１１６におけるデコード部５０では、送信装置１から送られてくる４つのデータのうち「中高域成分動画データ」と「高域成分動画データ」は、デコードしなくても良い。
【０６９８】
次に、図１２９は、表示装置３が、図８１の領域R8101で表される表示能力を有する場合、即ち、1/(4t0/3)のフレームレートを有し、かつ、１画素１画素を空間方向にr0の間隔で表示することができる場合の図２４の受信装置２の構成例を示している。
【０６９９】
なお、図１２９において、図３３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１２９の受信装置２は、抽出部２３１および合成部２３２が新たに設けられているとともに、フィルタ部５２に代えてフィルタ部２３３が設けられている他は、図３３における場合と同様に構成されている。
【０７００】
抽出部２３１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから「低域成分動画データ」、「中低域成分動画データ」、および「中高域成分動画データ」を抽出し、合成部２３２に供給する。
【０７０１】
合成部２３２は、抽出部２３１からの、フレームレート1/(4t0)の「低域成分動画データ」、「中低域成分動画データ」、および「中高域成分動画データ」を合成し、フレームレート1/(4t0)の合成動画データを、フィルタ部２３３に供給する。
【０７０２】
フィルタ部２３３は、合成部２３２から供給されるフレームレート1/(4t0)の合成動画データを用いて、図３３のフィルタ部５２における場合と同様に、フィルタ情報供給部６２からのフィルタ情報に対応したフィルタリングとアップサンプリングを行う。但し、図３３のフィルタ部５２では、４倍のアップサンプリングが行われたが、フィルタ部２３３は、３倍のアップサンプリングを行う。
【０７０３】
次に、図１３０および図１３１のフローチャートを参照して、図１２９の受信装置２の処理について説明する。
【０７０４】
デコード部５０には、エンコードデータが供給される。デコード部５０は、そのエンコードデータを、フレームレートが1/(4t0)の低フレームレートの動画データにデコードし、バッファ部５１に供給する。バッファ部５１では、デコード部５０から供給される1/(4t0)のフレームレートの低フレームレートの動画データが順次記憶される。
【０７０５】
そして、ステップＳ２５１において、抽出部２３１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから、「低域成分動画データ」を抽出し、合成部２３２に供給して、ステップＳ２５２に進む。ステップＳ２５２では、抽出部２３１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから、「中低域成分動画データ」を抽出し、合成部２３２に供給して、ステップＳ２５３に進む。ステップＳ２５３では、抽出部２３１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから、「中高域成分動画データ」を抽出し、合成部２３２に供給して、図１３１のステップＳ２５４に進む。
【０７０６】
ステップＳ２５４では、合成部２３２は、抽出部２１１から供給された「低域成分動画データ」、「中低域成分動画データ」、および「中高域成分動画データ」を合成し、即ち、例えば、「低域成分動画データ」、「中低域成分動画データ」、および「中高域成分動画データ」を加算し、その結果得られるフレームレート1/(4t0)の合成動画データを、フィルタ部２３３に供給する。
【０７０７】
その後、ステップＳ２５５乃至Ｓ２５７において、フィルタ生成部５３（の主成分方向取得部６１およびフィルタ情報供給部６２）が、図１１７のステップＳ２４４乃至Ｓ２４６それぞれにおける場合と同様の処理を行い、これにより、合成動画データの各部分（例えば、上述したような１６×１６画素のブロック）について、周波数ドメイン上で人間が認識することができる領域を、フィルタの通過帯域として求め、その通過帯域をフィルタ情報として、フィルタ部２３３に供給する。
【０７０８】
即ち、ステップＳ２５５では、フィルタ生成部５３の主成分方向取得部６１は、合成動画データの各部分のデータについて、空間方向x,yの周波数軸X,Y、および時間方向tの周波数軸Tで定義される周波数ドメインでの主成分方向を取得し、フィルタ情報供給部６２に供給して、ステップＳ２５６に進む。ステップＳ２５６では、フィルタ情報供給部６２は、周波数ドメインにおいて、原点(0,0)から、主成分方向取得部６１からの主成分方向に延びる領域であって、T方向に２π／（４×t0）の幅を有し、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域、即ち、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として決定し、ステップＳ２５７に進む。ステップＳ２５７では、フィルタ情報供給部６２は、ステップＳ２５６で求めたフィルタの通過帯域（を表す情報）を、フィルタ情報として、フィルタ部２３３に供給し、ステップＳ２５８に進む。
【０７０９】
ステップＳ２５８では、フィルタ部２３３が、合成部２３２からの合成動画データに対して、ステップＳ２５７でフィルタ生成部５３（のフィルタ情報供給部６２）から供給されたフィルタ情報が表す通過帯域のフィルタを適用しながら、時間方向のサンプル数を3倍にするアップサンプリングを行う。
【０７１０】
即ち、例えば、いま、ステップＳ２５５で主成分方向が取得された合成動画データの部分としてのブロックを、注目ブロックとするとともに、注目ブロックのフレームを注目フレームとする。
【０７１１】
フィルタ部２３３は、合成部２３２からの合成動画データを、フィルタ生成部５３から供給されたフィルタ情報が表す通過帯域のフィルタ、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を通過帯域とするフィルタによってフィルタリングすることにより、注目ブロックの各画素のデータ（画素値）を求める。
【０７１２】
また、フィルタ部２３３は、合成部２３２からの合成動画データを、フィルタ生成部５３から供給されたフィルタ情報が表す通過帯域のフィルタ、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を通過帯域とするフィルタによってフィルタリングすることにより、注目フレームから次のフレームまでの時間4t0を、時間4t0/3に等分する２つの時刻それぞれにおける画素であって、注目ブロックの各画素を通り、注目ブロックの３次元の動きベクトルの方向に延びる直線上にある画素のデータを求める。なお、注目ブロックの３次元の動きベクトルは、例えば、主成分方向取得部６１で求め、フィルタ情報供給部６２を介して、フィルタ情報とともに、フィルタ部２３３に供給することができる。
【０７１３】
フィルタ部２３３は、フレームレートが1/(4t0）の合成動画データを対象に、以上のようなフィルタリングおよびアップサンプリングを行うことにより、フレームレートが1/(4t0/3）の合成動画データを得て、ステップＳ２５８からＳ２５９に進む。
【０７１４】
ステップＳ２５９では、フィルタ部２３３は、ステップＳ２５８で得たフレームレート1/(4t0/3）の合成動画データを、表示装置３（図２４）に出力する。
【０７１５】
この場合、図８１の領域R8101で表される表示能力を有する表示装置３には、フレームレート1/(4t0/3)の合成動画データが供給されて表示される。
【０７１６】
即ち、いまの場合、合成動画データは、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」を合成したデータである。
【０７１７】
そして、例えば、動画の中で静止している被写体が投影されている部分については、上述したように、フレームレート1/(4t0)の「低域成分動画データ」は、図９８に示した周波数成分のデータであり、フレームレート1/(4t0)の「中低域成分動画データ」および「中高域成分動画データ」は存在しない。
【０７１８】
従って、図９８に示した周波数成分の「低域成分動画データ」と、存在しない「中低域成分動画データ」および「中高域成分動画データ」とを合成して得られるフレームレート1/(4t0)の合成動画データは、図９８に示した周波数成分のデータとなる。
【０７１９】
そして、図９８のフレームレート1/(4t0)の合成動画データ（動画の中の静止している部分のデータ）については、フィルタ部２３３において、図２０の領域R1001を通過帯域とするフィルタによるフィルタリングと、３倍のアップサンプリングが行われる（図１３１のステップＳ２５８）。従って、そのフィルタリングおよびアップサンプリングによって得られる合成動画データは、図２０の領域R1001内の周波数成分を有し、さらに、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては4t0/3間隔でサンプリングされたデータとなる。
【０７２０】
このため、図１３２に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0/3)間隔で、折り返し成分が生じる。
【０７２１】
なお、図１３２において、影を付してある部分が、フレームレート1/(4t0/3)の合成動画データのうちの静止している部分のデータが存在する部分である。
【０７２２】
表示装置３では、図１３２に示したフレームレート1/(4t0/3)の合成動画データのうちの、図８１の領域R8101内のデータだけが表示される。つまり、図８１の領域R8101で表される表示能力を有する表示装置３では、図１３３に影を付して示す領域内のデータだけが表示され、図１３２に示した折り返し成分は表示されない。
【０７２３】
次に、例えば、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分については、上述したように、フレームレート1/(4t0)の「低域成分動画データ」は、図９９に示した周波数成分のデータであり、フレームレート1/(4t0)の「中低域成分動画データ」は、図１００に示した周波数成分のデータである。さらに、フレームレート1/(4t0)の「中高域成分動画データ」は、図１０１に示した周波数成分のデータである。
【０７２４】
従って、図９９に示した周波数成分の「低域成分動画データ」、図１００に示した周波数成分の「中低域成分動画データ」、および図１０１に示した周波数成分の「中高域成分動画データ」を合成して得られるフレームレート1/(4t0)の合成動画データは、図１３４に示す周波数成分のデータとなる。
【０７２５】
そして、図１３４のフレームレート1/(4t0)の合成動画データ（速度「（ｒ0／ｔ0）／２」程度で動いている部分のデータ）については、フィルタ部２３３において、図２１の領域R1101を通過帯域とするフィルタによるフィルタリングと、３倍のアップサンプリングが行われる（図１３１のステップＳ２５８）。従って、そのフィルタリングおよびアップサンプリングによって得られる合成動画データは、図１３５に示すように、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては4t0/3間隔でサンプリングされたデータとなる。
【０７２６】
即ち、図１３５に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0/3)間隔で、折り返し成分が生じる。
【０７２７】
なお、図１３５において、影を付してある部分が、フレームレート1/(4t0/3)の合成動画データのうちの速度「（ｒ0／ｔ0）／２」程度で動いている部分のデータが存在する部分である。
【０７２８】
表示装置３では、図１３５に示したフレームレート1/(4t0/3)の合成動画データのうちの、図８１の領域R8101内のデータだけが表示される。つまり、図８１の領域R8101で表される表示能力を有する表示装置３では、図１３６に影を付して示す領域内のデータだけが表示され、図１３５に示した折り返し成分は表示されない。
【０７２９】
次に、例えば、動画の中で、そこに投影されている被写体が速度「ｒ0／ｔ0」程度で動いている部分については、上述したように、フレームレート1/(4t0)の「低域成分動画データ」は、図１０２に示した周波数成分のデータであり、フレームレート1/(4t0)の「中低域成分動画データ」は、図１０３に示した周波数成分のデータである。さらに、フレームレート1/(4t0)の「中高域成分動画データ」は、図１０４に示した周波数成分のデータである。
【０７３０】
従って、図１０２に示した周波数成分の「低域成分動画データ」、図１０３に示した周波数成分の「中低域成分動画データ」、および図１０４に示した周波数成分の「中高域成分動画データ」を合成して得られるフレームレート1/(4t0)の合成動画データは、図１３７に示す周波数成分のデータとなる。
【０７３１】
そして、図１３７のフレームレート1/(4t0)の合成動画データ（速度「ｒ0／ｔ0」程度で動いている部分のデータ）については、フィルタ部２３３において、図２２の領域R1201を通過帯域とするフィルタによるフィルタリングと、３倍のアップサンプリングが行われる（図１３１のステップＳ２５８）。従って、そのフィルタリングおよびアップサンプリングによって得られる合成動画データは、図１３８に示すように、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては4t0/3間隔でサンプリングされたデータとなる。
【０７３２】
即ち、図１３８に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0/3)間隔で、折り返し成分が生じる。
【０７３３】
なお、図１３８において、影を付してある部分が、フレームレート1/(4t0/3)の合成動画データのうちの速度「ｒ0／ｔ0」程度で動いている部分のデータが存在する部分である。
【０７３４】
表示装置３では、図１３８に示したフレームレート1/(4t0/3)の合成動画データのうちの、図８１の領域R8101内のデータだけが表示される。つまり、図８１の領域R8101で表される表示能力を有する表示装置３では、図１３９に影を付して示す領域内のデータだけが表示され、図１３８に示した折り返し成分は表示されない。
【０７３５】
次に、動画の中で、そこに投影されている被写体が速度「２ｒ0／ｔ0」程度で動いている部分については、上述したように、フレームレート1/(4t0)の「低域成分動画データ」は、図１０６に示した周波数成分のデータであり、フレームレート1/(4t0)の「中低域成分動画データ」は、図１０７に示した周波数成分のデータである。さらに、フレームレート1/(4t0)の「中高域成分動画データ」は、図１０８に示した周波数成分のデータである。
【０７３６】
従って、図１０６に示した周波数成分の「低域成分動画データ」、図１０７に示した周波数成分の「中低域成分動画データ」、および図１０８に示した周波数成分の「中高域成分動画データ」を合成して得られるフレームレート1/(4t0)の合成動画データは、図１４０に示す周波数成分のデータとなる。
【０７３７】
そして、図１４０のフレームレート1/(4t0)の合成動画データ（速度「２ｒ0／ｔ0」程度で動いている部分のデータ）については、フィルタ部２３３において、図２３の領域R1301を通過帯域とするフィルタによるフィルタリングと、３倍のアップサンプリングが行われる（図１３１のステップＳ２５８）。従って、そのフィルタリングおよびアップサンプリングによって得られる合成動画データは、図１４１に示すように、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対しては4t0/3間隔でサンプリングされたデータとなる。
【０７３８】
このため、図１４１に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/(4t0/3)間隔で、折り返し成分が生じる。
【０７３９】
即ち、図１４１において、影を付してある部分が、フレームレート1/(4t0/3)の合成動画データのうちの速度「ｒ0／ｔ0」程度で動いている部分のデータが存在する部分である。
【０７４０】
表示装置３では、図１４１に示したフレームレート1/(4t0/3)の合成動画データのうちの、図８１の領域R8101内のデータだけが表示される。つまり、図８１の領域R8101で表される表示能力を有する表示装置３では、図１４２に影を付して示す領域内のデータだけが表示され、図１４１に示した折り返し成分は表示されない。
【０７４１】
以上のように、表示装置３が、1/(4t0/3)のフレームレートを有する場合には、「低域成分動画データ」、「中低域成分動画データ」、および「中高域成分動画データ」を合成して、1/(4t0)のフレームレートの合成動画データを得て、主成分方向に基づくフィルタリングを行いながら３倍のアップサンプルを行い、その結果得られる1/(4t0/3)のフレームレートの合成動画データを表示装置３に供給することにより、表示装置３では、その表示能力で表示することができる周波数成分のデータを、折り返し成分の影響を受けずに、適切に表示することができる。
【０７４２】
なお、上述の説明から分かるように、実際にバッファ部５１以降で使用される動画データは、「低域成分動画データ」と「中低域成分動画データ」と「中高域成分動画データ」と「高域成分動画データ」の４つのデータのうち、「低域成分動画データ」と「中低域成分動画データ」と「中高域成分動画データ」の３つのデータのみである。従って、図１２９におけるデコード部５０では、送信装置１から送られてくる４つのデータのうち「高域成分動画データ」は、デコードしなくても良い。
【０７４３】
次に、図１４３は、表示装置３が、図８０の領域R8001で表される表示能力を有する場合、即ち、1/t0のフレームレートを有し、かつ、１画素１画素を空間方向にr0の間隔で表示することができる場合の図２４の受信装置２の構成例を示している。
【０７４４】
なお、図１４３において、図３３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１４３の受信装置２は、抽出部２４１および合成部２４２が新たに設けられている他は、図３３における場合と同様に構成されている。
【０７４５】
抽出部２４１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから、すべての周波数成分のデータ、即ち、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、およ「高域成分動画データ」を抽出し、合成部２４２に供給する。
【０７４６】
合成部２４２は、抽出部２４１からの、フレームレート1/(4t0)の「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」を合成し、フレームレート1/(4t0)の合成動画データを、フィルタ部５２に供給する。
【０７４７】
次に、図１４４および図１４５のフローチャートを参照して、図１４３の受信装置２の処理について説明する。
【０７４８】
デコード部５０には、エンコードデータが供給される。デコード部５０は、そのエンコードデータを、フレームレートが1/(4t0)の低フレームレートの動画データにデコードし、バッファ部５１に供給する。バッファ部５１では、デコード部５０から供給される1/(4t0)のフレームレートの低フレームレートの動画データが順次記憶される。
【０７４９】
そして、ステップＳ２６１において、抽出部２４１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから、「低域成分動画データ」を抽出し、合成部２４２に供給して、ステップＳ２６２に進む。ステップＳ２６２では、抽出部２４１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから、「中低域成分動画データ」を抽出し、合成部２４２に供給して、ステップＳ２６３に進む。ステップＳ２６３では、抽出部２４１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから、「中高域成分動画データ」を抽出し、合成部２４２に供給して、ステップＳ２６４に進む。ステップＳ２６４では、抽出部２４１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから、「高域成分動画データ」を抽出し、合成部２４２に供給して、図１４５のステップＳ２６５に進む。
【０７５０】
ステップＳ２６５では、合成部２４２は、抽出部２１１から供給された「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」を合成し、即ち、例えば、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」を加算し、その結果得られるフレームレート1/(4t0)の合成動画データを、フィルタ部５２に供給する。
【０７５１】
その後、ステップＳ２６６乃至Ｓ２６８において、フィルタ生成部５３（の主成分方向取得部６１およびフィルタ情報供給部６２）が、図１１７のステップＳ２４４乃至Ｓ２４６それぞれにおける場合と同様の処理を行い、これにより、合成動画データの各部分（例えば、上述したような１６×１６画素のブロック）について、周波数ドメイン上で人間が認識することができる領域を、フィルタの通過帯域として求め、その通過帯域をフィルタ情報として、フィルタ部５２に供給する。
【０７５２】
即ち、ステップＳ２６６では、フィルタ生成部５３の主成分方向取得部６１は、合成動画データの各部分のデータについて、空間方向x,yの周波数軸X,Y、および時間方向tの周波数軸Tで定義される周波数ドメインでの主成分方向を取得し、フィルタ情報供給部６２に供給して、ステップＳ２６７に進む。ステップＳ２６７では、フィルタ情報供給部６２は、周波数ドメインにおいて、原点(0,0)から、主成分方向取得部６１からの主成分方向に延びる領域であって、T方向に２π／（４×t0）の幅を有し、X,Y方向が、−（π／r0）乃至＋（π／r0）で、T方向が、−（π／t0）乃至＋（π／t0）の範囲の領域、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を、フィルタの通過帯域として決定し、ステップＳ２６８に進む。ステップＳ２６８では、フィルタ情報供給部６２は、ステップＳ２６７で求めたフィルタの通過帯域（を表す情報）を、フィルタ情報として、フィルタ部５２に供給し、ステップＳ２６９に進む。
【０７５３】
ステップＳ２６９では、フィルタ部５２が、合成部２４２からの合成動画データに対して、図３４のステップＳ３５における場合と同様の処理、即ち、ステップＳ２６８でフィルタ生成部５３（のフィルタ情報供給部６２）から供給されたフィルタ情報が表す通過帯域のフィルタを適用しながら、時間方向のサンプル数を4倍にするアップサンプリングを行う。
【０７５４】
即ち、例えば、いま、ステップＳ２６６で主成分方向が取得された合成動画データの部分としてのブロックを、注目ブロックとするとともに、注目ブロックのフレームを注目フレームとする。
【０７５５】
フィルタ部５２は、合成部２４２からの合成動画データを、フィルタ生成部５３から供給されたフィルタ情報が表す通過帯域のフィルタ、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を通過帯域とするフィルタによってフィルタリングすることにより、注目ブロックの各画素のデータ（画素値）を求める。
【０７５６】
また、フィルタ部５２は、合成部２４２からの合成動画データを、フィルタ生成部５３から供給されたフィルタ情報が表す通過帯域のフィルタ、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301を通過帯域とするフィルタによってフィルタリングすることにより、注目フレームから次のフレームまでの時間4t0を、時間t0に等分する３つの時刻それぞれにおける画素であって、注目ブロックの各画素を通り、注目ブロックの３次元の動きベクトルの方向に延びる直線上にある画素のデータを求める。なお、注目ブロックの３次元の動きベクトルは、例えば、主成分方向取得部６１で求め、フィルタ情報供給部６２を介して、フィルタ情報とともに、フィルタ部５２に供給することができる。
【０７５７】
フィルタ部５２は、フレームレートが1/(4t0）の合成動画データを対象に、以上のようなフィルタリングおよびアップサンプリングを行うことにより、フレームレートが1/t0の合成動画データを得て、ステップＳ２６９からＳ２７０に進む。
【０７５８】
ステップＳ２７０では、フィルタ部５２は、ステップＳ２６９で得たフレームレート1/t0の合成動画データを、表示装置３（図２４）に出力する。
【０７５９】
この場合、図８０の領域R8001で表される表示能力を有する表示装置３には、フレームレート1/t0の合成動画データが供給されて表示される。
【０７６０】
即ち、いまの場合、合成動画データは、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」のすべてを合成したデータである。
【０７６１】
そして、例えば、動画の中で静止している被写体が投影されている部分については、上述したように、フレームレート1/(4t0)の「低域成分動画データ」は、図９８に示した周波数成分のデータであり、フレームレート1/(4t0)の「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」は存在しない。
【０７６２】
従って、図９８に示した周波数成分の「低域成分動画データ」と、存在しない「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」とを合成して得られるフレームレート1/(4t0)の合成動画データは、図９８に示した周波数成分のデータとなる。
【０７６３】
そして、図９８のフレームレート1/(4t0)の合成動画データ（動画の中の静止している部分のデータ）については、フィルタ部５２において、図１０の領域R1001を通過帯域とするフィルタによるフィルタリングと、４倍のアップサンプリングが行われる（図１４５のステップＳ２６９）。従って、そのフィルタリングおよびアップサンプリングによって得られる合成動画データは、図２０の領域R1001内の周波数成分を有し、さらに、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対してはt0間隔でサンプリングされたデータとなる。
【０７６４】
このため、図１４６に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/t0間隔で、折り返し成分が生じる。
【０７６５】
なお、図１４６において、影を付してある部分が、フレームレート1/t0の合成動画データのうちの静止している部分のデータが存在する部分である。
【０７６６】
表示装置３では、図１４６に示したフレームレート1/t0の合成動画データのうちの、図８０の領域R8001内のデータだけが表示される。つまり、図８０の領域R8001で表される表示能力を有する表示装置３では、図１４７に影を付して示す領域内のデータだけが表示され、図１４６に示した折り返し成分は表示されない。
【０７６７】
次に、例えば、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分については、上述したように、フレームレート1/(4t0)の「低域成分動画データ」は、図９９に示した周波数成分のデータであり、フレームレート1/(4t0)の「中低域成分動画データ」は、図１００に示した周波数成分のデータである。さらに、フレームレート1/(4t0)の「中高域成分動画データ」は、図１０１に示した周波数成分のデータであり、フレームレート1/(4t0)の「高域成分動画データ」は存在しない。
【０７６８】
従って、図９９に示した周波数成分の「低域成分動画データ」、図１００に示した周波数成分の「中低域成分動画データ」、および図１０１に示した周波数成分の「中高域成分動画データ」と、存在しない「高域成分動画データ」とを合成して得られるフレームレート1/(4t0)の合成動画データは、図１４８に示す周波数成分のデータとなる。
【０７６９】
そして、図１４８のフレームレート1/(4t0)の合成動画データ（速度「（ｒ0／ｔ0）／２」程度で動いている部分のデータ）については、フィルタ部５２において、図２１の領域R1101を通過帯域とするフィルタによるフィルタリングと、４倍のアップサンプリングが行われる（図１４５のステップＳ２６９）。従って、そのフィルタリングおよびアップサンプリングによって得られる合成動画データは、図１４９に示すように、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対してはt0間隔でサンプリングされたデータとなる。
【０７７０】
即ち、図１４９に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/t0間隔で、折り返し成分が生じる。
【０７７１】
なお、図１４９において、影を付してある部分が、フレームレート1/t0の合成動画データのうちの速度「（ｒ0／ｔ0）／２」程度で動いている部分のデータが存在する部分である。
【０７７２】
表示装置３では、図１４９に示したフレームレート1/t0の合成動画データのうちの、図８０の領域R8001内のデータだけが表示される。つまり、図８０の領域R8001で表される表示能力を有する表示装置３では、図１５０に影を付して示す領域内のデータだけが表示され、図１４９に示した折り返し成分は表示されない。
【０７７３】
次に、例えば、動画の中で、そこに投影されている被写体が速度「ｒ0／ｔ0」程度で動いている部分については、上述したように、フレームレート1/(4t0)の「低域成分動画データ」は、図１０２に示した周波数成分のデータであり、フレームレート1/(4t0)の「中低域成分動画データ」は、図１０３に示した周波数成分のデータである。さらに、フレームレート1/(4t0)の「中高域成分動画データ」は、図１０４に示した周波数成分のデータであり、フレームレート1/(4t0)の「高域成分動画データ」は、図１０５に示した周波数成分のデータである。
【０７７４】
従って、図１０２に示した周波数成分の「低域成分動画データ」、図１０３に示した周波数成分の「中低域成分動画データ」、図１０４に示した周波数成分の「中高域成分動画データ」、および図１０５に示した周波数成分の「高域成分動画データ」を合成して得られるフレームレート1/(4t0)の合成動画データは、図１５１に示す周波数成分のデータとなる。
【０７７５】
そして、図１５１のフレームレート1/(4t0)の合成動画データ（速度「ｒ0／ｔ0」程度で動いている部分のデータ）については、フィルタ部５２において、図２２の領域R1201を通過帯域とするフィルタによるフィルタリングと、４倍のアップサンプリングが行われる（図１４５のステップＳ２６９）。従って、そのフィルタリングおよびアップサンプリングによって得られる合成動画データは、図１５２に示すように、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対してはt0間隔でサンプリングされたデータとなる。
【０７７６】
即ち、図１５２に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/t0間隔で、折り返し成分が生じる。
【０７７７】
なお、図１５２において、影を付してある部分が、フレームレート1/t0の合成動画データのうちの速度「ｒ0／ｔ0」程度で動いている部分のデータが存在する部分である。
【０７７８】
表示装置３では、図１５２に示したフレームレート1/t0の合成動画データのうちの、図８０の領域R8001内のデータだけが表示される。つまり、図８０の領域R8001で表される表示能力を有する表示装置３では、図１５３に影を付して示す領域内のデータだけが表示され、図１５２に示した折り返し成分は表示されない。
【０７７９】
次に、例えば、動画の中で、そこに投影されている被写体が速度「２ｒ0／ｔ0」程度で動いている部分については、上述したように、フレームレート1/(4t0)の「低域成分動画データ」は、図１０６に示した周波数成分のデータであり、フレームレート1/(4t0)の「中低域成分動画データ」は、図１０７に示した周波数成分のデータである。さらに、フレームレート1/(4t0)の「中高域成分動画データ」は、図１０８に示した周波数成分のデータであり、フレームレート1/(4t0)の「高域成分動画データ」は、図１０９に示した周波数成分のデータである。
【０７８０】
従って、図１０６に示した周波数成分の「低域成分動画データ」、図１０７に示した周波数成分の「中低域成分動画データ」、図１０８に示した周波数成分の「中高域成分動画データ」、および図１０９に示した周波数成分の「高域成分動画データ」を合成して得られるフレームレート1/(4t0)の合成動画データは、図１５４に示す周波数成分のデータとなる。
【０７８１】
そして、図１５４のフレームレート1/(4t0)の合成動画データ（速度「２ｒ0／ｔ0」程度で動いている部分のデータ）については、フィルタ部５２において、図２３の領域R1301を通過帯域とするフィルタによるフィルタリングと、４倍のアップサンプリングが行われる（図１４５のステップＳ２６９）。従って、そのフィルタリングおよびアップサンプリングによって得られる合成動画データは、図１５５に示すように、空間方向x,yに対してはr0間隔でサンプリングされ、時間方向tに対してはt0間隔でサンプリングされたデータとなる。
【０７８２】
即ち、図１５５に示すように、周波数ドメイン上では、X,Y方向には、2π/r0間隔で、折り返し成分が生じ、T方向には、2π/t0間隔で、折り返し成分が生じる。
【０７８３】
なお、図１５５において、影を付してある部分が、フレームレート1/t0の合成動画データのうちの速度「ｒ0／ｔ0」程度で動いている部分のデータが存在する部分である。
【０７８４】
表示装置３では、図１５５に示したフレームレート1/t0の合成動画データのうちの、図８０の領域R8001内のデータだけが表示される。つまり、図８０の領域R8001で表される表示能力を有する表示装置３では、図１５６に影を付して示す領域内のデータだけが表示され、図１５５に示した折り返し成分は表示されない。
【０７８５】
以上のように、表示装置３が、1/t0のフレームレートを有する場合には、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」を合成して、1/(4t0)のフレームレートの合成動画データを得て、主成分方向に基づくフィルタリングを行いながら４倍のアップサンプルを行い、その結果得られる1/t0のフレームレートの合成動画データを表示装置３に供給することにより、表示装置３では、その表示能力で表示することができる周波数成分のデータを、折り返し成分の影響を受けずに、適切に表示することができる。
【０７８６】
なお、図１４６、図１４９、図１５２、図１５５は、それぞれ、上述した図３５乃至図３８と同様の図であり、従って、図３５乃至図３８で説明した場合と同様に、図１４３の受信装置２が出力する1/t0のフレームレートの動画データが、表示装置３に表示された場合には、その表示された動画に対して、人間は、元の動画（送信装置１に供給された動画）と同様の画質を認識することができる。
【０７８７】
次に、図２４の受信装置２は、表示装置３が、図８０の領域R8001、図８１の領域R8101、図８２の領域R8201、図８３の領域R8301のうちのいずれで表される表示能力を有する場合であっても対処することができるように構成することができる。
【０７８８】
図１５７は、そのような受信装置２の構成例を示している。なお、図１５７において、図３３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１５７の受信装置２は、抽出部２５１および合成部２５２が新たに設けられているとともに、フィルタ部５２に代えてフィルタ部２５３が設けられている他は、図３３における場合と同様に構成されている。
【０７８９】
図１５７の受信装置２においては、抽出部２５１、合成部２５２、およびフィルタ部２５３に対して、表示装置３の表示能力（を表す情報）が供給されるようになっている。ここで、表示装置３が表示能力を供給する機能を有する場合には、表示装置３の表示能力は、例えば、表示装置３から、抽出部２５１、合成部２５２、およびフィルタ部２５３に対して供給させるようにすることができる。また、表示装置３の表示能力は、例えば、受信装置２の図示せずに操作部をユーザに操作してもらうことによって、その操作部から、抽出部２５１、合成部２５２、およびフィルタ部２５３に対して供給するようにすることも可能である。
【０７９０】
抽出部２５１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから、表示装置３の表示能力に応じた周波数成分を選択、抽出し、合成部２５２に供給する。
【０７９１】
即ち、表示装置３が、図８３の領域R8301で表される表示能力を有する場合、抽出部２５１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから「低域成分動画データ」を抽出して、合成部２５２に供給する。
【０７９２】
また、表示装置３が、図８２の領域R8201で表される表示能力を有する場合、抽出部２５１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから「低域成分動画データ」および「中低域成分動画データ」を抽出して、合成部２５２に供給する。
【０７９３】
さらに、表示装置３が、図８１の領域R8101で表される表示能力を有する場合、抽出部２５１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから「低域成分動画データ」、「中低域成分動画データ」、および「中高域成分動画データ」を抽出して、合成部２５２に供給する。
【０７９４】
また、表示装置３が、図８０の領域R8001で表される表示能力を有する場合、抽出部２５１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データから「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」のすべてを抽出して、合成部２５２に供給する。
【０７９５】
合成部２５２は、表示装置３の表示能力に応じて、抽出部２５１から供給される周波数成分を合成し、合成動画データを、フィルタ部２５３に供給する。
【０７９６】
即ち、表示装置３が、図８３の領域R8301で表される表示能力を有する場合、抽出部２５１から合成部２５２には、フレームレート1/(4t0)の「低域成分動画データ」が供給されるので、合成部２５２は、その「低域成分動画データ」を、そのまま、合成画像データとして、フィルタ部２５３に供給する。
【０７９７】
また、表示装置３が、図８２の領域R8201で表される表示能力を有する場合、抽出部２５１から合成部２５２には、フレームレート1/(4t0)の「低域成分動画データ」および「中低域成分動画データ」が供給されるので、合成部２５２は、その「低域成分動画データ」および「中低域成分動画データ」を合成し、その結果得られる合成画像データを、フィルタ部２５３に供給する。
【０７９８】
さらに、表示装置３が、図８１の領域R8101で表される表示能力を有する場合、抽出部２５１から合成部２５２には、フレームレート1/(4t0)の「低域成分動画データ」、「中低域成分動画データ」、および「中高域成分動画データ」が供給されるので、合成部２５２は、「低域成分動画データ」、「中低域成分動画データ」、および「中高域成分動画データ」を合成し、その結果得られる合成画像データを、フィルタ部２５３に供給する。
【０７９９】
また、表示装置３が、図８０の領域R8001で表される表示能力を有する場合、抽出部２５１から合成部２５２には、フレームレート1/(4t0)の「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」が供給されるので、合成部２５２は、その「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」を合成し、その結果得られる合成画像データを、フィルタ部２５３に供給する。
【０８００】
フィルタ部２５３は、合成部２３２から供給されるフレームレート1/(4t0)の合成動画データを用いて、図３３のフィルタ部５２における場合と同様に、フィルタ情報供給部６２からのフィルタ情報に対応したフィルタリングとアップサンプリングを行う。但し、フィルタ部２５３は、表示装置３の表示能力に応じた倍数のアップサンプリングを行う。
【０８０１】
即ち、表示装置３が、図８３の領域R8301で表される表示能力を有する場合、フィルタ部２５３は、１倍のアップサンプリングを行い、即ち、合成部２５２からのフレームレート1/(4t0)の合成動画データをアップサンプリングせずに、表示装置３に出力する。
【０８０２】
また、表示装置３が、図８２の領域R8201で表される表示能力を有する場合、フィルタ部２５３は、２倍のアップサンプリングを行い、その結果得られるフレームレート1/(2t0)の合成動画データを、表示装置３に出力する。
【０８０３】
さらに、表示装置３が、図８１の領域R8101で表される表示能力を有する場合、フィルタ部２５３は、３倍のアップサンプリングを行い、その結果得られるフレームレート1/(4t0/3)の合成動画データを、表示装置３に出力する。
【０８０４】
また、表示装置３が、図８０の領域R8001で表される表示能力を有する場合、フィルタ部２５３は、４倍のアップサンプリングを行い、その結果得られるフレームレート1/t0の合成動画データを、表示装置３に出力する。
【０８０５】
以上のようにして、図１５７の受信装置２では、表示装置３が、図８０の領域R8001、図８１の領域R8101、図８２の領域R8201、図８３の領域R8301のうちのいずれで表される表示能力を有する場合であっても、その表示能力に応じた適切な合成動画データを、表示装置３に出力することができる。
【０８０６】
次に、図７９の送信装置１では、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301等の基本帯域を、表示装置３の表示能力を表す図８０の領域R8001や、図８１の領域R8101、図８２の領域R8201、図８３の領域R8301で制限した帯域を通過帯域として、動画データをフィルタリングすることにより、図８４乃至図９４で説明したような「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」に分割するようにしたが、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」は、その他、例えば、次のような周波数成分のデータとすることもできる。
【０８０７】
即ち、例えば、動画の中で静止している被写体が投影されている部分の動画データ、つまり、図２０の領域R1001のデータについては、上述した場合と同様に、図２０の領域R1001のデータを、「低域成分動画データ」とし、「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」は、いずれも０とすることができる。
【０８０８】
また、例えば、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分の動画データ、つまり、図２１の領域R1101のデータについては、図８４の領域R8401の「低域成分動画データ」、図８５の領域R8501の「中低域成分動画データ」、図８６の領域R8601の「中高域成分動画データ」、存在しない（０の）「高域成分動画データ」に代えて、例えば、次のような周波数成分のデータを、それぞれ、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」とすることができる。
【０８０９】
即ち、図１５８に示すように、周波数ドメインにおいて、原点を通り、図２１の領域R1101のデータの主成分方向に延びる直線（平面）をL1101とし、その直線L1101と、1/(4t0)のフレームレートの表示能力を表す図８３の領域R8301との２つの交点を、P15801とP15802とする。
【０８１０】
また、図１５９に示すように、周波数ドメインにおいて、直線L1101と、1/(2t0)のフレームレートの表示能力を表す図８２の領域R8201との２つの交点を、P15901とP15902とする。
【０８１１】
そして、図１６０に示すように、図１５８の点P15801，P15802、図１５９の点P15901，P15902をそれぞれ通り、T方向に平行な直線（平面）を、それぞれ、L15801，L15802，L15901，L15902とする。
【０８１２】
この場合、図２１の領域R1101のデータについては、図１６１に示すように、領域R1101のうちの、直線L15801とL15802とで挟まれる領域R16101のデータを、「低域成分動画データ」とすることができる。
【０８１３】
さらに、領域R1101のデータについては、図１６２に示すように、領域R1101のうちの、直線L15901とL15902とで挟まれる領域から、直線L15801とL15802とで挟まれる領域を除いた領域R16201のデータを、「中低域成分動画データ」とし、「中高域成分動画データ」および「高域成分動画データ」は、いずれも０とすることができる。
【０８１４】
この場合、図８４の領域R8401の「低域成分動画データ」は、図１６１の領域R16101のデータで、図８５の領域R8501の「中低域成分動画データ」は、図１６２の領域R16201のデータで、図８６の領域R8601の「中高域成分動画データ」は、０で、それぞれ近似される。
【０８１５】
次に、例えば、動画の中で、そこに投影されている被写体が速度「ｒ0／ｔ0」程度で動いている部分の動画データ、つまり、図２２の領域R1201のデータについては、図８７の領域R8701の「低域成分動画データ」、図８８の領域R8801の「中低域成分動画データ」、図８９の領域R8901の「中高域成分動画データ」、図９０の領域R9001の「高域成分動画データ」に代えて、例えば、次のような周波数成分のデータを、それぞれ、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」とすることができる。
【０８１６】
即ち、図１６３に示すように、周波数ドメインにおいて、原点を通り、図２２の領域R1201のデータの主成分方向に延びる直線（平面）をL1201とし、その直線L1201と、1/(4t0)のフレームレートの表示能力を表す図８３の領域R8301との２つの交点を、P16301とP16302とする。
【０８１７】
また、図１６４に示すように、周波数ドメインにおいて、直線L1201と、1/(2t0)のフレームレートの表示能力を表す図８２の領域R8201との２つの交点を、P16401とP16402とする。
【０８１８】
さらに、図１６５に示すように、周波数ドメインにおいて、直線L1201と、1/(4t0/3)のフレームレートの表示能力を表す図８１の領域R8101との２つの交点を、P16501とP16502とする。
【０８１９】
また、図１６６に示すように、周波数ドメインにおいて、直線L1201と、1/t0のフレームレートの表示能力を表す図８０の領域R8001との２つの交点を、P16601とP16602とする。
【０８２０】
そして、図１６７に示すように、図１６３の点P16301，P16302、図１６４の点P16401，P16402、図１６５の点P16501，P16502、図１６６の点P16601，P16602をそれぞれ通り、T方向に平行な直線（平面）を、それぞれ、L16301，L16302，L16401，L16402，L16501，L16502，L16601，L16602とする。
【０８２１】
この場合、図２２の領域R1201のデータについては、図１６８に示すように、領域R1201のうちの、直線L16301とL16302とで挟まれる領域R16801のデータを、「低域成分動画データ」とすることができる。
【０８２２】
さらに、領域R1201のデータについては、図１６９に示すように、領域R1201のうちの、直線L16401とL16402とで挟まれる領域から、直線L16301とL16302とで挟まれる領域を除いた領域R16901のデータを、「中低域成分動画データ」とすることができる。
【０８２３】
また、領域R1201のデータについては、図１７０に示すように、領域R1201のうちの、直線L16501とL16502とで挟まれる領域から、直線L16401とL16402とで挟まれる領域を除いた領域R17001のデータを、「中高域成分動画データ」とすることができる。
【０８２４】
さらに、領域R1201のデータについては、図１７１に示すように、領域R1201のうちの、直線L16601とL16602とで挟まれる領域から、直線L16501とL16502とで挟まれる領域を除いた領域R17101のデータを、「高域成分動画データ」とすることができる。
【０８２５】
この場合、図８７の領域R8701の「低域成分動画データ」は、図１６８の領域R16801のデータで、図８８の領域R8801の「中低域成分動画データ」は、図１６９の領域R16901のデータで、図８９の領域R8901の「中高域成分動画データ」は、図１７０の領域R17001のデータで、図９０の領域R9001の「高域成分動画データ」は、図１７１の領域R17101のデータで、それぞれ近似される。
【０８２６】
次に、例えば、動画の中で、そこに投影されている被写体が速度「２ｒ0／ｔ0」程度で動いている部分の動画データ、つまり、図２３の領域R1301のデータについては、図９１の領域R9101の「低域成分動画データ」、図９２の領域R9201の「中低域成分動画データ」、図９３の領域R9301の「中高域成分動画データ」、図９４の領域R9401の「高域成分動画データ」に代えて、例えば、次のような周波数成分のデータを、それぞれ、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」とすることができる。
【０８２７】
即ち、図１７２に示すように、周波数ドメインにおいて、原点を通り、図２３の領域R1301のデータの主成分方向に延びる直線（平面）をL1301とし、その直線L1301と、1/(4t0)のフレームレートの表示能力を表す図８３の領域R8301との２つの交点を、P17201とP17202とする。
【０８２８】
また、図１７３に示すように、周波数ドメインにおいて、直線L1301と、1/(2t0)のフレームレートの表示能力を表す図８２の領域R8201との２つの交点を、P17301とP17302とする。
【０８２９】
さらに、図１７４に示すように、周波数ドメインにおいて、直線L1301と、1/(4t0/3)のフレームレートの表示能力を表す図８１の領域R8101との２つの交点を、P17401とP17402とする。
【０８３０】
また、図１７５に示すように、周波数ドメインにおいて、直線L1301と、1/t0のフレームレートの表示能力を表す図８０の領域R8001との２つの交点を、P17501とP17502とする。
【０８３１】
そして、図１７６に示すように、図１７２の点P17201，P17202、図１７３の点P17301，P17302、図１７４の点P17401，P17402、図１７５の点P17501，P17502をそれぞれ通り、T方向に平行な直線（平面）を、それぞれ、L17201，L17202，L17301，L17302，L17401，L17402，L17501，L17502とする。
【０８３２】
この場合、図２３の領域R1301のデータについては、図１７７に示すように、領域R1301のうちの、直線L17201とL17202とで挟まれる領域R17701のデータを、「低域成分動画データ」とすることができる。
【０８３３】
さらに、領域R1301のデータについては、図１７８に示すように、領域R1301のうちの、直線L17301とL17302とで挟まれる領域から、直線L17201とL17202とで挟まれる領域を除いた領域R17801のデータを、「中低域成分動画データ」とすることができる。
【０８３４】
また、領域R1301のデータについては、図１７９に示すように、領域R1301のうちの、直線L17401とL17402とで挟まれる領域から、直線L17301とL17302とで挟まれる領域を除いた領域R17901のデータを、「中高域成分動画データ」とすることができる。
【０８３５】
さらに、領域R1301のデータについては、図１８０に示すように、領域R1301のうちの、直線L17501とL17502とで挟まれる領域から、直線L17401とL17402とで挟まれる領域を除いた領域RR18001のデータに着目する。そして、この場合、領域R1301のうちの、直線L17501とL17502とで挟まれる領域を除いた領域RRR18001にもデータが存在しているので、「高域成分動画データ」は、領域RR18001と領域RRR18001の２つの領域を合わせた領域R18001とする。換言すれば、いずれの場合においても、「高域成分動画データ」は、基本帯域のうち、「低域成分動画データ」と「中低域成分動画データ」と「中高域成分動画データ」の３つのデータを除いた領域のデータであると言っても良い。
【０８３６】
この場合、図９１の領域R9101の「低域成分動画データ」は、図１７７の領域R17701のデータで、図９２の領域R9201の「中低域成分動画データ」は、図１７８の領域R17801のデータで、図９３の領域R9301の「中高域成分動画データ」は、図１７９の領域R17901のデータで、図９４の領域R9401の「高域成分動画データ」は、図１８０の領域R18001のデータで、それぞれ近似される。
【０８３７】
図１５８乃至図１８０で説明した「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」を採用した場合、受信装置２から表示装置３に供給される動画データ（合成動画データ）には、折り返し成分が含まれることがあるが、折り返し成分が含まれているとしても、僅かであり、それほどの画質の劣化は生じない。
【０８３８】
さらに、図１５８乃至図１８０で説明した「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」を採用した場合には、図８４乃至図９４で説明した「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」を採用する場合に比較して、メモリ容量を少なくし、あるいは回路規模を小型化することができる。
【０８３９】
即ち、図８４乃至図９４で説明した「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」を採用した場合には、図２１の領域R1101や、図２２の領域R1201、図２３の領域R1301を、図８４乃至図９４に示したような、T方向に直交する方向に分割する領域の通過帯域のフィルタリングを行う必要があり、そのようなフィルタリングには、注目ブロックのフレーム（注目フレーム）の他、注目フレーム以外のフレームが対象となる。従って、この場合、注目フレーム以外のフレーム（例えば、注目ブロックの前後１フレーム以上）を記憶しておく必要があり、そのためのフレームメモリが必要となる。つまり、時間方向に関するフィルタリングが必要であり、それは即ち、注目フレーム以外のフレームを使用したフィルタリング処理が必要となることを意味する。
【０８４０】
これに対して、図１５８乃至図１８０で説明した「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」を採用した場合には、図２１の領域R1101や、図２２の領域R1201、図２３の領域R1301を、図１６１や、図１６２、図１６８乃至図１７１、図１７７乃至図１８０に示したような、T方向に平行な方向に分割する領域の通過帯域のフィルタリングを行えば良く、そのフィルタリングは、注目フレームだけを対象とすれば済む。従って、この場合、注目フレーム以外のフレームを記憶しておく必要はなく、そのためのフレームメモリも不要となる。その結果、メモリ容量を少なくし、あるいは回路規模を小型化することができる。つまり、空間方向に関するフィルタリングを行えば良く、それは即ち、注目フレーム内の画素のみを使用したフィルタリング処理となるので、フレーム間をまたがる処理は不要である。
【０８４１】
なお、動画データを、図８４乃至図９４で説明した「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」に分割し、あるいは、図１５８乃至図１８０で説明した「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」に分割する場合、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」それぞれが分布する周波数ドメイン上の領域は、動画データにおける被写体の動きの大きさ（速さ）に依存する。
【０８４２】
即ち、動画データにおいて、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」に分割しようとする部分としての、例えば、注目ブロックの動きベクトルが小さい場合には、その注目ブロックのデータが分布する周波数ドメイン上の領域のほとんどが、「低域成分動画データ」の領域になり、「高域成分動画データ」の領域はほとんど０となる。そして、注目ブロックの動きベクトルが大きければ大きいほど、「高域成分動画データ」の領域が増える。
【０８４３】
具体的には、例えば、注目ブロックの、次のフレームに対する動きベクトルがほぼ０である場合には、即ち、注目ブロックに、動画の中で静止している被写体が投影されている場合には、その注目ブロックのデータが分布する周波数ドメイン上の領域、即ち、例えば、図２０の領域R1001のすべてが「低域成分動画データ」の領域となる。
【０８４４】
また、例えば、注目ブロックの、次のフレームに対する動きベクトルの大きさがｒ0／２程度である場合、即ち、注目ブロックにおいて、被写体が速度「（ｒ0／ｔ0）／２」程度で動いている場合には、その注目ブロックのデータが分布する周波数ドメイン上の領域、即ち、例えば、図２１の領域R1101のうちの、図８４の領域R8401や図１６１の領域R16101などのほとんどの領域が、「低域成分動画データ」の領域となり、図８５の領域R8501や図１６２の領域R16201などが、「中低域成分動画データ」の領域となる。そして、図８６の領域R8601などの僅かな領域が、「中高域成分動画データ」の領域となる。
【０８４５】
さらに、例えば、注目ブロックの、次のフレームに対する動きベクトルの大きさがｒ0程度である場合、即ち、注目ブロックにおいて、被写体が速度「ｒ0／ｔ0」程度で動いている場合には、その注目ブロックのデータが分布する周波数ドメイン上の領域、即ち、例えば、図２２の領域R1201のうちの、図８７の領域R8701や図１６８の領域R16801などが、「低域成分動画データ」の領域となり、図８８の領域R8801や図１６９の領域R16901などが、「中低域成分動画データ」となる。そして、図８９の領域R8901や図１７０の領域R17001などが、「中高域成分動画データ」の領域となり、図９０の領域R9001や図１７１の領域R17101などが、「高域成分動画データ」の領域となる。
【０８４６】
また、例えば、注目ブロックの、次のフレームに対する動きベクトルの大きさが、より大きい、例えば２ｒ0程度である場合、即ち、注目ブロックにおいて、被写体が速度「２ｒ0／ｔ0」程度で動いている場合には、その注目ブロックのデータが分布する周波数ドメイン上の領域、即ち、例えば、図２３の領域R1301のうちの、図９１の領域R9101や図１７７の領域R17701などが、「低域成分動画データ」の領域となり、図９２の領域R9201や図１７８の領域R17801などが、「中低域成分動画データ」となる。そして、図９３の領域R9301や図１７９の領域R17901などが、「中高域成分動画データ」の領域となり、図９４の領域R9401や図１８０の領域R18001などが、「高域成分動画データ」の領域となる。
【０８４７】
なお、上述の場合には、図８０乃至図８３で説明した４つの表示能力に応じて、動画データを分割するようにしたが、動画データの分割は、その他の表示能力に応じて行うことも可能である。
【０８４８】
さらに、動画のデータの分割数は、上述した「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」の４つに限定されるものではなく、２つまたは３つ、あるいは５つ以上であっても良い。
【０８４９】
また、動画データの分割数や、動画データの分割をどのような表示能力に応じて行うかは、例えば、あらかじめ固定の値を設定しておくこともできるし、ユーザの操作に応じて設定することもできる。
【０８５０】
さらに、図９５乃至図９７では、動画データのうちの、基本帯域内の周波数成分を通過させるフィルタリングと、動画データから「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、または「高域成分動画データ」を分割するフィルタリングとを、同時に行うようにしたが、即ち、例えば、図９５のステップＳ２０３では、フィルタ部２０２において、フィルタ情報が表す基本帯域の周波数成分を通過させ、かつ、図８３の領域R8301の周波数成分を通過させるフィルタを適用することで、「低域成分動画データ」を得るようにしたが、動画データのうちの、基本帯域内の周波数成分を通過させるフィルタリングと、動画データから「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、または「高域成分動画データ」を分割するフィルタリングとは、別々に行うことが可能である。即ち、まず、動画データのうちの、基本帯域内の周波数成分を通過させるフィルタリングを行い、そのフィルタリング結果を対象に、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、または「高域成分動画データ」を分割するフィルタリングを行うことが可能である。
【０８５１】
次に、図７９の送信装置１では、図８０乃至図８３で説明した４つの表示能力に応じて、動画データを、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」の４つに分割するので、表示装置３（図２４）が、図８０乃至図８３で説明した４つの表示能力のうちのいずれかの表示能力を有する場合には、受信装置２（図２４）において、表示装置３の表示能力に応じて、「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」を合成することにより、表示装置３において、上述したように、動画データを適切に表示することができる。
【０８５２】
しかしながら、表示装置３（図２４）が、図８０乃至図８３で説明した４つの表示能力のうちのいずれの表示能力を有するものでもない場合、そのような表示装置３においては、動画データを適切に表示することが困難となる。
【０８５３】
また、図７９の送信装置１のように、複数の周波数成分に分割して動画データを送信してくれるとは限らない。そのような場合、1/t0というフレームレートよりも低いフレームレートの表示能力しかない表示装置３では、適切な表示をすることが困難となる。即ち、送信装置１が動画データを分割して送信してくれない限り、受信装置２では表示装置３の表示能力に応じた適切な動画データを生成することが出来ない。
【０８５４】
そこで、受信装置２（図２４）では、表示装置３の表示能力に応じた動画データを生成して、表示装置３に供給するようにすることができるように改良する必要がある。
【０８５５】
以下、そのような受信装置２について説明するが、その前に、表示装置３の表示能力に応じた動画データについて説明する。ここで、受信装置２には、例えば、図２５の送信装置１が出力するフレームレートが1/(4t0)の低フレームレートの動画データ（エンコードデータ）が、記録媒体１１（図２４）または伝送媒体１２を介して供給されるものとする。なお、受信装置２には、上述したような「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」などの複数の周波数成分に分割された動画データが供給されてもよいが、その場合、受信装置２では、その複数の周波数成分が合成され、その合成の結果得られる動画データを対象として処理が行われる。
【０８５６】
例えば、表示装置３が、図８３で説明した表示能力を有する場合、即ち、1/(4t0)のフレームレートを有する場合においては、表示装置３では、図８３の領域R8301内のデータを表示することができる。
【０８５７】
そして、送信装置１からの動画データの中で、例えば、静止している被写体が投影されている部分については、図２０の領域R1001にデータが存在するから、図１８１に示すように、その領域R1001と、図８３の領域R8301とが重複する領域R18101のデータを、表示装置３に供給すればよい。
【０８５８】
また、送信装置１からの動画データの中で、例えば、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分については、図２１の領域R1101にデータが存在するから、図１８２に示すように、その領域R1101と、図８３の領域R8301とが重複する領域R18201のデータを、表示装置３に供給すればよい。
【０８５９】
さらに、送信装置１からの動画データの中で、例えば、そこに投影されている被写体が速度「ｒ0／ｔ0」程度で動いている部分については、図２２の領域R1201にデータが存在するから、図１８３に示すように、その領域R1201と、図８３の領域R8301とが重複する領域R18301のデータを、表示装置３に供給すればよい。
【０８６０】
また、送信装置１からの動画データの中で、例えば、そこに投影されている被写体が速度「２ｒ0／ｔ0」程度で動いている部分については、図２３の領域R1301にデータが存在するから、図１８４に示すように、その領域R1301と、図８３の領域R8301とが重複する領域R18401のデータを、表示装置３に供給すればよい。
【０８６１】
以下、送信装置１からの動画データの中で、他の速度で移動する被写体の部分についても同様である。
【０８６２】
次に、例えば、表示装置３が、図８２で説明した表示能力を有する場合、即ち、1/(2t0)のフレームレートを有する場合においては、表示装置３では、図８２の領域R8201内のデータを表示することができる。
【０８６３】
そして、送信装置１からの動画データの中で、例えば、静止している被写体が投影されている部分については、図２０の領域R1001にデータが存在するから、図１８５に示すように、その領域R1001と、図８２の領域R8201とが重複する領域R18501のデータを、表示装置３に供給すればよい。
【０８６４】
また、送信装置１からの動画データの中で、例えば、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分については、図２１の領域R1101にデータが存在するから、図１８６に示すように、その領域R1101と、図８２の領域R8201とが重複する領域R18601のデータを、表示装置３に供給すればよい。
【０８６５】
さらに、送信装置１からの動画データの中で、例えば、そこに投影されている被写体が速度「ｒ0／ｔ0」程度で動いている部分については、図２２の領域R1201にデータが存在するから、図１８７に示すように、その領域R1201と、図８２の領域R8201とが重複する領域R18701のデータを、表示装置３に供給すればよい。
【０８６６】
また、送信装置１からの動画データの中で、例えば、そこに投影されている被写体が速度「２ｒ0／ｔ0」程度で動いている部分については、図２３の領域R1301にデータが存在するから、図１８８に示すように、その領域R1301と、図８２の領域R8201とが重複する領域R18801のデータを、表示装置３に供給すればよい。
【０８６７】
以下、送信装置１からの動画データの中で、他の速度で移動する被写体の部分についても同様である。
【０８６８】
次に、例えば、表示装置３が、図８１で説明した表示能力を有する場合、即ち、1/(4t0/3)のフレームレートを有する場合においては、表示装置３では、図８１の領域R8101内のデータを表示することができる。
【０８６９】
そして、送信装置１からの動画データの中で、例えば、静止している被写体が投影されている部分については、図２０の領域R1001にデータが存在するから、図１８９に示すように、その領域R1001と、図８１の領域R8101とが重複する領域R18901のデータを、表示装置３に供給すればよい。
【０８７０】
また、送信装置１からの動画データの中で、例えば、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分については、図２１の領域R1101にデータが存在するから、図１９０に示すように、その領域R1101と、図８１の領域R8101とが重複する領域R19001のデータを、表示装置３に供給すればよい。
【０８７１】
さらに、送信装置１からの動画データの中で、例えば、そこに投影されている被写体が速度「ｒ0／ｔ0」程度で動いている部分については、図２２の領域R1201にデータが存在するから、図１９１に示すように、その領域R1201と、図８１の領域R8101とが重複する領域R19101のデータを、表示装置３に供給すればよい。
【０８７２】
また、送信装置１からの動画データの中で、例えば、そこに投影されている被写体が速度「２ｒ0／ｔ0」程度で動いている部分については、図２３の領域R1301にデータが存在するから、図１９２に示すように、その領域R1301と、図８１の領域R8101とが重複する領域R19201のデータを、表示装置３に供給すればよい。
【０８７３】
以下、送信装置１からの動画データの中で、他の速度で移動する被写体の部分についても同様である。
【０８７４】
次に、例えば、表示装置３が、図８０で説明した表示能力を有する場合、即ち、1/t0のフレームレートを有する場合においては、表示装置３では、図８０の領域R8001内のデータを表示することができる。
【０８７５】
そして、送信装置１からの動画データの中で、例えば、静止している被写体が投影されている部分については、図２０の領域R1001にデータが存在するから、図１９３に示すように、その領域R1001と、図８０の領域R8001とが重複する領域R19301のデータを、表示装置３に供給すればよい。
【０８７６】
また、送信装置１からの動画データの中で、例えば、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分については、図２１の領域R1101にデータが存在するから、図１９４に示すように、その領域R1101と、図８０の領域R8001とが重複する領域R19401のデータを、表示装置３に供給すればよい。
【０８７７】
さらに、送信装置１からの動画データの中で、例えば、そこに投影されている被写体が速度「ｒ0／ｔ0」程度で動いている部分については、図２２の領域R1201にデータが存在するから、図１９５に示すように、その領域R1201と、図８０の領域R8001とが重複する領域R19501のデータを、表示装置３に供給すればよい。
【０８７８】
また、送信装置１からの動画データの中で、例えば、そこに投影されている被写体が速度「２ｒ0／ｔ0」程度で動いている部分については、図２３の領域R1301にデータが存在するから、図１９６に示すように、その領域R1301と、図８０の領域R8001とが重複する領域R19601のデータを、表示装置３に供給すればよい。
【０８７９】
以下、送信装置１からの動画データの中で、他の速度で移動する被写体の部分についても同様である。
【０８８０】
以上から、表示装置３に対しては、その表示能力に応じて、次のような動画データを供給すれば良い。
【０８８１】
即ち、表示装置３の表示能力としてのフレームレートを、変数dを用いて、１／（ｄ×ｔ0と表すと、その表示能力は、周波数ドメイン上において、次のような領域RBで表される。
【０８８２】
領域RB＝｛（X,Y,T)｜−π／ｒ0≦X≦π／ｒ0、かつ、−π／ｒ0≦Y≦π／ｒ0、
かつ、−π／（ｄ×ｔ0）≦T≦π／（ｄ×ｔ0）｝
【０８８３】
また、送信装置１からの動画データの各部分のデータが存在する周波数ドメイン上の領域、即ち、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301は、上述したように、動画データの各部分のデータの主成分方向に延びる、T方向の幅が２π/(4t0)の領域である。そして、データの主成分方向は、上述したように、そのデータの空間方向x,yの動きベクトル（２次元の動きベクトル）に対して、フレーム周期を、時間方向tのコンポーネントとして加えた３次元の動きベクトルと直交する。
【０８８４】
いま、データの空間方向x,yの動きベクトルを、(u0,v0)とすると、送信装置１からの動画データのフレーム周期は4t0であるから、３次元の動きベクトルは、(u0,v0,4t0)と表すことができる。主成分方向は、この動きベクトル(u0,v0,4t0)に直交する。
【０８８５】
従って、送信装置１からの動画データの各部分のデータが存在する周波数ドメイン上の領域（正確には、原点を通り、主成分方向に延びる直線（平面）から、T方向に±π/(4t0)の範囲の領域）は、次のような領域RCで表される。
【０８８６】
領域RC＝｛点（0,0,-π/(4t0)）を通り、
動きベクトル(u0,v0,4t0)に垂直な平面と、
点（0,0,π/(4t0)）を通り、
動きベクトル(u0,v0,4t0)に垂直な平面とに囲まれる領域｝
【０８８７】
表示装置３に対しては、領域RBとRCとが重なる領域RA(=RB∩RC)の動画データを供給すれば良い。ここで、表示装置３に対して供給すべき動画データの周波数ドメイン上の領域を、以下、適宜、供給領域という。領域RAは、供給領域である。
【０８８８】
図１９７は、供給領域RAの動画データを得て表示装置３に供給する図２４の受信装置２の構成例を示している。
【０８８９】
なお、図１９７において、図３３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１９７の受信装置２は、フィルタ部５２とフィルタ情報供給部６２に代えて、フィルタ部３０１とフィルタ情報供給部３０２がそれぞれ設けられている他は、図３３における場合と同様に構成されている。
【０８９０】
図１９７においては、フィルタ部３０１とフィルタ情報供給部３０２に対して、表示装置３の表示能力（を表す情報）が供給されるようになっている。ここで、表示装置３が表示能力を供給する機能を有する場合には、表示装置３の表示能力は、例えば、表示装置３から、フィルタ部３０１とフィルタ情報供給部３０２に対して供給させるようにすることができる。また、表示装置３の表示能力は、例えば、受信装置２の図示せずに操作部をユーザに操作してもらうことによって、その操作部から、フィルタ部３０１とフィルタ情報供給部３０２に対して供給するようにすることも可能である。
【０８９１】
フィルタ情報供給部３０２は、主成分方向取得部６１からの主成分方向と、表示装置３の表示能力とから、供給領域RAを求める。
【０８９２】
即ち、フィルタ情報供給部３０２は、図３３のフィルタ情報供給部６２と同様に、主成分方向取得部６１からの主成分方向の情報に基づき、周波数ドメインにおいて、主成分方向に延びる領域であって、時間方向の周波数軸Tの方向に特定の幅としての、例えば、2π/(4t0)を有する、上述の領域RC（例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301などの主成分方向が制限されない領域）を求める。
【０８９３】
ここで、領域RCを求めるには、動きベクトル(u0,v0)が必要であるが、動きベクトル(u0,v0)は、主成分方向取得部６１からの主成分方向から認識することができる。なお、主成分方向取得部６１では、上述したように、主成分方向を、動きベクトルから求めることができるが、この場合、主成分方向を求めることなく、動きベクトル（２次元または３次元の動きベクトル）を、そのまま、フィルタ情報供給部３０２に供給することができる。
【０８９４】
フィルタ情報供給部３０２は、さらに、表示装置３の表示能力を表す領域RBを求め、その領域RBと、先に求めた領域RCとが重複する領域を、供給領域RAとして求める。なお、領域RBは、表示装置３の表示能力としての、例えば、表示装置３のフレームレート1/(d×t0)から求めることができる。
【０８９５】
フィルタ情報供給部３０２は、以上のようにして供給領域RAを求めると、その供給領域RAを、フィルタの通過帯域として決定し、その通過帯域を、フィルタ情報として、フィルタ部３０１に出力する。
【０８９６】
フィルタ部３０１は、バッファ部５１に記憶されたフレームレート1/(4t0)の動画データを用いて、図３３のフィルタ部５２における場合と同様に、フィルタ情報供給部３０２からのフィルタ情報に対応したフィルタリングとアップサンプリングを行う。但し、フィルタ部３０１は、表示装置３の表示能力に応じた倍数のアップサンプリングを行う。
【０８９７】
即ち、フィルタ部３０１は、表示装置３の表示能力としての、例えば、表示装置３のフレームレート1/(d×t0)に応じて、4/d倍のアップサンプリングを行う。これにより、フィルタ部３０１は、フレームレート1/(4t0)の動画データから、フレームレート1/(d×t0)の動画データを得て、表示装置３に供給する。
【０８９８】
次に、図１９８のフローチャートを参照して、図１９７の受信装置２の処理について説明する。
【０８９９】
デコード部５０には、エンコードデータが供給される。デコード部５０は、そのエンコードデータを、フレームレートが1/(4t0)の低フレームレートの動画データにデコードし、バッファ部５１に供給する。バッファ部５１では、デコード部５０から供給される1/(4t0)のフレームレートの低フレームレートの動画データが順次記憶される。
【０９００】
そして、ステップＳ３０１において、フィルタ生成部５３は、バッファ部５１に記憶された動画データのうちのある部分のデータ、即ち、例えば、図３２のステップＳ２１で説明したような１６×１６画素のブロックのデータを読み出して、自身（フィルタ生成部５３）に入力し、ステップＳ３０２乃至Ｓ３０４に順次進む。
【０９０１】
ステップＳ３０２乃至Ｓ３０４では、フィルタ生成部５３（の主成分方向取得部６１およびフィルタ情報供給部３０２）が、ステップＳ３０１で入力されたデータについて、周波数ドメイン上で人間が認識することができ、かつ、表示装置３で表示することができるデータの領域である供給領域RAを、フィルタの通過帯域として求め、その通過帯域をフィルタ情報として、フィルタ部３０１に供給する。
【０９０２】
即ち、ステップＳ３０２では、フィルタ生成部５３の主成分方向取得部６１は、ステップＳ３０１で入力された部分のデータについて、空間方向x,yの周波数軸X,Y、および時間方向tの周波数軸Tで定義される周波数ドメインでの主成分方向を取得し、フィルタ情報供給部３０２に供給して、ステップＳ３０３に進む。
【０９０３】
なお、ステップＳ３０２において主成分方向は、図３１で説明したように、３次元フーリエ変換を行うことにより求めることもできるし、図３２で説明したように、動きベクトルを検出することにより求めることもできる。また、上述したように、送信装置１からのエンコードデータに、主成分方向（の情報）が多重化されている場合には、デコード部５０において、エンコードデータから主成分方向を分離し、主成分方向取得部６１において、デコード部５０から、その主成分方向の供給を受けることにより、主成分方向を取得することもできる。
【０９０４】
さらに、図３４のステップＳ３２で説明したように、エンコードデータに空間方向x,yの動きベクトル(u0,v0)が含まれる場合には、その動きベクトル(u0,v0)を、時間方向のコンポーネントｔ（ここではt＝4t0）を加えて、空間方向x,yおよび時間方向tの３次元の動きベクトル(u0,v0,t)とし、その３次元の動きベクトル(u0,v0,t)に直交する方向を主成分方向とすることもできる。
【０９０５】
ここで、ステップＳ３０２では、主成分方向取得部６１は、主成分方向ではなく、動きベクトルを、フィルタ情報供給部３０２に供給しても良い。
【０９０６】
ステップＳ３０３では、フィルタ情報供給部３０２は、主成分方向取得部６１から供給される動きベクトル、または主成分方向から得られる動きベクトルに基づき、人間が認識することができるデータの領域RC、つまり、例えば、図２０の領域R1001や、図２１の領域R1101、図２２の領域R1201、図２３の領域R1301（などの主成分方向が制限されない領域）を求める。さらに、フィルタ情報供給部３０２は、表示装置３の表示能力としてのフレームレート1/(d×t0)に基づき、その表示能力を表す領域RBを求める。そして、フィルタ情報供給部３０２は、領域RBとRCとが重なる領域を、供給領域RAとして求め、その供給領域RAを、フィルタの通過帯域として決定して、ステップＳ３０３からＳ３０４に進む。
【０９０７】
ステップＳ３０４では、フィルタ情報供給部３０２は、ステップＳ３０３で求めたフィルタの通過帯域（を表す情報）を、フィルタ情報として、フィルタ部３０１に供給し、ステップＳ３０５に進む。
【０９０８】
ステップＳ３０５では、フィルタ部３０１が、バッファ部５１から動画データを読み出し、そのデータに対して、ステップＳ３０４でフィルタ生成部５３から供給されたフィルタ情報が表す通過帯域のフィルタを適用しながら、時間方向のサンプル数を4/d倍にするアップサンプリングを行う。
【０９０９】
フィルタ部３０１は、フィルタリングおよびアップサンプリングを行うことにより、フレームレートが1/(d×t0)の動画データを得て、ステップＳ３０５からＳ３０６に進む。
【０９１０】
ステップＳ３０６では、フィルタ部３０１は、ステップＳ３０５で得たフレームレート1/(d×t0)の動画データを、フレームレートが1/(d×t0)の表示装置３（図２４）に出力する。
【０９１１】
以上のように、周波数ドメイン上で人間が認識することができる領域RCと、表示装置３の表示能力を表す領域RBとが重なる供給領域RAを通過帯域とするフィルタによって、動画データをフィルタリングし、さらに、表示装置３の表示能力に応じたアップサンプリングを行うようにしたので、人間の目の視覚効果を考慮したデータ量の削減が行われた低フレームレートの動画データから、表示装置３の表示能力に適した動画データを得て表示することができる。
【０９１２】
このように図１８１乃至図１９８を用いて説明したような受信側の構成を採用することで、図７９乃至１０９を用いて説明したような複数の周波数成分に分割された動画データ（例えば、「低域成分動画データ」「中低域成分動画データ」「中高域成分動画データ」および「高域成分動画データ」という４つの動画データ）が、送信装置１から送信されて来ない場合においても、受信装置２（図１９７に示した装置）で最適な周波数成分のみを復元することで、表示装置３における最適な動画データを表示することが出来る。
【０９１３】
次に、図１９９は、供給領域RAの動画データを得て表示装置３に供給する図２４の受信装置２の他の構成例を示している。
【０９１４】
なお、図１９９において、図１９７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１９９の受信装置２は、デコード部５０が、MPEGデコーダ３１１とフィルタ情報供給部３１２とで構成されており、フィルタ生成部５３が設けられていない他は、図１９７における場合と同様に構成されている。
【０９１５】
図１９９の受信装置２のデコード部５０には、図２５の送信装置１のエンコード部２４においてフレームレート1/(4t0)の動画データが、例えば、MPEGエンコードされることによって得られるエンコードデータが、記録媒体１１（図２４）または伝送媒体１２を介して供給されるようになっている。
【０９１６】
デコード部５０では、MPEGデコーダ３１１が、デコード部５０に供給されるエンコードデータを、フィルタ情報供給部３１２から供給されるフィルタ情報に基づいてMPEGデコードし、その結果得られるフレームレート1/(4t0)の動画データを、バッファ部５１に供給する。
【０９１７】
フィルタ情報供給部３１２には、表示装置３の表示能力としての表示装置３のフレームレート1/(d×t0)が供給されるようになっている。ここで、表示装置３が表示能力を供給する機能を有する場合には、表示装置３の表示能力は、例えば、表示装置３から、フィルタ情報供給部３１２に対して供給させるようにすることができる。また、表示装置３の表示能力は、例えば、受信装置２の図示せずに操作部をユーザに操作してもらうことによって、その操作部から、フィルタ情報供給部３１２に対して供給するようにすることも可能である。なお、表示装置３の表示能力は、フィルタ情報供給部３１２の他、フィルタ部３０１にも供給されるようになっている。
【０９１８】
フィルタ情報供給部３１２は、表示装置３の表示能力としての表示装置３のフレームレート1/(d×t0)に基づき、領域RBを求める。さらに、フィルタ情報供給部３１２は、MPEGデコーダ３１１がエンコードデータをMPEGデコードするのに用いる動きベクトルを取得し、その動きベクトルに基づき、領域RCを求める。そして、フィルタ情報供給部３１２は、領域RBとRCとが重複する領域である供給領域RAを求め、その供給領域RAを、フィルタの通過帯域として決定し、その通過帯域を、フィルタ情報として、フィルタ部３０１に出力する。
【０９１９】
さらに、フィルタ情報供給部３１２は、フィルタ情報を、MPEGデコーダ３１１にも供給し、これにより、MPEGデコーダ３１１を制御する。
【０９２０】
次に、図２００のフローチャートを参照して、図１９９の受信装置２の処理について説明する。
【０９２１】
デコード部５０には、エンコードデータが供給される。デコード部５０は、ステップＳ３１１において、そのエンコードデータを、MPEGデコーダ３１１に入力し、ステップＳ３１２に進む。
【０９２２】
ステップＳ３１２では、MPEGデコーダ３１１は、エンコードデータから動きベクトルを取り出し（抽出し）、フィルタ情報供給部３１２に供給して、ステップＳ３１３に進む。
【０９２３】
ステップＳ３１３では、フィルタ情報供給部３１２は、MPEGデコーダ３１１から供給された動きベクトルを用い、エンコードデータに動きベクトルが含まれていないマクロブロックの動きベクトルを推測し、これにより、エンコードデータにMPEGエンコードされたフレームレート1/(4t0)の動画データのマクロブロックすべてについて、動きベクトルを得る。
【０９２４】
即ち、動画データがMPEGエンコードされる場合、動画データの各ピクチャ（フレームまたはフィールド）は、例えば、I(Intra)，P(Predictive)，B(Bidirectionally Predictive )ピクチャのうちのいずれかに分類される。そして、Iピクチャは、動き補償を利用することなくエンコードされるため、Iピクチャのマクロブロックには、動きベクトルが存在しない。そこで、ステップＳ３１３では、このように動きベクトルがないマクロブロックの動きベクトルが、例えば、前後のフレームのマクロブロックの動きベクトルを用いた内挿や外挿等によって推測される。
【０９２５】
その後、ステップＳ３１３からＳ３１４に進み、フィルタ情報供給部３１２は、例えば、マクロブロックについて、周波数ドメイン上で人間が認識することができ、かつ、表示装置３で表示することができるデータの領域である供給領域RAを、フィルタの通過帯域として求め、その通過帯域をフィルタ情報として、フィルタ部３０１とMPEGデコーダ３１１に供給する。
【０９２６】
即ち、ステップＳ３１４では、図１９８のステップＳ３０３における場合と同様に、フィルタ情報供給部３１２は、マクロブロックの動きベクトルに基づき、人間が認識することができるデータの領域RCを求める。さらに、フィルタ情報供給部３１２は、表示装置３の表示能力としてのフレームレート1/(d×t0)に基づき、その表示能力を表す領域RBを求める。そして、フィルタ情報供給部３１２は、領域RBとRCとが重なる領域を、供給領域RAとして求め、その供給領域RAを、フィルタの通過帯域として決定して、その通過帯域（を表す情報）を、フィルタ情報として、フィルタ部３０１とMPEGデコーダ３１１に供給する。
【０９２７】
その後、ステップＳ３１４からＳ３１５に進み、MPEGデコーダ３１１は、フィルタ情報供給部３１２からのフィルタ情報が表す通過帯域内のデータのみを通過する帯域制限フィルタを適用しながら、そのフィルタ情報を求めるときに用いられた動きベクトルを有するマクロブロックをMPEGデコード（解凍）し、その結果得られるフレームレート1/(4t0)の動画データを、バッファ部５１に供給して記憶させる。
【０９２８】
即ち、ここでは、エンコードデータは、動画データをMPEGエンコードしたものであるから、動画データは、周波数軸上のデータであるDCT(Discrete Cosine Transform)係数に変換されている。ステップＳ３１５では、MPEGデコーダ３１１は、フィルタ情報が表す通過帯域外の周波数成分に対応するDCT係数を、強制的に０にしてからMPEGデコードを行うことで、等価的に、フィルタ情報が表す通過帯域内のデータのみを通過する帯域制限フィルタを適用しながら、エンコードデータをMPEGデコードすることができる。
【０９２９】
そして、ステップＳ３１５からＳ３１６に進み、フィルタ部３０１が、バッファ部５１からMPEGデコード後の動画データを読み出し、そのデータに対して、ステップＳ３１４でフィルタ生成部５３から供給されたフィルタ情報が表す通過帯域のフィルタを適用しながら、時間方向のサンプル数を4/d倍にするアップサンプリングを行う。
【０９３０】
フィルタ部３０１は、フィルタリングおよびアップサンプリングを行うことにより、フレームレートが1/(d×t0)の動画データを得て、ステップＳ３１６からＳ３１７に進む。
【０９３１】
ステップＳ３１７では、フィルタ部３０１は、ステップＳ３１６で得たフレームレート1/(d×t0)の動画データを、フレームレートが1/(d×t0)の表示装置３（図２４）に出力する。
【０９３２】
以上のように、周波数ドメイン上で人間が認識することができる領域RCと、表示装置３の表示能力を表す領域RBとが重なる供給領域RAを通過帯域とするフィルタによって、動画データをフィルタリングし、さらに、表示装置３の表示能力に応じたアップサンプリングを行うようにしたので、人間の目の視覚効果を考慮したデータ量の削減が行われた低フレームレートの動画データから、表示装置３の表示能力に適した動画データを得て表示することができる。
【０９３３】
なお、供給領域RAを求めるにあたっては、領域RCに代えて、次のような領域RC'を採用することが可能である。
【０９３４】
領域RC'＝｛(X,Y,T)｜XとYは、-4π/d≦（u0×X＋v0×Y）≦4π/dを満たし、
さらに、-π/r0≦X≦π/r0、かつ、-π/r0≦Y≦π/r0を満たす。｝∩RC
【０９３５】
ここで、(u0,v0)は、マクロブロックの動きベクトルである。
【０９３６】
なお、領域RC'の定義によれば、動きベクトル、つまり、u0またはv0が大であるほど、周波数ドメイン上のXとYが小さな値に制限される。従って、領域RC'は、動きベクトルが小であるほど、空間方向の周波数X,Yが高くなるように拡がり、動きベクトルが大であるほど、空間方向の周波数X,Yが低くなるように狭まる。
【０９３７】
領域RCに代えて、領域RC'を採用した場合の供給領域をRA'と表すこととすると、供給領域RA'は、以下のような領域となる。
【０９３８】
即ち、例えば、表示装置３が、1/(4t0)のフレームレートを有する場合においては、供給領域RA'は、以下のような領域となる。
【０９３９】
例えば、動画の中で、静止している被写体が投影されている部分については、領域RA'は、図２０１に示すように、図２０の領域R1001と同一の領域R20101となる。
【０９４０】
また、例えば、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分については、領域RA'は、図２０２に示すように、図２１の領域R1101のうちの、図１６０に示した直線L15801とL15802とで挟まれる領域R20201となる。
【０９４１】
さらに、例えば、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）」程度で動いている部分については、領域RA'は、図２０３に示すように、図２２の領域R1201のうちの、図１６７に示した直線L16301とL16302とで挟まれる領域R20301となる。
【０９４２】
また、例えば、動画の中で、そこに投影されている被写体が速度「２ｒ0／ｔ0」程度で動いている部分については、領域RA'は、図２０４に示すように、図２３の領域R1301のうちの、図１７６に示した直線L17201とL17202とで挟まれる領域R20401となる。
【０９４３】
次に、例えば、表示装置３が、1/(2t0)のフレームレートを有する場合においては、供給領域RA'は、以下のような領域となる。
【０９４４】
例えば、動画の中で、静止している被写体が投影されている部分については、領域RA'は、図２０５に示すように、図２０の領域R1001と同一の領域R20501となる。
【０９４５】
また、例えば、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分については、領域RA'は、図２０６に示すように、図２１の領域R1101のうちの、図１６０に示した直線L15901とL15902とで挟まれる領域R20601、即ち、領域R1101と同一の領域R20601となる。
【０９４６】
さらに、例えば、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）」程度で動いている部分については、領域RA'は、図２０７に示すように、図２２の領域R1201のうちの、図１６７に示した直線L16401とL16402とで挟まれる領域R20701となる。
【０９４７】
また、例えば、動画の中で、そこに投影されている被写体が速度「２ｒ0／ｔ0」程度で動いている部分については、領域RA'は、図２０８に示すように、図２３の領域R1301のうちの、図１７６に示した直線L17301とL17302とで挟まれる領域R20801となる。
【０９４８】
次に、例えば、表示装置３が、1/(4t0/3)のフレームレートを有する場合においては、供給領域RA'は、以下のような領域となる。
【０９４９】
例えば、動画の中で、静止している被写体が投影されている部分については、領域RA'は、図２０９に示すように、図２０の領域R1001と同一の領域R20901となる。
【０９５０】
また、例えば、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分については、領域RA'は、図２１０に示すように、図２１の領域R1101と同一の領域R21001となる。
【０９５１】
さらに、例えば、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）」程度で動いている部分については、領域RA'は、図２１１に示すように、図２２の領域R1201のうちの、図１６７に示した直線L16501とL16502とで挟まれる領域R21101となる。
【０９５２】
また、例えば、動画の中で、そこに投影されている被写体が速度「２ｒ0／ｔ0」程度で動いている部分については、領域RA'は、図２１２に示すように、図２３の領域R1301のうちの、図１７６に示した直線L17401とL17402とで挟まれる領域R21201となる。
【０９５３】
次に、例えば、表示装置３が、1/t0のフレームレートを有する場合においては、供給領域RA'は、以下のような領域となる。
【０９５４】
例えば、動画の中で、静止している被写体が投影されている部分については、領域RA'は、図２１３に示すように、図２０の領域R1001と同一の領域R21301となる。
【０９５５】
また、例えば、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）／２」程度で動いている部分については、領域RA'は、図２１４に示すように、図２１の領域R1101と同一の領域R21401となる。
【０９５６】
さらに、例えば、動画の中で、そこに投影されている被写体が速度「（ｒ0／ｔ0）」程度で動いている部分については、領域RA'は、図２１５に示すように、図２２の領域R1201と同一の領域R21501となる。
【０９５７】
また、例えば、動画の中で、そこに投影されている被写体が速度「２ｒ0／ｔ0」程度で動いている部分については、領域RA'は、図２１６に示すように、図２３の領域R1301と同一の領域R21601となる。
【０９５８】
領域RAは、例えば、図１８１乃至図１９６に示した領域であり、領域RA'は、例えば、図２０１乃至図２１６に示した領域である。図１８１乃至図１９６に示した領域RAそれぞれと、図２０１乃至図２１６に示した領域RA'それぞれとは、ほぼ同様の領域でる。
【０９５９】
従って、受信装置２では、領域RAを通過帯域とするフィルタリングに代えて、領域RA'を通過帯域とするフィルタリングを行うようにすることができる。
【０９６０】
また、表示装置３が、1/(d×t0)のフレームレートを有する場合、表示装置３では、時間方向に、領域RBを通過帯域とするフィルタリングが（等価的に）行われる。従って、受信装置２では、送信装置１からのフレームレート1/(4t0)の動画データに対して、領域RA'ではなく、領域RC'を通過帯域とするフィルタリングを施せば、表示装置３では、実質的に、領域RA'、ひいては領域RAを通過帯域とするフィルタリングを行った場合と同様の表示を行うことができる。
【０９６１】
この場合、メモリ容量を少なくし、あるいは回路規模を小型化することができる。
【０９６２】
即ち、図１８１乃至図１９６に示したような領域RAは、T方向に直交する方向に、領域RCを制限した領域となるので、そのような領域RAを通過帯域とするフィルタリングには、注目ブロックのフレーム（注目フレーム）の他、注目フレーム以外のフレームが対象となる。従って、この場合、注目フレーム以外のフレーム（例えば、注目ブロックの前後１フレーム以上）を記憶しておく必要があり、そのためのフレームメモリが必要となる。つまり、時間方向に関するフィルタリングが必要であり、それは即ち、注目フレーム以外のフレームを使用したフィルタリング処理が必要となることを意味する。
【０９６３】
これに対して、領域RC'は、T方向と直交する方向に制限されていないので、即ち、T方向と平行な方向にのみ制限されるので、そのフィルタリングは、注目フレームだけを対象とすれば済む。従って、この場合、注目フレーム以外のフレームを記憶しておく必要はなく、そのためのフレームメモリも不要となる。その結果、メモリ容量を少なくし、あるいは回路規模を小型化することができる。つまり、空間方向に関するフィルタリングを行えば良く、それは即ち、注目フレーム内の画素のみを使用したフィルタリング処理となるので、フレーム間をまたがる処理は不要である。
【０９６４】
なお、上述の場合には、図１９７や図１９９の受信装置２に、図２４の送信装置１において1/t0の高フレームレートの動画データを処理して得られる1/(4t0)の低フレームレートの動画データを入力し、受信装置２において、その動画データを、表示装置３のフレームレートに応じたフレームレートの動画データに変換するようにしたが、図１９７や図１９９の受信装置２には、元々、1/(4t0)のフレームレートの動画データを入力しても良い。また、図１９７や図１９９の受信装置２には、1/(4t0)以外のフレームレートの動画データを入力しても良い。
【０９６５】
次に、上述した一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０９６６】
そこで、図２１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０９６７】
コンピュータのメイン・コントローラであるCPU（Central Processing Unit）４０１は、バス４０８を介して、各部に接続されており、オペレーティング・システム（OS）の制御下で、アプリケーションプログラムを実行することにより、上述した一連の処理を行う。CPU４０１が実行するアプリケーションプログラムには、上述した一連の処理を行うためのものが含まれており、CPU４０１は、例えば、VTR(Video Tape Recorder)４１０から、VTRインターフェース４０９、バス４０８、および外部機器インターフェース４０７を介して、HDD(Hard disk Drive)４１４へダウンロードされた動画データを処理する。
【０９６８】
メモリ４０２は、CPU４０１において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。なお、メモリ４０２には、ROM(Read Only Memory)などの不揮発性メモリ及びDRAM(Dynamic Random Access Memory)などの揮発性メモリの双方が含まれる。
【０９６９】
ディスプレイコントローラ４０３は、CPU４０１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ４０３において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ディスプレイ４１１によって画面出力される。例えば、HDD４１４から再生された動画は、上述したように、ディスプレイ４１１で画面表示される。
【０９７０】
入力機器インターフェース４０４は、キーボード４１２やマウス４１３などのユーザ入力機器をコンピュータに接続するための装置である。ユーザは、キーボード４１２やマウス４１３を介して、動画を再生するためのコマンドなどを入力することができる。
【０９７１】
ネットワークインターフェース４０５は、Ethernet（登録商標）などの所定の通信プロトコルに従って、コンピュータをLAN（Local Area Network）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。なお、ネットワーク上では、複数のホスト端末やサーバ（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、上述した一連の処理を実行するためのアプリケーションプログラムを含むソフトウェア・プログラムや、エンコードデータを含むデータ・コンテンツなどの配信サービスを行うことができる。また、コンピュータでは、例えば、他人が撮影した動画等が保存されているサーバから、動画データやエンコードデータを、ネットワークを経由してネットワークインターフェース４０５で受信し、HDD４１４へダウンロードすることができる。
【０９７２】
外部機器インターフェース４０７は、HDD４１４やメディア・ドライブ４１５などの外部装置をコンピュータに接続するための装置である。
【０９７３】
HDD４１４は、記憶媒体としての磁気ディスクを固定的に搭載したランダムアクセス可能な外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。HDD４１４には、上述した一連の処理を実行するアプリケーションプログラム等がインストールされる。ここで、「インストール」とは、ソフトウェア・プログラムを実行可能な状態でHDD４１４上に置くことを意味する。HDD４１４には、CPU４０１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納される。なお、アプリケーションプログラムは、可搬形メディア４１６から、あるいは、ネットワークインターフェース４０５を介してダウンロードして、HDD４１４にインストールすることができる。また、アプリケーションプログラムは、あらかじめHDD４１４にインストールしておくことができる。
【０９７４】
メディア・ドライブ４１５は、CD（Compact Disc）やMO（Magneto-Optical disc）、DVD（Digital Versatile Disc）などの可搬型メディア４１６を装填して、そのデータ記録面にアクセスするための装置である。
【０９７５】
可搬型メディア４１６は、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。上述した一連の処理を実行するアプリケーションプログラムや、そのアプリケーションプログラムを実行することにより得られるエンコードデータは、可搬型メディア４１６を利用して複数の機器間で物理的に流通・配布することができる。また、エンコードデータは、ネットワークインターフェース４０５を介して配信することもできる。
【０９７６】
VTRインターフェース４０９は、VTR４１０から再生される動画をコンピュータ内に取り込むための装置である。
【０９７７】
なお、図２１７に示すコンピュータとしては、米IBM社のパーソナル・コンピュータ"PC／AT（Personal Computer/Advanced Technology）"の互換機又は後継機を採用することができる。勿論、他のアーキテクチャを備えたコンピュータを採用しても良い。
【０９７８】
また、上述した実施の形態では、送信装置１において、人間が認識することができる周波数ドメイン上の領域を通過帯域とするフィルタリングを行いながら、ダウンサンプリングを行うことにより、1/t0のフレームレートの動画データを、1/(4t0)のフレームレートの動画データとするようにしたが、ダウンサンプリングは、必ずしも行う必要はない。ダウンサンプリングを行わない場合には、フィルタリング後の動画データのフレーム数は、フィルタリング前と変わらないが、その周波数成分は、人間が認識することができる周波数ドメイン上の領域内に制限されるので、即ち、その領域外の周波数成分は除去されるので、（フィルタリング後の動画データに周波数軸上への変換を施すエンコードを適用することにより）その除去された周波数成分の分だけのデータ量の削減を行うことができる。
【図面の簡単な説明】
【０９７９】
【図１】２次元平面(x,y)に時間方向(t)を加えた３次元空間における動画データを示す図である。
【図２】人間の視覚によって認識することができる動画の周波数ドメイン上の範囲を示す図である。
【図３】静止している動画の部分のデータが分布する周波数ドメイン上の領域を示す図である。
【図４】被写体が速度（r0／t0）／２程度で動いている部分のデータが分布する周波数ドメイン上の領域を示す図である。
【図５】速度（r0／t0）／２で動いている被写体を示す波形図である。
【図６】速度（r0／t0）／２で動いている被写体を示す図である。
【図７】速度（r0／t0）／２程度で動いている部分のデータの周波数ドメイン上の部分を説明するための図である。
【図８】被写体が速度r0／t0程度で動いている部分のデータが分布する周波数ドメイン上の領域を示す図である。
【図９】被写体が速度２r0／t0程度で動いている部分のデータが分布する周波数ドメイン上の領域を示す図である。
【図１０】動画の静止している部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１１】被写体が速度(r0／t0)／２程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１２】被写体が速度r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１３】被写体が速度２r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１４】被写体が速度(r0／t0)／２程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１５】被写体が速度(r0／t0)／２程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１６】被写体が速度r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１７】被写体が速度r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１８】被写体が速度２r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図１９】被写体が速度２r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図２０】動画の静止している部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図２１】被写体が速度(r0／t0)／２程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図２２】被写体が速度r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図２３】被写体が速度２r0／t0程度で動いている部分について人間が認識することができる周波数ドメイン上の領域を説明する図である。
【図２４】本発明が適用される画像処理システムの一実施の形態の構成例を示すブロック図である。
【図２５】送信装置１の第１の構成例を示すブロック図である。
【図２６】送信装置１の処理を説明するフローチャートである。
【図２７】送信装置１が出力する動画データを説明する図である。
【図２８】送信装置１が出力する動画データを説明する図である。
【図２９】送信装置１が出力する動画データを説明する図である。
【図３０】送信装置１が出力する動画データを説明する図である。
【図３１】フィルタ生成部２３の処理を説明するフローチャートである。
【図３２】主成分方向を取得する方法を説明するフローチャートである。
【図３３】受信装置２の第１の構成例を示すブロック図である。
【図３４】受信装置２の処理を説明するフローチャートである。
【図３５】受信装置２でのアップサンプリング後の動画データを説明する図である。
【図３６】受信装置２でのアップサンプリング後の動画データを説明する図である。
【図３７】受信装置２でのアップサンプリング後の動画データを説明する図である。
【図３８】受信装置２でのアップサンプリング後の動画データを説明する図である。
【図３９】電子シャッタによる積分を説明する図である。
【図４０】フィルタの通過帯域を説明する図である。
【図４１】フィルタの通過帯域を説明する図である。
【図４２】フィルタの通過帯域を説明する図である。
【図４３】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図４４】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図４５】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図４６】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図４７】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図４８】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図４９】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図５０】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図５１】送信装置１に供給される高フレームレートの動画データを示す波形図である。
【図５２】主成分方向取得部３１の構成例を示すブロック図である。
【図５３】相関情報を示す図である。
【図５４】スケーリング後の相関情報を示す図である。
【図５５】合成相関情報を示す図である。
【図５６】動きベクトルを示す図である。
【図５７】動きベクトルを示す図である。
【図５８】動きベクトルを示す図である。
【図５９】動きベクトルを示す図である。
【図６０】動きベクトルを示す図である。
【図６１】動きベクトルを示す図である。
【図６２】動きベクトルを示す図である。
【図６３】動きベクトルを示す図である。
【図６４】主成分方向取得部３１の処理を説明するフローチャートである。
【図６５】主成分方向取得部３１の処理を説明するフローチャートである。
【図６６】主成分方向取得部３１の処理を説明するフローチャートである。
【図６７】主成分方向取得部３１の処理を説明するフローチャートである。
【図６８】フィルタ部２２の処理を説明するフローチャートである。
【図６９】静止している被写体と動いている被写体を示す図である。
【図７０】静止している被写体と動いている被写体とが投影された動画データを示す波形図である。
【図７１】静止している被写体と動いている被写体とが投影された動画データを示す波形図である。
【図７２】主成分方向取得部３１の他の構成例を示すブロック図である。
【図７３】フィルタ生成部２３の処理を説明するフローチャートである。
【図７４】フィルタ生成部２３の処理を説明するフローチャートである。
【図７５】フィルタ生成部２３の処理を説明するフローチャートである。
【図７６】フィルタ生成部２３の処理を説明するフローチャートである。
【図７７】フィルタ生成部２３の処理を説明するフローチャートである。
【図７８】フィルタ部２２の処理を説明するフローチャートである。
【図７９】送信装置１の第２の構成例を示すブロック図である。
【図８０】表示装置３の表示能力を表す領域を示す図である。
【図８１】表示装置３の表示能力を表す領域を示す図である。
【図８２】表示装置３の表示能力を表す領域を示す図である。
【図８３】表示装置３の表示能力を表す領域を示す図である。
【図８４】「低域成分動画データ」を示す図である。
【図８５】「中低域成分動画データ」を示す図である。
【図８６】「中高域成分動画データ」を示す図である。
【図８７】「低域成分動画データ」を示す図である。
【図８８】「中低域成分動画データ」を示す図である。
【図８９】「中高域成分動画データ」を示す図である。
【図９０】「高域成分動画データ」を示す図である。
【図９１】「低域成分動画データ」を示す図である。
【図９２】「中低域成分動画データ」を示す図である。
【図９３】「中高域成分動画データ」を示す図である。
【図９４】「高域成分動画データ」を示す図である。
【図９５】送信装置１の処理を説明するフローチャートである。
【図９６】送信装置１の処理を説明するフローチャートである。
【図９７】送信装置１の処理を説明するフローチャートである。
【図９８】「低域成分動画データ」を示す図である。
【図９９】「低域成分動画データ」を示す図である。
【図１００】「中低域成分動画データ」を示す図である。
【図１０１】「中高域成分動画データ」を示す図である。
【図１０２】「低域成分動画データ」を示す図である。
【図１０３】「中低域成分動画データ」を示す図である。
【図１０４】「中高域成分動画データ」を示す図である。
【図１０５】「高域成分動画データ」を示す図である。
【図１０６】「低域成分動画データ」を示す図である。
【図１０７】「中低域成分動画データ」を示す図である。
【図１０８】「中高域成分動画データ」を示す図である。
【図１０９】「高域成分動画データ」を示す図である。
【図１１０】受信装置２の第２の構成例を示すブロック図である。
【図１１１】受信装置２の処理を説明するフローチャートである。
【図１１２】表示装置３で表示される動画データを示す図である。
【図１１３】表示装置３で表示される動画データを示す図である。
【図１１４】表示装置３で表示される動画データを示す図である。
【図１１５】表示装置３で表示される動画データを示す図である。
【図１１６】受信装置２の第３の構成例を示すブロック図である。
【図１１７】受信装置２の処理を説明するフローチャートである。
【図１１８】アップサンプリング後の動画データを示す図である。
【図１１９】表示装置３で表示される動画データを示す図である。
【図１２０】「低域成分動画データ」と「中低域成分動画データ」を合成して得られる動画データを示す図である。
【図１２１】アップサンプリング後の動画データを示す図である。
【図１２２】表示装置３で表示される動画データを示す図である。
【図１２３】「低域成分動画データ」と「中低域成分動画データ」を合成して得られる動画データを示す図である。
【図１２４】アップサンプリング後の動画データを示す図である。
【図１２５】表示装置３で表示される動画データを示す図である。
【図１２６】「低域成分動画データ」と「中低域成分動画データ」を合成して得られる動画データを示す図である。
【図１２７】アップサンプリング後の動画データを示す図である。
【図１２８】表示装置３で表示される動画データを示す図である。
【図１２９】受信装置２の第４の構成例を示すブロック図である。
【図１３０】受信装置２の処理を説明するフローチャートである。
【図１３１】受信装置２の処理を説明するフローチャートである。
【図１３２】アップサンプリング後の動画データを示す図である。
【図１３３】表示装置３で表示される動画データを示す図である。
【図１３４】「低域成分動画データ」、「中低域成分動画データ」、および「中高域成分動画データ」を合成して得られる動画データを示す図である。
【図１３５】アップサンプリング後の動画データを示す図である。
【図１３６】表示装置３で表示される動画データを示す図である。
【図１３７】「低域成分動画データ」、「中低域成分動画データ」、および「中高域成分動画データ」を合成して得られる動画データを示す図である。
【図１３８】アップサンプリング後の動画データを示す図である。
【図１３９】表示装置３で表示される動画データを示す図である。
【図１４０】「低域成分動画データ」、「中低域成分動画データ」、および「中高域成分動画データ」を合成して得られる動画データを示す図である。
【図１４１】アップサンプリング後の動画データを示す図である。
【図１４２】表示装置３で表示される動画データを示す図である。
【図１４３】受信装置２の第５の構成例を示すブロック図である。
【図１４４】受信装置２の処理を説明するフローチャートである。
【図１４５】受信装置２の処理を説明するフローチャートである。
【図１４６】アップサンプリング後の動画データを示す図である。
【図１４７】表示装置３で表示される動画データを示す図である。
【図１４８】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」を合成して得られる動画データを示す図である。
【図１４９】アップサンプリング後の動画データを示す図である。
【図１５０】表示装置３で表示される動画データを示す図である。
【図１５１】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」を合成して得られる動画データを示す図である。
【図１５２】アップサンプリング後の動画データを示す図である。
【図１５３】表示装置３で表示される動画データを示す図である。
【図１５４】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、および「高域成分動画データ」を合成して得られる動画データを示す図である。
【図１５５】アップサンプリング後の動画データを示す図である。
【図１５６】表示装置３で表示される動画データを示す図である。
【図１５７】受信装置２の第６の構成例を示すブロック図である。
【図１５８】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」への分割方法を説明する図である。
【図１５９】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」への分割方法を説明する図である。
【図１６０】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」への分割方法を説明する図である。
【図１６１】「低域成分動画データ」を示す図である。
【図１６２】「中低域成分動画データ」を示す図である。
【図１６３】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」への分割方法を説明する図である。
【図１６４】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」への分割方法を説明する図である。
【図１６５】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」への分割方法を説明する図である。
【図１６６】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」への分割方法を説明する図である。
【図１６７】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」への分割方法を説明する図である。
【図１６８】「低域成分動画データ」を示す図である。
【図１６９】「中低域成分動画データ」を示す図である。
【図１７０】「中高域成分動画データ」を示す図である。
【図１７１】「高域成分動画データ」を示す図である。
【図１７２】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」への分割方法を説明する図である。
【図１７３】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」への分割方法を説明する図である。
【図１７４】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」への分割方法を説明する図である。
【図１７５】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」への分割方法を説明する図である。
【図１７６】「低域成分動画データ」、「中低域成分動画データ」、「中高域成分動画データ」、「高域成分動画データ」への分割方法を説明する図である。
【図１７７】「低域成分動画データ」を示す図である。
【図１７８】「中低域成分動画データ」を示す図である。
【図１７９】「中高域成分動画データ」を示す図である。
【図１８０】「高域成分動画データ」を示す図である。
【図１８１】表示装置３に供給すべき動画データを示す図である。
【図１８２】表示装置３に供給すべき動画データを示す図である。
【図１８３】表示装置３に供給すべき動画データを示す図である。
【図１８４】表示装置３に供給すべき動画データを示す図である。
【図１８５】表示装置３に供給すべき動画データを示す図である。
【図１８６】表示装置３に供給すべき動画データを示す図である。
【図１８７】表示装置３に供給すべき動画データを示す図である。
【図１８８】表示装置３に供給すべき動画データを示す図である。
【図１８９】表示装置３に供給すべき動画データを示す図である。
【図１９０】表示装置３に供給すべき動画データを示す図である。
【図１９１】表示装置３に供給すべき動画データを示す図である。
【図１９２】表示装置３に供給すべき動画データを示す図である。
【図１９３】表示装置３に供給すべき動画データを示す図である。
【図１９４】表示装置３に供給すべき動画データを示す図である。
【図１９５】表示装置３に供給すべき動画データを示す図である。
【図１９６】表示装置３に供給すべき動画データを示す図である。
【図１９７】受信装置２の第７の構成例を示すブロック図である。
【図１９８】受信装置２の処理を説明するフローチャートである。
【図１９９】受信装置２の第８の構成例を示すブロック図である。
【図２００】受信装置２の処理を説明するフローチャートである。
【図２０１】表示装置３に供給すべき動画データを示す図である。
【図２０２】表示装置３に供給すべき動画データを示す図である。
【図２０３】表示装置３に供給すべき動画データを示す図である。
【図２０４】表示装置３に供給すべき動画データを示す図である。
【図２０５】表示装置３に供給すべき動画データを示す図である。
【図２０６】表示装置３に供給すべき動画データを示す図である。
【図２０７】表示装置３に供給すべき動画データを示す図である。
【図２０８】表示装置３に供給すべき動画データを示す図である。
【図２０９】表示装置３に供給すべき動画データを示す図である。
【図２１０】表示装置３に供給すべき動画データを示す図である。
【図２１１】表示装置３に供給すべき動画データを示す図である。
【図２１２】表示装置３に供給すべき動画データを示す図である。
【図２１３】表示装置３に供給すべき動画データを示す図である。
【図２１４】表示装置３に供給すべき動画データを示す図である。
【図２１５】表示装置３に供給すべき動画データを示す図である。
【図２１６】表示装置３に供給すべき動画データを示す図である。
【図２１７】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０９８０】
１  送信装置，  ２  受信装置，  ３  表示装置，  １１  記録媒体，  １２  伝送媒体，  ２１  バッファ部，  ２２  フィルタ部，  ２３  フィルタ生成部，  ２４  エンコード部，  ３１  主成分方向取得部，  ３２  フィルタ情報供給部，  ５０  デコード部，  ５１  バッファ部，  ５２  フィルタ部，  ５３  フィルタ生成部，  ６１  主成分方向取得部，  ６２  フィルタ情報供給部，  １０１  バッファ部，  １０２  ブロック抽出部，  １０３  相関演算部，  １０４  スケーリング合成部，  １０５  最小値検出部，  １２４  合成部，  １２５  最小値検出部，  ２０２  フィルタ部，  ２１１  抽出部，  ２２１  抽出部，  ２２２  合成部，  ２２３  フィルタ部，  ２３１  抽出部，  ２３２  合成部，  ２３３  フィルタ部，  ２４１  抽出部，  ２４２  合成部，  ２５１  抽出部，  ２５２  合成部，  ２５３  フィルタ部，  ３０１  フィルタ部，  ３０２  フィルタ情報供給部，  ３１１  MPEGデコーダ，  ３１２  フィルタ情報供給部，  ４０１  CPU，  ４０２  メモリ，  ４０３  ディスプレイコントローラ，  ４０４  入力機器インターフェース，  ４０５  ネットワークインターフェース，  ４０７  外部機器インターフェース，  ４０９  VTRインターフェース，  ４１０  VTR，  ４１１  ディスプレイ，  ４１２  キーボード，  ４１３  マウス，  ４１４  HDD，  ４１５  メディアドライブ，  ４１６  可搬型メディア
【図１】
2006086705.tif 000011
【図２】
2006086705.tif 000012
【図３】
2006086705.tif 000013
【図４】
2006086705.tif 000014
【図５】
2006086705.tif 000015
【図６】
2006086705.tif 000016
【図７】
2006086705.tif 000017
【図８】
2006086705.tif 000018
【図９】
2006086705.tif 000019
【図１０】
2006086705.tif 000020
【図１１】
2006086705.tif 000021
【図１２】
2006086705.tif 000022
【図１３】
2006086705.tif 000023
【図１４】
2006086705.tif 000024
【図１５】
2006086705.tif 000025
【図１６】
2006086705.tif 000026
【図１７】
2006086705.tif 000027
【図１８】
2006086705.tif 000028
【図１９】
2006086705.tif 000029
【図２０】
2006086705.tif 000030
【図２１】
2006086705.tif 000031
【図２２】
2006086705.tif 000032
【図２３】
2006086705.tif 000033
【図２４】
2006086705.tif 000034
【図２５】
2006086705.tif 000035
【図２６】
2006086705.tif 000036
【図２７】
2006086705.tif 000037
【図２８】
2006086705.tif 000038
【図２９】
2006086705.tif 000039
【図３０】
2006086705.tif 000040
【図３１】
2006086705.tif 000041
【図３２】
2006086705.tif 000042
【図３３】
2006086705.tif 000043
【図３４】
2006086705.tif 000044
【図３５】
2006086705.tif 000045
【図３６】
2006086705.tif 000046
【図３７】
2006086705.tif 000047
【図３８】
2006086705.tif 000048
【図３９】
2006086705.tif 000049
【図４０】
2006086705.tif 000050
【図４１】
2006086705.tif 000051
【図４２】
2006086705.tif 000052
【図４３】
2006086705.tif 000053
【図４４】
2006086705.tif 000054
【図４５】
2006086705.tif 000055
【図４６】
2006086705.tif 000056
【図４７】
2006086705.tif 000057
【図４８】
2006086705.tif 000058
【図４９】
2006086705.tif 000059
【図５０】
2006086705.tif 000060
【図５１】
2006086705.tif 000061
【図５２】
2006086705.tif 000062
【図５３】
2006086705.tif 000063
【図５４】
2006086705.tif 000064
【図５５】
2006086705.tif 000065
【図５６】
2006086705.tif 000066
【図５７】
2006086705.tif 000067
【図５８】
2006086705.tif 000068
【図５９】
2006086705.tif 000069
【図６０】
2006086705.tif 000070
【図６１】
2006086705.tif 000071
【図６２】
2006086705.tif 000072
【図６３】
2006086705.tif 000073
【図６４】
2006086705.tif 000074
【図６５】
2006086705.tif 000075
【図６６】
2006086705.tif 000076
【図６７】
2006086705.tif 000077
【図６８】
2006086705.tif 000078
【図６９】
2006086705.tif 000079
【図７０】
2006086705.tif 000080
【図７１】
2006086705.tif 000081
【図７２】
2006086705.tif 000082
【図７３】
2006086705.tif 000083
【図７４】
2006086705.tif 000084
【図７５】
2006086705.tif 000085
【図７６】
2006086705.tif 000086
【図７７】
2006086705.tif 000087
【図７８】
2006086705.tif 000088
【図７９】
2006086705.tif 000089
【図８０】
2006086705.tif 000090
【図８１】
2006086705.tif 000091
【図８２】
2006086705.tif 000092
【図８３】
2006086705.tif 000093
【図８４】
2006086705.tif 000094
【図８５】
2006086705.tif 000095
【図８６】
2006086705.tif 000096
【図８７】
2006086705.tif 000097
【図８８】
2006086705.tif 000098
【図８９】
2006086705.tif 000099
【図９０】
2006086705.tif 000100
【図９１】
2006086705.tif 000101
【図９２】
2006086705.tif 000102
【図９３】
2006086705.tif 000103
【図９４】
2006086705.tif 000104
【図９５】
2006086705.tif 000105
【図９６】
2006086705.tif 000106
【図９７】
2006086705.tif 000107
【図９８】
2006086705.tif 000108
【図９９】
2006086705.tif 000109
【図１００】
2006086705.tif 000110
【図１０１】
2006086705.tif 000111
【図１０２】
2006086705.tif 000112
【図１０３】
2006086705.tif 000113
【図１０４】
2006086705.tif 000114
【図１０５】
2006086705.tif 000115
【図１０６】
2006086705.tif 000116
【図１０７】
2006086705.tif 000117
【図１０８】
2006086705.tif 000118
【図１０９】
2006086705.tif 000119
【図１１０】
2006086705.tif 000120
【図１１１】
2006086705.tif 000121
【図１１２】
2006086705.tif 000122
【図１１３】
2006086705.tif 000123
【図１１４】
2006086705.tif 000124
【図１１５】
2006086705.tif 000125
【図１１６】
2006086705.tif 000126
【図１１７】
2006086705.tif 000127
【図１１８】
2006086705.tif 000128
【図１１９】
2006086705.tif 000129
【図１２０】
2006086705.tif 000130
【図１２１】
2006086705.tif 000131
【図１２２】
2006086705.tif 000132
【図１２３】
2006086705.tif 000133
【図１２４】
2006086705.tif 000134
【図１２５】
2006086705.tif 000135
【図１２６】
2006086705.tif 000136
【図１２７】
2006086705.tif 000137
【図１２８】
2006086705.tif 000138
【図１２９】
2006086705.tif 000139
【図１３０】
2006086705.tif 000140
【図１３１】
2006086705.tif 000141
【図１３２】
2006086705.tif 000142
【図１３３】
2006086705.tif 000143
【図１３４】
2006086705.tif 000144
【図１３５】
2006086705.tif 000145
【図１３６】
2006086705.tif 000146
【図１３７】
2006086705.tif 000147
【図１３８】
2006086705.tif 000148
【図１３９】
2006086705.tif 000149
【図１４０】
2006086705.tif 000150
【図１４１】
2006086705.tif 000151
【図１４２】
2006086705.tif 000152
【図１４３】
2006086705.tif 000153
【図１４４】
2006086705.tif 000154
【図１４５】
2006086705.tif 000155
【図１４６】
2006086705.tif 000156
【図１４７】
2006086705.tif 000157
【図１４８】
2006086705.tif 000158
【図１４９】
2006086705.tif 000159
【図１５０】
2006086705.tif 000160
【図１５１】
2006086705.tif 000161
【図１５２】
2006086705.tif 000162
【図１５３】
2006086705.tif 000163
【図１５４】
2006086705.tif 000164
【図１５５】
2006086705.tif 000165
【図１５６】
2006086705.tif 000166
【図１５７】
2006086705.tif 000167
【図１５８】
2006086705.tif 000168
【図１５９】
2006086705.tif 000169
【図１６０】
2006086705.tif 000170
【図１６１】
2006086705.tif 000171
【図１６２】
2006086705.tif 000172
【図１６３】
2006086705.tif 000173
【図１６４】
2006086705.tif 000174
【図１６５】
2006086705.tif 000175
【図１６６】
2006086705.tif 000176
【図１６７】
2006086705.tif 000177
【図１６８】
2006086705.tif 000178
【図１６９】
2006086705.tif 000179
【図１７０】
2006086705.tif 000180
【図１７１】
2006086705.tif 000181
【図１７２】
2006086705.tif 000182
【図１７３】
2006086705.tif 000183
【図１７４】
2006086705.tif 000184
【図１７５】
2006086705.tif 000185
【図１７６】
2006086705.tif 000186
【図１７７】
2006086705.tif 000187
【図１７８】
2006086705.tif 000188
【図１７９】
2006086705.tif 000189
【図１８０】
2006086705.tif 000190
【図１８１】
2006086705.tif 000191
【図１８２】
2006086705.tif 000192
【図１８３】
2006086705.tif 000193
【図１８４】
2006086705.tif 000194
【図１８５】
2006086705.tif 000195
【図１８６】
2006086705.tif 000196
【図１８７】
2006086705.tif 000197
【図１８８】
2006086705.tif 000198
【図１８９】
2006086705.tif 000199
【図１９０】
2006086705.tif 000200
【図１９１】
2006086705.tif 000201
【図１９２】
2006086705.tif 000202
【図１９３】
2006086705.tif 000203
【図１９４】
2006086705.tif 000204
【図１９５】
2006086705.tif 000205
【図１９６】
2006086705.tif 000206
【図１９７】
2006086705.tif 000207
【図１９８】
2006086705.tif 000208
【図１９９】
2006086705.tif 000209
【図２００】
2006086705.tif 000210
【図２０１】
2006086705.tif 000211
【図２０２】
2006086705.tif 000212
【図２０３】
2006086705.tif 000213
【図２０４】
2006086705.tif 000214
【図２０５】
2006086705.tif 000215
【図２０６】
2006086705.tif 000216
【図２０７】
2006086705.tif 000217
【図２０８】
2006086705.tif 000218
【図２０９】
2006086705.tif 000219
【図２１０】
2006086705.tif 000220
【図２１１】
2006086705.tif 000221
【図２１２】
2006086705.tif 000222
【図２１３】
2006086705.tif 000223
【図２１４】
2006086705.tif 000224
【図２１５】
2006086705.tif 000225
【図２１６】
2006086705.tif 000226
【図２１７】
2006086705.tif 000227