(57)【要約】【課題】  動画像データの圧縮、復元における画質低下を防止した装置および方法を提供する。【解決手段】  動画像データを構成するブロックにおける被写体移動量を検出し、検出した移動量に基づいて、空間方向間引き処理、または、時間方向間引き処理、または複合的な間引き処理を実行する。特に、フレーム間で移動量が大きく変化する画像データの場合に、間引き処理単位フレーム数Ｎの各ブロックに含まれる最大の移動量を検出して、空間方向間引きを優先的に施す構成とした。本構成により、間引きによる画質劣化を最小限に抑えることができる。さらに、空間方向間引きを優先的に施すことによる画質劣化を、画素値補正によって低減し、高画質データを復元することが可能となる。【選択図】  図４２
2006310920.tif 000002
【特許請求の範囲】
【請求項１】
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部であり、間引き処理実行単位となる複数の連続フレームにおけるピクセル位置の対応する複数ブロックから、被写体移動量の最大値を検出する移動量検出部と、
前記移動量検出部の検出した最大移動量情報を入力し、該最大移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれを実行するかを決定し、間引き処理を実行するブロック処理部に間引き処理対象ブロックデータを供給する処理を実行するブロック分配部と、
前記ブロック分配部からブロックデータと、前記最大移動量情報とを入力し、最大移動量情報に基づいて、空間方向間引き処理、時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかを実行するブロック処理部と、
を有することを特徴とする動画像変換装置。
【請求項２】
前記移動量検出部は、
間引き処理実行単位となる複数の連続フレームにおけるピクセル位置の対応する複数ブロックの各々について、過去フレームとのブロックマッチング処理を実行して、該複数ブロックから被写体移動量の最大値を検出する処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項３】
前記移動量検出部は、
間引き処理実行単位となるＮ枚の連続フレーム、ただしＮ≧２、を処理単位とし、Ｎ枚の連続フレームにおけるピクセル位置の対応する複数ブロックから、被写体移動量の最大値を検出する処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項４】
前記ブロック分配部は、
前記移動量検出部の検出した最大移動量情報に基づいて、間引き処理態様を決定する構成であり、
前記最大移動量をＶｔ、予め定めた２つの閾値Ｖａ、Ｖｂ、ただしＶａ＞Ｖｂである設定において、
最大移動量：Ｖｔ≧Ｖａである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向間引き処理として決定し、
最大移動量：Ｖｔ＜Ｖｂである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を時間方向間引き処理として決定し、
最大移動量Ｖｔが、Ｖｂ≦Ｖｔ＜Ｖａである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向および時間方向間引き処理として決定する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項５】
前記動画像変換装置は、さらに、
空間方向間引き処理を実行したブロックについて、画像復元に際して、空間方向間引きに対応するブロック拡張後、画素値補正処理の必要な画素位置情報を属性情報として算出する処理を実行する構成を有することを特徴とする請求項１に記載の動画像変換装置。
【請求項６】
動画像変換データの復元処理を実行する動画像復元装置であり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張部と、
前記ブロック拡張部におけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成部とを有し、
前記ブロック拡張部は、
前記動画像変換データの生成において実行された空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成部は、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する構成であり、さらに、空間方向間引き処理に対応するブロック拡張処理の実行された処理ブロックについて、
（１）過去フレームが時間方向間引き、かつ現在フレームが空間方向間引き、
（２）現在フレームが空間方向間引き、かつ未来フレームが時間方向間引き、
上記（１）または（２）のいずれかに対応するブロックの画素値の補正処理を実行する構成であることを特徴とする動画像復元装置。
【請求項７】
前記合成部は、
画素値の補正処理を実行する対象画素位置を検出する補正対象ピクセル検出部と、
前記補正対象ピクセル検出部の検出情報に基づいて、画素値補正を実行する空間方向間引き領域補正部とを有し、
前記補正対象ピクセル検出部は、
空間方向間引き処理に対応するブロック拡張処理の実行された処理ブロックに含まれる画素について、
（Ａ）現在フレームが空間方向間引きで、過去フレームが時間方向間引きである画素、
（Ｂ）現在フレームが空間方向間引きで、未来フレームが時間方向間引きであれ画素、
（Ｃ）その他の画素、
上記画素を判別可能な画素位置に対応する初期設定行列を生成する処理を実行する構成であることを特徴とする請求項６に記載の動画像復元装置。
【請求項８】
前記補正対象ピクセル検出部は、
さらに、現在フレームと過去フレーム、または現在フレームと未来フレームの間引き処理態様から被写体の移動軌跡を推定し、前記初期設定行列について、
（ａ）現在フレームの画素の画素値を過去フレームの画素の画素値で置き換えるべき画素、
（ｂ）現在フレームの画素の画素値を未来フレームの画素の画素値で置き換えるべき画素、
（ｃ）補正の不要な画素、
上記画素を判別可能な補正処理適用行列Ｃｔを生成する処理を実行する構成であることを特徴とする請求項７に記載の動画像復元装置。
【請求項９】
前記空間方向間引き領域補正部は、
前記補正処理適用行列Ｃｔに設定された各要素値に基づいて、現在フレームにおける空間方向間引きの実行されたブロック領域に含まれる画素の画素値補正を前記（ａ）〜（ｃ）のいずれかの態様に従って実行する構成であることを特徴とする請求項８に記載の動画像復元装置。
【請求項１０】
動画像データのデータ変換処理を実行する動画像変換方法であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップであり、間引き処理実行単位となる複数の連続フレームにおけるピクセル位置の対応する複数ブロックから、被写体移動量の最大値を検出する移動量検出ステップと、
前記移動量検出ステップにおいて検出した最大移動量情報を入力し、該最大移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれを実行するかを決定し、間引き処理を実行するブロック処理部に間引き処理対象ブロックデータを供給する処理を実行するブロック分配ステップと、
ブロックデータと、前記最大移動量情報とを入力し、最大移動量情報に基づいて、空間方向間引き処理、時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかを実行するブロック処理ステップと、
を有することを特徴とする動画像変換方法。
【請求項１１】
前記移動量検出ステップは、
間引き処理実行単位となる複数の連続フレームにおけるピクセル位置の対応する複数ブロックの各々について、過去フレームとのブロックマッチング処理を実行して、該複数ブロックから被写体移動量の最大値を検出する処理を実行することを特徴とする請求項１０に記載の動画像変換方法。
【請求項１２】
前記移動量検出ステップは、
間引き処理実行単位となるＮ枚の連続フレーム、ただしＮ≧２、を処理単位とし、Ｎ枚の連続フレームにおけるピクセル位置の対応する複数ブロックから、被写体移動量の最大値を検出する処理を実行することを特徴とする請求項１０に記載の動画像変換方法。
【請求項１３】
前記ブロック分配ステップは、
前記移動量検出ステップにおいて検出した最大移動量情報に基づいて、間引き処理態様を決定するステップであり、
前記最大移動量をＶｔ、予め定めた２つの閾値Ｖａ、Ｖｂ、ただしＶａ＞Ｖｂである設定において、
最大移動量：Ｖｔ≧Ｖａである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向間引き処理として決定し、
最大移動量：Ｖｔ＜Ｖｂである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を時間方向間引き処理として決定し、
最大移動量Ｖｔが、Ｖｂ≦Ｖｔ＜Ｖａである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向および時間方向間引き処理として決定することを特徴とする請求項１０に記載の動画像変換方法。
【請求項１４】
前記動画像変換方法は、さらに、
空間方向間引き処理を実行したブロックについて、画像復元に際して、空間方向間引きに対応するブロック拡張後、画素値補正処理の必要な画素位置情報を属性情報として算出する処理を実行するステップを有することを特徴とする請求項１０に記載の動画像変換方法。
【請求項１５】
動画像変換データの復元処理を実行する動画像復元方法であり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張ステップと、
前記ブロック拡張ステップにおけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成ステップとを有し、
前記ブロック拡張ステップは、
前記動画像変換データの生成において実行された空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成ステップは、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する構成であり、さらに、空間方向間引き処理に対応するブロック拡張処理の実行された処理ブロックについて、
（１）過去フレームが時間方向間引き、かつ現在フレームが空間方向間引き、
（２）現在フレームが空間方向間引き、かつ未来フレームが時間方向間引き、
上記（１）または（２）のいずれかに対応するブロックの画素値の補正処理を実行するステップを有することを特徴とする動画像復元方法。
【請求項１６】
前記合成ステップは、
画素値の補正処理を実行する対象画素位置を検出する補正対象ピクセル検出ステップと、
前記補正対象ピクセル検出ステップの検出情報に基づいて、画素値補正を実行する空間方向間引き領域補正ステップとを有し、
前記補正対象ピクセル検出ステップは、
空間方向間引き処理に対応するブロック拡張処理の実行された処理ブロックに含まれる画素について、
（Ａ）現在フレームが空間方向間引きで、過去フレームが時間方向間引きである画素、
（Ｂ）現在フレームが空間方向間引きで、未来フレームが時間方向間引きであれ画素、
（Ｃ）その他の画素、
上記画素を判別可能な画素位置に対応する初期設定行列を生成する処理を実行することを特徴とする請求項１５に記載の動画像復元方法。
【請求項１７】
前記補正対象ピクセル検出ステップは、
さらに、現在フレームと過去フレーム、または現在フレームと未来フレームの間引き処理態様から被写体の移動軌跡を推定し、前記初期設定行列について、
（ａ）現在フレームの画素の画素値を過去フレームの画素の画素値で置き換えるべき画素、
（ｂ）現在フレームの画素の画素値を未来フレームの画素の画素値で置き換えるべき画素、
（ｃ）補正の不要な画素、
上記画素を判別可能な補正処理適用行列Ｃｔを生成する処理を実行することを特徴とする請求項１６に記載の動画像復元方法。
【請求項１８】
前記空間方向間引き領域補正ステップは、
前記補正処理適用行列Ｃｔに設定された各要素値に基づいて、現在フレームにおける空間方向間引きの実行されたブロック領域に含まれる画素の画素値補正を前記（ａ）〜（ｃ）のいずれかの態様に従って実行することを特徴とする請求項１７に記載の動画像復元方法。
【請求項１９】
動画像データのデータ変換処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップであり、間引き処理実行単位となる複数の連続フレームにおけるピクセル位置の対応する複数ブロックから、被写体移動量の最大値を検出する移動量検出ステップと、
前記移動量検出ステップにおいて検出した最大移動量情報を入力し、該最大移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれを実行するかを決定し、間引き処理を実行するブロック処理部に間引き処理対象ブロックデータを供給する処理を実行するブロック分配ステップと、
ブロックデータと、前記最大移動量情報とを入力し、最大移動量情報に基づいて、空間方向間引き処理、時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかを実行するブロック処理ステップと、
を有することを特徴とするコンピュータ・プログラム。
【請求項２０】
動画像変換データの復元処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張ステップと、
前記ブロック拡張ステップにおけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成ステップとを有し、
前記ブロック拡張ステップは、
前記動画像変換データの生成において実行された空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成ステップは、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する構成であり、さらに、空間方向間引き処理に対応するブロック拡張処理の実行された処理ブロックについて、
（１）過去フレームが時間方向間引き、かつ現在フレームが空間方向間引き、
（２）現在フレームが空間方向間引き、かつ未来フレームが時間方向間引き、
上記（１）または（２）のいずれかに対応するブロックの画素値の補正処理を実行するステップを有することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。特に動画像データのデータ圧縮処理として実行されるデータ変換において、画質劣化を抑え高品質なデータ変換を可能とするとともに、圧縮された変換データからの高品質な画像データ復元を可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
動画像データは、ハードディスク、ＤＶＤなどの記憶媒体への保存、あるいはネットワークを介した配信などにおいて、データ量を削減するためのデータ変換、すなわち圧縮処理が行なわれる。特に、近年、動画像データの高品質化、例えばＨＤ（Ｈｉｇｈ  Ｄｉｆｉｎｉｔｉｏｎ）データなど、データ品質の改善が進んでおり、このデータの高品質化に伴ってデータ量が急激に増大している。このような状況において、動画像データの圧縮、復元処理における圧縮効率の改善や、復元データの品質劣化防止に関する技術について多くの検討、研究がなされている。
【０００３】
動画像の圧縮処理方法としては、例えば動画像データを構成する画像フレームの構成画素の間引き処理、すなわち空間方向の間引き処理と、フレームレートを間引く処理、すなわち時間方向の間引き処理などが知られている。
【０００４】
このようなデータ変換によるデータ量削減により記憶媒体への保存やネットワークを介したデータ転送が効率的に行なわれるという利点がある。しかしながら、圧縮されたデータを復元し再生する場合、画質の劣化が発生してしまうという問題がある。特にオリジナルデータが高精細画像である場合には、その品質劣化がより顕著になってしまう。
【０００５】
このような画質劣化をいかに低減するかについては様々な検討がなされている。例えば、特許文献１には、画像の明るさの情報に基づくパラメータを設定し、画像の明るさに従って圧縮態様を変更する画像圧縮処理構成を開示している。また、特許文献２には、画面を複数の領域に分割し、領域毎に圧縮態様を変更した圧縮処理構成を開示している。
【特許文献１】特開２００３−１６９２８４号公報
【特許文献２】特開２００２−２７４６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述のように、いくつかの従来技術において、処理対象画像から求められる様々な特性に基づいて圧縮態様を変更し、データ品質を高める構成が開示されているが、これまでに開示されている圧縮方法では、圧縮画像データを復元し、再生した場合の画質劣化を十分に抑えるには至っていない。
【０００７】
特に、動画像データは、被写体の動きの大きい部分、小さい部分、静止している部分など、様々な動きデータを含むデータであり、これらの異なる動きに対応させてデータ品質を損なうことなく適切な圧縮処理を行い、データ復元、再生を行なった場合の品質劣化を認識させないようにすることの困難性が高いという問題がある。
【０００８】
本発明は、このような問題点に鑑みてなされたものであり、画像の各領域の特徴、特に被写体の動きに対応した最適な圧縮処理態様を決定し、決定した態様に従って各領域毎に最適な態様でデータ変換処理を行なう構成とすることで品質劣化の極めて少ない圧縮および復元を可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の側面は、
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部であり、間引き処理実行単位となる複数の連続フレームにおけるピクセル位置の対応する複数ブロックから、被写体移動量の最大値を検出する移動量検出部と、
前記移動量検出部の検出した最大移動量情報を入力し、該最大移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれを実行するかを決定し、間引き処理を実行するブロック処理部に間引き処理対象ブロックデータを供給する処理を実行するブロック分配部と、
前記ブロック分配部からブロックデータと、前記最大移動量情報とを入力し、最大移動量情報に基づいて、空間方向間引き処理、時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかを実行するブロック処理部と、
を有することを特徴とする動画像変換装置にある。
【００１０】
さらに、本発明の動画像変換装置の一実施態様において、前記移動量検出部は、間引き処理実行単位となる複数の連続フレームにおけるピクセル位置の対応する複数ブロックの各々について、過去フレームとのブロックマッチング処理を実行して、該複数ブロックから被写体移動量の最大値を検出する処理を実行する構成であることを特徴とする。
【００１１】
さらに、本発明の動画像変換装置の一実施態様において、前記移動量検出部は、間引き処理実行単位となるＮ枚の連続フレーム、ただしＮ≧２、を処理単位とし、Ｎ枚の連続フレームにおけるピクセル位置の対応する複数ブロックから、被写体移動量の最大値を検出する処理を実行する構成であることを特徴とする。
【００１２】
さらに、本発明の動画像変換装置の一実施態様において、前記ブロック分配部は、前記移動量検出部の検出した最大移動量情報に基づいて、間引き処理態様を決定する構成であり、前記最大移動量をＶｔ、予め定めた２つの閾値Ｖａ、Ｖｂ、ただしＶａ＞Ｖｂである設定において、
最大移動量：Ｖｔ≧Ｖａである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向間引き処理として決定し、
最大移動量：Ｖｔ＜Ｖｂである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を時間方向間引き処理として決定し、
最大移動量Ｖｔが、Ｖｂ≦Ｖｔ＜Ｖａである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向および時間方向間引き処理として決定する構成であることを特徴とする。
【００１３】
さらに、本発明の動画像変換装置の一実施態様において、前記動画像変換装置は、さらに、空間方向間引き処理を実行したブロックについて、画像復元に際して、空間方向間引きに対応するブロック拡張後、画素値補正処理の必要な画素位置情報を属性情報として算出する処理を実行する構成を有することを特徴とする。
【００１４】
さらに、本発明の第２の側面は、
動画像変換データの復元処理を実行する動画像復元装置であり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張部と、
前記ブロック拡張部におけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成部とを有し、
前記ブロック拡張部は、
前記動画像変換データの生成において実行された空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成部は、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する構成であり、さらに、空間方向間引き処理に対応するブロック拡張処理の実行された処理ブロックについて、
（１）過去フレームが時間方向間引き、かつ現在フレームが空間方向間引き、
（２）現在フレームが空間方向間引き、かつ未来フレームが時間方向間引き、
上記（１）または（２）のいずれかに対応するブロックの画素値の補正処理を実行する構成であることを特徴とする動画像復元装置にある。
【００１５】
さらに、本発明の動画像復元装置の一実施態様において、前記合成部は、画素値の補正処理を実行する対象画素位置を検出する補正対象ピクセル検出部と、前記補正対象ピクセル検出部の検出情報に基づいて、画素値補正を実行する空間方向間引き領域補正部とを有し、前記補正対象ピクセル検出部は、空間方向間引き処理に対応するブロック拡張処理の実行された処理ブロックに含まれる画素について、
（Ａ）現在フレームが空間方向間引きで、過去フレームが時間方向間引きである画素、
（Ｂ）現在フレームが空間方向間引きで、未来フレームが時間方向間引きであれ画素、
（Ｃ）その他の画素、
上記画素を判別可能な画素位置に対応する初期設定行列を生成する処理を実行する構成であることを特徴とする。
【００１６】
さらに、本発明の動画像復元装置の一実施態様において、前記補正対象ピクセル検出部は、さらに、現在フレームと過去フレーム、または現在フレームと未来フレームの間引き処理態様から被写体の移動軌跡を推定し、前記初期設定行列について、
（ａ）現在フレームの画素の画素値を過去フレームの画素の画素値で置き換えるべき画素、
（ｂ）現在フレームの画素の画素値を未来フレームの画素の画素値で置き換えるべき画素、
（ｃ）補正の不要な画素、
上記画素を判別可能な補正処理適用行列Ｃｔを生成する処理を実行する構成であることを特徴とする。
【００１７】
さらに、本発明の動画像復元装置の一実施態様において、前記空間方向間引き領域補正部は、前記補正処理適用行列Ｃｔに設定された各要素値に基づいて、現在フレームにおける空間方向間引きの実行されたブロック領域に含まれる画素の画素値補正を前記（ａ）〜（ｃ）のいずれかの態様に従って実行する構成であることを特徴とする。
【００１８】
さらに、本発明の第３の側面は、
動画像データのデータ変換処理を実行する動画像変換方法であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップであり、間引き処理実行単位となる複数の連続フレームにおけるピクセル位置の対応する複数ブロックから、被写体移動量の最大値を検出する移動量検出ステップと、
前記移動量検出ステップにおいて検出した最大移動量情報を入力し、該最大移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれを実行するかを決定し、間引き処理を実行するブロック処理部に間引き処理対象ブロックデータを供給する処理を実行するブロック分配ステップと、
ブロックデータと、前記最大移動量情報とを入力し、最大移動量情報に基づいて、空間方向間引き処理、時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかを実行するブロック処理ステップと、
を有することを特徴とする動画像変換方法にある。
【００１９】
さらに、本発明の動画像変換方法の一実施態様において、前記移動量検出ステップは、間引き処理実行単位となる複数の連続フレームにおけるピクセル位置の対応する複数ブロックの各々について、過去フレームとのブロックマッチング処理を実行して、該複数ブロックから被写体移動量の最大値を検出する処理を実行することを特徴とする。
【００２０】
さらに、本発明の動画像変換方法の一実施態様において、前記移動量検出ステップは、間引き処理実行単位となるＮ枚の連続フレーム、ただしＮ≧２、を処理単位とし、Ｎ枚の連続フレームにおけるピクセル位置の対応する複数ブロックから、被写体移動量の最大値を検出する処理を実行することを特徴とする。
【００２１】
さらに、本発明の動画像変換方法の一実施態様において、前記ブロック分配ステップは、前記移動量検出ステップにおいて検出した最大移動量情報に基づいて、間引き処理態様を決定するステップであり、前記最大移動量をＶｔ、予め定めた２つの閾値Ｖａ、Ｖｂ、ただしＶａ＞Ｖｂである設定において、
最大移動量：Ｖｔ≧Ｖａである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向間引き処理として決定し、
最大移動量：Ｖｔ＜Ｖｂである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を時間方向間引き処理として決定し、
最大移動量Ｖｔが、Ｖｂ≦Ｖｔ＜Ｖａである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向および時間方向間引き処理として決定することを特徴とする。
【００２２】
さらに、本発明の動画像変換方法の一実施態様において、前記動画像変換方法は、さらに、空間方向間引き処理を実行したブロックについて、画像復元に際して、空間方向間引きに対応するブロック拡張後、画素値補正処理の必要な画素位置情報を属性情報として算出する処理を実行するステップを有することを特徴とする。
【００２３】
さらに、本発明の第４の側面は、
動画像変換データの復元処理を実行する動画像復元方法であり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張ステップと、
前記ブロック拡張ステップにおけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成ステップとを有し、
前記ブロック拡張ステップは、
前記動画像変換データの生成において実行された空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成ステップは、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する構成であり、さらに、空間方向間引き処理に対応するブロック拡張処理の実行された処理ブロックについて、
（１）過去フレームが時間方向間引き、かつ現在フレームが空間方向間引き、
（２）現在フレームが空間方向間引き、かつ未来フレームが時間方向間引き、
上記（１）または（２）のいずれかに対応するブロックの画素値の補正処理を実行するステップを有することを特徴とする動画像復元方法にある。
【００２４】
さらに、本発明の動画像復元方法の一実施態様において、前記合成ステップは、画素値の補正処理を実行する対象画素位置を検出する補正対象ピクセル検出ステップと、前記補正対象ピクセル検出ステップの検出情報に基づいて、画素値補正を実行する空間方向間引き領域補正ステップとを有し、前記補正対象ピクセル検出ステップは、空間方向間引き処理に対応するブロック拡張処理の実行された処理ブロックに含まれる画素について、
（Ａ）現在フレームが空間方向間引きで、過去フレームが時間方向間引きである画素、
（Ｂ）現在フレームが空間方向間引きで、未来フレームが時間方向間引きであれ画素、
（Ｃ）その他の画素、
上記画素を判別可能な画素位置に対応する初期設定行列を生成する処理を実行することを特徴とする。
【００２５】
さらに、本発明の動画像復元方法の一実施態様において、前記補正対象ピクセル検出ステップは、さらに、現在フレームと過去フレーム、または現在フレームと未来フレームの間引き処理態様から被写体の移動軌跡を推定し、前記初期設定行列について、
（ａ）現在フレームの画素の画素値を過去フレームの画素の画素値で置き換えるべき画素、
（ｂ）現在フレームの画素の画素値を未来フレームの画素の画素値で置き換えるべき画素、
（ｃ）補正の不要な画素、
上記画素を判別可能な補正処理適用行列Ｃｔを生成する処理を実行することを特徴とする。
【００２６】
さらに、本発明の動画像復元方法の一実施態様において、前記空間方向間引き領域補正ステップは、前記補正処理適用行列Ｃｔに設定された各要素値に基づいて、現在フレームにおける空間方向間引きの実行されたブロック領域に含まれる画素の画素値補正を前記（ａ）〜（ｃ）のいずれかの態様に従って実行することを特徴とする。
【００２７】
さらに、本発明の第５の側面は、
動画像データのデータ変換処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップであり、間引き処理実行単位となる複数の連続フレームにおけるピクセル位置の対応する複数ブロックから、被写体移動量の最大値を検出する移動量検出ステップと、
前記移動量検出ステップにおいて検出した最大移動量情報を入力し、該最大移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれを実行するかを決定し、間引き処理を実行するブロック処理部に間引き処理対象ブロックデータを供給する処理を実行するブロック分配ステップと、
ブロックデータと、前記最大移動量情報とを入力し、最大移動量情報に基づいて、空間方向間引き処理、時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかを実行するブロック処理ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００２８】
さらに、本発明の第６の側面は、
動画像変換データの復元処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張ステップと、
前記ブロック拡張ステップにおけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成ステップとを有し、
前記ブロック拡張ステップは、
前記動画像変換データの生成において実行された空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成ステップは、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する構成であり、さらに、空間方向間引き処理に対応するブロック拡張処理の実行された処理ブロックについて、
（１）過去フレームが時間方向間引き、かつ現在フレームが空間方向間引き、
（２）現在フレームが空間方向間引き、かつ未来フレームが時間方向間引き、
上記（１）または（２）のいずれかに対応するブロックの画素値の補正処理を実行するステップを有することを特徴とするコンピュータ・プログラムにある。
【００２９】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３０】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３１】
本発明の構成によれば、画像の各領域の特徴、特に被写体の動きに対応した最適な圧縮処理態様を決定し、決定した態様にしたがって領域ごとに最適な態様でデータ変換処理を行う構成とすることで品質劣化のきわめて少ない圧縮および復元が可能となる。本発明の構成においては、動画像データを構成するブロックにおける被写体の最大移動量を検出し、検出した最大移動量に基づいて、空間方向間引き処理、または、時間方向間引き処理、または空間方向および時間方向間引き処理を選択的に実行する。本構成により、超解像効果を発生させた画質劣化を抑制したデータ変換が実現される。
【００３２】
特に、フレーム間で移動量が大きく変化する画像データの場合にも、本発明の動画像変換装置は、間引き処理単位フレーム数Ｎの各ブロックに含まれる最大の移動量を検出して、空間方向間引きを優先的に施す構成としたので、間引きによる画質劣化を最小限に抑えることができる。さらに、本発明の動画像復元装置によれば、空間方向間引きを優先的に施すことによる画質劣化を、画素値補正によって低減し、高画質データを復元することが可能となる。
【発明を実施するための最良の形態】
【００３３】
以下、図面を参照しながら、本発明の動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムの構成について説明する。なお、説明は、以下の項目に従って行なう。
（１）超解像効果を利用した動画像変換装置の基本構成
（２）改良した間引き処理を実行する動画像変換装置の構成
（３）改良した復元処理を実行する動画像復元装置について
【００３４】
［（１）超解像効果を利用した動画像変換装置の基本構成］
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特願２００３−４１２５０１号に詳細を記載しているものであり、画像を小領域に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。
【００３５】
図１に特願２００３−４１２５０１号に記載した動画像変換装置１０の構成例を示す。この動画像変換装置１０は、超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行うことができる構成としたものである。
【００３６】
なお、超解像効果とは、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果である。人の視覚は刺激を知覚すると、その刺激を、その刺激の呈示が終了した後もある時間記憶するという機能（感覚記憶機能と称する）を有している。この時間については１０ｍｓ乃至２００ｍｓであるという報告が多数されている。この機能は、アイコニックメモリー、あるいは視覚的持続などとも呼ばれ、例えば、"視覚情報ハンドブック，日本視覚学界編，ｐｐ．２２９−２３０"などに記載されている。なお、超解像効果は、人間の視覚機能における時間的積分機能および感覚記憶機能が複雑に関係して引き起こされていると考えられる。
【００３７】
図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行うことにより、画質劣化を観測者が知覚しないようにデータを削減する圧縮を行う構成としたものである。図１の動画像変換装置１０の構成について説明する。
【００３８】
ブロック分割部１１は、入力された動画像の各フレームを、所定画素の区分領域としてのブロックに分割し移動量検出部１２に供給する。移動量検出部１２は、ブロック分割部１１から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３に送信する。ブロック処理部１３は、移動量検出部１２から供給されたブロックに対して、その移動量に応じた動画像変換処理、すなわち圧縮処理を施し、データ量を削減する。ブロック処理部１３は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４に供給する。出力部１４は、ブロック処理部１３から供給された、データ量が削減されたブロックについてのデータを、ストリームデータとしてまとめて出力する。復元部１５は出力部１４から出力される圧縮データを入力して、伸長処理による復元処理を実行して再生可能な動画像データを生成する。
【００３９】
次に、図２を参照して、復元部１５を除く各部の詳細について説明する。ブロック分割部１１の画像蓄積部２１には、動画像変換装置１０に供給された動画像のフレームが入力される。画像蓄積部２１は、入力されたフレームを蓄積する。画像蓄積部２１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部２２に供給するとともに、Ｎ枚のフレームの中のＭ番目に記憶したフレーム（以下、Ｍ番目のフレームと称する）を、移動量検出部１２（移動量検出部３１）に供給する。例えば、Ｎ＝４とする。
【００４０】
ブロック分割部２２は、画像蓄積部２１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば８×８、１６×１６）のブロックに分割し、移動量検出部１２（ブロック分配部３２）に出力する。ブロック分割部２２はまた、Ｎ枚のフレームの中の、画像蓄積部２１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部１２（移動量検出部３１）に供給する。Ｐ番目のフレームは、Ｍ番目のフレームと異なるフレームである。
【００４１】
次に、移動量検出部１２について説明する。移動量検出部１２の移動量検出部３１は、ブロック分割部１１のブロック分割部２２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部２１から供給されたＭ番目のフレームを参照して例えばフレーム間のブロックマッチング処理を実行して検出し、検出した動きベクトルをブロック分配部３２に供給する。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。なお、移動量検出部３１は、移動量検出の精度を向上させるために画像を拡大し、拡大画像を適用した移動量検出を行なう構成としてもよい。
【００４２】
移動量検出部１２のブロック分配部３２には、ブロック分割部２２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部３１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部３２は、供給されたＮ個のブロックと移動量を、ブロック処理部１３の、その移動量に対応する処理を行うブロック処理部５１乃至５３の中のいずかに供給する。
【００４３】
具体的にはブロック分配部３２は、移動量検出部３１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル（画素）以上である場合、ブロック分割部２２から供給されたＮ個のブロックと移動量検出部３１から供給された移動量を、ブロック処理部５１に出力する。また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部３２は、Ｎ個のブロックと移動量を、ブロック処理部５３に出力する。移動量がそのほかの場合には、ブロック分配部３２は、Ｎ個のブロックと移動量をブロック処理部５２に供給する。
【００４４】
すなわちブロック分配部３２は、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部５１〜５３に、ブロック画像を分配する。
【００４５】
なお、分配先決定のためのこの条件はあくまでも一例であり、他の条件で分配先を決定してもよい。
【００４６】
次に、ブロック処理部１３の詳細を説明する。ブロック処理部１３は、上述したように３個のブロック処理部５１乃至５３で構成されている。ブロック処理部５１は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロック）に対して、画素数を、同様にブロック分配部３２から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。
【００４７】
具体的には、１フレーム間の水平方向の移動量が２ピクセル（画素）以上である場合、ブロック処理部５１は、ブロックが８×８ピクセルで構成されているとき、図３に示すように、ブロック内の画素を、１×４ピクセル単位の集合に分割する。さらにブロック処理部５１は、図４に示すように、１×４ピクセルの各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）に設定する画素数の間引き（４画素間の画素数の間引き）（間引き量４の間引き）を行う。
【００４８】
１フレーム間の垂直方向の移動量が２ピクセル以上である場合、ブロック処理部５１は、図５に示すように、ブロック内の画素を、４×１ピクセル単位の集合に分割し、図６に示すように、各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）にする画素数の間引きを行う。
【００４９】
また１フレーム間の垂直および水平方向の移動量がともに２ピクセル以上である場合、ブロック処理部５１は、図７に示すように、ブロック内の画素を、２×２ピクセル単位の集合に分割し、図８に示すように、各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）にする画素数の間引きを行う。
【００５０】
ブロック処理部５１は、このような空間方向間引き処理を、供給された４個のブロックに対してそれぞれ施すので、隣接した４画素毎に１画素のデータ量に削減され、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部５１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。
【００５１】
なお、各集合の画素値を、図４の例では、１×４ピクセルの中の左端の画素値ｐ１、図６の例では、４×１ピクセルの中の上端の画素値ｐ１、図８の例では、２×２ピクセルの中の左上隅の画素値ｐ１に設定する構成としたが、ｐ１乃至ｐ４のいずれの画素値に設定する構成としてもよい。また画素値ｐ１乃至ｐ４を用いた計算、例えば平均値などによって算出される画素値に設定してもよい。
【００５２】
次に、図２に示すブロック処理部５２の実行する処理について説明する。図２に示すブロック処理部５２は、移動量検出部１２のブロック分配部３２から供給された連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。
【００５３】
具体的にはブロック処理部５２は、図９に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。ブロック処理部５２は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４に供給する。
【００５４】
ブロック処理部５３は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行う。
【００５５】
ブロック処理部５３は、ブロック処理部５１における間引き処理とは異なり、図１０および図１１に示すように、各集合の画素値ｐ１乃至ｐ４を、その中のいずれか２個の画素値（この例の場合、ｐ１、ｐ３）にする画素数の間引き（間引き量２の間引き）を行う。
【００５６】
すなわちブロック処理部５１では、１×４、４×１、または２×２の３通りの画素数の間引きが行われるが、ブロック処理部５３では、１×２または２×１の２通りの画素数の間引きが行われる。
【００５７】
フレーム数の間引き処理においては、ブロック処理部５３は、ブロック処理部５２における間引き処理と異なり、図１２に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢｉを、その中のいずれか２つ（図の例では、フレームＦ１、Ｆ３の２個のブロック）にするフレーム数の間引きを行う（２フレーム間のフレーム数の間引き）を行う。
【００５８】
ブロック処理部５３は、このようなデータ量を１／２とする空間方向間引き処理と、データ量を１／２とする時間方向間引き処理を、供給された４個のブロックに対して施すので、結果として４個のブロックのデータ量が（１／２）×（１／２）＝１／４に削減される。ブロック処理部５３は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。
【００５９】
出力部１４は、ブロック処理部５１乃至５３より得られる、ブロックに関するデータおよび各ブロックにどのような処理が施されたかを示す情報をストリームデータとして構成し出力する。
【００６０】
続いて、図１３以下を参照して図１に示す復元部１５の構成および処理について説明する。復元部１５は図１３に示すようにブロック分配部６１、ブロック拡張部６２乃至６４、合成部６５から構成される。
【００６１】
復元部１５のブロック分配部６１には上述の出力部１４から得られたストリームデータが入力される。このストリームデータは、直前までの処理によって生成された変換（圧縮）データと、復元に必要となる属性データを含む。属性データには、各ブロックに関する情報と各ブロックに施された処理の具体的内容に関する情報が含まれる。各ブロックに施された処理の具体的内容とは、空間方向間引き処理、時間方向間引き処理、空間方向間引き処理と時間方向間引き処理の両方を含む処理の何れが実行されたか、また空間間引き処理において実行された間引き処理は水平方向のものであるのか垂直方向のものであるのかなどの情報である。
【００６２】
ブロック分配部６１は入力された属性情報に含まれる各ブロックの処理内容に基づいて、ブロック拡張部６２乃至６４のいずれかへ、復元処理対象となる変換データとその各ブロックに施された処理の具体的内容を示す属性情報とを送る。
【００６３】
具体的には、図１、図２に示す動画像変換装置１０においてブロックがブロック処理部５１で処理されたデータである場合は、分配部６１はブロック拡張部６２へ空間間引きされた各ブロックデータと、空間間引きの方向などの情報を送る。
【００６４】
また、動画像変換装置１０のブロック処理部５２で処理されたデータである場合は、ブロック拡張部６３へ同様の情報を送る。ブロック処理部５３で処理されたならば、ブロック拡張部６４へ同様の情報を送る。各ブロックに施された処理に関する情報、および各ブロックに関する情報は動画像を復元するために十分な情報であればどのようなものであってもよい。
【００６５】
ブロック拡張部６２は、動画像変換装置１０のブロック処理部５１において空間方向に間引き処理を施されたデータの拡張処理を実行する。分配部６１から入力された空間間引きの方向に関する情報に基づいて、図１４乃至図１６に示す態様でのデータ拡張処理を実行し、ブロックを再構成する。また、再構成されたブロックを合成部６５へと出力する。
【００６６】
図１４乃至図１６に示す処理について説明する。図１４は動画像変換装置１０のブロック処理部５１において、水平方向の間引き処理（図３、図４参照）を施された場合の復元部１５のブロック拡張部６２による処理を示している。例えば、元のブロックの大きさが８ｘ８であった場合、ブロック拡張部６２にはその１／４の１６画素分のデータが送られている。この各画素のデータに関して、図１４（ａ）に示すように、１つの画素データを水平方向４画素に展開する処理を行うことで、１画素を１ｘ４画素に拡張する。なお、図１４（ａ）に示す処理例は入力された画素の画素値をそのまま４画素分の画素値として配置することで拡張を行う例であるが、入力された他の画素の値を含む複数の画素値に基づく演算による結果を配置しても構わない。
【００６７】
続いて、水平方向の間引きが施された場合には、ブロック拡張部６２は、図１４（ｂ）に示した処理を行う。すなわち、１画素を１ｘ４画素に拡張する処理をブロック拡張部６２に入力された１６画素分について実行し、各１６画素各々に対して実行された１６組の１ｘ４画素の集合を、図１４（ｂ）に示すように配置する。この処理によって、ブロック拡張部６２は、入力１６画素から８ｘ８のブロックを復元し、結果を合成部６５に出力する。
【００６８】
図１５は動画像変換装置１０のブロック処理部５１において、垂直方向の間引き処理（図５、図６参照）を施された場合の復元部１５のブロック拡張部６２による処理を示している。例えば、元のブロックの大きさが８ｘ８であった場合、ブロック拡張部６２にはその１／４の１６画素分のデータが送られている。この各画素のデータに関して、図１５（ａ）の処理を行うことで、１画素を４ｘ１画素に拡張する。すなわち、図１５（ａ）に示すように、１つの画素データを垂直方向４画素に展開する処理を行うことで、１画素を１ｘ４画素に拡張する。
【００６９】
続いて、垂直方向の間引きが施された場合には、ブロック拡張部６２は、図１５（ｂ）に示した処理を行う。すなわち、１画素を１ｘ４画素に拡張する処理をブロック拡張部６２に入力された１６画素分について実行し、各１６画素各々に対して実行された１６組の１ｘ４画素の集合を、図１５（ｂ）に示すように配置する。この処理によって、ブロック拡張部６２は、入力１６画素から８ｘ８のブロックを復元し、結果を合成部６５に出力する。
【００７０】
図１６は動画像変換装置１０のブロック処理部５１において、水平垂直方向の間引き処理（図７、図８参照）を施された場合の復元部１５のブロック拡張部６２による処理を示している。例えば、元のブロックの大きさが８ｘ８であった場合、ブロック拡張部６２にはその１／４の１６画素分のデータが送られている。この各画素のデータに関して、図１６（ａ）の処理を行うことで、１画素を２ｘ２画素に拡張する。すなわち、図１６（ａ）に示すように、１つの画素データを水平垂直方向２ｘ２画素に展開する処理を行うことで、１画素を２ｘ２画素に拡張する。
【００７１】
続いて、水平垂直方向の間引きが施された場合には、ブロック拡張部６２は、図１６（ｂ）に示した処理を行う。すなわち、１画素を２ｘ２画素に拡張する処理をブロック拡張部６２に入力された１６画素分について実行し、各１６画素各々に対して実行された１６組の２ｘ２画素の集合を、図１６（ｂ）に示すように配置する。この処理によって、ブロック拡張部６２は、入力１６画素から８ｘ８のブロックを復元し、結果を合成部６５に出力する。
【００７２】
次に、ブロック拡張部６３の処理について説明する。ブロック拡張部６３は、動画像変換装置１０のブロック処理部５２において、時間方向の間引き処理を施されたデータの拡張処理を実行する。
【００７３】
ブロック拡張部６３は、図１７に示すように１つのフレームのブロックデータに基づいて、時間軸方向に連続する複数フレームのブロックデータを生成する。具体的には、ブロック拡張部６３は初期値０のカウンタを持ち、このカウンタは、１フレームの復元が終了するたびに１加算され、値が４（＝Ｎ（ただし間引き量ｍ＝４の場合））に達した時に０へとリセットされる。
【００７４】
データ分配部６１から拡張対象のデータがブロック拡張部６３へ入力されたとき、ブロック拡張部６３は、そのブロックをデータ拡張部６３のメモリに格納し、間引き量に応じて設定されているカウンタ上限値にいたるまで、メモリに格納したブロックデータの複製として複数のフレームデータ対応のブロックデータを生成し、合成部６５へ出力する。図１７に示す例では、間引き量ｍ＝４の場合であり、１つのブロックデータから４つのフレーム対応のブロックデータを生成して合成部６５へ出力する。
【００７５】
次に、ブロック拡張部６４の処理について説明する。ブロック拡張部６４は、動画像変換装置１０のブロック処理部５３において、空間方向および時間方向の間引き処理を施されたデータの拡張処理を実行する。空間方向および時間方向の拡張処理は何れを先に実行してもよい。
【００７６】
ブロック拡張部６４において実行する時間方向の拡張処理は、図１８のような処理を行う。具体的には、ブロック拡張部６４は、初期値０のカウンタを持ち、このカウンタは、１フレームの復元が終了するたびに１加算され、値が２（＝Ｎ／２（ただし時間方向間引き量ｍ＝２の場合））に達したときに０へとリセットされる。
【００７７】
データ分配部６１から拡張対象のデータがブロック拡張部６４に入力されたとき、ブロック拡張部６４は、そのブロックをデータ拡張部６４のメモリに格納し、間引き量に応じて設定されているカウンタ上限値に至るまで、メモリに格納したブロックデータの複製として複数のフレームデータ対応のブロックデータを生成し、合成部６５へ出力する。図１８に示す例では、時間方向間引き量ｍ＝２の場合であり、１つのブロックデータから２つのフレーム対応のブロックデータを生成する。
【００７８】
引き続き、ブロック拡張部６４において実行する空間方向の拡張処理について説明する。ブロック拡張部６４は、分配部６１から入力された空間間引きの方向などの情報に基づいて、図１９および図２０に示す態様でのデータ拡張処理を実行し、ブロックを再構成する。
【００７９】
図１９および図２０の処理について説明する。図１９は動画像変換装置１０のブロック処理部５３において、水平方向の間引き処理を施された場合の復元部１５のブロック拡張部６４による処理を示している。例えば、元のブロックの大きさが８ｘ８であった場合、ブロック拡張部６４にはその１／２の３２画素分のデータが送られている。この各２画素のデータに対応して、図１９の（ａ）の処理を行うことで、２画素を１ｘ４画素に拡張する。すなわち、図１９（ａ）に示すように、１つの画素データを水平方向２画素に展開する処理を行うことで、２画素を１ｘ４画素に拡張する。
【００８０】
続いて、水平方向の間引きが施された場合には、ブロック拡張部６４は、図１９（ｂ）に示した処理を行う。すなわち、２画素を１ｘ４画素に拡張する処理をブロック拡張部６４に入力された３２画素分について実行し、各３２画素各々に対して実行された１６組の１ｘ４画素の集合を、図１９（ｂ）に示すように配置する。この処理によって、ブロック拡張部６４は、入力３２画素から８ｘ８のブロックを復元し、結果を合成部６５に出力する。
【００８１】
図２０は動画像変換装置１０のブロック処理部５３において、垂直方向の間引き処理を施された場合の復元部１５のブロック拡張部６４による処理を示している。例えば、元のブロックの大きさが８ｘ８であった場合、ブロック拡張部６４にはその１／２の３２画素分のデータが送られている。この各２画素のデータに対応して、図２０の（ａ）の処理を行うことで、２画素を４ｘ１画素に拡張する。
【００８２】
続いて、垂直方向の間引きが施された場合には、ブロック拡張部６４は、図２０（ｂ）に示した処理を行う。すなわち、２画素を４ｘ１画素に拡張する処理をブロック拡張部６４に入力された３２画素分について実行し、各３２画素各々に対して実行された１６組の４ｘ１画素の集合を、図２０（ｂ）に示すように配置する。この処理によって、ブロック拡張部６４は、入力３２画素から８ｘ８のブロックを復元し、結果を合成部６５に出力する。
【００８３】
合成部６５はブロック拡張部６２〜６４から入力されたブロックが１フレーム全体を表現できる量に達した時に、ブロックを適切に配置することで１フレームを復元し、復元された１フレームを出力する。
【００８４】
このように、図１に示す動画像変換装置１０は、入力された動画像を、そのデータ量が削減された動画像（圧縮データ）に変換する処理を行なうものであるが、その際、所定の視覚特性に基づいて実現される超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者に知覚させないようにした装置である。
【００８５】
具体的には、ブロック分配部３２が、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、最適なフレームレートおよび空間解像度にしたがった画像データ変換を実行するブロック処理部５１〜５３に供給して、各ブロック処理部５１〜５３において異なる態様のデータ変換処理を実行する構成としたものであり、本構成により、画質劣化を観測者に知覚させることのない動画像変換処理を実現している。なお、超解像効果とは、前述したように観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果であり、人間の視覚機能における時間的積分機能および感覚記憶機能が複雑に関係して引き起こされているものと考えられており、図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行う構成を有する。
【００８６】
なお、人間の視覚特性および超解像効果に関する原理や説明等は、特願２００３−４１２５０１において詳しく解説がなされている。特願２００３−４１２５０１に説明されている超解像効果の発生条件を以下に説明する。
【００８７】
間引き量ｍ（ピクセル）の画素数間引きを行った場合に超解像効果が発生するには、間引きによる１次乃至ｍ−１次の折り返し成分が全て打ち消される必要がある。ｋ（＝１、２、・・・、ｍ−１）次の折り返し成分が打ち消される条件は、下記式（式１）、（式２）を満足することである。
【数１】
2006310920.tif 000003
【００８８】
上記式において、φｔは画素数の間引きにおけるサンプリング位置のずれ量であり、時間ｔ（＝０、１Ｔ、２Ｔ、・・・）、信号の移動速度ｖ、時間間隔（フレームレートの逆数）Ｔ、を用いて、下記式（式３）によって定義される値である。
【数２】
2006310920.tif 000004
【００８９】
なお、上記式において、サンプリング位置が右にずれる場合を正としている（この条件は、特願２００３−４１２５０１に開示している設定とは異なる）。
【００９０】
間引き量ｍ、小領域の移動量ｖという条件下で上記式（式１）および（式２）が満たされれば超解像効果が発生し、画質の劣化は観測者に知覚されにくい。
【００９１】
［（２）改良した間引き処理を実行する動画像変換装置の構成］
上述した本発明の動画像変換装置は、特願２００３−４１２５０１に記載された動画像変換装置と同様、図１に示す移動量検出部１２のブロック分配部３２に、ブロック分割部２２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部３１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部３２は、供給されたＮ個のブロックと移動量を、ブロック処理部１３の、その移動量に対応する処理を行うブロック処理部５１乃至５３の中のいずかに供給する。
【００９２】
特願２００３−４１２５０１に記載された動画像変換装置では、ブロック分配部３２はＮ個のブロックのうちのあるフレームＰ（０≦Ｐ≦Ｎ−１）のブロックの移動量のみを参照することでいずれのブロック処理部５１乃至５３にデータを供給するかを決定していた、例えば４フレームを処理単位としてデータ変換（圧縮）処理を行なう構成である場合、例えば各４フレーム中、第１番目のフレームのみを移動量算出フレームとして設定する、あるいは第２番目のフレームのみを移動量算出フレームとして設定するなど、固定的な移動量算出フレームを設定して、移動量の算出を行ない、処理フレーム数単位（Ｎ）に渡って、その固定的な移動量算出フレームによって決定された移動量に基づく固定的な間引き態様（空間方向間引き、時間方向間引き、または、時間方向および空間方向間引き）での処理を実行していた。
【００９３】
しかしながら、特に画像中の動領域と静止領域の境界においては、処理単位として設定されるＮフレームの間に、あるブロックの移動量が大きく変化する場合があり、複数フレームにわたって同様の処理を適用することで時として画質の劣化が発生する場合がある。
【００９４】
図２１に間引き処理単位フレーム数Ｎ＝４とした場合の、動領域と静止領域の境界における移動量の変動の様子を示す（なお、以後は特に明示せずに間引き処理単位フレーム数Ｎ＝４として議論を行う場合があるが、Ｎがそれ以外の値であっても同様の議論が可能である）。
【００９５】
図２１は空間上のある位置における４フレーム間（フレーム０からフレーム３まで）の画像データの変化を示している。図２１に含まれる４つの図のそれぞれがその番号によって示されるフレームの様子を表している。図中の小さい正方形が１ブロック（例えば４ピクセル×４ピクセル）であり、白い部分が背景（静止領域）、斜線部分が動いている被写体（動領域）である。斜線部分は３ピクセル／フレームで左方向に動いているとする。以上のような状況において、図中に示すブロック７１の各フレーム０〜３における移動量の算出結果は、おおよそ次のようになる。
フレーム０）移動量０
フレーム１）移動量０
フレーム２）左方向に３ピクセル／フレームで移動
フレーム３）左方向に３ピクセル／フレームで移動
【００９６】
フレーム０では、ブロック７１に移動被写体が存在せず、移動量は０として算出される。フレーム１では、移動被写体が、わずかに存在するが、ほとんどの部分は、背景であり、このフレーム１のブロック７１から求められる移動量は、０より大きいがほぼ０に近い値となる。フレーム２，３では、ブロック７１はすべて３ピクセル／フレームで左方向に動いている移動被写体で占められており、これらのフレームにおけるブロック７１の移動量は「左方向に３ピクセル／フレームで移動」として算出される。
【００９７】
特願２００３−４１２５０１に記載された動画像変換装置では、ブロック分配部３２はＮ個のブロックのうちのあるフレームＰ（０≦Ｐ≦Ｎ−１）のフレームにおけるブロックの移動量のみを参照する。従って、図２１に示す例において、間引き処理単位フレーム数Ｎ＝４フレームとして、移動量検出フレームＰ＝０とした設定では、移動量＝０と判定され、これら４フレームに渡ってブロック７１は、静止領域として判断され、４フレームに渡ってブロック７１は、ブロック処理部５３における時間方向の間引き処理が施されることになる。
【００９８】
また、移動量検出フレームＰ＝３とした設定では、左方向に３ピクセル／フレームで移動と判定されることになり、４フレームに渡って、ブロック７１はブロック処理部５１にて空間間引きが施されることになる。
【００９９】
このように、移動量検出フレームＰ＝０の場合にはフレーム２およびフレーム３は高い移動量を持つ領域であるにも関わらず時間方向間引きが施される。一方、Ｐ＝３の場合にはフレーム０およびフレーム１は停止領域であるにも関わらず空間間引きが施される。
【０１００】
このように、移動量検出フレームを固定化した構成では、間引き処理単位フレーム数Ｎフレーム中の対応ブロックで、大きく移動量の異なるブロックが含まれる場合、移動量検出フレームと移動量の大きく異なるフレームのブロックでは、適切ではない処理が施されることになり、このような不適切な処理が行なわれたブロックにおいては画質の劣化が発生することになる。本発明は、この問題点を改善した構成を提供する。以下、この問題点を改善した構成について説明する。
【０１０１】
上述の動画像変換装置１０の問題点を解決し、改良した間引き処理を実行することにより、異なる速度で移動する領域間の境界部分で発生する画質劣化を抑制するデータ削減（圧縮）処理を実現する本発明の動画像変換装置１００について説明する。
【０１０２】
改良した間引き処理を実行する本発明の動画像変換装置１００の構成を、図２２を参照して説明する。図２２に示す動画像変換装置１００は、先に図１を参照して説明した動画像変換装置１０と同様、人間の視覚特性による超解像効果を利用することにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量を削減することを可能としたものであり、さらに、異なる速度で移動する領域間の境界部分で発生する画質劣化を抑止したデータ削減を可能としたものである。
【０１０３】
図２２に示す動画像変換装置１００の基本的な構成は、先に図１を参照して説明した構成とほぼ同様である。ブロック分割部１１０は、入力された動画像の各フレームをブロックに分割し、移動量検出部１２０に供給する。
【０１０４】
移動量検出部１２０は、ブロック分割部１１０から供給された各ブロックについての移動量を検出し、ブロックとその移動量をブロック処理部１３０に送信する。ただし、図１を参照して説明した構成と異なり、移動量検出部１２０は、間引き処理単位フレームＮに渡るＮ個のブロックのうちの固定的なあるフレームＰ（０≦Ｐ≦Ｎ−１）のブロックの移動量を検出するのではなく、間引き処理単位フレームＮに渡るＮ個のブロックから最大の移動量を持つブロックを選択して、移動量を算出する。これらの処理の詳細については後述する。
【０１０５】
ブロック処理部１３０は、移動量検出部１２０から供給されたブロックに対して、その移動量に応じた動画像変換処理を施し、データ量を削減する。ブロック処理部１３０は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４０に供給する。出力部１４０は、ブロック処理部１３０から供給された、データ量が削減されたブロックについてのデータを、例えば、ストリームデータなどとしてまとめて出力する。
【０１０６】
次に、図２３を参照して、各部の詳細を説明する。はじめにブロック分割部１１０について説明する。ブロック分割部１１０の画像蓄積部１１１には、動画像変換装置１００に供給された動画像のフレームが入力される。画像蓄積部１１１は、入力されたフレームを蓄積する。画像蓄積部１１１は、蓄積したフレームの数が、予め定めた間引き処理単位フレーム数であるＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部１１２および移動量検出部１２１に供給する。
【０１０７】
ブロック分割部１１２は、画像蓄積部１１１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば４ｘ４、８ｘ８）のブロックに分割し、移動量検出部１２０のブロック分配部１２２および移動量検出部１２１に出力する。
【０１０８】
次に、移動量検出部１２０の構成および処理について説明する。移動量検出部１２０の最大移動量検出部１２１はブロック分割部１１０のブロック分割部１１２から供給されたＮフレーム分の各ブロックの動きベクトルを、画像蓄積部１１１から過去に供給された、Ｍ（Ｍは整数）フレーム前のフレームを参照して、例えばフレーム間のブロックマッチング処理を実行して検出し、検出したＮ個の動きベクトルのうち最大のものを、ブロック分配部１２２、ブロック処理部１３１および１３２に供給する。なお、動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表す。移動量を検出する手段はブロックマッチング以外のものでも構わない。
【０１０９】
先に、図１、図２を参照して説明した装置では、間引き処理単位フレーム数Ｎに対応するＮフレームから、固定的なあらかじめ定められたＰ番目のフレームを選択して、選択したＰ番目のフレームに含まれる各ブロックの動きベクトルを求めていた。本構成では、間引き処理単位フレーム数Ｎの各ブロックについて、最大の移動量を持つブロックを選択して、この最大移動量を間引き処理単位フレーム数Ｎに含まれる各ブロックについての間引き処理態様を決定するための移動量とする。
【０１１０】
続いて、図２４を用いて、間引き処理単位フレーム数Ｎ＝４の場合の移動量検出部１２０における最大移動量検出部１２１の処理の詳細について説明する。移動量検出部１２０の最大移動量検出部１２１は、図２４に示すように、４つのブロックマッチング部２１０〜２１３およびメモリ２２０、セレクタ２３０によって構成される。メモリ２２０には、画像蓄積部１１１から過去に入力されたフレームのうち、ブロックマッチングに必要となるフレームが保存されている。例えば現在処理中のフレームをフレーム０、フレーム１、フレーム２、フレーム３とした場合、フレーム０−Ｍ、フレーム１−Ｍ、フレーム２−Ｍ、フレーム３−Ｍの４枚のフレームがメモリ２２０には保存されている。
【０１１１】
ブロックマッチング部２１０〜２１３ではブロック分割部１１２から入力された各フレームのブロックの動きベクトルを、メモリ２２０から入力される参照フレームを用いて、ブロックマッチングにより検出する。ブロックマッチング部２１０はフレーム０のブロックの動きベクトルを、メモリ２２０から入力されるフレーム０−Ｍを参照フレームとして、ブロックマッチングにより検出する。ブロックマッチング部２１１はフレーム１のブロックの動きベクトルを、メモリ２２０から入力されるフレーム１−Ｍを参照フレームとして、ブロックマッチングにより検出する。ブロックマッチング部２１２はフレーム２のブロックの動きベクトルを、メモリ２２０から入力されるフレーム２−Ｍを参照フレームとして、ブロックマッチングにより検出する。ブロックマッチング部２１３はフレーム３のブロックの動きベクトルを、メモリ２２０から入力されるフレーム３−Ｍを参照フレームとして、ブロックマッチングにより検出する。各ブロックマッチング部２１０乃至２１３の出力はセレクタ２３０へと送られる。
【０１１２】
セレクタ２３０では各ブロックマッチング部２１０乃至２１３から入力された４つの動きベクトルのうち最大のものをブロック分配部１２２へと出力する。４つの動きベクトルから最大のものを選択するには、例えば４つの動きベクトルのＸ成分とＹ成分からなる計８つの値の絶対値のうち最大の値を算出し、その値をもつ動きベクトルを選択したり、各動きベクトルのＸ成分とＹ成分の２乗和が最大となる動きベクトルを選択したりするなどの方法がある。
【０１１３】
ブロック分配部１２２は、供給されたＮ個のブロックと最大移動量を、ブロック処理部１３０の、その移動量に対応する処理を行うブロック処理部１３１乃至１３３の中のいずかに供給する。ブロック分配部１２２は、最大移動量検出部１２１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の最大移動量に基づいて、間引き処理単位フレーム、すなわちＮフレームについての間引き処理態様を決定する。すなわち、
空間方向間引き処理を実行するか、
時間方向間引き処理を実行するか、
時間方向および空間方向間引き処理を実行するか、
これらいずれの態様の間引き処理を実行するかを決定し、決定に従って、Ｎ個のブロックと最大移動量を、ブロック処理部１３０の、その移動量に対応する処理を行うブロック処理部１３１乃至１３３の中のいずかに供給する。
【０１１４】
具体的にはブロック分配部１２２は、最大移動量検出部１２１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の最大移動量が２ピクセル（画素）以上である場合、ブロック分割部１１２から供給されたＮ個のブロックと最大移動量検出部１２１から供給された最大移動量を、ブロック処理部１３１に出力する。また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部１２２は、Ｎ個のブロックと移動量を、ブロック処理部１３３に出力する。移動量がそのほかの場合には、ブロック分配部１２２は、Ｎ個のブロックと移動量をブロック処理部１３２に供給する。
【０１１５】
すなわちブロック分配部１２２は、最大移動量検出部１２１から供給された移動量に基づき、最適な間引き処理を行うブロック処理部１３１〜１３３に、ブロック画像を分配する。なお、分配先決定のためのこの条件はあくまでも一例であり、他の条件で分配先を決定してもよい。
【０１１６】
ブロック分配部１２２の実行する間引き態様決定処理を一般化して説明すると以下のようになる。最大移動量検出部１２１の検出した最大移動量をＶｔ、予め定めた２つの閾値Ｖａ、Ｖｂ、ただしＶａ＞Ｖｂとした設定において、
最大移動量：Ｖｔ≧Ｖａである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向間引き処理として決定し、
最大移動量：Ｖｔ＜Ｖｂである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を時間方向間引き処理として決定し、
最大移動量Ｖｔが、Ｖｂ≦Ｖｔ＜Ｖａである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向および時間方向間引き処理として決定する。
【０１１７】
次に、ブロック処理部１３０の詳細を説明する。ブロック処理部１３０は、図２３に示すように、３個のブロック処理部１３１乃至１３３で構成されている。ブロック処理部１３１は、移動量検出部１２０のブロック分配部１２２から供給された、連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロック）に対して、画素数を、同様にブロック分配部１２２から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。
【０１１８】
具体的には、１フレーム間の水平方向の移動量が垂直方向の移動量より大きく、さらに２ピクセル（画素）以上である場合、ブロック処理部１３１は、ブロックが例えば８×８ピクセルで構成されているとき、図３に示すように、ブロック内の画素を、１×４ピクセル単位の集合に分割する。さらにブロック処理部１３１は、図４に示すように、１×４ピクセルの各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）に設定する画素数の間引き（４画素間の画素数の間引き）（間引き量４の間引き）を行う。
【０１１９】
１フレーム間の垂直方向の移動量が水平方向の移動量より大きく、さらに２ピクセル以上である場合、ブロック処理部１３１は、図５に示すように、ブロック内の画素を、４×１ピクセル単位の集合に分割し、図６に示すように、各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）にする画素数の間引きを行う。
【０１２０】
ブロック処理部１３１は、このような空間方向間引き処理を、供給された４個のブロックに対してそれぞれ施すので、隣接した４画素毎に１画素のデータ量に削減され、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部１３１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４０に供給する。
【０１２１】
ブロック分配部１２２、ブロック処理部１３２、ブロック処理部１３３、および出力部１４０に関しては、動画像変換装置１０と同様であるので動作についての説明は省略する。復元部１５０については後述する。
【０１２２】
以上のように、本発明の動画像変換装置１００では、同時に処理を行うＮフレーム分のブロックの全てについて移動量の計算を行い、得られた移動量のうち最大の移動量を間引き処理態様を決定するための移動量とする。すなわち、本発明の動画像変換装置１００では、間引き処理単位フレーム数Ｎの各ブロックについて、最大の移動量を持つブロックを選択して、この最大移動量を間引き処理単位フレーム数Ｎに含まれる各ブロックについての間引き処理態様を決定するための移動量とする。以下、このような処理の決定方法を用いることによる効果について説明する。
【０１２３】
上記のように、得られた移動量のうち最大のものを利用してブロックに対して行う処理内容を決定する理由ついて説明する。
【０１２４】
まず、間引き処理単位フレーム数Ｎに含まれるフレームが動領域と静止領域の境界にあるために、Ｎフレーム間で移動量が大きく変わるようなブロックに対して、
（１）Ｎフレーム全てに時間間引きを適用する場合と、
（２）Ｎフレーム全てに対して空間間引きを適用する場合のいずれの状況においてより画質劣化が顕著であるのかを図２５乃至図２８を用いて確認する。
【０１２５】
図２５は図２１と同様に空間上のある位置における４フレーム間（フレーム０からフレーム３まで）の様子を示している。図中の小さい正方形が４ｘ４ピクセル（画素）の１ブロックであり、点表示領域部分が背景（静止領域）、線表示領域部分が動いている被写体（動領域）である。動領域は４ピクセル／フレームで右方向に動いている。
【０１２６】
以上のような状況において、図２５中に示したブロック８０〜８３に着目し、上記（１）の場合、すなわち、
（１）Ｎフレーム全てに時間間引きを適用する場合、
における劣化の様子を図２６および図２７に示す。
【０１２７】
図２６は、図２５の４フレームに対して、従前の動画像変換装置１０により、移動量検出フレームＰを、Ｐ＝３とした場合の間引き処理および復元（拡張）処理を適用した結果得られる画像を表している。なお、図２６では、着目しているブロック８０〜８３のみの間引き処理態様を示している。
【０１２８】
Ｐ＝３とした場合、図２５に示すフレーム３を参照して理解されるように、フレーム３におけるブロック８３領域は背景（静止領域）であるので、ほぼ０の小さい移動量が算出され、図２５の４フレームにおけるブロック８０〜８３には時間方向間引き処理が施される。時間方向間引き処理は、Ｎ＝４とした場合、４フレームから１つのフレームにあるブロック画素を４フレーム全てに適用する処理である。時間方向間引き処理は、間引き処理において残すフレーム画素を何番目のものとするかを予め設定し、その設定に従って、全フレームの対応ブロックにそのフレーム画素をコピーする。図２６は、時間間引きにおいて残すフレーム、すなわちコピー元となる画素値をフレーム０とした場合を示し、図２７は時間間引きにおいて残すフレームをフレーム３とした場合を示す。
【０１２９】
図２６では、線領域部分で示されている動領域中、フレーム０の右下部分のブロック８０の画素値が、フレーム１〜３の各フレームのブロック８１〜８３にわたってコピーされることになり、フレーム０〜３の４フレームの表示時間には、フレーム０に存在していたブロック８０に対応する移動被写体の一部がフレーム０〜３に至るまで、同じ位置に表示され続ける。
【０１３０】
また、図２７は、時間間引きにおいて残すフレームをフレーム３とした場合を示す。この場合、フレーム３の右下部分のブロック８３の画素値が、フレーム０〜２の各フレームのブロック８０〜８２にわたってコピーされることになり、フレーム０〜３の４フレームの表示時間には、フレーム３に存在していたブロック８３に対応する背景の一部がフレーム０〜３に至るまで、同じ位置に表示され続ける。この場合、最初の２フレーム（フレーム０，１）において動領域の一部分が背景で置き換わっている。
【０１３１】
つまり、４フレーム間で移動量が変化する領域に対して、（１）Ｎフレーム全てに時間間引きを適用すると、オリジナルの動画像には存在しない物体が数フレーム間表示されたり（図２６）、動被写体の形状が変化したり（図２７）することになり、これは著しい画質の劣化につながる。
【０１３２】
これに対し、
（２）Ｎフレーム全てに対して空間間引きを適用する場合、
の画像劣化の状態について、図２８を参照して説明する。空間間引きは、同一フレームのブロック内の画素の画素値を同一フレーム同一ブロック内の代表画素からコピーして生成する処理である。
【０１３３】
図２８に示すようにフレーム０〜フレーム３のブロック８０〜８３において、すべて、同一ブロック内の処理として、空間間引き処理が実行されることになる。フレーム０およびフレーム１のブロック８０，８１に関しては移動被写体領域に対して空間間引きが施されブロックの移動量に即した間引き処理が行われ問題ないが、フレーム２およびフレーム３のブロック８２，８３に関しても、移動量がほぼ０の背景領域であるにも関わらず、空間間引きが施される。これはブロックの移動量に適した間引き処理ではない。しかしながら、空間間引き処理を適用しても画像の空間解像度が低下するのみで画像の本来の構成（被写体の位置関係、大域的に観察した場合の色相など）が大きく変わるわけではない。
【０１３４】
すなわち、
（２）Ｎフレーム全てに対して空間間引きを適用する場合、
は、図２６、図２７を参照して説明した、
（１）Ｎフレーム全てに時間間引きを適用する場合、
におけるような画像の構成が変わってしまうような著しい劣化は発生しない。
【０１３５】
以上、説明したように、動領域と静止領域の境界で見られる、Ｎフレーム間で移動量が大きく変化するようなブロック、すなわちＮフレーム間で時間間引きを適用するべき移動量のブロックと空間間引きを適用するべき移動量のブロックが混在するようなブロックに対して、時間間引きまたは空間間引きのどちらかの処理を一律に施す場合は、時間方向間引きを施すと著しい劣化が発生する場合があるが、空間方向間引きのみを施した場合には、画質の劣化が抑えられることがわかる。
【０１３６】
本発明の構成による動画像変換装置１００では、各フレームの移動量の最大値を基に間引き処理の種別を決定する構成としたので、上記のような異なる移動量が混在するブロックでは空間間引き処理が施されることになり、画質の劣化を最小限にとどめることができる。
【０１３７】
図２３に示す移動量検出部１２０のブロック分配部１２２には、ブロック分割部１１２から、間引き処理単位フレーム数：Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、さらに、最大移動量検出部１２１において、そのＮ個のブロックの中の最大の移動量を持つフレームのブロック移動量が供給される。最大移動量検出部１２１では、図２４を参照して説明したように、Ｎ個のブロックの中の最大の移動量を持つフレームのブロック移動量を選択して、セレクタ２３０を介して、最大の移動量情報（動きベクトル情報）をブロック分配部１２２へと出力する。
【０１３８】
ブロック分配部１２２は、最大移動量検出部１２１から入力する最大移動量情報に基づいて、ブロック処理部１３１〜１３３に、間引き処理単位フレーム数：Ｎフレームに相当するＮブロックを供給し、ブロック処理部１３１〜１３３では、入力ブロックに対して、それぞれ空間方向間引き、時間方向間引き、空間方向および時間方向間引きを実行する。
【０１３９】
具体的には、最大移動量検出部１２１から入力する最大移動量情報に従って、例えば、以下の（１）〜（３）のいずれかの態様で処理が実行される。
（１）最大移動量検出部１２１において検出された最大移動量が水平方向または垂直方向の移動量として２ピクセル以上である場合は、ブロック処理部１３１に、間引き処理単位フレーム数：Ｎフレームに相当するＮブロックを供給して、ブロック分配部１２２から供給された最大移動量に応じた空間方向間引き処理を行う。
（２）最大移動量検出部１２１において検出された最大移動量が水平方向と垂直方向ともに１ピクセル未満である場合は、ブロック処理部１３２に、間引き処理単位フレーム数：Ｎフレームに相当するＮブロックを供給して時間方向間引き処理を行う。
（３）最大移動量検出部１２１において検出された最大移動量が水平方向と垂直方向ともに１ピクセル以上で、２ピクセル未満である場合は、ブロック処理部１３３に、間引き処理単位フレーム数：Ｎフレームに相当するＮブロックを供給して空間方向間引きおよび時間方向間引き処理を行う。
【０１４０】
このような処理構成とすることで、間引き処理単位フレーム数：Ｎフレームに含まれる処理対象となるブロックのＮブロック中に、１つでも最大移動量が２ピクセル以上のブロックが含まれる場合には、ブロック処理部１３１において空間方向間引き処理が行なわれることになり、Ｎブロック中に、最大移動量が２ピクセル以上のブロックが１つも存在せず、最大移動量が１ピクセル以上のブロックが１つでも含まれる場合には、ブロック処理部１３３において空間方向間引きおよび時間方向間引き処理を行われる。Ｎブロック中に、最大移動量が１ピクセル以上のブロックが１つも存在しない場合に限り、ブロック処理部１３２において時間方向間引き処理が行われることになる。
【０１４１】
このように、本発明の構成による動画像変換装置１００では、各フレームの移動量の最大値を基に間引き処理の種別を決定する構成としたので、間引き処理単位フレーム数：Ｎフレームに異なる移動量が混在するブロックでは、多くの場合、空間間引き処理が施されることになり、画質の劣化を最小限にとどめることができる。
【０１４２】
［（３）改良した復元処理を実行する動画像復元装置について］
続いて、図２２に示す復元部１５０の詳細構成および処理について説明する。復元部１５０は、図２９に示すようにブロック分配部６１０、ブロック拡張部６２０乃至６４０、合成部６５０から構成される。ブロック分配部６１０、ブロック拡張部６２０乃至６４０は、先に図１３を参照して説明した復元部１５と同様の処理（特願２００３−４１２５０１号の復元部）を実行する構成であるので、その詳細の記述は省略し、合成部６５０についてのみ説明する。
【０１４３】
なお、間引き処理はＮフレーム単位で行われており、ブロックの大きさは横Ｗピクセル、縦Ｈピクセルであるとする。また、合成部６５０の現在の処理対象フレームをフレームｎ乃至フレームｎ＋Ｎ−１（ｎ＝ｋＮ（ｋ≧０））とする。
【０１４４】
合成部６５０の詳細な構成を図３０に示す。図３０は合成部６５１、画像データメモリ６５２および６５３、間引き情報メモリ６５４、間引き情報補間部６５５、および空間間引き領域補正部６５６により構成される。合成部６５０の合成部６５１は図１３の合成部６５と同様の動作をおこなう。つまりその出力は間引き処理が施されたデータを拡張することで得られるオリジナルの動画像と同様の解像度の画像Ｎフレーム分である。
【０１４５】
画像データメモリ６５２は合成部６５１から得られるフレームｎ−１からフレームｎ＋２Ｎ−１までを保持しこれを出力する。つまり、空間間引き領域補正部６５６は、フレームｎ乃至フレームｎ＋Ｎ−１の処理に際し、少なくとも現在の処理対象フレームに加えその前後のフレームを参照可能である。
【０１４６】
間引き情報メモリ６５４はフレームｎ−Ｎからフレームｎ＋２Ｎ−１までの計３Ｎフレームに施された間引き処理の種別を保持しこれを出力する。つまり、補正対象ピクセル検出部６５５はフレームｎ乃至フレームｎ＋Ｎ−１の処理に際し、少なくとも現在の処理対象フレームに施された処理内容に加えその前後のフレームに施された処理内容を参照可能である。
【０１４７】
補正対象ピクセル検出部６５５は、フレームｎ＋１からフレームｎ＋Ｎ−１の空間間引き領域内の各ピクセルに対して、補正処理が必要かどうか、補正が必要ならば過去のフレーム乃至未来のフレームいずれのフレームのデータを用いるべきか、を判断する。さらに、その結果を空間間引き領域補正部６５６に出力する。補正対象ピクセル検出部６５５の詳細については後に説明する。
【０１４８】
空間間引き領域補正部６５６はフレームｎからフレームｎ＋Ｎ−１までのＮフレームの各ピクセルを、補正対象ピクセル検出部６５６の検出した補正対象ピクセル情報を参照しながら補正する。例えば、あるピクセルに対する補正対象ピクセル検出部６５６の結果が、補正処理が必要であり、過去フレームを使用する、という内容であった場合は、空間間引き領域補正部６５６は該ピクセルのデータをフレームｎ−１の同一位置の画素値で置き換える。
【０１４９】
図３１に空間間引き領域補正部６５６の実行する画素値置き換え処理の例を示す。図には、フレームｎ−１，９０と、フレームｎ＋ｔ，９２を示している。０≦ｔ≦Ｎ−１であり、フレームｎ＋ｔとはフレームｎからフレームｎ＋Ｎ−１までのＮフレームのいずれかのフレームであることを示している。フレームｎ−１，９０は、フレームｎ＋ｔ，９２より時間的に先行するフレームである。フレームには、複数の画素（ピクセル）が含まれ、図には、処理対象となる１つのピクセルを示している。すなわち、フレームｎ−１，９０のピクセル９１と、フレームｎ＋ｔ，９２のピクセル９３である。
【０１５０】
なお、図３１（Ａ）が補正前のフレームであり、（Ｂ）が補正後のフレームである。フレームｎ＋ｔの図中のピクセルに対する補正対象ピクセル検出部６５６の結果が、補正処理が必要であり、過去フレームを使用するという内容であった場合は、図３１（Ｂ）に示すようにフレームｎ−１，９０におけるピクセル９１の画素値を、該ピクセル９１と同一位置に対応するフレームｎ＋ｔ，９２のピクセル９３の値として設定する画素値補正処理を実行する。
【０１５１】
また、あるピクセルに対する補正対象ピクセル検出部６５６の結果が、補正処理が必要であり、未来フレームを使用する、という内容であった場合は、図３２に示すように、空間間引き領域補正部６５６は、フレームｎ＋Ｎ，９６におけるピクセル９７の画素値を、該ピクセル９７と同一位置に対応するフレームｎ＋ｔ，９４のピクセル９５の値として設定する画素値補正処理を実行する。
【０１５２】
また、あるピクセルに対する補正対象ピクセル検出部６５６の結果が、補正処理が必要ではない、という内容であった場合は何も行わない。同様に、時間間引き領域であったり、時間空間間引き領域であったりした場合にも補正処理は行わない。
【０１５３】
補正対象ピクセル検出部６５５は３種類の間引き処理内容情報を保持し、これらの情報に基づいて補正対象ピクセルを検出する。
補正対象ピクセル検出部６５５は、以下の３種類の間引き処理内容情報を保持している。
＊フレームｎ−Ｎからフレームｎ−１までの、過去のＮフレームに適用された処理の内容、
＊フレームｎからフレームｎ＋Ｎ−１までの、現在のＮフレームに適用された処理の内容、
＊フレームｎ＋Ｎからフレームｎ＋２Ｎ−１までの、未来のＮフレームに適用された処理の内容、
である。
補正対象ピクセル検出部６５５はこれらの情報を用いて、本来は動領域ではないが空間間引き処理を施されている領域を検知する。補正対象ピクセル検出部６５５の動作の詳細を説明する前に、補正対象ピクセル検出部６５５の原理と処理の意味を具体的な例を用いて説明する。
【０１５４】
図３３はＮ＝４としてフレームｎ−４からｎ＋３までの各フレームのある行の一部において施された間引きの種別を表している。縦軸が時間軸であり、下方向に向かって時間が経過する。横軸は、画素位置（水平方向）を示す。ｎ−４〜ｎ−１までの４フレームが、１つの間引き処理単位フレーム数：Ｎ＝４フレームであり、ｎ〜ｎ＋３が後続する４つの間引き処理単位フレームである。
【０１５５】
各フレームに対応する行において、ｎ−４〜ｎ−１までの４フレームでは、斜線に塗られたデータ領域７０１が時間方向間引きを施された部分であり、各行のそれ以外のデータ領域７０２は水平方向の空間方向間引きを施された部分であり動領域が含まれる。また、次の時間的に連続するｎ〜ｎ＋３までの４フレームにおいても、斜線に塗られたデータ領域７１１が時間方向間引きを施された部分であり、各行のそれ以外のデータ領域７１２は水平方向の空間方向間引きを施された部分であり動領域が含まれる。
【０１５６】
空間方向間引きを施されたデータ領域７０２，７１２のフレーム間推移から、その領域は左方向に移動していることが予測可能である。すなわち、図に示す先行するフレームｎ−４〜ｎ−１のデータ領域７０２より、時間的に後続するフレームｎ〜ｎ＋３のデータ領域７１２は左に移動している。
【０１５７】
さらに、フレームｎ−１において動領域であるデータ領域７０２の左端部分は概ね図中実線の矢印で示すデータ部分７２１に存在すると考えられる。これは、本発明の動画像変換装置１００があるブロックに施す処理を決める場合に、Ｎフレーム間の各ブロックの移動量の最大値を基準にすることに起因する。すなわち、フレームｎ−１において、図３３中のデータ部分７２１より左側に動領域の左端があると仮定した場合、その部分も空間方向間引きを施されることになる。また、データ部分７２１より右側に動領域の左端があると仮定した場合は、図中のデータ部分７２１は空間方向間引きの領域にはならない。
【０１５８】
フレームｎ＋３における動領域の左端部分も同様に推測可能であり、結局フレームｎ−１からフレームｎ＋３にかけて、動領域の左端部分は点線矢印７２２で示した軌跡に従った動きをしていると判断することができる。
【０１５９】
この動領域のフレーム間の推移予測から、図中、太線で囲まれたフレームｎ〜ｎ＋２の一部のデータ領域７２３は、移動する動領域として空間間引き処理の施されたデータ領域７１２に含まれるが、このデータ領域７２３は、本来は動領域ではなく、背景などの静止領域であると推測することができる。しかし、上述した最大移動量を基準とした処理態様決定処理を実行した結果、このデータ領域７２３は、空間方向間引きが施されている。
【０１６０】
このデータ領域７２３は、本来、静止領域に属しており、画質の向上のために補正処理を行なうことが適切である。静止領域は動きが少なく、例えば時間的に隣接するフレーム中の画素値を適用した補間処理が可能となる。すなわち、図に示すフレームｎ−１のデータ領域７２４の画素値を用いて、フレームｎ〜ｎ＋２のデータ領域７２３の画素値の補正、すなわち補間処理を行なう。
【０１６１】
図３４に補間処理の具体例を示す。図に示すフレームｎ−１のデータ領域７２４のデータ部７３１の構成画素の画素値をフレームｎ＋２の対応画素の画素値として設定し、フレームｎ−１のデータ領域７２４のデータ部７３２の構成画素の画素値をフレームｎ＋１の対応画素の画素値として設定し、フレームｎ−１のデータ領域７２４のデータ部７３３の構成画素の画素値をフレームｎの対応画素の画素値として設定する。
【０１６２】
このように、過去の同じ位置にある画素の値によってこれらの領域の画素を置き換えてしまえば画質の向上が期待できる。画素値の変更を行う範囲に関しては図３３に示した移動領域の移動量の推定値Ｌから容易に計算することができる。まず、フレームｎ＋３において動領域の左端があると推測されるデータ位置７２５のＸ座標をｘとする。このとき、フレームｎではｘから起算して右に３×Ｌ／４画素分、フレームｎ＋１では２×Ｌ／４画素分、フレームｎ＋２では１×Ｌ／４画素分の画素が変更処理の対象となる。フレームｎ＋３では変更処理が行われる画素は存在しない。
【０１６３】
従って、図３４に示すように、フレームｎではｘから起算して右に３×Ｌ／４画素分、フレームｎ＋１では２×Ｌ／４画素分、フレームｎ＋２では１×Ｌ／４画素分の画素を補正対象画素として、フレームｎ−１の対応画素の画素値をコピーする補正処理を行なう。
【０１６４】
図３５は、未来フレームの画素を用いて現在フレームの画素の画素値補正を行なう場合の処理例を説明する図である。Ｎ＝４としてフレームｎからｎ＋７までの各フレームのある行の一部において施された間引きの種別を表している。縦軸が時間軸であり、下方向に向かって時間が経過する。横軸は、画素位置（水平方向）を示す。ｎ〜ｎ＋３までの４フレームが、１つの間引き処理単位フレーム数：Ｎ＝４フレームであり、ｎ＋４〜ｎ＋７が後続する４つの間引き処理単位フレームである。
【０１６５】
各フレームに対応する行において、ｎ〜ｎ＋３までの４フレームでは、斜線に塗られたデータ領域７５１が時間方向間引きを施された部分であり、各行のそれ以外のデータ領域７５２は水平方向の空間方向間引きを施された部分であり動領域が含まれる。また、次の時間的に連続するｎ＋４〜ｎ＋７までの４フレームにおいても、斜線に塗られたデータ領域７６１が時間方向間引きを施された部分であり、各行のそれ以外のデータ領域７６２は水平方向の空間方向間引きを施された部分であり動領域が含まれる。
【０１６６】
空間方向間引きを施されたデータ領域７５２，７６２のフレーム間推移から、その領域は左方向に移動していることが予測可能である。すなわち、図に示す先行するフレームｎ〜ｎ＋３のデータ領域７５２より、時間的に後続するフレームｎ＋４〜ｎ＋７のデータ領域７６２は左に移動している。
【０１６７】
さらに、フレームｎ＋４において動領域であるデータ領域７５２の右端部分は概ね図中実線の矢印で示すデータ部分７７１に存在すると考えられる。これは、本発明の動画像変換装置１００があるブロックに施す処理を決める場合に、Ｎフレーム間の各ブロックの移動量の最大値を基準にすることに起因する。すなわち、フレームｎ＋４において、図３５中のデータ部分７７１より右側に動領域の右端があると仮定した場合、その部分も空間方向間引きを施されることになる。また、データ部分７７１より左側に動領域の右端があると仮定した場合は、図中のデータ部分７７１は空間方向間引きの領域にはならない。
【０１６８】
フレームｎにおける動領域の右端部分も同様に推測可能であり、結局フレームｎからフレームｎ＋７にかけて、動領域の右端部分は点線矢印７７２で示した軌跡に従った動きをしていると判断することができる。
【０１６９】
この動領域のフレーム間の推移予測から、図中、太線で囲まれたフレームｎ＋１〜ｎ＋３の一部のデータ領域７７３は、移動する動領域として空間間引き処理の施されたデータ領域７５１に含まれるが、このデータ領域７７３は、本来は動領域ではなく、背景などの静止領域であると推測することができる。しかし、上述した最大移動量を基準とした処理態様決定処理を実行した結果、このデータ領域７７３は、空間方向間引きが施されている。
【０１７０】
このデータ領域７７３は、本来、静止領域に属しており、画質の向上のために補正処理を行なうことが適切である。静止領域は動きが少なく、例えば時間的に隣接するフレーム中の画素値を適用した補間処理が可能となる。すなわち、図に示すフレームｎ＋４のデータ領域７７４の画素値を用いて、フレームｎ＋１〜ｎ＋３のデータ領域７７３の画素値の補正、すなわち補間処理を行なう。
【０１７１】
図３６に補間処理の具体例を示す。図に示すフレームｎ＋４のデータ領域７７４のデータ部７８１の構成画素の画素値をフレームｎ＋１の対応画素の画素値として設定し、フレームｎ＋４のデータ領域７７４のデータ部７８２の構成画素の画素値をフレームｎ＋２の対応画素の画素値として設定し、フレームｎ＋４のデータ領域７７４のデータ部７８３の構成画素の画素値をフレームｎ＋３の対応画素の画素値として設定する。
【０１７２】
このように、未来の同じ位置にある画素の値によってこれらの領域の画素を置き換えてしまえば画質の向上が期待できる。画素値の変更を行う範囲に関しては図３５に示した移動領域の移動量の推定値Ｌから容易に計算することができる。まず、フレームｎ＋４において動領域の右端があると推測されるデータ位置７７１のＸ座標をｘとする。このとき、フレームｎ＋３ではｘから起算してＬ／４画素右側から３×Ｌ／４画素分、フレームｎ＋２では２×Ｌ／４画素右側から２×Ｌ／４画素分、フレームｎ＋１では３×Ｌ／４画素右側から１×Ｌ／４画素分の画素が変更処理の対象となる。フレームｎでは変更処理が行われる画素は存在しない。
【０１７３】
従って、図３６に示すように、フレームｎ＋３では３×Ｌ／４画素分、フレームｎ＋２では２×Ｌ／４画素分、フレームｎ＋１では１×Ｌ／４画素分の画素を補正対象画素として、フレームｎ＋４の対応画素の画素値をコピーする補正処理を行なう。
【０１７４】
図３３〜図３６では、水平方向の移動の際の補正処理例を説明したが、垂直方向の空間方向間引きが施された領域においても同様の補正処理が可能である。
【０１７５】
また、上述した処理例では、間引き処理単位フレーム数Ｎ＝４フレームとして説明したが、一般のＮの場合について拡張した補正対象ピクセル検出部６５５の動作の詳細を図３７乃至図４０のフローチャートを用いて説明する。
【０１７６】
図３７に示すフローチャートはフレームｎからフレームｎ＋Ｎ−１に対して行う、補正対象ピクセル検出部６５５の全体的な処理の記述である。まず補正対象ピクセル検出部６５５の出力と入力について説明する。
【０１７７】
補正対象ピクセル検出部６５５の出力
図３７のフローにおけるステップＳ１０６における補正対象ピクセル検出部６５５の最終的な出力は、Ｕ行、Ｖ列のＮ個の行列Ｃｔ（０≦ｔ≦Ｎ−１）である。行列Ｃｔを補正処理適用行列Ｃｔとする。
Ｕは動画像の垂直方向の画素数、Ｖは動画像の水平方向の画素数とする。
行列Ｃｔの（ｉ、ｊ）要素が０であればその行列に対応するフレームｎ＋ｔのピクセル（ｉ、ｊ）に対しては何も行わない。
行列Ｃｔの（ｉ、ｊ）要素が−１であればその行列に対応するフレームｎ＋ｔのピクセル（ｉ、ｊ）を過去のフレームｎ−１のピクセル（ｉ、ｊ）の値により置き換えることを意味する。
行列Ｃｔの（ｉ、ｊ）要素が＋１であればその行列に対応するフレームｎ＋ｔのピクセル（ｉ、ｊ）を未来のフレームｎ＋Ｎのピクセル（ｉ、ｊ）の値により置き換えることを意味する。
【０１７８】
図３０に示す空間間引き領域補正部６５６は、補正対象ピクセル検出部６５５の生成する補正処理適用行列Ｃｔを入力して、補正処理適用行列Ｃｔに設定された各要素値に基づいて、現在フレームにおける空間方向間引きの実行されたブロック領域に含まれる画素の画素値補正を上記のいずれかの態様に従って実行する。
【０１７９】
補正対象ピクセル検出部６５５の入力
図３７のフローにおけるステップＳ１０１における補正対象ピクセル検出部６５５に対する入力は、上記の出力、すなわち、補正処理適用行列Ｃｔを得るために必要とするデータの入力であり、フレームｎ−Ｎからフレームｎ＋２Ｎ−１までの計３Ｎフレームに施された間引き処理の種別である。すなわち、
＊空間方向間引き処理、
＊時間方向間引き処理、
＊空間方向および時間芳香間引き処理
のいずれであるかの処理態様を示す処理種別情報である。
【０１８０】
フレームｎ−Ｎ〜ｎ＋２Ｎ−１の３Ｎフレームについて、
（１）フレームｎ−Ｎ〜ｎ−１の過去Ｎフレーム、
（２）フレームｎ〜ｎ＋Ｎ−１の現在Ｎフレーム
（３）フレームｎ＋Ｎ〜ｎ＋２Ｎ−１の未来Ｎフレーム
に分類して、それぞれ、
（１）フレームｎ−Ｎからフレームｎ−１（過去）に施された処理をＰによって表し、Ｐ（ｉ、ｊ）によって、フレームｎ−Ｎからフレームｎ−１のピクセル（ｉ、ｊ）に施された処理を表す。
（２）フレームｎからフレームｎ＋Ｎ−１（現在）に施された処理をＤによって表し、Ｄ（ｉ、ｊ）によって、フレームｎからフレームｎ＋Ｎ−１のピクセル（ｉ、ｊ）に施された処理を表す。
（３）フレームｎ＋Ｎからフレームｎ＋２Ｎ−１（未来）に施された処理をＦによって表し、Ｆ（ｉ、ｊ）によって、フレームｎ＋Ｎからフレームｎ＋２Ｎ−１のピクセル（ｉ、ｊ）に施された処理を表す。
【０１８１】
図３７に示すフローチャートの各ステップの処理について説明する。まず、ステップＳ１０１において、水平方向空間間引き処理領域に対応する上記の各入力（Ｄ，Ｐ，Ｆ）を入力する。
すなわち、
現在フレームｎ〜ｎ＋Ｎ−１に対する処理：Ｄ
過去フレームｎ−Ｎ〜ｎ−１に対する処理：Ｐ
未来フレームｎ＋Ｎ〜ｎ＋２Ｎ−１に対する処理：Ｆ
を入力する。
【０１８２】
ステップＳ１０２では、フレームを示す変数ｔを０からＮ−１まで変動させる（Ｓ１０２、Ｓ１０４）。この処理によって、フレーム毎に、過去、現在、未来フレームの処理を検証して、補正すべきフレームの画素（ピクセル）、すなわち補正対象ピクセルの検出（Ｓ１０３）を行う。Ｎフレーム全てにおける処理が終了したら（Ｓ１０５）補正対象ピクセル検出部６５５の処理は終了となる。
【０１８３】
結果として、ステップＳ１０６において、最終的な出力として、Ｕ行、Ｖ列のＮ個の補正処理適用行列Ｃｔ（０≦ｔ≦Ｎ−１）を出力する。Ｕは動画像の垂直方向の画素数、Ｖは動画像の水平方向の画素数であり、
ａ．行列Ｃｔの（ｉ、ｊ）要素＝０：フレームｎ＋ｔのピクセル（ｉ、ｊ）補正不要。
ｂ．行列Ｃｔの（ｉ、ｊ）要素＝−１：フレームｎ＋ｔのピクセル（ｉ、ｊ）を過去フレームｎ−１のピクセル（ｉ、ｊ）の画素値で置き換え。
ｃ．行列Ｃｔの（ｉ、ｊ）要素＝＋１：フレームｎ＋ｔのピクセル（ｉ、ｊ）を未来フレームｎ＋Ｎのピクセル（ｉ、ｊ）の画素値で置き換え。
以上のいずれかの処理態様を示す行列を出力する。
【０１８４】
Ｓ１０３の詳細について図３８に示すフローチャートを参照して説明する。図３８に示すフローチャートは単一のフレームに対しての補正対象ピクセル検出処理の手順を示すフローチャートである。
【０１８５】
過去のＮフレーム（ｎ−Ｎ〜ｎ−１）、現在のＮフレーム（ｎ〜ｎ＋Ｎ−１）、および未来のＮフレーム（ｎ＋Ｎ〜ｎ＋２Ｎ−１）において実行された間引き処理の内容Ｐ、Ｄ、Ｆおよび現在処理中のフレーム（ｎ＋ｔ）を算出する変数（ｔ）を入力とし（Ｓ２０１）、フレームｎ＋ｔに関する補正対象ピクセル検出結果としての補正処理適用行列Ｃｔを出力する（Ｓ２０５）。
【０１８６】
図３８に示した処理では水平方向の空間方向間引き領域の補正対象領域と垂直方向空間方向間引き領域の補正対象領域の検出を独立に行う。
【０１８７】
Ｓ２０２では、水平方向の空間方向間引き処理が適用された領域のみを対象にして補正対象ピクセルの検出を行い、検出結果をＵ×Ｖ行列Ｘとして出力する。Ｘは補正処理適用行列Ｃｔと同様に−１、０、１からなる行列である。すなわち、
ａ．行列Ｘの（ｉ、ｊ）要素＝０：フレームｎ＋ｔのピクセル（ｉ、ｊ）補正不要。
ｂ．行列Ｘの（ｉ、ｊ）要素＝−１：フレームｎ＋ｔのピクセル（ｉ、ｊ）を過去フレームｎ−１のピクセル（ｉ、ｊ）の画素値で置き換え。
ｃ．行列Ｘの（ｉ、ｊ）要素＝＋１：フレームｎ＋ｔのピクセル（ｉ、ｊ）を未来フレームｎ＋Ｎのピクセル（ｉ、ｊ）の画素値で置き換え。
のそれぞれの補正態様を示す行列である。
【０１８８】
Ｓ２０３では垂直方向の空間方向間引き処理が適用された領域のみを対象にして補正対象ピクセルの検出を行い、検出結果をＵ×Ｖ行列Ｙとして出力する。Ｙは補正処理適用行列Ｃｔと同様に−１、０、１からなる行列である。すなわち、
ａ．行列Ｙの（ｉ、ｊ）要素＝０：フレームｎ＋ｔのピクセル（ｉ、ｊ）補正不要。
ｂ．行列Ｙの（ｉ、ｊ）要素＝−１：フレームｎ＋ｔのピクセル（ｉ、ｊ）を過去フレームｎ−１のピクセル（ｉ、ｊ）の画素値で置き換え。
ｃ．行列Ｙの（ｉ、ｊ）要素＝＋１：フレームｎ＋ｔのピクセル（ｉ、ｊ）を未来フレームｎ＋Ｎのピクセル（ｉ、ｊ）の画素値で置き換え。
のそれぞれの補正態様を示す行列である。
【０１８９】
Ｓ２０４で行列Ｘと行列Ｙを加算した結果を行列Ｃｔとする。すなわち、
行列Ｃｔ＝Ｘ＋Ｙ
である。
なお、行列Ｘで［−１］もしくは［＋１］である要素に対応する行列Ｙの要素は、必ず［０］であり、行列Ｙで［−１］もしくは［＋１］である要素に対応する行列Ｘの要素は、必ず［０］であるので、補正処理適用行列Ｃｔは、［−１］、［０］、［＋１］からのみ構成される行列となる。
【０１９０】
次に、図３９に示すフローを参照して、図３８のＳ２０２の処理、すなわち、水平方向の空間方向間引き処理が適用された領域のみを対象にして補正対象ピクセルの検出を行い、検出結果を−１、０、１からなるＵ×Ｖ行列Ｘとして出力する処理の詳細を説明する。
【０１９１】
ステップＳ３０１は、
過去のＮフレーム（ｎ−Ｎ〜ｎ−１）、
現在のＮフレーム（ｎ〜ｎ＋Ｎ−１）、
未来のＮフレーム（ｎ＋Ｎ〜ｎ＋２Ｎ−１）、
これら３Ｎフレームにおいて実行された間引き処理の内容Ｐ、Ｄ、Ｆ、および、
現在処理中のフレーム（ｎ＋ｔ）を算出する変数（ｔ）を入力とする。
【０１９２】
ステップＳ３０２、ステップＳ３０３は、行列Ｘの初期設定処理である。この処理において、行列Ｘの各要素Ｘ（ｉ，ｊ）には［−１］、［０］、［＋１］のいずれかの値が設定される。行列Ｘで０以外の値が設定された要素の位置は、補正対象ピクセルの候補となる。
【０１９３】
ステップＳ３０２では、現在のＮフレーム（ｎ〜ｎ＋Ｎ−１）のピクセル（ｉ，ｊ）が水平方向の空間間引きであり、過去のＮフレーム（ｎ−Ｎ〜ｎ−１）における対応ピクセル（ｉ，ｊ）が時間間引きであるピクセル（ｉ，ｊ）に対応する行列Ｘの要素Ｘ（ｉ，ｊ）を［−１］に設定する。それ以外の行列Ｘの要素Ｘ（ｉ，ｊ）に関しては［０］とする。
【０１９４】
続いて、ステップＳ３０３において、現在のＮフレーム（ｎ〜ｎ＋Ｎ−１）のピクセル（ｉ，ｊ）が水平方向の空間間引きであり、未来のＮフレーム（ｎ＋Ｎ〜ｎ＋２Ｎ−１）における対応ピクセル（ｉ，ｊ）が時間間引きであるようなすべてのピクセル（ｉ，ｊ）に関して行列Ｘの要素Ｘ（ｉ，ｊ）を［＋１］に設定する。
【０１９５】
これらの処理によって、ピクセル（ｉ，ｊ）を含む２次元フレームと過去、現在、未来の時間軸方向とからなる３次元ブロックに対する間引き処理の種別に関して，
現在が空間間引きで、過去が時間間引きであれば［−１］、
現在が空間間引きで、未来が時間間引きであれば［＋１］、
その他の場合は［０］、
の設定された初期設定行列Ｘが生成される。
【０１９６】
これら、ステップＳ３０２、Ｓ３０３の処理によって現在のＮフレーム（ｎ〜ｎ＋Ｎ−１）が水平方向の空間方向間引きであり、その前後、すなわち過去または未来どちらかの時間における処理が時間間引きであるような領域が抽出可能な行列Ｘが生成される。
具体的には、
（１）過去Ｎフレーム＝時間方向間引き、かつ現在Ｎフレーム＝空間方向間引き
（２）現在Ｎフレーム＝空間方向間引き、かつ未来Ｎフレーム＝時間方向間引き
これら２つのいずれかのパターンに対応する領域を抽出可能な行列Ｘを生成する。
【０１９７】
次にこのように設定された初期設定行列Ｘに基づいて、実際に補正の必要なピクセルを選択可能な行列Ｘに変更する処理をステップＳ３０４〜Ｓ３０７において実行する。初期設定行列Ｘの最も上の行から開始し（Ｓ３０４）、Ｘの各行において補正対象ピクセルの検出を行う（Ｓ３０５）。全ての行に関してＳ３０５が終了したら図３９のフローチャートは終了する（Ｓ３０７）。
【０１９８】
図３９に示すフローにおける処理の具体的処理例について、図４０を参照して説明する。図４０は、Ｎ＝４とした場合の過去フレーム（ｎ−４〜ｎ−１）と、現在フレーム（ｎ〜ｎ＋３）の間引き処理態様を示している。過去フレーム（ｎ−４〜ｎ−１）において時間方向間引きデータ８０１と、空間方向間引きデータ８０２が隣接して存在し、現在フレーム（ｎ〜ｎ＋３）においても時間方向間引きデータ８１１と、空間方向間引きデータ８１２が隣接して存在する。
【０１９９】
図３９に示すフローにおけるステップＳ３０２、Ｓ３０３では、例えば、図４０に示すデータ領域８２１の区別可能な初期設定行列Ｘを生成する。この領域Ｘは、上述の領域、すなわち、
（１）過去Ｎフレーム＝時間方向間引き、かつ現在Ｎフレーム＝空間方向間引き
この領域に対応し、行列Ｘにおいてこの領域に含まれるピクセル（ｉ，ｊ）に対応する要素Ｘ（ｉ，ｊ）の値は［−１］として設定される。
【０２００】
しかし、実際に補正処理を実行するのは、図４０に示すデータ領域８２３である。このデータ領域８２３に含まれるピクセル（ｉ，ｊ）のみに対応する行列Ｘの要素Ｘ（ｉ，ｊ）を［−１］として設定し、その他、データ領域８２３に含まれないピクセル（ｉ，ｊ）に対応する行列Ｘの要素Ｘ（ｉ，ｊ）を［０］として設定しなおす必要がある。この処理をステップＳ３０４〜Ｓ３０７において実行している。具体的には、ステップＳ３０５において、行列Ｘの要素Ｘ（ｉ，ｊ）の値の最終的な決定処理を実行している。
【０２０１】
なお、図３９に示す処理は水平方向の空間方向間引き領域のみを対象とした処理であるが、垂直方向の空間間引き領域を対象とした処理、すなわち図３８のステップＳ２０３の処理も図３９のフローと同様の処理として実行されるので、Ｓ２０３の詳細についての説明は割愛する。
【０２０２】
ステップＳ３０５の水平ラインスキャン処理、すなわち、行列Ｘの要素Ｘ（ｉ，ｊ）の値の最終的な決定処理の詳細シーケンスについて、図４１のフローチャートを参照して説明する。
【０２０３】
図４１のフローチャートに示す処理においては、現在のＮフレーム（ｎ〜ｎ＋Ｎ−１）に対する間引き処理内容Ｄを参照し、フレームｎ＋ｔの第ｊ行の各ピクセルに関して補正処理の必要性の有無を決定し、補正の要否および態様を示す要素値｛−１，０，＋１｝を持つ行列Ｘを出力する。
【０２０４】
入力は、
現在が空間間引きで、過去が時間間引きであれば［−１］、
現在が空間間引きで、未来が時間間引きであれば［＋１］、
その他の場合は［０］、
の設定された初期設定行列Ｘである。
【０２０５】
初期設定行列Ｘは、要素（ｉ，ｊ）からなり、スキャンラインは、ｊを固定として、ｉ＝０〜Ｕの範囲で之処理として実行される。ステップＳ４０２，Ｓ４０３は、ｉの設定をｉ＝０とする処理である。すなわち、ｊ行の一番左から処理を開始し、ｉ＝０〜Ｕまで、すなわちピクセル（０，ｊ）〜（Ｕ，ｊ）に対応する初期設定行列Ｘの要素Ｘ（０，ｊ）〜Ｘ（Ｕ，ｊ）の設定処理を行なう。
【０２０６】
ステップＳ４０３は、ｉ＜Ｕであるか否かを判定し、ｉ＜Ｕでない、すなわち、ｉ＝Ｕとなった場合は、処理を終了し、次のスキャンラインの処理に移行することになる。ｉ＜Ｕである場合は、ステップＳ４０５に進む。ステップＳ４０５は、初期設定行列Ｘの要素Ｘ（ｉ，ｊ）＝０であるか否かを判定する処理である。
【０２０７】
Ｘ（ｉ，ｊ）＝０である場合は、
（１）過去Ｎフレーム＝時間方向間引き、かつ現在Ｎフレーム＝空間方向間引き
（２）現在Ｎフレーム＝空間方向間引き、かつ未来Ｎフレーム＝時間方向間引き
これら２つのいずれのパターンにも属さないピクセルであり、補正対象外であることが明らかなピクセルであり、ステップＳ４０３に戻り、ｉの値を更新し、次のピクセルに処理対象を移動する。
【０２０８】
ステップＳ４０５の判定処理において、
Ｘ（ｉ，ｊ）＝０でないと判定された場合は、Ｘ（ｉ，ｊ）＝−１ｏｒ＋１であり、
（１）過去Ｎフレーム＝時間方向間引き、かつ現在Ｎフレーム＝空間方向間引き
（２）現在Ｎフレーム＝空間方向間引き、かつ未来Ｎフレーム＝時間方向間引き
これらいずれかに対応する。
【０２０９】
この場合、ステップＳ４０６に進み、まず、
（１）過去Ｎフレーム＝時間方向間引き、かつ現在Ｎフレーム＝空間方向間引き
または、
（２）現在Ｎフレーム＝空間方向間引き、かつ未来Ｎフレーム＝時間方向間引き
のデータ長（ピクセル数）に相当する値：Ｌを０に設定する。
【０２１０】
次に、ステップＳ４０７において、
行列Ｘの要素Ｘ（ｉ，ｊ）＝１か否かを判定する。
行列Ｘの要素Ｘ（ｉ，ｊ）＝１であるとは、すなわち、
現在が空間間引きで、未来が時間間引きである場合であることを意味する。
前述したように、初期設定行列Ｘは、
現在が空間間引きで、未来が時間間引きであれば［＋１］
現在が空間間引きで、過去が時間間引きであれば［−１］、
その他の場合は［０］、
の値が設定されている。
【０２１１】
ステップＳ４０７においてＹｅｓとなる場合と、Ｎｏとなる場合の具体的な画像データ処理構成について、図４２〜図４５を参照して説明する。
【０２１２】
ステップＳ４０７においてＹｅｓとなる場合、すなわち、上述したように、
行列Ｘの要素Ｘ（ｉ，ｊ）＝１である場合は、現在が空間間引きで、未来が時間間引きである場合であることを意味する。このデータ例を、図４２、図４３に示す。図４２、図４３は、Ｎ＝４とした場合の現在フレーム（ｎ〜ｎ＋３）と、未来フレーム（ｎ＋４〜ｎ＋７）の間引き処理態様を示している。すなわち、Ｎ＝４とした場合の現在フレーム（ｎ〜ｎ＋３）と、未来フレーム（ｎ＋４〜ｎ＋７）における、ある１つのスキャンラインにおける時間経過に伴う変化を示している。
【０２１３】
斜線部が時間方向間引き処理データ領域であり、白領域が、空間方向間引き処理データである。ステップＳ４０７においてＹｅｓとなる場合は、現在が空間間引きで、未来が時間間引きである領域であり、図４２、図４３に示す区間Ｌの領域に相当する。
【０２１４】
ステップＳ４０７においてＮｏとなる場合は、行列Ｘの要素Ｘ（ｉ，ｊ）＝−１である場合であり、現在が空間間引きで、過去が時間間引きである場合であることを意味する。このデータ例を、図４４、図４５に示す。図４４、図４５は、Ｎ＝４とした場合の過去フレーム（ｎ−４〜ｎ−１）と、現在フレーム（ｎ〜ｎ＋３）の間引き処理態様を示している。すなわち、Ｎ＝４とした場合の現在フレーム（ｎ〜ｎ＋３）と、過去フレーム（ｎ−４〜ｎ−１）における、ある１つのスキャンラインにおける時間経過に伴う変化を示している。
【０２１５】
斜線部が時間方向間引き処理データ領域であり、白領域が、空間方向間引き処理データである。ステップＳ４０７においてＮｏとなる場合は、現在が空間間引きで、過去が時間間引きである領域であり、図４４、図４５に示す区間Ｌの領域に相当する。
【０２１６】
ステップＳ４０７において、Ｙｅｓの判定がなされると、ステップＳ４０８に進み、
Ｌ←Ｌ＋１
ｉ←ｉ＋１
のＬおよびｉの値の更新処理を実行し、ステップＳ４１０において、
行列Ｘの要素Ｘ（ｉ，ｊ）＝１
であるか否かを判定する。
【０２１７】
Ｘ（ｉ，ｊ）≠１
となるまで、ステップＳ４０８，Ｓ４１０を繰り返す。ステップＳ４１０において、Ｘ（ｉ，ｊ）≠１となった場合に、ステップＳ４１２において、ｉが、
ｉ＜Ｕ
である場合に、ステップＳ４１４において、
現在フレームの処理態様Ｄ＝時間方向間引き
であるか否かを判定する。
【０２１８】
ステップＳ４１４において、
現在フレームの処理態様Ｄ＝時間方向間引き
であると判定した場合は、ステップＳ４１６に進み、
Ｓ←ｉ−Ｌ
Ｅ←ｉ−ｔＬ／Ｎ−１
の設定を行う。
Ｓは、初期設定行列Ｘの要素Ｘ（ｉ，Ｊ）の値［＋１］を［０］にすべき領域の開始画素位置であり、Ｅは終了画素位置である。
【０２１９】
図４２を参照してＳ，Ｅの対応について説明する。処理対象データである現在フレームにおいて、初期設定行列Ｘの要素Ｘ（ｉ，ｊ）の値＝１と設定されるピクセル位置は、図に示す区間Ｌに対応する領域である。ここから、実際に補正すべき画素位置を残し、その他の部分に対応する行列Ｘの要素Ｘ（ｉ，ｊ）の値＝０とすることが必要である。
【０２２０】
この区間は、図４２に示すように、現在フレーム中のＮ個のフレームｎ〜ｎ＋３によって異なっている。なお、各フレームはｎ＋ｔによって示される。各フレームｎ＋ｔ（Ｎ＝４の場合ｔ＝０〜３）において、補正の不要な部分は、図に示すように、Ｓ〜Ｅの区間である。
【０２２１】
図４２の例では、
フレームｎ＋０の場合、Ｓ〜Ｅ（ｎ）
フレームｎ＋１の場合、Ｓ〜Ｅ（ｎ＋１）
フレームｎ＋２の場合、Ｓ〜Ｅ（ｎ＋２）
フレームｎ＋３の場合、Ｓ〜Ｅ（ｎ＋３）
となる。
このＳ〜Ｅ区間を算出し設定する処理を行なっているのが、ステップＳ４１６の処理である。
【０２２２】
ステップＳ４１６は、ステップＳ４１４の判定、すなわち、
現在フレームの処理態様Ｄ＝時間方向間引き
であると判定した場合の処理である。これは、区間Ｌの右側隣接部が時間方向間引きである場合であり、図４２に示すデータ部８５１の処理態様を判定するものであり、図４２に示すデータ例の場合、ステップＳ４１４の判定、すなわち、
現在フレームの処理態様Ｄ＝時間方向間引き
がＹｅｓとして判定され、
ステップＳ４１６の処理が実行されて、上述したＳ〜Ｅ区間、すなわち、行列Ｘの要素Ｘ（ｉ，ｊ）の値を［＋１］から［０］に変更すべき区間が決定される。
【０２２３】
次に、ステップＳ４２０に進み、Ｘ（ｉ，ｊ）中、
Ｓ〜Ｅ区間の値に相当するｉの値をｋとして、
初期設定行列Ｘの要素Ｘ（ｋ，ｊ）の設定値を［０］に変更する。
この処理によって、図４２に示す区間Ｓ〜Ｅに相当する行列Ｘの要素Ｘ（ｉ，ｊ）の値は［０］に変更され、補正の不要な領域として設定され、図４２に示す領域８５２に対応する行列の要素Ｘ（ｉ，ｊ）のみが［＋１］のままとして設定されることになる。
【０２２４】
ステップＳ４１４の判定がＮｏ、すなわち、
現在フレームの処理態様Ｄ＝時間方向間引き
でないと判定した場合のデータ構成は、図４３に示す構成に対応する。これは、区間Ｌの右側隣接部、すなわち、図４３に示すデータ部８６１の処理態様が、空間方向間引きである場合である。この場合、
ステップＳ４１７の処理、すなわち、
Ｓ←ｉ−Ｌ＋ｔＬ／Ｎ
Ｅ←ｉ−１
の設定を行う。
すなわち、上述したと同様のＳ〜Ｅ区間、すなわち、行列Ｘの要素Ｘ（ｉ，ｊ）の値を［＋１］から［０］に変更すべき区間が決定される。
【０２２５】
図４３に示すように、
フレームｎ＋０の場合、Ｓ（ｎ）〜Ｅ
フレームｎ＋１の場合、Ｓ（ｎ＋１）〜Ｅ
フレームｎ＋２の場合、Ｓ（ｎ＋２）〜Ｅ
フレームｎ＋３の場合、Ｓ（ｎ＋３）〜Ｅ
となる。
このＳ〜Ｅ区間を算出し設定する処理を行なっているのが、ステップＳ４１７の処理である。
【０２２６】
次に、ステップＳ４２０に進み、Ｘ（ｉ，ｊ）中、
Ｓ〜Ｅ区間の値に相当するｉの値をｋとして、
初期設定行列Ｘの要素Ｘ（ｋ，ｊ）の設定値を［０］に変更する。
この処理によって、図４３に示す区間Ｓ〜Ｅに相当する行列Ｘの要素Ｘ（ｉ，ｊ）の値は［０］に変更され、補正の不要な領域として設定され、図４３に示す領域８６２に対応する行列の要素Ｘ（ｉ，ｊ）のみが［＋１］のままとして設定されることになる。
【０２２７】
また、ステップＳ４０７において、Ｎｏとなる場合は、現在が空間間引きで、過去が時間間引きである場合であり、図４４、図４５に示す区間Ｌの領域に相当する。
【０２２８】
ステップＳ４０７において、Ｎｏの判定がなされると、ステップＳ４０９に進み、
Ｌ←Ｌ＋１
ｉ←ｉ＋１
のＬおよびｉの値の更新処理を実行し、ステップＳ４１１において、
行列Ｘの要素Ｘ（ｉ，ｊ）＝−１
であるか否かを判定する。
【０２２９】
Ｘ（ｉ，ｊ）≠−１
となるまで、ステップＳ４０９，Ｓ４１１を繰り返す。ステップＳ４１１において、Ｘ（ｉ，ｊ）≠−１となった場合に、ステップＳ４１３において、ｉが、
ｉ＜Ｕ
である場合に、ステップＳ４１５において、
現在フレームの処理態様Ｄ＝時間方向間引き
であるか否かを判定する。
【０２３０】
ステップＳ４１５において、
現在フレームの処理態様Ｄ＝時間方向間引き
であると判定した場合は、ステップＳ４１８に進み、
Ｓ←ｉ−Ｌ
Ｅ←ｉ−Ｌ＋Ｌ（ｔ＋１）／Ｎ−１
の設定を行う。
Ｓは、初期設定行列Ｘの要素Ｘ（ｉ，Ｊ）の値［−１］を［０］にすべき領域の開始画素位置であり、Ｅは終了画素位置である。
【０２３１】
図４４を参照してＳ，Ｅの対応について説明する。処理対象データである現在フレームにおいて、初期設定行列Ｘの要素Ｘ（ｉ，ｊ）の値＝−１と設定されるピクセル位置は、図に示す区間Ｌに対応する領域である。ここから、実際に補正すべき画素位置を残し、その他の部分に対応する行列Ｘの要素Ｘ（ｉ，ｊ）の値＝０とすることが必要である。
【０２３２】
この区間は、図４４に示すように、現在フレーム中のＮ個のフレームｎ〜ｎ＋３によって異なっている。なお、各フレームはｎ＋ｔによって示される。各フレームｎ＋ｔ（Ｎ＝４の場合ｔ＝０〜３）において、補正の不要な部分は、図に示すように、Ｓ〜Ｅの区間である。
【０２３３】
図４４の例では、
フレームｎ＋０の場合、Ｓ〜Ｅ（ｎ）
フレームｎ＋１の場合、Ｓ〜Ｅ（ｎ＋１）
フレームｎ＋２の場合、Ｓ〜Ｅ（ｎ＋２）
フレームｎ＋３の場合、Ｓ〜Ｅ（ｎ＋３）
となる。
このＳ〜Ｅ区間を算出し設定する処理を行なっているのが、ステップＳ４１８の処理である。
【０２３４】
ステップＳ４１８は、ステップＳ４１５の判定、すなわち、
現在フレームの処理態様Ｄ＝時間方向間引き
であると判定した場合の処理である。これは、区間Ｌの右側隣接部が時間方向間引きである場合であり、図４４に示すデータ部８７１の処理態様を判定するものであり、図４４に示すデータ例の場合、ステップＳ４１５の判定、すなわち、
現在フレームの処理態様Ｄ＝時間方向間引き
がＹｅｓとして判定され、
ステップＳ４１８の処理が実行されて、上述したＳ〜Ｅ区間、すなわち、行列Ｘの要素Ｘ（ｉ，ｊ）の値を［−１］から［０］に変更すべき区間が決定される。
【０２３５】
次に、ステップＳ４２０に進み、Ｘ（ｉ，ｊ）中、
Ｓ〜Ｅ区間の値に相当するｉの値をｋとして、
初期設定行列Ｘの要素Ｘ（ｋ，ｊ）の設定値を［０］に変更する。
この処理によって、図４４に示す区間Ｓ〜Ｅに相当する行列Ｘの要素Ｘ（ｉ，ｊ）の値は［０］に変更され、補正の不要な領域として設定され、図４４に示す領域８７２に対応する行列の要素Ｘ（ｉ，ｊ）のみが［−１］のままとして設定されることになる。
【０２３６】
ステップＳ４１５の判定がＮｏ、すなわち、
現在フレームの処理態様Ｄ＝時間方向間引き
でないと判定した場合のデータ構成は、図４５に示す構成に対応する。これは、区間Ｌの右側隣接部、すなわち、図４５に示すデータ部８８１の処理態様が、空間方向間引きである場合である。この場合、
ステップＳ４１９の処理、すなわち、
Ｓ←ｉ−Ｌ（ｔ＋１）／Ｎ
Ｅ←ｉ−１
の設定を行う。
すなわち、上述したと同様のＳ〜Ｅ区間、すなわち、行列Ｘの要素Ｘ（ｉ，ｊ）の値を［−１］から［０］に変更すべき区間が決定される。
【０２３７】
図４５に示すように、
フレームｎ＋０の場合、Ｓ（ｎ）〜Ｅ
フレームｎ＋１の場合、Ｓ（ｎ＋１）〜Ｅ
フレームｎ＋２の場合、Ｓ（ｎ＋２）〜Ｅ
フレームｎ＋３の場合、Ｓ（ｎ＋３）〜Ｅ
となる。
このＳ〜Ｅ区間を算出し設定する処理を行なっているのが、ステップＳ４１９の処理である。
【０２３８】
次に、ステップＳ４２０に進み、Ｘ（ｉ，ｊ）中、
Ｓ〜Ｅ区間の値に相当するｉの値をｋとして、
初期設定行列Ｘの要素Ｘ（ｋ，ｊ）の設定値を［０］に変更する。
この処理によって、図４５に示す区間Ｓ〜Ｅに相当する行列Ｘの要素Ｘ（ｉ，ｊ）の値は［０］に変更され、補正の不要な領域として設定され、図４５に示す領域８８２に対応する行列の要素Ｘ（ｉ，ｊ）のみが［−１］のままとして設定されることになる。
【０２３９】
この図４１に示すフローチャートの処理によって、
図３９の処理ステップＳ３０２、Ｓ３０３において設定された初期設定行列Ｘ、すなわち、
現在フレームが空間間引きで、過去フレームが時間間引きであれば［−１］、
現在フレームが空間間引きで、未来フレームが時間間引きであれば［＋１］、
その他の場合は［０］、
の各値の設定された初期設定行列Ｘについて、
補正の不要な区間Ｓ〜Ｅが判別されて、区間Ｓ〜Ｅについては、補正不要を示す値［０］に変更した行列Ｘが生成されることになる。
【０２４０】
図３９、図４１を参照して説明した処理は、水平方向の空間方向間引き領域の補正対象領域についての処理であり、図３８に示す処理フローにおけるステップＳ２０２の処理に対応する。垂直方向空間方向間引き領域の補正対象領域についても、同様の処理が実行されて行列Ｙが生成される。
【０２４１】
このようにして、水平方向の空間方向間引き領域の補正対象領域および補正態様を示す行列Ｘと、垂直方向空間方向間引き領域の補正対象領域および補正態様を示す行列Ｙが生成され、図３８に示すステップＳ２０４において、補正処理適用行列Ｃｔを、
Ｃｔ←Ｘ＋Ｙ
として生成する。
【０２４２】
この補正処理適用行列Ｃｔがフレームｎ＋ｔに対応する画素（ピクセル）の補正領域および補正態様示す行列として設定される。補正処理適用行列Ｃｔは、０，−１，＋１のいずれかの要素値を持ち、各要素値は、以下の処理を実行する画素であることを示している。
ａ．行列Ｃｔの（ｉ、ｊ）要素＝０：フレームｎ＋ｔのピクセル（ｉ、ｊ）補正不要。
ｂ．行列Ｃｔの（ｉ、ｊ）要素＝−１：フレームｎ＋ｔのピクセル（ｉ、ｊ）を過去フレームｎ−１のピクセル（ｉ、ｊ）の画素値で置き換え。
ｃ．行列Ｃｔの（ｉ、ｊ）要素＝＋１：フレームｎ＋ｔのピクセル（ｉ、ｊ）を未来フレームｎ＋Ｎのピクセル（ｉ、ｊ）の画素値で置き換え。
【０２４３】
図３０に示す合成部６５０の補正対象ピクセル検出部６５５が、図３７以下の処理フローを説明した処理を実行して各フレームｎ＋ｔに対応する行列Ｃｔを生成し、空間間引き領域補正部６５６に出力する。
【０２４４】
空間間引き領域補正部６５６は、画像データメモリから補正対象フレーム（ｎ＋ｔ）を取得し、補正処理適用行列Ｃｔを参照して、補正の必要な画素（ピクセル）位置と、補正態様、すなわち過去フレームを参照するか、未来フレームを参照するかを決定し、決定した態様に従って、画素値補正を実行する。補正対象画素は、
（１）過去Ｎフレーム＝時間方向間引き、かつ現在Ｎフレーム＝空間方向間引き
または、
（２）現在Ｎフレーム＝空間方向間引き、かつ未来Ｎフレーム＝時間方向間引き
のデータ領域であり、かつ、上述したＳ〜Ｅ区間を除く区間にある画素となる。
【０２４５】
以上の画素値補正処理により、間引き処理単位フレーム数：Ｎフレーム間で移動量が大きく変化する領域において空間方向間引きを優先的に施した場合に発生する可能性のある画質劣化の低減が可能となる。
【０２４６】
なお、上述の実施例では、画像の復元処理を実行する復元部において、補正対象領域画素を検出する処理を実行する構成例を説明したが、間引き処理を実行して圧縮画像データを生成する画像変換装置側で、上述と同様の処理を実行して、補正対象とすべき領域の画素位置情報を取得する構成としてもよい。この画素位置情報を間引き処理を実行した圧縮画像データの属性情報として設定し、復元処理を実行する装置に提供する構成とすれば、復元処理を実行する装置は、上述の補正対象画素領域の検出を行なうことなく、属性情報から補正対象とすべき領域の画素位置情報を取得して補正処理を行なうことが可能となる。
【０２４７】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２４８】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０２４９】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０２５０】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２５１】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２５２】
以上、説明したように、本発明の構成によれば、画像の各領域の特徴、特に被写体の動きに対応した最適な圧縮処理態様を決定し、決定した態様にしたがって領域ごとに最適な態様でデータ変換処理を行う構成とすることで品質劣化のきわめて少ない圧縮および復元が可能となる。本発明の構成においては、動画像データを構成するブロックにおける被写体の最大移動量を検出し、検出した最大移動量に基づいて、空間方向間引き処理、または、時間方向間引き処理、または空間方向および時間方向間引き処理を選択的に実行する。本構成により、超解像効果を発生させた画質劣化を抑制したデータ変換が実現される。
【０２５３】
特に、フレーム間で移動量が大きく変化する画像データの場合にも、本発明の動画像変換装置は、間引き処理単位フレーム数Ｎの各ブロックに含まれる最大の移動量を検出して、空間方向間引きを優先的に施す構成としたので、間引きによる画質劣化を最小限に抑えることができる。さらに、本発明の動画像復元装置によれば、空間方向間引きを優先的に施すことによる画質劣化を、画素値補正によって低減し、高画質データを復元することが可能となる。
【図面の簡単な説明】
【０２５４】
【図１】超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成を示す図である。
【図２】超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成の詳細を示す図である。
【図３】動画像変換装置におけるブロック処理部の処理について説明する図である。
【図４】動画像変換装置におけるブロック処理部の処理について説明する図である。
【図５】動画像変換装置におけるブロック処理部の処理について説明する図である。
【図６】動画像変換装置におけるブロック処理部の処理について説明する図である。
【図７】動画像変換装置におけるブロック処理部の処理について説明する図である。
【図８】動画像変換装置におけるブロック処理部の処理について説明する図である。
【図９】動画像変換装置におけるブロック処理部の処理について説明する図である。
【図１０】動画像変換装置におけるブロック処理部の処理について説明する図である。
【図１１】動画像変換装置におけるブロック処理部の処理について説明する図である。
【図１２】動画像変換装置におけるブロック処理部の処理について説明する図である。
【図１３】間引き処理により生成された圧縮データの復元を実行する復元部の構成を示すブロック図である。
【図１４】復元部におけるブロック拡張部の処理について説明する図である。
【図１５】復元部におけるブロック拡張部の処理について説明する図である。
【図１６】復元部におけるブロック拡張部の処理について説明する図である。
【図１７】復元部におけるブロック拡張部の処理について説明する図である。
【図１８】復元部におけるブロック拡張部の処理について説明する図である。
【図１９】復元部におけるブロック拡張部の処理について説明する図である。
【図２０】復元部におけるブロック拡張部の処理について説明する図である。
【図２１】間引き処理単位フレーム数Ｎ＝４とした場合の、動領域と静止領域の境界における移動量の変動の様子を示す図である。
【図２２】本発明の超解像効果を利用したデータ変換を実行する画像変換装置の構成例について説明する図である。
【図２３】超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成の詳細を示す図である。
【図２４】動画像変換装置における最大移動量検出部の構成および処理について説明する図である。
【図２５】間引き処理単位フレーム数をＮとした場合、Ｎフレーム全てに時間間引きを適用する場合と、全てに対して空間間引きを適用する場合のいずれの状況においてより画質劣化が顕著であるのかを説明する図である。
【図２６】間引き処理単位フレーム数をＮとした場合、Ｎフレーム全てに時間間引きを適用する場合と、全てに対して空間間引きを適用する場合のいずれの状況においてより画質劣化が顕著であるのかを説明する図である。
【図２７】間引き処理単位フレーム数をＮとした場合、Ｎフレーム全てに時間間引きを適用する場合と、全てに対して空間間引きを適用する場合のいずれの状況においてより画質劣化が顕著であるのかを説明する図である。
【図２８】間引き処理単位フレーム数をＮとした場合、Ｎフレーム全てに時間間引きを適用する場合と、全てに対して空間間引きを適用する場合のいずれの状況においてより画質劣化が顕著であるのかを説明する図である。
【図２９】復元部の構成例について説明するブロック図である。
【図３０】復元部を構成する合成部の詳細構成について示すブロック図である。
【図３１】合成部において実行する画素値補正処理の態様について説明する図である。
【図３２】合成部において実行する画素値補正処理の態様について説明する図である。
【図３３】Ｎ＝４としてフレームｎ−４からｎ＋３までの各フレームのある行の一部において施された間引きの種別を表す図である。
【図３４】合成部において実行する画素値補正処理の具体例について説明する図である。
【図３５】未来フレームの画素を用いて現在フレームの画素の画素値補正を行なう場合の処理例を説明する図である。
【図３６】未来フレームの画素を用いて現在フレームの画素の画素値補正を行なう場合の処理例を説明する図である。
【図３７】合成部の補正対象ピクセル検出部の実行する処理シーケンスを説明するフローチャートを示す図である。
【図３８】合成部の補正対象ピクセル検出部の実行する処理シーケンスを説明するフローチャートを示す図である。
【図３９】合成部の補正対象ピクセル検出部の実行する処理シーケンスであり、水平方向空間間引き処理領域の補正対象ピクセル検出処理を説明するフローチャートを示す図である。
【図４０】水平方向空間間引き処理領域の補正対象ピクセル検出処理の具体例について説明する図である。
【図４１】合成部の補正対象ピクセル検出部の実行する処理シーケンスであり、水平方向空間間引き処理領域の補正対象ピクセル検出処理における補正対象外画素領域Ｓ〜Ｅを検出する処理を説明するフローチャートを示す図である。
【図４２】水平方向空間間引き処理領域の補正対象ピクセル検出処理における補正対象外画素領域Ｓ〜Ｅを検出する処理の具体例を説明する図である。
【図４３】水平方向空間間引き処理領域の補正対象ピクセル検出処理における補正対象外画素領域Ｓ〜Ｅを検出する処理の具体例を説明する図である。
【図４４】水平方向空間間引き処理領域の補正対象ピクセル検出処理における補正対象外画素領域Ｓ〜Ｅを検出する処理の具体例を説明する図である。
【図４５】水平方向空間間引き処理領域の補正対象ピクセル検出処理における補正対象外画素領域Ｓ〜Ｅを検出する処理の具体例を説明する図である。
【符号の説明】
【０２５５】
１０  画像変換装置
１１  ブロック分割部
１２  移動量検出部
１３  ブロック処理部
１４  出力部
１５  復元部
２１  画像蓄積部
２２  ブロック分割部
３１  移動量検出部
３２  ブロック分配部
５１〜５３  ブロック処理部
６１  ブロック分配部
６２〜６４  ブロック拡張部
６５  合成部
７１  ブロック
８０〜８３  ブロック
９０，９２  フレーム
９１，９３  ピクセル
９４，９６  フレーム
９５，９７  ピクセル
１００  画像変換装置
１１０  ブロック分割部
１２０  移動量検出部
１３０  ブロック処理部
１４０  出力部
１５０  復元部
１１１  画像蓄積部
１１２  ブロック分割部
１２１  最大移動量検出部
１２２  ブロック分配部
１３１〜１３３  ブロック処理部
１４０  出力部
２１０〜２１３  ブロックマッチング部
２２０  メモリ
２３０  セレクタ
６１０  分配部
６２０〜６４０  ブロック拡張部
６５０  合成部
６５１  合成部
６５２  画像データメモリ
６５４  間引き情報メモリ
６５５  補正対象ピクセル検出部
６５６  空間間引き領域補正部
【図１】
2006310920.tif 000005
【図２】
2006310920.tif 000006
【図３】
2006310920.tif 000007
【図４】
2006310920.tif 000008
【図５】
2006310920.tif 000009
【図６】
2006310920.tif 000010
【図７】
2006310920.tif 000011
【図８】
2006310920.tif 000012
【図９】
2006310920.tif 000013
【図１０】
2006310920.tif 000014
【図１１】
2006310920.tif 000015
【図１２】
2006310920.tif 000016
【図１３】
2006310920.tif 000017
【図１４】
2006310920.tif 000018
【図１５】
2006310920.tif 000019
【図１６】
2006310920.tif 000020
【図１７】
2006310920.tif 000021
【図１８】
2006310920.tif 000022
【図１９】
2006310920.tif 000023
【図２０】
2006310920.tif 000024
【図２１】
2006310920.tif 000025
【図２２】
2006310920.tif 000026
【図２３】
2006310920.tif 000027
【図２４】
2006310920.tif 000028
【図２５】
2006310920.tif 000029
【図２６】
2006310920.tif 000030
【図２７】
2006310920.tif 000031
【図２８】
2006310920.tif 000032
【図２９】
2006310920.tif 000033
【図３０】
2006310920.tif 000034
【図３１】
2006310920.tif 000035
【図３２】
2006310920.tif 000036
【図３３】
2006310920.tif 000037
【図３４】
2006310920.tif 000038
【図３５】
2006310920.tif 000039
【図３６】
2006310920.tif 000040
【図３７】
2006310920.tif 000041
【図３８】
2006310920.tif 000042
【図３９】
2006310920.tif 000043
【図４０】
2006310920.tif 000044
【図４１】
2006310920.tif 000045
【図４２】
2006310920.tif 000046
【図４３】
2006310920.tif 000047
【図４４】
2006310920.tif 000048
【図４５】
2006310920.tif 000049