【手続補正書】
【提出日】平成22年3月18日(2010.3.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレームを１個以上のブロックに分割するブロック分割部と、
前記ブロック分割部において分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出する移動量検出部と、
前記移動量検出部の検出したブロック移動量を入力し、ブロックに対する処理パラメータとして、ダウンサンプリング（画素間引き）処理におけるサンプリング位相変化レート（ΔＰ）を決定する制御部と、
前記ブロック分割部において分割された各ブロックを入力し、超解像効果の発生条件として決定される阻止対象高調波成分次数（Ｋ）に基づいて算出される阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去するプレフィルタ部と、
前記プレフィルタ部において高域周波数成分が除去されたブロックを入力し、前記サンプリング位相変化レート（ΔＰ）に従って入力ブロックのダウンサンプリング（画素数間引き）処理を実行し、各ブロックの構成画素数を１／Ｍ（Ｍ≧２、整数）倍に削減するダウンサンプリング部と、
を有することを特徴とする動画像変換装置。
【請求項２】
前記制御部は、
１／Ｍ倍のダウンサンプリングに伴い発生する各次数の高調波成分データ各々に対して算出される視覚の時間積分効果による超解像効果が発生するブロック移動速度領域情報を適用して、超解像効果の発生する被写体速度領域のみとしたダウンサンプリングが可能となるように阻止対象高調波成分次数（Ｋ）を決定し、決定した阻止対象高調波成分次数（Ｋ）を前記プレフィルタ部に入力する構成であり、
前記プレフィルタ部は、
前記制御部から、前記阻止対象高調波成分次数（Ｋ（１＜Ｋ＜Ｍ、整数））を入力し、
前記ダウンサンプリング部が施す１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、Ｋ以上の次数の高調波成分が原信号成分と重ならない設定となる阻止域周波数（ｆｓ）以上の高域周波数成分を除去するローパスフィルタによる帯域制限処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項３】
前記制御部は、
１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、阻止対象高調波成分次数（Ｋ）未満の次数の高調波成分により発生する折り返し歪みが、前記移動量検出部の検出したブロック移動量で観察者が動画像を追従視した場合に、観察者の視覚の時間積分効果により知覚不能となるようなフレーム毎のサンプリング位相変化レートを各ブロックについて算出し、算出した結果をサンプリング位相変化レート（ΔＰ）として前記ダウンサンプリング部に供給する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項４】
前記ダウンサンプリング部は、
前記制御部から入力する各ブロックに対応するサンプリング位相変化レート（ΔＰ）に従って、フレームの進行と共にブロックに対するサンプリング位置を変化させたダウンサンプリング処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項５】
前記プレフィルタ部は、
予めメモリに記録された阻止対象高調波成分次数（Ｋ）、または外部から入力する阻止対象高調波成分次数（Ｋ）を利用して前記阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去する処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項６】
動画像変換データの復元処理を実行する動画像復元装置であり、
動画像変換データを構成する各ブロック対応変換データと、該ブロック対応変換データの変換態様を示す変換態様情報とを入力し、前記変換態様情報に基づいて、前記ブロック対応変換データ中に含まれない画素の画素値を０として変換処理前の画素数からなる画像データを生成するアップサンプリング部と、
前記アップサンプリング部の生成した画像データを入力し、前記変換態様情報に基づいて、前記画像データの構成画素の各々の画素値を、近傍画素の画素値を利用して決定する処理を実行するポストフィルタ部と、
を有することを特徴とする動画像復元装置。
【請求項７】
前記ポストフィルタ部は、
前記アップサンプリング部の生成した画像データの構成画素の画素値決定処理に際して、処理対象画素を含むブロックのダウンサンプリング方向と隣接ブロックのダウンサンプリング方向が同一であり、かつサンプリング位相が異なる場合、サンプリング位相を一致させる前処理を実行した後、サンプリング位相を一致させた複数ブロックの構成画素の画素値を適用したフィルタリング処理を施すことにより画素値決定処理を行う構成であることを特徴とする請求項６に記載の動画像復元装置。
【請求項８】
前記ポストフィルタ部は、
前記アップサンプリング部の生成した画像データの構成画素の画素値決定処理に際して、処理対象画素を含むブロックのサンプリング周波数と隣接ブロックのサンプリング周波数が異なる場合、サンプリング周波数を一致させる前処理を実行した後、サンプリング周波数を一致させた複数ブロックの構成画素の画素値を適用したフィルタリング処理を施すことにより画素値決定処理を行う構成であることを特徴とする請求項６に記載の動画像復元装置。
【請求項９】
前記ポストフィルタ部は、
前記アップサンプリング部の生成した画像データの構成画素の画素値決定処理に際して、処理対象画素を含むブロックのダウンサンプリング方向と隣接ブロックのダウンサンプリング方向が異なる場合、ダウンサンプリング方向を一致させる前処理を実行した後、ダウンサンプリング方向を一致させた複数ブロックの構成画素の画素値を適用したフィルタリング処理を施すことにより画素値決定処理を行う構成であることを特徴とする請求項６に記載の動画像復元装置。
【請求項１０】
動画像変換装置において、動画像データのデータ変換処理を実行する動画像変換方法であり、
ブロック分割部が、動画像データを構成するフレームを１個以上のブロックに分割するブロック分割ステップと、
移動量検出部が、前記ブロック分割部において分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出する移動量検出ステップと、
制御部が、前記移動量検出部の検出したブロック移動量を入力し、ブロックに対する処理パラメータとして、ダウンサンプリング（画素間引き）処理におけるサンプリング位相変化レート（ΔＰ）を決定する制御ステップと、
プレフィルタ部が、前記ブロック分割部において分割された各ブロックを入力し、超解像効果の発生条件として決定される阻止対象高調波成分次数（Ｋ）に基づいて算出される阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去するプレフィルタ処理ステップと、
ダウンサンプリング部が、前記プレフィルタ部において高域周波数成分が除去されたブロックを入力し、前記サンプリング位相変化レート（ΔＰ）に従って入力ブロックのダウンサンプリング（画素数間引き）処理を実行し、各ブロックの構成画素数を１／Ｍ（Ｍ≧２、整数）倍に削減するダウンサンプリング処理ステップと、
を有することを特徴とする動画像変換方法。
【請求項１１】
前記制御ステップは、
１／Ｍ倍のダウンサンプリングに伴い発生する各次数の高調波成分データ各々に対して算出される視覚の時間積分効果による超解像効果が発生するブロック移動速度領域情報を適用して、超解像効果の発生する被写体速度領域のみとしたダウンサンプリングが可能となるように阻止対象高調波成分次数（Ｋ）を決定し、決定した阻止対象高調波成分次数（Ｋ）を前記プレフィルタ部に入力するステップであり、
前記プレフィルタ処理ステップは、
前記制御部から、前記阻止対象高調波成分次数（Ｋ（１＜Ｋ＜Ｍ、整数））を入力し、
前記ダウンサンプリング部が施す１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、Ｋ以上の次数の高調波成分が原信号成分と重ならない設定となる阻止域周波数（ｆｓ）以上の高域周波数成分を除去するローパスフィルタによる帯域制限処理を実行するステップであることを特徴とする請求項１０に記載の動画像変換方法。
【請求項１２】
前記制御ステップは、
１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、阻止対象高調波成分次数（Ｋ）未満の次数の高調波成分により発生する折り返し歪みが、前記移動量検出部の検出したブロック移動量で観察者が動画像を追従視した場合に、観察者の視覚の時間積分効果により知覚不能となるようなフレーム毎のサンプリング位相変化レートを各ブロックについて算出し、算出した結果をサンプリング位相変化レート（ΔＰ）として前記ダウンサンプリング部に供給するステップであることを特徴とする請求項１０に記載の動画像変換方法。
【請求項１３】
前記ダウンサンプリング処理ステップは、
前記制御部から入力する各ブロックに対応するサンプリング位相変化レート（ΔＰ）に従って、フレームの進行と共にブロックに対するサンプリング位置を変化させたダウンサンプリング処理を実行するステップであることを特徴とする請求項１０に記載の動画像変換方法。
【請求項１４】
前記プレフィルタ処理ステップは、
予めメモリに記録された阻止対象高調波成分次数（Ｋ）、または外部から入力する阻止対象高調波成分次数（Ｋ）を利用して前記阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去する処理を実行するステップであることを特徴とする請求項１０に記載の動画像変換方法。
【請求項１５】
動画像復元装置において、動画像変換データの復元処理を実行する動画像復元方法であり、
アップサンプリング部が、動画像変換データを構成する各ブロック対応変換データと、該ブロック対応変換データの変換態様を示す変換態様情報とを入力し、前記変換態様情報に基づいて、前記ブロック対応変換データ中に含まれない画素の画素値を０として変換処理前の画素数からなる画像データを生成するアップサンプリング処理ステップと、
ポストフィルタ部が、前記アップサンプリング部の生成した画像データを入力し、前記変換態様情報に基づいて、前記画像データの構成画素の各々の画素値を、近傍画素の画素値を利用して決定する処理を実行するポストフィルタ処理ステップと、
を有することを特徴とする動画像復元方法。
【請求項１６】
前記ポストフィルタ処理ステップは、
前記アップサンプリング部の生成した画像データの構成画素の画素値決定処理に際して、処理対象画素を含むブロックのダウンサンプリング方向と隣接ブロックのダウンサンプリング方向が同一であり、かつサンプリング位相が異なる場合、サンプリング位相を一致させる前処理を実行した後、サンプリング位相を一致させた複数ブロックの構成画素の画素値を適用したフィルタリング処理を施すことにより画素値決定処理を行うステップであることを特徴とする請求項１５に記載の動画像復元方法。
【請求項１７】
前記ポストフィルタ処理ステップは、
前記アップサンプリング部の生成した画像データの構成画素の画素値決定処理に際して、処理対象画素を含むブロックのサンプリング周波数と隣接ブロックのサンプリング周波数が異なる場合、サンプリング周波数を一致させる前処理を実行した後、サンプリング周波数を一致させた複数ブロックの構成画素の画素値を適用したフィルタリング処理を施すことにより画素値決定処理を行うステップであることを特徴とする請求項１５に記載の動画像復元方法。
【請求項１８】
前記ポストフィルタ処理ステップは、
前記アップサンプリング部の生成した画像データの構成画素の画素値決定処理に際して、処理対象画素を含むブロックのダウンサンプリング方向と隣接ブロックのダウンサンプリング方向が異なる場合、ダウンサンプリング方向を一致させる前処理を実行した後、ダウンサンプリング方向を一致させた複数ブロックの構成画素の画素値を適用したフィルタリング処理を施すことにより画素値決定処理を行うステップであることを特徴とする請求項１５に記載の動画像復元方法。
【請求項１９】
動画像変換装置において、動画像データのデータ変換処理を実行させるコンピュータ・プログラムであり、
ブロック分割部にが、動画像データを構成するフレームを１個以上のブロックに分割させるブロック分割ステップと、
移動量検出部に、前記ブロック分割部において分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出させる移動量検出ステップと、
制御部に、前記移動量検出部の検出したブロック移動量を入力し、ブロックに対する処理パラメータとして、ダウンサンプリング（画素間引き）処理におけるサンプリング位相変化レート（ΔＰ）を決定させる制御ステップと、
プレフィルタ部に、前記ブロック分割部において分割された各ブロックを入力し、超解像効果の発生条件として決定される阻止対象高調波成分次数（Ｋ）に基づいて算出される阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去させるプレフィルタ処理ステップと、
ダウンサンプリング部に、前記プレフィルタ部において高域周波数成分が除去されたブロックを入力し、前記サンプリング位相変化レート（ΔＰ）に従って入力ブロックのダウンサンプリング（画素数間引き）処理を実行し、各ブロックの構成画素数を１／Ｍ（Ｍ≧２、整数）倍に削減させるダウンサンプリング処理ステップと、
を有することを特徴とするコンピュータ・プログラム。
【請求項２０】
動画像復元装置において、動画像変換データの復元処理を実行させるコンピュータ・プログラムであり、
アップサンプリング部に、動画像変換データを構成する各ブロック対応変換データと、該ブロック対応変換データの変換態様を示す変換態様情報とを入力し、前記変換態様情報に基づいて、前記ブロック対応変換データ中に含まれない画素の画素値を０として変換処理前の画素数からなる画像データを生成させるアップサンプリング処理ステップと、
ポストフィルタ部に、前記アップサンプリング部の生成した画像データを入力し、前記変換態様情報に基づいて、前記画像データの構成画素の各々の画素値を、近傍画素の画素値を利用して決定する処理を実行させるポストフィルタ処理ステップと、
を有することを特徴とするコンピュータ・プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
画素（ｔ００）２０４を対象としたフィルタリング処理を９タップのＦＩＲフィルタを適用してフィルタリングを行う場合、画素（ｔ００）２０４を中心として横方向に前後４画素の画素値を取得し、計９画素データ２０５を適用してフィルタリング処理を実行する。９画素データ２０５は、ブロック２０１の画素ｓ００〜ｓ０３、ブロック２０２の画素ｔ００〜ｔ０３、ブロック２０３の画素ｕ００の計９画素によって構成される。