【手続補正書】
【提出日】平成25年10月7日(2013.10.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像信号の第１のフレームと、前記第１のフレームよりも時間的に前の第２のフレームとの間に補間フレームを生成するフレーム補間装置において、
前記第１のフレーム及び第２のフレームの画像信号を受けて、各々が互いに同じ解像度の参照画像から成り、互いに異なる解像度の複数の参照画像の組を生成する参照画像生成部と、
前記複数の参照画像の組に基づいて動き推定を行う動き推定部と、
前記動き推定部において、前記補間フレーム上の各画素について、最も高い解像度の参照画像の組を用いた動き推定の結果として得られた、１つ以上の動きベクトル候補に基づいて、前記補間フレームの画像信号を生成する補間フレーム合成部を有し、
前記動き推定部は、
最も低い解像度の参照画像を用いた動き推定から、最も高い解像度の参照画像を用いた動き推定までを順に行うことで、動き推定の結果を表す情報を順に生成し、
各解像度の参照画像の対を用いた動き推定における、前記第２のフレーム上の処理対象画素についての探索範囲の決定に当たり、
当該解像度よりも一段低い解像度の参照画像の組を用い、
当該処理対象画素について行った動き推定の結果として得られた動きベクトル候補を示す情報に加えて、
当該処理対象画素の周辺の画素についての動き推定の結果として得られた動きベクトル候補を示す情報をも利用し、
前記参照画像生成部は、
前記第２のフレームよりも時間的に前の第３のフレームの画像信号をも受けて、前記複数の参照画像の組を生成し、
前記複数の参照画像の組は、前記第１及び第２のフレームのみならず、前記第３のフレームの参照画像をも含む
ことを特徴とするフレーム補間装置。
【請求項２】
前記動き推定部は、各解像度の参照画像の組を用いた動き推定における探索範囲を決定するに当たり、
前記第２のフレームの処理対象画素に対し、当該解像度よりも一段低い解像度の参照画像の組を用い、当該処理対象画素について推定された動きベクトル候補に基づき移動した位置を中心とする所定の範囲、及び当該解像度よりも一段低い解像度の参照画像の組を用い、当該処理対象画素の周辺の画素について推定された動きベクトル候補に基づき移動した位置を中心とする所定の範囲から成る領域を前記探索範囲とする
ことを特徴とする請求項１に記載のフレーム補間装置。
【請求項３】
前記動き推定部は、
各解像度よりも一段低い解像度の参照画像の組を用い、当該処理対象画素の周辺の画素について推定された動きベクトル候補を示す情報から、所定の個数の情報を選択し探索範囲の決定に利用する動きベクトル候補情報選択手段を有する
ことを特徴とする請求項１又は２に記載のフレーム補間装置。
【請求項４】
前記動きベクトル候補情報選択手段は、
各処理対象画素の周辺の画素について推定された動きベクトル候補を示す情報のうちの、
当該処理対象画素について推定された動きベクトル候補のうちの類似度が最大である動きベクトル候補との差分が最も大きいものを含む情報から順に、所定の個数を選択するとともに、
当該選択された所定の個数の情報に対応する周辺の画素と、当該処理対象画素を中心として点対称の位置にある画素について推定された動きベクトル候補を示す情報をも合わせて選択する
ことを特徴とする請求項３に記載のフレーム補間装置。
【請求項５】
前記動き推定部は、
前記動きベクトル候補情報選択手段で選択された前記複数の動きベクトル候補を示す情報に基づいて、探索範囲の決定を行う動き探索範囲限定手段をさらに備える
ことを特徴とする請求項４に記載のフレーム補間装置。
【請求項６】
前記探索範囲限定手段は、前記動きベクトル候補情報選択手段で選択された前記情報で示される動きベクトル候補に基づき移動した複数の位置をそれぞれ中心とする所定の範囲から成る領域を前記探索範囲とする
ことを特徴とする請求項５に記載のフレーム補間装置。
【請求項７】
前記参照画像生成部は、
前記第１のフレームの画像信号及び前記第２のフレームの画像信号に対し、所定の縮小率で縮小を繰り返すことで、前記互いに異なる解像度の複数の参照画像の組を生成し、
前記縮小は、複数の画素の平均を縮小後の画素の値とする
ことを特徴とする請求項１から６のいずれかに記載のフレーム補間装置。
【請求項８】
前記補間フレーム合成部は、
前記補間フレーム上の画素のうち、上記複数の動きベクトル候補のいずれを用いても、前記第２参照フレーム上の画素の移動先とならない画素については、当該画素の周辺の画素についての動きベクトル候補を用いた補間により、当該画素についての動きベクトル候補を求める
ことを特徴とする請求項１から７のいずれかに記載のフレーム補間装置。
【請求項９】
前記補間フレーム合成部は、
前記補間フレーム上の各画素について２以上の動きベクトル候補が、前記動き推定部から出力された場合、それぞれの動きベクトル候補に基づいて決定された複数の参照位置の組のうちの、画素値の差分が最小となる参照画素の組を選択し、選択された参照画素の組の画素値に基づいて、前記補間フレーム上の画素の画素値を求める
ことを特徴とする請求項１から８のいずれかに記載のフレーム補間装置。
【請求項１０】
映像信号の第１のフレームと、前記第１のフレームよりも時間的に前の第２のフレームとの間に補間フレームを生成するフレーム補間方法において、
前記第１のフレーム及び第２のフレームの画像信号を受けて、各々が互いに同じ解像度の参照画像から成り、互いに異なる解像度の複数の参照画像の組を生成する参照画像生成ステップと、
前記複数の参照画像の組に基づいて動き推定を行う動き推定ステップと、
前記動き推定ステップにおいて、前記補間フレーム上の各画素について、最も高い解像度の参照画像の組を用いた動き推定の結果として得られた、１つ以上の動きベクトル候補に基づいて、前記補間フレームの画像信号を生成する補間フレーム合成ステップを有し、
前記動き推定ステップは、
最も低い解像度の参照画像を用いた動き推定から、最も高い解像度の参照画像を用いた動き推定までを順に行うことで、動き推定の結果を表す情報を順に生成し、
各解像度の参照画像の対を用いた動き推定における、前記第２のフレーム上の処理対象画素についての探索範囲の決定に当たり、
当該解像度よりも一段低い解像度の参照画像の組を用い、
当該処理対象画素について行った動き推定の結果として得られた動きベクトル候補を示す情報に加えて、
当該処理対象画素の周辺の画素についての動き推定の結果として得られた動きベクトル候補を示す情報をも利用し、
前記参照画像生成ステップは、
前記第２のフレームよりも時間的に前の第３のフレームの画像信号をも受けて、前記複数の参照画像の組を生成し、
前記複数の参照画像の組は、前記第１及び第２のフレームのみならず、前記第３のフレームの参照画像をも含む
ことを特徴とするフレーム補間方法。
【請求項１１】
前記動き推定ステップは、各解像度の参照画像の組を用いた動き推定における探索範囲を決定するに当たり、
前記第２のフレームの処理対象画素に対し、当該解像度よりも一段低い解像度の参照画像の組を用い、当該処理対象画素について推定された動きベクトル候補に基づき移動した位置を中心とする所定の範囲、及び当該解像度よりも一段低い解像度の参照画像の組を用い、当該処理対象画素の周辺の画素について推定された動きベクトル候補に基づき移動した位置を中心とする所定の範囲から成る領域を前記探索範囲とする
ことを特徴とする請求項１０に記載のフレーム補間方法。
【請求項１２】
前記動き推定ステップは、
各解像度よりも一段低い解像度の参照画像の組を用い、当該処理対象画素の周辺の画素について推定された動きベクトル候補を示す情報から、所定の個数の情報を選択し探索範囲の決定に利用する動きベクトル候補情報選択ステップを有する
ことを特徴とする請求項１０又は１１に記載のフレーム補間方法。
【請求項１３】
前記動きベクトル候補情報選択ステップは、
各処理対象画素の周辺の画素について推定された動きベクトル候補を示す情報のうちの、
当該処理対象画素について推定された動きベクトル候補のうちの類似度が最大である動きベクトル候補との差分が最も大きいものを含む情報から順に、所定の個数を選択するとともに、
当該選択された所定の個数の情報に対応する周辺の画素と、当該処理対象画素を中心として点対称の位置にある画素について推定された動きベクトル候補を示す情報をも合わせて選択する
ことを特徴とする請求項１２に記載のフレーム補間方法。
【請求項１４】
前記動き推定ステップは、
前記動きベクトル候補情報選択ステップで選択された前記複数の動きベクトル候補を示す情報に基づいて、探索範囲の決定を行う動き探索範囲限定ステップをさらに備える
ことを特徴とする請求項１３に記載のフレーム補間方法。
【請求項１５】
前記探索範囲限定ステップは、前記動きベクトル候補情報選択ステップで選択された前記情報で示される動きベクトル候補に基づき移動した複数の位置をそれぞれ中心とする所定の範囲から成る領域を前記探索範囲とする
ことを特徴とする請求項１４に記載のフレーム補間方法。
【請求項１６】
前記参照画像生成ステップは、
前記第１のフレームの画像信号及び前記第２のフレームの画像信号に対し、所定の縮小率で縮小を繰り返すことで、前記互いに異なる解像度の複数の参照画像の組を生成し、
前記縮小は、複数の画素の平均を縮小後の画素の値とする
ことを特徴とする請求項１０から１５のいずれかに記載のフレーム補間方法。
【請求項１７】
前記補間フレーム合成ステップは、
前記補間フレーム上の画素のうち、上記複数の動きベクトル候補のいずれを用いても、前記第２参照フレーム上の画素の移動先とならない画素については、当該画素の周辺の画素についての動きベクトル候補を用いた補間により、当該画素についての動きベクトル候補を求める
ことを特徴とする請求項１０から１６のいずれかに記載のフレーム補間方法。
【請求項１８】
前記補間フレーム合成ステップは、
前記補間フレーム上の各画素について２以上の動きベクトル候補が、前記動き推定ステップから出力された場合、それぞれの動きベクトル候補に基づいて決定された複数の参照位置の組のうちの、画素値の差分が最小となる参照画素の組を選択し、選択された参照画素の組の画素値に基づいて、前記補間フレーム上の画素の画素値を求める
ことを特徴とする請求項１０から１７のいずれかに記載のフレーム補間方法。
【請求項１９】
請求項１０から１８のいずれかに記載の方法の各ステップの処理を実行させるためのプログラム。
【請求項２０】
請求項１９のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の一つの態様のフレーム補間装置は、
映像信号の第１のフレームと、前記第１のフレームよりも時間的に前の第２のフレームとの間に補間フレームを生成するフレーム補間装置において、
前記第１のフレーム及び第２のフレームの画像信号を受けて、各々が互いに同じ解像度の参照画像から成り、互いに異なる解像度の複数の参照画像の組を生成する参照画像生成部と、
前記複数の参照画像の組に基づいて動き推定を行う動き推定部と、
前記動き推定部において、前記補間フレーム上の各画素について、最も高い解像度の参照画像の組を用いた動き推定の結果として得られた、１つ以上の動きベクトル候補に基づいて、前記補間フレームの画像信号を生成する補間フレーム合成部を有し、
前記動き推定部は、
最も低い解像度の参照画像を用いた動き推定から、最も高い解像度の参照画像を用いた動き推定までを順に行うことで、動き推定の結果を表す情報を順に生成し、
各解像度の参照画像の対を用いた動き推定における、前記第２のフレーム上の処理対象画素についての探索範囲の決定に当たり、
当該解像度よりも一段低い解像度の参照画像の組を用い、
当該処理対象画素について行った動き推定の結果として得られた動きベクトル候補を示す情報に加えて、
当該処理対象画素の周辺の画素についての動き推定の結果として得られた動きベクトル候補を示す情報をも利用し、
前記参照画像生成部は、
前記第２のフレームよりも時間的に前の第３のフレームの画像信号をも受けて、前記複数の参照画像の組を生成し、
前記複数の参照画像の組は、前記第１及び第２のフレームのみならず、前記第３のフレームの参照画像をも含む
ことを特徴とする。
本発明の他の態様のフレーム補間方法は、
映像信号の第１のフレームと、前記第１のフレームよりも時間的に前の第２のフレームとの間に補間フレームを生成するフレーム補間方法において、
前記第１のフレーム及び第２のフレームの画像信号を受けて、各々が互いに同じ解像度の参照画像から成り、互いに異なる解像度の複数の参照画像の組を生成する参照画像生成ステップと、
前記複数の参照画像の組に基づいて動き推定を行う動き推定ステップと、
前記動き推定ステップにおいて、前記補間フレーム上の各画素について、最も高い解像度の参照画像の組を用いた動き推定の結果として得られた、１つ以上の動きベクトル候補に基づいて、前記補間フレームの画像信号を生成する補間フレーム合成ステップを有し、
前記動き推定ステップは、
最も低い解像度の参照画像を用いた動き推定から、最も高い解像度の参照画像を用いた動き推定までを順に行うことで、動き推定の結果を表す情報を順に生成し、
各解像度の参照画像の対を用いた動き推定における、前記第２のフレーム上の処理対象画素についての探索範囲の決定に当たり、
当該解像度よりも一段低い解像度の参照画像の組を用い、
当該処理対象画素について行った動き推定の結果として得られた動きベクトル候補を示す情報に加えて、
当該処理対象画素の周辺の画素についての動き推定の結果として得られた動きベクトル候補を示す情報をも利用し、
前記参照画像生成ステップは、
前記第２のフレームよりも時間的に前の第３のフレームの画像信号をも受けて、前記複数の参照画像の組を生成し、
前記複数の参照画像の組は、前記第１及び第２のフレームのみならず、前記第３のフレームの参照画像をも含む
ことを特徴とする。