【手続補正書】
【提出日】平成27年5月25日(2015.5.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像の現フレームと前記現フレームの１フレーム前のフレームである第１の遅延フレームとの間に補間フレームを挿入する画像処理装置において、
前記第１の遅延フレームのデータ及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトルを算出し、前記現フレームのデータ及び前記第１の遅延フレームのデータを参照して前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出部と、
前記第１の動きベクトルを前記第１の遅延フレームから前記補間フレームへの第３の動きベクトルに変換し、前記第２の動きベクトルを前記現フレームら前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換部と、
前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを有し、
前記動きベクトル検出部は、
前記現フレームを画素ごとにランダムに位相をずらして縮小して現縮小フレームを出力し、前記第１の遅延フレームを画素ごとにランダムに位相をずらして縮小して第１の縮小遅延フレームを出力し、前記第２の遅延フレームを画素ごとにランダムに位相をずらして縮小して第２の縮小遅延フレームを出力するディザ縮小部と、
前記現縮小フレーム、前記第１の縮小遅延フレーム及び前記第２の縮小遅延フレームから検出された動きベクトルを拡大して出力する動きベクトル拡大部とを有する
ことを特徴とする画像処理装置。
【請求項２】
前記動きベクトル検出部は、
前記補間フレームの補間対象ブロックに対応する、前記第１の縮小遅延フレーム内のブロックを処理対象ブロックとして設定し、前記第２の縮小遅延フレームの一部をなすブロックのデータ及び前記現縮小フレームの一部をなすブロックのデータの画素ごとの平均値で構成される第１群のテスト補間データと、前記現フレームの一部をなすブロックのデータで構成される第２群のテスト補間データと、前記第２の縮小遅延フレームのブロックデータで構成される第３群のテスト補間データとを含む複数のテスト補間データを出力するテスト補間部と、
前記第１乃至第３群のテスト補間データのうち、前記処理対象ブロックのデータに対する前記各テスト補間データの相関の強さを評価し、該評価の結果を示す複数の評価データを出力する補間データ評価部と、
前記複数の評価データのうち最も相関の強いことを示す前記評価データを生じさせた前記テスト補間データに対応する動きベクトルを第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方として出力する動きベクトル決定部とをさらに有し、
前記動きベクトル拡大部は、前記第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方を拡大して前記第１及び第２の動きベクトルの少なくとも一方として出力し、
前記第１群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックのデータ及び複数の前記現縮小フレームのブロックから得られ、
前記第２群のテスト補間データは、複数の前記現縮小フレームのブロックから得られ、
前記第３群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックから得られる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記テスト補間部は、
各々前記第１の縮小遅延フレーム内の複数の画素から成る複数のブロックを順次処理対象ブロックとして選択し、該処理対象ブロックを中心として、
互いに点対称の位置にある、前記第２の縮小遅延フレーム内のブロックと、前記現縮小フレーム内のブロックとを抽出し、抽出した前記第２の縮小遅延フレームのブロックのデータと抽出した前記現縮小フレームのブロックのデータの画素毎の平均値を、前記第１群のテスト補間データとして求め、
前記抽出した前記現縮小フレーム内の前記ブロックのデータを前記第２群のテスト補間データとして出力し、
前記抽出した前記第２の縮小遅延フレーム内の前記ブロックのデータを前記第３群のテスト補間データとして出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記テスト補間部は、複数個のテスト補間データ生成部を有し、
該複数個のテスト補間データ生成部は、それぞれ、前記現縮小フレーム内の互いに異なる位置ブロックのデータと前記第２の縮小遅延フレーム内の互いに異なる位置のブロックのデータを画素ごとに平均することで得られるデータを前記第１群のテスト補間データとして算出する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記補間データ評価部は、
前記テスト補間部から出力される前記複数のテスト補間データの各々と、
前記処理対象ブロックのデータとの間の相関を示す相関値を算出し、
該複数のテスト補間データについてそれぞれ求められる複数の相関値に基づいて前記複数の評価データを生成する
ことを特徴とする請求項２から４までのいずれか１項に記載の画像処理装置。
【請求項６】
前記補間データ評価部は、
前記テスト補間部から出力される前記複数のテスト補間データと
前記処理対象ブロックのデータとの間の差分の絶対値の総和である差分絶対値和を前記相関値として算出する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記補間データ評価部は、
前記処理対象ブロックのデータと、前記複数のテスト補間データとの差分絶対値和を算出する複数個の相関値算出部を有する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
請求項１から７までのいずれか１項に記載の画像処理装置と、
前記補間フレーム生成部から出力された画像データに基づく画像を表示する画像表示部と
を有することを特徴とする画像表示装置。
【請求項９】
画像の現フレームと前記現フレームの１フレーム前のフレームである第１の遅延フレームとの間に補間フレームを挿入する画像処理方法において、
前記第１の遅延フレームのデータ及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトルを算出し、前記現フレームのデータ及び前記第１の遅延フレームのデータを参照して前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出ステップと、
前記第１の動きベクトルを前記第１の遅延フレームから前記補間フレームへの第３の動きベクトルに変換し、前記第２の動きベクトルを前記現フレームから前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換ステップと、
前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成ステップとを有し、
前記動きベクトル検出ステップは、
前記現フレームを画素ごとにランダムに位相をずらして縮小して現縮小フレームを出力し、前記第１の遅延フレームを画素ごとにランダムに位相をずらして縮小して第１の縮小遅延フレームを出力し、前記第２の遅延フレームを画素ごとにランダムに位相をずらして縮小して第２の縮小遅延フレームを出力するディザ縮小ステップと、
前記現縮小フレーム、前記第１の縮小遅延フレーム及び前記第２の縮小遅延フレームから検出された動きベクトルを拡大して出力する動きベクトル拡大ステップとを有する
ことを特徴とする画像処理方法。
【請求項１０】
前記動きベクトル検出ステップは、
前記補間フレームの補間対象ブロックに対応する、前記第１の縮小遅延フレーム内のブロックを処理対象ブロックとして設定し、前記第２の縮小遅延フレームの一部をなすブロックのデータ及び前記現縮小フレームの一部をなすブロックのデータの画素ごとの平均値で構成される第１群のテスト補間データと、前記現フレームの一部をなすブロックのデータで構成される第２群のテスト補間データと、前記第２の縮小遅延フレームのブロックデータで構成される第３群のテスト補間データとを含む複数のテスト補間データを出力するテスト補間ステップと、
前記第１乃至第３群のテスト補間データのうち、前記処理対象ブロックのデータに対する前記各テスト補間データの相関の強さを評価し、該評価の結果を示す複数の評価データを出力する補間データ評価ステップと、
前記複数の評価データのうち最も相関の強いことを示す前記評価データを生じさせた前記テスト補間データに対応する動きベクトルを第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方として出力する動きベクトル決定ステップとをさらに有し、
前記動きベクトル拡大ステップは、前記第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方を拡大して前記第１及び第２の動きベクトルの少なくとも一方として出力し、
前記第１群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックのデータ及び複数の前記現縮小フレームのブロックから得られ、
前記第２群のテスト補間データは、複数の前記現縮小フレームのブロックから得られ、
前記第３群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックから得られる
ことを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記テスト補間ステップは、
各々前記第１の縮小遅延フレーム内の複数の画素から成る複数のブロックを順次処理対象ブロックとして選択し、該処理対象ブロックを中心として、
互いに点対称の位置にある、前記第２の縮小遅延フレーム内のブロックと、前記現縮小フレーム内のブロックとを抽出し、抽出した前記第２の縮小遅延フレームのブロックのデータと抽出した前記現縮小フレームのブロックのデータの画素毎の平均値を、前記第１群のテスト補間データとして求め、
前記抽出した前記現縮小フレーム内の前記ブロックのデータを前記第２群のテスト補間データとして出力し、
前記抽出した前記第２の縮小遅延フレーム内の前記ブロックのデータを前記第３群のテスト補間データとして出力する
ことを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記テスト補間ステップは、複数個のテスト補間データ生成ステップを有し、
該複数個のテスト補間データ生成ステップは、それぞれ、前記現縮小フレーム内の互いに異なる位置ブロックのデータと前記第２の縮小遅延フレーム内の互いに異なる位置のブロックのデータを画素ごとに平均することで得られるデータを前記第１群のテスト補間データとして算出する
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記補間データ評価ステップは、
前記テスト補間ステップから出力される前記複数のテスト補間データの各々と、
前記処理対象ブロックのデータとの間の相関を示す相関値を算出し、
該複数のテスト補間データについてそれぞれ求められる複数の相関値に基づいて前記複数の評価データを生成する
ことを特徴とする請求項１０から１２までのいずれか１項に記載の画像処理方法。
【請求項１４】
前記補間データ評価ステップは、
前記テスト補間ステップから出力される前記複数のテスト補間データと
前記処理対象ブロックのデータとの間の差分の絶対値の総和である差分絶対値和を前記相関値として算出する
ことを特徴とする請求項１３に記載の画像処理方法。
【請求項１５】
前記補間データ評価ステップは、
前記処理対象ブロックのデータと、前記複数のテスト補間データとの差分絶対値和を算出する複数個の相関値算出ステップを有する
ことを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
請求項９から１５までのいずれか１項に記載の画像処理方法と、
前記補間フレーム生成ステップから出力された画像データに基づく画像を表示する画像表示ステップと
を有することを特徴とする画像表示方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
第２の縮小遅延フレームＳＦ２内の第ｍのブロックＦ２Ｂｍ（ｍ＝１〜Ｍ）と現縮小フレームＳＦ０内の第ｍのブロックＦ０Ｂｍとは、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａ（厳密にはその中心の画素）を中心として点対称の位置にあるので、ブロックＦ２Ｂｍの処理対象ブロックＦ１Ｂａに対する横方向のずれをｈ（ｈ＝−ＨＳ〜＋ＨＳ）、縦方向のずれをｖ（ｖ＝−ＶＳ〜＋ＶＳ）とすると、ブロックＦ０Ｂｍの処理対象ブロックＦ１Ｂａに対する横方向のずれは−ｈ、縦方向のずれは−ｖである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
評価データＥＤＡ１〜ＥＤＣＭのうち値が最小のものが第３群の評価データＥＤＢ１〜ＥＤＣＭのいずれかである場合には、動きベクトル決定部６は、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの位置に対する、当該最小値の評価データに対応する、第２の縮小遅延フレームＳＦ２内のブロックの相対位置（位置の差）を第１の縮小動きベクトルＳＭＶ１として出力し、第２の縮小動きベクトルＳＭＶ２の代わりに対応するブロックがない（差分絶対値和が十分に小さいブロックがない）こと、即ち有効データがないことを示す信号を出力する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
動きベクトル検出部１２では、上記のように実在のデータである第１の縮小遅延フレームＳＦ１内のデータを用いて第２の縮小遅延フレームＳＦ２内のブロック及び現縮小フレームＳＦ０内のブロックから成るブロック対に対応するベクトルの候補を評価することにより動きベクトルを決定しているので第２の縮小遅延フレームＳＦ２及び現縮小フレームＳＦ０から第１の縮小遅延フレームＳＦ１への動きベクトルを精度良く算出することができる。
さらに、第２の縮小遅延フレームＳＦ２内のデータのみ、或いは現縮小フレームＳＦ０内のデータのみを、ベクトル候補に対応するテスト補間データとして用いているので、第２の縮小遅延フレームから現縮小フレームの間で物体が隠れたり、出現したりしても動きベクトルを精度良く算出することができる。