【手続補正書】
【提出日】平成25年10月7日(2013.10.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像の現フレームと前記現フレームの１フレーム前のフレームとの間に補間フレームを挿入する画像処理装置において、
前記現フレームのデータ、前記現フレームの１フレーム前のフレームである第１の遅延フレームのデータ、及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して、前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトル及び前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出部と、
前記第１の動きベクトル及び前記第２の動きベクトルを、前記第１の遅延フレームから前記補間フレームへの第３の動きベクトル及び前記現フレームから前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換部と、
前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを有し、
前記動きベクトル検出部は、
前記第２の遅延フレームのデータ及び前記現フレームのデータの双方のデータから生成された複数の第１のテスト補間データと、前記第２の遅延フレームのデータから生成された複数の第２のテスト補間データと、前記現フレームのデータから生成された複数の第３のテスト補間データとを含む複数のテスト補間データを出力するテスト補間部と、
前記第１の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行い、該評価の結果を示す複数の評価データを出力する補間データ評価部と、
前記複数の評価データに基づいて前記第１の動きベクトル及び前記第２の動きベクトルを生成する動きベクトル決定部とを有し、
前記テスト補間部は、
前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの各ブロックのデータに基づいて、前記複数の第１のテスト補間データを生成して出力し、
前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの内の前記第２の遅延フレーム内の前記ブロックのデータを前記複数の第２のテスト補間データとして出力し、
前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの内の前記現フレーム内の前記ブロックのデータを前記複数の第３のテスト補間データとして出力する
ことを特徴とする画像処理装置。
【請求項２】
前記テスト補間部は、前記現フレームのブロックデータと前記第２の遅延フレームのブロックデータを画素ごとに平均したブロックデータを前記第１のテスト補間データとして算出する複数個のテスト補間データ生成部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補間データ評価部は、前記テスト補間部から出力される前記複数のテスト補間データと前記第１の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータとの間の相関を示す複数の相関値を算出し、該複数の相関値に基づいて前記複数の評価データを生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記補間データ評価部は、前記テスト補間部から出力される前記複数のテスト補間データと前記第１の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータとの間の差分の絶対値の総和である差分絶対値和を算出することを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記補間データ評価部は、前記テスト補間データと前記第１の遅延フレーム内のブロックのデータの差分絶対値和を算出する複数個の差分絶対値和算出部を有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
請求項１から５までのいずれか１項に記載の画像処理装置と、
前記補間フレーム生成部から出力された画像データに基づく画像を表示する画像表示部と
を有することを特徴とする画像表示装置。
【請求項７】
画像の現フレームと前記現フレームの１フレーム前のフレームとの間に補間フレームを挿入する画像処理方法において、
前記現フレームのデータ、前記現フレームの１フレーム前のフレームである第１の遅延フレームのデータ、及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して、前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトル及び前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出するステップと、
前記第１の動きベクトル及び前記第２の動きベクトルを、前記第１の遅延フレームから前記補間フレームへの第３の動きベクトル及び前記現フレームから前記補間フレームへの第４の動きベクトルに変換するステップと、
前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力するステップとを有し、
前記第１の動きベクトル及び前記第２の動きベクトルを算出するステップは、
前記第２の遅延フレームのデータ及び前記現フレームのデータの双方のデータから生成された複数の第１のテスト補間データと、前記第２の遅延フレームのデータから生成された複数の第２のテスト補間データと、前記現フレームのデータから生成された複数の第３のテスト補間データとを含む複数のテスト補間データを出力するステップと、
前記第１の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行い、該評価の結果を示す複数の評価データを出力するステップと、
前記複数の評価データに基づいて前記第１の動きベクトル及び前記第２の動きベクトルを生成するステップとを有し、
前記テスト補間データを出力するステップは、
前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの各ブロックのデータに基づいて、前記複数の第１のテスト補間データを生成して出力するステップと、
前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの内の前記第２の遅延フレーム内の前記ブロックのデータを前記複数の第２のテスト補間データとして出力するステップと、
前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの内の前記現フレーム内の前記ブロックのデータを前記複数の第３のテスト補間データとして出力するステップとを有する
ことを特徴とする画像処理方法。
【請求項８】
前記複数の第１のテスト補間データを生成して出力するステップは、前記現フレームのブロックデータと前記第２の遅延フレームのブロックデータを画素ごとに平均したブロックデータを前記第１のテスト補間データとして算出するステップを有することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記テスト補間データを生成するステップは、前記複数のテスト補間データと前記第１の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータとの間の相関を示す複数の相関値を算出し、該複数の相関値に基づいて前記複数の評価データを生成するステップを有することを特徴とする請求項７又は８に記載の画像処理方法。
【請求項１０】
前記テスト補間データを生成するステップは、前記複数のテスト補間データと前記第１の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータとの間の差分の絶対値の総和である差分絶対値和を算出するステップを有することを特徴とする請求項７から９までのいずれか１項に記載の画像処理方法。
【請求項１１】
前記テスト補間データを生成するステップは、前記テスト補間データと前記第１の遅延フレーム内のブロックのデータの差分絶対値和を算出するステップを有することを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
請求項７から１１までのいずれか１項に記載の画像処理方法によって前記補間データが挿入された画像データを出力するステップと、
前記補間データが挿入された画像データを出力するステップによって出力された前記画像データに基づく画像を表示するステップと
を有することを特徴とする画像表示方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の一態様に係る画像処理装置は、画像の現フレームと前記現フレームの１フレーム前のフレームとの間に補間フレームを挿入する画像処理装置であって、前記現フレームのデータ、前記現フレームの１フレーム前のフレームである第１の遅延フレームのデータ、及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して、前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトル及び前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出部と、前記第１の動きベクトル及び前記第２の動きベクトルを、前記第１の遅延フレームから前記補間フレームへの第３の動きベクトル及び前記現フレームから前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換部と、前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを有し、前記動きベクトル検出部は、前記第２の遅延フレームのデータ及び前記現フレームのデータの双方のデータから生成された複数の第１のテスト補間データと、前記第２の遅延フレームのデータから生成された複数の第２のテスト補間データと、前記現フレームのデータから生成された複数の第３のテスト補間データとを含む複数のテスト補間データを出力するテスト補間部と、前記第１の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行い、該評価の結果を示す複数の評価データを出力する補間データ評価部と、前記複数の評価データに基づいて前記第１の動きベクトル及び前記第２の動きベクトルを生成する動きベクトル決定部とを有し、前記テスト補間部は、前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの各ブロックのデータに基づいて、前記複数の第１のテスト補間データを生成して出力し、前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの内の前記第２の遅延フレーム内の前記ブロックのデータを前記複数の第２のテスト補間データとして出力し、前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの内の前記現フレーム内の前記ブロックのデータを前記複数の第３のテスト補間データとして出力することを特徴としている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の他の態様に係る画像処理方法は、画像の現フレームと前記現フレームの１フレーム前のフレームとの間に補間フレームを挿入する画像処理方法であって、前記現フレームのデータ、前記現フレームの１フレーム前のフレームである第１の遅延フレームのデータ、及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して、前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトル及び前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出するステップと、前記第１の動きベクトル及び前記第２の動きベクトルを、前記第１の遅延フレームから前記補間フレームへの第３の動きベクトル及び前記現フレームから前記補間フレームへの第４の動きベクトルに変換するステップと、前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力するステップとを有し、前記第１の動きベクトル及び前記第２の動きベクトルを算出するステップは、前記第２の遅延フレームのデータ及び前記現フレームのデータの双方のデータから生成された複数の第１のテスト補間データと、前記第２の遅延フレームのデータから生成された複数の第２のテスト補間データと、前記現フレームのデータから生成された複数の第３のテスト補間データとを含む複数のテスト補間データを出力するステップと、前記第１の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行い、該評価の結果を示す複数の評価データを出力するステップと、前記複数の評価データに基づいて前記第１の動きベクトル及び前記第２の動きベクトルを生成するステップとを有し、前記テスト補間データを出力するステップは、前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの各ブロックのデータに基づいて、前記複数の第１のテスト補間データを生成して出力するステップと、前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの内の前記第２の遅延フレーム内の前記ブロックのデータを前記複数の第２のテスト補間データとして出力するステップと、前記第１の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第２の遅延フレーム内の複数の画素から成るブロックと前記現フレーム内の複数の画素から成るブロックとの内の前記現フレーム内の前記ブロックのデータを前記複数の第３のテスト補間データとして出力するステップとを有することを特徴としている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
動きベクトル決定部８は、第１の遅延フレームＦ１内のブロックＦ１Ｂ１に対する第２の遅延フレームＦ２内のブロックの相対位置の差を第１の動きベクトルＭＶ１として出力し、第１の遅延フレームＦ１内のブロックＦ１Ｂ１に対する現フレームＦ０内のブロックの相対位置を第２の動きベクトルＭＶ２として出力する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
動きベクトル検出部２では、上記のように実在のデータである第２遅延フレームＦ２内のデータを用いてベクトルの候補を評価することにより動きベクトルを決定しているので現フレームＦ０から第１の遅延フレームＦ１への動きベクトルを精度良く算出することができる。さらに、第２の遅延フレームから現フレームの間で物体が隠れたり、出現したりしても動きベクトルを精度良く算出することができる。
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2012095048.tif 000001
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2012095048.tif 000002