(57)【要約】【課題】補間フレームのできるだけ多くの画素に動きベクトルを対応付ける。【解決手段】動きベクトル検出部は、内蔵するブロック設定部によって基準画像を所定サイズのブロックに分割し、当該ブロックよりも大きな探索範囲を参照画像に設けて比較し、ブロック毎に動きベクトルを検出する。ブロック設定部は、基準画像を所定サイズのブロックに分割するが、この際、各ブロックに他のブロックと重なる重複部分を設けるようにする。すなわち、ブロックマッチング法における従来のブロック分割ではなく、図４に示すように、ブロックの上下左右の四辺のうち、少なくとも二辺に隣接するブロックとの重複部分が生じるように基準画像をブロックに分割する。本発明は、フレームレート変換装置に適用することができる。【選択図】図４
2007288497.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置において、
前記第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を異なる複数のブロックに属する重複部分を設けて所定サイズの前記ブロックに分割する分割手段と、
分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出する動きベクトル検出手段と、
生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付ける対応付け手段と
を含む画像処理装置。
【請求項２】
前記対応付け手段によって対応付けられた前記動きベクトルに基づき、補間画像を構成する前記画素の画素値を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて決定することにより前記補正画像を生成する生成手段を
さらに含む請求項１に記載の画像処理装置。
【請求項３】
前記対応付け手段は、
生成する前記補間画像の画素に対して異なる複数の動きベクトルが対応付けられた場合、前記異なる複数の動きベクトルのうちの１つを選択する選択手段を含む
請求項１に記載の画像処理装置。
【請求項４】
前記選択手段は、生成する前記補間画像の画素に対して異なる複数の前記動きベクトルが対応付けられた場合、前記異なる複数の動きベクトルがそれぞれ検出された前記ブロックにおける前記重複部分の位置に基づき、前記異なる複数の動きベクトルのうちの１つを選択する
請求項３に記載の画像処理装置。
【請求項５】
前記選択手段は、生成する前記補間画像の画素に対して異なる複数の前記動きベクトルが対応付けられた場合、前記異なる複数の動きベクトルのそれぞれの信頼度に基づき、前記異なる複数の動きベクトルのうちの１つを選択する
請求項３に記載の画像処理装置。
【請求項６】
検出された前記動きベクトルを対応付けることができない未対応画素が前記補間画像上に存在する場合、
前記分割手段は、前記基準画像上の前記未対応画素に対応する位置にブロックを新設し、
前記動きベクトル検出手段は、新設された前記ブロックに対応する動きベクトルを検出し、
対応付け手段は、新設された前記ブロックに対応して検出された前記動きベクトルを、前記補間画像の前記未対応画素に対応付ける
請求項１に記載の画像処理装置。
【請求項７】
前記基準画像上または前記参照画像上の少なくとも一方のエッジ部分を検出するエッジ検出手段をさらに含み、
検出された前記動きベクトルを対応付けることができない未対応画素が前記補間画像上に存在する場合、
前記分割手段は、検出された前記エッジ部分であって、且つ、前記未対応画素に対応する位置にブロックを新設し、
前記動きベクトル検出手段は、新設された前記ブロックに対応する動きベクトルを検出し、
対応付け手段は、新設された前記ブロックに対応して検出された前記動きベクトルを、前記補間画像の前記未対応画素に対応付ける
請求項６に記載の画像処理装置。
【請求項８】
動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の画像処理方法において、
前記第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を異なる複数のブロックに属する重複部分を設けて所定サイズの前記ブロックに分割し、
分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出し、
生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付ける
ステップを含む画像処理方法。
【請求項９】
動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の制御用のプログラムであって、
前記第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を異なる複数のブロックに属する重複部分を設けて所定サイズの前記ブロックに分割し、
分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出し、
生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付ける
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１０】
動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置において、
前記第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を所定サイズの前記ブロックに分割する分割手段と、
分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出する動きベクトル検出手段と、
生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付ける対応付け手段とを含み、
検出された前記動きベクトルを対応付けることができない未対応画素が前記補間画像上に存在する場合、
前記分割手段は、前記基準画像上の前記未対応画素に対応する位置にブロックを新設し、
前記動きベクトル検出手段は、新設された前記ブロックに対応する動きベクトルを検出し、
対応付け手段は、新設された前記ブロックに対応して検出された前記動きベクトルを、前記補間画像の前記未対応画素に対応付ける
画像処理装置。
【請求項１１】
前記対応付け手段によって対応付けられた前記動きベクトルに基づき、補間画像を構成する前記画素の画素値を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて決定することにより前記補正画像を生成する生成手段を
さらに含む請求項１０に記載の画像処理装置。
【請求項１２】
前記基準画像上または前記参照画像上の少なくとも一方のエッジ部分を検出するエッジ検出手段をさらに含み、
検出された前記動きベクトルを対応付けることができない未対応画素が前記補間画像上に存在する場合、
前記分割手段は、検出された前記エッジ部分であって、且つ、前記未対応画素に対応する位置にブロックを新設する
請求項１１に記載の画像処理装置。
【請求項１３】
動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の画像処理方法において、
前記第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を所定サイズの前記ブロックに分割し、
分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出し、
生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付け、
検出された前記動きベクトルを対応付けることができない未対応画素が前記補間画像上に存在する場合、
前記基準画像上の前記未対応画素に対応する位置にブロックを新設し、
新設された前記ブロックに対応する動きベクトルを検出し、
新設された前記ブロックに対応して検出された前記動きベクトルを、前記補間画像の前記未対応画素に対応付ける
ステップを含む画像処理方法。
【請求項１４】
動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の制御用のプログラムであって、
前記第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を所定サイズの前記ブロックに分割し、
分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出し、
生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付け、
検出された前記動きベクトルを対応付けることができない未対応画素が前記補間画像上に存在する場合、
前記基準画像上の前記未対応画素に対応する位置にブロックを新設し、
新設された前記ブロックに対応する動きベクトルを検出し、
新設された前記ブロックに対応して検出された前記動きベクトルを、前記補間画像の前記未対応画素に対応付ける
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて検出する動きベクトルを用い、前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
動画像のフレームレート変換処理などにおいては、動画像を構成する時間軸方向に前後する２枚のフレームの間に内挿するための補間フレームが生成される。この補間フレームの生成には、当該２枚のフレームに基づいて動きベクトルが検出される。
【０００３】
２枚のフレームに基づいて動きベクトルを検出する方法としては、勾配法（例えば、特許文献１参照）やブロックマッチング法（例えば、特許文献２参照）が知られている。
【０００４】
【特許文献１】特開昭６０−１５８７８６号公報
【特許文献２】特開平８−１８６８２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
例えばブロックマッチング法では、前後する２枚のフレームｎ−１，ｎのうち、一方のフレーム（例えば、フレームｎ−１）を所定サイズのブロックに分割し、ブロック毎に他方のフレーム（例えば、フレームｎ）に設けた当該ブロックよりも広い探索範囲と比較して、図１に示すようにブロック単位で動きベクトルを検出する。そして、検出された動きベクトルを補間フレームの画素に対応付けることによって補間フレームの画素が決定される。
【０００６】
ところで図１から明らかなように、上述した方法では、動きベクトルを対応付けることができない補間フレームの画素（図１の領域ａ）が発生することがある。このような場合、補間フレームの領域ａには最適な画素を決定することができないので、領域ａは動きベクトルを対応付けることができた画素からなる他の領域に比較して画質が劣化してしまう。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、補間フレームのできるだけ多くの画素に動きベクトルを対応付けて、補間フレームの画質劣化を抑止できるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の第１の側面である画像処理装置は、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置において、前記第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を異なる複数のブロックに属する重複部分を設けて所定サイズの前記ブロックに分割する分割手段と、分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出する動きベクトル検出手段と、生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付ける対応付け手段とを含む。
【０００９】
本発明の第１の側面である画像処理装置は、前記対応付け手段によって対応付けられた前記動きベクトルに基づき、補間画像を構成する前記画素の画素値を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて決定することにより前記補正画像を生成する生成手段をさらに含むことができる。
【００１０】
前記対応付け手段は、生成する前記補間画像の画素に対して異なる複数の動きベクトルが対応付けられた場合、前記異なる複数の動きベクトルのうちの１つを選択する選択手段を含むようにすることができる。
【００１１】
前記選択手段は、生成する前記補間画像の画素に対して異なる複数の前記動きベクトルが対応付けられた場合、前記異なる複数の動きベクトルがそれぞれ検出された前記ブロックにおける前記重複部分の位置に基づき、前記異なる複数の動きベクトルのうちの１つを選択するようにすることができる。
【００１２】
前記選択手段は、生成する前記補間画像の画素に対して異なる複数の前記動きベクトルが対応付けられた場合、前記異なる複数の動きベクトルのそれぞれの信頼度に基づき、前記異なる複数の動きベクトルのうちの１つを選択するようにすることができる。
【００１３】
検出された前記動きベクトルを対応付けることができない未対応画素が前記補間画像上に存在する場合、前記分割手段は、前記基準画像上の前記未対応画素に対応する位置にブロックを新設し、前記動きベクトル検出手段は、新設された前記ブロックに対応する動きベクトルを検出し、対応付け手段は、新設された前記ブロックに対応して検出された前記動きベクトルを、前記補間画像の前記未対応画素に対応付けるようにすることができる。
【００１４】
本発明の第１の側面である画像処理装置は、前記基準画像上または前記参照画像上の少なくとも一方のエッジ部分を検出するエッジ検出手段をさらに含むことができ、検出された前記動きベクトルを対応付けることができない未対応画素が前記補間画像上に存在する場合、前記分割手段は、検出された前記エッジ部分であって、且つ、前記未対応画素に対応する位置にブロックを新設し、前記動きベクトル検出手段は、新設された前記ブロックに対応する動きベクトルを検出し、対応付け手段は、新設された前記ブロックに対応して検出された前記動きベクトルを、前記補間画像の前記未対応画素に対応付けるようにすることができる。
【００１５】
本発明の第１の側面である画像処理方法は、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の画像処理方法において、前記第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を異なる複数のブロックに属する重複部分を設けて所定サイズの前記ブロックに分割し、分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出し、生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付けるステップを含む。
【００１６】
本発明の第１の側面であるプログラムは、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の制御用のプログラムであって、前記第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を異なる複数のブロックに属する重複部分を設けて所定サイズの前記ブロックに分割し、分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出し、生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付けるステップを含む処理をコンピュータに実行させる。
【００１７】
本発明の第１の側面においては、第１および第２の画像の一方が基準画像、他方が参照画像とされ、前記基準画像が異なる複数のブロックに属する重複部分を設けて所定サイズの前記ブロックに分割され、分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルが検出され、生成する前記補間画像の画素に対して、検出された前記動きベクトルが対応付けられる。
【００１８】
本発明の第２の側面である画像処理装置は、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置において、前記第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を所定サイズの前記ブロックに分割する分割手段と、分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出する動きベクトル検出手段と、生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付ける対応付け手段とを含み、検出された前記動きベクトルを対応付けることができない未対応画素が前記補間画像上に存在する場合、前記分割手段は、前記基準画像上の前記未対応画素に対応する位置にブロックを新設し、前記動きベクトル検出手段は、新設された前記ブロックに対応する動きベクトルを検出し、対応付け手段は、新設された前記ブロックに対応して検出された前記動きベクトルを、前記補間画像の前記未対応画素に対応付ける。
【００１９】
本発明の第２の側面である画像処理装置は、前記対応付け手段によって対応付けられた前記動きベクトルに基づき、補間画像を構成する前記画素の画素値を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて決定することにより前記補正画像を生成する生成手段をさらに含むことができる。
【００２０】
本発明の第２の側面である画像処理装置は、前記基準画像上または前記参照画像上の少なくとも一方のエッジ部分を検出するエッジ検出手段をさらに含むことができ、検出された前記動きベクトルを対応付けることができない未対応画素が前記補間画像上に存在する場合、前記分割手段は、検出された前記エッジ部分であって、且つ、前記未対応画素に対応する位置にブロックを新設するようにすることができる。
【００２１】
本発明の第２の側面である画像処理方法は、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の画像処理方法において、前記第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を所定サイズの前記ブロックに分割し、分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出し、生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付け、検出された前記動きベクトルを対応付けることができない未対応画素が前記補間画像上に存在する場合、前記基準画像上の前記未対応画素に対応する位置にブロックを新設し、新設された前記ブロックに対応する動きベクトルを検出し、新設された前記ブロックに対応して検出された前記動きベクトルを、前記補間画像の前記未対応画素に対応付ける。
【００２２】
本発明の第２の側面であるプログラムは、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の制御用のプログラムであって、前記第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を所定サイズの前記ブロックに分割し、分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出し、生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付け、検出された前記動きベクトルを対応付けることができない未対応画素が前記補間画像上に存在する場合、前記基準画像上の前記未対応画素に対応する位置にブロックを新設し、新設された前記ブロックに対応する動きベクトルを検出し、新設された前記ブロックに対応して検出された前記動きベクトルを、前記補間画像の前記未対応画素に対応付けるステップを含む処理をコンピュータに実行させる。
【００２３】
本発明の第２の側面においては、第１および第２の画像の一方が基準画像、他方が参照画像とされ、前記基準画像が所定サイズのブロックに分割され、分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルが検出され、生成する前記補間画像の画素に対して、検出された前記動きベクトルが対応付けられる。そして、検出された前記動きベクトルを対応付けることができない未対応画素が前記補間画像上に存在する場合、前記基準画像上の前記未対応画素に対応する位置にブロックが新設され、新設された前記ブロックに対応する動きベクトルが検出され、新設された前記ブロックに対応して検出された前記動きベクトルが、前記補間画像の前記未対応画素に対応付けられる。
【発明の効果】
【００２４】
本発明の第１の側面によれば、補間フレームのできるだけ多くの画素に動きベクトルを対応付けることができる。よって補間フレームの画質劣化を抑止することができる。
【００２５】
本発明の第２の側面によれば、補間フレームのできるだけ多くの画素に動きベクトルを対応付けることができる。よって補間フレームの画質劣化を抑止することができる。
【発明を実施するための最良の形態】
【００２６】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２７】
請求項１に記載の画像処理装置（例えば、図２のフレームレート変換装置１０）は、第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を異なる複数のブロックに属する重複部分を設けて所定サイズの前記ブロックに分割する分割手段（例えば、図２のブロック設定部１５）と、分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出する動きベクトル検出手段（例えば、図２の動きベクトル検出部１４）と、生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付ける対応付け手段（例えば、動きベクトル補正部１６）とを含む。
【００２８】
請求項２に記載の画像処理装置は、前記対応付け手段によって対応付けられた前記動きベクトルに基づき、補間画像を構成する前記画素の画素値を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて決定することにより前記補正画像を生成する生成手段（例えば、図２の補間フレーム生成部１８）をさらに含む。
【００２９】
請求項７に記載の画像処理装置は、前記基準画像上または前記参照画像上の少なくとも一方のエッジ部分を検出するエッジ検出手段（例えば、図１４のエッジ検出部５１）をさらに含む。
【００３０】
請求項８に記載の画像処理方法、および請求項９に記載のプログラムは、前記第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を異なる複数のブロックに属する重複部分を設けて所定サイズの前記ブロックに分割し（例えば、図７のステップＳ１）、分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出し（例えば、図７のステップＳ２）、生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付ける（例えば、図７のステップＳ３）ステップを含む。
【００３１】
請求項１０に記載の画像処理装置（例えば、図１６のフレームレート変換装置６０）は、第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を所定サイズの前記ブロックに分割する分割手段（例えば、図１６のブロック設定部６２）と、分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出する動きベクトル検出手段（例えば、図１６の動きベクトル検出部６１）と、生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付ける対応付け手段（例えば、図１６の動きベクトル補正部６３）とを含む。
【００３２】
請求項１１に記載の画像処理装置は、前記対応付け手段によって対応付けられた前記動きベクトルに基づき、補間画像を構成する前記画素の画素値を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて決定することにより前記補正画像を生成する生成手段（例えば、図１６の補間フレーム生成部１８）をさらに含む。
【００３３】
請求項１２に記載の画像処理装置は、前記基準画像上または前記参照画像上の少なくとも一方のエッジ部分を検出するエッジ検出手段をさらに含む（例えば、図２０のエッジ検出部７１）。
【００３４】
請求項１３に記載の画像処理方法、および請求項１４に記載のプログラムは、第１および第２の画像の一方を基準画像、他方を参照画像とし、前記基準画像を所定サイズの前記ブロックに分割し（例えば、図１９のステップＳ６１）、分割された前記基準画像と前記参照画像に基づき、前記ブロック毎に動きベクトルを検出し（例えば、図１９のステップＳ６２）、生成する前記補間画像の画素に対して、検出された前記動きベクトルを対応付け（例えば、図１９のステップＳ６３）、検出された前記動きベクトルを対応付けることができない未対応画素が前記補間画像上に存在する場合、前記基準画像上の前記未対応画素に対応する位置にブロックを新設し（例えば、図１９のステップＳ６５）、新設された前記ブロックに対応する動きベクトルを検出し（例えば、図１９のステップＳ６６）、新設された前記ブロックに対応して検出された前記動きベクトルを、前記補間画像の前記未対応画素に対応付ける（例えば、図１９のステップＳ６７）ステップを含む。
【００３５】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００３６】
図２は本発明の一実施の形態である、入力動画像データを構成する一連のフレームに、フレームｎ−１，ｎから検出される動きベクトルに基づいて生成する補間フレームを内挿してフレームレートを変換するフレームレート変換装置の第１の構成例を示している。なお、フレームｎ−１とフレームｎの間にはシーンチェンジが存在しないことを前提とする。
【００３７】
このフレームレート変換装置１０は、前段からの入力動画像データを１フレームずつ後段に出力する画像データ供給部１１、前段からの入力動画像データを１フレーム周期だけ遅延させる１フレーム遅延部１２、１フレーム周期だけ遅延された入力動画像データを１フレームずつ後段に出力する画像データ供給部１３、および、画像データ供給部１１から供給されるフレームｎ（ｎ番目のフレームを意味する）と画像データ供給部１３から供給されるフレームｎ−１（ｎ−１番目のフレームを意味する）の一方を基準画像、他方を参照画像とするブロックマッチング法によって基準画像に設けるブロック毎の動きベクトルを検出する動きベクトル検出部１４から構成される。
【００３８】
動きベクトル検出部１４は、内蔵するブロック設定部１５によって基準画像を所定サイズのブロックに分割し、当該ブロックよりも大きな探索範囲を参照画像に設けて比較し、ブロック毎に動きベクトルを検出する。なお、この動きベクトルの検出過程で演算するブロックを構成する画素と探索範囲を構成する画素の差分の総和を動きベクトルの信頼度として利用することができる。
【００３９】
ブロック設定部１５は、基準画像を所定サイズのブロックに分割するが、この際、各ブロックに他のブロックと重なる重複部分を設けるようにする。すなわち、ブロックマッチング法における従来のブロック分割（図３に示すように、重複する部分が生じないようにブロックを分割する）ではなく、図４に示すように、ブロックの上下左右の四辺のうち、少なくとも二辺に隣接するブロックとの重複部分が生じるように基準画像をブロックに分割する。
【００４０】
ただし、重複部分については、ブロックの上下左右の四辺のうち、一辺だけが隣接するブロックと重複するように基準画像をブロックに分割するようにする方法も考えられる。
【００４１】
図２に戻る。さらにフレームレート変換装置１０は、検出された動きベクトルを補間フレームの各画素に対応付ける動きベクトル補正部１６、各画素に対応付けられた動きベクトルに基づいて補間フレームを生成する補間フレーム生成部１８、前段からの入力動画像データを補間フレームが生成される時間だけ遅延させる遅延部１９、および、遅延された入力動画像データに補間フレームを内挿する補間フレーム挿入部２０から構成される。
【００４２】
なお、フレーム単位で処理される動画像データには、各画素の座標情報と画素値が含まれているものとする。
【００４３】
動きベクトル補正部１６は、優先領域判定部１７を内蔵している。優先領域判定部１７は、例えば図５に示す領域ａのように異なる複数の動きベクトルが対応付けられている補間フレームの画素が存在する場合、当該異なる複数の動きベクトルが検出された基準画像のブロックにおける重複部分の位置（すなわち、上下左右の四辺のいずれか）に応じて、異なる複数の動きベクトルのうちの１つの動きベクトルを選択する。
【００４４】
例えば図４に示すように、分割されたブロックに１から９まで番号を付与すると、１番のブロックは下および右の二辺に重複部分があり、２番のブロックには下および左右の三辺に重複部分があり、３番のブロックは下および左の二辺に重複部分があり、５番のブロックには上下左右の四辺に重複部分がある。すなわち、分割されたブロックには最も多い場合で上下左右の四辺に重複部分が存在し、その重複部分に対して最大で４つの異なる動きベクトルが検出され得る。
【００４５】
そこで、例えば図６Ａに示すように、各ブロックの上および右の二辺の重複部分（斜線部分）を除く部分については当該ブロックに対して検出された動きベクトルを優先して選択するようにし、上および右の二辺の重複部分（斜線部分）については他のブロックに対して検出された動きベクトルを優先して選択するようにする。
【００４６】
図６Ａに示された規則を採用した場合、基準画像上の各重複部分には図６Ｂに示す番号のブロックに対して検出された動きベクトルが優先されることになる。例えば５番のブロックの左上隅の重複部分には、２番のブロックに対して検出された動きベクトルが優先される。また例えば５番のブロックの右上隅の重複部分には３番のブロックに対して検出された動きベクトルが、５番のブロックの左下隅の重複部分には５番のブロックに対して検出された動きベクトルが、５番のブロックの右下隅の重複部分には６番のブロックに対して検出された動きベクトルがそれぞれ優先される。
【００４７】
また例えば図６Ｃに示すように、各ブロックの下および左の二辺の重複部分（斜線部分）を除く部分については当該ブロックに対して検出された動きベクトルを優先して選択するようにし、下および左の二辺の重複部分（斜線部分）については他のブロックに対して検出された動きベクトルを優先して選択するようにしてもよい。
【００４８】
図６Ｃに示された規則を採用した場合、基準画像上の各重複部分には図６Ｄに示す番号のブロックに対して検出された動きベクトルが優先されることになる。例えば５番のブロックの左上隅の重複部分には、４番のブロックに対して検出された動きベクトルが優先される。また例えば５番のブロックの右上隅の重複部分には５番のブロックに対して検出された動きベクトルが、５番のブロックの左下隅の重複部分には７番のブロックに対して検出された動きベクトルが、５番のブロックの右下の重複部分には８番のブロックに対して検出された動きベクトルがそれぞれ優先される。
【００４９】
次に、フレームレート変換装置１０の動作について、フレームｎ−１とフレームｎの間に内挿する補間フレームを生成する場合を例として、図７のフローチャートを参照して説明する。
【００５０】
フレームレート変換装置１０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部１１、１フレーム遅延部１２、および遅延部１９に供給される。
【００５１】
そして、画像データ供給部１１を介してフレームｎが、１フレーム遅延部１２および画像データ供給部１３を介してフレームｎ−１が動きベクトル検出部１４に供給される。
【００５２】
ステップＳ１において、動きベクトル検出部１４は、フレームｎ−１，ｎの一方（例えば、フレームｎ−１）を基準画像、他方（いまの場合、フレームｎ）を参照画像に指定する。ブロック設定部１５は、基準画像を所定サイズのブロックに重複部分を設けて分割する。ステップＳ２において、動きベクトル検出部１４は、基準画像の各ブロックにそれぞれ対応して参照画像に探索範囲を設け、各ブロックと探索範囲を比較し、画素の差分の総和が最小となる位置を特定してブロック毎に動きベクトルを検出する。そして、検出した動きベクトルを動きベクトル補正部１６に出力する。
【００５３】
ステップＳ３において、動きベクトル補正部１６は、後段において生成される補間フレームの各画素に、動きベクトル検出部１４によって検出された動きベクトルを対応付ける。
【００５４】
ステップＳ４において、動きベクトル補正部１６は、異なる複数の動きベクトルが対応付けられている補間フレームの画素（例えば図５に示す領域ａの画素）が存在するか否かを判定する。異なる複数の動きベクトルが対応付けられている補間フレームの画素が存在すると判定された場合、処理はステップＳ５に進められる。
【００５５】
ステップＳ５において、優先領域判定部１７は、予め設定されている優先領域の規則（例えば、上述した図６Ａまたは図６Ｃの規則）に従い、異なる複数の動きベクトルが検出された基準画像のブロックにおける重複部分の位置（すなわち、上下左右の四辺のいずれか）に応じて、異なる複数の動きベクトルのうちの１つの動きベクトルを選択する。
【００５６】
なお、ステップＳ４において、異なる複数の動きベクトルが対応付けられている補間フレームの画素が存在しないと判定された場合、ステップＳ５はスキップされ、処理はステップＳ６に進められる。
【００５７】
また、ステップＳ２乃至Ｓ５の処理を経ても動きベクトルが対応付けられていない補間フレームの画素に対しては、その近傍の画素に対して対応付けられた動きベクトルを平均して対応付けたりすればよい。
【００５８】
ステップＳ６において、動きベクトル補正部１６は、生成される補間フレームの全ての画素に対応付けられた動きベクトルを示す情報を補間フレーム生成部１８に出力する。
【００５９】
補間フレーム生成部１８は、補間フレームの画素の画素値を、対応付けられた動きベクトルに基づいて基準画像の画素を移動して決定することにより補間フレームを生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部２０に出力する。
【００６０】
補間フレーム挿入部２０は、遅延部１９から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【００６１】
以上で、フレームレート変換装置１０の動作の説明を終了する。以上説明したフレームレート変換装置１０の動作によれば、基準画像を分割したブロックに重複部分を設けたので、補間フレームのより多くの画素に動きベクトルを対応付けることができる。よって補間フレームの画素値を正確に決定することができ、補間フレームの画質劣化を抑止することができる。
【００６２】
次に、図８は本発明の一実施の形態であるフレームレート変換装置の第２の構成例を示している。このフレームレート変換装置３０は、上述した第１の構成例であるフレームレート変換装置１０の動きベクトル補正部１６を、動きベクトル補正部３１に置換したものであり、その他の構成要素についてはフレームレート変換装置１０の構成要素と共通である。
【００６３】
動きベクトル補正部３１は、信頼度判定部３２を内蔵しており、動きベクトル検出部１４によって検出された動きベクトルを、後段において生成される補間フレームの各画素に対応付けるようになされている。信頼度判定部３２は、例えば図５に示す領域ａのように異なる複数の動きベクトルが対応付けられている補間フレームの画素が存在する場合、当該異なる複数の動きベクトルのうち、信頼度が最も高い動きベクトルを選択する。
【００６４】
なお、動きベクトルの信頼度としては、動きベクトル検出部１４による動きベクトル検出の過程で演算される、ブロックの画素と探索範囲の画素との差分の総和を利用することができる。
【００６５】
動きベクトル補正部３１以外の構成要素については、フレームレート変換装置１０と共通であって同一の符号を付しているので、その説明は省略する。
【００６６】
次に、フレームレート変換装置３０の動作について、フレームｎ−１とフレームｎの間に内挿する補間フレームを生成する場合を例として、図９のフローチャートを参照して説明する。
【００６７】
フレームレート変換装置３０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部１１、１フレーム遅延部１２、および遅延部１９に供給される。
【００６８】
そして、画像データ供給部１１を介してフレームｎが、１フレーム遅延部１２および画像データ供給部１３を介してフレームｎ−１が動きベクトル検出部１４に供給される。
【００６９】
ステップＳ１１において、動きベクトル検出部１４は、フレームｎ−１，ｎの一方（例えば、フレームｎ−１）を基準画像、他方（いまの場合、フレームｎ）を参照画像に指定する。ブロック設定部１５は、基準画像を所定サイズのブロックに重複部分を設けて分割する。ステップＳ１２において、動きベクトル検出部１４は、基準画像の各ブロックにそれぞれ対応して参照画像に探索範囲を設け、各ブロックと探索範囲を比較し、画素の差分の総和が最小となる位置を特定してブロック毎に動きベクトルを検出する。そして、検出した動きベクトルをその信頼度（演算された画素の差分の総和）とともに動きベクトル補正部３１に出力する。
【００７０】
ステップＳ１３において、動きベクトル補正部３１は、後段において生成される補間フレームの各画素に、動きベクトル検出部１４によって検出された動きベクトルを対応付ける。
【００７１】
ステップＳ１４において、動きベクトル補正部３１は、異なる複数の動きベクトルが対応付けられている補間フレームの画素（例えば図５に示す領域ａの画素）が存在するか否かを判定する。異なる複数の動きベクトルが対応付けられている補間フレームの画素が存在すると判定された場合、処理はステップＳ１５に進められる。
【００７２】
ステップＳ１５において、信頼度判定部３２は、異なる複数の動きベクトルのうち、信頼度が最も高い（すなわち、演算された画素の差分の総和が最小の）動きベクトルを選択する。
【００７３】
なお、ステップＳ１４において、異なる複数の動きベクトルが対応付けられている補間フレームの画素が存在しないと判定された場合、ステップＳ１５はスキップされ、処理はステップＳ１６に進められる。
【００７４】
また、ステップＳ１２乃至Ｓ１５の処理を経ても動きベクトルが対応付けられていない補間フレームの画素に対しては、その近傍の画素に対して対応付けられた動きベクトルを平均して対応付けたりすればよい。
【００７５】
ステップＳ１６において、動きベクトル補正部３１は、生成される補間フレームの全ての画素に対応付けられた動きベクトルを示す情報を補間フレーム生成部１８に出力する。
【００７６】
補間フレーム生成部１８は、補間フレームの画素の画素値を、対応付けられた動きベクトルに基づいて基準画像の画素を移動して決定することにより補間フレームを生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部２０に出力する。補間フレーム挿入部２０は、遅延部１９から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【００７７】
以上で、フレームレート変換装置３０の動作の説明を終了する。以上説明したフレームレート変換装置３０の動作によれば、基準画像を分割したブロックに重複部分を設けたので、補間フレームのより多くの画素に動きベクトルを信頼度に基づいて精度よく対応付けることができる。よって、補間フレームの画素値を正確に決定することができ、補間フレームの画質劣化を抑止することができる。
【００７８】
ところで、上述したフレームレート変換装置１０,３０のように、基準画像を分割したブロックに重複部分を設けることにより、検出された動きベクトルを補間フレームのより多くの画素に対応付けることができた。しかしながら、例えば図１０に示すように、隣接するブロックの動きベクトルが大きく異なる場合、検出された動きベクトルを対応付けることができない補間フレームの画素（例えば、図１０の領域ｂ）が発生し得る。
【００７９】
そこで、この領域ｂの画素に対しても、検出された動きベクトルを対応付けることができるようになされている、本発明の一実施の形態であるフレームレート変換装置の第３の構成例を提案する。
【００８０】
図１１はフレームレート変換装置の第３の構成例を示している。このフレームレート変換装置４０は、上述した第１の構成例であるフレームレート変換装置１０の動きベクトル検出部１４および動きベクトル補正部１６を、動きベクトル検出部４１および動きベクトル補正部４３に置換したものである。
【００８１】
動きベクトル検出部４１は、内蔵するブロック設定部４２により、重複部分を設けて所定サイズのブロックに基準画像を分割し、当該ブロックよりも大きな探索範囲を参照画像に設けて比較し、ブロック毎に動きベクトルを検出する。なお、この動きベクトルの検出過程で演算するブロックを構成する画素と探索範囲を構成する画素の差分の総和を動きベクトルの信頼度として利用することができる。
【００８２】
さらに、動きベクトル検出部４１は、例えば、図１０の領域ｂの画素のように、検出された動きベクトルを対応付けることができない補間フレームの画素が存在する旨を動きベクトル補正部４３から通知された場合、図１２に示すように、基準画像上に補正フレームの領域ｂに相当する領域を含む新たにブロック（以下、新設ブロックと称する）をブロック設定部４２によって設け、新設ブロックに対する動きベクトルを検出する。なお、検出結果は動きベクトル補正部４３に出力される。
【００８３】
動きベクトル補正部４３は、優先領域判定部４４または信頼度判定部４５の少なくとも一方を内蔵しており、動きベクトル検出部４１によって検出された動きベクトルを、後段において生成される補間フレームの各画素に対応付けるようになされている。そして、例えば、図１０の領域ｂの画素のように、検出された動きベクトルを対応付けることができない補間フレームの画素が存在する場合、その旨と当該画素の位置を示す情報を動きベクトル検出部４１に通知する。
【００８４】
優先領域判定部４４は、第１の実施の形態であるフレームレート変換装置１０の優先領域判定部１７と同様に動作し、例えば図５に示された領域ａのように異なる複数の動きベクトルが対応付けられている補間フレームの画素が存在する場合、当該異なる複数の動きベクトルが検出された基準画像のブロックにおける重複部分の位置（すなわち、上下左右の四辺のいずれか）に応じて、異なる複数の動きベクトルのうちの１つの動きベクトルを選択する。
【００８５】
信頼度判定部４５は、第２の実施の形態であるフレームレート変換装置３０の信頼度判定部３２と同様に動作し、例えば図５に示す領域ａのように異なる複数の動きベクトルが対応付けられている補間フレームの画素が存在する場合、当該異なる複数の動きベクトルのうち、信頼度が最も高い動きベクトルを選択する。
【００８６】
なお、動きベクトル補正部４３に優先領域判定部４４および信頼度判定部４５の両方が設けられている場合、いずれか一方のみが動作すればよい。
【００８７】
動きベクトル検出部４１および動きベクトル補正部４３以外の構成要素については、フレームレート変換装置１０と共通であって同一の符号を付しているので、その説明は省略する。
【００８８】
次に、フレームレート変換装置４０の動作について、フレームｎ−１とフレームｎの間に内挿する補間フレームを生成する場合を例として、図１３のフローチャートを参照して説明する。
【００８９】
フレームレート変換装置４０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部１１、１フレーム遅延部１２、および遅延部１９に供給される。
【００９０】
そして、画像データ供給部１１を介してフレームｎが、１フレーム遅延部１２および画像データ供給部１３を介してフレームｎ−１が動きベクトル検出部４１に供給される。
【００９１】
ステップＳ２１において、動きベクトル検出部４１は、フレームｎ−１，ｎの一方（例えば、フレームｎ−１）を基準画像、他方（いまの場合、フレームｎ）を参照画像に指定する。ブロック設定部４２は、基準画像を所定サイズのブロックに重複部分を設けて分割する。ステップＳ２２において、動きベクトル検出部４１は、基準画像の各ブロックにそれぞれ対応して参照画像に探索範囲を設け、各ブロックと探索範囲を比較し、画素の差分の総和が最小となる位置を特定してブロック毎に動きベクトルを検出する。そして、検出した動きベクトルをその信頼度（演算された画素の差分の総和）とともに動きベクトル補正部４３に出力する。
【００９２】
ステップＳ２３において、動きベクトル補正部４３は、後段において生成される補間フレームの各画素に、ステップ２２の処理で検出された動きベクトルを対応付ける。
【００９３】
ステップＳ２４において、動きベクトル補正部４３は、異なる複数の動きベクトルが対応付けられている補間フレームの画素（例えば図５に示す領域ａの画素）が存在するか否かを判定する。異なる複数の動きベクトルが対応付けられている補間フレームの画素が存在すると判定された場合、処理はステップＳ２５に進められる。
【００９４】
ステップＳ２５において、動きベクトル補正部４３は、優先領域判定部４４または信頼度判定部４５のいずれか一方により、異なる複数の動きベクトルのうちの１つの動きベクトルを選択する。
【００９５】
なお、ステップＳ２４において、異なる複数の動きベクトルが対応付けられている補間フレームの画素が存在しないと判定された場合、ステップＳ２５はスキップされ、処理はステップＳ２６に進められる。
【００９６】
ステップＳ２６において、動きベクトル補正部４３は、ステップＳ２２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素（図１０の領域ｂの画素）が存在するか否かを判定し、当該画素が存在すると判定した場合、処理をステップＳ２７に進める。
【００９７】
ステップＳ２７において、動きベクトル補正部４３は、ステップＳ２２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素が存在した旨と当該画素の位置を示す情報を動きベクトル検出部４１に通知する。この通知に対応し、動きベクトル検出部４１のブロック設定部４２は、当該画素の位置を含むように基準画像上に新設ブロックを設定する。ステップＳ２８において、動きベクトル検出部４１は、基準画像の新設ブロックに対応する動きベクトルを、ブロックマッチング法を用いて検出し、検出結果を動きベクトル補正部４３に出力する。
【００９８】
ステップＳ２９において、動きベクトル補正部４３は、ステップＳ２８の処理で検出された動きベクトルを、ステップＳ２６の処理段階で動きベクトルが対応付けられていなかった補間フレームの画素に対応付ける。
【００９９】
なお、既にステップＳ２２の処理で検出された動きベクトルを対応付けることができている補間フレームの画素に対し、ステップＳ２８の処理で検出された動きベクトルも対応付けが可能な場合、信頼度の高い方の動きベクトルを対応付けるようにしてもよい。
【０１００】
ステップＳ２９の処理を経ても動きベクトルが対応付けられていない補間フレームの画素に対しては、その近傍の画素に対して対応付けられた動きベクトルを平均して対応付けたりすればよい。
【０１０１】
また、ステップＳ２６において、ステップＳ２２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素が存在しないと判定された場合、ステップＳ２７乃至Ｓ２９はスキップされて、処理はステップＳ３０に進められる。
【０１０２】
ステップＳ３０において、動きベクトル補正部４３は、生成される補間フレームの全ての画素に対応付けられた動きベクトルを示す情報を補間フレーム生成部１８に出力する。
【０１０３】
補間フレーム生成部１８は、補間フレームの画素の画素値を、対応付けられた動きベクトルに基づいて基準画像の画素を移動して決定することにより補間フレームを生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部２０に出力する。補間フレーム挿入部２０は、遅延部１９から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【０１０４】
以上で、フレームレート変換装置４０の動作の説明を終了する。以上説明したフレームレート変換装置４０の動作によれば、基準画像を分割したブロックに重複部分を設け、さらに新設ブロックも追加して設けるようにしたので、補間フレームのより多くの画素に動きベクトルを信頼度に基づいて精度よく対応付けることができる。よって、補間フレームの画素値を正確に決定することができ、補間フレームの画質劣化を抑止することができる。
【０１０５】
ところで、補間フレームの画素に動きベクトルを対応付けることができないことに起因する画質の劣化は、画像内のエッジ部分において顕著である。換言すれば、補間フレームの画素に動きベクトルを対応付けることができなくても、その画素が画像内のエッジ部分でなければ、画質の劣化はそれほど目立たない。そこで、新設ブロックを画像内のエッジ部分に限定することによって、動きベクトルを検出する際の演算量をさらに削減できるフレームレート変換装置の第４の構成例を提案する。
【０１０６】
図１４は本発明の一実施の形態であるフレームレート変換装置の第４の構成例を示している。このフレームレート変換装置５０は、図１１に示された第３の構成例に対して、エッジ検出部５１を追加したものである。
【０１０７】
エッジ検出部５１は、動きベクトル検出部４１から供給される参照画像の上のエッジ部分を検出して、その検出結果を動きベクトル検出部４１に通知するようになされている。フレームレート変換装置５０のエッジ検出部５１以外の構成要素については、フレームレート変換装置３０と共通であって同一の符号を付しているので、その説明は省略する。
【０１０８】
フレームレート変換装置５０の動作について、フレームｎ−１とフレームｎの間に内挿する補間フレームを生成する場合を例として、図１５のフローチャートを参照して説明する。
【０１０９】
フレームレート変換装置５０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部１１、１フレーム遅延部１２、および遅延部１９に供給される。
【０１１０】
そして、画像データ供給部１１を介してフレームｎが、１フレーム遅延部１２および画像データ供給部１３を介してフレームｎ−１が動きベクトル検出部４１に供給される。
【０１１１】
ステップＳ４１において、動きベクトル検出部４１は、フレームｎ−１，ｎの一方（例えば、フレームｎ−１）を基準画像、他方（いまの場合、フレームｎ）を参照画像に指定する。ブロック設定部４２は、基準画像を所定サイズのブロックに重複部分を設けて分割する。ステップＳ４２において、動きベクトル検出部４１は、基準画像の各ブロックにそれぞれ対応して参照画像に探索範囲を設け、各ブロックと探索範囲を比較し、画素の差分の総和が最小となる位置を特定してブロック毎に動きベクトルを検出する。そして、検出した動きベクトルをその信頼度（演算された画素の差分の総和）とともに動きベクトル補正部４３に出力する。
【０１１２】
ステップＳ４３において、動きベクトル補正部４３は、後段において生成される補間フレームの各画素に、ステップＳ４２の処理で検出された動きベクトルを対応付ける。
【０１１３】
ステップＳ４４において、動きベクトル補正部４３は、異なる複数の動きベクトルが対応付けられている補間フレームの画素（例えば図５に示す領域ａの画素）が存在するか否かを判定する。異なる複数の動きベクトルが対応付けられている補間フレームの画素が存在すると判定された場合、処理はステップＳ４５に進められる。
【０１１４】
ステップＳ４５において、動きベクトル補正部４３は、優先領域判定部４４または信頼度判定部４５のいずれか一方により、異なる複数の動きベクトルのうちの１つの動きベクトルを選択する。
【０１１５】
なお、ステップＳ４４において、異なる複数の動きベクトルが対応付けられている補間フレームの画素が存在しないと判定された場合、ステップＳ４５はスキップされ、処理はステップＳ４６に進められる。
【０１１６】
ステップＳ４６において、動きベクトル補正部４３は、ステップＳ４２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素（図１０の領域ｂの画素）が存在するか否かを判定し、当該画素が存在すると判定した場合、処理をステップＳ４７に進める。
【０１１７】
ステップＳ４７において、動きベクトル補正部４３は、ステップＳ４２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素が存在した旨と当該画素の位置を示す情報を動きベクトル検出部４１に通知する。この通知に対応し、動きベクトル検出部４１は、参照画像をエッジ検出部５１に供給する。エッジ検出部５１は、参照画像上のエッジ部分を検出して検出結果を動きベクトル検出部５１に通知する。なお、エッジ検出時の演算量を低減するため、動きベクトルを対応付けることができなかった補間フレームの画素とその画素周辺領域のみのエッジ部分を検出するようにしてもよい。
【０１１８】
ステップＳ４８において、動きベクトル検出部４１のブロック設定部４２は、ステップＳ４２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素の位置を含み、かつ、エッジ検出部５１によって検出されたエッジ部分を含むように基準画像上に新設ブロックを設定する。
【０１１９】
ステップＳ４９において、動きベクトル検出部４１は、基準画像の新設ブロックに対応する動きベクトルを、ブロックマッチング法を用いて検出し、検出結果を動きベクトル補正部４３に出力する。
【０１２０】
ステップＳ５０において、動きベクトル補正部４３は、ステップＳ４９の処理で検出された動きベクトルを、ステップＳ４６の処理段階で動きベクトルが対応付けられていなかった補間フレームの画素に対応付ける。
【０１２１】
なお、既にステップＳ４２の処理で検出された動きベクトルを対応付けることができている補間フレームの画素に対し、ステップＳ４９の処理で検出された動きベクトルも対応付けが可能な場合、信頼度の高い方の動きベクトルを対応付けるようにしてもよい。
【０１２２】
ステップＳ５０の処理を経ても動きベクトルが対応付けられていない補間フレームの画素に対しては、その近傍の画素に対して対応付けられた動きベクトルを平均して対応付けたりすればよい。
【０１２３】
また、ステップＳ４６において、ステップＳ４２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素が存在しないと判定された場合、ステップＳ４７乃至Ｓ５０はスキップされて、処理はステップＳ５１に進められる。
【０１２４】
ステップＳ５１において、動きベクトル補正部４３は、生成される補間フレームの全ての画素に対応付けられた動きベクトルを示す情報を補間フレーム生成部１８に出力する。
【０１２５】
補間フレーム生成部１８は、補間フレームの画素の画素値を、対応付けられた動きベクトルに基づいて基準画像の画素を移動して決定することにより補間フレームを生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部２０に出力する。補間フレーム挿入部２０は、遅延部１９から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【０１２６】
以上で、フレームレート変換装置５０の動作の説明を終了する。以上説明したフレームレート変換装置５０の動作によれば、基準画像を分割したブロックに重複部分を設け、さらに新設ブロックも追加して設けるようにしたので、補間フレームのより多くの画素に動きベクトルを信頼度に基づいて精度よく対応付けることができる。よって、補間フレームの画素値を正確に決定することができ、補間フレームの画質劣化を抑止することができる。また、新設ブロックをエッジ部分に限定して設けるようにしたので、動きベクトル検出に際しても演算量をフレームレート変換装置３０に比較して減少させることができる。
【０１２７】
次に図１６はフレームレート変換装置の第５の構成例を示している。このフレームレート変換装置６０は、上述した第１の構成例であるフレームレート変換装置１０の動きベクトル検出部１４および動きベクトル補正部１６を、動きベクトル検出部６１および動きベクトル補正部６３に置換したものである。
【０１２８】
動きベクトル検出部６１は、内蔵するブロック設定部６２によって基準画像を、図３に示されたように重複部分を設けることなく所定サイズのブロックに分割し、当該ブロックよりも大きな探索範囲を参照画像に設けて比較し、ブロック毎に動きベクトルを検出する。  
【０１２９】
さらに、動きベクトル検出部６１は、例えば、図１７の領域ｃの画素のように、検出された動きベクトルを対応付けることができない補間フレームの画素が存在する旨を動きベクトル補正部６３から通知された場合、図１８に示すように、基準画像上に補正フレームの領域ｃに相当する領域を含む新たにブロック（以下、新設ブロックと称する）をブロック設定部６２によって設け、新設ブロックに対する動きベクトルを検出する。なお、検出結果は動きベクトル補正部６３に出力される。
【０１３０】
動きベクトル補正部６３は、動きベクトル検出部６１によって検出された動きベクトルを、後段において生成される補間フレームの各画素に対応付けるようになされている。そして、例えば、図１７の領域ｃの画素のように、検出された動きベクトルを対応付けることができない補間フレームの画素が存在する場合、その旨と当該画素の位置を示す情報を動きベクトル検出部６１に通知する。
【０１３１】
動きベクトル検出部６１および動きベクトル補正部６３以外の構成要素については、フレームレート変換装置１０と共通であって同一の符号を付しているので、その説明は省略する。
【０１３２】
次に、フレームレート変換装置６０の動作について、フレームｎ−１とフレームｎの間に内挿する補間フレームを生成する場合を例として、図１９のフローチャートを参照して説明する。
【０１３３】
フレームレート変換装置６０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部１１、１フレーム遅延部１２、および遅延部１９に供給される。
【０１３４】
そして、画像データ供給部１１を介してフレームｎが、１フレーム遅延部１２および画像データ供給部１３を介してフレームｎ−１が動きベクトル検出部６１に供給される。
【０１３５】
ステップＳ６１において、動きベクトル検出部６１は、フレームｎ−１，ｎの一方（例えば、フレームｎ−１）を基準画像、他方（いまの場合、フレームｎ）を参照画像に指定する。ブロック設定部６２は、基準画像を所定サイズのブロックに分割する。ステップＳ６２において、動きベクトル検出部６１は、基準画像の各ブロックにそれぞれ対応して参照画像に探索範囲を設け、各ブロックと探索範囲を比較し、画素の差分の総和が最小となる位置を特定してブロック毎に動きベクトルを検出し、検出した動きベクトルを動きベクトル補正部６３に出力する。
【０１３６】
ステップＳ６３において、動きベクトル補正部６３は、後段において生成される補間フレームの各画素に、ステップＳ６２の処理で検出された動きベクトルを対応付ける。
【０１３７】
ステップＳ６４において、動きベクトル補正部６３は、ステップＳ６２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素（図１７の領域ｃの画素）が存在するか否かを判定し、当該画素が存在すると判定した場合、処理をステップＳ６５に進める。
【０１３８】
ステップＳ６５において、動きベクトル補正部６３は、ステップＳ６２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素が存在した旨と当該画素の位置を示す情報を動きベクトル検出部６１に通知する。この通知に対応し、動きベクトル検出部６１のブロック設定部６２は、ステップＳ６２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素の位置を含むように基準画像上に新設ブロックを設定する。
【０１３９】
ステップＳ６６において、動きベクトル検出部６１は、基準画像の新設ブロックに対応する動きベクトルを、ブロックマッチング法を用いて検出し、検出結果を動きベクトル補正部６３に出力する。
【０１４０】
ステップＳ６７において、動きベクトル補正部６３は、ステップＳ６６の処理で検出された動きベクトルを、ステップＳ６４の処理段階で動きベクトルが対応付けられていなかった補間フレームの画素に対応付ける。
【０１４１】
なお、既にステップＳ６２の処理で検出された動きベクトルを対応付けることができている補間フレームの画素に対し、ステップＳ６６の処理で検出された動きベクトルも対応付けが可能な場合、信頼度の高い方の動きベクトルを対応付けるようにしてもよい。
【０１４２】
ステップＳ６７の処理を経ても動きベクトルが対応付けられていない補間フレームの画素に対しては、その近傍の画素に対して対応付けられた動きベクトルを平均して対応付けたりすればよい。
【０１４３】
また、ステップＳ６４において、ステップＳ６２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素が存在しないと判定された場合、ステップＳ６５乃至Ｓ６７はスキップされて、処理はステップＳ６８に進められる。
【０１４４】
ステップＳ６８において、動きベクトル補正部６３は、生成される補間フレームの全ての画素に対応付けられた動きベクトルを示す情報を補間フレーム生成部１８に出力する。
【０１４５】
補間フレーム生成部１８は、補間フレームの画素の画素値を、対応付けられた動きベクトルに基づいて基準画像の画素を移動して決定することにより補間フレームを生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部２０に出力する。補間フレーム挿入部２０は、遅延部１９から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【０１４６】
以上で、フレームレート変換装置６０の動作の説明を終了する。以上説明したフレームレート変換装置６０の動作によれば、新設ブロックを追加して設けるようにしたので、補間フレームのより多くの画素に動きベクトルを信頼度に基づいて精度よく対応付けることができる。よって、補間フレームの画素値を正確に決定することができ、補間フレームの画質劣化を抑止することができる。
【０１４７】
次に、新設ブロックを画像内のエッジ部分に限定することによって、動きベクトルを検出する際の演算量をさらに削減できるフレームレート変換装置の第６の構成例を提案する。
【０１４８】
図２０は本発明の一実施の形態であるフレームレート変換装置の第６の構成例を示している。このフレームレート変換装置７０は、図１６に示された第５の構成例に対して、エッジ検出部７１を追加したものである。
【０１４９】
エッジ検出部７１は、動きベクトル検出部６１から供給される参照画像の上のエッジ部分を検出して、その検出結果を動きベクトル検出部６１に通知するようになされている。フレームレート変換装置７０のエッジ検出部７１以外の構成要素については、フレームレート変換装置６０と共通であって同一の符号を付しているので、その説明は省略する。
【０１５０】
フレームレート変換装置７０の動作について、フレームｎ−１とフレームｎの間に内挿する補間フレームを生成する場合を例として、図２１のフローチャートを参照して説明する。
【０１５１】
フレームレート変換装置７０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部１１、１フレーム遅延部１２、および遅延部１９に供給される。
【０１５２】
そして、画像データ供給部１１を介してフレームｎが、１フレーム遅延部１２および画像データ供給部１３を介してフレームｎ−１が動きベクトル検出部６１に供給される。
【０１５３】
ステップＳ７１において、動きベクトル検出部６１は、フレームｎ−１，ｎの一方（例えば、フレームｎ−１）を基準画像、他方（いまの場合、フレームｎ）を参照画像に指定する。ブロック設定部６２は、基準画像を所定サイズのブロックに分割する。ステップＳ７２において、動きベクトル検出部６１は、基準画像の各ブロックにそれぞれ対応して参照画像に探索範囲を設け、各ブロックと探索範囲を比較し、画素の差分の総和が最小となる位置を特定してブロック毎に動きベクトルを検出し、検出した動きベクトルを動きベクトル補正部６３に出力する。
【０１５４】
ステップＳ７３において、動きベクトル補正部６３は、後段において生成される補間フレームの各画素に、ステップＳ７２の処理で検出された動きベクトルを対応付ける。
【０１５５】
ステップＳ７４において、動きベクトル補正部６３は、ステップＳ７２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素（図１７の領域ｃの画素）が存在するか否かを判定し、当該画素が存在すると判定した場合、処理をステップＳ７５に進める。
【０１５６】
ステップＳ７５において、動きベクトル補正部６３は、ステップＳ７２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素が存在した旨と当該画素の位置を示す情報を動きベクトル検出部６１に通知する。この通知に対応し、動きベクトル検出部６１は、参照画像をエッジ検出部７１に供給する。エッジ検出部７１は、参照画像上のエッジ部分を検出して検出結果を動きベクトル検出部６１に通知する。なお、エッジ検出時の演算量を低減するため、動きベクトルを対応付けることができなかった補間フレームの画素とその画素周辺領域のみのエッジ部分を検出するようにしてもよい。
【０１５７】
ステップＳ７６において、動きベクトル検出部６１のブロック設定部６２は、ステップＳ７２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素の位置を含み、かつ、エッジ検出部７１によって検出されたエッジ部分を含むように基準画像上に新設ブロックを設定する。
【０１５８】
ステップＳ７７において、動きベクトル検出部６１は、基準画像の新設ブロックに対応する動きベクトルを、ブロックマッチング法を用いて検出し、検出結果を動きベクトル補正部６３に出力する。
【０１５９】
ステップＳ７８において、動きベクトル補正部６３は、ステップＳ７７の処理で検出された動きベクトルを、ステップＳ７４の処理段階で動きベクトルが対応付けられていなかった補間フレームの画素に対応付ける。
【０１６０】
なお、既にステップＳ７２の処理で検出された動きベクトルを対応付けることができている補間フレームの画素に対し、ステップＳ７７の処理で検出された動きベクトルも対応付けが可能な場合、信頼度の高い方の動きベクトルを対応付けるようにしてもよい。
【０１６１】
なお、ステップＳ７８の処理を経ても動きベクトルが対応付けられていない補間フレームの画素に対しては、その近傍の画素に対して対応付けられた動きベクトルを平均して対応付けたりすればよい。
【０１６２】
また、ステップＳ７４において、ステップＳ７２の処理で検出された動きベクトルを対応付けることができない補間フレームの画素が存在しないと判定された場合、ステップＳ７５乃至Ｓ７８はスキップされて、処理はステップＳ７９に進められる。
【０１６３】
ステップＳ７９において、動きベクトル補正部６３は、生成される補間フレームの全ての画素に対応付けられた動きベクトルを示す情報を補間フレーム生成部１８に出力する。
【０１６４】
補間フレーム生成部１８は、補間フレームの画素の画素値を、対応付けられた動きベクトルに基づいて基準画像の画素を移動して決定することにより補間フレームを生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部２０に出力する。補間フレーム挿入部２０は、遅延部１９から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【０１６５】
以上で、フレームレート変換装置７０の動作の説明を終了する。以上説明したフレームレート変換装置７０の動作によれば、新設ブロックを追加して設けるようにしたので、補間フレームのより多くの画素に動きベクトルを信頼度に基づいて精度よく対応付けることができる。よって、補間フレームの画素値を正確に決定することができ、補間フレームの画質劣化を抑止することができる。また、新設ブロックをエッジ部分に限定して設けるようにしたので、動きベクトル検出に際しても演算量をフレームレート変換装置６０に比較して減少させることができる。
【０１６６】
なお、上述した説明において、動きベクトルの検出にはブロックマッチング法を用いたが、その際、分割したブロックの画素を間引くなどして演算量を削減するようにしてもよい。
【０１６７】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０１６８】
上述した一連の処理を実行させるソフトウェアは、記録媒体に格納された状態でパーソナルコンピュータに供給され、ドライブによって読み出されて内蔵されるハードディスクドライブなどにインストールされており、このインストールされているソフトウェアは、入力されるユーザからのコマンドに対応するCPUの指令によって、ハードディスクドライブからRAMにロードされて実行される。
【０１６９】
なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１７１】
【図１】動きベクトルを対応付ける際の従来の問題点を説明するための図である。
【図２】本発明を適用したフレームレート変換装置の第１の構成例を示すブロック図である。
【図３】ブロックマッチング法における従来のブロック分割を示す図である。
【図４】重複部分を設けたブロック分割を示す図である。
【図５】重複部分を設けたブロックに対応して検出される動きベクトルを示す図である。
【図６】優先領域を説明する図である。
【図７】フレームレート変換装置の第１の構成例による動作を説明するフローチャートである。
【図８】フレームレート変換装置の第２の構成例を示すブロック図である。
【図９】フレームレート変換装置の第２の構成例による動作を説明するフローチャートである。
【図１０】重複部分を設けたブロックに対応して検出される動きベクトルを対応付けることができない領域示す図である。
【図１１】本発明を適用したフレームレート変換装置の第３の構成例を示すブロック図である。
【図１２】新設ブロックに対応して検出される動きベクトルを示す図である。
【図１３】フレームレート変換装置の第３の構成例による動作を説明するフローチャートである。
【図１４】本発明を適用したフレームレート変換装置の第４の構成例を示すブロック図である。
【図１５】フレームレート変換装置の第４の構成例による動作を説明するフローチャートである。
【図１６】本発明を適用したフレームレート変換装置の第５の構成例を示すブロック図である。
【図１７】重複部分を設けないブロックに対応して検出される動きベクトルを対応付けることができない領域示す図である。
【図１８】新設ブロックに対応して検出される動きベクトルを示す図である。
【図１９】フレームレート変換装置の第５の構成例による動作を説明するフローチャートである。
【図２０】本発明を適用したフレームレート変換装置の第６の構成例を示すブロック図である。
【図２１】フレームレート変換装置の第６の構成例による動作を説明するフローチャートである。
【符号の説明】
【０１７２】
１０  フレームレート変換装置，  １１  画像データ供給部，  １２  １フレーム遅延部，  １３  画像データ供給部，  １４  動きベクトル検出部，  １５  ブロック設定部，  １６  動きベクトル補正部，  １７  優先領域判定部，  ３０  フレームレート変換装置，  ３１  動きベクトル補正部，  ３２  信頼度判定部，  ４０  フレームレート変換装置，  ４１  動きベクトル検出部，  ４２  ブロック設定部，  ４３  動きベクトル補正部，  ４４  優先領域判定部，  ４５  信頼度判定部，  ５０  フレームレート変換装置，  ５１  エッジ検出部，  ６０  フレームレート変換装置，  ６１  動きベクトル検出部，  ６２  ブロック設定部，  ６３  動きベクトル補正部，  ７０  フレームレート変換装置，  ７１  エッジ検出部
【図１】
2007288497.tif 000003
【図２】
2007288497.tif 000004
【図３】
2007288497.tif 000005
【図４】
2007288497.tif 000006
【図５】
2007288497.tif 000007
【図６】
2007288497.tif 000008
【図７】
2007288497.tif 000009
【図８】
2007288497.tif 000010
【図９】
2007288497.tif 000011
【図１０】
2007288497.tif 000012
【図１１】
2007288497.tif 000013
【図１２】
2007288497.tif 000014
【図１３】
2007288497.tif 000015
【図１４】
2007288497.tif 000016
【図１５】
2007288497.tif 000017
【図１６】
2007288497.tif 000018
【図１７】
2007288497.tif 000019
【図１８】
2007288497.tif 000020
【図１９】
2007288497.tif 000021
【図２０】
2007288497.tif 000022
【図２１】
2007288497.tif 000023