(57)【要約】【課題】補間フレームのできるだけ多くの画素に動きベクトルを対応付ける。【解決手段】順方向の動きベクトルを優先的に対応付ける場合、図４に示すように、順方向の動きベクトルを対応付けることができない補間フレームの画素（図４の領域ａ）が発生したならば、この領域ａに対しては逆方向の動きベクトルを対応付ける。この場合、補間フレームの領域ａ以外の画素は、フレームｎ−１の画素を順方向の動きベクトルに基づいて移動することによって生成し、補間フレームの領域ａの画素は、フレームｎの画素を逆方向の動きベクトルに基づいて移動することによって生成する。本発明は、フレームレート変換装置に適用することができる。【選択図】図４
2007282155.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置において、
前記第１の画像から前記第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出手段と、
前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出手段と、
前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定手段と
を含む画像処理装置。
【請求項２】
前記決定手段によって決定された前記動きベクトルに基づき、補間画像を構成する前記画素を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて生成する生成手段を
さらに含む請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの信頼度が高い方に基づいて決定する
請求項１に記載の画像処理装置。
【請求項４】
前記決定手段は、前記補間画像を構成する画素に対応する動きベクトルを前記順方向の動きベクトルに基づいて決定し、前記順方向の動きベクトルに基づいて対応する動きベクトルが決定できなかった前記補間画像を構成する前記画素に対し、前記逆方向の動きベクトルに基づいて対応する動きベクトルを決定する
請求項１に記載の画像処理装置。
【請求項５】
前記決定手段は、前記補間画像を構成する画素に対応する動きベクトルを前記逆方向の動きベクトルに基づいて決定し、前記逆方向の動きベクトルに基づいて対応する動きベクトルが決定できなかった前記補間画像を構成する前記画素に対し、前記順方向の動きベクトルに基づいて対応する動きベクトルを決定する
請求項１に記載の画像処理装置。
【請求項６】
前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段によって前記順方向の動きベクトルが検出されなかった部分に対応し、前記逆方向の動きベクトルを検出する
請求項１に記載の画像処理装置。
【請求項７】
前記第１の動きベクトル検出手段は、前記第２の動きベクトル検出手段によって前記逆方向の動きベクトルが検出されなかった部分に対応し、前記順方向の動きベクトルを検出する
請求項１に記載の画像処理装置。
【請求項８】
前記第１の画像または前記第２の画像におけるエッジ部分を検出するエッジ検出手段をさらに含み、
前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段によって前記順方向の動きベクトルが検出されなかった部分であって、かつ、前記エッジ検出手段によって検出された前記エッジ部分に対応し、前記逆方向の動きベクトルを検出する
請求項１に記載の画像処理装置。
【請求項９】
前記第１の画像または前記第２の画像におけるエッジ部分を検出するエッジ検出手段をさらに含み、
前記第１の動きベクトル検出手段は、前記第２の動きベクトル検出手段によって前記逆方向の動きベクトルが検出されなかった部分であって、かつ、前記エッジ検出手段によって検出された前記エッジ部分に対応し、前記順方向の動きベクトルを検出する
請求項１に記載の画像処理装置。
【請求項１０】
動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の画像処理方法において、
前記第１の画像から前記第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出ステップと、
前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出ステップと、
前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定ステップと
を含む画像処理方法。
【請求項１１】
動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成するためのプログラムであって、
前記第１の画像から前記第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出ステップと、
前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出ステップと、
前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
動画像のフレームレート変換処理などにおいては、動画像を構成する時間軸方向に前後する２枚のフレームの間に内挿するための補間フレームが生成される。この補間フレームの生成には、当該２枚のフレームに基づいて動きベクトルが検出される。
【０００３】
２枚のフレームに基づいて動きベクトルを検出する方法としては、勾配法（例えば、特許文献１参照）やブロックマッチング法（例えば、特許文献２参照）が知られている。
【０００４】
【特許文献１】特開昭６０−１５８７８６号公報
【特許文献２】特開平８−１８６８２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
例えばブロックマッチング法では、前後する２枚のフレームｎ−１，ｎのうち、一方のフレーム（例えば、フレームｎ−１）を所定サイズのブロックに分割し、ブロック毎に他方のフレーム（例えば、フレームｎ）に設けた当該ブロックよりも広い探索範囲と比較して、図１に示すようにブロック単位で動きベクトルを検出する。そして、検出された動きベクトルを補間フレームの画素に対応付けることによって補間フレームの画素が決定される。
【０００６】
ところで図１から明らかなように、上述した方法では、動きベクトルを対応付けることができない補間フレームの画素（図１の領域ａ）が発生することがある。このような場合、補間フレームの領域ａには最適な画素を決定することができないので、領域ａは動きベクトルを対応付けることができた画素からなる他の領域に比較して画質が劣化してしまう。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、補間フレームのできるだけ多くの画素に動きベクトルを対応付けて、補間フレームの画質劣化を抑止できるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面である画像処理装置は、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置において、前記第１の画像から前記第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出手段と、前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出手段と、前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定手段とを含む。
【０００９】
本発明の一側面である画像処理装置は、前記決定手段によって決定された前記動きベクトルに基づき、補間画像を構成する前記画素を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて生成する生成手段をさらに含むことができる。
【００１０】
前記決定手段は、前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの信頼度が高い方に基づいて決定するようにすることができる。
【００１１】
前記決定手段は、前記補間画像を構成する画素に対応する動きベクトルを前記順方向の動きベクトルに基づいて決定し、前記順方向の動きベクトルに基づいて対応する動きベクトルが決定できなかった前記補間画像を構成する前記画素に対し、前記逆方向の動きベクトルに基づいて対応する動きベクトルを決定するようにすることができる。
【００１２】
前記決定手段は、前記補間画像を構成する画素に対応する動きベクトルを前記逆方向の動きベクトルに基づいて決定し、前記逆方向の動きベクトルに基づいて対応する動きベクトルが決定できなかった前記補間画像を構成する前記画素に対し、前記順方向の動きベクトルに基づいて対応する動きベクトルを決定するようにすることができる。
【００１３】
前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段によって前記順方向の動きベクトルが検出されなかった部分に対応し、前記逆方向の動きベクトルを検出するようにすることができる。
【００１４】
前記第１の動きベクトル検出手段は、前記第２の動きベクトル検出手段によって前記逆方向の動きベクトルが検出されなかった部分に対応し、前記順方向の動きベクトルを検出するようにすることができる。
【００１５】
本発明の一側面である画像処理装置は、前記第１の画像または前記第２の画像におけるエッジ部分を検出するエッジ検出手段をさらに含むことができ、前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段によって前記順方向の動きベクトルが検出されなかった部分であって、かつ、前記エッジ検出手段によって検出された前記エッジ部分に対応し、前記逆方向の動きベクトルを検出するようにすることができる。
【００１６】
本発明の一側面である画像処理装置は、前記第１の画像または前記第２の画像におけるエッジ部分を検出するエッジ検出手段をさらに含むことができ、前記第１の動きベクトル検出手段は、前記第２の動きベクトル検出手段によって前記逆方向の動きベクトルが検出されなかった部分であって、かつ、前記エッジ検出手段によって検出された前記エッジ部分に対応し、前記順方向の動きベクトルを検出するようにすることができる。
【００１７】
本発明の一側面である画像処理方法は、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の画像処理方法において、前記第１の画像から前記第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出ステップと、前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出ステップと、前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定ステップとを含む。
【００１８】
本発明の一側面であるプログラムは、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成するためのプログラムであって、前記第１の画像から前記第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出ステップと、前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出ステップと、前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定ステップとを含む処理をコンピュータに実行させる。
【００１９】
本発明の一側面においては、第１の画像から第２の画像への順方向の動きベクトルが検出されるとともに、第２の画像から第１の画像への逆方向の動きベクトルが検出される。そして、補間画像を構成する画素に対応する動きベクトルが、順方向の動きベクトルまたは逆方向の動きベクトルのうちの少なくとも一方に基づいて決定される。
【発明の効果】
【００２０】
本発明の一側面によれば、補間フレームのできるだけ多くの画素に動きベクトルを対応付けることができる。また、本発明の一側面によれば、補間フレームの画質劣化を抑止することができる。
【発明を実施するための最良の形態】
【００２１】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２２】
請求項１に記載の画像処理装置（例えば、図２のフレームレート変換装置１０）は、第１の画像から第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出手段（例えば、図２の順方向動きベクトル検出部１４）と、前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出手段（例えば、図２の逆方向動きベクトル検出部１５）と、前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定手段（例えば、図２の動きベクトル補正部１６）とを含む。
【００２３】
請求項２に記載の画像処理装置は、前記決定手段によって決定された前記動きベクトルに基づき、補間画像を構成する前記画素を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて生成する生成手段（例えば、図２の補間フレーム生成部１７）をさらに含む。
【００２４】
請求項８に記載の画像処理装置（例えば、図９のフレームレート変換装置５０）は、前記第１の画像または前記第２の画像におけるエッジ部分を検出するエッジ検出手段（例えば、図９のエッジ検出部５１）をさらに含む。
【００２５】
請求項９に記載の画像処理装置（例えば、図９のフレームレート変換装置５０）は、前記第１の画像または前記第２の画像におけるエッジ部分を検出するエッジ検出手段（例えば、図９のエッジ検出部５１）をさらに含む。
【００２６】
請求項１０に記載の画像処理方法、および請求項１１に記載のプログラムは、第１の画像から第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出ステップ（例えば、図５のステップＳ１）と、前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出ステップ（例えば、図５のステップＳ１）と、前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定ステップ（例えば、図５のステップＳ２およびＳ４）とを含む。
【００２７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２８】
図２は本発明の一実施の形態である、入力動画像データを構成する一連のフレームのうち、時間的に前後するフレームｎ−１，ｎの間に補間フレームを内挿してフレームレートを変換するフレームレート変換装置の第１の構成例を示している。
【００２９】
なお、以下においては、フレームｎ−１，ｎの間にシーンチェンジが発生していないことを前提する。
【００３０】
このフレームレート変換装置１０は、前段からの入力動画像データを１フレームずつ後段に出力する画像データ供給部１１、前段からの入力動画像データを１フレーム周期だけ遅延させる１フレーム遅延部１２、１フレーム周期だけ遅延された入力動画像データを１フレームずつ後段に出力する画像データ供給部１３、画像データ供給部１１から供給されるフレームｎ（ｎ番目のフレームを意味する）と画像データ供給部１３から供給されるフレームｎ−１（ｎ−１番目のフレームを意味する）に基づくブロックマッチング法によって順方向の動きベクトルを検出する順方向動きベクトル検出部１４、画像データ供給部１１から供給されるフレームｎと画像データ供給部１３から供給されるフレームｎ−１に基づくブロックマッチング法によって逆方向の動きベクトルを検出する逆方向動きベクトル検出部１５、および、順方向の動きベクトルと逆方向の動きベクトルのうちの一方を優先的に、あるいは信頼度の高い方を補間フレームの画素に対応付ける動きベクトル補正部１６から構成される。
【００３１】
さらに、フレームレート変換装置１０は、補間フレームの各画素に対応付けられた動きベクトルに基づいて補間フレームを生成する補間フレーム生成部１７、前段からの入力動画像データを補間フレームが生成される時間だけ遅延させる遅延部１８、および、遅延された入力動画像データに補間フレームを内挿する補間フレーム挿入部１９から構成される。
【００３２】
なお、フレーム単位で処理される動画像データには、各画素の座標情報と画素値が含まれているものとする。
【００３３】
また以下においては、図３に示すように、順方向の動きベクトルとは、時間軸上の前後するフレームｎ−１，ｎのうち、フレームｎ−１を基準画像としてブロックに分割し、フレームｎを参照画像として検出する動きベクトルを指すものと定義する。また逆方向の動きベクトルとは、フレームｎを基準画像としてブロックに分割し、フレームｎ−１を参照画像として検出する動きベクトルを指すものと定義する。
【００３４】
動きベクトル補正部１６は、順方向の動きベクトルを優先的に対応付ける場合、図４に示すように、順方向の動きベクトルを対応付けることができない補間フレームの画素（図４の領域ａ）が発生したならば、この領域ａに対しては逆方向の動きベクトルを対応付ける。この場合、補間フレーム生成部１７において、補間フレームの領域ａ以外の画素は、フレームｎ−１の画素を順方向の動きベクトルに基づいて移動することによって生成し、補間フレームの領域ａの画素は、フレームｎの画素を逆方向の動きベクトルに基づいて移動することによって生成する。
【００３５】
次に、フレームレート変換装置１０の動作について説明する。
【００３６】
まず、動きベクトル補正部１６が順方向の動きベクトルを優先的に対応付ける場合の動作について、図５のフローチャートを参照して説明する。
【００３７】
フレームレート変換装置１０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部１１、１フレーム遅延部１２、および遅延部１８に供給される。
【００３８】
そして、画像データ供給部１１を介してフレームｎが順方向動きベクトル検出部１４および逆方向動きベクトル検出部１５に供給され、１フレーム遅延部１２および画像データ供給部１３を介してフレームｎ−１が順方向動きベクトル検出部１４および逆方向動きベクトル検出部１５に供給される。
【００３９】
ステップＳ１において、順方向動きベクトル検出部１４は、フレームｎ−１，ｎに基づくブロックマッチング法によって順方向の動きベクトルを検出する。具体的には、一方のフレームｎ−１を所定サイズのブロックに分割し、各ブロックにそれぞれ対応して他方のフレームｎに探索範囲を設け、ブロックと探索範囲を比較し、画素の差分の総和が最小となる位置を特定してブロック単位で順方向の動きベクトルを検出する。
【００４０】
一方、逆方向動きベクトル検出部１５は、フレームｎ−１，ｎに基づくブロックマッチング法によって逆方向の動きベクトルを検出する。具体的には、一方のフレームｎを所定サイズのブロックに分割し、各ブロックにそれぞれ対応して他方のフレームｎ−１に探索範囲を設け、ブロックと探索範囲を比較し、画素の差分の総和が最小となる位置を特定してブロック単位で逆方向の動きベクトルを検出する。検出された順方向の動きベクトルと逆方向の動きベクトルは動きベクトル補正部１６に供給される。
【００４１】
ステップＳ２において、動きベクトル補正部１６は、補間フレームの画素に順方向の動きベクトルを対応付ける。ただし、この処理で順方向の動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。
【００４２】
ステップＳ３において、動きベクトル補正部１６は、ステップＳ２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素（例えば、図４における領域ａの画素）が存在するか否かを判定する。順方向の動きベクトルを対応付けることができなかった補間フレームの画素が存在すると判定された場合、処理はステップＳ４に進められ、動きベクトル補正部１６は、当該画素に対して逆方向の動きベクトルを対応付ける。ただし、この処理で逆方向の動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。
【００４３】
ステップＳ５において、動きベクトル補正部１６は、ステップＳ４の処理を経てもなお順方向の動きベクトルも逆方向の動きベクトルも対応付けることができなかった補間フレームの画素が存在するか否かを判定する。順方向の動きベクトルも逆方向の動きベクトルも対応付けることができなかった補間フレームの画素が存在すると判定された場合、処理はステップＳ６に進められ、動きベクトル補正部１６は、当該画素に対して近傍の画素に対応付けられている順方向あるいは逆方向の動きベクトルを平均するなどして対応付ける動きベクトルを決定する。
【００４４】
このようにして、補間フレームの全ての画素に対して動きベクトルが対応付けられると、その情報が補間フレーム生成部１７に供給されて、処理はステップＳ７に進められる。
【００４５】
なお、ステップＳ３の処理で、順方向の動きベクトルを対応付けることができなかった補間フレームの画素が存在しないと判定された場合、ステップＳ４乃至Ｓ６はスキップされて処理はステップＳ７に進められる。また、ステップＳ５の処理で、順方向の動きベクトルも逆方向の動きベクトルも対応付けることができなかった補間フレームの画素が存在しないと判定された場合にも、ステップＳ６はスキップされて処理はステップＳ７に進められる。
【００４６】
ステップＳ７において、補間フレーム生成部１７は、補間フレームの画素のうち、順方向の動きベクトルが対応付けられているものは、フレームｎ−１の対応する画素を順方向の動きベクトルに基づいて移動することによって生成し、逆方向の動きベクトルが対応付けられているものは、フレームｎの対応する画素を逆方向の動きベクトルに基づいて移動することによって生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部１９に出力する。
【００４７】
補間フレーム挿入部１９は、遅延部１８から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【００４８】
以上で、動きベクトル補正部１６が順方向の動きベクトルを優先的に対応付ける場合の動作の説明を終了する。
【００４９】
なお、動きベクトル補正部１６が逆方向の動きベクトルを優先的に対応付ける場合には、ステップＳ２の処理で、逆方向の動きベクトルを補間フレームの画素に対応付けるようにし、この処理で逆方向の動きベクトルを対応付けることができなかった補間フレームの画素に対し、ステップＳ４の処理で順方向の動きベクトルを対応付けるようにすればよい。
【００５０】
以上説明したフレームレート変換装置１０による、順方向の動きベクトルまたは逆方向の動きベクトルの一方を優先させる動作によれば、補間フレームのより多くの画素に動きベクトルを精度よく対応付けることができるので、補間フレームの画素値を正確に決定することができる。よって、補間フレームの画質劣化を抑止することができる。
【００５１】
次に、フレームレート変換装置１０の動きベクトル補正部１６が、順方向の動きベクトルまたは逆方向の動きベクトルのうち、信頼度の高い方を対応付ける場合の動作について、図６のフローチャートを参照して説明する。
【００５２】
フレームレート変換装置１０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部１１、１フレーム遅延部１２、および遅延部１８に供給される。
【００５３】
そして、画像データ供給部１１を介してフレームｎが順方向動きベクトル検出部１４および逆方向動きベクトル検出部１５に供給され、１フレーム遅延部１２および画像データ供給部１３を介してフレームｎ−１が順方向動きベクトル検出部１４および逆方向動きベクトル検出部１５に供給される。
【００５４】
ステップＳ１１において、順方向動きベクトル検出部１４は、フレームｎ−１，ｎに基づくブロックマッチング法によって順方向の動きベクトルを検出する。一方、逆方向動きベクトル検出部１５は、フレームｎ−１，ｎに基づくブロックマッチング法によって逆方向の動きベクトルを検出する。検出された順方向の動きベクトルと逆方向の動きベクトルはその検出時に得られる信頼度とともに動きベクトル補正部１６に供給される。
【００５５】
ここで、動きベクトルの信頼度には、例えばブロックマッチング法により動きベクトルを検出するときの、基準画像としたフレーム（例えばフレームｎ−１）を分割した各ブロックと、参照画像としたフレーム（例えばフレームｎ）上の探索範囲との対応する画素間の差分の総和を用いることができる。なお、当該総和がより小さいほど、信頼度がより高いことになる。
【００５６】
ステップＳ１２において、動きベクトル補正部１６は、順方向の動きベクトルを補間フレームの画素に対応付ける。ただし、この処理で順方向の動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。ステップＳ１３において、動きベクトル補正部１６は、逆方向の動きベクトルを補間フレームの画素に動きベクトルを対応付ける。ただし、この処理で逆方向の動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。
【００５７】
ステップＳ１４において、動きベクトル補正部１６は、順方向の動きベクトルと逆方向の動きベクトルの両方が対応付けられている補間フレームの画素に対して、信頼度の高い方の動きベクトルを採用し、信頼度の低い方の動きベクトルを破棄して、順方向または逆方向いずれかの一方の動きベクトルを補間フレームの画素に対応付ける。
【００５８】
ステップＳ１５において、動きベクトル補正部１６は、ステップＳ１２乃至Ｓ１４の処理を経てもなお順方向の動きベクトルも逆方向の動きベクトルも対応付けることができなかった補間フレームの画素が存在するか否かを判定する。順方向の動きベクトルも逆方向の動きベクトルも対応付けることができなかった補間フレームの画素が存在すると判定された場合、処理はステップＳ１６に進められ、動きベクトル補正部１６は、当該画素に対して近傍の画素に対応付けられている順方向あるいは逆方向の動きベクトルを平均するなどして対応付ける動きベクトルを決定する。
【００５９】
このようにして、補間フレームの全ての画素に対して動きベクトルが対応付けられると、その情報が補間フレーム生成部１７に供給されて、処理はステップＳ１７に進められる。
【００６０】
なお、ステップＳ１５の処理で、順方向の動きベクトルも逆方向の動きベクトルも対応付けることができなかった補間フレームの画素が存在しないと判定された場合、ステップＳ１６はスキップされて処理はステップＳ１７に進められる。
【００６１】
ステップＳ１７において、補間フレーム生成部１７は、補間フレームの画素のうち、順方向の動きベクトルが対応付けられているものは、フレームｎ−１の対応する画素を順方向の動きベクトルに基づいて移動することによって生成し、逆方向の動きベクトルが対応付けられているものは、フレームｎの対応する画素を逆方向の動きベクトルに基づいて移動することによって生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部１９に出力する。
【００６２】
補間フレーム挿入部１９は、遅延部１８から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【００６３】
以上で、動きベクトル補正部１６が順方向の動きベクトルまたは逆方向の動きベクトルのうち、信頼度の高い方を対応付ける場合の動作の説明を終了する。
【００６４】
以上説明したフレームレート変換装置１０による、順方向の動きベクトルまたは逆方向の動きベクトルの信頼度が高い方の動きベクトルを優先させる動作によれば、補間フレームのより多くの画素により適切な動きベクトルを対応付けることができるので、補間フレームの画素値を正確に決定することができる。よって、補間フレームの画質劣化を抑止することができる。
【００６５】
次に、図７は本発明の一実施の形態であるフレームレート変換装置の第２の構成例を示している。このフレームレート変換装置３０は、上述した第１の構成例であるフレームレート変換装置１０が常に順方向の動きベクトルと逆方向の動きベクトルの両方を検出することに対して、通常は順方向の動きベクトルまたは逆方向の動きベクトルの一方を検出するようにし、当該一方の動きベクトルを対応付けることができない補間フレームの画素に対してのみ、他方の動きベクトルを検出して対応付けるようにしたものである。
【００６６】
このフレームレート変換装置３０は、前段からの入力動画像データを１フレームずつ後段に出力する画像データ供給部３１、前段からの入力動画像データを１フレーム周期だけ遅延させる１フレーム遅延部３２、１フレーム周期だけ遅延された入力動画像データを１フレームずつ後段に出力する画像データ供給部３３、動きベクトル補正部３６からの制御に従って画像データ供給部３１から供給されるフレームｎと画像データ供給部３３から供給されるフレームｎ−１に基づくブロックマッチング法によって順方向の動きベクトルを検出する順方向動きベクトル検出部３４、動きベクトル補正部３６からの制御に従って画像データ供給部３１から供給されるフレームｎと画像データ供給部３３から供給されるフレームｎ−１に基づくブロックマッチング法によって逆方向の動きベクトルを検出する逆方向動きベクトル検出部３５、および、順方向の動きベクトルと逆方向の動きベクトルのうちの一方を優先的に補間フレームの画素に対応付ける動きベクトル補正部３６から構成される。
【００６７】
さらに、フレームレート変換装置３０は、補間フレームの各画素に対応付けられた動きベクトルに基づいて補間フレームを生成する補間フレーム生成部３７、前段からの入力動画像データを補間フレームが生成される時間だけ遅延させる遅延部３８、および、遅延された入力動画像データに補間フレームを内挿する補間フレーム挿入部３９から構成される。
【００６８】
フレーム単位で処理される動画像データには、各画素の座標情報と画素値が含まれているものとする。
【００６９】
なお、フレームレート変換装置３０において、順方向動きベクトル検出部３４と逆方向動きベクトル検出部３５は平行して動作しない。すなわち、動きベクトル補正部３６が順方向の動きベクトルを優先的に対応付ける場合、通常、順方向動きベクトル検出部３４が動作し、逆方向動きベクトル検出部３５は動作しない。そして、動きベクトル補正部３６により、順方向の動きベクトルを優先的に対応付けた結果、図４に示すように、順方向の動きベクトルを対応付けることができない補間フレームの画素（図４の領域ａ）が発生したならば、この領域ａに対応するフレームｎ上の領域ｂを含むブロックの逆方向の動きベクトルを逆方向動きベクトル検出部３５によって検出する。そして検出される逆方向の動きベクトルが補間フレームの領域ａの画素に対応付けられる。
【００７０】
この場合、補間フレーム生成部３７において、補間フレームの領域ａ以外の画素は、フレームｎ−１の画素を順方向の動きベクトルに基づいて移動することによって生成し、補間フレームの領域ａの画素は、フレームｎの画素を逆方向の動きベクトルに基づいて移動することによって生成する。
【００７１】
次に、フレームレート変換装置３０の動作について説明する。
【００７２】
まず、動きベクトル補正部３６が順方向の動きベクトルを優先的に対応付ける場合の動作について、図８のフローチャートを参照して説明する。
【００７３】
フレームレート変換装置３０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部３１、１フレーム遅延部３２、および遅延部３８に供給される。
【００７４】
そして、画像データ供給部３１を介してフレームｎが順方向動きベクトル検出部３４および逆方向動きベクトル検出部３５に供給され、１フレーム遅延部３２および画像データ供給部３３を介してフレームｎ−１が順方向動きベクトル検出部３４および逆方向動きベクトル検出部３５に供給される。
【００７５】
ステップＳ２１において、順方向動きベクトル検出部３４は、フレームｎ−１，ｎに基づくブロックマッチング法によって順方向の動きベクトルを検出し、検出した順方向の動きベクトルを動きベクトル補正部３６に出力する。一方、逆方向動きベクトル検出部３５は、逆方向の動きベクトルを検出することなく待機する。
【００７６】
ステップＳ２２において、動きベクトル補正部３６は、補間フレームの画素に順方向の動きベクトルを対応付ける。ただし、この処理で順方向の動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。
【００７７】
ステップＳ２３において、動きベクトル補正部３６は、ステップＳ２２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素（例えば、図４における領域ａの画素）を検出し、その画素の対応するフレームｎ上の領域（例えば、図４における領域ｂ）を特定して、特定したフレームｎ上の領域を逆方向動きベクトル検出部３５に通知する。なお、ステップＳ２２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素が検出されない場合、逆方向動きベクトル検出部３５への通知は行われず、以降のステップＳ２４および２５の処理も省略される。
【００７８】
ステップＳ２４において、逆方向動きベクトル検出部３５は、動きベクトル補正部３６から通知されたフレームｎ上の領域が含まれるようにフレームｎを分割してブロックを形成し、当該領域を含むブロックについてのみ、ブロックマッチング法によって逆方向の動きベクトルを検出する。なお、当該領域を含むブロックを形成する際、当該領域が１ブロックに収まるようにブロックを形成してもよいし、当該領域が複数のブロックに跨って分割されるようにブロックを形成してもよい。そして、検出した順方向の動きベクトルを動きベクトル補正部３６に出力する。
【００７９】
ステップＳ２５において、動きベクトル補正部３６は、ステップＳ２２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素に、逆方向の動きベクトルを対応付ける。さらに、動きベクトル補正部３６は、逆方向の動きベクトルを用いても動きベクトルを対応付けることができなかった補間フレームの画素が存在するか否かを判定し、この時点で順方向および逆方向の動きベクトルを対応付けることができなかった補間フレームの画素が存在すると判定された場合、当該画素に対して近傍の画素に対応付けられている順方向あるいは逆方向の動きベクトルを平均するなどして対応付ける動きベクトルを決定する。
【００８０】
このようにして、補間フレームの全ての画素に対して動きベクトルを対応付けた後、動きベクトル補正部３６は、補間フレームの各画素に対応付けた動きベクトルを補間フレーム生成部３７に供給する。
【００８１】
ステップＳ２６において、補間フレーム生成部３７は、補間フレームの画素のうち、順方向の動きベクトルが対応付けられているものは、フレームｎ−１の対応する画素を順方向の動きベクトルに基づいて移動することによって生成し、逆方向の動きベクトルが対応付けられているものは、フレームｎの対応する画素を逆方向の動きベクトルに基づいて移動することによって生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部３９に出力する。
【００８２】
補間フレーム挿入部３９は、遅延部３８から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【００８３】
以上で、フレームレート変換装置３０における動きベクトル補正部３６が順方向の動きベクトルを優先的に対応付ける場合の動作の説明を終了する。
【００８４】
なお、フレームレート変換装置３０における動きベクトル補正部３６が逆方向の動きベクトルを優先的に対応付ける場合には、ステップＳ２１の処理で、逆方向動きベクトル検出部３５が逆方向の動きベクトルを検出し、一方、順方向動きベクトル検出部３４は、順方向の動きベクトルを検出することなく待機するようにする。そして、ステップＳ２２の処理で、補間フレームの画素に逆方向の動きベクトルを対応付ける。
【００８５】
さらに、ステップＳ２３乃至Ｓ２５の処理で、逆方向の動きベクトルを対応付けることができなかった補間フレームの画素を検出し、その画素の対応するフレームｎ−１上の領域を特定して、特定したフレームｎ−１上の領域を含むブロックを形成し、当該領域を含むブロックについてのみ順方向の動きベクトルを検出し、逆方向の動きベクトルを対応付けることができなかった補間フレームの画素に、順方向の動きベクトルを対応付けるようにすればよい。
【００８６】
以上説明したように、フレームレート変換装置３０によれば、補間フレームのより多くの画素に動きベクトルを対応付けることができるので、補間フレームの画素値を正確に決定することができる。よって、補間フレームの画質劣化を抑止することができる。
【００８７】
さらに、フレームレート変換装置３０によれば、順方向または逆方向の動きベクトルのうち、一方の動きベクトルは全てのブロックに対して検出し、他方については必要なブロックに対応してのみ検出するようにしたので、フレームレート変換装置１０に比較して動きベクトルを検出する際の演算量を削減することができる。よって、動画像データのフレームレート変換をリアルタイムで行うことが可能となる。
【００８８】
ところで、補間フレームの画素に動きベクトルを対応付けることができないことに起因する画質の劣化は、画像内のエッジ部分において顕著である。換言すれば、補間フレームの画素に動きベクトルを対応付けることができなくても、その画素が画像内のエッジ部分でなければ、画質の劣化はそれほど目立たない。そこで、動きベクトルを検出する際の演算量をさらに削減できるフレームレート変換装置の第３の構成例を提案する。
【００８９】
図９は本発明の一実施の形態であるフレームレート変換装置の第３の構成例を示している。このフレームレート変換装置５０は、順方向の動きベクトルまたは逆方向の動きベクトルの一方を検出し、当該一方の動きベクトルを対応付けることができない補間フレームの画素であって、且つ、画像内のエッジ部分の画素に対してのみ、他方の動きベクトルを検出して対応付けるようにするものである。
【００９０】
このフレームレート変換装置５０は、図７に示されたフレームレート変換装置３０の構成例に、エッジ検出部５１を追加したものである。
【００９１】
エッジ検出部５１は、順方向動きベクトル検出部３４または逆方向動きベクトル検出部３５からの制御に従い、フレームｎ−１またはフレームｎの画像内のエッジ部分を検出して、その検出結果を制御元の順方向動きベクトル検出部３４または逆方向動きベクトル検出部３５に通知する。エッジ検出部５１以外の構成要素については、フレームレート変換装置３０と共通であって同一の符号を付しているので、その説明は省略する。
【００９２】
次に、フレームレート変換装置５０の動作について説明する。
【００９３】
まず、動きベクトル補正部３６が順方向の動きベクトルを優先的に対応付ける場合の動作について、図１０のフローチャートを参照して説明する。
【００９４】
フレームレート変換装置５０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部３１、１フレーム遅延部３２、および遅延部３８に供給される。
【００９５】
そして、画像データ供給部３１を介してフレームｎが順方向動きベクトル検出部３４および逆方向動きベクトル検出部３５に供給され、１フレーム遅延部３２および画像データ供給部３３を介してフレームｎ−１が順方向動きベクトル検出部３４および逆方向動きベクトル検出部３５に供給される。
【００９６】
ステップＳ３１において、順方向動きベクトル検出部３４は、フレームｎ−１，ｎに基づくブロックマッチング法によって順方向の動きベクトルを検出し、検出した順方向の動きベクトルを動きベクトル補正部３６に出力する。一方、逆方向動きベクトル検出部３５は、逆方向の動きベクトルを検出することなく待機する。
【００９７】
ステップＳ３２において、動きベクトル補正部３６は、補間フレームの画素に順方向の動きベクトルを対応付ける。ただし、この処理で順方向の動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。
【００９８】
ステップＳ３３において、動きベクトル補正部３６は、ステップＳ３２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素（例えば、図４における領域ａの画素）を検出し、その画素の対応するフレームｎ上の領域（例えば、図４における領域ｂ）を特定して、特定したフレームｎ上の領域を逆方向動きベクトル検出部３５に通知する。なお、ステップＳ３２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素が検出されない場合、逆方向動きベクトル検出部３５への通知は行われず、以降のステップＳ３４および３６の処理も省略される。
【００９９】
ステップＳ３４において、逆方向動きベクトル検出部３５は、動きベクトル補正部３６からの通知に対応し、フレームｎの動画像データをエッジ検出部５１に供給する。エッジ検出部５１は、フレームｎの画面上のエッジ部分を検出して、検出結果を逆方向動きベクトル検出部３５に出力する。なお、エッジ検出部５１におけるエッジ部分の検出は、
ステップＳ３２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素に対応するフレームｎ上の領域の周辺だけに限定してもよい。このようにすれば、エッジ検出に要する演算量を少なくすることができる。
【０１００】
ステップＳ３５において、逆方向動きベクトル検出部３５は、動きベクトル補正部３６から通知されたフレームｎ上の領域であって、且つ、エッジ部分であることが検出された領域が含まれるようにフレームｎを分割してブロックを形成し、当該ブロックについてのみ、ブロックマッチング法によって逆方向の動きベクトルを検出する。なお、当該領域を含むブロックを形成する際、当該領域が１ブロックに収まるようにブロックを形成してもよいし、当該領域が複数のブロックに跨って分割されるようにブロックを形成してもよい。そして、検出した順方向の動きベクトルを動きベクトル補正部３６に出力する。
【０１０１】
ステップＳ３６において、動きベクトル補正部３６は、ステップＳ３２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素に、逆方向の動きベクトルを対応付ける。さらに、動きベクトル補正部３６は、逆方向の動きベクトルを用いても動きベクトルを対応付けることができなかった補間フレームの画素が存在するか否かを判定し、この時点で順方向および逆方向の動きベクトルを対応付けることができなかった補間フレームの画素が存在すると判定された場合、当該画素に対して近傍の画素に対応付けられている順方向あるいは逆方向の動きベクトルを平均するなどして対応付ける動きベクトルを決定する。
【０１０２】
このようにして、補間フレームの全ての画素に対して動きベクトルを対応付けた後、動きベクトル補正部３６は、補間フレームの各画素に対応付けた動きベクトルを補間フレーム生成部３７に供給する。
【０１０３】
ステップＳ３７において、補間フレーム生成部３７は、補間フレームの画素のうち、順方向の動きベクトルが対応付けられているものは、フレームｎ−１の対応する画素を順方向の動きベクトルに基づいて移動することによって生成し、逆方向の動きベクトルが対応付けられているものは、フレームｎの対応する画素を逆方向の動きベクトルに基づいて移動することによって生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部３９に出力する。
【０１０４】
補間フレーム挿入部３９は、遅延部３８から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【０１０５】
以上で、フレームレート変換装置５０における動きベクトル補正部３６が順方向の動きベクトルを優先的に対応付ける場合の動作の説明を終了する。
【０１０６】
なお、フレームレート変換装置５０における動きベクトル補正部３６が逆方向の動きベクトルを優先的に対応付ける場合には、ステップＳ３１の処理で、逆方向動きベクトル検出部３５が逆方向の動きベクトルを検出し、一方、順方向動きベクトル検出部３４は、順方向の動きベクトルを検出することなく待機するようにする。そして、ステップＳ３２の処理で、補間フレームの画素に逆方向の動きベクトルを対応付ける。
【０１０７】
さらに、ステップ３３乃至Ｓ３６の処理で、逆方向の動きベクトルを対応付けることができなかった補間フレームの画素を検出し、その画素の対応するフレームｎ−１上の領域を特定する。また、フレームｎ−１上のエッジ部分を検出し、特定したフレームｎ−１上の領域であって、且つ、フレームｎ−１上のエッジ部分である領域を含むブロックを形成し、当該領域を含むブロックについてのみ順方向の動きベクトルを検出し、逆方向の動きベクトルを対応付けることができなかった補間フレームの画素に、順方向の動きベクトルを対応付けるようにすればよい。
【０１０８】
以上説明したように、フレームレート変換装置５０によれば、補間フレームの画質劣化を伴うことなく、フレームレート変換装置３０よりも動きベクトルを検出する際の演算量を削減することができる。よって、動画像データのフレームレート変換をリアルタイムで行うことが可能となる。
【０１０９】
なお、上述した説明において、動きベクトルの検出にはブロックマッチング法を用いたが、その際、分割したブロックの画素を間引くなどして演算量を削減するようにしてもよい。また、ブロックマッチング法の代わりに、勾配法などの他の手法を用いて動きベクトルを検出してもよい。
【０１１０】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０１１１】
上述した一連の処理を実行させるソフトウェアは、記録媒体に格納された状態でパーソナルコンピュータに供給され、ドライブによって読み出されて内蔵されるハードディスクドライブなどにインストールされており、このインストールされているソフトウェアは、入力されるユーザからのコマンドに対応するCPUの指令によって、ハードディスクドライブからRAMにロードされて実行される。
【０１１２】
なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１１４】
【図１】動きベクトルを対応付ける際の従来の問題点を説明するための図である。
【図２】本発明を適用したフレームレート変換装置の第１の構成例を示すブロック図である。
【図３】順方向および逆方向の動くベクトルの定義を説明するための図である。
【図４】順方向の動きベクトルを対応付けることができない補間フレームの画素を説明するための図である。
【図５】フレームレート変換装置の第１の構成例の動作を説明するフローチャートである。
【図６】フレームレート変換装置の第１の構成例の動作を説明するフローチャートである。
【図７】本発明を適用したフレームレート変換装置の第２の構成例を示すブロック図である。
【図８】フレームレート変換装置の第２の構成例の動作を説明するフローチャートである。
【図９】本発明を適用したフレームレート変換装置の第３の構成例を示すブロック図である。
【図１０】フレームレート変換装置の第３の構成例の動作を説明するフローチャートである。
【符号の説明】
【０１１５】
１０  フレームレート変換装置，  １４  順方向動きベクトル検出部，  １５  逆方向動きベクトル検出部，  １６  動きベクトル補正部，  １７  補間フレーム生成部，３０  フレームレート変換装置，  ３４  順方向動きベクトル検出部，  ３５  逆方向動きベクトル検出部，  ３６  動きベクトル補正部，  ３７  補間フレーム生成部，  ５０  フレームレート変換装置，  ５１  エッジ検出部
【図１】
2007282155.tif 000003
【図２】
2007282155.tif 000004
【図３】
2007282155.tif 000005
【図４】
2007282155.tif 000006
【図５】
2007282155.tif 000007
【図６】
2007282155.tif 000008
【図７】
2007282155.tif 000009
【図８】
2007282155.tif 000010
【図９】
2007282155.tif 000011
【図１０】
2007282155.tif 000012