(57)【要約】【課題】この発明は、シーンチェンジなどの映像内容が大きく変化する箇所においても、好適な補間映像を生成でき、滑らかな再生映像を表示できる、フレームレート変換装置および映像表示装置を提供することを目的とする。【解決手段】隣り合う前後フレームの間に相関があるかないかを判定する相関判定手段、相関があると判定された場合には、上記両フレームから、上記両フレームの間に挿入する補間フレームを生成するための補間情報を生成し、得られた補間情報に基づいて補間フレームを生成する第１の補間フレーム生成手段、ならびに相関がないと判定された場合には、前回の補間フレーム生成のための使用された補間情報に基づいて、今回の補間フレームを生成するための補間情報を予測し、予測した補間情報に基づいて補間フレームを生成する第２の補間フレーム生成手段を備えている。【選択図】図２
2008227928.tif 000002
【特許請求の範囲】
【請求項１】
隣り合う前後フレームの間に相関があるかないかを判定する相関判定手段、
相関があると判定された場合には、上記両フレームから、上記両フレームの間に挿入する補間フレームを生成するための補間情報を生成し、得られた補間情報に基づいて補間フレームを生成する第１の補間フレーム生成手段、ならびに
相関がないと判定された場合には、前回の補間フレーム生成のための使用された補間情報に基づいて、今回の補間フレームを生成するための補間情報を予測し、予測した補間情報に基づいて補間フレームを生成する第２の補間フレーム生成手段、
を備えていることを特徴とするフレームレート変換装置。
【請求項２】
第２の補間フレーム生成手段は、上記両フレームのうちの前フレームのみを用いて、補間フレームを生成するものであることを特徴とする請求項１に記載のフレームレート変換装置。
【請求項３】
隣り合う前後フレームの間に相関があるかないかを判定する第１の相関判定手段、
第１の相関判定手段によって相関がないと判別された場合には、上記両フレームの輝度レベルを揃えた後に、両フレーム間に相関があるかないかを判定する第２の相関判定手段、ならびに
第２の相関判定手段によって、相関があると判定された場合には、輝度レベルが揃えられた後の両フレームから、上記両フレームの間に挿入する補間フレームを生成するための補間情報を生成し、得られた補間情報に基づいて補間フレームを生成する手段、
を備えていることを特徴とするフレームレート変換装置。
【請求項４】
第１の相関判定手段によって、相関があると判定された場合には、上記両フレームから、上記両フレームの間に挿入する補間フレームを生成するための補間情報を生成し、得られた補間情報に基づいて補間フレームを生成する手段、ならびに
第２の相関判定手段によって、相関がないと判定された場合には、前回の補間フレーム生成のための使用された補間情報に基づいて、今回の補間フレームを生成するための補間情報を予測し、予測した補間情報に基づいて補間フレームを生成する手段、
を備えていることを特徴とする請求項３に記載のフレームレート変換装置。
【請求項５】
請求項１乃至４に記載のフレームレート変換装置を備えていることを特徴とする映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、フレームレート変換装置および映像表示装置に関する。
【背景技術】
【０００２】
既存のコンテンツのフレームレートよりも高いフレームレートでコンテンツを表示できる映像表示装置が開発されている。例えば、液晶テレビにおいては、動く画像がぼけるのを防止するために、毎秒６０フレームの映像を毎秒１２０フレームの映像に変換し、得られた毎秒１２０フレームの映像を液晶表示器に表示させるものが開発されている。このような映像表示装置にコンテンツを表示する場合、同じフレームの映像を単に複数回出力するのではなく、信号処理によってフレーム間の補間映像を生成し、それをフレーム間に挿入することによって、滑らかな再生映像を得るようにしている。
【０００３】
補間映像は通常、その前後のフレーム映像を用いて生成されるが、シーンチェンジなどの映像内容が大きく変化する箇所においては、良好な補間映像が得られないという問題がある。
【０００４】
特開２００６−２７０８２３号公報に記載された「画像レート変換方法及び画像レート変換装置」では、前後のフレームに相関がないところでは、（１）前フレームの画像をそのまま当てはめるか、または（２）前後のフレーム間の動きベクトルを利用して、前フレームのみから片方向に動き補償を行なって補間フレームを生成するようにしている。
【０００５】
しかしながら、上記（１）では、シーンチェンジの瞬間にガタツキが発生してしまう。また、上記（２）では、シーンチェンジをまたがるフレームを使って生成された不正確な動きベクトルを利用しているため、前フレームの画像のみから補間フレームを生成したとしても、歪んだ画像になってしまう。
【特許文献１】特開２００６−２７０８２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
この発明は、シーンチェンジなどの映像内容が大きく変化する箇所においても、好適な補間フレームを生成でき、滑らかな再生映像を表示できる、フレームレート変換装置および映像表示装置を提供することを目的とする。
【０００７】
この発明は、フェードインまたはフェードアウトのような場面においても、滑らかな補間フレームを生成することかできるフレームレート変換装置および映像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、フレームレート変換装置において、隣り合う前後フレームの間に相関があるかないかを判定する相関判定手段、相関があると判定された場合には、上記両フレームから、上記両フレームの間に挿入する補間フレームを生成するための補間情報を生成し、得られた補間情報に基づいて補間フレームを生成する第１の補間フレーム生成手段、ならびに相関がないと判定された場合には、前回の補間フレーム生成のための使用された補間情報に基づいて、今回の補間フレームを生成するための補間情報を予測し、予測した補間情報に基づいて補間フレームを生成する第２の補間フレーム生成手段を備えていることを特徴とする。
【０００９】
請求項２に記載の発明は、請求項１に記載のフレームレート変換装置において、第２の補間フレーム生成手段は、上記両フレームのうちの前フレームのみを用いて、補間フレームを生成するものであることを特徴とする。
【００１０】
請求項３に記載の発明は、隣り合う前後フレームの間に相関があるかないかを判定する第１の相関判定手段、第１の相関判定手段によって相関がないと判別された場合には、上記両フレームの輝度レベルを揃えた後に、両フレーム間に相関があるかないかを判定する第２の相関判定手段、ならびに第２の相関判定手段によって、相関があると判定された場合には、輝度レベルが揃えられた後の両フレームから、上記両フレームの間に挿入する補間フレームを生成するための補間情報を生成し、得られた補間情報に基づいて補間フレームを生成する手段を備えていることを特徴とする。
【００１１】
請求項４に記載の発明は、請求項３に記載のフレームレート変換装置において、第１の相関判定手段によって、相関があると判定された場合には、上記両フレームから、上記両フレームの間に挿入する補間フレームを生成するための補間情報を生成し、得られた補間情報に基づいて補間フレームを生成する手段、ならびに第２の相関判定手段によって、相関がないと判定された場合には、前回の補間フレーム生成のための使用された補間情報に基づいて、今回の補間フレームを生成するための補間情報を予測し、予測した補間情報に基づいて補間フレームを生成する手段を備えていることを特徴とする。
【００１２】
請求項５に記載の発明は、映像表示装置において、請求項１乃至４に記載のフレームレート変換装置を備えていることを特徴とする。
【発明の効果】
【００１３】
この発明によれば、シーンチェンジなどの映像内容が大きく変化する箇所においても、好適な補間フレームを生成でき、滑らかな再生映像を表示できるようになる。
【００１４】
また、この発明によれば、フェードインまたはフェードアウトのような場面においても、滑らかな補間フレームを生成することかできるようになる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、この発明を、液晶表示装置内に設けられた毎秒６０フレームの映像を毎秒１２０フレームの映像に変換するためのフレームレート変換装置に適用した場合の実施例について説明する。
【実施例１】
【００１６】
〔１〕実施例１の基本的な考え方についての説明
【００１７】
この明細書においては、図１に示すように、前後２つのフレームＦ（Ｎ）、Ｆ（Ｎ＋１）とに基づいて補間フレームＦｃ（Ｎ）を生成する場合において、時間的に旧いフレーム（Ｎ）を前フレームまたは現フレームといい、時間的に新しいフレームＦ（Ｎ＋１）を後フレームまたは参照フレームということにする。
【００１８】
図２を参照して、実施例１の基本的な考え方について説明する。
【００１９】
実施例１では、隣接する２つのフレームに相関がある場合と、隣接する２つのフレームに相関がない場合とで、補間フレームの生成方法を変えている。図２には、隣接する２つのフレームＦ（Ｎ）、Ｆ（Ｎ＋１）には相関があり、隣接する２つのフレームＦ（Ｎ＋１）、Ｆ（Ｎ＋２）には相関がない例が示されている。
【００２０】
互いに相関がある２つのフレームＦ（Ｎ）、Ｆ（Ｎ＋１）から補間フレームＦｃ（Ｎ）を生成する場合には、両フレームＦ（Ｎ）、Ｆ（Ｎ＋１）の映像に基づいて、動きがあるエリア（動きエリア：図２の中段の図では斜線で示されている領域）を特定するとともに、映像エリアを分割することにより設定された複数のブロック毎に動きベクトル（図２の中段の図では、０または→で示されている）を求める。動きエリアに関する情報と動きベクトルとが補間フレームを生成するための補間情報となる。動きエリアの特定は、画素毎に映像の変化があるか否かを判別し、映像の変化がある画素の集合体を動きエリアとして特定することによって行なわれる。
【００２１】
動きのないエリアに含まれる画素については、前後フレームのうちの一方のフレームの対応する対象画素の画像をそのまま補間画像として用いる。なお、動きのないエリアに含まれる画素について、前フレームＦ（Ｎ）の対応する対象画素の画像と後フレームＦ（Ｎ＋１）の対応する対象画素の画像との平均を補間画像として用いていもよい。動きのあるエリアに含まれる画素については、前後フレームＦ（Ｎ）、Ｆ（Ｎ＋１）の一方または両方から、その対象画素に対する動きベクトルに基づいて決定される画素位置の画像を抽出して補間画像として使用する。
【００２２】
互いに相関がない２つのフレームＦ（Ｎ＋１）、Ｆ（Ｎ＋２）から補間フレームＦｃ（Ｎ＋１）を生成する場合には、両フレームＦ（Ｎ＋１）、Ｆ（Ｎ＋２）から補間フレームＦｃ（Ｎ＋１）を生成するための動きエリアと動きベクトルを求めるのではなく、前回求められた動きエリアと動きベクトルに基づいて、補間フレームＦｃ（Ｎ＋１）を生成するための動きエリアと動きベクトルを予測する。
【００２３】
そして、予測した動きエリアと動きベクトルとに基づいて、補間フレームＦｃ（Ｎ＋１）を生成する。つまり、動きのないエリアに含まれる画素については、前フレームＦ（Ｎ＋１）の対応する対象画素の画像をそのまま補間画像として用いる。動きのあるエリアに含まれる画素については、前フレームＦ（Ｎ＋１）から、その対象画素に対する動きベクトルに基づいて決定される画素位置の画像を抽出して補間画像として使用する。
【００２４】
このように、互いに相関がない２つのフレーム（Ｎ＋１）、（Ｎ＋２）から補間フレームＦｃ（Ｎ＋１）を生成する場合には、補間フレームＦｃ（Ｎ）は、前フレームのみから生成される。
〔２〕フレームレート変換装置の電気的構成についての説明
【００２５】
図３は、フレームレート変換装置の電気的構成を示している。
【００２６】
入力映像信号は、遅延回路１、フレーム相関判定部２、動きエリア生成部３、動きベクトル生成部４および補間フレーム合成部６に送られる。遅延回路１に送られた入力映像信号は、１フレーム期間だけ遅延せしめられた後、フレーム相関判定部２、動きエリア生成部３、動きベクトル生成部４および補間フレーム合成部６に送られる。
【００２７】
遅延回路１に入力されるフレームをＦ（Ｎ＋１）で表し、遅延回路１から出力されるフレームをＦ（Ｎ）で表すことにする。Ｆ（Ｎ）とＦ（Ｎ＋１）とから補間フレームＦｃ（Ｎ）を生成するので、Ｆ（Ｎ）を前フレーム（現フレーム）といい、Ｆ（Ｎ＋１）を後フレーム（参照フレーム）ということにする。
【００２８】
フレーム相関判定部２は、Ｆ（Ｎ＋１）とＦ（Ｎ）との間に相関があるか否かを判定する。Ｆ（Ｎ＋１）とＦ（Ｎ）との間に相関があるか否かは、公知の技術を用いて行なうことができる。例えば、特開２００６−２７０８２３号公報に記載されているように、ブロックマッチング誤差量ＤM およびＭＶのブロック間相関Ｄv の一方または両方の値を用いて、Ｆ（Ｎ＋１）とＦ（Ｎ）との間に相関があるか否かを判定してもよい。
【００２９】
フレーム相関判定部２は、相関があるか否かの判定結果を表す信号ｒを、動きエリア・動きベクトル補正部５および補間フレーム合成部６に送る。この例では、相関ありの場合にはｒ＝１となり、相関なしの場合にはｒ＝０となる。
【００３０】
動きエリア生成部３は、Ｆ（Ｎ＋１）とＦ（Ｎ）との間で、映像に変化のある画素を特定する。つまり、画素毎にＦ（Ｎ＋１）とＦ（Ｎ）との間の差分の絶対値を求め、差分の絶対値が所定の閾値以上である場合には、その画素を変化のある画素（動きのある画素）とみなす。動きエリア生成部３は、画素毎に動きがあるエリアか否かを表す情報からなる動きエリア情報Ｍ’（Ｎ）を生成して、動きエリア・動きベクトル補正部５に送る。
【００３１】
動きベクトル生成部４は、Ｆ（Ｎ＋１）とＦ（Ｎ）との間の動きベクトルを算出する。具体的には、動きベクトル生成部４は、ブロックマッチングなどの既存手法を用いて、映像エリアを分割することにより設定される複数のブロック毎に動きベクトルを求める。動きベクトル生成部４は、各ブロック毎に求めた動きベクトルＶ’（Ｎ）を生成して、動きエリア・動きベクトル補正部５に送る。
【００３２】
図４は、動きエリア・動きベクトル補正部５の電気的構成を示している。
【００３３】
動きエリア・動きベクトル補正部５は、信号切替回路５１、遅延回路５２および動きエリア・動きベクトル予測部５３を備えている。
【００３４】
信号切替回路５１には、動きエリア情報として、動きエリア生成部３によって生成された動きエリア情報Ｍ’（Ｎ）と動きエリア・動きベクトル予測部５３によって生成された動きエリアの予測情報Ｍ”（Ｎ）とが入力されている。また、信号切替回路５１には、ブロック毎の動きベクトルとして、動きベクトル生成部４によって生成された動きベクトルＶ’（Ｎ）と動きエリア・動きベクトル予測部５３によって生成された動きベクトルの予測値Ｖ”（Ｎ）が入力している。
【００３５】
信号切替回路５１は、フレーム相関判定部２から送られてくる信号ｒに基づいて、入力信号を切り替える。つまり、フレーム相関判定部２によって２つのフレームＦ（Ｎ）、Ｆ（Ｎ＋１）間に相関があると判定された場合（ｒ＝１）には、信号切替回路５１は、動きエリア生成部３によって生成された動きエリア情報Ｍ’（Ｎ）を動きエリア情報Ｍ（Ｎ）として出力するとともに、動きベクトル生成部４によって生成された動きベクトルＶ’（Ｎ）を動きベクトルＶ（Ｎ）として出力する。
【００３６】
フレーム相関判定部２によって２つのフレームＦ（Ｎ）、Ｆ（Ｎ＋１）間に相関がないと判定された場合（ｒ＝０）には、動きエリア・動きベクトル予測部５３によって生成された動きエリアの予測情報Ｍ”（Ｎ）を動きエリア情報Ｍ（Ｎ）として出力するとともに、動きエリア・動きベクトル予測部５３によって生成された動きベクトルの予測値Ｖ”（Ｎ）を動きベクトルＶ（Ｎ）として出力する。
【００３７】
信号切替回路５１から出力される動きエリア情報Ｍ（Ｎ）および動きベクトルＶ（Ｎ）は、遅延回路５２に送られるとともに、補間フレーム合成部６に送られる。補間フレーム合成部６は、信号切替回路５１から送られてきた動きエリア情報Ｍ（Ｎ）および動きベクトルＶ（Ｎ）に基づいて、補間フレームＦｃ（Ｎ）を生成する。補間フレーム合成部６によって行なわれる処理の詳細については後述する。
【００３８】
遅延回路５２は、信号切替回路５１から送られてきた動きエリア情報Ｍ（Ｎ）および動きベクトルＶ（Ｎ）を、１フレーム期間だけ遅延させた後、動きエリア・動きベクトル予測部５３に送る。動きエリア・動きベクトル予測部５３は、遅延回路５２から送られてきた（Ｎ−１）番目のフレームに対する動きエリア情報Ｍ（Ｎ−１）および（Ｎ−１）番目のフレームに対する動きベクトルＶ（Ｎ−１）に基づいて、Ｎ番目のフレームに対する動きエリアおよび動きベクトルを予測して、Ｍ”（Ｎ）およびＶ”（Ｎ）として出力する。この場合には、動きエリア情報Ｍ（Ｎ−１）および動きベクトルＶ（Ｎ−１）が、請求項１における「前回の補間フレーム生成のために使用された補間情報」に相当する。
【００３９】
図５は、動きエリア・動きベクトル予測部５３によって実行される予測処理手順を示している。
【００４０】
図６に示すように、映像エリアがｍ×ｎ個のブロックに分割されており、各ブロック毎に動きベクトルＶ’（Ｎ）が算出されているものとする。各ブロックの位置は、１からｍ×ｎまでを表す変数ｂで表される。あるフレーム番号における各ブロックは、図６に示すように、Ｂ（ｂ，フレーム番号）で表すことにする。例えば、Ｂ（１，Ｎ−１）は、（Ｎ−１）番目のフレームの先頭のブロックを示している。
【００４１】
また、あるフレーム番号における各ブロックに対応する動きエリア情報は、図７に示すように、Ｍ（ｂ，フレーム番号）で表される。例えば、Ｍ（１，Ｎ−１）は、（Ｎ−１）番目のフレームの先頭のブロックに対応する動きエリア情報を示している。この動きエリア情報Ｍ（１，Ｎ−１）は、当該ブロック内の各画素毎に動きがあるエリアか否かを表す情報から構成されている。なお、図７において、ハッチングは、（Ｎ−１）番目のフレームの動きエリア情報Ｍ（Ｎ−１）によって表されている動きエリアを示している。
【００４２】
あるフレーム番号における各ブロックに対応する動きベクトルは、Ｖ（ｂ，フレーム番号）で表される。例えば、Ｖ（１，Ｎ−１）は、（Ｎ−１）番目のフレームの先頭のブロックに対応する動きベクトルを示している。
【００４３】
図５に戻り、まず、初期設定を行なう（ステップＳ１）。つまり、各ブロック毎の動きベクトルの予測値Ｖ”（ｂ，Ｎ）の初期値を０に設定するとともに、動きエリアの予測情報Ｍ”（Ｎ）の初期値として全画素に０（動き無し領域）を設定する。
【００４４】
初期設定の後、ブロックの位置を表す変数ｂに１を設定する（ステップＳ２）。そして、処理対象ブロックＢ（ｂ，Ｎ−１）内に動きエリアを含んでおりかつ当該ブロックの動きベクトルＶ（ｂ，Ｎ−１）が０でないという条件を満たしているか否かを判別する（ステップＳ３）。処理対象ブロックＢ（ｂ，Ｎ−１）内に動きエリアを含んでいるか否かは、当該ブロックに対応する動きエリア情報Ｍ（ｂ，Ｎ−１）に基づいて判別する。
【００４５】
上記条件を満たしていない場合には、全てのブロック位置に対する処理が終了したか否かを判別する（ステップＳ９）。つまり、ｂ＝ｍ×ｎであるか否かを判別する。ｂ＝ｍ×ｎでなければ、全てのブロック位置に対する処理が終了していないと判別し、ｂを１だけインクリメントした後（ステップＳ１０）、ステップＳ３に戻る。
【００４６】
上記ステップＳ３において、処理対象ブロックＢ（ｂ，Ｎ−１）内に動きエリアを含んでおりかつ当該ブロックの動きベクトルＶ（ｂ，Ｎ−１）が０でないという条件を満たしていると判別した場合には、処理対象ブロックに対応する動きエリア情報Ｍ（ｂ，Ｎ−１）を動きベクトルＶ（ｂ，Ｎ−１）の方向にその動きベクトルの大きさ分だけシフトさせた後の内容に、動きエリアの予測情報Ｍ”（Ｎ）を更新させる（ステップＳ４）。
【００４７】
つまり、更新後の予測情報Ｍ”（Ｎ）は、処理対象ブロックＢ（ｂ，Ｎ−１）内の動きエリアを、当該ブロックに対応する動きベクトルＶ（ｂ，Ｎ−１）の方向にその動きベクトルの大きさ分だけ移動させた後の動きエリアを表す情報となる。
【００４８】
次に、上記シフトによって、処理対象ブロックＢ（ｂ，Ｎ−１）内にあった動きエリアの少なくとも一部が、処理対象ブロックＢ（ｂ，Ｎ−１）に隣接するブロック内に移動したか否かを判別する（ステップＳ５）。隣接ブロック内に動きエリアが移動したと判別した場合には、動きエリアが移動してきた隣接ブロックに対応する動きベクトル予測値Ｖ”（Ｎ）に、処理対象ブロックＢ（ｂ，Ｎ−１）の動きベクトルＶ（ｂ，Ｎ−１）を設定する（ステップＳ６）。そして、ステップＳ７に移行する。上記ステップＳ５において、隣接ブロックに動きエリアが移動していないと判別した場合には、ステップＳ７に移行する。
【００４９】
ステップＳ７では、上記ステップＳ４で更新された動きエリアの予測情報Ｍ”（Ｎ）のうち、ブロック位置ｂに対応する予測情報Ｍ”（ｂ，Ｎ）内に動きエリアが含まれているか否かを判別する。つまり、上記ステップＳ４で動きエリア情報Ｍ（ｂ，Ｎ−１）をシフトさせた場合、そのシフト後において当該ブロックに動きエリアが残っているか否かを判別する。
【００５０】
動きエリアの予測情報Ｍ”（ｂ，Ｎ）内に動きエリアが含まれている場合には、処理対象ブロックＢ（ｂ，Ｎ−１）に対応する動きベクトル予測値Ｖ”（ｂ，Ｎ）に、処理対象ブロックＢ（ｂ，Ｎ−１）に対応する動きベクトルＶ（ｂ，Ｎ−１）を設定する（ステップＳ８）。そして、ステップＳ９に移行する。上記ステップＳ７において、動きエリアの予測情報Ｍ”（ｂ，Ｎ）内に動きエリアが含まれてないと判別した場合には、ステップＳ９に移行する。この場合には、処理対象ブロックＢ（ｂ，Ｎ−１）に対応する動きベクトルの予測値Ｖ”（ｂ，Ｎ）は、０（初期値）となり、Ｖ（ｂ，Ｎ−１）とは異なるベクトルとなる。
【００５１】
ステップＳ９では、全てのブロックに対する処理が終了したか否かを判別する。つまり、ｂ＝ｍ×ｎであるか否かを判別する。ｂ＝ｍ×ｎでなければ、全てのブロックに対する処理が終了していないと判別し、ｂを１だけインクリメントした後（ステップＳ１０）、ステップＳ３に戻る。
【００５２】
図８は、補間フレーム合成部６によって行なわれる補間フレーム合成処理手順を示している。
【００５３】
画素をＰ（＝（ｘ，ｙ））で表すことにする。まず、最初の画素（０，０）を選択する（ステップＳ２１）。
【００５４】
対象画素Ｐは動きエリアに含まれているか否かを判別する（ステップＳ２２）。この判別は、動きエリア・動きベクトル補正部５によって補間フレーム合成部６に与えられる動きエリア情報Ｍ（Ｎ）に基づいて行なわれる。
【００５５】
対象画素Ｐが動きエリアに含まれていない場合には、次式（１）に基づいて、対象画素Ｐに対応する補間画素値Ｆｃ（Ｐ，Ｎ）を算出して、補間画素値Ｆｃ（Ｐ，Ｎ）として設定する（ステップＳ２３）。
【００５６】
Ｆｃ（Ｐ，Ｎ）＝Ｆ（Ｐ，Ｎ）      …（１）
【００５７】
上記式（１）において、Ｆ（Ｐ，Ｎ）は、現フレーム（Ｎ）の対象画素Ｐに対応する画素値Ｆ（Ｐ，Ｎ）である。
【００５８】
ステップＳ２３の処理が終了すると、全ての画素に対する処理が終了したか否かを判別する（ステップＳ２８）。全ての画素に対する処理が終了していない場合には、対象画素Ｐを次画素に更新した後（ステップＳ２９）、ステップＳ２２に戻る。
【００５９】
上記ステップＳ２２において、対象画素Ｐが動きエリアに含まれていると判別された場合には、動きエリア・動きベクトル補正部５によって補間フレーム合成部６に与えられる各ブロック毎の動きベクトルＶ（Ｎ）のうち、対象画素Ｐを含むブロックの動きベクトルを、対象画素Ｐに対応する動きベクトルｖ（＝（ｖｘ，ｖｙ））として設定する（ステップＳ２４）。
【００６０】
また、フレーム相関判定部２によって補間フレーム合成部６に与えられる相関判定結果ｒが１であるか否かを判別する（ステップＳ２５）。ｒ＝１である場合、つまり、現フレームと参照フレームとの間に相関があると判別されている場合には、次式（２）に基づいて、対象画素Ｐに対応する補間画素値Ｆｃ（Ｐ，Ｎ）を算出して、補間画素値Ｆｃ（Ｐ，Ｎ）として設定する（ステップＳ２６）。そして、ステップＳ２８に移行する。
【００６１】
Ｆｃ（Ｐ，Ｎ）＝（１／２）・Ｆ（Ｐ−ｖ／２，Ｎ）
＋（１／２）・Ｆ（Ｐ＋ｖ／２，Ｎ＋１）      …（２）
【００６２】
上記式（２）において、Ｆ（Ｐ−ｖ／２，Ｎ）は、現フレーム（Ｎ）の対象画素Ｐに対して、対象画素Ｐに対応する動きベクトルｖの大きさの１／２だけ、動きベクトルｖの方向と逆方向にある位置の画素値を表している。また、Ｆ（Ｐ＋ｖ／２，Ｎ＋１）は、参照フレーム（Ｎ＋１）の対象画素Ｐに対して、対象画素Ｐに対応する動きベクトルｖの大きさの１／２だけ、動きベクトルｖの方向にある位置の画素値を表している。
【００６３】
上記ステップＳ２５において、ｒ＝０であると判別した場合、つまり、現フレームと参照フレームとの間に相関がないと判別されている場合には、次式（３）に基づいて、対象画素Ｐに対応する補間画素値Ｆｃ（Ｐ，Ｎ）を算出して、補間画素値Ｆｃ（Ｐ，Ｎ）として設定する（ステップＳ２７）。そして、ステップＳ２８に移行する。
【００６４】
Ｆｃ（Ｐ，Ｎ）＝Ｆ（Ｐ−ｖ／２，Ｎ）      …（３）
【００６５】
上記式（３）において、Ｆ（Ｐ−ｖ／２，Ｎ）は、現フレーム（Ｎ）の対象画素Ｐに対して、対象画素Ｐに対応する動きベクトルｖの大きさの１／２だけ、動きベクトルｖの方向と逆方向にある位置の画素値を表している。
【００６６】
全ての画素に対して、補間画素値Ｆｃ（Ｐ，Ｎ）が設定されると、ステップＳ２８でＹＥＳとなり、今回の補間フレーム合成処理を終了する。
【実施例２】
【００６７】
〔１〕実施例２の基本的な考え方についての説明
実施例２においても、基本的には実施例１と同様な方法で補間フレームを生成することを前提としている。
【００６８】
シーンチェンジの直前においてフェイドアウト（全体輝度を徐々に低下させる）させたり、シーンチェンジの直後においてフェイドイン（全体輝度を徐々に上昇させる）させたりする場合がある。
【００６９】
図９に示すように、フェイドアウト（またはフェイドイン）の途中においては、隣接する２つのフレームＦ（Ｎ）、Ｆ（Ｎ＋１）間では、それらが連続的な画像であっても、全体輝度が異なるため、相関がないと判定されてしまう可能性が高い。そうすると、両フレームＦ（Ｎ）、Ｆ（Ｎ＋１）の間には、実質的には相関性があっても、両フレームＦ（Ｎ）、Ｆ（Ｎ＋１）の相関を利用して補間フレームが作成されなくなる。
【００７０】
そこで、実施例２では、両フレームＦ（Ｎ）、Ｆ（Ｎ＋１）に相関がないと判別された場合には、両フレームＦ（Ｎ）、Ｆ（Ｎ＋１）の全体輝度を揃えた上で、相関があるか否かを再度、チェックする。そして、相関があると判別された場合には、全体輝度が揃えられた両フレームＦ（Ｎ）、Ｆ（Ｎ＋１）に基づいて補間フレームを生成する。そして、得られた補間フレームの全体輝度を両フレームＦ（Ｎ）、Ｆ（Ｎ＋１）の中間の輝度に調整する。
【００７１】
〔２〕フレームレート変換装置の電気的構成についての説明
【００７２】
図１０は、フレームレート変換装置の電気的構成を示している。
【００７３】
入力映像信号は、遅延回路１、フレーム相関判定部２および輝度補正部７に送られる。遅延回路１に送られた入力映像信号は、１フレーム期間だけ遅延せしめられた後、フレーム相関判定部２、輝度補正部７、動きエリア生成部３、動きベクトル生成部４および補間フレーム合成部６に送られる。
【００７４】
遅延回路１に入力される映像をＦ（Ｎ＋１）で表し、遅延回路１から出力される映像をＦ（Ｎ）で表すことにする。
【００７５】
フレーム相関判定部２は、Ｆ（Ｎ＋１）とＦ（Ｎ）との間に相関があるか否かを判定する。フレーム相関判定部２は、相関があるか否かの判定結果ｒを、輝度補正部７に送る。この例では、相関ありの場合にはｒ＝１となり、相関なしの場合にはｒ＝０となる。
【００７６】
図１１は、輝度補正部７の電気的構成を示している。
【００７７】
輝度補正部７は、全体輝度差検出部７１、全体輝度調整部７２、フレーム相関判定部７３、ＯＲ回路７４および信号切替部７５を備えている。
【００７８】
全体輝度差検出部７１は、フレームＦ（Ｎ）とＦ（Ｎ＋１）の間の輝度差を検出する。具体的には、Ｆ（Ｎ）の平均輝度をＹN とし、Ｆ（Ｎ＋１）の平均輝度をＹN+1 とすると、次式（４）に基づいて、Ｆ（Ｎ）とＦ（Ｎ＋１）の間の輝度差Ｙ’を算出する。
【００７９】
Ｙ’＝ＹN −ＹN+1         …（４）
【００８０】
全体輝度調整部７２は、Ｆ（Ｎ＋１）の平均輝度をＦ（Ｎ）の平均輝度ＹN に揃えるために、Ｆ（Ｎ＋１）の各画素の輝度に、輝度差Ｙ’を加算する。
【００８１】
フレーム相関判定部７３は、Ｆ（Ｎ）と輝度調整後のＦ”（Ｎ＋１）との間に相関があるか否かを判定する。フレーム相関判定部７３は、判定結果ｒ”をＯＲ回路７４に出力する。この例では、相関があると判定した場合には、ｒ”＝１となり、相関がないと判定した場合には、ｒ”＝０となる。
【００８２】
ＯＲ回路７４には、フレーム相関判定部２からの判定結果ｒが送られている。ｒ＝１である場合には、ＯＲ回路７４の加算結果ｒ’は常に１となる。ｒ＝０である場合には、ＯＲ回路７４の加算結果ｒ’は、フレーム相関判定部７３の判定結果ｒ”と同じ値となる。      
【００８３】
信号切替部７５には、輝度差を表す入力信号として、０の値と全体輝度差検出部７１によって検出された輝度差Ｙ’とが入力されているとともに、Ｆ（Ｎ＋１）を表す信号として、輝度調整前のＦ（Ｎ＋１）と輝度調整後のＦ”（Ｎ＋１）とが入力されている。
【００８４】
信号切替部７５は、フレーム相関判定部２から送られてくる相関判定結果ｒに基づいて、入力信号を切り替える。つまり、フレーム相関判定部２によってＦ（Ｎ）とＦ（Ｎ＋１）の間に相関があると判定された場合（ｒ＝１）には、信号切替部７５は、０の値を輝度差を表す信号Ｙとして出力するとともに、輝度調整前のＦ（Ｎ＋１）を参照フレームの画像Ｆ’（Ｎ＋１）として出力する。一方、フレーム相関判定部２によってＦ（Ｎ）とＦ（Ｎ＋１）の間に相関がないと判定された場合（ｒ＝０）には、信号切替部７５は、全体輝度差検出部７１によって検出された輝度差Ｙ’を輝度差を表す信号Ｙとして出力するとともに、輝度調整後のＦ”（Ｎ＋１）を参照フレームの画像Ｆ’（Ｎ＋１）として出力する。
【００８５】
図１０に戻り、動きエリア生成部３は、Ｆ（Ｎ）と輝度補正部７から出力されたＦ’（Ｎ＋１）との間で、映像に変化のある画素を特定する。つまり、画素毎にＦ（Ｎ）とＦ’（Ｎ＋１）との間の差分の絶対値を求め、差分の絶対値が所定の閾値以上である場合には、その画素を変化のある画素（動きのある画素）とみなす。動きエリア生成部３は、画素毎に動きがあるエリアか否かを表す情報からなる動きエリア情報Ｍ’（Ｎ）を生成して、動きエリア・動きベクトル補正部５に送る。
【００８６】
動きベクトル生成部４は、Ｆ（Ｎ）と輝度補正部７から出力されたＦ’（Ｎ＋１）との間の動きベクトルを算出する。具体的には、動きベクトル生成部４は、ブロックマッチングなどの既存手法を用いて、映像エリアを分割することにより設定される複数のブロック毎に動きベクトルを求める。動きベクトル生成部４は、各ブロック毎に求めた動きベクトルＶ’（Ｎ）を生成して、動きエリア・動きベクトル補正部５に送る。
【００８７】
動きエリア・動きベクトル補正部５の構成は、実施例１で説明した構成（図４）と同じである。ただし、実施例１では図４の信号切替回路５１に対して、フレーム相関判定部２の判定結果ｒが切替制御信号として与えられていたが、実施例２では、信号切替回路５１に対して、輝度補正部７によって生成された信号ｒ’が切替制御信号として与えられている。
【００８８】
補間フレーム合成部６は、実施例１と同様な処理（図８に示す処理）を行なって補間フレームを合成する。ただし、実施例１の参照フレームＦ（Ｎ＋１）の代わりに、輝度補正部７から出力された参照フレームＦ’（Ｎ＋１）が用いられ、実施例１の判定結果ｒの代わりに輝度補正部７によって生成された信号ｒ’が用いられる。
【００８９】
補間フレーム合成部６によって生成され補間フレーム（実施例２では、Ｆｃ’（Ｎ）で表すことにする）は、全体輝度調整部８に送られる。全体輝度調整部８には、輝度補正部７から輝度差Ｙが与えられている。全体輝度調整部８は、補間フレーム合成部６によって生成され補間フレームＦｃ’（Ｎ）の各画素の輝度を、輝度差Ｙの１／２だけ低減させることにより、最終的な補間フレームＦｃ（Ｎ）を得る。
【００９０】
現フレームＦ（Ｎ）の平均輝度をＹN 、参照フレームＦ（Ｎ＋１）の平均輝度をＹN+1 とすると、輝度差ＹはＹ＝ＹN −ＹN+1 となる。フェードイン（フェードアウト）時には、参照フレームＦ（Ｎ＋１）の全体輝度が、現フレームＦ（Ｎ）の全体輝度ＹN と等しくなるように輝度調整された後に、補間フレームＦｃ’（Ｎ）が生成されるので、補間フレームＦｃ’（Ｎ）の平均輝度はＹN となる。
【００９１】
そこで、補間フレームＦｃ’（Ｎ）の平均輝度を、現フレームＦ（Ｎ）と参照フレームＦ（Ｎ＋１）の中間の輝度｛（ＹN ＋ＹN+1 ）／２｝にさせるために、補間フレームＦｃ’（Ｎ）の各画素の輝度を、輝度差Ｙ（＝ＹN −ＹN+1 ）の１／２だけ低減させている。      
【００９２】
つまり、補間フレームＦｃ’（Ｎ）の平均輝度をＹN とすると、輝度補正後の補間フレームＦｃ（Ｎ）の平均輝度Ｙｃは、次式（４）で示すように、｛（ＹN ＋ＹN+1 ）／２｝となる。
【００９３】
Ｙｃ＝ＹN −Ｙ／２＝ＹN −（ＹN −ＹN+1 ）／２＝（ＹN ＋ＹN+1 ）／２
…（４）
【図面の簡単な説明】
【００９４】
【図１】現フレーム（Ｎ）と、参照フレームＦ（Ｎ＋１）と、それらのフレームから生成されるめ補間フレームＦｃ（Ｎ）とを示す模式図である。
【図２】実施例１の基本的な考え方について説明するための模式図である。
【図３】フレームレート変換装置の電気的構成を示すブロック図である。
【図４】動きエリア・動きベクトル補正部５の電気的構成を示すブロック図である。
【図５】動きエリア・動きベクトル予測部５３によって実行される予測処理手順を示すフローチャートである。
【図６】映像エリア内に設定されたｍ×ｎ個のブロック示す模式図である。
【図７】あるフレーム番号における各ブロックに対応する動きエリア情報は、Ｍ（ｂ，フレーム番号）で表されることを示す模式図である。
【図８】補間フレーム合成部６によって実行される補間フレーム合成処理手順を示すフローチャートである。
【図９】実施例２の基本的な考え方について説明するための模式図である。
【図１０】フレームレート変換装置の電気的構成を示すブロック図である。
【図１１】輝度補正部７の電気的構成を示を示すブロック図である。
【符号の説明】
【００９５】
１  遅延回路
２  フレーム相関判定部
３  動きエリア生成部
４  動きベクトル生成部
５  動きエリア・動きベクトル補正部
６  補間フレーム合成部
７  輝度補正部
８  全体輝度調整部
【図１】
2008227928.tif 000003
【図２】
2008227928.tif 000004
【図３】
2008227928.tif 000005
【図４】
2008227928.tif 000006
【図５】
2008227928.tif 000007
【図６】
2008227928.tif 000008
【図７】
2008227928.tif 000009
【図８】
2008227928.tif 000010
【図９】
2008227928.tif 000011
【図１０】
2008227928.tif 000012
【図１１】
2008227928.tif 000013