(57)【要約】【課題】時間的に前後する動画像のフレーム情報を用いてその間の内挿フレームを生成するに際し、所定の動き特性をもつ領域が存在した場合でも、その領域及びその周辺領域で視覚的な違和感を発生させることのない内挿フレームを生成可能な動画像内挿補間装置を提供する。【解決手段】特区定量行き検出回路１２が、時間的に前後する画像フレームから所定の単位領域毎に所定の動き特性に関するレベルを検出し、その所定の動き特性をもつ特定領域を検出し、特定領域補正回路１３が、検出されたレベルを補正する。動きベクトル補正回路１４が、この補正後のレベルが示す特定領域に対応するブロックの動きベクトルを、補正後のレベルに基づき補正する。そして、内挿フレーム生成回路１５が、ここで補正された後の動きベクトルを用いて、時間的に前後する画像フレームから内挿フレームを生成する。【選択図】図１
2010074337.tif 000002
【特許請求の範囲】
【請求項１】
時間的に前後する画像フレームから画像フレーム内の各ブロックについて動きベクトルを求める動き検出部と、該動きベクトルを用いて前記時間的に前後する画像フレームから内挿画像フレームを生成する内挿フレーム生成部とを備えた動画像内挿補間装置であって、前記時間的に前後する画像フレームから所定の単位領域毎に所定の動き特性に関するレベルを検出し、該所定の動き特性をもつ特定領域を検出する特定領域検出部と、該特定領域検出部で検出されたレベルを補正する特定領域補正部と、前記動き検出部にて求めた動きベクトルのうち、前記特定領域補正部で補正後のレベルが示す前記特定領域に対応するブロックの動きベクトルを、前記特定領域補正部で補正後のレベルに基づき補正する動きベクトル補正部とを備え、前記内挿フレーム生成部は、前記動きベクトル補正部で補正後の動きベクトルを用いて、前記時間的に前後する画像フレームから内挿画像フレームを生成することを特徴とした動画像内挿補間装置。
【請求項２】
請求項１に記載の動画像内挿補間装置において、前記特定領域検出部は、前記所定の動き特性に関するレベルとして静止領域である可能性を示す静止レベルを検出し、前記特定領域として前記静止領域を検出する静止領域検出部を有し、前記静止領域は、静止画又は静止文字を含む領域であることを特徴とした動画像内挿補間装置。
【請求項３】
請求項２に記載の動画像内挿補間装置において、前記動きベクトル補正部は、前記静止領域検出部で検出され前記特定領域補正部で補正された静止レベルに基づき、該補正された静止レベルが示す前記静止領域に対応するブロックの動きベクトルの絶対値を補正することを特徴とした動画像内挿補間装置。
【請求項４】
請求項１〜３のいずれか１項に記載の動画像内挿補間装置において、前記特定領域検出部は、前記所定の動き特性に関するレベルとしてテロップ領域である可能性を示す移動レベルを検出し、前記特定領域として前記テロップ領域を検出するテロップ領域検出部を有し、前記テロップ領域は、文字がテロップとして一定方向に移動している領域であることを特徴とした動画像内挿補間装置。
【請求項５】
請求項４に記載の動画像内挿補間装置において、前記テロップ領域検出部は、前記テロップ領域における文字の移動量及び移動方向を示すテロップベクトルを検出し、前記動きベクトル補正部は、前記テロップ領域検出部で検出され前記特定領域補正部で補正された移動レベルに基づいた、前記テロップ領域検出部で検出されたテロップベクトルを合成する処理を適用して、前記補正された移動レベルが示す前記テロップ領域に対応するブロックの動きベクトルを補正することを特徴とした動画像内挿補間装置。
【請求項６】
請求項１〜５のいずれか１項に記載の動画像内挿補間装置において、前記特定領域検出部は、前記所定の動き特性に関するレベルとして画像端領域である可能性を示す画像端レベルを検出し、前記特定領域として前記画像端領域を検出する画像端領域検出部を有し、前記画像端領域は、画像フレームの端付近の領域であって前記動き検出部での動き検出が困難なブロックの領域であることを特徴とした動画像内挿補間装置。
【請求項７】
請求項６に記載の動画像内挿補間装置において、前記動きベクトル補正部は、前記画像端領域検出部で検出され前記特定領域補正部で補正された画像端レベルが示す前記画像端領域に対応するブロックの動きベクトルを、該画像端領域の近隣のブロックの動きベクトルを用い、前記補正された画像端レベルに基づいて補正することを特徴とした動画像内挿補間装置。
【請求項８】
請求項６又は７に記載の動画像内挿補間装置において、前記特定領域補正部は、前記画像端領域検出部で検出された画像端レベルを、前記画像端領域の最端方向に向かうに従って減衰させるように補正することを特徴とした動画像内挿補間装置。
【請求項９】
請求項１〜８のいずれか１項に記載の動画像内挿補間装置において、前記特定領域補正部は、前記特定領域検出部で検出されたレベルを平滑化する補正を行うことを特徴とした動画像内挿補間装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の動画像内挿補間装置において、前記特定領域補正部は、前記特定領域検出部で検出されたレベルを、前記特定領域検出部で検出された特定領域を拡張するように補正することを特徴とした動画像内挿補間装置。
【請求項１１】
時間的に前後する画像フレームから画像フレーム内の各ブロックについて動きベクトルを求める動き検出ステップと、該動き検出ステップで求めた動きベクトルを用いて前記時間的に前後する画像フレームから内挿画像フレームを生成する内挿フレーム生成ステップとを含む動画像内挿補間方法であって、前記時間的に前後する画像フレームから所定の単位領域毎に所定の動き特性に関するレベルを検出し、該所定の動き特性をもつ特定領域を検出する特定領域検出ステップと、該特定領域検出ステップで検出されたレベルを補正する特定領域補正ステップと、前記動き検出ステップにて求めた動きベクトルのうち、前記特定領域補正ステップで補正後のレベルが示す前記特定領域に対応するブロックの動きベクトルを、前記特定領域補正ステップで補正後のレベルに基づき補正する動きベクトル補正ステップと、をさらに含み、前記内挿フレーム生成ステップは、前記動きベクトル補正ステップで補正後の動きベクトルを用いて、前記時間的に前後する画像フレームから内挿画像フレームを生成することを特徴とした動画像内挿補間方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時間的に前後する動画像のフレーム情報を用いてその間の内挿フレームを生成する、動画像内挿補間装置及び動画像内挿補間方法に関するものである。
【背景技術】
【０００２】
テレビ等に代表される動画像表示装置において、画像は伝送経路等の制約により、１秒あたり２４〜６０枚のフレームで構成されるのが一般的である。通常のテレビ放送は、３０フレーム／秒のインターレース信号をプログレッシブ信号にＩ／Ｐ（Interlace／Progressive）変換し、６０フレーム／秒の信号を生成している。映画は、通常２４フレーム／秒で製作され、放送時には、３−２プルダウン変換して３枚の繰り返し画像＋２枚の繰り返し画像を生成することで６０フレーム／秒の信号を生成している。
【０００３】
しかし、動画像の動きを滑らかに見せるためには、１２０〜１８０フレーム／秒のフレームレートが必要とされている。特に液晶パネルに表示する場合は、１フレーム毎に一定の輝度を出力するホールド特性の影響により、６０フレーム／秒以下のフレームレートでは残像感が残りテロップ等の文字が読み難くなる。
【０００４】
このため、動画像の動きを滑らかに見せる目的で、時間的に前後する動画像のフレーム情報を用いてその間の内挿フレームを生成するフレーム内挿補間方法が採用されている。
【０００５】
図７は、従来のフレーム内挿補間方法を説明するための概念図である。図７で示す動画像は、過去の原画フレーム７１と未来の原画フレーム７２との相違により示したように、背景画像が左から右方向へ水平に動いており、この移動する背景画像に対して静止した「Ａ  Ｂ  Ｃ」の文字７１ｍ、７２ｍが重畳されている。
【０００６】
このような動画像において過去の原画フレーム７１と未来の原画フレーム７２との中間の内挿フレーム７３を作成する場合、まず各原画フレーム７１、７２の画像を４×４画素もしくは８×８画素程度のブロック７１ｂ、７２ｂに分割し、一方のフレームのブロックについて他方のフレームのブロックのうち誤差が最小となるブロックを検出し、その両ブロック間のブロック座標の差（動きベクトル）を検出する。このように、動きベクトルは、過去の原画フレーム７１と未来の原画フレーム７２とから勾配法により求めることができる。また、或るブロック７１ｂに対する動きベクトルの検出は、そのブロック７１ｂに位置的に対応する原画フレーム７２内のブロック７２ｂから所定範囲内で、そのブロック７１ｂとの差分が最小となる領域（ブロックと同じ大きさの領域）をマッチングすることにより実行してもよい。この方法（ブロックマッチング法）を採用した場合でも、結果として得られる動きベクトルは、マッチングの誤差が最小となる動きベクトルになる。
【０００７】
そして、このようにして検出された動きベクトルと過去の原画フレーム７１と未来の原画フレーム７２とにより、内挿フレーム７３が動き適応的に生成される。生成された内挿フレーム７３は、過去の原画フレーム７１と未来の原画フレーム７２との間に出力されて表示される。
【特許文献１】特開平４−３５１１８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来のフレーム内挿補間方法においては、大きな差異（特に異なった向き）をもつベクトル同士が隣接することによる空間的な歪みや、動きベクトルの検出誤りにより、最小誤差となる動きベクトルが常に最良の画質を提供できるとは限らない。
【０００９】
図７の例においては、各内挿ブロック７３ｂを生成するために検出された各動きベクトル７３ｖは、背景画像の部分で右方向のベクトルとなり、静止した文字７３ｍの周辺では（０，０）もしくはこれに近いベクトルとなる。このように、静止文字と背景画像の境界付近で動きベクトルに空間的な歪みが生じる。また、背景画像と文字７３ｍが重なるブロックでは動きベクトルが正確に求まらない場合があり、その場合、最も確からしい動きベクトルもしくは（０，０）ベクトルが選択されることになる。そして、このような歪みや検出誤りをもつ動きベクトルに基づいて内挿フレーム７３を生成して挿入しても、静止しているはずの文字７３ｍが歪むため、文字が静止していないように見える現象が発生する。また、文字は他の画像とのコントラストが高くなるように表示されるため、視聴者にとってこの現象は目立ってしまう。
【００１０】
静止文字以外の具体的な例を挙げる。例えば、背景画像の動きと画面内に流れるテロップ文字の動きが逆方向になると、背景画像とテロップ文字との境界部分では両方の動きベクトルの衝突が発生する。そして、このような動きベクトルに基づいて内挿フレームを生成し挿入しても、テロップがスムーズに流れていないように見える現象が発生する。
【００１１】
また、画面が左右にパンする動画像においては、左右の画像端（画面端）のいずれかで適切な動きベクトルが求まらない領域が発生する。そして、適切な動きベクトルが求まる画像中央付近の領域と適切なベクトルが存在しない画像端領域との境界では、空間的な歪みが集中することになるため、このような動きベクトルに基づいて内挿フレームを生成し挿入しても、この歪みが違和感として現われる現象が発生する。
【００１２】
これらの対策の一つとして、求めた動きベクトルに対し空間的な平滑化処理を行うことで、歪みの発生する領域を周囲に分散する手法が考えられる。しかし、この手法では、見栄えを改善できる場合があるものの、この平滑化処理を単純に実行すると、映画の字幕などの本来静止している領域が周りの動きに引きずられて見えるなどの弊害が発生する。
【００１３】
このような動きベクトル自体の平滑化処理による弊害を解消するために、画面内の静止画領域を検出し、上述した引きずられる現象を緩和する手法を採用することもできる。例えば、特許文献１にはこれと同様の方法が開示されており、この概念を図８を参照して説明する。
【００１４】
図８で示す従来のフレーム内挿補間装置は、動きベクトル検出回路８１、静止画領域検出回路８２、動きベクトル補正回路８３、及び内挿フレーム生成回路８４を備える。ここで、動きベクトル補正回路８３は、静止画領域検出回路８２で検出された静止画領域においては動きを０、つまり動きベクトルを（０，０）に補正している。内挿フレーム生成回路８４は、動きベクトル補正回路８３から出力された補正後の動きベクトルに基づき内挿フレームを生成している。生成された内挿フレームは、静止画領域で（０，０）に補正した動きベクトルを用いて生成されているため、文字（静止画領域）が周りの動きに引きずられて見えるといった弊害が無くなる。
【００１５】
その反面、動きベクトル自体の平滑化処理にこのような静止画領域で動きを０にする補正を適用すると、結局、文字の周囲に動きベクトルの空間的な歪み（大きな差異をもつ動きベクトル同士の衝突）が集中して発生してしまい、違和感として見える懸念がある。
【００１６】
以上説明したように、隣接フレームの動きを用いたフレーム内挿補間方法は、動画の滑らかさ向上や残像感の低減には有効であるが、単純に最小誤差となる動きベクトルを求めてこれを適用するだけでは、視聴者は、自然な動きが感じられず視覚上の違和感をおぼえる場合がある。これは、映画の字幕などの静止領域、文字が一定の速度で左右に流れるテロップ領域、及び、画面パン時の画像端領域とその周辺で、顕著に発生する。そして、このような違和感は、動きベクトル自体の平滑化処理に特許文献１に記載の技術を適用しても結局のところ解消できるものではない。
【００１７】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、時間的に前後する動画像のフレーム情報を用いてその間の内挿フレームを生成するに際し、静止画や静止文字、テロップ、画像端といった動き特性をもつ領域が存在した場合でも、その領域及びその周辺領域で視覚的な違和感を発生させることのない内挿フレームを生成することが可能な動画像内挿補間装置及び動画像内挿補間方法を提供することにある。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明の第１の技術手段は、時間的に前後する画像フレームから画像フレーム内の各ブロックについて動きベクトルを求める動き検出部と、該動きベクトルを用いて前記時間的に前後する画像フレームから内挿画像フレームを生成する内挿フレーム生成部とを備えた動画像内挿補間装置であって、前記時間的に前後する画像フレームから所定の単位領域毎に所定の動き特性に関するレベルを検出し、該所定の動き特性をもつ特定領域を検出する特定領域検出部と、該特定領域検出部で検出されたレベルを補正する特定領域補正部と、前記動き検出部にて求めた動きベクトルのうち、前記特定領域補正部で補正後のレベルが示す前記特定領域に対応するブロックの動きベクトルを、前記特定領域補正部で補正後のレベルに基づき補正する動きベクトル補正部とを備え、前記内挿フレーム生成部は、前記動きベクトル補正部で補正後の動きベクトルを用いて、前記時間的に前後する画像フレームから内挿画像フレームを生成することを特徴としたものである。
【００１９】
第２の技術手段は、第１の技術手段において、前記特定領域検出部は、前記所定の動き特性に関するレベルとして静止領域である可能性を示す静止レベルを検出し、前記特定領域として前記静止領域を検出する静止領域検出部を有し、前記静止領域は、静止画又は静止文字を含む領域であることを特徴としたものである。
【００２０】
第３の技術手段は、第２の技術手段において、前記動きベクトル補正部は、前記静止領域検出部で検出され前記特定領域補正部で補正された静止レベルに基づき、該補正された静止レベルが示す前記静止領域に対応するブロックの動きベクトルの絶対値を補正することを特徴としたものである。
【００２１】
第４の技術手段は、第１〜第３のいずれかの技術手段において、前記特定領域検出部は、前記所定の動き特性に関するレベルとしてテロップ領域である可能性を示す移動レベルを検出し、前記特定領域として前記テロップ領域を検出するテロップ領域検出部を有し、前記テロップ領域は、文字がテロップとして一定方向に移動している領域であることを特徴としたものである。
【００２２】
第５の技術手段は、第４の技術手段において、前記テロップ領域検出部は、前記テロップ領域における文字の移動量及び移動方向を示すテロップベクトルを検出し、前記動きベクトル補正部は、前記テロップ領域検出部で検出され前記特定領域補正部で補正された移動レベルに基づいた、前記テロップ領域検出部で検出されたテロップベクトルを合成する処理を適用して、前記補正された移動レベルが示す前記テロップ領域に対応するブロックの動きベクトルを補正することを特徴としたものである。
【００２３】
第６の技術手段は、第１〜第５のいずれかの技術手段において、前記特定領域検出部は、前記所定の動き特性に関するレベルとして画像端領域である可能性を示す画像端レベルを検出し、前記特定領域として前記画像端領域を検出する画像端領域検出部を有し、前記画像端領域は、画像フレームの端付近の領域であって前記動き検出部での動き検出が困難なブロックの領域であることを特徴としたものである。
【００２４】
第７の技術手段は、第６の技術手段において、前記動きベクトル補正部は、前記画像端領域検出部で検出され前記特定領域補正部で補正された画像端レベルが示す前記画像端領域に対応するブロックの動きベクトルを、該画像端領域の近隣のブロックの動きベクトルを用い、前記補正された画像端レベルに基づいて補正することを特徴としたものである。
【００２５】
第８の技術手段は、第６又は第７の技術手段において、前記特定領域補正部は、前記画像端領域検出部で検出された画像端レベルを、前記画像端領域の最端方向に向かうに従って減衰させるように補正することを特徴としたものである。
【００２６】
第９の技術手段は、第１〜第８のいずれかの技術手段において、前記特定領域補正部は、前記特定領域検出部で検出されたレベルを平滑化する補正を行うことを特徴としたものである。
【００２７】
第１０の技術手段は、第１〜第９のいずれかの技術手段において、前記特定領域補正部は、前記特定領域検出部で検出されたレベルを、前記特定領域検出部で検出された特定領域を拡張するように補正することを特徴としたものである。
【００２８】
第１１の技術手段は、時間的に前後する画像フレームから画像フレーム内の各ブロックについて動きベクトルを求める動き検出ステップと、該動き検出ステップで求めた動きベクトルを用いて前記時間的に前後する画像フレームから内挿画像フレームを生成する内挿フレーム生成ステップとを含む動画像内挿補間方法であって、前記時間的に前後する画像フレームから所定の単位領域毎に所定の動き特性に関するレベルを検出し、該所定の動き特性をもつ特定領域を検出する特定領域検出ステップと、該特定領域検出ステップで検出されたレベルを補正する特定領域補正ステップと、前記動き検出ステップにて求めた動きベクトルのうち、前記特定領域補正ステップで補正後のレベルが示す前記特定領域に対応するブロックの動きベクトルを、前記特定領域補正ステップで補正後のレベルに基づき補正する動きベクトル補正ステップと、をさらに含み、前記内挿フレーム生成ステップは、前記動きベクトル補正ステップで補正後の動きベクトルを用いて、前記時間的に前後する画像フレームから内挿画像フレームを生成することを特徴としたものである。
【発明の効果】
【００２９】
本発明によれば、時間的に前後する動画像のフレーム情報を用いてその間の内挿フレームを生成するに際し、静止画や静止文字、テロップ、画像端といった動き特性をもつ領域が存在した場合でも、その領域及びその周辺領域で視覚的な違和感を発生させることのない内挿フレームを生成することが可能になる。
【発明を実施するための最良の形態】
【００３０】
図１は、本発明に係る動画像内挿補間装置の一構成例を示すブロック図である。図１で例示する動画像内挿補間装置は、動きベクトル検出回路１１、特定領域検出回路１２、特定領域補正回路１３、動きベクトル補正回路１４、及び内挿フレーム生成回路１５を備える。
【００３１】
本発明に係る動画像内挿補間装置は、時間的に前後する画像フレームから画像フレーム内（画面内）の各ブロックについて動きベクトルを求めることで、動きを検出する動き検出部を備える。動きベクトル検出回路１１は、この動き検出部を回路で構成した例である。ここで、画面内の各ブロックとは、後述の内挿フレーム生成部で生成対象となる内挿画像フレーム（以下、単に内挿フレームという）内の各ブロック、つまり現在、画面表示又は記録のために出力しようとしている画像フレーム（現画像フレーム）内の各ブロックを指す。また、動きベクトルは、生成する内挿フレームに時間的に前後する２枚の画像フレームから既存の方法により求めることができる。例えば、最小誤差となるような動きベクトルを勾配法やブロックマッチング法などにより検出すればよい。なお、その２枚の画像フレームに加えてさらに未来、過去の画像フレームも参照して、既存の方法により動きベクトルを求めてもよい。
【００３２】
また、本発明に係る動画像内挿補間装置は、動きベクトルを用いて時間的に前後する画像フレームから内挿フレームを生成する内挿フレーム生成部を備える。内挿フレーム生成回路１５は、この内挿フレーム生成部を回路で構成した例である。動きベクトルを用いた内挿フレームの生成については既存の手法で実行すればよい。
【００３３】
本発明に係る動画像内挿補間装置は、このようにして生成した内挿フレームを時間的に前後する画像フレームの間に内挿することで補間を行う装置（フレーム内挿補間装置）であり、このような補間によりフレームレートを変換できることからフレームレート変換装置とも呼ばれる。
【００３４】
通常、内挿フレームは、時間的に前後する画像フレームの時間的に中間に位置するフレームとして生成され、生成には、時間的に中間に位置する動きベクトルが用いられる。勿論、生成する内挿フレーム（現在のフレーム）は、過去の画像フレームと未来の画像フレームとの時間的中間に位置するフレームに限ったものではない。例えば時間的に前後する２枚の画像フレームの間に２枚の内挿フレームを配分して挿入するなど、元の２枚の画像フレームの間に出力しようとする画像フレームの枚数から決まる時間的な位置について、動きベクトルを求め内挿フレームを生成すればよい。
【００３５】
そして、本発明に係る動画像内挿補間装置は、その主たる特徴として、以下に説明する特定領域検出部、特定領域補正部、及び動きベクトル補正部を備える。
【００３６】
特定領域検出部は、時間的に前後する画像フレームから所定の単位領域毎に「所定の動き特性」に関するレベルを検出することで、この所定の動き特性をもつ特定領域を検出する。特定領域検出回路１２は、この特定領域検出部を回路で構成した例である。
【００３７】
ここで、所定の単位領域とは、動きベクトル検出単位であるブロック単位であってもよいし、そのブロックがもつ画素群と異なる数（好ましくはより少ない数）の画素群で構成される単位であってもよい。また、所定の動き特性としては、静止領域として定義できるような動き特性、テロップ領域として定義できるような動き特性、画像端領域として定義できるような動き特性など、視覚上の違和感が発生する可能性の高い動き特性が挙げられる。
【００３８】
特定領域検出回路１２は、動きベクトル検出回路１１での動き検出結果や前後の画像フレームでのエッジ検出を行った結果などに基づいて、所定の動き特性をもつ可能性（上記特定領域である確からしさ）を示すレベルを検出すればよい。なお、図１では動きベクトル検出回路１１での動き検出結果を特定領域検出回路１２へ入力する経路を図示していないが、このように動き検出結果を用いて特定領域を検出する場合もある。また、特定領域検出回路１２は、検出したレベルが所定レベル以上であった場合を特定領域として検出すればよい。この特定領域として、上述したように視覚上の違和感が発生する可能性の高い領域を検出すればよく、検出された領域の動きベクトルを後述するように補正することで、このような違和感が抑止できる。なお、動き検出に使用する画像フレーム群と特定領域の検出に使用する画像フレーム群とではフレーム数が異なってもよいが、双方、少なくとも内挿フレームに時間的に前後する２枚の画像フレームを含んでおく必要がある。
【００３９】
また、特定領域検出回路１２は、レベル検出を最初に行わずに、時間的に前後する画像フレームから「所定の動き特性」をもつ特定領域を検出し、その後、検出された特定領域が正しく検出されたものであるかを示す確からしさを、所定の単位領域毎に上記レベルとして検出してもよい。
【００４０】
特定領域補正部は、特定領域検出回路１２で検出されたレベルを補正する。特定領域補正回路１３は、この特定領域補正部を回路で構成した例である。特定領域補正回路１３は、特定領域検出回路１２でレベルを検出した動き特性に依らずに、特定領域検出回路１２で検出されたレベルを一律に補正してもよい。しかし、特定領域検出回路１２で検出されたレベルを、検出した動き特性（上記所定の動き特性）に応じた補正係数（補正パラメータ）又は補正方法で補正することが好ましい。なお、上記所定の動き特性及びこの補正方法の例として、静止画や静止文字、テロップ、画像端といった３種類の動き特性及びそれぞれの補正方法を後述する。
【００４１】
また、特定領域補正回路１３でのレベル補正は、特定領域検出回路１２で検出された特定領域を縮小（つまり特定領域の範囲を縮小）しないように行う。縮小してしまうと、実際の特定領域であるブロックの動きベクトル補正が、特定領域でないブロックと同様に取り扱われてしまうため、その逆（実際には特定領域でないブロックを特定領域であるブロックと同様に取り扱う場合）や実際の特定領域をそのまま取り扱う場合とは異なり、例えば静止文字の端が動いて見えるなどの問題を生じるためである。
【００４２】
また、特定領域補正回路１３は、特定領域検出回路１２で検出されたレベルを、特定領域検出回路１２で検出された特定領域を拡張するように補正することが好ましい。検出した結果のレベルを検出外の領域へ拡張するように補正することで、特定領域内の動きを安定させることができると共に、後述する動きベクトルの補正を特定領域の外側に分散させ、特定領域での動きベクトル補正の効果を緩和することができる。また、拡張の度合い又は拡張方法自体も、レベルを検出した所定の動き特性に応じて異ならせることが好ましい。
【００４３】
また、特定領域補正回路１３は、特定領域検出回路１２で検出されたレベルを空間的に平滑化する補正を行うことが好ましい。空間的な平滑化とは、或る領域で検出されたレベルをその近隣の領域で検出されたレベルと平滑化することを指す。このような平滑化処理により、特定領域のうち突出したレベルをもつ部分での動きベクトル補正の効果を緩和することができる。また、平滑化の度合い又は平滑化方法自体も、レベルを検出した所定の動き特性に応じて異ならせることが好ましい。また、この平滑化処理は特定領域検出回路１２で検出された特定領域内に限って実行してもよいが、上述した拡張化処理と併用し、特定領域外への拡張を許容して平滑化処理を実行することが好ましい。また、検出されたレベルの平滑化処理は、単純な低域通過フィルタ等の小規模回路で実現できる。
【００４４】
動きベクトル補正部は、動きベクトル検出回路１１にて求めた動きベクトルのうち特定領域補正回路１３で補正後のレベルが示す特定領域に対応するブロックの動きベクトルを、特定領域補正回路１３で補正後のレベルに基づいて補正する。動きベクトル補正回路１４は、この動きベクトル補正部を回路で構成した例である。
【００４５】
補正後のレベルが示す特定領域とは、特定領域の範囲まで変わる（範囲を拡張する）ようなレベル補正を行った場合には、補正後レベルから得られる補正後（拡張後）の特定領域を指し、特定領域の範囲が変わらないようなレベル補正を行った場合には当然特定領域検出回路１２から出力された特定領域を指す。補正後の特定領域は、補正後のレベルから動きベクトル補正回路１４で判定してもよいし、補正後のレベルから特定領域補正回路１３で判定して動きベクトル補正回路１４に渡してもよい。また、動きベクトル補正回路１４は、補正後のレベルに基づく補正として、例えば補正後のレベルを動きベクトル補正用の補正係数（補正パラメータ）として用いるなどすればよい。
【００４６】
そして、内挿フレーム生成回路１５は、動きベクトル補正回路１４で補正後の動きベクトルを用いて、時間的に前後する画像フレームから内挿フレームを生成する。勿論、内挿フレーム生成時には、動きベクトル補正回路１４で補正の対象とならなかった動きベクトル、つまり特定領域（補正後の特定領域）以外の領域に対応するブロックの動きベクトルを用いて、そのブロックの画像も生成する。
【００４７】
このように、本発明に係る動画像内挿補間装置は、静止画や静止文字、テロップ、画像端などといった所定の動き特性をもつ特定領域が存在した場合でも、その動き特性をもつ可能性（特定領域である確からしさ）を示すレベルを補正し、補正したレベルに基づき動きベクトルを補正している。
【００４８】
従って、本発明に係る動画像内挿補間装置は、動きベクトル補正の効果を、検出された特定領域とその周辺で緩和するように、検出されたレベルを適切に補正することも可能となるため、その特定領域及びその周辺領域で視覚的な違和感を発生させることのない内挿フレームを生成することができる。動きベクトル補正の効果を緩和させることは、大きな差異（特に異なった向き）をもつ動きベクトル同士が隣接することによる空間的な歪みを生じないように、動きベクトルが補正されることを意味する。また、動きベクトル検出回路１１で動きベクトルの検出誤りがあったとしても、上記空間的な歪みを無くすような補正がなされるため、生成される内挿フレームによって視覚的な違和感を発生させずに済む。
【００４９】
以下、動き特性に関するレベルや特定領域について具体例を挙げて、その補正や動きベクトルの補正などと併せて説明する。
【００５０】
図１の動画像内挿補間装置では、過去の画像フレーム（原画フレーム）と未来の画像フレーム（原画フレーム）を用いた動きベクトル検出と並行して、特定領域検出回路１２にて静止領域、テロップ領域、画像端領域の検出処理を実行する。それぞれの検出結果に対し、特定領域補正回路１３にて適切な補正が実行される。そして、動きベクトル補正回路１４にて、それぞれの補正結果に応じて動きベクトルの補正が実行される。
【００５１】
そのため、特定領域検出回路１２は、静止領域検出回路１２ａで例示する静止領域検出部、テロップ領域検出回路１２ｂで例示するテロップ領域検出部、並びに、画像端領域検出回路１２ｃで例示する画像端領域検出部を有する。さらに、特定領域補正回路１３は、これらの検出部に対応して、それぞれ、静止領域補正値算出回路１３ａで例示する静止領域補正部、テロップ領域補正値算出回路１３ｂで例示するテロップ領域補正部、並びに、画像端領域補正値算出回路１３ｃで例示する画像端領域補正部を有する。
【００５２】
なお、回路１２ａ〜１２ｃはそれぞれ独立して構成しておかなくてもよく、回路１３ａ〜１３ｃもそれぞれ独立して構成しておかなくてもよい。さらに、（１）静止領域検出部及び静止領域補正部、（２）テロップ領域検出部及びテロップ領域補正部、（３）画像端領域検出部及び画像端領域補正部、の３つの動き特性（３種類の特定領域）を処理する部位は、３つの動き特性に対応させるために全て併設しておくことが好ましいが、いずれか１つ又は２つの部位のみを設けておいてもよい。
【００５３】
まず、図２及び図３を参照して、静止領域検出回路１２ａでの静止領域の検出処理、静止領域補正値算出回路１３ａでの補正処理、静止領域に対する動きベクトル補正回路１４での動きベクトル補正処理について説明する。図２は、図１の動画像内挿補間装置で実行される静止領域に対する処理例を説明するための図である。また、図３は、図１の動画像内挿補間装置で生成される静止領域を含む内挿フレームの例を、従来の動画像内挿補間装置で生成される静止領域を含む内挿フレームとの比較により示す図である。
【００５４】
静止領域検出回路１２ａは、所定の動き特性に関するレベルとして「静止レベル」を検出し、特定領域として「静止領域」を検出する。ここで、静止レベルとは静止領域である可能性（静止度合い）を示すレベルを指し、静止領域とは静止画又は静止文字を含む領域を指す。特定領域の検出について説明したように、検出した静止レベルが所定レベル以上である領域を静止領域として検出すればよい。
【００５５】
図２の例で説明すると、静止領域検出回路１２ａは、時間的に前後する画像フレームから所定の単位領域毎に静止レベル２２を検出する。この静止レベル２２は、映像の中から静止している領域（静止領域）である可能性、例えば静止画と推定される領域や字幕などの静止した文字と推定される領域を含む静止領域である可能性（確からしさ）を示すものである。
【００５６】
静止領域検出回路１２ａは、検出の単位領域（検出座標）毎に、動きベクトル検出回路１１からその座標（その単位領域が含まれるブロック）の動きベクトルを得て、動きベクトルが数フレームに渡り（０，０）になるか或いは（０，０）と相関が強くなる場合に、静止レベル２２が高いと検出すればよい。このとき、数フレーム続く動きベクトルが大きくなる程、静止レベル２２が低いとして検出すればよく、また数フレーム続かない場合には静止レベル２２を０とすればよい。もしくは、静止領域検出回路１２ａは、前後の画像フレームについてエッジ検出（輝度又は同一色によるエッジの検出）を行い、検出の単位領域毎にこのエッジ情報が数フレームに渡り変化しない領域であるか否かを判定し、変化しない領域である場合に静止レベル２２が高いとして検出することもできる。字幕の場合には、コントラストが強く周辺との輝度差が大きいため、このような検出方法は有用である。また、字幕は、画面内の特定の領域に縦又は横方向に並んで現れる確率が高い。従って、上述した２つの静止レベル検出方法のいずれにおいても、上下左右又は周辺に同様のレベルの領域が密集していればそのレベルを強調し（大きくし）、同様のレベルの領域がない場合はそのレベルを弱める（小さくする）ことで、静止レベルの検出の精度をより向上させることができる。
【００５７】
図２では、静止レベル（字幕検出レベル）２２として、「Ａ  Ｂ  Ｃ」という静止字幕２１を検出した結果で例示しており、静止字幕２１の字間２１ａ，２１ｂに対応する位置の静止レベル２２ａ，２２ｂが低く、静止字幕２１の外側の領域は静止レベルが０となっていることが分かる。なお、図２では説明の簡略化のために、検出結果をＸ軸（画像の水平軸）方向に限定して、静止レベル２２を縦軸に示している。
【００５８】
また、静止領域検出回路１２ａは、検出した静止レベル２２が所定レベル（例えば０レベル）より大きい領域を、画面内の静止画又は字幕を含む静止領域である推定することで、静止領域の検出を行う。図２では、検出された静止領域を２本の縦の点線で示している。
【００５９】
また、静止領域検出回路１２ａは、静止レベル２２の検出を最初に行わずに、時間的に前後する画像フレームから静止画又は静止字幕を含む静止領域を検出し、その後、検出された静止領域が正しく検出されたものであるかを示す確からしさを、所定の単位領域毎に上記静止レベル２２として検出してもよい。
【００６０】
次に、静止領域補正値算出回路１３ａは、静止領域検出回路１２ａで検出した静止レベル２２に対し、空間的に平滑化する処理及び静止領域外（検出外）の領域へ拡張させる処理を施して、後段の動きベクトル補正回路１４で使用する補正レベル（補正係数）２３を算出する。算出された補正レベル２３は、静止レベル２２ａ，２２ｂに対応する部分の補正レベル２３ａ，２３ｂのように、検出された静止領域内のレベルを滑らかにしたレベルとなる。また、算出された補正レベル２３は、拡張部分の補正レベル２３ｃ，２３ｄのように、検出された静止領域をその周囲に対して滑らかに拡張したレベルとなる。
【００６１】
上述のような静止領域についての検出及び補正と並行して、或いは検出及び補正に前後して、動きベクトル検出回路１１が各ブロックの動きベクトル（誤差最小となる動きベクトル）を求める。動きベクトル検出回路１１では、静止字幕２１を含む映像について、動きベクトル２４ａ〜２４ｈで例示するような動きベクトルが検出される。なお、説明の簡略化のため、図２では静止レベル２２と同様にＸ軸方向のみを考慮した動きベクトルを示している。
【００６２】
静止領域外の動きベクトル２４ａ〜２４ｃ，２４ｇ，２４ｈは、ここで例示する映像における背景画像の動き（左から右へ向かう動き）を検出したものである。静止領域内の動きベクトル２４ｄ〜２４ｆ等は、補正レベル２３ｂに対応する動きベクトル２４ｅ以外、０となっている。なお、図２では動きベクトルが０でもその位置を示すために便宜上、動きベクトルの長さを０に描いていない。そして、楕円２５ａで囲んだ領域（境界領域）では、動きベクトル２４ｃと動きベクトル２４ｄとで動きベクトルが急峻に変化し、同じく楕円２５ｂで囲んだ境界領域でも、動きベクトル２４ｆと動きベクトル２４ｇとで動きベクトルが急峻に変化している。
【００６３】
このような動きベクトルの急峻な変化を補正するための補正係数（補正値そのものでもよい）を算出するために、まず上述した静止領域の検出及び補正の処理が実行された後、動きベクトル補正回路１４が動きベクトルに対し次のような補正を実行する。
【００６４】
動きベクトル補正回路１４は、動きベクトル検出回路１１で求めた誤差最小となる動きベクトルのうち拡張された静止領域の動きベクトル２４ｂ〜２４ｇに対し、静止領域補正値算出回路１３ａで算出された補正レベル２３（拡張された静止領域に対応）に基づいて、その絶対値を補正する。ここで、補正レベル２３は、この補正の実行により静止領域を拡張した部分の動きベクトルの絶対値（つまり動きベクトルの長さ、大きさ）が減るように、決定しておく。
【００６５】
図２の例では、静止レベル２２は、拡張部分の補正レベル２３ｃとして図示したように補正されており、動きベクトル２４ｂ，２４ｃの絶対値から補正レベル２３ｃの対応する位置の値を差し引くことで、それぞれ動きベクトル２６ｂ，２６ｃが生成されている。このような動きベクトルの補正により、楕円２７ａで囲んだ境界領域において動きベクトル２６ｄから動きベクトル２６ａに向かって動きベクトルが徐々に変化する（動きベクトルの絶対値が徐々に減る）。言い換えれば、例えばこのような補正式で補正後の動きベクトルの絶対値が徐々に減るようなパラメータとして補正レベル２３ｃを求めればよい。なお、補正レベル２３ｃに基づき動きベクトル２４ｂ，２４ｃの絶対値を補正しているが、例えばＸ，Ｙ成分毎に補正レベル２３ｃを求め、それぞれに基づき成分毎に動きベクトル２４ｂ，２４ｃ補正して動きベクトル２６ｂ，２６ｃを生成してもよい。同様に、静止レベル２２は、拡張部分の補正レベル２３ｄとして図示したように補正されており、この補正レベル２３ｄにより動きベクトル２４ｇが、楕円２７ｂで囲んだ境界領域において動きベクトル２６ｈから動きベクトル２６ｆに向かって動きベクトルが徐々に変化する（動きベクトルの絶対値が徐々に減る）ような動きベクトル２６ｇに補正されている。
【００６６】
このような補正レベル２３ｃ，２３ｄを用いた動きベクトルの補正により、静止領域として検出された部分の周囲は、楕円２７ａ（２７ｂ）で囲んだ境界領域の動きベクトル２６ｂ，２６ｃ（２６ｇ）のように、動きベクトル検出回路１１により静止領域の近隣で検出された誤差最小の動きベクトル２４ａ（２４ｈ）に少しずつ近づいていく。
【００６７】
なお、横書きの静止文字は通常左から右へ読まれるものであって、視聴者は文字群の右側より左側を注目することが多い。従って、図２では、より視覚的な違和感が生じ易い静止領域の左側の補正領域を、静止領域の右側の補正領域に比べて広い範囲で動きベクトルを補正した例を挙げている。つまり、図２の例では、このような動きベクトルの補正を行うために、静止領域補正値算出回路１３ａにおいて静止領域の両端で拡張部分の補正レベルが異なるように、より具体的には拡張部分の補正レベル２３ｃを、拡張部分の補正レベル２３ｄより広い範囲で（遠くまで）０にならないように緩やかに０に収束させている。しかし、動きベクトルを補正するための領域として拡張する領域は、静止領域の左側と右側とで同じ範囲であってもよい。また、結果的に左側の補正領域を広くする場合にも、静止領域補正値算出回路１３ａで静止領域の両端の拡張部分の補正レベル２３ｃ，２３ｄを同じ収束度合い（但し逆方向）で収束させるようにしておき、動きベクトル補正回路１４で、左側の領域に対する補正式を右側の領域の補正式と異ならせて、結果的に左側領域で補正される動きベクトルの数を右側の数より多くするなどの方法を採用することもできる。
【００６８】
また、補正前の静止領域の動きベクトル２４ｄ〜２４ｆについても、その絶対値（又はＸ，Ｙ成分値）が一定値に減る又は一定値だけ減らす（好ましくは０になる）ように補正レベル２３を決定しておくことが好ましい。そして、このような補正レベル２３を用いた動きベクトルの絶対値（又はＸ，Ｙ成分値）の補正は、動きベクトル２４ｄ〜２４ｆからその位置の補正レベルの値を差し引く（差し引いた後の下限値を０としておく）ことで行ってもよいし、単に一律、絶対値（又はＸ，Ｙ成分値）を０に補正してもよい。
【００６９】
このような補正レベル２３を用いた動きベクトルの補正により、静止領域として検出された部分の補正後の動きベクトル２６ｄ〜２６ｆはほぼ（０，０）或いは（０，０）になる。図２の例では、動きベクトル２４ｅが補正により動きベクトル２６ｄになり、その絶対値が小さくなっていることが分かる。
【００７０】
このような動きベクトルの補正により、静止領域内は安定して静止し、且つ静止領域とそれ以外との境界で生ずる動きベクトルの空間的な歪みを静止領域の外側に分散させることが可能である。そして、このように補正された動きベクトルを用いて前後の原画フレームから生成された内挿フレームを含む映像は、上記空間的な歪みによる視覚上の違和感を低減させたものとすることができる。また、静止領域の端側の静止文字や静止画の画質に影響を与えないより好適な例として、静止領域について静止領域を拡張するような補正を前提に説明したが、静止レベルを静止領域内のみで補正（平滑化に限らない）した場合でも、静止領域外との境界で生じる空間的な歪みを低減させることは可能であり、一定の効果は得られる。
【００７１】
図２で説明した動きベクトル補正による効果を図３を参照して簡単に説明する。過去の原画フレーム３１には、背景画像３１ｃとそれに一部が重なる静止文字３１ｍとが含まれる。未来の原画フレーム３２にも同様に、背景画像３２ｃとそれに一部が重なる静止文字３２ｍとが含まれ、背景画像３２ｃは背景画像３１ｃより左側に移動している。このような過去の原画フレーム３１と未来の原画フレーム３２から本発明に係る動画像内挿補間装置で生成した内挿フレーム３４は、静止文字３４ｍにおいて背景画像３４ｃと重なる部分３４ｓでも歪みなく視覚的な違和感も無いものとなる。これに対し、従来の動画像内挿補間装置で生成した内挿フレーム３３は、静止文字３３ｍにおいて背景画像３３ｃと重なる部分３３ｓで歪みが生じ、視覚的な違和感があるものとなる。
【００７２】
次に、図４を参照して、テロップ領域検出回路１２ｂでのテロップ領域の検出処理、テロップ領域補正値算出回路１３ｂでの補正処理、テロップ領域に対する動きベクトル補正回路１４での動きベクトル補正処理について説明する。図４は、図１の動画像内挿補間装置で実行されるテロップ領域に対する処理例を説明するための図である。
【００７３】
テロップ領域検出回路１２ｂは、所定の動き特性に関するレベルとしてテロップ領域である可能性を示す「移動レベル」を検出し、特定領域として「テロップ領域」を検出する。ここで、テロップ領域とは、文字がテロップとして一定方向に移動している領域を指す。映像に多く含まれる一定方向への移動する文字としては、水平方向又は垂直方向にスライド移動する文字が挙げられる。このスライド移動はスクロールとも呼ばれる。つまり、テロップ領域検出回路１２ｂは、特定領域として文字がテロップとしてフレーム間でスクロールしている領域であるテロップ領域を検出する。特定領域の検出について説明したように、検出した移動レベルが所定レベル以上である領域をテロップ領域として検出すればよい。
【００７４】
図４の例で説明すると、テロップ領域検出回路１２ｂは、時間的に前後する画像フレームから所定の単位領域毎に、移動レベル４２を検出する。この移動レベル４２は、映像の中からテロップ文字が流れている領域（テロップ領域）である可能性（確からしさ）を示すものである。
【００７５】
例えば、テロップ文字は画面横方向（画像の水平方向）に帯状に発生することが多いため、テロップ領域は一定の動きベクトルが特定のＹ座標に集中して偏在して現われる特性等を利用して推定することができる。従って、テロップ領域検出回路１２ｂは、検出の単位領域（検出座標）毎に、動きベクトル検出回路１１からその座標（その単位領域が含まれるブロック）の動きベクトルを得て、そのブロックを含む横長のブロック群（所定数のブロック）に同じ動きベクトルをもつ他のブロックが存在するか否かを検出し、多く存在する場合に移動レベル４２が高いものとして、移動レベルの検出を行えばよい。以下、このような検出を前提に説明するが、例えば、横長のブロック群（所定数のブロック）に対応する全ての動きベクトルが方向及び絶対値においてどの範囲に収まるかに応じて、移動レベル４２を決定するなど、他の検出方法も採用できる。
【００７６】
図４では、移動レベル（テロップ検出レベル）４２として、「Ａ  Ｂ  Ｃ」という左方向に流れるテロップ４１を検出した結果で例示しており、テロップ４１の字間４１ａ，４１ｂに対応する位置の移動レベル４２ａ，４２ｂが低く、テロップ４１の外側の領域は移動レベルが０となっていることが分かる。なお、図４では説明の簡略化のために、図２と同様に、検出結果をＸ軸方向に限定して、移動レベル４２を縦軸に示している。
【００７７】
また、テロップ領域検出回路１２ｂは、検出した移動レベル４２が所定レベル（例えば０レベル）より大きい領域を、画面内のテロップを含むテロップ領域である推定することで、テロップ領域の検出を行う。図４では、検出されたテロップ領域を２本の縦の点線で示している。
【００７８】
また、テロップ領域検出回路１２ｂは、移動レベル４２の検出を最初に行わずに、時間的に前後する画像フレームからテロップ文字を含むテロップ領域を、例えば上述したように一定の動きベクトルが特定のＹ座標に集中して偏在して現われているか否かで検出し、その後、検出されたテロップ領域が正しく検出されたものであるかを示す確からしさを、所定の単位領域毎に上記移動レベル４２として検出してもよい。
【００７９】
また、テロップ領域検出回路１２ｂは、移動レベル及びテロップ領域の検出と共に、テロップ領域におけるテロップベクトルの検出も行う。テロップベクトルとは、テロップ領域における文字（テロップ文字）の移動量及び移動方向を示すベクトルを指す。移動量は、時間的に前後する画像フレームのフレーム間隔当たりの移動量、そのフレーム間隔の半分の時間当たりの移動量などとして決めておけばよいが、後段にて動きベクトルとの合成を行うため、その動きベクトルと合わせるように後者を採用することが好ましい。このテロップベクトルとしては、移動レベルの検出時に検出した、テロップ領域内の動きベクトルを保持しておけばよい。
【００８０】
次に、テロップ領域補正値算出回路１３ｂは、テロップ領域検出回路１２ｂで検出した移動レベル４２に対し、空間的に平滑化する処理及びテロップ領域外（検出外）の領域へ拡張させる処理を施して、後段の動きベクトル補正回路１４で使用する補正レベル（補正係数）４３を算出する。算出された補正レベル４３は、移動レベル４２ａ，４２ｂに対応する部分の補正レベル４３ａ，４３ｂのように、検出されたテロップ領域内のレベルを滑らかにしたレベルとなる。また、算出された補正レベル４３は、拡張部分の補正レベル４３ｃ，４３ｄのように、検出されたテロップ領域をその周囲に対して滑らかに拡張したレベルとなる。なお、テロップ領域補正値算出回路１３ｂは、テロップの検出結果のうち、テロップベクトルについては補正を行わない。
【００８１】
上述のようなテロップ領域についての検出及び補正と並行して、或いは検出及び補正に前後して、動きベクトル検出回路１１が各ブロックの動きベクトル（誤差最小となる動きベクトル）を求める。なお、上述した例のようにテロップ領域検出回路１２ｂで動きベクトルを使用する場合には、当然、その動きベクトルの検出は事前に動きベクトル検出回路１１で実行しておく。動きベクトル検出回路１１では、テロップ４１を含む映像について、動きベクトル４４ａ〜４４ｈで例示するような動きベクトルが検出される。なお、説明の簡略化のため、図４では移動レベル４２と同様にＸ軸方向のみを考慮した動きベクトルを示している。
【００８２】
テロップ領域外の動きベクトル４４ａ〜４４ｃ，４４ｇ，４４ｈは、ここで例示する映像における背景画像の動き（左から右へ向かう動き）を検出したものである。テロップ領域内の動きベクトル４４ｄ〜４４ｆ等は、上述したテロップベクトルと基本的に同じになっている。そして、楕円４５ａで囲んだ境界領域では、動きベクトル４４ｃと動きベクトル４４ｄとで動きベクトルが急峻に変化し、同じく楕円４５ｂで囲んだ境界領域でも、動きベクトル４４ｆと動きベクトル４４ｇとで動きベクトルが急峻に変化（この場合、方向まで反転）している。
【００８３】
このような動きベクトルの急峻な変化を補正するための補正係数（補正値そのものでもよい）を算出するために、まず上述したテロップ領域の検出及び補正の処理（テロップベクトルの検出処理も含む）が実行され、その処理後、動きベクトル補正回路１４が動きベクトルに対し次のような補正を実行する。
【００８４】
動きベクトル補正回路１４は、動きベクトル検出回路１１で求めた誤差最小となる動きベクトルのうち拡張されたテロップ領域の動きベクトル４４ｂ〜４４ｇに対し、テロップ領域補正値算出回路１３ｂで算出された補正レベル４３（拡張されたテロップ領域に対応）に基づいて、補正を実行する。ここで、この補正の実行によりテロップ領域を拡張した部分の動きベクトル４４ｂ，４４ｃ（４４ｇ）とその拡張した部分のさらに外側の動きベクトル４４ａ（４４ｈ）との差が減るように、予め補正レベル４３を決定しておく。従って、動きベクトル補正回路１４において、テロップ領域で補正対象となる動きベクトルは、少なくとも拡張された部分の動きベクトル４４ｂ，４４ｃ，４４ｇが含まれていればよく、拡張前のテロップ領域に対応するブロックの動きベクトルは補正しなくてもよい。
【００８５】
動きベクトル補正回路１４は、拡張後のテロップ領域に対応するブロックの動きベクトルを、テロップ領域検出回路１２ｂで検出されたテロップベクトルを合成する処理により補正する。この合成処理は、補正レベル４３に応じて、テロップベクトルと最小誤差となる動きベクトルとの重み付けを決定してから、その重み付けに従って実行する。
【００８６】
図４の例では、移動レベル４２は、拡張部分の補正レベル４３ｃとして図示したように補正されており、動きベクトル４４ｂ，４４ｃのそれぞれに対応する位置の補正レベル４３ｃの値をテロップベクトル（動きベクトル４４ｄ）乗じ、その結果をそれぞれ動きベクトル４４ｂ，４４ｃに合成することで、それぞれ動きベクトル４６ｂ，４６ｃが生成されている。このような動きベクトルの補正により、動きベクトル４６ｄから動きベクトル４６ａに向かって動きベクトルが徐々に変化する。言い換えれば、例えばこのような補正式で補正後の動きベクトルが徐々に減るようなパラメータとして補正レベル４３ｃを求めればよい。同様に、移動レベル４２は、拡張部分の補正レベル４３ｄとして図示したように補正されており、この補正レベル４３ｄにより動きベクトル４４ｇが、動きベクトル４６ｈから動きベクトル４６ｆに向かって動きベクトルが徐々に変化するような動きベクトル４６ｇに補正されている。
【００８７】
このような補正レベル４３ｃ（４３ｄ）を用いた動きベクトル４４ｂ，４４ｃ（４４ｇ）の補正により、テロップ領域として検出された部分の周囲は、境界領域の動きベクトル４６ｂ，４６ｃ（４６ｇ）のように、動きベクトル検出回路１１によりテロップ領域の近隣で検出された誤差最小の動きベクトル４４ａ（４４ｈ）に少しずつ近づいていく。図４の例では、補正により得られた動きベクトル４６ａ，４６ｂ，４６ｃ，４６ｄ（４６ｆ，４６ｇ，４６ｈ）が、方向も踏まえて徐々に変化していることが分かる。
【００８８】
なお、図４では、より視覚的な違和感が生じ易いテロップ領域の左側の補正領域を、テロップ領域の右側の補正領域に比べて広い範囲で動きベクトルを補正した例を挙げている。この例を挙げた理由やその応用例については、図２における静止領域に関する説明と同様であり、説明を省略する。
【００８９】
また、補正前のテロップ領域の動きベクトル４４ｄ〜４４ｆについても、その絶対値がほぼ一定値になるように補正レベル４３を決定しておくことが好ましい。このような補正レベル４３を用いた動きベクトルの補正により、テロップ領域として検出された部分の補正後の動きベクトル４６ｄ〜４６ｆはほぼ一定値（つまり一様）になる。なお、動きベクトル４４ｄ〜４４ｆの方向は元々同じであることを前提に説明しているが、そうでない場合には水平方向になるように（垂直方向のテロップであれば垂直方向になるように）補正するとよい。
【００９０】
このように、動きベクトル補正回路１４は、補正レベル４３に基づいた、テロップベクトルを合成する処理を適用して、補正レベル４３が示す補正後のテロップ領域に対応するブロックの動きベクトルを補正する。このうち、図４では、補正レベル４３に基づいたテロップベクトル合成処理を「拡張された部分の動きベクトル」に適用した例を挙げ、さらに補正レベル４３を重み付けの係数として用いる例を挙げている。
【００９１】
このような動きベクトルの補正により、テロップ領域内は安定してテロップ文字が移動し（安定したテロップ動作が実現でき）、且つテロップ領域とそれ以外との境界で生ずる動きベクトルの空間的な歪みをテロップ領域の外側に分散させることが可能である。そして、このように補正された動きベクトルを用いて前後の原画フレームから生成された内挿フレームを含む映像は、上記空間的な歪みによる視覚上の違和感を低減させたものとすることができる。
【００９２】
また、動きベクトル補正回路１４は、補正レベル４３に基づくテロップベクトル合成処理無しの補正も実現できる。つまり、テロップ領域の検出時の動きベクトルの補正は、テロップベクトルの合成処理が必須ではない。例えば、補正レベル４３に基づいて動きベクトルの補正領域（上述した拡張後のテロップ領域における拡張部分）を決めると共に、静止領域での補正について説明したのと同様に、その補正領域の動きベクトルの絶対値（又は成分値）から補正レベル４３ｃ，４３ｄの対応する位置の値を差し引く又は加えるなどによって、補正を行うこともできる。
【００９３】
また、テロップ領域の端側のテロップ文字の画質に影響を与えないより好適な例として、テロップ領域についてテロップ領域を拡張するような補正を前提に説明したが、移動レベルをテロップ領域内のみで補正（平滑化に限らない）した場合でも、テロップ領域外との境界で生じる空間的な歪みを低減させることは可能であり、一定の効果は得られる。
【００９４】
また、背景画像の動きと逆方向に流れるテロップを例に挙げて説明したが、背景画像に際だった動きがない場合についても境界部分の動きベクトルに空間的な歪みが生じるため、同様に有益である。また、背景画像の動きと同方向に流れるテロップについても、静止領域と動く背景画像との例と同様に境界部分の動きベクトルに空間的な歪みが生じるため、逆方向に流れるテロップについての上述した処理を同様に有益に適用することができる。但し、同方向に流れるテロップについては、方向も鑑みた重み付けを伴うテロップベクトルの合成（マイナスの重み付けを行って合成、つまり拡張テロップ領域外の動きベクトルからテロップベクトルを差し引く補正）を行うなどすればよい。この場合、テロップ領域内の動きベクトル（テロップベクトル）の方向とテロップ領域外の動きベクトルの方向とを比較し、その比較結果を用いるとよい。なお、同方向に流れるテロップの場合、静止領域についての処理と同様の処理を実行してもよい。また、上述した方向の比較結果に基づいて、背景画像の動きと逆方向に流れるテロップについてのみ、図４で説明した動きベクトルの補正を適用するといったことも可能である。
【００９５】
次に、図５及び図６を参照して、画像端領域検出回路１２ｃでの画像端領域の検出処理、画像端領域補正値算出回路１３ｃでの補正処理、画像端領域に対する動きベクトル補正回路１４での動きベクトル補正処理について説明する。図５は、図１の動画像内挿補間装置で実行される画像端領域に対する処理例を説明するための図である。また、図６は、図５の処理例を補足するための図で、画像端領域の動きベクトル補正例をブロック単位で表示す図である。
【００９６】
画像端領域検出回路１２ｃは、所定の動き特性に関するレベルとして画像端領域（画面端領域）である可能性を示す「画像端レベル」を検出し、特定領域として「画像端領域」を検出する。ここで、画像端領域とは、画像フレームの端付近の領域であって動きベクトル検出回路１１での動き検出が困難なブロックの領域を指す。特定領域の検出について説明したように、検出した画像端レベルが所定レベル以上である領域を画像端領域として検出すればよい。
【００９７】
図５の例で説明すると、画像端領域検出回路１２ｃは、時間的に前後する画像フレームから所定の単位領域毎に、画像端領域である可能性（確からしさ）を示す画像端レベル５２を検出する。この画像端領域は、画像フレームの端付近の領域であって且つ動きベクトル検出回路１１での動き検出が困難な（困難と推定される）ブロックの領域を指す。
【００９８】
この画像端領域は、動きベクトル検出回路１１から画面（画像フレーム）全体の動きベクトルを得て、その画面全体の動きから推定することができる。従って、画像端レベル５２の検出は、例えば次のような方法を採用することができる。まず、予め定めた画像中央部の領域（画像の端側の領域以外）での動きベクトルを過去と未来の原画フレームから検出し、その平均値や分散などから一定の大きさ以上の一様な方向の動きベクトル（単に一様な動きベクトルと呼ぶ）をもつか否かを判定し、一様な動きベクトルをもつ場合にパンなどの画像全体の動きがあると判定する。そして、画像全体の動きがある場合に、所定の単位領域（検出座標）毎に、その検出座標の画像の端からの距離とその一様な動きベクトルの方向と大きさとに応じて、距離が短い程、動きベクトルの大きさが大きい程、画像端レベル５２が高く、距離が遠い程、動きベクトルの大きさが小さい程、画像端レベル５２が低いとして、画像端レベル５２を検出すればよい。また、同じく画像全体の動きがある場合に、上記画像中央部の領域以外の領域において、所定の単位領域毎に、動きベクトル検出回路１１からその座標（その単位領域が含まれるブロック）の動きベクトルを得て、動きベクトルが上記一様な動きベクトルとの差（例えば大きさの差）を求めて、差が一定以上であった場合に、その単位領域の画像端レベル５２が高く、一定未満であった場合に画像端レベル５２を低いとして検出してもよい。
【００９９】
また、画像端領域は、動きベクトル検出回路１１での動き検出誤差が画像端で急激に増加することを利用して推定することもできる。従って、画像端レベル５２の検出は、所定の単位領域毎に、動きベクトル検出回路１１からその座標（その単位領域が含まれるブロック）の動き検出誤差を得て、動き検出誤差が一定以上であった場合に、その単位領域の画像端レベル５２が高く、一定未満であった場合に画像端レベル５２を低いとして検出してもよい。また、予め画像の端側に検出範囲を絞ってもよい。
【０１００】
図５では、背景画像が左から右へパンする映像からの検出された画像端レベル（画像端検出レベル）５２を例示しており、この画像端レベル５２は、動き検出の限界点より右端側の領域で画像端レベル５２が高く、動き検出の限界点及びその左側の領域で画像端レベルが０となっていることが分かる。なお、図５では説明の簡略化のために、図２と同様に、検出結果をＸ軸方向に限定して、画像端レベル５２を縦軸に示している。
【０１０１】
また、画像端領域検出回路１２ｃは、検出した画像端レベル５２が所定レベル（例えば０レベル）より大きい領域を画像端領域である推定することで、画像端領域の検出を行う。図５では、検出された画像端領域を、動き検出の限界点と画像の右端とを示す２本の縦の点線で示している。
【０１０２】
また、画像端領域検出回路１２ｃは、画像端レベル５２の検出を最初に行わずに、時間的に前後する画像フレームから動きベクトルが検出困難で且つ画像の端側である画像端領域を検出し、その後、検出された画像端領域が正しく検出されたものであるかを示す確からしさを、所定の単位領域毎に上記画像端レベル５２として決定（検出）してもよい。この場合、画像端領域は、例えば上述したように動きベクトルから画像全体の動きがあるかを判定しその動きの量に応じた「画像の端からの距離」として決定することで検出してもよいし、動き検出誤差の画像端部での急激な増加があるかを判定しその動き検出誤差の増加度合いに応じた「画像の端からの距離」として決定することで検出してもよい。この距離内の領域が画像端領域として検出されることになる。また、上記画像端レベル５２は、検出された画像端領域に含まれれば最高レベルでそれ以外は０レベルと決定するなどすればよい。
【０１０３】
次に、画像端領域補正値算出回路１３ｃは、画像端領域検出回路１２ｃで検出された画像端レベル５２に対し、空間的に平滑化する処理を施して、後段の動きベクトル補正回路１４で使用する補正値（補正係数）５３を算出する。
【０１０４】
補正レベル５３は、各範囲で補正レベル５３ａ〜５３ｃで示したように、検出された画像端領域内のレベル、つまり画像の右端の画像端レベル（レベル０）と画像の右端の画像端レベル（レベル０）との間のレベルが、画像端領域の最端方向（この例では右端方向）に向かうに従って（好ましくは滑らかに）減衰するように算出される。なお、補正レベル５３ａの部分は補正されずに最も高いレベルが保持されたままとなった例を示しているがこれに限ったものではない。
【０１０５】
このような算出（補正）のために、例えば座標毎に定めた単純な乗数値を掛けるとよい。乗数値としては、例えば画像端に相当すると予め定めた領域の座標に、最端方向に向かうに連れて小さくなるような乗数値が挙げられる。なお、画像端であるか否かの判定を画像端領域検出回路１２ｃで実行しておかず、この乗数値として上記予め定めた領域の座標以外の座標に対する乗数値を０にしておき、これにより、画像端領域内の補正だけでなく画像端領域の決定を行ってもよい。また、画像の最端（この例では右端）の画像端レベルを０ではなく負の値に設定しておき、補正レベル５３ｂのような減衰する曲線を算出してもよい。
【０１０６】
上述のような画像端領域についての検出及び補正と並行して、或いは検出及び補正に前後して、動きベクトル検出回路１１が各ブロックの動きベクトル（誤差最小となる動きベクトル）を求める。なお、画像端レベルの検出に使用する動きベクトル（例えば画像の上下左右端の一定領域の動きベクトル）は検出時又は検出前に動きベクトル検出回路１１で検出しておくため、通常、画像端領域検出前に全ブロックの動きベクトルを算出しておく。動きベクトル検出回路１１では、上述したような背景画像がパンする映像について、動きベクトル５４ａ〜５４ｆで例示するような動きベクトルが検出される。なお、説明の簡略化のため、図５では画像端レベル５２と同様にＸ軸方向のみを考慮した動きベクトルを示している。
【０１０７】
画像端領域外の動きベクトル５４ａ，５４ｂは、ここで例示する映像における背景画像の動き（左から右へ向かう動き）を適切に検出できたものである。画像端領域内の動きベクトル５４ｃ〜５４ｆは０かほぼ０となっている。これは、動きベクトル検出回路１１において動きベクトルが検出できない場合に動きベクトルを（０，０）とする処理がなされた結果である。なお、図５では動きベクトルが０でもその位置を示すために便宜上、動きベクトルの長さを０に描いていない。そして、楕円５５ａで囲んだ境界領域では、動きベクトル５４ｂと動きベクトル５４ｃとで動きベクトルが急峻に変化していることが分かる。
【０１０８】
このような動きベクトルの急峻な変化を補正するための補正係数（補正値そのものでもよい）を算出するために、まず上述した画像端領域の検出及び補正の処理が実行された後、動きベクトル補正回路１４が動きベクトルに対し次のような補正を実行する。
【０１０９】
動きベクトル補正回路１４は、動きベクトル検出回路１１で求めた誤差最小となる動きベクトルのうち画像端領域に対応するブロックの動きベクトル５４ｃ〜５４ｆに対し、その画像端領域の近隣（つまりその画像端領域の以外の領域であって近隣の領域）に位置するブロックについての動きベクトル５４ｂを用いて、補正レベル５３に基づいた補正を実行する。
【０１１０】
より具体的には、動きベクトル補正回路１４は、最小誤差となる画像端領域外の動きベクトル５４ｂを、画像端領域における動きベクトル５４ｃ〜５４ｆに合成する処理を行う。この合成処理は、補正レベル５３に応じて、動きベクトル５４ｃ〜５４ｆと動きベクトル５４ｂとの重み付けを決定してから、その重み付けに従って実行する。このような合成により、補正後の動きベクトル５６ｂ〜５６ｆはなだらかに減衰し、画像端領域として検出された部分の画像中央側の動きベクトル５６ｂから最も端側の動きベクトル５４ｆに向かって少しずつ０に近づいていく。言い換えれば、補正レベル５３は、このような重み付け有りの合成処理により、補正後の動きベクトル５６ｂ〜５６ｆがなだらかに減衰し、画像の最端（この例では右端）で０になるようなパラメータとして算出しておけばよい。
【０１１１】
図５の例では水平方向のパンを想定しているため、補正後の動きベクトル５６ａ〜５６ｆ等は、図６において動きベクトル群６１に対して補正された動きベクトル群６２として例示するように、Ｙ軸方向に並ぶブロック群において同様になる。
【０１１２】
なお、背景画像が左から右へパンする場合で例示したが、右から左へパンする場合、上から下にパンする場合、下から上にパンする場合にも、同様にそれぞれ左端、下端、上端に近づくに従って減衰するように画像端レベルを補正することで、補正レベルを生成すればよい。さらに、背景画像が水平（左右）方向や垂直（上下）方向にパンする場合に限らず、任意の方向（例えば、左下から右上へのパン）へのパンであっても同様に、映像の向かう方向の端に近づくに従って減衰するように画像端レベルを補正することで、補正レベルを生成すればよい。そのときの画像フレームの端付近であると判断する領域は、例えば、動き方向に沿った画面端からの一定距離などで決定すればよい。
【０１１３】
このような動きベクトルの補正により、画像端領域とそれ近隣との境界で生ずる動きベクトルの空間的な歪みを画像端領域の内部で分散させることが可能である。そして、このように補正された動きベクトルを用いて前後の原画フレームから生成された内挿フレームを含む映像は、上記空間的な歪みによる視覚上の違和感を低減させたものとすることができる。
【０１１４】
また、画像端領域補正値算出回路１３ｃでは、平滑化処理と共に或いは平滑化処理を行わずに、画像端領域外（検出外の領域であって画面中央側の領域）の領域へ拡張させる処理も施してもよい。その場合には、例えば、拡張された部分の動きベクトルを小さくする（並びに元の画像端領域内の拡張側の動きベクトルを大きくする）ような補正レベルを決定して、実際に動きベクトルの補正を実行すればよい。
【０１１５】
以上、静止領域、テロップ領域、画像端領域のそれぞれについての動きベクトル補正方法について説明したように、本発明では、これらの領域（つまり内挿処理が難しい領域）を求め、この領域の検出レベルを夫々の特性に応じて補正し適切な境界処理（静止領域とそれ以外との境界処理、テロップ領域とそれ以外との境界処理、画像端領域の処理）を行っている。本発明では、このような処理により、違和感の少ない自然な動きの画像を生成することが可能となり、また次のような効果も得られる。
【０１１６】
テレビ装置などで映像を表示する際には、静止文字、静止画、テロップ文字などのＯＳＤ（On Screen Display）信号を重畳することがある。本発明の動画像内挿補間処理（フレーレート変換処理）では、上述したように、静止文字、静止画、テロップ文字などが原画フレームに含まれていても、視覚的な違和感が生じないような内挿フレームを生成することが可能となっている。従って、本発明を適用したテレビ装置等の表示装置（又は本発明を適用したレコーダやチューナ機器等の映像再生装置）においては、原画フレームにＯＳＤ信号が重畳されている場合に、フレームレート変換を実行しても、視覚的に違和感のない自然な映像を表示する（又は表示のために出力する）ことができる。
【０１１７】
そのため、本発明を適用した表示装置においては、ＯＳＤ信号の重畳があるか否か（つまり原画フレームがＯＳＤ信号の重畳処理後のものか重畳処理されていないか）によって、動き補償を無しに内挿フレームを生成するか否か（つまり動きベクトルを強制的に０にするか否か）を決定するなどの処理が、必要なくなる。また、本発明を適用することで、フレームレート変換後にＯＳＤ信号を重畳するなどの必要もなく、違和感を気にせずフレームレート変換前の少ないフレームに対してＯＳＤ信号を重畳することが可能になる。つまり、フレームレート変換により発生する視覚上の違和感を気にすることなく、ＯＳＤ信号の重畳をフレーム内挿の前の処理として実行することができる。
【０１１８】
また、例えばＭＰＥＧ方式の圧縮符号化がなされた元の画像データには符号化時に算出された動画像の動きベクトルの情報が含まれており、入力された画像データに依っては、動きベクトルをその画像データに含まれる情報から取得することもできる。なお、動きベクトル検出回路１１はこのような取得を行う回路を含んでもよい。そして、元の画像データに対してＯＳＤ信号により重畳された文字等は、この情報により区別することが可能であるため、上述したように、ＯＳＤ信号の重畳の有無に基づき動き補償の有無を判定し内挿フレームを生成する処理を実行することはできる。しかし、実際には、元の画像データに静止画や文字やテロップ等が含まれていた場合も多い。従って、本発明は、そのような元の画像データの静止画や文字やテロップ等による違和感の解消のために適用するだけでも有用となる。
【０１１９】
以上、例示した本発明に係る動画像内挿補間装置は、回路構成した例を示したように全てハードウェアで構成してもよいが、その一部をソフトウェア（ファームウェアを含む）によって構成してもよい。このような構成を実現する一例として、マイクロコンピュータ等のコンピュータを利用する場合には、ＣＰＵ、メモリ、バス、インターフェース、周辺装置などから構成されるハードウェアと、これらのハードウェア上にて実行可能なソフトウェア（上述した動画像内挿補間処理を実行させるための内挿プログラムも含む）を挙げることができる。ＣＰＵはこのソフトウェアを実行することで他のハードウェアを制御する。具体的には、ＲＯＭに格納されたソフトウェアをメモリ上に展開し、展開されたプログラムを順次実行することで、メモリ上のデータや、インターフェースを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される。上述した動画像内挿補間処理は、上記ソフトウエアとしてその処理手順をＣＰＵに実行させるための上記内挿プログラムを組み込み、実行させることによって、実現できる。また、上記ソフトウェアは、記録媒体に格納して配布してもよいし、インターネット等のネットワーク経由や放送波に載せて配信してもよい。
【０１２０】
また、本発明の動画像内挿補間装置について説明したが、本発明は、その処理方法を説明したように動画像内挿補間方法としての形態も採り得る。この方法は、動画像内挿補間装置内の各部によって実現でき、また上記内挿プログラムでも実現できる。本発明の動画像内挿補間方法について簡単に説明する。
【０１２１】
この動画像内挿補間方法は、動画像内挿補間装置の処理について説明したように、時間的に前後する画像フレームから画像フレーム内の各ブロックについて動きベクトルを求める動き検出ステップと、求めた動きベクトルを用いて時間的に前後する画像フレームから内挿画像フレームを生成する内挿フレーム生成ステップとを含む。さらに、この動画像内挿補間方法は、時間的に前後する画像フレームから所定の単位領域毎に所定の動き特性に関するレベルを検出し、所定の動き特性をもつ特定領域を検出する特定領域検出ステップと、検出されたレベルを補正する特定領域補正ステップと、求めた動きベクトルのうち、特定領域補正ステップで補正後のレベルが示す特定領域に対応するブロックの動きベクトルを、特定領域補正ステップで補正後のレベルに基づき補正する動きベクトル補正ステップと、を含む。そして、上記内挿フレーム生成ステップは、動きベクトル補正ステップで補正後の動きベクトルを用いて、時間的に前後する画像フレームから内挿画像フレームを生成する。本発明の動画像内挿補間方法の他の応用例については、動画像内挿補間装置について説明したのと同様である。
【図面の簡単な説明】
【０１２２】
【図１】本発明に係る動画像内挿補間装置の一構成例を示すブロック図である。
【図２】図１の動画像内挿補間装置で実行される静止領域に対する処理例を説明するための図である。
【図３】図１の動画像内挿補間装置で生成される静止領域を含む内挿フレームの例を、従来の動画像内挿補間装置で生成される静止領域を含む内挿フレームとの比較により示す図である。
【図４】図１の動画像内挿補間装置で実行されるテロップ領域に対する処理例を説明するための図である。
【図５】図１の動画像内挿補間装置で実行される画像端領域に対する処理例を説明するための図である。
【図６】図５の処理例を補足するための図である。
【図７】従来のフレーム内挿補間方法を説明するための概念図である。
【図８】従来のフレーム内挿補間装置を示すブロック図である。
【符号の説明】
【０１２３】
１１…ベクトル検出回路、１２…特定領域検出回路、１２ａ…静止領域検出回路、１２ｂ…テロップ領域検出回路、１２ｃ…画像端領域検出回路、１３…特定領域補正回路、１３ａ…静止領域補正値算出回路、１３ｂ…テロップ領域補正値算出回路、１３ｃ…画像端領域補正値算出回路、１４…ベクトル補正回路、１５…内挿フレーム生成回路。
【図１】
2010074337.tif 000003
【図２】
2010074337.tif 000004
【図３】
2010074337.tif 000005
【図４】
2010074337.tif 000006
【図５】
2010074337.tif 000007
【図６】
2010074337.tif 000008
【図７】
2010074337.tif 000009
【図８】
2010074337.tif 000010