(57)【特許請求の範囲】
【請求項１】
第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成装置であって、
前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出手段と、
前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定手段と、
前記領域判定手段により一致と判定された画素の領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に対して算出された前記動きベクトルを付与する一致動きベクトル付与手段と、
前記領域判定手段により不一致と判定された画素の領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定手段と、
前記一致動きベクトル付与手段により付与された前記一致動きベクトルおよび前記不一致動きベクトル決定手段により決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償手段と
を備えたことを特徴とする補間フレーム作成装置。
【請求項２】
前記不一致動きベクトル決定手段は、前記補間領域の前記不一致領域に隣接する補間領域の動きベクトルに基づいて、前記不一致動きベクトルを決定することを特徴とする請求項１に記載の補間フレーム作成装置。
【請求項３】
前記不一致動きベクトル決定手段は、前記補間領域の前記不一致領域の周辺の補間領域の動きベクトルのうちいずれか１つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項２に記載の補間フレーム作成装置。
【請求項４】
前記不一致動きベクトル決定手段は、前記補間領域の前記不一致領域の周辺の補間領域に対して算出された動きベクトルが複数ある場合に、前記不一致領域と複数の動きベクトルそれぞれとにより定まる前記第１参照領域中の領域と前記第２参照領域中の領域の相関に基づいて、前記複数の動きベクトルのうち１つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項３に記載の補間フレーム作成装置。
【請求項５】
前記不一致動きベクトル決定手段は、最も高い相関が得られた動きベクトルを前記不一致動きベクトルとして決定することを特徴とする請求項４に記載の補間フレーム作成装置。
【請求項６】
前記不一致動きベクトル決定手段は、前記補間領域の前記不一致領域の周辺の補間領域に対して算出された動きベクトルが複数ある場合に、前記不一致領域と複数の動きベクトルそれぞれとにより定まる前記第１参照領域中の領域と前記第２参照領域中の領域の相関と、前記補間フレームを基準として前記第１参照フレームと時間的に同一方向にあるフレームである第３フレーム中の領域であって前記不一致領域と前記複数の動きベクトルそれぞれにより定まる領域と前記第１参照領域中の領域の相関と、前記補間フレームを基準として前記第２参照フレームと時間的に同一方向にあるフレームである第４参照フレーム中の領域であって前記不一致領域と前記複数の動きベクトルそれぞれにより定まる領域と前記第２参照領域中の領域の相関に基づいて、複数の動きベクトルのうち１つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項４または５に記載の補間フレーム作成装置。
【請求項７】
前記領域判定手段は、前記補間領域の動きベクトルにより定まる前記第１参照領域中の領域と前記第２参照領域中の領域の間の相関と、予め定めた閾値を比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項１から６のいずれか一項に記載の補間フレーム作成装置。
【請求項８】
前記領域判定手段は、前記補間領域に対して算出された動きベクトルにより定まる前記第１参照領域中の領域の輝度値と前記第２参照領域中の領域の輝度値との間の相関と、予め定めた閾値とを比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項７に記載の補間フレーム作成装置。
【請求項９】
前記領域判定手段は、前記補間領域に対して算出された動きベクトルにより定まる前記第１参照領域中の領域の色値と前記第２参照領域中の領域の色値との間の相関と、予め定めた閾値とを比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項７に記載の補間フレーム作成装置。
【請求項１０】
前記不一致動きベクトル決定手段は、前記領域判定手段により不一致と判定された前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域との間の相関が予め定められた閾値より大きい場合に、前記補間領域の不一致領域の周囲の補間領域の動きベクトルに基づいて、不一致動きベクトルを決定することを特徴とする請求項１から９のいずれか一項に記載の補間フレーム作成装置。
【請求項１１】
前記不一致動きベクトル決定手段は、前記領域判定手段により不一致と判定された前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域との間の相関が予め定められた閾値より小さい領域に対し、前記不一致補間領域と複数の動きベクトルそれぞれとにより定まる前記第１参照領域中の領域と前記補間フレームを基準として前記第１参照フレームと時間的に同一方向にあるフレームである第３フレーム中の第３参照領域中の領域の間の相関と、前記不一致補間領域と複数の動きベクトルそれぞれとにより定まる前記第２参照領域中の領域と前記補間フレームを基準として第２参照フレームと時間的に同一方向にあるフレームである第４参照フレーム中の領域の間の相関に基づいて、複数の動きベクトルのうち１つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項１０に記載の補間フレーム作成装置。
【請求項１２】
前記動き補償手段は、前記領域判定手段により不一致と判定された前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域との間の相関が予め定められた閾値より小さい場合に、前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域の不一致領域に対し、当該不一致領域の周囲の補間領域の画素の平均値またはメディアン値を割り当てることを特徴とする請求項１０に記載の補間フレーム作成装置。
【請求項１３】
前記一致動きベクトル付与手段は、前記領域判定手段により不一致と判定された前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域との組み合わせに対応する前記補間領域中の不一致領域に含まれる画素の数が予め定められた閾値よりも小さい場合に、前記補間領域中の前記不一致領域を一致領域に変更し、当該一致領域に対し、当該一致領域を含む前記補間領域に割り当てられている動きベクトルを付与することを特徴とする請求項１から１２のいずれか一項に記載の補間フレーム作成装置。
【請求項１４】
第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成装置であって、
第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出手段と、
前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定手段と、
前記領域判定手段により一致と判定された画素の領域である第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与手段と、
前記領域判定手段により不一致と判定された画素の領域である第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定手段と、
前記一致動きベクトル付与手段により付与された前記一致動きベクトルおよび前記不一致動きベクトル決定手段により決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償手段と
を備えたことを特徴とする補間フレーム作成装置。
【請求項１５】
前記不一致動きベクトル決定手段は、前記不一致領域に隣接する第１参照領域の動きベクトルに基づいて、前記不一致動きベクトルを決定することを特徴とする請求項１４に記載の補間フレーム作成装置。
【請求項１６】
前記不一致動きベクトル決定手段は、前記不一致領域の周辺の第１参照領域対して算出された動きベクトルのうちいずれか１つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項１５に記載の補間フレーム作成装置。
【請求項１７】
前記不一致動きベクトル決定手段は、前記不一致領域の周辺の第１参照領域対して算出された動きベクトルが複数ある場合に、前記不一致領域と複数の動きベクトルそれぞれとにより定まる前記第１参照領域中の領域と前記第２参照領域中の領域の相関に基づいて、複数の動きベクトルのうち１つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項１６に記載の補間フレーム作成装置。
【請求項１８】
前記不一致動きベクトル決定手段は、最も高い相関が得られた動きベクトルを前記不一致動きベクトルとして決定することを特徴とする請求項１７に記載の補間フレーム作成装置。 
【請求項１９】
前記領域判定手段は、前記第１参照領域中の領域と、前記第２参照領域中の対応する領域の間の相関と、予め定めた閾値を比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項１４から１８のいずれか一項に記載の補間フレーム作成装置。
【請求項２０】
前記領域判定手段は、前記補間領域の動きベクトルにより定まる前記第１参照領域中の領域の輝度値と前記第２参照領域中の領域の輝度値との間の相関と、予め定めた閾値とを比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項１９に記載の補間フレーム作成装置。
【請求項２１】
前記領域判定手段は、前記補間領域の動きベクトルにより定まる前記第１参照領域中の領域の色値と前記第２参照領域中の領域の色値との間の相関と、予め定めた閾値とを比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項１９に記載の補間フレーム作成装置。
【請求項２２】
前記不一致動きベクトル決定手段は、前記領域判定手段により不一致と判定された前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域との間の相関が予め定められた閾値より大きい場合に、前記第１参照領域中の不一致領域の周囲の第１参照領域の動きベクトルに基づいて前記不一致動きベクトルを決定することを特徴とする請求項１４から２１のいずれか一項に記載の補間フレーム作成装置。
【請求項２３】
前記動き補償手段は、前記領域判定手段により不一致と判定された前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域との間の相関が予め定められた閾値より小さい場合に、前記第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域の不一致領域に対し、当該不一致領域の周囲の補間領域の画素の平均値またはメディアン値を割り当てることを特徴とする請求項２２に記載の補間フレーム作成装置。
【請求項２４】
前記一致動きベクトル付与手段は、前記領域判定手段により不一致と判定された前記第１参照領域中の不一致領域に含まれる画素の数が予め定められた閾値よりも小さい場合に、前記補間領域中の前記不一致領域を一致領域に変更し、当該一致領域に対し、当該一致領域を含む前記補間領域に割り当てられている動きベクトルを付与することを特徴とする請求項１４から２３のいずれか一項に記載の補間フレーム作成装置。
【請求項２５】
第１参照フレームと第２参照フレームの間の補間フレームの動きベクトルを検出する動きベクトル検出装置であって、
前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出手段と、
前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定手段と、
前記領域判定手段により一致と判定された画素の領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に対して算出された前記動きベクトルを付与する一致動きベクトル付与手段と、
前記領域判定手段により不一致と判定された画素の領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定手段と
を備えたことを特徴とする動きベクトル検出装置。
【請求項２６】
第１参照フレームと第２参照フレームの間の動きベクトルを検出する動きベクトル検出装置であって、
第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出手段と、
前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定手段と、
前記領域判定手段により一致と判定された画素の領域である第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与手段と、
前記領域判定手段により不一致と判定された画素の領域である第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定手段と
を備えたことを特徴とする動きベクトル検出装置。
【請求項２７】
第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成方法であって、
前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、
前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に対して算出された前記動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定ステップと、
前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
を有することを特徴とする補間フレーム作成方法。
【請求項２８】
第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成方法であって、
第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、
前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定ステップと、
前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
を有することを特徴とする補間フレーム作成方法。
【請求項２９】
第１参照フレームと第２参照フレームの間の補間フレームの動きベクトルを検出する動きベクトル検出方法であって、
前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、
前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定ステップと
を有することを特徴とする動きベクトル検出方法。
【請求項３０】
第１参照フレームと第２参照フレームの間の動きベクトルを検出する動きベクトル検出方法であって、
第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、
前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定ステップと
を有することを特徴とする動きベクトル検出方法。
【請求項３１】
第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成処理をコンピュータに実行させるための補間フレーム作成プログラムであって、
前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、
前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に対して算出された前記動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定ステップと、
前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
を前記コンピュータに実行させるための補間フレーム作成プログラム。
【請求項３２】
第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成処理をコンピュータに実行させるための補間フレーム作成プログラムであって、
第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、
前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定ステップと、
前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
を前記コンピュータに実行させるための補間フレーム作成プログラム。
【請求項３３】
第１参照フレームと第２参照フレームの間の補間フレームの動きベクトル検出処理をコンピュータに実行させるための動きベクトル検出プログラムであって、
前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、
前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定ステップと
を前記コンピュータに実行させるための動きベクトル検出プログラム。
【請求項３４】
第１参照フレームと第２参照フレームの間の補間フレームの動きベクトル検出処理をコンピュータに実行させるための動きベクトル検出プログラムであって、
第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、
前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定ステップと
を前記コンピュータに実行させるための動きベクトル検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラムに関するものである。
【背景技術】
【０００２】
一般に、画像表示装置としては画像の書き込み後、蛍光体の残光時間のみ発光し続けるインパルス型表示装置（例えばＣＲＴやフィールドエミッション型表示装置（ＦＥＤ）と、新たに画像の書き込みが行われるまで前フレームの表示を保持し続けるホールド型表示装置（例えば液晶表示装置（ＬＣＤ）、エレクトロルミネッセンスディスプレイ（ＥＬＤ）など）の２種類がある。
【０００３】
ホールド型表示装置の問題点の一つは、動画表示に生じるボケ現象である。ボケ現象の発生は、複数フレームにわたる画像中に動体が存在し、その動体の動きに観察者の眼が追随した場合、複数フレームの画像が重なって網膜上に映し出されることに起因する。
【０００４】
表示画像が前フレームから次のフレームへ切り換わる期間までは、同じ前フレームの画像が表示され続けられているにもかかわらず、眼は次フレームの画像の表示を予測して、前フレーム画像上を動体の移動方向に移動しながら観察してしまう。すなわち、眼の追随運動は連続性があり、フレーム間隔より細かいサンプリングを行うため、結果として隣接する二つのフレームの間の画像を埋めるように視認することで、ボケとして観察される。
【０００５】
この問題を解決するためには、表示のフレーム間隔を短くすればよい。これにより、表示フレーム数の少ない動画における不自然な動きを改善することもできる。その具体的な手法として、ＭＰＥＧ２（Motion Picture Experts Group phase 2）で用いられている動き補償を利用して補間画像を作成し、隣接するフレーム間で補間を行うことが考えられる。
【０００６】
動き補償では、ブロックマッチングによって検出される動きベクトルが用いられる。しかし、ＭＰＥＧ２ではブロック単位で画像を作成するため、ブロック内に動きの異なる複数のオブジェクトが含まれている場合、相関のある部分と相関のない部分が発生し、相関のない部分によりブロック歪が生じる。
【０００７】
こうした問題を解決するフレーム補間方法が開示されている（例えば、「特許文献１」参照）。１ブロック内を複数の領域に分割し、それぞれの領域に対して動きベクトルを求める。これにより、ブロック内の動きの異なるオブジェクトが含まれている場合のブロック歪を低減することができる。また、閾値によるブロック内での領域分割に適した動きベクトル検出方法を用いるとともに、領域分割後の画素ブロックに対しても適した動きベクトル検出方法を用いることで、領域毎に最適な動きベクトルを検出することができる。
【０００８】
【特許文献１】特開２００４−１０４６５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記の方法により、ブロック歪による画質劣化は低減できる。しかし、上記の方法においても、陰面(オクルージョン)領域においては、正しい動きベクトルを求めることができない。
【００１０】
本発明は、上記に鑑みてなされたものであって、正しい動きベクトルを検出することのできる動きベクトル検出装置、動きベクトル検出方法および動きベクトル検出プログラムおよびこの動きベクトルにより精度よく補間フレームを生成することのできる補間フレーム作成装置、補間フレーム作成方法および補間フレーム作成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するために、本発明は、第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成装置であって、前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出手段と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定手段と、前記領域判定手段により一致と判定された画素の領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に対して算出された前記動きベクトルを付与する一致動きベクトル付与手段と、前記領域判定手段により不一致と判定された画素の領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定手段と、前記一致動きベクトル付与手段により付与された前記一致動きベクトルおよび前記不一致動きベクトル決定手段により決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償手段とを備えたことを特徴とする。
【００１２】
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成装置であって、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出手段と、前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定手段と、前記領域判定手段により一致と判定された画素の領域である第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与手段と、前記領域判定手段により不一致と判定された画素の領域である第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定手段と、前記一致動きベクトル付与手段により付与された前記一致動きベクトルおよび前記不一致動きベクトル決定手段により決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償手段とを備えたことを特徴とする。
【００１３】
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームの動きベクトルを検出する動きベクトル検出装置であって、前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出手段と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定手段と、前記領域判定手段により一致と判定された画素の領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に対して算出された前記動きベクトルを付与する一致動きベクトル付与手段と、前記領域判定手段により不一致と判定された画素の領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定手段とを備えたことを特徴とする。
【００１４】
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の動きベクトルを検出する動きベクトル検出装置であって、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出手段と、前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定手段と、前記領域判定手段により一致と判定された画素の領域である第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与手段と、前記領域判定手段により不一致と判定された画素の領域である第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定手段とを備えたことを特徴とする。
【００１５】
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成方法であって、前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に対して算出された前記動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定ステップと、前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップとを有することを特徴とする。
【００１６】
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成方法であって、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定ステップと、前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップとを有することを特徴とする。
【００１７】
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームの動きベクトルを検出する動きベクトル検出方法であって、前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定ステップとを有することを特徴とする。
【００１８】
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の動きベクトルを検出する動きベクトル検出方法であって、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域各画素が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定ステップとを有することを特徴とする。
【００１９】
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成処理をコンピュータに実行させるための補間フレーム作成プログラムであって、前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に対して算出された前記動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定ステップと、前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップとを前記コンピュータに実行させるための補間フレーム作成プログラムである。
【００２０】
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームを作成する補間フレーム作成処理をコンピュータに実行させるための補間フレーム作成プログラムであって、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定ステップと、前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップとを前記コンピュータに実行させるための補間フレーム作成プログラムである。
【００２１】
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームの動きベクトル検出処理をコンピュータに実行させるための動きベクトル検出プログラムであって、前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第１参照フレーム中の第１参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第２参照フレーム中の第２参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域と第２参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域と前記第２参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定ステップと
を前記コンピュータに実行させるための動きベクトル検出プログラムである。
【００２２】
また、本発明の他の形態は、第１参照フレームと第２参照フレームの間の補間フレームの動きベクトル検出処理をコンピュータに実行させるための動きベクトル検出プログラムであって、第１参照フレームを分割して得られる第１参照領域の動きベクトルを算出する第１参照領域動きベクトル算出ステップと、前記第１参照領域と、当該第１参照領域に対して算出された動きベクトルにより定まる領域であって、当該第１参照領域とサイズおよび形状が同一の前記第２参照フレーム中の領域である第２参照領域とにおける対応する領域各画素が一致するか否かを判定する領域判定ステップと、前記領域判定ステップにおいて一致と判定された画素の領域である第１参照領域中の一致領域に対し、当該一致領域を含む第１参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与ステップと、前記領域判定ステップにおいて不一致と判定された画素の領域である第１参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第１参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定ステップとを前記コンピュータに実行させるための動きベクトル検出プログラムである。
【発明の効果】
【００２３】
本発明によれば、正しい動きベクトルを検出し、精度よく補間フレームを生成することができるという効果を奏する。
【発明を実施するための最良の形態】
【００３５】
以下に、本発明にかかる補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００３６】
（実施の形態１）
図１は、実施の形態１にかかる補間フレーム作成装置１０の機能構成を示すブロック図である。補間フレーム作成装置１０は、補間フレームを作成する。図２は、補間フレームを説明するための図である。図２は、入力画像に含まれる連続する２つのフレーム、すなわち第１参照フレーム２００と、第２参照フレーム３００を示している。本実施の形態においては、第１参照フレーム２００と第２参照フレーム３００との間を補間する補間フレーム４００を作成する場合を例に説明する。
【００３７】
なお、補間フレーム作成装置１０が作成する補間フレームは、異なる２つのフレーム間の時間的中心にある必要はなく、異なる２つのフレーム間を補間するフレームであればよく、本実施の形態に限定されるものではない。また、異なる２つのフレーム間に生成、挿入する補間フレームは何枚であってもよい。
【００３８】
再び説明を図１に戻す。補間フレーム作成装置１０は、動き推定部１００と、領域判定部１０２と、一致動きベクトル付与部１０４と、不一致動きベクトル付与部１０６と、動き補償部１０８と、フレームメモリ１１０とを備えている。
【００３９】
動き推定部１００は、第１参照フレーム２００から第２参照フレーム３００への動き推定を行う。図３および図４は、動き推定を説明するための図である。このように、第１参照フレーム２００を複数のマクロブロック、すなわち第１参照領域２１０に分割する。本実施の形態にかかる動き推定部１００は、４×４の１６個のマクロブロックに分割する。各マクロブロックには、４×４の２５画素が含まれている。動き推定部１００は、第１参照領域２１０と第２参照フレーム３００中の第２参照領域３１０との間の相関を判定し、相関に基づいて動きベクトルを算出する。ここで、第２参照領域３１０とは、第１参照領域２１０と同一形状同一サイズの領域である。
【００４０】
領域判定部１０２は、動き推定部１００によりマクロブロックに対して算出された動きベクトルに基づいて、第１参照領域２１０中の各画素と第２参照フレーム３００中の対応する画素との相関値を算出する。具体的には、第１参照領域中の所定の画素と、この第１参照領域に対して算出された動きベクトルにより第２参照フレーム３００中の画素を特定する。そして、これら２つの画素の相関値を算出する。この相関値に基づいて、各マクロブロックを相関の高い高相関領域と、相関の低い低相関領域とに分割する。
【００４１】
一致動きベクトル付与部１０４は、領域判定部１０２により高相関領域と判定された領域に対し、動き推定部１００により算出された動きベクトルを付与する。不一致動きベクトル付与部１０６は、領域判定部１０２により低相関領域と判定された領域に対し、周辺のマクロブロックに割り当てられた動きベクトルを付与する。動き補償部１０８は、一致動きベクトル付与部１０４および動き補償部１０８により付与された動きベクトルをスケール変換し、スケール変換後の動きベクトルに基づいて補間フレームを作成する。
【００４２】
図５は、補間フレーム作成装置１０による補間フレーム作成処理を示すフローチャートである。まず、動き推定部１００は、フレームメモリ１１０から第１参照フレーム２００および第２参照フレーム３００を取得し、第１参照フレーム２００から第２参照フレーム３００への動き推定を行う（ステップＳ１００）。次に、領域判定部１０２は、動き推定部１００による動き推定結果に基づいて、領域判定を行う（ステップＳ１０２）。
【００４３】
次に、一致動きベクトル付与部１０４は、高相関領域に対し、動き推定部１００により算出された動きベクトルを付与する（ステップＳ１０４）。次に、不一致動きベクトル付与部１０６は、低相関領域に対し、周辺のマクロブロックの動きベクトルを付与する（ステップＳ１０６）。次に、動き補償部１０８は、一致動きベクトル付与部１０４および不一致動きベクトル付与部１０６により付与された動きベクトルに基づいて、動き補償を行う。すなわち、補間フレームを生成する（ステップＳ１０８）。以上で、補間フレーム作成装置１０による補間フレーム作成処理が完了する。
【００４４】
図６は、第１参照フレーム２００および第２参照フレーム３００の一例を示す図である。第１参照フレーム２００および第２参照フレーム３００には、背景５００とオブジェクト５１０とが含まれている。さらに、オブジェクト５１０は、フレーム中右側に移動している。以下、図６に示す第１参照フレーム２００および第２参照フレーム３００の間の補間フレームを作成する場合について各処理を具体的に説明する。
【００４５】
図７は、動き推定処理（ステップＳ１００）における詳細な処理を示すフローチャートである。動き推定部１００は、まず第１参照フレーム２００を動き推定処理の対象となるｎ個の参照領域に分割する（ステップ１１０）。具体的には、図６に示す第１参照フレーム２００を図４に示すような１６個の第１参照領域に分割する。
【００４６】
次に、第１参照フレーム２００から１つの第１参照領域Ｒ１（ｉ）を抽出する（ステップＳ１１２）。次に、抽出した参照領域Ｒ１（ｉ）と最も相関の高い第２参照領域Ｒ２（ｉ）を抽出し、動きベクトルＭＶ（ｉ）を求める（ステップＳ１１４）。以上の処理が行われていない第１参照領域が存在する場合には（ステップＳ１１６，Ｎｏ）、ｉの値を１加算し（ステップＳ１１８）、ステップＳ１１２へ進む。ステップＳ１１２およびＳ１１４の処理がすべての第１参照領域に対して行われると（ステップＳ１１６，Ｙｅｓ）、動き推定処理（ステップＳ１００）が完了する。
【００４７】
なお、最も相関の高い第２参照領域Ｒ２（ｉ）を求める処理には、例えば、第１参照領域中の画素と第２参照領域中の対応する画素の絶対差分和を利用してもよい。具体的には、第１参照領域と第２参照領域のすべての画素に対して各絶対差分和を算出する。そして、絶対差分和が予め定めた閾値未満となる画素、すなわち相関の高い画素の数を算出する。この画素の数が最も大きくなる第２参照領域を最も相関の高い第２参照領域として算出する。
【００４８】
図８および図９は、図６に示す第１参照フレーム２００および第２参照フレーム３００に対する動き推定処理の結果を示す図である。本例においては、ともに背景５００のうち同一の部分を含む参照領域から動きベクトルＭＶ１（ＭＶ１＝０）が算出される。例えば、第１参照領域２２１および第２参照領域３２１は背景５００の同一の部分を含み、動きベクトルＭＶ１が算出される。さらに、ともにオブジェクト５１０の同一の部分を含む領域からは、０以外の動きベクトルＭＶ２が算出される。例えば、第１参照領域２２０および第２参照領域３２０は、オブジェクト５１０の同一の部分を含み、動きベクトルＭＶ２が算出される。
【００４９】
図１０は、領域判定（ステップＳ１０２）における詳細な処理を示すフローチャートである。領域判定部１０２は、まず第１参照フレーム２００および第２参照フレーム３００のすべての画素に不一致領域と設定する（ステップＳ１２０）。次に、動き推定部１００により算出された動きベクトルＭＶ（ｉ）により求まる第１参照領域Ｒ１（ｉ）と第２参照領域Ｒ２（ｉ）のペアにおいて、対応する画素ごとに相関演算を行う（ステップＳ１２２）。
【００５０】
次に、相関演算結果に基づいて、両画素が一致するか否かを判定し、一致すると判定された画素を不一致領域から一致関領域に変更する（ステップＳ１２４）。以上の処理が行われていない第１参照領域Ｒ１（ｉ）が存在する場合には（ステップＳ１２６，Ｎｏ）、ｉの値を１加算し（ステップＳ１２８）、ステップＳ１２２へ進む。ステップＳ１２２およびステップＳ１２４の処理がすべての第１参照領域に対して行われると（ステップＳ１２６，Ｙｅｓ）、領域判定処理（ステップＳ１０２）が完了する。
【００５１】
図１１は、図９に示す動きベクトルＭＶ２が付与された第１参照領域２２０と、この第１参照領域２２０に対応する第２参照領域３２０の間の相関演算を説明するための図である。図１１上段の数値は、輝度値を示している。
【００５２】
領域判定部１０２は、第１参照領域２２０と第２参照領域３２０の相関を判定するために、第１参照領域２２０と第２参照領域３２０の対応する画素毎に輝度値による相関演算を行う。具体的には、輝度値の絶対差分値を算出する。図１１の下段は、演算結果、すなわち絶対差分値を示している。
【００５３】
第１参照領域２２０と第２参照領域３２０とは、主にオブジェクト５１０の画像を含み、この部分の対応する画素の輝度値は一致している。したがって、絶対差分値は「０」になる。しかし、第１参照領域２２０と第２参照領域３２０に含まれる背景５００の部分は背景５００のうち異なる部分であるため画素の輝度値は一致せず、絶対差分値は「０」にならない。図１１の例においては、第１参照領域２２０および第２参照領域３２０それぞれの左上および左下の１画素が背景部分に対応する画素であり、この画素のみ絶対差分値が「２４」となっている。
【００５４】
図１２は、図１１の相関演算により得られた一致領域および不一致領域を示す図である。図１１に示す第１参照領域２２０と第２参照領域３２０においては、それぞれの左上および左下の１画素がそれぞれ不一致領域２２２ａ，２２２ｂ，３２２ａ，３２２ｂとなる。残りの画素はすべて一致領域２２４，３２４となる。なお、一致領域と不一致領域の決定には閾値を利用する。絶対差分値が予め定めた閾値未満である場合、すなわち相関が高いである場合は、一致領域と判定する。閾値以上である場合、すなわち相関が低い場合は不一致領域と判定する。
【００５５】
図１３は、第１参照領域２２０の左隣の第１参照領域２３０における領域判定結果を示す図である。このように、第１参照領域２３０においては、背景５００の部分は、第２参照フレーム３００中の背景５００の部分と一致し一致領域となる。一方、オブジェクト５１０の部分は、第２参照フレーム３００においては、背景５００になっているため一致せず不一致領域となっている。
【００５６】
図１４は、図８に示す第１参照フレーム２００全体の領域判定結果を示す図である。このように、複数の第１参照領域は、それぞれ画素単位で一致領域と不一致領域に分けられる。一致動きベクトル付与処理（ステップＳ１０４）においては、一致領域に対し、動き推定部１００により当該一致領域を含む第１参照領域に対して算出された動きベクトルを付与する。一致領域は、対応する画素同士が一致している領域であり、すなわち動きベクトルが正しく算出されている領域である。この領域には、動き推定処理（ステップＳ１００）において動き推定部１００により算出された動きベクトルが適しているので、この動きベクトルを付与する。
【００５７】
図１５は、不一致動きベクトル付与処理（ステップＳ１０６）における詳細な処理を示すフローチャートである。まず、第１参照フレーム２００から不一致領域Ｐ１を抽出する（ステップＳ１４０）。次に、不一致領域Ｐ１に隣接する第１参照領域の動きベクトルＭＶｋ（ｋ＝１〜Ｓ、Ｓは不一致領域Ｐ１に隣接する第１参照領域の動きベクトルＭＶの数）を抽出する（ステップＳ１４２）。ここでは、隣接する第１参照領域のすべての動きベクトルを抽出する。例えば、２つの動きベクトルが存在する場合には、この２つの動きベクトルを抽出する。また、隣接する第１参照領域がすべて同じ動きベクトルである場合には、この１つの動きベクトルを抽出する。
【００５８】
次に、不一致領域中の各画素Ｐ１ｐ（ｐは、不一致領域Ｐ１中の画素）に、抽出された動きベクトルＭＶｋを適用し、第２参照フレーム３００中の対応する画素Ｐ２ｐｋ（ｋは、動きベクトルＭＶｋのｋに対応する）を抽出する（ステップＳ１４４）。すなわち、画素Ｐ２ｐｋは、抽出された動きベクトルと同じ数だけ抽出される。
【００５９】
次に、画素Ｐ１ｐと抽出された画素Ｐ２ｐｋの間の相関演算を行う（ステップＳ１４６）。具体的には、画素Ｐ１ｐと画素Ｐ２ｐｋの輝度値の絶対差分値を算出する。次に、相関演算結果に基づいて、動きベクトルＭＶｋのうち画素Ｐ１ｐに適した動きベクトルを選出する（ステップＳ１４８）。具体的には、絶対差分を算出する。複数の動きベクトルが抽出されている場合には、各動きベクトルに対して算出された絶対差分値のうち最も小さい絶対差分値に対応する動きベクトルを選出する。すなわち、最も相関の高いものを選出する。
【００６０】
以上の処理を不一致領域中のすべての画素に対して行い（ステップＳ１５０，Ｙｅｓ）、不一致動きベクトル付与処理（ステップＳ１０６）が完了する。なお、処理の行われていない画素が存在する場合には（ステップＳ１５０，Ｎｏ）、ｐの値を１加算して（ステップＳ１５２）、ステップＳ１４４へ進む。
【００６１】
図１６を参照しつつ具体的に説明する。例えば、第１参照領域２２０に含まれる左上の１画素および左下の１画素の不一致領域に対して抽出される動きベクトルは、第１参照領域２２０に隣接する８個の第１参照領域それぞれの動きベクトルである。これらはいずれもＭＶ１である。したがって、第１参照領域２２０の不一致領域２２２ａ，２２２ｂに対しては、動きベクトルＭＶ１が付与される。
【００６２】
一方、第１参照領域２３０に含まれる右端中央１画素の不一致領域２３２に対して抽出される動きベクトルは、第１参照領域２３０に隣接する８個の第１参照領域それぞれの動きベクトルである。すなわち、動きベクトルＭＶ１および動きベクトルＭＶ２が抽出される。
【００６３】
この場合には、まず、不一致領域２３２の画素と、当該画素と動きベクトルＭＶ１とにより定まる第２参照フレーム３００中の画素との相関演算を行う。同様に、不一致領域２３２の画素と、当該画素と動きベクトルＭＶ２とにより定まる第２参照フレーム３００中の画素との相関演算を行う。このうち最も小さい絶対差分値に対応する動きベクトル、すなわち最も高い相関の得られた動きベクトルを選出する。なお、本例においては、動きベクトルＭＶ２に対する相関が最も高く、動きベクトルＭＶ２が選出される。
【００６４】
このように、本実施の形態にかかる補間フレーム作成装置１０によれば、マクロブロックよりも小さい単位で、動きベクトルを割り当てることができる。さらに、以上の処理により算出した動きベクトルをスケール変換することにより、補間フレーム中の所定の領域に画像を割り当てる。これにより、より精度よく補間フレームを作成することができる。
【００６５】
各フレーム中の連続した領域には、同一の動きベクトルが割り当てられている場合が多いことから、実施の形態においては、不一致領域の動きベクトル候補として隣接する領域の動きベクトルを選出することとした。これにより、不一致領域ごとに再び動き推定などの処理を行う必要がなく、処理の効率化を図ることができる。
【００６６】
また、第１参照フレーム２００および第２参照フレーム３００が３つ以上の動きベクトルを含む場合にも、補間フレーム作成装置１０により小領域ごとに動きベクトルを算出することができる。
【００６７】
図１７は、３つの動きベクトルを含む第１参照フレーム２００および第２参照フレーム３００を示す図である。図１７に示す第１参照フレーム２００は、背景５００と、第１オブジェクト５１０と、第２オブジェクト５１２とを含む例を示す。背景５００は、動きベクトルＭＶ１の領域である。第１オブジェクト５１０は、動きベクトルＭＶ２の領域である。第２オブジェクト５１２は、動きベクトルＭＶ３の領域である。図１８は、図１７に示す第１参照フレーム２００から第２参照フレーム３００への動きベクトルを示す図である。
【００６８】
例えば、図１８に示す第１参照領域２４０に着目する。図１９は、第１参照領域２４０の領域判定の結果を示す図である。このように、第１参照領域２４０においては、第１オブジェクト５１０に対応する画素が一致領域２４４と判定され、これ以外の領域は不一致領域２４２と判定される。
【００６９】
不一致領域２４２に対する動きベクトル付与処理においては、図１８に示す第１参照領域２４０に隣接する８個の第１参照領域の動きベクトルが抽出される。すなわち、動きベクトルＭＶ１，ＭＶ２およびＭＶ３が抽出される。不一致領域２４２中の各画素と、各動きベクトルＭＶ１，ＭＶ２およびＭＶ３により定まる第２参照フレーム中の画素との間の相関値演算を行い、最も相関の高い動きベクトルを、不一致領域２４２の各画素に対する動きベクトルとして選択する。なお、第１参照領域２４０の不一致領域２４２のうち背景５００に対応する領域には、以上の処理により動きベクトルＭＶ１が付与される。第１オブジェクト５１０に対応する領域には、以上の処理により動きベクトルＭＶ２が付与される。
【００７０】
このように、画素単位で動きベクトルを付与することができるので、精度よく動きベクトルを特定することができる。さらにこの動きベクトルを利用することにより、高精度な補間フレームを生成することができる。
【００７１】
図２０は、実施の形態１にかかる補間フレーム作成装置１０のハードウェア構成を示す図である。補間フレーム作成装置１０は、ハードウェア構成として、補間フレーム作成装置１０における補間フレーム作成処理を実行する補間フレーム作成プログラムなどが格納されているＲＯＭ５２と、ＲＯＭ５２内のプログラムに従って補間フレーム作成装置１０の各部を制御するＣＰＵ５１と、補間フレーム作成装置１０の制御に必要な種々のデータを記憶するＲＡＭ５３と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５７と、各部を接続するバス６２とを備えている。
【００７２】
先に述べた補間フレーム作成装置１０における補間フレーム作成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。
【００７３】
この場合には、補間フレーム作成プログラムは、補間フレーム作成装置１０において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
【００７４】
また、本実施の形態の補間フレーム作成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
【００７５】
以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。
【００７６】
そうした第１の変更例としては、本実施の形態においては、不一致動きベクトル付与部１０６は、不一致領域に隣接する領域の動きベクトルを、不一致領域に対する動きベクトル候補として抽出したが、このとき抽出する動きベクトルは、不一致領域の動きベクトルとなり得る可能性のあるものであればよく、実施の形態に限定されるものではない。
【００７７】
例えば、対象とする画像の特徴から不一致領域からある程度はなれた領域に同一の動きベクトルが存在する可能性があると考えられる場合には、隣接する領域のみでなく、所定の距離内の領域に対する動きベクトルをさらに候補として抽出してもよい。これにより、より精度よく動きベクトルを選出することができる。
【００７８】
また、第２の変更例としては、本実施の形態においては、一致動きベクトル付与部１０４が一致領域に動き推定部１００により算出された動きベクトルを付与し、不一致動きベクトル付与部１０６が、不一致領域に隣接する参照領域の動きベクトルを付与したが、これにかえて、初めにすべての参照領域に動き推定部１００により算出された動きベクトルを付与しておいてもよい。そして、領域判定部１０２により不一致領域と判定され、異なる動きベクトルを付与する場合に、すでに付与されている動きベクトルに変えて、適切な動きベクトルを付与する。これにより、処理の効率化を図れる場合がある
【００７９】
また、第３の変更例としては、不一致領域のサイズが予め定めたサイズ未満である場合には、不一致領域と見なさず周辺の一致領域に含めることとしてもよい。
【００８０】
例えば、不一致領域を構成する画素数が１画素など極端に小さい場合には、この画素に対する動きベクトルを精度よく検出することが困難な場合がある。そこで、このように小さい画素は、不一致領域として処理するのではなく、周辺の一致領域と同様の処理を行うことする。
【００８１】
これにより、ノイズにより不一致領域と判定された領域など誤って不一致領域と判定されていた領域を一致領域に変更することができ、動きベクトル検出の精度を向上させることができる。
【００８２】
また、他の例としては、不一致領域中に一致領域が点在していた場合に、動きベクトル不採用領域を動きベクトル採用領域に修正してもよい。具体的な処理としては、動きベクトル採用領域と動きベクトル不採用領域の２値を用いた、孤立点除去や、モルフォロジなどのフィルタを用いて孤立点の除去を行う。なお、大きな領域を孤立点として除去すると、実在する小領域を除去してしまう場合があるので注意する必要がある。
【００８３】
また、第４の変更例としては、本実施の形態においては、領域判定部１０２は、相関値と閾値との比較により一致するか否かを判定したが、このときの閾値は、特に限定されるものではない。例えば、閾値は、絶対値で設定してもよく、また他の例としては、相対値で設定してもよい。
【００８４】
さらに、閾値はフレームごとに異ならせてもよい。例えば、暗いシーンであれば、閾値を下げてもよい。これにより、暗いシーンにおいても、異なる動きの領域を精度よく判別することができる。また、エッジ部分に対し閾値を上げることとしてもよい。これにより、エッジ部分も精度よく判別することができる。
【００８５】
また、第５の変更例としては、本実施の形態においては、領域判定部１０２は、輝度情報の相関値を算出したが、これにかえて色情報の相関値を算出してもよい。
【００８６】
（実施の形態２）
次に、実施の形態２にかかる補間フレーム作成装置１０について説明する。実施の形態２にかかる補間フレーム作成装置１０においては、不一致動きベクトル付与部１０６は、不一致領域のうち適切な動きベクトルが見つからなかった領域、すなわち未検出領域を特定する。また、動き補償部１０８は、未検出領域には隣接する領域の動きベクトルを付与するのにかえて、隣接する画素の平均値を割り当てる。
【００８７】
図２１は、実施の形態２にかかる補間フレーム作成装置１０による補間フレーム作成処理に含まれる不一致動きベクトル付与処理（ステップＳ１０６）における詳細な処理を示すフローチャートである。本実施の形態においては、最も適した動きベクトルを算出した後（ステップＳ１４８）、この動きベクトルにより定まる第１参照フレーム２００中の画素Ｐ１ｐと第２参照フレーム３００中の画素Ｐ２ｐｋとの間の絶対差分値と予め定めた閾値とを比較する。絶対差分値が閾値未満である場合、すなわち相関が高い場合には、この動きベクトルを画素Ｐ１ｐに対する動きベクトルと決定する（ステップＳ１５６）。一方、絶対差分値が閾値以上である場合、すなわち相関が低い場合には、この動きベクトルは利用せず、画素Ｐ１ｐを未検出領域と決定する（ステップＳ１５８）。
【００８８】
なお、未検出領域に対応する補間フレーム中の領域に対しては、動き補償処理（ステップＳ１０８）において、動き補償部１０８により隣接する第１参照領域中の画素の平均値が付与される。
【００８９】
不一致領域が、当該不一致領域を含むフレームにおいて新たに出現したオブジェクトに対応する領域である場合や、ノイズに対応する領域であるには、隣接する第１参照領域いずれの動きベクトルも不一致領域の本来の動きベクトルとは一致しない。このように、隣接する第１参照領域の動きベクトルから不一致領域に適した動きベクトルを選出できない場合がある。この場合、隣接する第１参照領域の動きベクトルを不一致領域の動きベクトルとして付与するのは好ましくない。そこで、実施の形態２にかかる補間フレーム作成装置１０においては、このような場合には、隣接する第１参照領域の動きベクトルは利用しないこととした。これにより、動きベクトルの誤検出を低減することができる。さらに、誤って検出した動きベクトルを利用することにより不適切な補間フレームを作成するのを防ぐことができる。
【００９０】
なお、実施の形態２にかかる補間フレーム作成装置１０のこれ以外の構成および処理は、実施の形態１にかかる補間フレーム作成装置１０の構成および処理と同様である。
【００９１】
実施の形態２にかかる補間フレーム作成装置１０の第１の変更例としては、実施の形態２にかかる補間フレーム作成装置１０においては、動き補償部１０８は、未検出領域に対しては、隣接する第１参照領域中の画素の平均値を割り当てたが、これにかえてメディアン値を割り当ててもよい。
【００９２】
また、第２の変更例としては、動き補償部１０８は、未検出領域に対しては、当該未検出領域を含む第１参照領域に対して動き推定部１００により算出された動きベクトルを割り当ててもよい。
【００９３】
（実施の形態３）
図２２は、実施の形態３にかかる動きベクトル検出装置１２の機能構成を示すブロック図である。動きベクトル検出装置１２は、動き推定部１００と、領域判定部１０２と、一致動きベクトル付与部１０４と、不一致動きベクトル付与部１０６と、フレームメモリ１１０とを備えている。なお、各部の機能は、実施の形態１にかかる対応する各部の機能と同様である。実施の形態１にかかる補間フレーム作成装置１０は、一致動きベクトル付与部１０４および不一致動きベクトル付与部１０６により付与された動きベクトルに基づいて、補間フレームを生成したが、実施の形態３にかかる動きベクトル検出装置１２は、動きベクトル付与までの処理を行う。実施の形態３にかかる動きベクトル検出装置１２によれば、マクロブロックよりも小さい領域単位で精度よく動きベクトルを算出することができる。
【００９４】
（実施の形態４）
次に、実施の形態４にかかる補間フレーム作成装置１０について説明する。実施の形態４にかかる補間フレーム作成装置１０は、補間フレームをマクロブロック単位に分割し、補間フレーム中のマクロブロックを基準として、第１参照フレーム２００および第２参照フレーム３００の動き推定を行う。
【００９５】
このように、補間フレーム４００を領域分割するので、作成される補間フレーム４００上に重複して画像が作成されたり、画像が作成されない領域が生じたりすることがなく、精度の高い補間フレームを作成することができる。
【００９６】
実施の形態４にかかる補間フレーム作成装置１０は、実施の形態１にかかる補間フレーム作成装置１０と同様、動き推定部１００と、領域判定部１０２と、一致動きベクトル付与部１０４と、不一致動きベクトル付与部１０６と、動き補償部１０８と、フレームメモリ１１０とを備えている。各部の処理については後述する。
【００９７】
図２３は、補間フレーム作成装置１０の動き推定部１００の処理を説明するための図である。図２３に示すように動き推定部１００は、補間フレーム４００をマクロブロック単位に分割し、複数の補間領域４１０を得る。そして、この補間領域４１０を基準として第１参照フレーム２００中の第１参照領域２５０と第２参照フレーム３００中の第２参照領域３５０の動き推定を行う。ここで、第１参照領域２５０および第２参照領域３５０は、いずれも補間領域４１０と同一形状同一サイズの領域である。
【００９８】
また、実施の形態４にかかる領域判定部１０２は、補間フレーム中の各領域が一致領域であるか不一致領域であるかを判定する。そして、一致動きベクトル付与部１０４は、補間フレーム中の一致領域に動きベクトルを付与し、不一致動きベクトル付与部１０６は、補間フレーム中の不一致領域に動きベクトルを付与する。
【００９９】
図２４は、実施の形態４にかかる補間フレーム作成装置１０による補間フレーム作成処理を示すフローチャートである。まず、動き推定部１００は、補間フレームを分割し、補間領域を得る（ステップＳ２００）。次に、領域判定部１０２は、補間領域を基準として動き推定を行う（ステップＳ２０２）。次に、領域判定部１０２は、領域判定を行う（ステップＳ２０４）。
【０１００】
次に、一致動きベクトル付与部１０４は、一致領域に対し動き推定部１００により算出された動きベクトルを付与する（ステップＳ２０６）。次に、不一致動きベクトル付与部１０６は、不一致領域に対し、隣接する補間領域に付与された動きベクトルを付与する（ステップＳ２０８）。次に、動き補償部１０８は、一致動きベクトル付与部１０４により付与された動きベクトルおよび不一致動きベクトル付与部１０６により付与された動きベクトルを利用して動き補償を行い、補間フレームを作成する（ステップＳ２１０）。以上で、実施の形態４にかかる補間フレーム作成装置１０による補間フレーム作成処理が完了する。
【０１０１】
図２５は、図２４を参照しつつ説明した動き推定処理（ステップＳ２０２）における詳細な処理を示すフローチャートである。まず、補間フレーム４００に含まれる複数の補間領域のうちから１つの補間領域Ｒ０（ｉ）を抽出する（ステップＳ２１０）。次に、補間領域Ｒ０（ｉ）を中心として特定される第１参照領域Ｒ１（ｉ）と第２参照領域Ｒ２（ｉ）のペアのうち最も相関の高いペアを抽出し、このペアにより動きベクトルＭＶｉを求める（ステップＳ２１２）。
【０１０２】
以上の処理をすべての補間領域に対して行い（ステップＳ２１４，Ｙｅｓ）、動き推定処理（ステップＳ２０２）が完了する。なお、処理されていない補間領域が存在する場合には（ステップＳ２１４，Ｎｏ）、ｉの値を１加算し（ステップＳ２１６）、ステップＳ２１０へ戻る。
【０１０３】
図２６は、図２４を参照しつつ説明した領域判定処理（ステップＳ２０４）における詳細な処理を示すフローチャートである。まず、領域判定部１０２は、第１参照フレームおよび第２参照フレーム中のすべての画素を不一致領域とする（ステップＳ２２０）。次に、所定の補間領域に対応する第１参照領域Ｒ１（ｉ）と第２参照領域Ｒ２（ｉ）の対応する画素ごとに相関判定を行う（ステップＳ２２２）。次に、相関演算結果に基づいて、両画素が一致するか否かを判定し、一致すると判定された画素を不一致領域から一致関領域に変更する（ステップＳ２２４）。
【０１０４】
以上の処理が行われていない補間参照領域が存在する場合には（ステップＳ２２６，Ｎｏ）、ｉの値を１加算し（ステップＳ２２８）、ステップＳ２２２へ進む。ステップＳ２２２およびステップＳ１２４の処理がすべての補間領域に対して行われると（ステップＳ２２６，Ｙｅｓ）、領域判定処理（ステップＳ２０４）が完了する。
【０１０５】
図２７および図２８は、領域判定処理（ステップＳ２０４）を具体的に説明するための図である。図２７に示すように補間領域４２０と、これに対応する第１参照領域２６０および第２参照領域３６０に対し領域判定を行った場合、オブジェクト５１０の部分は一致領域となる。ただし第１参照領域２６０に含まれる背景部分と第２参照領域３６０に含まれる背景部分とは背景５００のうち異なる部分であるためこれらは不一致領域となる。したがって、図２８に示すように対応する補間領域４２０も同様に、オブジェクトに対応する領域が一致領域４２４となり、背景に対応する領域が不一致領域４２２ａ，４２２ｂとなる。
【０１０６】
図２９は、不一致動きベクトル付与処理（ステップＳ２０８）における詳細な処理を示すフローチャートである。まず、補間フレーム４００から不一致領域ＨＰ０を抽出する（ステップＳ２４０）。次に、不一致領域ＨＰ０に隣接する第１参照領域の動きベクトルＭＶｋ（ｋ＝１〜Ｓ、Ｓは不一致領域Ｈ１周辺に存在する動きベクトルＭＶの数）を抽出する（ステップＳ２４２）。ここでは、隣接する補間領域のすべての動きベクトルを抽出する。例えば、２つの動きベクトルが存在する場合には、この２つの動きベクトルを抽出する。また、隣接する補間領域がすべて同じ動きベクトルである場合には、この１つの動きベクトルを抽出する。
【０１０７】
次に、不一致領域ＨＰ０中の各画素ＨＰ０ｐ（ｐは、不一致領域ＨＰ０中の画素）に、抽出された動きベクトルＭＶｋを適用し、第１参照フレーム２００中の画素Ｈ１ｋと第２参照フレーム３００中の対応する画素Ｈ２ｋ（ｋは、動きベクトルＭＶｋのｋに対応する）を抽出する（ステップＳ２４４）。すなわち、画素Ｈ１ｋと画素Ｈ２ｋのペアは、抽出された動きベクトルと同じ数だけ抽出される。
【０１０８】
次に、画素Ｈ１ｋと画素Ｈ２ｋの間の相関演算を行う（ステップＳ２４６）。具体的には、画素Ｈ１ｋと画素Ｈ２ｋの輝度値の絶対差分値を算出する。次に、相関演算結果に基づいて、動きベクトルＭＶｋのうち画素ＨＰ０ｐに適した動きベクトルを選出する（ステップＳ２４８）。具体的には、絶対差分を算出する。複数の動きベクトルが抽出されている場合には、各動きベクトルに対して算出された絶対差分値のうち最も小さい絶対差分値に対応する動きベクトルを選出する。すなわち、最も相関の高いものを選出する。
【０１０９】
以上の処理を不一致領域中のすべての画素に対して行い（ステップＳ２５０，Ｙｅｓ）、不一致動きベクトル付与処理（ステップＳ２０８）が完了する。なお、処理の行われていない画素が存在する場合には（ステップＳ２５０，Ｎｏ）、ｐの値を１加算して（ステップＳ２５２）、ステップＳ２４４へ進む。
【０１１０】
図３０は、不一致領域動きベクトル付与処理（ステップＳ２０８）を具体的に説明するための図である。図３０に示す各補間領域には、動き推定部１００により算出された動きベクトルを示している。また、領域判定の結果が示されている。例えば、補間領域４２０の左上１画素および右下１画素の不一致領域４２２ａ，４２２ｂに対しては、隣接する補間領域の動きベクトルＭＶ１が抽出される。
【０１１１】
この場合、隣接する８個の補間領域いずれの動きベクトルもＭＶ１である。したがって、動きベクトルＭＶ１を補間領域４２０の不一致領域４２２ａ，４２２ｂの動きベクトルと決定する。一方、補間領域４３０の右端中央の不一致領域４３２に対しては、隣接する補間領域の動きベクトルＭＶ１，ＭＶ２が抽出される。この場合、各動きベクトルに対して相関判定を行い、高い相関の得られた動きベクトルが選出される。本例においては、動きベクトルＭＶ２が選出される。
【０１１２】
実施の形態４にかかる補間フレーム作成装置１０のこれ以外の構成および処理は、他の実施の形態にかかる補間フレーム作成装置１０の構成および処理と同様である。
【０１１３】
（実施の形態５）
次に、実施の形態５にかかる補間フレーム作成装置１０について説明する。実施の形態５にかかる補間フレーム作成装置１０は実施の形態４にかかる補間フレーム作成装置１０と同様、補間フレーム４００を基準として第１参照フレーム２００と第２参照フレーム３００の動き推定を行う。実施の形態５にかかる補間フレーム作成装置１０は、さらに第１参照フレーム２００および第２参照フレーム３００以外のフレームを利用して不一致領域に付与する動きベクトルを決定する。
【０１１４】
一般に動画像においては、２枚のフレームからは動きベクトルを検出することのできない、いわゆる陰面領域が存在する場合がある。実施の形態５にかかる補間フレーム作成装置１０は、このような陰面領域に対しても複数のフレームを利用することにより適切な画像を割り当てることができる。
【０１１５】
図３１は、実施の形態５にかかる補間フレーム作成装置１０が対象とする参照フレームを示す図である。実施の形態５にかかる補間フレーム作成装置１０は、第１参照フレーム２００と第２参照フレーム３００の間の補間フレーム４００および第１参照フレーム２００と第２参照フレーム３００に加えて、第１参照フレーム２００よりも時間的に前のフレームである第３参照フレーム６００および第２参照フレーム３００よりも時間的に後のフレームである第４参照フレーム７００を利用する。
【０１１６】
図３２は、実施の形態５にかかる補間フレーム作成装置１０による補間フレーム作成処理のうち不一致領域動きベクトル付与処理（ステップＳ２０８）における詳細な処理を示すフローチャートである。不一致領域ＨＰ０に隣接する補間領域の動きベクトルを抽出した後（ステップＳ２４２）、各動きベクトルＭＶｋに対し、第１から第４参照フレームからそれぞれ不一致領域ＨＰ０中の画素ＨＰ０ｐに対応する画素ＨＰ１ｋ，ＨＰ２ｋ，ＨＰ３ｋ，ＨＰ４ｋを抽出する（ステップＳ２６０）。
【０１１７】
次に、第１参照フレーム２００中の画素ＨＰ１ｋと第２参照フレーム３００中の画素ＨＰ２ｋの相関演算を行う（ステップＳ２６２）。次に、第１参照フレーム２００中の画素ＨＰ１ｋと第３参照フレーム６００中の画素ＨＰ３ｋの相関演算を行う（ステップＳ２６４）。次に、第２参照フレーム３００中の画素ＨＰ２ｋと第４参照フレーム７００中の画素ＨＰ４ｋの相関演算を行う（ステップＳ２６６）。
【０１１８】
以上の相関結果に基づいて、最も相関の高い画素の組み合わせに対応する動きベクトルを画素ＨＰ０ｐに付与すべき動きベクトルとして選出する（ステップＳ２６８）。以上の処理を不一致領域ＨＰ０中のすべての画素に対して行い（ステップＳ２７０，Ｙｅｓ）、不一致領域動きベクトル付与処理（ステップＳ２０８）が完了する。
【０１１９】
図３３は、オブジェクト５２０が移動する様子を示す動画像である。図３３に示す動画像に対する不一致領域動きベクトル付与処理（ステップＳ２０８）を具体的に説明する。図３４は、図３３に示す動画像に対し領域判定を行った結果を示す図である。補間フレーム４００は、図３４に示すように、一致領域４０２と不一致領域４０４とに分類される。このうち、画素ＨＰ０１の動きベクトル算出においては、ＨＰ３２とＨＰ１２の相関演算結果が最も相関の高くなる。そこで、画素ＨＰ０１には、ＨＰ３２とＨＰ１２に対応する動きベクトルＭＶ１０が選出される。
【０１２０】
なお、実施の形態５にかかる補間フレーム作成装置１０のこれ以外の構成および処理は、実施の形態４にかかる補間フレーム作成装置１０の構成および処理と同様である。
【０１２１】
（実施の形態６）
次に、実施の形態６にかかる補間フレーム作成装置１０について説明する。図３５は、実施の形態６にかかる補間フレーム作成装置１０による不一致領域動きベクトル付与処理（ステップＳ２０８）における詳細な処理を示すフローチャートである。各フレーム中の画素同士の相関演算結果に基づいて、動きベクトルを選出した後（ステップＳ２６８）、この動きベクトルにより定まる２つの画素の間の絶対差分値と予め定めた閾値とを比較する。絶対差分値が閾値未満である場合、すなわち相関が高い場合には（ステップＳ２８０，Ｙｅｓ）、この動きベクトルを画素ＨＰ０ｐに対する動きベクトルと決定する（ステップＳ２８２）。一方、絶対差分値が閾値以上である場合、すなわち相関が低い場合には（ステップＳ２８０，Ｎｏ）、この動きベクトルは利用せず、画素ＨＰ０ｐを未検出領域と決定する（ステップＳ２８４）。
【０１２２】
未検出領域に対応する補間フレーム中の領域に対しては、動き補償処理（ステップＳ２１０）において、不一致領域を利用した動き推定により動きベクトルが決定される。図３６は、不一致領域を利用した動き推定処理を説明するための図である。このように、例えば、補間フレーム４００の不一致領域中の画素ＨＰ０２、第１参照フレーム２００の不一致領域および第３参照フレーム６００を用いた動き推定を行う。また補間フレーム４００の不一致領域中の画素ＨＰ０２、第２参照フレーム３００の不一致領域および第４参照フレーム７００を用いた動き推定を行う。そして、動き推定の結果に基づいて、動きベクトルを決定する。
【０１２３】
このように、第１参照フレームと第３参照フレームの低相関領域のみを使用するという制限を設けることにより、処理対象の領域を制限することができるので、処理効率を向上させることができる。さらに、動き推定の精度を向上させることができる。
【０１２４】
なお、実施の形態６にかかる補間フレーム作成装置１０のこれ以外の構成および処理は、実施の形態４および実施の形態５にかかる補間フレーム作成装置１０の構成および処理と同様である。
【０１２５】
実施の形態６の変更例としては、実施の形態４と実施の形態６にかかる不一致動きベクトル付与処理（ステップＳ２０８）を組み合わせてもよい。具体的には、まず実施の形態４において説明した不一致動きベクトル付与処理（ステップＳ２０８）のように第１参照フレームおよび第２参照フレームを利用して動きベクトルを選出する。そして、この動きベクトルの相関が低い場合には、実施の形態６において説明した不一致ベクトル付与処理（ステップＳ２０８）のように第３参照フレームおよび第４参照フレームを加えて、動きベクトルを選出する。これにより、ベクトル検出の精度を向上させることができる。さらに、精度の高い補間フレームを生成することができる。
【図面の簡単な説明】
【０１２６】
【図１】実施の形態１にかかる補間フレーム作成装置１０の機能構成を示すブロック図である。
【図２】補間フレームを説明するための図である。
【図３】動き推定を説明するための図である。
【図４】動き推定を説明するための図である。
【図５】補間フレーム作成装置１０による補間フレーム作成処理を示すフローチャートである。
【図６】第１参照フレーム２００および第２参照フレーム３００の一例を示す図である。
【図７】動き推定処理（ステップＳ１００）における詳細な処理を示すフローチャートである。
【図８】図６に示す第１参照フレーム２００および第２参照フレーム３００に対する動き推定処理の結果を示す図である。
【図９】図６に示す第１参照フレーム２００および第２参照フレーム３００に対する動き推定処理の結果を示す図である。
【図１０】領域判定（ステップＳ１０２）における詳細な処理を示すフローチャートである。
【図１１】図９に示す動きベクトルＭＶ２が付与された第１参照領域２２０と、この第１参照領域２２０に対応する第２参照領域３２０の間の相関演算を説明するための図である。
【図１２】図１１の相関演算により得られた一致領域および不一致領域を示す図である。
【図１３】第１参照領域２２０の左隣の第１参照領域２３０における領域判定結果を示す図である。
【図１４】図８に示す第１参照フレーム２００全体の領域判定結果を示す図である。
【図１５】不一致動きベクトル付与処理（ステップＳ１０６）における詳細な処理を示すフローチャートである。
【図１６】第１参照フレーム２００の一致領域および不一致領域を示す図である。
【図１７】３つの動きベクトルを含む第１参照フレーム２００および第２参照フレーム３００を示す図である。
【図１８】図１７に示す第１参照フレーム２００から第２参照フレーム３００への動きベクトルを示す図である。
【図１９】第１参照領域２４０の領域判定の結果を示す図である。
【図２０】実施の形態１にかかる補間フレーム作成装置１０のハードウェア構成を示す図である。
【図２１】実施の形態２にかかる補間フレーム作成装置１０による補間フレーム作成処理に含まれる不一致動きベクトル付与処理（ステップＳ１０６）における詳細な処理を示すフローチャートである。
【図２２】実施の形態３にかかる動きベクトル検出装置１２の機能構成を示すブロック図である。
【図２３】補間フレーム作成装置１０の動き推定部１００の処理を説明するための図である。
【図２４】実施の形態４にかかる補間フレーム作成装置１０による補間フレーム作成処理を示すフローチャートである。
【図２５】図２４を参照しつつ説明した動き推定処理（ステップＳ２０２）における詳細な処理を示すフローチャートである。
【図２６】図２４を参照しつつ説明した領域判定処理（ステップＳ２０４）における詳細な処理を示すフローチャートである。
【図２７】領域判定処理（ステップＳ２０４）を具体的に説明するための図である。
【図２８】領域判定処理（ステップＳ２０４）を具体的に説明するための図である。
【図２９】不一致動きベクトル付与処理（ステップＳ２０８）における詳細な処理を示すフローチャートである。
【図３０】不一致領域動きベクトル付与処理（ステップＳ２０８）を具体的に説明するための図である。
【図３１】実施の形態５にかかる補間フレーム作成装置１０が対象とする参照フレームを示す図である。
【図３２】実施の形態５にかかる補間フレーム作成装置１０による補間フレーム作成処理のうち不一致領域動きベクトル付与処理（ステップＳ２０８）における詳細な処理を示すフローチャートである。
【図３３】オブジェクト５２０が移動する様子を示す動画像である。
【図３４】図３３に示す動画像に対し領域判定を行った結果を示す図である。
【図３５】実施の形態６にかかる補間フレーム作成装置１０による不一致領域動きベクトル付与処理（ステップＳ２０８）における詳細な処理を示すフローチャートである。
【図３６】不一致領域を利用した動き推定処理を説明するための図である。
【符号の説明】
【０１２７】
１０  補間フレーム作成装置
１２  動きベクトル検出装置
５１  ＣＰＵ
５２  ＲＯＭ
５３  ＲＡＭ
５７  通信Ｉ／Ｆ
６２  バス
１００  動き推定部
１０２  領域判定部
１０４  一致動きベクトル付与部
１０６  不一致動きベクトル付与部
１０８  動き補償部
１１０  フレームメモリ
２００  第１参照フレーム
３００  第２参照フレーム
４００  補間フレーム
６００  第３参照フレーム
７００  第４参照フレーム
【図１】
0004417918.tif 000002
【図２】
0004417918.tif 000003
【図３】
0004417918.tif 000004
【図４】
0004417918.tif 000005
【図５】
0004417918.tif 000006
【図６】
0004417918.tif 000007
【図７】
0004417918.tif 000008
【図８】
0004417918.tif 000009
【図９】
0004417918.tif 000010
【図１０】
0004417918.tif 000011
【図１１】
0004417918.tif 000012
【図１２】
0004417918.tif 000013
【図１３】
0004417918.tif 000014
【図１４】
0004417918.tif 000015
【図１５】
0004417918.tif 000016
【図１６】
0004417918.tif 000017
【図１７】
0004417918.tif 000018
【図１８】
0004417918.tif 000019
【図１９】
0004417918.tif 000020
【図２０】
0004417918.tif 000021
【図２１】
0004417918.tif 000022
【図２２】
0004417918.tif 000023
【図２３】
0004417918.tif 000024
【図２４】
0004417918.tif 000025
【図２５】
0004417918.tif 000026
【図２６】
0004417918.tif 000027
【図２７】
0004417918.tif 000028
【図２８】
0004417918.tif 000029
【図２９】
0004417918.tif 000030
【図３０】
0004417918.tif 000031
【図３１】
0004417918.tif 000032
【図３２】
0004417918.tif 000033
【図３３】
0004417918.tif 000034
【図３４】
0004417918.tif 000035
【図３５】
0004417918.tif 000036
【図３６】
0004417918.tif 000037