(57)【要約】【課題】正しい動きベクトルを検出し、精度よく補間画像を生成することのできる補間フレーム生成方法を提供する。【解決手段】補間フレームを複数の補間領域に分割する補間領域作成ステップと、第１参照領域と、第２参照領域とから動きベクトルを求める動き推定ステップと、第１参照領域と第２参照領域の相関を判定する相関判定ステップと、高相関領域と判定された場合に、動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、低相関領域と判定された場合に、動きベクトル未検出領域と、第１参照フレーム中の領域と、第３参照フレームと、前記第２参照フレーム中の領域と、第４参照フレームとを用いた動き推定により、付与すべき動きベクトルを決定する動きベクトル未検出領域動きベクトル決定ステップと、動きベクトルに基づいて、補間フレームを生成する動き補償ステップとを有する。【選択図】    図１
2006311480.tif 000002
【特許請求の範囲】
【請求項１】
第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成方法であって、
前記補間フレームを複数の画素により構成される複数の補間領域に分割する補間領域作成ステップと、
前記第１参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の第１参照領域と、前記第２参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の領域であって、かつ前記補間領域を基準として前記第１参照領域に対応する位置に配置された領域である第２参照領域との複数の組み合わせの中から、前記第１参照領域と前記第２参照領域の間の相関が最も高い組み合わせを特定し、特定した組み合わせに含まれる前記第１参照領域と前記第２参照領域から動きベクトルを求める動き推定ステップと、
前記動き推定ステップにおいて特定された前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、
前記相関判定ステップにおいて前記高相関領域と判定された場合に、前記第１参照領域および第２参照領域に対応する前記補間領域を動きベクトル検出領域とし、当該動きベクトル検出領域に、前記動き推定ステップにおいて求めた前記動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、
前記相関判定ステップにおいて前記低相関領域と判定された場合に、前記第１参照領域および前記第２参照領域に対応する前記補間領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域と、前記第１参照フレーム中の領域であってかつ前記相関判定ステップにおいて低相関領域と判定された領域と、前記補間フレームを基準とし前記第１参照フレームと時間的に同一方向にある第３参照フレームと、前記第２参照フレーム中の領域であってかつ前記相関判定ステップにおいて低相関領域と判定された領域と、前記補間フレームを基準とし前記第２参照フレームと時間的に同一方向にある第４参照フレームとを用いた動き推定により、前記動きベクトル未検出領域に付与すべき動きベクトルを決定する動きベクトル未検出領域動きベクトル決定ステップと、
前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル決定ステップにおいて決定された前記動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
を有することを特徴とする補間フレーム生成方法。
【請求項２】
前記第１参照フレーム中の領域であって、前記相関判定ステップにおいて低相関領域と判定された領域中の領域であって、かつ前記動きベクトル未検出領域とサイズおよび形状が同一の第２参照領域と、前記第３参照フレーム中の領域であってかつ前記動きベクトル未検出領域とサイズおよび形状が同一の第３参照領域との複数の組み合わせの中から、前記第１参照領域と前記第３参照領域の間の相関が最も高い組み合わせを特定し、特定した前記第１領域と第３領域の組み合わせから動きベクトルを求める第１参照フレーム方向動きベクトル算出ステップと、
前記第２参照フレーム中の領域であって、前記相関判定ステップにおいて低相関領域と判定された領域中の領域であって、かつ前記動きベクトル未検出領域とサイズおよび形状が同一の第１参照領域と、前記第４参照フレーム中の領域であってかつ前記動きベクトル未検出領域とサイズおよび形状が同一の第４参照領域との複数の組み合わせの中から、前記第２領域と前記第４領域の間の相関が最も高い組み合わせを特定し、特定した前記第２領域と前記第４領域の組み合わせから動きベクトルを求める第２参照フレーム方向動きベクトル算出ステップと
をさらに有し、
前記動きベクトル未検出領域動きベクトル決定ステップにおいては、前記第１参照フレーム方向動きベクトル算出ステップにおいて求めた前記動きベクトルと前記第２参照フレーム方向動きベクトル算出ステップにおいて求めた前記動きベクトルとに基づいて、前記動きベクトル未検出領域に付与すべき動きベクトルを決定することを特徴とする請求項１に記載の補間フレーム生成方法。
【請求項３】
前記動きベクトル未検出領域動きベクトル決定ステップにおいては、前記第１参照フレーム方向動きベクトル算出ステップにおいて特定された前記第１参照領域と前記第３参照領域の間の相関と前記第２参照フレーム方向動きベクトル算出ステップにおいて特定された前記第２参照領域と前記第４参照フレーム中の領域の間の相関とを比較し、より相関の高い領域に対応する動きベクトルを、前記動きベクトル未検出領域に付与すべき動きベクトルとして決定することを特徴とする請求項２に記載の補間フレーム生成方法。
【請求項４】
前記動きベクトル未検出領域動きベクトル決定ステップにおいては、前記第１参照フレーム方向動きベクトル算出ステップにおいて特定された前記第１参照領域と前記第３参照領域の間の相関と前記第２参照フレーム方向動きベクトル算出ステップにおいて特定された前記第２参照領域と前記第４参照領域の間の相関とがいずれも予め設定された閾値よりも小さい場合には、いずれの動きベクトルも前記動きベクトル未検出領域に対する動きベクトルとしないことを特徴とする請求項２または３に記載の補間フレーム生成方法。
【請求項５】
前記動きベクトル未検出領域動きベクトル決定ステップにおいては、前記動きベクトル未検出領域に対する動きベクトルが決定されていない場合には、前記動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルの平均値またはメディアン値を前記動きベクトル未検出領域の動きベクトルとして決定することを特徴とする請求項４に記載の補間フレーム生成方法。
【請求項６】
前記動きベクトル未検出領域をさらに、相関の高い高相関領域と、相関の低い低相関領域とに分割する再帰的領域作成ステップをさらに有し、
前記動きベクトル検出領域動きベクトル付与ステップにおいては、前記再帰的領域作成ステップにおいて前記高相関領域に分割された領域を前記動きベクトル検出領域とし、当該動きベクトル検出領域に、前記動き推定ステップにおいて求めた前記動きベクトルを付与し、
前記動きベクトル未検出領域動きベクトル決定ステップにおいては、前記再帰的領域作成ステップにおいて前記低相関領域に分割された領域を前記動きベクトル未検出領域とし、当該動きベクトル未検出領域と、前記第１参照フレーム中の領域であってかつ前記相関判定ステップにおいて低相関領域と判定された領域と、前記補間フレームを基準とし前記第１参照フレームと時間的に同一方向にある第３参照フレームと、前記第２参照フレーム中の領域であってかつ前記相関判定ステップにおいて低相関領域と判定された領域と、前記補間フレームを基準とし前記第２参照フレームと時間的に同一方向にある第４参照フレームとを用いた動き推定により、前記動きベクトル未検出領域に付与すべき動きベクトルを決定することを特徴とする請求項１に記載の補間フレーム生成方法。
【請求項７】
前記再帰的領域作成ステップにおいては、前記第１参照領域と前記第２参照領域中の対応する領域ごとの相関値を算出し、算出した前記相関値と予め設定された閾値とを比較することにより、前記動きベクトル未検出領域を高相関領域と低相関領域とに分割することを特徴とする請求項６に記載の補間フレーム生成方法。
【請求項８】
前記低相関領域に対し、前記動き推定ステップ、前記相関判定ステップ、前記動きベクトル検出領域動きベクトル付与ステップを再帰的に行うことを特徴とする請求項６に記載の補間フレーム生成方法。
【請求項９】
前記相関判定ステップにおいては、前記第１参照領域と前記第２参照領域中の対応する領毎の相関値を算出し、算出した前記相関値と予め設定された閾値とを比較することにより高相関領域であるか低相関領域であるかを判定することを特徴とする請求項１に記載の補間フレーム生成方法。
【請求項１０】
前記相関判定ステップにおいては、輝度情報の絶対差分値、色差情報の絶対差分値、絶対差分値の総和、または相関の高い画素の数により定まる相関値を算出することを特徴とする請求項１に記載の補間フレーム生成方法。
【請求項１１】
前記動き補償ステップにおいては、前記動きベクトル検出領域動きベクトル付与ステップおよび前記動きベクトル未検出領域動きベクトル決定ステップにおいて、１つの領域に複数の動きベクトルが付与されている場合には、前記第１参照フレームを基準とし、当該複数の動きベクトルそれぞれにより特定される、他の参照フレーム中の画像の平均値を前記補間フレームに割り当てることを特徴とする請求項１に記載の補間フレーム生成方法。
【請求項１２】
前記動き補償ステップにおいては、前記動きベクトル検出領域動きベクトル付与ステップおよび前記動きベクトル未検出領域動きベクトル決定ステップにおいて、１つの領域に複数の動きベクトルが付与されている場合には、前記第１参照フレームを基準とし、当該複数の動きベクトルそれぞれにより特定される複数の他の参照フレーム中の領域間の相関値が最も小さくなる動きベクトルを前記動きベクトル未検出領域に付与すべき動きベクトルとして決定することを特徴とする請求項１に記載の補間フレーム生成方法。
【請求項１３】
第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成方法であって、
前記第１参照フレームを複数の画素により構成される複数の第１参照領域に分割する領域作成ステップと、
前記第２参照フレームにおいて、前記第１参照領域とサイズおよび形状が同一であって、かつ最も相関が高い第２参照領域を特定し、特定した前記第２参照領域と前記第１参照領域の動きベクトルを求める動き推定ステップと、
前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、
前記相関判定ステップにおいて、前記高相関領域と判定された場合に、当該第１参照領域を動きベクトル検出領域とし、当該動きベクトル検出領域に、前記動き推定ステップにより求めた前記動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、
前記相関判定ステップにおいて、前記低相関領域と判定された場合に、当該第１参照領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域と、前記第１参照フレームを基準とし前記第２参照フレームと時間的に反対方向にある第３参照フレームとを用いた動き推定により、前記動きベクトル未検出領域の動きベクトルを決定する動きベクトル未検出領域動きベクトル決定ステップと、
前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルと前記動きベクトル未検出領域動きベクトル決定ステップにおいて決定された前記動きベクトルとに基づいて、前記補間フレームを生成する動き補償ステップと
を有することを特徴とする補間フレーム生成方法。
【請求項１４】
前記動き補償ステップは、さらに前記第１参照フレームと前記第２参照フレームとの間の補間フレームの時間的位置に基づいて前記補間フレームを生成することを特徴とする請求項１３に記載の補間フレーム生成方法。
【請求項１５】
前記動きベクトル未検出領域をさらに、相関の高い高相関領域と、相関の低い低相関領域とに分割する再帰的領域作成ステップをさらに有し、
前記動きベクトル検出領域動きベクトル付与ステップにおいては、前記再帰的領域作成ステップにおいて前記高相関領域に分割された領域を前記動きベクトル検出領域とし、当該動きベクトル検出領域に前記動き推定ステップにより求めた前記動きベクトルを付与し、
前記動きベクトル未検出領域動きベクトル決定ステップにおいては、前記再帰的領域作成ステップにおいて前記低相関領域に分割された領域を前記動きベクトル未検出領域とし、前記動きベクトル未検出領域と、前記第３参照フレームとを用いた動き推定により、当該動きベクトル未検出領域の動きベクトルを決定することを特徴とする請求項１３に記載の補間フレーム生成方法。
【請求項１６】
前記再帰的領域作成ステップにおいては、前記第１参照領域と前記第２参照領域中の対応する領域ごとの相関値を算出し、算出した前記相関値と予め設定した閾値とを比較することにより、前記動きベクトル未検出領域を高相関領域と低相関領域とに分割することを特徴とする請求項１５に記載の補間フレーム生成方法。
【請求項１７】
前記低相関領域に対し、前記動き推定ステップ、前記相関判定ステップ、前記動きベクトル検出領域動きベクトル付与ステップを再帰的に行うことを特徴とする請求項１５に記載の補間フレーム生成方法。
【請求項１８】
第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成方法であって、
前記補間フレームを複数の画素により構成される複数の補間領域に分割する領域作成ステップと、
前記第１参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の第１参照領域と、前記第２参照フレーム中の領域であって前記補間フレームとサイズおよび形状が同一の領域であって、かつ前記補間領域を基準として前記第１参照領域に対応する位置に配置された領域である第２参照領域との組み合わせの中から、前記補間領域を支点とし、前記第１参照領域と前記第２参照領域の間の相関が最も高い組み合わせを特定し、特定した組み合わせに含まれる前記第１参照領域および第２参照領域から動きベクトルを求める動き推定ステップと、
前記動き推定ステップにおいて特定された前記第１参照領域と前記第２対象領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、
前記相関判定ステップにおいて、前記高相関領域と判定された前記第１参照領域と前記第２参照領域に対応する前記補間領域を動きベクトル検出領域とし、前記動きベクトル検出領域に、前記動き推定ステップにおいて求めた動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、
前記相関判定ステップにおいて、前記低相関領域と判定された前記第１参照領域と前記第２参照領域に対応する前記補間領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に付与する動きベクトル未検出領域動きベクトル付与ステップと、
前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル付与ステップにおいて付与された動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
を有することを特徴とする補間フレーム生成方法。
【請求項１９】
前記動きベクトル未検出領域動きベクトル付与ステップにおいては、前記動きベクトル未検出領域に隣接する前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に付与することを特徴とする請求項１８に記載の補間フレーム生成方法。
【請求項２０】
前記動きベクトル未検出領域を基準とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルにより定まる前記第１参照フレーム中の第１参照領域と、前記補間フレームを基準とし、時間的に前記第１参照フレームと同一方向にある第３参照フレーム中の領域であってかつ前記動きベクトルにより定まる第３参照領域との間の相関値を求める第１参照フレーム相関演算ステップと、
前記動きベクトル未検出領域を基準とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルにより定まる前記第２参照フレーム中の第２参照領域と、前記補間フレームを基準とし、時間的に前記第２参照フレームと同一方向にある第４参照フレーム中の領域であってかつ前記動きベクトルにより定まる第４参照領域との間の相関値を求める第２参照フレーム相関演算ステップと
をさらに有し、
前記動きベクトル未検出領域動きベクトル付与ステップにおいては、前記第１参照フレーム相関演算ステップにおいて求めた前記相関値と前記第２参照フレーム相関演算ステップにおいて求めた前記相関値とに基づいて、前記動きベクトル未検出領域に付与すべき前記動きベクトルを決定することを特徴とする請求項１８に記載の補間フレーム生成方法。
【請求項２１】
前記動きベクトル未検出領域動きベクトル付与ステップにおいては、前記動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域の動きベクトルが複数存在する場合に、前記第１参照フレーム相関演算ステップにおいて求めた前記相関値と前記第２参照フレーム相関演算ステップにおいて求めた前記相関値とに基づいて、複数の前記動きベクトルの中から前記動きベクトル未検出領域に付与すべき前記動きベクトルを決定することを特徴とする請求項２０に記載の補間フレーム生成方法。
【請求項２２】
前記動きベクトル未検出領域動きベクトル付与ステップにおいては、前記第１参照フレーム相関演算ステップにおいて求めた前記相関値および前記第２参照フレーム相関演算ステップにおいて求めた前記相関値に基づいて、最も相関の高い領域に対応する動きベクトルを、前記動きベクトル未検出領域に付与すべき前記動きベクトルとして決定することを特徴とする請求項２１に記載の補間フレーム生成方法。
【請求項２３】
前記動きベクトル未検出領域動きベクトル付与ステップにおいては、前記第１参照フレーム相関演算ステップにおいて求めた前記第１参照領域と前記第３参照領域の間の相関と前記第２参照フレーム相関演算ステップにおいて求めた前記第２参照領域と前記第４参照領域の間の相関とがいずれも予め定めた閾値よりも小さい場合には、いずれの動きベクトルも前記動きベクトル未検出領域に対する動きベクトルとしないことを特徴とする請求項２０から２２のいずれか一項に記載の補間フレーム生成方法。
【請求項２４】
前記動きベクトル未検出領域動きベクトル付与ステップにおいては、前記動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に対する動きベクトルとしない場合には、前記動きベクトル未検出領域と、前記第１参照フレーム中の領域であってかつ前記相関判定ステップにおいて低相関領域と判定された領域と、前記補間フレームを基準とし前記第１参照フレームと時間的に同一方向にある第３参照フレームと、前記第２参照フレーム中の領域であってかつ前記相関判定ステップにおいて低相関領域と判定された領域と、前記補間フレームを基準とし前記第２参照フレームと時間的に同一方向にある第４参照フレームとを用いた動き推定により決定した動きベクトルを前記動きベクトル未検出領域に付与することを特徴とする請求項２３に記載の補間フレーム生成方法。
【請求項２５】
前記第１参照フレーム相関演算ステップにおいては、前記動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルにより定まる前記第１参照フレーム中の前記第1参照領域が、前記相関判定ステップにおいて低相関領域と判定された領域である場合に、当該第１参照領域と前記第３参照領域との間の相関値を求め、
前記第２参照フレーム相関演算ステップにおいては、前記動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルにより定まる前記第２参照フレーム中の前記第２参照領域が、前記相関判定ステップにおいて低相関領域と判定された領域である場合に、当該第２参照領域と前記第４参照領域との間の相関値を求めることを特徴とする請求項１８から２４のいずれか一項に記載の補間フレーム生成方法。
【請求項２６】
前記動きベクトル未検出領域をさらに、相関の高い高相関領域と、相関の低い低相関領域とに分割する再帰的領域作成ステップをさらに有し、
前記動きベクトル検出領域動きベクトル付与ステップにおいては、前記再帰的領域作成ステップにおいて、前記高相関領域と判定された領域を前記動きベクトル検出領域とし、当該動きベクトル検出領域に、前記動き推定ステップにより求めた前記動きベクトルを付与し、
前記動きベクトル未検出領域動きベクトル付与ステップにおいては、前記相関判定ステップにおいて、前記低相関領域と判定された領域を前記動きベクトル未検出領域とし、当該動きベクトル未検出領域と、前記第３参照フレームとを用いた動き推定により決定された動きベクトルを前記動きベクトル未検出領域に付与することを特徴とする請求項１８に記載の補間フレーム生成方法。
【請求項２７】
前記相関判定ステップにおいては、前記第１参照領域と前記第２参照領域中の対応する領域ごとの相関演算を行い、演算結果と予め設定した閾値とを比較することにより高相関領域か低相関領域かを判定することを特徴とする請求項２６に記載の補間フレーム生成方法。
【請求項２８】
前記低相関領域において、前記動き推定ステップ、前記相関判定ステップ、前記動きベクトル検出領域動きベクトル割り当てステップを再帰的に行うことを特徴とする請求項２６に記載の補間フレーム生成方法。
【請求項２９】
第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成方法であって、
前記第１参照フレームを複数の画素により構成される複数の第１参照領域に分割する領域作成ステップと、
前記第２参照フレームにおいて、前記第１参照領域とサイズおよび形状が同一であって、かつ最も相関が高い第２参照領域を特定し、特定した前記第２参照領域と第１参照領域の動きベクトルを求める動き推定ステップと、
前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、
前記相関判定ステップにおいて、前記高相関領域と判定された前記第１参照領域を動きベクトル検出領域とし、前記動きベクトル検出領域に、前記動き推定ステップにより求めた動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、
前記相関判定ステップにおいて、前記低相関領域と判定された前記第１参照領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に付与する動きベクトル未検出領域動きベクトル付与ステップと、
前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
を有することを特徴とする補間フレーム生成方法。
【請求項３０】
前記動きベクトル未検出領域動きベクトル付与ステップにおいては、前記動きベクトル未検出領域に隣接する前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に付与することを特徴とする請求項２９に記載の補間フレーム生成方法。
【請求項３１】
前記動きベクトル未検出領域を基準とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルにより定まる前記第２参照フレーム中の第２参照領域と、前記動きベクトル未検出領域との間の相関値を求める第２参照フレーム相関演算ステップと、
前記動きベクトル未検出領域を基準とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルにより定まる前記第３参照フレーム中の第３参照領域と、前記動きベクトル未検出領域との間の相関値を求める第３参照フレーム相関演算ステップと
をさらに有し、
前記動きベクトル未検出領域動きベクトル付与ステップにおいては、前記第２参照フレーム相関演算ステップにおいて求めた前記相関値と、前記第３参照フレーム相関演算ステップにおいて求めた前記相関値とに基づいて、前記動きベクトル未検出領域に付与すべき前記動きベクトルを決定することを特徴とする請求項２９に記載の補間フレーム生成方法。
【請求項３２】
前記動きベクトル未検出領域動きベクトル付与ステップにおいては、前記動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域の動きベクトルが複数存在する場合に、前記第１参照フレーム相関演算ステップにおいて求めた前記相関値と前記第２参照フレーム相関演算ステップにおいて求めた前記相関値とに基づいて、複数の前記動きベクトルの中から前記動きベクトル未検出領域に付与すべき前記動きベクトルを決定することを特徴とする請求項３１に記載の補間フレーム生成方法。
【請求項３３】
前記動きベクトル未検出領域動きベクトル付与ステップにおいては、前記第２参照フレーム相関演算ステップにおいて求めた前記相関値と前記第３参照フレーム相関演算ステップにおいて求めた前記相関値とに基づいて、相関の最も高い領域に対応する動きベクトルを前記動きベクトル未検出領域に付与すべき前記動きベクトルとして決定することを特徴とする請求項３１に記載の補間フレーム生成方法。
【請求項３４】
前記動きベクトル未検出領域動きベクトル付与ステップにおいては、前記第２参照フレーム相関演算ステップにおいて求めた前記相関値および前記第３参照フレーム相関演算ステップにおいて求めた前記相関値のいずれもが予め定めた閾値よりも小さい場合には、いずれの領域に対応する動きベクトルも前記動きベクトル未検出領域に対する動きベクトルとしないことを特徴とする請求項３１に記載の補間フレーム生成方法。
【請求項３５】
前記動きベクトル未検出領域動きベクトル付与ステップにおいては、前記動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に対する動きベクトルとしない場合には、前記動きベクトル未検出領域と、前記第１参照フレーム中の領域であってかつ前記相関判定ステップにおいて低相関領域と判定された領域と、前記補間フレームを基準とし前記第１参照フレームと時間的に同一方向にある第３参照フレームと、前記第２参照フレーム中の領域であってかつ前記相関判定ステップにおいて低相関領域と判定された領域と、前記補間フレームを基準とし前記第２参照フレームと時間的に同一方向にある第４参照フレームとを用いた動き推定により決定した動きベクトルを前記動きベクトル未検出領域に付与することを特徴とする請求項３４に記載の補間フレーム生成方法。
【請求項３６】
前記動き補償ステップは、さらに前記第１参照フレームと前記第２参照フレームとの間の補間フレームの時間的位置に基づいて前記補間フレームを生成することを特徴とする請求項２９に記載の補間フレーム生成方法。
【請求項３７】
第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成処理をコンピュータに実行させる補間フレーム生成プログラムであって、
前記補間フレームを複数の画素により構成される複数の補間領域に分割する補間領域作成ステップと、
前記第１参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の第１参照領域と、前記第２参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の領域であって、かつ前記補間領域を基準として前記第１参照領域に対応する位置に配置された領域である第２参照領域との複数の組み合わせの中から、前記第１参照領域と前記第２参照領域の間の相関が最も高い組み合わせを特定し、特定した組み合わせに含まれる前記第１参照領域と前記第２参照領域から動きベクトルを求める動き推定ステップと、
前記動き推定ステップにおいて特定された前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、
前記相関判定ステップにおいて前記高相関領域と判定された場合に、前記第１参照領域および第２参照領域に対応する前記補間領域を動きベクトル検出領域とし、当該動きベクトル検出領域に、前記動き推定ステップにおいて求めた前記動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、
前記相関判定ステップにおいて前記低相関領域と判定された場合に、前記第１参照領域および前記第２参照領域に対応する前記補間領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域と、前記第１参照フレーム中の領域であってかつ前記相関判定ステップにおいて低相関領域と判定された領域と、前記補間フレームを基準とし前記第１参照フレームと時間的に同一方向にある第３参照フレームと、前記第２参照フレーム中の領域であってかつ前記相関判定ステップにおいて低相関領域と判定された領域と、前記補間フレームを基準とし前記第２参照フレームと時間的に同一方向にある第４参照フレームとを用いた動き推定により、前記動きベクトル未検出領域に付与すべき動きベクトルを決定する動きベクトル未検出領域動きベクトル決定ステップと、
前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル決定ステップにおいて決定された前記動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
を有することを特徴とする補間フレーム生成プログラム。
【請求項３８】
第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成処理をコンピュータに実行させる補間フレーム生成プログラムであって、
前記第１参照フレームを複数の画素により構成される複数の第１参照領域に分割する領域作成ステップと、
前記第２参照フレームにおいて、前記第１参照領域とサイズおよび形状が同一であって、かつ最も相関が高い第２参照領域を特定し、特定した前記第２参照領域と前記第１参照領域の動きベクトルを求める動き推定ステップと、
前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、
前記相関判定ステップにおいて、前記高相関領域と判定された場合に、当該第１参照領域を動きベクトル検出領域とし、当該動きベクトル検出領域に、前記動き推定ステップにより求めた前記動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、
前記相関判定ステップにおいて、前記低相関領域と判定された場合に、当該第１参照領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域と、前記第１参照フレームを基準とし前記第２参照フレームと時間的に反対方向にある第３参照フレームとを用いた動き推定により、前記動きベクトル未検出領域の動きベクトルを決定する動きベクトル未検出領域動きベクトル決定ステップと、
前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルと前記動きベクトル未検出領域動きベクトル決定ステップにおいて決定された前記動きベクトルとに基づいて、前記補間フレームを生成する動き補償ステップと
を有することを特徴とする補間フレーム生成プログラム。
【請求項３９】
第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成処理をコンピュータに実行させる補間フレーム生成プログラムであって、
前記補間フレームを複数の画素により構成される複数の補間領域に分割する領域作成ステップと、
前記第１参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の第１参照領域と、前記第２参照フレーム中の領域であって前記補間フレームとサイズおよび形状が同一の領域であって、かつ前記補間領域を基準として前記第１参照領域に対応する位置に配置された領域である第２参照領域との組み合わせの中から、前記補間領域を支点とし、前記第１参照領域と前記第２参照領域の間の相関が最も高い組み合わせを特定し、特定した組み合わせに含まれる前記第１参照領域および第２参照領域から動きベクトルを求める動き推定ステップと、
前記動き推定ステップにおいて特定された前記第１参照領域と前記第２対象領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、
前記相関判定ステップにおいて、前記高相関領域と判定された前記第１参照領域と前記第２参照領域に対応する前記補間領域を動きベクトル検出領域とし、前記動きベクトル検出領域に、前記動き推定ステップにおいて求めた動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、
前記相関判定ステップにおいて、前記低相関領域と判定された前記第１参照領域と前記第２参照領域に対応する前記補間領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に付与する動きベクトル未検出領域動きベクトル付与ステップと、
前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル付与ステップにおいて付与された動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
を有することを特徴とする補間フレーム生成プログラム。
【請求項４０】
第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成処理をコンピュータに実行させる補間フレーム生成プログラムであって、
前記第１参照フレームを複数の画素により構成される複数の第１参照領域に分割する領域作成ステップと、
前記第２参照フレームにおいて、前記第１参照領域とサイズおよび形状が同一であって、かつ最も相関が高い第２参照領域を特定し、特定した前記第２参照領域と第１参照領域の動きベクトルを求める動き推定ステップと、
前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、
前記相関判定ステップにおいて、前記高相関領域と判定された前記第１参照領域を動きベクトル検出領域とし、前記動きベクトル検出領域に、前記動き推定ステップにより求めた動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、
前記相関判定ステップにおいて、前記低相関領域と判定された前記第１参照領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に付与する動きベクトル未検出領域動きベクトル付与ステップと、
前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
を有することを特徴とする補間フレーム生成プログラム。
【請求項４１】
第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成装置であって、
前記補間フレームを複数の画素により構成される複数の補間領域に分割する補間領域作成手段と、
前記第１参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の第１参照領域と、前記第２参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の領域であって、かつ前記補間領域を基準として前記第１参照領域に対応する位置に配置された領域である第２参照領域との複数の組み合わせの中から、前記第１参照領域と前記第２参照領域の間の相関が最も高い組み合わせを特定し、特定した組み合わせに含まれる前記第１参照領域と前記第２参照領域から動きベクトルを求める動き推定手段と、
前記動き推定手段により特定された前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定手段と、
前記相関判定手段によって前記高相関領域と判定された場合に、前記第１参照領域および第２参照領域に対応する前記補間領域を動きベクトル検出領域とし、当該動きベクトル検出領域に、前記動き推定ステップにおいて求めた前記動きベクトルを付与する動きベクトル検出領域動きベクトル付与手段と、
前記相関判定手段により前記低相関領域と判定された場合に、前記第１参照領域および前記第２参照領域に対応する前記補間領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域と、前記第１参照フレーム中の領域であってかつ前記相関判定手段により低相関領域と判定された領域と、前記補間フレームを基準とし前記第１参照フレームと時間的に同一方向にある第３参照フレームと、前記第２参照フレーム中の領域であってかつ前記相関判定手段により低相関領域と判定された領域と、前記補間フレームを基準とし前記第２参照フレームと時間的に同一方向にある第４参照フレームとを用いた動き推定により、前記動きベクトル未検出領域に付与すべき動きベクトルを決定する動きベクトル未検出領域動きベクトル決定手段と、
前記動きベクトル検出領域動きベクトル付与手段により付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル決定手段により決定された前記動きベクトルに基づいて、前記補間フレームを生成する動き補償手段と
を備えたことを特徴とする補間フレーム生成装置。
【請求項４２】
第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成装置であって、
前記第１参照フレームを複数の画素により構成される複数の第１参照領域に分割する領域作成手段と、
前記第２参照フレームにおいて、前記第１参照領域とサイズおよび形状が同一であって、かつ最も相関が高い第２参照領域を特定し、特定した前記第２参照領域と前記第１参照領域の動きベクトルを求める動き推定手段と、
前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定手段と、
前記相関判定手段により前記高相関領域と判定された場合に、当該第１参照領域を動きベクトル検出領域とし、当該動きベクトル検出領域に、前記動き推定手段により求められた前記動きベクトルを付与する動きベクトル検出領域動きベクトル付与手段と、
前記相関判定ステップ手段により前記低相関領域と判定された場合に、当該第１参照領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域と、前記第１参照フレームを基準とし前記第２参照フレームと時間的に反対方向にある第３参照フレームとを用いた動き推定により、前記動きベクトル未検出領域の動きベクトルを決定する動きベクトル未検出領域動きベクトル決定手段と、
前記動きベクトル検出領域動きベクトル付与手段により付与された前記動きベクトルと前記動きベクトル未検出領域動きベクトル決定手段により決定された前記動きベクトルとに基づいて、前記補間フレームを生成する動き補償手段と
を備えたことを特徴とする補間フレーム生成装置。
【請求項４３】
第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成装置であって、
前記補間フレームを複数の画素により構成される複数の補間領域に分割する領域作成手段と、
前記第１参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の第１参照領域と、前記第２参照フレーム中の領域であって前記補間フレームとサイズおよび形状が同一の領域であって、かつ前記補間領域を基準として前記第１参照領域に対応する位置に配置された領域である第２参照領域との組み合わせの中から、前記補間領域を支点とし、前記第１参照領域と前記第２参照領域の間の相関が最も高い組み合わせを特定し、特定した組み合わせに含まれる前記第１参照領域および第２参照領域から動きベクトルを求める動き推定手段と、
前記動き推定手段により特定された前記第１参照領域と前記第２対象領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定手段と、
前記相関判定手段により前記高相関領域と判定された前記第１参照領域と前記第２参照領域に対応する前記補間領域を動きベクトル検出領域とし、前記動きベクトル検出領域に、前記動き推定手段により求められた動きベクトルを付与する動きベクトル検出領域動きベクトル付与手段と、
前記相関判定手段により前記低相関領域と判定された前記第１参照領域と前記第２参照領域に対応する前記補間領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に付与する動きベクトル未検出領域動きベクトル付与手段と、
前記動きベクトル検出領域動きベクトル付与手段により付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル付与手段により付与された動きベクトルに基づいて、前記補間フレームを生成する動き補償手段と
を備えたことを特徴とする補間フレーム生成装置。
【請求項４４】
第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成装置であって、
前記第１参照フレームを複数の画素により構成される複数の第１参照領域に分割する領域作成手段と、
前記第２参照フレームにおいて、前記第１参照領域とサイズおよび形状が同一であって、かつ最も相関が高い第２参照領域を特定し、特定した前記第２参照領域と第１参照領域の動きベクトルを求める動き推定手段と、
前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定手段と、
前記相関判定手段により前記高相関領域と判定された前記第１参照領域を動きベクトル検出領域とし、前記動きベクトル検出領域に、前記動き推定手段により求められた動きベクトルを付与する動きベクトル検出領域動きベクトル付与手段と、
前記相関判定手段により前記低相関領域と判定された前記第１参照領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に付与する動きベクトル未検出領域動きベクトル付与手段と、
前記動きベクトル検出領域動きベクトル付与手段により付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル付与手段により付与された前記動きベクトルに基づいて、前記補間フレームを生成する動き補償手段と
を備えたことを特徴とする補間フレーム生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１のフレームと第２のフレームとの間を補間する補間フレームを生成する補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラムに関するものである。
【背景技術】
【０００２】
一般に、画像表示装置としては画像の書き込み後、蛍光体の残光時間のみ発光し続けるインパルス型表示装置（例えばＣＲＴやフィールドエミッション型表示装置（ＦＥＤ）と、新たに画像の書き込みが行われるまで前フレームの表示を保持し続けるホールド型表示装置（例えば液晶表示装置（ＬＣＤ）、エレクトロルミネッセンスディスプレイ（ＥＬＤ）など）の２種類がある。
【０００３】
ホールド型表示装置の問題点の一つは、動画表示に生じるボケ現象である。ボケ現象の発生は、複数フレームにわたる画像中に動体が存在し、その動体の動きに観察者の眼が追随した場合、複数フレームの画像が重なって網膜上に映し出されることに起因する。
【０００４】
表示画像が前フレームから次のフレームへ切り換わる期間までは、同じ前フレームの画像が表示され続けられているにもかかわらず、眼は次フレームの画像の表示を予測して、前フレーム画像上を動体の移動方向に移動しながら観察してしまう。すなわち、眼の追随運動は連続性があり、フレーム間隔より細かいサンプリングを行うため、結果として隣接する二つのフレームの間の画像を埋めるように視認することで、ボケとして観察される。
【０００５】
この問題を解決するためには、表示のフレーム間隔を短くすればよい。これにより、表示フレーム数の少ない動画における不自然な動きを改善することもできる。その具体的な手法として、ＭＰＥＧ２（Motion Picture Experts Group phase 2）で用いられている動き補償を利用して補間画像を作成し、隣接するフレーム間で補間を行うことが考えられる。
【０００６】
動き補償では、ブロックマッチングによって検出される動きベクトルが用いられる。しかし、ＭＰＥＧ２ではブロック単位で画像を作成するため、ブロック内に動きの異なる複数のオブジェクトが含まれている場合、相関のある部分と相関のない部分が発生し、相関のない部分によりブロック歪が生じる。
【０００７】
こうした問題を解決するフレーム補間方法が開示されている（例えば、「特許文献１」参照）。１ブロック内を複数の領域に分割し、それぞれの領域に対して動きベクトルを求める。これにより、ブロック内の動きの異なるオブジェクトが含まれている場合のブロック歪を低減することができる。また、閾値によるブロック内での領域分割に適した動きベクトル検出方法を用いるとともに、領域分割後の画素ブロックに対しても適した動きベクトル検出方法を用いることで、領域毎に最適な動きベクトルを検出することができる。
【０００８】
【特許文献１】特開２０００−２２４５９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記の方法により、ブロック歪による画質劣化は低減できる。しかし、上記の方法においても、陰面(オクルージョン)領域においては、正しい動きベクトルを求めることができない。
【００１０】
本発明は、上記に鑑みてなされたものであって、正しい動きベクトルを検出し、精度よく補間画像を生成することのできる補間フレーム生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するために、本発明は、第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成方法であって、前記補間フレームを複数の画素により構成される複数の補間領域に分割する補間領域作成ステップと、前記第１参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の第１参照領域と、前記第２参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の領域であって、かつ前記補間領域を基準として前記第１参照領域に対応する位置に配置された領域である第２参照領域との複数の組み合わせの中から、前記第１参照領域と前記第２参照領域の間の相関が最も高い組み合わせを特定し、特定した組み合わせに含まれる前記第１参照領域と前記第２参照領域から動きベクトルを求める動き推定ステップと、前記動き推定ステップにおいて特定された前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、前記相関判定ステップにおいて前記高相関領域と判定された場合に、前記第１参照領域および第２参照領域に対応する前記補間領域を動きベクトル検出領域とし、当該動きベクトル検出領域に、前記動き推定ステップにおいて求めた前記動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、前記相関判定ステップにおいて前記低相関領域と判定された場合に、前記第１参照領域および前記第２参照領域に対応する前記補間領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域と、前記第１参照フレーム中の領域であってかつ前記相関判定ステップにおいて低相関領域と判定された領域と、前記補間フレームを基準とし前記第１参照フレームと時間的に同一方向にある第３参照フレームと、前記第２参照フレーム中の領域であってかつ前記相関判定ステップにおいて低相関領域と判定された領域と、前記補間フレームを基準とし前記第２参照フレームと時間的に同一方向にある第４参照フレームとを用いた動き推定により、前記動きベクトル未検出領域に付与すべき動きベクトルを決定する動きベクトル未検出領域動きベクトル決定ステップと、前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル決定ステップにおいて決定された前記動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップとを有することを特徴とする。
【００１２】
また、本発明の他の形態は、第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成方法であって、前記第１参照フレームを複数の画素により構成される複数の第１参照領域に分割する領域作成ステップと、前記第２参照フレームにおいて、前記第１参照領域とサイズおよび形状が同一であって、かつ最も相関が高い第２参照領域を特定し、特定した前記第２参照領域と前記第１参照領域の動きベクトルを求める動き推定ステップと、前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、前記相関判定ステップにおいて、前記高相関領域と判定された場合に、当該第１参照領域を動きベクトル検出領域とし、当該動きベクトル検出領域に、前記動き推定ステップにより求めた前記動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、前記相関判定ステップにおいて、前記低相関領域と判定された場合に、当該第１参照領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域と、前記第１参照フレームを基準とし前記第２参照フレームと時間的に反対方向にある第３参照フレームとを用いた動き推定により、前記動きベクトル未検出領域の動きベクトルを決定する動きベクトル未検出領域動きベクトル決定ステップと、前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルと前記動きベクトル未検出領域動きベクトル決定ステップにおいて決定された前記動きベクトルとに基づいて、前記補間フレームを生成する動き補償ステップとを有することを特徴とする。
【００１３】
また、本発明の他の形態は、第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成方法であって、前記補間フレームを複数の画素により構成される複数の補間領域に分割する領域作成ステップと、前記第１参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の第１参照領域と、前記第２参照フレーム中の領域であって前記補間フレームとサイズおよび形状が同一の領域であって、かつ前記補間領域を基準として前記第１参照領域に対応する位置に配置された領域である第２参照領域との組み合わせの中から、前記補間領域を支点とし、前記第１参照領域と前記第２参照領域の間の相関が最も高い組み合わせを特定し、特定した組み合わせに含まれる前記第１参照領域および第２参照領域から動きベクトルを求める動き推定ステップと、前記動き推定ステップにおいて特定された前記第１参照領域と前記第２対象領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、前記相関判定ステップにおいて、前記高相関領域と判定された前記第１参照領域と前記第２参照領域に対応する前記補間領域を動きベクトル検出領域とし、前記動きベクトル検出領域に、前記動き推定ステップにおいて求めた動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、前記相関判定ステップにおいて、前記低相関領域と判定された前記第１参照領域と前記第２参照領域に対応する前記補間領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に付与する動きベクトル未検出領域動きベクトル付与ステップと、前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル付与ステップにおいて付与された動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップとを有することを特徴とする。
【００１４】
また、本発明の他の形態は、第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成方法であって、前記第１参照フレームを複数の画素により構成される複数の第１参照領域に分割する領域作成ステップと、前記第２参照フレームにおいて、前記第１参照領域とサイズおよび形状が同一であって、かつ最も相関が高い第２参照領域を特定し、特定した前記第２参照領域と第１参照領域の動きベクトルを求める動き推定ステップと、前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、前記相関判定ステップにおいて、前記高相関領域と判定された前記第１参照領域を動きベクトル検出領域とし、前記動きベクトル検出領域に、前記動き推定ステップにより求めた動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、前記相関判定ステップにおいて、前記低相関領域と判定された前記第１参照領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に付与する動きベクトル未検出領域動きベクトル付与ステップと、前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップとを有することを特徴とする。
【００１５】
また、本発明の他の形態は、第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成処理をコンピュータに実行させる補間フレーム生成プログラムであって、前記補間フレームを複数の画素により構成される複数の補間領域に分割する補間領域作成ステップと、前記第１参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の第１参照領域と、前記第２参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の領域であって、かつ前記補間領域を基準として前記第１参照領域に対応する位置に配置された領域である第２参照領域との複数の組み合わせの中から、前記第１参照領域と前記第２参照領域の間の相関が最も高い組み合わせを特定し、特定した組み合わせに含まれる前記第１参照領域と前記第２参照領域から動きベクトルを求める動き推定ステップと、前記動き推定ステップにおいて特定された前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、前記相関判定ステップにおいて前記高相関領域と判定された場合に、前記第１参照領域および第２参照領域に対応する前記補間領域を動きベクトル検出領域とし、当該動きベクトル検出領域に、前記動き推定ステップにおいて求めた前記動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、前記相関判定ステップにおいて前記低相関領域と判定された場合に、前記第１参照領域および前記第２参照領域に対応する前記補間領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域と、前記第１参照フレーム中の領域であってかつ前記相関判定ステップにおいて低相関領域と判定された領域と、前記補間フレームを基準とし前記第１参照フレームと時間的に同一方向にある第３参照フレームと、前記第２参照フレーム中の領域であってかつ前記相関判定ステップにおいて低相関領域と判定された領域と、前記補間フレームを基準とし前記第２参照フレームと時間的に同一方向にある第４参照フレームとを用いた動き推定により、前記動きベクトル未検出領域に付与すべき動きベクトルを決定する動きベクトル未検出領域動きベクトル決定ステップと、前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル決定ステップにおいて決定された前記動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップとを有することを特徴とする。
【００１６】
また、本発明の他の形態は、第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成処理をコンピュータに実行させる補間フレーム生成プログラムであって、前記第１参照フレームを複数の画素により構成される複数の第１参照領域に分割する領域作成ステップと、前記第２参照フレームにおいて、前記第１参照領域とサイズおよび形状が同一であって、かつ最も相関が高い第２参照領域を特定し、特定した前記第２参照領域と前記第１参照領域の動きベクトルを求める動き推定ステップと、前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、前記相関判定ステップにおいて、前記高相関領域と判定された場合に、当該第１参照領域を動きベクトル検出領域とし、当該動きベクトル検出領域に、前記動き推定ステップにより求めた前記動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、前記相関判定ステップにおいて、前記低相関領域と判定された場合に、当該第１参照領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域と、前記第１参照フレームを基準とし前記第２参照フレームと時間的に反対方向にある第３参照フレームとを用いた動き推定により、前記動きベクトル未検出領域の動きベクトルを決定する動きベクトル未検出領域動きベクトル決定ステップと、前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルと前記動きベクトル未検出領域動きベクトル決定ステップにおいて決定された前記動きベクトルとに基づいて、前記補間フレームを生成する動き補償ステップとを有することを特徴とする。
【００１７】
また、本発明の他の形態は、第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成処理をコンピュータに実行させる補間フレーム生成プログラムであって、前記補間フレームを複数の画素により構成される複数の補間領域に分割する領域作成ステップと、前記第１参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の第１参照領域と、前記第２参照フレーム中の領域であって前記補間フレームとサイズおよび形状が同一の領域であって、かつ前記補間領域を基準として前記第１参照領域に対応する位置に配置された領域である第２参照領域との組み合わせの中から、前記補間領域を支点とし、前記第１参照領域と前記第２参照領域の間の相関が最も高い組み合わせを特定し、特定した組み合わせに含まれる前記第１参照領域および第２参照領域から動きベクトルを求める動き推定ステップと、前記動き推定ステップにおいて特定された前記第１参照領域と前記第２対象領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、前記相関判定ステップにおいて、前記高相関領域と判定された前記第１参照領域と前記第２参照領域に対応する前記補間領域を動きベクトル検出領域とし、前記動きベクトル検出領域に、前記動き推定ステップにおいて求めた動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、前記相関判定ステップにおいて、前記低相関領域と判定された前記第１参照領域と前記第２参照領域に対応する前記補間領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に付与する動きベクトル未検出領域動きベクトル付与ステップと、前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル付与ステップにおいて付与された動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップとを有することを特徴とする。
【００１８】
また、本発明の他の形態は、第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成処理をコンピュータに実行させる補間フレーム生成プログラムであって、前記第１参照フレームを複数の画素により構成される複数の第１参照領域に分割する領域作成ステップと、前記第２参照フレームにおいて、前記第１参照領域とサイズおよび形状が同一であって、かつ最も相関が高い第２参照領域を特定し、特定した前記第２参照領域と第１参照領域の動きベクトルを求める動き推定ステップと、前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定ステップと、前記相関判定ステップにおいて、前記高相関領域と判定された前記第１参照領域を動きベクトル検出領域とし、前記動きベクトル検出領域に、前記動き推定ステップにより求めた動きベクトルを付与する動きベクトル検出領域動きベクトル付与ステップと、前記相関判定ステップにおいて、前記低相関領域と判定された前記第１参照領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に付与する動きベクトル未検出領域動きベクトル付与ステップと、前記動きベクトル検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル付与ステップにおいて付与された前記動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップとを有することを特徴とする。
【００１９】
また、本発明の他の形態は、第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成装置であって、前記補間フレームを複数の画素により構成される複数の補間領域に分割する補間領域作成手段と、前記第１参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の第１参照領域と、前記第２参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の領域であって、かつ前記補間領域を基準として前記第１参照領域に対応する位置に配置された領域である第２参照領域との複数の組み合わせの中から、前記第１参照領域と前記第２参照領域の間の相関が最も高い組み合わせを特定し、特定した組み合わせに含まれる前記第１参照領域と前記第２参照領域から動きベクトルを求める動き推定手段と、前記動き推定手段により特定された前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定手段と、前記相関判定手段によって前記高相関領域と判定された場合に、前記第１参照領域および第２参照領域に対応する前記補間領域を動きベクトル検出領域とし、当該動きベクトル検出領域に、前記動き推定ステップにおいて求めた前記動きベクトルを付与する動きベクトル検出領域動きベクトル付与手段と、前記相関判定手段により前記低相関領域と判定された場合に、前記第１参照領域および前記第２参照領域に対応する前記補間領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域と、前記第１参照フレーム中の領域であってかつ前記相関判定手段により低相関領域と判定された領域と、前記補間フレームを基準とし前記第１参照フレームと時間的に同一方向にある第３参照フレームと、前記第２参照フレーム中の領域であってかつ前記相関判定手段により低相関領域と判定された領域と、前記補間フレームを基準とし前記第２参照フレームと時間的に同一方向にある第４参照フレームとを用いた動き推定により、前記動きベクトル未検出領域に付与すべき動きベクトルを決定する動きベクトル未検出領域動きベクトル決定手段と、前記動きベクトル検出領域動きベクトル付与手段により付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル決定手段により決定された前記動きベクトルに基づいて、前記補間フレームを生成する動き補償手段とを備えたことを特徴とする。
【００２０】
また、本発明の他の形態は、第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成装置であって、前記第１参照フレームを複数の画素により構成される複数の第１参照領域に分割する領域作成手段と、前記第２参照フレームにおいて、前記第１参照領域とサイズおよび形状が同一であって、かつ最も相関が高い第２参照領域を特定し、特定した前記第２参照領域と前記第１参照領域の動きベクトルを求める動き推定手段と、前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定手段と、前記相関判定手段により前記高相関領域と判定された場合に、当該第１参照領域を動きベクトル検出領域とし、当該動きベクトル検出領域に、前記動き推定手段により求められた前記動きベクトルを付与する動きベクトル検出領域動きベクトル付与手段と、前記相関判定ステップ手段により前記低相関領域と判定された場合に、当該第１参照領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域と、前記第１参照フレームを基準とし前記第２参照フレームと時間的に反対方向にある第３参照フレームとを用いた動き推定により、前記動きベクトル未検出領域の動きベクトルを決定する動きベクトル未検出領域動きベクトル決定手段と、前記動きベクトル検出領域動きベクトル付与手段により付与された前記動きベクトルと前記動きベクトル未検出領域動きベクトル決定手段により決定された前記動きベクトルとに基づいて、前記補間フレームを生成する動き補償手段とを備えたことを特徴とする。
【００２１】
また、本発明の他の形態は、第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成装置であって、前記補間フレームを複数の画素により構成される複数の補間領域に分割する領域作成手段と、前記第１参照フレーム中の領域であって前記補間領域とサイズおよび形状が同一の第１参照領域と、前記第２参照フレーム中の領域であって前記補間フレームとサイズおよび形状が同一の領域であって、かつ前記補間領域を基準として前記第１参照領域に対応する位置に配置された領域である第２参照領域との組み合わせの中から、前記補間領域を支点とし、前記第１参照領域と前記第２参照領域の間の相関が最も高い組み合わせを特定し、特定した組み合わせに含まれる前記第１参照領域および第２参照領域から動きベクトルを求める動き推定手段と、前記動き推定手段により特定された前記第１参照領域と前記第２対象領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定手段と、前記相関判定手段により前記高相関領域と判定された前記第１参照領域と前記第２参照領域に対応する前記補間領域を動きベクトル検出領域とし、前記動きベクトル検出領域に、前記動き推定手段により求められた動きベクトルを付与する動きベクトル検出領域動きベクトル付与手段と、前記相関判定手段により前記低相関領域と判定された前記第１参照領域と前記第２参照領域に対応する前記補間領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に付与する動きベクトル未検出領域動きベクトル付与手段と、前記動きベクトル検出領域動きベクトル付与手段により付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル付与手段により付与された動きベクトルに基づいて、前記補間フレームを生成する動き補償手段とを備えたことを特徴とする。
【００２２】
また、本発明の他の形態は、第１参照フレームと第２参照フレームとの間の補間フレームを生成する補間フレーム生成装置であって、前記第１参照フレームを複数の画素により構成される複数の第１参照領域に分割する領域作成手段と、前記第２参照フレームにおいて、前記第１参照領域とサイズおよび形状が同一であって、かつ最も相関が高い第２参照領域を特定し、特定した前記第２参照領域と第１参照領域の動きベクトルを求める動き推定手段と、前記第１参照領域と前記第２参照領域が、相関が高い高相関領域か、相関の低い低相関領域かを判定する相関判定手段と、前記相関判定手段により前記高相関領域と判定された前記第１参照領域を動きベクトル検出領域とし、前記動きベクトル検出領域に、前記動き推定手段により求められた動きベクトルを付与する動きベクトル検出領域動きベクトル付与手段と、前記相関判定手段により前記低相関領域と判定された前記第１参照領域を動きベクトル未検出領域とし、当該動きベクトル未検出領域の周辺に配置された前記動きベクトル検出領域に付与された前記動きベクトルを前記動きベクトル未検出領域に付与する動きベクトル未検出領域動きベクトル付与手段と、前記動きベクトル検出領域動きベクトル付与手段により付与された前記動きベクトルおよび前記動きベクトル未検出領域動きベクトル付与手段により付与された前記動きベクトルに基づいて、前記補間フレームを生成する動き補償手段とを備えたことを特徴とする。
【発明の効果】
【００２３】
本発明によれば、陰面領域を含む２つのフレーム間の補間フレームを精度よく求めることが可能になる。
【発明を実施するための最良の形態】
【００２４】
以下に、本発明にかかる補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００２５】
（実施の形態１）
図１は、本発明にかかる補間画像作成装置１００（補間フレーム生成装置）の全体構成を示すブロック図である。補間画像作成装置１００は、ブロック作成部１０２と、フレームメモリ１０６と、相関ブロック抽出部１０８と、部分領域特定部１２０と、高相関部分領域動きベクトル算出部１２４と、低相関部分領域動きベクトル算出部１２８と、動き補償部１３０とを備えている。
【００２６】
本実施の形態にかかる補間画像作成装置１００は、入力画像に含まれる複数のフレーム間を補間する補間フレームを作成する。図２は、補間フレームを説明するための図である。図２は、入力画像に含まれる連続する３つのフレーム、すなわち第１フレーム２１０と、第２フレーム２２０と、第３フレーム２３０とを示している。本実施の形態について、第１フレーム２１０と第２フレーム２２０との間を補間する補間フレーム３００を作成する場合を例に説明する。
【００２７】
なお、本実施の形態においては、補間画像作成装置１００が、連続する２つのフレーム、第１フレーム２１０および第２フレーム２２０の間の補間フレームを作成する場合について説明するが、補間画像作成装置１００が作成する補間フレームは、異なる２つのフレームの間を補間するフレームであればよく、本実施の形態に限定されるものではない。
【００２８】
図１に示す補間画像作成装置１００のブロック作成部１０２は、外部から入力動画を取得する。そして、取得した入力動画像中の基準フレームを格子状に配置された複数のブロックに分割する。なお、ここで基準フレームとは、ブロックベースのマッチングを行う際にブロックを設定するフレームである。例えば、第１フレーム２１０または第２フレーム２２０を基準フレームとする。
【００２９】
図３は、ブロック作成部１０２の処理を説明するための図である。図３に示すように、ブロック作成部１０２は第２フレーム２２０を分割し、第２ブロックを作成する。すなわち、第２ブロックとは、第２フレーム２２０に含まれるブロックである。図３に示すように、ブロック作成部１０２は、第２フレーム２２０を格子状の９つの第２ブロック２２１〜２２９に分割する。ここで、第２フレーム２２０は、基準フレームである。
【００３０】
フレームメモリ１０６は、外部から入力動画を取得し、保持する。相関ブロック抽出部１０８は、ブロック作成部１０２から複数のブロックに分割された第２フレーム２２０を取得する。さらに、フレームメモリ１０６から第１フレーム２１０を取得する。そして、第２フレーム２２０の各第２ブロックに対し、最も相関の高いブロックを第１フレーム２１０から抽出する。以下、第１フレーム２１０から抽出したブロックであって、第２フレーム２２０の所定の第２ブロックと最も相関の高いブロックを第１ブロックと称する。
【００３１】
部分領域特定部１２０は、第２ブロック中において高相関部分領域（動きベクトル検出領域）と低相関部分領域（動きベクトル未検出領域）とを特定する。ここで、高相関部分領域とは、第１フレーム２１０中の所定の領域と相関の高い領域である。また、低相関部分領域とは第１フレーム２１０中の所定の領域と相関の低い領域である。
【００３２】
例えば相関値を差分値とした場合、低相関ブロックに含まれる画素の値と第１フレーム２１０中の画素の値との間の差分値が予め定めた閾値以上となる領域が低相関部分領域となる。一方、差分値が閾値よりも小さい領域が高相関部分領域となる。相関値としては、輝度情報の絶対差分値、色差情報の絶対差分値、絶対差分値の総和または相関の高い画素の数により定まる値を利用するのが好ましい。
【００３３】
高相関部分領域動きベクトル算出部１２４は、部分領域特定部１２０が特定した高相関部分領域に対して高相関部分領域動きベクトルを算出する。ここで、高相関部分領域動きベクトルとは、高相関部分領域と、当該高相関部分領域に対応する第１フレーム２１０中の領域との間の動きベクトルである。
【００３４】
低相関部分領域動きベクトル算出部１２８は、部分領域特定部１２０が特定した低相関部分領域に対して低相関部分領域動きベクトルを算出する。ここで、低相関部分領域動きベクトルとは、低相関部分領域と、当該低相関部分領域に対応する第３フレーム２３０中の領域との間の動きベクトルである。
【００３５】
動き補償部１３０は、部分領域特定部１２０が特定した高相関部分領域および当該高相関部分領域に対応する第１フレーム２１０中の領域を取得する。さらに、高相関部分領域動きベクトル算出部１２４から高相関部分領域動きベクトルを取得する。そして、高相関部分領域と、当該高相関部分領域に対応する第１フレーム２１０中の領域と、高相関部分領域動きベクトルとに基づいて、補間フレームにおける所定の領域の画像を作成する。なお、このとき動きベクトルをスケール変換することにより、所定の位置の補間フレームを生成する。
【００３６】
動き補償部１３０はまた、部分領域特定部１２０が特定した低相関部分領域および当該部分領域に対応する第３フレーム２３０中の領域を取得する。さらに、低相関部分領域動きベクトル算出部１２８から、低相関部分領域動きベクトルを取得する。そして、低相関部分領域と、対応する第３フレーム２３０中の領域と、低相関部分領域動きベクトルとに基づいて、補間フレームにおける所定の領域の画像を作成する。
【００３７】
なお、以上の処理により補間フレーム３００中の所定の領域にいずれの画像も作成されない場合には、当該領域に隣接する画像と第１フレーム２１０または第２フレーム２２０等に含まれる画像とこれらのフレームとの間の動きベクトルとに基づいて、重み付き平均値またはメディアン処理によって当該領域の画像を作成してもよい。
【００３８】
具体的には、画像の作成されていない領域に付与された動きベクトルの平均値またはメディアン値を利用して、この領域に対する画像を作成する。
【００３９】
図４は、補間画像作成装置１００による補間画像作成処理を示すフローチャートである。まず、補間画像作成装置１００は、入力画像を取得する。既に第１フレーム２１０を取得し、フレームメモリ１０６は第１フレーム２１０を保持しているものとする。そして、ブロック作成部１０２は、第１フレーム２１０に続く第１フレーム２２０を取得する（ステップＳ１００）。次に、第１フレーム２２０を分割し、複数の第２ブロック２２１〜２２９を得る(ステップＳ１０２)。
【００４０】
次に、相関ブロック抽出部１０８は、第２ブロックに対し、最も相関の高いブロック、すなわち第１ブロックを第１フレーム２１０から抽出する（ステップＳ１０４）。ここで、第１ブロックと第２ブロックは、大きさおよび形状が同一である。
【００４１】
相関ブロック抽出部１０８は、具体的には、第２ブロックに含まれる各画素の値と、第１フレーム２１０中の所定のブロックの画素の値との差分値を算出する。そして、差分値の総和が最も小さくなるブロックを第１ブロックとして抽出する。
【００４２】
また他の例としては、第２ブロックに含まれる各画素の値と第1フレーム２１０中の所定のブロックの画素の値の差分値が予め定めた閾値以下となる差分値の数をカウントする。そして、カウント数が最も大きくなるブロックを第１ブロックとしてもよい。
【００４３】
次に、部分領域特定部１２０は、第１ブロック２１０において高相関部分領域と低相関部分領域とを特定する（ステップＳ２００）。高相関部分領域とは、第１ブロックのうち閾値以上の相関値を示す画素を含む領域である。また、低相関部分領域とは、第１ブロックのうち閾値よりも小さい相関値を示す画素を含む領域である。
【００４４】
ここで、図５から図９を参照しつつ高相関部分領域および低相関部分領域について説明する。なお、ここでは第２ブロック内が高相関部分領域と低相関部分領域に分割できる場合について説明するが第２ブロック内全てが高相関部分領域である場合もある。図５は、第１フレーム２１０および第２フレーム２２０に含まれる画像を示している。図５に示す第１フレーム２１０は、背景領域４３０と、背景領域４３０上をフレームの横方向に移動する長方形の動体オブジェクト４３２とを含んでいる。なお、背景領域４３０は、静止画像である。第２フレーム２２０は、第１フレーム２１０と同様に、背景領域４３０と、動体オブジェクト４３２とを含んでいる。第２フレーム２２０においては、動体オブジェクト４３２は、第１フレーム２１０中の動体オブジェクト４３２の位置よりも右側に移動している。
【００４５】
図６に示すように、例えば第２フレーム２２０中の第２ブロック２２５と最も相関の高い領域は第１フレーム２１０中の領域２１１である。ただし、このうち画像が一致するのはともに背景領域４３０の領域のみである。したがって、この領域が高相関部分領域である。これ以外の領域は低相関部分領域である。すなわち、図７に示すように第２ブロック２２５は、高相関部分領域２２５１と低相関部分領域２２５２とに分割される。
【００４６】
また、図８に示すように、第２フレーム２２０中の第２ブロック２２６と最も相関の高い領域は第１フレーム２１０中の領域２１２である。ただし、このうち画像が一致するのはともに動体オブジェクト４３２の領域のみである。したがって、この領域が高相関部分領域である。これ以外の領域は低相関部分領域である。すなわち、図９に示すように第２ブロック２２６は、高相関部分領域２２６１と低相関部分領域２２６２とに分割される。
【００４７】
ここで説明を図４に戻す。対象とする部分領域が高相関部分領域である場合には（ステップＳ２０２，Ｙｅｓ）、高相関部分領域動きベクトル算出部１２４は、高相関部分領域と、当該高相関部分領域に対応する領域との間の高相関部分領域動きベクトルを算出する(ステップＳ２０４)。ここで、高相関部分領域に対応する領域とは、第１フレーム２１０中の領域であって、かつ高相関部分領域と同一の形状および同一の大きさの領域である。
【００４８】
図５から図９において説明した例においては、高相関部分領域２２５１に対する動きベクトルと高相関部分領域２２６１に対する動きベクトルとが算出される。
【００４９】
次に、動き補償部１３０は、部分領域特定部１２０によって得られた高相関部分領域と、この高相関部分領域に対応する第１フレーム２１０中の領域と、高相関部分領域動きベクトル算出部１２４によって算出された高相関部分領域動きベクトルとに基づいて、補間フレームにおける所定の領域の画像を作成する(ステップＳ２０６)。
【００５０】
図１０は、以上の処理により作成された補間フレーム３００を示している。このように、補間フレーム３００においては、動体オブジェクト４３２が、第１フレーム２１０中の動体オブジェクト４３２の位置と第２フレーム２２０中の動体オブジェクト４３２の位置の中間の位置に配置されている。ステップＳ２０４およびステップＳ２０６の処理では動体オブジェクト４３２の両側の領域３０１，３０２には画像は割り当てられていない。
【００５１】
対象とする部分領域が低相関部分領域である場合には（ステップＳ２０２，Ｎｏ）、低相関部分領域動きベクトル算出部１２８は、低相関部分領域に対応する対応領域を、他のフレームから抽出する（ステップＳ２２０）。本実施の形態においては、第３フレーム２３０から抽出する。次に、低相関部分領域動きベクトル算出部１２８は、低相関部分領域と、第３フレーム２３０から抽出した対応領域との間の低相関部分領域動きベクトルを算出する（ステップＳ２２２）。ここで、対応領域とは、低相関部分領域と同一の形状および同一の大きさの領域である。
【００５２】
図５から図９において説明した例においては、低相関部分領域２２５２に対する動きベクトルと低相関部分領域２２６２に対する動きベクトルとが算出される。
【００５３】
ここで、ステップＳ２２０における低相関部分領域動きベクトル算出部１２８の処理について詳述する。図１０を参照しつつ説明したように、補間フレーム３００の一部に、画像が割り当てられていない領域３０１，３０２が残されている。
【００５４】
この領域は、第１フレーム２１０および第２フレーム２２０とこれらの間の動きベクトルとによって定めることのできない領域、いわゆる隠面である。この領域の画像を作成するためには、低相関部分領域に対応する領域を抽出する必要がある。
【００５５】
第１フレーム２１０において、例えば低相関部分領域２２５２に示される背景画像４３０と同一の背景画像４３０が存在すべき領域には、動体オブジェクト４３２が重畳されている。したがって、第１フレーム２１０には低相関部分領域２２５２と同一の画像は存在しない。
【００５６】
しかし、動体オブジェクト４３２は連続して移動しているので、第１フレーム２１０以外のフレームにおいては、低相関部分領域２２５２に示される背景画像４３０と同一の背景画像４３０が含まれている。すなわち、第１フレーム２１０以外のフレームからであれば、同一の画像を抽出することができる。
【００５７】
そこで、本実施の形態にかかる補間画像作成装置１００は、第１フレーム２１０および第２フレーム２２０以外のフレームから低相関部分領域２２５２と同一（同一形状、同サイズ）の背景領域４３０を含む領域を抽出する。本実施の形態においては、第２フレーム２２０に続く第３フレーム２３０から低相関部分領域２２５２と同一の背景領域４３０の領域を抽出する。
【００５８】
なお、本実施の形態においては、第２フレーム２２０に続く第３フレーム２３０を検索の対象としたが、対象となるフレームは、第１フレーム２１０および第２フレーム２２０以外のフレームであればよく、第２フレーム２２０を基準として、第１フレーム２１０と時間的に反対方向にあるフレームであればよく、第３フレーム２３０に限定されるものではない。
【００５９】
次に、動き補償部１３０は、低相関部分領域動きベクトル算出部１２８によって算出された低相関部分領域動きベクトルと、低相関部分領域および対応する第３フレーム２３０の領域とに基づいて、補間フレーム３００の所定の領域に画像を割り当てる(ステップＳ２２４)。
【００６０】
２つのフレームの間の補間フレームを作成する場合に、当該２つのフレーム以外のフレームを参照することにより、補間フレームの隠面に対しても精度よく画像を割り当てることができる。
【００６１】
図１１は、実施の形態１にかかる補間画像作成装置１００のハードウェア構成を示す図である。補間画像作成装置１００は、ハードウェア構成として、補間画像作成装置１００における補間画像作成処理を実行する補間画像作成プログラムなどが格納されているＲＯＭ５２と、ＲＯＭ５２内のプログラムに従って補間画像作成装置１００の各部を制御するＣＰＵ５１と、補間画像作成装置１００の制御に必要な種々のデータを記憶するＲＡＭ５３と、ネットワークに接続して通信を行う通信I／Ｆ５７と、各部を接続するバス６２とを備えている。
【００６２】
先に述べた補間画像作成装置１００における補間フレーム生成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。
【００６３】
この場合には、補間フレーム生成プログラムは、補間画像作成装置１００において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
【００６４】
また、本実施の形態の補間フレーム生成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
【００６５】
以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。
【００６６】
そうした第１の変更例としては、本実施の形態においては、ブロック内を高相関部分領域と低相関部分領域とに分割し、各部分領域に対する動きベクトルを割り当てたが、これにかえて、ブロック単位で動きベクトルを割り当ててもよい。すなわち、各ブロックが高相関であるか低相関であるかを判定する。そして、高相関部分領域動きベクトル算出部１２４は、高相関と判定された高相関ブロック対する動きベクトルを算出する。低相関部分領域動きベクトル算出部１２８は、低相関と判定された低相関ブロックに対する動きベクトルを算出する。
【００６７】
また、第２の変更例としては、低相関部分領域をさらに高相関の領域と低相関の領域に分割し、高相関部分領域動きベクトル算出部１２４および低相関部分領域動きベクトル算出部１２８は、それぞれの領域に対する動きベクトルを算出してもよい。
【００６８】
さらに、低相関部分領域をさらに高相関の領域と低相関の領域に分割し、このとき得られた低相関の領域をさらに高相関の領域と低相関の領域に分割するというように、低相関の領域に対し、動き推定、相関判定、動きベクトル算出の処理を再帰的に行ってもよい。
【００６９】
（実施の形態２）
次に、実施の形態２にかかる補間画像作成装置１００について説明する。実施の形態２にかかる補間画像作成装置１００は補間フレーム３００上をブロック分割し、補間フレーム３００を基準とし、第１フレーム２１０および第２フレーム２２０から相関の高い領域をサーチすることにより補間フレーム３００を作成する。この点で実施の形態１にかかる補間画像作成装置１００と異なっている。
【００７０】
ブロック作成部１０２は、補間すべき補間フレーム３００を格子状に配置された複数の補間対象ブロックに分割し、複数の補間ブロックを得る。相関ブロック抽出部１０８は、第１フレーム２１０および第２フレーム２２０における領域であって、各補間対象ブロックを通る直線上の領域における相関演算を行う。これにより、最も相関の高い領域の対を抽出する。
【００７１】
図１２は、実施の形態２にかかる補間画像作成装置１００の補間画像作成処理を示すフローチャートである。第２フレーム２２０を取得した後、相関ブロック抽出部１０８は、補間フレーム３００を分割し、複数の補間ブロックを得る(ステップＳ３００)。次に、第１フレーム２１０および第２フレーム２２０それぞれから補間対象ブロックと同サイズ同形状の第１ブロックおよび第２ブロックを抽出する（ステップＳ３０２）。ここで、第１ブロックおよび第２ブロックは相関の高いブロックである。
【００７２】
図１３は、第１ブロックおよび第２ブロックを抽出する処理を説明するための図である。図１３に示すように、第１ブロックおよび第２ブロックから補間フレーム３００中の各補間ブロックを通る直線上の領域の対を第１ブロックおよび第２ブロックとして抽出する。すなわち、第１ブロックと、補間ブロックを基準として、第１ブロックに対応する位置に配置された第２ブロックとを抽出する。
【００７３】
なお、第１ブロックと第２ブロックとの対には、多数の候補がある。そこで、実施の形態１において説明した最も相関の高いブロックを決定する方法により、多数の候補の中から第１ブロック２１２と第２ブロック２２２のブロック対を選択する。
【００７４】
ステップＳ２００においては、ステップＳ３０２において得られたブロック対において、ブロックから高相関部分領域と低相関部分領域とを特定する。処理の対象となる領域が高相関部分領域である場合には（ステップＳ２０２，Ｙｅｓ）、ステップＳ２０４およびステップＳ２０６の処理を行う。
【００７５】
一方、処理の対象となる領域が低相関部分領域である場合には（ステップＳ２０２，Ｎｏ）、低相関部分領域動きベクトル算出部１２８は、低相関部分領域に対応する領域を他のフレームから抽出する（ステップＳ３１０）。本実施の形態においては、第０フレーム２００または第３フレーム２３０を利用して抽出する。ここで抽出する領域は、低相関部分領域と同一サイズ同一形状の領域である。
【００７６】
次に、低相関部分領域動きベクトル算出部１２８は、低相関部分領域と、第０フレーム２００または第３フレーム２３０から抽出した領域との間の動きベクトルを算出する（ステップＳ３１２）。次に、動き補償部１３０は、低相関部分領域動きベクトル算出部１２８によって算出された低相関部分領域動きベクトルと、低相関部分領域および対応する領域とに基づいて、補間フレーム３００の所定の領域に画像を割り当てる(ステップＳ３１４)。
【００７７】
図１４および図１５は、低相関部分領域に対する処理（ステップＳ３１０〜ステップＳ３１４）を説明するための図である。図１４に示すように，第０フレーム２００から第３フレーム２３０にかけて動体オブジェクト４３４がフレームの左から右に移動しているとする。この場合、図１５に示すように補間フレーム３００の補間ブロック３０１，３０２，３０３，３０４，３０６，３０７，３０８，３０９は、相関の高い領域である。この領域には、ステップＳ２０４，ステップＳ２０６の処理により背景画像４３０が割り当てられる。
【００７８】
図１６は、図１５に示す補間ブロック３０５を示している。補間対象ブロック３０５の中央部分の領域３０５１は、相関の高い領域である。この領域には、ステップＳ２０４，ステップＳ２０６の処理により動体オブジェクト４３４が割り当てられる。
【００７９】
補間ブロック３０５の両端の領域３０５２，３０５３は、低相関部分領域に対応する領域であり、隠面である。この領域には、ステップＳ３１０からステップＳ３１４の処理により、第０フレーム２００および第３フレーム２３０を利用して背景画像４３０が割り当てられる。
【００８０】
領域３０５２，３０５３に割り当てるべき画像は、第０フレーム２００または第３フレーム２３０に存在する。したがって、第０フレーム２００または第３フレーム２３０に存在する画像を割り当てればよい。第０フレーム２００の画像および第３フレーム２３０のいずれのフレームに存在する画像を割り当てるかを決定するための処理をさらに行う。
【００８１】
すなわち、第１フレーム２１０および第２フレーム２２０のうち高相関部分領域に対しマスクをかける。そして、マスクされていない領域、すなわち低相関部分領域とその外側のフレーム（第０フレーム２００または第３フレーム２３０）との相関を判定することにより領域３０５２，３０５３に割り当てる画像を特定する。
【００８２】
図１７は、領域３０５２に画像を割り当てる処理を説明するための図である。領域３０５２に対し割り当てるべき画像を特定する場合、領域３０５２を基準とし、第１フレーム２１０中の低相関部分領域２１０１と、第０フレーム２００中の所定の領域とのマッチングを行う。さらに、領域３０５２を基準とし、第２フレーム２２０中の低相関部分領域２２０１と、第３フレーム２３０中の所定の領域とのマッチングを行う。
【００８３】
第１フレーム２１０と第０フレーム２００とのマッチングにおいては、マスキングにより第１フレーム２１０の領域は低相関部分領域２１０１のみに制限されている。このため、第０フレーム２００のうち補間フレーム３００の領域３０５２を始点とし第１フレーム２１０の低相関部分領域２１０１を通る動きベクトルＭＶ１０により定まる領域２００１のみとのマッチングを行うことになる。このように、第１フレーム２１０にマスキングを行うことにより、マッチングの対象が第０フレーム２００のうち領域２００１に制限される。第１フレーム２１０の低相関部分領域２１０１と第０フレーム２００の領域２００１との相関は低い。
【００８４】
第２フレーム２２０と第３フレーム２３０とのマッチングにおいては、マスキングにより第２フレーム２２０の領域は低相関部分領域２２０１に制限されている。このため、第３フレーム２３０のうち補間フレーム３００の領域３０５２を始点とし第２フレーム２２０の低相関部分領域２２０１を通る動きベクトルＭＶ１２により定まる領域２３０１のみとのマッチングを行うことになる。このように、第２フレーム２２０にマスキングを行うことにより、マッチングの対象が第３フレーム２３０のうち領域２３０１に制限される。第２フレーム２２０の低相関部分領域２２０１のうち左側の領域２２０２と、第３フレーム２３０の領域２３０１のうち左側の領域２３０２とは同一の背景画像４３０の領域であり、相関が高い。
【００８５】
以上のように、第０フレーム２００および第３フレーム２３０のうち一方のフレームのみから相関の高い領域を検出することができる。そこで、この相関の高い領域を領域３０５２に割り当てる。
【００８６】
このように、第１フレーム２１０および第２フレーム２２０の低相関部分領域のみを対象としてより外側のフレームとのマッチングを行うことにより、隠面に適切な画像を割り当てることができる。
【００８７】
図１８は、領域３０５３に画像を割り当てる処理を説明するための図である。領域３０５３に対し割り当てるべき画像を特定する場合も、領域３０５２の場合と同様、領域３０５３を基準とし、第１フレーム２１０中の低相関部分領域２１０１と、第０フレーム２００中の領域とのマッチングを行う。さらに、領域３０５３を基準とし、第２フレーム２２０中の低相関部分領域２２０１と、第３フレーム２３０中の領域とのマッチングを行う。
【００８８】
第１フレーム２１０と第０フレーム２００とのマッチングにおいては、第０フレームのうち補間フレーム３００の領域３０５３を始点とし第１フレーム２１０の低相関部分領域２１０１を通る動きベクトルＭＶ２０により定まる領域２００５のみとのマッチングを行うことになる。
【００８９】
第１フレーム２１０の低相関部分領域２１０２と第３フレーム２３０の領域２３０１のうち左側の領域２３０２のうち右側の領域２１０２と、第０フレーム２００の領域２００５のうち左側の領域２００６とは同一の背景画像４３０の領域であり、相関が高い。
【００９０】
第２フレーム２２０と第３フレーム２３０とのマッチングにおいては、第３フレーム２３０のうち補間フレーム３００の領域３０５３を始点とし第２フレーム２２０の低相関部分領域２２０１を通る動きベクトルＭＶ２２により定まる領域２３０１のみとのマッチングを行うことになる。第２フレーム２２０の低相関部分領域２２０１と第３フレーム２３０の領域２３０１との相関は低い。以上より、相関の高い領域である第１フレーム２１０の領域２１０２と第０フレームの領域２００６を領域３０５３に割り当てる。
【００９１】
なお、他のフレームを参照しても画像が割り当てられていない領域に対する適当な動きベクトルを特定できない場合には、画像が割り当てられていない領域の周辺の領域に付与された動きベクトルの平均値またはメディアン値をこの領域の動きベクトルとすることにより、この領域に対する画像を生成してもよい。
【００９２】
また、実施の形態２にかかる補間画像作成装置１００においては、１つのブロック内に異なる２つの動きベクトルに対応する画像が存在する場合について説明したが、これに限定されるものではない。
【００９３】
例えば、１つのブロック内に３以上の異なる動きベクトルに対応する画像が存在する場合には、これに対応する数だけ動きベクトルを算出すればよい。また、これに対応する部分領域を抽出すればよい。これにより、複数の動きベクトルに対応する画像が存在する２つのフレームからも精度よく補間フレームを作成することができる。
【００９４】
また、１つの領域に複数の動きベクトルが付与されている場合がある。この場合には、付与されている複数の動きベクトルそれぞれにより特定される、参照フレーム中の画像の平均値を補間フレームに割り当てる。
【００９５】
また他の例としては、付与されている複数の動きベクトルにより特定される領域間の相関値により動きベクトルを選出してもよい。具体的には、付与されている動きベクトルにより特定される領域を、複数の参照フレームにおいて特定する。例えば２つの参照フレームにおいて特定する。そして、特定した複数の領域の間の相関値を求める。これを、付与されている動きベクトルそれぞれについて行う。そして、最も小さい相関値に対応する動きベクトルを選出する。選出した動きベクトルに基づいて領域に画像を割り当てる。
【００９６】
（実施の形態３）
図１９は、実施の形態３にかかる補間画像作成装置５００の全体構成を示すブロック図である。実施の形態３にかかる補間画像作成装置５００は、低相関領域、すなわち動きベクトル未検出領域の周辺の領域の動きベクトルに基づいて、動きベクトル未検出領域に動きベクトルを付与する。
【００９７】
補間画像装置５００は、フレームメモリ部５０２と領域作成部５０４と、動き推定部５０６と、相関判定部５０８と、動きベクトル検出領域処理部５１０と、動きベクトル未検出領域処理部５１２と、動き補償部５１４とを備えている。
【００９８】
図２０は、補間フレームを説明するための図である。図２０は、入力画像に含まれる連続する２つの参照フレーム、すなわち第１参照フレーム２１０と、第２参照フレーム２２０を示している。第１参照フレーム２１０と第２参照フレーム２２０との間を補間する補間フレーム３００を作成する場合について説明する。
【００９９】
なお、ここでは、連続する２つの参照フレーム、第１参照フレーム２１０および第２参照フレーム２２０の間の補間フレームを作成する場合について説明するが、補間画像作成装置が作成する補間フレームは、異なる２つの参照フレーム間を補間するフレームであればよく、本実施の形態に限定されるものではない。
【０１００】
領域作成部５０４は、フレームメモリ部５０２から第１参照フレーム２１０を抽出する。そして、この第１参照フレーム２１０を複数の画素により構成される参照領域に分割する。
【０１０１】
図２１は、参照領域を説明するための図である。本実施の形態においては、領域作成部５０４は、図２１に示すように、垂直画素数、水平画素数それぞれ５画素の正方形の領域で構成される領域に分割する。すなわち、第１参照フレーム２１０は、第１参照フレームは参照領域２１０２ａから参照領域２１０２ｐの１６個の参照領域に分割される。なお、参照領域の形状および大きさは本実施の形態に限定されるものではなく、実施の形態にかかる形状および大きさとは異なる形状および大きさであってもよい。
【０１０２】
動き推定部５０６は、第２参照フレーム２２０に基づいて、第１参照フレーム２１０中の複数の参照領域それぞれの動きベクトルを算出する。相関判定部５０８は、第２参照フレーム２２０中の所定の領域と第１参照フレーム２１０中の複数の参照領域それぞれとの相関を判定する。
【０１０３】
動きベクトル検出領域処理部５１０は、参照領域のうち相関判定部５０８において相関が高いと判定された領域、すなわち動きベクトル検出領域に対する処理を行う。動きベクトル未検出領域処理部５１２は、参照領域のうち相関判定部５０８において相関が低いと判定された領域、すなわち動きベクトル未検出領域に対する処理を行う。動き補償部５１４は、動きベクトル検出領域処理部５１０および５１２の処理に基づいて、補間画像作成装置５００の所定の領域の画像を作成する。
【０１０４】
図２２は、実施の形態３にかかる補間画像作成装置５００による高相関領域動きベクトル割り当て処理を示すフローチャートである。相関判定初期化ステップＳ５０１は、入力された参照フレーム全ての画素を「低相関」とする。
【０１０５】
まず、第１参照フレーム２１０および第２参照フレーム２２０中のすべての画素が低相関であると設定する（ステップＳ５０１）。次に、第１参照フレーム２１０をｎ個の参照領域に分割する（ステップＳ５０２）。なお、図２１に示すように本実施の形態においては１６個の参照領域に分割される。
【０１０６】
次に、動き推定回数ｔを設定する（ステップＳ５０３）。ここで動き推定回数ｔとは、以下に説明する参照領域抽出処理（ステップＳ５０４）から相関判定処理（ステップＳ５０７）までの処理を行う回数である。
【０１０７】
本実施の形態にかかる補間画像作成装置５００は、参照領域を高相関領域と低相関領域とに分割する。そして、得られた低相関領域をさらに高相関領域と低相関領域とに分割する。以上のように、参照領域をより細かい領域に分割する処理を繰り返す。すなわち、再帰的な処理を行う。動き推定回数ｔは、この処理の回数に対応する。本実施形態では、動き推定回数ｔを２と設定し、同時に現在の動き推定回数を示すカウンタｔを１に設定する。動き推定回数ｔを２回と設定すると、ステップＳ５０４以降の処理が２回行われる。
【０１０８】
また、動き推定回数ｔを１回と設定してもよいことはいうまでもない。これにより、参照領域全体が高相関領域、または低相関領域となる。他の例としては、動き推定回数ｔは設定しなくともよい。これにかえて、参照領域中において高相関領域が検出できなくなるまで自動的に繰り返すこととしてもよい。
【０１０９】
次に、動き推定処理の対象となる参照領域を抽出する（ステップＳ５０４）。なお、本実施の形態においては図２１に示すように１６個の参照領域がある。したがって、参照領域数ｎは１６と設定される。同時に現在の動き推定回数を示すカウンタｔは、１に設定される。
【０１１０】
次に、参照領域抽出処理（ステップＳ５０４）において処理対象として抽出された参照領域（以降、「第１参照領域」と称する）のうち低相関と設定されている低相関領域と相関の高い領域を第２参照フレーム２２０中の低相関と設定されている低相関領域から抽出する（ステップＳ５０５）。なお、ここで抽出された領域を第２参照領域と称する。
【０１１１】
具体的には、第２参照フレーム中の低相関領域において第１参照領域と同サイズ、同形状の複数の領域を設定する。そして、各領域において絶対差分値の総和を算出し、この総和が最も小さくなるような領域を第２参照領域として抽出する。絶対差分値とは、第２参照領域中の画素と、この画素に対応する第１参照領域中の画素との間の差分値の絶対値である。
【０１１２】
また、他の例としては、第１参照領域と、第２参照フレーム２２０中の所定の領域の対応する画素毎の絶対差分値が予め定めた閾値以下となる画素の数をカウントし、カウント数が最も大きくなるような領域を第２参照領域として抽出してもよい。
【０１１３】
なお、低相関設定処理（ステップＳ５０１）においてすべての画素が低相関と設定されているので１回目に相関の高い領域を抽出する処理（ステップＳ５０５）が行われる際には、参照領域のすべてが低相関と設定され、第２参照フレーム中のすべての領域が低相関と設定されている。
【０１１４】
そして、第１参照フレーム２１０中の低相関領域と第２参照フレーム２２０中の低相関領域を利用して動きベクトルＭＶを求める（ステップＳ５０５）。なお、このとき第２参照フレーム２２０中の高相関領域を利用しないこととする。これにより、より適切な動きベクトルを算出することができる。
【０１１５】
本実施の形態においては図２３に示すように第１参照フレーム２１０中の参照領域に対し、第２参照フレーム２２０中で最も相関の高い領域位置（動きベクトル）を求め、両者の間の動きベクトルを算出する。１回目の再帰的処理（ｔ＝１）においては、第１参照フレーム２１０上の参照領域（垂直画素数、水平画素数それぞれ５画素の正方形の領域で構成されるブロック）内のすべての画素が「低相関」であるため、一般的なブロックマッチングと同等の相関演算となる。
【０１１６】
次に、動き推定処理（ステップＳ５０５）で抽出された第１参照領域と第２参照領域の組に対して、領域内の画素単位の相関を判定するために、対応する画素毎に相関演算を行う（ステップＳ５０６）。本実施の形態においては、相関値として絶対差分値を算出する。
【０１１７】
次に、領域内相関演算（ステップＳ５０６）における相関演算結果に基づき画素単位の相関判定を行い、第１参照領域内と第２参照領域内を、相関の高い高相関領域と相関の低い低相関領域に分類する（ステップＳ５０７）。そして、高相関と判定された画素の設定を「低相関」から「高相関」に変更し、高相関領域に動き推定処理（ステップＳ５０５）において求めた動きベクトルＭＶを与える（ステップＳ５０８）。
【０１１８】
以上の処理を、第１参照フレーム２１０中のすべての第１参照領域（１６個）に対して行い、さらに動き推定回数ｔだけ繰り返す（ステップＳ５０９，５１０）。以上で、高相関領域動きベクトル割り当て処理が完了する。
【０１１９】
以下、処理対象参照領域抽出処理（ステップＳ５０４）からの処理をより具体的に説明する。図２４は、静止している背景４４０上オブジェクト４４２が移動しているフレームを示す図である。
【０１２０】
図２５は、処理対象参照領域抽出処理（ステップＳ５０４）で抽出された第１参照領域２１２ｆに対し、動き推定処理（ステップＳ５０５）において抽出された第２参照領域２２２ｆを示す図である。このように、第１参照領域と最も相関の高い領域が第２参照領域として抽出される。
【０１２１】
図２６は、動き推定処理（ステップＳ５０５）において抽出された第１参照領域２１２ｆと第２参照領域２２２ｆを画素単位で示す図である。図中の数値は各画素の輝度値を示す。領域内相関演算ステップＳ５０６では、参照領域内の画素単位の相関を判定するために、第１参照領域と第２参照領域の組に対して、対応する画素毎に輝度値による相関演算を行う。図の例では絶対差分値を相関演算値として算出している。
【０１２２】
図２７は、相関演算の結果を示す図である。図２８は、相関判定処理（ステップＳ５０７）において、図２７に示した相関演算結果に基づいて高相関領域と低相関領域に分類された参照領域２１２ｆと参照領域２２２ｆを示す図である。
【０１２３】
高相関と低相関の判定は、領域内相関演算（ステップＳ５０６）により求められた絶対差分値演算結果に閾値を設定し、演算結果が閾値以下の場合、相関の高い高相関と判定し、閾値以上の場合、相関の低い低相関と判定することにより行う。図２８に示す例では、絶対差分値の演算結果が２４である画素を低相関、０である画素を高相関と判定されている。そして、図２８に示す高相関領域に対し、動き推定処理（ステップＳ５０５）において求められた動きベクトルＭＶが与えられる。
【０１２４】
図２９は、第１参照フレーム２１０および第２参照フレーム２２０の高相関領域および低相関領域を示す図である。処理対象参照領域抽出処理（ステップＳ５０４）から動きベクトル付与処理(ステップＳ５０８)を第１参照フレーム２１０上の参照領域２１２ａから参照領域２１２ｐに対して行うことにより（ステップＳ５０９）、図２９に示すように第１参照フレーム２１０を高相関領域と低相関領域とに分類することができる。
【０１２５】
さらに、本実施の形態においては、動き推定回数設定処理（ステップＳ５０３）において、動き推定回数ｔを２と設定している。したがって、図２９に示す第１参照フレーム２１０の低相関領域に対し、再びステップＳ５０４からステップ５０９までの処理を繰り返す（ステップＳ５１１）。
【０１２６】
図３０は、動き推定回数ｔ＝２のときに参照領域抽出処理（ステップＳ５０４）において抽出された第１参照領域２３２ｆと、第１参照領域２３２ｆに対して動き推定処理（ステップＳ５０５）において抽出された第２参照領域２４２ｆを示す図である。ここで、第１参照領域２３２ｆは、動き推定回数ｔ＝１のときに相関分類処理（ステップＳ５０７）において低相関と設定された第１参照領域２１２ｆ中の低相関領域である。
【０１２７】
図３１は、動き推定処理（ステップＳ５０５）において抽出された第１参照領域２３２ｆと第２参照フレーム２２０の第２参照領域２４２ｆの各画素の輝度値を示す図である。また、図３２は、領域内相関演算処理（ステップＳ５０６）での相関演算値（絶対差分値）を示す図である。
【０１２８】
図３３は、相関判定処理（ステップＳ５０７）において分類された第１参照領域２３２ｆおよび第２参照領域２４２ｆの高相関領域を示す図である。この例においては、図３３に示すように参照領域内が全て高相関領域となる。また、高相関と判定された参照領域内全ての部分に、動き推定処理（ステップＳ５０５）において求められた動きベクトルＭＶ６２が与えられる。同様にして、全ての参照領域に対して２回目の処理を行うことにより、相関判定処理が完了する。
【０１２９】
以上のように、１つの参照領域内に複数の動きが含まれている場合であっても、各動きにそれぞれに対応する複数の動きベクトルを求めることができる。
【０１３０】
図３４は、相関判定処理が完了した時点における第１参照フレーム２１０および第２参照フレーム２２０中の相関を示す図である。図３４に示すように、参照領域内を分割し、２枚の参照フレームを利用して参照領域内の複数の動きベクトルを求める場合には、動きベクトルを求めることのできない領域、すなわち、動きベクトル未検出領域２１０４が発生する。この領域は例えば、オブジェクトによって今まで隠されていた背景領域がオブジェクトが移動することにより出現したり、あるいは今まで見えていた領域がオブジェクトにより隠され、消失したりして、２枚の参照フレーム間ではマッチングが行えない領域であり、陰面領域と呼ばれている。また、ノイズ等により２フレーム間ではマッチングが行えなかった領域も含んでいる。
【０１３１】
動きベクトル未検出領域処理部５１２は、このように２フレーム間で動きベクトルを求めることができなかった領域の動きベクトルを求める。図３５は、動きベクトル未検出領域処理部５１２による動きベクトル未検出領域処理を示すフローチャートである。まず、動きベクトル未検出領域処理部５１２は、第１参照フレームから低相関領域、すなわち動きベクトル未検出領域を抽出する（ステップＳ６０１）。
【０１３２】
次に、動きベクトル未検出領域２１０４の動きベクトル候補として動きベクトル未検出領域２１０４の周辺の画素に割り当てられた動きベクトルを抽出する（ステップＳ６０２）。なお、周辺の画素としては、動きベクトル未検出領域２１０４に隣接する画素が好ましい。
【０１３３】
陰面領域だけ周囲と異なった動きベクトルを持っている可能性は低い。すなわち、陰面領域は陰面領域の周辺領域と同じ動きベクトルを持っている可能性が高い。そこで、ステップＳ２０２においては、動きベクトル未検出領域の動きベクトル候補として動きベクトル未検出領域２１０４の周辺の動きベクトルを抽出している。
【０１３４】
図３６は、動きベクトル未検出領域２１０４の周囲の動きベクトルを説明するための図である。図３６に示すように、動きベクトル２１０４の周辺の動きベクトルとしては、オブジェクト４４２に対応する領域２１０５の動きベクトルＭＶ３０と、背景４４０に対応する高相関の領域２１０６の動きベクトルＭＶ３２とがある。このうちいずれか一方を、動きベクトル未検出領域２１０４に割り当てることとする。
【０１３５】
再び説明を図３５に戻す。周囲の動きベクトルを抽出した後、第１参照フレーム上の動きベクトル未検出領域２１０４と、ステップＳ６０２において抽出された周囲の動きベクトルに（−１）を乗じたベクトルにより特定される第３参照フレーム２３０中の領域を抽出する（ステップＳ６０３）。
【０１３６】
陰面領域は、２枚の参照フレームからでは動きベクトルが求まらない領域である。そこで、複数の動きベクトル候補の中から動きベクトル未検出領域２１０４に対する動きベクトルを１つ選択するために、図３７に示すように、第１参照フレームから第２参照フレームと時間的に反対方向にあるもう１枚の別の第３参照フレームを利用する。
【０１３７】
図３８は、領域抽出処理（ステップＳ６０３）において抽出された第３参照フレーム２３０中の領域を示す図である。図３８に示すように、動きベクトルＭＶ３０および動きベクトルＭＶ３２のそれぞれから領域２３０４ａおよび領域２３０４ｂが抽出される。
【０１３８】
再び説明を図３５に戻す。領域抽出処理（ステップＳ６０３）において抽出された領域２３０４ａ，２３０４ｂそれぞれと動きベクトル未検出領域２１０４との間の相関演算を行う（ステップＳ６０４）。本実施の形態においては、絶対差分値を相関値として算出する。
【０１３９】
次に、複数の動きベクトル候補から最も適した動きベクトルを選出する（ステップＳ６０５）。具体的には、相関演算処理（ステップＳ６０４）における相関演算の結果に基づいて、最も高い相関の得られた領域に対する動きベクトル候補を動きベクトル未検出領域の動きベクトルとして選出する。
【０１４０】
なお、本実施の形態においては、最も絶対差分値が小さくなる領域に対応する動きベクトル候補を動きベクトル未検出領域の動きベクトルとして選出する。
【０１４１】
図３８の例においては、動きベクトルＭＶ３０により特定される領域２３０４ａはオブジェクト４４２が存在する領域である。一方、動きベクトルＭＶ３２により特定される領域２３０４ｂは、背景４４０に対応する領域である。したがって、動きベクトル未検出領域２１０４との相関がより高いのは、領域２３０４ｂである。したがって、領域２３０４ｂに対応する動きベクトルＭＶ３２が動きベクトル未検出領域の動きベクトルとして選出される。
【０１４２】
なお、動きベクトル未検出領域と第３参照フレーム２３０中の領域の間の相関演算は、画素単位で行うのが望ましい。これにより、画素単位の精度で動きベクトルを選出することができる。
【０１４３】
また、他の例としては、動きベクトル未検出領域の形状単位で行ってよい。また、他の例としては、ブロック単位で行ってもよい。
【０１４４】
図３９は、動きベクトル未検出領域２１０４の周辺に複数の動きベクトル（ｍｖ２、ｍｖ１１〜ｍｖ１３）が存在している場合の処理を説明するための図である。この場合、図３５を参照しつつ説明した動きベクトル未検出領域処理にしたがい、動きベクトル未検出領域２１０４中の各画素に、周辺領域の動きベクトルｍｖ２、ｍｖ１１〜ｍｖ１３を適用する。そして、各動きベクトルにより特定された第３参照フレーム２３０中の領域と動きベクトル未検出領域２１０４との間の相関演算を行う。そして、最も高い相関の得られた領域に対する動きベクトル候補を動きベクトル未検出領域２１０４に対する動きベクトルとして選出する。
【０１４５】
このように、動きベクトル未検出領域２１０４の周囲に３つ以上の動きベクトルが存在する場合であっても、その中から最も適した動きベクトルを動きベクトル未検出領域に対する動きベクトルとして選出することができる。
【０１４６】
このように本方式は、第１参照フレームと第２参照フレーム間の動き推定を行うだけで、本来２フレーム間のサーチでは求めることができない動きベクトルを検出することができる。第３参照フレーム２３０は動きベクトル候補からの動きベクトルの選定に利用するだけで、第３参照フレーム２３０を用いた動き推定は行わないため、計算量を低く抑えることが可能である。
【０１４７】
また、様々な映像の中には、オブジェクトの裏側（陰面領域）から背景領域とは異なった動きが出現したり、オブジェクトの裏側（陰面領域）だけ、背景領域とは異なった動きを持っているものも存在する。
【０１４８】
この場合、本方式では正確な陰面領域の動きベクトルを求めることは困難である。そこで、動きベクトル選出処理（ステップＳ６０５）において選出された動きベクトルにより特定される第３参照フレーム２３０中の領域と動きベクトル未検出領域２１０４との間の相関演算値に基づいて、選出された動きベクトルを動きベクトル未検出領域に割り当てるか否かを判定する。
【０１４９】
具体的には、相関演算値の閾値を予め設定しておく。そして、動きベクトル選出処理（ステップＳ６０５）において選出された動きベクトルにより特定される第３参照フレーム２３０と第２フレーム２００中の領域と動きベクトル未検出領域２１０４との間の相関演算を行う。相関値が閾値よりも小さい場合、すなわち２つの領域の画像が類似している場合には（ステップＳ６０６，Ｙｅｓ）、動きベクトル選出処理（ステップＳ６０５）において選出された動きベクトルを動きベクトル未検出領域に割り当てるべき動きベクトルと決定する（ステップＳ６０８）。
【０１５０】
一方、閾値以上である場合には（ステップＳ６０６，Ｎｏ）、動きベクトル選出処理（ステップＳ６０５）において選出された動きベクトルを利用せず、動きベクトル未検出領域２１０４と第３参照フレームとによる動き推定を行い、動きベクトル未検出領域２１０４に対する動きベクトルを算出する（ステップＳ６０７）。すなわち、実施の形態１にかかる補間画像作成装置１００と同様の処理により動き推定を行う。
【０１５１】
そして、動き補償部５１４では、動き推定部５０６と動きベクトル未検出領域処理部５１２で求められた動きベクトルを利用して動き補償を行う。また、図４０に示すように、補間フレーム作成位置に応じて、動きベクトルをスケール変換することにより、所定の位置の補間フレームを生成する。なお、動き補償法は、特に限定されるものではない。
【０１５２】
以上の処理により動き補償を行った場合、貼り付けた領域同士が重なったり、貼り付けた領域間に隙間が発生したりする場合がある。貼り付けた領域同士が重なった場合には、重なった領域の平均や中央値もしくは前後フレーム間の相関の高い領域を常に上書きする。また、隙間が生じた場合にはフレーム内やフレーム間の補間を行う。
【０１５３】
（実施の形態４）
次に、実施の形態４にかかる補間画像作成装置５００について説明する。実施の形態４にかかる補間画像作成装置は図４１および図４２に示すように、補間フレーム３００を領域分割し、補間フレーム３００を基準とし、第１参照フレーム２１０および第２参照フレーム２２０の動き推定を行うことにより補間フレーム３００を作成する。
【０１５４】
補間フレーム３００上を領域分割するため、作成される補間フレーム３００上に重複して画像が作成されたり、画像が作成されない領域が生じたりする恐れが無くなり、精度の高い補間画像を作成することができる。
【０１５５】
本実施の形態においては、図４１に示すように連続する２つのフレーム、第１参照フレーム２１０および第２参照フレーム２２０の間の時間的長さの半分の長さの位置に補間フレーム３００を作成する場合を例に説明するが、補間フレームは、異なる２つのフレーム間の時間的に半分の長さの位置にある必要はなく、異なる２つのフレーム間の間に挿入されるフレームであればよく、その位置は特に限定されるものではない。
【０１５６】
ここでは、図４３に示すように静止している背景４４０上をオブジェクト４４２が水平方向に移動している例について具体的に説明する。
【０１５７】
図４４は、実施の形態４にかかる補間画像作成装置５００による高相関領域動きベクトル割り当て処理を示すフローチャートである。図４１および図４２に示すように、本実施の形態では動き推定部１０６は補間フレーム３００を中心として、第１参照フレーム２１０と第２参照フレーム２２０の動き推定を行う。
【０１５８】
本実施の形態においては、第１参照フレーム２１０および第２参照フレーム２２０のすべての画素に低相関と設定した後に（ステップＳ７０１）、補間フレーム３００をｎ個の補間領域に分割する（ステップＳ７０２）。
【０１５９】
そして、動き推定回数ｔを設定した後（ステップＳ７０３）、補間フレームから補間領域を抽出する（ステップＳ７０４）。そして、補間フレーム上の補間領域を基準として、第１参照フレーム２１０中の低相関領域と第２参照フレーム２２０中の低相関領域との間の相関の高い組み合わせを抽出し、これらの間の動きベクトルＭＶを求める（ステップＳ７０５）。
【０１６０】
次に、動き推定処理（ステップＳ７０５）において抽出された第１参照領域と第２参照領域の組に対して、領域内の画素単位の相関を判定するために、対応する画素毎に相関演算を行う（ステップＳ７０６）。次に、領域内相関演算処理（ステップＳ７０６）における相関演算結果に基づき画素単位の相関判定を行い、第１参照領域内と第２参照領域内を、相関の高い高相関領域と相関の低い低相関領域に分類する（ステップＳ７０７）。
【０１６１】
そして、高相関と判定された画素の設定を「低相関」から「高相関」に変更し、補間フレーム中の参照領域のうち高相関の領域に動き推定処理（ステップＳ７０５）において求めた動きベクトルＭＶを与える（ステップＳ７０８）。
【０１６２】
ここで、第１参照フレームと第２参照フレームとの相関が高相関と判定された画素の設定を低相関から高相関に変更するが、これは第１参照フレームと第２参照フレームの画素に対する処理である。また、動きベクトルは、補間フレーム上の画素に付与される。
【０１６３】
以上の処理を、補間フレーム３００中のすべての参照領域（１６個）に対して行い、さらに動き推定回数ｔだけ繰り返す（ステップＳ７０９，ステップＳ７１０）。以上で、高相関領域動きベクトル割り当て処理が完了する。
【０１６４】
図４５は、図４４を参照しつつ説明した処理を行った後の、各フレーム中の相関を示す図である。このように、図４４を参照しつつ説明した処理が完了した時点では、動きベクトルが検出されていない動きベクトル未検出領域が残されている。
【０１６５】
図４６は、動きベクトル未検出領域処理部５１２による動きベクトル未検出領域処理を示すフローチャートである。まず、動きベクトル未検出領域処理部１１２は、補間フレーム３００から動きベクトル未検出領域を抽出する（ステップＳ８０１）。次に、動きベクトル未検出領域の周辺の動きベクトルを抽出する（ステップＳ８０２）。
【０１６６】
図４７は、動きベクトル未検出領域３００１ａ，３００１ｂの周辺の動きベクトルを示す図である。動きベクトル未検出領域３００１ａと動きベクトル未検出領域３００１ｂの間の領域には、オブジェクト４２０に対する動きベクトルＭＶ７１が付与されている。また、これ以外の領域には、背景４００に対する動きベクトルＭＶ７２が付与されている。したがって、図４７に示す例においては、ステップＳ８０２では、動きベクトルＭＶ７１および動きベクトルＭＶ７２が抽出される。
【０１６７】
次に、動きベクトル未検出領域３００１ａ，３００１ｂを中心として、動きベクトル候補抽出処理（ステップＳ８０２）において抽出されたオブジェクト領域動きベクトルＭＶ７１と背景領域動きベクトルＭＶ７２に基づいて、第１参照フレーム、第２参照フレーム、第３参照フレームおよび第４参照フレームから対応する領域を抽出する（ステップＳ８０３）。
【０１６８】
なお、ここで、第３参照フレームとは、第１参照フレーム２１０よりも時間的に前に存在する参照フレームである。また、第４参照フレームとは、第２参照フレーム２２０よりも時間的に後に存在するフレームである。
【０１６９】
図４８は、領域抽出処理（ステップＳ８０３）における具体的な処理を説明するための図である。図４８に示すように、動きベクトルＭＶ７１を正方向および負方向に延長する。そして、動きベクトルＭＶ７１と第１参照フレーム２１０、第２参照フレーム２２０、第３参照フレーム２３０および第４参照フレーム２４０とが交わる領域をそれぞれ抽出する。図４８に示すように、第１参照フレーム２１０からは領域２１１１が抽出される。第２参照フレーム２２０からは領域２２１１が抽出される。第３参照フレームからは領域２３１１が抽出される。第４参照フレームからは領域２４１１が抽出される。
【０１７０】
さらに、動きベクトルＭＶ７２と第１参照フレーム２１０、第２参照フレーム２２０、第３参照フレーム２３０および第４参照フレーム２４０とが交わる領域をそれぞれ抽出する。図４８に示すように、第１参照フレーム２１０からは領域２１２１が抽出される。第２参照フレーム２２０からは領域２２２１が抽出される。第３参照フレームからは領域２３２１が抽出される。第４参照フレームにおいては、動きベクトルＭＶ７２はフレーム外を特定することになる。
【０１７１】
再び説明を図４６に戻す。各参照フレームから領域を抽出した後（ステップＳ８０３）、同一の動きベクトルに対して、第１参照フレーム２１０および第３参照フレーム２３０のそれぞれから抽出された領域の間の相関演算を行う。さらに、同一の動きベクトルに対して、第２参照フレーム２２０および第４参照フレーム２４０のそれぞれから抽出された領域の間の相関演算を行う（ステップＳ８０４）。なお、本実施の形態においては、相関演算には、絶対差分値を使用した。
【０１７２】
図４８に示す例においては、動きベクトルＭＶ７１に対し、第１参照フレーム２１０および第３参照フレーム２３０それぞれから抽出された領域２１１１および領域２３１１の間の相関演算を行う。動きベクトルＭＶ７１に対し、第２参照フレーム２２０および第４参照フレーム２４０それぞれから抽出された領域２２１１および第４参照フレーム２４０から抽出された領域２４１１の間の相関演算を行う。
【０１７３】
さらに、動きベクトルＭＶ７２に対し、第１参照フレーム２１０および第３参照フレーム２３０それぞれから抽出された領域２１１２および領域２３１２の間の相関演算を行う。動きベクトルＭＶ７２に対し、第２参照フレーム２２０および第４参照フレーム２４０それぞれから抽出された領域２２１２および領域２４１２の間の相関演算を行う。
【０１７４】
次に、相関演算の結果に基づいて、複数の動きベクトルの中から、動きベクトル未検出領域に付与すべき動きベクトルを選出する（ステップＳ８０５）。本実施の形態においては、絶対差分地が最も小さくなる領域に対する動きベクトルを選出する。
【０１７５】
図４８の例においては、動きベクトルＭＶ７１および動きベクトルＭＶ７２から１つの動きベクトルを選出する。この場合、第１参照フレーム２１０の領域２１２１と第３参照フレーム２３０の領域２３２１の間の絶対差分値が最も小さくなる。したがって、この領域に対応する動きベクトル、すなわち動きベクトルＭＶ７２を動きベクトル未検出領域３００１ａに付与する。
【０１７６】
図４９は、動きベクトル未検出領域に動きベクトルを割り当てる処理を説明するための図である。図４９に示すようにステップＳ８０２において抽出された動きベクトルから領域を特定する際に、第１参照フレーム２１０と第２参照フレーム２２０の低相関領域のみを対象とすることとする。これにより、相関演算を行うべき領域として抽出される領域の数が少なくなる。
【０１７７】
例えば、図４８に示す例においては、動きベクトルＭＶ７１および動きベクトルＭＶ７２により特定される第２参照フレーム２２０中の領域はいずれも高相関領域中の領域である。したがって、これらの領域は抽出されない。
【０１７８】
このように、動きベクトルにより特定される領域を抽出する際に、対象となる領域を動低相関領域に限定することにより、抽出すべき領域の数を限定することができるので、より簡単に、かつより正確に動きベクトル未検出領域の動きベクトルを選出することが可能になる。
【０１７９】
次に、動きベクトル選出処理（ステップＳ８０５）において選出された動きベクトルにより特定される２つのフレーム中の領域の間の相関演算値に基づいて、選出された動きベクトルを動きベクトル未検出領域に割り当てるか否かを判定する。
【０１８０】
具体的には、相関演算値の閾値を予め設定しておく。そして、動きベクトル選出ステップ（ステップＳ８０５）において選出された動きベクトルにより特定される２つの領域の間の相関演算値が閾値よりも小さい場合、すなわち２つの領域の画像が類似している場合には（ステップＳ８０６，Ｙｅｓ）、動きベクトル選出処理（ステップＳ８０５）において選出された動きベクトルを動きベクトル未検出領域に割り当てるべき動きベクトルと決定する（ステップＳ８０９）。
【０１８１】
一方、閾値以上である場合には（ステップＳ８０６，Ｎｏ）、図５０に示すように動きベクトル選出処理（ステップＳ８０５）において選出された動きベクトルを利用せず、補間フレーム中の動きベクトル未検出領域と、第１参照フレーム中の低相関領域と第３参照フレームとを用いた動き推定を行う（ステップＳ８０７）。さらに、補間フレーム中の動きベクトル未検出領域と、第２参照フレーム中の低相関領域と第４参照フレームとを用いた動き推定を行う（ステップＳ８０８）。そして、これらの結果に基づいて、補間フレーム中の動きベクトル未検出領域の動きベクトルを決定する（ステップＳ８０９）。
【０１８２】
第１参照フレームと第３参照フレーム上に低相関領域のみを使用するという制限があるため、推定領域も限定され、より少ない計算量で、しかも、より正確な動き推定が可能である。
【０１８３】
そして、動き補償部１１４では、動き推定部１０６と動きベクトル未検出領域処理部１１２で求められた動きベクトルを利用して動き補償を行う。本実施の形態においては、本実施形態においては、動きベクトルに従い、対象領域を補間フレーム上に貼り付けた。
【図面の簡単な説明】
【０１８４】
【図１】補間画像作成装置１００の全体構成を示すブロック図である。
【図２】補間フレームを説明するための図である。
【図３】ブロック作成部１０２の処理を説明するための図である。
【図４】補間画像作成装置１００による補間画像作成処理を示すフローチャートである。
【図５】第１フレーム２１０および第２フレーム２２０に含まれる画像を示す図である。
【図６】第２フレーム２２０中の第２ブロック２２５と最も相関の高い領域を示す図である。
【図７】第２ブロック２２５を示す図である。
【図８】第２フレーム２２０中の第２ブロック２２６と最も相関の高い領域を示す図である。
【図９】第２ブロック２２６を示す図である。
【図１０】補間フレーム３００を示す図である。
【図１１】実施の形態１にかかる補間画像作成装置１００のハードウェア構成を示す図である。
【図１２】実施の形態２にかかる補間画像作成装置１００の補間画像作成処理を示すフローチャートである。
【図１３】第１ブロックおよび第２ブロックを抽出する処理を説明するための図である。
【図１４】低相関部分領域に対する処理（ステップＳ３１０〜ステップＳ３１４）を説明するための図である。
【図１５】低相関部分領域に対する処理（ステップＳ３１０〜ステップＳ３１４）を説明するための図である。
【図１６】補間ブロック３０５を示す図である。
【図１７】領域３０５２に画像を割り当てる処理を説明するための図である。
【図１８】領域３０５３に画像を割り当てる処理を説明するための図である。
【図１９】実施の形態３にかかる補間画像作成装置５００の全体構成を示すブロック図である。
【図２０】補間フレームを説明するための図である。
【図２１】参照領域を説明するための図である。
【図２２】実施の形態３にかかる補間画像作成装置５００による高相関領域動きベクトル割り当て処理を示すフローチャートである。
【図２３】第１参照フレーム２１０上の参照領域と、第２参照フレーム２２０中で第１参照フレーム２１０中の参照領域と最も相関の高い領域位置（動きベクトル）を求め、両者の間の動きベクトルを算出する処理を説明するための図である。
【図２４】静止している背景４４０上オブジェクト４４２が移動しているフレームを示す図である。
【図２５】処理対象参照領域抽出処理（ステップＳ５０４）で抽出された第１参照領域２１２ｆに対し、動き推定処理（ステップＳ５０５）において抽出された第２参照領域２２２ｆを示す図である。
【図２６】動き推定処理（ステップＳ５０５）において抽出された第１参照領域２１２ｆと第２参照領域２２２ｆを画素単位で示す図である。
【図２７】相関演算の結果を示す図である。
【図２８】相関判定処理（ステップＳ５０７）において、図２７に示した相関演算結果に基づいて高相関領域と低相関領域に分類された参照領域２１２ｆと参照領域２２２ｆを示す図である。
【図２９】第１参照フレーム２１０および第２参照フレーム２２０の高相関領域および低相関領域を示す図である。
【図３０】動き推定回数ｔ＝２のときに参照領域抽出処理（ステップＳ５０４）において抽出された第１参照領域２３２ｆと、第１参照領域２３２ｆに対して動き推定処理（ステップＳ５０５）において抽出された第２参照領域２４２ｆを示す図である。
【図３１】動き推定処理（ステップＳ５０５）において抽出された第１参照領域２３２ｆと第２参照フレーム２２０の第２参照領域２４２ｆの各画素の輝度値を示す図である。
【図３２】領域内相関演算処理（ステップＳ５０６）での相関演算値（絶対差分値）を示す図である。
【図３３】相関判定処理（ステップＳ５０７）において分類された第１参照領域２３２ｆおよび第２参照領域２４２ｆの高相関領域を示す図である。
【図３４】相関判定処理が完了した時点における第１参照フレーム２１０および第２参照フレーム２２０中の相関を示す図である。
【図３５】動きベクトル未検出領域処理部５１２による動きベクトル未検出領域処理を示すフローチャートである。
【図３６】動きベクトル未検出領域２１０４の周囲の動きベクトルを説明するための図である。
【図３７】第１参照フレームから第２参照フレームと時間的に反対方向にあるもう１枚の別の第３参照フレームを示す図である。
【図３８】領域抽出処理（ステップＳ６０３）において抽出された第３参照フレーム２３０中の領域を示す図である。
【図３９】動きベクトル未検出領域２１０４の周辺に複数の動きベクトル（ｍｖ２、ｍｖ１１〜ｍｖ１３）が存在している場合の処理を説明するための図である。
【図４０】動きベクトルのスケール変換を説明するための図である。
【図４１】補間フレーム３００を領域分割する処理を説明するための図である。
【図４２】補間フレーム３００を領域分割する処理を説明するための図である。
【図４３】静止している背景４４０上をオブジェクト４４２が水平方向に移動している例を説明するための図である。
【図４４】実施の形態４にかかる補間画像作成装置５００による高相関領域動きベクトル割り当て処理を示すフローチャートである。
【図４５】図４４を参照しつつ説明した処理を行った後の、各フレーム中の相関を示す図である。
【図４６】動きベクトル未検出領域処理部５１２による動きベクトル未検出領域処理を示すフローチャートである。
【図４７】動きベクトル未検出領域３００１ａ，３００１ｂの周辺の動きベクトルを示す図である。
【図４８】領域抽出処理（ステップＳ８０３）における具体的な処理を説明するための図である。
【図４９】動きベクトル未検出領域に動きベクトルを割り当てる処理を説明するための図である。
【図５０】補間フレーム中の動きベクトル未検出領域と、第１参照フレーム中の低相関領域と第３参照フレームとを用いた動き推定処理を説明するための図である。
【符号の説明】
【０１８５】
５１  ＣＰＵ
５２  ＲＯＭ
５３  ＲＡＭ
５７  通信I／Ｆ
６２  バス
１００  補間画像作成装置
１０２  ブロック作成部
１０６  フレームメモリ
１２０  部分領域特定部
１２４  高相関部分領域動きベクトル算出部
１２８  低相関部分領域動きベクトル算出部
１３０  動き補償部
２１０  第１フレーム
２２０  第２フレーム
２３０  第３フレーム
３００  補間フレーム
４３０  背景領域
４３２，４３４  動体オブジェクト
５００  補間画像作成装置
５０２  フレームメモリ部
５０４  領域作成部
５０６  動き推定部
５０８  相関判定部
５１０  動きベクトル検出領域処理部
５１２  動きベクトル未検出領域処理部
５１４  動き補償部
【図１】
2006311480.tif 000003
【図２】
2006311480.tif 000004
【図３】
2006311480.tif 000005
【図４】
2006311480.tif 000006
【図５】
2006311480.tif 000007
【図６】
2006311480.tif 000008
【図７】
2006311480.tif 000009
【図８】
2006311480.tif 000010
【図９】
2006311480.tif 000011
【図１０】
2006311480.tif 000012
【図１１】
2006311480.tif 000013
【図１２】
2006311480.tif 000014
【図１３】
2006311480.tif 000015
【図１４】
2006311480.tif 000016
【図１５】
2006311480.tif 000017
【図１６】
2006311480.tif 000018
【図１７】
2006311480.tif 000019
【図１８】
2006311480.tif 000020
【図１９】
2006311480.tif 000021
【図２０】
2006311480.tif 000022
【図２１】
2006311480.tif 000023
【図２２】
2006311480.tif 000024
【図２３】
2006311480.tif 000025
【図２４】
2006311480.tif 000026
【図２５】
2006311480.tif 000027
【図２６】
2006311480.tif 000028
【図２７】
2006311480.tif 000029
【図２８】
2006311480.tif 000030
【図２９】
2006311480.tif 000031
【図３０】
2006311480.tif 000032
【図３１】
2006311480.tif 000033
【図３２】
2006311480.tif 000034
【図３３】
2006311480.tif 000035
【図３４】
2006311480.tif 000036
【図３５】
2006311480.tif 000037
【図３６】
2006311480.tif 000038
【図３７】
2006311480.tif 000039
【図３８】
2006311480.tif 000040
【図３９】
2006311480.tif 000041
【図４０】
2006311480.tif 000042
【図４１】
2006311480.tif 000043
【図４２】
2006311480.tif 000044
【図４３】
2006311480.tif 000045
【図４４】
2006311480.tif 000046
【図４５】
2006311480.tif 000047
【図４６】
2006311480.tif 000048
【図４７】
2006311480.tif 000049
【図４８】
2006311480.tif 000050
【図４９】
2006311480.tif 000051
【図５０】
2006311480.tif 000052