(57)【要約】【課題】  動画像データからサンプリングされた複数のフレームから１の高解像度フレームを得るに際し、フレームに含まれる被写体の動きに拘わらず画質の劣化を抑えた高解像度フレームを得る。【解決手段】  複数のフレームＦｒＮ，ＦｒＮ＋１に１以上の矩形領域に分割されたパッチを配置し、パッチを移動および／または変形させて各フレームの対応関係を推定し、推定された対応関係に基づいてフレームＦｒＮ＋１を座標変換し、これとフレームＦｒＮとの相関値を算出する。パッチの分割数を１段階贈介して同様に相関値を算出する。２つの相関値の変化量を算出してこれをしきい値と比較し、変化量がしきい値以下となるまで分割数を増加して同様に変化量を算出する。しきい値以下となった変化量を算出した２つの相関値の分割数のうち、小さい方の分割数により推定された対応関係に基づいて、フレームＦｒＮ，ＦｒＮ＋１から合成フレームＦｒＧを作成する。【選択図】          図１
2004236291.tif 000002
【特許請求の範囲】
【請求項１】
動画像から連続する２つのフレームをサンプリングするサンプリング手段と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行うよう、前記対応関係推定手段、前記座標変換手段および前記相関値算出手段を制御する制御手段と、
前記２つの相関値の変化量を算出する変化量算出手段と、
該変化量が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の変化量の算出を行うよう、前記対応関係推定手段、前記座標変換手段、前記相関値算出手段および前記変化量算出手段を制御する比較手段と、
前記変化量が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。
【請求項２】
動画像から連続する２つのフレームをサンプリングするサンプリング手段と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を前記矩形領域単位で算出する相関値算出手段と、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行うよう、前記対応関係推定手段、前記座標変換手段および前記相関値算出手段を制御する制御手段と、
前記２つの相関値の変化量を前記矩形領域単位で算出する変化量算出手段と、
全ての前記矩形領域または該全ての矩形領域のうち前記変化量があらかじめ定めた一定値以上となった矩形領域以外の矩形領域のうち、所定数の矩形領域または所定位置にある矩形領域における前記変化量または該変化量の代表値が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の前記矩形領域単位での変化量の算出を行うよう、前記対応関係推定手段、前記座標変換手段、前記相関値算出手段および前記変化量算出手段を制御する比較手段と、
前記変化量または該変化量の代表値が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記矩形領域毎の前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して前記矩形領域に対応する領域単位で補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。
【請求項３】
前記制御手段は、前記所定のしきい値を、前記矩形領域の分割数が一定値を超えて増加するのに応じて大きくする手段であることを特徴とする請求項１または２記載の動画像合成装置。
【請求項４】
前記対応関係推定手段、前記座標変換手段、前記相関値算出手段、前記制御手段、前記変化量算出手段、前記比較手段および前記合成手段は、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記変化量の算出および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段であることを特徴とする請求項１から３のいずれか１項記載の動画像合成装置。
【請求項５】
動画像から連続する３以上のフレームをサンプリングするサンプリング手段と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行うよう、前記対応関係推定手段、前記座標変換手段および前記相関値算出手段を制御する制御手段と、
前記２つの相関値の変化量を算出する変化量算出手段と、
該変化量が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の変化量の算出を行うよう、前記対応関係推定手段、前記座標変換手段、前記相関値算出手段および前記変化量算出手段を制御する比較手段と、
前記変化量が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得し、全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記変化量の算出および前記中間合成フレームの取得を行い、全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。
【請求項６】
動画像から連続する３以上のフレームをサンプリングするサンプリング手段と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を前記矩形領域単位で算出する相関値算出手段と、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行うよう、前記対応関係推定手段、前記座標変換手段および前記相関値算出手段を制御する制御手段と、
前記２つの相関値の変化量を前記矩形領域単位で算出する変化量算出手段と、
全ての前記矩形領域または該全ての矩形領域のうち前記変化量があらかじめ定めた一定値以上となった矩形領域以外の矩形領域のうち、所定数の矩形領域または所定位置にある矩形領域における前記変化量または該変化量の代表値が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の前記矩形領域単位での変化量の算出を行うよう、前記対応関係推定手段、前記座標変換手段、前記相関値算出手段および前記変化量算出手段を制御する比較手段と、
前記変化量または該変化量の代表値が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記矩形領域毎の前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して前記矩形領域に対応する領域単位で補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得し、
全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記変化量の算出および前記中間合成フレームの取得を行い、全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。
【請求項７】
前記制御手段は、前記所定のしきい値を、前記矩形領域の分割数が一定値を超えて増加するのに応じて大きくする手段であることを特徴とする請求項５または６記載の動画像合成装置。
【請求項８】
前記対応関係推定手段、前記座標変換手段、前記相関値算出手段、前記制御手段、前記変化量算出手段、前記比較手段および前記合成手段は、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記変化量の算出、前記中間合成フレームの取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段であることを特徴とする請求項５から７のいずれか１項記載の動画像合成装置。
【請求項９】
動画像から連続する２つのフレームをサンプリングし、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出し、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行い、
前記２つの相関値の変化量を算出し、
該変化量が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の変化量の算出を行い、
前記変化量が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成することを特徴とする動画像合成方法。
【請求項１０】
動画像から連続する２つのフレームをサンプリングし、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を前記矩形領域単位で算出し、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行い、
前記２つの相関値の変化量を前記矩形領域単位で算出し、
全ての前記矩形領域または該全ての矩形領域のうち前記変化量があらかじめ定めた一定値以上となった矩形領域以外の矩形領域のうち、所定数の矩形領域または所定位置にある矩形領域における前記変化量または該変化量の代表値が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の前記矩形領域単位での変化量の算出を行い、
前記変化量または該変化量の代表値が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記矩形領域毎の前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して前記矩形領域に対応する領域単位で補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成することを特徴とする動画像合成方法。
【請求項１１】
動画像から連続する３以上のフレームをサンプリングし、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出し、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行い、
前記２つの相関値の変化量を算出し、
該変化量が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の変化量の算出を行い、
前記変化量が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得し、
全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記変化量の算出および前記中間合成フレームの取得を行い、
全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成することを特徴とする動画像合成方法。
【請求項１２】
動画像から連続する３以上のフレームをサンプリングし、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を前記矩形領域単位で算出し、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行い、
前記２つの相関値の変化量を前記矩形領域単位で算出し、
全ての前記矩形領域または該全ての矩形領域のうち前記変化量があらかじめ定めた一定値以上となった矩形領域以外の矩形領域のうち、所定数の矩形領域または所定位置にある矩形領域における前記変化量または該変化量の代表値が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の前記矩形領域単位での変化量の算出を行い、
前記変化量または該変化量の代表値が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記矩形領域毎の前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して前記矩形領域に対応する領域単位で補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得し、
全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記変化量の算出および前記中間合成フレームの取得を行い、
全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成することを特徴とする動画像合成方法。
【請求項１３】
動画像から連続する２つのフレームをサンプリングする手順と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する手順と、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する手順と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する手順と、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行う手順と、
前記２つの相関値の変化量を算出する手順と、
該変化量が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の変化量の算出を行う手順と、
前記変化量が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成する手順とを有する動画像合成方法をコンピュータに実行させるためのプログラム。
【請求項１４】
動画像から連続する２つのフレームをサンプリングする手順と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する手順と、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する手順と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を前記矩形領域単位で算出する手順と、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行う手順と、
前記２つの相関値の変化量を前記矩形領域単位で算出する手順と、
全ての前記矩形領域または該全ての矩形領域のうち前記変化量があらかじめ定めた一定値以上となった矩形領域以外の矩形領域のうち、所定数の矩形領域または所定位置にある矩形領域における前記変化量または該変化量の代表値が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の前記矩形領域単位での変化量の算出を行う手順と、
前記変化量または該変化量の代表値が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記矩形領域毎の前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して前記矩形領域に対応する領域単位で補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成する手順とを有する動画像合成方法をコンピュータに実行させるためのプログラム。
【請求項１５】
動画像から連続する３以上のフレームをサンプリングする手順と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する手順と、
前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する手順と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する手順と、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行う手順と、
前記２つの相関値の変化量を算出する手順と、
該変化量が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の変化量の算出を行う手順と、
前記変化量が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得する手順と、
全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記変化量の算出および前記中間合成フレームの取得を行う手順と、
全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成する手順とを有する動画像合成方法をコンピュータに実行させるためのプログラム。
【請求項１６】
動画像から連続する３以上のフレームをサンプリングする手順と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する手順と、
前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する手順と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を前記矩形領域単位で算出する手順と、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行う手順と、
前記２つの相関値の変化量を前記矩形領域単位で算出する手順と、
全ての前記矩形領域または該全ての矩形領域のうち前記変化量があらかじめ定めた一定値以上となった矩形領域以外の矩形領域のうち、所定数の矩形領域または所定位置にある矩形領域における前記変化量または該変化量の代表値が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の前記矩形領域単位での変化量の算出を行う手順と、
前記変化量または該変化量の代表値が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記矩形領域毎の前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して前記矩形領域に対応する領域単位で補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得し、
全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記変化量の算出および前記中間合成フレームの取得を行う手順と、
全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成する手順とを有する動画像合成方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、サンプリングしたフレームよりも高解像度の１の合成フレームを作成する動画像合成装置および方法並びに動画像合成方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
近年のデジタルビデオカメラの普及により、動画像を１フレーム単位で扱うことが可能となっている。このような動画像のフレームをプリント出力する際には、画質を向上させるためにフレームを高解像度にする必要がある。このため、動画像からサンプリングした複数のフレームから、これらのフレームよりも高解像度の１の合成フレームを作成する方法が提案されている（例えば、特許文献１参照）。この方法は、複数のフレーム間の動ベクトルを求め、この動ベクトルに基づいて、複数のフレームから合成フレームを合成する際に、画素間に内挿する信号値を算出する方法である。とくに特許文献１に記載された方法では、各フレームを複数のブロックに分割し、フレーム間で対応するブロックの直交座標係数を算出し、この直交座標係数における高周波の情報を他のブロックにおける低周波の情報と合成して内挿される画素値を算出しているため、必要な情報が低減されることなく、高画質の合成フレームを得ることができる。また、この方法においては、画素間距離よりもさらに細かい分解能にて動ベクトルを算出しているため、フレーム間の動きを正確に補償してより高画質の合成フレームを得ることができる。
【０００３】
また、複数のフレームのうち１のフレームを基準フレームとし、基準フレームに複数の矩形領域からなる基準パッチを、基準フレーム以外の他のフレームに基準パッチと同様のパッチを配置し、パッチ内の画像が基準パッチ内の画像と一致するようにパッチを他のフレーム上において移動および／または変形し、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレーム上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係を推定して複数フレームをより精度よく合成する方法も提案されている（例えば、非特許文献１参照）。
【０００４】
非特許文献１の方法においては、基準フレームと他のフレームとの対応関係を推定し、推定後、他のフレームと基準フレームとを、最終的に必要な解像度を有する統合画像上に割り当てることにより、高精細な合成フレームを得ることができる。
【特許文献１】特開２０００−３５４２４４号公報
【非特許文献１】中沢祐二、小松隆、斉藤隆弘，「フレーム間統合による高精細ディジタル画像の獲得」，テレビジョン学会誌，１９９５年，Ｖｏｌ．４９，Ｎｏ．３，ｐ２９９−３０８
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１に記載された方法においては、他のフレームに含まれる被写体の動きが非常に大きい場合や、局所的に含まれる被写体が複雑な動きをしていたり非常に高速で動いている場合には、被写体の動きにパッチの移動および／または変形が追随できない場合がある。このように、パッチの移動および／または変形が被写体の移動および／または変形に追随できないと、合成フレームの全体がぼけたり、フレームに含まれる動きの大きい被写体がぼけたりするため、高画質の合成フレームを得ることができないという問題がある。この場合、パッチをより多くの矩形領域に分割することにより、被写体の移動および／または変形にパッチの移動および／または変形を追随させることができる。しかしながら、分割数をあまりに多くすると矩形領域が小さくなりすぎて、却って被写体の移動および／または変形にパッチの移動および／または変形を追随させることが困難となってしまう。
【０００６】
本発明は上記事情に鑑みなされたものであり、最適なパッチの分割数にて高画質の合成フレームを得ることを目的とする。
【課題を解決するための手段】
【０００７】
本発明による第１の動画像合成装置は、動画像から連続する２つのフレームをサンプリングするサンプリング手段と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行うよう、前記対応関係推定手段、前記座標変換手段および前記相関値算出手段を制御する制御手段と、
前記２つの相関値の変化量を算出する変化量算出手段と、
該変化量が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の変化量の算出を行うよう、前記対応関係推定手段、前記座標変換手段、前記相関値算出手段および前記変化量算出手段を制御する比較手段と、
前記変化量が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【０００８】
「分割数を段階的に増加する」とは、相関が所定のしきい値以上となるまで少ない分割数から徐々に分割数を大きくすることをいう。なお、分割数をあまりに大きくすると矩形領域が小さくなりすぎて、似たような画像を表す矩形領域が多く存在することとなり、却って被写体の移動および／または変形にパッチの移動および／または変形が追随できない場合がある。このため、分割数の上限値を設定しておくことが好ましい。
【０００９】
「分割数を１段階増加する」とは、上記段階的に増加する分割数における１段階分割数を増加することをいう。
【００１０】
「相関値」は、座標変換済みフレームの全体と基準フレームの基準パッチ内の画像の全体との相関を表すものとして算出すればよく、具体的には各画素の相関値のパッチ内の全画素についての平均値や加算値を用いることができる。
【００１１】
「２つの相関値の変化量」とは、ある分割数の段階（最初に対応関係を推定する初期段階を含む）により算出された相関値と、そこから１段階増加した分割数により算出された相関値とがどの程度異なるかを表すものであり、具体的にはその２つの相関値の差分値、差分値の絶対値等を用いることができる。
【００１２】
本発明による第２の動画像合成装置は、動画像から連続する２つのフレームをサンプリングするサンプリング手段と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を前記矩形領域単位で算出する相関値算出手段と、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行うよう、前記対応関係推定手段、前記座標変換手段および前記相関値算出手段を制御する制御手段と、
前記２つの相関値の変化量を前記矩形領域単位で算出する変化量算出手段と、
全ての前記矩形領域または該全ての矩形領域のうち前記変化量があらかじめ定めた一定値以上となった矩形領域以外の矩形領域のうち、所定数の矩形領域または所定位置にある矩形領域における前記変化量または該変化量の代表値が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の前記矩形領域単位での変化量の算出を行うよう、前記対応関係推定手段、前記座標変換手段、前記相関値算出手段および前記変化量算出手段を制御する比較手段と、
前記変化量または該変化量の代表値が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記矩形領域毎の前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して前記矩形領域に対応する領域単位で補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成する合成手段とを備えたこと特徴とするものである。
【００１３】
「相関値」は、座標変換済みフレームと基準フレームの基準パッチ内の画像との相対応する矩形領域の相関を表すものとして算出すればよく、具体的には各画素の相関値の矩形領域内の全前画素についての平均値や加算値を用いることができる。
【００１４】
「全ての矩形領域のうち変化量があらかじめ定めた一定値以上となった矩形領域」とは、矩形領域同士の相関が非常に低く、分割数を大きくしても変化量が所定のしきい値以下とならないような矩形領域を意味する。
【００１５】
「所定数の矩形領域」とは「全ての矩形領域」または「全ての矩形領域のうち変化量があらかじめ定めた一定値以上となった矩形領域以外の矩形領域」（以下対象となる矩形領域とする）のうちの少なくとも１つの矩形領域を意味するものであり、対象となる矩形領域のうちの１または複数の矩形領域であっても、対象となる矩形領域の全てであってもよい。
【００１６】
なお、対象となる矩形領域のうち、変化量が所定のしきい値以下となる矩形領域のパッチまたは基準パッチ内の領域に占める割合が所定の割合（例えば５０％）以上となった場合における、変化量が所定のしきい値以下となる矩形領域の数を所定数の矩形領域としてもよい。
【００１７】
「所定位置にある矩形領域」とは、基準パッチまたはパッチ内において主要な被写体が含まれる位置にある矩形領域を意味する。具体的には、人物の顔、複雑なテクスチャ等の主要な被写体が含まれる位置にある矩形領域、基準パッチまたはパッチの中央付近に位置する矩形領域を用いることができる。
【００１８】
「変化量の代表値」とは、所定数の矩形領域または所定位置にある矩形領域の変化量を代表する値であり、具体的には変化量の平均値、メディアン値、最大値および最小値等を用いることができる。
【００１９】
「全ての前記矩形領域または該全ての矩形領域のうち前記変化量があらかじめ定めた一定値以上となった矩形領域以外の矩形領域のうち、所定数の矩形領域または所定位置にある矩形領域における前記変化量または該変化量の代表値が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の前記矩形領域単位での変化量の算出を行う」とは、分割数の各段階において、基準パッチおよびパッチ内の対象となる矩形領域のうちの所定数の矩形領域または所定位置にある矩形領域について変化量または変化量の代表値が所定のしきい値以下となるまで変化量を算出するものであってもよく、ある分割数において基準パッチおよびパッチ内の対象となる矩形領域のうちの所定数の矩形領域または所定位置にある矩形領域の一部の矩形領域のみについて変化量または変化量の代表値が所定のしきい値以下となった場合には、次の段階の矩形領域の分割はその一部の矩形領域以外の他の矩形領域についてのみ行い、他の矩形領域についてのみ分割数を増加して変化量を算出するものであってもよい。後者の場合、前者と比較して変化量算出のための演算時間を短縮することができる。
【００２０】
ここで、本発明による第２の動画像合成装置においては、変化量または変化量の代表値が所定のしきい値以下となったときの分割数が基準パッチおよびパッチ内の局所領域で異なる場合がある。このため、「矩形領域に対応する領域単位で補間演算を施す」とは、変化量が所定のしきい値以下となったときの分割数が基準パッチおよびパッチ内の局所領域で異なる場合に、基準パッチおよびパッチ内の局所領域が対応する矩形領域の分割数により推定された対応関係を用いて、基準パッチおよびパッチ内の矩形領域に対応する領域毎に異なる対応関係に基づいて補間演算を行うことを意味する。
【００２１】
なお、本発明による第１および第２の動画像合成装置においては、前記制御手段を、前記所定のしきい値を、前記矩形領域の分割数が一定値を超えて増加するのに応じて大きくする手段としてもよい。
【００２２】
また、本発明による第１および第２の動画像合成装置においては、前記対応関係推定手段、前記座標変換手段、前記相関値算出手段、前記制御手段、前記変化量算出手段、前記比較手段および前記合成手段を、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記変化量の算出および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段としてもよい。
【００２３】
「フレームを構成する少なくとも１つの成分」とは、例えばフレームがＲＧＢの３つの色データからなる場合においてはＲＧＢ各色成分のうちの少なくとも１つの成分であり、ＹＣＣ輝度色差成分からなる場合には、輝度および色差の各成分のうちの少なくとも１つの成分、好ましくは輝度成分である。
【００２４】
本発明による第３の動画像合成装置は、動画像から連続する３以上のフレームをサンプリングするサンプリング手段と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行うよう、前記対応関係推定手段、前記座標変換手段および前記相関値算出手段を制御する制御手段と、
前記２つの相関値の変化量を算出する変化量算出手段と、
該変化量が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の変化量の算出を行うよう、前記対応関係推定手段、前記座標変換手段、前記相関値算出手段および前記変化量算出手段を制御する比較手段と、
前記変化量が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得し、全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記変化量の算出および前記中間合成フレームの取得を行い、全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【００２５】
本発明による第４の動画像合成装置は、動画像から連続する３以上のフレームをサンプリングするサンプリング手段と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を前記矩形領域単位で算出する相関値算出手段と、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行うよう、前記対応関係推定手段、前記座標変換手段および前記相関値算出手段を制御する制御手段と、
前記２つの相関値の変化量を前記矩形領域単位で算出する変化量算出手段と、
全ての前記矩形領域または該全ての矩形領域のうち前記変化量があらかじめ定めた一定値以上となった矩形領域以外の矩形領域のうち、所定数の矩形領域または所定位置にある矩形領域における前記変化量または該変化量の代表値が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の前記矩形領域単位での変化量の算出を行うよう、前記対応関係推定手段、前記座標変換手段、前記相関値算出手段および前記変化量算出手段を制御する比較手段と、
前記変化量または該変化量の代表値が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記矩形領域毎の前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して前記矩形領域に対応する領域単位で補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得し、
全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記変化量の算出および前記中間合成フレームの取得を行い、全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【００２６】
なお、本発明による第３および第４の動画像合成装置においては、前記制御手段を、前記所定のしきい値を、前記矩形領域の分割数が一定値を超えて増加するのに応じて大きくする手段としてもよい。
【００２７】
また、本発明による第３および第４の動画像合成装置においては、前記対応関係推定手段、前記座標変換手段、前記相関値算出手段、前記制御手段、前記変化量算出手段、前記比較手段および前記合成手段を、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記変化量の算出、前記中間合成フレームの取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段としてもよい。
【００２８】
本発明による第１の動画像合成方法は、動画像から連続する２つのフレームをサンプリングし、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出し、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行い、
前記２つの相関値の変化量を算出し、
該変化量が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の変化量の算出を行い、
前記変化量が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成することを特徴とするものである。
【００２９】
本発明による第２の動画像合成方法は、動画像から連続する２つのフレームをサンプリングし、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を前記矩形領域単位で算出し、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行い、
前記２つの相関値の変化量を前記矩形領域単位で算出し、
全ての前記矩形領域または該全ての矩形領域のうち前記変化量があらかじめ定めた一定値以上となった矩形領域以外の矩形領域のうち、所定数の矩形領域または所定位置にある矩形領域における前記変化量または該変化量の代表値が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の前記矩形領域単位での変化量の算出を行い、
前記変化量または該変化量の代表値が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記矩形領域毎の前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して前記矩形領域に対応する領域単位で補間演算を施して、前記各フレームよりも解像度が高い合成フレームを作成することを特徴とするものである。
【００３０】
本発明による第３の動画像合成方法は、動画像から連続する３以上のフレームをサンプリングし、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出し、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行い、
前記２つの相関値の変化量を算出し、
該変化量が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の変化量の算出を行い、
前記変化量が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得し、
全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記変化量の算出および前記中間合成フレームの取得を行い、
全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成することを特徴とするものである。
【００３１】
本発明による第４の動画像合成方法は、動画像から連続する３以上のフレームをサンプリングし、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他の１のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他の１のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他の１のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
前記対応関係に基づいて、前記他の１のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を前記矩形領域単位で算出し、
前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を１段階増加して、前記対応関係の推定、前記座標変換済みフレームの取得および前記相関値の算出を行い、
前記２つの相関値の変化量を前記矩形領域単位で算出し、
全ての前記矩形領域または該全ての矩形領域のうち前記変化量があらかじめ定めた一定値以上となった矩形領域以外の矩形領域のうち、所定数の矩形領域または所定位置にある矩形領域における前記変化量または該変化量の代表値が所定のしきい値以下となるまで、前記基準パッチおよび前記パッチ内の前記矩形領域の分割数を段階的に増加して、各段階において前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出および隣接する段階の分割数により算出された２つの相関値の前記矩形領域単位での変化量の算出を行い、
前記変化量または該変化量の代表値が前記所定のしきい値以下となったときの前記２つの相関値のうち、いずれかの相関値を算出した分割数において推定された前記矩形領域毎の前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して前記矩形領域に対応する領域単位で補間演算を施して、前記各フレームよりも解像度が高い中間合成フレームを取得し、
全ての前記他のフレームについて、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記変化量の算出および前記中間合成フレームの取得を行い、
全ての前記他のフレームについて取得された複数の前記中間合成フレームを合成することにより合成フレームを作成することを特徴とするものである。
【００３２】
なお、本発明による第１から第４の動画像合成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００３３】
本発明の第１の動画像合成装置および方法によれば、動画像がサンプリングされて連続する複数のフレームが取得され、複数のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチが配置される。また、基準フレーム以外の他のフレーム上に、基準パッチと同様のパッチが配置される。そして、パッチ内の画像が基準パッチ内の画像と一致するように移動および／または変形され、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレームの上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係が推定される。
【００３４】
さらに、対応関係に基づいて他のフレームのパッチ内の画像が基準フレームの座標空間に座標変換されて座標変換済みフレームが取得され、座標変換済みフレームと基準フレームの基準パッチ内の画像との相関を表す相関値が算出される。そして、基準パッチおよびパッチ内の矩形領域の分割数が１段階増加されて、対応関係の推定、座標変換済みフレームの取得および相関値の算出が行われ、前後の段階の分割数により算出された２つの相関値の変化量が算出される。
【００３５】
そして、変化量が所定のしきい値以下となるまで、基準パッチおよびパッチ内の矩形領域の分割数が段階的に増加され、各段階において対応関係の推定、座標変換済みフレームの取得、相関値の算出および隣接する段階の分割数により算出された２つの相関値の変化量の算出が行われる。
【００３６】
そして、変化量が所定のしきい値以下となったときの２つの相関値のうち、いずれかの相関値を算出した分割数において推定された対応関係に基づいて、他のフレームのパッチ内の画像および基準フレームのパッチ内の画像に対して補間演算が施されて、各フレームよりも解像度が高い合成フレームが作成される。
【００３７】
なお、本発明による第３の動画像合成装置および方法のように、フレームが３以上サンプリングされた場合には、基準フレーム以外の全ての他のフレームについて、変化量が所定のしきい値以下となるまで対応関係の推定、座標変換済みフレームの取得、相関値の算出および変化量の算出が行われ、基準フレームと他のフレームのそれぞれとから複数の中間合成フレームが取得され、さらに複数の中間合成フレームから合成フレームが作成される。
【００３８】
このため、フレーム内における動いている被写体の移動および／または変形に追随可能な最適な分割数により合成フレームを作成することができ、これにより、フレームに含まれる被写体の動きに拘わらず、高画質の合成フレームを得ることができる。
【００３９】
また、本発明による第２の動画像合成装置および方法によれば、動画像がサンプリングされて連続する複数のフレームが取得され、複数のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域を有する基準パッチが配置される。また、基準フレーム以外の他のフレーム上に、基準パッチと同様のパッチが配置される。そして、パッチ内の画像が基準パッチ内の画像と一致するように移動および／または変形され、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレームの上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係が推定される。
【００４０】
さらに、対応関係に基づいて他のフレームのパッチ内の画像が基準フレームの座標空間に座標変換されて座標変換済みフレームが取得され、座標変換済みフレームと基準フレームの基準パッチ内の画像との相関を表す相関値が矩形領域単位で算出される。そして、基準パッチおよびパッチ内の矩形領域の分割数が１段階増加されて、対応関係の推定、座標変換済みフレームの取得および相関値の算出が行われ、前後の段階の分割数により算出された２つの相関値の変化量が矩形領域単位で算出される。
【００４１】
そして、全ての矩形領域または全ての矩形領域のうち変化量があらかじめ定めた一定値以上となった矩形領域以外の矩形領域のうち、所定数の矩形領域または所定位置にある矩形領域における変化量または変化量の代表値が所定のしきい値以下となるまで、基準パッチおよびパッチ内の矩形領域の分割数が段階的に変更され、各段階において対応関係の推定、座標変換済みフレームの取得、相関値の算出および変化量の算出が行われる。
【００４２】
そして、変化量または変化量の代表値が所定のしきい値以下となったときの２つの相関値のうち、いずれかの相関値を算出した分割数において推定された矩形領域毎の対応関係に基づいて、他のフレームのパッチ内の画像および基準フレームのパッチ内の画像に対して矩形領域に対応する領域単位で補間演算が施されて、各フレームよりも解像度が高い合成フレームが作成される。
【００４３】
なお、本発明による第４の動画像合成装置および方法のように、フレームが３以上サンプリングされた場合には、基準フレーム以外の全ての他のフレームについて、変化量が所定のしきい値以下となるまで対応関係の推定、座標変換済みフレームの取得、相関値の算出および変化量の算出が行われ、基準フレームと他のフレームのそれぞれとから複数の中間合成フレームが取得され、さらに複数の中間合成フレームから合成フレームが作成される。
【００４４】
このため、フレーム内の各部分に含まれる被写体の動きに追随した最適な分割数により合成フレームを作成することができ、これにより、フレームに含まれる被写体の動きに拘わらず、より高画質の合成フレームを得ることができる。
【００４５】
また、変化量または該変化量の代表値と比較する所定のしきい値を、矩形領域の分割数が一定値を超えて増加するのに応じて大きくすることにより、矩形領域の分割数を適切に設定することができる。
【００４６】
また、対応関係の推定、座標変換済みフレームの取得、相関値の算出、変化量の算出、中間合成フレームの取得（３以上のフレームがサンプリングされた場合）および合成フレームの作成をフレームを構成する少なくとも１つの成分を用いて行うことにより、各成分毎に画質の劣化を低減した合成フレームを得ることができ、これにより、各成分毎の合成フレームからなる高画質の合成フレームを得ることができる。
【発明を実施するための最良の形態】
【００４７】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による動画像合成装置の構成を示す概略ブロック図である。図１に示すように、第１の実施形態による動画像合成装置は、入力された動画像データＭ０から複数のフレームをサンプリングするサンプリング手段１と、複数のフレームのうち、基準となる１の基準フレームの画素および基準フレーム以外の他のフレームの画素の対応関係を推定する対応関係推定手段２と、対応関係推定手段２において推定された対応関係に基づいて、他のフレームをそれぞれ基準フレームの座標空間上に座標変換して座標変換済みのフレーム（以下座標変換フレームとする）ＦｒＴｉを取得する座標変換手段３と、座標変換フレームＦｒＴｉと基準フレームとの相関を表す相関値を算出する相関値算出手段４と、後述するように対応関係を推定するパッチの分割数を段階的に増加することにより算出された相関値に基づいて、前後する段階の分割数により算出された２つの相関値についてその変化量を算出する変化量算出手段５と、変化量をしきい値Ｔｈ１と比較するとともに、変化量がしきい値Ｔｈ１以下となるまで後述するように対応関係を推定するパッチの分割数を段階的に増加して、対応関係推定手段２、座標変換手段３、相関値算出手段４および変化量算出手段５に対応関係の推定、座標変換フレームの取得、相関値の算出および変化量の算出を行わせる比較手段６と、変化量がしきい値Ｔｈ１以下となったときの２つの相関値のいずれか一方の相関値を算出した分割数において対応関係推定手段２により推定された対応関係に基づいて、基準フレームおよび他のフレームに対して補間演算を施して各フレームよりも解像度が高い合成フレームＦｒＧを作成する合成手段７とを備える。なお、本実施形態において合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍の画素を有するものとする。なお、以降では、合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍の画素を有するものとして説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい。
【００４８】
サンプリング手段１は、動画像データＭ０から複数のフレームをサンプリングするが、本実施形態においては動画像データＭ０から２つのフレームＦｒＮおよびフレームＦｒＮ＋１をサンプリングするものとする。なお、フレームＦｒＮを基準フレームとする。ここで、動画像データＭ０はカラーの動画像を表すものであり、フレームＦｒＮ，ＦｒＮ＋１はＹ，Ｃｂ，Ｃｒの輝度色差成分からなるものとする。なお、以降の説明において、Ｙ，Ｃｂ，Ｃｒの各成分に対して処理が行われるが、行われる処理は全ての成分について同様であるため、本実施形態においては輝度成分Ｙの処理について詳細に説明し、色差成分Ｃｂ，Ｃｒに対する処理については説明を省略する。
【００４９】
対応関係推定手段２は、以下のようにしてフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係を推定する。図２はフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の推定を説明するための図である。なお、図２において、基準フレームＦｒＮに含まれる円形の被写体が、フレームＦｒＮ＋１においては図面上右側に若干移動しているものとする。
【００５０】
まず、対応関係推定手段２は、まず、基準フレームＦｒＮ上に１または複数の矩形領域からなる基準パッチＰ０を配置する。図２（ａ）は、基準フレームＦｒＮ上に基準パッチＰ０が配置された状態を示す図である。図２（ａ）に示すように、本実施形態においては、基準パッチＰ０は２×２の矩形領域に分割されてなるものとする。次いで、図２（ｂ）に示すように、フレームＦｒＮ＋１の適当な位置に基準パッチＰ０と同様のパッチＰ１を配置し、基準パッチＰ０内の画像とパッチＰ１内の画像との相関を表す相関値を算出する。なお、相関値は下記の式（１）により平均二乗誤差として算出することができる。また、座標軸は紙面左右方向にｘ軸、紙面上下方向にｙ軸をとるものとする。  
【数１】
2004236291.tif 000003
【００５１】
但し、Ｅ：相関値
ｐｉ，ｑｉ：基準パッチＰ０，Ｐ１内にそれぞれ対応する画素の画素値
Ｎ：基準パッチＰ０およびパッチＰ１内の画素数
【００５２】
次いで、フレームＦｒＮ＋１上のパッチＰ１を上下左右の４方向に一定画素±Δｘ，±Δｙ移動し、このときのパッチＰ１内の画像と基準フレームＦｒＮ上の基準パッチＰ０内の画像との相関値を算出する。ここで、相関値は上下左右方向のそれぞれについて算出され、各相関値をそれぞれＥ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）とする。
【００５３】
そして、移動後の４つの相関値Ｅ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を相関勾配として求め、この方向に予め設定した実数値倍だけ図２（ｃ）に示すようにパッチＰ１を移動する。具体的には、下記の式（２）により係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）を算出し、これらの係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）から下記の式（３），（４）により相関勾配ｇｘ，ｇｙを算出する。
【数２】
2004236291.tif 000004
【００５４】
そして、算出された相関勾配ｇｘ，ｇｙに基づいてパッチＰ１の全体を（−λ１ｇｘ，−λ１ｇｙ）移動し、さらに上記と同様の処理を繰り返すことにより、図２（ｄ）に示すようにパッチＰ１がある位置に収束するまで反復的にパッチＰ１を移動する。ここで、λ１は収束の速さを決定するパラメータであり、実数値をとるものとする。なお、λ１をあまり大きな値とすると反復処理により解が発散してしまうため、適当な値（例えば１０）を選ぶ必要がある。
【００５５】
さらに、パッチＰ１の格子点を座標軸に沿った４方向に一定画素移動させる。このとき、移動した格子点を含む矩形領域は例えば図３に示すように変形する。そして、変形した矩形領域について基準パッチＰ０の対応する矩形領域との相関値を算出する。この相関値をそれぞれＥ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）とする。
【００５６】
そして、上記と同様に、変形後の４つの相関値Ｅ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を求め、この方向に予め設定した実数値倍だけパッチＰ１の格子点を移動する。これをパッチＰ１の全ての格子点について行い、これを１回の処理とする。そして格子点の座標が収束するまでこの処理を繰り返す。
【００５７】
これにより、パッチＰ１の基準パッチＰ０に対する移動量および変形量が求まり、これに基づいて基準パッチＰ０内の画素とパッチＰ１内の画素との対応関係を推定することができる。
【００５８】
座標変換手段３は、推定された対応関係に基づいて、以下のようにしてフレームＦｒＮ＋１を基準フレームＦｒＮの座標空間に座標変換して座標変換フレームＦｒＴ０を取得する。なお、以降の説明においては、基準フレームＦｒＮの基準パッチＰ０内の領域およびフレームＦｒＮ＋１のパッチＰ１内の領域についてのみ変換および合成が行われる。
【００５９】
本実施形態においては、座標変換は双１次変換を用いて行うものとする。双１次変換による座標変換は、下記の式（５），（６）により定義される。  
【数３】
2004236291.tif 000005
【００６０】
式（５），（６）は、２次元座標上の４点（ｘｎ，ｙｎ）（１≦ｎ≦４）で与えられたパッチＰ１内の座標を、正規化座標系（ｕ，ｖ）（０≦ｕ，ｖ≦１）によって補間するものであり、任意の２つの矩形内の座標変換は、式（５），（６）および式（５），（６）の逆変換を組み合わせることにより行うことができる。
【００６１】
ここで、図４に示すように、パッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）が対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）内のどの位置に対応するかを考える。まずパッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）について、正規化座標（ｕ，ｖ）を求める。これは式（５），（６）の逆変換により求める。そしてこのときの（ｕ，ｖ）と対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）を元に、式（５），（６）から点（ｘ，ｙ）に対応する座標（ｘ′，ｙ′）を求める。ここで、点（ｘ，ｙ）が本来画素値が存在する整数座標であるのに対し、点（ｘ′，ｙ′）は本来画素値が存在しない実数座標となる場合があるため、変換後の整数座標における画素値は、基準パッチＰ０の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に変換された座標（ｘ′，ｙ′）の画素値の荷重和として求めるものとする。
【００６２】
具体的には、図５に示すように基準パッチＰ０上における整数座標ｂ（ｘ，ｙ）について、その８近傍の整数座標ｂ（ｘ−１，ｙ−１），ｂ（ｘ，ｙ−１），ｂ（ｘ＋１，ｙ−１），ｂ（ｘ−１，ｙ），ｂ（ｘ＋１，ｙ），ｂ（ｘ−１，ｙ＋１），ｂ（ｘ，ｙ＋１），ｂ（ｘ＋１，ｙ＋１）に囲まれる領域内に変換されたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｍ個の画素値が８近傍の画素に囲まれる領域内に変換され、変換された各画素の画素値をＩｔｊ（ｘ°，ｙ°）（１≦ｊ≦ｍ）とすると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は、下記の式（７）により算出することができる。なお、式（７）においてφは荷重和演算を表す関数である。  
【数４】
2004236291.tif 000006
【００６３】
但し、Ｗｊ（１≦ｊ≦ｍ）：画素値Ｉｔｊ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
【００６４】
ここで、簡単のため、図５を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉｔ１，Ｉｔ２が変換された場合について考えると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は下記の式（８）により算出することができる。  
【数５】
2004236291.tif 000007
【００６５】
但し、Ｗ１＝ｕ×ｖ、Ｗ２＝（１−ｓ）×（１−ｔ）
【００６６】
以上の処理をパッチＰ１内の全ての画素について行うことにより、パッチＰ１内の画像が基準フレームＦｒＮの座標空間に変換されて、座標変換フレームＦｒＴ０が取得される。
【００６７】
相関値算出手段４は、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相関値ｄ０を算出する。具体的には下記の式（９）に示すように、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値の基準パッチＰ０内の全画素ｍについての加算値を基準パッチＰ０内の画素数ｍで除した値、すなわち各画素毎の差の絶対値の基準パッチＰ０内の全画素についての平均値を相関値ｄ０として算出する。なお、相関値ｄ０は座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相関が大きいほど小さい値となる。  
【数６】
2004236291.tif 000008
【００６８】
なお、本実施形態では座標変換フレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値の差の絶対値から相関値ｄ０を算出しているが、差の二乗から相関値を算出してもよい。また、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値の差の絶対値の加算値を相関値としてもよい。また、座標変換フレームＦｒＴ０および基準フレームＦｒＮのヒストグラムをそれぞれ算出し、座標変換フレームＦｒＴ０および基準フレームＦｒＮのヒストグラムの平均値、メディアン値または標準偏差の差分値、もしくはヒストグラムの差分値の累積和を相関値として用いてもよい。また、基準フレームＦｒＮに対する座標変換フレームＦｒＴ０の動きを表す動きベクトルを基準フレームＦｒＮの各画素または小領域毎に算出し、算出された動ベクトルの平均値、メディアン値または標準偏差を相関値として用いてもよく、動ベクトルのヒストグラムの累積和を相関値として用いてもよい。
【００６９】
変化量算出手段５は、分割数が初期値（本実施形態では２×２）の場合には、分割数を１段階増加させ（本実施形態では４×４）、増加させた分割数により相関値算出手段４において算出された相関値ｄ１とその前の段階の分割数により取得された相関値ｄ０との変化量Δｄ０を算出する。
【００７０】
具体的には、対応関係推定手段２において、図６（ａ）に示すように基準パッチＰ０およびパッチＰ１の分割数を２×２から４×４に増加して、基準パッチＰ０およびパッチＰ１を基準フレームＦｒＮおよびフレームＦｒＮ＋１の適当な位置に配置し、上記と同様にパッチＰ１の基準パッチＰ０に対する移動量および変形量を求め、基準パッチＰ０内の画素とパッチＰ１内の画素との対応関係を推定する。そして、座標変換手段３において、対応関係推定手段２により推定された対応関係に基づいてフレームＦｒＮ＋１を基準フレームＦｒＮの座標空間に座標変換して座標変換フレームＦｒＴ１を取得する。さらに、相関値算出手段４において、座標変換フレームＦｒＴ１と基準フレームＦｒＮとの相関値ｄ１を算出する。具体的には下記の式（１０）に示すように、座標変換フレームＦｒＴ１と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ１（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値の基準パッチＰ０内の全画素についての平均値を相関値ｄ１として算出する。さらに、下記の式（１１）に示すように、相関値ｄ０と相関値ｄ１との差の絶対値を変化量Δｄ０として算出する。  
【数７】
2004236291.tif 000009
【００７１】
なお、相関値ｄ０を算出するのみでは変化量Δｄ０を算出できないため、分割数１を初期の段階から１段階増加させての相関値ｄ１の算出は、変化量算出手段５が対応関係推定手段２、座標変換手段３および相関値算出手段４を制御することにより行われる。
【００７２】
比較手段６は変化量Δｄ０をしきい値Ｔｈ１と比較する。このしきい値Ｔｈ１は予め定められて比較手段６の不図示のメモリに記憶されてなるものである。そして、変化量Δｄ０がしきい値Ｔｈ１以下となった場合に、変化量Δｄ０を算出した２つの相関値ｄ０、ｄ１の分割数のうち、相関値ｄ０を得た小さい方の分割数を、後述するように合成手段７においてフレームＦｒＮ，ＦｒＮ＋１から合成フレームＦｒＧを作成するために用いる対応関係を推定した合成分割数と決定する。
【００７３】
一方、比較手段６は、変化量Δｄ０がしきい値Ｔｈ１を越えた場合には、基準パッチＰ０およびパッチＰ１の分割数を１段階増加して対応関係の推定、座標変換フレームの取得、相関値の算出および変化量の算出を行うように、対応関係推定手段２、座標変換手段３、相関値算出手段４および変化量算出手段５を制御する。
【００７４】
具体的には、対応関係推定手段２において、図６（ｂ）に示すように基準パッチＰ０およびパッチＰ１の分割数を４×４から８×８に増加して、基準パッチＰ０およびパッチＰ１を基準フレームＦｒＮおよびフレームＦｒＮ＋１の適当な位置に配置し、上記と同様にパッチＰ１の基準パッチＰ０に対する移動量および変形量を求め、基準パッチＰ０内の画素とパッチＰ１内の画素との対応関係を推定する。そして、座標変換手段３において、対応関係推定手段２により推定された対応関係に基づいてフレームＦｒＮ＋１を基準フレームＦｒＮの座標空間に座標変換して座標変換フレームＦｒＴ２を取得する。また、相関値算出手段４において、座標変換フレームＦｒＴ２と基準フレームＦｒＮとの相関値ｄ２を算出する。さらに、変化量算出手段５において、４×４の分割数により算出された相関値ｄ１と８×８の分割数により算出された相関値ｄ２との差分値の絶対値を変化量Δｄ１として算出する。
【００７５】
そして、比較手段６は、算出された変化量Δｄ１をしきい値Ｔｈ１と比較し、変化量Δｄ１がしきい値Ｔｈ１を越える場合には、さらに１６×１６に基準パッチＰ０およびパッチＰ１の分割数を増加して、増加した段階の分割数において相関値ｄｉ＋１（−１≦ｉ）（以下、一般化のためにｉを用いる）を算出し、さらに、相関値ｄｉと相関値ｄ１＋１との変化量Δｄｉがしきい値Ｔｈ１以下となるまで、対応関係推定手段２、座標変換手段３、相関値算出手段４および変化量算出手段５に、対応関係の推定、座標変換フレームの取得、相関値の算出および変化量の算出を行わせる。なお、本実施形態においては、基準パッチＰ０およびパッチＰ１のｉ段階目の分割数は２i+1×２i+1であり、ｉ段階目の分割数により得られた座標変換フレームをＦｒＴｉ、相関値をｄｉとする。そして、ｉ＋１段階目の分割数により算出された相関値ｄｉ＋１とｉ段階目の分割数により算出された相関値ｄｉとの変化量Δｄｉを算出し、変化量Δｄｉがしきい値Ｔｈ１以下となったときの基準パッチＰ０およびパッチＰ１の分割数を合成分割数と決定する。なお、合成分割数は変化量Δｄｉを得た２つの相関値を算出した分割数のうちの小さい方の分割数である。
【００７６】
なお、分割数があまりに大きくなると矩形領域が小さくなりすぎて、似たような画像を表す矩形領域が多く存在することとなり、却って被写体の移動および／または変形にパッチの移動および／または変形が追随できない場合がある。このため、分割数の上限値を設定しておくことが好ましい。
【００７７】
合成手段７は、比較手段６において決定された合成分割数により推定された対応関係に基づいて、基準フレームＦｒＮおよびフレームＦｒＮ＋１に対して補間演算を施して合成フレームＦｒＧを作成する。具体的には、まず図７に示すように、最終的に必要な画素数を有する統合画像（本実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の縦横それぞれ２倍の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい）を用意し、対応関係推定手段２において合成分割数における対応関係に基づいて、フレームＦｒＮ＋１（パッチＰ１内の領域）の画素の画素値を統合画像上に割り当てる。この割り当てを行う関数をΠとすると、下記の式（１２）によりフレームＦｒＮ＋１の各画素の画素値が統合画像上に割り当てられる。  
【数８】
2004236291.tif 000010
【００７８】
但し、Ｉ１Ｎ＋１（ｘ°，ｙ°）：統合画像上に割り当てられたフレームＦｒＮ＋１の画素値
ＦｒＮ＋１（ｘ，ｙ）：フレームＦｒＮ＋１の画素値
【００７９】
このように統合画像上にフレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ°，ｙ°）を得、各画素についてＩ１（ｘ°，ｙ°）（＝Ｉ１Ｎ＋１（ｘ°，ｙ°））の画素値を有する第１の補間フレームを取得する。
【００８０】
ここで、画素値を統合画像上に割り当てる際に、統合画像の画素数とフレームＦｒＮ＋１の画素数との関係によっては、フレームＦｒＮ＋１上の各画素が統合画像の整数座標（すなわち画素値が存在すべき座標）に対応しない場合がある。本実施形態においては、統合画像の整数座標における画素値は、統合画像の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に割り当てられたフレームＦｒＮ＋１上の各画素の画素値の荷重和として求める。
【００８１】
すなわち、図８に示すように統合画像における整数座標ｐ（ｘ，ｙ）については、その８近傍の整数座標ｐ（ｘ−１，ｙ−１），ｐ（ｘ，ｙ−１），ｐ（ｘ＋１，ｙ−１），ｐ（ｘ−１，ｙ），ｐ（ｘ＋１，ｙ），ｐ（ｘ−１，ｙ＋１），ｐ（ｘ，ｙ＋１），ｐ（ｘ＋１，ｙ＋１）に囲まれる領域内に割り当てられたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｋ個の画素値が８近傍の画素に囲まれる領域内に割り当てられ、割り当てられた各画素の画素値をＩ１Ｎ＋１ｉ（ｘ°，ｙ°）（１≦ｉ≦ｋ）とすると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は、下記の式（１３）により算出することができる。なお、式（１２）においてΦは荷重和演算を表す関数である。  
【数９】
2004236291.tif 000011
【００８２】
但し、Ｍｉ（１≦ｉ≦ｋ）：画素値Ｉ１Ｎ＋１ｉ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
【００８３】
ここで、簡単のため、図８を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉ１Ｎ＋１１，Ｉ１Ｎ＋１２が割り当てられた場合について考えると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は下記の式（１４）により算出することができる。  
【数１０】
2004236291.tif 000012
【００８４】
但し、Ｍ１＝ｕ×ｖ、Ｍ２＝（１−ｓ）×（１−ｔ）
【００８５】
そして、統合画像の全ての整数座標について、フレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）を得ることができる。この場合、第１の補間フレームの各画素値Ｉ１（ｘ＾，ｙ＾）はＩ１Ｎ＋１（ｘ＾，ｙ＾）となる。
【００８６】
なお、基準フレームＦｒＮについては、基準フレームＦｒＮの画素を統合画像の整数座標に補間して直接割り当てることにより取得される。この基準フレームＦｒＮを統合画像の整数座標に割り当てることにより得られた画素値をＩ２（ｘ＾，ｙ＾）とし、画素値Ｉ２（ｘ＾，ｙ＾）を有するフレームを第２の補間フレームとする。
【００８７】
そして、第１および第２の補間フレームの対応する画素における画素値Ｉ１（ｘ＾，ｙ＾）およびＩ２（ｘ＾，ｙ＾）を加算または重み付け加算することにより、画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを作成する。なお、画素値Ｉ１（ｘ＾，ｙ＾）のみから画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを作成してもよい。
【００８８】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値または基準フレームの画素値（割り当てられていない座標に対応する）に対して線形補間演算、スプライン補間演算等の種々の補間演算を施して、画素値が割り当てられなかった整数座標の画素値を算出すればよい。
【００８９】
また、上記では輝度成分Ｙについての合成フレームＦｒＧを求める処理について説明したが、色差成分Ｃｂ，Ｃｒについても同様に合成フレームＦｒＧが取得される。そして、輝度成分Ｙから求められた合成フレームＦｒＧ（Ｙ）および色差成分Ｃｂ，Ｃｒから求められた合成フレームＦｒＧ（Ｃｂ），ＦｒＧ（Ｃｒ）を合成することにより、最終的な合成フレームが得られることとなる。なお、処理の高速化のためには、輝度成分Ｙについてのみ基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係を推定し、色差成分Ｃｂ，Ｃｒについては輝度成分Ｙについて推定された対応関係に基づいて処理を行うことが好ましい。
【００９０】
次いで、第１の実施形態の動作について説明する。図９は第１の実施形態において行われる処理を示すフローチャートである。まず、サンプリング手段１に動画像データＭ０が入力され（ステップＳ１）、ここで、動画像データＭ０から基準フレームＦｒＮおよびフレームＦｒＮ＋１がサンプリングされる（ステップＳ２）。続いて、対応関係推定手段２により、基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係が推定される（ステップＳ３）。
【００９１】
そして、推定された対応関係に基づいて、座標変換手段３によりフレームＦｒＮ＋１が基準フレームＦｒＮの座標空間に変換されて座標変換フレームＦｒＴｉが取得される（ステップＳ４）。そして、相関値算出手段４により座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相関値ｄｉが算出される（ステップＳ５）。
【００９２】
続いて、相関値が基準パッチＰ０およびパッチＰ１の０段階目の分割数すなわち初期の分割数において算出されたものであるか否かが判定され（ステップＳ６）、ステップＳ６が肯定されると、基準パッチＰ０およびパッチＰ１の分割数が１段階増加され（ステップＳ７）、ステップＳ３に戻り、増加された分割数によりステップＳ３からステップＳ５の処理が繰り返され、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相関値ｄｉ＋１が算出される。
【００９３】
増加された分割数により相関値ｄｉ＋１が算出されるとステップＳ６が否定され、１つ前の分割数により算出された相関値ｄｉと現在の分割数により算出された相関値ｄｉ＋１との変化量Δｄｉが算出される（ステップＳ８）。そして、比較手段６により変化量Δｄｉがしきい値Ｔｈ１以下であるか否かが判定される（ステップＳ９）。
【００９４】
ステップＳ９が否定されると、ステップＳ７に進み、基準パッチＰ０およびパッチＰ１の分割数が１段階増加されて（ステップＳ７）ステップＳ３に戻り、増加された分割数によりステップＳ３からステップＳ９の処理が繰り返される。
【００９５】
ステップＳ９が肯定されると、変化量Δｄｉを得た２つの相関値ｄｉ、ｄｉ＋１のうち、分割数が小さい方の相関値ｄｉを得た基準パッチＰ０およびパッチＰ１の分割数が合成分割数に決定され（ステップＳ１０）、決定された合成分割数により推定された対応関係に基づいて、合成手段７により基準フレームＦｒＮおよびフレームＦｒＮ＋１から合成フレームＦｒＧが作成され（ステップＳ１１）、処理を終了する。
【００９６】
このように、第１の実施形態においては、しきい値Ｔｈ１以下となる変化量を算出した相関値を算出した分割数により推定された対応関係に基づいて、フレームＦｒＮおよびフレームＦｒＮ＋１から合成フレームＦｒＧを作成しているため、フレーム内における動いている被写体の移動および／または変形に追随可能な最適な分割数により合成フレームＦｒＧを作成することができ、これにより、フレームに含まれる被写体の動きに拘わらず、高画質の合成フレームＦｒＧを得ることができる。
【００９７】
次いで、本発明の第２の実施形態について説明する。上記第１の実施形態においては、変化量がしきい値Ｔｈ１以下となる相関値を算出した分割数により推定されたフレームＦｒＮ，ＦｒＮ＋１のパッチ内の画像全体の対応関係に基づいて合成フレームＦｒＧを作成しているが、第２の実施形態においては、基準パッチＰ０およびパッチＰ１を分割することにより得られる矩形領域毎に相関値の変化量を算出し、矩形領域毎の変化量をしきい値Ｔｈ１と比較して合成分割数を矩形領域単位で決定して合成フレームＦｒＧを作成するようにしたものである。なお、第２の実施形態においては、上記式（９）を用いて、矩形領域毎に座標変換フレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値の矩形領域内の全画素ｍについての加算値を矩形領域内の画素数ｍで除した値、すなわち各画素毎の差の絶対値の矩形領域内の全画素についての平均値を矩形領域毎の変化量を求めるための相関値として算出する。
【００９８】
図１０は矩形領域毎の相関値の算出を説明するための図である。図１０（ａ）に示すように分割数が２×２の基準パッチＰ０およびパッチＰ１の各矩形領域を矩形領域Ａ１〜Ａ４とする。一方、図１０（ｂ）に示すように分割数が４×４の基準パッチＰ０およびパッチＰ１の各矩形領域を矩形領域Ａ１１〜Ａ１４，Ａ２１〜Ａ２４，Ａ３１〜Ａ３４，Ａ４１〜Ａ４４とする。なお、矩形領域Ａ１が矩形領域Ａ１〜Ａ１４に、矩形領域Ａ２が矩形領域Ａ２１〜Ａ２４に、矩形領域Ａ３が矩形領域Ａ３１〜Ａ３４に、矩形領域Ａ４が矩形領域Ａ４１〜Ａ４４にそれぞれ対応する。
【００９９】
そして、分割数が２×２の場合には、矩形領域Ａ１〜Ａ４毎に基準フレームＦｒＮとフレームＦｒＮ＋１との相関値を算出する。矩形領域Ａ１〜Ａ４のそれぞれにおける相関値をｄ０１，ｄ０２，ｄ０３，ｄ０４とする。
【０１００】
また、変化量の算出のため、分割数が４×４の場合の矩形領域Ａ１１〜Ａ１４，Ａ２１〜Ａ２４，Ａ３１〜Ａ３４，Ａ４１〜Ａ４４の相関値の加算値を算出する。この相関値の加算値を相関値ｄ１１，ｄ１２，ｄ１３，ｄ１４とする。
【０１０１】
そして、対応する矩形領域間で相関値の差分値の絶対値を変化量として算出する。すなわち、分割数が２×２の場合について矩形領域Ａ１〜Ａ４にそれぞれ対応する変化量Δｄ０１，Δｄ０２，Δｄ０３，Δｄ０４をそれぞれ下記の式（１５）〜（１８）により算出する。  
【数１１】
2004236291.tif 000013
【０１０２】
続いて、算出された変化量Δｄ０１，Δｄ０２，Δｄ０３，Δｄ０４をしきい値Ｔｈ１と比較し、変化量がしきい値Ｔｈ１以下となった矩形領域に対応する基準パッチＰ０およびパッチＰ１内の領域については、その変化量を算出した２つの相関値を算出した分割数のうち小さい方の分割数（すなわち２×２）を合成分割数と決定する。一方、変化量がしきい値Ｔｈ１を越えた矩形領域については分割数を１段階増加して、対応関係の推定、座標変換フレームの取得、相関値の算出および変化量の算出を再度行う。そして、基準パッチＰ０およびパッチＰ１内の全ての領域について変化量がしきい値Ｔｈ１以下となるまで分割数を段階的に増加して相関値および変化量を算出し、変化量がしきい値Ｔｈ１以下となったときの２つの相関値を算出した分割数のうち小さい方の分割数を、その矩形領域に対応する基準パッチＰ０およびパッチＰ１内の領域についての合成分割数と決定する。
【０１０３】
例えば、分割数が２×２の場合における矩形領域Ａ１，Ａ２については変化量Δｄ０１，Δｄ０２がしきい値Ｔｈ１以下となり、矩形領域Ａ３，Ａ４については変化量Δｄ０３、Δｄ０４がしきい値Ｔｈ１を越えた場合には、基準パッチＰ０およびパッチＰ１の矩形領域Ａ１，Ａ２に対応する領域については変化量を算出した２つの相関値の分割数のうち小さい方の分割数（すなわち２×２）を合成分割数に決定する。
【０１０４】
一方、矩形領域Ａ３，Ａ４については、基準パッチＰ０およびパッチＰ１を８×８に分割した場合と同様の分割数となるように矩形領域Ａ３，Ａ４に対応する矩形領域Ａ３１〜Ａ３４，Ａ４１〜Ａ４４をさらに分割し、その分割数により、基準パッチＰ０およびパッチＰ１の矩形領域Ａ３１〜Ａ３４，Ａ４１〜Ａ４４に対応する領域についてのみ、対応関係の推定、座標変換および相関値の算出を行う。そして、矩形領域Ａ３１〜Ａ３４，Ａ４１〜Ａ４４のそれぞれに対応する４つの矩形領域についての相関値の加算値を矩形領域Ａ３１〜Ａ３４，Ａ４１〜Ａ４４にそれぞれ対応する相関値として算出し、矩形領域Ａ３１〜Ａ３４，Ａ４１〜Ａ４４の相関値と、８×８の分割数により算出された各矩形領域の矩形領域Ａ３１〜Ａ３４，Ａ４１〜Ａ４４に対応する相関値との変化量を算出し、算出された変化量をしきい値Ｔｈ１と比較する。
【０１０５】
そして、全ての矩形領域Ａ３１〜Ａ３４，Ａ４１〜Ａ４４についての変化量がしきい値Ｔｈ１以下となった場合には、基準パッチＰ０およびパッチＰ１の矩形領域Ａ３１〜Ａ３４，Ａ４１〜Ａ４４に対応する領域については変化量を算出した２つの相関値の分割数のうち小さい方の分割数（すなわち４×４）を合成分割数に決定する。
【０１０６】
この場合、基準パッチＰ０およびパッチＰ１内の画像の合成分割数は、図１１に示すように左半分の領域は２×２に、右半分の領域は４×４となる。なお、矩形領域Ａ３１〜Ａ３４，Ａ４１〜Ａ４４についての変化量が再度しきい値Ｔｈ１を越えた場合には、基準パッチＰ０およびパッチＰ１内の全領域について、相関値がしきい値Ｔｈ１以下となるまで、相関値がしきい値Ｔｈ１を越えた矩形領域に対応する基準パッチＰ０およびパッチＰ１の領域について、段階的に分割数を増加して対応関係の推定、座標変換フレームの取得、相関値の算出および変化量の算出を行う。
【０１０７】
次いで、第２の実施の形態の動作について説明する。図１２は、第２の実施形態において行われる処理を示すフローチャートである。まず、サンプリング手段１に動画像データＭ０が入力され（ステップＳ２１）、ここで、動画像データＭ０から基準フレームＦｒＮおよびフレームＦｒＮ＋１がサンプリングされる（ステップＳ２２）。続いて、対応関係推定手段２により、基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係が推定される（ステップＳ２３）。
【０１０８】
そして、推定された対応関係に基づいて、座標変換手段３によりフレームＦｒＮ＋１が基準フレームＦｒＮの座標空間に変換されて座標変換フレームＦｒＴｉが取得される（ステップＳ２４）。そして、相関値算出手段４により座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相関値が矩形領域毎に算出される（ステップＳ２５）。
【０１０９】
続いて、相関値が基準パッチＰ０およびパッチＰ１の０段階目の分割数すなわち初期の分割数において算出されたものであるか否かが判定され（ステップＳ２６）、ステップＳ２６が肯定されると、基準パッチＰ０およびパッチＰ１の分割数が１段階増加され（ステップＳ２７）、ステップＳ２３に戻り、増加された分割数によりステップＳ２３からステップＳ２５の処理が繰り返され、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相関値が矩形領域毎に算出される。
【０１１０】
増加された分割数により相関値が算出されるとステップＳ２６が否定され、１つ前の分割数により算出された相関値と現在の分割数により算出された相関値との変化量が矩形領域毎に算出される（ステップＳ２８）。そして、比較手段６により複数の矩形領域のうちの１の矩形領域（小さい方の分割数に対応するもの）について、矩形領域毎の変化量がしきい値Ｔｈ１以下であるか否かが判定される（ステップＳ２９）。
【０１１１】
ステップＳ２９が否定されると、その矩形領域について基準パッチＰ０およびパッチＰ１の分割数が１段階増加され（ステップＳ３０）、後述するステップＳ３２に進む。一方、ステップＳ２９が肯定されると、その矩形領域についてはその変化量を算出した２つの相関値の分割数のうち小さい方の分割数が合成分割数に決定される（ステップＳ３１）。そして全ての矩形領域についてステップＳ２９の判定が終了したか否かが判定され（ステップＳ３２）、ステップＳ３２が否定されると次の矩形領域に判定の対象が変更され（ステップＳ３３）、ステップＳ２９に戻りそれ以降の処理が繰り返される。
【０１１２】
ステップＳ３２が肯定されると、基準パッチＰ０およびパッチＰ１内の全領域について合成分割数が決定されたか否かが判定され（ステップＳ３４）、ステップＳ３４が否定されるとステップＳ２３に戻り、基準パッチＰ０およびパッチＰ１内において合成分割数が決定されていない領域についてのみ、ステップＳ２３以降の処理が繰り返される。一方、ステップＳ３４が肯定されると、決定された合成分割数により推定された対応関係に基づいて、合成手段７により基準フレームＦｒＮおよびフレームＦｒＮ＋１から合成フレームＦｒＧが作成され（ステップＳ３５）、処理を終了する。
【０１１３】
このように、第２の実施形態においては、合成フレームＦｒＧの作成に用いる対応関係を矩形領域毎に決定しているため、基準パッチおよびパッチ内における分割された矩形領域に対応する領域単位で合成フレームＦｒＧが作成されることとなる。このため、フレーム内の各部分に含まれる被写体の動きに追随した最適な分割数により合成フレームＦｒＧを作成することができ、これにより、フレームに含まれる被写体の動きに拘わらず、より高画質の合成フレームＦｒＧを得ることができる。
【０１１４】
なお、上記第２の実施形態においては、基準パッチＰ０およびパッチＰ１内の全領域について、分割により得られる全ての矩形領域についての変化量がしきい値Ｔｈ１以下となるまで分割数を段階的に増加しているが、各分割の段階において得られる全ての矩形領域についての変化量の代表値（例えば変化量の平均値、メディアン値、最大値および最小値等）が、所定のしきい値（Ｔｈ２とする）以下となったときの基準パッチＰ０およびパッチＰ１内の領域の分割数を合成分割数と決定してもよい。
【０１１５】
また、上記第２の実施形態においては、基準パッチＰ０およびパッチＰ１内の全領域について分割により得られる全ての矩形領域についての変化量がしきい値Ｔｈ１以下となるまで分割数を段階的に増加しているが、１つの矩形領域について変化量がしきい値Ｔｈ１以下となったときの基準パッチＰ０およびパッチＰ１内の矩形領域の分割数を合成分割数と決定してもよい。例えば、２×２に分割した初期の段階において１つの矩形領域（例えばＡ１）においてのみ変化量Δｄ０１がしきい値Ｔｈ１以下となった場合には２×２を合成分割数とすればよい。
【０１１６】
また、変化量がしきい値Ｔｈ１以下となる矩形領域の基準パッチＰ０およびパッチＰ１内の領域に占める割合が所定の割合（例えば５０％）以上となった場合における分割数を合成分割数と決定してもよい。例えば図１３に示すように分割数が４×４の場合において、１６の矩形領域のうち斜線で示す９の矩形領域について変化量がしきい値Ｔｈ１以下となった場合に、４×４を合成分割数と決定してもよい。
【０１１７】
また、基準パッチＰ０およびパッチＰ１において、人物の顔や複雑なテクスチャ等の主要な被写体が含まれる領域あるいは主要な被写体が含まれる可能性が高い中央付近の領域（以下主要領域とする）に位置する矩形領域について、変化量がしきい値Ｔｈ１以下となったときの基準パッチＰ０およびパッチＰ１内の矩形領域の分割数を合成分割数と決定してもよい。例えば、図１４に示すように分割数が４×４の場合において、中央付近の４つの矩形領域が人物の顔の部分に位置する場合には、この４つの矩形領域についてのみ変化量がしきい値Ｔｈ１以下となったときの分割数を合成分割数と決定すればよい。なお、この場合、主要領域に位置する矩形領域について算出された変化量の平均値を算出し、この平均値をしきい値Ｔｈ１と比較するようにしてもよい。
【０１１８】
また、変化量の平均値を算出する場合、下記の式（１９）に示すように、主要領域に位置する各矩形領域における主要な被写体が占める割合に応じて、各矩形領域において算出された変化量を重み付けし、重み付けした変化量の平均値Δｄｍを算出してもよい。  
【数１２】
2004236291.tif 000014
【０１１９】
但し、Δｄ０ｉ：各矩形領域の変化量
Ｓｉ：各矩形領域において主要被写体の割合に比例して増加する重み係数
また、上記第２の実施形態においては、分割の各段階において得られる全ての矩形領域について変化量をしきい値Ｔｈ１と比較しているが、基準パッチＰ０およびパッチＰ１内の局所的な領域において、変化量が非常に大きく、その領域については分割数を大きくしても分割の各段階において得られる矩形領域についての変化量がしきい値Ｔｈ１以下とならないような場合がある。このため、基準パッチＰ０およびパッチＰ１における初期の分割数（２×２）において、矩形領域についての変化量をあらかじめ定めた一定値と比較し、変化量が一定値を超える場合には、その矩形領域についてはそれ以降は変化量の算出には使用しないようにしてもよい。これにより、演算量を低減して処理を高速に行うことができる。なお、一定値はしきい値Ｔｈ１の数倍の値とすればよい。
【０１２０】
また、上記第１および第２の実施形態において、分割数に応じて変化量と比較するしきい値Ｔｈ１を変化させるようにしてもよい。具体的には、図１５に示すように分割数が一定値（ここでは２8）までは変化せず、一定値を超えると分割数が増加するに応じて大きくなるようにしきい値Ｔｈ１を変化させればよい。これにより、分割数を適切に設定することができる。なお、分割数が一定値を超えた場合にしきい値Ｔｈ１を大きくするのは、分割数があまりに大きくなると矩形領域が小さくなりすぎて、似たような画像を表す矩形領域が多く存在することとなり、却って被写体の移動および／または変形にパッチの移動および／または変形が追随できない場合があるからである。
【０１２１】
なお、上記第１および第２の実施形態においては、基準フレームＦｒＮおよびフレームＦｒＮ＋１の輝度色差成分Ｙ，Ｃｂ，Ｃｒ毎に合成フレームＦｒＧを取得しているが、輝度成分Ｙについてのみ合成フレームＦｒＧを取得し、色差成分Ｃｂ，Ｃｒについては、基準フレームＦｒＮの色差成分Ｃｂ，Ｃｒを線形補間して色差成分の合成フレームを求めてもよい。
【０１２２】
また、フレームＦｒＮ，ＦｒＮ＋１がＲＧＢの色データからなる場合には、ＲＧＢ各色データ毎に処理を行って合成フレームＦｒＧを作成してもよい。
【０１２３】
また、上記第１および第２の実施形態においては、輝度色差成分Ｙ，Ｃｂ，Ｃｒ毎に相関値ｄｉを算出しているが、下記の式（２０）に示すように、例えば相関値ｄｉについて、輝度成分の相関値ｄｉＹ、色差成分の相関値ｄｉＣｂ，ｄｉＣｒを重み係数ａ１，ｂ１，ｃ１により重み付け加算することにより、１の相関値ｄｉ′を算出し、このように算出された相関値ｄｉ′および分割数を１段階増加した相関値ｄｉ＋１′から変化量Δｄｉ′を算出してもよい。  
【数１３】
2004236291.tif 000015
【０１２４】
また、下記の式（２１）に示すように、座標変換フレームＦｒＴｉの輝度成分ＦｒＴｉＹ（ｘ，ｙ）および色差成分ＦｒＴｉＣｂ（ｘ，ｙ），ＦｒＴｉＣｒ（ｘ，ｙ）と、基準フレームＦｒＮのＦｒＮＹ（ｘ，ｙ）および色差成分ＦｒＮＣｂ（ｘ，ｙ），ＦｒＮＣｒ（ｘ，ｙ）との重み係数ａ２，ｂ２，ｃ２を用いたユークリッド距離を基準パッチＰ０内の各画素毎に算出し、これを各画素の相関値ｄｉ″（ｘ，ｙ）とし、第１の実施形態においてはこの相関値ｄｉ″（ｘ，ｙ）の基準パッチＰ０内の全画素についての平均値を、第２の実施形態においてはこの相関値ｄｉ″（ｘ，ｙ）の各矩形領域内の全画素についての平均値を、分割数を決定するための変化量を算出する相関値としてもよい。  
【数１４】
2004236291.tif 000016
【０１２５】
また、上記第１および第２の実施形態においては、２つのフレームＦｒＮ，ＦｒＮ＋１から合成フレームＦｒＧを作成しているが、３以上の複数のフレームから合成フレームＦｒＧを作成してもよい。例えば、第１の実施形態において、３以上のＴ個のフレームＦｒＮ＋ｔ′（０≦ｔ′≦Ｔ−１）から合成フレームＦｒＧを作成する場合、基準フレームＦｒＮ（＝ＦｒＮ＋０）以外の他のフレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）のそれぞれについて、基準フレームＦｒＮとの対応関係を推定し、さらに推定された対応関係に応じて座標変換フレームを取得し、座標変換フレームと基準フレームＦｒＮとの相関値を算出する。そして分割数を１段階増加した相関値との変化量を算出し、変化量がしきい値Ｔｈ１以下となるまで対応関係の推定、座標変換フレームの取得、相関値の算出および変化量の算出を行い、変化量がしきい値Ｔｈ１以下となったときの分割数により推定された対応関係に基づいて合成フレームを作成する。この合成フレームを中間合成フレームＦｒＧｔとする。なお、中間合成フレームＦｒＧｔの統合画像の整数座標における画素値をＦｒＧｔ（ｘ＾，ｙ＾）とする。
【０１２６】
そして、全ての他のフレームＦｒＮ＋ｔについて中間合成フレームＦｒＧｔを取得し、下記の式（２２）により中間合成フレームＦｒＧｔを対応する画素同士で加算することにより、画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを作成する。  
【数１５】
2004236291.tif 000017
【０１２７】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値または基準フレームの画素値（割り当てられていない座標に対応する）に対して線形補間演算、スプライン補間演算等の種々の補間演算を施して、画素値が割り当てられなかった整数座標の画素値を算出すればよい。
【０１２８】
また、３以上の複数のフレームから合成フレームＦｒＧを作成する場合において、中間合成フレームＦｒＧｔを取得する際に、上記第２の実施形態と同様に、パッチを構成する矩形領域毎に変化量を算出し、矩形領域に対応する領域単位で推定された対応関係に基づいて中間合成フレームＦｒＧｔを作成してもよい。
【０１２９】
また、上記実施形態においては、変化量Δｄｉを算出した２つの相関値ｄｉ，ｄｉ＋１を算出した分割数のうち、小さい方の相関値ｄｉを算出した分割数を合成分割数としているが、大きい方の相関値ｄｉ＋１を算出した分割数を合成分割数として合成フレームＦｒＧを作成してもよい。
【図面の簡単な説明】
【０１３０】
【図１】本発明の第１の実施形態による動画像合成装置の構成を示す概略ブロック図
【図２】フレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の推定を説明するための図
【図３】パッチの変形を説明するための図
【図４】パッチＰ１と基準パッチＰ０との対応関係を説明するための図
【図５】双１次内挿を説明するための図
【図６】分割数が異なるパッチを示す図
【図７】フレームＦｒＮ＋１の統合画像への割り当てを説明するための図
【図８】統合画像における整数座標の画素値の算出を説明するための図
【図９】第１の実施形態において行われる処理を示すフローチャート
【図１０】本発明の第２の実施形態において行われる処理を説明するための図（その１）
【図１１】本発明の第２の実施形態において行われる処理を説明するための図（その２）
【図１２】第２の実施形態において行われる処理を示すフローチャート
【図１３】本発明の第２の実施形態において行われる他の処理を説明するための図（その１）
【図１４】本発明の第２の実施形態において行われる他の処理を説明するための図（その２）
【図１５】分割数としきい値との関係を示す図
【符号の説明】
【０１３１】
１    サンプリング手段
２    対応関係推定手段
３    座標変換手段
４    相関値算出手段
５    変化量算出手段
６    比較手段
７    合成手段
【図１】
2004236291.tif 000018
【図２】
2004236291.tif 000019
【図３】
2004236291.tif 000020
【図４】
2004236291.tif 000021
【図５】
2004236291.tif 000022
【図６】
2004236291.tif 000023
【図７】
2004236291.tif 000024
【図８】
2004236291.tif 000025
【図９】
2004236291.tif 000026
【図１０】
2004236291.tif 000027
【図１１】
2004236291.tif 000028
【図１２】
2004236291.tif 000029
【図１３】
2004236291.tif 000030
【図１４】
2004236291.tif 000031
【図１５】
2004236291.tif 000032