(57)【要約】【課題】動画像の連続する複数のフレームをサンプリングして、合成フレームを作成する際に、基準フレームを便利かつ適切に決定する。【解決手段】抽出制御手段１４は、動画像データＭ０の画像種類に応じて第１の抽出手段１６または、第１の抽出手段１６と第２の抽出手段１８に重要シーンを構成するフレーム群を抽出させる。基準フレーム決定手段２０は、抽出された重要シーンを構成する各々のフレーム群に対して、各フレーム群の中心フレームを、この中心フレームを有するフレーム群の基準フレームとして決定する。対応関係求出手段２は、各フレーム群に対して、フレーム群毎に基準フレームの画素および他のフレームの画素の対応関係を求める。求められた対応関係に基づいて、フレーム群毎に合成フレームＦｒＧが作成される。【選択図】　　　　　図２
2004120628.tif 000002
【特許請求の範囲】
【請求項１】
動画像から１つ以上の重要シーンを夫々構成するフレーム群を抽出し、
該フレーム群を構成する複数のフレームのうち、略中心に位置する１つのフレームを前記重要シーンの基準フレームとして決定し、
前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、
該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、
該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、
該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求め、
求められた前記対応関係に基づいて前記複数のフレームから合成フレームを作成することを特徴とする動画像合成方法。
【請求項２】
動画像から１つ以上の重要シーンを夫々構成するフレーム群を抽出し、
該フレーム群を構成する複数のフレームの夫々の高周波成分を抽出し、
前記フレーム毎に前記高周波成分の総和を求め、
前記高周波成分の総和が最も高いフレームを前記重要シーンの基準フレームとして決定し、
前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、
該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、
該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、
該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求め、
求められた前記対応関係に基づいて前記複数のフレームから合成フレームを作成することを特徴とする動画像合成方法。
【請求項３】
前記動画像の隣接するフレーム間の相関を求め、
前記相関が高い連続するフレームの集合を、前記重要シーンを構成するフレーム群として抽出することを特徴とする請求項１または２記載の動画像合成方法。
【請求項４】
前記動画像の隣接するフレーム間の相関を求め、
前記相関が高い連続するフレームの集合を、仮重要シーンを構成するフレーム群として抽出し、
隣接しない各前記仮重要シーン間の相関を夫々求め、
前記相関が高く、かつ最も近い２つの前記仮重要シーンに挟まれたフレーム群を、前記重要シーンを構成するフレーム群として抽出することを特徴とする請求項１または２記載の動画像合成方法。
【請求項５】
動画像から１つ以上の重要シーンを夫々構成するフレーム群を抽出する重要シーン抽出手段と、
該フレーム群を構成する複数のフレームのうち、略中心に位置する１つのフレームを前記重要シーンの基準フレームとして決定する基準フレーム決定手段と、
前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出手段と、
求められた前記対応関係に基づいて前記複数のフレームから合成フレームを作成するフレーム統合手段とを備えてなるものであることを特徴とする動画像合成装置。
【請求項６】
動画像から１つ以上の重要シーンを夫々構成するフレーム群を抽出する重要シーン抽出手段と、
該フレーム群を構成する複数のフレームの夫々の高周波成分を抽出し、前記フレーム毎に前記高周波成分の総和を求め、前記高周波成分の総和が最も高いフレームを前記重要シーンの基準フレームとして決定する基準フレーム決定手段と、
前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出手段と、
求められた前記対応関係に基づいて前記複数のフレームから合成フレームを作成するフレーム統合手段とを備えてなるものであることを特徴とする動画像合成装置。
【請求項７】
前記重要シーン抽出手段が、前記動画像の隣接するフレーム間の相関を求める相関算出手段を備え、
該相関算出手段により求められた前記相関が高い連続するフレームの集合を前記重要シーンを構成するフレーム群として抽出するものであることを特徴とする請求項５または６記載の動画像合成装置。
【請求項８】
前記重要シーン抽出手段が、前記動画像の隣接するフレーム間の相関を求める第１の相関算出手段と、
該第１の相関算出手段により算出された前記相関が高い連続するフレームの集合を、仮重要シーンを構成するフレーム群として抽出する仮重要シーン抽出手段と、
隣接しない各前記仮重要シーン間の相関を夫々求める第２の相関算出手段とを備え、
該第２の相関算出手段により算出された前記相関が高く、かつ最も近い２つの前記仮重要シーンに挟まれたフレーム群を、前記重要シーンを構成するフレーム群として抽出するものであることを特徴とする請求項５または６記載の動画像合成装置。
【請求項９】
請求項７記載の重要シーン抽出手段と請求項８記載の重要シーン抽出手段とを備え、
該両重要シーン抽出手段から重要シーン抽出手段を選択する選択手段を備えたことを特徴とする請求項５または６記載の動画像合成装置。
【請求項１０】
動画像から１つ以上の重要シーンを夫々構成するフレーム群を抽出する重要シーン抽出処理と、
該フレーム群を構成する複数のフレームのうち、略中心に位置する１つのフレームを前記重要シーンの基準フレームとして決定する基準フレーム決定処理と、
前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出処理と、
求められた前記対応関係に基づいて前記複数のフレームから合成フレームを作成するフレーム統合処理とをコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
動画像から１つ以上の重要シーンを夫々構成するフレーム群を抽出する重要シーン抽出処理と、
該フレーム群を構成する複数のフレームの夫々の高周波成分を抽出し、前記フレーム毎に前記高周波成分の総和を求め、前記高周波成分の総和が最も高いフレームを前記重要シーンの基準フレームとして決定する基準フレーム決定処理と、
前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出処理と、
求められた各々の前記対応関係に基づいて前記複数のフレームから合成フレームを作成するフレーム統合処理とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の連続する複数のフレームを統合して、これら複数のフレームよりも高解像度の合成フレームを作成することができる動画像合成方法および装置並びに動画像合成方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年、デジタルビデオカメラの普及により、動画像を１フレーム単位で扱うことが可能となっている。このような動画像のフレームをプリント出力する際には、画質を向上させるためにフレームを高解像度にする必要がある。このため、動画像から複数のフレームをサンプリングし、サンプリングした複数のフレームを統合することにより、これらのフレームよりも高解像度の１の合成フレームを作成する方法が提案されている。
【０００３】
動画像の複数のフレームを統合する際に必要とされるのは、動領域における各フレーム間の画素の対応関係を求めることである。これには通常、ブロックマッチング法や勾配法が用いられるが、従来のブロックマッチング法は、ブロック内の動き量が同一方向であることを仮定したものであるため、回転、拡大、縮小、変形といった様々な動きに対応する柔軟性に欠けている上に、処理時間がかかり、実用的ではないという問題がある。一方、勾配法は、従来のブロックマッチング法と比較して安定に解を求めることができないという問題がある。これらの問題を克服した方法としては、統合される複数のフレームのうちの１つのフレームを基準フレームとし、基準フレームに１または複数の矩形領域からなる基準パッチを、基準フレーム以外の他のフレームに基準パッチと同様のパッチを配置し、パッチ内の画像が基準パッチ内の画像と一致するようにパッチを他のフレーム上において移動および／または変形し、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレーム上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係を求めて複数フレームを精度よく合成する方法が提案されている（非特許文献１参照）。
【０００４】
非特許文献１の方法においては、基準フレームと他のフレームとの対応関係を求め、求めた後、他のフレームと基準フレームとを、最終的に必要な解像度を有する統合画像上に割り当てることにより、高精細な合成フレームを得ることができる。
【０００５】
【非特許文献１】
「フレーム間統合による高精細ディジタル画像の獲得」，中沢祐二、小松隆、斉藤隆弘，テレビジョン学会誌，１９９５年，Ｖｏｌ．４９，Ｎｏ．３，ｐ２９９−３０８
【０００６】
【発明が解決しようとする課題】
しかし、非特許文献１に記載された方法においては、動画像から複数のフレームをサンプリングする際に、基準フレームを１つまたは複数指定し、基準フレーム毎にこの基準フレームを含む所定の範囲のフレームをサンプリングするようにしている。基準フレームの指定は、操作者の手動によって設定されるようになっているため、操作者に画像処理の知識を要求すると共に、手間がかかるという問題がある。また、操作者の手動により設定されるので、操作者の主観が入り、必ずしも客観的に適切な基準フレームを決定することができず、合成フレームの品質に悪い影響を与えてしまうという問題がある。また、操作者の判断により基準フレームが設定されるので、必ずしも撮像者の意図を反映することができないため、撮像者が欲しいシーンの合成フレームが作成されないという問題もある。
【０００７】
本発明は、上記事情を鑑みなされたものであり、動画像の複数のフレームを統合して合成フレームを作成する際に、撮像者の意図を反映した、客観的に適切な基準フレームを簡単に決定し、品質の良い合成フレームを作成することが可能な動画像合成方法および装置並びにプログラムを提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明の第１の動画像合成方法は、動画像から１つ以上の重要シーンを夫々構成するフレーム群を抽出し、
該フレーム群を構成する複数のフレームのうち、略中心に位置する１つのフレームを前記重要シーンの基準フレームとして決定し、
前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、
該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、
該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、
該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求め、
求められた前記対応関係に基づいて前記複数のフレームから合成フレームを作成することを特徴とするものである。
【０００９】
ここで、「重要シーン」とは、前記動画像において合成フレームを作成すべきシーンのことを意味し、具体的には、例えば、撮像者が撮像する際に興味のあるシーンに対してカメラを動かさずに比較的に長い時間（例えば数秒間）を撮像を行う傾向から、比較的に長い時間に略同様の内容を有するフレームが続いたシーンを重要シーンとすることができる一方、防犯カメラにより取得された動画像の場合には、逆に長時間（何分間乃至何時間）の同じ内容が続いたシーンの間に、短時間（数秒間）のみ異なるシーン（例えば侵入者を撮像したシーンなど）が含まれている箇所を重要シーンとすることができる。
【００１０】
本発明の第２の動画像合成方法は、動画像から１つ以上の重要シーンを夫々構成するフレーム群を抽出し、
該フレーム群を構成する複数のフレームの夫々の高周波成分を抽出し、
前記フレーム毎に前記高周波成分の総和を求め、
前記高周波成分の総和が最も高いフレームを前記重要シーンの基準フレームとして決定し、
前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、
該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、
該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、
該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求め、
求められた前記対応関係に基づいて前記複数のフレームから合成フレームを作成することを特徴とするものである。
【００１１】
すなわち、本発明の第１の動画像合成方法は、抽出されたフレーム群を構成する複数のフレームのうち、時系列的に中心または中心近傍に位置するフレームを基準フレームとして決定するものであることに対して、本発明の第２の画像合成方法は、抽出されたフレーム群を構成する複数のフレームのうち、高周波成分の総和が最も高いフレームを基準フレームして決定するものである。
【００１２】
本発明の第１および第２の動画像合成方法において、前記重要シーンを抽出する際に、前記動画像の隣接するフレーム間の相関を求め、
前記相関が高い連続するフレームの集合を、前記重要シーンを構成するフレーム群として抽出することができる。
【００１３】
ここで、「相関が高い」とは、相関が所定の閾値より高いことを意味し、この所定の閾値は、予め決められた所定の値を用いてもよいし、操作者によって設定可能にしてもよい。
【００１４】
また、隣接するフレーム間の相関を求める方法として、例えば、前記フレーム群を構成する各々のフレームの輝度成分Ｙについてヒストグラムを求め、このヒストグラムを用いて隣接するフレーム間のユーグリッド距離を計算して、このユーグリッド距離が所定の閾値より小さいとき、相関が高いとするようにしてもよいし、輝度色差成分Ｙ，Ｃｂ，Ｃｒの各成分のヒストグラムを求め、隣接するフレーム間の夫々の成分についてユーグリッド距離を求め、各成分のユーグリッド距離の和を計算し、このユーグリッド距離の和が所定の閾値より小さいとき、相関が高いとするようにしてもよい。さらに、隣接するフレームの対応する各々の画素間の画素値の差分を求め、各々の差分の絶対値の和を求め、この絶対値の和が所定の閾値より小さいとき、該隣接するフレーム間の相関が高いとするようにしてもよい。
【００１５】
本発明の第１および第２の動画像合成方法において、前記重要シーンを抽出する際に、前記動画像の隣接するフレーム間の相関を求め、
前記相関が高い連続するフレームの集合を、仮重要シーンを構成するフレーム群として抽出し、
隣接しない各前記仮重要シーン間の相関を夫々求め、
前記相関が高く、かつ最も近い２つの前記仮重要シーンに挟まれたフレーム群を、前記重要シーンを構成するフレーム群として抽出するようにしてもよい。
【００１６】
ここで、「仮重要シーン間の相関」とは、前記仮重要シーンを構成するフレーム群間の相関を意味し、相関が求められる２つの仮重要シーン間の相関を表すことができればいかなるものであってもよく、例えば、片方の重要シーンを構成するフレーム群の各フレームと、他方の重要シーンを構成するフレーム群の各フレームとの相関を夫々求め、これらの相関の総和を２つの重要シーン間の相関としてもよいし、処理時間を短縮するために、２つの仮重要シーンを夫々構成するフレーム群の複数のフレームのうちの代表フレーム間の相関を求め、この相関を同該２つの仮重要シーン間の相関とするようにしてもよい。なお、仮重要シーンの代表フレームは、この仮重要シーンの略中心に位置するフレームとすることができる。
【００１７】
本発明の第１の動画像合成装置は、動画像から１つ以上の重要シーンを夫々構成するフレーム群を抽出する重要シーン抽出手段と、
該フレーム群を構成する複数のフレームのうち、略中心に位置する１つのフレームを前記重要シーンの基準フレームとして決定する基準フレーム決定手段と、前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出手段と、
求められた前記対応関係に基づいて前記複数のフレームから合成フレームを作成するフレーム統合手段とを備えてなるものであることを特徴とするものである。
【００１８】
本発明の第２の動画像合成装置は、動画像から１つ以上の重要シーンを夫々構成するフレーム群を抽出する重要シーン抽出手段と、
該フレーム群を構成する複数のフレームの夫々の高周波成分を抽出し、前記フレーム毎に前記高周波成分の総和を求め、前記高周波成分の総和が最も高いフレームを前記重要シーンの基準フレームとして決定する基準フレーム決定手段と、前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出手段と、
求められた前記対応関係に基づいて前記複数のフレームから合成フレームを作成するフレーム統合手段とを備えてなるものであることを特徴とするものである。
【００１９】
本発明の第１および第２の動画像合成装置における前記重要シーン抽出手段は、前記動画像の隣接するフレーム間の相関を求める相関算出手段を備え、
該相関算出手段により求められた前記相関が高い連続するフレームの集合を前記重要シーンを構成するフレーム群として抽出するものすることができる。
【００２０】
また、前記重要シーン抽出手段は、前記動画像の隣接するフレーム間の相関を求める第１の相関算出手段と、
該第１の相関算出手段により算出された前記相関が高い連続するフレームの集合を、仮重要シーンを構成するフレーム群として抽出する仮重要シーン抽出手段と、
隣接しない各前記仮重要シーン間の相関を夫々求める第２の相関算出手段とを備え、
該第２の相関算出手段により算出された前記相関が高く、かつ最も近い２つの前記仮重要シーンに挟まれたフレーム群を、前記重要シーンを構成するフレーム群として抽出するものとしてもよい。
【００２１】
本発明の第３の動画像合成装置は、請求項７記載の重要シーン抽出手段と請求項８記載の重要シーン抽出手段とを請求項５または請求項６記載の動画像合成装置に備えてなり、該両重要シーン抽出手段から重要シーン抽出手段を選択する選択手段を備えたことが好ましい。
【００２２】
本発明の第１のプログラムは、動画像から１つ以上の重要シーンを夫々構成するフレーム群を抽出する重要シーン抽出処理と、
該フレーム群を構成する複数のフレームのうち、略中心に位置する１つのフレームを前記重要シーンの基準フレームとして決定する基準フレーム決定処理と、前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出処理と、
求められた前記対応関係に基づいて前記複数のフレームから合成フレームを作成するフレーム統合処理とをコンピュータに実行させることを特徴とするものである。
【００２３】
本発明の第２のプログラムは、動画像から１つ以上の重要シーンを夫々構成するフレーム群を抽出する重要シーン抽出処理と、
該フレーム群を構成する複数のフレームの夫々の高周波成分を抽出し、前記フレーム毎に前記高周波成分の総和を求め、前記高周波成分の総和が最も高いフレームを前記重要シーンの基準フレームとして決定する基準フレーム決定処理と、
前記基準フレーム上に１つまたは複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを前記複数のフレームのうちの他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と略一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレームの夫々のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を夫々求める対応関係求出処理と、
求められた各々の前記対応関係に基づいて前記複数のフレームから合成フレームを作成するフレーム統合処理とをコンピュータに実行させることを特徴とするものである。
【００２４】
【発明の効果】
本発明の動画像合成方法および装置によれば、動画像から重要シーンを構成するフレーム群を抽出し、これらのフレーム群を構成する複数のフレームのうちの中心フレームまたは最もピントが合ったフレームを該当するフレーム群の基準フレームとして決定しているので、操作者によって手動で基準フレームを設定する必要がなく、便利である。また、複数のフレームをサンプリングする際に、基準フレームを指定してから該基準フレームを含む所定の範囲のフレームをサンプリングする方法とは異なり、動画像データに含まれた重要シーンを構成するフレーム群を抽出して基準フレームを決定するようにして、各重要シーン毎に合成フレームを作成しているので、撮像者の意図を反映させることができる。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【００２６】
図１は、本発明の第１の実施形態となる動画像合成装置Ａの構成を示すブロック図である。図１に示すように、本実施形態による動画像合成装置Ａは、入力された動画像データＭ０から１つ以上の重要シーンを構成するフレーム群を抽出すると共に、各フレーム群に対して、そのフレーム群を構成する複数のフレームから１つの基準となる基準フレームを決定するサンプリング手段１と、サンプリング手段１により抽出された各フレーム群に対して、そのフレーム群の基準フレームの画素および基準フレーム以外の他のフレームの画素の対応関係を求める対応関係求出手段２と、対応関係求出手段２によりフレーム毎に求められた対応関係に基づいて、各フレーム群に対して基準フレーム以外の他のフレームを夫々基準フレームの座標空間上に座標変換して座標変換済みフレームを取得する座標変換手段３と、対応関係求出手段２においてフレーム群毎に求められた対応関係に基づいて、各フレーム群に対して、基準フレーム以外の他のフレームに対して補間演算を施して各フレームよりも解像度が高い第１の補間フレームをフレーム群毎に取得する時空間補間手段４と、基準フレームに対して補間演算を施して各フレームよりも解像度が高い第２の補間フレームをフレーム群毎に取得する空間補間手段５と、フレーム群毎に、そのフレーム群の夫々の座標変換済みフレームと基準フレームとの相関を表す相関値を算出する相関値算出手段６と、フレーム群毎に、そのフレーム群の第１の補間フレームと第２の補間フレームとを重み付け加算するための重み係数を相関値算出手段６において算出された相関値に基づいて算出する重み算出手段７と、重み算出手段７において算出されたフレーム群毎の重み係数に基づいて、フレーム毎に第１および第２の補間フレームを重み付け加算して、各フレーム群に対して合成フレームＦｒＧを取得する合成手段８とを備える。なお、座標変換手段３と、時空間補間手段４と、空間補間手段５と、相関値算出手段６と、重み算出手段７と、合成手段８とは、請求項記載のフレーム統合手段に当たるものである。
【００２７】
図２は、図１に示す動画像合成装置Ａにおけるサンプリング手段１の構成を示すブロック図である。図２に示すように、サンプリング手段１は、動画像データＭ０が「通常画像」なのか「防犯画像」なのかを入力させるための画像種類入力手段１２と、画像種類入力手段１２により入力された動画像データＭ０の画像種類に基づいて、後述する第１の抽出手段１６と第２の抽出手段１８の動作を制御する抽出制御手段１４と、動画像データＭ０の隣接するフレーム間の相関を求め、この相関が高い連続するフレームの集合を第１のフレーム群として夫々抽出して後述する基準フレーム決定手段２０または第２の抽出手段１８に出力する第１の抽出手段１６と、第１の抽出手段１６により抽出された各第１のフレーム群に対して、隣接しない各第１のフレーム群の中心に位置する中心フレーム間の相関を求め、この相関が高く、かつ最も近い２つの第１のフレーム群に挟まれた第１のフレーム群を第２のフレーム群として夫々抽出して基準フレーム決定手段２０に出力する第２の抽出手段１８と、第１の抽出手段１６または第２の抽出手段１８により出力されてきた各フレーム群に対して、フレーム群の中心に位置するフレームをそのフレーム群の基準フレームとして決定する基準フレーム決定手段２０とを備えてなるものである。
【００２８】
抽出制御手段１４は、具体的には、画像種類入力手段１２により入力された動画像データＭ０の種類が「通常画像」であるとき、第１の抽出手段１６にフレーム群の抽出を行わせると共に、抽出された第１のフレーム群を基準フレーム決定手段２０に出力させる一方、入力された動画像データＭ０の種類が「防犯画像」であるとき、第１の抽出手段１６にフレーム群の抽出を行わせると共に、抽出された第１のフレーム群を第２の抽出手段１８に出力させ、第２の抽出手段１８に第１のフレーム群から第２のフレーム群を抽出させて基準フレーム決定手段２０に出力させる。
【００２９】
図３（ａ）は、図２に示すサンプリング手段１における第１の抽出手段１６の構成を示すブロック図であり、図３（ｂ）は、第１の抽出手段１６により動画像データＭ０に対して抽出したフレーム群を示す図である。
【００３０】
図３（ａ）に示すように、第１の抽出手段１６は、動画像データＭ０の隣接するフレーム間の相関を求める第１の相関算出手段３２と、この相関が高い連続するフレームの集合を第１のフレーム群として夫々抽出第１のサンプリング実行手段３４とを備えてなるものである。第１の相関取得手段３２は、具体的には、動画像データＭ０の各フレームの輝度成分Ｙについてヒストグラムを求め、このヒストグラムを用いて隣接するフレーム間のユーグリッド距離を算出して隣接するフレーム間の相関値とするものである。第１のサンプリング実行手段３４は、第１の相関取得手段３２により取得した各隣接するフレーム同士間の相関値に基づいて、この相関値が所定の閾値より小さい（すなわち、相関が所定の閾値より高い）連続するフレームの集合を第１のフレーム群として図３（ｂ）に示す例のフレーム群Ｇ１，Ｇ２，．．．Ｇ７のように夫々抽出する。
【００３１】
図４は、図２に示すサンプリング手段１における第２の抽出手段１８の構成を示すブロック図である。第２の抽出手段１８は、動画像データＭ０が「防犯画像」であるとき、第１の抽出手段１６により抽出された第１のフレーム群から第２のフレーム群を抽出するものであり、図示のように、第２の抽出手段１８は、第１の抽出手段１６により抽出された各第１のフレーム群（図３（ｂ）のＧ１，Ｇ２，．．．Ｇ７）に対して、隣接しない各第１のフレーム群の中心に位置する中心フレーム間（図３（ｂ）の例では、Ｇ１とＧ３、Ｇ１とＧ４、Ｇ１とＧ５、Ｇ１とＧ６、Ｇ１とＧ７、Ｇ２とＧ４、Ｇ２とＧ５、Ｇ２とＧ６、Ｇ２とＧ７、．．．Ｇ４とＧ６、Ｇ４とＧ７、Ｇ５とＧ７の中心フレーム間）の輝度成分Ｙについてユーグリッド距離を求め、この中心フレーム間のユーグリッド距離を夫々の中心フレームが属する第１のフレーム群間の相関値とする第２の相関手段３６と、第２の相関取得手段３６により取得された各々の相関値に基づいて、この相関値が所定の閾値より小さい（すなわち、相関が所定の閾値より高い）かつ最も近い２つの第１のフレーム群に挟まれた第１のフレーム群を第２のフレーム群として夫々抽出する。例えば、図３（ｂ）に示す各第１のフレーム群に対して、隣接しない第１のフレーム群間の相関を求めた結果、相関が高く、かつ最も近いフレーム群は、Ｇ１とＧ３、Ｇ４とＧ７の２つのペアであれば、Ｇ１とＧ３に挟まれたＧ２、Ｇ４とＧ７に挟まれた（Ｇ５＋Ｇ６）は第２のフレーム群として抽出される。
【００３２】
ここで、第１のフレーム群と第２のフレーム群の性質について説明する。撮像者により撮像を行う際に、通常、自分の興味のあるシーンに対してカメラを動かさずに比較的に長い時間（例えば数秒間）を撮像を行う傾向から、比較的に長い時間に略同様の内容を有するフレームが続いたシーンを通常の動画像画像データにおける重要シーンとすることができる。すなわち、図１に示す動画像合成装置Ａのサンプリング手段１の第１の抽出手段１６は、通常画像の動画像データに対して重要シーンを抽出するものである。
【００３３】
一方、防犯カメラにより取得された動画像（防犯画像）の場合には、逆に長時間（何分間乃至何時間）の同じ内容が続いたシーンの間に、短時間（数秒間）のみ異なるシーン（例えば侵入者を撮像したシーンなど）が含まれている箇所を重要シーンとすることができるので、本発明の第２の抽出手段１８により抽出された第２のフレーム群は、防犯画像の場合の重要シーンを示すフレーム群とすることができる。
【００３４】
サンプリング手段１の基準フレーム決定手段２０は、第１の抽出手段１６から出力されてきた第１のフレーム群または第２の抽出手段１８により出力されてきた第２のフレーム群に対して、各フレーム群の中心フレームを夫々のフレーム群の基準フレームとして決定すると共に、各々のフレーム群に、基準フレームを示す情報を付属させてフレーム統合手段に出力するものである。なお、前述した例の（Ｇ５＋Ｇ６）のように複数の第１のフレーム群から１つの第２のフレーム群が構成される場合、この第２のフレーム群に対して基準フレームを決定するとき、この第２のフレーム群に含まれた全てのフレームの中心フレームを該第２の中心フレームとする。
【００３５】
対応関係求出手段２およびフレーム統合手段は、サンプリング手段１から出力されてきた各々のフレーム群に対して、フレーム群毎に合成フレームＦｒＧを作成するものであり、合成フレームＦｒＧを作成する処理は各フレーム群に対して同様であるため、ここでは、対応関係求出手段２およびフレーム統合手段により１つのフレーム群に対して合成フレームを作成する処理について説明する。
【００３６】
対応関係求出手段２は、サンプリング手段１から出力されてきた１つのフレーム群（Ｔ枚のフレームから構成されたものとする）に対してこのＴ枚のフレームのうちの基準フレームの画素および他のフレームの画素の対応関係を求める。ここで対応関係求出手段２の動作を説明する。なお、動画像データＭ０はカラーの動画像を表すものであり、各フレームはＹ，Ｃｂ，Ｃｒの輝度色差成分からなるものとする。また、以降の説明において、Ｙ，Ｃｂ，Ｃｒの各成分に対して処理が行われるが、行われる処理は全ての成分について同様であるため、本実施形態においては輝度成分Ｙの処理について詳細に説明し、色差成分Ｃｂ，Ｃｒに対する処理については説明を省略する。
【００３７】
サンプリング手段１から出力されてきたＴ枚のフレームは、基準フレームＦｒＮを中心にして、．．．ＦｒＮ−２，ＦｒＮ−１，ＦｒＮ，ＦｒＮ＋１，ＦｒＮ＋２．．．のように連続して並んだものである。ここで、まず、フレームＦｒＮ＋１と基準フレームＦｒＮとを例にして対応関係求出手段２の動作を説明する。なお、以降では、作成しようとする合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍（倍率が４倍となる）の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい。
【００３８】
対応関係求出手段２は、以下のようにしてフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係を求める。図５はフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の求出を説明するための図である。なお、図５において、基準フレームＦｒＮに含まれる円形の被写体が、フレームＦｒＮ＋１においては図面上右側に若干移動しているものとする。
【００３９】
まず、対応関係求出手段２は、基準フレームＦｒＮ上に１または複数の矩形領域からなる基準パッチＰ０を配置する。図５（ａ）は、基準フレームＦｒＮ上に基準パッチＰ０が配置された状態を示す図である。図５（ａ）に示すように、本実施形態においては、基準パッチＰ０は４×４の矩形領域からなるものとする。次いで、図５（ｂ）に示すように、フレームＦｒＮ＋１の適当な位置に基準パッチＰ０と同様のパッチＰ１を配置し、基準パッチＰ０内の画像とパッチＰ１内の画像との相関を表す相関値を算出する。なお、相関値は下記の式（１）により平均二乗誤差として算出することができる。また、座標軸は紙面左右方向にｘ軸、紙面上下方向にｙ軸をとるものとする。
【００４０】
【数１】
2004120628.tif 000003
但し、Ｅ：相関値
ｐｉ，ｑｉ：基準パッチＰ０，Ｐ１内にそれぞれ対応する画素の画素値
Ｎ：基準パッチＰ０およびパッチＰ１内の画素数
次いで、フレームＦｒＮ＋１上のパッチＰ１を上下左右の４方向に一定画素±Δｘ，±Δｙ移動し、このときのパッチＰ１内の画像と基準フレームＦｒＮ上の基準パッチＰ０内の画像との相関値を算出する。ここで、相関値は上下左右方向のそれぞれについて算出され、各相関値をそれぞれＥ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）とする。
【００４１】
そして、移動後の４つの相関値Ｅ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を相関勾配として求め、この方向に予め設定した実数値倍だけ図５（ｃ）に示すようにパッチＰ１を移動する。具体的には、下記の式（２）により係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）を算出し、これらの係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）から下記の式（３），式（４）により相関勾配ｇｘ，ｇｙを算出する。
【００４２】
【数２】
2004120628.tif 000004
そして、算出された相関勾配ｇｘ，ｇｙに基づいてパッチＰ１の全体を（−λ１ｇｘ，−λ１ｇｙ）移動し、さらに上記と同様の処理を繰り返すことにより、図５（ｄ）に示すようにパッチＰ１がある位置に収束するまで反復的にパッチＰ１を移動する。ここで、λ１は収束の速さを決定するパラメータであり、実数値をとるものとする。なお、λ１をあまり大きな値とすると反復処理により解が発散してしまうため、適当な値（例えば１０）を選ぶ必要がある。
【００４３】
さらに、パッチＰ１の格子点を座標軸に沿った４方向に一定画素移動させる。このとき、移動した格子点を含む矩形領域は例えば図６に示すように変形する。そして、変形した矩形領域について基準パッチＰ０の対応する矩形領域との相関値を算出する。この相関値をそれぞれＥ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）とする。
【００４４】
そして、上記と同様に、変形後の４つの相関値Ｅ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を求め、この方向に予め設定した実数値倍だけパッチＰ１の格子点を移動する。これをパッチＰ１の全ての格子点について行い、これを１回の処理とする。そして格子点の座標が収束するまでこの処理を繰り返す。
【００４５】
これにより、パッチＰ１の基準パッチＰ０に対する移動量および変形量が求まり、これに基づいて基準パッチＰ０内の画素とパッチＰ１内の画素との対応関係を求めることができる。
【００４６】
対応関係求出手段２は、このようにしてサンプリング手段１から出力されてきたフレームに対して対応関係を求める。
【００４７】
座標変換手段３などからなるフレーム統合手段は、対応関係求出手段２により求められた対応関係に基づいて、サンプリング手段１から出力されてきたＴ枚のフレームを用いて合成フレームを作成するものである。ここでも、説明上の便宜のため、まず、基準フレームＦｒＮおよびＦｒＮ＋１の２枚のフレームから合成フレームを作成する処理について説明し、後にＴ枚のフレームから合成フレームを作成する処理について説明する。
【００４８】
座標変換手段３は以下のようにしてフレームＦｒＮ＋１を基準フレームＦｒＮの座標空間に座標変換して座標変換済みフレームＦｒＴ０を取得する。なお、以降の説明においては、基準フレームＦｒＮの基準パッチＰ０内の領域およびフレームＦｒＮ＋１のパッチＰ１内の領域についてのみ変換、補間演算および合成が行われる。
【００４９】
本実施形態においては、座標変換は双１次変換を用いて行うものとする。双１次変換による座標変換は、下記の式（５），（６）により定義される。
【００５０】
【数３】
2004120628.tif 000005
式（５），（６）は、２次元座標上の４点（ｘｎ，ｙｎ）（１≦ｎ≦４）で与えられたパッチＰ１内の座標を、正規化座標系（ｕ，ｖ）（０≦ｕ，ｖ≦１）によって補間するものであり、任意の２つの矩形内の座標変換は、式（５），（６）および式（５），（６）の逆変換を組み合わせることにより行うことができる。
【００５１】
ここで、図７に示すように、パッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）が対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）内のどの位置に対応するかを考える。まずパッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）について、正規化座標（ｕ，ｖ）を求める。これは式（５），（６）の逆変換により求める。そしてこのときの（ｕ，ｖ）と対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）を元に、式（５），（６）から点（ｘ，ｙ）に対応する座標（ｘ′，ｙ′）を求める。ここで、点（ｘ，ｙ）が本来画素値が存在する整数座標であるのに対し、点（ｘ′，ｙ′）は本来画素値が存在しない実数座標となる場合があるため、変換後の整数座標における画素値は、基準パッチＰ０の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に変換された座標（ｘ′，ｙ′）の画素値の荷重和として求めるものとする。
【００５２】
具体的には、図８に示すように基準パッチＰ０上における整数座標ｂ（ｘ，ｙ）について、その８近傍の整数座標ｂ（ｘ−１，ｙ−１），ｂ（ｘ，ｙ−１），ｂ（ｘ＋１，ｙ−１），ｂ（ｘ−１，ｙ），ｂ（ｘ＋１，ｙ），ｂ（ｘ−１，ｙ＋１），ｂ（ｘ，ｙ＋１），ｂ（ｘ＋１，ｙ＋１）に囲まれる領域内に変換されたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｍ個の画素値が８近傍の画素に囲まれる領域内に変換され、変換された各画素の画素値をＩｔｊ（ｘ°，ｙ°）（１≦ｊ≦ｍ）とすると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は、下記の式（７）により算出することができる。なお、式（７）においてφは荷重和演算を表す関数である。
【００５３】
【数４】
2004120628.tif 000006
但し、Ｗｉ（１≦ｊ≦ｍ）：画素値Ｉｔｊ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
ここで、簡単のため、図８を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉｔ１，Ｉｔ２が変換された場合について考えると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は下記の式（８）により算出することができる。
【００５４】
【数５】
2004120628.tif 000007
但し、Ｗ１＝ｕ×ｖ、Ｗ２＝（１−ｓ）×（１−ｔ）
以上の処理をパッチＰ１内の全ての画素について行うことにより、パッチＰ１内の画像が基準フレームＦｒＮの座標空間に変換されて、座標変換済みフレームＦｒＴ０が得られる。
【００５５】
時空間補間手段４は、フレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得する。具体的には、まず図９に示すように、最終的に必要な画素数を有する統合画像（本実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の縦横それぞれ２倍の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい）を用意し、対応関係求出手段２において求められた対応関係に基づいて、フレームＦｒＮ＋１（パッチＰ１内の領域）の画素の画素値を統合画像上に割り当てる。この割り当てを行う関数をΠとすると、下記の式（９）によりフレームＦｒＮ＋１の各画素の画素値が統合画像上に割り当てられる。
【００５６】
【数６】
2004120628.tif 000008
但し、Ｉ１Ｎ＋１（ｘ°，ｙ°）：統合画像上に割り当てられたフレームＦｒＮ＋１の画素値
ＦｒＮ＋１（ｘ，ｙ）：フレームＦｒＮ＋１の画素値
このように統合画像上にフレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ°，ｙ°）を得、各画素についてＩ１（ｘ°，ｙ°）（＝Ｉ１Ｎ＋１（ｘ°，ｙ°））の画素値を有する第１の補間フレームＦｒＨ１を取得する。
【００５７】
ここで、画素値を統合画像上に割り当てる際に、統合画像の画素数とフレームＦｒＮ＋１の画素数との関係によっては、フレームＦｒＮ＋１上の各画素が統合画像の整数座標（すなわち画素値が存在すべき座標）に対応しない場合がある。本実施形態においては、後述するように合成時において統合画像の整数座標における画素値を求めるものであるが、以下、合成時の説明を容易にするために統合画像の整数座標における画素値の算出について説明する。
【００５８】
統合画像の整数座標における画素値は、統合画像の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に割り当てられたフレームＦｒＮ＋１上の各画素の画素値の荷重和として求める。
【００５９】
すなわち、図１０に示すように統合画像における整数座標ｐ（ｘ，ｙ）については、その８近傍の整数座標ｐ（ｘ−１，ｙ−１），ｐ（ｘ，ｙ−１），ｐ（ｘ＋１，ｙ−１），ｐ（ｘ−１，ｙ），ｐ（ｘ＋１，ｙ），ｐ（ｘ−１，ｙ＋１），ｐ（ｘ，ｙ＋１），ｐ（ｘ＋１，ｙ＋１）に囲まれる領域内に割り当てられたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｋ個の画素値が８近傍の画素に囲まれる領域内に割り当てられ、割り当てられた各画素の画素値をＩ１Ｎ＋１ｉ（ｘ°，ｙ°）（１≦ｉ≦ｋ）とすると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は、下記の式（１０）により算出することができる。なお、式（１０）においてΦは荷重和演算を表す関数である。
【００６０】
【数７】
2004120628.tif 000009
但し、Ｍｉ（１≦ｉ≦ｋ）：画素値Ｉ１Ｎ＋１ｉ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
ここで、簡単のため、図１０を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉ１Ｎ＋１１，Ｉ１Ｎ＋１２が割り当てられた場合について考えると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は下記の式（１１）により算出することができる。
【００６１】
【数８】
2004120628.tif 000010
但し、Ｍ１＝ｕ×ｖ、Ｍ２＝（１−ｓ）×（１−ｔ）
そして、統合画像の全ての整数座標について、フレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）を得ることができる。この場合、第１の補間フレームＦｒＨ１の各画素値Ｉ１（ｘ＾，ｙ＾）はＩ１Ｎ＋１（ｘ＾，ｙ＾）となる。
【００６２】
なお、上記ではフレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得しているが、フレームＦｒＮ＋１とともに基準フレームＦｒＮをも用いて第１の補間フレームＦｒＨ１を取得してもよい。この場合、基準フレームＦｒＮの画素は、統合画像の整数座標に補間されて直接割り当てられることとなる。
【００６３】
空間補間手段５は、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、第２の補間フレームＦｒＨ２を取得する。ここで、第２の補間フレームＦｒＨ２の実数座標の画素値をＩ２（ｘ°，ｙ°）とすると、画素値Ｉ２（ｘ°，ｙ°）は下記の式（１２）により算出される。
【００６４】
【数９】
2004120628.tif 000011
但し、ｆ：補間演算の関数
なお、補間演算としては、線形補間演算、スプライン補間演算等の種々の補間演算を用いることができる。
【００６５】
また、本実施形態においては、合成フレームＦｒＧは基準フレームＦｒＮの縦横それぞれ２倍の画素数であるため、基準フレームＦｒＮに対して縦横方向に画素数を２倍とする補間演算を施すことにより、統合画像の画素数と同一の画素数を有する第２の補間フレームＦｒＨ２を取得してもよい。この場合、補間演算により得られる画素値は統合画像における整数座標の画素値であり、この画素値をＩ２（ｘ＾，ｙ＾）とすると、画素値Ｉ２（ｘ＾，ｙ＾）は下記の式（１３）により算出される。
【００６６】
【数１０】
2004120628.tif 000012
相関値算出手段６は、座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの相対応する画素同士の相関値ｄ０（ｘ，ｙ）を算出する。具体的には下記の式（１４）に示すように、座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値を相関値ｄ０（ｘ，ｙ）として算出する。なお、相関値ｄ０（ｘ，ｙ）は座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの相関が大きいほど小さい値となる。
【００６７】
【数１１】
2004120628.tif 000013
なお、本実施形態では座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値を相関値ｄ０（ｘ，ｙ）として算出しているが、差の二乗を相関値として算出してもよい。また、相関値を画素毎に算出しているが、座標変換済みフレームＦｒＴ０および基準フレームＦｒＮを複数の領域に分割し、領域内の全画素値の平均値または加算値を算出して、領域単位で相関値を得てもよい。また、画素毎に算出された相関値ｄ０（ｘ，ｙ）のフレーム全体についての平均値または加算値を算出して、フレーム単位で相関値を得てもよい。また、座標変換済みフレームＦｒＴ０および基準フレームＦｒＮのヒストグラムをそれぞれ算出し、座標変換済みフレームＦｒＴ０および基準フレームＦｒＮのヒストグラムの平均値、メディアン値または標準偏差の差分値、もしくはヒストグラムの差分値の累積和を相関値として用いてもよい。また、基準フレームＦｒＮに対する座標変換済みフレームＦｒＴ０の動きを表す動きベクトルを基準フレームＦｒＮの各画素または小領域毎に算出し、算出された動ベクトルの平均値、メディアン値または標準偏差を相関値として用いてもよく、動ベクトルのヒストグラムの累積和を相関値として用いてもよい。
【００６８】
重み算出手段７は、相関値算出手段６により算出された相関値ｄ０（ｘ，ｙ）から第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み付け加算する際の重み係数α（ｘ，ｙ）を取得する。具体的には、図１１に示すテーブルを参照して重み係数α（ｘ，ｙ）を取得する。なお、図１１に示すテーブルは、相関値ｄ０（ｘ，ｙ）が小さい、すなわち座標変換済みフレームＦｒＴ０および基準フレームＦｒＮの相関が大きいほど、重み係数α（ｘ，ｙ）の値が１に近いものとなる。なお、ここでは相関値ｄ０（ｘ，ｙ）は８ビットの値をとるものとする。
【００６９】
さらに、重み算出手段７は、フレームＦｒＮ＋１を統合画像上に割り当てた場合と同様に重み係数α（ｘ，ｙ）を統合画像上に割り当てることにより、フレームＦｒＮ＋１の画素が割り当てられた座標（実数座標）における重み係数α（ｘ°，ｙ°）を算出する。具体的には、空間補間手段５における補間演算と同様に、重み係数α（ｘ，ｙ）に対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、重み係数α（ｘ°，ｙ°）を取得する。
【００７０】
なお、統合画像の上記実数座標における重み係数α（ｘ°，ｙ°）を補間演算により算出することなく、基準フレームＦｒＮを統合画像のサイズとなるように拡大または等倍して拡大または等倍基準フレームを取得し、統合画像におけるフレームＦｒＮ＋１の画素が割り当てられた実数座標の最近傍に対応する拡大または等倍基準フレームの画素について取得された重み係数α（ｘ，ｙ）の値をその実数座標の重み係数α（ｘ°，ｙ°）として用いてもよい。
【００７１】
さらに、統合画像の整数座標における画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）が取得されている場合には、統合画像上に割り当てた重み係数α（ｘ°，ｙ°）について上記と同様に荷重和を求めることにより、統合画像の整数座標における重み係数α（ｘ＾，ｙ＾）を算出すればよい。
【００７２】
合成手段８は、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み算出手段７により算出された重み係数α（ｘ°，ｙ°）に基づいて重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを取得する。具体的には、下記の式（１５）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の対応する画素の画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）を重み係数α（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【００７３】
【数１２】
2004120628.tif 000014
なお、式（１５）において、ｋは合成フレームＦｒＧすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋１の画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）および重み係数α（ｘ°，ｙ°）を有するものである。
【００７４】
本実施形態においては、基準フレームＦｒＮと座標変換済みフレームＦｒＴ０との相関が大きいほど、第１の補間フレームＦｒＨ１の重み付けが大きくされて、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の重み付け加算が行われる。
【００７５】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【００７６】
また、上記では輝度成分Ｙについての合成フレームＦｒＧを求める処理について説明したが、色差成分Ｃｂ，Ｃｒについても同様に合成フレームＦｒＧが取得される。そして、輝度成分Ｙから求められた合成フレームＦｒＧ（Ｙ）および色差成分Ｃｂ，Ｃｒから求められた合成フレームＦｒＧ（Ｃｂ），ＦｒＧ（Ｃｒ）を合成することにより、最終的な合成フレームが得られることとなる。なお、処理の高速化のためには、輝度成分Ｙについてのみ基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係を求め、色差成分Ｃｂ，Ｃｒについては輝度成分Ｙについて求められた対応関係に基づいて処理を行うことが好ましい。
【００７７】
また、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２並びに整数座標の重み係数α（ｘ＾，ｙ＾）を取得した場合には、下記の式（１６）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の対応する画素の画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）を重み係数α（ｘ＾，ｙ＾）により重み付け加算して合成フレームＦｒＧの画素値ＦｒＧ（ｘ，ｙ）を取得すればよい。
【００７８】
【数１３】
2004120628.tif 000015
上述において、説明上の便宜のため、まず、サンプリング手段１によりサンプリングした１つのフレーム群を構成するＴ枚のフレームのうち、基準フレームＦｒＮとＦｒＮ＋１から合成フレームを作成することについて説明したが、以下、上記に説明した処理の元に、Ｔ枚のフレームから合成フレームＦｒＧを取得することについて説明する。このとき、Ｔ枚のフレームのうち、中心に位置する基準フレームＦｒＮ（＝ＦｒＮ＋０）以外の他のフレームＦｒＮ＋ｔ’（ｔ’：１以上の自然数）について、統合画像上に画素値を割り当てて複数の第１の補間フレームＦｒＨ１ｔ（ＦｒＮ−ｔ’に対してｔ＝−ｔ’、ＦｒＮ＋ｔに対してｔ＝ｔ’）を得る。なお、第１の補間フレームＦｒＨ１ｔの画素値をＩ１ｔ（ｘ°，ｙ°）とする。
【００７９】
また、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋ｔの画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、フレームＦｒＮ＋ｔに対応した第２の補間フレームＦｒＨ２ｔを取得する。なお、第２の補間フレームＦｒＨ２ｔの画素値をＩ２ｔ（ｘ°，ｙ°）とする。
【００８０】
さらに、求められた対応関係に基づいて、対応する第１および第２の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み付け加算する重み係数αｔ（ｘ°，ｙ°）を取得する。
【００８１】
そして、互いに対応する第１および第２の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧｔ（ｘ＾，ｙ＾）を有する中間合成フレームＦｒＧｔを取得する。具体的には、下記の式（１７）により第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＨ２ｔの対応する画素の画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）を対応する重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い、中間合成フレームＦｒＧｔの画素値ＦｒＧｔ（ｘ＾，ｙ＾）を取得する。
【００８２】
【数１４】
2004120628.tif 000016
なお、式（１７）において、ｋは中間合成フレームＦｒＧｔすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋ｔの画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）および重み係数αｔ（ｘ°，ｙ°）を有するものである。
【００８３】
そして、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。具体的には、下記の式（１８）により中間合成フレームＦｒＧｔを対応する画素同士で加算することにより、合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【００８４】
【数１５】
2004120628.tif 000017
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【００８５】
また、３以上の複数のフレームから合成フレームＦｒＧを取得するに当たって、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＨ２ｔ並びに整数座標の重み係数αｔ（ｘ＾，ｙ＾）を取得してもよい。この場合、各フレームＦｒＮ＋ｔ（ＦｒＮ＋ｔ’）について、各フレームＦｒＮ＋ｔの画素値ＦｒＮ＋ｔ（ｘ，ｙ）を統合座標の全ての整数座標に割り当てて画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）すなわち画素値Ｉ１ｔ（ｘ＾，ｙ＾）を有する第１の補間フレームＦｒＨ１ｔを取得する。そして、全てのフレームＦｒＮ＋ｔについて割り当てられた画素値Ｉ１ｔ（ｘ＾，ｙ＾）と第２の補間フレームＦｒＨ２ｔの画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを加算することにより複数の中間合成フレームＦｒＧｔを取得し、これらをさらに加算して合成フレームＦｒＧを取得する。
【００８６】
具体的には、まず、下記の式（１９）に示すように、全てのフレームＦｒＮ＋ｔについて、統合画像の整数座標における画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）を算出する。そして、式（２０）に示すように、画素値Ｉ１ｔ（ｘ＾，ｙ＾）と画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを重み係数α（ｘ＾，ｙ＾）により重み付け加算することにより中間合成フレームＦｒＧｔを得る。そして、上記式（１９）に示すように、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。
【００８７】
【数１６】
2004120628.tif 000018
なお、３以上の複数のフレームから合成フレームＦｒＧを取得するとき、座標変換済みフレームＦｒＴ０は複数取得されるため、相関値および重み係数もフレーム数に対応して複数取得される。このとき、複数取得された重み係数の平均値や中間値を対応する第１および第２の補間フレームＦｒＨ１，ＦｒＨ２を重み付け加算する際の重み係数としてもよい。
【００８８】
図１２は、本実施形態の動画像合成装置Ａにおいて行われる処理を示すフローチャートである。図１２に示すように、本実施形態の動画像合成装置の動作は、動画像データＭ０が入力される（Ｓ２）ことから始まる。画像種類入力手段１２を介して、入力された動画像データＭ０が「通常画像」なのか「防犯画像」なのかの画像種類に基づいて、抽出制御手段１４は、第１の抽出手段１６および第２の抽出手段１８の動作を制御して重要シーンを構成するフレーム群の抽出を行わせる（Ｓ４〜Ｓ１６）。具体的には、動画像データＭ０の画像種類が「通常画像」であれば（Ｓ６：Ｙｅｓ）、抽出制御手段１４は、第１の抽出手段１６に第１のフレーム群を抽出させて、これらの第１のフレーム群を、重要シーンを構成するフレーム群として基準フレーム群決定手段２０に出力させる（Ｓ８）一方、動画像データＭ０は防犯画像であれば（Ｓ６：Ｎｏ）、第１の抽出手段１６に第１のフレーム群を抽出させて、第２の抽出手段１８に出力させる（Ｓ１０）と共に、第２の抽出手段１８に、第１の抽出手段１６により抽出された第１のフレーム群から第２のフレーム群を抽出させて、これらの第２のフレーム群を動画像データＭ０の重要シーンを構成するフレーム群として基準フレーム決定手段２０に出力させる（Ｓ１２）。
【００８９】
基準フレーム決定手段２０は、第１の抽出手段１６または第２の抽出手段１８から出力されてきた各々のフレーム群に対して、各フレーム群の中心に位置する中心フレームを該中心フレームを有するフレーム群の基準フレームとして決定すると共に、各フレーム群に、このフレームの基準フレームを示す情報を付属させて対応関係求出手段２およびフレーム統合手段に出力する（Ｓ１４）。
【００９０】
対応関係求出手段２は、フレーム毎に、基準フレームおよび基準フレームの他のフレームとの対応関係を求め、時空間補間手段４などからなるフレーム統合手段は、対応関係求出手段２により求められた対応関係に基づいて、サンプリング手段１から出力されてきた全てのフレーム群に対して、フレーム毎の合成フレームを作成する（Ｓ１６、Ｓ１８、Ｓ２０、Ｓ２２、Ｓ２４）。
【００９１】
このように、本実施形態の動画像合成装置Ａにおいて、サンプリング手段１は、動画像データＭ０から重要シーンを構成するフレーム群を抽出し、これらのフレーム群を構成する複数のフレームのうちの中心フレームを該当するフレーム群の基準フレームとして決定しているので、操作者によって手動で基準フレームを設定する必要がなく、便利である。また、複数のフレームをサンプリングする際に、基準フレームを指定してから該基準フレームを含む所定の範囲のフレームをサンプリングする方法とは異なり、動画像データに含まれた重要シーンを構成するフレーム群を抽出して基準フレームを決定するようにして各重要シーン毎に合成フレームを作成しているので、撮像者の意図を反映させることができる。
【００９２】
また、本実施形態の動画像合成装置Ａにおいて、２つの抽出手段を備え、動画像データの種類（本実施形態においては動画像データＭ０の撮像目的に相当する）に基づいて、その種類に合致した重要シーンを抽出するようにしているので、撮像者の目的に合った合成フレームを効率良く作成することができる。例えば、通常画像の場合には、撮像者が興味のあるシーン毎の合成フレームを作成する一方、防犯画像の場合は、防犯上に必要なシーンのみについて合成フレームを作成することができる。
【００９３】
図１３は、本発明の第２の実施形態となる動画像合成装置Ｂの構成を示すブロック図である。なお、図１３において、図１に示す動画像合成装置Ａにおける動作と同様の動作をする部分については同じ番号を付与し、図１に示す動画像合成装置Ａにおける動作と異なる動作をする部分についてのみ異なる番号を付与する。
【００９４】
図１３に示すように、本実施形態の動画像合成装置Ｂは、入力された動画像データＭ０から１つ以上の重要シーンを構成するフレーム群を抽出すると共に、各フレーム群に対して、そのフレーム群を構成する複数のフレームから１つの基準となる基準フレームを決定するサンプリング手段１’と、サンプリング手段１’により抽出された各フレーム群に対して、そのフレーム群の基準フレームの画素および基準フレーム以外の他のフレームの画素の対応関係を求める対応関係求出手段２と、対応関係求出手段２によりフレーム毎に求められた対応関係に基づいて、各フレーム群に対して基準フレーム以外の他のフレームを夫々基準フレームの座標空間上に座標変換して座標変換済みフレームを取得する座標変換手段３と、対応関係求出手段２においてフレーム群毎に求められた対応関係に基づいて、各フレーム群に対して、基準フレーム以外の他のフレームに対して補間演算を施して各フレームよりも解像度が高い第１の補間フレームをフレーム群毎に取得する時空間補間手段４と、基準フレームに対して補間演算を施して各フレームよりも解像度が高い第２の補間フレームをフレーム群毎に取得する空間補間手段５と、フレーム群毎に、そのフレーム群の夫々の座標変換済みフレームと基準フレームとの相関を表す相関値を算出する相関値算出手段６と、フレーム群毎に、そのフレーム群の第１の補間フレームと第２の補間フレームとを重み付け加算するための重み係数を相関値算出手段６において算出された相関値に基づいて算出する重み算出手段７と、重み算出手段７において算出されたフレーム群毎の重み係数に基づいて、フレーム毎に第１および第２の補間フレームを重み付け加算して、各フレーム群に対して合成フレームＦｒＧを取得する合成手段８とを備える。なお、座標変換手段３と、時空間補間手段４と、空間補間手段５と、相関値算出手段６と、重み算出手段７と、合成手段８とは、請求項記載のフレーム統合手段に当たるものである。
【００９５】
すなわち、本実施形態の動画像合成装置Ｂは、サンプリング手段（１と１’）を除いて、図１に示す動画像合成装置Ａと同様の構成を有するものである。ここで、動画像合成装置Ｂのサンプリング手段１’の動作について説明し、ほかの部分についての詳細説明を省略する。
【００９６】
図１４は、図１３に示す動画像合成装置Ｂのサンプリング手段１’の構成を示すブロック図である。図１４に示すように、動画像合成装置Ｂのサンプリング手段１’は、動画像データＭ０が「通常画像」なのか「防犯画像」なのかを入力させるための画像種類入力手段１２と、画像種類入力手段１２により入力された動画像データＭ０の画像種類に基づいて、後述する第１の抽出手段１６と第２の抽出手段１８の動作を制御する抽出制御手段１４と、動画像データＭ０の隣接するフレーム間の相関を求め、この相関が高い連続するフレームの集合を第１のフレーム群として夫々抽出して後述する基準フレーム決定手段２０または第２の抽出手段１８に出力する第１の抽出手段１６と、第１の抽出手段１６により抽出された各第１のフレーム群に対して、隣接しない各第１のフレーム群の中心に位置する中心フレーム間の相関を求め、この相関が高く、かつ最も近い２つの第１のフレーム群に挟まれた第１のフレーム群を第２のフレーム群として夫々抽出して基準フレーム決定手段２０に出力する第２の抽出手段１８と、第１の抽出手段１６または第２の抽出手段１８により出力されてきた各フレーム群に対して、フレーム群を構成する複数のフレームのうち、最もピントが合っているフレームをそのフレーム群の基準フレームとして決定する基準フレーム決定手段２０’とを備えてなるものである。
【００９７】
すなわち、基準フレーム決定手段（２０、２０’）を除いて、動画像合成装置Ｂのサンプリング手段１’は、動画像合成装置Ａのサンプリング手段１と同様の構成を有するものである。動画像合成装置Ｂのサンプリング手段１’における基準フレーム決定手段２０’は、第１の抽出手段１６または第２の抽出手段１８から出力されてきた各フレーム群に対して、フレーム群を構成する複数のフレームのうち、最もピントが合ったフレームを該当するフレーム群の基準フレームとして決定するものである。具体的には、１つのフレーム群の基準フレームを決定するために、まず、このフレーム群を構成する複数のフレームの夫々の高周波成分を抽出し、フレーム毎に高周波成分の総和を求め、この高周波成分の総和が最も高いフレームをこのフレーム群の基準フレームとして決定する。なお、高周波成分を抽出する方法としては、微分フィルタや、ラブラシアンフィルタなどを用いたり、ウェーブレット変換したりするなど、高周波成分を抽出することができるいかなる方法であってもよい。
【００９８】
本実施形態の動画像合成装置Ｂによれば、図１に示す動画像合成装置Ａと同様の効果を得ることができると共に、撮像者による撮像の際に、重要と思われると所を注視ながらピントを合わせる場合が多いことを利用して最もピントの合ったフレームを基準フレームを決定することによって、高品質な合成フレームを得ることに貢献することができる。
【００９９】
以上、本発明の動画像合成方法および装置並びにプログラムの望ましい実施形態について説明したが、本発明の動画像合成方法および装置並びにプログラムは、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、様々な増減、変更を加えることができる。
【０１００】
例えば、図１に示す実施形態の動画像合成装置Ａにおけるサンプリング手段１および図１３に示す動画像装置Ｂにおけるサンプリング手段１’の第１の相関取得手段３２および第２の相関取得手段３６は、相関値を計算する際に、２つのフレーム間の輝度成分Ｙについてのユーグリッド距離を相関値として求めているが、Ｙ，Ｃｂ，Ｃｒの３つの成分について夫々ユーグリッド距離を求め、この３つのユーグリッド距離の和を相関値としてもよく、２つのフレームの各々の相互に対応する画素間の画素値の差分を計算し、各々の差分の絶対値の和を相関値として求めるようにしてもよい。
【０１０１】
さらに、相関を求める際に、動画像データの縮小画像または間引き画像を用いるようにして、処理の高速化を図ってもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による動画像合成装置Ａの構成を示すブロック図
【図２】図１に示す動画像合成装置Ａのサンプリング手段１の構成を示すブロック図
【図３】図２に示すサンプリング手段１における第１の抽出手段１６の構成を説明するための図
【図４】図２に示すサンプリング手段１における第２の抽出手段１８の構成を示す図
【図５】フレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の求出を説明するための図
【図６】パッチの変形を説明するための図
【図７】パッチＰ１と基準パッチＰ０との対応関係を説明するための図
【図８】双１次内挿を説明するための図
【図９】フレームＦｒＮ＋１の統合画像への割り当てを説明するための図
【図１０】統合画像における整数座標の画素値の算出を説明するための図
【図１１】重み係数を求めるテーブルを示す図
【図１２】図１に示す動画像合成装置Ａにおいて行われる処理を示すフローチャート
【図１３】本発明の第２の実施形態による動画像合成装置Ｂの構成を示すブロック図
【図１４】図１３に示す動画像合成装置Ｂにおけるサンプリング手段１’の構成を示すブロック図
【符号の説明】
１，１’　　サンプリング手段
２　　対応関係求出手段
３　　座標変換手段
４　　時空間補間手段
５　　空間補間手段
６　　相関値算出手段
７　　重み算出手段
８　　合成手段
１２　　画像種類入力手段
１４　　抽出制御手段
１６　　第１の抽出手段
１８　　第２の抽出手段
２０，２０’　　基準フレーム決定手段
３２　　第１の相関取得手段
３４　　第１のサンプリング実行手段
３６　　第２の相関取得手段
３８　　第２のサンプリング実行手段
【図１】
2004120628.tif 000019
【図２】
2004120628.tif 000020
【図３】
2004120628.tif 000021
【図４】
2004120628.tif 000022
【図５】
2004120628.tif 000023
【図６】
2004120628.tif 000024
【図７】
2004120628.tif 000025
【図８】
2004120628.tif 000026
【図９】
2004120628.tif 000027
【図１０】
2004120628.tif 000028
【図１１】
2004120628.tif 000029
【図１２】
2004120628.tif 000030
【図１３】
2004120628.tif 000031
【図１４】
2004120628.tif 000032