(57)【要約】【課題】  動きのある被写体が写った動画像から、動きのある被写体の画像位置を所定の位置に定め、繋ぎ目の目立たない対象静止画像を生成する。【解決手段】  画像取得部１０２は、時系列で連続する複数のフレーム画像をキャプチャして取得する。画像位置算出部１０３は、画像取得部１０２が取得した複数のフレーム画像の相対位置を算出する。画像選択部１０４は、画像取得部１０２が取得したフレーム画像のうち所定の１つを基準フレーム画像とし、これを起点として時系列順に２つのフレーム画像を順次選択する。差分画像抽出部１０５は、画像選択部１０４が選択した２つのフレーム画像の差分画像を、画像位置算出部１０３が算出した相対位置に基づいて抽出する。静止画像生成部１０６は、差分画像抽出部１０５が抽出した差分画像と基準フレーム画像の画像データを用いて対象静止画像を生成する。この結果、動きのある被写体が写った基準フレーム画像と動きのある被写体が写っていない差分画像とによって対象静止画像を生成することができる。【選択図】      図１
2005275765.tif 000002
【特許請求の範囲】
【請求項１】
動画像または時系列で連続する静止画像から取得したフレーム画像を繋ぎ合わせて、該１つのフレーム画像より大きい対象静止画像を生成する画像処理装置であって、
時系列で連続する複数のフレーム画像を取得する画像取得部と、
前記取得された複数のフレーム画像の相対的な位置関係データを算出する画像位置算出部と、
前記取得された複数のフレーム画像のうち、所定の１つを基準フレーム画像とし、該基準フレーム画像を起点として、前記複数のフレーム画像から時系列に連続する２つのフレーム画像を順次選択する画像選択部と、
前記選択された２つのフレーム画像のうち、前記基準フレーム画像または時系列で前記基準フレーム画像に近い順序のフレーム画像を対象フレーム画像とし、遠い順序のフレーム画像を比較フレーム画像としたとき、対象フレーム画像に対する比較フレーム画像の差分画像を、前記位置関係データを用いて抽出する差分画像抽出部と、
前記基準フレーム画像と前記抽出された差分画像とを用いて、前記対象静止画像を生成する静止画像生成部と、
を備えた画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記画像位置算出部は、前記時系列で連続する２つのフレーム画像を重ねたとき、重なる画素同士の画素値の差分を、前記２つのフレーム画像が重なる所定の領域において算出し、該算出した差分値が所定の閾値以内である画素の数量が最も多くなるときの重なり位置を、前記位置関係データとして算出する画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記画像位置算出部は、前記２つのフレーム画像を前記算出した位置関係データに基づいて重ねたとき、重なる画素同士の画素値の差分が所定の閾値以上である画素を、前記２つのフレーム画像のうち少なくとも一方のフレーム画像から抽出する画素抽出部を備えた画像処理装置。
【請求項４】
請求項１ないし３のいずれか一項に記載の画像処理装置であって、
前記画像選択部は、複数の基準フレーム画像を選択し、
前記差分画像抽出部は、前記選択された複数の基準フレーム画像について、該複数の基準フレーム画像の各々に対する前記差分画像を抽出し、
前記静止画像生成部は、前記選択された複数の基準フレーム画像と前記抽出された各々の差分画像を用いて、前記対象静止画像を複数生成する画像処理装置。
【請求項５】
請求項３または４に記載の画像処理装置であって、
前記静止画像生成部は、前記画素抽出部が抽出した画素によって特定される画像領域を、所定の表示方法を用いて前記対象静止画像に表示する画像処理装置。
【請求項６】
請求項１ないし５のいずれか一項に記載の画像処理装置であって、
前記静止画像生成部は、所定の矩形画面形状を有する前記対象静止画像を生成する画像処理装置。
【請求項７】
請求項１ないし６のいずれか一項に記載の画像処理装置であって、
前記静止画像生成部は、前記生成した対象静止画像を表示装置に出力する画像出力部を備えた画像処理装置。
【請求項８】
動画像または時系列で連続する静止画像から取得したフレーム画像を繋ぎ合わせて、該１つのフレーム画像より大きい対象静止画像を生成する画像処理方法であって、
時系列で連続する複数のフレーム画像を取得する工程と、
前記取得された複数のフレーム画像の相対的な位置関係データを算出する工程と、
前記取得された複数のフレーム画像のうち、所定の１つを基準フレーム画像とし、該基準フレーム画像を起点として、前記複数のフレーム画像から時系列に連続する２つのフレーム画像を順次選択する工程と、
前記選択された２つのフレーム画像のうち、前記基準フレーム画像または時系列で前記基準フレーム画像に近い順序のフレーム画像を対象フレーム画像とし、遠い順序のフレーム画像を比較フレーム画像としたとき、対象フレーム画像に対する比較フレーム画像の差分画像を、前記位置関係データを用いて抽出する工程と、
前記基準フレーム画像と前記抽出された差分画像とを用いて、前記対象静止画像を生成する工程と、
を備えた画像処理方法。
【請求項９】
動画像または時系列で連続する静止画像から取得したフレーム画像を繋ぎ合わせて、該１つのフレーム画像より大きい対象静止画像を生成する画像処理プログラムであって、
時系列で連続する複数のフレーム画像を画像データとして取得する機能と、
前記取得された複数のフレーム画像の相対的な位置関係データを算出する機能と、
前記取得された複数のフレーム画像のうち、所定の１つを基準フレーム画像とし、該基準フレーム画像を起点として、前記複数のフレーム画像から時系列に連続する２つのフレーム画像の画像データを順次選択する機能と、
前記選択された２つのフレーム画像のうち、前記基準フレーム画像または時系列で前記基準フレーム画像に近い順序のフレーム画像を対象フレーム画像とし、遠い順序のフレーム画像を比較フレーム画像としたとき、対象フレーム画像に対する比較フレーム画像の差分画像の画像データを、前記位置関係データを用いて抽出する機能と、
前記基準フレーム画像の画像データと前記抽出された差分画像の画像データとを用いて、前記対象静止画像を生成する機能と、
をコンピュータに実現させるための画像処理プログラム。
【請求項１０】
請求項９に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像または時系列で連続する静止画像から取得したフレーム画像を繋ぎ合わせて、取得した１つのフレーム画像より大きい対象静止画像を生成する画像処理装置、が像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
撮影された動画像や静止画像から取得した画像を繋ぎ合わせ、例えば横長の矩形画像であるパノラマ画像を生成する技術は従来から知られている（例えば、特許文献１、特許文献２）。特許文献１には、撮像された画像間で求めた画像の動きベクトルに基づいて、繋ぎ合わせる画像の幅を制御するこによってパノラマ画像を生成する技術が開示されている。また特許文献２には、圧縮された画像からパノラマ画像を生成する際に、フレーム内符号化された画像のみを用い、取得した撮像倍率情報に基づいて画像の大きさを補正し、画像間の適切な相対位置を求めることによって、繋ぎ目の目立たないパノラマ画像を生成する技術が開示されている。
【０００３】
【特許文献１】特開平６−２８４３２１号公報
【特許文献２】特開平１１−６９２８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、これらの従来技術は、パノラマ画像生成の対象となる画像間に動きのある被写体、例えば移動中の自動車などが写っている場合を想定したものではない。このため、特許文献１については、動きのある被写体が写っている画像では、動きのある被写体が繋ぎ合わせる画像の幅の部分に存在する場合は、動きのある被写体が複数写っているパノラマ画像になったり、あるいは、動きのある被写体が繋ぎ合わせる画像の幅の部分に存在しない場合でも、動きのある被写体が画面の端にのみ写っているパノラマ画像になったりするという課題がある。また特許文献２についても、動きのある被写体が写っている場合、写った動きのある被写体の画像の影響によって符号化された画像に差異が生じやすく、適切な相対位置を求めることが難しくなるために、求められた相対位置によっては、繋ぎ目が目立つパノラマ画像を生成してしまうという課題がある。
【０００５】
本発明は、このような課題の少なくとも一部を解決するためになされたもので、動きのある被写体が写った動画像から、動きのある被写体の位置を所定の位置に定め、繋ぎ目の目立たないパノラマ画像を生成する画像処理装置、画像処理方法、画像処理プログラム、またはそのプログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成する本発明の画像処理装置は、動画像または時系列で連続する静止画像から取得したフレーム画像を繋ぎ合わせて、該１つのフレーム画像より大きい対象静止画像を生成する画像処理装置であって、時系列で連続する複数のフレーム画像を取得する画像取得部と、前記取得された複数のフレーム画像の相対的な位置関係データを算出する画像位置算出部と、前記取得された複数のフレーム画像のうち、所定の１つを基準フレーム画像とし、該基準フレーム画像を起点として、前記複数のフレーム画像から時系列に連続する２つのフレーム画像を順次選択する画像選択部と、前記選択された２つのフレーム画像のうち、前記基準フレーム画像または時系列で前記基準フレーム画像に近い順序のフレーム画像を対象フレーム画像とし、遠い順序のフレーム画像を比較フレーム画像としたとき、対象フレーム画像に対する比較フレーム画像の差分画像を、前記位置関係データを用いて抽出する差分画像抽出部と、前記基準フレーム画像と前記抽出された差分画像とを用いて、前記対象静止画像を生成する静止画像生成部と、を備えたことを要旨とする。
【０００７】
かかる画像処理装置によれば、取得したフレーム画像のうち、例えばユーザーが指定した所定の１つのフレーム画像を基準フレーム画像とし、その基準フレーム画像を起点として、時系列順−側または＋側それぞれに位置するフレーム画像から２つのフレーム画像を順次選択する。そして、それぞれ選択した２つのフレーム画像間での差分画像を順次抽出し、抽出した差分画像と基準フレーム画像の画像データを用いて、１つのフレーム画像より大きい対象静止画像を生成する。例えば、飛行機や自動車など動きのある被写体をほぼ画面の中央に捉えパンやチルトなどによって追従撮像した動画像について、この動画像から取得したフレーム画像を用いて対象静止画像を生成する場合、差分画像には動きのある被写体の画像は通常存在しない。従って、動きのある被写体が写った基準フレーム画像と動きのある被写体が写っていない差分画像とによって対象静止画像を生成するため、ユーザーが指定した位置にのみ動きのある被写体の画像が写った対象静止画像を生成することができる。
【０００８】
ここで、前記画像位置算出部は、前記時系列で連続する２つのフレーム画像を重ねたとき、重なる画素同士の画素値の差分を、前記２つのフレーム画像が重なる所定の領域において算出し、該算出した差分値が所定の閾値以内である画素の数量が最も多くなるときの重なり位置を、前記位置関係データとして算出するものとしてもよい。
【０００９】
こうすれば、２つのフレーム画像間において被写体の画像の一致具合を、画素値が同じである画素の数量によって把握することができる。従って、動きのある被写体が写ったフレーム画像であっても、動きのある被写体の画像領域が、動きのある被写体の画像領域以外の画像領域に比較して画像領域の面積が小さい場合は、動きのある被写体の画像領域以外の画像領域において、この画像領域に写っている被写体の画像が一致するときの相対位置を、フレーム画像の相対位置データとして算出することになる。この結果、２つのフレーム画像を繋ぎ合せたとき、繋ぎ合わせた画像の繋ぎ目が目立たない対象静止画像を生成することができる。
【００１０】
さらに、前記画像位置算出部は、前記２つのフレーム画像を前記算出した位置関係データに基づいて重ねたとき、重なる画素同士の画素値の差分が所定の閾値以上となる画素を、前記２つのフレーム画像のうち少なくとも一方のフレーム画像から抽出する画素抽出部を備えてもよい。
【００１１】
こうすれば、動きのある被写体以外の画像が重なる相対位置データを用いて２つのフレーム画像を重ねるため、動きのある被写体の画像はズレて重なることになる。この結果、動きのある被写体の画像を、画素値の差分が大きい画素としてフレーム画像から抽出することができる。
【００１２】
また、前記画像選択部は、複数の基準フレーム画像を選択し、前記差分画像抽出部は、前記選択された複数の基準フレーム画像について、該複数の基準フレーム画像の各々に対する前記差分画像を抽出し、前記静止画像生成部は、前記選択された複数の基準フレーム画像と前記抽出された各々の差分画像を用いて、前記対象静止画像を複数生成することとしてもよい。こうすれば、取得した複数のフレーム画像から対象静止画像を複数生成することができる。この結果、生成した複数の対象静止画像を用いて、着目する動きのある被写体のみが動く動画像として表示することができる。
【００１３】
また、前記静止画像生成部は、前記画素抽出部が抽出した画素によって特定される画像領域を、所定の表示方法を用いて前記対象静止画像に表示するものとしてもよい。こうすれば、動きのある被写体の画像を対象静止画像に識別して表示することができる。
【００１４】
さらに、前記静止画像生成部は、所定の矩形画面形状を有する前記対象静止画像を生成することとしてもよい。こうすれば、取得した複数のフレーム画像から、例えばユーザーが所望する矩形画面サイズの対象静止画像を生成することができる。
【００１５】
また、前記静止画像生成部は、前記生成した対象静止画像を表示装置に出力する画像出力部を備えたものとしてもよい。こうすることで、生成した対象静止画像を表示装置に静止画像として出力したり、動画像として出力したりすることができる。
【００１６】
本発明の画像処理方法は、動画像または時系列で連続する静止画像から取得したフレーム画像を繋ぎ合わせて、該１つのフレーム画像より大きい対象静止画像を生成する画像処理装置であって、時系列で連続する複数のフレーム画像を取得する工程と、前記取得された複数のフレーム画像の相対的な位置関係データを算出する工程と、前記取得された複数のフレーム画像のうち、所定の１つを基準フレーム画像とし、該基準フレーム画像を起点として、前記複数のフレーム画像から時系列に連続する２つのフレーム画像を順次選択する工程と、前記選択された２つのフレーム画像のうち、前記基準フレーム画像または時系列で前記基準フレーム画像に近い順序のフレーム画像を対象フレーム画像とし、遠い順序のフレーム画像を比較フレーム画像としたとき、対象フレーム画像に対する比較フレーム画像の差分画像を、前記位置関係データを用いて抽出する工程と、前記基準フレーム画像と前記抽出された差分画像とを用いて、前記対象静止画像を生成する工程と、を備えたことを要旨とする。
【００１７】
また、本発明はコンピュータプログラムまたはそのプログラムを記録した記録媒体としてもよい。すなわち、動画像または時系列で連続する静止画像から取得したフレーム画像を繋ぎ合わせて、該１つのフレーム画像より大きい対象静止画像を生成する画像処理プログラムであって、時系列で連続する複数のフレーム画像を画像データとして取得する機能と、前記取得された複数のフレーム画像の相対的な位置関係データを算出する機能と、前記取得された複数のフレーム画像のうち、所定の１つを基準フレーム画像とし、該基準フレーム画像を起点として、前記複数のフレーム画像から時系列に連続する２つのフレーム画像の画像データを順次選択する機能と、前記選択された２つのフレーム画像のうち、前記基準フレーム画像または時系列で前記基準フレーム画像に近い順序のフレーム画像を対象フレーム画像とし、遠い順序のフレーム画像を比較フレーム画像としたとき、対象フレーム画像に対する比較フレーム画像の差分画像の画像データを、前記位置関係データを用いて抽出する機能と、前記基準フレーム画像の画像データと前記抽出された差分画像の画像データとを用いて、前記対象静止画像を生成する機能と、をコンピュータに実現させることを要旨とする。プログラムの記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＩＣカード、パンチカードなど、コンピュータが読み取り可能な種々の媒体を利用することができる。
【発明を実施するための最良の形態】
【００１８】
次に、本発明の実施の形態を説明する
【００１９】
図１は本発明の一実施形態としての画像処理装置の概略構成を示す説明図である。この画像処理装置は、汎用のコンピュータを用いて構成され、コンピュータ１００に情報を入力する装置としてのキーボード１１０およびマウス１２０と、情報を出力する装置としてのディスプレイ１３０およびビデオプロジェクタ１８０とを備えている。またコンピュータ１００に動画像を入力する装置としてのデジタルビデオカメラ１６０、またコンピュータ１００に動画像やアプリケーションプログラムを入力する装置としてのＣＤ−Ｒ／ＲＷドライブ１４０、ＤＶＤ−Ｒ／ＲＷドライブ１５０を備えている。またコンピュータ１００にその他、必要に応じて、動画像やアプリケーションプログラムを記憶した記憶媒体からデータを読み出すことが可能な駆動装置を備えることもできる。
【００２０】
コンピュータ１００は、所定のオペレーティングシステムの下で、動画像から取得したフレーム画像の画像データを用いて静止画像を生成するためのアプリケーションプログラムを実行することにより、後述のフローチャートで示した処理を行う画像処理装置として機能する。アプリケーションプログラムは例えばＣＤ−ＲＯＭなどのコンピュータが読み取り可能な記録媒体によって外部から供給され、ＣＤ−Ｒ／ＲＷドライブ１４０を介してコンピュータ１００に備えられたハードディスクやＲＡＭなどの半導体メモリ（いずれも図示せず）に記憶される。もとより、インターネットなどのネットワーク手段を介して、アプリケーションプログラムを供給するサーバー等にアクセスし、データをダウンロードすることによって記憶されるものとしてもよい。
【００２１】
このアプリケーションプログラムが実行されることにより、コンピュータ１００は、特に図１に示したように、画像取得部１０２、画像位置算出部１０３、画像選択部１０４、差分画像抽出部１０５、および静止画像生成部１０６として機能する。
【００２２】
各部はそれぞれ主として以下の処理を司る。画像取得部１０２は、コンピュータ１００に入力した動画像から時系列で連続する複数のフレーム画像をキャプチャして取得する。画像位置算出部１０３は、画像取得部１０２が取得した複数のフレーム画像の相対位置を算出する。画像選択部１０４は、画像取得部１０２が取得したフレーム画像のうち所定の１つを基準フレーム画像とし、これを起点として時系列順に２つのフレーム画像を順次選択する。差分画像抽出部１０５は、画像選択部１０４が選択した２つのフレーム画像の差分画像を、画像位置算出部１０３が算出した相対位置に基づいて抽出する。静止画像生成部１０６は、差分画像抽出部１０５が抽出した差分画像と基準フレーム画像の画像データを用いて静止画像を生成する。
【００２３】
次に、本実施形態の画像処理装置が行う処理を、以下の順序で説明する。
（Ａ）画像取得部および画像位置算出部
（Ｂ）画像選択部および差分画像抽出部
（Ｃ）静止画像生成部
【００２４】
（Ａ）画像取得部および画像位置算出部
ここでの処理を図２のフローチャートを用いて説明する。図２に示した処理が開始されると、まずステップＳ１０にて、入力される動画像から複数のフレーム画像の取得処理を行う。フレーム画像の取得は、ユーザーの指定に基づき、時系列で連続する複数のフレーム画像を、動画像からキャプチャしてコンピュータ１００に取り込むことで行う。ユーザーは、デジタルビデオカメラ１６０などから供給され、ディスプレイ１３０の画面やビデオプロジェクタ１８０の投影画面に表示される動画像を見て、取り込むフレーム画像をキーボード１１０やマウス１２０などによりデータを入力して指定する。
【００２５】
フレーム画像の指定方法は、動画像からフレーム画像をキャプチャしてコンピュータ１００に取り込む際、通常付加されるフレーム画像の識別番号を指定するようにしてもよい。あるいは、ユーザーがディスプレイ１３０に連続再生やコマ送り状態などによって表示される動画像を見ながら取り込む画像を直接指定することとしてもよい。もしくは、所定時間間隔で予め定められた枚数のフレーム画像を、連続するフレーム画像から自動的に取り込むこととしてもよい。
【００２６】
次のステップＳ１５では、コンピュータ１００に取り込むことによって取得した複数のフレーム画像について、全てのフレーム画像間の相対位置データを算出する処理を行う。この処理は、後述の差分画像抽出部１０５が行う差分画像の抽出処理（図７、ステップＳ４５、Ｓ５０）のために、前もって行う処理である。着目したフレーム画像間において、フレーム画像の位置関係がわかれば、フレーム画像間での重なり具合がわかる。この重なり具合から、そのフレーム画像間での差分画像領域つまり重ならない画像領域を容易に抽出することができるからである。
【００２７】
全てのフレーム画像の相対位置は、次に説明する２つのフレーム画像間における相対位置の算出処理を、取り込んだ複数のフレーム画像について実施して求める。本実施形態では、時系列で連続する２つのフレーム画像を１つずつずらしながら順次選択して相対位置を算出し、全てのフレーム画像の相対位置を算出する。
【００２８】
２つのフレーム画像間における相対位置の算出処理について、図３の説明図を用いて説明する。図３（ａ）と図３（ｂ）は、フレーム画像間の相対位置を算出するためのフレーム画像Ｇ１とフレーム画像Ｇ２をそれぞれ示している。この例は、夕日を背景とする山の風景を左上から右下方向にパンをして撮像した動画から取り込んだ画像を想定したものである。撮像される画像間には、通常上下左右方向への並進ズレ、画面が傾く回転ズレ、ズームミングによる画像倍率違いが通常存在するが、このようなパンによって得られた２つのフレーム画像を想定した場合、両者の間では画面の傾きは極めて小さく、従って回転ズレはないものと仮定できる。また両者の間には画像倍率違いもないため並進ズレのみ存在する。この並進ズレは並進ベクトルとして求めることができる。
【００２９】
並進ベクトルは、横方向と縦方向の画素数で表現することができ、画像のパターンマッチングや特徴点追跡といった周知の処理技術によって生成することが可能である。こうして生成された並進ベクトルから算出した相対位置データが、画面横（Ｘ）方向の画素数Ｘ２、画面縦（Ｙ）方向の画素数Ｙ２であれば、フレーム画像Ｇ１の画面左上隅Ｃ１を基準点（０，０）とした時、フレーム画像Ｇ２の画面左上隅Ｃ２は座標（Ｘ２，Ｙ２）となる。この状態を図３（ｃ）に示す。こうして、フレーム画像Ｇ１に対するフレーム画像Ｇ２の相対位置を算出する。
【００３０】
また、フレーム画像Ｇ１とフレーム画像Ｇ２との間で、回転ズレがあったり画像倍率が異なっていたりする場合は、例えばオプティカルフロー推定とパターンマッチングの組み合わせによって相対位置を算出することができる。オプティカルフロー推定には、種々の手法があり、たとえばグラディエント（ｇｒａｄｉｅｎｔ−ｂａｓｅｄ）法は、観測するフレーム画像間において対象の輝度が不変であるという仮定の下に、画像中における対象の濃度分布の空間勾配と時間勾配の関係を利用して撮影装置を基準とした被写体の移動を推定する。このオプティカルフロー推定の結果に基づいて、大まかに画像の並進移動や回転、ズーム倍率の変化を推定するとともに、この推定結果に基づいてフレーム画像Ｇ１とフレーム画像Ｇ２とを、回転ズレを補正した同じ倍率のフレーム画像になるように画像処理を行う。そして画像処理後のフレーム画像を新たにフレーム画像Ｇ１とフレーム画像Ｇ２として、存在するこの画像間での並進ズレを、並進ベクトルとして求めることによって、相対位置を算出する。
【００３１】
上述した２つのフレーム画像間における相対位置の算出処理を、ステップＳ１０にて取り込んだ全てのフレーム画像について実施することによって、全てのフレーム画像の相対的な位置関係を座標データとして算出し、処理ステップＳ１５（図２）を終了して次の処理ステップＳ２０へ進む。なお、本実施形態では、上述したように２つのフレーム画像間の相対的な位置関係データを、画像の重なり具合から算出するため、時系列で連続する２つのフレーム画像を順次選択することとした。これは、時系列で連続するフレーム画像間には通常大きい重なりが存在すると想定されるからである。もとより、互いに画像の重なりが存在すると想定される２つのフレーム画像を順次選択して、全てのフレーム画像の相対位置を算出してもよい。
【００３２】
次のステップＳ２０では、算出した相対位置座標に従って取得した全てのフレーム画像を配置する処理を行う。本実施形態では、例えば自動車のように動きのある被写体を、画面のほぼ中央に捉えながらパンによって撮像した動画像から、横長の矩形画面形状の対象静止画像を生成するものとし、図４に例示したフレーム画像Ｆ０〜Ｆ３０が取得されたものとして扱う。
【００３３】
図４は、山並みを背景にして画面左から右方向に走るマイクロバスを、画面中央に捉えながら撮像した動画像から取得したフレーム画像を模式的に表したものである。記号Ｆ０〜Ｆ３０はフレーム画像の識別番号を表し、Ｆ０は時系列順で最初の１番目に取得したフレーム画像を意味し、Ｆ３０は時系列順で最後の３１番目に取得したフレーム画像を意味している。数字が大きくなるほど取得した時系列順が遅くなることを示している。なお、図４では、図面の煩雑さを避けるため図示したフレーム画像間に存在するフレーム画像（例えばフレーム画像Ｆ１〜Ｆ４）を省略している。
【００３４】
ここで図４に示したフレーム画像のうち、一例として、時系列順で一番目（Ｆ０）と２番目（Ｆ１）の連続する２つのフレーム画像を図５（ａ）に、またこの２つのフレーム画像Ｆ０とＦ１をステップＳ２０によって配置した状態を図５（ｂ）に示した。図５（ｂ）に示したように、フレーム画像Ｆ１は、フレーム画像Ｆ０の画面左上隅を基準（０，０）として、相対位置座標（ｘ１，ｙ１）に配置されている。
【００３５】
上述した２つのフレーム画像間における相対位置の算出処理の説明に用いた図３の画像では、動きのある被写体が含まれていない風景画像を想定したため、２つのフレーム画像はパターンマッチングによって算出した相対位置座標において画像全体がほぼ重なる。しかしながら、図５（ａ）に示したようにフレーム画像に動きのある被写体（以下、「動体」と呼ぶ）ＵＧが写っている場合、図５（ｂ）のように２つのフレーム画像は画像全体がずれた状態で重なる。
【００３６】
画像全体がずれる理由を説明する。フレーム画像Ｆ０に対して、フレーム画像Ｆ１では動体ＵＧは画面右方向に移動している。従って、動体ＵＧの画像を特徴点としてパターンマッチングしたと仮定すると、図５（ｃ）に示したように、動体ＵＧの画像は重なるが、動体ＵＧ以外の画像（以下、これを「背景画像」と呼ぶ）は、おおよそ動体ＵＧの移動量分ずれることになる。しかし、ステップＳ１５の処理では、画像全体についてパターンマッチング処理を実施するため、２つのフレーム画像の相対位置は背景画像を重ねる方向（つまり動体ＵＧの画像がずれる方向）にずれる。この結果、動体ＵＧの画像と背景画像とが共にずれる座標位置が２つのフレーム画像がパターンマッチングした状態となり、このときの２つのフレーム画像間での相対的な座標値が、相対位置データとして算出されることになる。従って、画像のパターンマッチング処理によって算出した相対位置データによって、２つのフレーム画像を重ねた場合、動体ＵＧが写ったフレーム画像間では画像全体がずれることになる。
【００３７】
そこで、２つのフレーム画像を繋ぎ合せたとき、背景画像の繋ぎ目を目立ちにくくするため、算出された２つのフレーム画像の相対位置データを、背景画像が重なる相対位置に補正する処理を次に行う。つまり、図５（ｄ）に示したように、背景画像（図中網掛け部）が重なるときのフレーム画像Ｆ１の画面左上隅の相対位置座標の補正値を算出するのである。補正値は、Ｘ方向の補正値ｕ画素、Ｙ方向の補正値ｖ画素として求める。
【００３８】
それでは、次のステップＳ２５（図２）が行う、フレーム画像間で重なる画素同士の画素値から相対位置データを補正する処理について説明する。この処理によって、上記した補正値ｕ、ｖが求まる。ここでの処理を図６のフローチャートを用いて説明する。
【００３９】
この処理が開始されると、まずステップＳ２５１にて時系列で連続する２つのフレーム画像を時系列順に１つずつずらしながら順次選択する処理を行う。フレーム画像Ｆ０とフレーム画像Ｆ１を最初に選択し、次はフレーム画像Ｆ１とフレーム画像Ｆ２、その次はフレーム画像Ｆ２とフレーム画像Ｆ３という具合に選択を繰り返し、フレーム画像Ｆ２９とフレーム画像Ｆ３０を選択する処理まで行う。
【００４０】
次のステップＳ２５２では、選択した２つのフレーム画像において、配置された状態で重なる画素同士の画素値差分を算出する処理を行う。本実施形態では、フレーム画像を構成するそれぞれの画素は、２つのフレーム画像間で互いに画素の中心同士にて重なるものとして扱う。もとより、互いの画素が画素の中心同士で重ならない場合は、重なりが最も大きい画素同士を対象として画素値の差分を算出するようにしてもよい。また、本実施形態では、以降、画素値の差分は常に絶対値として算出するものとして扱う。
【００４１】
次のステップＳ２５３では、算出した差分値が所定の閾値以下となる全ての画素の数量Ｎを算出する処理を行う。画素値は本実施形態では輝度値を用いることとし、閾値には画素の一致を判定するための所定の輝度値を設定する。もとより、輝度値以外にＲ（赤）Ｇ（緑）Ｂ（青）各８ビットで表されたそれぞれの所定の階調値を閾値としてもよい。
【００４２】
通常取得したフレーム画像間には、露出のバラツキや光学性能に起因する画像の歪みなどが存在するため、同じ被写体を写した画像でも、重ねた画素同士の画素値に僅かながら差が存在する。また、画素が互いの画素中心で重ならない場合も、同様に重なる画素の画素値に多少の差が存在する。従って、設定する閾値は、少なくともこれらの存在する画素値の差を越える値を設定するとよい。
【００４３】
次のステップＳ２５４では、最初に配置した相対位置（図２、ステップＳ２０）を基準にして、２つのフレーム画像を、所定のずらし量の範囲で１画素ずつ相対的にずらす処理を行う。
【００４４】
ステップＳ１５にて算出した２つのフレーム画像の相対位置データは、前述したように、動体ＵＧの移動量に応じて背景画像がずれていると考えてよい。換言すれば、最初に配置した２つのフレーム画像がより離れる方向（つまり動体ＵＧが動いている方向）に、２つのフレーム画像の背景画像が重なる位置が存在すると想定できる。従って、本実施形態では、動体ＵＧは画面左から右方向に動いているため、２つのフレーム画像の画面左上隅のＸ，Ｙ座標値が相対的に画面右方向に離れるよう、２つのフレーム画像を１画素ずつ相対的に所定のずらし範囲内で順次ずらしていく。例えば、２つのフレーム画像がフレーム画像Ｆ０とフレーム画像Ｆ１であった場合は、フレーム画像Ｆ１の画面左上隅のＸ座標、Ｙ座標をＸは＋方向、Ｙは＋−両方向へ１画素ずつ移動してずらしていく。
【００４５】
所定のずらし範囲としては、例えば、＋Ｘ方向、＋−Ｙ方向それぞれにフレーム画像の画面の横の長さの１０％、縦の長さの１０％としたり、例えば＋Ｘ方向，＋−Ｙ方向それぞれ５〜１０画素程度ずつなど予め設定した画素数分としたりしてもよい。もとより、ユーザーが動体ＵＧの移動量を推定し、推定した移動量に対応する画素数をキーボード１１０を用いてデータ入力することによってずらし範囲を設定することとしてもよい。
【００４６】
次のステップＳ２５５では、そのときのずらし位置にて重なる画素同士全てについて、２つのフレーム画像が重なる画像範囲内の全ての画素同士について画素値差分を算出する処理を行う。そして、続くステップＳ２５６では、そのときのずらし位置にて算出された差分値が所定の閾値以下となる全ての画素の数量を算出し、算出した画素の数量のうち最大数量をＭとする処理を行う。本実施形態では、ステップＳ２５６で用いる所定の閾値は、ステップＳ２５３にて用いる閾値と同じ値を用いる。
【００４７】
次のステップＳ２５７では、上記ステップＳ２５３とＳ２５６の処理によって算出した画素の数量Ｎと数量Ｍとを比較し、ＭがＮより大きいか否かを判定する処理を行う。判定の結果、Ｍが大きい場合は（ＹＥＳ）、ステップＳ２５８にて、ＭをＮとし、更に、最初に配置したＸ，Ｙ座標に対して、数量Ｍが算出されたときのフレーム画像間の相対的なＸ方向のずらし量をｕ、Ｙ方向のずらし量をｖとする処理を行う。一方、ＭがＮより大きくない場合は（ＮＯ）、何もしないで次の処理ステップＳ２５９に進む。
【００４８】
ステップＳ２５９では、以上の処理を取得した全てのフレーム画像について実施したか否かを判定する処理を行う。判定の結果、未実施のフレーム画像が存在する場合は（ＮＯ）、ステップＳ２５１に戻って２つのフレーム画像の選択処理から再び処理を実施し、上述したステップＳ２５８まで処理を繰り返す。そして、全てのフレーム画像について処理が終了すると（ＹＥＳ）、ここでの処理（図２のステップＳ２５）を終了し、ステップＳ３０へ進む。
【００４９】
このようにステップＳ２５８での処理によって求められた補正値ｕ，ｖによって、それぞれ時系列で連続する２つのフレーム画像間において、背景画像が重なる位置に相対位置データが補正される。この結果、一例として、先に説明した図５（ｄ）に示したように、フレーム画像Ｆ０に対してフレーム画像Ｆ１の相対位置は（ｘ１＋ｕ＝Ｘ１，ｙ１＋ｖ＝Ｙ１）に補正されるのである。
【００５０】
次にステップＳ３０にて、相対位置データ補正後のフレーム画像間で、画素値差分が所定の閾値を越える画素領域ＧＲを抽出する処理を行う。上述したステップＳ２５での処理によって、時系列で連続する２つのフレーム画像間では、図５（ｄ）に示したように動体ＵＧの画像は重ならずずれることになる。このため、動体ＵＧの画像を構成する画素は、２つのフレーム画像間で重なる画素同士の画素値が異なることになる。従って、予め所定の閾値を設定し、この閾値を越える画素を抽出することによって、動体ＵＧの画像を画素領域ＧＲとして抽出することができる。
【００５１】
抽出した画素領域ＧＲは２つのフレーム画像各々に同一の画素領域として存在することになるが、本実施形態では、抽出した画素領域ＧＲを２つのフレーム画像のうち時系列順で早い方のフレーム画像における動体ＵＧの画像に対応した画素領域として扱う。もとより、時系列順で遅い方のフレーム画像における動体ＵＧの画像に対応した画素領域としても差し支えない。以上で、画像取得部１０２と画像位置算出部１０３の処理を終了する。
【００５２】
（Ｂ）画像選択部および差分画像抽出部
次に、画像選択部１０４及び差分画像抽出部１０５が行う処理について、図７、図８、図９に示したフローチャートと図１０の模式図とを用いて説明する。
【００５３】
ここでの処理が開始されると、まずステップＳ４０（図７）にて基準フレーム画像の設定処理を行う。本実施形態では、後ほど説明するが、設定した基準フレーム画像にのみ動体ＵＧが写った対象静止画像が生成される。従って、この処理によって、生成する対象静止画像に対して動体ＵＧの画像位置を決定することになる。また、本実施形態では、取得した全てのフレーム画像を繋ぎ合せて対象静止画像を生成するものとして扱う。
【００５４】
基準フレーム画像の設定は、この処理の開始に伴って、ディスプレイ１３０に表示される入力画面（図示せず）に従い、ユーザーがキーボード１１０やマウス１２０を用いて、所望するフレーム画像の識別番号などのデータを入力することによって行う。あるいは、ディスプレイ１３０に取得したフレーム画像をサムネイル表示し、ユーザーが所望するフレーム画像のサムネイル表示をマウスのクリック操作によって選択するなどの方法によって行うこととしてもよい。
【００５５】
次に、設定した基準フレーム画像を起点として、まずステップＳ４５にて、時系列で−側の差分画像の抽出処理を行い、次にステップＳ５０にて時系列で＋側の差分画像の抽出処理を行う。これらの処理によって抽出した差分画像と基準フレーム画像とを繋ぎ合わせることによって、後述する基準フレーム画像のみに動体ＵＧが写った対象静止画像を生成することができるのである。
【００５６】
図１０（ａ）は、ステップＳ２５（図２）にて相対位置データが補正された座標位置に配置された各フレーム画像を示した模式図である。フレーム画像Ｆ０の画面左上隅を原点（０，０）とし、それぞれのフレーム画像を補正した相対位置、例えばフレーム画像Ｆ１０を、補正した相対位置（Ｘ１０，Ｙ１０）に配置した状態を示している。また図４と同様に、図示したフレーム画像間に存在するフレーム画像は省略されている。上述したように、補正した相対位置に配置したそれぞれのフレーム画像間では、背景画像が重なる。また、図１０（ｂ）、（ｃ）は、ステップＳ４０の処理によって、配置した複数のフレーム画像の中から、フレーム画像Ｆ５を基準フレーム画像として設定した状態を示している。
【００５７】
それでは、ステップＳ４５が行う処理について、図１０（ｂ）を参照し、図８のフローチャートにて詳しく説明する。この処理が開始されると、まず、ステップＳ４５１で、基準フレーム画像を対象フレーム画像とする処理を行う。そして、ステップＳ４５２にて、時系列順で１つ−側のフレーム画像を比較フレーム画像として選択する。
【００５８】
次に、ステップＳ４５５にて比較フレーム画像は存在するか否かを判定し、比較フレーム画像が存在する場合は（ＹＥＳ）、ステップＳ４５６にて対象フレーム画像に対する比較フレーム画像の差分画像を抽出する処理を行う。一方、比較フレーム画像が存在しない場合は（ＮＯ）、ここでの処理ルーチンを終了してステップＳ５０へ戻る。
【００５９】
図１０（ｂ）に示したように、基準フレーム画像であるフレーム画像Ｆ５を対象フレーム画像としたとき、時系列順で１つ−側になるフレーム画像Ｆ４が比較フレーム画像として選択される。そして、ステップＳ４５６の処理によって、図１０（ｂ）の網掛け部で示した画像部分が差分画像として抽出される。差分画像を構成する全ての画素について、画素の位置（Ｘ，Ｙ座標値）と画素データとを、コンピュータ１００に内蔵したハードディスクやＲＡＭ（いずれも図示せず）などの記憶装置に記憶することによって、差分画像を抽出する。本実施形態では、画素データは、Ｒ、Ｇ、Ｂの各階調値データとする。もとよりＹ、Ｃｒ、Ｃｂの輝度および色差データなど、入力する動画像または取得したフレーム画像を構成する画像データに合わせた画像データとしてもよい。
【００６０】
差分画像を構成する画素の位置は、２つのフレーム画像の画面左上隅の座標と、フレーム画像の画面の縦と横の長さとから簡単な加減算によって求めることができるため、本実施形態では説明を省略する。
【００６１】
次にステップＳ４５７にて、比較フレーム画像を対象フレーム画像とし、ステップＳ４５２に戻る。そして、この対象フレーム画像に対して時系列順で１つ−側のフレーム画像を新たに比較フレーム画像として選択する処理を行う。そして、ステップＳ４５５からステップＳ４５２までを、選択フレーム画像が存在しなくなるまで（ステップＳ４５５：ＮＯ）繰り返し実施する。図１０（ｂ）に示した例では、フレーム画像Ｆ０を比較フレーム画像として選択するまで処理を繰り返し、最終的に５つの差分画像を抽出する。
【００６２】
続いて、ステップＳ５０が行う処理について、図１０（ｃ）を参照し、図９のフローチャートにて詳しく説明する。この処理が開始されると、まず、ステップＳ５０１で、基準フレーム画像を対象フレーム画像とする処理を行う。次に、ステップＳ５０２にて、時系列順で１つ＋側のフレーム画像を比較フレーム画像として選択する。
【００６３】
次に、ステップＳ５０５にて比較フレーム画像は存在するか否かを判定し、比較フレーム画像が存在する場合は（ＹＥＳ）、ステップＳ５０６にて対象フレーム画像に対する比較フレーム画像の差分画像を抽出する処理を行う。一方、比較フレーム画像が存在しない場合は（ＮＯ）、ここでの処理ルーチンを終了して画像選択部１０４および差分画像抽出部１０５の処理を終了する。
【００６４】
図１０（ｃ）に示したように、基準フレーム画像であるフレーム画像Ｆ５を対象フレーム画像としたとき、時系列順で１つ＋側になるフレーム画像Ｆ６が比較フレーム画像として選択される。そして、ステップＳ５０６の処理によって、図１０（ｃ）の網掛け部で示した画像部分が差分画像として抽出される。ここでもステップＳ４５６と同様に、差分画像を構成する全ての画素について、画素の位置（Ｘ，Ｙ座標値）と画素データとを、コンピュータ１００に内蔵したハードディスクやＲＡＭ（いずれも図示せず）などの記憶装置に記憶することによって、差分画像を抽出する。
【００６５】
次にステップＳ５０７にて、比較フレーム画像を対象フレーム画像とし、ステップＳ５０２に戻る。そして、この対象フレーム画像に対して時系列順で１つ＋側のフレーム画像を新たに比較フレーム画像として選択する処理を行う。そして、ステップＳ５０５からステップＳ５０２までを、選択フレーム画像が存在しなくなるまで（ステップＳ５０５：ＮＯ）繰り返し実施する。図１０（ｃ）に示した例では、フレーム画像Ｆ１０までを比較フレーム画像として選択し、ステップＳ４５での処理と同様に５つの差分画像を抽出するところまでを図示しているが、本実施形態では取得した時系列順最後のフレーム画像Ｆ３０まで処理を繰り返し、最終的に２５個の差分画像を抽出する。
【００６６】
本実施形態では、動体ＵＧを画面のほぼ中央に捉えてパン撮像した動画像から複数のフレーム画像を取得する場合を想定した。従って、画面全体の大きさに対する動体ＵＧの画像の面積割合は大きくなく、また動体ＵＧの移動量もフレーム画像の画面横の長さに対して大きくないものとして扱う。この結果、図１０（ｂ）、（ｃ）に例示するように、ステップＳ４５６およびＳ５０６の処理によって抽出した全ての差分画像には、動体ＵＧの画像は存在しないことになる。以上で、画像選択部１０４および差分画像抽出部１０５の処理を終了する。
【００６７】
（Ｃ）静止画像生成部
次に、図１１のフローチャートおよび図１２〜１４の模式図を用いて、静止画像生成部１０６が行う処理を説明する。なお、本実施形態では、対象静止画像は、コンピュータ１００に備えられたハードディスク（図示せず）に画像の記憶領域を用意し、Ｒ、Ｇ、Ｂで表された画素データをコピーなどの手段によって書き込むことで対象静止画像として生成するものとする。
【００６８】
この処理が開始されると、まずステップＳ６０にて、基準フレーム画像の画素データをコピーする処理を行う。次にステップＳ６５にて時系列順で−側の全ての差分画像について画像データを所定の位置にコピーする処理を行い、続いてステップＳ７０にて時系列順で＋側の全ての差分画像について画像データを所定の位置にコピーする処理を行う。差分画像の抽出処理（図８のステップＳ４５６および図９のステップＳ５０６）にてハードディスクなどに記憶した画素位置に基づいて、記憶した画素データをコピーすることによって、先にコピーした基準フレーム画像に対する相対位置が変わらない所定の位置に、全ての差分画像はコピーされることになる。
【００６９】
上述したように、コピーした差分画像は、背景画像が重なるように配置したフレーム画像から抽出した画像である。従って、コピーした差分画像が繋がり合う部分の画像は、繋がりが目立たない画像になる。
【００７０】
図１２（ａ）にステップＳ６０からＳ７０までの処理によってコピーされた画像を例示する。この例では、基準フレーム画像としてフレーム画像Ｆ５が設定され、前述したように、時系列順で−側には、抽出された５つの差分画像がその相対位置にてコピーされ、時系列順で＋側には、抽出された２５の差分画像がその相対位置にてコピーされている。図１２（ａ）では、図面を簡略化し、抽出された差分画像を一部省略して図示したが、コピーされる全ての差分画像には動体ＵＧの画像が写っていないため、図１２（ａ）に示したように、基準フレーム画像にのみ動体ＵＧが写った画像となる。
【００７１】
次に、ステップＳ７５にて、コピーされた基準フレーム画像および差分画像を対象静止画像として生成する処理を行う。本実施形態では、コピーされた基準フレーム画像および差分画像すべてを画像内部に含む最も小さい矩形画面形状の静止画像を対象静止画像として生成する。
【００７２】
図１２（ｂ）に、生成した対象静止画像ＳＧを示した。対象静止画像ＳＧの画面の大きさは、各フレーム画像の画面左上隅座標のＸ座標のうち最大値Ｘｍａｘと最小値Ｘｍｉｎ、Ｙ座標のうち最大値Ｙｍａｘと最小値Ｙｍｉｎ、およびフレーム画像の画面横の長さＷと縦の長さＨから次式（１）、（２）によって求められる。
対象静止画像ＳＧの横の長さＳＧＷ＝Ｘｍａｘ−Ｘｍｉｎ＋Ｗ  …（１）
対象静止画像ＳＧの縦の長さＳＧＨ＝Ｙｍａｘ−Ｙｍｉｎ＋Ｈ  …（２）
図１２（ｂ）に示した例では、ＳＧＷ＝Ｘ３０＋Ｗ、ＳＧＨ＝Ｙ１０−Ｙ３０＋Ｈとなる。
【００７３】
図１２（ｂ）に網掛け部で示したように、対象静止画像ＳＧの画像領域にはフレーム画像の存在しない画像部分ができる。本実施形態では、フレーム画像の存在しない画像領域を黒色表示するものとし、ＲＧＢとも０階調のデータを、所定の画像データとしてデフォルトでコピーする。もとより、ステップＳ７５の処理開始に伴って、ディスプレイ１３０に入力画面（図示せず）を表示し、この入力画面に従ってユーザーがキーボード１１０などから画像データを入力することによって所定の画像データを設定するようにしてもよい。またデフォルトでコピーする画像データも黒色に限らず、白色や灰色などの無彩色、又は緑色や青色などの有彩色に対応した画像データを設定するようにしてもよい。
【００７４】
こうして、フレーム画像の存在しない画像領域について所定の画像データがコピーされた矩形画面形状の静止画像に対して、この静止画像の識別番号を、上述した画像の記憶領域に付随データとして書き込むことによって、対象静止画像ＳＧを生成する。
【００７５】
次にステップＳ８０にて画素領域ＧＲを区分表示する所定の画素データをコピーする処理を行う。この処理の目的は、次のステップＳ８５にて行う記憶した対象静止画像を出力する処理に際して、出力する対象静止画像上に動体ＵＧの位置を明示するために行うものである。本実施形態では、図１２（ｂ）に示したように、動体ＵＧを所定の色の破線にて囲むことによって区分表示するものとする。例えば、ステップＳ３０（図２）にて抽出された画素領域ＧＲを全て内包する矩形の画像領域を設定し、設定した画像領域から所定の画素数分外側に離れた位置を、所定の色と太さの破線によって囲むようにする。所定の色と太さは、背景画像と識別できるものであることが好ましい。もとより、囲む線の種類や色および線の太さなどについては、とくに本実施形態に限るものではなく、動体ＵＧの位置が明示できる区分表示方法であれば何でも良い。
【００７６】
次に、ステップＳ８５にて、生成した対象静止画像ＳＧを出力する処理を行う。本実施形態では、表示装置となるビデオプロジェクタ１８０に対象静止画像ＳＧを表示するものとし、ビデオプロジェクタ１８０が受け付ける入力信号に変換して出力する。例えば、出力する対象静止画像ＳＧを、図１のコンピュータ１００の内部もしくは外部に設けた信号変換装置（図示せず）によって、通常のＮＴＳＣ方式のテレビ標準信号など、画像を表示するための種々の映像信号に変換する。そして変換した映像信号をビデオプロジェクタ１８０に出力することによって、大画面の動画像として映し出すことができる。もとより、対象静止画像ＳＧを表示する表示装置が要求する画像データに合わせ必要に応じて対象静止画像ＳＧに対して画像処理を行い、画像処理後の画像データを出力するものとしてもよい。
【００７７】
以上の処理を終了することによって、本実施形態についての全ての処理を終了する。上述したように、本実施形態によれば、図１２（ｂ）に例示したように、取得した複数のフレーム画像から、自動車などのように動きのある被写体が所定の位置にのみ写った繋ぎ目の目立ちにくい静止画像を作り出すことができる。
【００７８】
以上、本発明の一実施形態を説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。
【００７９】
第１変形例として、前記実施形態では、パンによって左右方向に移動する動体ＵＧをほぼ画面中央に捉えて撮像した動画像を想定したが、チルトによって上下方向に移動する動体をほぼ画面中央に捉えて撮像した動画像を想定してもよい。例えば、水泳競技で高飛び込みをする人物を撮像した画像などに本変形例の画像処理技術は有効である。本変形例では、前記実施形態に対して時系列順で上から下方向（または下から上方向）に連続するフレーム画像を取得したものとすれば、基本的に全ての処理は同じになる。
【００８０】
第２変形例として、前記実施形態では、対象静止画像ＳＧ上で動体ＵＧの画像を明示したが、動体ＵＧの画像を明示しないようにしてもよい。本変形例では、前記実施形態における処理のうち、ステップＳ８０（図１１）を実施しないこととすればよい。また、更にステップＳ３０（図２）の処理を行わないこととしてもよい。こうすれば、画素領域ＧＲの抽出に伴う処理負荷や、識別表示に伴う処理負荷が軽減される。なお、以降説明する第３変形例から第５変形例では、動体ＵＧを識別表示しないものとしているが、もとより識別表示してもよい。
【００８１】
第３変形例として、ステップＳ４０（図７）にて基準フレーム画像を設定するとき、予め決められた位置にあるフレーム画像をデフォルトで設定することとしてもよい。例えば、生成する対象静止画像の横の長さＳＧＷに対して、フレーム画像の画面中心が対象静止画像の画面左端から２分の１の位置に最も近いフレーム画像を設定することとしてもよい。こうすれば動体ＵＧの前後にほぼ同じ幅の背景画像ができる。あるいは、対象静止画像の横の長さＳＧＷに対して、フレーム画像の画面中心が対象静止画像の画面左端から３分の１もしくは３分の２の位置に最も近いフレーム画像を設定することとしてもよい。こうすれば、画面全体の横の長さをおおよそ黄金分割した位置に動体ＵＧが写った静止画像を生成することができ、動体ＵＧが一般的に画像バランスが良いとされる位置に写った画像を得ることができる。
【００８２】
対象静止画像の画面の横の長さＳＧＷは、前記実施形態ではステップＳ７５（図１１）にて求めたが、本変形例ではステップＳ２５（図２）に続いて、補正されたフレーム画像の相対位置データとフレーム画像の画面横の長さＷとから求めることとすればよい。一例として、フレーム画像中心が対象静止画像の画面左端からＳＧＷの３分の２の位置に最も近いフレーム画像Ｆ２２を、基準フレーム画像としてデフォルトで設定し、このとき生成する対象静止画像ＳＧを図１３（ａ）に示した。
【００８３】
また、第３変形例の更なる変形例として、ステップＳ３０（図２）にて抽出した画素領域ＧＲの重心を算出し、算出した重心の位置を用いて、この重心位置が予め決められた位置に最も近くにくるフレーム画像を基準フレーム画像として設定するものとしてもよい。こうすれば、例えば、対象静止画像の横の長さＳＧＷに対して、動体ＵＧの画像の位置が実際に対象静止画像の画面左端から３分の１もしくは３分の２の位置になるフレーム画像を、基準フレーム画像として設定することができる。図１３（ｂ）に、画素領域ＧＲ（図中、斜線部）の重心が、対象静止画像の画面左端からＳＧＷの３分の１の位置に対応するフレーム画像Ｆ８を、基準フレーム画像としてデフォルトで設定し、このとき生成する対象静止画像ＳＧを一例として示した。
【００８４】
第４変形例として、前記実施形態では生成する対象静止画像ＳＧは、フレーム画像を全て含む矩形画面形状の静止画像としたが、必ずしもこれに限定せず、例えば、全てのフレーム画像によって作られる画像に内接する矩形画面形状の静止画像としてもよい。図１４に本変形例によって生成した対象静止画像ＳＧＮを例示する。こうすれば、前記実施形態で生成した対象静止画像ＳＧに対して、画面上下の長さは小さくなるが、全てフレーム画像が存在する静止画像を対象静止画像として生成することができる。このとき、対象静止画像ＳＧＮの画面横の長さはＸｍａｘ−Ｘｍｉｎ＋Ｗ、画面縦の長さはＹｍｉｎ−Ｙｍａｘ＋Ｈによって求めることができる。図１４の場合は、画面横の長さはＸ３０＋Ｗ、画面縦の長さはＹ３０−Ｙ１０＋Ｈとなる。本変形例の場合、対象静止画像を生成する処理に際して、記憶領域にコピーする差分画像の画像領域が少なくなるため、対象静止画像の生成処理に関する負荷を軽減することができる
【００８５】
あるいは、生成する対象静止画像の大きさを、ユーザーが指定するようにしてもよい。例えば、ステップＳ２５（図２）の処理に引き続いて、補正した相対位置に配置したフレーム画像を、配置した状態のままディスプレイ１３０に表示する。そして、表示された画像上で、ユーザーがマウス１２０のクリック操作またはドラッグ操作などにより矩形形状の四隅の位置データを入力し、入力した位置データで区画される画像領域を、生成する対象静止画像の大きさとして入力することで指定するようにしてもよい。
【００８６】
又は、キーボード１１０を用いて対象静止画像を生成する時系列順で最初のフレーム画像の識別番号と最後のフレーム画像の識別番号を入力して指定するようにしてもよい。こうすれば、パンによって撮像された動画像のうち、ユーザーが所望する画像部分に対応した対象静止画像を生成することができる。
【００８７】
第５変形例として、前記実施形態では、出力する対象静止画像が１つとして説明したが、複数の対象静止画像を生成するものとし、ステップＳ８５（図１１）にて、生成した複数の対象静止画像を所定の時間間隔で順次出力するものとしてもよい。例えば、ＮＴＳＣ方式のテレビジョンなど動画像を表示する表示装置では、動画像を表示するために通常１秒につき３０枚の画像を描画している。従って、生成した対象静止画像を、一つずつ３０分の１秒の時間間隔にて出力することによって動画として表示することができる。もとより、動画像を表示する表示装置が必要とする描画数に合わせ、時間間隔を変更して対象静止画像を順次出力するものとしてもよい。
【００８８】
例えば、前記実施形態において取得した３１枚のフレーム画像Ｆ０からＦ３０について、フレーム画像Ｆ０から順に１つずつ基準フレーム画像とし、これに対応する３１枚の対象静止画像ＳＧ０からＳＧ３０を生成する。そして、生成した対象静止画像ＳＧ０からＳＧ３０を、例えば３０分の１秒の時間間隔でＳＧ０からＳＧ３０まで順次１枚ずつ出力する。こうすれば、例えば、図１５に示したように、横長の矩形画面形状で表示された背景画像の中を動体ＵＧのみが、矢印に示したように左から右に動く動画像として再生することができる。
【００８９】
第６変形例として、前記実施形態ではステップＳ２５（図２）で相対位置データの補正値を算出する際、重なる画素同士の画素値差分の算出処理を、２つのフレーム画像間で重なる画像領域全てについて行ったが、重なる画像領域のうち所定の画像領域についてのみ行うこととしてもよい。例えば、重なる画像領域の４つの隅から、重なる画像領域の内側方向に、上下左右それぞれ５〜１０画素分（つまり面積で２５〜１００画素分）の画像領域について、画素値差分の算出処理を行うものとしてもよい。
【００９０】
取得したフレーム画像は、動体ＵＧの画像がほぼ画面中央に存在するため、各フレーム画像の周辺画像は背景画像であると仮定できる。従って、背景画像と想定される画像領域についてのみ、重なる画素の画素値差分を算出することによって、２つのフレーム画像の相対位置データの補正値を算出することができる。こうすれば、相対位置データの補正値を算出する処理負荷を軽減することができる。
【００９１】
また、第７変形例として、本実施形態における画像処理装置は、汎用のコンピュータで構成するようにしたが、本発明はこれに限定されるものでなく、モバイルコンピュータやワークステーションなどで構成するようにしてもよい。あるいは、コンピュータとしての機能を有するデジタルカメラやビデオカメラ、ＤＶＤプレーヤ、ビデオプロジェクタ、携帯電話など種々の機器において本発明の画像処理装置を構成するようにしてもよい。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施形態としての画像処理装置の概略構成を示す説明図。
【図２】画像処理装置における画像位置算出処理までを説明するフローチャート。
【図３】フレーム画像間の相対位置の算出方法を説明する説明図。
【図４】画像処理装置に入力する動画像を説明するための模式図。
【図５】フレーム画像間の相対位置算出処理を説明するための説明図。
【図６】フレーム画像間の相対位置を補正する処理を説明するフローチャート。
【図７】画像処理装置における差分画像抽出処理までを説明するフローチャート。
【図８】時系列順で−側の差分画像を抽出する処理を説明するフローチャート。
【図９】時系列順で＋側の差分画像を抽出する処理を説明するフローチャート。
【図１０】フレーム画像間から差分画像の抽出処理を説明するための模式図。
【図１１】画像処理装置における静止画像生成処理までを説明するフローチャート。
【図１２】生成した対象静止画像を説明するための説明図。
【図１３】（ａ）は画面中心位置を所定の位置とする変形例、（ｂ）は画素領域ＧＲの重心位置を所定の位置とする変形例で、それぞれ生成する対象静止画像の説明図。
【図１４】第４変形例において生成される対象静止画像を説明する説明図。
【図１５】第５変形例において生成される対象静止画像を説明する説明図。
【符号の説明】
【００９３】
１００…コンピュータ、１０２…画像取得部、１０３…画像位置算出部、１０４…画像選択部、１０５…差分画像抽出部、１０６…静止画像生成部、１１０…キーボード、１２０…マウス、１３０…ディスプレイ、１４０…ＣＤ−Ｒ／ＲＷドライブ、１５０…ＤＶＤ−Ｒ／ＲＷドライブ、１６０…デジタルビデオカメラ、１８０…ビデオプロジェクタ、Ｆ０〜Ｆ３０…動画像から取得されたフレーム画像、ＵＧ…動体、ＳＧ…対象静止画像、ＳＧＮ…対象静止画像、Ｇ１…フレーム画像、Ｇ２…フレーム画像。
【図１】
2005275765.tif 000003
【図２】
2005275765.tif 000004
【図３】
2005275765.tif 000005
【図４】
2005275765.tif 000006
【図５】
2005275765.tif 000007
【図６】
2005275765.tif 000008
【図７】
2005275765.tif 000009
【図８】
2005275765.tif 000010
【図９】
2005275765.tif 000011
【図１０】
2005275765.tif 000012
【図１１】
2005275765.tif 000013
【図１２】
2005275765.tif 000014
【図１３】
2005275765.tif 000015
【図１４】
2005275765.tif 000016
【図１５】
2005275765.tif 000017