(57)【要約】【課題】動画像に含まれる複数のフレーム画像から生成する静止画像の画質を向上させる【解決手段】動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置を構成する。画像生成装置は、先頭のフレーム画像１を基準画像、フレーム画像２を対象画像として、両者のずれ量を検出し、これらを合成して合成画像１を生成する。次に、合成画像１を基準画像、フレーム画像３を対象画像として、両者のずれ量を検出し、これらを合成して合成画像２を生成する。次に、合成画像２を基準画像、フレーム画像４を対象画像として、両者のずれ量を検出し、これらを合成して合成画像３を生成する。このような工程を経て、静止画像を生成する。【選択図】  図２
2004272751.tif 000002
【特許請求の範囲】
【請求項１】
動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置であって、
前記複数のフレーム画像のうちの少なくとも２つのフレーム画像を合成して基準画像を生成する基準画像生成部と、
該基準画像との所定のずれ量を検出すべき対象画像を設定する対象画像設定部と、
前記ずれ量を検出するずれ量検出部と、
該ずれ量を補償するように、前記対象画像を合成して合成画像を生成する合成画像生成部と、
を備える画像生成装置。
【請求項２】
請求項１記載の画像生成装置であって、
前記合成画像生成部は、前記基準画像と前記対象画像とを合成して前記合成画像を生成する、
画像生成装置。
【請求項３】
請求項１記載の画像生成装置であって、
前記対象画像設定部は、複数の前記対象画像を設定し、
前記合成画像生成部は、前記対象画像同士を合成して前記合成画像を生成する、
画像生成装置。
【請求項４】
請求項３記載の画像生成装置であって、
前記対象画像設定部は、前記基準画像の生成に用いられたフレーム画像を、前記対象画像として設定する、
画像生成装置。
【請求項５】
請求項４記載の画像生成装置であって、さらに、
前記基準画像と前記合成画像との差異を評価する評価部と、
前記差異が所定以上であるときに、前記合成画像を前記基準画像として、前記ずれ量検出部と、前記合成画像生成部とを稼動させる合成制御部と、
を備える画像生成装置。
【請求項６】
請求項１記載の画像生成装置であって、
前記対象画像設定部は、前記基準画像の生成に用いられたフレーム画像以外のフレーム画像から、前記対象画像を選択する、
画像生成装置。
【請求項７】
請求項１記載の画像生成装置であって、
前記対象画像設定部は、前記基準画像の生成に用いられたフレーム画像から、前記対象画像を選択する、
画像生成装置。
【請求項８】
請求項７記載の画像生成装置であって、
前記基準画像生成部は、前記合成画像生成部よりも高速処理が可能な方法で、前記基準画像を生成する、
画像生成装置。
【請求項９】
請求項１記載の画像生成装置であって、
前記対象画像設定部は、前記基準画像の生成に用いられたフレーム画像以外のフレーム画像を少なくとも１つ含む複数のフレーム画像を合成して、前記対象画像を設定する、
画像生成装置。
【請求項１０】
動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置であって、
前記複数のフレーム画像から所定の基準画像を入力する基準画像入力部と、
該基準画像との所定のずれ量を検出すべき対象画像を設定する対象画像設定部と、
前記ずれ量を検出するずれ量検出部と、
該ずれ量を補償するように、前記基準画像と前記対象画像とを合成して合成画像を生成する合成画像生成部と、
該合成画像を前記基準画像として、前記対象画像設定部と、前記ずれ量検出部と、前記合成画像生成部とを稼動させる合成制御部と、
を備える画像生成装置。
【請求項１１】
請求項１または１０記載の画像生成装置であって、
前記複数のフレーム画像は、時系列的に連続するフレーム画像である、
画像生成装置。
【請求項１２】
請求項１または１０記載の画像生成装置であって、
前記ずれ量は、並進ずれ量および回転ずれ量の少なくとも一方を含む、
画像生成装置。
【請求項１３】
動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成方法であって、
（ａ）前記複数のフレーム画像のうちの少なくとも２つのフレーム画像を合成して基準画像を生成する工程と、
（ｂ）該基準画像との所定のずれ量を検出すべき対象画像を設定する工程と、
（ｃ）前記ずれ量を検出する工程と、
（ｄ）該ずれ量を補償するように、前記対象画像を合成して合成画像を生成する工程と、
を備える画像生成方法。
【請求項１４】
動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成方法であって、
（ａ）前記複数のフレーム画像から所定の基準画像を取得する工程と、
（ｂ）該基準画像との所定のずれ量を検出すべき対象画像を設定する工程と、
（ｃ）前記ずれ量を検出する工程と、
（ｄ）該ずれ量を補償するように、前記基準画像と前記対象画像とを合成して合成画像を生成する工程と、
（ｅ）該合成画像を前記基準画像として、前記工程（ｂ）ないし（ｄ）によって前記合成画像を生成する工程と、
を備える画像生成方法。
【請求項１５】
動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置を制御するためのコンピュータプログラムであって、
前記複数のフレーム画像のうちの少なくとも２つのフレーム画像を合成して基準画像を生成する機能と、
該基準画像との所定のずれ量を検出すべき対象画像を設定する機能と、
前記ずれ量を検出する機能と、
該ずれ量を補償するように、前記対象画像を合成して合成画像を生成する機能と、
をコンピュータに実現させるためのコンピュータプログラム。
【請求項１６】
動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置を制御するためのコンピュータプログラムであって、
前記複数のフレーム画像から所定の基準画像を取得する機能と、
該基準画像との所定のずれ量を検出すべき対象画像を設定する対象画像設定機能と、
前記ずれ量を検出するずれ量検出機能と、
該ずれ量を補償するように、前記基準画像と前記対象画像とを合成して合成画像を生成する合成画像生成機能と、
該合成画像を前記基準画像として、前記対象画像設定機能と、前記ずれ量検出機能と、前記合成画像生成機能とによって前記合成画像を生成する機能と、
をコンピュータに実現させるためのコンピュータプログラム。
【請求項１７】
請求項１５または１６記載のコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像に含まれる複数のフレーム画像から静止画像を生成する技術に関する。
【０００２】
【従来の技術】
従来、ディジタルビデオカメラ等で撮影された動画像の１シーンをキャプチャして、フレーム画像よりも高解像度の静止画像を生成することが行われている。このような静止画像は、動画像に含まれる複数のフレーム画像を重ね合わせて合成することによって生成される。
【０００３】
例えば、特許文献１には、連続する（ｎ＋１）枚のフレーム画像から１枚のフレーム画像を基準画像として選択し、この基準画像に対する他のｎ枚のフレーム画像（対象画像）の動きベクトルをそれぞれ算出し、各動きベクトルに基づいて、（ｎ＋１）枚のフレーム画像を合成して静止画像を生成する技術が開示されている。
【０００４】
【特許文献１】
特開２０００−２４４８５１号公報
【０００５】
【発明が解決しようとする課題】
しかし、一般に、個々のフレーム画像には、圧縮などの要因により、多くのノイズが含まれている。そして、ノイズが大きくなるほど、ずれ量検出の精度が悪くなる。このため、先に示した特許文献１の技術では、生成される静止画像の画質が悪くなる場合があった。
【０００６】
本発明は、上述の課題を解決するためになされたものであり、動画像に含まれる複数のフレーム画像から生成する静止画像の画質を向上させることを目的とする。
【０００７】
【課題を解決するための手段およびその作用・効果】
上述の課題の少なくとも一部を解決するため、本発明では、以下の構成を採用した。
本発明の第１の画像生成装置は、
動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置であって、
前記複数のフレーム画像のうちの少なくとも２つのフレーム画像を合成して基準画像を生成する基準画像生成部と、
該基準画像との所定のずれ量を検出すべき対象画像を設定する対象画像設定部と、
前記ずれ量を検出するずれ量検出部と、
該ずれ量を補償するように、前記対象画像を合成して合成画像を生成する合成画像生成部と、
を備えることを要旨とする。
【０００８】
ここで、フレーム画像とは、プログレッシブ方式（ノンインタレース方式ともいう）で表示可能な静止画像である。したがって、インタレース方式の場合は、ラスタの異なる複数のフィールド画像（奇数フィールドと偶数フィールド）から構成される画像が本発明のフレーム画像に相当する。
【０００９】
本発明では、基準画像は、少なくとも２つのフレーム画像を合成した画像である。したがって、各フレーム画像に含まれるノイズが平均化されるなどして目立たなくなっている。これを基準画像としてずれ量を検出することにより、その精度を向上させ、生成される静止画像の画質を向上させることができる。
【００１０】
なお、基準画像は、連続するフレーム画像を合成した画像であってもよいし、非連続のフレーム画像を合成した画像であってもよい。
【００１１】
また、基準画像生成部や、合成画像生成部が行う画像の合成処理には、ニアレストネイバ法や、バイリニア法や、バイキュービック法など、周知の種々の手法を適用することができる。また、基準画像生成部と、合成画像生成部とは、同一の合成処理を行うようにしてもよいし、それぞれ異なる処理を行うようにしてもよい。
【００１２】
本発明の第１の画像生成装置において、
前記合成画像生成部は、前記基準画像と前記対象画像とを合成して前記合成画像を生成するようにすることができる。
【００１３】
こうすることによって、合成画像の画質を向上させることができる。
【００１４】
また、本発明の第１の画像生成装置において、
前記対象画像設定部は、複数の前記対象画像を設定し、
前記合成画像生成部は、前記対象画像同士を合成して前記合成画像を生成するようにすることができる。
【００１５】
これは、合成画像の生成時に基準画像を合成しない態様である。こうすることによっても、静止画像の画質を向上させることができる。
【００１６】
上記画像生成装置において、
前記対象画像設定部は、任意のフレーム画像を対象画像として設定することが可能であるが、前記基準画像の生成に用いられたフレーム画像を、前記対象画像として設定するようにすることが好ましい。
【００１７】
例えば、ｎ枚のフレーム画像を合成して基準画像を生成した場合に、このｎ枚のフレーム画像のすべてを対象画像とする態様である。こうすることによって、基準画像とのずれ量が比較的少ないフレーム画像を対象画像として用い、合成画像を生成することができるので、静止画像の画質を向上させることができる。
【００１８】
上記画像生成装置において、さらに、
前記基準画像と前記合成画像との差異を評価する評価部と、
前記差異が所定以上であるときに、前記合成画像を前記基準画像として、前記ずれ量検出部と、前記合成画像生成部とを稼動させる合成制御部と、
を備えるようにしてもよい。
【００１９】
これは、基準画像と合成画像との差異が所定未満になるまで、合成画像の生成を繰り返して行う態様である。基準画像と合成画像との差異の評価は、例えば、両者の対応する各画素の階調値の差分や比を算出することによって行うことができる。本発明によって、静止画像の画質をさらに向上させることができる。
【００２０】
本発明の第１の画像生成装置において、
前記対象画像設定部は、前記基準画像の生成に用いられたフレーム画像以外のフレーム画像から、前記対象画像を選択するようにすることができる。
【００２１】
こうすることによって、多数のフレーム画像を参照して、より高画質な合成画像を生成することができる。
【００２２】
また、前記対象画像設定部は、前記基準画像の生成に用いられたフレーム画像から、前記対象画像を選択するようにしてもよい。
【００２３】
こうすることによって、基準画像および対象画像に、いわゆるブロックノイズやモスキートノイズなどのノイズが含まれる場合に、これらを低減することができる。
【００２４】
上記画像生成装置において、
前記基準画像生成部は、前記合成画像生成部よりも高速処理が可能な方法で、前記基準画像を生成するようにしてもよい。
【００２５】
画像の合成には、画像補間の手法が用いられる。一般に、高速処理が可能な方法は、手順が簡素化されているため、手順が複雑な方法よりも補間精度が悪く、画質が劣る。例えば、ニアレストネイバ法と、バイリニア法と、バイキュービック法とは、この順序で手順が複雑になり、処理時間が長くなる。一方、補間精度が高くなり、画質が向上する。
【００２６】
本発明において、基準画像は、合成画像生成部で合成される画像である一方、対象画像のずれ量を検出するために用いられる画像であるから、合成画像生成部で生成する合成画像と比較して、必ずしも高画質であることは要求されない。したがって、例えば、基準画像の生成には、高速処理が可能なニアレストネイバ法を適用し、合成画像の生成には、補間精度が高いバイリニア法を適用することができる。本発明によって、基準画像の生成時間を短縮することができるので、静止画像の生成時間を短縮することができる。
【００２７】
なお、本発明の第１の画像生成装置において、
前記対象画像設定部は、前記基準画像の生成に用いられたフレーム画像以外のフレーム画像を少なくとも１つ含む複数のフレーム画像を合成して、前記対象画像を設定するようにしてもよい。
【００２８】
これは、対象画像も複数のフレーム画像を合成した画像とする態様である。つまり、合成画像生成部は、複数のフレーム画像が合成された基準画像と対象画像とを合成して合成画像を生成する。こうすることによっても、静止画像の画質を向上させることができる。
【００２９】
本発明の第２の画像生成装置は、
動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置であって、
前記複数のフレーム画像から所定の基準画像を入力する基準画像入力部と、
該基準画像との所定のずれ量を検出すべき対象画像を設定する対象画像設定部と、
前記ずれ量を検出するずれ量検出部と、
該ずれ量を補償するように、前記基準画像と前記対象画像とを合成して合成画像を生成する合成画像生成部と、
該合成画像を前記基準画像として、前記対象画像設定部と、前記ずれ量検出部と、前記合成画像生成部とを稼動させる合成制御部と、
を備えることを要旨とする。
【００３０】
こうすることによって、段階的に基準画像と対象画像とを合成して合成画像の生成を行うことができる。したがって、合成画像では、基準画像および対象画像に含まれるノイズが平均化されるなどして目立たなくなっている。これを基準画像としてずれ量を検出することにより、その精度を向上させ、生成される静止画像の画質を向上させることができる。
【００３１】
なお、本発明の第１または第２の画像生成装置において、
前記複数のフレーム画像は、時系列的に連続するフレーム画像であるようにすることが好ましい。
【００３２】
こうすることによって、基準画像と対象画像とのずれ量を比較的小さく抑えることができる。
【００３３】
また、本発明の第１または第２の画像生成装置において、
前記ずれ量は、並進ずれ量および回転ずれ量の少なくとも一方を含むようにすることが好ましい。
【００３４】
並進ずれ量は、ブロックマッチング法や、勾配法や、これらを組み合わせた手法など、種々の手法によって、検出することができる。回転ずれ量も、また、幾何学的な計算によって検出することができる。本発明によって、精度よくずれ量の検出を行い、合成画像を生成することができる。
【００３５】
なお、以上説明した第１および第２の画像生成装置は、その一部を適宜組み合わせ可能である。
【００３６】
本発明は、上述の画像生成装置としての構成の他、画像生成方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。
【００３７】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、画像生成装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。
【００３８】
【発明の実施の形態】
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．第１実施例：
Ａ１．画像生成装置の構成：
Ａ２．静止画像の生成：
Ａ３．ずれ量の検出：
Ａ４．合成：
Ａ５．静止画像生成処理：
Ｂ．第２実施例：
Ｂ１．画像生成装置の構成：
Ｂ２．静止画像の生成：
Ｂ３．静止画像生成処理：
Ｃ．変形例：
【００３９】
Ａ．第１実施例：
Ａ１．画像生成装置の構成：
図１は、本発明の第１実施例としての画像生成装置１００の概略構成を示す説明図である。この画像生成装置１００は、動画像に含まれる複数のフレーム画像を合成して、フレーム画像よりも高解像度の静止画像を生成する装置である。画像生成装置１００は、汎用のパーソナルコンピュータに所定のアプリケーションソフトをインストールすることによって構成されており、図示する各機能ブロックをソフトウェア的に備えている。
【００４０】
パーソナルコンピュータは、ＣＰＵや、ＲＯＭや、ＲＡＭの他、ハードディスクや、ＤＶＤ−ＲＯＭ、メモリカード等の記録媒体から動画像を入力するためのインタフェースなどを備えている。また、入力した動画像を再生する機能も有している。
【００４１】
制御部１０は、各部の制御を行う。フレーム画像入力部２０は、動画像に含まれるフレーム画像を入力する。本実施例では、フレーム画像入力部２０は、動画像の再生中にユーザが一時停止の指示を、図示しないコマンド入力部に入力したタイミングから、時系列的に連続する４枚のフレーム画像を入力するものとした。フレーム画像入力部２０が入力するフレーム画像の数は、ユーザが任意に設定できるようにしてもよい。また、入力するフレーム画像は、時系列的に連続していなくてもよい。フレーム画像記憶部３０は、フレーム画像入力部２０が入力した複数のフレーム画像を記憶する。
【００４２】
基準画像選択部４０は、フレーム画像記憶部３０に記憶された複数のフレーム画像の中から基準画像を選択する。本実施例では、フレーム画像入力部２０が最初に入力したフレーム画像を、基準画像として選択するものとした。画像生成装置１００内に、複数のフレーム画像それぞれについて、その特徴量（例えば、エッジ強度等）の解析を行うための機能ブロックを設け、解析結果に基づいて、基準画像の選択を行うようにしてもよい。
【００４３】
対象画像設定部５０は、基準画像とのずれ量の検出対象となる対象画像を設定する。本実施例では、後述するように、基準画像以降の３枚のフレーム画像を、フレーム画像入力部２０が入力した順に、対象画像として設定するものとした。
【００４４】
ずれ量検出部６０は、基準画像に対する対象画像のずれ量を検出する。本実施例では、ずれ量として、並進ずれ量と、回転ずれ量を検出するものとした。このずれ量の検出については、後述する。
【００４５】
合成画像生成部７０は、解像度変換を行うとともに、ずれ量検出部６０が検出したずれ量を補償するように、基準画像と対象画像とを合成して合成画像を生成する。基準画像と対象画像との合成方法については、後述する。
【００４６】
Ａ２．静止画像の生成：
図２は、第１実施例において、複数のフレーム画像を合成して静止画像を生成する様子を概念的に示す説明図である。先に説明したように、本実施例では、時系列的に連続する４枚のフレーム画像を用いて、静止画像を生成する。
【００４７】
まず、先頭のフレーム画像１を基準画像、フレーム画像２を対象画像として、両者のずれ量を検出し、これらを合成して合成画像１を生成する。次に、合成画像１を基準画像、フレーム画像３を対象画像として、両者のずれ量を検出し、これらを合成して合成画像２を生成する。次に、合成画像２を基準画像、フレーム画像４を対象画像として、両者のずれ量を検出し、これらを合成して合成画像３を生成する。このような工程を経て、静止画像を生成する。以下、基準画像と対象画像とのずれ量の検出および合成方法について説明する。
【００４８】
Ａ３．ずれ量の検出：
図３は、基準画像と対象画像とのずれ量について示す説明図である。基準画像の座標（ｘ１，ｙ１）が対象画像の座標（ｘ２，ｙ２）にずれているものとする。本実施例では、ずれ量として並進ずれ量（ｕ，ｖ）と、回転ずれ量δとを用いるものとした。
【００４９】
本実施例では、基準画像と対象画像との並進ずれ量を、勾配法によって求めるものとした。図４は、勾配法による並進ずれ量の算出方法を示す説明図である。図４（ａ）には、基準画像および対象画像の画素および輝度を示した。図４（ａ）において、例えば、（ｘ１ｉ，ｙ１ｉ）は、基準画像の画素の座標値を表しており、Ｂ１（ｘ１ｉ，ｙ１ｉ）は、その輝度を表している。また、図４（ｂ）には、勾配法の原理を示した。
【００５０】
ここでは、対象画像の座標（ｘ２ｉ，ｙ２ｉ）の画素が、基準画像の座標（ｘ１ｉ〜ｘ１ｉ＋１，ｙ１ｉ〜ｙ１ｉ＋１）の間、すなわち、画素間の座標である（ｘ１ｉ＋Δｘ，ｙ１ｉ＋Δｙ）にあるものとして説明する。
【００５１】
図４（ｂ）に示すように、
Ｐｘ＝Ｂ１（ｘ１ｉ＋１，ｙ１ｉ）−Ｂ１（ｘ１ｉ，ｙ１ｉ）  ・・・（１）
Ｐｙ＝Ｂ１（ｘ１ｉ，ｙ１ｉ＋１）−Ｂ１（ｘ１ｉ，ｙ１ｉ）  ・・・（２）
とし、
Ｂ１＝Ｂ１（ｘ１ｉ，ｙ１ｉ）  ・・・（３）
Ｂ２＝Ｂ２（ｘ２ｉ，ｙ２ｉ）  ・・・（４）
とすると、
Ｐｘ・Δｘ＝Ｂ２−Ｂ１  ・・・（５）
Ｐｙ・Δｙ＝Ｂ２−Ｂ１  ・・・（６）
の関係が成り立つ。したがって、
｛Ｐｘ・Δｘ−（Ｂ２−Ｂ１）｝２＝０  ・・・（７）
｛Ｐｘ・Δｙ−（Ｂ２−Ｂ１）｝２＝０  ・・・（８）
を満たすΔｘ、Δｙを求めればよい。実際には、各画素についてΔｘ、Δｙを算出し、全体で平均をとることになる。
【００５２】
そして、ｘ方向およびｙ方向の両方向を考慮すると、
Ｓ２＝Σ｛Ｐｘ・Δｘ＋Ｐｙ・Δｙ−（Ｂ２−Ｂ１）｝２  ・・・（９）
を最小にするΔｘ、Δｙを求めればよい。
【００５３】
なお、本実施例では、勾配法によって、並進ずれ量を算出するものとしたが、ブロックマッチング法や、反復勾配法や、これらを組み合わせた手法など、他の手法を用いるようにしてもよい。
【００５４】
図５は、回転ずれの算出方法を示す説明図である。ここでは、基準画像と対象画像との並進ずれが補正されているものとする。
【００５５】
基準画像の座標（ｘ１，ｙ１）の原点Ｏからの距離をｒとし、ｘ軸からの回転角度をθとすると、ｒ、θは、
ｒ＝（ｘ１２＋ｙ１２）１／２    ・・・（１０）
θ＝ｔａｎ−１（ｘ１／ｙ１）  ・・・（１１）
となる。
【００５６】
ここで、原点Ｏを中心として、基準画像の座標（ｘ１，ｙ１）を角度δだけ回転させたときに、対象画像の座標（ｘ２，ｙ２）と一致するものとすると、この回転によるｘ軸方向およびｙ軸方法の移動量は、
ｘ２−ｘ１≒−ｒ・δ・ｓｉｎθ＝−δ・ｙ１  ・・・（１２）
ｙ２−ｙ１≒ｒ・δ・ｃｏｓθ＝δ・ｘ１      ・・・（１３）
によって求められる。
【００５７】
したがって、上記式（９）におけるΔｘ、Δｙは、
Δｘ＝ｕ−δ・ｙ１                            ・・・（１４）
Δｙ＝ｖ＋δ・ｘ１                            ・・・（１５）
と表すことができる。
【００５８】
これらを上記式（９）に代入すると、
Ｓ２＝Σ｛Ｐｘ・（ｕ−δ・ｙ１）＋Ｐｙ・（ｖ＋δ・ｘ１）−（Ｂ２−Ｂ１）｝２  ・・・（１６）
が得られる。
【００５９】
上記式（１６）のＳ２を最小にするｕ，ｖ，δを最小二乗法によって求めることにより、基準画像と対象画像との１画素未満の並進ずれ量および回転ずれ量を精度よく検出することができる。
【００６０】
Ａ４．合成：
図６は、基準画像と対象画像との合成方法を示す説明図である。図６の上段に、基準画像と対象画像とを、ずれ量を補正して配置した様子を示した。図６の下段には、基準画像と、対象画像と、合成画像の各画素の位置関係を示した。図６の下段において、「○」は、基準画像の画素を表している。「●」は、対象画像の画素を表している。破線の格子上にハッチングを付した丸印は、合成画像の画素を表している。なお、この図では、基準画像および対象画像の解像度は同じであるものとし、フレーム画像の解像度をｘ軸方向およびｙ軸方向に１．５倍に増大する場合について示している。
【００６１】
ここで、合成画像の画素ｇ１に着目する。この画素ｇ１は、基準画像の画素ｔ１と一致している。この場合、画素ｇ１を囲む対象画像の４つの画素ｓ１〜ｓ４の階調値に基づいて、画素ｇ１の位置における階調値をバイリニア法によって求め、この階調値と基準画像の画素ｔ１の階調値とを平均することによって、画素ｇ１の階調値を決定する。
【００６２】
また、合成画像の画素ｇ２の階調値は、以下の手順で決定する。すなわち、まず、画素ｇ２を囲む基準画像の４つの画素ｔ２〜ｔ５の階調値に基づいて、画像ｇ２の位置における階調値をバイリニア法によって求める。次に、画素ｇ２を囲む対象画像の４つの画素ｓ４〜ｓ７の階調値に基づいて、画素ｇ２の位置における階調値をバイリニア法によって求める。そして、両者を平均することによって画素ｇ２の階調値を決定する。
【００６３】
他の画素についても、以上説明したのと同様にして階調値を決定することができる。ここでは、理解を容易にするため、基準画像および対象画像の解像度が同じであるものとして説明したが、基準画像および対象画像の解像度が異なっている場合には、適宜、拡大または縮小して同様の処理を行えばよい。
【００６４】
なお、本実施例では、バイリニア法を用いて合成画像を生成するものとしたが、バイキュービック法など他の手法を適用してもよい。
【００６５】
Ａ５．静止画像生成処理：
図７は、第１実施例における静止画像生成処理の流れを示すフローチャートである。画像生成装置１００のＣＰＵが実行する処理である。
【００６６】
まず、フレーム画像記憶部３０から基準画像を取得する（ステップＳ１００）。先に説明したように、本実施例では、フレーム画像入力部２０が最初に入力したフレーム画像を基準画像とするものとした。次に、対象画像を設定する（ステップＳ１１０）。そして、基準画像に対する対象画像のずれ量を検出し（ステップＳ１２０）、このずれ量を補償するように、合成画像を生成する（ステップＳ１３０）。そして、フレーム画像入力部２０が入力した４枚全てのフレーム画像について合成画像の生成が終了したか否かを判断する（ステップＳ１４０）。
【００６７】
ステップＳ１４０において、全てのフレーム画像について合成画像の生成が終了していない場合には、ステップＳ１３０において生成された合成画像を基準画像として設定し（ステップＳ１５０）、ステップＳ１１０〜Ｓ１４０を行う。ステップＳ１４０において、全てのフレーム画像について合成画像の生成が終了した場合には、静止画像の生成処理を終了する。
【００６８】
以上説明した第１実施例の画像生成装置によれば、段階的に基準画像と対象画像とを合成して合成画像の生成を行うことができる。したがって、合成画像では、基準画像および対象画像に含まれるノイズが平均化されるなどして目立たなくなっている。これを基準画像としてずれ量を検出することにより、その精度を向上させ、生成される静止画像の画質を向上させることができる。
【００６９】
Ｂ．第２実施例：
Ｂ１．画像生成装置の構成：
図８は、本発明の第２実施例としての画像生成装置１００Ａの概略構成を示す説明図である。画像生成装置１００Ａの構成は、評価部８０を備えていること以外は、第１実施例の画像生成装置１００とほぼ同じである。なお、以下に説明するように、第２実施例では、静止画像の生成方法が第１実施例とは異なる。このため、評価部８０によって、後述するように、２つ合成画像の差異を評価する。
【００７０】
Ｂ２．静止画像の生成：
図９は、第２実施例において、複数のフレーム画像を合成して静止画像を生成する様子を概念的に示す説明図である。第１実施例と同様に、時系列的に連続する４枚のフレーム画像を用いて、静止画像を生成するものとした。
【００７１】
まず、フレーム画像１を基準画像、３枚のフレーム画像２〜４を対象画像として、基準画像と対象画像との各ずれ量を検出し、４枚のフレーム画像１〜４を合成して合成画像１を生成する。次に、合成画像１を基準画像、フレーム画像１〜４を対象画像として、各ずれ量を検出し、フレーム画像１〜４を合成して合成画像２を生成する。なお、このとき、基準画像としての合成画像１は、対象画像と合成されない。合成画像１と対象画像とを合成するようにしてもよい。
【００７２】
本実施例では、さらに静止画像の画質を向上させるために、合成画像１と合成画像２との差異を評価する。本実施例では、合成画像１と合成画像２との各画素の階調値の差分を求め、その二乗和に基づいて、合成画像１と合成画像２との差異を評価するものとした。両者の差分の二乗和が所定値以上であれば、合成画像２の画質は不十分であると判断し、さらに、合成画像２を基準画像、フレーム画像１〜４を対象画像として、各ずれ量を検出し、フレーム画像１〜４を合成して合成画像３を生成する。そして、再度、合成画像２と合成画像３との差異を評価する。なお、所定値は、任意に設定可能である。
【００７３】
このような工程を、上記差分の二乗和が所定値未満になるまで、すなわち、上記工程によって画質の向上が見込めなくなるまで繰り返し行い、静止画像を生成する。なお、基準画像と対象画像とのずれ量の検出方法、および、フレーム画像１〜４の合成方法は、第１実施例とほぼ同じである。また、本実施例では、合成画像ｎと合成画像（ｎ＋１）との差異を、上記差分の二乗和によって評価するものとしたが、両者の比によって評価するものとしてもよい。
【００７４】
Ｂ３．静止画像生成処理：
図１０は、第２実施例における静止画像生成処理の流れを示すフローチャートである。画像生成装置１００ＡのＣＰＵが実行する処理である。
【００７５】
まず、フレーム画像記憶部３０から基準画像を取得する（ステップＳ２００）。第２実施例においても、第１実施例と同様に、フレーム画像入力部２０が最初に入力したフレーム画像を基準画像とするものとした。次に、対象画像を設定する（ステップＳ２１０）。ここでは、先に説明したように、基準画像を除いた３枚のフレーム画像が対象画像として設定される。そして、基準画像と３枚の対象画像との各ずれ量を検出し（ステップＳ２２０）、各ずれ量を補償するように、基準画像と３枚の対象画像とを合成して合成画像を生成する（ステップＳ２３０）。なお、本実施例では、ステップＳ２３０において、第１実施例と同様に、合成画像の生成にバイリニア法を適用するものとしたが、バイリニア法よりも手順が簡素化され、高速処理が可能なニアレストネイバ法を適用するものとしてもよい。こうすることによって、バイリニア法だけを用いる場合よりも静止画像の生成時間を短縮することができる。
【００７６】
次に、ステップＳ２３０で生成された合成画像を基準画像として設定し（ステップＳ２４０）、また、この基準画像（合成画像）の生成に用いられた４枚のフレーム画像を対象画像として設定する（ステップＳ２５０）。そして、基準画像と４枚の対象画像との各ずれ量を検出し（ステップＳ２６０）、各ずれ量を補償するように、４枚の対象画像を合成して合成画像を生成する（ステップＳ２７０）。
【００７７】
次に、ステップＳ２３０で生成された合成画像とステップＳ２７０で生成された合成画像との各画素の階調値の差分およびその二乗和を算出する（ステップＳ２８０）。そして、差分の二乗和が所定値未満であるか否かを判断する（ステップＳ２９０）。
【００７８】
ステップＳ２９０において、上記差分の二乗和が所定値以上である場合には、さらに、ステップＳ２４０〜Ｓ２９０を行う。この場合、２回目以降のステップＳ２８０においては、ステップＳ２７０で生成された合成画像同士（前回の合成画像と今回の合成画像）の差分の二乗和を算出する。ステップＳ２９０において、上記差分の二乗和が所定値未満である場合には、静止画像の生成処理を終了する。
【００７９】
以上説明した第２実施例の画像生成装置１００Ａでは、基準画像は、少なくとも２つのフレーム画像を合成した画像である。したがって、各フレーム画像に含まれるノイズが平均化されるなどして目立たなくなっている。これを基準画像としてずれ量を検出することにより、その精度を向上させ、生成される静止画像の画質を向上させることができる。
【００８０】
Ｃ．変形例：
以上、本発明のいくつかの実施の形態について説明したが、本発明はこのような実施の形態になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々なる態様での実施が可能である。例えば、以下のような変形例が可能である。
【００８１】
Ｃ１．変形例１：
上記第１実施例の画像生成装置１００は、パノラマ画像の生成を行うこともできる。図１１は、パノラマ画像生成の様子を示す説明図である。ここでは、実線で示した５枚のフレーム画像１〜５を合成し、その一部を抽出して、破線で示したパノラマ画像を生成する場合について示した。先に説明した従来の画像生成装置では、フレーム画像１を基準画像とした場合には、フレーム画像５と重なる領域がないため、合成画像の生成ができなかった。第１実施例の画像生成装置１００によれば、合成画像を順次生成し、基準画像とするので、より多くのフレーム画像を合成してパノラマ画像を生成することが可能である。
【００８２】
Ｃ２．変形例２：
上記第１実施例では、フレーム画像入力部２０が入力した連続するフレーム画像の順序に従って、合成画像の生成を行うものとしたが、これに限られない。例えば、図２において、フレーム画像１とフレーム画像３とを合成して合成画像１を生成するようにしてもよい。こうすることによっても、静止画像の画質を向上させることができる。
【００８３】
Ｃ３．変形例３：
上記実施例では、対象画像として、フレーム画像を設定するものとしたが、複数のフレーム画像を合成した画像を設定するものとしてもよい。この場合、基準画像の生成に用いられたフレーム画像以外のフレーム画像を少なくとも１つ含む複数のフレーム画像を合成して設定してもよいし、基準画像の生成に用いられていない複数のフレーム画像を合成して設定してもよい。こうすることによっても、静止画像の画質を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施例としての画像生成装置１００の概略構成を示す説明図である。
【図２】第１実施例において、複数のフレーム画像を合成して静止画像を生成する様子を概念的に示す説明図である。
【図３】基準画像と対象画像とのずれ量について示す説明図である。
【図４】勾配法による並進ずれ量の算出方法を示す説明図である。
【図５】回転ずれの算出方法を示す説明図である。
【図６】基準画像と対象画像との合成方法を示す説明図である。
【図７】第１実施例における静止画像生成処理の流れを示すフローチャートである。
【図８】本発明の第２実施例としての画像生成装置１００Ａの概略構成を示す説明図である。
【図９】第２実施例において、複数のフレーム画像を合成して静止画像を生成する様子を概念的に示す説明図である。
【図１０】第２実施例における静止画像生成処理の流れを示すフローチャートである。
【図１１】パノラマ画像生成の様子を示す説明図である。
【符号の説明】
１００、１００Ａ…画像生成装置
１０…制御部
２０…フレーム画像入力部
３０…フレーム画像記憶部
４０…基準画像選択部
５０…対象画像設定部
６０…量検出部
７０…合成画像生成部
８０…評価部
ｔ１〜ｔ５…基準画像の画素
ｓ１〜ｓ７…対象画像の画素
ｇ１、ｇ２…合成画像の画素
【図１】
2004272751.tif 000003
【図２】
2004272751.tif 000004
【図３】
2004272751.tif 000005
【図４】
2004272751.tif 000006
【図５】
2004272751.tif 000007
【図６】
2004272751.tif 000008
【図７】
2004272751.tif 000009
【図８】
2004272751.tif 000010
【図９】
2004272751.tif 000011
【図１０】
2004272751.tif 000012
【図１１】
2004272751.tif 000013