(57)【要約】【課題】    鮮明化処理に不適なフレームを処理対象から除外する。【解決手段】  画像処理装置１００は、動画像ＭＶを構成する時系列に連続したフレーム画像のうち、基準フレーム画像１３を指定する。基準フレーム画像１３および基準フレーム以外のフレーム画像に付加されたＥｘｉｆ情報に基づき、各フレーム画像の露出値（ＥＶ値）を算出する。基準フレーム画像１３の近傍に存在し、かつ、ＥＶ値が所定値（±１）以内であるフレーム画像１４〜１６を、基準フレーム画像１３と撮影条件が同一・類似であると判断し、高解像度静止画像を作成する処理対象フレーム画像として選択する。フレーム画像１０〜１２は、ＥＶ値に所定値以上の差があるため、撮影条件が異なると判断し、処理対象フレーム画像から除外する。選択された処理対象フレーム画像を使用して鮮明化処理を行い、高解像度静止画像２００を作成する。【選択図】  図１
2006033232.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
時系列に連続する複数の画像を読み込む画像読込部と、
前記複数の画像から基準画像を指定する基準画像指定部と、
前記複数の画像のそれぞれの撮影時の状況を特定可能な画像情報を取得する画像情報取得部と、
前記複数の画像から前記基準画像を除いた各画像のうちの1つを注目画像として選択し、前記注目画像の前記画像情報と、前記基準画像の前記画像情報とに基づき、前記注目画像と前記基準画像との前記撮影時の状況が同一もしくは類似であるか否かを判定する判定部と、
前記判定により前記基準画像と前記撮影時の状況が同一もしくは類似すると判定された前記注目画像を対象画像として選択する選択部と、
前記対象画像および前記基準画像に基づき、前記複数の画像の解像度よりも解像度の高い高解像度静止画像を作成する画像作成部とを備える画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
更に、
前記判定部による判定に先立ち、前記基準画像と、前記注目画像との時系列的な距離が、所定範囲内であるかを判断する画像距離判断部とを備え、
前記判定部は、前記画像距離判断部により、前記所定範囲内であると判断された前記注目画像について、前記同一もしくは類似であるか否かの判定を行う画像処理装置。
【請求項３】
請求項１または請求項２記載の画像処理装置であって、
前記画像情報は、前記複数の画像の各画像に関連付けられた前記各画像の撮影時の撮影条件であり、
前記画像取得部は、前記画像情報を取得する画像処理装置。
【請求項４】
請求項３記載の画像処理装置であって、
前記画像情報には、前記撮影時のＩＳＯ感度、露出時間、および、絞り値が含まれており、
前記判定部は、前記画像情報から前記各画像の露出値を算出し、前記基準画像の前記露出値と、前記注目画像の前記露出値との差が所定値以下の場合に、前記同一もしくは類似であると判定する画像処理装置。
【請求項５】
請求項３記載の画像処理装置であって、
前記画像情報には、前記撮影時の被写体までの距離が含まれており、
前記判定部は、前記基準画像の前記被写体までの距離と、前記注目画像の前記被写体までの距離との差が所定値以下の場合に、前記同一もしくは類似であると判定する画像処理装置。
【請求項６】
請求項３記載の画像処理装置であって、
前記画像情報には、前記撮影時の焦点距離が含まれており、
前記判定部は、前記基準画像の前記焦点距離と、前記注目画像の前記焦点距離との差が所定値以下の場合に、前記同一もしくは類似であると判定する画像処理装置。
【請求項７】
請求項３〜請求項６いずれか記載の画像処理装置であって、
前記画像情報とは、Ｅｘｉｆ情報である画像処理装置。
【請求項８】
請求項１または請求項２記載の画像処理装置であって、
更に、
前記複数の画像を解析し、前記解析結果に基づき、前記画像情報を生成する画像情報生成部を備える画像処理装置。
【請求項９】
請求項８記載の画像処理装置であって、
前記画像情報生成部は、前記複数の画像のそれぞれの輝度情報を解析して、前記輝度情報に基づき前記画像情報を生成し、
前記判定部は、前記基準画像の前記輝度情報と、前記注目画像の前記輝度情報との差が所定値以下の場合に、前記同一もしくは類似であると判定する画像処理装置。
【請求項１０】
画像処理装置が行う画像処理方法であって、
（ａ）時系列に連続した複数の画像を読み込む工程と、
（ｂ）前記複数の画像から基準画像を指定する工程と、
（ｃ）前記複数の画像のそれぞれの撮影時の状況を特定可能な画像情報を取得する工程と、
（ｄ）前記複数の画像から前記基準画像を除いた各画像のうちの1つを注目画像として選択し、前記注目画像の前記画像情報と、前記基準画像の前記画像情報とに基づき、前記注目画像と前記基準画像との前記撮影時の状況が同一もしくは類似であるか否かを判定する工程と、
（ｅ）前記判定により前記基準画像と前記撮影時の状況が同一もしくは類似すると判定された前記注目画像を対象画像として選択する工程と、
（ｆ）前記対象画像および前記基準画像に基づき、前記複数の画像の解像度よりも解像度の高い高解像度静止画像を作成する工程とを備える画像処理方法。
【請求項１１】
コンピュータに、画像処理を実行させるためのコンピュータプログラムであって、
時系列に連続した複数の画像を読み込む機能と、
前記複数の画像から基準画像を指定する機能と、
前記複数の画像のそれぞれの撮影時の状況を特定可能な画像情報を取得する機能と、
前記複数の画像から前記基準画像を除いた各画像のうちの1つを注目画像として選択し、前記注目画像の前記画像情報と、前記基準画像の前記画像情報とに基づき、前記注目画像と前記基準画像との前記撮影時の状況が同一もしくは類似であるか否かを判定する機能と、
前記判定により前記基準画像と前記撮影時の状況が同一もしくは類似すると判定された前記注目画像を対象画像として選択する機能と、
前記対象画像および前記基準画像に基づき、前記複数の画像の解像度よりも解像度の高い高解像度静止画像を作成する機能とをコンピュータに実行させるためのコンピュータプログラム。
【請求項１２】
請求項１１記載のコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像から、より解像度の高い静止画像を作成する画像処理装置に関するものである。
【背景技術】
【０００２】
近年、時系列に連続する複数の画像から構成されている動画像から、高解像度の画像を作成する画像処理装置が普及しつつある。画像処理装置は、例えば、複数の画像のうち、基準となる画像と、基準画像の前後の画像との画素のずれに基づいて間欠画素の補間を行い、高解像度静止画像を作成する。
【０００３】
最近では、複数の画像中に、複雑な動きをしていたり、非常に高速で動いていたりする被写体が含まれる場合にも、画質の劣化を抑制しつつ、解像度の高い画像を作成する技術が提案されている（特許文献１参照）。
【０００４】
【特許文献１】特開２００４−８８６１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、フラッシュやズーム操作などによる撮影状況の急激な変化による画質の劣化を考慮していなかった。撮影状況の急激な変化とは、例えば、動画像の撮影時に、周囲からフラッシュが間欠的にたかれ、動画像を構成する複数の画像の一部だけ露出値が高くなる場合、撮影時にズーム操作が行われた場合には、複数の画像の焦点距離が異なる場合がある。撮影中にこのような撮影状況の急激な変化があった場合には、各画像間の画素のずれの検出精度が低下し、高解像度静止画像の画質の劣化を余儀なくされていた。
【０００６】
本発明は、上述した課題に鑑みてなされたものであり、急激な撮影状況の変化を検出し、画像処理に反映することにより、画質の劣化を抑制しつつ、解像度の高い静止画像を作成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題の少なくとも一部を解決するため、本発明は、以下の構成をとることとした。すなわち、
画像処理装置において、
時系列に連続した複数の画像を読み込む画像読込部と、
前記複数の画像から基準画像を指定する基準画像指定部と、
前記複数の画像のそれぞれの撮影時の状況を特定可能な画像情報を取得する画像情報取得部と、
前記複数の画像から前記基準画像を除いた各画像のうちの1つを注目画像として選択し、前記注目画像の前記画像情報と、前記基準画像の前記画像情報とに基づき、前記注目画像と前記基準画像との前記撮影時の状況が同一もしくは類似であるか否かを判定する判定部と、
前記判定により前記基準画像と前記撮影時の状況が同一もしくは類似すると判定された前記注目画像を対象画像として選択する選択部と、
前記対象画像および前記基準画像に基づき、前記複数の画像の解像度よりも解像度の高い高解像度静止画像を作成する画像作成部とを備えることを要旨とする。
【０００８】
このような構成をとることとすれば、基準画像と撮影時の状況が同一もしくは類似しない画像を、高解像度静止画像の作成処理に使用する処理対象画像から除外することができる。従って、鮮明化処理の精度を向上することができ、高品質の高解像度静止画像を作成することができる。
【０００９】
本発明の画像処理装置において、
前記画像情報は、前記複数の画像の各画像に関連付けられた前記各画像の撮影時の撮影条件であり、
前記画像取得部は、前記画像情報を取得することとしてもよい。
【００１０】
こうすれば、画像処理装置は、各画像の画像情報を簡易に取得することができるため、撮影時の状況の同一・類似を判断する演算負荷を軽減することができる。
【００１１】
本発明の画像処理装置において、
前記画像情報には、前記撮影時のＩＳＯ感度、露出時間、および、絞り値が含まれており、
前記判定部は、前記画像情報から前記各画像の露出値を算出し、前記基準画像の前記露出値と、前記注目画像の前記露出値との差が所定値以下の場合に、前記同一もしくは類似であると判定することとしてもよい。
【００１２】
また、
前記画像情報には、前記撮影時の被写体までの距離が含まれており、
前記判定部は、前記基準画像の前記被写体までの距離と、前記注目画像の前記被写体までの距離との差が所定値以下の場合に、前記同一もしくは類似であると判定することとしてもよい。
【００１３】
また、
前記画像情報には、前記撮影時の焦点距離が含まれており、
前記判定部は、前記基準画像の前記焦点距離と、前記注目画像の前記焦点距離との差が所定値以下の場合に、前記同一もしくは類似であると判定することとしてもよい。
【００１４】
こうすれば、画像に関連付けられた画像情報から取得可能な種々の情報に基づき、簡易に撮影状況の変化を検出することができる。従って、処理対象画像を効率的に判断することができ、演算負荷を軽減することができる。
【００１５】
本発明の画像処理装置において、前記画像情報とは、Ｅｘｉｆ情報であることとしてもよい。こうすれば、Ｅｘｉｆ情報を参照することにより、画像から簡易に画像情報を取得することができる。
【００１６】
本発明の画像処理装置において、
更に、
前記複数の画像を解析し、前記解析結果に基づき、前記画像情報を生成する画像情報生成部を備ることとしてもよい。
【００１７】
このような構成をとることとすれば、画像に、撮影条件を特定可能な画像情報が関連付けられていない場合であっても、画像を解析することにより画像情報を取得することができる。
【００１８】
本発明の画像処理装置において、
前記画像情報生成部は、前記複数の画像のそれぞれの輝度情報を解析して、前記輝度情報に基づき前記画像情報を生成し、
前記判定部は、前記基準画像の前記輝度情報と、前記注目画像の前記輝度情報との差が所定値以下の場合に、前記同一もしくは類似であると判定することとしてもよい。
【００１９】
このような構成をとることとすれば、画像間の輝度情報の急峻な変化、すなわち、画像間の明るさの変化に基づき、処理対象画像として選択するか否かを判断することができる。
【００２０】
本発明の画像処理装置において、
更に、
前記判定部による判定に先立ち、前記基準画像と、前記注目画像との時系列的な距離が、所定範囲内であるかを判断する画像距離判断部とを備え、
前記判定部は、前記画像距離判断部により、前記所定範囲内であると判断された前記注目画像について、前記同一もしくは類似であるか否かの判定を行うこととしてもよい。
【００２１】
一般的に時系列に連続した画像間の時系列的な距離が離れると、時間経過が大きく、撮影状況が同一もしくは類似である可能性が低くなる。本発明の構成をとることとすれば、画像情報に基づき同一もしくは類似を判断する前に、基準画像から時系列的な距離が離れている注目画像を、処理対象画像から除外することができ高解像度作成処理の処理効率を向上することができる。
【００２２】
本発明において、上述した種々の態様は、適宜、組み合わせたり、一部を省略したりして適用することができる。また、本発明は、上述した画像処理装置としての構成の他に、画像処理装置による画像処理方法、画像処理装置に画像処理を実効させるためのコンピュータプログラム、かかるコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体等としても構成できる。いずれの構成においても、上述した各態様を適宜適用可能である。コンピュータが読み取り可能な記録媒体としては、例えば、フレキシブルディスクや、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ハードディスク等種々の媒体を利用することが可能である。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態について、実施例に基づき、次の順序で説明する。
Ａ．第１実施例：
Ａ１．システム概要：
Ａ２．機能ブロック：
Ａ３．高解像度静止画像作成処理：
Ａ３−１．全体処理：
Ａ３−２．処理対象フレーム判定処理：
Ａ３−３．鮮明化処理：
Ａ４．第１実施例の変形例：
Ｂ．第２実施例：
Ｂ１．処理対象フレーム判定処理：
Ｃ．変形例：
【００２４】
Ａ．第１実施例：
Ａ１．システム概要：
図１は、本実施例におけるシステム概要を例示する説明図である。本実施例では、画像処理装置が、時系列に連続する複数の静止画像から解像度の高い静止画像を作成する際に、撮影条件が同一もしくは類似しない静止画像以外の静止画像を使用して、高解像度静止画像を作成する態様を説明する。本実施例において、連続画像ＳＰは、静止画像１０〜１６を含む時系列に連続した静止画像から構成されており、デジタルカメラの連写モードで撮影された画像である。連続画像ＳＰは、本発明の請求の範囲に記載した「時系列に連続する複数の画像」に相当する。以降、本実施例では、この複数の画像の各画像をフレームと呼ぶ。
【００２５】
画像処理装置１００は、連続画像ＳＰのうち、基準フレーム１３の指定をユーザから受け付け、基準フレーム１３に付加されたＥｘｉｆ情報に基づき、基準フレーム１３の露出値を算出する。露出値とは、露光量を数値化したものであり、いわゆる、ＥＶ値と呼ばれるものである。「Ｅｘｉｆ」とは、デジタルカメラ用の画像ファイルの規格であり、「Ｅｘｉｆ情報」とは、画像ファイルに付加された付加情報である。Ｅｘｉｆ情報には、例えば、フラッシュの有無などのデジタルカメラによる撮影時の撮影条件や、撮影日時などの情報が記録される。ＥＶ値の算出方法に関しては後述する。
【００２６】
画像処理装置１００は、基準フレーム１３以外のフレームであって、基準フレーム１３との時系列距離が所定の範囲内のフレームから、基準フレーム１３とのＥＶ値の差が所定の範囲内であるフレームを、高解像度化処理に使用する対象フレームとして選択する。時系列距離とは、時系列距離とは、時系列的に連続した複数の画像において、基準フレームと他のフレームとが何枚離れているかを表す数値である。本実施例では、基準フレーム１３とのＥＶ値の差が±１以内であるフレームを高解像度化処理に使用する対象フレームとして選択することとした。
【００２７】
図示するように、基準フレーム１３のＥＶ値は、「ＥＶ＝６」である。基準フレーム１３の前後に存在するフレーム１０〜１２、１４〜１６のＥＶ値は、フレーム１０〜１２については「ＥＶ＝１０」であり、フレーム１４〜１６については「ＥＶ＝６」である。画像処理装置１００は、基準フレーム１３よりＥＶ値が「３」高い「ＥＶ＝１０」を有するフレーム１０〜１２を対象フレームとせず、「ＥＶ＝６」を有するフレーム１４〜１６を対象フレームとして選択する。対象フレーム１４〜１６は、基準フレーム１３との画素のずれを比較する対象となるフレームである。本実施例では、基準フレーム１３と、対象フレーム１４〜１６とを併せて処理対象フレームと呼ぶ。
【００２８】
画像処理装置１００は、処理対象フレームに基づき鮮明化処理を行い、もとの画像よりも解像度の高い高解像度静止画像２００を作成する。
【００２９】
Ａ２．機能ブロック：
図２は、本実施例における画像処理装置１００の機能ブロックを例示する説明図である。画像処理装置１００は、ＣＰＵ１０１とインターフェース１０２と、ＲＯＭ１１０と、ハードディスク１２０とを備えている。ＲＯＭ１１０には、各機能を実行する機能ブロックが構成されている。機能ブロックは、画像読込部１０３と、フレーム指定部１０４と、時系列距離判断部１０５と、撮影条件判定部１０６と、対象フレーム選択部１０７と、鮮明化処理部１０８とから構成されている。各機能ブロックは、ＣＰＵにより制御されている。ハードディスク１２０には、画像格納部１２１と、高解像度静止画像格納部１２２とが構成されている。画像格納部１２１には、連続画像ＳＰなど高解像度化処理前の画像が格納されており、高解像度静止画像格納部１２２には、高解像度化された高解像度静止画像が格納される。
【００３０】
インターフェース１０２は、キーボードやマウスなど、ユーザが操作する機器からの入力を各機能ブロックへ通知する機能を備える。
【００３１】
画像読込部１０３は、画像格納部１２１に格納されている画像から、高解像度化処理を行う連続画像ＳＰを読み込む機能を備える。フレーム指定部１０４は、インターフェース１０２を介して通知されるユーザからの指示に基づき、読み込んだ連続画像ＳＰを構成するフレームから基準フレームや注目フレームの指定を行う。フレーム指定部１０４は、本発明の基準画像指定部に当たる。
【００３２】
時系列距離判断部１０５は、注目フレームと基準フレームとの時系列距離が所定の範囲内にあるか否かを判断する機能を備える。また、時系列距離判断部１０５は、注目フレームと基準フレームとの時系列距離が所定の範囲内でないと判断した場合に、ユーザに基準フレームの再指定を行うか否かの選択画面を表示する機能も備える。時系列距離判断部１０５は、本発明の画像距離判断部に当たる。
【００３３】
撮影条件判定部１０６は、注目フレームと基準フレームとの撮影条件を比較して両フレーム間の撮影条件が同一もしくは類似であるかを判定する。具体的には、各フレームに付加されているＥｘｉｆ情報からＥＶ値を算出し、注目フレームのＥＶ値が、基準フレームのＥＶ値と比べて±１以内であれば、撮影条件は同一もしくは類似であると判断する。Ｅｘｉｆ情報を使用することで、簡易に、精度良く撮影条件の変化を判断することができる。Ｅｘｉｆ情報を、図３を用いて説明する。撮影条件判定部１０６は、本発明の画像情報取得部および判定部に当たる。
【００３４】
図３は、本実施例におけるＥｘｉｆ情報を例示する説明図である。図３（ａ）は、本実施例におけるフレーム１０のデータ構成を例示する説明図である。他のフレームも同様の構成である。フレーム１０は、Ｅｘｉｆ情報２０と、画像データ２１とから構成されている。Ｅｘｉｆ情報の内容の一例を、図３（ｂ）を用いて説明する。
【００３５】
Ｅｘｉｆ情報２０には、図示するように、「画像タイトル」、「撮影日時」などの基準フレーム１３に関する情報とともに、「色空間情報」、「ＩＳＯ感度」、「露出時間」、「被写体距離」、「焦点距離」等のフレーム１０の撮影時の撮影条件が記録されている。例えば、フレーム１０の「画像タイトル」は「ｆｉｌｅ０５．ｊｐｇ」であり、「ＩＳＯ感度」は、「１００」である。Ｅｘｉｆ情報２０は、簡易に参照することができ、種々の値を取得することができるため、撮影条件の判断材料として好適である。
【００３６】
図２に戻り説明を続ける。対象フレーム選択部１０７は、撮影条件判定部１０６によって撮影条件が同一もしくは類似であると判定された注目フレームを、対象フレームとして選択する。また、対象フレーム選択部１０７は、処理対象フレームが、高解像度化処理を行うための必要枚数に達したか否かにより、選択処理を続行するか否かを判断する。本実施例では、対象フレーム選択部１０７は、基準フレームと対象フレームとの合計枚数が４枚、すなわち、対象フレームを３枚選択すると、選択処理を終了する。対象フレーム選択部１０７は、本発明の選択部に当たる。
【００３７】
鮮明化処理部１０８は、対象フレーム選択部１０７によって選択された基準フレームおよび対象フレームに基づき、これらのフレームよりも解像度の高い高解像度静止画像を作成し、高解像度静止画像格納部１２２に格納する。鮮明化処理部１０８は、本発明の画像作成部に当たる。
【００３８】
Ａ３．高解像度静止画像作成処理：
Ａ３−１．全体処理：
図４は、本実施例における高解像度静止画像作成処理の全体処理を説明するフローチャートである。利用者が基準フレームを指定することによりこの処理は開始される。
【００３９】
画像処理装置１００は、ユーザからの基準フレームの選択指示を受けて、基準フレームを指定する（ステップＳ１０）。次に、画像処理装置１００は、処理対象フレームを選択する処理を行い（ステップＳ１１）、選択された処理対象フレームに基づき鮮明化処理を行い、高解像度静止画像を作成する（ステップＳ１２）。処理対象フレーム選択処理、および、鮮明化処理について以下に説明する。
【００４０】
Ａ３−２．処理対象フレーム選択処理：
図５は、本実施例における処理対象フレームの選択処理を説明するフローチャートである。図４のステップＳ１１における処理の詳細を説明する図である。
【００４１】
画像処理装置１００は、基準フレームのＥＶ値を算出する（ステップＳ２０）。ＥＶ値は、Ｅｘｉｆ情報に含まれる「ＩＳＯ感度」、「露出時間」および「絞り値」から次の式により求まる。以下の式では、「ＩＳＯ感度」を「ＩＳＯ」と、「露出時間」を「Ｔ」と、「絞り値」を「Ｆ」と表す。
【００４２】
【数１】
2006033232.tif 000003
【００４３】
数１に記載の式は、「絞り値＝１．０」、「露出時間＝１ｓｅｃ」、「ＩＳＯ感度＝１００」の時に「ＥＶ＝０」と定義されている。露出量が２倍になるごとにＥＶ値が１増加し、露出量が１／２になるとＥＶ値は１減少する。例えば、図３のＥｘｉｆ情報２０に数１に記載の式を適用してＥＶ値を算出すると以下のようになる。
【００４４】
【数２】
2006033232.tif 000004
【００４５】
このように、フレーム１０のＥＶ値は「１０」であると算出される。
【００４６】
次に、画像処理装置１００は、注目フレームを指定する（ステップＳ２１）。本実施例では、基準フレームの直後に選択する注目フレームを、基準フレームの次のフレームとした。
【００４７】
画像処理装置１００は、基準フレームと注目フレームとの時系列距離に基づき、その注目フレームが所定の制限範囲内であるか否かを判断する（ステップＳ２２）。かかる判断処理の詳細を、図６を用いて説明する。
【００４８】
図６は、本実施例における時系列距離判断処理を説明するフローチャートである。画像処理装置１００は、注目フレームの基準フレームとの時系列距離ｄ１を算出し（ステップＳ３０）、時系列的距離ｄ１が制限範囲内であるか否かを判断する（ステップＳ３１）。時系列距離の判断処理について、図７を用いて説明する。
【００４９】
図７は、本実施例における時系列距離の判断処理を模式的に示した模式図である。連続画像ＳＰは、フレームレートが３０ｆｐｓ、すなわち、１秒間に３０フレームを有する連続画像である。図中、フレームｆ（ｎ）の「ｎ」は、当該フレームが連続画像ＳＰ中の順番を示しており、フレームｆ（ｎ）は、連続画像ＳＰのｎ番目のフレームであることを示している。本図は、連続画像ＳＰの任意の１秒間に存在するフレームｆ（ｎ）〜ｆ（ｎ＋３０）を示している。
【００５０】
基準フレームとその他のフレームとの時系列距離ｄ１は、両画像が何枚離れているかを示している。例えば、注目フレームをフレームｆ（ｎ＋１８）とした場合、基準フレームｆ（ｎ＋１５）と注目フレームｆ（ｎ＋１８）との時系列距離ｄ１は以下の計算により算出される。
【００５１】
ｄ１＝（ｎ＋１８）−（ｎ＋１５）
＝３
【００５２】
よって、時系列距離ｄ１＜閾値ｔｈ（＝１４）であり、注目フレームｆ（ｎ＋１８）は、制限範囲内であると判断される。
【００５３】
時系列距離が大きくなるにつれて両フレーム間の時間差も大きくなり、一般的に、両フレームの撮影された内容や撮影条件に差異が生じることが多い。よって、本実施例では、対象フレームとなり得る範囲が１秒以上にならないようにするため、時系列距離ｄ１の閾値ｔｈを「１４」とする。すなわち、対象フレームとなり得るフレームは、基準フレームｆ（ｎ＋１５）の前後１４枚を含むｆ（ｎ＋１）〜ｆ（ｎ＋２９）の範囲内のフレームである。
【００５４】
図６に戻り説明を続ける。画像処理装置１００は基準フレームと注目フレームとの時系列距離ｄ１が閾値ｔｈ以下でない場合、すなわち、制限範囲内でないと判断した場合（ステップＳ３１：ＮＯ）には、基準フレームを再指定するか否かをユーザに選択させる選択案内画面を表示する（ステップＳ３２）。選択案内画面の画面例を、図８を用いて説明する。
【００５５】
図８は、本実施例における選択案内画面の画面例である。選択案内画面３００は、案内メッセージ表示部３０１と、選択部３０２と、ＯＫボタン３０３とから構成されている。案内メッセージ表示部３０１には、ユーザに選択を促すためのメッセージが表示される。選択部３０２は、ラジオボタン３１０〜３１２とその後に実行する処理内容が表示される。ユーザは、所望する処理に対応するラジオボタン３１０〜３１２を選択し、ＯＫボタン３０３を押下する。画像処理装置１００はＯＫボタン３０３の押下を受けて、選択された処理を実行する。
【００５６】
図６に戻り説明を続ける。画像処理装置１００は、図８の選択案内画面３００において「基準フレーム再指定」が選択されたか否かを判断する（ステップＳ３３）。再指定が選択された場合（ステップＳ３３：ＹＥＳ）には、図４のステップＳ１０へ戻り処理を続行する。再指定が選択されなかった場合には、図８の選択案内画面３００において「鮮明化処理実行」が選択されたか否かを判断する（ステップＳ３４）。鮮明化処理実行が選択された場合（ステップＳ３４：ＹＥＳ）には、現在選択されている処理対象フレームで鮮明化処理を強制的に実行する（ステップＳ１２）。鮮明化処理実行が選択されなかった場合（ステップＳ３４：ＮＯ）、すなわち、選択案内画面３００において「鮮明化処理を行わずに終了」が選択された場合には、高解像度静止画像の作成処理自体を終了する。
【００５７】
図６に戻り説明を続行する。画像処理装置１００は、時系列距離ｄ１が制限範囲内であると判断した場合（ステップＳ３１：ＹＥＳ）には、かかる注目フレームについて図５のステップＳ２２以降の処理を続行する。
【００５８】
図５に戻り説明を続ける。画像処理装置１００は、基準フレームと注目フレームとの時系列距離ｄ１が制限範囲内であると判断された場合には、注目フレームのＥＶ値を算出し（ステップＳ２３）、基準フレームのＥＶ値と注目フレームのＥＶ値の変化量ｄ２を算出する（ステップＳ２４）。変化量ｄ２が、所定値以下であるか否かによって、両フレーム間の撮影条件が同一もしくは類似であるか否かを判断する。かかる変化量ｄ２が所定値以上である場合（ステップＳ２５：ＮＯ）、すなわち、両フレーム間の撮影条件が同一もしくは類似でないと判断した場合には、次の注目フレームを指定し（ステップＳ２８）、ステップＳ２２から処理を繰り返す。注目フレームを指定する処理を、図９を用いて説明する。
【００５９】
図９は、本実施例における注目フレーム指定処理を模式的に示した説明図である。画像処理装置１００は、基準フレーム１３を指定し、次に、基準フレーム１３の最も近くに存在し、かつ、一度も注目フレームとなっておらず、かつ、基準フレーム１３よりも時間が経過しているフレームを優先的に注目フレームとして指定する。すなわち、図に示すように、基準フレーム１３を指定し（矢印（１））、次に、基準フレーム１３の最も近くに存在し、かつ一度も注目フレームとなっていないフレーム１２，１４のうち、基準フレーム１３よりも時間が経過しているフレーム１４を、注目フレームとして指定する（矢印（２））。注目フレーム１４を対象フレームとして選択するか否かの判断を終えると、画像処理装置１００は、次の注目フレームとして、基準フレーム１３の最も近くに存在し、かつ、一度も注目フレームとなっていないフレーム１２を指定する（矢印（３））。画像処理装置１００は、このように判断しつつ注目フレームを指定する。
【００６０】
図５に戻り説明を続ける。画像処理装置１００は、変化量ｄ２が所定値以下である場合（ステップＳ２５：ＹＥＳ）、すなわち、両フレーム間の撮影条件が同一もしくは類似であると判断した場合には、かかる注目フレームを対象フレームとして選択し（ステップＳ２６）、処理対象フレームが所定枚数以上となったか否かを判断する（ステップＳ２７）。画像処理装置１００は、処理対象フレームが所定枚数になっていない場合（ステップＳ２７：ＮＯ）には、次の注目フレームを指定する（ステップＳ２８）。所定枚数となった場合（ステップＳ２７：ＹＥＳ）には、処理対象フレームに基づき、鮮明化処理を実行して高解像度静止画像を作成する（図４：ステップＳ１２）。以下に、鮮明化処理の詳細を説明する。
Ａ３−３．鮮明化処理：
【００６１】
図１０は、本実施例における鮮明化処理を説明するフローチャートである。この処理は、画像処理装置１００の鮮明化処理部１０８が実行する処理である。本実施例の鮮明化処理では、処理対象フレームとして４枚のフレームを使用する。以降の鮮明化処理の説明において、処理対象フレームのうち、基準フレームを基準フレームＦ０と、処理対象フレームのうち基準フレームＦ０以外のフレームを対象フレームＦ１，Ｆ２，Ｆ３と呼ぶこととする。
【００６２】
画像処理装置１００は、選択した処理対象フレームを取得する（ステップＳ４０）。次に、画像処理装置１００は、基準フレームＦ０と対象フレームＦ１〜Ｆ３において、対応する位置に存在する画素のずれ量を、全画素について算出し、かかるずれ量に基づき、ずれを補正するための補正量を推定する（ステップＳ４１）。
【００６３】
具体的には、画像処理装置１００は、まず、基準フレームＦ０に対して、３枚の対象フレームＦ１〜Ｆ３が、それぞれどれだけずれているかを表す「ずれ量」を、全画素について順次算出する。本実施例における「ずれ」とは、撮影対象物自体の動きや、ビデオカメラの設置場所の移動に起因するものではなく、いわゆるパンと呼ばれるカメラワークや、手ぶれのようにビデオカメラの向きの変化のみに起因するものである。すなわち、異なるフレーム間において、全ての画素が、同じ量だけずれるようなずれを想定している。ずれは、横および縦のずれを示す「並進のずれ」と、「回転のずれ」の組合せで表される。対象フレームＦ１〜Ｆ３について、上述のずれ量が画素ごとに算出されると、かかるずれ量を基にして、ずれを補正するための補正量が推定される。補正量は、画素のずれ量と同様に、「並進の補正量」と、「回転の補正量」との組合せで表される。並進補正量を推定する様子を、図１１を用いて説明する。
【００６４】
図１１は、本実施例におけるパターンマッチ法により並進補正量を推定する様子を模式的に示す図である。図示するように、基準フレーム情報の座標（ｘ１，ｙ１）が対象フレーム情報の座標（ｘ２，ｙ２）に対応しているものとする。並進補正量は（ｕ，ｖ）、回転補正量はフレームの中心を原点としてδとしている。撮影時に焦点距離を変えないことを前提としているため、並進と回転のみの変換を前提として、座標変換の式として次式を使う。
【００６５】
【数３】
2006033232.tif 000005
【数４】
2006033232.tif 000006
【数５】
2006033232.tif 000007
【数６】
2006033232.tif 000008
【００６６】
なお、基準フレームと対象フレームとの時間差はごく僅かであるため、ｕ，ｖ，δは微小量となる。ここで、δが微小量のとき、cosδ≒１、sinδ≒δであるから、上式を以下のように置き換えることができる。
【００６７】
【数７】
2006033232.tif 000009
【数８】
2006033232.tif 000010
【数９】
2006033232.tif 000011
【数１０】
2006033232.tif 000012
【００６８】
そして、数７、数８（または、数９，数１０）に記載の式のｕ，ｖ，δを最小自乗法により推定する。補正量の推定は、フレーム情報間の各画素の例えば輝度を用いて１画素よりも細かい単位で画素の位置を推定する勾配法（グラディエント法）に基づいている。
【００６９】
図１２は、本実施例における勾配法による並進補正量を推定する様子を模式的に示す図である。図の上段に示すように、基準フレーム情報の各画素の輝度をＺ１（ｉｘ，ｉｙ）、対象フレーム情報の各画素の輝度をＺ２（ｉｘ'，ｉｙ'）と表すことにする。まず、対象フレーム情報の座標（ｉｘ'，ｉｙ'）が基準フレーム情報の座標（ｉｘ〜ｉｘ＋１，ｉｙ〜ｉｙ＋１）の間にあるものとして、勾配法により座標（ｉｘ'，ｉｙ'）を求める手法を説明する。
【００７０】
図の中段に示すように、座標（ｉｘ'，ｉｙ'）のｘ軸方向の位置をｉｘ＋Δｘとし、Ｐｘ＝Ｚ１（ｉｘ＋１，ｉｙ）−Ｚ１（ｉｘ，ｉｙ）とすると、Ｐｘ・Δｘ＝Ｚ２（ｉｘ'，ｉｙ'）−Ｚ１（ｉｘ，ｉｙ）となるようなΔｘを求めればよい。実際には、各画素についてΔｘを算出し、全体で平均をとることになる。ここで、単にＺ１＝Ｚ１（ｉｘ，ｉｙ）、Ｚ２＝Ｚ２（ｉｘ'，ｉｙ'）で表すと、以下の式が成り立つようなΔｘを算出すればよい。
【００７１】
【数１１】
2006033232.tif 000013
【００７２】
また、図の下段に示すように、座標（ｉｘ'，ｉｙ'）のｙ軸方向の位置をｉｙ＋Δｙとし、Ｐｙ＝Ｚ１（ｉｘ，ｉｙ＋１）−Ｚ１（ｉｘ，ｉｙ）とすると、Ｐｙ・Δｙ＝Ｚ２（ｉｘ'，ｉｙ'）−Ｚ１（ｉｘ，ｉｙ）となるようなΔｙを求めればよい。ここでも、単にＺ１＝Ｚ１（ｉｘ，ｉｙ）、Ｚ２＝Ｚ２（ｉｘ'，ｉｙ'）で表すと、以下の式が成り立つようなΔｙを算出すればよい。
【００７３】
【数１２】
2006033232.tif 000014
【００７４】
そこで、ｘ、ｙ両方向を考慮すると、以下の式のＳ2を最小にするΔｘ、Δｙを最小自乗法により求めればよい。
【００７５】
【数１３】
2006033232.tif 000015
【００７６】
以上、勾配法によりフレームがｘ軸方向とｙ軸方向に平行移動したとして並進補正量を求める手法を説明した。次に、図１３を用いて回転の補正量について説明する。
【００７７】
図１３は、本実施例における画素の回転補正量を模式的に示す図である。図示するように、基準フレーム情報の座標（ｘ，ｙ）の原点Ｏからの距離をｒ、ｘ軸からの回転角度をθとすると、ｒ、θは以下の式により求められる。
【００７８】
【数１４】
2006033232.tif 000016
【数１５】
2006033232.tif 000017
【００７９】
ここで、並進ずれが補正されているとして、基準フレームと対象フレームの原点を合わせておき、対象フレームでは座標（ｘ，ｙ）からδ回転して座標（ｘ'，ｙ'）になったとすると、この回転によるｘ軸方向の移動量とｙ軸方向の移動量は、以下の式により求められる。
【００８０】
【数１６】
2006033232.tif 000018
【数１７】
2006033232.tif 000019
【００８１】
そこで、数１３に記載の式におけるΔｘ，Δｙは、並進補正量ｕ，ｖ、回転補正量δを用いて、以下の式で表される。
【００８２】
【数１８】
2006033232.tif 000020
【数１９】
2006033232.tif 000021
【００８３】
これらを数１３に記載の式に代入すると、以下の式が得られる。
【００８４】
【数２０】
2006033232.tif 000022
【００８５】
すなわち、基準フレーム情報の座標を（ｉｘ，ｉｙ）として、基準フレーム情報の全画素の座標値と階調データ（輝度値）を数２０に記載の式に代入したときに、Ｓ2を最小にするｕ，ｖ，δを最小自乗法により求めればよい。
【００８６】
図１０に戻り説明を続ける。次に、画像処理装置１００は、フレームＦ０〜Ｆ３を、推定された補正量を使用して、合成する（ステップＳ４２）。具体的には、画像処理装置１００は、補正量を用いて、対象フレームＦ１〜Ｆ３の画素位置を補正する（ステップＳ４３）。画素位置の補正とは、対象フレームＦ１〜Ｆ３の各画素の画素位置を、並進の補正量に基づき、縦、横のそれぞれの補正量だけ移動し、回転の補正量だけ、回転をした画素位置に置き換えることを示す。かかる補正処理の結果、基準フレームＦ０および対象フレームＦ１〜Ｆ３は、重なり部分において一致する。
【００８７】
次に、画像処理装置１００は、最近傍画素の決定を行う（ステップＳ４４）。図１４に、最近傍画素の決定処理を説明する模式図を示した。
【００８８】
図１４は、本実施例における最近傍画素決定処理を説明する模式図である。本図は、並進の補正量を例に挙げて説明している。画像処理装置１００が実行する処理である。本図は、基準フレームＦ０、対象フレームＦ１〜Ｆ３の一致した画像の一部を拡大し、各フレームＦ０〜Ｆ３、および、フレームＦ０〜Ｆ３から得られる高解像度静止画像２００の、それぞれの画素位置を示している。図中、黒丸は、高解像度静止画像２００の各画素を表しており、白抜きの四辺形は基準フレームＦ０の各画素を表している。また、ステップＳ４２において補正を行った対象フレームＦ１〜Ｆ３の各画素をそれぞれ異なるハッチングにより表した。本実施例では、高解像度静止画像２００は、基準フレームＦ０に対して、１．５倍密の画素密度に高解像度化されている。従って、図示するように、高解像度静止画像２００の各画素間の距離は、基準フレームＦ０の各画素間の距離の２／３となっている。図中の画素Ｇ（ｋ）（ｋは画素位置を表す整数）のように高解像度静止画像２００の画素のうち、縦横それぞれの方向に２画素おきにある画素は、基準フレームＦ０の画素と画素位置が一致することとなる。
【００８９】
高解像度静止画像２００のｊ番目の画素Ｇ（ｊ）に注目して説明する。以下、画素Ｇ（ｊ）を注目画素と呼ぶこととする。画像処理装置１００は、注目画素Ｇ（ｊ）と、基準フレームＦ０の画素において注目画素Ｇ（ｊ）の最も近くに存在する画素との距離Ｌ０を算出する。また、画像処理装置１００は、ステップＳ４２の補正処理後の対象フレームＦ１、Ｆ２、Ｆ３の画素において注目画素Ｇ（ｊ）の最も近くに存在する画素との距離Ｌ１，Ｌ２，Ｌ３を算出する。
【００９０】
次に、画像処理装置１００は、距離Ｌ０〜Ｌ３の値を比較し、注目画素Ｇ（ｊ）に最も近い距離に存在する画素を決定する。以降、かかる画素を「最近傍画素」と呼ぶこととする。図示するように、距離Ｌ３である対象フレームＦ３上の画素が、注目画素Ｇ（ｊ）に最も近い画素となっているため、画像処理装置１００は、この画素を最近傍画素として決定する。以降、注目画素Ｇ（ｊ）に対する最近傍画素が、対象フレームＦ３のｉ番目の画素であったとして、最近傍画素ｇ（Ｆ３，ｉ）と表すこととする。
【００９１】
画像処理装置１００は、以上の処理を高解像度静止画像２００の全画素について順次実行し、各画素について最近傍画素を決定する。
【００９２】
図１０に戻り、説明を続行する。画像処理装置１００は、高解像度静止画像２００における各画素の画素データを、他の画素の画素データから補間する（ステップＳ４５）。本実施例では、画像処理装置１００は、ステップＳ４３において、決定した最近傍画素の画素データ、および、最近傍画素が属する対象フレーム内の画素データを用いる。図１５に、画素補間処理を説明する説明図を示した。
【００９３】
図１５は、本実施例における画素補間処理を説明する模式図である。本図では、ステップＳ４３において、注目画素Ｇ（ｊ）に対する最近傍画素は、最近傍画素ｇ（Ｆ３，ｉ）であると決定された場合の処理を例示した。
【００９４】
画像処理装置１００は、最近傍画素ｇ（Ｆ３，ｉ）の他、この最近傍画素ｇ（Ｆ３．ｉ）とともに、注目画素Ｇ（ｊ）を囲む画素ｇ（Ｆ３，ｊ）、画素ｇ（Ｆ３．ｋ）、画素ｇ（Ｆ３，ｌ）の、それぞれの画素データを用いて、バイ・リニア法により注目画素Ｇ（ｊ）の画素データを求める。バイ・リニア法に限らず、バイ・キュービック法、ニアレストネイバ法等の方法を用いることとしてもよい。
【００９５】
画像処理装置１００は、以上のように鮮明化処理を終え、作成した高解像度静止画像を高解像度静止画像格納部１２２に格納する。
【００９６】
以上説明した第１実施例の画像処理装置１００によれば、基準フレームと撮影時の状況が同一もしくは類似でないフレームを、高解像度静止画像の作成処理に使用する処理対象フレームから除外することができる。従って、鮮明化処理の精度を向上することができ、高品質の高解像度静止画像を作成することができる。
【００９７】
本実施例では、ＥＶ値を使用することとしているため、フラッシュなどにより急激に撮影条件が変化した場合に、その変化を検出することができる。従って、フラッシュがたかれたフレームを処理対象フレームから除外することができ、鮮明化処理の精度を向上することができる。ＥＶ値を使用することは、例えば、連写モードで撮影中に周囲からフラッシュがたかれた場合などに、有効である。
【００９８】
Ａ４．第１実施例の変形例：
図１６は、第１実施例の変形例を説明する説明図である。図１６（ａ）は、Ｅｘｉｆ情報に記録されている被写体距離に基づき選択される処理対象フレームを模式的に説明する説明図である。図中、「ＳＤ」は「Ｓｕｂｊｅｃｔ  Ｄｉｓｔａｎｃｅ」の略であり、被写体までの距離を表す。本変形例は、実施例において説明した図５のステップＳ２０およびＳ２３において、ＥＶ値の算出に代えて各フレームのＥｘｉｆ情報から被写体距離を取得し、ステップＳ２４において、「ＥＶ値」の差分に代えて「ＳＤ」の差分を算出することにより実現できる。本変形例では、ステップＳ２５における所定値を「１」とする。こうすることにより、画像処理装置１００は、基準フレームと注目フレームの被写体距離の差が１ｍ以下である場合には撮影条件は同一もしくは類似であると判断することができる。
【００９９】
図示するように、基準フレーム１３は「ＳＤ＝５．２」であり、フレーム１０〜１２、１４も「ＳＤ＝５．２」である。また、フレーム１５，１６は「ＳＤ＝１０．５」である。従って、一点鎖線枠で示したフレーム１５、１６は、基準フレーム１３と撮影条件が異なると判断され、処理対象フレームから除外される。処理対象フレームは基準フレームを含めて４枚であるため、破線枠で示す基準フレーム１３と、フレーム１１，１２，１４が処理対象フレームとして選択される。
【０１００】
本変形例によれば、Ｅｘｉｆ情報に記録された被写体距離をそのまま用いて撮影状況の類否判断を行うことができ、処理負荷を軽減することができる。また、被写体距離を用いることにより、ピントがずれた場合や、被写体の動きが大きい場合など鮮明化処理に不適なフレームを処理対象フレームから除外することができ、鮮明化処理の精度を向上することができる。
【０１０１】
図１６（ｂ）は、Ｅｘｉｆ情報に記録されている焦点距離基づき選択される処理対象フレームを模式的に説明する説明図である。図中、「ＦＬ」は「Ｆｏｃａｌ  Ｌｅｎｇｔｈ」の略であり、レンズ焦点距離を表す。本変形例は、実施例において説明した図５のステップＳ２０およびＳ２３において、ＥＶ値の算出に代えて各フレームのＥｘｉｆ情報から焦点距離を取得し、ステップＳ２４において、「ＥＶ値」の差分に代えて「ＦＬ」の差分を算出することにより実現できる。本変形例では、ステップＳ２５における所定値を「０」とする。すなわち、焦点距離が一致しない場合には、撮影条件が異なると判断する。差が微少値である場合には許容することとしてもよい。
【０１０２】
図示するように、基準フレーム１３は「ＦＬ＝６．４」であり、フレーム１０〜１２も「ＦＬ＝６．４」である。また、フレーム１４〜１６は「ＦＬ＝５．９」である。従って、一点鎖線枠内のフレーム１４〜１６は、基準フレーム１３と撮影条件が異なると判断され、処理対象フレームから除外される。処理対象フレームは基準フレームを含めて４枚であるため、破線枠内の基準フレーム１３と、フレーム１０〜１２が処理対象フレームとして選択される。
【０１０３】
本変形例によれば、Ｅｘｉｆ情報に記録された焦点距離をそのまま用いて撮影状況の類否判断を行うことができ、処理負荷を軽減することができる。また、焦点距離を用いることにより、ズーム操作が行われた場合などを検出することができる。ズーム操作が行われると鮮明化処理においてずれ検出の精度が低下するため、これらのフレームを処理対象フレームから除外することにより、鮮明化処理の精度を向上することができる。
【０１０４】
Ｂ．第２実施例：
上述した第１実施例では、Ｅｘｉｆ情報に記録された情報に基づき撮影条件が同一もしくは類似であるか否かを判断し、処理対象フレームを選択することとした。第２実施例では、フレームを解析して得られる輝度情報に基づき、撮影条件が同一もしくは類似であるか否かを判断し、処理対象フレームを選択することとした。本実施例におけるシステム構成は第１実施例と同様であり、図２，図４、図６〜１５に示した画像処理装置１００の機能ブロックや鮮明化処理等は共通しているため、説明を省略する。ただし、図２に示した撮影条件判定部１０６は、フレームの輝度情報を算出する機能を備えていることとする。すなわち、撮影条件判定部１０６の一部として、本発明の画像情報作成部が構成されている。
【０１０５】
Ｂ１．撮影状況判断処理：
図１７は本実施例における処理対象フレーム選択処理を説明するフローチャートである。図４のステップＳ１１の処理の詳細を説明する図である。
【０１０６】
画像処理装置１００は、基準フレームを指定すると（図４：ステップＳ１０）、基準フレームの輝度値の平均を算出する（ステップＳ５０）。輝度値の平均の算出処理を図１８に示した。
【０１０７】
図１８は、本実施例におけるフレームの輝度値の平均の算出処理を説明するフローチャートである。この処理は、画像処理装置１００の撮影条件判定部１０６が行う処理である。撮影条件判定部１０６は、各フレームの全画素について、ＲＧＢ空間からＹＣｂＣｒ空間に変換する色変換処理を行う（ステップＳ６０）。かかる色変換処理は以下の式を適用することにより実現できる。
【０１０８】
【数２１】
2006033232.tif 000023
【０１０９】
ＹＣｂＣｒ空間では、Ｙは輝度値を表し、Ｃｂ値、Ｃｒ値は色差を表す。撮影条件判定部１０６は、全画素の輝度値の合計を画素数で除算することにより、フレームの輝度値の平均を算出する（ステップＳ６１）。
【０１１０】
図１７に戻り説明を続行する。画像処理装置１００は、注目フレームを指定し（ステップＳ５１）、基準フレームと注目フレームとの時系列距離に基づき、その注目フレームで処理を続行するか否かを判断する（ステップＳ５２）。基準フレームと注目フレームとの時系列距離が制限範囲内であると判断された場合には、注目フレームの輝度値の平均を算出し（ステップＳ５３）、基準フレームの輝度値の平均と注目フレームの輝度値の平均の変化量ｄ３を算出する（ステップＳ５４）。変化量ｄ３が、所定値以下であるか否かによって、両フレーム間の撮影状況が同一もしくは類似であるか否かを判断する。本実施例では、この所定値を「５」とする。変化量ｄ３が所定値以下でない場合（ステップＳ５５：ＮＯ）、すなわち、両フレーム間の撮影状況が同一もしくは類似でないと判断した場合には、次の注目フレームを指定し（ステップＳ５８）、ステップＳ５２から処理を繰り返す。
【０１１１】
画像処理装置１００は、変化量ｄ３が所定値以下である場合（ステップＳ５５：ＹＥＳ）、すなわち、両フレーム間の撮影状況が同一もしくは類似であると判断した場合には、注目フレームを処理対象フレームとして選択し（ステップＳ５６）、処理対象フレームが所定枚数以上となったか否かを判断する（ステップＳ５７）。所定枚数になっていない場合（ステップＳ５７：ＮＯ）には、次の注目フレームを指定する（ステップＳ５８）。所定枚数となった場合（ステップＳ５７：ＹＥＳ）には、選択した処理対象フレームに基づき、鮮明化処理を実行して高解像度静止画像を作成する（図４：ステップＳ１２）。
【０１１２】
図１９は、本実施例における処理対象フレームを模式的に説明する説明図である。動画像ＭＶ２は、時系列に連続した複数のフレーム７０〜７６から構成されている。クロスハッチを付したフレーム７３は、基準フレームである。図に、各フレームの輝度値の平均（Ｙ）を示した。本実施例では、フレームの輝度値と基準フレーム７３の輝度値「Ｙ＝１５６」との差が５以内であるフレームを処理対象フレームとして選択する。
【０１１３】
従って、本実施例において、処理対象フレームとして選択されるフレームは、基準フレームの７３と、フレーム７１，７２、７５の４枚である。フレーム７４のように、基準フレーム７３の最近傍に位置していても、基準フレームの輝度値と「９」離れているということから、撮影時の明るさが急激に変化しており、処理対象フレームから除外される。明るさが急激に変化しているフレームは鮮明化処理に不適であるため、このようなフレームを処理対象フレームから除外することにより鮮明化処理の精度を向上することができる。
【０１１４】
本発明の第２実施例によれば、画像間の輝度情報の急峻な変化、すなわち、画像間の明るさの変化に基づき、画像を高解像度静止画像の作成処理に用いるか否かを判断することができる。したがって、鮮明化処理の精度を向上することができる。本実施例は、各フレームに、Ｅｘｉｆ情報などの撮影条件等を記録した付加情報が関連付けられていない場合にも有効である。
【０１１５】
Ｃ．変形例：
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成をとることができることは言うまでもない。
【図面の簡単な説明】
【０１１６】
【図１】第１実施例におけるシステム概要を例示する説明図である。
【図２】第１実施例における画像処理装置の機能ブロックを例示する説明図である。
【図３】第１実施例におけるＥｘｉｆ情報を例示する説明図である。
【図４】第１実施例における高解像度静止画像作成処理の全体処理を説明するフローチャートである。
【図５】第１実施例における処理対象選択処理を説明するフローチャートである。
【図６】第１実施例における時系列距離判断処理を説明するフローチャートである。
【図７】第１実施例における時系列距離の判断処理を模式的に示した模式図である。
【図８】第１実施例における選択案内画面の画面例である。
【図９】第１実施例における注目フレーム指定処理を模式的に示した説明図である。
【図１０】第１実施例における鮮明化処理を説明するフローチャートである。
【図１１】第１実施例におけるパターンマッチ法により並進補正量を推定する様子を模式的に示す図である。
【図１２】第１実施例における勾配法による並進補正量を推定する様子を模式的に示す図である。
【図１３】第１実施例における画素の回転補正量を模式的に示す図である。
【図１４】第１実施例における最近傍画素決定処理を説明する模式図である。
【図１５】第１実施例における画素補間処理を説明する模式図である。
【図１６】第１実施例の変形例を説明する説明図である。
【図１７】第２実施例における処理対象フレーム選択処理を説明するフローチャートである。
【図１８】第２実施例におけるフレームの輝度値の平均の算出処理を説明するフローチャートである。
【図１９】第２実施例における処理対象フレームを模式的に説明する説明図である。
【符号の説明】
【０１１７】
１０〜１６，７０〜７６...フレーム
１３、７３...基準フレーム
２０...Ｅｘｉｆ情報
２１...画像データ
１００...画像処理装置
１０１...ＣＰＵ
１０２...インターフェース
１０３...画像読込部
１０４...フレーム指定部
１０５...時系列距離判断部
１０６...撮影条件判定部
１０７...対象フレーム選択部
１０８...鮮明化処理部
１２０...ハードディスク
１２１...画像格納部
１２２...高解像度静止画像格納部
２００...高解像度静止画像
３００...選択案内画面
３０１...案内メッセージ表示部
３０２...選択部
３０３...ＯＫボタン
３１０，３１１，３１２...ラジオボタン
【図１】
2006033232.tif 000024
【図２】
2006033232.tif 000025
【図３】
2006033232.tif 000026
【図４】
2006033232.tif 000027
【図５】
2006033232.tif 000028
【図６】
2006033232.tif 000029
【図７】
2006033232.tif 000030
【図８】
2006033232.tif 000031
【図９】
2006033232.tif 000032
【図１０】
2006033232.tif 000033
【図１１】
2006033232.tif 000034
【図１２】
2006033232.tif 000035
【図１３】
2006033232.tif 000036
【図１４】
2006033232.tif 000037
【図１５】
2006033232.tif 000038
【図１６】
2006033232.tif 000039
【図１７】
2006033232.tif 000040
【図１８】
2006033232.tif 000041
【図１９】
2006033232.tif 000042