(57)【要約】      （修正有）【課題】合成に利用されるフレーム画像を基準画像に応じて選択することができる技術を提供する。【解決手段】動画像に含まれる複数のフレーム画像の中の基準画像を指定し、基準画像とは異なる候補画像の中から、候補画像と基準画像との両方を用いた解析結果によって表される条件である選択条件を満たす補助画像を合成対象として選択し、選択された複数のフレーム画像を合成して、基準画像よりも画素密度が高い、基準画像の高解像度画像を生成する。【選択図】図３
2009027397.tif 000002
【特許請求の範囲】
【請求項１】
動画像を処理する画像処理装置であって、
前記動画像に含まれる複数のフレーム画像の中の基準画像を指定する指定情報に従って、前記基準画像と、前記基準画像とは異なるフレーム画像である候補画像の内の所定の選択条件を満たす補助画像と、を合成対象として選択する選択部と、
前記合成対象として選択された複数のフレーム画像を合成することによって、前記基準画像よりも画素密度が高い、前記基準画像の高解像度画像を生成する合成処理を実行する合成部と、
を備え、
前記選択条件は、前記候補画像と前記基準画像との両方を用いた解析結果によって表される条件である、
画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記選択部は、
前記基準画像を解析することによってシャープネス閾値を決定し、
前記候補画像を解析することによって前記候補画像のシャープネスを示すシャープネス評価値を算出し、
前記選択条件は、前記候補画像のシャープネス評価値によって示されるシャープネスが、前記シャープネス閾値によって示されるシャープネスよりも強いことを含む、
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記シャープネス閾値の決定は、
前記基準画像を解析することによる前記基準画像のシャープネス評価値の算出処理と、
前記基準画像のシャープネス評価値よりも、所定の第１規則に従って決まるゼロより大きな減少量だけ小さい値に前記シャープネス閾値を設定する処理と、
を含む、画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画像処理装置であって、
前記選択部は、前記候補画像と前記基準画像とを解析することによって、前記候補画像と前記基準画像との間の類似度を算出し、
前記選択条件は、前記類似度が所定の第２規則に従って決まる類似度上限よりも小さいことを含む、
画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記類似度上限は、前記候補画像が前記基準画像と同一の画像を示す場合に算出される最大類似度よりも小さい値に設定されている、画像処理装置。
【請求項６】
動画像を処理する画像処理方法であって、
前記動画像に含まれる複数のフレーム画像の中の基準画像を指定する指定情報に従って、前記基準画像と、前記基準画像とは異なるフレーム画像である候補画像の内の所定の選択条件を満たす補助画像と、を合成対象として選択する工程と、
前記合成対象として選択された複数のフレーム画像を合成することによって、前記基準画像よりも画素密度が高い、前記基準画像の高解像度画像を生成する合成処理を実行する工程と、
を備え、
前記選択条件は、前記候補画像と前記基準画像との両方を用いた解析結果によって表される条件である、方法。
【請求項７】
動画像を処理する画像処理のためのコンピュータプログラムであって、
前記動画像に含まれる複数のフレーム画像の中の基準画像を指定する指定情報に従って、前記基準画像と、前記基準画像とは異なるフレーム画像である候補画像の内の所定の選択条件を満たす補助画像と、を合成対象として選択する機能と、
前記合成対象として選択された複数のフレーム画像を合成することによって、前記基準画像よりも画素密度が高い、前記基準画像の高解像度画像を生成する合成処理を実行する機能と、
をコンピュータに実現させ、
前記選択条件は、前記候補画像と前記基準画像との両方を用いた解析結果によって表される条件である、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理のための装置、方法、および、プログラムに関するものである。
【背景技術】
【０００２】
動画像は、時系列に沿って並ぶ複数のフレーム画像（静止画像）を含んでいる。このようなフレーム画像を抽出することにより、動画像中の１ショットを表す静止画像を生成することができる。ここで、複数のフレーム画像を重ね合わせて合成することによって、元のフレーム画像（基準フレーム画像）よりも画素密度の高い高解像度画像を生成する技術が知られている。また、基準フレームを自動的に設定する技術も知られている。
【０００３】
【特許文献１】特開２０００−２４４８５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、動画像には、種々のフレーム画像が含まれる。そして、種々のフレーム画像が基準フレーム画像として指定され得る。また、動画像には、基準フレーム画像と同じ被写体を表すとともに基準フレーム画像と比べてぼやけた画像を表すフレーム画像が含まれる場合もある。また、基準フレーム画像の前あるいは後のフレーム画像が、基準フレーム画像と同一のフレーム画像である場合もある（例えば、フレームレートを高めるために、同一のフレーム画像が繰り返される）。このようなフレーム画像が合成に利用されると、基準フレーム画像と比べた高解像度画像（合成画像）の画質向上が抑制される可能性がある（例えば、シャープネスの向上が抑制される）。ところが、合成に利用されるフレーム画像を基準画像（基準フレーム画像）に応じて選択する点については、十分な工夫がなされていないのが実情であった。
【０００５】
本発明は、上記の課題の少なくとも一部を解決するためになされたものであり、合成に利用されるフレーム画像を基準画像に応じて選択することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００７】
［適用例１］動画像を処理する画像処理装置であって、前記動画像に含まれる複数のフレーム画像の中の基準画像を指定する指定情報に従って、前記基準画像と、前記基準画像とは異なるフレーム画像である候補画像の内の所定の選択条件を満たす補助画像と、を合成対象として選択する選択部と、前記合成対象として選択された複数のフレーム画像を合成することによって、前記基準画像よりも画素密度が高い、前記基準画像の高解像度画像を生成する合成処理を実行する合成部と、を備え、前記選択条件は、前記候補画像と前記基準画像との両方を用いた解析結果によって表される条件である、画像処理装置。
【０００８】
この構成によれば、候補画像と基準画像との両方を用いた解析結果によって表される選択条件を満たす候補画像が補助画像として選択されるので、合成に利用されるフレーム画像を基準画像に応じて選択することができる。
【０００９】
［適用例２］適用例１に記載の画像処理装置であって、前記選択部は、前記基準画像を解析することによってシャープネス閾値を決定し、前記候補画像を解析することによって前記候補画像のシャープネスを示すシャープネス評価値を算出し、前記選択条件は、前記候補画像のシャープネス評価値によって示されるシャープネスが、前記シャープネス閾値によって示されるシャープネスよりも強いことを含む、画像処理装置。
【００１０】
この構成によれば、基準画像を基準としてぼやけが過剰ではない候補画像が補助画像として選択されるので、基準画像と比べた高解像度画像の画質向上に適した補助画像を、基準画像に応じて選択することができる。
【００１１】
［適用例３］適用例２に記載の画像処理装置であって、前記シャープネス閾値の決定は、前記基準画像を解析することによる前記基準画像のシャープネス評価値の算出処理と、前記基準画像のシャープネス評価値よりも、所定の第１規則に従って決まるゼロより大きな減少量だけ小さい値に前記シャープネス閾値を設定する処理と、を含む、画像処理装置。
【００１２】
この構成によれば、シャープネスが基準画像と同程度であれば、候補画像が補助画像として選択されるので、選択条件が過剰に厳しくなることを避けることができる。
【００１３】
［適用例４］適用例１ないし適用例３のいずれかに記載の画像処理装置であって、前記選択部は、前記候補画像と前記基準画像とを解析することによって、前記候補画像と前記基準画像との間の類似度を算出し、前記選択条件は、前記類似度が所定の第２規則に従って決まる類似度上限よりも小さいことを含む、画像処理装置。
【００１４】
この構成によれば、基準画像に対する類似度の高さが過剰ではない候補画像が補助画像として選択されるので、基準画像と比べた高解像度画像の画質向上に適した補助画像を、基準画像に応じて選択することができる。
【００１５】
［適用例５］適用例４に記載の画像処理装置であって、前記類似度上限は、前記候補画像が前記基準画像と同一の画像を示す場合に算出される最大類似度よりも小さい値に設定されている、画像処理装置。
【００１６】
この構成によれば、基準画像と同一ではない候補画像の内の、基準画像に対する類似度が過剰に高い候補画像を除いた残りの候補画像から補助画像が選択されるので、基準画像と比べた高解像度画像の画質向上に適した補助画像を、基準画像に応じて選択することができる。
【００１７】
［適用例６］動画像を処理する画像処理方法であって、前記動画像に含まれる複数のフレーム画像の中の基準画像を指定する指定情報に従って、前記基準画像と、前記基準画像とは異なるフレーム画像である候補画像の内の所定の選択条件を満たす補助画像と、を合成対象として選択する工程と、前記合成対象として選択された複数のフレーム画像を合成することによって、前記基準画像よりも画素密度が高い、前記基準画像の高解像度画像を生成する合成処理を実行する工程と、を備え、前記選択条件は、前記候補画像と前記基準画像との両方を用いた解析結果によって表される条件である、方法。
【００１８】
［適用例７］動画像を処理する画像処理のためのコンピュータプログラムであって、前記動画像に含まれる複数のフレーム画像の中の基準画像を指定する指定情報に従って、前記基準画像と、前記基準画像とは異なるフレーム画像である候補画像の内の所定の選択条件を満たす補助画像と、を合成対象として選択する機能と、前記合成対象として選択された複数のフレーム画像を合成することによって、前記基準画像よりも画素密度が高い、前記基準画像の高解像度画像を生成する合成処理を実行する機能と、をコンピュータに実現させ、前記選択条件は、前記候補画像と前記基準画像との両方を用いた解析結果によって表される条件である、プログラム。
【００１９】
なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【００２０】
次に、この発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例：
Ｂ．変形例：
【００２１】
Ａ．実施例：
図１は、本発明の一実施例としてのプリンタを示す説明図である。図１（Ａ）は、プリンタ１００の外観を示し、図１（Ｂ）は、プリンタ１００の構成の概略を示している。図１（Ａ）に示すように、このプリンタ１００は、ディスプレイ４０と、操作パネル５０と、メモリカードインターフェース７０と、を備えている。さらに、図１（Ｂ）に示すように、このプリンタ１００は、制御部２００と、印刷エンジン３００と、を備えている。
【００２２】
制御部２００は、ＣＰＵ２１０と、ＲＯＭ２２０と、ＲＡＭ２３０と、を備えるコンピュータである。この制御部２００は、プリンタ１００の各構成要素を制御する。印刷エンジン３００は、与えられた印刷データに応じて印刷を実行する印刷機構である。印刷機構としては、インク滴を印刷媒体に吐出して画像を形成する印刷機構や、トナーを印刷媒体上に転写・定着させて画像を形成する印刷機構等の種々の印刷機構を採用可能である。ディスプレイ４０は、画像を含む種々の情報を表示する。ディスプレイ４０としては、液晶ディスプレイや有機ＥＬディスプレイ等の種々のディスプレイを採用可能である。操作パネル５０は、停止ボタン５２と、選択ボタン５４と、再生ボタン５６と、送りボタン５８と、戻しボタン５９と、を含む複数のボタンを有している。いずれかのボタンが押下された場合には、そのボタンが押下されたことを示す信号が、制御部２００に供給される。操作パネル５０は、ユーザの指示を受ける入力部として機能する。このような入力部としては、操作パネル５０に限らず、タッチパネル等のユーザの指示を受ける種々の入力装置を採用可能である。メモリカードインターフェース７０は、メモリカードＭＣを挿入するスロットＭＳを含んでいる。メモリカードＭＣに格納されたデータは、メモリカードインターフェース７０を介して、制御部２００によって読み出される。
【００２３】
図２は、ＲＯＭ２２０（図１）に格納されたモジュールを示す説明図である。第１実施例では、選択モジュール４００と、合成モジュール４２０と、出力モジュール４３０と、がＲＯＭ２２０に格納されている。これらのモジュールは、ＣＰＵ２１０によって実行されるプログラムである。また、各モジュールは、ＲＡＭ２３０（図１（Ｂ））を介して種々のデータをやりとりすることが可能である。
【００２４】
図３は、動画像処理の手順を示すフローチャートである。この動画像処理は、制御部２００（図１）によって実行される。この動画像処理では、動画像に含まれる複数のフレーム画像（静止画像）の中からユーザによって基準画像（「基準フレーム」とも呼ぶ）が指定され、そして、基準画像が印刷される。制御部２００は、スロットＭＳ（図１）に動画像データを格納するメモリカードＭＣが挿入されたことに応じて、自動的に動画像処理を開始する。あるいは、制御部２００は、ユーザの指示に従って、動画像処理を開始してもよい。
【００２５】
最初のステップＳ３００では、選択モジュール４００（図２）が、メモリカードＭＣから動画像データを取得し、動画像の再生を開始する。動画像データのフォーマットとしては、ＭＰＥＧ（Moving Picture Experts Group）やＭｏｔｉｏｎＪＰＥＧ等の種々のフォーマットがある。また、スキャン方式としては、プログレッシブとインタレースとがある。第１実施例では、動画像データのフォーマットが、プログレッシブスキャンのＭｏｔｉｏｎＪＰＥＧフォーマットであることとしている。
【００２６】
図４は、動画像を示す説明図である。図４には、動画像データに含まれる複数のフレーム画像ＦＲ（第８フレーム画像Ｆ８〜第１６フレーム画像Ｆ１６）のそれぞれが、四角で示されている。四角の中に記載された符号（数字）は、時系列に沿った順番を示している（以下、この順番を「フレーム番号」とも呼ぶ）。すなわち、このフレーム番号は再生順を示している。
【００２７】
選択モジュール４００は、時系列に沿って並ぶ複数の静止画像を表す静止画像データ（フレーム画像データ）を取得し、取得した静止画像データが表す静止画像（フレーム画像）をディスプレイ４０に表示させる。そして、選択モジュール４００は、表示されるフレーム画像を時系列に沿った順番に切り換えることによって、動画像を再生する。
【００２８】
図３の次のステップＳ３１０では、ユーザによって基準画像（基準フレーム）が指定される。第１実施例では、選択ボタン５４（図１（Ｂ））が押下された時点に表示されているフレーム画像が基準画像として利用される。ユーザは、ディスプレイ４０に表示される動画像を見て、好みのショットが表示された時点で選択ボタン５４を押下すればよい。選択ボタン５４が押下されたことを示す信号は、操作パネル５０から制御部２００に供給される。以下、この信号を「指定信号」とも呼ぶ。
【００２９】
選択モジュール４００（図２）は、指定信号の受信に応じて、その時点に表示されていたフレーム画像が基準画像として指定されていることを、認識する。すなわち、第１実施例では、指定信号が、特許請求の範囲における「指定情報」に相当する。また、選択モジュール４００は、指定信号の受信に応じて、動画像の再生を停止する。図４に示す符号ＢＦ付きのフレーム画像は基準画像を示している。
【００３０】
次のステップＳ３２０では、選択モジュール４００は、基準フレーム（基準フレームを表すフレーム画像データ）を解析する。この解析は、合成に利用されるフレーム画像の選択に利用される。詳細は後述する。
【００３１】
次のステップＳ３３０〜Ｓ３６０では、選択モジュール４００は、合成に利用される補助画像（「補助フレーム」とも呼ぶ）を自動的に選択する。ステップＳ３３０では、選択モジュール４００は、基準フレームＢＦとは異なる他の１枚のフレーム画像を、候補画像（「候補フレーム」とも呼ぶ）として選択する。複数のフレーム画像ＦＲのそれぞれの候補フレームとして選択されるための優先順位は、基準フレームＢＦを基準とする所定の順位が利用される。
【００３２】
図４には、補助フレームの選択の一例が示されている。各フレーム画像ＦＲには、文字「ｐ」と数字とで構成される符号が付されている。この符号の数字は、選択の優先順位を示している。図４の例では、フレーム番号が基準フレームＢＦのフレーム番号に近いほど、優先順位が高い。そして、基準フレームＢＦのフレーム番号との差が同じである２枚のフレーム画像に関しては、フレーム番号が小さい方ほど優先順位が高い。例えば、第１０フレームと第１４フレームとに関しては、基準フレームＢＦ（第１２フレーム）との差が同じ「２」である。この場合には、フレーム番号が小さい第１０フレームの優先順位（３）が、第１４フレームの優先順位（４）よりも「１」だけ高い。
【００３３】
選択モジュール４００は、次のステップＳ３３０で候補フレーム（候補フレームデータ）を解析し、次のステップＳ３４０で選択条件が成立しているか否かを判断する。第１実施例では、この選択条件は、シャープネス条件と類似条件との両方が成立していることを意味している。この選択条件は、基準フレームと候補フレームとの両方を用いた解析結果によって表されている。選択条件の詳細については後述する。
【００３４】
選択条件が成立する場合には、選択モジュール４００は、その候補フレームを、合成に利用される補助フレームとして選択する（ステップＳ３５０：Ｙｅｓ）。選択条件が成立しない場合には、選択モジュール４００は、その候補フレームを補助フレームとして選択せずに、次の優先順位の候補フレームに関するステップＳ３３０〜Ｓ３５０の一連の処理を実行する。
【００３５】
これらのステップＳ３３０〜Ｓ３５０の一連の処理は、補助フレームの総数が所定値になるまで、繰り返される。本実施例では４枚の補助フレームを選択することとしている。図４に示す実施例では、優先順位が１〜４の４枚のフレーム画像（フレーム番号１０、１１、１３、１４）が候補フレームとして選択されている。なお、後述するように、優先順位の高い候補フレームに関して選択条件が成立しない場合には、優先順位の低い候補フレームが補助フレームとして選択される。
【００３６】
図３の次のステップＳ３７０では、合成モジュール４２０（図２）が、基準フレームＢＦと補助フレームとを合成することによって、基準フレームＢＦの高解像度静止画像を生成する（複数のフレーム画像データを合成することによって高解像度静止画像データを生成する）。
【００３７】
図５は、画像合成の一例を示す説明図である。図中には基準フレームＢＦと４枚の補助フレームＦ１０、Ｆ１１、Ｆ１３、Ｆ１４と高解像度静止画像ＨＲとが示されている。この高解像度静止画像ＨＲおよび基準フレームＢＦは、同じ画像を表している。そして、この高解像度静止画像ＨＲの画素密度は、基準フレームＢＦの画素密度よりも高い。
【００３８】
合成モジュール４２０は、先ず、補助フレームＦ１０、Ｆ１１、Ｆ１３、Ｆ１４のそれぞれに関して、基準フレームＢＦを基準とする相対位置を決定する。図５には、４枚の補助フレームＦ１０、Ｆ１１、Ｆ１３、Ｆ１４が基準フレームＢＦに重ね合わせられる様子が示されている。各補助フレームＦ１１、Ｆ１２、Ｆ１３、Ｆ１４のそれぞれは、基準フレームＢＦに対する相対位置に配置されている。この相対位置は、被写体が重なり合うように決定される。図５の例では、太陽ＰＳＳと山ＰＳＭとが重なるように、相対位置が決定される。合成モジュール４２０は、このような相対位置を、画像のパターンマッチングや特徴点追跡、勾配法等の種々の周知の方法を用いて決定することができる。例えば、合成モジュール４２０は、重ね合わせたい２枚の画像のそれぞれから、被写体を表す線（例えば、輪郭線）の端点や分岐点等の特徴点を抽出し、得られた特徴点が重なるように相対位置を決定すればよい。また、合成モジュール４２０は、上述した種々の方法を用いることによって、１画素未満の大きさの精度で相対位置を決定することができる。なお、相対位置は、例えば、並進方向のズレ量と、回転方向のズレ量と、の組み合わせを用いて表すことができる。
【００３９】
次に、合成モジュール４２０は、これらの５枚のフレーム画像ＢＦ、Ｆ１１、Ｆ１２、Ｆ１３、Ｆ１４を利用することによって、高解像度画像ＨＲの画素値を決定する。第１実施例では、高解像度画像ＨＲは、基準フレームＢＦと同じ画像を表している。ただし、高解像度画像ＨＲの画素密度は、基準フレームＢＦの画素密度よりも高い。高解像度画像ＨＲの画素密度は、ユーザが指定することとしてもよく、また、予め設定されていてもよい。いずれの場合も、高解像度画像ＨＲに含まれる複数の画素のそれぞれの画像内の位置は、画素密度に応じて決まる。
【００４０】
合成モジュール４２０は、基準フレームＢＦと、相対位置に基づく移動後の補助フレームＦ１１、Ｆ１２、Ｆ１４、Ｆ１４と、の画素値を利用して高解像度画像ＨＲの画素値を決定する。画素値の決定方法としては、種々の方法を採用可能である。例えば、高解像度画像ＨＲの或る画素（以下「生成画素」と呼ぶ）の画素値を、以下の方法で決定することができる。すなわち、重ね合わされた５枚のフレーム画像ＢＦ、Ｆ１１、Ｆ１２、Ｆ１３、Ｆ１４の複数の画素の内の生成画素に最も近い所定数（例えば、４つ）の画素の画素値を補間することによって生成画素の画素値を決定してもよい。この際、生成画素と補間に利用される画素との距離に応じた重みを利用することが好ましい（距離が遠いほど重みが小さい）。また、重ね合わされた５枚のフレーム画像ＢＦ、Ｆ１１、Ｆ１２、Ｆ１３、Ｆ１４の中から生成画素毎に１枚のフレーム画像を選択し、選択したフレーム画像に補間処理（例えば、バイリニア法やバイキュービック法）を適用することによって、生成画素の画素値を決定してもよい。この際、生成画素に最も近い画素を有するフレーム画像を選択すればよい。
【００４１】
図３の次のステップＳ３８０では、出力モジュール４３０（図２）は、高解像度画像ＨＲを利用した印刷を開始する。出力モジュール４３０は、高解像度画像ＨＲを利用して印刷データを生成し、生成した印刷データを印刷エンジン３００に供給する。印刷エンジン３００は、受信した印刷データを利用して印刷を実行する。印刷が完了したことに応じて、図３の動画像処理は終了する。
【００４２】
シャープネス条件：
図６は、シャープネス条件の概要を示す説明図である。このシャープネス条件は、上述の選択条件の一部である（図３：ステップＳ３５０）。図６（Ａ）に示すように、この条件は、候補フレームのシャープネス評価値ＳＥが、シャープネス閾値Ｓｈｔｈ以上であることを示している。ここで、シャープネス閾値Ｓｈｔｈは、基準フレームＢＦのシャープネス評価値ＳＥＢＦに基づいて決定される。
【００４３】
図６（Ｂ）は、基準フレームＢＦのシャープネス評価値ＳＥＢＦと、シャープネス閾値Ｓｈｔｈとの関係を示すグラフである。本実施例では、選択モジュール４００は、シャープネス閾値Ｓｈｔｈを、シャープネス評価値ＳＥＢＦと同じ値に設定する。すなわち、シャープネス評価値ＳＥＢＦが、そのまま、シャープネス閾値Ｓｈｔｈとして利用される。
【００４４】
図６（Ｃ）の上段には、基準フレームＢＦの解析によってシャープネス評価値ＳＥＢＦが算出される様子が示されている。本実施例では、フレーム画像が複数のブロック領域に分割され、そして、各ブロック領域が離散コサイン変換（ＤＣＴ）によって符号化されている。そこで、選択モジュール４００は、ＤＣＴの交流成分ＡＣの２乗和を、シャープネス評価値として算出する。この交流成分ＡＣの２乗和は、ＤＣＴにおける各周波数成分の強度の２乗を、全ての周波数成分、全てのブロック領域、輝度成分に関して合計することによって算出される値である。ここで、周波数が高いほど大きくなる重みを用いた合計を利用してもよい。このようにして算出されるシャープネス評価値は、フレーム画像のシャープネスが強いほど、大きくなる。また、このようなシャープネス評価値の算出は、後述する候補フレームについても同様に行われる。
【００４５】
なお、シャープネス評価値ＳＥＢＦの算出と、シャープネス閾値Ｓｈｔｈの決定とは、図３のステップＳ３２０で実行される。
【００４６】
図６（Ｃ）の中段には、第１候補フレームＦａに関するシャープネス条件の判断の概要が示されている。選択モジュール４００は、第１候補フレームＦａを解析することによって、第１シャープネス評価値ＳＥａを算出する。この第１候補フレームＦａは、基準フレームＢＦと比べてぼやけた画像を表している。従って、算出された第１シャープネス評価値ＳＥａは、シャープネス評価値ＳＥＢＦよりも小さい。すなわち、第１シャープネス評価値ＳＥａは、シャープネス閾値Ｓｈｔｈよりも小さい。これは、シャープネス条件が成立しないことを意味している。その結果、選択モジュール４００は、第１候補フレームＦａを、補助フレームとして選択しない。このように、基準フレームＢＦを基準としてぼやけた画像を表す候補フレームが、補助フレームとして選択されることが抑制される。
【００４７】
図６（Ｃ）の下段には、第２候補フレームＦｂに関するシャープネス条件の判断の概要が示されている。選択モジュール４００は、第２候補フレームＦｂを解析することによって、第２シャープネス評価値ＳＥｂを算出する。この第２候補フレームＦｂは、基準フレームＢＦと比べてシャープな画像を表している。従って、第２シャープネス評価値ＳＥｂは、シャープネス評価値ＳＥＢＦ以上である。すなわち、第２シャープネス評価値ＳＥｂは、シャープネス閾値Ｓｈｔｈ以上である。これは、シャープネス条件が成立することを意味している。その結果、選択モジュール４００は、第２候補フレームＦｂを、補助フレームとして選択することができる。
【００４８】
以上説明したシャープネス条件を利用することによって、基準フレームを基準としてぼやけが過剰ではない候補フレームが補助フレームとして選択されるので、基準フレームと比べた高解像度画像の画質向上に適した補助フレームを、基準フレームに応じて選択することができる。仮にぼやけたフレーム画像を補助フレームとして利用する場合には、高解像度画像がぼやける可能性がある。シャープネス条件を利用すれば、このような高解像度画像のぼやけを抑制できる。なお、候補フレームのシャープネス評価値は、図３のステップＳ３４０で算出される。
【００４９】
類似度条件：
図７は、類似度条件の概要を示す説明図である。この類似度条件は、上述の選択条件の一部である（図３：ステップＳ３５０）。図７（Ａ）に示すように、この条件は、基準フレームＢＦと候補フレームとの間の類似度Ｓｉが、類似度上限ＳｉＵＬ以下であることを示している。
【００５０】
図７（Ｂ）は、類似度上限ＳｉＵＬの概要を示している。最大値ＳｉＭＡＸは、候補フレームが基準フレームＢＦと同一の場合に算出される類似度Ｓｉを示している。類似度上限ＳｉＵＬは、この最大値ＳｉＭＡＸよりも若干小さい値に設定されている。具体的には、類似度上限ＳｉＵＬは、最大値ＳｉＭＡＸの０．９５倍の値に設定されている。これにより、基準フレームＢＦと同一のフレーム画像に加えて、基準フレームＢＦとは若干異なるがほとんど同じ画像を表すフレーム画像に関しても、類似度条件は成立しない。
【００５１】
図７（Ｃ）の中段には、第３候補フレームＦｃに関する類似度条件の判断の概要が示されている。第１実施例では、基準フレームＢＦの画素値と、候補フレーム上の同じ画素位置の画素値との間の差分の大きさを表す値が、類似度Ｓｉとして利用される。具体的には、選択モジュール４００は、各画素値の代わりに、ＤＣＴの直流成分ＤＣの強度を利用する。これは、計算量を低減するためである。選択モジュール４００は、先ず、直流成分ＤＣの差分の２乗和を算出し、そして、その２乗和がとり得る最大値から実際の２乗和を引いて得られる値を、類似度Ｓｉとして利用する。
【００５２】
ここで、直流成分ＤＣの差分は、フレーム画像内の同じ位置のブロック領域に関する２枚のフレーム画像間の差分である。例えば、基準フレームＢＦの左上隅のブロック領域の直流成分ＤＣと、候補フレームの左上隅のブロック領域の直流成分ＤＣとの間の差分が利用される。他の位置のブロック領域についても同様に差分が計算される。このようにして算出される差分の２乗は、全てのブロック領域、全ての色成分に関して合計される。そして、この合計値（２乗和）の取り得る最大値（定義上の最大値）から、実際の２乗和を引いて得られる値が、類似度Ｓｉとして利用される。
【００５３】
このようにして算出される類似度Ｓｉは、候補フレームが基準フレームＢＦに似ているほど、大きくなる。そして、候補フレームが基準フレームＢＦと同一である場合に、類似度Ｓｉは、最大値ＳｉＭＡＸ（定義上の最大値（図７（Ｂ））となる。なお、この最大値ＳｉＭＡＸは、上述した２乗和の定義上の最大値である。このような定義上の最大値は、例えば、基準フレームＢＦの全ブロック領域の直流成分ＤＣが「ゼロ」であり、候補フレームの全ブロック領域の直流成分ＤＣが「最大値」であるような場合に得られる仮想的な２乗和と同じである。また、このような類似度Ｓｉの算出は、図３のステップＳ３５０で実行される。
【００５４】
図７（Ｃ）に示す第３候補フレームＦｃは、基準フレームＢＦと同一である。従って、第３候補フレームＦｃに関する第３類似度Ｓｉｃは、類似度上限ＳｉＵＬ以上である。これは、類似度条件が成立しないことを意味している。その結果、選択モジュール４００は、第３候補フレームＦｃを、補助フレームとして選択しない。このように、基準フレームＢＦに対する類似度が過剰に高い候補フレームが、補助フレームとして選択されることが抑制される。
【００５５】
また、図７（Ｃ）の下段には、第４候補フレームＦｄに関する類似度条件の判断の概要が示されている。この第４候補フレームＦｄは、基準フレームＢＦと比べて若干異なっている（例えば、画像中の被写体の位置が、およそ数画素ズレている。このズレは、フレーム画像における１画素の大きさ（画素ピッチ）よりも小さい距離のズレを含み得る）。従って、第４類似度Ｓｉｄは、類似度上限ＳｉＵＬより小さい。これは、類似度条件が成立することを意味している。その結果、選択モジュール４００は、第４候補フレームＦｄを、補助フレームとして選択することができる。
【００５６】
以上説明した類似度条件を利用することによって、基準フレームに対する類似度の高さが過剰ではない候補フレームが補助フレームとして選択される。従って、基準フレームと比べた高解像度画像の画質向上に適した補助フレームを、基準フレームに応じて選択することができる。
【００５７】
仮に、基準フレームＢＦに対する類似度が過剰に高い候補フレーム（例えば、基準フレームＢＦと同一のフレーム画像）が補助フレームとして利用されるとする。この場合には、補助フレームと基準フレームＢＦとのそれぞれにおいて、同じ被写体がほぼ同じ位置に位置している。従って、図５に示すように同じ被写体が一致するように補助フレームと基準フレームＢＦとを重ねた場合に、補助フレームの画素の位置は、基準フレームＢＦの画素の位置と、ほぼ同じである。すなわち、補助フレームにおける各画素の画素位置と画素値とは、基準フレームＢＦにおける各画素の画素位置と画素値とほぼ同じである。その結果、基準フレームＢＦの画素間の位置における画素値の推定精度は、これらのフレーム画像を合成する場合と、基準フレームＢＦのみを利用する場合とのそれぞれに関して、ほぼ同じとなる。その結果、高解像度画像の画質（例えば、シャープネス）が、基準フレームＢＦのみを利用する場合と同程度にとどまる可能性がある。
【００５８】
そこで、類似度条件を利用すれば、基準フレームＢＦとは若干異なる候補フレームが補助フレームとして利用される。例えば、フレーム画像内における同じ被写体の位置が基準フレームＢＦからズレている候補フレームが利用される。この場合には、図５に示すように同じ被写体が一致するように補助フレームと基準フレームＢＦとを重ねた場合に、補助フレームの画素が、基準フレームＢＦの画素の間に位置する可能性が高い。従って、基準フレームＢＦの画素間の位置における画素値を、補助フレームの画素値を利用することによって、より高い精度で推定することができる。
【００５９】
図８は、図４とは異なる動画像データを利用する場合の補助フレームの選択の一例を示す説明図である。図８には、図４と同様に９枚のフレーム画像Ｆ８〜Ｆ１６が示されている。そして、図４の例と同様に第１２フレーム画像Ｆ１２が基準フレームＢＦとして選択されている。ただし、第１１フレーム画像Ｆ１１に関しては、選択条件が満たされていない。その結果、優先順位が低い第９フレーム画像Ｆ９が補助フレームとして選択されている。これらの結果、４枚のフレーム画像Ｆ９、Ｆ１０、Ｆ１３、Ｆ１４が、補助フレームとして選択される。そして、５枚のフレーム画像Ｆ９、Ｆ１０、Ｆ１２、Ｆ１３、Ｆ１４の合成によって高解像度画像ＨＲが生成される。
【００６０】
以上のように、第１実施例では、シャープネス条件と類似条件との両方が成立していることが選択条件として利用される。その結果、基準画像と比べた高解像度画像の画質向上に適した補助画像を、基準画像に応じて選択することができる。
【００６１】
Ｂ．変形例：
なお、上記各実施例における構成要素の中の、独立クレームでクレームされた要素以外の要素は、付加的な要素であり、適宜省略可能である。また、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００６２】
変形例１：
上述の各実施例において、シャープネス評価値としては、フレーム画像のシャープネスの強さを示す種々の値を採用可能である。例えば、ソーベル（Ｓｏｂｅｌ）フィルタやプレウィット（Ｐｒｅｗｉｔｔ）フィルタ等のエッジ検出フィルタを利用することによって得られる各画素のエッジ量の合計値を採用してもよい。いずれの場合も、輝度成分のみを用いてシャープネス評価値を算出してもよい。また、輝度成分のシャープネス評価値と、色差成分のシャープネス評価値とを総合して得られる値（例えば、合計値）を利用してもよい。また、他の色成分（例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青））のシャープネス評価値を利用してもよい。ここで、複数の色成分のシャープネス評価値を総合して得られる値（例えば、合計値）を利用してもよい。
【００６３】
いずれの場合も、シャープネス評価値の算出には、フレーム画像の全体を利用する代わりに、一定間隔毎に選択された一部の画素を利用してもよい。例えば、縦方向と横方向とのそれぞれに関して、８画素毎に１つずつ選択された画素を利用してもよい。また、フレーム画像の一部の連続領域を利用してもよい。例えば、選択モジュール４００（図２）は、フレーム画像中から人物の顔を検出し、検出された顔を含む一部の連続領域からシャープネス評価値を算出してもよい。
【００６４】
変形例２：
シャープネス条件の判断に利用されるシャープネス閾値Ｓｈｔｈとしては、図６（Ｂ）に示すシャープネス閾値Ｓｈｔｈに限らず、種々の値を採用可能である。例えば、基準フレームＢＦのシャープネス評価値ＳＥＢＦよりも、所定規則に従って決まるゼロより大きな減少量だけ小さい値を、シャープネス閾値Ｓｈｔｈとして採用してもよい。ここで、所定規則としては、種々の規則を採用可能である。例えば、所定の一定量を減少量として利用する規則を採用してもよい。図９は、このようなシャープネス閾値Ｓｈｔｈを示すグラフである。図９中の第１グラフＧ１は、図６（Ｂ）に示すグラフＧ１と同じである。図９中の第２グラフＧ２では、シャープネス閾値Ｓｈｔｈは、基準フレームＢＦのシャープネス評価値ＳＥＢＦよりも所定量だけ小さい値に設定される。このような第２グラフＧ２に従って決定されるシャープネス閾値Ｓｈｔｈを利用すれば、シャープネスが基準画像と同程度である候補画像が補助画像として選択されるので、選択条件が過剰に厳しくなることを避けることができる。
【００６５】
また、減少量を定める規則としては、他の種々の規則を採用可能である。例えば、基準フレームＢＦのシャープネス評価値ＳＥＢＦに「０」より大きく「１」より小さい所定の係数を乗じて得られる値を減少量として利用する規則を採用してもよい。このような係数としては、小さい値を採用することが好ましい（例えば、０．０１〜０．１５の範囲の値）。換言すれば、シャープネス閾値Ｓｈｔｈとして、シャープネス評価値ＳＥＢＦに近い値を採用することが好ましい（例えば、シャープネス評価値ＳＥＢＦの０．８５〜０．９９倍の値）。
【００６６】
一般には、シャープネス閾値Ｓｈｔｈとしては、基準フレームＢＦを解析することによって算出される種々の値を採用可能である。いずれの場合も、基準フレームＢＦのシャープネス評価値ＳＥＢＦと比べて過剰に小さい値を避けることが好ましく、このシャープネス評価値ＳＥＢＦとほぼ同じ値を採用することが好ましい。また、このシャープネス評価値ＳＥＢＦよりも少しだけ小さい値を採用することが特に好ましい。なお、適切なシャープネス閾値Ｓｈｔｈは、シャープネス評価値の算出方法に応じて変わり得る。また、適切なシャープネス閾値Ｓｈｔｈは、種々の動画像を利用した実験に基づいて決定可能である。
【００６７】
変形例３：
上述の各実施例において、類似度としては、２枚のフレーム画像の間の類似の度合いを示す種々の値を採用可能である。例えば、ＤＣＴの直流成分ＤＣの差分の２乗和の代わりに、フレーム画像の各画素位置の画素値の差分の２乗和を利用して類似度を算出してもよい。また、基準フレームＢＦと候補フレームとのそれぞれに関して輝度値のヒストグラムを作成し、同じ輝度区間の画素数（画素値の出現頻度）の差分の大きさを表す値を利用してもよい（例えば、頻度の差分の２乗和）。いずれの場合も、２乗和に限らず、差分の大きさを表す種々の値を採用可能である。例えば、差分の絶対値の合計値を採用してもよい。
【００６８】
また、類似度は、２枚のフレーム画像の間で被写体の位置がズレている場合に、最大類似度ＳｉＭＡＸよりも小さくなるような値を採用することが好ましい（最大類似度ＳｉＭＡＸは、２枚のフレーム画像が同一である場合の類似度Ｓｉ）。こうすれば、被写体の位置が基準フレームＢＦからズレている候補フレームを補助フレームとして選択できる。そして、このような補助フレームを利用することによって、基準フレームＢＦの画素間の位置における画素値の推定精度を高めることができる。なお、このような類似度としては、例えば、図７に示す実施例のように、２枚のフレーム画像の間の同じ画素位置の階調値の差分の大きさを利用して算出される値を採用可能である。ここで、差分が大きいほど小さくなるような値を採用することが好ましい。
【００６９】
また、類似度の算出に、輝度成分のみを用いてもよい。また、輝度成分の類似度と、色差成分の類似度とを総合して得られる値（例えば、合計値）を利用してもよい。また、他の色成分（例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青））の類似度を利用してもよい。ここで、複数の色成分の類似度を総合して得られる値（例えば、合計値）を利用してもよい。
【００７０】
また、類似度として、２枚のフレーム画像の間の差分の大きさを表す種々の算出値（「差分算出値」とも呼ぶ）を、そのまま、利用してもよい。このような差分算出値としては、例えば、上述のＤＣＴの直流成分ＤＣの差分の２乗和を、採用可能である。このような差分算出値を類似度として利用する場合には、差分算出値が小さいほど類似度が高くなる。そして、２枚のフレーム画像が同一である場合に得られる差分算出値が、最大類似度に相当する。
【００７１】
いずれの場合も、類似度の算出には、フレーム画像の全体を利用する代わりに、一定間隔毎に選択された一部の画素を利用してもよい。例えば、縦方向と横方向とのそれぞれに関して、８画素毎に１つずつ選択された画素を利用してもよい。また、フレーム画像の一部の連続領域を利用してもよい。例えば、選択モジュール４００（図２）は、フレーム画像中から人物の顔を検出し、検出された顔を含む一部の連続領域から類似度を算出してもよい。
【００７２】
変形例４：
類似度条件の判断に利用される類似度上限ＳｉＵＬとしては、図７（Ｂ）に示す類似度上限ＳｉＵＬに限らず、種々の値を採用可能である。例えば、類似度上限ＳｉＵＬを最大値ＳｉＭＡＸと同じ値に設定してもよい。ただし、最大類似度ＳｉＭＡＸよりも小さい値に類似度上限ＳｉＵＬが設定されることが好ましい（最大類似度ＳｉＭＡＸは、候補フレームが基準フレームＢＦと同一の画像を示す場合に算出される類似度Ｓｉである）。こうすれば、基準フレームＢＦと同一ではない候補フレームの内の、基準フレームＢＦに対する類似度が過剰に高い候補フレームを除いた残りの候補フレームから補助フレームが選択される。その結果、基準フレームＢＦと比べた高解像度画像の画質向上に適した補助画像を、基準画像に応じて選択することができる。
【００７３】
いずれの場合も、選択モジュール４００は、所定の規則に従って類似度上限ＳｉＵＬを決定することが好ましい。例えば、類似度上限ＳｉＵＬを最大類似度ＳｉＭＡＸと同じ値に設定してもよい。また、最大値ＳｉＭＡＸよりも所定値だけ小さい値を類似度上限ＳｉＵＬとして採用してもよい。この所定値としては、小さい値を採用することが好ましい（例えば、最大値ＳｉＭＡＸの０．０１〜０．１５倍の範囲の値）。また、「０」より大きく「１」より小さい所定の係数を最大値ＳｉＭＡＸに乗じて得られる値を類似度上限ＳｉＵＬとして利用してもよい。このような係数としては、大きい値を採用することが好ましい（例えば、０．８５〜０．９９の範囲の値）。
【００７４】
ここで、最大類似度ＳｉＭＡＸがフレーム画像（動画像）に依存する可変値である場合がある。例えば、図７に示す実施例では、最大値ＳｉＭＡＸはフレーム画像（画素数）に応じた可変値である（画素数が多いほど最大値ＳｉＭＡＸが大きくなる）。このような場合には、選択モジュール４００は、フレーム画像（基準フレームＢＦや候補フレーム）に応じて最大値ＳｉＭＡＸを算出し、最大値ＳｉＭＡＸが大きいほど大きくなるように類似度上限ＳｉＵＬを決定することが好ましい。こうすれば、フレーム画像（動画像）に応じて最大値ＳｉＭＡＸが変化する場合にも、適切な類似度上限ＳｉＵＬを利用することができる。このような類似度上限ＳｉＵＬの決定は、図３のステップＳ３２０、Ｓ３４０、Ｓ３５０の内の任意のステップで実行可能である。
【００７５】
一方、最大類似度ＳｉＭＡＸがフレーム画像（動画像）に関わらずに一定値である場合には、類似度上限ＳｉＵＬとして所定値を採用してもよい。この場合も、類似度上限ＳｉＵＬは、所定の規則に従って決まるということができる。このように最大値ＳｉＭＡＸが一定値となるような類似度Ｓｉの算出方法としては、種々の方法がある。例えば、類似度Ｓｉの範囲が所定範囲（例えば、０〜１）となるように正規化された算出方法が挙げられる。
【００７６】
また、２枚のフレーム画像の間の差分の大きさを表す差分算出値を類似度として利用する場合も、類似度上限としては、所定の規則に従って決まる種々の値を採用可能である。例えば、類似度上限が最大類似度と同じ値に設定されてもよい。また、類似度上限が、最大類似度よりも小さい所定値に設定されてもよい。また、類似度上限が、動画像（フレーム画像）に基づいて設定されてもよい。例えば、類似度上限（すなわち、差分算出値の下限）が、差分算出値の定義上の最大値に、０より大きく１より小さい所定係数を乗じて得られる値に、設定されてもよい。ここで、類似度上限と最大類似度との差が小さいことが好ましい。
【００７７】
いずれの場合も、適切な類似度上限ＳｉＵＬは、類似度Ｓｉの算出方法に応じて変わり得る。また、適切な類似度上限ＳｉＵＬは、種々の動画像を利用した実験に基づいて決定可能である。
【００７８】
変形例５：
上述の各実施例において、選択条件としては、シャープネス条件と類似度条件との少なくとも一方を採用すればよい。シャープネス条件を利用せずに類似度条件を利用してもよく、逆に、類似度条件を利用せずにシャープネス条件を利用してもよい。上述したように、いずれの条件を採用しても、候補フレームと基準フレームＢＦとの両方を用いた解析結果によって表される選択条件を満たす候補フレームが補助フレームとして選択されるので、合成に利用されるフレーム画像を基準フレームＢＦに応じて選択することができる。また、選択条件が、類似度が類似度下限よりも大きいことを含んでもよい。こうすれば、基準フレームＢＦと大きく異なる画像を表すフレーム画像が合成に利用されることが抑制される。この類似度下限は、上述した類似度上限ＳｉＵＬと同様に、種々の方法によって決定され得る。
【００７９】
変形例６：
上述の各実施例において、補助フレームは、時系列に沿った順番が基準フレームＢＦに近い所定範囲内のフレーム画像から選択することが好ましい。こうすれば、基準フレームＢＦと大きく異なる画像を表すフレーム画像が合成に利用されることが抑制される。なお、このようなフレーム画像ＢＦに近い範囲としては、例えば、フレーム画像ＢＦとのフレーム番号の差が所定値未満である範囲を採用してもよい（例えば、差が２０未満）。また、基準フレームＢＦとの時間差が所定値未満である範囲を採用してもよい（例えば、１秒未満）。
【００８０】
なお、補助フレームは、時系列に沿った順番が基準フレームＢＦよりも後ろのフレーム画像から選択してもよい。この代わりに、基準フレームＢＦよりも前のフレーム画像から補助フレームを選択してもよい。また、図４、図８に示す実施例のように、前と後ろとの両方から補助フレームを選択してもよい。いずれの場合も、時系列に沿った順番が基準フレームＢＦに近いほど選択の優先順位が高いことが好ましい。
【００８１】
変形例７：
上述の各実施例において、基準フレームＢＦをユーザに指定させる方法としては、再生中の動画像を利用して１ショットのフレーム画像をユーザに指定させる方法に限らず、任意の方法を採用可能である。例えば、動画像から均等に選択された所定数（例えば１０枚）のフレーム画像の一覧からユーザに基準フレームＢＦを選択させてもよい。この場合には、図３のステップＳ３００を省略可能である。
【００８２】
また、上述の各実施例において、基準フレームＢＦをユーザに指定させる機能が、選択モジュール４００とは異なる処理モジュールによって実行されてもよい。この場合には、選択モジュール４００は、その処理モジュールから、基準フレームＢＦを特定する情報（指定情報に相当する）を受信し、その指定情報に従って補助フレームを選択すればよい。
【００８３】
変形例８：
複数の静止画像を合成することによって高解像度画像を生成する方法としては、上述の各実施例の方法に限らず、元の静止画像よりも画素密度が高い、対象画像の高解像度画像を生成するような任意の方法を採用可能である。例えば、対象画像を複数のブロックに分割し、複数の静止画像を重ね合わせるための相対位置をブロック毎に決定してもよい。また、合成に利用される静止画像の総数としては、５に限らず、任意の複数を採用可能である。
【００８４】
変形例９：
上述の各実施例において、高解像度画像の用途としては、印刷に限らず種々の用途を採用可能である。例えば、図３のステップＳ３８０において、出力モジュール４３０（図２）は、印刷を実行する代わりに、高解像度静止画像データを含む画像データファイルをユーザに提供してもよい（例えば、ユーザに提供されるデータを格納するためのメモリ（例えば、着脱可能なメモリカードＭＣ（図（１）））に画像データファイルを格納してもよく、また、ネットワークを通じて接続された通信機器に画像データファイルを送信してもよい）。このように、高解像度画像を生成する動画像処理を適用する画像処理装置としては、プリンタ１００に限らず、任意の装置を採用可能である。例えば、デジタルカメラ、携帯電話、携帯情報端末等の種々の装置を採用可能である。
【００８５】
変形例１０：
上述の各実施例において、指定情報としては、選択ボタン５４が押下されたことを示す信号に限らず、基準画像を指定する任意の情報を採用可能である。例えば、図２のＲＯＭ２２０に、ユーザの指示に応じて、あるいは、自動的に、基準画像を選択する基準画像選択モジュールを設けてもよい（図示せず）。そして、基準画像選択モジュールによって供給される情報であって、基準画像を指定する情報を、指定情報として利用してもよい。ここで、基準画像選択モジュールは、任意の方法で基準画像を選択することができる。例えば、動画像中の任意の期間を指定するユーザの指示に応じて、指定された期間から均等に所定数（例えば、１２）の基準画像を選択してもよい。また、ユーザによって入力された情報を利用せずに、自動的に基準画像を選択してもよい。例えば、動画像の全期間から均等に所定数（例えば、１２）の基準画像を選択してもよい。
【００８６】
変形例１１：
上述の各実施例において、動画像データのフォーマットとしては、ＭｏｔｉｏｎＪＰＥＧフォーマットに限らず、任意のフォーマットを採用可能である。また、上述の各実施例では、プログレッシブスキャンの動画像データを利用しているが、インタレーススキャンの動画像データを利用してもよい。この場合には、２枚のフィールド画像から再構成された１枚のフレーム画像を利用すればよい。このようなフィールド画像からのフレーム画像の再構成は、選択モジュール４００によって実行され得る。
【００８７】
変形例１２：
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図２の選択モジュール４００の機能を、論理回路を有するハードウェア回路によって実現してもよい。
【００８８】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。
【図面の簡単な説明】
【００８９】
【図１】本発明の一実施例としてのプリンタを示す説明図である。
【図２】ＲＯＭ２２０（図１）に格納されたモジュールを示す説明図である。
【図３】動画像処理の手順を示すフローチャートである。
【図４】動画像を示す説明図である。
【図５】画像合成の一例を示す説明図である。
【図６】シャープネス条件の概要を示す説明図である。
【図７】類似度条件の概要を示す説明図である。
【図８】図４とは異なる動画像データを利用する場合の補助フレームの選択の一例を示す説明図である。
【図９】シャープネス閾値Ｓｈｔｈを示すグラフである。
【符号の説明】
【００９０】
４０…ディスプレイ
５０…操作パネル
５２…停止ボタン
５４…選択ボタン
５６…再生ボタン
５８…送りボタン
５９…戻しボタン
７０…メモリカードインターフェース
１００…プリンタ
２００…制御部
２１０…ＣＰＵ
２２０…ＲＯＭ
２３０…ＲＡＭ
３００…印刷エンジン
４００…選択モジュール
４２０…合成モジュール
４３０…出力モジュール
ＭＣ…メモリカード
ＭＳ…スロット
【図１】
2009027397.tif 000003
【図２】
2009027397.tif 000004
【図３】
2009027397.tif 000005
【図４】
2009027397.tif 000006
【図５】
2009027397.tif 000007
【図６】
2009027397.tif 000008
【図７】
2009027397.tif 000009
【図８】
2009027397.tif 000010
【図９】
2009027397.tif 000011