(57)【要約】【課題】  複数の画像の中から鑑賞に適した代表画像を容易に選出することのできる技術を提供する。【解決手段】  画像選出装置は、画像群から選択された複数組の候補画像と比較対象画像とのそれぞれを用いて、各候補画像の評価を示す評価値を算出する評価値算出部と、各候補画像の評価値を用いて、複数の候補画像のうちの少なくとも１つを代表画像として決定する代表画像決定部と、を備える。評価値算出部は、各組の候補画像と比較対象画像とを比較して、各候補画像を、各候補画像内に表現された対象物の動きが比較的大きな第１種の領域と比較的小さな第２種の領域とに区分し、２種類の領域のうちの少なくとも一方の画像情報を用いて、各候補画像の評価値を算出する。【選択図】  図８
2005209123.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を含む画像群から代表画像を選出する画像選出装置であって、
前記画像群から選択された複数組の候補画像と比較対象画像とのそれぞれを用いて、前記各候補画像の評価を示す評価値を算出する評価値算出部と、
前記各候補画像の前記評価値を用いて、前記複数の候補画像のうちの少なくとも１つを前記代表画像として決定する代表画像決定部と、
を備え、
前記評価値算出部は、
前記各組の候補画像と比較対象画像とを比較して、前記各候補画像を、前記各候補画像内に表現された対象物の動きが比較的大きな第１種の領域と比較的小さな第２種の領域とに区分する区分実行部を備え、
前記評価値算出部は、
前記２種類の領域のうちの少なくとも一方の画像情報を用いて、前記各候補画像の前記評価値を算出することを特徴とする画像選出装置。
【請求項２】
請求項１記載の画像選出装置であって、
前記区分実行部は、
前記候補画像を構成する複数のブロック画像のそれぞれの位置と、対応する前記比較対象画像を構成する複数のブロック画像のそれぞれの位置と、のズレ量を検出し、前記ズレ量に応じて、前記候補画像を構成する複数のブロック画像のそれぞれを、前記第１種の領域と前記第２種の領域とのいずれかに区分する、画像選出装置。
【請求項３】
請求項１または２記載の画像選出装置であって、
前記評価値算出部は、
前記第１種の領域に含まれる第１の部分画像内のエッジを構成する画素数と、前記第２種の領域に含まれる第２の部分画像内のエッジを構成する画素数と、のうちの少なくとも一方を用いて、前記候補画像の前記評価値を求める、画像選出装置。
【請求項４】
請求項１または２記載の画像選出装置であって、
前記評価値算出部は、
前記第１種の領域に含まれる第１の部分画像の平均輝度値と、前記第２種の領域に含まれる第２の部分画像の平均輝度値と、のうちの少なくとも一方を用いて、前記候補画像の前記評価値を求める、画像選出装置。
【請求項５】
請求項１記載の画像選出装置であって、
前記区分実行部は、さらに、前記第１種の領域を、前記第１種の領域内に表現された対象物の動きの大きさと向きとの少なくとも一方に応じて複数のサブ領域に区分し、
前記評価値算出部は、前記複数のサブ領域のうちの少なくとも１つのサブ領域の画像情報を用いて、前記各候補画像の前記評価値を算出する、画像選出装置。
【請求項６】
請求項５記載の画像選出装置であって、
前記区分実行部は、
前記候補画像を構成する複数のブロック画像のそれぞれの位置と、対応する前記比較対象画像を構成する複数のブロック画像のそれぞれの位置と、のズレの量と方向とを検出し、
前記ズレ量に応じて、前記候補画像を構成する複数のブロック画像のそれぞれを、前記第１種の領域と前記第２種の領域とのいずれかに区分し、
前記ズレ量と前記ズレ方向とに応じて、前記第１種の領域を構成する複数のブロック画像のそれぞれを、前記複数のサブ領域のいずれかに区分する、画像選出装置。
【請求項７】
請求項５または６記載の画像選出装置であって、
前記評価値算出部は、
前記少なくとも１つのサブ領域に含まれる部分画像内のエッジを構成する画素数を用いて、前記候補画像の前記評価値を求める、画像選出装置。
【請求項８】
請求項１ないし７のいずれかに記載の画像選出装置であって、
前記評価値算出部は、
前記第１種の領域を重視して前記評価値を求める第１の評価モードと、
前記第２種の領域を重視して前記評価値を求める第２の評価モードと、
を有する、画像選出装置。
【請求項９】
請求項８記載の画像選出装置であって、
前記評価値算出部は、前記第１種の領域の画像情報と前記第２種の領域の画像情報とを用いて、前記第１の評価モードと前記第２の評価モードとのいずれかを選択する、画像選出装置。
【請求項１０】
請求項１または２記載の画像選出装置であって、
前記評価値算出部は、
前記候補画像の全領域が前記第２種の領域に区分される場合には、前記候補画像内のエッジを構成する画素数を用いて、前記候補画像の評価値を求める、画像選出装置。
【請求項１１】
請求項１または２記載の画像選出装置であって、
前記評価値算出部は、
前記候補画像の全領域が前記第２種の領域に区分される場合には、前記候補画像内の特定色領域を構成する画素数を用いて、前記候補画像の評価値を求める、画像選出装置。
【請求項１２】
請求項２ないし４，６ないし１１のいずれかに記載の画像選出装置であって、
前記評価値算出部は、さらに、前記ズレ量を用いて、前記候補画像の評価値を求める、画像選出装置。
【請求項１３】
請求項１ないし１２のいずれかに記載の画像選出装置であって、さらに、
所定のルールに従って、前記画像群から前記複数組の候補画像と比較対象画像とを選択する選択部を備える、画像選出装置。
【請求項１４】
請求項１３記載の画像選出装置であって、
前記選択部は、動画像を複数の前記画像群に区分し、
前記画像選出装置は、前記画像群毎に前記代表画像を選出する、画像選出装置。
【請求項１５】
画像処理装置であって、
請求項１ないし１４のいずれかに記載の画像選出装置と、
前記選出された代表画像を用いて所定の画像処理を実行する画像処理実行部と、
を備えることを特徴とする画像処理装置。
【請求項１６】
請求項１５記載の画像処理装置であって、
前記画像処理実行部は、前記代表画像と、前記代表画像を装飾するための装飾画像と、を合成することによって、合成済み画像を生成する、画像処理装置。
【請求項１７】
複数の画像を含む画像群から代表画像を選出する画像選出方法であって、
（ａ）前記画像群から選択された複数組の候補画像と比較対象画像とのそれぞれを用いて、前記各候補画像の評価を示す評価値を算出する工程と、
（ｂ）前記各候補画像の前記評価値を用いて、前記複数の候補画像のうちの少なくとも１つを前記代表画像として決定する工程と、
を備え、
前記工程（ｂ）は、
前記各組の候補画像と比較対象画像とを比較して、前記各候補画像を、前記各候補画像内に表現された対象物の動きが比較的大きな第１種の領域と比較的小さな第２種の領域とに区分し、前記２種類の領域のうちの少なくとも一方の画像情報を用いて、前記各候補画像の前記評価値を算出する工程を含むことを特徴とする画像選出方法。
【請求項１８】
コンピュータに、複数の画像を含む画像群から代表画像を選出させるためのコンピュータプログラムであって、
前記画像群から選択された複数組の候補画像と比較対象画像とのそれぞれを用いて、前記各候補画像の評価を示す評価値を算出する機能と、
前記各候補画像の前記評価値を用いて、前記複数の候補画像のうちの少なくとも１つを前記代表画像として決定する機能と、
をコンピュータに実現させ、
前記評価値算出機能は、
前記各組の候補画像と比較対象画像とを比較して、前記各候補画像を、前記各候補画像内に表現された対象物の動きが比較的大きな第１種の領域と比較的小さな第２種の領域とに区分し、前記２種類の領域のうちの少なくとも一方の画像情報を用いて、前記各候補画像の前記評価値を算出する機能を含むことを特徴とするコンピュータプログラム。
【請求項１９】
請求項１８記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を含む画像群から代表画像を選出する技術に関する。
【背景技術】
【０００２】
デジタルビデオカメラで撮影された動画像は、時間的に連続する複数の画像を含んでいる。ユーザは、動画像の中から所望の画像を選出し、選出された画像と、装飾画像が配置されたテンプレート（アルバムシート）と、を合成することによって、合成済み画像（アルバム）を生成することができる。
【０００３】
【特許文献１】特開２００２−１０９５２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、動画像は多数の画像を含んでいるため、動画像から鑑賞に適した画像を選出するのに手間が掛かるという問題があった。
【０００５】
この発明は、従来技術における上述の課題を解決するためになされたものであり、複数の画像の中から鑑賞に適した代表画像を容易に選出することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題の少なくとも一部を解決するため、本発明の第１の装置は、複数の画像を含む画像群から代表画像を選出する画像選出装置であって、
前記画像群から選択された複数組の候補画像と比較対象画像とのそれぞれを用いて、前記各候補画像の評価を示す評価値を算出する評価値算出部と、
前記各候補画像の前記評価値を用いて、前記複数の候補画像のうちの少なくとも１つを前記代表画像として決定する代表画像決定部と、
を備え、
前記評価値算出部は、
前記各組の候補画像と比較対象画像とを比較して、前記各候補画像を、前記各候補画像内に表現された対象物の動きが比較的大きな第１種の領域と比較的小さな第２種の領域とに区分する区分実行部を備え、
前記評価値算出部は、
前記２種類の領域のうちの少なくとも一方の画像情報を用いて、前記各候補画像の前記評価値を算出することを特徴とする。
【０００７】
この装置では、各候補画像内に表現された対象物の動きに応じて、各候補画像が第１種の領域と第２種の領域とに区分され、少なくとも一方の領域の画像情報を用いて各候補画像の評価値が算出されるため、複数の画像を含む画像群から鑑賞に適した代表画像を容易に選出することができる。
【０００８】
上記の装置において、
前記区分実行部は、
前記候補画像を構成する複数のブロック画像のそれぞれの位置と、対応する前記比較対象画像を構成する複数のブロック画像のそれぞれの位置と、のズレ量を検出し、前記ズレ量に応じて、前記候補画像を構成する複数のブロック画像のそれぞれを、前記第１種の領域と前記第２種の領域とのいずれかに区分することが好ましい。
【０００９】
こうすれば、各候補画像を第１種の領域と第２種の領域とのいずれかに容易に区分することができる。
【００１０】
上記の装置において、
前記評価値算出部は、
前記第１種の領域に含まれる第１の部分画像内のエッジを構成する画素数と、前記第２種の領域に含まれる第２の部分画像内のエッジを構成する画素数と、のうちの少なくとも一方を用いて、前記候補画像の前記評価値を求めることが好ましい。
【００１１】
また、上記の装置において、
前記評価値算出部は、
前記第１種の領域に含まれる第１の部分画像の平均輝度値と、前記第２種の領域に含まれる第２の部分画像の平均輝度値と、のうちの少なくとも一方を用いて、前記候補画像の前記評価値を求めるようにしてもよい。
【００１２】
こうすれば、主被写体が目立つ候補画像を代表画像として決定することができる。
【００１３】
上記の装置において、
前記区分実行部は、さらに、前記第１種の領域を、前記第１種の領域内に表現された対象物の動きの大きさと向きとの少なくとも一方に応じて複数のサブ領域に区分し、
前記評価値算出部は、前記複数のサブ領域のうちの少なくとも１つのサブ領域の画像情報を用いて、前記各候補画像の前記評価値を算出するようにしてもよい。
【００１４】
こうすれば、第１種の領域は、対象物の動きの大きさや向きに応じて複数のサブ領域に区分されるため、特定の動きを有する少なくとも１つのサブ領域の画像情報を考慮して評価値を算出することができる。
【００１５】
上記の装置において、
前記区分実行部は、
前記候補画像を構成する複数のブロック画像のそれぞれの位置と、対応する前記比較対象画像を構成する複数のブロック画像のそれぞれの位置と、のズレの量と方向とを検出し、
前記ズレ量に応じて、前記候補画像を構成する複数のブロック画像のそれぞれを、前記第１種の領域と前記第２種の領域とのいずれかに区分し、
前記ズレ量と前記ズレ方向とに応じて、前記第１種の領域を構成する複数のブロック画像のそれぞれを、前記複数のサブ領域のいずれかに区分することが好ましい。
【００１６】
こうすれば、各候補画像を第１種の領域と第２種の領域とのいずれかに容易に区分することができると共に、第１種の領域を複数のサブ領域のいずれかに容易に区分することができる。
【００１７】
上記の装置において、
前記評価値算出部は、
前記少なくとも１つのサブ領域に含まれる部分画像内のエッジを構成する画素数を用いて、前記候補画像の前記評価値を求めることが好ましい。
【００１８】
上記の装置において、
前記評価値算出部は、
前記第１種の領域を重視して前記評価値を求める第１の評価モードと、
前記第２種の領域を重視して前記評価値を求める第２の評価モードと、
を有することが好ましい。
【００１９】
こうすれば、候補画像内に表現された動きを有する対象物が主被写体である場合にも背景である場合にも、適切な評価値を算出することができる。
【００２０】
上記の装置において、
前記評価値算出部は、前記第１種の領域の画像情報と前記第２種の領域の画像情報とを用いて、前記第１の評価モードと前記第２の評価モードとのいずれかを選択することが好ましい。
【００２１】
こうすれば、第１の評価モードと第２の評価モードとの一方が自動的に選択されるため、適切な評価値を容易に算出することができる。
【００２２】
上記の装置において、
前記評価値算出部は、
前記候補画像の全領域が前記第２種の領域に区分される場合には、前記候補画像内のエッジを構成する画素数を用いて、前記候補画像の評価値を求めることが好ましい。
【００２３】
また、上記の装置において、
前記評価値算出部は、
前記候補画像の全領域が前記第２種の領域に区分される場合には、前記候補画像内の特定色領域を構成する画素数を用いて、前記候補画像の評価値を求めるようにしてもよい。
【００２４】
こうすれば、候補画像の全領域が第２種の領域に区分される場合にも、適切な評価値を算出することができる。
【００２５】
上記の装置において、
前記評価値算出部は、さらに、
前記ズレ量を用いて、前記候補画像の評価値を求めるようにしてもよい。
【００２６】
こうすれば、対象物の動きが比較的大きな候補画像の評価値を比較的高く設定することができる。
【００２７】
上記の装置において、さらに、
所定のルールに従って、前記画像群から前記複数組の候補画像と比較対象画像とを選択する選択部を備えることが好ましい。
【００２８】
こうすれば、複数組の候補画像と比較対象画像とを自動的に選択することができる。
【００２９】
上記の装置において、
前記選択部は、動画像を複数の前記画像群に区分し、
前記画像選出装置は、前記画像群毎に前記代表画像を選出することが好ましい。
【００３０】
こうすれば、１つの動画像から複数の代表画像を選出することができる。
【００３１】
本発明の第２の装置は、画像処理装置であって、
上記のいずれかに記載の画像選出装置と、
前記選出された代表画像を用いて所定の画像処理を実行する画像処理実行部と、
を備えることを特徴とする。
【００３２】
第２の装置では、上記の第１の装置が備えられているため、複数の画像を含む画像群から鑑賞に適した代表画像を容易に選出することができ、この結果、所定の画像処理を容易に実行することが可能となる。
【００３３】
上記の装置において、
前記画像処理実行部は、前記代表画像と、前記代表画像を装飾するための装飾画像と、を合成することによって、合成済み画像を生成するようにしてもよい。
【００３４】
こうすれば、代表画像と装飾画像との画像合成処理を容易に実行することができる。
【００３５】
本発明の方法は、複数の画像を含む画像群から代表画像を選出する画像選出方法であって、
（ａ）前記画像群から選択された複数組の候補画像と比較対象画像とのそれぞれを用いて、前記各候補画像の評価を示す評価値を算出する工程と、
（ｂ）前記各候補画像の前記評価値を用いて、前記複数の候補画像のうちの少なくとも１つを前記代表画像として決定する工程と、
を備え、
前記工程（ｂ）は、
前記各組の候補画像と比較対象画像とを比較して、前記各候補画像を、前記各候補画像内に表現された対象物の動きが比較的大きな第１種の領域と比較的小さな第２種の領域とに区分し、前記２種類の領域のうちの少なくとも一方の画像情報を用いて、前記各候補画像の前記評価値を算出する工程を含むことを特徴とする。
【００３６】
この方法を用いる場合にも、上記の装置を用いる場合と同様の作用・効果を奏し、複数の画像を含む画像群から鑑賞に適した代表画像を容易に選出することができる。
【００３７】
本発明のプログラムは  コンピュータに、複数の画像を含む画像群から代表画像を選出させるためのコンピュータプログラムであって、
前記画像群から選択された複数組の候補画像と比較対象画像とのそれぞれを用いて、前記各候補画像の評価を示す評価値を算出する機能と、
前記各候補画像の前記評価値を用いて、前記複数の候補画像のうちの少なくとも１つを前記代表画像として決定する機能と、
をコンピュータに実現させ、
前記評価値算出機能は、
前記各組の候補画像と比較対象画像とを比較して、前記各候補画像を、前記各候補画像内に表現された対象物の動きが比較的大きな第１種の領域と比較的小さな第２種の領域とに区分し、前記２種類の領域のうちの少なくとも一方の画像情報を用いて、前記各候補画像の前記評価値を算出する機能を含むことを特徴とする。
【００３８】
このプログラムを用いる場合にも、上記の装置を用いる場合と同様の作用・効果を奏し、コンピュータに、複数の画像を含む画像群から鑑賞に適した代表画像を容易に選出させることができる。
【００３９】
なお、この発明は、種々の形態で実現することが可能であり、例えば、画像選出方法および画像選出装置、画像処理方法および装置（システム）、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【００４０】
次に、本発明の実施の形態を実施例に基づき以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．画像処理システムの構成：
Ａ−２．画像処理部の処理内容：
Ａ−３．代表画像選出部の処理内容：
Ａ−４．評価値算出部の処理内容：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．第４実施例：
Ｅ．第５実施例：
【００４１】
Ａ．第１実施例：
Ａ−１．画像処理システムの構成：
図１は、画像処理システムの一例を示す説明図である。画像処理システム１００は、パーソナルコンピュータ２００とプリンタ３００とを備えている。なお、本実施例では、プリンタ３００としてインクジェット方式のプリンタが利用されている。
【００４２】
パーソナルコンピュータ２００は、ＣＰＵ２１０と、ＲＯＭやＲＡＭなどの内部記憶装置２２０と、外部記憶装置２５０と、表示部２６０と、マウスやキーボードなどの操作部２７０と、を備えている。内部記憶装置２２０には、画像処理部２３０および印刷データ生成部２４０として機能するコンピュータプログラムが格納されている。画像処理部２３０は、画像処理を実行するためのアプリケーションプログラムであり、印刷データ生成部２４０は、プリンタ３００に供給される印刷データを生成するためのプリンタドライバである。なお、画像処理部２３０と印刷データ生成部２４０との機能は、ＣＰＵ２１０によって実現される。
【００４３】
また、コンピュータ２００には、メモリカード制御部２８０と、インタフェース部（Ｉ／Ｆ部）２９０と、が設けられている。メモリカード制御部２８０は、メモリカードＭＣ内の画像データを読み取る機能を有している。Ｉ／Ｆ部２９０は、複数の入出力端子を備えており、外部に設けられた種々の機器との間でデータ通信を行う。例えば、Ｉ／Ｆ部２９０は、ケーブルを介してデジタルカメラ（デジタルビデオカメラまたはデジタルスチルカメラ）と接続され、デジタルカメラから与えられた画像データを読み取る。また、Ｉ／Ｆ部２９０は、ケーブルを介してプリンタ３００と接続され、プリンタ３００に印刷データを供給する。
【００４４】
画像処理部２３０は、メモリカード制御部２８０やＩ／Ｆ部２９０によって読み出されて外部記憶装置２５０に格納された画像データを取得して、画像データに対して種々の処理を施すことができる。この際、表示部２６０には、画像データによって表される画像が表示され、ユーザは、操作部２７０を操作することによって、表示部２６０に表示されたユーザインタフェースを介して、画像処理部２３０に種々の処理を実行させる。
【００４５】
特に、本実施例の画像処理部２３０は、動画像から抽出された代表画像と、代表画像を装飾するためのフレーム画像などの装飾画像と、を合成して、合成済み画像（アルバム）を生成する機能を有している。具体的には、画像処理部２３０は、合成対象選択支援部２３２と、代表画像選出部２３４と、合成部２３８と、を備えている。合成対象選択支援部２３２は、ユーザによる動画像と装飾画像との選択を支援する。代表画像選出部２３４は、候補画像選択部２３４ａと評価値算出部２３４ｂと代表画像決定部２３４ｃとを備えている。候補画像選択部２３４ａは、動画像に含まれる複数の画像の中から複数の候補画像を選択する。評価値算出部２３４ｂは、選択された各候補画像に対する画像の評価を示す評価値を算出する。代表画像決定部２３４ｃは、算出された複数の評価値を用いて、複数の候補画像の中から鑑賞に適した代表画像を決定する。合成部２３８は、代表画像とフレーム画像などの装飾画像とを合成する。具体的には、合成部２３８は、フレーム画像の内側に設定された割付領域内に、代表画像を配置する。この構成によって、動画像に含まれる複数の画像の中から鑑賞に適した代表画像を自動的に選出して、アルバム（合成済み画像）を自動的に生成することができる。なお、外部記憶装置２５０内部の装飾画像格納領域２５２には、複数の装飾画像ファイル（あるいは装飾画像データ）が予め格納されており、動画像格納領域２５４には、複数の動画像ファイル（あるいは動画像データ）が予め格納されている。
【００４６】
印刷データ生成部２４０は、画像処理部２３０から与えられた合成済み画像データを用いて、印刷データを生成する。そして、プリンタ３００は、印刷データに従って、印刷媒体（例えば印刷用紙）上に画像を印刷する。
【００４７】
Ａ−２．画像処理部の処理内容：
図２は、画像処理部２３０の処理内容を示すフローチャートである。図２では、画像処理部（以下、「画像処理プログラム」とも呼ぶ）２３０が一連の画像合成処理を実行するときの処理内容が示されている。
【００４８】
ステップＳ１００では、合成対象の動画像と装飾画像とが選択される。具体的には、ユーザが操作部２７０を操作することによって、画像合成処理（アルバム作成処理）の実行開始を指示すると、合成対象選択支援部２３２は、表示部２６０に、動画像選択フィールドと装飾画像選択フィールドとを順次表示させる。
【００４９】
図３は、動画像選択フィールドＭＰＦを示す説明図である。図示するように、表示部２６０には、画像処理プログラムのウィンドウＷＤが表示されている。ウィンドウＷＤ内には、動画像選択フィールドＭＰＦが表示されており、該フィールドＭＰＦ内には、複数の動画像データによって表される複数の動画像ＭＰが表示されている。ユーザは、動画像選択フィールドＭＰＦ内で、任意の動画像を選択することができる。「ＯＫ」ボタンＢ１が選択されると、合成対象の動画像が決定される。
【００５０】
図４は、装飾画像選択フィールドＥＰＦを示す説明図である。図示するように、装飾画像選択フィールドＥＰＦ内には、複数の装飾画像データによって表される複数のフレーム画像ＦＰが表示されている。ユーザは、装飾画像選択フィールドＥＰＦ内で、任意のフレーム画像を選択することができる。「ＯＫ」ボタンＢ２が選択されると、合成対象のフレーム画像が決定される。
【００５１】
なお、本実施例では、装飾画像ファイルは、装飾画像情報と、テンプレート情報と、を含んでいる。テンプレート情報には、テンプレート（アルバムシート）の形状，サイズを示す情報と、テンプレート内に設定された割付領域の形状，サイズ，配置を示す割付領域情報と、が含まれている。装飾画像情報には、フレーム画像などの装飾画像を表す装飾画像データと、上記のテンプレートにおける装飾画像の配置を示す情報と、が含まれている。
【００５２】
ステップＳ２００（図２）では、代表画像が選出される。具体的には、代表画像選出部２３４は、ステップＳ１００において選択された動画像に含まれる複数の画像の中から１以上の代表画像を選出する。なお、ステップＳ２００の処理については、さらに後述する。
【００５３】
ステップＳ３００では、代表画像と装飾画像との合成が実行される。具体的には、合成部２３８は、フレーム画像の内側に設定された割付領域内に代表画像を配置することによって、代表画像とフレーム画像とが合成された合成済み画像を生成する。
【００５４】
図５は、ステップＳ３００（図２）において生成される合成済み画像を示す説明図である。図示するように、ウィンドウＷＤ内には、１つの動画像から選出された４つの代表画像ＲＰ１〜ＲＰ４とフレーム画像ＦＰ１とが合成された合成済み画像ＣＰ１が表示されている。より具体的には、４つの代表画像ＲＰ１〜ＲＰ４は、フレーム画像ＦＰ１の内側に設けられた４つの割付領域ＬＡ１〜ＬＡ４に、割り付けられている。
【００５５】
なお、本実施例では、合成部２３８は、ユーザからの指示により、一旦生成された合成済み画像を調整することができる。具体的には、合成部２３８は、各割付領域ＬＡ１〜ＬＡ４内に現れる画像範囲を、ユーザの所望する画像範囲に個別に調整することができる。すなわち、各割付領域ＬＡ１〜ＬＡ４内に現れる画像範囲は、ユーザがウィンドウＷＤ内に準備された「拡大」ボタンＢａ１と「縮小」ボタンＢａ２と移動ボタンＢａ３とを操作することによって、変更可能である。「拡大」ボタンＢａ１が選択される場合には、各割付領域内に割り付けられる画像範囲が比較的小さく設定され、該範囲が拡大して表示される。一方、「縮小」ボタンＢａ２が選択される場合には、各割付領域内に割り付けられる画像範囲が比較的大きく設定され、該範囲が縮小して表示される。そして  移動ボタンＢａ３が選択される場合には、各割付領域内に割り付けられる画像範囲が上下左右に変更される。
【００５６】
このように、本実施例では、ユーザは、合成済み画像を確認しながら、各割付領域ＬＡ１〜ＬＡ４に割り付けられる画像範囲を変更（調整）することができる。このため、ユーザは、所望の合成済み画像を容易に得ることができる。
【００５７】
図５において、ユーザがウィンドウＷＤ内に設けられた「ＯＫ」ボタンＢ３を選択すると、生成された合成済み画像は、外部記憶装置２５０内部に保存される。
【００５８】
Ａ−３．代表画像選出部の処理内容：
図６は、ステップＳ２００（図２）の具体的な処理内容を示すフローチャートである。前述のように、ステップＳ２００では、代表画像選出部２３４は、ステップＳ１００において選択された動画像に含まれる複数の画像の中から、代表画像を選出する。図７は、代表画像の選出処理を模式的に示す説明図である。
【００５９】
ステップＳ２１０では、候補画像選択部２３４ａは、ステップＳ１００において選択された動画像を複数のグループ（画像群）に区分する。
【００６０】
本実施例では、候補画像選択部２３４ａは、動画像のシーンの変化に基づいてグループ分けを行う。具体的には、候補画像選択部２３４ａは、隣接する２つの画像間の平均輝度値の差分、換言すれば、再生順序が連続する２つの画像間の平均輝度値の差分を求める。図７（ａ）は、動画像の再生時間の経過に伴う平均輝度値の差分ΔＹの変化を示している。候補画像選択部２３４ａは、平均輝度値の差分が比較的大きく変化する点をシーンの変化点と認識して、グループ分けを行う。なお、動画像において、シーンが変化する場合には、通常、画像内の被写体も変化する。このため、シーンの変化点では、隣接する２つの画像間の平均輝度値が大きく変化し、平均輝度値の差分も大きくなる傾向がある。そこで、候補画像選択部２３４ａは、平均輝度値の差分を利用して、グループ分けを行っている。
【００６１】
なお、本実施例において、グループ（画像群）の数は、生成すべき代表画像の数と一致するように設定される。具体的には、ステップＳ１００において選択されたフレーム画像に含まれる割付領域の数と整合するように実行される。本実施例では、フレーム画像ＦＰ１に４つの割付領域が含まれるため、図７（ｂ）では、動画像は４つのグループＭＧ１〜ＭＧ４に区分されている。グループの数の設定は、閾値ΔＹｔｈを調整することによって行われる。すなわち、候補画像選択部２３４ａは、平均輝度値の差分ΔＹが閾値ΔＹｔｈを超える数が、生成すべき代表画像の数より１だけ少ない数（図７（ａ）では、３つ）となるように、閾値ΔＹｔｈを調整する。なお、アルバムシートが複数枚利用される場合には、生成すべき代表画像の数は、割付領域の数とアルバムシートの数とを乗じて得られた数に設定される。
【００６２】
ステップＳ２２０では、候補画像選択部２３４ａは、各グループから複数の候補画像を、対応する複数の比較対象画像と共に、選択する。本実施例では、各グループを等間隔に区分することによって、複数組の候補画像と比較対象画像とが自動的に選択されている。図７（ｃ）では、第２のグループＭＧ２が７等分され、６組の候補画像ＰＣ１〜ＰＣ６と比較対象画像ＰＤ１〜ＰＤ６とが選択されている。また、本実施例では、候補画像の次に再生される画像が比較対象画像として選択されている。
【００６３】
ステップＳ２３０では、評価値算出部２３４ｂは、ステップＳ２２０において各グループから選択された複数組の候補画像と比較対象画像とを用いて、各候補画像の評価値を算出する。なお、ステップＳ２３０の処理については、さらに後述する。
【００６４】
ステップＳ２４０では、代表画像決定部２３４ｃは、各グループの複数の候補画像の中から、代表画像を決定する。具体的には、代表画像決定部２３４ｃは、ステップＳ２３０で算出された複数の評価値を用いて、評価値が最も大きい候補画像を代表画像として決定する。図７（ｄ）では、３番目の候補画像ＰＣ３が代表画像として決定されている。
【００６５】
このように、１つの動画像をシーンの異なる複数のグループに区分し、各グループ毎に１つの代表画像を選出すれば、類似する複数の画像が代表画像として選出されずに済むという利点がある。
【００６６】
Ａ−４．評価値算出部の処理内容：
図８は、ステップＳ２３０（図６）の具体的な処理内容を示すフローチャートである。ステップＳ２３０では、候補画像と比較対象画像とを比較することによって、候補画像内に表現された対象物の動きが検出される。次に、検出された対象物の動きを利用して、候補画像が、対象物の動きが比較的大きな動き領域（第１種の領域）と比較的小さな非動き領域（第２種の領域）とに区分される。そして、２種類の領域のうちの少なくとも一方の画像情報を用いて、評価値が算出される。なお、本実施例では、候補画像は、複数のブロック画像に区分され、ブロック画像毎に上記の２種類の領域のいずれかに区分される。
【００６７】
ステップＳ３１０では、評価値算出部２３４ｂは、まず、候補画像と比較対象画像とのそれぞれを複数のブロック画像に区分する。そして、評価値算出部２３４ｂは、候補画像と比較対象画像とを比較することによって、候補画像内の対象物の動き、より具体的には、候補画像を構成する各ブロック画像のズレ量を検出する。
【００６８】
図９は、候補画像と比較対象画像との一例を示す説明図である。図９では、候補画像は、１２個の矩形のブロック画像に区分されており、比較対象画像も、１２個の矩形のブロック画像に区分されている。前述のように、比較対象画像は、候補画像の次に再生される画像である。このため、図示するように、比較対象画像は、通常、候補画像と同様の対象物（車と花）を含んでいる。また、候補画像と比較対象画像とは、通常、動きのある対象物（車）を含んでいる。したがって、候補画像と比較対象画像とを比較することによって、対象物の動き、より具体的には、候補画像を構成する各ブロック画像のズレ量を検出可能である。
【００６９】
なお、候補画像と比較対象画像とのズレには、対象物の動きに起因するズレと共に、デジタルカメラによる撮影時の手ブレなどに起因する撮影範囲の変化に起因するズレも含まれ得る。図９では、手ブレに起因して、比較対象画像の撮影範囲と候補画像の撮影範囲とが、ずれている。このような場合には、対象物の動きを正確に把握することが困難となり、この結果、候補画像を構成する各ブロック画像を２種類の領域のいずれかに区分するのが困難となる。そこで、本実施例では、対象物の正味の動きを考慮して、候補画像を構成する各ブロック画像のズレ量を検出することができるように工夫している。
【００７０】
図１０は、候補画像を構成する各ブロック画像のズレ量の検出手法を示す説明図である。図１０（Ａ），（Ｂ）には、候補画像ＰＣと比較対象画像ＰＤとが示されており、図１０（Ｃ）には、候補画像ＰＣのみが示されている。
【００７１】
まず、図１０（Ａ）に示すように、候補画像ＰＣと比較対象画像ＰＤとが画像全体として概ね整合するように、候補画像ＰＣを基準として、比較対象画像ＰＤの位置や傾きが変更される。そして、候補画像ＰＣ内の各ブロック画像と比較対象画像ＰＤ内の各ブロック画像との間の第１のズレが検出される。なお、第１のズレは、対応する２つのブロック画像の中心点間を結ぶベクトルで表される。例えば、図１０（Ａ）では、１番目のブロック画像に関しては、ベクトルＭＡ１だけずれており、１０番目のブロック画像に関しては、ベクトルＭＡ１０だけずれている。なお、第１のズレは、主に、手ブレなどの撮影範囲の変化に起因して発生したズレを示している。
【００７２】
次に、図１０（Ｂ）に示すように、候補画像ＰＣと比較対象画像ＰＤとが対応するブロック画像毎に概ね整合するように、候補画像ＰＣを基準として、比較対象画像ＰＤを構成する各ブロック画像の位置や傾きが変更される。そして、候補画像ＰＣ内の各ブロック画像と比較対象画像ＰＤ内の各ブロック画像との間の第２のズレが検出される。なお、第２のズレは、対応する２つのブロック画像の中心点間を結ぶベクトルで表される。図１０（Ｂ）では、１番目のブロック画像に関しては、ベクトルＭＢ１だけずれており、１０番目のブロック画像に関しては、ベクトルＭＢ１０だけずれている。なお、第２のズレは、対象物の動きと手ブレなどの撮影範囲の変化との双方に起因して発生したズレを示している。
【００７３】
図１０（Ｃ）では、候補画像を構成する各ブロック画像のズレ量が算出される。具体的には、図１０（Ａ），（Ｂ）で各ブロック毎に検出された２つのズレを利用して、候補画像内のブロック画像の相対的なズレ量、換言すれば、対象物の相対的な移動量が検出される。例えば、図１０（Ｃ）では、１番目のブロック画像に関しては、ベクトルＭＣ１（＝ＭＢ１−ＭＡ１）だけ相対的にずれており、１０番目のブロック画像に関しては、ＭＣ１０（＝ＭＢ１０−ＭＡ１０）だけ相対的にずれている。そして、各ベクトルＭＣ１，ＭＣ１０の大きさ（｜ＭＣ１｜，｜ＭＣ１０｜）が、各ブロック画像の相対的なズレ量を示している。
【００７４】
なお、図１０（Ａ），（Ｂ）における候補画像と比較対象画像との画像全体としての位置合わせや、候補画像と比較対象画像との対応するブロック画像毎の位置合わせは、周知のパターンマッチング処理を用いて実行可能である。
【００７５】
ステップＳ３２０（図８）では、評価値算出部２３４ｂは、候補画像を構成する各ブロック画像を、ステップＳ３１０で検出された相対的なズレ量に応じて、動き領域と非動き領域とに区分する。具体的には、注目ブロック画像の相対的なズレ量が所定の閾値を超える場合には、注目ブロック画像は動き領域に区分され、所定の閾値以下である場合には、注目ブロック画像は非動き領域に区分される。
【００７６】
図１１は、候補画像ＰＣを構成する各ブロック画像の区分を示す説明図である。図示するように、図１１では、相対的なズレ量が比較的大きな５つのブロック画像が動き領域（図中、ハッチが付された領域）に区分されており、相対的なズレ量が比較的小さな７つのブロック画像が非動き領域（図中、ハッチが付されていない領域）に区分されている。
【００７７】
なお、本実施例では、候補画像を構成する各ブロック画像は、相対的なズレ量を用いて、動き領域と非動き領域とのいずれかに区分されている。しかしながら、手ブレなどに起因する撮影範囲のズレが比較的小さい場合には、候補画像を構成する各ブロック画像は、図１０（Ｂ）で説明した第２のズレのみを用いて、区分されてもよい。このようにしても、候補画像内の対象物の動きを検出することができる。
【００７８】
一般には、候補画像を構成する複数のブロック画像のそれぞれの位置と、比較対象画像を構成する複数のブロック画像のそれぞれの位置と、のズレ量に応じて、候補画像を構成する各ブロック画像が、動き領域と非動き領域とのいずれかに区分されればよい。
【００７９】
なお、図８のステップＳ３１０，Ｓ３２０の処理は、評価値算出部２３４ｂに含まれる区分実行部によって実行される。
【００８０】
ステップＳ３３０（図８）では、評価値算出部２３４ｂは、２種類の領域のうちの少なくとも一方の画像情報を用いて、候補画像の評価値を算出する。
【００８１】
図１２は、ステップＳ３３０（図８）の具体的な処理内容を示すフローチャートである。ステップＳ４１０では、候補画像から輝度画像が生成される。なお、輝度画像は、候補画像の各画素値（ＲＧＢの値）を輝度値Ｙに変換することによって得られる。
【００８２】
ステップＳ４２０では、輝度画像に対してエッジ抽出処理が施され、処理済み画像が生成される。なお、本実施例では、輝度画像に対して、ラプラシアンフィルタなどの微分フィルタが施される。また、処理済み画像は、フィルタ処理後の値を所定の閾値で２値化して得られた２値画像である。したがって、処理済み画像内の値「１」を有する画素は、エッジを構成する画素である。
【００８３】
ステップＳ４３０では、動き領域のエッジ指標値ＥＩａと非動き領域のエッジ指標値ＥＩｂとが算出される。２種類の領域のエッジ指標値ＥＩａ，ＥＩｂは、それぞれ式（１），式（２）で表される。
【００８４】
ＥＩａ＝Ｅａ／Ｓａ      …（１）
ＥＩｂ＝Ｅｂ／Ｓｂ      …（２）
【００８５】
ここで、Ｅａは、動き領域に区分された部分画像（図１１の５個のブロック画像）内のエッジを構成する画素数であり、Ｓａは、動き領域に区分された部分画像を構成する全画素数である。また、Ｅｂは、非動き領域に区分された部分画像（図１１の７個のブロック画像）内のエッジを構成する画素数であり、Ｓｂは、非動き領域に区分された部分画像を構成する全画素数である。この説明から分かるように、ＥＩａは、動き領域内の単位面積あたりのエッジを構成する画素数を示しており、ＥＩｂは、非動き領域内の単位面積あたりのエッジを構成する画素数を示している。
【００８６】
ステップＳ４４０では、２種類の領域のエッジ指標値ＥＩａ，ＥＩｂを用いて、評価値Ｖが算出される。評価値Ｖは、式（３）で表される。
【００８７】
Ｖ＝ｍ・ＥＩａ−ＥＩｂ      …（３）
【００８８】
ここで、ｍは定数であり、通常、約１に設定される。なお、ｍの値は、約１〜約２の範囲で設定されることが好ましい。
【００８９】
評価値Ｖは、動き領域が目立つ候補画像である場合に、比較的大きな値となる。より具体的には、評価値Ｖは、動き領域が細部まで表現された画像（すなわちエッジの多い精細な画像）であり、かつ、非動き領域が単純な画像（すなわちエッジの少ない単調な画像）である場合に、比較的大きな値となる。
【００９０】
評価値算出部２３４ｂは、各候補画像について、評価値Ｖを求める。そして、ステップＳ２４０（図６）では、評価値Ｖの最も大きい候補画像が、鑑賞に適した代表画像として決定される。
【００９１】
なお、本実施例では、評価値Ｖは、２種類の領域のエッジ指標値ＥＩａ，ＥＩｂを利用して算出されているが、これに代えて、一方の領域のエッジ指標値のみを利用して算出されてもよい。例えば、Ｖ＝ＥＩａを利用すれば、動き領域が細部まで表現された候補画像の評価値を高く設定することができる。また、Ｖ＝−ＥＩｂを利用すれば、非動き領域が単純な候補画像の評価値を高く設定することができる。
【００９２】
また、本実施例では、評価値Ｖは、各領域の単位面積あたりのエッジを構成する画素数を示すエッジ指標値を利用して算出されているが、これに代えて、各領域に含まれるエッジを構成する画素数を利用して算出されてもよい。例えば、Ｖ＝Ｅａ−Ｅｂを利用することができる。
【００９３】
一般には、評価値は、動き領域に含まれる部分画像内のエッジを構成する画素数と、非動き領域に含まれる部分画像内のエッジを構成する画素数と、のうちの少なくとも一方を用いて算出されればよい。
【００９４】
以上説明したように、本実施例では、各候補画像内に表現された対象物の動きに応じて、各候補画像が２種類の領域のうちのいずれかに区分され、少なくとも一方の領域内のエッジを構成する画素数を用いて各候補画像の評価値が算出される。このため、複数の画像を含む画像群から鑑賞に適した代表画像を容易に選出することが可能となる。また、本実施例では、上記のように選出された代表画像を用いて合成済み画像が生成されるため、代表画像と装飾画像との一連の画像合成処理を容易に実行することができる。
【００９５】
Ｂ．第２実施例：
図１３は、第２実施例におけるステップＳ３３０（図８）の具体的な処理内容を示すフローチャートである。ステップＳ５１０では、図１２のステップＳ４１０と同様に、候補画像から輝度画像が生成される。
【００９６】
ステップＳ５２０では、動き領域の平均輝度値ＡＹａと非動き領域の平均輝度値ＡＹｂとが算出される。なお、動き領域の平均輝度値ＡＹａは、動き領域に区分された部分画像（図１１の５個のブロック画像）の平均輝度値を示しており、非動き領域の平均輝度値ＡＹｂは、非動き領域に区分された部分画像（図１１の７個のブロック画像）の平均輝度値を示している。
【００９７】
ステップＳ５３０では、２種類の領域の平均輝度値ＡＹａ，ＡＹｂを用いて評価値Ｖが算出される。評価値Ｖは、式（４）で表される。
【００９８】
Ｖ＝ｎ・ＡＹａ−ＡＹｂ      …（４）
【００９９】
ここで、ｎは定数であり、通常、約１に設定される。なお、ｎの値は、約１〜約２の範囲で設定されることが好ましい。
【０１００】
評価値Ｖは、動き領域が目立つ候補画像である場合に、比較的大きな値となる。より具体的には、評価値Ｖは、動き領域が明るい画像であり、かつ、非動き領域が暗い画像である場合に、比較的大きな値となる。
【０１０１】
なお、本実施例では、評価値Ｖは、２種類の領域の平均輝度値ＡＹａ，ＡＹｂを利用して算出されているが、これに代えて、一方の領域の平均輝度値のみを利用して算出されてもよい。例えば、Ｖ＝ＡＹａを利用すれば、動き領域が明るい候補画像の評価値を高く設定することができる。また、Ｖ＝−ＡＹｂを利用すれば、非動き領域が暗い候補画像の評価値を高く設定することができる。
【０１０２】
一般には、評価値は、動き領域に含まれる部分画像の平均輝度値と、非動き領域に含まれる部分画像の平均輝度値と、のうちの少なくとも一方を用いて算出されればよい。
【０１０３】
Ｃ．第３実施例：
第１および第２実施例では、動き領域が目立つ候補画像の評価値が、比較的高く設定されている。しかしながら、実際には、非動き領域が目立つ候補画像の評価値が、高く設定されるべき場合もある。すなわち、デジタルカメラが固定された状態で移動中の主被写体を撮影する場合には、通常、動き領域が目立つ候補画像の評価値が高く設定されることが好ましい。しかしながら、移動中の主被写体と共にデジタルカメラを移動させながら主被写体を撮影する場合には、主被写体よりも他の被写体（すなわち背景）が大きく移動する。このような場合には、非動き領域が目立つ候補画像の評価値が、比較的高く設定されることが好ましい。そこで、本実施例では、上記のような場合にも、適切な評価値が得られるように、工夫している。
【０１０４】
図１４は、第３実施例におけるステップＳ３３０（図８）の具体的な処理内容を示すフローチャートである。ステップＳ６１０〜Ｓ６３０は、図１２のステップＳ４１０〜Ｓ４３０と同じである。したがって、ステップＳ６３０では、２種類の領域のエッジ指標値ＥＩａ，ＥＩｂが算出される。
【０１０５】
ステップＳ６４０では、２種類の領域のエッジ指標値ＥＩａ，ＥＩｂが比較される。「ＥＩａ≧ＥＩｂ」が成立する場合には、ステップＳ６５０に進む。逆に、「ＥＩｂ＞ＥＩａ」が成立する場合には、ステップＳ６６０に進む。
【０１０６】
ステップＳ６５０では、第１の評価モードに従って、動き領域を重視した評価値が算出される。評価値Ｖは、式（５）で表される。
【０１０７】
Ｖ＝α・ＥＩａ−ＥＩｂ  （ＥＩａ≧ＥＩｂの場合）      …（５）
【０１０８】
一方、ステップＳ６６０では、第２の評価モードに従って、非動き領域を重視した評価値が算出される。評価値Ｖは、式（６）で表される。
【０１０９】
Ｖ＝β・ＥＩｂ−ＥＩａ  （ＥＩｂ＞ＥＩａの場合）      …（６）
【０１１０】
なお、α，βは定数であり、通常、約１に設定される。なお、α，βの値は、個別に設定可能であり、それぞれ約１〜約２の範囲で設定されることが好ましい。
【０１１１】
上記のような評価値Ｖを利用すれば、動き領域が非動き領域よりも細部まで表現された画像である場合（すなわち、ＥＩａ≧ＥＩｂの場合）には、換言すれば、デジタルカメラが固定された状態で移動中の主被写体が撮影された場合には、第１の評価モードが選択されるため、動き領域を重視して評価値Ｖを算出することができる。具体的には、評価値Ｖは、動き領域が細部まで表現された画像であり、かつ、非動き領域が単純な画像である場合に、比較的大きな値となる。
【０１１２】
一方、非動き領域が動き領域よりも細部まで表現された画像（すなわち、ＥＩｂ＞ＥＩａの場合）には、換言すれば、移動中の主被写体と共にデジタルカメラを移動させながら主被写体が撮影された場合には、第２の評価モードが選択されるため、非動き領域を重視して評価値Ｖを算出することができる。具体的には、評価値Ｖは、非動き領域が細部まで表現された画像であり、かつ、動き領域が単純な画像である場合に、比較的大きな値となる。
【０１１３】
なお、本実施例では、評価値Ｖは、２種類の領域のエッジ指標値ＥＩａ，ＥＩｂを利用して算出されているが、これに代えて、一方の領域のエッジ指標値のみを利用して算出されてもよい。例えば、ＥＩａ≧ＥＩｂの場合にＶ＝ＥＩａを利用すれば、動き領域を重視して、動き領域が細部まで表現された候補画像の評価値を高く設定することができる。また、ＥＩｂ＞ＥＩａの場合にＶ＝ＥＩｂを利用すれば、非動き領域を重視して、非動き領域が細部まで表現された候補画像の評価値を高く設定することができる。
【０１１４】
本実施例では、第１および第２の評価モードは、２種類の領域のエッジ指標値ＥＩａ，ＥＩｂを比較することによって選択されているが、これに代えて、２種類の領域の平均輝度値ＡＹａ，ＡＹｂを比較することによって選択されてもよい。また、本実施例では、評価値Ｖは、２種類の領域のエッジ指標値ＥＩａ，ＥＩｂを利用して算出されているが、これに代えて、２種類の領域の平均輝度値ＡＹａ，ＡＹｂを利用して算出されてもよい。例えば、ＡＹａ≧ＡＹｂの場合にＶ＝ＡＹａ−ＡＹｂを利用すれば、動き領域を重視して、動き領域が明るく非動き領域が暗い候補画像の評価値を高く設定することができる。また、ＡＹｂ＞ＡＹａの場合にＶ＝ＡＹｂ−ＡＹａを利用すれば、非動き領域を重視して、非動き領域が明るく動き領域が暗い候補画像の評価値を高く設定することができる。
【０１１５】
以上説明したように、本実施例では、動き領域を重視して評価値を求める第１の評価モードと、非動き領域を重視して評価値を求める第２の評価モードと、が準備されているため、候補画像内に表現された動きを有する対象物が主被写体である場合にも背景である場合にも、適切な評価値を算出することができる。
【０１１６】
なお、本明細書において、「動き領域を重視する」とは、動き領域の画像情報を用いて得られたエッジ指標値や平均輝度値などの特徴値が良好な値を示す場合に、評価値が大きく設定されることを意味する。また、「非動き領域を重視する」とは、非動き領域の画像情報を用いて得られたエッジ指標値や平均輝度値などの特徴値が良好な値を示す場合に、評価値が大きく設定されることを意味する。
【０１１７】
Ｄ．第４実施例：
第１ないし第３実施例では、候補画像を構成する少なくとも１つのブロック画像が動き領域に区分されることを前提としているが、実際には、候補画像内のすべてのブロック画像が非動き領域に区分される場合もある。第１ないし第３実施例では、上記のような場合には、候補画像の評価値を適切に算出することが困難となる。具体的には、評価値を算出することができなかったり、最も目立たない候補画像が代表画像として決定されてしまったり、最も目立つ候補画像が代表画像として決定されなかったりする恐れがある。そこで、本実施例では、上記のような場合にも、適切な評価値が得られるように、工夫している。
【０１１８】
図１５は、第４実施例におけるステップＳ３３０（図８）の具体的な処理内容を示すフローチャートである。図１５は、図１４とほぼ同じであるが、ステップＳ６０２とステップＳ６０４とが追加されている。
【０１１９】
ステップＳ６０２では、動き領域に区分されるブロック画像があるか否かが判断される。動き領域に区分されるブロック画像が１つ以上存在する場合には、ステップＳ６１０に進み、第３実施例と同様に評価値が算出される。一方、すべてのブロック画像が非動き領域に区分される場合には、ステップＳ６０４に進む。
【０１２０】
ステップＳ６０４では、第３の評価モードに従って評価値が算出される。より具体的には、候補画像の全領域（すなわち、非動き領域）を考慮して評価値が算出される。評価値Ｖは、式（７）で表される。
【０１２１】
Ｖ＝γ・ＥＩｃ
ＥＩｃ＝Ｅｃ／Ｓｃ      …（７）
【０１２２】
ここで、Ｅｃは、候補画像内のエッジを構成する画素数であり、Ｓｃは、候補画像を構成する全画素数である。すなわち、エッジ指標値ＥＩｃは、候補画像の単位面積あたりのエッジを構成する画素数を示している。また、γは定数であり、通常、約０．５に設定される。なお、γの値は、式（５），式（６）のα，βの値にも依存するが、約０．２５〜約０．７５の範囲で設定されることが好ましい。
【０１２３】
本実施例の構成を採用すれば、候補画像を構成するすべてのブロック画像が非動き領域に区分される場合でも、適切な評価値Ｖを算出することができる。具体的には、評価値Ｖは、候補画像全体が細部まで表現された画像である場合に、比較的大きな値となる。
【０１２４】
Ｅ．第５実施例：
第１ないし第４実施例では、各候補画像は、動き領域と非動き領域とのいずれかに区分されているが、本実施例では、動き領域は、さらに、複数のサブ領域に区分されている。
【０１２５】
図１６は、第５実施例におけるステップＳ２３０（図６）の具体的な処理内容を示すフローチャートである。図１６は、図８とほぼ同じであるが、ステップＳ３２０，Ｓ３３０に代えて、ステップＳ３２０Ｅ，Ｓ３３０Ｅが実行される。
【０１２６】
ステップＳ３２２では、図８のステップＳ３２０で説明したように、評価値算出部２３４ｂは、候補画像を構成する各ブロック画像を、ステップＳ３１０で検出された相対的なズレ量に応じて、動き領域と非動き領域とに区分する。具体的には、注目ブロック画像の相対的なズレ量が第１の閾値を超える場合には、注目ブロック画像は動き領域に区分され、第１の閾値以下である場合には、注目ブロック画像は非動き領域に区分される。
【０１２７】
ステップＳ３２４では、評価値算出部２３４ｂは、動き領域を相対的なズレの量とズレの方向とに応じて、複数のサブ領域に区分する。
【０１２８】
図１７は、第５実施例における候補画像を構成する各ブロック画像の区分を示す説明図である。図１７に示す候補画像ＰＣ’では、相対的なズレ量が比較的大きな７つのブロック画像が、動き領域Ｗａ（図中、ハッチが付された領域）に区分されており、相対的なズレ量が比較的小さな５つのブロック画像が、非動き領域Ｗｂ（図中、ハッチが付されていない領域）に区分されている。また、図１７では、動き領域Ｗａは、２つのブロック画像を含む第１のサブ領域Ｗａ１と、５つのブロック画像を含む第２のサブ領域Ｗａ２と、に区分されている。第１のサブ領域Ｗａ１を構成する各ブロック画像の相対的なズレ量（ベクトルの大きさ）は、第２のサブ領域Ｗａ２を構成する各ブロック画像の相対的なズレ量よりも大きい。また、第１のサブ領域Ｗａ１を構成する各ブロック画像の相対的なズレ方向（ベクトルの向き）は右方向であり、第２のサブ領域Ｗａ２を構成する各ブロック画像の相対的なズレ方向は左方向である。
【０１２９】
図１７では、動き領域Ｗａを構成する７つのブロック画像は、２つのサブ領域Ｗａ１，Ｗａ２のいずれかに区分されているが、実際には、８つのサブ領域のいずれかに区分可能である。具体的には、動き領域を構成する注目ブロック画像は、相対的なズレ量（ベクトルの大きさ）が第２の閾値を超えるか否かで区分されると共に、相対的なズレ方向（ベクトルの向き）が左，右，上，下のうちのいずれの方向であるかに応じて区分される。なお、第２の閾値は、ステップＳ３２２で利用される第１の閾値よりも大きな値である。また、相対的なズレ方向は、動き領域を構成するｋ番目のブロック画像の相対的なズレを示すベクトルＭＣｋのｘ成分ＭＣｋｘとｙ成分ＭＣｋｙとを利用して判断される。例えば、｜ＭＣｋｘ｜≧｜ＭＣｋｙ｜かつＭＣｋｘ≧０である場合には、相対的なズレ方向は、右方向と判断される。同様に、｜ＭＣｋｙ｜≧｜ＭＣｋｘ｜かつＭＣｋｙ≧０である場合には、相対的なズレ方向は、上方向と判断される。
【０１３０】
なお、図１６のステップＳ３１０，Ｓ３２０Ｅの処理は、評価値算出部２３４ｂに含まれる区分実行部によって実行される。
【０１３１】
ステップＳ３３０Ｅ（図１６）では、評価値算出部２３４ｂは、動き領域の画像情報を用いて、より具体的には、少なくとも１つのサブ領域の画像情報を用いて、候補画像の評価値を算出する。
【０１３２】
図１８は、ステップＳ３３０Ｅ（図１６）の具体的な処理内容を示すフローチャートである。ステップＳ７１０，Ｓ７２０は、図１２のステップＳ４１０，Ｓ４２０と同じである。したがって、ステップＳ７２０では、候補画像の各画素値（ＲＧＢの値）が輝度値Ｙに変換された輝度画像（２値画像）が得られる。
【０１３３】
ステップＳ７３０では、図１２のステップＳ４３０と同様に、動き領域のエッジ指標値ＥＩａと非動き領域のエッジ指標値ＥＩｂとが算出される。ただし、動き領域のエッジ指標値ＥＩａは、サブ領域毎に重み付け係数を設定することによって算出される。２種類の領域のエッジ指標値ＥＩａ，ＥＩｂは、それぞれ式（８），式（９）で表される。なお、式（９）は、前述の式（２）と同じである。
【０１３４】
ＥＩａ＝Σｍｉ・Ｅａｉ／Ｓａｉ    …（８）
ＥＩｂ＝Ｅｂ／Ｓｂ                …（９）
【０１３５】
ここで、Ｅａｉは、ｉ番目のサブ領域に区分された部分画像（例えば図１７の第１のサブ領域を構成する２個のブロック画像）内のエッジを構成する画素数であり、Ｓａｉは、ｉ番目のサブ領域に区分された部分画像を構成する全画素数である。すなわち、Ｅａｉ／Ｓａｉは、ｉ番目のサブ領域のエッジ指標値であり、ｉ番目のサブ領域内の単位面積あたりのエッジを構成する画素数を示す。ｍｉは、ｉ番目のサブ領域に対する重み付け係数であり、式（１０）で表される。なお、ｍｉは、式（１１）を満たす。
【０１３６】
ｍｉ＝δ・（Ｓａｉ／ΣＳａｉ）＋ε・（Ｍｉ／ΣＭｉ）    …（１０）
【０１３７】
Σｍｉ＝δ＋ε＝ｍ      …（１１）
【０１３８】
ここで、ΣＳａｉは、式（１）のＳａと同じであり、Ｓａｉ／ΣＳａｉは、ｉ番目のサブ領域の面積（全画素数）と動き領域の面積（全画素数）との比の値を示している。Ｍｉは、ｉ番目のサブ領域に区分された１以上のブロック画像の相対的なズレ量の平均値である。Ｍｉ／ΣＭｉは、ｉ番目のサブ領域の相対的なズレ量の平均値と、各サブ領域の相対的なズレ量の平均値の総和と、の比の値である。δ，εは、定数であり、通常、それぞれ約０．５に設定される。また、ｍは定数であり、通常、約１に設定される。なお、ｍの値は、約１〜約２の範囲で設定されることが好ましい。
【０１３９】
例えば、図１７の第１のサブ領域Ｗａ１のズレ量の平均値Ｍ１を「３」、第２のサブ領域Ｗａ２のズレ量の平均値Ｍ２を「１」、「δ＝ε＝０．５」と仮定する。このとき、第１のサブ領域Ｗａ１に対する重み付け係数ｍ１は、０．４８（＝０．５×２／（２＋５）＋０．５×３／（３＋１））であり、第２のサブ領域Ｗａ２に対する重み付け係数ｍ２は、０．５２（＝０．５×５／（２＋５）＋０．５×１／（３＋１））である。
【０１４０】
ステップＳ７４０（図１８）では、２種類の領域のエッジ指標値ＥＩａ，ＥＩｂを用いて、評価値Ｖが算出される。評価値Ｖは、式（１２）で表される。
【０１４１】
Ｖ＝ＥＩａ−ＥＩｂ          …（１２）
【０１４２】
評価値Ｖは、動き領域が目立つ候補画像である場合に、比較的大きな値となる。より具体的には、評価値Ｖは、動き領域が細部まで表現された画像であり、かつ、非動き領域が単純な画像である場合に、比較的大きな値となる。ただし、本実施例では、動き領域のエッジ指標値ＥＩａは、重み付け係数を用いて算出されている。このため、評価値Ｖは、各サブ領域の重要度に応じた値である。式（１０）から分かるように、重み付け係数は、注目サブ領域の面積が比較的大きく、かつ、ズレ量が比較的大きい場合に、比較的大きな値に設定され、該注目サブ領域の重要度が高く設定される。そして、評価値Ｖは、該注目サブ領域が目立つ候補画像である場合に、換言すれば、該注目サブ領域が細部まで表現された画像である場合に、比較的大きな値となる。
【０１４３】
本実施例を採用すれば、各候補画像内に、異なる動きを有する２以上の対象物（例えば、移動遊具と該遊具に乗って手を振る人物）が表現されている場合や、異なる動きを有する２以上の部位を含む１つの対象物（例えば、手を振りながら移動する人物）が表現されている場合にも、各サブ領域の動きに応じた適切な評価値を算出することができる。
【０１４４】
なお、本実施例では、評価値Ｖは、２種類の領域のエッジ指標値ＥＩａ，ＥＩｂを利用して算出されているが、これに代えて、動きの領域のエッジ指標値ＥＩａのみを利用して算出されてもよい。例えば、Ｖ＝ＥＩａを利用することができる。
【０１４５】
また、本実施例では、動き領域のエッジ指標値ＥＩａは、すべてのサブ領域のエッジ指標値を用いて算出されているが、これに代えて、複数のサブ領域のうちの１つのサブ領域のエッジ指標値のみを用いて算出されてもよい。例えば、動き領域のエッジ指標値は、最も大きな面積を有するサブ領域のエッジ指標値のみを用いて算出されてもよいし、最も大きな動きを有するサブ領域のエッジ指標値のみを用いて算出されてもよい。
【０１４６】
さらに、本実施例では、評価値Ｖは、エッジ指標値を利用して算出されているが、これに代えて、第１実施例で説明したように、各領域に含まれるエッジを構成する画素数を利用して算出されてもよい。例えば、Ｖ＝Σｍｉ・Ｅａｉ−Ｅｂを利用することができる。
【０１４７】
一般には、評価値は、複数のサブ領域のうちの少なくとも１つのサブ領域に含まれる部分画像内のエッジを構成する画素数を用いて算出されればよい。
【０１４８】
また、本実施例では、各候補画像の評価値Ｖは、エッジ指標値を用いて算出されているが、これに代えて、第２実施例で説明したように、平均輝度値を用いて算出されてもよい。
【０１４９】
一般には、評価値は、複数のサブ領域のうちの少なくとも１つのサブ領域の画像情報を用いて算出されればよい。
【０１５０】
また、本実施例では、評価値Ｖは、動き領域を重視して求められているが、第３実施例と同様に、動き領域を重視して評価値を求める第１の評価モードと、非動き領域を重視して評価値を求める第２の評価モードと、が準備されていてもよい。
【０１５１】
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能であり、例えば次のような変形も可能である。
【０１５２】
（１）上記実施例では、動画像は、隣接する２つの画像間の平均輝度値の差分を用いて、複数のグループに区分されているが、これに代えて、隣接する２つの画像間の撮影時刻の差分を用いて区分されてもよい。このようにしても、動画像のシーンの変化に基づいてグループ分けを行うことができる。一般には、動画像は、所定のルールに従って、複数の画像群に区分されていればよい。ただし、ユーザが動画像を複数の画像群に区分するようにしてもよい。
【０１５３】
（２）上記実施例では、複数の候補画像は、１つのグループ（画像群）を等間隔に区分したときの区分点を利用して選択されているが、これに代えて、１つのグループ（画像群）をほぼ同じ数の画像を含む複数のサブグループに区分し、各サブグループのうちの再生順序がほぼ中央の画像が候補画像として選択されてもよい。あるいは、１つのグループ（画像群）を隣接する２つの画像間の平均輝度値の差分を用いて複数のサブグループに区分し、各サブグループのうちの再生順序がほぼ中央の画像が候補画像として選択されてもよい。
【０１５４】
上記実施例では、比較対象画像は、候補画像の次に再生される画像であるが、これに代えて、候補画像より所定の数だけ後に再生される画像であってもよいし、候補画像の再生後の比較的短い所定期間経過後（例えば、１秒後）に再生される画像であってもよい。すなわち、比較対象画像は、候補画像と同様の対象物を含み、候補画像と比較可能な画像であればよい。
【０１５５】
一般には、所定のルールに従って、複数組の候補画像と比較対象画像とが選択されればよい。ただし、ユーザが１つの画像群から複数の候補画像を選択し、比較対象画像が所定のルールに従って選択されてもよい。
【０１５６】
（３）上記実施例では、各グループ（各画像群）毎に１つの代表画像が決定されているが、これに代えて、２以上の代表画像が決定されてもよい。
【０１５７】
（４）上記実施例では、候補画像と比較対象画像とは、それぞれ複数の矩形のブロック画像に区分されているが、これに代えて、他の形状を有する部分画像に区分されてもよい。また、候補画像と比較対象画像とは、それぞれ対象物毎の複数の領域に区分されてもよい。ただし、上記実施例のようにすれば、候補画像を２種類の領域（すなわち動き領域および非動き領域）のいずれかに容易に区分することができる。また、動き領域を複数のサブ領域のいずれかに容易に区分することができる。
【０１５８】
（５）上記実施例では、各候補画像の評価値は、エッジ指標値や平均輝度値を用いて算出されているが、これに代えて、あるいは、これと共に、他の特徴値を用いて算出されてもよい。
【０１５９】
例えば、第４実施例では、ステップＳ６０４（図１５）において、評価値Ｖは、候補画像内の特定色領域を構成する画素数を用いて算出されてもよい。特定色が肌色に設定される場合には、評価値Ｖは、候補画像が比較的大きく表現された人物の顔の像を含む場合に、比較的大きな値に設定される。
【０１６０】
一般には、各候補画像の評価値は、２種類の領域（すなわち動き領域および非動き領域）のうちの少なくとも一方の画像情報を用いて算出されればよい。換言すれば、各候補画像の評価値は、第１種の領域に含まれる少なくとも一部の部分画像の画像情報（画素情報）を用いて取得可能な第１の特徴値と、第２種の領域に含まれる少なくとも一部の部分画像の画像情報（画素情報）を用いて取得可能な第２の特徴値と、のうちの少なくとも一方を用いて算出されればよい。
【０１６１】
（６）第３および第４実施例では、第１および第２の評価モードは、動き領域および非動き領域のエッジ指標値や平均輝度値を比較することによって選択されているが、これに代えて、他の特徴値を比較することによって選択されてもよい。
【０１６２】
例えば、第１および第２の評価モードは、動き領域内の特定色領域を構成する画素数と非動き領域内の特定色領域を構成する画素数とを比較することによって選択されてもよい。より具体的には、動き領域内の肌色領域を構成する画素数が非動き領域内の該画素数よりも大きい場合には、動き領域を重視する第１の評価モードが選択され、逆の場合には、非動き領域を重視する第２の評価モードが選択されるようにしてもよい。
【０１６３】
一般には、２種類の領域の画像情報を用いて、第１の評価モードと第２の評価モードとのいずれかが選択されればよい。
【０１６４】
（７）第３および第４実施例では、２種類の領域のエッジ指標値ＥＩａ，ＥＩｂを比較することによって、第１および第２の評価モードの一方が選択されているが、これに代えて、ユーザが第１および第２の評価モードの一方を選択するようにしてもよい。ただし、第３，第４実施例の構成を採用すれば、２つの評価モードの一方が自動的に選択されるため、適切な評価値を容易に算出することができるという利点がある。
【０１６５】
（８）第１ないし第４実施例では、候補画像を構成する各ブロック画像のズレ量は、各ブロック画像を動き領域と非動き領域とのいずれかに区分するためのみに利用されているが、評価値の算出に利用されてもよい。この場合には、例えば、「Ｖ’＝ＭＣｍａｘ・Ｖ」で表される評価値Ｖ’を利用することができる。ここで、ＭＣｍａｘは、各ブロック画像のズレ量の最大値を示しており、Ｖは、上記第１ないし第４実施例で得られた評価値を示している。こうすれば、対象物の動きが比較的大きな候補画像の評価値を比較的高く設定することができる。
【０１６６】
なお、第５実施例では、動き領域を構成する各ブロック画像のズレ量は、サブ領域毎に重み付け係数を設定する際に使用されており、この結果、評価値の算出に利用されている。
【０１６７】
一般には、各候補画像の評価値は、ズレ量を用いて求められていればよい。
【０１６８】
（９）第５実施例では、動き領域を構成する各ブロック画像のズレ量とズレ方向とに応じて、複数のサブ領域のいずれかに区分されている。しかしながら、これに代えて、動き領域は、各ブロック画像のズレ量のみ、または、ズレ方向のみに応じて、複数のサブ領域のいずれかに区分されてもよい。このようにしても、動き領域を、対象物の動きに応じて、複数のサブ領域に区分することができるため、特定の動きを有する少なくとも１つのサブ領域の画像情報を考慮して評価値を算出することができる。
【０１６９】
一般には、第１種の領域（すなわち動き領域）は、第１種の領域内に表現された対象物の動きの大きさと向きとの少なくとも一方に応じて複数のサブ領域に区分されていればよい。
【０１７０】
（１０）上記実施例では、パーソナルコンピュータ２００が画像処理部２３０および印刷データ生成部２４０の機能を有しているが、画像処理部２３０および印刷データ生成部２４０の機能は、表示部を有するデジタルスチルカメラに設けられていてもよいし、表示部を有するプリンタに設けられていてもよい。
【図面の簡単な説明】
【０１７１】
【図１】画像処理システムの一例を示す説明図である。
【図２】画像処理部２３０の処理内容を示すフローチャートである。
【図３】動画像選択フィールドＭＰＦを示す説明図である。
【図４】装飾画像選択フィールドＥＰＦを示す説明図である。
【図５】ステップＳ３００（図２）において生成される合成済み画像を示す説明図である。
【図６】ステップＳ２００（図２）の具体的な処理内容を示すフローチャートである。
【図７】代表画像の選出処理を模式的に示す説明図である。
【図８】ステップＳ２３０（図６）の具体的な処理内容を示すフローチャートである。
【図９】候補画像と比較対象画像との一例を示す説明図である。
【図１０】候補画像を構成する各ブロック画像のズレ量の検出手法を示す説明図である。
【図１１】候補画像を構成する各ブロック画像の区分を示す説明図である。
【図１２】ステップＳ３３０（図８）の具体的な処理内容を示すフローチャートである。
【図１３】第２実施例におけるステップＳ３３０（図８）の具体的な処理内容を示すフローチャートである。
【図１４】第３実施例におけるステップＳ３３０（図８）の具体的な処理内容を示すフローチャートである。
【図１５】第４実施例におけるステップＳ３３０（図８）の具体的な処理内容を示すフローチャートである。
【図１６】第５実施例におけるステップＳ２３０（図６）の具体的な処理内容を示すフローチャートである。
【図１７】第５実施例における候補画像を構成する各ブロック画像の区分を示す説明図である。
【図１８】ステップＳ３３０Ｅ（図１６）の具体的な処理内容を示すフローチャートである。
【符号の説明】
【０１７２】
１００…画像処理システム
２００…パーソナルコンピュータ
２１０…ＣＰＵ
２２０…内部記憶装置
２３０…画像処理部
２３２…合成対象選択支援部
２３４…代表画像選出部
２３４ａ…候補画像選択部
２３４ｂ…評価値算出部
２３４ｃ…代表画像決定部
２３８…合成部
２４０…印刷データ生成部
２５０…外部記憶装置
２５２…装飾画像格納領域
２５４…動画像格納領域
２６０…表示部
２７０…操作部
２８０…メモリカード制御部
２９０…Ｉ／Ｆ部
３００…プリンタ
【図１】
2005209123.tif 000003
【図２】
2005209123.tif 000004
【図３】
2005209123.tif 000005
【図４】
2005209123.tif 000006
【図５】
2005209123.tif 000007
【図６】
2005209123.tif 000008
【図７】
2005209123.tif 000009
【図８】
2005209123.tif 000010
【図９】
2005209123.tif 000011
【図１０】
2005209123.tif 000012
【図１１】
2005209123.tif 000013
【図１２】
2005209123.tif 000014
【図１３】
2005209123.tif 000015
【図１４】
2005209123.tif 000016
【図１５】
2005209123.tif 000017
【図１６】
2005209123.tif 000018
【図１７】
2005209123.tif 000019
【図１８】
2005209123.tif 000020