(57)【要約】【課題】スライドショーにおいて似たような画像が重複して表示されることを防止する。【解決手段】ｍ枚の入力画像（３０１〜３１２）が記録媒体から読み出されて再生制御部に入力された場合、再生制御部は、ｍ枚の入力画像の中に類似性の高い入力画像の組が存在しているか否かを評価し、その存在が確認された場合、ｍ枚の入力画像の内の一部を表示対象から除外する。即ち、入力画像３０１及び３０２との類似性、入力画像３０５及び３０６との類似性及び入力画像３１０及び３１１との類似性が高いため、例えば、入力画像３０２、３０６及び３１１を表示対象から除外し、スライドショーにおいて、入力画像３０１、３０３、３０４、３０５、３０７、３０８、３０９、３１０及び３１２を一定時間間隔にて順次表示する。【選択図】図１１
2011010275.tif 000002
【特許請求の範囲】
【請求項１】
与えられたｍ枚の入力画像の内の異なる入力画像間の類似性を評価することによって前記ｍ枚の入力画像の内のｎ枚をｎ枚の出力画像として選択するとともに、前記ｎ枚の出力画像を再生媒体上に出力する再生制御部を備えた（ｍは２以上の整数であるとともにｎは１以上の整数であり、ｍ＞ｎ）
ことを特徴とする画像再生装置。
【請求項２】
前記ｍ枚の入力画像はｐ枚の入力画像を含み（ｐは２以上の整数であって、ｍ＞ｐ）、
前記再生制御部は、前記ｐ枚の入力画像間の類似性が比較的高いか或いは比較的低いかを判断し、前記ｐ枚の入力画像間の類似性が比較的高いと判断した場合に、前記ｐ枚の入力画像の一部が前記ｎ枚の出力画像から除外されるように前記選択を行う
ことを特徴とする請求項１に記載の画像再生装置。
【請求項３】
前記再生制御部は、各入力画像の画像特徴を表す画像特徴量を用いて前記類似性の評価を行う
ことを特徴とする請求項１または請求項２に記載の画像再生装置。
【請求項４】
前記再生制御部は、
各入力画像内に人物が含まれているか否かを検出する検出処理の結果を表す情報、
各入力画像内に含まれている人物が誰であるのかを認識する認識処理の結果を表す情報、
各入力画像の生成時刻を表す情報、
各入力画像の生成地点を表す情報の内、
少なくとも１以上の情報を更に用いて前記類似性の評価を行う
ことを特徴とする請求項３に記載の画像再生装置。
【請求項５】
ｎは２以上であり、
前記ｎ枚の出力画像は、前記再生媒体としての表示画面又は紙面上にｑ枚ずつ順次出力される（ｑは１以上の整数であって、ｎ＞ｑ）、或いは、
前記ｎ枚の出力画像は、前記再生媒体としての表示画面又は紙面上に同時に出力される
ことを特徴とする請求項１〜請求項４の何れかに記載の画像再生装置。
【請求項６】
請求項１〜請求項５の何れかに記載された画像再生装置を備え、
前記画像再生装置に対するｍ枚の入力画像を撮影によって取得する
ことを特徴とする撮像装置。
【請求項７】
与えられたｍ枚の入力画像の内の異なる入力画像間の類似性を評価することによって前記ｍ枚の入力画像を複数のカテゴリに分類する画像分類部と（ｍは２以上の整数）、
共通のカテゴリに複数の入力画像が属する場合、前記複数の入力画像における優先順位を設定する優先順位設定処理を行う優先順位設定部と、
各カテゴリに前記優先順位設定処理を行うことで設定された優先順位に従い、前記ｍ枚の入力画像を再生媒体上に出力する画像出力部と、を備えた
ことを特徴とする画像再生装置。
【請求項８】
前記優先順位設定部は、各入力画像の画像データに基づいて前記優先順位を設定する
ことを特徴とする請求項７に記載の画像再生装置。
【請求項９】
前記優先順位設定部は、各入力画像に関連付けられた付加データに基づいて前記優先順位を設定する
ことを特徴とする請求項７に記載の画像再生装置。
【請求項１０】
前記ｍ枚の入力画像は、前記設定された優先順位に従い、前記再生媒体としての表示画面又は紙面上に、同時に又は複数回に分けて出力される
ことを特徴とする請求項７〜請求項９の何れかに記載の画像再生装置。
【請求項１１】
請求項７〜請求項１０の何れかに記載された画像再生装置を備え、
前記画像再生装置に対するｍ枚の入力画像を撮影によって取得する
ことを特徴とする撮像装置。
【請求項１２】
各入力画像の撮影条件を調整するためのマニュアル調整操作を受け付ける操作部を備え、
前記優先順位設定部は、各入力画像の撮影の際にマニュアル調整操作が成されたか否かに基づいて前記優先順位を設定する
ことを特徴とする請求項１１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、及び、画像処理装置を有するデジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
複数の入力画像の再生方法として、スライドショーによる再生方法やサムネイル表示による再生方法がある。スライドショーによる再生方法では、再生対象である入力画像を１枚ずつ一定時間間隔にて順次表示する。サムネイル表示による再生方法では、複数の入力画像についての複数のサムネイルを縦及び／又は横に並べて同時に表示する。
【０００３】
近年における記録媒体の記録容量の増加等に伴って、ユーザは、デジタル画像の撮影を気軽に次々と行い、似たような画像を短時間で多数枚撮影することもある（例えば、同じ景色を背景にして同じ人物を略同じ構図で多数回撮影することがある）。このような場合において、スライドショーによる再生にて記録画像の再生を行うと、似たような画像が次々と表示されて表示内容が冗長となることがあり、また、再生に必要な時間も長くなる。サムネイル表示による再生においても同様である。
【０００４】
また例えば、同じような風景を撮影することで得られた２０枚の対象画像が記録媒体に記録されている場合において、２０枚の対象画像の内、第１０の対象画像が、ユーザにとって最も重要な画像（例えば、最もピントが合っている画像）であるといったこともある。このような場合において、仮に、２０枚の対象画像を含む大量の記録画像（例えば１００枚の記録画像）を単純にファイル番号順で表示画面上又は時系列上に並べて表示したとしたならば、第１０の対象画像を視聴や選択等するために、ユーザはスクロール操作等を利用して大量の記録画像の中から第１０の対象画像を探し出す必要がある。第１０の対象画像（ユーザにとって重要度の高い画像）の再生を優先できる方法があれば、有益である。
【０００５】
尚、下記特許文献１に記載の表示装置では、複数の入力画像を再生対象とするスライドショーの実行時において、複数の入力画像の内の１枚を基準画像（キー画像）に設定すると共に基準画像及び非基準画像間の類似度を計算し、基準画像との類似度が高い非基準画像から逐次表示するようにしている。特許文献１の技術では、上述したような、再生時における冗長性を抑制することはできないし、重要度の高い画像の優先的再生に寄与することもできない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−６７０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで本発明は、再生時における冗長性を抑制可能な画像再生装置及び撮像装置を提供することを目的とする。また本発明は、重要度の高い画像の優先的再生に寄与しうる画像再生装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る第１の画像再生装置は、与えられたｍ枚の入力画像の内の異なる入力画像間の類似性を評価することによって前記ｍ枚の入力画像の内のｎ枚をｎ枚の出力画像として選択するとともに、前記ｎ枚の出力画像を再生媒体上に出力する再生制御部を備えた（ｍは２以上の整数であるとともにｎは１以上の整数であり、ｍ＞ｎ）ことを特徴とする。
【０００９】
これにより、類似性を考慮して、再生されるべき画像の枚数がｍ枚からｎ枚に削減されるため、再生時における冗長性を抑制することが可能となる。
【００１０】
具体的には例えば、前記ｍ枚の入力画像はｐ枚の入力画像を含み（ｐは２以上の整数であって、ｍ＞ｐ）、前記再生制御部は、前記ｐ枚の入力画像間の類似性が比較的高いか或いは比較的低いかを判断し、前記ｐ枚の入力画像間の類似性が比較的高いと判断した場合に、前記ｐ枚の入力画像の一部が前記ｎ枚の出力画像から除外されるように前記選択を行う。
【００１１】
また具体的には例えば、前記再生制御部は、各入力画像の画像特徴を表す画像特徴量を用いて前記類似性の評価を行う。
【００１２】
更に具体的には例えば、前記再生制御部は、各入力画像内に人物が含まれているか否かを検出する検出処理の結果を表す情報、各入力画像内に含まれている人物が誰であるのかを認識する認識処理の結果を表す情報、各入力画像の生成時刻を表す情報、各入力画像の生成地点を表す情報の内、少なくとも１以上の情報を更に用いて前記類似性の評価を行う。
【００１３】
また例えば、ｎは２以上であり、前記ｎ枚の出力画像は、前記再生媒体としての表示画面又は紙面上にｑ枚ずつ順次出力される（ｑは１以上の整数であって、ｎ＞ｑ）、或いは、前記ｎ枚の出力画像は、前記再生媒体としての表示画面又は紙面上に同時に出力される。
【００１４】
本発明に係る第１の撮像装置は、前記第１の画像再生装置を備え、前記第１の画像再生装置に対するｍ枚の入力画像を撮影によって取得することを特徴とする。
【００１５】
本発明に係る第２の画像再生装置は、与えられたｍ枚の入力画像の内の異なる入力画像間の類似性を評価することによって前記ｍ枚の入力画像を複数のカテゴリに分類する画像分類部と（ｍは２以上の整数）、共通のカテゴリに複数の入力画像が属する場合、前記複数の入力画像における優先順位を設定する優先順位設定処理を行う優先順位設定部と、各カテゴリに前記優先順位設定処理を行うことで設定された優先順位に従い、前記ｍ枚の入力画像を再生媒体上に出力する画像出力部と、を備えたことを特徴とする。
【００１６】
ユーザにとって重要度の高いと推測される入力画像に高い優先順位を与えるようにすれば、重要度が高いと推測される入力画像を優先的に再生するといったことが可能となる。
【００１７】
具体的には例えば、前記優先順位設定部は、各入力画像の画像データに基づいて前記優先順位を設定する。
【００１８】
画像データから各入力画像の重要度を推測することが可能である。例えば、画像データに基づき、より画像ぼけが少ない入力画像を複数の入力画像から選択し、より画像ぼけが少ない入力画像により高い優先順位を設定するといったことが可能となる。従って、画像データに基づいて優先順位を設定するようにすれば、重要度が高いと推測される入力画像に高い優先順位を与えて該入力画像を優先的に再生するといったことが可能となる。
【００１９】
或いは例えば、前記優先順位設定部は、各入力画像に関連付けられた付加データに基づいて前記優先順位を設定する。
【００２０】
付加データから各入力画像の重要度を推測することが可能である。例えば、撮影条件をマニュアル調整する操作を経て各入力画像が撮影されたか否かを表す情報を付加データに含めておけば、付加データに基づき、マニュアル調整操作を経て撮影された入力画像に高い優先順位を設定するといったことが可能となる。マニュアル調整操作を経て撮影された入力画像は、他の入力画像よりも、ユーザにとっての重要度が高い画像であると推測されるため、このような設定の実現に寄与する優先順位設定部の上記構成は有益である。
【００２１】
また例えば、前記第２の画像再生装置において、前記ｍ枚の入力画像は、前記設定された優先順位に従い、前記再生媒体としての表示画面又は紙面上に、同時に又は複数回に分けて出力される。
【００２２】
本発明に係る第２の撮像装置は、前記第２の画像再生装置を備え、前記第２の画像再生装置に対するｍ枚の入力画像を撮影によって取得することを特徴とする。
【００２３】
また例えば、前記第２の撮像装置は、各入力画像の撮影条件を調整するためのマニュアル調整操作を受け付ける操作部を備え、前記優先順位設定部は、各入力画像の撮影の際にマニュアル調整操作が成されたか否かに基づいて前記優先順位を設定する。
【００２４】
これにより、マニュアル調整操作を経て撮影された入力画像に高い優先順位を設定するといったことが可能となる。マニュアル調整操作を経て撮影された入力画像は、他の入力画像よりも、ユーザにとっての重要度が高い画像であると推測されるため、このような設定の実現に寄与する優先順位設定部の上記構成は有益である。
【発明の効果】
【００２５】
本発明によれば、再生時における冗長性を抑制可能な画像再生装置及び撮像装置を提供することが可能となる。また本発明によれば、重要度の高い画像の優先的再生に寄与しうる画像再生装置及び撮像装置を提供することが可能となる。
【００２６】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１実施形態に係る撮像装置の全体的構成を表すブロック図である。
【図２】図１の記録媒体に記録されるべき画像ファイルの構造を示す図である。
【図３】画像ファイルのヘッダ領域に格納されるべき付加データの内容を説明するための図である。
【図４】入力画像に５つの空間フィルタを作用させる様子を示す図である。
【図５】入力画像の特徴ベクトルの導出に関与する５つのヒストグラムを示す図である。
【図６】図１の表示部に設けられた表示画面を示す図である。
【図７】図１の表示部の表示画面における表示領域が複数の領域に分割される様子を示す図である。
【図８】図１の再生制御部の内部ブロック図である。
【図９】図８の画像選択部によって評価される類似性の内容を示す図である。
【図１０】図８の画像選択部による類似性評価及び選択処理の具体例を示す図である。
【図１１】図８の画像選択部に与えられるｍ枚の入力画像の例としての、１２枚の入力画像を示す図である。
【図１２】本発明に係る再生対象選択機能が有効となっている場合における、スライドショー実行時の表示内容を示す図である。
【図１３】本発明に係る再生対象選択機能が無効となっている場合における、スライドショー実行時の表示内容を示す図である。
【図１４】本発明に係る再生対象選択機能が有効となっている場合における、サムネイル表示実行時の表示内容を示す図である。
【図１５】本発明に係る再生対象選択機能が無効となっている場合における、サムネイル表示実行時の表示内容を示す図である。
【図１６】本発明の第１実施形態に係る撮像装置の、撮影モードにおける動作フローチャートである。
【図１７】本発明の第１実施形態に係る撮像装置の、再生モードにおける動作フローチャートである。
【図１８】本発明の第２実施形態に係り、画像選択部にて選択された画像のサムネイルと選択されなかった画像のサムネイルが、上下に重ねて表示される様子を示す図である。
【図１９】本発明の第２実施形態に係り、サムネイル表示モードにおける表示内容の例を示す図である。
【図２０】本発明の第２実施形態に係り、サムネイル表示モードにおける表示内容の他の例を示す図である。
【図２１】本発明の第３実施形態に係る表示内容の例を示す図である。
【図２２】本発明に係る再生対象選択機能が有効となっている場合における、本発明の第４実施形態に係る印刷内容の例を示す図である。
【図２３】本発明に係る再生対象選択機能が無効となっている場合における、本発明の第４実施形態に係る印刷内容の例を示す図である。
【図２４】本発明の第６実施形態の動作に関与する部位のブロック図である。
【図２５】本発明の第６実施形態にて想定される複数の入力画像が複数のカテゴリに分類されると共に優先順位付けられる様子を示した図である。
【図２６】本発明の第６実施形態に係り、表示画面における上下左右を定義するための図である。
【図２７】本発明の第６実施形態に係り、リスト表示モードにおける表示画面の例を示す図である。
【図２８】本発明の第６実施形態に係り、リスト表示モードにおいて表示画面の表示領域が分割される様子を説明するための図である。
【図２９】本発明の第６実施形態に係り、リスト表示モードにおける表示画面の他の例を示す図である。
【図３０】本発明の第６実施形態に係り、リスト表示モードにおける表示画面の更に他の例を示す図である。
【図３１】本発明の第６実施形態に係り、リスト表示モードにおける表示画面の更に他の例を示す図である。
【図３２】本発明の第６実施形態に係り、サムネイル表示モードにおける表示画面の例を示す図である。
【図３３】本発明の第６実施形態に係り、スライドショーモードにおける表示画面の例を示す図である。
【図３４】本発明の第６実施形態に係り、１つのカテゴリ内にＰA枚の入力画像が属している様子を示す図である。
【図３５】本発明の第６実施形態に係り、評価対象画像内に評価領域が設定される様子を示す図である。
【図３６】本発明の第６実施形態に係り、画像ファイルのヘッダ領域に参照情報が格納される様子を示す図である。
【図３７】本発明の第６実施形態に係り、任意の二次元画像に対して複数の判定画像領域が設定される様子を示す図である。
【図３８】本発明の第６実施形態に係り、ＡＦ制御を用いて得られた３枚の入力画像を、夫々の合焦領域と共に示した図である。
【図３９】図１の撮像部の内部構成図を含む、撮像装置の一部ブロック図である。
【図４０】本発明の第６実施形態に係り、フレーム画像内にＡＦ判定領域が設定される様子を示す図である。
【図４１】本発明の第６実施形態に係り、ＡＦロック操作を経て入力画像が取得される様子を示す図である。
【図４２】本発明の第６実施形態に係り、ＡＦロック操作及びシャッタ操作間に構図の変更が成されたか否かを判断するための動作のフローチャートである。
【図４３】本発明の第６実施形態に係り、複数の優先順位設定方法の概要を示す図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２９】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体的構成を表すブロック図である。撮像装置１は、符号１１〜２２によって参照される各部位を備える。撮像装置１は、静止画像及び動画像を撮影可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影可能なデジタルスチルカメラであっても良い。尚、表示部１９は、撮像装置１と異なる表示装置等に設けられたものであっても良い。
【００３０】
撮像部１１は、撮像素子を用いて被写体の撮影を行うことで被写体の画像の画像データを取得する。具体的には、撮像部１１は、図示されない光学系、絞り、及び、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子を有する。この撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られたアナログの電気信号を出力する。図示されないＡＦＥ（Analog Front End）は、撮像素子から出力されたアナログ信号を増幅してデジタル信号に変換する。得られたデジタル信号は、被写体の画像の画像データとして、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成される画像メモリ１２に記録される。
【００３１】
画像メモリ１２に記録された１フレーム周期分の画像データによって表される１枚分の画像を、以下、フレーム画像と呼ぶ。尚、本明細書では、画像データを単に画像ということがある。また、或る画素に対する画像データを、画素信号と呼ぶことがある。画素信号は、例えば、画素の明るさを表す輝度信号及び画素の色を表す色差信号から成る。
【００３２】
フレーム画像の画像データは、入力画像の画像データとして、撮像装置１内の必要部位（例えば画像解析部１４）に送られる。この際、フレーム画像の画像データに対して必要な画像処理（ノイズ低減処理、エッジ強調処理など）を施し、その画像処理後の画像データを入力画像の画像データとして画像解析部１４等に送るようにしてもよい。
【００３３】
撮影制御部１３は、ユーザの指示や入力画像の画像データに基づき、撮像部１１の画角（焦点距離）及び焦点位置並びに撮像素子への入射光量を調節する。
【００３４】
画像解析部１４は、入力画像の画像データに基づいて各種の画像解析を行う。画像解析部１４にて実行される画像解析に、顔検出処理、顔認識処理及び特徴ベクトル導出処理を含めることができる。
【００３５】
画像解析部１４は、顔検出処理によって、入力画像中の顔及び人物を検出する。顔検出処理では、入力画像の画像データに基づいて、入力画像の画像領域から人物の顔部分を含む領域である顔領域を検出して抽出する。画像解析部１４は、公知の方法を含む任意の方法によって顔検出処理を実行可能である。以下、顔検出処理によって抽出された顔領域内の画像を、抽出顔画像とも呼ぶ。
【００３６】
画像解析部１４は、顔検出処理の結果を利用して、入力画像の画像領域から人物の全体を含む領域である人物領域を抽出することもできる。例えば、顔検出処理によって抽出された顔領域の位置及び大きさに基づき、その顔領域に対応する人物の画像データが存在する画像領域を推定し、その推定した画像領域を人物領域として抽出する。人物領域の抽出に、公知の輪郭抽出処理やエッジ抽出処理を利用するようにしても良い。
【００３７】
顔認識処理では、顔検出処理によって入力画像から抽出された顔を有する人物が、予め設定された１又は複数の登録人物の内の、何れの人物であるかを認識する。顔認識処理の方法として様々な手法が知られており、画像解析部１４は、公知の方法を含む任意の方法によって顔認識処理を実行可能である。
【００３８】
例えば、顔認識処理を、抽出顔画像の画像データと、照合用の顔画像データベースと、に基づいて行うことができる。顔画像データベースには、互いに異なる複数の登録人物についての顔画像の画像データが格納されている。顔画像データベースを、画像解析部１４内に予め設けておくことができる。顔画像データベースに格納されている登録人物の顔画像を登録顔画像と呼ぶ。抽出顔画像の画像データ及び登録顔画像の画像データに基づく抽出顔画像及び登録顔画像間の類似度評価を登録顔画像ごとに行うことで、顔認識処理を実現することができる。
【００３９】
特徴ベクトル導出処理とは、入力画像の全景又は背景部分の画像の特徴を表す特徴ベクトルを導出する処理を指す。特徴ベクトルの具体的な導出方法については後述する。
【００４０】
タイムスタンプ生成部１５は、撮像装置１に内蔵されたタイマ等を用いて、入力画像の撮影時刻を表すタイムスタンプ情報を作成する。ＧＰＳ情報取得部１６は、ＧＰＳ（Global Positioning System）衛星から送られてくるＧＰＳ信号を受信することにより撮像装置１の現在地を認識する。記録媒体１７は、磁気ディスクや半導体メモリ等から成る不揮発性メモリである。入力画像の画像データを、画像ファイルに格納した上で記録媒体１７に記録することができる。
【００４１】
図２に、１つの画像ファイルの構造を示す。１つの静止画像又は動画像に対して１つの画像ファイルを作成することができる。画像ファイルの構造を任意の規格に準拠させることができる。画像ファイルは、静止画像又は動画像の画像データそのもの或いはその圧縮データが格納されるべき本体領域と、付加データが格納されるべきヘッダ領域と、からなる。
【００４２】
図３に示す如く、或る静止画像に対する付加データに、その静止画像の特徴ベクトルを表す特徴ベクトル情報、その静止画像に人物が含まれているか否かを表す人物有無情報、その静止画像に含まれている人物が何れの登録人物であるかを示す人物ＩＤ情報、その静止画像の撮影時刻（換言すれば、撮影による静止画像の生成時刻）を表すタイムスタンプ情報、及び、その静止画像の撮影された地点（換言すれば、撮影によって静止画像が生成された地点）を表す撮影地点情報を含めることができ、以下の説明では、静止画像に対する付加データに、それらの情報が全て含まれていることを想定する。また、或る静止画像に対する付加データには、その静止画像のサムネイルの画像データも含まれる。尚、本明細書において、「情報」と「データ」は同義である。
【００４３】
或る静止画像の付加データに含められるべき特徴ベクトル情報、人物有無情報及び人物ＩＤ情報は、その静止画像に対する特徴ベクトル導出処理、顔検出処理及び顔認識処理に基づいて作成され、或る静止画像の付加データに含められるべきタイムスタンプ情報及び撮影地点情報は、タイムスタンプ生成部１５及びＧＰＳ情報取得部１６にて作成される。或る静止画像のサムネイルは、その静止画像の画像サイズを縮小して得た画像であり、一般的には、その静止画像の画素の一部を間引くことで生成される。
【００４４】
記録制御部１８は、記録媒体１７にデータを記録させるために必要な各種の記録制御を行う。表示部１９は、液晶ディスプレイ等から成り、撮像部１１の撮影によって得られた入力画像や、記録媒体１７に記録されている画像などを表示する。操作部２０は、ユーザが撮像装置１に対して各種操作を行うための部位である。操作部２０には、静止画像の撮影指示を行うためのシャッタボタン２０ａ、動画像の撮影開始及び終了を指示するための録画ボタン（不図示）が含まれる。主制御部２１は、操作部２０に対して成された操作内容に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。再生制御部２２は、記録媒体１７に記録された画像を表示部１９などで再生させる時に必要な再生制御を行う。
【００４５】
［特徴ベクトルの導出方法］
特徴ベクトルの具体的な導出方法について説明する。以下の説明では、説明の具体化のため、或る注目した入力画像の全画像領域の内、人物領域を除く画像領域を背景領域とみなし、背景領域内の画像の特徴を表す特徴ベクトルを当該注目した入力画像の特徴ベクトルとして導出するものとする。
【００４６】
特徴ベクトルの導出対象の画像領域を特徴評価領域と呼ぶ。注目した入力画像から人物領域が抽出された場合においては、上記背景領域が特徴評価領域となる。注目した入力画像に人物領域が存在しない場合においては、注目した入力画像の全画像領域を特徴評価領域として設定し、特徴評価領域としての全画像領域内の画像の特徴を表す特徴ベクトルを当該注目した入力画像の特徴ベクトルとして導出する。
【００４７】
図４に示す如く、特徴ベクトルが算出されるべき１枚の入力画像を符号２００によって参照する。入力画像２００は、複数の画素が水平及び垂直方向に配列された二次元画像であり、図４の符号２０１は入力画像２００上の１つの注目画素を表す。フィルタ２１１〜２１５は、注目画素２０１を中心とする小画像のエッジを抽出するエッジ抽出フィルタである。該小画像は、入力画像２００の一部である。エッジ抽出フィルタとして、エッジ抽出に適した任意の空間フィルタ（例えば、微分フィルタ、プリューウィットフィルタ、ソーベルフィルタ）を用いることができる。但し、フィルタ２１１〜２１５は互いに異なる空間フィルタであり、エッジの抽出方向がフィルタ２１１〜２１５間で互いに異なる。図４では、各フィルタ２１１〜２１５のフィルタサイズが３×３画素となっているが、それらのフィルタサイズを３×３画素以外にすることも可能である。
【００４８】
フィルタ２１１、２１２、２１３及び２１４は、夫々、入力画像２００の水平方向、垂直方向、右斜め方向及び左斜め方向に伸びるエッジを抽出し、抽出したエッジの強度を表すフィルタ出力値を出力する。フィルタ２１５は、水平方向、垂直方向、右斜め方向及び左斜め方向に分類されない方向に伸びるエッジを抽出し、抽出したエッジの強度を表すフィルタ出力値を出力する。エッジの強度は、画素信号（例えば輝度信号）の勾配の大きさを表す。例えば、入力画像２００の水平方向に伸びるエッジが存在している場合、水平方向に直交する方向である垂直方向において、画素信号に比較的大きな勾配が生じる。従って、注目画素２０１の中心とフィルタ２１１の中心とを一致させた状態でフィルタ２１１を用いた空間フィルタリングを行えば、注目画素２０１を中心とした３×３画素の画像領域内における、垂直方向に沿った画素信号の勾配の大きさがフィルタ出力値として得られる。フィルタ２１２〜２１５についても同様である。
【００４９】
入力画像２００上の或る位置に注目画素２０１を配置した状態で、フィルタ２１１〜２１５から各フィルタ出力値を取得することで５つのフィルタ出力値が得られる。この５つのフィルタ出力値の内、最大のフィルタ出力値を採用フィルタ値として抽出する。最大のフィルタ出力値がフィルタ２１１〜２１５からのフィルタ出力値であるときの採用フィルタ値を、夫々、第１〜第５の採用フィルタ値と呼ぶ。従って例えば、最大のフィルタ出力値がフィルタ２１１からのフィルタ出力値である時、採用フィルタ値は第１の採用フィルタ値であり、最大のフィルタ出力値がフィルタ２１２からのフィルタ出力値である時、採用フィルタ値は第２の採用フィルタ値である。
【００５０】
注目画素２０１の配置位置は、入力画像２００の特徴評価領域内において水平又は垂直方向に１画素ずつ移動せしめられ、移動のたびに、フィルタ２１１〜２１５からフィルタ出力値を取得することで採用フィルタ値を決める。入力画像２００の特徴評価領域内の全ての位置に対して採用フィルタ値を決めた後、図５に示すような、第１、第２、第３、第４及び第５の採用フィルタ値のヒストグラム２２１、２２２、２２３、２２４及び２２５を個別に作成する。
【００５１】
第１の採用フィルタ値のヒストグラム２２１は、入力画像２００から得られた第１の採用フィルタ値のヒストグラムであり、そのヒストグラムの階級の数は１６である（ヒストグラム２２２〜２２５についても同様）。そうすると、１つのヒストグラムから１６個の度数データが得られるため、ヒストグラム２２１〜２２５から計８０個の度数データが得られる。この８０個の度数データの夫々を要素とする８０次元のベクトルを、形状ベクトルＨEとして求める。形状ベクトルＨEは、入力画像２００内に存在する物体の形状に応じたベクトルである。
【００５２】
一方で、画像解析部１４は、入力画像２００の特徴評価領域内の色の様子を表す色ヒストグラムを作成する。例えば、入力画像２００を形成する各画素の画素信号が、赤色の強度を表すＲ信号、緑色の強度を表すＧ信号及び青色の強度を表すＢ信号から形成されている場合、入力画像２００の特徴評価領域内のＲ信号値のヒストグラムＨＳＴR、入力画像２００の特徴評価領域内のＧ信号値のヒストグラムＨＳＴG、及び、入力画像２００の特徴評価領域内のＢ信号値のヒストグラムＨＳＴBを、入力画像２００についての色ヒストグラムとして作成する。色ヒストグラムの階級の数は任意であるが、仮に、各色ヒストグラムの階級の数が１６であるならば、入力画像２００についての色ヒストグラムＨＳＴR、ＨＳＴG及びＨＳＴBから４８個の度数データが得られる。色ヒストグラムから得られた度数データの夫々を要素とするベクトル（例えば、４８次元のベクトル）を、色ベクトルＨCとして求める。
【００５３】
入力画像２００の特徴ベクトルをＨにて表した場合、特徴ベクトルＨは、
式「Ｈ＝ｋC×ＨC＋ｋE×ＨE」
によって定められる。ここで、ｋC及びｋEは予め定められた係数である（但し、ｋC≠０且つｋE≠０）。入力画像２００についての特徴ベクトルＨは、入力画像２００内の物体の形状及び色に応じた画像特徴量である。
【００５４】
尚、ＭＰＥＧ（Moving Picture Experts Group）７において、画像の特徴ベクトル（特徴量）の導出に５つのエッジ抽出フィルタが用いられており、ＭＰＥＧ７における５つのエッジ抽出フィルタを、フィルタ２１１〜２１５として用いるようにしてもよい。更に、ＭＰＥＧ７に規定された方法を入力画像２００に適用することで入力画像２００の特徴ベクトルＨ（画像特徴量）を導出するようにしても良い。
【００５５】
［再生時における各種モード］
図１の操作部２０に対して所定の操作を施すと、撮像装置１の動作モードは、記録媒体１７の記録画像の再生が成される再生モードとなる。再生モードは、複数のモードに分類される。その複数のモードには、スライドショーモード及びサムネイル表示モードが含まれる。これらのモードにおいて画像を再生する際に、再生制御部２２は特徴的な機能を実現することができる。以下、スライドショーモード及びサムネイル表示モードを含む再生モードにおける説明において、単に入力画像といった場合、それは、記録媒体１７に記録された静止画像としての入力画像を指すものとする（後述の他の実施形態においても同様）。
【００５６】
再生モードにおいては、記録媒体１７から読み出された入力画像の画像データ及び付加データが再生制御部２２に与えられ、再生制御部２２は、それらのデータに基づいて、必要な再生制御を行う。表示部１９に設けられた表示画面を、図６に示す如く符号１９ａによって参照する。表示画面１９ａは、所定の大きさを有する矩形状の表示領域を有し、図７に示す如く表示画面１９ａにおける全表示領域を符号ＤＷによって参照する。以下の説明文における「表示」とは、特に記述なき限り、表示画面１９ａにおける表示を指す。
【００５７】
スライドショーモードでは、複数の入力画像が１枚ずつ表示画面１９ａ上に順次表示される。典型的には例えば、複数の入力画像が１枚ずつ表示画面１９ａの全表示領域ＤＷを使って一定間隔にて順次表示される。
【００５８】
サムネイル表示モードでは、複数の入力画像についての複数のサムネイルが同時に表示画面１９ａ上に表示される。例えば、全表示領域ＤＷを水平及び垂直方向に夫々３等分することにより全表示領域ＤＷを９つの表示領域に分割して用いる。この分割によって得られた９つの分割表示領域を、図７に示す如く符号ＤＳ1〜ＤＳ9によって参照する。そして、サムネイル表示モードでは、分割表示領域ＤＳ1〜ＤＳ9の夫々に、入力画像のサムネイルを１つずつ表示する。
【００５９】
一般的なスライドショーモード及びサムネイル表示モードでは、記録媒体１７から読み出された入力画像の全てが再生対象となるが、図１の再生制御部２２は、再生の必要性の少ない入力画像を自動的に識別して再生対象から除外する機能を備える。この機能を、再生対象選択機能と呼ぶ。再生対象選択機能を無効にした状態でスライドショーモード及びサムネイル表示モードの動作を行うことも可能であるが、以下では、特に記述無き限り、再生対象選択機能が有効となっている時の再生動作について説明する。
【００６０】
図８は、再生制御部２２の内部ブロック図である。再生制御部２２は、画像選択部３１及びレイアウト作成部（信号生成部）３２を有する。画像選択部３１は、記録媒体１７から読み出されたｍ枚の入力画像とｍ枚の入力画像に対応する付加データとに基づいて、ｍ枚の入力画像の中からｎ枚の入力画像を選択する。ここで、ｍ及びｎは２以上の整数であるが、ｍはｎよりも大きい。画像選択部３１にて選択された入力画像を、出力画像とも呼ぶ。各出力画像の画像データはレイアウト作成部３２に与えられる。
【００６１】
レイアウト作成部３２は、再生モードの種類に基づいて、即ち、ユーザによって指定された再生モードがスライドショーモードであるのか或いはサムネイル表示モードであるのかに基づいて表示画面１９ａのレイアウトを作成し、作成したレイアウトに沿って各出力画像を表示画面１９ａ上で再生表示させるための再生用信号を表示部１９に対して出力する。指定された再生モードがスライドショーモードである場合には、１枚の出力画像が全表示領域ＤＷを用いて表示されるようなレイアウトを作成し、指定された再生モードがサムネイル表示モードである場合には、９枚の出力画像のサムネイルが分割表示領域ＤＳ1〜ＤＳ9に１つずつ表示されるようなレイアウトを作成する。
【００６２】
［類似性評価に基づく選択方法］
画像選択部３１は、選択処理を行うに際して、ｍ枚の入力画像の付加データに基づき、ｍ枚の入力画像の内の、任意の異なる入力画像間の類似性を評価する。
【００６３】
図９に示す如く、ここで評価される類似性には、画像特徴に関する類似性（以下、第１類似性とも言う）、人物有無に関する類似性（以下、第２類似性とも言う）、人物ＩＤに関する類似性（以下、第３類似性とも言う）、撮影時刻に関する類似性（以下、第４類似性とも言う）、及び、撮影地点に関する類似性（以下、第５類似性とも言う）が含まれうる。ｍ枚の入力画像に含まれる第１及び第２の入力画像に注目して、これらの類似性の評価方法を説明する。
【００６４】
第１及び第２の入力画像間の、画像特徴に関する類似性は、第１及び第２の入力画像の特徴ベクトル情報に基づき、以下のようにして評価する。第１の入力画像の特徴ベクトルＨ1と第２の入力画像の特徴ベクトルＨ2を、それらの特徴ベクトルが定義されるべき特徴空間に配置する。この際、特徴ベクトルＨ1及びＨ2の各始点を特徴空間の原点に配置し、特徴空間における特徴ベクトルＨ1の終点と特徴ベクトルＨ2の終点との距離（ユークリッド距離）を求める。そして、その距離が所定の基準距離よりも小さければ、第１及び第２の入力画像間の画像特徴に関する類似性は高いと判断し、その距離が該基準距離以上であれば、第１及び第２の入力画像間の画像特徴に関する類似性は低いと判断する。
【００６５】
第１及び第２の入力画像間の、人物有無に関する類似性は、第１及び第２の入力画像の人物有無情報に基づいて評価される。即ち、第１及び第２の入力画像に共に人物が含まれている場合、または、第１及び第２の入力画像に共に人物が含まれていない場合には、第１及び第２の入力画像間の人物有無に関する類似性は高いと判断し、第１及び第２の入力画像の何れか一方にのみ人物が含まれている場合には、第１及び第２の入力画像間の人物有無に関する類似性は低いと判断する。また、第１及び第２の入力画像に共に人物が含まれていたとしても、含まれる人物の人数が第１及び第２の入力画像間で異なる場合においては、第１及び第２の入力画像間の人物有無に関する類似性は低いと判断することもできる。この判断を可能とするために、入力画像に含まれている人物の数を表す情報を人物有無情報に含めておくとよい。
【００６６】
第１及び第２の入力画像間の、人物ＩＤに関する類似性は、第１及び第２の入力画像の人物ＩＤ情報に基づいて評価される。人物ＩＤとは、入力画像に含まれる人物を他の人物と区別して識別するための情報である。具体的には、第１及び第２の入力画像に含まれている人物が同一の登録人物である場合には、第１及び第２の入力画像間の人物ＩＤに関する類似性は高いと判断し、第１及び第２の入力画像に含まれている人物が同一の登録人物でない場合には、第１及び第２の入力画像間の人物ＩＤに関する類似性は低いと判断する。
【００６７】
第１及び第２の入力画像間の、撮影時刻に関する類似性は、第１及び第２の入力画像のタイムスタンプ情報に基づいて評価される。即ち、そのタイムスタンプ情報から第１の入力画像の撮影時刻と第２の入力画像の撮影時刻との時刻差を求め、その時刻差が所定の基準時刻差よりも小さければ、第１及び第２の入力画像間の撮影時刻に関する類似性は高いと判断し、その時刻差が該基準時刻差以上であれば、第１及び第２の入力画像間の撮影時刻に関する類似性は低いと判断する。
【００６８】
第１及び第２の入力画像間の、撮影地点に関する類似性は、第１及び第２の入力画像の撮影地点情報に基づいて評価される。即ち、その撮影地点情報から第１の入力画像の撮影地点と第２の入力画像の撮影地点との地点差を求め、その地点差が所定の基準地点差よりも小さければ、第１及び第２の入力画像間の撮影地点に関する類似性は高いと判断し、その地点差が該基準地点差以上であれば、第１及び第２の入力画像間の撮影地点に関する類似性は低いと判断する。地点差は、例えば、対比される地点間の距離にて表現することができる。
【００６９】
画像選択部３１は、第１〜第５類似性の内、１以上の類似性を選択指標類似性として採用し、選択指標類似性の高低に基づいてｍ枚の入力画像からｎ枚の入力画像を選択する。従って、選択指標類似性の個数は、１、２、３、４及び５の何れかとなる。但し、選択指標類似性に、第１類似性を少なくとも含めておくことが望ましい。例えば、第１及び第２類似性のみを選択指標類似性として用いる場合は、第３〜第５類似性の高低を考慮することなく、第１及び第２類似性のみに基づいてｍ枚の入力画像からｎ枚の入力画像をｎ枚の出力画像として選択する。
【００７０】
第１及び第２の入力画像に対して全ての選択指標類似性が高いと判断された場合には、第１及び第２の入力画像の一方がｎ枚の出力画像から除外されるように出力画像の選択を行う。このような選択（又は選択の方法）を、１枚選択と呼ぶ。また、注目した複数の入力画像間において全ての選択指標類似性が高いと判断することを、便宜上、類似判断と呼ぶ。
【００７１】
一方、第１及び第２の入力画像に対して、何れか１以上の選択指標類似性が低いと判断された場合には、第１及び第２の入力画像の双方がｎ枚の出力画像に含まれるように出力画像の選択を行う。このような選択（又は選択の方法）を、全選択と呼ぶ。また、注目した複数の入力画像間において１以上の選択指標類似性が低いと判断することを、便宜上、非類似判断と呼ぶ。
【００７２】
但し、第１及び第２の入力画像に対して非類似判断が成された場合であっても、第１及び第３の入力画像に対して類似判断が成された場合には、第１及び第３の入力画像の何れか一方がｎ枚の出力画像から除外されるため、最終的に、第１の入力画像はｎ枚の出力画像から除外されうる。また、第１及び第２の入力画像に対して類似判断がなされた場合、例えば、第２の入力画像がｎ枚の出力画像から除外され且つ第１の入力画像が暫定的にｎ枚の出力画像に含められるが、この場合においても、仮に、第１及び第３の入力画像に対して類似判断が成された場合には、最終的に、第１の入力画像はｎ枚の出力画像から除外されうる。
【００７３】
図１０を参照して、画像選択部３１による類似性評価及び選択処理の具体的な例である、第１〜第６パターンを説明する。尚、図１０では、類似性が高いことを「類似」と表記し、類似性が低いことを「非類似」と表記している。
【００７４】
第１パターンでは、第１〜第５類似性の内、第１類似性のみが選択指標類似性として採用されている。この場合は、第１及び第２入力画像間で第１類似性が高いと判断されれば第１及び第２入力画像に対して１枚選択が成され、第１及び第２入力画像間で第１類似性が低いと判断されれば第１及び第２入力画像に対して全選択が成される。図１０は、全選択が成される場合の例が示されている。選択指標類似性に、第１類似性だけでなく第２類似性が含まれていたとしても、第１類似性が低ければ第２類似性の高低に関係なく全選択が成される。
【００７５】
第２、第３及び第６パターンでは、第１〜第５類似性の内、第１〜第４類似性のみが選択指標類似性として採用されている。
【００７６】
そして、第２パターンでは、第１及び第２入力画像間における第１類似性〜第４類似性が全て高いと判断されている。即ち例えば、第２パターンでは、第１及び第２入力画像間において画像特徴の類似性が高く、且つ、第１及び第２入力画像に同一の登録人物が含まれており、且つ、第１及び第２入力画像の撮影時刻差が所定の基準時刻差よりも短い。従って、第２パターンにおいては、第１及び第２入力画像に対して１枚選択が成される。
【００７７】
一方、第３パターンでは、第１及び第２入力画像に対して、第１、第２及び第４類似性は高いと判断されているものの、第３類似性は低いと判断されている。即ち例えば、第３パターンでは、第１及び第２入力画像間において画像特徴の類似性が高く、且つ、第１及び第２入力画像の撮影時刻差が所定の基準時刻差よりも短く、且つ、第１及び第２入力画像に共に人物が含まれているものの第１及び第２入力画像に含まれている人物は同一の人物ではない。従って、第３パターンにおいては、第１及び第２入力画像に対して全選択が成される。
【００７８】
また、第６パターンでは、第１及び第２入力画像に対して、第２及び第３類似性は高いと判断されているものの第１及び第４類似性は低いと判断されている。即ち例えば、第６パターンでは、第１及び第２入力画像に同一の登録人物が含まれているものの、第１及び第２入力画像間において画像特徴の類似性が低く且つ第１及び第２入力画像の撮影時刻差が所定の基準時刻差よりも長い。従って、第６パターンにおいては、第１及び第２入力画像に対して全選択が成される。
【００７９】
第４及び第５パターンでは、第１〜第５類似性の内、第１、第２及び第４類似性のみが選択指標類似性として採用されている。
【００８０】
そして、第４パターンでは、第１及び第２入力画像間における第１、第２及び第４類似性が全て高いと判断されている。即ち例えば、第４パターンでは、第１及び第２入力画像間において画像特徴の類似性が高く、且つ、第１及び第２入力画像に共に人物が含まれており、且つ、第１及び第２入力画像の撮影時刻差が所定の基準時刻差よりも短い。従って、第４パターンにおいては、第１及び第２入力画像に対して１枚選択が成される。
【００８１】
一方、第５パターンでは、第１及び第２入力画像に対して、第１及び第２類似性は高いと判断されているものの、第４類似性は低いと判断されている。即ち例えば、第５パターンでは、第１及び第２入力画像間において画像特徴の類似性が高く、且つ、第１及び第２入力画像に共に人物が含まれているものの、第１及び第２入力画像の撮影時刻差が所定の基準時刻差よりも長い。従って、第５パターンにおいては、第１及び第２入力画像に対して全選択が成される。
【００８２】
第１及び第２入力画像間の第１類似性が高い場合、両画像は似ているため、第１及び第２入力画像に対して１枚選択を実行する余地が生じる。この場合において、第１及び第２入力画像間の第４類似性も高ければ、第１及び第２入力画像は、近接した時刻にて風景や人物を同じような構図で連続的に撮影したものと推定されるため、第１及び第２入力画像の一方をｎ枚の出力画像から除外して第１及び第２入力画像の一方の表示を省略しても問題は少なく、また、その省略によって表示が冗長になることが抑制される。しかしながら、第１及び第２入力画像間の第１類似性が高くても、第１及び第２入力画像が相当程度に離れた時刻で撮影されたものであったならば、第１及び第２入力画像の重要性は同程度であると推定される。例えば、山を登る時に山の風景を第１入力画像として撮影し、山を下る時に同じ場所で再度同一の風景を第２入力画像として撮影することがある。これらの入力画像は、似たような画像であったとしても重要性は高いと考えられる。これを考慮すれば、第４類似性を選択指標類似性に含めた方が望ましい。
【００８３】
［１枚選択について］
第１及び第２入力画像に対して１枚選択を実行する時、第１及び第２入力画像の内、どちらを出力画像として選択するかを、様々な補助指標に基づいて定めることができる。単純には例えば、第１及び第２入力画像に対して１枚選択を実行する際、タイムスタンプ情報に基づき、撮影時刻が遅い方を出力画像として選択するようにしても良いし、撮影時刻が早い方を出力画像として選択するようにしても良い。
【００８４】
また例えば、その１枚選択を、第１及び第２入力画像のぶれ量に基づいて行うこともできる。即ち、第１及び第２入力画像に対して１枚選択を実行する際、第１及び第２入力画像のぶれ量を検出し、ぶれ量の小さい方の入力画像を出力画像として選択するようにしても良い。画像選択部３１又は画像解析部１４にて、各入力画像のぶれ量を検出することができる。入力画像のぶれ量とは、入力画像のぶれの大きさを表す量であり、入力画像のぶれは、入力画像の露光期間中に撮像装置１の筐体に作用した手ぶれによって生じる、或いは、入力画像の露光期間中に被写体が実空間上で動くことによって生じる。
【００８５】
例えば、画像にぶれが含まれると画像内の高域周波数成分が減衰するという特性を利用してぶれ量を検出することができる。つまり、入力画像における所定の高域周波数成分を抽出し、抽出した高域周波数成分の量に基づいてぶれ量を検出することができる。高域周波数成分の量は、高域周波数成分の強度とも換言される。
【００８６】
より具体的には例えば、注目入力画像内の各画素に対してＨＰＦ（ハイパスフィルタ）による空間フィルタリングを実行することで、注目入力画像の輝度信号中における所定の高域周波数成分を抽出する。ＨＰＦとは、例えば、ラプラシアンフィルタである。その後、ＨＰＦによって抽出された高域周波数成分の大きさ（即ち、ＨＰＦの出力値の絶対値）を積算し、積算値をぶれ量評価値として求める。注目入力画像に対するぶれ量評価値は、その注目入力画像におけるぶれ量が小さくなるに従って増大する。従って、第１選択が成されるべき第１及び第２の入力画像の夫々を注目入力画像として捉えることにより第１及び第２の入力画像のぶれ量評価値を求め、第１及び第２の入力画像の内、ぶれ量評価値が大きい方の入力画像を出力画像として選択することができる。高域周波数成分の抽出によってぶれ量の検出を行う方法を例示したが、公知のぶれ量検出方法を含む他の任意の方法を用いてぶれ量の検出を行っても構わない。
【００８７】
また、第１及び第２の入力画像に人物が含まれている場合においては、人物の眼の開閉状態を検出する瞬き検出処理や入力画像内の人物の顔の表情を検出する表情検出処理を利用して、１枚選択を行うようにしてもよい。瞬き検出処理及び表情検出処理を、画像選択部３１又は画像解析部１４にて実行させることができる。
【００８８】
瞬き検出処理では、注目入力画像の画像データに基づき、注目入力画像の顔領域内から眼が存在する眼領域を抽出し、その眼領域内の眼の開閉状態を検出する。例えば、標準的な瞳孔を表す画像をテンプレートとして用いたテンプレートマッチングを行うことで眼領域内における瞳孔の有無を検出し、その有無検出結果から眼が開いているか否かを検出することができる。そして例えば、第１及び第２の入力画像に対して１枚選択を行う際において、第１の入力画像内の人物の眼が開いていると判断され且つ第２の入力画像内の人物の眼が閉じている判断された場合には、第１の入力画像を出力画像として選択すると良い。
【００８９】
表情検出処理は、例えば、注目入力画像の画像データに基づき、注目入力画像内の人物の顔が笑っているか否かを検出する笑顔検出処理である。笑顔検出処理の方法として、公知の方法を含む任意の方法を利用可能である。そして例えば、第１及び第２の入力画像に対して１枚選択を行う際において、第１の入力画像内の人物の顔が笑っていると判断され且つ第２の入力画像内の人物の顔が笑っていないと判断された場合には、第１の入力画像を出力画像として選択すると良い。
【００９０】
［具体的な表示方法］
図１１に示される１２枚の入力画像３０１〜３１２が記録媒体１７に記録されており、入力画像３０１〜３１２の画像データ及び入力画像３０１〜３１２についての付加データが画像選択部３１に与えられたことを想定して、スライドショーモード及びサムネイル表示モードにおける表示について説明する。
【００９１】
入力画像３０１〜３１２の内、入力画像３０１の撮影時刻が最も早く、入力画像３０１、３０２、３０３、３０４、３０５、３０６、３０７、３０８、３０９、３１０、３１１及び３１２の順番で撮影が行われたものとする。また、顔認識処理によって識別可能な複数の登録人物の中に互いに異なる第１及び第２の登録人物が含まれており、入力画像３０１、３０２、３０８、３０９及び３１２に第１の登録人物が含まれていると共に入力画像３０４に第２の登録人物が含まれているものとする。
【００９２】
第１〜第４類似性を選択指標類似性として採用した上で入力画像３０１〜３１２に対して出力画像の選択処理を実行すると、以下のようになる。
【００９３】
入力画像３０１〜３０４は互いに近接した時刻に同じ景色を撮影したものであるが、入力画像３０１及び３０２には第１の登録人物が含まれ、且つ、入力画像３０４には第２の登録人物が含まれ、且つ、入力画像３０３には人物が含まれていない。この結果、入力画像３０１及び３０２に対して１枚選択が成され、入力画像３０１及び３０２の内の一方がｎ枚の出力画像から除外される。
【００９４】
入力画像３０５及び３０６は互いに近接した時刻に同じ景色を撮影したものであり、入力画像３０５及び３０６には人物が含まれていない。この結果、入力画像３０５及び３０６に対して１枚選択が成され、入力画像３０５及び３０６の内の一方がｎ枚の出力画像から除外される。
【００９５】
入力画像３０７及び３０９は互いに近接した時刻に同じ景色を撮影したものであるが、入力画像３０７には人物が含まれていない一方で入力画像３０９には第１の登録人物が含まれている。従って、入力画像３０７及び３０９に対して全選択が成される。入力画像３０８及び３０９は、互いに近接した時刻に撮影された、第１の登録人物を含む画像であるが、両画像間で景色（背景）が相当に相違していることに起因して両画像間の第１類似性は低い。従って、入力画像３０８及び３０９に対して全選択が成される。
【００９６】
入力画像３１０及び３１１は互いに近接した時刻に同じ花を略同じ構図で撮影したものである。この結果、入力画像３１０及び３１１に対して１枚選択が成され、入力画像３１０及び３１１の内の一方がｎ枚の出力画像から除外される。
【００９７】
入力画像３１２は、入力画像３０１及び３０２と略同じ構図で撮影された画像であり、入力画像３０１及び３０２と同様、入力画像３１２には第１の登録人物が含まれている。しかしながら、入力画像３０１及び３０２の撮影時刻と入力画像３１２の撮影時刻との差が上記の基準時刻差よりも大きいため、入力画像３１２はｎ枚の出力画像に含められる。
【００９８】
上述の処理の結果、入力画像３０１〜３１２の中から、入力画像３０１、３０３、３０４、３０５、３０７、３０８、３０９、３１０及び３１２がｎ枚の出力画像として選択され、入力画像３０２、３０６及び３１１がｎ枚の出力画像から除外されたことを想定する（この場合、ｎ＝９）。
【００９９】
そうすると、再生対象選択機能が有効となっている状態において、入力画像３０１〜３１２に対してスライドショーモードの動作を実行すると、図１２に示す如く、入力画像３０１、３０３、３０４、３０５、３０７、３０８、３０９、３１０及び３１２が一定時間間隔にて順次表示され、入力画像３０２、３０６及び３１１の表示は行われない。尚、再生対象選択機能が無効となっている状態において、入力画像３０１〜３１２に対してスライドショーモードの動作を実行すると、図１３に示す如く、計１２枚の入力画像３０１〜３１２が一定間隔にて順次表示されることとなる。再生対象選択機能が無効となっている状態では、一連のスライドショーの中で似たような画像（例えば、画像３０１と画像３０２）が重複して表示されて、表示内容が冗長になることがある。
【０１００】
また、再生対象選択機能が有効となっている状態において、入力画像３０１〜３１２に対してサムネイル表示モードの動作を実行すると、図１４に示す如く、入力画像３０１、３０３、３０４、３０５、３０７、３０８、３０９、３１０及び３１２のサムネイルを分割表示領域ＤＳ1〜ＤＳ9（図７参照）に配置した１枚の表示画像４０１が表示され、入力画像３０２、３０６及び３１１のサムネイルの表示は行われない。尚、再生対象選択機能が無効となっている状態において、入力画像３０１〜３１２に対してサムネイル表示モードの動作を実行すると、図１５（ａ）に示す如く、入力画像３０１〜３０９のサムネイルを分割表示領域ＤＳ1〜ＤＳ9に配置した１枚の表示画像４０２が表示され、この表示がなされている時に所定の操作を施すと、図１５（ｂ）に示す如く、入力画像３１０〜３１２のサムネイルを分割表示領域ＤＳ1〜ＤＳ3に配置した１枚の表示画像４０３が表示される。再生対象選択機能が無効となっている状態では、似たような画像（例えば、画像３０１と画像３０２）が重複してサムネイル表示され、表示内容が冗長になることある。
【０１０１】
図１６に、撮影モードにおける撮像装置１の動作フローチャートを示す。撮影モードでは、撮影によって入力画像の画像データが得られ、得られた画像データに基づいて画像解析が行われる。そして、画像解析の結果等から付加データが作成され、その付加データと入力画像の画像データを格納した画像ファイルが記録媒体１７に記録される。このような撮影から記録までの処理が、シャッタボタン２０ａの押下による静止画像の撮影指示の度に実行される。
【０１０２】
図１７に、再生モードにおける撮像装置１の動作フローチャートを示す。撮影モードでは、記録媒体１７からｍ枚の入力画像の画像データと該ｍ枚の入力画像の付加データが読み出され、付加データに基づく類似性評価が行われる。類似性評価の結果に基づき、ｍ枚の入力画像からｎ枚の出力画像が選択される。一方で、再生モードの種類に基づき表示画面１９ａのレイアウトが作成され、作成されたレイアウトに沿って各出力画像の表示がなされる。
【０１０３】
第１実施形態によれば、実際に表示する画像と似通っている画像や重要性の低い画像の表示が割愛され、表示が冗長になることが抑制されると共に再生に必要な時間も低減される。
【０１０４】
尚、スライドショーモードにおいて、出力画像が１枚ずつ表示画面１９ａに順次表示されると述べたが、出力画像をｋ枚ずつ表示画面１９ａに順次表示するようにしても良い（ここで、ｋは２以上の整数であって、ｎ≧ｋである）。まとめると、出力画像はｑ枚ずつ表示画面１９ａに順次表示される（ｑは１以上の整数であって、ｎ＞ｑである）。例えば、以下のような表示を行っても良い。入力画像３０１、３０３、３０４、３０５、３０７、３０８、３０９、３１０及び３１２が９枚の出力画像として選択され且つｋ＝２である場合、第１タイミングにおいて入力画像３０１及び３０３を表示画面１９ａ上で横又は縦に並べて同時に表示し、第２タイミングにおいて入力画像３０４及び３０５を表示画面１９ａ上で横又は縦に並べて同時に表示し、第３タイミングにおいて入力画像３０７及び３０８を表示画面１９ａ上で横又は縦に並べて同時に表示し、第４タイミングにおいて入力画像３０９及び３１０を表示画面１９ａ上で横又は縦に並べて同時に表示し、第５タイミングにおいて入力画像３１１のみを表示画面１９ａ上に表示する。ここで、第（ｉ＋１）タイミングは第ｉタイミングの後に訪れるタイミングである（ｉは整数）。
【０１０５】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態及び後述の他の実施形態は、第１実施形態の一部を変形したものであり、第２実施形態及び後述の他の実施形態において特に述べない事項に関しては、矛盾なき限り、第１実施形態にて述べた事項が第２実施形態及び後述の他の実施形態にも適用される。第２実施形態では、サムネイル表示モードにおける変形表示方法を説明する。
【０１０６】
図８の画像選択部３１に与えられるｍ枚の入力画像の内、ｎ枚の出力画像に含められなかった入力画像を非選択画像と呼ぶ。非選択画像という名称に対応して、ｎ枚の出力画像に含められた入力画像を選択画像とも呼ぶ。
【０１０７】
第２実施形態では、サムネイル表示モードにおいて、非選択画像のサムネイルの一部を選択画像のサムネイルと同時に表示する。この際、図１８に示す如く、表示画面１９ａ上において、非選択画像のサムネイルの位置を当該非選択画像に対応する選択画像のサムネイルの位置からずらし、それらのサムネイルが一部において重なり合うように、非選択画像のサムネイルを当該非選択画像に対応する選択画像のサムネイルの下に配置する。従って、非選択画像のサムネイルの内、選択画像のサムネイルの下に配置されている画像部分については表示されない。
【０１０８】
第１及び第２の入力画像に対して全ての選択指標類似性が高いと判断されて、第１及び第２の入力画像に対して１枚選択がなされる場合、第１及び第２の入力画像の内の一方が選択画像として設定されると共に、他方が該選択画像に対応する非選択画像として設定される。
【０１０９】
従って、第１実施形態で述べた例のように（図１１参照）、入力画像３０１及び３０２に対して１枚選択がなされ、入力画像３０５及び３０６に対して１枚選択がなされ、入力画像３１０及び３１１に対して１枚選択がなされることにより、入力画像３０１〜３１２の中から、入力画像３０１、３０３、３０４、３０５、３０７、３０８、３０９、３１０及び３１２がｎ枚の出力画像として選択された場合においては、図１９に示すような表示画像４２０がサムネイル表示モードにて表示される。
【０１１０】
表示画像４２０では、入力画像３０１、３０３、３０４、３０５、３０７、３０８、３０９、３１０及び３１２のサムネイルが分割表示領域ＤＳ1〜ＤＳ9（図７参照）に配置されており、更に、分割表示領域ＤＳ1に表示された入力画像３０１のサムネイル３０１Sの下に非選択画像である入力画像３０２のサムネイル３０２Sが配置され、且つ、分割表示領域ＤＳ4に表示された入力画像３０５のサムネイル３０５Sの下に非選択画像である入力画像３０６のサムネイル３０６Sが配置され、且つ、分割表示領域ＤＳ8に表示された入力画像３１０のサムネイル３１０Sの下に非選択画像である入力画像３１１のサムネイル３１１Sが配置される。上述したように、サムネイル３０２S、３０６S及び３１１Sの一部は表示されるが、それらとサムネイル３０１S、３０５S及び３１０Sが重なり合う部分における、サムネイル３０２S、３０６S及び３１１Sの画像は表示されない。
【０１１１】
図１９の表示画像４２０が表示されている状態において、例えば、操作部２０を介して分割表示領域ＤＳ1がユーザにより選択された時、サムネイル３０１Sに代えてサムネイル３０２Sを分割表示領域ＤＳ1に表示するようにしても良い。（分割表示領域ＤＳ4及びＤＳ8についても同様）。尚、表示画像４２０の例では、入力画像３０１に対応付けられた非選択画像の枚数が１枚となっているが、その枚数が２枚以上である場合においては、入力画像３０１に対応付けられた各非選択画像のサムネイルがサムネイル３０１Sの下に表示される（入力画像３０５及び３１０についても同様）。
【０１１２】
また、図１９の表示画像４２０の代わりに、図２０の表示画像４３０を表示するようにしてもよい。表示画像４３０は、図１４の表示画像４０１に、マーク４３１〜４３３を重畳したものである。マーク４３１〜４３３の夫々が視認可能となるように、マーク４３１、４３２及４３３は、夫々、サムネイル３０１S、３０５S及び３１０Sの上に描かれる。マーク４３１、４３２及４３３は、夫々、入力画像３０１、３０５及び３１０に対応する非選択画像が存在することをユーザに報知するための指標である。マーク４３１、４３２及４３３を表示する以外の方法によって、この報知を実現していも良い。例えば、サムネイル３０１S、３０５S及び３１０Sの外周枠の表示色を他のサムネイルのそれと異ならせることによって、その報知を実現しても良い。
【０１１３】
第２実施形態によっても、第１実施形態と同様の効果を得ることができる。更に、サムネイル表示モードにおいて非選択画像のサムネイルの一部を選択画像に対応付けて表示することにより、或いは、図２０に示されるようなマーク等の表示を行うことにより、ユーザは非選択画像の存在を一目で知ることができる。
【０１１４】
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。第３実施形態では、再生モードの一種である、類似軸再生モードの動作を説明する。サムネイル表示モードにおいて表示されている何れかのサムネイルをユーザが指定することにより、指定されたサムネイルに対応する入力画像が基準画像として設定され、その基準画像に対して、類似軸再生モードの表示動作が成される。
【０１１５】
例えば、今、ユーザが入力画像３０１のサムネイル３０１Sを指定することで入力画像３０１が基準画像に設定された場合を考える（図１９等参照）。この場合、サムネイル３０１Sの指定後、図２１に示されるような表示画像４５０が表示される。
【０１１６】
表示画像４５０において、分割表示領域ＤＳ5に基準画像である入力画像３０１のサムネイル３０１Sが表示される。表示画像４５０において、分割表示領域ＤＳ5の上方、左側、下方及び右側に隣接する分割表示領域ＤＳ4、ＤＳ2、ＤＳ6及びＤＳ8には、夫々、基準画像との間で第３、第１、第４及び第５類似性の高い入力画像のサムネイルが表示される（図９参照）。基準画像及び基準画像と異なる入力画像間における類似性の評価は、ｍ枚の入力画像からｎ枚の出力画像を選択する過程において既に成されている。
【０１１７】
第１実施形態にて述べた例と一部説明が重複するが（図９及び１１参照）、
入力画像３０１との間で第３類似性が高い入力画像は、入力画像３０２、３０８、３０９及び３１２であり、
入力画像３０１との間で第１類似性が高い入力画像は、入力画像３０２、３０３、３０４及び３１２であり、
入力画像３０１との間で第４類似性が高い入力画像は、入力画像３０２、３０３及び３０４であり、
入力画像３０１との間で第５類似性が高い入力画像は、入力画像３０２、３０３、３０４、３０５、３０６及び３１２であるとする。
【０１１８】
そうすると、表示画像４５０が表示されている時において、
分割表示領域ＤＳ4には入力画像３０２、３０８、３０９及び３１２の何れかのサムネイルが表示され、
分割表示領域ＤＳ2には入力画像３０２、３０３、３０４及び３１２の何れかのサムネイルが表示され、
分割表示領域ＤＳ6には入力画像３０２、３０３及び３０４の何れかのサムネイルが表示され、
分割表示領域ＤＳ8には入力画像３０２、３０３、３０４、３０５、３０６及び３１２の何れかのサムネイルが表示される。
【０１１９】
入力画像３０２、３０３、３０４及び３１２の各サムネイルは、表示画像４５０の分割表示領域ＤＳ2に表示されるべきサムネイルの候補である。表示画像４５０の分割表示領域ＤＳ2に表示されるべきサムネイルの候補が複数存在する時、候補となっているサムネイルに対応する入力画像を候補入力画像として捉え、基準画像及び候補入力画像間における第１類似性の高さに基づいて各候補入力画像に優先順位付けを行い、最も優先順位の高い候補入力画像のサムネイルを表示画像４５０の分割表示領域ＤＳ2に表示するようにする。候補入力画像ごとに、基準画像の特徴ベクトルと候補入力画像の特徴ベクトルとの間における上記距離（ユークリッド距離）を求め、その距離が短い候補入力画像に対して、より高い優先順位を付けると良い。最も優先順位の高い候補入力画像のサムネイルが分割表示領域ＤＳ2に表示されている時において、ユーザが所定の左方向選択操作を施すと（例えば、操作部２０の十字キーにおける左方向キーを押下すると）、分割表示領域ＤＳ2に表示されるサムネイルが、２番目、３番目、・・・に優先順位の高い候補入力画像のサムネイルに切り替わる。
【０１２０】
同様に、表示画像４５０の分割表示領域ＤＳ6に表示されるべきサムネイルの候補が複数存在する時、候補となっているサムネイルに対応する入力画像を候補入力画像として捉え、基準画像及び候補入力画像間における第４類似性の高さに基づいて各候補入力画像に優先順位付けを行い、最も優先順位の高い候補入力画像のサムネイルを表示画像４５０の分割表示領域ＤＳ6に表示するようにする。候補入力画像ごとに、基準画像及び候補入力画像間の撮影時刻差を求め、その撮影時刻差が小さい候補入力画像に対して、より高い優先順位を付けると良い。最も優先順位の高い候補入力画像のサムネイルが分割表示領域ＤＳ6に表示されている時において、ユーザが所定の下方向選択操作を施すと（例えば、操作部２０の十字キーにおける下方向キーを押下すると）、分割表示領域ＤＳ6に表示されるサムネイルが、２番目、３番目、・・・に優先順位の高い候補入力画像のサムネイルに切り替わる。
【０１２１】
同様に、表示画像４５０の分割表示領域ＤＳ8に表示されるべきサムネイルの候補が複数存在する時、候補となっているサムネイルに対応する入力画像を候補入力画像として捉え、基準画像及び候補入力画像間における第５類似性の高さに基づいて各候補入力画像に優先順位付けを行い、最も優先順位の高い候補入力画像のサムネイルを表示画像４５０の分割表示領域ＤＳ8に表示するようにする。候補入力画像ごとに、基準画像及び候補入力画像間の撮影地点差を求め、その撮影地点差が小さい候補入力画像に対して、より高い優先順位を付けると良い。最も優先順位の高い候補入力画像のサムネイルが分割表示領域ＤＳ8に表示されている時において、ユーザが所定の右方向選択操作を施すと（例えば、操作部２０の十字キーにおける右方向キーを押下すると）、分割表示領域ＤＳ8に表示されるサムネイルが、２番目、３番目、・・・に優先順位の高い候補入力画像のサムネイルに切り替わる。
【０１２２】
表示画像４５０の分割表示領域ＤＳ4に表示されるべきサムネイルの候補が複数存在する時には、その候補の中から任意に選んだサムネイルを分割表示領域ＤＳ4に表示することができる。即ち、上述の例では、入力画像３０２、３０８、３０９及び３１２のサムネイルの中の任意のサムネイルを分割表示領域ＤＳ4に表示することができる。基準画像との関係における第３類似性の高さは、入力画像３０２、３０８、３０９及び３１２間で同じだからである（図９及び図１１参照）。入力画像３０２、３０８、３０９及び３１２の夫々を候補入力画像と捉え、基準画像及び候補入力画像間の撮影時刻差が最も小さい候補入力画像のサムネイルを表示画像４５０の分割表示領域ＤＳ4に表示するようにしても良いし、ユーザによる所定の上方向選択操作に従って分割表示領域ＤＳ4に表示されるサムネイルを、入力画像３０２、３０８、３０９及び３１２のサムネイル間で切り替えるようにしても良い。
【０１２３】
尚、基準画像との間で第３類似性が高い入力画像が複数存在する場合には、図１８に示した方法に従って、その複数の入力画像のサムネイルを重ね合わせて分割表示領域ＤＳ4に表示するようにしても良い。第１、第４及び第５類似性に対応する分割表示領域ＤＳ2、ＤＳ6及びＤＳ8についても同様にすることができる。但し、分割表示領域ＤＳ2において、複数のサムネイルを重ね合わせて表示する際、基準画像との間で第１類似性が高い入力画像についてのサムネイルほど上方に配置すると良い（分割表示領域ＤＳ6及びＤＳ8についても同様）。
【０１２４】
上述のような再生動作により、基準画像との関連性が高いと考えられる入力画像が一覧表示され、ユーザの便宜が図られる。
【０１２５】
＜＜第４実施形態＞＞
本発明の第４実施形態を説明する。第１〜第３実施形態では、画像選択部３１によって選択されたｎ枚の出力画像の再生媒体が表示画面１９ａであるが、その再生媒体は、表示画面１９ａでなくとも良く、例えば、紙であっても良い。再生媒体が紙である場合、撮像装置１は図示されないプリンタに接続され、レイアウト作成部３２からの再生用信号が該プリンタに送られることで所望の印刷が成される。
【０１２６】
画像を再生媒体としての紙に出力するモード、即ち、紙に画像を印刷するモードを、印刷モードと呼ぶ。印刷モードは、再生モードの一種である。第４実施形態では、以下、印刷モードにおける撮像装置１の動作を説明する。
【０１２７】
再生対象選択機能を有効にした状態でユーザが記録媒体１７に記録されたｍ枚の入力画像を再生対象（換言すれば印刷対象）として指定すると、画像選択部３１は該ｍ枚の入力画像の内のｎ枚をｎ枚の出力画像を選択する。この選択後、レイアウト作成部３２は、印刷レイアウトを作成すると共に、作成した印刷レイアウトに沿って該ｎ枚の出力画像を紙に印刷させるための再生用信号を上記プリンタに対して出力する。出力画像の選択方法は、第１実施形態で述べた通りである。
【０１２８】
印刷レイアウトは、ユーザの指定に従って決定される。例えば、１枚の紙に１枚の出力画像のみを印刷する第１印刷レイアウト、１枚の紙にｋ枚の出力画像を縦及び／又は横に並べて印刷する第２印刷レイアウト、又は、１枚の紙にｋ枚の出力画像を所定の配列規則に沿って並べて印刷する第３印刷レイアウトをユーザは指定可能である。既に述べたが、ｋは２以上の整数であって、ｎ≧ｋである。
【０１２９】
第１印刷レイアウトが指定されている時、レイアウト作成部３２は、ｎ枚の出力画像がｎ枚の紙を用いて１枚ずつ紙に印刷されるように再生用信号を生成及び出力する。
【０１３０】
第２又は第３印刷レイアウトが指定されている時、レイアウト作成部３２は、出力画像が１枚の紙にｋ枚ずつ印刷されるように再生用信号を生成及び出力する。従って、ｎ枚の出力画像が第１〜第ｎの出力画像から成るとした場合、１枚目の紙には第１〜第ｋの出力画像が印刷され、２枚目の紙には第（ｋ＋１）〜第（２×ｋ）の出力画像が印刷される。３枚目以降の紙についても同様である。勿論、“ｎ≦ｋ”の場合には２枚目以降の紙に対して印刷はなされないし、“ｎ≦（２×ｋ）”の場合には３枚目以降の紙に対して印刷はなされない。また、ｎがｋで割り切れない場合、最後の紙に印刷される出力画像の数はｎをｋで割った時の余りとなる。
【０１３１】
例えば、第１実施形態で述べた例のように、入力画像３０１〜３１２の中から、入力画像３０１、３０３、３０４、３０５、３０７、３０８、３０９、３１０及び３１２がｎ枚の出力画像として選択され、且つ、ｋ＝６である場合を想定する。この想定下において、第２又は第３印刷レイアウトが指定された時、１枚目の紙に第１〜第６の出力画像としての入力画像３０１、３０３、３０４、３０５、３０７及び３０８が印刷され、２枚目の紙に第７〜第９の出力画像としての入力画像３０９、３１０及び３１２が印刷される。
【０１３２】
図２２に、この想定下において、第３印刷レイアウトにて印刷が成された１枚目の紙５０１の印刷状態を示す。紙５０１は、再生対象選択機能が有効となって状態において印刷が成された紙である。紙５０１には、第１〜第６の出力画像としての入力画像３０１、３０３、３０４、３０５、３０７及び３０８が印刷されている（図１１参照）。尚、再生対象選択機能が無効となっている状態において第３印刷レイアウトにて印刷を実行すると、図２３に示すような印刷が１枚目の紙５０２に対して成される。紙５０２には、入力画像３０１〜３０６が印刷されている。再生対象選択機能が無効となっている状態においては、似たような画像が重複して印刷され、印刷内容が冗長となりうる。
【０１３３】
第２印刷レイアウトでは、印刷される紙の紙面上において、異なる出力画像が重なり合わないように複数の出力画像が配列されるが、第３印刷レイアウトでは、図２２及び図２３に示す如く、紙面上において、異なる出力画像が一部において重なり合う場合がある。ユーザは、紙面上における出力画像の配置位置及びサイズを自由に設定することができる。
【０１３４】
第４実施形態によれば、実際に印刷する画像と似通っている画像や重要性の低い画像の印刷が割愛され、印刷内容が冗長になることが抑制される。
【０１３５】
＜＜第５実施形態＞＞
本発明の第５実施形態を説明する。記録媒体１７の記録データに基づく上述の各処理を、撮像装置と異なる電子機器（例えば、画像再生装置；不図示）にて実現することも可能である（撮像装置も電子機器の一種である）。
【０１３６】
例えば、撮像装置１において、撮影によって複数の入力画像を取得し、各入力画像の画像データ並びに上述の付加データを格納した画像ファイルを記録媒体１７に記録しておく。そして、上記電子機器に再生制御部２２を設けておき、記録媒体１７の記録データを電子機器内の再生制御部２２に与えることで、上述の各実施形態にて述べた表示による再生又は印刷による再生を実現できる。尚、上記電子機器内に表示部１９と同様の表示部を設けておくことも可能であるし、必要に応じて上記電子機器内に画像解析部１４と同様の画像解析部を設けるようにしても良い。
【０１３７】
＜＜第６実施形態＞＞
本発明の第６実施形態を説明する。図２４は、第６実施形態の動作に特に関与する部位のブロック図である。画像分類部５１、優先順位設定部５２及びレイアウト作成部（画像出力部）５３は、例えば、図１の再生制御部２２内に設けられる。但し、画像分類部５１及び優先順位設定部５２は、図１の画像解析部１４内に設けられても良い。
【０１３８】
画像分類部５１、優先順位設定部５２及びレイアウト作成部５３は、再生モードにおいて有意に機能する。従って、画像分類部５１、優先順位設定部５２及びレイアウト作成部５３に対する以下の説明は、基本的に再生モードにおけるそれらの説明である。但し、本実施形態では、適宜、撮影モードにおける撮像装置１の動作も説明される。記録媒体１７から読み出された入力画像の画像データ及び付加データが、画像分類部５１、優先順位設定部５２及びレイアウト作成部５３の全部又は一部に供給される。
【０１３９】
画像分類部５１は、第１実施形態の画像選択部３１（図８参照）が実現可能な機能を全て実現できるように構成されている。従って、画像分類部５１は、画像選択部３１と同様、ｍ枚の入力画像の付加データ（図３参照）に基づき、必要ならばｍ枚の入力画像の画像データを更に用いて、ｍ枚の入力画像の内の、任意の異なる入力画像間の類似性を評価することができる。
【０１４０】
上述の第１〜第５実施形態では、主として再生対象選択機能が有効にされているときの動作が説明されているが（図１２等参照）、第６実施形態では、再生対象選択機能が無効にされているものとする。但し、再生対象選択機能を有効としておき、記録媒体１７から読み出したｍ枚の入力画像を図８の画像選択部３１に与えることで画像選択部３１から出力されるｎ枚の出力画像を、新たにｍ枚の入力画像と捉えて優先順位設定部５２及びレイアウト作成部５３（及び画像分類部５１）に与えるようにしても良い。
【０１４１】
画像分類部５１にて評価される類似性には第１〜第５類似性が含まれる（図９参照）。画像分類部５１は、第１〜第５類似性の内、１以上の類似性を選択指標類似性として採用し、選択指標類似性の高低に基づいて、ｍ枚の入力画像を複数のカテゴリに分類する。この分類によって、各入力画像が複数のカテゴリの何れかにクラス分けされる。例えば、第１及び第２類似性のみを選択指標類似性として用いる場合は、第３〜第５類似性の高低を考慮することなく、第１及び第２類似性のみに基づいて上記の分類が成される。選択指標類似性に、第１類似性を少なくとも含めておくことが望ましい。
【０１４２】
第１実施形態で述べたように、注目した複数の入力画像間において全ての選択指標類似性が高いと判断することを、便宜上、類似判断と呼ぶと共に、注目した複数の入力画像間において１以上の選択指標類似性が低いと判断することを、便宜上、非類似判断と呼ぶ。第１及び第２の入力画像に対して類似判断が成された場合、第１及び第２の入力画像は共通のカテゴリに分類され、第１及び第２の入力画像に対して非類似判断が成された場合、第１及び第２の入力画像は互いに異なるカテゴリに分類される。即ち、第１実施形態で述べた方法に従って第１及び第２の入力画像に対し１枚選択又は全選択を成すことを考えた場合（図１０参照）、第１及び第２の入力画像に対して１枚選択が成される状況下においては、第１及び第２の入力画像は共通のカテゴリに分類され、第１及び第２の入力画像に対して全選択が成される状況下においては、第１及び第２の入力画像は互いに異なるカテゴリに分類される。
【０１４３】
画像分類部５１による画像分類の結果は、優先順位設定部５２に伝達される。優先順位設定部５２は、ｍ枚の入力画像の画像データ及びｍ枚の入力画像に対応する付加データに基づきカテゴリ内に属する各入力画像に優先順位を設定する優先順位設定処理を実行する。優先順位設定処理は、カテゴリごとに実行される。但し、或る１つのカテゴリに、１枚の入力画像しか属していない場合には、優先順位付けは不要であり、その１枚の入力画像の優先順位が当然に第１順位となる。最も高い優先順位が第１順位であり、第１、第２、第３、・・・順位の順番で優先順位は低くなるものとする。従って、第ｉ順位の入力画像は第（ｉ＋１）順位の入力画像よりも優先順位が高い（ｉは整数）。優先順位設定部５２にて設定された優先順位を表す情報を優先順位情報と呼ぶ。
【０１４４】
レイアウト作成部５３は、図８のレイアウト作成部３２に類似する機能を有し、再生モードの種類に基づいて（例えば、ユーザによって指定された再生モードがスライドショーモードであるのか或いはサムネイル表示モードであるのかに基づいて）表示画面１９ａ（図６参照）のレイアウトを作成し、作成したレイアウトに沿ってｍ枚の入力画像を表示画面１９ａ上で再生表示させるための再生用信号を表示部１９に対して出力する。この際、レイアウト作成部５３は、優先順位情報に基づいて各入力画像の表示位置や表示順序を決定する。
【０１４５】
今、説明の具体化のため、分類されるべきｍ枚の入力画像に、図２５に示される１２枚の入力画像６０１〜６１２が含まれる場合を考える。また、画像分類部５１によって、入力画像６０１〜６０４がカテゴリＣａｔ［１］に分類され、入力画像６０５及び６０６がカテゴリＣａｔ［２］に分類され、入力画像６０７〜６０９がカテゴリＣａｔ［３］に分類され、入力画像６１０及び６１１がカテゴリＣａｔ［４］に分類され、入力画像６１２がカテゴリＣａｔ［５］に分類されたことを想定する。ｉ及びｊが互いに異なる整数である場合、カテゴリＣａｔ［ｉ］及びＣａｔ［ｊ］は互いに異なるカテゴリである。
【０１４６】
優先順位設定部５２は、カテゴリＣａｔ［１］に属する入力画像６０１〜６０４の優先順位を、入力画像６０１〜６０４の画像データ及び付加データに基づいて設定する。同様に、カテゴリＣａｔ［２］に属する入力画像６０５及び６０６の優先順位を、入力画像６０５及び６０６の画像データ及び付加データに基づいて設定する。カテゴリＣａｔ［３］及びＣａｔ［４］についても同様である。
【０１４７】
今、カテゴリＣａｔ［１］において入力画像６０１〜６０４に夫々第１〜第４順位が割り当てられ、カテゴリＣａｔ［２］において入力画像６０５及び６０６に夫々第１及び第２順位が割り当てられ、カテゴリＣａｔ［３］において入力画像６０７〜６０９に夫々第１〜第３順位が割り当てられ、カテゴリＣａｔ［４］において入力画像６１０及び６１１に夫々第１及び第２順位が割り当てられたものとする。カテゴリＣａｔ［５］には入力画像６１２しか属していないため、入力画像６１２の優先順位は当然に第１順位となる。
【０１４８】
尚、図２６に示す如く、表示画面１９ａに対して上下左右を定義する。表示画面１９ａにおいて、上下方向は表示画面１９ａ及び入力画像の垂直方向に対応し、左右方向は表示画面１９ａ及び入力画像の水平方向に対応する。撮像装置１がユーザの手によって把持される場合、通常、表示画面１９ａの下側の表示領域は表示画面１９ａの上側の表示領域よりも地面側に位置する。
【０１４９】
優先順位設定部５２は、ユーザ（視聴者）にとって、より重要と推測される入力画像（例えばより視聴の希望度合いが高いと推測される入力画像）により高い優先順位が割り当てられるように、各入力画像に優先順位を設定する。優先順位の設定方法の詳細については後述することとし、先に、レイアウト作成部５３を用いた入力画像の表示方法について説明する。再生モードは複数のモードに分類され、その複数のモードには、リスト表示モード、サムネイル表示モード及びスライドショーモードが含まれる。ユーザは、何れのモードで入力画像を表示させるかを操作部２０等を用いて指定することができる。これらのモードにおける表示方法について個別に説明する。
【０１５０】
［リスト表示モード］
リスト表示モードにおける表示方法について説明する。図２７は、リスト表示モードにおける表示画面１９ａの例を示している。リスト表示モードでは、共通のカテゴリに属する入力画像が上下方向に並べて表示され、互いに異なるカテゴリの入力画像は左右方向に並べて表示される。この際、レイアウト作成部５３は、優先順位情報に基づいて優先順位がより高い入力画像がより上方に表示されるように各入力画像の表示位置を決定する。
【０１５１】
従って、入力画像６０１〜６１２をリスト表示モードで表示する際には、図２８に示す如く、表示画面１９ａの全表示領域が、上下方向に平行な４つの境界線を境に５つのカテゴリ表示領域６２１〜６２５に分割され、１つのカテゴリ表示領域に１つのカテゴリが割り当てられる。何れのカテゴリ表示領域に何れのカテゴリを割り当てるかは任意である。ここでは、カテゴリ表示領域６２１〜６２５に、夫々、カテゴリＣａｔ［１］〜Ｃａｔ［５］が割り当てられるものとする。そうすると、カテゴリ表示領域６２１〜６２５に、夫々、カテゴリＣａｔ［１］〜Ｃａｔ［５］に属する入力画像が表示される。
【０１５２】
より具体的には、入力画像６０１〜６０４がカテゴリ表示領域６２１に表示され、入力画像６０５及び６０６がカテゴリ表示領域６２２に表示され、入力画像６０７〜６０９がカテゴリ表示領域６２３に表示され、入力画像６１０及び６１１がカテゴリ表示領域６２４に表示され、入力画像６１２がカテゴリ表示領域６２５に表示される。この際、優先順位情報に従い、カテゴリ表示領域６２１において上から下に向かって入力画像６０１〜６０４が並べられ、カテゴリ表示領域６２２において上から下に向かって入力画像６０５及び６０６が並べられる。カテゴリ表示領域６２３及び６２４についても同様である。カテゴリ表示領域６２５には、カテゴリＣａｔ［５］に属する１枚の入力画像６１２のみが表示される。
【０１５３】
ユーザは、選択操作を成すことで表示画面１９ａに表示された何れかの入力画像を選択することができ、選択操作が成されると、選択された入力画像が表示画面１９ａの全体を使って拡大表示される（後述のサムネイル表示モードにおいても同様）。ユーザは操作部２０等を用いて選択操作を成すことができる。
【０１５４】
１つのカテゴリ表示領域に表示できる入力画像の上限枚数は定まっている。この上限枚数は任意に設定可能であるが、今、この上限枚数は４であるとする。そうすると、図２７に示す如く、入力画像６０１〜６１２が同時に且つ互いに異なる入力画像同士が重なり合うことなく表示画面１９ａ上に表示される。仮に、ｍ枚の入力画像の中に入力画像６０１〜６１２に加えて入力画像６１３及び６１４が含まれており且つ入力画像６１３及び６１４がカテゴリＣａｔ［１］に属しており且つ入力画像６１３及び６１４の優先順位が第５及び第６順位であるならば、まず優先順位が第１〜第４順位の入力画像である入力画像６０１〜６１２のみが表示され（即ち、まず、表示画面１９ａは図２７に示すようになり）、その状態において所定のスクロール操作が操作部２０等に対して成された場合に、図２９に示す如く入力画像６１３及び６１４が表示される（結果、この場合においては、ｍ枚の入力画像が複数回に分けて表示されることになる）。この際、入力画像６１３及び６１４と共に、優先順位が第５順位よりも高い入力画像（６０３等）が表示されても良い。図２９は、このスクロール操作後の表示画面１９ａの例を表している。
【０１５５】
或いは、図３０に示す如く、スクロール操作の有無に関係なく、図３０に示すような表示画面１９ａを構成しても良い。図３０に示す表示画面１９ａでは、入力画像６１３及び６１４の一部が入力画像６０４の下に配置された状態で、入力画像６１３及び６１４が入力画像６０１〜６１２と同時に表示されている。図３０の表示画面１９ａにおいては、入力画像６１３及び６１４の内、入力画像６０４の下に配置されている画像部分はユーザに見えない。この状態において、ユーザが入力画像６１３又は６１４を選択する所定操作を操作部２０等に行った場合にのみ、入力画像６１３又は６１４の全体が表示画面１９ａに表示されるようになる。図３０において、入力画像６１３及び６１４を入力画像６０４の下に配置した状態で表示する代わりに、入力画像６１３及び６１４の画像データに基づかない単なる四角枠等を入力画像６０４に並べて表示するようにしても良い。これによっても、ユーザは、入力画像６１３及び６１４の存在を知ることができる。
【０１５６】
カテゴリ表示領域の個数が５つである場合を例示したが、その個数は５に限定されない。リスト表示モードにおいて、共通のカテゴリに属する複数の入力画像の表示方法は様々に変形可能である。例えば、縦長のカテゴリ表示領域を設定し、共通のカテゴリに属する複数の入力画像を優先順位情報に従って上下方向に並べて表示する方法を例示したが、横長のカテゴリ表示領域を設定し、共通のカテゴリに属する複数の入力画像を優先順位情報に従って左右方向に並べて表示するようにしても良い。この場合、表示画面１９ａにおいて優先順位がより高い入力画像がより左側に表示されるように（或いは右側に表示されるように）各入力画像の表示位置が決定される。
【０１５７】
或いは、共通のカテゴリに属する複数の入力画像を優先順位情報に従って放射状に並べて表示するようにしても良い。この場合、表示画面１９ａにおいて優先順位がより高い入力画像がより放射中心の近くに表示されるように各入力画像の表示位置が決定される。放射状に並べて表示する方法は、入力画像を画像空間上の球面６３０（図３１参照）に貼り付けて表示する場合などにも有益である。図３１は、カテゴリＣａｔ［１］〜Ｃａｔ［４］に属する入力画像を球面６３０に貼り付けて表示する場合の表示画面１９ａの例である。図示の煩雑化防止のため、図３１では各入力画像を単なる四角枠にて表現している。表示画面１９ａ上において、球面６３０の中央部分から左方向、下方向、右方向及び上方向に沿って、夫々、カテゴリＣａｔ［１］〜Ｃａｔ［４］に属する入力画像が配列される。この際、優先順位がより高い入力画像がより球面６３０の中央部分の近くに表示されるように各入力画像の表示位置が決定される。表示画面１９ａにタッチパネル機能を設けておくと良い。ユーザは、タッチパネル操作に従って球面６３０を所望の方向に回転させることができ、この回転が成されると、表示画面１９ａ上で視認できる入力画像が変化する。例えば、回転前には図３１に示す如く入力画像６０３を視認できないが、回転後には入力画像６０３が視認できるようになる（その様子の図示は省略）。尚、リスト表示モードにおいて表示画面１９ａに表示される入力画像は、入力画像のサムネイルであっても良い。
【０１５８】
本リスト表示モードによれば、優先順位が高い入力画像から優先的に表示画面１９ａに表示されるため（例えば、優先順位が高い入力画像から優先的に表示画面１９ａの上方より表示されるため）、より重要と推測される入力画像（例えばより視聴の希望度合いが高いと推測される入力画像）を、ユーザは、視聴、発見及び選択等しやすくなる。
【０１５９】
例えば、同じような風景を撮影することで得られた２０枚の対象入力画像がｍ枚の入力画像に含まれていて、２０枚の対象入力画像の内、第１０の対象入力画像が、ユーザにとって最も重要な入力画像（例えば、最もピントが合っている入力画像）である場合を考える。この場合、仮に、２０枚の対象入力画像を含むｍ枚の入力画像（例えば１００枚の入力画像）を単純にファイル番号順に並べて表示したとしたならば、第１０の対象入力画像を視聴や選択等するために、ユーザはスクロール操作等を利用して大量の入力画像の中から第１０の対象入力画像を探し出す必要がある。しかしながら、本リスト表示モードによれば、より重要と推測される第１０の対象入力画像に高い優先順位が与えられて、それが優先的に表示されるため、ユーザは、第１０の対象入力画像を視聴等しやすくなる。
【０１６０】
［サムネイル表示モード］
サムネイル表示モードにおける表示方法について説明する。図３２は、サムネイル表示モードにおける表示画面１９ａの例を示している。サムネイル表示モードでは、まず、優先順位が第１順位の入力画像が各カテゴリから選定され、選定された各入力画像のサムネイルが同時に表示画面１９ａ上に並べて表示される。この表示状態を、便宜上、初期表示状態と呼ぶ。図３２は、初期表示状態における表示画面１９ａの例を示している。
【０１６１】
初期表示状態では、表示画面１９ａの全表示領域ＤＷ内に９つの分割表示領域ＤＳ1〜ＤＳ9が設定され（図７参照）、分割表示領域ＤＳ1、ＤＳ4、ＤＳ7、ＤＳ2及びＤＳ5に、夫々、カテゴリＣａｔ［１］、Ｃａｔ［２］、Ｃａｔ［３］、Ｃａｔ［４］及びＣａｔ［５］に属する第１順位の入力画像のサムネイルが表示される（或いは、分割表示領域ＤＳiにカテゴリＣａｔ［ｉ］に属する第１順位の入力画像のサムネイルを表示するようにしても良い）。即ち、初期表示状態では、分割表示領域ＤＳ1、ＤＳ4、ＤＳ7、ＤＳ2及びＤＳ5に、夫々、入力画像６０１のサムネイル６０１S、入力画像６０５のサムネイル６０５S、入力画像６０７のサムネイル６０７S、入力画像６１０のサムネイル６１０S及び入力画像６１２のサムネイル６１２Sが表示される。尚、図３２の例では、分割表示領域の個数が９になっているが、それの個数は９に限定されない。
【０１６２】
初期表示状態において、第１順位と異なる優先順位を有する入力画像のサムネイルは、全く表示されない或いは一部しか表示されない。図３２の例では、初期表示状態において、第１順位と異なる優先順位を有する入力画像のサムネイルが部分的に表示されている。即ち、入力画像６０２〜６０４のサムネイルの夫々の一部がサムネイル６０１Sの下に配置された状態で表示され、同様に、入力画像６０６のサムネイルの一部がサムネイル６０５Sの下に配置された状態で表示されている。入力画像６０８等のサムネイルについても同様である。図３２の表示画面１９ａにおいて、入力画像６０２〜６０４のサムネイルの内、サムネイル６０１Sの下に配置されている画像部分はユーザに見えない。入力画像６０６等のサムネイルについても同様である。図３２において、入力画像６０２〜６０４のサムネイルをサムネイル６０１Sの下に配置した状態で表示する代わりに、入力画像６０２〜６０４の画像データに基づかない単なる四角枠等をサムネイル６０１Sに並べて表示するようにしても良い。これによっても、ユーザは、入力画像６０２〜６０４の存在を知ることができる（入力画像６０６等についても同様）。
【０１６３】
初期表示状態において、所定操作を操作部２０等に行った場合にのみ、第２順位又は第２順位よりも下の優先順位が設定された入力画像のサムネイルの全体像が表示される。例えば、初期表示状態を起点として、所定操作を１回行うごとに表示画面１９ａに表示される入力画像のサムネイルが、第２順位におけるそれら、第３順位におけるそれら、第４順位におけるそれらへと順次変更されてゆき、最終的には初期表示状態に戻る。このように、サムネイル表示モードでは、ｍ枚の入力画像（実際には、それらのサムネイル）が複数回に分けて表示される。
【０１６４】
本サムネイル表示モードによれば、優先順位が高い入力画像のサムネイルから優先的に表示画面１９ａに表示されるため、より重要と推測される入力画像（例えばより視聴の希望度合いが高いと推測される入力画像）を、ユーザは、視聴、発見及び選択等しやすくなる。
【０１６５】
［スライドショーモード］
スライドショーモードにおける表示方法について説明する。図３３は、スライドショー実行時の表示内容を示す図である。スライドショーモードにおいて、図２４のレイアウト作成部５３（又は図１の再生制御部２２）は、第ｉ順位の入力画像が第（ｉ＋１）順位の入力画像よりも時間的に先に表示されるように、入力画像を１枚ずつ表示画面１９ａに表示させてゆく。これは、カテゴリの共通性を問わず当てはまる。即ち、或るカテゴリに属する第ｉ順位の入力画像は、同一のカテゴリに属する第（ｉ＋１）順位の入力画像及び他のカテゴリに属する第（ｉ＋１）順位の入力画像よりも時間的に先に表示される。
【０１６６】
従って、入力画像６０１〜６１２に対してスライドショーモードの動作を実行すると、図３３に示す如く、入力画像６０１、６０５、６０７、６１０、６１２、６０２、６０６、６０８、６１１、６０３、６０９及び６０４が、この順番で、一定時間間隔にて１枚ずつ順次表示される。入力画像６０４が表示されてから一定時間が経過すると、再度、入力画像６０１から順番に同様の表示が成される。
【０１６７】
また、スライドショーモードにおいて、入力画像が１枚ずつ表示画面１９ａに順次表示されると述べたが、入力画像を複数枚ずつ表示画面１９ａに順次表示するようにしても良い。例えば、以下のような表示を行っても良い。入力画像６０１〜６１２に対してスライドショーモードの動作を実行すると、まず、第１タイミングにおいて第１順位の入力画像である入力画像６０１、６０５、６０７、６１０及び６１２を表示画面１９ａ上で横又は縦に並べて同時に表示し、第２タイミングにおいて第２順位の入力画像である入力画像６０２、６０６、６０８及び６１１を表示画面１９ａ上で横又は縦に並べて同時に表示し、第３タイミングにおいて第３順位の入力画像である入力画像６０３及び６０９を表示画面１９ａ上で横又は縦に並べて同時に表示し、第４タイミングにおいて第４順位の入力画像である入力画像６０４を表示画面１９ａ上に表示する。その後は、第１タイミング以降と同様の表示動作を繰り返す。ここで、第（ｉ＋１）タイミングは第ｉタイミングの後に訪れるタイミングである（ｉは整数）。尚、スライドショーモードにおいて表示画面１９ａに表示される入力画像は、入力画像のサムネイルであっても良い。
【０１６８】
本スライドショーモードによれば、優先順位が高い入力画像から優先的に表示画面１９ａに表示されるため、より重要と推測される入力画像（例えばより視聴の希望度合いが高いと推測される入力画像）を、ユーザは、早期に視聴することが可能となる。
【０１６９】
次に、優先順位設定部５２による優先順位の設定方法例を説明する。説明の便宜上、１つのカテゴリＣａｔ［ｉ］であるカテゴリＣａｔAに注目し、カテゴリＣａｔAに対する優先順位の設定方法を説明する。図３４に示す如く、カテゴリＣａｔAには、ＰA枚の入力画像ＩＭ［１］〜ＩＭ［ＰA］が属しているものとする（ＰAは２以上の整数）。また、入力画像ＩＭ［ｉ＋１］の撮影時刻は入力画像ＩＭ［ｉ］の撮影時刻よりも遅く、優先順位設定部５２は、入力画像ＩＭ［１］〜ＩＭ［ＰA］のタイムスタンプ情報に基づき、入力画像ＩＭ［１］〜ＩＭ［ＰA］の撮影時刻の前後関係を認識しているものとする。優先順位設定部５２にて採用可能な優先順位の設定方法例として、以下に、第１〜第１２優先順位設定方法を個別に例示する。
【０１７０】
図４３に、第１〜第１２優先順位設定方法の概要（優先順位が高められる入力画像の概要）を示す。図４３には、各優先順位設定方法の実現に関与する第１〜第３項目も示されている。第１項目は、画像データと題された項目であり、第２項目は、付加データと題された項目であり、第３項目は、マニュアル調整操作と題された項目である。図４３の表において、第ｉ優先順位設定方法の第１項目に円印が付されている場合、第ｉ優先順位設定方法を入力画像の画像データに基づいて実現できることを表しており、第ｉ優先順位設定方法の第２項目に円印が付されている場合、第ｉ優先順位設定方法を入力画像の付加データ（より詳細には例えば、後述の参照情報Ｊ［ｉ］）に基づいて実現できることを表しており、第ｉ優先順位設定方法の第３項目に円印が付されている場合、第ｉ優先順位設定方法を後述のマニュアル調整操作の有無に基づいて実現できることを表している。但し、図４３は、第１〜第１２優先順位設定方法の内容理解の便宜のために設けられた図であって、各優先順位設定方法の内容は後述されるものに従う。
【０１７１】
尚、矛盾なき限り、複数の優先順位設定方法を組み合わせて優先順位を設定することも可能である。１つの優先順位設定方法にて入力画像ＩＭ［１］〜ＩＭ［ＰA］の優先順位の一部を定め、残りの優先順位を他の優先順位設定方法を用いて定めるようにしても良い。各優先順位設定方法を実現するために必要な処理は優先順位設定部５２内で成されるが、その処理を優先順位設定部５２以外の部位（例えば、図１の画像解析部１４又は主制御部２１）にて行うようにしても良い。
【０１７２】
［第１優先順位設定方法］
第１優先順位設定方法を説明する。第１優先順位設定方法では、画像ぼけがより少ない入力画像に対して、より高い優先順位を設定する。画像ぼけのより少ない入力画像の方がそれが多い入力画像よりも、ユーザにとって重要度が高いと推測されるからである。
【０１７３】
具体的には例えば、以下のような演算を介して優先順位を決定することができる。入力画像ＩＭ［ｉ］を評価対象画像６５０と捉え、図３５に示す如く、評価対象画像６５０内に評価領域６５１を設定する。評価領域６５１は、評価対象画像６５０の全画像領域の一部である。但し、評価対象画像６５０の全画像領域そのものを評価領域６５１として設定するようにしても良い。また、図３５では、評価領域６５１が矩形領域となっているが、評価領域６５１は矩形領域に限定されない。
【０１７４】
優先順位設定部５２又は画像解析部１４に設けられたＡＦ評価値算出部（不図示）は、評価領域６５１内の画像データに基づき、ハイパスフィルタ等を用いて評価領域６５１内の画像のコントラストに応じた値を有するＡＦ評価値を算出する。ＡＦ評価値は、評価領域６５１内の画像のコントラストが増大するに従って増大する。このようなＡＦ評価値の算出を、入力画像ＩＭ［１］〜ＩＭ［ＰA］の夫々に対して実行する。通常、画像上のぼけが少ないほど、その画像のコントラストは増大して、対応するＡＦ評価値も増大する。従って、入力画像ＩＭ［１］〜ＩＭ［ＰA］に対して算出されたＡＦ評価値に基づき、高いＡＦ評価値を有する入力画像ほど、より高い優先順位が与えられるように、各入力画像の優先順位を決定すれば良い。尚、画像ぼけと第１実施形態で述べた画像のぶれは同義であり、例えば、上記のＡＦ評価値は第１実施形態で述べたぶれ量評価値と同等のものである。従って、第１実施形態で述べた方法に従って、各入力画像に対するぶれ量評価値をＡＦ評価値として算出するようにしても良い。
【０１７５】
或いは、露出がより適正な入力画像に対して、より高い優先順位を設定するようにしても良い。露出が適正な入力画像の方が、それが不適正なものよりも、ユーザにとって重要度が高いと推測されるからである。例えば、入力画像ＩＭ［１］〜ＩＭ［ＰA］の夫々について、画像全体の平均輝度を求め、平均輝度が異常に高い又は低い入力画像の優先順位を相対的に低くする。より具体的には例えば、所定の高判定輝度ＹTH1以上の平均輝度を有する入力画像の優先順位を、他の入力画像の優先順位よりも低くする。或いは例えば、所定の低判定輝度ＹTH2以下の平均輝度を有する入力画像の優先順位を、他の入力画像の優先順位よりも低くする。高判定輝度ＹTH1は、平均輝度が異常に高いかを峻別するための閾値であり、低判定輝度ＹTH2は、平均輝度が異常に低いかを峻別するための閾値である。ＹTH1＞ＹTH2である。
【０１７６】
また、所謂白とび又は黒つぶれが生じている画像領域を比較的多く含有する入力画像の優先順位を、そのような画像領域を全く或いは殆ど含まない入力画像の優先順位及びそのような画像領域が比較的少ない入力画像の優先順位よりも低く設定するようにしても良い。或る画像領域内の各画素の輝度信号の値が、輝度信号がとりうる値の上限値又はその近辺に達しているとき、その画像領域には白とびが生じており、或る画像領域内の各画素の輝度信号の値が、輝度信号がとりうる値の下限値又はその近辺に達しているとき、その画像領域には黒つぶれが生じている。
【０１７７】
優先順位を設定するために必要な演算（例えば、ＡＦ評価値の算出用演算）を、各入力画像の画像データに基づき再生モードにおいて実行することができる。
【０１７８】
但し、撮像装置１は、図３６に示す如く、撮影モードにおいて入力画像ＩＭ［ｉ］の画像データを画像ファイルＦＬ［ｉ］に保存する際、画像ファイルＦＬ［ｉ］のヘッダ領域内に参照情報Ｊ［ｉ］を入力画像ＩＭ［ｉ］の付加データの一部として保存しておくことができる（図２及び図３も参照）。入力画像ＩＭ［１］〜ＩＭ［ＰA］の画像ファイルを夫々記号ＦＬ［１］〜ＦＬ［ＰA］にて表し、入力画像ＩＭ［１］〜ＩＭ［ＰA］についての参照情報を夫々記号Ｊ［１］〜Ｊ［ＰA］にて表す。共通の画像ファイル内の本体領域とヘッダ領域は互いに関連付けられた記録領域であるため、当然に、入力画像ＩＭ［ｉ］の画像データと、参照情報Ｊ［ｉ］を含む入力画像ＩＭ［ｉ］の付加データとは、互いに関連付けられている。参照情報Ｊ［ｉ］は、優先順位を設定するために用いることのできる、入力画像ＩＭ［ｉ］の画像データ以外のデータである。
【０１７９】
参照情報Ｊ［１］〜Ｊ［ＰA］が画像ファイルＦＬ［１］〜ＦＬ［ＰA］に保存されている場合、優先順位設定部５２は、画像ファイルＦＬ［１］〜ＦＬ［ＰA］から読み出した参照情報Ｊ［１］〜Ｊ［ＰA］に基づき、入力画像ＩＭ［１］〜ＩＭ［ＰA］の優先順位を決定するようにしても良い。これは、後述の他の優先順位設定方法についても当てはまる。
【０１８０】
第１優先順位設定方法においては、例えば参照情報Ｊ［ｉ］は入力画像ＩＭ［ｉ］のＡＦ評価値であり、画像ファイルＦＬ［１］〜ＦＬ［ＰA］から読み出した参照情報Ｊ［１］〜Ｊ［ＰA］としての入力画像ＩＭ［１］〜ＩＭ［ＰA］のＡＦ評価値に基づき、入力画像ＩＭ［１］〜ＩＭ［ＰA］の優先順位を決定するようにしても良い。
【０１８１】
［第２優先順位設定方法］
第２優先順位設定方法を説明する。第２優先順位設定方法は、更に、方法２A、２B及び２Cに細分化される。
【０１８２】
方法２Aについて説明する。方法２Aでは、まず、各入力画像の合焦位置が導出される。この導出方法の一例を説明するために、今、図３７に示す如く、任意の二次元画像６７０に対して複数の判定画像領域ＡＲ1〜ＡＲ9を設定することを考える。判定画像領域ＡＲ1〜ＡＲ9の夫々は二次元画像６７０の全画像領域の一部であり、判定画像領域ＡＲ1〜ＡＲ9は互いに異なる。ここでは、判定画像領域の個数が９になっているが、その個数は９に限定されない。
【０１８３】
上記のＡＦ評価値算出部（不図示）は、入力画像ＩＭ［ｉ］の判定画像領域ＡＲj内の画像データに基づき、入力画像ＩＭ［ｉ］の判定画像領域ＡＲjのＡＦ評価値を算出する（ｉ及びｊは整数）。この算出は、判定画像領域ごとに行われる。そして、優先順位設定部５２は、入力画像ＩＭ［ｉ］の判定画像領域ＡＲ1〜ＡＲ9に対して求められた計９つのＡＦ評価値の内、最大のＡＦ評価値を特定し、最大のＡＦ評価値に対応する判定画像領域を合焦領域として検出すると共に、入力画像ＩＭ［ｉ］上における合焦領域の位置を合焦位置として検出する。このような合焦位置の検出処理を入力画像ＩＭ［１］〜ＩＭ［ＰA］の夫々に対して実行する。そして、撮影時刻が最も遅い入力画像ＩＭ［ＰA］の合焦位置が、入力画像ＩＭ［１］〜ＩＭ［ＰA−１］の合焦位置と異なる場合、入力画像ＩＭ［ＰA］に対して第１順位の優先順位を設定する。この場合、入力画像ＩＭ［１］〜ＩＭ［ＰA−１］の優先順位は、第２優先順位設定方法以外の優先順位設定方法にて決定することができる。
【０１８４】
ＰA＝３と仮定した上で、図３８を参照して方法２Aの有益性について説明する。図３８には、入力画像ＩＭ［１］〜ＩＭ［３］の例が示されており、入力画像ＩＭ［１］〜ＩＭ［３］の夫々において、破線枠内が合焦領域であるとする。撮影者としてのユーザは、人物に注目して入力画像の撮影をしようとしたにも関わらず、１枚目及び２枚目の入力画像ＩＭ［１］及びＩＭ［２］の撮影時には、人物の前方側に位置する物体にピントが合うようにオートフォーカス制御（以下、ＡＦ制御という）が成された結果、入力画像ＩＭ［１］及びＩＭ［２］における合焦領域には人物が存在していない。その後、ユーザは、構図の変更等を行い、この結果、３枚目の入力画像ＩＭ［３］の撮影時には、人物にピントが合うようにＡＦ制御が成されて入力画像ＩＭ［３］における合焦領域に人物が存在するようになる。このような状況を考えた場合、入力画像ＩＭ［３］の合焦位置は、入力画像ＩＭ［１］及びＩＭ［２］のそれらと異なることが多い。つまり、入力画像ＩＭ［３］の合焦位置が入力画像ＩＭ［１］及びＩＭ［２］のそれらと異なる場合、入力画像ＩＭ［１］及びＩＭ［２］はピント合わせに失敗した撮影画像であって且つ入力画像ＩＭ［３］はピント合わせに成功した撮影画像である可能性が高いと言える。このことから、方法２Aの有益性が理解される。即ち、方法２Aによれば、ピント合わせに成功していると推測される入力画像（即ち、ユーザにとって重要度の高い入力画像）の優先順位を高く設定することが可能となる。
【０１８５】
入力画像ＩＭ［ｉ］の判定画像領域ＡＲ1〜ＡＲ9に対して求められたＡＦ評価値、又は、入力画像ＩＭ［ｉ］の合焦領域若しくは合焦位置を、撮影モードにおいて、参照情報Ｊ［ｉ］の一部として画像ファイルＦＬ［ｉ］に保存しておき、各入力画像の参照情報を用いて方法２Aを実行しても良い。
【０１８６】
方法２Bについて説明する。方法２Bでは、入力画像ＩＭ［１］〜ＩＭ［ＰA］の画像データに基づき入力画像ＩＭ［１］〜ＩＭ［ＰA］の夫々について画像全体の平均輝度を求める。そして、入力画像ＩＭ［１］〜ＩＭ［ＰA−１］について求めた平均輝度ＹAVE［１］〜ＹAVE［ＰA−１］と入力画像ＩＭ［ＰA］について求めた平均輝度ＹAVE［ＰA］とが相当に異なる場合、入力画像ＩＭ［ＰA］に対して第１順位の優先順位を設定する。この場合、入力画像ＩＭ［１］〜ＩＭ［ＰA−１］の優先順位は、第２優先順位設定方法以外の優先順位設定方法にて決定することができる。
【０１８７】
より具体的には例えば、平均輝度ＹAVE［１］〜ＹAVE［ＰA−１］の平均値ＹＹを求め、平均値ＹＹと平均輝度ＹAVE［ＰA］との差が所定値以上である場合、入力画像ＩＭ［ＰA］に対して第１順位の優先順位を設定する。或いは例えば、平均輝度ＹAVE［１］〜ＹAVE［ＰA−１］の分散が所定の基準分散よりも小さく（即ち平均輝度ＹAVE［１］〜ＹAVE［ＰA−１］が同程度であって）且つ平均値ＹＹと平均輝度ＹAVE［ＰA］との差が所定値以上である場合に、入力画像ＩＭ［ＰA］に対して第１順位の優先順位を設定するようにしてもよい。
【０１８８】
方法２Bの有益性は方法２Aの有益性と類似している。入力画像ＩＭ［ＰA］の平均輝度が入力画像ＩＭ［１］〜ＩＭ［ＰA−１］のそれらと大きく異なる場合、入力画像ＩＭ［１］〜ＩＭ［ＰA−１］は露出調整に失敗した撮影画像であって且つ入力画像ＩＭ［ＰA］は露出調整に成功した撮影画像である可能性が高いと言える（撮影者としてユーザが、露出調整に成功した撮影画像が得られるまで、同様の構図で入力画像の撮影を繰り返したと推測される）。方法２Bでは、このような場合に、入力画像ＩＭ［ＰA］の優先順位を高く設定する。即ち、方法２Bによれば、露出調整に成功していると推測される入力画像（即ち、ユーザにとって重要度の高い入力画像）の優先順位を高く設定することが可能となる。
【０１８９】
入力画像ＩＭ［ｉ］の平均輝度ＹAVE［ｉ］を、撮影モードにおいて参照情報Ｊ［ｉ］の一部として画像ファイルＦＬ［ｉ］に保存しておき、各入力画像の参照情報を用いて方法２Bを実行しても良い。
【０１９０】
方法２Cについて説明する。方法２Cでは、入力画像ＩＭ［ＰA］のホワイトバランスが入力画像ＩＭ［１］〜ＩＭ［ＰA−１］のそれらと大きく異なる場合に、入力画像ＩＭ［ＰA］に対して第１順位の優先順位を設定する。
【０１９１】
具体的には例えば以下のような処理が実行可能である。入力画像ＩＭ［ｉ］について、画像全体のＲ信号の平均値ＲAVE［ｉ］、画像全体のＧ信号の平均値ＧAVE［ｉ］及び画像全体のＢ信号の平均値ＢAVE［ｉ］を算出する。この算出動作を、入力画像ＩＭ［１］〜ＩＭ［ＰA］の夫々に対して実行する。更に、ＲAVE［１］〜ＲAVE［ＰA−１］の平均値ＲＲ、ＧAVE［１］〜ＧAVE［ＰA−１］の平均値ＧＧ、及び、ＢAVE［１］〜ＢAVE［ＰA−１］の平均値ＢＢを求める。
【０１９２】
そして例えば、平均値ＲＲとＲAVE［ＰA］との差が所定値以上であるという条件ＣRRと、平均値ＧＧとＧAVE［ＰA］との差が所定値以上であるという条件ＣGGと、平均値ＢＢとＢAVE［ＰA］との差が所定値以上であるという条件ＣBBの成否を判定する。更に、ＲAVE［１］〜ＲAVE［ＰA−１］の分散が所定の基準分散よりも小さいという条件Ｒσと、ＧAVE［１］〜ＧAVE［ＰA−１］の分散が所定の基準分散よりも小さいという条件Ｇσと、ＢAVE［１］〜ＢAVE［ＰA−１］の分散が所定の基準分散よりも小さいという条件Ｂσの成否を判定するようにしても良い。
【０１９３】
そして、条件ＣRR、ＣGG及びＣBBの何れか１以上が成立する場合、入力画像ＩＭ［ＰA］に対して第１順位の優先順位を設定する。或いは、条件ＣRR、ＣGG及びＣBBの全てが成立する場合にのみ、入力画像ＩＭ［ＰA］に対して第１順位の優先順位を設定するようにしても良い。但し、これらの設定を行うか否かを、更に、条件Ｒσ、Ｇσ及びＢσの成否に基づいて決定するようにしても良い。
【０１９４】
方法２Cの有益性は方法２A及び２Bの有益性と類似している。条件ＣRR、ＣGG及びＣBBの何れか１以上が成立する場合或いは条件ＣRR、ＣGG及びＣBBの全てが成立する場合、入力画像ＩＭ［ＰA］の色状態は入力画像ＩＭ［１］〜ＩＭ［ＰA−１］のそれらと大きく異なっていると言える。入力画像ＩＭ［ＰA］の色状態が入力画像ＩＭ［１］〜ＩＭ［ＰA−１］のそれらと大きく異なる場合、例えば、入力画像ＩＭ［１］〜ＩＭ［ＰA−１］はホワイトバランス調整に失敗した撮影画像であって且つ入力画像ＩＭ［ＰA］はホワイトバランス調整に成功した撮影画像である可能性が高いと推測することができる（撮影者としてユーザが、ホワイトバランス調整に成功した撮影画像が得られるまで、同様の構図で入力画像の撮影を繰り返したと推測される）。方法２Cでは、このような場合に、入力画像ＩＭ［ＰA］の優先順位を高く設定する。即ち、方法２Cによれば、ホワイトバランス調整に成功していると推測される入力画像（即ち、ユーザにとって重要度の高い入力画像）の優先順位を高く設定することが可能となる。
【０１９５】
条件ＣRR、ＣGG及びＣBB並びに条件Ｒσ、Ｇσ及びＢσの成否判断を行うために必要な情報（例えば、平均値ＲAVE［ｉ］等）を、撮影モードにおいて参照情報Ｊ［ｉ］の一部として画像ファイルＦＬ［ｉ］に保存しておき、各入力画像の参照情報を用いて方法２Cを実行しても良い。
【０１９６】
［第３優先順位設定方法］
第３優先順位設定方法を説明する。第３優先順位設定方法の説明に先立ち、図１の撮像部１１の構成及び撮影モードにおいて撮像装置１が実行可能なＡＦ制御、ＡＥ制御、ＡＷＢ制御及び自動シーン判定制御について説明する。
【０１９７】
図３９には、図１の撮像部１１及び画像メモリ１２間に設けられたＡＦＥ（Analog Front End）６８と共に、撮像部１１の内部構成が示されている。撮像部１１は、光学系６５と、絞り６２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子６３と、光学系６５や絞り６２を駆動制御するためのドライバ６４と、を有している。光学系６５は、ズームレンズ６０及びフォーカスレンズ６１を含む複数枚のレンズから形成される。ズームレンズ６０及びフォーカスレンズ６１は光軸方向に移動可能である。ドライバ６４は、図１の撮影制御部１３からの制御信号に基づいてズームレンズ６０及びフォーカスレンズ６１の各位置並びに絞り６２の開度（換言すれば絞り値）を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子６３への入射光量を制御する。ＡＦＥ６８は、撮像素子６３から出力されたアナログ信号を増幅してデジタル信号に変換し、得られたデジタル信号を画像メモリ１２に出力する。
【０１９８】
撮影モードにおいて入力画像ＩＭ［ｉ］の画像データを取得する際、撮影制御部１３はＡＦ制御を実行することができる。今、説明の具体化のため、ＴＴＬ（Through The Lens）方式のコントラスト検出法を用いたＡＦ制御が採用されたことを想定する。そうすると、入力画像ＩＭ［ｉ］に対するＡＦ制御では、例えば以下のような処理が成される。
【０１９９】
撮影モードにおいて、撮影制御部１３又は画像解析部１４は、入力画像ＩＭ［ｉ］よりも前に撮影されたフレーム画像６９０（図４０参照）の画像データに基づき主要被写体を検出し、主要被写体が位置する画像領域６９１をＡＦ判定領域として設定して、ＡＦ判定領域のＡＦ評価値を算出する。例えば、撮像装置１の撮影範囲内に位置する被写体の内、被写体距離が最も短い被写体を主要被写体として取り扱うことができる。被写体距離とは、実空間上における、撮像装置１と被写体との距離を指す。ＡＦ判定領域はフレーム画像６９０の全画像領域の一部であり、例えば、フレーム画像６９０における判定画像領域ＡＲ1〜ＡＲ9の何れかとされる（図３７参照）。ＡＦ制御において、撮影制御部１３は、ＡＦ判定領域のＡＦ評価値が最大化されるようにフォーカスレンズ６１の位置を調整し、ＡＦ判定領域のＡＦ評価値が最大化される位置（以下、ＡＦ制御レンズ位置と呼ぶ）にフォーカスレンズ６１の位置を固定することでＡＦ制御を完了する。ＡＦ制御を用いて入力画像ＩＭ［ｉ］を取得する際には、このＡＦ制御レンズ位置にフォーカスレンズ６１の位置を配置した状態で、入力画像ＩＭ［ｉ］の画像データが取得される。尚、被写体距離を検出することのできる測距センサ（不図示）を用いてＡＦ制御を行うようにしても良い。
【０２００】
ＡＥ制御では、入力画像の明るさが適切な明るさとなるように、入力画像の画像データに基づき又は被写体の明るさを検出する測光センサ（不図示）の出力に基づき、図１の撮影制御部１３の制御の下で、絞り値（即ち、絞り６２の開度）及びＩＳＯ感度が調整される。ＩＳＯ感度は、ＩＳＯ（International Organization for Standardization）によって規定された感度を意味し、ＩＳＯ感度を調節することで入力画像の明るさ（輝度レベル）を調節することができる。実際には、ＩＳＯ感度に応じてＡＦＥ６８における信号増幅の増幅度を決定する。ＡＥ制御を用いて入力画像ＩＭ［ｉ］を取得する際には、ＡＥ制御にて調整された絞り値及びＩＳＯ感度にて、入力画像ＩＭ［ｉ］の画像データが取得される。
【０２０１】
ＡＷＢ制御では、入力画像のホワイトバランスが適切となるように、撮影制御部１３又は主制御部１９の制御の下、ＡＦＥ６８の出力信号に対して成すべきＷＢ補正処理（ホワイトバランス補正処理）の内容を調整する。ＡＷＢ制御を用いて入力画像ＩＭ［ｉ］を取得する際には、ＡＷＢ制御にて調整されたＷＢ補正処理をＡＦＥ６８の出力信号に成すことで入力画像ＩＭ［ｉ］の画像データが生成される。
【０２０２】
入力画像ＩＭ［ｉ］の取得時におけるフォーカスレンズ６１の位置、絞り値、ＩＳＯ感度及びＷＢ補正処理の内容は入力画像ＩＭ［ｉ］の撮影条件の一種である。
【０２０３】
自動シーン判定制御では、入力画像の画像データに基づき、入力画像の撮影シーンを複数の登録シーンから選択することによって判定する。判定された撮影シーンを判定シーンと呼ぶ。撮影制御部１３は、入力画像の判定シーンに基づいて撮影条件の一部を設定する。判定シーンが異なれば、原則として、設定される撮影条件は異なる。判定シーンに基づいて設定される入力画像ＩＭ［ｉ］の撮影条件には、入力画像ＩＭ［ｉ］の撮影時におけるシャッタスピード（即ち、入力画像ＩＭ［ｉ］の画像データを撮像素子６３から得るための、撮像素子６３の露光時間の長さ）、入力画像ＩＭ［ｉ］の撮影時における絞り値、入力画像ＩＭ［ｉ］の撮影時におけるＩＳＯ感度、入力画像ＩＭ［ｉ］を生成するためにＡＦＥ６８の出力信号に対して行われるべき画像処理の内容などが含まれる。自動シーン判定制御を用いて入力画像ＩＭ［ｉ］を取得する際には、自動シーン判定制御によって判定及び設定された撮影シーン及び撮影条件に従い、入力画像ＩＭ［ｉ］の画像データが生成される。
【０２０４】
ところで、ユーザは、ＡＦ制御、ＡＥ制御、ＡＷＢ制御及び自動シーン判定制御を用いることなく、手動で、ピント調整、露出調整、ホワイトバランス調整及び判定シーン調整を行うことができる。それらの調整を指示する操作を含む操作をマニュアル調製操作と呼ぶ。マニュアル調整操作は、図１の操作部２０に対して行われる。或いは、タッチパネル操作によってマニュアル調整操作が実現されても良い。この場合、タッチパネル操作を受け付ける表示部１９は操作部としても機能する。マニュアル調整操作は、入力画像の撮影条件を調整するための操作である。
【０２０５】
例えば、ユーザは、マニュアル調整操作によってフォーカスレンズ６１の位置を調整することができる。このマニュアル調整操作が入力画像ＩＭ［ｉ］に対して行われた場合、このマニュアル調整操作によって調整された位置にフォーカスレンズ６１の位置を配置した状態で、入力画像ＩＭ［ｉ］の画像データが取得される。
また例えば、ユーザは、マニュアル調整操作によって絞り値及びＩＳＯ感度を調整することができる。このマニュアル調整操作が入力画像ＩＭ［ｉ］に対して行われた場合、このマニュアル調整操作によって調整された絞り値及びＩＳＯ感度にて、入力画像ＩＭ［ｉ］の画像データが取得される。
また例えば、ユーザは、マニュアル調整操作によって上記ＷＢ補正処理の内容を調整することができる。このマニュアル調整操作が入力画像ＩＭ［ｉ］に対して行われた場合、このマニュアル調整操作によって調整されたＷＢ補正処理を用いて、入力画像ＩＭ［ｉ］の画像データが取得される。
また例えば、ユーザは、マニュアル調整操作によって判定シーンを指定することができる。このマニュアル調整操作が入力画像ＩＭ［ｉ］に対して行われた場合、このマニュアル調整操作によって指定された判定シーンを用いて、入力画像ＩＭ［ｉ］の画像データが取得される。
【０２０６】
入力画像ＩＭ［ｉ］の撮影の際に何らかマニュアル調整操作が成されたか否かを示す情報を参照情報Ｊ［ｉ］に含めておくと良い（後述の他の優先順位設定方法についても同様）。これにより、優先順位設定部５２は、再生モードにおいて、参照情報Ｊ［ｉ］に基づきマニュアル調整操作の有無を認識することができる（後述の他の優先順位設定方法についても同様）。
【０２０７】
第３優先順位設定方法において、優先順位設定部５２は、マニュアル調整操作が成された上で取得された入力画像の優先順位が、マニュアル調整操作が成されることなく取得された入力画像の優先順位よりも高くなるように、各入力画像の優先順位を決定する。従って例えば、撮影モードにおいて、ユーザがマニュアル調整操作を成すことなくＡＦ制御、ＡＥ制御、ＡＷＢ制御及び自動シーン判定制御を用いて入力画像ＩＭ［１］の撮影を行った後、ＡＦ制御によるピント合わせに満足せず、ピント調整に関するマニュアル調整操作を成してから入力画像ＩＭ［２］の撮影を行ったとする。この場合、再生モードにおいて、参照情報Ｊ［１］及びＪ［２］に基づき入力画像ＩＭ［２］の優先順位は入力画像ＩＭ［１］の優先順位よりも高く設定される。
【０２０８】
撮像装置１に設けられた自動制御に頼ることなく手動でピント合わせ等を行って得た入力画像は、自動制御で得られた入力画像よりも、ユーザの注目度が高いと言える。或いは、前者の入力画像は、後者の入力画像における撮影失敗を是正した画像であるとも考えられる。これを考慮し、第３優先順位設定方法では、マニュアル調整操作の成された、ユーザにとって重要度の高い入力画像に対して高い優先順位を設定する。
【０２０９】
［第４優先順位設定方法］
第４優先順位設定方法を説明する。撮影モードにおいて、撮像装置１は、所定のフレーム周期（例えば１／６０秒）で次々とフレーム画像を取得することができる。便宜上、入力画像ＩＭ［ｉ−１］よりも後であって且つ入力画像ＩＭ［ｉ］よりも前に撮影されたフレーム画像をプレ画像と呼ぶ。
【０２１０】
入力画像ＩＭ［ｉ］に対するＡＦ制御では、プレ画像内にＡＦ判定領域を自動設定し、プレ画像のＡＦ判定領域内の画像データに基づきＡＦ判定領域のＡＦ評価値が最大化されるフォーカスレンズ６１の位置（ＡＦ制御レンズ位置）を探索することができる。
同様に、入力画像ＩＭ［ｉ］に対するＡＥ制御では、プレ画像の全画像領域の一部又は全部であるＡＥ判定領域をプレ画像内に自動設定し、プレ画像のＡＥ判定領域内の画像データに基づき絞り値及びＩＳＯ感度を調整することができる。
同様に、入力画像ＩＭ［ｉ］に対するＡＷＢ制御では、プレ画像の全画像領域の一部又は全部であるＡＷＢ判定領域をプレ画像内に自動設定し、プレ画像のＡＷＢ判定領域内の画像データに基づき上記ＷＢ補正処理の内容を調整することができる。
同様に、入力画像ＩＭ［ｉ］に対する自動シーン判定制御では、プレ画像の全画像領域の一部又は全部であるシーン判定領域をプレ画像内に自動設定し、プレ画像のシーン判定領域内の画像データに基づき撮影シーンの判定を行うことができる。
【０２１１】
ＡＦ制御において、撮影制御部１３又は主制御部１９は、プレ画像上におけるＡＦ判定領域の位置及び大きさを、プレ画像の画像データに基づき決定することができる、或いは、予め固定的に定めておくことができる。同様に、ＡＥ制御、ＡＷＢ制御及び自動シーン判定制御において、撮影制御部１３又は主制御部１９は、プレ画像上におけるＡＥ判定領域、ＡＷＢ判定領域及びシーン判定領域の夫々の位置及び大きさを、プレ画像の画像データに基づき決定することができる、或いは、予め固定的に定めておくことができる。
【０２１２】
一方で、ユーザは、ＡＦ制御、ＡＥ制御、ＡＷＢ制御及び自動シーン判定制御によって定められたＡＦ判定領域、ＡＥ判定領域、ＡＷＢ判定領域及びシーン判定領域の夫々の位置及び大きさを変更することができる。この変更を指示する操作も上記マニュアル調整操作に含まれ、この変更を指示する操作によっても、入力画像ＩＭ［ｉ］の撮影条件が調整される。入力画像ＩＭ［ｉ］の撮影の際に何らかマニュアル調整操作が成されたか否かを示す情報を参照情報Ｊ［ｉ］に含めておくと良い。これにより、優先順位設定部５２は、再生モードにおいて、参照情報Ｊ［ｉ］に基づきマニュアル調整操作の有無を認識することができる。
【０２１３】
第４優先順位設定方法において、優先順位設定部５２は、上記変更に関するマニュアル調整操作が成された上で取得された入力画像の優先順位が、上記変更に関するマニュアル調整操作が成されることなく取得された入力画像の優先順位よりも高くなるように、各入力画像の優先順位を決定する。即ち例えば、撮影モードにおいて、ユーザがマニュアル調整操作を成すことなくＡＦ制御を用いて入力画像ＩＭ［１］の撮影を行った後、ＡＦ制御で用いられたＡＦ判定領域の位置に満足せず、該位置を変更するマニュアル調整操作を成してから入力画像ＩＭ［２］の撮影を行ったとする。この場合、再生モードにおいて、参照情報Ｊ［１］及びＪ［２］に基づき入力画像ＩＭ［２］の優先順位は入力画像ＩＭ［１］の優先順位よりも高く設定される。
【０２１４】
撮像装置１に設けられた自動制御に頼ることなく手動でＡＦ判定領域の指定等を行って得た入力画像は、自動制御で得られた入力画像よりも、ユーザの注目度が高いと言える。或いは、前者の入力画像は、後者の入力画像における撮影失敗を是正した画像であるとも考えられる。これを考慮し、第４優先順位設定方法では、マニュアル調整操作の成された、ユーザにとって重要度の高い入力画像に対して高い優先順位を設定する。
【０２１５】
［第５優先順位設定方法］
第５優先順位設定方法を説明する。ＡＦ制御、ＡＥ制御、ＡＷＢ制御及び自動シーン判定制御によって調整又は設定される撮影条件は、構図や被写体の状態に依存して刻々と変化しうる。一方で、撮影者としてのユーザは、一度調整又は設定された撮影条件を維持しつつ、構図を変更してから入力画像の撮影を希望する場合がある。
【０２１６】
例えば、以下のような操作が撮影者によって成されることが良くある。測距領域としてのＡＦ評価領域がプレ画像の中央付近に位置している場合、図４１に示す如く、ピントを合わせたい人物を撮影範囲の中央に配置した構図でＡＦ制御によるピント合わせを行わせ、それから、ピント合わせの状態を固定するＡＦロック操作を行う。その後、撮影の構図を所望の構図へと変更してから入力画像ＩＭ［ｉ］を得るためのシャッタ操作を行う（図４１参照）。これにより、人物にピントをあわせた状態で所望の構図を有する入力画像を取得することができる。これに類似する操作が、ＡＥ制御、ＡＷＢ制御及び自動シーン判定制御に対しても行われることがある。
【０２１７】
一方、図１のシャッタボタン２０ａは２段階の押下操作が可能となっている。シャッタボタン２０ａに圧力を付与していない状態を開放状態と呼ぶ。撮影者としてのユーザが、開放状態からシャッタボタン２０ａを軽く押し込むとシャッタボタン２０ａの状態は半押し状態となり、その状態から更にシャッタボタン２０ａを押し込むとシャッタボタン２０ａの状態は全押し状態となる。シャッタボタン２０ａの状態を全押し状態にする操作がシャッタ操作である。また、シャッタボタン２０ａの状態を開放状態から半押し状態へと遷移させる操作をＡＦロック操作に割り当てることができる。同様に、シャッタボタン２０ａの状態を開放状態から半押し状態へと遷移させる操作を、ＡＥロック操作、ＡＷＢロック操作及びシーンロック操作に割り当てることができる。また、ＡＦロック操作、ＡＥロック操作、ＡＷＢロック操作又はシーンロック操作を受け付けるための専用ボタン（不図示）を操作部２０に設けておくようにしても良い。この場合、その専用ボタンを押す操作が、ＡＦロック操作、ＡＥロック操作、ＡＷＢロック操作又はシーンロック操作に相当する。
【０２１８】
撮影制御部１３は、ＡＦ制御の実行時においてＡＦロック操作が成されると、ＡＦロック解除操作が成されるまで、フォーカスレンズ６１の位置をＡＦロック操作が成された時点におけるフォーカスレンズ６１の位置にて固定する。
撮影制御部１３は、ＡＥ制御の実行時においてＡＥロック操作が成されると、ＡＥロック解除操作が成されるまで、絞り値及びＩＳＯ感度をＡＥロック操作が成された時点における絞り値及びＩＳＯ感度にて固定する。
撮影制御部１３は、ＡＷＢ制御の実行時においてＡＷＢロック操作が成されると、ＡＷＢロック解除操作が成されるまで、ＡＦＥ６８の出力信号に成すべきＷＢ補正処理の内容をＡＷＢロック操作が成された時点におけるＷＢ補正処理にて固定する。
撮影制御部１３は、自動シーン判定制御の実行時においてシーンロック操作が成されると、シーンロック解除操作が成されるまで、判定シーンをシーンロック操作が成された時点における判定シーンにて固定する。
シャッタボタン２０ａの状態を半押し状態から開放状態へと戻す操作を、ＡＦロック解除操作、ＡＥロック解除操作、ＡＷＢロック解除操作及びシーンロック解除操作に割り当てることができる。
【０２１９】
撮影モードにおいて、画像解析部１４は、ＡＦロック操作、ＡＥロック操作、ＡＷＢロック操作又はシーンロック操作後に撮影構図の変更が成されてから入力画像ＩＭ［ｉ］に対するシャッタ操作が成されたのか否かを判断することができる。説明の具体化のため、ＡＦロック操作、ＡＥロック操作、ＡＷＢロック操作及びシーンロック操作の中から代表してＡＦロック操作に注目して、この判断の方法を説明する。図４２は、この判断方法の手順を表すフローチャートである。
【０２２０】
撮影モードにおいて、ＡＦロック操作が成されると（ステップＳ５１）、画像解析部１４は、ＡＦロック操作が成された直前又は直後におけるプレ画像を対象プレ画像として設定し、対象プレ画像の画像データを保持しておく（ステップＳ５２）。その後、ＡＦロック解除操作が成されることなく入力画像ＩＭ［ｉ］を取得するためのシャッタ操作が成されると（ステップＳ５３）、入力画像ＩＭ［ｉ］の画像データが得られる（ステップＳ５４）。画像解析部１４は、対象プレ画像と入力画像ＩＭ［ｉ］の画像データに基づき、両画像間の類似度を算出する（ステップＳ５５）。具体的には例えば、対象プレ画像の全画像領域及び入力画像ＩＭ［ｉ］の全画像領域の夫々を特徴評価領域とみなし、第１実施形態で述べた方法に従い、対象プレ画像の特徴ベクトル及び入力画像ＩＭ［ｉ］の特徴ベクトルを算出すると共にそれらの特徴ベクトル間の距離を算出する。ここで、算出された距離が所定の閾値距離よりも小さければ、対象プレ画像及び入力画像ＩＭ［ｉ］間の画像特徴に関する類似度が高いと判断すると共に、ＡＦロック操作及びシャッタ操作間に撮影構図の変更が成されていないと判断して判定フラグＦＡ［ｉ］に０を代入する（ステップＳ５６）。逆に、算出された距離が上記閾値距離よりも大きければ、対象プレ画像及び入力画像ＩＭ［ｉ］間の画像特徴に関する類似度が低いと判断すると共に、ＡＦロック操作及びシャッタ操作間に撮影構図の変更が成されていると判断して判定フラグＦＡ［ｉ］に１を代入する（ステップＳ５７）。ＡＥロック操作及びシャッタ操作間、ＡＷＢロック操作及びシャッタ操作間、及び、シーンロック操作及びシャッタ操作間に、撮影構図の変更が成されたか否かも同様に判断することができる。ＡＥロック操作及びシャッタ操作間、ＡＷＢロック操作及びシャッタ操作間、又は、シーンロック操作及びシャッタ操作間に撮影構図の変更が成されていると判断した場合にも、判定フラグＦＡ［ｉ］に１が代入される。そのような判断が成されたかった場合には、判定フラグＦＡ［ｉ］に０が代入される。
【０２２１】
また、ＡＦロック操作、ＡＥロック操作、ＡＷＢロック操作又はシーンロック操作を受け付けるための専用ボタン（不図示）が操作部２０に設けられている場合には、その専用ボタンが押された後に入力画像ＩＭ［ｉ］に対するシャッタ操作が成されると、上記の類似度の高低に関係なく判定フラグＦＡ［ｉ］に１を代入してもよく、専用ボタンが押されることなく入力画像ＩＭ［ｉ］に対するシャッタ操作が成されると、上記の類似度の高低に関係なく判定フラグＦＡ［ｉ］に０を代入してもよい。
【０２２２】
判定フラグＦＡ［ｉ］は参照情報Ｊ［ｉ］に含められて画像ファイルＦＬ［ｉ］に記録される。優先順位設定部５２は、再生モードにおいて、参照情報Ｊ［ｉ］内の判定フラグＦＡ［ｉ］に基づき、ＡＦロック操作、ＡＥロック操作、ＡＷＢロック操作又はシーンロック操作と入力画像ＩＭ［ｉ］に対するシャッタ操作との間に撮影構図の変更が成されたか否かを認識することができる。或いは、入力画像ＩＭ［ｉ］のシャッタ操作の前に、上記の専用ボタンが押されたのかを認識することができる。
【０２２３】
優先順位設定部５２は、その認識結果に基づき、各入力画像の優先順位を決定することができる。即ち、参照情報Ｊ［１］〜Ｊ［ＰA］内の判定フラグＦＡ［１］〜ＦＡ［ＰA］に基づき、判定フラグに１が代入されている入力画像の優先順位が、判定フラグに０が代入されている入力画像の優先順位よりも高くなるように、各入力画像の優先順位を決定する。例えば、ＦＡ［１］＝０且つＦＡ［２］＝１ならば、入力画像ＩＭ［２］の優先順位の方が入力画像ＩＭ［１］の優先順位よりも高く設定される。ＡＦロック等の機能を用いて得た入力画像は、それらを用いること無く得られた入力画像よりも手間をかけて撮影された画像又は慎重に撮影された画像であると言え、ユーザの注目度が高いと考えられるからである。
【０２２４】
［第６優先順位設定方法］
第６優先順位設定方法を説明する。図１には示されていないが、撮像装置１にはキセノン管や発光ダイオードから成る発光部が設けられており、必要に応じて発光部にて生成されたフラッシュ光が被写体に照射される。入力画像の撮影時においてフラッシュ光を生成するか否かを主制御部２１が被写体の明るさに応じて決定する自動発光モード、又は、入力画像の撮影時において被写体の明るさに依らずフラッシュ光を必ず被写体に照射する強制発光モードを、ユーザは選択的に指定可能である。
【０２２５】
強制発光モードを選択する操作もマニュアル調整操作に含まれ、強制発光モードを選択する操作によっても、フラッシュ光に関する入力画像ＩＭ［ｉ］の撮影条件が調整される。入力画像ＩＭ［ｉ］の撮影の際に何らかマニュアル調整操作（本例において、強制発光モードを選択する操作）が成されたか否かを示す情報を参照情報Ｊ［ｉ］に含めておくと良い。これにより、優先順位設定部５２は、再生モードにおいて、参照情報Ｊ［ｉ］に基づきマニュアル調整操作の有無を認識することができる。
【０２２６】
第６優先順位設定方法において、優先順位設定部５２は、強制発光モードの選択に関するマニュアル調整操作が成された上で取得された入力画像の優先順位が、上記選択に関するマニュアル調整操作が成されることなく取得された入力画像の優先順位よりも高くなるように、各入力画像の優先順位を決定する。即ち例えば、撮影モードにおいて、自動発光モードを用いて入力画像ＩＭ［１］の撮影を行った結果、入力画像ＩＭ［１］の撮影時にはフラッシュ光の生成が成されず、且つ、ユーザが入力画像ＩＭ［１］における被写体の明るさに満足しなかった場合、ユーザは強制発光モードを選択するマニュアル調整操作を成してから入力画像ＩＭ［２］の撮影を行うことがある。この場合、再生モードにおいて、参照情報Ｊ［１］及びＪ［２］に基づき入力画像ＩＭ［２］の優先順位は入力画像ＩＭ［１］の優先順位よりも高く設定される。
【０２２７】
撮像装置１に設けられた自動発光制御に頼ることなく手動で強制発光モードの指定を行って得た入力画像は、自動発光制御で得られた入力画像よりも、ユーザの注目度が高いと言える。或いは、前者の入力画像は、後者の入力画像における撮影失敗を是正した画像であるとも考えられる。これを考慮し、第６優先順位設定方法では、マニュアル調整操作の成された、ユーザにとって重要度の高い入力画像に対して高い優先順位を設定する。
【０２２８】
［第７優先順位設定方法］
第７優先順位設定方法を説明する。撮像装置１には、手ぶれ補正機能が備えられている。手ぶれとは、撮像装置１の筐体のぶれを指す。入力画像ＩＭ［ｉ］の撮影時において手ぶれ補正機能が有効になっているときには、光学的又は電子的な方法によって、手ぶれに由来する入力画像ＩＭ［ｉ］のぶれが低減される。一方、入力画像ＩＭ［ｉ］の撮影時において手ぶれ補正機能が無効になっているときには、そのようなぶれの低減を図る処理は実行されない。ユーザは、マニュアル調整操作によって手ぶれ補正機能を有効にするか或いは無効にするかを指定することができる。
【０２２９】
また、撮像装置１には、ＮＲ機能（ノイズ低減機能）が備えられている。入力画像ＩＭ［ｉ］の撮影時においてＮＲ機能が有効になっているときには、入力画像ＩＭ［ｉ］の画像データの元となるＡＦＥ６８の出力信号に対してノイズを低減するためのノイズ低減処理が成され、そのノイズ低減処理後の画像データが入力画像ＩＭ［ｉ］の画像データとして生成される。入力画像ＩＭ［ｉ］の撮影時においてＮＲ機能が無効になっているときには、そのようなノイズ低減処理を成すことなく、ＡＦＥ６８の出力信号から入力画像ＩＭ［ｉ］の画像データが生成される。ユーザは、マニュアル調整操作によってＮＲ機能を有効にするか或いは無効にするかを指定することができる。
【０２３０】
入力画像ＩＭ［ｉ］に対する手ぶれ補正機能の有効又は無効を指定するマニュアル調整操作の内容を参照情報Ｊ［ｉ］に含めておくと良く、入力画像ＩＭ［ｉ］に対するＮＲ機能の有効又は無効を指定するマニュアル調整操作の内容を参照情報Ｊ［ｉ］に含めておくと良い。これにより、優先順位設定部５２は、再生モードにおいて、参照情報Ｊ［ｉ］に基づき、手ぶれ補正機能及びＮＲ機能に関するマニュアル調整操作の有無を認識することができる。
【０２３１】
手ぶれ補正機能が無効になっている状態で入力画像の撮影が成された後、手ぶれ補正機能が有効になっている状態で入力画像の撮影が成された場合、優先順位設定部５２は、後者の入力画像の優先順位を前者の入力画像の優先順位よりも高く設定する。即ち例えば、撮影モードにおいて、ユーザが手ぶれ補正機能を無効にした状態で入力画像ＩＭ［１］の撮影を行った後、入力画像ＩＭ［１］のぶれ状態に満足せず、手ぶれ補正機能を有効に設定してから入力画像ＩＭ［２］の撮影を行ったとする。この場合、再生モードにおいて、参照情報Ｊ［１］及びＪ［２］に基づき入力画像ＩＭ［２］の優先順位は入力画像ＩＭ［１］の優先順位よりも高く設定される。
【０２３２】
同様に、ＮＲ機能が無効になっている状態で入力画像の撮影が成された後、ＮＲ機能が有効になっている状態で入力画像の撮影が成された場合、優先順位設定部５２は、後者の入力画像の優先順位を前者の入力画像の優先順位よりも高く設定する。即ち例えば、撮影モードにおいて、ユーザがＮＲ機能を無効にした状態で入力画像ＩＭ［１］の撮影を行った後、入力画像ＩＭ［１］のノイズ状態に満足せず、ＮＲ機能を有効に設定してから入力画像ＩＭ［２］の撮影を行ったとする。この場合、再生モードにおいて、参照情報Ｊ［１］及びＪ［２］に基づき入力画像ＩＭ［２］の優先順位は入力画像ＩＭ［１］の優先順位よりも高く設定される。
【０２３３】
手ぶれ補正機能やＮＲ機能を無効にした状態で入力画像の撮影が行われた後、手ぶれ補正機能やＮＲ機能が有効に設定してから同様の構図で入力画像の撮影が行われた場合、前者の入力画像はユーザにとって満足度の低い画像である可能性が高く、後者の入力画像は前者の入力画像よりも満足度の高い画像である可能性が高い。これを考慮し、第７優先順位設定方法では、ユーザにとって重要度の高い入力画像と考えられる後者の入力画像に対して高い優先順位を設定する。
【０２３４】
［第８優先順位設定方法］
第８優先順位設定方法を説明する。撮影モードにおいて、撮影者としてのユーザは、入力画像ＩＭ［ｉ］の撮影時におけるＩＳＯ感度をマニュアル調整操作によって指定することができる。
【０２３５】
入力画像ＩＭ［ｉ］のＩＳＯ感度の値及び入力画像ＩＭ［ｉ］のＩＳＯ感度がマニュアル調整操作によって指定されたかを否かを示す情報を参照情報Ｊ［ｉ］に含めておくと良い。これにより、優先順位設定部５２は、再生モードにおいて、参照情報Ｊ［ｉ］に基づき、ＩＳＯ感度の値と共にＩＳＯ感度を指定するマニュアル調整操作の有無を認識することができる。
【０２３６】
ＩＳＯ感度が第１のＩＳＯ感度とされた状態で入力画像の撮影が成された後、マニュアル調整操作によってＩＳＯ感度の増大が指定され、ＩＳＯ感度が第２のＩＳＯ感度とされた状態で入力画像の撮影が成された場合、優先順位設定部５２は、後者の入力画像の優先順位を前者の入力画像の優先順位よりも高く設定する。ここで、第２のＩＳＯ感度は第１のＩＳＯ感度よりも大きいものとする。例えば、今、暗所において複数の入力画像の撮影が行われた場合を想定する。まず、比較的小さな第１のＩＳＯ感度で入力画像ＩＭ［１］の撮影を行われたものとする。暗所において比較的小さなＩＳＯ感度で撮影を行うと、露光時間が長くなって手ぶれによる画像ぶれが比較的多く入力画像に混入しやすい。このため、ユーザは入力画像ＩＭ［１］のぶれ状態に満足せず、入力画像ＩＭ［２］のＩＳＯ感度が第２のＩＳＯ感度となるようにマニュアル調整操作を行ってから入力画像ＩＭ［２］の撮影を行ったとする。この場合、再生モードにおいて、優先順位設定部５２は、参照情報Ｊ［１］及びＪ［２］に基づき入力画像ＩＭ［２］の優先順位を入力画像ＩＭ［１］の優先順位よりも高く設定する。入力画像ＩＭ［２］は、ユーザにとって、入力画像ＩＭ［１］よりも満足度の高い画像である可能性が高いからである。
【０２３７】
［第９優先順位設定方法］
第９優先順位設定方法を説明する。撮像装置１に、撮像装置１の筐体の動きを検出する動きセンサ（不図示）を設けておくこともできる。動きセンサは、例えば、撮像装置１の筐体の角速度を検出する角速度センサ又は撮像装置１の筐体の加速度を検出する加速度センサである。撮影モードにおいて、撮像装置１は、入力画像ＩＭ［ｉ］の露光期間中における動きセンサの検出結果を用いて、手ぶれに由来する入力画像ＩＭ［ｉ］のぶれを光学的に低減することができる。一方において、図１の記録制御部１８は、入力画像ＩＭ［ｉ］の露光期間中における動きセンサの検出結果を、参照情報Ｊ［ｉ］に含めておくことができる。
【０２３８】
優先順位設定部５２は、参照情報Ｊ［１］〜Ｊ［ＰA］に基づき、露光期間中の手ぶれの大きさが小さかった入力画像の優先順位を、それが大きかった入力画像の優先順位よりも高く設定することができる。具体的には例えば、優先順位設定部５２は、参照情報Ｊ［１］〜Ｊ［ＰA］に基づき、夫々、入力画像ＩＭ［１］〜ＩＭ［ＰA］の撮影時における筐体軌跡長を算出する。入力画像ＩＭ［ｉ］の撮影時における筐体軌跡長とは、入力画像ＩＭ［ｉ］の露光期間中に撮像装置１の筐体が動いた軌跡の総長さを表しており、その長さが大きければ入力画像ＩＭ［ｉ］の撮影時における手ぶれは大きいと言える。光学的な手ぶれ補正によって手ぶれの影響は低減されるものの、その低減作用は完璧なものではなく、手ぶれが大きくなると入力画像に比較的大きなぶれが残存しやすくなる。これを考慮し、例えば、入力画像ＩＭ［１］の筐体軌跡長が入力画像ＩＭ［２］の筐体軌跡長よりも長ければ、再生モードにおいて、優先順位設定部５２は、参照情報Ｊ［１］及びＪ［２］に基づき入力画像ＩＭ［２］の優先順位を入力画像ＩＭ［１］の優先順位よりも高く設定する。入力画像ＩＭ［２］は、入力画像ＩＭ［１］よりも手ぶれの影響が少ないと考えられるからである。
【０２３９】
［第１０優先順位設定方法］
第１０優先順位設定方法を説明する。第１０優先順位設定方法において、優先順位設定部５２は、特定種類の被写体の画像データを含む入力画像の優先順位を、特定種類の被写体の画像データを含まない入力画像の優先順位よりも高く設定する。特定種類の被写体は、例えば人物又は動物（ペットと想定される動物）である。人物又は動物を被写体に含んだ状態で撮影された入力画像は、重要度の比較的高い入力画像と考えられるからである。
【０２４０】
優先順位設定部５２は、再生モードにおいて、入力画像ＩＭ［ｉ］の画像データに基づき入力画像ＩＭ［ｉ］に対して顔検出処理や動物検出処理を実行することで、入力画像ＩＭ［ｉ］の画像データに人物又は動物の画像データが含まれているか否かを検出することができ、そのような検出を入力画像ＩＭ［１］〜ＩＭ［ＰA］の夫々に対して行うことで入力画像ＩＭ［１］〜ＩＭ［ＰA］の優先順位を決定することができる。動物検出処理は、入力画像の画像データに動物の画像データが含まれているか否かを検出するための処理であり、その検出に、公知の任意の方法を利用可能である。例えば、動物が犬である場合、犬の画像である登録犬画像を予め用意しておき、登録犬画像の画像データと入力画像ＩＭ［ｉ］の画像データに基づく画像マッチング等を利用すれば、動物検出処理を実現可能である。
【０２４１】
或るいは、撮影モードにおいて入力画像ＩＭ［ｉ］の画像データを画像ファイルＦＬ［ｉ］に保存する際、図１の画像解析部１４等において入力画像ＩＭ［ｉ］の画像データに基づき入力画像ＩＭ［ｉ］に対する顔検出処理や動物検出処理を実行し、それらの結果を参照情報Ｊ［ｉ］に含めて画像ファイルＦＬ［ｉ］に保存しておくようにしても良い。そうすれば、再生モードにおいて、参照情報Ｊ［１］〜Ｊ［ＰA］に基づき入力画像ＩＭ［１］〜ＩＭ［ＰA］の優先順位を決定することができる。
【０２４２】
［第１１優先順位設定方法］
第１１優先順位設定方法を説明する。再生モードの一種として、画像ファイルＦＬ［ｉ］に保存されている入力画像ＩＭ［ｉ］を編集するための画像編集モードがある。画像編集モードにおいて、ユーザは、入力画像ＩＭ［ｉ］の画像データを様々に編集することができる。入力画像ＩＭ［ｉ］の画像データの編集には、例えば、入力画像ＩＭ［ｉ］の全体的な明るさ又は色を変更したり、入力画像ＩＭ［ｉ］にイラストを重畳したりすることが含まれる。
【０２４３】
このような編集が入力画像ＩＭ［ｉ］に成された場合、図１の記録制御部１８は、該編集後の入力画像ＩＭ［ｉ］の画像データを画像ファイルＦＬ［ｉ］の本体領域に上書き保存することができ（図２参照）、また、編集が成された旨を表す編集フラグＦＢ［ｉ］に１を代入することができる。編集フラグＦＢ［ｉ］は参照情報Ｊ［ｉ］に含められている。編集フラグＦＢ［ｉ］の初期値は０である。従って、入力画像ＩＭ［ｉ］に編集が成されていない場合には、編集フラグＦＢ［ｉ］に０が代入されている。
【０２４４】
優先順位設定部５２は、再生モードにおいて、参照情報Ｊ［１］〜Ｊ［ＰA］内の編集フラグＦＢ［１］〜ＦＢ［ＰA］に基づき、編集フラグに１が代入されている入力画像の優先順位が、編集フラグに０が代入されている入力画像の優先順位よりも高くなるように、各入力画像の優先順位を決定することができる。例えば、ＦＢ［１］＝０且つＦＢ［２］＝１ならば、入力画像ＩＭ［２］の優先順位の方が入力画像ＩＭ［１］の優先順位よりも高く設定される。編集の成された入力画像は、ユーザにとって重要度の高い画像であると考えられるからである。尚、入力画像の編集は、撮像装置１以外の電子機器（例えば、画像再生装置；不図示）上で行われても良い。
【０２４５】
［第１２優先順位設定方法］
その他、様々な指標に基づいて優先順位を決定することができる。例えば、各入力画像のタイムスタンプ情報に基づき（図３参照）、各入力画像の撮影時刻に基づいて優先順位を決定するようにしても良い。
【０２４６】
尚、第４実施形態で述べたように、ｍ枚の入力画像の再生媒体は表示画面１９ａでなくとも良く、例えば、紙であっても良い。再生媒体が紙である場合、撮像装置１は図示されないプリンタに接続され、図２４のレイアウト作成部５３からの再生用信号が該プリンタに送られることで所望の印刷が成される。
【０２４７】
また、第５実施形態で述べたように、記録媒体１７の記録データに基づく上述の各処理を、撮像装置と異なる電子機器（例えば、画像再生装置；不図示）にて実現することも可能である（撮像装置も電子機器の一種である）。例えば、撮像装置１において、撮影によってｍ枚の入力画像を取得し、各入力画像の画像データ並びに上述の付加データを格納した画像ファイルを記録媒体１７に記録しておく。そして、図２４の画像分類部５１、優先順位設定部５２及びレイアウト作成部５３から成る再生制御部を上記電子機器に設けておき、記録媒体１７の記録データを電子機器内の再生制御部に与えることで、第６実施形態にて上述した表示による再生又は印刷による再生を実現できる。尚、上記電子機器内に表示部１９と同様の表示部を設けておくことも可能であるし、必要に応じて上記電子機器内に画像解析部１４と同様の画像解析部を設けるようにしても良い。
【０２４８】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０２４９】
［注釈１］
上述の各実施形態では、撮影時に特徴ベクトル情報、人物有無情報及び人物ＩＤ情報を作成して記録媒体１７に記録しておき、再生時にそれらの情報を読み出して第１〜第３類似性を評価しているが、それらの情報を再生時に作成するようにしても良い。即ち、再生モードにおいて、記録媒体１７から読み出した各入力画像の画像データに基づき各入力画像に顔検出処理、顔認識処理及び特徴ベクトル導出処理を実行し、それらの処理の結果から、異なる入力画像間の第１〜第３類似性を評価するようにしても良い。
【０２５０】
［注釈２］
第１及び第２実施形態のサムネイル表示モードにおいて、表示画面１９ａに９つのサムネイルを同時に表示する例を上述したが、表示画面１９ａ上に同時表示されるサムネイルの個数は９以外であっても良い。
【０２５１】
［注釈３］
上述の各実施形態では、複数の出力画像を再生対象とするスライドショーモード等の動作を具体的に説明するべく、便宜上、ｎが２以上であることを想定したが、ｎは１であっても構わない。従って、図８の画像選択部３１は、ｍ枚の入力画像から１枚の出力画像を選択する場合もある。
【０２５２】
［注釈４］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。特に、画像解析部１４及び再生制御部２２の機能は、ハードウェアのみ、ソフトウェアのみ、または、ハードウェアとソフトウェアの組み合わせによって実現可能である。それらの機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０２５３】
［注釈５］
例えば、以下のように考えることができる。撮像装置１には、画像再生装置が内在している。この画像再生装置には、再生制御部２２が含まれ、表示部１９も含まれうる。画像再生装置に、画像解析部１４が更に含まれていると考えることも可能である。
【符号の説明】
【０２５４】
１  撮像装置
１１  撮像部
１４  画像解析部
１９  表示部
２０  操作部
２２  再生制御部
３１  画像選択部
３２  レイアウト作成部
５１  画像分類部
５２  優先順位設定部
５３  レイアウト作成部
【図１】
2011010275.tif 000003
【図２】
2011010275.tif 000004
【図３】
2011010275.tif 000005
【図４】
2011010275.tif 000006
【図５】
2011010275.tif 000007
【図６】
2011010275.tif 000008
【図７】
2011010275.tif 000009
【図８】
2011010275.tif 000010
【図９】
2011010275.tif 000011
【図１０】
2011010275.tif 000012
【図１６】
2011010275.tif 000013
【図１７】
2011010275.tif 000014
【図１８】
2011010275.tif 000015
【図２４】
2011010275.tif 000016
【図２６】
2011010275.tif 000017
【図２８】
2011010275.tif 000018
【図３１】
2011010275.tif 000019
【図３４】
2011010275.tif 000020
【図３５】
2011010275.tif 000021
【図３６】
2011010275.tif 000022
【図３７】
2011010275.tif 000023
【図３８】
2011010275.tif 000024
【図３９】
2011010275.tif 000025
【図４０】
2011010275.tif 000026
【図４１】
2011010275.tif 000027
【図４２】
2011010275.tif 000028
【図４３】
2011010275.tif 000029
【図１１】
2011010275.tif 000030
【図１２】
2011010275.tif 000031
【図１３】
2011010275.tif 000032
【図１４】
2011010275.tif 000033
【図１５】
2011010275.tif 000034
【図１９】
2011010275.tif 000035
【図２０】
2011010275.tif 000036
【図２１】
2011010275.tif 000037
【図２２】
2011010275.tif 000038
【図２３】
2011010275.tif 000039
【図２５】
2011010275.tif 000040
【図２７】
2011010275.tif 000041
【図２９】
2011010275.tif 000042
【図３０】
2011010275.tif 000043
【図３２】
2011010275.tif 000044
【図３３】
2011010275.tif 000045