(57)【要約】【課題】ユーザ操作に基づく操作履歴情報がなくても、適切な代表画像を選ぶ画像処理プログラムを提供する。【解決手段】画像処理プログラムは、複数の画像を各画像の撮影日に基づいて所定期間ごとのグループに分類する分類処理と、分類処理によって分類されたグループから、該グループ内の画像の使用者価値度に基づいて期間を代表する複数の画像を各期間についてそれぞれ抽出する第１抽出処理と、第１抽出処理によって抽出された複数の画像から、該複数の画像の画像評価度に基づいて期間を代表する１つの代表画像を各期間についてそれぞれ抽出する第２抽出処理と、各期間についての期間を示す情報と、当該期間に対応する代表画像と、当該期間の代表画像に関する情報とを関連付けた撮影履歴情報を生成する撮影履歴情報生成処理と、をコンピュータに実行させる。【選択図】図２
2010263352.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を各画像の撮影日に基づいて所定期間ごとのグループに分類する分類処理と、
前記分類処理によって分類された前記グループから、該グループ内の画像の使用者価値度に基づいて前記期間を代表する複数の画像を前記各期間についてそれぞれ抽出する第１抽出処理と、
前記第１抽出処理によって抽出された前記複数の画像から、該複数の画像の画像評価度に基づいて前記期間を代表する１つの代表画像を前記各期間についてそれぞれ抽出する第２抽出処理と、
前記各期間についての期間を示す情報と、当該期間に対応する代表画像と、当該期間の代表画像に関する情報とを関連付けた撮影履歴情報を生成する撮影履歴情報生成処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムにおいて、
前記第１抽出処理は、
前記分類前の全ての画像の平均的な撮影位置に対して特異な撮影位置で撮影された画像が前記グループ内に存在する場合は該特異な撮影位置で撮影された複数の画像を抽出し、
前記特異な撮影位置で撮影された画像が前記グループ内に存在しない場合は該グループ内において最多撮影日に撮影された複数の画像を抽出することを特徴とする画像処理プログラム。
【請求項３】
請求項１または２に記載の画像処理プログラムにおいて、
前記第２抽出処理は、
画像の撮影シーンを判定するシーン判定処理を含み、
前記判定した撮影シーンに応じた所定の判定基準に基づいて、前記第１抽出処理によって抽出されている複数の画像から１つの画像を抽出することを特徴とする画像処理プログラム。
【請求項４】
請求項１〜３のいずれか一項に記載の画像処理プログラムにおいて、
前記撮影履歴情報に基づいて、前記期間を代表する再生画像を前記各期間についてそれぞれ表示するための表示処理をさらにコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項５】
請求項４に記載の画像処理プログラムにおいて、
前記表示処理は、前記代表画像に対応する期間、前記代表画像の撮影位置、前記代表画像について判定されている撮影シーン、該撮影シーンに対応する所定の文字情報を示す表示を含むことを特徴とする画像処理プログラム。
【請求項６】
請求項１〜５のいずれか一項に記載の画像処理プログラムにおいて、
前記第２抽出処理によって抽出された前記代表画像の縮小サイズ画像を生成する代表縮小画像生成処理をさらにコンピュータに実行させ、
前記撮影履歴情報生成処理は、前記各期間についての期間を示す情報と、当該期間に対応する代表縮小画像と、当該期間の代表画像に関する情報とを関連付けた撮影履歴情報を生成することを特徴とする画像処理プログラム。
【請求項７】
請求項５に記載の画像処理プログラムにおいて、
前記表示処理は、撮影シーンおよびユーザの登録情報に応じて前記文字情報を異ならせることを特徴とする画像処理プログラム。
【請求項８】
請求項１〜７のいずれか一項に記載の画像処理プログラムを搭載したことを特徴とするカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラムおよびこのプログラムを搭載したカメラに関する。
【背景技術】
【０００２】
複数の画像を代表する画像を優先表示する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１５７７７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、閲覧や印刷などの操作履歴情報に基づいて、閲覧回数や印刷回数などが多い画像を優先表示するので、ユーザ操作による操作履歴情報がない場合には、適切な代表画像を選ぶことが困難であった。
【課題を解決するための手段】
【０００５】
本発明による画像処理プログラムは、複数の画像を各画像の撮影日に基づいて所定期間ごとのグループに分類する分類処理と、分類処理によって分類されたグループから、該グループ内の画像の使用者価値度に基づいて期間を代表する複数の画像を各期間についてそれぞれ抽出する第１抽出処理と、第１抽出処理によって抽出された複数の画像から、該複数の画像の画像評価度に基づいて期間を代表する１つの代表画像を各期間についてそれぞれ抽出する第２抽出処理と、各期間についての期間を示す情報と、当該期間に対応する代表画像と、当該期間の代表画像に関する情報とを関連付けた撮影履歴情報を生成する撮影履歴情報生成処理と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、ユーザ操作に基づく操作履歴情報がなくても、適切な代表画像を選ぶことができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態による電子カメラの構成例を説明するブロック図である。
【図２】撮影履歴情報の生成処理の流れを説明するフローチャートである。
【図３】代表画像の抽出処理の詳細を説明するフローチャートである。
【図４】電子カメラの背面図である。
【図５】登録撮影を説明する図である。
【図６】ダイジェスト表示を例示する図である。
【図７】ダイジェスト表示を例示する図である。
【図８】ダイジェスト表示を例示する図である。
【図９】ダイジェスト表示を例示する図である。
【図１０】操作メニュー画面を例示する図である。
【図１１】ダイジェスト表示処理の流れを説明するフローチャートである。
【図１２】変形例２を説明する図である。
【図１３】コンピュータ装置を例示する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による電子カメラ１の構成例を説明するブロック図である。図１において、電子カメラ１は、撮影光学系１１と、撮像素子１２と、ＡＦＥ(Analog front end)回路１３と、画像処理回路１４と、スピーカ駆動回路１５と、スピーカ１６と、ＬＣＤモニタ１７と、ＲＡＭ１８と、フラッシュメモリ１９と、ＣＰＵ２０と、メモリカードインターフェース(I/F)２１と、電源制御回路２２と、操作部材２３と、ＧＰＳ装置２５とを備える。
【０００９】
ＣＰＵ２０、ＲＡＭ１８、フラッシュメモリ１９、メモリカードインターフェース２１、電源制御回路２２、画像処理回路１４、スピーカ駆動回路１５、ＬＣＤモニタ１７、ＧＰＳ装置２５は、それぞれがバス２４を介して接続されている。
【００１０】
撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮影光学系１１を単レンズとして図示している。
【００１１】
撮像素子１２は、その受光面に受光素子が二次元配列されたＣＣＤイメージセンサやＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮影光学系１１を通過した光束による被写体像を光電変換してアナログ画像信号を生成する。アナログ画像信号は、ＡＦＥ回路１３に入力される。
【００１２】
ＡＦＥ回路１３は、アナログ画像信号に対して相関二重サンプリングやゲイン調整などのアナログ処理を行うとともに、アナログ処理後の画像信号をデジタル画像データに変換する。デジタル画像データは画像処理回路１４に入力される。画像処理回路１４は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理、画像圧縮処理、画像伸張処理など）を施す。
【００１３】
スピーカ駆動回路１５は、ＣＰＵ２０から送出された音声データに基づいて、たとえば操作音、音楽、音声メッセージなどの音声再生信号を生成する。スピーカ１６は、音声再生信号に基づいて音声再生を行う。
【００１４】
ＬＣＤモニタ１７は液晶パネルによって構成され、ＣＰＵ２０からの指示に応じて画像や操作メニュー画面などを表示する。ＲＡＭ１８はＣＰＵ２０のワークメモリとして使用される。また、ＲＡＭ１８は、画像処理回路１４による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する。フラッシュメモリ１９は、ＣＰＵ２０に実行させるプログラムを記憶する。
【００１５】
ＣＰＵ２０は、フラッシュメモリ１９が記憶するプログラムを実行することによって電子カメラ１が行う動作を統括的に制御する。ＣＰＵ２０は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、スルー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求めるコントラスト検出方式を用いる。スルー画像は、撮影指示前に撮像素子１２によって所定の時間間隔（たとえば３０コマ／毎秒）で繰り返し取得されるモニタ用画像のことをいう。
【００１６】
メモリカードインターフェース２１はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記憶媒体５１が接続される。メモリカードインターフェース２１は、接続された記憶媒体５１に対するデータの書き込みや、記憶媒体５１からのデータの読み込みを行う。記憶媒体５１は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【００１７】
電源制御回路２２は、ＣＰＵ２０からの指示に応じて撮像素子１２、ＬＣＤモニタ１７、およびＬＣＤモニタ１７のバックライト（不図示）を始めとするカメラ内各ブロックに対する電力の供給／遮断を制御する。
【００１８】
操作部材２３は、後述するレリーズボタン２３ａ、ズームスイッチ２３ｂ  ２３ｃ、十字スイッチ２３ｇ、メニュースイッチ２３ｅなどを含む。操作部材２３は、モード切替え操作やメニュー選択操作など、各操作に応じた操作信号をＣＰＵ２０へ送出する。
【００１９】
ＧＰＳ装置２５は、ＣＰＵ２０からの指示に応じてＧＰＳ衛星からの電波を受信し、受信信号をＣＰＵ２０へ出力する。ＣＰＵ２０は、ＧＰＳ装置２５からの受信信号に基づいて所定の演算を行い、電子カメラ１の測位情報（緯度、経度、高度）を検出する。
【００２０】
電子カメラ１は、撮影時に撮像素子１２で取得された画像信号に所定の画像処理および圧縮処理を施し、圧縮処理後の画像データに、測位情報、および当該撮影画像に関する情報などを含む付加情報を付加した画像ファイルを生成するように構成されている。具体的には、JPEG形式の画像データを画像データ部に格納し、付加情報を付加情報部に格納したＥｘｉｆ形式の画像ファイルを生成する。Ｅｘｉｆ形式の画像ファイルは、JPEG画像フォーマットの画像データ内にサムネイル画像や付加情報データを埋め込むようにしたものである。生成した画像ファイルは、記録媒体５１に記録される。
【００２１】
また、電子カメラ１は撮影モードと再生モードとが切替え可能に構成される。撮影モードは、被写体像を撮影し、撮影画像のデータを記録媒体５１に画像ファイルとして保存する動作モードである。再生モードは、撮影済みの画像データを記録媒体５１から読み出すなどして、画像データによる再生画像をＬＣＤモニタ１７に表示するモードである。
【００２２】
＜撮影履歴情報の生成＞
本実施形態の電子カメラ１は、撮影履歴情報を生成する機能を備える。撮影履歴情報は、該カメラによる撮影画像のダイジェストを表示するための情報である。電子カメラ１のＣＰＵ２０は、撮影画像を撮影日に基づいて所定期間ごとの画像群に分け、該画像群ごとに代表画像を抽出し、代表画像に関する撮影情報などを該代表画像に関連づけてフラッシュメモリ１９へ記録する。
【００２３】
本実施形態は、上記撮影履歴情報の生成、および生成した撮影履歴情報に基づいて撮影画像のダイジェストをＬＣＤモニタ１７に表示する点に特徴を有するので、以降の説明は撮影履歴情報の生成、表示に必要な処理を中心に行う。
【００２４】
図２は、ＣＰＵ２０が実行する撮影履歴情報の生成処理の流れを説明するフローチャートである。ＣＰＵ２０は、たとえば、暦の月が変わって最初に電子カメラ１が使用された場合の使用後において、該カメラ１の電源オフ処理時に（具体的には、電源スイッチのオフ操作に応じて所定の電源オフ処理を行った後であって、電源制御回路２２による電源供給を停止する前）、図２による処理を開始する。
【００２５】
図２のステップＳ１１において、ＣＰＵ２０は、記録媒体５１内に記録されている撮影画像のファイルから各画像の撮影日時の情報を抽出してステップ１２へ進む。ステップＳ１２において、ＣＰＵ２０は、全ての画像ファイルについて撮影日時情報を抽出したか否かを判定する。撮影日時情報の抽出は、図２の処理を前回行った以降に撮影した新規撮影分について行えばよい。ＣＰＵ２０は、全ての画像ファイルについて撮影日時情報を抽出した場合にステップＳ１２を肯定判定してステップＳ１３へ進む。ＣＰＵ２０は、撮影日時情報を抽出していない画像ファイルが存在する場合にステップＳ１２を否定判定してステップＳ１１へ戻る。
【００２６】
ステップＳ１３〜Ｓ１５、Ｓ２１およびＳ２２では期間の設定を行う。ステップＳ１３において、ＣＰＵ２０は、一ヶ月に一度は撮影が行われたか否かを判定する。ＣＰＵ２０は、たとえば、直近の一ヶ月に撮影している場合にステップＳ１３を肯定判定してステップＳ２１へ進み、撮影していない場合にはステップＳ１３を否定判定し、ステップＳ１４へ進む。ＣＰＵ２０は、ステップＳ２１において期間を一ヶ月としてステップＳ１６へ進む。
【００２７】
ステップＳ１４において、ＣＰＵ２０は、二ヶ月に一度は撮影したか否かを判定する。ＣＰＵ２０は、たとえば、直近の二ヶ月において撮影している場合にステップＳ１４を肯定判定してステップＳ２２へ進み、撮影していない場合にはステップＳ１４を否定判定し、ステップＳ２２へ進む。ＣＰＵ２０は、ステップＳ２２において期間を二ヶ月としてステップＳ１６へ進む。
【００２８】
ステップＳ１５において、ＣＰＵ２０は、期間を三ヶ月としてステップＳ１６へ進む。なお、本例では期間を一ヶ月〜三ヶ月に設定する例を示したが、これより広い半年や一年の期間を設定するように構成しても構わないし、これより狭い一週間の期間を設定するようにしても構わない。
【００２９】
ステップＳ１６において、ＣＰＵ２０は、撮影画像を上記設定した期間ごとに分類してステップＳ１７へ進む。分類は、上記期間ごとに設けたフォルダ内に画像ファイルを格納しなくても、フラッシュメモリ１９の履歴用記録エリア内に管理テーブルを作成し、該テーブルに画像ファイルと期間とを対応づける情報を格納するだけでもよい。
【００３０】
ステップＳ１７において、ＣＰＵ２０は代表画像の抽出処理を行ってステップＳ１８へ進む。抽出処理は、上記期間ごとに分類された画像群を代表する１コマの撮影画像を選ぶ処理である。抽出処理の詳細については後述する。
【００３１】
ステップＳ１８において、ＣＰＵ２０は、代表画像として抽出した撮影画像のファイルを開き、当該ファイルの本画像のデータサイズを小さく縮小化した縮小画像データ（縮小代表画像）を生成してステップＳ１９へ進む。縮小代表画像のサイズは、ＬＣＤモニタ１７の画面解像度に応じたサイズである。なお、履歴用記録エリアの容量に余裕がある場合は、縮小画像データの生成を省略してもよい。
【００３２】
ステップＳ１９において、ＣＰＵ２０は、期間を示す情報と、縮小代表画像と、縮小代表画像に関する情報（たとえば、撮影日時情報（タイムゾーン情報を含む）、撮影地点情報、撮影時のカメラ設定情報（焦点距離、絞り値、被写体距離、AF設定エリア情報を含む）、撮影シーン情報、文字情報）とを関連づけた撮影履歴情報を生成し、該撮影履歴情報をフラッシュメモリ１９の履歴用記録エリア内へ記録してステップＳ２０へ進む。
【００３３】
撮影履歴情報は、記録媒体５１内の画像ファイルとは別にフラッシュメモリ１９内に記録するものであり、記録媒体５１内の画像ファイルに比べて非常にデータサイズが小さい。このため、別個の記録媒体５１に記録されている複数の画像ファイルに基づいて生成した撮影履歴情報を、１つにまとめてフラッシュメモリ１９の履歴用記録エリア内へ記録することが可能である。なお、一旦フラッシュメモリ１９に記録した撮影履歴情報は、通常は消去しない。すなわち、記録媒体５１内の撮影画像ファイルを削除（他の記録媒体へのリムーブを含む）したとしても、削除した画像ファイルに基づいて生成した撮影履歴情報は保持するように構成される。
【００３４】
ステップＳ２０において、ＣＰＵ２０は、設定した全ての期間について撮影履歴情報を記録したか否かを判定する。ＣＰＵ２０は、設定した全期間についてそれぞれの撮影履歴情報を記録した場合にステップＳ２０を肯定判定して図２による処理を終了する。ＣＰＵ２０は、撮影履歴情報を記録していない期間が存在する場合には、ステップＳ２０を否定判定してステップＳ１７へ戻り、上述した処理を繰り返す。
【００３５】
＜代表画像の抽出処理＞
代表画像の抽出処理の詳細について、図３に例示するフローチャートを参照して説明する。図３のステップＳ１７１において、ＣＰＵ２０は、記録媒体５１内に記録されている撮影画像ファイルから各画像を読出して、読出した画像に対して被写体認識処理を行う。ＣＰＵ２０は、たとえば、テンプレートマッチングなどの公知の技術を用いることにより、「風景」、「ポートレート」、「料理」、「花」、「犬」、「夕焼け」、「結婚式」などの撮影シーンを判定するために必要な認識処理を行う。テンプレートデータは、あらかじめフラッシュメモリ１９内に記録されている。なお、画像に対する被写体認識処理は、該画像の撮影時に行うようにしてもよい。
【００３６】
判定シーンが「風景」の場合には、画像に写っている被写体が「山」、「街角」、「海」、「日本の被写体」等の推定を行う。被写体推定は、例えば、テンプレートマッチングにより行う。「街角」の推定には、たとえば、建造物のテンプレートデータを用いる。
【００３７】
本実施形態ではさらに、判定シーンが「ポートレート」の場合には、画像に写っている「顔」から性別の推定や、概年齢の推定を行う。これらの推定は公知の顔属性推定技術を用いる。また、写っている「顔」をあらかじめ電子カメラ１に登録されている「顔」と比較することによって個人認証（識別）も行う。顔識別処理は、例えば、公知の識別技術を用いる。
【００３８】
電子カメラ１が「顔」の識別に用いる参照用データは、フラッシュメモリ１９内に記録（登録）することができる。登録手順については後述する。
【００３９】
ステップＳ１７２において、ＣＰＵ２０はシーン判定を行ってステップＳ１７３へ進む。ＣＰＵ２０は、上記被写体認識結果を用いて「風景」、「ポートレート」、「料理」、「花」、「犬」、「夕焼け」、「結婚式」などから１つを判定する。
【００４０】
ステップＳ１７３において、ＣＰＵ２０は、全ての画像ファイルについてシーン判定したか否かを判定する。ＣＰＵ２０は、全ての画像ファイルについてそれぞれの撮影シーン判定をした場合にステップＳ１７３を肯定判定してステップＳ１７４へ進む。ＣＰＵ２０は、シーン判定していない画像ファイルが存在する場合には、ステップＳ１７３を否定判定してステップＳ１７１へ戻り、上述した処理を繰り返す。
【００４１】
ステップＳ１７４において、ＣＰＵ２０は、設定した期間に分類されている画像群の中で、撮影場所の頻度が特に低い画像の有無を判定する。撮影場所の特定は、上記付加情報データに含まれる測位情報に基づいて生成される撮影地点情報に基づく。ＣＰＵ２０は、電子カメラ１がこれまでに撮影した全画像の平均的な撮影場所に比べて、特異な撮影場所（たとえば、大半の画像がＡ地域で撮影されているのに対し、ある期間にのみＢ地域で撮影された画像が含まれる）の撮影画像が当該期間に分類されている場合に、ステップＳ１７４を肯定判定してステップＳ１７５へ進む。ＣＰＵ２０は、当該期間に分類されている画像の撮影場所が全画像の平均的な撮影場所と一致する場合にはステップＳ１７４を否定判定してステップＳ１７６へ進む。上記平均的な撮影場所は、ユーザが手動で設定する（たとえば、家の位置を設定する）ように構成してもよい。
【００４２】
ステップＳ１７５において、ＣＰＵ２０は、当該期間に分類されている画像群のうち、該当する画像群（すなわち、特異的な撮影場所で撮影された画像群）を代表画像の抽出元（候補）としてステップＳ１７６Ｂへ進む。ステップＳ１７６において、ＣＰＵ２０は、当該期間に分類されている画像群のうち、最多撮影日に撮影された画像群（すなわち、１日のうちで最も数多く撮影された画像群）を代表画像の抽出元（候補）としてステップＳ１７６Ｂへ進む。ステップＳ１７６Ｂにおいて、ＣＰＵ２０は、ステップＳ１７５またはステップＳ１７６による画像群で、最多撮影シーンの撮影画像を代表画像の抽出元（候補）としてステップＳ１７７へ進む。
【００４３】
ステップＳ１７７において、ＣＰＵ２０は、抽出元（候補）とした画像群に対して判定されている（Ｓ１７２）撮影シーンに応じた抽出基準に基づいて、候補とした画像群の中から代表画像を抽出してステップＳ１７８へ進む。
【００４４】
抽出基準は以下の通りである。
１．判定シーンが「風景」の場合は、画像群の中で画像が有する空間周波数が最も高い画像を選ぶ。空間周波数が等しい画像が複数存在する場合は、撮影時の絞りが小さい（小径絞り）方の画像を選ぶ。
【００４５】
２．判定シーンが「ポートレート」の場合で、個人を識別した場合は、画像群の中で識別した人物の「顔」領域の大きさが最大の画像を選ぶ。「顔」領域の大きさが等しい画像が存在する場合は、「顔」領域の明るさが適切（画素信号値が所定の範囲内にあってオーバーでもアンダーでもない）な画像を選ぶ。「顔」領域の明るさが適切な画像が複数存在する場合は、「顔」領域の空間周波数が最も高い画像を選ぶ。
【００４６】
なお、判定シーンが「ポートレート」の場合で、個人を識別していない場合は、画像群の中で人物の「顔」領域の大きさが最大の画像を選ぶ。「顔」領域の大きさが等しい画像が存在する場合は、「顔」領域の明るさが適切（画素信号値が所定の範囲内にあってオーバーでもアンダーでもない）な画像を選ぶ。「顔」領域の明るさが適切な画像が複数存在する場合は、「顔」領域の空間周波数が最も高い画像を選ぶ。
【００４７】
３．判定シーンが「料理」の場合は、画像群の中で画像が有する空間周波数が最も高い画像を選ぶ。空間周波数が等しい画像が存在する場合は、色が広範囲に分布しているものを選ぶ。具体的には、画面内の異なるポイント（たとえば２０ポイント）ごとに対応する画素信号の色成分比率（たとえば、ＲＧＢ成分比率）を求め、画面内で比率のばらつきが最も大きい画像を選ぶ。
【００４８】
判定シーンが「花」、「犬」、「夕焼け」、「結婚式」などの場合も、画像群の中で画像が有する空間周波数が最も高い画像を選ぶ。空間周波数が等しい画像が存在する場合は、撮影時の絞りが小さい（小径絞り）方の画像を選ぶ。
【００４９】
ステップＳ１７７において、ＣＰＵ２０は、全ての期間から代表画像を抽出したか否かを判定する。ＣＰＵ２０は、設定した各期間からそれぞれ代表画像を抽出した場合にステップＳ１７８を肯定判定して図３による処理を終了する。ＣＰＵ２０は、代表画像を抽出していない期間が存在する場合には、ステップＳ１７８を否定判定してステップＳ１７４へ戻り、上述した処理を繰り返す。
【００５０】
＜登録撮影処理＞
上述した「顔」の識別に用いる参照用データの登録手順について説明する。図４は、電子カメラ１の背面図である。電子カメラ１の背面には、ＬＣＤモニタ１７と、ズームスイッチ２３ｂ（Ｔ）と、ズームスイッチ２３ｃ（Ｗ）と、モードスイッチ２３ｄと、メニュースイッチ２３ｅと、削除スイッチ２３ｆと、十字スイッチ２３ｇと、ＯＫスイッチ２３ｈとが設けられている。
【００５１】
ＣＰＵ２０は、メニュースイッチ２３ｅが押下操作されると、図４に例示する「操作メニュー」画面をＬＣＤモニタ１７に表示させる。  「操作メニュー」には、「ダイジェスト表示設定」項目４１と、「登録撮影」項目４２とが含まれる。ＣＰＵ２０は、「操作メニュー」画面を表示中に十字スイッチ２３ｇが上下方向に押下操作されると、操作信号に応じて選択項目を上下に変更する。ＣＰＵ２０は、「登録撮影」項目４２を選択した状態で十字スイッチ２３ｇが右方向に押下操作されると、ＬＣＤモニタ１７に図５に例示するアシスト枠Ｇを表示させて、登録撮影操作を受けつける。
【００５２】
ＣＰＵ２０は、撮像素子１２によって所定のフレームレート（たとえば３０fps）で撮像されている画像（いわゆるスルー画像）をＬＣＤモニタ１７に表示させるとともに、アシスト枠Ｇを表示中の画像に重ねて表示させる。撮影者は、登録しようとする被写体人物の顔がアシスト枠Ｇ内に収まるように電子カメラ１を構える。
【００５３】
ＣＰＵ２０は、レリーズボタン２３ａが全押し操作された場合に撮影処理を行う。ＣＰＵ２０はさらに、取得した画像データのうちアシスト枠Ｇ内に対応するデータに基づいて顔検出処理を行い、顔を検出した場合に、新たな人物の「顔」として参照用データをフラッシュメモリ１９に記録（登録）する。
【００５４】
具体的には、アシスト枠Ｇ内に対応する画像データに基づいてサムネイル画像データを生成し、上記画像データに基づいて特徴量データを生成する。そして、サムネイル画像データおよび特徴量データを含む参照用データをフラッシュメモリ１９に記録する。この参照用データは、「顔」の識別の際に登録されている「顔」を示す情報として、写っている「顔」との比較に用いられる。
【００５５】
＜ダイジェスト表示＞
撮影履歴情報を用いたダイジェスト表示を説明する。図６は、ダイジェスト表示を例示する図である。図６において、４つの期間を代表する代表画像がＬＣＤモニタ１７に一覧表示されている。図６の例では、表示中の各期間は一ヶ月であるが、期間によって長さが異なる場合もある。代表画像の近傍には、代表画像に対応する期間を示す表示（撮影年月）が表示される。
【００５６】
図６の一覧表示中に十字スイッチ２３ｇが右方向に押下操作されると、ＣＰＵ２０は、図７に例示するように表示中の代表画像をスクロールさせる。図７によれば、図６において表示されていなかった期間（２００８．１２）が新たに右端に表示される。ＣＰＵ２０は、十字スイッチ２３ｇが左方向に押下操作された場合には、反対方向へスクロールさせる。なお、図６および図７では１画面に４枚の代表画像を表示する場合を例示しているが、１画面当たりの表示画像数は４枚に限らず、９枚でも１６枚でも構わない。
【００５７】
図８は、他のダイジェスト表示（スライドショー表示）を例示する図である。図８において、１つの期間（２００８．１１）を代表する代表画像がＬＣＤモニタ１７に表示されている。図８の例では、表示中の期間は一ヶ月である。代表画像の近傍には、代表画像に対応する期間を示す表示（撮影年月）と、対応する文字情報（本例では「おいしそう *^_^*」）が表示される。
【００５８】
文字情報は、あらかじめ撮影シーンに対応させてフラッシュメモリ１９に記録しておいた所定の文字情報データに基づく。たとえば、「料理」の撮影シーンに対応させて「おいしそう *^_^*」を表示するためのデータを記録しておく。ＣＰＵ２０は、判定シーンが「料理」である代表画像を表示する場合、対応する文字情報を表示させる。
【００５９】
図８の表示から所定時間（インターバル時間と呼ぶ）が経過すると、電子カメラ１のＣＰＵ２０は、図８の表示画像に代えて図９の表示画像をＬＣＤモニタ１７に表示させる。図９の例では、図８に表示されていた期間（２００８．１１）の次の期間（２００８．１２）について代表画像が表示されている。代表画像の近傍には、代表画像に対応する期間を示す表示（撮影年月）と、対応する文字情報（本例では「○△島 (^_^)v」）が表示される。スライドショー表示の場合、表示中に所定の音楽をＢＧＭとしてスピーカ１６から再生する。
【００６０】
ダイジェスト表示を一覧表示で行うか、あるいはスライドショー表示で行うかは、あらかじめメニュー処理において設定される。また、スライドショー表示の際に表示画像を更新する上記インターバル時間、インターバル時間が経過後に隣接する間を表示するか、あるいはランダムに選んだ期間を表示するかについても、それぞれメニュー処理において設定される。
【００６１】
ＣＰＵ２０は、図４に例示した「操作メニュー」画面を表示中に、「ダイジェスト表示設定」項目４１を選択した状態で十字スイッチ２３ｇが右方向に押下操作されると、図１０に例示する「ダイジェスト表示設定」画面をＬＣＤモニタ１７に表示させる。「ダイジェスト表示設定」画面には、「表示形式」項目１０１と、「インターバル設定」項目１０２と、「ＢＧＭ設定」項目１０３とが含まれる。
【００６２】
ＣＰＵ２０は、「表示形式」項目１０１を選択した状態で十字スイッチ２３ｇが右方向に押下操作されると、ダイジェスト表示を一覧表示で行うか、あるいはスライドショー表示で行うかの選択操作や、ダイジェスト表示を開始させる操作を受け付ける。
【００６３】
ＣＰＵ２０は、「インターバル設定」項目１０２を選択した状態で十字スイッチ２３ｇが右方向に押下操作されると、インターバル時間の設定操作を受け付ける。ＣＰＵ２０はさらに、「ＢＧＭ設定」項目１０３を選択した状態で十字スイッチ２３ｇが右方向に押下操作されると、ダイジェスト表示中にＢＧＭとしてスピーカ１６から再生するサウンドファイルの選択操作を受け付ける。
【００６４】
図１１は、上述したようにメニュー設定されたＣＰＵ２０が実行するダイジェスト表示処理の流れを説明するフローチャートである。ＣＰＵ２０は、ダイジェスト表示の開始指示が行われると、図１１による処理を開始させる。図１１のステップＳ５１において、ＣＰＵ２０は表示形式を判定する。ＣＰＵ２０は、メニュー処理において「一覧表示」が設定されている場合にステップＳ５２へ進み、メニュー処理において「スライドショー表示」が設定されている場合にはステップＳ５６へ進む。
【００６５】
ステップＳ５２において、ＣＰＵ２０は、撮影履歴情報に基づいて図６、図７に例示した一覧表示を行ってステップＳ５３へ進む。ステップＳ５３において、ＣＰＵ２０は、スクロール操作の有無を判定する。ＣＰＵ２０は、十字スイッチ２３ｇが左方向または右方向に押下操作された場合には、ステップＳ５３を肯定判定してステップＳ５４へ進む。ＣＰＵ２０は、十字スイッチ２３ｇが左方向または右方向に押下操作されない場合には、ステップＳ５３を否定判定してステップＳ５５へ進む。
【００６６】
ステップＳ５４において、ＣＰＵ２０は、十字スイッチ２３ｇの押下操作方向に応じて表示画像をスクロールさせてステップＳ５５へ進む。ステップＳ５５において、ＣＰＵ２０は終了操作が行われたか否かを判定する。ＣＰＵ２０は、ダイジェスト表示を終了させる操作（たとえば、ＯＫスイッチ２３ｈの押下操作）が行われた場合にステップＳ５５を肯定判定して図１１による処理を終了する。ＣＰＵ２０は、ダイジェスト表示を終了させる操作（たとえば、ＯＫスイッチ２３ｈの押下操作）が行われない場合には、ステップＳ５５を否定判定してステップＳ５２へ戻り、上述した処理を繰り返す。
【００６７】
ステップＳ５６において、ＣＰＵ２０は、撮影履歴情報から所定の期間の縮小代表画像を読出してステップＳ５７へ進む。「期間」の初期値は、たとえば最古のものとし、不図示のメニュー処理において指定されている場合は、指定された「期間」についての縮小代表画像を読出す。
【００６８】
ステップＳ５７において、ＣＰＵ２０は、撮影履歴情報に基づいて図８、図９に例示したスライドショー表示を行ってステップＳ５８へ進む。ステップＳ５８において、ＣＰＵ２０は、タイムアップしたか否かを判定する。ＣＰＵ２０は、設定されているインターバル時間が経過した場合にステップＳ５８を肯定判定してステップＳ５９へ進む。ＣＰＵ２０は、設定されているインターバル時間が経過していない場合には、ステップＳ５８を否定判定してステップＳ６０へ進む。
【００６９】
ステップＳ５９において、ＣＰＵ２０は、撮影履歴情報から次の期間の縮小代表画像を読出してステップＳ５７へ戻る。ステップＳ５７へ戻る場合はスライドショー表示を繰り返す。次の「期間」は、現在表示中の「期間」に隣接する新しい「期間」とし、不図示のメニュー処理においてランダム選択することが指定されている場合は、ランダムに選択した「期間」についての縮小代表画像を読出す。
【００７０】
ステップＳ６０において、ＣＰＵ２０は終了操作が行われたか否かを判定する。ＣＰＵ２０は、ダイジェスト表示を終了させる操作（たとえば、ＯＫスイッチ２３ｈの押下操作）が行われた場合にステップＳ６０を肯定判定して図１１による処理を終了する。ＣＰＵ２０は、ダイジェスト表示を終了させる操作（たとえば、ＯＫスイッチ２３ｈの押下操作）が行われない場合には、ステップＳ６０を否定判定してステップＳ５８へ戻り、上述した処理を繰り返す。
【００７１】
以上説明した実施形態によれば、以下の作用効果を奏する。
（１）電子カメラ１のＣＰＵ２０は、複数の画像を各画像の撮影日に基づいて所定期間ごとのグループに分類する分類処理（ステップＳ１６）と、分類処理によって分類されたグループから、該グループ内の画像の使用者価値度に基づいて期間を代表する複数の画像を各期間についてそれぞれ抽出する第１抽出処理（ステップＳ１７４−Ｓ１７６）と、第１抽出処理によって抽出された複数の画像から、該複数の画像の画像評価度に基づいて期間を代表する１つの代表画像を各期間についてそれぞれ抽出する第２抽出処理（ステップＳ１７７）と、各期間についての期間を示す情報と、当該期間に対応する代表画像と、当該期間の代表画像に関する情報とを関連付けた撮影履歴情報を生成する撮影履歴情報生成処理（ステップＳ１９）と、を実行するようにしたので、画像の閲覧操作や印刷操作などのユーザ操作に基づく操作履歴情報がなくても、適切な代表画像を抽出できる。  
【００７２】
また、各期間についての期間を示す情報と、当該期間に対応する代表画像と、当該期間の代表画像に関する情報とを関連付けて撮影履歴情報を生成するので、元の画像が削除された場合でも撮影履歴情報を残しておくことが可能になる。
【００７３】
（２）上記（１）の第１抽出処理は、分類前の全ての画像の平均的な撮影位置に対して特異な撮影位置で撮影された画像がグループ内に存在する場合は該特異な撮影位置で撮影された複数の画像を抽出し、特異な撮影位置で撮影された画像がグループ内に存在しない場合は該グループ内において最多撮影日に撮影された複数の画像を抽出するようにしたので、旅行に出かけた画像が存在する場合は、旅行中の撮影画像が抽出されるようになる。
【００７４】
（３）上記（１）の第２抽出処理は、画像の撮影シーンを判定するシーン判定処理（ステップＳ１７２）を含み、判定した撮影シーンに応じた所定の判定基準に基づいて、第１抽出処理によって抽出されている複数の画像から１つの画像を抽出するようにしたので、たとえば、判定シーンが「風景」の場合と「ポートレート」の場合とで異なる基準で抽出することができる。
【００７５】
（４）ＣＰＵ２０はさらに、撮影履歴情報に基づいて、期間を代表する再生画像を各期間についてそれぞれ表示するための表示処理（図１１）を行うようにしたので、上述したように抽出した代表画像を期間ごとに再生表示させることができる。
【００７６】
（５）上記（４）の表示処理は、代表画像に対応する期間、代表画像の撮影位置、代表画像について判定されている撮影シーン、該撮影シーンに対応する所定の文字情報を示す表示を含めたので、再生表示画像の観察者は、期間ごとの代表画像の画像ファイルを新たに読み出すことなしに、再生表示されている内容から思い出を振り返ることができる。
【００７７】
（６）第２抽出処理によって抽出された代表画像の縮小サイズ画像を生成する代表縮小画像生成処理（ステップＳ１８）を行うことにより、撮影履歴情報の代表画像を縮小サイズ画像にしたので、歴代の代表縮小画像を全て含めた場合でも撮影履歴情報全体のデータサイズが抑えられる。これにより、演算に要する時間短縮と、履歴用記録エリアの使用容量の節約とを実現できる。
【００７８】
＜画像の使用者価値度判定について＞
上述したステップＳ１７４において、ＣＰＵ２０は、電子カメラ１がこれまでに撮影した全画像の平均的な撮影場所に比べて、特異な撮影場所の撮影画像を抽出するようにした。特異な撮影場所の撮影画像はユーザにとって思い入れの深い画像、すなわち使用者価値度の高い画像であると判定する。これに対して、電子カメラ１がこれまでに撮影した全画像の平均的な撮影場所の撮影画像は、特異な撮影場所の撮影画像と比べると使用者価値度の低い画像であると判定する。
【００７９】
また、上述したステップＳ１７６において、ＣＰＵ２０は、当該期間に分類されている画像群のうち、最多撮影日に撮影された画像群（すなわち、当該期間のうち、最も数多くの画像が撮影された日に含まれる画像）を代表画像の抽出元とするようにした。最多撮影日に撮影された画像群に含まれる画像は、使用者価値度の高い画像であると判定する。これに対して、最多撮影日以外の日に撮影された画像は、最多撮影日に撮影された画像と比べると使用者価値度の低い画像であると判定する。
なお、画像の使用者価値度を判定する基準として、付加情報データに含まれる測位情報に基づいて生成される撮影地点情報などを用いたが、これに限るものではなく、画像の使用者価値度を判定できる基準であればよい。
【００８０】
＜画像の画像評価度判定について＞
上述したステップＳ１７６Ｂにおいて、ＣＰＵ２０は、最多撮影シーンの撮影画像を代表画像の抽出元とするようにした。そして、上述したステップＳ１７７において、抽出元（候補）とした画像群に対して判定されている撮影シーンに応じた抽出基準に基づいて、候補とした画像群の中から代表画像を抽出するようにした。これにより、抽出元（候補）とした画像群の中から画像評価度の高い画像を代表画像とすることができる。
【００８１】
（変形例１）
図８および図９に例示したスライドショー表示において、代表画像の他に所定の背景パターンを表示させるように構成してもよい。そして、背景パターン表示に用いるデータを格納する背景パターンファイルを、ＢＧＭ再生するサウンドファイルを選択する場合と同様に、期間ごとに選択可能に構成してもよい。
【００８２】
（変形例２）
スライドショー表示において表示する背景パターン、およびＢＧＭ再生するサウンドファイルを、共通の撮影シーンが判定されている期間の間で揃えてもよい。図１２は、変形例２を説明する図である。ＣＰＵ２０は、判定された撮影シーンが「料理」である期間について代表画像を表示する際、背景パターンファイルＦ１とし、ＢＧＭ再生するサウンドファイルをＳ１とする。
【００８３】
また、ＣＰＵ２０は、判定された撮影シーンが「花」である期間について代表画像を表示する際、背景パターンファイルＦ２とし、ＢＧＭ再生するサウンドファイルをＳ２とする。同様に、ＣＰＵ２０は、判定された撮影シーンが「Ａ子」である期間について代表画像を表示する際、背景パターンファイルＦ３とし、ＢＧＭ再生するサウンドファイルをＳ３とする。
【００８４】
たとえば、撮影シーンが「花」である４つの期間（２００８．８〜２００８．１１）のうちいずれかの期間に対して背景パターンファイルの選択操作、またはサウンドファイルの選択操作が行われた場合、撮影シーンが「花」である他の期間に対しても、共通の背景パターンファイル、サウンドファイルを選ぶ。
【００８５】
（変形例３）
撮影シーンに対応させた所定の文字情報を表示する場合に、ダイジェスト表示を観察する観察者に応じて文字情報を異ならせてもよい。たとえば、電子カメラ１にユーザ情報として年齢や性別を登録するように構成し、該ユーザ情報をフラッシュメモリ１９に保存しておく。
【００８６】
変形例３のＣＰＵ２０は、撮影シーンに対応する文字情報を表示する場合に、ユーザ情報に応じて表示内容を異ならせる。たとえば、「料理」の撮影シーンに対応させて、上述した「おいしそう *^_^*」の他に、「旨い！」や「うまい」を記録しておく。そして、ユーザ情報が女性を示す場合は「おいしそう *^_^*」を表示し、男性の成人を示す場合は「旨い！」を表示し、未成年を示す場合は「うまい」を表示するなどして、ユーザに応じて表現が異なる表示をする。男女間や世代間の言葉遣いの違いに応じて表現を変えたり、大人と子供で平仮名、片仮名、漢字の使用頻度を変えたりすることで、性別や年代別に異なる文字情報を提供できる。
【００８７】
（変形例４）
ユーザ情報に応じて、背景パターンやＢＧＭ再生するサウンドファイルを異ならせてもよい。
【００８８】
（変形例５）
電子カメラ１の場合を例に説明したが、フォトビューアやプロジェクタなどの画像再生機器にも本発明を適用してよい。
【００８９】
（変形例６）
以上の説明では、電子カメラ１のＣＰＵ２０が実行する処理を例に説明したが、上述した撮影履歴情報生成処理（図２、図３）を行う画像処理プログラムを図１３に示すコンピュータ装置２００に実行させることにより、撮影履歴情報生成装置を構成してもよい。プログラムをパーソナルコンピュータ２００に取込んで使用する場合には、パーソナルコンピュータ２００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって撮影履歴情報生成装置として使用する。
【００９０】
パーソナルコンピュータ２００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体２０４をパーソナルコンピュータ２００にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ２００へローディングしてもよい。通信回線２０１を経由する場合は、通信回線２０１に接続されたサーバー（コンピュータ）２０２のハードディスク装置２０３などにプログラムを格納しておく。プログラムは、記録媒体２０４や通信回線２０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００９１】
（変形例７）
変形例６のプログラムを用いて生成された撮影履歴情報を用いて、コンピュータ２００にダイジェスト表示をさせることもできる。この場合は、ダイジェスト表示処理（図１１）を行う画像処理プログラムをコンピュータ装置２００に実行させることにより、ダイジェスト表示装置を構成する。なお、電子カメラ１およびコンピュータ装置２００間を接続して（有線接続でも無線接続でもよい）、電子カメラ１によって生成された撮影履歴情報をコンピュータ装置２００へ送信し、コンピュータ装置２００がダイジェスト表示する構成にしてもよい。
【００９２】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００９３】
１…電子カメラ
１２…撮像素子
１４…画像処理回路
１７…ＬＣＤモニタ
１８…ＲＡＭ
１９…フラッシュメモリ
２０…ＣＰＵ
２１…メモリカードインターフェース
２３…操作部材
２５…ＧＰＳ装置
５１…記憶媒体
【図１】
2010263352.tif 000003
【図２】
2010263352.tif 000004
【図３】
2010263352.tif 000005
【図４】
2010263352.tif 000006
【図５】
2010263352.tif 000007
【図６】
2010263352.tif 000008
【図７】
2010263352.tif 000009
【図８】
2010263352.tif 000010
【図９】
2010263352.tif 000011
【図１０】
2010263352.tif 000012
【図１１】
2010263352.tif 000013
【図１２】
2010263352.tif 000014
【図１３】
2010263352.tif 000015