(57)【要約】【課題】画像を表示するにあたって、表示優先度の高い画像の選択によって、画像グループの代表的な画像を一目で確認できる画像表示装置およびプログラムを提供する。【解決手段】複数の画像から優先的な画像を選択して表示する画像表示装置であって、複数の画像のそれぞれに付与された情報をモニタし、複数の画像の内で最も多くの画像に対して付与されている情報を、第１の情報として検出する第１の判定部４ａと、複数の画像のそれぞれに付与された情報の内で、第１の情報以外の情報を補助情報として検出する第２の判定部４ｂと、第１の情報が付与された画像であり、かつ補助情報を有する画像を優先画像として検出する第３の判定部４ｃと、優先画像を表示する表示部８を有する。【選択図】  図1
2012027678.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像から優先的な画像を選択して表示する画像表示装置において、
上記複数の画像のそれぞれに付与された情報をモニタし、上記複数の画像の内で最も多くの画像に対して付与されている情報を、第１の情報として検出する第１の判定部と、
上記複数の画像のそれぞれに付与された情報の内で、上記第１の情報以外の情報を補助情報として検出する第２の判定部と、
上記第１の情報が付与された画像であり、かつ上記補助情報を有する画像を優先画像として検出する第３の判定部と、
を有することを特徴とする画像表示装置。
【請求項２】
上記補助情報は、上記複数の画像の各々の画像に付与された情報の数のうち、最も多い数であることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
上記補助情報は、上記第１の情報以外の情報を付与されている画像の内で、最も多くの画像に対して付与されている情報であることを特徴とする請求項１に記載の画像表示装置。
【請求項４】
上記第１判定部は、上記複数の画像の内で最も多くの画像に対して付与されている情報が複数有る場合には、画像に重み付けを行い、重み付け後の情報に基づいて判定することを特徴とする請求項１に記載の画像表示装置。
【請求項５】
上記第３判定部は、上記優先画像が予め決められた複数の数に達するまで、優先画像を検出することを特徴とする請求項１に記載の画像表示装置。
【請求項６】
上記第３判定部は、上記第１の情報が付与された画像であり、かつ上記補助情報を有する画像が存在しない場合には、上記第１の情報が付与された画像と、上記補助情報を有する画像を、それぞれ優先画像とすることを特徴とする請求項１に記載の画像表示装置。
【請求項７】
それぞれの画像に情報が付与されている複数の画像を記憶する記憶部と、
上記記憶部に記憶された画像に対して付与されている上記情報の内で、最も多くの画像に付与されている情報を第１の情報として検出する第１の判定部と、
上記記憶部に記憶された画像に対して付与されている画像の内で、最も多くの情報が付与されている画像を補助情報として検出する第２の判定部と、
上記第１の情報と上記補助情報を有する画像を優先画像として検出第２の判定部と、
上記優先画像を表示する表示部と、
を有することを特徴とする画像表示装置。
【請求項８】
それぞれの画像に情報が付与されている複数の画像を記憶する記憶部と、
上記記憶部に記憶された画像から第１の情報を有する画像を検出する第１の判定部と、
上記第１の情報を有する画像を除いた残りの画像から補助情報を検出する第２の判定部と、
上記第１の情報と上記補助情報を有する画像を優先画像として検出する第３の判定部と、
上記第３の判定部によって検出された上記優先画像を表示する表示部と、
を有することを特徴とする画像表示装置。
【請求項９】
複数の画像から優先的な画像を選択して表示するコンピュータ用のプログラムにおいて、
上記複数の画像のそれぞれに付与された情報をモニタし、上記複数の画像の内で最も多くの画像に対して付与されている情報を、第１の情報として検出し、
上記複数の画像のそれぞれに付与された情報の内で、上記第１の情報以外の情報を補助情報として検出し、
上記第１の情報が付与された画像であり、かつ上記補助情報を有する画像を優先画像として検出し、
上記判定された上記優先画像を表示する、
ことをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置およびプログラムに関し、詳しくは、記憶された複数の画像の中から画像を検索して表示する画像表示装置およびプログラムに関する。
【背景技術】
【０００２】
近年、撮影装置のデジタル化が進み、また記憶装置の大容量化に伴って、多数の画像が撮影装置内や撮影装置外の記憶装置に記憶されている。この多数の画像を鑑賞するにあたって、種々の工夫が提案されている。
【０００３】
例えば、特許文献１には、時間軸上に沿って画像を表示すると、画像分布が密である場合、画像が重なったり、小さくなり、ユーザの視認性が低下することがある。そこでこの問題を解決するために、画像の優先性に応じた表示を行うようにした画像管理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９―８０７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述の特許文献１に開示の画像管理装置では、優先順位と時間情報に応じて代表画像が決定され表示されることから、時間軸に沿って画像を鑑賞する場合には、見易くなる。しかし、この画像管理装置では、単に時間の流れに沿った画像が表示されるだけで、興味ある画像が順次表示されるものではない。すなわち、複数の画像が順次表示される際に関連性があり、興味がつながっていくものではなかった。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、画像を表示するにあたって、表示優先度の高い画像の選択によって、画像グループの代表的な画像を一目で確認できる画像表示装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる画像表示装置は、複数の画像から優先的な画像を選択して表示する画像表示装置であって、上記複数の画像のそれぞれに付与された情報をモニタし、上記複数の画像の内で最も多くの画像に対して付与されている情報を、第１の情報として検出する第１の判定部と、上記複数の画像のそれぞれに付与された情報の内で、上記第１の情報以外の情報を補助情報として検出する第２の判定部と、上記第１の情報が付与された画像であり、かつ上記補助情報を有する画像を優先画像として検出する第３の判定部と、を有する。
【０００８】
第２の発明に係わる画像表示装置は、上記第１の発明において、上記補助情報は、上記複数の画像の各々の画像に付与された情報の数のうち、最も多い数である。
第３の発明に係わる画像表示装置は、上記第１の発明において、上記補助情報は、上記第１の情報以外の情報を付与されている画像の内で、最も多くの画像に対して付与されている情報である。
【０００９】
第４の発明に係わる画像表示装置は、上記第１の発明において、上記第１判定部は、上記複数の画像の内で最も多くの画像に対して付与されている情報が複数有る場合には、画像に重み付けを行い、重み付け後の情報に基づいて判定する。
【００１０】
第５の発明に係わる画像表示装置は、上記第１の発明において、上記第３判定部は、上記優先画像が予め決められた複数の数に達するまで、優先画像を検出する。
第６の発明に係わる画像表示装置は、上記第１の発明において、上記第３判定部は、上記第１の情報が付与された画像であり、かつ上記補助情報を有する画像が存在しない場合には、上記第１の情報が付与された画像と、上記補助情報を有する画像を、それぞれ優先画像とする。
【００１１】
第７の発明に係わる画像表示装置は、それぞれの画像に情報が付与されている複数の画像を記憶する記憶部と、上記記憶部に記憶された画像に対して付与されている上記情報の内で、最も多くの画像に付与されている情報を第１の情報として検出する第１の判定部と、上記記憶部に記憶された画像に対して付与されている画像の内で、最も多くの情報が付与されている画像を補助情報として検出する第２の判定部と、上記第１の情報と上記補助情報を有する画像を優先画像として検出第２の判定部と、上記優先画像を表示する表示部と、を有する。
【００１２】
第８の発明に係わる画像表示装置は、それぞれの画像に情報が付与されている複数の画像を記憶する記憶部と、上記記憶部に記憶された画像から第１の情報を有する画像を検出する第１の判定部と、上記第１の情報を有する画像を除いた残りの画像から補助情報を検出する第２の判定部と、上記第１の情報と上記補助情報を有する画像を優先画像として検出する第３の判定部と、上記第３の判定部によって検出された上記優先画像を表示する表示部と、を有する。
【００１３】
第９の発明に係わるプログラムは、複数の画像から優先的な画像を選択して表示するコンピュータ用のプログラムであって、上記複数の画像のそれぞれに付与された情報をモニタし、上記複数の画像の内で最も多くの画像に対して付与されている情報を、第１の情報として検出し、上記複数の画像のそれぞれに付与された情報の内で、上記第１の情報以外の情報を補助情報として検出し、上記第１の情報が付与された画像であり、かつ上記補助情報を有する画像を優先画像として検出し、上記判定された上記優先画像を表示する、ことをコンピュータに実行させる。
【発明の効果】
【００１４】
本発明によれば、画像を表示するにあたって、表示優先度の高い画像の選択によって、画像グループの代表的な画像を一目で確認できる画像表示装置およびプログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態に係わるカメラの電気系を主とする全体構成を示すブロック図である。
【図２】本発明の第１実施形態に係わるカメラにおける優先画像の表示の例を示す図である。
【図３】本発明の第１実施形態に係わるカメラにおいて、優先画像の判定を説明する図である。
【図４】本発明の第１実施形態に係わるカメラの制御動作を示すフローチャートである。
【図５】本発明の第１実施形態に係わるカメラの優先画像判定の動作を示すフローチャートである。
【図６】本発明の第２実施形態に係わるカメラにおいて、優先画像の判定を説明する図である。
【図７】本発明の第２実施形態に係わるカメラの優先画像判定の動作を示すフローチャートである。
【図８】本発明の第２実施形態に係わるカメラにおいて、優先画像の判定を説明する図である。
【図９】本発明の第３実施形態に係わるカメラにおける優先画像の表示の例を示す図である。
【図１０】本発明の第３実施形態に係わるカメラの制御動作を示すフローチャートである。
【図１１】本発明の第３実施形態に係わるカメラの優先画像判定の動作を示すフローチャートである。
【図１２】本発明の第３実施形態に係わるカメラの優先画像判定の動作を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図や撮影タイミングを決定する。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。再生の際に再生モード２（フォトサーフィンモード）が選択されると、画像に付されているタグに基づいて、類似画像を検索し、関連性のある画像を順次表示する。
【００１７】
図１に示すブロック図を用いて、本発明の第１実施形態に係わるカメラ１０の構成について説明する。カメラ１０は、制御部１、撮像部２、顔検出部２ａ、記録部６、時計部７、表示部８、操作部９、ＧＰＳ（Global Positioning System）１１、フラッシュメモリ１２等から構成される。
【００１８】
撮像部２は、撮影レンズ、シャッタ等の露出制御部、撮像素子、撮像素子駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換し、これを出力する。また、撮影レンズのピントは、画像データの高周波成分がピークとなるようにフォーカスレンズを調整することによって行う。なお、本明細書においては、画像データは、撮像素子から出力される画像信号に限らず、制御部１内の画像処理部５等によって処理された画像データ、および記録部６に記録されている画像データ等についても使用する。
【００１９】
顔検出部２ａは、後述する制御部１内の画像処理部５によって画像処理された画像データを入力し、画像の中に顔の部分が含まれているか、また含まれていた場合には、その位置、大きさ、笑顔度を検出し、検出結果を制御部１に出力する。笑顔度は、人物が笑っている程度を示す数値であり、笑顔になると、目じりが下がったり、また口元に歯が見えるので、この変化を検出し数値化する。さらに、顔の特徴が複数登録されている場合には、その複数登録された顔のいずれかと一致するか否かも判定する。また、人物以外にも、猫や犬等の動物の顔であるか否かの判定も行う。
【００２０】
制御部１は、ＣＰＵ（Central Processing Unit：中央処理装置）およびその周辺のハードウエア回路によって構成され、フラッシュメモリ１２等の不揮発性の記憶部に記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。制御部１は、画像整理部３、表示制御部４、画像処理部５を含む。
【００２１】
画像処理部５は、撮像部２から出力された画像データのデジタル的増幅（デジタルゲイン調整処理）、色補正、ガンマ（γ）補正、コントラスト補正、白黒・カラーモード処理、ライブビュー表示用処理といった各種の画像処理を行う。また、撮影画像を記録するために画像圧縮処理を行い、また記録済みの撮影画像を再生表示するために画像伸張処理も行う。
【００２２】
画像整理部３は、後述する顔検出部２ａによって検出された顔情報や、時計部７から取得した日時情報、さらに、ＧＰＳ１１から取得した位置情報等、種々の情報に基づいて、画像を整理する。
【００２３】
表示制御部４は、表示部８にライブビュー表示、撮影時のレックビュー表示、再生表示、およびメニュー画面等の表示制御を行う。ライブビュー表示は、撮像部２によって取得され画像処理部５によってライブビュー表示用に画像処理された画像データを表示部８に表示させる。再生表示は、記録部６内に記録されている画像データを読み出し、表示部８に再生表示させる。
【００２４】
また、再生表示にあたって、後述するように、再生モード２が選択されると、記録部６に記録されている画像データに付与されている情報をモニタし、対応画像が多い情報や多くの情報を付与された画像を検出するための第１判定部４ａ、第２判定部４ｂ、第３判定部４ｃからなる判定部群を有している。その他、上記判定部で判定された画像以外に関しても、同様の付与情報や対応画像数の検出を行うために、画像群の数や代表画像の数に応じて、判定部を増やす必要があるので、第ｎ判定部まで用意してある。表示制御部４は、判定部群による判定結果に基づいて、優先的に表示する画像を決定し、画像表示を行う。
【００２５】
図２に、表示制御部４によって決定された優先的な画像の表示例を示す。すなわち、表示部８に、優先画像２１と、優先画像２１に類似する類似画像２２、２３の組み合わせが表示されている。類似画像としては、優先画像と同じ付与情報を持つ画像が表示される。図２に示す例では、優先画像２１には、母（画像中、一左側の女性）、第１子（画像中、右側の子ども）、および第２子（画像中、真ん中で女性に抱かれた子ども）が写っており、表示部８の中で広い面積をとって表示される。類似画像としては、優先画像２１に写っている第１子が表示された類似画像２３、第２子が表示された類似画像２２が表示される。このように優先画像２１としては、多くの被写体が写っており、かつ種々の類似画像が検索できるような画像が選ばれる。
【００２６】
図１に戻り、操作部９は、カメラ１０の外装に配置されたレリーズ釦、電源釦、再生釦１、再生釦２、メニュー釦等の各種操作部材であり、操作部９は、これらの操作部材に連動するスイッチ等の操作状態を判定し、この判定結果を制御部１に出力する。
【００２７】
表示部８は、制御部１に接続されており、本体の背面等に配置された液晶や有機ＥＬ等のモニタを有し、前述したように、ライブビュー表示や、撮影時のレックビュー表示や、記録部４に記録されている記録画像の表示や、メニュー画面等の制御画面を表示する。また、表示部８にはタッチパネルが設けられており、ユーザがモニタ画面をタッチすると、タッチ位置等の情報が制御部１に出力される。
【００２８】
記録部６は、カメラ本体に脱着自在な記録媒体、若しくは内蔵の記録媒体から構成される。記録部６には、撮像部２から出力され、画像処理部５によって画像処理された静止画や動画の画像データが、付随する情報と共に記録される。時計部７は、計時機能を有し、また日時情報を出力する。撮影時には、この日時情報が画像データと共に記録部６の記録媒体に記録される。
【００２９】
ＧＰＳ１１は、衛星測位システムを利用して、カメラ１０の現在位置に関する情報を出力する。なお、カメラ１０の現在位置を検出できる位置検出装置であれば、ＧＰＳに限られない。例えば、携帯電話の接続地点に関する情報を利用するようにしてもよい。フラッシュメモリ１２は、電気的書き換え可能な不揮発性メモリであり、前述したように、カメラ１０全体を制御するためのプログラムを記憶している。また、フラッシュメモリ１２には、プログラム以外にも、調整値等の種々のデータが記憶されている。
【００３０】
次に、画像整理部３における画像整理と、表示制御部４における優先画像の判定について、図３を用いて説明する。図３は、横軸に画像番号（Ｎｏ）をとり、縦軸に画像毎に付与されている情報をとり、各画像にどのような情報が付与されているか示す一例である。この情報は、画像データにタグ情報として付与されているものを利用する。図３に示す一例においては、画像番号が３１〜４７までの画像であり、付与情報（タグ情報）としては、第１子を示すＤ１、第２子を示すＤ２、母を示すＤ３、猫を示すＤ４が代表例として示してある。なお、第１子、第２子、母、猫は、顔検出部２ａによって検出され、この検出結果は、それぞれの画像データを記録部６に記録する際に、タグ情報として一緒に記録されている。
【００３１】
また、図３に、画像Ｎｏ．３９、４０、４５、４６、４７の各画像を併せて表示する。画像３９は、第２子の画像であることから、付与情報として、第２子を示すＤ２が画像データと共に記録されている。画像４０は、第１子、第２子、母が写っている画像であることから、付与情報として、これらを示すＤ１、Ｄ２、Ｄ３が画像データと共に記録されている。画像４５は、第１子、母、猫が写っている画像であることから、付与情報として、これらを示すＤ１、Ｄ３、Ｄ４が画像データと共に記録されている。画像４６は、第１子、第２子が写っている画像であることから、これらを示すＤ１、Ｄ２が画像データと共に記録されている。画像４７は、第１子が単独で写っている画像であることから、これを示すＤ１が画像データと共に記録されている。
【００３２】
このように、画像整理部３は、画像毎に付与情報がどのように付与されているかを整理する。前述の表示制御部４内の第１判定部４ａは、画像整理部３によって整理された画像の情報を用いて、画像数の多いデータの判定を行う。この判定は、各付与情報に対して、画像数を調べ、最も多い画像に付与されている付与情報を決める。
【００３３】
図３に示した例では、Ｄ１は、画像Ｎｏ．３５、Ｎｏ．４０〜４７に付与されており、合計９画像である。同様に、Ｄ２は、画像Ｎｏ．３１〜４０、Ｎｏ．４６に付与されており、合計１１画像である。Ｄ３は、画像Ｎｏ．３３等に付与されており、合計４画像である。Ｄ４は、画像Ｎｏ．４５に付与されており、合計１画像である。第１判定部４ａは、これらの検出の結果、画像に付与されている一番多いデータは、第２子を示すＤ２であると判定し、これに第１の情報を付与する。
【００３４】
次に、第２判定部４ｂは、画像整理部３によって整理された画像の情報を用いて、画像に付与された情報の多い画像を判定する。この判定は、各画像に対して、付与情報を調べ、最も多い付与情報が付与されている画像を決める。
【００３５】
図３に示した例では、画像Ｎｏ．３１等は１情報、画像Ｎｏ．３３、Ｎｏ．３５、Ｎｏ３７、およびＮｏ．４６は２情報である。また、画像Ｎｏ．４０は、Ｄ１〜Ｄ３で３情報、画像Ｎｏ．４５はＤ１、Ｄ３、Ｄ４で３情報である。したがって、画像Ｎｏ．４０、Ｎｏ．４５が、この中で多いことから、これらの画像に補助情報を付与する。
【００３６】
第３判定部４ｃは、第１判定部４ａによる判定結果と第２判定部４ｂによる判定結果に基づいて、優先画像を決定する。すなわち、第１判定部４ａによって付与情報Ｄ２を持つ画像が一番多く、また、第２判定部４ｂによって画像Ｎｏ．４０、４５が、一番付与情報が多いと判定された。そこで、図３に示す例においては、２つの判定結果を踏まえて、第３判定部４ｃは、両者のＡＮＤ関係が成立する画像Ｎｏ．４０を、優先画像とする。
【００３７】
次に、本実施形態における動作を図４および図５に示すフローチャートを用いて説明する。このフローは、制御部１内のＣＰＵがフラッシュメモリ１２に記憶されたプログラムに従って実行する。
【００３８】
図４に示すカメラ制御のフローに入ると、まず、撮影モードか否かを判定する（Ｓ１）。このカメラは、再生モード等のモードが選択されていない場合には、撮影モードがデフォルトモードとして設定されているので、このステップでは、他のモードが設定されているか否かに基づいて判定する。
【００３９】
ステップＳ１における判定の結果、撮影モードであった場合には、次に、ライブビュー表示を行う（Ｓ３）。ここでは、撮像部２からの画像データに基づいて、画像処理部５によってライブビュー表示用の画像データを生成し、表示部８に表示する。ユーザはライブビュー表示を観察することにより、構図やシャッタチャンスを決定することができる。
【００４０】
ライブビュー表示を行うと、次に、画像判定を行う（Ｓ５）。ここでは、顔検出部２ａによって、顔が存在するか、また顔が存在する場合には、その位置や大きさ、さらに登録されている顔と一致する人物であるか、また猫や犬等の顔であるかについて判定する。
【００４１】
画像判定を行うと、次に、撮影操作がなされたか否かの判定を行う（Ｓ７）。ユーザが撮影を行う場合には、操作部９の内のレリーズ釦を押し込むので、このステップでは、レリーズ釦に連動するスイッチの操作状態を検出し、判定する。
【００４２】
ステップＳ７における判定の結果、撮影操作がなされた場合には、次に、撮影を行う（Ｓ９）。ここでは、被写体にピントが合うようにピント合わせ動作を行い、また適正露光となるように絞り等の露出制御部を制御し、撮像部２からの画像データに基づいて、画像処理部５によって記録用の画像データを生成する。露出制御にあたっては、ポートレートモード、風景モード、スポーツモード、夜景モード等、事前にユーザによって設定された撮影モードに応じた制御を行う。
【００４３】
撮影を行うと、次に、操作判定データ付与を行う（Ｓ１１）。ここでは、撮影時の撮影モード、ピント合っている被写体に関する情報、撮影レンズがズームレンズの場合には、広角側で撮影したかそれとも望遠側で撮影したか等のテレワイド情報、ＧＰＳ１１によって取得した位置情報等、ユーザの撮影時の情報を取得し、ステップＳ９において取得した画像データと関連付けを行う。これらの情報は、図３においては示されていなかったが、付与情報としての機能を果たすことができる。
【００４４】
操作判定データの付与を行うと、次に、画像判定データの付与を行う（Ｓ１３）。ここでは、撮影操作が行われる直前にステップＳ５において画像判定結果と、ステップＳ９において取得した画像データとの関連付けを行う。この画像判定の結果、図３において説明したＤ１〜Ｄ４の付与情報としての機能を果たす。
【００４５】
画像判定データの付与を行うと、次に、時計データの付与を行う（Ｓ１５）。ここでは、ステップＳ９における撮影の際における時計部７からの日時情報を取得し、これを画像データと関連付けを行う。この日時情報は、図３においては示されていなかったが、付与情報としての機能を果たすことができる。
【００４６】
時計データの付与を行うと、記録ファイル化を行う（Ｓ１７）。ここでは、ステップＳ１１〜Ｓ１５において関連付けを行った情報を付与情報（タグ情報）として画像データと共に記録部６に記録を行う。記録ファイル化を行うと、ステップＳ１に戻る。
【００４７】
ステップＳ７における判定の結果、撮影操作でなかった場合には、次に、スイッチ操作がなされたか否かを判定する（Ｓ２１）。ここでは、操作部９のメニュー釦等、各種スイッチのいずれかが操作されたか否かを判定する。この判定の結果、スイッチ操作がなされていなかった場合には、ステップＳ１に戻る。
【００４８】
一方、ステップＳ２１における判定の結果、スイッチ操作がなされた場合には、スイッチ操作の反映を行う（Ｓ２３）。ここでは、操作されたスイッチの種類に応じた処理を実行する。この処理を行うと、ステップＳ１に戻る。
【００４９】
ステップＳ１における判定の結果、撮影モードでなかった場合には、次に再生モード１か否かの判定を行う（Ｓ３１）。ここでは、再生釦１が操作されたか否かを判定する。本実施形態においては、再生モードは通常の再生を行う再生モード１と、フォトサーフィンモードのように類似画像を次から次へと検索可能な再生モード２を有する。本実施形態においては、再生モード１と再生モード２を別々に操作するようにしているが、再生モード１の中で、再生モード２を選択できるようにしても勿論かまわない。
【００５０】
ステップＳ３１における判定の結果、再生モード１であった場合には、次に、撮影画像ファイル一覧表示を行う（Ｓ３３）。ここでは、記録部６に記録されている撮影画像のサムネイル画像データを読み出し、サムネイル画像で表示部８に一覧表示する。
【００５１】
撮影画像ファイルの一覧表示を行うと次に、選択か否かの判定を行う（Ｓ３５）。ユーザは一覧表示された撮影画像の中で、拡大表示を望む場合には、その撮影画像をタッチするので、このステップでは、表示部８の画面がタッチされたか、またタッチされた場合には、いずれの撮影画像がタッチされたかを判定する。
【００５２】
ステップＳ３５における判定の結果、選択されなかった場合には、ステップＳ３１に戻る。一方、判定の結果、選択された場合には、選択された画像を代表画像として拡大表示する（Ｓ３５）。ここでは、選択された画像の画像データを読み出し、表示部８に拡大表示する。
【００５３】
拡大表示を行うと、次に、再生終了か否かの判定を行う（Ｓ３９）。本実施形態においては、再度、再生釦１を操作すると再生モード１が終了することから、このステップにおいては、再生釦１が操作されたか否かを判定する。この判定の結果、再生終了でない場合には、拡大表示を続行する。一方、判定の結果、再生終了であった場合には、ステップＳ３１に戻る。
【００５４】
ステップＳ３１における判定の結果、再生モード１でなかった場合には、次に、再生モード２か否かの判定を行う（Ｓ４１）。前述したように、再生モード２は、再生釦２の操作により切り換わることから、このステップでは、再生釦２が操作されたか否かを判定する。
【００５５】
ステップＳ４１における判定の結果、再生モード２であった場合には、次に、優先画像の判定を行う（Ｓ４３）。ここでは、図３を用いて説明したように、第１判定部４ａによって画像数が最も多い画像に第１の情報が付与され、第２判定部４ｂによって最も多い付与情報の与えられた画像に補助情報を付与し、第１の情報および補助情報を踏まえて第３判定部４ｃによって優先画像を判定する。図３に示した例では、画像Ｎｏ．４０が優先画像として判定される。この優先画像判定の詳しいフローについては、図５を用いて後述する。
【００５６】
優先画像の判定がなされると、次に、優先画像の表示がなされる（Ｓ４５）。ここでは、ステップＳ４３において選択された優先画像が表示部８に表示される。続いて、優先画像の類似画像の検索を行う（Ｓ４７）。ここでは、優先画像に付与されている付与情報と同じ付与情報が付与されている画像を検索する。図３に示す例では、優先画像である画像Ｎｏ．４０は、付与情報としてＤ１、Ｄ２、Ｄ３が付与されていることから、これらの付与情報に基づいて類似画像を検索する。また、これ以外にも、時間情報を加味して、隣接した画像を優先したり、顔の位置や大きさから判定した構図や、一緒に写っている被写体を加味した検索を行ってもよい。
【００５７】
類似画像の検索を行うと、次に、付与データの異なるものを表示する（Ｓ４９）。ステップＳ４７における類似画像検索では多数の画像が検索される可能性が高く、このステップでは、検索された類似画像の中から、なるべく付与データが異なる画像を表示する。図３に示した例では、補助データが付与され、また他の画像で付与されていないＤ４が付与されている画像Ｎｏ．４５の画像を表示する。類似画像を表示するにあたって、関連性はある画像を表示するが、同じような画像が続くと退屈であることから、共通点はあるものの、異なる被写体が登場する画像を表示するようにする。但し、同じような画像を見たいニーズもあり、この場合には、なるべく似た付与データが付与されている画像を優先するようにしてもよい。
【００５８】
付与データの異なるものを表示すると、次に、選択か否かの判定を行う（Ｓ４９）。ユーザが類似画像として表示されている画像を優先画像として、類似画像の検索を行いたい場合には、表示部８の画面をタッチするので、このステップでは、画面がタッチされたか否かを判定する。
【００５９】
ステップＳ５１における判定の結果、選択されていなかった場合には、ステップＳ４１に戻る。一方、判定の結果、選択された場合には、選択画像を優先画像にし（Ｓ５３）、ステップＳ４３に戻る。ステップＳ４３に戻ると、新たに設定した優先画像と類似画像を検索し、表示を行う。
【００６０】
このように、本実施形態におけるカメラ制御のフローでは、撮影時に、画像判定結果等に基づく付与情報（タグ情報）を画像データに関連付けて記録を行っている。また、再生モード２が選択されると、ステップＳ４３において、画像に最も付与された付与情報の種類を判定し、これに第１の情報を付与し（第１判定部４ａ）、付与された付与情報の数が多い画像を判定し、これに補助情報を付与し（第２判定部４ｂ）、これらの情報に基づいて、優先画像の判定を行っている（第３判定部４ｃ）。そして、優先画像が判定されると、この優先画像に類似する画像が検索され、表示される。
【００６１】
このため、本実施形態においては、複数の画像の中で、他の画像と関連性が高い画像を優先画像として選択しているので、どんな画像が含まれているかを、一目で把握することができる。また、この優先画像を基準として類似画像を検索すると、効率よく興味深い画像を検索して表示することができる。すなわち、なるべく多くの画像に登場する被写体が写っており、かつ登場する被写体が多い画像を選択しているので、どんな画像が含まれているかを一目で把握することができる。
【００６２】
次に、ステップＳ４３における優先画像判定の詳しいフローについて、図５を用いて説明する。優先画像判定のフローに入ると、まず、全付与データで判定し（Ｓ６１）、対象画像を判定する（Ｓ６３）。ここでは、全付与情報を判定の対象と、所定範囲の全画像を判定対象とする。図３に示した例では、Ｄ１〜Ｄ４が全付与データであり、また、画像Ｎｏ．３１〜Ｎｏ．４７が判定の対象となる。
【００６３】
続いて、付与情報Ｄ１〜Ｄ４ごとに画像数をカウントしＣｎ（Ｄｍ）とする（Ｓ６５）。例えば、図３に示す例では、付与情報Ｄ１に対してＣ１（Ｄ１）＝９、付与情報Ｄ２に対してＣ１（Ｄ２）＝１１、付与情報Ｄ３に対してＣ１（Ｄ３）＝４、付与情報Ｄ４に対してＣ１（Ｄ４）＝１となる。
【００６４】
付与情報ごとに画像数のカウントを行うと、次に、Ｃｎ（Ｄｍ）が最大の付与情報Ｄｍａｘとする（Ｓ６７）。例えば、図３に示す例では、付与情報Ｄ２に対する画像数のカウントが１１と最大であることから、これを付与情報Ｄｍａｘ（第１の情報）とする。なお、ステップＳ６５およびＳ６７における判定は、第１判定部４ａによってなされる。
【００６５】
最大付与情報Ｄｍａｘを求めると、次に、各画像の付与データ数を判定する（Ｓ６９）。例えば、図３に示す例では、画像Ｎｏ．３１等は１情報、画像Ｎｏ．３３、Ｎｏ．３５、Ｎｏ３７、およびＮｏ．４６は２情報、画像Ｎｏ．４０、および画像Ｎｏ．４５は３情報である。
【００６６】
各画像の付与情報数を判定すると、次に、最大データ数画像の補助情報を付与する（Ｓ７１）。例えば、図３に示す例では、画像Ｎｏ．４０、４５が、一番情報数が多いことから補助情報を付与する。なお、ステップＳ６９およびＳ７１における判定は、第２判定部４ｂによってなされる。
【００６７】
続いて、Ｄｍａｘ情報と補助情報を有する画像を優先画像とする（Ｓ７３）。例えば、図３に示す例では、画像Ｎｏ．４０が、Ｄｍａｘ情報であるＤ２を有し、かつ補助情報を有していることから、優先画像とする。このステップＳ７３における判定は、第３判定部４ｃによってなされる。ステップＳ７３において優先画像を決定すると、元のフローに戻る。
【００６８】
以上、説明したように、本発明の第１実施形態においては、複数の画像のそれぞれに付与された情報を検索し、複数の画像の内で最も多くの画像に対して付与されている情報を、第１の情報として検出する第１の判定部４ａと、複数の画像のそれぞれに付与された情報の内で、第１の情報以外の情報を補助情報として検出する第２の判定部４ｂと、第１の情報が付与された画像であり、かつ補助情報を有する画像を優先画像として検出する第３の判定部４ｃを設けている。このため、優先画像は、画像群を表わす代表的な画像を選択することができる。本実施形態においては、最もよく登場する被写体や、その他の情報が付与され情報量の多い画像を優先している。また、多数の画像と関連を有することから、多数の類似画像を検索することができ、関連性があり、興味がつながっていくような画像を表示することができる。
【００６９】
次に、本発明の第２実施形態について、図６および図７を用いて説明する。第１実施形態においては、最も登場頻度の高い被写体を優先して優先画像を選択している。これに対して、第２実施形態においては、優先する特定の被写体を複数、選択可能としている。
【００７０】
本実施形態における構成は、図１に示したブロック図と同様であることから詳しい説明は省略する。ただし、第２判定部４ｂは、第１の情報以外の情報を付与されている画像数の多い付与情報を判定により求める点で第１実施形態とは異なる。
【００７１】
本実施形態における優先画像の選択について、図６を用いて説明する。図６は、図３と同様に、横軸に画像番号（Ｎｏ）をとり、縦軸に画像毎に付与されている情報をとり、各画像にどのような画像情報が付与されているか示す一例である。図６に示す一例においては、横軸の画像番号が５１〜６７までの画像であり、縦軸の付与情報としては、Ｄ１、Ｄ２、Ｄ３は図３の場合と同様である。
【００７２】
図６に、画像番号５６、５７、６０、６５、６６の各画像を併せて表示する。画像５２は、第２子の画像であることから、付与情報として、第２子を示すＤ２が画像データと共に記録されている。画像５３は、第２子および母が写っている画像であることから、付与情報として、これらを示すＤ２、Ｄ３が画像データと共に記録されている。
【００７３】
画像６０は、第１子、第２子、母が写っている画像であることから、付与情報として、これらを示すＤ１、Ｄ２、Ｄ３が画像データと共に記録されている。画像６５は、第１子、第２子が写っている画像であることから、これらを示すＤ１、Ｄ２が画像データと共に記録されている。画像６６は、第１子が単独で写っている画像であることから、これを示すＤ１が画像データと共に記録されている。
【００７４】
図６に示した例では、Ｄ１は、画像Ｎｏ．５５等に付与されており、合計１０画像である。同様に、Ｄ２は、画像Ｎｏ．５１等に付与されており、合計１２画像である。Ｄ３は、画像Ｎｏ．５３等に付与されており、合計２画像である。第１判定部４ａは、これらの検出の結果、画像の一番多いデータは、第２子を示すＤ２であると判定し、これに第１の情報を付与する。
【００７５】
次に、第２判定部４ｂは、画像整理部３によって整理された画像の情報を用いて、第１の情報が付与されている画像を除外し、この除外された画像に多く付与されている情報を判定する。図６に示した例では、第１の情報であるＤ２は合計１２画像に付与されており、これが付与されていない画像Ｎｏ．６１〜６４、６６の付与情報は、Ｄ１が５画像、Ｄ３は０画像である。したがって、Ｄ１が第１の情報以外の情報を付与されている画像数の多い付与情報として判定され、補助情報が付与される。
【００７６】
第３判定部４ｃは、第１判定部４ａによる判定結果と第２判定部４ｂによる判定結果に基づいて、優先画像を決定する。すなわち、第１判定部４ａによって付与情報Ｄ２を持つ画像が一番多く、また、第２判定部４ｂによって付与情報Ｄ１に補助情報が付与された。そこで、図６に示す例においては、２つの判定結果を踏まえて、第３判定部４ｃは、両者のＡＮＤ関係が成立する画像Ｎｏ．６０を、優先画像と判定する。
【００７７】
次に、本実施形態における動作を図７に示すフローチャートを用いて説明する。このフローも、制御部１内のＣＰＵがフラッシュメモリ１２に記憶されたプログラムに従って実行する。本実施形態におけるカメラ制御のフローは図４と同様であることから詳しい説明を省略、第１実施形態と異なる優先画像判定のフローについて図７を用いて説明する。
【００７８】
図７に示す優先画像判定のフローに入ると、まず全付与データで判定し（Ｓ８１）、対象画像を判定する（Ｓ８３）。ここでは、全付与情報を判定の対象と、所定範囲の全画像を判定対象とする。図６に示した例では、Ｄ１〜Ｄ３が全付与データであり、また、画像Ｎｏ．５１〜Ｎｏ．６７が判定の対象となる。
【００７９】
続いて、付与情報Ｄ１〜Ｄ４ごとに画像数をカウントしＣ１（Ｄｍ）とする（Ｓ８５）。例えば、図６に示す例では、付与情報Ｄ１に対して画像数が１０、付与情報Ｄ２に対して画像数が１２、付与情報Ｄ３に対して画像数が２となる。
【００８０】
付与情報ごとに画像数のカウントを行うと、次に、Ｃ１（Ｄｍ）が最大の付与情報Ｄｍａｘとする（Ｓ８７）。例えば、図６に示す例では、付与情報Ｄ２に対する画像数のカウントが１２と最大であることから、これを付与情報Ｄｍａｘとし、第１の情報を付与する。なお、ステップＳ８５およびＳ８７における判定は、第１判定部４ａによってなされる。
【００８１】
次に、Ｄｍａｘ付与なし画像群を判定する（Ｓ８９）。ステップＳ８５、Ｓ８７でＤｍａｘが付与された付与情報以外について、画像を判定する。図６に示した例では、子供が二人いる家庭を想定しており、この場合、二人の子供は両方とも重要であることから、一人を検索した後、もう一人を検索するようにしている。そして、付与情報ごとに画像数をカウントしＣ２（Ｄｍ）とする（Ｓ９１）。図６に示した例では、画像Ｎｏ．５１〜６０、６５、６７が、ＤｍａｘのＤ２が付与された画像であることから、これらの画像を除外し、残りの画像（Ｎｏ．６１〜６４、６６）の中で、それぞれ付与されている画像数をカウントし、Ｃ２（Ｄｍ）とする。図６に示した例では、Ｄ１は５画像、Ｄ３は０画像である。
【００８２】
画像数カウントＣ２（Ｄｍ）を求めると、次に、Ｃ２（Ｄｍ）が最大の付与情報をＤｍａｘ２とする（Ｓ９３）。図６の例では、付与情報Ｄ１がＤｍａｘ２となり、これに補助情報を付与する。なお、ステップＳ８９〜Ｓ９３における判定は、第２判定部４ｂによってなされる。
【００８３】
Ｄｍａｘ２を求めると、次に、第１の情報（Ｄｍａｘ情報）と補助情報（Ｄｍａｘ２）を持つ画像を優先画像とする（Ｓ９５）。図６の例では、画像Ｎｏ．５５、５７、６０、６５、６７が、Ｄｍａｘ情報と補助情報（Ｄｍａｘ２）を持つことから優先画像となる。なお、この場合には、優先画像が複数となることから、さらに、優先画像の中で付与情報が一番多い画像を最終的な優先画像としてもよい。
【００８４】
以上、説明したように、本発明の第２実施形態においては、第１情報に加えて補助情報に基づいて、優先画像を判定するにあたって、補助情報として、第１の情報以外の情報を付与されている画像が多い画像の付与情報としている。この結果、画像に付与されている情報が一番多い付与情報が第１の付与情報となり、第１の付与情報が付与されていない画像の中で一番多い付与情報が補助情報となる。このため、第２実施形態においても、優先画像は、多数の画像と関連を有することから、画像群の内容を一目で把握できる画像が優先画像として検索することができる。また、優先画像を基準として類似画像検索を行うことにより、多数の類似画像を検索することができ、関連性があり、興味がつながっていくような画像を表示することができる。なお、ステップＳ８９において、Ｄｍａｘ付与なしの画像群を判定対象としたが、これに限らず、全画像を判定対象としてもよい。二人の兄弟が常に一緒に撮影されるような場合には、全画像を対象とした方が、兄弟の一方を精度よく検出することができる。
【００８５】
次に、本発明の第３実施形態について、図８ないし図１２を用いて説明する。本発明の第１及び第２実施形態においては、画像の最も多い付与情報（第１の付与情報）を有し、かつ補助情報を有する画像を１つ選び、優先画像として表示していた。しかし、優先画像が複数存在する場合もあることから、本実施形態においては、複数の優先画像を表示可能とした。また、複数表示する場合であっても、優先画像の選択にあたっては、重み付けを行って選択するようにしている。後述するように、家族の写真とは別に、ペットの写真や仕事の写真も撮影するユーザの場合には、複数の優先画像が選択される方が望ましい。
【００８６】
本実施形態における構成は、図１に示したブロック図と同様であることから詳しい説明は省略する。ただし、第２判定部４ｂは、第２実施形態と同様に、第１の情報以外の情報を付与されている画像数の多い付与情報を判定により求める。また、第ｎ判定部が複数あり、複数の優先画像を選択するための判定を行う。
【００８７】
本実施形態における優先画像の選択について、図８を用いて説明する。図８は、図３と同様に、横軸に画像番号（Ｎｏ）をとり、縦軸に画像毎に付与されている情報をとり、各画像にどのような画像情報が付与されているか示す一例である。図８に示す一例においては、画像番号が７１〜９０までの画像であり、付与情報としては、Ｄ１〜Ｄ４は図３の場合と同様である。
【００８８】
図８には、画像番号７３、７７、８０、８８、８９、９０の各画像を併せて表示する。画像７３は、母と第２子の画像であることから、付与情報として、母を示すＤ３と第２子を示すＤ２が画像データと共に記録されている。画像７７は、第１子および第２子が写っている画像であることから、付与情報として、これらを示すＤ１、Ｄ２が画像データと共に記録されている。画像８０は、第１子、第２子、母が写っている画像であることから、付与情報として、これらを示すＤ１、Ｄ２、Ｄ３が画像データと共に記録されている。画像８８は、母と猫が写っている画像であることから、これらを示すＤ３、Ｄ４が画像データと共に記録されている。画像８９、９０は、猫が写っている画像であることから、これを示すＤ４が画像データと共に記録されている。
【００８９】
図８に示した例では、Ｄ１は、画像Ｎｏ．７５等に付与されており、合計１０画像である。同様に、Ｄ２は、画像Ｎｏ．７１等に付与されており、合計１０画像である。Ｄ３は、画像Ｎｏ．７３等に付与されており、合計３画像である。Ｄ４は、画像Ｎｏ．８８等に付与されており、合計３画像である。
【００９０】
第１判定部４ａは、これらの検出の結果、画像の一番多いデータは、第１子を示すＤ１と第２子を示すＤ２であると判定する。この場合、一番多いデータは、１つの付与情報でないことから、それぞれの情報に対して重み付けを行う。この重み付けは、本実施形態では、顔検出部２ａによって検出された笑顔度に応じて行う。図８に示した例では、画像Ｎｏ．７３の被写体として映っている母は笑っていることから笑顔度が高く、重み付けがなされ、第１の付与情報はＤ２となる。
【００９１】
次に、第２判定部４ｂは、画像整理部３によって整理された画像の情報を用いて、第１の情報以外の情報を付与されている画像数の多い付与情報を判定する。図８に示した例では、Ｄ２は合計１０画像に付与されており、これが付与されていない画像Ｎｏ．８１〜９０の付与情報は、Ｄ１が７画像、Ｄ３は１画像、Ｄ４が３画像である。したがって、Ｄ１が第１の情報以外の情報を付与されている画像数の多い付与情報として判定され、補助情報が付与される。
【００９２】
第３判定部４ｃは、第１判定部４ａによる判定結果と第２判定部４ｂによる判定結果に基づいて、優先画像を決定する。すなわち、第１判定部４ａによって付与情報Ｄ２を持つ画像が一番多く、また、第２判定部４ｂによって付与情報Ｄ１に補助情報が付与された。そこで、図６に示す例においては、２つの判定結果を踏まえて、第３判定部４ｃは、両者のＡＮＤ関係が成立する画像Ｎｏ．８０を、優先画像と判定する。
【００９３】
本実施形態においては、優先画像を複数、選択し、表示するようにしている。そこで、最初の優先画像を選択したとしても、次に選択する優先画像を決めている。図８に示す例では、第１の付与情報Ｄ２と、補助情報Ｄ１が付与された以外の付与情報が多い情報（この例では、Ｄ４）に基づいて優先画像を選択するようにしている。
【００９４】
次に、本実施形態における動作を図１０ないし図１２に示すフローチャートを用いて説明する。これらのフローも、制御部１内のＣＰＵが図示しないフラッシュメモリ等のメモリに記憶されたプログラムに従って実行する。
【００９５】
本実施形態におけるカメラ制御のフローは図４と略同様である。但し、ステップＳ４４以下が相違することから、相違点を中心に説明する。図１０に示すカメラ制御のフローに入り、ステップＳ４１における判定の結果、再生モード２であった場合には、優先画像判定（複数）を行う（Ｓ４４）。ここでは、図８を用いたような方法により、複数の優先画像を選択する。この優先画像選択の詳しい動作については、図１１および図１２を用いて後述する。
【００９６】
優先画像判定（複数）を行うと、次に、複数の優先画像の表示を行う（Ｓ４６）。ここでは、ステップＳ４４において判定された複数の優先画像を、図９（ａ）に示すように、表示部８に表示する。図８に示す例において、優先画像として画像Ｎｏ．８０が選択され、また、第１の付与情報および補助情報が付与されなかった画像の中から、次の優先画像として、画像Ｎｏ．８８、８９が選択されて表示される。
【００９７】
複数の優先画像を表示すると、次に、選択されたか否かを判定する（Ｓ５１）。ここでは、表示部８の画面がタッチされたかを判定し、タッチされた場合には、複数の優先画像の内のいずれの優先画像がタッチされたかを判定する。この判定の結果、選択されなかった場合には、ステップＳ４１に戻る。
【００９８】
一方、ステップＳ５１における判定の結果、いずれかの優先画像が選択されると、選択された優先画像の類似画像の検索を行う（Ｓ５５）。例えば、図９（ａ）において、画像Ｎｏ．８０が選択されると、この画像Ｎｏ．８０と類似する画像の検索を行う。類似画像の検索は、ステップ４７と同様、選択された優先画像に付与されている付与情報と同じ付与情報が付与されている画像を検索する。
【００９９】
類似画像の検索を行うと、次に、付与データの異なる画像を表示する（Ｓ５７）。ここでは、ステップＳ５５で検索された類似画像のうち、付与データが異なるものを表示する。図９（ａ）の例で、画像Ｎｏ．８０を選択すると、母、第１子、第２子のいずれかが付与されている画像を検索して表示する。この例では、単調とならないようにするために、図９（ｂ）に示すように、付与データが異なる画像Ｎｏ．５２、６６を表示している。類似画像の表示を行うと、ステップＳ４４に戻る。
【０１００】
このように、本実施形態におけるカメラ制御のフローでは、再生モード２が選択されると、画像群の内容が把握できる複数の優先画像を選択し表示している。そして、いずれかの優先画像が選択されると、この選択された優先画像に類似する画像を検索し、表示を行う。複数の優先画像が表示されることから、ユーザは次から次へと、類似画像を検索することができ、検索を楽しむと共に、複数画像の効果的な組合せや、演出効果をつけることが可能となる。
【０１０１】
次に、ステップＳ４４における優先画像判定（複数）の詳しい動作について、図１１および図１２を用いて説明する。優先画像判定（複数）のフローに入ると、まず、全付与情報を特定し（Ｓ１０１）、対象画像を判定する（Ｓ１０３）。ここでは、全付与情報を判定の対象と、所定範囲の全画像を判定対象とする。図８に示した例では、Ｄ１〜Ｄ４が全付与情報であり、また、画像Ｎｏ．７１〜Ｎｏ．９０が判定の対象となる。
【０１０２】
続いて、付与情報Ｄｍごとに画像数カウントＣｎ（Ｄｍ）を求める（Ｓ１０５）。例えば、図８に示す例でｎ＝０の場合には、付与情報Ｄ１に対してＣ０（Ｄ１）＝１０、付与情報Ｄ２に対してＣ０（Ｄ２）＝１０、付与情報Ｄ３に対してＣ０（Ｄ３）＝３、付与情報Ｄ４に対してＣ０（Ｄ４）＝３となる。
【０１０３】
次に、Ｃｎ（Ｄｍ）が最大となる付与情報が複数存在するか否かを判定する（Ｓ１０７）。例えば、図８に示す例でｎ＝０の場合には、Ｃ０（Ｄ１）とＣ０（Ｄ２）が共に１０であることから、最大となる付与情報が複数存在することになる。
【０１０４】
ステップＳ１０７における判定の結果、複数存在した場合には、重み付けで差別化する（Ｓ１０９）。本実施形態においては、笑顔度で重み付けを行い、図８に示す例では、付与情報Ｄ２に対して重み付けがなされる。なお、重み付けは、笑顔度で行う以外にも、例えば、顔の位置や大きさに応じて行うようにしても良い。
【０１０５】
ステップＳ１０９において重み付けを行うと、またはステップＳ１０７における判定の結果、最大となる付与情報が複数存在しなかった場合には、次に、Ｃｎ（Ｄｍ）が最大の付与情報をＤｍａｘ（ｎ）とする（Ｓ１１１）。ここでは、ステップＳ１０７における判定の結果、最大となる付与情報が複数存在しなかった場合には、最大となる付与情報をＤｍａx（ｎ）とする。また、最大となる付与情報が複数存在した場合には、重み付けした付与情報を用いて、最大となる付与情報を選択し、これをＤｍａｘ（ｎ）とする。図８に示した例では、付与情報Ｄ２が、Ｄｍａｘ（０）として選択される。
【０１０６】
Ｄｍａｘ（ｎ）を求めると、次に、Ｄｍａｘ（ｎ）付与なし画像を判定する（Ｓ１１３）。ここでは、Ｄｍａｘ（ｎ）が付与されていない画像を判定対象とする。図８に示す例では、付与情報Ｄ２が付与されていない画像、すなわち、画像Ｎｏ．８１〜９０が判定対象となる。
【０１０７】
続いて、付与情報Ｄｍごとに画像数カウントＣ（ｎ＋１）（Ｄｍ）を求める（Ｓ１１５）。ステップＳ１１３において求めた判定対象の範囲で、付与情報Ｄｍごとに画像数を求める。図８に示す例では、Ｃ１（Ｄ１）＝７、Ｃ１（Ｄ３）＝１、Ｃ１（Ｄ４）＝３となる。
【０１０８】
付与情報Ｄｍごとに画像数をカウントすると、次に、Ｃ（ｎ＋１）（Ｄｍ）が最大となる付与情報が複数存在するか否かを判定する（Ｓ１１７）。ここでは、ステップＳ１１５において求めた画像数カウントの最大値が複数存在するかを判定する。図８に示す例では、Ｃ１（Ｄ１）が単独で最大数となることから、判定結果はＮｏとなる。
【０１０９】
ステップＳ１１７における判定の結果、複数存在した場合には、ステップＳ１０９と同様に、重み付けで差別化を行う（Ｓ１１９）。この重み付けを行うと、またはステップＳ１１７における判定の結果、最大となる付与情報が複数存在しなかった場合には、次に、Ｃ（ｎ＋１）（Ｄｍ）が最大の付与情報をＤｍａｘ２（ｎ）とする（Ｓ１２１）。
【０１１０】
ステップＳ１２１においては、ステップＳ１１１と同様に、ステップＳ１１７における判定の結果、複数存在しなかった場合には、ステップＳ１１５において求めた最大画像数となる付与情報を選択してＤｍａｘ２（ｎ）とし、複数存在した場合には、ステップＳ１１９において重み付けを行った画像数の最大画像数となる付与情報を選択する。図８に示す例では、Ｄ１がＤｍａｘ２（０）となる。
【０１１１】
Ｄｍａｘ２（ｎ）を求めると、次に、Ｄｍａｘ（ｎ）とＤｍａｘ２（ｎ）の両付与情報を持つ画像が有るか否かを判定する（Ｓ１３１）。Ｄｍａｘ（ｎ）は第１の情報に相当し、Ｄｍａｘ２（ｎ）は補助情報に相当するが、両情報を有する場合と有さない場合がある。そこで、本実施形態においては、両情報を有する画像が有る場合には、その画像を優先画像とし、両情報を有する画像がない場合には、Ｄｍａｘ（ｎ）を有する画像と、Ｄｍａｘ２（ｎ）を有する画像をそれぞれ優先画像とする。
【０１１２】
ステップＳ１３１における判定の結果、Ｄｍａｘ（ｎ）とＤｍａｘ２（ｎ）の両付与情報を有する画像がある場合には、その画像を優先画像（ｊ）とし、ｊ＝Ｊ＋１とする（Ｓ１３３）。図８に示した例では、Ｄｍａｘ（０）はＤ２であり、Ｄｍａｘ２（０）はＤ１であることから、両付与情報を持つ画像は、画像Ｎｏ．７５、７７、８０の３画像である。両付与情報を持つ画像は３画像あるが、その中で、付与情報が最大の画像Ｎｏ．８０を優先画像とする。なお、ｊは、選択する優先画像の数である。なお、近年、カメラの表示部の画面は、大型化する傾向にあることから、優先画像が複数あってもよい。
【０１１３】
一方、ステップＳ１３１における判定の結果、Ｄｍａｘ（ｎ）とＤｍａｘ２（ｎ）の両付与情報を有する画像がある場合には、ステップＳ１３５以下において、Ｄｍａｘ（ｎ）とＤｍａｘ２（ｎ）をそれぞれ優先画像とする。まず、Ｄｍａｘ情報を持つ画像で、かつ最大情報数を持つ画像を優先画像（ｊ）とする（Ｓ１３５）。
【０１１４】
続いて、Ｄｍａｘ２情報を持つ画像で最大情報数を持つ画像を優先画像（ｊ＋１）とする（Ｓ１３７）。そして、ｊ＝１とし（Ｓ１３９）、ｊ＝ｊ＋１とする（Ｓ１４１）。ステップＳ１３５〜Ｓ１４１において、２つの優先画像が選択される。
【０１１５】
ステップＳ１３３において、優先画像（ｊ）を選択すると、またはステップＳ１４１においてｊ＝ｊ＋１とすると、次に、ｊ＝３か否かの判定を行う（Ｓ１４３）。前述したように、ｊは選択された優先画像の数を表わす変数であり、ｊ＝３でない場合には、まだ優先画像として３つの画像が選択されていないことになる。
【０１１６】
ステップＳ１４３における判定の結果、ｊ＝３でなかった場合には、次に、Ｄｍａｘ（０）〜Ｄｍａｘ（ｎ）のデータなしで判定を行う（Ｓ１４５）。ここでは、それまでに選択されたＤｍａｘが付与されていない画像を選択する。ここで、Ｄｍａｘ（０）〜Ｄｍａｘ（ｎ）のデータなしの画像を求めているのは、優先画像として選択される画像に変化をつけるために、それまでに選択された優先画像の現われない被写体が写っている画像が選択されるようにするためである。
【０１１７】
ステップＳ１４５において、判定対象となる画像を決めると、次に、ｎ＝ｎ＋１とし（Ｓ１４７）、ステップＳ１０３に戻り、次の優先画像の選択を行う。変数ｎは、優先画像として３つの画像が選択されるまでに、順次、加算されていく。一方、ステップＳ１４３における判定の結果、ｊ＝３となると、元のフローに戻り、ステップＳ４６において、複数の優先画像の表示を行う。
【０１１８】
このように、第３実施形態においては、優先画像として複数の画像を選択し、表示部８に表示している。また、複数の優先画像を選択するにあたって、最初に優先画像を選択するに使用した付与情報を含まない画像の中から、次の優先画像を選択している。このため、画像群の内容が把握できる画像が優先される。また、複数の優先画像が多様化し、変化に富み、画像検索を楽しむことができる。
【０１１９】
また、第３実施形態においては、複数の優先画像の中から選択すると、その優先画像を基準にして類似画像が検索され表示される。このため、順次検索を繰り返すことにより、思いがけないような画像を見つけ出すことが可能となる。なお、ステップＳ１１３において、Ｄｍａｘ付与なし画像群を判定対象としているが、これに限らず、全画像を判定対象としてもよい。二人の兄弟が常に一緒に撮影されるような場合には、この方が、兄弟の一方を精度よく検出することができる。
【０１２０】
以上、説明したように、本発明の各実施形態においては、複数の画像のそれぞれに付与された情報の内で最も多くの画像に対して付与されている情報を、第１の情報として検出し、複数の画像のそれぞれに付与された情報の内で、第１の情報以外の情報を補助情報として検出し、第１の情報が付与された画像であり、かつ補助情報を有する画像を優先画像として検出し、この検出された優先画像を表示している。このため、優先画像によって、どんな画像がふくまれているか一目で把握することができる。また、この優先画像は種々の情報を含んでいることから、この優先画像から順次類似画像を検索することにより、関連性があり、興味がつながっていくような画像を表示することができる。また、複数の写真の効果的な配置、組合せが決定でき、アルバム作成時、スライドショー作成時に、簡単に演出効果をつけることができ、また、検索性を高めることができる。
【０１２１】
なお、本発明の各実施形態においては、人物の顔に基づく情報Ｄ１〜Ｄ３、および猫に基づく情報Ｄ４を例として取り上げて説明したが、情報は勿論、５以上でもよい。また、人物の顔や動物に限らず、他の情報であってもよい。例えば、操作判定データ、撮影日時情報等であってもよい。撮影日時情報であれば、撮影日ごとに検索し、一番多い撮影日を第１の情報とすればよい。
【０１２２】
また、本発明の各実施形態においては、カメラに適用した例で説明したが、パソコン等の機器に撮影画像を記憶させ、この記憶した撮影画像に対して、再生モード２で示したようなフローによって画像表示を行うようにしてもよい。この場合には、図４のステップＳ４１〜Ｓ５３、図１０のステップＳ４１〜Ｓ５７を実行すればよい。
【０１２３】
さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【０１２４】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１２５】
１・・・制御部、２・・・撮像部、２ａ・・・顔検出部、３・・・画像整理部、４・・・表示制御部、４ａ・・・第１判定部、４ｂ・・・第２判定部、４ｃ・・・第３判定部、４ｎ・・・第ｎ判定部、５・・・画像処理部、６・・・記録部、７・・・時計部、８・・・表示部、９・・・操作部、１０・・・カメラ、１１・・・ＧＰＳ、１２・・・フラッシュメモリ、２１・・・優先画像、２２・・・類似画像、２３・・・類似画像
【図１】
2012027678.tif 000003
【図２】
2012027678.tif 000004
【図３】
2012027678.tif 000005
【図４】
2012027678.tif 000006
【図５】
2012027678.tif 000007
【図６】
2012027678.tif 000008
【図７】
2012027678.tif 000009
【図８】
2012027678.tif 000010
【図９】
2012027678.tif 000011
【図１０】
2012027678.tif 000012
【図１１】
2012027678.tif 000013
【図１２】
2012027678.tif 000014