(57)【要約】【課題】ユーザが所望の撮影画像をより直感的に探し出せるように撮影画像を整理して表示できる画像表示装置を提供すること。【解決手段】サーバの記録部に記録された撮影画像の撮影日時及び被写体の特徴に従って撮影画像の分類を行ってフォルダにまとめる。各フォルダに格納された撮影画像の内容に対応する書架画像を作成し、該作成した書架画像上に対応するフォルダ６０１、６０２を重畳して表示させる。【選択図】      図２
2009301119.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影画像の各々に付された撮影日時と各々の前記撮影画像に係るイベント情報とに基づき、前記撮影画像を複数のグループに分類する分類部と、
奥行きを仮想的に表現した書架の奥から手前に向かって、前記撮影日時に従って前記グループを表示させる表示部と、
を具備することを特徴とする画像表示装置。
【請求項２】
前記イベント情報は、前記撮影画像中の被写体の特徴に基づいて抽出されることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記表示部は、前記グループの特徴に付する名称を、前記書架の対応する位置に表示することを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記表示部は、前記撮影画像が鑑賞される頻度に従って、前記書架の前記奥行きと異なる方向に前記グループを表示することをさらに行うことを特徴とする請求項１に記載の画像表示装置。
【請求項５】
前記表示部は、撮影日時が古い順に、前記書架の奥から手前に向かって、前記グループを表示させることを特徴とする請求項１に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像を整理し、該整理した撮影画像を簡単に取り出して鑑賞することができる画像表示装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラが普及しており、撮影画像がデジタルデータ化されるようになっている。この撮影画像のデジタルデータ化に伴ってハードディスク等の大容量の記録媒体に大量の撮影画像データを記録できるようになっている。この一方で、記録媒体に記録されている大量の撮影画像の中からユーザが所望する撮影画像を見つけるのが困難になってきている。
【０００３】
このような大量の撮影画像の中からユーザが所望する撮影画像を容易に探し出せるようにするための撮影画像の整理に関する提案として特許文献１の提案がなされている。この特許文献１の提案においては、撮影画像データに付帯されている付帯情報に基づいて撮影画像を整理し、整理した撮影画像を電子アルバム化し、さらに、この電子アルバムを書架画像上に並べて表示させるようにしている。これにより、撮影画像がイベント毎に整理されて表示されるので、ユーザはどの電子アルバムにどの撮影画像が記録されているのかを類推しやすくなる。
【特許文献１】特開平７−１２３３０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ここで、特許文献１の手法では書架画像上に電子アルバムを並べて表示させているが、この並べ方自体に特に意味はない。このため、ユーザが所望の撮影画像を直感的に探すためには不十分な場合がある。
【０００５】
本発明は、上記の事情に鑑みてなされたもので、ユーザが所望の撮影画像をより直感的に探し出せるように撮影画像を整理して表示できる画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明の第１の態様の画像表示装置は、複数の撮影画像の各々に付された撮影日時と各々の前記撮影画像に係るイベント情報とに基づき、前記撮影画像を複数のグループに分類する分類部と、奥行きを仮想的に表現した書架の奥から手前に向かって、前記撮影日時に従って前記グループを表示させる表示部とを具備することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザが所望の撮影画像をより直感的に探し出せるように撮影画像を整理して表示できる画像表示装置を提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施形態を説明する。  
図１は、本発明の一実施形態の画像表示装置を含む画像表示システムの構成を示すブロック図である。図１に示す画像表示システムは、カメラ１００と、スキャナ２００と、パーソナルコンピュータ３００とが通信回線５００を介してサーバ４００に通信自在に接続されて構成されている。ここで、通信回線５００はインターネット回線等の汎用の通信回線である。
【０００９】
カメラ１００は、制御部１０１と、操作入力部１０２と、撮像部１０３と、時計部１０４と、記録部１０５と、表示部１０６と、通信部１０７とを有している。
【００１０】
制御部１０１は、カメラ１００の全体の動作を制御する。この制御部１０１は、ユーザによる操作入力部１０２の操作状態に従って各種の処理を制御する。操作入力部１０２は、カメラ１００の電源をオンオフするための電源スイッチ、カメラ１００の撮影実行の指示を与えるためのレリーズボタン、カメラ１００における各種選択操作を行うための十字キー、カメラ１００における各種決定操作を行うためのＯＫボタン等、ユーザがカメラ１００の操作を行うための各種の操作部材を含んで構成されている。
【００１１】
撮像部１０３は、制御部１０１の制御の下で被写体を撮影して撮影画像を取得する。時計部１０４は、撮影日時、即ち撮影画像の取得日時を検出する。時計部１０４で検出された撮影日時は、撮像部１０３で取得された撮影画像に付帯される。
【００１２】
記録部１０５は、例えばカメラ１００に対して着脱自在に構成されたメモリカードである。この記録部１０５には、撮像部１０３を介して取得された撮影画像が記録される。表示部１０６は、制御部１０１の下で記録部１０５に記録された画像等の各種画像を表示する。
【００１３】
通信部１０７は、制御部１０１の制御の下、サーバ４００との通信に係る各種処理を行う。
【００１４】
スキャナ２００は、写真等をデジタルデータとして取り込む。このスキャナ２００で取り込んだ画像のデジタルデータはサーバ４００に送信することが可能である。パーソナルコンピュータ（ＰＣ）３００は、液晶ディスプレイ等の表示部とマウスやキーボード等の操作入力部とを有し、サーバ４００から送信されてくるＷｅｂページデータを鑑賞するためのブラウザ用のソフトウェアがインストールされている。このＰＣ３００によって、サーバ４００に記録されている撮影画像を鑑賞することが可能である。
【００１５】
本実施形態の画像表示装置の一例としてのサーバ４００は、制御部４０１と、記録部４０２と、被写体検出部４０３と、日時検出部４０４と、分類部４０５と、通信部４０６とを有している。
【００１６】
制御部４０１は、サーバ４００における各種処理を制御する。記録部４０２は、カメラ１００又はスキャナ２００から通信回線５００を介して送信された撮影画像を記録する。この記録部４０２は、カメラ１００の記録部１０５に比して大容量の記録容量を有するハードディスク等から構成されている。
【００１７】
被写体検出部４０３は、記録部４０２に記録されている撮影画像中における被写体の全部又は一部の画像を、エッジ抽出処理等を用いて検出する。日時検出部４０４は、撮影画像の撮影日時を検出する。撮影画像がカメラ１００から送信されてきたものである場合には、撮影画像に撮影日時が付帯されているのでその情報を抽出する。一方、撮影画像がスキャナ２００から送信されてきたものである場合で、例えば、送信されてきた画像中に撮影日時を示す文字情報が含まれている場合にはその文字情報を画像認識することで撮影日時を検出する。
【００１８】
分類部４０５は、日時検出部４０４で検出された撮影日時及び各撮影画像に係るイベント情報に従って、記録部４０２に記録されている複数の撮影画像を複数のグループに分類する。この分類の詳細については後述する。
【００１９】
通信部４０６は、制御部４０１の制御の下、カメラ１００との通信に係る各種処理を行う。
【００２０】
以下、図１に示す画像表示システムの動作について説明する。図２は、図１に示す画像表示システムにより、ＰＣ３００の表示部上に表示される画面の例を示した図である。上述したように、本実施形態においては、記録部４０２に記録されている撮影画像をその撮影日時と撮影画像が示すイベントの内容とに応じて分類してフォルダ毎にまとめておく。さらに、撮影画像の内容に従った書架画像を生成し、ＰＣ３００からサーバ４００にアクセスがなされた場合には、図２に示すように、画面の左右に書架画像を表示させるとともに、該表示させた書架画像のそれぞれにフォルダを重畳して表示させる。
【００２１】
図２に示すように、書架画像は、例えば遠近法により仮想的に奥行きが表現されるように表示させる。さらに、本実施形態では、例として、図２の手前側の書架画像に撮影日時（撮影年代）の新しいグループに対応したフォルダを配置し、図２の奥側の書架画像に撮影日時（撮影年代）の古いグループに対応したフォルダを配置する。勿論、奥の書架画像に撮影日時（撮影年代）の新しいグループに対応したフォルダを配置するようにしても良い。
【００２２】
また、図２において、左側の書架画像（書架１、書架３）には、分類部４０５によって分類がなされた撮影画像を含むフォルダ６０１を配置し、右側の書架画像（書架２、４）には、分類部４０５によって分類がなされなかった撮影画像を含むフォルダ６０２を配置する。さらに、各書架画像の近傍には、それぞれの書架画像に配置されるフォルダ内の撮影画像の特徴を示すためのラベル６０３を表示させる。
【００２３】
なお、図２に示すように、画面の下部（床部分）を書架画像として利用し（書架５）、この床部分にフォルダ６０４を配置するようにしても良い。さらには、天井部分を書架画像として利用するようにしても良い。
【００２４】
ユーザは、図２のカーソル６００を、ＰＣ３００のマウス等を操作することが可能である。ユーザがカーソル６００を操作して何れかのフォルダを選択すると、そのフォルダ内の撮影画像のサムネイル画像が表示される。さらに、サムネイル画像を選択することで選択された撮影画像がＰＣ３００の表示部に拡大表示される。
【００２５】
また、図２の表示がなされているときに、マウス等を操作することによって画面を奥行き方向にスクロールさせることで、図２に示すものより、さらに過去の撮影画像が格納されているフォルダが配置された書架画像が表示される。
【００２６】
ここで、制御部４０１は、ユーザによる撮影画像の鑑賞頻度を、例えばフォルダの選択回数によってカウントしている。図２の表示を行う際に、制御部４０１は、鑑賞頻度に従ってフォルダの並び替えを行う。図２の例では、鑑賞頻度の多い撮影画像を格納したフォルダは書架画像中の上段に配置され、鑑賞頻度が少ない撮影画像を格納したフォルダほど書架画像中の下段に配置されるようになっている。
【００２７】
図３は、図２の表示を行うための表示制御について示すフローチャートである。この図３の処理は、サーバ４００の制御部４０１によって制御される。また、図３においては、表示制御の概念についてのみ説明し、各処理の詳細については後述する。
【００２８】
図３において、まず、制御部４０１は、分類部４０５により、記録部４０２に記録されている全ての撮影画像を複数のグループに分類し、分類した撮影画像をグループ毎にフォルダにまとめる（ステップＳ１）。ステップＳ１の分類処理の後、制御部４０１は、分類部４０５により、撮影画像の撮影日時及び撮影画像に写っている被写体の特徴等から、フォルダ内の撮影画像が撮影されたと考えられるイベント時期を推定するイベント時期推定処理を行う（ステップＳ２）。イベント時期推定処理の後、制御部４０１は、イベント時期に従って書架画像の条件を決定する（ステップＳ３）。この書架画像の条件の決定処理により、各書架画像の近傍に配置されるラベル６０３の名称が決定される。書架画像の条件の決定後、制御部４０１は、ステップＳ３で決定された各書架画像上に各フォルダを配置する書架整理処理を行う（ステップＳ４）。次に、制御部４０１は、撮影画像の鑑賞状況に応じて書架画像中の段を増加させる書架段作成処理を行う（ステップＳ５）。
【００２９】
以上のステップＳ１〜ステップＳ５までの処理によって、図２に示す画面を表示するためのデータ（Ｈｔｍｌデータ等のＷｅｂページデータ）が作成される。ＰＣ３００からのアクセスがなされた場合に、制御部４０１は、ステップＳ５までの処理で作成されたデータをＰＣ３００に送信する。これにより、ＰＣ３００の表示部上に図２に示す画面が表示される（ステップＳ６）。
【００３０】
図４は、図３のステップＳ１における分類処理について示すフローチャートである。まず、分類部４０５は、日時検出部４０４により、記録部４０２に記録されている各撮影画像の撮影日時を検出する。そして、分類部４０５は、各撮影画像の撮影日時から、所定枚数以上の撮影画像が同日に撮影されているか否かを判定する（ステップＳ１１）。ステップＳ１１の判定において、所定枚数以上の撮影画像が同日に撮影されている場合に、分類部４０５は、それらの同日に撮影された撮影画像を同じフォルダ内にまとめる（ステップＳ１２）。例えば、運動会等であれば１日に多くの撮影がなされる可能性が高い。したがって、同日に多数の撮影画像が撮影されている場合には、何らかの特定のイベントがあったとして、その日に撮影された撮影画像を同じフォルダにまとめるようにする。なお、撮影画像を同じフォルダにまとめる処理は、例えば記録部４０２におけるディレクトリ構造を変更することで行うことができる。また、フォルダの名称については、ステップＳ１２の処理の際に、例えば分類部４０５が自動的に設定する。勿論、ユーザがＰＣ３００を操作して設定できるようにしても良い。
【００３１】
また、ステップＳ１１の判定において、所定枚数以上の撮影画像が同じ日に撮影されていない場合に、分類部４０５は、所定期間内にコンスタントに撮影がなされている期間（撮影頻度の高い期間）が存在しているか否かを判定する（ステップＳ１３）。ステップＳ１３の判定において、撮影頻度の高い期間が存在している場合に、分類部４０５は、その撮影頻度の高い期間内に撮影された全ての撮影画像を同じフォルダ内にまとめる。例えば、旅行等では、ある期間内に様々な場所に行って撮影を行うので、所定期間内での撮影頻度が高いと考えられる。したがって、撮影頻度が高い期間が存在している場合にも、何らかの特定のイベントがあったとして、その期間内で撮影された撮影画像を同じフォルダにまとめるようにする。
【００３２】
また、ステップＳ１３の判定において、撮影頻度が高い期間が存在していない場合に、制御部４０１は、例えば月単位や季節単位、年単位等の、所定期間内に撮影された撮影画像を同じフォルダ内にまとめる（ステップＳ１４）。
【００３３】
ステップＳ１２又はステップＳ１４の後、分類部４０５は、全ての撮影画像をフォルダに分類したか否かを判定する（ステップＳ１５）。ステップＳ１５の判定において、全ての撮影画像の分類を終了していない場合にはステップＳ１１に戻り、分類部４０５は撮影画像の分類を継続する。一方、ステップＳ１５の判定において、全ての撮影画像の分類を終了した場合に、分類部４０５は図４の処理を終了させる。
【００３４】
図５は、図３のステップＳ２におけるイベント時期判定処理について示すフローチャートである。なお、図５の各処理を行うに先立って、ユーザの生年月日の情報が予め記録部４０２に登録されているものとする。また、図５における各処理の詳細については後述する。
【００３５】
図５において、分類部４０５は、全撮影画像を対象として、幼稚園判定処理を行う（ステップＳ２１）。この幼稚園判定処理の後、分類部４０５は、幼稚園時代に撮影されていないと判定された撮影画像を対象として学校判定処理を行う（ステップＳ２２）。この学校判定処理の後、学生時代（小学校、中学校、高校）に撮影されていないと判定された撮影画像を対象として結婚式判定処理（ステップＳ２３）を行う。これらの処理の後、分類部４０５は図５の処理を終了させる。
【００３６】
図６は、幼稚園判定処理の流れを示すフローチャートである。まず、分類部４０５は、撮影画像の撮影日時から、撮影日時が入園シーズンに対応する撮影画像（ユーザが入園したと考えられる年の４月に撮影された画像）が存在しているか否かを判定する（ステップＳ３１）。ステップＳ３１の判定において、撮影日時が入園シーズンに対応する撮影画像が存在しない場合に、分類部４０５は図６の処理を終了させる。
【００３７】
また、ステップＳ３１の判定において、撮影日時が入園シーズンに対応する撮影画像が存在した場合に、分類部４０５は、その撮影日時が入園シーズンに対応した撮影画像の数が所定枚数以上であるか、即ち入園シーズンに対応した複数の撮影画像が同じフォルダにまとめられているか否かを判定する（ステップＳ３２）。ステップＳ３２の判定において、撮影日時が入園シーズンに対応した撮影画像の数が所定枚数未満の場合に、分類部４０５は図６の処理を終了させる。
【００３８】
一方、ステップＳ３２の判定において、撮影日時が入園シーズンに対応した撮影画像の数が所定枚数以上の場合には、分類部４０５は、被写体検出部４０３により、撮影日時が入園シーズンに対応した撮影画像における被写体の顔部を検出する（ステップＳ３３）。顔検出後、分類部４０５は、撮影日時が入園シーズンに対応した撮影画像の中に、複数の顔部が並んでいる撮影画像が存在しているか否かを判定する（ステップＳ３４）。このステップＳ３４の処理は、入園式の際の集合写真が撮影されているか否かを判定するための処理である。ステップＳ３４の判定において、複数の顔部が並んでいる撮影画像が存在していない場合には、集合写真が撮影されていないとして、分類部４０５は、図６の処理を終了させる。
【００３９】
また、ステップＳ３４の判定において、複数の顔部が並んでいる撮影画像が存在した場合に、分類部４０５は、被写体検出部４０３により、その複数の顔部が並んでいる撮影画像における被写体の体部を検出する。そして、分類部４０５は、体部に対する顔部の比率（頭身）が大きいかを判定することにより、撮影画像中の複数の被写体が子供（園児）であるか否かを判定する（ステップＳ３５）。ステップＳ３５の判定において、撮影画像中の複数の被写体が子供でない場合に、分類部４０５は図６の処理を終了させる。
【００４０】
また、ステップＳ３５の判定において、撮影画像中の被写体が子供である場合に、分類部４０５は、被写体検出部４０３において検出された複数の被写体が略同じ服（制服）を着ているか否かを判定する（ステップＳ３６）。この判定は、例えば撮影画像中の複数の被写体間の体部の画像のマッチングをとることに行える。ステップＳ３６の判定において、複数の被写体が同じ服を着ていない場合には、入園式における集合写真が撮影されていないとして、分類部４０５は、図６の処理を終了させる。
【００４１】
また、ステップＳ３６の判定において、複数の被写体が同じ制服を着ている場合には、入園式における集合写真が撮影されている、即ち幼稚園の入園があったと推定する。この場合に、分類部４０５は、ステップＳ３１において判定された入園シーズンに対応する撮影画像を、入園式に撮影された撮影画像であると推定する（ステップＳ３７）。そして、これらの撮影画像の撮影年をユーザの入園の年として記録部４０２に記録させる。
【００４２】
次に幼稚園最後の行事を考えた場合、例えば入園の年から２年、３年後に卒園式を向かえることが考えられる。この卒園式の撮影画像を特定すべく、分類部４０５は、卒園シーズンに対応する撮影画像（入園の年から２又は３年後の３月に撮影された画像）が存在しているか否かを判定する（ステップＳ３８）。ステップＳ３８の判定において、撮影日時が卒園シーズンに対応する撮影画像が存在しない場合に、分類部４０５は図６の処理を終了させる。
【００４３】
また、ステップＳ３８の判定において、撮影日時が卒園シーズンに対応する撮影画像が存在した場合に、分類部４０５は、その撮影日時が卒園シーズンに対応した撮影画像の数が所定枚数以上であるか、即ち卒園シーズンに対応した複数の撮影画像が同じフォルダにまとめられているか否かを判定する（ステップＳ３９）。ステップＳ３９の判定において、撮影日時が卒園シーズンに対応した撮影画像の数が所定枚数未満の場合に、分類部４０５は図６の処理を終了させる。
【００４４】
一方、ステップＳ３９の判定において、撮影日時が卒園シーズンに対応した撮影画像の数が所定枚数以上の場合には、分類部４０５は、被写体検出部４０３により、撮影日時が卒園シーズンに対応した撮影画像における被写体の顔部を検出する（ステップＳ４０）。顔検出後、分類部４０５は、複数の顔部が並んでいる撮影画像が存在しているか否かを判定する（ステップＳ４１）。ステップＳ４１の判定において、複数の顔部が並んでいる撮影画像が存在していない場合に、分類部４０５は図６の処理を終了させる。
【００４５】
また、ステップＳ４１の判定において、複数の顔部が並んでいる撮影画像が存在した場合には、卒園式における集合写真が撮影されている、即ち幼稚園の卒園があったと推定する。この場合に、分類部４０５は、ステップＳ３８において判定された卒園シーズンに対応する撮影画像を、卒園式に撮影された撮影画像であると推定する（ステップＳ４２）。そして、これらの撮影画像の撮影年をユーザの卒園の年として記録部４０２に記録させる。その後に、分類部４０５は図６の処理を終了させる。
【００４６】
図７は、学校判定処理の流れを示すフローチャートである。まず、分類部４０５は、撮影画像の撮影日時から、撮影日時が入学シーズン対応する撮影画像（ユーザが小学校、中学校、高校の何れかに入学したと考えられる年の４月に撮影された画像）が存在しているか否かを判定する（ステップＳ５１）。ステップＳ５１の判定において、撮影日時が入学シーズンに対応する撮影画像が存在しない場合に、分類部４０５は図７の処理を終了させる。
【００４７】
また、ステップＳ５１の判定において、撮影日時が入学シーズンに対応する撮影画像が存在した場合に、分類部４０５は、その撮影日時が入学シーズンに対応した撮影画像の数が所定数以上であるか、即ち入学シーズンに対応した複数の撮影画像が同じフォルダにまとめられているか否かを判定する（ステップＳ５２）。ステップＳ５２の判定において、撮影日時が入学シーズンに対応した撮影画像の数が所定数未満の場合に、分類部４０５は図７の処理を終了させる。一方、ステップＳ５２の判定において、撮影日時が入学シーズンに対応した撮影画像の数が所定枚数以上の場合には、分類部４０５は、被写体検出部４０３により、撮影日時が入学シーズンに対応した撮影画像における被写体を検出する。そして、分類部４０５は、撮影日時が入学シーズンに対応した撮影画像の中で、複数の被写体が並んでいる撮影画像が存在しているか否かを判定する（ステップＳ５３）。ステップＳ５３の判定において、複数の被写体が並んでいる撮影画像が存在していない場合には、入学式における集合写真が撮影されていない、即ち入学がなかったとして分類部４０５は図７の処理を終了させる。
【００４８】
また、ステップＳ５３の判定において、複数の被写体が並んでいる撮影画像が存在している場合には、入学式における集合写真が撮影されている、即ち入学があったとして分類部４０５はステップＳ５１において判定された入学シーズンに対応する撮影画像を、入学式に撮影された撮影画像であると推定する（ステップＳ５４）。そして、これらの撮影画像の撮影年を入学の年として記録部４０２に記録させる。
【００４９】
次に卒業式の撮影画像の判定を行う。分類部４０５は、卒業シーズンに対応する撮影画像（入学の年から３又は６年経過後の３月に撮影された画像）が存在しているか否かを判定する（ステップＳ５５）。ステップＳ５５の判定において、撮影日時が卒業シーズンに対応する撮影画像が存在しない場合に、分類部４０５は図７の処理を終了させる。
【００５０】
また、ステップＳ５５の判定において、撮影日時が卒業シーズンに対応する撮影画像が存在した場合に、分類部４０５は、その撮影日時が卒業シーズンに対応した撮影画像の数が所定枚数以上であるか、即ち卒業シーズンに対応した複数の撮影画像が同じフォルダにまとめられているか否かを判定する（ステップＳ５６）。ステップＳ５６の判定において、撮影日時が卒業シーズンに対応した撮影画像の数が所定枚数未満の場合に、分類部４０５は図７の処理を終了させる。一方、ステップＳ５６の判定において、撮影日時が卒業シーズンに対応した撮影画像の数が所定枚数以上の場合には、分類部４０５は、被写体検出部４０３により、撮影日時が卒業シーズンに対応した撮影画像における被写体を検出する。そして、分類部４０５は、撮影日時が卒業シーズンに対応した撮影画像の中で、複数の被写体が並んでいる撮影画像が存在しているか否かを判定する（ステップＳ５７）。ステップＳ５７の判定において、複数の被写体が並んでいる撮影画像が存在していない場合に、分類部４０５は図７の処理を終了させる。
【００５１】
また、ステップＳ５７の判定において、複数の被写体が並んでいる撮影画像が存在している場合には、卒業式における集合写真が撮影されていると推定する。次に、分類部４０５はそれらの撮影画像の撮影年が入学の年から３年後であるか否かを判定する（ステップＳ５８）。ステップＳ５８の判定において、撮影年が入学の年から３年後でない場合には、その撮影画像が小学校の卒業式の画像であると推定する（ステップＳ５９）。そして、ステップＳ５１において判定された入学シーズンに対応した撮影画像の撮影年を小学校の入学の年として記録部４０２に記録させるとともに、ステップＳ５５において判定された卒業シーズンに対応した撮影画像の撮影年を小学校の卒業の年として記録部４０２に記録させる。
【００５２】
また、ステップＳ５８の判定において、撮影年が入学の年から３年後である場合には、それらの撮影画像は中学校又は高校の卒業式の撮影画像である。以後の処理によって、中学校の卒業式であるか、高校の卒業式であるかを判別する。まず、分類部４０５は、ステップＳ５５において判定された卒業シーズンに対応した撮影画像の１つ前の卒業式の撮影画像が、私服の卒業式即ち小学校の卒業式の撮影画像であったか否かを判定する（ステップＳ６０）。この判定は、例えば１つ前の卒業式の撮影画像において複数の被写体が異なる服を着ていたかを判定する。ステップＳ６０の判定において、１つ前の卒業式が私服の卒業式であった場合に、分類部４０５はステップＳ５５において判定された卒業式シーズンに対応した撮影画像が中学校の卒業式の画像であると推定する（ステップＳ６１）。そして、ステップＳ５１において判定された入学シーズンに対応した撮影画像の撮影年を中学校の入学の年として記録部４０２に記録させるとともに、ステップＳ５５において判定された卒業シーズンに対応した撮影画像の撮影年を中学校の卒業の年として記録部４０２に記録させる。
【００５３】
また、１つ前の卒業式が私服の卒業式でない場合に、分類部４０５は、ステップＳ５１で判定された入学シーズンに対応した撮影画像中の被写体の身長とステップＳ５５で判定された卒業シーズンに対応した撮影画像中の被写体の身長とを比較して、身長変化が所定量よりも小さいか否かを判定する（ステップＳ６２）。ステップＳ６２の判定において、身長変化が小さくなければ、分類部４０５は、ステップＳ５５で判定された卒業シーズンに対応した撮影画像が高校の卒業式の画像であると推定する（ステップＳ６３）。そして、ステップＳ５１で判定された入学シーズンに対応した撮影画像の撮影年を高校の入学の年として記録部４０２に記録させるとともに、ステップＳ５５で判定された卒業シーズンに対応した撮影画像の撮影年を高校の卒業の年として記録部４０２に記録させる。また、ステップＳ６２の判定において、身長変化が小さければ、中学校と高校の何れであるかが判別できない。この場合に、分類部４０５は、ステップＳ５１及びステップＳ５５でそれぞれ判定された撮影画像を学生時代（中学校又は高校）の画像であると推定する（ステップＳ６４）。
【００５４】
ステップＳ５９、ステップＳ６１、Ｓ６３、Ｓ６４の後、制御部４０１は、幼稚園時代の撮影画像でないと推定された全ての撮影画像に対して学校判定を行ったか否かを判定する（ステップＳ６５）。ステップＳ６５の判定において、まだ判定を行っていない撮影画像が存在する場合に、分類部４０５は、ステップＳ５１以後の処理を再び実行する。一方、ステップＳ６５の判定において、全ての撮影画像に対する判定を行った場合に、分類部４０５は図７の判定を終了させる。
【００５５】
図８は、結婚式判定処理の流れを示すフローチャートである。まず、分類部４０５は、被写体検出部４０３により、各撮影画像における被写体の顔部を検出する（ステップＳ７１）。顔検出の終了後、分類部４０５は、男女二人が並んでいる撮影画像が存在しているか否かを判定する（ステップＳ７２）。ステップＳ７２の判定において、男女二人が並んでいる撮影画像が存在していない場合に、分類部４０５は図８の処理を終了させる。
【００５６】
また、ステップＳ７２の判定において、男女二人が並んでいる撮影画像が存在していない場合に、分類部４０５は、被写体検出部４０３により、撮影画像中の被写体の体部を検出する。そして、分類部４０５は、被写体検出部４０３において検出された被写体が結婚式の服装であるか否かを判定する（ステップＳ７３）。この判定は、例えば撮影画像中の被写体の体部（服）の画像と所定の結婚式の服装の画像とのマッチングをとることに行える。
【００５７】
ステップＳ７３の判定において、被写体が結婚式の服装である場合には、基本的には結婚式の撮影画像であると考えられる。しかしながら、何らかのイベントでたまたま結婚式の服装をしたという状況も考えられる。これらを判別するために、分類部４０５は、ステップＳ７３で判定を行った撮影画像の撮影日時の１年以降の撮影日時の撮影画像で、同じ二人が写っている撮影画像が存在しているか否かを判定する（ステップＳ７４）。ステップＳ７４の判定において、ステップＳ７３で判定を行った１年以降の撮影日時の撮影画像で、同じ二人が写っている撮影画像が存在していない場合に、分類部４０５は図８の処理を終了させる。
【００５８】
また、ステップＳ７４の判定において、ステップＳ７３で判定を行った１年以降の撮影日時の撮影画像で、同じ二人が写っている撮影画像が存在している場合に、分類部４０５はステップＳ７３で判定を行った撮影画像を結婚式に撮影された撮影画像と推定する（ステップＳ７５）。そして、この撮影画像の撮影日時を結婚式の日として記録部４０２に記録させる。さらに、分類部４０５は、この撮影画像に写っている男女それぞれの顔画像をカップルの画像として記録部４０２に記録させる（ステップＳ７６）。その後、分類部４０５は図８の処理を終了させる。
【００５９】
また、ステップＳ７３の判定において、被写体が結婚式の服装でない場合に、分類部４０５は、ステップＳ７３で判定を行った撮影画像の撮影日時よりも前の撮影日時の撮影画像で、同じ二人が写っている撮影画像が存在していないか否かを判定する（ステップＳ７７）。ステップＳ７７の判定において、過去に同じ二人が写っている撮影画像が存在していない場合に、分類部４０５は図８の処理を終了させる。
【００６０】
また、ステップＳ７７の判定において、過去に同じ二人が写っている撮影画像が存在している場合に、分類部４０５はその同じ二人が写っている撮影画像の数が所定数以上であるか否かを判定する（ステップＳ７８）。ステップＳ７８の判定において、同じ二人が写っている撮影画像の数が所定数未満である場合に、分類部４０５は図８の処理を終了させる。
【００６１】
一方、ステップＳ７８の判定において、同じ二人が写っている撮影画像の数が所定以上である場合には、その二人が結婚したものとする。そして、分類部４０５は最も多くその二人が写っている撮影画像の撮影日時を仮の結婚日として記録部４０２に記録させる。さらに、分類部４０５は、この撮影画像に写っている男女それぞれの顔画像を記録部４０２に記録させる。その後、分類部４０５は図８の処理を終了させる。
【００６２】
図９は、図３のステップＳ３の書架整理処理について示すフローチャートである。図９において、制御部４０１は、幼稚園期間（入園から卒園までの期間）に対応した撮影画像を格納したフォルダが存在するか否かを判定する（ステップＳ８１）。ステップＳ８１の判定において、幼稚園期間に対応した撮影画像を格納したフォルダが存在する場合に、制御部４０１は、幼稚園期間に対応した撮影画像を格納したフォルダを「幼稚園」に対応した書架画像上に配置する（ステップＳ８２）。「幼稚園」に対応した書架画像は図２に示す画面の左側で且つ奥に配置する。一方、ステップＳ８１の判定において、幼稚園期間に対応した撮影画像を格納したフォルダが存在しない場合に、制御部４０１は、ステップＳ８２の処理をスキップする。
【００６３】
次に、制御部４０１は、小学校期間（小学校の入学から卒業までの期間）に対応した撮影画像を格納したフォルダが存在するか否かを判定する（ステップＳ８３）。ステップＳ８３の判定において、小学校期間に対応した撮影画像を格納したフォルダが存在する場合に、制御部４０１は、小学校期間に対応した撮影画像を格納したフォルダを「小学校」に対応した書架画像上に配置する（ステップＳ８４）。「小学校」に対応した書架画像は図２に示す画面の左側で且つ「幼稚園」の書架画像よりも手前に配置する。一方、ステップＳ８３の判定において、小学校期間に対応した撮影画像を格納したフォルダが存在しない場合に、制御部４０１は、ステップＳ８４の処理をスキップする。
【００６４】
次に、制御部４０１は、中学校期間（中学校の入学から卒業までの期間）に対応した撮影画像を格納したフォルダが存在しているか否かを判定する（ステップＳ８５）。ステップＳ８５の判定において、中学校期間に対応した撮影画像を格納したフォルダが存在している場合に、制御部４０１は、中学校期間に対応した撮影画像を格納したフォルダを「中学校」に対応した書架画像上に配置する（ステップＳ８６）。「中学校」に対応した書架画像は図２に示す画面の左側で且つ「小学校」の書架画像よりも手前に配置する。一方、ステップＳ８５の判定において、中学校期間に対応した撮影画像を格納したフォルダが存在していない場合に、制御部４０１は、ステップＳ８６の処理をスキップする。
【００６５】
次に、制御部４０１は、高校期間（高校の入学から卒業までの期間）に対応した撮影画像を格納したフォルダが存在しているか否かを判定する（ステップＳ８７）。ステップＳ８７の判定において、高校期間に対応した撮影画像を格納したフォルダが存在している場合に、制御部４０１は、高校期間に対応した撮影画像を格納したフォルダを「高校」に対応した書架画像上に配置する（ステップＳ８８）。「高校」に対応した書架画像は図２に示す画面の左側で且つ「中学校」の書架画像よりも手前に配置する。一方、ステップＳ８７の判定において、高校期間に対応した撮影画像を格納したフォルダが存在していない場合に、制御部４０１は、ステップＳ８８の処理をスキップする。
【００６６】
ここで、図７のステップＳ６４において中学校と高校の何れであるかの判別がつかず、学生時代の撮影画像を含むと推定されたフォルダがある場合には、図２に示す画面の右側の書架画像に配置する。
【００６７】
次に、制御部４０１は、幼稚園期間よりも前の期間に対応した撮影画像を格納したフォルダが存在しているか否かを判定する（ステップＳ８９）。ステップＳ８９の判定において、幼稚園期間よりも前の期間に対応した撮影画像を格納したフォルダが存在している場合に、制御部４０１は、その幼稚園期間よりも前の期間に対応した撮影画像を格納したフォルダの中に、はいはい写真が多く格納されているフォルダが存在しているか否かを判定する（ステップＳ９０）。なお、撮影画像がはいはい写真であるか否かは例えばパターンマッチングを利用して判定する。ステップＳ９０の判定において、はいはい写真が多く格納されているフォルダが存在する場合に、制御部４０１は、そのはいはい写真が多く格納されているフォルダを「赤ちゃん」に対応した書架画像上に配置する（ステップＳ９１）。「赤ちゃん」に対応した書架画像は図２に示す画面の左側で且つ「幼稚園」の書架画像よりも手前に配置する。また、ステップＳ９０の判定において、はいはい写真が多く格納されているフォルダが存在しない場合には、幼稚園期間よりも前の期間に対応した各フォルダを「その他」に対応した書架画像上に配置する（ステップＳ９２）。「その他」に対応した書架画像は図２に示す画面の右側に配置する。赤ちゃん時代の特徴として、歩いているか又ははいはいしているかによって時期が大別されるので、ステップＳ９０の判定を行うようにしている。
【００６８】
次に、制御部４０１は、高校期間よりも後の期間に対応した撮影画像を格納したフォルダが存在しているか否かを判定する（ステップＳ９３）。ステップＳ９３の判定において、高校期間よりも後の期間に対応した撮影画像を格納したフォルダが存在している場合に、制御部４０１は、その高校期間よりも後の期間に対応した撮影画像を格納したフォルダの中に、結婚式に対応したフォルダが存在しているか否かを判定する（ステップＳ９４）。ステップＳ９４の判定において、結婚式に対応したフォルダが存在する場合に、制御部４０１は、高校期間よりも後の期間に対応した撮影画像を格納したフォルダの中に、さらにユーザの家族の撮影画像を格納したフォルダが存在しているか否かを判定する（ステップＳ９５）。この家族判定の詳細については後述する。ステップＳ９５の判定において、高校期間よりも後の期間に対応した撮影画像を格納したフォルダの中に、ユーザの家族の撮影画像を格納したフォルダが存在している場合に、制御部４０１は、ユーザの家族の撮影画像を含むフォルダを「家族」に対応した書架画像上に配置する（ステップＳ９６）。「家族」に対応した書架画像は図２に示す画面の左側で最も手前の位置に配置する。
【００６９】
また、ステップＳ９３の判定において高校期間よりも後の期間に対応した撮影画像を格納したフォルダが存在していない場合、ステップＳ９４の判定において結婚式の撮影画像を格納したフォルダが存在していない場合、ステップＳ９５の判定においてユーザの家族の撮影画像を格納したフォルダが存在していない場合に、制御部４０１は、残りのフォルダを「その他」に対応した書架画像上に配置する（ステップＳ９７）。
【００７０】
図１０は、図９のステップＳ９５における判定処理について示したフローチャートである。まず、制御部４０１は、高校期間よりも後の期間に対応した撮影画像を格納したフォルダの中から、１つの撮影画像を選択する。そして、制御部４０１は、その撮影画像が結婚式以降の撮影日時を有する撮影画像であるか否かを判定する（ステップＳ１０１）。ステップＳ１０１の判定において、選択した撮影画像が結婚以降の撮影画像でない場合には、選択した撮影画像が家族の撮影画像でないと推定する。この場合には、処理がステップＳ１１０に移行する。
【００７１】
一方、ステップＳ１０１の判定において、選択した撮影画像が結婚式以降の撮影日時を有する撮影画像である場合に、制御部４０１は、被写体検出部４０３により、選択した撮影画像における被写体の顔部を検出する（ステップＳ１０２）。次に、制御部４０１は、選択した撮影画像の中に、結婚式判定処理において結婚していると推定された男女二人の少なくとも何れかが写っているか否かを判定する（ステップＳ１０３）。なお、年齢の変化等によって、男女二人の顔が記録部４０２にカップル画像として記録させた顔と異なっている場合も考えられる。したがって、ステップＳ１０３においては、目の間隔や鼻の位置等の、年齢の変化によっても余り変化が生じない顔の特徴部を用いて判定を行うことが望ましい。
【００７２】
ステップＳ１０３の判定において、選択した撮影画像に、結婚式判定処理において結婚していると推定された男女二人の何れもが写っていない場合に、選択した撮影画像に、ユーザの子供が写っているか否かを判定する（ステップＳ１０４）。この判定は、撮影画像中の被写体の画像と、後述する処理によって記録部４０２に記録されるユーザの子供の画像とのマッチングをとることにより行う。ステップＳ１０４の判定において、選択した撮影画像に、ユーザの子供が写っていない場合には、選択した撮影画像が家族の撮影画像でないと推定する。この場合には、処理がステップＳ１１０に移行する。
【００７３】
また、ステップＳ１０３の判定において、選択した撮影画像に、結婚式判定処理において結婚していると推定された男女二人の少なくとも何れかが写っている場合に、制御部４０１は、この男女二人とともに子供が写っている撮影画像が所定数以上存在するか否かを判定する（ステップＳ１０５）。ステップＳ１０５の判定において、この男女二人とともに子供が写っている撮影画像が所定数以上存在する場合に、制御部４０１は、その子供を、結婚式判定処理において結婚していると判定された男女二人の子供であるとして、その子供の画像を記録部４０２に記録する（ステップＳ１０６）。ここで、記録した子供の画像をステップＳ１０４の判定において用いる。一方、ステップＳ１０５の判定において、子供が写っている撮影画像が所定数未満である場合に、制御部４０１は、ステップＳ１０６の処理をスキップする。
【００７４】
次に、制御部４０１は、選択した撮影画像に、男女二人のうちの何れかのみが写っているか否かを判定する（ステップＳ１０７）。自分自身の画像は家族の画像とは言えないので、男女二人の一方のみが写っている撮影画像については、その撮影画像が家族（ユーザの配偶者）の画像であるかユーザ自身の画像であるかを判別して分類する必要がある。このため、ステップＳ１０７以後の処理を行う。ステップＳ１０７の判定において、男女二人のうちの何れかのみが写っている場合に、制御部４０１は、その選択した撮影画像に写っている人物と学生時代（例えば高校時代）に分類されている撮影画像に写っている人物とが一致（実際には顔の特徴部が一致）しているか否かを判定する（ステップＳ１０８）。ステップＳ１０８の判定において、選択した撮影画像に一人だけで写っている人物と学生時代（例えば高校時代）に分類されている撮影画像に写っている人物とが一致している場合には、結婚式以降の撮影日時を有する撮影画像に一人だけで写っている人物がユーザ自身であると判定する。この場合には、選択した撮影画像が家族の撮影画像でないと推定する。その後、処理がステップＳ１１０に移行する。
【００７５】
また、ステップＳ１０４の判定において、選択した撮影画像にユーザの子供が写っている撮影画像が存在している場合、若しくはステップＳ１０８の判定において、選択した撮影画像に一人だけで写っている人物と学生時代が一致していない場合に、制御部４０１は、それらの結婚式以降の撮影日時を有する撮影画像を家族の撮影画像と推定する（ステップＳ１０９）。
【００７６】
その後、制御部４０１は、結婚日以降の全ての撮影画像に対して判定を行ったか否かを判定する（ステップＳ１１０）。ステップＳ１１０の判定において、まだ判定を行っていない撮影画像が存在する場合に、別の撮影画像を選択した後、制御部４０１はステップＳ１０１以後の処理を再び実行する。一方、ステップＳ１１０の判定において、全ての撮影画像に対する判定を行った場合に、制御部４０１は図１０の判定を終了させる。
【００７７】
図１１は、書架段作成処理について示すフローチャートである。図１１において、制御部４０１は、各書架画像中の撮影画像の鑑賞度合い（実際にはフォルダの選択頻度）を比較し、撮影画像の鑑賞度合いに差があるか否かを判定する（ステップＳ１１１）。ステップＳ１１１の判定において、鑑賞頻度に差がない場合に、制御部４０１は図１１の処理を終了させる。
【００７８】
一方、ステップＳ１１１の判定において、鑑賞頻度に差がある場合に、制御部４０１は、書架画像に別の段を追加する（ステップＳ１１２）。次に、制御部４０１は、鑑賞頻度の少ない撮影画像を格納したフォルダ（選択回数の少ないフォルダ）をステップＳ１１２で作成した下段に配置した後（ステップＳ１１３）、図１１の処理を終了させる。
【００７９】
以上説明したように、本実施形態によれば、撮影画像の撮影日時や撮影画像に写っている被写体の特徴から撮影画像を複数のグループに分類し、分類したグループ毎にフォルダに格納して、それぞれのフォルダをそのフォルダの内容に関連する書架画像中に配置するようにしている。これにより、ユーザは所望の撮影画像をより直感的に探し出すことが可能である。
【００８０】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では、書架画像をＰＣ３００の表示部に表示させるようにしているが、カメラ１００の表示部１０６に表示させるようにしても良い。
【００８１】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００８２】
【図１】本発明の一実施形態の画像表示装置を含む画像表示システムの構成を示すブロック図である。
【図２】図１に示す画像表示システムにより、ＰＣの表示部上に表示される画面の例を示した図である。
【図３】図２の表示を行うための表示制御について示すフローチャートである。
【図４】分類処理について示すフローチャートである。
【図５】イベント時期判定処理について示すフローチャートである。
【図６】幼稚園判定処理の流れを示すフローチャートである。
【図７】学校判定処理の流れを示すフローチャートである。
【図８】結婚式判定処理の流れを示すフローチャートである。
【図９】書架整理処理について示すフローチャートである。
【図１０】家族画像の判定処理について示したフローチャートである。
【図１１】書架段作成処理について示すフローチャートである。
【符号の説明】
【００８３】
１００…カメラ、１０１…制御部、１０２…操作入力部、１０３…撮像部、１０４…時計部、１０５…記録部、１０６…表示部、２００…スキャナ、３００…パーソナルコンピュータ（ＰＣ）、４００…サーバ、４０１…制御部、４０２…記録部、４０３…被写体検出部、４０４…日時検出部、４０５…分類部、４０６…通信部、５００…通信回線
【図１】
2009301119.tif 000003
【図２】
2009301119.tif 000004
【図３】
2009301119.tif 000005
【図４】
2009301119.tif 000006
【図５】
2009301119.tif 000007
【図６】
2009301119.tif 000008
【図７】
2009301119.tif 000009
【図８】
2009301119.tif 000010
【図９】
2009301119.tif 000011
【図１０】
2009301119.tif 000012
【図１１】
2009301119.tif 000013