(57)【要約】  効率的に大量の画像の内容を一覧して把握することが可能な画像閲覧装置及び方法を提供する。  画像閲覧装置において画像分類部、代表色抽出部、代表色配置部に加えて、撮影日時取得部、日常非日常設定部、表示モード管理部、代表色切換部などを備え、複数画像を所定の基準に従って分類した画像群毎に代表色を抽出して、代表色によって画像群を表現することにより、限られた大きさの表示領域において効率的に大量の画像の内容を一覧して把握することが可能となる。
2008117526.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影された画像を取得する画像取得手段と、
同一の期間内に撮影された画像が同一の画像群に属するように、取得した前記複数の画像を、各画像の撮影時を基に複数の期間に分類して、複数個の画像群を生成する画像分類手段と、
前記画像群毎に当該画像群を代表する１又は複数の代表色を抽出する色抽出手段と、
抽出された前記代表色を、閲覧画面上において、当該代表色に対応する期間により定まる位置に配置する色配置手段と、
前記代表色が配置された前記閲覧画面を表示する画面表示手段と
を備えることを特徴とする画像閲覧装置。
【請求項２】
前記閲覧画面は、第１軸及び第２軸により構成される座標平面を有し、第１軸は、所定の第１時間単位による時間の経過に対応し、第２軸は、第１時間単位を細分化して得られる第２時間単位による時間の経過に対応し、
前記色配置手段は、前記座標平面上において、当該代表色に対応する期間が属する第１時間単位に対応する領域内であって、当該期間が属する第２時間単位に対応する位置に当該代表色を配置する
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項３】
前記画像取得手段により取得される各画像には、当該画像が日常的な状況で撮影されたか、又は非日常的な状況で撮影されたかが設定されており、
前記色抽出手段は、前記画像群に含まれる画像のうち、日常的な状況で撮影されたと設定された画像及び非日常的な状況で撮影されたと設定された画像のいずれか一方又は両方を対象として前記代表色を抽出する
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項４】
前記色抽出手段は、非日常的な状況で撮影されたと設定された画像のみを対象として前記代表色を抽出する
ことを特徴とする請求項３に記載の画像閲覧装置。
【請求項５】
前記色抽出手段は、前記代表色として、日常的な状況で撮影されたと設定された画像を対象とする第一の代表色と、非日常的な状況で撮影されたと設定された画像を対象とする第二の代表色とを抽出し、
前記色配置手段は、前記位置において、前記第一の代表色と前記第二の代表色とを塗り分けて配置する
ことを特徴とする請求項３に記載の画像閲覧装置。
【請求項６】
前記色抽出手段は、前記代表色として、日常的な状況で撮影されたと設定された画像を対象とする第一の代表色と、非日常的な状況で撮影されたと設定された画像を対象とする第二の代表色とを抽出し、
前記色配置手段は、前記位置において、前記第一の代表色と前記第二の代表色とを切り換えて配置する
ことを特徴とする請求項３に記載の画像閲覧装置。
【請求項７】
前記色抽出手段は、
各画像を整理して表示する複数の方法をそれぞれ示す複数の表示モードのいずれか一を記憶している記憶部と、
前記表示モードに応じて代表色の決定方式を切り換える切換部と、
前記切換部により切り換えて、設定された決定方式に従って、前記画像群毎に当該画像群を代表する前記代表色を抽出する抽出部を含む
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項８】
前記各画像を整理して表示する複数の方法のうちの一は、時間軸で画像を整理して表示する方法であり、他の一は、画像に関連付けられた付加情報で画像を整理して表示する方法であり、
前記記憶部は、時間軸で画像を整理して表示する第１表示モード及び画像に関連付けられた付加情報で画像を整理して表示する第２表示モードのいずれか一を記憶しており、
切換部は、第１表示モードの場合には、画像群に含まれる画像に最も多く関連付けられている付加情報に対応する色を代表色とする決定方式に切り換え、第２表示モードの場合には、画像群に含まれる画像の中で最も主要な色を代表色とする決定方式に切り換え、
前記抽出部は、付加情報に対応する色を代表色とする決定方式又は主要な色を代表色とする決定方式により前記代表色を抽出する
ことを特徴とする請求項７に記載の画像閲覧装置。
【請求項９】
前記色抽出手段は、前記画像群に含まれ代表色抽出の対象となる画像の中で最も主要な色を前記代表色として抽出する
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項１０】
前記画像取得手段により取得される各画像には、付加情報が関連付けられており、
前記画像閲覧装置は、さらに、
付加情報と色とを対応付けて記憶する記憶手段を備え、
前記色抽出手段は、前記画像群に含まれ代表色抽出の対象となる画像の中で、最も多く関連付けられた付加情報に対応付けられた色を前記代表色として抽出する
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項１１】
前記色抽出手段は、複数の条件に対応して、それぞれ複数の色を前記代表色として抽出し、
前記色配置手段は、前記複数の代表色を塗り分けて配置する
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項１２】
前記色配置手段は、前記画像群に含まれる画像のうち、前記複数の条件にそれぞれ合致する画像数の比率に応じて、前記位置において、前記複数の代表色を塗り分けて配置する
ことを特徴とする請求項１１に記載の画像閲覧装置。
【請求項１３】
前記色配置手段は、前記複数の代表色のうちの第１の代表色から徐々に変化して第２の代表色となるように、塗り分けて配置し、かつ、前記画像群に含まれる画像のうち前記複数の条件にそれぞれ合致する画像の分布に応じて塗り分けの変化の緩急を調整する
ことを特徴とする請求項１１に記載の画像閲覧装置。
【請求項１４】
前記色配置手段は、前記画像群に含まれる画像のうち前記複数の条件にそれぞれ合致する画像の分布に応じて前記複数の代表色の塗り分けのパターンを変化させる
ことを特徴とする請求項１１に記載の画像閲覧装置。
【請求項１５】
前記色抽出手段は、複数の条件にそれぞれ対応する複数の色を代表色として抽出し、
前記色配置手段は、前記複数の代表色を切り換えて配置する
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項１６】
前記色配置手段は、前記画像群に含まれる画像のうち、前記複数の条件にそれぞれ合致する画像の分布に応じて、前記複数の代表色の切換えのパターンを変化させる
ことを特徴とする請求項１５記載の画像閲覧装置。
【請求項１７】
前記色抽出手段は、前記画像群に関する複数の情報の各々を所定の表色系の異なる色成分に割り当てて、前記代表色を合成することにより、前記代表色を抽出する
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項１８】
前記所定の表色系は、色相、明度及び彩度からなる表色系であって、
前記色抽出手段は、前記画像群に関する複数の情報の各々を色相、明度、彩度のいずれかに割り当てて代表色を合成することにより、前記代表色を抽出する
ことを特徴とする請求項１７に記載の画像閲覧装置。
【請求項１９】
前記画像閲覧装置は、さらに、
取得された複数の画像のそれぞれを縮小して縮小画像を生成する画像生成手段と、
生成された前記縮小画像を閲覧画面に配置する画像配置手段と、
閲覧の対象である画像の範囲を示す閲覧範囲を設定する範囲設定手段と、
前記範囲設定手段によって設定された前記閲覧範囲を用いて、前記色配置手段による配置と前記画像配置手段による配置とを切り換える配置切換手段とを含み、
前記画面表示手段は、前記配置切換手段により設定された配置による閲覧画面を表示する
を含むことを特徴とする請求項１に記載の画像閲覧装置。
【請求項２０】
前記配置切換手段は、前記範囲設定手段により設定された閲覧範囲に含まれる画像数が所定の枚数以内か否かに応じて、前記色配置手段による配置と前記画像配置手段による配置とを切り換える
ことを特徴とする請求項１９に記載の画像閲覧装置。
【請求項２１】
前記配置切換手段は、前記範囲設定手段により設定された閲覧範囲に含まれる画像の撮影日時が所定の長さの期間内に含まれるか否かに応じて、前記色配置手段による配置と前記画像配置手段による配置とを切り換える
ことを特徴とする請求項１９に記載の画像閲覧装置。
【請求項２２】
画像閲覧装置で用いられる画像閲覧方法であって、
複数の撮影された画像を取得する画像取得ステップと、
同一の期間内に撮影された画像が同一の画像群に属するように、取得した前記複数の画像を、各画像の撮影時を基に複数の期間に分類して、複数個の画像群を生成する画像分類ステップと、
前記画像群毎に当該画像群を代表する１又は複数の代表色を抽出する色抽出ステップと、
抽出された前記代表色を、閲覧画面上において、当該代表色に対応する期間により定まる位置に配置する色配置ステップと、
前記代表色が配置された前記閲覧画面を表示する画面表示ステップと
を含むことを特徴とする画像閲覧方法。
【請求項２３】
画像閲覧装置で用いられる画像閲覧用のコンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体であって、
コンピュータに、
複数の撮影された画像を取得する画像取得ステップと、
同一の期間内に撮影された画像が同一の画像群に属するように、取得した前記複数の画像を、各画像の撮影時を基に複数の期間に分類して、複数個の画像群を生成する画像分類ステップと、
前記画像群毎に当該画像群を代表する１又は複数の代表色を抽出する色抽出ステップと、
抽出された前記代表色を、閲覧画面上において、当該代表色に対応する期間により定まる位置に配置する色配置ステップと、
前記代表色が配置された前記閲覧画面を表示する画面表示ステップと
を実行させるためのコンピュータプログラムを記録している記録媒体。
【請求項２４】
画像閲覧装置で用いられる画像閲覧用のコンピュータプログラムであって、
コンピュータに、
複数の撮影された画像を取得する画像取得ステップと、
同一の期間内に撮影された画像が同一の画像群に属するように、取得した前記複数の画像を、各画像の撮影時を基に複数の期間に分類して、複数個の画像群を生成する画像分類ステップと、
前記画像群毎に当該画像群を代表する１又は複数の代表色を抽出する色抽出ステップと、
抽出された前記代表色を、閲覧画面上において、当該代表色に対応する期間により定まる位置に配置する色配置ステップと、
前記代表色が配置された前記閲覧画面を表示する画面表示ステップと
を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大量の画像の内容を一覧して把握することが可能な画像閲覧装置及び方法に関する。
【背景技術】
【０００２】
デジタルカメラやカメラ付き携帯電話が広く普及することに伴い、デジタル画像が数多く撮影されるようになってきている。また、デジタル画像を保存するための記録媒体の大容量化も進んでいる。これにより、大量の画像を記録して保存されるようになってきている。【０００３】
さらに近年は、身に付けて撮影可能なウェアラブル・カメラを用いて、個人の体験を画像や映像として記録し活用するという研究が行われている。このようなカメラを使って例えば１分に１枚などの一定間隔で画像を撮影し続けると、記録される画像数は膨大なものになる。【０００４】
また、従来から多数の画像を一覧して閲覧するための手法として、サムネイル画像を一覧表示する方法（サムネイル表示）が広く行われている。さらにサムネイル表示を発展させた機能を有する装置も提案されている（特許文献１参照）。【０００５】
特許文献１により開示されたこの装置では、サムネイル画像の一覧と共に時間軸が表示され、この時間軸上で範囲指定することにより該当期間内の画像だけがサムネイル画像として一覧表示される。また、時間軸上に設けた画像数に応じた区切りで特定される区画に対して、区画に属する画像の代表色が付される。これにより当該区画が他の区画と視覚的に判別しやすくなる。
【特許文献１】特開２００６−２４４０５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述のように大量の画像が記録して保存されるようになると、従来の画像閲覧技術ではこれらの大量の画像の内容を一度に把握するには問題が発生する。【０００７】
サムネイル表示を用いる場合に、大量の画像を一度に閲覧しようとすると、全ての画像を限られた大きさの表示領域中に収めるために、サムネイル画像のサイズを極めて小さくしなければならず、結果として画像の内容が把握できなくなる。逆に、サムネイル画像のサイズを内容が把握できる程度にすると全ての画像が表示領域中に収まらず、全体の一覧性が低下してしまう。【０００８】
特許文献１のように範囲指定することで表示される画像数を絞ることも考えられるが、上述のウェアラブル・カメラにより一定間隔で撮影し続ける場合のように一定期間中に撮影される画像数が膨大になると、同じ問題が起こる。【０００９】
また、特許文献１のように時間軸上に設けた画像数に応じた区切りで特定される区画に対して、区画に属する画像の代表色を付すことによって、時間軸全体の画像の内容を把握しやすくなる効果はある。しかしながら、代表色が時間軸上に一列に並んでおり、また、区画が画像数に応じて区切られているため、例えば一年毎といった時期毎の変化の把握が困難である。さらに、代表色表示は画像のおおよその内容を把握しやすくする効果がある一方で、多数の画像を単色で代表させることにより情報が欠落する可能性もあり、１色の代表色を単純に時間軸上に表示するだけでは表現できる情報量に限界がある。【００１０】
本発明は、上記の課題を解決するものであり、効率的に大量の画像の内容を一覧して把握することが可能な画像閲覧装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明に係る画像閲覧装置は、複数の撮影された画像を取得する画像取得手段と、同一の期間内に撮影された画像が同一の画像群に属するように、取得した前記複数の画像を、各画像の撮影時を基に複数の期間に分類して、複数個の画像群を生成する画像分類手段と、前記画像群毎に当該画像群を代表する１又は複数の代表色を抽出する色抽出手段と、抽出された前記代表色を、閲覧画面上において、当該代表色に対応する期間により定まる位置に配置する色配置手段と、前記代表色が配置された前記閲覧画面を表示する画面表示手段とを備えることを特徴とする。
【発明の効果】
【００１２】
この構成によると、画像が撮影された撮影日時により複数の画像を所定の期間毎に分類してこの期間に対応させて前記代表色を配置することにより、例えば年毎などの時期毎の変化を一覧して把握することが容易になるという効果を奏する。【００１３】
ここで、前記閲覧画面は、第１軸及び第２軸により構成される座標平面を有し、第１軸は、所定の第１時間単位による時間の経過に対応し、第２軸は、第１時間単位を細分化して得られる第２時間単位による時間の経過に対応し、前記色配置手段は、前記座標平面上において、当該代表色に対応する期間が属する第１時間単位に対応する領域内であって、当該期間が属する第２時間単位に対応する位置に当該代表色を配置してもよい。【００１４】
この構成によると、第１軸及び第２軸により構成される座標平面上で、当該代表色が２次元に配置されるので、より一層、時期毎の変化を一覧して把握することが容易になるという効果を奏する。【００１５】
ここで、前記画像取得手段により取得される各画像には、当該画像が日常的な状況で撮影されたか、又は非日常的な状況で撮影されたかが設定されており、前記色抽出手段は、前記画像群に含まれる画像のうち、日常的な状況で撮影されたと設定された画像及び非日常的な状況で撮影されたと設定された画像のいずれか一方又は両方を対象として前記代表色を抽出してもよい。【００１６】
この構成によると、画像が撮影された状況が日常的か非日常的かを画像に設定し、いずれか一方に設定された画像を対象として代表色を抽出することにより、普段の傾向や特別な場合の内容を俯瞰的に把握しやすくなる。【００１７】
ここで、前記色抽出手段は、非日常的な状況で撮影されたと設定された画像のみを対象として前記代表色を抽出してもよい。【００１８】
この構成によると、画像が撮影された状況が日常的か非日常的かを画像に設定し、非日常に設定された画像を対象として代表色を抽出することにより、特別な場合の内容を俯瞰的に把握しやすくなる。【００１９】
ここで、前記色抽出手段は、前記代表色として、日常的な状況で撮影されたと設定された画像を対象とする第一の代表色と、非日常的な状況で撮影されたと設定された画像を対象とする第二の代表色とを抽出し、前記色配置手段は、前記位置において、前記第一の代表色と前記第二の代表色とを塗り分けて配置してもよい。【００２０】
この構成によると、第一の代表色と第二の代表色とを塗り分けて表示するので、普段の場合と特別な場合とを区別して把握しやすくなる。【００２１】
ここで、前記色抽出手段は、前記代表色として、日常的な状況で撮影されたと設定された画像を対象とする第一の代表色と、非日常的な状況で撮影されたと設定された画像を対象とする第二の代表色とを抽出し、前記色配置手段は、前記位置において、前記第一の代表色と前記第二の代表色とを切り換えて配置してもよい。【００２２】
この構成によると、第一の代表色と第二の代表色とを切り換えて表示するので、普段の場合と特別な場合とを区別して把握しやすくなる。【００２３】
ここで、前記色抽出手段は、各画像を整理して表示する複数の方法をそれぞれ示す複数の表示モードのいずれか一を記憶している記憶部と、前記表示モードに応じて代表色の決定方式を切り換える切換部と、前記切換部により切り換えて、設定された決定方式に従って、前記画像群毎に当該画像群を代表する前記代表色を抽出する抽出部を含むとしてもよい。【００２４】
この構成によると、画像の表示モードの切り換えに応じて代表色の決定方式を切り換えることによって、閲覧状態に応じたより適切な代表色を提示することができるようになる。【００２５】
ここで、前記各画像を整理して表示する複数の方法のうちの一は、時間軸で画像を整理して表示する方法であり、他の一は、画像に関連付けられた付加情報で画像を整理して表示する方法であり、前記記憶部は、時間軸で画像を整理して表示する第１表示モード及び画像に関連付けられた付加情報で画像を整理して表示する第２表示モードのいずれか一を記憶しており、切換部は、第１表示モードの場合には、画像群に含まれる画像に最も多く関連付けられている付加情報に対応する色を代表色とする決定方式に切り換え、第２表示モードの場合には、画像群に含まれる画像の中で最も主要な色を代表色とする決定方式に切り換え、前記抽出部は、付加情報に対応する色を代表色とする決定方式又は主要な色を代表色とする決定方式により前記代表色を抽出してもよい。【００２６】
この構成によると、時間軸で画像を整理して表示するモードと、画像に関連付けられた付加情報で画像を整理して表示するモードとを切り換えることによって、閲覧状態に応じたより適切な代表色を提示することができるようになる。【００２７】
ここで、前記色抽出手段は、前記画像群に含まれ代表色抽出の対象となる画像の中で最も主要な色を前記代表色として抽出してもよい。【００２８】
この構成によると、表示される代表色が対象画像の中で最も主要な色であるので、対象画像の把握が容易となる。【００２９】
ここで、前記画像取得手段により取得される各画像には、付加情報が関連付けられており、前記画像閲覧装置は、さらに、付加情報と色とを対応付けて記憶する記憶手段を備え、前記色抽出手段は、前記画像群に含まれ代表色抽出の対象となる画像の中で、最も多く関連付けられた付加情報に対応付けられた色を前記代表色として抽出してもよい。【００３０】
この構成によると、前記画像群に含まれる代表色抽出の対象とする画像に最も多く関連付けられた付加情報に対応付けられた色を前記代表色として抽出するので、対象画像の把握が容易となる。【００３１】
ここで、前記色抽出手段は、複数の条件に対応して、それぞれ複数の色を前記代表色として抽出し、前記色配置手段は、前記複数の代表色を塗り分けて配置してもよい。【００３２】
この構成によると、複数の条件に対応する複数の色を代表色として抽出し、複数の代表色を塗り分けて表示することにより、多数の画像を色で代表させながらも、単純に一つの情報を単色で表示する場合に比べてより多くの情報を提示することができる。【００３３】
ここで、前記色配置手段は、前記画像群に含まれる画像のうち、前記複数の条件にそれぞれ合致する画像数の比率に応じて、前記位置において、前記複数の代表色を塗り分けて配置してもよい。また、前記色配置手段は、前記複数の代表色のうちの第１の代表色から徐々に変化して第２の代表色となるように、塗り分けて配置し、かつ、前記画像群に含まれる画像のうち前記複数の条件にそれぞれ合致する画像の分布に応じて塗り分けの変化の緩急を調整してもよい。さらに、前記色配置手段は、前記画像群に含まれる画像のうち前記複数の条件にそれぞれ合致する画像の分布に応じて前記複数の代表色の塗り分けのパターンを変化させてもよい。【００３４】
ここで、前記色抽出手段は、複数の条件にそれぞれ対応する複数の色を代表色として抽出し、前記色配置手段は、前記複数の代表色を切り換えて配置してもよい。【００３５】
この構成によると、複数の条件に対応する複数の色を代表色として抽出し、複数の代表色を切り換えて表示することにより、多数の画像を色で代表させながらも、単純に一つの情報を単色で表示する場合に比べてより多くの情報を提示することができる。【００３６】
ここで、前記色配置手段は、前記画像群に含まれる画像のうち、前記複数の条件にそれぞれ合致する画像の分布に応じて、前記複数の代表色の切換えのパターンを変化させてもよい。【００３７】
ここで、前記色抽出手段は、前記画像群に関する複数の情報の各々を所定の表色系の異なる色成分に割り当てて、前記代表色を合成することにより、前記代表色を抽出してもよい。【００３８】
この構成によると、複数の情報の各々を所定の表色系の異なる色成分に割り当てて代表色を合成して表示することにより、多数の画像を色で代表させながらも、単純に一つの情報を単色で表示する場合に比べて多くの情報を提示することができる。【００３９】
ここで、前記所定の表色系は、色相、明度及び彩度からなる表色系であって、前記色抽出手段は、前記画像群に関する複数の情報の各々を色相、明度、彩度のいずれかに割り当てて代表色を合成することにより、前記代表色を抽出してもよい。【００４０】
ここで、前記画像閲覧装置は、さらに、取得された複数の画像のそれぞれを縮小して縮小画像を生成する画像生成手段と、生成された前記縮小画像を閲覧画面に配置する画像配置手段と、閲覧の対象である画像の範囲を示す閲覧範囲を設定する範囲設定手段と、前記範囲設定手段によって設定された前記閲覧範囲を用いて、前記色配置手段による配置と前記画像配置手段による配置とを切り換える配置切換手段とを含み、前記画面表示手段は、前記配置切換手段により設定された配置による閲覧画面を表示してもよい。【００４１】
この構成によると、閲覧の対象である画像の範囲に応じて代表色の表示と縮小画像の表示とを切り換えることにより、閲覧対象の画像量に応じたより適切な表示で画像を閲覧することができる。【００４２】
ここで、前記配置切換手段は、前記範囲設定手段により設定された閲覧範囲に含まれる画像数が所定の枚数以内か否かに応じて、前記色配置手段による配置と前記画像配置手段による配置とを切り換えるとしてもよい。【００４３】
前記配置切換手段は、前記範囲設定手段により設定された閲覧範囲に含まれる画像の撮影日時が所定の長さの期間内に含まれるか否かに応じて、前記色配置手段による配置と前記画像配置手段による配置とを切り換えるとしてもよい。【００４４】
以上のように、本発明の画像閲覧装置及び方法によれば、限られた大きさの表示領域において効率的に大量の画像の内容を一覧して把握することが可能となる。
【図面の簡単な説明】
【００４５】
【図１】本発明の実施の形態１における画像閲覧装置１の構成図を示す。
【図２】（ａ）色対応管理部で管理されるタグと色との対応関係の一例としての色対応テーブルＡ３００を示す。
【００４６】
（ｂ）色対応管理部で管理されるタグと色との対応関係の一例としての色対応テーブルＢ３１０を示す。
【図３】縦軸に年、横軸に月を対応させて、代表色をレイアウトした場合の例を示す。
【図４】縦軸に週、横軸に曜日を対応させて、代表色をレイアウトした場合の例を示す。
【図５】画像を分類する期間及び縦軸と横軸に対応させる時間単位の組み合わせの例を示す。
【図６】時間軸で画像を整理する表示モードの画面表示の例を示す。
【００４７】
（ａ）一カ月ごとにまとめてサムネイル画像を表示するサムネイル一覧画面３５０を示す。【００４８】
（ｂ）所定の期間を一ヵ月として１０年分を表示する代表色一覧画面３６０を示す。
【図７】画像に関連付けられたタグで画像を整理する表示モードの画面表示の例を示す。
【００４９】
（ａ）画像に関連付けられたタグごとにまとめてサムネイル画像を表示するサムネイル一覧画面３７０を示す。【００５０】
（ｂ）画像に関連付けられたタグごとにまとめて１年分を表示する代表色一覧画面３８０を示す。
【図８】代表色の塗り分けの例を示す。
【００５１】
（ａ）被写体代表色及び背景代表色を被写体代表色領域３９２の内と外に塗り分けてレイアウトする例を示す。【００５２】
（ｂ）日常と設定された画像を対象とした代表色と、非日常と設定された画像を対象とした代表色とを塗り分けてレイアウトする例を示す。【００５３】
（ｃ）非日常と設定された画像を対象とした代表色を分散してレイアウトする例を示す。【００５４】
（ｄ）非日常と設定された画像を対象とした代表色を集中してレイアウトする例を示す。
【図９】本発明の実施の形態２における画像閲覧装置２の構成図を示す。
【図１０】本発明の実施の形態３における画像閲覧システム６の構成図を示す。
【図１１】記憶部５２に記憶されている複数の画像ファイル６１、６２、６３、・・・、６４のデータ構造の一例を示す。
【図１２】記憶部５２に記憶されている分類キーの６種類を示す。
【図１３】記憶部５２に記憶されている軸情報の一例を示す。
【図１４】記憶部５２に記憶されている動作パターンの一例を示す。
【図１５】記憶部５２に記憶されている閲覧範囲情報の一例を示す。
【図１６】記憶部５２に記憶されている表示モードの一例を示す。
【図１７】記憶部５２に記憶されている塗り分けタイプの一例を示す。
【図１８】記憶部５２に記憶されている閲覧モードの一例を示す。
【図１９】分類テーブルのデータ構造の一例を示す。
【図２０】分類テーブルの一例としての分類テーブルＡ４９０のデータ構造を示す。
【図２１】分類テーブルの一例としての分類テーブルＢ５００のデータ構造を示す。
【図２２】色テーブルのデータ構造の一例を示す。
【図２３】色テーブルの一例としての色テーブルＡ５１０のデータ構造を示す。
【図２４】色テーブルの一例としての色テーブルＢ５２０のデータ構造を示す。
【図２５】色テーブルの一例としての色テーブルＣ５３０のデータ構造を示す。
【図２６】色テーブルの一例としての色テーブルＤ５４０のデータ構造を示す。
【図２７】代表色一覧画面３３０において、図８（ｂ）に示す塗り分け方法を適用した場合の一覧画面５５０を示す。
【図２８】代表色一覧画面３２０において、図８（ａ）に示す塗り分け方法を適用した場合の一覧画面５６０を示す。
【図２９】代表色一覧画面３２０において、図８（ｃ）〜（ｄ）に示す塗り分け方法を適用した場合の一覧画面５７０を示す。
【図３０】代表色の塗り分けの例を示す。
【００５５】
（ａ）日常と設定された画像を対象とした代表色と、非日常と設定された画像を対象とした代表色とを塗り分けてレイアウトする場合に、第１の代表色から第２の代表色へ、グラデーション（gradation）により徐々に変化させて塗り分ける例を示す。【００５６】
（ｂ）日常と設定された画像を対象とした代表色から、非日常と設定された画像を対象とした代表色へ、グラデーションにより徐々に変化させて塗り分ける場合に、グラデーション部分の大きさを、日常的な状況の画像と非日常的な状況の画像の変化の緩急の程度に応じて変化させる例を示す。【００５７】
（ｃ）被写体代表色と、背景代表色とを塗り分けてレイアウトする場合に、第１の代表色から第２の代表色へ、グラデーションにより徐々に変化させて塗り分ける例を示す。【００５８】
（ｄ）被写体代表色から、背景代表色へ、グラデーションにより徐々に変化させて塗り分ける場合に、グラデーション部分の大きさを変化させる例を示す。
【図３１】画像閲覧装置４の全体の動作を示すフローチャートである。
【図３２】設定処理の動作を示すフローチャートである。
【図３３】閲覧モードの選択処理を示すフローチャートである。
【図３４】画像ファイルの分類の動作を示すフローチャートである。
【図３５】代表色の抽出の動作を示すフローチャートである。
【図３６】画像データからの代表色の抽出の動作を示すフローチャートである。
【図３７】タグからの代表色の決定の動作を示すフローチャートである。
【図３８】非日常の画像データからの代表色の抽出の動作を示すフローチャートである。
【図３９】日常／非日常ごとに画像データから代表色を抽出する動作を示すフローチャートである。
【図４０】被写体／背景ごとに画像データから代表色を抽出する動作を示すフローチャートである。
【図４１】代表色の配置の動作を示すフローチャートである。図４２へ続く。
【図４２】代表色の配置の動作を示すフローチャートである。図４１から続く。
【図４３】代表色の塗り分けの動作を示すフローチャートである。
【符号の説明】
【００５９】
１    画像閲覧装置
２    画像閲覧装置
４    画像閲覧装置
５    記録装置
６    画像閲覧システム
１０    画像分類部
１１    代表色抽出部
１２    代表色配置部
１３    撮影日時取得部
１４    日常非日常設定部
１５    表示モード管理部
１６    代表色切換部
１７    表示部
１８    入出力部
１９    記憶部
２０    縮小画像生成部
２１    縮小画像配置部
２２    制御部
３０    閲覧範囲設定部
３１    閲覧モード切換部
３２    情報設定部
５１    入出力部
５２    記憶部
１００  代表色表示部
１０１  縮小画像表示部
【発明を実施するための最良の形態】
【００６０】
以下本発明の実施の形態について、図面を参照しながら説明する。
１．実施の形態１
（１）画像閲覧装置１の構成
本発明の実施の形態１における画像閲覧装置１の構成を図１に示す。【００６１】
画像閲覧装置１は、図１に示すように、画像分類部１０、代表色抽出部１１、代表色配置部１２、撮影日時取得部１３、日常非日常設定部１４、表示モード管理部１５及び代表色切換部１６からなる。この装置は、例えば、携帯型の情報端末装置である。【００６２】
画像閲覧装置１は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、液晶ディスプレィユニット、キーボードなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、画像閲覧装置１は、その機能を達成する。
（２）画像閲覧装置１の基本的な動作
画像閲覧装置１の基本的な動作は、以下の通りである。【００６３】
画像閲覧装置１は、複数の画像ファイルを記録装置から読み出し、まず画像分類部１０は、読み出した複数の画像ファイルを所定の基準に従って１個又は複数個の画像群に分類する。次いで、代表色抽出部１１は、画像分類部１０によって得られた画像群毎に、当該画像群の特徴を表す代表色を抽出し、代表色配置部１２は、これらの各代表色をレイアウトし表示する。【００６４】
ここで、代表色抽出部１１は、代表色を決定するため、画像群に含まれる画像で最も主要な色、すなわち画像中で最も広い面積を占めている色を代表色とする。より具体的には、画像群に含まれる全画像を一まとめにして最も広い面積を占める色を決定する。また、まず、画像群に含まれる全ての画像について画像単位で主要色を決定し、その後、画像群に含まれる全ての画像について、色毎に当該色を主要色とする画像数を計数し、こうして計数された色毎の画像数のうち、最も多く計数された画像数に対応する色を画像群全体の主要色としてもよい。なお、主要色の決定方法はこれらに限定されるものではない。
（３）タグの利用
画像閲覧装置１は、他の代表色の決定方式として、画像に関連付けられているタグ（付加情報）を利用する方法を用いるとしてもよい。例えば、Ｅｘｉｆ（Exchangeable Image File Format）形式の画像ファイルに埋め込まれている情報をタグとして使用してもよいし、また、画像ファイルとは別のデータベースで管理されている情報をタグとして使用してもよい。【００６５】
この場合、画像閲覧装置１は、さらに、タグと色とを対応づけて管理する色対応管理部（図１では省略）を備え、代表色抽出部１１は、画像群に含まれる画像に最も多く関連付けられているタグに対応する色を画像群の代表色としてもよい。具体的には、代表色抽出部１１は、画像群に含まれる全ての画像について、画像に関連付けられているタグの内容毎に画像の数を計数し、こうして計数されたタグの内容毎の画像の数のうち、最も多く計数された画像の数に対応するタグの内容を決定し、決定したタグの内容に対応する色を、当該画像群の代表色としてもよい。【００６６】
色対応管理部により管理されているタグと色との対応関係の一例を図２に示す。色対応管理部は、一例として、図２（ａ）に示す色対応テーブルＡ３００又は図２（ｂ）に示す色対応テーブルＢ３１０を有している。【００６７】
図２（ａ）のように、実物とその実物から連想できる色とにより、タグと色との対応関係を定めてもよいし、図２（ｂ）のように、実物に関係なく、タグと色との対応関係を定めてもよい。【００６８】
図２（ａ）に示す色対応テーブルＡ３００では、画像のタグ３０１として「海」と色３０２「青」とを対応付け、「山」と色「緑」とを対応付け、「空」と色「水色」とを対応付け、「夜景」と色「黒」とを対応付け、「屋内」と色「橙」とを対応付けている。また、図２（ｂ）に示す色対応テーブルＢ３１０では、画像のタグ３１１として「自分」と色３１２「青」とを対応付け、「父」と色「黒」とを対応付け、「母」と色「赤」とを対応付け、「ペット」と色「黄」とを対応付け、「車」と色「緑」とを対応付けている。【００６９】
なお、タグと色との対応の管理方法は、ここで述べたものに限定されるものではない。
（４）撮影日時による複数の画像の分類
本発明の画像閲覧装置１において、画像ファイルに埋め込まれている撮影日時情報によって、又は画像ファイルに関連付けて記録されている撮影日時情報によって、複数の画像を分類し、代表色を抽出し表示する場合について説明する。ここで、撮影日時情報としては、例えばＥｘｉｆ形式の画像ファイルに埋め込まれている情報が使用できる。【００７０】
まず、撮影日時取得部１３は、各画像の撮影日時（年月日時分秒）を取得し、取得された撮影日時に応じて、画像分類部１０は、複数の画像を所定の期間毎に複数の画像群に分類する。例えば、画像分類部１０は、撮影日時の情報のうちの年月毎に複数の画像を分類する。【００７１】
次に、代表色抽出部１１は、期間毎に画像群の代表色を抽出し、代表色配置部１２は、これらの代表色を前記の期間に対応させてレイアウトし表示する。このとき、縦軸及び横軸を、それぞれ、上位の時間単位及び下位の時間単位に対応させて代表色を２次元にレイアウトしてもよい。ここで、例えば、上位の時間単位は、年であり、下位の時間単位は、月である。別の例では、上位の時間単位は、年月であり、下位の時間単位は、日である。また、例えば、縦軸に複数の年をその経過の順に割り当て、横軸にその年の１２カ月をその経過の順に割り当てることにより、各月の代表色を２次元にレイアウトしてもよい。ここで、各代表色の配置の対象となる部分を表示単位領域と呼ぶ。下位の時間単位は、上位の時間単位をさらに細分化したものである。【００７２】
また、例えば、横軸に複数の年をその経過の順に割り当て、縦軸にその年の１２カ月をその経過の順に割り当てるとしてもよい。【００７３】
以上を言い換えると、代表色が配置される閲覧画面は、第１軸及び第２軸により構成される座標平面を有する。第１軸は、第１時間単位による時間の経過に対応し、第２軸は、第１時間単位を細分化して得られる第２時間単位による時間の経過に対応する。【００７４】
代表色配置部１２は、前記座標平面上において、当該代表色に対応する期間が属する第１時間単位に対応する領域内であって、当該代表色に対応する期間が属する第１時間単位内の第２時間単位に対応する位置に当該代表色を配置する
ここで、第１軸は、前記縦軸又は前記横軸であり、第２軸は、前記横軸又は前記縦軸である。また、第１時間単位は、前記上位の時間単位であり、第２時間単位は、前記下位の時間単位である。【００７５】
図３及び図４に、撮影日時に応じて所定の期間毎に画像を分類して代表色を抽出し、縦軸及び横軸をそれぞれ上位の時間単位及び下位の時間単位に対応させ、代表色を２次元にレイアウトする例を示す。なお各図において、各表示単位領域における塗り潰しパターンは、便宜上、それぞれの代表色を表しているものとする。【００７６】
図３は、複数の画像を１ヵ月毎の画像群に分類し、各画像群から代表色を抽出し、縦軸を年、横軸を月に対応させ、抽出された代表色をレイアウトした場合の例を示す。【００７７】
また、図４は、複数の画像を１日毎の画像群に分類し、各画像群から代表色を抽出し、縦軸を週、横軸を曜日に対応させ、各日付及び抽出された代表色をレイアウトした場合の例である。このようにカレンダー様に表示することも可能である。【００７８】
図３の例では、１０年間に撮影された画像の内容の傾向を代表色によって一度に一覧できている。仮に１ヵ月に５００枚の割合で撮影するなら、１０年では画像数は６万枚に達する。６万枚の画像が存在する場合に、サムネイル表示では到底一度にこれらの画像を表示することはできない。しかし、本発明の画像閲覧装置１では、一度にその傾向を把握することが可能となる。【００７９】
図３の例では、さらに縦軸を年、横軸を月に対応させて表示しているので、縦方向に代表色を見比べることで年毎の変化を一度に把握することが可能である。【００８０】
また、ウェアラブル・カメラにより一定間隔で撮影し続ける場合は、短い期間で大量の画像が蓄積される。この場合であっても、本発明の画像閲覧装置１では、図４に示す例のように効率的に期間中の画像の内容の傾向を一覧して把握できる。【００８１】
画像を分類する期間及び縦軸と横軸に対応させる時間単位には、上記で挙げた他にも図５に示すように様々な組み合わせが考えられる。これらの組み合わせを画像閲覧装置１において適用できる。ここで、画像を分類する期間とは、撮影日時を用いて画像を分類するときに用いる分類キーとなる最小の単位時間である。この最小の単位時間に含まれる撮影日時に対応する全ての画像は、同一のグループ、つまり同一の画像群に分類されることを示している。【００８２】
図５に示すように、画像を分類する期間を「月」とし、縦軸の時間単位として「年」、横軸の時間単位として「月」としてもよい。また、画像を分類する期間を「週」とし、縦軸の時間単位として「年」、横軸の時間単位として「週」としてもよい。また、画像を分類する期間を「日」とし、縦軸の時間単位として「月」、横軸の時間単位として「日」としてもよい。また、画像を分類する期間を「日」とし、縦軸の時間単位として「週」、横軸の時間単位として「曜日」としてもよい。また、画像を分類する期間を「時間」（１時間）とし、縦軸の時間単位として「日」、横軸の時間単位として「時間」としてもよい。しかし、これらに限定されるものではない。
（５）日常及び非日常の区別
次に、本発明の画像閲覧装置１において、画像が撮影された状況が日常的か非日常的かの区別を各画像に設定し、日常又は非日常のいずれか一方の画像を対象として代表色を抽出する場合について説明する。ここで、日常的の一例は、通勤、通学中などであり、非日常的の一例は、旅行中などである。【００８３】
まず、日常非日常設定部１４は、画像が通勤・通学中など日常的な状況で撮影されたのか、旅行中など非日常的な状況で撮影されたのかを示す区別を、ユーザの操作により、各画像に設定する。なお、ユーザの操作により、画像毎に当該区別を設定するのではなく、例えば、撮影日が平日、つまり、月曜日から金曜日までである場合に、日常非日常設定部１４は、日常を示す区別を画像に設定し、撮影日が休日、つまり、土曜日、日曜、祝祭日である場合に、日常非日常設定部１４は、非日常を示す区別を画像に設定するとしてもよい。【００８４】
次に、代表色抽出部１１は、各画像群に含まれる画像のうち日常的と設定された画像か非日常的と設定された画像か、いずれか一方を対象として代表色を抽出する。【００８５】
このとき、代表色抽出部１１と代表色配置部１２の動作は、いくつかのパターンに分類できる。以下、各パターンについて説明する。【００８６】
（ａ）第１の動作パターンでは、代表色抽出部１１は、非日常と設定された画像を対象とした代表色のみを抽出する。次に、代表色配置部１２は、この非日常と設定された画像から抽出された代表色をレイアウトして表示する。【００８７】
これにより、非日常的な状況で撮影された特別な場合の画像だけの代表色によって、より効果的に画像群の傾向を一覧して把握することができる。【００８８】
特に、ウェアラブル・カメラにより一定間隔で撮影し続ける場合に、日常的な状況で撮影される画像が大量になり、非日常的な状況で撮影された画像が枚数的に全画像の中に埋もれてしまいがちなときに、有用である。【００８９】
（ｂ）第２の動作パターンでは、代表色抽出部１１は、日常と設定された画像を対象とした代表色と、非日常と設定された画像を対象とした代表色の両方を抽出する。次に、代表色配置部１２は、１個の表示単位領域にこれらの二つの代表色を塗り分けてレイアウトし、表示する。【００９０】
（ｃ）第３の動作パターンでは、代表色抽出部１１は、日常と設定された画像を対象とした代表色と、非日常と設定された画像を対象とした代表色の両方を抽出する。次に、代表色配置部１２は、ユーザの操作により、１個の表示単位領域にこれらの二つの代表色を切り換えて塗ることによりレイアウトし、表示する。【００９１】
これら第２及び第３の動作パターンにより、日常的な状況で撮影された画像の代表色と非日常的な状況で撮影された画像の代表色を比較して閲覧することができ、普段の傾向と特別な場合の傾向とをより効率的に一覧により把握することができる。【００９２】
さらに、日常と設定された画像数と非日常と設定された画像数の比率に合わせて二つの代表色を塗り分けるとしてもよい。このようにすると、特にウェアラブル・カメラにより一定間隔で撮影し続ける場合に、日常的な状況と非日常的な状況の割合をも同時に把握することが可能となる。【００９３】
なお、以上の記述において、日常的か非日常的かを画像に設定する方法は限定されるものではなく、例えば人手で設定してもよいし、何らかの方法で自動判別してもよい。【００９４】
また、画像ごとに日常的か非日常的かを設定するのではなく、分類された画像群ごとに設定してもよい。この場合には、画像群に含まれるすべての画像に対して、日常的か又は非日常的かを一律に設定するのと同等とみなすことができる。例えば、撮影日により画像を分類する場合に、土曜、日曜又は祝祭日として分類された画像群については、非日常と設定し、その他の画像群については、日常と設定してもよい。また、画像ファイルに、撮影日時に加えて、さらに、撮影場所を示す位置情報を付加しておき、画像を撮影日及び位置情報により分類し、土曜、日曜又は祝祭日及び特定の位置として分類された画像群については、非日常と設定し、その他の画像群については、日常と設定してもよい。特定の位置とは、例えば、アミューズメントパークや観光地の位置である。【００９５】
また、非日常と設定された画像から代表色を抽出する場合に、画像群に非日常と設定された画像が含まれていなければ、非日常と設定された画像から代表色を抽出する代わりに、日常と設定された画像から代表色を抽出するような処理を追加してもよい。このとき、その旨を合わせて表示してもよい。
（６）表示モードの切換え
次に、本発明の画像閲覧装置１において、表示モードの切換えに応じて代表色の決定方式を切り換える場合について説明する。【００９６】
表示モード管理部１５は、画像をどのように整理して表示するかを示す表示モードの切換えを設定し管理する。表示モード及びその画面表示例については後述する。【００９７】
表示モード管理部１５において表示モードが設定されると、代表色切換部１６は、設定された表示モードに応じて代表色の決定方式を切り換える。【００９８】
次に、代表色切換部１６により切り換えて設定された代表色の決定方式に従って、代表色抽出部１１は、画像群の代表色を抽出する。【００９９】
最後に、代表色配置部１２は、表示モードに応じたレイアウトで代表色を表示する。【０１００】
表示モードの一例として、時間軸で画像を整理する表示モード及び画像に関連付けられたタグ（付加情報）で整理する表示モードがある。その他にもユーザが設定した画像の重要度（気に入り度）で整理する表示モードなどがある。以下前述の二つの表示モードの場合に絞って述べる。【０１０１】
時間軸で画像を整理する表示モードには、具体的には、対象画像を限定せずに撮影日時の順に並べて表示するモードや、所定の撮影期間ごとにまとめて表示するモードがある。【０１０２】
図６（ｂ）に所定の期間を一ヵ月として１０年分を表示する場合の画面表示の例として、代表色一覧画面３６０を示す。図６（ｂ）に示す代表色一覧画面３６０は、図３に示す代表色一覧画面と同じものであるが、撮影日時により一カ月ごとに画像をまとめ、一つの画像群とし、各画像群から抽出した代表色を並べて表示しているとみることができる。【０１０３】
なお、図６（ａ）は、一カ月ごとにまとめてサムネイル画像を表示した場合の画面表示の一例として、サムネイル一覧画面３５０を示している（実施の形態２で詳述）。【０１０４】
また、画像に関連付けられたタグで整理する表示モードには、具体的には、対象画像を限定せずに画像に関連付けられたタグごとにまとめて表示するモードや、特定のタグが関連付けられた画像のみを対象に代表色を表示するモードがある。【０１０５】
図７（ｂ）に画像に関連付けられたタグごとにまとめて１年分を表示する場合の画面表示の一例として、代表色一覧画面３８０を示す。代表色一覧画面３８０では、縦軸方向にタグの種類を表し、タグごとに一ヵ月ごとの代表色が横軸方向に表示されている。ここでは、画像を分類する期間を「月」とし、縦軸の時間単位としてタグの種類、横軸の時間単位として「月」としている。【０１０６】
なお、図７（ａ）には画像に関連付けられたタグごとにまとめてサムネイル画像を表示した場合の画面表示の一例として、サムネイル一覧画面３７０を示す（実施の形態２で詳述）。【０１０７】
また、特定のタグが関連付けられた画像のみを対象として、代表色を表示する場合には、特定のタグが関連付けられた画像のみから抽出された色を代表色とするとよい。この場合、画面表示は、図７（ｂ）に示す代表色一覧画面３８０と同様となる。【０１０８】
時間軸で画像を整理する表示モードの場合、代表色の決定方式としては、画像群に含まれる画像の中で最も主要な色を代表色とする方法、及び、画像群に含まれる画像に最も多く関連付けられているタグに対応する色を代表色とする方法の両方が可能である。なかでも、後者は、タグと代表色とが直接的に対応しているので、代表色から画像の内容を把握しやすく、より適していると言える。【０１０９】
一方、画像に関連付けられたタグで整理する表示モードの場合、画像群に含まれる画像に最も多く関連付けられているタグに対応する色を代表色とする方法を用いると、同じタグには同じ代表色が対応するため、全ての代表色が同じになり、適切でない。よって、この表示モードの場合には、画像群に含まれる画像で最も主要な色を代表色とする方法を使用すべきである。【０１１０】
以上のことから、表示モード管理部１５において時間軸で画像を整理する表示モードに設定された場合には、代表色切換部１６において画像群に含まれる画像に最も多く関連付けられているタグに対応する色を代表色とする方式に切り換え、表示モード管理部１５において画像に関連付けられたタグで整理する表示モードに設定された場合には、代表色切換部１６において画像群に含まれる画像で最も主要な色を代表色とする方式に切り換えるよう、代表色切換部１６を動作させるとよい。
（７）代表色の塗り分け及び代表色の切換え
次に、本発明の画像閲覧装置１において、複数の条件にそれぞれ対応する複数の色を代表色として抽出し、抽出した複数の代表色を塗り分けて表示する場合、又は抽出した複数の代表色を切り換えて表示する場合について説明する。【０１１１】
ここで、条件の一例は、日常的な状況で撮影されたことであり、また他の条件の一例は、非日常的な状況で撮影されたことである。また、複数の条件に対応する複数の色について、色の一例は、日常的な状況で撮影されたという条件を満たす画像から抽出した色であり、他の色の一例は、非日常的な状況で撮影されたという条件を満たす画像から抽出した色である。【０１１２】
代表色抽出部１１は、分類された各画像群について、複数の条件にそれぞれ対応する複数の色を代表色として抽出する。【０１１３】
次に、代表色配置部１２は、抽出された複数の代表色を塗り分けて配置し、又は切り換えて配置し、これらの代表色が表示される。【０１１４】
実施可能な複数の条件、代表色の塗り分け方及び切り換え方の例を以下で説明する。ただし、以下に挙げるものに限定されるものではない。【０１１５】
（ａ）一つ目の例として、画像の被写体画像領域の代表色と背景画像領域の代表色とを塗り分けて表示することができる。【０１１６】
ここで、被写体画像領域とは、１枚の画像において、主たる被写体、例えば、人物が表示されている領域を言う。また、背景画像領域とは、被写体画像領域とは、１枚の画像において、被写体画像領域を除く領域を言う。【０１１７】
まず、画像閲覧装置１は、各画像から人物や物などの被写体を表す部分画像を抽出し、抽出したその被写体を表す部分画像から構成される領域に対し、記録装置において被写体画像領域を設定する。被写体画像領域以外の領域を背景画像領域として設定する。画像閲覧装置１は、被写体画像領域を人手で設定するとしてもよいし、何らかの手法で自動設定するとしてもよい。【０１１８】
次いで、代表色抽出部１１は、各画像群について、画像群に含まれる複数の画像にそれぞれ設定された複数の被写体画像領域から最も主要な色を代表色の一つとして抽出する。こうして抽出される代表色を被写体代表色と呼ぶ。また、各画像群について、画像群に含まれる複数の画像にそれぞれ設定された複数の背景画像領域から最も主要な色をもう一つの代表色として抽出する。こうして抽出される代表色を背景代表色と呼ぶ。このようにして、各画像群から被写体代表色及び背景代表色が抽出される。【０１１９】
次に、代表色配置部１２は、各画像群の二つの代表色、つまり、被写体代表色及び背景代表色を図８（ａ）に示すように、被写体代表色領域３９２の内と外に塗り分けてレイアウトして表示する。【０１２０】
図８（ａ）は、一つの画像群に対する代表色の表示を表しており、画像群ごとに同様に並べて表示されることになる。これにより、画像群ごとにどのような背景の場所でどのような被写体を撮影したことが多かったのかを一覧して把握することができる。【０１２１】
なお、図８（ａ）では、被写体代表色領域３９２の内と外で、二つの代表色、つまり、被写体代表色及び背景代表色が明確に区切られて塗り分けているが、第１の代表色から第２の代表色へ、グラデーション（gradation）により徐々に変化させて塗り分けてもよい。【０１２２】
（ｂ）次に、二つ目の例として、上述したように、日常的な状況で撮影された画像から抽出した代表色と、非日常的な状況で撮影された画像から抽出した代表色を、１個の表示単位領域内において、塗り分けて表示することができる。【０１２３】
この場合、代表色抽出部１１は、各画像群について、日常と設定された画像を対象とした代表色と、非日常と設定された画像を対象とした代表色とを抽出する。【０１２４】
次に、代表色配置部１２は、各画像群から抽出された二つの代表色を、図８（ｂ）に示すように、塗り分けてレイアウトして表示する。【０１２５】
代表色配置部１２は、図８（ｂ）に示すように、表示単位領域４００において、二つの代表色がそれぞれ塗られる対象となる２個の領域４０１及び４０２の面積の比率を、日常的と設定された画像の枚数と非日常的と設定された画像の枚数の比率に応じて決定する。次に、表示単位領域４００において、決定された比率による面積を有する２個の領域４０１及び４０２を設定し、設定した２個の領域４０１及び４０２をそれぞれの代表色で塗り分ける。【０１２６】
これにより、例えば、画像分類部１０により、所定の期間ごとの画像群に分類されているとすると、上述したように、期間ごとに普段の傾向と特別な場合の内容を一覧して把握できると同時に、日常的な状況と非日常的な状況の割合をも容易に把握することが可能となる。【０１２７】
また、日常と設定された画像を対象とした代表色と非日常と設定された画像を対象とした代表色を塗り分ける際に、第１の代表色から第２の代表色へ、グラデーションで徐々に変化させてもよい。【０１２８】
この場合において、グラデーションの緩急により、つまり、第１の代表色から第２の代表色に緩やかに変化しているか、又は第１の代表色から第２の代表色に急激に変化しているかにより、さらに言い換えると、色の変化の程度により、日常的な状況と非日常的な状況の分布を表現してもよい。すなわち、日常的な状況と非日常的な状況が頻繁に入れ替わっているときほど、グラデーションを緩やかにして二つの条件が混ざり合っていることを表現する。一方、日常的な状況が長く続いた後に非日常的な状況が長く続くといったように入れ替わりが少ない場合ほど、グラデーションを急にして二つの条件が分離されていることを表現することができる。【０１２９】
さらに、図８（ｃ）及び図８（ｄ）に示すように、代表色の塗り分け方のパターンを変えることにより、日常的な状況と非日常的な状況の分布を表現することもできる。【０１３０】
すなわち、日常的な状況と非日常的な状況が頻繁に入れ替わっているときほど、図８（ｃ）のように、日常的と設定された画像の代表色の中に、非日常的と設定された画像の代表色を分散させてレイアウトして、二つの条件が混ざり合っていることを表現する。つまり、表示単位領域内４１０内に、５個の円形の領域４１２、・・・、４１６を配置し、各円形の領域４１２、・・・、４１６には、非日常的と設定された画像の代表色を塗る。背景の領域には、日常的と設定された画像の代表色を塗る。ここで、領域４１２、・・・、４１６を非日常領域と呼ぶ。【０１３１】
一方、日常的な状況が長く続いた後に非日常的な状況が長く続くといったように入れ替わりが少ない場合ほど、図８（ｄ）のように、日常的と設定された画像の代表色の中に非日常的と設定された画像の代表色を大きくまとめてレイアウトして、二つの条件が分離されていることを表現することができる。つまり、表示単位領域内４２０内に、１個の円形の領域４２２を配置し、円形の領域４２２には、非日常的と設定された画像の代表色を塗る。背景の領域には、日常的と設定された画像の代表色を塗る。【０１３２】
日常的な状況と非日常的な状況の頻繁な入れ替りは、次のようにして判断する。【０１３３】
例えば、１カ月の期間を想定し、この期間内において、１日おきに日常的な状況と非日常的な状況が入れ替るときは、入れ替わりの頻繁さの程度が高いし、この期間内において、１０日おきに日常的な状況と非日常的な状況が入れ替るときは、入れ替わりの頻繁さの程度が低い。【０１３４】
例えば、日常的な状況が継続して発生する日数（ｎ日とする）及び非日常的な状況が継続して発生する日数（ｎ日とする）が、想定する期間内（ｍ日とする）において、それぞれどのくらいの割合になるかにより、入れ替わりの頻繁さの程度を測ることができる。【０１３５】
ここで、入れ替わりの頻繁さの程度（Ｌ）を、例えば、５段階で評価し、このとき、ｍ≦２ｎなら、Ｌ＝１とし、２ｎ＜ｍ≦５ｎなら、Ｌ＝２とし、５ｎ＜ｍ≦１０ｎなら、Ｌ＝３とし、１０ｎ＜ｍ≦１５ｎなら、Ｌ＝４とし、ｍ＞１５ｎなら、Ｌ＝５としてもよい。【０１３６】
また、日常的な状況が継続して発生する日数及び非日常的な状況が継続して発生する日数が、想定する期間内において、何回入れ替わるかにより、入れ替わりの頻繁さの程度を測るとしてもよい。【０１３７】
ここで、入れ替わりの頻繁さの程度（Ｌ）を、例えば、５段階で評価し、このとき、期間内に１回以内、入れ替わりが発生するなら、Ｌ＝１とする。期間内に４回以内、入れ替わりが発生するなら、Ｌ＝２とする。期間内に９回以内、入れ替わりが発生するなら、Ｌ＝３とする。期間内に１４回以内、入れ替わりが発生するなら、Ｌ＝４とする。期間内に１５回以上、入れ替わりが発生するなら、Ｌ＝５としてもよい。【０１３８】
なお、塗り分けのパターンはここで示したものに限られず、複数の条件に合致する画像の分布を端的に表すことができれば、非日常領域の形、位置、大きさ、方向など、その他のパターンで表現してもよい。【０１３９】
例えば、非日常領域の形は、円形、楕円形、矩形、多角形、星型などであってもよい。また、複数の非日常領域を、表示単位領域内に行列状に配置し、表示単位領域内にランダムに配置し、表示単位領域の中央に集中して配置し、又は表示単位領域の一部分に集中して配置してもよい。また、非日常領域の大きさは、その面積が表示単位領域に対する面積比で、例えば、１％、２％、３％、４％、５％などであるとしてもよい。また、これらを組み合わせてもよい。【０１４０】
（ｃ）最後に三つ目の例として、画像に関連付けられたタグごとに代表色を抽出し、これら複数の代表色を切り換えて表示することができる。【０１４１】
この場合、画像群に含まれる画像に関連付けられているタグのそれぞれに対して、そのタグが関連付けられている画像のみを対象として、代表色抽出部１１は、画像の主要色を代表色として抽出する。【０１４２】
具体的には、代表色抽出部１１は、画像群に含まれる複数の画像のそれぞれにタグが関連付けられている場合において、タグ「山」が関連付けられている画像のみを対象に代表色抽出部１１は、当該画像群に含まれる複数の画像の主要色を代表色として抽出する。また、タグ「海」が関連付けられている画像のみを対象に代表色抽出部１１は、当該画像群に含まれる複数の画像の主要色を代表色として抽出する。また、タグ「空」が関連付けられている画像のみを対象に代表色抽出部１１は、当該画像群に含まれる複数の画像の主要色を代表色として抽出する。【０１４３】
このように、代表色抽出部１１は、タグの内容ごとに、そのタグの内容が関連付けられている画像のみを対象に代表色抽出部１１は、当該画像群に含まれる複数の画像の主要色を代表色として抽出する。こうして、タグの内容ごとに、代表色が抽出される。【０１４４】
次に、代表色配置部１２は、各タグの内容に対応する代表色を順に切り換えて表示する。【０１４５】
このとき、代表色の切り換えのパターンで画像に関連付けられた各タグの分布を表現することができる。【０１４６】
すなわち、対象の画像群に含まれる画像に対して関連付けられているタグの種類が多ければ短い時間間隔でタグを切り換え、タグの種類が少なければ長い時間間隔でタグを切り換える。【０１４７】
これにより、タグの種類の多寡、つまりは画像群に様々な対象（被写体）が写っているのかどうかを容易に把握することが可能となる。【０１４８】
（ｄ）以上で述べた他にも、塗り分け又は切り換えて表示する代表色に対応する複数の条件には、屋内で撮影されたか屋外で撮影されたか、ある地域での滞在中に撮影されたか地域から地域への移動中に撮影されたか、などが考えられる。なお、これらに限定されるものではない。
（８）表色系の利用
次に、本発明の画像閲覧装置１において、複数の画像に含まれる複数の情報又は画像に付されたタグにより示される複数の情報の各々を、所定の表色系の異なる色成分に割り当て色成分を生成し、生成した色成分を基にして代表色を合成して表示する場合について説明する。【０１４９】
この場合、代表色抽出部１１は、分類された各画像群に対して、複数の情報に対応する複数の代表色を生成する。ここで、各情報に対して代表色を生成する際に、所定の表色系の特定の色成分だけを使う。次に、代表色抽出部１１は、各情報に対して生成された代表色の色成分を合成して最終的に代表色を生成する。【０１５０】
以下、具体的な例を挙げて代表色抽出部１１の動作を説明する。ただし、ここに挙げる例に限定されるものではない。【０１５１】
（ａ）一つ目の例として、代表色抽出部１１は、HLS色空間を用いる。HLS色空間は、色相H (Hue)、明度L (Luminance)及び彩度 (Saturation)の３個の成分からなる色空間である。【０１５２】
代表色抽出部１１は、画像の主要色を色相及び彩度により表現し、日常的な状況か非日常的な状況かの度合いを明度で表現する。すなわち、画像群に含まれる画像から主要色を抽出し、抽出した主要色から色相と彩度とを抽出する。【０１５３】
次に、代表色抽出部１１は、画像群に含まれる画像のうち日常非日常設定部１４で非日常な状況で撮影されたと設定されている画像数の割合（全画像数に対する）を基にして、明度を算出する。この割合が大きいほど明度を高くする。この割合が小さいほど明度を低くする。例えば、非日常の前記割合が０％、１％、２％、・・・、１００％であるときに、それぞれ、明度を０％、１％、２％、・・・、１００％として算出する。【０１５４】
次に、代表色抽出部１１は、主要色から色相及び彩度並びに前記割合から算出した明度を組み合わせて最終的な代表色を得る。【０１５５】
こうすることで、画像の主要色によって画像群の内容を一覧して把握しながら、同時に日常的な状況と非日常的な状況の比率を容易に把握することができる。【０１５６】
（ｂ）二つ目の例として、代表色抽出部１１は、画像群に含まれる複数の画像の主要色を色相により表現し、画像群に含まれる複数の画像の主要色の一致度を彩度により表現し、画像群に含まれる画像数を明度により表現する。【０１５７】
すなわち、代表色抽出部１１は、画像群に含まれる複数の画像から１個の主要色を抽出し、抽出した主要色から色相を抽出する。【０１５８】
次に、代表色抽出部１１は、画像群に含まれる複数の画像のそれぞれから主要色を抽出する。色ごとに対応する画像の数を計数し、計数された数のうち最も多い数の全画像数に対する割合を算出する。算出した割合を用いて、彩度を算出する。例えば、算出した割合が０％、１％、２％、・・・、１００％であるときに、それぞれ、彩度を０％、１％、２％、・・・、１００％として算出する。このように、画像群における各画像の色の一致度を彩度に割り当て、主要色以外の色も画像中に多く含まれているなら彩度を低くし、画像のほとんどが主要色で占められているほど彩度を高くする。【０１５９】
さらに、代表色抽出部１１は、画像群に含まれる画像数を明度に割り当て、画像数が多いほど明度を高くする。例えば、記録装置に記憶されている全ての画像数に対する画像群に含まれる画像の数の割合を算出し、算出した割合が０％、１％、２％、・・・、１００％であるときに、それぞれ、明度を０％、１％、２％、・・・、１００％として算出する。【０１６０】
最後に、代表色抽出部１１は、求められた色相と彩度と明度を組み合わせて最終的な代表色を得る。【０１６１】
こうすることで、画像の主要色によって画像群の内容を一覧的に把握しながら、同時に主要色で表される内容以外も含まれているのか、及び、画像群にどれくらい数の画像が含まれているのかも容易に把握することができる。【０１６２】
以上二つの例はともに色相、明度、彩度からなる表色系を使ったが、その他の表色系でも構わない。ただし、色相、明度、彩度からなる表色系が、複数の情報の各々を色の明るさや鮮やかさといった意味に結び付けられる点で好適であると言える。【０１６３】
（ｃ）表色系には、三原色に対応したRGBを成分とするもの（RGBカラーモデル）、輝度及び色差を用いるもの、HLS色空間を用いるもの、HSV色空間(Hue、Saturation、Value)を用いるもの（HSVモデル）などがある。代表色抽出部１１は、これらの表色系を用いるとしてもよい。【０１６４】
（ＲＧＢカラーモデルを用いる場合）
ＲＧＢカラーモデルは、色の表現法の一種であり、赤（Red）、緑（Green）、青（Blue）の三つの原色を混ぜて幅広い色を再現する。【０１６５】
ＲＧＢカラーモデルを用いる場合、代表色抽出部１１は、例えば、画像群に含まれる画像から主要色を抽出し、抽出した主要色から赤及び緑を抽出し、画像群に含まれる画像のうち日常非日常設定部１４で非日常な状況で撮影されたと設定されている画像数の割合（全画像数に対する）を基にして、青を決定する。こうして、抽出及び決定された赤、緑及び青を用いて最終的な代表色を得る。【０１６６】
ここで、画像が例えばＪＰＥＧの形式である場合に、画像群に含まれる画像から、ＲＧＢカラーモデルの赤及び緑を抽出するときに、後述するように、輝度及び色差からＲＧＢへの変換式を用いるとしてもよい。【０１６７】
（輝度及び色差を用いる場合）
輝度及び色差による方式は、明るさを表す成分Ｙ（輝度）と、二つの色信号（青と赤）と輝度信号の差分を表す成分Ｃｂ、Ｃｒ（色差）とにより表現するものである。【０１６８】
輝度及び色差による方式を用いる場合、代表色抽出部１１は、例えば、画像群に含まれる画像から主要色を抽出し、抽出した主要色から２個の式差成分Ｃｂ、Ｃｒを算出し、画像群に含まれる画像のうち日常非日常設定部１４で非日常な状況で撮影されたと設定されている画像数の割合（全画像数に対する）を基にして、輝度成分Ｙを決定する。こうして、求められた輝度成分Ｙ及び２個の式差成分Ｃｂ、Ｃｒを用いて最終的な代表色を得る。【０１６９】
（HSV色空間を用いる場合）
HSV色空間は、色相H(Hue)、彩度V(Value)及び明度S(Saturation)の３個の成分からなる色空間である。【０１７０】
HSV色空間を用いる場合の代表色抽出部１１については、HLS色空間を用いる場合と同様である。
（９）JPEGに用いられるY、Cr、Cbと、計算機内で用いられるR、G、Bとの間の変換
ＲＧＢから輝度及び色差への変換は次のようにして行う。【０１７１】
Y  =  0.29891 × R  +  0.58661 × G  +  0.11448 × B
Cb = -0.16874 × R  -  0.33126 × G  +  0.50000 × B
Cr =  0.50000 × R  -  0.41869 × G  -  0.08131 × B
また、輝度及び色差からＲＧＢへの変換は次のようにして行う。【０１７２】
R = Y  +  1.40200 × Cr
G = Y  -  0.34414 × Cb  -  0.71414 × Cr
B = Y  +  1.77200 × Cb
２．実施の形態２
本発明の実施の形態２における画像閲覧装置２の構成を図９に示す。【０１７３】
画像閲覧装置２は、図９に示すように、代表色表示部１００、縮小画像表示部１０１、閲覧範囲設定部３０及び閲覧モード切換部３１から構成される。また、代表色表示部１００は、画像分類部１０、代表色抽出部１１及び代表色配置部１２から構成され、縮小画像表示部１０１は、縮小画像生成部２０及び縮小画像配置部２１から構成される。【０１７４】
画像閲覧装置２は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、液晶ディスプレィユニット、キーボードなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、画像閲覧装置２は、その機能を達成する。【０１７５】
図９に示す画像閲覧装置２の構成要素のうち、図１に示す画像閲覧装置１の構成要素と同じ参照符号が付されたものは、図１に示す画像閲覧装置１の構成要素と同じものである。【０１７６】
代表色表示部１００の動作は、実施の形態１と同様である。複数の画像ファイルが記録装置から読み出されて入力されると、まず画像分類部１０は、所定の基準に従って画像群に分類する。【０１７７】
次いで、画像分類部１０によって得られた画像群毎に、代表色抽出部１１は、画像群の特徴を表す代表色を抽出し、代表色配置部１２は、これらの各代表色をレイアウトする。【０１７８】
縮小画像表示部１０１は、画像のサムネイル表示をつかさどる。具体的には、複数の画像ファイルが記録装置から読み出されて入力されると、縮小画像生成部２０は、各画像を所定のサイズに縮小したサムネイル画像を生成する。【０１７９】
次いで、縮小画像配置部２１は、生成されたサムネイル画像をレイアウトする。【０１８０】
閲覧範囲設定部３０は、複数の画像のうち閲覧の対象となる範囲を設定する。例えば、ユーザから撮影日時の範囲の入力を受け付け、入力を受け付けた撮影日時の範囲を設定する。又は、ユーザから検索条件の入力を受け付け、入力を受け付けた検索情報を設定する。【０１８１】
例えば、撮影日時の範囲が設定された場合には、記録装置に記憶されている複数の画像のうち、設定された撮影日時の範囲内において撮影された画像が閲覧の対象となる。また、検索条件が設定された場合には、記録装置に記憶されている複数の画像のうち、検索条件を満たす画像が閲覧の対象となる。【０１８２】
次に、閲覧モード切換部３１は、閲覧範囲設定部３０で設定された閲覧範囲に応じて、代表色表示部１００による表示（代表色閲覧モード）と縮小画像表示部１０１による表示（サムネイル閲覧モード）のどちらの閲覧モードで実際に表示するかを切り換える。【０１８３】
ここで、閲覧モード切換部３１における閲覧モードの切り換えの基準としては、以下が挙げられる。【０１８４】
（ａ）閲覧範囲に含まれる画像数を基準として、画像数が所定の枚数以内であればサムネイル閲覧モードで表示し、画像数が所定の枚数を超えたときは代表色閲覧モードで表示する。【０１８５】
（ｂ）閲覧範囲に含まれる画像の撮影日時を基準として、閲覧範囲の全画像の撮影日時が所定の長さの期間内に収まっていればサムネイル閲覧モードで表示し、所定の長さの期間よりも広い期間に渡っていれば代表色閲覧モードで表示する。【０１８６】
ただし、具体的な閲覧モード切り換えの基準は、これら二つに限定されるものではない。【０１８７】
以上のように、閲覧範囲の画像量がある一定範囲以下であればサムネイル閲覧モード、超えれば代表色閲覧モードに切り換えることにより、閲覧対象の画像量に応じたより適切な表示で画像を閲覧することができる。【０１８８】
図６及び図７に、サムネイル閲覧モードと代表色表示モードの画面表示の切り換えの例を示している。【０１８９】
図６は、所定の撮影期間ごとにまとめて時間軸で画像を整理する表示モードの場合を示しており、図６（ａ）は、サムネイル閲覧モードによる画面表示の例、図６（ｂ）が代表色閲覧モードによる画面表示の例を示している。図６（ａ）では、７月から９月までの三ヵ月間の写真が一ヵ月ごとにまとめてサムネイル表示されている。図６（ｂ）については、実施の形態１で述べた通りである。【０１９０】
この例では三ヵ月間のサムネイル画像しか図６（ａ）の画面内に収まらない。そこで閲覧範囲の期間が三ヵ月以内であれば、図６（ａ）に示すように、サムネイル閲覧モードで表示し、三ヵ月を超えるときは、図６（ｂ）に示すように、代表色閲覧モードで表示する。【０１９１】
また、図７は、画像に関連付けられたタグごとにまとめて画像に関連付けられたタグで整理する表示するモードの場合を示している。図６と同様に、図７（ａ）は、サムネイル閲覧モードの画面表示を示し、図７（ｂ）は、代表色閲覧モードの画面表示を示す。【０１９２】
図７（ａ）では、三種類のタグについて画像に関連付けられたタグごとにまとめてサムネイル表示されている。図７（ｂ）については、実施の形態１で述べた通りである。【０１９３】
図７（ａ）に示す例では、最大で２０枚のサムネイル画像しか、図７（ａ）の画面内に収まらない。そこで、閲覧範囲の画像数が２０枚以内であれば、図７（ａ）に示すように、サムネイル閲覧モードで表示し、２０枚を超えるときは、図７（ｂ）に示すように、代表色閲覧モードで表示している。
３．実施の形態３
本発明に係る別の実施の形態としての画像閲覧システム６について説明する。
３．１  画像閲覧システム６
画像閲覧システム６は、図１０に示すように、画像閲覧装置４及び記録装置５から構成されている。【０１９４】
記録装置５は、複数の画像ファイルを記録しており、ユーザにより画像閲覧装置４に装着される。画像閲覧装置４は、ユーザの操作により、記録装置５から画像ファイルを読み出し、読み出した画像ファイルを基にしてサムネイル画像を生成し、又は読み出した画像ファイルを基にして代表色を決定し、サムネイル画像からなる一覧を表示し、又は代表色からなる一覧を表示する。
３．２  記録装置５
記録装置５は、例えば、ＳＤメモリカードであって、図１０に示すように、入出力部５１及び記憶部５２を備える。【０１９５】
記憶部５２には、デジタルカメラ等による撮影により生成された複数の画像ファイル６１、６２、６３、・・・、６４が予め記憶されている。【０１９６】
図１１に示すように、各画像ファイルには、当該画像ファイルを一意に識別するためのファイルＩＤが付されている。各画像ファイルは、属性情報及び圧縮画像データを含む。属性情報は、撮影日時情報、タグデータＡ及びタグデータＢを含む。属性情報は、さらに、後述するように、画像閲覧装置４により、日常区分が設定された場合には、当該設定された日常区分を含む。【０１９７】
撮影日時情報は、当該画像ファイルに含まれる圧縮画像データが撮影により生成された時を示し、年月日時分秒から構成される。【０１９８】
タグデータＡは、各画像ファイルを分類するためにユーザにより各画像ファイルに付されたものであり、撮影された場所、時間帯、環境、状況などを示す情報を含む。例えば、タグデータＡは、上述したように、「海」、「山」、「空」、「夜景」及び「屋内」のいずれかを含む。タグデータＡが「海」、「山」、「空」、「夜景」及び「屋内」のいずれかを含む場合には、それぞれ、当該画像ファイルは、海、山、空、夜間及び屋内における撮影により生成されたものである。また、タグデータＢは、各画像ファイルを分類するために各画像ファイルに付されたものであり、撮影対象である主たる被写体を示す情報を含む。例えば、タグデータＢは、上述したように、「自分」、「父」、「母」、「ペット」及び「車」のいずれかを含む。タグデータＢが「自分」、「父」、「母」、「ペット」及び「車」のいずれかを含む場合には、当該画像ファイルが形成する画像には、主たる被写体として、自分、父、母、ペット及び車のいずれかが含まれている。【０１９９】
日常区分は、当該画像ファイルが日常的な状況において撮影されたものであるか、又は非日常的な状況において撮影されたものであるかを示す。【０２００】
圧縮画像データは、複数の画素データから構成される画像データが、高効率に圧縮及び符号化された生成されたものである。各画像データは、一例として、１個の輝度データと、２個の色差データとから構成されている。【０２０１】
例えば図１１に示すように、画像ファイル６１には、ファイルＩＤ６１ａ「Ｆ００１」が付され、画像ファイル６１は、属性情報６１ｆ及び圧縮画像データ６１ｅを含み、属性情報６１ｆは、撮影日時情報６１ｂ「２００８０５０１０９０１０１」、タグデータＡ６１ｃ「山」及びタグデータＢ６１ｄ「自分」を含む。【０２０２】
入出力部５１は、記録装置５が装着された外部の装置から情報を受け取り、受け取った情報を記憶部５２へ書き込む。また、記憶部５２に記憶されている情報を読み出し、読み出した情報を記録装置５が装着された外部の装置へ出力する。
３．３  画像閲覧装置４
画像閲覧装置４は、図１０に示すように、画像分類部１０、代表色抽出部１１、代表色配置部１２、日常非日常設定部１４、代表色切換部１６、表示部１７、入出力部１８、記憶部１９、縮小画像生成部２０、縮小画像配置部２１、閲覧範囲設定部３０、閲覧モード切換部３１及び情報設定部３２から構成されている。【０２０３】
画像閲覧装置４は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、液晶ディスプレィユニット、キーボードなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、画像閲覧装置４は、その各機能を達成する。【０２０４】
（１）画像閲覧装置４により表示される一覧画面
画像閲覧装置４により表示されるいくつかの種類の一覧画面について説明する。【０２０５】
（代表色一覧画面３２０）
代表色一覧画面３２０は、図３に示すように、一例として、１０年分の代表色を、各年及び各月毎に表示している。【０２０６】
代表色一覧画面３２０は、縦軸３２１上に複数年（具体的には、１９９７年から２００６年まで）をその経過の順に配し、横軸３２２上に各年につき、１月から１２月までの１２カ月を経過の順に配し、縦軸３２１方向に１０個の矩形の表示単位領域、横軸３２２方向に１２個の矩形の表示単位領域を、行列状に設け、合計で１２０個の表示単位領域を配して形成されている。縦軸３２１上のいずれか１の年と横軸３２２上のいずれか１の月とが交差して示される表示単位領域において、当該年及び当該月における代表色を表示している。【０２０７】
（代表色一覧画面３３０）
代表色一覧画面３３０は、図４に示すように、一例として、１カ月分の代表色を、日毎に表示している。【０２０８】
代表色一覧画面３３０は、横軸３３５方向に７個の矩形の表示枠、縦軸方向に６個の表示枠を、行列状に設け、合計で４２個の表示枠を配して形成されている。横軸３３５の直上に配置された７個の表示枠には、７曜（具体的には、「Ｓｕｎ」、「Ｍｏｎ」、「Ｔｕｅ」、「Ｗｅｄ」、「Ｔｈｕ」、「Ｆｒｉ」及び「Ｓａｔ」）がその順に表示され、その他の３５個の表示枠には、７曜の順及び縦軸方向の順に、日付及び表示単位領域が表示され、表示単位領域には、対応する日付における代表色が表示されている。【０２０９】
（代表色一覧画面３８０）
代表色一覧画面３８０は、図７（ｂ）に示すように、一例として、１年分の代表色を、タグの内容毎及び各月毎に表示している。【０２１０】
代表色一覧画面３８０は、縦軸３８１上に複数のタグの内容を配し、横軸３８２上に各タグの内容につき、１月から１２月までの１２カ月を経過の順に配し、縦軸３８１方向に１０個の矩形の表示単位領域、横軸３８２方向に１２個の矩形の表示単位領域を、行列状に設け、合計で１２０個の表示単位領域を配して形成されている。縦軸３８１上のいずれかのタグの内容と横軸３８２上のいずれか１の月とが交差して示される表示単位領域において、当該タグの内容及び当該月における代表色を表示している。【０２１１】
（サムネイル一覧画面３５０）
サムネイル一覧画面３５０は、図６（ａ）に一例として示すように、３カ月分のサムネイルを、月毎に表示している。【０２１２】
サムネイル一覧画面３５０は、月毎の表示枠３５１、３５２及び３５３から形成され、各表示枠は、月を表示する月表示欄と、サムネイルを表示するサムネイル表示欄とから形成されている。サムネイル表示欄には、複数のサムネイルが表示されている。【０２１３】
（サムネイル一覧画面３７０）
サムネイル一覧画面３７０は、図７（ａ）に一例として示すように、タグ毎に、複数のサムネイルを表示している。【０２１４】
サムネイル一覧画面３７０は、タグ毎の表示枠３７１、３７２及び３７３から形成され、各表示枠は、タグの内容を表示するタグ表示欄と、サムネイルを表示するサムネイル表示欄とから形成されている。サムネイル表示欄には、複数のサムネイルが表示されている。【０２１５】
（２）各一覧画面を形成する表示単位領域の塗り分けの方法
画像閲覧装置４では、各一覧画面を形成する表示単位領域を複数の色により塗り分ける場合がある。ここでは、画像閲覧装置４による各一覧画面を形成する表示単位領域の塗り分けの方法について説明する。【０２１６】
被写体画像領域の代表色と背景画像領域の代表色を塗り分ける際において、図８（ａ）に示すように、表示単位領域３９０を矩形の境界線３９３により区切り、矩形の境界線３９３の外部の領域３９１を背景画像領域の代表色で塗り、矩形の境界線３９３の内部の領域３９２を被写体画像領域の代表色で塗る。【０２１７】
また、日常的な状況の画像の代表色と非日常的な状況の画像の代表色を塗り分ける際において、図８（ｂ）に示すように、表示単位領域４００を境界線４０３により区切り、境界線４０３により区切られて形成された２個の領域のうち、一方の領域４０２を日常的な状況の画像の代表色で塗り、他方の領域４０１を非日常的な状況の画像の代表色で塗る。【０２１８】
さらに、１個の表示単位領域を２種類以上の代表色により塗り分ける場合において、一定の期間において、日常的な状況と非日常的な状況が頻繁に入れ替わっているときほど、図８（ｃ）のように、多くの非日常領域４１２、・・・、４１６を設けて、複数の非日常領域４１２、・・・、４１６をレイアウトし、二つの条件が混ざり合っていることを表現するように塗り分ける。一方、日常的な状況が長く続いた後に非日常的な状況が長く続くといったように入れ替わりが少ない場合ほど、図８（ｄ）のように、少ない数の非日常領域４２２を設けて、非日常領域４２２をレイアウトして、二つの条件が分離されていることを表現するように塗り分ける。【０２１９】
また、被写体画像領域の代表色と背景画像領域の代表色を塗り分ける際において、図３０（ｃ）に示すように、表示単位領域６１０を矩形の境界線６１４により区切り、境界線６１４の両側に一定の幅を有する境界領域６１２を設け、次に、表示単位領域６１０において、境界領域６１２により区切られた複数の代表色領域６１１及び６１３をそれぞれ、背景画像領域の代表色及び被写体画像領域の代表色で塗る。次に、境界領域６１２において境界領域６１２の第１の代表色領域側から境界領域６１２の第２の代表色領域側へ、第１の代表色領域６１１に塗られた第１の代表色から、徐々に、滑らかに連続して、第２の代表色領域６１３に塗られた第２の代表色に変化するように、境界領域６１２に塗る。【０２２０】
また、日常的な状況の画像の代表色と非日常的な状況の画像の代表色を塗り分ける際において、図３０（ａ）に示すように、表示単位領域５９０を境界線５９５により区切り、境界線５９５の両側に一定の幅を有する境界領域５９３を設け、次に、表示単位領域５９０において、境界領域５９３により区切られた複数の代表色領域５９１及び５９２をそれぞれ、日常的な状況の画像の代表色及び非日常的な状況の画像の代表色で塗る。次に、境界領域５９３において境界領域５９３の第１の代表色領域側から境界領域５９３の第２の代表色領域側へ、第１の代表色領域５９１に塗られた第１の代表色から、徐々に、滑らかに連続して、第２の代表色領域５９２に塗られた第２の代表色に変化するように、境界領域５９３に塗る。【０２２１】
（３）図８（ａ）〜（ｄ）の塗り分け方法の適用
図８（ａ）〜（ｄ）に示す塗り分け方法を適用した場合について、画像閲覧装置４により表示されるいくつかの種類の一覧画面について説明する。【０２２２】
図２７に示す代表色一覧画面５５０は、図４に示す代表色一覧画面３３０において、図８（ｂ）に示す塗り分け方法を適用した場合の一覧画面である。【０２２３】
また、図２８に示す代表色一覧画面５６０は、図３に示す代表色一覧画面３２０において、図８（ａ）に示す塗り分け方法を適用した場合の一覧画面である。【０２２４】
さらに、図２９に示す代表色一覧画面５７０は、図３に示す代表色一覧画面３２０において、図８（ｃ）〜（ｄ）に示す塗り分け方法を適用した場合の一覧画面である。【０２２５】
（４）記憶部１９
記憶部１９は、図１０に示すように、分類キー、分類テーブル、軸情報、動作パターン情報、表示モード、塗り分けタイプ、閲覧範囲情報、閲覧モードの切換タイプ、閲覧モード、色テーブル、色対応テーブルＡ、色対応テーブルＢ及び日常／非日常の切換の有無を記憶するための記憶領域を備えている。
（分類キー）
分類キーは、画像分類部１０により、記録装置５の記憶部５２に記憶されている複数の画像ファイルを分類するために用いられるキーである。分類キーは、各画像ファイルに含まれる属性情報の一部又は全部から構成される。【０２２６】
分類キーの６種の例を図１２に示す。図１２に示すように、分類キー４３０は、年４３０ａ及び月４３０ｂから構成され、分類キー４３１は、年４３１ａ、月４３１ｂ及び日４３１ｃから構成され、分類キー４３２は、年４３２ａ、月４３２ｂ、日４３２ｃ及び時４３２ｄから構成され、分類キー４３３は、年４３３ａ及び週４３３ｂから構成され、分類キー４３４は、年４３４ａ、タグデータ４３４ｂ及び月４３４ｃから構成され、分類キー４３５は、タグデータ４３５ａ、年４３５ｂ及び月４３５ｃから構成される。【０２２７】
ここで、年、月及び日は、それぞれ、各画像ファイルに含まれる属性情報内の年、月及び日を示す。また、週は、各画像ファイルに含まれる属性情報内の年月日が含まれる週を示す。さらに、タグデータは、各画像ファイルに含まれる属性情報内のタグデータＡ又はタグデータＢを示す。【０２２８】
例えば、分類キー４３１は、記録装置５の記憶部５２に記憶されている複数の画像ファイルのうち分類の対象となる画像ファイルを、各画像ファイルに含まれる属性情報内の年の昇順、月の昇順及び日の昇順に並び替えることを示す。また、例えば、分類キー４３５は、記録装置５の記憶部５２に記憶されている複数の画像ファイルのうち分類の対象となる画像ファイルを、各画像ファイルに含まれる属性情報内のタグデータの昇順、年の昇順及び月の昇順に並び替えることを示す。【０２２９】
分類キーは、ユーザの指定により上記のうちの１個の分類キーが定まる。【０２３０】
なお、分類キーは、上記に示したものには限定されない。その他の組合せもありうる。【０２３１】
また、記憶部１９には、６種の分類キーの全てが記憶されるのではなく、一時的には、いずれか１種の分類キーのみが記憶され、記憶されている１種の分類キーのみが用いられるので注意を要する。しかし、記憶部１９には、６種の分類キー及びその他の分類キーの全てが記憶され、一時的には、いずれか１種の分類キーのみが用いられるとしてもよい。【０２３２】
（軸情報）
軸情報は、代表色による一覧を表示する際に、記録装置５の記憶部５２に記憶されている複数の画像ファイルの分類の最小単位、並びに、一覧の縦軸及び横軸における表示の単位を定めるために用いるものである。軸情報は、図１３（ａ）及び（ｂ）に一例として示すように、分類期間、縦軸の単位及び横軸の単位から構成される。【０２３３】
分類期間は、記録装置５の記憶部５２に記憶されている複数の画像ファイルを分類する際の最小単位を示す。つまり、複数の画像ファイルを分類して、同一の性質を有する画像ファイルが一つのグループに属するようにするときに、分類期間とは、ここで言う同一の性質を示すものである。例えば、図１３（ａ）では、軸情報４４０は、分類期間４４１として「月」を含んでおり、ここで、同一の性質とは、属性情報に同一の年月を含むことである。分類期間４４１を用いる場合、同一の年月を含む属性情報を備える画像ファイルが同一のグループに属するように分類される。また、例えば、図１３（ｂ）では、軸情報４５０は、分類期間４５１として「日」を含んでいるが、ここで、同一の性質とは、属性情報に同一の年月日を含むことである。分類期間４５１を用いる場合、同一の年月日を含む属性情報を備える画像ファイルが同一のグループに属するように分類される。【０２３４】
軸情報に含まれる縦軸の単位及び横軸の単位は、代表色による一覧が、縦軸及び横軸により行列状に形成されて表示される場合において、縦軸及び横軸の方向に、どのような単位を用いるかを示している。例えば、図３では、縦軸に年を単位とし、横軸に月を単位として代表色を行列状に表示している。また、図４では、縦軸に日を単位とし、横軸に曜日を単位として代表色を表示している。さらに、図７（ｂ）では、縦軸にタグの内容を単位とし、横軸に月を単位として代表色を表示している。【０２３５】
一例として、図１３（ａ）に示す軸情報４４０は、縦軸の単位４４２「年」及び横軸の単位４４３「月」を含むので、図３に示すように、縦軸に年を単位とし、横軸に月を単位として代表色を行列状に表示することを示す。また、図１３（ｂ）に示す軸情報４５０は、縦軸の単位４５２「月」及び横軸の単位４５３「日」を含むので、縦軸に月を単位とし、横軸に日を単位として代表色を行列状に表示することを示す。【０２３６】
なお、軸情報は、図１３（ａ）及び（ｂ）に示したものには限定されない。その他の組合せもありうる。【０２３７】
また、記憶部１９には、図１３（ａ）及び（ｂ）に示す２個の軸情報の全てが記憶されるのではなく、一時的には、いずれか１個の軸情報のみが記憶され、記憶されている１個の軸情報のみが用いられるので注意を要する。しかし、記憶部１９には、２個の軸情報及びその他の軸情報が全て記憶され、一時的には、いずれか１個の軸情報のみが用いられるとしてもよい。【０２３８】
（動作パターン情報）
動作パターン情報は、代表色を抽出し、表示する場合における動作パターンを示す。具体的には、図１４（ａ）〜（ｅ）に示すように、動作パターン情報４６１、・・・、４６５は、それぞれ、日常及び非日常を区別しないで代表色を抽出すること、非日常が設定された画像ファイルのみから代表色を抽出して用いること、日常及び非日常に応じた代表色に塗り分けること、日常及び非日常により代表色を切り換えて表示すること、及び被写体及び背景に応じた代表色に塗り分けることを示している。【０２３９】
（閲覧範囲情報）
閲覧範囲情報は、画像閲覧装置４において、代表色の抽出や縮小画像の生成などの対象となる画像ファイルの時間的な範囲を限定するものである。閲覧範囲情報は、開始時及び終了時から構成される。【０２４０】
開始時により示される時から、終了時により示される時までの間に含まれる撮影日時情報を属性情報として含む画像ファイルが、上記の代表色の抽出や縮小画像の生成などの対象とされるのである。ここで、開始時及び終了時は、それぞれ、年月日時分秒からなる。【０２４１】
図１５に示す閲覧範囲情報４７０は、開始時４７１「２００５０１０１０９０１０１」及び終了時４７２「２００８１２３１２３５９５９」から構成されるので、２００５年１月１日９時１分１秒から、２００８年１２月３１日２３時５９分５９秒までの期間内に含まれる撮影日時情報を属性情報として含む画像ファイルが、上記の代表色の抽出や縮小画像の生成などの対象とされる。【０２４２】
（表示モード）
表示モードには、時間軸で画像を整理する表示モード、画像に関連付けられたタグで整理する表示モード及びその他のモードがある。図１６（ａ）及び（ｂ）に示す表示モード４８１及び４８２は、それぞれ、時間軸で画像を整理する表示モード及び画像に関連付けられたタグで整理する表示モードである。【０２４３】
また、記憶部１９には、図１６（ａ）及び（ｂ）に示す２個の表示モード４８１及び４８２、並びにその他の表示モードの全て手が記憶されるのではなく、一時的には、いずれか１個の表示モードのみが記憶され、記憶されている１個の表示モードのみが用いられるので注意を要する。しかし、記憶部１９には、２個の表示モード４８１及び４８２、並びにその他の表示モードの全て手が記憶され、一時的には、いずれか１個の表示モードのみが用いられるとしてもよい。【０２４４】
（塗り分けタイプ）
塗り分けタイプは、１個の表示単位領域を、２種類以上の代表色により塗り分ける場合において、１個の表示単位領域を２種類以上の代表色によりどのように塗り分けるかを示す。図１７（ａ）、（ｂ）、（ｃ）及び（ｄ）に代表的な塗り分けタイプを示す。【０２４５】
（ｉ）１個の表示単位領域を２種類以上の代表色により塗り分ける場合において、図１７（ａ）に示す塗り分けタイプ４８３は、表示単位領域を境界線により区切り、境界線により区切られた複数の領域をそれぞれ、複数の代表色で塗り分けることを示す。【０２４６】
この塗り分けタイプを境界線による塗り分けと呼ぶ。【０２４７】
具体的には、被写体画像領域の代表色と背景画像領域の代表色を塗り分ける際において、図８（ａ）に、表示単位領域３９０を矩形の境界線３９３により区切り、矩形の外部の領域３９１を背景画像領域の代表色で塗り、矩形の内部の領域３９２を被写体画像領域の代表色で塗る場合について示している。【０２４８】
また、日常的な状況の画像の代表色と非日常的な状況の画像の代表色を塗り分ける際において、図８（ｂ）に、表示単位領域４００を境界線４０３により区切り、境界線４０３により区切られて形成された２個の領域のうち、一方の領域４０２を日常的な状況の画像の代表色で塗り、他方の領域４０１を非日常的な状況の画像の代表色で塗る場合について示している。【０２４９】
（ii）１個の表示単位領域を２種類以上の代表色により塗り分ける場合において、図１７（ｂ）に示す塗り分けタイプ４８４は、以下の塗り分け方を示す。【０２５０】
この塗り分けタイプをグラデーションＡによる塗り分けと呼ぶ。【０２５１】
即ち、１個の表示単位領域を境界線により区切り、境界線の両側に、境界線を含み、境界線から一定の幅を有する境界領域を設ける。次に、表示単位領域において、境界領域により区切られた複数の代表色領域をそれぞれ、複数の代表色で塗り分ける。次に、境界領域において境界領域の第１の代表色領域側から境界領域の第２の代表色領域側へ、第１の代表色領域に塗られた第１の代表色から、徐々に、滑らかに連続して、第２の代表色領域に塗られた第２の代表色に変化するように、境界領域に塗る。なお、このように、第１の色から、徐々に、滑らかに連続して、第２の色に変化するように塗ることを、グラデーションを付けて塗ると呼ぶことにする。【０２５２】
具体的には、被写体画像領域の代表色と背景画像領域の代表色を塗り分ける際において、図３０（ｃ）に、次のような場合について示している。即ち、表示単位領域６１０を矩形の境界線６１４により区切り、境界線６１４の両側に、境界線６１４を含み、境界線６１４から一定の幅を有する境界領域６１２を設ける。次に、表示単位領域６１０において、境界領域６１２により区切られた複数の代表色領域６１１及び６１３をそれぞれ、背景画像領域の代表色及び被写体画像領域の代表色で塗る。次に、境界領域６１２において境界領域６１２の第１の代表色領域側から境界領域６１２の第２の代表色領域側へ、第１の代表色領域６１１に塗られた第１の代表色から、徐々に、滑らかに連続して、第２の代表色領域６１３に塗られた第２の代表色に変化するように、境界領域６１２に塗る。【０２５３】
また、日常的な状況の画像の代表色と非日常的な状況の画像の代表色を塗り分ける際において、図３０（ａ）に、次のような場合について示している。表示単位領域５９０を境界線５９５により区切り、境界線５９５の両側に、境界線５９５を含み、境界線５９５から一定の幅を有する境界領域５９３を設ける。次に、表示単位領域５９０において、境界領域５９３により区切られた複数の代表色領域５９１及び５９２をそれぞれ、日常的な状況の画像の代表色及び非日常的な状況の画像の代表色で塗る。次に、境界領域５９３において境界領域５９３の第１の代表色領域側から境界領域５９３の第２の代表色領域側へ、第１の代表色領域５９１に塗られた第１の代表色から、徐々に、滑らかに連続して、第２の代表色領域５９２に塗られた第２の代表色に変化するように、境界領域５９３に塗る。【０２５４】
（iii ）１個の表示単位領域を２種類以上の代表色により塗り分ける場合において、図１７（ｃ）に示す塗り分けタイプ４８５は、以下の塗り分け方を示す。【０２５５】
この場合の塗り分け方は、図１７（ｂ）に示す塗り分けタイプ４８４による塗り分け方とほぼ同一であるが、その差異について以下に説明する。【０２５６】
この塗り分けタイプをグラデーションＢによる塗り分けと呼ぶ。【０２５７】
図１７（ｂ）に示す塗り分けタイプ４８４による塗り分け方においては、境界線の両側に、境界線を含み、境界線から一定の幅を有する境界領域を設ける。これに対して、図１７（ｃ）に示す塗り分けタイプ４８５による塗り分け方では、境界領域の幅は、次のように変化する。【０２５８】
即ち、一定期間において、日常的な状況と非日常的な状況が頻繁に入れ替わっているときほど、境界領域の幅を大きくする。これによりグラデーションを緩やかにして二つの条件が混ざり合っていることを表現する。一方、日常的な状況が長く続いた後に非日常的な状況が長く続くといったように入れ替わりが少ない場合ほど、境界領域の幅を小さくする。これにより、グラデーションを急にして二つの条件が分離されていることを表現する。【０２５９】
具体的には、日常的な状況の画像の代表色と非日常的な状況の画像の代表色を塗り分ける際において、図３０（ｃ）に、次のような場合について示している。表示単位領域６００を境界線６０６により区切り、境界線６０６の両側に、境界線６０６を含み、境界線６０６から変化する幅を有する境界領域６０３を設ける。次に、表示単位領域６００において、境界領域６０３により区切られた複数の代表色領域６０１及び６０２をそれぞれ、日常的な状況の画像の代表色及び非日常的な状況の画像の代表色で塗る。次に、境界領域６０３において境界領域６０３の第１の代表色領域側から境界領域６０３の第２の代表色領域側へ、第１の代表色領域６０１に塗られた第１の代表色から、徐々に、滑らかに連続して、第２の代表色領域６０２に塗られた第２の代表色に変化するように、境界領域６０３に塗る。【０２６０】
また、同様に、被写体画像領域の代表色と背景画像領域の代表色を塗り分ける際において、図３０（ｄ）に、次のような場合について示している。即ち、表示単位領域６２０を矩形の境界線６２４により区切り、境界線６２４の両側に、境界線６２４を含み、境界線６２４から変化する幅を有する境界領域６２２を設ける。次に、表示単位領域６２０において、境界領域６２２により区切られた複数の代表色領域６２１及び６２３をそれぞれ、背景画像領域の代表色及び被写体画像領域の代表色で塗る。次に、境界領域６２２において境界領域６２２の第１の代表色領域側から境界領域６２２の第２の代表色領域側へ、第１の代表色領域６２１に塗られた第１の代表色から、徐々に、滑らかに連続して、第２の代表色領域６２３に塗られた第２の代表色に変化するように、境界領域６２２に塗る。【０２６１】
（iv）１個の表示単位領域を２種類以上の代表色により塗り分ける場合において、図１７（ｄ）に示す塗り分けタイプ４８６は、一例として、図８（ｃ）及び（ｄ）に示す塗り分け方を示す。【０２６２】
この塗り分けタイプを分散レイアウトによる塗り分けと呼ぶ。【０２６３】
すなわち、一定の期間において、日常的な状況と非日常的な状況が頻繁に入れ替わっているときほど、図８（ｃ）のように、多くの非日常領域４１２、・・・、４１６を設けて、複数の非日常領域４１２、・・・、４１６をレイアウトし、二つの条件が混ざり合っていることを表現する。一方、日常的な状況が長く続いた後に非日常的な状況が長く続くといったように入れ替わりが少ない場合ほど、図８（ｄ）のように、少ない数の非日常領域４２２を設けて、非日常領域４２２をレイアウトして、二つの条件が分離されていることを表現する。【０２６４】
ここで、図８（ｃ）における非日常領域４１２、・・・、４１６のそれぞれの面積の合計と、図８（ｄ）における非日常領域４２２の面積とは、同一であるとものとする。【０２６５】
（閲覧モード）
閲覧モードには、図１８（ａ）及び（ｂ）に示すように、サムネイル閲覧モード４８７と、代表色閲覧モード４８８とがある。サムネイル閲覧モードは、複数個の縮小画像を並べて表示する表示モードであり、代表色閲覧モードは、複数個の代表色を並べて表示する表示モードである。【０２６６】
（分類テーブル）
分類テーブルは、画像分類部１０において、記録装置５の記憶部５２に記憶されている複数の画像ファイルを１個の分類キーにより分類して、１個のグループ又は複数のグループが生成された際に、生成されたグループのデータ構造を示すデータテーブルである。各グループには、１個又は複数の画像ファイルが属し、１個のグループに属する複数の画像ファイルは、同一の１個又は複数の属性値を有する。【０２６７】
分類テーブルは、図１９にデータ構造を示すように、また図２０及び図２１にその一例を示すように、複数の分類情報から構成される。各分類情報は、画像分類部１０により生成された１個のグループに対応している。【０２６８】
各分類情報は、１個のキー項目及び１個又は複数のデータ項目から構成される。キー項目は、当該分類情報に対応するグループに属する全ての画像ファイルが有する属性情報の各項目のうち、分類キーに対応するものである。各データ項目は、当該分類情報に対応するグループに属する画像ファイルに対応し、各データ項目は、ファイルＩＤ及び属性情報を含む。ファイルＩＤ及び属性情報は、当該データ項目に対応する画像ファイルのファイルＩＤ及び属性情報である。属性情報は、日時情報、タグデータＡ及びタグデータＢを含み、又は、属性情報は、日時情報、タグデータＡ、タグデータＢ及び日常区分を含む。【０２６９】
図２０に示す分類テーブルＡ４９０は、分類キーが「年月」である場合に、画像分類部１０により生成された一例である。【０２７０】
分類テーブルＡ４９０は、分類情報４９７及びその他の分類情報を含み、分類情報４９７は、キー項目４９１及び複数のデータ項目を含む。ここで、キー項目４９１は、「２００６０３」であるので、分類情報４９７は、撮影日時情報のうち年月「２００６０３」を含む画像ファイルに対応している。【０２７１】
図２１に示す分類テーブルＢ５００は、分類キーが「タグデータ年月」である場合に、画像分類部１０により生成された一例である。【０２７２】
分類テーブルＢ５００は、分類情報５０７及びその他の分類情報を含み、分類情報５０７は、キー項目５０１及び複数のデータ項目を含む。ここで、キー項目５０１は、「室内２００６０３」であるので、分類情報５０７は、タグデータＡ「室内」及び撮影日時情報のうち年月「２００６０３」を含む画像ファイルに対応している。【０２７３】
なお、記憶部１９には、一時的には、１個の分類テーブルのみが記憶される。【０２７４】
（色テーブル）
色テーブルは、代表色抽出部１１により代表色が決定される際に生成されるデータテーブルである。図２３〜図２６に示すように、色テーブルＡ５１０、色テーブルＢ５２０、色テーブルＣ５３０及び色テーブルＤ５４０の４種類が存在する。図２２に色テーブルＡのデータ構造の一例を示す。【０２７５】
（ｉ）色テーブルＡ５１０
色テーブルＡ５１０は、代表色抽出部１１により代表色が決定される場合に、画像から代表色を抽出するときに用いるテーブルである。【０２７６】
色テーブルＡ５１０は、図２２及び図２３に示すように、複数のキー項目情報から構成される。各キー項目情報は、分類テーブルに含まれる分類情報に対応している。【０２７７】
各キー項目情報は、１個のキー項目及び複数個のデータ項目を含む。ここで、各データ項目は、画像から抽出される色に対応している。各データ項目は、色、画素数及び決定区分を含む。色は、画像から抽出される色を示し、画素数は、画像から当該色が抽出される元になる画素の数を示し、決定区分は、当該色を代表色として選択したか否かを示す。決定区分が、「１」の場合には、当該色を選択したことを示し、「０」の場合には、当該色を選択しなかったことを示している。【０２７８】
（ii）色テーブルＢ５２０
色テーブルＢ５２０は、代表色抽出部１１により代表色が決定される場合に、タグを基にして代表色を決定するときに用いるテーブルである。【０２７９】
色テーブルＢ５２０は、図２４に示すように、複数のキー項目情報から構成される。各キー項目情報は、分類テーブルに含まれる分類情報に対応している。【０２８０】
各キー項目情報は、１個のキー項目及び複数個のデータ項目を含む。ここで、各データ項目は、画像から抽出される色に対応している。各データ項目は、色、タグ、タグ数及び決定区分を含む。色は、画像から抽出される色を示し、タグは、画像ファイルに付されたタグを示し、タグ数は、当該タグが付された画像ファイルの数を示し、決定区分は、当該色を代表色として選択したか否かを示す。決定区分が、「１」の場合には、当該色を選択したことを示し、「０」の場合には、当該色を選択しなかったことを示している。【０２８１】
なお、色テーブルＡ５１０では、データ項目に画素数を含んでいるのに対して、色テーブルＢ５２０では、データ項目にタグ及びタグ数を含んでいる点において、色テーブルＡ５１０と色テーブルＢ５２０とは相違している。【０２８２】
（iii）色テーブルＣ５３０
色テーブルＣ５３０は、代表色抽出部１１により代表色が決定される場合に、日常及び非日常の区分が存在するときにおいて代表色を抽出する際に用いるテーブルである。【０２８３】
色テーブルＣ５３０は、図２５に示すように、複数のキー項目情報から構成される。各キー項目情報は、分類テーブルに含まれる分類情報に対応している。【０２８４】
各キー項目情報は、１個のキー項目及び複数個のデータ項目を含む。ここで、各データ項目は、画像から抽出される色に対応している。各データ項目は、色、日常画素数、日常決定区分、非日常画素数、非日常決定区分を含む。色は、画像から抽出される色を示し、日常画素数は、日常の状況であるとされる画像から当該色が抽出される元になる画素の数を示し、日常決定区分は、当該色を代表色として選択したか否かを示し、非日常画素数は、非日常の状況であるとされる画像から当該色が抽出される元になる画素の数を示し、非日常決定区分は、当該色を代表色として選択したか否かを示す。日常決定区分が、「１」の場合には、当該色を選択したことを示し、「０」の場合には、当該色を選択しなかったことを示している。非日常決定区分についても同様である。【０２８５】
なお、色テーブルＡ５１０では、日常、非日常に関わらず、色毎に、画素数及び決定区分を含んでいるのに対して、色テーブルＣ５３０では、日常、非日常に分けて、色毎に、画素数及び決定区分を含んでいる点において、色テーブルＡ５１０と色テーブルＣ５３０とは相違している。【０２８６】
（iv）色テーブルＤ５４０
色テーブルＤ５４０は、代表色抽出部１１により代表色が決定される場合に、画像が被写体及び背景を含むときにおいて代表色を抽出する際に用いるテーブルである。【０２８７】
色テーブルＤ５４０は、図２６に示すように、複数のキー項目情報から構成される。各キー項目情報は、分類テーブルに含まれる分類情報に対応している。【０２８８】
各キー項目情報は、１個のキー項目及び複数個のデータ項目を含む。ここで、各データ項目は、画像から抽出される色に対応している。各データ項目は、色、被写体画素数、被写体決定区分、背景画素数、背景決定区分を含む。色は、画像から抽出される色を示し、被写体画素数は、画像の被写体部分から当該色が抽出される元になる画素の数を示し、被写体決定区分は、当該色を代表色として選択したか否かを示し、背景画素数は、画像の背景部分から当該色が抽出される元になる画素の数を示し、背景決定区分は、当該色を代表色として選択したか否かを示す。被写体決定区分が、「１」の場合には、当該色を選択したことを示し、「０」の場合には、当該色を選択しなかったことを示している。背景決定区分についても同様である。【０２８９】
なお、色テーブルＡ５１０では、被写体、背景に関わらず、色毎に、画素数及び決定区分を含んでいるのに対して、色テーブルＤ５４０では、被写体、背景に分けて、色毎に、画素数及び決定区分を含んでいる点において、色テーブルＡ５１０と色テーブルＤ５４０とは相違している。
（閲覧モードの切換タイプ）
閲覧モードの切換タイプは、タイプ「Ａ」又は「Ｂ」のいずれか一方に設定される。【０２９０】
切換タイプ「Ａ」は、画像数としきい値との比較により、代表色一覧画面を表示するか、又はサムネイル一覧を表示することを示す。【０２９１】
一方、切換タイプ「Ｂ」は、対象の全画像が、基準期間内に存在するか、否かにより、代表色一覧画面を表示するか、又はサムネイル一覧を表示することを示す。
（色対応テーブルＡ）
色対応テーブルＡ３００は、図２（ａ）に示すように、画像のタグと色とを対応付けるデータテーブルである。例えば、画像のタグ３０１「海」には、色３０２「青」が対応付けられている。
（色対応テーブルＢ）
色対応テーブルＢ３１０は、図２（ｂ）に示すように、画像のタグと色とを対応付けるデータテーブルである。例えば、画像のタグ３１１「自分」には、色３１２「青」が対応付けられている。
（日常／非日常の切換の有無）
日常／非日常の切換の有無は、日常の表示と非日常の表示を切り換えて表示するか、又はいずれか一方のみを表示するかを示すフラグである。【０２９２】
このフラグが日常／非日常の切換が有ることを示す場合には、日常の表示と非日常の表示とが切り換えて表示され、このフラグが日常／非日常の切換がないことを示す場合には、日常の表示又は非日常の表示のいずれか一方が表示される。
（５）日常非日常設定部１４、閲覧範囲設定部３０及び情報設定部３２
日常非日常設定部１４は、記録装置５の記憶部５２に記憶されている画像ファイルについて、ユーザから日常又は非日常の区分を受け付け、受け付けた区分を記録装置５の記憶部５２に記憶されている当該画像ファイルの属性情報の中に設定するように、入出力部１８を介して、記録装置５に指示する。【０２９３】
また、閲覧範囲設定部３０は、ユーザから閲覧範囲を受け付け、受け付けた閲覧範囲を含む閲覧範囲情報を記憶部１９に書き込む。【０２９４】
さらに、情報設定部３２は、ユーザから、表示モード、分類キーの選択、縦軸及び横軸の単位、分類期間、閲覧モードの切換タイプの設定、動作パターン、被写体と背景との塗り分けの指定、塗り分けタイプを受け付け、それぞれ、受け付けた表示モード、分類キー、縦軸及び横軸の単位、分類期間、閲覧モードの切換タイプ、動作パターン、被写体と背景との塗り分け、塗り分けタイプを記憶部１９に書き込む。【０２９５】
（６）閲覧モード切換部３１
閲覧モード切換部３１は、記憶部１９から閲覧モードの切換タイプを読み出し、読み出した閲覧モードの切換タイプが「Ａ」であるか、「Ｂ」であるかを判断する。【０２９６】
上述したように、切換タイプ「Ａ」は、画像数としきい値との比較により、代表色一覧画面を表示するか、又はサムネイル一覧を表示することを示す。一方、切換タイプ「Ｂ」は、対象の全画像が、基準期間内に存在するか、否かにより、代表色一覧画面を表示するか、又はサムネイル一覧を表示することを示す。【０２９７】
閲覧モードの切換タイプが「Ａ」である場合に、閲覧モード切換部３１は、一覧画面の表示対象である画像ファイルの数が、しきい値より大きいときは、閲覧モードを「代表色」に設定する。一方、一覧画面の表示対象である画像ファイルの数が、しきい値と等しい又はしきい値より小さいときは、閲覧モードを「サムネイル」に設定する。【０２９８】
閲覧モードの切換タイプが「Ｂ」である場合に、閲覧モード切換部３１は、一覧画面の表示対象である全ての画像ファイルの全ての撮影日時が、基準期間内であれば、閲覧モードを「サムネイル」に設定する。一方、一覧画面の表示対象である全ての画像ファイルの全ての撮影日時のうちの一つでも、基準期間外であれば、閲覧モードを「代表色」に設定する。【０２９９】
（７）画像分類部１０
画像分類部１０は、記憶部１９から分類キーを読み出す。分類キーの一例は、図１２（ａ）〜（ｂ）に示す通りである。【０３００】
画像分類部１０は、次に、記録装置５から、記憶部１９に記憶されている閲覧範囲情報により示される範囲内の全ての画像ファイルのファイルＩＤ及び属性情報（撮影日時情報、タグデータＡ及びタグデータＢ）を読み出し、読み出した全てのファイルＩＤ及び属性情報のセットを、記憶部１９から読み出した分類キーに従って分類し、分類されたファイルＩＤと属性情報のセットを分類テーブルとして記憶部１９へ書き込む。【０３０１】
分類テーブルの一例は、図２０及び図２１に示す通りである。【０３０２】
（８）代表色抽出部１１
代表色抽出部１１は、記憶部１９から動作パターン情報を読み込む。動作パターン情報の一例は、図１４（ａ）〜（ｅ）に示す通りである。【０３０３】
次に、代表色抽出部１１は、読み込んだ動作パターン情報の内容に応じて、次に示すように動作する。【０３０４】
（ａ）読み込んだ動作パターン情報の内容が「日常／非日常を区別しない」である場合に、記憶部１９に記憶されている表示モードが「時間軸で画像を整理するモード」であるときには、代表色抽出部１１は、後述するように、タグからの代表色の決定処理を行う。【０３０５】
読み込んだ動作パターン情報の内容が「日常／非日常を区別しない」である場合に、記憶部１９に記憶されている表示モードが「タグで画像を整理するモード」であるときには、代表色抽出部１１は、後述するように、画像データからの代表色の抽出処理を行う。【０３０６】
（ｂ）読み込んだ動作パターン情報の内容が「非日常を抽出する」である場合に、代表色抽出部１１は、後述するように、非日常の画像データからの代表色の抽出処理を行う。【０３０７】
（ｃ）読み込んだ動作パターン情報の内容が「日常／非日常により塗り分ける」である場合、又は「日常／非日常により切り換える」である場合、代表色抽出部１１は、後述するように、日常／非日常ごとに代表色の抽出処理を行う。【０３０８】
（ｄ）読み込んだ動作パターン情報の内容が「被写体／背景により塗り分ける」である場合、代表色抽出部１１は、後述するように、被写体／背景ごとに代表色の抽出処理を行う。【０３０９】
次に、代表色抽出部１１による代表色の抽出について説明する。【０３１０】
（ａ）画像データからの代表色の抽出
代表色抽出部１１による画像データからの代表色の抽出の詳細について説明する。【０３１１】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブル（一例として、図２０に示す分類テーブルＡ４９０、又は図２１に示す分類テーブルＢ５００）に含まれている全てのファイルＩＤについて、次のステップ１〜６を繰り返す。【０３１２】
（ステップ１）代表色抽出部１１は、記憶部１９に記憶されている分類テーブルからファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出す。【０３１３】
（ステップ２）代表色抽出部１１は、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５の記憶部５２から読み出す。【０３１４】
（ステップ３）代表色抽出部１１は、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成する。ここで、例えば、画像ファイルがＪＰＥＧ（Joint Photographic Experts Group）形式であるなら、代表色抽出部１１は、可変長符号の復号、逆量子化、逆ＤＣＴ（Discrete Cosine Transform）などのプロセスを経て、画像データを生成する。【０３１５】
（ステップ４）代表色抽出部１１は、生成した画像データから、全ての画素の色を抽出する。以下に、各画素の色の抽出方法の詳細について説明する。【０３１６】
ここで、代表色抽出部１１により抽出される色は、例えば、黒、紫、青、水色、緑、黄緑、黄色、橙色、赤及び白の１０種類のいずれかであるものとする。もちろん、これ以上の多くの種類の色を抽出するとしてもよいし、もっと少ない種類の色を抽出するとしてもよい。これらの色を基準色と呼ぶことにする。色空間をＲＧＢカラーモデルで表現し、仮に、Ｒ、Ｇ、Ｂの各色に４ビットを割り当てるとするなら、全体で4096色が表現可能となる。これら4096色のそれぞれをいずれかの基準色に割り当てる。ただし、この割り当ては、主観的なものである。このように4096色のそれぞれをいずれかの基準色に割り当てると、各基準色について、Ｒ、Ｇ、Ｂの値の範囲が定まる。これを基準色の色範囲と呼ぶことにする。【０３１７】
代表色抽出部１１は、画素毎に、当該画素についての輝度及び２個の色差を、上述した輝度及び色差からＲＧＢへの変換式を用いて、Ｒ、Ｇ、Ｂのそれぞれの値に変換する。次に、得られたＲ、Ｇ、Ｂの値の組合せが、上記の複数の基準色の色範囲のうちの、どの色範囲に該当するかを判断し、該当する色範囲に対応する基準色を、当該画素の色とする。【０３１８】
（ステップ５）代表色抽出部１１は、色ごとに、画素数を計数する。【０３１９】
（ステップ６）代表色抽出部１１は、図２３に示す色テーブルＡ５１０を生成し、色テーブルＡ５１０において、キー項目に対応付けて、色ごとに計数した前記画素数を加算する。［ステップ終了］
上記のステップ１〜６の繰り返しが終了すると、代表色抽出部１１は、色テーブルＡ５１０からキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、決定区分を「１」として色テーブルＡ５１０に書き込む。このようにして代表色が決定される。【０３２０】
（ｂ）タグからの代表色の決定
代表色抽出部１１によるタグからの代表色の抽出の詳細について説明する。【０３２１】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのキー項目について、キー項目ごとに、次のステップ１〜３を繰り返す。【０３２２】
（ステップ１）代表色抽出部１１は、１個のキー項目が対応付けられている全てのタグデータＡを分類テーブルから読み出す。【０３２３】
（ステップ２）代表色抽出部１１は、読み出したタグデータＡについて、同一内容のものの数を計数し、図２４に示す色テーブルＢ５２０において、キー項目及びタグデータＡの内容に対応付けて前記計数値を書き込む。【０３２４】
（ステップ３）代表色抽出部１１は、色テーブルＢ５２０において、最も多い数が計数された内容に対応する色を選択し、選択した色を代表色とし、決定区分を「１」として色テーブルＢ５２０に書き込む。                  ［ステップ終了］
（ｃ）非日常の画像データからの代表色の抽出
代表色抽出部１１による非日常の画像データからの代表色の抽出の詳細について説明する。【０３２５】
次に、図３５のステップＳ１８６に示す非日常の画像データからの代表色の抽出の動作の詳細について、図３８に示すフローチャートを用いて説明する。【０３２６】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、次のステップ１〜６を繰り返す。【０３２７】
（ステップ１）代表色抽出部１１は、記憶部１９に記憶されている分類テーブルから、非日常の区分が対応付けられたファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出す。【０３２８】
（ステップ２）代表色抽出部１１は、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５から読み出す。【０３２９】
（ステップ３）代表色抽出部１１は、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成する。【０３３０】
（ステップ４）代表色抽出部１１は、生成した画像データから、全ての画素の色を抽出する。【０３３１】
（ステップ５）代表色抽出部１１は、色ごとに、画素数を計数する。【０３３２】
（ステップ６）代表色抽出部１１は、図２３に示す色テーブルＡ５１０において、キー項目に対応付けて、色ごとに計数した前記画素数を加算する。  ［ステップ終了］
記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、ステップ１〜６の繰り返しが終了すると、代表色抽出部１１は、色テーブルＡ５１０からキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、決定区分を「１」として色テーブルＡ５１０に書き込む。【０３３３】
（ｄ）日常／非日常ごとの画像データからの代表色の抽出
代表色抽出部１１による非日常の画像データからの代表色の抽出の詳細について説明する。【０３３４】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、次のステップＳ１〜６を繰り返す。【０３３５】
（ステップ１）代表色抽出部１１は、記憶部１９に記憶されている分類テーブルから、ファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出す。【０３３６】
（ステップ２）代表色抽出部１１は、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５から読み出す。【０３３７】
（ステップ３）代表色抽出部１１は、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成する。【０３３８】
（ステップ４）代表色抽出部１１は、生成した画像データから、全ての画素の色を抽出する。【０３３９】
（ステップ５）代表色抽出部１１は、色ごとに、画素数を計数する。【０３４０】
（ステップ６）代表色抽出部１１は、図２５に示す色テーブルＣ５３０において、キー項目に対応付けて、色ごとに及び日常／非日常ごとに、計数した前記画素数を加算する。［ステップ終了］
記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、ステップ１〜６の繰り返しが終了すると、代表色抽出部１１は、色テーブルＣ５３０から、日常／非日常ごとに及びキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、各決定区分を「１」として色テーブルＣ５３０に書き込む。【０３４１】
（ｅ）被写体／背景ごとの画像データからの代表色の抽出
代表色抽出部１１による被写体／背景ごとの画像データからの代表色の抽出の詳細について説明する。【０３４２】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、次のステップ１〜６を繰り返す。【０３４３】
（ステップ１）代表色抽出部１１は、記憶部１９に記憶されている分類テーブルから、ファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出す。【０３４４】
（ステップ２）代表色抽出部１１は、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５から読み出す。【０３４５】
（ステップ３）代表色抽出部１１は、次に、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成する。【０３４６】
（ステップ４）代表色抽出部１１は、生成した画像データから、全ての画素の色を抽出する。【０３４７】
（ステップ５）代表色抽出部１１は、色ごとに、画素数を計数する。【０３４８】
（ステップ６）代表色抽出部１１は、図２６に示す色テーブルＤ５４０において、キー項目に対応付けて、色ごとに及び被写体／背景ごとに、計数した前記画素数を加算する。［ステップ終了］
記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、ステップ１〜６の繰り返しが終了すると、代表色抽出部１１は、色テーブルＣ５３０から、被写体／背景ごとに及びキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、各決定区分を「１」として色テーブルＤ５４０に書き込む。【０３４９】
（９）代表色配置部１２及び代表色切換部１６
（代表色配置部１２）
代表色配置部１２は、記憶部１９から軸情報を読み出し、表示すべき一覧画面上に横軸及び縦軸を描画し、横軸の目盛り及び縦軸の目盛りを描画し、読み出した軸情報に従って、横軸の目盛値及び縦軸の目盛値を描画する。【０３５０】
次に、代表色配置部１２は、記憶部１９に記憶されている色テーブルに含まれるキー項目ごとに、以下に示すステップＳ１〜Ｓ２を繰り返す。【０３５１】
（ステップ１）代表色配置部１２は、記憶部１９に記憶されている色テーブル（色テーブルＡ、Ｂ又はＣ）からキー項目と決定された色とを順に読み出す。決定された色とは、決定区分として「１」が対応付けられているものである。ここで、代表色配置部１２は、代表色切換部１６から日常の表示の指示又は非日常の表示の指示を受け取った場合には、代表色切換部１６から受け取った日常の表示の指示又は非日常の表示の指示に従って、色テーブルＣの日常決定区分による色又は非日常決定区分による色を用いる。【０３５２】
（ステップ２）代表色配置部１２は、表示すべき画面上において、キー項目に対応する位置に決定された色を描画する。      ［ステップ終了］
次に、代表色配置部１２による代表色の塗り分けについて説明する。【０３５３】
代表色配置部１２は、記憶部１９から塗り分けタイプを読み出す。【０３５４】
読み出した塗り分けタイプが「境界線」である場合に、代表色配置部１２は、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における境界線の描画位置を決定し、表示単位領域において、決定された境界線の両側をそれぞれの色で塗り分ける。図８（ａ）及び（ｂ）は、その一例を示している。【０３５５】
読み出した塗り分けタイプが「グラデーションＡ」である場合に、代表色配置部１２は、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における境界線の描画位置を決定し、境界線を含むその近傍に一定幅の境界領域を設け、表示単位領域において、境界領域内にグラデーションを付けて色を塗り、決定された境界領域の両側をそれぞれの色で塗り分ける。図３０（ａ）及び（ｂ）は、その一例を示している。【０３５６】
読み出した塗り分けタイプが「グラデーションＢ」である場合に、代表色配置部１２は、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における境界線の描画位置を決定し、境界線を含むその近傍に、日常的な状況の画像と非日常的な状況の画像の変化の緩急の程度に応じた幅を有する境界領域を設け、表示単位領域において、境界領域内にグラデーションを付けて色を塗り、決定された境界領域の両側をそれぞれの色で塗り分ける。図３０（ａ）〜（ｄ）は、その一例を示している。【０３５７】
読み出した塗り分けタイプが「分散レイアウト」である場合に、代表色配置部１２は、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における背景領域と非日常領域との面積比を決定し、日常的な状況の画像と非日常的な状況の画像の変化の緩急の程度に応じた分散数を決定し、表示単位領域において、背景領域と非日常領域とをそれぞれの色で塗り分ける。図８（ｃ）及び（ｄ）は、その一例を示している。
（代表色切換部１６）
代表色切換部１６は、代表色配置部１２により一覧画面における配置が行われる前に、記憶部１９に記憶されている日常／非日常の切換の有無を判断し、切換が存在する場合に、内部に初期値として日常を表示するように設定し、初期値として、代表色配置部１２に日常により表示するように指示する。【０３５８】
代表色切換部１６は、代表色配置部１２による記憶部１９に記憶されている色テーブルに含まれる全てのキー項目について、上記のステップ１〜Ｓ２の繰り返しが終了すると、日常／非日常の切換の有無を判断する。【０３５９】
日常／非日常の切換が有る場合には、代表色切換部１６は、日常／非日常の切換を示すボタンを画面上に表示するように表示部１７を制御し、表示部１７は、ボタンを画面上に表示する。さらに、代表色切換部１６は、ユーザから切換えの指示の受け付けを待つ。切換えの指示の受け付けがされた場合、日常の設定がされている場合にはこれを非日常の設定に変更し、非日常の設定がされている場合にはこれを日常の設定に変更する。さらに、非日常の設定がされた場合には、代表色配置部１２に対して非日常の指示をし、日常の設定がされている場合には、代表色配置部１２に対して日常の指示をする。【０３６０】
代表色切換部１６は、ユーザから切換えの指示の受け付けを待ち、切換えの指示の受け付けがない場合、代表色配置部１２に対して、処理を終了させる。【０３６１】
（１０）縮小画像生成部２０及び縮小画像配置部２１
縮小画像生成部２０は、記憶部１９に記憶されている分類テーブル（一例として、図２０に示す分類テーブルＡ４９０、又は図２１に示す分類テーブルＢ５００）に含まれている全てのファイルＩＤについて、次のステップ１〜４を繰り返す。【０３６２】
（ステップ１）縮小画像生成部２０は、記憶部１９に記憶されている分類テーブルからファイルＩＤを読み出す。【０３６３】
（ステップ２）縮小画像生成部２０は、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５の記憶部５２から読み出す。【０３６４】
（ステップ３）縮小画像生成部２０は、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成する。【０３６５】
（ステップ４）縮小画像生成部２０は、生成した画像データから縮小画像を生成し、生成した縮小画像を縮小画像配置部２１へ出力する。【０３６６】
縮小画像配置部２１は、縮小画像生成部２０から縮小画像を受け取り、受け取った縮小画像を画面上において配置する。【０３６７】
（１１）表示部１７、入出力部１８及び制御部２２
表示部１７は、一覧画面を表示する。【０３６８】
入出力部１８は、画像閲覧装置４を構成する他の構成要素の指示より、記録装置５から画像ファイルを読み出し、又は、記録装置５へ情報を出力して記録させる。【０３６９】
制御部２２は、画像閲覧装置４を構成する他の構成要素を制御する。
３．４  画像閲覧装置４の動作
画像閲覧装置４の動作について、図３１〜図４３に示すフローチャートを用いて説明する。【０３７０】
（１）画像閲覧装置４の全体の動作
画像閲覧装置４の全体の動作について、図３１に示すフローチャートを用いて説明する。【０３７１】
制御部２２の制御により、閲覧範囲設定部３０、情報設定部３２及び日常非日常設定部１４は、設定の処理を行う（ステップＳ１０１）。【０３７２】
次に、制御部２２の制御により、画像分類部１０は、画像ファイルを分類し（ステップＳ１０２）、縮小画像生成部２０は、縮小画像を生成し（ステップＳ１０３）、縮小画像配置部２１は、生成された縮小画像を配置する（ステップＳ１０４）。【０３７３】
一方、制御部２２の制御により、ステップＳ１０２〜Ｓ１０４と並列して、画像分類部１０は、画像ファイルを分類し（ステップＳ１０５）、代表色抽出部１１は、代表色を抽出し（ステップＳ１０６）、代表色配置部１２は、代表色を配置する（ステップＳ１０７）。【０３７４】
次に、制御部２２の制御により、閲覧モード切換部３１は、サムネイル閲覧モード及び代表色閲覧モードのいずれかの選択処理をし（ステップＳ１０８）、閲覧モードが「サムネイル閲覧モード」である場合には（ステップＳ１０９）、表示部１７は、サムネイル閲覧モードによる表示を行う（ステップＳ１１０）。一方、閲覧モードが「代表色閲覧モード」である場合には（ステップＳ１０９）、表示部１７は、代表色閲覧モードによる表示を行う（ステップＳ１１１）。【０３７５】
次に、制御部２２の制御により、情報設定部３２は、ユーザ操作を受け付ける（ステップＳ１１２）。ユーザ操作が終了を示す場合には（ステップＳ１１３）、画像閲覧装置４は、処理を終了する。ユーザ操作が設定の変更を示す場合には（ステップＳ１１３）、ステップＳ１０１へ戻って処理を繰り返す。ユーザ操作が閲覧モードの切換えを示す場合には（ステップＳ１１３）、閲覧モードを反転し（ステップＳ１１４）、ステップＳ１０９へ戻って処理を繰り返す。【０３７６】
（２）設定処理の動作
図３１のステップＳ１０１に示す設定処理の動作の詳細について、図３２に示すフローチャートを用いて説明する。【０３７７】
情報設定部３２は、ユーザから表示モードを受け付け（ステップＳ１２１）、閲覧範囲設定部３０は、ユーザから閲覧範囲を受け付ける（ステップＳ１２２）。【０３７８】
次に、情報設定部３２は、ユーザから分類キーの選択を受け付け（ステップＳ１２３）、縦軸及び横軸の単位を受け付け（ステップＳ１２４）、分類期間を受け付け（ステップＳ１２５）、閲覧モードの切換タイプの設定を受け付け（ステップＳ１２６）、動作パターンを受け付ける（ステップＳ１２７）。【０３７９】
次に、日常非日常設定部１４は、各画像ファイルについて、日常又は非日常の区分を受け付け、記録装置５の記憶部５２に設定する（ステップＳ１２８）。【０３８０】
次に、情報設定部３２は、被写体と背景との塗り分けの指定を受け付け（ステップＳ１２９）、塗り分けタイプを受け付ける（ステップＳ１３０）。【０３８１】
（３）閲覧モードの選択処理の動作
図３１のステップＳ１０８に示す閲覧モードの選択処理の動作の詳細について、図３３に示すフローチャートを用いて説明する。【０３８２】
閲覧モード切換部３１は、記憶部１９から閲覧モードの切換タイプを読み出す（ステップＳ１４１）。【０３８３】
閲覧モードの切換タイプが「Ａ」である場合に（ステップＳ１４２）、閲覧モード切換部３１は、一覧画面の表示対象である画像ファイルの数が、しきい値より大きいときは、閲覧モードを「代表色」に設定する（ステップＳ１４４）。一方、一覧画面の表示対象である画像ファイルの数が、しきい値と等しい又はしきい値より小さいときは、閲覧モードを「サムネイル」に設定する（ステップＳ１４５）。【０３８４】
閲覧モードの切換タイプが「Ｂ」である場合に（ステップＳ１４２）、閲覧モード切換部３１は、一覧画面の表示対象である全ての画像ファイルの全ての撮影日時が、基準期間内であれば、閲覧モードを「サムネイル」に設定する（ステップＳ１４８）。一方、一覧画面の表示対象である全ての画像ファイルの全ての撮影日時のうちの一つでも、基準期間外であれば、閲覧モードを「代表色」に設定する（ステップＳ１４７）。【０３８５】
（４）画像ファイルの分類の動作
図３１のステップＳ１０２及びＳ１０５に示す画像ファイルの分類の動作の詳細について、図３４に示すフローチャートを用いて説明する。【０３８６】
画像分類部１０は、記憶部１９から分類キーを読み出し（ステップＳ１６１）、記録装置５から、記憶部１９に記憶されている閲覧範囲情報により示される範囲内の全ての画像ファイルのファイルＩＤ及び属性情報（撮影日時情報、タグデータＡ及びタグデータＢ）を読み出し（ステップＳ１６２）、読み出した全てのファイルＩＤ及び属性情報のセットを、記憶部１９から読み出した分類キーに従って分類し（ステップＳ１６３）、分類されたファイルＩＤと属性情報のセットを分類テーブルとして記憶部１９へ書き込む（ステップＳ１６４）。【０３８７】
（５）代表色の抽出の動作
図３１のステップＳ１０６に示す代表色の抽出の動作の詳細について、図３５に示すフローチャートを用いて説明する。【０３８８】
代表色抽出部１１は、記憶部１９から動作パターン情報を読み込み（ステップＳ１８１）、読み込んだ動作パターン情報の内容が「日常／非日常を区別しない」である場合に（ステップＳ１８２）、さらに、記憶部１９に記憶されている表示モードが「時間軸で画像を整理するモード」である場合には（ステップＳ１８３）、タグからの代表色の決定処理を行う（ステップＳ１８４）。【０３８９】
読み込んだ動作パターン情報の内容が「日常／非日常を区別しない」である場合に（ステップＳ１８２）、さらに、記憶部１９に記憶されている表示モードが「タグで画像を整理するモード」である場合には（ステップＳ１８３）、代表色抽出部１１は、画像データからの代表色の抽出処理を行う（ステップＳ１８５）。【０３９０】
読み込んだ動作パターン情報の内容が「非日常を抽出する」である場合に（ステップＳ１８２）、代表色抽出部１１は、非日常の画像データからの代表色の抽出処理を行う（ステップＳ１８６）。【０３９１】
読み込んだ動作パターン情報の内容が「日常／非日常により塗り分ける」である場合、又は「日常／非日常により切り換える」である場合（ステップＳ１８２）、代表色抽出部１１は、日常／非日常ごとに代表色の抽出処理を行う（ステップＳ１８７）。【０３９２】
読み込んだ動作パターン情報の内容が「被写体／背景により塗り分ける」である場合（ステップＳ１８２）、代表色抽出部１１は、被写体／背景ごとに代表色の抽出処理を行う（ステップＳ１８８）。【０３９３】
（ｉ）画像データからの代表色の抽出の動作
次に、図３５のステップＳ１８５に示す画像データからの代表色の抽出の動作の詳細について、図３６に示すフローチャートを用いて説明する。【０３９４】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、次のステップＳ２０２〜Ｓ２０７を繰り返す（ステップＳ２０１〜Ｓ２０８）。【０３９５】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルからファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出し（ステップＳ２０２）、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５から読み出す（ステップＳ２０３）。次に、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成し（ステップＳ２０４）、生成した画像データから、全ての画素の色を抽出し（ステップＳ２０５）、色ごとに、画素数を計数し（ステップＳ２０６）、図２３に示す色テーブルＡ５１０において、キー項目に対応付けて、色ごとに計数した前記画素数を加算する（ステップＳ２０７）。【０３９６】
記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、ステップＳ２０２〜Ｓ２０７の繰り返しが終了すると、代表色抽出部１１は、色テーブルＡ５１０からキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、決定区分を「１」として色テーブルＡ５１０に書き込む（ステップＳ２０９）。【０３９７】
（ii）タグからの代表色の決定の動作
次に、図３５のステップＳ１８４に示すタグからの代表色の決定の動作の詳細について、図３７に示すフローチャートを用いて説明する。【０３９８】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのキー項目について、キー項目ごとに、次のステップＳ２２２〜Ｓ２２４を繰り返す（ステップＳ２２１〜Ｓ２２５）。【０３９９】
代表色抽出部１１は、１個のキー項目が対応付けられている全てのタグデータＡを分類テーブルから読み出す（ステップＳ２２２）。次に、読み出したタグデータＡについて、同一内容のものの数を計数し、図２４に示す色テーブルＢ５２０において、キー項目及びタグデータＡの内容に対応付けて前記計数値を書き込む（ステップＳ２２３）。次に、色テーブルＢにおいて、最も多い数が計数された内容に対応する色を選択し、選択した色を代表色とし、決定区分を「１」として色テーブルＢ５２０に書き込む（ステップＳ２２４）。【０４００】
（iii ）非日常の画像データからの代表色の抽出の動作
次に、図３５のステップＳ１８６に示す非日常の画像データからの代表色の抽出の動作の詳細について、図３８に示すフローチャートを用いて説明する。【０４０１】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、次のステップＳ２０２ａ〜Ｓ２０７を繰り返す（ステップＳ２０１〜Ｓ２０８）。【０４０２】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルから、非日常の区分が対応付けられたファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出し（ステップＳ２０２ａ）、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５から読み出す（ステップＳ２０３）。次に、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成し（ステップＳ２０４）、生成した画像データから、全ての画素の色を抽出し（ステップＳ２０５）、色ごとに、画素数を計数し（ステップＳ２０６）、図２３に示す色テーブルＡ５１０において、キー項目に対応付けて、色ごとに計数した前記画素数を加算する（ステップＳ２０７）。【０４０３】
記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、ステップＳ２０２ａ〜Ｓ２０７の繰り返しが終了すると、代表色抽出部１１は、色テーブルＡ５１０からキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、決定区分を「１」として色テーブルＡ５１０に書き込む（ステップＳ２０９）。【０４０４】
（iv）日常／非日常ごとに画像データから代表色を抽出する動作
次に、図３５のステップＳ１８７に示す日常／非日常ごとに画像データから代表色を抽出する動作の詳細について、図３９に示すフローチャートを用いて説明する。【０４０５】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、次のステップＳ２０２〜Ｓ２０７ｂを繰り返す（ステップＳ２０１〜Ｓ２０８）。【０４０６】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルから、ファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出し（ステップＳ２０２）、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５から読み出す（ステップＳ２０３）。次に、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成し（ステップＳ２０４）、生成した画像データから、全ての画素の色を抽出し（ステップＳ２０５）、色ごとに、画素数を計数し（ステップＳ２０６）、図２５に示す色テーブルＣ５３０において、キー項目に対応付けて、色ごとに及び日常／非日常ごとに、計数した前記画素数を加算する（ステップＳ２０７ｂ）。【０４０７】
記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、ステップＳ２０２〜Ｓ２０７ｂの繰り返しが終了すると、代表色抽出部１１は、色テーブルＣ５３０から、日常／非日常ごとに及びキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、各決定区分を「１」として色テーブルＣ５３０に書き込む（ステップＳ２０９ｂ）。【０４０８】
（ｖ）被写体／背景ごとに画像データから代表色を抽出する動作
次に、図３５のステップＳ１８８に示す被写体／背景ごとに画像データから代表色を抽出する動作の詳細について、図４０に示すフローチャートを用いて説明する。【０４０９】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、次のステップＳ２０２〜Ｓ２０７ｃを繰り返す（ステップＳ２０１〜Ｓ２０８）。【０４１０】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルから、ファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出し（ステップＳ２０２）、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５から読み出す（ステップＳ２０３）。次に、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成し（ステップＳ２０４）、生成した画像データから、全ての画素の色を抽出し（ステップＳ２０５）、色ごとに、画素数を計数し（ステップＳ２０６）、図２６に示す色テーブルＤ５４０において、キー項目に対応付けて、色ごとに及び被写体／背景ごとに、計数した前記画素数を加算する（ステップＳ２０７ｃ）。【０４１１】
記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、ステップＳ２０２〜Ｓ２０７ｃの繰り返しが終了すると、代表色抽出部１１は、色テーブルＣ５３０から、被写体／背景ごとに及びキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、各決定区分を「１」として色テーブルＤ５４０に書き込む（ステップＳ２０９ｃ）。【０４１２】
（６）代表色の配置の動作
図３１のステップＳ１０７に示す代表色の配置の動作の詳細について、図４１〜図４２に示すフローチャートを用いて説明する。【０４１３】
代表色配置部１２は、記憶部１９から軸情報を読み出し（ステップＳ２３１）、表示すべき画面上に横軸及び縦軸を描画し（ステップＳ２３２）、横軸の目盛り及び縦軸の目盛りを描画し（ステップＳ２３３）、読み出した軸情報に従って、横軸の目盛値及び縦軸の目盛値を描画する（ステップＳ２３４）。【０４１４】
次に、代表色切換部１６は、記憶部１９に記憶されている日常／非日常の切換の有無を判断し、切換が存在する場合に（ステップＳ２３５）、内部に初期値として日常を表示するように設定し、代表色配置部１２に日常により表示するように指示する（ステップＳ２３６）。【０４１５】
次に、代表色配置部１２は、記憶部１９に記憶されている色テーブルに含まれるキー項目ごとに、以下に示すステップＳ２３８〜Ｓ２３９を繰り返す（ステップＳ２３７〜Ｓ２４０）。【０４１６】
代表色配置部１２は、記憶部１９に記憶されている色テーブル（色テーブルＡ、Ｂ又はＣ）からキー項目と決定された色とを順に読み出す。ここで、代表色配置部１２は、代表色切換部１６から日常の表示の指示又は非日常の表示の指示を受け取った場合には、代表色切換部１６から受け取った日常の表示の指示又は非日常の表示の指示に従って、色テーブルＣの日常決定区分による色又は非日常決定区分による色を用いる（ステップＳ２３８）。次に、代表色配置部１２は、表示すべき画面上において、キー項目に対応する位置に決定された色を描画する（ステップＳ２３９）。【０４１７】
次に、代表色配置部１２による記憶部１９に記憶されている色テーブルに含まれる全てのキー項目について、ステップＳ２３８〜Ｓ２３９の繰り返しが終了すると、代表色切換部１６は、日常／非日常の切換の有無を判断し、切換がない場合には（ステップＳ２４１）、代表色配置部１２は、処理を終了する。【０４１８】
日常／非日常の切換が有る場合には（ステップＳ２４１）、代表色切換部１６は、日常／非日常の切換を示すボタンを画面上に表示するように表示部１７を制御し、表示部１７は、ボタンを画面上に表示し（ステップＳ２４２）、代表色切換部１６は、ユーザから切換えの指示の受け付けを待つ。切換えの指示の受け付けがされた場合（ステップＳ２４３）、日常の設定がされている場合には非日常の設定に変更し、非日常の設定がされている場合には日常の設定に変更する。非日常の設定がされた場合には、代表色配置部１２に対して非日常の指示をし、日常の設定がされている場合には、代表色配置部１２に対して日常の指示をし（ステップＳ２４４）、ステップＳ２３７へ戻って処理を繰り返すように、代表色配置部１２を制御する。【０４１９】
代表色切換部１６は、ユーザから切換えの指示の受け付けを待ち、切換えの指示の受け付けがない場合（ステップＳ２４３）、代表色配置部１２は、処理を終了する。【０４２０】
次に、代表色配置部１２による代表色の塗り分けの動作について、図４３に示すフローチャートを用いて説明する。この動作は、図４１に示すフローチャートのステップＳ２３９内において行われる。【０４２１】
代表色配置部１２は、記憶部１９から塗り分けタイプを読み出し、読み出した塗り分けタイプが「境界線」である場合に（ステップＳ３００）、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における境界線の描画位置を決定し（ステップＳ３０１）、表示単位領域において、決定された境界線の両側をそれぞれの色で塗り分ける（ステップＳ３０２）。【０４２２】
読み出した塗り分けタイプが「グラデーションＡ」である場合に（ステップＳ３００）、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における境界線の描画位置を決定し（ステップＳ３０３）、境界線を含むその近傍に一定幅の境界領域を設け（ステップＳ３０４）、表示単位領域において、境界領域内にグラデーションを付けて色を塗り（ステップＳ３０５）、決定された境界領域の両側をそれぞれの色で塗り分ける（ステップＳ３０６）。【０４２３】
読み出した塗り分けタイプが「グラデーションＢ」である場合に（ステップＳ３００）、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における境界線の描画位置を決定し（ステップＳ３０７）、境界線を含むその近傍に、日常的な状況の画像と非日常的な状況の画像の変化の緩急の程度に応じた幅を有する境界領域を設け（ステップＳ３０８）、表示単位領域において、境界領域内にグラデーションを付けて色を塗り（ステップＳ３０９）、決定された境界領域の両側をそれぞれの色で塗り分ける（ステップＳ３１０）。【０４２４】
読み出した塗り分けタイプが「分散レイアウト」である場合に（ステップＳ３００）、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における背景領域と非日常領域との面積比を決定し（ステップＳ３１１）、日常的な状況の画像と非日常的な状況の画像の変化の緩急の程度に応じた分散数を決定し（ステップＳ３１２）、表示単位領域において、背景領域と非日常領域とをそれぞれの色で塗り分ける（ステップＳ３１３）。
４．まとめ
以上説明したように、本発明は、複数画像を所定の基準に従って画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、さらに、画像に埋め込まれた撮影日時情報あるいは画像に関連付けて記録された撮影日時情報から撮影日時を取得する撮影日時取得手段とを備え、前記画像分類手段は前記撮影日時取得手段により取得された撮影日時により複数画像を所定の期間毎の画像群に分類し、前記代表色配置手段は前記代表色を前記所定の期間に対応させて配置することを特徴とする画像閲覧装置である。【０４２５】
ここで、代表色配置手段は縦軸および横軸を各々上位あるいは下位の時間単位に対応させて代表色を２次元に配置するとしてもよい。【０４２６】
また、本発明は、複数画像を所定の基準に従って画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、さらに、画像が撮影された状況が日常的か非日常的かを画像に設定する日常非日常設定手段とを備え、前記代表色抽出手段は前記画像群に含まれる画像のうち日常と設定された画像あるいは非日常と設定された画像のいずれか一方を対象として代表色を抽出可能であることを特徴とする画像閲覧装置である。【０４２７】
ここで、前記代表色抽出手段は非日常と設定された画像を対象とした代表色のみを抽出するとしてもよい。【０４２８】
ここで、前記代表色抽出手段は、日常と設定された画像を対象とした第一の代表色と、非日常と設定された画像を対象とした第二の代表色とを抽出し、前記代表色配置手段は、前記第一の代表色と前記第二の代表色とを塗り分けて表示するとしてもよい。【０４２９】
ここで、前記代表色抽出手段は、日常と設定された画像を対象とした第一の代表色と、非日常と設定された画像を対象とした第二の代表色とを抽出し、前記代表色配置手段は、前記第一の代表色と前記第二の代表色とを切り換えて表示する
としてもよい。【０４３０】
また、本発明は、複数画像を所定の基準に従って画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、さらに、画像を整理して表示する方法である表示モードの切り換えを設定管理する表示モード管理手段と、前記表示モードに応じて代表色の決定方式を切り換える代表色切換手段とを備え、前記代表色抽出手段は前記代表色切換手段により切り換え設定された決定方式に従って代表色を抽出することを特徴とする画像閲覧装置である。【０４３１】
ここで、前記表示モード管理手段で設定管理される表示モードが、時間軸で画像を整理して表示するモードと画像に関連付けられた付加情報で画像を整理して表示するモードとの間で切り換えられるとしてもよい。【０４３２】
ここで、前記代表色抽出手段は、前記画像群に含まれる代表色抽出の対象画像で最も主要な色を代表色として抽出するとしてもよい。【０４３３】
ここで、前記画像閲覧装置はさらに、画像に関連付けられる付加情報と色とを対応づけて管理する色対応管理手段を備え、前記代表色抽出手段は、前記画像群に含まれる代表色抽出の対象画像に最も多く関連付けられた付加情報に前記色対応管理手段により対応付けられた色を代表色として抽出するとしてもよい。【０４３４】
また、本発明は、複数画像を所定の基準に従って画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段とを備え、前記代表色抽出手段は複数の条件に対応する複数の色を代表色として抽出し、前記代表色配置手段は前記複数の代表色を塗り分けて表示することを特徴とする画像閲覧装置である。【０４３５】
ここで、前記代表色配置手段は、前記画像群に含まれる画像のうち前記複数の条件に合致する画像数の比率に合わせて前記複数の代表色を塗り分けて表示するとしてもよい。【０４３６】
ここで、前記代表色配置手段は、前記複数の代表色を徐々に変化させて塗り分けて表示し、かつ、前記画像群に含まれる画像のうち前記複数の条件に合致する画像の分布に応じて塗り分けの変化の緩急を調整するとしてもよい。【０４３７】
ここで、前記代表色配置手段は、前記画像群に含まれる画像のうち前記複数の条件に合致する画像の分布に応じて前記複数の代表色の塗り分けのパターンを可変とするとしてもよい。【０４３８】
また、本発明は、複数画像を所定の基準に従って画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段とを備え、前記代表色抽出手段は複数の条件に対応する複数の色を代表色として抽出し、前記代表色配置手段は前記複数の代表色を切り換えて表示することを特徴とする画像閲覧装置である。【０４３９】
ここで、前記代表色配置手段は、前記画像群に含まれる画像のうち前記複数の条件に合致する画像の分布に応じて前記複数の代表色の切り換えのパターンを可変としてもよい。【０４４０】
また、本発明は、複数画像を所定の基準に従って画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段とを備え、前記代表色抽出手段は、前記画像群に関する複数の情報の各々を所定の表色系の異なる色成分に割り当てて代表色を合成することにより代表色を決定することを特徴とする画像閲覧装置である。【０４４１】
ここで、前記所定の表色系は色相、明度、彩度からなる表色系であって、前記代表色抽出手段は、前記画像群に関する複数の情報の各々を色相、明度、彩度のいずれかに割り当てて代表色を合成することにより代表色を決定するとしてもよい。【０４４２】
また、本発明は、複数画像を所定の基準に従って画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、画像を縮小して縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段によって生成された縮小画像を配置して表示する縮小画像配置手段と、閲覧の対象である画像の範囲であるところの閲覧範囲を設定する閲覧範囲設定手段と、前記閲覧範囲設定手段によって設定された前記閲覧範囲に応じて、前記代表色配置手段による表示と前記縮小画像配置手段による表示とを切り換える閲覧モード切換手段とを備えることを特徴とする画像閲覧装置である。【０４４３】
ここで、前記閲覧モード切換手段は、前記閲覧範囲設定手段で設定された閲覧範囲に含まれる画像数が所定の枚数以内か否かに応じて、前記代表色配置手段による表示と前記縮小画像配置手段による表示とを切り換えるとしてもよい。【０４４４】
ここで、前記閲覧モード切換手段は、前記閲覧範囲設定手段で設定された閲覧範囲に含まれる画像の撮影日時が所定の長さの期間以内か否かに応じて、前記代表色配置手段による表示と前記縮小画像配置手段による表示とを切り換えるとしてもよい。【０４４５】
以上の構成により、複数画像を所定の基準に従って分類した画像群毎に代表色を抽出して、代表色によって画像群を表現することに加え、撮影日時で複数画像を所定の期間毎に分類してこの期間に対応させて配置することにより、例えば年毎など、時期毎の変化を一覧して把握が容易になる。【０４４６】
また、画像が撮影された状況が日常的か非日常的かを画像に設定し、いずれか一方に設定された画像を対象として代表色を抽出することにより、普段の傾向や特別な場合の内容を一覧して把握しやすくなる。【０４４７】
また、画像の表示モードの切り換えに応じて代表色の決定方式を切り換えることによって、閲覧状態に応じたより適切な代表色を提示することができるようになる。【０４４８】
また、複数の条件に対応する複数の色を代表色として抽出して表示する、あるいは、複数の情報の各々を所定の表色系の異なる色成分に割り当てて代表色を合成して表示することにより、多数の画像を色で代表させながらも、単純に一つの情報を単色で表示する場合に比べて多くの情報を提示することができる。【０４４９】
また、閲覧の対象である画像の範囲に応じて代表色の表示と縮小画像の表示とを切り換えることにより、閲覧対象の画像量に応じたより適切な表示で画像を閲覧することができる。【０４５０】
また、本発明は、複数の画像を所定の基準に従って１以上の画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、各画像に埋め込まれた撮影日時情報又は画像に関連付けて記録された撮影日時情報から撮影日時を取得する撮影日時取得手段とを備え、前記画像分類手段は、前記撮影日時取得手段により取得された撮影日時により前記画像を所定の期間毎の前記画像群に分類し、前記代表色配置手段は、前記代表色を前記所定の期間に対応させて配置することを特徴とする。【０４５１】
ここで、前記代表色配置手段は、縦軸及び横軸を各々時間の経過に対応させ、縦軸及び横軸により構成される平面上で、各画像群が属する期間に相応する位置において、当該代表色を２次元に配置してもよい。【０４５２】
また、本発明は、画像閲覧装置であって、複数の画像を所定の基準に従って１以上の画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、各画像が撮影された状況が日常的か非日常的かを画像毎に設定する日常非日常設定手段とを備え、前記代表色抽出手段は、前記画像群に含まれる画像のうち日常と設定された画像又は非日常と設定された画像のいずれか一方を対象として代表色を抽出することを特徴とする。【０４５３】
ここで、前記代表色抽出手段は、非日常と設定された画像のみを対象として前記代表色を抽出してもよい。【０４５４】
ここで、前記代表色抽出手段は、前記代表色として、日常と設定された画像を対象とする第一の代表色と、非日常と設定された画像を対象とする第二の代表色とを抽出し、前記代表色配置手段は、前記第一の代表色と前記第二の代表色とを塗り分けて表示してもよい。【０４５５】
ここで、前記代表色抽出手段は、前記代表色として、日常と設定された画像を対象とする第一の代表色と、非日常と設定された画像を対象とする第二の代表色とを抽出し、前記代表色配置手段は、前記第一の代表色と前記第二の代表色とを切り換えて表示してもよい。【０４５６】
また、本発明は、複数の画像を所定の基準に従って１以上の画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、各画像を整理して表示する複数の方法をそれぞれ示す複数の表示モードの切り換えを管理する表示モード管理手段と、表示モードに応じて代表色の決定方式を切り換える代表色切換手段とを備え、前記代表色抽出手段は前記代表色切換手段により切り換え設定された決定方式に従って代表色を抽出することを特徴とする。【０４５７】
ここで、前記各画像を整理して表示する複数の方法のうちの一は、時間軸で画像を整理して表示する方法であり、他の一は、画像に関連付けられた付加情報で画像を整理して表示する方法であり、前記表示モード管理手段は、時間軸で画像を整理して表示するモードと、画像に関連付けられた付加情報で画像を整理して表示するモードとを切り換えてもよい。【０４５８】
ここで、前記代表色抽出手段は、前記画像群に含まれる代表色抽出の対象画像で最も主要な色を代表色として抽出してもよい。【０４５９】
ここで、前記画像閲覧装置は、さらに、各画像に対応付けて、当該画像に関連付けられる付加情報と色とを管理する色対応管理手段を備え、前記代表色抽出手段は、前記色対応管理手段により、前記画像群に含まれる代表色抽出の対象とする画像に最も多く関連付けられた付加情報に対応付けられた色を前記代表色として抽出してもよい。【０４６０】
また、本発明は、複数の画像を所定の基準に従って１以上の画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段とを備え、前記代表色抽出手段は、複数の条件に対応する複数の色を代表色として抽出し、前記代表色配置手段は、前記複数の代表色を塗り分けて表示してもよい。【０４６１】
ここで、前記代表色配置手段は、前記画像群に含まれる画像のうち前記複数の条件に合致する画像数の比率に合わせて前記複数の代表色を塗り分けて表示してもよい。【０４６２】
ここで、前記代表色配置手段は、前記複数の代表色を徐々に変化させて塗り分けて表示し、かつ、前記画像群に含まれる画像のうち前記複数の条件に合致する画像の分布に応じて塗り分けの変化の緩急を調整してもよい。【０４６３】
ここで、前記代表色配置手段は、前記画像群に含まれる画像のうち前記複数の条件に合致する画像の分布に応じて前記複数の代表色の塗り分けのパターンを可変とてもよい。【０４６４】
また、本発明は、複数の画像を所定の基準に従って１以上の画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段とを備え、前記代表色抽出手段は複数の条件に対応する複数の色を代表色として抽出し、前記代表色配置手段は前記複数の代表色を切り換えて表示してもよい。【０４６５】
ここで、前記代表色配置手段は、前記画像群に含まれる画像のうち前記複数の条件に合致する画像の分布に応じて前記複数の代表色の切り換えのパターンを可変としてもよい。【０４６６】
また、本発明は、複数の画像を所定の基準に従って１以上の画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段とを備え、前記代表色抽出手段は、前記画像群に関する複数の情報の各々を所定の表色系の異なる色成分に割り当てて代表色を合成することにより代表色を決定してもよい。【０４６７】
ここで、前記所定の表色系は色相、明度、彩度からなる表色系であって、前記代表色抽出手段は、前記画像群に関する複数の情報の各々を色相、明度、彩度のいずれかに割り当てて代表色を合成することにより代表色を決定してもよい。【０４６８】
また、本発明は、複数の画像を所定の基準に従って１以上の画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、画像を縮小して縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段によって生成された縮小画像を配置して表示する縮小画像配置手段と、閲覧の対象である画像を示す閲覧範囲を設定する閲覧範囲設定手段と、前記閲覧範囲設定手段によって設定された前記閲覧範囲に応じて、前記代表色配置手段による表示と前記縮小画像配置手段による表示とを切り換える閲覧モード切換手段とを備えることを特徴とする。【０４６９】
ここで、前記閲覧モード切換手段は、前記閲覧範囲設定手段で設定された閲覧範囲に含まれる画像数が所定の枚数以内か否かに応じて、前記代表色配置手段による表示と前記縮小画像配置手段による表示とを切り換えてもよい。【０４７０】
ここで、前記閲覧モード切換手段は、前記閲覧範囲設定手段で設定された閲覧範囲に含まれる画像の撮影日時が所定の長さの期間内に含まれるか否かに応じて、前記代表色配置手段による表示と前記縮小画像配置手段による表示とを切り換えてもよい。【０４７１】
以上のように、本発明の画像閲覧装置及び方法によれば、限られた大きさの表示領域において効率的に大量の画像の内容を俯瞰的に把握することが可能となる。
５．その他の変形例
以上、本発明の画像閲覧装置の実施の形態についていくつかの例を挙げて説明したが、具体的な実施の形態はここで述べたものには限定されず、その他の実施の形態であっても、本発明の適用対象である。【０４７２】
以下のような場合も本発明に含まれる。【０４７３】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレィユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。つまり、前記マイクロプロセッサは、前記コンピュータプログラムに含まれる各命令を１個ずつ読み出し、読み出した命令を解読し、解読結果に従って動作する。【０４７４】
（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。【０４７５】
また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。また、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。【０４７６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。【０４７７】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。【０４７８】
（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。【０４７９】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。【０４８０】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。【０４８１】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。【０４８２】
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。【０４８３】
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。【０４８４】
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０４８５】
本発明に係る画像閲覧装置は、大量の画像の内容を色によって表現して提示する機能を有する画像閲覧装置として有用である。
【図１】
2008117526.tif 000003
【図２】
2008117526.tif 000004
【図３】
2008117526.tif 000005
【図４】
2008117526.tif 000006
【図５】
2008117526.tif 000007
【図６】
2008117526.tif 000008
【図７】
2008117526.tif 000009
【図８】
2008117526.tif 000010
【図９】
2008117526.tif 000011
【図１０】
2008117526.tif 000012
【図１１】
2008117526.tif 000013
【図１２】
2008117526.tif 000014
【図１３】
2008117526.tif 000015
【図１４】
2008117526.tif 000016
【図１５】
2008117526.tif 000017
【図１６】
2008117526.tif 000018
【図１７】
2008117526.tif 000019
【図１８】
2008117526.tif 000020
【図１９】
2008117526.tif 000021
【図２０】
2008117526.tif 000022
【図２１】
2008117526.tif 000023
【図２２】
2008117526.tif 000024
【図２３】
2008117526.tif 000025
【図２４】
2008117526.tif 000026
【図２５】
2008117526.tif 000027
【図２６】
2008117526.tif 000028
【図２７】
2008117526.tif 000029
【図２８】
2008117526.tif 000030
【図２９】
2008117526.tif 000031
【図３０】
2008117526.tif 000032
【図３１】
2008117526.tif 000033
【図３２】
2008117526.tif 000034
【図３３】
2008117526.tif 000035
【図３４】
2008117526.tif 000036
【図３５】
2008117526.tif 000037
【図３６】
2008117526.tif 000038
【図３７】
2008117526.tif 000039
【図３８】
2008117526.tif 000040
【図３９】
2008117526.tif 000041
【図４０】
2008117526.tif 000042
【図４１】
2008117526.tif 000043
【図４２】
2008117526.tif 000044
【図４３】
2008117526.tif 000045
【手続補正書】
【提出日】平成21年9月15日(2009.9.15)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大量の画像の内容を一覧して把握することが可能な画像閲覧装置及び方法に関する。
【背景技術】
【０００２】
デジタルカメラやカメラ付き携帯電話が広く普及することに伴い、デジタル画像が数多く撮影されるようになってきている。また、デジタル画像を保存するための記録媒体の大容量化も進んでいる。これにより、大量の画像を記録して保存されるようになってきている。
さらに近年は、身に付けて撮影可能なウェアラブル・カメラを用いて、個人の体験を画像や映像として記録し活用するという研究が行われている。このようなカメラを使って例えば１分に１枚などの一定間隔で画像を撮影し続けると、記録される画像数は膨大なものになる。
【０００３】
また、従来から多数の画像を一覧して閲覧するための手法として、サムネイル画像を一覧表示する方法（サムネイル表示）が広く行われている。さらにサムネイル表示を発展させた機能を有する装置も提案されている（特許文献１参照）。
特許文献１により開示されたこの装置では、サムネイル画像の一覧と共に時間軸が表示され、この時間軸上で範囲指定することにより該当期間内の画像だけがサムネイル画像として一覧表示される。また、時間軸上に設けた画像数に応じた区切りで特定される区画に対して、区画に属する画像の代表色が付される。これにより当該区画が他の区画と視覚的に判別しやすくなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２４４０５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述のように大量の画像が記録して保存されるようになると、従来の画像閲覧技術ではこれらの大量の画像の内容を一度に把握するには問題が発生する。
サムネイル表示を用いる場合に、大量の画像を一度に閲覧しようとすると、全ての画像を限られた大きさの表示領域中に収めるために、サムネイル画像のサイズを極めて小さくしなければならず、結果として画像の内容が把握できなくなる。逆に、サムネイル画像のサイズを内容が把握できる程度にすると全ての画像が表示領域中に収まらず、全体の一覧性が低下してしまう。
【０００６】
特許文献１のように範囲指定することで表示される画像数を絞ることも考えられるが、上述のウェアラブル・カメラにより一定間隔で撮影し続ける場合のように一定期間中に撮影される画像数が膨大になると、同じ問題が起こる。
また、特許文献１のように時間軸上に設けた画像数に応じた区切りで特定される区画に対して、区画に属する画像の代表色を付すことによって、時間軸全体の画像の内容を把握しやすくなる効果はある。しかしながら、代表色が時間軸上に一列に並んでおり、また、区画が画像数に応じて区切られているため、例えば一年毎といった時期毎の変化の把握が困難である。さらに、代表色表示は画像のおおよその内容を把握しやすくする効果がある一方で、多数の画像を単色で代表させることにより情報が欠落する可能性もあり、１色の代表色を単純に時間軸上に表示するだけでは表現できる情報量に限界がある。
【０００７】
本発明は、上記の課題を解決するものであり、効率的に大量の画像の内容を一覧して把握することが可能な画像閲覧装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る画像閲覧装置は、複数の撮影された画像を取得する画像取得手段と、同一の期間内に撮影された画像が同一の画像群に属するように、取得した前記複数の画像を、各画像の撮影時を基に複数の期間に分類して、複数個の画像群を生成する画像分類手段と、前記画像群毎に当該画像群を代表する１又は複数の代表色を抽出する色抽出手段と、抽出された前記代表色を、閲覧画面上において、当該代表色に対応する期間により定まる位置に配置する色配置手段と、前記代表色が配置された前記閲覧画面を表示する画面表示手段とを備えることを特徴とする。
【発明の効果】
【０００９】
この構成によると、画像が撮影された撮影日時により複数の画像を所定の期間毎に分類してこの期間に対応させて前記代表色を配置することにより、例えば年毎などの時期毎の変化を一覧して把握することが容易になるという効果を奏する。
ここで、前記閲覧画面は、第１軸及び第２軸により構成される座標平面を有し、第１軸は、所定の第１時間単位による時間の経過に対応し、第２軸は、第１時間単位を細分化して得られる第２時間単位による時間の経過に対応し、前記色配置手段は、前記座標平面上において、当該代表色に対応する期間が属する第１時間単位に対応する領域内であって、当該期間が属する第２時間単位に対応する位置に当該代表色を配置してもよい。
【００１０】
この構成によると、第１軸及び第２軸により構成される座標平面上で、当該代表色が２次元に配置されるので、より一層、時期毎の変化を一覧して把握することが容易になるという効果を奏する。
ここで、前記画像取得手段により取得される各画像には、当該画像が日常的な状況で撮影されたか、又は非日常的な状況で撮影されたかが設定されており、前記色抽出手段は、前記画像群に含まれる画像のうち、日常的な状況で撮影されたと設定された画像及び非日常的な状況で撮影されたと設定された画像のいずれか一方又は両方を対象として前記代表色を抽出してもよい。
【００１１】
この構成によると、画像が撮影された状況が日常的か非日常的かを画像に設定し、いずれか一方に設定された画像を対象として代表色を抽出することにより、普段の傾向や特別な場合の内容を俯瞰的に把握しやすくなる。
ここで、前記色抽出手段は、非日常的な状況で撮影されたと設定された画像のみを対象として前記代表色を抽出してもよい。
【００１２】
この構成によると、画像が撮影された状況が日常的か非日常的かを画像に設定し、非日常に設定された画像を対象として代表色を抽出することにより、特別な場合の内容を俯瞰的に把握しやすくなる。
ここで、前記色抽出手段は、前記代表色として、日常的な状況で撮影されたと設定された画像を対象とする第一の代表色と、非日常的な状況で撮影されたと設定された画像を対象とする第二の代表色とを抽出し、前記色配置手段は、前記位置において、前記第一の代表色と前記第二の代表色とを塗り分けて配置してもよい。
【００１３】
この構成によると、第一の代表色と第二の代表色とを塗り分けて表示するので、普段の場合と特別な場合とを区別して把握しやすくなる。
ここで、前記色抽出手段は、前記代表色として、日常的な状況で撮影されたと設定された画像を対象とする第一の代表色と、非日常的な状況で撮影されたと設定された画像を対象とする第二の代表色とを抽出し、前記色配置手段は、前記位置において、前記第一の代表色と前記第二の代表色とを切り換えて配置してもよい。
【００１４】
この構成によると、第一の代表色と第二の代表色とを切り換えて表示するので、普段の場合と特別な場合とを区別して把握しやすくなる。
ここで、前記色抽出手段は、各画像を整理して表示する複数の方法をそれぞれ示す複数の表示モードのいずれか一を記憶している記憶部と、前記表示モードに応じて代表色の決定方式を切り換える切換部と、前記切換部により切り換えて、設定された決定方式に従って、前記画像群毎に当該画像群を代表する前記代表色を抽出する抽出部を含むとしてもよい。
【００１５】
この構成によると、画像の表示モードの切り換えに応じて代表色の決定方式を切り換えることによって、閲覧状態に応じたより適切な代表色を提示することができるようになる。
ここで、前記各画像を整理して表示する複数の方法のうちの一は、時間軸で画像を整理して表示する方法であり、他の一は、画像に関連付けられた付加情報で画像を整理して表示する方法であり、前記記憶部は、時間軸で画像を整理して表示する第１表示モード及び画像に関連付けられた付加情報で画像を整理して表示する第２表示モードのいずれか一を記憶しており、切換部は、第１表示モードの場合には、画像群に含まれる画像に最も多く関連付けられている付加情報に対応する色を代表色とする決定方式に切り換え、第２表示モードの場合には、画像群に含まれる画像の中で最も主要な色を代表色とする決定方式に切り換え、前記抽出部は、付加情報に対応する色を代表色とする決定方式又は主要な色を代表色とする決定方式により前記代表色を抽出してもよい。
【００１６】
この構成によると、時間軸で画像を整理して表示するモードと、画像に関連付けられた付加情報で画像を整理して表示するモードとを切り換えることによって、閲覧状態に応じたより適切な代表色を提示することができるようになる。
ここで、前記色抽出手段は、前記画像群に含まれ代表色抽出の対象となる画像の中で最も主要な色を前記代表色として抽出してもよい。
【００１７】
この構成によると、表示される代表色が対象画像の中で最も主要な色であるので、対象画像の把握が容易となる。
ここで、前記画像取得手段により取得される各画像には、付加情報が関連付けられており、前記画像閲覧装置は、さらに、付加情報と色とを対応付けて記憶する記憶手段を備え、前記色抽出手段は、前記画像群に含まれ代表色抽出の対象となる画像の中で、最も多く関連付けられた付加情報に対応付けられた色を前記代表色として抽出してもよい。
【００１８】
この構成によると、前記画像群に含まれる代表色抽出の対象とする画像に最も多く関連付けられた付加情報に対応付けられた色を前記代表色として抽出するので、対象画像の把握が容易となる。
ここで、前記色抽出手段は、複数の条件に対応して、それぞれ複数の色を前記代表色として抽出し、前記色配置手段は、前記複数の代表色を塗り分けて配置してもよい。
【００１９】
この構成によると、複数の条件に対応する複数の色を代表色として抽出し、複数の代表色を塗り分けて表示することにより、多数の画像を色で代表させながらも、単純に一つの情報を単色で表示する場合に比べてより多くの情報を提示することができる。
ここで、前記色配置手段は、前記画像群に含まれる画像のうち、前記複数の条件にそれぞれ合致する画像数の比率に応じて、前記位置において、前記複数の代表色を塗り分けて配置してもよい。また、前記色配置手段は、前記複数の代表色のうちの第１の代表色から徐々に変化して第２の代表色となるように、塗り分けて配置し、かつ、前記画像群に含まれる画像のうち前記複数の条件にそれぞれ合致する画像の分布に応じて塗り分けの変化の緩急を調整してもよい。さらに、前記色配置手段は、前記画像群に含まれる画像のうち前記複数の条件にそれぞれ合致する画像の分布に応じて前記複数の代表色の塗り分けのパターンを変化させてもよい。
【００２０】
ここで、前記色抽出手段は、複数の条件にそれぞれ対応する複数の色を代表色として抽出し、前記色配置手段は、前記複数の代表色を切り換えて配置してもよい。
この構成によると、複数の条件に対応する複数の色を代表色として抽出し、複数の代表色を切り換えて表示することにより、多数の画像を色で代表させながらも、単純に一つの情報を単色で表示する場合に比べてより多くの情報を提示することができる。
【００２１】
ここで、前記色配置手段は、前記画像群に含まれる画像のうち、前記複数の条件にそれぞれ合致する画像の分布に応じて、前記複数の代表色の切換えのパターンを変化させてもよい。
ここで、前記色抽出手段は、前記画像群に関する複数の情報の各々を所定の表色系の異なる色成分に割り当てて、前記代表色を合成することにより、前記代表色を抽出してもよい。
【００２２】
この構成によると、複数の情報の各々を所定の表色系の異なる色成分に割り当てて代表色を合成して表示することにより、多数の画像を色で代表させながらも、単純に一つの情報を単色で表示する場合に比べて多くの情報を提示することができる。
ここで、前記所定の表色系は、色相、明度及び彩度からなる表色系であって、前記色抽出手段は、前記画像群に関する複数の情報の各々を色相、明度、彩度のいずれかに割り当てて代表色を合成することにより、前記代表色を抽出してもよい。
【００２３】
ここで、前記画像閲覧装置は、さらに、取得された複数の画像のそれぞれを縮小して縮小画像を生成する画像生成手段と、生成された前記縮小画像を閲覧画面に配置する画像配置手段と、閲覧の対象である画像の範囲を示す閲覧範囲を設定する範囲設定手段と、前記範囲設定手段によって設定された前記閲覧範囲を用いて、前記色配置手段による配置と前記画像配置手段による配置とを切り換える配置切換手段とを含み、前記画面表示手段は、前記配置切換手段により設定された配置による閲覧画面を表示してもよい。
【００２４】
この構成によると、閲覧の対象である画像の範囲に応じて代表色の表示と縮小画像の表示とを切り換えることにより、閲覧対象の画像量に応じたより適切な表示で画像を閲覧することができる。
ここで、前記配置切換手段は、前記範囲設定手段により設定された閲覧範囲に含まれる画像数が所定の枚数以内か否かに応じて、前記色配置手段による配置と前記画像配置手段による配置とを切り換えるとしてもよい。
【００２５】
前記配置切換手段は、前記範囲設定手段により設定された閲覧範囲に含まれる画像の撮影日時が所定の長さの期間内に含まれるか否かに応じて、前記色配置手段による配置と前記画像配置手段による配置とを切り換えるとしてもよい。
以上のように、本発明の画像閲覧装置及び方法によれば、限られた大きさの表示領域において効率的に大量の画像の内容を一覧して把握することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態１における画像閲覧装置１の構成図を示す。
【図２】（ａ）色対応管理部で管理されるタグと色との対応関係の一例としての色対応テーブルＡ３００を示す。
【００２７】
（ｂ）色対応管理部で管理されるタグと色との対応関係の一例としての色対応テーブルＢ３１０を示す。
【図３】縦軸に年、横軸に月を対応させて、代表色をレイアウトした場合の例を示す。
【図４】縦軸に週、横軸に曜日を対応させて、代表色をレイアウトした場合の例を示す。
【図５】画像を分類する期間及び縦軸と横軸に対応させる時間単位の組み合わせの例を示す。
【図６】時間軸で画像を整理する表示モードの画面表示の例を示す。
【００２８】
（ａ）一カ月ごとにまとめてサムネイル画像を表示するサムネイル一覧画面３５０を示す。
（ｂ）所定の期間を一ヵ月として１０年分を表示する代表色一覧画面３６０を示す。
【図７】画像に関連付けられたタグで画像を整理する表示モードの画面表示の例を示す。
【００２９】
（ａ）画像に関連付けられたタグごとにまとめてサムネイル画像を表示するサムネイル一覧画面３７０を示す。
（ｂ）画像に関連付けられたタグごとにまとめて１年分を表示する代表色一覧画面３８０を示す。
【図８】代表色の塗り分けの例を示す。
【００３０】
（ａ）被写体代表色及び背景代表色を被写体代表色領域３９２の内と外に塗り分けてレイアウトする例を示す。
（ｂ）日常と設定された画像を対象とした代表色と、非日常と設定された画像を対象とした代表色とを塗り分けてレイアウトする例を示す。
（ｃ）非日常と設定された画像を対象とした代表色を分散してレイアウトする例を示す。
【００３１】
（ｄ）非日常と設定された画像を対象とした代表色を集中してレイアウトする例を示す。
【図９】本発明の実施の形態２における画像閲覧装置２の構成図を示す。
【図１０】本発明の実施の形態３における画像閲覧システム６の構成図を示す。
【図１１】記憶部５２に記憶されている複数の画像ファイル６１、６２、６３、・・・、６４のデータ構造の一例を示す。
【図１２】記憶部５２に記憶されている分類キーの６種類を示す。
【図１３】記憶部５２に記憶されている軸情報の一例を示す。
【図１４】記憶部５２に記憶されている動作パターンの一例を示す。
【図１５】記憶部５２に記憶されている閲覧範囲情報の一例を示す。
【図１６】記憶部５２に記憶されている表示モードの一例を示す。
【図１７】記憶部５２に記憶されている塗り分けタイプの一例を示す。
【図１８】記憶部５２に記憶されている閲覧モードの一例を示す。
【図１９】分類テーブルのデータ構造の一例を示す。
【図２０】分類テーブルの一例としての分類テーブルＡ４９０のデータ構造を示す。
【図２１】分類テーブルの一例としての分類テーブルＢ５００のデータ構造を示す。
【図２２】色テーブルのデータ構造の一例を示す。
【図２３】色テーブルの一例としての色テーブルＡ５１０のデータ構造を示す。
【図２４】色テーブルの一例としての色テーブルＢ５２０のデータ構造を示す。
【図２５】色テーブルの一例としての色テーブルＣ５３０のデータ構造を示す。
【図２６】色テーブルの一例としての色テーブルＤ５４０のデータ構造を示す。
【図２７】代表色一覧画面３３０において、図８（ｂ）に示す塗り分け方法を適用した場合の一覧画面５５０を示す。
【図２８】代表色一覧画面３２０において、図８（ａ）に示す塗り分け方法を適用した場合の一覧画面５６０を示す。
【図２９】代表色一覧画面３２０において、図８（ｃ）〜（ｄ）に示す塗り分け方法を適用した場合の一覧画面５７０を示す。
【図３０】代表色の塗り分けの例を示す。
【００３２】
（ａ）日常と設定された画像を対象とした代表色と、非日常と設定された画像を対象とした代表色とを塗り分けてレイアウトする場合に、第１の代表色から第２の代表色へ、グラデーション（gradation）により徐々に変化させて塗り分ける例を示す。
（ｂ）日常と設定された画像を対象とした代表色から、非日常と設定された画像を対象とした代表色へ、グラデーションにより徐々に変化させて塗り分ける場合に、グラデーション部分の大きさを、日常的な状況の画像と非日常的な状況の画像の変化の緩急の程度に応じて変化させる例を示す。
【００３３】
（ｃ）被写体代表色と、背景代表色とを塗り分けてレイアウトする場合に、第１の代表色から第２の代表色へ、グラデーションにより徐々に変化させて塗り分ける例を示す。
（ｄ）被写体代表色から、背景代表色へ、グラデーションにより徐々に変化させて塗り分ける場合に、グラデーション部分の大きさを変化させる例を示す。
【図３１】画像閲覧装置４の全体の動作を示すフローチャートである。
【図３２】設定処理の動作を示すフローチャートである。
【図３３】閲覧モードの選択処理を示すフローチャートである。
【図３４】画像ファイルの分類の動作を示すフローチャートである。
【図３５】代表色の抽出の動作を示すフローチャートである。
【図３６】画像データからの代表色の抽出の動作を示すフローチャートである。
【図３７】タグからの代表色の決定の動作を示すフローチャートである。
【図３８】非日常の画像データからの代表色の抽出の動作を示すフローチャートである。
【図３９】日常／非日常ごとに画像データから代表色を抽出する動作を示すフローチャートである。
【図４０】被写体／背景ごとに画像データから代表色を抽出する動作を示すフローチャートである。
【図４１】代表色の配置の動作を示すフローチャートである。図４２へ続く。
【図４２】代表色の配置の動作を示すフローチャートである。図４１から続く。
【図４３】代表色の塗り分けの動作を示すフローチャートである。
【発明を実施するための形態】
【００３４】
以下本発明の実施の形態について、図面を参照しながら説明する。
１．実施の形態１
（１）画像閲覧装置１の構成
本発明の実施の形態１における画像閲覧装置１の構成を図１に示す。
画像閲覧装置１は、図１に示すように、画像分類部１０、代表色抽出部１１、代表色配置部１２、撮影日時取得部１３、日常非日常設定部１４、表示モード管理部１５及び代表色切換部１６からなる。この装置は、例えば、携帯型の情報端末装置である。
【００３５】
画像閲覧装置１は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、液晶ディスプレィユニット、キーボードなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、画像閲覧装置１は、その機能を達成する。
（２）画像閲覧装置１の基本的な動作
画像閲覧装置１の基本的な動作は、以下の通りである。
【００３６】
画像閲覧装置１は、複数の画像ファイルを記録装置から読み出し、まず画像分類部１０は、読み出した複数の画像ファイルを所定の基準に従って１個又は複数個の画像群に分類する。次いで、代表色抽出部１１は、画像分類部１０によって得られた画像群毎に、当該画像群の特徴を表す代表色を抽出し、代表色配置部１２は、これらの各代表色をレイアウトし表示する。
【００３７】
ここで、代表色抽出部１１は、代表色を決定するため、画像群に含まれる画像で最も主要な色、すなわち画像中で最も広い面積を占めている色を代表色とする。より具体的には、画像群に含まれる全画像を一まとめにして最も広い面積を占める色を決定する。また、まず、画像群に含まれる全ての画像について画像単位で主要色を決定し、その後、画像群に含まれる全ての画像について、色毎に当該色を主要色とする画像数を計数し、こうして計数された色毎の画像数のうち、最も多く計数された画像数に対応する色を画像群全体の主要色としてもよい。なお、主要色の決定方法はこれらに限定されるものではない。
（３）タグの利用
画像閲覧装置１は、他の代表色の決定方式として、画像に関連付けられているタグ（付加情報）を利用する方法を用いるとしてもよい。例えば、Ｅｘｉｆ（Exchangeable Image File Format）形式の画像ファイルに埋め込まれている情報をタグとして使用してもよいし、また、画像ファイルとは別のデータベースで管理されている情報をタグとして使用してもよい。
【００３８】
この場合、画像閲覧装置１は、さらに、タグと色とを対応づけて管理する色対応管理部（図１では省略）を備え、代表色抽出部１１は、画像群に含まれる画像に最も多く関連付けられているタグに対応する色を画像群の代表色としてもよい。具体的には、代表色抽出部１１は、画像群に含まれる全ての画像について、画像に関連付けられているタグの内容毎に画像の数を計数し、こうして計数されたタグの内容毎の画像の数のうち、最も多く計数された画像の数に対応するタグの内容を決定し、決定したタグの内容に対応する色を、当該画像群の代表色としてもよい。
【００３９】
色対応管理部により管理されているタグと色との対応関係の一例を図２に示す。色対応管理部は、一例として、図２（ａ）に示す色対応テーブルＡ３００又は図２（ｂ）に示す色対応テーブルＢ３１０を有している。
図２（ａ）のように、実物とその実物から連想できる色とにより、タグと色との対応関係を定めてもよいし、図２（ｂ）のように、実物に関係なく、タグと色との対応関係を定めてもよい。
【００４０】
図２（ａ）に示す色対応テーブルＡ３００では、画像のタグ３０１として「海」と色３０２「青」とを対応付け、「山」と色「緑」とを対応付け、「空」と色「水色」とを対応付け、「夜景」と色「黒」とを対応付け、「屋内」と色「橙」とを対応付けている。また、図２（ｂ）に示す色対応テーブルＢ３１０では、画像のタグ３１１として「自分」と色３１２「青」とを対応付け、「父」と色「黒」とを対応付け、「母」と色「赤」とを対応付け、「ペット」と色「黄」とを対応付け、「車」と色「緑」とを対応付けている。
【００４１】
なお、タグと色との対応の管理方法は、ここで述べたものに限定されるものではない。
（４）撮影日時による複数の画像の分類
本発明の画像閲覧装置１において、画像ファイルに埋め込まれている撮影日時情報によって、又は画像ファイルに関連付けて記録されている撮影日時情報によって、複数の画像を分類し、代表色を抽出し表示する場合について説明する。ここで、撮影日時情報としては、例えばＥｘｉｆ形式の画像ファイルに埋め込まれている情報が使用できる。
【００４２】
まず、撮影日時取得部１３は、各画像の撮影日時（年月日時分秒）を取得し、取得された撮影日時に応じて、画像分類部１０は、複数の画像を所定の期間毎に複数の画像群に分類する。例えば、画像分類部１０は、撮影日時の情報のうちの年月毎に複数の画像を分類する。
次に、代表色抽出部１１は、期間毎に画像群の代表色を抽出し、代表色配置部１２は、これらの代表色を前記の期間に対応させてレイアウトし表示する。このとき、縦軸及び横軸を、それぞれ、上位の時間単位及び下位の時間単位に対応させて代表色を２次元にレイアウトしてもよい。ここで、例えば、上位の時間単位は、年であり、下位の時間単位は、月である。別の例では、上位の時間単位は、年月であり、下位の時間単位は、日である。また、例えば、縦軸に複数の年をその経過の順に割り当て、横軸にその年の１２カ月をその経過の順に割り当てることにより、各月の代表色を２次元にレイアウトしてもよい。ここで、各代表色の配置の対象となる部分を表示単位領域と呼ぶ。下位の時間単位は、上位の時間単位をさらに細分化したものである。
【００４３】
また、例えば、横軸に複数の年をその経過の順に割り当て、縦軸にその年の１２カ月をその経過の順に割り当てるとしてもよい。
以上を言い換えると、代表色が配置される閲覧画面は、第１軸及び第２軸により構成される座標平面を有する。第１軸は、第１時間単位による時間の経過に対応し、第２軸は、第１時間単位を細分化して得られる第２時間単位による時間の経過に対応する。
【００４４】
代表色配置部１２は、前記座標平面上において、当該代表色に対応する期間が属する第１時間単位に対応する領域内であって、当該代表色に対応する期間が属する第１時間単位内の第２時間単位に対応する位置に当該代表色を配置する
ここで、第１軸は、前記縦軸又は前記横軸であり、第２軸は、前記横軸又は前記縦軸である。また、第１時間単位は、前記上位の時間単位であり、第２時間単位は、前記下位の時間単位である。
【００４５】
図３及び図４に、撮影日時に応じて所定の期間毎に画像を分類して代表色を抽出し、縦軸及び横軸をそれぞれ上位の時間単位及び下位の時間単位に対応させ、代表色を２次元にレイアウトする例を示す。なお各図において、各表示単位領域における塗り潰しパターンは、便宜上、それぞれの代表色を表しているものとする。
図３は、複数の画像を１ヵ月毎の画像群に分類し、各画像群から代表色を抽出し、縦軸を年、横軸を月に対応させ、抽出された代表色をレイアウトした場合の例を示す。
【００４６】
また、図４は、複数の画像を１日毎の画像群に分類し、各画像群から代表色を抽出し、縦軸を週、横軸を曜日に対応させ、各日付及び抽出された代表色をレイアウトした場合の例である。このようにカレンダー様に表示することも可能である。
図３の例では、１０年間に撮影された画像の内容の傾向を代表色によって一度に一覧できている。仮に１ヵ月に５００枚の割合で撮影するなら、１０年では画像数は６万枚に達する。６万枚の画像が存在する場合に、サムネイル表示では到底一度にこれらの画像を表示することはできない。しかし、本発明の画像閲覧装置１では、一度にその傾向を把握することが可能となる。
【００４７】
図３の例では、さらに縦軸を年、横軸を月に対応させて表示しているので、縦方向に代表色を見比べることで年毎の変化を一度に把握することが可能である。
また、ウェアラブル・カメラにより一定間隔で撮影し続ける場合は、短い期間で大量の画像が蓄積される。この場合であっても、本発明の画像閲覧装置１では、図４に示す例のように効率的に期間中の画像の内容の傾向を一覧して把握できる。
【００４８】
画像を分類する期間及び縦軸と横軸に対応させる時間単位には、上記で挙げた他にも図５に示すように様々な組み合わせが考えられる。これらの組み合わせを画像閲覧装置１において適用できる。ここで、画像を分類する期間とは、撮影日時を用いて画像を分類するときに用いる分類キーとなる最小の単位時間である。この最小の単位時間に含まれる撮影日時に対応する全ての画像は、同一のグループ、つまり同一の画像群に分類されることを示している。
【００４９】
図５に示すように、画像を分類する期間を「月」とし、縦軸の時間単位として「年」、横軸の時間単位として「月」としてもよい。また、画像を分類する期間を「週」とし、縦軸の時間単位として「年」、横軸の時間単位として「週」としてもよい。また、画像を分類する期間を「日」とし、縦軸の時間単位として「月」、横軸の時間単位として「日」としてもよい。また、画像を分類する期間を「日」とし、縦軸の時間単位として「週」、横軸の時間単位として「曜日」としてもよい。また、画像を分類する期間を「時間」（１時間）とし、縦軸の時間単位として「日」、横軸の時間単位として「時間」としてもよい。しかし、これらに限定されるものではない。
（５）日常及び非日常の区別
次に、本発明の画像閲覧装置１において、画像が撮影された状況が日常的か非日常的かの区別を各画像に設定し、日常又は非日常のいずれか一方の画像を対象として代表色を抽出する場合について説明する。ここで、日常的の一例は、通勤、通学中などであり、非日常的の一例は、旅行中などである。
【００５０】
まず、日常非日常設定部１４は、画像が通勤・通学中など日常的な状況で撮影されたのか、旅行中など非日常的な状況で撮影されたのかを示す区別を、ユーザの操作により、各画像に設定する。なお、ユーザの操作により、画像毎に当該区別を設定するのではなく、例えば、撮影日が平日、つまり、月曜日から金曜日までである場合に、日常非日常設定部１４は、日常を示す区別を画像に設定し、撮影日が休日、つまり、土曜日、日曜、祝祭日である場合に、日常非日常設定部１４は、非日常を示す区別を画像に設定するとしてもよい。
【００５１】
次に、代表色抽出部１１は、各画像群に含まれる画像のうち日常的と設定された画像か非日常的と設定された画像か、いずれか一方を対象として代表色を抽出する。
このとき、代表色抽出部１１と代表色配置部１２の動作は、いくつかのパターンに分類できる。以下、各パターンについて説明する。
（ａ）第１の動作パターンでは、代表色抽出部１１は、非日常と設定された画像を対象とした代表色のみを抽出する。次に、代表色配置部１２は、この非日常と設定された画像から抽出された代表色をレイアウトして表示する。
【００５２】
これにより、非日常的な状況で撮影された特別な場合の画像だけの代表色によって、より効果的に画像群の傾向を一覧して把握することができる。
特に、ウェアラブル・カメラにより一定間隔で撮影し続ける場合に、日常的な状況で撮影される画像が大量になり、非日常的な状況で撮影された画像が枚数的に全画像の中に埋もれてしまいがちなときに、有用である。
【００５３】
（ｂ）第２の動作パターンでは、代表色抽出部１１は、日常と設定された画像を対象とした代表色と、非日常と設定された画像を対象とした代表色の両方を抽出する。次に、代表色配置部１２は、１個の表示単位領域にこれらの二つの代表色を塗り分けてレイアウトし、表示する。
（ｃ）第３の動作パターンでは、代表色抽出部１１は、日常と設定された画像を対象とした代表色と、非日常と設定された画像を対象とした代表色の両方を抽出する。次に、代表色配置部１２は、ユーザの操作により、１個の表示単位領域にこれらの二つの代表色を切り換えて塗ることによりレイアウトし、表示する。
【００５４】
これら第２及び第３の動作パターンにより、日常的な状況で撮影された画像の代表色と非日常的な状況で撮影された画像の代表色を比較して閲覧することができ、普段の傾向と特別な場合の傾向とをより効率的に一覧により把握することができる。
さらに、日常と設定された画像数と非日常と設定された画像数の比率に合わせて二つの代表色を塗り分けるとしてもよい。このようにすると、特にウェアラブル・カメラにより一定間隔で撮影し続ける場合に、日常的な状況と非日常的な状況の割合をも同時に把握することが可能となる。
【００５５】
なお、以上の記述において、日常的か非日常的かを画像に設定する方法は限定されるものではなく、例えば人手で設定してもよいし、何らかの方法で自動判別してもよい。
また、画像ごとに日常的か非日常的かを設定するのではなく、分類された画像群ごとに設定してもよい。この場合には、画像群に含まれるすべての画像に対して、日常的か又は非日常的かを一律に設定するのと同等とみなすことができる。例えば、撮影日により画像を分類する場合に、土曜、日曜又は祝祭日として分類された画像群については、非日常と設定し、その他の画像群については、日常と設定してもよい。また、画像ファイルに、撮影日時に加えて、さらに、撮影場所を示す位置情報を付加しておき、画像を撮影日及び位置情報により分類し、土曜、日曜又は祝祭日及び特定の位置として分類された画像群については、非日常と設定し、その他の画像群については、日常と設定してもよい。特定の位置とは、例えば、アミューズメントパークや観光地の位置である。
【００５６】
また、非日常と設定された画像から代表色を抽出する場合に、画像群に非日常と設定された画像が含まれていなければ、非日常と設定された画像から代表色を抽出する代わりに、日常と設定された画像から代表色を抽出するような処理を追加してもよい。このとき、その旨を合わせて表示してもよい。
（６）表示モードの切換え
次に、本発明の画像閲覧装置１において、表示モードの切換えに応じて代表色の決定方式を切り換える場合について説明する。
【００５７】
表示モード管理部１５は、画像をどのように整理して表示するかを示す表示モードの切換えを設定し管理する。表示モード及びその画面表示例については後述する。
表示モード管理部１５において表示モードが設定されると、代表色切換部１６は、設定された表示モードに応じて代表色の決定方式を切り換える。
次に、代表色切換部１６により切り換えて設定された代表色の決定方式に従って、代表色抽出部１１は、画像群の代表色を抽出する。
【００５８】
最後に、代表色配置部１２は、表示モードに応じたレイアウトで代表色を表示する。
表示モードの一例として、時間軸で画像を整理する表示モード及び画像に関連付けられたタグ（付加情報）で整理する表示モードがある。その他にもユーザが設定した画像の重要度（気に入り度）で整理する表示モードなどがある。以下前述の二つの表示モードの場合に絞って述べる。
【００５９】
時間軸で画像を整理する表示モードには、具体的には、対象画像を限定せずに撮影日時の順に並べて表示するモードや、所定の撮影期間ごとにまとめて表示するモードがある。
図６（ｂ）に所定の期間を一ヵ月として１０年分を表示する場合の画面表示の例として、代表色一覧画面３６０を示す。図６（ｂ）に示す代表色一覧画面３６０は、図３に示す代表色一覧画面と同じものであるが、撮影日時により一カ月ごとに画像をまとめ、一つの画像群とし、各画像群から抽出した代表色を並べて表示しているとみることができる。
【００６０】
なお、図６（ａ）は、一カ月ごとにまとめてサムネイル画像を表示した場合の画面表示の一例として、サムネイル一覧画面３５０を示している（実施の形態２で詳述）。
また、画像に関連付けられたタグで整理する表示モードには、具体的には、対象画像を限定せずに画像に関連付けられたタグごとにまとめて表示するモードや、特定のタグが関連付けられた画像のみを対象に代表色を表示するモードがある。
【００６１】
図７（ｂ）に画像に関連付けられたタグごとにまとめて１年分を表示する場合の画面表示の一例として、代表色一覧画面３８０を示す。代表色一覧画面３８０では、縦軸方向にタグの種類を表し、タグごとに一ヵ月ごとの代表色が横軸方向に表示されている。ここでは、画像を分類する期間を「月」とし、縦軸の時間単位としてタグの種類、横軸の時間単位として「月」としている。
【００６２】
なお、図７（ａ）には画像に関連付けられたタグごとにまとめてサムネイル画像を表示した場合の画面表示の一例として、サムネイル一覧画面３７０を示す（実施の形態２で詳述）。
また、特定のタグが関連付けられた画像のみを対象として、代表色を表示する場合には、特定のタグが関連付けられた画像のみから抽出された色を代表色とするとよい。この場合、画面表示は、図７（ｂ）に示す代表色一覧画面３８０と同様となる。
【００６３】
時間軸で画像を整理する表示モードの場合、代表色の決定方式としては、画像群に含まれる画像の中で最も主要な色を代表色とする方法、及び、画像群に含まれる画像に最も多く関連付けられているタグに対応する色を代表色とする方法の両方が可能である。なかでも、後者は、タグと代表色とが直接的に対応しているので、代表色から画像の内容を把握しやすく、より適していると言える。
【００６４】
一方、画像に関連付けられたタグで整理する表示モードの場合、画像群に含まれる画像に最も多く関連付けられているタグに対応する色を代表色とする方法を用いると、同じタグには同じ代表色が対応するため、全ての代表色が同じになり、適切でない。よって、この表示モードの場合には、画像群に含まれる画像で最も主要な色を代表色とする方法を使用すべきである。
【００６５】
以上のことから、表示モード管理部１５において時間軸で画像を整理する表示モードに設定された場合には、代表色切換部１６において画像群に含まれる画像に最も多く関連付けられているタグに対応する色を代表色とする方式に切り換え、表示モード管理部１５において画像に関連付けられたタグで整理する表示モードに設定された場合には、代表色切換部１６において画像群に含まれる画像で最も主要な色を代表色とする方式に切り換えるよう、代表色切換部１６を動作させるとよい。
（７）代表色の塗り分け及び代表色の切換え
次に、本発明の画像閲覧装置１において、複数の条件にそれぞれ対応する複数の色を代表色として抽出し、抽出した複数の代表色を塗り分けて表示する場合、又は抽出した複数の代表色を切り換えて表示する場合について説明する。
【００６６】
ここで、条件の一例は、日常的な状況で撮影されたことであり、また他の条件の一例は、非日常的な状況で撮影されたことである。また、複数の条件に対応する複数の色について、色の一例は、日常的な状況で撮影されたという条件を満たす画像から抽出した色であり、他の色の一例は、非日常的な状況で撮影されたという条件を満たす画像から抽出した色である。
【００６７】
代表色抽出部１１は、分類された各画像群について、複数の条件にそれぞれ対応する複数の色を代表色として抽出する。
次に、代表色配置部１２は、抽出された複数の代表色を塗り分けて配置し、又は切り換えて配置し、これらの代表色が表示される。
実施可能な複数の条件、代表色の塗り分け方及び切り換え方の例を以下で説明する。ただし、以下に挙げるものに限定されるものではない。
【００６８】
（ａ）一つ目の例として、画像の被写体画像領域の代表色と背景画像領域の代表色とを塗り分けて表示することができる。
ここで、被写体画像領域とは、１枚の画像において、主たる被写体、例えば、人物が表示されている領域を言う。また、背景画像領域とは、被写体画像領域とは、１枚の画像において、被写体画像領域を除く領域を言う。
【００６９】
まず、画像閲覧装置１は、各画像から人物や物などの被写体を表す部分画像を抽出し、抽出したその被写体を表す部分画像から構成される領域に対し、記録装置において被写体画像領域を設定する。被写体画像領域以外の領域を背景画像領域として設定する。画像閲覧装置１は、被写体画像領域を人手で設定するとしてもよいし、何らかの手法で自動設定するとしてもよい。
【００７０】
次いで、代表色抽出部１１は、各画像群について、画像群に含まれる複数の画像にそれぞれ設定された複数の被写体画像領域から最も主要な色を代表色の一つとして抽出する。こうして抽出される代表色を被写体代表色と呼ぶ。また、各画像群について、画像群に含まれる複数の画像にそれぞれ設定された複数の背景画像領域から最も主要な色をもう一つの代表色として抽出する。こうして抽出される代表色を背景代表色と呼ぶ。このようにして、各画像群から被写体代表色及び背景代表色が抽出される。
【００７１】
次に、代表色配置部１２は、各画像群の二つの代表色、つまり、被写体代表色及び背景代表色を図８（ａ）に示すように、被写体代表色領域３９２の内と外に塗り分けてレイアウトして表示する。
図８（ａ）は、一つの画像群に対する代表色の表示を表しており、画像群ごとに同様に並べて表示されることになる。これにより、画像群ごとにどのような背景の場所でどのような被写体を撮影したことが多かったのかを一覧して把握することができる。
【００７２】
なお、図８（ａ）では、被写体代表色領域３９２の内と外で、二つの代表色、つまり、被写体代表色及び背景代表色が明確に区切られて塗り分けているが、第１の代表色から第２の代表色へ、グラデーション（gradation）により徐々に変化させて塗り分けてもよい。
（ｂ）次に、二つ目の例として、上述したように、日常的な状況で撮影された画像から抽出した代表色と、非日常的な状況で撮影された画像から抽出した代表色を、１個の表示単位領域内において、塗り分けて表示することができる。
【００７３】
この場合、代表色抽出部１１は、各画像群について、日常と設定された画像を対象とした代表色と、非日常と設定された画像を対象とした代表色とを抽出する。
次に、代表色配置部１２は、各画像群から抽出された二つの代表色を、図８（ｂ）に示すように、塗り分けてレイアウトして表示する。
代表色配置部１２は、図８（ｂ）に示すように、表示単位領域４００において、二つの代表色がそれぞれ塗られる対象となる２個の領域４０１及び４０２の面積の比率を、日常的と設定された画像の枚数と非日常的と設定された画像の枚数の比率に応じて決定する。次に、表示単位領域４００において、決定された比率による面積を有する２個の領域４０１及び４０２を設定し、設定した２個の領域４０１及び４０２をそれぞれの代表色で塗り分ける。
【００７４】
これにより、例えば、画像分類部１０により、所定の期間ごとの画像群に分類されているとすると、上述したように、期間ごとに普段の傾向と特別な場合の内容を一覧して把握できると同時に、日常的な状況と非日常的な状況の割合をも容易に把握することが可能となる。
また、日常と設定された画像を対象とした代表色と非日常と設定された画像を対象とした代表色を塗り分ける際に、第１の代表色から第２の代表色へ、グラデーションで徐々に変化させてもよい。
【００７５】
この場合において、グラデーションの緩急により、つまり、第１の代表色から第２の代表色に緩やかに変化しているか、又は第１の代表色から第２の代表色に急激に変化しているかにより、さらに言い換えると、色の変化の程度により、日常的な状況と非日常的な状況の分布を表現してもよい。すなわち、日常的な状況と非日常的な状況が頻繁に入れ替わっているときほど、グラデーションを緩やかにして二つの条件が混ざり合っていることを表現する。一方、日常的な状況が長く続いた後に非日常的な状況が長く続くといったように入れ替わりが少ない場合ほど、グラデーションを急にして二つの条件が分離されていることを表現することができる。
【００７６】
さらに、図８（ｃ）及び図８（ｄ）に示すように、代表色の塗り分け方のパターンを変えることにより、日常的な状況と非日常的な状況の分布を表現することもできる。
すなわち、日常的な状況と非日常的な状況が頻繁に入れ替わっているときほど、図８（ｃ）のように、日常的と設定された画像の代表色の中に、非日常的と設定された画像の代表色を分散させてレイアウトして、二つの条件が混ざり合っていることを表現する。つまり、表示単位領域内４１０内に、５個の円形の領域４１２、・・・、４１６を配置し、各円形の領域４１２、・・・、４１６には、非日常的と設定された画像の代表色を塗る。背景の領域には、日常的と設定された画像の代表色を塗る。ここで、領域４１２、・・・、４１６を非日常領域と呼ぶ。
【００７７】
一方、日常的な状況が長く続いた後に非日常的な状況が長く続くといったように入れ替わりが少ない場合ほど、図８（ｄ）のように、日常的と設定された画像の代表色の中に非日常的と設定された画像の代表色を大きくまとめてレイアウトして、二つの条件が分離されていることを表現することができる。つまり、表示単位領域内４２０内に、１個の円形の領域４２２を配置し、円形の領域４２２には、非日常的と設定された画像の代表色を塗る。背景の領域には、日常的と設定された画像の代表色を塗る。
【００７８】
日常的な状況と非日常的な状況の頻繁な入れ替りは、次のようにして判断する。
例えば、１カ月の期間を想定し、この期間内において、１日おきに日常的な状況と非日常的な状況が入れ替るときは、入れ替わりの頻繁さの程度が高いし、この期間内において、１０日おきに日常的な状況と非日常的な状況が入れ替るときは、入れ替わりの頻繁さの程度が低い。
【００７９】
例えば、日常的な状況が継続して発生する日数（ｎ日とする）及び非日常的な状況が継続して発生する日数（ｎ日とする）が、想定する期間内（ｍ日とする）において、それぞれどのくらいの割合になるかにより、入れ替わりの頻繁さの程度を測ることができる。
ここで、入れ替わりの頻繁さの程度（Ｌ）を、例えば、５段階で評価し、このとき、ｍ≦２ｎなら、Ｌ＝１とし、２ｎ＜ｍ≦５ｎなら、Ｌ＝２とし、５ｎ＜ｍ≦１０ｎなら、Ｌ＝３とし、１０ｎ＜ｍ≦１５ｎなら、Ｌ＝４とし、ｍ＞１５ｎなら、Ｌ＝５としてもよい。
【００８０】
また、日常的な状況が継続して発生する日数及び非日常的な状況が継続して発生する日数が、想定する期間内において、何回入れ替わるかにより、入れ替わりの頻繁さの程度を測るとしてもよい。
ここで、入れ替わりの頻繁さの程度（Ｌ）を、例えば、５段階で評価し、このとき、期間内に１回以内、入れ替わりが発生するなら、Ｌ＝１とする。期間内に４回以内、入れ替わりが発生するなら、Ｌ＝２とする。期間内に９回以内、入れ替わりが発生するなら、Ｌ＝３とする。期間内に１４回以内、入れ替わりが発生するなら、Ｌ＝４とする。期間内に１５回以上、入れ替わりが発生するなら、Ｌ＝５としてもよい。
【００８１】
なお、塗り分けのパターンはここで示したものに限られず、複数の条件に合致する画像の分布を端的に表すことができれば、非日常領域の形、位置、大きさ、方向など、その他のパターンで表現してもよい。
例えば、非日常領域の形は、円形、楕円形、矩形、多角形、星型などであってもよい。また、複数の非日常領域を、表示単位領域内に行列状に配置し、表示単位領域内にランダムに配置し、表示単位領域の中央に集中して配置し、又は表示単位領域の一部分に集中して配置してもよい。また、非日常領域の大きさは、その面積が表示単位領域に対する面積比で、例えば、１％、２％、３％、４％、５％などであるとしてもよい。また、これらを組み合わせてもよい。
【００８２】
（ｃ）最後に三つ目の例として、画像に関連付けられたタグごとに代表色を抽出し、これら複数の代表色を切り換えて表示することができる。
この場合、画像群に含まれる画像に関連付けられているタグのそれぞれに対して、そのタグが関連付けられている画像のみを対象として、代表色抽出部１１は、画像の主要色を代表色として抽出する。
【００８３】
具体的には、代表色抽出部１１は、画像群に含まれる複数の画像のそれぞれにタグが関連付けられている場合において、タグ「山」が関連付けられている画像のみを対象に代表色抽出部１１は、当該画像群に含まれる複数の画像の主要色を代表色として抽出する。また、タグ「海」が関連付けられている画像のみを対象に代表色抽出部１１は、当該画像群に含まれる複数の画像の主要色を代表色として抽出する。また、タグ「空」が関連付けられている画像のみを対象に代表色抽出部１１は、当該画像群に含まれる複数の画像の主要色を代表色として抽出する。
【００８４】
このように、代表色抽出部１１は、タグの内容ごとに、そのタグの内容が関連付けられている画像のみを対象に代表色抽出部１１は、当該画像群に含まれる複数の画像の主要色を代表色として抽出する。こうして、タグの内容ごとに、代表色が抽出される。
次に、代表色配置部１２は、各タグの内容に対応する代表色を順に切り換えて表示する。
【００８５】
このとき、代表色の切り換えのパターンで画像に関連付けられた各タグの分布を表現することができる。
すなわち、対象の画像群に含まれる画像に対して関連付けられているタグの種類が多ければ短い時間間隔でタグを切り換え、タグの種類が少なければ長い時間間隔でタグを切り換える。
【００８６】
これにより、タグの種類の多寡、つまりは画像群に様々な対象（被写体）が写っているのかどうかを容易に把握することが可能となる。
（ｄ）以上で述べた他にも、塗り分け又は切り換えて表示する代表色に対応する複数の条件には、屋内で撮影されたか屋外で撮影されたか、ある地域での滞在中に撮影されたか地域から地域への移動中に撮影されたか、などが考えられる。なお、これらに限定されるものではない。
（８）表色系の利用
次に、本発明の画像閲覧装置１において、複数の画像に含まれる複数の情報又は画像に付されたタグにより示される複数の情報の各々を、所定の表色系の異なる色成分に割り当て色成分を生成し、生成した色成分を基にして代表色を合成して表示する場合について説明する。
【００８７】
この場合、代表色抽出部１１は、分類された各画像群に対して、複数の情報に対応する複数の代表色を生成する。ここで、各情報に対して代表色を生成する際に、所定の表色系の特定の色成分だけを使う。次に、代表色抽出部１１は、各情報に対して生成された代表色の色成分を合成して最終的に代表色を生成する。
以下、具体的な例を挙げて代表色抽出部１１の動作を説明する。ただし、ここに挙げる例に限定されるものではない。
【００８８】
（ａ）一つ目の例として、代表色抽出部１１は、HLS色空間を用いる。HLS色空間は、色相H (Hue)、明度L (Luminance)及び彩度 (Saturation)の３個の成分からなる色空間である。
代表色抽出部１１は、画像の主要色を色相及び彩度により表現し、日常的な状況か非日常的な状況かの度合いを明度で表現する。すなわち、画像群に含まれる画像から主要色を抽出し、抽出した主要色から色相と彩度とを抽出する。
【００８９】
次に、代表色抽出部１１は、画像群に含まれる画像のうち日常非日常設定部１４で非日常な状況で撮影されたと設定されている画像数の割合（全画像数に対する）を基にして、明度を算出する。この割合が大きいほど明度を高くする。この割合が小さいほど明度を低くする。例えば、非日常の前記割合が０％、１％、２％、・・・、１００％であるときに、それぞれ、明度を０％、１％、２％、・・・、１００％として算出する。
【００９０】
次に、代表色抽出部１１は、主要色から色相及び彩度並びに前記割合から算出した明度を組み合わせて最終的な代表色を得る。
こうすることで、画像の主要色によって画像群の内容を一覧して把握しながら、同時に日常的な状況と非日常的な状況の比率を容易に把握することができる。
（ｂ）二つ目の例として、代表色抽出部１１は、画像群に含まれる複数の画像の主要色を色相により表現し、画像群に含まれる複数の画像の主要色の一致度を彩度により表現し、画像群に含まれる画像数を明度により表現する。
【００９１】
すなわち、代表色抽出部１１は、画像群に含まれる複数の画像から１個の主要色を抽出し、抽出した主要色から色相を抽出する。
次に、代表色抽出部１１は、画像群に含まれる複数の画像のそれぞれから主要色を抽出する。色ごとに対応する画像の数を計数し、計数された数のうち最も多い数の全画像数に対する割合を算出する。算出した割合を用いて、彩度を算出する。例えば、算出した割合が０％、１％、２％、・・・、１００％であるときに、それぞれ、彩度を０％、１％、２％、・・・、１００％として算出する。このように、画像群における各画像の色の一致度を彩度に割り当て、主要色以外の色も画像中に多く含まれているなら彩度を低くし、画像のほとんどが主要色で占められているほど彩度を高くする。
【００９２】
さらに、代表色抽出部１１は、画像群に含まれる画像数を明度に割り当て、画像数が多いほど明度を高くする。例えば、記録装置に記憶されている全ての画像数に対する画像群に含まれる画像の数の割合を算出し、算出した割合が０％、１％、２％、・・・、１００％であるときに、それぞれ、明度を０％、１％、２％、・・・、１００％として算出する。
【００９３】
最後に、代表色抽出部１１は、求められた色相と彩度と明度を組み合わせて最終的な代表色を得る。
こうすることで、画像の主要色によって画像群の内容を一覧的に把握しながら、同時に主要色で表される内容以外も含まれているのか、及び、画像群にどれくらい数の画像が含まれているのかも容易に把握することができる。
【００９４】
以上二つの例はともに色相、明度、彩度からなる表色系を使ったが、その他の表色系でも構わない。ただし、色相、明度、彩度からなる表色系が、複数の情報の各々を色の明るさや鮮やかさといった意味に結び付けられる点で好適であると言える。
（ｃ）表色系には、三原色に対応したRGBを成分とするもの（RGBカラーモデル）、輝度及び色差を用いるもの、HLS色空間を用いるもの、HSV色空間(Hue、Saturation、Value)を用いるもの（HSVモデル）などがある。代表色抽出部１１は、これらの表色系を用いるとしてもよい。
【００９５】
（ＲＧＢカラーモデルを用いる場合）
ＲＧＢカラーモデルは、色の表現法の一種であり、赤（Red）、緑（Green）、青
（Blue）の三つの原色を混ぜて幅広い色を再現する。
ＲＧＢカラーモデルを用いる場合、代表色抽出部１１は、例えば、画像群に含まれる画像から主要色を抽出し、抽出した主要色から赤及び緑を抽出し、画像群に含まれる画像のうち日常非日常設定部１４で非日常な状況で撮影されたと設定されている画像数の割合（全画像数に対する）を基にして、青を決定する。こうして、抽出及び決定された赤、緑及び青を用いて最終的な代表色を得る。
【００９６】
ここで、画像が例えばＪＰＥＧの形式である場合に、画像群に含まれる画像から、ＲＧＢカラーモデルの赤及び緑を抽出するときに、後述するように、輝度及び色差からＲＧＢへの変換式を用いるとしてもよい。
（輝度及び色差を用いる場合）
輝度及び色差による方式は、明るさを表す成分Ｙ（輝度）と、二つの色信号（青と赤）と輝度信号の差分を表す成分Ｃｂ、Ｃｒ（色差）とにより表現するものである。
【００９７】
輝度及び色差による方式を用いる場合、代表色抽出部１１は、例えば、画像群に含まれる画像から主要色を抽出し、抽出した主要色から２個の式差成分Ｃｂ、Ｃｒを算出し、画像群に含まれる画像のうち日常非日常設定部１４で非日常な状況で撮影されたと設定されている画像数の割合（全画像数に対する）を基にして、輝度成分Ｙを決定する。こうして、求められた輝度成分Ｙ及び２個の式差成分Ｃｂ、Ｃｒを用いて最終的な代表色を得る。
【００９８】
（HSV色空間を用いる場合）
HSV色空間は、色相H(Hue)、彩度V(Value)及び明度S(Saturation)の３個の成分からなる色空間である。
HSV色空間を用いる場合の代表色抽出部１１については、HLS色空間を用いる場合と同様である。
（９）JPEGに用いられるY、Cr、Cbと、計算機内で用いられるR、G、Bとの間の変換
ＲＧＢから輝度及び色差への変換は次のようにして行う。
【００９９】
Y  =  0.29891 × R  +  0.58661 × G  +  0.11448 × B
Cb = -0.16874 × R  -  0.33126 × G  +  0.50000 × B
Cr =  0.50000 × R  -  0.41869 × G  -  0.08131 × B
また、輝度及び色差からＲＧＢへの変換は次のようにして行う。
R = Y  +  1.40200 × Cr
G = Y  -  0.34414 × Cb  -  0.71414 × Cr
B = Y  +  1.77200 × Cb
２．実施の形態２
本発明の実施の形態２における画像閲覧装置２の構成を図９に示す。
【０１００】
画像閲覧装置２は、図９に示すように、代表色表示部１００、縮小画像表示部１０１、閲覧範囲設定部３０及び閲覧モード切換部３１から構成される。また、代表色表示部１００は、画像分類部１０、代表色抽出部１１及び代表色配置部１２から構成され、縮小画像表示部１０１は、縮小画像生成部２０及び縮小画像配置部２１から構成される。
画像閲覧装置２は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、液晶ディスプレィユニット、キーボードなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、画像閲覧装置２は、その機能を達成する。
【０１０１】
図９に示す画像閲覧装置２の構成要素のうち、図１に示す画像閲覧装置１の構成要素と同じ参照符号が付されたものは、図１に示す画像閲覧装置１の構成要素と同じものである。
代表色表示部１００の動作は、実施の形態１と同様である。複数の画像ファイルが記録装置から読み出されて入力されると、まず画像分類部１０は、所定の基準に従って画像群に分類する。
【０１０２】
次いで、画像分類部１０によって得られた画像群毎に、代表色抽出部１１は、画像群の特徴を表す代表色を抽出し、代表色配置部１２は、これらの各代表色をレイアウトする。
縮小画像表示部１０１は、画像のサムネイル表示をつかさどる。具体的には、複数の画像ファイルが記録装置から読み出されて入力されると、縮小画像生成部２０は、各画像を所定のサイズに縮小したサムネイル画像を生成する。
【０１０３】
次いで、縮小画像配置部２１は、生成されたサムネイル画像をレイアウトする。
閲覧範囲設定部３０は、複数の画像のうち閲覧の対象となる範囲を設定する。例えば、ユーザから撮影日時の範囲の入力を受け付け、入力を受け付けた撮影日時の範囲を設定する。又は、ユーザから検索条件の入力を受け付け、入力を受け付けた検索情報を設定する。
【０１０４】
例えば、撮影日時の範囲が設定された場合には、記録装置に記憶されている複数の画像のうち、設定された撮影日時の範囲内において撮影された画像が閲覧の対象となる。また、検索条件が設定された場合には、記録装置に記憶されている複数の画像のうち、検索条件を満たす画像が閲覧の対象となる。
次に、閲覧モード切換部３１は、閲覧範囲設定部３０で設定された閲覧範囲に応じて、代表色表示部１００による表示（代表色閲覧モード）と縮小画像表示部１０１による表示（サムネイル閲覧モード）のどちらの閲覧モードで実際に表示するかを切り換える。
【０１０５】
ここで、閲覧モード切換部３１における閲覧モードの切り換えの基準としては、以下が挙げられる。
（ａ）閲覧範囲に含まれる画像数を基準として、画像数が所定の枚数以内であればサムネイル閲覧モードで表示し、画像数が所定の枚数を超えたときは代表色閲覧モードで表示する。
【０１０６】
（ｂ）閲覧範囲に含まれる画像の撮影日時を基準として、閲覧範囲の全画像の撮影日時が所定の長さの期間内に収まっていればサムネイル閲覧モードで表示し、所定の長さの期間よりも広い期間に渡っていれば代表色閲覧モードで表示する。
ただし、具体的な閲覧モード切り換えの基準は、これら二つに限定されるものではない。
【０１０７】
以上のように、閲覧範囲の画像量がある一定範囲以下であればサムネイル閲覧モード、超えれば代表色閲覧モードに切り換えることにより、閲覧対象の画像量に応じたより適切な表示で画像を閲覧することができる。
図６及び図７に、サムネイル閲覧モードと代表色表示モードの画面表示の切り換えの例を示している。
【０１０８】
図６は、所定の撮影期間ごとにまとめて時間軸で画像を整理する表示モードの場合を示しており、図６（ａ）は、サムネイル閲覧モードによる画面表示の例、図６（ｂ）が代表色閲覧モードによる画面表示の例を示している。図６（ａ）では、７月から９月までの三ヵ月間の写真が一ヵ月ごとにまとめてサムネイル表示されている。図６（ｂ）については、実施の形態１で述べた通りである。
【０１０９】
この例では三ヵ月間のサムネイル画像しか図６（ａ）の画面内に収まらない。そこで閲覧範囲の期間が三ヵ月以内であれば、図６（ａ）に示すように、サムネイル閲覧モードで表示し、三ヵ月を超えるときは、図６（ｂ）に示すように、代表色閲覧モードで表示する。
また、図７は、画像に関連付けられたタグごとにまとめて画像に関連付けられたタグで整理する表示するモードの場合を示している。図６と同様に、図７（ａ）は、サムネイル閲覧モードの画面表示を示し、図７（ｂ）は、代表色閲覧モードの画面表示を示す。
【０１１０】
図７（ａ）では、三種類のタグについて画像に関連付けられたタグごとにまとめてサムネイル表示されている。図７（ｂ）については、実施の形態１で述べた通りである。
図７（ａ）に示す例では、最大で２０枚のサムネイル画像しか、図７（ａ）の画面内に収まらない。そこで、閲覧範囲の画像数が２０枚以内であれば、図７（ａ）に示すように、サムネイル閲覧モードで表示し、２０枚を超えるときは、図７（ｂ）に示すように、代表色閲覧モードで表示している。
３．実施の形態３
本発明に係る別の実施の形態としての画像閲覧システム６について説明する。
３．１  画像閲覧システム６
画像閲覧システム６は、図１０に示すように、画像閲覧装置４及び記録装置５から構成されている。
【０１１１】
記録装置５は、複数の画像ファイルを記録しており、ユーザにより画像閲覧装置４に装着される。画像閲覧装置４は、ユーザの操作により、記録装置５から画像ファイルを読み出し、読み出した画像ファイルを基にしてサムネイル画像を生成し、又は読み出した画像ファイルを基にして代表色を決定し、サムネイル画像からなる一覧を表示し、又は代表色からなる一覧を表示する。
３．２  記録装置５
記録装置５は、例えば、ＳＤメモリカードであって、図１０に示すように、入出力部５１及び記憶部５２を備える。
【０１１２】
記憶部５２には、デジタルカメラ等による撮影により生成された複数の画像ファイル６１、６２、６３、・・・、６４が予め記憶されている。
図１１に示すように、各画像ファイルには、当該画像ファイルを一意に識別するためのファイルＩＤが付されている。各画像ファイルは、属性情報及び圧縮画像データを含む。属性情報は、撮影日時情報、タグデータＡ及びタグデータＢを含む。属性情報は、さらに、後述するように、画像閲覧装置４により、日常区分が設定された場合には、当該設定された日常区分を含む。
【０１１３】
撮影日時情報は、当該画像ファイルに含まれる圧縮画像データが撮影により生成された時を示し、年月日時分秒から構成される。
タグデータＡは、各画像ファイルを分類するためにユーザにより各画像ファイルに付されたものであり、撮影された場所、時間帯、環境、状況などを示す情報を含む。例えば、タグデータＡは、上述したように、「海」、「山」、「空」、「夜景」及び「屋内」のいずれかを含む。タグデータＡが「海」、「山」、「空」、「夜景」及び「屋内」のいずれかを含む場合には、それぞれ、当該画像ファイルは、海、山、空、夜間及び屋内における撮影により生成されたものである。また、タグデータＢは、各画像ファイルを分類するために各画像ファイルに付されたものであり、撮影対象である主たる被写体を示す情報を含む。例えば、タグデータＢは、上述したように、「自分」、「父」、「母」、「ペット」及び「車」のいずれかを含む。タグデータＢが「自分」、「父」、「母」、「ペット」及び「車」のいずれかを含む場合には、当該画像ファイルが形成する画像には、主たる被写体として、自分、父、母、ペット及び車のいずれかが含まれている。
【０１１４】
日常区分は、当該画像ファイルが日常的な状況において撮影されたものであるか、又は非日常的な状況において撮影されたものであるかを示す。
圧縮画像データは、複数の画素データから構成される画像データが、高効率に圧縮及び符号化された生成されたものである。各画像データは、一例として、１個の輝度データと、２個の色差データとから構成されている。
【０１１５】
例えば図１１に示すように、画像ファイル６１には、ファイルＩＤ６１ａ「Ｆ００１」が付され、画像ファイル６１は、属性情報６１ｆ及び圧縮画像データ６１ｅを含み、属性情報６１ｆは、撮影日時情報６１ｂ「２００８０５０１０９０１０１」、タグデータＡ６１ｃ「山」及びタグデータＢ６１ｄ「自分」を含む。
入出力部５１は、記録装置５が装着された外部の装置から情報を受け取り、受け取った情報を記憶部５２へ書き込む。また、記憶部５２に記憶されている情報を読み出し、読み出した情報を記録装置５が装着された外部の装置へ出力する。
３．３  画像閲覧装置４
画像閲覧装置４は、図１０に示すように、画像分類部１０、代表色抽出部１１、代表色配置部１２、日常非日常設定部１４、代表色切換部１６、表示部１７、入出力部１８、記憶部１９、縮小画像生成部２０、縮小画像配置部２１、閲覧範囲設定部３０、閲覧モード切換部３１及び情報設定部３２から構成されている。
【０１１６】
画像閲覧装置４は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、液晶ディスプレィユニット、キーボードなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、画像閲覧装置４は、その各機能を達成する。
【０１１７】
（１）画像閲覧装置４により表示される一覧画面
画像閲覧装置４により表示されるいくつかの種類の一覧画面について説明する。
（代表色一覧画面３２０）
代表色一覧画面３２０は、図３に示すように、一例として、１０年分の代表色を、各年及び各月毎に表示している。
【０１１８】
代表色一覧画面３２０は、縦軸３２１上に複数年（具体的には、１９９７年から２００６年まで）をその経過の順に配し、横軸３２２上に各年につき、１月から１２月までの１２カ月を経過の順に配し、縦軸３２１方向に１０個の矩形の表示単位領域、横軸３２２方向に１２個の矩形の表示単位領域を、行列状に設け、合計で１２０個の表示単位領域を配して形成されている。縦軸３２１上のいずれか１の年と横軸３２２上のいずれか１の月とが交差して示される表示単位領域において、当該年及び当該月における代表色を表示している。
【０１１９】
（代表色一覧画面３３０）
代表色一覧画面３３０は、図４に示すように、一例として、１カ月分の代表色を、日毎に表示している。
代表色一覧画面３３０は、横軸３３５方向に７個の矩形の表示枠、縦軸方向に６個の表示枠を、行列状に設け、合計で４２個の表示枠を配して形成されている。横軸３３５の直上に配置された７個の表示枠には、７曜（具体的には、「Ｓｕｎ」、「Ｍｏｎ」、「Ｔｕｅ」、「Ｗｅｄ」、「Ｔｈｕ」、「Ｆｒｉ」及び「Ｓａｔ」）がその順に表示され、その他の３５個の表示枠には、７曜の順及び縦軸方向の順に、日付及び表示単位領域が表示され、表示単位領域には、対応する日付における代表色が表示されている。
【０１２０】
（代表色一覧画面３８０）
代表色一覧画面３８０は、図７（ｂ）に示すように、一例として、１年分の代表色を、タグの内容毎及び各月毎に表示している。
代表色一覧画面３８０は、縦軸３８１上に複数のタグの内容を配し、横軸３８２上に各タグの内容につき、１月から１２月までの１２カ月を経過の順に配し、縦軸３８１方向に１０個の矩形の表示単位領域、横軸３８２方向に１２個の矩形の表示単位領域を、行列状に設け、合計で１２０個の表示単位領域を配して形成されている。縦軸３８１上のいずれかのタグの内容と横軸３８２上のいずれか１の月とが交差して示される表示単位領域において、当該タグの内容及び当該月における代表色を表示している。
【０１２１】
（サムネイル一覧画面３５０）
サムネイル一覧画面３５０は、図６（ａ）に一例として示すように、３カ月分のサムネイルを、月毎に表示している。
サムネイル一覧画面３５０は、月毎の表示枠３５１、３５２及び３５３から形成され、各表示枠は、月を表示する月表示欄と、サムネイルを表示するサムネイル表示欄とから形成されている。サムネイル表示欄には、複数のサムネイルが表示されている。
【０１２２】
（サムネイル一覧画面３７０）
サムネイル一覧画面３７０は、図７（ａ）に一例として示すように、タグ毎に、複数のサムネイルを表示している。
サムネイル一覧画面３７０は、タグ毎の表示枠３７１、３７２及び３７３から形成され、各表示枠は、タグの内容を表示するタグ表示欄と、サムネイルを表示するサムネイル表示欄とから形成されている。サムネイル表示欄には、複数のサムネイルが表示されている。
【０１２３】
（２）各一覧画面を形成する表示単位領域の塗り分けの方法
画像閲覧装置４では、各一覧画面を形成する表示単位領域を複数の色により塗り分ける場合がある。ここでは、画像閲覧装置４による各一覧画面を形成する表示単位領域の塗り分けの方法について説明する。
被写体画像領域の代表色と背景画像領域の代表色を塗り分ける際において、図８（ａ）に示すように、表示単位領域３９０を矩形の境界線３９３により区切り、矩形の境界線３９３の外部の領域３９１を背景画像領域の代表色で塗り、矩形の境界線３９３の内部の領域３９２を被写体画像領域の代表色で塗る。
【０１２４】
また、日常的な状況の画像の代表色と非日常的な状況の画像の代表色を塗り分ける際において、図８（ｂ）に示すように、表示単位領域４００を境界線４０３により区切り、境界線４０３により区切られて形成された２個の領域のうち、一方の領域４０２を日常的な状況の画像の代表色で塗り、他方の領域４０１を非日常的な状況の画像の代表色で塗る。
さらに、１個の表示単位領域を２種類以上の代表色により塗り分ける場合において、一定の期間において、日常的な状況と非日常的な状況が頻繁に入れ替わっているときほど、図８（ｃ）のように、多くの非日常領域４１２、・・・、４１６を設けて、複数の非日常領域４１２、・・・、４１６をレイアウトし、二つの条件が混ざり合っていることを表現するように塗り分ける。一方、日常的な状況が長く続いた後に非日常的な状況が長く続くといったように入れ替わりが少ない場合ほど、図８（ｄ）のように、少ない数の非日常領域４２２を設けて、非日常領域４２２をレイアウトして、二つの条件が分離されていることを表現するように塗り分ける。
【０１２５】
また、被写体画像領域の代表色と背景画像領域の代表色を塗り分ける際において、図３０（ｃ）に示すように、表示単位領域６１０を矩形の境界線６１４により区切り、境界線６１４の両側に一定の幅を有する境界領域６１２を設け、次に、表示単位領域６１０において、境界領域６１２により区切られた複数の代表色領域６１１及び６１３をそれぞれ、背景画像領域の代表色及び被写体画像領域の代表色で塗る。次に、境界領域６１２において境界領域６１２の第１の代表色領域側から境界領域６１２の第２の代表色領域側へ、第１の代表色領域６１１に塗られた第１の代表色から、徐々に、滑らかに連続して、第２の代表色領域６１３に塗られた第２の代表色に変化するように、境界領域６１２に塗る。
【０１２６】
また、日常的な状況の画像の代表色と非日常的な状況の画像の代表色を塗り分ける際において、図３０（ａ）に示すように、表示単位領域５９０を境界線５９５により区切り、境界線５９５の両側に一定の幅を有する境界領域５９３を設け、次に、表示単位領域５９０において、境界領域５９３により区切られた複数の代表色領域５９１及び５９２をそれぞれ、日常的な状況の画像の代表色及び非日常的な状況の画像の代表色で塗る。次に、境界領域５９３において境界領域５９３の第１の代表色領域側から境界領域５９３の第２の代表色領域側へ、第１の代表色領域５９１に塗られた第１の代表色から、徐々に、滑らかに連続して、第２の代表色領域５９２に塗られた第２の代表色に変化するように、境界領域５９３に塗る。
【０１２７】
（３）図８（ａ）〜（ｄ）の塗り分け方法の適用
図８（ａ）〜（ｄ）に示す塗り分け方法を適用した場合について、画像閲覧装置４により表示されるいくつかの種類の一覧画面について説明する。
図２７に示す代表色一覧画面５５０は、図４に示す代表色一覧画面３３０において、図８（ｂ）に示す塗り分け方法を適用した場合の一覧画面である。
【０１２８】
また、図２８に示す代表色一覧画面５６０は、図３に示す代表色一覧画面３２０において、図８（ａ）に示す塗り分け方法を適用した場合の一覧画面である。
さらに、図２９に示す代表色一覧画面５７０は、図３に示す代表色一覧画面３２０において、図８（ｃ）〜（ｄ）に示す塗り分け方法を適用した場合の一覧画面である。
（４）記憶部１９
記憶部１９は、図１０に示すように、分類キー、分類テーブル、軸情報、動作パターン情報、表示モード、塗り分けタイプ、閲覧範囲情報、閲覧モードの切換タイプ、閲覧モード、色テーブル、色対応テーブルＡ、色対応テーブルＢ及び日常／非日常の切換の有無を記憶するための記憶領域を備えている。
（分類キー）
分類キーは、画像分類部１０により、記録装置５の記憶部５２に記憶されている複数の画像ファイルを分類するために用いられるキーである。分類キーは、各画像ファイルに含まれる属性情報の一部又は全部から構成される。
【０１２９】
分類キーの６種の例を図１２に示す。図１２に示すように、分類キー４３０は、年４３０ａ及び月４３０ｂから構成され、分類キー４３１は、年４３１ａ、月４３１ｂ及び日４３１ｃから構成され、分類キー４３２は、年４３２ａ、月４３２ｂ、日４３２ｃ及び時４３２ｄから構成され、分類キー４３３は、年４３３ａ及び週４３３ｂから構成され、分類キー４３４は、年４３４ａ、タグデータ４３４ｂ及び月４３４ｃから構成され、分類キー４３５は、タグデータ４３５ａ、年４３５ｂ及び月４３５ｃから構成される。
【０１３０】
ここで、年、月及び日は、それぞれ、各画像ファイルに含まれる属性情報内の年、月及び日を示す。また、週は、各画像ファイルに含まれる属性情報内の年月日が含まれる週を示す。さらに、タグデータは、各画像ファイルに含まれる属性情報内のタグデータＡ又はタグデータＢを示す。
例えば、分類キー４３１は、記録装置５の記憶部５２に記憶されている複数の画像ファイルのうち分類の対象となる画像ファイルを、各画像ファイルに含まれる属性情報内の年の昇順、月の昇順及び日の昇順に並び替えることを示す。また、例えば、分類キー４３５は、記録装置５の記憶部５２に記憶されている複数の画像ファイルのうち分類の対象となる画像ファイルを、各画像ファイルに含まれる属性情報内のタグデータの昇順、年の昇順及び月の昇順に並び替えることを示す。
【０１３１】
分類キーは、ユーザの指定により上記のうちの１個の分類キーが定まる。
なお、分類キーは、上記に示したものには限定されない。その他の組合せもありうる。
また、記憶部１９には、６種の分類キーの全てが記憶されるのではなく、一時的には、いずれか１種の分類キーのみが記憶され、記憶されている１種の分類キーのみが用いられるので注意を要する。しかし、記憶部１９には、６種の分類キー及びその他の分類キーの全てが記憶され、一時的には、いずれか１種の分類キーのみが用いられるとしてもよい。
【０１３２】
（軸情報）
軸情報は、代表色による一覧を表示する際に、記録装置５の記憶部５２に記憶されている複数の画像ファイルの分類の最小単位、並びに、一覧の縦軸及び横軸における表示の単位を定めるために用いるものである。軸情報は、図１３（ａ）及び（ｂ）に一例として示すように、分類期間、縦軸の単位及び横軸の単位から構成される。
【０１３３】
分類期間は、記録装置５の記憶部５２に記憶されている複数の画像ファイルを分類する際の最小単位を示す。つまり、複数の画像ファイルを分類して、同一の性質を有する画像ファイルが一つのグループに属するようにするときに、分類期間とは、ここで言う同一の性質を示すものである。例えば、図１３（ａ）では、軸情報４４０は、分類期間４４１として「月」を含んでおり、ここで、同一の性質とは、属性情報に同一の年月を含むことである。分類期間４４１を用いる場合、同一の年月を含む属性情報を備える画像ファイルが同一のグループに属するように分類される。また、例えば、図１３（ｂ）では、軸情報４５０は、分類期間４５１として「日」を含んでいるが、ここで、同一の性質とは、属性情報に同一の年月日を含むことである。分類期間４５１を用いる場合、同一の年月日を含む属性情報を備える画像ファイルが同一のグループに属するように分類される。
【０１３４】
軸情報に含まれる縦軸の単位及び横軸の単位は、代表色による一覧が、縦軸及び横軸により行列状に形成されて表示される場合において、縦軸及び横軸の方向に、どのような単位を用いるかを示している。例えば、図３では、縦軸に年を単位とし、横軸に月を単位として代表色を行列状に表示している。また、図４では、縦軸に日を単位とし、横軸に曜日を単位として代表色を表示している。さらに、図７（ｂ）では、縦軸にタグの内容を単位とし、横軸に月を単位として代表色を表示している。
【０１３５】
一例として、図１３（ａ）に示す軸情報４４０は、縦軸の単位４４２「年」及び横軸の単位４４３「月」を含むので、図３に示すように、縦軸に年を単位とし、横軸に月を単位として代表色を行列状に表示することを示す。また、図１３（ｂ）に示す軸情報４５０は、縦軸の単位４５２「月」及び横軸の単位４５３「日」を含むので、縦軸に月を単位とし、横軸に日を単位として代表色を行列状に表示することを示す。
【０１３６】
なお、軸情報は、図１３（ａ）及び（ｂ）に示したものには限定されない。その他の組合せもありうる。
また、記憶部１９には、図１３（ａ）及び（ｂ）に示す２個の軸情報の全てが記憶されるのではなく、一時的には、いずれか１個の軸情報のみが記憶され、記憶されている１個の軸情報のみが用いられるので注意を要する。しかし、記憶部１９には、２個の軸情報及びその他の軸情報が全て記憶され、一時的には、いずれか１個の軸情報のみが用いられるとしてもよい。
【０１３７】
（動作パターン情報）
動作パターン情報は、代表色を抽出し、表示する場合における動作パターンを示す。具体的には、図１４（ａ）〜（ｅ）に示すように、動作パターン情報４６１、・・・、４６５は、それぞれ、日常及び非日常を区別しないで代表色を抽出すること、非日常が設定された画像ファイルのみから代表色を抽出して用いること、日常及び非日常に応じた代表色に塗り分けること、日常及び非日常により代表色を切り換えて表示すること、及び被写体及び背景に応じた代表色に塗り分けることを示している。
【０１３８】
（閲覧範囲情報）
閲覧範囲情報は、画像閲覧装置４において、代表色の抽出や縮小画像の生成などの対象となる画像ファイルの時間的な範囲を限定するものである。閲覧範囲情報は、開始時及び終了時から構成される。
開始時により示される時から、終了時により示される時までの間に含まれる撮影日時情報を属性情報として含む画像ファイルが、上記の代表色の抽出や縮小画像の生成などの対象とされるのである。ここで、開始時及び終了時は、それぞれ、年月日時分秒からなる。
【０１３９】
図１５に示す閲覧範囲情報４７０は、開始時４７１「２００５０１０１０９０１０１」及び終了時４７２「２００８１２３１２３５９５９」から構成されるので、２００５年１月１日９時１分１秒から、２００８年１２月３１日２３時５９分５９秒までの期間内に含まれる撮影日時情報を属性情報として含む画像ファイルが、上記の代表色の抽出や縮小画像の生成などの対象とされる。
【０１４０】
（表示モード）
表示モードには、時間軸で画像を整理する表示モード、画像に関連付けられたタグで整理する表示モード及びその他のモードがある。図１６（ａ）及び（ｂ）に示す表示モード４８１及び４８２は、それぞれ、時間軸で画像を整理する表示モード及び画像に関連付けられたタグで整理する表示モードである。
【０１４１】
また、記憶部１９には、図１６（ａ）及び（ｂ）に示す２個の表示モード４８１及び４８２、並びにその他の表示モードの全て手が記憶されるのではなく、一時的には、いずれか１個の表示モードのみが記憶され、記憶されている１個の表示モードのみが用いられるので注意を要する。しかし、記憶部１９には、２個の表示モード４８１及び４８２、並びにその他の表示モードの全て手が記憶され、一時的には、いずれか１個の表示モードのみが用いられるとしてもよい。
【０１４２】
（塗り分けタイプ）
塗り分けタイプは、１個の表示単位領域を、２種類以上の代表色により塗り分ける場合において、１個の表示単位領域を２種類以上の代表色によりどのように塗り分けるかを示す。図１７（ａ）、（ｂ）、（ｃ）及び（ｄ）に代表的な塗り分けタイプを示す。
（ｉ）１個の表示単位領域を２種類以上の代表色により塗り分ける場合において、図１７（ａ）に示す塗り分けタイプ４８３は、表示単位領域を境界線により区切り、境界線により区切られた複数の領域をそれぞれ、複数の代表色で塗り分けることを示す。
【０１４３】
この塗り分けタイプを境界線による塗り分けと呼ぶ。
具体的には、被写体画像領域の代表色と背景画像領域の代表色を塗り分ける際において、図８（ａ）に、表示単位領域３９０を矩形の境界線３９３により区切り、矩形の外部の領域３９１を背景画像領域の代表色で塗り、矩形の内部の領域３９２を被写体画像領域の代表色で塗る場合について示している。
【０１４４】
また、日常的な状況の画像の代表色と非日常的な状況の画像の代表色を塗り分ける際において、図８（ｂ）に、表示単位領域４００を境界線４０３により区切り、境界線４０３により区切られて形成された２個の領域のうち、一方の領域４０２を日常的な状況の画像の代表色で塗り、他方の領域４０１を非日常的な状況の画像の代表色で塗る場合について示している。
【０１４５】
（ii）１個の表示単位領域を２種類以上の代表色により塗り分ける場合において、図１７（ｂ）に示す塗り分けタイプ４８４は、以下の塗り分け方を示す。
この塗り分けタイプをグラデーションＡによる塗り分けと呼ぶ。
即ち、１個の表示単位領域を境界線により区切り、境界線の両側に、境界線を含み、境界線から一定の幅を有する境界領域を設ける。次に、表示単位領域において、境界領域により区切られた複数の代表色領域をそれぞれ、複数の代表色で塗り分ける。次に、境界領域において境界領域の第１の代表色領域側から境界領域の第２の代表色領域側へ、第１の代表色領域に塗られた第１の代表色から、徐々に、滑らかに連続して、第２の代表色領域に塗られた第２の代表色に変化するように、境界領域に塗る。なお、このように、第１の色から、徐々に、滑らかに連続して、第２の色に変化するように塗ることを、グラデーションを付けて塗ると呼ぶことにする。
【０１４６】
具体的には、被写体画像領域の代表色と背景画像領域の代表色を塗り分ける際において、図３０（ｃ）に、次のような場合について示している。即ち、表示単位領域６１０を矩形の境界線６１４により区切り、境界線６１４の両側に、境界線６１４を含み、境界線６１４から一定の幅を有する境界領域６１２を設ける。次に、表示単位領域６１０において、境界領域６１２により区切られた複数の代表色領域６１１及び６１３をそれぞれ、背景画像領域の代表色及び被写体画像領域の代表色で塗る。次に、境界領域６１２において境界領域６１２の第１の代表色領域側から境界領域６１２の第２の代表色領域側へ、第１の代表色領域６１１に塗られた第１の代表色から、徐々に、滑らかに連続して、第２の代表色領域６１３に塗られた第２の代表色に変化するように、境界領域６１２に塗る。
【０１４７】
また、日常的な状況の画像の代表色と非日常的な状況の画像の代表色を塗り分ける際において、図３０（ａ）に、次のような場合について示している。表示単位領域５９０を境界線５９５により区切り、境界線５９５の両側に、境界線５９５を含み、境界線５９５から一定の幅を有する境界領域５９３を設ける。次に、表示単位領域５９０において、境界領域５９３により区切られた複数の代表色領域５９１及び５９２をそれぞれ、日常的な状況の画像の代表色及び非日常的な状況の画像の代表色で塗る。次に、境界領域５９３において境界領域５９３の第１の代表色領域側から境界領域５９３の第２の代表色領域側へ、第１の代表色領域５９１に塗られた第１の代表色から、徐々に、滑らかに連続して、第２の代表色領域５９２に塗られた第２の代表色に変化するように、境界領域５９３に塗る。
【０１４８】
（iii ）１個の表示単位領域を２種類以上の代表色により塗り分ける場合において、図１７（ｃ）に示す塗り分けタイプ４８５は、以下の塗り分け方を示す。
この場合の塗り分け方は、図１７（ｂ）に示す塗り分けタイプ４８４による塗り分け方とほぼ同一であるが、その差異について以下に説明する。
この塗り分けタイプをグラデーションＢによる塗り分けと呼ぶ。
【０１４９】
図１７（ｂ）に示す塗り分けタイプ４８４による塗り分け方においては、境界線の両側に、境界線を含み、境界線から一定の幅を有する境界領域を設ける。これに対して、図１７（ｃ）に示す塗り分けタイプ４８５による塗り分け方では、境界領域の幅は、次のように変化する。
即ち、一定期間において、日常的な状況と非日常的な状況が頻繁に入れ替わっているときほど、境界領域の幅を大きくする。これによりグラデーションを緩やかにして二つの条件が混ざり合っていることを表現する。一方、日常的な状況が長く続いた後に非日常的な状況が長く続くといったように入れ替わりが少ない場合ほど、境界領域の幅を小さくする。これにより、グラデーションを急にして二つの条件が分離されていることを表現する。
【０１５０】
具体的には、日常的な状況の画像の代表色と非日常的な状況の画像の代表色を塗り分ける際において、図３０（ｃ）に、次のような場合について示している。表示単位領域６００を境界線６０６により区切り、境界線６０６の両側に、境界線６０６を含み、境界線６０６から変化する幅を有する境界領域６０３を設ける。次に、表示単位領域６００において、境界領域６０３により区切られた複数の代表色領域６０１及び６０２をそれぞれ、日常的な状況の画像の代表色及び非日常的な状況の画像の代表色で塗る。次に、境界領域６０３において境界領域６０３の第１の代表色領域側から境界領域６０３の第２の代表色領域側へ、第１の代表色領域６０１に塗られた第１の代表色から、徐々に、滑らかに連続して、第２の代表色領域６０２に塗られた第２の代表色に変化するように、境界領域６０３に塗る。
【０１５１】
また、同様に、被写体画像領域の代表色と背景画像領域の代表色を塗り分ける際において、図３０（ｄ）に、次のような場合について示している。即ち、表示単位領域６２０を矩形の境界線６２４により区切り、境界線６２４の両側に、境界線６２４を含み、境界線６２４から変化する幅を有する境界領域６２２を設ける。次に、表示単位領域６２０において、境界領域６２２により区切られた複数の代表色領域６２１及び６２３をそれぞれ、背景画像領域の代表色及び被写体画像領域の代表色で塗る。次に、境界領域６２２において境界領域６２２の第１の代表色領域側から境界領域６２２の第２の代表色領域側へ、第１の代表色領域６２１に塗られた第１の代表色から、徐々に、滑らかに連続して、第２の代表色領域６２３に塗られた第２の代表色に変化するように、境界領域６２２に塗る。
【０１５２】
（iv）１個の表示単位領域を２種類以上の代表色により塗り分ける場合において、図１７（ｄ）に示す塗り分けタイプ４８６は、一例として、図８（ｃ）及び（ｄ）に示す塗り分け方を示す。
この塗り分けタイプを分散レイアウトによる塗り分けと呼ぶ。
すなわち、一定の期間において、日常的な状況と非日常的な状況が頻繁に入れ替わっているときほど、図８（ｃ）のように、多くの非日常領域４１２、・・・、４１６を設けて、複数の非日常領域４１２、・・・、４１６をレイアウトし、二つの条件が混ざり合っていることを表現する。一方、日常的な状況が長く続いた後に非日常的な状況が長く続くといったように入れ替わりが少ない場合ほど、図８（ｄ）のように、少ない数の非日常領域４２２を設けて、非日常領域４２２をレイアウトして、二つの条件が分離されていることを表現する。
【０１５３】
ここで、図８（ｃ）における非日常領域４１２、・・・、４１６のそれぞれの面積の合計と、図８（ｄ）における非日常領域４２２の面積とは、同一であるとものとする。
（閲覧モード）
閲覧モードには、図１８（ａ）及び（ｂ）に示すように、サムネイル閲覧モード４８７と、代表色閲覧モード４８８とがある。サムネイル閲覧モードは、複数個の縮小画像を並べて表示する表示モードであり、代表色閲覧モードは、複数個の代表色を並べて表示する表示モードである。
【０１５４】
（分類テーブル）
分類テーブルは、画像分類部１０において、記録装置５の記憶部５２に記憶されている複数の画像ファイルを１個の分類キーにより分類して、１個のグループ又は複数のグループが生成された際に、生成されたグループのデータ構造を示すデータテーブルである。各グループには、１個又は複数の画像ファイルが属し、１個のグループに属する複数の画像ファイルは、同一の１個又は複数の属性値を有する。
【０１５５】
分類テーブルは、図１９にデータ構造を示すように、また図２０及び図２１にその一例を示すように、複数の分類情報から構成される。各分類情報は、画像分類部１０により生成された１個のグループに対応している。
各分類情報は、１個のキー項目及び１個又は複数のデータ項目から構成される。キー項目は、当該分類情報に対応するグループに属する全ての画像ファイルが有する属性情報の各項目のうち、分類キーに対応するものである。各データ項目は、当該分類情報に対応するグループに属する画像ファイルに対応し、各データ項目は、ファイルＩＤ及び属性情報を含む。ファイルＩＤ及び属性情報は、当該データ項目に対応する画像ファイルのファイルＩＤ及び属性情報である。属性情報は、日時情報、タグデータＡ及びタグデータＢを含み、又は、属性情報は、日時情報、タグデータＡ、タグデータＢ及び日常区分を含む。
【０１５６】
図２０に示す分類テーブルＡ４９０は、分類キーが「年月」である場合に、画像分類部１０により生成された一例である。
分類テーブルＡ４９０は、分類情報４９７及びその他の分類情報を含み、分類情報４９７は、キー項目４９１及び複数のデータ項目を含む。ここで、キー項目４９１は、「２００６０３」であるので、分類情報４９７は、撮影日時情報のうち年月「２００６０３」を含む画像ファイルに対応している。
【０１５７】
図２１に示す分類テーブルＢ５００は、分類キーが「タグデータ年月」である場合に、画像分類部１０により生成された一例である。
分類テーブルＢ５００は、分類情報５０７及びその他の分類情報を含み、分類情報５０７は、キー項目５０１及び複数のデータ項目を含む。ここで、キー項目５０１は、「室内２００６０３」であるので、分類情報５０７は、タグデータＡ「室内」及び撮影日時情報のうち年月「２００６０３」を含む画像ファイルに対応している。
【０１５８】
なお、記憶部１９には、一時的には、１個の分類テーブルのみが記憶される。
（色テーブル）
色テーブルは、代表色抽出部１１により代表色が決定される際に生成されるデータテーブルである。図２３〜図２６に示すように、色テーブルＡ５１０、色テーブルＢ５２０、色テーブルＣ５３０及び色テーブルＤ５４０の４種類が存在する。図２２に色テーブルＡのデータ構造の一例を示す。
【０１５９】
（ｉ）色テーブルＡ５１０
色テーブルＡ５１０は、代表色抽出部１１により代表色が決定される場合に、画像から代表色を抽出するときに用いるテーブルである。
色テーブルＡ５１０は、図２２及び図２３に示すように、複数のキー項目情報から構成される。各キー項目情報は、分類テーブルに含まれる分類情報に対応している。
【０１６０】
各キー項目情報は、１個のキー項目及び複数個のデータ項目を含む。ここで、各データ項目は、画像から抽出される色に対応している。各データ項目は、色、画素数及び決定区分を含む。色は、画像から抽出される色を示し、画素数は、画像から当該色が抽出される元になる画素の数を示し、決定区分は、当該色を代表色として選択したか否かを示す。決定区分が、「１」の場合には、当該色を選択したことを示し、「０」の場合には、当該色を選択しなかったことを示している。
【０１６１】
（ii）色テーブルＢ５２０
色テーブルＢ５２０は、代表色抽出部１１により代表色が決定される場合に、タグを基にして代表色を決定するときに用いるテーブルである。
色テーブルＢ５２０は、図２４に示すように、複数のキー項目情報から構成される。各キー項目情報は、分類テーブルに含まれる分類情報に対応している。
【０１６２】
各キー項目情報は、１個のキー項目及び複数個のデータ項目を含む。ここで、各データ項目は、画像から抽出される色に対応している。各データ項目は、色、タグ、タグ数及び決定区分を含む。色は、画像から抽出される色を示し、タグは、画像ファイルに付されたタグを示し、タグ数は、当該タグが付された画像ファイルの数を示し、決定区分は、当該色を代表色として選択したか否かを示す。決定区分が、「１」の場合には、当該色を選択したことを示し、「０」の場合には、当該色を選択しなかったことを示している。
【０１６３】
なお、色テーブルＡ５１０では、データ項目に画素数を含んでいるのに対して、色テーブルＢ５２０では、データ項目にタグ及びタグ数を含んでいる点において、色テーブルＡ５１０と色テーブルＢ５２０とは相違している。
（iii）色テーブルＣ５３０
色テーブルＣ５３０は、代表色抽出部１１により代表色が決定される場合に、日常及び非日常の区分が存在するときにおいて代表色を抽出する際に用いるテーブルである。
【０１６４】
色テーブルＣ５３０は、図２５に示すように、複数のキー項目情報から構成される。各キー項目情報は、分類テーブルに含まれる分類情報に対応している。
各キー項目情報は、１個のキー項目及び複数個のデータ項目を含む。ここで、各データ項目は、画像から抽出される色に対応している。各データ項目は、色、日常画素数、日常決定区分、非日常画素数、非日常決定区分を含む。色は、画像から抽出される色を示し、日常画素数は、日常の状況であるとされる画像から当該色が抽出される元になる画素の数を示し、日常決定区分は、当該色を代表色として選択したか否かを示し、非日常画素数は、非日常の状況であるとされる画像から当該色が抽出される元になる画素の数を示し、非日常決定区分は、当該色を代表色として選択したか否かを示す。日常決定区分が、「１」の場合には、当該色を選択したことを示し、「０」の場合には、当該色を選択しなかったことを示している。非日常決定区分についても同様である。
【０１６５】
なお、色テーブルＡ５１０では、日常、非日常に関わらず、色毎に、画素数及び決定区分を含んでいるのに対して、色テーブルＣ５３０では、日常、非日常に分けて、色毎に、画素数及び決定区分を含んでいる点において、色テーブルＡ５１０と色テーブルＣ５３０とは相違している。
（iv）色テーブルＤ５４０
色テーブルＤ５４０は、代表色抽出部１１により代表色が決定される場合に、画像が被写体及び背景を含むときにおいて代表色を抽出する際に用いるテーブルである。
【０１６６】
色テーブルＤ５４０は、図２６に示すように、複数のキー項目情報から構成される。各キー項目情報は、分類テーブルに含まれる分類情報に対応している。
各キー項目情報は、１個のキー項目及び複数個のデータ項目を含む。ここで、各データ項目は、画像から抽出される色に対応している。各データ項目は、色、被写体画素数、被写体決定区分、背景画素数、背景決定区分を含む。色は、画像から抽出される色を示し、被写体画素数は、画像の被写体部分から当該色が抽出される元になる画素の数を示し、被写体決定区分は、当該色を代表色として選択したか否かを示し、背景画素数は、画像の背景部分から当該色が抽出される元になる画素の数を示し、背景決定区分は、当該色を代表色として選択したか否かを示す。被写体決定区分が、「１」の場合には、当該色を選択したことを示し、「０」の場合には、当該色を選択しなかったことを示している。背景決定区分についても同様である。
【０１６７】
なお、色テーブルＡ５１０では、被写体、背景に関わらず、色毎に、画素数及び決定区分を含んでいるのに対して、色テーブルＤ５４０では、被写体、背景に分けて、色毎に、画素数及び決定区分を含んでいる点において、色テーブルＡ５１０と色テーブルＤ５４０とは相違している。
（閲覧モードの切換タイプ）
閲覧モードの切換タイプは、タイプ「Ａ」又は「Ｂ」のいずれか一方に設定される。
【０１６８】
切換タイプ「Ａ」は、画像数としきい値との比較により、代表色一覧画面を表示するか、又はサムネイル一覧を表示することを示す。
一方、切換タイプ「Ｂ」は、対象の全画像が、基準期間内に存在するか、否かにより、代表色一覧画面を表示するか、又はサムネイル一覧を表示することを示す。
（色対応テーブルＡ）
色対応テーブルＡ３００は、図２（ａ）に示すように、画像のタグと色とを対応付けるデータテーブルである。例えば、画像のタグ３０１「海」には、色３０２「青」が対応付けられている。
（色対応テーブルＢ）
色対応テーブルＢ３１０は、図２（ｂ）に示すように、画像のタグと色とを対応付けるデータテーブルである。例えば、画像のタグ３１１「自分」には、色３１２「青」が対応付けられている。
（日常／非日常の切換の有無）
日常／非日常の切換の有無は、日常の表示と非日常の表示を切り換えて表示するか、又はいずれか一方のみを表示するかを示すフラグである。
【０１６９】
このフラグが日常／非日常の切換が有ることを示す場合には、日常の表示と非日常の表示とが切り換えて表示され、このフラグが日常／非日常の切換がないことを示す場合には、日常の表示又は非日常の表示のいずれか一方が表示される。
（５）日常非日常設定部１４、閲覧範囲設定部３０及び情報設定部３２
日常非日常設定部１４は、記録装置５の記憶部５２に記憶されている画像ファイルについて、ユーザから日常又は非日常の区分を受け付け、受け付けた区分を記録装置５の記憶部５２に記憶されている当該画像ファイルの属性情報の中に設定するように、入出力部１８を介して、記録装置５に指示する。
【０１７０】
また、閲覧範囲設定部３０は、ユーザから閲覧範囲を受け付け、受け付けた閲覧範囲を含む閲覧範囲情報を記憶部１９に書き込む。
さらに、情報設定部３２は、ユーザから、表示モード、分類キーの選択、縦軸及び横軸の単位、分類期間、閲覧モードの切換タイプの設定、動作パターン、被写体と背景との塗り分けの指定、塗り分けタイプを受け付け、それぞれ、受け付けた表示モード、分類キー、縦軸及び横軸の単位、分類期間、閲覧モードの切換タイプ、動作パターン、被写体と背景との塗り分け、塗り分けタイプを記憶部１９に書き込む。
【０１７１】
（６）閲覧モード切換部３１
閲覧モード切換部３１は、記憶部１９から閲覧モードの切換タイプを読み出し、読み出した閲覧モードの切換タイプが「Ａ」であるか、「Ｂ」であるかを判断する。
上述したように、切換タイプ「Ａ」は、画像数としきい値との比較により、代表色一覧画面を表示するか、又はサムネイル一覧を表示することを示す。一方、切換タイプ「Ｂ」は、対象の全画像が、基準期間内に存在するか、否かにより、代表色一覧画面を表示するか、又はサムネイル一覧を表示することを示す。
【０１７２】
閲覧モードの切換タイプが「Ａ」である場合に、閲覧モード切換部３１は、一覧画面の表示対象である画像ファイルの数が、しきい値より大きいときは、閲覧モードを「代表色」に設定する。一方、一覧画面の表示対象である画像ファイルの数が、しきい値と等しい又はしきい値より小さいときは、閲覧モードを「サムネイル」に設定する。
閲覧モードの切換タイプが「Ｂ」である場合に、閲覧モード切換部３１は、一覧画面の表示対象である全ての画像ファイルの全ての撮影日時が、基準期間内であれば、閲覧モードを「サムネイル」に設定する。一方、一覧画面の表示対象である全ての画像ファイルの全ての撮影日時のうちの一つでも、基準期間外であれば、閲覧モードを「代表色」に設定する。
【０１７３】
（７）画像分類部１０
画像分類部１０は、記憶部１９から分類キーを読み出す。分類キーの一例は、図１２（ａ）〜（ｂ）に示す通りである。
画像分類部１０は、次に、記録装置５から、記憶部１９に記憶されている閲覧範囲情報により示される範囲内の全ての画像ファイルのファイルＩＤ及び属性情報（撮影日時情報、タグデータＡ及びタグデータＢ）を読み出し、読み出した全てのファイルＩＤ及び属性情報のセットを、記憶部１９から読み出した分類キーに従って分類し、分類されたファイルＩＤと属性情報のセットを分類テーブルとして記憶部１９へ書き込む。
【０１７４】
分類テーブルの一例は、図２０及び図２１に示す通りである。
（８）代表色抽出部１１
代表色抽出部１１は、記憶部１９から動作パターン情報を読み込む。動作パターン情報の一例は、図１４（ａ）〜（ｅ）に示す通りである。
次に、代表色抽出部１１は、読み込んだ動作パターン情報の内容に応じて、次に示すように動作する。
【０１７５】
（ａ）読み込んだ動作パターン情報の内容が「日常／非日常を区別しない」である場合に、記憶部１９に記憶されている表示モードが「時間軸で画像を整理するモード」であるときには、代表色抽出部１１は、後述するように、タグからの代表色の決定処理を行う。
読み込んだ動作パターン情報の内容が「日常／非日常を区別しない」である場合に、記憶部１９に記憶されている表示モードが「タグで画像を整理するモード」であるときには、代表色抽出部１１は、後述するように、画像データからの代表色の抽出処理を行う。
【０１７６】
（ｂ）読み込んだ動作パターン情報の内容が「非日常を抽出する」である場合に、代表色抽出部１１は、後述するように、非日常の画像データからの代表色の抽出処理を行う。
（ｃ）読み込んだ動作パターン情報の内容が「日常／非日常により塗り分ける」である場合、又は「日常／非日常により切り換える」である場合、代表色抽出部１１は、後述するように、日常／非日常ごとに代表色の抽出処理を行う。
【０１７７】
（ｄ）読み込んだ動作パターン情報の内容が「被写体／背景により塗り分ける」である場合、代表色抽出部１１は、後述するように、被写体／背景ごとに代表色の抽出処理を行う。
次に、代表色抽出部１１による代表色の抽出について説明する。
（ａ）画像データからの代表色の抽出
代表色抽出部１１による画像データからの代表色の抽出の詳細について説明する。
【０１７８】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブル（一例として、図２０に示す分類テーブルＡ４９０、又は図２１に示す分類テーブルＢ５００）に含まれている全てのファイルＩＤについて、次のステップ１〜６を繰り返す。
（ステップ１）代表色抽出部１１は、記憶部１９に記憶されている分類テーブルからファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出す。
【０１７９】
（ステップ２）代表色抽出部１１は、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５の記憶部５２から読み出す。
（ステップ３）代表色抽出部１１は、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成する。ここで、例えば、画像ファイルがＪＰＥＧ
（Joint Photographic Experts Group）形式であるなら、代表色抽出部１１は、可変長符号の復号、逆量子化、逆ＤＣＴ（Discrete Cosine Transform）などのプロセスを経て、画像データを生成する。
【０１８０】
（ステップ４）代表色抽出部１１は、生成した画像データから、全ての画素の色を抽出する。以下に、各画素の色の抽出方法の詳細について説明する。
ここで、代表色抽出部１１により抽出される色は、例えば、黒、紫、青、水色、緑、黄緑、黄色、橙色、赤及び白の１０種類のいずれかであるものとする。もちろん、これ以上の多くの種類の色を抽出するとしてもよいし、もっと少ない種類の色を抽出するとしてもよい。これらの色を基準色と呼ぶことにする。色空間をＲＧＢカラーモデルで表現し、仮に、Ｒ、Ｇ、Ｂの各色に４ビットを割り当てるとするなら、全体で4096色が表現可能となる。これら4096色のそれぞれをいずれかの基準色に割り当てる。ただし、この割り当ては、主観的なものである。このように4096色のそれぞれをいずれかの基準色に割り当てると、各基準色について、Ｒ、Ｇ、Ｂの値の範囲が定まる。これを基準色の色範囲と呼ぶことにする。
【０１８１】
代表色抽出部１１は、画素毎に、当該画素についての輝度及び２個の色差を、上述した輝度及び色差からＲＧＢへの変換式を用いて、Ｒ、Ｇ、Ｂのそれぞれの値に変換する。次に、得られたＲ、Ｇ、Ｂの値の組合せが、上記の複数の基準色の色範囲のうちの、どの色範囲に該当するかを判断し、該当する色範囲に対応する基準色を、当該画素の色とする。
（ステップ５）代表色抽出部１１は、色ごとに、画素数を計数する。
【０１８２】
（ステップ６）代表色抽出部１１は、図２３に示す色テーブルＡ５１０を生成し、色テーブルＡ５１０において、キー項目に対応付けて、色ごとに計数した前記画素数を加算する。［ステップ終了］
上記のステップ１〜６の繰り返しが終了すると、代表色抽出部１１は、色テーブルＡ５１０からキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、決定区分を「１」として色テーブルＡ５１０に書き込む。このようにして代表色が決定される。
【０１８３】
（ｂ）タグからの代表色の決定
代表色抽出部１１によるタグからの代表色の抽出の詳細について説明する。
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのキー項目について、キー項目ごとに、次のステップ１〜３を繰り返す。
（ステップ１）代表色抽出部１１は、１個のキー項目が対応付けられている全てのタグデータＡを分類テーブルから読み出す。
【０１８４】
（ステップ２）代表色抽出部１１は、読み出したタグデータＡについて、同一内容のものの数を計数し、図２４に示す色テーブルＢ５２０において、キー項目及びタグデータＡの内容に対応付けて前記計数値を書き込む。
（ステップ３）代表色抽出部１１は、色テーブルＢ５２０において、最も多い数が計数された内容に対応する色を選択し、選択した色を代表色とし、決定区分を「１」として色テーブルＢ５２０に書き込む。                  ［ステップ終了］
（ｃ）非日常の画像データからの代表色の抽出
代表色抽出部１１による非日常の画像データからの代表色の抽出の詳細について説明する。
【０１８５】
次に、図３５のステップＳ１８６に示す非日常の画像データからの代表色の抽出の動作の詳細について、図３８に示すフローチャートを用いて説明する。
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、次のステップ１〜６を繰り返す。
（ステップ１）代表色抽出部１１は、記憶部１９に記憶されている分類テーブルから、非日常の区分が対応付けられたファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出す。
【０１８６】
（ステップ２）代表色抽出部１１は、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５から読み出す。
（ステップ３）代表色抽出部１１は、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成する。
（ステップ４）代表色抽出部１１は、生成した画像データから、全ての画素の色を抽出する。
【０１８７】
（ステップ５）代表色抽出部１１は、色ごとに、画素数を計数する。
（ステップ６）代表色抽出部１１は、図２３に示す色テーブルＡ５１０において、キー項目に対応付けて、色ごとに計数した前記画素数を加算する。  ［ステップ終了］
記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、ステップ１〜６の繰り返しが終了すると、代表色抽出部１１は、色テーブルＡ５１０からキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、決定区分を「１」として色テーブルＡ５１０に書き込む。
【０１８８】
（ｄ）日常／非日常ごとの画像データからの代表色の抽出
代表色抽出部１１による非日常の画像データからの代表色の抽出の詳細について説明する。
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、次のステップＳ１〜６を繰り返す。
【０１８９】
（ステップ１）代表色抽出部１１は、記憶部１９に記憶されている分類テーブルから、ファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出す。
（ステップ２）代表色抽出部１１は、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５から読み出す。
（ステップ３）代表色抽出部１１は、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成する。
【０１９０】
（ステップ４）代表色抽出部１１は、生成した画像データから、全ての画素の色を抽出する。
（ステップ５）代表色抽出部１１は、色ごとに、画素数を計数する。
（ステップ６）代表色抽出部１１は、図２５に示す色テーブルＣ５３０において、キー項目に対応付けて、色ごとに及び日常／非日常ごとに、計数した前記画素数を加算する。［ステップ終了］
記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、ステップ１〜６の繰り返しが終了すると、代表色抽出部１１は、色テーブルＣ５３０から、日常／非日常ごとに及びキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、各決定区分を「１」として色テーブルＣ５３０に書き込む。
【０１９１】
（ｅ）被写体／背景ごとの画像データからの代表色の抽出
代表色抽出部１１による被写体／背景ごとの画像データからの代表色の抽出の詳細について説明する。
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、次のステップ１〜６を繰り返す。
【０１９２】
（ステップ１）代表色抽出部１１は、記憶部１９に記憶されている分類テーブルから、ファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出す。
（ステップ２）代表色抽出部１１は、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５から読み出す。
（ステップ３）代表色抽出部１１は、次に、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成する。
【０１９３】
（ステップ４）代表色抽出部１１は、生成した画像データから、全ての画素の色を抽出する。
（ステップ５）代表色抽出部１１は、色ごとに、画素数を計数する。
（ステップ６）代表色抽出部１１は、図２６に示す色テーブルＤ５４０において、キー項目に対応付けて、色ごとに及び被写体／背景ごとに、計数した前記画素数を加算する。［ステップ終了］
記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、ステップ１〜６の繰り返しが終了すると、代表色抽出部１１は、色テーブルＣ５３０から、被写体／背景ごとに及びキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、各決定区分を「１」として色テーブルＤ５４０に書き込む。
【０１９４】
（９）代表色配置部１２及び代表色切換部１６
（代表色配置部１２）
代表色配置部１２は、記憶部１９から軸情報を読み出し、表示すべき一覧画面上に横軸及び縦軸を描画し、横軸の目盛り及び縦軸の目盛りを描画し、読み出した軸情報に従って、横軸の目盛値及び縦軸の目盛値を描画する。
【０１９５】
次に、代表色配置部１２は、記憶部１９に記憶されている色テーブルに含まれるキー項目ごとに、以下に示すステップＳ１〜Ｓ２を繰り返す。
（ステップ１）代表色配置部１２は、記憶部１９に記憶されている色テーブル（色テーブルＡ、Ｂ又はＣ）からキー項目と決定された色とを順に読み出す。決定された色とは、決定区分として「１」が対応付けられているものである。ここで、代表色配置部１２は、代表色切換部１６から日常の表示の指示又は非日常の表示の指示を受け取った場合には、代表色切換部１６から受け取った日常の表示の指示又は非日常の表示の指示に従って、色テーブルＣの日常決定区分による色又は非日常決定区分による色を用いる。
【０１９６】
（ステップ２）代表色配置部１２は、表示すべき画面上において、キー項目に対応する位置に決定された色を描画する。      ［ステップ終了］
次に、代表色配置部１２による代表色の塗り分けについて説明する。
代表色配置部１２は、記憶部１９から塗り分けタイプを読み出す。
読み出した塗り分けタイプが「境界線」である場合に、代表色配置部１２は、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における境界線の描画位置を決定し、表示単位領域において、決定された境界線の両側をそれぞれの色で塗り分ける。図８（ａ）及び（ｂ）は、その一例を示している。
【０１９７】
読み出した塗り分けタイプが「グラデーションＡ」である場合に、代表色配置部１２は、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における境界線の描画位置を決定し、境界線を含むその近傍に一定幅の境界領域を設け、表示単位領域において、境界領域内にグラデーションを付けて色を塗り、決定された境界領域の両側をそれぞれの色で塗り分ける。図３０（ａ）及び（ｂ）は、その一例を示している。
【０１９８】
読み出した塗り分けタイプが「グラデーションＢ」である場合に、代表色配置部１２は、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における境界線の描画位置を決定し、境界線を含むその近傍に、日常的な状況の画像と非日常的な状況の画像の変化の緩急の程度に応じた幅を有する境界領域を設け、表示単位領域において、境界領域内にグラデーションを付けて色を塗り、決定された境界領域の両側をそれぞれの色で塗り分ける。図３０（ａ）〜（ｄ）は、その一例を示している。
【０１９９】
読み出した塗り分けタイプが「分散レイアウト」である場合に、代表色配置部１２は、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における背景領域と非日常領域との面積比を決定し、日常的な状況の画像と非日常的な状況の画像の変化の緩急の程度に応じた分散数を決定し、表示単位領域において、背景領域と非日常領域とをそれぞれの色で塗り分ける。図８（ｃ）及び（ｄ）は、その一例を示している。
（代表色切換部１６）
代表色切換部１６は、代表色配置部１２により一覧画面における配置が行われる前に、記憶部１９に記憶されている日常／非日常の切換の有無を判断し、切換が存在する場合に、内部に初期値として日常を表示するように設定し、初期値として、代表色配置部１２に日常により表示するように指示する。
【０２００】
代表色切換部１６は、代表色配置部１２による記憶部１９に記憶されている色テーブルに含まれる全てのキー項目について、上記のステップ１〜Ｓ２の繰り返しが終了すると、日常／非日常の切換の有無を判断する。
日常／非日常の切換が有る場合には、代表色切換部１６は、日常／非日常の切換を示すボタンを画面上に表示するように表示部１７を制御し、表示部１７は、ボタンを画面上に表示する。さらに、代表色切換部１６は、ユーザから切換えの指示の受け付けを待つ。切換えの指示の受け付けがされた場合、日常の設定がされている場合にはこれを非日常の設定に変更し、非日常の設定がされている場合にはこれを日常の設定に変更する。さらに、非日常の設定がされた場合には、代表色配置部１２に対して非日常の指示をし、日常の設定がされている場合には、代表色配置部１２に対して日常の指示をする。
【０２０１】
代表色切換部１６は、ユーザから切換えの指示の受け付けを待ち、切換えの指示の受け付けがない場合、代表色配置部１２に対して、処理を終了させる。
（１０）縮小画像生成部２０及び縮小画像配置部２１
縮小画像生成部２０は、記憶部１９に記憶されている分類テーブル（一例として、図２０に示す分類テーブルＡ４９０、又は図２１に示す分類テーブルＢ５００）に含まれている全てのファイルＩＤについて、次のステップ１〜４を繰り返す。
【０２０２】
（ステップ１）縮小画像生成部２０は、記憶部１９に記憶されている分類テーブルからファイルＩＤを読み出す。
（ステップ２）縮小画像生成部２０は、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５の記憶部５２から読み出す。
（ステップ３）縮小画像生成部２０は、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成する。
【０２０３】
（ステップ４）縮小画像生成部２０は、生成した画像データから縮小画像を生成し、生成した縮小画像を縮小画像配置部２１へ出力する。
縮小画像配置部２１は、縮小画像生成部２０から縮小画像を受け取り、受け取った縮小画像を画面上において配置する。
（１１）表示部１７、入出力部１８及び制御部２２
表示部１７は、一覧画面を表示する。
【０２０４】
入出力部１８は、画像閲覧装置４を構成する他の構成要素の指示より、記録装置５から画像ファイルを読み出し、又は、記録装置５へ情報を出力して記録させる。
制御部２２は、画像閲覧装置４を構成する他の構成要素を制御する。
３．４  画像閲覧装置４の動作
画像閲覧装置４の動作について、図３１〜図４３に示すフローチャートを用いて説明する。
【０２０５】
（１）画像閲覧装置４の全体の動作
画像閲覧装置４の全体の動作について、図３１に示すフローチャートを用いて説明する。
制御部２２の制御により、閲覧範囲設定部３０、情報設定部３２及び日常非日常設定部１４は、設定の処理を行う（ステップＳ１０１）。
【０２０６】
次に、制御部２２の制御により、画像分類部１０は、画像ファイルを分類し（ステップＳ１０２）、縮小画像生成部２０は、縮小画像を生成し（ステップＳ１０３）、縮小画像配置部２１は、生成された縮小画像を配置する（ステップＳ１０４）。
一方、制御部２２の制御により、ステップＳ１０２〜Ｓ１０４と並列して、画像分類部１０は、画像ファイルを分類し（ステップＳ１０５）、代表色抽出部１１は、代表色を抽出し（ステップＳ１０６）、代表色配置部１２は、代表色を配置する（ステップＳ１０７）。
【０２０７】
次に、制御部２２の制御により、閲覧モード切換部３１は、サムネイル閲覧モード及び代表色閲覧モードのいずれかの選択処理をし（ステップＳ１０８）、閲覧モードが「サムネイル閲覧モード」である場合には（ステップＳ１０９）、表示部１７は、サムネイル閲覧モードによる表示を行う（ステップＳ１１０）。一方、閲覧モードが「代表色閲覧モード」である場合には（ステップＳ１０９）、表示部１７は、代表色閲覧モードによる表示を行う（ステップＳ１１１）。
【０２０８】
次に、制御部２２の制御により、情報設定部３２は、ユーザ操作を受け付ける（ステップＳ１１２）。ユーザ操作が終了を示す場合には（ステップＳ１１３）、画像閲覧装置４は、処理を終了する。ユーザ操作が設定の変更を示す場合には（ステップＳ１１３）、ステップＳ１０１へ戻って処理を繰り返す。ユーザ操作が閲覧モードの切換えを示す場合には（ステップＳ１１３）、閲覧モードを反転し（ステップＳ１１４）、ステップＳ１０９へ戻って処理を繰り返す。
【０２０９】
（２）設定処理の動作
図３１のステップＳ１０１に示す設定処理の動作の詳細について、図３２に示すフローチャートを用いて説明する。
情報設定部３２は、ユーザから表示モードを受け付け（ステップＳ１２１）、閲覧範囲設定部３０は、ユーザから閲覧範囲を受け付ける（ステップＳ１２２）。
【０２１０】
次に、情報設定部３２は、ユーザから分類キーの選択を受け付け（ステップＳ１２３）、縦軸及び横軸の単位を受け付け（ステップＳ１２４）、分類期間を受け付け（ステップＳ１２５）、閲覧モードの切換タイプの設定を受け付け（ステップＳ１２６）、動作パターンを受け付ける（ステップＳ１２７）。
次に、日常非日常設定部１４は、各画像ファイルについて、日常又は非日常の区分を受け付け、記録装置５の記憶部５２に設定する（ステップＳ１２８）。
【０２１１】
次に、情報設定部３２は、被写体と背景との塗り分けの指定を受け付け（ステップＳ１２９）、塗り分けタイプを受け付ける（ステップＳ１３０）。
（３）閲覧モードの選択処理の動作
図３１のステップＳ１０８に示す閲覧モードの選択処理の動作の詳細について、図３３に示すフローチャートを用いて説明する。
【０２１２】
閲覧モード切換部３１は、記憶部１９から閲覧モードの切換タイプを読み出す（ステップＳ１４１）。
閲覧モードの切換タイプが「Ａ」である場合に（ステップＳ１４２）、閲覧モード切換部３１は、一覧画面の表示対象である画像ファイルの数が、しきい値より大きいときは、閲覧モードを「代表色」に設定する（ステップＳ１４４）。一方、一覧画面の表示対象である画像ファイルの数が、しきい値と等しい又はしきい値より小さいときは、閲覧モードを「サムネイル」に設定する（ステップＳ１４５）。
【０２１３】
閲覧モードの切換タイプが「Ｂ」である場合に（ステップＳ１４２）、閲覧モード切換部３１は、一覧画面の表示対象である全ての画像ファイルの全ての撮影日時が、基準期間内であれば、閲覧モードを「サムネイル」に設定する（ステップＳ１４８）。一方、一覧画面の表示対象である全ての画像ファイルの全ての撮影日時のうちの一つでも、基準期間外であれば、閲覧モードを「代表色」に設定する（ステップＳ１４７）。
【０２１４】
（４）画像ファイルの分類の動作
図３１のステップＳ１０２及びＳ１０５に示す画像ファイルの分類の動作の詳細について、図３４に示すフローチャートを用いて説明する。
画像分類部１０は、記憶部１９から分類キーを読み出し（ステップＳ１６１）、記録装置５から、記憶部１９に記憶されている閲覧範囲情報により示される範囲内の全ての画像ファイルのファイルＩＤ及び属性情報（撮影日時情報、タグデータＡ及びタグデータＢ）を読み出し（ステップＳ１６２）、読み出した全てのファイルＩＤ及び属性情報のセットを、記憶部１９から読み出した分類キーに従って分類し（ステップＳ１６３）、分類されたファイルＩＤと属性情報のセットを分類テーブルとして記憶部１９へ書き込む（ステップＳ１６４）。
【０２１５】
（５）代表色の抽出の動作
図３１のステップＳ１０６に示す代表色の抽出の動作の詳細について、図３５に示すフローチャートを用いて説明する。
代表色抽出部１１は、記憶部１９から動作パターン情報を読み込み（ステップＳ１８１）、読み込んだ動作パターン情報の内容が「日常／非日常を区別しない」である場合に（ステップＳ１８２）、さらに、記憶部１９に記憶されている表示モードが「時間軸で画像を整理するモード」である場合には（ステップＳ１８３）、タグからの代表色の決定処理を行う（ステップＳ１８４）。
【０２１６】
読み込んだ動作パターン情報の内容が「日常／非日常を区別しない」である場合に（ステップＳ１８２）、さらに、記憶部１９に記憶されている表示モードが「タグで画像を整理するモード」である場合には（ステップＳ１８３）、代表色抽出部１１は、画像データからの代表色の抽出処理を行う（ステップＳ１８５）。
読み込んだ動作パターン情報の内容が「非日常を抽出する」である場合に（ステップＳ１８２）、代表色抽出部１１は、非日常の画像データからの代表色の抽出処理を行う（ステップＳ１８６）。
【０２１７】
読み込んだ動作パターン情報の内容が「日常／非日常により塗り分ける」である場合、又は「日常／非日常により切り換える」である場合（ステップＳ１８２）、代表色抽出部１１は、日常／非日常ごとに代表色の抽出処理を行う（ステップＳ１８７）。
読み込んだ動作パターン情報の内容が「被写体／背景により塗り分ける」である場合（ステップＳ１８２）、代表色抽出部１１は、被写体／背景ごとに代表色の抽出処理を行う（ステップＳ１８８）。
【０２１８】
（ｉ）画像データからの代表色の抽出の動作
次に、図３５のステップＳ１８５に示す画像データからの代表色の抽出の動作の詳細について、図３６に示すフローチャートを用いて説明する。
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、次のステップＳ２０２〜Ｓ２０７を繰り返す（ステップＳ２０１〜Ｓ２０８）。
【０２１９】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルからファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出し（ステップＳ２０２）、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５から読み出す（ステップＳ２０３）。次に、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成し（ステップＳ２０４）、生成した画像データから、全ての画素の色を抽出し（ステップＳ２０５）、色ごとに、画素数を計数し（ステップＳ２０６）、図２３に示す色テーブルＡ５１０において、キー項目に対応付けて、色ごとに計数した前記画素数を加算する（ステップＳ２０７）。
【０２２０】
記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、ステップＳ２０２〜Ｓ２０７の繰り返しが終了すると、代表色抽出部１１は、色テーブルＡ５１０からキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、決定区分を「１」として色テーブルＡ５１０に書き込む（ステップＳ２０９）。
【０２２１】
（ii）タグからの代表色の決定の動作
次に、図３５のステップＳ１８４に示すタグからの代表色の決定の動作の詳細について、図３７に示すフローチャートを用いて説明する。
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのキー項目について、キー項目ごとに、次のステップＳ２２２〜Ｓ２２４を繰り返す（ステップＳ２２１〜Ｓ２２５）。
【０２２２】
代表色抽出部１１は、１個のキー項目が対応付けられている全てのタグデータＡを分類テーブルから読み出す（ステップＳ２２２）。次に、読み出したタグデータＡについて、同一内容のものの数を計数し、図２４に示す色テーブルＢ５２０において、キー項目及びタグデータＡの内容に対応付けて前記計数値を書き込む（ステップＳ２２３）。次に、色テーブルＢにおいて、最も多い数が計数された内容に対応する色を選択し、選択した色を代表色とし、決定区分を「１」として色テーブルＢ５２０に書き込む（ステップＳ２２４）。
【０２２３】
（iii ）非日常の画像データからの代表色の抽出の動作
次に、図３５のステップＳ１８６に示す非日常の画像データからの代表色の抽出の動作の詳細について、図３８に示すフローチャートを用いて説明する。
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、次のステップＳ２０２ａ〜Ｓ２０７を繰り返す（ステップＳ２０１〜Ｓ２０８）。
【０２２４】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルから、非日常の区分が対応付けられたファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出し（ステップＳ２０２ａ）、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５から読み出す（ステップＳ２０３）。次に、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成し（ステップＳ２０４）、生成した画像データから、全ての画素の色を抽出し（ステップＳ２０５）、色ごとに、画素数を計数し（ステップＳ２０６）、図２３に示す色テーブルＡ５１０において、キー項目に対応付けて、色ごとに計数した前記画素数を加算する（ステップＳ２０７）。
【０２２５】
記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、ステップＳ２０２ａ〜Ｓ２０７の繰り返しが終了すると、代表色抽出部１１は、色テーブルＡ５１０からキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、決定区分を「１」として色テーブルＡ５１０に書き込む（ステップＳ２０９）。
【０２２６】
（iv）日常／非日常ごとに画像データから代表色を抽出する動作
次に、図３５のステップＳ１８７に示す日常／非日常ごとに画像データから代表色を抽出する動作の詳細について、図３９に示すフローチャートを用いて説明する。
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、次のステップＳ２０２〜Ｓ２０７ｂを繰り返す（ステップＳ２０１〜Ｓ２０８）。
【０２２７】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルから、ファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出し（ステップＳ２０２）、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５から読み出す（ステップＳ２０３）。次に、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成し（ステップＳ２０４）、生成した画像データから、全ての画素の色を抽出し（ステップＳ２０５）、色ごとに、画素数を計数し（ステップＳ２０６）、図２５に示す色テーブルＣ５３０において、キー項目に対応付けて、色ごとに及び日常／非日常ごとに、計数した前記画素数を加算する（ステップＳ２０７ｂ）。
【０２２８】
記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、ステップＳ２０２〜Ｓ２０７ｂの繰り返しが終了すると、代表色抽出部１１は、色テーブルＣ５３０から、日常／非日常ごとに及びキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、各決定区分を「１」として色テーブルＣ５３０に書き込む（ステップＳ２０９ｂ）。
【０２２９】
（ｖ）被写体／背景ごとに画像データから代表色を抽出する動作
次に、図３５のステップＳ１８８に示す被写体／背景ごとに画像データから代表色を抽出する動作の詳細について、図４０に示すフローチャートを用いて説明する。
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、次のステップＳ２０２〜Ｓ２０７ｃを繰り返す（ステップＳ２０１〜Ｓ２０８）。
【０２３０】
代表色抽出部１１は、記憶部１９に記憶されている分類テーブルから、ファイルＩＤ及び当該ファイルＩＤに対応するキー項目を読み出し（ステップＳ２０２）、読み出したファイルＩＤにより識別される画像ファイルの圧縮画像データを記録装置５から読み出す（ステップＳ２０３）。次に、読み出した圧縮画像データを伸張し、複数の画素から構成される画像データを生成し（ステップＳ２０４）、生成した画像データから、全ての画素の色を抽出し（ステップＳ２０５）、色ごとに、画素数を計数し（ステップＳ２０６）、図２６に示す色テーブルＤ５４０において、キー項目に対応付けて、色ごとに及び被写体／背景ごとに、計数した前記画素数を加算する（ステップＳ２０７ｃ）。
【０２３１】
記憶部１９に記憶されている分類テーブルに含まれている全てのファイルＩＤについて、ステップＳ２０２〜Ｓ２０７ｃの繰り返しが終了すると、代表色抽出部１１は、色テーブルＣ５３０から、被写体／背景ごとに及びキー項目ごとに、最も多い画素数に対応する色を選択し、選択した色を代表色とし、各決定区分を「１」として色テーブルＤ５４０に書き込む（ステップＳ２０９ｃ）。
【０２３２】
（６）代表色の配置の動作
図３１のステップＳ１０７に示す代表色の配置の動作の詳細について、図４１〜図４２に示すフローチャートを用いて説明する。
代表色配置部１２は、記憶部１９から軸情報を読み出し（ステップＳ２３１）、表示すべき画面上に横軸及び縦軸を描画し（ステップＳ２３２）、横軸の目盛り及び縦軸の目盛りを描画し（ステップＳ２３３）、読み出した軸情報に従って、横軸の目盛値及び縦軸の目盛値を描画する（ステップＳ２３４）。
【０２３３】
次に、代表色切換部１６は、記憶部１９に記憶されている日常／非日常の切換の有無を判断し、切換が存在する場合に（ステップＳ２３５）、内部に初期値として日常を表示するように設定し、代表色配置部１２に日常により表示するように指示する（ステップＳ２３６）。
次に、代表色配置部１２は、記憶部１９に記憶されている色テーブルに含まれるキー項目ごとに、以下に示すステップＳ２３８〜Ｓ２３９を繰り返す（ステップＳ２３７〜Ｓ２４０）。
【０２３４】
代表色配置部１２は、記憶部１９に記憶されている色テーブル（色テーブルＡ、Ｂ又はＣ）からキー項目と決定された色とを順に読み出す。ここで、代表色配置部１２は、代表色切換部１６から日常の表示の指示又は非日常の表示の指示を受け取った場合には、代表色切換部１６から受け取った日常の表示の指示又は非日常の表示の指示に従って、色テーブルＣの日常決定区分による色又は非日常決定区分による色を用いる（ステップＳ２３８）。次に、代表色配置部１２は、表示すべき画面上において、キー項目に対応する位置に決定された色を描画する（ステップＳ２３９）。
【０２３５】
次に、代表色配置部１２による記憶部１９に記憶されている色テーブルに含まれる全てのキー項目について、ステップＳ２３８〜Ｓ２３９の繰り返しが終了すると、代表色切換部１６は、日常／非日常の切換の有無を判断し、切換がない場合には（ステップＳ２４１）、代表色配置部１２は、処理を終了する。
日常／非日常の切換が有る場合には（ステップＳ２４１）、代表色切換部１６は、日常／非日常の切換を示すボタンを画面上に表示するように表示部１７を制御し、表示部１７は、ボタンを画面上に表示し（ステップＳ２４２）、代表色切換部１６は、ユーザから切換えの指示の受け付けを待つ。切換えの指示の受け付けがされた場合（ステップＳ２４３）、日常の設定がされている場合には非日常の設定に変更し、非日常の設定がされている場合には日常の設定に変更する。非日常の設定がされた場合には、代表色配置部１２に対して非日常の指示をし、日常の設定がされている場合には、代表色配置部１２に対して日常の指示をし（ステップＳ２４４）、ステップＳ２３７へ戻って処理を繰り返すように、代表色配置部１２を制御する。
【０２３６】
代表色切換部１６は、ユーザから切換えの指示の受け付けを待ち、切換えの指示の受け付けがない場合（ステップＳ２４３）、代表色配置部１２は、処理を終了する。
次に、代表色配置部１２による代表色の塗り分けの動作について、図４３に示すフローチャートを用いて説明する。この動作は、図４１に示すフローチャートのステップＳ２３９内において行われる。
【０２３７】
代表色配置部１２は、記憶部１９から塗り分けタイプを読み出し、読み出した塗り分けタイプが「境界線」である場合に（ステップＳ３００）、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における境界線の描画位置を決定し（ステップＳ３０１）、表示単位領域において、決定された境界線の両側をそれぞれの色で塗り分ける（ステップＳ３０２）。
【０２３８】
読み出した塗り分けタイプが「グラデーションＡ」である場合に（ステップＳ３００）、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における境界線の描画位置を決定し（ステップＳ３０３）、境界線を含むその近傍に一定幅の境界領域を設け（ステップＳ３０４）、表示単位領域において、境界領域内にグラデーションを付けて色を塗り（ステップＳ３０５）、決定された境界領域の両側をそれぞれの色で塗り分ける（ステップＳ３０６）。
【０２３９】
読み出した塗り分けタイプが「グラデーションＢ」である場合に（ステップＳ３００）、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における境界線の描画位置を決定し（ステップＳ３０７）、境界線を含むその近傍に、日常的な状況の画像と非日常的な状況の画像の変化の緩急の程度に応じた幅を有する境界領域を設け（ステップＳ３０８）、表示単位領域において、境界領域内にグラデーションを付けて色を塗り（ステップＳ３０９）、決定された境界領域の両側をそれぞれの色で塗り分ける（ステップＳ３１０）。
【０２４０】
読み出した塗り分けタイプが「分散レイアウト」である場合に（ステップＳ３００）、日常的な状況の画像の数と非日常的な状況の画像の数の比率により、表示単位領域における背景領域と非日常領域との面積比を決定し（ステップＳ３１１）、日常的な状況の画像と非日常的な状況の画像の変化の緩急の程度に応じた分散数を決定し（ステップＳ３１２）、表示単位領域において、背景領域と非日常領域とをそれぞれの色で塗り分ける（ステップＳ３１３）。
４．まとめ
以上説明したように、本発明は、複数画像を所定の基準に従って画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、さらに、画像に埋め込まれた撮影日時情報あるいは画像に関連付けて記録された撮影日時情報から撮影日時を取得する撮影日時取得手段とを備え、前記画像分類手段は前記撮影日時取得手段により取得された撮影日時により複数画像を所定の期間毎の画像群に分類し、前記代表色配置手段は前記代表色を前記所定の期間に対応させて配置することを特徴とする画像閲覧装置である。
【０２４１】
ここで、代表色配置手段は縦軸および横軸を各々上位あるいは下位の時間単位に対応させて代表色を２次元に配置するとしてもよい。
また、本発明は、複数画像を所定の基準に従って画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、さらに、画像が撮影された状況が日常的か非日常的かを画像に設定する日常非日常設定手段とを備え、前記代表色抽出手段は前記画像群に含まれる画像のうち日常と設定された画像あるいは非日常と設定された画像のいずれか一方を対象として代表色を抽出可能であることを特徴とする画像閲覧装置である。
【０２４２】
ここで、前記代表色抽出手段は非日常と設定された画像を対象とした代表色のみを抽出するとしてもよい。
ここで、前記代表色抽出手段は、日常と設定された画像を対象とした第一の代表色と、非日常と設定された画像を対象とした第二の代表色とを抽出し、前記代表色配置手段は、前記第一の代表色と前記第二の代表色とを塗り分けて表示するとしてもよい。
【０２４３】
ここで、前記代表色抽出手段は、日常と設定された画像を対象とした第一の代表色と、非日常と設定された画像を対象とした第二の代表色とを抽出し、前記代表色配置手段は、前記第一の代表色と前記第二の代表色とを切り換えて表示する
としてもよい。
また、本発明は、複数画像を所定の基準に従って画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、さらに、画像を整理して表示する方法である表示モードの切り換えを設定管理する表示モード管理手段と、前記表示モードに応じて代表色の決定方式を切り換える代表色切換手段とを備え、前記代表色抽出手段は前記代表色切換手段により切り換え設定された決定方式に従って代表色を抽出することを特徴とする画像閲覧装置である。
【０２４４】
ここで、前記表示モード管理手段で設定管理される表示モードが、時間軸で画像を整理して表示するモードと画像に関連付けられた付加情報で画像を整理して表示するモードとの間で切り換えられるとしてもよい。
ここで、前記代表色抽出手段は、前記画像群に含まれる代表色抽出の対象画像で最も主要な色を代表色として抽出するとしてもよい。
【０２４５】
ここで、前記画像閲覧装置はさらに、画像に関連付けられる付加情報と色とを対応づけて管理する色対応管理手段を備え、前記代表色抽出手段は、前記画像群に含まれる代表色抽出の対象画像に最も多く関連付けられた付加情報に前記色対応管理手段により対応付けられた色を代表色として抽出するとしてもよい。
また、本発明は、複数画像を所定の基準に従って画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段とを備え、前記代表色抽出手段は複数の条件に対応する複数の色を代表色として抽出し、前記代表色配置手段は前記複数の代表色を塗り分けて表示することを特徴とする画像閲覧装置である。
【０２４６】
ここで、前記代表色配置手段は、前記画像群に含まれる画像のうち前記複数の条件に合致する画像数の比率に合わせて前記複数の代表色を塗り分けて表示するとしてもよい。
ここで、前記代表色配置手段は、前記複数の代表色を徐々に変化させて塗り分けて表示し、かつ、前記画像群に含まれる画像のうち前記複数の条件に合致する画像の分布に応じて塗り分けの変化の緩急を調整するとしてもよい。
【０２４７】
ここで、前記代表色配置手段は、前記画像群に含まれる画像のうち前記複数の条件に合致する画像の分布に応じて前記複数の代表色の塗り分けのパターンを可変とするとしてもよい。
また、本発明は、複数画像を所定の基準に従って画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段とを備え、前記代表色抽出手段は複数の条件に対応する複数の色を代表色として抽出し、前記代表色配置手段は前記複数の代表色を切り換えて表示することを特徴とする画像閲覧装置である。
【０２４８】
ここで、前記代表色配置手段は、前記画像群に含まれる画像のうち前記複数の条件に合致する画像の分布に応じて前記複数の代表色の切り換えのパターンを可変としてもよい。
また、本発明は、複数画像を所定の基準に従って画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段とを備え、前記代表色抽出手段は、前記画像群に関する複数の情報の各々を所定の表色系の異なる色成分に割り当てて代表色を合成することにより代表色を決定することを特徴とする画像閲覧装置である。
【０２４９】
ここで、前記所定の表色系は色相、明度、彩度からなる表色系であって、前記代表色抽出手段は、前記画像群に関する複数の情報の各々を色相、明度、彩度のいずれかに割り当てて代表色を合成することにより代表色を決定するとしてもよい。
また、本発明は、複数画像を所定の基準に従って画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、画像を縮小して縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段によって生成された縮小画像を配置して表示する縮小画像配置手段と、閲覧の対象である画像の範囲であるところの閲覧範囲を設定する閲覧範囲設定手段と、前記閲覧範囲設定手段によって設定された前記閲覧範囲に応じて、前記代表色配置手段による表示と前記縮小画像配置手段による表示とを切り換える閲覧モード切換手段とを備えることを特徴とする画像閲覧装置である。
【０２５０】
ここで、前記閲覧モード切換手段は、前記閲覧範囲設定手段で設定された閲覧範囲に含まれる画像数が所定の枚数以内か否かに応じて、前記代表色配置手段による表示と前記縮小画像配置手段による表示とを切り換えるとしてもよい。
ここで、前記閲覧モード切換手段は、前記閲覧範囲設定手段で設定された閲覧範囲に含まれる画像の撮影日時が所定の長さの期間以内か否かに応じて、前記代表色配置手段による表示と前記縮小画像配置手段による表示とを切り換えるとしてもよい。
【０２５１】
以上の構成により、複数画像を所定の基準に従って分類した画像群毎に代表色を抽出して、代表色によって画像群を表現することに加え、撮影日時で複数画像を所定の期間毎に分類してこの期間に対応させて配置することにより、例えば年毎など、時期毎の変化を一覧して把握が容易になる。
また、画像が撮影された状況が日常的か非日常的かを画像に設定し、いずれか一方に設定された画像を対象として代表色を抽出することにより、普段の傾向や特別な場合の内容を一覧して把握しやすくなる。
【０２５２】
また、画像の表示モードの切り換えに応じて代表色の決定方式を切り換えることによって、閲覧状態に応じたより適切な代表色を提示することができるようになる。
また、複数の条件に対応する複数の色を代表色として抽出して表示する、あるいは、複数の情報の各々を所定の表色系の異なる色成分に割り当てて代表色を合成して表示することにより、多数の画像を色で代表させながらも、単純に一つの情報を単色で表示する場合に比べて多くの情報を提示することができる。
【０２５３】
また、閲覧の対象である画像の範囲に応じて代表色の表示と縮小画像の表示とを切り換えることにより、閲覧対象の画像量に応じたより適切な表示で画像を閲覧することができる。
また、本発明は、複数の画像を所定の基準に従って１以上の画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、各画像に埋め込まれた撮影日時情報又は画像に関連付けて記録された撮影日時情報から撮影日時を取得する撮影日時取得手段とを備え、前記画像分類手段は、前記撮影日時取得手段により取得された撮影日時により前記画像を所定の期間毎の前記画像群に分類し、前記代表色配置手段は、前記代表色を前記所定の期間に対応させて配置することを特徴とする。
【０２５４】
ここで、前記代表色配置手段は、縦軸及び横軸を各々時間の経過に対応させ、縦軸及び横軸により構成される平面上で、各画像群が属する期間に相応する位置において、当該代表色を２次元に配置してもよい。
また、本発明は、画像閲覧装置であって、複数の画像を所定の基準に従って１以上の画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、各画像が撮影された状況が日常的か非日常的かを画像毎に設定する日常非日常設定手段とを備え、前記代表色抽出手段は、前記画像群に含まれる画像のうち日常と設定された画像又は非日常と設定された画像のいずれか一方を対象として代表色を抽出することを特徴とする。
【０２５５】
ここで、前記代表色抽出手段は、非日常と設定された画像のみを対象として前記代表色を抽出してもよい。
ここで、前記代表色抽出手段は、前記代表色として、日常と設定された画像を対象とする第一の代表色と、非日常と設定された画像を対象とする第二の代表色とを抽出し、前記代表色配置手段は、前記第一の代表色と前記第二の代表色とを塗り分けて表示してもよい。
【０２５６】
ここで、前記代表色抽出手段は、前記代表色として、日常と設定された画像を対象とする第一の代表色と、非日常と設定された画像を対象とする第二の代表色とを抽出し、前記代表色配置手段は、前記第一の代表色と前記第二の代表色とを切り換えて表示してもよい。
また、本発明は、複数の画像を所定の基準に従って１以上の画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、各画像を整理して表示する複数の方法をそれぞれ示す複数の表示モードの切り換えを管理する表示モード管理手段と、表示モードに応じて代表色の決定方式を切り換える代表色切換手段とを備え、前記代表色抽出手段は前記代表色切換手段により切り換え設定された決定方式に従って代表色を抽出することを特徴とする。
【０２５７】
ここで、前記各画像を整理して表示する複数の方法のうちの一は、時間軸で画像を整理して表示する方法であり、他の一は、画像に関連付けられた付加情報で画像を整理して表示する方法であり、前記表示モード管理手段は、時間軸で画像を整理して表示するモードと、画像に関連付けられた付加情報で画像を整理して表示するモードとを切り換えてもよい。
【０２５８】
ここで、前記代表色抽出手段は、前記画像群に含まれる代表色抽出の対象画像で最も主要な色を代表色として抽出してもよい。
ここで、前記画像閲覧装置は、さらに、各画像に対応付けて、当該画像に関連付けられる付加情報と色とを管理する色対応管理手段を備え、前記代表色抽出手段は、前記色対応管理手段により、前記画像群に含まれる代表色抽出の対象とする画像に最も多く関連付けられた付加情報に対応付けられた色を前記代表色として抽出してもよい。
【０２５９】
また、本発明は、複数の画像を所定の基準に従って１以上の画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段とを備え、前記代表色抽出手段は、複数の条件に対応する複数の色を代表色として抽出し、前記代表色配置手段は、前記複数の代表色を塗り分けて表示してもよい。
【０２６０】
ここで、前記代表色配置手段は、前記画像群に含まれる画像のうち前記複数の条件に合致する画像数の比率に合わせて前記複数の代表色を塗り分けて表示してもよい。
ここで、前記代表色配置手段は、前記複数の代表色を徐々に変化させて塗り分けて表示し、かつ、前記画像群に含まれる画像のうち前記複数の条件に合致する画像の分布に応じて塗り分けの変化の緩急を調整してもよい。
【０２６１】
ここで、前記代表色配置手段は、前記画像群に含まれる画像のうち前記複数の条件に合致する画像の分布に応じて前記複数の代表色の塗り分けのパターンを可変とてもよい。
また、本発明は、複数の画像を所定の基準に従って１以上の画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段とを備え、前記代表色抽出手段は複数の条件に対応する複数の色を代表色として抽出し、前記代表色配置手段は前記複数の代表色を切り換えて表示してもよい。
【０２６２】
ここで、前記代表色配置手段は、前記画像群に含まれる画像のうち前記複数の条件に合致する画像の分布に応じて前記複数の代表色の切り換えのパターンを可変としてもよい。
また、本発明は、複数の画像を所定の基準に従って１以上の画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段とを備え、前記代表色抽出手段は、前記画像群に関する複数の情報の各々を所定の表色系の異なる色成分に割り当てて代表色を合成することにより代表色を決定してもよい。
【０２６３】
ここで、前記所定の表色系は色相、明度、彩度からなる表色系であって、前記代表色抽出手段は、前記画像群に関する複数の情報の各々を色相、明度、彩度のいずれかに割り当てて代表色を合成することにより代表色を決定してもよい。
また、本発明は、複数の画像を所定の基準に従って１以上の画像群に分類する画像分類手段と、前記画像分類手段によって得られた前記画像群毎に代表色を抽出する代表色抽出手段と、前記代表色抽出手段によって抽出された前記代表色を配置して表示する代表色配置手段と、画像を縮小して縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段によって生成された縮小画像を配置して表示する縮小画像配置手段と、閲覧の対象である画像を示す閲覧範囲を設定する閲覧範囲設定手段と、前記閲覧範囲設定手段によって設定された前記閲覧範囲に応じて、前記代表色配置手段による表示と前記縮小画像配置手段による表示とを切り換える閲覧モード切換手段とを備えることを特徴とする。
【０２６４】
ここで、前記閲覧モード切換手段は、前記閲覧範囲設定手段で設定された閲覧範囲に含まれる画像数が所定の枚数以内か否かに応じて、前記代表色配置手段による表示と前記縮小画像配置手段による表示とを切り換えてもよい。
ここで、前記閲覧モード切換手段は、前記閲覧範囲設定手段で設定された閲覧範囲に含まれる画像の撮影日時が所定の長さの期間内に含まれるか否かに応じて、前記代表色配置手段による表示と前記縮小画像配置手段による表示とを切り換えてもよい。
【０２６５】
以上のように、本発明の画像閲覧装置及び方法によれば、限られた大きさの表示領域において効率的に大量の画像の内容を俯瞰的に把握することが可能となる。
５．その他の変形例
以上、本発明の画像閲覧装置の実施の形態についていくつかの例を挙げて説明したが、具体的な実施の形態はここで述べたものには限定されず、その他の実施の形態であっても、本発明の適用対象である。
【０２６６】
以下のような場合も本発明に含まれる。
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレィユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。つまり、前記マイクロプロセッサは、前記コンピュータプログラムに含まれる各命令を１個ずつ読み出し、読み出した命令を解読し、解読結果に従って動作する。
【０２６７】
（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０２６８】
また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。また、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field 
Programmable Gate Array）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０２６９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
【０２７０】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
【０２７１】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
【０２７２】
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０２７３】
本発明に係る画像閲覧装置は、大量の画像の内容を色によって表現して提示する機能を有する画像閲覧装置として有用である。
【符号の説明】
【０２７４】
１    画像閲覧装置
２    画像閲覧装置
４    画像閲覧装置
５    記録装置
６    画像閲覧システム
１０    画像分類部
１１    代表色抽出部
１２    代表色配置部
１３    撮影日時取得部
１４    日常非日常設定部
１５    表示モード管理部
１６    代表色切換部
１７    表示部
１８    入出力部
１９    記憶部
２０    縮小画像生成部
２１    縮小画像配置部
２２    制御部
３０    閲覧範囲設定部
３１    閲覧モード切換部
３２    情報設定部
５１    入出力部
５２    記憶部
１００  代表色表示部
１０１  縮小画像表示部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の撮影された画像を取得する画像取得手段と、
同一の期間内に撮影された画像が同一の画像群に属するように、取得した前記複数の画像を、各画像の撮影時を基に複数の期間に分類して、複数個の画像群を生成する画像分類手段と、
前記画像群毎に当該画像群を代表する１又は複数の代表色を抽出する色抽出手段と、
抽出された前記代表色を、閲覧画面上において、当該代表色に対応する期間により定まる位置に配置する色配置手段と、
前記代表色が配置された前記閲覧画面を表示する画面表示手段と
を備えることを特徴とする画像閲覧装置。
【請求項２】
前記閲覧画面は、第１軸及び第２軸により構成される座標平面を有し、第１軸は、所定の第１時間単位による時間の経過に対応し、第２軸は、第１時間単位を細分化して得られる第２時間単位による時間の経過に対応し、
前記色配置手段は、前記座標平面上において、当該代表色に対応する期間が属する第１時間単位に対応する領域内であって、当該期間が属する第２時間単位に対応する位置に当該代表色を配置する
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項３】
前記画像取得手段により取得される各画像には、当該画像が日常的な状況で撮影されたか、又は非日常的な状況で撮影されたかが設定されており、
前記色抽出手段は、前記画像群に含まれる画像のうち、日常的な状況で撮影されたと設定された画像及び非日常的な状況で撮影されたと設定された画像のいずれか一方又は両方を対象として前記代表色を抽出する
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項４】
前記色抽出手段は、非日常的な状況で撮影されたと設定された画像のみを対象として前記代表色を抽出する
ことを特徴とする請求項３に記載の画像閲覧装置。
【請求項５】
前記色抽出手段は、前記代表色として、日常的な状況で撮影されたと設定された画像を対象とする第一の代表色と、非日常的な状況で撮影されたと設定された画像を対象とする第二の代表色とを抽出し、
前記色配置手段は、前記位置において、前記第一の代表色と前記第二の代表色とを塗り分けて配置する
ことを特徴とする請求項３に記載の画像閲覧装置。
【請求項６】
前記色抽出手段は、前記代表色として、日常的な状況で撮影されたと設定された画像を対象とする第一の代表色と、非日常的な状況で撮影されたと設定された画像を対象とする第二の代表色とを抽出し、
前記色配置手段は、前記位置において、前記第一の代表色と前記第二の代表色とを切り換えて配置する
ことを特徴とする請求項３に記載の画像閲覧装置。
【請求項７】
前記色抽出手段は、
各画像を整理して表示する複数の方法をそれぞれ示す複数の表示モードのいずれか一を記憶している記憶部と、
前記表示モードに応じて代表色の決定方式を切り換える切換部と、
前記切換部により切り換えて、設定された決定方式に従って、前記画像群毎に当該画像群を代表する前記代表色を抽出する抽出部を含む
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項８】
前記各画像を整理して表示する複数の方法のうちの一は、時間軸で画像を整理して表示する方法であり、他の一は、画像に関連付けられた付加情報で画像を整理して表示する方法であり、
前記記憶部は、時間軸で画像を整理して表示する第１表示モード及び画像に関連付けられた付加情報で画像を整理して表示する第２表示モードのいずれか一を記憶しており、
切換部は、第１表示モードの場合には、画像群に含まれる画像に最も多く関連付けられている付加情報に対応する色を代表色とする決定方式に切り換え、第２表示モードの場合には、画像群に含まれる画像の中で最も主要な色を代表色とする決定方式に切り換え、
前記抽出部は、付加情報に対応する色を代表色とする決定方式又は主要な色を代表色とする決定方式により前記代表色を抽出する
ことを特徴とする請求項７に記載の画像閲覧装置。
【請求項９】
前記色抽出手段は、前記画像群に含まれ代表色抽出の対象となる画像の中で最も主要な色を前記代表色として抽出する
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項１０】
前記画像取得手段により取得される各画像には、付加情報が関連付けられており、
前記画像閲覧装置は、さらに、
付加情報と色とを対応付けて記憶する記憶手段を備え、
前記色抽出手段は、前記画像群に含まれ代表色抽出の対象となる画像の中で、最も多く関連付けられた付加情報に対応付けられた色を前記代表色として抽出する
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項１１】
前記色抽出手段は、複数の条件に対応して、それぞれ複数の色を前記代表色として抽出し、
前記色配置手段は、前記複数の代表色を塗り分けて配置する
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項１２】
前記色配置手段は、前記画像群に含まれる画像のうち、前記複数の条件にそれぞれ合致する画像数の比率に応じて、前記位置において、前記複数の代表色を塗り分けて配置する
ことを特徴とする請求項１１に記載の画像閲覧装置。
【請求項１３】
前記色配置手段は、前記複数の代表色のうちの第１の代表色から徐々に変化して第２の代表色となるように、塗り分けて配置し、かつ、前記画像群に含まれる画像のうち前記複数の条件にそれぞれ合致する画像の分布に応じて塗り分けの変化の緩急を調整する
ことを特徴とする請求項１１に記載の画像閲覧装置。
【請求項１４】
前記色配置手段は、前記画像群に含まれる画像のうち前記複数の条件にそれぞれ合致する画像の分布に応じて前記複数の代表色の塗り分けのパターンを変化させる
ことを特徴とする請求項１１に記載の画像閲覧装置。
【請求項１５】
前記色抽出手段は、複数の条件にそれぞれ対応する複数の色を代表色として抽出し、
前記色配置手段は、前記複数の代表色を切り換えて配置する
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項１６】
前記色配置手段は、前記画像群に含まれる画像のうち、前記複数の条件にそれぞれ合致する画像の分布に応じて、前記複数の代表色の切換えのパターンを変化させる
ことを特徴とする請求項１５記載の画像閲覧装置。
【請求項１７】
前記色抽出手段は、前記画像群に関する複数の情報の各々を所定の表色系の異なる色成分に割り当てて、前記代表色を合成することにより、前記代表色を抽出する
ことを特徴とする請求項１に記載の画像閲覧装置。
【請求項１８】
前記所定の表色系は、色相、明度及び彩度からなる表色系であって、
前記色抽出手段は、前記画像群に関する複数の情報の各々を色相、明度、彩度のいずれかに割り当てて代表色を合成することにより、前記代表色を抽出する
ことを特徴とする請求項１７に記載の画像閲覧装置。
【請求項１９】
前記画像閲覧装置は、さらに、
取得された複数の画像のそれぞれを縮小して縮小画像を生成する画像生成手段と、
生成された前記縮小画像を閲覧画面に配置する画像配置手段と、
閲覧の対象である画像の範囲を示す閲覧範囲を設定する範囲設定手段と、
前記範囲設定手段によって設定された前記閲覧範囲を用いて、前記色配置手段による配置と前記画像配置手段による配置とを切り換える配置切換手段とを含み、
前記画面表示手段は、前記配置切換手段により設定された配置による閲覧画面を表示する
を含むことを特徴とする請求項１に記載の画像閲覧装置。
【請求項２０】
前記配置切換手段は、前記範囲設定手段により設定された閲覧範囲に含まれる画像数が所定の枚数以内か否かに応じて、前記色配置手段による配置と前記画像配置手段による配置とを切り換える
ことを特徴とする請求項１９に記載の画像閲覧装置。
【請求項２１】
前記配置切換手段は、前記範囲設定手段により設定された閲覧範囲に含まれる画像の撮影日時が所定の長さの期間内に含まれるか否かに応じて、前記色配置手段による配置と前記画像配置手段による配置とを切り換える
ことを特徴とする請求項１９に記載の画像閲覧装置。
【請求項２２】
画像閲覧装置で用いられる画像閲覧方法であって、
複数の撮影された画像を取得する画像取得ステップと、
同一の期間内に撮影された画像が同一の画像群に属するように、取得した前記複数の画像を、各画像の撮影時を基に複数の期間に分類して、複数個の画像群を生成する画像分類ステップと、
前記画像群毎に当該画像群を代表する１又は複数の代表色を抽出する色抽出ステップと、
抽出された前記代表色を、閲覧画面上において、当該代表色に対応する期間により定まる位置に配置する色配置ステップと、
前記代表色が配置された前記閲覧画面を表示する画面表示ステップと
を含むことを特徴とする画像閲覧方法。
【請求項２３】
画像閲覧装置で用いられる画像閲覧用のコンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体であって、
コンピュータに、
複数の撮影された画像を取得する画像取得ステップと、
同一の期間内に撮影された画像が同一の画像群に属するように、取得した前記複数の画像を、各画像の撮影時を基に複数の期間に分類して、複数個の画像群を生成する画像分類ステップと、
前記画像群毎に当該画像群を代表する１又は複数の代表色を抽出する色抽出ステップと、
抽出された前記代表色を、閲覧画面上において、当該代表色に対応する期間により定まる位置に配置する色配置ステップと、
前記代表色が配置された前記閲覧画面を表示する画面表示ステップと
を実行させるためのコンピュータプログラムを記録している記録媒体。
【請求項２４】
画像閲覧装置で用いられる画像閲覧用のコンピュータプログラムであって、
コンピュータに、
複数の撮影された画像を取得する画像取得ステップと、
同一の期間内に撮影された画像が同一の画像群に属するように、取得した前記複数の画像を、各画像の撮影時を基に複数の期間に分類して、複数個の画像群を生成する画像分類ステップと、
前記画像群毎に当該画像群を代表する１又は複数の代表色を抽出する色抽出ステップと、
抽出された前記代表色を、閲覧画面上において、当該代表色に対応する期間により定まる位置に配置する色配置ステップと、
前記代表色が配置された前記閲覧画面を表示する画面表示ステップと
を実行させるためのコンピュータプログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2008117526.tif 000046
【図２】
2008117526.tif 000047
【図３】
2008117526.tif 000048
【図４】
2008117526.tif 000049
【図５】
2008117526.tif 000050
【図６】
2008117526.tif 000051
【図７】
2008117526.tif 000052
【図８】
2008117526.tif 000053
【図９】
2008117526.tif 000054
【図１０】
2008117526.tif 000055
【図１１】
2008117526.tif 000056
【図１２】
2008117526.tif 000057
【図１３】
2008117526.tif 000058
【図１４】
2008117526.tif 000059
【図１５】
2008117526.tif 000060
【図１６】
2008117526.tif 000061
【図１７】
2008117526.tif 000062
【図１８】
2008117526.tif 000063
【図１９】
2008117526.tif 000064
【図２０】
2008117526.tif 000065
【図２１】
2008117526.tif 000066
【図２２】
2008117526.tif 000067
【図２３】
2008117526.tif 000068
【図２４】
2008117526.tif 000069
【図２５】
2008117526.tif 000070
【図２６】
2008117526.tif 000071
【図２７】
2008117526.tif 000072
【図２８】
2008117526.tif 000073
【図２９】
2008117526.tif 000074
【図３０】
2008117526.tif 000075
【図３１】
2008117526.tif 000076
【図３２】
2008117526.tif 000077
【図３３】
2008117526.tif 000078
【図３４】
2008117526.tif 000079
【図３５】
2008117526.tif 000080
【図３６】
2008117526.tif 000081
【図３７】
2008117526.tif 000082
【図３８】
2008117526.tif 000083
【図３９】
2008117526.tif 000084
【図４０】
2008117526.tif 000085
【図４１】
2008117526.tif 000086
【図４２】
2008117526.tif 000087
【図４３】
2008117526.tif 000088
【国際調査報告】
2008117526.tif 000089
2008117526.tif 000090
2008117526.tif 000091
2008117526.tif 000092