(57)【特許請求の範囲】
【請求項１】
画像に関連付けられた撮影日時情報を基に画像を検索する画像検索装置であって、
前記画像の撮影日時情報から期間集計して得られた画像点数からなる撮影頻度と所定値の比較に基づいて、複数の画像を２つ以上の事象グループにまとめるグループ化を行なうグループ化手段と、
前記所定値を変更する閾値設定手段と、
前記期間集計におけるその期間を変更する期間設定手段を有する
ことを特徴とする画像検索装置。
【請求項２】
前記グループ化手段は、前記画像の撮影日時情報から所定の撮影期間ごとに集計した画像点数が時系列順に連続して所定値を上回るまたは下回る期間に属する画像ごとに事象グループにまとめ、２つ以上の事象グループを生成するグループ化を行なう
ことを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記グループ化手段は、前記画像の撮影日時情報から各所定期間の終わりの時点までに撮影された全画像点数を任意の時点に対して集計し、時系列順で隣り合う時点の全画像点数の変化率が時系列順に連続して所定値を上回るまたは下回る期間に属する画像ごとに事象グループにまとめ、２つ以上の事象グループを生成するグループ化を行なう
ことを特徴とする請求項１に記載の画像検索装置。
【請求項４】
一度生成した事象グループを対象に前記期間設定手段により新たに設定した期間を基に前記グループ化を行なう再グループ化手段を有する
ことを特徴とする請求項１に記載の画像検索装置。
【請求項５】
前記事象グループごとに該事象グループの代表画像を表示する表示手段を有する
ことを特徴とする請求項１に記載の画像検索装置。
【請求項６】
前記事象グループを選択する選択手段を有し、前記表示手段は、前記選択された事象グループ及び該事象グループの時系列順において前後に位置する事象グループの代表画像を表示する
ことを特徴とする請求項５に記載の画像検索装置。
【請求項７】
前記期間集計した画像の撮影頻度の変化をグラフ表示する表示手段を有する
ことを特徴とする請求項１に記載の画像検索装置。
【請求項８】
前記事象グループを選択する選択手段を有し、前記表示手段は選択された事象グループの位置を前記グラフに対応させて示す
ことを特徴とする請求項７に記載の画像検索装置。
【請求項９】
前記表示手段は、前記グラフ表示に閾値を重ねて表示する
ことを特徴とする請求項７に記載の画像検索装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の画像の中から所望の画像を見つけ出すための画像検索装置及び画像検索プログラムに関する。
【０００２】
【従来の技術】
従来から写真撮影を行なう手法として銀塩カメラを使用した撮影が行なわれており、現像されプリントされた写真はアルバムなどに貼り付けて保存されていた。技術の進歩により、この銀塩カメラは、デジタルカメラやデジタルビデオカメラなど、フィルムを使用しないものへと移行されつつあり、これらにより撮影された写真画像はデジタルデータ（画像データ）としてコンピュータのハードディスク、持ち運びが容易なＣＤ−ＲＯＭやＭＯなどの記録媒体に収録されるようになった。この画像データの殆どは大量の情報量を所有し、記録媒体の容量にも制限があることから収録される画像数にも限りがあるため、記録媒体内の画像データを検索する場合、例えばデジタルカメラの液晶表示画面に画像データを撮影順に表示させるコマ送りモードや画像データをリサイズして一定枚数ごとに液晶表示画面にインデックス表示させるモードなど、記録媒体内の全画像データを順次参照していく方法で十分対応できた。
【０００３】
【発明が解決しようとする課題】
ところが、近年およびこれからも継続して開発されていくと思われる記憶媒体の大容量化に伴いこの記録媒体への画像データの収録数も上昇傾向にあり、整理されていない大量の写真画像の中から所望の写真画像を見つけ出すにはこれまでの手法では限界が生じてしまう。
【０００４】
そこで、本発明は整理されていない大量の画像データの中から所望の画像データを簡単に見つけ出すための画像検索装置または画像検索プログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は上記課題を解決するために以下のように構成する。
すなわち本発明は、画像に関連付けられた撮影日や撮影時刻などの撮影日時情報を基に画像を検索する画像検索装置であって、前記画像の撮影日時情報から期間集計して得られた画像点数からなる撮影頻度と所定値の比較に基づいて、複数の画像を２つ以上の事象グループにまとめるグループ化を行なうグループ化手段と、前記所定値を変更する閾値設定手段と、
前記期間集計におけるその期間を変更する期間設定手段を有するように構成する。前記所定値を変更する閾値設定手段によって、設定値を変更することができるようになるのでグループ化されるグループの数を容易に変更することも可能となる。また、前記所定期間を変更する期間設定手段によって、画像枚数が集計される期間の単位を変更することができるようになる。
【０００６】
なお、前記グループ化手段は、前記画像を該画像の撮影日時情報を基に時系列に並べたときの例えば一週間や一月などの所定の撮影期間ごとに分けて集計して求まる画像点数が時系列順に連続して所定値を上回るまたは下回る各期間に属する画像を１つの事象グループにまとめ、全画像に対して２つ以上の事象グループを生成するグループ化を行なうように構成してもよい。
【０００７】
また、前記グループ化手段は、前記画像を該画像の撮影日時情報を基に時系列に並べたときの例えば一週間や一月などの所定の撮影期間ごとに区切られた範囲までに撮影された全画像点数を任意の区切り位置に対して集計し、時系列順で隣り合う区切り位置における全画像点数の変化率が時系列順に連続して所定値を上回るまたは下回る前記撮影期間に属する画像を１つの事象グループにまとめ、全画像に対して２つ以上の事象グループを生成するグループ化を行なうように構成してもよい。
【０００８】
このように構成することによって、撮影頻度に応じてグループ化することができるので、短期間に大量の画像が撮影されたか否かで夫々のグループをはっきり区別できるようになる。
【０００９】
また、一度生成した事象グループを対象に前記期間設定手段により新たに設定した所定期間を基に前記グループ化を行なう再グループ化手段を加えて構成することによって、指定範囲を別の期間単位でグループ化できるようになる。
【００１０】
また、前記事象グループごとに該事象グループの代表画像を表示させる表示手段、または前記事象グループを選択する選択手段と、前記選択された事象グループ及び該事象グループの時系列順において前後に位置する事象グループの代表画像を表示させる表示手段を加えて構成することによって、グループ化されたグループがどのような事象の集まりかを容易に識別することが可能となる。
【００１１】
さらに、前記表示手段は、前記期間集計した画像の撮影頻度の変化をグラフ表示し、前記選択手段により選択された事象グループの位置をグラフに対応させて表示させてもよく、この場合表示された代表画像が時系列順のどの位置に属しているかを容易に識別することが可能となる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
本実施の形態は、デジタルカメラやデジタルビデオカメラなどで撮影された画像データの検索装置を示すものである。これらの画像データは、撮影時にまたはファイル名のリネーム処理の段階で撮影日時を示す日時情報をファイル名として所有したり、例えば画像データのファイル名と日時情報との対応ファイルを作るなどの別の手段を用いて日時情報と関係付けられるなどして、ハードディスクなどの記録部に保存されているものとする。
【００１５】
この日時情報と関係付けられた画像データの検索方法は、図１の各グラフ（ａ）、（ｂ）、（ｃ）に示される何れかのパターンを使用したグループ化によって絞り込みを行ない、目的の画像データを探し出すようにしたものである。これらのパターンを使用したグループ化について、以下に説明する。
【００１６】
図１の（ａ）に示すパターン１は、画像データに関係付けられた日時情報を基に撮影頻度を算出し、グラフ化した図である。すなわち、所定期間毎にその期間中に撮影された画像データの枚数を求め、横軸に期間（ｔ）、縦軸に撮影枚数（ｍ）として、その関係を棒グラフで表している。グラフから明らかなように、期間によっては撮影枚数に大きく変動が生じる。これは、期間によって旅行やイベントなどのように短期間に大量の画像を撮影する場合もあれば、定期的に１，２枚程度撮影する場合など少量の画像を撮影する場合もあるために生じる。パターン１はこの現象に着目して目的の画像データの絞込みを行なっていくもので、図中の点線で示される閾値（ｔｈ）を基準に画像データのグループ化を行なう。このグループ化の作業は、撮影枚数が閾値（ｔｈ）以上となる期間と閾値（ｔｈ）未満となる期間との境界である図中の白抜きの三角で示される位置を区切り位置として、例えば図中のグループＡからＧのようにグループ分けをする。
【００１７】
図１の（ｂ）に示すパターン２も、パターン１と同様に、画像データに関係付けられた日時情報を基に撮影頻度を算出し、グラフ化している。この図では、横軸に期間（ｔ）、縦軸に撮影総数（Ｎ）として所定期間置きの各時点までに撮影された画像データの総数（Ｎ）の変位を折れ線グラフで示している。グラフから明らかなように、勾配がきつくなればなる程、短期間に撮影された画像データの枚数が多いことが分かる。すなわち、この期間に旅行やイベントなどで大量に撮影が行なわれたことが推測できる。パターン２はこの現象に着目し、グラフの勾配の度合からグループ分けを行なうもので、勾配が所定値以上または以下に変わる点を区切り位置として、例えば図中のグループＡからＦようなグループ分けを行なう。
【００１８】
なお、図１の（Ｃ）に示すようなパターン３のものをパターン１やパターン２と併用して用いることもできる。このパターンも、画像データに関係付けられた日時情報を利用したものであるが、横軸を撮影コマ番号（ｎ）、縦軸を撮影間隔（Ｔ）とし、画像データの各コマ間の撮影間隔を棒グラフ化している。このパターンでは、図中に点線で示されている閾値（ｔｈ）を基準にして画像データをグループ分けしている。すなわち、閾値以上の撮影間隔をあけて撮影されたコマ番号の一つ前のコマ番号を区切り位置としてグループ化を行なう。例えば、図中のグループＡからＦのようにグループ分けを行なう。
【００１９】
また、図２はパターン１でグループ化したものをさらに細かいグループにした様子を示したもので、これは画像データを集計する期間の単位を変えて再グループ化することで実施できる。この図ではグループＢがグループＢ−１からＢ−６まで細分化された様子を示している。なお、パターン２についても同様に再グループ化を実施化できる。
【００２０】
図３は、本実施の形態の画像検索装置をブロック図で示したものである。
図中の１は、撮影された画像データ、画像データと日時情報との対応情報、上記パターンでグループ化するためのプログラムなどを記録する記録部で、２は、パターンの選択、期間単位の設定、閾値の設定、グループ化された各グループの選択、現在指定されているグループから時系列順に前後関係にあるグループへの切り替えなど、各種の操作を行なうための操作部で、３は、各種のデータを基に算出処理を行なう算出部で、４は、算出部３からの算出結果を表示する液晶モニタやＣＲＴモニタなどの表示部である。
【００２１】
図４は、その表示部４の一例を示したもので、中央の人の絵柄が描かれた領域Ｒにデフォルトで設定された例えば先頭グループの代表画像や操作部２から指定されたグループの代表画像を表示させ、領域Ｘに時系列順で一つ前のグループの代表画像を表示させ、領域Ｙに時系列順で一つ後のグループの代表画像を表示させる。さらに領域Ｓに、例えば図１の（ａ）、（ｂ）、（ｃ）のような選択されたパターンを表すグラフを表示させ、領域Ｒに表示している代表画像が含まれるグループをこのグラフ上に指し示すようにする。この方法は、図中では記号Ｐのように三角記号で指し示しているが、操作者が識別できる方法であればどのような方法であってもよい。
【００２２】
また、設定した閾値をグラフ上に表示させてもよく、その方法として例えば図中の記号Ｑに示すように点線で示すことができる。
なお、ここで述べている代表画像は、例えばそのグループの中で撮影日時が最も早い画像や最も遅い画像など予め設定した基準に該当する画像である。
【００２３】
また、領域Ｒ，Ｓ，Ｘ，Ｙの配置や大きさは画面内に任意に設定できるものとする。
図５、図６は、上記ブロック構成に基づく画像検索装置の動作を示すフローチャートである。この内の図５は、パターン１またはパターン２によってグループ化を行なう場合の画像検索装置の動作を示す。また、図６は、パターン３によってグループ化が行なわれた場合の画像検索装置の動作を示している。
【００２４】
図５においては、画像検索装置の操作部２からパターン１またはパターン２のどちらかの画像検索パターンが選択されると（Ｓ１０１）、先ず、操作部２から期間単位の区切り間隔（例えば年、月、週など）が入力されるのを待つ。操作部２から算出部３へ区切り間隔が入力されると（Ｓ１０２）、算出部３は入力された区切り間隔で各期間に属する画像データの集計を行ない、選択された夫々のパターンに応じてグラフを生成し、表示部４の領域Ｓにグラフを表示させる（Ｓ１０３）。続いてグループ化を行なう基準となる閾値（例えば２、５、１０など）が操作部２から入力されるのを待つ。閾値が操作部２から入力されると（Ｓ１０４）、算出部３は、上記生成されたグラフと入力された閾値とから画像データのグループ化を選択されたパターンに応じて行ない、表示部４の領域Ｓにグループ化したグラフを表示させる（Ｓ１０５）。続いて、生成されたグループの数が予め設定した数以下となるかどうかが判断され（Ｓ１０６）、設定した数以下と判断された場合には、従来から知られているコマ再生モードに切り替えて領域Ｒに記録部１に保存された画像データを１コマ目から順に再生していく（Ｓ１０７）。また、ステップＳ１０６において、生成されたグループの数が予め設定した数よりも多いと判断された場合には、デフォルトで記録部１に設定されたグループの代表画像または操作部２から入力されたグループの代表画像を記録部１から呼び出し、表示部４の領域Ｒに表示させ、当該グループの時系列順において前後関係となるグループの代表画像も夫々記録部１から呼び出して対応する画像データを領域Ｘ、Ｙに表示させる（Ｓ１０８）。この状態で、次にボタンが押下される待ち受け状態となり（Ｓ１０９）、操作部２から次のグループの代表画像を表示させるボタンが押下されると（Ｓ１１０）、時系列順において次にくるグループが算出部３に設定され（Ｓ１１１）、領域Ｒに表示していた画像データを領域Ｘに表示し、領域Ｙに表示していた画像データを領域Ｒに表示し、領域Ｙには、時系列順で次に続くグループの代表画像を記録部１から呼び出して表示させる（Ｓ１０８）。また、操作部２から前のグループの代表画像を表示させるボタンが押下されると（Ｓ１１２）、上記とは反対に時系列順で前にくるグループが算出部３に設定され（Ｓ１１３）、領域Ｒに表示していた画像データを領域Ｙに表示し、領域Ｘに表示していた画像データを領域Ｒに表示し、領域Ｘには、時系列順で領域Ｒに表示している画像データのグループの一つ前のグループの代表データを記録部１から呼び出して表示させる（Ｓ１０８）。また、区切り間隔を長くするボタンが押下されると（Ｓ１１４）、例えば日から週、週から月などのように現在の区切り間隔から予め設定した割合で区切り間隔が長くなり、その値を算出部３に設定し（Ｓ１１５）、この設定で再度グラフを生成する（Ｓ１０３）。また、区切り間隔を短くするボタンが押下されると（Ｓ１１６）、例えば月から週、週から日などのように現在の区切り間隔から予め設定した割合で区切り間隔を短くして、その値を算出部３に設定し（Ｓ１１７）、その設定で再度グラフを生成する（Ｓ１０３）。なお、ステップ１０９の待ち受け状態で終了ボタンが押下されると（Ｓ１１８）、算出部３はこれらの一連の処理を終了させる（Ｓ１１９）。この終了ボタンがステップ１０９の待ち受け状態で押されるまでは、上記説明したステップに沿った流れで処理を実行する。なお、ステップＳ１０８の後、指定されているグループを再グループ化するステップを選択的に行なえるようにしても良い。再グループ化を行なうように選択した場合、当該グループの範囲内においてステップＳ１０２からＳ１１９の処理を実行し、ステップＳ１１８が実行されると、ステップＳ１１９でグループ化の対象が全範囲の元の状態に戻り、ステップＳ１０９の待ち受け状態となる。但し、再グループ化処理においてステップＳ１０６とＳ１０７の処理はないものとする。
【００２５】
次に図６について説明する。図１に示す（ａ）、（ｂ）、（ｃ）３つのパターンの中からパターン３が選択されると（Ｓ２０１）、操作部２から撮影間隔の閾値（例えば日、週、月など）が入力されるのを待つ。操作部２から閾値が入力されると（Ｓ２０２）、算出部３は各コマ間の撮影間隔をパターン３に基づいてグラフ化し（Ｓ２０３）、操作部２から入力された撮影間隔の閾値を基準にパターン３に示すグループ化を実行する（Ｓ２０４）。これ以降のステップＳ２０９からＳ２１９の動作は図５のＳ１０９からＳ１１９に対応するので、ここでの詳細な説明は省く。但し、図５のステップ（Ｓ１１４，Ｓ１１５，Ｓ１１６，Ｓ１１７）における区切り間隔は、図６の対応するステップ（Ｓ２１４，Ｓ２１５，Ｓ２１６，Ｓ２１７）においては閾値とする。すなわち、ステップＳ２１４で閾値のレベルを上げるボタンが押されると、ステップＳ２１５では、例えば日から週、週から月などのように現在の閾値から予め設定された割合で閾値の値を増加させて、その値を算出部３に設定する。ステップＳ２１６で閾値のレベルを下げるボタンが押されると、ステップＳ２１７は、例えば月から週、週から日などのように現在の閾値から予め設定された割合で閾値の値を減少させて、その値を算出部３に設定する。
【００２６】
なお、図５及び図６で示したパターン１，２，３を選択的に互いに組み合わせるように構成してもよい。
このように構成することによって、撮影頻度に応じてグループ化することができるので、短期間に大量の画像が撮影されたか否かで夫々のグループをはっきり区別でき、表示部から旅行やイベントなどの事象を的確に検出することが可能となり、グループを横断的に細部に渡って検索できるので、目的の写真画像を簡単に見つけ出すことが可能となる。
【００２７】
【発明の効果】
以上述べたように、本発明によれば、旅行やイベントなどの事象を的確に検出することが可能となり、目的の写真画像を簡単に検索することができるようになる。
【図面の簡単な説明】
【図１】発明の実施の形態におけるグループ化を示した図である。
【図２】発明の実施の形態における再グループ化を示した図である。
【図３】発明の実施の形態における画像検索装置のブロック図である。
【図４】発明の実施の形態における画像検索装置の表示部４の一例である。
【図５】パターン１、２の場合の画像検索装置の動作を示すフローチャートである。
【図６】パターン３の場合の画像検索装置の動作を示すフローチャートである。
【符号の説明】
１  記録部
２  操作部
３  算出部
４  表示部
Ｒ  選択したグループの代表画像表示領域
Ｘ  選択したグループの前グループの代表画像表示領域
Ｙ  選択したグループの後グループの代表画像表示領域
Ｓ  選択したパターンのグラフ表示領域
【図１】
0003914747.tif 000002
【図２】
0003914747.tif 000003
【図３】
0003914747.tif 000004
【図４】
0003914747.tif 000005
【図５】
0003914747.tif 000006
【図６】
0003914747.tif 000007