(57)【要約】【課題】多様な種類の物体が写る画像群に対して、画像の意味内容に即した階層分類を可能とする画像管理装置を提供すること。【解決手段】本発明に係る画像管理装置は、画像管理装置は、一般的なモデルとの類似性に基づき画像を意味概念の項目毎に分類する物体認識手段と、画像の特徴量同士の類似性に基づき画像を分類するクラスタリング手段と、意味概念の項目毎の多様性に応じて、前記物体認識手段で分類する前記意味概念の項目を優先度づけて選択する詳細分類項目選択手段と、前記物体認識手段と前記クラスタリング手段における分類結果を統合して、画像群の階層分類構造を生成する階層構造生成部と、を備え、前記物体認識手段は、前記画像群を、前記詳細分類項目選択手段で選択された前記意味概念の項目毎の部分画像群に分類し、前記クラスタリング手段は、前記物体認識手段で分類された各部分画像群を対象として分類を行う。【選択図】図３
2014093058.tif 000002
【特許請求の範囲】
【請求項１】
画像群を画像内容に即して階層的に分類を行う画像管理装置であって、
前記画像管理装置は、
一般的なモデルとの類似性に基づき画像を意味概念の項目毎に分類する物体認識手段と、
画像の特徴量同士の類似性に基づき画像を分類するクラスタリング手段と、
意味概念の項目毎の多様性に応じて、前記物体認識手段で分類する前記意味概念の項目を優先度づけて選択する詳細分類項目選択手段と、
前記物体認識手段と前記クラスタリング手段における分類結果を統合して、画像群の階層分類構造を生成する階層構造生成部と、
を備え、
前記物体認識手段は、
前記画像群を、前記詳細分類項目選択手段で選択された前記意味概念の項目毎の部分画像群に分類し、
前記クラスタリング手段は、前記物体認識手段で分類された各部分画像群を対象として分類を行うこと
を特徴とする画像管理装置。
【請求項２】
前記多様性は、前記意味概念の項目に分類された画像数と被写体変化から算出することを特徴とする画像管理装置。
【請求項３】
前記被写体変化は、画像の色ヒストグラム及びエッジ特徴量の分散の和とすることを特徴とする請求項２に記載の画像管理装置。
【請求項４】
前記クラスタリング手段は、前記多様性に基づき、前記クラスタリングを行うか否かを決定することを特徴とする請求項２に記載の画像管理装置。
【請求項５】
前記詳細分類項目選択手段は、優先度が高い所定数項目を、前記物体認識手段で分類する項目として選択することを特徴とする請求項１に記載の画像管理装置。
【請求項６】
前記画像管理装置は、更に、
ユーザが付与したメタデータからユーザの興味情報を抽出する興味情報抽出部を備え、
前記優先度は、前記ユーザの興味情報を加味して算出することを特徴とする請求項１に記載の画像管理装置。
【請求項７】
前記メタデータは、前記ユーザが付与したテキストデータに含まれる単語、前記画像を撮影した位置情報、前記ユーザの年齢、前記ユーザの性別のうち少なくとも１つを含むことを特徴とする、請求項６に記載の画像管理装置。
【請求項８】
前記クラスタリング手段は、前記ユーザが前記画像に付与したメタデータが共通するものをクラスタ化することを特徴とする請求項６に記載の画像管理装置。
【請求項９】
前記画像管理装置は、
ユーザの入力操作を取得するユーザ操作入力手段と、
表示装置に画像群を表示させる表示制御手段と、
を備え、
前記ユーザ操作入力手段は、
画像群を分類して得られる部分画像群の代表画像のいずれかに対するユーザの選択操作を取得し、
前記表示制御手段は、画像群を分類して得られる部分画像群の代表画像を前記表示装置に表示させ、前記ユーザの選択操作に応じて、前記画像群を前記部分画像群に絞込むことを繰返し、
前記分類は、所定の粒度の意味概念の項目に前記画像群を分類したときに、前記画像群が有する意味概念の項目毎の多様性が高い項目は、前記粒度より低い粒度の意味概念の項目毎に詳細分類し、前記多様性が低い項目は、画像同士の類似性に基づき詳細分類すること、
を特徴とする画像管理装置。
【請求項１０】
画像群を画像内容に即して階層的に分類を行う画像管理方法であって、
前記画像管理方法が、
一般的なモデルとの類似性に基づき画像を意味概念の項目毎に分類する物体認識ステップと、
画像の特徴量同士の類似性に基づき画像を分類するクラスタリングステップと、
意味概念の項目毎の多様性に応じて、前記物体認識手段で分類する前記意味概念の項目を優先度づけて選択する詳細分類項目選択ステップと、
を実行し、
前記物体認識ステップは、
前記画像群を、前記詳細分類項目選択手段で選択された前記意味概念の項目毎の部分画像群に分類し、
前記クラスタリング手段は、前記物体認識手段で分類された各部分画像群を対象として分類を行うこと
を特徴とする画像管理方法。
【請求項１１】
コンピュータに、画像群を画像内容に即して階層的に分類を行う画像管理方法を実行させるためのプログラムであって、
前記プログラムは、
一般的な意味のモデルとの類似性に基づき画像を意味概念の項目毎に分類する物体認識ステップと、
画像の特徴量同士の類似性に基づき画像を分類するクラスタリングステップと、
意味概念の項目毎の多様性に応じて、前記物体認識手段で分類する前記意味概念の項目を優先度づけて選択する詳細分類項目選択ステップと、
を前記コンピュータに実行させ、
前記物体認識ステップは、
前記画像群を、前記詳細分類項目選択手段で選択された前記意味概念の項目毎の部分画像群に分類し、
前記クラスタリング手段は、前記物体認識手段で分類された各部分画像群を対象として分類を行うこと
を特徴とするプログラム。
【請求項１２】
画像群を画像内容に即して階層的に分類を行う画像管理装置のための集積回路であって、
前記集積回路は、
一般的な意味のモデルとの類似性に基づき画像を意味概念の項目毎に分類する物体認識手段と、
画像の特徴量同士の類似性に基づき画像を分類するクラスタリング手段と、
意味概念の項目毎の多様性に応じて、前記物体認識手段で分類する前記意味概念の項目を優先度づけて選択する詳細分類項目選択手段と、
を備え、
前記物体認識手段は、
前記画像群を、前記詳細分類項目選択手段で選択された前記意味概念の項目毎の部分画像群に分類し、
前記クラスタリング手段は、前記物体認識手段で分類された各部分画像群を対象として分類を行うこと
を特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を階層分類する画像管理装置に関するものである。
【背景技術】
【０００２】
近年、デジタルスチルカメラやカメラ機能付き携帯電話機等のデジタル画像撮影機器や、撮影した画像を記録するためのハードディスク等の記録媒体が普及している。
【０００３】
これに伴い、ユーザが蓄積する画像は大量となっている。このように大量の画像から、ユーザが望む画像を探し出すことは困難である。
【０００４】
ユーザが望む画像を探し出すことを容易にするために、所定の条件でコンテンツを分類することが考えられる。画像を分類するための所定の条件として、コンテンツの特徴量の類似性を用いる技術が存在する（例えば特許文献１、特許文献２参照）。
【０００５】
特許文献１では、画像の検索において、ユーザが指定した画像との類似度が所定値以上の画像をクラスタリングにより分類し、クラスタを選択することで絞込み検索できるようにしている。
【０００６】
また、特許文献２では、コンテンツの類似性に基づきコンテンツを階層構造化することにより、効率的にウォークスルー探索できるようにしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３４５７６１７号公報
【特許文献２】特許第３６１４２３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、画像特徴量の類似性に基づく画像分類は、ユーザによる画像検索にとって有用であるとは限らない。ユーザによる画像検索においては、例えば画像の意味内容（画像に写る物体の名称や画像が撮影されたシーン等）のような、ユーザにとって直感的な情報を検索条件として指定することで容易な検索が可能になると考えられる。しかしながら、画像特徴量が類似する画像が、画像の意味内容が同一または類似する画像であるとは限らない。その結果、画像特徴量の類似性に基づく画像分類のみでは、画像の意味内容を指定するといった、ユーザにとって容易と考えられる検索方法による画像検索が適切に行うことができないという課題がある。
【０００９】
そこで、本発明はかかる問題に鑑みてなされたものであり、物体認識で分類する項目を適切に選択することにより、より画像群の意味内容に即した階層構造化を可能とする画像管理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る画像管理装置は、一般的なモデルとの類似性に基づき画像を意味概念の項目毎に分類する物体認識手段と、画像の特徴量同士の類似性に基づき画像を分類するクラスタリング手段と、意味概念の項目毎の多様性に応じて、前記物体認識手段で分類する前記意味概念の項目を優先度づけて選択する詳細分類項目選択手段と、前記物体認識手段と前記クラスタリング手段における分類結果を統合して、画像群の階層分類構造を生成する階層構造生成部と、を備え、前記物体認識手段は、前記画像群を、前記詳細分類項目選択手段で選択された前記意味概念の項目毎の部分画像群に分類し、前記クラスタリング手段は、前記物体認識手段で分類された各部分画像群を対象として分類を行う。
【００１１】
本構成によって、画像群の階層構造化において、多様な物体が撮影される項目を優先的に詳細物体認識することにより、物体認識の項目数を最小化しつつ、物体認識で画像群の内容に即した項目に階層分類することができ、ひいては、より画像群の意味内容に即した階層構造化が可能となる。
【発明の効果】
【００１２】
本発明によれば、画像群の階層構造化を行う際、画像群の多様性に応じた物体認識の項目を選択することができる。これによって、意味毎に合う詳細さの粒度で画像群を物体認識により分類し、画像群の意味内容に即した階層構造化を行うことができる。すなわち、物体認識の項目数の増加に伴う分類性能の悪化を防ぎ、物体認識による分類の精度を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】絞込み検索の一例を示す図
【図２】階層構造の一例を示す図
【図３】実施の形態１における、画像管理装置の機能ブロック図
【図４】実施の形態１における、図３の物体認識部の機能ブロック図
【図５】実施の形態１における、図３のクラスタリング部の機能ブロック図
【図６】実施の形態１における、図３の詳細分類項目選択部の機能ブロック図
【図７】実施の形態１における、画像管理装置の全体動作の一例を示すフローチャート
【図８】実施の形態１における、詳細分類項目選択部の処理の一例を示すフローチャート
【図９】実施の形態１における、物体認識部において、画像群を概要分類項目に分類する処理の一例を示すフローチャート
【図１０】実施の形態１における、物体認識部において、画像群を詳細分類項目に分類する処理の一例を示すフローチャート
【図１１】画像管理情報の一例を示す図
【図１２】画像管理装置の詳細分類項目の候補の一例を階層的に表した図
【図１３】意味階層情報の一例を示す図
【図１４】実施の形態１における、概要分類結果管理情報の一例を示す図
【図１５】実施の形態１における、多様性管理情報の一例を示す図
【図１６】実施の形態１における、優先度管理情報の一例を示す図
【図１７】実施の形態１における、詳細分類項目管理情報の一例を示す図
【図１８】詳細分類結果管理情報の一例を示す図
【図１９】実施の形態１における、分類項目別画像管理情報の一例を示す図
【図２０】実施の形態１における、クラスタリング結果管理情報の一例を示す図
【図２１】実施の形態１における、クラスタリング結果管理情報の一例を階層的に表した図
【図２２】実施の形態１における、階層構造管理情報の一例を示す図
【図２３】実施の形態１における、階層構造管理情報の一例を階層的に表した図
【図２４】実施の形態１における、入力画像群の一例を示す図
【図２５】実施の形態２における、画像管理装置の機能ブロック図
【図２６】実施の形態２における、図２５の詳細分類項目選択部の機能ブロック図
【図２７】実施の形態２における、詳細分類項目選択部の処理の一例を示すフローチャート
【図２８】メタデータ管理情報の一例を示す図
【図２９】興味度管理情報の一例を示す図
【図３０】実施の形態２における、多様性管理情報の一例を示す図
【図３１】実施の形態２における、優先度管理情報の一例を示す図
【図３２】実施の形態２における、詳細分類項目管理情報の一例を示す図
【図３３】実施の形態３における、画像管理装置の機能ブロック図
【図３４】実施の形態３における、画像管理装置の全体動作の一例を示すフローチャート
【図３５】実施の形態３における、多様性管理情報の一例を示す図
【図３６】実施の形態３における、優先度管理情報の一例を示す図
【図３７】実施の形態３における、分類項目別画像管理情報の一例を示す図
【図３８】実施の形態３における、クラスタリング結果管理情報の一例を示す図
【図３９】実施の形態３における、クラスタリング結果管理情報の一例を階層的に表した図
【図４０】変形例（１）における、絞込み検索部を備えた画像管理装置の機能ブロック図
【図４１】変形例（２）における、画像管理装置の機能ブロック図
【発明を実施するための形態】
【００１４】
（本発明に係る一形態を得るに至った経緯）
発明者は、ユーザによる画像検索における課題について詳細に検討した。以下、この点について説明する。
【００１５】
まず、ユーザにとって容易な画像検索方法について説明する。
【００１６】
検索対象がユーザの蓄積する画像のように大量である場合は、ユーザが探したい画像に意味が類似する画像を段階的に絞込みながら検索することで、ユーザの望む画像の検索が容易になる。
【００１７】
絞込み検索画面の一例を図１に示す。最初は１ａの画面から開始する。１ａの各画像は、ユーザの蓄積する画像群を概要意味に基づき分類した部分画像群の代表画像である、ここで、代表画像は各部分画像群に含まれる画像から選ばれる。図１の例では、全画像群はまず「食事」「犬」「服」の意味粒度で分類されており、１ａにおけるそれぞれの代表画像は、「食事」「犬」「服」の意味項目の部分画像群を表している。ユーザがいずれかの画像を選択すると、各意味項目に分類されている画像に絞込み検索することができる。すなわち、ユーザが選択した代表画像を含む部分画像群に検索対象を狭めて画像を検索することができる。例えばユーザが「食事」の画像を検索したいと考えている場合に、１ａにおいて１ｄの画像を選択すると、「食事」をより詳細に分類する画面である１ｂに遷移する。図１の例では、１ｂの各画像は、食事の画像の中で、それぞれ「丼」「ラーメン」「カレー」の意味項目を表している。ユーザがいずれかを選択すると、より具体的な意味項目に分類されている画像に絞込み検索することができる。例えばユーザがカレーの画像を検索したいと考えている場合は、１ｅの画像を選択すると、カレーをより詳細に分類した１ｃの画面に遷移する。このように、検索対象の意味項目を段階的に具体的に変化させながら絞込み検索することで、ユーザは検索したい画像のイメージに基づき、容易に検索を行うことができる。
【００１８】
上記のような検索を行うために、分類する意味項目の粒度を変化させながら画像群を階層構造化し、生成された階層構造を上から辿ることで絞込み検索することが考えられる。
【００１９】
図１のような絞込み検索を実現するための階層構造の例を図２に示す。図において、灰色で塗りつぶした丸は、１つ１つの画像を表している。白丸はそれより下位にある画像からなる部分画像群を表している。上位の部分画像群の下位に複数の画像（または部分画像群）が連結している状態は、上位の部分画像群は類似する概念である複数の下位の画像（または部分画像群）をまとめたものであることを表す。このように、分類する意味項目の粒度を変化させながら画像群を階層構造化することで、生成された階層構造を上から辿ることで絞込み検索することが可能となる。
【００２０】
ここで、このような意味項目に基づく分類を行うためには、画像に対して、画像に写る物体の意味を識別して付加する必要がある。このとき、大量の画像一つひとつにユーザが手動でコメント等の画像の情報を付加するのは手間であるため、画像情報のみから画像群を階層構造化する技術が求められている。
【００２１】
しかしながら、特許文献１、特許文献２ともに、画像の特徴量の類似性に基づき画像群をクラスタリングするものであり、画像に写る物体の意味を考慮してクラスタリングを行うものではない。特に、特許文献２は、コンテンツ群を階層構造化して管理するものであるが、このときの階層化も、画像の特徴量の類似性に基づいて行われるものであり、画像に写る物体の意味を考慮したものではない。
【００２２】
そこで、画像に写る物体の意味を画像に対して付加して分類する方法として、物体認識の手法を用い、分類項目のモデルとの比較により画像群を意味に基づき部分画像群に分類し、部分画像群をクラスタリングの手法で互いの類似性に基づき分類することにより、画像群を階層構造化することが考えられる。
【００２３】
この場合、より画像群の意味内容に即した階層構造化を行うためには、より詳細な粒度の意味項目に分類する必要がある。より詳細な粒度の意味項目に分類するためには、物体認識の分類項目数を増やす必要がある。ところが、物体認識の項目数を増やすと分類性能が悪化するため、より画像群の意味内容に即した階層構造化を行うことができないという課題がある。
【００２４】
本発明は、この課題を検討した結果、分類対象となる画像群の多様性に応じて物体認識の項目を選択することにより、意味毎に合う詳細さの粒度で画像群を物体認識により分類し、画像群の意味内容に即した階層構造化を行うことができることを見出し、本発明に至った。
【００２５】
（実施の形態１）
ユーザが撮影した画像を階層構造化する上で、物体認識で分類する意味の粒度を詳細にすると、分類項目が多くなるため、物体認識の精度が悪化する。画像群の内容に合わせて、詳細に分類するべき意味を変化させるのが効率的である。
【００２６】
実施の形態１に係る画像管理装置は、このような考えに基づき画像認識処理を行うものである。
【００２７】
以下、実施の形態１における画像管理装置について、図面を参照しながら説明する。
【００２８】
図３は、実施の形態１における画像管理装置の機能ブロック図である。
【００２９】
画像管理装置１００は、画像蓄積装置１１１及び階層構造記憶装置１５１と接続されている。
【００３０】
画像蓄積装置１１１は、ユーザの画像を、画像毎に一意に付与された画像ＩＤと対応付けて蓄積することができる装置である。
【００３１】
階層構造記憶装置１５１は、画像管理装置１００が生成した画像群の階層構造を記憶することができる装置である。
【００３２】
次に、画像管理装置１００の内部構成について説明する。
【００３３】
図３に示すように、画像管理装置１００は、画像入力部１１０、物体認識部１２０、クラスタリング部１３０、詳細分類項目選択部１４０及び階層構造生成部１５０から構成される。
【００３４】
画像入力部１１０は、画像蓄積装置１１１が蓄積している画像及び画像ＩＤを取得する。
【００３５】
物体認識部１２０は、画像入力部１１０の画像に対して、詳細分類項目選択部１４０が選択した物体の認識処理を行う。物体認識処理により、ユーザに依存しない意味概念を、一般的なモデルに基づき分類することができる。認識処理は、例えばＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を用いた機械学習による分類手法や、あらかじめ用意された辞書とのパターンマッチングによる検出手法等がある。物体認識部で分類を行う意味項目としては、例えば、「食事」「犬」「丼」等がある。
【００３６】
物体認識部１２０の機能構成の一例について、図４を参照しつつ説明する。図４は図３の物体認識部の機能ブロック図である。
【００３７】
物体認識部１２０は、モデル選択部１２１、物体認識実行部１２２、概要分類結果記憶部１２３及び詳細分類結果記憶部１２４を備える。
【００３８】
モデル選択部１２１は、物体認識処理によって意味分類を行う項目のモデルを、多様性算出部１４１または詳細分類項目記憶部１４６の情報に基づき選択する。
【００３９】
物体認識実行部１２２は、モデル選択部１２１で選択されたモデルに基づき、物体認識処理を行う。
【００４０】
概要分類結果記憶部１２３は、多様性算出部１４１の情報に基づきモデル選択部１２１でモデルを選択した場合に、画像群を物体認識実行部１２２で大まかな粒度の意味項目に分類した結果を記憶する。
【００４１】
詳細分類結果記憶部１２４は、詳細分類項目記憶部１４６の情報に基づきモデル選択部１２１でモデルを選択した場合に、画像群を物体認識実行部１２２で詳細な粒度の意味項目に分類した結果を記憶する。
【００４２】
ここで、図３における画像管理装置１００の説明に戻る。
【００４３】
クラスタリング部１３０は、物体認識部１２０で同一項目に分類された部分画像群を、より詳細にクラスタリング処理で分類する。クラスタリングにより、ユーザに依存するより詳細な粒度の意味概念を、画像同士の類似関係に基づき分類できる。
【００４４】
クラスタリング部１３０の機能構成の一例について、図５を参照しつつ説明する。図５は図３のクラスタリング部の機能ブロック図である。
【００４５】
クラスタリング部１３０は、クラスタリング実行部１３１及びクラスタリング結果記憶部１３２を備える。
【００４６】
クラスタリング実行部１３１は、入力画像群を、画像間の類似性に基づきクラスタリング処理で分類する。クラスタリング処理は、例えば、色ヒストグラムやエッジ特徴量等の画像特徴量の類似度に基づき、階層的クラスタリング、ｋ−ｍｅａｎｓ、Ａｆｆｉｎｉｔｙ  ｐｒｏｐｅｒｇａｔｉｏｎ等の方法でクラスタ化する方法等がある。クラスタリングによって、同一の意味概念の画像群を、事前にモデル化することが難しい意味に基いて、より詳細に分類できる。例えば、物体認識部で「柴犬」に分類された画像群に対して、「自分の家の柴犬」と「隣の家の柴犬」をユーザの画像入力やタグ付けの操作なしで事前にモデル化することは困難なため、両者を物体認識手法で分類することは困難であるが、クラスタリングによって、互いの類似性に基づき分類することで、「自分の家の柴犬」と「隣の家の柴犬」により詳細に分類することができる。
【００４７】
クラスタリング結果記憶部１３２は、クラスタリング実行部１３１でクラスタリングした結果を記憶する。
【００４８】
ここで、図３における画像管理装置１００の説明に戻る。
【００４９】
詳細分類項目選択部１４０は、画像群を物体認識によって詳細な意味粒度で分類する際の分類項目を選択する。詳細分類項目選択部１４０は、具体的には、画像入力部１１０が取得した画像群の多様性に基づき、分類候補の項目の中から、詳細な意味粒度で分類するべき項目を優先度付けて選択する。本実施の形態では、画像群をまず概要分類項目に分類し、概要分類項目毎の多様性に基づき、詳細分類項目を選択する場合について説明する。
【００５０】
詳細分類項目選択部１４０の機能構成の一例について、図６を参照しつつ説明する。図６は図３の詳細分類項目選択部の機能ブロック図である。
【００５１】
詳細分類項目選択部１４０は、多様性算出部１４１、優先度算出部１４２、意味階層記憶部１４３、多様性記憶部１４４、優先度記憶部１４５および詳細分類項目記憶部１４６を備える。
【００５２】
多様性算出部１４１は、概要分類項目毎に、分類数や被写体の変化に基づく多様性を定量化した値である多様性スコアを算出する。
【００５３】
優先度算出部１４２は、分類候補の項目毎に、物体認識を行う項目を選択するための優先度を算出する。
【００５４】
意味階層記憶部１４３は、複数の意味粒度での分類項目及びそれらの階層関係を記憶する。
【００５５】
多様性記憶部１４４は、多様性算出部１４１で算出した多様性スコアを、概要分類項目毎に記憶する。
【００５６】
優先度記憶部１４５は、優先度算出部１４２で算出した優先度を、概要分類項目毎に記憶する。
【００５７】
詳細分類項目記憶部１４６は、優先度算出部１４２で算出した優先度に基づき選択された詳細分類項目を記憶する。
【００５８】
ここで、図３における画像管理装置１００の説明に戻る。
【００５９】
階層構造生成部１５０は、物体認識部１２０及びクラスタリング部１３０における分類結果を結合し、入力画像群を複数の意味粒度で段階的に分類してできる階層構造を生成する。すなわち、詳細分類項目選択部で選択された詳細分類項目毎に入力画像群を物体認識部で分類した結果と、詳細分類項目毎の部分画像群をクラスタリング部で分類した結果を結合することで、階層構造を生成する。生成された階層構造は、階層構造記憶装置１５１に記憶される。
【００６０】
図７のフローチャートを用いて、画像管理装置１００が行う全体動作の概要を説明する。また、図７におけるＳ１０２は図８を、図８におけるＳ２０３の詳細は図９を、図７におけるＳ１０３の詳細は図１０を用いて適宜説明する。
【００６１】
画像入力部１１０は、画像蓄積装置１１１から、画像管理情報を取得する（Ｓ１０１）。図１１に、画像管理情報の例を示す。図１１の例では、画像をＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）フォーマットで、画像ＩＤと対応付けて管理している。なお、画像情報の格納方式は、先に述べた方式に限られない。ＪＰＥＧフォーマットで画像を格納する代わりに、ＰＰＭ（Ｐｏｒｔａｂｌｅ  Ｐｉｘｍａｐ  Ｆｏｒｍａｔ）フォーマットやＰＮＧ（Ｐｏｒｔａｂｌｅ  Ｎｅｔｗｏｒｋ  Ｇｒａｐｈｉｃｓ）フォーマットで画像を格納してもよいし、画像蓄積装置１１１における画像のパスを格納しても良い。
【００６２】
次に、詳細分類項目選択部１４０は、詳細に物体認識を行う項目を選択する（Ｓ１０２）。
【００６３】
ここで、Ｓ１０２の処理の詳細を説明する前に、意味階層記憶部について説明する。意味階層記憶部は、画像管理装置１００が分類する複数の意味粒度の分類項目の候補、および、各項目の階層関係を記憶する。ここで、分類項目の候補は、ユーザに依らず共通した意味概念の分類項目であり、例えば、「食事」「犬」「丼」等の分類項目がある。画像管理装置１００が分類する複数の意味粒度の分類項目の候補が図１２のような階層構造である場合の、意味記憶管理情報の一例を、図１３に示す。意味階層情報において、階層、上位項目及び下位項目は、それぞれ、項目が上から何層目の階層に位置しているか、その意味の上位概念の項目、その意味の下位概念の項目を表す。例えば、図１２では、「画像群」の概要的な分類項目の候補として「食事」「犬」「服」があり、「食事」に関する詳細な分類項目の候補として、「食事」の下位概念である「丼」「ラーメン」「カレー」があることを示している。また、図１３の２行目は、「食事」が分類項目の候補の階層構造において１番目の階層にあり、「食事」の下位概念の項目は「丼」「ラーメン」「カレー」であることを示しており、図１３の５行目は、「丼」が分類項目の候補の階層構造において２番目の階層にあり、「丼」の上位概念の項目は「食事」であることを示している。
【００６４】
Ｓ１０２の処理の一例を、図８のフローチャートを用いて説明する。
【００６５】
詳細分類項目選択部１４０は、まず、画像管理情報に含まれている画像を大まかな意味粒度の項目に分類するために、意味階層記憶部から概要分類項目を取得する（Ｓ２０１）。ここで、概要分類項目とは、分類項目の候補の中で、意味粒度が大まかな分類項目のことである。例えば、図１３に示す意味階層情報のうち、概要分類項目として、階層が１の項目を取得する。図１３の例では、概要分類項目として、「食事」「犬」「服」が取得される。
【００６６】
次に、詳細分類項目選択部１４０は、画像群を物体認識部１２０によりＳ２０１で取得した概要分類項目に分類する（Ｓ２０２）。
【００６７】
Ｓ２０２の処理の一例を、図９のフローチャートを用いて説明する。
【００６８】
物体認識部１２０は、まず、モデル選択部１２１において、概要分類項目に対応するモデルを取得する（Ｓ３０１）。これは、Ｓ２０１で取得した概要分類項目のそれぞれに対応する分類モデルを、事前に作成したモデル群から選択することにより実現する。モデルは、例えば、予め一般的な画像を用いて、ＳＶＭの機械学習により生成したモデルを用いる。
【００６９】
次に、物体認識部１２０は、物体認識実行部１２２において、画像入力部１１０から入力した画像群を物体認識により分類する（Ｓ３０２）。例えば、ＳＶＭによる機械学習による分類手法を用いる場合は、画像特徴量とＳＶＭの分類器及びＳ３０１で取得したモデルにより、分類したい物体の確からしさを表す値である尤度を算出し、尤度を互いに比較することで、各画像を分類する。
【００７０】
分類結果は、概要分類結果記憶部１２３において、概要分類結果管理情報として記憶される。概要分類結果管理情報の一例を図１４に示す。図１４の例では、各画像の概要分類項目を、画像ＩＤと対応付けて記憶する。図１４の例では、画像ＩＤが０の画像を物体認識により大まかな意味粒度で分類した結果が「食事」であることを示している。以上で、図８におけるＳ２０２の処理が終了する。
【００７１】
図８に戻り、次に、詳細分類項目選択部１４０は、Ｓ２０１で取得した概要分類項目から１つ選択する（Ｓ２０３）。
【００７２】
次に、詳細分類項目選択部１４０は、Ｓ２０３で選択した概要分類項目に関して、多様性を算出する（Ｓ２０４）。ここで、多様性とは、画像群の中で、ある意味項目で共通する部分画像群が、どの程度多様な意味の画像を含んでいるかを表す指標である。多様性が大きいほど、物体認識により詳細な意味粒度の項目に分類する必要があると判断する。多様性は、例えば、画像数に基づく画像数スコアと、被写体の画像特徴量の変化の大きさに基づく被写体変化スコアから算出する。これは、画像数が多いほど、また、被写体の変化が大きいほど、その項目について多様であるという考え方に基づくものである。各項目の画像数スコアは、例えば、各項目の部分画像群の枚数の、画像群全体の枚数に対する割合とする。また、各項目の部分画像群の被写体変化スコアは、例えば、部分画像群に含まれる画像の、色ヒストグラム及びエッジヒストグラムそれぞれの分散の平均として算出する。多様性スコアは、例えば、画像数スコアと、被写体変化スコアの和として算出する。算出された多様性スコアは、多様性記憶部１４４に、多様性管理情報として記憶される。多様性管理情報の一例を図１５に示す。図１５の２行目は、「食事」の画像数スコアが０．５、被写体変化スコアが０．８、多様性スコアが、両者の和である１．３であることを示している。
【００７３】
なお、画像数スコアにおける画像数の算出は、所定時間以内の時間間隔で撮影されている複数の画像を１枚として算出しても良い。例えば、所定時間を５秒とすると、ある画像との撮影時間の差が５秒以下の画像が存在する場合は、それらの画像を１枚として画像数を算出しても良い。これにより、連写で撮影された画像を１枚としてカウントすることができ、同一の被写体に対して連写で撮影した場合に、画像数が増大するため多様性が高くなることを防ぐことができる。
【００７４】
なお、被写体変化スコアにおける画像特徴量の算出は、画像全体で行うのではなく、画像の前景部分に限定して算出しても良い。このとき、画像の前景部は、例えば、画像のＳａｌｉｅｎｃｙ  ｍａｐの算出によるＳａｌｉｅｎｃｙの値が所定値以上であるか否かを各画素に対して判定することにより行っても良いし、画像にデプス情報が含まれている場合は、デプス値が所定値以上であるか否かを判定することによって行っても良い。また、多様性スコアを、画像数スコアと被写体変化スコアの和として算出するのではなく、画像数スコアと被写体変化スコアの重み付きの和として算出しても良い。また、多様性スコアは、画像数スコアのみまたは被写体変化スコアのみから算出しても良い。これにより、背景部の変化による影響を除き、前景部分の被写体のみの多様性を算出することが可能となる。
【００７５】
Ｓ２０４の処理の後、全ての概要分類項目について、多様性を算出したかを判定する（Ｓ２０５）。まだ多様性を算出していない項目が残っている場合（Ｓ２０５がＮｏ）、Ｓ２０３の処理に戻る。Ｓ２０５において、全ての項目について多様性を算出した場合（Ｓ２０５がＹｅｓ）、次に、詳細分類項目選択部１４０は、図の１３２０の意味階層情報に記憶されている項目から１つ選択する（Ｓ２０６）。
【００７６】
次に、詳細分類項目選択部１４０は、Ｓ２０６で選択した項目について、優先度を算出する（Ｓ２０７）。優先度は、詳細に分類するべき項目に対して、高い値が割り振られる値であり、画像群に応じて、概要分類項目毎の多様性に基づき定まる。優先度は、例えば、上位項目の多様性の値とする。これは、多様性が高い項目ほど、優先して詳細に意味分類するべきであるという考え方に基づくものである。なお、階層が１の項目の優先度は、大きな値（例えば１００００）としてもよい。これは、どのような画像群であっても、概要的な意味粒度での分類は優先されるべきであるという考え方に基づくものである。算出された優先度は、優先度記憶部１４５に、優先度管理情報として記憶される。優先度管理情報の一例を図１６に示す。この例では、例えば、丼の優先度が、１．３（食事の多様性スコアと同じ値）であり、食事の優先度が１００００（食事の階層が１であるため）であることを示している。
【００７７】
Ｓ２０７の処理の後、全ての項目について、優先度を算出したかを判定する（Ｓ２０８）。まだ優先度を算出すべき項目が残っている場合（Ｓ２０８がＮｏ）、Ｓ２０６の処理に戻る。Ｓ２０８において、全ての項目について優先度を算出した場合（Ｓ２０８がＹｅｓ）、次に、詳細分類項目選択部１４０は、Ｓ２０７で算出した優先度に基づき、詳細分類項目を選択する（Ｓ２０９）。詳細分類項目は、例えば、Ｓ２０７で算出した優先度が高い所定数の項目を選択する。ここで、ある項目とその全ての下位項目が詳細分類項目として選択された場合は、上位の項目を詳細分類項目から除外しても良い。これは、下位項目の画像が上位項目と重複して分類されるのを防ぐためである。例えば「食事」「丼」「ラーメン」「カレー」が詳細分類項目として選択されている場合、「食事」を詳細分類項目から除外しても良い。これにより、丼の画像が「丼」「食事」の両方に分類されるのを防ぐことができる。選択結果は、詳細分類項目記憶部１４６において、詳細分類項目管理情報として記憶される。詳細分類項目管理情報の一例を図１７に示す。以上で、図７におけるＳ１０２の処理が終了する。
【００７８】
図７に戻り、次に、物体認識部１２０は、画像蓄積装置１１１に記憶されている各画像を、詳細分類項目記憶部１４６に格納されている項目に、物体認識により分類する（Ｓ１０３）。Ｓ１０３の具体例を、図１０のフローチャートを用いて説明する。まず、Ｓ４０１では、詳細分類項目選択部１４０で選択した詳細分類項目に対応するモデルを取得する。これは、詳細分類項目記憶部１４６に記憶されている項目に対応する分類モデルを、事前に作成したモデル群から選択することにより実現する。モデルは、例えば、予め一般的な画像を用いて、ＳＶＭの機械学習により学習したモデルを用いる。
【００７９】
次に、物体認識部１２０は、物体認識実行部１２２において、画像入力部１１０から入力した画像群を物体認識により分類する（Ｓ４０２）。例えば、ＳＶＭによる機械学習による分類手法を用いる場合は、画像特徴量とＳＶＭの分類器及びＳ４０１で取得したモデルにより、分類したい物体の確からしさを表す値である尤度を算出し、尤度を互いに比較することで、各画像を各項目に分類する。分類結果は、詳細分類結果記憶部１２４に、詳細分類結果管理情報として記憶される。詳細分類結果管理情報の一例を、図１８に示す。図１８の例では、画像ＩＤが０の画像を物体認識により詳細な意味粒度に分類した結果が「丼」であることを示している。図１８の内容を図１４における概要分類結果管理情報と比較すると、図１４では「食事」に分類されていた画像ＩＤが０，１の画像が、図１７の詳細分類結果管理情報では、それぞれ「丼」「ラーメン」と、より詳細に分類されている。続いて、図１７の詳細分類項目管理情報と、図１８の詳細分類結果管理情報を基に、各詳細分類項目に分類された画像ＩＤを、分類項目別画像管理情報として図１９のように作成し、詳細分類結果記憶部１２４に合わせて記憶する。例えば、図１９の例では、「丼」に分類された画像の画像ＩＤは、０，７，１９，２７，２９，３２であることを示している。以上で、図７におけるＳ１０３の処理が終了する。
【００８０】
図７に戻り、次に、画像管理装置１００は、詳細分類項目記憶部１４６が記憶する詳細分類項目から１つ選ぶ（Ｓ１０４）。
【００８１】
次に、画像管理装置１００は、Ｓ１０３で分類されたそれぞれの項目の画像群に対して、クラスタリングによる分類を行う（Ｓ１０５）。クラスタリング対象の画像群は、詳細分類結果管理情報で同一の項目に分類された画像群とする。すなわち、詳細分類結果記憶部１２４の分類項目別画像管理情報において、Ｓ１０４で選択された項目に対応する画像ＩＤを、クラスタリング対象の画像群とする。クラスタリングの手法は、例えば、画像特徴量の類似性に基づく階層的クラスタリング手法により行う。画像特徴量は、例えば、色ヒストグラム特徴量やエッジ特徴量を用いる。なお、クラスタリング手法は、階層的クラスタリングによるクラスタリング手法以外の手法でも良い。例えば、ｋ−ｍｅａｎｓ法や、Ａｆｆｉｎｉｔｙ  Ｐｒｏｐｅｒｇａｔｉｏｎの手法を用いても良い。また、一度クラスタリングして得られたクラスタを、再度クラスタリングすることにより、クラスタリングで階層的に分類しても良い。クラスタリング結果は、クラスタリング結果記憶部１３２において、クラスタリング結果管理情報として記憶される。クラスタリング結果管理情報の一例を図２０に示す。ここで、図２０の２行目は、「犬」の親項目に対してクラスタリングしてできたクラスタを「犬Ａ」「犬Ｂ」と名づけ、３行目は、「犬Ａ」のクラスタは、画像ＩＤが２，６，１１，１４，１５，１６，１７，２３，２４，２５，２８，３７，３８，３９の画像からなり、４行目は、「犬Ｂ」のクラスタは、画像ＩＤが３４，３５の画像からなることを示している。
【００８２】
Ｓ１０５の処理の後、全ての項目について、クラスタリング処理が終了したかどうかを判定する（Ｓ１０６）。まだクラスタリングを行う項目が残っている場合（Ｓ１０６がＮｏ）、Ｓ１０４の処理に戻る。Ｓ１０６において、全ての項目について、クラスタリング処理が終了した場合（Ｓ１０６がＹｅｓ）、階層構造生成部１５０は、Ｓ１０３及びＳ１０５の結果得られた階層構造を結合し、画像群全体を階層的に分類した時の階層構造を生成し、階層構造管理情報として階層構造記憶装置１５１に記憶する（Ｓ１０７）。階層構造管理情報の一例を図２２に示す。ここで、図２２において、「画像群」とは、入力画像群全体のことであり、図２２の２行目において、「画像群」の子が「食事、犬、猫」であることは、階層分類の第１段階として、全画像群が「食事」「犬」「猫」に大まかに分類されていることを表す。図２２の３行目は、「食事」の画像は「丼」「ラーメン」「カレー」の項目に分類されていることを表す。図２２の１０行目は、「丼」の画像をクラスタリングしてできたクラスタを「丼Ａ」「丼Ｂ」と名づけ、１１行目は、「丼Ａ」のクラスタは、画像ＩＤが０，７，２７の画像からなり、１２行は、「丼Ｂ」のクラスタは、画像ＩＤが１９，２９，３２の画像からなることを示している。
【００８３】
以上、実施の形態１に係る画像管理装置の構成及び画像管理装置が行う処理について説明したが、以下では、本実施の形態にかかる画像管理装置の動作の具体例について説明する。
【００８４】
ここで、図２４に示す画像群に対して、画像管理装置１００が詳細分類項目を選択し、物体認識及びクラスタリングにより、画像群を階層構造化するまでの流れについて、図７のフローチャートを用いて具体的に説明する。本具体例では、図２４に一部を示している計４０枚の画像群に対する処理の具体例を示す。それぞれには画像ＩＤが０から３９まで付与されており、図２４は、画像群のうち、画像ＩＤが０から３までの４枚を表したものである。画像蓄積装置１１１では、図２４に示す入力画像は、例えば、図１１のように管理されている。
【００８５】
本具体例では、画像管理装置１００が分類する意味項目の候補が図１２のような階層構造であるとする。この場合の意味記憶管理情報は、例えば図１３のようになる。図１３は、画像管理装置１００が分類する項目として、概要分類項目として「食事」「犬」「服」があり、食事の詳細分類項目の候補として、「丼」「ラーメン」「カレー」が、犬の詳細分類項目の候補として「柴犬」「チワワ」「ダルメシアン」が、服の詳細分類項目の候補として「Ｔシャツ」「スーツ」「着物」があることを示している。
【００８６】
まず、画像入力部１１０は、画像蓄積装置１１１から、画像管理情報を取得することにより、画像及び画像ＩＤを取得する（Ｓ１０１）。
【００８７】
次に、詳細分類項目選択部１４０は、物体認識を行う項目を選択する（Ｓ１０２）。
【００８８】
Ｓ１０２の処理の具体例を、図８のフローチャートを用いて説明する。
【００８９】
詳細分類項目選択部１４０は、まず、意味階層記憶部から概要分類項目を取得する（Ｓ２０１）。例えば、図１３に示す意味階層情報のうち、階層が１のものを取得する場合、「食事」「犬」「服」が選択される。
【００９０】
次に、詳細分類項目選択部１４０は、画像群を「食事」「犬」「服」に分類する（Ｓ２０２）。
【００９１】
Ｓ２０２の処理の一例を、図９のフローチャートを用いて説明する。
【００９２】
物体認識部１２０は、まず、モデル選択部１２１において、「食事」「犬」「服」の分類モデルを取得する（Ｓ３０１）。例えば、「食事」の分類モデルは、事前に多数収集した一般的な食事の画像を基にしてＳＶＭによる機械学習により得られる。
【００９３】
次に、物体認識部１２０は、物体認識実行部１２２において、画像入力部１１０から入力した画像それぞれを物体認識により分類する（Ｓ３０２）。例えば、Ｓ３０１で選択した「食事」「犬」「服」のモデル及びＳＶＭの分類器により分類を行う。
【００９４】
分類結果は、概要分類結果記憶部１２３に、概要分類結果管理情報として記憶される。図１４の例では、画像ＩＤ０，１，２，３の画像が、それぞれ「食事」「食事」「犬」「服」と大まかに分類されている。ここでは、全ての画像４０枚が、「食事」に２０枚、「犬」に１６枚、「服」に４枚分類されたものとする。以上で、図８におけるＳ２０２の処理が終了する。
【００９５】
図８に戻り、次に、詳細分類項目選択部１４０は、Ｓ２０１で取得した概要分類項目「食事」「犬」「服」から１つ選択する（Ｓ２０３）。以下、Ｓ２０３では「食事」が選択された場合の説明を行う。
【００９６】
詳細分類項目選択部１４０は、次に、「食事」の多様性を算出する（Ｓ２０４）。ここでは、多様性を、先に説明したように、画像数スコアと被写体変化スコアの和として算出する場合について説明する。まず、「食事」の画像スコア、「食事」に分類された画像数の全画像数に対する比、すなわち、２０÷４０＝０．５となる。被写体変化スコアは、「食事」に分類された２０枚の画像の色ヒストグラムおよびエッジ特徴量の分散の平均として算出される。例えば被写体変化スコアが０．８であったものとすると、多様性スコアは、画像数スコアと被写体変化スコアの和、すなわち、０．５＋０．８＝１．３となる。画像数スコア、被写体変化スコア、多様性スコアの値は、図１５の２行目のように、項目と対応付けて多様性管理情報として記憶される。「犬」「服」に関しても、同様にして多様性スコアを算出し、それぞれ図１５の２，３行目のようにして、多様性管理情報として算出される。
【００９７】
「食事」「犬」「服」の多様性を算出した後（Ｓ２０５でＹｅｓ）、詳細分類項目選択部１４０は、分類候補の項目「食事」「犬」「服」「丼」「ラーメン」「カレー」「柴犬」「チワワ」「ダルメシアン」「Ｔシャツ」「スーツ」「着物」から１つ選ぶ（Ｓ２０６）。以下では、「食事」「ラーメン」を選択した場合のそれぞれの処理の例を示す。また、ここでは、優先度を、先に説明したように、上位項目の多様性の値を優先度をとする（但し、階層が１の場合は優先度を１００００とする）場合について説明する。
【００９８】
Ｓ２０６で「食事」を選択した場合、Ｓ２０７では「食事」の優先度を算出する。図１３の意味階層情報により、「食事」は階層が１であると特定する。そこで「食事」の優先度は１００００となる。これを図１６の優先度管理情報の１行目に記憶する。
【００９９】
Ｓ２０６で「ラーメン」を選択した場合、Ｓ２０７では「ラーメン」の優先度を算出する。ここでは、優先度を、先に説明したように、優先度を上位項目の多様性の値とする場合について説明する。図１３の意味階層情報により、「ラーメン」の上位項目として「食事」を特定する。図１５の多様性管理情報により、「食事」の多様性スコアとして１．３を特定する。この１．３を、「ラーメン」の優先度として、図１６の優先度管理情報の６行目に記憶する。残りの１０項目に関しても、同様にして優先度を算出し、図１５の１，６行目以外のようにして、優先度管理情報として算出される。
【０１００】
全ての項目について優先度を算出後（Ｓ２０８がＹｅｓ）、詳細分類項目選択部１４０は、Ｓ２０７で算出した優先度に基づき、詳細分類項目を選択する（Ｓ２０９）。ここでは、先に説明したように、詳細分類項目は、優先度が高い所定数の項目を選択する場合で、所定数を５とした場合について説明する。まず、図１６の優先度管理情報において、項目を優先度の高い順に並び替える。次に、並び替えた項目の内、優先度が高い所定数＋１＝６個を選択する。ここで、所定数に１を加えているのは、全ての下位項目が詳細分類項目として選択された場合は、上位の項目を詳細分類項目から除外するからである。このとき、「食事」「犬」「服」「丼」「ラーメン」「カレー」が選択される。このうち、図１３の２行目及び５，６，７行目から、「食事」の全ての下位項目「丼」「ラーメン」「カレー」が詳細分類項目に選択されていることが分かるので、「食事」を詳細分類項目から除外する。最終的に、詳細分類項目は、「犬」「服」「丼」「ラーメン」「カレー」の５項目となり、詳細分類項目管理情報として、図１７のように記憶する。以上で、図７におけるＳ１０２の処理が終了する。
【０１０１】
図７に戻り、次に、物体認識部１２０は、画像群を「犬」「服」「丼」「ラーメン」「カレー」に分類する（Ｓ１０３）。Ｓ１０３の処理の具体例を、図１０のフローチャートを用いて説明する。
【０１０２】
物体認識部１２０は、まず、モデル選択部１２１において、「犬」「服」「丼」「ラーメン」「カレー」の分類モデルを取得する（Ｓ４０１）。
【０１０３】
次に、物体認識部１２０は、物体認識実行部１２２において、画像入力部１１０から入力した画像それぞれを、Ｓ４０１で選択した「犬」「服」「丼」「ラーメン」「カレー」のモデル及びＳＶＭの分類器により分類を行う（Ｓ４０２）。
【０１０４】
分類結果は、詳細分類結果記憶部１２４に、図１８及び図１９のように、詳細分類結果管理情報として記憶する。図１８の例では、画像ＩＤが０，１，２，３の画像が、それぞれ「丼」「ラーメン」「犬」「服」と分類されている。以上で、図７におけるＳ１０３の処理が終了する。
【０１０５】
図７に戻り、次に、画像管理装置１００は、詳細分類項目記憶部１４６が記憶する詳細分類項目「犬」「服」「丼」「ラーメン」「カレー」から１つ選ぶ（Ｓ１０４）。以下、Ｓ１０４で「丼」を選択した場合を例に説明する。
【０１０６】
次に、画像管理装置１００は、「丼」の画像に対して、クラスタリングによる分類を行う（Ｓ１０５）。クラスタリング対象の画像群は、図１９の１列目が「丼」である４行目から、画像ＩＤが「０，７，１９，２７，２９，３２」の画像を特定する。これらの画像を、例えば、色ヒストグラム特徴量の類似度を基に階層的クラスタリングを行い、「丼」の画像を更に詳細にクラスタ化する。
【０１０７】
図２１の階層構造で示されるクラスタリング結果は、クラスタリング結果記憶部１３２において、図２０のように、クラスタリング結果管理情報として記憶する。ここで、図２１において、丸印がクラスタを、四角内の番号が、上位のクラスタに含まれる画像の画像ＩＤを表している。この例では、階層構造における親子関係を、各クラスタと画像ＩＤに関して記述することにより、階層関係を表している。例えば、クラスタリング結果管理情報を現す木構造２１ａは、「丼」クラスタはクラスタリングにより２つのクラスタに分類され（それぞれに「丼Ａ」「丼Ｂ」の名前をつけている）、それぞれに含まれる画像の画像ＩＤは、それぞれ「０，７，７２」「１９，２９，３２」であることを示している。これに対応するクラスタリング結果管理情報は、例えば図２０の「丼」「丼Ａ」「丼Ｂ」の行のように表すことができる。これは、「丼」の下位には「丼Ａ」「丼Ｂ」の２つのクラスタがあり、「丼Ａ」には画像ＩＤが「０，７，２７」の画像が含まれ、「丼Ｂ」には画像ＩＤが「１９，２９，３２」の画像が含まれることを示している。残りの「犬」「服」「ラーメン」「カレー」に関しても、同様にしてクラスタリングを行い、図２０のように、クラスタリング結果管理情報として記憶される。
【０１０８】
全ての項目について、クラスタリング処理が終了すると（Ｓ１０６がＹｅｓ）、階層構造生成部１５０は、Ｓ１０３及びＳ１０５の結果得られた階層構造を結合し、図２３に示す画像群全体の階層構造を生成する。そして、図２２の階層構造管理情報として階層構造記憶装置１５１に記憶する（Ｓ１０７）。ここで、図２３において、丸印がクラスタを、四角内の番号が、上位のクラスタに含まれる画像の画像ＩＤを表している。図２２では、階層構造における親子関係を、各クラスタと画像ＩＤに関して記述することにより、階層関係を表している。
【０１０９】
以上のように、実施の形態１にかかる画像管理装置１００は、画像群の階層構造化を行う際、画像群の多様性に応じた物体認識の項目を選択することができる。これによって、物体認識の項目数の増加に伴う分類性能の悪化を防ぎつつ、画像群の項目毎の多様性の偏りに合った意味粒度で画像群を物体認識により分類し、画像群の意味内容に即した階層構造化を行うことができる。
【０１１０】
なお、詳細分類項目選択部１４０で選択した詳細分類項目の多様性に基づき、更に下位概念の意味項目を詳細分類項目としても良い。具体的には、例えば、詳細分類項目選択部１４０において優先度が高い詳細分類項目について多様性を算出し、多様性が高い項目の下位概念の意味項目も含めて優先度が高い項目を詳細分類項目としても良い。例えば、「ラーメン」の優先度が高い場合に、「ラーメン」の多様性が高い場合には、「ラーメン」の下位概念の意味項目である「醤油ラーメン」「味噌ラーメン」「豚骨ラーメン」の優先度を高く設定し、「醤油ラーメン」「味噌ラーメン」「豚骨ラーメン」を詳細分類項目としても良い。
【０１１１】
これにより、物体認識で分類を行う詳細分類項目を、３段階以上の意味粒度の詳細分類項目の候補から、多様性を加味しつつ優先度付けて選択することが可能となる。
【０１１２】
また、クラスタリング実行部１３１で用いる特徴量の種類を、クラスタリング対象画像群の意味項目に応じて選択しても良い。具体的には、特徴量の種類として、物体認識部１２０で付与された、クラスタリング対象部分画像群の意味項目を分類するのに適した種類を選択しても良い。例えば、物体認識部１２０で「食事」に分類された部分画像群をクラスタリングで分類する際は、全体的な形の類似性に基づき分類すると分かり易いので、形状特徴量の類似性に基づきクラスタリングし、物体認識部１２０で「服」に分類された部分画像群をクラスタリングで分類する際は、色の類似性に基づき分類すると分かり易いので、色特徴量の類似性に基づきクラスタリングしても良い。
【０１１３】
これにより、意味項目内容に即した分かり易い分類が可能となる。
【０１１４】
また、クラスタリング部１３０では、１回のクラスタリングで得られた部分画像群を再度クラスタリングすることにより複数階層に階層分類し、複数階層の階層構造化を行っても良い。更に、各クラスタリングにおける特徴量の種類を変えても良い。例えば、物体認識部１２０で「服」に分類された部分画像群をクラスタリングで分類する際、まず全体的な色の類似性に基づき分類した後、詳細な模様の違いで分類するため、まず「服」に分類された部分画像群を色特徴量の類似性に基づきクラスタリングで分類し、分類されたそれぞれを、形状特徴量の類似性に基づきクラスタリングすることで、２段階で階層分類しても良い。
【０１１５】
これにより、入力画像数が多くとも、階層の数を増やすことで、絞込み検索では絞込みの選択肢の数を少なくし、また、意味項目に即した分かり易い分類が可能となる。
【０１１６】
（実施の形態２）
実施の形態１では、多様性のみから優先度を算出する方法について説明を行ったが、多様性にユーザの興味情報を加味して、優先度を算出しても良い。ユーザが興味を持つ物体の項目が分かっていれば、その項目を物体認識部で詳細に分類する方が、より画像群の内容に即した階層構造化を実現できると考えられる。
【０１１７】
実施の形態２にかかる画像管理装置は、このような考えに基づき画像群の階層構造化を行うものである。
【０１１８】
以下、本実施の形態２における画像管理装置について説明する。
【０１１９】
ここでは、詳細分類項目選択部１４０で算出される多様性に、ユーザがソーシャル・ネットワーキング・サービスに投稿したコメント情報のメタデータから分かるユーザの興味情報を加味して、項目の優先度をつけることによって、物体認識の項目を選択する実施例について説明する。
【０１２０】
実施の形態２にかかる画像管理装置１００ａの機能ブロック図を図２５に示す。画像管理装置１００ａの構成は、画像管理装置１００と比較して、詳細分類項目選択部の内部構成が異なる。また、詳細分類項目選択部に、メタデータ蓄積装置１６１が接続される。以下では、実施の形態１と構成の異なる詳細分類項目選択部１４０ａ及びメタデータ蓄積装置１６１について説明を行う。
【０１２１】
本実施の形態における詳細分類項目選択部１４０ａは、実施の形態１において詳細分類項目選択部で算出される多様性に加え、メタデータ蓄積装置１６１から取得したメタデータから算出される興味度から、各項目の優先度を算出して、分類項目を選択する。
【０１２２】
詳細分類項目選択部１４０ａの機能構成の一例について、図２６を用いて説明を行う。図２６は、図２５の画像管理装置における詳細分類項目選択部１４０ａの機能ブロック図である。
【０１２３】
詳細分類項目選択部１４０ａは、多様性算出部１４１、優先度算出部１４２ａ、意味階層記憶部１４３、多様性記憶部１４４、優先度記憶部１４５、詳細分類項目記憶部１４６、興味情報抽出部１４７及び興味度記憶部１４８を備える。
【０１２４】
多様性算出部１４１、意味階層記憶部１４３、多様性記憶部１４４、優先度記憶部１４５及び詳細分類項目記憶部１４６の動作は、実施の形態１における動作と同様であるため、説明を省略する。
【０１２５】
優先度算出部１４２ａは、多様性に加え、ユーザの興味情報から、各分類項目の優先度を算出する。
【０１２６】
興味情報抽出部１４７は、メタデータ情報から、ユーザの興味を持つ物体の情報を抽出する。
【０１２７】
興味度記憶部１４８は、メタデータ情報に現れるユーザの興味情報を、分類項目候補毎に記憶する。
【０１２８】
ここで、図２５における画像管理装置１００ａの説明に戻る。
【０１２９】
メタデータ蓄積装置１６１は、ユーザの興味に関する情報を含むメタデータ管理情報を格納する。メタデータは、例えば、ユーザがソーシャル・ネットワーキング・サービスに投稿したコメント情報、写真にユーザが付与したコメント情報、写真が撮影された場所の位置情報、ユーザの年齢や性別等の情報からなる。
【０１３０】
次に、本実施の形態における画像管理装置の動作について説明する。本実施の形態における画像管理装置の全体動作は、図７と同様である。ただし、前述のように、詳細分類項目選択部１４０の動作が実施の形態１と異なることに伴い、図７におけるＳ１０２の具体的な処理が実施の形態１と異なっている。以下、この点について説明する。
【０１３１】
図２７は、本実施の形態における詳細分類項目選択部１４０の処理の一例を示すフローチャートである。
【０１３２】
図２７のフローチャートは、図８のフローチャートと比較して、Ｓ２１０の処理が追加されている。Ｓ２０５までの動作は、実施の形態１と同様である。以下では、実施の形態１と異なる、図２７におけるＳ２１０以降の処理について説明する。
【０１３３】
優先度算出部１４２ａは、Ｓ２０５までの処理の後、興味情報抽出部１４７において、メタデータから、分類項目候補の興味度を算出する（Ｓ２１０）。興味度は、メタデータから得られる情報に基づき、ユーザがより興味を持っていると判断される項目に対して、高い値を付与する。興味度は、例えば、メタデータに含まれている名詞を抽出し、抽出された名詞が分類項目候補の名前と一致する数の多い項目に対して、高い値を付与する。この場合、例えば、メタデータに含まれる分類項目候補の名前と一致する名詞の出現数割合を、各項目の興味度とする。メタデータは、メタデータ管理情報として、メタデータ蓄積装置１６１に記憶されている。メタデータ管理情報の一例を図２８に示す。図２８の例では、メタデータＩＤが０のメタデータとして、「ラーメン食べたよ！」というユーザのソーシャル・ネットワーキング・サービスへの投稿内容が記憶されている。名詞の抽出は、例えば、メタデータを形態素解析することにより行う。出現数割合は、例えば、メタデータに含まれる分類項目候補の名前の出現数を、出現数管理情報として興味度記憶部１４８に記憶し（図２９の２列目）、各項目の出現数の、全項目の出現数に対する比として算出する。算出した興味度は、興味度記憶部１４８に、図２９の３列目のようにして記憶する。図２９の興味度管理情報の例では、「ラーメン」の出現数が７回であり、興味度が０．７であることを示している。
【０１３４】
次に、優先度算出部１４２ａは、図１３の意味階層情報に記憶されている項目から１つ選択する（Ｓ２０６）。
【０１３５】
次に、優先度算出部１４２ａは、多様性にユーザの興味度を加味した優先度を算出する（Ｓ２０７）。本実施の形態では、実施の形態１と同様にして多様性から算出した優先度を多様性優先度と呼び、多様性にユーザの興味度を加味した優先度を総合優先度と呼ぶことにする。まず、実施の形態１における優先度の算出と同様の方法により、多様性優先度を算出する。具体的には、図８におけるＳ２０７までの処理により算出した優先度を、優先度記憶部１４５に、優先度管理情報の多様性優先度として図３１の２列目のように記憶する。次に、優先度算出部１４２ａは、Ｓ２１０で算出した興味度を、優先度管理情報において対応する項目毎に興味優先度として記憶する。優先度管理情報は、例えば、図３１の３列目に、各項目と対応付けて記憶される。次に、優先度算出部１４２ａは、多様性優先度と興味優先度を加味した総合優先度を算出する。総合優先度は、例えば、多様性優先度と興味優先度の和として算出する。算出された総合優先度は、優先度管理情報の総合優先度として、図３１の４列目のように記憶する。なお、優先度算出部１４２ａで算出する総合優先度は、多様性優先度と興味優先度の和により算出するのではなく、多様性優先度と興味優先度を重み付けた和により算出しても良い。
【０１３６】
Ｓ２０７の処理の後、全ての項目について優先度を算出したか否かを判定する（Ｓ２０８）。優先度を算出すべき項目が残っている場合（Ｓ２０８がＮｏ）、Ｓ２０６の処理に戻る。Ｓ２０８において、全ての項目について優先度を算出した場合（Ｓ２０８がＹｅｓ）、次に、詳細分類項目選択部１４０は、Ｓ２０７で算出した優先度に基づき、詳細分類項目を選択する（Ｓ２０９）。ここで、上位項目が共通の項目で、詳細分類項目として選択された項目及び選択されなかった項目が両方存在する場合は、詳細分類項目に「上位項目その他」を追加し、上位項目が詳細分類項目に選択されていれば、上位項目を詳細分類項目から除外しても良い。このとき、Ｓ４０２における詳細な物体認識において、Ｓ４０１では詳細分類項目として選択された項目及び上位項目のモデルを選択し、ＳＶＭによりそれぞれの尤度を算出し、ある下位項目と上位項目の尤度が高い場合は下位項目に、全ての下位項目の尤度が低いが上位項目の尤度が高い場合には「上位項目その他」に分類しても良い。これは、どのような下位項目の画像でも、「上位項目その他」または下位項目のいずれかに分類するためである。例えば「食事」「ラーメン」が詳細分類項目として選択されており、「丼」「カレー」が詳細分類項目として選択されていない場合、詳細分類項目に「食事その他」を追加し、「食事」を除外することにより、食事に関連する詳細分類項目を「ラーメン」「食事その他」とする。このとき、Ｓ４０１では「ラーメン」「食事」のモデルを選択する。これにより、ラーメンが写っている画像に対しては「ラーメン」「食事」の尤度が共に高いため「ラーメン」に分類し、丼が写っている画像に対しては「ラーメン」の尤度が低いが「食事」の尤度が高くなるため、「食事その他」に分類することができる。
【０１３７】
以上、実施の形態２に係る画像管理装置の構成及び画像管理装置が行う処理について説明したが、以下では、本実施の形態に係る画像管理装置の動作の具体例について説明する。
【０１３８】
ここで、図２４に一部を示す画像群に対して、画像管理装置１００ａが詳細分類項目の選択を行うまでの流れについて、図７及び図２７のフローチャートを用いて具体的に説明する。本具体例では、実施の形態１における具体例とは内容が異なる計４０枚の画像群に対する処理の具体例を示す。それぞれには画像ＩＤが０から３９まで付与されており、図２４は、画像群のうち、画像ＩＤが０から３までの４枚を表している。画像蓄積装置１１１では、図２４に示す入力画像は、例えば、図１１のように管理されている。
【０１３９】
本具体例では、画像管理装置１００ａの分類項目の候補が図１２のような階層構造であるとする。
【０１４０】
まず、画像入力部１１０は、画像蓄積装置１１１から、画像管理情報を取得することにより、画像及び画像ＩＤを取得する（Ｓ１０１）。
【０１４１】
次に、詳細分類項目選択部１４０ａは、物体認識を行う項目を選択する（Ｓ１０２）。
【０１４２】
Ｓ１０２の処理の具体例を、図２７のフローチャートを用いて説明する。
【０１４３】
詳細分類項目選択部１４０ａは、まず、意味階層記憶部から概要分類項目を取得する（Ｓ２０１）。例えば、図１３に示す意味階層情報のうち、階層が１のものを取得する場合、「食事」「犬」「服」が選択される。
【０１４４】
次に、詳細分類項目選択部１４０ａは、画像群を「食事」「犬」「服」に分類する（Ｓ２０２）。
【０１４５】
Ｓ２０２の処理の一例を、図９のフローチャートを用いて説明する。
【０１４６】
物体認識部１２０は、まず、モデル選択部１２１において、「食事」「犬」「服」の分類モデルを取得する（Ｓ３０１）。例えば、「食事」の分類モデルは、一般的な食事の画像を事前に多数収集し、ＳＶＭによる機械学習を行うことで得られる。
【０１４７】
次に、物体認識部１２０は、物体認識実行部１２２において、画像入力部１１０から入力した画像それぞれを物体認識により分類する（Ｓ３０２）。例えば、Ｓ３０１で選択した「食事」「犬」「服」のモデル及びＳＶＭの分類器により分類を行う。
【０１４８】
分類結果は、概要分類結果記憶部１２３に、概要分類結果管理情報として記憶する。図１４の例では、画像ＩＤ０，１，２，３の画像が、それぞれ「食事」「食事」「犬」「服」と大まかに分類されている。ここでは、全画像４０枚が、「食事」に１２枚、「犬」に２４枚、「服」に４枚分類されたものとする。以上で、図２７におけるＳ２０２の処理が終了する。
【０１４９】
図２７に戻り、次に、詳細分類項目選択部１４０ａは、Ｓ２０１で取得した概要分類項目「食事」「犬」「服」から１つ選択する（Ｓ２０３）。以下、Ｓ２０３では「食事」が選択された場合の説明を行う。
【０１５０】
詳細分類項目選択部１４０ａは、次に、「食事」の多様性を算出する（Ｓ２０４）。ここでは、多様性を、先に説明したように、画像数スコアと被写体変化スコアの和として算出する場合について説明する。まず、「食事」の画像スコア、「食事」に分類された画像数の全画像数に対する比、すなわち、１２÷４０＝０．３となる。被写体変化スコアは、「食事」に分類された１２枚の画像の色ヒストグラムおよびエッジ特徴量の分散の平均として算出される。例えば被写体変化スコアが０．２であったものとすると、多様性スコアは、画像数スコアと被写体変化スコアの和、すなわち、０．３＋０．２＝０．５となる。画像数スコア、被写体変化スコア、多様性スコアの値は、図３０の２行目のように、多様性管理情報として記憶される。「犬」「服」に関しても、同様にして多様性スコアを算出し、それぞれ図３０の３，４行目のようにして、多様性管理情報として算出される。
【０１５１】
「食事」「犬」「服」の多様性を算出した後（Ｓ２０５でＹｅｓ）、興味情報抽出部１４７は、分類候補の項目毎に興味度を算出する（Ｓ２１０）。ユーザがソーシャル・ネットワーキング・サービスに投稿したコメント情報として、図２８に示すメタデータが付与されたものとする。詳細分類項目選択部１４０ａは、まず、メタデータ管理情報に記憶されたメタデータＩＤ＝０のメタデータに対して形態素解析を行い、分類項目名と一致する名詞として「ラーメン」を抽出する。そこで、図２９の興味度管理情報における「ラーメン」の出現数を１増やす。以上のメタデータに対する項目名抽出操作を全てのメタデータに対して行い、興味度管理情報には、各項目の単語の出現数が、図２９の２列目のように記憶される。このとき、項目名のメタデータ中の出現数の総数は、７＋１＋２＝１０であり、興味度は、それぞれの項目の出現数を１０で割ることにより算出され、興味度管理情報において図２９の３列目のように記憶される。例えば、「ラーメン」の興味度は７÷１０＝０．７であり、この値は図２９において、６行目の３列目に興味度管理情報として記憶される。
【０１５２】
次に、詳細分類項目選択部１４０ａは、分類項目候補「食事」「犬」「服」「丼」「ラーメン」「カレー」「柴犬」「チワワ」「ダルメシアン」「Ｔシャツ」「スーツ」「着物」から１つ選ぶ（Ｓ２０６）。以下では、「食事」「ラーメン」を選択した場合のそれぞれのＳ２０７の処理の例を示す。また、ここでは、優先度を、先に説明したように、優先度を上位項目の多様性の値とする（但し、階層が１の場合は優先度を１００００とする）場合について説明する。
【０１５３】
Ｓ２０６で「食事」を選択した場合、優先度算出部１４２ａは、まず、「食事」の多様性優先度を算出する。図１３の意味階層情報により、「食事」は階層が１であると特定する。そこで「食事」の多様性優先度は１００００となる。これを図３１の優先度管理情報の２行目の２列目に記憶する。優先度算出部１４２ａは、次に、「食事」の興味優先度を算出する。図２９の興味度管理情報の「食事」の行の「興味度」の列を参照することにより、「食事」の興味優先度は０となる。これを図３１の優先度管理情報の「食事」の行の３列目に記憶する。優先度算出部１４２ａは、次に、多様性優先度と興味優先度を足すことにより、総合優先度を算出する。総合優先度は１００００＋０＝１００００となる。これを図３１の優先度管理情報の２行目の４列目に記憶する。
【０１５４】
Ｓ２０６で「ラーメン」を選択した場合、「ラーメン」の優先度を算出する。ここでは、優先度を、先に説明したように、優先度を上位項目の多様性の値とする場合について説明する。優先度算出部１４２ａは、まず、「食事」の多様性優先度を算出する。図１３の意味階層情報により、「ラーメン」の上位項目として「食事」を特定する。図３０の多様性管理情報により、「食事」の多様性スコアとし０．５を特定する。この０．５を、「ラーメン」の多様性優先度として、図３１の優先度管理情報の６行目の２列目に記憶する。優先度算出部１４２ａは、次に、「ラーメン」の興味優先度を算出する。図２９の興味度管理情報の「ラーメン」の行の「興味度」を参照することにより、「ラーメン」の興味優先度は０．７となる。これを図３１の優先度管理情報の６行目の３列目に記憶する。優先度算出部１４２ａは、次に、多様性優先度と興味優先度を足すことにより、総合優先度を算出する。総合優先度は０．５＋０．７＝１．２となる。これを図３１の優先度管理情報の６行目の４列目に記憶する。
【０１５５】
全ての項目について優先度を算出後（Ｓ２０８がＹｅｓ）、詳細分類項目選択部１４０ａは、Ｓ２０７で算出した優先度に基づき、詳細分類項目を選択する（Ｓ２０９）。ここでは、先に説明したように、優先度が高い所定数の項目を詳細分類項目として選択する場合で、所定数＝６とした場合について説明する。まず、図１６の優先度管理情報において、項目を優先度の高い順に並び替える。次に、並び替えた項目の内、優先度が高い所定数＋１＝７個を選択する。ここで、所定数に１を加えているのは、全ての下位項目が詳細分類項目として選択された場合は、上位の項目を詳細分類項目から除外するからである。このとき、「食事」「犬」「服」「ラーメン」「柴犬」「チワワ」「ダルメシアン」が選択される。このうち、図１３の２行目及び５，６，７行目から、「食事」の全ての下位項目「丼」「ラーメン」「カレー」が詳細分類項目に選択されていることが分かるので、「食事」を詳細分類項目から除外する。また、図１３の２，６行目から、「食事」の下位項目のうち詳細分類項目に選択されている「ラーメン」と、選択されていない「丼」「カレー」が存在するので、「食事」を詳細分類項目から除外し、「食事その他」を詳細分類項目に追加する。最終的に、詳細分類項目は、「服」「ラーメン」「食事その他」「柴犬」「チワワ」「ダルメシアン」の６項目となり、詳細分類項目管理情報として、図３２のように記憶する。以上で、図７におけるＳ１０２の処理が終了する。
【０１５６】
以上のように、本実施の形態に係る画像管理装置１００ａは、画像群の階層構造化を行う際、画像群の多様性に、画像情報のみからでは分からないユーザの興味を加味して、物体認識の項目を優先付けて選択することができる。これによって、物体認識の項目数の増加に伴う分類性能の悪化を防ぎつつ、画像群の意味内容及びユーザの興味に合った詳細さの意味粒度で画像群を物体認識により分類し、画像群意味内容及びユーザの興味に即した画像群の階層構造化を行うことができる。
【０１５７】
なお、興味情報抽出部１４７で取得するメタデータは、全てのメタデータを取得するのではなく、期間を限定して取得しても良い。例えば「最近１ヶ月」のように、最近のメタデータのみを取得してもよい。これにより、詳細分類項目の選択において、ユーザの最近の興味に応じて優先度付けることができる。
【０１５８】
また、興味情報抽出部１４７で取得するメタデータは、位置情報であっても良い。このとき、興味情報抽出部１４７では、頻出する位置情報に対応する項目の興味度が大きくなるよう設定しても良い。例えば、動物園で撮影されている画像が所定数以上の存在する場合は、ユーザは動物好きと考えられるので「犬」「柴犬」「チワワ」「ダルメシアン」等の、動物に関連する項目の優先度を大きくしても良い。ここで、位置情報は、画像に付与されているＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）情報から取得しても良い。これにより、詳細分類項目の選択において、ユーザの行動情報から分かる興味情報に応じて優先度付けることができる。
【０１５９】
また、興味情報抽出部１４７で取得するメタデータは、ユーザの属性であっても良い。このとき、興味情報抽出部１４７では、ユーザの特定属性に対応する項目の興味度が大きくなるように設定しても良い。このとき、ユーザの属性は、ユーザの性別や年齢であっても良い。例えば、ユーザの性別が女性で、年齢が２０代であれば、２０代女性が良く撮影しそうな項目である「お菓子」に対する興味度を大きく設定しても良い。これにより、詳細分類項目の選択において、ユーザがメタデータを画像に付与していなくとも、ユーザの属性から分かる興味情報に応じて優先度付けることができる。
【０１６０】
（実施の形態３）
実施の形態１では、詳細分類項目選択部１４０において算出した情報を、詳細分類項目の選択のみに使う場合について説明を行ったが、詳細分類項目選択部１４０において算出した多様性により、クラスタリングの動作の項目を切替えても良い。画像群の項目毎の多様性が分かっていれば、多様性に合わせてクラスタリング部の動作を切替える方が、より画像群の内容に即した階層構造化を実現することが可能となる。
【０１６１】
実施の形態３にかかる画像管理装置は、このような考えに基づき画像群の階層構造化を行うものである。
【０１６２】
以下、本実施の形態３における画像管理装置について説明する。
【０１６３】
ここでは、詳細分類項目選択部１４０で算出される多様性に基づき、項目毎のクラスタリングの動作を選択する実施例について説明する。
【０１６４】
実施の形態３にかかる画像管理装置１００ｂの機能ブロック図を図３３に示す。画像管理装置１００ｂの構成は、画像管理装置１００と比較して、クラスタリング部１３０ｂの内部動作と、詳細分類項目選択部の内容がクラスタリング部１３０ｂの内部動作に影響を与える点が異なる。
【０１６５】
本実施の形態におけるクラスタリング部１３０ｂは、詳細分類項目選択部１４０で算出される多様性を用いて、クラスタリングを行うか否かを決定する。
【０１６６】
次に、本実施の形態における画像管理装置の動作について説明する。本実施の形態における画像管理装置の全体動作のフローチャートを、図３４に示す。図３４のフローチャートは、図７のフローチャートと比較して、Ｓ１０８及びＳ１０９の処理が追加されている。Ｓ１０４までの動作は、実施の形態１と同様である。以下では、実施の形態１と異なる、図３４におけるＳ１０８以降の処理について説明する。
【０１６７】
クラスタリング部１３０ｂは、Ｓ１０４までの処理の後、概要分類項目に対して、クラスタリングを行うか否かを判定する（Ｓ１０８）。具体的には、Ｓ１０４で選択した項目が、Ｓ２０１で取得した概要分類項目であり、かつ、多様性が所定値以下の項目はクラスタリングを行わないと判定し、それ以外の場合はクラスタリングを行うと判定する。これにより、多様性が小さい場合に、クラスタリングにより画像群を詳細に分類しすぎるのを防ぐことができる。Ｓ１０８でクラスタリングを行うと判定した場合（Ｓ１０９がＹｅｓ）は、実施の形態１と同様にクラスタリングを行う（Ｓ１０５）。Ｓ１０８でクラスタリングを行わないと判定した場合（Ｓ１０９がＮｏ）は、Ｓ１０５を飛ばしてＳ１０６の処理に進む。
【０１６８】
以上、実施の形態３に係る画像管理装置の構成及び画像管理装置が行う処理について説明したが、以下では、本実施の形態にかかる画像管理装置の動作の具体例について説明する。
【０１６９】
ここで、図２４に一部を示す画像群に対して、画像管理装置１００ｂがクラスタリングを行うまでの流れについて、図３４及び図８のフローチャートを用いて具体的に説明する。本具体例では、実施の形態１における具体例とは内容が異なる４０枚の画像群に対する処理の具体例を示す。それぞれには画像ＩＤが０から３９まで付与されており、図２４は、画像群のうち、画像ＩＤが０から３までの４枚を表したものである。画像蓄積装置１１１では、図２４に示す入力画像は、例えば、図１１のように管理されている。
【０１７０】
本具体例では、画像管理装置１００ｂが分類する意味項目の候補が図１２のような階層構造であるとする。
【０１７１】
まず、画像入力部１１０は、画像蓄積装置１１１から、画像管理情報を取得することにより、画像及び画像ＩＤを取得する（Ｓ１０１）。
【０１７２】
次に、詳細分類項目選択部１４０は、物体認識を行う項目を選択する（Ｓ１０２）。
【０１７３】
Ｓ１０２の処理の具体例を、図８のフローチャートを用いて説明する。
【０１７４】
詳細分類項目選択部１４０は、まず、意味階層記憶部から概要分類項目を取得する（Ｓ２０１）。例えば、図１３に示す意味階層情報のうち、階層が１のものを取得する場合、「食事」「犬」「服」が選択される。
【０１７５】
次に、詳細分類項目選択部１４０は、画像群を「食事」「犬」「服」に分類する（Ｓ２０２）。
【０１７６】
Ｓ２０２の処理の一例を、図９のフローチャートを用いて説明する。
【０１７７】
物体認識部１２０は、まず、モデル選択部１２１において、「食事」「犬」「服」の分類モデルを取得する（Ｓ３０１）。
【０１７８】
次に、物体認識部１２０は、物体認識実行部１２２において、画像入力部１１０から入力した画像それぞれを物体認識により分類する（Ｓ３０２）。例えば、Ｓ３０１で選択した「食事」「犬」「服」のモデル及びＳＶＭの分類器により分類を行う。
【０１７９】
分類結果は、概要分類結果記憶部１２３に、概要分類結果管理情報として記憶する。図１４の例では、画像ＩＤ０，１，２，３の画像が、それぞれ「食事」「食事」「犬」「服」と概要分類項目に分類されている。ここでは、全ての画像４０枚が、「食事」に３２枚、「犬」に４枚、「服」に４枚分類されたものとする。以上で、図８におけるＳ２０２の処理が終了する。
【０１８０】
図８に戻り、次に、詳細分類項目選択部１４０は、Ｓ２０１で取得した概要分類項目「食事」「犬」「服」から１つ選択する（Ｓ２０３）。以下、Ｓ２０３では「食事」が選択された場合の説明を行う。
【０１８１】
詳細分類項目選択部１４０は、次に、「食事」の多様性を算出する（Ｓ２０４）。ここでは、多様性を、先に説明したように、画像数スコアと被写体変化スコアの和として算出する場合について説明する。まず、「食事」の画像スコア、「食事」に分類された画像数の全画像数に対する比、すなわち、３２÷４０＝０．８となる。被写体変化スコアは、「食事」に分類された２０枚の画像の色ヒストグラムおよびエッジ特徴量の分散の平均として算出される。例えば被写体変化スコアが０．８であったものとすると、多様性スコアは、画像数スコアと被写体変化スコアの和、すなわち、０．８＋０．８＝１．６となる。画像数スコア、被写体変化スコア、多様性スコアの値は、図３５の２行目のように、多様性管理情報として記憶される。「犬」「服」に関しても、同様にして多様性スコアを算出し、それぞれ図３５の３，４行目のようにして、多様性管理情報として算出される。
【０１８２】
「食事」「犬」「服」の多様性を算出した後（Ｓ２０５でＹｅｓ）、詳細分類項目選択部１４０は、分類候補の項目「食事」「犬」「服」「丼」「ラーメン」「カレー」「柴犬」「チワワ」「ダルメシアン」「Ｔシャツ」「スーツ」「着物」から１つ選ぶ（Ｓ２０６）。以下では、「食事」「ラーメン」を選択した場合のそれぞれの処理の例を示す。また、ここでは、優先度を、先に説明したように、優先度を上位項目の多様性の値とする（但し、階層が１の場合は優先度を１００００とする）場合について説明する。
【０１８３】
Ｓ２０６で「食事」を選択した場合、Ｓ２０７では「食事」の優先度を算出する。図１３の意味階層情報により、「食事」は階層が１であると特定する。そこで「食事」の優先度は１００００となる。これを図３６の優先度管理情報の２行目に記憶する。
【０１８４】
Ｓ２０６で「ラーメン」を選択した場合、Ｓ２０７では「ラーメン」の優先度を算出する。ここでは、優先度を、先に説明したように、優先度を上位項目の多様性の値とする場合について説明する。図１３の意味階層情報により、「ラーメン」の上位項目として「食事」を特定する。図３５の多様性管理情報により、「食事」の多様性スコアとして１．６を特定する。この１．６を「ラーメン」の優先度として、図３６の優先度管理情報の６行目に記憶する。残りの１０項目に関しても、同様にして優先度を算出し、図３６の２，６行目以外のように、優先度管理情報として算出される。
【０１８５】
全ての項目について優先度を算出後（Ｓ２０８がＹｅｓ）、詳細分類項目選択部１４０は、Ｓ２０７で算出した優先度に基づき、詳細分類項目を選択する（Ｓ２０９）。ここでは、先に説明したように、詳細分類項目は、優先度が高い所定数の項目を選択する場合で、所定数＝５とした場合について説明する。まず、図３６の優先度管理情報において、項目を優先度の高い順に並び替える。次に、並び替えた項目の内、優先度が高い所定数＋１＝６個を選択する。ここで、所定数に１を加えているのは、全ての下位項目が詳細分類項目として選択された場合は、上位の項目を詳細分類項目から除外するからである。このとき、「食事」「犬」「服」「丼」「ラーメン」「カレー」が選択される。このうち、図１３の２行目及び５，６，７行目から、「食事」の全ての下位項目「丼」「ラーメン」「カレー」が詳細分類項目に選択されていることが分かるので、「食事」を詳細分類項目から除外する。最終的に、詳細分類項目は、「犬」「服」「丼」「ラーメン」「カレー」の５項目となり、詳細分類項目管理情報として、図１７のように記憶する。以上で、図３４におけるＳ１０２の処理が終了する。
【０１８６】
図３４に戻り、次に、物体認識部１２０は、画像群を「犬」「服」「丼」「ラーメン」「カレー」に分類する（Ｓ１０３）。Ｓ１０３の処理の具体例を、図１０のフローチャートを用いて説明する。
【０１８７】
物体認識部１２０は、まず、モデル選択部１２１において、「犬」「服」「丼」「ラーメン」「カレー」の分類モデルを取得する（Ｓ４０１）。
【０１８８】
次に、物体認識部１２０は、物体認識実行部１２２において、画像入力部１１０から入力した画像それぞれを、Ｓ４０１で選択した「犬」「服」「丼」「ラーメン」「カレー」のモデル及びＳＶＭの分類器により分類を行う（Ｓ４０２）。
【０１８９】
分類結果は、詳細分類結果記憶部１２４に、図３７のように、詳細分類結果管理情報として記憶する。以上で、図３４におけるＳ１０３の処理が終了する。
【０１９０】
図３４に戻り、次に、画像管理装置１００ｂは、詳細分類項目記憶部１４６が記憶する詳細分類項目「犬」「服」「丼」「ラーメン」「カレー」から１つ選ぶ（Ｓ１０４）。以下、クラスタリングを行うか否かの判定を行うための所定値を０．５とし、Ｓ１０４で「犬」「服」「丼」を選択した場合を例に説明する。
【０１９１】
Ｓ１０４で「犬」を選択した場合、画像管理装置１００は、「犬」の画像に対して、クラスタリングによる分類を行うか否かを判定する（Ｓ１０８）。具体的には、まず「犬」はＳ２０１で取得した概要分類項目の１つであり、かつ、多様性スコアが、図３５の多様性管理情報における「犬」の行の４列目から０．２で、これは所定値０．５よりも小さいことから、「犬」をクラスタリングしないと決定する。Ｓ１０９でＮｏと判定され、Ｓ１０６に進む。
【０１９２】
Ｓ１０４で「服」を選択した場合、画像管理装置１００は、「服」の画像に対して、クラスタリングによる分類を行うか否かを判定する（Ｓ１０８）。具体的には、まず「服」はＳ２０１で取得した概要分類項目の１つであり、かつ、多様性スコアが、図３５多様性管理情報における「服」の行の４列目から０．８で、これは所定値よりも大きいことから、「服」をクラスタリングすると決定する。Ｓ１０９でＹｅｓと判定され、Ｓ１０５に進む。クラスタリング対象の画像群は、図３７の分類項目別画像管理情報において１列目が「服」である３行目から、画像ＩＤが「２，６，１１，２６」の画像を特定する。これらを、例えば、色ヒストグラム特徴量の類似度を基に階層的クラスタリングを行い、「服」の画像を更に詳細にクラスタ化する。
【０１９３】
Ｓ１０４で「丼」を選択した場合、画像管理装置１００は、「丼」の画像に対して、クラスタリングによる分類を行うか否かを判定する（Ｓ１０８）。具体的には、「丼」はＳ２０１で取得した概要分類項目ではないので、「丼」をクラスタリングすると決定する。Ｓ１０９でＹｅｓと判定され、Ｓ１０５に進む。クラスタリング対象の画像群は、図３７の分類項目別画像管理情報において１列目が「丼」である４行目から、画像ＩＤが「０，７，１９，２７，２９，３２，３５，３７，３８，３９」の画像を特定する。これらを、例えば、色ヒストグラム特徴量の類似度を基に階層的クラスタリングを行い、「丼」の画像を更に詳細にクラスタ化する。
【０１９４】
残りの「ラーメン」「カレー」に関しても、同様にしてクラスタリングを行い、クラスタリング結果は、クラスタリング結果記憶部１３２において、図３８のようにクラスタリング結果管理情報として記憶される。図３８における親子関係を階層的に図示化したものを図３９に示す。
【０１９５】
以上のように、本実施の形態に係る画像管理装置１００ｂは、画像群のクラスタリングを行う際、詳細分類項目選択部１４０で算出した多様性に基づき、クラスタリングを行うか否かを選択する。
【０１９６】
なお、詳細分類項目選択部１４０で算出する多様性は、画像の全体に対する割合ではなく、画像数そのものから算出しても良い。これにより、画像全体の枚数が多くとも、分類枚数そのものが小さい項目をクラスタリングしないよう、クラスタリング動作を選択することができる。
【０１９７】
以上、本発明にかかる画像管理装置は、前述の各実施の形態で示したものに限られない。
【０１９８】
（１）実施の形態１または２または３に係る画像管理装置は、画像群を意味内容に基づき階層的に分類し、図２２や図２３で示すような階層構造を生成することを説明した。このとき、階層構造生成部が生成した階層構造を、図１のような絞込み検索を実現するために用いてもよい。
【０１９９】
これにより、画像群のうち、ユーザが探したい画像と意味が類似する部分画像群の代表画像をユーザに指定させることにより、ユーザは、ユーザが指定した画像に意味が類似する部分画像群へ画像検索の範囲を段階的に絞込みながら検索することができる。従って、画像に写る物体の意味の粒度を絞込みながら検索を行うことができるため、大量の入力画像から、ユーザの望む画像の検索が容易になる。
【０２００】
このとき、ある意味粒度の意味項目で画像群を分類したときに、多様性が高い項目は、より意味粒度が低い種類項目毎に詳細分類され、多様性が低い項目は、画像同士の類似性に基づき詳細分類される。
【０２０１】
本変形例における画像管理装置１００ｃの全体構成を図４０に示す。画像管理装置１００ｃは、画像管理装置１００と比較して、内部構成として絞込み検索部１７０が追加されていることと、画像管理装置１００がユーザ操作入力部１８０及び表示部１９０と結合している点が異なる。
【０２０２】
本変形例における画像管理装置１００ｃは、階層構造記憶装置１５１に記憶される階層構造管理情報を基に、画像群を絞込み検索する。すなわち、図２２や図２３で示される階層構造を、ユーザの代表画像に対応する部分画像群の選択に応じて辿ることにより、入力画像群を絞込み検索する。具体的には、階層構造記憶装置１５１に階層構造管理情報が格納された後、表示部１９０が「画像群」に対する子の各項目の代表画像を表示する。ユーザ操作入力部１８０がユーザの代表画像選択情報を受け取ると、表示部１９０は、ユーザが選択した代表画像の項目の子の各項目の部分画像群の代表画像を表示する。これをユーザが選択した画像の子が項目名でなく、画像ＩＤになるまで繰返す。
【０２０３】
これにより、ユーザは、入力画像群から所望の画像を意味内容に基づき検索することができる。
【０２０４】
ここで、ある項目の代表画像は、例えば、その項目の下位に位置する画像から所定枚数を選択する。代表画像の選択方法は、例えば、画像の特徴量が、各項目の下位に位置する全画像の平均に近い順に所定枚数を選択しても良い。
【０２０５】
なお、図４０の例では、画像管理装置１００ｃが、代表画像や画像群を表示するための表示部１９０と結合する構成としたが、表示部１９０に代えて、外部の表示装置に代表画像や画像群を表示させるための表示制御部（図示せず）と結合する構成としてもよい。
【０２０６】
（２）実施の形態２に係る画像管理装置は、メタデータに基づき、詳細分類項目を選択することを説明した。このとき、ユーザが画像に付与するメタデータを用いて、クラスタリングを行っても良い。例えば、複数画像のユーザが付与したメタデータに、項目名を表すキーワードを含まれる場合は、それらの複数画像を、そのキーワードの項目としてクラスタ化してよい。
【０２０７】
本変形例における画像管理装置１００ｄの全体構成を図４１に示す。画像管理装置１００ｄは、画像管理装置１００ａと比較して、クラスタリング部１３０ｄの内部動作と、詳細分類項目選択部の内容がクラスタリング部１３０ｄの内部動作に影響を与える点が異なる。
【０２０８】
本変形例におけるクラスタリング部１３０ｄは、詳細分類項目選択部１４０ａで取得するメタデータを用いて、クラスタリングを行うか否かを決定する。ある画像にメタデータが付与されている場合、興味情報抽出部１４７は、メタデータに項目名を表すキーワードが含まれているかを判定する。分類項目名と一致する名詞があれば、メタデータに含まれる項目名を画像に対応付けて管理する。クラスタリング部１３０ｄは、Ｓ１０５において、概要分類項目に対する同一の下位の項目名を表すキーワードが含まれている画像が複数存在する場合に、共通の下位の項目名を持つ画像をクラスタ化する。
【０２０９】
例えば、クラスタリング部１３０ｄが「食事」に分類された画像群をクラスタリングする場合、画像群中に３枚の画像に、それぞれ「ラーメン屋ＡＢＣで夕食」「大阪のラーメン」「東京のラーメン」のコメントがメタデータとして付与されているとする。これらのコメントから共通のキーワードとして「ラーメン」が抽出される。図１３の階層意味情報から、「ラーメン」は「食事」の下位項目であると判定できるので、「食事」の画像群を、ラーメンを含むコメントが付与された画像からなるクラスタと、それ以外のクラスタに分類する。
【０２１０】
本変形例によれば、画像情報だけでは不可能な分類を、ユーザのメタデータで補うことで、より意味内容に即して画像群を階層構造化することができる。
【０２１１】
上記の各実施の形態で説明した画像管理装置は、例えば、当該画像管理装置の機能を備える、ＢＤレコーダ等のＡＶ機器、パーソナルコンピュータ、及びサーバ端末などの据置き型端末、または、デジタルカメラや携帯電話などのモバイル型端末などとして実現することが可能である。
【０２１２】
さらに、上記の実施の形態で説明した手法をネットワークサービスとして提供するサーバ装置とすることも可能である。この場合、画像が蓄積されたＡＶ機器、パーソナルコンピュータ、デジタルカメラなどからネットワークを介して画像を受信すると、受信した画像に対して上記の実施の形態で説明した手法による画像認識処理を行い、その処理結果を、ネットワークを介してＡＶ機器、パーソナルコンピュータ、デジタルカメラなどに送信するようにすればよい。
【０２１３】
なお、この場合において、画像管理装置が図示しない画像蓄積部を備え、外部機器から受信した画像と画像管理装置に蓄積された画像の双方を対象として、上記の実施の形態で説明した手法による階層構造化を行うようにしてもよい。
【０２１４】
また、上記の実施の形態で説明した手法の手順を記述したプログラムをメモリに記憶しておき、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などがメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。
【０２１５】
また、当該手法の手順を記述したプログラムをＤＶＤ等の記録媒体に格納して、頒布するようにしてもよい。また、当該手法の手順を記述したプログラムをインターネット等の伝送媒体を介して広く流通させてもよい。
【０２１６】
上記の各実施の形態にかかる各構成は、集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成は、１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩと表現したが、回路の集積度の違いによっては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称呼されることもある。また、集積回路化の手法は、ＬＳＩに限られるものではなく、専用回路または汎用プロセッサで集積回路化を行ってもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー（ＲｅＣｏｎｆｉｇｕｒａｂｌｅ  Ｐｒｏｃｅｓｓｏｒ）を用いてもよい。あるいは、これらの機能ブロックの演算は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）やＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などを用いて演算することもできる。さらに、これらの処理ステップはプログラムとして記録媒体に記録して実行することで処理することもできる。
【０２１７】
（補足）
以下、本発明の実施形態に係る画像管理装置の構成及びその変形例と各効果について説明する。
【０２１８】
本発明に係る画像管理装置は、一般的なモデルとの類似性に基づき画像を意味概念の項目毎に分類する物体認識手段と、画像の特徴量同士の類似性に基づき画像を分類するクラスタリング手段と、意味概念の項目毎の多様性に応じて、前記物体認識手段で分類する前記意味概念の項目を優先度づけて選択する詳細分類項目選択手段と、前記物体認識手段と前記クラスタリング手段における分類結果を統合して、画像群の階層分類構造を生成する階層構造生成部と、を備え、前記物体認識手段は、前記画像群を、前記詳細分類項目選択手段で選択された前記意味概念の項目毎の部分画像群に分類し、前記クラスタリング手段は、前記物体認識手段で分類された各部分画像群を対象として分類を行う。
【０２１９】
本構成によって、画像群の階層構造化において、多様な物体が撮影される項目を優先的に詳細物体認識することにより、物体認識の項目数を最小化しつつ、物体認識で画像群の内容に即した項目に分類することができ、ひいてはより画像群の意味内容に即した階層構造化が可能となる。
【０２２０】
また、本発明にかかる画像管理装置において、前記多様性は、意味概念の項目に分類された画像数と被写体変化から算出してもよい。
【０２２１】
これにより、分類された画像が多く、被写体の変化が大きい項目ほど、より詳細な粒度の意味内容に基づく分類が可能となる。
【０２２２】
また、本発明にかかる画像管理装置において、前記被写体変化は、画像の色ヒストグラム及びエッジ特徴量の分散の和としてもよい。
【０２２３】
これにより、色や形状が多様な項目ほど、より詳細な粒度の意味内容に基づく分類が可能となる。
【０２２４】
また、本発明にかかる画像管理装置において、前記クラスタリング部は、多様性に基づき、クラスタリングを行うか否かを決定してもよい。
【０２２５】
これにより、これにより、多様性が小さい場合に、クラスタリングにより画像群を詳細に分類しすぎるのを防ぐことができる。
【０２２６】
また、本発明にかかる画像管理装置において、前記詳細分類項目選択部は、優先度が高い所定数項目を、前記物体認識手段で分類する項目として選択してもよい。
【０２２７】
これにより、物体認識で分類する項目数を所定数に限定できる。その結果、物体認識の項目数の増加に伴う物体認識の精度悪化を防ぐことができる。
【０２２８】
また、本発明にかかる画像管理装置は、更に、ユーザが付与したメタデータからユーザの興味情報を抽出する興味情報抽出部を備え、前記優先度は、前記ユーザの興味情報を加味して算出することとしてもよい。
【０２２９】
これにより、画像群の階層構造化を行う際、画像群の多様性に、画像情報のみからでは抽出できないユーザの興味を加味して、物体認識の項目を優先付けて選択することができる。その結果、画像群の意味内容及びユーザの興味により即した階層構造化を行うことができる。
【０２３０】
また、本発明にかかる画像管理装置において、メタデータは、前記ユーザが付与したテキストデータに含まれる単語、前記画像を撮影した位置情報、前記ユーザの年齢、前記ユーザの性別のうち少なくとも１つを含んでもよい。
【０２３１】
これにより、ユーザの付与したテキストデータ、ユーザが頻繁に訪れる位置情報、ユーザの属性に応じた興味度を加味して、物体認識の項目を優先づけて選択することができる。その結果、画像群の意味内容及びユーザの興味により即した階層構造化を行うことができる。
【０２３２】
また、本発明にかかる画像管理装置において、前記クラスタリング部は、前記ユーザが前記画像に付与したメタデータが共通するものをクラスタ化してもよい。
【０２３３】
これにより、画像情報だけでは不可能な分類を、ユーザのメタデータで補うことができる。その結果、より意味内容に即して画像群を階層構造化することができる。
【０２３４】
また、本発明にかかる画像管理装置は、ユーザの入力操作を取得するユーザ操作入力手段と、表示装置に画像群を表示させる表示制御手段と、を備え、前記ユーザ操作入力手段は、画像群を分類して得られる部分画像群の代表画像のいずれかに対するユーザの選択操作を取得し、前記表示制御手段は、画像群を分類して得られる部分画像群の代表画像を前記表示装置に表示させ、前記ユーザ選択操作に応じて、前記画像群を前記部分画像群に絞込むことを繰返し、前記分類は、所定の粒度の意味概念の項目に前記画像群を分類したときに、前記画像群が有する意味概念の項目毎の多様性が高い項目は、前記粒度より低い粒度の意味概念の項目毎に詳細分類し、前記多様性が低い項目は、画像同士の類似性に基づき詳細分類する。
【０２３５】
これにより、ユーザが探したい画像に意味が類似する画像を段階的に絞込みながら検索することができる。その結果、大量の画像から、ユーザの望む画像を検索することが可能になる。
【産業上の利用可能性】
【０２３６】
本発明にかかる画像管理装置は、デジタルスチルカメラ、カメラ付き携帯電話やムービーカメラ等の静止画または動画を蓄積する撮像装置、及び、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等に適用することができる。
【符号の説明】
【０２３７】
１００，１００ａ，１００ｂ，１００ｃ，１００ｄ    画像管理装置
１１０    画像入力部
１１１    画像蓄積装置
１２０    物体認識部
１２１    モデル選択部
１２２    物体認識実行部
１２３    概要分類結果記憶部
１２４    詳細分類結果記憶部
１３０，１３０ｂ，１３０ｄ    クラスタリング部
１３１    クラスタリング実行部
１３２    クラスタリング結果記憶部
１４０，１４０ａ    詳細分類項目選択部
１４１    多様性算出部
１４２，１４２ａ    優先度算出部
１４３    意味階層記憶部
１４４    多様性記憶部
１４５    優先度記憶部
１４６    詳細分類項目記憶部
１４７    興味情報抽出部
１４８    興味度記憶部
１５０    階層構造生成部
１５１    階層構造記憶装置
１６１    メタデータ蓄積装置
１７０    絞込み検索部
１８０    ユーザ操作入力部
１９０    表示部
【図１】
2014093058.tif 000003
【図２】
2014093058.tif 000004
【図３】
2014093058.tif 000005
【図４】
2014093058.tif 000006
【図５】
2014093058.tif 000007
【図６】
2014093058.tif 000008
【図７】
2014093058.tif 000009
【図８】
2014093058.tif 000010
【図９】
2014093058.tif 000011
【図１０】
2014093058.tif 000012
【図１１】
2014093058.tif 000013
【図１２】
2014093058.tif 000014
【図１３】
2014093058.tif 000015
【図１４】
2014093058.tif 000016
【図１５】
2014093058.tif 000017
【図１６】
2014093058.tif 000018
【図１７】
2014093058.tif 000019
【図１８】
2014093058.tif 000020
【図１９】
2014093058.tif 000021
【図２０】
2014093058.tif 000022
【図２１】
2014093058.tif 000023
【図２２】
2014093058.tif 000024
【図２３】
2014093058.tif 000025
【図２４】
2014093058.tif 000026
【図２５】
2014093058.tif 000027
【図２６】
2014093058.tif 000028
【図２７】
2014093058.tif 000029
【図２８】
2014093058.tif 000030
【図２９】
2014093058.tif 000031
【図３０】
2014093058.tif 000032
【図３１】
2014093058.tif 000033
【図３２】
2014093058.tif 000034
【図３３】
2014093058.tif 000035
【図３４】
2014093058.tif 000036
【図３５】
2014093058.tif 000037
【図３６】
2014093058.tif 000038
【図３７】
2014093058.tif 000039
【図３８】
2014093058.tif 000040
【図３９】
2014093058.tif 000041
【図４０】
2014093058.tif 000042
【図４１】
2014093058.tif 000043