(57)【要約】【課題】分類された画像群の内容をより正確に知ることができて、検索効率の向上が図れる画像検索用情報表示装置を提供する。【解決手段】画像特徴抽出部１３が、検索対象の複数の画像及び予め画像内容に基づいたラベル名が付与された複数の基準画像それぞれから画像特徴を抽出し、カテゴリ分類部１４が、抽出された画像特徴に基づいて互いに類似する画像を同一カテゴリに含まれるように複数のカテゴリに分類し、ラベル関連度計算部１５が、分類されたカテゴリそれぞれにおいて、検索対象の画像の基準画像のラベル名に対する関連度を計算し、代表画像選択部１６が、分類されたカテゴリそれぞれに含まれる検索対象の画像から代表画像を選択し、画像表示部１７が、分類されたカテゴリごとに、代表画像選択部１６で選択された代表画像と、基準画像のラベル名と、ラベル関連度計算部１５で計算された基準画像のラベル名に対する関連度を併せて表示する。【選択図】図１
2010211262.tif 000002
【特許請求の範囲】
【請求項１】
検索対象の複数の画像及び予め画像内容に基づいたラベル名が付与された複数の基準画像それぞれから画像特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段で抽出された画像特徴に基づいて互いに類似する画像を同一カテゴリに含まれるように複数のカテゴリに分類するカテゴリ分類手段と、
前記カテゴリ分類手段で分類されたカテゴリそれぞれにおいて、前記検索対象の画像の前記基準画像のラベル名に対する関連度を計算する関連度計算手段と、
前記カテゴリ分類手段で分類されたカテゴリそれぞれに含まれる前記検索対象の画像から代表画像を選択する代表画像選択手段と、
前記カテゴリ分類手段で分類されたカテゴリごとに、前記代表画像選択手段で選択された代表画像と、前記基準画像のラベル名と、前記関連度計算手段で計算された前記基準画像のラベル名に対する関連度を併せて表示する画像表示手段と、
を備えた画像検索用情報表示装置。
【請求項２】
前記関連度計算手段は、前記カテゴリ分類手段で分類されたカテゴリそれぞれにおいて、前記基準画像との相関が所定の閾値以上である前記検索対象の画像をカウントして、該カテゴリに占める割合を前記基準画像のラベル名に対する関連度として計算する請求項１に記載の画像検索用情報表示装置。
【請求項３】
前記複数の基準画像に対して、画像内容に基づいて同じラベル名を付与し、
前記関連度計算手段は、同じラベル名の基準画像があれば、それらの関連度を合算する請求項１又は請求項２に記載の画像検索用情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラシステムに用いて好適な画像検索用情報表示装置に関する。
【背景技術】
【０００２】
近年、Ｗｅｂ上や個人のコンピュータには大量の画像が蓄積されるようになり、そこから希望する画像を効率良く検索することができる技術が求められている。
【０００３】
蓄積された画像を、その特徴の類似性に基づきカテゴリ分類して、カテゴリ毎の代表画像を表示することにより、ユーザは効率良く目的の画像を絞り込むことができる。
【０００４】
従来の画像検索技術としては、例えば特許文献１には、複数の画像を複数のカテゴリに分類し、各カテゴリの代表画像をユーザに提示する。ユーザは、代表画像から探したい画像が含まれていると想定できるカテゴリを選択し、絞り込む技術が開示されている。また、特許文献２には、検索キーに基づいて類似画像検索された複数の画像のうち、類似度の高い上位の画像はそのまま表示して、下位の画像はクラスタ（カテゴリと同じ意味）分類した後、クラスタ毎に代表画像を表示する技術が開示されている。
【０００５】
【特許文献１】特開平１０−１６２０２０号公報
【特許文献２】特開２００１−２７３３０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、分類された画像は、各カテゴリの代表画像として置き換えられて提示されるため、ユーザは代表画像だけを頼りに目的の画像を検索しなければならない。例えば、図９において、分類された画像Ａ、Ｂ、Ｃ、…Ｘは、カテゴリ１の代表画像として置き換えられて提示される。ユーザは、代表画像だけを頼りに目的の画像を検索することになる。
【０００７】
また、代表画像が不適切な場合すなわち同じカテゴリに含まれているけれども、類似性が低い画像が選ばれた場合は、ユーザは目的の画像が含まれないカテゴリを選択することになり、検索効率が悪くなる。すなわち、代表画像とのずれがあると、カテゴリ内にどんな画像が含まれているか分らなくなる。
【０００８】
本発明は、係る事情に鑑みてなされたものであり、分類された画像群の内容をより正確に知ることができて、検索効率の向上が図れる画像検索用情報表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像検索用情報表示装置は、検索対象の複数の画像及び予め画像内容に基づいたラベル名が付与された複数の基準画像それぞれから画像特徴を抽出する画像特徴抽出手段と、前記画像特徴抽出手段で抽出された画像特徴に基づいて互いに類似する画像を同一カテゴリに含まれるように複数のカテゴリに分類するカテゴリ分類手段と、前記カテゴリ分類手段で分類されたカテゴリそれぞれにおいて、前記検索対象の画像の前記基準画像のラベル名に対する関連度を計算する関連度計算手段と、前記カテゴリ分類手段で分類されたカテゴリそれぞれに含まれる前記検索対象の画像から代表画像を選択する代表画像選択手段と、前記カテゴリ分類手段で分類されたカテゴリごとに、前記代表画像選択手段で選択された代表画像と、前記基準画像のラベル名と、前記関連度計算手段で計算された前記基準画像のラベル名に対する関連度を併せて表示する画像表示手段と、を備えた。
【００１０】
上記構成によれば、ユーザは、代表画像だけでなくカテゴリに含まれる画像内容を、基準画像のラベル名としても知ることができるので、画像群の内容をより正しく知ることができる。
【００１１】
上記構成において、前記関連度計算手段は、前記カテゴリ分類手段で分類されたカテゴリそれぞれにおいて、前記基準画像との相関が所定の閾値以上である前記検索対象の画像をカウントして、該カテゴリに占める割合を前記基準画像のラベル名に対する関連度として計算する。
【００１２】
上記構成によれば、代表画像が不適切な場合でも、カテゴリに含まれる画像内容によって、目的とする画像が含まれるカテゴリを選択できるので、検索効率の向上が図れる。
【００１３】
上記構成において、前記複数の基準画像に対して、画像内容に基づいて同じラベル名を付与し、前記関連度計算手段は、同じラベル名の基準画像があれば、それらの関連度を合算する。
【００１４】
上記構成によれば、カテゴリ内に同じラベル名を持つ複数の基準画像がある場合に、それらの関連度を合算することができる。
【発明の効果】
【００１５】
本発明は、代表画像だけでなくカテゴリに含まれる画像内容を、基準画像のラベル名としても知ることができることから、画像群の内容をより正しく知ることができる。また、カテゴリに含まれる画像内容によって、目的とする画像が含まれるカテゴリを選択できるので、検索効率の向上が図れる。
【発明を実施するための最良の形態】
【００１６】
まず本発明の要点を説明する。本発明は、カテゴリ毎に代表画像と共にカテゴリに関連する基準画像のラベル（キーワード）とその関連度を提示するようにしたものである。基準画像は、画像内容に準じたラベルを付与した画像であり、検索対象の画像とは別に予め複数作成する。カテゴリに関連する基準画像は、同じカテゴリに分類される基準画像、または、カテゴリに含まれないが相関が高い基準画像である。関連度は、カテゴリに含まれる画像のうち、基準画像との相関が高い画像の個数に基づく数値である。
【００１７】
図１はカテゴリ１を模式的に示した図である。同図に示すように、カテゴリ１には、検索対象の複数の画像Ａ、Ｂ、Ｃ、…Ｘ、２つの基準画像及び１つの代表画像が含まれる。各基準画像には、“ボーダーシャツ”、“スーツ”などのラベルが付与され、また、各基準画像と相関が高い検索対象の画像の割合が付与されている。カテゴリ１では、“ボーダーシャツ”のラベルを付与した基準画像と相関が高い検索対象の画像の割合が１０％であり、“スーツ”のラベルを付与した基準画像と相関が高い検索対象の画像の割合が３０％である。これら１０％、３０％の割合が“関連度”である。
【００１８】
図２は、カテゴリ１を特徴空間で表したものである。同図において、カテゴリ１に含まれる検索対象の画像（“×”で示している）ＫＧのうち、基準画像ＢＡと相関が高いものが集合ＢＡＧを形成しており、基準画像ＢＢと相関が高いものが集合ＢＢＧを形成している。カテゴリ１の重心点ＣＧと最も相関が高い検索対象の画像ＤＧ１が代表画像となる。
【００１９】
カテゴリ１の代表画像ＤＧ１には、図３に示すように、カテゴリ内容として、前述した基準画像ＢＡのラベル：３０％、基準画像ＢＢのラベル：１０％が付与される。他のカテゴリも、図４に示すように、代表画像ＤＧ２、ＤＧ３にカテゴリ内容が付与される。実際、図４に示すようにしてモニタ上に表示される。このように、代表画像に、基準画像のラベルとその関連度を付与することで、検索対象の画像Ａ、Ｂ、Ｃ、…Ｘの内容をより正しく知ることができる。
【００２０】
本発明の要点は以上の通りである。以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２１】
（実施の形態１）
図５は、本発明の実施の形態１に係る画像検索用情報表示装置の概略構成を示すブロック図である。同図において、本実施の形態の画像検索用情報表示装置１は、基準画像記憶部１０と、画像データベース１１と、画像切出し部１２と、画像特徴抽出部１３と、カテゴリ分類部１４と、ラベル関連度計算部１５と、代表画像選択部１６と、画像表示部１７とを備えている。
【００２２】
基準画像記憶部１０は、ラベル付き基準画像を記憶する。このラベル付き基準画像は、前述したように、画像内容に準じたラベルを付与した画像であり、検索対象の画像とは別に予め複数作成される。画像データベース１１は、検索対象の複数の画像を蓄積する。例えば、カメラで撮影された画像が蓄積される。画像切出し部１２は、画像中で特徴抽出する部分画像を切り出す。例えば、人物の服装領域を切り出す。画像特徴抽出部１３は、検索対象の複数の画像及び予め画像内容に基づいたラベル名が付与された複数の基準画像それぞれから画像特徴を抽出する。例えば、画像の模様特徴や色特徴を抽出する。カテゴリ分類部１４は、画像特徴抽出部１３で抽出された画像特徴に基づいて互いに類似する画像（相関が高い）を同一カテゴリに含まれるように複数のカテゴリに分類する。この分類には、例えばＷａｒｄ（ウォード）法が用いられる。
【００２３】
ラベル関連度計算部１５は、カテゴリ分類部１４で分類されたカテゴリそれぞれにおいて、検索対象の画像の基準画像のラベル名に対する関連度を計算する。すなわち、ラベル関連度計算部１５は、カテゴリ分類部１４で分類されたカテゴリそれぞれにおいて、基準画像との相関が所定の閾値以上である検索対象の画像をカウントして、該カテゴリに占める割合を基準画像のラベル名に対する関連度として計算する。
【００２４】
代表画像選択部１６は、カテゴリ分類部１４で分類されたカテゴリそれぞれに含まれる検索対象の画像から代表画像を選択する。すなわち、カテゴリの重心点に最も相関が高い画像を代表画像として選択する。画像表示部１７は、図４に示すように、カテゴリ分類部１４で分類されたカテゴリごとに、代表画像選択部１６で選択された代表画像と、基準画像のラベル名と、ラベル関連度計算部１５で計算された基準画像のラベル名に対する関連度を併せて表示する。
【００２５】
図６は、ラベル関連度計算部１５の動作を示すフローチャートである。同図において、まず未処理の基準画像を１つ選択する（ステップＳ１０）。次いで、選択した基準画像がカテゴリに含まれるかどうか判定し（ステップＳ１１）、カテゴリに含まれる場合はステップＳ１２に進み、カテゴリに含まれない場合はステップＳ１５に進む。カテゴリに含まれるとしてステップＳ１２に進むと、基準画像と、カテゴリに含まれる検索対象の全ての画像との相関を計算する。次いで、相関が所定の閾値以上である画像をカウントする（ステップＳ１３）。次に、カテゴリに占める割合を、カテゴリに対するラベルの関連度として計算する（ステップＳ１４）。そして、全てのカテゴリに対して処理を行ったかどうか判定し（ステップＳ１５）、全てのカテゴリに対して処理を行っていなければステップＳ１１に戻り、次のカテゴリに対して処理を行う。
【００２６】
全てのカテゴリに対して処理を行っていれば、全ての基準画像に対して処理を行ったかどうか判定し（ステップＳ１６）、全ての基準画像に対して処理を行っていなければ、ステップＳ１０に戻り、次の未処理の基準画像を選択して処理を行う。全ての基準画像に対して処理を行っていれば本処理を終了する。
【００２７】
以上のように本実施の形態の画像検索用情報表示装置１によれば、画像特徴抽出部１３が、検索対象の複数の画像及び予め画像内容に基づいたラベル名が付与された複数の基準画像それぞれから画像特徴を抽出し、カテゴリ分類部１４が、画像特徴抽出部１３で抽出された画像特徴に基づいて互いに類似する画像を同一カテゴリに含まれるように複数のカテゴリに分類し、ラベル関連度計算部１５が、カテゴリ分類部１４で分類されたカテゴリそれぞれにおいて、検索対象の画像の基準画像のラベル名に対する関連度を計算し、代表画像選択部１６が、カテゴリ分類部１４で分類されたカテゴリそれぞれに含まれる検索対象の画像から代表画像を選択し、画像表示部１７が、カテゴリ分類部１４で分類されたカテゴリごとに、代表画像選択部１６で選択された代表画像と、基準画像のラベル名と、ラベル関連度計算部１５で計算された基準画像のラベル名に対する関連度を併せて表示するので、ユーザは、代表画像だけでなくカテゴリに含まれる画像内容を、基準画像のラベル名としても知ることができ、画像群の内容をより正しく知ることができる。また、カテゴリに含まれる画像内容によって目的とする画像が含まれるカテゴリを選択できるので、検索効率の向上が図れる。
【００２８】
（実施の形態２）
前述した実施の形態１の画像検索用情報表示装置１では、基準画像とラベルが１対１の関係であったが、本実施の形態の画像検索用情報表示装置２は、複数の基準画像に対して１つのラベルを付与できるものである。このことを実現する機能をラベル関連度計算部が有しており、実施の形態１の画像検索用情報表示装置１におけるラベル関連度計算部１５と区別するため、本実施の形態の画像検索用情報表示装置２では、ラベル関連度計算部に付与する符号を“１５Ａ”とする。
【００２９】
複数の基準画像に対して、画像内容に基づいて同じラベル名を付与しておき、ラベル関連度計算部１５Ａは、同じラベル名の基準画像があれば、それらの関連度を合算する。画像表示部１７のモニタ画面に表示する関連度はカテゴリ内に同じラベル名を持つ複数の基準画像があれば、これらの関連度を合算したものとする。図７にその一例を示す。この図に示す例では、同じラベル名（“スーツ”）を持つ基準画像が２つあり、それぞれの関連度が例えば２０％であれば、２０％＋２０％＝４０％となる。
【００３０】
図８は、ラベル関連度計算部１５Ａの動作を示すフローチャートである。同図において、まず未処理のラベルを１つ選択する（ステップＳ３０）。次いで、選択したラベル名を持つ未処理の基準画像を１つ選択する（ステップＳ３１）。次に、選択した基準画像がカテゴリに含まれるかどうか判定し（ステップＳ３２）、カテゴリに含まれる場合はステップＳ３３に進み、カテゴリに含まれない場合はステップＳ３７に進む。カテゴリに含まれるとしてステップＳ３３に進むと、基準画像と、カテゴリに含まれる検索対象の全ての画像との相関を計算する。次いで、相関が所定の閾値以上である画像をカウントする（ステップＳ３４）。次に、カテゴリに占める割合を、カテゴリに対するラベルの関連度として計算する（ステップＳ３５）。次いで、カテゴリに同じラベル名の処理済みの基準画像があれば、これらの関連度を合算する（ステップＳ３６）。その後、全てのカテゴリに対して処理を行ったかどうか判定し（ステップＳ３７）、全てのカテゴリに対して処理を行っていなければステップＳ３２に戻り、次のカテゴリに対して処理を行う。
【００３１】
全てのカテゴリに対して処理を行っていれば、全ての基準画像に対して処理を行ったかどうか判定し（ステップＳ３８）、全ての基準画像に対して処理を行っていなければ、ステップＳ３１に戻り、次の未処理の基準画像を選択して処理を行う。全ての基準画像に対して処理を行っていれば、全てのラベルに対して処理したかどうか判定し（ステップＳ３９）、全てのラベルに対して処理していなければステップＳ３０に戻り、全てのラベルに対して処理していれば本処理を終了する。
【００３２】
このように本実施の形態の画像検索用情報表示装置２によれば、カテゴリ内に同じラベル名を持つ複数の基準画像がある場合に、それらの関連度を合算することができる。
【産業上の利用可能性】
【００３３】
本発明は、分類された画像群の内容をより正確に知ることができて、検索効率の向上が図れるといった効果を有し、監視カメラシステムなどへの適用が可能である。
【図面の簡単な説明】
【００３４】
【図１】本発明の要点を説明するためのカテゴリ１を模式的に示した図
【図２】図１のカテゴリ１を特徴空間で表した図
【図３】図１のカテゴリ１の代表画像とカテゴリ内容を示す図
【図４】図１のカテゴリ１の代表画像とカテゴリ内容を含む多数のカテゴリの代表画像とカテゴリ内容を示す図
【図５】本発明の実施の形態１に係る画像検索用情報表示装置の概略構成を示すブロック図
【図６】実施の形態１の画像検索用情報表示装置のラベル関連度計算部の動作を説明するためのフローチャート
【図７】本発明の実施の形態２に係る画像検索用情報表示装置で扱われるカテゴリ１を模式的に示した図
【図８】実施の形態２の画像検索用情報表示装置のラベル関連度計算部の動作を説明するためのフローチャート
【図９】従来の画像検索を説明するためのカテゴリ１を模式的に示した図
【符号の説明】
【００３５】
１、２  画像検索用情報表示装置
１０  基準画像記憶部
１１  画像データベース
１２  画像切出し部
１３  画像特徴抽出部
１４  カテゴリ分類部
１５、１５Ａ  ラベル関連度計算部
１６  代表画像選択部
１７  画像表示部
【図１】
2010211262.tif 000003
【図２】
2010211262.tif 000004
【図３】
2010211262.tif 000005
【図４】
2010211262.tif 000006
【図５】
2010211262.tif 000007
【図６】
2010211262.tif 000008
【図７】
2010211262.tif 000009
【図８】
2010211262.tif 000010
【図９】
2010211262.tif 000011