(57)【要約】【課題】画像データベースから複数の検索条件のうち部分的に一致する類似画像の検索を容易にし、検索条件である画像と検索結果である画像の緊密度を視覚的に把握可能にする。【解決手段】装置に記録された画像データ４０３を、座標指示入力装置により画面の第一の領域４０１から画面の第二の領域４０２に移動させる。画像４０５は移動された画像４０３であり、画像４０５に付与された属性情報を画像検索プログラムが参照し、属性情報間の緊密度の高い画像を検索結果として画面の第二の領域４０２に表示する。検索結果として表示される画像群４０６と検索条件である画像４０５との距離は、画像間のそれぞれに付与された属性情報の緊密度に従う。【選択図】図３
2010176235.tif 000002
【特許請求の範囲】
【請求項１】
画像のサムネイルを表示する第一の領域と、
前記第一の領域から指示手段により選択された画像のサムネイルを第二の画像領域に移動する手段と、
前記移動手段によって選択された
画像サムネイルを中心として第二の領域上において当該選択された画像サムネイルの属性情報を参照し、当該画像サムネイルの周辺に当該属性の緊密度に従う距
離を持って他の画像サムネイルが配置される
画像インターフェース。
【請求項２】
前記請求項１における、選択された画像サムネイルと他の画像サムネイルの属性情報を参照及び比較する方法と、
前記属性情報から画像間の属性情報の差の総和から画像間の緊密度を算出する方法を持つことを特徴とする画像検索プログラム。
【請求項３】
前記請求項２における、画像間の属性情報の緊密度を補正するための画像サムネイルの属性情報を参照する手段と、
前記属性情報から緊密度を除算により補正する緊密度補正値を算出する手段を持つことを特徴とする画像検索プログラム。
【請求項４】
請求項３における緊密度補正値を、画像サムネイルの属性情報のうち撮影時刻、もしくは撮影位置から算出することを特徴とする画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は属性の緊密度に従い画像サムネイルが配置される、画像インターフェースおよび画像検索プログラムに関するものである。
【背景技術】
【０００２】
近年、画像データを記録する記録媒体の大容量化に伴い、大量の画像データが単一の記録媒体に保存されるようになっている。
また、デジタルカメラなどの画像データを生成する装置の普及により、大量の画像データが保存されるようになっている。
そのため画像データベースとその検索方法は、大量の画像から複数の検索方法によって必要な画像のみを高速に抽出できる利点があるので、
広く実用に共されている。
【０００３】
図１は一般的な
実用の画像データベースのインターフェース画面を説明する図である。１０１は当該画像データベースのインターフェースウィンドウである。１０２は当該画像
データベースに登録されている画像群の一覧、もしくは画像検索処理によって当該画像群から抽出された画像のサムネイルを表示する領域である。１０３は画表
示領域１０２に表示される画像サムネイル群の内のひとつである。１０４は画像データベースに検索条件を入力するための操作パネルであり、画像に付与された
複数の属性情報のそれぞれに対応した検索窓、スライダ、あるいはチェックボックスなどが表示される。１０５は画像データベースに登録された画像グループの
一覧が表示される。１０６は表示領域１０２で選択された画像に付与された属性情報の詳細を表示する領域である。当該検索インターフェースに検索条件を入力
し、条件をすべて満たした画像だけが抽出される。現用の画像データベースの検索結果は、検索条件を全て満たすもののみが抽出されるが、多くの画像の中か
ら特定の画像を抽出するという目的においては実用上十分であった。
【０００４】
従来の画像検索処理システムの例として、特開２００６−１８８３１号広報（特許文献１）を挙げる。当該システムは静止画ないし動画データを対象とし、そ
のデータの特徴量や属性情報を抽出し各データに付与するものである。
【特許文献１】特開２００７−３０４６９４号公報
【０００５】
しかしながら現用の画像データベースを、複数の検索条件の一部に一致する画像の検索を目的に利用する際には、検索を複数回実行す
る必要があるという欠点があった。また、複数
の検索条件を入力するには、各属性情報に対応する検索手段を用いねばならず、入力が煩雑になるという欠点があった。
【０００６】
画像群から複数の検索条件のうち部分的に一致する画像を検索する用途において、この欠点は操作性に関して大きな障害である。
具体的には、複数回の検索実行には多くの時間を必要とすること、
また必要な検索結果を得るための検索条件を把握することが困難であるという問題点があった。
【０００７】
しかしながら上記従来例では、画像に付与される属性情報の項目が増えるほど検索条件入力が煩雑になる。
また、検索結果として出力される画像群は画面上にリストとして表示されるため、検索の部分一致の度合いを利用者が短時間で把握することは困難であった。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明が解決しようとする問題点は、画像データベースから検索条件に部分的に一致する画像を容易に抽出できない点と、複数検索条件の入力が煩雑な点であ
る。
【課題を解決するための手段】
【０００９】
本発明は画像データベースに複数の検索条件を容易に入力し、当該検索条件に部分的に一致した画像を抽出することを目的とする。そのための手段として、本
発明は画像サムネイルを表示する画面領域と検索結果を表示する画面領域の二つの画面領域を持ち、画像サムネイルに付与された属性情報を参照し
検索条件とし、検索条件に対する緊密度を検索条件画像と検索結果画像の距離によって表現する手法を持つことを特徴とす
る。
【発明の効果】
【００１０】
本発明の画像インターフェースは、画像サムネイルに付与された属性情報を検索条件として利用することで、検索の複数条件を容易に入力できるという利点が
ある。また、画像サムネイルに付与された属性情報と検索条件の緊密度を検索結果として出力することで、検索条件に完全に一致しない、類似の画像が容易に検
索できるという利点がある。さらに、当該緊密度を検索条件となる画像サムネイルと検索結果となる画像サムネイルの距離に置き換えることで、画面上で視覚的
に把握できるという利点がある。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態の例を、図を用いて説明する。
【実施例１】
【００１２】
図２は、本発明の実施例１における装置の構造を説明するための図である。３０１〜３０６はそれぞれ当該装置を構成する要素である。
３０１は中央演算装置、
３０２は主記憶装置、
３０３は補助記憶装置、
３０４は出力装置、
３０５は入力装置である。
３０６はバスであり、３０１〜３０５の各装置を接続し信号の受け渡しを行う。
３０７は画像検索プログラムであり、補助記憶装置３０３に格納され、実行の際に主記憶装置３０２に読み込まれ、
中央処理装置３０１で実行される。
３０８は画像データであり、補助記憶装置３０３に格納され、実行された画像検索プログラム３０７により適宜読み出される。
３０９はディスプレイであり、出力装置３０４を構成する要素である。
ディスプレイ３０９は画像検索プログラム３０７の処理結果を受け取り出力する。
３１０はマウス、３１１はキーボードでありそれぞれ入力装置３０５を構成する要素である。
画像検索プログラム３０７はマウス３１０およびキーボード３１１からの入力を受け取り、処理を行う。
【００１３】
図３は、画像検索プログラム３０７により生成され、ディスプレイ３０９に表示される画面の例を示す図である。４０１は画像データ３０８のサムネ
イルを表示する、画面の第一の領域である。
４０２は検索条件となる画像と、検索結果を表示する画面の第二の領域である。４０３は画像データ３０８のサムネイルである。４０４は画像データ４０３をス
ク
ロール
するためのボタンである。４０５は画面領域４０１から画面領域４０２に、マウス３１０からの入力によって移動された画像サムネイルである。４０６は画像サ
ムネイル４０５に付与された属性情報を条件に検索された画像のサムネイルである。
【００１４】
図４は、本発明の操作方法を説明するフローチャートである。フローチャートのスタート時点で、ディスプレイ３０９に表示されている画面が図５である。
フローチャートのステップＳ０１では、本発明の利用者は画像領域４０１から、任意の画像をひとつ選択する。
ステップＳ０２では、本発明の利用者はステップＳ０１で選択した画像をマウス３１０を使用し画像領域４０２へ移動させる。
ステップＳ０２において画像を移動させた状態で、ディスプレイ３０９に表示される画面が図６である。
ステップＳ０３では、画像検索プログラム３０７が、ステップＳ０２で画像領域４０２に移動された画像に付与された属性情報を受け取り、画像データ３０８の
各画像に付与された属性情報と比較し、緊密度を計測する。緊密度が高い画像群を画像データ３０８から抽出し、画像サムネイル４０５の周囲に配置する。
配置された画像サムネイル群は、画像サムネイル４０５の周囲を周回するアニメーションを行う。
図７はステップＳ０３においてディスプレイ３０９に表示される画面である。
ステップＳ０４では、画像検索プログラム３０７が、ステップS０３において抽出、表示された画像群の次に緊密度が高い画像を、
画像データ３０８から抽出し、画像サムネイル４０５の周囲に配置する。
配置された画像サムネイル群は、画像サムネイル４０５の周囲を周回するアニメーションを行う。
画像サムネイル４０５とステップS０４において抽出された画像群の距離は緊密度に従う。
よってステップS０４において抽出された画像群は、ステップS０３において抽出された画像の外周に配置される。
ステップS０５では、本発明の利用者がマウス３１０で、画像サムネイル４０５の周囲に配置された画像から任意の一枚を選択し、画像サムネイル４０５の上に
移動させる。移動させた場合、当該選択された画像に付与された属性情報を画像検索プログラム３０７が受け取り、ステップS０３からの処理が再び行われる。
移動させなかった場合、一連の操作は終了する。
【００１５】
画像データ３０８に付与される属性情報は、撮影情報、被写体情報、構図情報、色彩情報の四つの情報から構成される。
これらのうち、撮影情報は撮影機器や本発明の利用者によって付与され、残る被写体情報、構図情報、色彩情報は画像解析によって画像から抽出される。
【００１６】
表１は、撮影情報の構成を示すものである。撮影情報は時刻情報、位置情報、撮影設定、撮影者情報の四つの情報から
構成される。当該情報は画像作成時にカメラなどの撮影機器によって付与されるものと、本発明の利用者が任意に画像に付与するものがある。
【００１７】
【表１】
2010176235.tif 000003
【００１８】
被写体情報は画像検索プログラム３０７が画像データ３０８において主要な被写体を抽出し、被写体の種別によって付与するものである。被写体の種別は人、
動物、植物、昆虫、風景に分類される。各種別は更に分類され
る。人は、セルフポートレート、ポートレート、カップル、家族、集合写真、不特定多数、およびスポーツに分類される。動物は陸上動物と魚に分類され、陸上
動物は犬、猫、牛、豚、馬などに分類される。風景は自然物と人工物に分類され、自然物は山、森林、海、湖、空などに、人工物は市街地、ビル、田畑などに分
類される。本発明の主体は画像検索インターフェースの実装方法にあるので、画像解析による被写体の抽出手法については説明を省略する。
【００１９】
図８は構図情報の抽出方法を説明する図である。
９０１は構図情報を抽出する画像データである。
９０２は画像検索プログラム３０７により画像データ９０１から抽出された点である。
点９０２は画像データ９０１において、色彩や明度のコントラストが高い点と、カメラのピント位置を基準に抽出される。
９０３は点９０２を頂点とする面である。
構図情報は面９０３の形状および重心点により構成される。
【００２０】
図９は色彩情報の抽出方法を説明するフローチャートおよび図である。図９のステップS０１では、
画像検索プログラム３０７は画像データ３０８をタイル状に分割する。
図９の１００１はステップS０１において処理された画像データ３０８であり、１００２は画像１００１が分割されたタイルの一つである。
分割数は画像の大きさによって変化するが、三十二分割程度を最大とする。
ステップS０２において、画像検索プログラム３０７はステップS０１で生成したタイル１００２のそれぞれの平均色を一色求める。
図９の１００３はステップS０２において処理された画像データ３０８である。画像１００３の各タイルはそれぞれ一色の色を持つ。
ステップS０３では、画像検索プログラム３０７は当該平均色群を画像の代表色群として画像に付与する。
ステップS０４では、画像検索プログラム３０７は当該代表色群の各色の色彩を分析する。
具体的には色相、彩度、明度を各代表色の基本的な色彩情報とする。
ステップS０５では、画像検索プログラム３０７は各代表色の色彩情報を比較し、画像全体の色彩的傾向を求める。
ステップS０６では、画像検索プログラム３０７はステップS０５で求められた色彩的傾向と、画像検索プログラム３０７内に格納された色彩傾向情報テーブル
との比較を行い、条件に合致する列を検索し色彩的傾向の情報を当該列に付与されたキーワードに置き換える。
具体的には、代表色群全体の明度が強い場合は明るい、弱い場合は暗いというキーワードに置き換える。
代表色間の明度や彩度の差が大きい場合はハイコントラスト、差が小さい場合はローコントラストというキーワードに置き換える。
代表色間の色相の差が小さい場合はモノトーン、代表色群全体の彩度が強い場合は鮮やか、弱い場合はグレイッシュなどのキーワードに置き換える。
ステップS０７では、画像検索プログラム３０７は画像データ３０８にステップS０６で求められたキーワードを付与する。
【００２１】
画像検索プログラム３０７は、画像検索を実行する際当該属性情報を参照し画像間の緊密度を求める。画像検索プログラム３０７は、
画像間の緊密度を以下の数式１によって求める。
【００２２】
【数１】
2010176235.tif 000004
【００２３】
【表２】
2010176235.tif 000005
【００２４】
上記の数式において、表２に示したように、ｉは緊密度、ｎは画像に付与される属性情報の項目数、Eは属性情報、ｉｘは緊密度補正値である。ここでは検索
条件となる画像を画像A、緊密度の比較対象となる画像を画像Bとする。当該数式を画像に付与された属性情報について適用した値を画像AB間の緊密度とす
る。
画面領域４０２における当該両画像間の距離は、当該緊密度に従う。
【００２５】
上記数式１における緊密度補正ｉｘは、下記の数式２により求める。本実施例においては、画像間の属性情報の緊密度を補正
するための画像サムネイルの属性情報とは時刻情報とする。
【００２６】
【数２】
2010176235.tif 000006
【００２７】
【表３】
2010176235.tif 000007
【００２８】
上記の数式２において、表３に示したように、ｉｘは緊密度補正値、ｔｄは二画面間の撮影時刻情報の差の絶対値である。
図１０は当該数式におけるｉｘの算出結果を表すグラフである。
当該数式によって求められた緊密度補正値により緊密度の補正を行う。
当該補正により、時刻情報以外の属性情報の緊密度が高く、時刻情報の差が少ないか極端に大きい二画像間が最も緊密度が高くなる。
【００２９】
緊密度補正値の算出にあたり、時刻情報の差ｔｄが約２を超え、
緊密度補正値ｉｘが増加に転じる検索結果画像は、
時刻情報の差ｔｄがより０に近い画像より検索条件画像の周囲を回転する速度をより速いものとする。
これにより緊密度の高い検索結果画像の中で、
時刻情報の差が少ないものと極端に大きいものの差異を、
本発明の利用者が視覚的に把握できるようにする。
【００３０】
このような画像インターフェースの実装形態を採用したので、複数の検索条件を画像サムネイルにより画像検索プログラム３０７に入力できる。
従って、複数条件による画像検索が容易になる効果がある。 また、画像に付与された属性情報を検索条件として利用し、
当該属性情報の検索条件画像と検索結果画像間での緊密度に従う画像の配置を行うことができるようになり、
当該に画像間の類似性を視覚的に把握可能になるという効果がある。さらに、緊密度補正値により検索結果画像の配置を補正することで、従来の検索方法では検
索条件に該当せず、画像データベースから容易に抽出することのできなかった画像を容易に検索、表示できるという利点がある。
【実施例２】
【００３１】
以下、本発明の実施形態の第１の例を説明する。本発明の実施例２では、実施例１と装置の構成、画像データの構造、および緊密度の算出方法は同一であるた
め、説明は省略する。
【００３２】
画像に付与される属性情報のうち、色彩情報の付与方法について説明する。第１の実施例と異なる点は、画像検索プログラム３０７内に格納される色彩傾向
テーブルの各列に付与される色彩的傾向の情報及びキーワードである。当該色彩傾向テーブルには、実施例１のように色彩傾向を直接表すキーワードではなく、
画像の色彩的傾向から連想されるキーワードを格納する。具体的には春、夏、秋、冬などの季節をあらわすキーワード、喜、怒、哀、楽といった感情を表すキー
ワード、元気、寂しいといった状態を表すキーワードなどが格納される。当該相違点により、実施例２では画像に付与される色彩情報が実施例１と異なり、従っ
て検索を実行した際に出力される結果も両実施例間で異なったものとなる。
【００３３】
実施例２における色彩情報のキーワードによる検索結果を、画像に付与されるその他の属性情報を検索条件とし同様に求めようとした場合、適切な検索条件は
非常に多くの属性情報を限られた範囲に指定しないければならず困難である。実施例２によれば、本発明の利用者は色彩情報からの連想によるキーワードを検索
条件として使用することで、より利用者の意思を反映した所望の検索結果を容易に検索することがすることが可能になるという効果がある。
【００３４】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明はこれら特定の実施形態に限定されるものではない。本発明の領域を逸脱しない様々な実施
形態も本発明に含まれる。
【００３５】
例として本発明の実施形態における装置は実施例１のものに限らず、テレビ、デジタルカメラ、携帯電話、デジタルフォトビューアー、デジタルフォトフレー
ムなどディスプレイによる画像データ閲覧機能と入力装置をもつ機器に変更し適用することが可能である。
【００３６】
また、本発明の実施形態の機能を実現するプログラム及び画像データを、記憶媒体、もしくは有線ないし無線接続によるネットワークから機器に供給し実行す
る場合も本発明に含む。当該プログラム及び画像データを機器に供給する媒体は、例としてフレキシブルディスク、ハードディスク、磁気テープなどの磁気記憶媒
体、ＭＯ、ＣＤーＲＯＭ、ＣＤーＲ。ＣＤーＲＷ、ＤＶＤーＲＯＭ、ＤＶＤーＲ、ＤＶＤーＲＷ、ＤＶＤーＲＡＭ、ＢＤなどの光記憶媒体もしくは光磁気記憶媒
体、不揮発性半導体メモリなどでもよい。有線もしくは無線で接続されたコンピューターネットワーク上のサーバーに格納されたプログラム及び画像データを、
接続があったクライアントコンピューターにダウンロードして供給する方法も本発明に含む。当該サーバーは単一のものに限らず、複数の機器が細分化されたプ
ログラム及び画像を供給する場合も本発明に含む。
【００３７】
さらに、本発明の実施形態を実現するプログラムを実行する処理装置は機器に内蔵される中央演算装置のみに限らず、補助演算装置が当該プログラムの一部な
いし全部の処理を中央演算装置から引き受け実行する場合も本発明に含む。例としてコンピューターに接続された機能拡張ボード、機能拡張ユニットもしくは他
のコンピューターの演算装置が、本発明の実施形態の機能を実現するプログラムを実行した場合も本発明に含まれるのは言うまでもない。
【図面の簡単な説明】
【００３８】
【図１】現用の画像検索ソフトウェアのインターフェースを表示した画面の説明図である。
【図２】本発明の装置の構造を示した説明図である。
【図３】本発明の表示画面を示した説明図である。
【図４】本発明の操作手順を示したフローチャートである。
【図５】本発明の表示画面のうち、検索を実行する以前の状態を示した図である。
【図６】本発明の表示画面のうち、検索条件となる画像を移動し検索を実行した状態を示した図である。
【図７】本発明の表示画面のうち、検索結果となる画像が配置された状態を示した図である。
【図８】画像に付与される属性情報のうち、構図情報の抽出方法を示した説明図である。
【図９】画像に付与される属性情報のうち、色彩情報の代表色群の抽出方法を示した説明図である。
【図１０】緊密度補正値の算出結果を示すグラフである。
【符号の説明】
【００３９】
１０１    現用の画像データベースソフトウェアにおける、インターフェースウィンドウ
１０２    現用の画像データベースソフトウェアにおける、登録画像もしくは検索結果表示領域
１０３    現用の画像データベースソフトウェアにおける、登録画像サムネイル
１０４    現用の画像データベースソフトウェアにおける、検索パネル
１０５    現用の画像データベースソフトウェアにおける、画像グループ一覧表示領域
１０６    現用の画像データベースソフトウェアにおける、詳細属性情報表示領域
３０１    中央処理装置
３０２    主記憶装置
３０３    補助記憶装置
３０４    出力装置
３０５    入力装置
３０６    バス
３０７    画像検索プログラム
３０８    画像データ
３０９    ディスプレイ
３１０    マウス
３１１    キーボード
４０１    画像データ３０８を表示する画面の第一の領域
４０２    検索を実行および検索結果を表示する画面の第二の領域
４０３    画像データ３０８のサムネイル
４０４    スクロールボタン
４０５    検索条件となる画像
４０６    検索結果画像
９０１    構図情報を抽出する画像
９０２    画像のピント位置およびコントラストの高い点
９０３    点９０２を頂点とする領域
【図１】
2010176235.tif 000008
【図２】
2010176235.tif 000009
【図３】
2010176235.tif 000010
【図４】
2010176235.tif 000011
【図５】
2010176235.tif 000012
【図６】
2010176235.tif 000013
【図７】
2010176235.tif 000014
【図８】
2010176235.tif 000015
【図９】
2010176235.tif 000016
【図１０】
2010176235.tif 000017