(57)【特許請求の範囲】
【請求項１】
画像集合における代表画像の検索方法において、
各画像の元データ情報及び／またはユーザの入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出し、
各画像の前記文書特徴に基づき、該集合のいずれの画像の内容同士の差異性を表す、該集合の多様性データを取得し、
前記多様性データに基づき、各画像の内容の該集合の全画像の内容に対する代表性を表す、各画像の代表性ポイントを算出し、
前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像を選択する、画像集合における代表画像の検索方法。
【請求項２】
請求項１に記載の代表画像の検索方法において、
前記集合における各画像から該画像の視覚特徴を抽出し、
各画像の前記視覚特徴に基づき、該画像の内容の前記集合における普遍性を表す、該画像の顕著性データを取得し、
前記代表性ポイントは、前記顕著性データに基づくことを特徴とする代表画像の検索方法。
【請求項３】
請求項１または２に記載の代表画像の検索方法において、
前記集合における全画像の内容を代表する１つまたは複数の画像の選択は、
各画像の代表性ポイントに基づき、前記集合における全画像の代表性ポイントの配列を行い、
前記配列の結果に応じて、前記集合における全画像の内容を代表する１つまたは複数の画像を選択するステップが含まれることを特徴とする代表画像の検索方法。
【請求項４】
請求項１に記載の代表画像の検索方法において、
前記各画像の文書特徴の抽出は、
前記集合における全画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記集合の文書キーワードデータベースを構築し、
前記集合の文書キーワードデータベースから１つまたは複数の文書キーワードを選択し、選択した文書キーワード数と同じ次元数の文書特徴空間を構築し、
前記各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記文書特徴空間により、各画像の文書特徴を形成するステップが含まれることを特徴とする代表画像の検索方法。
【請求項５】
請求項４に記載の代表画像の検索方法において、
前記文書特徴空間の構築は、
前記集合の文書キーワードデータベースにおける各文書キーワードの出現頻度を統計し、
前記文書特徴空間を構築するために、出現頻度が所定範囲内の文書キーワードを選択するステップが含まれることを特徴とする代表画像の検索方法。
【請求項６】
画像集合における代表画像の検索システムにおいて、
各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出する文書特徴抽出手段と、
各画像の前記文書特徴に基づき、該集合におけるいずれの画像の内容同士の差異性を表す、該集合の多様性データを取得する多様性データ取得手段と、
前記多様性データに基づき、各画像の内容の該集合の全画像の内容に対する代表性を表す、各画像の代表性ポイントを算出する代表性ポイント演算手段と、
前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像を選択する代表画像選択手段と、を備えることを特徴とする画像集合における代表画像の検索システム。
【請求項７】
請求項６に記載の代表画像の検索システムにおいて、
前記集合における各画像から該画像の視覚特徴を抽出する視覚特徴抽出手段と、
各画像の前記視覚特徴に基づき、該画像の内容の前記集合における普遍性を表す、該画像の顕著性データを取得する顕著性データ取得手段と、をさらに備え、
前記代表性ポイントは、前記顕著性データに基づくことを特徴とする代表画像の検索システム。
【請求項８】
請求項６または７に記載の代表画像の検索システムにおいて、
前記代表画像選択手段は、
各画像の代表性ポイントに基づき、前記集合における全画像の代表性ポイントの配列を行う配列手段と、
前記配列の結果に応じて、前記集合における全画像の内容を代表する１つまたは複数の画像を選択する選択手段が含まれることを特徴とする代表画像の検索システム。
【請求項９】
請求項６に記載の代表画像の検索システムにおいて、
文書特徴抽出手段は、
前記集合における全画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記集合の文書キーワードデータベースを構築する文書キーワードデータベース構築手段と、
前記集合の文書キーワードデータベースから１つまたは複数の文書キーワードを選択し、選択した文書キーワード数と同じ次元数の文書特徴空間を構築する文書特徴空間構築手段と、
前記各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記文書特徴空間により、各画像の文書特徴を形成する文書特徴形成手段が含まれることを特徴とする代表画像の検索システム。
【請求項１０】
請求項９に記載の代表画像の検索システムにおいて、
前記文書特徴空間構築手段は、
前記集合の文書キーワードデータベースにおける各文書キーワードの出現頻度を統計する統計手段と、
前記文書特徴空間を構築するために、出現頻度が所定範囲内の文書キーワードを選択する文書キーワード選択手段が含まれることを特徴とするシステム。
【請求項１１】
画像集合における代表画像を検索するためにコンピュータを、
各画像の元データ情報及び／またはユーザの入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出する手段、
各画像の前記文書特徴に基づき、該集合のいずれの画像の内容同士の差異性を表す、該集合の多様性データを取得する手段、
前記多様性データに基づき、各画像の内容の該集合の全画像の内容に対する代表性を表す、各画像の代表性ポイントを算出する手段、
前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像を選択する手段、
として機能させるための画像集合における代表画像の検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像集合における代表画像の検索システム、方法及びプログラムに関する。
【背景技術】
【０００２】
情報記憶技術の発展に伴い、記憶装置の記憶能力が日に日に向上しており、記憶する情報も膨大になってきている。現実の生活において、例えば、電子アルバム等の大量の電子画像が含まれる画像集合においては、数多く、かつ整理されていない各種画像がしばしば存在しており、ユーザが画像集合の全体内容を迅速に把握することが難しくなっている。この場合、画像集合における全画像の内容を最も代表可能な１つまたは複数の画像（いわゆる代表画像）を自動検索することができれば、ユーザの体験を大きく改善させることになる。
【０００３】
特許出願（例えば、特許文献１参照）には、文書画像データベースに用いるナビゲーションシステムが開示されている。該システムは、ユーザ入力の検索キーワードに対し、文書検索により画像収集を行い、画像の視覚特徴を用いて画像の自動組分けを行い、各組の代表画像を表示している。
【０００４】
特許出願（例えば、特許文献２参照）には、語意主題のリッチ・プレゼンテーション（rich  presentation）方法が開示されている。該語意主題は、１つまたは複数のキーワードでもよく、人名、事件、場面等でもよい。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に記載のナビゲーションシステムにおいては、ユーザの手動による文書キーワード入力が必要となる。事実上、実際の応用においては、多くの場合、ユーザが電子アルバムのような画像集合に含まれるキーワードを知ることは不可能であるため、手探りで検索キーワードを入力するしかないが、該検索キーワードも、画像集合全体を概括できない場合も多いため、満足のいく画像集合における代表画像の取得ができないという問題があった。
【０００６】
また、上述の特許文献２に記載の語意主題のリッチ・プレゼンテーション方法においては、画像集合には複数の語意主題が含まれる可能性があるため、画像集合のナビゲーションを行うためには、先ずどの主題が含まれているかを判定する必要がある。しかし、語意主題による検出技術は、まだ成熟しておらず、該方法の性能は望ましいものではないという問題があった。
【０００７】
そこで、本発明は、前述の問題を鑑みてなされたもので、効率よく画像集合における代表性画像を自動検索することで、ユーザによる画像集合の全体内容の迅速な把握を可能とし、ユーザ体験を改善可能な、画像集合における代表性画像の検索方法とシステムとプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の１局面によれば、画像集合における代表画像の検索方法において、各画像の元データ情報及び／またはユーザの入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出し、各画像の前記文書特徴に基づき、該集合におけるいずれの画像の内容同士の差異性を表す、該集合の多様性データを取得し、前記多様性データに基づき、各画像の内容の該集合の全画像の内容に対する代表性を表す、各画像の代表性ポイントを算出し、前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像を選択する、画像集合における代表画像の検索方法を提供する。
【０００９】
なお、前述の代表画像の検索方法は、前記集合における各画像から該画像の視覚特徴を抽出し、各画像の前記視覚特徴に基づき、該画像の内容の前記集合における普遍性を表す、該画像の顕著性データを取得し、前記代表性ポイントは、前記顕著性データに基づくようにしてもよい。
【００１０】
なお、前述の代表画像の検索方法において、前記集合における全画像の内容を代表する１つまたは複数の画像の選択は、各画像の代表性ポイントに基づき、前記集合における全画像の代表性ポイントの配列を行い、前記配列の結果に応じて、前記集合における全画像の内容を代表する１つまたは複数の画像を選択するステップが含まれている。
【００１１】
また、前記代表画像の検索方法において、前記各画像の文書特徴の抽出は、前記集合における全画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記集合の文書キーワードデータベースを構築し、前記集合の文書キーワードデータベースから１つまたは複数の文書キーワードを選択し、選択した文書キーワード数と同じ次元数の文書特徴空間を構築し、前記各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記文書特徴空間により、各画像の文書特徴を形成するステップが含まれる。
【００１２】
さらに、前記代表画像の検索方法において、前記文書特徴空間の構築は、前記集合の文書キーワードデータベースにおける各文書キーワードの出現頻度を統計し、前記文書特徴空間を構築するために、出現頻度が所定範囲内の文書キーワードを選択するステップが含まれる。
【００１３】
本発明の他の局面によれば、画像集合における代表画像の検索システムにおいて、各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出する文書特徴抽出手段と、各画像の前記文書特徴に基づき、該集合におけるいずれの画像の内容同士の差異性を表す、該集合の多様性データを取得する多様性データ取得手段と、前記多様性データに基づき、各画像の内容の該集合の全画像の内容に対する代表性を表す、各画像の代表性ポイントを算出する代表性ポイント演算手段と、前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像を選択する代表画像選択手段と、を備えることを特徴とする画像集合における代表画像の検索システムを提供する。
【００１４】
なお、前記代表画像の検索システムは、前記集合における各画像から該画像の視覚特徴を抽出する視覚特徴抽出手段と、各画像の前記視覚特徴に基づき、該画像の内容の前記集合における普遍性を表す、該画像の顕著性データを取得する顕著性データ取得手段と、をさらに備え、前記代表性ポイントは、前記顕著性データに基づくようにしてもよい。
【００１５】
さらに、前記代表画像の検索システムにおいて、前記代表画像選択手段は、各画像の代表性ポイントに基づき、前記集合における全画像の代表性ポイントの配列を行う配列手段と、前記配列の結果に応じて、前記集合における全画像の内容を代表する１つまたは複数の画像を選択する選択手段が含まれる。
【００１６】
さらに、前記代表画像の検索システムにおいて、文書特徴抽出手段は、前記集合における全画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記集合の文書キーワードデータベースを構築する文書キーワードデータベース構築手段と、前記集合の文書キーワードデータベースから１つまたは複数の文書キーワードを選択し、選択した文書キーワード数と同じ次元数の文書特徴空間を構築する文書特徴空間構築手段と、前記各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記文書特徴空間により、各画像の文書特徴を形成する文書特徴形成手段が含まれる。
【００１７】
さらに、前記代表画像の検索システムにおいて、前記文書特徴空間構築手段は、前記集合の文書キーワードデータベースにおける各文書キーワードの出現頻度を統計する統計手段と、前記文書特徴空間を構築するために、出現頻度が所定範囲内の文書キーワードを選択する文書キーワード選択手段が含まれる。
【００１８】
本発明の他の局面によれば、画像集合における代表画像を検索するためにコンピュータを、
各画像の元データ情報及び／またはユーザの入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出する手段、
各画像の前記文書特徴に基づき、該集合のいずれの画像の内容同士の差異性を表す、該集合の多様性データを取得する手段、
前記多様性データに基づき、各画像の内容の該集合の全画像の内容に対する代表性を表す、各画像の代表性ポイントを算出する手段、
前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像を選択する手段、
として機能させるための画像集合における代表画像の検索プログラムを提供する。
【００１９】
本発明の実施例によれば、各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出し、文書特徴に基づき、該集合の多様性データを取得することで、各画像の代表性ポイントを算出し、各画像の代表性ポイントに基づき、該集合の代表画像を選択するため、画像集合における代表画像の自動検索を効率よく行うことができる。
【００２０】
なお、本発明の実施例によれば、前記多様性データ以外にも、該集合における各画像から該画像の視覚特徴を抽出し、各画像の視覚特徴に基づき、該画像の顕著性データを取得し、多様性データと顕著性データの両方に基づき、各画像の代表性ポイントを取得し、各画像の代表性ポイントに基づき、該集合の代表画像を選択するため、画像集合における代表画像の自動検索を効率よく行うことができる。
【発明の効果】
【００２１】
本発明によれば、画像集合における代表画像の自動検索を効率よく行うことができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の１実施例による代表性画像検索システム１００の例示的配置のブロック図である。
【図２】本発明の実施列による代表性画像検索システム２００の例示的配置のブロック図である。
【図３】本発明の他の実施列による代表性画像検索システム２００の例示的配置をより詳細に示したブロック図である。
【図４】本発明の１実施例による代表性画像検索方法のフローチャートである。
【図５】本発明の実施列による代表性画像検索方法のフローチャートである。
【図６】本発明の実施列による代表性画像検索方法における文書特徴抽出ステップをより詳細に示したフローチャートである。
【図７】例示的な２組の画像（Ａ）と（Ｂ）により、多様性の意味を示した図である。
【図８】例示的な画像により、顕著性の意味を示した図である。
【図９】画像の文書特徴空間を示した略図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照しながら本発明を実施するための形態について説明する。
【００２４】
図１は、本発明の１実施例による代表画像検索システム１００の例示的配置のブロック図である。図１に示されたように、本発明の実施例１による代表画像検索システム１００は、文書特徴抽出手段１０１と、多様性データ取得手段１０２と、代表性ポイント演算手段１０３と、代表画像選択手段１０４が設けられている。
【００２５】
本発明の実施例１による代表画像検索システム１００において、文書特徴抽出手段１０１は、各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出する。前記元データ情報は、画像自身の属性に関連する情報である。例えば、前記画像が写真である場合、前記元データ情報は、撮影時間、撮影場所、カメラパラメータ等である。前記マーク情報は、ユーザが定義した、例えば、画像タイトル、画像説明等の画像関連情報である。後ほど図３を参照しながら、文書特徴抽出手段の配置と動作についてさらに詳細に説明する。
【００２６】
多様性データ取得手段１０２は、各画像の前記文書特徴に基づき、該集合の多様性データを取得する。前記多様性データは、該集合におけるいずれの画像の内容同士の差異性を示し、画像集合の多様化程度を反映している。
【００２７】
図７は、例示的な２組の画像（Ａ）と（Ｂ）により、多様性の意味を表現した図である。図７の例示的な２組の画像（Ａ）と（Ｂ）において、（Ａ）組の画像には、同質の画像が多数含まれているため、多様性が低くなっているが、（Ｂ）組の画像には、異なる位置や異なるビューの画像が含まれているため、多様性が高くなっている。
【００２８】
ここで、多様性データは、代表画像の確定に役立っていることが分かる。例えば、電子アルバムの場合、２枚の写真の撮影時間が非常に近いと、この２枚の写真の視覚表現は似ているため、この２枚の写真を同時に代表画像に選んではならない。また、例えば、ユーザが同一フォルダに入れる写真に「年会」のような特殊な名称を命名した場合、これらの写真は、同一事件が記録されている可能性があるため、これらの写真を同時に代表画像に選んではならない。
【００２９】
具体的に、図１に示す多様性データ取得手段１０２は、各文書特徴に基づいて、下記のようにマトリックス形式の多様性データ（以下、適宜多様性マトリックスとも称する）の取得を行う。
【００３０】
画像集合  Ｘ＝{ｘｉ｜ｉ＝０，・・・，Ｍ−１}  に、Ｍ枚の画像が存在すると仮定する。ここで、ｘｉは、第ｉ番目の画像を示している。同様に、第ｉ番目画像の文書特徴ベクトルを、  ｔｉ＝［ｔｉ１，ｔｉ２，・・・，ｔｉＫ］Ｔ  と表す。ここで、Ｋは、詳細に後述する文書特徴空間の次元数を表す。該画像集合の多様性マトリックスは、  Ｄ＝［ｄｉｊ］（Ｍ×Ｍ）  と表すことができ、ここで、各元素ｄｉｊは、ｉ番目画像とｊ番目画像との差異性を表す。
【００３１】
制限されない実施例として、詳細に後述する文書特徴空間における各画像同士間の距離に基づいて、多様性マトリックスＤにおける各元素ｄｉｊを取得してもよい。
【００３２】
１つの例として、ユークリッド距離に基づき、下記式（１）より、多様性マトリックスＤにおける各元素ｄｉｊを取得する。
【００３３】
【数１】
0005626042.tif 000002
他の例として、ｐ規範（p-norm）距離に基づき、下記式（２）より、多様性マトリックスＤにおける各元素ｄｉｊを取得する。
【００３４】
【数２】
0005626042.tif 000003
ここで、ｐは、実数であり、実践で需要に応じて任意の値に設定されてもよい。
【００３５】
さらに他の例として、Kullback-Leibler距離に基づき、下記式（３）より、多様性マトリックスＤにおける各元素ｄｉｊを取得する。
【００３６】
【数３】
0005626042.tif 000004
ここで、ｐは、文書特徴ベクトルの確率分布を表し、該画像の文書特徴空間における位置により推測する。前記確率分布の演算方法は、当業者に公知であるため、詳細は割愛する。
【００３７】
前記式（１）〜（３）において、前述のように、ｔｉとｔｊは、それぞれｉ番目画像とｊ番目画像の文書特徴ベクトルを表し、Ｋは、文書特徴空間の次元数を表す。
【００３８】
ここで、多様性マトリックスは、前述の２つの画像間の距離情報から取得してもよく、２つの画像間の類似性や関連情報から取得してもよい。
【００３９】
代表性ポイント演算手段１０３は、前記多様性データに基づき、各画像の代表性ポイントを算出し、前記代表性ポイントは、該画像の内容の該集合の全画像の内容に対する代表性を表している。本実施例の場合、各画像の代表性ポイントは、該集合の多様性マトリックスで該画像に対応する行ベクトル若しくは列ベクトルと直接関連する。換言すると、本実施例の場合、各画像の代表性ポイントは、該画像の集合における他の画像との差異性を直接表現している。該画像の集合における他の画像との差異性が高いと、その代表性ポイントも高くなり、差異性が低いと、その代表性ポイントも低くなる。以下、代表性ポイント演算手段１０３の動作について、より詳細に説明する。
【００４０】
代表画像選択手段１０４は、前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像を選択する。換言すると、代表画像選択手段１０４は、集合から充分な代表性を有する画像のサブセットを識別する。具体的には、選択した画像は、前記集合における他の画像と最大の差異性を有していなければならない。
【００４１】
本発明の実施例１によると、代表画像検索システム１００は、各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出し、文書特徴に基づき、該集合の多様性データを取得することで、各画像の代表性ポイントを取得し、各画像の代表性ポイントに基づき、該集合の代表画像を選択する。このため、本発明の実施例１による代表画像検索システム１００は、画像集合における代表画像の自動検索を効率よく行うことができる。
【００４２】
以下、図２を参照しながら、本発明の他の実施列による代表画像検索システム２００の例示的配置について説明する。
【００４３】
本発明の他の実施例による代表画像検索システム２００は、文書特徴抽出手段２０１と、多様性データ取得手段２０２と、代表性ポイント演算手段２０３と、代表画像選択手段２０４と、視覚特徴抽出手段２０５と、顕著性データ取得手段２０６が設けられている。ここで、文書特徴抽出手段２０１と、多様性データ取得手段２０２と、代表画像選択手段２０４の配置と動作は、前記図１を参照して説明した文書特徴抽出手段１０１と、多様性データ取得手段１０２と、代表画像選択手段１０４の配置と動作と同様であるため、詳細は割愛する。以下、図２を参照しながら、主に視覚特徴抽出手段２０５と顕著性データ取得手段２０６と代表性ポイント演算手段２０３の例示的配置について説明する。
【００４４】
本発明の他の実施例による代表画像検索システム２００において、視覚特徴抽出手段２０５は、該集合における各画像から該画像の視覚特徴を抽出する。ここで、画像からの視覚特徴抽出は、公知のいずれの方法によって行ってもよい。例えば、視覚特徴抽出手段２０５は、色、模様、形状等のパラメータに基づいて、公知のいずれの方法を用いて画像集合の視覚特徴空間を形成することができる。その後、視覚特徴抽出手段２０５は、各画像に対し、各画像の前記視覚特徴空間における視覚特徴を抽出する。前記パラメータには、局所二値パターン（Local  binary  pattern，LBP）による模様記述特徴、色空間におけるブロックによるカラーモーメント（block-wise  color  moment  in  lab  color  space）特徴、エッジ方向ヒストグラム特徴、フーリエ記述子等が含まれるが、これに限るものではない。
【００４５】
顕著性データ取得手段２０６は、各画像の前記視覚特徴に基づき、該画像の顕著性データを取得する。前記顕著性データは、該画像の内容の該集合における普遍性を表し、即ち、該画像が対応画像集合に属する度合いを表している。換言すると、顕著性は、該画像の画像集合全体における重要度合いを定義する。ある画像が画像集合において外観の近い画像を多く有していれば、該画像の内容の集合における普遍性が高く、重要性が高くなり、該画像の顕著性データも高くなる。具体的には、画像集合の顕著性は、ベクトルで表すことができ、各元素は、集合における各画像の顕著性を示している。
【００４６】
図８は、例示的な画像により、顕著性の意味を直観的に表現した図である。図８においては、例示的に４つの画像を示しており、４つの画像とも主題キーワードの「金門大橋」に関連している。左から右へ行くほど、画像の顕著性データが低くなっている。
【００４７】
以上から、多様性データ以外に、顕著性データも代表画像の確定に役立つことが分かる。理由として、通常、高顕著性を有する画像は、所属する種類における他の画像と外観上において非常に類似しており、高顕著性を有する画像は、通常、最も鮮明に、或いは充填画像の顕著領域に、或いはいくらかの見慣れた様子で現れるためである。これらの条件は、該画像が表現しようとする主題に関する最多の情報を提供することができる。
【００４８】
具体的に、本発明の実施例による顕著性データ取得手段２０６は、下記のように顕著性データの取得を行う。
【００４９】
前述の画像集合  Ｘ＝{ｘｉ｜ｉ＝０，・・・，Ｍ−１}  において、ｉ番目画像の視覚特徴ベクトルは、Ｖｉ＝［ｖｉ１，ｖｉ２，・・・，ｖｉＪ］Ｔ  と表され、ここで、Ｊは視覚特徴空間の次元数である。画像集合の顕著性データは、ｓ＝［ｓ０，ｓ１，・・・，ｓＭ−１］Ｔ  と表すことができ、各元素ｓｉは、ｉ番目顕著性データを示す。
【００５０】
非制限的実施例として、前記視覚特徴空間における核密度予測から、顕著性データを得るようにしてもよい。
【００５１】
１つの例として、簡単な三角関数により、下記式（４）からｉ番目画像の顕著性データを得ることができる。
【００５２】
【数４】
0005626042.tif 000005
ここで、ｄ（ｖｉ，ｖｊ）
0005626042.tif 000006
は、ｉ番目画像とｊ番目画像の視覚特徴空間における、ユークリッド距離であり、下記式（４−１）で表される。
【００５３】
【数５】
0005626042.tif 000007
他の例として、ガウス関数により、下記式（５）からｉ番目画像の顕著性データを得ることができる。
【００５４】
【数６】
0005626042.tif 000008
ここで、ｈは、平滑パラメータであり、帯域幅とも呼ばれている。
【００５５】
さらに他の例として、コサイン関数により、下記式（６）から各画像の顕著性データを得ることができる。
【００５６】
【数７】
0005626042.tif 000009
ここで、前記式（４）から（６）において、ｋｎｎ（ｘｉ）は、視覚特徴空間で画像ｘｉと最も近いＫ個の隣接画像を表す。
【００５７】
これにより、本実施例による顕著性データ取得手段２０６から各画像の顕著性データを取得し、代表性ポイント演算手段２０３に提供している。
【００５８】
本実施例の代表性ポイント演算手段２０３は、多様性データ取得手段２０２から出力される多様性データ、及び顕著性データ取得手段２０６から出力される顕著性データに基づき、集合における各画像の代表性ポイントの演算を行っている。
【００５９】
具体的には、代表性ポイント演算の１例として、代表性演算手段２０３は、画像間に代表性ポイントを伝えるために、画像図のランダム・ウォーク（ｒａｎｄｏｍ  ｗａｌｋ）を行っている。画像グラフの各ノードが画像を示しており、画像グラフのエッジは、画像の多様性により重み付きされている。Ｍノードを有する画像図の場合、ｒｌ（ｉ）を用いて１回目反復時のノードｉの代表性ポイントを示している。当業者は、実践において、画像集合のサイズおよび要求される制動に応じて適切に１の値を選択することができる。１回目反復時の図における全ノードの代表性ポイントは、列ベクトル      ｒｌ＝［ｒｌ（０），ｒｌ（１），・・・，ｒｌ（Ｍ−１）］Ｔ  を形成する。Ｍ×Ｍの遷移行列をＰとした場合、各元素ｐｉｊは、ノードｉからノードｊまでの遷移確率を表し、下記式（７）より求められる。
【数８】
0005626042.tif 000010
このため、代表性ポイント演算手段２０３により行われるランダムウォーク処理は、以下のように表される。
【数９】
0005626042.tif 000011
【００６０】
ここで、αは、０から１までの重み付きパラメータであり、実践において、重み付き手段により適当に実現することができる。なお、当業者は、需要に応じて、例えば、α＝０．２、α＝０．５のように、適切にαの値を選択することができる。
【００６１】
代表性ポイント演算手段２０３による該ランダムウォーク処理により、視覚特徴空間における高顕著性と文書特徴空間における高多様性を同時に得ることができる。以下、前記ランダムウォーク処理の収束性を検証する。
【００６２】
定理１：式（８）の反復は、固定点に収束される。
【００６３】
証明：マトリックス形式で式（８）を書き換えると以下の式（９）のようになる。
【数１０】
0005626042.tif 000012
【００６４】
このため、式（１０）に示すように、
【数１１】
0005626042.tif 000013
となる。
【００６５】
ここで、遷移行列Ｐは、１に規格化される。０≦α≦１については、γ≦１が存在し、α≦γとなり、下記の式（１１）を得ることができる。
【数１２】
0005626042.tif 000014
【００６６】
このため、（αＰ）ｎの行和は０に収束される。このため、式（１０）により、下記の式（１２）を得ることができる。
【数１３】
0005626042.tif 000015
【００６７】
ここで、Ｉは、Ｐと同様のサイズ（Ｍ×Ｍ）の単位マトリックスである。
【００６８】
これは、唯一の解となる。
【００６９】
換言すると、本実施例の代表性ポイント演算手段２０３により、前記式（８）から、顕著性データと多様性データを用いて、各画像の代表性ポイントを得ることができる。
【００７０】
ここで、前記α＝１の場合、以上のランダムウォーク処理は、前記実施例における代表性ポイント演算手段１０３の動作に対応している。
【００７１】
ここで、本実施例の代表性ポイント演算手段２０３は、前記式（８）から画像の代表性ポイントを取得しているが、当業者は、式（８）に対して各種変更を行い、他の方式により画像の代表性ポイントの演算を行うことができる。
【００７２】
本実施例による代表画像検索システム２００においては、代表性ポイント演算手段２０３は、多様性データ取得手段２０２から取得される多様性データのみならず、顕著性データ取得手段２０６から取得される顕著性データにも基づいて、画像の代表性ポイントを算出しているため、画像の代表性ポイントを多様性と顕著性の両方を総合的に考慮するようにすることで、画像集合の全体内容を十分代表可能な代表画像を効率よく検索することができる。
【００７３】
以下、図３のブロック図を参照しながら、代表画像検索システム２００の配置について詳細に説明する。
【００７４】
図３に示されているように、前記文書特徴抽出手段２０１は、好ましくは、文書キーワードデータベース構築手段２０１１と、文書特徴空間構築手段２０１２と、文書特徴形成手段２０１３とが含まれている。
【００７５】
文書キーワードデータベース構築手段２０１１は、該集合における全画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、該集合の文書キーワードデータベースを構築する。
【００７６】
文書特徴空間構築手段２０１２は、該集合の文書キーワードデータベースから１つまたは複数の文書キーワードを選択し、選択した文書キーワード数と同じ次元数の文書特徴空間を構築する。
【００７７】
文書特徴形成手段２０１３は、前記各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記文書特徴空間により、各画像の文書特徴を形成する。
【００７８】
図９は、画像集合における各画像の文書特徴空間を示した略図である。該画像集合には、計９つの画像が存在している。該９つの画像の元データ情報、及び／またはユーザ入力によるマーク情報に基づいて形成される文書キーワードデータベースから、１１個のキーワードを選択しているため、形成される文書特徴空間は、１１次元を有し、各画像の該文書特徴空間における各次元数の値は、該画像が対応のキーワードを含んでいるか否かを示している。例えば、「１」は、該画像に対応のキーワードが含まれていることを示し、「０」は、該画像に対応のキーワードが含まれていないことを示しているが、その逆でもよい。
【００７９】
文書特徴形成手段２０１３は、前記各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、前記文書特徴空間により、各画像の文書特徴を形成する。例えば、図９における画像名称は、0573384.jpgの画像に関しては、含まれている文書キーワードＩＤは、４、１及び９であるため、該画像の該文書特徴空間における文書特徴は、（０、１、０、０、１、０、０、０、０、１、０）である。ここで、前記文書特徴形成手段２０１３による文書特徴形成方法は、単なる例示的なものである。当業者は、充分、各画像に含まれる文書キーワード数のカウントによる方法等の他の方法を用いて、該画像の該文書特徴空間における文書特徴を形成することができる。
【００８０】
好ましくは、前記文書特徴空間構築手段２０１２は、該集合の文書キーワードデータベースにおける各文書キーワードの出現頻度を計算する計算手段２０１２Ａと、前記文書特徴空間を構築するために、出現頻度が所定範囲内の文書キーワードを選択する文書キーワード選択手段２０１２Ｂを有する。理由として、実施においては、通常、含まれている情報量の少なく、かつ出現頻度の高い、「１つ」、「これ」、「画像」等のような文書キーワードが存在しているため、このようなワードは、情報検索においては、通常「停止ワード（stop  word）」と呼ばれている。このようなキーワードによりシステムの信頼性が損なわれるため、出現頻度が所定値以上のこれらのキーワードは最初に削除されることが好ましい。当業者は、実際の需要に応じて、前記所定値を確定することができるが、当該分野の公知であるため、ここでの詳細な説明は割愛する。
【００８１】
なお、好ましくは、前記代表画像選択手段２０４は、各画像の代表性ポイントに基づき、集合における全画像の代表性ポイントの配列を行う配列手段２０４１と、前記配列の結果に応じて、該集合における全画像の内容を代表する１つまたは複数の画像を選択する選択手段２０４２が含まれている。
【００８２】
当業者は、各種方法により選択した代表性画像をユーザに表示させることを構想することができる。例えば、代表性ポイントの高い画像を所定表示部分に表示してもよく、代表性ポイントを記憶手段に記憶し、例えば、文書キーワードグループの形式で表示するか、代表性ポイント順で印刷するか等の他の方法でユーザに表示させてもよい。
【００８３】
なお、当業者は、各種方法により画像の代表性ポイントを利用することを構想することができる。例えば、代表性ポイントをさらに分析し、代表性ポイントを他のプロセスの一部に用いてもよい。例えば、本発明における文書特徴空間をラベル空間に応用してもよく、本発明を多標記分類の訓練集の収集／修正に用いてもよい。
【００８４】
以下、図４〜図６を参照しながら、本発明の実施例による代表画像検索方法について詳細に説明する。
【００８５】
図４は、本発明の実施例１における代表性画像検索システム１００による代表性画像検索方法のフローチャートである。
【００８６】
図４に示されているように、ステップＳ４０１において、各画像の元データ情報及び／またはユーザ入力によるマーク情報に基づき、複数の画像が含まれる集合における各画像から該画像の文書特徴を抽出する。
【００８７】
ステップＳ４０２において、各画像の前記文書特徴に基づき、該集合の多様性データを取得する。前記多様性データの意味及び多様性データの取得方法については、前述のように図１を参照して詳細に説明されているため、ここでの詳細な説明は割愛する。
【００８８】
ステップＳ４０３において、前記多様性データに基づき、各画像の代表性ポイントを算出する。前記代表性ポイントの意味及び代表性ポイントの算出方法については、前述のように図１を参照して詳細に説明されているため、ここでの詳細な説明は割愛する。
【００８９】
ステップＳ４０４において、前記代表性ポイントに基づき、該集合における全画像の内容を代表する１つまたは複数の画像である、代表画像を選択する。
【００９０】
本発明の実施例における代表画像の検索方法によれば、効率よく画像集合における代表画像を自動検索することができる。
【００９１】
図５は、本発明の実施列２における代表画像検索システム２００による代表画像検索方法のフローチャートである。
【００９２】
図５に示されたフローチャートにおいて、ステップＳ５０１、ステップＳ５０２、ステップＳ５０４の処理は、前記図４によるフローチャートに記載のステップＳ４０１、ステップＳ４０２、ステップＳ４０４の処理と同様であるため、詳細な説明は割愛する。
【００９３】
図５に示されたフローチャートの、図４に示されたフローチャートとの相違点は、ステップＳ５０５において、該集合における各画像から該画像の視覚特徴を抽出し、ステップＳ５０６において、各画像の前記視覚特徴に基づき、該画像の顕著性データを取得することにある。前記顕著性データの意味及び顕著性データの取得方法については、前述のように図２を参照して詳細に説明されているため、ここでの詳細な説明は割愛する。
【００９４】
前記顕著性データと多様性データの取得後には、ステップＳ５０３において、前記顕著性データと多様性データの両方に基づき、各画像の代表性ポイントを算出する。前記算出方法については、前述のように図２を参照して詳細に説明されているため、ここでの詳細な説明は割愛する。
【００９５】
なお、好ましくは、ステップＳ５０４において、各画像の代表性ポイントに基づき、集合における全画像の代表性ポイントの配列を行い、前記配列の結果に応じて、該集合における全画像の内容を代表する１つまたは複数の画像を選択する。
【００９６】
本発明の該実施例による代表画像検索方法によれば、顕著性データと多様性データの両方を総合的に考慮して代表画像を選択しているため、画像集合内容を充分代表可能な代表画像を効率よく検索することができる。
【００９７】
図６は、本発明の実施列による代表画像検索方法における文書特徴抽出ステップをより詳細に示したフローチャートである。
【００９８】
図６に示されたように、ステップＳ５０１１において、該集合における全ての画像の元データ情報、及び／またはユーザ入力によるマーク情報により、該集合の文書キーワードデータベースを構築する。
【００９９】
ステップＳ５０１２において、該集合の文書キーワードデータベースから１つまたは複数の文書キーワードを選択し、選択した文書キーワード数と同じ次元数の文書特徴空間を構築する。
【０１００】
ステップＳ５０１３において、前記各画像の元データ情報、及び／またはユーザ入力によるマーク情報に基づいて、前記文書特徴空間を用いて、各画像の文書特徴を形成する。
【０１０１】
なお、好ましくは、ステップＳ５０１２の処理において、該集合の文書キーワードデータベースにおける各文書キーワードの出現頻度を計算し、その出現頻度が所定範囲内の文書キーワードを選択して前記文書特徴空間を構築することで、本発明の実施例による代表画像の検索方法の信頼性の向上が可能となる。
【０１０２】
前述の一連の処理は、ハードウェアやソフトウェアにより実行することができる。ソフトウェアにより前述の処理を行う場合は、このようなソフトウェアを構成するプログラムをネットワークや記録媒体からインストールすることができる。
【０１０３】
前述の一連の処理は、ここで説明した順序通りの時間序列で実行される処理以外にも、時間序列で実行される処理ではなく、並行や別個に実行される処理も含まれている。例えば、図５におけるステップＳ５０１とＳ５０２の処理は、ステップＳ５０５とＳ５０６の処理と並行に実行されていてもよい。
【０１０４】
以上のように、図面を参照しながら本発明の実施例による代表画像の検索システムと代表画像の検索方法と代表画像の検索プログラムについて説明してきたが、前述の実施例は例示的なもので、本発明がこれに限定されることはない。当業者は、本発明の範囲を逸脱しない範囲で、本発明の実施例に対して充分各種修正や代替を行うことができる。
【産業上の利用可能性】
【０１０５】
本発明は、画像情報の整理、管理、処理等を行う画像情報処理装置全般に利用することができる。
【符号の説明】
【０１０６】
１００、２００    代表画像検索システム
１０１、２０１    文書特徴抽出手段
１０２、２０２    多様性データ取得手段
１０３、２０３    代表性ポイント演算手段
１０４、２０４    代表画像選択手段
２０５    視覚特徴抽出手段
２０６    顕著性データ取得手段
２０１１    文書キーワードデータベース構築手段
２０１２    文書特徴空間構築手段
２０１２Ａ    計算手段
２０１２Ｂ    文書キーワード選択手段
２０１３    文書特徴形成手段
２０４１    配列手段
２０４２    選択手段
【先行技術文献】
【特許文献】
【０１０７】
【特許文献１】米国特許公開第2007/0094251号明細書
【特許文献２】米国特許第5,995,978号明細書
【図１】
0005626042.tif 000016
【図２】
0005626042.tif 000017
【図３】
0005626042.tif 000018
【図４】
0005626042.tif 000019
【図５】
0005626042.tif 000020
【図６】
0005626042.tif 000021
【図９】
0005626042.tif 000022
【図７】
0005626042.tif 000023
【図８】
0005626042.tif 000024