(57)【要約】【課題】複数の信号特徴量を用いる類似検索信号システムにおいて、個々の信号特徴量間の距離から総合的な類似度（距離）を求めるにあたって、個々の信号特徴量の特性を適切に反映した正規化を行うことにより検索精度の向上を実現する。【解決手段】個別特徴量ごとに算出された距離を距離分布状況計算部１２により統計処理した上で正規化のためのパラメータである距離分布指標１０５を算出し、個々の特徴量の統計特性に応じた正規化処理を個別特徴量間距離正規化部１３で実行する。【選択図】　　　図１
2004013306.tif 000002
【特許請求の範囲】
【請求項１】
問い合わせ信号となる映像または音声信号と、データベースにあらかじめ登録された複数の映像または音声信号間の距離を算出する類似度計算装置において、
前記問い合わせ信号から複数の信号特徴量を算出する問い合わせ信号特徴量抽出部と、
前記抽出した信号特徴量とデータベースに登録された個々の映像または音声信号の複数の映像特徴量からそれぞれの信号特徴量間の距離を計算する個別信号特徴量間距離算出部と、
前記個別信号特徴量間距離算出部が出力する問い合わせ信号と個々のデータベース登録信号間の個別特徴量間距離群を信号特徴量種別毎に統計処理し、信号特徴量毎の距離分布状況を示す統計量を出力する特徴量間距離分布状況計算部と、
前記個別信号特徴量間距離算出部が算出した個別信号特徴量間距離を前記距離分布状況を示す統計量を用いて正規化する個別信号特徴量間距離正規化部と、
正規化された個別信号特徴量間距離から総合的な信号間類似度を求める信号間類似度算出部からなることを特徴とする類似度計算装置。
【請求項２】
類似度計算装置において、
前記信号特徴毎の距離分布状況を示す統計量が個別信号特徴量間距離の最小値と最大値からなることを特徴とする請求項１記載の類似度計算装置。
【請求項３】
類似度計算装置において、
前記個別信号特徴量間距離正規化部が、個別特徴量間距離を前記最大値と前記最小値の差分値で除算することにより正規化を実施することを特徴とする請求項２記載の類似度計算装置。
【請求項４】
類似度計算装置において、
前記信号特徴毎の距離分布状況を示す統計量が個別信号特徴量間距離の平均値と分散値からなることを特徴とする請求項１記載の類似度計算装置。
【請求項５】
類似度計算装置において、
前記個別信号特徴量間距離正規化部が、個別特徴量間距離から前記平均値を減算した上で減算結果を前記分散値で除算することにより正規化を実施することを特徴とする請求項４記載の類似度計算装置。
【請求項６】
２つの映像または音声信号間の類似度を複数の信号特徴量と複数の信号特徴量それぞれに対応する正規化指標を用いて計算する類似度計算装置において、
第一の映像または音声信号の個々の信号特徴量を対応する正規化指標を用いて正規化する第一の信号特徴量正規化部と、
第二の映像または音声信号の個々の信号特徴量を対応する正規化指標を用いて正規化する第二の信号特徴量正規化部と、
第一の映像または音声信号の個々の正規化された信号特徴量と、第二の映像または音声信号の対応する正規化された信号特徴量との間でそれぞれ距離計算を行う個別信号特徴量間距離算出部と、
前記個別信号特徴量間距離から総合的な信号間類似度を求める信号間類似度算出部からなることを特徴とする類似度計算装置。
【請求項７】
類似度計算装置において、
入力である正規化指標が信号特徴量の最小値及び最大値であることを特徴とする請求項６記載の類似度計算装置。
【請求項８】
類似度計算装置において、
個別信号特徴量正規化部は、個別信号特徴量を前記最大値と前記最小値の差分値で除算することにより正規化を実施することを特徴とする請求項７記載の類似度計算装置。
【請求項９】
類似度計算装置において、
入力である正規化指標が信号特徴量の分散値及び平均値であることを特徴とする請求項６記載の類似度計算装置。
【請求項１０】
類似度計算装置において、
個別信号特徴量正規化部は、個別信号特徴量から前記平均値を減算した上で減算結果を分散値で除算することにより正規化を実施することを特徴とする請求項９記載の類似度計算装置。
【請求項１１】
２つの映像または音声信号間の類似度を複数の信号特徴量と複数の信号特徴量それぞれに対応する正規化指標を用いて計算する類似度計算装置において、
第一の映像または音声信号の個々の信号特徴量と、第二の映像または音声信号の対応する信号特徴量との間でそれぞれ距離計算を行う個別信号特徴量間距離算出部と、
算出された前記信号特徴量間距離それぞれを対応する正規化指標を用いて正規化し正規化された個別信号特徴量間距離を計算する個別信号特徴量間距離正規化部と、
前記正規化された個別信号特徴量間距離から総合的な信号間類似度を求める信号間類似度算出部からなることを特徴とする類似度計算装置。
【請求項１２】
類似度計算装置において、
入力である正規化指標が信号特徴量の最小値及び最大値であることを特徴とする請求項１１記載の類似度計算装置。
【請求項１３】
類似度計算装置において、
個別信号特徴量間距離正規化部は、個別信号特徴量間距離を前記最大値と前記最小値の差分値で除算することにより正規化を実施することを特徴とする請求項１２記載の類似度計算装置。
【請求項１４】
類似度計算装置において、
入力である正規化指標が信号特徴量の平均値及び分散値であることにより正規化を実施することを特徴とする請求項１１記載の類似度計算装置。
【請求項１５】
類似度計算装置において、
個別信号特徴量間距離正規化部は、個別信号特徴量間距離から前記平均値を減算した上で減算結果を分散値で除算することにより正規化を実施することを特徴とする請求項１４記載の類似度計算装置。
【請求項１６】
映像または音声信号の複数の信号特徴量を格納する映像または音声データベースのインデックスデータ生成装置において、
入力される映像または音声信号から複数の信号特徴量を抽出する信号特徴量抽出部に加えて、
抽出された特徴量と登録済みの特徴量から、個々の特徴量それぞれについてその統計量を算出する特徴量分布状況算出部と、
前記統計量を映像または音声データベースに出力する特徴量分布状況記録部からなることを特徴とするインデックスデータ生成装置。
【請求項１７】
インデックスデータ生成装置において、
統計量としてそれぞれの特徴量の平均値および分散値を用いることを特徴とするインデックスデータ生成装置。
【請求項１８】
インデックスデータ生成装置において、
統計量としてそれぞれの特徴量の最大値および最小値を用いることを特徴とする請求項１６記載のインデックスデータ生成装置。
【請求項１９】
映像または音声信号の複数の信号特徴量を格納する映像または音声データベース装置において、
登録されているここの映像信号から抽出した複数の信号特徴量統計量に加えて、それぞれの特徴量の統計的性質をあらわす指標をも格納することを特徴とする映像または音声データベース装置。
【請求項２０】
映像または音声データベース装置において、
特徴量の統計的性質をあらわす指標としてそれぞれの特徴量の平均値及び分散値を用いることを特徴とする請求項１９記載の映像または音声データベース装置。
【請求項２１】
映像または音声データベース装置において、
特徴量の統計的性質をあらわす指標としてそれぞれの特徴量の最小値および最大値を用いることを特徴とする請求項１９記載の映像または音声データベース装置。
【請求項２２】
問い合わせ信号となる映像または音声信号と、データベースにあらかじめ登録された複数の映像または音声信号間の距離を算出する類似度計算方法において、
前記問い合わせ信号から複数の信号特徴量を算出する問い合わせ信号特徴量抽出過程と、
前記抽出した信号特徴量とデータベースに登録された個々の映像または音声信号の複数の映像特徴量からそれぞれの信号特徴量間の距離を計算する個別信号特徴量間距離算出過程と、
前記個別信号特徴量間距離算出部が出力する問い合わせ信号と個々のデータベース登録信号間の個別特徴量間距離群を信号特徴量種別毎に統計処理し、信号特徴量毎の距離分布状況を示す統計量を出力する特徴量間距離分布状況計算過程と、前記個別信号特徴量間距離算出仮定で算出した個別信号特徴量間距離を前記距離分布状況を示す統計量を用いて正規化する個別信号特徴量間距離正規化過程と、正規化された個別信号特徴量間距離から総合的な信号間類似度を求める信号間類似度算出過程からなることを特徴とする類似度計算方法。
【請求項２３】
類似度計算方法において、
前記信号特徴毎の距離分布状況を示す統計量が個別信号特徴量間距離の最小値と最大値からなることを特徴とする請求項２２記載の類似度計算方法。
【請求項２４】
類似度計算方法において、
前記個別信号特徴量間距離正規化過程が、個別特徴量間距離を前記最大値と前記最小値の差分値で除算することにより正規化を実施することを特徴とする請求項２３記載の類似度計算方法。
【請求項２５】
類似度計算方法において、
前記信号特徴毎の距離分布状況を示す統計量が個別信号特徴量間距離の平均値と分散値からなることを特徴とする請求項２２記載の類似度計算方法。
【請求項２６】
類似度計算方法において、
前記個別信号特徴量間距離正規化過程が、個別特徴量間距離から前記平均値を減算した上で減算結果を前記分散値で除算することにより正規化を実施することを特徴とする請求項２５記載の類似度計算方法。
【請求項２７】
２つの映像または音声信号間の類似度を複数の信号特徴量と複数の信号特徴量それぞれに対応する正規化指標を用いて計算する類似度計算方法において、
第一の映像または音声信号の個々の信号特徴量を対応する正規化指標を用いて正規化する第一の信号特徴量正規化過程と、
第二の映像または音声信号の個々の信号特徴量を対応する正規化指標を用いて正規化する第二の信号特徴量正規化過程と、
第一の映像または音声信号の個々の正規化された信号特徴量と、第二の映像または音声信号の対応する正規化された信号特徴量との間でそれぞれ距離計算を行う個別信号特徴量間距離算出過程と、
前記個別信号特徴量間距離から総合的な信号間類似度を求める信号間類似度算出過程からなることを特徴とする類似度計算方法。
【請求項２８】
類似度計算方法において、
入力である正規化指標が信号特徴量の最小値及び最大値であることを特徴とする請求項２７記載の類似度計算方法。
【請求項２９】
類似度計算方法において、
個別信号特徴量正規化過程は、個別信号特徴量を前記最大値と前記最小値の差分値で除算することにより正規化を実施することを特徴とする請求項２８記載の類似度計算方法。
【請求項３０】
類似度計算方法において、
入力である正規化指標が信号特徴量の分散値及び平均値であることを特徴とする請求項２７記載の類似度計算方法。
【請求項３１】
類似度計算方法において、
個別信号特徴量正規化過程は、個別信号特徴量から前記平均値を減算した上で減算結果を分散値で除算することにより正規化を実施することを特徴とする請求項３０記載の類似度計算方法。
【請求項３２】
２つの映像または音声信号間の類似度を複数の信号特徴量と複数の信号特徴量それぞれに対応する正規化指標を用いて計算する類似度計算方法において、
第一の映像または音声信号の個々の信号特徴量と、第二の映像または音声信号の対応する信号特徴量との間でそれぞれ距離計算を行う個別信号特徴量間距離算出過程と、
算出された前記信号特徴量間距離それぞれを対応する正規化指標を用いて正規化し正規化された個別信号特徴量間距離を計算する個別信号特徴量間距離正規化過程と、
前記正規化された個別信号特徴量間距離から総合的な信号間類似度を求める信号間類似度算出過程からなることを特徴とする類似度計算方法。
【請求項３３】
類似度計算方法において、
入力である正規化指標が信号特徴量の最小値及び最大値であることを特徴とする請求項３２記載の類似度計算方法。
【請求項３４】
類似度計算方法において、
個別信号特徴量間距離正規化過程は、個別信号特徴量間距離を前記最大値と前記最小値の差分値で除算することにより正規化を実施することを特徴とする請求項３３記載の類似度計算方法。
【請求項３５】
類似度計算方法において、
入力である正規化指標が信号特徴量の平均値及び分散値であることを特徴とする請求項３２記載の類似度計算方法。
【請求項３６】
類似度計算方法において、
個別信号特徴量間距離正規化過程は、個別信号特徴量間距離から前記平均値を減算した上で減算結果を分散値で除算することにより正規化を実施することを特徴とする請求項３５記載の類似度計算方法。
【請求項３７】
映像または音声信号の複数の信号特徴量を格納する映像または音声データベースのインデックスデータ生成方法において、
入力される映像または音声信号から複数の信号特徴量を抽出する信号特徴量抽出過程に加えて、
抽出された特徴量と登録済みの特徴量から、個々の特徴量それぞれについてその統計量を算出する特徴量分布状況算出過程と、
前記統計量を映像または音声データベースに出力する特徴量分布状況記録過程からなることを特徴とするインデックスデータ生成方法。
【請求項３８】
インデックスデータ生成方法において、
統計量としてそれぞれの特徴量の平均値および分散値を用いることを特徴とする請求項３７記載のインデックスデータ生成方法。
【請求項３９】
インデックスデータ生成装置において、
統計量としてそれぞれの特徴量の最大値および最小値を用いることを特徴とする請求項３８記載のインデックスデータ生成方法。
【請求項４０】
映像または音声信号の複数の信号特徴量を格納する映像または音声信号の内容表現データ記憶装置において、
登録されているここの映像信号から抽出した複数の信号特徴量統計量に加えて、それぞれの特徴量の統計的性質をあらわす指標もが含まれることを特徴とする映像または音声内容表現データ記憶装置。
【請求項４１】
内容表現データ記憶装置において、
特徴量の統計的性質をあらわす指標としてそれぞれの特徴量の平均値及び分散値を用いることを特徴とする請求項４０記載の内容表現データ記憶装置。
【請求項４２】
内容表現データ記憶装置において、
特徴量の統計的性質をあらわす指標としてそれぞれの特徴量の最小値および最大値を用いることを特徴とする請求項４０記載の内容表現データ記憶装置。
【請求項４３】
請求項２２から請求項３９までに記載の類似度計算方法または信号特徴量インデックス作成方法を格納したことを特徴とする記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、類似度計算装置、インデックスデータ生成装置、映像または音声データベース装置、類似度計算方法、インデックスデータ生成方法、内容表現データ記憶装置、および、記録媒体に関し、特に、映像・音声類似検索のための類似度計算装置、インデックスデータ生成装置、映像または音声データベース装置、類似度計算方法、インデックスデータ生成方法、内容表現データ記憶装置、および、記録媒体に関する。
【０００２】
【従来の技術】
映像または音声信号の特徴をインデックス信号としてデータベースに格納し、インデックス信号間の距離を測ることによって映像または音声信号間の類似度をもとめ、これにより類似映像・音声検索を実装する方式が広く使われている。インデックス信号として利用可能な信号特徴量には様々なものがあり、それらを複数利用することによって類似判定精度を高めることができる。複数の信号特徴量を用いる手法として例えば、特開２０００−２８５１４１、特開２０００−１６３５７６、特開２０００−０４８１８１、特開平１１−０３９３２５、特開平０９−２０４４４０、特開平０９−１０１９７０があげられる。なお以下では類似度の代わりに一般に広く使われる距離測定（どのくらい似ていないかを示す）によって代用する。例えば距離の逆数をとることによって類似度を求めることが可能である。
【０００３】
特開２０００−２８５１４１では、複数の利用可能な信号特徴の種別を利用者に提示して、それらの中から利用者が選択したものを用いる。距離判定においては、選択した信号特徴量それぞれの信号特徴量間距離を合計することによって総合的な類似度を算出する。算出に際しては、それぞれの個別信号特徴量の重要性が異なることから、ユーザによって重みづけという概念を導入することを許容している。
【０００４】
特開２０００−１６３５７６は、これとは少し異なる概念の元に設計されており、映像信号を領域分割した上で、個々の領域ごとに特徴量を計算し、それらを領域面積により重み付け加算することによって全体的な距離を計算している。この例では、特開２０００−２８５１４１でユーザに一任した重要度判定を領域の面積により自動計算することが特徴となっている。特開平１１−０３９３２５は、重み付けに学習効果を導入するもので学習過程を通してユーザが好ましいと望むように重み付けを設定している。特開平０９−２０４４４０も同様の考え方に基づくもので事前学習を行う代わりに検索結果を表示したもののうちどれをユーザが選択したかを追跡し、ユーザが重要視していると考えられる特徴量に対して重みをつける。とく開閉０９−１０１９７０もまったく同様の構図の上で設計されており、重みを次第に重くすることによって、過度の重み付けを防いでおり、学習をリアルタイムに実施することと等価である。
【０００５】
特開２０００−０４８１８１も自動的な重み付けを工夫する手法で、問い合わせ画像の彩度及びテクスチャ強度に比例して重み付け値を設定している。
【０００６】
【発明が解決しようとする課題】
これらの手法は複数の特徴量を併用する場合の相互関係を重み付けという概念で規定する手法であるが、本来特徴量はそれぞれ独立に設計されており、ある特徴量は０−１００、別の特徴量は０−５といったレンジで変化する。上記の例ではこれらは全て重み付けという概念で吸収しているが、特開２０００−０４８１８１が指摘している通り、本来ダイナミックレンジの異なる特徴量を正規化した上でユーザ嗜好を反映する重み係数を導入することが望ましい。なぜならば特定の嗜好を持たない一般的な状況下においては、正規化された特徴量の合計が総合的な特徴量を示すからである。特開２０００−０４８１８１は正規化した上で重み付け導入をうたっているが、この発明では重みつけ設計の方法に主眼がおかれ正規化の手法は外部で定義されることを前提としている。正規化の手法として容易に類推できる方法はそれぞれの特徴量が持つ理論的なダイナミックレンジにより除算して、特徴量を０−１の範囲内で変化するように帰着させる手法である。一般論としてこの手法はあらゆる場面で適用可能であるが、実際にこれを適用した場合に十分な性能が得られないという問題がある。
【０００７】
これは理論上のダイナミックレンジと一般的な映像音声信号から発生する信号特徴量の値域が必ずしも一致しないためで０−１内に分布させたつもりが特徴量によっては０．５〜０．８等の狭い範囲内での分布となっている可能性があるためである。
【０００８】
複数の特徴量を用いる類似検索システムにおいて、適切な正規化手法を提供することにある。
【０００９】
映像音声信号のデータベースは本来何らかの目的を持ってコンテンツ登録がなされている。類似検索の目的はこの登録されたコンテンツを効率的に整理する手段を与えることである。そこで本発明では、データベース登録された信号　がなるべく距離空間内で均等分布して分類が容易になるように、登録された信号の特徴量分布から実効的なダイナミックレンジを測定してその値を正規化に用いることを特徴とする。また、本発明は、正規化を実施する手法としては特徴量空間で行う手法と距離空間で行う手法の２種類を提供し、アプリケーションが要求する装置規模、計算リソース、精度に応じてこれらの使い分けを可能にすることを特徴とする。
【００１０】
【課題を解決するための手段】
本発明の第１の類似度計算装置は、問い合わせ信号となる映像または音声信号と、データベースにあらかじめ登録された複数の映像または音声信号間の距離を算出する類似度計算装置において、前記問い合わせ信号から複数の信号特徴量を算出する問い合わせ信号特徴量抽出部と、前記抽出した信号特徴量とデータベースに登録された個々の映像または音声信号の複数の映像特徴量からそれぞれの信号特徴量間の距離を計算する個別信号特徴量間距離算出部と、前記個別信号特徴量間距離算出部が出力する問い合わせ信号と個々のデータベース登録信号間の個別特徴量間距離群を信号特徴量種別毎に統計処理し、信号特徴量毎の距離分布状況を示す統計量を出力する特徴量間距離分布状況計算部と、前記個別信号特徴量間距離算出部が算出した個別信号特徴量間距離を前記距離分布状況を示す統計量を用いて正規化する個別信号特徴量間距離正規化部と、正規化された個別信号特徴量間距離から総合的な信号間類似度を求める信号間類似度算出部からなることを特徴とする。
【００１１】
本発明の第２の類似度計算装置は、前記第１の類似度計算装置であって、類似度計算装置において、前記信号特徴毎の距離分布状況を示す統計量が個別信号特徴量間距離の最小値と最大値からなることを特徴とする。
【００１２】
本発明の第３の類似度計算装置は、前記第２の類似度計算装置であって、類似度計算装置において、前記個別信号特徴量間距離正規化部が、個別特徴量間距離を前記最大値と前記最小値の差分値で除算することにより正規化を実施することを特徴とする。
【００１３】
本発明の第４の類似度計算装置は、前記第１の類似度計算装置であって、類似度計算装置において、前記信号特徴毎の距離分布状況を示す統計量が個別信号特徴量間距離の平均値と分散値からなることを特徴とする。
【００１４】
本発明の第５の類似度計算装置は、前記第４の類似度計算装置であって、類似度計算装置において、前記個別信号特徴量間距離正規化部が、個別特徴量間距離から前記平均値を減算した上で減算結果を前記分散値で除算することにより正規化を実施することを特徴とする。
【００１５】
本発明の第６の類似度計算装置は、２つの映像または音声信号間の類似度を複数の信号特徴量と複数の信号特徴量それぞれに対応する正規化指標を用いて計算する類似度計算装置において、第一の映像または音声信号の個々の信号特徴量を対応する正規化指標を用いて正規化する第一の信号特徴量正規化部と、第二の映像または音声信号の個々の信号特徴量を対応する正規化指標を用いて正規化する第二の信号特徴量正規化部と、第一の映像または音声信号の個々の正規化された信号特徴量と、第二の映像または音声信号の対応する正規化された信号特徴量との間でそれぞれ距離計算を行う個別信号特徴量間距離算出部と、前記個別信号特徴量間距離から総合的な信号間類似度を求める信号間類似度算出部からなることを特徴とする。
【００１６】
本発明の第７の類似度計算装置は、前記第６の類似度計算装置であって、類似度計算装置において、入力である正規化指標が信号特徴量の最小値及び最大値であることを特徴とする。
【００１７】
本発明の第８の類似度計算装置は、前記第７の類似度計算装置であって、類似度計算装置において、個別信号特徴量正規化部は、個別信号特徴量を前記最大値と前記最小値の差分値で除算することにより正規化を実施することを特徴とする。
【００１８】
本発明の第９の類似度計算装置は、前記第６の類似度計算装置であって、類似度計算装置において、入力である正規化指標が信号特徴量の分散値及び平均値であることを特徴とする。
【００１９】
本発明の第１０の類似度計算装置は、前記第９の類似度計算装置であって、類似度計算装置において、個別信号特徴量正規化部は、個別信号特徴量から前記平均値を減算した上で減算結果を分散値で除算することにより正規化を実施することを特徴とする。
【００２０】
本発明の第１１の類似度計算装置は、２つの映像または音声信号間の類似度を複数の信号特徴量と複数の信号特徴量それぞれに対応する正規化指標を用いて計算する類似度計算装置において、第一の映像または音声信号の個々の信号特徴量と、第二の映像または音声信号の対応する信号特徴量との間でそれぞれ距離計算を行う個別信号特徴量間距離算出部と、算出された前記信号特徴量間距離それぞれを対応する正規化指標を用いて正規化し正規化された個別信号特徴量間距離を計算する個別信号特徴量間距離正規化部と、前記正規化された個別信号特徴量間距離から総合的な信号間類似度を求める信号間類似度算出部からなることを特徴とする。
【００２１】
本発明の第１２の類似度計算装置は、前記第１１の類似度計算装置であって、類似度計算装置において、入力である正規化指標が信号特徴量の最小値及び最大値であることを特徴とする。
【００２２】
本発明の第１３の類似度計算装置は、前記第１２の類似度計算装置であって、類似度計算装置において、個別信号特徴量間距離正規化部は、個別信号特徴量間距離を前記最大値と前記最小値の差分値で除算することにより正規化を実施することを特徴とする。
【００２３】
本発明の第１４の類似度計算装置は、前記第１１の類似度計算装置であって、類似度計算装置において、入力である正規化指標が信号特徴量の平均値及び分散値であることにより正規化を実施することを特徴とする。
【００２４】
本発明の第１５の類似度計算装置は、前記第１４の類似度計算装置であって、類似度計算装置において、個別信号特徴量間距離正規化部は、個別信号特徴量間距離から前記平均値を減算した上で減算結果を分散値で除算することにより正規化を実施することを特徴とする。
【００２５】
本発明の第１のインデックスデータ生成装置は、映像または音声信号の複数の信号特徴量を格納する映像または音声データベースのインデックスデータ生成装置において、入力される映像または音声信号から複数の信号特徴量を抽出する信号特徴量抽出部に加えて、抽出された特徴量と登録済みの特徴量から、個々の特徴量それぞれについてその統計量を算出する特徴量分布状況算出部と、前記統計量を映像または音声データベースに出力する特徴量分布状況記録部からなることを特徴とする。
【００２６】
本発明の第２のインデックスデータ生成装置は、インデックスデータ生成装置において、統計量としてそれぞれの特徴量の平均値および分散値を用いることを特徴とする。
【００２７】
本発明の第３のインデックスデータ生成装置は、前記第１のインデックスデータ生成装置であって、インデックスデータ生成装置において、統計量としてそれぞれの特徴量の最大値および最小値を用いることを特徴とする。
【００２８】
本発明の第１の映像または音声データベース装置は、映像または音声信号の複数の信号特徴量を格納する映像または音声データベース装置において、登録されているここの映像信号から抽出した複数の信号特徴量統計量に加えて、それぞれの特徴量の統計的性質をあらわす指標をも格納することを特徴とする。
【００２９】
本発明の第２の映像または音声データベース装置は、前記第１の映像または音声データベース装置であって、映像または音声データベース装置において、特徴量の統計的性質をあらわす指標としてそれぞれの特徴量の平均値及び分散値を用いることを特徴とする。
【００３０】
本発明の第３の映像または音声データベース装置は、前記第１の映像または音声データベース装置であって、映像または音声データベース装置において、特徴量の統計的性質をあらわす指標としてそれぞれの特徴量の最小値および最大値を用いることを特徴とする。
【００３１】
本発明の第１の類似度計算方法は、問い合わせ信号となる映像または音声信号と、データベースにあらかじめ登録された複数の映像または音声信号間の距離を算出する類似度計算方法において、前記問い合わせ信号から複数の信号特徴量を算出する問い合わせ信号特徴量抽出過程と、前記抽出した信号特徴量とデータベースに登録された個々の映像または音声信号の複数の映像特徴量からそれぞれの信号特徴量間の距離を計算する個別信号特徴量間距離算出過程と、前記個別信号特徴量間距離算出部が出力する問い合わせ信号と個々のデータベース登録信号間の個別特徴量間距離群を信号特徴量種別毎に統計処理し、信号特徴量毎の距離分布状況を示す統計量を出力する特徴量間距離分布状況計算過程と、前記個別信号特徴量間距離算出仮定で算出した個別信号特徴量間距離を前記距離分布状況を示す統計量を用いて正規化する個別信号特徴量間距離正規化過程と、正規化された個別信号特徴量間距離から総合的な信号間類似度を求める信号間類似度算出過程からなることを特徴とする。
【００３２】
本発明の第２の類似度計算方法は、前記第１の類似度計算方法であって、類似度計算方法において、前記信号特徴毎の距離分布状況を示す統計量が個別信号特徴量間距離の最小値と最大値からなることを特徴とする。
【００３３】
本発明の第３の類似度計算方法は、前記第２の類似度計算方法であって、類似度計算方法において、前記個別信号特徴量間距離正規化過程が、個別特徴量間距離を前記最大値と前記最小値の差分値で除算することにより正規化を実施することを特徴とする。
【００３４】
本発明の第４の類似度計算方法は、前記第１の類似度計算方法であって、類似度計算方法において、前記信号特徴毎の距離分布状況を示す統計量が個別信号特徴量間距離の平均値と分散値からなることを特徴とする。
【００３５】
本発明の第５の類似度計算方法は、前記第４の類似度計算方法であって、類似度計算方法において、前記個別信号特徴量間距離正規化過程が、個別特徴量間距離から前記平均値を減算した上で減算結果を前記分散値で除算することにより正規化を実施することを特徴とする。
【００３６】
本発明の第６の類似度計算方法は、２つの映像または音声信号間の類似度を複数の信号特徴量と複数の信号特徴量それぞれに対応する正規化指標を用いて計算する類似度計算方法において、第一の映像または音声信号の個々の信号特徴量を対応する正規化指標を用いて正規化する第一の信号特徴量正規化過程と、第二の映像または音声信号の個々の信号特徴量を対応する正規化指標を用いて正規化する第二の信号特徴量正規化過程と、第一の映像または音声信号の個々の正規化された信号特徴量と、第二の映像または音声信号の対応する正規化された信号特徴量との間でそれぞれ距離計算を行う個別信号特徴量間距離算出過程と、前記個別信号特徴量間距離から総合的な信号間類似度を求める信号間類似度算出過程からなることを特徴とする。
【００３７】
本発明の第７の類似度計算方法は、前記第６の類似度計算方法であって、類似度計算方法において、入力である正規化指標が信号特徴量の最小値及び最大値であることを特徴とする。
【００３８】
本発明の第８の類似度計算方法は、前記第７の類似度計算方法であって、類似度計算方法において、個別信号特徴量正規化過程は、個別信号特徴量を前記最大値と前記最小値の差分値で除算することにより正規化を実施することを特徴とする。
【００３９】
本発明の第９の類似度計算方法は、前記第６の類似度計算方法であって、類似度計算方法において、入力である正規化指標が信号特徴量の分散値及び平均値であることを特徴とする。
【００４０】
本発明の第１０の類似度計算方法は、前記第９の類似度計算方法であって、類似度計算方法において、個別信号特徴量正規化過程は、個別信号特徴量から前記平均値を減算した上で減算結果を分散値で除算することにより正規化を実施することを特徴とする。
【００４１】
本発明の第１１の類似度計算方法は、２つの映像または音声信号間の類似度を複数の信号特徴量と複数の信号特徴量それぞれに対応する正規化指標を用いて計算する類似度計算方法において、第一の映像または音声信号の個々の信号特徴量と、第二の映像または音声信号の対応する信号特徴量との間でそれぞれ距離計算を行う個別信号特徴量間距離算出過程と、算出された前記信号特徴量間距離それぞれを対応する正規化指標を用いて正規化し正規化された個別信号特徴量間距離を計算する個別信号特徴量間距離正規化過程と、前記正規化された個別信号特徴量間距離から総合的な信号間類似度を求める信号間類似度算出過程からなることを特徴とする。
【００４２】
本発明の第１２の類似度計算方法は、前記第１１の類似度計算方法であって、類似度計算方法において、入力である正規化指標が信号特徴量の最小値及び最大値であることを特徴とする。
【００４３】
本発明の第１３の類似度計算方法は、前記第１２の類似度計算方法であって、類似度計算方法において、個別信号特徴量間距離正規化過程は、個別信号特徴量間距離を前記最大値と前記最小値の差分値で除算することにより正規化を実施することを特徴とする。
【００４４】
本発明の第１４の類似度計算方法は、前記第１１の類似度計算方法であって、類似度計算方法において、入力である正規化指標が信号特徴量の平均値及び分散値であることを特徴とする。
【００４５】
本発明の第１５の類似度計算方法は、前記第１４の類似度計算方法であって、類似度計算方法において、個別信号特徴量間距離正規化過程は、個別信号特徴量間距離から前記平均値を減算した上で減算結果を分散値で除算することにより正規化を実施することを特徴とする。
【００４６】
本発明の第１のインデックスデータ生成方法は、映像または音声信号の複数の信号特徴量を格納する映像または音声データベースのインデックスデータ生成方法において、入力される映像または音声信号から複数の信号特徴量を抽出する信号特徴量抽出過程に加えて、抽出された特徴量と登録済みの特徴量から、個々の特徴量それぞれについてその統計量を算出する特徴量分布状況算出過程と、前記統計量を映像または音声データベースに出力する特徴量分布状況記録過程からなることを特徴とする。
【００４７】
本発明の第２のインデックスデータ生成方法は、前記第１のインデックスデータ生成方法であって、インデックスデータ生成方法において、統計量としてそれぞれの特徴量の平均値および分散値を用いることを特徴とする。
【００４８】
本発明の第３のインデックスデータ生成方法は、前記第１のインデックスデータ生成方法であって、統計量としてそれぞれの特徴量の最大値および最小値を用いることを特徴とする。
【００４９】
本発明の第１の映像または音声内容表現データ記憶装置は、映像または音声信号の複数の信号特徴量を格納する映像または音声信号の内容表現データ記憶装置において、登録されているここの映像信号から抽出した複数の信号特徴量統計量に加えて、それぞれの特徴量の統計的性質をあらわす指標もが含まれることを特徴とする。
【００５０】
本発明の第２の映像または音声内容表現データ記憶装置は、前記第１の映像または音声内容表現データ記憶装置であって、特徴量の統計的性質をあらわす指標としてそれぞれの特徴量の平均値及び分散値を用いることを特徴とする。
【００５１】
本発明の第３の映像または音声内容表現データ記憶装置は、前記第１の映像または音声内容表現データ記憶装置であって、
特徴量の統計的性質をあらわす指標としてそれぞれの特徴量の最小値および最大値を用いることを特徴とする。
【００５２】
本発明の記録媒体は、前記請求項類似度計算方法または前記信号特徴量インデックス作成方法を格納したことを特徴とする。
【００５３】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。図１は距離空間で特徴量の正規化を行う手法の一実施例である。
この実施例は問い合わせ信号１０１とデータベースに登録された信号の特徴量である登録信号特徴量１０３から登録信号と問い合わせ信号の間の信号類似度１０７（距離）を出力するもので、信号特徴量抽出部１０、個別特徴量間距離算出部１１、距離分布状況計算部１２、個別特徴量間距離正規化部１３、信号類似度算出部１４からなる。
信号特徴量抽出部１０は、問い合わせ信号１０１から複数種類の問い合わせ信号特徴量１０２を抽出する。以下、抽出されたＮ種類の特徴量を｛Ｆｉ：（ｉ＝１，２，・・・，Ｎ）｝とする。個々の特徴量としては、たとえばアイ・エス・オー、アイ・イー・シー１５９３８マルチメディア・コンテンツ・ディスクリプション・インタフェイス（ＩＳＯ／ＩＥＣ　１５９３８　Ｍｕｌｔｉｍｅｄｉａ　Ｃｏｎｔｅｎｔ　Ｄｅｓｃｒｉｐｔｉｏｎ　Ｉｎｔｅｒｆａｃｅ）に記載の信号特徴量を利用することができる。個々の信号特徴量がベクトル量である場合には、スカラ量であるその構成要素それぞれを「個々の信号特徴量」として独立に扱ってもよい。データベースにはＭ個の登録信号それぞれに対する特徴量である登録信号特徴量１０３｛Ｇ（ｊ）ｉ：（ｉ＝１，２，・・・，Ｎ）（ｊ＝１，２，・・・，Ｍ）｝が登録されており、個別特徴量間距離算出部１１は、抽出された問い合わせ信号特徴量１０２と、登録信号特徴量１０３の間で、それぞれの特徴量の種類ごとに距離計算を行う。この結果得られる個別特徴量間距離１０４を｛ｄ（問い合わせ信号、第ｊ登録信号）ｉ：（ｉ＝１，２，・・・，Ｎ）（ｊ＝１，２，・・・，Ｍ）｝と表記する。個別特徴間距離１０４は、距離分布状況計算部１２と個別特徴量間距離正規化部１３に送られる。距離分布状況計算部１２は、個別特徴間距離１０４から個別特徴間距離１０４の統計的性質を示す距離分布指標１０５を生成するもので、距離分布指標１０５としては、例えば最小値、最大値、分散値、平均値など任意の統計的性質を示す指標を利用可能である。
【００５４】
個別特徴量間距離正規化部１３は、個別特徴量間距離１０４と距離分布指標１０５から正規化された個別特徴量間距離１０６を求める。例えば個別特徴量間距離１０４において個々の特徴量種別毎の距離分布がガウス分布をしている場合には、平均値と分散値を用いて（ｄ（問い合わせ信号、第ｊ登録信号）ｉ−第ｉ特徴量間距離の平均値）／第ｉ特徴量間距離の分散値により正規化を実現できる。同様に例えば個別特徴量間距離１０４において個々の特徴量種別毎の距離分布が一様分布をしているならば、最小値と最大値を用いて、ｄ（問い合わせ信号、第ｊ登録信号）ｉ／（第ｉ特徴量間距離の最大値−第ｉ特徴量間距離の最小値）により正規化を実現できる。
【００５５】
正規化処理結果である正規化された個別特徴量間距離１０６を総合し、信号類似度算出部１４で問い合わせ信号と登録済み信号間の信号類似度１０７｛Ｄ（問い合わせ信号、第ｊ登録信号）ｉ：（ｊ＝１，２，・・・，Ｍ）｝を生成する。正規化された個別特徴量間距離１０６から信号類似度１０７を求めるには、個々の距離の絶対値和や二乗和等様々な手法を利用することができる。
【００５６】
この発明は従来手法と比較して恣意的に設定した重み付け値を実施する代わりに距離分布状況計算部１２が生成する距離分布指標１０５を用いて個別特徴間距離正規化部１３で正規化を行うことが特徴であるが、信号類似度算出部１４の手前に従来手法で使われている重み付け回路を追加して挿入しても問題なく、既存の任意の手法と組み合わせ可能である。
【００５７】
図２は特徴量空間で特徴量の正規化を行う手法の一実施例である。
この実施例は問い合わせ信号１０１とデータベースに登録された信号の特徴量である登録信号特徴量１０３、および個々の特徴量の正規化方法を規定する特徴量正規化指標１０８から登録信号と問い合わせ信号の間の信号類似度１０７（距離）を出力するもので、信号特徴量抽出部１０、問い合わせ個別特徴量正規化部１５、登録個別特徴量正規化部１６、個別特徴量間距離算出部１１、信号類似度算出部１４からなる。
【００５８】
信号特徴量抽出部１０は、問い合わせ信号１０１から複数種類の問い合わせ信号特徴量１０２を抽出する。データベースには第一の実施例で示した登録信号特徴量１０３の他に、個々の特徴量をどのように正規化すべきかを示す特徴量正規化指標１０８｛Ｌｉ：（ｉ＝１，２，・・・，Ｎ）｝が登録されている。問い合わせ信号特徴量１０２は問い合わせ個別特徴量正規化部１５で、登録信号特徴量１０３は登録個別特徴量正規化部１６で、それぞれ正規化され、正規化された問い合わせ信号特徴量１０９と正規化された登録信号特徴量１１０が生成される。特徴量正規化指標１０８は、登録済みの信号特徴量の統計的特徴を示すもので、例えば個々の特徴量種別における最小値、最大値、分散値、平均値など任意の統計的性質を示す指標を利用可能である。正規化処理を実施する問い合わせ個別特徴量正規化部１５または登録個別特徴量正規化部１６における正規化の手法として、例えば登録信号特徴量１０３がガウス分布をしている場合には、平均値と分散値を用いて、（第ｉ特徴量−第ｉ特徴量の平均値）／第ｉ特徴量の分散値により、正規化を実現できる。
【００５９】
同様に例えば個々の特徴量が一様分布をしているならば、最小値と最大値を用いて、第ｉ特徴量／（第ｉ特徴量の最大値−第ｉ特徴量の最小値）により正規化を実現できる。
【００６０】
個々の特徴量は既に正規化されているため、個々の特徴量種別ごとに単純距離計算を個別特徴量距離算出部１１で計算し、その結果である個別特徴量間距離１１１を信号類似度算出部１４でスカラー量とすることによって総合的な類似度が計算できる。個別特徴量間距離１１１から総合的な信号間距離（類似度に反比例）を求めるには、個々の距離の絶対値和や二乗和等様々な手法を利用することができる。
【００６１】
なお本実施例では個別特徴量間距離算出部１１において、個別特徴量間距離１１１を算出する前に、問い合わせ個別特徴量正規化部１５および登録個別特徴量正規化部１６にて正規化を実施しているが、正規化処理の線形性から自明なように、問い合わせ信号特徴量１０２と登録信号特徴量１０３を直接個別特徴量間距離算出部１１に入力した後に、個別特徴量間距離算出部１１の出力を特徴量正規化指標１０８で個々の要素毎に正規化しても同様の効果が得られる。
【００６２】
図３は特徴量空間で正規化を実施する場合に必要となる正規化指標をも併せ持ったデータベースを構築するための、インデックスデータ生成システムの一実施例である。
【００６３】
この実施例は登録信号特徴量１０３をすでに保持するデータベースに新規登録信号１１２から取り出したインデックス信号を追加し、あわせてデータベースに記録される特徴量正規化指標１０８を出力するシステムで、信号特徴量抽出部１０と特徴量分布状況計算部１７から構成される。
【００６４】
新規登録信号１１２は信号特徴量抽出部１０に入力され新規登録信号特徴量１１３が生成される。生成された新規登録信号特徴量１１３はデータベースに登録するためにシステムから出力されると共に、特徴量分布状況計算部１７にも同時に入力される。特徴量分布状況計算部１７はデータベースに登録されている信号の特徴量である登録信号特徴量１０３をすべて読み込み、新規登録信号特徴量１１３とあわせて統計処理をして特徴量正規化指標１０８を生成する。前述のように特徴量正規化指標１０８は登録済みの信号特徴量の統計的特徴を示すもので、例えば均一分布する特徴量種別における最小値、最大値やガウス分布する特徴量種別における分散値、平均値など任意の統計的性質を示す指標を利用可能である。データベースは登録信号特徴量１０３のほかに特徴量正規化指標１０８をも保持しているが、新規に信号登録をする際には本実施例を用いて保持している特徴量正規化指標１０８を毎回更新する。
【００６５】
【発明の効果】
以上説明したように、本発明においては、次のような効果を奏する。
【００６６】
第一の効果は、複数の信号特徴量を併用する検索システムで異なる値域を持つ特徴量間の適切な相対評価ができることにある。
【００６７】
正規化は一般的な状況下ではなく、データベースに最適化された状態でなされるので、データベースに登録されている信号をより適切に整理することが可能になる。
第二の効果は、距離空間ではなく特徴量空間での正規化を実行することで、距離計算毎に正規化パラメータ計算処理を繰り返す処理を省略することができ、システムの規模が小規模にできることにある。
【図面の簡単な説明】
【図１】本発明の実施の形態の距離空間で適応的正規化を実施する構成のブロック図である。
【図２】本発明の実施の形態の特徴量空間で適応的正規化処理を行う構成のブロック図である。
【図３】本発明の実施の形態のインデックスデータ生成システムのブロック図である。
【符号の説明】
１０　　信号特徴量抽出部
１１　　個別特徴量間距離算出部
１２　　距離分布状況計算部
１３　　個別特徴量間距離正規化部
１４　　信号類似度算出部
１５　　問い合わせ個別特徴量正規化部
１６　　登録個別特徴量正規化部
１７　　特徴量分布状況計算部
１０１　　問い合わせ信号
１０２　　問い合わせ信号特徴量
１０３　　登録信号特徴量
１０４　　個別特徴量間距離
１０５　　距離分布指標
１０６　　正規化された個別特徴量間距離
１０７　　信号類似度
１０８　　特徴量正規化指標
１０９　　正規化された問い合わせ信号特徴量
１１０　　正規化された登録信号特徴量
１１１　　個別特徴量間距離
１１２　　新規登録信号
１１３　　新規登録信号特徴量
【図１】
2004013306.tif 000003
【図２】
2004013306.tif 000004
【図３】
2004013306.tif 000005