(57)【要約】【課題】文書に付されたメタデータ間の類似度を測定する装置において、閾値の設定が容易となるようにする。【解決手段】メタデータ付文書ＤＢ（データベース）１４から特定のメタデータが付与された文書を検索する文書検索手段１１と、前記文書検索手段１１によって検索された文書群より、メタデータの特徴量として、文書群中の語句とその語句の文書の内容との関連性を表したスコアの対を要素としたベクトルを抽出する特徴量抽出手段１２と、得られた特徴量を保存したメタデータ特徴量ＤＢ（データベース）１５を利用し、対象のメタデータ間の類似度を測定する類似度算出手段１３とを備える。【選択図】図１
2008134941.tif 000002
【特許請求の範囲】
【請求項１】
文書に付与されたメタデータ間の類似度を測定する装置において、
同一のメタデータが付与された文書の検索を行う文書検索手段と、
前記文書検索手段によって検索された文書群より、メタデータの特徴量として、文書群中の語句とその語句の文書の内容との関連性を表したスコアの対を要素としたベクトルを抽出する特徴量抽出手段と、
前記特徴量を用いてメタデータ間の類似度を計算する類似度算出手段と
を有することを特徴とするメタデータ間類似度測定装置。
【請求項２】
前記特徴量抽出手段は、
前記スコアとして、語句の文書群中での文書頻度と、全文書を対象としたその語句の出現頻度に基づくポアソン分布によって推定される文書頻度との差を利用することを特徴とする請求項１に記載のメタデータ間類似度測定装置。
【請求項３】
前記特徴量抽出手段は、
前記スコアとして、語句間における極端なスコアの格差を緩和するため、語句の特徴量に対し、その数値を対数化したものをスコアとして採用することを特徴とする請求項１又は２に記載のメタデータ間類似度測定装置。
【請求項４】
前記特徴量抽出手段は、
前記スコアとして、文書量によるスコアの極端な格差を緩和するため、文書群の文書数を利用し正規化を行ったものをスコアとして採用することを特徴とする請求項１ないし３のいずれか１項に記載のメタデータ間類似度測定装置。
【請求項５】
前記特徴量抽出手段は、
前記文書検索手段によって検索された文書群より、文書集合全体の語句の統計量からポアソン分布により文書内でその語句が一度も出現しない確率を求め、
語句の文書群中での文書頻度とポアソン分布に基づく文書頻度の差を残差ＤＦ値として求め、
前記残差ＤＦ値が所定値以下の語句は重要でない語として除外し、
語句と残差ＤＦ値の対を要素としたベクトルを文書群の特徴量として出力する
ことを特徴とする請求項１ないし４のいずれか１項に記載のメタデータ間類似度測定装置。
【請求項６】
請求項１ないし５のいずれか１項に記載のメタデータ間類似度測定装置に加え、類似するメタデータをクラスタとして統合し、階層化する、結合・階層化手段を有することを特徴とするメタデータ階層化装置。
【請求項７】
文書に付与されたメタデータ間の類似度を測定する方法において、
文書検索手段が、同一のメタデータが付与された文書の検索を行う文書検索ステップと、
特徴量抽出手段が、前記文書検索ステップによって検索された文書群より、メタデータの特徴量として、文書群中の語句とその語句の文書の内容との関連性を表したスコアの対を要素としたベクトルを抽出する特徴量抽出ステップと、
類似度算出手段が、前記特徴量抽出ステップによって抽出された前記特徴量を用いてメタデータ間の類似度を計算する類似度算出ステップと
を有することを特徴とするメタデータ間類似度測定方法。
【請求項８】
前記特徴量抽出ステップは、
前記スコアとして、語句の文書群中での文書頻度と、全文書を対象としたその語句の出現頻度に基づくポアソン分布によって推定される文書頻度との差を利用する
ことを特徴とする請求項７に記載のメタデータ間類似度測定方法。
【請求項９】
前記特徴量抽出ステップは、
前記スコアとして、語句間における極端なスコアの格差を緩和するため、語句の特徴量に対し、その数値を対数化したものをスコアとして採用する、
ことを特徴とする請求項７又は８に記載のメタデータ間類似度測定方法。
【請求項１０】
前記特徴量抽出ステップは、
前記スコアとして、文書量によるスコアの極端な格差を緩和するため、文書群の文書数を利用し正規化を行ったものをスコアとして採用する
ことを特徴とする請求項７ないし９のいずれか１項に記載のメタデータ間類似度測定方法。
【請求項１１】
前記特徴量抽出ステップは、
前記文書検索ステップによって検索された文書群より、文書集合全体の語句の統計量からポアソン分布により文書内でその語句が一度も出現しない確率を求めるステップと、
語句の文書群中での文書頻度とポアソン分布に基づく文書頻度の差を残差ＤＦ値として求めるステップと、
前記残差ＤＦ値が所定値以下の語句は重要でない語として除外するステップと、
語句と残差ＤＦ値の対を要素としたベクトルを文書群の特徴量として出力するステップと
を有することを特徴とする請求項７ないし１０のいずれか１項に記載のメタデータ間類似度測定方法。
【請求項１２】
請求項７ないし１１のいずれか１項に記載のメタデータ間類似度測定方法の各ステップに加え、結合・階層化手段が、類似するメタデータをクラスタとして統合し、階層化する、結合・階層化ステップを有することを特徴とするメタデータ階層化方法。
【請求項１３】
請求項７ないし１１のいずれか１項に記載のメタデータ間類似度測定方法の各ステップをコンピュータに実行させるためのプログラムとしたことを特徴とするメタデータ間類似度測定プログラム。
【請求項１４】
請求項１２に記載のメタデータ階層化方法の各ステップをコンピュータに実行させるためのプログラムとしたことを特徴とするメタデータ階層化プログラム。
【請求項１５】
請求項１３に記載のプログラムを当該コンピュータが読み取りできる記録媒体に記録したことを特徴とするメタデータ間類似度測定プログラムを記録した記録媒体。
【請求項１６】
請求項１４に記載のプログラムを当該コンピュータが読み取りできる記録媒体に記録したことを特徴とするメタデータ階層化プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メタデータが付与された文書において、メタデータ間の類似度を測定する方法および装置と、メタデータを自動的に階層化する方法および装置と、それらのプログラムおよび該プログラムを記録した記録媒体に関するものである。
【０００２】
ここで、本発明でのメタデータとは、主にブログにおけるタグ、カテゴリ、ジャンルなどと呼ばれる、ユーザーが自身の作成した文書を整理するために設定した、文書の内容を端的に表した語句や表現などのことである。
【０００３】
また、本発明での文書群とは、同一のメタデータが付与された複数文書のことであり、具体的には、同一のタグが設定された、複数のユーザーが作成したブログ記事からなる記事集合などである。
【０００４】
本発明における、メタデータと文書群の関係については、文書群の内容を表す代表値がメタデータであるということができる。
【背景技術】
【０００５】
現在、十分に世間に浸透しているブログの多くには、前記のように記事の内容を表すメタデータを付与する機能が存在する。このメタデータの集計を利用した検索サービスもテクノラティ社からタグ検索として公開されている。
【０００６】
しかし、ブログでのメタデータはブロガー自身が自分の記事の整理のために付与するものであるため、同義のタグや表記ゆれが多く存在するという問題点がある。また、上記サービスでは、タグ同士の関連性が考慮されていないため、類似したタグが散在するため、利便性に問題があった。
【０００７】
メタデータ間の類似度は、そのメタデータが付与された文書群間の類似度と捉えることができる。一方で、文書間の類似度を測定する技術については、下記特許文献１に記載のように、話題語抽出方法の一部として、文書内での語句の出現頻度を語句の重みとし、共有する語句の割合に基づいて０から１の範囲で類似度を測定する手法がある。
【０００８】
ただし、上記手法は文書間の類似度を求める手法であり、文書群間の類似度を求める手法ではないため、メタデータ間の類似度を測定するためには直接利用することはできない。
【０００９】
そこで、下記非特許文献１に記載のように、０から１の範囲で算出される文書間の類似度の測定を応用し、文書群を跨いだ文書間の類似度を平均値を用いることで、ブログのメタデータ間の類似度を測定する手法がある。
【００１０】
尚ポアソン分布に基づく推定文書頻度を利用した指標である残差ＩＤＦ（Ｉｎｖｅｒｓｅ  Ｄｏｃｕｍｅｎｔ  Ｆｒｅｑｕｅｎｃｙ）については下記非特許文献２に記載のものが公知であり、また階層的クラスタリング手法については下記非特許文献３に記載のものが公知である。
【特許文献１】特開２００４−２５８７２３号公報
【非特許文献１】Ｃｈｉｒｓｔｏｐｈｅｒ  Ｈ．Ｂｒｏｏｋｓ，Ｎａｎｃｙ  Ｍｏｎｔａｎｅｚ．Ｉｍｐｒｏｖｅｄ  Ａｎｎｏｔａｔｉｏｎ  ｏｆ  ｔｈｅ  Ｂｌｏｇｏｓｐｈｅｒｅ  ｖｉａ  Ａｕｔｏｔａｇｇｉｎｇ  ａｎｄ  Ｈｉｅｒａｒｃｈｉｃａｌ  Ｃｌｕｓｔｅｒｉｎｇ．１５ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ  Ｃｏｎｆｅｒｅｎｃｅ，２００６．５．
【非特許文献２】北研二ら著，「情報検索アルゴリズム」，共立出版，２００２年１月１日初版第１刷発行，ｐｐ．４１−４５
【非特許文献３】神嶌  敏弘，“データマイニング分野のクラスタリング手法（１）−クラスタリングを使ってみよう！−”，人工知能学会誌，ｖｏｌ．１８，ｎｏ．１，ｐｐ．５９−６５（２００３）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
非特許文献１の技術では、記事間の類似度は同じ語が全く使用されていない場合には０となるため、記事単位では同じ語が存在しない場合も多く、平均値によって求められるメタデータ間の類似度も小さな値になる傾向がある。
【００１２】
非特許文献１では、同一のタグが設定されたブログ記事間の平均類似度が０．２〜０．４であることからも、上記傾向が示されている。
【００１３】
したがって、タグ同士が類似しているかどうかを判定する際に、記事間の類似度の平均値をタグ間の類似度とすると、類似度の実測値においては、その値の範囲が狭いため、閾値を少し変更するだけで結果が大きく変わり、閾値の設定が困難であるという課題があった。
【００１４】
本発明の目的は、特定の文書群に偏って出現する語句がその文書群の内容を表す特徴的な語句であるという仮定を基にして得られた特徴量を利用することで、閾値の設定がより容易になるような類似度測定装置、方法を提供すること、およびこの類似度測定装置を利用したメタデータ階層化装置、方法を提供し、関連性の高いメタデータを統合・階層化することによって、利便性の向上を図ることにある。
【課題を解決するための手段】
【００１５】
本発明は、全文書集合が与えられた際の文書群での特徴語のスコアリング法を核として、メタデータが付与された文書集合におけるメタデータの類似度を求める方法、および、その類似度を利用したクラスタリングの手法を対象としている。ここで、メタデータが付与された文書集合としては、主にブログやソーシャルブックマークサービス等を想定している。
【００１６】
これらのサービスでは、ユーザーが自由にメタデータを設定できる反面、同義のメタデータや表記ゆれによってメタデータが氾濫するという事態を招いている。その解決法として、メタデータ間の類似度を測定するという発想は一般的であるが、メタデータが設定された文書群の特徴量を直接求める手法は存在しなかった。
【００１７】
一方で、ＴＦ・ＩＤＦ法等によって、文書群中の各文書の特徴ベクトルを求め、文書群の間での文書の平均コサイン類似度によってメタデータ間の類似度を測定する手法や、文書群中の文書の特徴ベクトルの平均ベクトルによってメタデータの特徴ベクトルを設定する手法が考えられるが、それぞれ計算効率の問題および平均を取ることによって一般的な語の重みが強くなりすぎるという問題がある。
【００１８】
前記特許文献１、非特許文献１も含め、類似度の計算法は基本的には、語句のベクトル空間モデルによるコサイン類似度であるので、語句のスコアリング法をどのように行うのかという問題に帰着する。
【００１９】
文書群を一つの文書として、文書群の特徴ベクトルを求める方法として、最も容易に考えられるものとしては、ＴＦ・ＩＤＦ法を応用する方法である。このＴＦ・ＩＤＦ法は、文書中で複数回用いられる語句は重要であるという仮定と、特定の文書のみで用いられる語は特徴的であるという仮定の２つを基にしている。
【００２０】
ここで、文書群を一つの文書としてみなすことによって、文書一つ（ここでは、文書群に相当する）当たりの語句の種類は多くなる。
【００２１】
したがって、一般語を取り除くためのＩＤＦ法の効果が鈍るため、文書群を一つの文書として捉えた場合の特徴量には、一般的な語もそのＴＦ値の大きさから大きな値を持ち、類似度算出に大きな影響を与えることが懸念される。
【００２２】
一方で、本発明ではある文書群に偏って出現する語句こそが重要な語句であるという仮定に基づいた、語句の重み付け手法を利用していることにより、一般的な語が特徴量となりにくいため精度の向上が期待できる。
【００２３】
つまり、本発明はあらかじめ文書群が決まっており、全文書の特徴量も算出できている状況、例えば、ブログのタグ付き記事を収拾済みの場合に最適化された手法であるということができる。
【００２４】
上記課題を解決するための請求項１に記載のメタデータ間類似度測定装置は、文書に付与されたメタデータ間の類似度を測定する装置において、同一のメタデータが付与された文書の検索を行う文書検索手段と、前記文書検索手段によって検索された文書群より、メタデータの特徴量として、文書群中の語句とその語句の文書の内容との関連性を表したスコアの対を要素としたベクトルを抽出する特徴量抽出手段と、前記特徴量を用いてメタデータ間の類似度を計算する類似度算出手段とを有することを特徴としている。
【００２５】
また請求項２に記載のメタデータ間類似度測定装置は、請求項１において、前記特徴量抽出手段は、前記スコアとして、語句の文書群中での文書頻度と、全文書を対象としたその語句の出現頻度に基づくポアソン分布によって推定される文書頻度との差を利用することを特徴としている。
【００２６】
また請求項５に記載のメタデータ間類似度測定装置は、請求項１ないし４のいずれか一項において、前記特徴量抽出手段は、前記文書検索手段によって検索された文書群より、文書集合全体の語句の統計量からポアソン分布により文書内でその語句が一度も出現しない確率を求め、語句の文書群中での文書頻度とポアソン分布に基づく文書頻度の差を残差ＤＦ値として求め、前記残差ＤＦ値が所定値以下の語句は重要でない語として除外し、語句と残差ＤＦ値の対を要素としたベクトルを文書群の特徴量として出力することを特徴としている。
【００２７】
また請求項７に記載のメタデータ間類似度測定方法は、文書に付与されたメタデータ間の類似度を測定する方法において、文書検索手段が、同一のメタデータが付与された文書の検索を行う文書検索ステップと、特徴量抽出手段が、前記文書検索ステップによって検索された文書群より、メタデータの特徴量として、文書群中の語句とその語句の文書の内容との関連性を表したスコアの対を要素としたベクトルを抽出する特徴量抽出ステップと、類似度算出手段が、前記特徴量抽出ステップによって抽出された前記特徴量を用いてメタデータ間の類似度を計算する類似度算出ステップとを有することを特徴としている。
【００２８】
また請求項８に記載のメタデータ間類似度測定方法は、請求項７において、前記特徴量抽出ステップは、前記スコアとして、語句の文書群中での文書頻度と、全文書を対象としたその語句の出現頻度に基づくポアソン分布によって推定される文書頻度との差を利用することを特徴としている。
【００２９】
また請求項１１に記載のメタデータ間類似度測定方法は、請求項７ないし１０のいずれか１項において、前記特徴量抽出ステップは、前記文書検索ステップによって検索された文書群より、文書集合全体の語句の統計量からポアソン分布により文書内でその語句が一度も出現しない確率を求めるステップと、語句の文書群中での文書頻度とポアソン分布に基づく文書頻度の差を残差ＤＦ値として求めるステップと、前記残差ＤＦ値が所定値以下の語句は重要でない語として除外するステップと、語句と残差ＤＦ値の対を要素としたベクトルを文書群の特徴量として出力するステップとを有することを特徴としている。
【００３０】
上記構成によれば、メタデータが設定された文書群の特徴量を統計的に直接求めているので、高精度に類似度を求めることができ、また、メタデータ間の類似度が小さな値になってしまうことはなく、類似度の格差を広げることができるため、閾値の設定が容易となる。
【００３１】
また請求項３に記載のメタデータ間類似度測定装置は、請求項１又は２において、前記特徴量抽出手段は、前記スコアとして、語句間における極端なスコアの格差を緩和するため、語句の特徴量に対し、その数値を対数化したものをスコアとして採用する、ことを特徴としている。
【００３２】
また請求項４に記載のメタデータ間類似度測定装置葉、請求項１ないし３のいずれか１項において、前記特徴量抽出手段は、前記スコアとして、文書量によるスコアの極端な格差を緩和するため、文書群の文書数を利用し正規化を行ったものをスコアとして採用することを特徴としている。
【００３３】
また請求項９に記載のメタデータ間類似度測定方法は、請求項７又は８において、前記特徴量抽出ステップは、前記スコアとして、語句間における極端なスコアの格差を緩和するため、語句の特徴量に対し、その数値を対数化したものをスコアとして採用する、ことを特徴としている。
また請求項１０に記載のメタデータ間類似度測定方法は、請求項７ないし９のいずれか１項において、前記特徴量抽出ステップは、前記スコアとして、文書量によるスコアの極端な格差を緩和するため、文書群の文書数を利用し正規化を行ったものをスコアとして採用することを特徴としている。
【００３４】
上記構成によれば、文書数が大きくなってもスコアの格差が極端に大きくなることはなく、信頼性が向上する。
【００３５】
また請求項６に記載のメタデータ階層化装置は、請求項１ないし５のいずれか１項に記載のメタデータ間類似度測定装置に加え、類似するメタデータをクラスタとして統合し、階層化する、結合・階層化手段を有することを特徴としている。
【００３６】
また請求項１２に記載のメタデータ階層化方法は、請求項７ないし１１のいずれか１項に記載のメタデータ間類似度測定方法の各ステップに加え、結合・階層化手段が、類似するメタデータをクラスタとして統合し、階層化する、結合・階層化ステップを有することを特徴としている。
【００３７】
上記構成によれば、関連性の高いメタデータを結合・階層化することができ、利便性が向上する。
【００３８】
また請求項１３に記載のメタデータ間類似度測定プログラムは、請求項７ないし１１のいずれか１項に記載のメタデータ間類似度測定方法の各ステップをコンピュータに実行させるためのプログラムとしたことを特徴としている。
【００３９】
また請求項１４に記載のメタデータ階層化プログラムは、請求項１２に記載のメタデータ階層化方法の各ステップをコンピュータに実行させるためのプログラムとしたことを特徴としている。
【００４０】
また請求項１５に記載のメタデータ間類似度測定プログラムを記録した記録媒体は、請求項１３に記載のプログラムを当該コンピュータが読み取りできる記録媒体に記録したことを特徴としている。
【００４１】
また請求項１６に記載のメタデータ階層化プログラムを記録した記録媒体は、請求項１４に記載のプログラムを当該コンピュータが読み取りできる記録媒体に記録したことを特徴としている。
【発明の効果】
【００４２】
（１）請求項１〜１６に記載の発明によれば、メタデータが設定された文書群の特徴量を統計的に直接求めているので、高精度に類似度を求めることができ、また、メタデータ間の類似度が小さな値になってしまうことはなく、類似度の格差を広げることができるため、閾値の設定が容易となる。
【００４３】
また、本発明により得られた類似度を用いることによって、例えばブログのタグを用いた検索システムであれば、より高精度に類似したタグをユーザーに提供することができる。
【００４４】
さらに、類似したブログのタグをまとめることで、結果的に類似した概念を持った従来よりも大きなブログ記事群が得られることで、例えば、「旅行」という概念に関する記事群の中で最も注目されている地域はどこであるのかを調べるといった、マーケティングに応用することができる。
（２）請求項３，４，９，１０に記載の発明によれば、文書数が大きくなってもスコアの格差が極端に大きくなることはなく、信頼性が向上する。
（３）請求項６，１２に記載の発明によれば、関連性の高いメタデータを結合・階層化することができ、利便性が向上する。
【発明を実施するための最良の形態】
【００４５】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。まず、メタデータ間類似度測定装置および方法について説明する。
【００４６】
図１は本発明の実施形態の一例であるメタデータ間類似度測定装置の構成を示す図である。本実施形態例のメタデータ間類似度測定装置１０は、所定のプログラムに基づいて動作する一般的なコンピュータ装置からなり、メタデータ付文書ＤＢ（データベース）１４から特定のメタデータが付与された文書を検索する文書検索手段１１と、メタデータの特徴量を抽出する特徴量抽出手段１２と、得られた特徴量を保存したメタデータ特徴量ＤＢ（データベース）１５を利用し、対象のメタデータ間の類似度を測定する類似度算出手段１３とから構成されている。
【００４７】
全体としての処理の流れは、図２に示されるように、まず類似度を測定するメタデータが付与された文書を検索し文書群を得る（ステップＳ１１）。次に、得られた文書群中の語句の統計量およびメタデータ付文書ＤＢ１４中に含まれる全文書から得られる語句の統計量を用いて、メタデータの特徴量を抽出する（ステップＳ１２）。さらに、得られたメタデータの特徴量間で類似度を計算し、その値を類似度として出力する（ステップＳ１３）。
【００４８】
以下、前記図２に示された処理の手順を基に、各手段の詳細な説明を示す。文書検索手段１１は、従来から用いられている一般的な検索システムと同様に、メタデータが付与された文書集合から、指定したメタデータと同一のメタデータが付与された文書を検索し、その結果をリストとして次手段への出力とする。
【００４９】
ここで、検索結果として次手段に渡す文書数は、計算量を削減するため数千〜数万程度にまで絞っても良い。
【００５０】
メタデータ付文書ＤＢ１４は、図３に示すように、文書ＩＤ、メタデータ、本文を、文書ごとに関連付けを行った形でデータとして保持している。ここで、文書ＩＤは文書ごとにユニークに与えられる識別子である。メタデータは本文の内容を端的に表している語句である。本文は、文書のテキストそのものである。また、図３における、ＵＲＬのように、付加的な情報を加えて関連付けを行いデータを保持することもできる。
【００５１】
特徴量抽出手段１２は、文書検索手段１１によって得られた特定のメタデータが付与された文書群中の各語句の統計量と文書集合全体における各語句の統計量を利用して、メタデータの特徴量を抽出する。ここで、特徴量は語句と、その語句が文書群中の内容を表しているかどうかを示す残差ＤＦ（Ｄｏｃｕｍｅｎｔ  Ｆｒｅｑｕｅｎｃｙ）値の対を要素としたベクトルで表現される。
【００５２】
残差ＤＦ値は、語句の文書群中での文書頻度と、ポアソン分布によって推定されたその文書群中での文書頻度との差によって表される。例えば、検索結果の文書群の総数をｎ、文書群中の語句ｉの文書頻度をｄｆi、全文書数をＮ、全文書中での語句ｉの大域的頻度をＦiとすると、残差ＤＦ値は以下の式（１）によって求められる。
【００５３】
【数１】
2008134941.tif 000003
【００５４】
一例として、「サッカー」というカテゴリが付与されたブログエントリ群中の「Ｊリーグ」という語句の残差ＤＦ値は、収集したブログエントリ数を４０００００、「サッカー」というカテゴリが付与されたブログエントリ数を１０００、このエントリ群中での「Ｊリーグ」の文書頻度を３００、収集したブログエントリ全体での「Ｊリーグ」の大域的頻度を７００とすると、残差ＤＦは３００−１０００（１−ｅｘｐ（−７００／４０００００））＝２９８．２５．．．のようになる。
【００５５】
特徴量抽出手段１２の処理の流れの一例を図４に示す。図４において、まず前記文書検索手段１１より文書群を入力として受け取る（ステップＳ１２１）。次に文書検索手段１１によって検索された文書群より、文書集合全体の語句の統計量からポアソン分布により文書内でその語句が一度も出現しない確率Ｐ＝ｅ-Fi/Nを求める（ステップＳ１２２）。
【００５６】
次に語句の文書群中での文書頻度とポアソン分布に基づく文書頻度ｎ（１−Ｐ）の差を残差ＤＦ値として求める（ステップＳ１２３）。次に前記残差ＤＦ値が例えば１．０以下の語句は重要でない語として除外する（ステップＳ１２４）。次に語句と残差ＤＦ値の対を要素としたベクトルを文書群の特徴量として出力する（ステップＳ１２５）。
【００５７】
ポアソン分布に基づく推定文書頻度を利用した指標としては、残差ＩＤＦ（Ｉｎｖｅｒｓｅ  Ｄｏｃｕｍｅｎｔ  Ｆｒｅｑｕｅｎｃｙ）がある（非特許文献２参照）。従来、残差ＩＤＦは大域的頻度の大きな語は結果的にＤＦ値も大きくなり、ＩＤＦ値が小さくなるため、語の重み付け法であるＴＦ（Ｔｅｒｍ  Ｆｒｅｑｕｅｎｃｙ）・ＩＤＦ法がうまく機能しないといった問題を解決するために用いられてきた。重要な語は同一の文書内で複数回繰り返されて使われるため、ポアソン分布によって推定されるＤＦ値よりも実際のＤＦ値が小さくなるという仮定に基づいている。
【００５８】
一方で、同一のメタデータが付与された文書群は内容的にも、用いられている語句的にも似ている可能性が高い。本実施形態例の特徴量抽出手段１２における残差ＤＦ値は、同一のメタデータが付与された文書群内では、内容を表すような語句はその文書群中の文書に偏って出現している可能性が高いため、そのＤＦ値はポアソン分布によって推定されるＤＦ値よりも大きな値をとるという仮定に基づいている点で異なっている。
【００５９】
つまり、前記残差ＩＤＦ値は文書集合全体の中で特徴的な語を調べるための手法であり、本実施形態例の特徴量抽出手段１２における残差ＤＦ値は特定の文書群の中で特徴的な語を調べるための手法である。以上のように、特徴的な語を調べる対象が異なっている。
【００６０】
また、残差ＤＦ値は直感的には文書の頻度として捉えることができるので、数値の意味を理解しやすいというメリットがある。残差ＤＦ値は同一のメタデータが付与された文書数が大きくなるにつれて、値の格差が非常に大きくなるという特徴を持つ。したがって、その格差を小さくするために残差ＤＦ値を対数化する、もしくは、文書数で正規化を行った値を特徴量として採用するといった方法も考えられる。ここで、正規化の一例としては、単純に残差ＤＦ値を文書数で割るといった方法がある。
【００６１】
メタデータ特徴量ＤＢ１５は、図５に示すように、メタデータ、語句、スコアを、メタデータごとに関連付けを行った形でデータとして保持している。ここで、メタデータは識別子である。語句はそのメタデータが付与された文書群中で用いられた語句である。また、スコアは前記特徴量抽出手段１２によって算出される。
【００６２】
類似度算出手段１３は、特徴量抽出手段１２によって得られたメタデータの特徴量を利用して、メタデータ間の類似度を計算するための手段である。ここで、メタデータの特徴量は、語句と残差ＤＦ値をはじめとしたスコアの対を要素としたベクトルであるので、メタデータ間の類似度はベクトル同士のコサインによって求められる。例えば、Ｃi、Ｃjをメタデータの特徴ベクトルとすると、類似度は以下の式（２）となる。
【００６３】
【数２】
2008134941.tif 000004
【００６４】
次に、メタデータ階層化装置および方法について説明する。図６は本発明の実施形態の一例であるメタデータ階層化装置の構成を示す図である。本実施形態例のメタデータ階層化装置２０は、所定のプログラムに基づいて動作する一般的なコンピュータ装置からなり、例えば前記図１のメタデータ間類似度測定装置１０から成るメタデータ間類似度測定装置２１と、得られた類似度を保存するメタデータ類似度ＤＢ（データベース）２３を利用し、類似度の大きい順にメタデータを結合することで階層化を行う結合・階層化手段２２とから構成されている。
【００６５】
全体としての処理の流れは、図７に示されるように、まず、メタデータ付文書を利用して、メタデータ間類似度測定装置２１により、メタデータ間の類似度を計算する（ステップＳ２１）。次に、階層的クラスタリング手法を用いてメタデータの結合および階層化を行う（ステップＳ２２）。
【００６６】
以下、前記図７に示された処理の手順を基に、各手段の詳細な説明を示す。メタデータ類似度ＤＢ２３は、図８に示すように、メタデータ１、メタデータ２、類似度を関連付けを行った形でデータとして保持している。ここで、メタデータ１、２は、類似度算出の対象となった２つのメタデータである。類似度は、前記類似度測定装置２１によって算出された、類似度である。
【００６７】
また、メタデータ類似度ＤＢ２３を利用してメタデータ間の類似度をグラフによって可視化したものの一例が図９である。これは、ブログ１ヶ月のデータを基に、カテゴリ「グルメ」と、設定人数上位２００カテゴリとの類似度を、ｘ軸左方が設定人数最上位となるように、可視化したグラフである。ここでは、類似度０．６以上のタグの名前のみを表示しているが、確かに直感的にも内容に関連性があると考えられるものの類似度が高くなっている。
【００６８】
図１０、図１１は、前記図９と同様に、カテゴリ「日常」、「映画」と設定人数上位２００カテゴリとの類似度を可視化したグラフである。
【００６９】
これら図９〜図１１の結果から、表記ゆれや類義語により同一の概念を指すと考えられるカテゴリ間の類似度は特に高いことが分かる。また、あいまいな概念を持った「日常」のようなカテゴリは「映画」や「グルメ」と比較して、類似度のピークが低いことが分かる。
【００７０】
このように本実施形態例によれば、関連性の高いカテゴリと関連性の低いカテゴリの差が顕著に現れるため、良好な類似度を得ることができる。
【００７１】
結合・階層化手段２２は、前記得られた類似度を基にして、類似度の大きな順にメタデータ同士を一つの集合に結合していくことによって、同義のメタデータを一つにまとめ、さらに、メタデータに階層を与えるための手段である。具体的には、階層的クラスタリングと呼ばれる手法を用いる（非特許文献３参照）。階層的クラスタリング手法では、クラスタ間の距離の定義の仕方によって違いが存在し、最短距離法や最長距離法、群平均法などがあるが、本手段においてはどの手法を用いてもよい。
【００７２】
一例として、ブログのカテゴリに対して、前記類似度測定装置２１によって得られた類似度を用いて、最短距離法によってクラスタリングを行った結果の一部を図１２に示す。図１２は「食べ物」に関連するカテゴリのクラスタの成長を表す図であり、次々と結合が行われることで、階層が形成されていることが分かる。
【００７３】
クラスタリングの終了条件の設定法としては、クラスタ数があらかじめ設定した閾値に達した場合に終了するという方法や、あらかじめ設定された類似度を閾値として利用する方法、および両閾値を組み合わせる方法などがある。
【００７４】
上記で示した実施例の外にも様々な実施の形態が考えられる。例えば、階層化の際に既存の分類体系の上位の一部を利用し、その末端に類似度の大きなメタデータを結合することで、階層化の問題をより簡単にするといった方法も考えられる。
【００７５】
また、前述したメタデータ間類似度測定方法及びメタデータ階層化方法コンピュータに実行させるためのプログラムを構築するものである。
【００７６】
また前記プログラムを記録した記録媒体を、システム、又は装置に供給し、そのシステム又は装置のＣＰＵ（ＭＰＵ）が記録媒体に格納されたプログラムを読み出し実行することも可能である。この場合記録媒体から読み出されたプログラム自体が上記実施形態の機能を実現することになり、このプログラムを記録した記録媒体としては、例えば、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＭＯ及びＨＤＤ等がある。
【図面の簡単な説明】
【００７７】
【図１】本発明の一実施形態例のメタデータ間類似度測定装置の構成図。
【図２】本発明の一実施形態例のメタデータ間類似度測定装置の処理の流れを示すフローチャート。
【図３】本発明の一実施形態例で用いられるメタデータ付文書ＤＢの一例を示す説明図。
【図４】本発明の一実施形態例の特徴量抽出手段の処理の流れを示すフローチャート。
【図５】本発明の一実施形態例で用いられるメタデータ特徴量ＤＢの一例を示す説明図。
【図６】本発明の他の実施形態例のメタデータ階層化装置の構成図。
【図７】本発明の他の実施形態例のメタデータ階層化装置の処理の流れを示すフローチャート。
【図８】本発明の他の実施形態例で用いられるメタデータ類似度ＤＢの一例を示す説明図。
【図９】本発明の実施形態例によるカテゴリ「グルメ」に関する類似度を示すグラフ。
【図１０】本発明の実施形態例によるカテゴリ「日常」に関する類似度を示すグラフ。
【図１１】本発明の実施形態例によるカテゴリ「映画」に関する類似度を示すグラフ。
【図１２】本発明の他の実施形態例によるクラスタリング結果の一例を示す説明図。
【符号の説明】
【００７８】
１０，２１…メタデータ間類似度測定装置、１１…文書検索手段、１２…特徴量抽出手段、１３…類似度算出手段、１４…メタデータ付文書ＤＢ、１５…メタデータ特徴量ＤＢ、２０…メタデータ階層化装置、２２…結合・階層化手段、２３…メタデータ類似度ＤＢ。
【図１】
2008134941.tif 000005
【図２】
2008134941.tif 000006
【図３】
2008134941.tif 000007
【図４】
2008134941.tif 000008
【図５】
2008134941.tif 000009
【図６】
2008134941.tif 000010
【図７】
2008134941.tif 000011
【図８】
2008134941.tif 000012
【図９】
2008134941.tif 000013
【図１０】
2008134941.tif 000014
【図１１】
2008134941.tif 000015
【図１２】
2008134941.tif 000016