(57)【要約】【課題】人物の情報を検索する際に、同姓同名の異なる人物の文書を分離して利用者が所望する特定人物だけの検索結果を入手する。【解決手段】本発明は、人物名に基づいて検索された文書を文書記憶手段に蓄積しておき、文書記憶手段から文書を読み込んで特徴ベクトルを抽出し、文書ベクトル記憶手段に格納し、文書ベクトル記憶手段から特徴ベクトルを読み込んで、クラスタリングし、類似したベクトルのクラスタ群を生成し、クラスタ記憶手段に格納し、クラスタ記憶手段からクラスタ群に含まれるベクトルに対応する文書を文書記憶手段から取得して文書のクラスタを生成し、記文書のクラスタを出力する。【選択図】図１
2009129373.tif 000002
【特許請求の範囲】
【請求項１】
同姓同名を含む人物についての文書を分類するための同姓同名文書分別装置であって、
人物名に基づいて検索された文書を蓄積する文書記憶手段と、
前記文書記憶手段から前記文書を読み込んで特徴ベクトルを抽出し、文書ベクトル記憶手段に格納する文書ベクトル生成手段と、
前記文書ベクトル記憶手段から前記特徴ベクトルを読み込んで、クラスタリングし、類似したベクトルのクラスタ群を生成し、クラスタ記憶手段に格納する文書ベクトルクラスタリング手段と、
前記クラスタ記憶手段から前記クラスタ群に含まれるベクトルを読み込み、該ベクトルに対応する文書を前記文書記憶手段から取得して文書のクラスタを生成する文書分類手段と、
生成された前記文書のクラスタを出力する分類結果提示手段と、
を有することを特徴とする同姓同名文書分別装置。
【請求項２】
前記文書ベクトル生成手段は、
前記文書を単語に分割する手段と、
前記単語から名詞と年号を抽出し、該単語の出現頻度を求め、該単語と該出現頻度の組を前記特徴ベクトルとする手段を含む
請求項１記載の同姓同名文書分別装置。
【請求項３】
前記文書ベクトルクラスタリング手段は、
前記文書ベクトル記憶手段から各特徴ベクトルの名詞の出現数を求め、名詞の出現度数順のリストを作成する手段と、
前記リストの各名詞が出現する文書数を求める手段と、
前記文書ベクトル記憶手段に保存されている各特徴ベクトルをクラスタリングし、クラスタ群を生成する手段と、
前記クラスタ群に含まれる特徴ベクトル要素の年号が同じクラスタを統合する手段と、
を有する請求項１記載の同姓同名文書分別装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の同姓同名文書別装置を構成する各手段としてコンピュータを機能させる同姓同名文書分別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同姓同名文書分別装置及びプログラムに係り、特に、同姓同名を含む人物についての文書分類を行うための同姓同名文書分別装置及びプログラムに関する。
【背景技術】
【０００２】
従来の同姓同名人物を含む文書の分類では、以下の方法を利用して分類を行っていた。
【０００３】
（１）Ｗｅｂページの中の人物ＩＤ情報（電話番号、メールアドレス、郵便番号）、ページ内容のタームのベクトル類似度を特徴データとし、その比較で分類を行う（例えば、非特許文献１参照）。
【０００４】
（２）Ｗｅｂページ中の人物名に注目して、共起する人物名が類似したものをクラスタリングして分類する（例えば、非特許文献２参照）。
【０００５】
（３）Ｗｅｂページ検索のスニペット中の人物名、組織名、職業表現のウェイトが高いタームベクトルを用い、それらをコサイン類似度でクラスタリングして分類する（例えば、非特許文献３参照）。
【非特許文献１】Reema A1-Kamha:Grouping Search-Engine Returned Citations for Person-Name Queries, In Proc. WIDM'04, pp. 96-103
【非特許文献２】佐藤進也：実世界指向Ｗｅｂマイニングによる同姓同名人物の分離、情報処理学会論文誌データベース、Vol. 46, No.SIG8, pp.26-36
【非特許文献３】木村塁：検索結果スニペットのクラスタリングによる同姓同名人物の特定、第１７回データ工学ワークショップ（DEWS2006）論文集、2C-i22
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の方法には次のような問題点がある。
【０００７】
上記の（１）の方法は、Ｗｅｂページ中に人物ＩＤ情報が含まれない場合には実質的にタームベクトルの類似度に依存する。
【０００８】
また、上記（２）の方法は、Ｗｅｂページ中に他の人物名が現れない場合に適用できない。
【０００９】
また、上記（３）の方法は、タームベクトル中の人物名、組織名、職業表現のウェイトを高くするが、これらが現れない場合に適用できない。
【００１０】
上記のように従来の方法は、クラスタリング精度が低いため、検索対象でない同姓同名の文書が出力されてしまうという問題がある。
【００１１】
本発明は、上記の点に鑑みなされたもので、人物の情報を検索する際に、同姓同名の異なる人物の文書を分離して利用者が所望する特定人物だけの検索結果を入手することが可能な同姓同名文書分別装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
図１は、本発明の原理構成図である。
【００１３】
本発明（請求項１）は、同姓同名を含む人物についての文書を分類するための同姓同名文書分別装置であって、
人物名に基づいて検索された文書を蓄積する文書記憶手段５と、
文書記憶手段５から文書を読み込んで特徴ベクトルを抽出し、文書ベクトル記憶手段７に格納する文書ベクトル生成手段６と、
文書ベクトル記憶手段７から特徴ベクトルを読み込んで、クラスタリングし、類似したベクトルのクラスタ群を生成し、クラスタ記憶手段９に格納する文書ベクトルクラスタリング手段８と、
クラスタ記憶手段９からクラスタ群に含まれるベクトルを読み込み、該ベクトルに対応する文書を文書記憶手段５から取得して文書のクラスタを生成する文書分類手段１０と、
生成された文書のクラスタを出力する分類結果提示手段１１と、を有する。
【００１４】
また、本発明（請求項２）は、文書ベクトル生成手段６において、
文書を単語に分割する手段と、
単語から名詞と年号を抽出し、該単語の出現頻度を求め、該単語と該出現頻度の組を特徴ベクトルとする手段を含む。
【００１５】
また、本発明（請求項３）は、文書ベクトルクラスタリング手段８において、
文書ベクトル記憶手段７から各特徴ベクトルの名詞の出現数を求め、名詞の出現度数順のリストを作成する手段と、
リストの各名詞が出現する文書数を求める手段と、
文書ベクトル記憶手段７に保存されている各特徴ベクトルをクラスタリングし、クラスタ群を生成する手段と、
クラスタ群に含まれる特徴ベクトル要素の年号が同じクラスタを統合する手段と、
を含む。
【００１６】
本発明（請求項４）は、請求項１乃至３のいずれか１項に記載の同姓同名文書別装置を構成する各手段としてコンピュータを機能させる同姓同名文書分別プログラムである。
【発明の効果】
【００１７】
上記のように本発明によれば、年号とそれに付随するイベント（事象）の組を文書ベクトル要素とすることで、人物に対するより細かい特徴情報を反映させてクラスタリング精度を向上させることができる。これにより、人物情報の検索の際に得られる検索対象でない同姓同名者の文書を削減し、提示される文書が少なくなることで、利用者が所望する人物の検索結果の閲覧が容易、かつ短時間で行うことが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、図面と共に本発明の実施の形態を説明する。
【００１９】
本発明は、利用者が入力した人名に関する文書を検索エンジンから取得し、それらを同一人物に関する文書毎にクラスタリングする。そのために各文書から特徴部分（語句）を抽出し、それらの類似した文書を同じクラスタに分類するものである。
【００２０】
図２は、本発明の一実施の形態における文書分類装置の構成を示すブロック図である。
【００２１】
同図に示す文書分類装置は、文書取得部４、文書保存部５、文書ベクトル生成部６、文書ベクトル保存部７、文書ベクトルクラスタリング部８、クラスタ保存部９、文書分類部１０、分類結果提示部１１から構成される。文書取得部４は、検索語入力装置３と文書検索装置２に接続され、検索語入力装置３から入力された人物名に基づいて文書検索装置２が当該装置２に接続される文書記憶装置１から検索された人物名に関する文書を取得する。また、分類結果提示部１１には表示装置１２が接続され、分類結果を表示する。
【００２２】
上記の文書保存部５、文書ベクトル保存部７、クラスタ保存部９は、メモリやハードディスク等の記録媒体である。
【００２３】
上記の構成において、利用者は、検索語入力装置３へ調べたい人物名を入力する。文書取得部４は、文書検索装置２（検索エンジン）からその人物をクエリとした検索結果の文書集合を得て、文書保存部５に保存する。次に、文書ベクトル生成部６は、保存されている各々文書から特徴語ベクトルを抽出する。それらは文書ベクトル保存部７に保存される。
【００２４】
次に、文書ベクトルクラスタリング部８は保存されている文書ベクトルをクラスタリングし、類似したベクトルのクラスタ群を生成し、クラスタ保存部９に保存する。
【００２５】
文書分類部１０は、クラスタ保存部９に保存されているクラスタに含まれるベクトルに対応する文書を文書保存部５より抽出し、文書のクラスタを生成する。最後に、分類結果提示部１１はそれら文書クラスタを分類結果として利用者の表示装置１２に表示する。
【００２６】
次に、上記の文書ベクトル生成部６の処理を説明する。
【００２７】
以下の説明において、「文書ベクトル」は、通常の単語対応の出現頻度を要素とするベクトルと同じである。本発明の場合は、年号を単語として扱い、例外的にその単語の形が、例えば、「１９８８年卒業」のような年号＋動詞原型（出来事）となる。
【００２８】
図３は、本発明の一実施の形態における文書ベクトル生成部の処理を示すフローチャートである。
【００２９】
ステップ１０１）  文書ベクトル生成部６は、文書保存部５から読み出した文書を句点や空白文字などのデリミタによって個別の文に分割する。
【００３０】
ステップ１０２）  分割した各文に対して形態素解析を行う。
【００３１】
ステップ１０３）  形態素解析により取得した単語（名詞）と年号（２〜４桁数字＋"年"）を抽出する。なお、年号の場合は、同一文中に含まれる「生まれる」等の動詞（原型）または、「卒業」等のサ変名詞と年号のペアとして抽出しておく。なお、動詞が複数の場合は最も文末寄りのものを選択する。
【００３２】
ステップ１０４）  各単語についてはその出現頻度も単語と組みにしてメモリ（図示せず）に記録する。これを文書中の全ての文について行う。
【００３３】
ステップ１０５）  メモリ（図示せず）内の抽出した単語とその頻度のペアのＮ個の要素からこの文書の文書ベクトルとし、文書ベクトル保存部７に格納する。
【００３４】
次に、文書ベクトルクラスタリング部８の処理を説明する。
【００３５】
図４は、本発明の一実施の形態における文書ベクトルクラスタリング部の処理を示すフローチャートである。
【００３６】
ステップ２０１）  文書ベクトルクラスタリング部８は、文書ベクトル保存部７に含まれる各文書ベクトル中の名詞の出現数（ＴＦ:Term Frequency）をカウントして、名詞の出現度数順のリストを作成する。
【００３７】
ステップ２０２）  ステップ２０１で作成されたこの名詞のリストに記録される各名詞についてそれが出現する文書数（ＤＦ:Document Frequency）をカウントする。
【００３８】
ステップ２０３）  次に、文書ベクトル保存部７に保存されている各文書ベクトルをクラスタリングする。この際には、最短距離法や群平均法、K-mean法などの既存のどのクラスタリング手法を用いても良い。また、類似尺度にはベクトル要素に対する重み値として、ステップ２０１、ステップ２０２で求めたＴＦ，ＤＦから係数Ｗを用いて、例えば、よく使われる
Ｗ＝ＴＦ×log（文書数／ＤＦ）
等の式を適用することが可能である。
【００３９】
ステップ２０４）  最後に、ステップ２０３で生成されたクラスタ群のうち、その中に含まれる文書ベクトルの要素の年号が同じクラスタは更に統合する。例えば、クラスタＡ中のある文書ベクトル要素に「１９８８年」があり、他のクラスタＢ中のある文書ベクトル要素にも「１９８８年」があれば、クラスタＡとＢとを統合する。ベクトル要素の（年号，イベント）の組みが同じクラスタはこのように統合するが、ここでのイベントとは、文書ベクトルの要素で「年号＋動詞原型」の形の時の動詞の部分である。また、１つのクラスタには複数の文書が存在するが、１つの文書でも年号（あるいは年号＋イベント）が一致すれば統合する。
【００４０】
このようにして最終的なクラスタ群を決定し、クラスタ保存部９に格納する。
【００４１】
上記のように、年号とそれに付随するイベント（事象）の組を文書ベクトル要素とすることで、人物に対するより細かい特徴情報を反映させてクラスタリング精度を向上させることができる。
【００４２】
また、上記の実施の形態における図２に示す同姓同名文書分類装置の構成要素の動作をプログラムとして構築し、同姓同名文書分類として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００４３】
また、構築されたプログラムをハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００４４】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００４５】
本発明は、文書検索技術に適用可能であり、特に、同姓同名を含む人物についての文書を分類する技術に有効である。
【図面の簡単な説明】
【００４６】
【図１】本発明の原理構成図である。
【図２】本発明の一実施の形態における文書分類装置構成を示すブロック図である。
【図３】本発明の一実施の形態における文書ベクトル生成部の処理を示すフローチャートである。
【図４】本発明の一実施の形態における文書ベクトルクラスタリング部の処理を示すフローチャートである。
【符号の説明】
【００４７】
１  文書記憶装置
２  文書検索装置
３  検索語入力装置
４  文書取得部
５  文書記憶手段、文書保存部
６  文書ベクトル生成手段、文書ベクトル生成部
７  文書ベクトル記憶手段、文書ベクトル保存部
８  文書ベクトルクラスタリング手段、文書ベクトルクラスタリング部
９  クラスタ記憶手段、クラスタ保存部
１０  文書分類手段、文書分類部
１１  分類結果提示手段、分類結果提示部
１２  表示装置
【図１】
2009129373.tif 000003
【図２】
2009129373.tif 000004
【図３】
2009129373.tif 000005
【図４】
2009129373.tif 000006