(57)【要約】【課題】ハイパーテキストから、特定のクラスの語彙の同義語を自動的に獲得する。【解決手段】本発明は、キーワードと該キーワードの上位概念語が入力されると、それらを含み関連性が高い文書を取得し、文書中でキーワードがアンカーテキスト中に含まれるリンクのリンク先の文書を特定し、文書に対するリンクであり、キーワードを含むアンカーテキストを有するリンクを特定し、特定された特定の文書へのリンクに含まれる参照文字列を抽出し、キーワードと、同じクラスのキーワードをアンカーテキストとするリンクによって、参照されている文書集合へのリンクのアンカーテキストを解析し、該アンカーテキスト中に含まれる部分文字列の出現頻度を算出し、その出現頻度を用いて、アンカーテキストを解析し、該アンカーテキストの中で一般的な部分文字列を除去する。【選択図】図１
2007164635.tif 000002
【特許請求の範囲】
【請求項１】
ＨＴＭＬやＸＭＬを含む電子テキストを解析し、固有名詞の別名や略称を含む同義語彙を獲得する同義語彙獲得方法であって、
キーワード検索手段が、キーワードと該キーワードの上位概念語が入力されると、該上位概念語とそれぞれのキーワードを含み関連性が高い文書を取得するキーワード検索ステップと、
文書特定手段が、前記キーワード検索ステップで取得した文書中で、前記キーワードがアンカーテキスト中に含まれるリンクのリンク先の文書を特定する文書特定ステップと、
リンク検索手段が、前記キーワード検索取得ステップで取得した前記文書に対するリンクであり、前記キーワードをアンカーテキストに含むリンクを特定するリンク検索ステップと、
アンカーテキスト特定手段が、前記リンク検索ステップで特定された文書へのリンクに含まれる参照文字列を抽出するアンカーテキスト特定ステップと、
クラス別アンカーテキスト文字列統計解析手段が、前記キーワードと同じクラスのキーワードをアンカーテキストとするリンクによって、参照されている文書集合へのリンクのアンカーテキストを解析し、該アンカーテキスト中に含まれる部分文字列の出現頻度を算出し、アンカーテキスト解析結果として記憶手段に格納するクラス別アンカーテキスト文字列統計解析ステップと、
アンカー文字列クリーニング手段が、前記記憶手段に格納された前記部分文字列の出現頻度に基づいて、前記アンカーテキストを解析し、該アンカーテキストの中で一般的な部分文字列を除去するアンカー文字列クリーニングステップと、
を行うことを特徴とする同義語彙獲得方法。
【請求項２】
前記キーワード検索ステップにおいて、
入力された前記キーワードと前記上位概念語に基づき、該上位概念語が表す概念を含む、つまり、該上位概念語そのものに限らず、該上位概念語の同義語や同様の意味を表現する語彙の集合が含まれている文書で、かつ、キーワードを含み関連性が高い文書を取得する、
請求項１記載の同義語彙獲得方法。
【請求項３】
アンカー文字列クリーニングステップにおいて、
前記アンカーテキストの解析をサイト毎に解析を行う、
請求項１記載の同義語彙獲得方法。
【請求項４】
ＨＴＭＬやＸＭＬを含む電子テキストを解析し、固有名詞の別名や略称を含む同義語彙を獲得する同義語彙獲得装置であって、
キーワードと該キーワードの上位概念語が入力されると、該上位概念語とそれぞれのキーワードを含み関連性が高い文書を取得するキーワード検索手段と、
前記キーワード検索手段で取得した文書中で、前記キーワードがアンカーテキスト中に含まれるリンクのリンク先の文書を特定する文書特定手段と、
前記キーワード検索手段で取得した前記文書に対するリンクであり、前記キーワードをアンカーテキストに含むリンクを特定するリンク検索手段と、
前記リンク検索手段で特定された文書へのリンクに含まれる参照文字列を抽出するアンカーテキスト特定手段と、
前記キーワードと同じクラスのキーワードをアンカーテキストとするリンクによって、参照されている文書集合へのリンクのアンカーテキストを解析し、該アンカーテキスト中に含まれる部分文字列の出現頻度を算出し、アンカーテキスト解析結果として記憶手段に格納するクラス別アンカーテキスト文字列統計解析手段と、
前記記憶手段に格納された前記部分文字列の出現頻度に基づいて、前記アンカーテキストを解析し、該アンカーテキストの中で一般的な部分文字列を除去するアンカー文字列クリーニング手段と、
を有することを特徴とする同義語彙獲得装置。
【請求項５】
前記キーワード検索手段は、
入力された前記キーワードと前記上位概念語に基づき、該上位概念語が表す概念を含む、つまり、該上位概念語そのものに限らず、該上位概念語の同義語や同様の意味を表現する語彙の集合が含まれている文書で、かつ、キーワードを含み関連性が高い文書を取得する手段を含む
請求項４記載の同義語彙獲得装置。
【請求項６】
アンカー文字列クリーニング手段は、
前記アンカーテキストの解析をサイト毎に解析を行う手段を含む
請求項４記載の同義語彙獲得装置。
【請求項７】
コンピュータを、
請求項４乃至５記載の同義語彙獲得装置として機能させることを特徴とする同義語彙獲得プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同義語彙獲得方法及び装置及びプログラムに係り、特に、インターネットに代表されるコンピュータネットワークにおいて、ＨＴＭＬやＸＭＬ，ＳＧＭＬ等のタグ付きテキストから語彙を獲得するための同義語彙獲得方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
コンピュータネットワークにおける情報検索において、検索結果が大量になることが頻繁となり、検索システムの利用者は、キーワードでの検索を行った後に、得られた検索結果から本当に欲しい情報を獲得するという作業を強いられている。
【０００３】
このような問題に対して、検索結果のテキスト情報から実世界のインスタンスを指し示す固有名詞を文書中から抽出し、それらのうち検索結果中で重要であると考えられる固有名詞を選択し、検索結果と共に提示することで、効率的な文書の検索を容易に実現するという方法がある（例えば、特許文献１参照）。
【０００４】
これにより、ユーザは検索結果を一つ一つ見ながら所望の情報を探したり、追加キーワードを考え、再検索を行うことなく、実世界のインスタンスをランドマークとみなし、所望の情報を絞り込むことができる。
【０００５】
これを実現するための基本的な技術として、テキスト中の固有名詞を特定する手法が必要となる。
【０００６】
最も単純な方法として、人手で辞書を作成し、その辞書語とマッチする語をテキストから抽出するという手法が考えられる。
【０００７】
さらに、特定の辞書は持たず、文書中に存在する固有名詞を予め人手で特定した学習データから、形態素（品詞情報）レベルのパターンとして抽出ルールを作成し、予め学習データに含まれた語のみでなく、新たな語の抽出も可能とする手法もある（例えば、特許文献２参照）。
【特許文献１】特開２００５−２０８８３８号公報
【特許文献２】特開２００３−３３１２５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来の技術には以下のような問題がある。
【０００９】
辞書を人手で作成する手法は、確実にテキスト中の該当部分を特定することができるが、辞書の更新にかかるコストが非常に大きいため、幅広い分野や属性の辞書語を収集することは現実的に難しい。
【００１０】
学習データを用いてルールを自動的に生成し、固有名詞の解析を行う手法は、辞書構築やルール生成のコストを削減し、固有名詞の抽出を行うことを可能とするが、Ｗｅｂ上で頻繁に見られる略語や別名は意識されない。
【００１１】
つまり、正式な表現を用いた場合と、略称などの別名を用いた場合の両方を固有名詞であるとして抽出することは可能であるが、同一のインスタンスを参照する表記であるということは判断されず、異なるインスタンスについて記述された文書であると判断される。
【００１２】
これを解決する手法として、文書内での共起を利用して解決する手法（例えば、向井ら、ラベル指向情報検索における分類ラベル統合方式の検討、ＦＩＴ２００４）は存在するが、これはニュース記事等のフォーマルな文書において、正式名と略名が列挙されているという手法を用いたものであり、Blogや掲示板のＷｅｂ上で多く存在するインフォーマルな文書に対しては効果的でない。
【００１３】
本発明は、上記の点に鑑みなされたもので、コンピュータネットワークにおけるテキストから、特定のクラスの語彙の同義語を自動的に獲得することが可能な同義語彙獲得方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
図１は、本発明の原理を説明するための図である。
【００１５】
本発明（請求項１）は、ＨＴＭＬやＸＭＬを含む電子テキストを解析し、固有名詞の別名や略称を含む同義語彙を獲得する同義語彙獲得方法であって、
キーワード検索手段が、キーワードと該キーワードの上位概念語が入力されると（ステップ１）、該上位概念語とそれぞれのキーワードを含み関連性が高い文書を取得するキーワード検索ステップ（ステップ２）と、
文書特定手段が、キーワード検索ステップで取得した文書中で、キーワードがアンカーテキスト中に含まれるリンクのリンク先の文書を特定する文書特定ステップ（ステップ３）と、
リンク検索手段が、キーワード検索ステップ（ステップ２）で取得した文書に対するリンクであり、キーワードをアンカーテキストに含むリンクを特定するリンク検索ステップ（ステップ４）と、
アンカーテキスト特定手段が、リンク検索ステップ（ステップ４）で特定された文書へのリンクに含まれる参照文字列を抽出するアンカーテキスト特定ステップ（ステップ５）と、
クラス別アンカーテキスト文字列統計解析手段が、キーワードと同じクラスのキーワードをアンカーテキストとするリンクによって、参照されている文書集合へのリンクのアンカーテキストを解析し、該アンカーテキスト中に含まれる部分文字列の出現頻度を算出し、アンカーテキスト解析結果として記憶手段に格納するクラス別アンカーテキスト文字列統計解析ステップ（ステップ６）と、
アンカー文字列クリーニング手段が、記憶手段に格納された部分文字列の出現頻度に基づいて、アンカーテキストを解析し、該アンカーテキストの中で一般的な部分文字列を除去するアンカー文字列クリーニングステップ（ステップ７）と、を行う。
【００１６】
また、本発明（請求項２）は、請求項１のキーワード検索ステップにおいて、
入力されたキーワードと上位概念語に基づき、該上位概念語が表す概念を含む、つまり、該上位概念語そのものに限らず、該上位概念語の同義語や同様の意味を表現する語彙の集合が含まれている文書で、かつ、キーワードを含み関連性が高い文書を取得する。
【００１７】
また、本発明（請求項３）は、請求項１のアンカー文字列クリーニングステップにおいて、
アンカーテキストの解析をサイト毎に解析を行う。
【００１８】
図２は、本発明の原理構成図である。
【００１９】
本発明（請求項４）は、ＨＴＭＬやＸＭＬを含む電子テキストを解析し、固有名詞の別名や略称を含む同義語彙を獲得する同義語彙獲得装置であって、
キーワードと該キーワードの上位概念語が入力されると、該上位概念語とそれぞれのキーワードを含み関連性が高い文書を取得するキーワード検索手段２０と、
キーワード検索手段２０で取得した文書中で、キーワードがアンカーテキスト中に含まれるリンクのリンク先の文書を特定する文書特定手段２５と、
文書に対するリンクであり、キーワードをアンカーテキストに含むリンクを特定するリンク検索手段３０と、
リンク検索手段３０で特定された文書へのリンクに含まれる参照文字列を抽出するアンカーテキスト特定手段４０と、
キーワードと同じクラスのキーワードをアンカーテキストとするリンクによって、参照されている文書集合へのリンクのアンカーテキストを解析し、該アンカーテキスト中に含まれる部分文字列の出現頻度を算出し、アンカーテキスト解析結果として記憶手段７０に格納するクラス別アンカーテキスト文字列統計解析手段５０と、
記憶手段７０に格納された部分文字列の出現頻度に基づいて、アンカーテキストを解析し、該アンカーテキストの中で一般的な部分文字列を除去するアンカー文字列クリーニング手段６０と、を有する。
【００２０】
また、本発明（請求項５）は、請求項４のキーワード検索手段２０において、
入力されたキーワードと上位概念語に基づき、該上位概念語が表す概念を含む、つまり、該上位概念語そのものに限らず、該上位概念語の同義語や同様の意味を表現する語彙の集合が含まれている文書で、かつ、キーワードを含み関連性が高い文書を取得する手段を含む。
【００２１】
また、本発明（請求項６）は、請求項４のアンカー文字列クリーニング手段６０において、
アンカーテキストの解析をサイト毎に解析を行う手段を含む。
【００２２】
本発明（請求項７）は、コンピュータを、請求項４乃至５記載の同義語彙獲得装置として機能させる同義語彙獲得プログラムである。
【発明の効果】
【００２３】
上記のように本発明によれば、特定の属性の少ないキーワードを元に、その該当属性のキーワードが出現する位置及びパターンを自動で抽出し、この２つの特徴を利用し高い精度でキーワード候補の出現するルールを特定し、予め指定されたキーワードを複数含むテキスト中で上記特定したルールにマッチするキーワードを抽出し、ここで抽出された個々のキーワードの出現頻度や分布を元に最終的な抽出候補のキーワードを特定することで、高精度に語彙を獲得することが可能となる。
【００２４】
この語彙獲得により得られた辞書を用いることで、テキスト中から特定属性のキーワードを抽出することが可能となる。
【発明を実施するための最良の形態】
【００２５】
以下、図面と共に本発明の実施の形態を説明する。
【００２６】
本発明は、同一クラスの語彙（上位概念語とキーワード）を入力として受け付け、それぞれの語彙によって参照されるＷｅｂページ群を特定し、それらのＷｅｂページ群を参照するアンカーテキストを特定する。このアンカーテキストから固有表現部分を特定することで、入力したそれぞれの語彙に対する同義語を特定する。この最後の固有表現部分を推定するための基礎データとなる、アンカーテキスト内での文字列の出現情報は分野によって偏りがあるため、同じクラスの語彙を複数入力することで分野依存の解析を行うことを可能にするものである。
【００２７】
図３は、本発明の一実施の形態における同義語彙獲得装置の構成を示す。
【００２８】
同図に示す同義語彙獲得装置は、キーワードと当該キーワードの上位概念語が入力されるキーワード入力部１０、入力されたキーワードと上位概念語に基づいてそれらとの関連性の高い文書を検索する検索部（キーワード検索手段）２０、キーワードに適合するＵＲＬを求める文書特定部（文書特定手段）２５、キーワードに適合するアンカーテキストのＵＲＬを求めるＵＲＬ抽出部（リンク検索手段）３０、文書特定部２５とＵＲＬ抽出部３０のＵＲＬの文書からアンカーテキストを抽出するアンカーテキスト抽出部（アンカーテキスト特定手段）４０、アンカーテキストの部分文字列の統計量（出現頻度）を求めるアンカーテキスト解析部（クラス別アンカーテキスト文字列統計解析手段）５０、不要な文字列の削除などを行って固有名詞を決定するアンカーテキストクリーニング部（アンカー文字列クリーニング手段）６０、解析結果を格納するアンカーテキスト統計情報ＤＢ（記憶手段）７０、アンカーテキストクリーニング部６０で特定された固有名詞を同義語彙として出力する同義語出力部８０から構成される。
【００２９】
なお、上記の括弧内の記載は、特許請求の範囲の各手段との対応を示す。
【００３０】
図４は、本発明の一実施の形態における動作のフローチャートである。以下、図４と共に、上記の構成の動作を説明する。
【００３１】
ステップ１０１）  キーワード入力部１０は、ユーザからのキーワードの入力を受け付ける。入力は、同一クラスに属するキーワードを複数受け付けるものとし、上位概念語と共にその概念に属する１つ以上の語彙を入力とする。入力データ例を図５に示す。
【００３２】
ステップ１０２）  検索部２０は、入力されたキーワードのそれぞれについて、キーワード検索を行い、ＨＴＭＬやＸＭＬなどの電子テキストからキーワードとの関連性の高い文書集合を取得する。
【００３３】
ステップ１０３）  文書特定部２５は、入力されたキーワードのそれぞれについて、上記の検索部２０で取得した文書集合のうち特に関連性の強い文書を特定する。関連性の判定手段としては、以下のような例がある。
【００３４】
・検索部２０において検索した結果、最もキーワードとの関連度が強い文書；
・文書のタイトルがキーワードと完全一致する文書；
文書特定部２５では、一次記憶（メモリ）を有し、キーワードと関連性が強いと判断された文書ＵＲＬを格納する。当該装置に入力されたキーワード全てについて以上の処理を行った後、次の処理を行う構成要素にデータの内容を渡す。メモリのデータ格納の例を図６に示す。
【００３５】
ステップ１０４）  ＵＲＬ抽出部３０は、入力されたキーワードのそれぞれについて、上記の検索部２０で取得した文書集合から、キーワードをアンカーテキストに含むリンクを抽出し、キーワードと関連性の高い文書とみなす。この文書の特定にあたっては、必ずしも全ての文書の取得するわけではなく、出現頻度を元に閾値を決定し、閾値を超えた文書のみをキーワードと関連性の高い文書と見做すことも考えられる。ＵＲＬ抽出部３０では、メモリを有し、キーワードと当該キーワードと関連性の強い文書のＵＲＬを格納する。入力されたキーワードすべてについて上記の処理を行った後、次の処理を行う構成要素にデータの内容を渡す。ＵＲＬ抽出部３０のメモリのデータ格納の例を図７に示す。
【００３６】
ステップ１０５）  全てのキーワードの処理が終了すればステップ１０６に移行し、そうでなければステップ１０２に戻る。
【００３７】
ステップ１０６）  アンカーテキスト抽出部４０は、入力されたキーワードのそれぞれに関連するＵＲＬを、文書特定部２５及びＵＲＬ抽出部３０から受け取り、それぞれのキーワード毎にＵＲＬをマージする。その後、検索エンジンを利用する、もしくは、アンカーテキスト抽出部４０内に設けたリンクデータベース（図８）の情報から、特定されるそれぞれのＵＲＬを含む文書を特定し、当該文書に対するリンクのアンカーテキストを抽出する。リンクデータベースで想定されるデータの内容を図８に示す。また、検索エンジン（ｇｏｏ（登録商標）等）を利用する場合には、例えば、今探したいＵＲＬがＡである場合、「link：Ａ」等の検索要求を指定することで所望のデータを取得できる。アンカーテキスト抽出部４０では、メモリを有し、キーワードとアンカーテキストを格納する。当該アンカーテキスト抽出部４０に入力されたキーワード全てについて以上の処理を行った後、次の処理を行う構成要素（アンカーテキスト解析部５０）にデータの内容を渡す。図９にアンカーテキスト抽出部４０のメモリのデータ格納例を示す。
【００３８】
ステップ１０７）  アンカーテキスト抽出部４０において、全文書の処理が終了したかを判定し、終了した場合にはステップ１０８に移行し、そうでない場合にはステップ１０６に移行する。
【００３９】
ステップ１０８）  アンカーテキスト解析部５０は、アンカーテキスト抽出部４０で抽出されたアンカーテキストについて、それぞれの出現頻度及び部分文字列の出現頻度を算出する。部分文字列としては、n-gramで全ての区切りについて出現頻度を算出する。解析対象をアンカーテキストのprefixやsuffixとなる文字列に限定することも考えられる。また、アンカーテキスト解析部５０では、コーパスを解析し、クラスに依存しないアンカーテキストの解析を行った結果を利用することにより、分野依存の語彙はそのままとすることが考えられる。アンカーテキスト解析部５０での解析結果は、アンカーテキスト統計情報ＤＢ７０に格納される。アンカーテキスト統計情報ＤＢ７０に登録されるデータの例を図１０に示す。
【００４０】
アンカーテキスト統計情報ＤＢ７０は、アンカーテキスト解析部５０によって解析されたデータを格納する。データ例は図１０に示すとおりである。
【００４１】
ステップ１０９）  アンカーテキスト解析部５０において、全アンカーテキストの処理が終了した場合には、ステップ１１０に移行し、そうでない場合にはステップ１０８に戻る。
【００４２】
ステップ１１０）  アンカーテキストクリーニング部６０は、入力されたキーワードのそれぞれについて、アンカーテキスト統計情報ＤＢ７０に格納されたデータを元に、アンカーテキストに含まれる不要な文字列を除去し、同義語の候補とする。まず、図１０（Ｃ）の情報を元に、全てのクラスで高頻度（閾値αを超える場合）に利用される語彙を抽出し、一般的な語彙であると考え、除去する部分文字列を特定するstop word listに登録する。
【００４３】
ステップ１１１）  次に、図１０（Ｂ）の情報を元に、クラス内で高頻度に利用される語彙を抽出する。これは、一般的な語彙であると考えられるが、必ずしも固有表現以外の文字列とは限らないため（例えば、航空会社のリストを作成する場合の「航空」という文字列は頻出であるが不要な文字列ではない）、図１０（Ｃ）の情報を調べ閾値βを超える場合、もしくは、それらが記号の連続する列を含む場合など明らかに固有表現と異なる場合には、stop word listに登録する。また、単に頻度を考えるだけではなく、分散を考え広く分散されている部分文字列は固有表現の一部とは考えにくいと考え、頻度とともにstop word判定の基準にすることも考えられる。
【００４４】
ここで、キーワードｉで部分文字列ｘが出現する場合の確率をＰ（ｘｉ）とすると、分散は以下のエントロピーを算出する式で評価できる。この値がlog｜Ｉ｜（Ｉはキーワードの集合）に近い場合、分散は大きいとされ、一般語である可能性が高いと判定できる。
【００４５】
【数１】
2007164635.tif 000003
ステップ１１２）  アンカーテキストクリーニング部６０において全てのキーワードについて処理が終了すればステップ１１３に移行し、そうでなければステップ１１０に移行する。
【００４６】
ステップ１１３）  アンカーテキストクリーニング部６０は、この後、図１０（Ａ）に登録されているデータからstop wordを除去し、データを再構築する。そして、閾値γを超える頻度で出現する語彙を同義語とする。
【００４７】
ステップ１１４）  同義語出力部８０は、入力されたキーワードと共に、アンカーテキストクリーニング部６０において同義語と判定されたデータを出力する。
【００４８】
本発明では、上記の同義語彙獲得装置の各構成要素の機能をプログラムとして構築し、コンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００４９】
また、構築されたプログラムをハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールして実行させる、または、配布することが可能である。
【００５０】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００５１】
本発明は、ハイパーテキストから固有名詞の別名や略称を抽出するための技術に適用可能である。
【図面の簡単な説明】
【００５２】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における同義語彙獲得装置の構成図である。
【図４】本発明の一実施の形態における動作のフローチャートである。
【図５】本発明の一実施の形態におけるキーワード入力部で受け付けるデータ例である。
【図６】本発明の一実施の形態における文書特定部のメモリのデータ格納例である。
【図７】本発明の一実施の形態におけるＵＲＬ抽出部のメモリのデータ格納例である。
【図８】本発明の一実施の形態におけるアンカーテキスト抽出部で利用されるリンクデータベースの内容の例である。
【図９】本発明の一実施の形態におけるアンカーテキスト抽出部のメモリのデータ格納例である。
【図１０】本発明の一実施の形態におけるアンカーテキスト統計情報ＤＢのデータ例である。
【符号の説明】
【００５３】
１０  キーワード入力部
２０  キーワード検索手段、検索部
２５  文書特定手段、文書特定部
３０  リンク検索手段、ＵＲＬ抽出部
４０  アンカーテキスト特定手段、アンカーテキスト抽出部
５０  クラス別アンカーテキスト文字列統計解析手段、アンカーテキスト解析部
６０  アンカー文字列クリーニング手段、アンカーテキストクリーニング部
７０  記憶手段、アンカーテキスト統計情報ＤＢ
８０  同義語出力部
【図１】
2007164635.tif 000004
【図２】
2007164635.tif 000005
【図３】
2007164635.tif 000006
【図４】
2007164635.tif 000007
【図５】
2007164635.tif 000008
【図６】
2007164635.tif 000009
【図７】
2007164635.tif 000010
【図８】
2007164635.tif 000011
【図９】
2007164635.tif 000012
【図１０】
2007164635.tif 000013