(57)【特許請求の範囲】
【請求項１】
入力された文書集合の中から地名と単語やフレーズの対を抽出する単語抽出装置であって、
入力された対抽出対象文書及び対候補を選出するための文書集合の文書内の単語の区切りを決定し、語を出力する文書解析手段と、
前記対抽出対象文書及び前記対候補を選出するための文書集合から地名表現を抽出し、地名が該文書中に存在する位置情報を特定し、該位置情報、該地名の代表点の緯度・経度、該地名の含意する範囲を出力する地理情報付与手段と、
前記対候補を選出するための文書集合について、前記文書解析手段、前記地理情報付与手段から出力された情報と、入力された好適と見做す典型的な対の例群（以下、「典型対例群」と記す）を用いて、文書集合中で該典型対例群に似た語と地名の対と、該対の好適度スコアを求め、好適対記憶手段に格納する好適対決定手段と、
前記抽出対象文書について、前記文書解析手段、前記地理情報付与手段から出力された情報の各語と各地名の対が前記好適対記憶手段に含まれていれば、該抽出対象文書内での該語と該地名との距離を求め、該対に対する好適度スコアを取得し、該距離が大きいほど小さく、かつ、該好適度スコアが大きいほど大きくなる値の判定スコアを算出し、該判定スコアが所定の値の以上の対を抽出する対抽出手段と、
を有することを特徴とする単語抽出装置。
【請求項２】
前記好適対決定手段は、
前記対の好適度スコアを算出する際に、該対の一方が地名であることに限定して、ブートストラッピングアルゴリズムを用いる
請求項１記載の単語抽出装置。
【請求項３】
前記対抽出手段は、
前記抽出対象の文書内での前記語ｗｉと前記地名ｇｊとの距離を、該語Ｗｉが出現した文と該地名ｇｊが出現した文の間に含まれる文の数とする手段を含む
請求項１記載の単語抽出装置。
【請求項４】
前記対抽出手段は、
前記判定スコアを、文書内での距離が一文以内であれば、前記好適度スコアが所定の値より低くとも対となるに算出する手段、
または、
前記判定スコアを、前記好適度スコアが所定の値より高ければ、前記距離が所定の値より遠くても対となるように算出する手段
のいずれかを含む
請求項１記載の単語抽出装置。
【請求項５】
入力された文書集合の中から地名と単語やフレーズの対を抽出する単語抽出方法であって、
文書解析手段が、入力された対抽出対象文書及び対候補を選出するための文書集合の文書内の単語の区切りを決定し、語を出力する文書解析ステップと、
地理情報付与手段が、前記対抽出対象文書及び前記対候補を選出するための文書集合から地名表現を抽出し、地名が該文書中に存在する位置情報を特定し、該位置情報、該地名の代表点の緯度・経度、該地名の含意する範囲を出力する地理情報付与ステップと、
好適対決定手段が、典型対例群が入力されると、前記対候補を選出するための文書集合について、前記文書解析ステップ、前記地理情報付与ステップにより出力された情報を用いて、ブートストラッピングアルゴリズムにより、文書集合中で該典型対例群に似た語と、地名の対と該対の好適度スコアを求め、好適対記憶手段に格納する好適対決定ステップと、
対抽出手段が、前記抽出対象文書について、前記文書解析ステップ、前記地理情報付与ステップにより出力された情報の各語と各地名の対が前記好適対記憶手段に含まれていれば、該抽出対象文書内での該語と該地名との距離を求め、該対に対する好適度スコアを取得し、該距離が大きいほど小さく、かつ、該好適度スコアが大きいほど大きくなる値の判定スコアを算出し、該判定スコアが所定の値の以上の対を抽出する対抽出ステップと、
を行うことを特徴とする単語抽出方法。
【請求項６】
前記対抽出ステップにおいて、
前記抽出対象の文書内での前記語ｗｉと前記地名ｇｊとの距離を、該語Ｗｉが出現した文と該地名ｇｊが出現した文の間に含まれる文の数とする
請求項５記載の単語抽出方法。
【請求項７】
前記対抽出ステップにおいて、
前記判定スコアを、文書内での距離が一文以内であれば、前記好適度スコアが所定の値より低くとも対となるに算出する、
または、
前記判定スコアを、前記好適度スコアが所定の値より高ければ、前記距離が所定の値より遠くても対となるように算出する
請求項５記載の単語抽出方法。
【請求項８】
コンピュータを、
請求項１乃至４のいずれか１項に記載の単語抽出装置の各手段として機能させるための単語抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単語抽出方法及び装置及びプログラムに係り、特に、文書集合の中から、地名と単語やフレーズの対を抽出するための単語抽出方法及び装置及びプログラムに関する。
【０００２】
詳しくは、地理的な条件を受け付けるような文書検索や、地理的観点での文書の分類、あるいは特定の地理範囲で有用な検索用キーワード等の推薦等に用いるための単語抽出方法及び装置及びプログラムに関する。
【背景技術】
【０００３】
従来より、インターネットから得られる情報等、大規模な文書を対象として、キーワードを入力することにより、キーワードと関連のある文書を出力する技術が知られている。
【０００４】
近年、インターネット上での地図サービス等の普及や、ＧＰＳ等により現在の端末の位置を取得可能なデバイスの普及を背景に、検索条件の一部として位置や地図の範囲を加え、キーワードと地理条件の双方と関連のある文書を出力する技術（地理情報検索）が知られている（例えば、非特許文献１参照）。
【０００５】
また、上記のような検索は地図を閲覧しながら、その範囲で興味対象のキーワードに関する情報を検索することに利用することが可能である。その際、利用者がキーワードを想起せずとも、その地図範囲における特徴的な情報を得ることができるような単語やフレーズをシステム側が推薦することが考えられる。その場合、文書集合中で特定の地域と特定の単語が他に比べて有意に多く出現しているような対を用いて、キーワードを選出することになるであろう。
【０００６】
上記のような地理情報検索や、検索キーワードの推薦等を実現するためには、文書中に出現する地名と単語やフレーズの対が必要となる。
【０００７】
このような文書中に出現する地名と単語やフレーズの対の抽出方法としては、大きく2つの方法が考えられる。一つは、文書内での共起を利用する方法であり、地名と単語やフレーズが同一の文書中に出現していれば対と見做すという方法である。例えば、非特許文献１で示されているような、地名と指定されたキーワードの双方が出現した文書について処理するという方式は、この文書内共起を間接的に利用していることになる。また、もう一つの抽出方法としては、文書内の共起ではなく、もっと小さな単位、例えば、文や段落といった単位を用いる方法である。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】安田宜仁、戸田浩之、"検索位置のごく周辺を対象とした地理情報検索"、人工知能学会論文誌、Vol. 23, No.5, pp. 364-373, 2008年7月．
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、これまでの方法により、文書内での共起を対象に対を抽出し、処理をした場合には、意味的繋がりがない、あるいは意味的繋がりが希薄な対も抽出してしまうという問題があった。例えば、以下のような文があったとする。
【００１０】
『昨日は横須賀でセパタクローの試合がありました。惜敗でした。ただ、その後自宅でやった打ち上げのヤキソバが美味しかったので満足です！』
この文において、｛横須賀−ヤキソバ｝という対は意味的には繋がりがないにもかかわらず、文書内での共起を対象とした場合、対として抽出することになってしまう。
【００１１】
また、一方で、同一文内といった狭い範囲での共起に限定してしまっては、取り扱い対が極端に減ってしまうという問題があった。これは、地名は文書中で頻繁に出現するわけではなく、一度の出現で長い範囲にわたって関連するように用いられることが多いためである。
【００１２】
例えば、以下のような文があったとする。
【００１３】
『３年前に横須賀に越して以来、すっかりこの街が気に入っています。山がちな地形で、トンネルが多く、道路が渋滞しやすいのはたまに傷ですが、四方を海に囲まれているおかげでしょうか。温暖な気候で冬でもあまり暖房がいりません。京急で都内に出やすいのもよいですね』
この文において、｛横須賀−温暖｝や｛横須賀−京急｝という対は、意味的繋がりが深いと考えられるが、一文内での共起に限定してしまっては対として抽出されないことになる。
【００１４】
これらの問題点をまとめると、抽出する対を増やすと意味的繋がりがない対が増えてしまい、逆に絞ると十分な量の対が抽出できないという問題であった。
【００１５】
また、利用の用途によっては、地域と関係していれば任意の語でよいというわけではなく、目的に合致した好ましい語に限った検索や、検索語の推薦を行いたい場合がある。例えば、地域の観光に関する情報を中心とした情報検索、検索語の推薦に用いた場合、それらの地域でたまたま選挙に立候補していた立候補者の氏名ような観光と関係なさそうな語を含む対は抽出しないようにしたい。
【００１６】
しかし、従来の技術によればこのような目的に好適な対を選別するということはできなかった。
【００１７】
本発明は、上記の点に鑑みなされたもので、文書から利用目的に沿った地名と語の対を抽出することが可能な単語抽出方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記の課題を解決するため、本発明（請求項１）は、入力された文書集合の中から地名と単語やフレーズの対を抽出する単語抽出装置であって、
入力された対抽出対象文書及び対候補を選出するための文書集合の文書内の単語の区切りを決定し、語を出力する文書解析手段と、
前記対抽出対象文書及び前記対候補を選出するための文書集合から地名表現を抽出し、地名が該文書中に存在する位置情報を特定し、該位置情報、該地名の代表点の緯度・経度、該地名の含意する範囲を出力する地理情報付与手段と、
前記対候補を選出するための文書集合について、前記文書解析手段、前記地理情報付与手段から出力された情報と、入力された好適と見做す典型的な対の例群（以下、「典型対例群」と記す）を用いて、文書集合中で該典型対例群に似た語と地名の対と、該対の好適度スコアを求め、好適対記憶手段に格納する好適対決定手段と、
前記抽出対象文書について、前記文書解析手段、前記地理情報付与手段から出力された情報の語と地名の対が前記好適対記憶手段に含まれていれば、該抽出対象文書内での該語と該地名との距離を求め、該対に対する好適度スコアを取得し、該距離が大きいほど小さく、かつ、該好適度スコアが大きいほど大きくなる値の判定スコアを算出し、該判定スコアが所定の値の以上の対を抽出する対抽出手段と、を有する。
【００１９】
また、本発明（請求項２）は、前記好適対決定手段において、
前記対の好適度スコアを算出する際に、該対の一方が地名であることに限定して、ブートストラッピングアルゴリズムを用いる。
【００２０】
また、本発明（請求項３）は、前記対抽出手段において、
前記抽出対象の文書内での前記語ｗｉと前記地名ｇｊとの距離を、該語Ｗｉが出現した文と該地名ｇｊが出現した文の間に含まれる文の数とする手段を含む。
【００２１】
また、本発明（請求項４）は、前記対抽出手段において、
前記判定スコアを、文書内での距離が一文以内であれば、前記好適度スコアが所定の値より低くとも対となるに算出する手段、
または、
前記判定スコアを、前記好適度スコアが所定の値より高ければ、前記距離が所定の値より遠くても対となるように算出する手段
のいずれかを含む。
【発明の効果】
【００２２】
本発明によれば、文書集合を対象に、利用目的に沿った典型対例群を与え、既存技術により典型対例群に似た地名と単語の対とそのスコア（好適度スコア）を求めて格納しておき、入力された文書から単語（語）と地名を取り出して、語と地名の距離が大きいほど小さく、かつ、語の好適度スコアが大きいほど大きくなる値の判定スコアを算出し、判定スコアが所定値以上であれば、語と地名の対を出力することにより、文書中での意味的繋がりが希薄な対を抽出してしまうことを避けながら、かつ、利用者が目的に応じて好適と見做す例のみに限定した文書内の多数の対を抽出することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施の形態における単語抽出装置の構成図である。
【図２】本発明の一実施の形態における好適対記憶部の例である。
【図３】本発明の一実施の形態における概要動作のフローチャートである。
【図４】本発明の一実施の形態における対抽出部の処理のフローチャートである。
【発明を実施するための形態】
【００２４】
以下図面と共に、本発明の実施の形態を説明する。
【００２５】
図１は、本発明の一実施の形態における単語抽出装置の構成を示す。
【００２６】
同図に示す単語抽出装置１０は、文書解析部１１、地理情報付与部１２、好適対決定部１３、対好適度記憶部１４、対抽出部１５から構成される。
【００２７】
なお、好適な対候補を選出するための文書集合は都度与えるのではなく、事前にデータベース等に登録しておいても構わない。
【００２８】
対項適度記憶部１４は、図２に示すように、好適対決定部１３によって得られた好適対（地名と語）とその対の好適度スコアを格納する。
【００２９】
以下に、上記の構成における処理を説明する。
【００３０】
図３は、本発明の一実施の形態における概要動作のフローチャートである。
【００３１】
ステップ１００）文書解析部１１は、抽出対象文書と、好適な対候補を選出するための文書集合を入力として、文書内の単語の区切りを決定する。これには、当業者に公知の形態素解析技術を用いることができる。さらに、必要に応じて、単語に限らず、統語的なまとまりとして句を取り出すチャンキング、固有表現抽出（人名地名といった固有名詞や時間表現等の抽出）等を行ってもよい。これらも当業者に公知の技術を用いることができる。
【００３２】
以後、これらの区切られた単語やチャンク、固有表現等をまとめて単に「語」と呼ぶ。
【００３３】
もし、好適な対候補を選出するための文書集合が都度変わるのでなければ、当該処理を１度だけ行った結果をデータベース等に格納しておいても構わない。
【００３４】
さらに、地理情報付与部１２は、文書解析部１１によって解析された各文書を入力として、文書中に記述された地名と思われる表現を特定し、地名の文書中での位置、地名の代表点の緯度・経度、地名の含意する範囲を出力する。地名の特定、その地名の代表点の緯度・経度の特定には、文献１"平野徹，松尾義博，菊井玄一郎，「地理的距離と有名度を用いた地名の曖昧性解消」、情報処理学会全国大会論文集，2008"等で示される従来の手法を用いることができる。また、地名の含意する範囲については、非特許文献１で示されているような従来法や、既存の数値地図を使うことができる。もし、好適な対候補を選出するための文書集合が都度変わるのでなければ、当該処理を１度だけ行った結果をデータベース等に格納しておいても構わない。
【００３５】
ステップ２００）  好適対決定部１３は、好適な対候補を選出するための文書集合に対して、文書解析部１１、地理情報付与部１２が付与した解析済み文書集合、及び好適とみなす典型的な対の例群を入力とする。好適対決定部１３では、文献２"Patrick Pantel and Marco Pennacchiotti. 2006. Espresso: leveraging generic patterns for automatically harvesting semantic relations.  In Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the Association for Computational Linguistics (ACL-44).  Associations for Computational Linguistics, Stroudsburg. PA, USA, 113-120."に代表されるような、ブートストラッピングアルゴリズムと呼ばれる種類の公知の技術を用いることができる。これは、少量の好適な対を種データとして与え、文書集合中でこれらの種データ対が出現するパターンを求める。次にこのパターンに合致する対集合を求める。これらを繰り返し適用するアルゴリズムである。なお、単純にブートストラッピングアルゴリズムを利用するのではなく、対の一方が地名であることに限定して処理をすることにより、無関係な対を避けることが可能である。次に、好適対決定部１３は、ブートストラッピングによって得られた対を好適対記憶部１４へ格納する。その際、得られた対の信頼性スコア（例えば、文献２におけるｒｉ（ｉ））を、好適度スコアとして格納する。好適対の決定は、好適な対候補を選出するための文書集合が変わらなくても、好適とみなす典型的な対の例群が変わる度に実行する。
【００３６】
ステップ３００）  対抽出部１５は、抽出対象の文書に対して文書解析部１１、地理情報付与部１２が処理した結果を入力とし、文書中の各語ｗｉと各地名ｇｊの全ての対について、図４に示す手順により、本装置１０で抽出すべき対か同かを判定する。
【００３７】
ステップ３０１）  対抽出部１５は、まず、メモリ（図示せず）上の出力対集合を初期化する。
【００３８】
ステップ３０２）  以下の処理を、文書中の全ての地名ｇ−語ｗについて繰り返す。
【００３９】
ステップ３０３）  好適対記憶部１４を参照し、語ｗｉと地名ｇｊの対が含まれていれば、ステップ３０４に移行し、含まれていなければ当該対を出力に含むことがないので次の対の処理に移行する。
【００４０】
ステップ３０４）  語ｗｉと地名ｇｊとの文書内での距離ｄ（ｗｉ，ｇｊ）を、語ｗｉが出現した文と、地名ｇｊが出現した文の間に含まれる文の数とする。特にｗｉとｇｊが同一文内で出現すればｄ（ｗｉ，ｇｊ）＝０とする。もし、ｗｉあるいはｇｊが文書内で複数回出現する場合、最も距離が小さいものをｄ（ｗｉ，ｇｊ）とする。
【００４１】
ステップ３０５）  好適対記憶部１４中の当該対の好適度スコアp（ｗｉ，ｇｊ）を取得する。
【００４２】
ステップ３０６）  以下の式により判定スコアｓ（ｗｉ，ｇｊ）を求める。
【００４３】
【数１】
0005597653.tif 000002
ここで、αは事前に設定した定数パラメータである。
【００４４】
なお、判定スコアｓ（ｗｉ，ｇｊ）の算出は、上記の式に限定されることなく、定性的には、文書内での距離が一文以内など所定の値よりに短ければ、好適度スコアが所定の値より低くても対として認定し、好適度スコアが所定の値より高ければ、文書内での距離が所定の値より大きくとも対として認定するようなものであればよい。
【００４５】
例えば、上記で求めた方法以外に、事前に設定した定数パラメータβと、以下で定めるような階段状の関数によって判定してもよい。
【００４６】
【数２】
0005597653.tif 000003
ステップ３０７）  判定スコアｓ（ｗｉ，ｇｊ）が１以上であれば、抽出対象とし、ステップ３０８に移行し、１未満であれば当該対は抽出対象ではないとし、ステップ３０９に移行する。
【００４７】
ステップ３０８）  判定スコアｓ（ｗｉ，ｇｊ）≧１の対をメモリ（図示せず）の出力対集合に追加する。
【００４８】
ステップ３０９）  全ての地名ｇ−語ｗについてステップ３０３以降の処理が終了すればステップ３１０に移行し、まだ終了していない場合はステップ３０３に移行する。
【００４９】
ステップ３１０）  メモリ（図示せず）の出力対集合を出力する。
【００５０】
本発明は、上記のように、利用目的に沿った典型対例群を文書集合に与え、典型対例群に似た地名と語の対とその項適度スコアを求める。文書が入力されると、当該文書から語と地名を抽出し、その語と地名の距離が大きい程に小さく、かつ、語の項適度スコアが大木ほどに大きくなる判定スコアを算出し、当該判定スコアが所定値以上であれば、語と地名の対を出力する。これにより、利用目的に対して好適な対を選別することが可能となる。
【００５１】
図１に示す単語抽出装置の各構成要素の動作をプログラムとして構築し、単語抽出装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることも可能である。
【００５２】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【００５３】
１０  単語抽出装置
１１  文書解析部
１２  地理情報付与部
１３  好適対決定部
１４  対好適度記憶部
１５  対抽出部
【図１】
0005597653.tif 000004
【図２】
0005597653.tif 000005
【図３】
0005597653.tif 000006
【図４】
0005597653.tif 000007