(57)【要約】【課題】  推薦キーワードの有効性を犠牲とすることなく、十分な数の統計に基づいて推薦キーワードを算出する。【解決手段】  本発明は、文書集合から候補表現Ａ、該候補表現Ａの文書中での位置、及び、文書中の地名表現を抽出し、候補表現Ａとメッシュについて、品質の異なる複数の抽出基準を段階的に適用し、該抽出基準に対応する共起範囲における該候補表現Ａと該メッシュの共起頻度と出現頻度を求める。利用者から入力された注目地図範囲に含まれるメッシュと候補表現Ｂの対に基づいて、共起範囲または出現範囲が最も狭い抽出基準から順に共起頻度または出現頻度を参照し、対の数が十分な数量に達しているかをスコアとして算出し、該スコアが該十分な量に達している場合は、該共起範囲または該出現範囲を採用し、達していない場合は範囲を広くしてスコアを算出し、スコアの上位Ｎ件の対を出力する。【選択図】  図１
2014021861.tif 000002
【特許請求の範囲】
【請求項１】
利用者から入力された地図範囲に応じたキーワードを提示する文書検索キーワード提示装置であって、
文書集合からキーワードの候補表現Ａ、該候補表現Ａの文書中での位置、及び、文書中の地名表現を抽出する文書解析手段と、
前記候補表現Ａと基準となる地図範囲の緯度経度を所定の度数で区切った矩形であるメッシュについて、品質の異なる複数の抽出基準毎に、該抽出基準に対応する共起範囲における該候補表現Ａと該メッシュの共起頻度または出現範囲における該候補表現Ａまたは該メッシュの出現頻度を求め、記憶手段に格納する頻度算出手段と、
前記利用者から入力された注目地図範囲に含まれるメッシュと候補表現Ｂの対に基づいて、共起範囲または出現範囲が最も狭い前記抽出基準から順に適用し、前記記憶手段の共起頻度または出現頻度を参照し、対の数が前記記憶手段に格納されている値から導出された十分な数量に達しているかをスコアとして算出し、該スコアが該十分な量に達している場合は、該共起範囲または該出現範囲を採用し、達していない場合は共起範囲または出現範囲を広くしてスコアを算出するスコア算出手段と
前記スコア算出手段で算出された前記スコアの上位Ｎ件の対を出力する出力手段と、
を有することを特徴とする文書検索キーワード提示装置。
【請求項２】
前記文書解析手段は、
前記文書集合の、見出しの位置、文の区切りの位置、段落区切りの位置、文書中の候補表現及び該候補表現の文書中の位置、及び、文書中に記述された地名表現を抽出する手段を含む請求項１記載の文書検索キーワード提示装置。
【請求項３】
前記頻度算出手段は、
前記抽出基準として、
前記候補表現Ａの、同一文内での共起（第１抽出基準）、同一段落内での共起（第２抽出基準）、一方が文書の見出し中で、他方が本文のどこかである場合の共起（第３抽出基準）、同一文書内での共起（第４抽出基準）、の順に段階的に設定し、
前記第１抽出基準に基づいて、前記文書解析手段から得られた文書について、同一文内における地名と候補表現の同一文内共起頻度を算出し、該地名の含意する範囲に含まれるメッシュと該候補表現と該共起頻度を対応付けて前記記憶手段のメッシュ−候補表現頻度表に格納し、該候補表現の文内出現頻度を該記憶手段の候補表現頻度表に格納し、該メッシュの文内出現頻度を該記憶手段のメッシュ頻度表に格納する同一文内共起による頻度算出手段と、
前記第２抽出基準に基づいて、前記文書解析手段から得られた文書内の段落について、同一段落内における地名と候補表現の同一段落内共起頻度を算出し、該地名の含意する範囲に含まれるメッシュと該候補表現と該同一段落内共起頻度を対応付けて前記メッシュ−候補表現頻度表に格納し、該候補表現が同一段落に出現する段落内出現頻度を前記候補表現頻度表に格納し、該メッシュの段落内出現頻度を前記メッシュ頻度表に格納する同一段落内共起による頻度算出手段と、
前記第３抽出基準に基づいて、前記文書解析手段から得られた文書の見出し中に出現する候補表現と文書中に出現する地名の対、または、見出し中に出現する地名と文書中に出現する候補表現の対の見出し−本文共起頻度を算出し、前記メッシュ−候補表現頻度表に格納する見出し−本文関係での共起による頻度算出手段と、
前記第４抽出基準に基づいて、前記文書解析手段から得られた文書について、該文書内の候補表現と地名の含意する範囲に含まれるメッシュの同一文書内共起頻度を前記メッシュ−候補表現頻度表に格納し、該候補表現の文書内出現頻度を前記候補表現頻度表に格納し、該メッシュの文書内出現頻度を前記メッシュ頻度表に格納する同一文書内共起による頻度算出手段と、
を含み、
前記スコア算出手段は、
前記十分な数量として、前記メッシュ頻度表を参照し、前記利用者から入力された注目地図範囲に含まれるメッシュの重み付き文出現頻度の和（ｋ）を求め、前記抽出基準を最高位から順に適用して、前記メッシュ−候補表現頻度表、前記候補表現頻度表、前記メッシュ頻度表を参照して求めたスコアが、該ｋを超えた時点で、メッシュと候補表現の対と該スコアを出力する手段を含む
請求項１記載の文書検索キーワード提示装置。
【請求項４】
利用者から入力された地図範囲に応じたキーワードを提示する文書検索キーワード提示方法であって、
文書解析手段、頻度算出手段、スコア算出手段、出力手段を有する装置において、
前記文書解析手段が、文書集合からキーワードの候補表現Ａ、該候補表現Ａの文書中での位置、及び、文書中の地名表現を抽出する文書解析ステップと、
前記頻度算出手段が、前記候補表現Ａまたは、基準となる地図範囲の緯度経度を所定の度数で区切った矩形であるメッシュについて、品質の異なる複数の抽出基準毎に、該抽出基準に対応する共起範囲における該候補表現Ａと該メッシュの共起頻度または出現範囲における該候補表現Ａまたは該メッシュの出現頻度を求め、記憶手段に格納する頻度算出ステップと、
前記スコア算出手段が、前記利用者から入力された注目地図範囲に含まれるメッシュと候補表現Ｂの対に基づいて、共起範囲または出現範囲が最も狭い前記抽出基準から順に適用し、前記記憶手段の共起頻度または出現頻度を参照し、対の数が前記記憶手段に格納されている値から導出された十分な数量に達しているかをスコアとして算出し、該スコアが該十分な量に達している場合は、該共起範囲または該出現範囲を採用し、達していない場合は共起範囲または出現範囲を広くしてスコアを算出するスコア算出ステップと、
前記出力手段が、前記スコア算出ステップで算出された前記スコアの上位Ｎ件の対を出力する出力ステップと、
を行うことを特徴とする文書検索キーワード提示方法。
【請求項５】
前記文書解析ステップにおいて、
前記文書集合の、見出しの位置、文の区切りの位置、段落区切りの位置、文書中の候補表現及び該候補表現の文書中の位置、及び、文書中に記述された地名表現を抽出する
請求項４記載の文書検索キーワード提示方法。
【請求項６】
前記頻度算出ステップにおいて、
前記抽出基準として、
前記候補表現Ａの、同一文内での共起（第１抽出基準）、同一段落内での共起（第２抽出基準）、一方が文書の見出し中で、他方が本文のどこかである場合の共起（第３抽出基準）、同一文書内での共起（第４抽出基準）、の順に段階的に設定し、
前記第１抽出基準に基づいて、前記文書解析ステップで得られた文書について、同一文内における地名と候補表現の同一文内共起頻度を算出し、該地名の含意する範囲に含まれるメッシュと該候補表現と該共起頻度を対応付けて前記記憶手段のメッシュ−候補表現頻度表に格納し、該候補表現の文内出現頻度を該記憶手段の候補表現頻度表に格納し、該メッシュの文内出現頻度を該記憶手段のメッシュ頻度表に格納する同一文内共起による頻度算出ステップと、
前記第２抽出基準に基づいて、前記文書解析ステップで得られた文書内の段落について、同一段落内における地名と候補表現の同一段落内共起頻度を算出し、該地名の含意する範囲に含まれるメッシュと該候補表現と該同一段落内共起頻度を対応付けて前記メッシュ−候補表現頻度表に格納し、該候補表現が同一段落に出現する段落内出現頻度を前記候補表現頻度表に格納し、該メッシュの段落内出現頻度を前記メッシュ頻度表に格納する同一段落内共起による頻度算出ステップと、
前記第３抽出基準に基づいて、前記文書解析ステップで得られた文書の見出し中に出現する候補表現と文書中に出現する地名の対、または、見出し中に出現する地名と文書中に出現する候補表現の対の見出し−本文共起頻度を算出し、前記メッシュ−候補表現頻度表に格納する見出し−本文関係での共起による頻度算出ステップと、
前記第４抽出基準に基づいて、前記文書解析ステップで得られた文書について、該文書内の候補表現と地名の含意する範囲に含まれるメッシュの同一文書内共起頻度を前記メッシュ−候補表現頻度表に格納し、該候補表現の文書内出現頻度を前記候補表現頻度表に格納し、該メッシュの文書内出現頻度を前記メッシュ頻度表に格納する同一文書内共起による頻度算出ステップと、
を順に行い、
前記スコア算出ステップにおいて、
前記十分な数量として、前記メッシュ頻度表を参照し、前記利用者から入力された注目地図範囲に含まれるメッシュの重み付き文出現頻度の和（ｋ）を求め、前記抽出基準を最高位から順に適用して、前記メッシュ−候補表現頻度表、前記候補表現頻度表、前記メッシュ頻度表を参照して求めたスコアが、該ｋを超えた時点で、メッシュと候補表現の対と該スコアを出力する
請求項４記載の文書検索キーワード提示方法。
【請求項７】
コンピュータを、
請求項１乃至３のいずれか１項に記載の文書検索キーワード提示装置の各手段として機能させるための文書検索キーワード提示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書検索キーワード提示装置及び方法及びプログラムに係り、特に、ウェブ等から収集した文書集合の中から文書を検索するための文書検索キーワード提示装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、インターネットから得られる情報等、大規模な文書を対象として、キーワードと興味対象の位置座標を与えることにより、与えたキーワードと位置と関連のある文書を検索するような文書検索が知られている（例えば、特許文献１参照）。
【０００３】
このような検索（地理情報検索）は、地図を閲覧しながら、その範囲で興味対象のキーワードに関する情報を検索することに利用することが可能である。しかし、利用者は現在閲覧中の地図の範囲における特定のキーワードに関連した情報を求めている場合ばかりではなく、単にその地図範囲における特徴的な情報を得たい場合もある。このような場合、従来の地理情報検索だけを用いたのでは、適切な検索キーワードを想起する必要があるが、そもそもその知識に特徴的な情報を得るという目的を持つ利用者は検索キーワードも想起しようがない。
【０００４】
このような場合の方法として、統計に基づき、その地域に対して特徴的であると言える場合にキーワードを推薦するという方法が存在する（例えば、非特許文献１参照）。これはあるキーワードが、ある範囲内の地名においてより多く出現しているという、地名間での統計的な偏りを根拠に推薦していた。このために、キーワードと地名の対の頻度を事前に計数する。しかし、このような場合の「対で出現した」という判定の基準は必ずしも自明ではない。従来の技術では、地名とキーワードが同一の文書内に出現したかどうか、つまり、文書内で共起したかをもって判定していた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2009-134463号公報
【非特許文献】
【０００６】
【非特許文献１】廣嶋伸章、安田宜仁、藤田尚樹、片岡良治、「地理情報検索におけるクエリ入力支援のための候補表現の提示」,第26回人工知能学会全国大会,2012.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、文書内での共起を対象にした場合、意味的繋がりがない、あるいは意味的繋がりが希薄な対も抽出してしまうという問題があった。例えば、以下のような文があったとする。
【０００８】
「昨日は横須賀でセパタクローの試合がありました。惨敗でした。ただ、その後自宅でやった打ち上げのヤキソバが美味しかったので満足です！」
この文において、｛横須賀−ヤキソバ｝という対は意味的には繋がりがないにもかかわらず、文書内での共起を対象とした場合、対として抽出することになってしまう。
【０００９】
一方で、同一文内といった狭い範囲での共起や、「香川のうどん」のように地名とキーワードが助詞「の」で繋がっているような場合に限定し、意味的に強い繋がりの対を抽出するようにすることも考えられる。しかし、このような場合、取り扱う対が極端に減ってしまい、対の頻度を統計的に処理するには十分でない場合があるという問題があった。これは、地名は文書中で頻繁に出現するわけではなく、一度の出現で長い範囲にわたって関連するように用いられることが多いためである。例えば、以下のような文があったとする。
【００１０】
「３年前に横須賀に越して以来、すっかりこの街が気に入っています。山がちな地形で、トンネルが多く、道路が渋滞しやすいのはたまに傷ですが、四方を海に囲まれているおかげでしょうか、温暖な気候で冬でもあまり暖房がいりません。京浜電鉄で都内にでやすいのも良いですね。」
この文において、｛横須賀−温暖｝や｛横須賀−京浜電鉄｝という対は、意味的繋がりが強いと考えられるが、一文内での共起に限定してしまった場合には対として取り扱われない。このために対の頻度を統計的な偏りとして処理するには十分な数が得られない。
【００１１】
以上をまとめると、質の高い対を集めようとすると統計的に処理するための十分な数の対が得られない可能性があり、一方で対の数を優先して対を集めると、質の低い対を集めることになってしまうという問題があった。
【００１２】
本発明は、上記の点に鑑みなされたもので、推薦キーワードの有効性を犠牲とすることなく、十分な数の統計に基づいて推薦キーワードを算出することが可能な文書検索キーワード提示装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の課題を解決するため、本発明は、利用者から入力された地図範囲に応じたキーワードを提示する文書検索キーワード提示装置であって、
文書集合からキーワードの候補表現Ａ、該候補表現Ａの文書中での位置、及び、文書中の地名表現を抽出する文書解析手段と、
前記候補表現Ａと基準となる地図範囲の緯度経度を所定の度数で区切った矩形であるメッシュについて、品質の異なる複数の抽出基準毎に、該抽出基準に対応する共起範囲における該候補表現Ａと該メッシュの共起頻度または出現範囲における該候補表現Ａまたは該メッシュの出現頻度を求め、記憶手段に格納する頻度算出手段と、
前記利用者から入力された注目地図範囲に含まれるメッシュと候補表現Ｂの対に基づいて、共起範囲または出現範囲が最も狭い前記抽出基準から順に適用し、前記記憶手段の共起頻度または出現頻度を参照し、対の数が前記記憶手段に格納されている値から導出された十分な数量に達しているかをスコアとして算出し、該スコアが該十分な量に達している場合は、該共起範囲または該出現範囲を採用し、達していない場合は共起範囲または出現範囲を広くしてスコアを算出するスコア算出手段と
前記スコア算出手段で算出された前記スコアの上位Ｎ件の対を出力する出力手段と、を有する。
【００１４】
また、本発明の前記文書解析手段は、
前記文書集合の、見出しの位置、文の区切りの位置、段落区切りの位置、文書中の候補表現及び該候補表現の文書中の位置、及び、文書中に記述された地名表現を抽出する手段を含む。
【００１５】
また、本発明の前記頻度算出手段は、
前記抽出基準として、
前記候補表現Ａの、同一文内での共起（第１抽出基準）、同一段落内での共起（第２抽出基準）、一方が文書の見出し中で、他方が本文のどこかである場合の共起（第３抽出基準）、同一文書内での共起（第４抽出基準）、の順に段階的に設定し、
前記第１抽出基準に基づいて、前記文書解析手段から得られた文書について、同一文内における地名と候補表現の同一文内共起頻度を算出し、該地名の含意する範囲に含まれるメッシュと該候補表現と該共起頻度を対応付けて前記記憶手段のメッシュ−候補表現頻度表に格納し、該候補表現の文内出現頻度を該記憶手段の候補表現頻度表に格納し、該メッシュの文内出現頻度を該記憶手段のメッシュ頻度表に格納する同一文内共起による頻度算出手段と、
前記第２抽出基準に基づいて、前記文書解析手段から得られた文書内の段落について、同一段落内における地名と候補表現の同一段落内共起頻度を算出し、該地名の含意する範囲に含まれるメッシュと該候補表現と該同一段落内共起頻度を対応付けて前記メッシュ−候補表現頻度表に格納し、該候補表現が同一段落に出現する段落内出現頻度を前記候補表現頻度表に格納し、該メッシュの段落内出現頻度を前記メッシュ頻度表に格納する同一段落内共起による頻度算出手段と、
前記第３抽出基準に基づいて、前記文書解析手段から得られた文書の見出し中に出現する候補表現と文書中に出現する地名の対、または、見出し中に出現する地名と文書中に出現する候補表現の対の見出し−本文共起頻度を算出し、前記メッシュ−候補表現頻度表に格納する見出し−本文関係での共起による頻度算出手段と、
前記第４抽出基準に基づいて、前記文書解析手段から得られた文書について、該文書内の候補表現と地名の含意する範囲に含まれるメッシュの同一文書内共起頻度を前記メッシュ−候補表現頻度表に格納し、該候補表現の文書内出現頻度を前記候補表現頻度表に格納し、該メッシュの文書内出現頻度を前記メッシュ頻度表に格納する同一文書内共起による頻度算出手段と、
を含み、
前記スコア算出手段は、
前記十分な数量として、前記メッシュ頻度表を参照し、前記利用者から入力された注目地図範囲に含まれるメッシュの重み付き文出現頻度の和（ｋ）を求め、前記抽出基準を最高位から順に適用して、前記メッシュ−候補表現頻度表、前記候補表現頻度表、前記メッシュ頻度表を参照して求めたスコアが、該ｋを超えた時点で、メッシュと候補表現の対と該スコアを出力する手段を含む。
【発明の効果】
【００１６】
本発明によれば、利用者の表示している地図の範囲に応じたキーワードを提示することができるので、現在の地理範囲に応じた適切なキーワードを提示することが可能となる。この際に、質の高い対から繰り返し統計的に処理するための十分な数が得られればその時点で結果を出力するので、質の低い対に依存せずにキーワードを出力することが可能となる。また、十分な数が得られない場合は、十分な数が得られるまで相対的に質の低い基準まで適用するため、その地理範囲に対して統計的に十分な根拠をもって推薦キーワードを算出することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施の形態における文書検索キーワード提示装置の構成図である。
【図２】本発明の一実施の形態におけるメッシュ−候補表現頻度表の例である。
【図３】本発明の一実施の形態における候補表現頻度表の例である。
【図４】本発明の一実施の形態におけるメッシュ頻度表の例である。
【図５】本発明の一実施の形態における前処理のフローチャートである。
【図６】本発明の一実施の形態における本処理のフローチャートである。
【図７】本発明の一実施の形態におけるスコア算出部で用いる２×２分割表である。
【発明を実施するための形態】
【００１８】
以下、図面と共に本発明の実施の形態を説明する。
【００１９】
図１は、本発明の一実施の形態における文書検索キーワード提示装置の構成を示す。
【００２０】
本装置は、前述の質の高い対（地名，キーワード）を集めようとすると統計的に処理するための十分な数の対が得られない可能性があり、一方で対の数を優先して対を集めると、質の低い対を集めることになってしまうという問題に対し、推薦キーワードの有効性を犠牲とすることなく、十分な数の統計に基づいて推薦キーワードを算出するものである。
【００２１】
本装置は、対の質の高さの異なる４つの対抽出部を有する。具体的には、同一文内での共起による頻度算出部６、同一段落内共起による頻度算出部７、見出し−本文関係での共起（一方が文書の見出し中で、他方が本文のどこかである場合の共起）による頻度算出部８、同一文書内共起による頻度算出部９の４つである。本発明はこの４種類の対抽出基準に限らず、品質の異なる複数の抽出基準を用いることができる。但し、本実施の形態で示した抽出基準以外である場合、事前にその基準によって抽出できる対の品質が他の抽出基準に対してよいか悪いかを予想できることが望ましい。
【００２２】
また、対の頻度を得た後に、その頻度から特徴的かどうかを判定するための統計的な手法は当業者に公知の技術を用いることができるが、本実施の形態では、二要因の偏りによる方法としてのカイ二乗値による方法を用いて述べる。この他にも、非特許文献１で示されているような、一要因の比の偏りによる方法としてのポアソン確率による方法を用いることも可能である。
【００２３】
キーワード算出の基準となる範囲の最小単位を定めるため、日本（あるいは世界）全体を緯度経度それぞれを決められた度数で区切った矩形を考える。この矩形を以後「メッシュ」と呼ぶ。メッシュの大きさは対象文書集合や、地図の性質に合わせて任意に設定できる。なお、本明細書では、概ね500m四方を想定している。また、必要に応じてメッシュの大きさの異なる本装置を複数作成し、いくつかの粒度に合わせた候補表現の提示をすることも考えられる。
【００２４】
本装置は、文書ＤＢ１、文書解析部２、メッシュ−候補表現頻度表記憶部３、候補表縁頻度表記憶部４、メッシュ頻度表記憶部５、同一文内での共起による頻度算出部６、同一段落内共起による頻度算出部７、見出し−本文関係での共起による頻度算出部８、同一文書内共起による頻度算出部９、スコア算出部１０、出力部１１から構成される。
【００２５】
文書ＤＢ１は、推薦キーワードを算出する根拠となる文書を格納したデータベースである。格納する文書は、本装置によって出力する検索キーワードによって検索される文書と同一であることが望ましい。但し、例えば、新聞記事１０年分を検索対象とする場合に、本装置の文書ＤＢ１は、新聞記事１年分といった、検索対象文書群全体を反映するような小さな文書集合でも構わない。
【００２６】
メッシュ−候補表現頻度表記憶部３は、メッシュ−候補表現頻度表を格納する。メッシュ−候補表現頻度表は、図２に示すように、各メッシュ番号と、そのメッシュといずれかの共起抽出基準で共起した候補表現と、各基準での重み付きの共起頻度を記した表である。これらの値は装置の前処理の時点で、同一文内共起による頻度算出部６、見出し−本文関係での共起による頻度算出部７、同一文書内共起による頻度算出部８、同一文書内共起による頻度算出部９の各部によって値が格納される。
【００２７】
候補表現頻度表記憶部４は、候補表現頻度表を格納する。候補表現頻度表は、図３に示すように、各候補表現について、出現文書数、出現段落数、出現文書数を記した表である。表の各値は装置の前処理の時点で、同一文内共起による頻度算出部６、見出し−本文関係での共起による頻度算出部７、同一文書内共起による頻度算出部９により格納される。
【００２８】
メッシュ頻度表記憶部５は、メッシュ頻度表を格納する。メッシュ頻度表は、図４に示すように、各メッシュ番号について、そのメッシュの出現文数、出現段落数、出現文書数についての重み付き頻度を記したものである。なお、ここで重み付き頻度とは、地名が含意する広さを考慮したものであり、例えば、Ｍ個のメッシュを包含するような地名が１度出現したとすると、各メッシュの重み付き頻度は1/M回と数えるものである。表の各値は装置の前処理の時点で、同一文内共起による頻度算出部６、見出し−本文関係での共起による頻度算出部７、同一文書内共起による頻度算出部９により格納される。
【００２９】
本装置は、前処理と、注目する地理範囲が与えられてから推薦キーワードを出力する本処理に分けることができる。
【００３０】
図５は、本発明の位置実施の形態における前処理のフローチャートである。
【００３１】
ステップ１０１）  文書解析部２は、文書ＤＢ１から要約対象文書群を入力として、
文書中に出現した候補表現のリストと文書内での位置と、
文書中に出現した地名のリストと文書内での位置と、
文書中に出現した地名の緯度経度、含意する地理的範囲と、
文書の見出しの位置と、
文書内の文区切りの位置と、
文書内の段落区切りの位置と、を出力する。以下に手順を示す。
【００３２】
まず、入力文書群中の、見出しの位置、文区切りの位置、段落区切りの位置を決定する。見出しの位置は入力がＨＴＭＬである場合は、ＨＴＭＬタグによって判別可能である。平文である場合は、各文書の先頭の文書を見出しと見做す。文区切りの位置は句点（「。」）の位置と見做すことができる。あるいは当業者に公知の機械学習に基づく判定方法を用いてもよい。段落区切りの位置は文区切りのあとに改行がある位置とみなすことができる。あるいは、当業者に公知の機械学習に基づく判定方法を用いてもよい。
【００３３】
次に、文書中の候補表現を特定し、候補表現の文書中での位置を特定する。候補表現の選択方法は任意であるが、一例として、当業者に公知の固有表現抽出技術を用いて、固有表現を候補表現とすることができる。あるいは、商品名や農産物をリストとして持っておき、文書と照合することで、文書中に出現したリスト中の語を候補表現としてもよい。
【００３４】
次に、文書中に記述された地名と思われる表現を特定し、地名の文書中での位置、地名の代表点の緯度経度、地名の含意する範囲を決定する。
【００３５】
地名の特定、その地名の代表点の緯度経度の特定には、非特許文献２「平野徹、松尾義博、菊井玄一郎、「地理的距離と有名度を用いた地名の曖昧性解消」，情報処理学会全国大会講演論文集，2008」等で示される従来の手法を用いることができる。
【００３６】
また、各地名の含意する範囲については、非特許文献３「安田宜仁，戸田浩之，"検索位置のごく周辺を対象とした地理情報検索"，人工知能学会論文誌，Vol. 23, No.5, pp. 364-373, 2008年7月」で示されているような従来の手法によって、地名が含まれる最小外接矩形を取得したり、既存の数値地図を使うことができる。
【００３７】
ステップ１０２）  同一文内共起による頻度算出部６は、文書解析部２によって解析済みの文書を入力として、全ての文について以下の処理を行う。
【００３８】
まず、文内全ての重複を除いた候補表現について、候補表現頻度表記憶部４の候補表現頻度表のその語のエントリの出現文数のカラムに１を加える。
【００３９】
もし、文内に少なくとも一つの地名と少なくとも一つの候補表現が出現している場合は、それらの地名と候補表現から構成される全ての地名−候補表現の対について以下の処理を行う。
【００４０】
まず、地名の含意する範囲含まれるメッシュ番号一覧を算出する。メッシュ頻度表記憶部５の文出現頻度に1/M加える。また、各メッシュについて、もし、メッシュ−候補表現頻度表記憶部３のメッシュ−候補表現頻度表に候補表現のエントリがなければ追加する。このとき含まれたメッシュの個数をＭとすると、メッシュ−候補表現頻度表記憶部３のメッシュ−候補表現頻度表の当該候補表現の同一文内共起頻度に1/Mを加える。
【００４１】
ステップ１０３）  同一段落内共起による頻度算出部７は、文書解析部２によって解析済みの文書を入力として、文書内の全ての段落について以下の処理を行う。
【００４２】
まず、段落内全ての重複を除いた候補表現について、候補表現頻度表記憶部４の候補表現頻度表のその語のエントリの段落出現頻度のカラムに１を加える。
【００４３】
もし、段落内に少なくとも一つの地名と少なくとも一つの候補表現が出現している場合は、それらの地名と候補表現から構成されるすべての地名−候補表現の対について以下の処理を行う。
【００４４】
まず、地名の含意する範囲に含まれるメッシュ番号一覧を算出する。メッシュ頻度表記憶部５の段落出現頻度に1/M加える。各メッシュについて、もしメッシュ−候補表現頻度表記憶部３のメッシュ−候補表現頻度表に候補表現のエントリがなければ追加する。このとき含まれたメッシュの個数をＭとすると、当該メッシュ−候補表現頻度表の当該候補表現の同一段落内共起頻度に1/Mを加える。
【００４５】
ステップ１０４）  見出し−本文関係での共起による頻度算出部８は、文書解析部２によって解析済みの全ての文書について以下の処理を行う。
【００４６】
もし、候補表現が文書の見出し中に出現していて、かつ、地名が文書中に出現する場合、あるいは地名が文書の見出し中に出現していて、かつ、候補表現が文書中に出現する場合は、それらの地名と候補表現から構成される全ての地名−候補表現の対について以下の処理を行う。
【００４７】
まず、地名の含意する範囲に含まれるメッシュ番号一覧を算出する。各メッシュについて、もし、メッシュ−候補表現頻度表記憶部３のメッシュ−候補表現頻度表に候補表現のエントリがなければ追加する。このとき含まれたメッシュの個数をＭとすると、当該メッシュ−候補表現頻度表の見出し−本文共起頻度に1/Mを加える。
【００４８】
ステップ１０５）同一文書内共起による頻度算出部９は、文書解析部２によって解析済みの文書を入力として、文書内の全ての文書について以下の処理を行う。
【００４９】
まず、文書内全ての重複を除いた候補表現について、候補表現頻度表記憶部４の候補表現頻度表のその語のエントリの文書出現数のカラムに１を加える。もし、文書内に少なくとも一つの地名と少なくとも一つの候補表現が出現している場合、それらの地名と候補表現から構成される全ての地名−候補表現の対について以下の処理を行う。
【００５０】
まず、地名の含意する範囲に含まれるメッシュ番号一覧を算出する。メッシュ頻度表記憶部５の文書出現頻度に1/M加える。各メッシュについて、メッシュ−候補表現頻度表記憶部３のメッシュ−候補表現頻度表にもし候補表現のエントリがなければ追加する。このとき含まれたメッシュの個数をＭとすると、当該メッシュ−候補表現頻度表の当該候補表現の同一文書内共起頻度に1/Mを加える。
【００５１】
次に、本処理について説明する。
【００５２】
図６は、本発明の一実施の形態における本処理のフローチャートである。
【００５３】
ステップ２０１）  スコア算出部１０は、利用者の示す注目地理範囲を入力として、候補表現がその注目範囲に特徴的に偏って出現しているかどうかを示すスコアを出力部１１に出力する。以下に手順を示す。
【００５４】
同一文内での共起、同一段落内での共起、一方が文書の見出し中で他方が本文のどこかである場合の共起、同一文書内の共起それぞれの重みパラメータを、α、β、γ、δとし、事前に定めておく。また、根拠とするに十分な頻度パラメータをｋとし、事前に定めておく。
【００５５】
まず、同一文書内共起について以下の手順により、統計的に偏って出現しているような候補表現があるかどうかを判定する。
【００５６】
１．根拠頻度数ｚを初期化する（ｚ＝０）。
【００５７】
２．文の総数をｎとする（n=０）。
【００５８】
３．メッシュ頻度表記憶部５のメッシュ頻度表を参照し、入力として与えられた注目地理範囲に含まれるメッシュについての、重み付き文出現頻度の和（ｋ）を求める。
【００５９】
４．メッシュ−候補表現頻度表記憶部３のメッシュ−候補表現頻度表を参照し、入力として与えられた注目地理範囲に含まれるメッシュ内で出現する候補表現ｉの集合Ｉを得る。
【００６０】
５．集合Ｉ内の各候補表現ｉについて以下を繰り返す。
【００６１】
５−１．候補表現頻度表記憶部４の候補表現頻度表を参照し、ｉの文出現頻度ｓｉを得る。
【００６２】
５−２．メッシュ−候補表現頻度表記憶部３のメッシュ−候補表現頻度表を参照し、注目地理範囲内でのｉの重み付き文出現頻度の和ｒｉを求める。
【００６３】
５−３．上記のｎ，ｋ，ｓｉ，ｒｉを用いて、図７のような２×２分割表の各値Ａ，Ｂ，Ｃ，Ｄを以下の式により算出する。
【００６４】
【数１】
2014021861.tif 000003
【数２】
2014021861.tif 000004
【００６５】
５−５．ｉのスコアＳ（ｉ）をＳ（ｉ）＝αＸ（ｉ）とする。
【００６６】
６．上記の全ての候補ｉについて、Ｘ（ｉ）を求めた後、Ｘ（ｉ）が最大となったｉの注目範囲内での頻度であるｒｉをｚに加える。
【００６７】
上記手順において、ｚがパラメータｋを越えれば処理を終え、Ｓ（ｉ）とｉの対のリストを出力し、スコア算出部１０の処理を終える。
【００６８】
もし、ｚがｋを越えなければ、次の抽出基準である、同一段落内での共起について、上記と同様の処理を行う。但し、ｉのスコアＳ（ｉ）はこれまでのスコアにβＸ（ｉ）を加えた値、すなわちＳ（ｉ）＝Ｓ（ｉ）＋βＸ（ｉ）とする。
【００６９】
以下同様に、ｚが越えるまで処理を繰り返し、最終的な抽出基準である同一文書内共起までを行ったＳ（ｉ）とｉの対のリストを出力する。
【００７０】
なお、見出し−本文関係での共起の場合は、候補表現頻度表及びメッシュ頻度表の参照においては、文書出現頻度のカラムを利用する。
【００７１】
出力部１１は、スコア算出部１０によって得られた候補表現とそのスコアについて、スコアが高いものから順に、事前に定めら得た数Ｎ件を本装置の出力として出力する。
【００７２】
上記のように、本発明は、地名と候補表現の対において、量は少ないが質の高い対と、量は多いが質が低い対があること、及び地名に応じたキーワードを推薦するには統計的な根拠として十分な数が必要であることに着目し、複数の基準を段階的に適用することで、高品質な推薦キーワードを決定することが可能となる。
【００７３】
本発明は、図１に示す文書検索キーワード提示装置の構成要素の動作をプログラムとして構築し、文書検索キーワード提示装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００７４】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【符号の説明】
【００７５】
１  文書ＤＢ
２  文書解析部
３  メッシュ−候補表現頻度表記憶部
４  候補表現頻度表記憶部
５  メッシュ頻度表記憶部
６  同一文書内共起による頻度算出部
７  同一段落内共起による頻度算出部
８  見出し−本文関係での共起による頻度算出部
９  同一文書内共起による頻度算出部
１０  スコア算出部
１１  出力部
【図１】
2014021861.tif 000005
【図２】
2014021861.tif 000006
【図３】
2014021861.tif 000007
【図４】
2014021861.tif 000008
【図５】
2014021861.tif 000009
【図６】
2014021861.tif 000010
【図７】
2014021861.tif 000011