(57)【要約】【課題】効率的に関連語辞書を作成するための関連語辞書作成システム、関連語辞書作成方法及び関連語辞書作成プログラムを提供する。【解決手段】管理システム２０は、複数の文書からなる文書セットにおいて関連語組を特定する制御部２１と、関連語組を記録する辞書記憶部２４とを備える。制御部２１が、文書セットを構成する複数の文書から、サンプリング文書数の文書で構成したサブ文書群を生成し、前記各サブ文書群において、前記サブ文書群に含まれる単語を用いて単語組を生成し、前記単語組が出現する文書数に応じて出現率を算出し、前記各サブ文書群において、前記出現率に応じて特定した各単語組を関連語組として辞書記憶部２４に記録する。【選択図】図１
2020181367.tif 000002
【特許請求の範囲】
【請求項１】
複数の文書からなる文書セットにおいて関連語組を特定する制御部と、
関連語組を記録する辞書記憶部とを備えた関連語辞書作成システムであって、
前記制御部が、
前記文書セットから、サンプリング文書数の文書を抽出して、複数のサブ文書群を生成し、
前記各サブ文書群において、前記サブ文書群に含まれる単語を用いて単語組を生成し、前記単語組が出現する文書数に応じて出現率を算出し、
前記各サブ文書群において、前記出現率に応じて特定した各単語組を関連語組として前記辞書記憶部に記録することを特徴とする関連語辞書作成システム。
【請求項２】
前記制御部が、共起分析により、サブ文書群毎に単語組を生成することを特徴とする請求項１に記載の関連語辞書作成システム。
【請求項３】
前記制御部が、前記辞書記憶部に記録する関連語組の総数、前記文書セットを構成する文書数、前記サンプリング文書数を用いて、各サブ文書群から抽出する関連語組を特定することを特徴とする請求項１又は２に記載の関連語辞書作成システム。
【請求項４】
前記制御部が、ランダムに選択したサブ文書群において、前記単語組の出現率を算出し、前記出現率の標準偏差及び許容誤差を用いて、前記サンプリング文書数が統計学的に有意かどうかを判定することを特徴とする請求項１〜３のいずれか一項に記載の関連語辞書作成システム。
【請求項５】
前記制御部が、前記サンプリング文書数が、統計学的に有意でないと判定した場合、前記単語組の出現率及びサブ文書数、許容誤差を用いて、前記サンプリング文書数を変更することを特徴とする請求項４に記載の関連語辞書作成システム。
【請求項６】
前記制御部が、前記文書セットにおいて不要部分を削除することを特徴とする請求項１〜５のいずれか一項に記載の関連語辞書作成システム。
【請求項７】
前記制御部が、前記辞書記憶部に記録された関連語組を構成する単語をノードとして、前記関連語組を構成する他の単語をリンクさせた関連性を表示するグラフを生成することを特徴とする請求項１〜６のいずれか一項に記載の関連語辞書作成システム。
【請求項８】
複数の文書からなる文書セットにおいて関連語組を特定する制御部と、
関連語組を記録する辞書記憶部とを備えた関連語辞書作成システムを用いて、関連語辞書を作成する方法であって、
前記制御部が、
前記文書セットから、サンプリング文書数の文書を抽出して、複数のサブ文書群を生成し、
前記各サブ文書群において、前記サブ文書群に含まれる単語を用いて単語組を生成し、前記単語組が出現する文書数に応じて出現率を算出し、
前記各サブ文書群において、前記出現率に応じて特定した各単語組を関連語組として前記辞書記憶部に記録することを特徴とする関連語辞書作成方法。
【請求項９】
複数の文書からなる文書セットにおいて関連語組を特定する制御部と、
関連語組を記録する辞書記憶部とを備えた関連語辞書作成システムを用いて、関連語辞書を作成するプログラムであって、
前記制御部を、
前記文書セットから、サンプリング文書数の文書を抽出して、複数のサブ文書群を生成し、
前記各サブ文書群において、前記サブ文書群に含まれる単語を用いて単語組を生成し、前記単語組が出現する文書数に応じて出現率を算出し、
前記各サブ文書群において、前記出現率に応じて特定した各単語組を関連語組として前記辞書記憶部に記録する手段として機能させることを特徴とする関連語辞書作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関連性がある複数の単語を登録した辞書を作成するための関連語辞書作成システム、関連語辞書作成方法及び関連語辞書作成プログラムに関する。
【背景技術】
【０００２】
インターネットやデータベースにおけるテキスト検索では、ユーザが入力したキーワードを用いて検索を行なう。ここで、満足のいく検索結果が得られない場合には、他のキーワードを用いて検索を繰り返すことがある。この場合、関連性がある単語を記憶した関連語辞書を利用する場合もある。また、検索時に、ユーザが入力したキーワードに対して、ユーザが興味を持ちそうな関連語を提示し、この関連語による検索の機会を与えることも可能である。このような関連語についての辞書を作成するための技術も検討されている（例えば、特許文献１，２）。
【０００３】
特許文献１に記載された技術では、２つの単語とそれら単語間の関係を表す関係名とを示す関係項目データを複数含んだ概念辞書データを参照し、キーワードが含まれる関係項目データから関係名とキーワードとは異なる単語との組を抽出する。さらに、概念辞書データを参照し、概念辞書データ内の単語を関連語候補とすると、各関連語候補について、関連語候補が含まれる関係項目データから関係名と関連語候補とは異なる単語との組を抽出する。そして、関連語候補について抽出した関係名及び単語の組の中に、キーワードについて抽出したいずれかの関係名及び単語の組に一致する組がある場合、その関連語候補を関連語として出力する。
【０００４】
また、特許文献２に記載された技術では、メタデータが付された二つ一組の画像を入力し、二つ一組でサーバに入力された画像のそれぞれに付されたメタデータの組合せ毎に、メタデータ共起頻度テーブルの共起頻度に「１」を加算する。そして、メタデータ共起頻度テーブルを参照しながら、共起頻度に基づく式を用いて、単語同士の関連スコアを算出する。スコア算出部で算出された関連スコアをもって関連語辞書テーブルを更新する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−１３０１１１号公報
【特許文献２】特開２００９−２６６０６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の先行技術のように、共起分析により、複数の単語群からなる組み合わせを生成して、関連語を特定することも可能である。しかしながら、関連語を増やすために、大量の文書に含まれる単語を用いて共起分析を行なう場合、文書中の単語数のべき乗で、システム負荷が大きくなる。また、大半の単語の組み合わせも出現頻度が少ない。一方、出現頻度を、文書の部分毎に算出することも可能であるが、これでは、文書全体を反映させた評価ができない場合がある。更に、全単語の組み合わせを生成した後で、出現頻度を計算していたのでは、システム負荷が大きくなる。
【課題を解決するための手段】
【０００７】
上記課題を解決する関連語辞書作成システムは、複数の文書からなる文書セットにおいて関連語組を特定する制御部と、関連語組を記録する辞書記憶部とを備える。そして、前記制御部が、前記文書セットから、サンプリング文書数の文書を抽出して、複数のサブ文書群を生成し、前記各サブ文書群において、前記サブ文書群に含まれる単語を用いて単語組を生成し、前記単語組が出現する文書数に応じて出現率を算出し、前記各サブ文書群において、前記出現率に応じて特定した各単語組を関連語組として前記辞書記憶部に記録する。
【発明の効果】
【０００８】
本発明によれば、効率的に関連語辞書を作成することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態のシステム概略図。
【図２】本実施形態のハードウェア構成の説明図。
【図３】本実施形態の処理手順の説明図。
【図４】本実施形態の処理手順の説明図。
【図５】本実施形態の処理手順の説明図であって、（ａ）は文書全体を用いて関連語組を特定する手順、（ｂ）はサブ文書群に分けて関連語組を特定する手順の説明図。
【発明を実施するための形態】
【００１０】
以下、図１〜図５を用いて、関連語辞書作成システム、関連語辞書作成方法及び関連語辞書作成プログラムの一実施形態を説明する。
まず、図５を用いて、関連語辞書作成方法の概念を説明する。
図５（ａ）に示すように、共起分析により、膨大な文書セットＤ１に含まれる単語を組み合わせた単語組ＷＳ１１を生成し、この単語組ＷＳ１１を用いて、関連語組ＷＳ１２を特定することを目的とする。この共起分析においては、任意の文や文章に、単語組ＷＳ１１において、ある単語とある単語とが同時に出現する頻度が高い組み合わせにより、関連語組ＷＳ１２を生成する。ここで、文書セットＤ１のサイズが大きい場合、膨大な単語組ＷＳ１１が生成されるため、データ分析の負荷が大きくなる。
【００１１】
そこで、図５（ｂ）に示すように、文書セットＤ１をサブ文書群ＳＤ１に分けて、サブ文書群ＳＤ１毎に共起分析を行なうことにより、各サブ文書群ＳＤ１において単語組ＷＳ２１を生成する。そして、各サブ文書群ＳＤ１の単語組ＷＳ２１において、出現率（出現指標値）が高い関連語組ＷＳ２２を特定する。この場合、単語組ＷＳ１１から生成した関連語組ＷＳ１２と、単語組ＷＳ２１から生成した関連語組ＷＳ２２とが、実質的に一致するように、関連語辞書の作成を行なう。
図１に示すように、この関連語辞書の作成のために管理システム２０を用いる。
【００１２】
（ハードウェア構成の説明）
図２を用いて、管理システム２０を構成する情報処理装置Ｈ１０のハードウェア構成を説明する。情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶部Ｈ１４、プロセッサＨ１５を備える。なお、このハードウェア構成は一例であり、他のハードウェアにより実現することも可能である。
【００１３】
通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースカードや無線インタフェース等である。
【００１４】
入力装置Ｈ１２は、利用者等からの入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイ等である。
記憶部Ｈ１４は、管理システム２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶部Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。
【００１５】
プロセッサＨ１５は、記憶部Ｈ１４に記憶されるプログラムやデータを用いて、管理システム２０における各処理を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各サービスのための各種プロセスを実行する。
【００１６】
プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、（１）コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ、（２）各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは（３）それらの組み合わせ、を含む回路（circuitry）として構成し得る。プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。
【００１７】
（システム構成）
次に、図１を用いて、管理システム２０のシステム構成を説明する。
管理システム２０は、関連語辞書を作成するためのコンピュータである。この管理システム２０は、制御部２１、文書セット記憶部２２、サブ文書記憶部２３、辞書記憶部２４、ワークメモリ２５を備える。
【００１８】
制御部２１は、制御手段（ＣＰＵ、ＲＡＭ、ＲＯＭ等）を備え、後述する処理（前処理段階、インデックス生成段階、共起分析段階、データ分析段階、出力処理段階等の各処理等）を行なう。そのための関連語辞書作成プログラムを実行することにより、制御部２１は、前処理部２１１、インデックス生成部２１２、共起分析部２１３、データ分析部２１４、出力処理部２１５として機能する。
【００１９】
前処理部２１１は、文書に含まれる不要な情報を削除する処理を実行する。このために、前処理部２１１は、不要な情報を削除するための前処理フィルタを備えている。この前処理部２１１は、初期設定された単語組数ｍ0、単語組の出現率の許容誤差α、サンプリング文書数Ｎを記憶する。ここで、単語組数ｍ0は、辞書に登録する関連語組数である。単語組の出現率の許容誤差αは、サンプリング文書を用いた処理によって算出された単語組が関連語組として抽出されるために必要な出現率の下限値と、サブ文書を用いて生成した単語組のサブ文書における出願率のずれの許容値である。サンプリング文書数Ｎは、サブ文書に含める文書数である。
【００２０】
インデックス生成部２１２は、形態素分析により、文書に含まれる単語を品詞毎に取得する処理を実行する。更に、インデックス生成部２１２は、特定の品詞（ここでは、名詞）のみを抽出するための品詞フィルタを備えている。
【００２１】
共起分析部２１３は、共起分析により、文や文章に含まれる単語組を生成する処理を実行する。
データ分析部２１４は、共起分析により生成した単語組の出現率に応じて、関連語組を特定し、辞書記憶部２４に登録する処理を実行する。
出力処理部２１５は、辞書記憶部２４に登録された関連語組を用いて生成したグラフを表示する処理を実行する。本実施形態では、関連語をノードとして、他の関連語とリンクさせたグラフを生成する。
【００２２】
文書セット記憶部２２には、辞書を作成するために用いる文書セットが記録される。この文書セットは、関連語辞書を作成する前に記録される。この文書セットは、複数の単語により構成された文書（記事）からなる。例えば、文書セットとして事典を用いる場合、見出し語に対応した文書（記事）により構成される。
【００２３】
サブ文書記憶部２３には、関連語組の生成に用いるサブ文書が記録される。このサブ文書は、文書セットから、関連語組を生成するために用いる文書を抽出した場合に記録される。このサブ文書は、サンプリング文書数の文書により構成される。
【００２４】
辞書記憶部２４には、生成した関連語組レコードが記録される。この関連語組レコードは辞書作成処理を実行した場合に登録される。この関連語組レコードには、文書セットにおいて出現率が高い単語組が記録される。
【００２５】
ワークメモリ２５は、共起分析部２１３、データ分析部２１４が各処理を行なう場合に各種データを仮記憶するために用いる。
（辞書作成処理）
次に、図３を用いて、辞書作成処理を説明する。
まず、管理システム２０の制御部２１は、辞書作成のための文書セットの取得処理を実行する（ステップＳ１−１）。具体的には、制御部２１の前処理部２１１は、関連語辞書を作成する文書セットを取得し、文書セット記憶部２２に記録する。例えば、事典データベースに記録された複数の記事（文書セット）を取得し、文書セット記憶部２２に記録する。
【００２６】
次に、管理システム２０の制御部２１は、不要部分の削除処理を実行する（ステップＳ１−２）。具体的には、制御部２１の前処理部２１１は、前処理フィルタを用いて、文書セットの中に含まれる不要な情報を削除する。例えば、文書セット中に設定されているタグ等を削除する。
【００２７】
次に、管理システム２０の制御部２１は、サブ文書群の抽出処理を実行する（ステップＳ１−３）。具体的には、制御部２１の前処理部２１１は、文書セットを構成する文書を、所定のサイズに分ける。ここで、前処理部２１１は、関連語辞書作成方法において統計学的に有意な数（サンプリング文書数Ｎ）を決定する。次に、前処理部２１１は、決定したサンプリング文書数の文書を、文書セットからランダムに抽出して、各サブ文書群を生成し、サブ文書記憶部２３に記録する（第１サンプリング処理）。この第１サンプリング処理については、図４を用いて後述する。
【００２８】
次に、管理システム２０の制御部２１は、サブ文書記憶部２３に記録されたサブ文書群毎に以下の処理を繰り返す。
ここでは、管理システム２０の制御部２１は、形態素分析により名詞の抽出処理を実行する（ステップＳ１−４）。具体的には、制御部２１のインデックス生成部２１２は、サブ文書群に含まれる単語において名詞を特定する。
【００２９】
次に、管理システム２０の制御部２１は、単語組の作成処理を実行する（ステップＳ１−５）。具体的には、制御部２１の共起分析部２１３は、抽出した名詞を用いて、共起分析により単語組を生成し、ワークメモリ２５に仮記録する。ここでは、名詞の中で、同じ文に含まれる単語組を生成する。
【００３０】
次に、管理システム２０の制御部２１は、単語組の出現率の算出処理を実行する（ステップＳ１−６）。具体的には、制御部２１の共起分析部２１３は、ワークメモリ２５に仮記録された各単語組の出現数をカウントする。そして、共起分析部２１３は、各単語組の出現数を、全単語組の出現数で除算することにより、各単語組の出現率を算出する。
【００３１】
次に、管理システム２０の制御部２１は、出現率に応じて単語組の抽出処理を実行する（ステップＳ１−７）。具体的には、制御部２１のデータ分析部２１４は、出現率が高い順番に単語組を関連語組として抽出する（第２サンプリング）。そして、データ分析部２１４は、抽出した関連語組を出現率に関連付けて、ワークメモリ２５に仮記憶する。
以上の処理を、すべてのサブ文書群について終了するまで繰り返す。
【００３２】
次に、管理システム２０の制御部２１は、関連語組の集計処理を実行する（ステップＳ１−８）。具体的には、制御部２１のデータ分析部２１４は、ワークメモリ２５に仮記憶したすべての関連語組の中で、同じ関連語組が複数登録されている場合には、最も高い出現率に関連付けられた関連語組のみを残す。次に、データ分析部２１４は、出現率に応じて、関連語組を並び替える。そして、出現率が高い順番に、単語組数ｍ0の関連語組を特定して、辞書記憶部２４に記録する。
【００３３】
次に、管理システム２０の制御部２１は、グラフ作成処理を実行する（ステップＳ１−９）。具体的には、制御部２１の出力処理部２１５は、辞書記憶部２４に記録された関連語組を構成する各関連語をノードとして、関連語にリンクさせたグラフを生成する。この場合、一つの単語Ａが複数の関連語組に登録されている場合には、この単語Ａを中心として他の関連語にリンクを生成する。
【００３４】
（第１サンプリング処理）
次に、図４を用いて、第１サンプリング処理を説明する。
ここでは、管理システム２０の制御部２１は、変数の設定処理を実行する（ステップＳ２−１）。具体的には、制御部２１の前処理部２１１は、初期設定された単語組数ｍ0、単語組の出現率の許容誤差α、サンプリング文書数Ｎを取得する。
【００３５】
次に、管理システム２０の制御部２１は、サンプリング文書数の文書の抽出処理を実行する（ステップＳ２−２）。ここで、文書セット記憶部２２には、総文書数Ｎ0の文書からなる文書セットが記録されている場合を想定する。そして、制御部２１の前処理部２１１は、この総文書数Ｎ0の文書の中から、サンプリング文書数Ｎの文書を抽出して、文書群を生成する。この文書群は、サンプリング文書数Ｎを決定するための文書群であるため、サンプル文書群と呼ぶ。
【００３６】
次に、管理システム２０の制御部２１は、ステップＳ１−４と同様に、形態素分析により名詞の抽出処理を実行する（ステップＳ２−３）。
次に、管理システム２０の制御部２１は、サンプル文書群を用いて単語組の生成処理を実行する（ステップＳ２−４）。具体的には、制御部２１の前処理部２１１は、サブ文書群において、単語組を生成する。
【００３７】
次に、管理システム２０の制御部２１は、生成した単語組において、順次、処理対象（単語組ｒ）を特定し、以下の処理を繰り返す。
ここでは、管理システム２０の制御部２１は、各単語組が含まれる文書数φの算出処理を実行する（ステップＳ２−５）。具体的には、制御部２１の前処理部２１１は、サンプル文書群において、処理対象の単語組が含まれる文書の出現数φrをカウントする。
【００３８】
次に、管理システム２０の制御部２１は、各単語組の出現率の算出処理を実行する（ステップＳ２−６）。具体的には、制御部２１の前処理部２１１は、単語組ｒについて、文書の出現数φrをサンプリング文書数Ｎで除算することにより、出現率ｐ（ｒk）を算出する。そして、前処理部２１１は、処理対象の単語組に関連付けて出現率をワークメモリ２５に仮記録する。
以上の処理を、すべての単語組について繰り返す。
【００３９】
次に、管理システム２０の制御部２１は、出現率による各単語組のソート処理を実行する（ステップＳ２−７）。具体的には、制御部２１の前処理部２１１は、ワークメモリ２５に仮記録された単語組を、出現率が高い順番に並び替える。
【００４０】
次に、管理システム２０の制御部２１は、サンプル文書群から抽出する単語組数の算出処理を実行する（ステップＳ２−８）。具体的には、制御部２１の前処理部２１１は、下記式１を用いて、サンプル文書群から抽出する単語組数ｋを算出する。
【００４１】
【数１】
2020181367.tif 000003
【００４２】
次に、管理システム２０の制御部２１は、ｋ番目の単語組の出現率の特定処理を実行する（ステップＳ２−９）。具体的には、制御部２１の前処理部２１１は、ワークメモリ２５において出現率が高い順番に並び替えた単語組において、ｋ番目の単語組の出現率を特定する。
【００４３】
次に、管理システム２０の制御部２１は、サンプリング文書数は妥当かどうかについての判定処理を実行する（ステップＳ２−１０）。具体的には、制御部２１の前処理部２１１は、出現率ｐ（rk）、単語組の出現率の許容誤差α、総文書数Ｎ0、サンプリング文書数Ｎを用いて妥当性を判定する。ここで、下記式２が成立する場合には、サンプリング文書数Ｎは妥当と判定する。
【００４４】
【数２】
2020181367.tif 000004
【００４５】
この式２は、以下の計算から導出できる。まず、単語組ｒkの真の出現率を真出現率tｐ（rk）、前処理部２１１で算出した単語組ｒkの出現率を出現率ｐ（rk）と表わす。
ここで、真出現率tｐ（rk）は不明であるが、真出現率tｐ（rk）と出現率ｐ（rk）とが等しいと仮定してサンプリングの対象とならなかった文書群（ΔＮ＝Ｎ0−Ｎ）に対して、単語組ｒkの個数と、単語組ｒkがその個数となる確率の分布は厳密には二項分布Bin（ΔＮ，ｐ（rk））に従う。ここで、ΔＮが大きい場合、以下の正規分布で近似できる。
【００４６】
【数３】
2020181367.tif 000005
【００４７】
具体的には、真出現率tｐ（ｒk）と出現率ｐ（ｒk）との差の絶対値が、単語組の出現率の許容誤差α未満となる確率が統計学的に見てサンプリングが有効とみなせる確率（９５％）となる場合、単語組の出現率の許容誤差αが標準偏差の２倍未満となり、下記式３が成立する。
【００４８】
【数４】
2020181367.tif 000006
【００４９】
サンプリング文書数は妥当でないと判定した場合（ステップＳ２−１０において「ＮＯ」の場合）、管理システム２０の制御部２１は、サンプリング文書数の変更処理を実行する（ステップＳ２−１１）。具体的には、制御部２１の前処理部２１１は、下記式４を用いて、サンプリング文書数を変更する。
【００５０】
【数５】
2020181367.tif 000007
【００５１】
ここで、［ｘ］はｘを超えない最大の整数を表す。
そして、管理システム２０の制御部２１は、ステップＳ２−２の処理に戻る。
一方、サンプリング文書数は妥当と判定した場合（ステップＳ２−１０において「ＹＥＳ」の場合）、管理システム２０の制御部２１は、文書セットの分割処理を実行する（ステップＳ２−１２）。具体的には、制御部２１の前処理部２１１は、文書セットから、妥当と判定したサンプリング文書数Ｎの文書をランダムに抽出して、複数のサブ文書群を生成する。
【００５２】
以上、本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態によれば、管理システム２０の制御部２１は、不要部分の削除処理を実行する（ステップＳ１−２）。これにより、文書セットに含まれる不要情報に基づいて、関連語辞書に対するノイズの混入を防止できる。
【００５３】
（２）本実施形態によれば、管理システム２０の制御部２１は、サブ文書群の抽出処理を実行する（ステップＳ１−３）。これにより、文書セットを、統計学的に有意な数の文書で構成したサブ文書に分けることにより、膨大な文書セットを小分けにして処理することができる。そして、１回の処理に必要なメモリ容量を削減することができる。
【００５４】
（３）本実施形態によれば、形態素分析により名詞の抽出処理（ステップＳ１−４）、単語組の作成処理（ステップＳ１−５）を実行する。これにより、サブ文書群において、関連語組の候補となる単語組を生成することができる。
【００５５】
（４）本実施形態によれば、管理システム２０の制御部２１は、単語組の出現率の算出処理（ステップＳ１−６）、出現率に応じて単語組の抽出処理（ステップＳ１−７）、関連語組の集計処理（ステップＳ１−８）を実行する。これにより、サブ文書群において、出現率に応じて、関連語辞書に用いる単語組を抽出することができる。
【００５６】
（５）本実施形態によれば、管理システム２０の制御部２１は、グラフ作成処理を実行する（ステップＳ１−９）。これにより、相互に関連する単語の関連性を視覚的にグラフ表示することができる。
【００５７】
（６）本実施形態によれば、管理システム２０の制御部２１は、サンプリング文書群から抽出する単語組数の算出処理（ステップＳ２−８）、ｋ番目の単語組の出現率の特定処理（ステップＳ２−９）、サンプリング文書数は妥当かどうかについての判定処理（ステップＳ２−１０）を実行する。これにより、サンプリング文書数の妥当性を判定することができる。例えば、サンプリング文書数が小さすぎる場合には、サブ文書群において文書セットを代表する単語組を抽出することができない。一方、サンプリング文書数が大きすぎる場合には、サブ文書群において文書セットを代表する単語組を抽出することができるが、処理に必要なメモリ容量が大きくなる。そして、妥当性判定により、文書セットの特徴を反映させたサブ文書群を生成することができる。
【００５８】
（７）本実施形態によれば、サンプリング文書数は妥当でないと判定した場合（ステップＳ２−１０において「ＮＯ」の場合）、管理システム２０の制御部２１は、サンプリング文書数の変更処理を実行する（ステップＳ２−１１）。これにより、サンプリング文書数を調整することができる。
【００５９】
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、事典データベースに記録された複数の記事を用いて関連語辞書を作成する。関連語辞書の作成対象は、記事に限定されるものではない。例えば、インターネットで公開されている情報を用いることができる。
・上記実施形態では、特定の品詞として、名詞を用いて関連語組を生成するが、品詞は名詞に限定されるものではない。例えば、形容詞同士のように、名詞以外の品詞の組み合わせや、名詞と動詞のように、異なる品詞との組み合わせ等、任意の品詞を組み合わせて関連語組を生成することができる。
【００６０】
・上記実施形態では、第１サンプリング処理において、サンプリング文書数を決定する。サンプリング文書数の決定方法はこれに限定されるものではない。例えば、ワークメモリ２５の大きさに基づいて、サンプリング文書数の初期値を変更してもよい。
【００６１】
１個の文書の単語数の分布は、総文書数Ｎ0のオーダーの計算量で調べることができる。そこで、まず、各文書に含まれる単語について、平均の単語組数ｍ0及び標準偏差σmを計算する。また、サンプリングの対象となった文書群に対して１個の文書あたりの平均単語数ｍを計算する。
【００６２】
そして、下記条件を満たす場合、適切なサンプリングが行なわれていると判定できる。
【００６３】
【数６】
2020181367.tif 000008
【００６４】
また、文書属性に基づいて、サンプリング文書数の初期値を変更するようにしてもよい。この場合には、文書属性として、文書セットに含まれる単語の長さ分布を用いてもよい。この場合、下記式５を用いて、Ｎの上限を決める。
【００６５】
【数７】
2020181367.tif 000009
【００６６】
・上記実施形態では、管理システム２０の制御部２１は、形態素分析により名詞の抽出処理を実行する（ステップＳ１−４）。ここで、関連語辞書を更新する場合には、過去の計算結果を残して、新たな文書を追加した場合に利用するようにしてもよい。この場合には、辞書作成処理において算出した出現率の中で、辞書に関連語組として登録した単語組について、最も低い出現率（基準確率）を、管理システム２０に記憶させておく。そして、関連語辞書の作成後、サンプリング文書数Ｎになるまで文書を蓄積する。蓄積された文書群について、辞書への追加処理を行なう場合、文書群に対して共起分析を行ない、各単語組の出現率を算出する。この出現率が、基準確率以上であれば、関連語組として追加登録する。これにより、最初から辞書作成処理を再実行する全面改訂の場合よりも、計算負荷を軽減することができる。
【００６７】
・上記実施形態では、管理システム２０の制御部２１は、関連語組の集計処理を実行する（ステップＳ１−８）。この場合、ワークメモリ２５に仮記憶した出現率を用いて、辞書記憶部２４に記録する関連語組を特定する。ここで、同じ関連語組が複数登録されている場合には、最も高い出現率に関連付けられた関連語組のみを残す。集計方法は、これに限定されるものではない。関連語組が複数登録されている場合には、出現率の平均値や、最も低い出現率に関連付けられた関連語組を用いてもよい。
また、集計処理において、出現指標値として出現率を用いる場合に限定されるものではなく、単語組の出現状況を表す指標を用いることができる。例えば、単語組の出現数に応じて、辞書記憶部２４に記録する関連語組を特定してもよい。この場合には、第２サンプリングにおいて、制御部２１は、抽出した関連語組を、サブ文書群における出現数に関連付けて、ワークメモリ２５に仮記憶する。次に、集計処理において、制御部２１は、ワークメモリ２５に同じ単語組を複数、検知した場合には、同じ単語組の出現数を合計する。次に、制御部２１は、合計した出現数に応じて、関連語組を並び替える。そして、出現数が多い順番に、単語組数ｍ0の関連語組を特定して、辞書記憶部２４に記録する。
【符号の説明】
【００６８】
２０…管理システム、２１…制御部、２１１…前処理部、２１２…インデックス生成部、２１３…共起分析部、２１４…データ分析部、２１５…出力処理部、２２…文書セット記憶部、２３…サブ文書記憶部、２４…辞書記憶部、２５…ワークメモリ。
【図１】
2020181367.tif 000010
【図２】
2020181367.tif 000011
【図３】
2020181367.tif 000012
【図４】
2020181367.tif 000013
【図５】
2020181367.tif 000014
【手続補正書】
【提出日】令和2年8月12日(2020.8.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項３
【補正方法】変更
【補正の内容】
【請求項３】
前記制御部が、前記辞書記憶部に記録する関連語組の総数、前記文書セットを構成する文書数及び前記サンプリング文書数を用いて、各サブ文書群から抽出する関連語組を特定することを特徴とする請求項１又は２に記載の関連語辞書作成システム。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項５
【補正方法】変更
【補正の内容】
【請求項５】
前記制御部が、前記サンプリング文書数が、統計学的に有意でないと判定した場合、前記単語組の出現率、サブ文書数及び許容誤差を用いて、前記サンプリング文書数を変更することを特徴とする請求項４に記載の関連語辞書作成システム。