(57)【要約】【課題】類義語／関連語を良好な効率および精度で抽出する。【解決手段】語彙抽出支援システム１０において、処理対象の文書アーカイブ、および語彙間の関係性を規定した辞書を保持する記憶装置１０１と、前記文書アーカイブが含む文書を、前記辞書に照合して所定語彙間の関係性に関する構造化データ候補を生成する処理、前記構造化データ候補の確からしさに応じて当該構造化データ候補の正当性判定を行う処理、および前記正当性判定の結果に基づき当該構造化データ候補を前記辞書に追加する処理、を実行する演算装置１０４を含む構成とする。【選択図】図１
2020095452.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の文書アーカイブ、および語彙間の関係性を規定した辞書を保持する記憶装置と、
前記文書アーカイブが含む文書を、前記辞書に照合して所定語彙間の関係性に関する構造化データ候補を生成する処理、前記構造化データ候補の確からしさに応じて当該構造化データ候補の正当性判定を行う処理、および前記正当性判定の結果に基づき当該構造化データ候補を前記辞書に追加する処理、を実行する演算装置と、
を含む語彙抽出支援システム。
【請求項２】
前記演算装置は、
前記構造化データ候補を生成するに際し、ユーザ指定の語彙セットを含む複数の文書を前記文書アーカイブから抽出し、当該複数の文書それぞれについて異なるアルゴリズムで前記構造化データ候補を生成し、当該構造化データ候補のうち確からしさが所定レベル以下のものについて、当該構造化データ候補の生成主体とは異なるアルゴリズムに紐付いた前記正当性判定を行い、当該構造化データ候補の正否を確定させるものである、
ことを特徴とする請求項１に記載の語彙抽出支援システム。
【請求項３】
前記演算装置は、
前記複数の文書を前記文書アーカイブから抽出するに際し、前記語彙セットを含む文書のうち、ユーザ指定の文書属性に適合する文書を抽出するものである、
ことを特徴とする請求項２に記載の語彙抽出支援システム。
【請求項４】
前記演算装置は、
前記文書アーカイブが含む全文書それぞれについて、前記構造化データ候補を生成して、当該構造化データ候補の群を前記確からしさが異なるよう分類し、当該分類の結果に応じて、前記構造化データ候補に対応する文書を、前記異なるアルゴリズムの処理対象とするものである、
ことを特徴とする請求項２に記載の語彙抽出支援システム。
【請求項５】
前記演算装置は、
前記正当性判定による前記構造化データ候補の正否である、誤検出または正当検出に関し寄与した特徴量および文書を所定アルゴリズムで分析し、当該分析結果をもとに低品質と評価された特徴量および文書のフィルタリングを実行するものである、
ことを特徴とする請求項２に記載の語彙抽出支援システム。
【請求項６】
処理対象の文書アーカイブ、および語彙間の関係性を規定した辞書を保持する記憶装置を備えた情報処理システムが、
前記文書アーカイブが含む文書を、前記辞書に照合して所定語彙間の関係性に関する構造化データ候補を生成する処理、前記構造化データ候補の確からしさに応じて当該構造化データ候補の正当性判定を行う処理、および前記正当性判定の結果に基づき当該構造化データ候補を前記辞書に追加する処理、
を実行する語彙抽出支援方法。
【請求項７】
前記情報処理システムが、
前記構造化データ候補を生成するに際し、ユーザ指定の語彙セットを含む複数の文書を前記文書アーカイブから抽出し、当該複数の文書それぞれについて異なるアルゴリズムで前記構造化データ候補を生成し、当該構造化データ候補のうち確からしさが所定レベル以下のものについて、当該構造化データ候補の生成主体とは異なるアルゴリズムに紐付いた前記正当性判定を行い、当該構造化データ候補の正否を確定させる、
ことを特徴とする請求項６に記載の語彙抽出支援方法。
【請求項８】
前記情報処理システムが、
前記複数の文書を前記文書アーカイブから抽出するに際し、前記語彙セットを含む文書のうち、ユーザ指定の文書属性に適合する文書を抽出する、
ことを特徴とする請求項７に記載の語彙抽出支援方法。
【請求項９】
前記情報処理システムが、
前記文書アーカイブが含む全文書それぞれについて、前記構造化データ候補を生成して、当該構造化データ候補の群を前記確からしさが異なるよう分類し、当該分類の結果に応じて、前記構造化データ候補に対応する文書を、前記異なるアルゴリズムの処理対象とする、
ことを特徴とする請求項７に記載の語彙抽出支援方法。
【請求項１０】
前記情報処理システムが、
前記正当性判定による前記構造化データ候補の正否である、誤検出または正当検出に関し寄与した特徴量および文書を所定アルゴリズムで分析し、当該分析結果をもとに低品質と評価された特徴量および文書のフィルタリングを実行する、
ことを特徴とする請求項７に記載の語彙抽出支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、語彙抽出支援システムおよび語彙抽出支援方法に関するものである。
【背景技術】
【０００２】
企業等における品質管理部門やカスタマーサービス部門では、製品やサービスにおける障害や故障などの発生に伴うユーザからの各種問い合わせ、或いは、設計部門からの製品コード改修時の改修リスク指摘などに対応し、所定の文書アーカイブから類似文書（障害報告者や設計書）を検索する。
【０００３】
そこで、こうした類似文書の検索を容易にするため、検索キーワードの類義語／関連語を当該ユーザに提示し、適宜なものを選択させ、検索の効率・精度を向上させる種々の技術が存在する。
【０００４】
このような技術に関連したものとしては、例えば、非学習データ集合から機械学習用データを生成する機械学習用データ生成システムであって、評価の付与された機械学習用データを初期データとして保持する初期データ保持手段と、前記初期データから学習データを生成する学習データ生成手段と、評価の付与されていない非学習データを保持する非学習データ保持手段と、学習データを用いて機械学習を行なう機械学習手段と、前記機械学習手段による学習結果を基に非学習データの評価予測を行ない、さらに予測された評価の確信度を出力する評価手段と、評価の確信度が所定の条件を満たす非学習データを初期データ保持手段に追加する初期データ更新手段と、を具備することを特徴とする機械学習用データ生成システム（特許文献１参照）などが提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−９２２５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方、上述のごとく類義語や関連語を提示するためには、所定の文書アーカイブ内の文書から類義語／関連語の抽出を予め行う必要がある。
【０００７】
そした処理に関する基本技術としては、例えば、文書アーカイブの文書における形態素解析結果を予め定めた所定辞書（語彙間の関係性を規定した構造化データ）や名寄せ用情報（ｓｙｎｏｎｙｍ辞書）に適用し、語彙間の関係性を特定するもの（例えば、図２２参照）が提案されている（参考：“Incremental knowledge base construction using DeepDive”,The VLDB Journal 2017,Volume26,pp.81-105)。
【０００８】
上述の技術によれば、或る文書(Input)に含まれる語彙１と語彙２のセット（構造化データ候補：candidate）に関して、その間に存在する語彙(Words in between)とその距離(distance)といった特徴量（feature）を抽出し、これらを過去の知見である機械学習データ(Knowledge DB)に照合して正否（label）を判定し、当該語彙セットの関係性の存在確率(probability)をシステムが推定する
【０００９】
また、この推定結果の正誤については、類義語／関連語抽出に関するドメインエキスパートが判定し、この判定結果に応じた根拠データの要求がデータサイエンティストになされる。
【００１０】
データサイエンティストは、該当データを特定して上述のドメインエキスパートに提供するとともに、上述の存在確率推定で誤りが生じた原因を検討し、対策案を策定する。またこれに伴い、類義語／関連語の抽出アルゴリズムの改変と、文書アーカイブへの教師文書データの追加等を行うこととなる。
【００１１】
こうした、ドメインエキスパートによる正誤判定、ドメインエキスパートおよびデータサイエンティストによる作業（根拠データの要求と提示、原因検討と対策案策定）、データサイエンティストによる抽出アルゴリズムの改変、教師文書データの追加、は類義語／関連語の抽出精度向上に必要な処理ではあるが、工数増大の大きな要因ともなっている。
そこで本発明の目的は、類義語／関連語を良好な効率および精度で抽出する技術を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決する本発明の語彙抽出支援システムは、処理対象の文書アーカイブ、および語彙間の関係性を規定した辞書を保持する記憶装置と、前記文書アーカイブが含む文書を、前記辞書に照合して所定語彙間の関係性に関する構造化データ候補を生成する処理、前記構造化データ候補の確からしさに応じて当該構造化データ候補の正当性判定を行う処理、および前記正当性判定の結果に基づき当該構造化データ候補を前記辞書に追加する処理、を実行する演算装置と、を含むものである。
【００１３】
また、本発明の語彙抽出支援方法は、処理対象の文書アーカイブ、および語彙間の関係性を規定した辞書を保持する記憶装置を備えた情報処理システムが、前記文書アーカイブが含む文書を、前記辞書に照合して所定語彙間の関係性に関する構造化データ候補を生成する処理、前記構造化データ候補の確からしさに応じて当該構造化データ候補の正当性判定を行う処理、および前記正当性判定の結果に基づき当該構造化データ候補を前記辞書に追加する処理、を実行するものである。
【発明の効果】
【００１４】
本発明によれば、類義語／関連語を良好な効率および精度で抽出可能となる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態の語彙抽出支援システムの構成例を示す図である。
【図２】本実施形態の管理サーバの構成例を示す図である。
【図３】本実施形態の構造化データ生成サーバの構成例を示す図である。
【図４】本実施形態の抽出relation情報の構成例を示す図である。
【図５】本実施形態のhidden relation候補の構成例を示す図である。
【図６】本実施形態の文書識別ルールの構成例を示す図である。
【図７】本実施形態における語彙抽出支援方法のフロー例１を示す図である。
【図８】本実施形態における語彙抽出支援方法のフロー例２を示す図である。
【図９】本実施形態における語彙抽出支援方法のフロー例３を示す図である。
【図１０】本実施形態の形態素解析結果の例を示す図である。
【図１１】本実施形態のhidden relation候補の例を示す図である。
【図１２】本実施形態における語彙抽出支援方法のフロー例４を示す図である。
【図１３】本実施形態における語彙抽出支援方法のフロー例５を示す図である。
【図１４】本実施形態の重み情報の例を示す図である。
【図１５】本実施形態における語彙抽出処理概念の例１を示す図である。
【図１６】本実施形態における語彙抽出処理概念の例２を示す図である。
【図１７】本実施形態における語彙抽出支援方法のフロー例６を示す図である。
【図１８】本実施形態における語彙抽出支援方法のフロー例７を示す図である。
【図１９Ａ】本実施形態における出力例１を示す図である。
【図１９Ｂ】本実施形態における出力例２を示す図である。
【図２０】本実施形態における出力例３を示す図である。
【図２１】本実施形態における語彙抽出支援方法のフロー例８を示す図である。
【図２２】語彙抽出の基本技術を示す図である。
【発明を実施するための形態】
【００１６】
−−−システム構成−−−
【００１７】
以下に本発明の実施形態について図面を用いて詳細に説明する。図１は、本実施形態の語彙抽出支援システム１００の構成例を示す図である。図１に示す語彙抽出支援システム１００は、類義語／関連語を良好な効率および精度で抽出するコンピュータシステムである。
【００１８】
ここで例示する語彙抽出支援システム１００は、管理サーバ１００および複数の構造化データ生成サーバ１５０により構成されている。なお、図１では、説明の簡便化のため構造化データ生成サーバ１５０を２つのみ例示したが、２つ以上であれば特に限定はしない。
【００１９】
このうち管理サーバ１００は、例えば、語彙抽出処理業務を担う事業者ないし担当部署が運営するサーバ装置であり、語彙抽出処理の対象となる多数の文書を含む文書アーカイブ１１６、および、構造化データである抽出relation情報１１７を保持している。
また、管理サーバ１００は、文書種別識別部１１０、およびhidden relation抽出精度評価部１１１を機能として有する。
【００２０】
このうち文書種別識別部１１０は、文書アーカイブ１１６が含む各文書を、例えば、ドメインエキスパートが規定した文書識別ルール１１０１（詳細後述）に基づいて分類して、複数の文書セット１６０を生成し、これを構造化データ生成サーバ１５０に配信するものである。
ここで配信される文書セット１６０は、例えば、ドメインエキスパートが指定した属性１１７５（例：装置名−処理名）を備える語彙が含まれる文書となる。
【００２１】
また、hidden relation抽出精度評価部１１１は、構造化データ生成サーバ１５０のhidden relation正当性自動判別部１１３による処理結果を受けて、該当する構造化データ候補を抽出relation情報１１７の辞書すなわち装置名−処理名辞書１１７１に追加するものとなる。
【００２２】
一方、構造化データ生成サーバ１５０は、hidden relation抽出部１１２、およびhidden relation正当性自動判別部１１３を備える。
【００２３】
このうちhidden relation抽出部１１２は、管理サーバ１００の文書種別識別部１１０から配信された文書セット１６０に関して形態素解析を行って語彙群を抽出し、当該語彙群を抽出relation情報１１７の装置名−処理名辞書１１７１やｓｙｎｏｎｙｍ辞書１１７２と照合して、hidden relation候補１６１すなわち構造化データ候補（以下、hidden relation候補）を生成するものである。
【００２４】
なお、このhidden relation抽出部１１２は、ラベリング部１１２１、候補＆特徴量抽出部１１２２、および学習・推論部１１２３から構成される。
【００２５】
上述のラベリング部１１２１は、文書セット１６０に対する形態素解析を実行して語彙
群を抽出し、この語彙群に抽出relation情報１１７の装置名−処理名辞書１１７１、ｓｙｎｏｎｙｍ辞書１１７２を照合することで、当該文書セット１６０に含まれる各語彙にラベルを付与するものである。
【００２６】
例えば、鉄道システムに関する障害報告書が文書セット１６０として文書種別識別部１１０から配信された場合、当該文書セット１６０に関して形態素解析で得た各語彙を、上述の辞書１１７１、１１７２に照合して、障害発生対象の装置名、処理名、日時、表示名、といった属性の値がラベルとして特定できる。勿論、こうした形態はあくまでも一例であり、文書アーカイブ１１６に保持する文書の種類により、様々なものを適宜に想定できる。
【００２７】
また、候補＆特徴量抽出部１１２２は、上述のラベリング部１１２１により得ている各語彙とその属性値に対し、ユーザ指定の属性（抽出relation情報１１７が含む属性１１７５。例えば、装置名−処理名のセット）に合致する語彙セットを構造化データ候補として抽出し、また、この語彙セットに関して所定のアルゴリズムで特徴量抽出を行うものである。
【００２８】
特徴量抽出のアルゴリズムについては、既に述べた基本技術におけるものと同様である。例えば、ある語彙１と語彙２との間に存在するキーワード、および当該キーワードと語彙１、２との距離、といったものが特徴量として想定できるが、特徴量の種類としては勿論これに限定しない。
【００２９】
また、学習・推論部１１２３は、上述の候補＆特徴量抽出部１１２２での一連の処理経緯を踏まえ、文書セット１６０における各語彙セットが示す特徴量から、当該語彙セットすなわち構造化データ候補の正当性に関するラベルが推論できるモデルを学習し、hidden
relation候補１６１の関係存在確率を算出するものである。こうした学習・推論部１１２３の機能自体は上述の基本技術におけるものと同様である。
【００３０】
また、hidden relation正当性自動判別部１１３は、上述のhidden relation抽出部１１２により生成したhidden relation候補１６１の正当性を、その関係存在確率（確からしさ）が所定レベル以下のものについて、正当性を他の構造化データ生成サーバ１５０に問い合わせて確定させるものである。
−−−ハードウェア構成−−−
【００３１】
また、語彙抽出支援システム１０における管理サーバ１００のハードウェア構成は図２に示す如くとなる。すなわち管理サーバ１００は、記憶装置１０１、メモリ１０３、演算装置１０４、入力装置１０５、出力装置１０６、および通信装置１０７、を備える。
このうち記憶装置１０１は、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される。
また、メモリ１０３は、ＲＡＭなど揮発性記憶素子で構成される。
【００３２】
また、演算装置１０４は、記憶装置１０１に保持されるプログラム１０２をメモリ１０３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。
また、入力装置１０５は、ユーザからのキー入力や音声入力を受け付けるキーボードやマウス、或いはマイクである。
また、出力装置１０６は、演算装置１０４での処理データの表示を行うディスプレイ、スピーカー等である。
また、通信装置１０７は、適宜なネットワークと接続して構造化データ生成サーバ１５０との通信処理を担うネットワークインターフェイスカードである。
【００３３】
なお、記憶装置１０１内には、本実施形態の語彙抽出支援システム１０を構成する管理サーバ１００として必要な機能を実装する為のプログラム１０２に加えて、文書アーカイブ１１６および抽出relation情報１１７が少なくとも記憶されている。
【００３４】
また、構造化データ生成サーバ１５０のハードウェア構成例を図３に示す。本実施形態の構造化データ生成サーバ１５０は、記憶装置１５１、メモリ１５３、演算装置１５４、入力装置１５５、出力装置１５６、および通信装置１５７、を備える。
このうち記憶装置１５１は、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される。
また、メモリ１５３は、ＲＡＭなど揮発性記憶素子で構成される。
【００３５】
また、演算装置１５４は、記憶装置１５１に保持されるプログラム１５２をメモリ１５３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵである。
また、入力装置１５５は、ユーザからのキー入力や音声入力を受け付けるキーボードやマウス、或いはマイクである。
また、出力装置１５６は、演算装置１５４での処理データの表示を行うディスプレイ、スピーカー等である。
【００３６】
また、通信装置１５７は、適宜なネットワークと接続して、上述の管理サーバ１００や他の構造化データ生成サーバ１５０との通信処理を担うネットワークインターフェイスカードである。
【００３７】
なお、記憶装置１５１内には、本実施形態の語彙抽出支援システム１０を構成する構造化データ生成サーバとして必要な機能を実装する為のプログラム１５２に加えて、文書セット１６０およびhidden relation候補１６１が少なくとも記憶されている。
−−−データ構造例−−−
続いて、本実施形態の語彙抽出支援システム１０における管理サーバ１００、構造化データ生成サーバ１５０らが用いる情報について説明する。
【００３８】
図４に、本実施形態における抽出relation情報１１７の一例を示す。抽出relation情報１１７は、例えば、ドメインエキスパートから指示を受けた抽出対象の語彙セットすなわち抽出hidden relation種別（例：装置名−処理名）１１７４、装置名−処理名辞書１１７１、hidden relation抽出可能サーバ情報１１７３、およびｓｙｎｏｎｙｍ辞書１１７２といったデータの集合体である。
【００３９】
このうち、装置名−処理名辞書１１７１は、抽出hidden relation種別で指定されたキーワード１「装置名」の辞書、キーワード２「処理名」の辞書、および、それらキーワード１、２の各語彙の組み合わせの存在確率の成否を規定したrelation辞書、を含むものを想定している。
【００４０】
図４にて装置名−処理名辞書１１７１を例示したのは、抽出hidden relation種別１１７４として「装置名−処理名」が指定されており、これに対応する辞書を明示する意図で提示している。従って、抽出hidden relation種別１１７４として別の語彙セットが指定された場合、これに対応する辞書を用いることになる。
【００４１】
また、relation辞書は、該当語彙の組み合わせが、高確率で存在しうる場合「ｔ」（True）、高確率で存在しない場合「ｆ」（false）、の値がセットされている。
【００４２】
また、hidden relation抽出可能サーバ情報１１７３は、構造化データ生成サーバ１５０それぞれのＩＰアドレスなどの情報がセットされている。
【００４３】
また、ｓｙｎｏｎｙｍ辞書１１７２は、上述の装置名−処理名辞書１１７１に含まれる語彙の同義語／類義語を規定した辞書であり、対象語彙とそのｓｙｎｏｎｙｍ（同義語／類義語）とを対としたレコードの集合体である。図４の例では装置名とそのｓｙｎｏｎｙｍ、処理名とそのｓｙｎｏｎｙｍ、のそれぞれについて規定した形態を例示している。
【００４４】
続いて、図５に、本実施形態におけるhidden relation候補１６１の例を示す。このhidden relation候補１６１は、hidden relation抽出部１１２が生成した構造化データ候補であり、語彙セットとその関係存在確率の各値が紐付いたデータとなっている。
【００４５】
図５の例では、一方の語彙であるキーワード１（例：昨日）と他方の語彙であるキーワード２（例：ＴＩＤ）とのセットに関して、その関係存在確率が０〜１の範囲の値として示されている。この関係存在確率が「１」であれば、当該構造化データ候補を構成する語彙セットは高確率で関係性を有し、「０」であれば、当該構造化データ候補を構成する語彙セットは高確率で関係性を有しない（換言すれば、殆ど関係性が無い）、ことを意味する。一方、「０．０２」など、「０」から「１」の間の値は、該当語彙セットに曖昧な関係性があることを示す。
【００４６】
続いて、図６に本実施形態における文書識別ルール１１０１の例を示す。この文書識別ルール１１０１は、文書識別部１１０が備える情報であり、文書アーカイブ１１６における各文書のうち、例えば、ドメインエキスパートが指定する属性のものを抽出するためのルールとなる。
図６の例では、該当文章における表記場所およびその場所に記載のキーワード、の組みとして上述の属性が規定されており、表記場所として、「表紙ページ先頭」、「ヘッダ部」、「先頭１００文字以内」、といった値が規定され、該当場所に記載されているべき「キーワード」として「機能仕様書」、「障害報告書」、「題目：［障害報告］」、といった値が規定されている。
文書識別部１１０は、この文書識別ルール１１０１を、文書アーカイブ１１６の各文書に適用し、当該ルールが適合する複数の文書を抽出することとなる。
−−−フロー例（文書アーカイブからの文書セットの抽出・配信）−−−
【００４７】
以下、本実施形態における語彙抽出支援方法の実際手順について図に基づき説明する。以下で説明する語彙抽出支援方法に対応する各種動作は、語彙抽出支援システム１０を構成する管理サーバ１００や構造化データ生成サーバ１５０らが、そのメモリ等に読み出して実行するプログラムによって実現される。そして、このプログラムは、以下に説明される各種の動作を行うためのコードから構成されている。
【００４８】
図７は、本実施形態における語彙抽出支援方法のフロー例１を示す図である。ここではまず、構造化データ生成サーバ１５０のhidden relation抽出部１１２におけるフローについて説明する。
【００４９】
この場合、hidden relation抽出部１１２は、文書アーカイブ１１６から文書を読み込む（ｓ１０）。また、hidden relation抽出部１１２は、文書識別ルール１１０１にマッチする文書を検索する（ｓ１１）。この文書識別ルール１１０１は、図４にて既に述べたとおりである。
【００５０】
続いて、hidden relation抽出部１１２は、上述のｓ１１での検索結果に基づき、文書識別ルール１１０１に適合する文書群を文書セット１６０として複数特定し、好ましくは
、当該文書セット１６０の属性（例：ファイルタイプやデータ形式など）が互いに異なるよう、当該文書セット１６０の配信先となる構造化データ生成サーバ１５０を決定する（ｓ１２）。
【００５１】
また、hidden relation抽出部１１２は、上述のｓ１２で決定した構造化データ生成サーバ１５０それぞれに、対応する文書セット１６０を配信し（ｓ１３）、処理を終了する。
一方、上述の例とは異なる形で文書セット１６０の配信先を決定する形態も想定できる。図８に、本実施形態における語彙抽出支援方法のフロー例２を示す。
【００５２】
この場合、構造化データ生成サーバ１５０のhidden relation抽出部１１２は、文書アーカイブ１１６の各文書について形態素解析を実行し、この形態素解析の結果と抽出relation情報１１７における装置名−処理名辞書１１７１およびｓｙｎｏｎｙｍ辞書１１７２に基づき、hidden relation候補を抽出する（ｓ１５）。
【００５３】
また、hidden relation抽出部１１２は、ｓ１５で得たhidden relation候補それぞれについて、上述の形態素解析結果および装置名−処理名辞書１１７１、ｓｙｎｏｎｙｍ辞書１１７２に基づき関係存在確率を計算し、これに基づき、各文書においてhidden relation候補の抽出の可否、すなわち抽出のしやすさ（確率）を特定する（ｓ１６）。
【００５４】
例えば、ある文書における、hidden relation候補すなわち語彙セットの出現率と、そのhidden relation候補の関係存在確率とからなるベクトル値といったものを想定できる。
【００５５】
続いて、hidden relation抽出部１１２は、ｓ１６で得たベクトル値に基づいて、各文書のクラスタリングを実行して、当該クラスタリング後の文書セット１６０の配信先、すなわち構造化データ生成サーバ１５０を決定する（ｓ１７）。
上述のクラスタリングは、上述のベクトル値が構造化データ生成サーバ１５０ごとに異なるよう文書を分類し文書セット１６０を構成する処理となる。
【００５６】
また、hidden relation抽出部１１２は、ｓ１７で決定した構造化データ生成サーバ１５０に、対応する文書セット１６０を配信し（ｓ１８）、処理を終了する。
−−−フロー例（hiddenrelation抽出、hiddenrelation正当性自動判別）−−−
【００５７】
続いて、hiddenrelation抽出、およびhiddenrelation正当性自動判別の各処理について説明する。図９に、本実施形態における語彙抽出支援方法のフロー例３を示す。
【００５８】
この場合、hidden relation抽出部１１２は、抽出relation情報１１７を参照し、抽出すべき語彙セットとして抽出hidden relation種別の値、および装置名−処理名辞書１１７１、ｓｙｎｏｎｙｍ辞書１１７２をそれぞれ取得する（ｓ２０）。
【００５９】
また、hidden relation抽出部１１２は、管理サーバ１００の文書識別部１１０から配信を受けた文書セット１６０の各文書に対して形態素解析を実行する（ｓ２１）。
【００６０】
この形態素解析の結果例を図１０に示す。図１０で示す形態素解析結果９００では、文書セット１６０に含まれる各文書のＩＤおよび当該文書に含まれる文書のＩＤをキーに、当該文書に関して得たＷＯＲＤとＬＥＭＭＡ、および品詞が対応付けされた構成となっている。
【００６１】
続いて、hidden relation抽出部１１２は、上述のｓ２１で得た形態素解析結果９００
、およびｓ２０で得た装置名−処理名辞書１１７１およびｓｙｎｏｎｙｍ辞書１１７２に基づき、hidden relation候補１６１を算出する（ｓ２２）。
【００６２】
また、hidden relation抽出部１１２は、上述のｓ２２で得たhidden relation候補１６１に関して、上述の形態素解析結果９００および装置名−処理名辞書１１７１、ｓｙｎｏｎｙｍ辞書１１７２に基づき特徴量を計算する（ｓ２３）。
【００６３】
こうして特徴量を得たhiddenrelation候補１６１の具体例を図１１に示す。図１１で例示するhidden relation候補１６１では、「装置名−処理名」の語彙セットそれぞれについて、その特徴量、ラベル、関係存在確率の各値が規定された形態となっている。
このうち特徴量における、「WORD_IN_BETWEEN」は、キーワード１とキーワード２との間に存在する語彙（記号含む）を示している。
【００６４】
また、「KW1_in_dict」、「KW2_in_dict」は、キーワード１、キーワード２が装置名−処理名辞書１１７１に含まれるか否かを、「ｆ」：含まれない、「ｔ」：含まれる、で示している。
【００６５】
またラベルは、ｓ２４で付与されるもので、例えば、装置名−処理名辞書１１７１およびｓｙｎｏｎｙｍ辞書１１７２に基づき、当該hidden relation候補１６１の語彙セットが同義語／類義語の範疇も含め、装置名−処理名辞書１１７１に規定されているか否かにより判定・付与される。全く規定されていない場合、「ｆ」、規定されている場合に「ｔ」、一方のキーワードのみ規定されているなど不確かな場合に「ｎｉｌ」となる。或いは、関係存在確率の値に応じて定めるとしてもよく、関係存在確率の値が「０」の場合に「ｆ」、「１」の場合に「ｔ」、「０」から「１」の間の値の場合に「ｎｉｌ」などとも規定できる。
【００６６】
続いて、hidden relation抽出部１１２は、上述のhidden relation候補１６１における語彙セットを装置名−処理名辞書１１７１およびｓｙｎｏｎｙｍ辞書１１７２に照合し、当該語彙セットが同義語／類義語の範疇も含め、装置名−処理名辞書１１７１に規定されているか否かにより、ラベルを判定・付与する（ｓ２４）。
【００６７】
また、hidden relation抽出部１１２は、hiddenrelation候補１６１の特徴量からラベルを推論できるモデルを所定の機械学習アルゴリズムにて学習し、hidden relation候補１６１ごとの関係存在確率を算出する（ｓ２５）。こうしたラベル付与や関係存在確率の各値の算定等については上述の基本技術を適宜に採用すればよい。
【００６８】
一方、上述の構造化データ生成サーバ１５０における、hidden relation正当性自動判別部１１３は、抽出relation情報１１７を参照し、hidden relation抽出可能サーバ情報を取得する（ｓ３０）。
【００６９】
また、hidden relation正当性自動判別部１１３は、自らのhidden relation抽出部１１２（図１１のフローの実行主体）で抽出したhidden relation候補ごとの関係存在確率の値を、ｓ３０で情報を取得した各サーバすなわち他の構造化データ生成サーバ１５０から取得する（ｓ３１）。
【００７０】
続いて、hidden relation正当性自動判別部１１３は、ｓ３１で得た、hidden relation候補ごとの関係存在確率の値を所定の閾値（例：０．６）と比較し、当該閾値以上または閾値以下の関係存在確率が存在するか判定する（ｓ３２）。
【００７１】
上述の判定の結果、閾値以上または以下の関係存在確率の値が存在しなかった場合（ｓ
３２：Ｎ）、hidden relation正当性自動判別部１１３は、処理を終了する。
【００７２】
一方、上述の判定の結果、閾値以上または以下の関係存在確率の値が存在している場合（ｓ３２：Ｙ）、hidden relation正当性自動判別部１１３は、当該hidden relation候補に関してrelation辞書エントリを生成し、管理サーバ１００のhidden relation抽出精度評価部１１１に送信し（ｓ３３）、処理を終了する。この場合、hidden relation抽出精度評価部１１１は、当該relation辞書エントリを抽出relation情報１１７に格納する。
【００７３】
なお、hidden relation抽出精度評価部１１１は、各構造化データ生成サーバ１５０において保持するモデル情報（図９のｓ２５で得ているもので、hidden relation抽出部１１２において機械学習により生成済みのモデル情報）を収集する（ｓ３５）。このモデル情報の例を、図１４における重み情報１３００として示した。
【００７４】
続いて、hidden relation抽出精度評価部１１１は、抽出relation情報１１７におけるrelation辞書から例えば所定項目の一部情報を削除し、各構造化データ生成サーバ１５０上のhidden relation抽出部１１２にて当該情報をどの程度の確率で抽出可能であるかテストさせる（ｓ３６）。
【００７５】
また、hidden relation抽出精度評価部１１１は、ｓ３５で得たモデル情報およびｓ３６におけるテスト結果を、hidden relation抽出精度情報として、記憶装置１０１の所定領域に記録する（ｓ３７）。
【００７６】
続いて、hidden relation抽出精度評価部１１１は、上述のテスト結果に改善が見られれば、ｓ３３によりhidden relation正当性自動判別部１１３から受信した辞書エントリ情報を、抽出relation情報１１７における装置名−処理名辞書１１７１に登録する（ｓ３８）。
また、hidden relation抽出精度評価部１１１は、ｓ３７で記録されたモデル情報及びテスト結果を参照する（ｓ３９）。
【００７７】
続いて、hidden relation抽出精度評価部１１１は、ユーザ指定された時点のモデル情報への更新要求をhidden relation抽出部１１２に通知する（ｓ４０）。
この場合、hidden relation抽出部１１２は、要求されたモデル情報に強制更新し（ｓ４１）、処理を終了する。
−−−フロー例（特徴量および文書のフィルタリング）−−−
【００７８】
続いて、図１５にて示すように、正当性判定によるhidden relation候補すなわち構造化データ候補の正否である、誤検出または正当検出に関し寄与した特徴量および文書を所定アルゴリズムで分析し、当該分析結果をもとに低品質と評価された特徴量および文書のフィルタリングを実行する例について説明する。
図１５は、本実施形態における語彙抽出処理概念の例１を示す図であり、図１６は、本実施形態における語彙抽出処理概念の例２を示す図である。
【００７９】
この場合、hidden relation抽出部１１２における候補＆特徴量抽出部１１２２は、hidden relation候補作成に際し、候補＆特徴量抽出テンプレート１１２２１のうち、例えば、ドメインエキスパートから指示を受けたテンプレート番号１６００に対応する関数ポインタを、関数ポインタテーブル１６０１にて特定し、この関数ポインタに応じて候補＆特徴量抽出プログラム１６０２を呼び出して実行することとなる。この場合、候補＆特徴量抽出プログラム１６０２は、候補＆特徴量抽出部１１２２の実体となる。
【００８０】
こうした構成のため、候補＆特徴量抽出部１１２２は、上述の関数ポインタテーブル１
６０１と、当該関数ポインタテーブル１６０１で記述する関数ポインタに対応した候補＆特徴量抽出プログラム１６０２を、記憶装置１５１にて保持して適宜に参照・呼び出し可能であるとする。
続いて図１７〜図２１にて、本実施形態における語彙抽出支援方法のフロー例６〜８を示す。
【００８１】
この場合、hidden relation抽出部１１２は、抽出relation情報１１７を参照し、抽出すべき語彙セットとして抽出hidden relation種別の値、および装置名−処理名辞書１１７１、ｓｙｎｏｎｙｍ辞書１１７２をそれぞれ取得する（ｓ５０）。
【００８２】
また、hidden relation抽出部１１２は、管理サーバ１００の文書識別部１１０から配信を受けた文書セット１６０の各文書に対して形態素解析を実行する（ｓ５１）。この形態素解析の結果例は、図１０に示したとおりである。
【００８３】
続いて、hidden relation抽出部１１２は、上述のｓ５１で得た形態素解析結果９００、およびｓ５０で得た装置名−処理名辞書１１７１およびｓｙｎｏｎｙｍ辞書１１７２を引数に、ユーザ指定の指定テンプレート番号１６００の候補＆特徴量抽出プログラム１６０２を関数ポインタテーブル１６０１から呼び出して実行する（ｓ５２）。これにより、図９のフローと同様、hidden relation候補１６１が算出できる。
【００８４】
また、hidden relation抽出部１１２は、上述のｓ５２で得たhidden relation候補１６１に関して、上述の形態素解析結果９００および装置名−処理名辞書１１７１、ｓｙｎｏｎｙｍ辞書１１７２に基づき特徴量を計算する（ｓ５３）。
【００８５】
続いて、hidden relation抽出部１１２は、上述のhidden relation候補１６１における語彙セットを装置名−処理名辞書１１７１およびｓｙｎｏｎｙｍ辞書１１７２に照合し、当該語彙セットが同義語／類義語の範疇も含め、装置名−処理名辞書１１７１に規定されているか否かにより、ラベルを判定・付与する（ｓ５４）。
【００８６】
また、hidden relation抽出部１１２は、hiddenrelation候補１６１の特徴量からラベルを推論できるモデルを所定の機械学習アルゴリズムにて学習し、hidden relation候補１６１ごとの関係存在確率を算出する（ｓ５５）。
【００８７】
一方、上述の構造化データ生成サーバ１５０における、hidden relation正当性自動判別部１１３は、抽出relation情報１１７を参照し、hidden relation抽出可能サーバ情報を取得する（ｓ５５）。
【００８８】
また、hidden relation正当性自動判別部１１３は、自らのhidden relation抽出部１１２（図１７のフローの実行主体）で抽出したhidden relation候補ごとの関係存在確率の値を、ｓ５５で情報を取得した各サーバすなわち他の構造化データ生成サーバ１５０から取得する（ｓ５６）。
【００８９】
続いて、hidden relation正当性自動判別部１１３は、ｓ５６で得た、hidden relation候補ごとの関係存在確率に関して集約し、自hidden relation抽出部１１２で抽出したhidden relation候補を、False POSITIVE候補セット、False NEGATIVE候補セット、正解候補セット、に分類し（ｓ５７）、これらの情報を管理サーバ１００の推論寄与特徴量＆文書判別部１１４に提供する。
【００９０】
なお、上述のFalse POSITIVE候補セットは、いわゆる検出漏れとなったもので、本来なら該当語彙の組み合わせは高確率で存在しうる「ｔ」（True）であるところ、高確率で存
在しない「ｆ」（false）と判定してしまったものが含まれている。
【００９１】
また、False NEGATIVE候補セットは、いわゆる誤検出となったもので、本来なら該当語彙の組み合わせは高確率で存在しない「ｆ」（false）であるところ、高確率で存在する「ｔ」（truee）と判定してしまったものが含まれている。
【００９２】
続いて、推論寄与特徴量＆文書判別部１１４は、上述のFalse POSITIVE 候補セットで、当該候補をPOSITIVE に判定する要因となった主要な特徴量及び元の文書の「No Good」カウンタをインクリメントする（ｓ５８）。このカウンタの値は、例えば記憶装置１５１に保持するものとする（以下同様）。
【００９３】
また、推論寄与特徴量＆文書判別部１１４は、上述のFalse NEGATIVE候補セットで、当該候補をNAGATIVEに判定する要因となった主要な特徴量及び元の文書の「No Good」カウンタをインクリメントする（ｓ５９）。
【００９４】
また、推論寄与特徴量＆文書判別部１１４は、上述の正解候補セットで、当該候補を正しく判定する要因となった主要な特徴量及び元の文書の「Good」カウンタをインクリメントする（ｓ６０）。
なお、上述のように判定要因を特定する技術としては、機械学習アルゴリズムにおける、いわゆる逆解析手法を適宜に採用すればよい。
【００９５】
また、推論寄与特徴量＆文書判別部１１４は、上述のｓ５８〜ｓ６０で更新した、特徴量や文書に関するカウンタの値、すなわち集計結果（図１９Ａ、図１９Ｂ参照）を、出力装置１０６にて表示する（ｓ６１）。図１９Ａには、文書に関するGood/NGの各カウンタの値の表示例を示し、図１９Ｂには、特徴量に関するGood/NGの各カウンタの値の表示例を示している。
【００９６】
上述の表示例が出力された画面上で、例えば、「NG」の文書または特徴量のオブジェクトに対するクリック動作がなされた場合、推論寄与特徴量＆文書判別部１１４は、図２０のように詳細情報画面２２００を出力装置１０６に表示させる。
【００９７】
この画面は、該当文書の表示欄２２０１、当該文書すなわちhidden relation候補の関係存在確率の表示欄２２０２、および該当特徴量とその重み付けすなわちモデル情報の表示欄２２０３、から構成されている。いずれの表示欄の情報も、推論寄与特徴量＆文書判別部１１４が、それまでの処理でメモリ等で保持している情報に基づくものとなる。
【００９８】
続いて、管理サーバ１００の低品質文書＆特徴量除去部１１５は、図２１のフローにて示すように、上述の集計結果に関して、「No Good」カウンタが「Good」カウンタよりも所定閾値以上となっている特徴量および文書を抽出する（ｓ６５）。
また、低品質文書＆特徴量除去部１１５は、ｓ６５で抽出した文書を、文書アーカイブ１１６から削除する（ｓ６６）。
【００９９】
続いて、低品質文書＆特徴量除去部１１５は、ｓ６５で抽出した特徴量を、各構造化データ生成サーバ１５０上のhidden relation抽出部１１２に通知する（ｓ６７）。
【０１００】
一方、各構造化データ生成サーバ１５０のhidden relation抽出部１１２は、以後の機械学習時において、ｓ６７の通知で受信した特徴量に関して無視して処理を行う（ｓ６８）。
【０１０１】
以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明は
これに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
こうした本実施形態によれば、類義語／関連語を良好な効率および精度で抽出可能となる。
【０１０２】
本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本発明の語彙抽出支援システムにおいて、  前記演算装置は、前記構造化データ候補を生成するに際し、ユーザ指定の語彙セットを含む複数の文書を前記文書アーカイブから抽出し、当該複数の文書それぞれについて異なるアルゴリズムで前記構造化データ候補を生成し、当該構造化データ候補のうち確からしさが所定レベル以下のものについて、当該構造化データ候補の生成主体とは異なるアルゴリズムに紐付いた前記正当性判定を行い、当該構造化データ候補の正否を確定させるものである、としてもよい。
【０１０３】
これによれば、抽出対象とする特徴量の種類が異なるアルゴリズムごとに、文書から構造化データ候補を生成し、その正当性に疑義があるものついて、他のアルゴリズムでの正当性判定を経ることで、精度良く正否を確定可能となる。ひいては、類義語／関連語をより良好な効率および精度で抽出可能となる。
【０１０４】
また、本実施形態の語彙抽出支援システムにおいて、前記演算装置は、前記複数の文書を前記文書アーカイブから抽出するに際し、前記語彙セットを含む文書のうち、ユーザ指定の文書属性に適合する文書を抽出するものである、としてもよい。
【０１０５】
これによれば、文書アーカイブ内の文書を、例えばドメインエキスパートの知見に基づく分類基準（すなわち文書属性に関する規定）で適宜に分類し、これを構造化データ候補の生成処理対象とすることができる。ひいては、類義語／関連語をより良好な効率および精度で抽出可能となる。
【０１０６】
また、本実施形態の語彙抽出支援システムにおいて、前記演算装置は、前記文書アーカイブが含む全文書それぞれについて、前記構造化データ候補を生成して、当該構造化データ候補の群を前記確からしさが異なるよう分類し、当該分類の結果に応じて、前記構造化データ候補に対応する文書を、前記異なるアルゴリズムの処理対象とするものである、としてもよい。
【０１０７】
これによれば、文書アーカイブ内の文書を特徴が異なるよう予め分類した上で、上述の構造化データ候補の生成処理対象のリソースとすることができる。ひいては、類義語／関連語をより良好な効率および精度で抽出可能となる。
【０１０８】
また、本実施形態の語彙抽出支援システムにおいて、前記演算装置は、前記正当性判定による前記構造化データ候補の正否である、誤検出または正当検出に関し寄与した特徴量および文書を所定アルゴリズムで分析し、当該分析結果をもとに低品質と評価された特徴量および文書のフィルタリングを実行するものである、としてもよい。
【０１０９】
これによれば、文書アーカイブ内の文書すなわち教師文書データの質向上や構造化データ候補の正当性の改善が図られることとなり、ひいては、類義語／関連語をより良好な効率および精度で抽出可能となる。
【０１１０】
また、本実施形態の語彙抽出支援方法において、前記情報処理システムが、前記構造化データ候補を生成するに際し、ユーザ指定の語彙セットを含む複数の文書を前記文書アーカイブから抽出し、当該複数の文書それぞれについて異なるアルゴリズムで前記構造化データ候補を生成し、当該構造化データ候補のうち確からしさが所定レベル以下のものについて、当該構造化データ候補の生成主体とは異なるアルゴリズムに紐付いた前記正当性判
定を行い、当該構造化データ候補の正否を確定させる、としてもよい。
【０１１１】
また、本実施形態の語彙抽出支援方法において、前記情報処理システムが、前記複数の文書を前記文書アーカイブから抽出するに際し、前記語彙セットを含む文書のうち、ユーザ指定の文書属性に適合する文書を抽出する、としてもよい。
【０１１２】
また、本実施形態の語彙抽出支援方法において、前記情報処理システムが、前記文書アーカイブが含む全文書それぞれについて、前記構造化データ候補を生成して、当該構造化データ候補の群を前記確からしさが異なるよう分類し、当該分類の結果に応じて、前記構造化データ候補に対応する文書を、前記異なるアルゴリズムの処理対象とする、としてもよい。
【０１１３】
また、本実施形態の語彙抽出支援方法において、前記情報処理システムが、前記正当性判定による前記構造化データ候補の正否である、誤検出または正当検出に関し寄与した特徴量および文書を所定アルゴリズムで分析し、当該分析結果をもとに低品質と評価された特徴量および文書のフィルタリングを実行する、としてもよい。
【符号の説明】
【０１１４】
１０  語彙抽出支援システム
１００  管理サーバ
１０１  記憶装置
１０２  プログラム
１０３  メモリ
１０４  演算装置
１０５  入力装置
１０６  出力装置
１０７  通信装置
１１０  文書識別部
１１０１  文書識別ルール
１１１  hidden relation抽出精度評価部
１１４  推論寄与特徴量＆文書判別部
１１５  低品質文書＆特徴量除去部
１１６  文書アーカイブ
１１７  抽出relation情報（辞書）
１１７１  装置名−処理名辞書
１１７２  ｓｙｎｏｎｙｍ辞書
１１７３  抽出可能サーバ情報
１５０  構造化データ生成サーバ
１５１  記憶装置
１５２  プログラム
１５３  メモリ
１５４  演算装置
１５５  入力装置
１５６  出力装置
１５７  通信装置
１１２  hidden relation抽出部
１１２１  ラベリング部
１１２２  候補＆特徴量抽出部
１１２２１  候補＆特徴量抽出テンプレート
１１２３  学習・推論部
１１３  hidden relation正当性自動判別部
１６０  文書セット
１６１  hidden relation候補（構造化データ候補）
【図１】
2020095452.tif 000003
【図２】
2020095452.tif 000004
【図３】
2020095452.tif 000005
【図４】
2020095452.tif 000006
【図５】
2020095452.tif 000007
【図６】
2020095452.tif 000008
【図７】
2020095452.tif 000009
【図８】
2020095452.tif 000010
【図９】
2020095452.tif 000011
【図１０】
2020095452.tif 000012
【図１１】
2020095452.tif 000013
【図１２】
2020095452.tif 000014
【図１３】
2020095452.tif 000015
【図１４】
2020095452.tif 000016
【図１５】
2020095452.tif 000017
【図１６】
2020095452.tif 000018
【図１７】
2020095452.tif 000019
【図１８】
2020095452.tif 000020
【図１９Ａ】
2020095452.tif 000021
【図１９Ｂ】
2020095452.tif 000022
【図２０】
2020095452.tif 000023
【図２１】
2020095452.tif 000024
【図２２】
2020095452.tif 000025