(57)【要約】【課題】正規化前と正規化後の文書を比較して、既存の正規化の書き換え傾向を反映した正規化を予測する文書検索装置及び文書検索プログラムを提供する。【解決手段】文書特徴抽出部１０３が入力された正規化対象文書１０の特徴ベクトルを生成し、第１の文書類似度算出部１０６が正規化前文書の特徴ベクトルとの類似度を求め、文書正規化予測部１０９が正規化前・後文書の特徴移動ベクトルを前記類似度で重み付け平均して正規化対象文書１０を正規化予測した特徴ベクトルを求める。第２の文書類似度算出部１１０が、正規化予測した正規化対象文書１０の特徴ベクトルと正規化後文書の特徴ベクトルの類似度を求め、正規化推薦データ生成部１１１が、その類似度が高い正規化後文書を推薦する。【選択図】図１
2011186735.tif 000002
【特許請求の範囲】
【請求項１】
正規化対象文書から所定の特徴を抽出して特徴ベクトルに変換する文書特徴抽出部と、
前記正規化対象文書の特徴ベクトルを、予め与えられた正規化前の各サンプル文書の特徴ベクトルとそれぞれ照合して第１の類似度を求める第１の文書類似度算出部と、
前記正規化前の各サンプル文書の特徴ベクトルと、予め与えられた正規化後の当該各サンプル文書の特徴ベクトルの差分を計算して、当該サンプル文書毎の正規化前後の特徴移動ベクトルを生成する文書差分抽出部と、
前記サンプル文書毎の正規化前後の特徴移動ベクトルに対して前記第１の類似度を用いた重み付けを行って平均を求め、前記正規化対象文書を正規化した場合の正規化後の特徴ベクトルを予測する文書正規化予測部と、
前記正規化対象文書を正規化した場合の正規化後の特徴ベクトルを、前記正規化後の各サンプル文書の特徴ベクトルとそれぞれ照合して第２の類似度を求める第２の文書類似度算出部と、
前記第２の類似度に基づいて、前記正規化対象文書の正規化を推薦する正規化推薦データ生成部とを備える文書検索装置。
【請求項２】
文書特徴抽出部は、予め与えられた正規化前のサンプル文書から所定の特徴を抽出して特徴ベクトルに変換すると共に、予め与えられた正規化後の当該サンプル文書から前記所定の特徴を抽出して特徴ベクトルに変換することを特徴とする請求項１記載の文書検索装置。
【請求項３】
文書を構成する要素毎の特徴と、当該特徴に応じた特徴重みとを格納した特徴辞書を備え、
文書特徴抽出部は、文書から各要素の特徴を抽出し、当該各要素に対応する特徴重みを前記特徴辞書から取得して重み付けして特徴ベクトルを生成することを特徴とする請求項１または請求項２記載の文書検索装置。
【請求項４】
正規化前の各サンプル文書間で特徴ベクトルを照合して第３の類似度を求める第３の文書類似度算出部と、
特徴辞書が格納する特徴重みを更新する特徴重み学習部とを備え、
文書正規化予測部は、前記サンプル文書毎の正規化前後の特徴移動ベクトルに対して前記第３の類似度を用いた重み付けを行って平均を求め、前記正規化前の各サンプル文書をそれぞれ正規化した場合の正規化後の各特徴ベクトルを予測し、
前記特徴重み学習部は、前記正規化前の各サンプル文書を正規化した場合の正規化後の特徴ベクトルを、正規化後の当該各サンプル文書の特徴ベクトルとそれぞれ比較して予測誤差を計算し、当該予測誤差に基づいて特徴重みを更新することを特徴とする請求項３記載の文書検索装置。
【請求項５】
正規化推薦データ生成部は、第２の類似度に基づいて、正規化対象文書を正規化した場合の正規化後の特徴ベクトルに類似する特徴ベクトルをもつ正規化後のサンプル文書を含む正規化推薦データを生成することを特徴とする請求項１記載の文書検索装置。
【請求項６】
正規化対象文書から所定の特徴を抽出して特徴ベクトルに変換する文書特徴抽出手順と、
前記正規化対象文書の特徴ベクトルを、予め与えられた正規化前の各サンプル文書の特徴ベクトルとそれぞれ照合して第１の類似度を求める第１の文書類似度算出手順と、
前記正規化前の各サンプル文書の特徴ベクトルと、予め与えられた正規化後の当該各サンプル文書の特徴ベクトルの差分を計算して、当該サンプル文書毎の正規化前後の特徴移動ベクトルを生成する文書差分抽出手順と、
前記サンプル文書毎の正規化前後の特徴移動ベクトルに対して前記第１の類似度を用いた重み付けを行って平均を求め、前記正規化対象文書を正規化した場合の正規化後の特徴ベクトルを予測する文書正規化予測手順と、
前記正規化対象文書を正規化した場合の正規化後の特徴ベクトルを、前記正規化後の各サンプル文書の特徴ベクトルとそれぞれ照合して第２の類似度を求める第２の文書類似度算出手順と、
前記第２の類似度に基づいて、前記正規化対象文書の正規化を推薦する正規化推薦データ生成手順とをコンピュータに実行させるための文書検索プログラム。
【請求項７】
正規化前の各サンプル文書間で特徴ベクトルを照合して第３の類似度を求める第３の文書類似度算出手順と、
特徴辞書が格納する特徴重みを更新する特徴重み学習手順とを備え、
文書正規化予測手順では、前記サンプル文書毎の正規化前後の特徴移動ベクトルに対して前記第３の類似度を用いた重み付けを行って平均を求め、前記正規化前の各サンプル文書をそれぞれ正規化した場合の正規化後の各特徴ベクトルを予測し、
前記特徴重み学習手順では、前記正規化前の各サンプル文書を正規化した場合の正規化後の特徴ベクトルを、正規化後の当該各サンプル文書の特徴ベクトルとそれぞれ比較して予測誤差を計算し、当該予測誤差に基づいて特徴重みを更新することを特徴とする請求項６記載の文書検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の文書間の記述の揺れを除去して正規化を支援する文書検索装置及び文書検索プログラムに関するものである。
【背景技術】
【０００２】
業務において顧客向けに作成する文書は、通常、複数の書き手により同時又は逐次的に作成された文章をまとめて１文書にする場合が多く、過去、現在、未来に渡って同一の書き手が一貫して作成することは稀であろう。このような文書、例えば製品のマニュアル及び仕様書といった冊子又はページの体裁を持つ文書や、電子メール及びソフトウェア等のユーザインタフェースに表示するエラーメッセージ及び警告文といった冊子又はページの体裁を持たないテキストを、何の統制も支援も無しに作成すると、文書中や他の文書との間で記述に揺れが発生してしまう。ここでいう揺れとは、同じ又は類似した、概念又は操作を指し示す語句が複数の異なる表現で記載されているといった表記上の揺れも然ることながら、それに限らず、説明又はガイドのレベルに一貫性が不足しているといった内容レベルの揺れも含む。
【０００３】
このような揺れが文書中又は文書間で存在すると、可読性及び理解性が損なわれてしまい、顧客の不満及び混乱の原因となることがある。更にその結果、製品の誤操作を招いたり、本来不要なサポートセンタへの問い合わせを増加させてしまったりする。従って、文書を作成する側には、文書中又は文書間の揺れを可能な限り除去し、文書を正規化したいという要求がある。
【０００４】
一般的には文書正規化のために、レビュアによるチェックが行われたり、文書作成担当者への教育が行われたりする。しかし、このような人手に頼る方法は、文書作成の度に煩雑な手間が発生すること、品質が個人のスキルに依存しやすいこと、レビュア又は担当者の交代に伴い再教育が必要なこと等の面で問題があるため、自動化又は機械による支援がなされることが望ましい。
【０００５】
この問題を解決するための支援方法としては、例えば特許文献１に開示の方法により文書をベクトルとして表現した上で、公知のＫ平均法、階層型クラスタリング等を適用することにより、類似した文書をまとめる方法が考えられる。即ち、揺れとは、内容が類似した文書の間で部分的に一貫性が損なわれている状態と考えることができるから、類似した文書を自動的にグルーピングしてユーザに提示することにより、一貫性が損なわれている部分を見つけやすくなる。ユーザである文書作成者、レビュア等は、グルーピングされた文書の内容を目視で比較及び確認し、例えば業務基準と照らし合わせてグループ内のもっとも適切な表現を決定し、その表現に合わせてその他の表現を一括修正する。このようにして文書中又は文書間の揺れを取り除く作業を支援することができる。
【０００６】
ここで、特許文献１に開示された方法を説明する。特許文献１に係る情報推薦装置では、先ず、日時情報を属性として持つニュース記事等の文書を、単語の出現頻度等に基づいてベクトル化してクラスタリングしておく。そのようにして生成された話題クラスタを、更に日時の分散及び日時毎の文書数を基準として時間軸上で分割し、サブクラスタを生成してデータベース化する。
【０００７】
以上の事前処理を行った後、情報推薦装置に入力としてユーザの閲覧履歴を与えると、上記サブクラスタの重心がこの閲覧履歴に最も近いサブクラスタＳｔを探し、そのサブクラスタＳｔに時間的に後続するサブクラスタＳｔ＋１を選択して、このサブクラスタＳｔ＋１に含まれるニュース記事をユーザに提示する。このように、特許文献１では文書の類似性と履歴とを用いて、ユーザの興味に最も近いニュース記事の続きの記事を提示することができる。
【０００８】
特許文献１に係る方法が優れている点は、クラスタ及びサブクラスタの分割処理により、文書に対して時間軸方向の関係（履歴）を自動生成している点である。
【０００９】
以下、文書をベクトルとして表現する特許文献１の方法を利用した、従来の支援方法の具体例を説明する。ここでは、先ずユーザが正規化作業を行って文書を正規化しておき、新たな文書を作成した際に正規化支援装置が正規化を支援する。
図２１は、ユーザによる文書の正規化作業を示す図であり、図２１（ａ）は正規化前の各文書の状態、図２１（ｂ）は正規化後の状態を示す。図中の丸印は文書を表しており、白丸が正規化前、黒丸が正規化後を示す。また、丸印の位置は文書の内容を示す。従って、位置が近い文書は互いに内容が類似していることを表す。丸印から伸びた矢印は、文書の移動ベクトルであり、正規化作業による文書の書き換え（内容の変化）を示す。
【００１０】
例えば、図２１（ａ）に示す文書（白丸０）は、正規化前には「監視時間を％ｄ〜％ｄの範囲で入力して下さい」という内容であった。正規化後には図２１（ｂ）に示す文書（黒丸０）になり、入力する値のタイプが整数である旨明記され、「監視時間を％ｄ〜％ｄの範囲の整数で入力して下さい」という内容に書き換えられている。同様にして、正規化前に文書（白丸０）の左下にあった文書（白丸）も入力する値のタイプが不明であるため、整数である旨を明記した内容に書き換えられ、その結果、文書（白丸０）と類似した方向に移動する。
【００１１】
また、文書（白丸１）は正規化前には「転送ワード数を整数で入力して下さい」、文書（白丸２）は「オフセット値を整数で入力して下さい」という内容であった。正規化後には前述の文書（白丸０）に倣って整数の範囲を明記するように書き換えられ、それぞれ「転送ワード数を％ｄ〜％ｄの範囲の整数で入力して下さい」という文書（黒丸１）、「オフセット値を％ｄ〜％ｄの範囲の整数で入力して下さい」という文書（黒丸２）に変更される。両文書（白丸１，２）は共に「％ｄ〜％ｄの範囲の」が挿入される書き換えのため、平行移動する。
【００１２】
また、文書（白丸３、黒丸３）は共に「監視時間を初期化します」という内容であり、正規化前と正規化後で書き換えられていないが、この文書（白丸３）よりやや右側に位置していた他の文書（白丸）は、この文書（黒丸３）に近づけるような正規化が行われる。
【００１３】
以上のような正規化作業により、人手によって文書間の記述の揺れが取り除かれ、より適切な表現に統一される。その結果、正規化前は図２１（ａ）のように散らばっていた文書の分布が、正規化後は図２１（ｂ）のように偏ることになる。
【００１４】
続いて、新たな文書を作成した際の、正規化支援装置による正規化の支援例を説明する。
図２２は、特許文献１に係る方法を適用した、従来の正規化支援方法を示す図である。この正規化支援方法は、正規化支援装置が実施するものとする。図２２（ａ）は、ユーザによる正規化作業後（即ち図２１（ｂ）の状態）に、新規作成された文書（白丸ｘ）が装置へ入力された状態を表す特徴ベクトル空間である。文書（白丸ｘ）は「監視時間を整数で入力して下さい」という内容であり、まだ正規化されていない。従って、文書（白丸ｘ）と類似した正規化後文書（黒丸）があればそれを採用したいが、正規化により文書が偏って分布している図Ｂ（ａ）の状態では、期待した類似度の範囲内に適当な文書が見つからないことがある。
【００１５】
そこで、従来の正規化支援装置は、先ず正規化前の文書群の中から新規文書（白丸ｘ）と位置が近い文書を探す。図２２（ｂ）は正規化前の状態を示し、文書（白丸ｘ）の周辺に、文書（白丸０）の「監視時間を％ｄ〜％ｄの範囲で入力して下さい」、文書（白丸１）の「転送ワード数を整数で入力して下さい」、文書（白丸２）の「オフセット値を整数で入力して下さい」、文書（白丸３）の「監視時間を初期化します」が存在しており、この中で最も近い文書（白丸１）が選択される。
【００１６】
正規化支援化装置は、続いて選択した文書（白丸１）の正規化後の文書（黒丸１）を得て（図２２（ｃ））、この正規化後の文書（黒丸１）を新規文書（白丸ｘ）に対する正規化としてサジェストする（図２２（ｄ））。即ち、新規文書（白丸ｘ）の「監視時間を整数で入力して下さい」という内容に対して、文頭の「監視時間」を「転送ワード数」に書き換えた上で、「％ｄ〜％ｄの範囲の」を文章の中程に挿入することをサジェストすることになる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００９−２３８１１５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
図２２（ｄ）に示したサジェストを図２１（ａ），（ｂ）で示した文書の書き換え傾向と比較して眺めると、「％ｄ〜％ｄの範囲の」の挿入は文書（黒丸１，２）の書き換えと同様であるから妥当と考えられる。一方、文頭部分の書き換えはそういった事例がないことから妥当とは考えにくく、サジェストが不自然である。このように、特許文献１の方法を利用した従来の正規化支援方法は、文書の内容の静的な近さだけを頼りにしてサジェストする文書を決定しており、文書の移動（書き換え）の妥当性が考慮されないために、しばしば不自然なサジェストをしてしまうという課題があった。
【００１９】
また、出現する語句に基づく文書の類似性（ベクトルの近さ）という一般的な知識に基づく方式であるため、揺れている文書を抽出してまとめることまでは可能であるが、その後、その業務固有の基準に基づいて、どの表現に統一すべきであるとか、どう修正すべきであるといった支援まで実現することはできず、結局ユーザが行う必要があった。また、新たに正規化されていない文書が作成されたとき、この新しい文書を既存の正規化済み文書と合わせてクラスタリングしたとしても、類似した適切な正規化済み文書が見つからない可能性がある。これは、既存の正規化済み文書からは正規化前の特徴が失われてしまうためである。
【００２０】
また、特許文献１の場合、自動生成した履歴を利用してはいるが、単純に元のサブクラスタＳｔ（実際にはクラスタ重心）から一意に定まる後続のサブクラスタＳｔ＋１へと辿るだけである。そのため、例えデータベース中にユーザが辿り着きたいサブクラスタＳｔ＋１があったとしても、入力されたユーザの閲覧履歴に類似する元サブクラスタＳｔが存在しなければ、その後続サブクラスタＳｔ＋１には辿り着くことができないという課題があった。
【００２１】
この発明は、上記のような課題を解決するためになされたもので、正規化前と正規化後の文書を比較して、既存の正規化の書き換え傾向を反映した正規化を予測する文書検索装置及び文書検索プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
この発明に係る文書検索装置は、正規化対象文書から所定の特徴を抽出して特徴ベクトルに変換する文書特徴抽出部と、正規化対象文書の特徴ベクトルを、予め与えられた正規化前の各サンプル文書の特徴ベクトルとそれぞれ照合して第１の類似度を求める第１の文書類似度算出部と、正規化前の各サンプル文書の特徴ベクトルと、予め与えられた正規化後の当該各サンプル文書の特徴ベクトルの差分を計算して、当該サンプル文書毎の正規化前後の特徴移動ベクトルを生成する文書差分抽出部と、サンプル文書毎の正規化前後の特徴移動ベクトルに対して第１の類似度を用いた重み付けを行って平均を求め、正規化対象文書を正規化した場合の正規化後の特徴ベクトルを予測する文書正規化予測部と、正規化対象文書を正規化した場合の正規化後の特徴ベクトルを、正規化後の各サンプル文書の特徴ベクトルとそれぞれ照合して第２の類似度を求める第２の文書類似度算出部と、第２の類似度に基づいて、正規化対象文書の正規化を推薦する正規化推薦データ生成部とを備えるものである。
【００２３】
この発明に係る文書検索プログラムは、正規化対象文書から所定の特徴を抽出して特徴ベクトルに変換する文書特徴抽出手順と、正規化対象文書の特徴ベクトルを、予め与えられた正規化前の各サンプル文書の特徴ベクトルとそれぞれ照合して第１の類似度を求める第１の文書類似度算出手順と、正規化前の各サンプル文書の特徴ベクトルと、予め与えられた正規化後の当該各サンプル文書の特徴ベクトルの差分を計算して、当該サンプル文書毎の正規化前後の特徴移動ベクトルを生成する文書差分抽出手順と、サンプル文書毎の正規化前後の特徴移動ベクトルに対して第１の類似度を用いた重み付けを行って平均を求め、正規化対象文書を正規化した場合の正規化後の特徴ベクトルを予測する文書正規化予測手順と、正規化対象文書を正規化した場合の正規化後の特徴ベクトルを、正規化後の各サンプル文書の特徴ベクトルとそれぞれ照合して第２の類似度を求める第２の文書類似度算出手順と、第２の類似度に基づいて、正規化対象文書の正規化を推薦する正規化推薦データ生成手順とをコンピュータに実行させるものである。
【発明の効果】
【００２４】
この発明によれば、サンプル文書毎の正規化前後の特徴移動ベクトルに対して、正規化対象文書と正規化前の各サンプル文書との特徴ベクトルの類似度を用いた重み付けを行って平均を求め、正規化対象文書を正規化した場合の正規化後の特徴ベクトルを予測し、予測した特徴ベクトルと正規化後の各サンプル文書の特徴ベクトルとの類似度に基づいて正規化対象文書の正規化を推薦するようにしたので、既存の正規化の書き換え傾向を反映した正規化を予測することができる。また、既存の正規化文書の中に正規化対象文書と正規化前の状態が似ている文書が存在しなくても正規化を予測することができる。
【図面の簡単な説明】
【００２５】
【図１】この発明の実施の形態１に係る文書検索装置の構成を示すブロック図である。
【図２】実施の形態１に係る文書検索装置の動作を示すフローチャートである。
【図３】図３に示す第１フェーズの各処理を示すフローチャートである。
【図４】正規化前文書格納部に格納されている正規化前文書の例を示す図である。
【図５】正規化後文書格納部に格納されている正規化後文書の例を示す図である。
【図６】正規化前文書に対応する特徴ベクトルを示す図である。
【図７】正規化後文書に対応する特徴ベクトルを示す図である。
【図８】特徴辞書格納部に格納されている特徴辞書の例を示す図である。
【図９】正規化前・後文書間特徴の移動ベクトルを示す図である。
【図１０】図３に示す第２フェーズの各処理を示すフローチャートである。
【図１１】文書検索装置に入力される正規化対象文書の一例を示す図である。
【図１２】第２フェーズの概要を説明する図であり、図１２（ａ）は正規化対象文書が入力された状態、図１２（ｂ）は正規化前の各文書の状態、図１２（ｃ）は正規化後の各文書の状態、図１２（ｄ）は正規化対象文書の正規化を示す。
【図１３】正規化対象文書に対応する特徴ベクトルを示す図である。
【図１４】正規化対象文書に対する正規化前文書それぞれの類似度を示す図である。
【図１５】正規化対象文書を正規化予測した移動ベクトルを示す図である。
【図１６】正規化対象文書を正規化予測した特徴ベクトルを示す図である。
【図１７】この発明の実施の形態２に係る文書検索装置の構成を示すブロック図である。
【図１８】実施の形態２に係る文書検索装置の第１フェーズの各処理を示すフローチャートである。
【図１９】正規化前文書間の特徴ベクトルの類似度を示す図である。
【図２０】正規化前文書を正規化予測した移動ベクトルを示す図である。
【図２１】従来の、ユーザによる文書の正規化作業の概要を説明する図であり、図２１（ａ）は正規化前の各文書の状態、図２１（ｂ）は正規化後の各文書の状態を示す。
【図２２】従来の正規化支援装置の概要を説明する図であり、図２２（ａ）は正規化対象文書が入力された状態、図２２（ｂ）は正規化前の各文書の状態、図２２（ｃ）は正規化後の各文書の状態、図２２（ｄ）は正規化対象文書の正規化を示す。
【発明を実施するための形態】
【００２６】
実施の形態１．
図１に示す本実施の形態１に係る文書検索装置１００は、正規化対象文書１０を正規化前の新規作成文書として入力し、この正規化対象文書１０に対する正規化推薦データ１１を出力するものである。文書検索装置１００は、データを格納する記憶モジュールとして正規化前文書格納部１０１、正規化後文書格納部１０２、正規化前文書特徴格納部１０４、正規化後文書特徴格納部１０５、文書特徴移動ベクトル格納部１０８、及び特徴辞書格納部１１２を備えると共に、正規化推薦データ１１を生成するための各処理を行う文書特徴抽出部１０３、第１の文書類似度算出部１０６、文書差分抽出部１０７、文書正規化予測部１０９、第２の文書類似度算出部１１０、及び正規化推薦データ生成部１１１を備える。なお、図示例では第１の文書類似度算出部１０６と第２の文書類似度算出部１１０をそれぞれ設ける構成にしたが、１つの文書類似度算出部を兼用する構成にしてもよい。
【００２７】
正規化対象文書１０としては、業務において顧客向けに作成される文書を想定する。この文書には、例えば製品のマニュアル及び仕様書といった冊子又はページの体裁を持つ文書や、電子メール及びソフトウェア等のユーザインタフェースに表示するエラーメッセージ及び警告文といった冊子又はページの体裁を持たないテキストも含む。無論、本発明の適用対象はこれらの文書に限定されるものではないが、この種の文書を正規化対象文書１０に用いた場合に効果的な正規化サジェストが可能となる。以下、日本語を例に説明するが、文書検索装置１００は言語に依存するものではない。
【００２８】
正規化前文書格納部１０１は、過去に正規化作業が行われたサンプル文書の、正規化前の状態を予め与えられて格納している。これらサンプル文書の正規化後の状態は、正規化後文書格納部１０２に予め与えられて格納されている。この正規化作業は、例えば先立って説明したユーザによる正規化作業（図２１に示す）とする。
【００２９】
文書特徴抽出部１０３は、正規化対象文書１０、正規化前文書格納部１０１、正規化後文書格納部１０２の各文書から文書特徴を抽出してそれぞれ特徴ベクトルを生成する。特徴辞書格納部１１２は、文書特徴を特徴ベクトルに変換するために文書特徴抽出部１０３が参照する特徴辞書を格納している。正規化前文書特徴格納部１０４は、文書特徴抽出部１０３が生成した、正規化前文書の特徴ベクトルのデータを格納する。また、正規化後文書特徴格納部１０５は、文書特徴抽出部１０３が生成した、正規化後文書の特徴ベクトルのデータを格納する。
【００３０】
第１の文書類似度算出部１０６は、正規化対象文書１０の特徴ベクトルと各正規化前文書の特徴ベクトルとをそれぞれ照合して類似度を計算し、正規化前文書類似度（第１の類似度）のデータを出力する。他方、文書差分抽出部１０７は、各文書の正規化前と正規化後の特徴ベクトルを比較して差分を計算する。文書特徴移動ベクトル格納部１０８は、文書差分抽出部１０７が計算した差分のデータを、正規化前・後文書間特徴の移動ベクトルのデータとして格納する。
【００３１】
文書正規化予測部１０９は、第１の文書類似度算出部１０６が計算した正規化前文書類似度に応じた重み付けを、正規化前・後文書間特徴の移動ベクトルに対して行って平均を求め、正規化対象文書１０を正規化予測した場合の特徴ベクトルを生成する。
【００３２】
第２の文書類似度算出部１１０は、文書正規化予測部１０９が生成した正規化対象文書１０の正規化予測した特徴ベクトルと各正規化後文書の特徴ベクトルをそれぞれ照合して類似度を計算し、正規化後文書類似度（第２の類似度）のデータを出力する。
【００３３】
正規化推薦データ生成部１１１は、第２の文書類似度算出部１１０が計算した正規化後文書類似度を用いて、正規化予測した場合の正規化対象文書１０に類似する正規化後文書を選択し、正規化推薦データ１１を生成して出力する。
【００３４】
なお、文書検索装置１００をコンピュータで構成する場合、文書特徴抽出部１０３、第１の文書類似度算出部１０６、文書差分抽出部１０７、文書正規化予測部１０９、第２の文書類似度算出部１１０、正規化推薦データ生成部１１１の処理内容を記述している文書検索プログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵがメモリに格納されている文書検索プログラムを実行するようにしてもよい。
【００３５】
以下に、図２に示すフローチャートを用いて、文書検索装置１００の動作を説明する。
動作は大きく２つのフェーズより構成される。第１フェーズは初期化処理である（ステップＳＴ１）。この第１フェーズでは、予め与えられて格納されている正規化前文書格納部１０１及び正規化後文書格納部１０２の各文書に対して文書特徴抽出部１０３及び文書差分抽出部１０７が所定処理を行い、これらの処理結果が正規化前文書特徴格納部１０４、正規化後文書特徴格納部１０５及び文書特徴移動ベクトル格納部１０８にそれぞれ格納される。この第１フェーズは通常一度だけ実行される。
【００３６】
一方、第２フェーズは、ランタイム処理である（ステップＳＴ３）。入力された正規化対象文書１０に対し、文書特徴抽出部１０３、第１の文書類似度算出部１０６、文書正規化予測部１０９、第２の文書類似度算出部１１０及び第２の文書類似度算出部１１０が所定処理を行い、正規化推薦データ１１を生成して出力する。この第２フェーズは、通常、新規作成された正規化推薦データ１１が入力される度に実行される（ステップＳＴ２“ＹＥＳ”）。
【００３７】
次に、図３に示すフローチャートを用いて、第１フェーズの動作を説明する。
先ず、文書特徴抽出部１０３が、正規化前文書格納部１０１に格納された複数の正規化前文書データと、正規化後文書格納部１０２に格納された複数の正規化後文書データとをそれぞれを解析して、特徴ベクトルに変換する（ステップＳＴ１１〜ＳＴ１３）。
【００３８】
正規化前文書格納部１０１に格納されている正規化前文書データの例を、図４に示す。また、正規化後文書格納部１０２に格納されている正規化後文書データの例を、図５に示す。図４及び図５において、各行がそれぞれ１つの文書データであり、ユニークな文書ＩＤと文書内容であるテキストとから構成されている。図４及び図５を比較すると、正規化により文書内容が変更されていることが分かる。例えば文書ＩＤ＝０の文書内容は正規化により「整数で」が追加されている。さらに、図６に、図４に示す正規化前文書から生成した特徴ベクトル（文書特徴）の一例を示し、図７に、図５に示す正規化後文書から生成した特徴ベクトル（文書特徴）の一例を示す。
【００３９】
文書特徴抽出部１０３による変換処理は以下の手順で行う。先ず、文書特徴抽出部１０３は処理対象の文書データに対して公知技術である形態素解析を行い、文書内容のテキストを単語単位に分割する（ステップＳＴ１１）。これにより、図４の文書ＩＤ＝０のテキストは「監視／時間／を／％／ｄ／〜／％／ｄ／の／範囲／で／入力／し／て／下さい」のように分割される。スラッシュ（／）は単語区切りの位置を示す。
【００４０】
続いて文書特徴抽出部１０３は、局所的な単語並びに対して予め規定しておいた規則を用いて、単語列の書き換えを行う（ステップＳＴ１２）。表記が「％」と「ｄ」からなる単語列があれば結合するという規則を事前に定義したとすると、文書ＩＤ＝０のテキストの単語列は「監視／時間／を／％ｄ／〜／％ｄ／の／範囲／で／入力／し／て／下さい」に書き換えられる。
【００４１】
続いて文書特徴抽出部１０３は、得られた単語それぞれを図８に示す特徴辞書データと比較して特徴ベクトルを求める（ステップＳＴ１３）。この特徴辞書データは特徴辞書格納部１１２に予め格納されており、ユニークな特徴ＩＤと特徴とその特徴重みとから構成されている。ここでは、文書を構成する単語を要素とし、単語の文書中の出現頻度を特徴とする。また、特徴重みは任意の値とする。図８に示すように、特徴ＩＤ＝０，１，２，・・・の単語「監視」、「時間」、「％ｄ」、・・・に対し、文書ＩＤ＝０における単語の出現頻度を調べると、１，１，２，・・・となる。これら出現頻度に任意の特徴重み１．１１，１．２２，１．３３，・・・を乗算すると、文書ＩＤ＝０の特徴ベクトル（１．１１，１．２２，２．６６，・・・）が得られる。この特徴ベクトルは、図６の文書ＩＤ＝０の行に相当する。
文書特徴抽出部１０３は正規化後文書データについても同様の変換処理を行って、図７のような特徴ベクトルを生成する。
なお、本実施の形態では形態素解析で得られる各単語の出現頻度を使って特徴ベクトルを生成しているが、これに限定するものではなく、例えば構文解析で得られる係り受け文節ペアの出現頻度を単語の出現頻度の換わりに使ったり、併用しても良い。
【００４２】
なお、図６及び図７に示す例では省略するが、以降の処理（ステップＳＴ１４以降）では、特徴ベクトルの大きさが１となるように正規化して用いるものとする。即ち、図６に例示した各行の特徴ベクトルｄｉの代わりに、実際にはノルムで正規化したｄｉ／‖ｄｉ‖が正規化前文書特徴格納部１０４及び正規化後文書特徴格納部１０５に格納される。
【００４３】
次に、文書差分抽出部１０７が、上述した正規化前と正規化後の特徴ベクトル（文書特徴データ）の差分を計算して、各文書の移動ベクトルを求める（ステップＳＴ１４）。図６と図７に例示する同じ文書ＩＤの文書間で特徴ベクトルの差分を取ると、図９に例示する正規化前・後文書間特徴の移動ベクトルのデータが得られる。文書差分抽出部１０７は得られた文書特徴移動ベクトルのデータを文書特徴移動ベクトル格納部１０８に格納する。
以上が第１フェーズの初期化処理である。
【００４４】
次に、第２フェーズの動作を説明する。
文書検索装置１００に正規化対象文書１０が入力されると（図２のステップＳＴ２“ＹＥＳ”）、第２フェーズのランタイム処理が開始される。図１０は、第２フェーズの動作を示すフローチャートである。以下では、新たに入力された正規化対象文書１０として、図１１に示す文書ＩＤ＝ｘの「監視時間を整数で入力して下さい」を例に用いて、図１２に示す第２フェーズの概要を参照しながら説明する。図１２（ａ）は、文書検索装置１００に、正規化対象文書１０（白丸ｘ）の「監視時間を整数で入力して下さい」が新規に入力された状態の特徴ベクトル空間を示す。なお、丸印内の数字は文書ＩＤに対応している。
【００４５】
先ず、文書特徴抽出部１０３が第１フェーズのステップＳＴ１１〜ＳＴ１３と同様の変換処理を行って、正規化対象文書１０の特徴ベクトルを得る（ステップＳＴ２１）。図１３に、図１１に示す正規化対象文書から得た特徴ベクトル（文書特徴）の一例を示す。
【００４６】
続いて、第１の文書類似度算出部１０６が、正規化対象文書１０と、正規化前文書特徴格納部１０４に格納された複数の正規化前文書との間で、特徴ベクトルの類似度をそれぞれ計算する（ステップＳＴ２２）。ここでは下式（１）に示すように、ベクトルの余弦を求めて類似度とする。また、‖ｄ‖は特徴ベクトルｄ＝（ｄ０，ｄ１，・・・）のノルムであり、下式（２）で与えられる。類似度計算の結果、図１４に例示するような、正規化対象文書に対する正規化前文書それぞれの正規化前文書類似度のデータが得られる。
2011186735.tif 000003
2011186735.tif 000004
【００４７】
図１２（ｂ）の例では、第１の文書類似度算出部１０６が、正規化対象文書１０（白丸ｘ）と正規化前文書格納部１０１に格納されている既存の正規化前文書（白丸０，１，２，・・・）との類似度を評価する。ただし、図中ではこの様子を説明の都合上３点（白丸１，２，３）のみについて示す。
【００４８】
続いて、文書正規化予測部１０９が、正規化対象文書１０がどのように書き換えられるか（移動ベクトル）を予測する（ステップＳＴ２３）。即ち、文書正規化予測部１０９が、文書特徴移動ベクトル格納部１０８が格納している各文書間特徴の移動ベクトルに対して、ステップＳＴ２２で計算した正規化前文書類似度データで重み付けして平均を求めることにより、正規化対象文書１０の正規化予測した移動ベクトルを予測する。図１５に、正規化対象文書１０の正規化予測した移動ベクトル（文書特徴移動ベクトル）の一例を示す。この処理を下式（３）に示す。式（３）中、Δｄｘは正規化対象文書１０（白丸ｘ）の予測される移動ベクトルを表す。また、ｄｉ−，ｄｉは文書（ｉ）の正規化前、正規化後の特徴ベクトルを表し、ｓｉｍ（ｄｘ，ｄｉ−）は正規化前文書類似度、（ｄｉ−ｄｉ−）は文書間特徴の移動ベクトルを表す。ｓｉｍ（）は文書間の類似度関数である。Σｉ，Σｊそれぞれは、全ての文書の特徴ベクトルｄｉ，ｄｊに対して総和を取ることを表している。
2011186735.tif 000005
【００４９】
図１２（ｂ）の例では、正規化前文書（白丸１，２，３）の正規化後文書（黒丸１，２，３）への各移動ベクトル（実線の矢印）を、正規化前文書類似度で重み付けして平均を求めることにより、正規化対象文書１０（白丸ｘ）から正規化した文書への移動ベクトルの予測結果（図１２（ｃ）の破線の矢印で示す移動ベクトル）を得る。
【００５０】
文書正規化予測部１０９は、正規化予測した正規化対象文書１０の移動ベクトル（図１５）を元の正規化対象文書１０の特徴ベクトル（図１３）に加算して、正規化予測した特徴ベクトルを求める。この正規化予測した正規化対象文書１０の特徴ベクトル（文書特徴）を図１６に示す。
【００５１】
続いて、第２の文書類似度算出部１１０は、文書正規化予測部１０９が正規化予測した正規化対象文書１０の特徴ベクトルと、文書特徴抽出部１０３が抽出した各正規化後文書の特徴ベクトルとをそれぞれ照合して、類似度を計算する（ステップＳＴ２４）。類似度ｓｉｍ（Δｄｘ，ｄｉ）は上式（１）より求め、正規化対象文書１０に対する正規化後文書それぞれの正規化後文書類似度のデータを得る。
【００５２】
続いて、正規化推薦データ生成部１１１は、正規化対象文書１０を正規化予測した特徴ベクトルに最も類似する特徴ベクトルをもつ正規化後文書を正規化後文書特徴格納部１０５（図７）から選択する（ステップＳＴ２５）。この処理を下式（４）に表す。
2011186735.tif 000006
【００５３】
この結果、図１６に示す特徴ベクトルに最も類似した特徴ベクトルをもつ正規化後文書として、図７に示す文書ＩＤ＝０が選択される。正規化推薦データ生成部１１１は、更に、正規化後文書格納部１０２（図５）を参照して選択した文書ＩＤ＝０の文書内容「監視時間を％ｄ〜％ｄの範囲の整数で入力して下さい」を得て、正規化対象文書１０に対する正規化推薦データ１１としてサジェストする。
【００５４】
図１２（ｄ）の例では、「監視時間を％ｄ〜％ｄの範囲の整数で入力して下さい」がサジェストされることになるので、正規化対象文書１０（白丸ｘ）の「監視時間を整数で入力して下さい」に対し、文中に「％ｄ〜％ｄの範囲の整数」を挿入して正規化することとなる。
【００５５】
以上より、実施の形態１によれば、文書検索装置１００は、正規化対象文書１０から文書特徴を抽出して特徴ベクトルに変換する文書特徴抽出部１０３と、正規化対象文書１０の特徴ベクトルを、正規化前文書格納部１０１の各正規化前文書の特徴ベクトルとそれぞれ照合して正規化前文書類似度を求める第１の文書類似度算出部１０６と、各正規化前文書の特徴ベクトルと正規化後文書格納部１０２の各正規化後文書の特徴ベクトルの差分を計算して、正規化前後の特徴移動ベクトルを生成する文書差分抽出部１０７と、正規化前後の特徴移動ベクトルに対して正規化前文書類似度を用いた重み付けを行って平均を求め、正規化対象文書１０を正規化した場合の正規化後の特徴ベクトルを予測する文書正規化予測部１０９と、正規化後の正規化対象文書１０の特徴ベクトルを、各正規化後文書の特徴ベクトルとそれぞれ照合して正規化後文書類似度を求める第２の文書類似度算出部１１０と、正規化後文書類似度に基づいて、正規化対象文書１０の正規化を推薦する正規化推薦データ１１を生成する正規化推薦データ生成部１１１とを備えるように構成した。この構成により、入力された正規化対象文書１０に対し、既存文書の特徴の移動ベクトルを類似度の重み付きで平均化して適用することにより正規化対象文書１０の正規化後の状態を予測するので、既存の書き換え傾向に沿った正規化を予測することが可能となっている。従って、人手で行われる正規化作業から業務に固有の知識及び判断の情報を抽出して利用することができるようになり、この結果、一般的な知識による正規化支援に留まらず、業務に特化した、より利便性の高い支援を行うことができる。また、正規化後文書格納部１０２の中に、正規化対象文書と正規化前の状態が似ている正規化後文書が存在しなくても適用できるという利点がある。
【００５６】
実施の形態２．
上記実施の形態１では、既存の正規化前文書及び正規化後文書を利用して、新規作成文書に対し正規化後の状態を予測する方法を説明した。この方法の場合、予測がうまく行くか否か（既存の正規化作業の書き換え傾向を反映した妥当な正規化サジェストか否か）は、特徴ベクトル空間の性質に依存する。そのため、正規化による書き換えに関係する特徴が強調されるように、特徴ベクトル空間を設定する必要がある。そこで、本実施の形態２では、上記実施の形態１に係る文書検索装置１００に対し、学習機能を付加する。
【００５７】
図１７に示す本実施の形態２に係る文書検索装置２００は、上記学習機能を実現するために、新たに特徴重み学習部２０１を備える。また、図１の第１の文書類似度算出部１０６及び文書正規化予測部１０９に代えて、第１の文書類似度算出部２０６及び文書正規化予測部２０９を備える。なお、図１７において図１と同一又は相当の部分については同一の符号を付し説明を省略する。なお、第１の文書類似度算出部２０６が第３の文書類似度算出部を構成する。
【００５８】
特徴重み学習部２０１は、第１フェーズにおいて、既存の正規化前文書を入力して正規化後の状態を予測してみて、その予測誤差が小さくなるように特徴ベクトル空間を伸縮及び変形させるものである。これにより、新たに入力される正規化対象文書１０に対しても、正規化後の状態を高精度に予測できるようになると期待できる。
【００５９】
学習により調整するパラメータは、特徴辞書格納部１１２が格納している特徴辞書のうちの特徴重み（図８に例示する）である。いま、文書ｉの特徴ベクトルｄｉを、文書特徴頻度ベクトルＦｉ∈Ｎ＋ｎ（非負整数のｎ次元ベクトル）と各次元に対する特徴重みΛ∈Ｒ＋ｎ（非負実数のｎ次元ベクトル）を用いて、下式（５）のように表すものとする。なお、ΛＴはΛの転置行列を表す。
2011186735.tif 000007
【００６０】
上式（３）により文書ｉの正規化予測した移動ベクトルΔｄｉを予測するとき、正規化前文書格納部１０１に格納された既存の全ての正規化前文書ｄｉ∈Ｄ０に対して正規化の予測誤差を最小化する特徴重みΛは、下式（６）により与えられる。ｄｉ−，ｄｉはそれぞれ文書ｉの正規化前、正規化後の特徴ベクトルである。
2011186735.tif 000008
【００６１】
特徴重み学習部２０１は、各正規化前文書に対する正規化後の状態と、実際の正規化後文書の状態を元にし、上式（６）を最大化するような特徴重みΛを求める。
【００６２】
第１の文書類似度算出部２０６は、上記実施の形態１の第１の文書類似度算出部１０６と同様に正規化対象文書１０と各正規化前文書との間で特徴ベクトルの類似度を計算する動作に加えて、更に、正規化前文書各々の間の特徴ベクトルの類似度（第３の類似度）も計算する。
【００６３】
文書正規化予測部２０９は、上記実施の形態１の文書正規化予測部１０９と同様に正規化対象文書１０の正規化後の状態を正規化予測した移動ベクトルを求める動作に加えて、更に、各正規化前文書に対する正規化後の状態を正規化予測した移動ベクトルも求める。
【００６４】
次に、可動部２００の動作を説明する。文書検索装置２００は、上記実施の形態１と同様に第１フェーズ及び第２フェーズの２つから構成されるが、第２フェーズの動作は全く同じである。そこで、以下では第２フェーズの説明を省略し、第１フェーズの、特に実施の形態１と動作の異なる部分に焦点を絞って説明する。
【００６５】
以下に、図１８に示すフローチャートを用いて、第１フェーズの動作を説明する。
先ず、文書検索装置２００は、上記実施の形態１と同様にステップＳＴ１１〜ＳＴ１４を実施する。このとき用いられる特徴辞書格納部１１２の特徴辞書データは図８に示す形式のものであり、特徴重みとして任意の初期値が格納されているものとする。この特徴重みの値が、以降の処理により適切に調整される。
【００６６】
続いて、第１の文書類似度算出部２０６は、上式（１）に基づいて、正規化前文書特徴格納部１０４に格納された各正規化前文書間の特徴ベクトルの類似度を計算する（ステップＳＴ１５）。類似度計算の結果、図１９に例示するような、正規化前文書間類似度のデータが得られる。
【００６７】
続いて、文書正規化予測部２０９が、正規化前文書それぞれについて、図１９の正規化前文書間類似度データと、文書特徴移動ベクトル格納部１０８に格納されている文書特徴移動ベクトルとに基づいて、上式（３）より、正規化した場合の移動ベクトルを予測する（ステップＳＴ１６）。この結果、図２０に例示するような、各正規化前文書を正規化予測した移動ベクトル（文書特徴移動ベクトル）が得られる。
【００６８】
続いて、特徴重み学習部２０１は、図２０に例示する正規化前文書の正規化予測した移動ベクトル、正規化前文書特徴格納部１０４に格納された正規化前文書の特徴ベクトル、及び正規化後文書特徴格納部１０５に格納された正規化後文書の特徴ベクトルを用いて、上式（６）に従い、特徴重みを求める（ステップＳＴ１７）。即ち、例えば公知技術の山登り法を適用して、特徴重みの更新とステップＳＴ１５，ＳＴ１６の処理とを、特徴重みが収束するまで繰り返すことにより、上式（６）の解Λ＊を求めることが可能である。
【００６９】
続いて、特徴重み学習部２０１は求めた特徴重みで特徴辞書格納部１１２が格納している各特徴重みを更新する（ステップＳＴ１８）。
【００７０】
文書検索装置２００は、以上の第１フェーズにおいて得られた特徴辞書格納部１１２の特徴重みを用いて、上記実施の形態１と同様の第２フェーズの処理を行い、正規化をサジェストする。
【００７１】
以上より、実施の形態２によれば、文書検索装置２００は、各正規化前文書間で特徴ベクトルを照合して正規化文書間類似度を求める第１の文書類似度算出部２０６と、文書差分抽出部１０７が求めた各文書の正規化前後の特徴移動ベクトルに対して正規化文書間類似度を用いた重み付けを行って平均を求め、各正規化前文書をそれぞれ正規化した場合の正規化後の特徴ベクトルを予測する文書正規化予測部２０９と、正規化予測した各正規化前文書の特徴ベクトルを、各正規化後文書の特徴ベクトルとそれぞれ比較して予測誤差を計算し、当該予測誤差が最小となる特徴重みを求めて特徴辞書格納部１１２の特徴重みを更新するように構成した。このため、第１フェーズにおいて、既存文書の正規化傾向を最も良く反映した予測が可能なように特徴重みを事前学習しておくことができるので、入力された正規化対象文書１０に対し、既存の書き換え傾向にさらに沿った正規化を予測することができる。
【符号の説明】
【００７２】
１０  正規化対象文書、１１  正規化推薦データ、１００，２００  文書検索装置、１０１  正規化前文書格納部、１０２  正規化後文書格納部、１０３  文書特徴抽出部、１０４  正規化前文書特徴格納部、１０５  正規化後文書特徴格納部、１０６，２０６  第１の文書類似度算出部、１０７  文書差分抽出部、１０８  文書特徴移動ベクトル格納部、１０９，２０９  文書正規化予測部、１１０  第２の文書類似度算出部、１１１  正規化推薦データ生成部、１１２  特徴辞書格納部、２０１  特徴重み学習部。
【図１】
2011186735.tif 000009
【図２】
2011186735.tif 000010
【図３】
2011186735.tif 000011
【図４】
2011186735.tif 000012
【図５】
2011186735.tif 000013
【図６】
2011186735.tif 000014
【図７】
2011186735.tif 000015
【図８】
2011186735.tif 000016
【図９】
2011186735.tif 000017
【図１０】
2011186735.tif 000018
【図１１】
2011186735.tif 000019
【図１２】
2011186735.tif 000020
【図１３】
2011186735.tif 000021
【図１４】
2011186735.tif 000022
【図１５】
2011186735.tif 000023
【図１６】
2011186735.tif 000024
【図１７】
2011186735.tif 000025
【図１８】
2011186735.tif 000026
【図１９】
2011186735.tif 000027
【図２０】
2011186735.tif 000028
【図２１】
2011186735.tif 000029
【図２２】
2011186735.tif 000030