(57)【要約】【課題】インデックス情報の示す文書情報各々に共通の不要部分を判定し、その不要部分が当該インデックス情報に反映された知識検索用のデータベースを構築する。【解決手段】不要部分判定部１２２は、知識検索用データベース１１１に登録されているインデックス情報の示す文書情報各々に共通する語範囲の部分に同一語が含まれる程度を表す類似性に基づき、当該語範囲の部分が不要な情報を含む不要部分であるかを判定する。インデックス更新部１２３は、不要部分判定部１２２の判定結果を知識検索用データベース１１１に登録されているインデックス情報に反映する。【選択図】      図１
2006106873.tif 000002
【特許請求の範囲】
【請求項１】
公開されている文書情報を収集して当該文書情報の検索に用いられるインデックス情報を生成して当該インデックス情報を知識検索用データベースに登録する情報収集手段と、
前記データベースに登録されているインデックス情報の示す文書情報各々に共通する語範囲の部分に同一語が含まれる程度を表す類似性を評価して、当該語範囲の部分が不要な情報を含む不要部分であるかを判定する不要部分判定手段と、
前記不要部分判定手段の判定結果を前記データベースに登録されているインデックス情報に反映するインデックス更新手段と
を具備することを特徴とする知識検索データベース構築システム。
【請求項２】
前記不要部分判定手段の判定結果をユーザに提示して、当該判定結果をインデックス情報に反映するか否かの指示の入力を促す判定結果提示手段と、
前記判定結果の提示に従うユーザの指示入力を受け付ける入力インタフェースとを更に具備し、
前記インデックス更新手段は、前記入出力インタフェースによって受け付けられた前記ユーザの指示入力に応じて前記不要部分判定手段の判定結果を前記データベースに登録されているインデックス情報に反映することを特徴とする請求項１記載の知識検索データベース構築システム。
【請求項３】
前記不要部分判定手段は、前記データベースに登録されているインデックス情報の示す文書情報のうちの第１の比率以上の文書情報に出現する語を含む、当該文書情報の各々に共通する語範囲の部分であって、当該語範囲の部分の語数に対する前記第１の比率以上の文書情報に出現する語の数の比率である合致率が第２の比率範囲に入る一定語数の語範囲の部分を、不要語を含む不要部分として判定することを特徴とする請求項１記載の知識検索データベース構築システム。
【請求項４】
前記語範囲、前記第１の比率及び前記第２の比率をそれぞれ指定する判定パラメーの組タをユーザの操作に応じて設定する判定パラメータ設定手段を更に具備することを特徴とする請求項３記載の知識検索データベース構築システム。
【請求項５】
前記判定パラメータ設定手段は、前記情報収集手段による収集の対象となる前記公開されている文書情報の提供元毎に前記判定パラメータの組を設定することを特徴とする請求項４記載の知識検索データベース構築システム。
【請求項６】
前記判定パラメータ設定手段によって設定された判定パラメータの組と、当該判定パラメータの組に従う前記不要部分判定手段の判定結果とを保存する保存手段と、
前記保存手段に保存されている前記判定パラメータの組と前記判定結果とをユーザに提示して、判定パラメータ変更の指示を含む予め定められたユーザの指示のうちのいずれかの入力を促す判定パラメータ／判定結果提示手段と、
前記判定パラメータの組と前記判定結果との提示に従うユーザの指示入力を受け付ける入力インタフェースとを更に具備し、
前記判定パラメータ設定手段は、前記入出力インタフェースによって前記判定パラメータ変更の指示入力が受け付けられた場合、当該指示入力に応じて前記保存手段に保存されている前記判定パラメータの組を変更し、
前記不要部分判定手段は、前記判定パラメータ設定手段によって変更された判定パラメータの組に従って、不要部分の判定を再実行する
ことを特徴とする請求項４または請求項５記載の知識検索データベース構築システム。
【請求項７】
前記不要部分判定手段は、前記判定パラメータ／判定結果提示手段によって前記判定パラメータの組と前記判定結果とがユーザに提示されるに際し、当該判定パラメータの組に従って、現在前記データベースに登録されているインデックス情報の不要部分を判定することにより、現在の判定結果を取得し、
前記判定パラメータ／判定結果提示手段は、前記保存手段に保存されている前記判定パラメータの組と前記判定結果とをユーザに提示する際に、当該判定結果と前記現在の判定結果とから、前記判定パラメータが現在前記データベースに登録されているインデックス情報に適合しなくなったために、当該判定パラメータの組の変更と前記データベースの再構築が必要なことを併せて前記ユーザに通知する
ことを特徴とする請求項６記載の知識検索データベース構築システム。
【請求項８】
前記不要部分判定手段は、前記語範囲を最適範囲に調整するために、前記合致率が前記第２の比率範囲から外れている場合には、前記語範囲を縮小しながら前記合致率を再計算する動作を、再計算された合致率が前記第２の比率範囲に入るまで繰り返し、再計算された合致率が前記第２の比率範囲に入った際の前記語範囲を最適範囲として決定し、前記合致率が前記第２の比率範囲に入っている場合には、前記語範囲を拡大しながら前記合致率を再計算する動作を、再計算された合致率が前記第２の比率範囲から外れるまで繰り返し、再計算された合致率が前記第２の比率範囲から外れる直前の前記語範囲を最適範囲として決定することを特徴とする請求項３記載の知識検索データベース構築システム。
【請求項９】
前記情報収集手段は、公開されている文書情報を収集してインデックス情報を生成する際に、前記不要部分判定手段の判定結果を当該インデックス情報に反映することを特徴とする請求項１記載の知識検索データベース構築システム。
【請求項１０】
公開されている文書情報を収集することにより生成される当該文書情報の検索に用いられるインデックス情報が登録される知識検索用データベースを構築するための知識検索データベース構築方法であって、
前記データベースに登録されているインデックス情報の示す文書情報各々に共通する語範囲を指定するステップと、
前記データベースに登録されているインデックス情報の示す文書情報各々の前記指定された語範囲に含まれる語を候補語として抽出するステップと、
前記抽出された候補語が前記データベースに登録されているインデックス情報の示す文書情報各々の前記指定された語範囲の部分に含まれる程度を表す類似性を評価して、当該語範囲の部分が不要な情報を含む不要部分であるかを判定するステップと、
前記不要部分の判定結果を前記データベースに登録されているインデックス情報に反映するステップと
を具備することを特徴とする知識検索データベース構築方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、収集された文書情報から生成された当該文書情報の検索に用いられるインデックス情報が登録される、ナレッジマネジメントシステムにおける知識検索用のデータベースを構築するための知識検索データベース構築システム及び方法に係り、特にインデックス情報内の不要部分を除去するのに好適な知識検索データベース構築システム及び方法に関する。
【背景技術】
【０００２】
様々な形式で公に供されている公開情報、例えばファイルサーバ上のファイル、Ｗｅｂサイト上のＨＴＭＬ（Hyper Text Markup Language）文書などを有効に活用するシステムとして、ナレッジマネジメントシステムが知られている。多くのナレッジマネジメントシステムでは、このような情報を「知識」として集積する「知識データベース」を構築するために、公開情報からテキスト部分を抽出してインデックスとして管理し、自然言語検索などの検索用に提供することにより、蓄積された知識情報の効率的な活用を実現している（例えば、特許文献１参照）。この特許文献１に記載されたシステムにおいては、設定ファイルに設定された知識情報収集のための条件（知識情報収集条件）に従って、インターネット上の公開情報が収集される。この条件は、情報収集の対象となるリンクの段数及びリンク毎の収集ファイル個数を含む。
【特許文献１】特開２００３−３０３１９７号公報（段落０００８，００１０，００８６乃至００８９）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記した従来技術においては、収集された公開情報から抽出されたテキスト内に、本来重要でない情報が含まれることがある。このような「重要でない」情報を含むテキストデータをインデックスとして管理した場合、知識データベース検索精度に影響を及ぼすことがある。知識データベース検索の精度を向上させるためには、知識検索用のデータベース構築時に、文書の内容のうち、重要でない「不要部分」を除去することが望ましい。
【０００４】
そこで、不要部分を除去するために、その不要部分を指定する手法として、キーワード指定、或は文書の構造（章立て、ＨＴＭＬなどのタグ構造など）指定が考えられる。
【０００５】
しかしながら、特に、収集した文書の多くに共通する部分（ヘッダやフッタ）が存在するような場合、その部分が不要であることを判定するのは困難である。
【０００６】
例えば、キーワードの指定による手法では、重要語をキーワード指定することは可能でも、候補の数が重要語に比べて膨大となる不要語を指定することは現実的には難しい。そこで、重要語をキーワード指定する手法を適用し、出現頻度や共起関係から重要語を選定して判定基準とすることが考えられる。しかし、この判定基準は、文書内の本来重要な部分と不要な部分の両方に指定されたキーワードが含まれるような場合には、文書内の各部分それぞれでの重みについて判定する基準としては不十分である。
【０００７】
また、文書の構造を判定の基準とする場合、文書内の部分について重みを持たせることはできるが、含まれる内容の実際の重要性を判断することはできない。特に、ＨＴＭＬなど、文書の構造が必ずしも意味を表さないような文書の場合には、判断の基準とすることは適切でない。
【０００８】
これらの手法を組み合わせ、文書内に出現するキーワードに、文書の構造による重みを加味すると、重要部分を抽出することは可能となる。しかし、重要部分を含まないために不要とされた部分が、本当に不要かを判断することはできない。
【０００９】
このように、収集された公開情報からテキストデータを抽出して知識検索用のデータベースを構築するのに、予め指定したキーワードや、出現頻度の高い単語など、文書内の「重要部分」に着目することにより、確かに「重要部分」を抽出することは可能である。しかし、「不要部分」を判定することは難しいことから、知識検索用のデータベース内に「不要部分」が含まれるのは避けられない。この場合、データベース検索の精度の低下を招く。
【００１０】
本発明は上記事情を考慮してなされたものでその目的は、文書情報検索に用いられるインデックス情報の示す文書情報各々に共通の不要部分を判定し、その不要部分が当該インデックス情報に反映された知識検索用のデータベースを構築することにより、データベース検索精度を向上させることができる知識検索データベース構築システム及び方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の１つの観点によれば、公開されている文書情報を収集して当該文書情報の検索に用いられるインデックス情報を生成して当該インデックス情報を知識検索用データベースに登録する情報収集手段と、上記データベースに登録されているインデックス情報の示す文書情報各々に共通する語範囲の部分に同一語が含まれる程度を表す類似性を評価して、当該語範囲の部分が不要な情報を含む不要部分であるかを判定する不要部分判定手段と、この不要部分判定手段の判定結果を上記データベースに登録されているインデックス情報に反映するインデックス更新手段とを備えた知識検索データベース構築システムが提供される。
【００１２】
このような構成においては、知識検索用データベースに登録されるインデックス情報の示す文書情報各々に共通の不要部分が、その部分に同一語が含まれる程度を表す類似性に基づいて、不要部分判定手段によって判定される。この判定は、知識検索用データベースに登録されるインデックス情報の示す文書情報各々に共通の不要部分には、同一語が共通に含まれる比率が高いこと、つまり該当部分の類似性が高いことに着目して行われている。このため、不要部分判定手段の判定結果を知識検索用データベースに登録されているインデックス情報に反映し、例えば不要部分を論理的に除去（削除）して、当該知識検索用データベースを構築することで、データベース検索精度を向上させることができる。
【００１３】
ここで、不要部分判定手段の判定結果をユーザに提示し、判定結果を受け入れてインデックス情報に反映するかをユーザに指定させるならば、不要と判定される部分の微調整がユーザの意図を反映して行える。
【００１４】
また、上記類似性として、データベースに登録されているインデックス情報の示す文書情報のうちの第１の比率以上の文書情報に出現する語を含む、当該文書情報の各々に共通する語範囲の部分であって、当該語範囲の部分の語数に対する上記第１の比率以上の文書情報に出現する語の数の比率である合致率を適用すると良い。この場合、合致率が第２の比率範囲に入る一定語数の語範囲の部分を、不要語を含む不要部分とするならば、不要部分を高精度に判定できる。
【００１５】
不要部分の判定の基準となる条件（判定パラメータ）を外部から設定可能な構成とすることにより、基準を固定するよりも精度良く判定を行うことができる。
【００１６】
また、不要部分は、収集される文書情報の提供元（公開元）によって異なる傾向があることが予測される。そこで、公開される文書情報の提供元毎に判定条件（判定パラメータ）を設定して、当該提供元毎に不要部分を判定可能とすることにより、提供元の特徴に応じた不要部分の判定を行うことができる。これにより、様々な形態の文書から、粒度の揃ったインデックス情報を作成して知識検索用データベースを構築することができ、より検索精度を向上させることができる。
【００１７】
また、判定条件（パラメータ）と判定結果とを保存手段に保存しておき、この保存手段に保存されている判定条件と判定結果とをユーザに提示して、判定条件変更の指示を含む予め定められたユーザの指示のうちのいずれかの入力を促す構成とすることも可能である。この構成においては、保存されている判定条件の変更、変更された判定条件に従う不要部分の再判定の実施、知識検索用データベースへの反映等が任意のタイミングで可能となる。つまりユーザは、所望のタイミングで、インデックス情報への不要部分反映（例えばインデックス情報からの不要部分除去）を指示することができる。これにより、インデックス情報生成に用いられた元の公開されている文書情報が更新されたことが分かった場合に、知識検索用データベース内のインデックス情報を適切な状態に更新することが可能となる。
【００１８】
知識検索用データベースに登録されているインデックス情報は、対応する元の文書情報の更新に応じて更新されることがある。このような場合、不要部分と判定される部分が変わる可能性がある。そこで、元の判定結果と現在の判定結果とから、判定条件が現状に適合しなくなったことが検出できた場合には、その旨をユーザに通知して判定条件の変更を促す構成とすると良い。このようにすると、変更された判定条件に従う再判定によって知識検索用データベースを再構築して、当該データベースのインデックス情報を適切な状態に維持することが可能となる。ここで、インデックス情報の不要部分の除去を論理的に行うならば、対応するインデックス情報の不要部分の再判定を容易に行うことができる。
【発明の効果】
【００１９】
本発明によれば、知識検索用データベースに登録されるインデックス情報の示す文書情報各々に共通に共通して不要な情報を含む部分には、同一語が共通に含まれる比率が高いことに着目して、そのような部分を不要部分として判定し、その不要部分を知識検索用データベースに反映することにより、データベース検索精度を向上させることができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の一実施形態につき図面を参照して説明する。  
図１は本発明の一実施形態に係るナレッジマネジメントシステム１の構成を示すブロック図である。このナレッジマネジメントシステム１は、知識情報の収集、分析及び検索等のサービスを提供する。ナレッジマネジメントシステム１は、主として、知識検索システム１１と知識検索データベース構築システム１２とから構成される。
【００２１】
知識検索システム１１は、知識検索用データベース１１１と、検索インタフェース１１２と、インデックス検索部１１３とを含む。知識検索用データベース１１１は、公開情報（公開文書）２から抽出されたテキストデータをもとに作成された検索用インデックスを格納する。検索インタフェース１１２は、知識検索に必要な検索条件等をユーザ３に入力させると共に、ユーザ３からの要求された検索の結果を当該ユーザ３に提示する。インデックス検索部１１３は、アクセス部４を介して転送される、ユーザ３からの検索要求に従い、当該検索要求で指定された検索条件に合致するインデックスを知識検索用データベース１１１から検索する検索エンジンである。インデックス検索部１１３は、検索条件に合致するインデックスに基づいて公開情報を特定する。インデックス検索部１１３によって特定された公開情報の一覧は、検索インタフェース１１２によって検索結果としてアクセス部４を介してユーザ３に提示される。アクセス部４は、図示せぬクライアント端末で動作する、例えばＷｅｂブラウザ、或はナレッジマネジメントシステム１を利用するための専用のクライアントソフトウェアである。
【００２２】
知識検索データベース構築システム１２は、情報収集部１２１と、不要部分判定部１２２と、インデックス更新部１２３と、判定パラメータ／判定結果保存部１２４と、判定パラメータ／判定結果表示インタフェース１２５と、入力インタフェース１２６と、判定パラメータ設定部１２７とを含む。情報収集部１２１は、ファイルサーバ上のファイル、Ｗｅｂサイト上のＨＴＭＬ文書など、様々な形式で公に供されている公開情報（公開文書）２をオリジナル文書として、例えば管理者（管理ユーザ）によって与えられた知識情報収集条件に従って収集する。なお図１では、管理者に収集条件を設定させるための情報収集インタフェースは省略されている。情報収集部１２１はまた、収集された公開情報２からテキストデータを抽出して、知識検索用データベース１１１へのインデックス登録を行う。
【００２３】
不要部分判定部１２２は、知識検索用データベース１１１に登録されているインデックス情報の示す文書情報各々に共通して不要な情報を含む部分（つまり不要部分）を、その部分に同一語が含まれる程度を表す類似性に基づき判定する。インデックス更新部１２３は、不要部分判定部１２２による不要部分判定の結果を知識検索用データベース１１１に反映する。判定パラメータ／判定結果保存部１２４は、不要部分判定部１２２による不要部分の判定の基準（条件）となった判定パラメータを保存するのに用いられる。判定パラメータ／判定結果保存部１２４はまた、不要部分判定部１２２による不要部分判定の結果を保存するのに用いられる。
【００２４】
図２は、不要部分判定部１２２による不要部分判定に用いられる判定パラメータの一例を示す。図２に示すように、本実施形態で適用される判定パラメータは、Ｐ０，Ｐ１，Ｐ２及びＰ３の４種類である。
【００２５】
判定パラメータＰ０は、不要部分判定のために知識検索用データベース１１１からサンプリングされる文書の数（サンプル文書数）または比率を表す。判定パラメータは、文書内で不要部分判定の対象とする単語群の範囲（語範囲）を、例えば開始位置と単語数とで表す。判定パラメータＰ２は、候補語が含まれる文書の比率（出現文書比率、第１の比率）の基準値（閾値）を表す。判定パラメータＰ３は、合致率の基準範囲（第２の比率範囲）を表す。合致率とは、パラメータＰ１で指定される範囲の単語の数に対する、パラメータＰ２の示す出現文書比率の閾値を超える単語の数の比率を指す。
【００２６】
再び図１を参照すると、判定パラメータ／判定結果表示インタフェース１２５は、判定パラメータ／判定結果保存部１２４に保存されている判定パラメータと判定結果とをユーザ３に提示する。判定パラメータ／判定結果表示インタフェース１２５はまた、判定パラメータの設定入力をユーザ３に促す。入力インタフェース１２６は、ユーザ３の操作に応じてアクセス部４を介して与えられる入力情報を受けて、その入力情報を知識検索データベース構築システム１２内の当該入力情報を処理するのに適した処理部に渡す。例えば入力情報が、パラメータ設定要求であれば、入力インタフェース１２６は、当該パラメータ設定要求で指定された判定パラメータを判定パラメータ設定部１２７に渡す。判定パラメータ設定部１２７は、判定パラメータ設定部１２７から渡された判定パラメータを、不要部分判定部１２２での判定に用いられる判定パラメータとして設定する。
【００２７】
次に、図１のナレッジマネジメントシステム１における知識検索データベース構築システム１２を中心とする動作について、知識検索用データベース１１１に登録されているインデックス情報の示す各文書の不要部分を判定する不要部分判定処理を例に、図２及び図３を参照して説明する。なお、図２は、不要部分を判定する処理（不要部分判定処理）の手順を示すフローチャート、図３は不要部分判定処理で用いられる判定パラメータの一例を示す。
【００２８】
まず情報収集部１２１は、種々の公開情報２をオリジナル文書として収集して、当該文書からテキスト部分（テキストデータ）を抽出する（ステップＳ１）。次に情報収集部１２１は、抽出されたテキストデータを形態素解析などの公知の手法で単語に分解することにより、対応する文書を検索するのに必要なインデックスを作成して知識検索用データベース１１１に登録する（ステップＳ２）。このようにして、知識検索用データベース１１１には、収集された種々の公開情報２（オリジナル文書）の検索に用いられるインデックス情報が登録されているものとする。
【００２９】
この状態で、不要部分判定部１２２は、知識検索用データベース１１１に保持されていインデックス情報の示す元の全ての文書の中から、パラメータＰ０によって示される比率の文書をサンプル文書として選び、そのサンプル文書からパラメータＰ１で指定される範囲の単語を、重複語を除いて候補語として抽出して、候補語リストを作成する（ステップＳ３）。ここでは、サンプル文書の１語目から２０語目までの単語が、重複語を除いて抽出される。なお、以下の説明では、煩雑さを避けるため、知識検索用データベース１１１に文書が保持されているものとする。
【００３０】
次に不要部分判定部１２２は、知識検索用データベース１１１に保持されている全文書の中で、候補語リスト上の単語が、パラメータＰ１で指定される範囲に含まれる文書（出現文書）の占める比率を、出現文書比率として算出する（ステップＳ４）。
【００３１】
次に不要部分判定部１２２は、ステップＳ４で算出された出現文書比率が、パラメータＰ２で与えられる比率（閾値）を超える候補語をカウントする。もし、閾値を超える候補語がないならば（ステップＳ５）、不要部分判定部１２２は後述するステップＳ７に進む。これに対して、閾値を超える候補語があるならば（ステップＳ５）、不要部分判定部１２２はカウントされた候補語数が、パラメータＰ１で指定される単語数に対して、パラメータＰ３で与えられる規準を満たすかを判定する（ステップＳ６）。即ち不要部分判定部１２２は、パラメータＰ１で指定される単語数に対するカウントされた候補語数の比率（合致率）が、パラメータＰ３で与えられる規準範囲に入っているかを判定する。
【００３２】
もし、合致率がパラメータＰ３の指定する基準範囲に入っているならば（ステップＳ６）、不要部分判定部１２２は、全文書におけるパラメータＰ１で指定される範囲（図２の例であれば、先頭から２０語までの部分）は、殆ど同じ内容であるとして不要部分と判定する（ステップＧ１）。このステップＳ６の詳細は後述する。
【００３３】
これに対し、合致率がパラメータＰ３の指定する基準範囲からはずれているならば（ステップＳ６）、不要部分判定部１２２は、その部分は不要部分とすべきではないと決定する。この場合、不要部分判定部１２２は、判定パラメータ／判定結果表示インタフェース１２５により、ユーザ（管理ユーザ）３に対して、パラメータＰ１を変更して、サンプル文書から候補語として抽出すべき範囲を変更するかの問い合わせを行わせる（ステップＳ７）。この問い合わせに対して、ユーザ３がパラメータＰ１を変更する操作を行うと、変更後の新たなパラメータＰ１がアクセス部４から知識検索データベース構築システム１２に送信されて、入力インタフェース１２６で受信される。ここで、パラメータＰ１を変更する操作としては、開始位置を変えずに、単語数だけを増加または減少するための操作（範囲の拡大または縮小）、単語数を変えずに開始位置だけを変更する操作（範囲の移動）、開始位置と単語数の両方を変更する操作（範囲の移動並びに範囲の拡大または縮小）が可能である。
【００３４】
判定パラメータ設定部１２７は、入力インタフェース１２６で受信された新たなパラメータＰ１を不要部分判定部１２２に渡す。これにより不要部分判定部１２２は、この新たなパラメータＰ１の指定する範囲について、ステップＳ３〜Ｓ５またはステップＳ３〜Ｓ６の手順を実行することにより、不要部分とするかを判定することができる（ステップＳ７）。もし、ユーザ３から範囲変更が不要である旨の応答があったならば（ステップＳ７）、不要部分判定部１２２はパラメータＰ１で指定される範囲は必要部分であると判定する（ステップＧ２）。
【００３５】
このように不要部分判定部１２２は、上述のような処理を、文書の先頭から行うことにより、文書の「重要部分」の前後にある「不要部分」を判定できる。なお、文書の先頭から行う代わりに、文書の末尾から行うようにしても構わない。また、文書の任意の位置から前または後の方向に不要部分判定の範囲を指定して（例えば、文書末尾から数えて５０語目から前に２０語など）、その指定範囲について、不要部分とするかを判定するようにしても構わない。
【００３６】
インデックス更新部１２３は後述するように、不要部分判定部１２２によって判定された「不要部分」を知識検索用データベース１１１に登録されているインデックス情報に反映する。また、情報収集部１２１は後述するように、収集された公開情報２からテキスト部分を抽出して知識検索用データベース１１１へのインデックス登録を行う処理に「不要部分」を反映する。
【００３７】
次に、判定パラメータの設定変更について説明する。図４は判定パラメータ／判定結果表示インタフェース１２５によってユーザ３に提示されるパラメータ設定画面４０の一例を示す。このパラメータ設定画面４０には、知識データベース指定フィールド４１と、収集元指定フィールド４２とが配置されている。知識データベース指定フィールド４１は、不要部分判定の対象とする知識検索用データベース１１１を指定するのに用いられ、収集元指定フィールド４２は、情報収集の対象となる公開情報の所在を示す情報、つまり公開情報の収集元（提供元）を示す情報（Ｗｅｂサーバ情報、ファイルサーバのフォルダ等）を指定するのに用いられる。図４の例では、収集元指定フィールド４２には、Ｗｅｂサーバ情報としてのＵＲＬ（Uniform Resource Locator）が設定されている。
【００３８】
パラメータ設定画面４０にはまた、判定パラメータ設定のための判定パラメータ設定領域４３が確保されている。この判定パラメータ設定領域４３は、サンプル抽出設定領域４３１と、Ｐ１設定領域４３２と、Ｐ２設定領域４３３とを含む。
【００３９】
サンプル抽出設定領域４３１は、知識データベース指定フィールド４１で指定される知識検索用データベース１１１内の全文書のうち、サンプルとして抽出する文書を、文書数または比率で指定するのに用いられる。サンプル抽出設定領域４３１には、文書数／比率指定フィールド４３１ａと、文書数を指定するラジオボタン４３１ｂと、比率を指定するラジオボタン４３１ｃとが配置されている。文書数／比率指定フィールド４３１ａは、ボタン４３１ｂが選択された場合には、文書数を指定するのに用いられ、ボタン４３１ｃが選択された場合には、比率（％）を指定するのに用いられる。
【００４０】
Ｐ１設定領域４３２は、パラメータＰ１を設定するのに用いられる。本実施形態で適用されるパラメータＰ１は、前記したように、文書内で不要部分判定の対象とすべき単語群の範囲を、開始位置と単語数とで表す。そのためＰ１設定領域４３２には、開始位置を設定するためのフィールド４３２ａと、単語数を設定するためのフィールド４３２ｂとが配置されている。Ｐ２設定領域４３３は、パラメータＰ２を設定するのに用いられる。そのためＰ２設定領域４３３には、パラメータＰ２を設定するためのフィールド４３３ａが配置されている。なお、本実施形態では、パラメータＰ３は、予めシステムで定められた値に設定されているものとする。
【００４１】
パラメータ設定画面４０には更に、ＯＫボタン４４とキャンセルボタン４５とが配置されている。判定パラメータの設定は、ユーザ３が上述のパラメータ設定画面４０内の各フィールドに必要な情報を入力して、ＯＫボタン４４を押す（選択する）操作を行うことで実現される。この場合、パラメータ設定画面４０上の各フィールドに入力された情報は、入力インタフェース１２６によって判定パラメータ設定部１２７に渡されて、当該判定パラメータ設定部１２７により、不要部分判定部１２２での判定に用いられる最新の判定パラメータとして設定される。なお、キャンセルボタン４を押すと、パラメータ設定画面４０上の各フィールドの設定内容が取り消される。
【００４２】
次に、上述の不要部分判定処理による不要部分判定の結果をユーザ３に提示する場合について説明する。図５は判定パラメータ／判定結果表示インタフェース１２５によってユーザ３に提示される不要部分判定結果画面５０を示す。この画面５０には、前記ステップＳ３で作成される候補語リストが表５１の形式で表示される。図６は、この表５１、つまり候補語リスト５１を拡大して示す。図６に示す候補語リスト５１は、抽出された全候補語について、その候補語５１１と出現文書比率５１２との組を含む。つまり図６に示す候補語リスト５１は、出現文書比率が付された候補語リストであるといえる。出現文書比率は、対応する候補語が、図４のＰ１設定領域４３２に設定されたパラメータＰ１で指定される範囲に含まれる文書の、全文書内に占める割合を示すものである。ここでは、候補語リスト５１中の候補語は、対応する出現文書比率の高い順にソートされている。
【００４３】
さて、図６に示す候補語リスト５１の例では、図４のＰ２設定領域４３３に設定されたパラメータＰ２で指定される出現文書比率の閾値＝８０％の範囲に合致する語は、「情報」「ヘルプ」「する」〜「天気」までの１８語となる。この場合、パラメータＰ１で指定される範囲の語数を選定語数（＝２０）と呼ぶものとすると、この選定語数＝２０と、パラメータＰ２の示す出現文書比率の閾値＝８０％を超える候補語数＝１８との比率である合致率は、
合致率＝｛（選定語数）−（閾値を超えた候補語数）｝×１００／選定語数
＝（２０−１８）×１００／２０
＝１０（％）
となる。前記ステップＳ６では、この合致率＝１０％が、パラメータＰ３で与えられる合致率の基準範囲＝±２０％と比較される。ここでは、合致率＝１０％は、パラメータＰ３で与えられる合致率の基準範囲＝±２０％の範囲内にあるため、パラメータＰ１で指定される範囲（１語目から２０語）は、全文書内での類似性が高く、同じような内容が記述されていると判断できる。
【００４４】
これに対し、仮に閾値８０％を超える語が４語である場合には、
合致率＝（２０−４）／２０×１００
＝８０（％）
となり、閾値８０％を超える語が５０語である場合には、
合致率＝（２０−５０）／２０×１００
＝−１５０（％）
となる。このように、合致率が基準範囲（＝±２０％）内にない場合は、パラメータＰ１で指定された範囲の２０語（選定語）の内容には「ばらつき」があり、つまり全文書に亙って指定範囲に集中して出現している単語が存在せず、不要部分とすべきではないと、前記ステップＳ６で判定される。この場合、不要部分判定の対象とすべき単語範囲の変更、或は判定パラメータの変更を行って、再度の判定を行うことができる。
【００４５】
図５の不要部分判定結果画面５０には、知識検索用データベース１１１に登録されている文書（のテキスト部分）から不要部分が除去される場合を想定して、その際の知識データベースの登録内容が、サンプル文書５２として表示される。ここでは、文書のテキスト部分から除去される不要部分５２１が、知識検索用データベース１１１内の残りの部分５２２と区別して表示される。この不要部分５２１は、図４のＰ１設定領域４３２に設定されたパラメータＰ１で指定される範囲の単語群（ここでは２０語）からなり、この単語群のうち、図４のＰ２設定領域４３３に設定されたパラメータＰ２で指定される閾値（＝８０％）を超えた語が例えばハイライト表示される。もし、別のサンプル文書で内容を確認したい場合には、操作ボタン５２３を操作して、対象となるサンプル文書を切り替える。すると、別のサンプル文書に不要部分除去を適用した結果のイメージを、不要部分判定結果画面５０上で確認することができる。
【００４６】
さて、不要部分として選定される部分を、知識検索用データベース１１１に反映するには、操作ボタン５２５を操作すればよい。操作ボタン５２５が押されたことは入力インタフェース１２６によって検出され、その旨がインデックス更新部１２３に通知される。すると、インデックス更新部１２３は、知識検索用データベース１１１に登録されているインデックス情報に、不要部分判定部１２２の判定結果を反映する。ここでは、インデックス更新部１２３は、上記インデックス情報のうち、不要部分判定部１２２によって判定された不要部分に特定のマークを付して、当該不要部分を論理的に削除（除去）する。これにより、マークが付された部分（不要部分）は、インデックス検索部１１３による知識検索の際に検索の対象から除かれる。
【００４７】
また、サンプル文書数を変更したり、或は不要語判定の対象となる単語の範囲を変更して、つまり判定パラメータの設定を変更して、再度不要語の判定を行うには、操作ボタン５２６を押せば良い。この場合、図４のパラメータ設定画面４０が再度表示されて、処理が継続される。
【００４８】
［第１の変形例］
次に上記実施形態の第１の変形例について説明する。  
公開情報（公開文書）２の不要部分は、その公開情報２の提供元毎に、共通の傾向があることが多い。そこで、本変形例では、公開情報２の提供元毎に、上記実施形態で適用される不要部分判定処理を実施するようにしている。
【００４９】
公開情報２の提供元は、図４の収集元指定フィールド４２の設定内容で識別される。提供元は、イントラネットまたはインターネット上のファイルサーバやＷｅｂサーバなどである。そこで、不要部分判定部１２２は、収集元指定フィールド４２を用いてユーザ３が設定した提供元から、情報収集部１２１によって収集されて知識検索用データベース１１１に登録された文書を対象として、不要部分を判定する。これにより、公開情報２の提供元毎の不要部分の判定結果を、知識検索用データベース１１１内の対応する文書（インデックス情報）に反映することができる。
【００５０】
［第２の変形例］
次に上記実施形態の第２の変形例について説明する。  
この第２の変形例では、上記第１の変形例で提供元毎に実施された不要部分判定処理の結果（図５に示す、出現文書比率が付された候補語リスト５１）と当該判定処理で適用された判定パラメータとを含む、図７に示す判定パラメータ／判定結果テーブル７０が判定パラメータ／判定結果保存部１２４に保存される。この保存動作は、図５の不要部分判定結果画面５０に配置された操作ボタン（保存ボタン）５２４を操作することにより行われる。
【００５１】
判定パラメータ／判定結果テーブル７０の各エントリには、提供元毎の判定パラメータ／判定結果情報が保持される。このテーブル７０の各エントリは、提供元を示す提供元情報と、判定に用いられたパラメータＰ１（語範囲）及びパラメータＰ２（出現文書比率の閾値）と、判定結果としての合致率とをそれぞれ保持する項目に加えて、判定が行われた日時を示す情報と、現在の合致率と、更新の要否を示すフラグ情報（更新フラグ情報）とをそれぞれ保持する項目を有する。また、パラメータＰ１（語範囲）を保持する項目には、候補語リストへのリンクが設定されている。現在の合致率と、更新フラグ情報については後述する。
【００５２】
不要部分判定部１２２は、判定パラメータ／判定結果テーブル７０を例えば定期的に参照することにより、情報収集部１２１に対して、公開情報の提供元毎に、当該提供元から文書を定期的に再収集することを指示する。この際、不要部分判定部１２２は、不要部分と判定された語範囲を情報収集部１２１に通知する。これにより情報収集部１２１は、文書を収集し、その収集文書からテキスト部分を抽出して知識検索用データベース１１１に登録するインデックス情報を作成する際に、不要部分判定部１２２から通知された不要部分を当該インデックス情報に反映する。具体的には、情報収集部１２１は、作成されたインデックス情報から不要部分を削除する。ここでの不要部分の削除（除去）には、次に述べるパラメータ再設定のために、前述したように、当該不要部分に特定のマークを付して当該不要部分を論理的に削除する手法が適用される。なお、情報収集部１２１自身が判定パラメータ／判定結果テーブル７０を定期的に参照して、提供元からの文書収集とインデックス登録時の不要部分の削除とを行うようにしても良い。
【００５３】
さて、公開情報（オリジナル文書）２がＷｅｂサーバにより提供されている場合などにおいては、当該公開情報２が更新されることがある。この場合、情報収集部１２１によって知識検索用データベース１１１に再収集された文書の不要部分（マークが付された部分）が、真に不要部分であるとは限らない。つまり、現在知識検索用データベース１１１に登録されている文書について、提供元毎に、判定パラメータ／判定結果テーブル７０に保持されている判定パラメータを適用して不要部分判定処理を行うと、合致率が悪くなる可能性がある。合致率が悪くなるということは、不要部分がパラメータＰ１で示される語範囲から外れていることを意味する。
【００５４】
そこで、第２の変形例では、不要部分判定部１２２は例えば判定パラメータ／判定結果テーブル７０を定期的に参照し、その都度、当該テーブル７０に保持されている判定パラメータに従って、提供元毎に、上記実施形態で適用された不要部分判定処理を実施することにより、提供元毎に現在（最新）の合致率を算出する。算出された現在（最新）の合致率は、判定パラメータ／判定結果テーブル７０に保持される。不要部分判定部１２２は、この現在の合致率を判定パラメータ／判定結果テーブル７０に保持されている元の合致率と比較することで、合致率が悪化したかを判定する。もし、悪化したならば、不要部分判定部１２２は、対応する提供元から収集される情報に関し、知識検索用データベース１１１を再構築する必要があると判断する。この場合、不要部分判定部１２２は、判定パラメータ／判定結果テーブル７０の対応するエントリ中の更新フラグ情報を、更新（再構築）が必要であることを示す状態（「更新要」状態）に設定する。
【００５５】
判定パラメータ／判定結果表示インタフェース１２５は、判定パラメータ／判定結果テーブル７０を定期的に参照して、当該テーブル７０の内容をユーザ３に提示する。ここでは、「更新要」状態の箇所は、他と明確に識別可能な表示修飾（反転表示、ブリンクなど）が施されている。ユーザ３は、判定パラメータ／判定結果テーブル７０の更新フラグ情報の項目から、更新（再構築）が必要となった知識検索用データベース１１１が存在するかを判断する。ユーザ３は、更新が必要であることを示すエントリが存在する場合、判定パラメータを再設定して知識検索用データベース１１１を再構築するための操作を行うことができる。
【００５６】
なお、判定パラメータ／判定結果表示インタフェース１２５が判定パラメータ／判定結果テーブル７０の各エントリに保持されている更新フラグ情報の状態を定期的に監視し、「更新要」状態を示すエントリが存在する場合にのみ、判定パラメータを再設定して知識検索用データベース１１１を再構築する必要があることを、ユーザ３に通知するようにしても良い。このとき、判定パラメータ／判定結果テーブル７０を併せてユーザ３に提示することもできる。
【００５７】
［第３の変形例］
次に、上記実施形態の第３の変形例について説明する。この第３の変形例の特徴は、パラメータＰ１の調整（語範囲の調整）を、ユーザ３に指定によりパラメータＰ３の示す条件（合致率の基準値）を満たすまで自動的に行うことにより、パラメータＰ１を最適値に自動設定できるようにした点にある。但し第３の変形例では、パラメータＰ１を自動調整（語範囲の調整）するにあたり、単語数の増減に関して制約が設けられている。ここでは、単語数の最小値は１、最大値は最も語数が少ない文書が持つ語数の半分に、それぞれ予め定められている。
【００５８】
第３の変形例では、パラメータＰ１の自動調整、つまり語範囲の自動調整のために、図８に示すパラメータ設定画面８０が用いられる。このパラメータ設定画面８０が、図４のパラメータ設定画面４０と相違する点は、Ｐ１設定領域４３２に、「範囲を自動的に調整する」ことを指定するためのチェックボックス４３３ｃが追加されたことである。このチェックボックス４３３ｃにチェックがない状態では、上記実施形態と同様に、ユーザ３の操作によってパラメータＰ１を変更することが可能である。なお、図８において、図４と等価な部分には同一符号を付してある。
【００５９】
次に、第３の変形例における語範囲の自動調整処理について、図９のフローチャートを参照して説明する。まず、図３中のステップＳ６に相当する、１回目の判定処理（ステップＳ１１）で、合致率がパラメータＰ３の指定する基準範囲に入っているかが判定されたものとする。以下の説明では、表現の簡略化のために、「合致率がパラメータＰ３の指定する基準範囲に入っている」ことを、「合致率がＰ３を満たしている」と表現し、「合致率がパラメータＰ３の指定する基準範囲から外れている」ことを、「合致率がＰ３から外れている」と表現する。
【００６０】
もし、合致率がＰ３から外れている場合（ステップＳ１１）、不要部分判定部１２２は、語範囲が縮小するようにパラメータＰ１を変更し（ステップＳ１２）、しかる後に再度合致率を算出する処理、つまり図２のステップＳ３〜Ｓ５に相当する処理を行う（ステップＳ１３）。ここでは、語範囲を拡大／縮小する際の語数が予め定められているものとする。しかし、この語数を、図８のパラメータ設定画面８０に相当する画面上でユーザが指定可能な構成とし、ユーザによる指定がない場合に限り、システムで予め定められた語数が用いられるようにしても良い。
【００６１】
不要部分判定部１２２は、語範囲を縮小して新たに合致率を算出すると、その新たな合致率がＰ３を満たしているかを判定する（ステップＳ１４）。もし、ステップＳ１４で、合致率がＰ３を満たしていると判定された場合、不要部分判定部１２２は、そのときの語範囲は、合致率がＰ３を満たす最大範囲であると判断する。この場合、不要部分判定部１２２は、現在の語範囲（現在のパラメータＰ１）を最適範囲（最適パラメータ）として決定して、自動調整処理を終了する。これに対し、ステップＳ１４で、合致率がＰ３から依然として外れていると判定された場合、不要部分判定部１２２は、再び語範囲が縮小するようにパラメータＰ１を変更して合致率を算出し直す（ステップＳ１２，Ｓ１３）。つまり不要部分判定部１２２は、合致率がＰ３を満たすまで、語範囲を（最小値を下回らない範囲で）縮小しながら、合致率の再計算を繰り返す。
【００６２】
一方、ステップＳ１１で合致率がＰ３を満たしていると判定された場合、不要部分判定部１２２は、現在の語範囲は狭すぎるかもしれないと判断する。そこで不要部分判定部１２２は、語範囲が拡大するようにパラメータＰ１を変更して、再度合致率を算出する処理を行う（ステップＳ１５，Ｓ１６）。
【００６３】
不要部分判定部１２２は、語範囲を拡大して新たに合致率を算出すると、その新たな合致率がＰ３を満たしているかを判定する（ステップＳ１７）。もし、ステップＳ１７で、合致率が依然としてＰ３を満たしていると判定された場合、不要部分判定部１２２は、現在の語範囲は依然として狭すぎるかもしれないと判断する。この場合、不要部分判定部１２２は、再び語範囲が拡大するようにパラメータＰ１を変更して合致率を算出し直す（ステップＳ１５，Ｓ１６）。つまり不要部分判定部１２２は、合致率がＰ３から外れるようになるまで、語範囲を（最大値を下回らない範囲で）拡大しながら、合致率の再計算を繰り返す。そして、合致率がＰ３から外れたことを確認できた段階で（ステップＳ１７）、不要部分判定部１２２は語範囲を、前回の状態、つまり合致率がＰ３を満たす最大範囲に戻す（ステップＳ１８）。すると不要部分判定部１２２は、前回の状態の語範囲（パラメータＰ１）を最適範囲（最適パラメータ）として決定して、自動調整処理を終了する。
【００６４】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施形態に係るナレッジマネジメントシステム１の構成を示すブロック図。
【図２】図１中の不要部分判定部１２２による不要部分判定に用いられる判定パラメータの一例を示す図。
【図３】同実施形態で適用される不要部分判定処理の手順を示すフローチャート。
【図４】同実施形態で適用されるパラメータ設定画面４０の一例を示す図。
【図５】同実施形態で適用される不要部分判定結果画面５０の一例を示す図。
【図６】不要部分判定結果画面５０中の候補語リスト５１を拡大して示す図。
【図７】同実施形態の第２の変形例で適用される判定パラメータ／判定結果テーブル７０の一例を示す図。
【図８】同実施形態の第３の変形例で適用されるパラメータ設定画面８０の一例を示す図。
【図９】同実施形態の第３の変形例で適用される語範囲の自動調整処理の手順を示すフローチャート。
【符号の説明】
【００６６】
１…ナレッジマネジメントシステム、１１…知識検索システム、１２…知識検索データベース構築システム、１１１…知識検索用データベース、１１３…インデックス検索部、１２１…情報収集部、１２２…不要部分判定部、１２３…インデックス更新部、１２４…判定パラメータ／判定結果保存部、１２５…判定パラメータ／判定結果表示インタフェース、１２６…入力インタフェース、１２７…判定パラメータ設定部。
【図１】
2006106873.tif 000003
【図２】
2006106873.tif 000004
【図３】
2006106873.tif 000005
【図４】
2006106873.tif 000006
【図５】
2006106873.tif 000007
【図６】
2006106873.tif 000008
【図７】
2006106873.tif 000009
【図８】
2006106873.tif 000010
【図９】
2006106873.tif 000011