(57)【要約】  【課題】  分類結果を固有名別に適合的に表示する。  【解決手段】  文書分類部１０は、入力された文書群をいくつかのグループに分類する。固有名抽出部１１は、各グループの文書ごとに固有名と頻度、出現位置、接続する助詞情報を抽出する。抽出した情報は抽出情報記憶部１５に記憶される。プロファイル指定部１７は、固有名の所定の階層から成るプロファイルを指定する。表示部１２は、ユーザが指定したプロファイルに従って、固有名別に件数表示や件数のグラフ表示を行う。【選択図】  図１
2005222195.tif 000002
【特許請求の範囲】
【請求項１】
文書群を入力する文書群入力手段と、
文書から固有名を抽出する固有名抽出手段と、
上記固有名抽出手段により抽出された固有名と当該文書との対応関係を記憶する対応関係記憶手段と、
上記対応関係記憶手段に記憶されている上記固有名と上記文書との対応関係を参照して、上記固有名に基づいて上記文書群中の文書を分類して提示する文書提示手段とを有することを特徴とする文書分析装置。
【請求項２】
上記固有名に対してその階層的な分類を記憶する記憶手段を有し、上記文書提示手段は上記階層的な分類を用いて上記文書を提示する請求項１記載の文書分析装置。
【請求項３】
上記対応関係の要素として、上記固有名および上記文書のほかに上記固有名の上記文書における役割情報を含み、上記役割情報を用いて上記文書を提示する請求項１または２記載の文書分析装置。
【請求項４】
上記対応関係の要素として、上記固有名および上記文書のほかに上記固有名の上記文書における位置情報を含み、上記位置情報を用いて上記文書を提示する請求項１、２または３記載の文書分析装置。
【請求項５】
文書をグループに分類する文書分類手段と、
上記文書分類手段により分類された所定のグループの文書に対して、文書から固有名を抽出する固有名抽出手段と、
上記固有名抽出手段により抽出された固有名と当該文書との対応関係を記憶する対応関係記憶手段と、
上記対応関係記憶手段に記憶されている上記固有名と上記文書との対応関係を参照して、上記固有名に基づいて上記所定のグループの文書を分類して提示する文書提示手段とを有することを特徴とする文書分析装置。
【請求項６】
固有名は会社名を含む請求項１〜５のいずれかに記載の文書分析装置。
【請求項７】
固有名は製品名を含む請求項１〜６のいずれかに記載の文書分析装置。
【請求項８】
文書群入力手段が文書群を入力するステップと、
固有名抽出手段が文書から固有名を抽出するステップと、
対応関係記憶手段が上記固有名抽出手段により抽出された固有名と当該文書との対応関係を記憶する対応関係記憶手段と、
文書提示手段が、上記対応関係記憶手段に記憶されている上記固有名と上記文書との対応関係を参照して、上記固有名に基づいて上記文書群中の文書を分類して提示するステップとを有することを特徴とする文書分析方法。
【請求項９】
文書分類手段が文書をグループに分類するステップと、
固有名抽出手段が、上記文書分類手段により分類された所定のグループの文書に対して、文書から固有名を抽出するステップと、
対応関係記憶手段が上記固有名抽出手段により抽出された固有名と当該文書との対応関係を記憶するステップと、
文書提示手段が、上記対応関係記憶手段に記憶されている上記固有名と上記文書との対応関係を参照して、上記固有名に基づいて上記所定のグループの文書を分類して提示するステップとを有することを特徴とする文書分析方法。
【請求項１０】
文書群入力手段が文書群を入力するステップと、
固有名抽出手段が文書から固有名を抽出するステップと、
対応関係記憶手段が上記固有名抽出手段により抽出された固有名と当該文書との対応関係を記憶する対応関係記憶手段と、
文書提示手段が、上記対応関係記憶手段に記憶されている上記固有名と上記文書との対応関係を参照して、上記固有名に基づいて上記文書群中の文書を分類して提示するステップとをコンピュータに実行させるために用いられることを特徴とする文書分析用コンピュータプログラム。
【請求項１１】
文書分類手段が文書をグループに分類するステップと、
固有名抽出手段が、上記文書分類手段により分類された所定のグループの文書に対して、文書から固有名を抽出するステップと、
対応関係記憶手段が上記固有名抽出手段により抽出された固有名と当該文書との対応関係を記憶するステップと、
文書提示手段が、上記対応関係記憶手段に記憶されている上記固有名と上記文書との対応関係を参照して、上記固有名に基づいて上記所定のグループの文書を分類して提示するステップとをコンピュータに実行させるために用いられることを特徴とする文書分析用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、大量の文書を解析してその文書に関連する分野の活動や意見の概要や傾向を把握するのに適した文書分析技術に関する。
【背景技術】
【０００２】
大量の文書を解析してその文書群の背景にある分野の活動や意見の概要や傾向を知ることが、企業活動等を行なう上で重要である。例えば、そのような大量の文書から顧客の意見を解析して製品の開発や改良の端緒とすることが好ましい。
【０００３】
本発明者らは、鋭意研究の結果、固有名に着目すると、種々の視点から有用な知見を取得できることを発見した。この発明は、このような知見に基づいて、固有名の観点から文書を分類してユーザに提示する文書分析技術を提供しようとするものである。
【０００４】
なお、この発明と関連する特許文献としては以下のものがある。
【０００５】
特許文献１は、翻訳技術に関するものであり、固有名を抽出し、分野選択情報を参照することによって文章に記述された内容の分野を判定し、これを翻訳の専門用語辞書の選択に用いることを開示している。
【０００６】
特許文献２は、検索結果文書に含まれる固有名を抽出、スコアを加算していき、固有名をスコアでランキングすることで、検索条件に関連する固有名を判別することを開示している。
【０００７】
特許文献３は、固有名称の認識・抽出の際に解析された内部構造を利用して固有名称の階層構造を認識・抽出し、収集することにより、蓄積した固有名称の階層構造情報を、辞書に未登録の固有名称の認識・抽出する際の有効な知識情報源として利用可能とすることを開示している。
【特許文献１】特開２００１−１０９７４７公報
【特許文献２】特開２００１−２７３３２８公報
【特許文献３】特開２００２−２８８１８４公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
この発明は、以上の事情を考慮してなされたものであり、固有名の観点から文書を分類してユーザに提示する文書分析技術を提供することを目的としている。
【課題を解決するための手段】
【０００９】
この発明の構成例では、上述の目的を達成するために、文書中に存在する固有名例えば組織名を手がかりとして文書を分類し、所定の分野で行なわれている活動の概要や傾向等を把握する。
【００１０】
さらにこの発明を説明する。
【００１１】
この発明の一側面によれば、上述の目的を達成するために、文書分析装置に：文書群を入力する文書群入力手段と；文書から固有名を抽出する固有名抽出手段と；上記固有名抽出手段により抽出された固有名と当該文書との対応関係を記憶する対応関係記憶手段と；上記対応関係記憶手段に記憶されている上記固有名と上記文書との対応関係を参照して、上記固有名に基づいて上記文書群中の文書を分類して提示する文書提示手段とを設けるようにしている。
【００１２】
文書分析装置は、文書を分析する機能を有する装置をひろく意味し、文書処理装置、文書分類装置、文書管理装置等、種々の装置として把握できる。
【００１３】
この構成においては、固有名の視点で文書提示を行なうことができる。固有名（固有表現）は、例えば、組織、人名、商品名（製品名）、場所、日付、通貨等であり、組織の中にはさらに会社名等がある。それに限定されないが、例えば、会社名や製品名、商品種類ごとに文書を提示できる。
【００１４】
この構成において、上記固有名に対してその階層的な分類を記憶する記憶手段を設け、上記文書提示手段が上記階層的な分類を用いて上記文書を提示するようにしてもよい。
【００１５】
また、上記対応関係の要素として、上記固有名および上記文書のほかに上記固有名の上記文書における役割情報を含み、上記役割情報を用いて上記文書を提示するようにしてもよい。
【００１６】
固有名は例えば会社名や製品名である。
【００１７】
上記対応関係の要素として、上記固有名および上記文書のほかに上記固有名の上記文書における位置情報を含み、上記位置情報を用いて上記文書を提示するようにしてもよい。
また、この発明の他の側面によれば、上述の目的を達成するために、文書分析装置に：文書をグループに分類する文書分類手段と；上記文書分類手段により分類された所定のグループの文書に対して、文書から固有名を抽出する固有名抽出手段と；上記固有名抽出手段により抽出された固有名と当該文書との対応関係を記憶する対応関係記憶手段と；上記対応関係記憶手段に記憶されている上記固有名と上記文書との対応関係を参照して、上記固有名に基づいて上記所定のグループの文書を分類して提示する文書提示手段とを設けるようにしている。
【００１８】
この構成においても、固有名の視点で文書提示を行なうことができる。
【００１９】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。
【００２０】
この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。
【発明の効果】
【００２１】
この発明によれば、分類結果を固有名別に表示し、文書群の背景にある活動の概要や傾向等を把握することができる。
【発明を実施するための最良の形態】
【００２２】
以下、この発明の実施例について説明する。
【００２３】
図１は、この発明の実施例の文書分析装置を全体として示しており、図２はその動作の流れを示している。これらの図において、文書分析装置は、文書分類部１０、固有名抽出部１１、表示部１２、分類済み文書記憶部１３、固有名抽出知識記憶部１４、抽出情報記憶部１５、グループ指定部１６、プロファイル指定部１７等を含んで構成されている。文書分析装置の上記の各部は実際にはコンピュータ１００のハードウェアおよびソフトウェアリソースを用いて実現されるが、もちろん、個別のハードウェアにより構成しても良い。
【００２４】
文書分類部１０は、入力された文書群をいくつかのグループに分類するものであり、例えばグループごとに単語ベクトルを用意し、文書群中の文書について単語ベクトルを生成して、これを各グループの単語ベクトルに突き合わせて行なう（Ｓ１０）。分類された文書は分類済み文書記憶部１３に登録される。グループごとに重要な１または複数の語をキーワードとして割り当てキーワードに基づいて分類しても良い。
【００２５】
ユーザは、分類グループの１つまたは複数を登録しておく。ユーザ毎のグループ指定部１６は、ユーザごとに、その登録情報等を参照して、所望のグループの文書を提示対象とする。ユーザはグループ指定部１６を用いて対象のグループを選択するようにしても良い。
【００２６】
固有名抽出部１１は、各グループの文書ごとに固有名と頻度、出現位置、接続する助詞情報を抽出する。抽出した情報は抽出情報記憶部１５に記憶される（Ｓ１１、Ｓ１２）。固有名の抽出は、例えば固有名抽出知識記憶部１４に保持された、形態素解析辞書や固有名抽出規則等の抽出知識を用いて行なわれる。
【００２７】
固有名抽出部１１の構成例は例えば図３に示すように形態素解析部１１１、形態素解析辞書記憶部１１２、ルール適用部１１３、ルール記憶部１１４、ネームカタログ記憶部１１５等を含んで構成される。もちろん、これに限定されず、他の構成も採用できる。形態素解析部１１１は通常の形態素解析機構であり、例えば、ＣｈａＳｅｎである。形態素解析辞書記憶部１１２に記憶されている形態素解析辞書は、固有名（例えば特定の社名）については、例えば、「名詞−固有名−組織」という辞書情報を有している。またネームカタログ記憶部１１５は、図４に示すような、正式固有名、カテゴリ、固有名の変形体（バリアント）を有している。またカテゴリは、図５に示すように、組織名−企業名−製造業−電気製品製造業者というような階層を有している。
【００２８】
すなわち、この例では、固有名は階層的に構成されており、第１レベルに組織、人物、場所、日付、通貨、商品名（製品名、サービス名）、商品種類（一般名称）等があり、組織については第２レベルとして、会社、教育機関、政府、公的機関、その他があり、会社については第３レベルとして、製造業、サービス業、商業、農業・漁業等の産業セクタがある。産業セクタのそれぞれについては、適切な範囲で、電気製品製造業、製造業、製薬業、化学工業等がある。辞書は、固有名、固有名の階層情報（例えば、会社、製造業、電気製品製造業）および別名の情報等を含んでいる。辞書の構成はもちろんこれに限定されない。
【００２９】
固有名抽出規則としては、例えば、形態素解析部１１１から出力された固有名について適用されるものや、複合語に適用されるもの等がある。
【００３０】
形態素解析部１１１から出力された固有名についてはネームカタログ記憶部１１５のネームカタログを参照して正式固有名およびカテゴリを特定する。
【００３１】
複合語が出力されたときには、その複合語の接尾辞が「製薬」、「不動産」等の所定のものであれば、固有名と判断し、さらに該当する種類のものと判断する。例えば「太陽製薬」では、接尾辞の「製薬」から「組織、会社、製造業、製薬会社」と判別される。図６の例は、複合語に接尾辞が含まれている場合には、これを固有名（ｅｎｔｉｔｙ）と判断し、これに、接尾辞のサブカテゴリを付与することを示している。すなわち、複数の名詞のまとまりを示す「ｎｏｕｎ−ｃｏｍｐｌｅｘ」に、組織名を表す接尾辞（ｉｄ，ｏｒｇａｎｉｚａｔｉｏｎ−ｉｄ１：＋）が続く場合（例えば〜製紙、〜ファイナンス）、これらは「ｅｎｔｉｔｙ」にまとめられるということを表している。「ｓｕｂｃａｔｅｇｏｒｙ−ｉｄ」には接尾辞から推測できる企業の業種コードが記述されており、ｅｎｔｉｔｙにもこの業種コードが継承される。
【００３２】
プロファイル指定部１７は、階層的に構成された一群の固有名を視点として文書を分類するものである。例えば、図５に示す階層において、視点に合致した部分階層を取りだし、その固有名を対象として固有名抽出を行なわせる。例えば、所定の一群の電気製品製造業者の情報を分類したい場合には、その電気製品製造業者の社名を抽出対象の固有名として固有名抽出知識記憶部１４に登録しておく。
【００３３】
固有名抽出部１１により抽出された固有名情報は、例えば、図７に示すように、固有名、カテゴリ、文書中の出現頻度、役割、位置等であり、抽出情報記憶部１５に記憶される。
【００３４】
表示部１２は、固有名に基づいて固有名別に件数表示や件数のグラフ表示を行う（Ｓ１３）。表示例（件数表示の例）は例えば図８に示すようなものであり、固有名としての会社ごとに該当する文書数が表示される。固有名別の件数表示のほかに、文書の書誌情報や要約も表示される。この場合、作成した要約文のうちその固有名を含む要約を選択的に表示しても良いし、その固有名を含む要約を強調表示したり、要約中のその固有名のみを強調表示してもよい。図８の表示例では、所定の会社（図の例では「Ａ社」が選択されてハイライトされている）を指示すると文書の書誌情報や、要約が表示され、そのなかの文書本体ボタン（図示しない）を指示して文書全体を閲覧することができる。図８の表示例は、プロファイル指定された階層に基づいて階層的な表示を行なえるようになっている。
【００３５】
なお、複数のプロファイルを用意し、表示時にこのプロファイルを切り替えられるようにしても良い。この場合には固有名抽出部１１においてすべてのプロファイル中のすべての固有名を対象に固有名抽出を行い、固有名情報を抽出情報記憶部１５にすべて記憶しておき、指示されたプロファイルに基づいて固有名を取りだし、これに該当する固有名情報を取得して、プロファイルに対応する階層で表示部１２により表示を行なえば良い。また、予め全ての文書に関して固有名抽出しておき、プロファイル選択時に選択されたプロファイル中にある固有名をもつ文書のみを分類しても良い。
【００３６】
図８の例では、期間、プロファイル、役割を特定して絞り込みを行なえる。もちろん、これらの１つまたは複数を無指定として絞り込みを解除しても良い。
【００３７】
また図９に示すように、各会社の下位の階層に製品名を配置して、製品名ごとに該当する文書数を表示していも良い。図８の例では、「Ｂ製品」が選択されてハイライトされ、そこに属する文書の書誌情報や、要約が表示されている。
【００３８】
ユーザが出現数、役割、位置により絞り込み等を行なうことができる。役割による絞り込みについては後述する。
【００３９】
（１）出現頻度
（ａ）述べられる回数が多いほどその固有名がその文書の主要テーマである可能性が高いので、その固有名の出現頻度が指定閾値以上のもののみ表示するようにできる。閾値の指定はユーザが所定のユーザインタフェースを用いて行なえる。
（ｂ）多数の固有名について述べられている場合、相対的にその固有名の重要度が低くなるため、他の固有名の異なり数や頻度が閾値以下のもののみ表示するように絞り込みを行なう。この閾値の指定もユーザが所定のユーザインタフェースを用いて行なえる。
【００４０】
（２）出現位置
（ａ）ニュース記事や技術論文などでは冒頭部分で文書の重要なテーマを述べることが多いので、その固有名が冒頭部分に出現するのみ有効とする。
（ｂ）繰り返しその固有名について述べられている場合、その固有名がその文書の主要テーマである可能性が高いのでその固有名が全体にちらばっている場合、有効とする。
（ｃ）株価情報やある分野のサーベイなどでは多数の固有名について述べられるので、その固有名が冒頭部分以外で偏って出現している場合、無効とする。
【００４１】
（３）接続する助詞（役割）
固有名の文書（文脈）中の役割は例えば固有名に後続する助詞から判断できる。もちろんこれに限定されない。
（ａ）「Ａ社が製品Ｂを発売」というように固有名に「が」「は」（主格）や「を」（目的格）など主要な助詞が接続する場合、その固有名がその文書の主要テーマである可能性が高いので、その固有名に「が」「は」（主格）や「を」（目的格）など主要な助詞が接続する場合、有効な固有名とする。また、主格だけに限定する方法や、目的格／対格／与格（「を」、「に」、「へ」など）のみに限定する方法もある。例えば、対象とする固有名が主格の場合に限定することで、その固有名をもつ組織が主体となっている活動に限定してみることができる。一方目的格／対格／与格に限定した場合、その固有名をもつ組織に対する影響という観点からみることができる。
【００４２】
また他の文書属性（日時、作成者など）と加味して上述の表示を行なうようにしても良い。例えば、文書の作成日時によりフィルタリングしてもよい。
【００４３】
会社名と他の固有名例えば製品名、日付、通貨、人物、場所等とを組み合わせて表示しても良い。例えば、会社の下位の階層に製品名を設け、その下位に通貨（値段）を配置するようにしても良い。
【００４４】
この実施例によれば、文書群を固有名別に表示し、文書群中に内在する傾向等を簡易に把握することができる。
【００４５】
なお、この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば、図１０に示すように、文書分析装置をサーバ（サーバコンピュータ）２００およびクライアント（クライアントコンピュータ）３００で構成してもよい。図１０の例では、サーバ２００の表示データ生成部２３で所定の表示データを生成してクライアント３００の表示データ入力部２１に送り、表示部２２で表示を行なう。図９において図１と対応する箇所には対応する符号を付して説明を繰り返さない。
【００４６】
また、上述の例では、文書群を文書分類部１０で分類したが、図１１に示すように、文書入力部３０により文書群を入力し、これを文書記憶部３１に登録し、ここに登録した文書について固有名抽出を行なって同様の文書提示を行なうようにもできる。
【図面の簡単な説明】
【００４７】
【図１】この発明の実施例を全体として示すブロック図である。
【図２】上述実施例の動作例を説明するフローチャートである。
【図３】上述実施例の固有名抽出部の構成例を説明するブロック図である。
【図４】上述実施例で用いるネームカタログの例を説明する図である。
【図５】上述実施例の固有名の階層の例を説明する図である。
【図６】上述実施例で用いる固有名抽出規則の例を説明する図である。
【図７】上述実施例の固有名抽出部で抽出された情報の例を説明する図である。
【図８】上述実施例の文書提示例を説明する図である。
【図９】上述実施例の他の文書提示例を説明する図である。
【図１０】上述実施例の変形例を説明するブロック図である。
【図１１】上述実施例の他の変形例を説明するブロック図である。
【符号の説明】
【００４８】
１０      文書分類部
１１      固有名抽出部
１２      表示部
１３      分類済み文書記憶部
１４      固有名抽出知識記憶部
１５      抽出情報記憶部
１６      グループ指定部
１７      プロファイル指定部
２１      表示データ入力部
２２      表示部
２３      表示データ生成部
３０      文書入力部
３１      文書記憶部
１００      コンピュータ
１１１      形態素解析部
１１２      形態素解析辞書記憶部
１１３      ルール適用部
１１４      ルール記憶部
１１５      ネームカタログ記憶部
２００      サーバ
３００      クライアント
【図１】
2005222195.tif 000003
【図２】
2005222195.tif 000004
【図３】
2005222195.tif 000005
【図４】
2005222195.tif 000006
【図５】
2005222195.tif 000007
【図６】
2005222195.tif 000008
【図７】
2005222195.tif 000009
【図８】
2005222195.tif 000010
【図９】
2005222195.tif 000011
【図１０】
2005222195.tif 000012
【図１１】
2005222195.tif 000013