(57)【要約】【課題】  認識誤りや入力ミスを含む文書を処理するために有効な特徴語検出法を提供すること。【解決手段】  文書内の語と重要語保持手段に保持されている重要語との一致度を算出し、一致度に基づいて文書の特徴語を検出し、特徴語に基づいて文書に各種処理を施す。【選択図】  図２４
2005189955.tif 000002
【特許請求の範囲】
【請求項１】
文書内の語と重要語保持手段に保持されている重要語との一致度を算出する一致度算出ステップと、
前記一致度に基づいて文書の特徴語を検出する特徴語検出ステップと、
前記特徴語検出ステップで検出した特徴語に基づいて文書を要約する要約ステップとを有することを特徴とする文書処理方法。
【請求項２】
前記要約ステップは、前記特徴語検出ステップで検出された特徴語に基づいて文書内の各文の重要度を決定し、重要度の高い順に所定数の文を抽出することで文書を要約することを特徴とする請求項１記載の文書処理方法。
【請求項３】
複数の文書を入力する入力ステップと、
前記入力ステップで入力された文書内の語と重要語保持手段に保持されている重要語との一致度を算出する一致度算出ステップと、
前記一致度に基づいて文書の特徴語を検出する特徴語検出ステップと、
前記特徴語検出ステップで検出した特徴語に基づいて文書を分類する分類ステップとを有することを特徴とする文書処理方法。
【請求項４】
前記特徴語検出ステップで検出された特徴語に基づいて文書ベクトルを生成するベクトル生成ステップと、
前記入力ステップで入力された複数の文書間で、前記ベクトル生成ステップで生成された文書ベクトルの類似度を算出する算出ステップとを更に有し、
前記分類ステップは、前記算出ステップで算出された文書ベクトルの類似度に基づいて文書を分類することを特徴とする請求項３記載の文書処理方法。
【請求項５】
文書内の語と重要語保持手段に保持されている重要語との一致度を算出する一致度算出手段と、
前記一致度に基づいて文書の特徴語を検出する特徴語検出手段と、
前記特徴語検出手段で検出した特徴語に基づいて文書を要約する要約手段とを有することを特徴とする文書処理装置。
【請求項６】
前記要約手段は、前記特徴語検出手段で検出された特徴語に基づいて文書内の各文の重要度を決定し、重要度の高い順に所定数の文を抽出することで文書を要約することを特徴とする請求項５記載の文書処理装置。
【請求項７】
複数の文書を入力する入力手段と、
前記入力手段で入力された文書内の語と重要語保持手段に保持されている重要語との一致度を算出する一致度算出手段と、
前記一致度に基づいて文書の特徴語を検出する特徴語検出手段と、
前記特徴語検出手段で検出した特徴語に基づいて文書を分類する分類手段とを有することを特徴とする文書処理装置。
【請求項８】
前記特徴語検出手段で検出された特徴語に基づいて文書ベクトルを生成するベクトル生成手段と、
前記入力手段で入力された複数の文書間で、前記ベクトル生成手段で生成された文書ベクトルの類似度を算出する算出手段とを更に有し、
前記分類手段は、前記算出手段で算出された文書ベクトルの類似度に基づいて文書を分類することを特徴とする請求項７記載の文書処理装置。
【請求項９】
請求項１乃至４のいずれか１つに記載の文書処理方法をコンピュータに実行させるための制御プログラム。
【請求項１０】
請求項９に記載の制御プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書の処理を行う方法、装置、制御プログラム及び記録媒体に関するものである。
【背景技術】
【０００２】
コンピュータ及びネットワークの発達に伴って大量の電子化ドキュメントのデータベースへの蓄積が進展しつつあり、それに伴って大量の電子化文書データベース上のドキュメントに対する電子処理、例えば文書検索、自動文書要約、自動文書分類への期待が高まってきている。この要約、分類のような文書加工技術においては、文書内容の概念特徴を把握する必要があり、そのために各文書からキーワードを抽出する技術が必要であり、これまでにも多数の提案がなされている。
【０００３】
例えば、特許文献１においては、入力文書を形態素解析して複合語を抽出し、複合語から専門用語の特徴に着目して専門用語を抽出するシステムが提案されている。また、特許文献２においては、与えられた文字列データからキーワードを抽出し、それらの出現状態を考慮してキーワードを重み付けして要約に役立てる技術が提案されている。
【０００４】
ここで紹介された技術はすべてもともと電子的に作成された文書（電子文書）に対する処理であり、紙文書をスキャンし文字認識されたテキストに対する処理ではなかった。
【０００５】
最近になって、紙の形で保管されてきた過去のレガシードキュメントを電子化しようという、紙文書デジタル化の動きが加速しつつある。このような紙文書デジタル化において検索処理を行うためにはテキスト情報を抽出する必要があり、ＯＣＲをかけることになる。ところが、ＯＣＲは１００％の精度を保証できないので、認識誤りが紛れ込むことを避けられない。認識誤りは文書の電子処理に多くの問題を引き起こす。
【０００６】
例えば、検索においては、検索漏れなどが発生してしまう。例えば、「超写真画質」という文字列を含む紙文書があったとする。この紙文書にＯＣＲをかけると電子テキスト化することができるが、それは若干の認識誤りを含み、例えば、「超写真白質」と認識されているかもしれない。この場合を「超写真画質」でこの文書を検索することはできなくなってしまう。要約、分類等の文書加工処理においても、この認識誤りは処理精度が劣化する原因となる。
【０００７】
ＯＣＲされた文書に対する文書処理についても、やはり多数の手法が提案されている。
【０００８】
特許文献３は、ＯＣＲされた文書の検索について工夫を提案している。検索インデキシング時に文字認識候補を含めて索引化し、検索時に文字の類似性を考慮しながら検索しようというものである。しかし、このように、情報が実際に必要な実行時に曖昧性を考慮する方式では、多数の認識候補を保有するメモリに対する負担、処理実行時の負荷が大きく、高度な文書処理に適用するには限界がある。ドキュメントから特徴抽出する段階で、もっと正確に文書特徴をとらえてキーワードを抽出しておく必要がある。
【０００９】
また特許文献４は、スキャンされＯＣＲされた文書からキーワードを抽出し、それを利用してもう一度もとのＯＣＲ結果に対して認識支援し、検索できるようにしようというものである。しかし、この方式では該当文書にただ一度しか出現しないキーワードについては無力であり、また２度以上出現してもすべてについて誤認識が発生しているときには役に立たないことになってしまう。
【特許文献１】特開平３−１１６３７４号公報
【特許文献２】特開平８−３２９１１８号公報
【特許文献３】特開平６−０８９３３０号公報
【特許文献４】特開平６−４７１６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする課題は、スキャンされ文字認識された、文字認識の第１候補しか含まない文書に対して、有効なキーワード抽出を行って文書の概念特徴を正確に把握し、認識誤り部分の単語が正常に認識できる文書加工手段を実現することにあり、そのために、必要なキーワードのセットの作成を、スキャンされたものではなく電子的に作成された文書の解析によって行い、使用者の負荷を大幅に軽減することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために本発明は、文書内の語と重要語保持手段に保持されている重要語との一致度を算出する一致度算出ステップと、前記一致度に基づいて文書の特徴語を検出する特徴語検出ステップと、前記特徴語検出ステップで検出した特徴語に基づいて文書を要約する要約ステップとを有することを特徴とする。
【００１２】
また本発明は、複数の文書を入力する入力ステップと、記入力ステップで入力された文書内の語と重要語保持手段に保持されている重要語との一致度を算出する一致度算出ステップと、前記一致度に基づいて文書の特徴語を検出する特徴語検出ステップと、前記特徴語検出ステップで検出した特徴語に基づいて文書を分類する分類ステップとを有することを特徴とする。
【００１３】
また本発明は、文書内の語と重要語保持手段に保持されている重要語との一致度を算出する一致度算出手段と、前記一致度に基づいて文書の特徴語を検出する特徴語検出手段と、前記特徴語検出手段で検出した特徴語に基づいて文書を要約する要約手段とを有することを特徴とする。
【００１４】
また本発明は、複数の文書を入力する入力手段と、記入力手段で入力された文書内の語と重要語保持手段に保持されている重要語との一致度を算出する一致度算出手段と、前記一致度に基づいて文書の特徴語を検出する特徴語検出手段と、前記特徴語検出手段で検出した特徴語に基づいて文書を分類する分類手段とを有することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、認識誤りや入力ミスを含む文書に対しても有効な特徴語を検出することで、精度の高い文書処理を可能にすることができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しながら本発明に好適な実施形態を詳細に説明する。
【００１７】
（実施例）
図１は本発明を適用した文字処理装置の構成を示すブロック図である。図示の構成において、ＣＰＵはマイクロプロセッサであり、文書要約、文書分類等の文書加工処理や文書検索処理のための演算、論理判断等を行い、バスを介してバスに接続された各構成要素を制御する。マイクロプロセッサＣＰＵが表示手段に対する制御も司る。ＢＵＳはバスであり、マイクロプロセッサＣＰＵの制御対象である各構成要素を指示するアドレス信号、コントロール信号を転送する。また、各構成要素間のデータ転送を行う。ＲＡＭは書込み可能なランダムアクセスメモリであって、各構成要素からの各種データの一次記憶に用いる。ＲＯＭは読出し専用の固定メモリである。マイクロプロセッサＣＰＵによるブートプログラムを記憶する。ブートプログラムはシステム起動時にハードディスクに記憶された制御プログラムをＲＡＭにロードし、マイクロプロセッサＣＰＵに実行させる。制御プログラムについては、後にフローチャートを参照して詳述する。
【００１８】
入力装置はキーボード、およびマウス等である。表示装置はＣＲＴ、あるいは液晶ディスプレイ等である。スキャナは紙ドキュメントを読み込んでデジタル化する等の処理を行う装置である。ＨＤはハードディスクであり、ＣＰＵにより実行される制御プログラム、形態素解析を行うための形態素解析辞書、文書の特徴を表現し得る単語を記憶した重要単語辞書、検索・要約・分類等の処理が行われる対象となる文書を記憶した文書データベース、重要単語辞書に格納される重要単語を自動収集できるよう基準となる文書を格納する基準文書データベース、文書を概念検索できるように各単語を概念ベクトル化した単語ベクトル辞書、概念検索を行う際にインデックスとして使用される概念検索索引、文書分類を行う際にインデックスとして使用される概念分類索引、キーワード検索処理を行う際にインデックスとして使用されるキーワード検索索引、文書から重要単語を抽出する際にワークエリアとして使用される一致重要単語リスト、各文字間の類似性を格納した文字類似度データベース等が格納される。
【００１９】
リムーバブル外部記憶装置はフロッピー（登録商標）ディスクやＣＤ、ＤＶＤ等の外部記憶にアクセスするためのドライブ等である。上記ＨＤと同様に使用でき、それらの記録媒体を通じて他の文書処理装置とのデータ交換を行う装置である。なお、ハードディスクに記憶される制御プログラムは、これらの外部記憶装置から必要に応じてＨＤにコピーすることもできる。通信装置はネットワークコントローラである。通信回線を介して外部とのデータ交換を行う装置である。
【００２０】
かかる各構成要素からなる本発明文書加工処理装置においては、入力装置からの各種の入力に応じて作動するものであって、入力装置からの入力が供給されるとまずインタラプト信号がマイクロプロセッサＣＰＵに送られ、それに伴って、ＣＰＵがＲＯＭまたはＲＡＭ内に記憶される各種命令を読み出し、その実行によって各種の制御が行われる。
【００２１】
図２は本発明を適用した文書加工処理装置の文書要約処理の処理結果を表示する表示装置の画面構成例を示したものである。パネル２１には、要約前のオリジナルの文書内容が表示される。ユーザの指示に基づいて要約処理が行われると要約結果がパネル２２に表示される。
【００２２】
図３は文書分類の処理例を示した図である。分類処理の表示方法にはいろんなビューに従って様々なバリエーションが考えられるが、それらの表示を行うもととなる基本データとしては、各文書に対しそれがどの分類に属するかという分類ＩＤが対応付けられているデータである。図３はそのデータの持ち方の例を示しており、３１は文書ＩＤであり、各文書をユニークに識別するデータを記憶する。３２は文書タイトルであり、その文書のタイトルを記憶する。３３は分類ＩＤであり該文書が属する分類の分類ＩＤを記憶する。
【００２３】
図４は文書の特徴を表現し得る重要単語（キーワード）のリストを格納した重要単語辞書の構成を示したものである。各重要単語にはユニークな単語ＩＤが対応付けられ、その表記が記憶される。専門用語等の複合語も多く登録される。本実施例においては、重要単語辞書は、基準文書から自動収集されて作成されるが、予め標準的にある程度の語数が用意されており、自動収集したものがそれに追加されるように構成されてもよい。あるいは、ユーザが個別に編集して作成されたものが更に加わるという実施形態も考えられる。本実施例においては自動収集されて作成された重要単語辞書を主体に説明するが、それに対して更にユーザ登録する機能が提供されても本質的には差し支えない。
【００２４】
各重要単語には重要度情報も付与されている。重要度情報は、その単語をどの程度重視すればよいかを示す数値であり、例えば文書全体での頻度が考えられる。あるいは、ｔｆ・ｉｄｆ値なども考えられる。
【００２５】
重要単語であるから、日本語において使用されるありとあらゆる単語が収集されたものではなく、ある程度、分野によって偏って使用される単語が登録される。例えば、「人」「日」「事」「物」などの単語は、通常どのような文書であっても使用される単語であり、普通は重要単語として登録されない。必然的に固有名詞や専門用語が重点的に登録されることになる。アルゴリズムの都合上、短い単語の曖昧マッチングは困難であるので、需要単語としては比較的長い単語が望ましい。
【００２６】
例えば、「構文」という専門用語との曖昧マッチングをとる場合を考える。ＯＣＲドキュメントに認識誤りがあり、例えば「構」が誤認識されていると「？文」とのマッチングを取ることになり「散文」「漢文」「悪文」「証文」「英文」等無数の単語の可能性が出てきてしまう。これに対し、例えば「構文解析」という専門用語では、仮にＯＣＲが「構」の部分を誤認識しても他の部分は正常である可能性が高く「？文解析」となる。これであれば、可能性があるのは「構文解析」ぐらいなので、正しく重要単語を抽出することができる。
【００２７】
図中、単語ＩＤ＝８（「構文の解析」）のように複数文節からなる文字列も含んでいる。これは、短い単語の重要単語を抽出することが困難なので、共起関係を含めた文字列を登録することで、回避しようという仕組みである。この場合「構文」は短すぎるのでその用例である「構文の解析」「構文の関係」などの文字列を登録し、処理するのである。
【００２８】
図５は文書データベースに格納される文書の構成を示した図である。文書はスキャナからスキャンされたビットマップイメージ（スキャンドキュメント）と、それに対してＯＣＲが施されたＯＣＲドキュメントからなり、この両方が対応付けられて文書データベースに格納される。ＯＣＲドキュメントはスキャンドキュメントのビットマップが文字認識された第１候補が格納されており、必然的に認識誤りを含んでいる。図中“ＢＪシリーズ”となるべき文字列は“８○シリーズ”となり、“超写真画質”となるべき文字列は“超写真白質”となってしまっている。なお、文書データベースにおいては、各文書はユニークな文書ＩＤで識別される。
【００２９】
このようなＯＣＲドキュメントに対し通常の形態素解析処理をかけると多数の解析エラー個所（未知語）が発生し、十分な情報が得られない。例えば“ＢＪシリーズ”“超写真画質”という文字列は認識誤りを含んでいるので、このままではこれらの単語を重要単語として抽出できない。結果として「ＢＪシリーズ」等の検索要求に対し、この文書をヒットさせることができないことになる。
【００３０】
あらゆる複合語が重要単語に採用されるわけではない。例えば、アルゴリズムの都合上、文字数のある程度長い文字列でないといけないので、ある文字数を超えるもののみが採用される。
【００３１】
図６は基準文書データベースに格納される基準文書の例を示した図である。基準文書は重要単語を自動収集する目的で使用されるので、できるだけ解析誤りが発生しない文書が望ましい。そこでＯＣＲドキュメントではなく、初めから電子的に作成されたテキストファイルなどのドキュメントが使用される。図に基準文書の例を示すが、これに形態素解析をかけた場合、形態解析辞書に登録されている単語については単語切りが行われ、単語が登録されていない部分は未知語として出力される。図中「／」で示されるのは文節の境界である。形態素解析では単に文節の境界だけでなく文節内の単語構造が出力される。この解析結果に基づいて、複合語（長単位語）が抽出され、このうち重要単語としてふさわしい長単位語が重要単語辞書に登録されることになる。図中、重要単語に採用される長単位語の例が矩形で囲まれて表示され、未知語は更にメッシュ付きで表示されている。この未知語の部分からも重要単語としてふさわしい単語が抽出され重要単語辞書に登録することになる。
【００３２】
図７は単語ベクトル辞書の構成を示したものである。単語ベクトルは、語義ベースの各単語の意味を意味ベクトル（意味分類ごとの特徴量のリスト）であり、単語ベクトル辞書はその集合である。各次元は１つの意味分類を表現する。各単語（語義）は各次元の意味分類をどの程度含意しているかという値（＝特徴量）を記憶する。例えば、次元３は「宇宙・空」、次元４は「取引・売買」、次元７は「身振り・動作」という意味分類をそれぞれ表している。単語７は「フォーム」という単語を表している。単語７の次元３は０であり、これは「フォーム（帳票）」という単語には「宇宙・空」の意味分類に関係する意味を全く持っていないことを意味する。単語７の次元４の値は大きく、次元７の値は小さい。これは「フォーム（帳票）」が「取引・売買」の意味を強く持っているが、「身振り・動作」の意味は弱いことを意味する。これに対し、単語８の次元４は小さく、次元７が大きい。これは「フォーム（姿勢）」が「身振り・動作」の意味を強く持っているが、「取引・売買」の意味は弱いことを意味する。このように単語ベクトル辞書により、語義別の各単語の意味するものが分かる。
【００３３】
文書の意味はその中でどのような単語が使用されたかによって決定されると解釈し、各文書の意味は、その文書を構成する単語の意味ベクトルを加算していくことで求める。このときベクトルの次元は単語の意味ベクトルと同じであり、ある意味分類を表現する。加算されて得られたベクトルをノルム＝１で正規化し、これを文書ベクトルと呼んで文書データベースに格納する。
【００３４】
図８は概念検索索引を示したものである。概念検索索引は、各文書に対して該文書に対応する概念ベクトル（＝文書ベクトル）を記憶するものである。各文書ベクトルは、各文書がどのような意味内容を表現しているかを示す。例えば、文書ＩＤ＝６９４９の次元４、次元７の特徴量はそれぞれ０．００９、０．４２５であり、文書ＩＤ＝６９５３の次元４、次元８の特徴量はそれぞれ０．３６２、０．００８であることが分かる。これにより文書ＩＤ＝６９４９は「取引・売買」の意味分類をほとんど含んでない文章であり、文書ＩＤ＝６９５３は「身振り・動作」の意味分類をほとんど含んでいない文章であることが分かる。
【００３５】
図９は概念分類索引を示したものである。概念分類索引の構成は概念検索索引の構成と酷似している。各分類カテゴリに対して該カテゴリに対応する概念ベクトル（＝文書ベクトル）を記憶するものである。各文書ベクトルは、各分類がどのような意味内容を表現しているかを示す。なお、分類カテゴリを特定するのは分類ＩＤであるが処理の類似性から書くカテゴリを文書とみなし、分類ＩＤを文書ＩＤとも称するものとする。例えば、分類ＩＤ（文書ＩＤ）＝４の次元４、次元７の特徴量はそれぞれ０．００９、０．４２５であり、分類ＩＤ＝８の次元４、次元８の特徴量はそれぞれ０．３６２、０．００８であることが分かる。これにより分類ＩＤ＝４は「取引・売買」の意味分類をほとんど含んでない分類であり、分類ＩＤ＝８は「身振り・動作」の意味分類をほとんど含んでいない分類であることが分かる。
【００３６】
図１０は、キーワード検索索引の構成を示した図である。キーワード検索の要求に対して指定キーワードが含まれる文書を検索するときのために準備作成されたインデックスである。各重要単語に対して、その単語を含む文書を列挙した構造となっている。各単語ＩＤに対し、その単語を含む文書の文書ＩＤが位置（文書中での先頭から文字位置）とともに格納される。図から、例えば、単語ＩＤ＝１の単語は、文書ＩＤ＝４の文書の先頭から０文字の文字位置、すなわち、文書の先頭に存在することが分かる。このインデックスを参照することによりどの単語がどの文書のどの位置に存在するかを把握することができる。
【００３７】
なお、この検索索引の構成は論理構成を示しているだけである。実際の検索処理においては高速検索が可能なように適切にフォーマットに構成され、例えば、データの多重化等による高速化等がなされることになる。
【００３８】
図１１は一致重要単語リストの構成を示した図である。一致重要単語リストは、ある文書の特徴抽出処理の途中において一時的に管理作成されるテーブルであり、恒久的に存在する情報ではない。１文書の処理ごとに内容がクリアされる。リストはある文書に対してどの単語がどの位置に存在すると考えられるかを、その解釈による一致スコアと一致率とともに示している。１１１は単語ＩＤであり、存在すると考えられる重要単語のＩＤを示している。１１２は開始位置、１１３は終了位置であり、その間に重要単語が存在することを示している。１１４は一致スコアであり、該当の重要単語とマッチングをとった場合のスコアが格納される。１１５は一致率であり、そのマッチングの妥当性を示す値が格納される。例えば、１行目は単語ＩＤ＝５の単語が、文書先頭から２１の位置から２９の位置まで存在する可能性があり、その一致スコアは１８、一致率は２であることを示している。
【００３９】
図１２は文字類似度データベースである。ＯＣＲの観点から見て類似した形態を持つ文字をデータベース化したものである。１２１で示す基準文字に対し類似した文字群が１２２で示す類似文字に格納される。例えば、１行目は、「Ｂ」という文字は「８」や「乃」という文字と類似していることを表現している。また２行目は「王」は「壬」や「生」と類似していることを表現している。
【００４０】
図１３は本発明における一致スコアと一致率の算出方法の例を示した図である。一致スコアは比較する文字列の先頭（ｋ＝１）から末尾（ｋ＝ｎ）までのスコアを１からｎまで積算したものであり、各スコアはｋ番目の文字の一致が、不一致のとき０、完全に一致するとき２（すなわち、比較元の文字と比較先の文字が正確に一致したとき）、文字類似度データベースを参照して一致したとき１（すなわち、比較元の文字と比較先の文字は一致しなかったが、文字類似度データベースを調べるとこの２つの文字が類似しているとして登録されていたとき）、とする。これに基づくと「ＢＪシリーズ」と「８○シリーズ」を比較する際には、一致スコア＝１＋０＋２＋２＋２＋２＝９となる。（「Ｂ」と「８」は、図１０に示すように文字類似度データベースにおいて類似している）
【００４１】
一致率は、１文字あたりの一致スコアであり、一致スコアを比較文字数で割ったものである。例えば、先の「ＢＪシリーズ」と「８○シリーズ」の場合は比較文字数が６文字なので、一致率は、９÷６＝１．５と求められる。
【００４２】
図１４は文書と文書の概念的類似性を判定する際の概念類似度の算出方法を示した図である。概念検索処理は、検索クエリに対して概念的に類似するドキュメントを文書データベースから探してくる処理である。本実施例では検索クエリを１つの文書とみなしてその文書ベクトルを求め（＝クエリベクトル）、検索対象文書データベース上の文書の文書ベクトルと該クエリベクトルとの余弦測度を求め、概念類似度としている。
【００４３】
文書ベクトルＸは各次元にｘ１〜ｘｎの値を持つｎ次元のベクトルである。クエリベクトルＱも同様にｎ次元のベクトルである。余弦測度による類似度をＳＤ（Ｘ，Ｑ）、と表すことにする。余弦測度ＳＤ（Ｘ，Ｑ）は両ベクトルの内積を両ベクトルのノルムの積で割った値となる。両ベクトルがノルム＝１で正規化されている本実施例では、ＳＤ（Ｘ，Ｐ）は内積そのものに相当する。よって両ベクトルに対し、同次元特徴量の積の総和で求めることができる。
【００４４】
上述の動作をフローチャートに従って説明する。図１５は本発明文書加工装置の動作、より具体的にはマイクロプロセッサＣＰＵの処理手順を示すフローチャートである。ステップＳ１５−１はシステムの初期化処理であり、各種パラメータの初期化や初期画面の表示灯を行う処理である。ステップＳ１５−２はキーボード等の入力装置から何らかのキーが押下され、割り込みが発生するのをマイクロプロセッサＣＰＵにおいて待つ処理である。キーが打鍵されると、ステップＳ１５−３においてマイクロプロセッサＣＰＵがこのキーを判別し、キーの種類に応じて各種の処理に分岐する。各種キーに対応した分岐先の複数の処理をステップＳ１５−４という形でまとめて表現している。図１６、図１９、図２２、図２３、図２４、図２５で詳述する重要単語収集処理、文書登録処理、キーワード検索実行処理、概念検索実行処理、要約実行処理、分類実行処理がこの分岐先の一部となる。他の処理としては、詳細は記述されないが、スキャナから文書を読み込んでＯＣＲをかける処理などがある。ステップＳ１５−５は上記の各処理の結果、変更された部分を表示する表示処理である。表示内容を表示パターンに展開しバッファに出力するといった通常広く行われている処理である。
【００４５】
図１６はステップＳ１５−４の一部である重要単語収集処理を詳細化したフローチャートである。まず、ステップＳ１６−１において、基準文書を１文書取得する。次いでステップＳ１６−２において基準文書が取得し尽くされたかどうかを判定し、終了していればそのままリターンするが、正常に取得できた場合はステップＳ１６−３に進む。ステップＳ１６−３において、取得された基準文書に形態素解析をかける。その結果、解析できた個所は文節列として得られ、解析できなかった個所は未知語として得られる。ステップＳ１６−４において、図１７に詳述する長単位重要単語収集処理を行い、上記生成された文節列から基準を満たす重要単語候補を収集する。次にステップＳ１６−５において、図１８に詳述する未知語重要単語収集処理を行い、上記生成された未知語から基準を満たす重要単語候補を収集する。ステップＳ１６−６、Ｓ１６−７は、これまでに得られた重要単語候補に対して所定の判定基準のふるいをかけ有用な重要単語のみを残す処理である。Ｓ１６−６は重要単語頻度判定であり、総出現頻度がある程度大きい重要語のみを残す処理である。総頻度のあまり高くない単語（極端な場合頻度１の単語）は、その文書の特徴自体は良くあらわしているが、他文書との比較に関しては無力であり、文書の特徴を利用する文書加工処理を行う上ではあまり役に立たないことになってしまう。このステップはそのような単語を重要単語から除外する。次のＳ１６−７は重要単語偏在性判定であり、文書によってその単語が使用されるかどうかが偏在しているかどうかを判定し、偏在するもののみを残す処理である。偏在していない単語は多くの文書で普遍的に使用される単語であり、ある文書の特徴を表現するには不適切である。ある単語が偏在しているかどうかは、例えば、偏在率＝１−（該当単語が含まれる基準文書数）／（基準文書の総数）で判定することができる。偏在率が所定の値、例えば０．８以上のもののみを残せば、適度に偏在しているものを残していることになる。ステップＳ１６−８において、この残された重要単語の候補を重要単語辞書に登録する。重要単語採用判定で落とされた単語は登録されない。その後、ステップＳ１６−１にループし、次の基準文書を取得する。
【００４６】
図１７はステップＳ１６−４の長単位重要単語収集処理を詳細化したフローチャートである。まず、ステップＳ１７−１において、該当基準文書から１文節取得する。次いでステップＳ１７−２において文節が既に取得し尽くされたかどうかを判定し、終了していればそのままリターンするが、正常に取得できた場合はステップＳ１７−３に進む。ステップＳ１７−３において、取得された文節が重要単語の品詞の基準、表記の基準を満たしているかどうか判定する。この段階で、例えば、名詞、サ変名詞、接頭語、接尾語、役職名、姓、名などの品詞が残され、形容詞、動詞などの品詞は落とされる。表記のチェックでは、例えば、漢字、カタカナなどがのこされ、ひらがな交じりの単語は落とされる。この判定結果に基づき、ステップＳ１７−４において、ＮＧならばステップＳ１７−１に分岐する。ステップＳ１７−５において、取得された文節が表記長の基準を満たしているかどうか判定する。この段階で、例えば、表記長が５文字以下の単語は落とされる。この判定結果に基づき、ステップＳ１７−６において、ＮＧならばステップＳ１７−１に分岐する。ステップＳ１７−７において、取得された文節が前方の文節との連接品詞の基準を満たしているかどうか判定する。この段階で、例えば、名詞＋接頭語、接尾語＋名詞、名＋姓、役職名＋名詞などの異常な組み合わせが落とされ、姓＋名、接頭語＋名詞、名詞＋接尾語、姓＋役職名などの正常な長単位語のみが残される。この判定結果に基づき、ステップＳ１７−８において、ＮＧならばステップＳ１７−１に分岐する。ステップＳ１７−９において、上記の判定基準をすべてクリアした場合に、前方文節とこの文節の語幹とで合成される長単位語を重要単語の候補として出力する。その後、ステップＳ１７−１にループし、次の文節取得に移る。
【００４７】
図１８はステップＳ１６−５の未知語重要単語収集処理を詳細化したフローチャートである。まず、ステップＳ１８−１において、該当基準文書から未知語を１単語取得する。次いでステップＳ１８−２において未知語が既に取得し尽くされたかどうかを判定し、終了していればそのままリターンするが、正常に取得できた場合はステップＳ１８−３に進む。ステップＳ１８−３において、取得された未知語が重要単語の品詞の基準、表記の基準を満たしているかどうか判定する。なお、未知語であるから品詞はあくまでも推定された品詞である。品詞の推定は、例えば、後続する助詞による行われる。この段階で、例えば、名詞などの品詞が残され、形容詞、動詞などの品詞は落とされる。表記のチェックでは、例えば、漢字、カタカナなどがのこされ、ひらがな交じりの単語は落とされる。この判定結果に基づき、ステップＳ１８−４において、ＮＧならばステップＳ１８−１に分岐する。ステップＳ１８−５において、取得された未知語が表記長の基準を満たしているかどうか判定する。この段階で、例えば、表記長が５文字以下の未知語は落とされる。この判定結果に基づき、ステップＳ１８−６において、ＮＧならばステップＳ１８−１に分岐する。ステップＳ１８−７において、取得された未知語が前方の文節との連接品詞の基準を満たしているかどうか判定する。この段階で、例えば、接尾語＋名詞、役職名＋名詞などの異常な組み合わせが落とされ、姓＋名、接頭語＋名詞などの正常な組み合わせのみが残される。この判定結果に基づき、ステップＳ１８−８において、ＮＧならばステップＳ１８−１に分岐する。ステップＳ１８−９において、この残された未知語を重要単語の候補として出力する。その後、ステップＳ１８−１にループし、次の文節取得に移る。
【００４８】
図１９はステップＳ１５−４の一部である文書登録処理を詳細化したフローチャートである。ステップＳ１９−１において、登録が指定された紙文書をスキャナから読み取り、デジタル化し、ビットマップドキュメントを生成する。ステップＳ１９−２において、該ビットマップに対して文字認識をかけ、文字コードテキスト化し、ＯＣＲドキュメントを生成する。ステップＳ１９−３において、図２０に詳述する重要単語抽出処理を行い、該ＯＣＲドキュメントから重要単語を抽出する。重要単語は一致重要単語リストに出力され、渡される。ステップＳ１９−４において、文書ベクトル生成処理を行い、ステップＳ１９−３で抽出された重要単語群に基づき単語ベクトル辞書検索を行い、単語ベクトルを求め、その総和から文書ベクトルを生成する。なお、語義の特定できない単語についてはその表記を持つすべての語義の単語ベクトルに頻度別の重みをつけて加算することになる。ステップＳ１９−５において、上記生成された重要単語群及び文書ベクトルを検索索引の形に加工し、キーワード検索索引と概念検索索引を作成する。ステップＳ１９−６において該当文書データのビットマップドキュメント及びＯＣＲドキュメントを文書データベースに登録し、文書データベースのインデックスを更新する。
【００４９】
図２０はステップＳ１９−３の重要単語抽出処理を詳細化したフローチャートである。まず、ステップＳ２０−１において一致重要単語リストを初期設定してクリアする。ステップＳ２０−２において該当文書を形態素解析辞書に基づいて形態素解析する。ここでの形態素解析はＯＣＲドキュメントが対象なので、多数の未知語が発生することになり、これは後ほど利用する。ステップＳ２０−３において、未知語とならずに正常に解析できた部分から重要単語を抽出する。これは解析結果を先頭からスキャンして重要単語辞書に記載される重要単語の表記と一致するものを検出することに行われる。重要単語辞書には複数文節からなるような文字列の登録もあるので、マッチングの際には解析結果から複数文節を取り出して重要単語とマッチングする処理を含んでいる。ここでの文字列マッチングは、正常に解析できて認識誤りが無い部分のマッチング処理なので、曖昧マッチングではない通常の完全マッチングを行う。マッチングそのものは通常のマッチング処理なので、ここでは特に手続きの詳細を述べない。抽出された重要単語はステップＳ２０−４において一致重要単語リストに登録される。ステップＳ２０−５において先ほどの形態素解析から出力された多数の未知語のうち先頭の未知語を取得する。ステップＳ２０−６において未知語が既に取得し尽くされたかを判定し、未知語がもはや無いときはリターンする。未知語が正常に取得できたときはステップＳ２０−７に進み、該当未知語に対して図２１に詳述する曖昧マッチング処理を行い、未知語部分から重要単語を抽出する。形態素解析の精度にもよるが、一般に未知語の範囲は正確に判定されないことが多いのでここでは多少のマージンを見込んで広い目の範囲を未知語として曖昧マッチング処理に渡せばよい。処理が終了すると、一致重要単語リストに検出重要単語が出力される。その後、ステップＳ２０−８に進み、次の未知語を取得して、ステップＳ２０−６にループする。
【００５０】
図２１はステップＳ２０−７の曖昧マッチング処理を詳細化したフローチャートである。ステップＳ２１−１において、重要単語辞書から最初の重要単語を１つ取得する。ステップＳ２１−２において重要単語が正常に取得できたかを判定し、取得できなかったときはリターンする。取得できたときはステップＳ２１−３に進み、図１３に示される算出式に従って該当未知語と該当重要単語との一致スコアを算出する。未知語内の比較先頭位置は正確には特定できないので先頭位置を変えて何箇所かの一致スコアを算出し、最も良いスコアを採用する。ステップＳ２１−４において、やはり図１３に示される算出式に従って一致率を算出する。ステップＳ２１−５において該一致スコアが許容される閾値を満たしているかどうかを判定する。なお、閾値は予め定められているものとし、図１３で算出される一致率においては、例えば値１を採用する。閾値の条件を満たしていない場合はこの重要単語を一致重要単語リストに登録せずにスキップするためステップＳ２１−７にスキップする。満たしている場合は登録すべきなので、ステップＳ２１−６に進み、該当重要単語を一致重要単語リストに登録する。登録後、ステップＳ２１−７に進む。ステップＳ２１−７において重要単語辞書から次の重要単語を取得し、ステップＳ２１−２にループする。
【００５１】
図２２はステップＳ１５−４の一部であるキーワード検索実行処理を詳細化したフローチャートである。ステップＳ２２−１において、ユーザの検索クエリを取得する。ここにおいてユーザは自然文、あるいは複数のキーワードの入力、あるいは既存の文書指定の形で指示する。指示の方法に応じて、クエリのテキストストリングを入手する。例えば、既存の文書を指定した場合はその文書にアクセスし、適当なフォーマット変更を行ってその文書の内容をテキストファイル化し、そのテキストストリングを次のステップ以降に送る。ステップＳ２２−２においてクエリの解析を行い、キーワードを抽出する。ステップＳ２２−３において、キーワード検索索引にアクセスし、検索クエリとのマッチングを行う。検索クエリから抽出されたキーワードがキーワード検索索引に存在するかをサーチし、キーワードが存在する文書の文書ＩＤを出力する。検索処理において通常に行われる処理であり、ここでは詳細な説明は割愛する。最後にステップＳ２２−４において検索クエリと合致する文書の文書ＩＤをもとに、検索結果としてリストアップして表示する。その後、リターンする。
【００５２】
図２３はステップＳ１５−４の一部である概念検索実行処理を詳細化したフローチャートである。ステップＳ２３−１はユーザの検索クエリ入力処理であり、ここにおいてユーザは自然文の入力、あるいは既存文書の指定の形で指示する。指示の方法に応じて、クエリのテキストストリングを入手する。例えば、既存の文書を指定した場合はその文書にアクセスし、適当なフォーマット変更を行ってその文書の内容をテキストファイル化し、そのテキストストリングを次のステップ以降に送る。ステップＳ２３−２はクエリベクトルの生成処理であり、図２６に詳述する如く検索クエリのクエリベクトルを得る。ステップＳ２３−３において、概念検索を行うための概念検索索引を取得し、次のステップ２３−４にその索引を渡す。ステップ２３−４において、渡された概念検索索引に基づいて、図２７に詳述するように、クエリベクトルと対象文書ベクトルとから概念類似度を生成し、その関連付けられたリストを作成する。ステップＳ２３−５は、ステップＳ２３−４で作成されたリストを概念類似度に応じてソートし、文書をランキングする処理である。ステップＳ２３−６はステップＳ２３−５でランキングされた文書を検索結果としてリストアップして表示する処理である。その際に、ステップＳ２３−４で求められた概念類似度の値も同時に表示する。
【００５３】
図２４はステップＳ１５−４の一部である要約実行処理を詳細化したフローチャートである。ステップＳ２４−１において、要約されるべき元の文章を取得し、ステップＳ２４−２において、入力文章を解析する。このとき入力文章から重要単語が抽出され、各重要単語の重要度情報も取得される。ステップＳ２３−４において、入力文章を構成する各文の重要度が付与される。重要度は重要単語の重要度、重要単語が各文に出現する度数などにおうじて定められる。例えば、その文に出現するすべての重要単語に対して、各重要単語の重要度を総和したものなどを使用すればよい。ステップＳ２４−４において、該各文に付与された重要度に基づいて各文をランキングしてソートする。そして、各文を重要度の高い順に所定数だけ抽出する。ステップＳ２４−５において、該抽出された文を元の入力文章の順番に再構成し、要約文として出力する。
【００５４】
図２５はステップＳ１５−４の一部である分類実行処理を詳細化したフローチャートである。ステップＳ２５−１は１文書取得処理であり、ここにおいて文書データベースから１文書ずつ文書のテキストストリングを入手する。例えば、文書にアクセスし、適当なフォーマット変更を行ってその文書の内容をテキストファイル化し、そのテキストストリングを次のステップ以降に送る。ステップＳ２５−２は文書が取得できたかどうかを判定する処理であり、判定できたときは次のステップＳ２５−３に進むが、取得できなかった場合は、文書データベースのすべての文書の分類処理が完了したことを意味するので、リターンする。ステップＳ２５−３はクエリベクトルの生成処理であり、文書のテキストストリングをクエリとし、それから図２６に詳述する如くクエリベクトルを得る。ステップＳ２５−４において、分類処理を行うための概念分類索引を取得し、次のステップ２５−５にその索引を渡す。ステップ２５−５において、渡された概念分類索引に基づいて、図２７に詳述するように、クエリベクトルと対象文書ベクトルとから概念類似度を生成し、その関連付けられたリストを作成する。ステップＳ２５−６は、ステップＳ２５−６で作成されたリストを概念類似度に応じてソートし、文書（この場合は分類カテゴリ）をランキングする処理である。ステップＳ２５−７はステップＳ２５−６でランキングされた分類カテゴリの第１候補を、元の文書ＩＤと関連付けて出力する処理である。そしてステップＳ２５−８において次の文書に進み、ステップＳ２５−１にループする。
【００５５】
図２６はステップＳ２３−２の処理であるクエリベクトル生成処理を詳細化したフローチャートである。ステップＳ２６−１はユーザ指定の検索クエリから単語を抽出する処理であり、形態素解析用辞書を使用して形態素解析を行う。解析後、ステップＳ２６−２において、解析結果に基づいて各単語の多義解消を行う。多義解消の手法として、これまでにも各種の方法が提案されているので、それに従う。例えば、係り受け解析結果と共起データベースとのマッチングによる多義解消、ユーザプロファイルとの概念マッチングに基づく多義解消などが考えられる。十分に多義解消されなかった単語については、複数個語義が出力される。次いで、ステップＳ２６−３において、検索クエリの文書ベクトルを生成する。ステップＳ２６−１、Ｓ２６−２で抽出された単語及び特定された語義から単語ベクトル辞書を検索し、単語ごとの次元別の特徴量を得てその総和から文書ベクトルを生成する、ステップＳ１９−４と同様の処理である。
【００５６】
図２７はステップＳ２５−５の処理を詳細化したフローチャートである。ステップＳ２７−１において、概念検索索引を取得し、例えばＲＡＭ上にロードする。ステップＳ２７−２において、該概念検索索引から文書ベクトルを順番に取得する。ステップＳ２７−３において取得された文書ベクトルと検索クエリのクエリベクトルとから概念類似度を算出する。ステップＳ２７−４において、該算出された概念類似度を文書ＩＤと関連付けてリストの形でＲＡＭにストアする。処理が進むごとにこのリストが追加されていくことになる。ステップＳ２７−５において、概念検索索引内に未処理の文書があるかどうかを判定し、残りが存在する場合はステップＳ２７−６に分岐し、存在しない場合は、これまでにストアされた文書と概念類似度の関連付けられたリストを出力としてリターンする。ステップＳ２７−６において、概念検索索引中の次の文書の処理に移り、ステップＳ２７−２にループする。このように検索クエリとの概念類似度判定を繰り返す。
【図面の簡単な説明】
【００５７】
【図１】本実施例の文書加工装置の全体構成を示すブロック図である。
【図２】文書要約処理の表示画面構成例を示した図である。
【図３】文書分類の処理結果の例を示した図である。
【図４】本実施例の文書加工装置における重要単語辞書の構成を示した図である。
【図５】本実施例の文書加工装置における文書データベースに格納されるスキャンドキュメントとＯＣＲドキュメントの内容を説明した図である。
【図６】本実施例の文書加工装置における基準文書データベースに格納される基準文書の内容を説明した図である。
【図７】本実施例の文書加工装置における単語ベクトル辞書の構成を示した図である。
【図８】本実施例の文書加工装置における概念検索索引の構成を示した図である。
【図９】本実施例の文書加工装置における文書分類処理を行うための概念分類索引の構成を示した図である。
【図１０】本実施例の文書加工装置におけるキーワード検索索引の構成を示した図である。
【図１１】本実施例の文書加工装置における一致重要単語リストの構成を示した図である。
【図１２】本実施例の文書加工装置における文字類似度データベースの構成を示した図である。
【図１３】本実施例の文書加工装置における一致スコアと一致率の算出式を示した図である。
【図１４】本実施例の文書加工装置における概念類似度の算出方法を示した図である。
【図１５】本実施例の文書加工装置全体の処理手順の一例を示すフローチャートである
【図１６】重要単語収集処理の処理手順の一例を示すフローチャートである。
【図１７】長単位重要単語収集処理の処理手順の一例を示すフローチャートである。
【図１８】未知語重要単語収集処理の処理手順の一例を示すフローチャートである。
【図１９】文書登録処理の処理手順の一例を示すフローチャートである。
【図２０】重要単語抽出処理の処理手順の一例を示すフローチャートである。
【図２１】曖昧マッチング処理の処理手順の一例を示すフローローチャートである。
【図２２】キーワード検索実行処理の処理手順の一例を示すフローチャートである。
【図２３】概念検索実行処理の処理手順の一例を示すフローチャートである。
【図２４】要約実行処理の処理手順の一例を示すフローチャートである。
【図２５】分類実行処理の処理手順の一例を示すフローチャートである。
【図２６】クエリベクトル生成処理の処理手順の一例を示すフローチャートである。
【図２７】概念類似度生成処理の処理手順の一例を示すフローチャートである。
【図１】
2005189955.tif 000003
【図２】
2005189955.tif 000004
【図３】
2005189955.tif 000005
【図４】
2005189955.tif 000006
【図５】
2005189955.tif 000007
【図６】
2005189955.tif 000008
【図７】
2005189955.tif 000009
【図８】
2005189955.tif 000010
【図９】
2005189955.tif 000011
【図１０】
2005189955.tif 000012
【図１１】
2005189955.tif 000013
【図１２】
2005189955.tif 000014
【図１３】
2005189955.tif 000015
【図１４】
2005189955.tif 000016
【図１５】
2005189955.tif 000017
【図１６】
2005189955.tif 000018
【図１７】
2005189955.tif 000019
【図１８】
2005189955.tif 000020
【図１９】
2005189955.tif 000021
【図２０】
2005189955.tif 000022
【図２１】
2005189955.tif 000023
【図２２】
2005189955.tif 000024
【図２３】
2005189955.tif 000025
【図２４】
2005189955.tif 000026
【図２５】
2005189955.tif 000027
【図２６】
2005189955.tif 000028
【図２７】
2005189955.tif 000029