(57)【要約】      （修正有）【課題】認識誤りや入力ミスを含む文書に対して有効な特徴語検出法を提供する。【解決手段】文書内の語と重要語保持手段に保持されている重要語との一致度を算出し、該一致度に基づいて文書の特徴語を検出する。文書は、形態素解析され、前記一致度を算出する語は、形態素解析にて解析できなかった語である。一致度の算出は、文書内の語と前記重要語との一致文字数、比較文字の類似度および、これらを合わせた方法によって行われる。【選択図】図１０
2005189953.tif 000002
【特許請求の範囲】
【請求項１】
文書から特徴を検出する文書特徴検出方法であって、
文書内の語と重要語保持手段に保持されている重要語との一致度を算出する一致度算出ステップと、
前記一致度に基づいて文書の特徴語を検出する特徴語検出ステップとを有することを特徴とする文書特徴検出方法。
【請求項２】
文書を形態素解析する形態素解析ステップを更に備え、
前記一致度算出ステップで一致度を算出する前記文書内の語は、前記形態素解析ステップで解析できなかった語であることを特徴とする請求項１記載の文書特徴検出方法。
【請求項３】
前記一致度算出ステップは、文書内の語と重要語の一致文字数に基づいて一致度を算出することを特徴とする請求項１記載の文書特徴検出方法。
【請求項４】
前記一致度算出ステップは、比較文字の類似度に基づいて一致度を算出することを特徴とする請求項１記載の文書特徴検出方法。
【請求項５】
前記一致度算出ステップは、一致文字数、比較文字の類似度及び文字数に基づいて一致度を算出することを特徴とする請求項１記載の文書特徴検出方法。
【請求項６】
前記特徴語検出ステップは、文書上の同一個所について、複数個の重要語を特徴語として検出することを特徴とする請求項１記載の文書特徴検出方法。
【請求項７】
前記特徴語検出ステップは、文書上の同一箇所について、一致度が任意の閾値を超える重要語を特徴語として検出することを特徴とする請求項１記載の文書特徴検出方法。
【請求項８】
前記特徴語検出ステップは、文書上の同一箇所について、一致度が上位の任意の数の重要語を特徴語として検出することを特徴とする請求項１記載の文書特徴検出方法。
【請求項９】
前記特徴語検出ステップは、文書上の同一個所について、最も一致度が高い重要語のみを特徴語として検出することを特徴とする請求項１記載の文書特徴検出方法。
【請求項１０】
前記重要語保持手段は、重要語に対する誤認識候補をあわせて保持し、
前記一致度算出ステップは、文書内の語と重要語の誤認識候補が一致した場合に該文書内の語と該重要語の一致度を算出し、
前記特徴語検出手段は、前記一致度算出ステップで算出された一致度が任意の閾値を超える場合に該文書内の語を特徴語として検出することを特徴とする請求項１記載の文書特徴検出方法。
【請求項１１】
文書から特徴を検出する文書特徴検出装置であって、
文書内の語と重要語保持手段に保持されている重要語との一致度を算出する一致度算出手段と、
前記一致度に基づいて文書の特徴語を検出する特徴語検出手段とを有することを特徴とする文書特徴検出装置。
【請求項１２】
文書を形態素解析する形態素解析手段を更に備え、
前記一致度算出手段で一致度を算出する前記文書内の語は、前記形態素解析手段で解析できなかった語であることを特徴とする請求項１１記載の文書特徴検出装置。
【請求項１３】
前記一致度算出手段は、文書内の語と重要語の一致文字数に基づいて一致度を算出することを特徴とする請求項１１記載の文書特徴検出装置。
【請求項１４】
前記一致度算出手段は、比較文字の類似度に基づいて一致度を算出することを特徴とする請求項１１記載の文書特徴検出装置。
【請求項１５】
前記一致度算出手段は、一致文字数、比較文字の類似度及び文字数に基づいて一致度を算出することを特徴とする請求項１１記載の文書特徴検出装置。
【請求項１６】
前記特徴語検出手段は、文書上の同一個所について、複数個の重要語を特徴語として検出することを特徴とする請求項１１記載の文書特徴検出装置。
【請求項１７】
前記特徴語検出手段は、文書上の同一箇所について、一致度が任意の閾値を超える重要語を特徴語として検出することを特徴とする請求項１１記載の文書特徴検出装置。
【請求項１８】
前記特徴語検出手段は、文書上の同一箇所について、一致度が上位の任意の数の重要語を特徴語として検出することを特徴とする請求項１１記載の文書特徴検出装置。
【請求項１９】
前記特徴語検出手段は、文書上の同一個所について、最も一致度が高い重要語のみを特徴語として検出することを特徴とする請求項１１記載の文書特徴検出装置。
【請求項２０】
前記重要語保持手段は、重要語に対する誤認識候補をあわせて保持し、
前記一致度算出手段は、文書内の語と重要語の誤認識候補が一致した場合に該文書内の語と該重要語の一致度を算出し、
前記特徴語検出手段は、前記一致度算出手段で算出された一致度が任意の閾値を超える場合に該文書内の語を特徴語として検出することを特徴とする文書特徴検出装置。
【請求項２１】
請求項１乃至１０のいずれか１つに記載の文書特徴検出方法をコンピュータに実行させるための制御プログラム。
【請求項２２】
請求項２１に記載の制御プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書の特徴を検出する方法、装置、制御プログラム及び記録媒体に関するものである。
【背景技術】
【０００２】
コンピュータ及びネットワークの発達に伴って大量の電子化文書のデータベースへの蓄積が進展しつつあり、それに伴って大量の電子化文書データベース上の文書に対する電子処理、例えば文書検索、要約処理、分類処理への期待が高まってきている。
【０００３】
このような電子文書処理においては、文書の重要部分、換言すれば、文書特徴を検出する必要性に迫られることがよくある。そのため、各文書から特徴を表現する特徴語を検出する技術が必要となっている。このような特徴語検出技術については、これまでにも多数の提案がなされている。
【０００４】
例えば、特許文献１においては、入力文書を形態素解析して複合語を検出し、複合語から専門用語の特徴に着目して専門用語を検出するシステムが提案されている。また、特許文献２においては、与えられた文字列データから特徴語を検出し、それらの出現状態を考慮して特徴語を重み付けして要約に役立てる技術が提案されている。
【０００５】
最近になって、紙の形で保管されてきた過去の文書を電子化しようという、紙文書デジタル化の動きが加速しつつある。このような紙文書デジタル化において主要な問題は、高度な電子文書処理が困難であるという点である。紙文書は自分で電子的に作成したものでないことが多く、スキャナ等でスキャンして電子化し、ビットマップ化するしかないが、それだけでは、その文書を電子的に配送する程度の処理しかできない。更に高度な文書処理（検索、要約、分類など）を行うためにはテキスト情報を検出する必要があり、ＯＣＲをかけることになる。ところが、ＯＣＲは１００％の精度を保証できないので、認識誤りが紛れ込むことを避けられず、今ひとつ有効な電子処理を行うことができない。
【０００６】
例えば、「超写真画質」という文字列を含む紙文書があったとする。この紙文書にＯＣＲをかけると電子テキスト化することができるが、それは若干の認識誤りを含み、例えば、「超写真白質」と認識されているかもしれない。この場合「超写真画質」でこの文書を検索することはできなくなってしまう。また、要約処理・分類処理等においても、この文書に「超写真画質」という重要な語が含まれていることが検出できないので、支障がでてしまうことになる。
【０００７】
このようなＯＣＲされた文書に対する文書処理についても、やはり多数の手法が提案されている。
【０００８】
例えば特許文献３は、ＯＣＲされた文書の検索について工夫を提案している。検索インデキシング時に文字認識候補を含めて索引化し、検索時に検索キーワードと複数の文字認識候補との類似性を考慮しながら検索しようというものである。
【０００９】
しかし、このように、情報が実際に必要な実行時に曖昧性を考慮する方式では、多数の認識候補を保有するメモリに対する負担、検索時の処理に対する負荷がかかり、検索処理、要約処理、分類処理に適用するには限界がある。
【特許文献１】特開平３−１１６３７４号公報
【特許文献２】特開平８−３２９１１８号公報
【特許文献３】特開平６−０８９３３０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとしている課題は、認識誤りや入力ミスを含む文書に対し文書処理を施すために有効な特徴語検出法を提案することである。すなわち、認識誤りを回避する特徴語収集方式を実現することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために本発明は文書から特徴を検出する文書特徴検出方法であって、文書内の語と重要語保持手段に保持されている重要語との一致度を算出する一致度算出ステップと、前記一致度に基づいて文書の特徴語を検出する特徴語検出ステップとを有することを特徴とする。
【００１２】
また本発明は、文書から特徴を検出する文書特徴検出装置であって、文書内の語と重要語保持手段に保持されている重要語との一致度を算出する一致度算出手段と、前記一致度に基づいて文書の特徴語を検出する特徴語検出手段とを有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、認識誤りあるいは入力ミス等が含まれている文書に対し、重要語保持手段が保持する重要語との一致度に基づいて特徴語を推定するので、文書の特徴を表す語をより確実に検出することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら本発明に好適な実施形態を詳細に説明する。
【００１５】
（実施例）
図１は本発明を適用した文書特徴抽出装置の構成を示すブロック図である。図示の構成において、ＣＰＵはマイクロプロセッサであり、文書解析処理のための演算、論理判断等を行い、バスを介してバスに接続された各構成要素を制御する。マイクロプロセッサＣＰＵが文書検索表示手段としても動作する。ＢＵＳはバスであり、マイクロプロセッサＣＰＵの制御対象である各構成要素を指示するアドレス信号、コントロール信号を転送する。また、各構成要素間のデータ転送を行う。ＲＡＭは書込み可能なランダムアクセスメモリであって、各構成要素からの各種データの一次記憶に用いる。ＲＯＭは読出し専用の固定メモリである。マイクロプロセッサＣＰＵによるブートプログラムを記憶する。ブートプログラムはシステム起動時にハードディスクに記憶された制御プログラムをＲＡＭにロードし、マイクロプロセッサＣＰＵに実行させる。制御プログラムについては、後にフローチャートを参照して詳述する。
【００１６】
入力装置はキーボード、およびマウス等である。表示装置はＣＲＴ、あるいは液晶ディスプレイ等である。スキャナは紙文書を読み込んでデジタル化するスキャナである。ＨＤはハードディスクであり、ＣＰＵにより実行される制御プログラム、形態素解析を行うための形態素解析辞書、文書の特徴を表現し得る語を記憶した重要語辞書、検索・要約・分類等の処理が行われる対象となる文書を記憶した文書ＤＢ、各文字間の類似性を格納した類似度ＤＢ、検索処理を行う際にインデックスとして使用される検索索引、処理中のワークエリアとして使用される一致重要語リスト等が格納される。
【００１７】
リムーバブル外部記憶装置はフロッピー（登録商標）ディスクやＣＤ、ＤＶＤ等の外部記憶にアクセスするためのドライブ等である。上記ＨＤと同様に使用でき、それらの記録媒体を通じて他の文書処理装置とのデータ交換を行う装置である。なお、ハードディスクに記憶される制御プログラムは、これらの外部記憶装置から必要に応じてＨＤにコピーすることもできる。通信装置はネットワークコントローラである。通信回線を介して外部とのデータ交換を行う装置である。
【００１８】
かかる各構成要素からなる本発明文書検索処理装置においては、入力装置からの各種の入力に応じて作動するものであって、入力装置からの入力が供給されるとまずインタラプト信号がマイクロプロセッサＣＰＵに送られ、それに伴って、ＣＰＵがＲＯＭまたはＲＡＭ内に記憶される各種命令を読み出し、その実行によって各種の制御が行われる。
【００１９】
図２は文書の特徴を表現し得る重要語（キーワード）のリストを格納した重要語保持手段の一例である重要語辞書の構成を示したものである。各重要語には２１に示すようにユニークな語ＩＤが対応付けられ、その表記が２２に記憶される。重要語の削除に対応できるように各重要語の語ＩＤも同時に記憶する。専門用語等の複合語も多く登録される。重要語保持手段は予め準備・作成されたものが提供されているか、あるいはユーザが個別に編集して作成されたものであるか、あるいは蓄積された文書群等からシステムが自動的に収集したものであるか、いずれの形態であるかを問わない。本実施例においては既に準備されているという前提で説明する。
【００２０】
重要語であるから、日本語において使用されるありとあらゆる語が収集されたものではなく、ある程度分野によって、偏って使用される語が登録される。例えば、「人」「日」「事」「物」などの語は、通常どのような文書であっても使用される語であり、通常の場合は重要語としては登録されない。必然的に固有名詞や専門用語が重点的に登録されることになる。後述するような処理の仕組み上、曖昧性を考慮した場合短い語の一致検出は困難であるので、重要語としては比較的長い語が望ましい。
【００２１】
例えば、「構文」という専門用語との一致をとる場合を考える。ＯＣＲ文書に認識誤りがあり、例えば「構」が誤認識されていると「？文」との一致を取ることになり「散文」「漢文」「悪文」「証文」「英文」等無数の語の可能性が出てきてしまう。これに対し、例えば「構文解析」という専門用語では、仮にＯＣＲが「構」の部分を誤認識しても他の部分は正常である可能性が高く「？文解析」となる。これであれば、可能性があるのは「構文解析」くらいなので、正しく重要語を検出することができる。
【００２２】
図中、語ＩＤ＝８（「構文の解析」）のように複数文節からなる文字列も含んでいる。これは、短い語の重要語を検出することが困難なので、共起関係を含めた文字列を登録することで、回避しようという仕組みである。この場合「構文」は短すぎるのでその用例である「構文を解析」「構文の解析」「構文の関係」などの文字列を登録し、処理するのである。
【００２３】
図３は文書ＤＢに格納される文書の構成を示した図である。文書はスキャナからスキャンされたビットマップイメージ（スキャン文書）と、それに対してＯＣＲが施されたＯＣＲ文書からなり、この両方が対応付けられて文書ＤＢに格納される。ＯＣＲ文書はスキャン文書のビットマップが文字認識された第１候補が格納されており、必然的に認識誤りを含んでいる。図中“ＢＪシリーズ”となるべき文字列は“８○シリーズ”となり、“超写真画質”となるべき文字列は“超写真白質”となってしまっている。なお、文書ＤＢにおいては、各文書はユニークな文書ＩＤで識別される。
【００２４】
このようなＯＣＲ文書に対し通常の形態素解析処理をかけると多数の解析エラー個所が発生し、十分な情報が得られない。例えば“ＢＪシリーズ”“超写真画質”という文字列は認識誤りを含んでいるので、このままではこれらの語を重要語として検出できない。結果として「ＢＪシリーズ」等の検索要求に対し、この文書をヒットさせることが出来ないことになる。
【００２５】
図４は、検索索引の構成を示した図である。検索要求に対して必要な文書を検索するときのために準備作成されたテーブルである。各文書に対して、その文書に含まれる重要語を記述した形式となっている。４１の文書ＩＤをもつ文書に対し、その文書に含まれる語の語ＩＤが位置（文書中での先頭から文字位置）とともに格納される。図から、例えば、文書ＩＤ＝１の文書には、語ＩＤ＝４の語（図２によれば「ｔｆ・ｉｄｆ」）が存在し、その文字位置は先頭から０文字、すなわち、文書の先頭に存在することが分かる。このテーブルを参照することによりどの語がどの文書のどの位置に存在するかを把握することができる。
【００２６】
なお、この検索索引の構成は論理構成を示しているだけである。実際の検索処理においては高速検索が可能なように適切にフォーマット変換されて記憶される。例えば、語ＩＤ等からの索引付け、それに伴うデータの多重化等の有効な工夫がなされることになる。
【００２７】
図５は一致重要語リストの構成を示した図である。一致重要語リストは、ある文書の特徴語検出処理の途中において一時的に管理作成されるテーブルであり、恒久的に存在する情報ではない。１文書の処理ごとに内容がクリアされる。リストはある文書に対してどの語がどの位置に存在すると考えられるかを、その解釈による一致スコアと一致率とともに示している。５１は語ＩＤであり、存在すると考えられる重要語のＩＤを示している。５２は開始位置、５３は終了位置であり、その間に重要語の存在する位置を示している。５４は一致スコアであり、該当の重要語と一致をとった場合のスコアが格納される。５５は一致率であり、その一致の妥当性を示す値が格納される。例えば、１行目は語ＩＤ＝５の語（図２によれば「ベクトル空間モデル」）が、文書先頭から２１の位置から２９の位置まで存在する可能性があり、その一致スコアは１８、一致率は２であることを示している。
【００２８】
図６は類似度ＤＢである。ＯＣＲの観点から見て類似した文字をデータベース化したものである。６１で示す基準文字に対し類似した文字群が６２で示す類似文字に格納される。例えば、１行目は、「Ｂ」という文字は「８」や「乃」という文字と類似していることを表現している。また２行目は「王」は「壬」や「生」と類似していることを表現している。
【００２９】
図７は本発明における一致度の算出方法を示した図であり、例として一致スコアと一致率の算出方法を示している。一致スコアは比較する文字列の先頭（ｋ＝１）から末尾（ｋ＝ｎ）までのスコアを１からｎまで積算したものであり、各スコアはｋ番目の文字の一致が、不一致のとき０、完全に一致するとき２（すなわち、比較元の文字と比較先の文字が正確に一致したとき）、類似度ＤＢを参照して一致したとき１（すなわち、比較元の文字と比較先の文字は一致しなかったが、類似度ＤＢを調べるとこの２つの文字が類似しているとして登録されていたとき）、とする。なお、不一致、完全一致、類似の場合に差異をもうけられればよく数値はこれに限定されるものではない。上記に基づくと「ＢＪシリーズ」と「８○シリーズ」を比較する際には、一致スコア＝１＋０＋２＋２＋２＋２＝９となる。（「Ｂ」と「８」は、図６に示すように類似度ＤＢにおいて類似している）。このような算出方法をとることで、曖昧性を考慮することができる。
【００３０】
一致率は、１文字あたりの一致スコアであり、一致スコアを比較文字数で割ったものである。例えば、先の「ＢＪシリーズ」と「８○シリーズ」の場合は比較文字数が６文字なので、一致率は、９÷６＝１．５と求められる。
【００３１】
上述の動作をフローチャートに従って説明する。図８は本発明文書検索装置の動作、より具体的にはマイクロプロセッサＣＰＵの処理手順を示すフローチャートである。ステップＳ８−１はシステムの初期化処理であり、各種パラメータの初期化や初期画面の表示灯を行う処理である。ステップＳ８−２はキーボード等の入力装置から何らかのキーが押下され、割り込みが発生するのをマイクロプロセッサＣＰＵにおいて待つ処理である。キーが打鍵されると、ステップＳ８−３においてマイクロプロセッサＣＰＵがこのキーを判別し、キーの種類に応じて各種の処理に分岐する。各種キーに対応した分岐先の複数の処理をステップＳ８−４という形でまとめて表現している。図９、図１２で詳述する検索索引登録処理、検索実行処理がこの分岐先の一部となる。他の処理としては、詳細は記述されないが、スキャナから文書を読み込んでＯＣＲをかけ文書ＤＢに登録する処理などがある。ステップＳ８−５は上記の各処理の結果、変更された部分を表示する表示処理である。表示内容を表示パターンに展開しバッファに出力するといった通常広く行われている処理である。
【００３２】
図９はステップＳ８−４の一部である検索索引登録処理を詳細化したフローチャートである。ステップＳ９−１において文書ＤＢに格納されている文書（のＯＣＲ文書）を１つずつ取得する。ステップＳ９−２において取得すべき文書が枯渇して取り出せないかを判定し、残り文書がないときはリターンする。正常に取得できたときはステップＳ９−３に進み、文書ＩＤをパラメータとして渡し、特徴語検出処理（図１０詳述）をコールして該当文書中に特徴語が存在するかをチェックを行う。特徴語の検出が終了すると検出結果は一致重要語リストの形で出力され、ステップＳ−９−４に進む。ステップＳ９−４において一致重要語リストの内容を加工しつつ検索索引に書き込む。ついでステップＳ９−１にループし、次の文書を取得する。
【００３３】
図１０はステップＳ９−３の特徴語検出処理を詳細化したフローチャートである。まず、ステップＳ１０−１において一致重要語リストを初期設定してクリアする。ステップＳ１０−２において該当文書を形態素解析辞書に基づいて形態素解析する。ここでの形態素解析はＯＣＲ文書が対象なので、解析できない語（以降、未知語と記述する）が多数発生することになり、これは後ほど利用する。ステップＳ１０−３において、未知語とならずに正常に解析できた部分から重要語を検出する。これは解析結果を先頭からスキャンして重要語辞書に記載される重要語の表記と一致するものを検出することにより行われる。重要語辞書には複数文節からなるような文字列の登録もあるので、一致検出の際には解析結果から複数文節を取り出して重要語と一致検出する処理を含んでいる。ここでの一致検出は、正常に解析できて認識誤りが無い部分の処理なので、曖昧性を考慮しない通常の完全一致検出を行う。完全一致検出処理そのものは通常の処理なので、ここでは特に手続きの詳細を述べない。検出された重要語はステップＳ１０−４において一致重要語リストに登録される。ステップＳ１０−５において先ほどの形態素解析から出力された多数の未知語のうち先頭の未知語を取得する。ステップＳ１０−６において未知語が既に取得し尽くされたかを判定し、未知語がもはや無いときはリターンする。未知語が正常に取得できたときはステップＳ１０−７に進み、該当未知語に対して図１１に詳述する一致度算出処理を行い、未知語部分から重要語を検出する。形態素解析の精度にもよるが、一般に未知語の範囲は正確に判定されないことが多いのでここでは多少のマージンを見込んで少し拡張された範囲を未知語として一致度算出処理に渡すことになる。処理が終了すると、一致重要語リストに検出重要語が出力される。その後、ステップＳ１０−８に進み、次の未知語を取得して、ステップＳ１０−６にループする。
【００３４】
図１１はステップＳ１０−７の一致度算出処理を詳細化したフローチャートである。ステップＳ１１−１において、重要語保持手段から最初の重要語を１つ取得する。ステップＳ１１−２において重要語が正常に取得できたかを判定し、取得できなかったと（以降、未知語と記述する）きはリターンする。取得できたときはステップＳ１１−３に進み、図７に示される算出式に従って該当未知語と該当重要語との一致スコアを算出する。未知語内の比較先頭位置は正確には特定できないので先頭位置を変えて何箇所かの一致スコアを算出し、最も良いスコア（最も良い一致度が取れる位置のスコア）を採用する。ステップＳ１１−４において、やはり図７に示される算出式に従って一致率を算出する。ステップＳ１１−５において該当重要語を採用（登録）するかどうかの可否を判定する。判定は、該一致スコアが許容される閾値を満たしているかどうかを判定する。なお、閾値は予め定められているものとし、例えば、図７で算出される一致スコアにおいては値８（４文字の一致）を採用し、図１５で算出される一致スコアにおいては値４（やはり４文字の一致）を採用する。または別の実現方法では一致率を所定の閾値と比較しても良い。このときは閾値として、例えば、図７の式では１、図１５の式では０．５を採用する。閾値の条件を満たしていない場合はこの重要語を一致重要語リストに登録せずにスキップするためステップＳ１１−７にスキップする。満たしている場合は登録すべきなので、ステップＳ１１−６に進む。ステップＳ１１−６において該当重要語を一致重要語リストに登録した後ステップＳ１１−７に進む。ステップＳ１１−７において重要語辞書から次の重要語を取得し、ステップＳ１１−２にループする。最終的に一致重要語リストに登録されている重要語をその文書の特徴語とする。
【００３５】
図１２はステップＳ８−４の一部である検索実行処理を詳細化したフローチャートである。ステップＳ１２−１において、ユーザの検索クエリを取得する。ここにおいてユーザは自然文、あるいは複数のキーワードを入力する、あるいは既存の文書を指定する形で指示する。指示の方法に応じて、クエリのテキストストリングを入手する。例えば、既存の文書を指定した場合はその文書にアクセスし、適当なフォーマット変更を行ってその文書の内容をテキストファイル化し、そのテキストストリングを次のステップ以降に送る。ステップＳ１２−２においてクエリの解析を行う。単純なキーワード検索であれば、クエリからキーワードを検出するだけであるが、概念検索のような高度な検索であれば、クエリから抽出された語からクエリベクトルの生成処理などが行われる。ステップＳ１２−３において、検索索引にアクセスし、検索クエリとのマッチングが行われる。単純なキーワード検索であれば、検索クエリから抽出されたキーワードが検索索引に存在するかをサーチする処理となる。概念検索であれば、クエリベクトルと検索索引から生成される文書ベクトルとのマッチング処理となる。いずれにしても検索処理において通常に行われる処理であり、ここでは詳細な説明は省略する。最後にステップＳ１２−４において検索クエリと合致する文書の文書ＩＤを出力する。その後リターンする。
【００３６】
（その他の実施例）
なお、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。
【００３７】
上記第１の実施形態においては、一致すると認められた重要語はすべて登録されていたが、これは現実と矛盾することがある。矛盾した重要語を登録しないという実施形態も考えられる。
【００３８】
例えば、重要語として「プログラミング」「エンジニアリング」が登録されている場合に、ＯＣＲ文書に（誤認識の結果により）「マイクエプジグラリング」という文字列があったとする。この場合、先の実施例では「プログラミング」は「プジグラリング」と一致が取れ「エンジニアリング」も「エプジグラリング」と一致がとれるので、両方とも検出されていたが、原文にはどちらかしか存在しないはずである。用途によってはどちらの重要語を採用するかに決定してしまった方が良い場合がある。そのようなときは一致率で判断することにする。一致率は、図７に算出方法が示されているが、１文字あたりの一致度合いを示した数値である。「マイクエプジグラリング」の場合、「プログラミング」とは「プ」「グ」「ラ」「ン」「グ」の５字が一致し、一致スコアが値１０、一致率が１０／７＝１．４となり、「エンジニアリング」とは「エ」「ジ」「リ」「ン」「グ」の５字が一致し、一致スコアがやはり値１０、一致率が１０／８＝１．２５となる。従って「プログラミング」が採用される。
【００３９】
この場合は図１０に示された特徴語検出処理のフローチャートは図１３に示すように変更される。まず、ステップＳ１３−１からステップＳ１３−７までは、図１０のステップＳ１０−１からＳ１０−７と同じ処理である。ステップＳ１３−７で未知語部分から重要語が検出され、一致重要語リストに登録されるが、その後、ステップＳ１３−８に進み、一致重要語リストの矛盾がチェックされる。ここで、先ほどのような２通りに一致がとれる重要語を検出し、そのようなものに対してはステップＳ１３−９において、一致率の高いものを残し、他を削除する処理を行う。その後、ステップＳ１３−１０において次の未知語を取得し、ステップＳ１３−６にループする。
【００４０】
このように構成することで、矛盾した重要語を排除できるので、本来含める必要の無い語が重要語として検出され文書特徴に含められる誤りを避けることができる。
【００４１】
また、上述の実施形態においては、類似文字の一致スコアを一律に完全一致の半分としていたが、これを文字ペアごとに変更するように構成した実施形態も考えられる。
【００４２】
この形態においては、図６で示した類似度データベースの構成は、図１４で示すように変更される。ここで、類似文字のあと、「／」に引き続く数値は文字の類似度を示す。
【００４３】
このように構成すると、一致スコアの算出は図１５のように変更される。すなわち、各スコアはｋ番目の文字の一致が、不一致のとき０、完全に一致するとき１、類似度ＤＢを参照して一致したとき類似度ＤＢに示す類似度、とする。
【００４４】
このようにすることで、各文字パターンの類似度を一致スコアに反映することができる。
【００４５】
上記以外にも、本発明の趣旨を逸脱しない限りにおいて、構成を適宜変更することが可能である。
【００４６】
上述の実施形態においては、重要語の検出はまず形態素解析をかけて、その解析不能な未知語の部分のみを特徴語検出処理にかけていたが、このような形態素解析をかけずに、すべてを未知語と考えて特徴語検出処理にかけ、重要語を検出するよう構成することもできる。この場合、形態素解析をかける負荷が軽減され、形態素解析辞書のメモリ使用量、形態素解析の時間的負荷を軽減することができる。
【００４７】
また、上述の実施形態においては、特徴語検出手段で、一致スコアや一致率が閾値の条件を満たしている場合にはすべて重要語として一致重要語リストに登録していたが、一致スコアや一致率が上位の任意数の語を重要語として採用する構成にしても良い。
【００４８】
また、上述の実施形態においては、重要語保持手段は予め提供されるものであるかのように説明しているが、ユーザが編集可能な辞書、あるいはユーザの保有する別の電子的に作成された（解析エラーの発生しない）基準文書から自動的に生成するようにしても良い。あるいはユーザが普段アクセスするＷＷＷページから収集するようにしてもよい。このように構成すると重要語保持手段を作成するというユーザの負荷を軽減することができる。
【００４９】
また、上述の実施形態においては、文字認識された文書から重要語を検出するよう構成しているが、電子文書の場合でもタイプミスなどによる誤りが含まれる可能性があるため、電子文書から重要語を検出する目的に適用するよう構成することもできる。
【００５０】
また、上述の実施形態においては、文字認識された文書から重要語を検出するよう構成しているが、音声認識されたテキストから重要語を検出する目的に適用するよう構成することもできる。この場合、音声情報からその内容的特徴を検出し処理することができるようになる。
【００５１】
また、上述の実施形態においては、検出された重要語を、文書検索（キーワード検索、概念検索）に適用するよう構成したが、要約、分類に適用させることもできる。要約の場合は、キーワードに基づく要約技術がこれまでに多数提案されており、その処理に結びつけるだけである。分類の場合も、文書から特徴語を検出し、それらの特徴語の構成するベクトル空間から類似性を判断し分類処理を行う技術が多数提案されており、それらと結合すれば、分類処理に適用することができる。
【００５２】
また、上述の実施形態においては、重要語保持手段は重要語のみを保持する場合について説明したが、本発明はこれに限定されるものではなく、重要語とともに、その重要語にＯＣＲをかけた時に誤認識されやすい語を保持しておくように構成することもできる。例えば「超写真画質」とともに「超写真白質」を誤認識候補として保持しておくのである。このように構成しておけば、一致度算出手段では上述の実施形態のように一致の度合を算出するのではなく、文書内の語と重要語保持手段が保持する語とを比較し、誤認識候補と一致した場合は、その誤認識候補に対応する重要語を、その文書の特徴語として抽出する構成をとることができる。重要語保持手段が保持する重要語の量が少ない場合などはこのように構成した方が上述した実施形態よりも高速に処理できる場合もあるため、文書特徴検出装置をこのように構成しても良い。
【図面の簡単な説明】
【００５３】
【図１】本実施例の文書特徴検出装置の全体構成を示すブロック図である。
【図２】本実施例の文書特徴検出装置における重要語保持手段の構成を示した図である。
【図３】本実施例の文書特徴検出装置における文書データベースに格納されるスキャン文書とＯＣＲ文書の内容を説明した図である。
【図４】本実施例の文書特徴検出装置における検索索引の構成を示した図である。
【図５】本実施例の文書特徴検出装置における一致重要語リストの構成を示した図である。
【図６】本実施例の文書特徴検出装置における類似度データベースの構成を示した図である。
【図７】本実施例の文書特徴検出装置における一致スコアと一致率の算出式を示した図である。
【図８】本実施例の文書特徴検出装置全体の処理手順の一例を示すフローチャートである。
【図９】検索索引登録処理の処理手順の一例を示すフローチャートである。
【図１０】特徴語検出処理の処理手順の一例を示すフローチャートである。
【図１１】一致度算出処理の処理手順の一例を示すフローチャートである。
【図１２】検索実行処理の処理手順の一例を示すフローチャートである。
【図１３】特徴語検出処理の処理手順の他の例を示すフローチャートである。
【図１４】各文字間の類似度情報を記憶した場合の類似度データベースの構成例を示した図である。
【図１５】本実施例の文書特徴検出装置における類似度を考慮した一致スコアの算出式を示した図である。
【図１】
2005189953.tif 000003
【図２】
2005189953.tif 000004
【図３】
2005189953.tif 000005
【図４】
2005189953.tif 000006
【図５】
2005189953.tif 000007
【図６】
2005189953.tif 000008
【図７】
2005189953.tif 000009
【図８】
2005189953.tif 000010
【図９】
2005189953.tif 000011
【図１０】
2005189953.tif 000012
【図１１】
2005189953.tif 000013
【図１２】
2005189953.tif 000014
【図１３】
2005189953.tif 000015
【図１４】
2005189953.tif 000016
【図１５】
2005189953.tif 000017