(57)【特許請求の範囲】
【請求項１】
文書ファイルを、文書ファイルの文字がドットの集合として複数のドットにより印刷されたドット文字によるイメージでプリントアウトする出力ステップと、
前記出力ステップにより出力された文書に修正記号が記入された修正入力文書をイメージ入力する入力ステップと、
前記入力ステップにより入力された修正入力文書中、修正記号が記入された文字の位置を検出する文字位置検出ステップと、
前記入力ステップにより入力された修正入力文書について、各画素の収縮処理を実行して、前記ドット文字を消去することにより修正記号を抽出し、又は、画素の連結成分を求め、求められた連結成分の画素数に基づき修正記号を抽出し、抽出された修正記号を認識する修正認識ステップと、
前記文字位置検出ステップにより検出された文字の位置と、前記修正認識ステップにより認識された修正記号とを対応付ける対応付けステップと、
前記対応付けステップの対応付けに従い、前記修正認識ステップにより認識された修正記号に対応する修正処理により、該当する文字を修正する修正ステップと、
を含む文書処理方法。
【請求項２】
前記修正認識ステップは、
白画素に隣接する黒画素をエッジとして、そのエッジを元の画像から除去する収縮ステップを備えたことを特徴とする請求項１に記載の文書処理方法。
【請求項３】
前記文字位置検出ステップは、
入力文書のエッジ画像について、横方向及び縦方向のそれぞれに画素数を積算することにより、文字の位置を検出するようにしたことを特徴とする請求項１に記載の文書処理方法。
【請求項４】
前記修正ステップは、単語認識処理、結合処理、分割処理のいずれか又は複数をさらに実行することを特徴とする請求項１に記載の文書処理方法。
【請求項５】
文書ファイルを、文書ファイルの文字がドットの集合として複数のドットにより印刷されたドット文字によるイメージでプリントアウトする出力ステップと、
前記出力ステップにより出力された文書に修正記号が記入された修正入力文書をイメージ入力する入力ステップと、
前記入力ステップにより入力された修正入力文書中、修正記号が記入された文字の位置を検出する文字位置検出ステップと、
前記入力ステップにより入力された修正入力文書について、各画素の収縮処理を実行して、前記ドット文字を消去することにより修正記号を抽出し、又は、画素の連結成分を求め、求められた連結成分の画素数に基づき修正記号を抽出し、抽出された修正記号を認識する修正認識ステップと、
前記文字位置検出ステップにより検出された文字の位置と、前記修正認識ステップにより認識された修正記号とを対応付ける対応付けステップと、
前記対応付けステップの対応付けに従い、前記修正認識ステップにより認識された修正記号に対応する修正処理により、該当する文字を修正する修正ステップと、
をコンピュータに実行させるための文書処理プログラムを記録した記録媒体。
【請求項６】
文書読み取り認識結果を記憶する文書ファイル記憶手段と、
前記文書ファイル記憶手段に記憶された文書ファイルを、文書ファイルの文字がドットの集合として複数のドットにより印刷されたドット文字によるイメージでプリントアウトする出力手段と、
前記出力手段により出力された文書に修正記号が記入された修正入力文書をイメージ入力する入力手段と、
前記入力手段により入力された修正入力文書中、修正記号が記入された文字の位置を検出する文字位置検出手段と、
前記入力手段により入力された修正入力文書について、各画素の収縮処理を実行して、前記ドット文字を消去することにより修正記号を抽出し、又は、画素の連結成分を求め、求められた連結成分の画素数に基づき修正記号を抽出し、抽出された修正記号を認識する修正認識手段と、
前記文字位置検出手段により検出された文字の位置と、前記修正認識手段により認識された修正記号とを対応付ける対応付け手段と、
前記対応付け手段の対応付けに従い、前記修正認識手段により認識された修正記号に対応する修正処理により、該当する文字を修正する修正手段と、
を備えた文書処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書処理方法、文書処理プログラムを記録した記録媒体及び文書処理装置に係る。本発明は、特に、オフィス等で利用される情報機器分野に利用可能で、認識された文字の修正を簡単に行うことのできる文書処理方法、文書処理プログラムを記録した記録媒体及び文書処理装置に関する。
【０００２】
【従来の技術】
一般に、文字処理装置においては、記入された文字の切り出しや、文書上の位置（行及び文字位置）の検出が、技術的に重要である。そして、文書の修正等のために活字文書上に黒色の鉛筆などで修正文字が記入された場合、その文書から記入された文字などを切り出すことが必要であった。
【０００３】
そこで、従来は、イメージリーダが感知しないカラーインクを用いて文書をプリントアウトすることにより、活字と記入された修正文字とを分離するようにしていた。
図１３は、従来の文書処理装置の構成図を示す。この文書処理装置は、文書ファイル１０１、プリントアウト手段１０２、光電変換装置１０５、電子データ蓄積手段１０６、活字位置検出手段１０７、文字切り出し手段１０８、認識手段１０９、対応付け手段１１０、文書処理手段１１１を備える。
【０００４】
図１４は、従来の文書処理に関する説明図である。
文書ファイル１０１の内容をカラーインクを用いてプリントアウト手段１０２により出力し、プリントアウト１０３を得る。例えば、修正入力１１４において、認識された文書１１４ａカラーインクで印字されており、文字位置を示すマーク１１４ｂ、行位置を示すマーク１１４ｃは、ともに黒で印字されている。この修正入力１１４に、修正記号及び文字１１４ｄが記入される。このプリントアウト１０３に修正記号を記入された修正文書１１４は、カラーインクを感知しない光電変換手段１０５によって光電変換の結果１１５を得て、電子データ蓄積手段１０６に蓄積される。次に、活字位置検出手段１０７において、光電変換の結果１１５に基づき、文字位置を示すマーク１１５ｂと、行位置を示すマーク１１５ｃより、活字文字が記入されている電子データ上の位置を検出する。一方、文字切り出し手段１０８では、同じ光電変換の結果１１５に基づき、記入された修正記号及び文字１１５ｄを検出し、電子データ上の位置を求めるとともに、認識手段１０９によってこれを認識する。
【０００５】
対応付け手段１１０では、活字位置検出手段１０７の結果と、文字切り出し手段１０８の結果に基づき、記入された文字が、何行目の何文字目の修正であるかを対応付け、文書修正手段１１１は、電子ファイル１０１を修正する。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来においては、プリントアウトのためにカラープリンターが必要であり、かつ、使用する色は、光電変換手段で感知しない色を選ぶ必要があった。また、従来では、機種によって必ずしも、感知しない色が一定でないことから、文書上の位置の検出が困難な場合があった。また、従来は、行及び文字位置の検出のため、マークを同時に出力する必要があり、特殊な出力フォーマットを作成する必要があった。
【０００７】
本発明は、以上の点に鑑み、プリントアウトをカラーインクでなく、ドット文字又はグレーカラーにして出力し、この文書からグレーカラーを消去して記入文字のみを取り出すようにした文書処理方法、文書処理プログラムを記録した記録媒体及び装置を提供することを目的とする。また、本発明は、修正のための文字が記入されている文書から、記入された文字等を切り出し、その文字等がどの活字の上に記入されているかを判断することにより、誤って認識された文書を修正することを目的とする。本発明は、グレイカラーの文を用いて修正処理を可能とするので、一般のイメージリーダ、ＦＡＸ、スキャナ等で文書入力することを可能とし、また、白黒のプリンターで出力することを可能とすることを目的とする。さらに、本発明は、行及び文字位置マークの必要をなくして、プリントアウト時に特殊な文書出力処理を不要とすることを目的とする。
【０００８】
【課題を解決するための手段】
本発明の第１の解決手段によると、
文書ファイルを、文書ファイルの文字がドットの集合として複数のドットにより印刷されたドット文字によるイメージでプリントアウトする出力ステップと、
前記出力ステップにより出力された文書に修正記号が記入された修正入力文書をイメージ入力する入力ステップと、
前記入力ステップにより入力された修正入力文書中、修正記号が記入された文字の位置を検出する文字位置検出ステップと、
前記入力ステップにより入力された修正入力文書について、各画素の収縮処理を実行して、前記ドット文字を消去することにより修正記号を抽出し、又は、画素の連結成分を求め、求められた連結成分の画素数に基づき修正記号を抽出し、抽出された修正記号を認識する修正認識ステップと、
前記文字位置検出ステップにより検出された文字の位置と、前記修正認識ステップにより認識された修正記号とを対応付ける対応付けステップと、
前記対応付けステップの対応付けに従い、前記修正認識ステップにより認識された修正記号に対応する修正処理により、該当する文字を修正する修正ステップと、
を含む文書入力方法、及び、各ステップをコンピュータに実行させるための文書処理プログラムを記録した記録媒体が提供される。
【０００９】
本発明の第２の解決手段によると、
文書読み取り認識結果を記憶する文書ファイル記憶手段と、
前記文書ファイル記憶手段に記憶された文書ファイルを、文書ファイルの文字がドットの集合として複数のドットにより印刷されたドット文字によるイメージでプリントアウトする出力手段と、
前記出力手段により出力された文書に修正記号が記入された修正入力文書をイメージ入力する入力手段と、
前記入力手段により入力された修正入力文書中、修正記号が記入された文字の位置を検出する文字位置検出手段と、
前記入力手段により入力された修正入力文書について、各画素の収縮処理を実行して、前記ドット文字を消去することにより修正記号を抽出し、又は、画素の連結成分を求め、求められた連結成分の画素数に基づき修正記号を抽出し、抽出された修正記号を認識する修正認識手段と、
前記文字位置検出手段により検出された文字の位置と、前記修正認識手段により認識された修正記号とを対応付ける対応付け手段と、
前記対応付け手段の対応付けに従い、前記修正認識手段により認識された修正記号に対応する修正処理により、該当する文字を修正する修正手段と、
を備えた文書処理装置が提供される。
【００１０】
【発明の実施の形態】
図１に、本発明に係る文書処理装置の構成図を示す。図２に、本発明に係る文書処理方法のフローチャートを示す。また、図３に、文書処理に関する説明図を示す。
【００１１】
この文書処理装置は、文書ファイル記憶手段１、出力手段２、光電変換手段５、電子データ蓄積手段６、文字位置検出手段７、修正認識手段８、文字認識手段９、対応付け手段１０、修正手段１１を備える。
【００１２】
まず、光電変換手段５は、認識の対象となる文書を読み取り、電子データ化する。電子データ蓄積手段６は、光電変換手段５により読み取られた電子データを記憶する。文字認識手段９は、蓄積された文書を認識する。文書ファイル記憶手段１は、文書を読み取り、認識結果を記憶する。
【００１３】
つぎに、出力手段２は、文書ファイル記憶手段１に記憶された文書ファイルをドット文字イメージでプリントアウト３を出力する（Ｓ１０１）。操作者は、このプリントアウト３上に修正のための記号、また、必要に応じて文字を記入し、修正入力文書１４を作成する（Ｓ１０３）。さらに、光電変換手段５により、修正入力文書１４がイメージ入力され、電子データ化され電子データ蓄積手段６に蓄積される（Ｓ１０５）。
なお、ドット文字は、従来ドットプリンタで印字された文字の意味で主に用いられた経緯があるが、プリンタの方式に限らず、後述の図４（文書イメージ入力４１）、図５（文書イメージ入力５１）、図６（入力画像６１）、図７及びそれらの説明箇所等に記載されるように、印刷された結果が互いに接しない独立した黒領域（点や線分）の集合として印字された文字を指す。ドット文字を用いることにより、人間にはグレーに見えるため書き込みに違和感はなく、読み取り装置にとっては、ある一定値サイズ以下の黒画素連結領域（周りを白画素で囲まれた接続する黒画素集合）の集まりとして取り込まれるため、それらの収縮・膨張、あるいは、連結黒画素数によるしきい値処理等の画像処理技術などによって、上書きされた手書きを切り出すときは元の文書を除去し、本等の文書の文字位置を求める時には上書きされた手書きを除去するなどが容易に行える。
【００１４】
文字位置検出手段７は、出力手段２により出力された文書中で、修正記号が記入された文字の位置を検出する（Ｓ１０７）。文字位置検出手段７は、活字がドットで印字されていることに注目して、電子化された文書画像から行及び文字位置を検出する。詳細は後述する。一方、修正認識手段８は、修正入力文書１４に記入された修正記号や文字を、認識する（Ｓ１１１）。なお、修正すべき正しい文字は、例えば、文字認識手段９等により、認識することもできる。
【００１５】
対応付け手段１０は、文字位置検出手段７により検出された文字の位置と、修正認識手段８により認識された修正記号とを対応付け、修正対象文字を特定する。（Ｓ１１３）。すなわち、記入された修正記号や文字が、出力された文字のどこに対応するのかを対応付ける。このようにして、記号検出・認識結果１５が得られる。
【００１６】
修正手段１１は、対応付け手段１０の対応付けに従い、該当する文字を修正記号に対応する修正処理により修正する（Ｓ１１５）。修正手段１１は、修正認識手段８により認識された修正記号に従い文書ファイル記憶手段１に記憶された文書ファイルを修正する。ここでは、図３中、斜線による指示は、例えば、対応する活字をその上に記入された文字と置き換える記号を表すので、修正手段１１は、このような記入文字に対応して、「埋」を「理」に修正する処理を、文書ファイル記憶手段１に対して行う。ここでは、文字認識手段９又は修正認識手段８等により、修正すべき正しい文字として「理」が認識される。
【００１７】
修正手段１１は、この他にも、例えば、単語認識処理、結合処理、分割処理を実行し、文書ファイルを修正することができる。この点については、後述する。出力手段２は、修正された文書ファイルを文書ファイル記憶手段１から読み出し、修正結果１６を出力する（Ｓ１１７）。この際、プリントアウトに限らずディスプレイ上に出力して確認しても良い。
【００１８】
図４に、プリントアウト文字位置検出の説明図を示す。
文字位置検出手段７は、入力文書のエッジ画像について、横方向及び縦方向のそれぞれに画素数を積算することにより、文字の位置を検出するようにする。具体的には、例えば、まず輪郭画像を作成して、これを強調し、この輪郭画像上で、水平方向に黒画素数を数えて行位置を検出し、次に各行毎に垂直方向に黒画素数を計数することにより文字位置を検出する。
【００１９】
この例では、文字位置検出手段７による、第１行目「本論文では」及び第２行目「取り装置の」とプリントアウトされた文字の位置検出について説明する。まず、修正記号を記入済みの文字イメージ４１が入力される。この文字イメージに基づき、各画素の輪郭を検出を行い、輪郭画像４２を求める。さらに、検出された輪郭画素４２について、横方向に画素を積算又は加算して横方向周辺分布４３を求める。この横方向分布により行の位置を検出することができる。つぎに、求められた各行について、同様に、検出された輪郭画素４４を切り出し、これについて縦方向に画素を積算又は加算して縦方向周辺分布４５を求める。この縦方向周辺分布４５により各行の文字の位置（横方向位置）を求めることができる。以上のように、ある文字について、行と列が特定され文字位置検出画像４６が得られる。この様に、修正記号が太く記入された場合でも、輪郭しか残らないため、輪郭を検出しない場合に比べ、記入された修正記号の影響を軽減することができる。
【００２０】
図５に、修正記号の認識の説明図を示す。
修正認識手段８は、修正記号の抽出（記入文字の検出）において、修正入力文書１４から、画素の連結成分を求め、求められた連結成分の画素数に基づき、あらかじめ決められた大きさ以下の黒連結成分を除くことにより、修正記号のみを残し、残された修正記号の各々を切り出す。修正認識手段８は、修正記号を切り出す際、例えば、白画素に隣接する黒画素をエッジとして、そのエッジを元の画像から除去する収縮処理を備える。
【００２１】
この例では、「取り装置の」とプリントアウトされた文字の「装」に記入された修正記号について説明する。まず、修正記号が記入済みの文字イメージ５１が入力される。つぎに、文字イメージ５１に基づき、各画素を収縮処理した収縮画像５２に変換する。
【００２２】
図６に、収縮処理の説明図を示す。また、図７に、エッジ画像の説明図を示す。
例えば、入力画像６１に対し、各画素のエッジを抽出したものが、図７のエッジ画像７１である。すなわち、エッジとは白画素に隣接する黒画素を抽出したものである。なお、２重、３重等のエッジを抽出してもよい。エッジ画像７１を除去すると、第１の収縮画像６２となる。さらに、第１の収縮画像６２について、そのエッジ画像を求めてこれを除去したものが、第２の収縮画像６３である。
【００２３】
この収縮処理を適宜の回数実行して、ドット文字を消去することにより、修正記号を抽出した修正記号抽出画像５３を得る。ドット文字を消去する方法としては、例えば、黒画素が連結した部分である連結成分を求めて、各連結成分の黒画素数を求める。さらに、この黒画素数が予め決められた閾値以上である連結成分を残すことにより修正記号を抽出することもできる。つぎに、修正認識手段８は、修正記号を切り出し、どのような修正指示を行うための修正記号かを認識することで修正記号認識結果５４が得られる。
【００２４】
以上の説明では、修正記号及び文字について説明したが、本発明は、様々な修正を指示するための修正記号を抽出することもできる。そこで、つぎに、修正認識手段８、対応付け手段１０、修正手段１１等による修正処理、単語処理、結合処理、分割処理について説明する。
【００２５】
図８に、修正のための各種処理に関する説明図を示す。また、図９に、修正のための各種処理のフローチャートを示す。
【００２６】
出力手段４は、認識結果を出力する（Ｓ２０７）。ここで、認識出力８１１が出力されたとする。この出力は、ドット文字で出力されているものとする。
紙出力の場合は、操作者は、十分な認識がなされていない文字・文書に修正内容の指示を行う（Ｓ２１１）。ここでの修正内容の指示は、例えば、記号文字が記入された修正入力１２の中の、第１記号８１２ａ、第２記号８１２ｂ、第３記号８１２ｃの修正記号で行われる。この修正記号の例において、第１記号８１２ａ、第２記号８１２ｂ、第３記号８１２ｃはそれぞれ、単語処理、文字パターンの結合、文字パターンの分離処理を指示する記号である。
【００２７】
修正認識手段６は、記入された修正記号を切り出す（Ｓ２１３）。ここで、修正文字が１文字を修正する修正処理と認識された場合は、上述のような修正処理が実行される（Ｓ２１５）。
また、切り出された修正文字が、単語処理と認識された場合は、認識候補文字において、この記号に対応する文字の組で候補文字の組み合わせから単語としてもっとも可能性の高い組み合わせを求める単語処理を行う（Ｓ２１７）。
【００２８】
図１０に、単語処理の説明図を示す。一般に文字認識は、個々の文字パターンごとに認識して、認識候補文字の一番目を認識結果として出力する。これを単語として例えば２文字の組み合わせで判断した場合、１文字目と２文字目の組み合わせのうち、単語として成り立つものの制限があることから、誤認識が少なくなる。例えば、１文字目を認識した結果、４つの文字が認識候補として判断されたとする。即ち、第１候補「持」、第２候補「特」、第３候補「侍」、第４候補「稼」である。また、２文字目を認識した結果、３つの文字が認識候補として判断されたとする。即ち、第１候補「微」、第２候補「徴」、第３候補「働」である。１文字毎の認識結果では、各々第１候補の「特」及び「微」が選択された。しかし、単語処理では、これら２文字を単語として認識するように指示されたため、各文字の各候補の組合わせを検討する。例えば、第２候補「特」及び第２候補「徴」との組合わせが候補の優先順位の和４（２＋２）であり、また、第４候補「稼」及び第３候補「働」との組合わせが候補の優先順位の和７（４＋３）であることが、判断される。したがって、単語処理結果として、優先順位が高い順に（即ち、優先順位の和が小さい順に）、第１候補「特徴」及び第２候補「稼働」が認識候補として判断される。ここでは、第１候補の「特徴」が、単語処理の結果として認識される。
【００２９】
また、文字パターンの結合処理と認識された場合は、対応する複数の文字パターンをあわせ、ひとつの文字として認識する結合処理を実行する（Ｓ２１９）。図１１に、結合処理の説明図を示す。結合処理は、修正記号により指示された２個以上の文字に対応する文字パターンを、ひとつの文字パターンとして再度認識する。ここでは、認識結果の「Ｔ」と「由」とを結合する指示がなされたため、再度の認識の結果、「抽」が認識された。
【００３０】
文字パターンの分離処理と認識された場合は、対応する文字パターンについて、再度文字切り出しから行う分離処理が実行される（Ｓ２１７）。
図１２に、分離処理の説明図を示す。分離処理は、修正記号により指示された文字に対応する文字パターンを、２つの文字パターンとして切り出して再度認識する。ここでは、認識結果の「和」を分離する指示がなされたため、再度の認識の結果、「ｆ」と「ｅ」とが認識された。
【００３１】
修正手段８は、各処理に応じて文書ファイル記憶手段３を修正し（Ｓ２２３）、修正結果８１３を出力する（Ｓ２２５）。ここで、満足する結果が得られない場合（Ｓ２２９）は、さらに、ステップＳ２１１に戻って処理を繰り返す。十分に修正が行われたら、処理を終了する。
【００３２】
なお、本発明において、グレイカラーは、ドットに限らず、ベタの黒でなければ、輪郭のフォント、あるいは斜線で構成されるフォントであってもよい。また、文字位置検出、記入文字位置検出、認識等は、同様の効果があれば、方法はこれに限らない。また、文書を修正する記号は一例を示したが、修正記号はこれに限らない。また、文字位置検出方法は、連続した活字を検出して行を検出するようにした方法や、行間・文字間の空間を検出して行・列を検出する方法等、適宜の方法で行又は文字位置を検出するようにしても良い。また、文書ファイルの移動等、各処理間の入出力については、インターネット等の通信を用いても良い。
【００３３】
【発明の効果】
本発明によると、以上のように、プリントアウトをカラーインクでなく、ドット文字又はグレーカラーにして出力し、この文書からグレーカラーを消去して記入文字のみを取り出すようにした文書処理方法、文書処理プログラムを記録した記録媒体及び装置を提供することができる。また、本発明によると、修正のための文字が記入されている文書から、記入された文字等を切り出し、その文字等がどの活字の上に記入されているかを判断することにより、誤って認識された文書を修正することができる。本発明によると、グレイカラーの文を用いて修正処理を可能とするので、一般のイメージリーダ、ＦＡＸ、スキャナ等で文書入力することを可能とし、また、白黒のプリンターで出力することを可能とする。さらに、本発明によると、行及び文字位置マークの必要をなくして、プリントアウト時に特殊な文書出力処理を不要とすることができる。
【図面の簡単な説明】
【図１】本発明に係る文書処理装置の構成図。
【図２】本発明に係る文書処理方法のフローチャート。
【図３】文書処理に関する説明図。
【図４】プリントアウト文字位置検出の説明図。
【図５】修正記号の認識の説明図。
【図６】収縮処理の説明図。
【図７】エッジ画像の説明図。
【図８】修正のための各種処理に関する説明図。
【図９】修正のための各種処理のフローチャート。
【図１０】単語処理の説明図。
【図１１】結合処理の説明図。
【図１２】分離処理の説明図。
【図１３】従来の文書処理装置の構成図。
【図１４】従来の文書処理に関する説明図。
【符号の説明】
１    文書ファイル記憶手段
２    出力手段
５    光電変換手段
６    電子データ蓄積手段
７    文字位置検出手段
８    修正認識手段
９    文字認識手段
１０  対応付け手段
１１  修正手段
【図１】
0003954246.tif 000002
【図２】
0003954246.tif 000003
【図３】
0003954246.tif 000004
【図４】
0003954246.tif 000005
【図５】
0003954246.tif 000006
【図６】
0003954246.tif 000007
【図７】
0003954246.tif 000008
【図８】
0003954246.tif 000009
【図９】
0003954246.tif 000010
【図１０】
0003954246.tif 000011
【図１１】
0003954246.tif 000012
【図１２】
0003954246.tif 000013
【図１３】
0003954246.tif 000014
【図１４】
0003954246.tif 000015