(57)【要約】【課題】媒体上に記入された手書き文字の電子化にあたり、その手書き文字の大きさに因らずに、当該手書き文字についての読み易さや認識精度等を向上させる。【解決手段】文字記入領域を有した媒体についての画像データを取得する取得手段１０と、前記取得手段１０が取得した画像データから前記文字記入領域に記入された文字画像データを抽出する抽出手段１２と、前記抽出手段１２が抽出した文字画像データに基づいて前記文字記入領域に記入された文字サイズを認識する認識手段１３と、前記認識手段１３が認識した文字サイズを所定サイズに合わせるように前記文字画像データに対する拡大または縮小を行う正規化手段１４と、を備えて画像処理装置２を構成する。【選択図】図１
2009230471.tif 000002
【特許請求の範囲】
【請求項１】
文字記入領域を有した媒体についての画像データを取得する取得手段と、
前記取得手段が取得した画像データから前記文字記入領域に記入された文字画像データを抽出する抽出手段と、
前記抽出手段が抽出した文字画像データに基づいて前記文字記入領域に記入された文字サイズを認識する認識手段と、
前記認識手段が認識した文字サイズを所定サイズに合わせるように前記文字画像データに対する拡大または縮小を行う正規化手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記取得手段が取得した画像データに基づいて前記文字記入領域からはみ出して記入された文字の有無を判断する判断手段と、
前記判断手段がはみ出し記入文字有りと判断すると、前記正規化手段による拡大後または縮小後の文字画像データに、当該文字画像データを得る元になった画像データを添付する連結手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記取得手段が取得した画像データに基づいて前記文字記入領域からはみ出して記入された文字の有無を判断する判断手段と、
前記判断手段がはみ出し記入文字有りと判断すると、当該はみ出し記入文字の記入箇所を含む新たな記入領域を設定し、当該新たな記入領域に記入された文字画像データを抽出する再抽出手段と、
前記再抽出手段が抽出した文字画像データを、前記抽出手段が抽出した文字画像データに加え、または前記抽出手段が抽出した文字画像データと置き換えて、前記正規化手段による拡大または縮小の対象とする連結手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記取得手段が取得した画像データに基づいて前記文字記入領域からはみ出して記入された線分を認識する線分認識手段を備えるとともに、
前記連結手段は、前記線分認識手段での線分の認識結果を用いて、前記抽出手段が抽出した文字画像データと前記再抽出手段が抽出した文字画像データとの関連付けを行う
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
コンピュータを、
文字記入領域を有した媒体についての画像データを取得する取得手段と、
前記取得手段が取得した画像データから前記文字記入領域に記入された文字画像データを抽出する抽出手段と、
前記抽出手段が抽出した文字画像データに基づいて前記文字記入領域に記入された文字サイズを認識する認識手段と、
前記認識手段が認識した文字サイズを所定サイズに合わせるように前記文字画像データに対する拡大または縮小を行う正規化手段
として機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
アンケート記入用紙や業務日報記入用紙等のように、手書き文字の記入を前提とした単票状の媒体、すなわち文字記入領域を有した媒体は、依然として多く利用されている。そして、このような媒体については、その電子化にあたり、文字記入領域毎に当該文字記入領域に記入された手書き文字についての画像データが切り出され、その切り出された画像データまたは当該画像データに基づく文字認識結果であるテキスト情報が、保存または利用等されることが一般的である。
ところで、文字記入領域を有した媒体上において、当該文字記入領域は、そこに書き込まれるであろう文字数の推定結果に基づいて大きさが決定されている。そのため、当該推定結果を超える文字数を記入する場合に、記入者は文字記入領域に収まるように小さな文字での記入を行う、といったことが起こり得る。つまり、文字記入領域毎に、記入された文字の大きさが異なる、といったことが考えられる。
この点については、ディスプレイ表示の際にカーソルが指示している手書き文字画像を拡大したり（例えば、特許文献１参照。）、選択された記入項目を拡大することが提案されている（例えば、特許文献２参照。）。また、タブレットを用いて手書き文字を入力する場合に、タブレットのストロークの相対的な位置関係により文字間隔の変動を修正することや（例えば、特許文献３参照。）、識別したい文書の画像が予め保存されている文書書式データと相似であるか否かを判断し、相似であれば拡大または縮小による文書書式の補正を行うことも提案されている（例えば、特許文献４参照。）。
【０００３】
【特許文献１】特開平５−２４２２１８号公報
【特許文献２】特開２００２−６３３７５号公報
【特許文献３】特開平９−２７０１２号公報
【特許文献４】特開２００２−１７００７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
文字記入領域毎に文字の大きさが異なる場合には、例えば小さな文字での記入内容が潰れて読み取ることができなかったり、誤認識を招いたりするおそれがある。
その場合には、上記特許文献１，２に開示されているように、小さな文字での記入内容を指定または選択して拡大することも考えられる。しかしながら、指定または選択というオペレータによる操作を必要とするため、利用者にとっては不便なものとなり、また当該操作の分だけ処理の迅速さが損なわれることが考えられる。
また、上記特許文献３に開示されている技術は、タブレット入力を前提とするため、媒体からの画像読み取りによって得られた画像データ（すなわち、スキャン画像）に、そのまま適用できるものではない。さらに、上記特許文献４に開示されている技術は、拡大または縮小による文書書式の補正を行うもので、文字記入領域内に記述された内容、さらに具体的には手書き文字の大きさに応じて、画像データの拡大または縮小を行うものではない。
【０００５】
そこで、本発明は、媒体上に記入された手書き文字の電子化にあたり、その手書き文字の大きさに因らずに当該手書き文字についての読み易さや認識精度等を向上させることができ、しかもその場合であっても利用者にとっての利便性を確保することが可能な画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に係る発明は、文字記入領域を有した媒体についての画像データを取得する取得手段と、前記取得手段が取得した画像データから前記文字記入領域に記入された文字画像データを抽出する抽出手段と、前記抽出手段が抽出した文字画像データに基づいて前記文字記入領域に記入された文字サイズを認識する認識手段と、前記認識手段が認識した文字サイズを所定サイズに合わせるように前記文字画像データに対する拡大または縮小を行う正規化手段とを備えることを特徴とする画像処理装置である。
請求項２に係る発明は、前記取得手段が取得した画像データに基づいて前記文字記入領域からはみ出して記入された文字の有無を判断する判断手段と、前記判断手段がはみ出し記入文字有りと判断すると、前記正規化手段による拡大後または縮小後の文字画像データに、当該文字画像データを得る元になった画像データを添付する連結手段とを備えることを特徴とする請求項１記載の画像処理装置である。
請求項３に係る発明は、前記取得手段が取得した画像データに基づいて前記文字記入領域からはみ出して記入された文字の有無を判断する判断手段と、前記判断手段がはみ出し記入文字有りと判断すると、当該はみ出し記入文字の記入箇所を含む新たな記入領域を設定し、当該新たな記入領域に記入された文字画像データを抽出する再抽出手段と、前記再抽出手段が抽出した文字画像データを、前記抽出手段が抽出した文字画像データに加え、または前記抽出手段が抽出した文字画像データと置き換えて、前記正規化手段による拡大または縮小の対象とする連結手段とを備えることを特徴とする請求項１記載の画像処理装置である。
請求項４に係る発明は、前記取得手段が取得した画像データに基づいて前記文字記入領域からはみ出して記入された線分を認識する線分認識手段を備えるとともに、前記連結手段は、前記線分認識手段での線分の認識結果を用いて、前記抽出手段が抽出した文字画像データと前記再抽出手段が抽出した文字画像データとの関連付けを行うことを特徴とする請求項３記載の画像処理装置である。
請求項５に係る発明は、コンピュータを、文字記入領域を有した媒体についての画像データを取得する取得手段と、前記取得手段が取得した画像データから前記文字記入領域に記入された文字画像データを抽出する抽出手段と、前記抽出手段が抽出した文字画像データに基づいて前記文字記入領域に記入された文字サイズを認識する認識手段と、前記認識手段が認識した文字サイズを所定サイズに合わせるように前記文字画像データに対する拡大または縮小を行う正規化手段として機能させることを特徴とする画像処理プログラムである。
【発明の効果】
【０００７】
請求項１，５に係る発明では、文字記入領域に記入された文字サイズに因らずに、当該文字サイズが所定サイズに正規化されることになる。したがって、正規化後における文字画像データによれば、例えば小さな文字での記入内容が潰れて読み取ることができなかったり、文字認識を行う際の誤認識を招いたりする、といったことを回避し得るようになる。つまり、文字サイズの正規化により、文字認識の精度向上が図れる。また、文字認識を行わずに、単に文字画像データを表示出力する場合であっても、その出力結果の読み易さや比較のし易さ等を向上させることができる。しかも、文字サイズの正規化のために文字指定や選択等の操作を必要としないので、利用者にとって便利なものとなり、また迅速な処理も実現可能となる。これらのことから、請求項１，５に係る発明によれば、媒体からの画像読み取りによって得られた画像データ（すなわち、スキャン画像）に基づき、当該媒体上における手書き文字の電子化にあたり、当該電子化作業の改善および効率化が実現可能となり、その結果として当該媒体を使用した電子的コミュニケーションの改善に効果を奏することが期待される。
請求項２に係る発明によれば、媒体上における手書き文字の電子化にあたり、当該媒体上の文字記入領域からはみ出して記入された文字があっても、はみ出し記入文字有りと判断されると、文字画像データを得る元になった画像データ、すなわちはみ出し記入文字を含む画像データが添付されるので、当該はみ出し記入文字の電子化にも対応し得るようになる。
請求項３に係る発明によれば、媒体上における手書き文字の電子化にあたり、当該媒体上の文字記入領域からはみ出して記入された文字があっても、はみ出し記入文字有りと判断されると、当該はみ出し記入文字の記入箇所を含む新たな記入領域が設定され、新たな記入領域に記入された文字画像データが連結されるので、当該はみ出し記入文字の電子化にも対応し得るようになる。
請求項４に係る発明によれば、文字記入領域からはみ出して記入された線分の認識結果を用いて、文字記入領域内に記入された文字についての文字画像データと、当該文字記入領域からはみ出して記入された文字についての文字画像データとの関連付けを行うので、例えば当該はみ出して記入された文字が文字記入領域から離れて記入されていても、当該関連付けを正しく行うことができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面に基づき本発明に係る画像処理装置および画像処理プログラムについて説明する。
【０００９】
〔システム構成の説明〕
先ず、はじめに、画像処理装置を含んで構成される画像処理システムの概略構成について説明する。
図１は、本発明に係る画像処理装置を含む画像処理システムの概略構成例を示すブロック図である。
図例の画像処理システムは、媒体上に記入された手書き文字の電子化を行うためのものであり、具体的には画像データベースシステムやアンケート入力システム等といった様々なシステムへの画像入力／文書入力フロントエンドとして動作するものである。
【００１０】
ここで、「媒体」とは、アンケート記入用紙や業務日報記入用紙等のように、手書き文字の記入を前提とした所定書式、すなわち当該手書き文字が記入される文字記入領域を有した媒体のことをいい、具体的には一枚の紙等からなる単票状の媒体が挙げられる。なお、媒体上における文字記入領域は、所定書式に則して予め設定された位置に配されたものであれば、一箇所のみに配されていても、あるいは当該媒体上の複数個所に配されていてもよい。
また、媒体上に記入される「文字」には、文章を構成するものの全てを含み、漢字、ひらがな、カタカナ等の他に、数字、アルファベット、各種記号等も含むものとする。さらには、文章を構成しないものであっても、「〇」や「×」等の記号（単純な図形）については、ここでいう「文字」に含めるようにすることも考えられる。
【００１１】
このような媒体上の手書き文字を電子化するために、画像処理システムは、画像読取装置１と、画像処理装置２と、文字認識装置３と、画像表示装置４と、を備えて構成されている。
画像読取装置１は、媒体に対する画像読み取りを行って、当該媒体についての画像データを得るものである。なお、画像読取装置１では、単票状の媒体の両面について、画像読み取りを行う機能を有しているものとする。
画像処理装置２は、画像読取装置１が得た媒体についての画像データを基に、当該媒体に記入された手書き文字についての画像データ（以下、この画像データを「文字画像データ」という。）を切り出すものである。すなわち、画像処理装置２は、媒体上に記入された手書き文字の電子化を行うものである。
文字認識装置３は、画像処理装置２が切り出した文字画像データについての文字認識を行い、その文字認識結果であるテキスト情報を出力するものである。文字認識の手法については、公知技術を利用して行えばよいため、ここではその詳細な説明を省略する。
画像表示装置４は、画像処理装置２が切り出した文字画像データまたは文字認識装置３での文字認識結果であるテキスト情報について、ディスプレイ画面上への表示出力を行うものである。
なお、画像処理装置２の後段は、文字認識装置３と画像表示装置４との両方ではなく、これらのうちのいずれか一方のみが配設されていてもよい。また、これらに加えて、あるいはこれらに代わって、画像処理装置２が切り出した文字画像データについての処理を行う他装置（例えば、文字画像データを記憶蓄積するデータベース装置）を配設することも考えられる。
【００１２】
〔画像処理装置の構成の説明〕
続いて、以上のような構成の画像処理システムにて用いられる画像処理装置２、すなわち本発明に係る画像処理装置２について、さらに詳しく説明する。
【００１３】
画像処理装置２は、取得手段１０と、書式記憶手段１１と、抽出手段１２と、認識手段１３と、正規化手段１４と、判断手段１５と、再抽出手段１６と、線分認識手段１７と、連結手段１８と、出力手段１９と、を備えて構成されている。
【００１４】
取得手段１０は、画像読取装置１が得た媒体についての画像データを、当該画像読取装置１から受け取るものである。すなわち、取得手段１０は、文字記入領域を有した媒体についての画像データを取得するものである。
【００１５】
書式記憶手段１１は、画像処理システムが処理対象とする媒体の書式情報、すなわち当該媒体がどのような書式のものであり、文字記入領域がどのように配されている等についての情報を、予め記憶しているものである。
【００１６】
抽出手段１２は、取得手段１０が取得した画像データから、文字記入領域に記入された文字画像データを抽出するものである。この抽出は、書式記憶手段１１が記憶している書式情報を基に、取得手段１０が取得した画像データから文字記入領域外の画像データを取り除くことによって行うことが考えられる。なお、媒体上に複数の文字記入領域が存在する場合には、文字記入領域毎に文字画像データの抽出を行うものとする。
【００１７】
認識手段１３は、抽出手段１２が抽出した文字画像データに基づいて、文字記入領域に記入された文字サイズを認識するものである。「文字サイズ」とは、文字の大きさのことをいう。具体的には、文字の下端から上端までの高さが、ここでいう文字の大きさに相当する。このような文字サイズの認識は、一つの文字記入領域内では文字サイズのばらつきが無いものと擬制して、当該文字記入領域についての文字画像データを解析し、当該文字画像データから文字列部分と行間部分とを分別して、その文字列部分の高さ方向の大きさの平均値等を求めることで行うことが考えられる。ただし、必ずしもこのような手法に限定されることはなく、他の公知技術を用いて文字サイズの認識を行うようにしても構わない。
【００１８】
正規化手段１４は、認識手段１３が認識した文字サイズを所定サイズに合わせるように、抽出手段１２が抽出した文字画像データに対する拡大または縮小を行うものである。「所定サイズ」とは、予め設定されている文字サイズのことをいい、具体的には媒体上の所定書式を設計した際に文字記入領域への記入が想定されていた文字サイズがこれに相当する。つまり、正規化手段１４は、正規形でない文字サイズを文字画像データの拡大または縮小によって正規形に修正し、これにより当該文字サイズの正規化を行うものである。文字画像データに対する拡大または縮小の手法については、公知技術を利用して行えばよいため、ここではその詳細な説明を省略する。なお、再抽出手段１６による文字画像データの抽出があった場合には、正規化手段１４は、抽出手段１２が抽出した文字画像データに加えて、または当該文字画像データに代えて、再抽出手段１６が抽出した文字画像データについて、正規化のための拡大または縮小の対象とするようになっている。
【００１９】
判断手段１５は、取得手段１０が取得した画像データに基づいて、媒体上の文字記入領域からはみ出して記入された文字（以下、この文字を「はみ出し記入文字」という。）の有無を判断するものである。はみ出し記入文字有無の判断は、媒体上の文字記入領域外の画像データから、当該媒体上に元々存在する記載部分（例えば、文字記入領域への記入を案内する文章や記入枠を示す線分等）についての画像データを取り除いた後に、何らかの画像データが存在しているか否かによって行うことが考えられる。具体的には、何らかの画像データが存在していれば、はみ出し記入文字が有ると判断する、といった具合である。ただし、必ずしもこのような手法に限定されることはなく、他の公知技術を用いてはみ出し記入文字有無の判断を行うようにしても構わない。
【００２０】
再抽出手段１６は、判断手段１５がはみ出し記入文字有りと判断すると、当該はみ出し記入文字の記入箇所を含む新たな記入領域を設定し、当該新たな記入領域に記入された文字画像データを抽出するものである。新たな記入領域の設定は、判断手段１５でのはみ出し記入文字有りとの判断の基になった何らかの画像データについて、その外接矩形を抽出することによって行うことが考えられる。すなわち、抽出した外接矩形を新たな記入領域として設定するのである。ただし、必ずしもこのような手法に限定されることはなく、他の公知技術を用いて新たな記入領域の設定を行うようにしても構わない。
【００２１】
線分認識手段１７は、取得手段１０が取得した画像データに基づいて、媒体上の文字記入領域からはみ出して記入された線分を認識するものである。この線分認識手段１７での線分認識によって、媒体上の文字記入領域と当該文字記入領域からはみ出して記入されたはみ出し記入文字とを関連付ける引き出し線の存在が認識されることになる。線分認識は、媒体上の文字記入領域外の画像データから当該媒体上に元々存在する記載部分についての画像データを取り除いた後に存在する何らかの画像データにつき、その画像の長短比率、画像が描く軌跡、画像の連続性等を判定して、線分を構成するか否かを判断することで行うことが考えられる。ただし、必ずしもこのような手法に限定されることはなく、他の公知技術を用いて線分認識を行うようにしても構わない。
【００２２】
連結手段１８は、判断手段１５がはみ出し記入文字有りと判断した場合に、そのはみ出し記入文字について、文字記入領域に記入された文字画像データとの関連付けを行うものである。関連付けは、詳細を後述するように、正規化手段１４による拡大後または縮小後の文字画像データに、当該文字画像データを得る元になった画像データを添付することで行うことが考えられる。あるいは、再抽出手段１６が抽出した文字画像データを、抽出手段１２が抽出した文字画像データに加え、または抽出手段１２が抽出した文字画像データと置き換えて、正規化手段１４による拡大または縮小の対象とすることで行うことも考えられる。また、線分認識手段１７が線分認識を行った場合には、その線分の認識結果を用いて、抽出手段１２が抽出した文字画像データと再抽出手段１６が抽出した文字画像データとの関連付けを行うことも考えられる。
【００２３】
出力手段１９は、正規化手段１４が文字サイズを正規化した後の文字画像データについて、これを文字認識装置３または画像表示装置４に対して出力するものである。
【００２４】
以上のような各手段１０〜１９は、画像処理装置２におけるコンピュータとしての機能が、所定プログラムを実行することによって実現されるものとする。つまり、画像処理装置２は、所定プログラムを実行するＣＰＵ（Central Processing Unit）や当該所定プログラムを記憶する記憶装置等を備え、当該所定プログラムの実行によって種々の機能を実現し得るように構成されており、このような画像処理装置２上で実現される上述の各手段１０〜１９は、当該画像処理装置２にインストールされた所定プログラム（画像処理プログラム）によって実現されるものとする。なお、当該画像処理プログラムは、画像処理装置２へのインストールに先立ち、コンピュータ読み取り可能な記憶媒体に格納されて提供されるものであっても、または通信回線を介して外部から配信されるものであってもよい。
【００２５】
〔画像処理装置における処理動作例の説明〕
次に、以上のように構成された画像処理装置２における処理動作例を説明する。
【００２６】
〔第一処理動作例〕
図２は、本発明に係る画像処理装置における第一処理動作例の概要を示す説明図である。
【００２７】
図２（ａ）は、画像処理システムが処理対象とする媒体２０の一具体例を示している。図例の媒体２０は、枠で囲われた四つの文字記入領域２１〜２４を有している。そして、当該文字記入領域２１〜２４外の部分には、媒体２０の名称や各文字記入領域２１〜２４への記入項目についての説明書き等が配されており、各文字記入領域２１〜２４内に記入者が「文字」を手書きで記入するように構成されている。
【００２８】
図２（ｂ）は、媒体２０上の各文字記入領域２１〜２４内に、何らかの手書き文字が記入された場合の具体例を示している。図例において、媒体２０上の一番上の文字記入領域２１には、記入内容が少ないために、大きな文字での記入が行われている。二番目の文字記入領域２２には、記入内容が多いために、小さな文字での記入が行われている。三番目の文字記入領域２３には、記入内容が多いために、当該文字記入領域２３からはみ出して文字が記入されている。四番目の文字記入領域２４には、記入内容が適正であったために、適正な大きさで枠内に収まるように文字が記入されている。
【００２９】
このような媒体２０について、画像読取装置１での画像読み取りの結果である画像データを当該画像読取装置１から受け取ると、画像処理装置２では、書式記憶手段１１が記憶している書式情報を基にしつつ、抽出手段１２が各文字記入領域２１〜２４外の画像データを取り除く。図２（ｃ）は、各文字記入領域２１〜２４外の画像データを取り除いた後における画像の具体例を示している。なお、図中において、破線は、各文字記入領域２１〜２４の外枠を示している。
【００３０】
各文字記入領域２１〜２４外の画像データを取り除くと、その後、画像処理装置２では、書式記憶手段１１が記憶している書式情報を基にしつつ、抽出手段１２が当該文字記入領域２１〜２４に記入された文字画像データのみを抽出する。図２（ｄ）は、抽出後の文字画像の具体例を示している。
【００３１】
ここで、はみ出し記入文字の有る三番目の文字記入領域２３の文字画像データについての処理は詳細を後述するとして、それ以外の一番目の文字記入領域２１、二番目の文字記入領域２２および四番目の文字記入領域２４の文字画像データについての処理を説明する。
図２（ｄ）からも明らかなように、それぞれの文字画像データは、文字サイズが互いに異なっている。そのため、同じ倍率で表示した場合には、一番目の文字記入領域２１に記入された文字は大きくて読み難く、二番目の文字記入領域２２に記入された文字は潰れて読み難いといったことが起こり得る。
このことから、画像処理装置２では、認識手段１３が各文字記入領域２１，２２，２４に記入された文字サイズを認識するとともに、その認識した文字サイズを所定サイズに合わせるように、正規化手段１４がそれぞれの文字画像データに対する拡大または縮小を行うのである。つまり、正規化手段１４は、正規形でない文字サイズを文字画像データの拡大または縮小によって正規形に修正し、これにより当該文字サイズの正規化を行う。
文字サイズの正規化は、一つの文字記入領域内では文字サイズが大きく変動することはなく、当該文字サイズのばらつきが無いものと擬制でき、また当該文字サイズは一般に文字列（行）の高さにて代替できるので、文字画像データから文字列部分と行間部分とを分別して、その文字列部分の高さ方向の大きさを所定サイズに合わせるように画像データを拡縮することで行えばよい。
図２（ｅ）は、文字サイズの正規化後における各文字記入領域２１，２２，２４についての文字画像の具体例を示している。
【００３２】
以上に説明した第一処理動作例では、文字指定や選択等の操作を必要とすることなく、各文字記入領域２１，２２，２４に記入された文字サイズの認識結果に基づいて、当該文字サイズの正規化が行われる。したがって、各文字記入領域２１，２２，２４に記入された文字の分量にかかわらずに、また各文字記入領域２１，２２，２４に記入された文字サイズにも因らずに、各文字記入領域２１，２２，２４の文字サイズが所定サイズに揃えられることになる。
【００３３】
〔第二処理動作例〕
続いて、はみ出し記入文字が有った場合における処理動作例を説明する。
図３は、本発明に係る画像処理装置における第二処理動作例の概要を示す説明図である。図例においても、第一処理動作例で説明した媒体２０を処理対象としている場合を示している。つまり、図３（ａ）に示す画像の具体例は、図２（ｃ）に示した具体例と同じものである。
【００３４】
画像処理装置２では、取得手段１０が画像読取装置１からの画像データを取得すると、当該画像データについて、判断手段１５がはみ出し記入文字の有無を判断する。さらに詳しくは、取得手段１０が取得した画像データについて、図３（ａ）に示すように、抽出手段１２が各文字記入領域２１〜２４外に元々存在する記載部分の画像データを取り除いた後に、さらに判断手段１５が各文字記入領域２１〜２４内の画像データを取り除く。これにより、はみ出し記入文字が有る場合には、図３（ｂ）に示すように、何らかの画像データが存在していることになる。つまり、各文字記入領域２１〜２４外の画像データから、媒体２０上に元々存在する記載部分についての画像データを取り除いた後に、何らかの画像データが存在しているか否かを検出することによって、判断手段１５は、はみ出し記入文字の有無についての判断を行うことができる。
なお、ここでは、各文字記入領域２１〜２４内の画像データを取り除く場合（例えば、図例の如く白データを重ねることで当該画像データを取り除く。）を例に挙げているが、各文字記入領域２１〜２４外のみをスキャンするといった手順でも、はみ出し記入文字の有無についての判断を行うことは可能である。
【００３５】
そして、判断手段１５がはみ出し記入文字有りと判断した場合に、画像処理装置２では、連結手段１８が、以下に述べるようにして、そのはみ出し記入文字について、文字記入領域２１〜２４に記入された文字画像データとの関連付けを行う。すなわち、連結手段１８は、図３（ｃ）に示すように、正規化手段１４による拡大後または縮小後の文字画像データに、当該文字画像データを得る元になった画像データ、すなわち取得手段１０が取得した状態の画像データを、そのまま添付する。これにより、これらの画像データは、互いに関連付けられた状態で、出力手段１９から出力されることになる。
【００３６】
このように、以上に説明した第二処理動作例では、はみ出し記入文字が存在する場合に、正規化後の文字画像データに、その元になった画像データの全体を添付して、はみ出し記入文字が有ることを示している。これにより、媒体２０上の文字記入領域２１〜２４からはみ出して記入された文字があっても、出力手段１９からの出力結果にはみ出し記入文字を含む画像データが添付されることになるので、はみ出し記入文字が有ることを明確に特定し得るとともに、その添付された画像データを基にすることで、はみ出し記入文字の電子化にも対応し得るようになる。
ただし、第二処理動作例では、はみ出し記入文字が存在する場合であっても、単に元になった画像データを添付するのみで、はみ出し記入文字の抽出等は行わない。したがって、はみ出し記入文字の抽出等を行う場合に比べて処理負荷の軽減が図れる。
【００３７】
なお、第二処理動作例では、元になった画像データ、すなわち取得手段１０が取得した画像データそのものを添付する場合を例に挙げたが、各文字記入領域２１〜２４外に元々存在する記載部分を取り除いた後の画像データを添付するようにしても構わない。
また、図３に示した例では、文字記入領域２１〜２４の周囲にはみ出し記入文字が存在する場合を例に挙げたが、媒体２０の裏面にはみ出し記入文字が存在する場合であっても、全く同様の処理動作を行うことが考えられる。すなわち、画像読取装置１が媒体２０に対して両面読み取りを行うようにするとともに、画像処理装置２では裏面側に何らかの画像データが存在していればはみ出し記入文字が有ると判断し、その裏面側について画像データを添付するといったことを行う。
【００３８】
〔第三処理動作例〕
次いで、はみ出し記入文字が有った場合における他の処理動作例を説明する。
図４は、本発明に係る画像処理装置における第三処理動作例の概要を示す説明図である。図例においても、第一処理動作例で説明した媒体２０を処理対象としている場合を示している。つまり、図４（ａ）に示す画像の具体例は、図２（ｃ）に示した具体例と同じものである。
【００３９】
画像処理装置２では、取得手段１０が画像読取装置１からの画像データを取得すると、当該画像データについて、判断手段１５がはみ出し記入文字の有無を判断する。さらに詳しくは、取得手段１０が取得した画像データについて、図４（ａ）に示すように、抽出手段１２が各文字記入領域２１〜２４外に元々存在する記載部分の画像データを取り除いた後に、さらに判断手段１５が各文字記入領域２１〜２４内の画像データを取り除く。これにより、はみ出し記入文字が有る場合には、図４（ｂ）に示すように、何らかの画像データが存在していることになる。ここまでは、上述した第二処理動作例の場合と同様である。
【００４０】
そして、判断手段１５がはみ出し記入文字有りと判断した場合に、画像処理装置２では、再抽出手段１６および連結手段１８が、以下に述べるような手順の処理動作を行う。
すなわち、再抽出手段１６は、判断手段１５がはみ出し記入文字有りと判断すると、当該はみ出し記入文字の記入箇所を含む新たな記入領域を設定し、当該新たな記入領域に記入された文字画像データを抽出する。例えば、図４（ｂ）に示す場合であれば、はみ出し記入文字有りとの判断の基になった何らかの画像データの位置（座標値等）と媒体２０についての書式情報とから、はみ出し記入文字は、三番目の文字記入領域２３の周囲に有ることがわかる。そこで、再抽出手段１６は、図４（ｃ）に示すように、三番目の文字記入領域２３の範囲を、はみ出し記入文字の記入箇所を含むように広げて、新たな記入領域を設定するのである。さらに具体的には、はみ出し記入文字についての外接矩形を抽出し、文字記入領域２３の外枠が当該外接矩形と一致するように、当該文字記入領域２３を広げるようにする。換言すると、再抽出手段１６は、文字記入領域２３の外枠を、はみ出し記入文字についての外接矩形に置き換えるようにして、新たな記入領域の設定を行うのである。
さらに、再抽出手段１６は、新たな記入領域の設定を行うと、当該新たな記入領域に記入された文字画像データを抽出する。この抽出は、抽出手段１２による文字画像データの抽出と同じ手順で行えばよい。
【００４１】
再抽出手段１６が新たな記入領域からの文字画像データの抽出を行うと、その後、連結手段１８は、再抽出手段１６が抽出した文字画像データを、抽出手段１２が抽出した文字画像データに加え、正規化手段１４による拡大または縮小の対象とする。そして、図４（ｄ）に示すように、抽出手段１２が文字記入領域２３から抽出した文字画像データで正規化手段１４による正規化後のものに、再抽出手段１６が新たな記入領域から抽出した文字画像データで正規化手段１４による正規化後のものを、そのまま添付する。これにより、これらの文字画像データは、互いに関連付けられた状態で、出力手段１９から出力されることになる。
【００４２】
このように、以上に説明した第三処理動作例では、はみ出し記入文字が存在する場合に、再抽出手段１６が抽出した文字画像データで正規化手段１４による正規化後のものを、抽出手段１２が抽出した文字画像データで正規化手段１４による正規化後のものに加えるように添付して、はみ出し記入文字が有ることを示している。これにより、媒体２０上の文字記入領域２１〜２４からはみ出して記入された文字があっても、出力手段１９からの出力結果にはみ出し記入文字を含む文字画像データが添付されることになるので、はみ出し記入文字が有ることを明確に特定し得るとともに、その添付された画像データを基にすることで、はみ出し記入文字の電子化にも対応し得るようになる。
ただし、第三処理動作例では、はみ出し記入文字が存在する場合であっても、再抽出手段１６が新たな記入領域から抽出した文字画像データを添付するのみで、抽出手段１２が抽出した文字画像データとの置き換え等は行わない。したがって、例えば、文字記入領域２１〜２４外にゴミや汚れ等の異物があり、これをはみ出し記入文字であると誤検出した場合であっても、元の文字画像データは別データとしてそのまま残っているので、当該誤検出等に対する余裕度や対応の柔軟性等を確保できるようになる。
【００４３】
〔第四処理動作例〕
次いで、はみ出し記入文字が有った場合におけるさらに他の処理動作例を説明する。
図５は、本発明に係る画像処理装置における第四処理動作例の概要を示す説明図である。図例においても、第一処理動作例で説明した媒体２０を処理対象としている場合を示している。つまり、図５（ａ）に示す画像の具体例は、図２（ｃ）に示した具体例と同じものである。また、再抽出手段１６による新たな記入領域の設定および当該新たな記入領域からの文字画像データの抽出は、第三処理動作例の場合と同じ手順で行えばよい。つまり、図５（ｂ）および（ｃ）に示す画像の具体例は、図４（ｂ）および（ｃ）に示した具体例と同じものである。
【００４４】
画像処理装置２では、判断手段１５がはみ出し記入文字有りと判断し、再抽出手段１６が新たな記入領域の設定および当該新たな記入領域からの文字画像データの抽出を行うと、その後、連結手段１８が以下に述べるような手順の処理動作を行う。
すなわち、連結手段１８は、再抽出手段１６が抽出した文字画像データを、抽出手段１２が抽出した文字画像データと置き換えて、正規化手段１４による拡大または縮小の対象とする。そして、図４（ｄ）に示すように、抽出手段１２が文字記入領域２３から抽出した文字画像データに代えて、再抽出手段１６が新たな記入領域から抽出した文字画像データで正規化手段１４による正規化後のものを、媒体２０からの文字画像データの抽出結果とする。これにより、出力手段１９からは、はみ出し記入文字をも含む文字画像データが出力されることになる。
【００４５】
このように、以上に説明した第四処理動作例では、はみ出し記入文字が存在する場合に、再抽出手段１６が抽出した文字画像データに代えて、抽出手段１２が抽出した文字画像データで正規化手段１４による正規化後のものを、媒体２０からの文字画像データの抽出結果としている。これにより、媒体２０上の文字記入領域２１〜２４からはみ出して記入された文字があっても、出力手段１９からは、はみ出し記入文字を含む文字画像データが出力されることになるので、はみ出し記入文字の電子化に対応し得るようになる。しかも、抽出手段１２が抽出した文字画像データ、すなわちはみ出し記入文字を含まない文字画像データに代えて、当該はみ出し記入文字を含む文字画像データが出力されるので、その出力結果について文字認識装置３がそのまま文字認識を行うといったことも実現されるようになる。
【００４６】
〔第五処理動作例〕
次いで、はみ出し記入文字が有った場合におけるさらに別の処理動作例を説明する。ここでは、媒体２０上において、引き出し線を利用して、はみ出し記入文字の記入が行われている場合を例に挙げる。
図６は、本発明に係る画像処理装置における第五処理動作例の概要を示す説明図である。
【００４７】
図６（ａ）は、取得手段１０が取得した画像データから、媒体２０上に元々存在する記載部分の画像データを取り除いた後における、ある一つの文字記入領域を含むその周囲の画像の具体例を示している。図例のような画像についての画像データが得られた場合に、画像処理装置２では、文字記入領域外に何らかの画像データが存在していることから、判断手段１５がはみ出し記入文字有りと判断する。
【００４８】
そして、判断手段１５がはみ出し記入文字有りと判断すると、画像処理装置２では、その判断の基になった何らかの画像データについて、線分認識手段１７が線分認識を行う。すなわち、線分認識手段１７は、取得手段１０が取得した画像データから媒体２０上に元々存在する記載部分の画像データを取り除いた後のものにつき、文字記入領域からはみ出して記入された線分を認識して、その存在の有無を判断する。その結果、線分が存在する場合には、当該線分の始点および終点の位置についても、併せて認識しておく。
【００４９】
一方、判断手段１５がはみ出し記入文字有りと判断すると、再抽出手段１６は、その判断の基になった何らかの画像データから線分認識手段１７が認識した線分を取り除いた後のものにつき、これをはみ出し記入文字であると判断し、当該はみ出し記入文字の記入箇所を含む新たな記入領域を設定して、当該新たな記入領域に記入された文字画像データを抽出する。
【００５０】
再抽出手段１６が新たな記入領域からの文字画像データの抽出を行うと、その後、連結手段１８は、線分認識手段１７での線分認識結果を用いて、抽出手段１２が抽出した文字画像データと再抽出手段１６が抽出した文字画像データとの関連付けを行う。すなわち、連結手段１８は、線分認識手段１７での線分認識結果、特に線分の始点および終点についての認識結果を基に、再抽出手段１６が設定した新たな記入領域と、当該線分を介して結ばれる文字記入領域を特定する。そして、当該新たな記入領域に関連する文字記入領域を特定すると、連結手段１８は、抽出手段１２が当該文字記入領域から抽出した文字画像データと、再抽出手段１６が当該新たな記入領域から抽出した文字画像データとを、それぞれ正規化手段１４による拡大または縮小の対象とする。
【００５１】
その後、連結手段１８は、図６（ｂ）に示すように、新たな記入領域が線分を介して結ばれる文字記入領域に隣り合うように、当該新たな記入領域から抽出した文字画像データを、当該文字記入領域から抽出した文字画像データに並べて配置し、これにより抽出手段１２が抽出した文字画像データと再抽出手段１６が抽出した文字画像データとの関連付けを行う。その結果、出力手段１９からは、はみ出し記入文字をも含む文字画像データが出力されることになる。
【００５２】
このように、以上に説明した第五処理動作例では、はみ出し記入文字が存在する場合に、引き出し線であると認識される線分があると、その線分の認識結果を用いて、抽出手段１２が抽出した文字画像データと再抽出手段１６が抽出した文字画像データとの関連付けを行うようになっている。したがって、媒体２０上の文字記入領域２１〜２４からはみ出して記入された文字があっても、出力手段１９からは、はみ出し記入文字を含む文字画像データが出力されることになるので、はみ出し記入文字の電子化に対応し得るようになる。しかも、例えばそのはみ出し記入文字が文字記入領域から離れて記入され、それぞれの間が引き出し線によって結ばれている場合であっても、その引き出し線についての線分認識を行うことで、当該関連付けが正しく行われることになる。
【００５３】
なお、本実施形態では、本発明の好適な実施具体例について説明したが、本発明はその内容に限定されるものではない。すなわち、本発明は、本実施形態で説明した内容に限定されるものではなく、その要旨を逸脱しない範囲で変更することが可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明に係る画像処理装置を含む画像処理システムの概略構成例を示すブロック図である。
【図２】本発明に係る画像処理装置における第一処理動作例の概要を示す説明図である。
【図３】本発明に係る画像処理装置における第二処理動作例の概要を示す説明図である。
【図４】本発明に係る画像処理装置における第三処理動作例の概要を示す説明図である。
【図５】本発明に係る画像処理装置における第四処理動作例の概要を示す説明図である。
【図６】本発明に係る画像処理装置における第五処理動作例の概要を示す説明図である。
【符号の説明】
【００５５】
１…画像読取装置、２…画像処理装置、３…文字認識装置、４…画像表示装置、１０…取得手段、１１…書式記憶手段、１２…抽出手段、１３…認識手段、１４…正規化手段、１５…判断手段、１６…再抽出手段、１７…線分認識手段、１８…連結手段、１９…出力手段、２０…媒体、２１〜２４…文字記入領域
【図１】
2009230471.tif 000003
【図２】
2009230471.tif 000004
【図３】
2009230471.tif 000005
【図４】
2009230471.tif 000006
【図５】
2009230471.tif 000007
【図６】
2009230471.tif 000008