(57)【要約】【課題】記入済みの複数の帳票を使用して未記入の帳票を表す画像データを簡易に生成する。【解決手段】帳票生成装置は、手書き入力を含む複数の帳票を読み取って複数の帳票読取データを生成する画像読取部と、複数の帳票読取データによって表される複数の画像の位置を揃え、複数の画像を画素毎に比較し、複数の画像において同一色であるか否かを判断する画像解析部と、複数の画像において同一色でないと判断された画像を含んでいる場合には、画素が手書き入力を表す画像である手書き入力画像を再現しているとみなして手書き入力画像を削除する画像処理部とを備える。【選択図】図１
2020140323.tif 000002
【特許請求の範囲】
【請求項１】
手書き入力を含む複数の帳票を読み取って複数の帳票読取データを生成する画像読取部と、
前記複数の帳票読取データによって表される複数の画像の位置を揃え、前記複数の画像を画素毎に比較し、前記複数の画像において同一色であるか否かを判断する画像解析部と、
前記複数の画像において同一色でないと判断された画像を含んでいる場合には、前記画素が前記手書き入力を表す画像である手書き入力画像を再現しているとみなして前記手書き入力画像を削除する画像処理部と、
を備える帳票生成装置。
【請求項２】
請求項１記載の帳票生成装置であって、さらに、
前記複数の画像のうちの少なくとも１つを表示する操作表示部を備え、
前記操作表示部は、複数の画像の位置を揃えるために使用される基準となる領域である基準領域を指定するための操作入力を受け付け、
前記画像解析部は、前記指定された基準領域の画像が相互に一致するように前記複数の画像の相対的位置と相対角度の少なくとも１つを揃える帳票生成装置。
【請求項３】
請求項１又は２に記載の帳票生成装置であって、
前記画像読取部は、前記複数の帳票読取データを二値化して２値の画像データである２値画像データに変換し、
前記画像解析部は、前記２値画像データを使用し、画素値が同一であるか否かに基づいて前記同一色であるか否かを判断する帳票生成装置。
【請求項４】
手書き入力を含む複数の帳票を読み取って複数の帳票読取データを生成する画像読取工程と、
前記複数の帳票読取データによって表される複数の画像の位置を揃え、前記複数の画像を画素毎に比較し、前記複数の画像において同一色であるか否かを判断する画像解析工程と、
前記複数の画像において同一色でないと判断された画像を含んでいる場合には、前記画素が前記手書き入力を表す画像である手書き入力画像を再現しているとみなして前記手書き入力画像を削除する画像処理工程と、
を有する帳票生成方法。
【請求項５】
手書き入力を含む複数の帳票を読み取って複数の帳票読取データを生成する画像読取部、
前記複数の帳票読取データによって表される複数の画像の位置を揃え、前記複数の画像を画素毎に比較し、前記複数の画像において同一色であるか否かを判断する画像解析部、及び
前記複数の画像において同一色でないと判断された画像を含んでいる場合には、前記画素が前記手書き入力を表す画像である手書き入力画像を再現しているとみなして前記手書き入力画像を削除する画像処理部として帳票生成装置を機能させる帳票生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、帳票生成装置、帳票生成方法及び帳票生成プログラムに関し、特に帳票を自動的に生成する技術に関する。
【背景技術】
【０００２】
帳票に記載された手書き入力の自動認識を行うための技術が提案されている。自動認識では、画像として取り込んだ帳票の種類を予め登録された未記入の複数の照合用帳票との照合により特定するとともに、その帳票画像における文字等を記入するためのフィールド、例えば文字記入フィールドを抽出し、抽出した文字記入フィールド内の文字を切り出して文字認識処理を施すことが通例である。特許文献１は、入力画像から被照合帳票の罫線外周に沿った基準線を特定し、罫線と基準線から文字記入のためのフィールド位置を表すフォーマット情報を生成し、被照合帳票のフォーマット情報に合致するように予め登録された照合用帳票のフォーマット情報を修正し、フォーマット情報が被照合帳票のフォーマット情報と一定範囲で対応する照合用帳票を選択する技術を提案している。一方、特許文献２及び３は、未記入の帳票の画像を使用し、自動的にフォーマット情報を作成する技術を提案している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２７２０８号公報
【特許文献２】特開平０８−３３５２４７号公報
【特許文献３】特開平０９−００６８６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、未記入の帳票が必ずしも得られるとは限らないという問題がある点に本願発明者は着目した。一方、記入済みの帳票では、手書き入力が悪影響を与える可能性があるので自動的にフォーマット情報を作成する際の障害になるという問題がある。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、記入済みの複数の帳票を使用して未記入の帳票を表す画像データを簡易に生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の帳票生成装置は、手書き入力を含む複数の帳票を読み取って複数の帳票読取データを生成する画像読取部と、前記複数の帳票読取データによって表される複数の画像の位置を揃え、前記複数の画像を画素毎に比較し、前記複数の画像において同一色であるか否かを判断する画像解析部と、前記複数の画像において同一色でないと判断された画像を含んでいる場合には、前記画素が前記手書き入力を表す画像である手書き入力画像を再現しているとみなして前記手書き入力画像を削除する画像処理部とを備える。
【０００７】
本発明の帳票生成方法は、手書き入力を含む複数の帳票を読み取って複数の帳票読取データを生成する画像読取工程と、前記複数の帳票読取データによって表される複数の画像の位置を揃え、前記複数の画像を画素毎に比較し、前記複数の画像において同一色であるか否かを判断する画像解析工程と、前記複数の画像において同一色でないと判断された画像を含んでいる場合には、前記画素が前記手書き入力を表す画像である手書き入力画像を再現しているとみなして前記手書き入力画像を削除する画像処理工程とを備える。
【０００８】
本発明の帳票生成プログラムは、手書き入力を含む複数の帳票を読み取って複数の帳票読取データを生成する画像読取部、前記複数の帳票読取データによって表される複数の画像の位置を揃え、前記複数の画像を画素毎に比較し、前記複数の画像において同一色であるか否かを判断する画像解析部、及び前記複数の画像において同一色でないと判断された画像を含んでいる場合には、前記画素が前記手書き入力を表す画像である手書き入力画像を再現しているとみなして前記手書き入力画像を削除する画像処理部として帳票生成装置を機能させる。
【発明の効果】
【０００９】
本発明によれば、記入済みの複数の帳票を使用して未記入の帳票を表す画像データを簡易に生成する技術を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る画像形成装置１０の全体構成を示す概略構成図である。
【図２】一実施形態に係る帳票生成処理の内容を示すフローチャートである。
【図３】画像読取の対象である帳票の例を示す説明図である。
【図４】一実施形態に係る基準領域指定操作の様子を示す説明図である。
【図５】一実施形態に係る画像相対位置調整処理の内容を示す説明図である。
【図６】一実施形態に係る画像調整処理の内容を示すフローチャートである。
【図７】一実施形態に係る仕上げ処理の内容を示す説明図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して説明する。
【００１２】
図１は、本発明の一実施形態に係る画像形成装置１０の全体構成を示す概略構成図である。画像形成装置１０は、制御部２１０と、画像形成部２２０と、操作表示部２３０と、記憶部２４０と、画像読取部１００とを備えている。画像読取部１００は、自動原稿送り装置（ＡＤＦ）１６０と原稿台（コンタクトガラス）１５０とを有し、原稿から画像（原画像）を読み取ってデジタルデータである画像データＩＤを生成する。
【００１３】
画像形成部２２０は、画像データＩＤに基づいて印刷媒体（図示せず）に画像を形成して排出する。操作表示部２３０は、タッチパネルとして機能するディスプレイ（図示せず）や各種ボタンやスイッチ（図示せず）からユーザーの操作入力（単にユーザー入力とも呼ばれる。）を受け付ける。操作表示部２３０の詳細については後述する。
【００１４】
制御部２１０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の制御手段を備えている。また、制御部２１０は、画像解析部２１１と、画像処理部２１２とを有し、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェイスに関連するコントローラ機能を備え、画像形成装置１０全体を制御する。
【００１５】
記憶部２４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、制御部２１０が実行する処理の制御プログラム（帳票生成プログラムを含む。）やデータを記憶する。
【００１６】
画像読取部１００は、光源１１２と、第１反射鏡１１３と、第１キャリッジ１１４と、第２反射鏡１１５と、第３反射鏡１１６と、第２キャリッジ１１７と、集光レンズ１１８と、イメージセンサ１２１とを備えている。第１反射鏡１１３は、原稿からの拡散反射光Ｌを第２反射鏡１１５の方向に反射する。第２反射鏡１１５は、拡散反射光Ｌを第３反射鏡１１６の方向に反射する。第３反射鏡１１６は、拡散反射光Ｌを集光レンズ１１８の方向に反射する。集光レンズ１１８は、拡散反射光Ｌをイメージセンサ１２１に結像する。
【００１７】
第１キャリッジ１１４は、光源１１２と第１反射鏡１１３とを搭載し、副走査方向に往復動する。第２キャリッジ１１７は、第２反射鏡１１５と第３反射鏡１１６とを搭載し、副走査方向に往復動する。第１キャリッジ１１４及び第２キャリッジ１１７は、走査制御部として機能する制御部２１０によって制御される。これにより、光源１１２は原稿を副走査方向に走査することができるので、イメージセンサ１２１は、原稿上の２次元画像に応じてアナログ電気信号を出力することができる。
【００１８】
なお、自動原稿送り装置（ＡＤＦ）１６０が使用される場合には、第１キャリッジ１１４及び第２キャリッジ１１７は、予め設定されている副走査位置に固定され、原稿の自動送りによって副走査方向の走査が行われる。なお、ＡＤＦ１６０には、片面だけでなく両面を同時にあるいは逐次に読み取るものもある。
【００１９】
ＡＤＦ１６０は、紙送りローラー１６１と、原稿読取スリット１６２とを備えている。紙送りローラー１６１は、原稿の自動送りを行い、原稿の読み取りが原稿読取スリット１６２を介して行われる。この場合には、第１キャリッジ１１４が予め設定されている副走査位置に固定されるので、第１キャリッジ１１４に搭載されている光源１１２も所定位置に固定されることになる。
【００２０】
このように、画像読取部１００は、原稿上の画像を読み取って画像データＩＤを生成する。画像データＩＤは、原稿上の画像をＲＧＢの各階調値（０〜２５５）で表すＲＧＢ画像データである。
【００２１】
図２は、一実施形態に係る帳票生成処理の内容を示すフローチャートである。図３は、画像読取の対象である帳票の例を示す説明図である。ステップＳ１００では、ユーザーは、操作表示部２３０を介して画像形成装置１０の作動モードを帳票生成モードに設定する。画像形成装置１０は、帳票生成モードでは、帳票生成装置として機能する。
【００２２】
ステップＳ２００では、ユーザーは、画像読取部１００を使用して複数の書き込み済み帳票Ｆ１，Ｆ２の画像を読み取る（図３（ｂ）及び（ｃ）参照）。画像読取部１００は、複数の書き込み済み帳票Ｆ１，Ｆ２の画像を読み取って、それぞれ画像データＩＤ１、ＩＤ２を生成する。これにより、画像読取部１００は、複数の書き込み済み帳票Ｆ１，Ｆ２の画像を同一の光学系を使用し、同一の解像度で同一のタイミング及び環境（温度や湿度等）で取得することができる。
【００２３】
帳票生成モードでは、画像処理部２１２は、画像データＩＤ１、ＩＤ２を二値化して２値画像データＩＤ１ａ、ＩＤ２ａを生成する。２値画像データは、黒画素（画素値＝１）と白画素（画素値＝０）とで構成される画像データである。２値画像データＩＤ１ａ、ＩＤ２ａは、帳票読取データとも呼ばれる。
【００２４】
書き込み済み帳票Ｆ１，Ｆ２は、書き込み前帳票Ｆ０（図３（ａ）参照）に対して手書きＨＲ１，ＨＲ２で所定事項が書き込まれた帳票である。画像データＩＤ１、ＩＤ２及び２値画像データＩＤ１ａ、ＩＤ２ａは、記憶部２４０に格納される。この例では、説明を分かりやすくするために２枚の書き込み済み帳票Ｆ１，Ｆ２の画像読取を実行しているが、より多くの書き込み済み帳票の画像読取を実行することが好ましい。
【００２５】
ステップＳ３００では、ユーザーは、操作表示部２３０を介して基準領域指定操作を実行する。基準領域指定操作は、書き込み済み帳票Ｆ１，Ｆ２の画像の中で基準領域を指定するための操作である。基準領域は、複数の書き込み済み帳票Ｆ１，Ｆ２の画像の相対比較（後述）において基準となる領域である。
【００２６】
図４は、一実施形態に係る基準領域指定操作の様子を示す説明図である。操作表示部２３０は、タッチパネルとして構成されているユーザーインターフェース画面２３１と、スタートボタン２３２とを有している。ユーザーインターフェース画面２３１には、書き込み済み帳票Ｆ１の画像Ｄ１と、選択アイコン２３３と、解除アイコン２３４と、ＯＫアイコン２３５とが表示されている。ユーザーインターフェース画面２３１は、画像データＩＤ１に基づいて画像Ｄ１を表示する。これにより、ユーザーは、たとえば濃淡の相違によって帳票の画像と手書き入力の判別を容易に行うことができる。
【００２７】
この例では、ユーザーは、枠で囲まれた「振込依頼書」のテキストを表示するタイトル領域ＦＴ１を基準領域に指定するものとする。ユーザーは、タイトル領域ＦＴ１の周りでユーザーの手Ｈをスライドしてタイトル領域ＦＴ１を囲む曲線ＣＳを生成して選択アイコン２３３をタッチする。
【００２８】
この例では、基準領域は、手書き入力の対象でない領域としてタイトル領域ＦＴ１が選択されている。一方、ユーザーインターフェース画面２３１は、手書き入力の対象でない領域を基準領域として推奨する旨のたとえばテキスト表示を表示することが好ましい。さらに、画像解析部２１１は、２値画像データＩＤ１ａ、ＩＤ２ａの相対比較によって手書き入力が存在しない少なくとも１つの領域（相違が無い画像領域、すなわち完全一致の領域）を候補領域として表示色を変更してユーザーに提示してもよい。
【００２９】
ステップＳ４００では、画像解析部２１１は、選択アイコン２３３へのタッチに応じて基準領域検出処理を実行する。基準領域検出処理では、画像解析部２１１は、曲線ＣＳに囲まれている画像領域において、画像を探索して書き込み済み帳票Ｆ１のタイトル領域ＦＴ１を基準領域として検出する。画像解析部２１１は、タイトル領域ＦＴ１の色を変更して、タイトル領域ＦＴ１が検出されたことをユーザーに知らせる。
【００３０】
ユーザーは、色の変更状態に基づいてタイトル領域ＦＴ１の選択を確認することができる。ユーザーは、意図通りの画像領域が基準領域として検出されている場合には、ＯＫアイコン２３５をタッチして処理をステップＳ５００に進め、意図と違う画像が基準領域として検出されている場合には、解除アイコン２３４をタッチして選択を解除し、処理をステップＳ３００に戻す。
【００３１】
ステップＳ５００では、画像解析部２１１は、基準領域に基づいて画像相対位置調整処理を実行する。画像相対位置調整処理は、複数の書き込み済み帳票Ｆ１，Ｆ２の画像の基準座標を設定して相対的な位置を揃える処理である。これにより、画像解析部２１１は、基準領域に基づいて基準座標を設定し、各画素を座標系で特定することができる。
【００３２】
図５は、一実施形態に係る画像相対位置調整処理の内容を示す説明図である。図５（ａ）は、２値画像データＩＤ１ａによって表される書き込み済み帳票Ｆ１の２値画像ＳＦ１を示している。書き込み済み帳票Ｆ１の２値画像ＳＦ１は、読取時の原稿の傾きによって主走査方向や副走査方向に対して傾斜している。図５（ｂ）は、書き込み済み帳票Ｆ１の左右方向（横方向）を主走査方向に揃えた２値画像ＳＦ１ａを示している。この２値画像ＳＦ１ａは、たとえば書き込み済み帳票Ｆ１の外形線に基づいて帳票の横方向が主走査方向に揃えられている。
【００３３】
図５（ｃ）は、画像相対位置調整処理によって書き込み済み帳票Ｆ２の２値画像を２値画像ＳＦ１ａに対してマッチングさせた重畳画像を示している。本マッチングは、書き込み済み帳票Ｆ１の２値画像ＳＦ１ａのタイトル領域ＦＴ１に対して、書き込み済み帳票Ｆ２の２値画像のタイトル領域ＦＴ２の２値画像を一致、すなわち複数のタイトル領域ＦＴ１，ＦＴ２の相対的位置と相対角度の少なくとも一方を変化させて両者を相互に一致させることによって行われる。両者の一致は、両者の相対的な並進移動だけでなく、相対的な角度の変化を行いつつ実行される。
【００３４】
ステップＳ６００では、画像解析部２１１は、２枚の書き込み済み帳票Ｆ１，Ｆ２の２値画像ＳＦ１ａ，ＳＦ２ａのマッチング完了に応じて画像調整処理を実行する。画像調整処理は、２枚の書き込み済み帳票Ｆ１，Ｆ２の２値画像ＳＦ１ａ，ＳＦ２ａから手書き画像を削除する処理である。
【００３５】
図６は、一実施形態に係る画像調整処理（ステップＳ６００）の内容を示すフローチャートである。ステップＳ６１０では、画像解析部２１１は、予め設定されている順序に従って着目画素を選択する。
【００３６】
ステップＳ６２０では、画像解析部２１１は、画素比較処理を実行する。画素比較処理では、画像解析部２１１は、書き込み済み帳票Ｆ１の２値画像ＳＦ１ａの中の選択された画素である着目画素の画素値と、書き込み済み帳票Ｆ２の２値画像ＳＦ２ａの中の着目画素に対応する画素の画素値とを画素毎に比較する。
【００３７】
ステップＳ６３０では、画像解析部２１１は、複数の書き込み済み帳票の２値画像（この例では２つ）の画素値（０又は１）が同一であるか否かを判断する。本実施形態は、帳票の罫線等が帳票の同一位置に同一色で存在する一方、手書きの画像の位置が書き手によって変動することに着目して創作されたものである。したがって、画像調整処理（ステップＳ６００）は、多くの書き込み済み帳票を読み込むことによって手書き画像の残存を抑制することができる。
【００３８】
ステップＳ６４０では、画像処理部２１２は、着目画素を黒画素とする。黒画素は、ＲＧＢの階調値がいずれも「１」の画素である。ステップＳ６５０では、画像解析部２１１は、着目画素を白画素とする。すなわち、画像処理部２１２は、複数の画像において同一色でないと判断された画像を含んでいる場合には、その画素が手書き入力を表す画像である手書き入力画像を再現しているとみなして手書き入力画像を削除するために白画素とする。制御部２１０は、このような処理（ステップＳ６１０乃至ステップＳ６５０）を全画素について実行する（ステップＳ６６０）。
【００３９】
ステップＳ６７０では、画像処理部２１２は、調整画像データを記憶部２４０に格納する。調整画像データは、２枚の書き込み済み帳票Ｆ１，Ｆ２の２値画像ＳＦ１ａ，ＳＦ２ａから手書き画像が自動的に削除された調整画像を表す画像データである。
【００４０】
ステップＳ７００では、画像処理部２１２は、画像仕上げ処理を実行する。画像仕上げ処理は、画像調整処理（ステップＳ６００）における手書き画像の自動削除後に残存する手書き画像の有無を確認するとともに、残存している手書き画像がある場合には、残存する手書き画像を削除する処理である。画像解析部２１１は、たとえば文字認識処理（ＯＣＲ処理）を実行し、文字でない孤立点を残存する手書き画像を検出することができる。
【００４１】
図７は、一実施形態に係る仕上げ処理の内容を示す説明図である。この例では、操作表示部２３０は、タッチパネルとして構成されているユーザーインターフェース画面２３１において、仕上げ前帳票画像Ｄ２において手書き画像の周囲に手書き画像の検出を示すシンボルＮＲを表示している。ユーザーは、シンボルＮＲをタッチしてＯＫアイコン２３５をタッチしてシンボルＮＲに囲まれている残存する手書き画像を削除（この例では白画素への変換）することができる。
【００４２】
ステップＳ８００では、画像処理部２１２は、帳票画像データ出力処理を実行する。帳票画像データ出力処理では、制御部２１０は、仕上げ処理が完了した帳票画像データを記憶部２４０に格納し、ユーザーからの要求に応じてユーザーのパーソナルコンピュータに送信することができる。さらに、画像解析部２１１は、引き続き帳票画像データを使用して複数の書き込み済み帳票Ｆ１，Ｆ２の手書き入力の内容を読み取ってもよい。
【００４３】
このように、一実施形態に係る画像形成装置１０は、記入済みの複数の帳票を使用して未記入の帳票を表す画像データを簡易に生成することができる。なお、仕上げ処理では、画像解析部２１１は、たとえば文字認識処理等を使用し、フォントを使用するテキストや罫線をベクトルデータにするような変換を実行して、たとえばＰＤＬ（ページ記述言語）データに変換するようにしてもよい。
【００４４】
変形例：本発明は、上記実施形態だけでなく、以下のような変形例でも実施することができる。
【００４５】
変形例１：上記実施形態では、画像解析部は、２値画像データを使用し、画素値が同一であるか否かに基づいて同一色であるか否かを判断しているが、必ずしも２値画像データの使用に限定されない。同一色であるか否かは、たとえば罫線等が黒色で形成されている場合には、ＲＧＢからＣＭＹＫへの色変換処理後のＫ値に基づいて、Ｋ値が所定の閾値以上（たとえば１９２以上）で且つＫ値のばらつきが所定の範囲内である場合に、同一色であると判断することができる。
【００４６】
このような場合には、残存する手書き画像は、たとえば罫線のＫ値との階調差に基づいて検出することも可能であり、罫線や文字と連続しているときには階調の段差（傾斜や変動）を利用して検出することができる。この例では、画像データＩＤ１、ＩＤ２は、帳票読取データとも呼ばれる。
【００４７】
変形例２：上記実施形態及び変形例では、画像解析部は、指定された基準領域に基づいて画像相対位置調整処理を実行するが、必ずしも基準領域の設定は必要ない。具体的には、たとえば画像解析部は、複数の画像の対比結果に基づいて完全一致する特定領域をパターンマッチングで自動的に探索し、その特定領域を使用して複数の書き込み済み帳票の画像の相対的な位置を揃えるようにしてもよい。
【符号の説明】
【００４８】
１０  画像形成装置
２１０  制御部
２２０  画像形成部
２３０  操作表示部
２４０  記憶部
１００  画像読取部
１１２  光源
１２１  イメージセンサ
１５０  原稿台
１６０  自動原稿送り装置
１６２  原稿読取スリット
【図１】
2020140323.tif 000003
【図２】
2020140323.tif 000004
【図３】
2020140323.tif 000005
【図４】
2020140323.tif 000006
【図５】
2020140323.tif 000007
【図６】
2020140323.tif 000008
【図７】
2020140323.tif 000009