(57)【要約】【課題】保険やローンの申し込みに必要な複数種類の書類一式が揃っているか否かを容易に判別し、書類を提出する側および書類を受け取る側の双方の負担を軽減して作業効率を上げることが可能な画像処理プログラム、画像処理装置および画像処理方法を提供すること。【解決手段】画像読取装置で読み取った書類画像を取得し、前記取得した書類画像が重なった複数の書類から構成される画像であるか否かを判断し、前記書類画像が重なった複数の書類から構成される画像であると判断された場合、前記複数の書類の夫々の書類名を特定することを特徴とする。【選択図】図４
2018156288.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置のコンピュータを、
画像読取装置で読み取った書類画像を取得する画像取得手段、
前記画像取得手段によって取得した書類画像が重なった複数の書類から構成される画像であるか否かを判断する重なり判断手段、
前記重なり判断手段によって前記書類画像が重なった複数の書類から構成される画像であると判断された場合、前記複数の書類の夫々の書類名を特定する書類特定手段、
として機能させるための画像処理プログラム。
【請求項２】
更に、
前記書類特定手段によって特定された書類名を出力する特定書類名出力手段、
として機能させるための請求項１に記載の画像処理プログラム。
【請求項３】
前記重なり判断手段は、前記画像取得手段によって取得した書類画像の端を検出し、前記書類画像に含まれる直線を検出し、前記直線が前記端に達している場合、前記書類画像が重なった複数の書類から構成される画像であると判断する、
ことを特徴とする請求項１または２に記載の画像処理プログラム。
【請求項４】
前記書類特定手段は、書類の種類を示す書類名とキーワードが対応付けられて格納される書類データベースを参照して書類名を特定する、
ことを特徴とする請求項１または２に記載の画像処理プログラム。
【請求項５】
画像読取装置で読み取った書類画像を取得する画像取得部と、
前記画像取得部によって取得した書類画像が重なった複数の書類から構成される画像であるか否かを判断する重なり判断部と、
前記重なり判断部によって前記書類画像が重なった複数の書類から構成される画像であると判断された場合、前記複数の書類の夫々の書類名を特定する書類特定部と、
を備えることを特徴とする画像処理装置。
【請求項６】
画像処理装置において実行される画像処理方法であって、
画像読取装置で読み取った書類画像を取得し、
前記取得した書類画像が重なった複数の書類から構成される画像であるか否かを判断し、
前記書類画像が重なった複数の書類から構成される画像であると判断された場合、前記複数の書類の夫々の書類名を特定する、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ずらして重ねた複数の文書の撮像画像から、各文書の種類を特定するための画像処理プログラム、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、保険やローンの申し込みには、複数種類の書類が必要となる。例えば、住宅購入資金を必要とする顧客に対して、銀行等の金融機関は住宅ローンを提供している。住宅ローンの利用を希望する顧客は、定型の申込書、収入証明書、運転免許証等の本人確認書類の写し等、複数種類の必要書類を金融機関に提出する必要がある。提出された書類は、金融機関の担当者が目視で確認したり、情報処理装置を用いて画像データで確認したりしている。情報処理装置による確認の場合は、提出された各書類を画像読取装置等によって読み取り（例えば、特許文献１参照。）、事前に登録された各書類の画像データと照合している。
【０００３】
また、今般、直接金融機関に出向かずにスマートフォン等の携帯通信端末を用いて申し込み手続を行う運用が広がっている。この場合、携帯通信端末を用いて申し込み手続を行った申込者は、その後必要書類を揃えて金融機関に送付している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１２３０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、情報処理装置を用いて必要書類を確認する場合は、定型の申込書だけでなく、収入証明書、運転免許証、保険証、住民票等、様々な種類の書類の画像データを事前に登録しておく必要がある。また、書類毎に書類全体を読み込んでおく必要がある。更に、照合時には、提出された各書類を１つずつ読み込むか、書類同士が重ならないようにして読み込む必要がある。１つずつ読み込ませるには、用紙フィード型のスキャナ等が必要であり、大きなコストがかかってしまう。書類同士が重ならないようにして読み込むには、書類を並べる大きなスペースが必要であったり、解像度の高い高価な読取装置が必要であったりする。何れの場合であっても、金融機関にとっては非効率的である、という問題点があった。
【０００６】
また、必要書類を送付するような態様では、申込者が送付した必要書類が不足していた場合には、送付した書類が金融機関から返送される。申込者は、どの書類が不足しているか等、指摘された事項を確認し、再度必要書類を揃えて再送することになる。これは、金融機関にとっても申込者にとっても負担となっている、という問題点があった。
【０００７】
本発明は、前述のような実状に鑑みたものであり、保険やローンの申し込みに必要な複数種類の書類一式が揃っているか否かを容易に判別し、書類を提出する側および書類を受け取る側の双方の負担を軽減して作業効率を上げることが可能な画像処理プログラム、画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の画像処理プログラムは、画像処理装置のコンピュータを、画像読取装置で読み取った書類画像を取得する画像取得手段、前記画像取得手段によって取得した書類画像が重なった複数の書類から構成される画像であるか否かを判断する重なり判断手段、前記重なり判断手段によって前記書類画像が重なった複数の書類から構成される画像であると判断された場合、前記複数の書類の夫々の書類名を特定する書類特定手段として機能させるための画像処理プログラムである。
【０００９】
また、本発明の画像処理プログラムは、前記コンピュータを更に、前記書類特定手段によって特定された書類名を出力する特定書類名出力手段として機能させることが望ましい。
【００１０】
また、本発明の画像処理プログラムは、前記重なり判断手段が、前記画像取得手段によって取得した書類画像の端を検出し、前記書類画像に含まれる直線を検出し、前記直線が前記端に達している場合、前記書類画像が重なった複数の書類から構成される画像であると判断することが望ましい。
【００１１】
また、本発明の画像処理プログラムは、前記書類特定手段が、書類の種類を示す書類名とキーワードが対応付けられて格納される書類データベースを参照して書類名を特定することが望ましい。
【００１２】
また、本発明の一態様によれば、本発明の画像処理装置は、画像読取装置で読み取った書類画像を取得する画像取得部と、前記画像取得部によって取得した書類画像が重なった複数の書類から構成される画像であるか否かを判断する重なり判断部と、前記重なり判断部によって前記書類画像が重なった複数の書類から構成される画像であると判断された場合、前記複数の書類の夫々の書類名を特定する書類特定部とを備えることを特徴とする。
【００１３】
また、本発明の一態様によれば、本発明の画像処理方法は、画像処理装置において実行される画像処理方法であって、画像読取装置で読み取った書類画像を取得し、前記取得した書類画像が重なった複数の書類から構成される画像であるか否かを判断し、前記書類画像が重なった複数の書類から構成される画像であると判断された場合、前記複数の書類の夫々の書類名を特定することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、保険やローンの申し込みに必要な複数種類の書類一式が揃っているか否かを容易に判別することが可能となり、書類を提出する側および書類を受け取る側の双方の負担を軽減して作業効率を上げることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本実施の形態における画像処理装置を備えるシステム構成図である。
【図２】本実施の形態における画像処理装置のハードウェア構成図である。
【図３】本実施の形態における画像処理装置のハードウェア機能ブロック図である。
【図４】本実施の形態における画像処理装置のソフトウェア機能ブロック図である。
【図５】本実施の形態における画像処理の流れを示すフローチャートである。
【図６】対象とする書類の例を示す図である。
【図７】読み取った書類画像の例を示す図である。
【図８】読み取った書類画像の表示例を示す図である。
【図９】画像処理のサブルーチン「辺角抽出処理」の流れを示すフローチャートである。
【図１０】書類画像の角と辺の検出を説明するための図である。
【図１１】角と辺が検出された書類画像の例を示す図である。
【図１２】直線の検出を説明するための図である。
【図１３】矩形の検出を説明するための図（その１）である。
【図１４】矩形の検出を説明するための図（その２）である。
【図１５】書類「申込書」の例を示す図である。
【図１６】必要書類リストテーブルの例を示す図である。
【図１７】必要書類リストテーブルの遷移例（その１）を示す図である。
【図１８】画像処理のサブルーチン「矩形消去処理」の流れを示すフローチャートである。
【図１９】矩形の消去を説明するための図（その１）である。
【図２０】矩形の消去を説明するための図（その２）である。
【図２１】文字認識の対象例を示す図である。
【図２２】必要書類リストテーブルの遷移例（その２）を示す図である。
【図２３】必要書類リストテーブルの遷移例（その３）を示す図である。
【図２４】画像処理のサブルーチン「書類有無判定処理」の流れを示すフローチャートである。
【図２５】結果の表示例（その１）を示す図である。
【図２６】結果の表示例（その２）を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
図１は、本実施の形態における画像処理装置を備えるシステム構成図である。
図１に示すように、画像処理システム１は、画像読取装置２、画像読取装置２と接続された画像処理装置３を備える。ここで、本実施の形態の画像処理システム１は、例えば金融機関や公共機関等に設置されている。また、本実施の形態の画像処理システム１は、携帯通信端末に内蔵された機能としての画像読取装置２および画像処理装置３で構成されることも可能である。
【００１７】
画像読取装置２は、例えば、オーバーヘッドスキャナであり、書類を光学的に読み取り、画像処理装置３に送出する。読み取る書類は、例えば、保険やローンの申し込みに必要な書類である。住宅ローンの場合には、定型の申込書、収入証明書、運転免許証等の本人確認書類の写し等、複数種類の書類が読み取りの対象となる。
【００１８】
画像処理装置３は、例えば、ワークステーション、サーバ、パーソナルコンピュータ等のコンピュータの機能を備えており、後述する画像処理を実行する。
【００１９】
図２は、本実施の形態における画像処理装置のハードウェア構成図である。
【００２０】
図２に示すように、画像処理装置３は、ＣＰＵ（Central Processing Unit）２０１、入力装置２０２、出力装置２０３、ＲＯＭ（Read Only Memory）２０４、ＲＡＭ（Random Access Memory）２０５、インターフェース（Ｉ／Ｆ）２０６がバス２０７に接続されて構成されている。
【００２１】
入力装置２０２は、例えば、キーボード、ジョイスティック、ライトペン、マウス、タッチパッド、タッチパネル、トラックボール等、各種のデータや信号等を入力する。
【００２２】
出力装置２０３は、例えば、ＬＣＤ（Liquid Crystal Display）等の各種ディスプレイ、プリンタ等、画像やその他の情報を出力する。
【００２３】
ＲＯＭ２０４は、画像処理装置３において実行する画像処理を実行するプログラムの他、画像処理装置３の各機能を制御し実行するための制御プログラムおよびテーブルデータなどを収納する。
【００２４】
ＲＡＭ２０５は、出力装置２０３用のフレームバッファや一部のアプリケーションプログラム等を格納する。
【００２５】
インターフェース２０６は、ＵＳＢ（Universal Serial Bus）等のシリアルインターフェースやイーサネット（登録商標）等のパラレルインターフェース等、外部機器と接続するためのユニットである。
【００２６】
ＣＰＵ２０１は、これらの各部を制御している。
本実施の形態における画像処理は、前述した画像処理装置３によって実行される。
【００２７】
図３は、本実施の形態における画像処理装置のハードウェア機能ブロック図である。
図３に示すように、画像処理装置３は、イメージ読み取り部１１、画像格納メモリ１２、台形画像補正処理部１３、２値化処理部１４、用紙端検出部１５、直線検出部１６、直線情報格納メモリ１７、交点判定部１８、帳票矩形抽出部１９、文字認識辞書２０、文字認識処理部２１、必要書類リストテーブル２２、キーワード比較処理部２３、および結果画面表示部２４を備える。
【００２８】
イメージ読み取り部１１は、画像読取装置２を制御して画像読取装置２に画像を読み取らせ、画像読取装置２が読み取った画像を画像読取装置２から取得する。例えば、画像読取装置２にローンの申し込みに必要な書類の書類画像を取得する。
【００２９】
画像格納メモリ１２は、イメージ読み取り部１１が画像読取装置２から取得した画像、例えば上述の書類画像を格納する。
【００３０】
台形画像補正処理部１３は、画像読取装置２が読み取った画像が斜めから読み取られた場合に、正面から読み取ったように補正処理を行う。例えば、長方形の書類を斜めから読み取ったような場合、台形になっている画像を元の長方形に補正する。
【００３１】
２値化処理部１４は、台形画像補正処理部１３で補正した画像を２値化する。例えば、所定の閾値より濃い画素を黒とし、閾値より薄い画素を白とする２値画像を生成する。
【００３２】
用紙端検出部１５は、２値化処理部１４で２値化した２値画像の端を検出する。例えば上述の書類画像の用紙端を検出する。
【００３３】
直線検出部１６は、２値化処理部１４で２値化した２値画像から直線を検出する。例えば、縦方向に連続する画素、すなわち縦方向の直線があるか否かを抽出し、その結果を縦の直線として出力する。また、横方向に連続する画素、すなわち横方向の直線があるか否かを抽出し、その結果を横の直線として出力する。
【００３４】
直線情報格納メモリ１７は、直線検出部１６で検出した直線の座標を含む直線情報を格納する。
【００３５】
交点判定部１８は、直線検出部１６で検出した縦の直線と横の直線の交点を判定する。例えば、縦と横の直線の座標が一致すれば、その座標が交点として判定される。
【００３６】
帳票矩形抽出部１９は、交点判定部１８で交点が判定された縦と横の直線で構成される矩形を抽出する。
文字認識辞書２０は、文字認識のためのパターン情報を格納している。
【００３７】
文字認識処理部２１は、２値化処理部１４で２値化した２値画像に対して文字認識処理を実行して文字を認識する。文字認識処理は、一般的には、画像を解析し、その中に含まれる文字に相当するパターンを検出し、書かれている内容を文字データとして取り出す処理を実行する。文字の認識には、文字認識辞書２０を使用する。この文字認識処理は、公知の文字認識技術を使用することが可能であるので、詳細な説明は省略する。
【００３８】
必要書類リストテーブル２２は、上述の書類画像の夫々のタイトル等に印刷される書類名称を格納している。
【００３９】
キーワード比較処理部２３は、文字認識処理部２１で認識された文字と必要書類リストテーブル２２に格納された書類名称とを比較する。
結果画面表示部２４は、キーワード比較処理部２３による比較結果を含む画面を表示する。
【００４０】
なお、画像格納メモリ１２、直線情報格納メモリ１７、文字認識辞書２０、および必要書類リストテーブル２２は、画像処理装置３が備えていても良いし、外部の記憶装置に格納されていても良い。
【００４１】
図４は、本実施の形態における画像処理装置のソフトウェア機能ブロック図である。
図４に示すように、画像処理装置３は、画像取得部３１、重なり判断部３２、書類データベース（ＤＢ：Data Base）３３、書類特定部３４、および特定書類名出力部３５を備える。
【００４２】
画像処理装置３は、コンピュータの機能を備えており、画像処理プログラムに従って後述する画像処理を実行する。画像処理装置３は、金融機関や公共機関をはじめとする様々な組織において使用する、各種の書類を処理する。処理する書類は、例えば、保険やローンの申し込みに必要な書類を含む。
【００４３】
画像取得部３１は、オーバーヘッドスキャナやイメージスキャナ等の画像読取装置２に書類を読み取らせて書類画像を取得する。
【００４４】
重なり判断部３２は、画像取得部３１によって取得した書類画像が重なった複数の書類から構成される画像であるか否かを判断する。例えば、重なり判断部３２は、画像取得部３１によって取得した書類画像の端を検出し、書類画像に含まれる直線を検出し、直線が端に達している場合、書類画像が重なった複数の書類から構成される画像であると判断する。
【００４５】
書類特定部３４は、重なり判断部３２によって書類画像が重なった複数の書類から構成される画像であると判断された場合、書類の種類を示す書類名とキーワードが対応付けられて格納される書類ＤＢ３３を参照して、複数の書類の夫々の書類名を特定する。
特定書類名出力部３５は、書類特定部３４によって特定された書類名を出力する。
【００４６】
次に、図５乃至図２６を用いて、本実施の形態を詳細に説明する。
図５は、本実施の形態における画像処理の流れを示すフローチャートである。図６は、対象とする書類の例を示す図である。図７は、読み取った書類画像の例を示す図である。図８は、読み取った書類画像の表示例を示す図である。図９は、画像処理のサブルーチン「辺角抽出処理」の流れを示すフローチャートである。図１０は、書類画像の角と辺の検出を説明するための図である。図１１は、角と辺が検出された書類画像の例を示す図である。図１２は、直線の検出を説明するための図である。図１３は、矩形の検出を説明するための図（その１）である。図１４は、矩形の検出を説明するための図（その２）である。図１５は、書類「申込書」の例を示す図である。図１６は、必要書類リストテーブルの例を示す図である。図１７は、必要書類リストテーブルの遷移例（その１）を示す図である。図１８は、画像処理のサブルーチン「矩形消去処理」の流れを示すフローチャートである。図１９は、矩形の消去を説明するための図（その１）である。図２０は、矩形の消去を説明するための図（その２）である。図２１は、文字認識の対象例を示す図である。図２２は、必要書類リストテーブルの遷移例（その２）を示す図である。図２３は、必要書類リストテーブルの遷移例（その３）を示す図である。図２４は、画像処理のサブルーチン「書類有無判定処理」の流れを示すフローチャートである。図２５は、結果の表示例（その１）を示す図である。図２６は、結果の表示例（その２）を示す図である。
【００４７】
本実施の形態における帳票処理は、図１乃至４を用いて説明した画像処理装置３が帳票処理プログラムに従って実行する。
【００４８】
帳票処理プログラムは、図５に示した「画像処理」のフローのようにして実行される。帳票処理の対象は、上述したように、保険やローンの申し込みに必要な書類であり、定型の申込書、収入証明書、運転免許証等の本人確認書類の写し等の複数種類の書類である。例えば、図６に示すように、新規申込書６１、源泉徴収票６２および住民票６３の３種類が帳票処理の対象である。以下、これらの３種類の書類を帳票処理の対象として説明を行う。
【００４９】
保険やローンの申し込みを行う申込者、または申し込みを受け付ける金融機関等の担当者（以下、総称として利用者という）は、画像読取装置２の所定位置に複数種類の書類（新規申込書６１、源泉徴収票６２および住民票６３）の束をずらして載置する。画像読取装置２が申込者の携帯通信端末に内蔵されたものであれば、机の上等に載置し、画像読取装置２が金融機関等に設置されたものであれば、画像読取装置２が備える用紙セット部等に載置する。そして、読み取りキーの押下等により画像読取装置２に書類の束の画像を読み取らせる。本実施の形態においては、書類を縦にずらして読み取らせた場合について説明する。
【００５０】
画像読取装置２が読み取った読取画像７３には、図７に示すように、ずらして重ねられた書類の束の画像である書類画像７１と、書類画像７１の周囲の画像である背景画像７２が含まれる。また、書類の束がずらされていることにより、書類画像７１には、各書類のヘッダ部分（書類のタイトルが印刷されている箇所）が含まれる。
【００５１】
画像処理装置３のＣＰＵ２０１は、図５のステップＳ５０１において、画像読取装置２で読み取った読取画像７３を画像読取装置２から取得する。
【００５２】
ＣＰＵ２０１は、ステップＳ５０２において、ステップＳ５０１で取得した読取画像７３を２値化する。例えば、所定の閾値より濃い画素を黒とし、閾値より薄い画素を白とする２値画像を生成することで２値化が実行される。また、濃淡の中央値よりも薄い値寄りに閾値を設定することで、単純な濃淡による２値化ではなく、薄いグレー色等の画素が黒く２値化される。これにより、背景画像７２は黒画素として２値化され、書類画像７１と背景画像７２との境界が明確になるとともに、書類画像７１が重なった複数の書類の境界が明確になる。
【００５３】
ＣＰＵ２０１は、ステップＳ５０３において、ステップＳ５０２で２値化された読取画像７３が歪んでいるような場合、例えば、２つの角が９０度でない台形のような場合、読取画像７３の歪みを補正して正四角形に変換する。歪みの補正は、公知の技術を用いることが可能である。そして、図８に示すように、出力装置２０３の表示画面８１に読取画像７３を表示する。また、表示画面８１には、新規申込書６１等の３種類の書類のリスト（必要書類リスト８２）およびそれらの書類の有無をチェックするチェックボックス８３も表示されている。
【００５４】
ＣＰＵ２０１は、ステップＳ５０４において、ステップＳ５０２で２値化された、場合によってはステップＳ５０３で歪みが補正された読取画像７３に対して、サブルーチン「辺角抽出処理」を実行する。サブルーチン「辺角抽出処理」は、読取画像７３からの４つの角を検出し、これらの４つの角で構成される４本の罫線を検出する処理である。サブルーチン「辺角抽出処理」について、図９を用いて詳細に説明する。
【００５５】
サブルーチン「辺角抽出処理」は、読取画像７３について、ステップＳ９０１乃至Ｓ９０６の処理を縦方向のピクセル数分、上から下へループさせる。これは、図１０に示すように、読取画像７３を下向き矢印１００１の方向に実行する処理に相当する。ステップＳ９０１乃至Ｓ９０６の処理については、ステップＳ９０１、Ｓ９０２の処理を横方向のピクセル数分、左から右へループさせる。これは、図１０に示すように、読取画像７３を右向き矢印１００２の方向に実行する処理に相当する。また、ステップＳ９０４、Ｓ９０５の処理を横方向のピクセル数分、右から左へループさせる。これは、図１０に示すように、読取画像７３を左向き矢印１００３の方向に実行する処理に相当する。
【００５６】
ＣＰＵ２０１は、図９のステップＳ９０１において、読取画像７３の左端から右方向へ１ドットずつ参照する。
【００５７】
ＣＰＵ２０１は、ステップＳ９０２において、ステップＳ９０１で参照した画素が最初の白画素か否（黒画素）かを判断する。最初の白画素とは、後述するステップＳ９０３で白画素として検出した位置（読取画像７３上の座標）がＲＡＭ２０５に記録されていないことを意味する。
【００５８】
白画素でないと判断された場合（ステップＳ９０２：ＮＯ）、ステップＳ９０１に戻りループを繰り返す。
【００５９】
他方、白画素であると判断された場合（ステップＳ９０２：ＹＥＳ）、ＣＰＵ２０１は、ステップＳ９０３において、白画素として検出した位置（読取画像７３上の座標）をＲＡＭ２０５に記録する。この白画素として検出された位置は、図１０に示す書類画像７１の左上角１００５の座標位置に相当する。
【００６０】
ＣＰＵ２０１は、ステップＳ９０４において、読取画像７３の右端から左方向へ１ドットずつ参照する。
【００６１】
ＣＰＵ２０１は、ステップＳ９０５において、ステップＳ９０４で参照した画素が最初の白画素か否（黒画素）かを判断する。最初の白画素とは、後述するステップＳ９０６で白画素として検出した位置（読取画像７３上の座標）がＲＡＭ２０５に記録されていないことを意味する。
【００６２】
白画素でないと判断された場合（ステップＳ９０５：ＮＯ）、ステップＳ９０４に戻りループを繰り返す。
【００６３】
他方、白画素であると判断された場合（ステップＳ９０５：ＹＥＳ）、ＣＰＵ２０１は、ステップＳ９０６において、白画素として検出した位置（読取画像７３上の座標）をＲＡＭ２０５に記録する。この白画素として検出された位置は、図１０に示す書類画像７１の右上角１００６の座標位置に相当する。
【００６４】
続いて、ステップＳ９０７乃至Ｓ９１２の処理を縦方向のピクセル数分、下から上へループさせる。これは、図１０に示すように、読取画像７３を上向き矢印１００４の方向に実行する処理に相当する。ステップＳ９０７乃至Ｓ９１２の処理については、ステップＳ９０７、Ｓ９０８の処理を横方向のピクセル数分、左から右へループさせ、ステップＳ９１０、Ｓ９１１の処理を横方向のピクセル数分、右から左へループさせる。
【００６５】
ＣＰＵ２０１は、ステップＳ９０７において、読取画像７３の左端から右方向へ１ドットずつ参照する。
【００６６】
ＣＰＵ２０１は、ステップＳ９０８において、ステップＳ９０７で参照した画素が最初の白画素か否（黒画素）かを判断する。最初の白画素とは、後述するステップＳ９０９で白画素として検出した位置（読取画像７３上の座標）がＲＡＭ２０５に記録されていないことを意味する。
【００６７】
白画素でないと判断された場合（ステップＳ９０８：ＮＯ）、ステップＳ９０７に戻りループを繰り返す。
【００６８】
他方、白画素であると判断された場合（ステップＳ９０８：ＹＥＳ）、ＣＰＵ２０１は、ステップＳ９０９において、白画素として検出した位置（読取画像７３上の座標）をＲＡＭ２０５に記録する。この白画素として検出された位置は、図１０に示す書類画像７１の左下角１００７の座標位置に相当する。
【００６９】
ＣＰＵ２０１は、ステップＳ９１０において、読取画像７３の右端から左方向へ１ドットずつ参照する。
【００７０】
ＣＰＵ２０１は、ステップＳ９１１において、ステップＳ９１０で参照した画素が最初の白画素か否（黒画素）かを判断する。最初の白画素とは、後述するステップＳ９１２で白画素として検出した位置（読取画像７３上の座標）がＲＡＭ２０５に記録されていないことを意味する。
【００７１】
白画素でないと判断された場合（ステップＳ９１１：ＮＯ）、ステップＳ９１０に戻りループを繰り返す。
【００７２】
他方、白画素であると判断された場合（ステップＳ９１１：ＹＥＳ）、ＣＰＵ２０１は、ステップＳ９１２において、白画素として検出した位置（読取画像７３上の座標）をＲＡＭ２０５に記録する。この白画素として検出された位置は、図１０に示す書類画像７１の右下角１００８の座標位置に相当する。
【００７３】
ループを抜けると、ＣＰＵ２０１は、ステップＳ９１３において、ステップＳ９０３、Ｓ９０６、Ｓ９０９およびＳ９１２でＲＡＭ２０５に記録した４箇所の白画素検出位置、左上角１００５、右上角１００６、左下角１００７および右下角１００８を繋ぐ。そして、これらの４つの角で構成される４本の罫線を、書類画像７１を構成する四辺の罫線としてＲＡＭ２０５に記録する。例えば、図１１に示すように、横罫線１１０１は、左上角１００５と右上角１００６を繋ぐことにより構成される。横罫線１１０２は、左下角１００７と右下角１００８を繋ぐことにより構成される。縦罫線１１０３は、左上角１００５と左下角１００７を繋ぐことにより構成される。そして、縦罫線１１０４は、右上角１００６と右下角１００８を繋ぐことにより構成される。これにより、横罫線１１０１、１１０２、縦罫線１１０３、１１０４で構成される矩形が書類画像７１として特定される。
【００７４】
なお、図９を用いて説明したサブルーチン「辺角抽出処理」は、１例であり、読取画像７３から４つの角を検出し、これらの４つの角で構成される４本の罫線を検出することが可能であれば、他の公知の技術を用いてもよい。
【００７５】
図５の説明に戻る。
ＣＰＵ２０１は、ステップＳ５０５において、ステップＳ５０４で特定された書類画像７１の上端から下方向へ、左端から右方向へ１ラインずつ連続する黒画素をカウントする。そして、所定の長さ以上を罫線と判定する。例えば、縦罫線であれば、縦方向に連続する画素を抽出し、その結果が所定の長さ以上であれば縦罫線として出力する。また、横罫線であれば、横方向に連続する画素を抽出し、その結果が所定の長さ以上であれば横罫線として出力する。例えば、図１２に示すように、９本の横罫線１２０１、１２０２、１２０３、１２０４、１２０５、１２０６、１２０７、１２０８、１２０９、および７本の縦罫線１２１１、１２１２、１２１３、１２１４、１２１５、１２１６、１２１７が判定される。
【００７６】
ＣＰＵ２０１は、ステップＳ５０６において、ステップＳ５０５で判定された横罫線と縦罫線を１本ずつ参照し、ステップＳ５０４で特定された書類画像７１との交点を持つ罫線の組合せを検出する。図１２に示した例では、横罫線１１０１、１１０２、縦罫線１１０３、１１０４の何れか（図１１を参照）と交点を持つ罫線が、横罫線１２０１乃至１２０９、縦罫線１２１１乃至１２１７から検出される。具体的には、横罫線１２０１、１２０２、１２０３、１２０９、縦罫線１２１１、１２１７が検出される。交点を持つ罫線の検出は、例えば、縦罫線の両端座標を（Ｘ１，Ｙ１）と（Ｘ１，Ｙ２）とし、横罫線の両端座標を（Ｘ３，Ｙ３）と（Ｘ４，Ｙ３）とした場合に、判別式（Ｘ３≦Ｘ１≦Ｘ４  ＡＮＤ  Ｙ１≦Ｙ３≦Ｙ２）が真の時、縦罫線と横罫線は交点を持つと判断される。
【００７７】
ＣＰＵ２０１は、ステップＳ５０７において、ステップＳ５０６で検出された罫線のうち、同じ縦罫線、または横罫線との交点を有する罫線を抽出する。例えば、縦罫線１２１１との交点１３０１、１３０３、１３０５、１３０７（図１３を参照）を有する横罫線１２０１、１２０２、１２０３、１２０９を抽出する。そして、抽出された縦罫線と横罫線のうち、２本の縦罫線と２本の横罫線で構成される矩形を検出する。例えば、図１３に示すような矩形１３１１、１３１２、１３１３の他、図１４に示すように、矩形１３１１と１３１２を併せた矩形１４０１、矩形１３１２と１３１３を併せた矩形１４０２、矩形１３１１、１３１２、１３１３を併せた矩形１４０３を検出する。
【００７８】
ＣＰＵ２０１は、ステップＳ５０８において、ステップＳ５０７で検出した矩形が有るか否かを判断する。
矩形がないと判断された場合（ステップＳ５０８：ＮＯ）、ステップＳ５１４に進む。
【００７９】
他方、矩形があると判断された場合（ステップＳ５０８：ＹＥＳ）、ＣＰＵ２０１は、ステップＳ５０９において、複数の矩形から条件（１）「サイズが小さい順に矩形を抽出」、条件（２）「１本の横線を、ともに上端、または下端に持つ矩形は、小さい方の矩形を抽出」、条件（３）「何れかの罫線の端点が帳票端と一致」に合う矩形を選択する。なお、矩形が１つの場合は、その矩形が選択される。例えば、複数の矩形として、矩形１３１１、１３１２、１３１３、１４０１、１４０２、１４０３がある場合、矩形１３１１、１３１２、１３１３が選択される。例えば、矩形１４０１は、矩形１３１１または矩形１３１２と「１本の横線を、ともに上端、または下端に持つ」ので、条件（２）により選択されない。
【００８０】
ＣＰＵ２０１は、ステップＳ５１０において、ステップＳ５０９で選択した矩形の中から、画像上、最も下側に位置する矩形を抽出する。例えば、矩形１３１１、１３１２、１３１３が選択されていた場合は、矩形１３１３が抽出される。
【００８１】
ＣＰＵ２０１は、ステップＳ５１１において、抽出した矩形内の所定位置の文字を認識する。例えば、抽出した矩形１３１３の中に含まれる文字パターンを検出し、文字認識辞書２０を用いて文字認識を実行する。ステップＳ５１０で抽出される矩形には、例えば図１５に示すように、「××株式会社」「新規申込書」「下表に御記入ください。」の文字が記載されている。よって、これらの文字「××株式会社」「新規申込書」「下表に御記入ください。」が認識される。
【００８２】
ＣＰＵ２０１は、ステップＳ５１２において、ステップＳ５１１で認識した文字認識結果の文字列を、図１６に示すような必要書類リストテーブル２２の書類キーワードとマッチングさせる。例えば、認識結果「新規申込書」は、書類キーワード「新規申込書」とマッチングする。一致または部分一致する書類キーワードがある場合、図１７に示すように、必要書類リストテーブル２２の「申込書」の「有無」欄に「有」を設定する。
【００８３】
ステップＳ５１２で必要書類リストテーブル２２の「申込書」の「有無」欄に「有」を設定した矩形（上述の例では、矩形１３１３）については、次の矩形（ステップＳ５０８を参照）についてのステップＳ５０９乃至Ｓ５１２を実行するために、ＣＰＵ２０１は、ステップＳ５１３において、サブルーチン「矩形消去処理」を実行する。サブルーチン「矩形消去処理」は、文字認識を実行した矩形を画像上から消去する処理である。サブルーチン「矩形消去処理」について、図１８を用いて詳細に説明する。
【００８４】
サブルーチン「矩形消去処理」は、必要書類リストテーブル２２の「申込書」の「有無」欄に「有」を設定した矩形（上述の例では、矩形１３１３）について、ステップＳ１８０１の処理を全てのピクセルに対して実行する。よって、対象とする矩形の縦方向のピクセル数分、上から下へループさせ、そのループの中で横方向のピクセル数分、左から右へループさせる。
【００８５】
ＣＰＵ２０１は、ステップＳ１８０１において、対象のピクセルを白画素に設定する。縦方向および横歩行にループで繰り返すことにより、対象とする矩形の全てのピクセルが白画素に設定される。言い換えると、対象とする矩形が消去される。対象とする矩形が消去されると、その矩形を構成していた罫線も消去されてしまうので、消去された矩形と他の矩形が隣接していた部分には、仮想的な罫線（仮想罫線１９０１）を設定する。例えば、図１９に示すように、書類画像７１を構成する矩形１３１１、１３１２、１３１３（図１９（ａ））のうち、矩形１３１３が消去され（図１９（ｂ））、矩形１３１１、１３１２が残る（図１９（ｃ））。矩形１３１２は、図１９（ｃ）に示すように、仮想罫線１９０１が含まれる。
【００８６】
このサブルーチン「矩形消去処理」が実行されると、消去されずに残った矩形について図５のステップＳ５０８以降の処理が実行される。上述の例では、この「最初の」サブルーチン「矩形消去処理」が実行され、図２０（ａ）に示すような消去されずに残った矩形１３１１、１３１２について、図５のステップＳ５０８以降の処理が実行される。「２度目の」ステップＳ５１１では、図２０（ｂ）に示すように、矩形１３１２が対象となる。例えば、図２１に示すように、矩形１３１２には「平成２７年度」「給与所得の源泉徴収票」の文字が記載されている。よって、これらの文字「平成２７年度」「給与所得の源泉徴収票」が認識される。
【００８７】
そして、「２度目の」ステップＳ５１２でも、必要書類リストテーブル２２の書類キーワードとマッチングさせる。例えば、認識結果「給与所得の源泉徴収票」は、書類キーワード「源泉徴収票」とマッチングする。一致または部分一致する書類キーワードがある場合、図２２に示すように、必要書類リストテーブル２２の「源泉徴収票」の「有無」欄に「有」を設定する。
【００８８】
同様にして、「３度目の」ステップＳ５１２でも、必要書類リストテーブル２２の書類キーワードとマッチングさせ、図２３に示すように、必要書類リストテーブル２２の「本人確認書類」の「有無」欄に「有」を設定する。
【００８９】
そして、ステップＳ５０８で矩形がないと判断されると（ステップＳ５０８：ＮＯ）、ＣＰＵ２０１は、ステップＳ５１４において、サブルーチン「書類有無判定処理」を実行する。サブルーチン「書類有無判定処理」は、必要書類リストテーブル２２の全ての書類で、「有無」欄が「有」となっているか判定する処理である。サブルーチン「書類有無判定処理」について、図２４を用いて詳細に説明する。
【００９０】
サブルーチン「書類有無判定処理」は、ステップＳ２４０１、Ｓ２４０２の処理を必要書類数分、例えば、必要書類リストテーブル２２の「書類名」分ループさせる。
【００９１】
ＣＰＵ２０１は、図２４のステップＳ２４０１において、必要書類リストテーブル２２から順に「有無」レコードのデータを抽出する。
【００９２】
ＣＰＵ２０１は、ステップＳ２４０２において、ステップＳ２４０１で抽出した「有無」が「有」か否か（「無」またはヌル（ｎｕｌｌ））を判断する。
【００９３】
「有」であると判断された場合（ステップＳ２４０２：ＹＥＳ）、ステップＳ２４０１に戻り次の「有無」レコードのデータを抽出する。
【００９４】
そして、全ての必要書類についてステップＳ２４０２で「有」と判断され、ループを抜けると、ＣＰＵ２０１は、ステップＳ２４０３において、図２５に示すように、チェック結果がＯＫであることの画面を表示する。
【００９５】
他方、ステップＳ２４０２で「有」でないと判断された場合（ステップＳ２４０２：ＮＯ）、ＣＰＵ２０１は、ステップＳ２４０４において、図２６に示すように、チェック結果がＮＧであることと、不足している書類名を画面表示し、利用者へ再度の操作を促す。
【００９６】
以上、本発明の実施の形態を、図面を参照しながら説明してきたが、本発明が適用される画像処理装置は、前述の実施の形態に限定されない。
【００９７】
前述してきた本発明の実施の形態は、画像処理装置の一機能としてハードウェアまたはＤＳＰ（Digital Signal Processor）ボードやＣＰＵボードでのファームウェアもしくはソフトウェアにより実現することができる。
【００９８】
また、本発明が適用される画像処理装置は、その機能が実行されるのであれば、前述の実施の形態に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。
【００９９】
また、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた実施の形態のシステムを実現するソフトェアのプログラムを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記録媒体を、画像処理装置に供給し、その画像処理装置のコンピュータがプログラムを読み出し実行することによっても、達成されることは言うまでもない。
【０１００】
この場合、可搬記録媒体等から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した可搬記録媒体等は本発明を構成することになる。
【０１０１】
プログラムを供給するための可搬記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記録媒体などを用いることができる。
【０１０２】
また、コンピュータ（情報処理装置）がメモリ上に読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行ない、その処理によっても前述した実施の形態の機能が実現される。
【０１０３】
さらに、可搬型記録媒体から読み出されたプログラムやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行ない、その処理によっても前述した実施の形態の機能が実現され得る。
【０１０４】
すなわち、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成又は形状を取ることができる。
【符号の説明】
【０１０５】
１            画像処理システム
２            画像読取装置
３            画像処理装置
１１          イメージ読み取り部
１２          画像格納メモリ
１３          台形画像補正処理部
１４          ２値化処理部
１５          用紙端検出部
１６          直線検出部
１７          直線情報格納メモリ
１８          交点判定部
１９          帳票矩形抽出部
２０          文字認識辞書
２１          文字認識処理部
２２          必要書類リストテーブル
２３          キーワード比較処理部
２４          結果画面表示部
３１          画像取得部
３２          重なり判断部
３３          書類データベース（ＤＢ：Data Base）
３４          書類特定部
３５          特定書類名出力部
６１          新規申込書
６２          源泉徴収票
６３          住民票
７１          書類画像
７２          背景画像
７３          読取画像
８１          表示画面
８２          必要書類リスト
８３          チェックボックス
２０１        ＣＰＵ（Central Processing Unit）
２０２        入力装置
２０３        出力装置
２０４        ＲＯＭ（Read Only Memory）
２０５        ＲＡＭ（Random Access Memory）
２０６        インターフェース（Ｉ／Ｆ）
２０７        バス
１００１      下向き矢印
１００２      右向き矢印
１００３      左向き矢印
１００４      上向き矢印
１００５      左上角
１００６      右上角
１００７      左下角
１００８      右下角
１１０１、１１０２  横罫線
１１０３、１１０４  縦罫線
１２０１、１２０２、１２０３、１２０４、１２０５、１２０６、１２０７、１２０８、１２０９  横罫線
１２１１、１２１２、１２１３、１２１４、１２１５、１２１６、１２１７  縦罫線
１３０１、１３０２、１３０３、１３０４、１３０５、１３０６、１３０７、１３０８  交点
１３１１、１３１２、１３１３  矩形
１４０１、１４０２、１４０３  矩形
１９０１      仮想罫線
【図１】
2018156288.tif 000003
【図２】
2018156288.tif 000004
【図３】
2018156288.tif 000005
【図４】
2018156288.tif 000006
【図５】
2018156288.tif 000007
【図６】
2018156288.tif 000008
【図７】
2018156288.tif 000009
【図８】
2018156288.tif 000010
【図９】
2018156288.tif 000011
【図１０】
2018156288.tif 000012
【図１１】
2018156288.tif 000013
【図１２】
2018156288.tif 000014
【図１３】
2018156288.tif 000015
【図１４】
2018156288.tif 000016
【図１５】
2018156288.tif 000017
【図１６】
2018156288.tif 000018
【図１７】
2018156288.tif 000019
【図１８】
2018156288.tif 000020
【図１９】
2018156288.tif 000021
【図２０】
2018156288.tif 000022
【図２１】
2018156288.tif 000023
【図２２】
2018156288.tif 000024
【図２３】
2018156288.tif 000025
【図２４】
2018156288.tif 000026
【図２５】
2018156288.tif 000027
【図２６】
2018156288.tif 000028