(57)【要約】【課題】画像データが複数の紙片を読み取ったデータである場合であっても、複数の紙片を個々に認識する。【解決手段】入力される画像データから像域分離により文字列領域および画像領域を抽出する領域抽出手段（像域分離手段３１および文字列・画像領域抽出手段３２）と、領域抽出手段により抽出された文字列領域および画像領域の内、同一の紙片に含まれると推測される文字列領域および画像領域から成る紙片領域を検出する紙片検出手段３４と、を備え、紙片検出手段３４は、文字列領域および画像領域の内、注目領域を決定し、該注目領域を含み、紙片領域の候補となる文字列領域および画像領域の組み合わせから成る複数の紙片候補領域を検出するとともに、紙片についての紙片形状情報を用いて、複数の紙片候補領域から注目領域を含む紙片領域を検出する。【選択図】図５
2019086845.tif 000002
【特許請求の範囲】
【請求項１】
入力される画像データから像域分離により文字列領域および画像領域を抽出する領域抽出手段と、
前記領域抽出手段により抽出された前記文字列領域および前記画像領域の内、同一の紙片に含まれると推測される前記文字列領域および前記画像領域から成る紙片領域を検出する紙片検出手段と、を備え、
前記紙片検出手段は、
前記文字列領域および前記画像領域の内、注目領域を決定し、
該注目領域を含み、前記紙片領域の候補となる前記文字列領域および前記画像領域の組み合わせから成る複数の紙片候補領域を検出するとともに、
前記紙片についての紙片形状情報を用いて、前記複数の紙片候補領域から前記注目領域を含む前記紙片領域を検出する画像処理装置。
【請求項２】
入力される画像データから像域分離により文字列領域および画像領域を抽出する領域抽出手段と、
前記領域抽出手段により抽出された前記文字列領域および前記画像領域の内、同一の紙片に含まれると推測される前記文字列領域および前記画像領域から成る紙片領域を検出する紙片検出手段と、を備え、
前記紙片検出手段は、
前記文字列領域および前記画像領域の内、注目領域を決定し、
該注目領域を含み、前記紙片領域の候補となる前記文字列領域および前記画像領域の組み合わせから成る複数の紙片候補領域を検出するとともに、
該注目領域の傾きを用いて他の文字列領域および画像領域を矩形化したときの、該他の文字列領域および画像領域の矩形化前後の面積変化についての情報を用いて、前記複数の紙片候補領域から該注目領域を含む前記紙片領域を検出する画像処理装置。
【請求項３】
前記紙片検出手段は、
前記面積変化についての情報と、前記紙片についての紙片形状情報を用いて、前記複数の紙片候補領域から前記紙片領域を検出する請求項２に記載の画像処理装置。
【請求項４】
前記紙片形状情報は、予め設定された情報である請求項１または３に記載の画像処理装置。
【請求項５】
前記画像データに含まれる文字および画像の少なくとも一方を認識する文字列・画像認識手段と、
前記文字列・画像認識手段による前記画像データについての文字認識結果、および画像認識結果の少なくとも一方に基づいて、前記紙片形状情報を予測する紙片形状予測手段と、をさらに備える請求項１または３に記載の画像処理装置。
【請求項６】
前記領域抽出手段は、網点領域を抽出し、
前記紙片検出手段は、前記紙片領域の検出に際して、前記網点領域に隣接する前記文字列領域および前記画像領域については、同一の紙片であると判断する請求項１から５までのいずれかに記載の画像処理装置。
【請求項７】
入力される画像データから像域分離により文字列領域および画像領域を抽出する領域抽出処理と、
前記領域抽出処理により抽出された前記文字列領域および前記画像領域の内、同一の紙片に含まれると推測される前記文字列領域および前記画像領域から成る紙片領域を検出する紙片検出処理と、を行い、
前記紙片検出処理では、
前記文字列領域および前記画像領域の内、注目領域を決定し、
該注目領域を含み、前記紙片領域の候補となる前記文字列領域および前記画像領域の組み合わせから成る複数の紙片候補領域を検出するとともに、
前記紙片についての紙片形状情報を用いて、前記複数の紙片候補領域から該注目領域を含む前記紙片領域を検出する画像処理方法。
【請求項８】
入力される画像データから像域分離により文字列領域および画像領域を抽出する領域抽出処理と、
前記領域抽出処理により抽出された前記文字列領域および前記画像領域の内、同一の紙片に含まれると推測される前記文字列領域および前記画像領域から成る紙片領域を検出する紙片検出処理と、を行い、
前記紙片検出処理では、
前記文字列領域および前記画像領域の内、注目領域を決定し、
該注目領域を含み、前記紙片領域の候補となる前記文字列領域および前記画像領域の組み合わせから成る複数の紙片候補領域を検出するとともに、
該注目領域の傾きを用いて他の文字列領域および画像領域を矩形化したときの、該他の文字列領域および画像領域の矩形化前後の面積変化についての情報を用いて、前記複数の紙片候補領域から該注目領域を含む前記紙片領域を検出する画像処理方法。
【請求項９】
入力される画像データから像域分離により文字列領域および画像領域を抽出する領域抽出処理と、
前記領域抽出処理により抽出された前記文字列領域および前記画像領域の内、同一の紙片に含まれると推測される前記文字列領域および前記画像領域から成る紙片領域を検出する紙片検出処理と、をコンピュータに実行させるプログラムであって、
前記紙片検出処理では、
前記文字列領域および前記画像領域の内、注目領域を決定し、
該注目領域を含み、前記紙片領域の候補となる前記文字列領域および前記画像領域の組み合わせから成る複数の紙片候補領域を検出するとともに、
前記紙片についての紙片形状情報を用いて、前記複数の紙片候補領域から前記注目領域を含む前記紙片領域を検出するプログラム。
【請求項１０】
入力される画像データから像域分離により文字列領域および画像領域を抽出する領域抽出処理と、
前記領域抽出処理により抽出された前記文字列領域および前記画像領域の内、同一の紙片に含まれると推測される前記文字列領域および前記画像領域から成る紙片領域を検出する紙片検出処理と、をコンピュータに実行させるプログラムであって、
前記紙片検出処理では、
前記文字列領域および前記画像領域の内、注目領域を決定し、
該注目領域を含み、前記紙片領域の候補となる前記文字列領域および前記画像領域の組み合わせから成る複数の紙片候補領域を検出するとともに、
該注目領域の傾きを用いて他の文字列領域および画像領域を矩形化したときの、該他の文字列領域および画像領域の矩形化前後の面積変化についての情報を用いて、前記複数の紙片候補領域から該注目領域を含む前記紙片領域を検出するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
画像読取装置の原稿台に複数の紙片（原稿）を載置して画像読み取りを行い、複数の紙片を個別に認識したい場合、例えば、背景が黒で原稿が白い場合のような場合は、紙片と背景の境界でエッジ抽出が行えるため、それぞれの紙片を独立して認識することができる。
【０００３】
しかしながら、画像読取装置の圧板と、原稿台に載置された紙片とのコントラスト差が少ない場合などは、エッジ抽出が困難である。これに対し、紙片に記載された文字や図形に基づいて、紙片を独立して認識する方法が知られている。
【０００４】
例えば、特許文献１には、圧板と紙片とのコントラスト差が少ない場合であっても、複数の紙片をそれぞれ抽出するために、紙片に印字されている内容からオブジェクトを抽出し、オブジェクト間の関連性からそれらのオブジェクトを結合して、紙片の候補領域を決定する画像処理装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、紙片に含まれる画素群に対してラベルを付与し、ラベルの傾きとラベル間の距離をもとに、複数の紙片が同じ紙片（ラベル値）であるかを判定している。しかしながら、特許文献１の技術では、異なる２以上の紙片が同じ傾きで原稿台に載置されていると同じ紙片であると判定されてしまい、複数の紙片が一つの紙片として誤認識されてしまうと考えられる。このように、画像データが複数の紙片を読み取ったデータである場合、複数の紙片を個々に認識する精度に問題があった。
【０００６】
そこで本発明は、画像データが複数の紙片を読み取ったデータである場合であっても、複数の紙片を個々に認識することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
かかる目的を達成するため、本発明に係る画像処理装置は、入力される画像データから像域分離により文字列領域および画像領域を抽出する領域抽出手段と、前記領域抽出手段により抽出された前記文字列領域および前記画像領域の内、同一の紙片に含まれると推測される前記文字列領域および前記画像領域から成る紙片領域を検出する紙片検出手段と、を備え、前記紙片検出手段は、前記文字列領域および前記画像領域の内、注目領域を決定し、該注目領域を含み、前記紙片領域の候補となる前記文字列領域および前記画像領域の組み合わせから成る複数の紙片候補領域を検出するとともに、前記紙片についての紙片形状情報を用いて、前記複数の紙片候補領域から前記注目領域を含む前記紙片領域を検出するものである。
【発明の効果】
【０００８】
本発明によれば、画像データが複数の紙片を読み取ったデータである場合であっても、複数の紙片を個々に認識することができる。
【図面の簡単な説明】
【０００９】
【図１】画像読取装置の一例を示す概略構成図である。
【図２】画像読取装置のシステム構成の一例を示すブロック図である。
【図３】画像処理装置の機能構成図（１）である。
【図４】画像処理装置が実行する処理の説明図である。
【図５】紙片検出処理の一例を示すフローチャートである。
【図６】入力画像中に検出された文字列領域と画像領域の説明図である。
【図７】注目領域以外の文字列領域および画像領域についての矩形化の説明図である。
【図８】画像領域の矩形化の説明図である。
【図９】紙片候補領域の検出例を示す説明図（１）である。
【図１０】紙片候補領域の検出例を示す説明図（２）である。
【図１１】紙片候補領域の検出例を示す説明図（３）である。
【図１２】紙片候補領域の検出例を示す説明図（４）である。
【図１３】紙片候補領域の検出例を示す説明図（５）である。
【図１４】画像処理装置の機能構成図（２）である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る構成を図１から図１４に示す実施の形態に基づいて詳細に説明する。
【００１１】
［第１の実施形態］
（画像読取装置）
図１は、画像読取装置の一例を示す概略構成図である。図１に示す画像読取装置１０は、原稿Ｐをセットする透明な板状部材であるコンタクトガラス（原稿台）１と、コンタクトガラス１の上面に対して開閉可能な圧板２と、を備えている。また、コンタクトガラス１の下側には、紙面奥行方向に所定の長さを有する反射板（反射ミラー）３，４、および、露光ランプ（照明ランプ）５を備えている。反射板３，４および露光ランプ５は、キャリッジに搭載され、走査可能となっている。なお、圧板２は、自動原稿搬送装置（ＡＤＦ：Auto  Document  Feeder）を備えていてもよい。
【００１２】
画像読取装置１０では、読み取り動作の実施にあたり、圧板２が開かれ、コンタクトガラス１上に原稿Ｐがセットされた後、所定の操作によって原稿Ｐの画像読み取り動作の開始が指示されると、露光ランプ５および反射板３，４を移動させながら、コンタクトガラス１上にセットされた原稿の下面（画像面）を露光ランプ５により照明しつつ、画像面からの反射光像を反射板３，４を介して受光部（ＣＣＤ）へ順次送り、原稿Ｐの画像読み取りが行われる。
【００１３】
図２は、画像読取装置１０のシステム構成の一例を示すブロック図である。画像読取装置１０は、ＣＣＤ１１、ＩＰＵ（画像処理ユニット：Image  Processing  Unit）１２、画像蓄積部１３、読取制御部１４、ＣＰＵ１５、ＲＯＭ１６、ＲＡＭ１７、不揮発性メモリ１８、操作部１９等を有し、これらはシステムバス２０を介して接続されている。
【００１４】
読取制御部１４は、反射板３，４や露光ランプ５の駆動部６の駆動、および露光ランプ５の点灯を制御して、コンタクトガラス１上にセットされた原稿Ｐの画像面を走査して、その画像面からの反射光像を得る。この反射光は、受光部としてのＣＣＤ１１に入力され、電子的な信号（アナログ信号）に変換される。ＩＰＵ１２は、アナログ信号に対して所定の画像処理を加えた後、画像データ（デジタル信号）として画像蓄積部１３に保存する。
【００１５】
ＣＰＵ１５は、画像読取装置１０の動作を統括的に制御する。ＣＰＵ１５は、ＲＡＭ１７をワークエリアとしてＲＯＭ１６や不揮発性メモリ１８等に格納された各種プログラムを実行することで、後述の画像処理等の各機能を実現する。
【００１６】
操作部１９は、タッチパネル機能を備えた液晶表示装置（ＬＣＤ）又は有機ＥＬ表示装置等で形成され、ユーザからの入力操作の受付やユーザへの情報表示等を行う。
【００１７】
画像読取装置１０において、画像蓄積部１３に保存された画像データについて画像処理を実行する機能ブロックを画像処理装置３０といい、画像処理装置３０は、ＣＰＵ１５、ＲＯＭ１６、ＲＡＭ１７、不揮発性メモリ１８、および操作部１９により構成される。なお、ここでは画像読取装置１０が画像処理装置３０を備える例を説明したが、これに限られるものではなく、画像処理装置３０は画像読取装置１０やその他の装置（撮像装置など）から入力される画像データについての画像処理が実行可能なものであればよい。
【００１８】
（画像処理装置）
本実施形態に係る画像処理装置３０は、入力される画像データから像域分離により文字列領域および画像領域を抽出する領域抽出手段（像域分離手段３１および文字列・画像領域抽出手段３２）と、領域抽出手段により抽出された文字列領域および画像領域のうち、同一の紙片に含まれると推測される文字列領域および画像領域を１の紙片領域として検出する紙片検出手段（紙片検出手段３４）と、を備え、紙片検出手段は、文字列領域および画像領域のうちから１の注目領域を決定し、該注目領域を含み、紙片領域の候補となる文字列領域および画像領域の組み合わせを紙片候補領域として検出するとともに、紙片についての紙片形状情報を用いて、紙片候補領域から紙片領域を検出するものである。なお、括弧内は実施形態での符号、適用例を示す。
【００１９】
図３は、本実施形態に係る画像処理装置３０の機能構成図である。画像処理装置３０は、像域分離手段３１、文字列・画像領域抽出手段３２、文字列矩形化手段３３、および紙片検出手段３４を備えている。
【００２０】
図４は、画像処理装置３０が実行する入力画像から紙片を検出する処理の説明図である。画像処理装置３０は、像域分離処理（Ｓ１００）、文字列・画像領域抽出処理（Ｓ２００）、文字列矩形化処理（Ｓ３００）、および、紙片検出処理（Ｓ４００）を実行する。
【００２１】
画像処理装置３０には、入力画像４０と紙片形状情報４１が入力される。入力画像４０は、画像読取装置１０にて読み取られた原稿についての画像データである。ここでは、複数の紙片がコンタクトガラス１に載置された状態で画像読取装置１０により読み取られた画像データである。なお、入力画像４０は、画像読取装置１０で読み取られた画像データに限らず、複数の紙片が含まれた画像データであればよく、例えば、デジタルカメラ等で複数の紙片を撮像した画像データ等であってもよい。
【００２２】
紙片形状情報４１は、抽出する紙片の形状に関する情報であって、ユーザ等により操作部１９で設定される情報である。すなわち、抽出する紙片の画像サイズに関する情報であって、例えば、名刺サイズ（９１ｍｍ×５５ｍｍ）、レシートのように設定される。なお、紙片形状情報４１は、ユーザ等により設定された情報に限られず、画像処理装置３０が予測する場合も含まれる。画像処理装置３０による紙片形状の予測については第２の実施形態にて説明する。
【００２３】
以下、画像処理装置３０が実行する各処理について説明する。先ず、像域分離手段３１により像域分離処理（Ｓ１００）が入力画像４０に対して実行される。像域分離処理（Ｓ１００）では、入力画像４０の画像データの各点（画素）を、周辺画素情報を参照して文字列領域、画像領域に判別し、それぞれの領域を分離した像域分離情報を得る。このとき、網点領域や白画素領域などを併せて判別することも好ましい。像域分離処理としては、公知または新規の手法を適用することができ、例えば、参考文献１（特許第３２６１２４７号公報）に記載の像域分離方法を適用することができる。
【００２４】
次いで、文字列・画像領域抽出手段３２により文字列・画像領域抽出処理（Ｓ２００）が実行される。文字列・画像領域抽出処理（Ｓ２００）では、像域分離処理（Ｓ１００）の結果、得られた入力画像の各点の像域分離情報をもとに、近隣の画素で同じ像域分離情報をもっている画素同士を結合させ、文字列領域および画像領域を抽出する。
【００２５】
ここで、「文字列領域」とは、像域分離処理（Ｓ１００）により、文字と判定された画素とその近隣の画素の集合であり、画素同士で関連性が認められるものを所定の判別式によって個々の集合に含めたものである。また、「画像領域」とは、像域分離処理（Ｓ１００）により、画像と判定した画素とその近隣の画素の集合をいい、画素同士で関連性が認められるものを所定の判別式によって個々の集合に含めたものである。
【００２６】
また、文字列・画像領域抽出処理（Ｓ２００）において、文字列領域と判定された領域に対し、文字列矩形化手段３３により文字列矩形化処理（Ｓ３００）が実行されて、文字列領域を矩形化する。文字列矩形化処理（Ｓ３００）では、不定形の領域として検出される文字列領域を、「中心座標」、「幅」、「高さ」、「傾き」のパラメータで表せるように簡略化する処理を実行する。
【００２７】
画像領域については文字列・画像領域抽出処理（Ｓ２００）の後、文字列領域についての文字列矩形化処理（Ｓ３００）の後、紙片検出手段３４により紙片検出処理（Ｓ４００）が実行される。
【００２８】
紙片検出処理（Ｓ４００）では、抽出された文字列領域および画像領域と、紙片形状情報４１と、に基づいて、紙片形状情報４１に収まる紙片領域の推測結果を得る。紙片検出処理（Ｓ４００）の結果、入力画像４０から複数枚の紙片検出結果４２が得られる。
【００２９】
以下、紙片検出処理（Ｓ４００）の詳細について、図５のフローチャートを参照して説明する。図５は紙片検出処理（Ｓ４００）の一例を示すフローチャートである。また、図６は、文字列矩形化処理（Ｓ３００）までの処理により入力画像４０中に検出された文字列領域と画像領域の説明図である。以下の説明では、入力画像４０として画像読取装置１０のコンタクトガラス１で読み取られた画像の場合を例とする。また、文字列領域をＣｋ、画像領域をＩｋで示している。
【００３０】
紙片検出処理（Ｓ４００）では、先ず、注目領域Ａを決定する注目領域決定を行う（Ｓ４０１）。注目領域決定（Ｓ４０１）では、抽出された文字列領域および画像領域の内から順に以下の処理で注目する注目領域Ａを決定する。注目領域Ａの決定方法は、特に限られるものではないが、例えば、入力画像４０において、文字列領域Ｃｋまたは画像領域Ｉｋの中心点が最も左上端に近いものから順に選択するようにすればよい。図６の例では、文字列領域Ｃ１が先ず注目領域Ａとなる。
【００３１】
次いで、決定した注目領域Ａが文字列領域Ｃｋであるか画像領域Ｉｋであるかを判断する（Ｓ４０２）。文字列領域Ｃｋの場合（Ｓ４０２：文字列領域）、先ず、紙片候補領域Ｃａｎｄｎに注目領域Ａを含める（Ｓ４０３）。ここで、「紙片候補領域」とは、１つの紙片となる可能性のある文字列領域Ｃｋ、画像領域Ｉｋを包含する領域をいう。同じ注目領域Ａがふくまれる紙片候補領域Ｃａｎｄｎ同士を比較して、最終的に注目領域Ａを含む紙片（紙片領域）を決定する（Ｓ４０６〜Ｓ４１０）。
【００３２】
次いで、紙片候補領域のベクトル決定を行う（Ｓ４０４）。紙片候補領域のベクトル決定（Ｓ４０４）では、注目領域Ａの傾きを、その文字列領域Ｃｋが属する紙片の傾きであると仮定する。すなわち、図６に示すように、注目領域Ａ（ここでは文字列領域Ｃ１）の水平ベクトルおよび垂直ベクトルを、それぞれ紙片候補領域の水平ベクトルｕ、垂直ベクトルｖとみなす。
【００３３】
次いで、注目領域Ａのベクトルに基づく他の文字列領域Ｃｋおよび画像領域Ｉｋの矩形化を行う（Ｓ４０５）。
【００３４】
Ｓ４０５の矩形化処理を説明する。図７は、文字列領域Ｃ１が注目領域Ａである場合において、すべての文字列領域Ｃｋおよび画像領域Ｉｋについて、各領域に隣接し、かつ、文字列領域Ｃ１の水平ベクトルｕ、垂直ベクトルｖで表される矩形を示したものである。
【００３５】
文字列領域Ｃｋについては、該文字列領域Ｃｋに外接し、水平ベクトルｕ、垂直ベクトルｖで表される矩形を導出する。例えば、矩形領域Ｃ３’は、文字列領域Ｃ３に外接する矩形であって、矩形の水平ベクトルおよび垂直ベクトルが水平ベクトルｕ、垂直ベクトルｖとなる矩形であり、一意に導出することができる。
【００３６】
画像領域Ｉｋからの矩形領域Ｉｋ’の導出方法について、図８を参照して説明する。図８では、画像領域Ｉ１から矩形領域Ｉ１’を導出する場合を例に説明する。画像領域Ｉ１に対して水平ベクトルｕから得られる直線を図形（画像領域Ｉ１）に交差しないように配置する場合、その直線から最も近い点Ｎ１１と最も遠い点Ｎ１２は一意に算出できる。
【００３７】
同様に、画像領域Ｉ１に対して垂直ベクトルｖから得られる直線を図形（画像領域Ｉ１）に交差しないように配置する場合、その直線から最も近い点Ｎ２１と最も遠い点Ｎ２２は一意に算出できる。
【００３８】
そして、点Ｎ１１を通る水平ベクトルｕで表される直線を直線Ｌ１、点Ｎ１２を通る水平ベクトルｕで表される直線を直線Ｌ２、点Ｎ２１を通る垂直ベクトルｖで表される直線を直線Ｌ３、点Ｎ２２を通る垂直ベクトルｖで表される直線を直線Ｌ４で囲まれる矩形を矩形領域Ｉ１’として導出する。
【００３９】
以上により、注目領域Ａのベクトルに基づく文字列領域Ｃｋおよび画像領域Ｉｋの矩形化がされる。なお、注目領域Ａについては矩形化前後で同じ領域である。
【００４０】
次いで、注目領域Ａと、近隣の文字列領域Ｃｋと画像領域Ｉｋとを組み合わせて、紙片候補領域Ｃａｎｄｎを作成する（Ｓ４０６）。以下の処理では、注目領域Ａが含まれる紙片（紙片候補領域）に含まれる文字列領域、画像領域を選択して、複数の紙片候補領域を作成し、複数の紙片候補領域から最適な紙片候補領域を選択する。なお、ここで作成する紙片候補領域は、近隣の文字列領域Ｃｋと画像領域Ｉｋを含む所定数の紙片候補領域であってもよく、必ずしもすべての文字列領域Ｃｋと画像領域Ｉｋとの組み合わせである必要はない。
【００４１】
次いで、紙片形状情報４１に基づいて、紙片候補領域が、紙片形状に収まるかどうかを判断する紙片形状判断（Ｓ４０７）を行う。例えば、紙片形状情報４１として、名刺サイズ（９１ｍｍ×５５ｍｍ）が設定されている場合、このサイズに収まるかどうかを判断する。収まらない場合（Ｓ４０７：Ｎｏ）は、当該紙片候補領域は、紙片候補領域から外されて、評価値の算出（Ｓ４０８）は実行されない。紙片形状判断（Ｓ４０７）の詳細は後述する。
【００４２】
次に、評価値算出（Ｓ４０８）を行う。ここで、注目領域Ａを含むとともに、名刺サイズを超過しない紙片候補領域として、図９に示す紙片候補領域Ｃａｎｄ１、および図１０に示す紙片候補領域Ｃａｎｄ２が検出されたものとする。紙片候補領域Ｃａｎｄ１，Ｃａｎｄ２は、１つの紙片に含まれる文字列領域、画像領域の集合である。
【００４３】
文字列領域Ｃｋおよび画像領域Ｉｋの矩形化処理（Ｓ４０５）において、元の文字列領域Ｃｋおよび画像領域Ｉｋと、矩形領域Ｃｋ’，Ｉｋ’の領域の面積と、の差（比）を比較したとき、その差が小さいほど、注目領域Ａとの適合性が高い（すなわち、同じ紙片である可能性が高い）と考えられる。
【００４４】
そこで、本実施形態では、それぞれの紙片候補領域Ｃａｎｄ１，Ｃａｎｄ２に含まれている各文字列領域Ｃｋと画像領域Ｉｋについて、矩形領域Ｃｋ’，Ｉｋ’との面積比に基づいて評価値を算出し、評価値に基づいて紙片候補領域の選択を行うものである。
【００４５】
評価値の算出方法の一例を説明する。紙片候補領域Ｃａｎｄの評価値をＶａｌ（Ｃａｎｄ）、文字列領域Ｃｋ、画像領域Ｉｋおよび矩形領域Ｃｋ’，Ｉｋ’の面積をＳ（Ｃ），Ｓ（Ｉ），Ｓ（Ｃ’），Ｓ（Ｉ’）とすると、紙片候補領域Ｃａｎｄ１の評価値は、次式（１）で表すことができる。
Ｖａｌ（Ｃａｎｄ１）＝Ｓ（Ｃ１’）／Ｓ（Ｃ１）＊Ｓ（Ｉ１’）／Ｓ（Ｉ１）＊Ｓ（Ｃ２’）／Ｓ（Ｃ２）      ・・・（１）
【００４６】
注目領域ＡのＳ（Ｃ１’）／Ｓ（Ｃ１）は１であるので、紙片候補領域Ｃａｎｄ１の評価値は、次式（２）で表される。
Ｖａｌ（Ｃａｎｄ１）＝Ｓ（Ｉ１’）／Ｓ（Ｉ１）＊Ｓ（Ｃ２’）／Ｓ（Ｃ２）      ・・・（２）
【００４７】
同様に、紙片候補領域Ｃａｎｄ２の評価値は、次式（３）で表すことができる。
Ｖａｌ（Ｃａｎｄ２）＝Ｓ（Ｃ１’）／Ｓ（Ｃ１）＊Ｓ（Ｃ２’）／Ｓ（Ｃ２）＊Ｓ（Ｃ３’）／Ｓ（Ｃ３）      ・・・（３）
【００４８】
注目領域ＡのＳ（Ｃ１’）／Ｓ（Ｃ１）は１であるので、紙片候補領域Ｃａｎｄ２の評価値は、次式（４）で表される。
Ｖａｌ（Ｃａｎｄ２）＝Ｓ（Ｃ２’）／Ｓ（Ｃ２）＊Ｓ（Ｃ３’）／Ｓ（Ｃ３）      ・・・（４）
【００４９】
上記の評価値の算出方法の場合、評価値の小さい方が、もとの文字列領域Ｃｋおよび画像領域Ｉｋと、矩形領域Ｃｋ’，Ｉｋ’の領域の面積と、の差が小さく、注目領域Ａとの適合性が高い（すなわち、同じ紙片である可能性が高い）と考えられるため、評価値Ｖａｌ（Ｃａｎｄ１）と、Ｖａｌ（Ｃａｎｄ２）の小さい方の紙片候補領域を選択する。ここでは、評価値Ｖａｌ（Ｃａｎｄ１）が小さく、紙片候補領域Ｃａｎｄ１が選択されるものとする。すなわち、注目領域Ａ（文字列領域Ｃ１）が含まれる紙片は、文字列領域Ｃ２と画像領域Ｉ１を含むものと判断される。
【００５０】
なお、複数の紙片候補領域についての評価値の算出方法は一例であって、文字列領域Ｃｋおよび画像領域Ｉｋの矩形化前後の面積変化についての情報に基づいて、注目領域Ａとの適合性を判断するものであれば、これに限られるものではない。
【００５１】
すべての紙片候補領域Ｃａｎｄｎについての処理が完了しているかどうかを判断し（Ｓ４０９）、完了している場合（Ｓ４０９：Ｙｅｓ）は、選択された紙片候補領域（評価値が最も低い紙片候補領域）を紙片領域として抽出する（Ｓ４１０）。このようにして切り出した紙片領域に含まれる文字列領域Ｃｋおよび画像領域Ｉｋは画像データ上消去する（Ｓ４１１）。ここでは、文字列領域Ｃ１，Ｃ２、および画像領域Ｉ１が除去される。
【００５２】
この消去処理（Ｓ４１１）の後、画像データに文字列領域Ｃｋ、画像領域Ｉｋが残っているかどうかを判断する（Ｓ４１２）。残っている場合（Ｓ４１２：Ｙｅｓ）は、Ｓ４０１へ戻り、次の注目領域Ａ（例えば、文字列領域Ｃ３）を設定して、同様の処理を行う。
【００５３】
ここで、紙片形状判断（Ｓ４０７）について説明する。文字列領域Ｃ３を注目領域Ａとして２つめの紙片領域を抽出し、文字列領域Ｃ３，Ｃ４、および画像領域Ｉ３が消去された状態を図１１および図１２示す。３つめの紙片領域の抽出の際の注目領域Ａは文字列領域Ｃ５となっている。
【００５４】
図１１に示す紙片候補領域Ｃａｎｄ３は、注目領域Ａである文字列領域Ｃ５（矩形領域Ｃ５’）と、文字列領域Ｃ６’（矩形領域Ｃ６’）と画像領域Ｉ２’（矩形領域Ｉ２’）とを含み、図１２に示す紙片候補領域Ｃａｎｄ４は、注目領域Ａである文字列領域Ｃ５（矩形領域Ｃ５’）と、文字列領域Ｃ６，Ｃ７，Ｃ８（矩形領域Ｃ６’，Ｃ７’Ｃ８’）と画像領域Ｉ２，Ｉ４（矩形領域Ｉ２’，Ｉ４’）とを含んでいる。
【００５５】
ここで、紙片候補領域Ｃａｎｄ３と紙片候補領域Ｃａｎｄ４についての評価値を算出した場合、２つの評価値には大きな差異がないと考えられるが、紙片候補領域Ｃａｎｄ４は、指定形状である名刺サイズ（９１ｍｍ×５５ｍｍ）を超過しているため選択されず（Ｓ４０７：Ｎｏ）、紙片候補領域Ｃａｎｄ３が検出されることとなる。
【００５６】
このように紙片候補領域が指定形状内に収まるかどうかを判断する（Ｓ４０７）ことにより、２以上の紙片が平行に配置された場合であっても、１つの紙片領域とは検出されず、別々に検出することが可能となる。
【００５７】
なお、図５の紙片検出処理（Ｓ４００）のフローチャートでは、紙片形状判断（Ｓ４０７）の後に、評価値を算出（Ｓ４０８）しているが、処理の順序はこれに限られるものではなく、例えば、評価値の算出（Ｓ４０８）後に紙片形状判断（Ｓ４０７）を行うようにしてもよい。また、例えば、矩形化処理（Ｓ４０５）の前に紙片形状判断（Ｓ４０７）を行うようにしてもよい。また、紙片形状判断（Ｓ４０７）と、評価値の算出（Ｓ４０８）の両方の処理を実行しているが、いずれか一方の処理結果に基づいて、紙片領域を選択するようにしてもよい。
【００５８】
次いで、注目領域Ａが画像領域である場合（Ｓ４０２：画像領域）について説明する。例えば、図１３（Ａ）に示すように、最も左上に位置する画像領域Ｉ５が注目領域Ａとして選択されているものとする。注目領域Ａが画像領域である場合、文字列領域の場合と異なり、水平ベクトルｕ、垂直ベクトルｖを一意に決めることがこの時点ではできない。
【００５９】
そこで、注目領域Ａが画像領域である場合は、先ず、近隣の文字列領域Ｃｋを順に選択し、仮の注目領域Ｐｒｏｖｎとして設定する（Ｓ４１３）。以下の処理（Ｓ４１４〜Ｓ４２１）は、仮の注目領域Ｐｒｏｖｎを注目領域Ａとみなして処理される。仮の注目領域Ｐｒｏｖｎは、少なくとも２以上の所定数を設定するものであればよい。例えば、図１３（Ｂ）に示すように、文字列領域Ｃ９が仮の注目領域Ｐｒｏｖ１として、また、図１３（Ｃ）に示すように、文字列領域Ｃ１０が仮の注目領域Ｐｒｏｖ２として選択される。そして、近隣の文字列領域で作成した紙片候補領域のなかから、画像領域（注目領域Ａ）を含み、かつ、最も評価値が低い組合せを選択する。なお、図１３では、矩形領域の図示は省略している。
【００６０】
図１３（Ｂ）に示す文字列領域Ｃ９を仮の注目領域Ｐｒｏｖ１とした場合、注目領域Ａである画像領域Ｉ５と、仮の注目領域Ｐｒｏｖ１である文字列領域Ｃ９と、文字列領域Ｃ１０が選択され、紙片候補領域Ｃａｎｄ５となる。
【００６１】
また、図１３（Ｃ）に示す文字列領域Ｃ１０を仮の注目領域Ｐｒｏｖ２とした場合、注目領域Ａである画像領域Ｉ５と、仮の注目領域Ｐｒｏｖ２である文字列領域Ｃ１０と、文字列領域Ｃ９が選択され、紙片候補領域Ｃａｎｄ６となる。
【００６２】
図１３（Ｂ），（Ｃ）のように、紙片候補領域Ｃａｎｄ５およびＣａｎｄ６が同一の領域となる場合は、紙片候補領域が決定されるが、仮の注目領域Ｐｒｏｖｎごとに紙片候補領域が異なる場合であっても、評価値を用いた比較により選択する候補領域を決めることができる。
【００６３】
以上説明した本実施形態に係る画像処理装置３０によれば、画像読取装置１０で読み取った画像データ等から紙片検出を行う際に、読み取り画像それぞれの画素に対して周辺画素情報をもとに得られた文字列領域、および画像領域の情報に加えて、設定された紙片形状の情報を用いて、紙片の形状に収まる最適な文字列領域、および画像領域の組み合わせを検出して、個々の紙片の領域を判別している。これにより、２以上の紙片が平行に載置された場合であっても、別々の紙片として認識して、紙片検出精度の向上を図ることができる。また、設定された注目領域と他の文字列領域および画像領域が同じ傾きであると仮定して矩形化した場合の、他の文字列領域および画像領域の矩形化前後の面積変化に基づいて、紙片領域を選択することで、紙片検出精度の向上を図ることができる。
【００６４】
［第２の実施形態］
以下、本発明に係る画像処理装置の他の実施形態について説明する。なお、上記実施形態と同様の点についての説明は適宜省略する。
【００６５】
第１の実施形態では、紙片形状情報４１がユーザ等により設定された情報である場合について説明したが、画像処理装置３０が画像データ（入力画像４０）に基づいて、紙片形状情報４１を予測することも好ましい。画像処理装置３０が紙片形状情報４１を予測することにより、ユーザによる紙片形状情報４１の入力、設定が不要となる。
【００６６】
図１４は、第２の実施形態に係る画像処理装置３０の機能構成図である。画像処理装置３０は、像域分離手段３１、文字列・画像領域抽出手段３２、文字列矩形化手段３３、紙片検出手段３４、文字列・画像認識手段３５、および、紙片形状予測手段３６を備えている。
【００６７】
文字列・画像認識手段３５は、入力画像４０について文字認識処理を実行し、紙片形状予測手段３６は、検出した文字認識結果に基づいて、紙片の種別を予測する。例えば、検出した文字列にレシートに特徴的な文字列（合計、￥マーク、お預かり、お釣り、等）がある場合は、紙片をレシートと判断し、これを紙片形状情報４１とすることができる。また、例えば、名刺に特徴的な文字列（株式会社、事務所、営業所、電話番号、郵便番号、等）がある場合は、紙片を名刺と判断し、これを紙片形状情報４１とすることができる。また、紙片形状予測手段３６は、検出した文字列を意味的に解釈して、その内容から紙片の種類を予測するようにしてもよい。
【００６８】
また、文字列・画像認識手段３５は、入力画像４０について画像（図形）認識処理を実行し、紙片形状予測手段３６は、検出した画像（図形）認識結果に基づいて、紙片の種別を予測することができる。例えば、検出した画像（図形）に、所定の種別の原稿に特徴的な画像（図形）を含んでいる場合は、これに基づいて、紙片形状を予測することができる。文字列・画像認識手段３５は、文字認識結果や画像認識結果のキーワード、特徴的な図形等と、これを含む可能性の高い原稿の種別との関係を示す情報をデータベースとして有しているものであればよい。
【００６９】
［その他の実施形態］
上記実施形態では、文字列領域Ｃｋと画像領域Ｉｋの配置関係に基づいて、紙片領域を判定する例を説明したが、上記の処理に加えて、文字列・画像認識手段３５により、文字列領域Ｃｋの内容を文字認識処理により認識し、紙片検出手段３４は、この認識結果を紙片領域の判定の際に用いることも好ましい。例えば、レシートや名刺の場合であれば、フォーマットはある程度決まっているので、検出した文字列領域Ｃｋの内容（文字列）と、その紙片における位置の妥当性を考慮して判定を行うことで、紙片形状の判定精度の向上を図ることができる。
【００７０】
また、紙片の種別ごとにユーザに推奨される配置方法がある場合、紙片検出手段３４は、紙片領域の判定に際し、推奨された配置方法との比較を行うことで、紙片形状の判定精度の向上を図ることができる。
【００７１】
また、入力画像４０の像域分離処理（Ｓ１００）において、網点領域を判別しておき、網点領域に隣接する文字列領域Ｃｋおよび画像領域Ｉｋについては、同一の紙片である可能性が高いと判断できる。そのため、これを判定に用いることで、判定精度の向上を図ることができる。具体的には、例えば、網点領域に隣接する文字列領域Ｃｋおよび画像領域Ｉｋについては、紙片領域の抽出の際に重み付け処理等を行うことで、同一の紙片に含まれる蓋然性が高いものとして処理をすることができる。
【００７２】
尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。
【符号の説明】
【００７３】
１  コンタクトガラス
２  圧板
３，４  反射板
５  露光ランプ
６  駆動部
１０  画像読取装置
１１  ＣＣＤ
１２  ＩＰＵ（画像処理ユニット）
１３  画像蓄積部
１４  読取制御部
１５  ＣＰＵ
１６  ＲＯＭ
１７  ＲＡＭ
１８  不揮発性メモリ
１９  操作部
２０  システムバス
３０  画像処理装置
３１  像域分離手段
３２  文字列・画像領域抽出手段
３３  文字列矩形化手段
３４  紙片検出手段
３５  文字列・画像認識手段
３６  紙片形状予測手段
４０  入力画像
４１  紙片形状情報
４２  紙片検出結果
Ｐ  原稿
【先行技術文献】
【特許文献】
【００７４】
【特許文献１】特開２０１５−１７３４１８号公報
【図１】
2019086845.tif 000003
【図２】
2019086845.tif 000004
【図３】
2019086845.tif 000005
【図４】
2019086845.tif 000006
【図５】
2019086845.tif 000007
【図６】
2019086845.tif 000008
【図７】
2019086845.tif 000009
【図８】
2019086845.tif 000010
【図９】
2019086845.tif 000011
【図１０】
2019086845.tif 000012
【図１１】
2019086845.tif 000013
【図１２】
2019086845.tif 000014
【図１３】
2019086845.tif 000015
【図１４】
2019086845.tif 000016