(57)【要約】      （修正有）【課題】原稿におけるマーキングされた複数種類の領域を容易に分類できる画像処理装置を提供する。【解決手段】画像処理装置１は、スキャナ１２と、メモリ２２、２３と、プロセッサ２１とを有する。スキャナ１２は、原稿の読取画像を取得する。メモリ２２、２３は、スキャナ１２により取得した原稿の読取画像を記憶する。プロセッサ２１は、メモリ２２、２３に記憶した原稿の読取画像において有彩色で塗りつぶされた領域を含む塗りつぶし領域と有彩色で囲まれた領域を含む囲み領域とを検出し、塗りつぶし領域を第１の処理用の領域とし、囲み領域を第２の処理用の領域として分類する。【選択図】図１
2019096178.tif 000002
【特許請求の範囲】
【請求項１】
原稿の読取画像を取得するスキャナと、
前記スキャナにより取得した原稿の読取画像を記憶するメモリと、
前記メモリに記憶した原稿の読取画像において有彩色で塗りつぶされた領域を含む塗りつぶし領域と前記有彩色で囲まれた領域を含む囲み領域とを検出し、前記塗りつぶし領域を第１の処理用の領域とし、前記囲み領域を第２の処理用の領域として分類するプロセッサと、
を有する画像処理装置。
【請求項２】
前記プロセッサは、前記有彩色で塗りつぶされた領域を包含する矩形領域を塗りつぶし領域として切り出す、
請求項１に記載の画像処理装置。
【請求項３】
前記プロセッサは、前記原稿における一部の領域を囲むように形成された有彩色の領域に対する輪郭を囲み領域として切り出す、
請求項２に記載の画像処理装置。
【請求項４】
前記プロセッサは、前記塗りつぶし領域として切り出した領域に対して第１の処理を実行し、前記囲み領域として切り出した領域に対して第２の処理を実行する、
請求項３に記載の画像処理装置。
【請求項５】
前記プロセッサは、前記原稿の読取画像における前記有彩色の領域に対する輪郭線を抽出し、前記輪郭線内における白画素の比率が閾値未満であれば前記有彩色の領域が塗りつぶし領域を示すマーキングであると判定し、前記輪郭線内における白画素の比率が閾値以上であれば前記有彩色の領域が囲み領域を示すマーキングであると判定する、
請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記プロセッサは、前記原稿の読取画像における前記有彩色の領域に対する輪郭線を抽出し、前記輪郭線内における有彩色画素の比率が閾値以上であれば前記有彩色の領域が塗りつぶし領域を示すマーキングであると判定し、前記輪郭線内における有彩色画素の比率が閾値未満であれば前記有彩色の領域が囲み領域を示すマーキングであると判定する、
請求項１乃至４の何れか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
デジタル複合機などの画像処理装置では、原稿にマーカーペンでマーキングされた領域（マーカー領域）を検出し、検出した領域にＯＣＲ処理などの処理を行う機能を有するものがある。従来のデジタル複合機では、定形の伝票等の決まったフォーマットの原稿に対して座標を指定して複数のマーカー領域を複数のカテゴリに分類する機能を有するものもある。しかし、フォーマットが決まっていない原稿における複数のマーカー領域を複数のカテゴリに分類するためには、原稿ごとにカテゴリを定義する座標を指定する必要がある。
【０００３】
また、ユーザがマーカー領域にシンボル文字を記入し、画像処理装置が、マーカー領域におけるシンボル文字を認識することによってマーカー領域を分類する技術がある。しかし、このような従来技術では、ユーザがマーカー領域ごとシンボル文字を記入する手間がかかる。また、画像処理装置は、マーカー領域に記入されたシンボル文字を誤認識する可能性もあるという問題点がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−１５１３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記した課題を解決するために、原稿におけるマーキングされた複数種類の領域を容易に分類できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態によれば、画像処理装置は、スキャナと、メモリと、プロセッサとを有する。スキャナは、原稿の読取画像を取得する。メモリは、前記スキャナにより取得した原稿の読取画像を記憶する。プロセッサは、前記メモリに記憶した原稿の読取画像において有彩色で塗りつぶされた領域を含む塗りつぶし領域と前記有彩色で囲まれた領域を含む囲み領域とを検出し、前記塗りつぶし領域を第１の処理用の領域とし、前記囲み領域を第２の処理用の領域として分類する。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】図２は、実施形態に係る画像処理装置がスキャンする原稿の例を示す図である。
【図３】図３は、実施形態に係る画像処理装置の動作例を説明するためのフローチャートである。
【図４】図４は、実施形態に係る画像読取装置における領域検出処理の動作例を説明するためのフローチャートである。
【図５】図５は、実施形態に係る画像処理装置が処理対象とする原稿の読取画像に含まれるノイズの例を示す図である。
【図６】図６は、実施形態に係る画像処理装置がノイズ除去処理によってノイズを除去した画像の例を示す図である。
【図７】図７は、実施形態に係る画像処理装置が処理対象とする原稿の読取画像に含まれるノイズの例を示す図である。
【図８】図８は、実施形態に係る画像処理装置がノイズ除去処理によってノイズを除去した画像の例を示す図である。
【図９】図９は、実施形態に係る画像処理装置が抽出する有彩色の領域に対する輪郭線の例を示す図である。
【図１０】図１０は、実施形態に係る画像処理装置が抽出する有彩色の領域に対する輪郭線の例を示す図である。
【図１１】図１１は、実施形態に係る画像処理装置が領域検出処理の結果として切り出される塗りつぶし領域の例と囲み領域の例とを示す図である。
【図１２】図１２は、実施形態に係る画像処理装置によるマーカー領域の分類処理を適用する第１の適用例を説明するための図である。
【図１３】図１３は、実施形態に係る画像処理装置によるマーカー領域の分類処理を適用する第２の適用例を説明するための図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら実施形態について説明する。
実施形態に係る画像処理装置は、原稿を読取る画像読取装置と画像読取装置が読取った画像を処理する処理部とを有する。たとえば、本実施形態に係る画像処理装置は、画像読取装置としてのスキャナなどを有するデジタル複合機などで実現される。また、本実施形態に係る画像処理装置は、画像読取装置としてのスキャナとスキャナに接続したコンピュータとを含むシステムとして構成しても良い。
【０００９】
図１は、実施形態に係る画像処理装置１の構成例を示すブロック図である。
図１に示すように、画像処理装置１は、システム処理部１１、スキャナ１２、プリンタ１３、および、操作パネル１４を有する。たとえば、図１に示す画像処理装置１は、デジタル複合機を想定した構成例を示すものである。
【００１０】
スキャナ１２は、原稿台（たとえば、透過のガラス板）に配置された原稿をスキャンし、原稿の画像を取得する。たとえば、スキャナ１２は、発光体と光電変換装置とを有する。発光体は、原稿台に配置された原稿面に向けて発光する。光電変換装置は、原稿面からの光を受光して電子データに変換する受光素子（ＣＣＤイメージセンサなど）などを有する。また、スキャナ１２は、自動給紙装置（ＡＤＦ）が給紙する原稿の画像を読取るものであっても良い。
【００１１】
たとえば、スキャナ１２は、システム処理部１１からの指示に応じて原稿台にセットされた原稿面の画像をスキャンする。スキャナ１２は、スキャナした画像に応じて各画素をＲ（赤）、Ｇ（緑）およびＢ（青）の各値で表す画像信号（ＲＧＢの画像データ）を生成する。スキャナ１２は、生成したＲＧＢの画像データを原稿の読取画像としての画像データをシステム処理部１１へ出力する。
【００１２】
プリンタ１３は、記録媒体としてのシート上に画像を形成する画像形成装置である。プリンタ１３は、システム処理部１１から供給される印刷処理用の画像データに基づいてシート上に画像を形成する。プリンタ１３は、画像形成方式が特定の方式に限定されるものではない。たとえば、プリンタ１３は、電子写真方式の画像形成装置であっても良いし、インクジェット方式や熱転写方式の画像形成装置であっても良い。
【００１３】
操作パネル１４は、表示部１４ａおよび操作部１４ｂを有する。たとえば、操作パネル１４は、表示部１４ａとしてのフラット型モニタに設けた操作部１４ｂとしてのタッチパネルを有する。また、操作部１４ｂとしては、スタートキーおよびテンキーなどのハードキーを設けても良い。表示部１４ａは、画像処理装置１の状態やジョブの進行状況などを表示する。
【００１４】
システム処理部１１は、画像処理装置１の各ハードウェアを統括的に制御する。システム処理部１１は、プロセッサ２１、メインメモリ２２、ページメモリ２３、ＨＤＤ（Hard disk drive）２４、および、外部ＩＦ（インターフェース）２５、スキャナＩＦ２６、画像処理部２７、および、プリンタＩＦ２８などを有する。プロセッサ２１は、たとえば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）などである。メインメモリ２２は、ＲＡＭおよびＲＡＭなどの各種のメモリを有する。
【００１５】
ページメモリ２３は、処理対象とする画像データを一時的に記憶する。たとえば、ページメモリ２３は、画像処理部２８が処理した画像データを格納する。プロセッサ２１は、ページメモリ２３が格納する画像データに対して後述する各種の処理を実行する。  
ＨＤＤ２４は、書換え可能な不揮発性のメモリである。ＨＤＤ２４は、データやプログラムを記憶する。プロセッサ２１は、メインメモリ２２のＲＯＭまたはＨＤＤ２４が記憶するプログラムを実行することにより、各種の処理を実現する。たとえば、プロセッサ２１は、プログラムをメインメモリ２２のＲＡＭ上に展開して実行することにより、制御部あるいはデータ処理部として機能する。
【００１６】
外部ＩＦ２５は、外部装置と通信するためのインターフェースである。たとえば、プロセッサ２１は、外部ＩＦ２５を介して後述する処理によって得た画像データを外部装置へ出力するようにしても良い。  
スキャナＩＦ２６は、スキャナ１２を接続するためのインターフェースである。プリンタＩＦ２８は、プリンタ１３を接続するためのインターフェースである。
【００１７】
画像処理部２７は、画像データに対して予め設定した画像処理を行う。たとえば、画像処理部２７は、ＡＳＩＣ（Application Specific Integrated Circuit）で実現される。画像処理部２７は、入力した画像を処理する入力処理部と出力する画像を処理する出力処理部とを有する構成としても良い。たとえば、画像処理部２７の入力処理部は、スキャナ１２が読取る画像データ、あるいは、外部装置から供給される画像データに対して所定の画像処理を行う。また、出力処理部は、画像データをプリンタ１３に出力する印刷処理用の画像データに変換するための画像処理を行う。
【００１８】
たとえば、画像処理部２７は、スキャナ１２からのＲＧＢの画像データ（原稿の読取画像）に対し、入力処理としての色変換およびフィルタ処理等の所定の画像処理を施す。画像処理部２７は、入力処理を施した画像データをシステム処理部１１内のメモリに格納する。また、画像処理部２７は、入力処理した画像データに所定の画像圧縮などを行って所定形式の画像ファイルとしてシステム処理部１１内のメモリに保存しても良い。
【００１９】
次に、実施形態に係る画像処理装置１におけるマーカー領域の分類処理について説明する。  
画像処理装置１は、原稿の読取画像において有彩色のマーカーペン（以下、単にマーカーと称する）でマーキングされた複数種類のマーカー領域を検出する機能を有する。また、画像処理装置１は、原稿の読取画像から検出したマーカー領域を分類する機能と各分類に応じて各領域に対して各種の処理を実行する機能とを有する。本実施形態では、原稿の読取画像に対するマーカー領域の検出および分類を含む一連の処理をマーカー領域の分類処理として説明する。
【００２０】
また、本実施形態では、画像処理装置１は、マーカー領域の例として、塗りつぶし領域（第１領域）と囲み領域（第２領域）とを検出するものとする。塗りつぶし領域は、原稿上においてマーカーで塗りつぶされた領域に基づいて検出される。たとえば、塗りつぶし領域は、原稿における特定の文字列を指定するために当該文字列上をユーザがマーカーでなぞることでマーキングされる領域を想定する。また、囲み領域は、原稿上においてマーカーで示す線で囲まれる領域に基づいて検出される。たとえば、囲み領域は、原稿において指定したい文字群または図などを含む領域をユーザがマーカーで囲むようにマーキングすることで指定される領域を想定する。
【００２１】
さらに、本実施形態に係る画像処理装置１は、検出した各種のマーカー領域を複数のカテゴリなどに分類する機能を有する。後述する処理例において、画像処理装置１は、塗りつぶし領域を第１の処理用の領域として分類し、囲み領域を第２の処理用の領域として分類する。すなわち、第１の処理は塗りつぶし領域に対して実施する処理であり、第２の処理は囲み領域に対して実施する処理である。たとえば、第１の処理および第２の処理は、
塗りつぶし領域又は囲み領域のいずれかを使ってジョブ又はワークフロー中の1ステップとして必要な処理を行うものである。ワークフローに必要な処理として、各領域をＯＣＲ処理し、ＯＣＲで抽出したそれぞれのテキストを、塗りつぶし領域又は囲み領域と予め紐づけられた処理プロセスの中に取り込むようにしてもよい。また、第１の処理と第２の処理とは、異なるアルゴリズムで実行されるＯＣＲ処理であっても良いし、異なる辞書を用いて文字を認識するＯＣＲ処理であっても良い。また、第１の処理と第２の処理とは、ＯＣＲ処理以外の処理であってもよい。
【００２２】
次に、実施形態に係る画像処理装置１が処理対象とする原稿と原稿においてマーカーでマーキングされる領域（マーカー領域）について説明する。  
本実施形態において、ユーザは、後述する処理（マーカー領域の分類処理）の対象とする原稿に対して、マーカーを用いて各種の領域をマーキングするものとする。たとえば、ユーザは、原稿において第１の処理を実施する領域（たとえば、文字列）を塗りつぶし、第２の処理を実施する領域（たとえば、複数の文字や図などを含む領域）を囲むようにマーキングする。マーカーは、後述する処理において、有彩色として検出される色で原稿上をマーキングするペンである。マーカーは、予め用意する専用のペンであっても良いし、一般に流通するペンのうち有彩色として検出可能な色のペンであっても良い。
【００２３】
図２は、マーカーによる塗りつぶしと囲みとで領域が指定された原稿の例を示す図である。  
図２に示す原稿は、所定の有彩色のマーカーで記入されたマーキングＭ１とマーキングＭ２とを有する。マーキングＭ１は、原稿における塗りつぶしによる領域指定の例を示す。マーキングＭ２は、原稿における囲みによる領域指定の例を示す。図２に示す例では、マーキングＭ１は、原稿において１行に並んだ８文字からなる文字列を塗りつぶすように形成されている。マーキングＭ２は、２行分の複数文字からなる文字群を含む領域を囲むように形成されている。
【００２４】
塗りつぶしによる領域指定として、ユーザは、指定の対象とする文字又は文字列などをマーカーでなぞってマーキングする。このため、指定の対象とする全てが、完全に塗りつぶされないことが多いと想定される。図２に示す具体例では、マーキングＭ１は、８文字分の文字列における各文字の少なくとも一部を塗りつぶしているが、全ての文字を完全に塗りつぶしてはいない。
【００２５】
また、囲みによる領域指定として、ユーザは、指定の対象とする全ての文字や図などを含む領域を囲むようにマーキングする。このため、指定対象とする全ての文字や図などは、マーキングされた囲み内に完全に包含されることが多いと想定される。図２に示す具体例では、マーキングＭ２は、２行に並んだ１９文字の全文字を完全に包含するように囲んだ領域を示している。
【００２６】
次に、実施形態に係る画像処理装置１の動作例について説明する。  
図３は、画像処理装置１におけるマーカー領域の分類処理の流れを概略的に説明するためのフローチャートである。  
まず、ユーザは、操作パネル１４の操作部１４ｂを用いて原稿におけるマーカー領域の分類処理を指示する。さらに、ユーザは、分類の対象とする領域をそれぞれマーカーでマーキングした原稿をスキャナ１２の原稿台にセットし、操作パネル１４で処理開始を指示する。
【００２７】
画像処理装置１のプロセッサ２１は、操作パネル１４においてマーカー領域の分類処理が指定されたことを検知する。マーカー領域の分類処理が指定されると、プロセッサ２１は、動作モードをマーカー領域の分類処理を行うモードに設定する（ＡＣＴ１１）。マーカー領域の分類処理を設定すると、プロセッサ２１は、操作パネル１４におけるスキャン開始の指示を待つ。スキャン開始が指示されると、プロセッサ２１は、スキャナ１２によって原稿台上の原稿を読取る処理を実行する（ＡＣＴ１２）。
【００２８】
スキャナ１２は、プロセッサ２１からの指示に応じて原稿台にセットされた原稿面の画像をスキャンし、原稿の読取画像としてのＲＧＢの画像データを生成する。スキャナ１２は、原稿の読取画像としてのＲＧＢの画像データを画像処理部２７へ出力する。画像処理部２７は、スキャナ１２からのＲＧＢの画像データに対して、色変換およびフィルタ処理などの入力処理を施してメモリに格納する（ＡＣＴ１３）。たとえば、画像処理部２７は、入力処理を施した原稿の読取画像としてのＲＧＢの画像データをページメモリ２３に格納する。また、画像処理部２７は、入力処理したＲＧＢの画像データに対して圧縮処理などのデータ変換を施して所定形式の画像ファイルとしてＨＤＤ２４に保存しても良い。
【００２９】
原稿の読取画像としての画像データをメモリに格納した後、プロセッサ２１は、原稿の読取画像に対してマーカー領域を検出する領域検出処理を実行する（ＡＣＴ１４）。プロセッサ２１は、領域検出処理として、原稿の読取画像における各種のマーカー領域を検出し、検出した各マーカー領域を分類する。  
たとえば、プロセッサ２１は、原稿の読取画像において有彩色の領域として現れるマーキングを検出する。プロセッサ２１は、検出したマーキングが示す領域（マーキング方法）を判定する。プロセッサ２１は、判定したマーキング方法に応じて各マーキングが示すマーカー領域を分類し、分類したマーカー領域の画像を切出す。
【００３０】
本実施形態において、プロセッサ２１は、原稿の読取画像における複数種類のマーカー領域として、塗りつぶした領域と囲み領域とを検出するものとする。プロセッサ２１は、原稿の読取画像における塗りつぶし領域と囲み領域とを検出し、塗りつぶし領域の画像と囲み領域の画像とを切出す。本実施形態では、プロセッサ２１は、塗りつぶし領域を第１の処理用の領域として分類し、囲み領域を第２の処理用の領域として分類する。  
なお、ＡＣＴ１４の領域検出処理については、後で詳細に説明するものとする。
【００３１】
原稿の読取画像における各マーカー領域を分類すると、プロセッサ２１は、分類した各マーカー領域に対して分類ごとに設定した処理を実行する（ＡＣＴ１５）。本実施形態では、プロセッサ２１は、塗りつぶし領域の画像に対しては第１の処理を実行し、囲み領域の画像に対しては第２の処理を実行するものとする。
【００３２】
上述したマーカー領域の分類処理によれば、画像処理装置は、原稿における複数のマーカー領域を各領域に対するマーキングの状態に応じて分類する。本実施形態では、画像処理装置は、ユーザがマーカーを用いて、塗りつぶしで指定する塗りつぶし領域と囲みで指定する囲み領域とを判別する。これにより、ユーザは、複数のマーカーを用いることなく、１つのマーカーを用いて、塗りつぶし又は囲みでマーキングした領域ごとの分類や処理ができる。
【００３３】
次に、原稿におけるマーカー領域を検出する領域検出処理について説明する。  
図４は、実施形態に係る画像処理装置１による領域検出処理を説明するためのフローチャートである。  
システム処理部１１のプロセッサ２１は、原稿の読取画像に対してマーカー領域を検出する領域検出処理を実施する。たとえば、原稿の読取画像をファイル化してＨＤＤ２４に保存する場合、プロセッサ２１は、当該ファイルをＲＧＢの画像データに復元してページメモリ２３に展開する。ここでは、モノクロ（白黒）の書面に有彩色のマーカーで各領域がマーキングされた原稿を想定する。また、プロセッサ２１が処理対象とする原稿の読取画像は、ＲＧＢの画像データであると想定するものとする。
【００３４】
領域検出処理において、プロセッサ２１は、原稿の読取画像（ＲＧＢの画像データ）においてマーカーでマーキングされた色としての有彩色の画素を判定する（ＡＣＴ２１）。たとえば、プロセッサ２１は、画素ごとの｜Ｒ−Ｇ｜や｜Ｇ−Ｂ｜の値がしきい値以上であるかを判定することにより原稿の読取画像における有彩色を判定する。また、プロセッサ２１は、Ｌ＊ａ＊ｂ＊の空間に変換し、予め設定した無彩色の領域に含まれる場合を無彩色と判定するようにしてもよい。
【００３５】
原稿の読取画像における有彩色の画素を判定すると、プロセッサ２１は、原稿の読取画像におけるノイズを除去するノイズ除去処理を行う（ＡＣＴ２２）。ノイズ除去処理は、スキャナ１２による読取のばらつき、原稿台または光学系などに付着したゴミなどによるノイズ成分を除去（ノイズ除去）する処理である。また、ノイズ除去処理は、ユーザ（マーキングした者）が意図するマーキング部位を検出するために、マーキングのかすれ、および、途切れなどを補正する処理（マーキング補正）も含むものとする。
【００３６】
たとえば、プロセッサ２１は、ノイズ除去として、有彩色と判定した画素とその周囲の画素に対して読取のばらつき又はゴミなどの影響によるノイズ成分を除去する。具体例として、プロセッサ２１は、原稿の読取画像に対して収縮および膨張処理を施すことにより微小な有彩色の画素（ノイズ成分）を除去することができる。
【００３７】
また、マーキング補正として、プロセッサ２１は、マーキングがかすれた箇所、あるいは、途切れた箇所を有彩色に補正する。つまり、マーキング補正は、本来結合されるべき有彩色の画素群が途切れている箇所（領域）又は有彩色の画素群の領域中に混在する無彩色を有彩色に変換する処理である。具体例として、プロセッサ２１は、原稿の読取画像に対して収縮および膨張処理を施すことによりかすれや途切れを有彩色に変換するマーキング補正を実現できる。
【００３８】
図５は、マーキングされた領域（有彩色と判定された画素群）が微小な範囲で途切れている画像の例である。また、図６は、図５に示す画像に対してマーキング補正を施した画像の例を示す図である。  
図５に示すような画像は、ノイズ除去処理に含まれるマーキング補正の処理としての膨張および収縮処理が実施されることで、図６に示すような画像に補正される。すなわち、図５に示す画像は、ノイズ除去処理によって、マーキングが途切れていた箇所が連結され、図６に示す画像に変換される。
【００３９】
図７は、マーキングされた領域（有彩色と判定された画素群）において無彩色の画素が混在する画像の例である。また、図８は、図７に示す画像にマーキング補正を施した画像の例を示す図である。  
たとえば、図７に示すような画像は、ユーザが原稿上にマーカーでマーキングする場合にかすれが生じることにより現れる。図７に示すような画像は、ノイズ除去処理に含まれるマーキングの補正処理としての膨張および収縮処理によって図８に示すような画像に補正される。すなわち、図７に示す画像は、ノイズ除去処理によってかすれ等に起因する白画素部分が有彩色の画素に変換されるため、図８に示すような画像に変換される。
【００４０】
ノイズ除去処理を実行した後、プロセッサ２１は、ノイズ除去処理した画像データに対して白画素の判定処理を行う（ＡＣＴ２３）。白画素の判定処理は、有彩色の画素群が囲む領域（有彩色の領域）内に存在する白画素を判定する処理である。プロセッサ２１は、ノイズ除去処理した画像データにおける有彩色の領域に対する輪郭（最外郭）を抽出する。たとえば、プロセッサ２１は、連結する有彩色の画素群について最も外側となる輪郭線を抽出する。有彩色の領域に対する輪郭線を抽出すると、プロセッサ２１は、有彩色の領域に対する輪郭内に含まれる白画素の比率を計数する。ここで、白画素の比率は、輪郭内に含まれる全画素中の白画素比率である。たとえば、プロセッサ２１は、輪郭内における全画素数と白画素数とに基づいて白画素の比率を計数する。
【００４１】
図９は、図２に示す原稿においてマーカーによる塗りつぶしで領域を指定するマーキングＭ１に対して検出される輪郭線ｒ１を示す図である。塗りつぶし領域を示すマーキングＭ１は、マーキング自体（有彩色の画素群）の最も外側が輪郭線ｒ１として抽出される。輪郭線ｒ１は、マーカーで塗りつぶされた領域の輪郭である。このため、輪郭線ｒ１の内部は、ノイズなどの画素を除いて有彩色の画素が占めることとなる。
【００４２】
図１０は、図２に示す原稿においてマーカーによる囲みで領域を指定するマーキングＭ２に対して検出される輪郭線ｒ２を示す図である。マーキングＭ２は、指定する領域を囲むように形成されるため、最も外側の輪郭が輪郭線ｒ２として抽出される。すなわち、輪郭線ｒ２は、指定する領域を囲むように形成されたマーキングの外側の輪郭であり、輪郭線ｒ２の内側がマーカーで塗りつぶされているものではない。このため、輪郭線ｒ２の内側には、有彩色とは異なる色の画素（原稿における背景色の画素）が多数存在することとなる。たとえば、原稿の背景色が白色であれば、輪郭線ｒ２の内部は、多数の白画素が存在するものとなる。ここでは、原稿の背景色が白色であることを想定し、プロセッサ２１は、原稿の背景色としての白の画素を検出する白画素の判定処理を行う。
【００４３】
白画素の判定処理を実行すると、プロセッサ２１は、マーキング方法の判定処理を行う（ＡＣＴ２４）。マーキング方法の判定処理では、原稿におけるマーキングが指定するマーカー領域の種類を判定する。本実施形態では、プロセッサ２１は、マーキング方法の判定処理として、原稿の読取画像から検出した各マーキングが示す領域が塗りつぶし領域か囲み領域かを判定する。
【００４４】
上述した白画素の判定処理において、プロセッサ２１は、マーキングされた各領域の輪郭線の内部に存在する白画素（有彩色とは異なる色の画素）の比率を計数する。塗りつぶしで領域を指定するマーキングの輪郭線の内部は白画素が少なく、囲みで領域を指定するマーキングの輪郭線の内部は白画素が多くなる。このため、プロセッサ２１は、マーキングの輪郭線の内部における白画素の比率によってマーキングが示す領域が塗りつぶし領域か囲み領域かを判定する。この判定は、閾値を使い、閾値を超えれば囲み領域、閾値以下であれば塗りつぶし領域として択一的に行われる。
【００４５】
たとえば、プロセッサ２１は、輪郭線の内部に存在する白画素の比率が閾値以上か否かを判定する。プロセッサ２１は、輪郭線の内部に存在する白画素の比率が閾値未満とであれば当該輪郭線のマーキング（マーキング方法）が塗りつぶしであると判定する。また、プロセッサ２１は、輪郭線の内部に存在する白画素の比率が閾値以上であれば当該輪郭線のマーキング（マーキング方法）が囲みであると判定する。
【００４６】
マーキング方法の判定処理が終了すると、プロセッサ２１は、マーキング方法の判定結果に基づいて各マーカー領域を切り出す切出処理を行う（ＡＣＴ２５）。ここで、プロセッサ２１は、マーキング方法に応じたマーカー領域の切出処理を行う。すなわち、プロセッサ２１は、マーキング方法が塗りつぶしと判定したマーキングに対しては塗りつぶし領域の切出処理を実行する。また、プロセッサ２１は、マーキング方法が囲みと判定したマーキングに対しては囲み領域の切出処理を実行する。
【００４７】
たとえば、塗りつぶしと判定したマーキングに対して、プロセッサ２１は、当該マーキングを形成する有彩色の画素群（有彩色の領域）を包含する矩形（外接矩形）領域を検出する。プロセッサ２１は、図９に示すようなマーキングの輪郭線に基づいて矩形領域を示す座標値を特定する。プロセッサ２１は、特定した座標値によって矩形領域を切出し、切出した矩形領域を塗りつぶし領域とする。有彩色の領域（マーキングの輪郭線）を包含する矩形領域を切出すことにより、塗りつぶしで指定された領域は、完全に塗りつぶされていない文字も含む領域を切出せる。
【００４８】
また、囲みと判定したマーキングに対して、プロセッサ２１は、当該マーキングの最も外側の輪郭に基づく領域（最外郭の領域）を検出する。たとえば、プロセッサ２１は、図１０に示すようなマーキングの輪郭線に沿って領域を切出し、切出した領域を囲み領域とする。
【００４９】
なお、上記した例では、有彩色の領域に対する輪郭線内における白画素の比率に基づいて塗りつぶし領域か囲み領域かを判定したが、輪郭線内における有彩色画素の比率に基づいて塗りつぶし領域か囲み領域かを判定しても良い。ここで、有彩色画素の比率は、輪郭内に含まれる全画素中の有彩色画素の比率である。たとえば、プロセッサは、輪郭内における全画素数と有彩色の画素数とに基づいて有彩色画素の比率を計数する。
【００５０】
輪郭内における有彩色画素の比率でマーキング方法を判定する場合、プロセッサは、ＡＣＴ２３において、白画素の比率に替えて、有彩色の領域に対する輪郭内に含まれる有彩色画素の比率を判定する。有彩色画素の比率を判定すると、プロセッサは、ＡＣＴ２４において、有彩色画素の比率が閾値以上であれば当該有彩色の領域が塗りつぶし領域を示すマーキングであると判定し、有彩色画素の比率が閾値未満であれば前記有彩色の領域が囲み領域を示すマーキングであると判定する。このような処理によれば、プロセッサは、マーキング方法を輪郭内における有彩色画素の比率で判定できる。
【００５１】
以上の処理によれば、画像処理装置は、原稿の読取画像からマーカー領域を検出し、検出した各マーカー領域をマーキングの方法に応じて分類する。本実施形態の画像処理装置は、マーキングが塗りつぶしで領域を指定するものか、囲みで領域を指定するものかを判定する。画像処理装置は、マーキング方法の判定結果に基づいて塗りつぶし領域と囲み領域とをそれぞれ切出す。
【００５２】
また、塗りつぶしで領域を指定するマーキングと判定した場合、画像処理装置は、当該マーキングの外接矩形領域を塗りつぶし領域として画像を切り出す。これにより、画像処理装置は、完全に塗りつぶされていない文字があっても、塗りつぶしで指定された文字又は文字列を含む領域を検出できる。この結果として、画像処理装置は、塗りつぶしで文字や文字列をマーキングしたユーザに意図に沿った塗りつぶし領域の画像を切出すことができる。
【００５３】
また、囲みで領域を指定するマーキングと判定した場合、画像処理装置は、当該マーキングが示す領域の最外郭を囲み領域として画像を切り出す。これにより、画像処理装置は、ユーザが囲みでマーキングした領域を過不足なく検出でき、ユーザが意図に沿った囲み領域の画像を切出すことができる。
【００５４】
以下、本実施形態に係る画像処理装置１によるマーカー領域の分類処理の適用例について説明する。  
上述したように、本実施形態に係る画像処理装置１は、ユーザがマーカーによる塗りつぶしと囲みで指定した原稿上の領域（マーカー領域）をそれぞれ検出する。塗りつぶし領域と囲み領域とは、異なる処理を実施するように設定しても良いし、両方がＯＣＲ処理の対象領域としても良い。たとえば、塗りつぶし領域と囲み領域との両方をＯＣＲ処理の対象領域とした場合であっても、領域ごとに処理結果を分類することが可能となる。
【００５５】
すなわち、本実施形態に係る画像処理装置１は、塗りつぶしと囲みとの２種類の方法でマーキングされた領域をそれぞれ分類できることで特有の効果を奏する。たとえば、塗りつぶし領域と囲み領域とには、それぞれに設定した異なる処理を実施することができる。また、塗りつぶし領域に対する処理結果と囲み領域に対する処理結果とは、互いに関連づけて、それぞれを分類して管理することも可能となる。
【００５６】
次に、第１の適用例について説明する。  
第１の適用例としては、１つの伝票や帳票などに記載された番号情報とテキスト情報とをそれぞれ塗りつぶしと囲みとでマーキングする例について説明する。  
図１２は、郵便番号と住所とが記載された伝票や帳票に対して、郵便番号を塗りつぶしでマーキングし、住所を囲みでマーキングした原稿の例を示す。図１２に示す例では、２つのマーキングＭ１１およびＭ１２とそれらのマーキングに対応するマーカー領域Ｒ１１およびＲ１２とを示す。
【００５７】
マーキングＭ１１は、マーカーを用いて、原稿における郵便番号を塗りつぶしで指定した例である。マーカー領域Ｒ１１は、塗りつぶしと判定されるマーキングＭ１１に基づいて塗りつぶし領域として切り出される領域を示す。つまり、マーカー領域Ｒ１１は、マーキングＭ１１の輪郭を包含する矩形（外接矩形）の領域である。
【００５８】
マーキングＭ１２は、当該マーカーを用いて、原稿における住所の記載領域を囲みで指定した例である。マーカー領域Ｒ１２は、囲みと判定されるマーキングＭ１２に基づいて囲み領域として切り出される領域である。つまり、マーカー領域Ｒ１２は、マーキングＭ１２の最も外側の輪郭（最外郭）で形成される領域である。
【００５９】
図１２に示すように、別々の方法でマーキングされる郵便番号と住所とを分類することで、それぞれの情報に適した処理を実行することができる。図１２に示す例では、塗りつぶし領域には郵便番号の認識に適したＯＣＲ処理を実行し、囲み領域には住所の認識に適したＯＣＲ処理を実行することが可能である。また、塗りつぶし領域における郵便番号の認識結果と囲み領域における住所の認識結果とは、それぞれの情報を紐づけた状態でデータベースやワークフローに取り込める。
【００６０】
次に、第２の適用例について説明する。  
第２の適用例としては、塗りつぶしと囲みとをマーキングした原稿に対して、さらに、囲みによるマーキングを追加した場合の例について説明する。  
図１３は、出席者と議事とが記載された原稿（議事録）に対して出席者を塗りつぶしでマーキングし、議事の要部（必要部分）を囲みでマーキングした例を示す。図１３に示す例では、４つのマーキングＭ２１、Ｍ２２、Ｍ２３およびＭ２４とそれらのマーキングに対応するマーカー領域Ｒ２１、Ｒ２２、Ｒ２３およびＲ２４とを示す。
【００６１】
マーキングＭ２１、Ｍ２２は、それそれ、マーカーを用いて出席者を塗りつぶしで指定した例である。マーカー領域Ｒ２１、Ｒ２２は、塗りつぶしと判定されるマーキングＭ２１、Ｍ２２に基づいて塗りつぶし領域として切り出される領域を示す。つまり、マーカー領域Ｒ２１，Ｒ２２は、マーキングＭ２１、Ｍ２２の輪郭を包含する矩形（外接矩形）の領域である。
【００６２】
マーキングＭ２３は、マーカーを用いて原稿における議事の一部を囲みで指定した例である。また、マーキングＭ２４は、マーカーを用いて、マーキングＭ２３とは別の議事の部分を囲みで指定した例である。たとえば、マーキングＭ２３を記入した後で別の部分を指定するため、マーキングＭ２４が追加で記入することがされる。
【００６３】
図１３に示す例で、マーキングＭ２３とマーキングＭ２４とは、連結した状態で記入されている。このため、マーカー領域Ｒ２３は、マーキングＭ２３とマーキングＭ２４とを有彩色が連結する成分として検出される。マーキングＭ２３とマーキングＭ２４とが連結する成分は、輪郭線の内部に白画素が多いため、囲みと判定される。このため、マーカー領域Ｒ２３は、囲みと判定されるマーキングＭ２３およびＭ２４に基づいて囲み領域として切り出される。つまり、マーカー領域Ｒ２３は、連結するマーキングＭ２３とマーキングＭ２４とが形成する領域の最も外側の輪郭（最外郭）で形成される領域となる。
【００６４】
実施形態に係る画像処理装置は、塗りつぶしとは別に、連結した有彩色の領域の最外郭として切り出す囲み領域に対して処理を行える。このため、画像処理装置１は、上述した第２の適用例のように、囲みのマーキングによって追加で指定された領域を先に囲みで指定された領域と共に切出すことができる。この結果、実施形態に係る画像処理装置１は、原稿に追記されたメモなどの情報も含めて処理を行うことができる。
【００６５】
実施形態に係る画像処理装置は、同一頁中に塗りつぶし領域あるいは囲み領域が複数存在した場合であっても、最外郭として切り出された領域の全画素に占める白色画素の比率が閾値を超えたか否かにより、囲み領域あるいは塗りつぶし領域であるかが択一的に決まる。従って、本実施例の画像処理装置は、囲み領域と塗りつぶし領域が一頁中に混在した場合でも確実にどちらの領域であるかを判別できる。また、本実施例は、視覚的にも文字の塗りつぶし領域と、文字の囲み領域を区別しやすいといったメリットもある。なお、塗りつぶし領域と囲み領域は、一方が他方を内包しないように同一頁中に存在することが望ましい。
【００６６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６７】
１…画像処理装置、１１…システム処理部、１２…スキャナ、１４…操作パネル、２１…プロセッサ、２２…メインメモリ、２３…ページメモリ、２４…ＨＤＤ、２５…外部ＩＦ（インターフェース）、２６…スキャナＩＦ（インターフェース）、２７…画像処理部。
【図１】
2019096178.tif 000003
【図２】
2019096178.tif 000004
【図３】
2019096178.tif 000005
【図４】
2019096178.tif 000006
【図５】
2019096178.tif 000007
【図６】
2019096178.tif 000008
【図７】
2019096178.tif 000009
【図８】
2019096178.tif 000010
【図９】
2019096178.tif 000011
【図１０】
2019096178.tif 000012
【図１１】
2019096178.tif 000013
【図１２】
2019096178.tif 000014
【図１３】
2019096178.tif 000015