(57)【要約】【課題】手作業でマーキング処理が行われたマーキング領域を抽出する技術を提供する。【解決手段】画像読取装置は、マーキングが付されたマーキング領域を有する画像を読み取って読取画像を表す画像データを生成する画像読取部と、画像データの各画素の輝度と彩度とを取得し、輝度と彩度とを使用して予め設定されている所定の色相範囲内でマーキング候補領域を抽出し、マーキング候補領域が予め設定されている所定の方向に沿った所定の矩形形状を輪郭として有し、予め設定されている所定の濃度パターンを有している場合には、マーキング候補領域をマーキング領域として判定するフィルター処理部とを備える。【選択図】図２
2019146050.tif 000002
【特許請求の範囲】
【請求項１】
マーキングが付されたマーキング領域を有する画像を読み取って読取画像を表す画像データを生成する画像読取部と、
前記画像データの各画素の輝度と彩度とを取得し、前記輝度と前記彩度とを使用して予め設定されている所定の色相範囲内でマーキング候補領域を抽出し、前記マーキング候補領域が予め設定されている所定の方向に沿った所定の矩形形状を輪郭として有し、予め設定されている所定の濃度パターンを有している場合には、前記マーキング候補領域を前記マーキング領域として判定するフィルター処理部と、
を備える画像読取装置。
【請求項２】
請求項１記載の画像読取装置であって、
前記所定の濃度パターンは、前記マーキング候補領域を構成する複数の画素の平均輝度を取得し、前記所定の矩形形状の前記所定の方向の両端の近傍位置に前記平均輝度よりも低い複数の画素で構成された低輝度領域を有し、
前記両端の近傍位置は、前記マーキング候補領域の前記予め設定されている方向の中心位置よりも前記両端に近い領域である画像読取装置。
【請求項３】
請求項２記載の画像読取装置であって、
前記フィルター処理部は、前記画像データにおいて前記両端の近傍位置の周囲の複数の画素が前記平均輝度よりも高い輝度を有している場合に前記判定を行い、
前記両端の近傍位置の周囲は、前記マーキング候補領域の外部に隣接する複数の画素で構成される領域を有する画像読取装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の画像読取装置であって、
前記フィルター処理部は、前記マーキング候補領域が前記所定の方向に略平行な一対の輪郭線を有する場合に、前記判定において、前記マーキング候補領域が前記所定の矩形形状を輪郭として有しているとする画像読取装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の画像読取装置であって、さらに、
前記マーキング領域として判定された領域を構成する複数の画素の色を前記マーキング候補領域の周辺の画素の色で置き換える画像処理部を備える画像読取装置。
【請求項６】
請求項５記載の画像読取装置であって、
前記画像処理部は、前記マーキング領域として判定された領域内の文字画像を構成する複数の画素の色を前記マーキング領域として判定された領域の外部の文字画像の色で置き換える画像読取装置。
【請求項７】
マーキングが付されたマーキング領域を有する画像を読み取って読取画像を表す画像データを生成する画像読取工程と、
前記画像データの各画素の輝度と彩度とを取得し、前記輝度と前記彩度とを使用して予め設定されている所定の色相範囲内でマーキング候補領域を抽出し、前記マーキング候補領域が予め設定されている所定の方向に沿った所定の矩形形状を輪郭として有し、予め設定されている所定の濃度パターンを有している場合には、前記マーキング候補領域を前記マーキング領域として判定するフィルター処理工程と、
を備える画像読取方法。
【請求項８】
マーキングが付されたマーキング領域を有する画像を読み取って読取画像を表す画像データを生成する画像読取部を有する画像読取装置を制御するための画像読取プログラムであって、
前記画像データの各画素の輝度と彩度とを取得し、前記輝度と前記彩度とを使用して予め設定されている所定の色相範囲内でマーキング候補領域を抽出し、前記マーキング候補領域が予め設定されている所定の方向に沿った所定の矩形形状を輪郭として有し、予め設定されている所定の濃度パターンを有している場合には、前記マーキング候補領域を前記マーキング領域として判定するフィルター処理部として前記画像読取装置を機能させる画像読取プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像読取装置、画像読取方法及び画像読取プログラムに関し、特に、マーキングが付されている印刷物の複写や画像の読み取りに関する。
【背景技術】
【０００２】
印刷物の絵柄やマーキングを付された文字列を含む画像からマーキング領域を抽出し、マーキング領域に対してマーキングの削除やマーキング領域の塗り潰しといった画像処理を行うことが望まれている。このような要請に対して、特許文献１は、一部に蛍光ペンなどでマーキングを施された文字列と絵柄を含む原稿画像に対して、原稿画像全体の領域の輝度、色成分または輝度差の頻度分布を求め、その頻度分布に基づいて文字領域を特定し、文字領域と特定された領域の輝度、色成分または輝度差の頻度分布をさらに求め、その頻度分布に基づいて、マーカー領域を抽出する技術を提案している。特許文献１によれば、絵柄と一部にマーキングを施された文字列とが混在した原稿画像からであっても、精度よく文字領域を絵柄領域から分離することができるとされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２２９７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、本願発明者は、マーキング処理が人間の手でなされる手作業であるという従来とは異なる新規な観点に着目し、その観点から新たな技術を創作した。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、手作業でマーキング処理が行われたマーキング領域を抽出する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像読取装置は、マーキングが付されたマーキング領域を有する画像を読み取って読取画像を表す画像データを生成する画像読取部と、前記画像データの各画素の輝度と彩度とを取得し、前記輝度と前記彩度とを使用して予め設定されている所定の色相範囲内でマーキング候補領域を抽出し、前記マーキング候補領域が予め設定されている所定の方向に沿った所定の矩形形状を輪郭として有し、予め設定されている所定の濃度パターンを有している場合には、前記マーキング候補領域を前記マーキング領域として判定するフィルター処理部とを備える。
【０００７】
本発明の画像読取方法は、マーキングが付されたマーキング領域を有する画像を読み取って読取画像を表す画像データを生成する画像読取工程と、前記画像データの各画素の輝度と彩度とを取得し、前記輝度と前記彩度とを使用して予め設定されている所定の色相範囲内でマーキング候補領域を抽出し、前記マーキング候補領域が予め設定されている所定の方向に沿った所定の矩形形状を輪郭として有し、予め設定されている所定の濃度パターンを有している場合には、前記マーキング候補領域を前記マーキング領域として判定するフィルター処理工程とを備える。
【０００８】
本発明の画像読取プログラムは、マーキングが付されたマーキング領域を有する画像を読み取って読取画像を表す画像データを生成する画像読取部を有する画像読取装置を制御する。前記画像読取プログラムは、前記画像データの各画素の輝度と彩度とを取得し、前記輝度と前記彩度とを使用して予め設定されている所定の色相範囲内でマーキング候補領域を抽出し、前記マーキング候補領域が予め設定されている所定の方向に沿った所定の矩形形状を輪郭として有し、予め設定されている所定の濃度パターンを有している場合には、前記マーキング候補領域を前記マーキング領域として判定するフィルター処理部として前記画像読取装置を機能させる。
【発明の効果】
【０００９】
本発明によれば、手作業でマーキング処理が行われたマーキング領域を抽出する技術を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る画像形成装置１０の全体構成を示す概略構成図である。
【図２】一実施形態に係る画像形成装置１０の機能的構成を示すブロックダイアグラムである。
【図３】一実施形態に係る複写処理の内容を示すフローチャートである。
【図４】一実施形態に係るフィルター処理の内容を示すフローチャートである。
【図５】一実施形態に係るフィルター処理の一例を示す説明図である。
【図６】変形例に係るユーザーインターフェース画面２３１を表示する操作表示部２３０を示す説明図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して説明する。
【００１２】
図１は、本発明の一実施形態に係る画像形成装置１０の全体構成を示す概略構成図である。図２は、一実施形態に係る画像形成装置１０の機能的構成を示すブロックダイアグラムである。画像形成装置１０は、制御部２１０と、画像形成部２２０と、操作表示部２３０と、記憶部２４０と、画像読取部１００とを備えている。画像読取部１００は、自動原稿送り装置（ＡＤＦ）１６０と原稿台（コンタクトガラス）１５０とを有し、原稿から画像（原画像）を読み取って読取画像を表すデジタルデータである画像データＩＤを生成する。
【００１３】
画像形成部２２０は、画像データＩＤに基づいて印刷媒体（図示せず）に画像を形成して排出する。画像形成部２２０は、色変換処理部２２１と、色変換テーブル２２１ａと、ハーフトーン処理部２２２と、ディザマトリックス２２２ａと、画像出力部２２３とを備える。色変換処理部２２１は、ＲＧＢデータである画像データＩＤをＣＭＹＫ画像データに色変換する。ハーフトーン処理部２２２は、ハーフトーン処理を実行してＣＭＹＫ画像データのハーフトーンデータを生成する。画像出力部２２３は、ハーフトーンデータに基づいて画像を形成する。操作表示部２３０は、タッチパネルとして機能するディスプレイ（図示せず）や各種ボタンやスイッチ（図示せず）からユーザーの操作入力（単にユーザー入力とも呼ばれる。）を受け付ける。
【００１４】
制御部２１０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の制御手段を備えている。また、制御部２１０は、フィルター処理部２１１と画像処理部２１２とを有し、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェイスに関連するコントローラ機能を備え、画像形成装置１０全体を制御する。
【００１５】
記憶部２４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、制御部２１０が実行する処理の制御プログラムやデータを記憶する。
【００１６】
記憶部２４０には、検出色情報２４１として予め少なくとも１つの筆記具が登録されているものとする。検出色情報２４１は、検出色を抽出するための閾値と筆記具とが紐付けられて記憶されている。検出色は、紐付けられている筆記具を使用して描かれる予め設定されている所定の色相範囲内の色である。閾値は、本実施形態では、明るく鮮やかなマーキングの色の特徴に基づき、輝度の閾値と彩度の閾値とを含んでいる。輝度の閾値は、主として文字画像や他の画像との識別に効果を奏する。彩度の閾値は、主として原稿の地肌の色との識別に効果を奏する。筆記具は、インクに蛍光物質を含んでいる蛍光ペンだけでなく、インクに蛍光物質を含まないペンを含み、単にマーキングペンとも呼ばれる。
【００１７】
画像読取部１００は、図２に示されるように、光源ドライバ１１１と、光源１１２とを備えている。光源１１２は、原稿Ｄに光を照射する複数のＬＥＤ（図示せず）を有する。光源ドライバ１１１は、主走査方向に配列されている複数のＬＥＤを駆動するＬＥＤドライバであり、光源１１２のオンオフ駆動制御を行う。これにより、光源１１２は、可変の駆動デューティのパルス幅変調（ＰＷＭ）で原稿Ｄの原稿面を照射光Ｌ１で照射することができる。
【００１８】
照射光Ｌ１は、原稿Ｄの面に垂直な方向に対して４５度（傾斜した方向）の角度で照射される。原稿Ｄは、拡散反射光Ｌ２と、正反射光とを含む反射光を反射する。受光素子１２２は、拡散反射光Ｌ２を受光する。
【００１９】
画像読取部１００は、さらに、図１に示されるように、原稿Ｄとイメージセンサ１２１との間に、第１反射鏡１１３と、第１キャリッジ１１４と、第２反射鏡１１５と、第３反射鏡１１６と、第２キャリッジ１１７と、集光レンズ１１８とを備えている。第１反射鏡１１３は、原稿Ｄからの拡散反射光Ｌ２を第２反射鏡１１５の方向に反射する。第２反射鏡１１５は、拡散反射光Ｌ２を第３反射鏡１１６の方向に反射する。第３反射鏡１１６は、拡散反射光Ｌ２を集光レンズ１１８の方向に反射する。集光レンズ１１８は、拡散反射光Ｌ２をイメージセンサ１２１が有する複数の受光素子１２２の各受光面（図示せず）に結像する。
【００２０】
イメージセンサ１２１は、Ｒ，Ｇ，Ｂの各色成分のカラーフィルタ（図示略）を使用してＲ，Ｇ，Ｂの３つの色をそれぞれ検知する３本のＣＣＤラインセンサ（図示せず）である。イメージセンサ１２１は、主走査方向に延びている３本のＣＣＤラインセンサで原稿を走査（副走査）して原稿上の画像をＲ，Ｇ，Ｂに対応する電圧値の組合せとして取得する。このように、イメージセンサ１２１は、光電変換処理を行って、主走査方向の画素毎のＲ，Ｇ，Ｂのアナログ電気信号を出力することができる。
【００２１】
第１キャリッジ１１４は、光源１１２と第１反射鏡１１３とを搭載し、副走査方向に往復動する。第２キャリッジ１１７は、第２反射鏡１１５と第３反射鏡１１６とを搭載し、副走査方向に往復動する。第１キャリッジ１１４及び第２キャリッジ１１７は、走査制御部として機能する制御部２１０によって制御される。これにより、光源１１２は原稿を副走査方向に走査することができるので、イメージセンサ１２１は、原稿上の２次元画像に応じてアナログ電気信号を出力することができる。
【００２２】
なお、自動原稿送り装置（ＡＤＦ）１６０が使用される場合には、第１キャリッジ１１４及び第２キャリッジ１１７は、予め設定されている副走査位置に固定され、原稿Ｄの自動送りによって副走査方向の走査が行われる。なお、ＡＤＦ１６０には、片面だけでなく両面を同時にあるいは逐次に読み取るものもある。
【００２３】
ＡＤＦ１６０は、紙送りローラー１６１と、原稿読取スリット１６２とを備えている。紙送りローラー１６１は、原稿の自動送りを行い、原稿の読み取りが原稿読取スリット１６２を介して行われる。この場合には、第１キャリッジ１１４が予め設定されている副走査位置に固定されるので、第１キャリッジ１１４に搭載されている光源１１２も所定位置に固定されることになる。
【００２４】
画像読取部１００は、図２に示されるように、さらに、信号処理部１２３と、シェーディング補正部１２４と、シェーディング補正テーブル１２４ａ（単に補正テーブルとも呼ばれる。）と、ガンマ変換部１２５と、ガンマ変換テーブル１２５ａと、ＡＧＣ処理部１３０と、白基準板１３２（図１参照）とを備えている。
【００２５】
信号処理部１２３は、Ａ／Ｄ変換機能を有する可変利得増幅器である。信号処理部１２３は、ＡＧＣ処理部１３０で設定され、記憶部２４０に格納されている利得でアナログ電気信号を増幅し、増幅されたアナログ電気信号をＡ／Ｄ変換してデジタルデータとする。ガンマ変換部１２５及びガンマ変換テーブル１２５ａについての説明は後述する。
【００２６】
ＡＧＣ処理部１３０は、本実施形態では、黒基準信号と白基準信号とを使用して複数の受光素子１２２のそれぞれに対して最適な利得とオフセット値とを設定する利得調整部である。黒基準信号は、光源１１２がオフの状態における受光素子１２２のアナログ電気信号である。白基準信号は、原稿Ｄの代わりに白基準板１３２を照射したときの受光素子１２２のアナログ電気信号である。
【００２７】
ＡＧＣ処理部１３０は、黒基準信号が信号処理部１２３によってＡ／Ｄ変換されたときの画像データのＲＧＢの各階調値が最小値「０」となるようにオフセット値を設定する。ＡＧＣ処理部１３０は、このオフセット値を使用して白基準信号が信号処理部１２３によってＡ／Ｄ変換されたときの画像データのＲＧＢの各階調値が最大値「２５５」となるように利得を設定する。これにより、最小値「０」から最大値「２５５」までのダイナミックレンジを有効に利用することができる。
【００２８】
シェーディング補正部１２４は、画像データに対してシェーディング補正を実行する。シェーディング補正は、光源１１２の長さ方向の光量不均一性やレンズのコサイン４乗則による周辺減光、主走査方向に配列されている複数の受光素子１２２の感度ムラに起因して発生するシェーディングを抑制するための補正である。シェーディング補正には、シェーディング補正値が使用される。シェーディング補正値は、白基準板１３２を使用して生成され、シェーディング補正テーブル１２４ａに格納される。
【００２９】
このように、画像読取部１００は、原稿Ｄ上の画像を読み取って画像データを生成する。画像データは、原稿Ｄ上の画像をＲＧＢの各階調値（０〜２５５）で表すＲＧＢ画像データである。
【００３０】
図３は、一実施形態に係る複写処理の内容を示すフローチャートである。この例では、ユーザーは、マーキング削除モードを選択して画像読取操作を開始するものとする。マーキング削除モードとは、画像処理によって自動的にマーキングを削除する複写モードである。
【００３１】
ステップＳ１０では、ユーザーは、画像読取操作を実行する。画像読取操作では、画像読取部１００は、光源１１２から可変の駆動デューティのパルス幅変調（ＰＷＭ）で適切な光量の照射光Ｌ１で原稿Ｄを照射し、原稿Ｄで反射されて原稿Ｄに表される画像に応じた色成分を有する拡散反射光Ｌ２をイメージセンサ１２１で受光する。
【００３２】
ステップＳ２０では、イメージセンサ１２１は、光電変換処理を行って主走査方向の画素毎のＲ，Ｇ，Ｂのアナログ電気信号を出力することができる。
【００３３】
ステップＳ３０では、信号処理部１２３は、ＡＧＣ処理部１３０で設定された利得とオフセット値とを使用し、ＲＧＢの各階調値が最小値「０」（光源１１２がオフの状態）から最大値「２５５」（白基準板１３２の読み取り時）までの範囲の階調値を出力することができる。ステップＳ４０では、シェーディング補正部１２４は、デジタルデータに対してシェーディング補正を実行する。
【００３４】
ステップＳ５０では、ガンマ変換部１２５（図２参照）は、画像読取部１００の特性に基づいて画像データに対してガンマ変換を行う。ガンマ変換には、ガンマ変換テーブル１２５ａから読み出された値が使用される。ガンマ変換テーブル１２５ａは、原稿上のグレーパッチの測色値から算出した所望の色空間（たとえばｓＲＧＢなど）でのＲＧＢ値（γ変換後）を用いて、ガンマ値を再帰的に設定して算出することができる。このようにして、画像読取部１００は、画像データＩＤを生成する。
【００３５】
図４は、一実施形態に係るフィルター処理（ステップＳ６０）の内容を示すフローチャートである。ステップＳ６１では、フィルター処理部２１１は、着目画素選択処理を実行する。着目画素選択処理では、フィルター処理部２１１は、画像データＩＤの各画素を順に選択して各画素のＲＧＢ階調値を取得する。
【００３６】
ステップＳ６２では、フィルター処理部２１１は、ＲＧＢ階調値を使用して輝度・彩度計算処理を実行する。フィルター処理部２１１は、たとえば周知の計算式（Ｙ＝（０．２９８９１２×Ｒ＋０．５８６６１１×Ｇ＋０．１１４４７８×Ｂ）を使用して輝度値Ｙを算出することができる。フィルター処理部２１１は、たとえば周知の計算式（彩度Ｓ＝（Ｉｍａｘ−Ｉｍｉｎ）／Ｉｍａｘ）を使用して彩度値Ｓを算出することができる。ここで、ＲＧＢ階調値のうち、最大の階調値をＩｍａｘ、最小の階調値をＩｍｉｎとする。色相角も周知の計算式でＲＧＢ階調値から算出することが可能である。
【００３７】
ステップＳ６３では、フィルター処理部２１１は、筆記具毎に判断し、検出色情報２４１で予め設定されている色相範囲内で輝度値Ｙ及び彩度値Ｓが各閾値以上である場合には、処理をステップＳ６４に進め、輝度値Ｙと彩度値Ｓの少なくとも一方が閾値未満である場合には、処理をステップＳ６１に戻す。各閾値は、検出色情報２４１から読み出された輝度の閾値と彩度の閾値である。なお、本発明は、周知の計算式で取得される輝度に限られず、代わりに明度を使用してもよい。本明細書では、輝度の語は、広い意味を有し、明度その他の明るさを表す指数を含むものとする。
【００３８】
フィルター処理部２１１は、ステップＳ６１乃至ステップＳ６３の処理を画像データＩＤの全画素に対して実行する（ステップＳ６４）。これにより、フィルター処理部２１１は、マーキング領域を構成する複数の画素の候補である候補画素群を抽出することができる。候補画素群は、画像データＩＤにおいてマーキング候補領域を構成する。
【００３９】
図５は、一実施形態に係るフィルター処理の一例を示す説明図である。図５（ａ）は、画像ＩＤによって表される画像Ｐを示している。画像Ｐは、写真画像領域ＮＰと、第１のテキスト画像領域Ｐｈ１と、第２のテキスト画像領域Ｐｈ２とを有している。テキスト画像領域Ｐｈ１には、ＴＥＸＴ１の文字列に重ねてマーキングが付されたマーキング領域Ｍ１が含まれている。テキスト画像領域Ｐｈ２には、ＴＥＸＴ２の文字列に重ねてマーキングが付されたマーキング領域Ｍ２が含まれている。
【００４０】
ステップＳ６５では、フィルター処理部２１１は、候補画素群を使用して連続性判定処理を実行する。連続性判定処理では、フィルター処理部２１１は、たとえばソーベルフィルターその他の輪郭線抽出フィルターを使用して輪郭線ＣＬを検出し、輪郭線ＣＬに囲まれた特定連続領域を抽出する。本実施形態では、候補画素群は、所定の閾値以上の輝度値を有している画素として抽出されるので、特定連続領域は、輝度及び彩度が低い文字画像を中抜きした画像を表す領域となる。
【００４１】
図５（ｂ）は、候補画素群Ｃ１として抽出されたマーキング領域Ｍ１を示している。候補画素群Ｃ１は、輝度及び彩度が低い文字画像が抜けた状態で検出される。フィルター処理部２１１は、輪郭線抽出フィルターを使用して候補画素群Ｃ１の輪郭線ＣＬを検出している。輪郭線ＣＬは、一対の平行な長辺Ｓ１，Ｓ２（一対の輪郭線）と、始端Ｅ１と、終端Ｅ２とを有している。一対の平行な長辺Ｓ１，Ｓ２及び始端Ｅ１、Ｅ２は、連続している領域である特定連続領域を囲んでいる。
【００４２】
この例では、ユーザーは、マーキングペン（図示略）を使用して始端Ｅ１から終端Ｅ２までマーキングしたものとする。本願発明者の知見によれば、始端Ｅ１や終端Ｅ２の方向は、マーキングペンの向きや持ち方に応じて変化する一方、一対の平行な長辺Ｓ１，Ｓ２は、ＴＥＸＴ１の文字列に沿って平行に描かれる。何故なら、マーキングの途中では、マーキングペンの向きや持ち方が維持される一方、主走査方向又は副走査方向に並んだ文字列に沿ってマーキングがなされるからである。
【００４３】
ステップＳ６６では、フィルター処理部２１１は、矩形パターン検出処理を実行する。矩形パターン検出処理では、フィルター処理部２１１は、各特定連続領域が主走査方向と副走査方向に延びている略矩形である所定の矩形形状を有しているか否かを判断する。
【００４４】
具体的には、フィルター処理部２１１は、各特定連続領域の略平行な一対の平行線（この例では長辺Ｓ１，Ｓ２）を検出し、一対の平行線で挟まれる領域が所定の矩形形状を有しているか否かを判断する。次に、フィルター処理部２１１は、略平行な一対の平行線（２つの長辺Ｓ１，Ｓ２）が主走査方向と副走査方向のいずれか一方の方向（所定の方向とも呼ばれる。）に延びているか否かを判断して矩形パターンを検出する。この例では、フィルター処理部２１１は、一対の平行な長辺Ｓ１，Ｓ２を有する特定連続領域を矩形パターンとして検出する。
【００４５】
ステップＳ６７では、フィルター処理部２１１は、特定濃度パターン検出処理を実行する。特定濃度パターン検出処理では、フィルター処理部２１１は、矩形パターンが予め設定されている特定の濃度パターンを有しているか否かを判断する。
【００４６】
この例では、特定の濃度パターンは、両端の近傍位置、すなわち始端Ｅ１の近傍位置Ｂ１及び終端Ｅ２の近傍位置Ｂ２で濃度が上昇（輝度が低下）する一方、始端Ｅ１と終端Ｅ２の近傍から離れた中間領域では比較的に一定であるというパターンである。この濃度パターンは、マーキング中の筆圧変化に起因するものであり、本願発明者の調査に基づいて設定されたものである。この濃度パターンは、たとえば候補画素群Ｃ１の平均輝度を取得し、両端の近傍位置Ｂ１，Ｂ２に輝度が平均輝度よりも低い複数の画素で構成された低輝度領域を有することとして定義することもできる。
【００４７】
さらに、発明者の知見によれば、画像データＩＤにおいて、近傍位置Ｂ１，Ｂ２の周囲（特定連続領域の外部に隣接する複数の画素で構成される領域）は、地肌の色を示す明るい領域（地肌領域）であることが通例である。両端の近傍位置Ｂ１，Ｂ２は、たとえばマーキング候補領域としての特定連続領域の所定の方向の中心位置よりも両端Ｅ１，Ｅ２に近い領域として定義することができる。
【００４８】
このように、フィルター処理部２１１は、候補画素群Ｃ１として抽出（検出）されたマーキング領域Ｍ１をマーキング領域であるとして判定することができる。フィルター処理部２１１は、さらに、マーキング領域Ｍ２についてもマーキング領域であるとして同様に判定することができる。
【００４９】
ステップＳ７０では、画像処理部２１２は、マーキング削除処理を実行する。マーキング削除処理では、画像処理部２１２は、画像データＩＤにおいて候補画素群Ｃ１を構成している複数の画素の色（ＲＧＢ階調値）をマーキング領域Ｍ１の周辺（マーキング領域Ｍ１の外部であって、たとえば隣接する複数の画素）の地肌の色で置き換える。一方、マーキング領域Ｍ１の文字画像は、候補画素群Ｃ１において中抜きされているので、そのままの状態で残存させることができる。
【００５０】
画像処理部２１２は、たとえば文字画像の濃度に応じて、たとえば濃度が低いグレーの文字画像である場合には、マーキングに起因する色変化が顕著となるので、マーキング領域Ｍ１の周辺の文字画像の色で置き換えてもよい。あるいは画像処理部２１２は、文字画像の濃度に拘わらず、マーキング領域Ｍ１の周辺の文字画像の色で置き換えてもよい。マーキング領域Ｍ１の周辺の文字画像の色は、たとえばマーキング領域Ｍ１の周辺（マーキング領域Ｍ１の外部であって、たとえば所定の方向に最も近い文字画像を構成する複数の画素）においてＯＣＲ処理を実行し、文字を構成する画像の平均濃度の色とするようにしてもよい。これにより、画像処理部２１２は、マーキングの有無に起因する文字画像の色の変化を抑制して自然な色合いの文字列とすることができる。
【００５１】
ステップＳ８０では、色変換処理部２２１は、色変換テーブル２２１ａを使用して、ＲＧＢデータであるマーキングが削除された画像データＩＤを画像出力部２２３で使用される色材の色であるＣＭＹＫ画像データに色変換する。ＣＭＹＫ画像データは、ＣＭＹＫの各階調値（０〜２５５）から構成されているデータである。
【００５２】
ステップＳ９０では、ハーフトーン処理部２２２は、ディザマトリックス２２２ａを使用してハーフトーン処理を実行し、ＣＭＹＫ画像データのハーフトーンデータを生成する。ステップＳ１００では、画像出力部２２３は、スタートボタン２３２（後述）の操作に応じてハーフトーンデータに基づいて印刷媒体に画像を形成して出力する。印刷媒体は、画像形成媒体とも呼ばれる。印刷物は、画像形成物とも呼ばれる。
【００５３】
このように、一実施形態に係る画像形成装置１０は、手作業に起因する独特の形状や濃度パターンを利用してマーキング領域を抽出するので、手作業でマーキング処理が行われたマーキング領域を高い精度で自動的に抽出することができる。
【００５４】
Ｄ．変形例：
本発明は、上記実施形態だけでなく、以下のような変形例でも実施することができる。
【００５５】
変形例１：上記実施形態では、予め記憶部２４０に登録されている検出色情報２４１を使用して、マーキング領域が抽出されているが、必ずしも検出色情報２４１が予め登録されている必要はない。具体的には、たとえば図６に示されるように、フィルター処理部２１１は、操作表示部２３０にユーザーインターフェース画面２３１を表示させて検出色情報を自動的に取得するようにしてもよい。
【００５６】
この例では、ユーザーは、図６（ａ）及び（ｂ）に示されるように、未検出のマーキング領域Ｍａ１を指でタッチし、選択アイコン２３３をタッチし、引き続きＯＫアイコン２３５をタッチすることによって指定することができる。この際、原稿画像は、ピンチアウトやピンチイン、スクロールといった操作入力で操作することができる。フィルター処理部２１１は、タッチされた領域で文字画像以外の部分の色情報を取得して自動的に色相や２つの閾値、濃度パターンといった検出色情報２４１を設定（登録）することができる。これにより、フィルター処理部２１１は、同一の筆記具でマーキングされた他のマーキング領域Ｍａ２を自動的に抽出することができる（図６（ｂ）参照）。
【００５７】
変形例２：上記実施形態では、フィルター処理部２１１は、自動的（一実施形態）又は半自動的（変形例１）にマーキング領域を抽出しているが、さらに、マーキング領域の取捨選択機能を有するようにしてもよい。具体的には、たとえば写真画像領域ＮＰの一部が意図せず、マーキング領域として検出された場合には、その領域をタッチして解除アイコン２３４をタッチし、引き続きＯＫアイコン２３５をタッチすることによってマーキング領域（画像処理対象領域）から解除することができる。
【００５８】
変形例３：上記変形例では、フィルター処理部２１１は、閾値を自動的に設定する機能を有しているが、さらに学習機能を有するようにしてもよい。具体的には、フィルター処理部２１１は、ユーザーによるマーキング領域の指定機能（変形例１）や取捨選択機能（変形例２）を使用して、色相や閾値、濃度パターンといった情報を学習して調整するように構成されていてもよい。
【００５９】
変形例４：上記実施形態では、画像処理部２１２は、マーキング領域からマーキングを削除しているが、そのような画像処理内容に限定されない。具体的には、たとえば画像処理部２１２は、ユーザーからの指示に応じて、マーキング領域の切り抜きや黒塗りといった他の処理を実行するように構成されていてもよい。
【００６０】
変形例５：上記実施形態では、文字領域やイメージ領域といった画像領域の種別を考慮することなく手書き文字削除処理を実行しているが、たとえば文字領域のみについて実行するようにしてもよい。具体的には、フィルター処理部２１１は、画像データを解析して文字が再現されている領域である文字領域を検出し、検出された文字領域内でのみマーキング領域を抽出するようにしてもよい。これにより、画像形成装置１０の作動モードの１つとしての画像読取装置は、フィルター処理部の処理負担を軽減させることができる。
【符号の説明】
【００６１】
１０  画像形成装置
２１０  制御部
２１１  フィルター処理部
２１２  画像処理部
２２０  画像形成部
２３０  操作表示部
２４０  記憶部
１００  画像読取部
１１１  光源ドライバ
１１２  光源
１２１  イメージセンサ
１２２  受光素子
１２３  信号処理部
１２４  シェーディング補正部
１３０  ＡＧＣ処理部
１５０  原稿台
１６０  自動原稿送り装置
１６２  原稿読取スリット
【図１】
2019146050.tif 000003
【図２】
2019146050.tif 000004
【図３】
2019146050.tif 000005
【図４】
2019146050.tif 000006
【図５】
2019146050.tif 000007
【図６】
2019146050.tif 000008