(57)【要約】【課題】読み取った原稿の画像を処理する画像処理装置において、画像中の汚れの範囲のみを推定する構成に比べて、より正確に画像から汚れを除去する。【解決手段】画像形成装置１０は、読取部５２と、推定部５４と、特定部５６と、置換部５８とを有する。読取部５２は、原稿Ｍの原稿画像ＭＩを読み取る。推定部５４は、読み取った原稿画像ＭＩから汚れの範囲Ｓ及び汚れの種類を推定する。特定部５６は、推定された汚れの範囲Ｓの一部を含む領域Ｒ内で且つ原稿画像ＭＩ中の領域Ｒ内の画素毎の色情報を用いてヒストグラムを作成する。さらに、特定部５６は、汚れの種類に応じて、汚れの色と、当該汚れの色を有する画素数の閾値Ｋとを設定し、汚れの色を有する画素で且つ閾値Ｋ以上の数の画素を、汚れを含む画素として特定する。置換部５８は、汚れを含む画素を原稿Ｍの下地Ｂに相当する画素又は原稿画像ＭＩに相当する画素に置き換える。【選択図】図３
2020154780.tif 000002
【特許請求の範囲】
【請求項１】
原稿の画像を読み取る読取部と、
前記読取部により読み取った画像から、前記原稿の汚れの範囲及び汚れの種類を推定する推定部と、
前記推定部により推定された汚れの範囲の少なくとも一部を含む領域内で且つ前記画像中の領域内の画素毎の色情報を用いてヒストグラムを作成し、前記汚れの種類に応じて、汚れの色と、当該汚れの色を有する画素数の閾値とを設定し、前記汚れの色を有する画素で且つ前記閾値以上の数の画素を、汚れを含む画素として特定する特定部と、
前記特定部において特定された汚れを含む画素を、原稿の下地に相当する画素又は画像に相当する画素に置き換える置換部と、
を有する画像処理装置。
【請求項２】
前記読取部により読み取られた画像を表示すると共に、前記推定部により推定された汚れの範囲を表示する表示部と、
前記表示部に表示された前記汚れの範囲が汚れであるか否かを受け付ける受付部と、
を更に有し、
前記特定部は、前記受付部において前記汚れの範囲が汚れであると受け付けられた場合、当該汚れの範囲の色情報を用いて前記ヒストグラムを作成する請求項１に記載の画像処理装置。
【請求項３】
前記受付部において、汚れであると受け付けられた場合、前記推定部は、推定した前記汚れの範囲における前記汚れの種類を付加した画像データを機械学習の教師データとして記憶部に記憶させる請求項２に記載の画像処理装置。
【請求項４】
コンピュータを、請求項１から請求項３のいずれか１項に記載の画像処理装置の各部として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、原稿を光学走査系でスキャンして読み取ることで前記原稿に対応する画像を所定の出力媒体に形成する画像形成方法であって、前記光学走査系で前記原稿をスキャンしている過程において、前記原稿の一方の面の画像を読み取るとともに当該一方の面と反対側である他方の面の画像を読み取り、この読み取った両面の画像を用いて、前記一方の面の画像が主成分となるような所定のノイズ低減処理をすることを特徴とする画像形成方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２０１０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１のように、原稿の穴あき部分を汚れと推定する構成では、原稿に穴が形成された範囲があることを推定しているだけであり、穴とは異なる汚れが存在する場合、画像から汚れを除去しきれない可能性がある。つまり、読み取った原稿の画像を処理する画像処理装置において、画像中の汚れの範囲のみを推定する構成に比べて、より正確に画像から汚れを除去するには、改善の余地がある。
【０００５】
本発明は、読み取った原稿の画像を処理する画像処理装置において、画像中の汚れの範囲のみを推定する構成に比べて、より正確に画像から汚れを除去できる画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１態様に係る画像処理装置は、原稿の画像を読み取る読取部と、前記読取部により読み取った画像から、前記原稿の汚れの範囲及び汚れの種類を推定する推定部と、前記推定部により推定された汚れの範囲の少なくとも一部を含む領域内で且つ前記画像中の領域内の画素毎の色情報を用いてヒストグラムを作成し、前記汚れの種類に応じて、汚れの色と、当該汚れの色を有する画素数の閾値とを設定し、前記汚れの色を有する画素で且つ前記閾値以上の数の画素を、汚れを含む画素として特定する特定部と、前記特定部において特定された汚れを含む画素を、原稿の下地に相当する画素又は画像に相当する画素に置き換える置換部と、を有する。
【０００７】
第２態様に係る画像処理装置は、前記読取部により読み取られた画像を表示すると共に、前記推定部により推定された汚れの範囲を表示する表示部と、前記表示部に表示された前記汚れの範囲が汚れであるか否かを受け付ける受付部と、を更に有し、前記特定部は、前記受付部において前記汚れの範囲が汚れであると受け付けられた場合、当該汚れの範囲の色情報を用いて前記ヒストグラムを作成する。
【０００８】
第３態様に係る画像処理装置は、前記受付部において、汚れであると受け付けられた場合、前記推定部は、推定した前記汚れの範囲における前記汚れの種類を付加した画像データを機械学習の教師データとして記憶部に記憶させる。
【０００９】
第４態様に係る画像処理プログラムは、コンピュータを、第１態様から第３態様のいずれか１つに記載の画像処理装置の各部として機能させる。
【発明の効果】
【００１０】
第１態様の画像処理装置によれば、読み取った原稿の画像を処理する画像処理装置において、画像中の汚れの範囲のみを推定する構成に比べて、より正確に画像から汚れを除去できる。
【００１１】
第２態様の画像処理装置によれば、ユーザの好みに合わせて汚れ除去を行うことができる。
【００１２】
第３態様の画像処理装置によれば、ユーザが実際に行った汚れ判定を教師データとして用いることで、機械学習による汚れ判定の精度を向上できる。
【００１３】
第４態様の画像処理プログラムによれば、読み取った原稿の画像を処理する画像処理装置において、画像中の汚れの範囲のみを推定する構成に比べて、より正確に画像から汚れを除去できる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係る画像形成装置の正面図である。
【図２】図１に示される画像形成装置の構成を示すブロック図である。
【図３】図１に示される画像形成装置の機能ブロック図である。
【図４】図１に示される画像形成装置によって読み取られる原稿の一例を示す図である。
【図５】図４に示される原稿の画像の一部に汚れが付着した状態を示す図である。
【図６】図４に示される原稿における下地と画像とについて、カラースケールの各色の画素数を計数した結果を示すヒストグラムである。
【図７】第１実施形態に係る画像形成装置における画像処理の流れの一例を示すフローチャートである。
【図８】図７に示される画像処理のうち汚れ除去処理の流れの一例を示すフローチャートである。
【図９】第２実施形態に係る画像形成装置の機能ブロック図である。
【図１０】図９に示される画像形成装置のタッチパネルディスプレイに原稿が表示された状態を示す図である。
【図１１】第２実施形態に係る画像処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
[第１実施形態]
図１には、第１実施形態に係る画像処理装置の一例としての画像形成装置１０が示されている。
【００１６】
〔ハードウェア構成〕
画像形成装置１０は、原稿Ｍの画像を読み取る画像読取ユニット２０と、画像情報を基にして用紙に画像を形成する画像記録ユニット３０とを含んで構成されている。以下、画像形成装置１０の具体的な構成ついて説明する。
【００１７】
＜画像読取ユニット＞
図２に示される画像読取ユニット２０は、一例として、原稿搬送部２２と、スキャナ部２４と、ＵＩ（ユーザインターフェース）２６とを有する。
【００１８】
原稿搬送部２２は、原稿台２３（図１参照）と、原稿台２３上の原稿Ｍの有無を検知する図示されない原稿センサと、図示されないモータにより駆動される複数の搬送ロールとを有する。そして、原稿搬送部２２は、原稿台２３上に載せられた１枚又は複数枚の原稿Ｍを、図示されないプラテンガラス上に搬送する。さらに、原稿搬送部２２は、画像の読み取りが終了した原稿Ｍを排出台２５（図１参照）上に排出する。
【００１９】
図１に示されるスキャナ部２４は、表側センサ２４Ａ及び裏側センサ２４Ｂを有する。表側センサ２４Ａは、原稿Ｍが搬送される図示されない搬送経路に対して下側（原稿Ｍの表面側）に配置されている。裏側センサ２４Ｂは、該搬送経路に対して上側（原稿Ｍの裏面側）に配置されている。そして、スキャナ部２４は、原稿Ｍを表裏反転させることなく、１回の搬送で原稿Ｍの両面を読み取ることが可能に構成されている。
【００２０】
具体的には、表側センサ２４Ａは、発光部から原稿Ｍの表面に光を照射し、その反射光を受光することで、原稿Ｍの表面の画像を読み取る。裏側センサ２４Ｂは、発光部から原稿Ｍの表面に光を照射し、その反射光を受光することで、原稿Ｍの裏面の画像を読み取る。このようにして、原稿Ｍの表裏両面が読み取られる。プラテンガラス上に置かれた原稿Ｍについては、表側センサ２４Ａが図示されないスライド機構により移動されることで読み取られる。
【００２１】
表側センサ２４Ａ及び裏側センサ２４Ｂは、ＣＣＤ（Charge Coupled Device）により構成されていてもよいし、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などにより構成されていてもよい。なお、表側センサ２４Ａ及び裏側センサ２４Ｂは、一例として、原稿Ｍの搬送方向（副走査方向）と直交する方向（主走査方向）に複数の撮像素子が直線状に配列されたラインセンサとして構成されており、ライン単位での読み取りを行うようになっている。
【００２２】
表側センサ２４Ａ及び裏側センサ２４Ｂは、１ラインの読み取りが終了した後で、原稿Ｍが原稿搬送部２２（図２参照）によって副走査方向に移動されることで、次のラインを読み取る。これを原稿Ｍの全体に亘って繰り返すことで、原稿Ｍの面全体の読み取りが行われる。読み取られた画像データは、順に、後述する推定部５４（図３参照）に送られる。なお、読み取られた画像データは、ＲＧＢ（赤、緑、青）の画像データとされている。
【００２３】
ＵＩ２６は、一例として、ディスプレイ上にタッチパネルが重ねられたタッチパネルディスプレイ２７、及び操作ボタンなどから構成される。ＵＩ２６には、画像形成装置１０についての各種情報が表示される。また、ＵＩ２６では、ユーザが操作することにより、様々な情報や設定が入力される。具体的には、タッチパネルディスプレイ２７は、入出力部３９（図２参照）に接続されており、後述するＣＰＵ３４（図２参照）の制御下で、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を構成する操作画面を含む各種情報を表示する。また、タッチパネルディスプレイ２７は、操作画面を通じてユーザからの操作指示の入力を受け付けるための入力デバイスとしても機能する。ＣＰＵ３４は、タッチパネルディスプレイ２７を通じて、各種の操作指示を受け付ける。
【００２４】
＜画像記録ユニット＞
図２に示される画像記録ユニット３０は、一例として、制御部３２と、画像記録部４２と、記憶部４４と、通信部４６とを有する。
【００２５】
制御部３２は、ＣＰＵ（Central Processing Unit）３４、ＲＯＭ（Read Only Memory）３６、ＲＡＭ（Random Access Memory）３８及び入出力部３９を有している。制御部３２の各部は、バスを介して各々接続されている。入出力部３９には、画像読取ユニット２０の各機能部と、画像記録部４２、記憶部４４及び通信部４６を含む各機能部とが接続されている。換言すると、各機能部は、入出力部３９を介して、制御部３２（ＣＰＵ３４）と相互に通信可能とされている。なお、制御部３２は、画像形成装置１０の一部の動作を制御するサブ制御部として構成されてもよいし、画像形成装置１０の全体の動作を制御するメイン制御部の一部として構成されてもよい。
【００２６】
制御部３２を構成する各ブロックの一部又は全部には、例えば、ＬＳＩ（Large Scale Integration）などの集積回路又はＩＣ（Integrated Circuit）チップセットが用いられる。上記各ブロックには、個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記の各ブロック同士が一体として設けられていてもよいし、一部のブロックが別に設けられていてもよい。また、上記の各ブロックのそれぞれにおいて、その一部が別に設けられていてもよい。制御部３２の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
【００２７】
画像記録部４２は、画像読取ユニット２０による原稿Ｍの読み取りによって得られた画像情報、又は、ネットワークを介して通信部４６に接続された外部のＰＣなどから得られた画像情報に基づく画像を、紙などの記録媒体に形成する。本実施形態においては、画像を形成する方式の一例として、電子写真方式が採用されているが、インクジェット方式などの他の方式を採用してもよい。
【００２８】
画像を形成する方式が電子写真方式の場合、画像記録部４２は、感光体、帯電部、露光部、現像部、転写部、及び定着部を含む。帯電部は、感光体に電圧を印加して感光体の表面を帯電させる。露光部は、帯電部で帯電された感光体を画像情報に応じた光で露光することにより感光体に静電潜像を形成する。現像部は、感光体に形成された静電潜像をトナーにより現像することで感光体にトナー像を形成する。画像形成装置１０では、一例として、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）及びブラック（Ｋ）の各色のトナーを用いて現像が行われる。転写部は、感光体に形成されたトナー像を記録媒体に転写する。定着部は、記録媒体に転写されたトナー像を加熱及び加圧することで記録媒体に定着させる。
【００２９】
記憶部４４としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリなどが用いられる。記憶部４４には、本実施形態に係る画像処理プログラムの一例としての汚れ処理プログラム４８が記憶されている。なお、汚れ処理プログラム４８は、ＲＯＭ３６に記憶されていてもよい。
【００３０】
汚れ処理プログラム４８は、画像形成装置１０に予めインストールされていてもよい。また、汚れ処理プログラム４８は、不揮発性の記憶媒体に記憶させ、又はネットワークを介して配布して、画像形成装置１０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカードなどが想定される。
【００３１】
通信部４６は、インターネットや、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークに接続されており、外部のＰＣなどとの間で該ネットワークを介して通信が可能とされている。
【００３２】
画像形成装置１０は、一例として、ＯＣＲ（Optical Character Recognition）機能を備えており、画像情報に含まれる画像を文字認識することにより文字コードに変換することが可能とされている。
【００３３】
〔機能構成〕
汚れ処理プログラム４８を実行する場合、画像形成装置１０は、上記のハードウェア資源を用いて、各種の機能を実現する。画像形成装置１０が実現する機能構成について説明する。
【００３４】
図３に示されるように、画像形成装置１０は、機能構成として、読取部５２と、推定部５４と、特定部５６と、置換部５８とを有する。なお、読取部５２、推定部５４、特定部５６及び置換部５８の説明では、特にことわりの無い限り、図１、図２及び図３を参照するものとして、個別の図番の記載を省略する。各機能部は、ＣＰＵ３４が、汚れ処理プログラム４８を読み出して、ＲＡＭ３８に展開して実行することにより実現される。
【００３５】
＜読取部＞
読取部５２は、原稿Ｍの画像の一例としての原稿画像ＭＩ（図４参照）を読み取る。具体的には、読取部５２は、画像読取ユニット２０を含んで構成されている。そして、読取部５２は、原稿台２３上に載せられた１枚又は複数枚の原稿Ｍを搬送して、表側センサ２４Ａ及び裏側センサ２４Ｂによって原稿画像ＭＩを読み取る。読み取られた画像データは、ＲＧＢの画像データとされており、推定部５４に送られる。なお、読取部５２は、プラテンガラス上に載せられた原稿Ｍの原稿画像ＭＩを、表側センサ２４Ａを走査させることで読み取ってもよい。
【００３６】
＜推定部＞
推定部５４は、読取部５２により読み取られた原稿画像ＭＩから、原稿Ｍの汚れの範囲Ｓ（図４参照）及び汚れの種類（汚れの色及び汚れの形状を含む）を推定する。なお、推定部５４は、一例として、記憶部４４に記憶されている汚れの種類のパターンと、読取部５２において得られた画像データとをパターンマッチングさせることによって、原稿Ｍの汚れの範囲Ｓ及び汚れの種類を推定するように構成されている。
【００３７】
汚れの範囲Ｓとは、原稿Ｍの一部分であり、汚れそのものが存在している部分と該汚れの周辺（隣接する）部分とを合わせた部分を意味する。汚れの輪郭が原稿Ｍの下地Ｂ（図４参照）に対して明確に区別される場合、汚れの範囲Ｓは、汚れそのものの範囲を意味することになる。
【００３８】
汚れの種類には、色及び形状といった種類以外に、画像形成装置１０の内部（読取部５２）で生じた「装置内汚れ」と、画像形成装置１０の外部で生じた（元々原稿Ｍに存在していた）「装置外汚れ」とがある。「装置内汚れ」は、一例として、無地の用紙を読取部５２に読み取らせた場合、白以外の色として認識されたもののデータを、装置内部で生じた汚れとして記憶部４４に記憶させておき、それと比較することで区別される。「装置外汚れ」は、「装置内汚れ」に当てはまらないものとして、「装置内汚れ」とは区別される。
【００３９】
「装置外汚れ」には、例えば、コーヒーがこぼれるなどして原稿Ｍにシミが形成された「浸透型汚れ」と、ケチャップなどの異物が原稿Ｍの一部を覆った「付着型汚れ」とがある。「浸透型汚れ」では、例えば、汚れの輪郭部分（エッジ）の画像濃度が低くなる。「付着型汚れ」では、例えば、汚れの輪郭部分が「浸透型汚れ」に比べて画像濃度が高くなる。
【００４０】
＜特定部＞
特定部５６は、推定部５４により推定された汚れの範囲Ｓ（図４参照）の少なくとも一部を含む領域で且つ原稿画像ＭＩ（図５参照）中の領域となる領域Ｒ（図５参照）内の画素毎の色情報を用いて、ヒストグラムを作成する。また、特定部５６は、既述の汚れの種類に応じて、汚れの色と、当該汚れの色を有する画素数の閾値Ｋ（図６参照）とを設定する。なお、汚れの種類に応じた汚れの色及び閾値Ｋのデータは、予め、記憶部４４にデータテーブルとして設定されている。さらに、特定部５６は、当該汚れの色を有する画素で且つ閾値Ｋ以上の数の画素を、汚れを含む画素として特定する。
【００４１】
汚れの色とは、色相の変化を段階的に示すカラースケールにおいて、予め設定された、「汚れ」として推定される範囲内の色（一例として、図６に示す範囲Ａ内の色）を意味する。汚れの色は、少なくとも、原稿Ｍの下地の色（本実施形態では、一例として白色）とは区別される。
【００４２】
汚れの色を有する画素には、下地Ｂそのものの汚れを表す画素Ｐａ（図５参照）と、下地Ｂに形成された画像の汚れを表す画素Ｐｂ（図５参照）とがある。本実施形態では、特定部５６が、色情報に基づいて、画素Ｐａと画素Ｐｂとを区別するように構成されている。
【００４３】
＜置換部＞
置換部５８は、特定部５６において特定された汚れを含む画素を、原稿Ｍの下地Ｂに相当する画素又は原稿画像ＭＩに相当する画素に置き換える。具体的には、画素Ｐａを原稿Ｍの下地Ｂに相当する画素に置き換える。また、画素Ｐｂを原稿画像ＭＩに相当する画素に置き換える。例えば、下地Ｂが白色で、画像が黒色の場合、汚れを含む画素について、下地Ｂに相当する部分の画素の色を白色に置き換え、原稿画像ＭＩに相当する部分の画素の色を黒色に置き換える。これにより、原稿Ｍの汚れの除去が行われる。原稿画像ＭＩがカラーの場合は、例えば、汚れを含む画素の周辺部に存在する複数の画素の色について、最も多い色を画像の色とすればよい。
【００４４】
＜汚れの特定及び除去＞
次に、画像形成装置１０における原稿Ｍの汚れの特定及び除去について説明する。
【００４５】
図４には、一例として、文字画像Ｍａと絵柄画像Ｍｂとが混在する原稿Ｍにおいて、文字画像Ｍａの一部に汚れＤが付着した状態が示されている。また、図４には、原稿Ｍにおける領域Ｒ１、領域Ｒ２、領域Ｒ３、領域Ｒ４の断面（層構成）が模式的に示されている。
【００４６】
領域Ｒ１は、原稿Ｍの下地Ｂのみで構成されている。領域Ｒ２は、下地Ｂと、下地Ｂ上に形成された文字画像Ｍａとで構成されている。領域Ｒ３は、下地Ｂと、下地Ｂに付着した汚れＤとで構成されている。領域Ｒ４は、下地Ｂと、下地Ｂ上に形成された文字画像Ｍａと、文字画像Ｍａに付着した汚れＤとで構成されている。換言すると、領域Ｒ１及び領域Ｒ２は、汚れＤの無い領域である。領域Ｒ３及び領域Ｒ４は、汚れＤを有する領域である。
【００４７】
図５には、原稿Ｍを読み取って得た画像データが表す原稿画像ＭＩを複数の領域Ｒに区分し、すなわち原稿画像ＭＩ上に複数の領域Ｒを設定した様子が示されている。図５には、特に、原稿画像ＭＩ上に設定された複数の領域Ｒのうち、一例として、汚れＤを有すると推定された領域Ｒの一部が示されている。領域Ｒの一部は、一例として、４つの領域Ｒａ、領域Ｒｂ、領域Ｒｃ、領域Ｒｄを有している。なお、原稿画像ＭＩでは、１つの領域Ｒ内において、一例として、５×５＝２５の画素Ｐが設定されている。それぞれの画素Ｐは、模式的に同じ大きさの四角形で示されている。図５において、左右方向は原稿Ｍの幅方向（主走査方向）に相当し、上下方向は原稿Ｍの搬送方向（副走査方向）に相当する。
【００４８】
図５では、複数の画素Ｐが、４種類の画素Ｐ１、画素Ｐ２、画素Ｐａ、画素Ｐｂに区分されて示されている。画素Ｐ１、画素Ｐ２、画素Ｐａ、画素Ｐｂは、推定部５４（図３参照）に送られた画像データに含まれる画素である。具体的には、画素Ｐ１は、一例として、白色の画素であり、下地Ｂに相当する。画素Ｐ２は、一例として、黒色の画素であり、文字画像Ｍａ（図４参照）に相当する。画素Ｐａは、一例として、濃度の低い赤色の画素であり、下地Ｂに付着した汚れＤに相当する。画素Ｐｂは、一例として、濃度の低い茶色の画素であり、文字画像Ｍａに付着した汚れＤに相当する。
【００４９】
具体的に、原稿Ｍの汚れＤを除去する方法の一例について説明する。
【００５０】
特定部５６（図３参照）では、複数の領域Ｒのそれぞれにおいて、色毎の画素数が計数される。一例として、領域Ｒａでは、画素Ｐ１の数が１、画素Ｐ２の数が１、画素Ｐ３の数が４、画素Ｐ４の数が１９となっている。領域Ｒｂでは、画素Ｐ１の数が２、画素Ｐ２の数が１、画素Ｐ３の数が３、画素Ｐ４の数が１９となっている。領域Ｒｃでは、画素Ｐ１の数が３、画素Ｐ２の数が０、画素Ｐ３の数が９、画素Ｐ４の数が１３となっている。領域Ｒｄでは、画素Ｐ１の数が１２、画素Ｐ２の数が１２、画素Ｐ３の数が０、画素Ｐ４の数が１となっている。そして、特定部５６では、計数された画素数のデータを用いて、複数の領域Ｒ毎にヒストグラムが作成される。
【００５１】
図６には、作成されたヒストグラムの一例が示されている。ヒストグラムは、横軸をカラースケールとし、縦軸を画素数とするグラフＧ１として示されている。なお、グラフＧ１は、各画素数のデータプロットを結んだ線を滑らかな曲線に近似した状態で示されている。グラフＧ２は、参考として、下地Ｂ（図４参照）に相当する部分を表す曲線である。
【００５２】
特定部５６（図３参照）は、既述の汚れＤの種類に応じて、汚れの色（図６における範囲Ａ内の色）と、当該汚れの色を有する画素数の閾値Ｋとを設定する。汚れの色は、例えば、赤から茶色までの範囲内の色が汚れと推定される場合に、予め、赤から茶色までの範囲内の色を汚れの色として記憶部４４に記憶させておくことで設定される。さらに、特定部５６は、当該汚れの色を有する画素で且つ閾値Ｋ以上の数の画素を、汚れを含む画素として特定する。ここで、図６では、範囲Ａ内において、グラフＧ１の一部が閾値Ｋを超えている。これにより、特定部５６は、４つの領域Ｒａ、領域Ｒｂ、領域Ｒｃ、領域Ｒｄ（図５参照）に存在する画素Ｐａ及び画素Ｐｂ（図５参照）を、汚れを含んだ画素として特定する。
【００５３】
図３に示される置換部５８は、画素Ｐａを原稿Ｍの下地Ｂ（いずれも図５参照）に相当する画素に置き換える。また、置換部５８は、画素Ｐｂを文字画像Ｍａ（原稿画像ＭＩ）に相当する画素に置き換える。このようにして、画像形成装置１０では、原稿Ｍの汚れＤの特定及び除去（画像処理）が行われるようになっている。
【００５４】
〔作用〕
次に、第１実施形態の作用について説明する。
【００５５】
図７は、画像形成装置１０における汚れ除去処理を含む画像処理の流れを示すフローチャートである。なお、フローチャートの説明において、画像形成装置１０の各部及びＵＩ２６表示される原稿Ｍについては、図１から図６までの各図を参照することとし、個別の図番の記載を省略する。また、汚れ除去の具体的な処理については、図８を用いて説明する。
【００５６】
画像形成装置１０では、ＣＰＵ３４が、記憶部４４に記憶された汚れ処理プログラム４８を読み出して、ＲＡＭ３８に展開して実行することにより、画像処理（汚れ処理）が実現される。換言すると、汚れ処理プログラム４８は、制御部３２を、画像形成装置１０の各部として機能させるためのプログラムである。
【００５７】
ステップＳ１０において、ＣＰＵ３４は、図示されない原稿センサによって、原稿台２３上の原稿Ｍの有無及び原稿Ｍの枚数を検知させる。そして、ステップＳ１２に移行する。
【００５８】
ステップＳ１２において、ＣＰＵ３４は、原稿センサの検知結果を参照することで、原稿台２３上の原稿Ｍの有無を判定する。原稿Ｍが有りの場合（ステップＳ１２：ＹＥＳ）、ステップＳ１４に移行する。原稿Ｍが無しの場合（ステップＳ１２：ＮＯ）、ステップＳ１０に移行する。
【００５９】
ステップＳ１４において、ＣＰＵ３４は、ＵＩ２６においてユーザにより入力されたモード情報に従って、モード設定を行う。具体的には、ＣＰＵ３４は、原稿Ｍの汚れ対応（除去）を行う除去モード及び原稿Ｍの汚れ対応を行わない通常モードのいずれか一方のモードをＵＩ２６を介して受け付けて、受け付けた方のモードによりモード設定を行う。そして、ステップＳ１６に移行する。
【００６０】
ステップＳ１６において、ＣＰＵ３４は、画像読取ユニット２０（読取部５２）を用いて、原稿Ｍの読み取りを行わせる。読み取られたデータ（画像データ及び汚れデータ含む）は、記憶部４４に記憶される。そして、ステップＳ１８に移行する。
【００６１】
ステップＳ１８において、ＣＰＵ３４は、ステップＳ１４において設定されたモード設定を参照することで、汚れ対応の有無を判定する。汚れ対応有りの場合（ステップＳ１８：ＹＥＳ）、ステップＳ２０に移行する。汚れ対応無しの場合（ステップＳ１８：ＮＯ）、ステップＳ３６に移行する。なお、原稿Ｍが複数枚ある場合、ステップＳ１８において合計枚数を１枚減らしてから、ステップＳ２０又はステップＳ３６に移行する。
【００６２】
ステップＳ２０において、ＣＰＵ３４は、推定部５４を用いて、画像データに表される原稿画像ＭＩの汚れ検出を行う。具体的には、ＣＰＵ３４は、記憶されている汚れの種類のパターンと、読取部５２において得られた画像データとをパターンマッチングすることで、原稿画像ＭＩの汚れ検出（汚れの範囲Ｓ及び汚れの種類の推定）を行う。そして、ステップＳ２２に移行する。
【００６３】
ステップＳ２２において、ＣＰＵ３４は、ステップＳ２０の汚れ検出結果を参照することで、原稿Ｍの汚れの有無を判定する。汚れ有りの場合（ステップＳ２２：ＹＥＳ）、ステップＳ３４に移行する。汚れ無しの場合（ステップＳ２２：ＮＯ）、ステップＳ３６に移行する。
【００６４】
ステップＳ３４において、ＣＰＵ３４は、特定部５６及び置換部５８を用いて、原稿画像ＭＩの汚れＤの除去を行う。そして、ステップＳ３６に移行する。原稿画像ＭＩの汚れＤの除去については、図８を参照して、後述する。
【００６５】
ステップＳ３６において、ＣＰＵ３４は、原稿画像ＭＩから汚れＤを除去して得られた画像データを記憶部４４に記憶させる。そして、ステップＳ３８に移行する。
【００６６】
ステップＳ３８において、ＣＰＵ３４は、記憶部４４に記憶された画像データを読み出し、画像形成を行わせる。そして、ステップＳ４０に移行する。なお、ステップＳ３８における画像形成とは、画像記録ユニット３０を用いて記録媒体（一例として用紙）にトナー像を形成することに限らず、例えば、ｐｄｆファイルのような原稿Ｍの電子ファイルを作成することも含んでいる。
【００６７】
ステップＳ４０において、ＣＰＵ３４は、次の原稿Ｍの有無を判定する。具体的には、原稿Ｍの合計枚数が０の場合（ステップＳ４０：ＹＥＳ）、プログラムを終了する。原稿Ｍの合計枚数が１以上の場合（ステップＳ４０：ＮＯ）、ステップＳ１８に移行する。
【００６８】
図８には、原稿Ｍの汚れ除去における具体的な処理として、ステップＳ１００からステップＳ１１２までが示されている。ステップＳ１００からステップＳ１１２までは、ステップＳ３４に含まれる処理である。このため、ステップＳ１１０又はステップＳ１１２が終了した場合、ステップＳ３６（図７参照）に移行するようになっている。なお、画像形成装置１０の各部については、図１から図６までを参照することとし、個別の図番の記載を省略する。
【００６９】
ステップＳ１００において、ＣＰＵ３４は、記憶部４４に記憶された画像データを読み出す。そして、ステップＳ１０２に移行する。
【００７０】
ステップＳ１０２において、ＣＰＵ３４は、既述の通り、汚れの色（図６における範囲Ａ内の色）と、当該汚れの色を有する画素数の閾値Ｋとを設定する。そして、ステップＳ１０４に移行する。
【００７１】
ステップＳ１０４において、ＣＰＵ３４は、複数の領域Ｒ毎に、カラースケールに応じた画素数のヒストグラムを作成する。そして、ステップＳ１０６に移行する。
【００７２】
ステップＳ１０６において、ＣＰＵ３４は、各ヒストグラムにおいて汚れの色の範囲Ａと、閾値Ｋとをあてはめることで、原稿Ｍにおける複数の領域Ｒのうち、汚れＤを有する汚れ領域を決定する。ここでは、汚れ領域の一例として、領域Ｒａ、領域Ｒｂ、領域Ｒｃ及び領域Ｒｄが決定されたものとする。そして、ステップＳ１０８に移行する。
【００７３】
ステップＳ１０８において、ＣＰＵ３４は、置換部５８を用いて、各領域Ｒにおいて、汚れデータ（画素Ｐａ及び画素Ｐｂ）を置換する。具体的には、画素Ｐａを下地Ｂに相当する画素Ｐ１に置き換える。また、画素Ｐｂを原稿画像ＭＩに相当する画素Ｐ２に置き換える。このようにして、原稿Ｍの汚れ除去が行われる。そして、ステップＳ３６に移行する。
【００７４】
以上、説明したように、画像形成装置１０では、原稿Ｍの汚れの種類に応じて、汚れの色（範囲Ａ内の色）及び画素数の閾値Ｋが設定されることで、汚れＤを含む画素Ｐａ及び画素Ｐｂが特定され、汚れＤを含まない画素Ｐ１及び画素Ｐ２と区別される。これにより、汚れＤの範囲のみを推定する構成に比べて、画素単位での画像データの置換を行い易くなるので、より正確に、原稿Ｍの汚れＤが除去される。
【００７５】
[第２実施形態]
次に、第２実施形態に係る画像処理装置の一例としての画像形成装置６０について説明する。なお、前述した第１実施形態の画像形成装置１０と基本的に同一の部材及び部位には、前記第１実施形態と同一の符号を付与してその説明を省略する。
【００７６】
図９に示される画像形成装置６０は、機能構成として、読取部５２と、学習部６１と、推定部６２と、特定部６４と、置換部５８と、表示部６６と、受付部６８とを有する。換言すると、画像形成装置６０は、画像形成装置１０（図１参照）に対して、推定部５４及び特定部５６（図３参照）に代えて、学習部６１、推定部６２及び特定部６４を有し、更に、表示部６６及び受付部６８を有している。なお、学習部６１、推定部６２、特定部６４、表示部６６及び受付部６８の説明では、特にことわりの無い限り、図１、図２及び図９を参照するものとして、個別の図番の記載を省略する。
【００７７】
画像形成装置６０の各機能部は、ＣＰＵ３４（図２参照）が、処理プログラム４８（図２参照）を読み出して、ＲＡＭ３８（図２参照）に展開して実行することにより実現される。第２実施形態の汚れ処理プログラム４８には、第１実施形態の汚れ処理プログラム４８において、後述する機械学習を用いた汚れ判定の処理及び手動モードでの処理が追加されている。
【００７８】
＜表示部＞
図１０に示されるように、表示部６６は、タッチパネルディスプレイ２７を含んで構成されている。そして、表示部６６は、読取部５２により読み取られた原稿Ｍ（原稿画像ＭＩ）をタッチパネルディスプレイ２７に表示すると共に、後述する推定部６２により推定された汚れの範囲Ｓを、タッチパネルディスプレイ２７に表示するように構成されている。
【００７９】
さらに、表示部６６は、タッチパネルディスプレイ２７において、原稿Ｍと共にボタンＹｅｓ、Ｎｏを表示する。ボタンＹｅｓがユーザによって操作された場合、汚れ除去が行われる。ボタンＮｏがユーザによって操作された場合、汚れ除去は行われない。表示部６６は、ボタンＹｅｓ及びボタンＮｏのいずれか一方がユーザによって選択された場合、選択された情報の信号を受付部６８に送る。
【００８０】
また、表示部６６では、画面切り替えによって、ユーザからの指示を受け付けるための図示されない複数の操作ボタンが表示されるようになっている。複数の操作ボタンの中には、既述の通りユーザが汚れの有無を選択する手動モードのボタンや、ユーザが汚れの有無を選択せず、ＣＰＵ３４が汚れの有無を判定する自動モードのボタンがある。加えて、表示部６６は、画像形成装置６０の動作や作動状態といった各種情報をユーザに通知（報知）する機能も有している。
【００８１】
＜受付部＞
受付部６８は、表示部６６に表示された汚れの範囲Ｓ内に存在するものが、汚れであるか否かを受け付ける。つまり、受付部６８は、表示部６６において選択された汚れ除去の有無についての情報を受け付ける。また、受付部６８は、受け付けた汚れ除去の有無の情報を、ＣＰＵ３４、学習部６１、推定部６２及び特定部６４に送る。
【００８２】
＜学習部＞
学習部６１には、機械学習のアルゴリズムの一例として、ＣＮＮ（畳み込みニューラルネットワーク)が用いられている。ＣＮＮとは、入力層と出力層との間にある隠れ層として畳み込み層とプーリング層とを有しており、畳み込み層とプーリング層とを何度か繰り返して結合層でまとめあげることで、画像の認識の最終判定を行うアルゴリズムである。学習部６１は、学習フェーズにおいて、汚れがある原稿画像ＭＩのデータに当該原稿画像ＭＩにおける汚れの種類が正解ラベルとして付加された教師データを、複数繰り返し用いて、ＣＮＮにおける重み付けを学習（機械学習）する。当該学習フェーズにおいては、入力データとして汚れがある原稿画像ＭＩが入力され、ＣＮＮからの出力データと、入力データに付された汚れの種類を示す正解ラベルとの正否確認により、重み付けが調整され、学習済モデルが作成される。
【００８３】
さらに、学習部６１は、受付部６８において、原稿画像ＭＩの一部に存在するものが汚れであると受け付けられた場合（ユーザが選択した場合）、ユーザが選択（認定）した汚れの種類がラベルとして付加された原稿画像ＭＩを、教師データとして用いる。
【００８４】
＜推定部＞
推定部６２は、原稿Ｍを読取部５２により読み取ることで得られた原稿画像ＭＩから、原稿Ｍの汚れの範囲Ｓ（図４参照）及び汚れの種類（汚れの色及び汚れの形状を含む）を推定する。具体的には、推定部６２は、学習部６１における学習フェーズにより作成された学習済モデルを用いて（運用フェーズとして）、原稿画像ＭＩから、汚れの範囲Ｓ及び汚れの種類を推定する。
【００８５】
＜特定部＞
特定部６４は、自動モードの場合、推定部６２により推定された汚れの範囲Ｓの少なくとも一部を含む領域で且つ原稿画像ＭＩ中の領域となる領域Ｒ内の画素毎の色情報を用いて、ヒストグラムを作成する。また、特定部６４は、手動モードの場合で且つ受付部６８において汚れの範囲Ｓ内に存在するものが汚れであると受け付けられた場合、該汚れの範囲Ｓの少なくとも一部を含む領域で且つ原稿画像ＭＩ中の領域となる、領域Ｒ内の画素毎の色情報を用いて、ヒストグラムを作成する。
【００８６】
また、特定部６４は、既述の汚れＤの種類に応じて、汚れの色（図６における範囲Ａ内の色）と、当該汚れの色を有する画素数の閾値Ｋとを設定する。なお、汚れの種類に応じた汚れの色及び閾値Ｋのデータは、予め、記憶部４４にデータテーブルとして設定されている。さらに、特定部６４は、当該汚れの色を有する画素で且つ閾値Ｋ以上の数の画素を、汚れを含む画素として特定する。
【００８７】
〔作用〕
次に、第２実施形態の作用について説明する。
【００８８】
図１１は、画像形成装置６０（図９参照）における汚れ除去処理を含む画像処理の流れを示すフローチャートである。なお、フローチャートの説明において、画像形成装置６０の各部及びタッチパネルディスプレイ２７（図１０参照）に表示される原稿Ｍについては、図１、図２、図９、図１０の各図を参照することとし、個別の図番の記載を省略する。また、第１実施形態の画像形成装置１０（図１参照）と同様の処理ステップについては、同じステップ番号を付与して説明を省略する。
【００８９】
画像形成装置６０では、ＣＰＵ３４が、記憶部４４に記憶された汚れ処理プログラム４８（機械学習を用いた汚れ判定の処理及び手動モードでの処理が追加されたもの）を読み出して、ＲＡＭ３８に展開して実行することにより、画像処理（汚れ処理）が実現される。換言すると、汚れ処理プログラム４８は、制御部３２を、画像形成装置６０の各部として機能させるためのプログラムである。
【００９０】
ステップＳ１０、Ｓ１２、Ｓ１４、Ｓ１６、Ｓ１８は、第１実施形態と同様に行われる。そして、ステップＳ２０に移行する。
【００９１】
ステップＳ２０において、ＣＰＵ３４は、学習部６１における機械学習による学習済みモデルを用いて、推定部５４として、原稿Ｍ（原稿画像ＭＩ）の汚れの範囲Ｓ及び汚れの種類を推定する。そして、ステップＳ２２に移行する。
【００９２】
ステップＳ２２において、ＣＰＵ３４は、ステップＳ２０の汚れ検出結果を参照することで、原稿Ｍの汚れの有無を判定する。汚れ有りの場合（ステップＳ２０：ＹＥＳ）、ステップＳ２４に移行する。汚れ無しの場合（ステップＳ２０：ＮＯ）、ステップＳ３６に移行する。
【００９３】
ステップＳ２４において、ＣＰＵ３４は、手動モードを行うか否かを判定する。具体的には、ＣＰＵ３４は、ＵＩ２６において、手動モードのボタンが選択されていた場合、手動モードを行うと判定する。また、ＣＰＵ３４は、ＵＩ２６において、自動モードのボタンが選択されていた場合、自動モードを行うと判定する。手動モードを行う場合（ステップＳ２４：ＹＥＳ）、ステップＳ２６に移行する。自動モードを行う場合（ステップＳ２４：ＮＯ）、ステップＳ３４に移行する。
【００９４】
ステップＳ２６において、ＣＰＵ３４は、ＵＩ２６（タッチパネルディスプレイ２７）に原稿画像ＭＩ（原稿Ｍ）と、汚れ除去の選択ボタンとを表示させる。そして、ステップＳ２８に移行する。
【００９５】
ステップＳ２８において、ＣＰＵ３４は、汚れ判定結果を受け付ける。具体的には、ＣＰＵ３４は、タッチパネルディスプレイ２７において、ユーザによってＹｅｓボタンが選択された場合、汚れ有りの判定結果を受け付ける。また、ＣＰＵ３４は、タッチパネルディスプレイ２７において、ユーザによってＮｏボタンが選択された場合、汚れ無しの判定結果を受け付ける。そして、ステップＳ３０に移行する。
【００９６】
ステップＳ３０において、ステップＳ２８における受付の結果に応じて、汚れ有りか無しかを判定する。ＣＰＵ３４が汚れ有りの判定結果を受け付けている場合（ステップＳ３０：ＹＥＳ）、ステップＳ３２に移行する。ＣＰＵ３４が汚れ無しの判定結果を受け付けている場合（ステップＳ３０：ＮＯ）、ステップＳ３６に移行する。
【００９７】
ステップＳ３２において、ＣＰＵ３４は、原稿画像ＭＩのデータに、ステップＳ２８において汚れ有りとユーザに認定された汚れの種類（色及び形を含む）をラベルとして付加し、学習のための教師データとして記憶部４４に蓄積（記憶）させる。そして、ステップＳ３４に移行する。
【００９８】
ステップＳ３４、Ｓ３６、Ｓ３８、Ｓ４０は、第１実施形態と同様に行われる。そして、プログラムを終了する。
【００９９】
以上、説明したように、画像形成装置６０では、原稿Ｍの汚れの種類に応じて、汚れの色（範囲Ａ内の色）及び画素数の閾値Ｋが設定されることで、汚れＤを含む画素Ｐａ及び画素Ｐｂが特定され、汚れＤを含まない画素Ｐ１及び画素Ｐ２と区別される。これにより、汚れＤの範囲のみを推定する構成に比べて、画素単位での画像データの置換を行い易くなるので、より正確に、原稿Ｍの汚れＤが除去される。
【０１００】
また、画像形成装置６０では、特定部６４が、受付部６８において汚れの範囲Ｓ内に存在するものが汚れであると受け付けた場合、該汚れの範囲Ｓの領域Ｒ内の画素毎の色情報を用いてヒストグラムを作成する。換言すると、ユーザが汚れの有無の判定に関与するので、ユーザの好みに合わせて汚れ除去が行われる。
【０１０１】
さらに、画像形成装置６０では、ユーザが行った汚れ判定結果に合わせて、汚れの種類がラベルとして付加された画像データが教師データとして記憶部４４に記憶され、機械学習に用いられる。これにより、ユーザの判定結果を用いずに機械学習を行う構成に比べて、汚れの判定結果がユーザの目による判定結果に近づくので、機械学習による汚れ判定の精度が向上される。
【０１０２】
なお、本発明は、上記の実施形態に限定されない。
【０１０３】
画像形成装置６０の受付部６８において、汚れＤ（汚れらしきもの）が汚れであると受け付けられた場合、学習部６１は、推定した汚れＤの種類を機械学習の教師データとして用いなくてもよい。また、画像形成装置６０が、表示部６６及び受付部６８を有していなくてもよい。
【０１０４】
読取部５２（スキャナ部２４）は、表側センサ２４Ａ又は裏側センサ２４Ｂのみであってもよい。つまり、読取部５２は、片面読み取りするものであってもよい。
【０１０５】
推定部６２に用いられるアルゴリズムの他の例として、オートエンコーダを用いてもよい。オートエンコーダは、入力層のデータと同じデータを出力層の教師データとして用いるアルゴリズムである。データは、入力層から隠れ層に流れる場合、エンコードされ、隠れ層から出力層に流れる場合、デコードされる。原稿画像ＭＩの特徴を抽出して復元を行う方式である。
【０１０６】
ヒストグラムの横軸となるパラメータは、カラースケールに代えて、色に合わせた周波数であってもよい。
【０１０７】
読取部５２によって読み取られたＲＧＢのデータについて、色変換を行いＬａｂのデータとしてから、ヒストグラムを作成してもよい。なお、この場合、汚れを除去したＬａｂのデータからＣＭＹＫのデータに色変換を行って、画像（トナー像）形成を行えばよい。
【０１０８】
図６では、ヒストグラムにおける汚れの色の範囲の一例として、範囲Ａのみが示されていたが、ヒストグラムにおいて汚れＤとして推定されるのは、１つの範囲Ａに限らず、複数の範囲であってもよい。
【０１０９】
原稿Ｍの下地の色が、例えば、青色などの白以外の色である場合には、原稿Ｍの下地の色をユーザに選択させて、下地の色を汚れＤと判定しないようにさせてもよい。
【０１１０】
タッチパネルディスプレイ２７における汚れの範囲Ｓの設定は、ユーザがタッチペンを用いて、汚れと推定される部分の外周をなぞることで設定されてもよい。
【０１１１】
各実施形態は、画像形成装置１０、６０の各々が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態における汚れ処理プログラムは、コンピュータが読み取り可能なＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリなどの非一時的記憶媒体に記憶されていてもよいし、外部サーバから受信されてもよい。
【０１１２】
また、各実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。本実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
【０１１３】
また、各実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【０１１４】
本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【符号の説明】
【０１１５】
１０  画像形成装置（画像処理装置の一例）
４４  記憶部
４８  汚れ処理プログラム（画像処理プログラムの一例）
５２  読取部
５４  推定部
５６  特定部
５８  置換部
６０  画像形成装置（画像処理装置の一例）
６２  推定部
６４  特定部
６６  表示部
６８  受付部
Ｇ  画像
Ｍ  原稿
ＭＩ  原稿画像（画像の一例）
Ｒ  領域
【図１】
2020154780.tif 000003
【図２】
2020154780.tif 000004
【図３】
2020154780.tif 000005
【図４】
2020154780.tif 000006
【図５】
2020154780.tif 000007
【図６】
2020154780.tif 000008
【図７】
2020154780.tif 000009
【図８】
2020154780.tif 000010
【図９】
2020154780.tif 000011
【図１０】
2020154780.tif 000012
【図１１】
2020154780.tif 000013