(57)【要約】【課題】背景画像に含まれる、破損部と同様な明度の差異を有する特定のパターンを破損部として誤検知することを防止することにある。【解決手段】背景評価画像生成部１１０が、元画像Ｇ１００に平滑化処理を行うことにより各画素の背景となる画素の評価を表す背景評価画像Ｇ１１０を生成する。平坦評価画像生成部１２０が、元画像Ｇ１００にエッジ検知処理と平滑化処理を行うことにより元画像Ｇ１００の平坦性に係る評価を表す平坦評価画像Ｇ１２０を生成する。破損部検知画像［１］生成部２００が、元画像Ｇ１００と背景評価画像Ｇ１１０との間の差分値、及び平坦評価画像Ｇ１２０の画素値に基づいて、破損部を識別して破損部検知画像［１］Ｇ２００を生成する。【選択図】図５
2018060324.tif 000002
【特許請求の範囲】
【請求項１】
元画像に存在する破損部を検知する画像処理装置であって、
前記元画像に平滑化処理を行うことにより各画素の背景となる画素の評価を表す背景評価画像を生成する背景評価画像生成手段と、
前記元画像にエッジ検知処理と平滑化処理を行うことにより前記元画像の平坦性に係る評価を表す平坦評価画像を生成する平坦評価画像生成手段と、
前記元画像と前記背景評価画像との間の差分値、及び前記平坦評価画像の画素値に基づいて、破損部を識別して破損部検知画像を生成する破損部検知画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記背景評価画像生成手段は、前記元画像に対してメディアンフィルタを用いて平滑化処理を行うことにより前記背景評価画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記平坦評価画像生成手段は、前記元画像に対してソベルフィルタを用いてエッジ検知処理を行うことにより隣接差分画像を生成し、前記隣接差分画像に対してガウシアンフィルタ、平均化フィルタ、メディアンフィルタの何れか１つを用いて平滑化処理を行うことにより前記平坦評価画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記破損部検知画像生成手段は、前記元画像、前記背景評価画像、及び前記平坦評価画像に基づいて、背景画素と破損部画素を区別して、少なくとも２値の情報を有する破損部検知画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記破損部検知画像生成手段は、画素毎に少なくとも２値の情報を格納した前記破損部検知画像に対して、破損部画素である領域に膨張処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記破損部検知画像生成手段は、前記破損部検知画像の各画素を黒破損部画素又は白破損部画素の２種類に識別することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記破損部検知画像生成手段は、
前記破損部検知画像のある画素が黒破損部画素であると識別するのに用いる識別条件として、
Ｂ１：元画像の画素値（Ｐ）は背景評価画像の画素値（Ｑ）より明度（Ｌ＊）が小さい
Ｌ＊（Ｐ）＜Ｌ＊（Ｑ）
Ｂ２：元画像の画素値（Ｐ）と背景評価画像の画素値（Ｑ）の色差（ΔＥ＊）が設定閾値（Ｔ１）より大きい
ΔＥ＊（Ｐ，Ｑ）＞Ｔ１
Ｂ３：元画像の画素値（Ｐ）と背景評価画像の画素値（Ｑ）の彩度差（ΔＣ＊）が設定閾値（Ｔ２）より小さい
ΔＣ＊（Ｐ，Ｑ）＜Ｔ２
Ｂ４：元画像の画素値（Ｐ）の彩度（Ｃ＊）が設定閾値（Ｔ３）より大きい
Ｃ＊（Ｐ）＞Ｔ３
を有し、
前記Ｂ１乃至Ｂ４の全てを満たす場合に、前記ある画素が黒破損部画素であると識別することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記破損部検知画像生成手段は、
前記破損部検知画像のある画素が白破損部画素であると識別するのに用いる識別条件として、
Ｗ１：元画像の画素値（Ｐ）は背景評価画像の画素値（Ｑ）より明度（Ｌ＊）が大きい
Ｌ＊（Ｐ）＞Ｌ＊（Ｑ）
Ｗ２：元画像の画素値（Ｐ）と背景評価画像の画素値（Ｑ）の色差（ΔＥ＊）が設定閾値（Ｔ４）より大きい
ΔＥ＊（Ｐ，Ｑ）＞Ｔ４
Ｗ３：元画像の画素値（Ｐ）と背景評価画像の画素値（Ｑ）の彩度差（ΔＣ＊）が設定閾値（Ｔ５）より小さい
ΔＣ＊（Ｐ，Ｑ）＜Ｔ５
Ｗ４：元画像の画素値（Ｐ）の彩度（Ｃ＊）が設定閾値（Ｔ６）より小さい
Ｃ＊（Ｐ）＜Ｔ６
Ｗ５：元画像の画素値（Ｐ）と背景評価画像の画素値（Ｑ）の明度差（ΔＬ＊）が設定閾値（Ｔ７）より大きい
ΔＬ＊（Ｐ，Ｑ）＞Ｔ７
を有し、
前記Ｗ１及び前記Ｗ２を満たし且つ前記Ｗ３及び前記Ｗ４を満たす場合、又は前記Ｗ１及びＷ２を満たし且つ前記Ｗ．５を満たす場合に、前記ある画素が白破損部画素であると識別することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記破損部検知画像生成手段は、前記背景評価画像の明度、及び前記平坦評価画像の画素値に基づいて、前記各識別条件に係る各設定閾値を補正することを特徴とする請求項７又は８に記載の画像処理装置。
【請求項１０】
前記破損部検知画像生成手段は、前記破損部検知画像のある画素が前記黒破損部画素に係る識別条件、又は前記白破損部画素に係る識別条件に該当しなかった場合に、前記ある画素を背景画素とすることを特徴とする請求項７又は８に記載の画像処理装置。
【請求項１１】
元画像に存在する破損部を検知する画像処理装置による画像処理方法であって、
前記元画像に平滑化処理を行うことにより各画素の背景となる画素の評価を表す背景評価画像を生成する背景評価画像生成ステップと、
前記元画像にエッジ検知処理と平滑化処理を行うことにより前記元画像の平坦性に係る評価を表す平坦評価画像を生成する平坦評価画像生成ステップと、
前記元画像と前記背景評価画像との間の差分値、及び前記平坦評価画像の画素値に基づいて、破損部領域を識別して破損部検知画像を生成する破損部検知画像生成ステップと、
を実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
油絵具を用いて描かれた絵画は、経年変化により表面にひび割れや亀裂やクラック等の破損部が発生し、絵画の外観を損なっていた。このため、破損部が発生する前の画像を鑑賞したいという要望があった。
そこで、従来、破損部が発生した絵画の画像から破損部を検知しておき、検知された破損部を修復するという画像処理技術が知られている。
特許文献１には、スキャナを介して取得した画像からダストや汚れなどの異常部分を除去する目的で、画像処理技術を用いて背景画像から異常部分を検知しておき、当該異常部分を修復する方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、従来の画像処理技術では、隣接する画素間での変化値が周辺の画素集合の平均値と比べて、極端に大きくなっている画素を異常部分であると決定している。
そのため、例えば破損部が生じている人物絵画の画像において、人物の服装を背景にしてレース素材が付けられている箇所では、レース素材が形成した特定のパターンを破損部として誤検知するといった問題があった。
特許文献１にあっては、画像処理を用いて破損部のようなノイズを除去する点が開示されている。しかし、背景画像に含まれる、破損部と同様な明度の差異を有する特定のパターンを破損部として誤検知するといった問題は解消できていない。
本発明は、上記に鑑みてなされたもので、その目的は、背景画像に含まれる、破損部と同様な明度の差異を有する特定のパターンを破損部として誤検知することを防止することにある。
【課題を解決するための手段】
【０００４】
請求項１記載の発明は、上記課題を解決するため、元画像に存在する破損部を検知する画像処理装置であって、前記元画像に平滑化処理を行うことにより各画素の背景となる画素の評価を表す背景評価画像を生成する背景評価画像生成手段と、前記元画像にエッジ検知処理と平滑化処理を行うことにより前記元画像の平坦性に係る評価を表す平坦評価画像を生成する平坦評価画像生成手段と、前記元画像と前記背景評価画像との間の差分値、及び前記平坦評価画像の画素値に基づいて、破損部を識別して破損部検知画像を生成する破損部検知画像生成手段と、を備えることを特徴とする。
【発明の効果】
【０００５】
本発明によれば、背景画像に含まれる、破損部と同様な明度の差異を有する特定のパターンを破損部として誤検知することを防止することができる。
【図面の簡単な説明】
【０００６】
【図１】本発明の一実施形態に係る情報処理装置、及び画像形成装置を示す図である。
【図２】本発明の一実施形態に係る情報処理装置のハードウェア構成を示す図である。
【図３】本発明の一実施形態に係る情報処理装置の機能構成を示す図である。
【図４】本発明の一実施形態に係る画像形成装置の機能構成を示す図である。
【図５】本発明の一実施形態に係る画像処理部の機能構成を示す機能ブロック図である。
【図６】図５に示す背景評価画像生成部による背景評価画像生成処理について説明するためのフローチャートである。
【図７】（ａ）はメディアンフィルタの構成を示す図であり、（ｂ）はガウシアンフィルタの構成を示す図である。
【図８】図５に示す平坦評価画像生成部による平坦評価画像生成処理について説明するためのフローチャートである。
【図９】図５に示す破損部検知画像［１］生成部による破損部検知画像［１］生成処理について説明するためのフローチャートである。
【図１０】図５に示す破損部検知画像［１］生成部による黒破損部検知処理のサブルーチンについて説明するためのフローチャートである。
【図１１】図５に示す破損部検知画像［１］生成部による白破損部検知処理のサブルーチンについて説明するためのフローチャートである。
【図１２】図５に示す破損部検知画像［２］生成部による破損部検知画像［２］生成処理について説明するためのフローチャートである。
【図１３】図５に示す破損部検知画像［２］生成部による膨張処理について説明するためのグラフ図である。
【図１４】図５に示す破損部修復画像［１］生成部による破損部修復画像［１］生成処理について説明するためのフローチャートである。
【図１５】（ａ）は破損部検知画像［２］の各画素を表す画像例を示す図であり、（ｂ）は背景評価画素リストを示す図である。
【図１６】図５に示す破損部修復画像［２］生成部による破損部修復画像［２］生成処理について説明するためのフローチャートである。
【図１７】元画像を示す図である。
【図１８】元画像から生成された背景評価画像を示す図である。
【図１９】元画像から生成された平坦評価画像を示す図である。
【図２０】元画像及び平坦評価画像から生成された破損部検知画像［１］を示す図である。
【図２１】破損部検知画像［１］から生成された破損部検知画像［２］を示す図である。
【図２２】元画像及び破損部検知画像［２］から生成された破損部修復画像［１］を示す図である。
【図２３】破損部修復画像［１］から生成された破損部修復画像［２］を示す図である。
【発明を実施するための形態】
【０００７】
以下、本発明を図面に示した実施の形態により詳細に説明する。
本発明は背景画像に含まれる、破損部と同様な明度の差異を有する特定のパターンを破損部として誤検知することを防止するために、以下の構成を有する。
すなわち、本発明の画像処理装置は、元画像に存在する破損部を検知する画像処理装置であって、元画像に平滑化処理を行うことにより各画素の背景となる画素の評価を表す背景評価画像を生成する背景評価画像生成手段と、元画像にエッジ検知処理と平滑化処理を行うことにより元画像の平坦性に係る評価を表す平坦評価画像を生成する平坦評価画像生成手段と、元画像と背景評価画像との間の差分値、及び平坦評価画像の画素値に基づいて、破損部を識別して破損部検知画像を生成する破損部検知画像生成手段と、を備えることを特徴とする。
以上の構成を備えることにより、背景画像に含まれる、破損部と同様な明度の差異を有する特定のパターンを破損部として誤検知することを防止することができる。
上記の本発明の特徴に関して、以下、図面を用いて詳細に説明する。
【０００８】
本発明の実施形態について、図面を参照して説明する。
＜情報処理装置、及び画像形成装置＞
図１は、本発明の一実施形態に係る情報処理装置１、及び画像形成装置２を示す図である。
図１に示すように、情報処理装置１と画像形成装置２とは、ネットワークを介して接続されている。情報処理装置１及び画像形成装置２の具体的な例としては、情報処理装置１がＰＣ（Personal Computer）等の一般的な情報処理端末であり、画像形成装置２が家庭等で使用されるインクジェットプリンタである場合の他、画像形成装置２が業務用印刷において用いられる印刷機であり、情報処理装置１が、そのような業務用の印刷機を制御するための制御用の情報処理端末である場合等が考えられる。
【０００９】
情報処理装置１は、ＰＣ等の汎用的な情報処理装置である。情報処理装置１には、画像形成装置２に画像形成出力を実行させるための機能を実現するプリンタドライバを構成するためのソフトウェア・プログラムがインストールされている。
【００１０】
＜情報処理装置＞
図２を参照して、本発明の一実施形態に係る情報処理装置１のハードウェア構成について説明する。図２に示すように、情報処理装置１は、一般的なサーバやＰＣ等と同様の構成を含む。即ち、情報処理装置１は、ＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、ＨＤＤ（Hard Disk Drive）１４及びＩ／Ｆ１５がバス１８を介して接続されている。また、Ｉ／Ｆ１５にはＬＣＤ（Liquid Crystal Display）１６及び操作部１７が接続されている。
【００１１】
ＣＰＵ１１は、情報処理装置１全体の動作を制御する。ＲＡＭ１２は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１１が情報を処理する際の作業領域として用いられる。
ＲＯＭ１３は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ１４は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Operating System）や各種の制御プログラム、アプリケーション・プログラム等が格納される。上述したプリンタドライバを構成するためのソフトウェア・プログラムも、ＨＤＤ１４に格納されている。
【００１２】
Ｉ／Ｆ１５は、バス１８と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ１６は、ユーザが情報処理装置１の状態を確認するための視覚的ユーザインタフェースである。操作部１７は、キーボードやマウス等、ユーザが情報処理装置１に情報を入力するためのユーザインタフェースである。
【００１３】
このようなハードウェア構成において、ＲＯＭ１３やＨＤＤ１４若しくは光学ディスク等の記憶媒体に格納されたプログラムを読み出してＲＡＭ１２に書き込み、ＣＰＵ１１がＲＡＭ１２から読み込んだそれらのプログラムに従って演算を行うことにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、情報処理装置１の機能が実現される。
【００１４】
＜情報処理装置の機能構成＞
次に、本発明の一実施形態に係る情報処理装置１の機能構成について説明する。
図３に示すように、情報処理装置１は、コントローラ２０、及び外部Ｉ／Ｆ４２を含む。外部Ｉ／Ｆ４２は、情報処理装置１が画像形成装置２との間で情報をやり取りするためのインタフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）やＵＳＢ（Universal Serial Bus）インタフェースが用いられる。
【００１５】
コントローラ２０は、上述したように構成されるソフトウェア制御部であり、アプリケーション２２、通信制御部４０及びプリンタドライバ２６を含む。
アプリケーション２２は、画像データや文書データ等を閲覧、編集するための機能を実現するソフトウェアである。
アプリケーション２２は、画像処理部２４を有し、画像処理部２４により元画像から最終的に破損部が修復された画像を得る。
【００１６】
アプリケーション２２は、ユーザの操作に従って閲覧または編集中の画像データや文書データ等の印刷指示を出力する。通信制御部４０は、コントローラ２０が外部Ｉ／Ｆ４２を介して画像形成装置２との間で情報をやり取りするための処理を行う。
【００１７】
プリンタドライバ２６は、アプリケーション２２からの印刷指示を受けて、画像形成装置２が画像形成出力を実行するための情報である描画情報を生成する。この際、プリンタドライバ２６は、意図した通りの高精度な画像が形成されるように、画像形成装置２に含まれる画像形成機構の特性に応じた描画情報を生成する。
【００１８】
＜プリンタドライバ＞
図３に示すように、プリンタドライバ２６は、印刷指示取得部２８、描画情報生成部３０、描画情報転送部３２、ドットパターン生成部３４、読取画像取得部３６、ノズル特性判断部３８を含む。プリンタドライバ２６の機能については後に詳述する。
【００１９】
＜画像形成装置＞
画像形成装置２は、インクジェット方式の画像形成機構を含み、情報処理装置１から入力された描画情報に従って画像形成出力を実行する。
図４を参照して、本発明の一実施形態に係る画像形成装置２の機能構成について説明する。図４に示すように、画像形成装置２は、コントローラ７０、操作パネル３０、キャリッジ５０、主走査モータ５６、副走査モータ６０、搬送ベルト６２、及び帯電ローラ６６を含む。
【００２０】
操作パネル３０は、画像形成装置１に必要な情報の入力及び表示を行なうための操作部及び表示部として機能するユーザインタフェースである。キャリッジ５０は、インクを吐出する記録ヘッド５４及び記録ヘッド５４を駆動するヘッドドライバ５２が搭載されており、搬送ベルト６２によって搬送される用紙に対して、用紙の搬送方向である副走査方向と直角な方向である主走査方向に動かされることにより、用紙の前面に対してインクを吐出して画像形成出力を行う。
【００２１】
主走査モータ５６は、キャリッジ５０を主走査方向に動かすための動力を供給するモータである。副走査モータ６０は、画像の出力対象である用紙を搬送する搬送ベルト６２に動力を供給するモータである。主走査モータ５６及び副走査モータ６０の回転は、夫々エンコーダセンサ５８及びエンコーダセンサ６４によって検知され、その検知信号がコントローラ７０に入力される。帯電ローラ６６は、搬送ベルト６２を帯電させることにより、画像の出力対象である用紙を搬送ベルト６２に吸着させるための静電力を発生させる。
【００２２】
コントローラ２０は、画像形成装置１の動作を制御する制御部であり、図２に示すように、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、ＮＶＲＡＭ（Non Volatile RAM）２０４、ＡＳＩＣ（Application Specific Integrated Circuit）２０５、ホストＩ／Ｆ８２、印刷制御部８４、モータ駆動部８６、ＡＣバイアス供給部８８及びＩ／Ｏ９０を含む。
【００２３】
ＣＰＵ７２は、コントローラ７０各部の動作を制御する。ＲＯＭ７４は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＲＡＭ７６は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ７２が情報を処理する際の作業領域として用いられる。ＮＶＲＡＭ７８は、情報の読み書きが可能な不揮発性の記憶媒体であり、制御プログラムや制御用のパラメータが格納される。
【００２４】
ＡＳＩＣ８０は、画像形成出力に際して必要な画像処理を実行するハードウェア回路である。ホストＩ／Ｆ８２は、情報処理装置１から描画データを受信するためのインタフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）やＵＳＢ（Universal Serial Bus）インタフェースが用いられる。Ｉ／Ｏ９０は、エンコーダセンサ５８、２８等の各種センサからの検知信号をコントローラ７０に入力するためのポートである。
【００２５】
印刷制御部８４は、キャリッジ５０に含まれる記録ヘッド５４を駆動制御するためのデータ転送手段、駆動波形を生成する駆動波形生成手段を含む。モータ駆動部８６は、主走査モータ５６及び副走査モータ６０を駆動する。ＡＣバイアス供給部８８は、帯電ローラ６６にＡＣバイアスを供給する。
【００２６】
情報処理装置１から入力される描画データは、上述したように、コントローラ７０においてホストＩ／Ｆ８２に入力され、ホストＩ／Ｆ内の受信バッファに格納される。ＣＰＵ７２は、ＲＡＭ７６にロードされたプログラムに従って演算を行うことにより、ホストＩ／Ｆ８２に含まれる受信バッファ内の描画データを読み出して解析し、ＡＳＩＣ８０を制御して必要な画像処理、データの並び替え処理等を行なう。その後、ＣＰＵ７２は、印刷制御部８４を制御することにより、ＡＳＩＣ８０において処理された描画データを、ヘッドドライバ５２に転送する。
【００２７】
印刷制御部８４は、上述した描画データをシリアルデータでヘッドドライバ５２に転送するとともに、この描画データの転送及び転送の確定などに必要な転送クロックやラッチ信号、滴制御信号（マスク信号）などをヘッドドライバ５２に出力する。また、印刷制御部８４は、ＲＯＭ７４に格納されている駆動信号のパターンデータをＤ／Ａ変換するＤ／Ａ変換器及び電圧増幅器、電流増幅器等で構成される駆動波形生成部及びヘッドドライバ５２に与える駆動波形選択手段を含み、１の駆動パルス（駆動信号）或いは複数の駆動パルス（駆動信号）で構成される駆動波形を生成してヘッドドライバ５２に対して出力する。
【００２８】
ヘッドドライバ５２は、シリアルに入力される１行分の描画データに基づき、印刷制御部８４から与えられる駆動波形を構成する駆動信号を、記録ヘッド５４から液滴を吐出させるためのエネルギーを発生する駆動素子に対して選択的に印加することで記録ヘッド５４を駆動する。このとき、ヘッドドライバ５２は、駆動波形を構成する駆動パルスを選択することによって、例えば、大滴（大ドット）、中滴（中ドット）、小滴（小ドット）など、大きさの異なるドットを打ち分けることができる。
【００２９】
また、ＣＰＵ７２は、リニアエンコーダを構成するエンコーダセンサ５８、からの検知パルスをサンプリングして得られる速度検知値及び位置検知値と、予め格納した速度・位置プロファイルから得られる速度目標値及び位置目標値とに基づいて主走査モータ５６に対する駆動出力値（制御値）を算出してモータ駆動部８６を介して主走査モータ５６を駆動する。同様に、ＣＰＵ７２は、ロータリエンコーダを構成するエンコーダセンサ６４からの検知パルスをサンプリングして得られる速度検知値及び位置検知値と、予め格納した速度・位置プロファイルから得られる速度目標値及び位置目標値とに基づいて副走査モータ６０に対する駆動出力値（制御値）を算出してモータ駆動部８６を介しモータドライバを介して副走査モータ６０を駆動する。
【００３０】
＜プリンタドライバの動作＞
上述したような情報処理装置１及び画像形成装置２が連動することにより、画像形成出力が実行される。即ち、情報処理装置１において動作するアプリケーション２２からの印刷指示は、プリンタドライバ２６において処理されて画像形成装置２が出力可能な多値の記録ドットパターンが生成され、それがラスタライズされて描画データとして画像形成装置２に転送され、画像形成装置２において画像形成出力が実行される。
【００３１】
具体的には、情報処理装置１内では、アプリケーション２２やオペレーティングシステムからの画像の描画又は文字の記録命令（例えば記録する線の位置と太さと形などを記述したものや、記録する文字の書体と大きさと位置などを記述したもの）は、印刷指示取得部２８によって取得され、描画データメモリに一時的に保存される。なお、これらの命令は、特定のプリント言語で記述されたものである。
【００３２】
そして、描画データメモリに記憶された命令は、描画情報生成部３０に含まれるラスタライザによって解釈され、線の記録命令であれば、指定された位置や太さ等に応じた記録ドットパターンに変換され、また、文字の記録命令であれば情報処理装置１内に保存されているフォントアウトラインデータから対応する文字の輪郭情報を呼びだし指定された位置や大きさに応じた記録ドットパターンに変換され、イメージデータであれば、そのまま記録ドットパターンに変換される。
【００３３】
その後、描画情報生成部３０は、これらの記録ドットパターンに対して画像処理を行ってラスタデータメモリに記憶する。このとき、情報処理装置１は、直交格子を基本記録位置として、記録ドットパターンのデータにラスタライズする。画像処理としては、例えば色を調整するためのカラーマネージメント処理やγ補正処理、ディザ法や誤差拡散法などの中間調処理、さらには下地除去処理、インク総量規制処理などがある。そして、ラスタデータメモリに記憶された記録ドットパターンが、描画情報転送部３２により、インタフェースを経由してインクジェットプリンタ５００へ転送される。
【００３４】
上述したように描画情報生成部３０において実行される処理のうち、中間調処理は、ハーフトーン処理とも呼ばれるものである。このハーフトーン処理とは、画像形成出力を行う対象の画像情報における色表現の階調を、画像形成装置２による画像形成出力性能における色表現の階調に合わせて変換する処理である。
【００３５】
上述したように、インクジェット方式の画像形成装置２においては、記録ヘッド５４に含まれるノズルからインクを吐出することによって各画素を形成して画像形成出力を実行する。この際、上述したように、吐出させるインク滴を小滴、中滴、大滴に切り替えることにより、１つの画素において、無色も含めて４階調（２ｂｉｔ）程度の濃度表現が可能である。しかしながら、情報処理装置１のようなＰＣ上では、画像データは２５６階調（８ｂｉｔ）等で処理されることが一般的である。
【００３６】
従って、ハーフトーン処理においては、例えば８ｂｉｔによって表現された画像データを、２ｂｉｔによって表現された画像データに、人の目視によって認識される画質を劣化させることなく変換する。変換前と変換後の画像データを夫々の画素毎に比較すると、濃度階調が少なくなっているため明らかに異なる。そのため、ハーフトーン処理においては、複数の画素を含む所定の面積単位毎に画像を比較した場合に人の目視によって同様の画像として認識されるように、面積階調法によって画像の変換を行う。その結果、ハーフトーン処理においては、面積階調法に起因する量子化誤差が生じる。
【００３７】
量子化誤差を考慮したハーフトーン処理としては誤差拡散法やＤＢＳ（Direct  Binary Search）法などが知られる。誤差拡散法は、各画素で発生した量子化誤差に重み付けをして蓄積し、周辺の画素に拡散する方法で、ディザ法などのように規定の繰り返しパターンとの比較で量子化を行なう方法に比べ、テクスチャやモアレなどが生じにくい。しかし、処理の方向に起因するワーム上のドット連なりが生じやすいという特徴もある。ＤＢＳは、ドット配置を仮決めし、ドット配置を画素ごとあるいは区間ごとにドットのＯＮ／ＯＦＦや種類の入れ替えをして入力との量子化誤差を計算し、誤差が低減する場合ドット配置を更新することをくり返すことで誤差を低減するもので、画像の先鋭性に優れ、誤差拡散で生じるワームのような規則的な模様も発生しにくい。
【００３８】
上記処理はデータ処理に関するものであるため、あくまで理論上のものである。そもそもデジタルデータは１つ１つの画素が四角形状で扱われるが、ノズルから吐出されたインクが用紙上に定着して形成されるドット（以降、着弾画像とする）の１つ１つは円形状である。そのため隣接画素位置のドットの有無やドット種類によって紙面の埋まり方は異なる。
【００３９】
また、インクは機械的な制御によってノズルから吐出される。そのため、圧電素子の応答特性やノズルの微細な形状等、様々な要因によって夫々のノズル毎の着弾画像の特性が異なる。そのため、同一の駆動信号に基づいて駆動された場合でも、着弾画像のドットの大きさが異なっていたり、着弾の位置がずれてしまったり、サテライトが発生し、隣接画素に影響を与えてしまうことがある。なお、ここでサテライトとは、主滴（メインドット）と付随して吐出される微小滴のことである。
【００４０】
その結果、均一なデータを印刷しているつもりでも個々のヘッド、ノズルの特性によって、インクの付着量やドットの重なり方に差が出るため、これが色味の違いやスジやバンディングといった画像不具合として、人による目視において認識されてしまう場合もある。
【００４１】
描画情報生成部３０は、このような課題に対応するため、ＤＢＳ法による誤差計算によってドットの入れ替え処理を行なう場合において、デジタル値ではなく、ドットの着弾モデルを形成して誤差を計算することでエンジン特性込みの印字データを作成する。
【００４２】
そのため、画像形成装置２を用いて画像形成出力を行う場合、事前の処理として、ドットパターン生成部３４によって生成された画像パッチを印刷し、それをセンサやスキャナ等によって読み取ることにより生成されたパッチ画像データを読取画像取得部３６が取得し、ノズル特性判断部３８がパッチ画像データに基づいて、画像形成装置２のノズルが形成するドットの着弾モデルを生成する。そして、以降の画像形成出力における描画データの生成処理において、描画情報生成部３０は、各ノズルが吐出するドットを、この着弾モデルを用いてシミュレートする。
【００４３】
まず、ドットパターン生成部３４が生成する画像パターンの例について説明する。ドットパターン生成部３４は、画像パターンを生成し、印刷指示取得部２８に入力することによって画像形成装置２に画像パターンの画像形成出力を実行させる。このようにして出力された用紙をスキャナ等によって読み込むことにより生成された画像データを読取画像取得部３６が取得し、ノズル特性判断部３８がノズルによって形成されるドットのモデルを取得する。
【００４４】
ノズル特性判断部３８は、ドットパターン生成部３４が生成したドットパターンと、読み取り画像情報取得部１１５が取得したドットパターンを読み取った画像情報、即ちドットパターン画像情報とを比較する。これにより、ノズル特性判断部３８は、画像形成装置２に含まれる複数のノズル夫々によって吐出されたインクが画像形成出力対象の媒体である用紙において付着する位置、付着するインクの大きさ、付着するインクの形状及びサテライト（付着するインクの分布）の情報を含むノズル特性情報を生成する。
【００４５】
ノズルが４行１列に配置されたキャリッジ５０を例とし、４行のパターンを形成する場合を例として示している。これは、ＣＭＹＫ各色に対して１つノズルが設けられている最も基本的な例であり、形成される画像パターンは、ライン方式の記録ヘッド等、ノズルの配置によって設定される。
【００４６】
ドットパターン生成部３４によって生成される画像パターンのレイアウトについては特に限定するものではないが、パターンのドット形成密度が高いと、周囲のドットと結合し、どのドットがどのノズルから吐出したものかの区別が困難となるため、ドットの大きさや着弾位置が変動しても、どのドットがどのノズルから吐出したものかを区別できるように十分な隙間を持ったパターンであることが望ましい。
【００４７】
また、複数サイズのドットを扱えるプリンタの場合は、滴種によってそもそもの基準となるドットの大きさが異なる。また、大滴は狙いどおりに着弾するが、中滴は曲がりやすい等、滴種によって着弾の特性が異なる場合もある。このため、滴種ごとに画像パターンを印刷、読み込みを行なって着弾モデルを取得しておくことが望ましい。
【００４８】
次に、描画情報生成部３０によるハーフトーン処理について説明する。描画情報生成部３０は、ＤＢＳ法を用いる。具体的には、注目領域のドットを、ドットのＯＮ／ＯＦＦや種類の変更、即ち画像形成装置２が対応している階調内での濃度の変更を行いながら入力画像との誤差を求め、誤差が変更前より小さくなる場合、変更内容に配置を更新していくことで量子化誤差を低減する。
【００４９】
ここでは、１画素ごとに注目画素の変更や誤差の判定処理をしてもよいし、所定区域内でドットのＯＮ／ＯＦＦや別種類のドットへの入れ替えの組み合わせを行い、区間内の誤差が小さくなる組み合わせ条件で配置を選択してもよい。また、実際のデータにはドットゲインがあるため、処理の前後関係で隣接画素の影響が誤差に反映されていない場合もある。このため、データを一巡したのち再度誤差の計算や配置の見直しをかける処理をいれてもよく、この際、配置を見直す区間の切り方を変えても良い。
【００５０】
処理の終了条件としては、処理回数で終了する場合や、前回の処理に対して誤差が低減しなくなった時点で終了する構成をとることが可能である。また、初回は予めディザや誤差拡散処理などでハーフトーン処理を行って、その配置をスタートとして処理をしてもよい。その他、誤差比較後の入れ替え処理の判定を都度、誤差が最小となる場合で決めるのではなく、シミュレーテッドアニーリング法などを利用して決めていく場合なども利用可能である。
【００５１】
この誤差計算を行なう際に、単純なデジタルのデータではなく、取得したドットモデルを打つものとして誤差の評価を進める。そのため、描画情報生成部３０は、ノズル特性判断部３８が取得したノズル特性に基づき、注目画素のドット配置、即ち、出力対象の画像データを画像形成装置２の階調に合わせて変換した画像のドット配置を、各ノズルのドットモデルに置き換えて着弾後の画像をシミュレートする。
【００５２】
例えば、描画情報生成部３０はまず、各ノズルに入力データ、即ち出力対象の元の画像データをハーフトーン処理することにより、量子化する。更に、描画情報生成部３０は、ノズル特性判断部３８によって取得されたノズル特性に基づき、各ノズルがインクを吐出した場合の着弾状態、即ちインクの分布を推測したデータを生成する。
【００５３】
次に、描画情報生成部３０は、着弾後の画像と、入力データとの誤差を算出する。この際、描画情報生成部３０は、入力データの画素に対応する面積内のインク付着と入力画像のレベルとを比較することで求める。例えば、入力データの画素に対応する場所のインク被覆量を元に多値レベル化する。例えば、入力データが０〜２５５の濃度階調（ここでは２５５が黒とする）だったとして、該当画素における面積の被覆量が５０％であった場合、その場所の出力は０〜２５５の半分に当たる１２７とし、入力データとの差分を誤差とする。
【００５４】
描画情報生成部３０は、入力データをインク被覆量０％から１００％がそれぞれ濃度階調０〜２５５に対応するように多値データ化して、多値化シミュレートデータを生成する。そのようにして生成した多値化シミュレートデータと入力データとを比較することでその差分を誤差とする。
【００５５】
描画情報生成部３０は、被覆量ではなく、輝度や濃度を元にして行なってもよい（例えば最大濃度が２５５に、最低濃度＝紙面濃度が０に対応するように変換する）。このように、描画情報生成部３０は、ノズル特性を加味した上で、量子化の条件を変えながら誤差の算出／比較を繰り返すことで、エンジン特性を含めた条件化で入力との誤差が少なくなる量子化条件を決めていく。
【００５６】
＜描画情報生成部３０の動作例＞
出力対象の画像の全画素数が“Ｍ”、無色、小滴、中滴、大滴等の画像形成装置２の濃度階調が“Ａ”の場合を例として説明する。先ず、描画情報生成部３０は、Ｍ画素の全てについてドット配置を仮決めする。
【００５７】
多値デジタルデータから、中央のハーフトーン後デジタルデータのように、画像形成出力対象の画像の階調を画像形成装置２の記録ヘッド５４において表現可能な画素の階調に変換することにより、階調変換後の画像を生成する処理である。即ち、描画情報生成部３０が、階調変換部として機能する。
【００５８】
次に、描画情報生成部３０は、仮決めしたドット配置に着弾モデルを適用して、着弾シミュレーションのデータを生成する。この処理は、換言すると、画像形成装置２の記録ヘッド５４に含まれるノズルの特性を示す情報と階調変換後の画像とに基づいて画像形成出力結果のシミュレーション情報を生成する処理である。即ち、描画情報生成部３０が出力結果シミュレーション部として機能する。
【００５９】
そして、描画情報生成部３０は、着弾シミュレーションの結果を階調値変換して、多値変換データを生成する。この処理は、画像形成出力結果のシミュレーション情報を、元の画像である画像形成出力対象の画像を構成する画素の階調に変換する処理である。
【００６０】
多値変換データを生成すると、描画情報生成部３０は、多値変換データと入力データとの画素を比較して量子化誤差を算出する。誤差を算出した描画情報生成部３０は、既に算出して記録されている量子化誤差と新たに算出した誤差との比較を行い、新たに算出した方が、誤差値が減少していれば、現在のドット配置及び新たに算出した誤差値を記憶媒体に記録する。
【００６１】
他方、誤差値が減少していなければ、描画情報生成部３０は、誤差値を破棄する。描画情報生成部３０は、上述した処理を、ドット配置の全ての組み合わせが完了するまで繰り返し、全ての組み合わせが完了したら、処理を終了する。
【００６２】
階調変換後の画像を生成する際の階調の変換態様が異なる複数の階調変換後の画像のうちの１つを、算出された誤差の値に基づいて描画情報として決定する処理である。即ち、描画情報生成部３０が描画情報決定部として機能する。このような処理により、最も誤差値の少ないドット配置が記録されることになる。
【００６３】
以上、説明したように、画像形成装置２に画像形成出力を実行させるためのプリンタドライバ２６がインストールされた情報処理装置１によれば、ＤＢＳ法により量子化されたドットパターンと元の画像データとの誤差値を算出して最適なドットパターンを選択する際に、画像形成装置２に含まれる記録ヘッド５４のノズルによるインク吐出の着弾特性に基づく着弾シミュレーションと元の画像データとの誤差値を算出するため、画像形成出力のエンジンの特性に応じた画像形成出力を可能とすることができる。
【００６４】
なお、ドットの着弾モデルは装置の運用条件によって変わり得る。装置の運用条件とは、例えば、印刷に使う紙種やモード、温度や湿度などの印刷環境である。紙種が違えば同じドットを吐出していても紙面での濡れ広がり方が異なるからである。更に、モードや印刷環境が変わる場合、そもそもの印字に使用するヘッドの駆動条件や用紙の搬送速度、湿度や温度に応じて定まるインク粘度が異なるため、ヘッドの吐出特性そのものも変わりうる。
【００６５】
このため、着弾モデルの取得や反映は、これら紙種や印刷モード、印刷環境ごとに設定／適用可能なことが好ましい。これによって印刷条件に最適な条件で画像形成を行なうことができる。
【００６６】
着弾モデルを取得するタイミングとしては、装置の立ち上げ時、ヘッド交換時の他、装置の運用期間における所定時間経過毎、所定印刷枚数カウント毎、湿度や温度等の装置の運用環境が所定以上変動した場合、紙種やモードの変更時、ユーザ指定時等、様々な要因をトリガとすることができる。これは装置の構成や使用環境、経時変化など着弾特性が変わりやすい条件だからである。
【００６７】
ヘッド交換を行なう場合については、着弾特性が変動しうるのは交換ヘッド部である。そして、通常、ヘッドはＣＭＹＫ等の色毎に交換されるため、交換されたヘッドに限定して着弾モデルの取得を行なうことで、工数の省略をおこなってもよい。
【００６８】
これらは、画像パターンの印刷から着弾モデルの取得、見直しまでの一連の処理を全て通しで実施してもよいし、一部のみを実施する構成としてもよい。例えば、画像情報取得部１１５によるパッチ画像データの取得及びノズル特性判断部３８による着弾モデルの生成までを行い、新たに生成された着弾モデルと前回生成されて適用中の着弾モデルとの差異が所定の閾値を超えた場合に、着弾モデルの更新を行うようにすることで、処理工数を抑えてもよい。
【００６９】
このような処理は、例えば、画像パターンを印刷する際に、階調や色パッチも印刷して、特性を拾っておき、この特性が所定以上変わった場合に着弾モデルを見直すことによって実現することができる。特性としてはセンサやスキャナで取得した情報の輝度や濃度、ＲＧＢ値などを用いて、特性が所定以上変化した場合に着弾モデルを更新する構成とすればよい。
【００７０】
また、別の方法として、ノズルのインク被覆量の変動を比較して、これが規定量を外れた際に見直しをかける方法などが考えられる。見直す基準については、絶対値で規定してもよいし、画像パターンを印刷する際に複数回パターンを印刷することで、連続印刷時の繰り返しばらつきを拾っておき、これを超える場合は特性が変わったものとして着弾モデルに更新をかける構成とすればよい。
【００７１】
なお、上記実施形態においては、図３に示すように、情報処理装置１のプリンタドライバ２６に読取画像取得部３６及びノズル特性判断部３８が含まれる場合を例として説明したが、画像形成装置２内部にそのような構成を設け、画像形成装置２から情報処理装置１に着弾モデルをダウンロードするようにしても良い。このように画像形成装置２が単独で、着弾モデルの生成を行える構成にしておけば、単独でエンジン特性を考慮した画像の作成から出力までを行なうことが可能になる。
【００７２】
情報処理装置１と画像形成装置２との具体的な態様として、業務用印刷機と制御装置の例の場合、印刷分野で使われる装置では、ＲＩＰ（ラスターイメージプロセッサー）と呼ばれる専用装置あるいはソフトを介してハーフトーン画像を作成し、それを画像形成装置に入力して画像を印刷するケースも多く、画像処理用の高度な機能や演算機構を持っているものも多い。
【００７３】
よって、チャートの出力や着弾モデルの取得、画像データの作成のいずれかあるいは全てをＲＩＰ側、即ち情報処理装置１側で実現することも可能である。この場合は、ＲＩＰでエンジン特性を含めたデータ処理を行い、装置側に流すことが可能になるため、画像形成装置に特にエンジン特性を補正する機能がついていなくとも、ＲＩＰさえ対応していればエンジン特性を補正することが可能になる。
そして、ノズル特性判断部３８は、読み取り画像取得部１１５によって取得されたパッチ画像データに基づいて着弾モデルを生成する際に、上記打ち分け情報に基づき、ヘッドＡ及びヘッドＢ夫々毎に着弾モデルを生成する。
【００７４】
そして、描画情報生成部３０は、着弾モデルを適用して着弾シミュレーションを生成する際に、上記打ち分け情報に基づいて着弾シミュレーションを生成する。このような処理により、オーバーラップ処理を用いる画像形成装置においても、着弾モデルの処理を適用して、上記と同様の効果を得ることが可能となる。
【００７５】
＜画像処理部＞
図５は、本発明の一実施形態に係る画像処理部２４の機能構成を示す機能ブロック図である。
図５は、画像処理部２４により元画像から最終的に破損部が修復された画像を得ることが可能な構成を示しており、更に中間画像の遷移も示している。
【００７６】
＜画像処理部が処理対象とする画像＞
本実施形態では、図１７〜図２３を参照して、以下の各部が画像処理を行うこととする。
図１７は油絵具で描かれた絵画から例えばスキャナ又はＨＤＤ１４を用いて取得した元画像Ｇ１００を示す図であり、元画像Ｇ１００には破損部が生じている。
図１８は元画像Ｇ１００から生成された背景評価画像Ｇ１１０を示す図である。
図１９は元画像Ｇ１００から生成された平坦評価画像Ｇ１２０を示す図である。
図２０は元画像Ｇ１００及び平坦評価画像Ｇ１２０から生成された破損部検知画像［１］Ｇ２００を示す図である。
図２１は破損部検知画像［１］Ｇ２００から生成された破損部検知画像［２］Ｇ２１０を示す図である。
図２２は元画像Ｇ１００及び破損部検知画像［２］Ｇ２１０から生成された破損部修復画像［１］Ｇ３００を示す図である。
図２３は破損部修復画像［１］Ｇ３００から生成された破損部修復画像［２］Ｇ３１０を示す図である。
【００７７】
＜画像処理部の機能構成＞
図５に戻り、画像処理部２４は、元画像取得部１００、背景評価画像生成部１１０、平坦評価画像生成部１２０、破損部検知画像［１］生成部２００、破損部検知画像［２］生成部２１０、破損部修復画像［１］生成部３００、破損部修復画像［２］生成部３１０を備えている。
元画像取得部１００は、外部又はＨＤＤ１４から元画像Ｇ１００として破損部が生じている絵画の画像データを取得し、ＲＡＭ１２に記憶する。
背景評価画像生成部１１０は、元画像Ｇ１００から背景評価画像Ｇ１１０を生成する。詳しくは、背景評価画像生成部１１０は、元画像Ｇ１００に平滑化処理を行うことにより各画素の背景となる画素の評価を表す背景評価画像Ｇ１１０を生成する。
平坦評価画像生成部１２０は、元画像Ｇ１００から平坦評価画像Ｇ１２０を生成する。詳しくは、平坦評価画像生成部１２０は、元画像Ｇ１００にエッジ検知処理と平滑化処理を行うことにより元画像Ｇ１００の平坦性に係る評価を表す平坦評価画像Ｇ１２０を生成する。
破損部検知画像［１］生成部２００は、元画像Ｇ１００、背景評価画像Ｇ１１０、平坦評価画像Ｇ１２０から各画素において破損部の有無を判断し、破損部検知画像［１］Ｇ２００を生成する。詳しくは、破損部検知画像［１］生成部２００が、元画像Ｇ１００と背景評価画像Ｇ１１０との間の差分値、及び平坦評価画像Ｇ１２０の画素値に基づいて、破損部を識別して破損部検知画像［１］Ｇ２００を生成する。
破損部検知画像［２］生成部２１０は、破損部検知画像［１］Ｇ２００から破損部検知領域のピクセル膨張処理を行い、破損部検知画像［２］Ｇ２１０を生成する。
【００７８】
次に、破損部修復画像［１］生成部３００は、破損部検知画像［２］Ｇ２１０において検知した破損部に対して、元画像Ｇ１００の画素値を用いて補間処理を行って、破損部修復画像［１］Ｇ３００を生成する。
なお、破損部修復画像［１］生成部３００は、画像の境界での補間や、補間する際の参照すべき画素が見つからないなどの場合に対処するため、背景評価画像Ｇ１１０の画素値を用いて補完処理を行って、破損部修復画像［１］Ｇ３００を生成してもよい。
最後に、破損部修復画像［２］生成部３１０は、破損部修復画像［１］Ｇ３００に補間処理を行うことにより現れる特有の十字パターンを軽減するため、破損部修復画像［１］Ｇ３００に十字パターン軽減鮮鋭化フィルタ処理を行って、破損部修復画像［２］Ｇ３１０を生成する。
【００７９】
＜背景評価画像生成処理＞
図６は、図５に示す背景評価画像生成部１１０による背景評価画像生成処理について説明するためのフローチャートである。
背景評価画像生成部１１０は、ＲＡＭ１２に記憶されている元画像Ｇ１００に対して処理領域（ＲＡＭのアドレス空間）を設定する（Ｓ１００ａ）。
背景評価画像生成部１１０は、元画像Ｇ１００の各画素値の背景となる画素値を評価するため、元画像Ｇ１００に対して平滑化フィルタを適用して平滑化処理を行い、背景評価画像Ｇ１１０をＲＡＭ１２上に生成する（Ｓ１０１）。
背景評価画像生成部１１０は、生成された背景評価画像Ｇ１１０をＨＤＤ１４に記憶する（Ｓ１１０ａ）。
平滑化フィルタには、破損部のようなノイズの影響を最小限に抑え、背景領域を評価できるメディアンフィルタ、ガウシアンフィルタを用いる。
【００８０】
図７（ａ）はメディアンフィルタの構成を示す図であり、図７（ｂ）はガウシアンフィルタの構成を示す図である。
ここで、図７（ａ）（ｂ）を参照して、メディアンフィルタ、ガウシアンフィルタの具体例について説明する。
図７（ａ）に示すメディアンフィルタは、注目画素（図７（ａ）に示す画素値４５）を中心としたフィルタ内の画素群に対し、画素値を大きさの順に並べたときの中央値を抽出して、注目画素値を置き換える処理を行う。
これにより、スパイク状のノイズを背景の画素を用いて効率よく置き換えることが可能になる。
一方、図７（ｂ）に示すガウシアンフィルタは、注目画素を中心としたフィルタ内の画素群と、ガウシアンフィルタと呼ばれる重み付けした係数を用いて平均値を算出して、注目画素を置き換える処理を行う。ガウシアンフィルタを用いた処理では、例えば式（１）、
【００８１】
2018060324.tif 000003
・・・式（１）
により注目画素の値が求められる。
【００８２】
ここで、メディアンフィルタとガウシアンフィルタの特性について説明する。
例えば、ノイズ画像として、背景画像に黒い線でノイズが乗っている場合、この画像にガウシアンフィルタを適用するとノイズは軽減されるが、依然として黒い線が残ってしまい、背景画像の境界部分も輪郭のにじみ（ぼやけ）が生じてしまう。
一方、上記画像にメディアンフィルタを適用すると背景の画素を黒い線が綺麗に除去されていることに加え、境界部分も保持される。
このようにノイズのようなパターンが乗っている画像に対して、背景画素を評価するにはメディアンフィルタを用いることが適している。
平滑化のフィルタサイズに関して、破損部の幅（１〜２ｍｍ）の５〜７倍程度（〜１０ｍｍ）が良い。この理由は、大きすぎると破損部より大きい背景もノイズとして認識していまい、正しく評価できないからである。また、フィルタサイズが小さすぎても破損部を正しくノイズとして評価できないためである。
【００８３】
＜平坦評価画像生成処理＞
図８は、図５に示す平坦評価画像生成部１２０による平坦評価画像生成処理について説明するためのフローチャートである。
平坦評価画像生成部１２０は、ＲＡＭ１２に記憶されている元画像Ｇ１００に対して処理領域を設定する（Ｓ１００ｂ）。
まず、対象画素の隣接画素との差分画像を求める。
平坦評価画像生成部１２０は、ＲＡＭ１２に記憶されている元画像Ｇ１００のＲＧＢ画像（ｋ＝ｒ，ｇ，ｂ）のそれぞれに対して、Ｘ方向のＳｏｂｅｌフィルタ処理（Ｓ１１１）、Ｙ方向のＳｏｂｅｌフィルタ処理（Ｓ１１２）を適用する。
【００８４】
次に、平坦評価画像生成部１２０は、Ｘ方向Ｓｏｂｅｌフィルタ画素（ｇｋ，ｘ）とＹ方向Ｓｏｂｅｌフィルタ画素（ｇｋ，ｙ）の自乗和の平方根を計算し（Ｓ１１３）、その画素のＲＧＢ差分画像（ｇｋ）とする。
【００８５】
2018060324.tif 000004
・・・式（２）
また、平坦評価画像生成部１２０は、ＲＧＢを統一した差分画像（ｇ）を求めるのに、各画素のＲ、Ｇ、Ｂの最大値Ｍａｘを計算する（Ｓ１１４）。
【００８６】
2018060324.tif 000005
・・・式（３）
次に、平坦評価画像生成部１２０は、周辺領域の平坦さを表す指標として、求めた差分画像を平滑化（Ｓ１１５）した画像の画素値で評価する。
【００８７】
次に、平坦評価画像生成部１２０は、各画素の周辺の画素値の変化がどの程度の平坦性を有するかを評価するため、平坦評価画像Ｇ１２０を生成する（Ｓ１２０ａ）。ここで、平坦評価画像生成部１２０は、元画像Ｇ１００の隣接した画素同士の差分値を表す画像を平滑化することで平坦評価画像Ｇ１２０を生成する。
【００８８】
なお、ステップＳ１１５において、平坦評価画像生成部１２０は、平滑化フィルタとして、注目画素の平坦さを重要視するのであればガウシアンフィルタを用いてもよく、これ以外に平均化フィルタ、メディアンフィルタなどを用いてもよい。
一方、周辺画素の平坦さを均一に評価したい場合には、平均化フィルタが妥当である。また、平坦さの代表値として異常値の影響を除きたい場合には、上述した平坦評価画像Ｇ１２０を生成するステップ（Ｓ１２０ａ）と同様にメディアンフィルタを用いても良い。
また、フィルタサイズに関しては、元画像Ｇ１００をメディアンフィルタを用いて平滑化した際のフィルタサイズの５倍、７倍程度を選ぶと良い。
【００８９】
＜破損部検知画像［１］生成処理＞
図９は、図５に示す破損部検知画像［１］生成部２００による破損部検知画像［１］生成処理について説明するためのフローチャートである。
破損部検知画像［１］生成部２００は、ＲＡＭ１２に記憶されている元画像Ｇ１００に対して処理領域を設定する（Ｓ１００ｃ）。
次に、破損部検知画像［１］生成部２００は、ＲＡＭ１２に記憶されている背景評価画像Ｇ１１０に対して処理領域を設定する（Ｓ１１０ｂ）。
次に、破損部検知画像［１］生成部２００は、ＲＡＭ１２に記憶されている平坦評価画像Ｇ１２０に対して処理領域を設定する（Ｓ１２０ｂ）。
次に、破損部検知画像［１］生成部２００は、破損部検知画像［１］Ｇ２００を記憶するＲＡＭ１２の開始アドレスを指定して、画素毎にループ処理を開始する（Ｓ１２５）。
なお、破損部検知画像［１］Ｇ２００［１］は、元画像Ｇ１００、背景評価画像Ｇ１１０及び平坦評価画像Ｇ１２０のそれぞれ画素において、ある画素が破損部であるか否かを２値の値で表すデータを記憶している。
【００９０】
次に、破損部検知画像［１］生成部２００は、ある画素が破損部であるか否かの判断の準備として、ある画素が破損部であるか否かの判断が難しい背景模様についての領域は破損部検知処理に用いる閾値を厳しく設定し、誤って背景模様を検知して除去してしまうことを防ぐため、補正値を設定する（Ｓ１３０）。
なお、この補正値は、平坦評価画像Ｇ１２０における画素値によって決定される。この補正値は、任意の閾値を境に２値的に変化させ設定しているが、一般的に平坦評価画像Ｇ１２０の画素値の関数として補正値を計算しても良い。
【００９１】
次に、破損部検知画像［１］生成部２００は、破損部の判断のステップに入るが、絵画画像から破損部画素を検知する手がかりとして、Ｌ＊ａ＊ｂ＊空間での色差値（ΔＥ＊）を用いて判別する。これにより、人間が感じる色の差に近いＬ＊ａ＊ｂ＊を用いることで背景模様との判別の精度を良くすることができる。
次に、破損部検知画像［１］生成部２００は、元画像Ｇ１００と背景評価画像Ｇ１１０の各画素のＬ＊ａ＊ｂ＊値を比較することで当該画素が破損部の一部であるか否かを判断する。その際に、ステップＳ１３０において前準備として設定した平坦さによる補正値を、破損部検知閾値に作用させている。まず、破損部検知画像［１］生成部２００は、元画像Ｇ１００と背景評価画像Ｇ１１０の各画素のＲＧＢ値をＬ＊ａ＊ｂ＊値に変換する（Ｓ１４０）。
なお、ステップＳ１４０では、破損部検知画像［１］生成部２００は、ＲＧＢの色空間をｓＲＧＢとし、光源をＤ６５とし、変換先のＬ＊ａ＊ｂ＊空間の光源をＤ５０として実施する。
【００９２】
次に、破損部検知の処理に移る。絵画における破損部を目に見える特徴から「黒破損部」「白破損部」の２つに絞って判断を行うことにしている。
破損部検知画像［１］生成部２００は、破損部検知画像［１］Ｇ２００を記憶するためのＲＡＭ１２３上の２値のデータ値に対して、フラグをｆａｌｓｅ（０値）として初期化する（Ｓ１５０）。
次に、破損部検知画像［１］生成部２００は、黒破損部検知処理（Ｓ１６０）のサブルーチンをコールし、このサブルーチンから復帰した際に、当該画素が破損部の一部であるか否かを判断する（Ｓ１６８）。ステップＳ１６８において、当該画素が破損部の一部である場合（破損部あり＝１）にステップＳ１８０に進み、当該画素が破損部の一部ではない場合（破損部なし＝０）にステップＳ１７０に進む。
ステップＳ１７０では、破損部検知画像［１］生成部２００は、白破損部検知処理（Ｓ１７０）のサブルーチンをコールし、このサブルーチンから復帰した際に、当該画素が破損部の一部であるか否かを判断する（Ｓ１７８）。ステップＳ１７５において、当該画素が破損部の一部である場合（破損部あり＝１）にステップＳ１８０に進み、当該画素が破損部の一部ではない場合（破損部なし＝０）にステップＳ１８５に進む。
【００９３】
ステップＳ１８０では、破損部検知画像［１］生成部２００は、当該画素が破損部の一部であると判断した場合に、当該画素についての破損部２値をｔｒｕｅとしてＲＡＭ１２に設定し（Ｓ１８０）、ステップＳ１８５に進む。
ステップＳ１８５では、破損部検知画像［１］生成部２００は、注目画素のアドレスが終点位置を表し、ループ処理が終了したか否かを判断する。ループ処理が終了したと判断した場合には、ステップＳ２００に進み、一方、ループ処理が終了していないと判断した場合には、ステップＳ１９０に進む。
【００９４】
ステップＳ１９０では、破損部検知画像［１］生成部２００は、ループ処理が終了していないので、注目画素のアドレスを１つインクリメントして次の画素を注目画素とし、ステップＳ１３０に戻る。
ステップＳ２００では、破損部検知画像［１］生成部２００は、ＲＡＭ１２上に生成された破損部検知画像［１］Ｇ２００［１］をＨＤＤ１４に記憶する。
なお、黒破損部検知処理（Ｓ１６０）、及び白破損部検知処理（Ｓ１７０）のサブルーチンの詳細については後述する。
【００９５】
＜黒破損部検知処理＞
図１０は、図５に示す破損部検知画像［１］生成部２００による黒破損部検知処理のサブルーチンについて説明するためのフローチャートである。
黒破損部の検知処理（Ｓ１６０）のサブルーチンにおいて、識別条件Ｂ１〜Ｂ４を設定する。
Ｂ１：元画像Ｇ１００の画素値（Ｐ）は背景評価画像Ｇ１１０の画素値（Ｑ）より明度（Ｌ＊）が小さいか否かを判断する（Ｓ１６１）。
【００９６】
Ｌ＊（Ｐ）＜Ｌ＊（Ｑ）
・・・式（４）
ここで、破損部検知画像［１］生成部２００は、式（４）が成立する場合にはステップＳ１６２に進み、式（４）が成立しない場合にはステップＳ１６６に進む。
【００９７】
Ｂ２：元画像の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の色差（ΔＥ＊）が設定閾値（Ｔ１）より大きいか否かを判断する（Ｓ１６２）。
【００９８】
ΔＥ＊（Ｐ，Ｑ）＞Ｔ１
・・・式（５）
ここで、破損部検知画像［１］生成部２００は、式（５）が成立する場合にはステップＳ１６３に進み、式（５）が成立しない場合にはステップＳ１６６に進む。
【００９９】
Ｂ３：元画像の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の彩度差（ΔＣ＊）が設定閾値（Ｔ２）より小さいか否かを判断する（Ｓ１６３）。
【０１００】
ΔＣ＊（Ｐ，Ｑ）＜Ｔ２
・・・式（６）
ここで、破損部検知画像［１］生成部２００は、式（６）が成立する場合にはステップＳ１６４に進み、式（６）が成立しない場合にはステップＳ１６６に進む。
Ｂ４：元画像の画素値（Ｐ）の彩度（Ｃ＊）が設定閾値（Ｔ３）より大きいか否かを判断する（Ｓ１６４）。
【０１０１】
Ｃ＊（Ｐ）＞Ｔ３
・・・式（７）
ここで、破損部検知画像［１］生成部２００は、式（７）が成立する場合にはステップＳ１６５に進み、式（７）が成立しない場合にはステップＳ１６６に進む。
ステップＳ１６５では、破損部検知画像［１］生成部２００は、破損部ありを表す値としてレジスタに１を設定する。
ステップＳ１６６では、破損部検知画像［１］生成部２００は、破損部なしを表す値としてレジスタに０を設定する。
【０１０２】
破損部検知画像［１］生成部２００は、黒破損部検知処理では、Ｂ１〜Ｂ４の全てに当てはまるものを黒破損部として検知する。
破損部検知画像［１］生成部２００は、識別条件Ｂ２の色差（ΔＥ＊）に関して、以下の式で計算される最も一般的なＣＩＥ１９７６色差を用いている。
【０１０３】
2018060324.tif 000006
・・・式（８）
別の色差表現として、より人間の目の色彩感覚に近いＣＩＥ２０００色差（ΔＥ＊００）もあり、それを用いても良い。
彩度差ΔＣ＊は以下の式で計算される。
【０１０４】
2018060324.tif 000007
・・・式（９）
黒破損部検知処理における各識別条件の可変閾値は、背景評価画像Ｇ１１０の画素値の明度、および平坦評価画像Ｇ１２０から決定した補正値の関数として設定している。
具体的には、背景評価画像Ｇ１１０の画素値の明度が低い領域、要するに背景が暗い領域に関しては、破損部検知が難しいので検知に用いる閾値を比較的ゆるく設定している。
破損部検知画像［１］生成部２００は、黒破損部検知処理（Ｓ１６０）において、破損部であると判断された場合は、破損部検知画像［１］Ｇ２００の当該画素に対するフラグをｔｒｕｅに設定（Ｓ１８０）し、次の画素に処理を移す（Ｓ１９０）。一方、検知の識別条件に一つでも当てはまらなかった場合は、白破損部検知処理（Ｓ１７０）に処理を移す。
【０１０５】
＜白破損部検知処理＞
図１１は、図５に示す破損部検知画像［１］生成部２００による白破損部検知処理のサブルーチンについて説明するためのフローチャートである。
破損部検知画像［１］生成部２００は、白破損部の検知処理（Ｓ１７０）のサブルーチンにおいては、識別条件Ｗ１〜Ｗ５を設定する。
Ｗ１：元画像の画素値（Ｐ）は背景評価画像Ｇ１１０の画素値（Ｑ）より明度（Ｌ＊）が大きいか否かを判断する（Ｓ１７１）。
【０１０６】
Ｌ＊（Ｐ）＞Ｌ＊（Ｑ）
・・・式（１０）
ここで、破損部検知画像［１］生成部２００は、式（１０）が成立する場合にはステップＳ１７２に進み、式（１０）が成立しない場合にはステップＳ１７６に進む。
【０１０７】
Ｗ２：元画像の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の色差（ΔＥ＊）が設定閾値（Ｔ４）より大きいか否かを判断する（Ｓ１７２）。
【０１０８】
ΔＥ＊（Ｐ，Ｑ）＞Ｔ４
・・・式（１１）
ここで、破損部検知画像［１］生成部２００は、式（１１）が成立する場合にはステップＳ１７３に進み、式（１１）が成立しない場合にはステップＳ１７６に進む。
【０１０９】
Ｗ３：元画像の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の彩度差（ΔＣ＊）が設定閾値（Ｔ５）より小さいか否かを判断する。
【０１１０】
ΔＣ＊（Ｐ，Ｑ）＜Ｔ５
・・・式（１２）
かつ、
Ｗ４：元画像の画素値（Ｐ）の彩度（Ｃ＊）が設定閾値（Ｔ６）より小さいか否かを判断する（Ｓ１７３）。
【０１１１】
Ｃ＊（Ｐ）＜Ｔ６
・・・式（１３）
ここで、破損部検知画像［１］生成部２００は、式（１２）かつ式（１３）が成立する場合にはステップＳ１７５に進み、式（１２）かつ式（１３）が成立しない場合にはステップＳ１７４に進む。
【０１１２】
Ｗ５：元画像の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の明度差（ΔＬ＊）が設定閾値（Ｔ７）より大きいか否かを判断する（Ｓ１７４）。
【０１１３】
ΔＬ＊（Ｐ，Ｑ）＞Ｔ７
・・・式（１４）
ここで、破損部検知画像［１］生成部２００は、式（１４）が成立する場合にはステップＳ１７５に進み、式（１４）が成立しない場合にはステップＳ１７６に進む。
ステップＳ１７５では、破損部検知画像［１］生成部２００は、破損部ありを表す値としてレジスタに１を設定する。
ステップＳ１７６では、破損部検知画像［１］生成部２００は、破損部なしを表す値としてレジスタに０を設定する。
【０１１４】
白破損部検知処理は、背景模様の誤検知を避けるため、Ｗ１及びＷ２を必須の識別条件とし、Ｗ３及びＷ４、またはＷ５に当てはまるものを破損部として検知している。
白破損部は、絵の具の剥がれに起因するものが主であるため、背景評価画像Ｇ１１０の明度および平坦評価画像Ｇ１２０による補正値に依存せず、各識別条件の検知の閾値は全て一定値としている。背景領域の明度によって検知にむらが生じる場合は、黒破損部検知と同様に識別条件ごとの閾値を可変に設定してもよい。
破損部検知画像［１］生成部２００は、白破損部検知処理（Ｓ１７０）で破損部画素であると判断された場合は、破損部検知画像［１］Ｇ２００についての当該画素をｔｒｕｅに設定（Ｓ１８０）し、次の画素に処理を移す（Ｓ１９０）。一方、破損部検知画像［１］生成部２００は、検知の識別条件に当てはまらなかった場合は、そのまま次の画素に処理を移す（Ｓ１９０）。
以上の破損部判断処理を全ての画素に適用することで、破損部検知画像［１］Ｇ２００が生成される。
【０１１５】
＜破損部検知画像［２］生成処理＞
図１２は、図５に示す破損部検知画像［２］生成部２１０による破損部検知画像［２］生成処理について説明するためのフローチャートである。
破損部検知画像［２］生成部２１０は、ＲＡＭ１２に記憶されている破損部検知画像［１］Ｇ２１０に対して処理領域を設定する（Ｓ２００ａ）。
破損部検知画像［２］生成部２１０は、破損部検知画像［１］Ｇ２００に対して、最終的に修復過程に渡すため、破損部として検知した領域に膨張処理を行い、破損部検知画像［２］Ｇ２１０を生成する（Ｓ２０１）。
【０１１６】
以下、図１３に示すグラフ図を参照して、図５に示す破損部検知画像［２］生成部２１０による膨張処理について説明する。
折れ線Ｌ２０２は画素値の変化を示し、点線Ｌ２０３は破損部検知処理の閾値とする。そうすると、２本の縦線Ｌ２０４で囲まれた領域が破損部として検知され、修復処理段階で横線Ｌ２０５のように補間される。横線２０５は外側の折れ線と比べて画素値が全体的に高くなり、修復した部分が不自然になってしまう。
これを防ぐため、破損部を少し広げることで、修復処理の際に背景により近い画素値で補間することが可能となる。
【０１１７】
膨張回数は破損部の解像度に依存して調整可能である。膨張回数をあまり大きい値にすると、修復段階での補間の際に、参照する破損部ではない部分が減少するので、全体的に輪郭のにじみ（ぼやけ）が生じた画像となるので注意が必要である。
具体的には、背景評価画像生成部１１０は、背景評価画像Ｇ１１０を生成する際に用いる平滑化フィルタのサイズの１／１０程度のピクセル数が良い。
また、Ｌ＊ａ＊ｂ＊空間での色差ΔＥ＊を用いた破損部検知処理の応用例として、木材を切り出した表面の木目パターンに対する検知が挙げられる。
木材の木目パターンにおいても、背景と色差ΔＥ＊を元に検知して、適当な修復処理を行うことで、木目パターンを弱めた出力画像や、木目パターンを強めた出力画像を生成することも可能である。
【０１１８】
＜破損部修復画像［１］生成処理＞
図１４は、図５に示す破損部修復画像［１］生成部３００による破損部修復画像［１］生成処理について説明するためのフローチャートである。
破損部修復画像［１］生成部３００は、ＲＡＭ１２に記憶されている破損部検知画像［２］Ｇ２１０に対して処理領域を設定する（Ｓ２１０ｂ）。
次に、破損部修復画像［１］生成部３００は、破損部検知画像［２］Ｇ２１０を記憶するＲＡＭ１２の開始アドレスを指定して、画素毎にループ処理を開始する（Ｓ２１１）。
まず、破損部修復画像［１］生成部３００は、注目画素が破損部であるか否かを判断する（Ｓ２２０）。
ここで、破損部修復画像［１］生成部３００は、注目画素が破損部である場合にはステップＳ２４０に進み、一方、注目画素が破損部ではない場合にはステップＳ２７５に進む。
【０１１９】
注目画素が破損部である場合に、破損部修復画像［１］生成部３００は、注目画素の位置における背景評価画像Ｇ１１０の画素についての画素値、注目画素間の距離などを表す背景評価画素リストを取得する（Ｓ２４０）。
次に、破損部修復画像［１］生成部３００は、取得した背景評価画像Ｇ１１０の画素についての背景評価画素リストから注目画素値を補間する（Ｓ２５０）。
次に、破損部修復画像［１］生成部３００は、補間された注目画素値に対して明度補正を行う（Ｓ２６０）。
【０１２０】
次に、破損部修復画像［１］生成部３００は、明度補正された注目画素値に対してノイズ追加補正を行う（Ｓ２６０）。
次に、破損部修復画像［１］生成部３００は、注目画素が破損部であると判断した場合に、ループ処理が終了したか否かを判断する（Ｓ２７５）。ループ処理が終了したと判断した場合には、ステップＳ３００ａに進み、一方、ループ処理が終了していないと判断した場合には、ステップＳ２３０に進む。
ステップＳ２３０では、破損部修復画像［１］生成部３００は、ループ処理が終了していないので、注目画素のアドレスを１つインクリメントして次の画素を注目画素とし、ステップＳ２２０に戻る。
ステップＳ３００では、破損部修復画像［１］生成部３００は、ＲＡＭ１２上に生成された破損部修復画像［１］Ｇ３００をＨＤＤ１４に記憶する（Ｓ２００）。
【０１２１】
＜破損部検知画像［２］＞
図１５（ａ）は、破損部検知画像［２］の各画素を表す１０×１０の画像例を示す図であり、図１５（ｂ）は、背景評価画素リストを示す図である。
図１５（ａ）における色の違う画素（注目画素）での背景評価画素リスト（図１５（ｂ））の取得を行う。
破損部修復画像［１］生成部３００は、注目画素を中心に上下左右方向に画素を走査して、破損部ではない画素（破損部検知画像においてフラグがｆａｌｓｅの画素）に到達したときに、その位置の元画像Ｇ１００の画素値（Ｖａｌｕｅ）および、注目画素間の距離（Ｄｉｓｔａｎｃｅ）を背景評価画素リストに格納する。
【０１２２】
図１５（ａ）に示す画像例では、図１５（ｂ）に示すように、画素Ａ及び画素Ｃについての情報が背景評価画素リスト（Ｌ）に格納されている。
また、破損部修復画像［１］生成部３００による例外処理として、以下の２つの状況の対処を示す。
［１］破損部が一方向に長く続き、破損部ではない画素が見つからない場合
［２］画像の端に到達した場合
【０１２３】
破損部修復画像［１］生成部３００は、［１］においては最大走査距離を設定し、その距離まで操作を行い破損部ではない画素が見つからない場合、その距離（最大走査距離）での背景評価画像Ｇ１１０の画素値（Ｖａｌｕｅ）と最大走査距離（Ｄｉｓｔａｎｃｅ）を背景評価画素リストに格納する。
図１５（ａ）に示す画像例では、図１５（ｂ）に示すように、画素Ｂの情報が背景評価画素リスト（Ｌ）に格納されている。
破損部修復画像［１］生成部３００は、［２］においても同様に、走査して縁端画素に到達した位置の背景評価画像Ｇ１１０の画素値（Ｖａｌｕｅ）と注目画素間の距離（Ｄｉｓｔａｎｃｅ）を背景評価画素リストに格納する。
図１５（ａ）に示す画像例では、図１５（ｂ）に示すように、画素Ｄの情報が背景評価画素リスト（Ｌ）に格納されている。
【０１２４】
以上の処理により、値（Ｖａｌｕｅ）と距離（Ｄｉｓｔａｎｃｅ）のそれぞれ４つずつの要素を持った背景評価画素リストが取得される。
最大走査距離は、背景評価画像Ｇ１１０を生成する際の平滑化フィルタのサイズが妥当である。理由は、それより大きな値で設定すると、背景が異なる部分の背景評価画素を持ってきてしまうからである。
次に、上述したステップＳ２５０では、破損部修復画像［１］生成部３００は、取得された背景評価画素リストから注目画素を補間する（Ｓ２５０）。補間処理では距離で重み付けした２次元線形補間を用いれば良い。
破損部修復画像［１］生成部３００は、図１５（ｂ）に示す背景評価画素リスト（Ｌ）に基づいて式（１５）（１６）に従って補間値（Ｖ）を計算する。
【０１２５】
2018060324.tif 000008
・・・式（１５）
【０１２６】
2018060324.tif 000009
・・・式（１６）
【０１２７】
上述したように、補間処理した画素に対し、修復部分をより自然に見せるため、画素ごとに２種類の補正を行った。
１つ目は、ステップＳ２６０において、明度補正を行った。これは補間する際に参照する最も近い画素が破損部の境界に近いため、背景画素より明度がやや低い画素で補間することにより、補間された注目画素の明度が低くなる傾向を補正するためである。破損部修復部分のＲＧＢ値を１〜５％程度増加させている。
２つ目は、ステップＳ２７０において、ノイズ追加補正を行った。補間された破損部は線形補間なので隣接画素同士の値はなめらかに変化している。一方、破損部ではない真の背景画素は、隣接画素同士の値が多少ランダムに変化している。この違いを補い画素にリアリティを表現させるため、補正する領域にＲＧＢの何れも一律で画素値を変化させている。ノイズの量は、注目画素の隣接画素同士の差分量から計算して決めている。また、極端に大きいノイズとなる場合もあるので、ノイズ量の限度を±５程度に設定している。
【０１２８】
明度補正（Ｓ２６０）、ノイズ追加補正（Ｓ２７０）ともにＲＧＢの何れも一律である理由は、破損部が背景部分と彩度の差がないことから決めている。
補正処理までの修復処理を全画素に対して適用し、破損部修復画像［１］Ｇ３００が生成される。また、これら２つの補正を行わなくとも十分な修復画像が得られる。
なお、修復した部分が背景部分と比べて暗い・起伏の乏しい・抑揚のない・凹凸の少ないなどの印象がある場合に、明度補正（Ｓ２６０）、ノイズ追加補正（Ｓ２７０）を行っても良い。
また、修復処理のバリエーションとして、２次元線形補間において、上下左右方向に加えて斜め方向に走査を行い、背景評価画素の８つの要素を持った背景評価画素リストから補間処理を行っても良い。
また、注目画素を取り囲む破損部を定義し、破損部が境界にあるという理由で画素値を全て背景評価画素リストに加えて、補間処理を行っても良い。
【０１２９】
他の例として、破損部検知画像［１］Ｇ２００［１］に膨張処理（Ｓ２０１）を行う際に、膨張処理の前から破損部だった画素と、膨張処理により新たに破損部となった画素に対し、修復処理を自由に変更することもできる。
例えば、前者の画素に対しては通常の二次元線形補間により画素を修復し、後者の画素に対しては背景評価画像Ｇ１１０の画素値を当てはめることで、修復具合が改善されることもある。
【０１３０】
＜破損部修復画像［２］生成部＞
図１６は、図５に示す破損部修復画像［２］生成部３１０による破損部修復画像［２］生成処理について説明するためのフローチャートである。
破損部修復画像［２］生成部３１０は、ＲＡＭ１２に記憶されている破損部修復画像［１］Ｇ３００に対して処理領域を設定する（Ｓ３００ａ）。
次に、破損部修復画像［２］生成部３１０は、破損部修復画像［１］Ｇ３００から最終的な破損部修復画像［２］Ｇ３１０を得るために、後処理として十字パターン軽減鮮鋭化フィルタ処理を行う。これにより、破損部修復画像［２］Ｇ３１０を得るための修復処理は、周辺画素値を用いて修復画素値を計算するといった平滑化処理の改良版であるため、画像がなまったような印象を鑑賞者に与えることを鮮鋭化処理によって軽減できる。
【０１３１】
上述したように、上下左右の最も近い画素を参照して線形補間して埋める手法（Ｓ２４０、Ｓ２５０）では、修復画像に十字状の擬似パターンができ易くなる。単純な鮮鋭化処理を行うと、十字パターンが目立ので、不自然な画像となってしまう。
このような十字パターンを軽減するために、ステップＳ３０１において、破損部修復画像［２］生成部３１０は、以下の異方性を持った十字パターン軽減鮮鋭化フィルタ処理を行う。
【０１３２】
2018060324.tif 000010
・・・（式１７）
上下左右方向を弱め、斜め方向を少し加える鮮鋭化処理によって、自然な修復画像が得られる。
フィルタの係数（鮮鋭化度、異方性の強さ）やフィルタサイズは変更しても良い。
また、修復画素の補間計算が、上下左右の最も近い破損部でない画素を参照して埋める方法でない場合は、単純な鮮鋭化フィルタでの処理でも良い。
以上により、破損部修復画像［２］生成部３１０は、破損部修復画像［２］Ｇ３１０が生成される。
ステップＳ３１０ｂでは、破損部修復画像［２］生成部３１０は、ＲＡＭ１２上に生成された破損部修復画像［２］をＨＤＤ１４に記憶する。
【０１３３】
本実施形態では、破損部修復画像［２］生成部３１０が生成した破損部修復画像［２］Ｇ３１０をプリンタドライバ２６に出力し、プリンタドライバ２６が破損部修復画像［２］Ｇ３１０から描画情報を生成して画像形成装置２に出力する。
これにより、破損部を有する元画像Ｇ１００に対して、破損部が修正された破損部修復画像［２］Ｇ３１０を描画情報として生成し、描画情報を画像形成装置２により印刷するので、破損部が発生する前の画像を鑑賞したいという要望に応えることができる。
なお、上述した実施形態では、画像形成装置２としてインクジェットプリンタを用いて破損部修復画像［２］Ｇ３１０を印刷するように構成しているが、インクジェットプリンタに代わって、複数のドラムを有する電子写真式プリンタを用いて破損部修復画像［２］Ｇ３１０を印刷するように構成してもよい。
【０１３４】
＜本発明の実施態様例の構成、作用、効果＞
＜第１態様＞
本態様の画像処理装置は、元画像Ｇ１００に存在する破損部を検知する画像処理装置であって、元画像Ｇ１００に平滑化処理を行うことにより各画素の背景となる画素の評価を表す背景評価画像Ｇ１１０を生成する背景評価画像生成部１１０と、元画像Ｇ１００にエッジ検知処理と平滑化処理を行うことにより元画像Ｇ１００の平坦性に係る評価を表す平坦評価画像Ｇ１２０を生成する平坦評価画像生成部１２０と、元画像Ｇ１００と背景評価画像Ｇ１１０との間の差分値、及び平坦評価画像Ｇ１２０の画素値に基づいて、破損部を識別して破損部検知画像［１］Ｇ２００を生成する破損部検知画像［１］生成部２００と、を備えることを特徴とする。
本態様によれば、背景評価画像生成部１１０が、元画像Ｇ１００に平滑化処理を行うことにより各画素の背景となる画素の評価を表す背景評価画像Ｇ１１０を生成する。平坦評価画像生成部１２０が、元画像Ｇ１００にエッジ検知処理と平滑化処理を行うことにより元画像Ｇ１００の平坦性に係る評価を表す平坦評価画像Ｇ１２０を生成する。破損部検知画像［１］生成部２００が、元画像Ｇ１００と背景評価画像Ｇ１１０との間の差分値、及び平坦評価画像Ｇ１２０の画素値に基づいて、破損部を識別して破損部検知画像［１］Ｇ２００を生成する。
このように、元画像Ｇ１００と元画像Ｇ１００に平滑化処理を行うことにより各画素の背景となる画素の評価を表す背景評価画像Ｇ１１０との間の差分値、及び元画像Ｇ１００にエッジ検知処理と平滑化処理を行うことにより元画像Ｇ１００の平坦性に係る評価を表す平坦評価画像Ｇ１２０の画素値に基づいて、破損部を識別して破損部検知画像［１］Ｇ２００を生成することで、背景画像に含まれる、破損部と同様な明度の差異を有する特定のパターンを破損部として誤検知することを防止することができる。
例えば、元画像Ｇ１００と元画像Ｇ１００を元に生成した背景評価画像Ｇ１１０とのＬ＊ａ＊ｂ＊色差を元に破損部画素を判断し、背景模様の誤検知を軽減するため、元画像Ｇ１００を元に生成した平坦評価画像Ｇ１２０から破損部の判断の基準を調整し、生成される破損部検知画像［１］Ｇ２００を用いて、元画像Ｇ１００に補正処理を加えるので、破損部が生じている絵画から破損部を除去し、当時の破損部が生じていない絵画の再現ができる。また、破損部の大きさや修復の度合いなどによって、パラメータによる調整を可能とし、修復具合を試すことが可能である。破損部の検知漏れ、誤検知がある領域に関しては、その領域にのみ別のパラメータを用いたフィルタ処理を行うことで、より良い効果を得ることができる。
【０１３５】
＜第２態様＞
本態様の背景評価画像生成部１１０は、元画像Ｇ１００に対してメディアンフィルタを用いて平滑化処理を行うことにより背景評価画像Ｇ１１０を生成することを特徴とする。
本態様によれば、背景評価画像生成部１１０が、元画像Ｇ１００に対してメディアンフィルタを用いて平滑化処理を行うことにより背景評価画像Ｇ１１０を生成する。
これにより、元画像Ｇ１００に対してメディアンフィルタを用いて平滑化処理を行うことにより背景評価画像Ｇ１１０を生成することができる。
【０１３６】
＜第３態様＞
本態様の平坦評価画像生成部１２０は、元画像Ｇ１００に対してソベルフィルタを用いてエッジ検知処理を行うことにより隣接差分画像を生成し、隣接差分画像に対してガウシアンフィルタ、平均化フィルタ、メディアンフィルタの何れか１つを用いて平滑化処理を行うことにより平坦評価画像Ｇ１２０を生成することを特徴とする。
本態様によれば、平坦評価画像生成部１２０が、元画像Ｇ１００に対してソベルフィルタを用いてエッジ検知処理を行うことにより隣接差分画像を生成し、隣接差分画像に対してガウシアンフィルタ、平均化フィルタ、メディアンフィルタの何れか１つを用いて平滑化処理を行うことにより平坦評価画像Ｇ１２０を生成する。
これにより、元画像Ｇ１００に対してソベルフィルタを用いてエッジ検知処理を行うことにより隣接差分画像を生成し、隣接差分画像に対してガウシアンフィルタ、平均化フィルタ、メディアンフィルタの何れか１つを用いて平滑化処理を行うことにより平坦評価画像Ｇ１２０を生成することができる。
【０１３７】
＜第４態様＞
本態様の破損部検知画像［１］生成部２００は、元画像Ｇ１００、背景評価画像Ｇ１１０、及び平坦評価画像Ｇ１２０に基づいて、背景画素と破損部画素を区別して、少なくとも２値の情報を有する破損部検知画像［１］Ｇ２００を生成することを特徴とする。
本態様によれば、破損部検知画像［１］生成部２００が、元画像Ｇ１００、背景評価画像Ｇ１１０、及び平坦評価画像Ｇ１２０に基づいて、背景画素と破損部画素を区別して、少なくとも２値の情報を有する破損部検知画像［１］Ｇ２００を生成する。
これにより、元画像Ｇ１００、背景評価画像Ｇ１１０、及び平坦評価画像Ｇ１２０に基づいて、背景画素と破損部画素を区別して、少なくとも２値の情報を有する破損部検知画像［１］Ｇ２００を生成することができる。
【０１３８】
＜第５態様＞
本態様の破損部検知画像［１］生成部２００は、画素毎に少なくとも２値の情報を格納した破損部検知画像［１］Ｇ２００に対して、破損部画素である領域に膨張処理を行うことを特徴とする。
本態様によれば、破損部検知画像［１］生成部２００が、画素毎に少なくとも２値の情報を格納した破損部検知画像［１］Ｇ２００に対して、破損部画素である領域に膨張処理を行う。
これにより、画素毎に少なくとも２値の情報を格納した破損部検知画像［１］Ｇ２００に対して、破損部画素である領域に膨張処理を行うことができる。
【０１３９】
＜第６態様＞
本態様の破損部検知画像［１］生成部２００は、破損部検知画像［１］Ｇ２００の各画素を黒破損部画素又は白破損部画素の２種類に識別することを特徴とする。
本態様によれば、破損部検知画像［１］生成部２００が、破損部検知画像［１］Ｇ２００の各画素を黒破損部画素又は白破損部画素の２種類に識別する。
これにより、破損部検知画像［１］Ｇ２００の各画素を黒破損部画素又は白破損部画素の２種類に識別することができる。
【０１４０】
＜第７態様＞
本態様の破損部検知画像［１］生成部２００は、
破損部検知画像［１］Ｇ２００のある画素が黒破損部画素であると識別するのに用いる識別条件として、
Ｂ１：元画像Ｇ１００の画素値（Ｐ）は背景評価画像Ｇ１１０の画素値（Ｑ）より明度（Ｌ＊）が小さい
Ｌ＊（Ｐ）＜Ｌ＊（Ｑ）
Ｂ２：元画像Ｇ１００の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の色差（ΔＥ＊）が設定閾値（Ｔ１）より大きい
ΔＥ＊（Ｐ，Ｑ）＞Ｔ１
Ｂ３：元画像Ｇ１００の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の彩度差（ΔＣ＊）が設定閾値（Ｔ２）より小さい
ΔＣ＊（Ｐ，Ｑ）＜Ｔ２
Ｂ４：元画像Ｇ１００の画素値（Ｐ）の彩度（Ｃ＊）が設定閾値（Ｔ３）より大きい
Ｃ＊（Ｐ）＞Ｔ３
を有し、
Ｂ１乃至Ｂ４の全てを満たす場合に、ある画素が黒破損部画素であると識別することを特徴とする。
本態様によれば、破損部検知画像［１］生成部２００が、
破損部検知画像［１］Ｇ２００のある画素が黒破損部画素であると識別するのに用いる識別条件として、
Ｂ１：元画像Ｇ１００の画素値（Ｐ）は背景評価画像Ｇ１１０の画素値（Ｑ）より明度（Ｌ＊）が小さい
Ｌ＊（Ｐ）＜Ｌ＊（Ｑ）
Ｂ２：元画像Ｇ１００の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の色差（ΔＥ＊）が設定閾値（Ｔ１）より大きい
ΔＥ＊（Ｐ，Ｑ）＞Ｔ１
Ｂ３：元画像Ｇ１００の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の彩度差（ΔＣ＊）が設定閾値（Ｔ２）より小さい
ΔＣ＊（Ｐ，Ｑ）＜Ｔ２
Ｂ４：元画像Ｇ１００の画素値（Ｐ）の彩度（Ｃ＊）が設定閾値（Ｔ３）より大きい
Ｃ＊（Ｐ）＞Ｔ３
を有し、
Ｂ１乃至Ｂ４の全てを満たす場合に、ある画素が黒破損部画素であると識別する。
これにより、破損部検知画像［１］Ｇ２００のある画素が黒破損部画素であると識別するのに用いる識別条件として、上述したＢ１乃至Ｂ４の全てを満たす場合に、ある画素が黒破損部画素であると識別することができる。
【０１４１】
＜第８態様＞
本態様の破損部検知画像［１］生成部２００は、
破損部検知画像［１］Ｇ２００のある画素が白破損部画素であると識別するのに用いる識別条件として、
Ｗ１：元画像Ｇ１００の画素値（Ｐ）は背景評価画像Ｇ１１０の画素値（Ｑ）より明度（Ｌ＊）が大きい
Ｌ＊（Ｐ）＞Ｌ＊（Ｑ）
Ｗ２：元画像Ｇ１００の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の色差（ΔＥ＊）が設定閾値（Ｔ４）より大きい
ΔＥ＊（Ｐ，Ｑ）＞Ｔ４
Ｗ３：元画像Ｇ１００の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の彩度差（ΔＣ＊）が設定閾値（Ｔ５）より小さい
ΔＣ＊（Ｐ，Ｑ）＜Ｔ５
Ｗ４：元画像Ｇ１００の画素値（Ｐ）の彩度（Ｃ＊）が設定閾値（Ｔ６）より小さい
Ｃ＊（Ｐ）＜Ｔ６
Ｗ５：元画像Ｇ１００の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の明度差（ΔＬ＊）が設定閾値（Ｔ７）より大きい
ΔＬ＊（Ｐ，Ｑ）＞Ｔ７
を有し、
Ｗ１及びＷ２を満たし且つＷ３及びＷ４を満たす場合、又はＷ１及びＷ２を満たし且つＷ．５を満たす場合に、ある画素が白破損部画素であると識別することを特徴とする。
本態様によれば、破損部検知画像［１］生成部２００が、
破損部検知画像［１］Ｇ２００のある画素が白破損部画素であると識別するのに用いる識別条件として、
Ｗ１：元画像Ｇ１００の画素値（Ｐ）は背景評価画像Ｇ１１０の画素値（Ｑ）より明度（Ｌ＊）が大きい
Ｌ＊（Ｐ）＞Ｌ＊（Ｑ）
Ｗ２：元画像Ｇ１００の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の色差（ΔＥ＊）が設定閾値（Ｔ４）より大きい
ΔＥ＊（Ｐ，Ｑ）＞Ｔ４
Ｗ３：元画像Ｇ１００の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の彩度差（ΔＣ＊）が設定閾値（Ｔ５）より小さい
ΔＣ＊（Ｐ，Ｑ）＜Ｔ５
Ｗ４：元画像Ｇ１００の画素値（Ｐ）の彩度（Ｃ＊）が設定閾値（Ｔ６）より小さい
Ｃ＊（Ｐ）＜Ｔ６
Ｗ５：元画像Ｇ１００の画素値（Ｐ）と背景評価画像Ｇ１１０の画素値（Ｑ）の明度差（ΔＬ＊）が設定閾値（Ｔ７）より大きい
ΔＬ＊（Ｐ，Ｑ）＞Ｔ７
を有し、
Ｗ１及びＷ２を満たし且つＷ３及びＷ４を満たす場合、又はＷ１及びＷ２を満たし且つＷ．５を満たす場合に、ある画素が白破損部画素であると識別する
これにより、破損部検知画像［１］Ｇ２００のある画素が白破損部画素であると識別するのに用いる識別条件として、上述したＷ１及びＷ２を満たし且つＷ３及びＷ４を満たす場合、又はＷ１及びＷ２を満たし且つＷ．５を満たす場合に、ある画素が白破損部画素であると識別することができる。
【０１４２】
＜第９態様＞
本態様の破損部検知画像［１］生成部２００は、背景評価画像Ｇ１１０の明度、及び平坦評価画像Ｇ１２０の画素値に基づいて、各識別条件に係る各設定閾値を補正することを特徴とする。
本態様によれば、破損部検知画像［１］生成部２００が、背景評価画像Ｇ１１０の明度、及び平坦評価画像Ｇ１２０の画素値に基づいて、各識別条件に係る各設定閾値を補正する。
これにより、背景評価画像Ｇ１１０の明度、及び平坦評価画像Ｇ１２０の画素値に基づいて、各識別条件に係る各設定閾値を補正することができる。
【０１４３】
＜第１０態様＞
本態様の破損部検知画像［１］生成部２００は、破損部検知画像［１］Ｇ２００のある画素が黒破損部画素に係る識別条件、又は白破損部画素に係る識別条件に該当しなかった場合に、ある画素を背景画素とすることを特徴とする。
本態様によれば、破損部検知画像［１］生成部２００が、破損部検知画像［１］Ｇ２００のある画素が黒破損部画素に係る識別条件、又は白破損部画素に係る識別条件に該当しなかった場合に、ある画素を背景画素とする。
これにより、破損部検知画像［１］Ｇ２００のある画素が黒破損部画素に係る識別条件、又は白破損部画素に係る識別条件に該当しなかった場合に、ある画素を背景画素とすることができる。
【０１４４】
＜第１１態様＞
本態様の画像処理方法は、元画像Ｇ１００に存在する破損部を検知する画像処理装置による画像処理方法であって、元画像に平滑化処理を行うことにより各画素の背景となる画素の評価を表す背景評価画像Ｇ１１０を生成する背景評価画像生成ステップ（Ｓ１００ａ〜Ｓ１１０ａ）と、元画像Ｇ１００にエッジ検知処理と平滑化処理を行うことにより元画像Ｇ１００の平坦性に係る評価を表す平坦評価画像Ｇ１２０を生成する平坦評価画像生成ステップ（Ｓ１００ｂ〜Ｓ１２０ａ）と、元画像Ｇ１００と背景評価画像Ｇ１１０との間の差分値、及び平坦評価画像Ｇ１２０の画素値に基づいて、破損部領域を識別して破損部検知画像［１］Ｇ２００を生成する破損部検知画像生成ステップ（Ｓ１００ｃ〜Ｓ２００）と、を実行することを特徴とする。
第１１態様の作用、及び効果は第１態様と同様であるので、その説明を省略する。
【符号の説明】
【０１４５】
２４…画像処理部、１００…元画像取得部、１１０…背景評価画像生成部、１２０…平坦評価画像生成部、２００…破損部検知画像［１］生成部、２１０…破損部検知画像［２］生成部、３００…破損部修復画像［１］生成部、３１０…破損部修復画像［２］生成部
【先行技術文献】
【特許文献】
【０１４６】
【特許文献１】特許３８７７９１６号公報
【図１】
2018060324.tif 000011
【図２】
2018060324.tif 000012
【図３】
2018060324.tif 000013
【図４】
2018060324.tif 000014
【図５】
2018060324.tif 000015
【図６】
2018060324.tif 000016
【図７】
2018060324.tif 000017
【図８】
2018060324.tif 000018
【図９】
2018060324.tif 000019
【図１０】
2018060324.tif 000020
【図１１】
2018060324.tif 000021
【図１２】
2018060324.tif 000022
【図１３】
2018060324.tif 000023
【図１４】
2018060324.tif 000024
【図１５】
2018060324.tif 000025
【図１６】
2018060324.tif 000026
【図１７】
2018060324.tif 000027
【図１８】
2018060324.tif 000028
【図１９】
2018060324.tif 000029
【図２０】
2018060324.tif 000030
【図２１】
2018060324.tif 000031
【図２２】
2018060324.tif 000032
【図２３】
2018060324.tif 000033