(57)【要約】【課題】凹凸原稿になった破損原稿の画像を取得する際に、その影響を除去した画像を得る。【解決手段】原稿画像の凹凸領域を補正する画像処理装置であって、表裏の原稿画像の位置合わせを行う表裏位置合わせ処理部１１と、位置合わせした原稿画像の画素値に基づき非凹凸領域を判定する非凹凸領域判定部１２と、前記非凹凸領域以外の領域における前記表裏の原稿画像の画素値の平均値を取得する平均化処理部１３Ａと、前記非凹凸領域以外の領域における画素値が近い部分を結んだ等色線を生成する等色線生成部１３Ｂと、前記画素値の平均値及び等色線に基づき原稿画像の凹凸領域を判定する凹凸領域判定部１４と、前記原稿画像の凹凸領域の暗部を除去して、前記凹凸領域を補正する暗部除去処理部１５と、を有する。【選択図】図１
2017046342.tif 000002
【特許請求の範囲】
【請求項１】
凹凸原稿に起因して発生する原稿画像の凹凸領域を補正する画像処理装置であって、
表裏の原稿画像の位置合わせを行う表裏位置合わせ処理手段と、
位置合わせした原稿画像の画素値に基づき非凹凸領域を判定する非凹凸領域判定手段と、
前記非凹凸領域以外の領域における前記表裏の原稿画像の画素値の平均値を取得する平均化処理手段と、
前記非凹凸領域以外の領域における画素値が近い部分を結んだ等色線を生成する等色線生成手段と、
前記画素値の平均値及び等色線に基づき原稿画像の凹凸領域を判定する凹凸領域判定手段と、
前記原稿画像の凹凸領域の画像を補正する画像補正手段と、
を有する画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
前記画像補正手段は、前記原稿画像の凹凸領域の暗部を除去する暗部除去手段を含む画像処理装置。
【請求項３】
請求項２に記載された画像処理装置において、
前記凹凸領域判定手段によって凹凸領域が存在すると判定したとき、ユーザーに対して当該凹凸領域の暗部を除去するか否かを確認する確認手段をさらに備えた画像処理装置。
【請求項４】
請求項２に記載された画像処理装置において、
前記非凹凸領域判定手段は、カラー原稿画像に基づき非凹凸領域を判定する画像処理装置。
【請求項５】
請求項２に記載された画像処理装置において、
前記等色線生成手段によって原稿画像内の画素値の最大値と最小値の間に複数の等色線を生成する際に、等色線の最小間隔を調整する等色線間隔判定手段をさらに備えた画像処理装置。
【請求項６】
請求項２に記載された画像処理装置において、
前記表裏位置合わせ処理手段が、サンプル画像を用いて表裏同位置にある画像のズレ量を取得し、取得した前記ズレ量に基づき表裏の原稿画像の位置合わせの調整を行う画像処理装置。
【請求項７】
請求項１に記載された画像処理装置において、
前記原稿画像の文字領域を判定する文字領域判定手段を有し、
前記画像補正手段は、前記文字領域判定手段により判定された文字領域内の文字が前記凹凸領域と重なるとき、前記文字をパターン辞書中の文字パターンで置換する置換処理手段を含む画像処理装置。
【請求項８】
請求項７に記載された画像処理装置において、
前記画像補正手段は、前記文字の傾きを補正する傾き補正処理手段を含む画像処理装置。
【請求項９】
請求項７に記載された画像処理装置において、
前記原稿画像の濃度を調整する濃度調整手段を有し、
前記文字領域判定手段は、前記濃度調整手段により濃度調整された原稿画像の文字領域を判定する画像処理装置。
【請求項１０】
凹凸原稿に起因して発生する原稿画像の凹凸領域を補正する画像処理装置における画像処理方法であって、
表裏の原稿画像の位置合わせを行う表裏位置合わせ処理工程と、
位置合わせした原稿画像の画素値に基づき非凹凸領域を判定する非凹凸領域判定工程と、
前記非凹凸領域以外の領域における前記表裏の原稿画像の画素値の平均値を取得する平均化処理工程と、
前記非凹凸領域以外の領域における画素値が近い部分を結んだ等色線を生成する等色線生成工程と、
前記画素値の平均値及び等色線に基づき原稿画像の凹凸領域を判定する凹凸領域判定工程と、
前記原稿画像の凹凸領域の画像を補正する画像補正工程と、
を有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
紙原稿を基に原稿の情報をデータ化して保存しておくことがごく普通に行われている。
しかし、手元に紙原稿を所持していても、データとしては保有していないということはよく有ることである。この場合、紙原稿が何らかのアクシデントで非平面原稿（凹凸原稿；皺や波打が発生して平らではなくなった紙）になったり、原稿を自動送りしてコピーした際に、ジャムが発生して原稿が凹凸原稿になったりすると、コピーやスキャンなどで原稿の画像データを取得する際に、凹凸（皺）の影響が出る。そのために、その文書をその後使用することに問題が生じる場合がある。
【０００３】
このような問題の一解決策として、破損原稿を判別して通常原稿と異なる画像処理を行い、それによって破損による画像劣化を緩和する画像処理システムが知られている（特許文献１（特許第４６０９５４２号公報）参照）。
即ち、特許文献１には、破損原稿を読み取った際の画像データの劣化を防ぐため、破損原稿か否かの判定を原稿のジャムの有無によって行い、それに応じて破損原稿の画像処理の内容を通常原稿の場合と区別して行うことで、画像劣化を緩和する画像読取装置が開示されている。より詳しくは、薄い灰色を白に補正するガンマ補正を行う、２値化閾値を小さくすることで、薄い灰色を白に判定し易くする、或いはエッジ部に平滑フィルタをかけることで、ジャム原稿の折れ曲がり部分等を目立たなくすること等の画像補正を行う。
【０００４】
この画像補正では、破損原稿による画像劣化を緩和することはできる。しかし、破損原稿により生じる明暗の差までは考慮されておらず、したがって原稿が折れ曲がった結果として、紙面が歪み、光源からの距離が一定ではなくなることによる原稿画像の明暗の差を除去することはできない。
加えて、破損原稿については、同一破損原稿における破損部、非破損部を区別することなく一律に同じ破損画像処理を施す。そのため、非破損部の画像処理が適切ではなくなるという問題もある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、画像処理装置における従来の問題に鑑みてなされたものであって、その目的は、凹凸（非平面）原稿になった破損原稿の画像（データ）を取得する際に、その影響を除去した画像を得ることである。
【課題を解決するための手段】
【０００６】
本発明は、凹凸原稿に起因して発生する原稿画像の凹凸領域を補正する画像処理装置であって、表裏の原稿画像の位置合わせを行う表裏位置合わせ処理手段と、位置合わせした原稿画像の画素値に基づき非凹凸領域を判定する非凹凸領域判定手段と、前記非凹凸領域以外の領域における前記表裏の原稿画像の画素値の平均値を取得する平均化処理手段と、前記非凹凸領域以外の領域における画素値が近い部分を結んだ等色線を生成する等色線生成手段と、前記画素値の平均値及び等色線に基づき原稿画像の凹凸領域を判定する凹凸領域判定手段と、前記原稿画像の凹凸領域の画像を補正する画像補正手段と、を有する画像処理装置である。
【発明の効果】
【０００７】
本発明によれば、凹凸原稿になった破損原稿の画像を取得する際に、その影響を除去した画像を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置における原稿画像取得（原稿読取）から画像処理完了までの一連の処理を示すフロー図である。
【図３】原稿表面から取得した原稿画像の主走査方向における濃度変化を表すグラフである。
【図４】原稿裏面から取得した原稿画像の主走査方向における濃度変化を表すグラフである。
【図５】表裏両面の原稿画像の主走査方向の濃度の平均値に基づく凹凸領域の判定結果の第１の例について説明するための図である。
【図６】表裏両面の原稿画像の主走査方向の濃度の平均値に基づく凹凸領域の判定結果の第２の例について説明するための図である。
【図７】本発明の第２の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図８】本発明の第２の実施形態に係る画像処理装置における原稿画像取得（原稿読取）から画像処理完了までの一連の処理を示すフロー図である。
【図９】図８における文字領域判定処理について説明するための図である。
【図１０】図８における皺判定処理について説明するための図である。
【図１１】図８における文字判定処理及び置換処理の詳細を示すフロー図である。
【図１２】図１１における傾き補正処理について説明するための図である。
【図１３】図１１における置換文字決定処理について説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について説明する。
本発明は、凹凸原稿（非平面原稿）になった破損原稿を、例えばスキャン又はコピーなどで原稿画像（原稿上の画像の色、濃度等に対応する画像データ）を取得する際に、その影響を除去することを特徴としている。
要するに、原稿が皺等によって紙面の上面が凹になっていると、スキャンする面からみて通常原稿に対して距離差が発生するため暗く見える。反対に同じ原稿を裏面からみればその位置は凸になるので、逆の現象つまり明るく見えることになる。
本発明は、これらの特性を利用して、表裏両面の原稿画像（画像データ）を比較して明暗が反対に出ている同じ形状のエリアを凹凸（非平面）領域と判定し、その部分のみを画像処理で補正して、平面エリア（平面部）の画像に影響を及ぼすこと無く皺・歪みの影響を除去することを特徴としている。
本発明の上記特徴について、以下その実施形態について図面を参照して説明する。
【００１０】
［第１の実施形態］
〈画像処理装置のハードウェア構成〉
図１は、本発明の第１の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図（機能ブロック図）である。
本実施形態に係る画像処理装置１は、画像処理部１０と、ユーザーとのインタフェースとなる操作部２０と、原稿の表面及び裏面をそれぞれ読み取り、表裏両面の原稿画像（原稿表面画像及び原稿裏面画像）を取得する原稿読取装置３０（表原稿読取装置３１、裏原稿読取装置３２）と、操作部２０に接続された記憶部２７と、印刷装置３５とを有する。
【００１１】
画像処理部１０は、原稿読取装置３０で取得した表裏両面の原稿画像の位置合わせを行う表裏位置合わせ処理部１１と、非凹凸領域ではない部分（非凹凸領域以外の部分）を一次的に排除する非凹凸領域判定部１２と、表裏両面の原稿画像の画素値を平均する平均化処理部１３Ａと、画素値が一致している部分を繋いだ等色線（画素値の大きさに基づく等高線）マップを作成する等色線作成部１３Ｂと、表裏両面の原稿画像の画素の平均値と等色線マップから、原稿の凹凸によって生じた画像データ（原稿画像）における明暗（ここでは暗部という）がある領域（凹凸領域）を判定する凹凸領域判定部１４と、凹凸領域判定部１４による判定結果に応じて暗部を除去して、前記凹凸領域を補正する暗部除去処理部１５と、を有する。
なお、図示のように、原稿用紙のコピーを行う場合に、画像処理部１０側で出力用の画像処理を行えるようにするために、画像処理部１０に出力部１６と出力画像処理部１７を備える構成でもよい。
【００１２】
操作部２０は、画像を回転する回転処理部２１と、スタンプ合成等の編集を行う編集処理部２２と、画像サイズの変更を行う変倍処理部２３と、外部とのデータ転送を高速に行うために画像を圧縮する圧縮処理部２４と、画像を伸長する伸長処理部２５と、外部のネットワークと情報をやりとりするネットワークＩ／Ｆ（インタフェース）部２６とを有する。
また、画像処理装置１には、画像処理部１０から出力する画像を印刷する印刷装置３５が備えられている。
なお、以上で説明した画像処理部１０内及び操作部２０内の各部は、ハードウェアまたはソフトウェア、あるいは両者の複合構成を用いて実現することができる。ソフトウェアを用いて実現する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールすることで実現可能である。
【００１３】
表裏位置合わせ処理部１１は、例えば両面１パスＡＤＦ（Auto Document Feeder）（ＡＤＦによる一回のシートスルー時に、ＡＤＦ側のＣＩＳ（Contact Image Sensor）とブック（BOOK）側のＣＣＤ（Charge Coupled Device)で原稿の表裏両面を同時に読み取るＡＤＦ）であればＣＣＤとＣＩＳの配置位置が決まっているので、両者の位置のずれ（離れ方）に応じて主走査をずらすことで表裏の位置合わせを行う。
【００１４】
なお、表裏位置合わせ処理部１１（本発明の「表裏位置合わせ処理手段」に対応する）は、赤外線センサ等、到来した紙（原稿用紙）を検知するセンサを表裏の読取センサと共に配置し、紙の検知タイミングのズレ量により、表裏位置合わせの調整（チューニング）を行う調整手段を備えてもよく、そうすることで、表裏の原稿画像の位置合わせ精度を向上させることができる。
前記表裏位置合わせ処理部１１は、サンプル画像を用いて表裏同位置にある画像のズレ量を取得し、取得した前記ズレ量に基づき表裏両面の画像の位置合わせの調整を行うようにすることもできる。
さらに、表裏位置合わせ処理部１１は、例えば、最初に等色線作成を行い、表裏の原稿画像の等色線の構成から、類似するか否か（ここでは、等色線の形状が所定の割合以上で一致するか否か）を判定し、類似する部分を用いて位置合わせを行うものであってもよい。表裏位置合わせ処理部１１をこのように構成することにより、ブック（BOOK）読取等の安価な読取装置でも位置合わせを行うことができる。
【００１５】
〈画像処理装置の処理フロー〉
図２は、本実施形態に係る画像処理装置１における原稿画像取得（原稿読取）から画像処理完了までの一連の処理を示すフロー図である。図２を参照して、上記一連の処理について説明する。
【００１６】
本実施形態では、まず、例えば、ＡＤＦ側のＣＩＳとBOOK側のＣＣＤで原稿の表裏両面を読み取ることで、表裏それぞれの原稿画像を取得する（ステップＳ１０１、Ｓ１０２）。
次に取得した表裏それぞれの原稿画像の位置合わせを行う（ステップＳ１０３）。この処理は、以降の処理がそれぞれの位置が合っていることで精度よく処理を行えるようにするための処理であり、前処理の意味を持つ。
具体的には、例えば１パス両面機であれば、ＣＣＤとＣＩＳの配置位置は一義的に決まっているため、主走査は、ＣＣＤとＣＩＳの配置位置のズレ分だけ必ずずれる。そこで、それを逆演算するなどして表裏の原稿画像の位置合わせを行うことができる。
【００１７】
次の非凹凸領域判定では、取得画像のグレースケールの濃度によって非凹凸領域の判定を行い（ステップＳ１０４）、判定の結果、凹凸領域ではないと判定された部分を非凹凸領域として以降の処理対象から外す（詳細は図３、４を参照して後述する）。その後、次の判定のために平均化処理と等色線作成処理を行う（ステップＳ１０５、Ｓ１０６）。
ステップＳ１０５の平均化処理では、表裏両面の画像データの同じ領域の画素値の平均値を取得する。
ステップＳ１０６の等色線作成処理では、表裏の原稿画像のそれぞれにおいて画素値が一致する部分を結んで等高線のようにした等色線を作成する。等色線は全ての画素値の分を作成するのではなく、ある程度丸め込んだものを作成してもよい。例えば１画素１０ビットの画像データの上位８ビットだけを見て結ぶなどしてもよい。
なお、単純に画像の濃度（画素値）で判定するよりも判定精度を上げるためにグレースケールに代えてカラー原稿画像の画素値（例えばＲＧＢの画素値）で判定を行うようにしてもよい。
【００１８】
これら表裏両面の原稿画像の同じ領域の画素値の平均値及び等色線は、凹凸領域の判定を行うために用いられる（詳細については、図５、６を参照して後述する）。
ステップＳ１０７では、上記画素値の平均値が規定の範囲内であるか否かを判定する。ここで、平均値が規定の範囲内であれば（ステップＳ１０７：Yes）、次に、表裏の原稿画像間で等色線の形状が類似しているか否かを判定し（ステップＳ１０８）、類似していれば（ステップＳ１０８：Yes）、凹凸領域と判定する（ステップＳ１０９）。これら複数の判定を経て凹凸領域と判定された領域は、暗部除去処理によって、凹凸における暗部が除去され（ステップＳ１１０）、この処理を終了する。
【００１９】
一方、ステップＳ１０７において、平均値が規定の範囲内にない場合（ステップＳ１０７：No）、及び平均値が規定の範囲内であっても、表裏の原稿画像間で等色線の形状が類似していない場合は（ステップＳ１０８：No）、非凹凸領域と判定して（ステップＳ１１１）、この処理を終了する。
なお、ここで、例えば、凹凸領域と判定された領域の画素値を基準白板の値に書き換える処理を行えば、暗部（薄い黒スジとなって現れる）を除去することができる。
【００２０】
〈非凹凸領域判定処理〉
本実施形態において、原稿は文字領域、絵柄領域、凹凸による暗部領域の三つの領域に分類し、凹凸による暗部（薄い黒スジとなることが多い）領域のみで規定の暗部除去処理を行う。
まず、原理的にみて、凹凸は表面と裏面で逆の特性で出る。つまり、表で徐々に暗くなっていく（凹が深くなっていく）ところは、それとは対称的に裏面では徐々に明るくなっていく。
なお、文字や絵柄が有る領域にも当然凹凸が発生するが、実際には、凹凸によって発生する濃さに対して文字や絵柄は非常に濃いので、ここでは、これらが重なった領域は文字や絵柄の領域に分類して補正の対象とはしない。
【００２１】
図３は、原稿表面から取得した原稿画像の主走査方向における濃度変化を表すグラフであり、図４は、原稿裏面から取得した原稿画像の主走査方向における濃度変化を表すグラフである。より詳しくは、図３、４は、縦軸に濃度、横軸に主走査位置を採り、原稿の表面、裏面から取得した原稿画像の濃度と位置との関係を示したグラフである。図３、図４では、それぞれ濃度値を実線、点線で図示した。また、基準白色及び凹凸領域における濃度の最大値（最大凹濃度）を一点鎖線で示した。
文字領域は濃度が濃いため、表面の領域ｂ及び領域ｄ、並びに裏面の領域Ｂ及び領域Ｄのように比較的高い濃度となる。表面の領域ａ及び裏面の領域Ａは凹凸領域を示している。なにも描画されていない非凹凸領域は、表面の領域ｃ及び領域ｅ、並びに裏面の領域Ｃ及び領域Ｅのように濃度が低い（薄い）。また、絵柄の領域はその絵の内容によって濃度が異なるので、濃度が非常に薄い場合は、表面の領域ｆや裏面の領域Ｆのようになる（非常に薄いとはその濃度が凹凸領域の濃度と区別できない程度のものを云う）。当然ながら凹凸以外の文字や絵柄の領域は表裏の内容に相関がないためたまたま重なったり、重ならなかったりする。図３、図４では、領域ａと領域Ａ、及び領域ｂと領域Ｂは、主走査方向の全体の位置が一致しており、領域ｃと領域Ｃ、領域ｄと領域Ｄ、領域ｅと領域Ｅ、領域ｆと領域Ｆは、主走査方向の一部の位置が一致している（重なる）ものとした。
【００２２】
非凹凸領域判定処理は、領域ａ及び領域Ａのような凹凸領域の濃度の最大値（最大凹濃度）が物理的な構造によって制限されることを利用して行う。即ち、例えば、１パス両面機であれば、センサ（ＣＣＤ、ＣＩＳ）と搬送路間の距離に最大値が有るため、凹凸の最大値も決まり、その最大値に応じて発生する暗部の濃度の最大値も決まる。そこで、本実施形態では、この性質を利用して、濃度がその最大濃度を超える領域は凹凸領域ではないと判断して、後の処理の対象から外す。この判定をここでは非凹凸領域判定処理という。図３、４においては、領域ｂ、領域ｄ、領域Ｂ、領域Ｄは非凹凸領域と判定される。
【００２３】
《凹凸領域判定処理》
上述した非凹凸領域判定処理（図２のステップＳ１０４に対応）において非凹凸領域でないと判定された領域には、（i）発見したい凹凸領域（例えば図３における領域ａ及び図４における領域Ａ）と、（ii）非凹凸判定処理では落とせなかった非常に薄い絵柄の領域（例えば図３における領域ｆ及び図４における領域Ｆ）の二種類が含まれている。そこで、本処理では(ii)の中から更に不要な部分（ここでは、非常に薄い絵柄の領域）を除外する。
【００２４】
図５、図６は、それぞれ表裏両面の原稿画像の主走査方向の濃度の平均値に基づく凹凸領域の判定結果の第１の例、第２の例について説明するための図である。
図５、図６において、一点鎖線は表面の原稿画像の濃度を表し、点線は裏面の原稿画像の濃度を表す。また、太い実線は、表裏の原稿画像の濃度の平均値を表す。
表裏で対称に明暗が現れる凹凸領域（例えば図３における領域ａ、図４における領域Ａ）では、濃度の変化が逆に出るので、図５における規定範囲内領域、図６における規定範囲内領域（１）に示すように、平均値を取るとほぼ一定の値の中（規定範囲：図５、図６の斜線で示した帯の領域）の中に収まる。図５における規定範囲内領域及び図６における規定範囲内領域（１）がこの凹凸領域に対応する。
これに対して、非凹凸判定処理で排除できていない非常に薄い絵柄領域（例えば図３における領域ｆ、図４における領域Ｆ）は、たまたま丁度よい濃さの領域が重ならない限り、濃度が表裏で対称にならないので、平均化処理の結果が斜線で示した帯の範囲に入らない（図５）。この特性を利用して、対称になっている領域（凹凸領域）を残すのが最初の判定（図２のステップＳ１０７：Yes→ステップＳ１０８）である。
【００２５】
ただし、図６における規定範囲内領域（２）及び（３）のように、対称になっていなくても表裏でたまたま濃度のバランスがとれた絵柄が存在する場合も無いとは言い切れない。この場合、最初の判定では残ってしまう。
そこで、本実施形態では等色線マップを使用する。即ち、凹凸領域は両面で濃度が対称にでる性質を持つことから、その領域の等色線の形状が酷似する。それに対し、図６のようにたまたま対称に見える濃度の絵柄が重なっている場合は、領域としてみた場合に、その線の形状が両面で異なる。ここでは、この性質を利用して、表裏の等色線の配置を比較し、類似形状ではない領域はたまたま絵柄が重なっただけと判定して非凹凸領域として処理を行う（図２におけるステップＳ１０８：No→ステップＳ１１１）。
【００２６】
なお、等色線生成手段によって等色線を生成する際に、処理時間を短縮するため、画像内のデータの最大値と最小値に合わせて等色線を作成する場合の最小間隔を調整する等色線間隔判定手段を備えるようにしてもよい。また、ユーザーに対して凹凸領域と判定した領域を除去するか否かを確認するため、暗部除去機能の使用確認を行う確認手段を設けることが好ましい。それにより、除去処理が不要な場合に処理に掛かる時間を短縮することができる。
【００２７】
本実施形態においては、凹凸領域について、暗部除去手段で当該領域の地肌色を所定の色、例えば地肌色判定手段による判定値や基準白板の色、単純に白色の中から任意にユーザーが選んで置換して暗部を除去する補正を行う。また、置換する色を地肌色判定手段の判定値や基準白板の色、単純に白色の中から任意にユーザーが選ぶようにしてもよい。これにより、ユーザーは暗部除去後の地肌の色合いを任意に選ぶことができる。
【００２８】
以上の説明では、暗部の判定を画像から行うものとして説明したが、原稿読取装置に距離センサを搭載し、暗部の判定を画像から行うのではなく、このセンサの出力を利用して直接行ってもよい。これにより暗部の判定の精度を向上させることができる。
【００２９】
以上、本実施形態について説明したが、本実施形態では、皺・歪みの有る原稿をコピーまたはスキャンする際に、反対面の画像もスキャンして、スキャン画像を主走査方向に沿って複数の領域に区分して、例えばグレースケールの濃度によって領域毎に非凹凸領域であるか否かを判定し、非凹凸領域を除外すると共に、非凹凸領域ではないと判定された領域から、さらに読取原稿の両面における等色線で作成される形状が類似しているか否かに基づき、最終的に凹凸領域を決定する。
【００３０】
そのため、破損原稿により生じる上記明暗の差に基づき破損原稿に対して凹凸による暗部領域（凹凸領域）を特定し、凹凸領域のみに破損画像処理を施すことができる。したがって、従来のように、破損部を備えた原稿から取得した原稿画像に対して、破損部、非破損部を区別することなく、一枚の原稿に対して一律に補正処理を行うことがなく、容易かつ適切な原稿画像の破損補正処理を行うことができる。
【００３１】
［第２の実施形態］
次に本発明の第２の実施形態に係る画像処理装置について説明する。
本実施形態は非平面原稿になってしまった破損原稿をスキャンするに際して、以下の特徴を有する。
要するに、皺等によって紙面に上面が凹になっている場合、スキャンする面からみて通常原稿に対して距離差が発生するため暗く見える。反対に同じ原稿を裏面からみればその位置は凸になるので、逆の現象つまり明るく見えることになる。これらの特性を利用して、両面の画像データを比較して皺部分(要するに凹凸のピーク)を判定し、皺の位置情報を取得する。皺は紙面を折り曲げた結果発生するため直線形状をしているので、得られる皺の情報は直線的なものとなる。また、γ補正を強めにかけることで皺の明暗を白飛びさせ、その状態でＯＣＲ(Optical Character Recognition)処理をかけて文字領域を判定し、皺部分の位置情報と合わせることで皺の影響を受けた文字を判定し、その文字のみ置換処理をかけて補正することが特徴になっている。
以下、上記の特徴について図面を参照して説明する。
【００３２】
〈画像処理装置のハードウェア構成〉
図７は、本発明の第２の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
本実施形態に係る画像処理装置２は、画像処理部１１０と、コントローラ１２０と、原稿の表面及び裏面をそれぞれ読み取り、表裏両面の原稿画像を取得する原稿読取装置１３０（表原稿読取装置１３１、裏原稿読取装置１３２）と、ユーザーとのインタフェースとなる操作部１４０及び表示部１５０と、画像の保存やパターン辞書の保持を行う記憶部１６０を有している。
【００３３】
画像処理部１１０は、原稿読取装置１３０で取得した表裏の原稿画像から凹凸領域を判定し、補正する凹凸領域補正部１１１と、判定した凹凸領域から皺を判定する皺位置判定部１１２と、凹凸による明暗を白飛びさせる濃度調整手段としてのγ補正処理部１１３と、白飛びして明暗の影響がなくなった原稿画像の文字領域を判定する文字領域判定部１１４とを有する。ここで、凹凸領域補正部１１１は、第１の実施形態における表裏位置合わせ処理部１１、非凹凸領域判定部１２、平均化処理部１３Ａ、等色線作成部１３Ｂ、凹凸領域判定部１４、及び暗部除去処理部１５と同じである。
【００３４】
コントローラ１２０は、画像を回転する回転処理部１２１と、皺の影響で劣化した文字を記憶部１６０に保持されているパターン辞書中の文字パターンで置き換える編集処理部１２２と、画像サイズの変更を行う変倍処理部１２３と、外部とのデータ転送を高速で行うために画像を圧縮する圧縮処理部１２４と、画像を伸長する伸長処理部１２５と、外部のネットワークと情報をやりとりするネットワークＩ／Ｆ部１２６と、文字認識処理などを行うＣＰＵ１２７とを有する。
【００３５】
操作部１４０はユーザーの操作を受け付け、表示部１５０は各種情報を表示する。ユーザーは、表示部１５０で皺の判定状況を表示し、操作部１４０によりその内容を修正することができる。
【００３６】
〈画像処理装置の処理フロー〉
図８は、本発明の第２の実施形態に係る画像処理装置２における原稿画像取得（原稿読取）から画像処理完了までの一連の処理を示すフロー図である。また、図９、図１０は、それぞれ図８における文字領域判定処理、皺判定処理について説明するための図である。これらの図を参照して、上記一連の処理について説明する。
【００３７】
まず表裏それぞれの原稿画像を取得する（ステップＳ２０１、Ｓ２０２）。これらの処理は第１の実施形態におけるステップＳ１０１、Ｓ１０２と同じである。次にそれら表裏両面の原稿画像に対して２系統の処理を並行して行う。
【００３８】
一方の系統はγ補正処理（ステップＳ２０３）と、それに続く文字領域判定処理（ステップＳ２０４）からなる。
γ補正処理は、原稿画像の濃度を調整（ここでは抑制）して白飛びさせ、皺による明暗を除去する処理である。図９の場合、γ補正処理を受けた原稿画像３０２においては、原稿画像３０１における３つの「サンプル」の文字列（１つは下線付）の濃度が低下するとともに、原稿画像３０１における皺部分（一点鎖線）が除去される（皺だった部分として点線で図示）。このγ補正処理は、後述するステップＳ２０７〜２１１において表面の原稿画像を処理する場合は裏面の原稿画像のみに対して行い、ステップＳ２０７〜２１１において裏面の原稿画像を処理する場合は表面の原稿画像のみに対して行う。
文字領域判定処理は、γ補正処理を受けた原稿画像３０２の像域分離を行い、文字領域の情報を取得する処理である。この処理は公知の技術で、一般的に絵柄部を印刷する際に構成されるドットの集合体である網点部を検知し、その後エッジを検出して、網点ではなくエッジである部分は文字と判別するような処理である。この処理はある程度の領域内に一括で行うものであるため、文字領域として検出される領域（文字領域判定箇所）の形状は文字に沿った形ではなく、長方形の領域になることもある。図９の場合、下線付きの「サンプル」の文字列の文字領域判定箇所が長方形になっている。
【００３９】
他方の系統は凹凸領域補正処理（ステップＳ２０５）と、それに続く皺判定処理（ステップＳ２０６）からなる。
凹凸領域補正処理は、皺によって発生する凹凸の影響で原稿画像全体に発生した明暗を除去し、凹凸明暗の影響を除去した原稿画像を得る処理、即ち、第１の実施形態（図２）におけるステップＳ１０３〜Ｓ１１１である。皺判定処理は、凹凸領域補正処理の処理過程で判明している凹凸領域の境界線を皺領域と判定することで皺の位置情報を取得する処理である。
図１０に示すように、皺部分を有する原稿画像３０１に対して、皺によって発生する凹凸に起因する明暗が表裏で逆の特性で発生することを利用して凹凸による明暗部を判定し、それを補正し、皺による色彩の画像劣化を除去した原稿画像３０３を得る。また、この処理の過程で判明している凹凸領域境界線は皺を意味するので、皺の位置もここから判定する。
【００４０】
次にこれら２系統の処理によって得られた凹凸明暗を除去した画像に対して、皺位置情報及び文字領域情報を用いて文字の補正を行う。まず判明している文字領域にそれぞれに着目して皺と重なっているか否かを判定し（ステップＳ２０７→ステップＳ２０８）、重なっている場合は（ステップＳ２０８：Yes）、文字が歪んだと判断して補正処理対象とし、文字判定処理（ステップＳ２０９）及び置換処理（ステップＳ２１０）を実行する。補正処理では一般的なＯＣＲ処理を用いて文字を判定し、判定結果の歪んだ文字を辞書パターン（パターン辞書中の文字パターン）で置換する処理を行うことで文字の補正を行う。この補正処理の詳細については後述する。これをすべての文字に対して繰り返すことによって（ステップＳ２１１：Yes）、歪んでいる文字のみを補正することができる。
【００４１】
〈文字判定処理及び置換処理の詳細〉
図１１は、図８における文字判定処理及び置換処理の詳細を示すフロー図である。また、図１２、図１３は、それぞれ図１１における傾き補正処理、置換文字決定処理について説明するための図である。これらの図を参照して、文字判定処理及び置換処理の詳細について説明する。
【００４２】
図１１に示すように、文字判定処理では、まず文字形状の解析を行い、傾き具合を検知できる条件が満たされているか否かを判定する（ステップＳ３０１）。その条件が満たされていれば（ステップＳ３０１：Yes）、傾きの補正処理を行う（ステップＳ３０２）。即ち、例えば図１２に示すように、日本語においてはカタカナや漢字のように直線と直線が交叉する部分を見るとほぼ傾き角を判定できるので、このような条件に合致する場合は傾きの補正（回転）を行う。
【００４３】
傾き補正を行った場合は、図１３に示すように、文字パターン５０１を皺の両側に分離し、分断された領域５０１ａ、５０１ｂそれぞれをパターン辞書中１６０ａにおける傾きを考慮していない辞書パターンと比較し（ステップＳ３０３）、それぞれの結果を用いて類似度の計算を行い（ステップＳ３０５）、置き換える文字を決定する（ステップＳ３０６）。
この時、類似度の計算は面積比で重み付けをしてもよく、密度や文字の占める割合等の他の指標を用いて重み付けしても良い。これにより、文字領域判定精度を向上させることができる。それらの重み付けが片方に極端によっている場合は片側で判定してもよい。これにより、文字領域判定速度を維持しつつ判定精度を向上させることができる。また、それらの設定を操作部からユーザーが変更できても良い。これにより、文字領域判定精度と速度のチューニングを任意に設定することができる。また、皺の位置と画像の両方をデータとして保有しているため、文字領域判定時に特定領域を判定対象外にする(例えば歪が大きい皺近傍を無視する)などしても良い。
傾きを検知できない文字形状であった場合は（ステップＳ３０１：No）、傾きを考慮した辞書パターンに対して同様の処理を行う（ステップＳ３０４→Ｓ３０５→Ｓ３０６）。
置換する文字の判定が終了した後、置換する位置の判定処理を行い（ステップＳ３０７）、実際に置換することで（ステップＳ３０８）、歪んだ文字を歪んでいない文字に補正する。
【符号の説明】
【００４４】
１，２…画像処理装置、１０，１１０…画像処理部、１１…表裏位置合わせ処理部、１２…非凹凸領域判定部、１３Ａ…平均化処理部、１３Ｂ…等色線作成部、１４…凹凸領域判定部、１５…暗部除去処理部、２０，１４０…操作部、２１，１２１…回転処理部、２２，１２２…編集処理部、２３，１２３…変倍処理部、２４，１２４…圧縮処理部、２５，１２５…伸長処理部、２７，１６０…記憶部、３０，１３０…原稿読取装置、３５…印刷装置、１１１…凹凸領域補正部、１１２…皺位置判定部、１１３…γ補正処理部、１１４…文字領域判定部、１２７…ＣＰＵ。
【先行技術文献】
【特許文献】
【００４５】
【特許文献１】特許第４６０９５４２号公報
【図１】
2017046342.tif 000003
【図２】
2017046342.tif 000004
【図３】
2017046342.tif 000005
【図４】
2017046342.tif 000006
【図５】
2017046342.tif 000007
【図６】
2017046342.tif 000008
【図７】
2017046342.tif 000009
【図８】
2017046342.tif 000010
【図９】
2017046342.tif 000011
【図１０】
2017046342.tif 000012
【図１１】
2017046342.tif 000013
【図１２】
2017046342.tif 000014
【図１３】
2017046342.tif 000015