(57)【特許請求の範囲】
【請求項１】
原稿を照射して入力画像信号を取得する画像入力手段と、
原稿の厚み方向の段差部で発生する影を入力画像信号から検出する影検出手段と、
前記影検出手段の検出結果に基づいて入力画像信号に対する画像処理を制御する制御手段とを有し、
前記影検出手段は、
背景レベルを検出する背景レベル検出手段を有し、該背景レベル検出手段により検出した背景レベルの段差を基に影候補画素を検出する影候補画素検出手段と、
注目画素周辺の前記影候補画素検出手段によって検出された影候補画素の密度が所定閾値以上であれば注目画素を影領域の画素であると判定する補正手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記影検出手段により検出した影部の入力画像信号を消去するよう画像処理を制御することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記制御手段は、前記影検出手段により検出した影部の入力画像信号を少なくとも強調しないよう画像処理を制御することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記影検出手段は、入力画像信号から文字特徴を検出する文字特徴検出手段を有し、前記補正手段は、注目画素又はその周辺画素で前記文字特徴検出手段により文字特徴が検出されたならば注目画素を影領域の画素でないと判定することを特徴とする請求項１記載の画像処理装置。
【請求項５】
原稿を照射して入力画像信号を取得する画像入力手段と、
原稿の厚み方向の段差部で発生する影を入力画像信号から検出する影検出手段と、
前記影検出手段の検出結果に基づいて入力画像信号に対する画像処理を制御する制御手段とを有し、
前記影検出手段は、影候補画素を検出する影候補画素検出手段、および、該影候補画素検出手段により検出された影候補画素を補正する補正手段を備え、
前記影候補画素検出手段は、背景レベルを検出する背景レベル検出手段を有し、該背景レベル検出手段により検出した背景レベルの段差を基に影候補画素を検出し、
前記補正手段は、注目画素周辺の前記影候補画素検出手段による影候補画素検出結果を参照して、影候補画素の密度が所定閾値以上であれば注目画素を影領域の画素であると判定し、
前記制御手段は、前記影検出手段により検出した影部の入力画像信号を消去するようまたは少なくとも強調しないよう制御することを特徴とする画像処理装置。
【請求項６】
原稿を照射して入力画像信号を取得する画像入力手段と、
原稿の厚み方向の段差部で発生する影を入力画像信号から検出する影検出手段と、
前記影検出手段の検出結果に基づいて入力画像信号に対する画像処理を制御する制御手段とを有し、
前記影検出手段は、影候補画素を検出する影候補画素検出手段、および、該影候補画素検出手段により検出された影候補画素を補正する補正手段を備え、
前記影候補画素検出手段は、背景レベルを検出する背景レベル検出手段を有し、該背景レベル検出手段により検出した背景レベルの段差を基に影候補画素を検出し、
前記補正手段は、注目画素周辺の前記影候補画素検出手段による影候補画素検出結果を参照して、影候補画素の連続画素数が所定閾値以上であれば注目画素を影領域の画素であると判定し、
前記制御手段は、前記影検出手段により検出した影部の入力画像信号を消去するようまたは少なくとも強調しないよう制御することを特徴とする画像処理装置。
【請求項７】
原稿を照射して入力画像信号を取得する画像入力手段と、
原稿の厚み方向の段差部で発生する影を入力画像信号から検出する影検出手段と、
前記影検出手段の検出結果に基づいて入力画像信号に対する画像処理を制御する制御手段とを有し、
前記影検出手段は、影候補画素を検出する影候補画素検出手段、文字特徴を有する画素を検出する文字特徴検出手段、および、該影候補画素検出手段により検出された影候補画素を補正する補正手段を備え、
前記影候補画素検出手段は、背景レベルを検出する背景レベル検出手段を有し、該背景レベル検出手段により検出した背景レベルの段差を基に影候補画素を検出し、
前記文字特徴検出手段は、文字領域特有の二次元的濃度変化に基づき文字特徴を有する画素を検出し、
前記補正手段は、注目画素周辺の前記文字特徴検出手段による文字特徴検出結果を参照して、文字特徴を有する画素の密度が所定閾値以上であれば注目画素を影領域の画素でないと判定し、
前記制御手段は、前記影検出手段により検出した影部の入力画像信号を消去するようまたは少なくとも強調しないよう制御することを特徴とする画像処理装置。
【請求項８】
原稿を照射して入力画像信号を取得する画像入力手段と、
原稿の厚み方向の段差部で発生する影を入力画像信号から検出する影検出手段と、
前記影検出手段の検出結果に基づいて入力画像信号に対する画像処理を制御する制御手段とを有し、
前記影検出手段は、影候補画素を検出する影候補画素検出手段、文字特徴を有する画素を検出する文字特徴検出手段、および、該影候補画素検出手段により検出された影候補画素を補正する補正手段を備え、
前記影候補画素検出手段は、背景レベルを検出する背景レベル検出手段を有し、該背景レベル検出手段により検出した背景レベルの段差を基に影候補画素を検出し、
前記文字特徴検出手段は、文字領域特有の二次元的形状に基づき文字特徴を有する画素を検出し、
前記補正手段は、注目画素周辺の前記文字特徴検出手段による文字特徴検出結果を参照して、文字特徴を有する画素の密度が所定閾値以上であれば注目画素を影領域の画素でないと判定し、
前記制御手段は、前記影検出手段により検出した影部の入力画像信号を消去するようまたは少なくとも強調しないよう制御することを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、原稿読取装置により読み取った画像を処理する画像処理装置に関し、より詳細には、原稿の段差部分で発生する影を高精度に検出し抑制する影検出を伴う画像処理装置に関する。
【０００２】
【従来の技術】
従来、原稿をスキャナで読み込みフィルタ処理やガンマ変換などでコントラスト強調を施す画像処理装置において、原稿の段差部で発生する「影」も文字エッジや絵柄中のエッジと同様に強調される。「影」は、切り貼り原稿の影あるいは厚紙を白い原稿押さえ板を背景にして読み込んだ場合の縁の影であり、実際には不要な情報であるため、不具合となる。
【０００３】
特開平７−１７０４０５号公報は、上記影の不具合に対処した技術である。濃度情報に基づいて原稿のエッジの影の信号を検出し、検出したエッジの影の信号を画像信号から除去する。しかし、濃度情報の参照では、低コントラスト文字との識別ができない。低コントラスト文字は例えば鉛筆書きの文字に代表される濃度の低い文字であり、当然、情報として重要であるのにもかかわらず特開平７−１７０４０５号公報の方法では低コントラスト文字部までも除去してしまうため、これもまた不具合となる。
【０００４】
特開平１０−２８５３７７号公報も、上記影の不具合に対処したまた別の技術である。エッジの勾配の非対称性により影部を判定し、影部を画像信号から消去する。しかし、エッジ勾配の非対称性による検出は低コントラスト文字との識別が概ね可能であるが、鉛筆書き文字では筆圧の具合によって部分的に非対称性の特徴を有するため、誤検出は免れない。また、影の非対称性検出を左側からの光源照射による読み取り画像と右側の光源照射による読み取り画像を参照することによって行っており、装置として高価である。
【０００５】
【発明が解決しようとする課題】
本発明では、出力画像上で目障りな影を発生させない装置を安価に提供することを目的とする。そのため、影部を低コントラスト文字と識別して精度良く検出し、影検出の結果に応じて影部を消去またはすくなくとも強調しない様制御する。
【０００６】
本発明では、影部の識別精度向上のために、まず、影候補画素を検出し、更に、それを補正する２段構成をとる。なお、特開平１０−２８５３７７号公報の実施例において、影の連続性を用いた補正に言及しているが、その具体的な方法は何ら開示されていない。以降の本実施例では、影の連続性やその他の性質を用いた補正手段をハードを考慮した構成で具体的に示す。
【０００７】
【課題を解決するための手段】
請求項１の発明は、原稿を照射して入力画像信号を取得する画像入力手段と、
原稿の厚み方向の段差部で発生する影を入力画像信号から検出する影検出手段と、
前記影検出手段の検出結果に基づいて入力画像信号に対する画像処理を制御する制御手段とを有し、前記影検出手段は、背景レベルを検出する背景レベル検出手段を有し、該背景レベル検出手段により検出した背景レベルの段差を基に影候補画素を検出する影候補画素検出手段と、注目画素周辺の前記影候補画素検出手段によって検出された影候補画素の密度が所定閾値以上であれば注目画素を影領域の画素であると判定する補正手段とを備えることを特徴とするものである。
【０００８】
請求項２の発明は、請求項１の発明において、前記制御手段は前記影検出手段により検出した影部の入力画像信号を消去するよう画像処理を制御することを特徴とするものである。
【０００９】
請求項３の発明は、請求項１の発明において、前記制御手段は前記影検出手段により検出した影部の入力画像信号を少なくとも強調しないよう画像処理を制御することを特徴とするものである。
【００１０】
請求項４の発明は、請求項１の発明において、前記影検出手段は入力画像信号から文字特徴を検出する文字特徴検出手段を有し、前記補正手段は注目画素又はその周辺画素で前記文字特徴検出手段により文字特徴が検出されたならば注目画素を影領域の画素でないと判定することを特徴とするものである。
【００１１】
請求項５の発明は、原稿を照射して入力画像信号を取得する画像入力手段と、原稿の厚み方向の段差部で発生する影を入力画像信号から検出する影検出手段と、前記影検出手段の検出結果に基づいて入力画像信号に対する画像処理を制御する制御手段とを有し、前記影検出手段は、影候補画素を検出する影候補画素検出手段、および、該影候補画素検出手段により検出された影候補画素を補正する補正手段を備え、前記影候補画素検出手段は、背景レベルを検出する背景レベル検出手段を有し、該背景レベル検出手段により検出した背景レベルの段差を基に影候補画素を検出し、前記補正手段は、注目画素周辺の前記影候補画素検出手段による影候補画素検出結果を参照して、影候補画素の密度が所定閾値以上であれば注目画素を影領域の画素であると判定し、前記制御手段は、前記影検出手段により検出した影部の入力画像信号を消去するようまたは少なくとも強調しないよう制御することを特徴とするものである。
【００１２】
請求項６の発明は、原稿を照射して入力画像信号を取得する画像入力手段と、原稿の厚み方向の段差部で発生する影を入力画像信号から検出する影検出手段と、前記影検出手段の検出結果に基づいて入力画像信号に対する画像処理を制御する制御手段とを有し、前記影検出手段は、影候補画素を検出する影候補画素検出手段、および、該影候補画素検出手段により検出された影候補画素を補正する補正手段を備え、前記影候補画素検出手段は、背景レベルを検出する背景レベル検出手段を有し、該背景レベル検出手段により検出した背景レベルの段差を基に影候補画素を検出し、前記補正手段は、注目画素周辺の前記影候補画素検出手段による影候補画素検出結果を参照して、影候補画素の連続画素数が所定閾値以上であれば注目画素を影領域の画素であると判定し、前記制御手段は、前記影検出手段により検出した影部の入力画像信号を消去するようまたは少なくとも強調しないよう制御することを特徴とするものである。
【００１３】
請求項７の発明は、原稿を照射して入力画像信号を取得する画像入力手段と、原稿の厚み方向の段差部で発生する影を入力画像信号から検出する影検出手段と、前記影検出手段の検出結果に基づいて入力画像信号に対する画像処理を制御する制御手段とを有し、前記影検出手段は、影候補画素を検出する影候補画素検出手段、文字特徴を有する画素を検出する文字特徴検出手段、および、該影候補画素検出手段により検出された影候補画素を補正する補正手段を備え、前記影候補画素検出手段は、背景レベルを検出する背景レベル検出手段を有し、該背景レベル検出手段により検出した背景レベルの段差を基に影候補画素を検出し、前記文字特徴検出手段は、文字領域特有の二次元的濃度変化に基づき文字特徴を有する画素を検出し、前記補正手段は、注目画素周辺の前記文字特徴検出手段による文字特徴検出結果を参照して、文字特徴を有する画素の密度が所定閾値以上であれば注目画素を影領域の画素でないと判定し、前記制御手段は、前記影検出手段により検出した影部の入力画像信号を消去するようまたは少なくとも強調しないよう制御することを特徴とするものである。
【００１４】
請求項８の発明は、原稿を照射して入力画像信号を取得する画像入力手段と、原稿の厚み方向の段差部で発生する影を入力画像信号から検出する影検出手段と、前記影検出手段の検出結果に基づいて入力画像信号に対する画像処理を制御する制御手段とを有し、前記影検出手段は、影候補画素を検出する影候補画素検出手段、文字特徴を有する画素を検出する文字特徴検出手段、および、該影候補画素検出手段により検出された影候補画素を補正する補正手段を備え、前記影候補画素検出手段は、背景レベルを検出する背景レベル検出手段を有し、該背景レベル検出手段により検出した背景レベルの段差を基に影候補画素を検出し、前記文字特徴検出手段は、文字領域特有の二次元的形状に基づき文字特徴を有する画素を検出し、前記補正手段は、注目画素周辺の前記文字特徴検出手段による文字特徴検出結果を参照して、文字特徴を有する画素の密度が所定閾値以上であれば注目画素を影領域の画素でないと判定し、前記制御手段は、前記影検出手段により検出した影部の入力画像信号を消去するようまたは少なくとも強調しないよう制御することを特徴とするものである。
【００１５】
【発明の実施の形態】
（実施例）
図１は本発明の骨格をなすブロック図で、図中、１は影検出部、２は画像処理部で、影検出部１にて影部を検出し、その検出結果に基づいて画像処理部２を制御する。影検出部１は、図２に示すように、影候補画素検出部３および補正部４から成るが、図３に示すように、文字特徴検出部５を設け、文字の特徴を補正の際に参照しても良い。以下、（１）において影候補画素検出部３、（２）において補正部４、（３）において文字特徴検出部５、（４）において影検出部１の結果に基づく画像処理部２の制御の夫々に関して、いくつかの実施例を挙げて説明する。
【００１６】
なお、各検出部において、説明の都合上やハード量を考慮し、場合によって２値判定であったり多値判定であったりするが、それは必要に応じて２値出力／多値出力を選択すれば良い。例えば、２値出力を多値出力に変換するには２値出力結果に対して適当な平滑化フィルタを施せば良く、応用は容易である。また、判定結果に対する膨張処理など、画像処理系との関係を考慮し必要に応じて行っても良い。
【００１７】
（１）影候補画素検出部３の実施例：
＜エッジの勾配を利用した影候補画素検出＞
図４は、原稿段差部（図４（Ａ））と原稿段差部近傍における画素位置と輝度との関係（図４（Ｂ））を示す図で、影は、図４（Ｂ）に示すように、左右一方が急峻な勾配のエッジｂ、もう一方が緩やかな勾配のエッジａであるという性質を持つ。勾配度を低コントラスト文字画像と比較すると図５に示すような関係になる。図５において、急峻である方の勾配ｂは低コントラスト文字画像よりも勾配が大きく、緩やかである方の勾配ａは文字画像よりも勾配が小さい。この関係を利用して、影候補画素を検出する。
【００１８】
図６に処理フローを示す。図６において、１０はエッジ勾配検出フィルタ、１１は判定回路を示すが、まず、エッジ勾配検出フィルタ１０について、図７を参照しながら、その詳細を説明する。すなわち、図７において、中央の注目画素を挟んで位置する画素からその勾配を算出するが、それを異なる４方向で算出してそれらの最大値をとることにより、広角に対応したエッジの勾配を検出する事が可能となる。これを式で記述すれば、次の通りである。
Ｘ＝ｍａｘ（｜Ａ−Ｂ｜，｜Ｃ−Ｄ｜，｜Ｅ−Ｆ｜，｜Ｇ−Ｈ｜）
【００１９】
次に、判定回路１１で勾配度に従って影候補画素である確率を求める。スキャナ画像が６００ｄｐｉであるとき、図６のエッジ勾配検出フィルタ１０では影の急峻である方の勾配ｂに対しては解像度不充分であるため検出できない。そこで、影の緩やかである方の勾配ａと文字画像部の勾配との関係で、図５に示すように、影候補画素である確率を求めることができる。また、エッジ勾配検出フィルタ１０の設定によってはｂの勾配が解像できるので、その場合はｂの方の影の勾配と文字画像部の勾配との関係で判定すれば良い。
【００２０】
＜エッジの勾配の非対称性を利用した影候補画素検出＞
図４に示したように、影はエッジ勾配が非対称であるという性質を持っている。そこで、勾配度を検出した上で、更に非対称性を検出すれば、高い検出精度が期待できる。非対称性を検出するには、図５のａの勾配を持つ影とｂの勾配を持つ影の夫々が検出できなければならないため、勾配度の検出自体も更に高精度なものが要求される。ここでは、説明簡単のためと、実用面を考慮したハード減を考慮し、主走査方向のみの演算とする。無論、幾つかの方向に対して本方式を適応すれば高精度な検出となるため、その点はコストパフォーマンスを考慮して方式を選択し実施すれば良い。
【００２１】
図８に処理フローを示す。図８において、２０は一次微分回路、２１は符号反転回路、２２，２３は最大値検出回路、２４は差分算出回路、２５はγ変換回路、２６は判定回路で、まず、一次微分回路２０にて、主走査方向で注目画素ｇ５を挟んだｇ１〜ｇ９の９画素を参照し、一次微分値を求める。例えば、隣接画素との差分値ｓ１〜ｓ８を一次微分値とする。非対称勾配エッジと一次微分値との関係は、図９に示すようになる。勾配が急峻な左エッジの一次微分最大値の絶対値ｍａｘ１は大きな値、逆に勾配が緩やかな右エッジの一次微分最大値の絶対値ｍａｘ２は小さな値になる。そして、差分算出回路２４にて｜ｍａｘ１−ｍａｘ２｜を算出し、γ変換回路２５で所望の変換を行う（差分値が大きければ大きいほど影候補画素である確率が高くなるような多値出力）か、２値判定結果（差分値が大きい場合は影候補画素［１］、そうでない場合は［０］）を出力する。
【００２２】
ただし、図８のようにｇ１〜ｇ９の９画素の参照では、ある程度の太さがある文字エッジにおいても、左右どちらか一方のエッジ勾配だけが検出されるため、非対称エッジであるとみなされてしまう。そこで、例えば、細線検出結果（検出方法は後述する）を基に、細線である場合のみ非対称性判定を有効にするような判定を総合判定回路２６で行うと良い。
【００２３】
＜エッジの勾配の方向性を利用した影候補画素検出＞
エッジ勾配の方向性と言う点では、文字領域と影領域は次のような特徴を持つ。文字は形が複雑であり、局所領域において画像データ的にはエッジ勾配の方向は比較的ばらばらであるが、一方、影領域は、印画紙を貼り付けた場合などが顕著であるが、影のエッジ勾配の方向は直線的である。ここではこの性質を利用して影候補画素を検出する。
【００２４】
図１０に処理フローを示す。まず、エッジ勾配／方向検出フィルタ２０であるが、図７を利用して、その詳細を説明する。すなわち、注目画素を挟んで位置する画素からその勾配を算出するが、それを異なる４方向で算出してそれらの最大値をとることにより、より敏感にエッジの勾配を検出する事が可能となる。これを式で記述すれば、次の通りである。
【００２５】
Ｘ＝ｍａｘ（｜Ａ−Ｂ｜，｜Ｃ−Ｄ｜，｜Ｅ−Ｆ｜，｜Ｇ−Ｈ｜）
まず、Ｘ＞Ｔｈ２０であって（そうでない時は、「０」を出力）、
｜Ａ−Ｂ｜が４つの最大であり、Ａ＞Ｂならば「１」を出力
｜Ａ−Ｂ｜が４つの最大であり、Ａ＜Ｂならば「２」を出力
｜Ｃ−Ｄ｜が４つの最大であり、Ｃ＞Ｄならば「３」を出力
｜Ｃ−Ｄ｜が４つの最大であり、Ｃ＜Ｄならば「４」を出力
｜Ｅ−Ｆ｜が４つの最大であり、Ｅ＞Ｆならば「５」を出力
｜Ｅ−Ｆ｜が４つの最大であり、Ｅ＜Ｆならば「６」を出力
｜Ｇ−Ｈ｜が４つの最大であり、Ｇ＞Ｈならば「７」を出力
｜Ｇ−Ｈ｜が４つの最大であり、Ｇ＜Ｈならば「８」を出力
【００２６】
次に、計数回路３１では、例えば９×９程度のマスクにおいて、１〜８の値をそれぞれ計数（それぞれ計数値を、Ｙ１〜Ｙ８）する。そして、総合判定回路３２においては、Ｙ１〜Ｙ８を所定値で閾値判定し、例えば、Ｙ１とＹ２の他に他の計数値（Ｙｘ）も閾値を越える場合を文字領域「１」とし、そうでない場合を影領域「０」として判定出力する。別な文字領域判定ケースは、次のようなものである。Ｙ３とＹ４とそれ以外の値（Ｙｘ）が閾値を超える。Ｙ５とＹ６とそれ以外の値（Ｙｘ）が閾値を超える。Ｙ７とＹ８とそれ以外の値（Ｙｘ）が閾値を超える。
【００２７】
＜エッジ境界の直線性を利用した影候補画素検出＞
エッジ境界の直線性と言う点では、一般には切り貼り原稿などは矩形である場合が多く、エッジ境界の方向性としては直線であることが多い。ここでは、この性質を利用して影候補画素を検出する。ただし、曲率の算出としては、画像のエッジ部のラスターデータをベクターデータに変換し、例えば、従来技術である特開昭６３−２９８５７６号公報などを利用して算出することも可能であるが、複写機などへの応用を考慮した場合に、処理量・リアルタイム性などが現時点でのコストパフォーマンスは必ずしも賢いとは言えず、ここでは実現性のより高い簡易的な方法を選択する。図１１に処理フローを示す。
【００２８】
図１１の処理フローにおいて、まず、２値化回路４０であるが、この２値化回路４０は、注目となる画像の領域が、低コントラスト文字や影と言ったような部分なので、それら低濃度を意識したような固定閾値で２値化するのもひとつの手段であるが、フロー型の閾値で２値化すなわち、注目画素を含む所定のマスク領域において平均値を算出し、基本的にその値を基に２値化した方がよりセンシティブに特徴を抽出できる。そして、その２値化の結果に対しパターンマッチング回路４１で直線性を検出する。
【００２９】
図１２には横方向のパターンマッチングの例を示した。以下、エッジに対する横方向の直線性検出を例に説明するが、縦方向、ななめ方向に対する応用は容易である。注目画素が図１２にマッチングした場合は注目画素を「１」とし、マッチングしなかった場合は「０」とする。
【００３０】
＜背景地の検出を利用した影候補画素検出＞
文字の背景領域は、白地が代表的例であるが、いずれにしても均一であることが多く、図１３に示すように、切り貼りの影領域は貼った紙の地レベルと貼られた紙の地レベルが異なることが多い。ここでは、その特徴を利用して影候補画素を検出する。また、説明簡単のためと、実用面を考慮したハード減を考慮し、ここでは主走査方向のみの演算とする。無論、幾つかの方向に対して本方式を適応すれば検出は高精度となるため、その点はコストパフォーマンスを考慮して方式を選択し実施すれば良い。
【００３１】
図１４に処理フローを示す。平均値算出回路５０では、図１５に示すような注目画素Ｘを挟んで、主走査方向に所定の距離だけ離れた２つの画素（Ａ５０，Ｂ５０）の周辺画素領域（例えば７×７画素）に対して、平均値（ｎ５０，ｎ５１）を求める。そして、差分算出回路５１にて｜ｎ５０−ｎ５１｜を算出し、さらにその値をγ変換回路５２で所望の変換を行う（差分値が大きければ大きいほど影候補画素である確率が高くなるような多値出力）か、２値判定結果（差分値が大きい場合は影候補画素［１］、そうでない場合は［０］）を出力する。ところで、平均値（ｎ５０，ｎ５１）はより大きなマスクで算出すればするほど高精度な演算が可能となるが、一方で背景地以外の情報たとえば文字部などが含まれる可能性も大きくなる。従って、平均値を求める場合に、ある所定値以上濃度値を持つような画素値に関しては、その値をリジェクトするような手段も非常に有効である。また、今回はスキャナなどで読み取った画像データを利用してエッジ領域の背景が、均一の紙からなる物か複数の紙からなる物かを判断しているが、たとえば紙表面の光沢度を計測するセンサー（例えばニチコン製）を用いた紙の自動認識も可能であり、将来的にはこのようなセンサーを複数利用して、所定エッジ近傍における紙の単数／複数認識も可能である。
【００３２】
＜線幅の検出を利用した影候補画素検出＞
図１３からも分かるように、文字のエッジ、影のエッジとも勾配方向が正反対のペアエッジからなっている。ペアエッジの幅は、実画像上の低コントラスト文字として一般的である鉛筆書き文字のペアエッジの幅に対して、影部は比較的幅が細い、という性質がある。ここでは、前記性質を利用した細線検出により影候補画素を検出する。また、説明簡単のためと、実用面を考慮したハード減を考慮し、主走査方向のみの演算とする。無論、幾つかの方向に対して行えば高精度となるため、その点はコストパフォーマンスを考慮して方式を選択実施すれば良い。
【００３３】
図１６に処理フローを示す。線の太さ算出回路６０では、注目画素の文字幅、影幅を求める。その算出方法は、ここでは、例えば従来装置である特開平８−１３０６３６号公報記載の文字幅判定部の文字幅算出までを利用する。そして、γ変換回路６１で所望の変換を行う（線の太さが小さければ小さいほど影候補画素である確率が高くなるような多値出力）か、２値判定結果（線の太さが小さい場合は影候補画素［１］、そうでない場合は［０］）を出力する。以上が影候補画素検出３の具体的実施例の説明である。
【００３４】
（２）補正部４の実施例：
＜周辺の影候補画素検出結果を参照して補正する場合＞
《密度》  影候補画素の検出は、低コントラスト文字の誤検出を防止するような特徴を利用して検出しているが、例えば、エッジ勾配の非対称性を利用した影候補画素検出では、鉛筆書き文字で筆圧に偏りがあると、所々誤検出が発生してしまう。そのため、周辺画素の影候補画素検出結果を参照して密度的補正を行うことは非常に有効である。もちろん、これに限らずその他影候補画素検出に対しても有効である。
【００３５】
処理フローを図１７に示す。まず平均値算出回路７０では、注目画素を中心とした例えば９×９画素分の影候補画素検出結果を参照し、その平均値を求める。影候補画素検出の出力が［０／１］の２値判定の場合は影候補画素の計数がそれに相当する。そして、γ変換回路７１で所望の判定結果になるよう変換する（高密度であるほど影である確率が高くなるような多値出力）。あるいは、閾値で２値判定する（高密度の場合は影領域［１］、そうでない場合は［０］）。
【００３６】
《連続性》  切り貼り原稿の縁、あるいは、厚紙を白い原稿押さえ板を背景にして読み込んだ場合の縁は、閉領域であり、そこにできる影もまた閉じた線になる。そのことから、影には連続性という性質があり、ここではその性質を利用して影候補画素を補正する。例えば影の直線性を利用した影候補画素検出を行った場合、直線性を有する線は文字においても所々あり、前記影候補画素検出結果の段階においてはこれも含めて検出している。しかし、文字と影とでは連続性という点で大きく異なり、文字の場合は直線であっても短いという性質を有しているため、この補正が非常に有効である。もちろん、これに限らずその他影候補画素検出に対しても有効である。
【００３７】
図１８に処理フローを示す。連続画素数計数回路８０では、縦横斜め、様々な方向からの連続画素数のカウントアップを行う。図１９を用いて具体的に説明する。注目画素ｆの影候補画素検出結果（ここでは説明簡単のため２値判定であるとする）が０の非影候補画素である場合は、注目画素位置での連続画素数ｎ（ｆ）＝０としメモリに格納する。注目画素ｆの影候補画素検出結果が１である場合は、ｆに対して主副走査方向のいずれも前画素に相当するａ，ｂ，ｃ，ｄ，ｅの位置の画素の連続画素数ｎ（ａ），ｎ（ｂ），ｎ（ｃ），ｎ（ｄ），ｎ（ｅ）を画像メモリ８１から読み出してｎ（ｆ）＝ｍａｘ（ｎ（ａ），ｎ（ｂ），ｎ（ｃ），ｎ（ｄ），ｎ（ｅ））＋１としメモリに格納する。２値化回路８２では注目画素位置での連続画素数が所定値以上であれば、影領域とし「１」を出力し、そうでなければ「０」を出力する。更に膨張回路８３で影領域を膨張する。例えば注目画素を含む５×５のマスクにおいて１つでも「１」があれば、注目画素を「１」とするような処理を施す。
【００３８】
《均一性》  影候補画素検出が多値判定である場合、多値判定結果の均一性という性質が影部にはある。例えば、線幅を利用した影候補画素検出では細線を検出しているが、これを多値出力すれば影部の線幅は均一であり、文字部のそれは影部に比べ不均一である性質を使って補正することができる。これに限らず、他の特徴を利用した影候補画素検出においても、そもそも影エッジは同じ厚みの原稿・同一方向の影に対しては特徴がほぼ均一である特徴を有するものであり、均一性を利用した補正は有効である。エッジ勾配の方向性を利用した影候補画素検出はそもそも勾配方向の均一性を利用したものであるが、更に広い領域を参照して均一性により補正しても良い。また、説明簡単のためと、実用面を考慮したハード減を考慮し、ここでは主走査方向のみの演算とする。無論、幾つかの方向に対して行えば高精度となるため、その点はコストパフォーマンスを考慮して方式を選択実施すれば良い。
【００３９】
図２０に処理フローを示す。まず、影候補画素抽出回路９０にて、注目画素を挟んで、主走査方向に所定の距離だけ離れた２つの画素ＡとＢの影候補画素検出結果ＫＡ，ＫＢを抽出する。これは、図１５と同様である。あるいは、画素Ａと画素Ｂの周辺画素領域を参照して影候補画素検出結果の例えば平均値を算出しても良い。そして、差分算出回路９１にて｜ＫＡ−ＫＢ｜を算出し、さらにその値をγ変換回路９２で所望の変換を行う（差分値が小さければ小さいほど影である確率が高くなるような多値出力）か、２値判定結果（差分値が小さい場合は影領域［１］、そうでない場合は［０］）を出力する。無論、これまでのようにγ変換回路９２の結果を膨張処理などを画像処理系との関係を考慮し必要に応じて行っても良い。
【００４０】
＜周辺の文字検出結果を参照して補正する場合＞
以上、影候補画素検出結果を参照して補正する方法をいくつか示した。これ以外には、図３に示したように、文字特徴検出５を行い、この結果も参照して補正する方法がある。影候補画素として誤検出された低コントラスト文字部に対して、逆に文字部の特徴を検出することによりこれを取り除くものである。影候補画素として検出され、かつ、文字特徴検出において注目画素あるいは周辺画素が文字であるとして検出された場合は、文字特徴検出の結果を優先し、補正部４の結果としては非影とする。これは、文字情報の方が当然有用な情報であり、その画質に影響するようなことがあってはならないからである。
【００４１】
《周辺の文字特徴検出結果の密度で補正する》  文字の周囲には文字がある確率は、それなりに高く、すなわち、文字エッジ密度は、影エッジ密度より一般的に大きいと言う性質を持っている。「文字の周りには文字が有る」性質を利用した補正を行うことも、また、有効である。
【００４２】
図２１に処理フローを示す。ここでは説明簡単のため影候補画素検出結果も文字特徴検出結果もともに２値判定としている。密度算出回路１００では、例えば周辺９×９画素分の文字特徴検出結果を参照して密度を求める。図１７の密度による補正回路と同様に行えば良い。なお、ここでは説明簡単のため密度算出回路１００からの出力は２値出力（１が高密度、０が低密度）とする。影候補画素検出結果も２値出力（１が影候補、０が非影候補）とする。そして、これら２つの結果から判定回路１０１にて影画素を判定する。前記同様、文字特徴検出が高密度：１である場合は、非影：０と判定する。文字特徴検出が低密度：０である場合は、影候補画素検出結果を影判定の判定結果とする。もちろん、影候補画素の密度的補正や連続性を利用した補正と組み合わせれば更に精度の良い補正および検出が行える。以上が補正部４の具体的実施例の説明である。
【００４３】
（３）文字特徴検出部５の実施例：
＜文字領域特有の二次元的濃度検出を利用した文字検出＞
文字領域には、特徴のある二次元的濃度変化部を有することが多い。ここでは多値データに対して、それらの局所パターンを検出し、文字特徴を有する画素を検出する。図２２に処理フローを示す。二次元的濃度変化検出回路１１０に関して、幾つかの具体的実施例を以下に示す。
ａ）ラプラシアンフィルタを用いた二次元的濃度変化検出回路の例
文字領域には、例えば「×」の中心のようにクロスする部分を多く含む。一方、影領域には、ほとんど含まれない。この特徴を利用して、例えば図２３のようなラプラシアンフィルタを画像データに施し、そのフィルタ出力値が所定値以上であれば、注目画素を二次元的濃度変化の大きな画素領域とする。
【００４４】
ｂ）ピーク画素検出フィルタを用いた二次元的濃度変化検出回路の例
上記で述べた特徴を利用して、例えば、論文「文字／絵柄（網点、写真）混在画像の像域分離方式」で述べたピーク画素検出を利用しても良い。ただし、論文中は網点ドットを検出する処理として記述しているが、文字部のクロス領域にもレスポンスする物でもある。無論、文字部と網点部のピーク画素の密度は比較にならないほど後者の方が多く、文字部を検出するからと言って、従来からの主旨を変えるような話ではない。
【００４５】
ｃ）尾根画素検出フィルタを用いた二次元的濃度変化検出回路の例
文字領域も切り貼り原稿などの影部も尾根状になっていることは両者おなじである。ここではさらに、文字部はその背景が例えば均一の白地であること、一方、影部は切り貼りの場合、その背景色が変わる可能性がある事を利用して、山の対称性・非対称性を利用して両者を切り分ける（図１３参照）。従来から、尾根画素検出は、特開平３−８２２６９号公報などに詳しく、ここではその濃度勾配の対称性を付加するような条件を従来の処理に付加する事にする。濃度勾配の対称性を検出するフィルタ例を図２４に示す。
【００４６】
ｄ）二次元的白黒変化の検出処理を用いた二次元的濃度変化検出回路の例
文字領域が所定領域における濃度変化の頻度が大きいのに対し、影領域のそれは小さい。ここでは所定の方法（先に述べたようなフロー型の閾値で２値化がベター）で２値化後、その２値化データに対し、二次元的広がりを持ったマスクにおいて主副それぞれの走査方向に対して、白から黒あるいは黒から白への変化点数を計数し、その計数値が所定値以上であれば、マスク内注目画素あるいはマスク内の全画素を二次元的濃度変化の大きな画素領域とする。
【００４７】
＜文字領域特有の二次元的形状検出を利用した文字検出＞
文字領域には、特徴のある二次元的形状を有することが多い。ここでは、２値化処理後のデータに対して、あるいは、従来の特開平３−８２２６９号公報に記載されたような尾根画素検出結果に対し、文字部特有に存在する局所パターンを検出し、文字特徴を有する画素を検出する。図２５に処理フローを示す。まず、２値化回路１２０であるが、ここでは所定の方法（先に述べたようなフロー型の閾値で２値化がベター）で２値化するか、あるいは尾根画素検出を行なっても良い。そして、以下に詳細に述べる文字部に存在する特徴ある形状をパターンマッチング回路１２１で検出する。
【００４８】
ａ）文字のクロス部をパターンマッチングで検出：言うまでもなく、文字部にはクロス部が多く、一方、影部にはほとんど無い。この特徴を利用して、図２６に示すようなパターンを準備し、パターンマッチングにて検出を行う。無論、「×」のようなパターンを準備しても有効である。
【００４９】
ｂ）文字の「Ｔ」部をパターンマッチングで検出：言うまでもなく、文字部には「Ｔ」のような交叉部が多く、一方、影部にはほとんど無い。この特徴を利用して、図２７に示すようなパターンを準備し、パターンマッチングにて検出を行う。無論、これを回転したようなパターンを準備しても有効である。
【００５０】
ｃ）文字の端部をパターンマッチングで検出：言うまでもなく、文字部には端部が多く、一方、影部にはほとんど無い。この特徴を利用して、図２８に示すようなパターンを準備し、パターンマッチングにて検出を行う。無論、これを回転したようなパターンを準備しても有効である。以上が文字特徴検出部５の具体的実施例の説明である。
【００５１】
（４）影検出部１の結果に基づく画像処理２の制御の実施例：以下、説明簡単のため、影検出結果が２値出力としているが、多値出力信号の場合には多段階制御に展開することも可能である。
＜影を消す＞
影検出結果を受けて、影エッジを消去する。図２９は、影エッジ消去の処理フローである。セレクタ１３０にて、影検出結果が１のときにはＭ×Ｎ画素内の最小値検出部１３１にて影エッジを消去した信号ａ、影検出結果が０のときにはスルー部１３２にてスルー信号ｂを選択、出力する。影エッジを消去した信号ａは注目画素周辺のＭ×Ｎ画素のうちの濃度最小値であり、この値で注目画素値を置き換えることにより影を消し去る。
【００５２】
＜影を少なくとも強調しない＞
影を完全に消去するわけでない、影を少なくとも強調しない制御方法も非常に有効である。以下に、フィルタ処理制御により影エッジを抑制する例と、ガンマ変換制御により同様の目的を達成する例の２つを挙げる。従来の影部がフィルタ処理やガンマ変換により強調されてしまっていた画像と比較して、出力画像上で目障りなレベルの影エッジがなくなる効果が十分にある。
【００５３】
図３０は、フィルタ処理制御による影エッジ抑制の処理フローである。スキャナで読み込んだ入力画像信号に対してエッジ強調部１３３にてエッジ強調を行い、エッジ部でコントラスト強調された信号ａをセレクタ１３０に送る。同時に、エッジ強調部１３３を通らないスルー信号ｂもセレクタ１３０に送る。セレクタ１３０では、影検出の結果を受けて、影検出結果が０であればエッジ強調後の信号ａを出力、影検出結果が１であればスルーの信号ｂを選択、出力する。なお、エッジ強調フィルタだけでなく平滑化フィルタをも制御すれば、影エッジ抑制効果が得られる。
【００５４】
図３１は、ガンマ変換制御による影エッジ抑制の処理フローである。スキャナで読み込んだ入力画像信号に対して１３４にて示すガンマ変換部１にて、例えば図３２のガンマ変換１用ＬＵＴを用いてガンマ変換を行い、変換後の信号ａをセレクタ１３０に送る。同様に、１３５にて示すガンマ変換部２にて、図３２のガンマ変換２用ＬＵＴを用いてガンマ変換を行い、変換後の信号ｂをセレクタ１３０に送る。セレクタ１３０では、影検出の結果を受けて、影検出結果が０であればガンマ変換１後の信号ａを出力、影検出結果が１であればガンマ変換２後の信号ｂを選択、出力する。図３２のガンマ変換２用ＬＵＴは、下に凸の形状にすれば影部の信号を抑制することが可能である。
【００５５】
【発明の効果】
本発明によると、入力画像から影領域を検出する際に、まず影候補画素を検出し、次にそれを補正する２段構成をとるため、従来誤検出を起こしやすい低コントラスト文字部での誤検出を抑制しつつ影領域を精度良く検出することができる。また、影検出結果を使って画像処理を制御するため、目障りな影を抑制することができる。
【００５６】
入力画像から影領域を消し去ることにより、影部で発生する線をなくすことができる。
【００５７】
影エッジを少なくとも強調しないことにより、影部で発生する線を出力画像上殆ど気にならないレベルにすることができる。
【００５８】
局所情報に基づく影候補画素検出を行うため、コストパフォーマンスの良い装置が実用化可能となる。
【００５９】
周辺の影候補画素検出結果を参照して注目画素の影候補画素検出結果を補正するため、従来不十分であった検出精度を実用的なレベルに高めることができる。また、補正もハード量を考慮した構成にしているため、コストパフォーマンスの良い装置が実用化可能となる。
【００６０】
文字の特徴を有する画素を検出し、これも参照して注目画素の影候補画素検出結果を補正するため、従来不十分であった検出精度を実用的なレベルに高めることができる。また、補正もハード量を考慮した構成にしているため、コストパフォーマンスの良い装置が実用化可能となる。
【００６１】
局所情報に基づく文字特徴検出を行うため、コストパフォーマンスの良い装置が実用化可能となる。
【図面の簡単な説明】
【図１】  本発明の骨格をなす要部ブロック図である。
【図２】  図１に示した影検出部１の一例を説明するための図である。
【図３】  図１に示した影検出部１の他の例を説明するための図である。
【図４】  原稿段差部の様子及び段差部近傍の画素位置と輝度との関係を示す図である。
【図５】  エッジの勾配度と影である確率との関係を示す図である。
【図６】  エッジ勾配度を利用した影検出の例を示すブロック図である。
【図７】  エッジの勾配を検出するフィルタの例を示す図である。
【図８】  エッジの勾配の非対称性を利用した影検出の例を示す図である。
【図９】  非対称勾配エッジと一次微分値との関係を示す図である。
【図１０】  エッジ勾配の方向性を利用した影検出の例を説明するための要部ブロック図である。
【図１１】  エッジ境界の直線性を利用した影検出の例を説明するための要部ブロック図である。
【図１２】  パターンエッチングの例を示す図である。
【図１３】  背影地と影部分の濃度との関係を示す図である。
【図１４】  背影地の検出を利用した影検出の例を説明するための要部ブロック図である。
【図１５】  図１４に示した平均値等出回路動作例を説明するための図である。
【図１６】  線幅の検出を利用した影検出の例を説明するための要部ブロック図である。
【図１７】  周辺の画素密度を利用した画素補正の例を説明するための図である。
【図１８】  影の連続線を利用した画素補正の例を説明するための図である。
【図１９】  図１８に示した連続画素数計数回路の動作側を説明するための図である。
【図２０】  影画素の均一幅を利用した画素補正の例を説明するための図である。
【図２１】  周辺の文字の特徴を利用した画素補正の例を説明するための図である。
【図２２】  図３に示した文字特徴検出部５の一例を説明するための図である。
【図２３】  ラプラシアンフィルタを用いた二次元濃度を検出する例を説明するための図である。
【図２４】  濃度勾配の対称を検出するフィルタの例を示す図である。
【図２５】  文字領域特有の二次元的形状検出を利用した文字検出の例を示す図である。
【図２６】  文字クロス部検出用パターンの一例を示す図である。
【図２７】  文字のＴ部を検出するパターンの一例を示す図である。
【図２８】  文字の端部を検出するパターンの一例を示す図である。
【図２９】  濃度最小値を利用して影エッジを消去する例を説明するための図である。
【図３０】  フィルタ処理による影エッジ制御の例を説明するための図である。
【図３１】  ガンマ変換制御による影エッジ制御の例を説明するための図である。
【図３２】  ガンマ変換を用いた影エッジ制御の動作を説明するための図である。
【符号の説明】
１…影検出部、２…画像処理部、３…影候補画素検出部、４…補正部、
５…文字特徴検出部、１０…エッジ勾配検出フィルタ、１１…判定回路、
２０…一次微分回路、２１…符号反転回路、２２，２３…最大値検出回路、
２４…差分算出回路、２５…γ変換回路、２６…判定回路、
３０…エッジ勾配／方向検出フィルタ、３１…計数回路、３２…総合判定回路、
４０…２値化回路、４１…パターンマッチング回路、５０…平均値算出回路、
５１…差分算出回路、５２…γ変換回路、６０…線の太さ算出回路、６１…γ変換回路、７０…平均値算出回路、７１…γ変換回路、８０…連続画素数計数回路、
８１…画像メモリ、８２…２値化回路、８３…膨張回路、９０…影候補画素抽出回路、
９１…差分算出回路、９２…γ変換回路、１００…密度算出回路、１０１…判定回路、
１１０…二次元的濃度変化検出回路、１１１…密度補正回路、１１２…膨張回路、
１２０…２値化回路、１２１…パターンマッチング回路、１２２…膨張回路、
１３０…セレクタ、１３１…Ｍ×Ｎ画素内の最小値検出部、１３２…スルー部、
１３３…エッジ強調部、１３４，１３５…ガンマ変換部。
【図１】
0004010440.tif 000002
【図２】
0004010440.tif 000003
【図３】
0004010440.tif 000004
【図４】
0004010440.tif 000005
【図５】
0004010440.tif 000006
【図６】
0004010440.tif 000007
【図７】
0004010440.tif 000008
【図８】
0004010440.tif 000009
【図９】
0004010440.tif 000010
【図１０】
0004010440.tif 000011
【図１１】
0004010440.tif 000012
【図１２】
0004010440.tif 000013
【図１３】
0004010440.tif 000014
【図１４】
0004010440.tif 000015
【図１５】
0004010440.tif 000016
【図１６】
0004010440.tif 000017
【図１７】
0004010440.tif 000018
【図１８】
0004010440.tif 000019
【図１９】
0004010440.tif 000020
【図２０】
0004010440.tif 000021
【図２１】
0004010440.tif 000022
【図２２】
0004010440.tif 000023
【図２３】
0004010440.tif 000024
【図２４】
0004010440.tif 000025
【図２５】
0004010440.tif 000026
【図２６】
0004010440.tif 000027
【図２７】
0004010440.tif 000028
【図２８】
0004010440.tif 000029
【図２９】
0004010440.tif 000030
【図３０】
0004010440.tif 000031
【図３１】
0004010440.tif 000032
【図３２】
0004010440.tif 000033