(57)【要約】【課題】多大な処理時間を要することなく、ノイズ除去処理や連結処理を行うことのできる画像処理方法及び画像処理装置を提供する。【解決手段】全ての画素について、当該画素の周囲に位置する８つの画素との輝度レベルの平均値を算出し、当該画素の輝度レベルをその平均の輝度レベルに設定する平均値処理を行うとともに、輝度レベルが最高輝度でない画素について、例えば所定の方向に所定数以上連続しているか否かを判定し、連続する画素数が所定数より少ない場合に、その画素の輝度レベルを最高輝度に変換する孤立点除去処理を行う。そして、第１階調補正処理後の画像の画素の輝度とその画素に対応する平均値処理・孤立点除去処理後の画像の輝度とを比較し、その比較結果に応じて、その画素の輝度を決定してなる画像を生成するようにした。【選択図】      図８
2004304641.tif 000002
【特許請求の範囲】
【請求項１】
画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行い、
最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行うことを特徴とする画像処理方法。
【請求項２】
所定の方向に所定数以上連続している２個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記２個の画素列を連続させた画像を生成する連結処理をさらに行うことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記連結処理は、前記平均値処理を施す前の第１の画像における第１の画素とこの画素に対応する前記孤立点除去処理を施した第２の画像における第２の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第３の画像を生成するものであり、前記第１の画素及び第２の画素がともに最大輝度を有する場合、前記第３の画素の輝度を最大輝度とし、前記第１の画素及び第２の画素がともに最大輝度より小さい輝度を有する場合、前記第３の画素の輝度を第１の画素の輝度とし、前記第１の画素が最大輝度を有し、前記第２の画素が最大輝度より小さい輝度を有する場合、前記第３の画素の輝度を前記第１の画素の周辺に位置する画素の輝度を用いて設定し、前記第１の画素が最大輝度より小さい輝度を有し、前記第２の画素が最大輝度を有する場合、前記第３の画素の輝度を最大輝度とすることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行う平均値処理手段と、
最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行う孤立点除去処理手段と
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、白板等を撮影した画像の下地とばし処理を行う画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
一般に、デジタルカメラは、画像処理により撮影された画像の画質を自在に制御できるため、撮影の目的や被写体の種類に応じて撮影画像の画質に対して適切な処理を行うことにより、銀塩フィルムに撮影するカメラに比してより好適な画質の画像を得ることができるという利点を有する。このため、通常の写真撮影だけでなく、例えば会議場でホワイトボードに描かれた文字や図形等を撮影することにも利用される。
【０００３】
デジタルカメラで文字や図形等が描かれたホワイトボードを撮影する場合、その撮影の目的はホワイトボード上の文字や図形等の情報を記録することにある。このため、上記のような撮影画像については、ホワイトボードの白地部分を確実に純白色にする、所謂下地とばし処理を行うことにより、文字や図形等の情報部分の明瞭度を向上させることが求められる。
【０００４】
下記特許文献１には、ホワイトボードを撮影する場合に、ホワイトボードの下地（白板部分）をとばし、文字や図形等の情報部分の明瞭度を向上させることを目的として、被写体光像を三原色の色成分の画素信号として取り込み、色成分の画像毎に、各色成分の画素信号を用いて所定の白地レベル以上の画素信号を白色飽和レベルに変換するγ特性を設定し、このγ特性を用いてガンマ補正を行うように構成したものが開示されている。
【０００５】
ところで、ホワイトボードを撮影する目的が、ホワイトボード上の文字や図形等の情報を正確に記録することにあるならば、例えば小さな点状のノイズや、ホワイトボードの電灯光の反射による文字の途切れを解消することも、文字や図形等の情報の正確な記録を行うという点で重要な事項と考えられる。
【０００６】
下記特許文献２には、撮像画像の画素を間引いて画素密度を荒くした後に、ノイズを除去するとともに、周辺画素との比較論理演算を用いた膨張処理及び収縮処理を行うことで、文字の途切れた部分を連結させるようにした技術が開示されている。
【０００７】
【特許文献１】
特開平１０−２１０２８７号公報
【特許文献２】
特開平１０−４２１３０号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、上記のように画像の解像度を変換することで、ノイズ除去処理や連結処理を行う構成では、その解像度変換処理、特に上述の膨張処理や収縮処理に多大な時間を要することとなる。
【０００９】
本発明は、上記事情に鑑みてなされたものであり、多大な処理時間を要することなく、ノイズ除去処理や連結処理を行うことのできる画像処理方法及び画像処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１に記載の発明は、画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行い、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行うことを特徴とする画像処理方法である。
【００１１】
請求項４に記載の発明は、画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行う平均値処理手段と、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行う孤立点除去処理手段とを備えることを特徴とする画像処理装置である。
【００１２】
請求項１または請求項４に記載の発明によれば、画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行うので、最大輝度より小さい輝度を有する画素の周囲に存在する、最大輝度を有する画素の輝度が、最大輝度より小さい輝度に変換される。
【００１３】
そして、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行うようにしたので、ノイズと考えられる孤立点の除去を行うことができる。
【００１４】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、所定の方向に所定数以上連続している２個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記２個の画素列を連続させた画像を生成する連結処理をさらに行うことを特徴とするものである。
【００１５】
この発明によれば、例えば、平均値処理を施す前の画像における文字の筆跡が途中で途切れている部分など、所定の方向に所定数以上連続している２個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記２個の画素列を連続させた画像を生成する連結処理をさらに行うようにしたので、文字の断線部分の連結を行うことができる。
【００１６】
また、特に、本発明においては、上記２個の画素列を連続させた画像を生成するにあたり、孤立点除去処理を施した画像と平均値処理を施す前の画像とを単に比較するだけであるから、従来のように多大な処理時間を要することなく連結処理を行うことができる。
【００１７】
請求項３に記載の発明は、請求項２に記載の画像処理方法において、前記連結処理は、前記平均値処理を施す前の第１の画像における第１の画素とこの画素に対応する前記孤立点除去処理を施した第２の画像における第２の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第３の画像を生成するものであり、前記第１の画素及び第２の画素がともに最大輝度を有する場合、前記第３の画素の輝度を最大輝度とし、前記第１の画素及び第２の画素がともに最大輝度より小さい輝度を有する場合、前記第３の画素の輝度を第１の画素の輝度とし、前記第１の画素が最大輝度を有し、前記第２の画素が最大輝度より小さい輝度を有する場合、前記第３の画素の輝度を前記第１の画素の周辺に位置する画素の輝度を用いて設定し、前記第１の画素が最大輝度より小さい輝度を有し、前記第２の画素が最大輝度を有する場合、前記第３の画素の輝度を最大輝度とすることを特徴とするものである。
【００１８】
この発明によれば、前記第１の画素及び第２の画素がともに最大輝度を有する場合、前記第３の画素の輝度が最大輝度とされ、前記第１の画素及び第２の画素がともに最大輝度より小さい輝度を有する場合、前記第３の画素の輝度が第１の画素の輝度とされ、前記第１の画素が最大輝度を有し、前記第２の画素が最大輝度より小さい輝度を有する場合、前記第３の画素の輝度が前記第１の画素の周辺に位置する画素の輝度を用いて設定され、前記第１の画素が最大輝度より小さい輝度を有し、前記第２の画素が最大輝度を有する場合、前記第３の画素の輝度が最大輝度とされる。
【００１９】
これにより、文字や図形等が描かれたホワイトボードを光電変換手段により撮像してなる画像を前記第１の画像とし、この第１の画像から前記第３の画像を生成する場合に、第１の画素及び第２の画素がともに最大輝度を有するときには、前記第３の画素の輝度が最大輝度とされることにより該第３の画素が白地とされる。
【００２０】
また、第１の画素及び第２の画素がともに最大輝度より小さい輝度を有するときには、前記第３の画素の輝度が第１の画素の輝度とされることにより前記第３の画素が文字とされ、前記第１の画素が最大輝度を有し、前記第２の画素が最大輝度より小さい輝度を有するときには、前記第３の画素の輝度が前記第１の画素の周辺に位置する画素の輝度を用いて設定されることにより断線した部分が連結され、前記第１の画素が最大輝度より小さい輝度を有し、前記第２の画素が最大輝度を有するときには、前記第３の画素の輝度が最大輝度とされることによりノイズが除去される。
【００２１】
【発明の実施の形態】
本発明の実施形態について説明する。
【００２２】
図１は、本発明に係る画像処理方法を採用するデジタルカメラの制御ブロック図である。
【００２３】
図１に示すように、デジタルカメラ１は、光学系２、撮像素子３、信号処理部４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、記憶部２２、ＶＲＡＭ２３、表示部２４及び操作部２５を備えて構成されている。
【００２４】
光学系２は、光軸方向に駆動されるズームレンズを含み、被写体の光像を撮像素子３の結像面上に結像するものである。
【００２５】
撮像素子３は、例えばフォトダイオード等の複数の光電変換素子がマトリックス状に２次元配列され、各光電変換素子の受光面に、それぞれＲ（赤），Ｇ（緑），Ｂ（青）の色フィルタが１：２：１の比率で配設されてなるＣＣＤカラーエリアセンサである。
【００２６】
撮像素子３は、光学系２により結像された被写体の光像を、例えば１／３０（秒）毎にＲ（赤），Ｇ（緑），Ｂ（青）の色成分の電気信号（画像信号）に変換し、Ｒ，Ｇ，Ｂ各色の画像信号として出力する。
【００２７】
撮像素子３は、図略のタイミングジェネレータ等により、撮像素子３の露出動作の開始及び終了や、撮像素子３における各画素の出力信号の読出し（水平同期、垂直同期、転送）等の撮像動作が制御される。
【００２８】
信号処理部４は、ＣＤＳ（相関二重サンプリング）回路やＡＧＣ（オートゲインコントロール）回路等を有し、撮像素子３から出力されるアナログの画像信号に、ＣＤＳ回路により画像信号のノイズの低減を行って、ＡＧＣ回路により画像信号のレベル調整を行う等の所定のアナログ信号処理を施すものである。
【００２９】
Ａ／Ｄ変換部５は、信号処理部４により出力されたアナログ値のＲ，Ｇ，Ｂの画像信号を、複数のビットからなるデジタル値の画像信号（以下、デジタル信号という）にそれぞれ変換するものである。
【００３０】
画像処理部６は、Ａ／Ｄ変換部５によりＡ／Ｄ変換されたＲ，Ｇ，Ｂの各デジタル信号に、黒レベルを基準の黒レベルに補正する黒レベル補正、光源に応じた白の基準に基づいて、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色成分のデジタル信号のレベル変換を行うホワイトバランス、Ｒ（赤），Ｇ（緑），Ｂ（青）のデジタル信号のγ特性を補正するγ補正を行うものである。
【００３１】
画像メモリ７は、画像処理部６から出力される画像を一時的に記憶するとともに、この画像データに対し制御部８により後述の処理を行うための作業領域として用いられるメモリである。画像メモリ７は、例えばＲＡＭ等である。
【００３２】
制御部８は、例えば制御プログラムを記憶するＲＯＭや一時的にデータを記憶するＲＡＭからなる図略の記憶部が内蔵されたマイクロコンピュータからなり、上述したデジタルカメラ１内の各部分の駆動を有機的に制御して、デジタルカメラ１の撮影動作を統括的に制御するものである。
【００３３】
また、本実施形態においては、例えば文字や図等が描かれたホワイトボード等を撮影した場合に、この制御部８が、ホワイトボードの白地部分（文字等が描かれていない部分）を確実に純白色にし、かつ文字の明瞭化を行うための画像処理を行うところに特徴を有している。
【００３４】
ここで、この画像処理の概略について説明すると、画像処理部６から出力されるＲ，Ｇ，Ｂの各デジタル信号を、以下の処理上の都合から、輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂに変換する。そして、画像全体を複数のブロックに分割し、ブロックごとに、輝度Ｙについてのヒストグラムを生成する。
【００３５】
次に、生成したヒストグラムにおいて、ある輝度（後述する平均輝度Ｙａ）から低輝度側及び高輝度側に度数の極大部（ピーク）を探索し、このピークを用いて各ブロックにおける下地レベル（後述するブロック下地レベル）を設定する。次に、このブロック下地レベルを補正（平滑化）した後、この補正後のブロック下地レベルから画素ごとの下地レベル（後述する画素下地レベル）を算出する。
【００３６】
次に、上記画素下地レベルを用いて、画素ごとに階調補正を行った後、ノイズの除去処理及び文字等の断線部分の連結処理を行い、黒色ではなく、赤や黄等の輝度の比較的高いインクで書かれた文字等を見やすくするための階調補正を行う。
【００３７】
そして、文字領域等の彩度を向上させる処理及び輪郭補正処理を行った後、輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂを元のＲ，Ｇ，Ｂの各デジタル信号に変換して終了する。
【００３８】
以上のような画像処理を実現すべく、図１に示すように、制御部８は、ＲＧＢ−ＹＣｒＣｂ変換部９、ブロック設定部１０、ヒストグラム生成部１１、ブロック下地レベル設定部１２、平滑化処理部１３、画素下地レベル演算部１４、第１階調補正処理部１５、ノイズ除去・連結部１６、第１彩度補正部１７、第２階調補正処理部１８、第２彩度補正部１９、輪郭補正部２０及びＹＣｒＣｂ−ＲＧＢ変換部２１を備える。
【００３９】
なお、以下の説明において、文字等が描かれたホワイトボードの板面のうち、文字等が描かれた部分を文字領域、何も描かれていない白色の部分を白板領域というものとする。
【００４０】
ＲＧＢ−ＹＣｒＣｂ変換部９は、輝度のヒストグラムを生成するため、画像処理部から出力されるＲ，Ｇ，Ｂの各デジタル信号を、次式（１）〜（３）に従って、輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂに変換するものである。
【００４１】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ        …（１）
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ      …（２）
Ｃｂ＝−０．１６９Ｒ−０．３３２Ｇ＋０．５００Ｂ    …（３）
ブロック設定部１０は、ＲＧＢ−ＹＣｒＣｂ変換部９による変換処理後の画像を所定数のブロックに分割するものである。例えば、ブロック設定部１０は、図２（ａ）に示すように、文字「ＡＢＣ」が板面に書かれたホワイトボードを撮像素子３により撮像し、ＲＧＢ−ＹＣｒＣｂ変換部９により変換処理した画像を、図２（ｂ）に示すように、複数のブロックに分割する。
【００４２】
その際、本実施形態では、ブロック設定部１０は、例えば、できるだけレンズの周辺光量落ちが発生している部分だけで一つのブロックが構成されるように、レンズの周辺光量落ちが発生している範囲の大きさに比してできる限り小さいサイズに分割する。
【００４３】
これは、上述したように、各ブロックにおけるブロック下地レベルの設定を、ある輝度から低輝度側及び高輝度側に度数のピークを探索することにより行うことから、１つのブロックに、この周辺光量落ちが発生している部分と発生していない部分とが混在していると、例えば、そのブロックの適切なブロック下地レベルが、周辺光量落ちが発生している部分の輝度レベルであっても、周辺光量落ちが発生していない部分の輝度レベルがそのブロックのブロック下地レベルとして設定される場合が生じ、ブロック下地レベル設定部１２により不適切なブロック下地レベルが設定される虞があるからである。
【００４４】
なお、レンズの周辺光量落ちとは、レンズの外周側に入射する光が、レンズに対して斜めに入射することにより、レンズの単位面積あたりに入射される光量が、レンズの中央部に入射する光よりも少なくなり、その結果、画像の周辺（特に四隅）が暗くなる現象をいう。
【００４５】
また、上記のようにＲＧＢ−ＹＣｒＣｂ変換部９による変換処理後の画像を複数のブロックに分割するのは、ホワイトボードに手書きされたものは文字密度（白地部分に対する文字部分の比率）のばらつきが大きく、しかも写真撮影の場合は、光源が一定でなく、画像内で照度分布が大きく異なって撮像画像内の照度ムラが大きいことから、撮像画像の各部位の文字密度及び照度に応じたブロック下地レベルを設定するためである。
【００４６】
ヒストグラム生成部１１は、ブロック設定部１０により生成された各ブロックに対し、ブロックの画素における輝度Ｙのヒストグラムを作成するものである。
【００４７】
図３は、輝度Ｙについての度数分布を示す各種のヒストグラムであり、横軸は輝度Ｙ、縦軸は画素数Ｎである。
【００４８】
例えば、輝度の低いインク（例えば黒のインク）で描かれた文字の領域、白板領域、光源（例えば電灯の光）を反射した領域やホワイトボードの金属枠の領域を撮像した画素の数が比較的多いブロックの場合、そのヒストグラムは、図３（ａ）に示すように、文字領域の比較的低い或る輝度レベルで画素数が極大となり（矢印Ａ）、白板領域の比較的高い或る輝度レベルで画素数が極大となり（矢印Ｂ）、光源を反射した領域及びホワイトボードの金属枠の領域の高い或る輝度レベルで画素数が極大となる（矢印Ｃ）。
【００４９】
また、非常に輝度の低い物体の領域、白板領域、光源（例えば電灯の光）を反射した領域及びホワイトボードの金属枠の領域を撮像した画素の数が比較的多いブロックのヒストグラムは、例えば図３（ｂ）に示すように、上記物体の領域の非常に低い或る輝度レベルで画素数が極大となり（矢印Ｄ）、白板領域の比較的高い或る輝度レベルで画素数が極大となり（矢印Ｅ）、光源を反射した領域及びホワイトボードの金属枠の領域の高い或る輝度レベルで画素数が極大となる（矢印Ｆ）。
【００５０】
また、輝度の低いインクで描かれた文字の領域、及び図３（ａ）の矢印Ｃや図３（ｂ）の矢印Ｆに示すピークの輝度レベルよりもさらに高い、光源を反射した領域等を撮像した画素の数が比較的多いブロックのヒストグラムは、例えば図３（ｃ）に示すように、文字領域の比較的低い或る輝度レベルで画素数が極大となり（矢印Ｇ）、光源を反射した領域及びホワイトボードの金属枠の領域の非常に高い或る輝度レベルで画素数が極大となる（矢印Ｈ）。
【００５１】
さらに、輝度の低いインク（例えば黒のインク）で描かれた文字の領域、白板領域、光源（例えば電灯の光）を反射した領域及びホワイトボードの金属枠の領域に加えて、例えばオレンジ色や黄色等のインクで書かれた文字等、輝度が白板領域とやや近似する文字領域を撮像した画素を有するブロックについては、そのヒストグラムを忠実に作成すると、例えば図３（ｄ）に示すように、図３（ａ）に示すヒストグラムに対し、さらに白板領域の輝度レベルよりやや低い輝度レベルにおいてピーク（矢印Ｉ）を有するものとなる。
【００５２】
しかし、上述したように、各ブロックにおけるブロック下地レベルの設定を、或る輝度から低輝度側及び高輝度側に度数のピークを探索することにより行うことから、オレンジ色等のインクで書かれた文字等の領域の輝度が、白板領域の輝度と後述する画像全体の輝度との間の値となった場合、白板領域の輝度をブロック下地レベルと設定すべきところを、オレンジ色のインクで書かれた文字等の領域の輝度をブロック下地レベルと誤って設定される虞がある。
【００５３】
そこで、本実施形態においては、図３（ｅ）に示すように、色差信号Ｃｒ，Ｃｂの値が所定の閾値以下、すなわち彩度の低い画素データだけを用いてヒストグラムを作成することにより、白板領域と近似する文字領域の輝度レベルにおけるピークを予め除去しておくようにしている。
【００５４】
ブロック下地レベル設定部１２は、撮影対象の目的物の背景（上記の例ではホワイトボードの白板領域）を下地というものとすると、ブロックごとに作成したヒストグラムを用いて、各ブロックに対して下地の輝度レベルを設定するものである。なお、このように設定したブロックにおける下地の輝度レベルをブロック下地レベルという。
【００５５】
ブロック下地レベル設定部１２は、まず、ホワイトボードの板面の平均輝度を算出する。ここで、ホワイトボードは、画像の中央部分に存在する可能性が高いと考えられるから、ブロック下地レベル設定部１２は、図２（ｃ）に示すように、ホワイトボードの板面の平均輝度を正確に算出するために、画像の中央部分（例えば画像全体の縦横それぞれ６０％の中央部分）から平均輝度Ｙａを算出する。
【００５６】
そして、上記のような各種のヒストグラムにおいて、複数の極大値を有する輝度レベルのうち、算出した画像の平均輝度Ｙａに最も近い輝度レベルを、ブロック下地レベルとして設定する。
【００５７】
例えば、あるブロックについてのヒストグラムが、図４（ａ）に示すものとなったとし、算出された画像の平均輝度Ｙａが図４（ａ）に示す輝度であるものとすると、まず、平均輝度Ｙａから高輝度側（矢印Ｐの方向）に、各輝度レベルにおける頻度値（度数）の大小を判定していく。そして、最初に現れたピークをピークＹＨとする。
【００５８】
なお、このピークＹＨの検出は、例えば、或る輝度レベルの頻度値について、高輝度側の異なる複数の輝度レベルよりも頻度値が高いか否か、及び低輝度側の異なる複数の輝度レベルよりも頻度値が高いか否かを判定し、これらの比較対象の輝度レベルの頻度値より高いか、もしくは同一の場合に、ピークであると判定することにより行う。
【００５９】
ここで、図４（ｂ）に示すような非常に高い輝度レベル（矢印Ｊ）がブロック下地レベルとして設定されると、次のような不具合がある。
【００６０】
すなわち、後述する画素下地レベル演算部１４では、各ブロックのブロック下地レベルを、該ブロックの中心位置に位置する画素の下地レベルとみなして、各ブロックの中心画素間に位置する画素の下地レベルを線形補間により算出するため、高い輝度レベルが当該ブロックのブロック下地レベルとして設定されると、画素下地レベル演算部１４により算出する中心画素間の画素、特に中心画素の近傍に位置する画素の下地レベルが、当該画素が属するブロックのブロック下地レベルと大きく異なるものとなる場合が生じる。
【００６１】
本実施形態では、このような不具合を防止すべく、図４（ｃ）に示すように、上述した非常に高い輝度レベルよりも小さい上限値Ｙｍａｘ（輝度レベルを２５６階調で表現するものとすると例えば２５０階調）を設定し、この上限値Ｙｍａｘまでの輝度レベルについて頻度値の大小判定を行うようにしている。
【００６２】
これにより、ブロックが、非常に高い輝度（本実施形態においては、階調が２５０を超える輝度）を有する被写体を撮像した画素が存在するものであっても、このような輝度がブロック下地レベルとして設定されるのを防止することができる。
【００６３】
一方、図４（ｂ）に示すようなヒストグラムを有するブロックの場合には、平均輝度Ｙａから上限値Ｙｍａｘまでの間にピークを有しないので、上記のように上限値Ｙｍａｘまで頻度値の大小判定を行っても、ピークは検出されない。また、例えば、ブロック内のすべての画素が、平均輝度Ｙａよりも低い輝度を有するものである場合にも、ピークは検出されない。
【００６４】
この場合には、上記平均輝度Ｙａを、該ブロックのブロック下地レベルとして設定することにより、背景（白地）の輝度レベルに近い輝度レベルをブロック下地レベルとして設定することができる。
【００６５】
次に、図４（ａ）に示すヒストグラムにおいて、図４（ｄ）に示すように、平均輝度Ｙａから低輝度側（矢印Ｑの方向）に、各輝度レベルにおける頻度値の大小を判定していく。このとき、最初に現れたピークをピークＹＬとする。
【００６６】
なお、このピークＹＬの検出は、ピークＹＨの検出と同様、例えば、ある輝度レベルの頻度値について、高輝度側の異なる複数の輝度レベルよりも頻度値が高いか否か、及び低輝度側の異なる複数の輝度レベルよりも頻度値が高いか否かを判定し、これらの比較対象の輝度レベルの頻度値より高いか、もしくは同一の場合に、ピークであると判定することにより行う。
【００６７】
また、図４（ｅ）に示すように、ホワイトボードに貼着しているマグネットや非常に暗い背景など、非常に低い輝度レベルがブロック下地レベルとして設定されると、次のような不具合がある。
【００６８】
すなわち、上記と同様、後述する画素下地レベル演算部１４では、各ブロックのブロック下地レベルを、該ブロックの中心位置に位置する画素の下地レベルとみなして、各ブロックの中心画素間に位置する画素の下地レベルを線形補間により算出するため、低い輝度レベルが当該ブロックのブロック下地レベルとして設定されると、画素下地レベル演算部１４により算出する中心画素間の画素の下地レベルが、当該画素が属するブロックのブロック下地レベルと大きく異なるものとなる場合が生じる。
【００６９】
本実施形態では、このような不具合を防止すべく、図４（ｆ）に示すように、上述した非常に低い輝度レベルよりも大きい下限値Ｙｍｉｎ（輝度レベルを２５６階調で表現するものとすると例えば１０階調）を設定し、この下限値Ｙｍｉｎまでの輝度レベルについて頻度値の大小判定を行うようにしている。
【００７０】
一方、図４（ｅ）に示すようなヒストグラムを有するブロックの場合、平均輝度Ｙａから下限値Ｙｍｉｎまでの間にピークを有しないので、上記のように下限値Ｙｍｉｎまで頻度値の大小判定を行っても、ピークは検出されない。また、例えば、ブロック内のすべての画素が、平均輝度Ｙａよりも高い輝度を有するものである場合にも、ピークは検出されない。
【００７１】
この場合には、上記平均輝度Ｙａを、該ブロックのブロック下地レベルとして設定することにより、背景の輝度レベルに近い輝度レベルをピークレベルとして設定することができる。
【００７２】
以上のように、高輝度側のピークＹＨと低輝度側のピークＹＬとを検出した場合には、いずれか平均輝度Ｙａに近い方を、そのブロックのブロック下地レベルＹｂとして設定する。例えば、図４（ｇ）においては、
Ｙａ−ＹＬ＞ＹＨ−Ｙａ      …（４）
であるから、高輝度側のピークＹＨをそのブロックのブロック下地レベルＹｂとして設定する。
【００７３】
ところで、ホワイトボードに写った光源や、該ホワイトボードの金属枠の領域、あるいはホワイトボードに貼着されたマグネットなどの領域の輝度が上限値Ｙｍａｘと下限値Ｙｍｉｎとの間の値であった場合でも、これらの領域を撮像したブロックにあっては、該ブロックの輝度のヒストグラムのみに基づいてブロック下地レベルを設定するように構成すると、高い輝度レベルまたは低い輝度レベルが当該ブロックのブロック下地レベルとして設定されることとなる。
【００７４】
しかし、上記と同様、後述する画素下地レベル演算部１４では、各ブロックのブロック下地レベルを、該ブロックの中心位置に位置する画素の下地レベルとみなして、各ブロックの中心画素間に位置する画素の下地レベルを線形補間により算出するため、高い輝度レベルまたは低い輝度レベルが当該ブロックのブロック下地レベルとして設定されると、画素下地レベル演算部１４により算出する中心画素間の画素の下地レベルが、当該画素が属するブロックのブロック下地レベルと大きく異なるものとなる場合が生じる。
【００７５】
平滑化処理部１３は、この問題を回避すべく、全ての画素について、画像の中央に位置するブロックから周辺に位置するブロックに向かって順番に、ブロック下地レベル設定部１２により設定した各ブロックのブロック下地レベルの平滑化（隣接するブロックとのブロック下地レベルの差を小さくすること）を行うものである。
【００７６】
平滑化処理を画像の中央に位置するブロックから周辺に位置するブロックに向かって順番に行うのは、電灯光の反射光等が写る可能性の少ない画像の中央に位置する画素から平滑化処理を行うことで、より適切な画素下地レベルを設定するためである。
【００７７】
図５は、平滑化処理部１３による平滑化処理を説明するための図である。
【００７８】
図５に示すように、平滑化処理部１３は、平滑化を行う対象のブロック（以下、注目ブロックという、図５において斜線で示す）に対して平滑化処理を行うにあたり、当該注目ブロックを含む、縦横それぞれ所定数のブロック（本実施形態では、縦横それぞれ３ブロック）からなるブロック群を用いる。
【００７９】
その際、この平滑化に用いるブロック（以下、平滑化ブロックという）を、注目ブロックが画像の中心Ｏから最も離間する角部に位置するように決定する。例えば、図５に示すように、画像全体を画像の中心Ｏを含む線分で縦横それぞれ２等分割し、注目ブロックが左上領域Ｔ１に位置するときには、注目ブロックが左上角部に位置するように平滑化ブロックを決定する。
【００８０】
これと同様に、注目ブロックが左下領域Ｔ２に位置するときには、注目ブロックが左下角部に位置するように平滑化ブロックを決定し、右上領域Ｔ３に位置するときには、注目ブロックが右上角部に位置するように平滑化ブロックを決定し、右下領域Ｔ４に位置するときには、注目ブロックが右下角部に位置するように平滑化ブロックを決定する。
【００８１】
なお、図５は、各領域Ｔ１〜Ｔ４における１組の注目ブロック及び平滑化ブロックをそれぞれ抽出し描いたものである。
【００８２】
このように平滑化ブロックを設定するのは、光源の反射やホワイトボードの金属枠が存在する領域は、画像の周辺に位置することが多い一方、より画面中央に近い領域は、光源などの影響を受けていない領域が存在する可能性が高いことから、光源などの影響を受けていない、画面中央側のブロックを注目ブロックの平滑化に利用することで、注目ブロックのブロック下地レベルと、隣接するブロックのブロック下地レベルとの差が小さくなり、適切に平滑化を行うことができるからである。
【００８３】
平滑化処理部１３は、このように設定した平滑化ブロックと注目ブロックとの中で、輝度の低い所定数（本実施形態では３つ）のブロックを抽出し、これらのブロックのブロック下地レベルの平均Ｙａｂを算出して、この平均値Ｙａｂを注目ブロックのブロック下地レベルに設定する。
【００８４】
また、図５（ｂ）に示すように、光源の反射光が写っている可能性の少ない画像の中央に位置するブロックから平滑化処理を行って、ブロック下地レベルを適切に設定すべく、例えば右上領域Ｔ３におけるブロックに番号を付したとき、平滑化処理部１３は、例えば１→２→６→５→９→１０→１１→７→３→４→８→１２→・・・や、１→２→６→５→３→７→１１→１０→９→４→８→１２→・・・、あるいは、１→２→５→３→６→９→４→７→１０→８→１１→１２・・・や、１→２→５→９→６→３→４→７→１０→８→１１→１２・・・などのように、画像の中央側に位置するブロックから周辺側に位置するブロックに向かって順番に平滑化処理を行っていく。
【００８５】
画素下地レベル演算部１４は、平滑化処理部１３により平滑化処理が施された各ブロックのブロック下地レベルを、それぞれ対応するブロックの中心位置に位置する画素（以下、中心画素という）の下地レベルとみなした上で、各中心画素間に位置する画素の下地レベル（以下、画素下地レベルという）を線形補間により算出する。
【００８６】
図６において、１つのマスが１つのブロックを表すものとし、ブロックＢ１の中心画素Ｇ１の画素下地レベルをＹ１、ブロックＢ２の中心画素Ｇ２の画素下地レベルをＹ２、ブロックＢ３の中心画素Ｇ３の画素下地レベルをＹ３、ブロックＢ４の中心画素Ｇ４の画素下地レベルをＹ４とすると、例えばブロックＢ１内の任意の画素Ｇｘの画素下地レベルＹＧを、これらの画素下地レベルＹ１〜Ｙ４により算出する。
【００８７】
すなわち、画素Ｇｘの画素下地レベルＹＧを次式（５）
ＹＧ＝（α・Ｙ１＋β・Ｙ２＋γ・Ｙ３＋δ・Ｙ４）／４      …（５）
により算出する。なお、α，β，γ，δは重み係数であり、各重み係数は、画素Ｇｘから各ブロックＢ１〜Ｂ４の中心画素Ｇ１〜Ｇ４までの距離に比例する関係を有する。
【００８８】
第１階調補正処理部１５は、画素下地レベル演算部１４により算出された画素下地レベルを用いて、画素ごとに、図７に示すような補正関数を設定し、この補正関数に基づいて階調補正を行うものである。
【００８９】
図７は、第１階調補正処理部１５による階調補正の補正関数を示すものであり、横軸は、第１階調補正処理部１５の入力（ＲＧＢ−ＹＣｒＣｂ変換処理後の画像の画素の輝度レベル）、縦軸は、第１階調補正処理部１５の出力である。
【００９０】
図７に示す補正関数の場合は、入力が１００未満のときには、出力を０とし、入力が画素下地レベル演算部１４により算出された画素下地レベルＹβ以上のときには、出力を２５５とする。また、入力レベルが１００から上記画素下地レベルＹβまでの間においては、入力と出力とを線形的な関係とし、この線形関数にしたがって階調補正を行う。
【００９１】
この階調補正によれば、ＲＧＢ−ＹＣｒＣｂ変換処理後の画像における各画素の輝度レベルが、当該画素の画素下地レベル演算部１４により算出された画素下地レベルＹβ以上であるものについて、その輝度レベルが最高輝度（本実施形態ではＹ＝２５５）に変換されるので、背景（白板）とすべき領域が、純白色に設定される。
【００９２】
また、次式（６）で表される輝度レベルＹＱ
ＹＱ＝｛２５５００／（３５５−Ｙβ）｝      …（６）
を境界とし、この値ＹＱより小さい輝度レベルを有する画素については、出力レベルが入力レベルより小さい値に変換されることから、輝度レベルが上記式（６）に示すＹＱの値より小さい輝度レベルを有する文字領域について、背景とのコントラストが大きくされる。
【００９３】
ところで、画像処理部６により画像処理が施された画像に、小さな点状のノイズが含まれている場合、ノイズが発生している部分の画素については、ノイズが発生していない場合における当該画素の画素下地レベルより低い輝度レベルを有することとなる。したがって、このような画素については、図７に示す補正関数による階調補正を行っても、純白色（階調を２５５）に変換することができない。
【００９４】
また、例えば図７に示すように、入力レベルが画素下地レベル演算部１４により算出された画素下地レベルＹβ以上である領域については、第１階調補正処理部１５による階調補正により、最高輝度（階調２５５）に変換されることから、ＲＧＢ−ＹＣｒＣｂ変換処理後の画像における文字の一部分に、画素下地レベル演算部１４により算出された画素下地レベルＹβ以上である領域（インクが薄い領域やかすれている領域等）が存在した場合には、この部分で筆跡が途切れることとなる。
【００９５】
ノイズ除去・連結部１６は、このようなノイズを除去して本来の背景色（純白色）に補正するとともに、筆跡が途切れた部分（断線部分）を連結する処理を行うものである。
【００９６】
図８は、ノイズ除去・連結部１６によるノイズ除去・連結処理を説明するための図である。
【００９７】
例えば図８（ａ）に示すように、ノイズや途切れた部分が存在するものとすると、全ての画素について、当該画素の周囲に位置する８つの画素との輝度レベルの平均値を算出し、当該画素の輝度レベルをその平均の輝度レベルに設定する（以下、この処理を平均値処理という）。これにより、図８（ｂ）に示すように、平均値処理後の画像は、文字やノイズがぼやけたものとなる。
【００９８】
そして、ノイズ除去・連結部１６は、平均値処理後の画像であって、輝度レベルが最高輝度でない画素について、例えば所定の方向に所定数以上連続しているか否かを判定し、連続する画素数が所定数より少ない場合には、その画素は孤立点、すなわちノイズと判定し、輝度レベルを最高輝度に変換する。これにより、図８（ｃ）に示すように、ノイズを除去することができる（以下、この処理を孤立点除去処理という）。
【００９９】
また、文字の途切れた部分を連結し、且つぼかした文字を明瞭にするため、ノイズ除去・連結部１６は、第１階調補正処理後の画像と平均値処理・孤立点除去処理後の画像とを比較して、次のような処理を行う。
【０１００】
すなわち、ノイズ除去・連結部１６は、第１階調補正処理後の画像及び平均値処理・孤立点除去処理後の画像において、輝度レベルがともに最高輝度である画素については、白板領域を撮像したものであると判断し、その画素の輝度レベルを最高輝度（純白色）に設定する。
【０１０１】
また、ノイズ除去・連結部１６は、第１階調補正処理後の画像においては最高輝度を有し、平均値処理及び孤立点除去後に最高輝度でなくなった画素については、次のように処理する。
【０１０２】
第１階調補正処理後の画像においては最高輝度を有し、平均値処理及び孤立点除去後に最高輝度でなくなった画素には、本来、文字領域とすべき、上記の階調補正によって筆跡が途切れた部分の画素と、第１階調補正処理後の画像においては最高輝度を有していたが平均値処理後に最高輝度でなくなった、文字領域とすべきではない画素（例えば、図８（ｂ）の矢印Ｌで示す領域の画素）とが含まれている。
【０１０３】
そこで、本実施形態では、図８（ｅ）に示すように、上記所定の方向に上記所定数以上連続している２個の画素列のうち一方の画素列が他方の画素列の延長線上に存在するか否かを判断することにより、断線部分及びその断線部分における筆跡の方向（矢印Ｋ）を第１階調補正処理後の画像から検出するとともに、文字領域とすべき領域の画素（図８（ｅ）の斜線部分）を検出する。
【０１０４】
そして、この文字領域とすべき領域の画素については、上記の階調補正によって文字の筆跡が途切れ、この途切れた部分が平均値処理により繋がったものと判断して、文字領域と考えられる周辺の画素を用いて輝度レベルを算出する。すなわち、当該画素の周辺に位置する８つの画素の輝度レベルの平均値をその輝度レベルに設定する。これにより、断線部分が連結される。
【０１０５】
一方、上述の文字領域とすべきではない画素については、その輝度レベルを最高輝度（純白色）に設定する。
【０１０６】
また、ノイズ除去・連結部１６は、第１階調補正処理後の画像においては最高輝度を有さず、平均値処理及び孤立点除去処理後に最高輝度となった画素については、ノイズ（孤立点）を撮像し、このノイズが孤立点除去処理によって除去されたものと判断して、その画素の輝度レベルを孤立点除去処理において変換された最高輝度に維持する。
【０１０７】
また、ノイズ除去・連結部１６は、第１階調補正処理後の画像及び平均値処理・孤立点除去処理後の輝度レベルがともに最高輝度でない画素については、文字領域を撮像したものであると判断し、その画素の輝度レベルを第１階調補正処理後の画像における当該画素の輝度レベルに設定する。
【０１０８】
これにより、図８（ｄ）に示すように、図８（ａ）に対しノイズが除去され、且つ文字の途切れた部分が連結され、且つぼかした文字が明瞭化された画像が得られる。
【０１０９】
第１彩度補正部１７は、ノイズ除去・連結部１６による処理後の輝度が最高輝度（階調２５５）に変換された画素について、彩度を有することのないように、色差信号Ｃｒ，Ｃｂの値を０にする補正を行うものである。
【０１１０】
第２階調補正処理部１８は、最高輝度を有しない画素を、文字領域を撮像した画素であると判断して、図９に示すような補正関数により階調補正を行うものである。
【０１１１】
図９においては、入力レベルが１２８以下のときには、出力レベルを入力レベルと同一とし、例えばオレンジ色のインクで書かれた文字等、色の薄い文字等を見やすくするために、入力レベルが１２８より大きく２５５以下のときには、補正関数の傾きを入力レベルが１２８以下の場合の補正関数に比して緩やかにすることで、階調１２８を超える比較的高い輝度を有する画素が撮像した画像について、暗めに階調補正される。なお、この階調補正は、制御部８の各部による各種処理が終了した画像を所定の画像形成装置で印刷した場合に、上記のような文字を見やすくすることを特に考慮して行われている。
【０１１２】
第２彩度補正部１９は、ホワイトボードに書かれた文字等を見やすくするために、階調補正後の文字領域に対して、色差信号Ｃｒ，Ｃｂに所定のゲインをかけて、彩度を増加させるものである。
【０１１３】
輪郭補正部２０は、周知の一般的な手法により、文字等の輪郭を強調する輪郭補正を行うものである。
【０１１４】
ＹＣｒＣｂ−ＲＧＢ変換部２１は、輪郭補正部２０により輪郭補正が施された輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂを、次式（７）〜（９）にしたがって、ＲＧＢの画像信号に変換するものである。
【０１１５】
Ｒ＝Ｙ＋１．４０２Ｃｒ                      …（７）
Ｇ＝Ｙ−０．７１４Ｃｒ−０．３４４Ｃｂ      …（８）
Ｂ＝Ｙ＋１．７７２Ｃｂ                      …（９）
記憶部２２は、制御部８における上述した各種の処理が施された画像を記憶するものである。
【０１１６】
ＶＲＡＭ２３は、表示部２４に表示される画像のバッファメモリであり、表示部２４の画素数に対応した画像の記憶容量を有する。
【０１１７】
表示部２４は、制御部８における上述した各種の処理が施され、ＶＲＡＭ２３に一時的に記憶された画像を表示するものである。
【０１１８】
操作部２５は、ホワイトボード等を撮影するため、制御部８に上述の各種処理を実行させるモードと、これらの処理を行わないで通常の撮影動作を実行させるモードとを切り替えるための操作部を含む。
【０１１９】
次に、本発明の画像処理方法の手順について説明する。
【０１２０】
図１０は、本発明の画像処理方法の手順を示すフローチャートである。
【０１２１】
図１０に示すように、まず、画像処理部６によりＲ，Ｇ，Ｂの各デジタル信号が出力される（ステップ♯１）と、ＲＧＢ−ＹＣｒＣｂ変換部９により、これらのデジタル信号が輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂに変換された（ステップ♯２）後、ブロック設定部１０により、画像全体が複数のブロックに分割され（ステップ♯３）、ヒストグラム生成部１１により、ブロックごとにブロックの画素における輝度Ｙのヒストグラムが生成される（ステップ♯４）。
【０１２２】
そして、ブロック下地レベル設定部１２により、生成したヒストグラムを用いて各ブロックにおけるブロック下地レベルが設定され（ステップ♯５）、平滑化処理部１３により、このブロック下地レベルが平滑化された（ステップ♯６）後、画素下地レベル演算部１４により、この平滑化処理後のブロック下地レベルから画素ごとに画素下地レベルが算出される（ステップ♯７）。
【０１２３】
次に、第１階調補正処理部１５により、上記画素下地レベルを用いて、画素ごとに階調補正が行われ（ステップ♯８）、ノイズ除去・連結部１６により、ノイズの除去処理及び文字等の断線部分の連結処理が行われる（ステップ♯９）。
【０１２４】
そして、ノイズ除去・連結部１６による処理後の画素の輝度が最高輝度を有しない場合（ステップ♯１０でＹＥＳ）には、第２階調補正処理部１８により、その画素の輝度に対し図９に示す補正関数により階調補正が行われた（ステップ♯１１）後、第２彩度補正部１９により、文字領域等の彩度を向上するための処理が行われる（ステップ♯１２）。一方、ステップ♯１０において、ノイズ除去・連結部１６による処理後の画素の輝度が最高輝度を有する場合（ステップ♯１０でＮＯ）には、第１彩度補正部により、その画素について、色差信号Ｃｒ，Ｃｂの値を０にする補正が行われる（ステップ♯１３）。
【０１２５】
そして、ステップ♯１２又は♯１３の処理が終了すると、輪郭補正部２０により輪郭補正処理が行われた（ステップ♯１４）後、ＹＣｒＣｂ−ＲＧＢ変換部２１により輝度信号Ｙ及び色差信号Ｃｒ，ＣｂをＲ，Ｇ，Ｂの各デジタル信号に変換される（ステップ♯１５）。
【０１２６】
図１１は、図１０のステップ♯５のブロック下地レベル設定部１２によるブロック下地レベル設定処理の詳細な手順を示すフローチャートである。
【０１２７】
図１１に示すように、ホワイトボードの板面の平均輝度Ｙａが算出され（ステップ♯２１）、この平均輝度Ｙａから高輝度側に上限値Ｙｍａｘまで、各輝度レベルにおける頻度値の大小判定が行われる（ステップ♯２２）。
【０１２８】
そして、ピークが存在したか否かが判定され（ステップ♯２３）、ピークが存在する場合（ステップ♯２３でＹＥＳ）には、最初に検出されたピークＹＨが高輝度側のピークとして設定され（ステップ♯２４）、ピークが存在しない場合（ステップ♯２３でＮＯ）には、平均輝度Ｙａが高輝度側のピークとして設定される（ステップ♯２５）。
【０１２９】
次に、平均輝度Ｙａから低輝度側に下限値Ｙｍｉｎまで、各輝度レベルにおける頻度値の大小判定が行われ（ステップ♯２６）、ピークが存在したか否かが判定される（ステップ♯２７）。
【０１３０】
その結果、ピークが存在する場合（ステップ♯２７でＹＥＳ）には、最初に検出されたピークＹＬが低輝度側のピークとして設定され（ステップ♯２８）、ピークが存在しない場合（ステップ♯２７でＮＯ）には、平均輝度Ｙａが低輝度側のピークとして設定される（ステップ♯２９）。
【０１３１】
そして、ステップ♯２４及び♯２８で設定された高輝度側のピークＹＨと低輝度側のピークＹＬとについて、いずれか平均輝度Ｙａに近い方が、そのブロックのブロック下地レベルＹｂとして設定される（ステップ♯３０）。
【０１３２】
以上の処理が全てのブロックについて終了するまで（ステップ♯３１でＮＯ）、処理対象のブロックを順番に変えて（ステップ♯３２）、ステップ♯２２〜♯３０までの処理が行われ、全てのブロックについてブロック下地レベル設定処理が終了する（ステップ♯３１でＹＥＳ）と、ブロック下地レベル設定部１２による処理を終了する。
【０１３３】
図１２は、図１０におけるステップ♯６の平滑化処理部１３による平滑化処理の詳細な手順を示すフローチャートである。
【０１３４】
図１２に示すように、まず、注目ブロックが、画像の左上領域に位置するとき（ステップ♯４１でＹＥＳ）、この注目ブロックが左上角部に位置するように平滑化ブロックが決定され（ステップ♯４２）、注目ブロックが、画像の左下領域に位置するとき（ステップ♯４３でＹＥＳ）、この注目ブロックが左下角部に位置するように平滑化ブロックが決定され（ステップ♯４４）、注目ブロックが、画像の右上領域に位置するとき（ステップ♯４５でＹＥＳ）、この注目ブロックが右上角部に位置するように平滑化ブロックが決定され（ステップ♯４６）、注目ブロックが右下領域に位置するとき（ステップ♯４５でＮＯ）、この注目ブロックが右下角部に位置するように平滑化ブロックが決定される（ステップ♯４７）。
【０１３５】
ステップ♯４１，♯４３，♯４５、♯４７のいずれかで決定された平滑化ブロックと注目ブロックとの中で、輝度の低い３つのブロックが抽出された（ステップ♯４８）後、これらのブロックのブロック下地レベルの平均Ｙａｂが算出され（ステップ♯４９）、この平均値Ｙａｂが注目ブロックのブロック下地レベルに設定される（ステップ♯５０）。
【０１３６】
以上の処理が全てのブロックについて終了するまで（ステップ♯５１でＮＯ）、処理対象のブロックを順番に変えて（ステップ♯５２）、ステップ♯４１〜♯５０までの処理が行われ、全てのブロックについて平滑化処理が終了する（ステップ♯５１でＹＥＳ）と、平滑化処理部１３による処理を終了する。
【０１３７】
図１３は、図１０におけるステップ♯９のノイズ除去・連結部１６によるノイズ除去・連結処理の詳細な手順を示すフローチャートである。
【０１３８】
図１３に示すように、全ての画素について、当該画素の周囲に位置する８つの画素との輝度レベルの平均値を算出し、当該画素の輝度レベルをその平均の輝度レベルに設定する平均値処理が行われ（ステップ♯６１）、輝度レベルが最高輝度でない画素について、例えば所定の方向に所定数以上連続しているか否かを判定し、連続する画素数が所定数より少ない場合に、その画素の輝度レベルを最高輝度に変換する孤立点除去処理が行われる（ステップ♯６２）。
【０１３９】
そして、第１階調補正処理後の画像及び平均値処理・孤立点除去処理後の画像において、輝度レベルがともに最高輝度である画素（ステップ♯６３，♯６４でＹＥＳ）については、その画素の輝度レベルが最高輝度に設定される（ステップ♯６５）。
【０１４０】
一方、第１階調補正処理後の画像においては最高輝度を有し（ステップ♯６３でＹＥＳ）、平均値処理及び孤立点除去後に最高輝度でなくなった（ステップ♯６４でＮＯ）画素については、文字領域とすべき画素であるか否かが判定され（ステップ♯６６）、文字領域とすべき画素である場合（ステップ♯６６でＹＥＳ）には、文字領域と考えられる周辺の画素を用いて輝度レベルが算出され（ステップ♯６７）、文字領域とすべきでない画素である場合（ステップ♯６６でＮＯ）には、その画素の輝度レベルが最高輝度に設定される（ステップ♯６８）。
【０１４１】
また、第１階調補正処理後の画像においては最高輝度を有さず（ステップ♯６３でＮＯ）、平均値処理及び孤立点除去処理後に最高輝度となった（ステップ♯６９でＹＥＳ）画素については、その画素の輝度レベルが孤立点除去処理において変換された最高輝度に維持され（ステップ♯７０）、第１階調補正処理後の画像及び平均値処理・孤立点除去処理後の輝度レベルがともに最高輝度でない（ステップ♯６３，♯６９でＮＯ）画素については、その画素の輝度レベルが第１階調補正処理後の画像における当該画素の輝度レベルに設定される（ステップ♯７１）。
【０１４２】
このように、全ての画素について、当該画素の周囲に位置する８つの画素との輝度レベルの平均値を算出し、当該画素の輝度レベルをその平均の輝度レベルに設定することにより、一旦、文字やノイズをぼかし、このぼかした画像において、輝度レベルが最高輝度でない画素について、例えば所定の方向に所定数以上連続しているか否かを判定することでノイズを検出して、該ノイズを除去するようにしたので、ノイズが除去された画像を得ることができる。
【０１４３】
また、第１階調補正処理後の画像の画素の輝度とその画素に対応する平均値処理・孤立点除去処理後の画像の輝度とを比較し、その比較結果に応じて、その画素の輝度を決定してなる画像を生成するようにしたから、文字の途切れた部分が連結され、かつ一旦ぼかした文字が明瞭化された画像を得ることができる。
【０１４４】
さらに、第１階調補正処理後の画像と平均値処理・孤立点除去処理後の画像とを単純に比較して、上記のような画像を生成するようにしたので、従来のように多大な処理時間を要することなく、ノイズ除去処理や連結処理を行うことができる。
【０１４５】
なお、本発明は、上記実施形態に限らず、次の変形形態（１），（２）が採用可能である。
【０１４６】
（１）上記実施形態においては、ＲＧＢ−ＹＣｒＣｂ変換部９、ブロック設定部１０、ヒストグラム生成部１１、ブロック下地レベル設定部１２、平滑化処理部１３、画素下地レベル演算部１４、第１階調補正処理部１５、ノイズ除去・連結部１６、第１彩度補正部１７、第２階調補正処理部１８、第２彩度補正部１９、輪郭補正部２０及びＹＣｒＣｂ−ＲＧＢ変換部２１をデジタルカメラ１に搭載する場合について説明したが、これに限らず、図１４に示すように、パーソナルコンピュータ２６（以下、ＰＣ２６という）の制御部２７に搭載するように構成してもよい。
【０１４７】
この場合、図１４に示すように、ＰＣ２６は、例えばデジタルカメラなどの画像入力装置２８からγ補正等の処理を施した画像を取り込み、上述のようにヒストグラムの生成、ブロック下地レベルの設定、平滑化処理、画素下地レベルの算出、ノイズ除去・連結処理等を行った後、ハードディスク装置等の画像記憶装置２９に記憶する。
【０１４８】
また、この画像を紙面への印刷等の出力を行う場合には、ＰＣ２６は、画像記憶装置２９から該画像を取り込み、プリンタ等の画像出力装置２９に画像を送出し、その画像出力装置３０にプリントアウトを行わせるようにしてもよい。なお、操作部３１は、制御部２７にヒストグラムの生成処理等の実行を指示する入力を行うためのもので、マウスやキーボードを指す。
【０１４９】
（２）図１４に示すＰＣ２６及び上記実施形態におけるデジタルカメラ１は、所定のプログラムにより、機能的に、ＲＧＢ−ＹＣｒＣｂ変換部９，３２、ブロック設定部１０，３３、ヒストグラム生成部１１，３４、ブロック下地レベル設定部１２，３５、平滑化処理部１３，３６、画素下地レベル演算部１４，３７、第１階調補正処理部１５，３８、ノイズ除去・連結部１６，３９、第１彩度補正部１７，４０、第２階調補正処理部１８，４１、第２彩度補正部１９，４２、輪郭補正部２０，４３及びＹＣｒＣｂ−ＲＧＢ変換部２１，４４を備えて、各種の処理を実行するようにしたものであるが、これに限られず、ハードウェアにより、これらの処理を実行する構成としてもよい。
【０１５０】
なお、所定のプログラムにより、制御部８，２７に上記各部を備える場合には、例えばフレキシブルディスク、ＣＤ−Ｒ、あるいはＤＶＤ−Ｒなどの外部の記録媒体との間でデータの読み書きを行う図略の装置を用いて、ＰＣ２６を、ＲＧＢ−ＹＣｒＣｂ変換部９，３２、ブロック設定部１０，３３、ヒストグラム生成部１１，３４、ブロック下地レベル設定部１２，３５、平滑化処理部１３，３６、画素下地レベル演算部１４，３７、第１階調補正処理部１５，３８、ノイズ除去・連結部１６，３９、第１彩度補正部１７，４０、第２階調補正処理部１８，４１、第２彩度補正部１９，４２、輪郭補正部２０，４３及びＹＣｒＣｂ−ＲＧＢ変換部２１，４４として機能させるためのプログラムを記録した記録媒体から該プログラムをインストールするようにし、ＰＣ２６はこのプログラムをインストールすることで、機能的にＲＧＢ−ＹＣｒＣｂ変換部９，３２等を備えるように構成するとよい。
【０１５１】
以上、本明細書で開示された主な発明を次にまとめる。
【０１５２】
［付記１］  画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行い、
最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行うことを特徴とする画像処理方法。
【０１５３】
［付記２］  所定の方向に所定数以上連続している２個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記２個の画素列を連続させた画像を生成する連結処理をさらに行うことを特徴とする付記１に記載の画像処理方法。
【０１５４】
［付記３］  前記連結処理は、前記平均値処理を施す前の第１の画像における第１の画素とこの画素に対応する前記孤立点除去処理を施した第２の画像における第２の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第３の画像を生成するものであり、前記第１の画素及び第２の画素がともに最大輝度を有する場合、前記第３の画素の輝度を最大輝度とし、前記第１の画素及び第２の画素がともに最大輝度より小さい輝度を有する場合、前記第３の画素の輝度を第１の画素の輝度とし、前記第１の画素が最大輝度を有し、前記第２の画素が最大輝度より小さい輝度を有する場合、前記第３の画素の輝度を前記第１の画素の周辺に位置する画素の輝度を用いて設定し、前記第１の画素が最大輝度より小さい輝度を有し、前記第２の画素が最大輝度を有する場合、前記第３の画素の輝度を最大輝度とすることを特徴とする付記２に記載の画像処理方法。
【０１５５】
［付記４］  画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行う平均値処理手段と、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行う孤立点除去処理手段とを備えることを特徴とする画像処理装置。
【０１５６】
［付記５］  所定の方向に所定数以上連続している２個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記２個の画素列を連続させた画像を生成する連結処理を行う連結処理手段をさらに備えることを特徴とする付記１に記載の画像処理装置。
【０１５７】
［付記６］  前記連結処理手段は、前記平均値処理を施す前の第１の画像における第１の画素とこの画素に対応する前記孤立点除去処理を施した第２の画像における第２の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第３の画像を生成するものであり、前記第１の画素及び第２の画素がともに最大輝度を有する場合、前記第３の画素の輝度を最大輝度とし、前記第１の画素及び第２の画素がともに最大輝度より小さい輝度を有する場合、前記第３の画素の輝度を第１の画素の輝度とし、前記第１の画素が最大輝度を有し、前記第２の画素が最大輝度より小さい輝度を有する場合、前記第３の画素の輝度を前記第１の画素の周辺に位置する画素の輝度を用いて設定し、前記第１の画素が最大輝度より小さい輝度を有し、前記第２の画素が最大輝度を有する場合、前記第３の画素の輝度を最大輝度とすることを特徴とする付記５に記載の画像処理装置。
【０１５８】
［付記７］  画像処理装置に、
画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行う平均値処理手段と、
最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行う孤立点除去処理手段
としての機能を搭載するためのプログラム。
【０１５９】
［付記８］  前記画像処理装置に、
さらに、所定の方向に所定数以上連続している２個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記２個の画素列を連続させた画像を生成する連結処理を行う連結処理手段
としての機能を搭載するための付記７に記載のプログラム。
【０１６０】
［付記９］  前記連結処理は、前記平均値処理を施す前の第１の画像における第１の画素とこの画素に対応する前記孤立点除去処理を施した第２の画像における第２の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第３の画像を生成するものであり、前記第１の画素及び第２の画素がともに最大輝度を有する場合、前記第３の画素の輝度を最大輝度とし、前記第１の画素及び第２の画素がともに最大輝度より小さい輝度を有する場合、前記第３の画素の輝度を第１の画素の輝度とし、前記第１の画素が最大輝度を有し、前記第２の画素が最大輝度より小さい輝度を有する場合、前記第３の画素の輝度を前記第１の画素の周辺に位置する画素の輝度を用いて設定し、前記第１の画素が最大輝度より小さい輝度を有し、前記第２の画素が最大輝度を有する場合、前記第３の画素の輝度を最大輝度とすることを特徴とする付記８に記載のプログラム。
【０１６１】
［付記１０］  画像処理装置に、
画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行う平均値処理手段と、
最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行う孤立点除去処理手段
としての機能を搭載するためのプログラムが記録された、前記画像処理装置により読取可能な記録媒体。
【０１６２】
［付記１１］  前記画像処理装置に、
さらに、所定の方向に所定数以上連続している２個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記２個の画素列を連続させた画像を生成する連結処理を行う連結処理手段
としての機能を搭載するためのプログラムが記録された、前記画像読取装置に読取可能な付記１０に記載の記録媒体。
【０１６３】
［付記１２］  前記連結処理は、前記平均値処理を施す前の第１の画像における第１の画素とこの画素に対応する前記孤立点除去処理を施した第２の画像における第２の画素の各輝度に基づいて、これらの画素に対応する画素の輝度を設定することによりなる第３の画像を生成するものであり、前記第１の画素及び第２の画素がともに最大輝度を有する場合、前記第３の画素の輝度を最大輝度とし、前記第１の画素及び第２の画素がともに最大輝度より小さい輝度を有する場合、前記第３の画素の輝度を第１の画素の輝度とし、前記第１の画素が最大輝度を有し、前記第２の画素が最大輝度より小さい輝度を有する場合、前記第３の画素の輝度を前記第１の画素の周辺に位置する画素の輝度を用いて設定し、前記第１の画素が最大輝度より小さい輝度を有し、前記第２の画素が最大輝度を有する場合、前記第３の画素の輝度を最大輝度とすることを特徴とする付記１１に記載の前記画像処理装置により読取可能な記録媒体。
【０１６４】
【発明の効果】
請求項１または請求項４に記載の発明によれば、画素の周囲に位置する画素の輝度を平均して求めた平均値を当該画素の輝度とする平均値処理を画像の各画素についてそれぞれ行うので、最大輝度より小さい輝度を有する画素の周囲に存在する、最大輝度を有する画素の輝度が、最大輝度より小さい輝度に変換され、最大輝度より小さい輝度を有する画素が、当該画素から所定の方向に所定数以上連続しているか否かを判定し、連続していないと判定された場合に、当該画素の輝度を最大輝度に変換する孤立点除去処理を、前記平均値処理が施された画像における各画素についてそれぞれ行うようにしたので、ノイズと考えられる孤立点の除去を行うことができる。
【０１６５】
請求項２に記載の発明によれば、所定の方向に所定数以上連続している２個の画素列の一方が所定の間隔を空けて他方の画素列の略延長線上に存在する場合に、前記孤立点除去処理を施した画像と前記平均値処理を施す前の画像とを比較して、前記２個の画素列を連続させた画像を生成する連結処理をさらに行うようにしたので、文字の断線部分の連結を行うことができる。
【０１６６】
また、第３の画像を生成するにあたり、孤立点除去処理を施した画像と平均値処理を施す前の画像とを単に比較するだけであるから、従来のように多大な処理時間を要することなく連結処理を行うことができる。
【０１６７】
請求項３に記載の発明によれば、文字や図形等が描かれたホワイトボードを光電変換手段により撮像してなる画像を第１の画像とし、この第１の画像から第３の画像を生成する場合に、第１の画素及び第２の画素がともに最大輝度を有するときには、前記第３の画素の輝度が最大輝度とされることにより該第３の画素を白地の輝度とすることができ、第１の画素及び第２の画素がともに最大輝度より小さい輝度を有するときには、前記第３の画素の輝度が第１の画素の輝度とされることにより前記第３の画素を文字の輝度とすることができ、前記第１の画素が最大輝度を有し、前記第２の画素が最大輝度より小さい輝度を有するときには、前記第３の画素の輝度が前記第１の画素の周辺に位置する画素の輝度を用いて設定されることにより断線した部分を連結することができ、前記第１の画素が最大輝度より小さい輝度を有し、前記第２の画素が最大輝度を有するときには、前記第３の画素の輝度が最大輝度とされることによりノイズを除去することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理方法を採用するデジタルカメラの制御ブロック図である。
【図２】（ａ）は画像の一例を示す図、（ｂ）は（ａ）に示す画像を複数のブロックに分割した様子を示す図、（ｃ）は平均輝度を算出する対象の領域を示す図である。
【図３】各種のヒストグラムの例を示す図である。
【図４】ブロック下地レベルの設定処理を説明するための図である。
【図５】平滑化処理を説明するための図である。
【図６】画素下地レベルの算出処理を説明するための図である。
【図７】算出した画素下地レベルを用いて画素ごとに行う階調補正の補正関数を示す図である。
【図８】ノイズ除去・連結部によるノイズ除去・連結処理を説明するための図である。
【図９】階調補正の補正関数を示す図である。
【図１０】本発明の画像処理方法の手順を示すフローチャートである。
【図１１】図１０のステップ♯５のブロック下地レベル設定部によるブロック下地レベル設定処理の詳細な手順を示すフローチャートである。
【図１２】図１０のステップ♯６の平滑化処理部による平滑化処理の詳細な手順を示すフローチャートである。
【図１３】図１０のステップ♯９のノイズ除去・連結部によるノイズ除去・連結処理の詳細な手順を示すフローチャートである。
【図１４】本発明に係る画像処理を実行する機能をパーソナルコンピュータに搭載した場合に、画像を撮像し、その画像を記憶したり記録紙等に出力するように構成されたシステムのブロック図である。
【符号の説明】
８，２７    制御部
９，３２    ＲＧＢ−ＹＣｒＣｂ変換部
１０，３３  ブロック設定部
１１，３４  ヒストグラム生成部
１２，３５  ブロック下地レベル設定部
１３，３６  平滑化処理部
１４，３７  画素下地レベル演算部
１５，３８  第１階調補正処理部
１６，３９  ノイズ除去・連結部
１７，４０  第１彩度補正部
１８，４１  第２階調補正処理部
１９，４２  第２彩度補正部
２０，４３  輪郭補正部
２１，４４  ＹＣｒＣｂ−ＲＧＢ変換部
【図１】
2004304641.tif 000003
【図２】
2004304641.tif 000004
【図３】
2004304641.tif 000005
【図４】
2004304641.tif 000006
【図５】
2004304641.tif 000007
【図６】
2004304641.tif 000008
【図７】
2004304641.tif 000009
【図８】
2004304641.tif 000010
【図９】
2004304641.tif 000011
【図１０】
2004304641.tif 000012
【図１１】
2004304641.tif 000013
【図１２】
2004304641.tif 000014
【図１３】
2004304641.tif 000015
【図１４】
2004304641.tif 000016