(57)【要約】【課題】入力画像を補正して鮮明で高品質な画像を得る【解決手段】取得した入力画像に第１のぼかし処理を行うことにより第１のぼかし画像を生成し、かつ、前記入力画像に前記第１のぼかし処理よりもぼかしの強度が弱い第２のぼかし処理を行うことにより第２のぼかし画像を生成するぼかし画像生成部と、前記第１のぼかし画像を用いて前記入力画像を覆い焼き処理することにより第１の補正画像を生成し、かつ、前記第２のぼかし画像を用いて前記入力画像を覆い焼き処理することにより第２の補正画像を生成する覆い焼き処理部と、前記第１の補正画像と前記第２の補正画像とを乗算することにより第３の補正画像を生成する補正画像生成部と、を備える画像処理装置。【選択図】図３
2016038849.tif 000002
【特許請求の範囲】
【請求項１】
取得した入力画像に第１のぼかし処理を行うことにより第１のぼかし画像を生成し、かつ、前記入力画像に前記第１のぼかし処理よりもぼかしの強度が弱い第２のぼかし処理を行うことにより第２のぼかし画像を生成するぼかし画像生成部と、
前記第１のぼかし画像を用いて前記入力画像を覆い焼き処理することにより第１の補正画像を生成し、かつ、前記第２のぼかし画像を用いて前記入力画像を覆い焼き処理することにより第２の補正画像を生成する覆い焼き処理部と、
前記第１の補正画像と前記第２の補正画像とを乗算することにより第３の補正画像を生成する補正画像生成部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記ぼかし画像生成部は、前記第１のぼかし処理として第１のサイズの平滑化フィルタを前記入力画像に適用することにより前記第１のぼかし画像を生成し、前記第２のぼかし処理として前記第１のサイズよりも小さい第２のサイズの平滑化フィルタを前記入力画像に適用することにより前記第２のぼかし画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記平滑化フィルタは、ガウシアンフィルタであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ガウシアンフィルタの前記第１のサイズは、前記入力画像のサイズの８０％〜１００％であり、前記ガウシアンフィルタの前記第２のサイズは、前記入力画像のサイズの１％〜１０％であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記ガウシアンフィルタの重み付けの分布の標準偏差σは、前記ガウシアンフィルタのサイズに応じて異なることを特徴とする請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記ぼかし画像生成部は、前記入力画像を縮小し、当該縮小した入力画像を対象として前記第１のぼかし処理と前記第２のぼかし処理とを行い、前記第１のぼかし処理により生成した画像を前記縮小前の入力画像と同一サイズに拡大した画像を前記第１のぼかし画像とし、前記第２のぼかし処理により生成した画像を前記縮小前の入力画像と同一サイズに拡大した画像を前記第２のぼかし画像とすることを特徴とする請求項１〜請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記覆い焼き処理部は、前記入力画像にエッジを強調するシャープネス処理を施した上で、前記第２のぼかし画像を用いた前記覆い焼き処理を行うことを特徴とする請求項１〜請求項６のいずれかに記載の画像処理装置。
【請求項８】
前記補正画像生成部は、前記乗算する前記第１の補正画像と前記第２の補正画像との比率を前記入力画像内の領域毎の特性に応じて異ならせることを特徴とする請求項１〜請求項７のいずれかに記載の画像処理装置。
【請求項９】
取得した入力画像に第１のぼかし処理を行うことにより第１のぼかし画像を生成し、かつ、前記入力画像に前記第１のぼかし処理よりもぼかしの強度が弱い第２のぼかし処理を行うことにより第２のぼかし画像を生成するぼかし画像生成工程と、
前記第１のぼかし画像を用いて前記入力画像を覆い焼き処理することにより第１の補正画像を生成し、かつ、前記第２のぼかし画像を用いて前記入力画像を覆い焼き処理することにより第２の補正画像を生成する覆い焼き処理工程と、
前記第１の補正画像と前記第２の補正画像とを乗算することにより第３の補正画像を生成する補正画像生成工程と、を備えることを特徴とする画像処理方法。
【請求項１０】
取得した入力画像に対する所定の処理をコンピューターに実行させる画像処理プログラムであって、
前記入力画像に第１のぼかし処理を行うことにより第１のぼかし画像を生成し、かつ、前記入力画像に前記第１のぼかし処理よりもぼかしの強度が弱い第２のぼかし処理を行うことにより第２のぼかし画像を生成するぼかし画像生成機能と、
前記第１のぼかし画像を用いて前記入力画像を覆い焼き処理することにより第１の補正画像を生成し、かつ、前記第２のぼかし画像を用いて前記入力画像を覆い焼き処理することにより第２の補正画像を生成する覆い焼き処理機能と、
前記第１の補正画像と前記第２の補正画像とを乗算することにより第３の補正画像を生成する補正画像生成機能と、を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
ユーザーは、任意に撮影した画像をプリンターに送信し、当該画像をプリンターに印刷させることができる。このような画像には、撮影が行われた場所の環境光による色やムラが含まれていたり、撮影者や撮像機器の影等が写りこんでいたりする場合がある。
【０００３】
なお、原画像の画像信号から原画像のボケ画像を表す複数のボケ画像信号を生成し、この複数のボケ画像を合成することによって１つの合成ボケ画像信号を作成する画像処理方法が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１‐２９８６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したような環境光による色やムラ、各種影等は、画像にとって不要な情報（ノイズ）であるため、適切に除去されることが望ましい。例えば、文字や図絵等が書かれた原稿やホワイトボードをカメラで撮影した画像であれば、このようなノイズが除去された鮮明な画像が求められる。
【０００６】
なお、前記文献は、このような鮮明な画像を得るために必要な工夫や構成を十分に開示しているとは言えなかった。
【０００７】
本発明は少なくとも上述の課題を解決するためになされたものであり、鮮明で高品質な画像を得ることが可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。
【課題を解決するための手段】
【０００８】
本発明の態様の一つは、画像処理装置は、取得した入力画像に第１のぼかし処理を行うことにより第１のぼかし画像を生成し、かつ、前記入力画像に前記第１のぼかし処理よりもぼかしの強度が弱い第２のぼかし処理を行うことにより第２のぼかし画像を生成するぼかし画像生成部と、前記第１のぼかし画像を用いて前記入力画像を覆い焼き処理することにより第１の補正画像を生成し、かつ、前記第２のぼかし画像を用いて前記入力画像を覆い焼き処理することにより第２の補正画像を生成する覆い焼き処理部と、前記第１の補正画像と前記第２の補正画像とを乗算することにより第３の補正画像を生成する補正画像生成部と、を備える。
【０００９】
当該構成によれば、画像処理装置は、入力画像からぼかしの強度が異なる２種類のぼかし画像（第１、第２のぼかし画像）を生成し、それぞれのぼかし画像により入力画像を覆い焼きして生成した２種類の補正画像（第１、第２の補正画像）から、最終的な補正画像（第３の補正画像）を生成する。すなわち、撮影時の環境光による色やムラ、ユーザーや撮像機器の影、といったノイズに相当する低周波成分が除去されて文字や図絵等が抽出された第１の補正画像と、文字等の高周波成分がより鮮明に抽出された第２の補正画像とが乗算された結果として、これらノイズが除去され、かつ文字や図絵等が鮮明に表された高品質な画像（第３の補正画像）が得られる。
【００１０】
本発明の態様の一つは、前記ぼかし画像生成部は、前記第１のぼかし処理として第１のサイズの平滑化フィルタを前記入力画像に適用することにより前記第１のぼかし画像を生成し、前記第２のぼかし処理として前記第１のサイズよりも小さい第２のサイズの平滑化フィルタを前記入力画像に適用することにより前記第２のぼかし画像を生成するとしてもよい。
当該構成によれば、サイズが異なる平滑化フィルタを用いることにより、ぼかしの強度が異なる２種類のぼかし画像（第１、第２のぼかし画像）を容易に生成することができる。なお、前記平滑化フィルタは、例えば、ガウシアンフィルタである。
【００１１】
本発明の態様の一つは、前記ガウシアンフィルタの前記第１のサイズは、前記入力画像のサイズの８０％〜１００％であり、前記ガウシアンフィルタの前記第２のサイズは、前記入力画像のサイズの１％〜１０％であるとしてもよい。
当該構成によれば、入力画像を覆い焼きする際に前記ノイズに相当する低周波成分を除去して文字や図絵等を抽出するために最適な第１のぼかし画像を得ることができ、かつ、入力画像を覆い焼きする際に文字等の高周波成分を鮮明に抽出するために最適な第２のぼかし画像を得ることができる。
【００１２】
本発明の態様の一つは、前記ガウシアンフィルタの重み付けの分布の標準偏差σは、前記ガウシアンフィルタのサイズに応じて異なるとしてもよい。
当該構成によれば、ガウシアンフィルタのサイズに応じた所要のぼかし画像を入力画像から的確に生成することができる。
【００１３】
本発明の態様の一つは、前記ぼかし画像生成部は、前記入力画像を縮小し、当該縮小した入力画像を対象として前記第１のぼかし処理と前記第２のぼかし処理とを行い、前記第１のぼかし処理により生成した画像を前記縮小前の入力画像と同一サイズに拡大した画像を前記第１のぼかし画像とし、前記第２のぼかし処理により生成した画像を前記縮小前の入力画像と同一サイズに拡大した画像を前記第２のぼかし画像とする、としてもよい。
当該構成によれば、入力画像の縮小による効果で、入力画像に載っている特定のノイズをある程度除去でき、さらに、前記平滑化フィルタを適用するぼかし処理時の畳み込み演算の処理量を軽減することができる。
【００１４】
本発明の態様の一つは、前記覆い焼き処理部は、前記入力画像にエッジを強調するシャープネス処理を施した上で、前記第２のぼかし画像を用いた前記覆い焼き処理を行うとしてもよい。
当該構成によれば、第２のぼかし画像を用いた入力画像に対する覆い焼き処理にて、入力画像内の文字や線分のエッジをより強調した第２の補正画像が得られる。
【００１５】
本発明の態様の一つは、前記補正画像生成部は、前記乗算する前記第１の補正画像と前記第２の補正画像との比率を前記入力画像内の領域毎の特性に応じて異ならせるとしてもよい。
当該構成によれば、画像内の領域毎の特性に応じた最適な比率で第１の補正画像と第２の補正画像とを乗算した結果を得ることができる。
なお本発明の技術的思想は、上述した画像処理装置のみによって実現されるものではない。例えば、画像処理装置が実行する処理工程を方法（画像処理方法）の発明として捉えることができる。また、そのような処理工程をハードウェア（画像処理装置が搭載するコンピューター）に実行させるコンピュータープログラム（画像処理プログラム）、さらには当該プログラムを記憶したコンピューター読み取り可能な記憶媒体、等の各種カテゴリーにて本発明が実現されてもよい。
【図面の簡単な説明】
【００１６】
【図１】本実施形態にかかる装置構成を概略的に示す図。
【図２】画像処理を示すフローチャート。
【図３】画像処理を模式的に説明する図。
【発明を実施するための形態】
【００１７】
１．装置構成の概略
図１は、本実施形態にかかる画像処理装置１０を含む構成を概略的に示している。画像処理装置１０は、撮像素子を有する撮像部（カメラ）１１、制御部１２、通信インターフェイス（Ｉ／Ｆ）１３、表示部１４、操作受付部１５、半導体メモリーやハードディスク等で実現される記憶部１６、等を含んで構成される。制御部１２は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するＩＣによって実現され、オペレーティングシステムに基づいて画像処理装置１０全体の制御を行う。また、制御部１２は、特定の画像処理のために作成されたプログラムであるアプリケーションプログラム（ＡＰ）２０を実装（インストール）しており、例えば、撮像部１１が撮像して生成した画像データを対象として、ＡＰ２０に従った画像処理を実行可能である。
【００１８】
表示部１４は、例えば液晶ディスプレイによって構成される。操作受付部１５は、例えばユーザーが操作するためのボタンやキーボードやマウスやタッチパッドやタッチパネル等によって構成される。操作受付部１５がタッチパネルで実現される場合には、当該タッチパネルを表示する表示部１４が操作受付部１５を兼ねていると言える。
【００１９】
通信Ｉ／Ｆ１３は、制御部１２に制御されて外部との通信を実現する。図１の例では、通信Ｉ／Ｆ１３を介して、画像処理装置１０は外部のプリンター３０と通信可能に接続する。採用される通信の規格は特に限定されず、また、有線と無線とのいずれの通信であってもよい。また、通信Ｉ／Ｆ１３は、インターネットやＬＡＮ等のネットワークに接続し、当該ネットワークを介して外部の機器と通信することも可能である。
【００２０】
画像処理装置１０は、図示した構成以外にも様々な機能のための構成を含み得るものであり、例えば、通話機能や、コンテンツの再生機能や、ブラウジング機能（インターネット閲覧機能）等を実現するための各種構成を有するとしてもよい。
【００２１】
画像処理装置１０を具体的製品に例えると、スマートフォン、タブレット型端末、デスクトップ型あるいはラップトップ型のＰＣ（パーソナルコンピューター）等に該当する。あるいは、画像処理装置１０は、デジタルスチルカメラであってもよい。つまり、デジタルスチルカメラが、本来の撮像処理以外に、ＡＰ２０に従った画像処理を実行するとしてもよい。
【００２２】
画像処理装置１０は、図示した構成が一か所あるいは一つの筐体内に集約されたものである必要はなく、図示した構成が通信可能に接続することでシステムとして実現されるとしてもよい。
あるいは、画像処理装置１０は、自身が撮像部１１を含まない構成であってもよい。つまり、画像データを外部（外部のデジタルスチルカメラ等）と通信して入力し、当該入力した画像データに対して画像処理を実行するとしてもよい。
あるいは、画像処理装置１０は、プリンターであってもよい。つまり、画像処理装置１０を機体内に含むプリンター３０が、本来の印刷処理以外に、ＡＰ２０に従った画像処理を実行するとしてもよい。
【００２３】
２．画像処理の説明
図２は、画像処理装置１０がＡＰ２０に従って実行する画像処理（画像処理方法）をフローチャートにより示している。また、図３は、当該画像処理を模式的に説明するための図である。
【００２４】
ステップＳ１００では、制御部１２は、処理対象とする入力画像ＩＩを取得する。入力画像ＩＩは、例えば、撮像部１１等が撮像した画像である。具体的には、ユーザーが、操作受付部１５を操作することにより（あるいはデジタルスチルカメラを操作することにより）、文字や図絵等のオブジェクトが記載された原稿やホワイトボードを、撮像部１１（あるいはデジタルスチルカメラ）に撮像させる。このように撮像部１１等が撮像することで生成された画像データが、入力画像ＩＩとして制御部１２へ入力される。入力画像ＩＩは、例えば、各画素がＲＧＢ（レッド、グリーン、ブルー）の階調値（例えば０〜２５５の２５６階調）を有するビットマップ形式のデータである。このような入力画像ＩＩには、撮像部１１による撮像が行われた場所（屋外または屋内）での環境光による色やムラ、撮影者や撮像機器（撮像部１１を搭載したスマートフォンやタブレット型端末、あるいはデジタルスチルカメラ等）の影、といったごく低い周波数（空間周波数）で表現されるノイズが含まれていることがある。
【００２５】
ステップＳ１１０では、制御部１２は、入力画像ＩＩに対して縮小処理を行う。これにより、縦方向および横方向の画素数が入力画像ＩＩよりも削減された縮小後の入力画像ＲＩが生成される。このように入力画像を縮小することで、次のステップＳ１２０で実行する入力画像へのぼかし処理の演算量を軽減でき、かつ、入力画像に含まれている比較的周波数の高いノイズを効果的に除去することができる。ただしステップＳ１１０および後述のステップＳ１３０（ぼかし処理前後の画像の縮小、拡大）は、本発明の思想において必須事項ではない。
【００２６】
ステップＳ１２０では、制御部１２は、入力画像ＲＩに対して２種類のぼかし処理（第１、第２のぼかし処理）を行うことにより、２種類のぼかし画像（第１、第２のぼかし画像）を生成する。ぼかし処理は、画像を平滑化するための平滑化フィルタを入力画像ＲＩに適用することにより行う。つまり、入力画像ＲＩを構成する各画素を順次注目画素とし、平滑化フィルタの中央位置の重み付け係数を注目画素の位置に合わせ、平滑化フィルタが規定する各位置の重み付け係数と注目画素の周辺画素の値とを用いた畳み込み演算により、注目画素の値を平滑化する。平滑化フィルタとしては、移動平均フィルタ、メディアンフィルタ、ガウシアンフィルタ等の各種フィルタが知られているが、ステップＳ１２０ではガウシアンフィルタを用いる。
【００２７】
ガウシアンフィルタは、重み付け係数の分布（２次元座標ｘ，ｙで示される位置の重み付け係数の分布）が、下記式（１）によって表される。σは、ガウシアンフィルタにおける重み付け係数の分布（ガウス分布）の標準偏差である。
【数１】
2016038849.tif 000003
【００２８】
制御部１２は、第１のぼかし処理として、第１のサイズの平滑化フィルタ（ガウシアンフィルタＧ１）を入力画像ＲＩに適用することにより、入力画像ＲＩから第１のぼかし画像（ぼかし画像ＦＩ１）を生成する。また、制御部１２は、第２のぼかし処理として、第１のサイズよりも小さい第２のサイズの平滑化フィルタ（ガウシアンフィルタＧ２）を入力画像ＲＩに適用することにより、入力画像ＲＩから第２のぼかし画像（ぼかし画像ＦＩ２）を生成する。
【００２９】
ガウシアンフィルタは、そのサイズが大きいほど、画像をぼかす強度が強いと言える。そのため、第２のぼかし処理は、第１のぼかし処理よりもぼかしの強度が弱いぼかし処理である。本実施形態では、第１のサイズ（ガウシアンフィルタＧ１のサイズ）を、入力画像ＲＩ（ただし前記縮小を行わない場合は入力画像ＩＩ。以下同様。）のサイズの８０％〜１００％としており、第２のサイズ（ガウシアンフィルタＧ２のサイズ）を、入力画像ＲＩのサイズの１％〜１０％としている。より好適には、第１のサイズ（ガウシアンフィルタＧ１のサイズ）を、入力画像ＲＩのサイズの１００％程度とし、第２のサイズ（ガウシアンフィルタＧ２のサイズ）を、入力画像ＲＩのサイズの５％程度としている。ガウシアンフィルタは、基本的に正方形のフィルタであるため、ガウシアンフィルタのサイズとは、当該フィルタの縦方向（あるいは横方向）の長さ（画素数）を指す。一方、入力画像ＩＩ（入力画像ＲＩ）は一般的に縦長あるいは横長の矩形であるため、入力画像ＲＩのサイズとは、縦方向および横方向のうち短い方の長さ（画素数）を指す。
【００３０】
なお、本実施形態では、制御部１２は、ガウシアンフィルタのサイズの大小にかかわらず、ガウス分布がある標準的な分布を維持するようにしている。このために、標準偏差σを下記式（２）によって調整している。
【数２】
2016038849.tif 000004
式（２）によれば、ガウシアンフィルタのサイズ（Ｓｚ）が大きいほど、標準偏差σが大きい値とされる。
【００３１】
このようなステップＳ１２０の結果、全体に亘って強くぼかされた画像、言い換えると、前記の環境光による色やムラ、撮影者や撮像機器の影等、といったノイズに略相当する低周波成分が表現された画像が“ぼかし画像ＦＩ１”として得られる。また、ぼかし画像ＦＩ１と比較すると、ぼかしの程度が弱く、やや高い周波数成分が表現された画像が“ぼかし画像ＦＩ２”として得られる。
【００３２】
ステップＳ１３０では、制御部１２は、ステップＳ１２０で生成したぼかし画像ＦＩ１を画素補間することにより、ぼかし画像ＦＩ１を入力画像ＩＩと同一のサイズに拡大する。同様に、制御部１２は、ステップＳ１２０で生成したぼかし画像ＦＩ２を画素補間することにより、ぼかし画像ＦＩ２を入力画像ＩＩと同一のサイズに拡大する。以下の説明で単に、ぼかし画像ＦＩ１，ＦＩ２と言った場合、入力画像ＩＩと同一サイズのぼかし画像ＦＩ１，ＦＩ２を指すものとする。むろん、ステップＳ１３０は、ステップＳ１１０が実行されたことを前提として実行される。
このようなステップＳ１１０〜Ｓ１３０の処理を実行する点で、制御部１２は、ぼかし画像生成部として機能すると言える。
【００３３】
ステップＳ１４０では、制御部１２は、ぼかし画像ＦＩ１を用いて入力画像ＩＩを覆い焼き処理することにより、第１の補正画像（補正画像ＣＩ１）を生成し、かつ、ぼかし画像ＦＩ２を用いて入力画像ＩＩを覆い焼き処理することにより、第２の補正画像（補正画像ＣＩ２）を生成する。このような覆い焼き処理は、ぼかし画像と入力画像を重畳したときに座標が一致する画素同士の関係で、入力画像をぼかし画像で除算することにより行う。
【００３４】
具体的には、補正画像ＣＩ１は、下記式（３）によって算出され、補正画像ＣＩ２は、下記式（４）によって算出される。
ＣＩ１（ｘ，ｙ）＝（ＩＩ（ｘ，ｙ）／ＦＩ１（ｘ，ｙ））×２５５  …（３）
ＣＩ２（ｘ，ｙ）＝（ＩＩ（ｘ，ｙ）／ＦＩ２（ｘ，ｙ））×２５５  …（４）
【００３５】
ＣＩ１（ｘ，ｙ）は２次元座標（ｘ，ｙ）における補正画像ＣＩ１の階調値、ＩＩ（ｘ，ｙ）は座標（ｘ，ｙ）における入力画像ＩＩの階調値、ＦＩ１（ｘ，ｙ）は座標（ｘ，ｙ）におけるぼかし画像ＦＩ１の階調値、ＣＩ２（ｘ，ｙ）は座標（ｘ，ｙ）における補正画像ＣＩ２の階調値、ＦＩ２（ｘ，ｙ）は座標（ｘ，ｙ）におけるぼかし画像ＦＩ２の階調値、である。式（３）、（４）を用いた計算では、算出された値が２５５以上である場合は２５５とする。また、前記除算の分母（ＦＩ１（ｘ，ｙ）、ＦＩ２（ｘ，ｙ））の値が０である場合は便宜上、その値を１に補正する等して計算を行う。むろんこのような除算を伴う計算は、要素色ＲＧＢのチャンネル毎に行う。
【００３６】
このような覆い焼き処理の結果、前記除算の分母となるぼかし画像Ｆ１１，Ｆ１２の階調値以上の階調値を有していた入力画像ＩＩの画素は、最高階調値である２５５に補正され実質的に色が消える（白色に補正される）。一方、前記除算の分母となるぼかし画像Ｆ１１，Ｆ１２の階調値未満の階調値を有していた入力画像ＩＩの画素は、ある程度高階調化されて（明るくなって）色を残した状態に補正される。
【００３７】
つまり、ぼかし画像ＦＩ１で入力画像ＩＩを除算する覆い焼き処理（式（３））によれば、結果的に、ぼかし画像ＦＩ１に相当する上述したような低周波成分が除去されて、このような低周波成分より周波数が高い図絵および図絵よりも周波数が高い文字といったオブジェクトが消えずに残った画像が補正画像ＣＩ１として得られる。従って、ぼかし画像ＦＩ１は、前記低周波成分以外の周波数成分を抽出する特性のフィルタとして入力画像ＩＩに作用するとも言える。なお、前記第１のぼかし処理に使用されるガウシアンフィルタＧ１のサイズ（第１のサイズ）は、このような特性を持ったフィルタとしてのぼかし画像ＦＩ１を得るために最適なぼかしの強度を実現するサイズであると言える。
【００３８】
また、ぼかし画像ＦＩ２で入力画像ＩＩを除算する覆い焼き処理（式（４））によれば、結果的に、ぼかし画像ＦＩ２に相当する周波数成分が除去されて、比較的高周波成分で表される文字や線等のオブジェクトが消えずに残った画像が補正画像ＣＩ２として得られる。従って、ぼかし画像ＦＩ２は、高周波成分を抽出する特性のハイパスフィルタとして入力画像ＩＩに作用するとも言える。なお、前記第２のぼかし処理に使用されるガウシアンフィルタＧ２のサイズ（第２のサイズ）は、このような特性のハイパスフィルタとしてのぼかし画像ＦＩ２を得るために最適なぼかしの強度を実現するサイズであると言える。
【００３９】
補正画像ＣＩ１と補正画像ＣＩ２とを比較すると、補正画像ＣＩ１において、文字と比較して周波数が低い図絵等が鮮明に抽出されており、逆に、補正画像ＣＩ２において周波数が高い文字等が鮮明に抽出されている。このようなステップＳ１４０の処理を実行する点で、制御部１２は、覆い焼き処理部として機能すると言える。
【００４０】
なお、当該ステップＳ１４０では、制御部１２は、ぼかし画像ＦＩ２を用いて入力画像ＩＩを覆い焼き処理する際、入力画像ＩＩにエッジを強調するシャープネス処理を施した上で、ぼかし画像ＦＩ２を用いた覆い焼き処理を行うとしてもよい。シャープネス処理とは、いわゆるアンシャープマスクを入力画像ＩＩに適用して得た画像と入力画像ＩＩとの差分に基づいて入力画像ＩＩ内のエッジを強調する処理である。つまり、覆い焼き処理の対象とする時点で、入力画像ＩＩ内において黒色等の暗い色で表現されている文字や線分と背景との差を際立たせておく。このようなシャープネス処理を施した入力画像ＩＩを対象としてぼかし画像ＦＩ２を用いた覆い焼き処理（式（４））を行うことにより、文字や線がより強調された補正画像ＣＩ２を得ることができる。
【００４１】
ステップＳ１５０では、制御部１２は、補正画像ＣＩ１と補正画像ＣＩ２とを下記式（５）に従って乗算することにより第３の補正画像（補正画像ＣＩ３）を生成する。
ＣＩ３（ｘ，ｙ）＝（ＣＩ１（ｘ，ｙ）×ＣＩ２（ｘ，ｙ））／２５５  …（５）
なお、ＣＩ３（ｘ，ｙ）は２次元座標（ｘ，ｙ）における補正画像ＣＩ３の階調値である。むろんこのような計算は、要素色ＲＧＢのチャンネル毎に行う。
【００４２】
制御部１２は、生成した補正画像ＣＩ３を記憶部１６に保存する。補正画像ＣＩ３が、当該画像処理が目的とする入力画像ＩＩの補正後の画像である。補正画像ＣＩ３は、上述したような撮像時の環境光による色やムラ、撮影者や撮像機器の影、といったノイズが除去され、かつ、入力画像ＩＩ内のオブジェクトである文字や図絵等が鮮明化された高品質な画像である。このようなステップＳ１５０の処理を実行する点で、制御部１２は、補正画像生成部として機能すると言える。
【００４３】
ここで、ステップＳ１４０により生成された補正画像ＣＩ１，ＣＩ２は、前記覆い焼き処理の特性上、入力画像ＩＩと比較すると、前記ノイズが除去されたことを考慮しても画像が全体的に明るくなり過ぎていることが多い。しかし、その後のステップＳ１５０では、補正画像ＣＩ１と補正画像ＣＩ２とを乗算した結果を、最高階調値２５５で除算している。そのため、補正画像ＣＩ３は、単純に補正画像ＣＩ１と補正画像ＣＩ２とを合成した場合に得られる画像（各画素が補正画像ＣＩ１と補正画像ＣＩ２との平均値で表現される画像）と比べて、全体的に暗い画像になり勝ちである。従って、ステップＳ１４０とステップＳ１５０の処理を経ることで、結果的に、入力画像ＩＩの明るさと比べて違和感の無い程度の明るさの画像であって、前記ノイズが除去され、かつ文字や図絵等が鮮明化された画像が、補正画像ＣＩ３として得られる。
【００４４】
また、ステップＳ１４０において、補正画像ＣＩ１を算出する際、前記除算に用いられる分母（ＦＩ１（ｘ，ｙ））の値は、前記第１のぼかし処理の特性上、比較的低階調な値である傾向が強い。そのため、補正画像ＣＩ１では、入力画像ＩＩにおいて暗い色で表現されていた文字や線が、かなり明るい色（背景の白に近い色）に補正されていることが多い。このような状況に鑑みて本実施形態では、補正画像ＣＩ１をそのまま入力画像ＩＩの最終的な補正結果とするのではなく、文字や線が背景（白）に対してより強調して表れている補正画像ＣＩ２も利用することで、文字や線がはっきりと視認できる補正結果（補正画像ＣＩ３）が得られるようにしている。
【００４５】
制御部１２は、上述のように生成した補正画像ＣＩ３を、例えばプリンター３０へ送信することにより、補正画像ＣＩ３を印刷用紙に印刷させることができる。つまり、撮像部１１等で撮像した原稿やホワイトボードの画像が、撮像時の環境光による色やムラ、撮影者や撮像機器の影、といったノイズが除去され、かつ文字や図絵等が鮮明に補正された上で、プリントされる。なお、画像の読み取りに適した一定の光源を有するいわゆるスキャナーで原稿等を読み取って得た画像データには、このようなノイズは殆ど載らない。そのため、原稿等をスキャナーで読み取って得た画像データをプリンターでプリントした場合には、良好な画質が得られる。本実施形態は、このようなスキャナーの替りに、撮像部１１等で原稿等を読み取った場合にも、スキャナーで読み取った場合と同様に高い画質の画像を提供できる技術であるとも言える。
【００４６】
３．他の実施形態
本発明は上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば後述するような実施形態を採用可能である。各実施形態を適宜組み合わせた構成も本発明の開示範囲に入る。以下の実施形態の説明においては、既に説明した実施形態と共通の事項は説明を適宜省略する。
【００４７】
制御部１２は、ステップＳ１５０において、前記乗算する補正画像ＣＩ１と補正画像ＣＩ２との比率を、１対１ではなく、入力画像ＩＩ内の領域毎の特性に応じて異ならせるとしてもよい。この場合、制御部１２は、入力画像ＩＩ内の単位領域毎に、画像を解析し特性を認定する。ただし、当該解析は、入力画像ＩＩそのものを対象とするのではなく、例えば、補正画像ＣＩ１を入力画像ＩＩとみなし、補正画像ＣＩ１を当該解析の対象としてもよい。ここでいう単位領域とは、予めサイズ（画素数）が規定された領域である。このような単位領域毎の特性とは、例えば、文字を含む、あるいは、図絵を含む、といった特性である。これら特性を認定するための解析は、公知の手法を含めて種々考えられる。例えば、制御部１２は、単位領域毎の周波数解析によって文字を含む領域であるか図絵を含む領域であるかを認定したり、単位領域毎の輝度分布を求めて当該輝度分布の形状に基づいて文字を含む領域であるか図絵を含む領域であるかを認定したりする。あるいは、単位領域毎に文字認識（パターン認識の一種）を行い、文字が認識できた領域に対し、文字を含むという特性を認定する。
【００４８】
このように何らかの手法により単位領域毎の特性を認定したら、制御部１２は、補正画像ＣＩ１と補正画像ＣＩ２とを式（５）に従って乗算して補正画像ＣＩ３を生成する際に、座標（ｘ，ｙ）が属する前記単位領域の前記認定した特性に応じて異なる重み付けを、ＣＩ１（ｘ，ｙ）とＣＩ２（ｘ，ｙ）に対して行う。具体的には、図絵を含む特性を認定した単位領域に属する座標（ｘ，ｙ）についてのＣＩ３（ｘ，ｙ）を算出する際には、ＣＩ１（ｘ，ｙ）の重みを高くし、ＣＩ２（ｘ，ｙ）の重みを低くする。一方、文字を含む特性を認定した単位領域に属する座標（ｘ，ｙ）についてのＣＩ３（ｘ，ｙ）を算出する際には、ＣＩ１（ｘ，ｙ）の重みを低くし、ＣＩ２（ｘ，ｙ）の重みを高くする。このような構成によれば、入力画像ＩＩ内の領域毎の特性に応じて最適な補正結果（文字が含まれている領域であれば文字を鮮明にし、絵図が含まれている領域であれば絵図を鮮明にした補正結果）が得られる。
【００４９】
また、ステップＳ１２０で生成するぼかし画像は、２つではなく３つ（あるいは３つ以上）であってもよい。例えば、制御部１２は、入力画像ＲＩに対して、前記第２のぼかし処理よりもぼかしの強度が弱い第３のぼかし処理を行うことにより、第３のぼかし画像を生成する。そして、ステップＳ１３０では、第３のぼかし画像についても拡大を行い、ステップＳ１４０では、入力画像ＩＩを、第３のぼかし画像によっても覆い焼き処理する。なお、第３のぼかし画像を用いて覆い焼き処理する際の入力画像ＩＩは、例えば、上述した第２のぼかし画像（ぼかし画像ＦＩ２）を用いて覆い焼きする際の入力画像ＩＩに施したシャープネス処理とはエッジ強調の程度が異なるシャープネス処理を施しておくとしてもよい。そして、ステップＳ１５０では、制御部１２は、この第３のぼかし画像を用いた覆い焼き処理により生成した補正画像と、補正画像ＣＩ１と、補正画像ＣＩ２とを乗算あるいは合成等することにより、最終的な補正画像（補正画像ＣＩ３）を算出するとしてもよい。
【符号の説明】
【００５０】
１０…画像処理装置、１１…撮像部、１２…制御部、１３…通信Ｉ／Ｆ、１４…表示部、１５…操作受付部、２０…ＡＰ、３０…プリンター、ＣＩ１，ＣＩ２，ＣＩ３…補正画像、ＦＩ１，ＦＩ２…ぼかし画像、Ｇ１，Ｇ２…ガウシアンフィルタ、ＩＩ，ＲＩ…入力画像
【図１】
2016038849.tif 000005
【図２】
2016038849.tif 000006
【図３】
2016038849.tif 000007