(57)【要約】【課題】前景に相当する画素の輝度値とその周囲の背景に相当する画素の輝度値との差が小さくても、コントラストを改善できる画像補正用コンピュータプログラムを提供する。【解決手段】画像補正用コンピュータプログラムは、前景と背景とを含む被写体が写った画像の各画素に対して、その画素を含む領域内の画素値の分布に応じてその画素が前景が写っている候補となる前景候補画素か背景が写っている候補となる背景候補画素かを判定し、前景候補画素のそれぞれについて、その前景候補画素の画素値を、背景候補画素の何れかの画素値で置換した背景補間画像を生成し、背景補間画像を平滑化して平滑化画像を生成し、補正画像の各画素の画素値を、平滑化画像の対応画素の画素値に対する画像の対応画素の画素値の比に応じた値として算出することで補正画像を生成することをコンピュータに実行させるための命令を有する。【選択図】図１０
2016197377.tif 000002
【特許請求の範囲】
【請求項１】
前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定し、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成し、
前記背景補間画像を平滑化して平滑化画像を生成し、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する、
ことをコンピュータに実行させるための画像補正用コンピュータプログラム。
【請求項２】
前記画像を所定の間引き率で間引くことにより縮小画像を生成することをさらに含み、
前記前景候補画素か前記背景候補画素かを判定することは、前記縮小画像の各画素について、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景候補画素か前記背景候補画素かを判定し、
前記背景補間画像を生成することは、前記縮小画像上の前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記縮小画像上の前記背景候補画素の何れかの画素値で置換することで前記背景補間画像を生成し、
前記平滑化画像を生成することは、前記背景補間画像を平滑化して得られた画像に対して補間処理を行うことで前記画像と同サイズの前記平滑化画像を生成する、
請求項１に記載の画像補正用コンピュータプログラム。
【請求項３】
前記背景補間画像を生成することは、前記背景候補画素のそれぞれについて輝度勾配方向を求め、前記前景候補画素のそれぞれについて、当該前景候補画素に最も近い第１の前記背景候補画素についての前記輝度勾配方向に沿って、当該前景候補画素を挟んで位置する二つの第２の前記背景候補画素の画素値に基づく補間によって算出される値で当該前景候補画素の画素値を置換する、
請求項１または２に記載の画像補正用コンピュータプログラム。
【請求項４】
前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定し、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成し、
前記背景補間画像を平滑化して平滑化画像を生成し、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する、
ことを含む画像補正方法。
【請求項５】
前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定する判定部と、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成する背景補間画像生成部と、
前記背景補間画像を平滑化して平滑化画像を生成する平滑化部と、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する補正画像生成部と、
を有する画像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、画像に写っている被写体のコントラストを補正する画像補正用コンピュータプログラム、画像補正装置及び画像補正方法に関する。
【背景技術】
【０００２】
被写体を撮影する際に、被写体の一部が照明され、被写体の他の一部に影がかかっていることがある。このような場合、得られた画像上では、被写体のうちの照明された部分の輝度と、影が掛かった部分の輝度の差が大き過ぎて、何れか一方の部分が識別し難くなることがある。そこで、ダイナミックレンジを圧縮することで、被写体のコントラストを改善できる技術が提案されている（例えば、特許文献１を参照）。
【０００３】
例えば、特許文献１に開示された方法は、i番目のスペクトル帯域における各位置(x,y)における強度値I(x,y)にＮ個の周囲視野関数のそれぞれを畳み込んで得られた値に対する強度値I(x,y)の比の対数の重み付け和を調整された強度値として算出する。そしてその方法は、i番目のスペクトル帯域における各位置における調整された強度値を共通関数でフィルタリングすることで得られた、i番目のスペクトル帯域に対して調整された強度値に基づいて改善されたディジタル画像を表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０００−５１１３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、被写体が媒体に印刷された文書のように、前景（例えば、文字）の幅が狭いと、画像上では、前景の幅が１画素前後となることがある。このような場合、前景に相当する画素でも、前景に相当する部分と背景に相当する部分とが含まれるために、前景に相当する画素の輝度値が、その周囲の背景の輝度値に影響される。その結果として、前景に相当する画素の輝度値と背景に相当する画素の輝度値との差が小さいことがある。
【０００６】
また、撮影時の照明光が、室内の蛍光灯による光などである場合、照明光の照度が低く、その結果として、画像上で、前景に相当する画素の輝度値とその周囲の背景に相当する画素の輝度値との差が小さいことがある。
【０００７】
このように、前景に相当する画素の輝度値とその周囲の背景に相当する画素の輝度値との差が小さい場合には、特許文献１に開示された技術を適用しても、被写体のコントラストの改善が不十分となることがある。
【０００８】
そこで本明細書は、前景に相当する画素の輝度値とその周囲の背景に相当する画素の輝度値との差が小さくても、コントラストを改善できる画像補正用コンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
一つの実施形態によれば、画像補正用コンピュータプログラムが提供される。この画像補正用コンピュータプログラムは、前景と背景とを含む被写体が写った画像の各画素に対して、その画素を含む領域内の画素値の分布に応じてその画素が前景が写っている候補となる前景候補画素か背景が写っている候補となる背景候補画素かを判定し、前景候補画素のそれぞれについて、その前景候補画素の画素値を、背景候補画素の何れかの画素値で置換した背景補間画像を生成し、背景補間画像を平滑化して平滑化画像を生成し、補正画像の画素のそれぞれについて、その画素の画素値を、平滑化画像の対応画素の画素値に対する画像の対応画素の画素値の比に応じた値として算出することで補正画像を生成する、ことをコンピュータに実行させるための命令を有する。
【００１０】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１１】
本明細書に開示された画像補正用コンピュータプログラムは、前景に相当する画素の輝度値とその周囲の背景に相当する画素の輝度値との差が小さくても、コントラストを改善できる。
【図面の簡単な説明】
【００１２】
【図１】（ａ）は、被写体である文書を撮影して得られた原画像の一例を示す図である。（ｂ）は、（ａ）に示された原画像の平滑化画像の輝度値に対する原画像の輝度値の比を表す補正画像の一例である。
【図２】一つの実施形態による画像補正装置が組み込まれた撮像装置のハードウェア構成図である。
【図３】画像補正処理に関する制御部の機能ブロック図である。
【図４】局所的２値化処理の動作フローチャートである。
【図５】（ａ）は、原画像の一例を示す図であり、（ｂ）は、得られた２値画像の一例を示す図である。
【図６】置換処理の動作フローチャートである。
【図７】（ａ）は、図５（ａ）に示された原画像に対して置換処理が１回行われたときの背景補間画像及びその各画素の輝度値の分布を表す。（ｂ）は、（ａ）に示される背景補間画像に対応する２値画像を表す。（ｃ）は、２回目の置換処理が行われたときの背景補間画像及びその各画素の輝度値の分布を表す。
【図８】平滑化処理の動作フローチャートである。
【図９】補正画像生成部による処理の動作フローチャートである。
【図１０】画像補正処理の動作フローチャートである。
【図１１】（ａ）は、被写体を文書とする原画像の一例を表す図である。（ｂ）は、（ａ）に示された原画像に対応する２値画像を表す図である。（ｃ）は、背景補間画像の一例を示す図である。（ｄ）は平滑化画像の一例を示す図である。（ｅ）は、補正画像の一例を示す図である。
【図１２】第２の実施形態による、画像補正処理に関する制御部の機能ブロック図である。
【図１３】第２の実施形態による、画像補正処理の動作フローチャートである。
【図１４】変形例による置換処理の概念を表す図である。
【図１５】（ａ）は、上記の何れかの実施形態による、前景の候補画素の輝度値とその周囲の背景の候補画素の輝度値と、前景の候補画素の輝度値を置換する輝度値の関係を表す。（ｂ）は、変形例による、前景の候補画素の輝度値とその周囲の背景の候補画素の輝度値と、前景の候補画素の輝度値を置換する輝度値の関係を表す。
【図１６】変形例による、置換処理の動作フローチャートである。
【発明を実施するための形態】
【００１３】
以下、図を参照しつつ、画像補正装置について説明する。
最初に、理解を容易にするために、特許文献１に開示の技術のような、いわゆるRetinex処理について説明する。Retinex処理は、人間の視覚系は、物体からの反射光の分布よりも、むしろ、その反射光の分布から、照明光の照度分布を除去した物体表面の反射率の分布に基づいて物体を知覚しているという仮定に基づいている。そのため、Retinex処理では、原画像の画素(x,y)の輝度値をI(x,y)、原画像の画素(x,y)に写っている被写体の反射率をR(x,y)、その画素(x,y)における照明光の照度をL(x,y)としたときに、次式が成立することが仮定される。
I(x,y)=R(x,y)L(x,y)
【００１４】
ここで、照明光の照度の分布Lは、例えば、原画像に対してガウシアンフィルタなどのローパスフィルタを適用して得られる平滑化画像が用いられる。そしてRetinex処理では、R(x,y)=I(x,y)/L(x,y)の演算を行って各画素の反射率R(x,y)を求め、各画素の反射率R(x,y)に定数k(ただし、k>1)を乗じることで、補正画像が得られる。
【００１５】
しかし、Retinex処理では、被写体によっては必ずしも被写体のコントラストが向上しないことがある。
【００１６】
図１（ａ）は、被写体である文書を撮影して得られた原画像の一例を示す図である。図１（ｂ）は、図１（ａ）に示された原画像の平滑化画像の輝度値に対する原画像の輝度値の比を表す補正画像の一例である。
【００１７】
図１（ａ）に示される原画像１００では、前景となる文字の幅が１画素程度であるため、全体的には、前景部分の輝度値と背景部分の輝度値との差がそれほど大きくない。また、Retinex処理において使用される平滑化画像において、前景が写っている画素またはその周囲の画素の輝度値は、前景の影響を受けて、背景そのものの輝度値よりも、ある程度前景の輝度値に近い値となる。そのため、図１（ｂ）に示される補正画像１１０において、前景（文字）が写っている画素と、その周囲の画素とで、平滑化画像の輝度値に対する原画像の輝度値の比の差は小さくなる。
【００１８】
また、画素１０１あるいは画素１０２のように、前景とその周囲の背景との輝度値の差が他の部分と比較して大きいところに相当する画素があると、補正画像１１０において、最小輝度値と最大輝度値がそのような輝度差が大きいところに基づいて決まってしまう。そのため、その他の前景（文字）が写っている画素については、画素１０１及び画素１０２ほど、周囲の画素との輝度差が大きくないので、補正画像１１０上でも、その周囲の背景の画素の輝度との差が小さくなる。その結果、補正画像１１０は全体的にコントラストが低い画像となる。
【００１９】
上記のように、平滑化画像において、前景が写っている画素またはその周囲の画素の輝度値が前景の影響を受けることは、被写体のコントラストの向上を抑制してしまう。また、平滑化画像は、本来、照明の照度の分布を表すものであり、前景と背景の輝度値の違いとは無関係であることが好ましい。そのため、平滑化画像の各画素の輝度値が、前景と背景の輝度値の違いに影響されることは好ましくない。
【００２０】
そこで、本実施形態による画像補正装置は、原画像の各画素について、背景が写っている候補となる画素である背景候補画素と、前景が写っている候補となる画素である前景候補画素の何れに該当するかを判定する。そして画像補正装置は、前景候補画素のそれぞれについて、その輝度値を、その周囲の背景候補画素の輝度値で置換する。そして画像補正装置は、そのような置換がなされた画像に対して平滑化処理を行うことで、照明光の照度分布を疑似的に表す平滑化画像を生成する。そして画像補正装置は、画素ごとに、その平滑化画像と原画像の輝度値の比を求め、その比に応じた値を、補正画像のその画素の値とする。
【００２１】
なお、本実施形態では、処理対象となる画像は、各画素の画素値が輝度成分を持つ、グレー画像あるいはHLS表色系で表された画像とする。しかし、処理対象となる画像は、各画素の画素値が複数の色成分を持つ、RGB表色系で表されるカラーデジタル画像であってもよい。この場合には、任意の色成分について下記に説明する処理が実行されればよく、下記の説明における輝度は、色成分と読み替えられる。
【００２２】
図２は、一つの実施形態による画像補正装置が組み込まれた撮像装置のハードウェア構成図である。撮像装置１は、ユーザインターフェース部２と、撮像部３と、記憶媒体アクセス装置４と、記憶部５と、制御部６とを有する。ユーザインターフェース部２、撮像部３、記憶媒体アクセス装置４、記憶部５及び制御部６は、筐体７内に配置される。なお、撮像装置１は、例えば、携帯電話機、携帯情報端末、デジタルカメラまたはタブレット型コンピュータである。さらに撮像装置１は、撮像装置１を他の機器に接続するための通信インターフェース回路（図示せず）を有していてもよい。なお、図２は、撮像装置１が有する構成要素を説明するための図であり、撮像装置１の各構成要素の実際の配置を表した図ではないことに留意されたい。
【００２３】
ユーザインターフェース部２は、例えば、液晶ディスプレイ、あるいは有機エレクトロルミネッセンスディスプレイを有し、ユーザインターフェース部２の表示画面が、筐体７の正面に対向するユーザを向くように配置される。そしてユーザインターフェース部２は、撮像部３により生成された画像など、ユーザに対して様々な情報を表示する。またユーザインターフェース部２は、ユーザが撮像装置１に対する操作を行うための複数の操作ボタンを有していてもよい。あるいは、ユーザインターフェース部２は、タッチパネルディスプレイを有してもよい。この場合、ユーザインターフェース部２は、例えば、様々なアイコンまたは操作ボタンを、制御部６からの制御信号に応じて表示する。そしてユーザインターフェース部２は、表示されたアイコンまたは操作ボタンの位置にユーザが触れた場合に、その位置に応じた操作信号を生成し、その操作信号を制御部６へ出力する。
【００２４】
撮像部３は、例えば、２次元アレイ状に配置された固体撮像素子を有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系とを有する。
【００２５】
撮像部３は、ユーザの操作に応じて被写体を撮影することで、その被写体が写った画像を生成する。そして撮像部３は、画像を生成する度に、生成した画像を制御部６へ出力する。
【００２６】
記憶媒体アクセス装置４は、例えば、半導体メモリカードといった記憶媒体８にアクセスする装置である。記憶媒体アクセス装置４は、例えば、記憶媒体８に記憶された、制御部６上で実行されるコンピュータプログラムを読み込み、制御部６に渡す。また、後述するように、制御部６が画像補正装置としての機能を実現するコンピュータプログラムを実行する場合には、記憶媒体アクセス装置４は、記憶媒体８から画像補正用コンピュータプログラムを読み込んで、制御部６に渡してもよい。
【００２７】
記憶部５は、例えば、読み書き可能な不揮発性の半導体メモリと、読み書き可能な揮発性の半導体メモリとを有する。そして記憶部５は、制御部６上で実行される各種のアプリケーションプログラム及び各種のデータを記憶する。また記憶部５は、画像補正処理の対象となる画像、画像補正処理の実行により生成された補正画像、及び、画像補正処理に利用される各種のデータあるいは画像補正処理の途中で生成される各種のデータを記憶する。
【００２８】
制御部６は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部６は、撮像装置１の各部と信号線を介して接続されており、撮像装置１全体を制御する。
また制御部６は、画像補正装置として動作し、撮像部３から受け取った画像に対して画像補正処理を実行する。
【００２９】
図３は、画像補正処理に関する制御部６の機能ブロック図である。制御部６は、局所的２値化部１１と、置換部１２と、平滑化部１３と、補正画像生成部１４とを有する。制御部６が有するこれらの各部は、例えば、制御部６上で実行されるコンピュータプログラムにより実現される。なお、制御部６が有するこれらの各部は、制御部６が有するプロセッサとは別個に、これらの各部の機能を実現する集積回路として、撮像装置１に実装されてもよい。
なお、以下の説明では、画像補正処理の対象となる画像を原画像と呼ぶ。また、本実施形態では、被写体は、媒体上に印刷された文書などであり、原画像上での前景（例えば、文字）の輝度が背景（例えば、媒体の文字が印刷されていない部分）の輝度よりも低いものとする。
【００３０】
局所的２値化部１１は、判定部の一例であり、原画像の各画素について、その画素を含む領域内の輝度分布に応じてその画素が前景候補画素か背景候補画素かを判定する。本実施形態では、前景と背景の違いは、原画像上では輝度の違いとして表される。そこで、局所的２値化部１１は、原画像の各画素について、その画素を含むウインドウ内の各画素の輝度値に基づく局所的２値化処理を行って、前景候補画素か、背景候補画素かを判定し、その判定結果を表す２値画像を生成する。
【００３１】
図４は、局所的２値化部１１により実行される、局所的２値化処理の動作フローチャートである。局所的２値化部１１は、原画像の各画素ごとに、下記の動作フローチャートにしたがって２値化する。
【００３２】
局所的２値化部１１は、着目する画素の周囲に所定サイズのウインドウを設定する（ステップＳ１０１）。なお、ウインドウのサイズは、例えば、前景の想定される最小幅よりも大きく、かつ、原画像よりも小さいサイズ、例えば、7x7画素に設定される。そして局所的２値化部１１は、ウインドウに含まれる各画素の輝度値の平均値mと分散σを算出する（ステップＳ１０２）。
【００３３】
局所的２値化部１１は、分散σが予め設定された分散閾値Thσよりも大きいか否か判定する（ステップＳ１０３）。なお、分散閾値Thσは、各画素の輝度値の取り得る範囲が0〜255である場合、例えば、6に設定される。分散σが分散閾値Thσ以下である場合（ステップＳ１０３−Ｎｏ）、ウインドウ内の輝度分布は比較的一様であると想定される。そして輝度分布が一様であれば、そのウインドウ内には背景しか含まれない可能性が高い。そこで局所的２値化部１１は、着目する画素に対応する２値画像上の画素の値を背景候補画素であることを表す値（例えば、0）に設定する（ステップＳ１０４）。
【００３４】
一方、分散σが分散閾値Thσよりも大きい場合（ステップＳ１０３−Ｙｅｓ）、局所的２値化部１１は、着目する画素の輝度値が平均値mよりも高いか否か判定する（ステップＳ１０５）。着目する画素の輝度値が平均値mよりも高い場合（ステップＳ１０５−Ｙｅｓ）、着目する画素の輝度値がウインドウ内で相対的に高いので、着目する画素には、背景が写っている可能性が高い。そこで局所的２値化部１１は、ステップＳ１０４の処理を実行する。
【００３５】
一方、着目する画素の輝度値が平均値m以下である場合（ステップＳ１０５−Ｎｏ）、着目する画素の輝度値がウインドウ内で相対的に低いので、着目する画素には、前景が写っている可能性が高い。そこで局所的２値化部１１は、着目する画素に対応する２値画像上の画素の値を前景候補画素であることを表す値（例えば、1）に設定する（ステップＳ１０６）。ステップＳ１０４またはＳ１０６の後、局所的２値化部１１は、局所的２値化処理を終了する。
このように、局所的２値化部１１は、原画像の各画素に対して局所的２値化処理を行うことにより、原画像に写っている被写体に対する照明のムラがある場合でも、各画素が、前景候補画素か背景候補画素かを適切に判断できる。
【００３６】
なお、ステップＳ１０３にて、分散σが分散閾値Thσ以下である場合には、ウインドウ内の輝度値の分布が一様なので、そのウインドウ全体が背景に対応する可能性が高い。そこで局所的２値化部１１は、分散σが分散閾値Thσ以下である場合、ウインドウに含まれる全ての画素のそれぞれに対応する２値画像上の画素の値を背景候補画素であることを表す値に設定してもよい。
【００３７】
また、局所的２値化部１１は、原画像をウインドウごとに分割し、ウインドウ内の各画素の輝度値の分散及び平均値を算出した後、ウインドウ内の各画素を順次着目画素として、ステップＳ１０３〜Ｓ１０６の処理を実行してもよい。この場合、輝度値の分散及び平均値の算出回数が削減されるので、局所的２値化部１１は、演算量を削減できる。
【００３８】
図５（ａ）は、原画像の一例を示す図であり、図５（ｂ）は、得られた２値画像の一例を示す図である。図５（ａ）に示される原画像５００には、数字'2'が表されている。そして原画像５００の右側に示した、原画像５００の各画素の輝度値の分布５０１に示されるように、数字'2'に相当する画素の輝度値が、その周囲の画素の輝度値よりも相対的に低くなっている。
【００３９】
一方、局所的２値化処理により得られた２値画像５１０でも、２値画像５１０の各画素の値の分布５１１に示されるように、原画像５００上の数値'2'に対応する画素の値が前景候補画素であることを表す値となっている。
【００４０】
局所的２値化部１１は、生成した２値画像を置換部１２へ出力する。
【００４１】
置換部１２は、背景補間画像生成部の一例であり、２値画像を参照して、原画像のうちの前景候補画素の輝度値をその周囲の背景候補画素の輝度値で置換した画像（以下、便宜上、背景補間画像と呼ぶ）を生成する。
【００４２】
上記のように、平滑化画像は、照明の照度の分布を表すものであり、前景と背景の輝度値の違いとは無関係であることが好ましい。そのため、平滑化画像の各画素の輝度値が、前景と背景の輝度値の違いに影響されることは好ましくない。
【００４３】
そこで、本実施形態では、置換部１２は、平滑化画像を生成する前段階として、疑似的に背景だけが写っている画像に相当する背景補間画像を生成する。
【００４４】
図６は、置換部１２により実行される、置換処理の動作フローチャートである。置換部１２は、下記の動作フローチャートにしたがって、２値画像から前景候補画素が無くなるまで置換処理を繰り返す。なお、２回目以降の置換処理は、背景補間画像に対して実行される。
【００４５】
置換部１２は、原画像中の未着目の画素の中から、所定の順序、例えば、ラスタスキャン順に従って着目画素を設定する（ステップＳ２０１）。そして置換部１２は、２値画像を参照して、着目画素が前景候補画素であり、かつ、着目画素に隣接する画素の何れかが背景候補画素であるか否か判定する（ステップＳ２０２）。
【００４６】
着目画素が前景候補画素であり、かつ、着目画素に隣接する画素の何れかが背景候補画素である場合（ステップＳ２０２−Ｙｅｓ）、置換部１２は、２値画像の着目画素を背景候補画素に置換する。そして置換部１２は、原画像の着目画素に対応する背景補間画像上の画素の輝度値を、着目画素に隣接する背景候補画素の何れかの輝度値とする（ステップＳ２０３）。なお、原画像の着目画素に隣接する背景候補画素が複数存在する場合、置換部１２は、その背景候補画素の何れの輝度値を背景補間画像上の着目画素に対応する画素の輝度値としてもよい。
【００４７】
一方、着目画素が前景候補画素でないか、あるいは、着目画素に隣接する画素の何れも背景候補画素でない場合（ステップＳ２０２−Ｎｏ）、置換部１２は、２値画像の着目画素をそのままとする。そして置換部１２は、原画像の着目画素に対応する背景補間画像上の画素の輝度値を、着目画素の輝度値とする（ステップＳ２０４）。
【００４８】
ステップＳ２０３またはステップＳ２０４の後、置換部１２は、未着目の画素が残っているか否か判定する（ステップＳ２０５）。未着目の画素が残っていれば（ステップＳ２０５−Ｙｅｓ）、置換部１２は、ステップＳ２０１以降の処理を繰り返す。一方、未着目の画素が残っていなければ（ステップＳ２０５−Ｎｏ）、置換部１２は、１回の置換処理を終了する。
【００４９】
図７（ａ）は、図５（ａ）に示された原画像５００に対して置換処理が１回行われたときの背景補間画像７００及び背景補間画像７００の各画素の輝度値の分布７０１を表す。また、図７（ｂ）は、原画像５００に対して置換処理が１回行われたときの２値画像７１０及び２値画像７１０の各画素の輝度値の分布７１１を表す。輝度値の分布７０１に示されるように、ハッチングで表された前景候補画素７０２の輝度値が、隣接する背景候補画素の輝度値で置換されている。この例では、２値画像７１０では、１回目の置換処理によって、分布７１１に示されるように、画素７１２以外の画素は、背景候補画素となっている。
【００５０】
図７（ｃ）は、２回目の置換処理が行われたときの背景補間画像７２０及び背景補間画像７２０の各画素の輝度値の分布７２１を表す。輝度値の分布７２１において、ハッチングで表された前景候補画素７１２が、隣接する背景候補画素の輝度値で置換されている。この例では、２回目の置換処理によって、背景補間画像上の全ての前景候補画素の輝度値は、その周囲の背景候補画素の輝度値で置換されている。
【００５１】
このように、前景候補画素の輝度値は、隣接する背景候補画素が存在する場合には、その隣接する背景候補画素の輝度値で置換され、一方、隣接する背景候補画素が存在しない場合には、その前景候補画素に最も近い背景候補画素の輝度値で置換される。
【００５２】
置換部１２は、全ての前景の候補画素が背景の候補画素の輝度値で置換された背景補間画像を生成すると、その背景補間画像を平滑化部１３へ出力する。
【００５３】
平滑化部１３は、背景補間画像に対して平滑化処理を実行することで、照明光の照度分布を疑似的に表す平滑化画像を生成する。上記のように、背景補間画像は、疑似的に生成した、背景だけが写っている画像に相当する。そのため、背景補間画像に対して平滑化処理を行って得られる平滑化画像は、前景の影響を受けないので、原画像を平滑化して得られる画像よりも、より正確に照明光の照度分布を表している。
【００５４】
図８は、平滑化部１３により実行される、平滑化処理の動作フローチャートである。平滑化部１３は、下記の動作フローチャートにしたがって、背景補間画像に対して平滑化処理を実行する。
【００５５】
平滑化部１３は、背景補間画像中の未着目の画素の中から、所定の順序、例えば、ラスタスキャン順に従って着目画素を設定する（ステップＳ３０１）。そして平滑化部１３は、着目画素を中心とする所定サイズのウインドウを設定する（ステップＳ３０２）。なお、ウインドウのサイズは、例えば、局所的２値化処理において用いられるウインドウと同サイズ、例えば、7x7画素に設定される。あるいは、ウインドウのサイズは、局所的２値化処理において用いられるウインドウよりも大きなサイズ（例えば、9x9〜15x15画素）に設定されてもよい。
【００５６】
平滑化部１３は、ウインドウに含まれる各画素の輝度値の平均値mを算出する（ステップＳ３０３）。そして平滑化部１３は、着目画素の輝度値を平均値mで置換する（ステップＳ３０４）。
【００５７】
ステップＳ３０４の後、平滑化部１３は、未着目の画素が残っているか否か判定する（ステップＳ３０５）。未着目の画素が残っていれば（ステップＳ３０５−Ｙｅｓ）、平滑化部１３は、ステップＳ３０１以降の処理を繰り返す。一方、未着目の画素が残っていなければ（ステップＳ３０５−Ｎｏ）、平滑化部１３は、平滑化処理を終了する。
なお、平滑化部１３は、平滑化処理として、メディアンフィルタ処理、あるいはガウシアンフィルタ処理を用いてもよい。
【００５８】
平滑化部１３は、平滑化画像を補正画像生成部１４へ出力する。
【００５９】
補正画像生成部１４は、補正画像の各画素について、平滑化画像の対応画素の輝度値に対する原画像の対応画素の輝度値の比に応じてその画素の値を算出することで補正画像を生成する。上記のように、平滑化画像は、照明光の照度分布を疑似的に表すものであるため、原画像と平滑化画像の対応画素間の輝度値の比に応じて得られる補正画像は、被写体の反射率の分布を表す画像となる。そのため、被写体の一部に影がかかっていても、補正画像は、その陰に影響されない画像となる。また、本実施形態による平滑化画像は、前景に影響されない背景補間画像を平滑化することで生成されているので、補正画像における被写体のコントラストも向上する。
【００６０】
図９は、補正画像生成部１４により実行される処理の動作フローチャートである。補正画像生成部１４は、下記の動作フローチャートにしたがって、平滑化画像と原画像とから補正画像を生成する。
【００６１】
補正画像生成部１４は、背景補間画像中の未着目の画素の中から、所定の順序、例えば、ラスタスキャン順に従って着目画素を設定する（ステップＳ４０１）。そして補正画像生成部１４は、次式に従って、補正画像の着目画素の画素値を算出する（ステップＳ４０２）。
【数１】
2016197377.tif 000003
ここで、I(x,y)は、座標(x,y)に位置する原画像の着目画素の輝度値を表し、L(x,y)は、座標(x,y)に位置する背景補間画素の輝度値を表す。またkは定数であり、1よりも大きい値、例えば、2〜5に設定される。そしてR(x,y)は、座標(x,y)に位置する補正画像の画素の値を表す。補正画像の画素の値R(x,y)は、被写体の反射率に対応する値となる。
【００６２】
ステップＳ４０２の後、補正画像生成部１４は、未着目の画素が残っているか否か判定する（ステップＳ４０３）。未着目の画素が残っていれば（ステップＳ４０３−Ｙｅｓ）、補正画像生成部１４は、ステップＳ４０１以降の処理を繰り返す。一方、未着目の画素が残っていなければ（ステップＳ４０３−Ｎｏ）、補正画像生成部１４は、処理を終了する。
【００６３】
なお、補正画像生成部１４は、（１）式において、I(x,y)/L(x,y)の代わりに、log(I(x,y)/L(x,y))を求めてもよい。さらに、補正画像生成部１４は、得られた補正画像に対して、前景と背景とが異なる値となるように、局所的２値化部１１が原画像に対して実行する局所的２値化処理と同様の局所的２値化処理を行ってもよい。ただし、前景に対応する画素と背景に対応する画素との間で画素値の差が明確となるように、例えば、前景に対応する画素の値は、画素値の取り得る最小値に設定され、一方、背景に相当する画素の値は、画素値の取り得る最大値に設定される。なお、補正画像では、照明光の照度分布による被写体の輝度ムラは補正されているので、補正画像生成部１４は、補正画像全体に対して２値化処理を実行してもよい。この場合には、補正画像生成部１４は、例えば、大津の２値化処理を補正画像に適用して、２値化閾値を決定してもよい。
さらに、補正画像生成部１４は、補正画像に対して、例えば、補正画像上の画素値の最大値と最小値の差が拡大するように、コントラスト強調処理を実行してもよい。
【００６４】
図１０は、画像補正処理の動作フローチャートである。
局所的２値化部１１は、原画像に対して局所的２値化処理を実行して、原画像上での前景候補画素と背景候補画素とを表す２値画像を生成する（ステップＳ５０１）。置換部１２は、２値画像を参照して、前景候補画素のそれぞれについて、その前景候補画素の輝度値をその周囲の背景候補画素の輝度値で置換した背景補間画像を生成する（ステップＳ５０２）。
【００６５】
平滑化部１３は、背景補間画像に対して平滑化処理を行って、平滑化画像を生成する（ステップＳ５０３）。そして補正画像生成部１４は、補正画像の画素ごとに、平滑化画像の対応画素の輝度値に対する原画像の対応画素の輝度値の比に応じた画素値を算出することで補正画像を生成する（ステップＳ５０４）。そして制御部６は、画像補正処理を終了する。
【００６６】
図１１（ａ）は、被写体を文書とする原画像の一例を表す図である。この例では、原画像１１００において、被写体の一部に影がかかっている。図１１（ｂ）は、原画像１１００に対して局所的２値化処理を適用して得られた２値画像１１０１を表す。２値画像１１０１では、影の境界付近がノイズとなって表れていることが分かる。
【００６７】
図１１（ｃ）は、原画像１１００と２値画像１１０１から求められる背景補間画像の一例を示す図である。背景補間画像１１０２では、前景（この例では、文字）に相当する画素の輝度値がその周囲の背景に相当する画素の輝度値で置換されている。
【００６８】
図１１（ｄ）は、図１１（ｃ）に示された背景補間画像１１０２が平滑化された平滑化画像の一例を示す図である。平滑化画像１１０３では、背景補間画像１１０２と比較して、輝度変化が滑らかになり、照度分布を表すものとなっている。
【００６９】
図１１（ｅ）は、原画像１１００と平滑化画像１１０３とから算出される補正画像の一例を示す図である。補正画像１１０４では、原画像１１００と比較して、前景と背景間のコントラストが向上されていることが分かる。さらに、補正画像１１０４では、影の境界部分にノイズが現れることなく、影の影響が除去されていることが分かる。
【００７０】
以上に説明してきたように、この画像補正装置は、原画像に対して局所的２値化処理を行って検出した前景候補画素の輝度値をその周囲の背景候補画素の輝度値で置換した背景補間画像に基づいて、照明の照度の分布を疑似的に表す平滑化画像を生成する。そのため、この画像補正装置は、照明の照度の分布をより正確に表した平滑化画像を用いて補正画像を生成できるので、前景と背景の画素値の差を大きくした、コントラストの高い補正画像を得ることができる。またこの画像補正装置は、平滑化画像と原画像の対応画素間の輝度値の比に応じて補正画像の画素値を求めるので、影の影響が除去され、かつ、影がかかっている領域と影がかかっていない領域間の境界で補正画像上にノイズが重畳されることを防止できる。
【００７１】
なお、他の実施形態によれば、画像補正装置は、原画像の縮小画像を生成し、その縮小画像から照明光の照度分布を表す画像を生成してもよい。
【００７２】
図１２は、第２の実施形態による画像補正装置として動作する制御部の機能ブロック図である。制御部６１は、縮小部１５と、局所的２値化部１１と、置換部１２と、平滑化部１３と、拡大部１６と、補正画像生成部１４とを有する。
【００７３】
図１２において、制御部６１が有する各構成要素には、図３に示された第１の実施形態による制御部６が有する対応する構成要素の参照番号と同じ参照番号を付した。
【００７４】
図１３は、第２の実施形態による画像補正処理の動作フローチャートである。以下では、図１３に示される動作フローチャートにしたがって、制御部６１が有する各部の処理を説明する。ただし、第２の実施形態による制御部６１は、第１の実施形態による制御部６と比較して、縮小部１５と、拡大部１６とを有する点で異なるので、以下では、縮小部１５の処理と拡大部１６の処理について主として説明する。
【００７５】
縮小部１５は、原画像に対して所定の間引き率で画素を間引くことにより、縮小画像を生成する（ステップＳ６０１）。なお、所定の間引き率は、例えば、1/4〜1/8に設定される。すなわち、原画像の4〜8画素の中から1画素が選択される。
縮小部１５は、生成した縮小画像を局所的２値化部１１及び置換部１２へ出力する。
【００７６】
局所的２値化部１１は、縮小画像に対して局所的２値化処理を実行することで、縮小画像上での前景候補画素と背景候補画素とを表す２値画像を生成する（ステップＳ６０２）。置換部１２は、その２値画像を参照して、縮小画像上の前景候補画素の輝度値を、その周囲の背景候補画素の輝度値で置換した背景補間画像を生成する（ステップＳ６０３）。そして平滑化部１３は、縮小画像から生成された背景補間画像に対して平滑化処理を実行して平滑化画像を生成する（ステップＳ６０４）。平滑化部１３は、その平滑化画像を拡大部１６へ出力する。
【００７７】
拡大部１６は、平滑化画像に対して補間処理を実行することで、原画像と同サイズの補間平滑化画像を生成する（ステップＳ６０５）。なお、拡大部１６は、補間処理として、例えば、最近傍補間、バイリニア補間、あるいはバイキュービック補間を用いることができる。
拡大部１６は、補間平滑化画像を補正画像生成部１４へ出力する。
【００７８】
補正画像生成部１４は、補正画像の画素ごとに、（１）式に従って補間平滑化画像と原画像の対応画素間の輝度値の比に応じた画素値を算出することで、補正画像を生成する（ステップＳ６０６）。そして制御部６１は、画像補正処理を終了する。
【００７９】
この実施形態によれば、画像補正装置は、原画像の縮小画像に基づいて算出した平滑化画像を、照明光の照度分布を疑似的に表す画像として利用する。縮小画像は、原画像の輝度分布を粗く表すものであるため、原画像よりも照明光の照度分布に近い画像となる。そのため、この画像補正装置は、照明光の照度分布をより適切に表す画像を補正画像の生成に利用できる。
【００８０】
また、上記の各実施形態において、互いに隣接する複数の前景候補画素の集合が、原画像上で輝度が急激に変化する領域に含まれていると、前景候補画素間で、隣接する背景候補画素の輝度値が大きく異なることがある。このような場合、背景補間画像で、互いに隣接する複数の前景候補画素のそれぞれの置換後の輝度値の差も大きく異なり、エッジが形成されることがある。そのような背景補間画像から生成された平滑化画像を用いて補正画像を求めると、補正画像上で、そのエッジに相当する領域にノイズが表れる可能性がある。
【００８１】
そこで、上記の各実施形態の変形例では、置換部１２は、前景候補画素の集合に対して、輝度勾配の方向に沿ってその集合の両端に隣接する二つの背景候補画素の輝度値を用いて補間処理を行って得られる補間値で、前景候補画素の輝度値を置換する。なお、集合に含まれる前景候補画素の数は一つでもよい。
【００８２】
図１４は、この変形例による置換処理の概念を表す図である。図１４において領域１４００は、互いに隣接する複数の前景候補画素が含まれる領域を表す。また、領域１４００での輝度勾配の方向が線１４０１で表される。この場合、領域１４００内の前景候補画素１４０２に対して、その前景候補画素１４０２を通り、かつ、輝度勾配の方向に沿った線上に位置する、領域１４００の両端に隣接する二つの背景候補画素１４０３、１４０４が特定される。そして背景候補画素１４０３の輝度値G1と、背景候補画素１４０４の輝度値G2とを、例えば、線形補間することで得られた輝度値で、前景候補画素１４０２の輝度値が置換される。
【００８３】
図１５（ａ）は、上記の何れかの実施形態による、前景候補画素の輝度値とその周囲の背景候補画素の輝度値と、前景候補画素の輝度値を置換する輝度値の関係を表す。一方、図１５（ｂ）は、この変形例による、前景候補画素の輝度値とその周囲の背景候補画素の輝度値と、前景候補画素の輝度値を置換する輝度値の関係を表す。図１５（ａ）及び図１５（ｂ）において、横軸は画像上の位置を表し、縦軸は輝度値を表す。
【００８４】
図１５（ａ）において、実線で表されるプロファイル１５００は、原画像における、前景候補画素が含まれる領域１５０１及びその周辺における、輝度勾配方向に沿った輝度の分布を表す。また、点線で表されるプロファイル１５０２は、上記の何れかの実施形態による、背景補間画像における、領域１５０１及びその周辺における、輝度勾配方向に沿った輝度の分布を表す。プロファイル１５０２に示されるように、領域１５０１内で左側に位置する前景候補画素a1の輝度値は、領域１５０１の左側に隣接する背景候補画素b1の輝度値となる。一方、領域１５０１内で右側に位置する前景候補画素a2の輝度値は、領域１５０１の右側に隣接する背景候補画素b2の輝度値となる。そのため、背景補間画像の領域１５０１内で、エッジが形成されてしまう。
【００８５】
一方、図１５（ｂ）において、実線で表されるプロファイル１５００は、原画像における、前景の候補画素が含まれる領域１５０１及びその周辺における、輝度勾配方向に沿った輝度の分布を表す。また、点線で表されるプロファイル１５１０は、この変形例による、背景補間画像における、領域１５０１及びその周辺における、輝度勾配方向に沿った輝度の分布を表す。
【００８６】
プロファイル１５１０に示されるように、領域１５０１内の前景候補画素a1、a2の輝度値は、領域１５０１の左側に隣接する背景候補画素b1の輝度値と領域１５０１の右側に隣接する背景候補画素b2の輝度値とを線形補間することで算出される。そのため、背景補間画像上での領域１５０１内での各画素の値も、その周囲の輝度勾配に応じて滑らかに変化する。
【００８７】
図１６は、この変形例による、置換部１２により実行される置換処理の動作フローチャートである。
置換部１２は、原画像の各背景候補画素について、輝度勾配方向を求める（ステップＳ７０１）。なお、置換部１２は、例えば、着目する背景候補画素について、水平方向に隣接する画素との輝度値の差Δxと、垂直方向に隣接する画素との輝度値の差Δyを求め、その比(Δy/Δx)の逆正接θ=arctan(Δy/Δx)を、輝度勾配方向とする。なお、輝度勾配方向を算出するために参照される、隣接画素も、背景候補画素であることが好ましい。
【００８８】
置換部１２は、原画像中の未着目の画素の中から、所定の順序、例えば、ラスタスキャン順に従って着目画素を設定する（ステップＳ７０２）。そして置換部１２は、２値画像を参照して、着目画素が前景候補画素であるか否か判定する（ステップＳ７０３）。
【００８９】
着目画素が前景候補画素である場合（ステップＳ７０３−Ｙｅｓ）、置換部１２は、着目画素に最も近い背景候補画素の輝度勾配方向に沿って、着目画素を挟んだ両側のそれぞれについて、着目画素に最も近い背景候補画素を特定する（ステップＳ７０４）。そして置換部１２は、特定した二つの背景候補画素の輝度値を線形補間することで得られた値を、着目画素に対応する背景補間画像の画素の輝度値とする（ステップＳ７０５）。また、置換部１２は、２値画像の着目画素を背景候補画素に置換する。
【００９０】
一方、着目画素が前景候補画素でない場合（ステップＳ７０３−Ｎｏ）、置換部１２は、２値画像の着目画素をそのままとする。そして置換部１２は、背景補間画像上の着目画素に対応する画素の輝度値を、原画像の着目画素の輝度値とする（ステップＳ７０６）。
【００９１】
ステップＳ７０５またはステップＳ７０６の後、置換部１２は、未着目の画素が残っているか否か判定する（ステップＳ７０７）。未着目の画素が残っていれば（ステップＳ７０７−Ｙｅｓ）、置換部１２は、ステップＳ７０２以降の処理を繰り返す。一方、未着目の画素が残っていなければ（ステップＳ７０７−Ｎｏ）、置換部１２は、置換処理を終了する。なお、置換部１２は、前景候補画素の両側に背景候補画素が検出されない場合には、その前景候補画素の輝度値を、その前景候補画素に最も近い背景候補画素の輝度値で置換してもよい。
【００９２】
この変形例によれば、画像補正装置は、前景候補画素の集合が、原画像上で輝度が急激に変化する領域に含まれている場合でも、その集合に対応する領域において輝度が滑らかに変化する背景補間画像を生成できる。そのため、この画像補正装置は、そのような集合に相当する領域において補正画像上でノイズが生じることを抑制できる。
【００９３】
また他の変形例によれば、置換部は、前景候補画素のそれぞれについて、その候補画素を中心とする所定サイズ（例えば、7x7画素）のウインドウを設定し、そのウインドウ内の背景の候補画素の輝度値の平均値で、前景の候補画素の輝度値を置換してもよい。この変形例でも、画像補正装置は、互いに隣接する複数の前景の候補画素の集合が、原画像上で輝度が急激に変化する領域に含まれている場合でも、その集合に対応する領域において輝度が滑らかに変化する背景補間画像を生成できる。そのため、この画像補正装置は、そのような集合に相当する領域において補正画像上でノイズが生じることを抑制できる。
【００９４】
さらに他の変形例によれば、画像補正装置は、前景が背景よりも明るい被写体を撮影して得られる画像に適用されてもよい。さらに、前景が背景よりも明るい被写体の一部に強いスポットライトが照射され、原画像上で、スポットライトが照射されている部分とそうでない部分との境界が生じている場合がある。この場合には、局所的２値化部１１は、局所的２値化処理のステップＳ１０５において、着目する画素の輝度値が平均値以上の場合に、その画素を前景候補画素に設定し、着目する画素の輝度値が平均値未満の場合に、その画素を背景候補画素に設定すればよい。これにより、前景が背景よりも明るい場合でも、画像補正装置は、スポットライトが照射されている部分とそうでない部分との境界に相当するノイズを抑制し、かつ、被写体のコントラストを向上させた補正画像を生成できる。
【００９５】
上記の実施形態またはその変形例による画像補正装置の各部の機能は、プロセッサ上で実行されるコンピュータプログラムにより実現されてもよい。そのようなコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。ただし、その記録媒体には、搬送波は含まれない。
【００９６】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００９７】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定し、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成し、
前記背景補間画像を平滑化して平滑化画像を生成し、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する、
ことをコンピュータに実行させるための画像補正用コンピュータプログラム。
（付記２）
前記画像を所定の間引き率で間引くことにより縮小画像を生成することをさらに含み、
前記前景候補画素か前記背景候補画素かを判定することは、前記縮小画像の各画素について、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景候補画素か前記背景候補画素かを判定し、
前記背景補間画像を生成することは、前記縮小画像上の前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記縮小画像上の前記背景候補画素の何れかの画素値で置換することで前記背景補間画像を生成し、
前記平滑化画像を生成することは、前記背景補間画像を平滑化して得られた画像に対して補間処理を行うことで前記画像と同サイズの前記平滑化画像を生成する、
付記１に記載の画像補正用コンピュータプログラム。
（付記３）
前記背景補間画像を生成することは、前記前景候補画素のそれぞれについて、前記背景候補画素のうちの当該前景候補画素に隣接する背景候補画素の画素値か、または当該前景候補画素に最も近い背景候補画素の画素値で当該前景候補画素の画素値を置換する、付記１または２に記載の画像補正用コンピュータプログラム。
（付記４）
前記背景補間画像を生成することは、前記背景候補画素のそれぞれについて輝度勾配方向を求め、前記前景候補画素のそれぞれについて、当該前景候補画素に最も近い第１の前記背景候補画素についての前記輝度勾配方向に沿って、当該前景候補画素を挟んで位置する二つの第２の前記背景候補画素の画素値に基づく補間によって算出される値で当該前景候補画素の画素値を置換する、
付記１または２に記載の画像補正用コンピュータプログラム。
（付記５）
前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定し、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成し、
前記背景補間画像を平滑化して平滑化画像を生成し、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する、
ことを含む画像補正方法。
（付記６）
前景と背景とを含む被写体が写った画像の各画素に対して、当該画素を含む領域内の画素値の分布に応じて当該画素が前記前景が写っている候補となる前景候補画素か前記背景が写っている候補となる背景候補画素かを判定する判定部と、
前記前景候補画素のそれぞれについて、当該前景候補画素の画素値を、前記背景候補画素の何れかの画素値で置換した背景補間画像を生成する背景補間画像生成部と、
前記背景補間画像を平滑化して平滑化画像を生成する平滑化部と、
補正画像の画素のそれぞれについて、当該画素の画素値を前記平滑化画像の対応画素の画素値に対する前記画像の対応画素の画素値の比に応じた値として算出することで前記補正画像を生成する補正画像生成部と、
を有する画像補正装置。
【符号の説明】
【００９８】
１    撮像装置
２    ユーザインターフェース部
３    撮像部
４    記憶媒体アクセス装置
５    記憶部
６、６１    制御部
７    筐体
８    記憶媒体
１１    局所的２値化部
１２    置換部
１３    平滑化部
１４    補正画像生成部
１５    縮小部
１６    拡大部
【図２】
2016197377.tif 000004
【図３】
2016197377.tif 000005
【図４】
2016197377.tif 000006
【図６】
2016197377.tif 000007
【図８】
2016197377.tif 000008
【図９】
2016197377.tif 000009
【図１０】
2016197377.tif 000010
【図１２】
2016197377.tif 000011
【図１３】
2016197377.tif 000012
【図１５】
2016197377.tif 000013
【図１６】
2016197377.tif 000014
【図１】
2016197377.tif 000015
【図５】
2016197377.tif 000016
【図７】
2016197377.tif 000017
【図１１】
2016197377.tif 000018
【図１４】
2016197377.tif 000019