(57)【要約】【課題】特定の被写体の画像を簡単かつ確実に抽出する。【解決手段】  入射光量の対数にほぼ比例した画素値からなる画像データを出力する撮像装置１１１は、照明装置１１２により所定の被写体に照明が照射された画像と照射されていない画像を撮像する。閾値決定部１２５は、照明が照射された画像データと照射されていない画像データの差分をとった差分データの差分値の分布に基づいて、被写体の画像の画素値の差分値と、前記被写体以外の画像の画素値の差分値とを区分する閾値を決定する。画像抽出部１２６は、閾値に基づいて、被写体の画像を抽出する。本発明は、顔の画像を用いて個人を認証する顔認証装置に適用することができる。【選択図】図２
2006259829.tif 000002
【特許請求の範囲】
【請求項１】
入射光量の対数にほぼ比例した画素値からなる画像データを出力する撮像装置と、
前記撮像装置から出力された前記画像データであって、所定の被写体に照明が照射されているとき撮像された前記画像データの各画素値と、前記被写体に前記照明が照射されていないとき撮像された前記画像データの各画素値との差分である差分値からなる差分データを生成する差分データ生成手段と、
前記差分データの差分値の分布に基づいて、前記被写体の画像の画素値の差分値と、前記被写体以外の画像の画素値の差分値とを区分する閾値を決定する閾値決定手段と、
前記閾値に基づいて、前記画像データから、前記被写体の画像を抽出する抽出手段と
を含むことを特徴とする画像処理システム。
【請求項２】
前記被写体に前記照明を照射するとともに、前記撮像装置のフレーム周期に同期して、前記照明を点滅する照明装置を
さらに含むことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
入射光量の対数にほぼ比例した画素値からなる画像データであって、所定の被写体に照明が照射されているとき撮像された画像の画像データの各画素値と、前記被写体に前記照明が照射されていないとき撮像された画像の画像データの各画素値との差分である差分値からなる差分データを生成する差分データ生成手段と、
前記差分データの差分値の分布に基づいて、前記被写体の画像の画素値の差分値と、前記被写体以外の画像の画素値の差分値とを区分する第１の閾値を決定する閾値決定手段と、
前記第１の閾値に基づいて、前記画像データから、前記被写体の画像の画像データを抽出する抽出手段と
を含むことを特徴とする画像処理装置。
【請求項４】
前記閾値決定手段は、前記差分データにおいて、差分値の絶対値が同じ画素の数が所定の第２の閾値以下となる差分値の絶対値の最小値と、前記最小値より大きい差分値の絶対値であって、差分値の絶対値が同じ画素の数が前記第２の閾値以上となる差分値の絶対値の最小値の間の差分値の絶対値を前記第１の閾値に決定する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像データは、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子を有する撮像装置により出力される
ことを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記撮像素子は、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））である
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記照明は近赤外光による照明である
ことを特徴とする請求項３乃至６に記載の画像処理装置。
【請求項８】
入射光量の対数にほぼ比例した画素値からなる画像データであって、所定の被写体に照明が照射されているとき撮像された画像の画像データの各画素値と、前記被写体に前記照明が照射されていないとき撮像された画像の画像データの各画素値との差分である差分値からなる差分データを生成する差分データ生成ステップと、
前記差分データの差分値の分布に基づいて、前記被写体の画像の画素値の差分値と、前記被写体以外の画像の画素値の差分値とを区分する第１の閾値を決定する閾値決定ステップと、
前記第１の閾値に基づいて、前記画像データから、前記被写体の画像の画像データを抽出する抽出ステップと
を含むことを特徴とする画像処理方法。
【請求項９】
入射光量の対数にほぼ比例した画素値からなる画像データであって、所定の被写体に照明が照射されているとき撮像された画像データの各画素値と、前記被写体に前記照明が照射されていないとき撮像された画像データの各画素値との差分である差分値からなる差分データを生成する差分データ生成ステップと、
前記差分データの差分値の分布に基づいて、前記被写体の画像の画素値の差分値と、前記被写体以外の画像の画素値の差分値とを区分する第１の閾値を決定する閾値決定ステップと、
前記第１の閾値に基づいて、前記画像データから、前記被写体の画像を抽出する抽出ステップと
を含むことを特徴とするプログラム。
【請求項１０】
請求項９に記載のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、特定の被写体の画像を抽出する画像処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来、特定の被写体に２種類の照明を切り替えて照射し、各照明を照射した画像の画像データの差分をとることにより、特定の被写体の画像を抽出することが提案されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開平５−９１４０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
図１は、従来の撮像装置に使用されるCCD（Charge Coupled Device）撮像素子の感度特性を示すグラフである。図１の横軸は、入射光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。線１はCCD撮像素子の感度特性を示し、線２は人の目の感度特性を示している。なお、従来のCMOS（Complementary Metal Oxide Semiconductor）撮像素子の感度特性は、線１に示されるCCD撮像素子の感度特性とほぼ類似したものとなる。
【０００５】
図１に示されるように、CCD撮像素子は、人の目よりダイナミックレンジが狭い。従って、CCD撮像素子を用いた撮像装置では、入射光の照度がCCD撮像素子のダイナミックレンジ内に収まるように、絞りやシャッタースピードなどを調整する必要がある。
【０００６】
しかしながら、被写体の光の照度の範囲がCCD撮像素子のダイナミックレンジを超える場合、被写体の明るい領域の画素の画素値がCCD撮像素子が出力可能な画素値の最大値に制限されたり、被写体の暗い領域の画素の画素値がCCD撮像素子が出力可能な画素値の最小値に制限されたりする輝度クリッピングが発生する。また、入射光量を調整した場合、例えば、被写体の輝度が変動しない領域に対応する入射光量が変動し、その領域の画素値が変動するなど、入射光量の調整に伴う画素値の変動が発生する。すなわち、従来のCCD撮像素子を用いた撮像装置では、被写体の輝度の変動および被写体の動き以外の要因により画素値が変動する。
【０００７】
従って、特定の被写体の画像を抽出するためには、被写体の輝度の変動および被写体の動きによる画素値の変動と、それ以外の要因による画素値の変動を区分する必要がある。そのため、例えば、その被写体の画像の輪郭を強調する輪郭強調処理などを行う必要があり、処理が複雑になってしまう。また、周囲の明るさが大きく変化したり、被写体の輝度の範囲が広い場合には、被写体の輝度の変動および被写体の動きによる画素値の変動と、それ以外の要因による画素値の変動を区分することが困難であり、特定の被写体の画像を正確に抽出できない場合がある。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、特定の被写体の画像を簡単かつ確実に抽出するようにするものである。
【課題を解決するための手段】
【０００９】
本発明の画像処理システムは、入射光量の対数にほぼ比例した画素値からなる画像データを出力する撮像装置と、撮像装置から出力された画像データであって、所定の被写体に照明が照射されているとき撮像された画像データの各画素値と、被写体に照明が照射されていないとき撮像された画像データの各画素値との差分である差分値からなる差分データを生成する差分データ生成手段と、差分データの差分値の分布に基づいて、被写体の画像の画素値の差分値と、被写体以外の画像の画素値の差分値とを区分する閾値を決定する閾値決定手段と、閾値に基づいて、画像データから、被写体の画像を抽出する抽出手段とを含むことを特徴とする。
【００１０】
撮像装置は、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型撮像素子を用い、人の目より広いダイナミックレンジで被写体を撮像できる撮像装置により構成される。
【００１１】
差分データ生成手段、閾値決定手段、および、抽出手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。
【００１２】
被写体に照射される照明は、例えば、可視光、近赤外光、紫外光とされる。
【００１３】
差分データは、例えば、所定の被写体に照明が照射されているとき撮像された画像データと、被写体に照明が照射されていないとき撮像された画像データの同じ位置にある画素間の差分をとることにより生成される。また、差分値は、例えば、差分データの各画素の画素値とされる。
【００１４】
差分値の分布は、例えば、差分データにおける差分値の絶対値の度数分布とされる。
【００１５】
閾値決定手段は、例えば、差分値の分布において、差分値の絶対値が同じ画素の数が第１の閾値以下となる差分値の絶対値の第１の最小値と、第１の最小値より大きい差分値の絶対値であって、差分値の絶対値が同じ画素の数が第１の閾値以上となる差分値の最小値との中間値に閾値を決定する。
【００１６】
また、閾値決定手段は、例えば、差分値の絶対値の範囲を所定の数の階級に区分して差分値の分布が検出された場合、例えば、画素数が第２の閾値以下となる階級のうち、差分値の絶対値の範囲が最小となる第１の階級と、第１の階級より差分値の絶対値の範囲が大きい階級のうち、画素数が第１の閾値以上であり、かつ、差分値の絶対値の範囲が最小となる第２の階級までの範囲に含まれる差分値の絶対値の中から閾値を決定する。この場合、例えば、閾値は、第１の階級の範囲に含まれる差分値の絶対値の最小値と第２の階級の範囲に含まれる差分値の絶対値の最大値の中間値とされる。
【００１７】
抽出手段は、例えば、所定の被写体に照明が照射されていないとき撮像された画像データについて、差分データにおいて差分値の絶対値が閾値未満である画素と同じ位置の画素の画素値を０にすることにより、所定の被写体の画像を抽出する。また、抽出手段は、例えば、所定の被写体に照明が照射されていないとき撮像された画像データについて、差分データにおいて差分値の絶対値が閾値以上である画素と同じ位置の画素の画素値を０にすることにより、所定の被写体の画像を消去することも可能である。
【００１８】
本発明の画像処理システムにおいては、入射光量の対数にほぼ比例した画素値からなる画像データを出力する撮像装置から出力された画像データであって、所定の被写体に照明が照射されているとき撮像された画像データの各画素値と、被写体に照明が照射されていないとき撮像された画像データの各画素値との差分である差分値からなる差分データが生成され、差分データの差分値の分布に基づいて、被写体の画像の画素値の差分値と、被写体以外の画像の画素値の差分値とを区分する閾値が決定され、閾値に基づいて、画像データから、被写体の画像が抽出される。
【００１９】
従って、例えば、輪郭強調処理や輪郭抽出処理などの複雑な処理を行わずに、特定の被写体の画像を簡単かつ確実に抽出することができる。これにより、画像抽出を行う画像処理装置や半導体チップなどを小型化、低消費電力化、および、低価格化することができる。また、簡単に、特定の被写体の画像を抽出した画像データを生成することができる。
【００２０】
本発明の画像処理システムにおいては、被写体に照明を照射するとともに、撮像装置のフレーム周期に同期して、照明を点滅する照明装置をさらに含むようにすることができる。
【００２１】
本発明の画像処理装置は、入射光量の対数にほぼ比例した画素値からなる画像データであって、所定の被写体に照明が照射されているとき撮像された画像の画像データの各画素値と、被写体に照明が照射されていないとき撮像された画像の画像データの各画素値との差分である差分値からなる差分データを生成する差分データ生成手段と、差分データの差分値の分布に基づいて、被写体の画像の画素値の差分値と、被写体以外の画像の画素値の差分値とを区分する第１の閾値を決定する閾値決定手段と、第１の閾値に基づいて、画像データから、被写体の画像の画像データを抽出する抽出手段とを含むことを特徴とする。
【００２２】
差分データ生成手段、閾値決定手段、および、抽出手段は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。
【００２３】
被写体に照射される照明は、例えば、可視光、近赤外光、紫外光とされる。
【００２４】
差分データは、例えば、所定の被写体に照明が照射されているとき撮像された画像データと、被写体に照明が照射されていないとき撮像された画像データの同じ位置にある画素間の差分をとることにより生成される。また、差分値は、例えば、差分データの各画素の画素値とされる。
【００２５】
差分値の分布は、例えば、差分データにおける差分値の絶対値の度数分布とされる。
【００２６】
抽出手段は、例えば、所定の被写体に照明が照射されていないとき撮像された画像データについて、差分データにおいて差分値の絶対値が閾値未満である画素と同じ位置の画素の画素値を０にすることにより、所定の被写体の画像を抽出する。また、抽出手段は、例えば、所定の被写体に照明が照射されていないとき撮像された画像データについて、差分データにおいて差分値の絶対値が閾値以上である画素と同じ位置の画素の画素値を０にすることにより、所定の被写体の画像を消去することも可能である。
【００２７】
本発明の画像処理装置においては、入射光量の対数にほぼ比例した画素値からなる画像データであって、所定の被写体に照明が照射されているとき撮像された画像の画像データの各画素値と、被写体に照明が照射されていないとき撮像された画像の画像データの各画素値との差分である差分値からなる差分データが生成され、差分データの差分値の分布に基づいて、被写体の画像の画素値の差分値と、被写体以外の画像の画素値の差分値とを区分する第１の閾値が決定され、第１の閾値に基づいて、画像データから、被写体の画像の画像データが抽出される。
【００２８】
従って、例えば、輪郭強調処理や輪郭抽出処理などの複雑な処理を行わずに、特定の被写体の画像を簡単かつ確実に抽出することができる。これにより、画像抽出を行う画像処理装置や半導体チップなどを小型化、低消費電力化、および、低価格化することができる。また、簡単に、特定の被写体の画像を抽出した画像データを生成することができる。
【００２９】
本発明の画像処理装置においては、閾値決定手段は、差分データにおいて、差分値の絶対値が同じ画素の数が所定の第２の閾値以下となる差分値の絶対値の最小値と、最小値より大きい差分値の絶対値であって、差分値の絶対値が同じ画素の数が第２の閾値以上となる差分値の絶対値の最小値の間の差分値の絶対値を第１の閾値に決定するようにすることができる。
【００３０】
また、閾値決定手段は、例えば、差分値の絶対値の範囲を所定の数の階級に区分して差分値の分布が検出された場合、例えば、画素数が第２の閾値以下となる階級のうち、差分値の絶対値の範囲が最小となる第１の階級と、第１の階級より差分値の絶対値の範囲が大きい階級のうち、画素数が第１の閾値以上であり、かつ、差分値の絶対値の範囲が最小となる第２の階級までの範囲に含まれる差分値の絶対値の中から閾値を決定するようにしてもよい。この場合、例えば、閾値は、第１の階級の範囲に含まれる差分値の絶対値の最小値と第２の階級の範囲に含まれる差分値の絶対値の最大値の中間値とされる。
【００３１】
従って、閾値を少ない計算量で簡単に決定することができる。
【００３２】
本発明の画像処理装置においては、画像データは、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子を有する撮像装置により出力されるようにすることができる。
【００３３】
従って、周囲の明るさが大きく変動する環境下においても、所定の被写体の画像を確実に抽出することができる。また、被写体の輝度などに応じて、入射光量を調整する必要がないため、画像抽出処理に要する時間を短縮することができる。
【００３４】
本発明の画像処理装置においては、撮像素子は、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））であるようにすることができる。
【００３５】
従って、周囲の明るさが大きく変動する環境下においても、所定の被写体の画像を確実に抽出することができる。また、被写体の輝度などに応じて、入射光量を調整する必要がないため、画像抽出処理に要する時間を短縮することができる。
【００３６】
本発明の画像処理装置においては、照明は近赤外光による照明であるようにすることができる。
【００３７】
従って、例えば、本発明の画像処理装置を用いて、人の画像を抽出する場合、人に気づかれたり、違和感を与えたりすることなく、人を撮像することができる。
【００３８】
本発明の画像処理方法およびプログラムは、入射光量の対数にほぼ比例した画素値からなる画像データであって、所定の被写体に照明が照射されているとき撮像された画像の画像データの各画素値と、被写体に照明が照射されていないとき撮像された画像の画像データの各画素値との差分である差分値からなる差分データを生成する差分データ生成ステップと、差分データの差分値の分布に基づいて、被写体の画像の画素値の差分値と、被写体以外の画像の画素値の差分値とを区分する第１の閾値を決定する閾値決定ステップと、第１の閾値に基づいて、画像データから、被写体の画像の画像データを抽出する抽出ステップとを含むことを特徴とする。
【００３９】
画像データは、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型撮像素子を用い、人の目より広いダイナミックレンジで被写体を撮像できる撮像装置により撮像される。
【００４０】
被写体に照射される照明は、例えば、可視光、近赤外光、紫外光とされる。
【００４１】
差分データは、例えば、所定の被写体に照明が照射されているとき撮像された画像データと、被写体に照明が照射されていないとき撮像された画像データの同じ位置にある画素間の差分をとることにより生成される。また、差分値は、例えば、差分データの各画素の画素値とされる。
【００４２】
差分値の分布は、例えば、差分データにおける差分値の絶対値の度数分布とされる。
【００４３】
閾値は、例えば、差分値の分布において、差分値の絶対値が同じ画素の数が第１の閾値以下となる差分値の絶対値の第１の最小値と、第１の最小値より大きい差分値の絶対値であって、差分値の絶対値が同じ画素の数が第１の閾値以上となる差分値の最小値との中間値に決定される。
【００４４】
また、閾値は、例えば、差分値の絶対値の範囲を所定の数の階級に区分して差分値の分布が検出された場合、例えば、画素数が第２の閾値以下となる階級のうち、差分値の絶対値の範囲が最小となる第１の階級と、第１の階級より差分値の絶対値の範囲が大きい階級のうち、画素数が第１の閾値以上であり、かつ、差分値の絶対値の範囲が最小となる第２の階級までの範囲に含まれる差分値の絶対値の中から決定される。この場合、例えば、閾値は、第１の階級の範囲に含まれる差分値の絶対値の最小値と第２の階級の範囲に含まれる差分値の絶対値の最大値の中間値とされる。
【００４５】
画像データの抽出は、例えば、所定の被写体に照明が照射されていないとき撮像された画像データについて、差分データにおいて差分値の絶対値が閾値未満である画素と同じ位置の画素の画素値を０にすることにより行われる。また、例えば、所定の被写体に照明が照射されていないとき撮像された画像データについて、差分データにおいて差分値の絶対値が閾値以上である画素と同じ位置の画素の画素値を０にすることにより、所定の被写体の画像を消去することも可能である。
【００４６】
本発明の画像処理方法およびプログラムにおいては、入射光量の対数にほぼ比例した画素値からなる画像データであって、所定の被写体に照明が照射されているとき撮像された画像データの各画素値と、被写体に照明が照射されていないとき撮像された画像データの各画素値との差分である差分値からなる差分データが生成され、差分データの差分値の分布に基づいて、被写体の画像の画素値の差分値と、被写体以外の画像の画素値の差分値とを区分する閾値が決定され、閾値に基づいて、画像データから、被写体の画像が抽出される。
【００４７】
従って、例えば、輪郭強調処理や輪郭抽出処理などの複雑な処理を行わずに、特定の被写体の画像を簡単かつ確実に抽出することができる。これにより、画像抽出を行う画像処理装置や半導体チップなどを小型化、低消費電力化、および、低価格化することができる。また、簡単に、特定の被写体の画像を抽出した画像データを生成することができる。
【発明の効果】
【００４８】
本発明によれば、特定の被写体の画像を抽出することができる。また、本発明によれば、より簡単かつ確実に特定の被写体の画像を抽出することができる。
【発明を実施するための最良の形態】
【００４９】
図２は、本発明を適用した画像処理システム１０１の一実施の形態を示す図である。画像処理システム１０１は、撮像装置１１１、照明装置１１２、および画像処理装置１１３を含むように構成される。
【００５０】
撮像装置１１１は、図７を参照して後述するように、対数変換型の撮像素子を用いて約170dBの非常に広いダイナミックレンジで被写体を撮像し、撮像した被写体の画像の画像データを画像処理装置１１３に供給する。
【００５１】
照明装置１１２は、撮像装置１１１により撮像された画像データから、画像を抽出する被写体（以下、抽出対象被写体とも称する）に照明を照射する。また、照明装置１１２は、画像処理装置１１３の制御の基に、撮像装置１１１のフレーム周期に同期して、照明を点滅する。
【００５２】
ここで、図３乃至図６を参照して、画像処理システム１０１により撮像される画像データの例を説明する。図３は、抽出対象被写体である人の顔１４２に、照明装置１１２により照明１４１が照射された状態を横から見た図であり、図４は、人の顔１４２に照明が照射されていない状態を横から見た図である。図５は、図３に示される状態を、撮像装置１１１の後方かつ上方向から見た図である。図５において、撮像装置１１１の画角および撮像範囲が、画角１４３および撮像範囲１４４として模式的に示されている。
【００５３】
照明装置１１２は、画像処理装置１１３の制御の基に、撮像装置１１１のフレーム周期に同期して、図３に示される照明１４１を点灯した状態と、図４に示される照明を消灯した状態を交互に繰り返す。これにより、図６に示されるように、照明１４１により照射された顔１４２の画像１５２−１，１５２−３，・・・が、フレーム１５１−１，１５１−３，・・・において撮像され、照明が照射されない顔１４２の画像１５２−２，１５２−４，・・・が、フレーム１５１−２，１５１−４，・・・において撮像される。すなわち、照明１４１が照射された顔１４２と照明１４１が照射されない顔１４２が、１フレームごとに交互に撮像される。
【００５４】
なお、図３乃至図５では、撮像装置１１１と照明装置１１２が一体化されている例を示したが、撮像装置１１１と照明装置１１２が分離される構成にしてもよい。
【００５５】
また、照明装置１１２は、抽出する被写体の影が出ないようにするために、照明装置１１２の照明の光軸が撮像装置１１１の光軸と同軸となる位置であって、抽出対象被写体にできる限り近い位置に設置されることが望ましい。
【００５６】
図２の説明に戻り、画像処理装置１１３は、画像入力制御部１２１、画像記憶部１２２、差分処理部１２３、差分値分布検出部１２４、閾値決定部１２５、画像抽出部１２６、画像出力制御部１２７、タイミング制御部１２８、および、照明制御部１２９を含むように構成される。
【００５７】
画像入力制御部１２１は、撮像装置１１１から入力される画像データを画像記憶部１２２に記憶させる。
【００５８】
画像記憶部１２２は、RAM（Random Access Memory）などの揮発性のメモリ、または、EEPROM（Electrically Erasable and Programmable Read Only Memory）などの不揮発性のメモリにより構成され、画像入力制御部１２１を介して、撮像装置１１１から入力される画像データを記憶する。
【００５９】
差分処理部１２３は、照明装置１１２により照明が照射されているとき撮像された画像データ（以下、照明あり画像データとも称する）、および、照明装置１１２による照明が照射されていないとき撮像された画像データ（以下、照明なし画像データとも称する）を画像記憶部１２２から読み出す。差分処理部１２３は、照明あり画像データと照明なし画像データについて、同じ位置にある画素間の画素値の差分をとることにより差分データを生成する。差分処理部１２３は、生成した差分データを、差分値分布検出部１２４、画像抽出部１２６、および、画像出力制御部１２７に供給する。なお、以下、差分データの各画素の画素値を、差分値とも称する。
【００６０】
差分値分布検出部１２４は、図９を参照して後述するように、差分データの差分値の分布を検出する。差分値分布検出部１２４は、差分データの差分値の分布を示すデータを閾値決定部１２５に供給する。
【００６１】
閾値決定部１２５は、図９を参照して後述するように、差分データの差分値の分布に基づいて、照明装置１１２により照明が照射された被写体の画像の画素の差分値と、それ以外の画素値の差分値とを区分する閾値（以下、変動閾値と称する）を決定する。換言すれば、変動閾値は、照明装置１１２により照明が照射された被写体の画像の画素とそれ以外の画素とを区分する閾値である。閾値決定部１２５は、変動閾値示すデータを画像抽出部１２６に供給する。
【００６２】
画像抽出部１２６は、図９を参照して後述するように、照明なし画像データから抽出対象被写体の画像を抽出した画像データ（以下、選択画像データと称する）、および、照明なし画像データから抽出対象被写体の画像を消去した画像データ（以下、非選択画像データと称する）を生成する。画像抽出部１２６は、照明なし画像データ、選択画像データおよび非選択画像データを画像出力制御部１２７に供給する。
【００６３】
画像出力制御部１２７は、必要に応じて、照明あり画像データ、照明なし画像データ、差分データ、選択画像データ、または、非選択画像データを外部に出力する。
【００６４】
タイミング制御部１２８は、撮像装置１１１のフレーム周期と照明装置１１２の照明の点滅を同期させるための制御信号を、撮像装置１１１および照明制御部１２９に供給する。
【００６５】
照明制御部１２９は、タイミング制御部１２８から供給される制御信号に基づいて、撮像装置１１１のフレーム周期に同期するように照明装置１１２の照明の点滅間隔を制御する。
【００６６】
図７は、図２の撮像装置１１１の一実施の形態を示すブロック図である。撮像装置１１１は、レンズ１６１、および対数変換型撮像素子１６２を含むように構成される。対数変換型撮像素子１６２は、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型の撮像素子とされ、光検出部１７１、対数変換部１７２、A/D変換部１７３、および撮像タイミング制御部１７４を含むように構成される。
【００６７】
撮像装置１１１により撮像される被写体から発せられた光（あるいは、被写体により反射された光）は、レンズ１６１に入射し、対数変換型撮像素子１６２の光検出部１７１の図示せぬ光検出面に結像する。
【００６８】
光検出部１７１は、例えば、複数のフォトダイオードからなる受光素子などにより構成される。光検出部１７１は、レンズ１６１により結像された被写体の光を、入射された光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部１７１は、撮像タイミング制御部１７４から供給される制御信号に同期して、蓄積した電荷を対数変換部１７２に供給する。
【００６９】
対数変換部１７２は、例えば、複数のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）などにより構成される。対数変換部１７２は、MOSFETのサブスレッショルド特性を利用して、光検出部１７１から供給される電荷を、画素ごとに電荷の数（電流の強さ）の対数（被写体の光の光量の対数）にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部１７２は、生成したアナログの電気信号をA/D変換部１７３に供給する。
【００７０】
A/D変換部１７３は、撮像タイミング制御部１７４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データにA/D変換する。例えば、24bitの符号なし２進数のデジタルの画像データに変換される場合、画像データの画素値は、最も暗い０から最も明るい２24−１の範囲の値をとる。A/D変換部１７３は、変換したデジタルの画像データを画像処理装置１１３に供給する。
【００７１】
撮像タイミング制御部１７４は、画像処理装置１１３のタイミング制御部１２８から供給される制御信号に基づいて、光検出部１７１およびA/D変換部１７３の動作を制御する制御信号を供給する。
【００７２】
このように、撮像装置１１１は、光検出部１７１に入射した被写体の光の明るさ（入射光量）の対数に比例した画素値からなるデジタルの画像データを出力する。なお、対数変換型の撮像素子については、例えば、特表平７−５０６９３２公報などにその詳細が開示されている。
【００７３】
図８は、対数変換型撮像素子１６２、CCD撮像素子、銀塩フィルム、および、人の目の感度特性を示すグラフである。図４の横軸は、入射光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。線２０１は対数変換型撮像素子１６２の感度特性を示し、線２０２はCCD撮像素子の感度特性を示し、線２０３は銀塩フィルムの感度特性を示し、線２０４は人の目の感度特性を示している。なお、CCD撮像素子の感度特性を示す線２０２は図１の線１に対応し、人の目の感度特性を示す線２０４は図１の線２に対応する。
【００７４】
対数変換型撮像素子１６２は、上述したように、入射光量の対数にほぼ比例した画素値からなる画像データを出力することにより、対数変換型撮像素子１６２を構成するフォトダイオードやMOSFETなどの容量を飽和させずに、CCD撮像素子、銀塩フィルム、および、人の目より広い、約１ミリルクスから太陽光の輝度より高い約５００キロルクスまでの約１７０dBのダイナミックレンジで被写体を撮像することができる。
【００７５】
従って、対数変換型撮像素子１６２を用いた撮像装置１１１は、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、絞りやシャッタースピードなどを調整して入射光量を調整する必要がない。すなわち、撮像装置１１１は、入射光量を調整しなくても、被写体の詳細な輝度分布を忠実に撮像することができる。
【００７６】
例えば、昼間に車内から車の前方を撮像する場合、画角内に太陽が入っていても、撮像装置１１１により撮像された画像は、入射光量を調整しなくても、太陽と前方の道路の輝度の分布を忠実に再現した画像となる。また、夜間に車内から車の前方を撮像する場合、対向車のヘッドライトが前方から照らされていても、撮像装置１１１により撮像された画像は、入射光量を調整しなくても、対向車のヘッドライトの光から自車のヘッドライトに照らされていない領域までの輝度の分布を忠実に再現した画像となる。
【００７７】
また、CCD撮像素子および銀塩フィルムでは、線２０２および線２０３に示されるように、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比べて、対数変換型撮像素子１６２では、感度特性が入射光の照度の対数にほぼ比例する。
【００７８】
このように、対数変換型撮像素子１６２を用いた撮像装置１１１は、輝度クリッピングの発生、入射光量の調整、ガンマ特性の影響を受けないため、撮像装置１１１により撮像された画像データの画素値は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するように変動する。すなわち、フレーム間の画像データの差分をとった差分データの各画素の差分値は、被写体の輝度の変動および被写体の動きがほぼ忠実に反映された値となる。
【００７９】
また、撮像装置１１１から出力される画像データの画素値は、入射光量の対数にほぼ比例した値となるので、被写体に照射される光の明るさ（照度）に関わらず、その被写体を撮像した画像データにおける画素値の分布は、その被写体の反射率の分布がほぼ同様に反映されたものとなる。例えば、反射率の最大値と最小値の比率が１０：１である被写体を、１回目と２回目とで約１００倍の照度差がある光を照射して撮像した場合、１回目の画像データと２回目の画像データとの画素値の分布を示すヒストグラムの幅はほぼ同じ値（１＝log1010）となる。一方、画像データの画素値が入射光量に比例する場合、１回目の画像データと２回目の画像データの画素値の分布を示すヒストグラムの幅の差は約１００倍となる。
【００８０】
また、被写体の輝度（反射率）の分布に関わらず、被写体の輝度がほぼ同じ比率で変動した場合、その被写体を撮像した画像データの画素値の変動値は、ほぼ同様になる。例えば、被写体内に輝度の比が１００：１となる２つの領域がある場合、被写体に照射される光の照度がほぼ一様に変化し、被写体の輝度がほぼ同じ比率の＋５％変動したとき、２つの領域に対応する画素値の変動値はほぼ同じ値（log101.05）となる。一方、画像データの画素値が入射光量に比例する場合、上述した２つの領域に対応する画素値の変動値の差は、約１００倍となる。
【００８１】
次に、図９のフローチャートを参照して、画像処理システム１０１の画像抽出処理を説明する。なお、この処理は、例えば、ユーザにより画像抽出処理の開始の指令が、画像処理装置１１３に入力されたとき開始される。
【００８２】
なお、以下、適宜、図１０および図１１に示される被写体を撮像した画像の画像データを処理する場合の例を挙げて説明する。図１０は、被写体をほぼ正面から見た様子を模式的に表した図であり、図１１は、図１０に示される被写体の位置関係を模式的に表した図である。
【００８３】
図１０および図１１に示される例において、人２２１は、撮像装置１１１と窓２２３の間であって、撮像装置１１１のほぼ正面に位置する。また、置物２２２は、人２２１と窓２２３の間であって、人２２１の右側に位置する。さらに、窓２２３の外には、山、空、および月が見えている。また、撮像装置１１１の画角は、領域２３１で示される範囲とする。領域２３１には、人２２１の首から上、置物２２２のほぼ上半分、および、窓２２３の一部が含まれる。
【００８４】
また、領域２３１内の被写体のうち、人２２１が抽出対象被写体とされ、照明装置１１２は、照明１４１を人２２１に照射するものとする。さらに、照明１４１は、人２２１以外の置物２２２および窓２２３にはほとんど届かないものとする。従って、照明１４１の点滅により、人２２１の輝度は大きく変動し、それ以外の被写体の輝度はほとんど変動しない。
【００８５】
ステップＳ１において、撮像装置１１１は、被写体の撮像を開始する。具体的には、撮像装置１１１は、タイミング制御部１２８から供給される制御信号に基づいて、被写体の撮像を開始し、撮像した画像の画像データを画像入力制御部１２１に出力する。画像入力制御部１２１は、取得した画像データを画像記憶部１２２に記憶させる。
【００８６】
ステップＳ２において、照明制御部１２９は、照明装置１１２の照明１４１の点滅を開始する。具体的には、照明制御部１２９は、タイミング制御部１２８から供給される制御信号に基づいて、撮像装置１１１のフレーム周期に同期して、照明１４１を点滅させるように照明装置１１２を制御する。これにより、撮像装置１１１から、照明あり画像データと照明なし画像データが交互に出力されるようになる。
【００８７】
なお、ステップＳ１の処理とステップＳ２の処理は、同時に開始するようにしてもよいし、順番を逆にするようにしてもよい。
【００８８】
ステップＳ３において、差分処理部１２３は、差分データを生成する。具体的には、差分処理部１２３は、連続する２フレーム分の画像データ、すなわち、連続する照明あり画像データと照明なし画像データを画像記憶部１２２から読み出す。差分処理部１２３は、読み出した画像データの同じ位置にある画素間の画素値の差分をとることにより差分データを生成する。差分処理部１２３は、生成した差分データを差分値分布検出部１２４および画像抽出部１２６に供給する。また、差分処理部１２３は、差分データの生成に用いた照明なし画像データを画像抽出部１２６に供給する。
【００８９】
図１２乃至図１５は、撮像装置１１１により領域２３１内の被写体を撮像した画像データの画素値の分布の例を示すヒストグラムである。図１２乃至図１５の横軸は、画素値を示しており、原点から遠ざかるほど（右方向に行くほど）、画素値が大きくなる（画素が明るくなる）。図１２乃至図１５の縦軸は、同じ画素値を持つ画素の数を示している。
【００９０】
図１２および図１４は、照明なし画像データの画素値の分布を示すヒストグラムであり、図１３および図１５は、照明あり画像データの画素値の分布を示すヒストグラムである。また、図１２および図１３は、周囲の明るさがほぼ同じ環境下で撮像された画像データの画素値の分布を示すヒストグラムであり、図１４および図１５は、周囲の明るさがほぼ同じ環境下、かつ、図１２および図１３の画像データよりも周囲が暗い環境下で撮像された画像データの画素値の分布を示すヒストグラムである。なお、以下、図１２および図１３に示される画像データが撮像された環境と、図１４および図１５に示される画像データが撮像された環境を区別するために、前者を周囲が明るい環境と表現し、後者を周囲が暗い環境と表現する。
【００９１】
図１２と図１３のヒストグラムを比較した場合、照明１４１が照射された人２２１の輝度が高くなり、人２２１の画像の画素の画素値が大きくなる（画素が明るくなる）分だけ、図１３のヒストグラムの方が、画素値が大きい（明るい）画素の数が増加する。
【００９２】
図１２と図１４のヒストグラムを比較した場合、周囲の明るさが明るい分、図１２のヒストグラムの方が、全体的に画素値が大きい（明るい）画素の数が多くなり、図１４のヒストグラムの方が、全体的に画素値が小さい（暗い）画素の数が多くなる。
【００９３】
図１３と図１５のヒストグラムを比較した場合、周囲の明るさが明るい分、図１３のヒストグラムの方が、全体的に画素値が大きい（明るい）画素の数が多くなり、図１５のヒストグラムの方が、全体的に画素値が小さい（暗い）画素の数が多くなる。
【００９４】
図１４と図１５のヒストグラムを比較した場合、照明１４１が照射された人２２１の輝度が高くなり、人２２１の画像の画素の画素値が大きくなる（画素が明るくなる）分だけ、図１５のヒストグラムの方が、画素値が大きい（明るい）画素の数が増加する。
【００９５】
図１６は、画素値の分布が図１３に示されるヒストグラムとなる画像データと、画素値の分布が図１２に示されるヒストグラムとなる画像データとの差分をとった差分データに基づく差分画像の例を模式的に示す図である。すなわち、図１６に示される差分画像は、周囲が明るい環境下で撮像された照明あり画像データと照明なし画像データとの差分をとった差分データに基づく差分画像である。
【００９６】
上述したように、撮像装置１１１から出力される画像データの画素値は、被写体の輝度の変動をほぼ忠実に反映するよう変動する。従って、図１６に示される差分画像では、照明あり画像データにおいて照明１４１が照射された被写体（人２２１）の画像の画素の差分値が絶対値は大きくなり、それ以外の被写体の画像の画素の差分値の絶対値は０かまたはそれに近い値となる。従って、差分画像において、照明１４１が照射された被写体（人２２１）と照射されなかった被写体の差が明確に現れる。
【００９７】
ステップＳ４において、差分値分布検出部１２４は、差分データの差分値の分布を検出する。具体的には、差分値分布検出部１２４は、差分値の絶対値の範囲を所定の数（例えば、１００）の階級に区分して、差分データ内の各画素の差分値の絶対値がどの階級に属するかを検出する。そして、各階級に属する画素の数（度数）を集計することにより、差分データの差分値の分布を検出する。すなわち、差分値の絶対値の度数分布を検出する。なお、例えば、階級の数が１００の場合、各階級には、含まれる差分値の絶対値が小さい階級から順に０から９９までの値（以下、階級識別値と称する）が割り当てられる。
【００９８】
図１７乃至図２０は、差分データの差分値の分布を示すグラフである。図１７乃至図２０の横軸は階級識別値を示し、縦軸は各階級に属する画素の数を示している。また、図１７乃至図２０において、縦軸方向の画素数が２５００を超える領域の表示を省略している。
【００９９】
図１７は、図１６に示される差分画像の差分データ、すなわち、画素値の分布が図１３に示されるヒストグラムとなる画像データと、画素値の分布が図１２に示されるヒストグラムとなる画像データとの差分をとった差分データの差分値の分布を示すグラフである。すなわち、周囲が明るい環境で撮像された照明あり画像データと、周囲が明るい環境で撮像された照明なし画像データとの差分データの差分値の分布を示すグラフである。
【０１００】
図１８は、画素値の分布が図１３に示されるヒストグラムとなる画像データと、画素値の分布が図１４に示されるヒストグラムとなる画像データとの差分をとった差分データの差分値の分布を示すグラフである。すなわち、周囲が明るい環境で撮像された照明あり画像データと、周囲が暗い環境で撮像された照明なし画像データとの差分データの差分値の分布を示すグラフである。
【０１０１】
図１９は、画素値の分布が図１５に示されるヒストグラムとなる画像データと、画素値の分布が図１４に示されるヒストグラムとなる画像データとの差分をとった差分データの差分値の分布を示すグラフである。すなわち、周囲が暗い環境で撮像された照明あり画像データと、周囲が暗い環境で撮像された照明なし画像データとの差分データの差分値の分布を示すグラフである。
【０１０２】
図２０は、画素値の分布が図１５に示されるヒストグラムとなる画像データと、画素値の分布が図１２に示されるヒストグラムとなる画像データとの差分をとった差分データの差分値の分布を示すグラフである。すなわち、周囲が暗い環境で撮像された照明あり画像データと、周囲が明るい環境で撮像された照明なし画像データとの差分データの差分値の分布を示すグラフである。
【０１０３】
図１７乃至図２０において、階級識別値が０または０に近い階級に属する画素数、すなわち、差分値が０または０に近い値の画素の数が突出している。この画素数の突出したピークは、照明あり画像データにおいて照明１４１が照射されていない被写体の画像の画素数が反映されたものである。
【０１０４】
そして、図１７乃至図２０を原点から階級識別値（差分値の絶対値）が大きくなる方向（右方向）に見た場合、画素数は急激に減少し、０に近い値でほぼ横ばいに推移した後、再び増加に転じ、領域３０１−１乃至３０１−４内に示されるように、１つのピークを生じる。この領域３０１−１乃至３０１−４内に示されるピークは、照明１４１が照射されることにより輝度が変動した被写体（人２２１）の画像の画素数が反映されたものである。
【０１０５】
差分値分布検出部１２４は、差分データの差分値の分布を示すデータを閾値決定部１２５に供給する。
【０１０６】
なお、差分データの差分値の分布を、差分値の絶対値の範囲を階級に区分せずに、差分値ごとに検出するようにしてもよい。
【０１０７】
ステップＳ５において、閾値決定部１２５は、変動閾値を決定する。具体的には、まず、閾値決定部１２５は、差分データの差分値の分布に基づいて、画素数が所定の閾値（以下、画素数閾値と称する）以下となる階級のうち、階級識別値が最小値となる階級（以下、左境界階級と称する）を求める。なお、図１７乃至図２０のグラフにおいて、画素数閾値は、線３０５−１乃至３０５−４により示される。また、図１７乃至図２０のグラフにおいて、原点から右方向（差分値が大きくなる方向）に見て、差分値の分布の波形が線３０５−１乃至３０５−４と最初に交わる点３０２−１乃至３０２−４に対応する階級が、図１７乃至図２０に示される差分値の分布における左境界階級である。
【０１０８】
次に、閾値決定部１２５は、階級識別値が左境界階級より大きい階級のうち、画素数が画素数閾値以上であり、かつ、階級識別値が最小となる階級（以下、右境界階級と称する）を求める。すなわち、図１７乃至図２０のグラフにおいて、原点から右方向（差分値が大きくなる方向）に見て、差分値の分布の波形が線３０５−１乃至３０５−４と２番目に交わる点３０３−１乃至３０３−４に対応する階級が、図１７乃至図２０に示される差分値の分布における右境界階級である。
【０１０９】
そして、閾値決定部１２５は、左境界階級から右境界階級までの範囲に含まれる差分値の絶対値の中から変動閾値を決定する。例えば、閾値決定部１２５は、左境界階級の範囲に含まれる差分値の絶対値の最小値と右境界階級の範囲に含まれる差分値の絶対値の最大値の中間値を変動閾値とする。すなわち、図１７において、点３０２−１と点３０３−１の間の中点３０４−１に対応する階級の範囲内の差分値の絶対値の中心値が変動閾値とされ、図１８において、点３０２−２と点３０３−２の間の中点３０４−２に対応する階級の範囲内の差分値の絶対値の中心値が変動閾値とされ、図１９において、点３０２−３と点３０３−３の間の中点３０４−３に対応する階級の範囲内の差分値の絶対値の中心値が変動閾値とされ、図２０において、点３０２−４と点３０３−４の間の中点３０４−４に対応する階級の範囲内の差分値の絶対値の中心値が変動閾値とされる。
【０１１０】
例えば、照明なし画像データを撮像したとき、照明あり画像データを撮像したときよりも周囲が明るい場合、照明１４１が照射された被写体の画像の画素値の変動値が小さくなり、照明１４１が照射されなかった被写体の画像の画素値の変動値が大きくなる。従って、図２０に示されるように、左境界階級（点３０２−４）と右境界階級（点３０３−４）との差が小さくなる。しかし、通常のフレーム速度（例えば、30fps（Frame per second））において、フレーム間の周囲の明るさの変動は小さいため、左境界階級と右境界階級との差を十分に保つことができ、変動閾値を確実に決定することができる。
【０１１１】
このように、差分データの差分値の分布において、周囲の明るさの変動に関わらず、照明１４１が照射された被写体の画像の画素の差分値と、照明１４１が照射されていない被写体の画像の画素の差分値との差が明確に現れるため、変動閾値を簡単かつ確実に決定することができる。
【０１１２】
なお、差分データの差分値の分布を、差分値の絶対値の範囲を所定の範囲の階級に区分せずに検出した場合、変動閾値は、差分値の分布において、差分値の絶対値が同じ画素の数が画素値閾値以下となる差分値の絶対値の最小値（以下、第１の最小値と称する）と、第１の最小値より大きい差分値の絶対値であって、差分値の絶対値が同じ画素の数が画素値閾値以上となる差分値の最小値との中間値となる。
【０１１３】
また、差分値の分布の画素数の細かな変動（振動）による変動閾値の誤検出を防止するために、右境界階級を検出する差分値閾値を、左境界階級を検出する差分値閾値より所定の値だけ大きくするようにしてもよい。さらに、差分値の分布に基づいて（例えば、ヒストグラムの平均値などに基づいて）、差分値閾値を変動するようにしてもよい。
【０１１４】
さらに、図１７乃至図２０のグラフを、原点から右方向ではなく、階級識別値の最大値から階級識別値（差分値の絶対値）が小さくなる方向（左方向）に見て、領域３０１−１乃至３０１−４内に示される画素数（度数）の分布の山（ピーク）を検出するようにしてもよい。そして、画素数の分布の山が線３０５−１乃至３０５−４と左側で交わる点３０３−１乃至３０３−４を検出し、次に差分値の分布の波形が線３０５−１乃至３０５−４と交わる点３０２−１乃至３０２−４を検出し、そして、中点３０４−１乃至３０４−４を検出するようにしてもよい。
【０１１５】
閾値決定部１２５は、変動閾値を示すデータを画像抽出部１２６に供給する。
【０１１６】
ステップＳ６において、画像抽出部１２６は、画像データを加工する。具体的には、画像抽出部１２６は、差分処理部１２３から供給された照明なし画像データについて、差分データにおいて差分値の絶対値が変動閾値未満である画素と同じ位置の画素の画素値を０にすることにより、図２２に示される選択画像データを生成する。これにより、照明１４１が照射されていない被写体の画像の画素値がほとんど０とされ、照明１４１が照射された被写体の画像、すなわち、人２２１の画像が、照明なし画像データから抽出される。
【０１１７】
また、画像抽出部１２６は、差分処理部１２３から供給された照明なし画像データについて、差分データにおいて差分値の絶対値が変動閾値以上の画素と同じ位置の画素の画素値を０にすることにより、図２３に示される非選択画像データを生成する。これにより、照明１４１が照射された被写体の画像の画素値がほとんど０とされ、照明１４１が照射された被写体の画像、すなわち、人２２１の画像が、照明なし画像データから消去される。
【０１１８】
画像抽出部１２６は、生成した選択画像データおよび非選択画像データと、選択画像データおよび非選択画像データの生成元である照明なし画像データを画像出力制御部１２７に供給する。
【０１１９】
ステップＳ７において、画像出力制御部１２７は、画像データを出力し、画像抽出処理は終了する。具体的には、画像出力制御部１２７は、差分処理部１２３から供給された差分データ、または、画像抽出部１２６から供給された照明なし画像データ、選択画像データ、あるいは、非選択画像データを、必要に応じて外部に出力する。
【０１２０】
以上のようにして、例えば、輪郭強調処理や輪郭抽出処理などの複雑な処理を行わずに、特定の被写体の画像を簡単かつ確実に抽出することができる。これにより、画像抽出を行う画像処理装置や半導体チップなどを小型化、低消費電力化、および、低価格化することができる。また、周囲の明るさが大きく変動する環境下においても、特定の被写体の画像を確実に抽出することができる。
【０１２１】
また、簡単に、特定の被写体の画像を抽出した選択画像データ、および、特定の被写体の画像を消去した非選択画像データを生成することができ、生成した選択画像データおよび非選択画像データを画像処理システム１０１の後段に設けられる画像処理装置に供給することができる。選択画像データおよび非選択画像データは、例えば、ビットマップ形式、PNG（Portable Network Graphics）形式、JPEG（Joint Photographic Experts Group）形式、GIF（Graphic Interchange Format）形式などの形式の画像データとするようにすれば、画像処理システム１０１の後段に設けられる画像処理装置の構成を大きく変更する必要がない。
【０１２２】
さらに、例えば、抽出したい被写体の背景をブルーバックにするなどの仕掛けをしなくても、特定の被写体の画像を抽出することができる。
【０１２３】
また、入射光量を調整する必要がないため、画像抽出処理に要する時間を短縮することができる。
【０１２４】
なお、照明装置１１２の照明の照度は、フレーム間における周囲の環境光の照度の変動値よりも十分大きくすることが望ましい。また、照明装置１１２の照明は、抽出対象被写体にほぼ一定の照度で照射されることが望ましい。さらに、照明装置１１２の照明の照度を、照明装置１１２と抽出対象被写体との間の距離、撮像装置１１１のフレーム周期、環境光の照度などに応じて、所望する照度の照明が抽出対象被写体に照射されるように変化させるようにしてもよい。
【０１２５】
また、照明装置１１２の照明には、可視光以外にも、近赤外光または紫外光などを用いるようにしてもよい。例えば、抽出対象被写体が人である場合、近赤外光または紫外光などを用いることにより、抽出対象被写体である人に気づかれたり、違和感を与えたりすることなく、抽出対象被写体を撮像することができる。これは、例えば、画像処理システム１０１を監視装置に用いる場合などに有効である。
【０１２６】
さらに、変動閾値を、照射する照明の照度に応じて変化させるようにしてもよい。また、照明を照射しないときの環境光の照度の変動値を検出して、検出した変動値に応じて、変動閾値を設定するようにしてもよい。これらにより、左境界階級と右境界階級の差を適切な大きさに調整することができ、画像の抽出精度が向上する。
【０１２７】
また、例えば、変動閾値を変化させて画像抽出処理を行い、各変動閾値において生成された選択画像データまたは非選択画像データを見て、所望する結果が得られる変動閾値に設定できるようにしてもよい。これにより、使用する環境や条件、抽出する被写体などに合わせて、適切な変動閾値をユーザが設定することができる。
【０１２８】
なお、本発明は、例えば、顔の画像を用いて個人を認証する顔認証装置に適用することができる。顔認証装置に適用する場合、確実に被写体の顔の画像を抽出することができるようになるので、認証精度が向上する。例えば、限られた人のみがエンジンをかけることができる車載用の顔認証装置に適用する場合、周囲の環境光の明るさが大きく変動する車内においても、確実に被写体の顔の画像を抽出することができ、認証精度が向上する。また、この場合、例えば、車のシートの位置により、被写体と照明装置の距離を検出することができ、その距離に応じて、変動閾値を変化させるようにすることも可能である。
【０１２９】
また、本発明は、例えば、車の前方を監視する前方監視装置に適用することができる。この場合、例えば、車に装備されているLED（Light Emitting Diode）式のヘッドライトで照射された前方の被写体の画像を抽出するようにした場合、新たに照明装置を装備する必要がなく、また、ヘッドライトが照射された近距離の被写体の画像のみを抽出することができる。
【０１３０】
さらに、本発明は、例えば、不審者の侵入を監視する監視装置に適用することができる。この場合、例えば、照明装置の照明を近赤外光とすることにより、不審者に気づかれずに、確実に不審者の顔を抽出した画像を取得することができる。
【０１３１】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１３２】
図２３は、汎用のパーソナルコンピュータ９００の内部の構成例を示す図である。CPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２に記憶されているプログラム、または記録部９０８からRAM（Random Access Memory）９０３にロードされたプログラムに従って各種の処理を実行する。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３３】
CPU９０１、ROM９０２、およびRAM９０３は、バス９０４を介して相互に接続されている。このバス９０４にはまた、入出力インタフェース９０５も接続されている。
【０１３４】
入出力インタフェース９０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部９０６、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成される出力部９０７、ハードディスクなどで構成される記録部９０８、およびモデムやターミナルアダプタなどで構成される通信部９０９が接続されている。通信部９０９は、インターネットを含むネットワークを介して通信処理を行う。
【０１３５】
入出力インタフェース９０５にはまた、必要に応じてドライブ９１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア９２１が適宜装着され、そこから読み出されたコンピュータプログラムが、記録部９０８にインストールされる。
【０１３６】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図２１に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア９１１により構成されるだけでなく、装置本体にあらかじめ組み込まれた状態でユーザに提供される、プログラムが記録されているROM９０３または記録部９０８に含まれるハードディスクなどで構成される。
【０１３７】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３８】
また、本明細書において、システムの用語は、複数の装置、手段などにより構成される全体的な装置を意味するものである。
【図面の簡単な説明】
【０１３９】
【図１】CCD撮像素子などの感度特性を示すグラフである。
【図２】本発明の画像処理システムの一実施の形態を示すブロック図である。
【図３】図２の照明装置により照射される照明の例を説明する図である。
【図４】図２の照明装置により照射される照明の例を説明する図である。
【図５】図２の照明装置により照射される照明の例を説明する図である。
【図６】図２の撮像装置により撮像されるフレームの例を示す図である。
【図７】図２の撮像装置の一実施の形態を示すブロック図である。
【図８】対数変換型撮像素子などの感度特性を示すグラフである。
【図９】図２の画像処理システムにより実行される画像抽出処理を説明するフローチャートである。
【図１０】被写体の例を示す模式図である。
【図１１】図１０の被写体の位置関係を示す模式図である。
【図１２】画像データの画素値の分布の例を示すヒストグラムである。
【図１３】画像データの画素値の分布の例を示すヒストグラムである。
【図１４】画像データの画素値の分布の例を示すヒストグラムである。
【図１５】画像データの画素値の分布の例を示すヒストグラムである。
【図１６】差分画像の例を模式的に示す図である。
【図１７】差分データの差分値の分布の例を示すグラフである。
【図１８】差分データの差分値の分布の例を示すグラフである。
【図１９】差分データの差分値の分布の例を示すグラフである。
【図２０】差分データの差分値の分布の例を示すグラフである。
【図２１】差分データの差分値の分布の例を示すグラフである。
【図２２】選択画像データの例を示す図である。
【図２３】非選択画像データの例を示す図である。
【図２４】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１４０】
１０１  画像処理システム
１１１  撮像装置
１１２  照明装置
１１３  画像処理装置
１２１  画像入力制御部
１２２  画像記憶部
１２３  差分処理部
１２４  差分値分布検出部
１２５  閾値決定部
１２６  画像抽出部
１２７  画像出力制御部
１２８  タイミング制御部
１２９  照明制御部
１６２  対数変換型撮像素子
１７１  光検出部
１７２  対数変換部
９０１  CPU
９０２  ROM
９０３  RAM
９０８  記録部
９１０  ドライブ
９２１  リムーバブルメディア
【図１】
2006259829.tif 000003
【図２】
2006259829.tif 000004
【図３】
2006259829.tif 000005
【図４】
2006259829.tif 000006
【図５】
2006259829.tif 000007
【図６】
2006259829.tif 000008
【図７】
2006259829.tif 000009
【図８】
2006259829.tif 000010
【図９】
2006259829.tif 000011
【図１０】
2006259829.tif 000012
【図１１】
2006259829.tif 000013
【図１２】
2006259829.tif 000014
【図１３】
2006259829.tif 000015
【図１４】
2006259829.tif 000016
【図１５】
2006259829.tif 000017
【図１６】
2006259829.tif 000018
【図１７】
2006259829.tif 000019
【図１８】
2006259829.tif 000020
【図１９】
2006259829.tif 000021
【図２０】
2006259829.tif 000022
【図２１】
2006259829.tif 000023
【図２２】
2006259829.tif 000024
【図２３】
2006259829.tif 000025
【図２４】
2006259829.tif 000026