(57)【要約】【課題】撮影機器から得た撮影画像を用いて物体検出を行うに際して、例えば仮に検出対象が外部光を受けたとしてもその時の物体検出を精度良く行うことができる画像処理式物体検出装置を提供する。【解決手段】照明装置６で検出対象１に断続的に人工照明を照射し、カメラ５は照明装置６が検出対象１を人工照明していない時の非投光画像を撮影するとともに、照明装置６が検出対象１を人工照明している時の投光画像を撮影する。コントローラ３は、非投光画像と投光画像との差分である投光差分画像を導出し、検出対象１がその一部分に外部光１０を受けていた時に撮影画像に生じ得る輝度不均一さが低く抑えられた補正画像を、これら非投光画像及び投光差分画像を用いて算出し、この補正画像から検出対象１を抽出する処理を撮影画像取得の度に連続的に行う【選択図】図１
2009042098.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも検出対象を撮影手段で撮影可能であり、その撮影時において少なくとも前記検出対象を照明手段で照明可能であり、前記照明手段で前記検出対象を照明していない時に前記撮影手段が撮影した非投光画像と、前記照明手段で前記検出対象を照明した時の前記撮影手段が撮影した投光画像とを連続的に取得し、前記非投光画像と前記投光画像との差分である投光差分画像を用いて前記検出対象を前記撮影画像から検出する画像処理式物体検出装置において、
前記撮影手段により撮影される前記撮影画像と、当該撮影画像から導出される前記投光差分画像とを用いて、前記撮影手段の被写体である前記検出対象の一部分に外部光が部分照射されていても、撮影画像において当該外部光に起因する輝度不均一さが低く抑えられた補正画像を作成する補正画像作成手段と、
前記補正画像作成手段により作成された前記補正画像から前記検出対象に対応する画像領域を抽出することにより前記検出対象を前記撮影画像から検出する抽出手段と
を備えたことを特徴とする画像処理式物体検出装置。
【請求項２】
前記補正画像作成手段は、前記非投光画像の中で前記外部光が映り出た画像領域である外部光照射部の輝度と該外部光が映り出ていない画像領域である外部光非照射部の輝度との間の差と、前記投光差分画像の中で前記外部光が映り出た画像領域である外部光照射部の輝度と該外部光が映り出ていない画像領域である外部光非照射部の輝度との間の差とを除算することにより、前記外部光に起因する撮影画像上の輝度不均一さを抑え得る定数を求め、前記投光差分画像の一画素に前記定数を乗算してこれを該一画素に対応する前記非投光画像の一画素に加えることを前記撮影画像の各々の画素ごとに行って、これら画素群から成る画像を前記補正画像として作成することを特徴とする請求項１に記載の画像処理式物体検出装置。
【請求項３】
前記輝度は、それぞれ対応する前記照射部の画像領域において前記撮影手段の各検出単位が出力する輝度の平均値であることを特徴とする請求項２に記載の画像処理式物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等の撮像機器から得た撮影画像を用い、その撮影画像に映り込んだ特定画像を抽出する画像処理により物体検出を行う画像処理式物体検出装置に関する。
【背景技術】
【０００２】
従来、カメラ等の撮像機器で画像撮影を行い、その時に得た撮影画像に映り込んだ特定画像を抽出する画像処理によって特定の検出対象を検出する画像処理式物体検出装置がある。この種の画像処理式物体検出装置には種々のものがあるが、その一種としては、図８に示す画像処理式物体検出装置８１のように、検出対象８２を照明装置８３で照射しない時の画像（以下、非投光画像８４と記す）をカメラ８５で取り込み、更に検出対象８２を照明装置８３で照射した時の画像（以下、投光画像８６と記す）をカメラ８５で取り込み、これら２画像８４，８６間の差分である投光差分画像８７を抽出して、この投光差分画像８７から検出対象８２を検出する画像差分式がある。
【０００３】
この種の画像差分式では、カメラ８５は検出対象８２のみならずその背景８８にも亘って全体に画像撮影を行っている。ところで、照明装置８３は検出対象８２を照らし出す目的で配置することから、検出対象８２と照明装置８３との間の距離が照明装置８３と背景８８との間の距離よりも短い距離となることは必然である。よって、照明装置８３から検出対象８２に至る光量は、照明装置８３から背景８８に至る光量に比べて多くなり、照明装置８３が検出対象８２及びその背景８８を照射した際には、結果として検出対象８２が背景８８に比べて明るく照射される。このため、投光差分画像８７は、検出対象８２に対応する箇所において輝度差分が大きくなることから、この輝度差分が閾値以上となる画像領域を検出対象８２が映り込んだ検出対象画像８９として認識し、この画像８９を検出対象８２として抽出することで物体検出を行っている。
【０００４】
このように、画像差分式の画像処理式物体検出装置８１では、カメラ８５や照明装置８３から遠い場所に位置する背景８８が画像上から簡単に除去されることになるので、撮影画像の中で検出対象８２として映り込んだ検出対象画像８９のみを容易に抽出することが可能となる。よって、この種の画像差分式を用いた物体検出方式は、カメラ８５で取り込んだ画像データを用いて物体検出を行う際の検出方式として広く利用されている。なお、この種の画像差分式の画像処理物体式検出装置の一例は、例えば特許文献１等に開示されている。
【特許文献１】特開平９−２５９２７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、カメラ８５の撮影対象物である検出対象８２は、照明装置８３からだけでなく例えば図９に示すように、太陽光等の外部光９０によって照らされる場合もあり、この外部光９０の強さや照射角度の度合いによっては、検出対象８２の一部分に強い外部光９０が当たる状況になることも想定される。このように、検出対象８２に対して部分的に強い外部光９０が照射されると、図１０に示すように、非投光画像８４に映り込む検出対象８２ａには、外部光９０が照射されて相対的に輝度が高くなった部位（以下、外部光照射部９１と記す）の輝度（濃度値）が、外部光９０が照射されない相対的に輝度が低くなった部位（以下、外部光非照射部９２と記す）とが生じる。
【０００６】
また、同じく図１０に示すように、照明装置８３で検出対象８２を人工照明した際に得られる投光画像８６は、外部光照射部９１よりも外部光非照射部９２の方が、増加量が大きく輝度が増す特性がある。即ち、外部光照射部９１における非投光画像８４と投光画像８６との間の輝度の変化量と、外部光非照射部９２における非投光画像８４と投光画像８６との間の輝度の変化量とを見比べた場合、外部光非照射部９２の輝度変化量の方が、外部光照射部９１の輝度変化量に比べて大きくなる。これは、例えば暗い箇所にわずかな光を当てた場合、元々が暗い状況であれば少量の光でも明るく見え、一方で明るい箇所に光を当てても、その箇所では明るさの増加が鈍く感じる現象からも分かる。
【０００７】
ところで、画像処理式物体検出装置８１で画像差分式を使用した場合には、撮影画像からの物体検出に際して非投光画像８４と投光画像８６との間の投光差分画像８７を求めて物体検出を行っているが、この投光差分画像８７は２画像８４，８６間の単なる差分であることから、投光差分画像８７も、画像８４，８６と同様に外部光９０の影響を受けた画像となってしまう。即ち、図１０に示すように、投光差分画像８７に映り込む検出対象８２ｃでは、外部光９０が照射されている外部光照射部９１が、外部光９０が照射されていない外部光非照射部９２よりも輝度（濃度値）が低い値をとることになり、投光差分画像８７も一画像上において輝度が不均一となる。こうなると、外部光９０の有無で検出対象８２の検出結果が異なる状況に陥るので、単なる画像差分をとる方式では物体検出を精度良く行うことができない問題があった。
【０００８】
本発明の目的は、撮影機器から得た撮影画像を用いて物体検出を行うに際して、例えば仮に検出対象が外部光を受けたとしてもその時の物体検出を精度良く行うことができる画像処理式物体検出装置を提供することにある。
【課題を解決するための手段】
【０００９】
前記問題点を解決するために、本発明では、少なくとも検出対象を撮影手段で撮影可能であり、その撮影時において少なくとも前記検出対象を照明手段で照明可能であり、前記照明手段で前記検出対象を照明していない時に前記撮影手段が撮影した非投光画像と、前記照明手段で前記検出対象を照明した時の前記撮影手段が撮影した投光画像とを連続的に取得し、前記非投光画像と前記投光画像との差分である投光差分画像を用いて前記検出対象を前記撮影画像から検出する画像処理式物体検出装置において、前記撮影手段により撮影される前記撮影画像と、当該撮影画像から導出される前記投光差分画像とを用いて、前記撮影手段の被写体である前記検出対象の一部分に外部光が部分照射されていても、撮影画像において当該外部光に起因する輝度不均一さが低く抑えられた補正画像を作成する補正画像作成手段と、前記補正画像作成手段により作成された前記補正画像から前記検出対象に対応する画像領域を抽出することにより前記検出対象を前記撮影画像から検出する抽出手段とを備えたことを要旨とする。
【００１０】
この構成によれば、撮影手段が検出対象を撮影するに際し、照明手段は検出対象への人工照明のオンオフを交互に行い、撮影手段は照明手段が検出対象を人工照明しない時に検出対象を撮影することで非投光画像を撮影するとともに、照明手段が検出対象を人工照明した時に検出対象を撮影することで投光画像を撮影する。このとき、補正画像作成手段は、撮影手段が撮影した撮影画像（例えば非投光画像）と、非投光画像及び投光画像の差分である投光差分画像とを用いて、撮影手段の被写体である検出対象の一部分に外部光が部分照射されていても、撮影画像においてこの影響が低く抑えられた補正画像を作成する。そして、抽出手段は、この補正画像から検出対象に対応する画像領域を切り出すことにより、撮影手段の撮影画像の中から検出対象を検出する。
【００１１】
このため、本構成のように撮影手段の撮影画像から検出対象を検出する検出手法をとる場合、撮影手段により取り込まれた撮影画像は、撮影手段の被写体である検出対象の一部分に例えば仮に太陽光等の外部光が部分照射されていたとしても、補正画像処理手段が撮影画像に画像処理を加えることにより、この外部光照射を起因とする撮影画像の輝度不均一さを低く抑えた補正画像に補正される。よって、撮影手段が撮影した撮影画像には検出対象が輝度不均一さの少ない状態で映り出す状態となり、撮影手段の撮影画像から検出対象を検出するに際してこれを精度良く行うことが可能となる。
【００１２】
本発明では、前記補正画像作成手段は、前記非投光画像の中で前記外部光が映り出た画像領域である外部光照射部の輝度と該外部光が映り出ていない画像領域である外部光非照射部の輝度との間の差と、前記投光差分画像の中で前記外部光が映り出た画像領域である外部光照射部の輝度と該外部光が映り出ていない画像領域である外部光非照射部の輝度との間の差とを除算することにより、前記外部光に起因する撮影画像上の輝度不均一さを抑え得る定数を求め、前記投光差分画像の一画素に前記定数を乗算してこれを該一画素に対応する前記非投光画像の一画素に加えることを前記撮影画像の各々の画素ごとに行って、これら画素群から成る画像を前記補正画像として作成することを要旨とする。
【００１３】
この構成によれば、補正画像の作成に必要な定数は、各種画像間の輝度の差を求めてこの輝度差を除算することで算出され、この補正値を用いて導出される補正画像は、投光差分画像の一画素に定数を乗算してこれを該一画素に対応する非投光画像の一画素に加えることを各々の画素ごとに行うことによって作成される。従って、補正画像の作成は、各種数値を加減乗除するという簡単な計算により行うことが可能となる。
【００１４】
本発明では、前記輝度は、それぞれ対応する前記照射部の画像領域において前記撮影手段の各検出単位が出力する輝度の平均値であることを要旨とする。
この構成によれば、各種画像の中の各々対応する照射部（外部光照射部、外部光非照射部）の画像領域の輝度平均を算出しつつこの輝度平均を用いて定数を算出するので、外部光照射部や外部光非照射部が持つ輝度をより正確に導出することが可能である。よって、このように高特性を持つ定数を用いて補正画像を作成すれば、この補正画像の精度をより高いものとすることが可能となり、撮影手段の撮影画像から検出対象を検出する際の検出精度をより一層向上することが可能となる。
【発明の効果】
【００１５】
本発明によれば、撮影機器から得た撮影画像を用いて物体検出を行うに際して、例えば仮に検出対象が外部光を受けたとしてもその時の物体検出を精度良く行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を具体化した画像処理式物体検出装置の一実施形態を図１〜図７に従って説明する。
図１に示すように、例えば車両運転者等の検出対象１を検出する一検出装置として、撮像機器が撮影した撮影画像から検出対象１そのものや或いはその動き等を検出する画像処理式物体検出装置２がある。画像処理式物体検出装置２には、この画像処理式物体検出装置２を統括制御するコントロールユニットとして働くコントローラ３と、検出対象１及びその背景４を撮影可能なカメラ５と、検出対象１及びその背景４を照射可能な照明装置６とが設けられている。なお、カメラ５が撮影手段に相当し、照明装置６が照明手段に相当する。
【００１７】
カメラ５は、検出対象１を画像認識すべく検出対象１から出た光がレンズ７を通して撮像面８に結像し、その撮像面８における明るさ度合いを電気信号に変換して出力する。カメラ５は、撮像面８の箇所に並設された複数のイメージセンサ９，９…を持つとともに、これらイメージセンサ９，９…の１つひとつの各画素が検出単位として働いて、検出した光の輝度に応じた値を持つ電気信号を画像データＤpcとして出力する。カメラ５がカラー式の場合には、プリズムで光をＲＧＢに分ける３板式や、１つのイメージセンサ９，９…ごとにカラーフィルタを並べる単板式等がある。また、カメラ５は、映像出力方式として画像データＤpcの出力形式がアナログ信号であるアナログビデオ出力方式となっている。
【００１８】
カメラ５は、図２に示すようにコントローラ３から撮影要求信号Ｓkpを入力すると、その信号入力タイミングをシャッタタイミングとして画像撮影を行ってその撮影画像Ｐicをコントローラ３に出力し、撮影要求信号Ｓkpを入力する度に画像撮影及びその撮影画像出力を行って、撮影画像Ｐicを連続的に出力することにより動画信号Ｓdpをコントローラ３に出力する。なお、撮影画像Ｐicというのは、画像データＤpcを画面表示した際の１枚の画像として表現された画像データＤpc群のことを便宜上言うことにする。ところで、単位時間当たりに撮影要求信号Ｓkpが多パルスでコントローラ３からカメラ５に出力されれば、カメラ５は短い間隔で撮影画像Ｐicをコントローラ３に出力することになるので、この時間間隔Ｗを短くすればするほど単位時間内における撮影画像数が多くなり、動画をより連続的な映像で得ることが可能である。なお、この時間間隔Ｗは最小の値が一般的に決まっており、例えば１／３０秒が一般的である。
【００１９】
また、画像処理式物体検出装置２には、カメラ５が検出対象１を撮影する際に検出対象１をその背景４に亘り人工照明を照射可能な照明装置６が設けられている。照明装置６は、カメラ５に隣接する位置に配置され、例えばＬＥＤやランプ等を光源としている。照明装置６は、カメラ５が検出対象１（背景４を含む）を撮影する時に、照明のオンオフがカメラ５のシャッタタイミングに対応して切り換わるパルス照明が用いられ、より具体的に言うと、カメラ５がインターレース方式で画像撮影を行う場合、そのインターレース方式における偶奇フィールドごとにオンオフを切り換えることで検出対象１の照射を行う。照明装置６の照明強さは、検出対象１に外部光１０が照射されていない時に検出対象１への照射動作を行っても、その明るさが気にならない程度の強度に設定されている。
【００２０】
コントローラ３は、カメラ系各種データの伝送経路である第１ケーブル１１を介してカメラ５に接続されるとともに、このケーブル１１を介してカメラ５を統括制御する。また、コントローラ３は、照明装置系各種データの伝送経路である第２ケーブル１２を介して照明装置６に接続され、このケーブル１２を介して照明装置６を統括制御する。コントローラ３は、例えばＣＰＵ１３やメモリ１４（ＲＯＭ、ＲＡＭ）等の各種デバイスから成り、これら部品群を１部品として取り扱い可能となるようにユニット化されている。
【００２１】
コントローラ３のメモリ１４には、カメラ５から取得する画像データＤpcを画像処理して画像データＤpcから検出対象１を抽出することにより検出対象１を検出する画像処理プログラムＤprが格納されている。本例の画像処理プログラムＤprは、照明装置６を照明オフとした時にカメラ５で検出対象１（背景４も含む）を撮影した際に得る非投光画像１５（図４参照）と、照明装置６を照明オンとした時にカメラ５で検出対象１（背景４も含む）を撮影した際に得る投光画像１６（図５参照）とを取得して、これら画像１５，１６の差分である投光差分画像１７（図６参照）を抽出し、検出対象１がその一部分に外部光１０を受けていた時に撮影画像Ｐicに生じ得る輝度不均一さ（画像ムラ）が低く抑えられた補正画像１８（図７参照）をこの投光差分画像１７を用いて算出し、この補正画像１８から検出対象１を抽出する処理を、撮影画像取得の度に連続的に行うプログラムである。なお、非投光画像１５及び投光画像１６が撮影画像を構成する。
【００２２】
図３に示すように、コントローラ３には、画像処理式物体検出装置２の全体を制御するシステム制御部１９と、カメラ５が撮影した画像データＤpcをシステム制御部１９から受け取りこれに画像処理を加えることで画像データＤpcに映り込んだ検出対象１を検出する画像処理部２０とが設けられている。なお、これらシステム制御部１９及び画像処理部２０は、ＣＰＵ１３と画像処理プログラムＤprとが協同することにより機能的に生成されるのもであって、本例においてはこれをブロック図で表現している。なお、画像処理部２０が補正画像作成手段及び抽出手段を構成する。
【００２３】
システム制御部１９は、画像処理プログラムＤprに沿いカメラ５に撮影要求信号Ｓkpを出力してこれに画像撮影を行わせる際、その撮影走査方式としてインターレース方式を用いてカメラ５による画像撮影を行う。インターレース方式とは、カメラ５の画像を画面表示する際に目に対する画面のちらつきを少なくする目的で、カメラ走査時に水平走査線を１本おきに飛び越して走査し、これを２回繰り返すことによって１枚の画面を完成させる走査方式のことである。
【００２４】
また、システム制御部１９は、画像処理プログラムＤprに沿い照明装置６に人工照明を行わせる際、インターレース方式における偶奇フィールドごとに照明装置６のオンオフを切り換えて、検出対象１が人工照明されていない時のカメラ５の撮影画像Ｐicである非投光画像１５と、検出対象１が人工照明された時のカメラ５の撮影画像Ｐicである投光画像１６とを取得し、これら画像１５，１６を画像処理部２０に出力する。システム制御部１９は、カメラ５の撮影時に取得する非投光画像１５と投光画像１６とがほぼ同じ画像となるように、短い時間間隔でカメラ５に撮影動作を行わせて、非投光画像１５と投光画像１６とを連続的に取得する。
【００２５】
画像処理部２０は、システム制御部１９から非投光画像１５と投光画像１６とを取得すると、これら画像１５，１６の差分である投光差分画像１７を導出する。画像処理部２０は、投光差分画像１７を導出すると、例え仮にカメラ５の撮影画像Ｐicに検出対象１に外部光１０が一部分照射されていて撮影画像Ｐicに輝度不均一さが生じていても、この撮影画像Ｐicに補正を加えて輝度の不均一さが目立たない補正画像１８を新たに作成する。そして、画像処理部２０は、この補正画像１８から検出対象１が映り出した画像領域を抽出し、これを検出対象１として検出する。
【００２６】
次に、本例の画像処理式物体検出装置２での補正画像１８の作成手順を説明する。
ところで、太陽光や室内灯等の外部光１０の照射角度によっては、検出対象１の一部分が外部光１０によって照射され、検出対象１に照射される光量が部分的に不均一になる状況に陥る場合がある。このとき、カメラ５の被写体である検出対象１は、図１に示すように、検出対象１で外部光１０が照射されている外部光照射箇所２１（図１の非加飾領域）と、外部光１０が照射されていない外部光非照射箇所２２（図１の点領域）とで輝度が異なる値をとることになる。
【００２７】
よって、カメラ５で非投光画像１５を取得した場合、図４に示すように、非投光画像１５において検出対象１で外部光１０が照らされていない箇所の画像領域（以下、外部光非照射部２３と記す）の輝度（以下、非投光画像光無側輝度Ｌa1と記す）は、非投光画像１５において検出対象１で外部光１０が照らされている箇所の画像領域（以下、外部光照射部２４と記す）の輝度（非投光画像光有側輝度Ｌa2と記す）よりも低い値をとる状態となる。
【００２８】
また、これは投光画像１６においても同様の事が言え、図５に示すように、投光画像１６における外部光非照射部２３の輝度（以下、投光画像光無側輝度Ｌb1と記す）は、投光画像１６における外部光照射部２４の輝度（以下、投光画像光有側輝度Ｌb2と記す）よりも低い値をとる状態となる。なお、検出対象１に照明装置６が光を人工照明した際、外部光非照射部２３の輝度（投光画像光無側輝度Ｌb1）と、外部光照射部２４の輝度（投光画像光有側輝度Ｌb2）とは、共に同じ輝度になる訳ではなく、人工照明を施しても元々暗い部分と元々明るい部分との明るさの大小関係は変化しないことから、投光画像光無側輝度Ｌb1と投光画像光有側輝度Ｌb2との間には輝度差が生じる。また、検出対象１に照明装置６が光を人工照明した際、外部光非照射部２３と外部光照射部２４と共に同じ増加量で輝度が増す訳ではなく、背景技術でも述べたように、元々暗い箇所に光を照射した時は僅かな光でも明るく見え、元々明るい箇所に光を照射してもそれほど明るく感じないのと同じように、この時は外部光非照射部２３における輝度の増加量の方が、外部光照射部２４における輝度の増加量よりも多くなる。
【００２９】
このため、検出対象１に部分的に外部光１０が照射された状態で、非投光画像１５と投光画像１６との差分である投光差分画像１７をとった場合には、図６に示すように、投光差分画像１７における外部光非照射部２３の輝度（以下、投光画像光無側輝度Ｌc1）の方が、投光差分画像１７における外部光照射部２４の輝度（以下、投光画像光有側輝度Ｌc2と記す）よりも輝度が高い状態となる。即ち、投光差分画像１７においては、非投光画像１５や投光画像１６とは異なり、外部光照射部２４よりも外部光非照射部２３の方が明るく映り出した輝度差を持った画像となる。
【００３０】
よって、外部光照射部２４を見た場合には、非投光画像１５の輝度である非投光画像光有側輝度Ｌa2が相対的に高い値をとり、投光差分画像１７の輝度である投光画像光有側輝度Ｌc2が相対的に低い値をとる。また、外部光非照射部２３を見た場合には、非投光画像１５の輝度である非投光画像光無側輝度Ｌa1が相対的に低い値をとり、投光差分画像１７の輝度である投光画像光無側輝度Ｌc1が相対的に高い値をとる。従って、外部光照射部２４における非投光画像１５の輝度と投光差分画像１７の輝度との間の関係と、外部光非照射部２３における非投光画像１５の輝度と投光差分画像１７の輝度との間の関係とは大小が対照的であることが分かる。即ち、非投光画像１５で明るい画像領域は投光差分画像１７では暗い画像領域となり、非投光画像１５で暗い画像領域は投光差分画像１７では明るい画像領域となる。
【００３１】
従って、この輝度が大小関係逆であるという性質を利用して、次式(1) に示すように、非投光画像１５における所定の一画素の輝度を非投光画像輝度Ｌａとし、投光差分画像１７における所定の一画素の輝度を投光差分画像輝度Ｌｃとし、外部光１０による輝度不均一さが解消された補正画像１８を得る際に必要な定数をＣとした場合、投光差分画像輝度Ｌｃに定数Ｃを乗算した補正値Ｐｘを、これと対応する画素が持つ非投光画像輝度Ｌａに加えることにより新たな輝度Ｌｘを算出して、外部光１０を起因とする撮影画像Ｐicの輝度不均一が低く抑えられた補正画像１８を作成する。この新たな輝度Ｌｘというのは、撮影画像Ｐicの各々の画素について、非投光画像１５において暗い部分の画素では大幅に明るく補正された輝度として求まり、非投光画像１５において明るい部分の画素では少量のみ明るく補正された輝度として求まる値である。
【００３２】
新たな輝度Ｌｘ＝非投光画像輝度Ｌａ＋（定数Ｃ×投光差分画像輝度Ｌｃ）  …  (1) 
（但し、定数Ｃ×投光差分画像輝度Ｌｃ→補正値Ｐｘ）
よって、撮影画像Ｐicの各々の画素ごとに求められた新たな輝度Ｌｘが集まった画像というのは、外部光１０の非照射部分の画像（画素）は大きく明るさ補正されつつ外部光１０の照射部分の画像（画素）は少量のみ明るさ補正された画像、即ち外部光１０による影響が低く抑えられた画像となるはずである。従って、画像処理部２０は、組となる非投光画像１５及び投光画像１６をシステム制御部１９から取得すると、各々の画素ごとに新たな輝度Ｌｘを算出してこの輝度Ｌｘの集まりから成る画像を補正画像１８として算出し、この補正画像１８の算出を、組となる非投光画像１５及び投光画像１６を取得する度に行う。
【００３３】
また、定数Ｃは、補正画像１８を外部光１０による輝度不均一さの少ない画像とするために、撮影画像Ｐicにおける外部光非照射部２３の新たな輝度Ｌｘと、同じく撮影画像Ｐicにおける外部光照射部２４の新たな輝度Ｌｘとが同一レベルをとるような値に設定する必要がある。従って、非投光画像１５における外部光照射部２４の平均値を非投光画像明輝度平均Ｋa1とし、非投光画像１５における外部光非照射部２３の平均値を非投光画像暗輝度平均Ｋa2とし、投光差分画像１７における外部光非照射部２３の平均値を投光差分画像明輝度平均Ｋb1とし、投光差分画像１７における外部光照射部２４の平均値を投光差分画像暗輝度平均Ｋb2とすると、定数Ｃは次式(2) により算出される。
【００３４】
定数Ｃ＝（Ｋa1−Ｋa2）／（Ｋb1−Ｋb2）  …  (2) 
即ち、定数Ｃは、非投光画像明輝度平均Ｋa1と非投光画像暗輝度平均Ｋa2との間の差（絶対値）を、投光差分画像明輝度平均Ｋb1と投光差分画像暗輝度平均Ｋb2との間の差（絶対値）で除算した値である。更に言い換えるならば、この定数Ｃは、非投光画像１５の各々の画素において、投光差分画像１７上で対応する各画素の輝度値を加える際に、その加算輝度を、元の投光差分画像１７上の画素輝度を何倍にして加えるのかを決める係数に相当する。
【００３５】
なお、非投光画像明輝度平均Ｋa1は、非投光画像１５の画像領域全体において、その非投光画像１５で輝度が第１閾値α以上で、しかも投光差分画像１７で輝度が一定値β以上の画素が集合した画像領域の輝度平均を導出することで求まる。即ち、ここでは、非投光画像１５において輝度が第１閾値α以上の画像領域を切り出すことで非投光画像１５において外部光１０が照射された画像領域を抽出し、投光差分画像１７において輝度が第２閾値β以上の画像領域を切り出すことで投光差分画像１７の中で検出対象１が映り込んだ画像領域を抽出することにより、非投光画像１５に映り込んだ検出対象１において外部光照射部２４（図４の薄い点領域）の画像領域を抽出し、その画像領域の平均輝度を算出している。
【００３６】
また、投光差分画像暗輝度平均Ｋb2は、投光差分画像１７の画像領域全体において、非投光画像明輝度平均Ｋa1を算出する時と同じく、非投光画像１５で輝度が第１閾値α以上で、しかも投光差分画像１７で輝度が一定値β以上の画素が集合した画像領域の輝度平均を導出することで求まる。即ち、ここでは、投光差分画像１７においてこの画像１７に映り込んだ検出対象１における外部光照射部２４（図６の濃い点領域）の画像領域を抽出し、その画像領域の平均輝度を算出している。
【００３７】
更に、非投光画像暗輝度平均Ｋa2は、非投光画像１５の画像領域全体において、投光差分画像１７で輝度が第３閾値γ以上の画素が集合した画像領域の輝度平均を導出することで求まる。即ち、ここでは、非投光画像１５において投光差分画像１７で輝度が第３閾値γ以上の画像領域を切り出すことで、非投光画像１５に映り込んだ検出対象１において外部光非照射部２３（図４の濃い点領域）の画像領域を抽出し、その画像領域の平均輝度を算出している。
【００３８】
また、投光差分画像明輝度平均Ｋb1は、投光差分画像１７の画像領域全体において、その投光差分画像１７で輝度が第３閾値γ以上の画素が集合した画像領域の輝度平均を導出することで求まる。即ち、ここでは、投光差分画像１７において輝度が第３閾値γ以上の画像領域を切り出すことで、投光差分画像１７において外部光非照射部２３（図６の薄い点領域）の画像領域を抽出し、その画像領域の平均輝度を算出している。なお、検出対象１の後ろに見える背景４は投光差分値が極めて小さいことから、輝度平均Ｋa1，Ｋa2，Ｋb1，Ｋb2に含まれることはない。
【００３９】
次に、以上のように構成された画像処理式物体検出装置２の動作を説明する。
システム制御部１９は、例えば画像処理式物体検出装置２の起動開始スイッチがオン操作されるなどしてカメラ撮影の開始要求操作が行われたとすると、画像処理プログラムＤprを実行して起動を開始する。このとき、システム制御部１９は、撮影要求信号Ｓkpをカメラ５に出力して、検出対象１及びその背景４をカメラ５に撮影させる。カメラ５は、システム制御部１９から撮影要求信号Ｓkpを取得する度に画像撮影を行い、この撮影画像Ｐicを連続的にシステム制御部１９に出力することで動画信号Ｓdpを出力する。
【００４０】
また、システム制御部１９は、カメラ５に検出対象１（背景４も含む）の撮影を行わせる際、インターレース方式における偶奇フィールドごとに照明装置６のオンオフを切り換えて、検出対象１に人工照明を与える。よって、システム制御部１９は、照明装置６が検出対象１を人工照明していない時にカメラ５から得る撮影画像Ｐicを非投光画像１５として取得し、照明装置６が検出対象１を人工照明した時にカメラ５から得る撮影画像Ｐicを投光画像１６として取得し、これら画像１５，１６を画像処理部２０に出力する。なお、非投光画像１５と投光画像１６は、非常に短いシャッタ間隔で撮影された画像であることから、ほぼ同じ画像をとる。
【００４１】
画像処理部２０は、カメラ５から組となる非投光画像１５及び投光画像１６を取得すると、これら画像１５，１６の差分である投光差分画像１７を導出する。続いて、投光差分画像１７を導出した画像処理部２０は、上式(1)，(2)を用いて計算処理を行い、カメラ５から得る撮影画像Ｐicの各々の画素ごとに新たな輝度Ｌｘを算出する。この時に画像処理部２０が行う計算処理として、まず画像処理部２０は、上式(2) を用いて定数Ｃを算出する。即ち、画像処理部２０は、非投光画像１５と投光差分画像１７とを用いて、非投光画像明輝度平均Ｋa1、非投光画像暗輝度平均Ｋa2、投光差分画像明輝度平均Ｋb1、投光差分画像暗輝度平均Ｋb2を算出し、これら輝度平均Ｋa1，Ｋa2，Ｋb1，Ｋb2から定数Ｃを算出する。
【００４２】
定数Ｃを算出した画像処理部２０は、続いて上式(1) を用いて、カメラ５から取得した撮影画像Ｐicにおいて各々の画素ごとに新たな輝度Ｌｘを求める。即ち、画像処理部２０は、投光差分画像１７をその画素単位で投光差分画像輝度Ｌｃに定数Ｃを乗算し、この乗算により各々の画素ごとに導出される補正値Ｐｘを、非投光画像１５において各々対応する画素に加算することで、カメラ５の撮影画像Ｐicにおいて各々の画素ごとに新たな輝度Ｌｘを算出する。画像処理部２０は、このようにして算出した新たな輝度Ｌｘを持つ画素群から成る画像を補正画像１８として認識する。
【００４３】
この補正画像１８は、図７に示すように、カメラ５の撮影対象である検出対象１にその一部分に外部光１０が生じていたとしても、外部光１０が照射されている部分が映り込む画像部分には少量の明るさ補正が行われ、外部光１０が照射されていない部分が映り込む画像部分には多量の明るさ補正が行われることにより、一部分のみが明るくなるのではなく外部光１０が原因となる輝度不均一さが解消された画像として作成される。このため、補正画像１８に映り込む検出対象１は、例えば一部分が極端に明るかったり若しくは暗かったりする画像をとるのではなく、検出対象１の全体が正常な明暗でくっきりと見える状態に映り出すことになる。
【００４４】
画像処理部２０は、補正画像１８を作成すると、この補正画像１８において画像輝度が設定値以上となる箇所を検出対象１として抽出することで、検出対象１をカメラ５の撮影画像Ｐicから検出する。画像処理部２０は、組となる非投光画像１５及び投光画像１６を取得する度に、補正画像１８を作成しつつその補正画像１８から検出対象１が映り込んだ画像領域を抽出して検出対象１を撮影画像Ｐicから検出する処理を行う。画像処理部２０は、カメラ５の撮影画像Ｐicから検出対象１を検出することで検出対象１の位置を認識したり、或いは検出対象１の時間的位置変化を見ることで検出対象１の動きを認識したりする。
【００４５】
従って、本例においては、カメラ５から組となる非投光画像１５と投光画像１６とを取得する度に、これら画像１５，１６の差分である投光差分画像１７を導出するとともに上式(1)，(2)を用いて外部光１０の影響を低く抑えた補正画像１８を作成し、その補正画像１８から検出対象１の画像部分を抽出して検出対象１の検出を行う。このため、例えば仮に検出対象１の一部分に外部光１０が照射された状態であっても、カメラ５の撮影画像Ｐicから最終的に取り出す補正画像１８は外部光１０の影響を低く抑えた画像として導き出される。よって、カメラ５から得られる最終的な撮影画像Ｐic（補正画像１８）は検出対象１がくっきりと映り出た画像となるので、検出対象１はより正確に撮影画像Ｐicに映り込むことになり、検出対象１を撮影画像Ｐicから精度良く検出することが可能となる。
【００４６】
本実施形態の構成によれば、以下に記載の効果を得ることができる。
（１）照明装置６で検出対象１を人工照明しない時にカメラ５で撮影する非投光画像１５と、照明装置６で検出対象１を人工照明した時にカメラ５で撮影する投光画像１６との差分である投光差分画像１７を求め、この投光差分画像１７と非投光画像１５とを用いて、検出対象１の一部分に外部光１０が照射されることに起因して生じるカメラ５の撮影画像Ｐicの輝度不均一さを低く抑え得る定数Ｃを算出し、この定数Ｃを用いて元の撮影画像Ｐicを補正することで、画像上の輝度不均一さが低く抑えられた補正画像１８を作成する。このため、補正画像１８は外部光１０の影響が取り除かれた画像となるので、補正画像１８には検出対象１が輝度不均一さの少ないくっきりと映り出した状態をとることになる。よって、カメラ５の撮影画像Ｐicから検出対象１を検出するに際して、撮影画像Ｐicに画像処理を加えた後の補正画像１８から検出対象１の抽出を行うようにすれば、検出対象１を精度良く検出することができる。
【００４７】
（２）補正画像１８を作成する際に必要な定数Ｃは、非投光画像１５における外部光照射部２４の輝度平均Ｋa1と外部光非照射部２３の輝度平均Ｋa2との間の差分と、投光画像１６における外部光非照射部２３の輝度平均Ｋb1と外部光照射部２４の輝度平均Ｋb2との間の差分とを除算することにより算出される。また、補正画像１８は、投光差分画像の一画素に定数Ｃを乗算してこれを対応する非投光画像１５の一画素に加えて新たな輝度Ｌｘを算出することを、カメラ５の撮影画像Ｐicの各々の画素ごとに行うことで作成される。このため、各種数値を加減乗除するという簡単な計算により補正画像１８を作成することができる。
【００４８】
（３）定数Ｃは非投光画像１５における外部光照射部２４の輝度と外部光非照射部２３の輝度との間の差分と、投光差分画像１７における外部光非照射部２３の輝度と外部光照射部２４の輝度との間の差分とを除算することで算出されるが、この時に使用する各照射部２３，２４の輝度は各々の画像領域における輝度平均Ｋa1，Ｋa2，Ｋb1，Ｋb2が使用される。よって、この種の平均値（輝度平均Ｋa1，Ｋa2，Ｋb1，Ｋb2）というのは各画像１５，１７において各照射部２３，２４が持つ輝度をより好適に反映した値をとるので、輝度平均Ｋa1，Ｋa2，Ｋb1，Ｋb2を用いて定数Ｃを算出するようにすれば、定数Ｃを精度高く算出することができ、ひいては補正画像１８を一層精度良く作成することができる。
【００４９】
（４）組となる非投光画像１５及び投光画像１６が撮影される度に補正画像１８の作成を行うので、補正画像１８の作成は画像取得の度に逐次行われることになる。よって、カメラ５の撮影画像Ｐicから検出対象１の検出を行うに際してはいつも補正画像１８を用いて行うことになるので、カメラ５の撮影画像Ｐicから検出対象１を検出する際にこれを高い精度で行うことができる。
【００５０】
なお、実施形態はこれまでに述べた構成に限らず、以下の態様に変更してもよい。
・  補正画像１８の作成に用いる定数Ｃは、非投光画像１５の外部光照射部２４と外部光非照射部２３との輝度差と、投光差分画像１７の外部光照射部２４と外部光非照射部２３との輝度差とを除算することにより求めた値であることに限定されない。例えば、投光画像１６の外部光照射部２４と外部光非照射部２３との輝度差と投光差分画像１７の外部光照射部２４と外部光非照射部２３との輝度差とを除算した値でもよいし、或いは非投光画像１５の外部光照射部２４と外部光非照射部２３との輝度差と、投光画像１６の外部光照射部２４と外部光非照射部２３との輝度差との除算値でもよい。
【００５１】
・  補正画像１８の作成に用いる定数Ｃは、画像１５，１７の各々における照射部２３，２４の輝度差の除算をとって算出する場合、この時の各照射部２３，２４の輝度は必ずしも各照射部２３，２４における画像領域の輝度平均に限定されない。例えば、この時の輝度を、各照射部２３，２４の画像領域内の画素の中で最も輝度の高い値のものを特定して、この輝度を用いて定数Ｃを算出してもよい。
【００５２】
・  定数Ｃを算出する際には閾値としてα，β，γを使用するが、これら閾値α，β，γの値は自由に変更してもよい。
・  カメラ５は、種類として様々なものが利用可能であり、例えばイメージセンサ９としてＣＣＤを用いたＣＣＤカメラや、イメージセンサ９としてＣＭＯＳセンサを用いたＣＭＯＳカメラ等を使用してもよい。
【００５３】
・  画像処理式物体検出装置２は、検出対象１として例えば車両の運転者を検出するものに限らず、カメラ５が撮影した撮影画像Ｐicの中から画像処理により検出対象１を検出する必要のある装置や機器に広く応用可能である。
【００５４】
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
（１）請求項１〜３のいずれかにおいて、前記補正画像作成手段は、前記非投光画像と前記投光画像と前記投光差分画像との中の少なくとも２つを値いて、前記外部光に起因する撮影画像上の輝度不均一さを抑え得る定数を求め、前記撮影手段が撮影した前記撮影画像を当該定数を用いて補正することにより前記補正画像を作成する。この構成によっても、本発明特有の効果を同様に得ることが可能となる。
【００５５】
（２）請求項１〜３のいずれかにおいて、前記補正画像作成手段は、前記撮影手段が組を成す前記非投光画像及び前記投光画像を取得する度に前記補正画像の作成を逐次行う。この構成によれば、その時々に適した好適な補正画像が作成されるので、検出対象をより高い精度で検出することが可能となる。
【図面の簡単な説明】
【００５６】
【図１】一実施形態の画像処理式物体検出装置の概略構成を示す構成図。
【図２】コントローラがカメラとやり取りする各種信号の波形を示す波形図。
【図３】画像処理式物体検出装置を機能ブロックで表現したブロック図。
【図４】カメラにより撮影される非投光画像の画像図。
【図５】カメラにより撮影される投光画像の画像図。
【図６】非投光画像と投光画像との間の差分である投光差分画像の画像図。
【図７】撮影画像を補正して輝度不均一さが低減された補正画像の画像図。
【図８】従来における画像処理式物体検出装置の具体的構成を示す構成図。
【図９】検出対象の一部分に外部光が照射された状態を示すイメージ図。
【図１０】各種画像における輝度の大小関係を示す概念図。
【符号の説明】
【００５７】
１…検出対象、２…画像処理式物体検出装置、５…撮影手段としてのカメラ、６…照明手段としての照明装置、１０…外部光、１５…撮影画像を構成する非投光画像、１６…撮影画像を構成する投光画像、１７…投光差分画像、１８…補正画像、２０…補正画像作成手段及び抽出手段を構成する画像処理部、２３…外部光非照射部、２４…外部光照射部、Ｐic…撮影画像、Ｃ…定数。
【図１】
2009042098.tif 000003
【図２】
2009042098.tif 000004
【図３】
2009042098.tif 000005
【図４】
2009042098.tif 000006
【図５】
2009042098.tif 000007
【図６】
2009042098.tif 000008
【図７】
2009042098.tif 000009
【図８】
2009042098.tif 000010
【図９】
2009042098.tif 000011
【図１０】
2009042098.tif 000012