(57)【要約】【課題】ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下が十分に抑えられる技術を提供する。【解決手段】画像処理装置１は、撮像装置で撮像した検知エリアの撮像画像と、この検知エリアの背景画像と、の背景差分画像を生成する。画像処理装置１は、生成した背景差分画像を処理し、撮像されているオブジェクトを検出する。画像処理装置１は、オブジェクトを検出した撮像画像を基準にして決定した、複数フレームの撮像画像について生成した複数フレームの背景差分画像に基づく積算フレーム画像を生成する。画像処理装置１は、検出したオブジェクトがノイズであるかどうかを、生成した積算フレーム画像を用いて判定する。【選択図】図１
2014056494.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で撮像した検知エリアの撮像画像が入力される画像入力部と、
検知エリアの背景画像と、前記画像入力部に入力された撮像画像と、の背景差分画像を生成する背景差分画像生成部と、
前記背景差分画像生成部が生成した背景差分画像を処理し、撮像されているオブジェクトを検出するオブジェクト検出部と、
前記オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、前記画像入力部に入力された複数フレームの撮像画像について、前記背景差分画像生成部が生成した複数フレームの背景差分画像に基づく積算フレーム画像を生成する積算フレーム画像生成部と、
前記オブジェクト検出部が検出したオブジェクトがノイズであるかどうかを、前記積算フレーム画像生成部が生成した積算フレーム画像を用いて判定する判定部と、を備えた画像処理装置。
【請求項２】
前記積算フレーム画像生成部は、前記オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、前記画像入力部に入力された複数フレームの撮像画像について、前記背景差分画像生成部が生成した全ての背景差分画像において前景画素であった画素を前景画素、その他の画素を背景画素とした積算フレーム画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記画像入力部は、前記撮像装置で撮像した検知エリアの距離画像が撮像画像として入力される、請求項１、または２に記載の画像処理装置。
【請求項４】
前記積算フレーム画像生成部は、前記オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、前記画像入力部に入力された複数フレームの撮像画像について、前記背景差分画像生成部が生成した全ての背景差分画像において前景画素であり、且つ、これら複数フレームの撮像画像における距離の変化幅が予め定めた距離設定範囲内であった画素を前景画素、その他の画素を背景画素とした積算フレーム画像を生成する、請求項３に記載の画像処理装置。
【請求項５】
前記画像入力部は、前記撮像装置で撮像した検知エリアの距離画像とともに、受光強度画像が撮像画像として入力され、
前記積算フレーム画像生成部は、前記オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、前記画像入力部に入力された複数フレームの撮像画像について、前記背景差分画像生成部が生成した全ての背景差分画像において前景画素であり、且つ、これら複数フレームの撮像画像における受光強度の変化幅が予め定めた受光強度設定範囲内であった画素を前景画素、その他の画素を背景画素とした積算フレーム画像を生成する、請求項３に記載の画像処理装置。
【請求項６】
前記判定部は、前記オブジェクト検出部が検出したオブジェクトのサイズが予め定めた確定サイズを超えていれば、前記積算フレーム画像生成部が生成した積算フレーム画像を用いることなく、オブジェクトであると判定する、請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
コンピュータが、
撮像装置で撮像した検知エリアの撮像画像と、この検知エリアの背景画像と、の背景差分画像を生成する背景差分画像生成ステップと、
前記背景差分画像生成ステップが生成した背景差分画像を処理し、撮像されているオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップがオブジェクトを検出した撮像画像を基準にして決定した、複数フレームの撮像画像について、前記背景差分画像生成ステップが生成した複数フレームの背景差分画像に基づく積算フレーム画像を生成する積算フレーム画像生成ステップと、
前記オブジェクト検出ステップが検出したオブジェクトがノイズであるかどうかを、前記積算フレーム画像生成ステップが生成した積算フレーム画像を用いて判定する判定ステップと、を実行するオブジェクト検出方法。
【請求項８】
撮像装置で撮像した検知エリアの撮像画像と、この検知エリアの背景画像と、の背景差分画像を生成する背景差分画像生成ステップと、
前記背景差分画像生成ステップが生成した背景差分画像を処理し、撮像されているオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップがオブジェクトを検出した撮像画像を基準にして決定した、複数フレームの撮像画像について、前記背景差分画像生成ステップが生成した複数フレームの背景差分画像に基づく積算フレーム画像を生成する積算フレーム画像生成ステップと、
前記オブジェクト検出ステップが検出したオブジェクトがノイズであるかどうかを、前記積算フレーム画像生成ステップが生成した積算フレーム画像を用いて判定する判定ステップと、をコンピュータに実行させるオブジェクト検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置で撮像した検知エリアの撮像画像を処理し、撮像されているオブジェクトを検出する技術に関する。
【背景技術】
【０００２】
従来、撮像装置で撮像した検知エリアの撮像画像を処理し、撮像されている人や物をオブジェクトとして検出する画像処理装置がある。この種の画像処理装置は、不審者の侵入や不審物の放置を監視するシステムに利用されている。
【０００３】
また、最近では、乗降客が駅ホームから線路内に落ちるのを防止するために、駅ホームの側端部に沿って設置した落下防止柵と、停車している列車との間に取り残された乗降客や、手荷物を検出する装置としての利用も考えられている。具体的には、駅ホームからの列車の発車時等における安全性を確保するために、落下防止柵と、列車との間に取り残された乗降客や、手荷物を検出する装置としての利用が考えられている。
【０００４】
この種の画像処理装置は、撮像装置で撮像した検知エリアの撮像画像と、この検知エリアの背景画像（背景モデル）と、の差分画像（背景差分画像）を生成し、撮像されているオブジェクトを検出している。ここで言う背景差分画像とは、各画素を、背景を撮像している背景画素、または、前景（オブジェクト）を撮像している前景画素で区別した２値化画像である。また、撮像画像の背景は、検知エリア内の明るさの変化等、撮像環境の変化に応じて変化する。オブジェクトの検出精度の向上を図る目的で、撮像環境の変化に応じて背景画像（背景モデル）を更新する技術が種々提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１０４８７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、撮像画像において、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に漂っている微粒子が撮像されている画素（以下、総称してノイズ画素と言う。）は、背景差分画像の生成において背景画素ではなく、前景画素に区別される。その結果、ノイズ画素が、オブジェクトとして誤検出されることがある。したがって、検知エリアが屋外である場合等、ノイズ画素が比較的生じやすい環境下においては、オブジェクトの検出精度の低下という問題があった。
【０００７】
この発明の目的は、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下が十分に抑えられる技術を提供することにある。
【課題を解決するための手段】
【０００８】
この発明の画像処理装置は、上記課題を解決し、その目的を達するために、以下のように構成している。
【０００９】
画像入力部には、撮像装置で撮像した検知エリアの撮像画像が入力される。この撮像画像は、ビデオカメラで撮像した検知エリアの可視画像であってもよいし、ＴＯＦ（Time Of Flight）カメラで撮像した検知エリアの距離画像であってもよい。
【００１０】
背景差分画像生成部は、検知エリアの背景画像（背景モデル）と、画像入力部に入力された撮像画像と、の背景差分画像を生成する。背景差分画像は、各画素が背景を撮像している背景画素、または、前景（オブジェクト）を撮像している前景画素で区別した２値化画像である。
【００１１】
オブジェクト検出部は、背景差分画像生成部が生成した背景差分画像を処理し、撮像されているオブジェクトを検出する。例えば、オブジェクト検出部は、背景差分画像において、周辺に位置する前景画素の集合を１つのグループとするグルーピングを行い、画素数が予め定めたオブジェクトサイズ（画素数）の下限を超えるグループをオブジェクトとして検出する。このオブジェクト検出部が検出するオブジェクトには、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に漂っている微粒子が撮像されている画素（以下、総称してノイズ画素と言うこともある。）によって誤検出されたオブジェクトが含まれることがある。
【００１２】
積算フレーム画像生成部は、オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、画像入力部に入力された複数フレームの撮像画像について、背景差分画像生成部が生成した複数フレームの背景差分画像に基づく積算フレーム画像を生成する。この積算フレーム画像生成部は、例えば、オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、画像入力部に入力された複数フレームの撮像画像について、背景差分画像生成部が生成した全ての背景差分画像において前景画素であった画素を前景画素、その他の画素を背景画素とした積算フレーム画像を生成する構成とすればよい。ノイズ画素（特に、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体にかかるノイズ画素）は、フレーム毎に変化する。したがって、生成される積算フレーム画像においては、ノイズ画素が背景画素に区別される。
【００１３】
判定部は、オブジェクト検出部が検出したオブジェクトがノイズであるかどうかを、積算フレーム画像生成部が生成した積算フレーム画像を用いて判定する。すなわち、判定部は、積算フレーム画像においても、オブジェクトとして検出されるかどうかによって、オブジェクト検出部が検出したオブジェクトがノイズ画素によるもの（誤検出によるもの）であるかどうかを判定する。また、判定部は、オブジェクト検出部が検出したオブジェクトのサイズが予め定めた確定サイズ（上述したオブジェクトサイズよりも大きい画素数）を超えていれば、積算フレーム画像生成部が生成した積算フレーム画像を用いることなく、オブジェクトであると判定するようにしてもよい。ノイズ画素によって誤検出されるオブジェクトの大きさは、比較的小さいので、比較的大きいサイズのオブジェクトについては、積算フレーム画像を用いないで、オブジェクトであると判定しても、特に問題は生じない。また、このようにすれば、装置本体の処理負荷が低減できる。
【００１４】
これにより、ノイズ画素によって、オブジェクトが誤検出されるのを抑えられる。したがって、検知エリアが屋外である場合等、ノイズ画素が比較的生じやすい環境下における、オブジェクトの検出精度の低下が十分に抑えられる。特にショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体にかかるノイズ画素によるオブジェクトの誤検出については、ほぼ確実に防止できる。
【００１５】
また、画像入力部に入力される撮像画像が、例えばＴＯＦカメラで撮像した検知エリアの距離画像である場合には、積算フレーム画像生成部を、オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、前記画像入力部に入力された複数フレームの撮像画像について、背景差分画像生成部が生成した全ての背景差分画像において前景画素であり、且つ、これら複数フレームの撮像画像における距離の変化幅が予め定めた距離設定範囲内であった画素を前景画素、その他の画素を背景画素とした積算フレーム画像を生成する、構成としてもよい。
【００１６】
このようにすれば、ノイズ画素によるオブジェクトの誤検出が一層抑えられる。
【００１７】
また、ＴＯＦカメラでは、検知エリアの受光強度画像も得られるので、積算フレーム画像生成部を、オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、画像入力部に入力された複数フレームの撮像画像について、背景差分画像生成部が生成した全ての背景差分画像において前景画素であり、且つ、これら複数フレームの撮像画像における受光強度の変化幅が予め定めた受光強度設定範囲内であった画素を前景画素、その他の画素を背景画素とした積算フレーム画像を生成する、構成としてもよい。
【００１８】
また、この発明にかかるオブジェクト検出方法は、上述の背景画像生成部、オブジェクト検出部、積算フレーム画像生成部、および判定部の構成に相当する処理をコンピュータに実行させる発明である。
【００１９】
さらに、この発明にかかるオブジェクト検出プログラムは、コンピュータにインストールすることで、上述の背景画像生成部、オブジェクト検出部、積算フレーム画像生成部、および判定部の構成に相当する処理を、このコンピュータに実行させる発明である。
【発明の効果】
【００２０】
この発明によれば、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下が十分に抑えられる。
【図面の簡単な説明】
【００２１】
【図１】画像処理装置の主要部の構成を示すブロック図である。
【図２】画像処理装置の動作を示すフローチャートである。
【図３】判定処理を示すフローチャートである。
【図４】積算フレーム画像生成処理を説明する図である。
【発明を実施するための形態】
【００２２】
以下、この発明の実施形態である画像処理装置について説明する。
【００２３】
図１は、画像処理装置の主要部の構成を示すブロック図である。画像処理装置１は、制御部２と、画像入力部３と、画像処理部４と、入出力部５と、を備えている。この画像処理装置１は、ハードウェアとして上述の構成を有するパーソナルコンピュータ等の情報処理装置を利用することができる。ハードウェアとして利用する情報処理装置は、この発明で言うオブジェクト検出プログラムをインストールすることで、後述する処理（図２、および図３に示すフローチャートにかかる処理）を実行する。
【００２４】
制御部２は、画像処理装置１本体各部の動作を制御する。
【００２５】
画像入力部３は、撮像装置１０で撮像した検知エリアの撮像画像が入力される。撮像装置１０は、可視画像を撮像するビデオカメラであってもよいし、距離画像、および受光強度画像を撮像するＴＯＦ（Time Of Flight）カメラであってもよい。検知エリアは、不審者の侵入や、不審物の放置等を監視するエリアである。撮像装置１０は、検知エリア全体が撮像エリアに収まるように設置している。撮像装置１０は、１秒間に数フレームから数十フレームの撮像画像を出力する。
【００２６】
画像処理部４は、画像入力部３に入力されたフレーム画像を処理し、このフレーム画像に撮像されているオブジェクト（背景でないオブジェクト）を検出する。また、画像処理部４は、検知エリアの背景画像等を記憶する画像メモリ（不図示）を有している。
【００２７】
入出力部５は、図示していない上位装置との間におけるデータの入出力を制御する。入出力部５は、画像処理部４でオブジェクトが検出されたときに、その旨を上位装置（不図示）に通知する。
【００２８】
なお、上位装置は、画像処理装置１の入出力部５から出力された信号によって、検知エリア内に位置するオブジェクトの検出が通知されたときに、その旨を警告灯の点灯や、音声による報知等で、周辺にいる係員等に通知する構成であってもよいし、この通知を他の処理に利用する構成であってもよい。
【００２９】
次に、この画像処理装置１の動作について説明する。この例では、上述した撮像装置１０はビデオカメラであり、画像入力部３に入力される検知エリアの撮像画像は可視画像である。図２は、画像処理装置の動作を示すフローチャートである。
【００３０】
画像処理装置１は、撮像装置１０が撮像した検知エリアの撮像画像が画像入力部３に入力されると（ｓ１）、画像処理部４において背景差分画像を生成する（ｓ２）。ｓ２では、画像処理部４が記憶する背景画像（背景モデル）を用いて、画像入力部３に入力された撮像画像の画素毎に、その画素が背景が撮像されている背景画素であるか、前景（オブジェクト）が撮像されている前景画素であるかを判定し、その判定結果を設定した２値化画像を背景差分画像として生成する。また、画像処理部４は、画像入力部３に入力された撮像画像を用いて、背景差分画像の生成に用いる背景画像を更新する更新処理も行う。この背景画像の更新処理については、上述した特許文献１に記載された手法等、様々な手法がすでに公知であるので、ここではその説明を省略する。
【００３１】
なお、この例にかかる画像処理装置１は、画像処理部４における背景画像の更新処理として、公知のいずれの手法を用いてもよい。
【００３２】
画像処理部４は、ｓ２で生成した背景差分画像を画像メモリに記憶する（ｓ３）。ｓ３では、後述する判定処理を実行するときに用いる背景差分画像を一時的に保持しておく処理である。したがって、画像処理部４は、時間経過にともなって、後述する判定処理で用いなくなった背景差分画像については、その時点で画像メモリから消去する。このため、画像メモリの記憶容量を無駄に使用することはなく、画像メモリの必要な記憶容量が抑えられる。
【００３３】
画像処理部４は、ｓ２で生成した背景差分画像に撮像されているオブジェクトを検出するオブジェクト検出処理を行う（ｓ４）。ｓ４では、ｓ２で生成した背景差分画像において、周辺に位置する前景画素をグルーピングすることで、前景領域を設定する。また、ｓ４では、設定した前景領域毎に、その前景領域に属する前景画素の画素数が、予め定めたオブジェクト判定画素数（例えば３〜５画素程度）以下の前景領域について、ノイズ（オブジェクトでない。）と判定する。画像処理部４は、オブジェクト判定画素数を超える前景領域をオブジェクトとして検出する。このｓ４では、検知エリア内に位置するオブジェクトだけでなく、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に漂っている微粒子等が撮像された画素（以下、総称してノイズ画素という場合もある。）が原因でオブジェクトとして誤検出されたものが含まれていることがある。このｓ４にかかる処理が、この発明で言うオブジェクト検出部に相当する。
【００３４】
画像処理部４は、ｓ４で検出したオブジェクト毎に、そのオブジェクトにかかる前景画素の画素数が予め定めた確定画素数を超えているかどうかを判定し（ｓ５）、確定画素数（例えば、２０〜３０画素）を超えていればオブジェクトとして確定し（ｓ６）、反対に確定画素数以下であれば、この時点でオブジェクトとして確定するのではなく未確定のオブジェクトとして登録する（ｓ７）。ノイズ画素を前景画素と判定し、且つ、ｓ４で誤検出されるオブジェクトにかかる画素数は比較的少ない。言い換えれば、比較的画素数が多いオブジェクトは、ｓ４で適正に検出されたオブジェクトである。ｓ５の判定に用いる確定画素数が、この発明で言う確定サイズに相当する。
【００３５】
画像処理装置１は、ｓ７で登録した未確定のオブジェクトについて、後述する判定処理を行い、このオブジェクトが、ノイズ画素が原因で誤検出されたものであるかどうかを判定する。
【００３６】
画像処理装置１は、画像処理部４において行ったオブジェクトの検出結果を上位装置に通知し（ｓ８）、ｓ１に戻る。このオブジェクトの検出結果には、後述する判定処理による検出結果も含まれる。
【００３７】
図３は、判定処理を示すフローチャートである。この判定処理は、図２に示した処理と並行して実行される処理である。画像処理部４は、図２に示すｓ３において、画像メモリに背景差分画像を記憶すると（ｓ１１）、図２に示すｓ７で登録された未確定のオブジェクトがあるかどうかを判定する（ｓ１２）。画像処理部４は、ｓ１２で未確定のオブジェクトがないと判定すると、ｓ１１に戻る。
【００３８】
画像処理部４は、ｓ１２で未確定のオブジェクトがあれば、その未確定のオブジェクトが最初に検出された撮像画像を基準にし、これ以降に撮像された撮像画像が予め定めた積算フレーム数ｎ（例えば、３〜５フレーム）に達しかどうかを判定する（ｓ１３）。ｓ１３では、登録されている未確定のオブジェクトが最初に検出された撮像画像にかかる背景差分画像を含み、これ以降に撮像された撮像画像にかかる背景差分画像の合計フレーム数が、積算フレーム数ｎに達したかどうかを判定している。
【００３９】
画像処理部４は、登録されている未確定のオブジェクトのいずれについてもｓ１３で積算フレーム数ｎに達していないと判定すると、ｓ１１に戻る。
【００４０】
画像処理部４は、登録されている未確定のオブジェクトのいずれかがｓ１３で積算フレーム数ｎに達していると判定すると、積算フレーム画像生成処理を行う（ｓ１４）。このｓ１４にかかる積算フレーム画像生成処理は、未確定のオブジェクトが最初に検出された撮像画像にかかる背景差分画像を１フレーム目とし、これ以降に撮像された撮像画像にかかる背景差分画像を２フレーム目〜ｎフレーム目とし、画素毎に、全ての背景差分画像において前景画素である画素を前景画素、その他の画素を背景画素とした積算フレーム画像を生成する。この積算フレーム画像は、前景画素を１、背景画素を０とした各フレームの背景差分画像において、画素毎に論理積をとったものである。
【００４１】
例えば、図４（Ａ）に示す、ｎフレームの背景差分画像から、図４（Ｂ）に示す積算フレーム画像が生成される。複数フレームにわたって、同じ画素が、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に漂っている微粒子が原因で前景画素と判定されることはない。すなわち、複数フレームにわたって、同じ画素がノイズ画素になることはない。したがって、いずれかのフレームでショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に漂っている微粒子が原因で前景画素と判定された画素を取り除いた（背景画素とした）積算フレーム画像が生成できる。
【００４２】
なお、図４では、ｓ６で確定されるオブジェクトが撮像されていない場合を例示している。
【００４３】
画像処理部４は、ｓ１４で生成した積算フレーム画像において、未確定のオブジェクトの有無を判定する（ｓ１５）。画像処理部４は、未確定のオブジェクトがなければ、この未確定のオブジェクトをノイズ（ｓ４で誤検出されたオブジェクト）と判定する（ｓ１６）。反対に、画像処理部４は、未確定のオブジェクトがあれば、この未確定のオブジェクトをオブジェクトとして確定する（ｓ１７）。
【００４４】
このように、背景差分画像において、検出されたオブジェクトの画素数が、オブジェクト判定画素数を超え、確定画素数以下であったオブジェクト（未確定のオブジェクト）についても、オブジェクトであるかどうかを精度よく判定することができる。したがって、検知エリアが屋外である場合等、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下が十分に抑えられる。
【００４５】
また、図３に示す判定処理の対象になった未確定のオブジェクトについては、この判定処理が終了した時点で、その登録を解除する。また、上記の説明から明らかなように、画像メモリは、予め設定している積算フレーム数ｎの背景差分画像を記憶すればよい。言い換えれば、積算フレーム数ｎを超える背景差分画像を記憶しなくてもよい。
【００４６】
次に、別の例にかかる画像処理装置１について説明する。この例は、上述した撮像装置１０を、ＴＯＦカメラとした構成であり、画像入力部３に入力される検知エリアの撮像画像は距離画像である。
【００４７】
ＴＯＦカメラは、公知のように、検知エリア（撮像エリア）に赤外光を照射する光源、およびｎ×ｍ個の受光素子をマトリクス状に配置した撮像素子（ｎ×ｍ画素の撮像素子）を有する。ＴＯＦカメラは、赤外光を検知エリアに照射してから、反射光を受光するまでの時間（飛行時間）を画素毎（受光素子毎）に計測する。ＴＯＦカメラは、検知エリアに照射した光と、受光した反射光と、の位相差を計測することによって、飛行時間を得る。ＴＯＦカメラは、この飛行時間を得るため、撮像素子の一部の画素に、検知エリアに照射した光を直接受光させている。
【００４８】
ＴＯＦカメラは、画素毎に、その画素について得た飛行時間から、照射した光を反射した反射面までの距離を算出する。ＴＯＦカメラは、画素毎に、反射面までの距離を対応付けた距離画像を取得する。また、ＴＯＦカメラは、画素毎に、その画素が受光した反射光の強度（受光強度）を対応付けた受光強度画像を取得することができる。ＴＯＦカメラは、同じタイミングで撮像した検知エリアの距離画像、および受光強度画像を一対の撮像画像として得ることができる。
【００４９】
このＴＯＦカメラは、例えば、１秒間に５〜１０フレーム程度の距離画像、および受光強度画像（一対の撮像画像）の撮像が行える。
【００５０】
この例にかかる画像処理装置１は、撮像画像、および背景画像が距離画像である点で上述した例と異なるが、図２に示す処理を行うことで、ｓ４にかかるオブジェクト検出処理で、ｓ２で生成した背景差分画像に撮像されているオブジェクトを検出することができる。また、画像処理部４は、ｓ２で背景差分画像を生成するとき、距離の差が予め定めた範囲内である画素を背景画素、距離の差が予め定めた範囲内でない画素を前景画素と判定する。また、画像処理部４は、ｓ４で検出したオブジェクトのサイズに基づき、オブジェクトの確定、または未確定が判定できる。
【００５１】
また、未確定のオブジェクトについては、図３に示す判定処理を行うことで、オブジェクトであるかどうかを精度よく判定することができる。したがって、上述した例と同様に、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下が十分に抑えられる。
【００５２】
また、ｓ１４で積算フレーム画像を生成するときに、その画素を前景画素とするか、背景画素とするかの判定を、全てのフレームにおいて前景画素であったかどうかで判定するだけでなく、全てのフレームにおいて距離の変化幅が予め定めた距離設定範囲内であったかどうかを加えて判定するようにしてもよい。
【００５３】
この場合、背景差分画像だけでなく、画像入力部３に入力された距離画像も画像メモリに記憶する構成とすればよい。
【００５４】
このようにすれば、未確定のオブジェクトについて、その距離も加味して、オブジェクトであるか、ノイズ（誤検出されたオブジェクト）であるかの判定が行える。したがって、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下が一層抑えられる。
【００５５】
また、上述したように、ＴＯＦカメラは、受光強度画像を撮像することができるので、この受光強度画像を利用して、ｓ１４で積算フレーム画像を生成するときに、その画素を前景画素とするか、背景画素とするかの判定を、全てのフレームにおいて前景画素であったかどうかで判定するだけでなく、全てのフレームにおいて受光強度の変化幅が予め定めた受光強度設定範囲内であったかどうかを加えて判定するようにしてもよい。
【００５６】
この場合、背景差分画像だけでなく、画像入力部３に入力された受光強度画像も画像メモリに記憶する構成とすればよい。
【００５７】
このようにすれば、未確定のオブジェクトについて、その受光強度も加味して、オブジェクトであるか、ノイズ（誤検出されたオブジェクト）であるかの判定が行える。したがって、降雨時や、霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下が一層抑えられる。
【００５８】
さらに、上述した距離、受光強度の両方を加えて、ｓ１４で積算フレーム画像を生成するときに、その画素を前景画素とするか、背景画素とするかの判定を行うようにしてもよい。このようにすれば、未確定のオブジェクトについて、その距離、および受光強度も加味して、オブジェクトであるか、ノイズ（誤検出されたオブジェクト）であるかの判定が行える。したがって、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下がより一層抑えられる。
【符号の説明】
【００５９】
１…画像処理装置
２…制御部
３…画像入力部
４…画像処理部
５…入出力部
１０…撮像装置
【図１】
2014056494.tif 000003
【図２】
2014056494.tif 000004
【図３】
2014056494.tif 000005
【図４】
2014056494.tif 000006