(57)【要約】【課題】距離画像を撮像する撮像装置の撮像光学系の状態が適正であるか、不適正であるかの検知が簡単に行える技術を提供する。【解決手段】画像入力部２には、撮像装置１０によって撮像された検知エリアの距離画像が入力される。画像処理部３は、検知エリアについて、画像入力部２に入力された距離画像と、背景画像記憶部４が記憶する検知エリアの背景距離画像とにおいて、対応する画素間の距離差が所定量を超えている画素を抽出し、抽出した画素の距離のばらつきを示す分散にかかる値に基づいて、撮像装置１０の撮像光学系の状態が適正であるかどうかを判定する。【選択図】図１
2016170061.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって撮像された検知エリアの距離画像を入力する距離画像入力部と、
前記検知エリアの背景距離画像を記憶する背景距離画像記憶部と、
前記検知エリアについて、前記距離画像入力部に入力された前記距離画像と、前記背景距離画像記憶部が記憶する前記背景距離画像とにおいて、対応する画素間の距離差が所定量を超えている画素を抽出する抽出部と、
前記距離画像入力部に入力された前記距離画像における、前記抽出部が抽出した画素の距離のばらつきを示す分散にかかる値に基づいて、前記撮像装置の撮像光学系の状態が適正であるかどうかを判定する状態判定部と、を備えた撮像光学系の状態検知装置。
【請求項２】
前記状態判定部は、前記抽出部が抽出した画素の画素数が予め定めた第１の閾値を超えていれば、前記抽出部が抽出した画素の距離のばらつきを示す分散にかかる値に関係なく、前記撮像装置の撮像光学系の状態が適正でないと判定する、請求項１に記載の撮像光学系の状態検知装置。
【請求項３】
前記状態判定部は、前記抽出部が抽出した画素の画素数が前記第１の閾値を越えていれば、前記抽出部が抽出した画素の距離のばらつきを示す分散にかかる値を算出しない、請求項２に記載の撮像光学系の状態検知装置。
【請求項４】
前記状態判定部は、前記抽出部が抽出した画素の画素数が予め定めた第２の閾値を超えていなければ、前記分散にかかる値に関係なく、前記撮像装置の撮像光学系の状態が適正であると判定する、請求項１に記載の撮像光学系の状態検知装置。
【請求項５】
前記状態判定部は、前記抽出部が抽出した画素の画素数が予め定めた前記第１の閾値よりも小さい、第２の閾値を超えていなければ、前記分散にかかる値に関係なく、前記撮像装置の撮像光学系の状態が適正であると判定する、請求項２、または３に記載の撮像光学系の状態検知装置。
【請求項６】
前記状態判定部は、前記抽出部が抽出した画素の画素数が前記第２の閾値を越えていなければ、前記分散にかかる値を算出しない、請求項４、または５に記載の撮像光学系の状態検知装置。
【請求項７】
前記状態判定部は、前記分散にかかる値が予め定めた第３の閾値を超えていれば、前記撮像装置の撮像光学系の状態が適正でないと判定する、請求項１〜６のいずれかに記載の撮像光学系の状態検知装置。
【請求項８】
前記抽出部は、前記検知エリアについて、前記距離画像入力部に入力された前記距離画像と、前記背景距離画像記憶部が記憶する前記背景距離画像との距離差分画像を生成し、対応する画素間の距離差が所定量を超えている画素を前景画素として抽出する、請求項１〜７のいずれかに記載の撮像光学系の状態検知装置。
【請求項９】
前記状態判定部が前記撮像装置の撮像光学系の状態が適正でないと判定したとき、その旨を出力する出力部を備えた請求項１〜８のいずれかに記載の撮像光学系の状態検知装置。
【請求項１０】
撮像装置によって撮像され、距離画像入力部に入力された検知エリアの距離画像と、背景距離画像記憶部に記憶する前記検知エリアの背景距離画像とにおいて、対応する画素間の距離差が所定量を超えている画素を抽出する抽出ステップと、
前記距離画像入力部に入力された前記距離画像における、前記抽出ステップで抽出した画素の距離のばらつきを示す分散にかかる値に基づいて、前記撮像装置の撮像光学系の状態が適正であるかどうかを判定する状態判定ステップと、を備えた撮像光学系の状態検知方法。
【請求項１１】
撮像装置によって撮像され、距離画像入力部に入力された検知エリアの距離画像と、背景距離画像記憶部に記憶する前記検知エリアの背景距離画像とにおいて、対応する画素間の距離差が所定量を超えている画素を抽出する抽出ステップと、
前記距離画像入力部に入力された前記距離画像における、前記抽出ステップで抽出した画素の距離のばらつきを示す分散にかかる値に基づいて、前記撮像装置の撮像光学系の状態が適正であるかどうかを判定する状態判定ステップと、をコンピュータに実行させる撮像光学系の状態検知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、検知エリアに照射した光の反射光を受光することによって、検知エリアの距離画像を撮像する撮像装置の撮像光学系の状態が適正であるかどうかを判定する技術に関する。
【背景技術】
【０００２】
従来、撮像エリアの距離画像を取得する３Ｄセンサ(Three Dimensional Sensor)の１つとして、ＴＯＦ（Time Of Flight）センサがある（例えば、特許文献１参照）。ＴＯＦセンサは、正弦波変調光を撮像エリアに投光し、その反射光を受光することにより、同じタイミングで撮像エリアの距離画像、および受光強度画像を撮像することができる。ＴＯＦセンサは、正弦波変調光（赤外光）を撮像エリアに投光する発光素子を有する投光部、およびｎ×ｍ個の受光素子をマトリクス状に配置したイメージセンサを有する受光部、を備えている。
【０００３】
ＴＯＦセンサは、赤外光を撮像エリアに投光してから、各受光素子で反射光を受光するまでの時間（飛行時間）を計測する。ＴＯＦセンサは、撮像エリアに照射した赤外光と、受光した反射光と、の位相差を計測することによって、飛行時間を得る。ＴＯＦセンサは、各受光素子で得た飛行時間から、投光した光を反射した反射面までの距離を算出することにより、撮像エリアの距離画像を取得する。また、ＴＯＦセンサは、各受光素子で受光した反射光の強度から、撮像エリアの受光強度画像を取得する。
【０００４】
また、撮像エリアをレーザ光で走査し、その反射光を受光することによって、同じタイミングで撮像した距離画像、および受光強度画像を取得する３Ｄセンサ(Three Dimensional Sensor)もある。
【０００５】
最近では、オブジェクトの有無を検出することができない死角が生じるのを防止する観点（オブジェクトの見逃しを防止する観点）から、透過型や反射型の光電センサを用いるのではなく、上述のＴＯＦセンサ等で撮像した距離画像を処理して、撮像されているオブジェクト（撮像エリア内に位置するオブジェクト）を検出することが検討されている(特許文献２等参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２０１０−５３４０００号公報
【特許文献２】特開２０１４−１７８１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＴＯＦセンサ等の３Ｄセンサは、撮像光学系であるレンズやレンズカバーの表面に異物が付着していたり、レンズやレンズカバーにひび等の破損が生じていたりする状態であると（撮像光学系が不適正な状態であると）、撮像した距離画像が散乱光の影響を受けたノイズの多いものになる。特に、３Ｄセンサを屋外使用する場合、塵、埃、雨滴等が異物として撮像光学系であるレンズやレンズカバーの表面に付着しやすい。撮像光学系が不適正な状態で撮像した距離画像は、上述したようにノイズが多いので、撮像されているオブジェクトを適正に検出することができない。
【０００８】
このようなことから、ＴＯＦセンサ等の３Ｄセンサの撮像光学系が不適正な状態であるかどうかの検知が行える技術の開発が要望されている。
【０００９】
この発明の目的は、距離画像を撮像する撮像装置の撮像光学系の状態が適正であるか、不適正であるかの検知が簡単に行える技術を提供することにある。
【課題を解決するための手段】
【００１０】
この発明の撮像光学系の状態検知装置は、上記目的を達するために以下のように構成している。
【００１１】
距離画像入力部には、撮像装置によって撮像された検知エリアの距離画像が入力される。検知エリアの距離画像を撮像する撮像装置としては、例えばＴＯＦ（Time Of Flight）センサを利用したものがある。背景距離画像記憶部は、検知エリアの背景距離画像を記憶する。
【００１２】
抽出部は、検知エリアについて、距離画像入力部に入力された距離画像と、背景距離画像記憶部が記憶する背景距離画像とにおいて、対応する画素間の距離差が所定量を超えている画素を抽出する。例えば、抽出部は、検知エリアについて、距離画像入力部に入力された距離画像と、背景距離画像記憶部が記憶する背景距離画像との距離差分画像を生成し、対応する画素間の距離差が所定量を超えている画素（すなわち前景画素）を抽出する。
【００１３】
状態判定部は、距離画像入力部に入力された距離画像における、抽出部が抽出した画素の距離のばらつきを示す分散にかかる値に基づいて、撮像装置の撮像光学系の状態が適正であるかどうかを判定する。分散にかかる値とは、抽出部が抽出した画素の距離のばらつきを示す分散であってもよいし、この分散の正の平方根である偏差であってもよい。
【００１４】
抽出部において抽出された前景画素がオブジェクトを撮像したものである場合、抽出された前景画素の距離のばらつきは小さい。一方、抽出部において抽出された前景画素がオブジェクトを撮像したものでなく、撮像装置の撮像光学系であるレンズやレンズカバーの表面に付着した異物や、レンズやレンズカバーにひび等の破損によって生じた散乱光の影響を受けたノイズ画素である場合、抽出された前景画素の距離のばらつきは大きくなる。
【００１５】
したがって、抽出部が抽出した画素の距離のばらつきを示す分散にかかる値に基づいて、撮像装置の撮像光学系の状態が適正であるか、不適正であるかの検知が行える。
【００１６】
例えば、抽出部が抽出した画素の距離のばらつきを示す分散（または偏差）が、予め定めた閾値(第３の閾値）を超えていなければ、距離画像を撮像する撮像装置の撮像光学系の状態が適正であると判定し、反対に、予め定めた閾値(第３の閾値）を超えていれば、距離画像を撮像する撮像装置の撮像光学系の状態が適正でないと判定すればよい。
【００１７】
なお、抽出部が抽出した画素の距離のばらつきを示す分散（または偏差）が、予め定めた閾値(第３の閾値）である場合（算出した距離の分散（または偏差）＝第３の閾値）については、距離画像を撮像する撮像装置の撮像光学系の状態が適正であると判定するようにしてもよいし、距離画像を撮像する撮像装置の撮像光学の状態が適正でないと判定するようにしてもよい。
【００１８】
また、状態判定部は、抽出部が抽出した前景画素の画素数が予め定めた第１の閾値を超えているとき、抽出部が抽出した画素の距離のばらつきを示す分散にかかる値に関係なく、撮像装置の撮像光学系の状態が適正でないと判定してもよい。この第１の閾値は、対象になる画素（検知領域を撮像している画素）の画素数の７０〜８０パーセントの値にすればよい。
【００１９】
大半の画素が前景画素になる状況は、撮像装置の撮像光学系であるレンズやレンズカバーの表面を覆うようにテープ等が貼り付けられている可能性が高い。したがって、イタズラで、テープやガム等が撮像光学系であるレンズやレンズカバーの表面を覆うように貼り付けられたときも、撮像装置の撮像光学系の状態が適正でないと判定できる。また、抽出部が抽出した前景画素の画素数が予め定めた第１の閾値を超えているときは、抽出部が抽出した画素の距離のばらつきを示す分散にかかる値を算出しなくてもよい。
【００２０】
なお、抽出部が抽出した前景画素の画素数が予め定めた第１の閾値(前景画素の画素数＝第１の閾値)であるときについては、抽出部が抽出した画素の距離のばらつきを示す分散にかかる値に関係なく、撮像装置の撮像光学系の状態が適正でないと判定してもよいし、抽出部が抽出した画素の距離のばらつきを示す分散にかかる値によって、撮像装置の撮像光学系の状態が適正であるかどうかを判定してもよい。
【００２１】
また、状態判定部は、抽出部が抽出した前景画素の画素数が予め定めた第２の閾値（第１の閾値＞第２の閾値）を超えていないとき、抽出部が抽出した画素の距離のばらつきを示す分散にかかる値に関係なく、撮像装置の撮像光学系の状態が適正であると判定してもよい。この第２の閾値は、対象になる画素（検知領域を撮像している画素）の画素数の２０〜３０パーセントの値にすればよい。
【００２２】
前景画素が比較的少ないということは、撮像光学系であるレンズやレンズカバーの表面に付着した異物や、レンズやレンズカバーにひび等の破損によって生じた散乱光の影響を受けた画素（ノイズ画素）が少ないということである。このことから、抽出部が抽出した前景画素の画素数が予め定めた第２の閾値を超えていなければ、抽出部が抽出した画素の距離のばらつきを示す分散にかかる値に関係なく、撮像装置の撮像光学系の状態が適正であると判定できる。また、抽出部が抽出した前景画素の画素数が予め定めた第２の閾値を超えていないときは、抽出部が抽出した画素の距離のばらつきを示す分散にかかる値を算出しなくてもよい。
【００２３】
なお、抽出部が抽出した前景画素の画素数が予め定めた第２の閾値である場合（前景画素の画素数＝第２の閾値）については、抽出部が抽出した画素の距離のばらつきを示す分散にかかる値に関係なく、撮像装置の撮像光学系の状態が適正であると判定してもよいし、抽出部が抽出した画素の距離のばらつきを示す分散にかかる値によって、撮像装置の撮像光学系の状態が適正であるかどうかを判定してもよい。
【００２４】
さらに、状態検知装置は、状態判定部が撮像装置の撮像光学系の状態が適正でないと判定したとき、その旨を出力する出力部を備える構成にしてもよい。このように構成すれば、管理者が、撮像光学系の状態が不適正である撮像装置を早期に認識できる。
【発明の効果】
【００２５】
この発明によれば、距離画像を撮像する撮像装置の撮像光学系の状態が適正であるか、不適正であるかの検知が簡単に行える。
【図面の簡単な説明】
【００２６】
【図１】状態検知装置の主要部の構成を示すブロック図である。
【図２】図２（Ａ）、（Ｂ）は、オブジェクトまでの距離を求める公知の技術を説明する図である。
【図３】撮像装置によって撮像される距離画像の撮像エリアを説明する図である。
【図４】状態検知装置における撮像光学系の状態検知処理を示すフローチャートである。
【図５】撮像装置によって撮像される距離画像の撮像エリアを説明する図である
【図６】差分画像を示す図である。
【図７】撮像装置によって撮像される距離画像の撮像エリアを説明する図である
【図８】差分画像を示す図である。
【図９】差分画像を示す図である。
【図１０】差分画像を示す図である。
【図１１】撮像装置の撮像光学系の状態が適正であるかどうかの判定領域を示す図である。
【発明を実施するための形態】
【００２７】
以下、この発明の実施形態である状態検知装置について説明する。
【００２８】
図１は、この例にかかる状態検知装置の主要部の構成を示すブロック図である。状態検知装置１には、撮像装置１０が接続されている。状態検知装置１は、接続されている撮像装置１０の撮像光学系の状態が適正であるか、不適正であるかを検知（判定）し、不適正であれば、その旨を出力する。この状態検知装置１は、図１に示すように、画像入力部２と、画像処理部３と、背景画像記憶部４と、閾値記憶部５と、出力部６と、を備えている。
【００２９】
状態検知装置１に接続されている撮像装置１０は、ＴＯＦ（Time Of Flight）センサを有し、撮像エリアの距離画像を撮像するものである。具体的には、撮像装置１０は、撮像エリアに赤外光を照射する光源、およびｎ×ｍ個の受光素子をマトリクス状に配置した撮像素子を有する。撮像装置１０は、赤外光を撮像エリアに照射してから、その反射光を受光するまでの時間（飛行時間）を画素毎に計測する。飛行時間は、撮像エリアに照射した光と、受光した反射光と、の位相差から得られる。撮像装置１０は、画素毎に計測した飛行時間からオブジェクト（照射光を反射した物体の反射面）までの距離を得る。撮像装置１０は、例えば、１秒間に５〜１０フレーム程度の距離画像の撮像が行える。
【００３０】
公知ではあるが、オブジェクトまでの距離を求める手法を簡単に説明する。光源から照射される光は、発光強度が変調されている。撮像エリアからの反射光を受光する際に伝播距離に応じて変調位相がずれる。光源からの光の一部を受光素子の一部で直接受光することで照射光の位相をモニタし、反射光として受光した光の位相とのずれを求める。位相ずれは、図２（Ａ）に示すように、照射光の変調周期Ｔに対してＴ／２期間ごとにサンプリングした受光信号（Ａ０、Ａ２）と、さらに図２（Ｂ）に示すように、Ｔ／４ずらしたタイミングでサンプリングした受光信号（Ａ１，Ａ３）と、に基づいて伝播距離によって位相のずれ量φを算出する。位相のずれ量φは、
φ＝arctan{（Ａ３−Ａ１）／（Ａ０−Ａ２）}
により算出できる。
【００３１】
また、ここで求めた位相のずれ量φからオブジェクトまでの距離Ｄを求めることができる。オブジェクトまでの距離Ｄは、
Ｄ＝Ｌｍａｘ×φ／２π
により算出できる。ここでＬｍａｘはφ＝２πとなるときの物体までの往復距離（測定最大距離）であり、変調周波数が２０ＭＨｚであればＬｍａｘは７．５ｍ、１０ＭＨｚであれば１５ｍとなる。
【００３２】
ここで、撮像素子について説明する。撮像素子は、上述したようにｎ×ｍ個の受光素子をマトリクス状に配置したものである。この例では、隣接する縦横それぞれ２つずつ（合計４つ）の受光素子を１組とし、これを１画素として扱う。各受光素子は、Ｔ／４期間ごとずらしたサンプリングタイミングで光電変換された電荷を蓄積する。これにより、Ｔ／４期間ごとの蓄積電荷に基づいて、前述のＡ０，Ａ１，Ａ２，Ａ３の受光信号を得ることができる。なお、他の手法として、２つの受光素子を１画素として扱い、前述のＡ０〜Ａ３の受光信号を得る方式もある。
【００３３】
ここでいう「画素」とは、上述したように、位相のずれまたは距離を求めてオブジェクトを検知するために画像処理を行うときの単位となる受光素子のブロックであり、１つの受光素子であってもよいし、隣接する複数の受光素子（例えば、縦横２ずつの受光素子）で構成されるブロックであってもよい。
【００３４】
撮像装置１０は、前述の照射光の変調の１周期だけの受光電荷では量的に少なすぎるので、露光時間を適宜設定し、その期間に蓄積された電荷量を用いて位相のずれを算出し、距離画像を得る。
【００３５】
また、撮像装置１０は、画素毎に所定期間分（複数周期分）の蓄積電荷を全て集めることにより、画素毎にその画素が受光した反射光の強度（反射光量）を対応付けた受光強度画像を取得することもできる。すなわち、撮像装置１０は、同じ露光タイミング（露光期間)で撮像した撮像エリアの距離画像、および受光強度画像を取得することができる。但し、この例にかかる状態検知装置１は、受光強度画像を用いることなく、撮像装置１０の撮像光学系の状態が適正であるか、不適正であるかを検知する構成であるので、受光強度画像については説明を省略する。
【００３６】
なお、撮像装置１０は、レーザ光を照射する光源、反射光を受光する受光素子、および撮像エリア内において光源から照射されたレーザ光を走査する走査部を有する構成のものであってもよい。撮像装置１０は、撮像エリアの距離画像が撮像できる構成のものであれば特に制限されない。
【００３７】
画像入力部２には、撮像装置１０が撮像した撮像エリアの距離画像が入力される。図３は、撮像装置の撮像エリアを説明する図である。ここでは、撮像装置１０の撮像エリアを駅ホームの端部とした例である。但し、図３は、撮像装置１０によって撮像される距離画像を示すものではない（便宜的に可視光画像を示している。）。
【００３８】
図３において、破線で囲んだ領域が、オブジェクトの有無を検知する検知エリアである。検知エリアは、管理者によって設定されるものであり、撮像装置１０の撮像エリア全体であってもよいし、図３に示すように、撮像装置１０の撮像エリアの一部であってもよい。画像入力部２が、この発明で言う距離画像入力部に相当する。
【００３９】
画像処理部３は、画像入力部２に入力された撮像エリアの距離画像を処理し、撮像装置１０の撮像光学系の状態が適正であるか、不適正であるかを判定する。画像処理部３が、この発明で言う、抽出部、および状態判定部にかかる構成を有する。また、この画像処理部３が、この発明で言う撮像光学系の状態検知方法を実行する。さらに、画像処理部３は、この発明にかかる撮像光学系の状態検知プログラムをインストールするコンピュータを有する。
【００４０】
背景画像記憶部４は、図３に示した検知エリアの背景画像を記憶する。背景画像記憶部４に記憶する背景画像は、検知エリアの距離画像である。背景画像記憶部４が記憶する背景画像は、撮像装置１０の撮像光学系の状態が適正であることが検知されていることを条件にして、適当なタイミングで更新される。背景画像記憶部４が、この発明で言う背景距離画像記憶部に相当する。
【００４１】
なお、背景画像記憶部４は、図３に示した撮像エリアの背景画像（距離画像）を記憶してもよい。この例では、背景画像記憶部４の記憶容量を抑える観点から、検知エリアの背景画像を背景画像記憶部４に記憶させている。
【００４２】
閾値記憶部５は、撮像装置１０の撮像光学系の状態を検知する判定に用いる３つの閾値（上限画素数閾値、下限画素数閾値、および分散閾値）を記憶している。上限画素数閾値は、この発明で言う第１の閾値に相当する。下限画素数閾値は、この発明で言う第２の閾値に相当する。分散閾値は、この発明で言う第３の閾値に相当する。上限画素数閾値は、図３に示した検知エリアの総画素数の７０〜８０パーセントである。下限画素数閾値は、図３に示した検知エリアの総画素数の２０〜３０パーセントである。分散閾値は、２０〜３０である。
【００４３】
出力部６は、画像処理部３において、撮像装置１０の撮像光学系の状態が不適正であることが検知されたときに、その旨を接続されている警報装置（不図示）に出力する。警報装置は、出力部６から撮像装置１０の撮像光学系の状態が不適正である旨の入力があると、撮像装置１０の撮像光学系の状態が不適正であることを音声等で報知する。管理者は、警報装置の報知によって、撮像装置１０の撮像光学系の状態が不適正であることを認識する。
【００４４】
以下、この例にかかる状態検知装置１の動作について説明する。
【００４５】
図４は、この例にかかる状態検知装置における撮像光学系の状態検知処理を示すフローチャートである。状態検知装置１は、撮像装置１０によって撮像された撮像エリアの距離画像が画像入力部２に入力されると（ｓ１）、この距離画像から図３に示した検知エリアの距離画像を切り出す（ｓ２）。検知エリアが撮像装置１０の撮像エリア全体である場合には、ｓ２にかかる処理は不要である。画像処理部３が、ｓ２にかかる処理を行う。
【００４６】
画像処理部３は、背景画像記憶部４に記憶している検知エリアの背景画像（距離画像）と、ｓ２で切り出した検知エリアの距離画像と、の差分画像（距離差分画像）生成する（ｓ３）。ｓ３では、背景画像記憶部４に記憶している検知エリアの背景画像（距離画像）と、ｓ２で切り出した検知エリアの距離画像とにおいて、対応する画素間の距離差が所定量を超えている画素を前景画素とし、対応する画素間の距離差が所定量を超えていない画素を背景画素とした２値画像を生成する。また、対応する画素間の距離差が、所定量である場合については、前景画素として抽出してもよいし、背景画素として抽出してもよい。
【００４７】
例えば、ｓ１で入力された距離画像が、検知エリア内に傘が位置しているときに（図５に示す状態であるときに）撮像装置１０によって撮像された距離画像である場合、ｓ３では図６に示す差分画像が生成される。図６において、ハッチングで示す画素が前景画素であり、その他が背景画素である。図６に示す前景画素は、図５に示した傘に対応する画素である。傘は、その外形が小さく、実空間上の限られたエリアに位置することから、図６に示す前景画素の距離のばらつきを示す分散δ2は小さい。
【００４８】
また、ｓ１で入力された距離画像が、検知エリア内に人が位置しているときに（図７に示す状態であるときに）撮像装置１０によって撮像された距離画像である場合、ｓ３では図８に示す差分画像が生成される。図８において、ハッチングで示す画素が前景画素であり、その他が背景画素である。図８に示す前景画素は、図７に示した人に対応する画素である。人は、上述した傘に比べると、その外形が大きいので、図８に示す前景画素の距離のばらつきを示す分散δ2はある程度の大きさになる。
【００４９】
なお、図５〜図８に示した例においては、撮像装置１０の撮像光学系の状態は適正であるものとする。
【００５０】
また、撮像装置１０の撮像光学系のレンズやレンズカバーの表面に塵や埃や雨滴等が付着しており、この撮像光学系の状態が不適正である場合、検知エリア内にオブジェクトが位置していない状態であっても、レンズやレンズカバーの表面に付着している塵や埃や雨滴等によって生じた光の拡散により、ｓ３では図９に示すような差分画像が生成される。図９において、ハッチングで示す画素が前景画素であり、その他が背景画素である。図９に示す前景画素は、ノイズ画素であることから、これらの前景画素の距離のばらつきを示す分散δ2は比較的大きい。
【００５１】
また、イタズラで、撮像装置１０の撮像光学系のレンズやレンズカバーの表面全体を覆うようにテープが貼付されていた場合、このテープによって生じた光の拡散により、ｓ３では図１０に示すような差分画像が生成される。図１０に示すように、撮像装置１０の撮像光学系のレンズやレンズカバーの表面全体を覆うようにテープが貼付されていた場合、検知エリア内にオブジェクトが位置していない状態であっても、図１０に示すように検知エリア内の殆ど全ての画素が前景画素になる。図１０に示す前景画素は、ノイズ画素であるが、これらの前景画素の距離のばらつきを示す分散δ2は比較的小さい。
【００５２】
なお、撮像装置１０の撮像光学系のレンズやレンズカバーにひび等の破損が生じている場合も、その破損の程度によって、図９、または図１０に示す差分画像になる。
【００５３】
画像処理部３は、ｓ３で生成した差分画像における前景画素の個数を計数する（ｓ４）。画像処理部３は、ｓ４で計数した前景画素の個数が、閾値記憶部５に記憶している上限画素数閾値を超えているかどうかを判定する（ｓ５）。画像処理部３は、ｓ４で計数した前景画素の個数が、閾値記憶部５に記憶している上限画素数閾値を超えていると判定すると、撮像装置１０の撮像光学系の状態が不適正であると判定し（ｓ１０）、出力部６がその旨を警報装置に出力する（ｓ１１）。
【００５４】
このように、画像処理部３は、このｓ５の判定を行うことによって、例えば、イタズラで、撮像装置１０の撮像光学系のレンズやレンズカバーの表面全体を覆うようにテープ等が貼付されたことによって、ｓ３で図１０に示すような差分画像が生成された場合に、撮像装置１０の撮像光学系の状態が不適正であることを検知できる。
【００５５】
なお、ｓ５では、ｓ４で計数した前景画素の個数と、閾値記憶部５に記憶している上限画素数閾値とが同じである場合（前景画素の個数＝上限画素数閾値である場合）、ｓ１０で撮像装置１０の撮像光学系の状態が不適正であると判定してもよいし、以下に示すｓ６以降の処理を行ってもよい。
【００５６】
画像処理部３は、ｓ５において、ｓ４で計数した前景画素の個数が、閾値記憶部５に記憶している上限画素数閾値を超えていないと判定すると、ｓ４で計数した前景画素の個数が、閾値記憶部５に記憶している下限画素数閾値を超えているかどうかを判定する（ｓ６）。画像処理部３は、ｓ４で計数した前景画素の個数が、閾値記憶部５に記憶している下限画素数閾値を超えていないと判定すると、撮像装置１０の撮像光学系の状態が適正であると判定する（ｓ９）。
【００５７】
画像処理部３は、前景画素が少ない場合に、すなわちノイズ画素が少ない場合に、撮像装置１０の撮像光学系の状態が適正であると判定している。また、下限画素数閾値を適正に定めることによって、画像処理部３は、検知エリア内に外形が比較的小さいオブジェクト（例えば、図５に示した傘）が位置していた場合も、ｓ９で撮像装置１０の撮像光学系の状態が適正であることを検知できる。
【００５８】
なお、ｓ６では、ｓ４で計数した前景画素の個数と、閾値記憶部５に記憶している下限画素数閾値とが同じである場合（前景画素の個数＝下限画素数閾値である場合）、ｓ９で撮像装置１０の撮像光学系の状態が適正であると判定してもよいし、以下に示すｓ７以降の処理を行ってもよい。
【００５９】
画像処理部３は、ｓ６において、ｓ４で計数した前景画素の個数が、閾値記憶部５に記憶している下限画素数閾値を超えていると判定すると、前景画素の距離のばらつきを示す分散δ2を算出する（ｓ７）。この分散δ2は、［数１］により算出できる。
【００６０】
【数１】
2016170061.tif 000003
【００６１】
［数１］において、Ｎは前景画素の個数（ｓ４で計数した前景画素の個数）であり、
ｘi（ｉ＝１・・・・Ｎ）は、各前景画素の距離であり、
ｍは、前景画素の距離の平均である。
【００６２】
画像処理部３は、ｓ７で算出した分散δ2が、閾値記憶部５に記憶している分散閾値を超えているかどうかを判定する（ｓ８）。画像処理部３は、ｓ８で分散閾値を超えていると判定すると、ｓ１０で撮像装置１０の撮像光学系の状態が不適正であると判定し、ｓ１１で出力部６がその旨を警報装置に出力する。画像処理部３は、このｓ８の判定を行うことで、例えば、撮像装置１０の撮像光学系のレンズやレンズカバーの表面に塵、誇り、雨滴等が付着していて、ｓ３で図９に示すような差分画像が生成された場合に、撮像装置１０の撮像光学系の状態が不適正であることを検知できる。
【００６３】
一方で、画像処理部３は、ｓ８で分散閾値を超えていないと判定すると、ｓ９で撮像装置１０の撮像光学系の状態が適正であると判定する。画像処理部３は、このｓ８の判定を行うことによって、例えば、図７に示すように、検知エリア内に人が位置していて、ｓ３で図８に示すような差分画像が生成された場合であっても、撮像装置１０の撮像光学系の状態が適正であることを検知できる。
【００６４】
なお、ｓ８では、ｓ７で算出した分散δ2と、閾値記憶部５に記憶している分散閾値とが同じである場合（分散δ2＝分散閾値である場合）、ｓ９で撮像装置１０の撮像光学系の状態が適正であると判定してもよいし、ｓ１０で撮像装置１０の撮像光学系の状態が不適正であると判定してもよい。
【００６５】
上述の説明をまとめると、状態検知装置１は、図１１に示す第１の不適正領域（前景画素の個数が上限画素数閾値を超えている領域）、または第２の不適正領域（前景画素の個数が上限画素数閾値と下限画素数閾値との間で、且つ前景画素の分散δ2が分散閾値を超えている領域）のいずれかであるときに、撮像装置１０の撮像光学系の状態が不適正であると検知する。言い換えれば、図１１に示す第１の不適正領域、または第２の不適正領域のいずれでもないときに、撮像装置１０の撮像光学系の状態が適正であると検知する。
【００６６】
このように、状態検知装置１は、撮像装置１０の撮像光学系の状態が適正であるか、不適正であるかを簡単な処理で検知できる。
【００６７】
なお、図４に示したｓ５、ｓ６、およびｓ８の判定の順番は、上述した順番でなくてもよい。例えば、状態検知装置１（画像処理部３）は、ｓ６、ｓ５、ｓ８の順番や、ｓ８、ｓ５、ｓ６の順番等で判定を行う構成であってもよい。また、ｓ８にかかる判定を行わないときは、ｓ７にかかる分散δ2の算出にかかる処理を行わなくてもよい。
【００６８】
また、ｓ８にかかる判定は、上述した分散δ2に代えて、偏差δ（分散δ2の正の平方根）を用いてもよい。偏差δを用いる場合、閾値記憶部５は、分散閾値に代えて、偏差閾値を記憶する。
【００６９】
また、画像処理部３は、ｓ９で撮像装置１０の撮像光学系が適正であると判定した場合には、ｓ３で作成した差分画像上における前景画素を位置、およびこの前景画素の距離に基づいてグルーピングし、グルーピングした前景画素の塊に対するパターンマッチング等で、撮像されているオブジェクト（検知エリア内に位置するオブジェクト）の種類を判別する処理を行ってもよい。
【符号の説明】
【００７０】
１…状態検知装置
２…画像入力部
３…画像処理部
４…背景画像記憶部
５…閾値記憶部
６…出力部
１０…撮像装置
【図１】
2016170061.tif 000004
【図２】
2016170061.tif 000005
【図３】
2016170061.tif 000006
【図４】
2016170061.tif 000007
【図５】
2016170061.tif 000008
【図６】
2016170061.tif 000009
【図７】
2016170061.tif 000010
【図８】
2016170061.tif 000011
【図９】
2016170061.tif 000012
【図１０】
2016170061.tif 000013
【図１１】
2016170061.tif 000014