(57)【要約】【課題】周囲光の影響を受けずに被写体を撮像しつつ被写体の特定を容易に行う。【解決手段】対象領域に変調光を照射する変調光照射部２０と、被写体で反射した反射光を受光し当該反射光のうちで変調光に対応する反射光成分のみを画素値とする光変調画像を生成する光変調画像生成部２１と、光変調画像を画像処理することによって前記被写体の特徴量を抽出する画像処理部４とを備える。画像処理部４は、前記特徴量の抽出結果に基づいて所定期間内に生成される複数フレームの光変調画像の中から当該被写体を特定するために最適なフレームを選択する。故に、変調光に対応する反射光成分のみを画素値とする光変調画像によってガラス扉や自動車のフロントガラスへの映り込みなどの周囲光の影響を受けずに被写体を撮像することができ、しかも、画像処理手段による特徴量の抽出結果に基づく最適なフレームのみが選択されるために被写体の特定が容易に行える。【選択図】        図１
2010147881.tif 000002
【特許請求の範囲】
【請求項１】
対象領域に変調光を照射する変調光照射手段と、対象領域に存在する被写体で反射した反射光を受光し当該反射光のうちで変調光に対応する反射光成分のみを画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像を画像処理することによって前記被写体の特徴量を抽出する画像処理手段と、画像処理手段による前記特徴量の抽出結果に基づいて所定期間内に生成される複数フレームの光変調画像の中から当該被写体を特定するために最適なフレームを選択する選択手段とを備えたことを特徴とする監視カメラ装置。
【請求項２】
前記被写体で反射した反射光を受光し当該反射光成分を画素値とする非光変調画像を生成する非光変調画像生成手段と、非光変調画像を画像処理することによって前記被写体の特徴量を抽出する前記画像処理手段とを備え、
前記選択手段は、光変調画像と非光変調画像の特徴量の抽出結果に優劣が認められない場合は非光変調画像を優先的に選択することを特徴とする請求項１記載の監視カメラ装置。
【請求項３】
前記被写体の手前に存在する移動物体の有無を検出する移動物体検出手段と、移動物体検出手段で移動物体が検出されているときに光変調画像を画像処理することによって移動物体が撮像されている画素領域を検出するとともに、複数フレームの光変調画像同士の間で移動物体が撮像されている前記画素領域の画素情報を移動物体が撮像されていない当該画素領域の画素情報で補正する前記画像処理手段とを備えたことを特徴とする請求項１又は２記載の監視カメラ装置。
【請求項４】
前記光変調画像生成手段は、前記移動物体検出手段で移動物体が検出されているときは、移動物体が検出されていないときと比較して光変調画像を生成する周期を短縮することを特徴とする請求項３記載の監視カメラ装置。
【請求項５】
前記画像処理手段は、光変調画像において画素値が所定のしきい値以上となる正反射部分を検出し、前記選択手段は、画像処理手段が正反射部分が検出し且つ被写体の特徴量が十分に抽出できないときに当該光変調画像を選択対象から除外することを特徴とする請求項１又は２記載の監視カメラ装置。
【請求項６】
自動車の運転席に着座している人物を被写体とする場合において、前記画像処理手段は、被写体の特徴量が抽出できないときは、光変調画像を画像処理することで自動車の運転席の位置を推定し、複数フレームの光変調画像同士の間で当該運転席の位置に対応する画素領域の画素情報を補正することを特徴とする請求項５記載の監視カメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラ装置に関するものである。
【背景技術】
【０００２】
従来、事務所や店舗などに侵入する人物（侵入者）や、料金を支払わずに高速道路などの有料道路のインターチェンジ（料金所）を通過する自動車（不正通行車両）などを撮像することを目的として、事務所や店舗などの出入口やインターチェンジの料金所などに監視カメラ装置が設置されている（例えば、特許文献１又は特許文献２参照）。
【０００３】
ここで、従来の監視カメラ装置においては、事務所や店舗の出入口に設けられているガラス扉や自動車のフロントガラスを通して被写体（人物、運転者）を撮像する場合に、ガラス扉やフロントガラスに周囲の景色が映り込んでしまうために被写体の顔が正常に写らない虞があった。
【０００４】
これに対して本出願人は、発光ダイオードが発する赤外光を高速変調した変調光を対象領域に照射し、ＣＣＤからなる撮像素子で受光する当該変調光の反射光成分と周囲光の反射光成分とを区別して変調光だけの反射光成分を画素値とする画像（光変調画像）を生成する光変調カメラ装置を既に提案している（特許文献３参照）。そして、ガラス扉やフロントガラスへの映り込みは周囲光によるものであるから、光変調カメラ装置を監視カメラ装置に用いることで映り込みの影響を受けずに被写体を撮像することができる。
【特許文献１】特開２００８−１９７７３８号公報
【特許文献２】特開２００８−２５０６７７号公報
【特許文献３】特開２００６−１２１６１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、光変調画像によって映り込みなどの周囲光の影響を除外できたとしても、被写体である運転者の顔が正面（前方）ではなく横や下を向いていたり、あるいは手で顔が隠れているような場合には人物（運転者）の特定が困難になる。
【０００６】
本発明は上記事情に鑑みて為されたものであり、その目的は、周囲光の影響を受けずに被写体を撮像しつつ被写体の特定が容易に行える監視カメラ装置を提供することにある。
【課題を解決するための手段】
【０００７】
請求項１の発明は、上記目的を達成するために、対象領域に変調光を照射する変調光照射手段と、対象領域に存在する被写体で反射した反射光を受光し当該反射光のうちで変調光に対応する反射光成分のみを画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像を画像処理することによって前記被写体の特徴量を抽出する画像処理手段と、画像処理手段による前記特徴量の抽出結果に基づいて所定期間内に生成される複数フレームの光変調画像の中から当該被写体を特定するために最適なフレームを選択する選択手段とを備えたことを特徴とする。
【０００８】
請求項１の発明によれば、変調光に対応する反射光成分のみを画素値とする光変調画像によってガラス扉や自動車のフロントガラスへの映り込みなどの周囲光の影響を受けずに被写体を撮像することができ、しかも、画像処理手段による特徴量の抽出結果に基づく最適なフレームのみが選択されるために被写体の特定が容易に行える。
【０００９】
請求項２の発明は、請求項１の発明において、前記被写体で反射した反射光を受光し当該反射光成分を画素値とする非光変調画像を生成する非光変調画像生成手段と、非光変調画像を画像処理することによって前記被写体の特徴量を抽出する前記画像処理手段とを備え、前記選択手段は、光変調画像と非光変調画像の特徴量の抽出結果に優劣が認められない場合は非光変調画像を優先的に選択することを特徴とする。
【００１０】
請求項２の発明によれば、光変調画像と非光変調画像の特徴量の抽出結果に優劣が認められない場合、つまり、映り込みなどの周囲光の影響が少ない場合、周囲光を含む反射光成分を画素値とし光変調画像よりも相対的に解像度の高い非光変調画像を優先的に選択することにより、被写体の特定がさらに容易に行える。
【００１１】
請求項３の発明は、請求項１又は２の発明において、前記被写体の手前に存在する移動物体の有無を検出する移動物体検出手段と、移動物体検出手段で移動物体が検出されているときに光変調画像を画像処理することによって移動物体が撮像されている画素領域を検出するとともに、複数フレームの光変調画像同士の間で移動物体が撮像されている前記画素領域の画素情報を移動物体が撮像されていない当該画素領域の画素情報で補正する前記画像処理手段とを備えたことを特徴とする。
【００１２】
請求項３の発明によれば、被写体の手前に移動物体（例えば、雨粒や雪など）が存在している場合、複数フレームの光変調画像同士の間で移動物体が撮像されている前記画素領域の画素情報を移動物体が撮像されていない当該画素領域の画素情報で補正することによって、移動物体の存在に影響されずに被写体の特定に適した光変調画像を得ることができる。
【００１３】
請求項４の発明は、請求項３の発明において、前記光変調画像生成手段は、前記移動物体検出手段で移動物体が検出されているときは、移動物体が検出されていないときと比較して光変調画像を生成する周期を短縮することを特徴とする。
【００１４】
請求項４の発明によれば、光変調画像を生成する周期を短縮することによって単位時間当たりに得られる光変調画像のフレーム数が増えるから、画素情報を補正するための候補となる光変調画像が増加して補正の精度向上が図れる。
【００１５】
請求項５の発明は、請求項１又は２の発明において、前記画像処理手段は、光変調画像において画素値が所定のしきい値以上となる正反射部分を検出し、前記選択手段は、画像処理手段が正反射部分が検出し且つ被写体の特徴量が十分に抽出できないときに当該光変調画像を選択対象から除外することを特徴とする。
【００１６】
請求項５の発明によれば、ガラス扉や自動車のフロントガラスに変調光が正反射してしまう場合があり、そのような正反射部分が被写体（特に顔）と重なったときは被写体の特徴量が十分に抽出できないので、そのときは当該光変調画像を選択対象から除外することで被写体の特定の精度が向上する。
【００１７】
請求項６の発明は、請求項５の発明において、自動車の運転席に着座している人物を被写体とする場合において、前記画像処理手段は、被写体の特徴量が抽出できないときは、光変調画像を画像処理することで自動車の運転席の位置を推定し、複数フレームの光変調画像同士の間で当該運転席の位置に対応する画素領域の画素情報を補正することを特徴とする。
【００１８】
請求項６の発明によれば、変調光がフロントガラスに正反射することで運転席に着座している人物（運転者）の特徴量が抽出できない場合においても、光変調画像の画像処理によって推定される運転席の位置に対応する画素領域の画素情報を補正することで被写体の特定の精度が向上する。
【発明の効果】
【００１９】
本発明によれば、周囲光の影響を受けずに被写体を撮像しつつ被写体の特定が容易に行える。
【発明を実施するための最良の形態】
【００２０】
以下では、高速道路などの有料道路の料金所を通過する自動車の運転者を撮像するための監視カメラ装置に本発明の技術思想を適用した実施形態について説明する。但し、本発明の技術思想が適用可能な監視カメラ装置は本実施形態に限定されるものではなく、例えば、事務所や店舗などの出入口を通過する人物を撮像するための監視カメラ装置などにも本発明の技術思想を適用することができる。
【００２１】
本実施形態の監視カメラ装置１は、図１に示すように光変調画像を撮像する光変調カメラユニット２と、非光変調画像を撮像する非光変調カメラユニット３と、光変調画像並びに非光変調画像に対して、後述する種々の画像処理を行う画像処理部４と、画像処理部４を制御するとともに画像処理部４から出力される光変調画像又は非光変調画像を外部の記憶装置６に記憶させる制御部５とを備えている。
【００２２】
光変調カメラユニット２は、対象領域に変調光を照射する変調光照射部２０と、前記変調光に感度を有する撮像素子を具備し撮像素子で受光する反射光のうちで変調光に対応する反射光成分のみを画素値とする光変調画像を生成する光変調画像生成部２１とを具備している。変調光照射部２０は、赤外光を発光する発光ダイオード（図示せず）を有し、光変調画像生成部２１から出力される非常に高い周波数（例えば、１０メガヘルツ）の変調信号により駆動されて被写体（自動車の運転者）が存在する対象領域（料金所を通る自動車レーンを含む領域）に変調光を照射するものである。また光変調画像生成部２１は、赤外光に感度を有する撮像素子（例えば、特許文献３に記載されている専用の半導体イメージセンサ）を有し、変調信号による発光ダイオードの発光周期に同期して、撮像素子の各画素の出力から赤外光の反射光成分のみを取り出す処理（以下、「同期検波処理」と呼ぶ。）を行い、同期検波処理で取り出される反射光成分を画素値とする光変調画像を生成するものである。ここで、光変調画像生成部２１では単位時間（１秒間）に生成する光変調画像のフレーム数が可変（言い換えると、光変調画像を生成する周期が可変）となっている。
【００２３】
非光変調カメラユニット３は、光変調カメラユニット２の撮像素子よりも十分に解像度の高い撮像素子（例えば、汎用のＣＣＤイメージセンサやＣＭＯＳイメージセンサ）を有し、主に周囲光に対応する反射光成分を画素値とする非光変調画像を生成するものである。但し、このような非光変調カメラユニット３には一般的なＣＣＤカメラ等を用いることができるので、詳細な構成についての図示並びに説明は省略する。
【００２４】
画像処理部４は、マイクロコンピュータあるいは画像処理専用のマイクロプロセッサ（画像処理ＬＳＩ）とフレームメモリなどで構成される。ここで、画像処理部４においては、光変調カメラユニット２から出力される光変調画像並びに非光変調カメラユニット３から出力される非光変調画像から運転者の顔の特徴量（例えば、目、鼻、口などの顔器官のエッジなど）を抽出する特徴量抽出処理の他、抽出される特徴量に基づいて運転者の顔の向きや運転者の行動（目を閉じる、手で顔を掻くなど）を判定する判定処理、光変調画像並びに非光変調画像の各フレーム毎の特徴量の抽出結果を評価するフレーム評価処理、雨や雪などの移動物体の有無を検出する移動物体検出処理、光変調画像の複数フレーム間で特定の画素領域の画素情報（画素値）を補正する画像情報補正処理などを行う。
【００２５】
制御部５はマイクロコンピュータやメモリなどで構成され、画像処理部４で画像処理されていない画像（光変調画像又は非光変調画像）、あるいは画像処理部４で画像処理された画像（光変調画像又は非光変調画像）を記憶装置６に記憶させる処理などを実行する。尚、記憶装置６は書換可能な不揮発性半導体メモリや磁気ディスクなどの記憶媒体を有し、当該記録媒体に対して画像（画像データ）の書き込み並びに読み出しを行う従来周知のものである。
【００２６】
次に、図２のフローチャートを参照して本実施形態の監視カメラ装置１の動作を説明する。
【００２７】
光変調カメラユニット２並びに非光変調カメラユニット３は所定のフレームレート（フレーム毎秒）で光変調画像及び非光変調画像を生成して画像処理部４に出力する（ステップＳ１，Ｓ２）。画像処理部４は、光変調画像並びに非光変調画像の各フレームに対して特徴量抽出処理を実行した後（ステップＳ３，Ｓ４）、光変調画像の特徴量抽出結果と非光変調画像の特徴量抽出結果に対してフレーム評価処理を実行することで光変調画像の特徴量抽出結果と非光変調画像の特徴量抽出結果とを相対評価する（ステップＳ５）。例えば、光変調画像からは目、鼻、口の３種類の顔器官の特徴量が全て抽出できたが、非光変調画像からは口の特徴量のみしか抽出できなかったとすれば、光変調画像の特徴量抽出結果と非光変調画像の特徴量抽出結果との相対評価においては光変調画像の特徴量抽出結果の方が優秀と認められると判定し、光変調画像並びに非光変調画像の双方から目、鼻、口の３種類の顔器官の特徴量が全て抽出できたとすれば、光変調画像の特徴量抽出結果と非光変調画像の特徴量抽出結果との相対評価においては優劣が認められないと判定する（ステップＳ６）。
【００２８】
画像処理部４は、光変調画像の特徴量抽出結果と非光変調画像の特徴量抽出結果との相対評価において、光変調画像の特徴量抽出結果の方が優秀と判定した場合、つまり、非光変調画像においてフロントガラスの映り込みの影響がある場合は光変調画像に対して判定処理を実行し（ステップＳ７）、両者の特徴量抽出結果に優劣が認められないと判定した場合、つまり、非光変調画像においてフロントガラスの映り込みによる影響が殆どない場合は非光変調画像に対して判定処理を実行する（ステップＳ８）。この判定処理において、画像処理部４は、対象の画像（光変調画像又は非光変調画像）の特徴量抽出結果と当該画像の前後数フレームの画像の特徴量抽出結果とに基づいて運転者の顔の向きや運転者の行動（目を閉じる、手で顔を掻くなど）を判定し、運転者が目を閉じていたり、手で顔が隠れていると判定したフレームを選択対象から除外するとともに、残ったフレームの中から運転者の顔の向きが正面向き（監視カメラ装置１に対する正面向き）に最も近いフレームの画像を選択して制御部５に出力する（ステップＳ９）。そして、制御部５が画像処理部４から受け取った画像（光変調画像又は非光変調画像）を記録装置６に記録する（ステップＳ１０）。
【００２９】
ここで、光変調画像は変調光が被写体などに反射した反射光成分の濃淡画像として生成されるため、太陽光などの周囲光が反射した反射光成分からなる通常の画像（非変調光画像）とは見え方が異なる。したがって、非光変調画像においてフロントガラスの映り込みによる影響が殆どない場合、光変調画像に対して非光変調画像を優先的に選択して記録することで被写体（運転者）の特定が容易に行えるものである。
【００３０】
尚、本実施形態では光変調カメラユニット２とは別に非光変調画像を撮像するための非光変調カメラユニット３を備えているが、光変調カメラユニット２の光変調画像生成部２１において周囲光の反射光成分のみを画素値とする非光変調画像を生成するようにしても構わない。このような構成とすれば、カメラユニットが一つで済むから監視カメラ装置１の小型化が図れるという利点がある。但し、光変調画像を撮像するための撮像素子には専用の撮像素子が必要であり、非光変調画像を撮像する一般の撮像素子と比べて画素数が少ないため、非光変調画像よりも光変調画像の解像度が相対的に低くなっている。例えば、光変調カメラユニット２の撮像素子の解像度はＱＶＧＡ、非光変調カメラユニット３の撮像素子の解像度はＶＧＡ以上である。したがって、非光変調画像を撮像するための非光変調カメラユニット３を別途備える本実施形態の構成によれば、フロントガラスの映り込みなどの周囲光の影響が殆どない場合に光変調画像よりも解像度の高い非光変調画像を選択することによって、運転者の特定精度が向上するという利点がある。
【００３１】
ところで、本実施形態の監視カメラ装置１は屋外で使用されるものであるから、雨や雪あるいは虫や小鳥などの移動物体も当然に撮像することになるが、このような移動物体が運転者の顔に重なって撮像されると運転者の顔の特徴量抽出に支障が生じてしまう。そこで本実施形態では、画像処理部４が雨や雪などの移動物体の有無を検出する移動物体検出処理を実行する。例えば、雨粒や雪は相対的に反射率が高いため、光変調画像において雨粒や雪が撮像されている画素領域の画素値も相対的に大きくなると考えられるので、画素値が所定のしきい値を超えている（所謂、白飛びしている）画素領域を抽出することで移動物体（雨粒や雪）を検出することができる。
【００３２】
さらに画像処理部４は、移動物体検出処理によって移動物体が検出された画素領域の画素値（画素情報）を画像情報補正処理によって補正する。例えば、１番目のフレームでは移動物体によって左目と口が隠れており、２番目のフレームでは移動物体によって口だけが隠れており、３番目のフレームでは移動物体によって左目だけが隠れていたとすると、画像処理部４は、１番目のフレームの左目を含む画素領域の画素値を２番目のフレームの左目を含む画素領域の画素値で置換するとともに、１番目のフレームの口を含む画素領域の画素値を３番目のフレームの口を含む画素領域の画素値で置換することにより、１番目のフレームにおける左目を含む画素領域と口を含む画素領域の画素値を補正して左目及び口が移動物体で隠れていない正常な光変調画像を合成して制御部５に出力する。但し、このような画像情報補正処理を行うため、画像処理部４は、雨や雪などの移動物体を検出した時点で光変調画像生成部２１に指示して通常時よりも高いフレームレートで光変調画像を生成させることが望ましい。
【００３３】
上述のように運転者の顔に移動物体が重なって撮像された場合においても、画像処理部４による画像情報補正処理によって運転者の顔に移動物体が重ならない正常な光変調画像を合成することができ、その結果、移動物体の存在に影響されずに被写体（運転者の顔）の特定に適した光変調画像を得ることができる。
【００３４】
ところで、フロントガラスの傾斜角度は車種毎に異なっているから、車種によっては変調光照射部２０から照射された変調光がフロントガラスに正反射して光変調画像生成部２１の撮像素子に入射する場合が有る。そして、正反射した反射光成分（以下、正反射光成分と呼ぶ。）が入射した画素領域の画素値は非常に大きくなるから、当該画素領域が運転者の顔を撮像した画素領域に重なると運転者の顔の特徴量抽出に支障が生じてしまう。
【００３５】
そこで、画像処理部４は、光変調画像の全画素領域の画素値を所定のしきい値と比較し、画素値が当該しきい値を超えている（所謂、白飛びしている）画素領域を正反射部分として検出する正反射部分検出処理を実行する。さらに画像処理部４は、正反射部分検出処理によって正反射部分が検出された当該光変調画像に対して特徴量抽出処理を実行した結果、運転者の顔の特徴量が十分に抽出できないときに当該光変調画像を選択対象から除外する。あるいは、上述した移動物体の場合と同様に画像処理部４が画像情報補正処理を実行し、光変調画像における正反射部分を、別フレームの光変調画像における画素領域の画素値で補正すれば、運転者の顔に正反射部分が重なって撮像された場合においても運転者の顔に正反射部分が重ならない正常な光変調画像を合成することができ、その結果、正反射部分の存在に影響されずに被写体（運転者の顔）の特定に適した光変調画像を得ることができる。
【００３６】
ここで、正反射部分の画素領域が相対的に大きく、光変調画像から運転者の顔が含まれる画素領域を特定することが困難になる場合が有る。このような場合、画像処理部４は、光変調画像を画像処理することで自動車の運転席の位置を推定し、複数フレームの光変調画像同士の間で当該運転席の位置に対応する画素領域の画素情報を補正する。具体的には、光変調画像に従来周知の画像処理を実行して自動車の車体やフロントガラスの形状を認識することで運転席の位置を推定すればよい。このようにすれば、変調光がフロントガラスに正反射することで運転席に着座している運転者の特徴量が抽出できない場合においても、光変調画像の画像処理によって推定される運転席の位置に対応する画素領域の画素情報を補正し、運転者の顔が含まれる画素領域を特定することができる。そして、運転者の顔が含まれる画素領域が特定できれば、画像処理部４が画像情報補正処理を実行することで被写体（運転者の顔）の特定に適した光変調画像を得ることができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施形態を示すブロック図である。
【図２】同上の動作説明用のフローチャートである。
【符号の説明】
【００３８】
１  監視カメラ装置
２  光変調カメラユニット
３  非光変調カメラユニット
４  画像処理部（画像処理手段，選択手段）
２０  変更光照射部（変調光照射手段）
２１  光変調画像生成部（光変調画像生成手段）
【図１】
2010147881.tif 000003
【図２】
2010147881.tif 000004