(57)【要約】【課題】被写体が移動する場合において露光量を適切に評価可能とする。【解決手段】対象物の位置情報に基づいて、評価エリア設定部９が次フレームの差分画像を撮像する際の評価エリアを設定する。また対象物の位置情報を取得するため、画像生成部７で生成される差分画像から対象物（自動車）を抽出する対象物抽出部１０と、対象物抽出部１０で抽出される対象物の位置を推定する対象物位置推定部１１とを撮像装置Ａ１に備えている。而して、位置推定手段（対象物抽出部１０並びに対象物位置推定部１１）で推定される次フレームの対象物の位置情報に基づいて、評価エリア設定部９が当該次フレームの差分画像を撮像する際の評価エリアＸを設定するので、被写体（対象物）が移動する場合においても露光量を適切に評価できる。【選択図】図１
2011048116.tif 000002
【特許請求の範囲】
【請求項１】
対象領域に光を照射する光照射手段と、光照射手段が光を照射する照射期間に同期して撮像した第１の画像と照射期間以外で撮像した第２の画像との差分画像を生成する差分画像生成手段と、差分画像における一部の範囲であり且つ対象領域を移動する対象物と少なくとも一部が重なる範囲を評価エリアに設定する評価エリア設定手段と、前記評価エリアにおける露光量を評価する露光量評価手段と、露光量評価手段の評価結果に基づいて前記評価エリアにおける露光量が所定の適正範囲内に収まるように露光量を調整する露光量調整手段とを備え、
評価エリア設定手段は、対象物の位置情報に基づいて、次フレームの差分画像を撮像する際の評価エリアを設定することを特徴とする撮像装置。
【請求項２】
対象物の移動方向又は移動速度又は位置又は大きさの内の少なくとも何れか１つの情報に基づいて、次フレームの差分画像を撮像する際の当該対象物の位置を推定する位置推定手段を備え、評価エリア設定手段は、位置推定手段の推定結果を前記位置情報とすることを特徴とする請求項１記載の撮像装置。
【請求項３】
位置推定手段は、複数の差分画像のフレーム間差分を演算して時間的差分画像を生成し、当該時間的差分画像から対象物の移動方向又は移動速度又は位置又は大きさの内の少なくとも何れか１つの情報を取得することを特徴とする請求項２記載の撮像装置。
【請求項４】
位置推定手段は、外部から取り込んだ対象領域の画像のフレーム間差分を演算して時間的差分画像を生成し、当該時間的差分画像から対象物の移動方向又は移動速度又は位置又は大きさの内の少なくとも何れか１つの情報を取得することを特徴とする請求項２記載の撮像装置。
【請求項５】
位置推定手段は、対象物の移動方向又は移動速度又は位置又は大きさの内の少なくとも何れか１つの情報を外部から受け取ることを特徴とする請求項２記載の撮像装置。
【請求項６】
評価エリア設定手段は、各フレーム毎に評価エリアを設定することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
露光量調整手段は、次フレームにおける対象物の推定された位置が所定の撮像距離よりも近い範囲にある場合、前記次フレームの直前のフレームにおける露光量から所定値を減算することで当該次フレームにおける露光量を決定することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に周囲光の影響を低減した画像を撮像するための撮像装置に関するものである。
【背景技術】
【０００２】
本出願人は、光照射手段で光を照射しているときに撮像した画像（発光時画像）と、光照射手段で光を照射していないときに撮像した画像（非発光時画像）との差分画像を取得する撮像装置を既に提案している（特許文献１参照）。かかる差分画像では、光照射手段から照射される光の反射光成分のみを画素値としており、太陽光などの周囲光による影響が低減されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１２１６１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述のような撮像装置においては、被写体までの距離が遠くなるにつれて発光時画像における被写体の露光量が減少するだけでなく、被写体までの距離が近すぎるときには露光量が飽和してしまうので、撮像された画像（差分画像）において被写体像が存在する範囲の露光量（撮像素子が受光する光量。以下同じ。）を評価し、当該評価範囲の露光量が適正な値となるように調整する必要がある。
【０００５】
しかしながら、被写体が対象領域内で移動する場合においては被写体像の位置がフレーム毎に異なってしまい、評価範囲が固定されていると露光量を適切に評価することができなくなる虞があった。
【０００６】
本発明は上記事情に鑑みて為されたものであり、その目的は、被写体が移動する場合において露光量を適切に評価することができる撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
請求項１の発明は、上記目的を達成するために、対象領域に光を照射する光照射手段と、光照射手段が光を照射する照射期間に同期して撮像した第１の画像と照射期間以外で撮像した第２の画像との差分画像を生成する差分画像生成手段と、差分画像における一部の範囲であり且つ対象領域を移動する対象物と少なくとも一部が重なる範囲を評価エリアに設定する評価エリア設定手段と、前記評価エリアにおける露光量を評価する露光量評価手段と、露光量評価手段の評価結果に基づいて前記評価エリアにおける露光量が所定の適正範囲内に収まるように露光量を調整する露光量調整手段とを備え、評価エリア設定手段は、対象物の位置情報に基づいて、次フレームの差分画像を撮像する際の評価エリアを設定することを特徴とする。
【０００８】
請求項１の発明によれば、被写体（対象物）が移動する場合において露光量を適切に評価することができる。
【０００９】
請求項２の発明は、請求項１の発明において、対象物の移動方向又は移動速度又は位置又は大きさの内の少なくとも何れか１つの情報に基づいて、次フレームの差分画像を撮像する際の当該対象物の位置を推定する位置推定手段を備え、評価エリア設定手段は、位置推定手段の推定結果を前記位置情報とすることを特徴とする。
【００１０】
請求項２の発明によれば、対象物の位置情報が容易に得られる。
【００１１】
請求項３の発明は、請求項２の発明において、位置推定手段は、複数の差分画像のフレーム間差分を演算して時間的差分画像を生成し、当該時間的差分画像から対象物の移動方向又は移動速度又は位置又は大きさの内の少なくとも何れか１つの情報を取得することを特徴とする。
【００１２】
請求項３の発明によれば、対象物の位置を簡易に取得できる。
【００１３】
請求項４の発明は、請求項２の発明において、位置推定手段は、外部から取り込んだ対象領域の画像のフレーム間差分を演算して時間的差分画像を生成し、当該時間的差分画像から対象物の移動方向又は移動速度又は位置又は大きさの内の少なくとも何れか１つの情報を取得することを特徴とする。
【００１４】
請求項４の発明によれば、対象物の位置を簡易に取得できる。
【００１５】
請求項５の発明は、請求項２の発明において、位置推定手段は、対象物の移動方向又は移動速度又は位置又は大きさの内の少なくとも何れか１つの情報を外部から受け取ることを特徴とする。
【００１６】
請求項５の発明によれば、位置推定手段における位置推定の処理が簡素化できる。
【００１７】
請求項６の発明は、請求項１〜５の何れか１項の発明において、評価エリア設定手段は、各フレーム毎に評価エリアを設定することを特徴とする。
【００１８】
請求項６の発明によれば、より適正な評価エリアが設定できる。
【００１９】
請求項７の発明は、請求項１〜６の何れか１項の発明において、露光量調整手段は、次フレームにおける対象物の推定された位置が所定の撮像距離よりも近い範囲にある場合、前記次フレームの直前のフレームにおける露光量から所定値を減算することで当該次フレームにおける露光量を決定することを特徴とする。
【００２０】
請求項７の発明によれば、撮像装置から対象物までの距離が短くなった場合に露光量が飽和してしまうことを防止できる。
【発明の効果】
【００２１】
本発明によれば、被写体（対象物）が移動する場合において露光量を適切に評価することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態１を示すブロック図である。
【図２】（ａ）〜（ｃ）は同上の動作説明図である。
【図３】本発明の実施形態２を示すブロック図である。
【図４】本発明の実施形態３を示すブロック図である。
【図５】本発明の実施形態４を示すブロック図である。
【図６】（ａ），（ｂ）は同上の動作説明図である。
【図７】本発明の実施形態５の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００２３】
以下、高速道路の料金所や有料駐車場の入場ゲート又は出場ゲートなどを通過する自動車を対象物（被写体）とする撮像装置に本発明の技術思想を適用した実施形態について詳細に説明する。但し、本発明の技術思想が適用可能な撮像装置は、これに限定されるものではない。
【００２４】
（実施形態１）
本実施形態の撮像装置Ａ１は、図１に示すように多数の赤外発光ダイオードをマトリクス状に配設してなり対象領域（自動車が走行するレーン）に赤外光を照射する光源部１と、光源部１の各赤外発光ダイオードに電流を流して発光させる発光制御部２と、赤外光に感度を有する撮像素子を有する撮像部３と、撮像部３を駆動制御する駆動制御部４と、撮像素子に光を集光するためのレンズ部５と、レンズ部５が具備する絞りを制御して撮像部３に入射する光量を調整する入射光量調整部６と、光源部１から赤外光が照射される照射期間に同期して撮像部３が撮像した第１の画像（発光時画像）と照射期間以外で撮像部３が撮像した第２の画像（非発光時画像）との差分画像（光変調画像）を生成する画像生成部７とを備える。尚、画像生成部７で生成された差分画像は、外部の画像記録装置Ｂ並びに表示装置Ｃに出力され、画像記録装置Ｂに記録されるとともに表示装置Ｃに表示される。
【００２５】
発光制御部２は、例えば、非常に高い周波数（例えば、１０メガヘルツ）の変調信号を光源部１の赤外発光ダイオードに出力して対象物（自動車）が存在する対象領域に変調光を照射させるとともに、赤外発光ダイオードに流れる電流を増減することで変調光の光量を調整するものである。入射光量調整部６は、絞りの開き具合を調節することによって絞りを通過して撮像部３の撮像素子に入射する光量を調整している。駆動制御部４は、発光制御部２の変調信号による赤外発光ダイオードの発光周期に同期して、変調光が照射されている照射期間と変調光が照射されていない非照射期間のそれぞれにおいて撮像部３の撮像素子で受光した反射光成分を画素値とする第１の画像並びに第２の画像を画像生成部７に出力している。
【００２６】
画像生成部７においては、撮像部３から出力される第１及び第２の画像をディジタルの画像データに変換した後、照射期間に得られる画像データと非照射期間に得られる画像データとの各画素毎の差分を演算することで変調光（赤外光）の反射光成分のみを画素値とする差分画像（光変調画像）を生成している。但し、このような画像生成部７については、特開２００６−１２１６１７号公報等にも記載されているように公知の技術で実現可能であるから詳細な説明は省略する。
【００２７】
また本実施形態の撮像装置Ａ１は、差分画像における一部の範囲（評価エリア）に含まれる全ての画素の画素値から露光量を評価し、当該露光量（画素値）が所定の適正範囲内に収まるように発光制御部２を制御して光源部１の発光量を調整したり、入射光量調整部４を制御して絞りを調節することによって露光量を調整する自動露出部８を備えている。尚、このような調整は一般に自動露光調整（ＡＥ：Auto Expouser）と呼ばれているが、かかる自動露光調整については従来周知の技術であるから詳細な説明は省略する。
【００２８】
さらに本実施形態の撮像装置Ａ１は、対象領域を移動する対象物と少なくとも一部が重なる範囲を評価エリアに設定する評価エリア設定部９を備えている。例えば、対象物が自動車、特に、自動車の運転者である場合、自動車のフロントガラスを含む範囲を評価エリアに設定することが望ましいが、自動車が走行していると画像（差分画像）における当該自動車の位置が時間とともに変化するために評価エリアが対象物（自動車のフロントガラス）から外れてしまう虞がある。
【００２９】
そこで本実施形態では、対象物の位置情報に基づいて、評価エリア設定部９が次フレームの差分画像を撮像する際の評価エリアを設定するようにしている。また対象物の位置情報を取得するため、画像生成部７で生成される差分画像から対象物（自動車）を抽出する対象物抽出部１０と、対象物抽出部１０で抽出される対象物の位置を推定する対象物位置推定部１１とを撮像装置Ａ１に備えている。
【００３０】
対象物抽出部１０は、画像生成部７で連続して生成された複数フレームの差分画像について全画素の画素値の差分（時間的な変化量）を求め、当該差分が所定の閾値以上となる画素群を対象物として抽出する。例えば、図２（ａ），（ｂ）に示すように撮像装置Ａ１の画角が固定されており、画角内にはレーンＬ並びにゲートＧとともにレーンＬを走行する自動車Ｍが撮像されるものとすると、対象物抽出部１０では、図２（ａ）に示すｎ−１番目のフレームの画像（差分画像）と図２（ｂ）に示すｎ番目のフレームの画像（差分画像）とのフレーム間差分を演算して時間的差分画像を生成し、当該時間的差分画像から対象物（自動車Ｍn-1，自動車Ｍn）を抽出する（図２（ｃ）参照）。つまり、移動する対象物（レーンＬを走行する自動車Ｍ）以外のレーンＬやゲートＧの撮像画像はフレーム間差分によって相殺されてしまうので、時間的差分画像には移動する対象物の撮像画像（自動車Ｍn-1，自動車Ｍn）のみが残ることになる。
【００３１】
ここで、対象物である自動車ＭはレーンＬに沿ってゲートＧに近付く向き（図２においては右上から左下へ向かう向き）に移動（走行）しているので、自動車Ｍの走行速度が判れば、次のｎ＋１番目のフレームで撮像される自動車Ｍn+1の位置を推定することができる。故に、対象物位置推定部１１では、対象物抽出部１０で抽出された対象物（自動車Ｍn-1，自動車Ｍn）の位置がフレーム間で変位する変位量に基づいて移動速度（走行速度）を算出するとともに、当該移動速度に基づいて、次フレーム（ｎ＋１番目のフレーム）における対象物（自動車Ｍn+1）の位置（図２（ｃ）における破線参照）を推定し、その推定結果（対象物の位置情報）を評価エリア設定部９に渡す。
【００３２】
評価エリア設定部９は、対象物位置推定部１１から取得した位置情報に基づき、対象物（特に自動車Ｍn+1のフロントガラス）を含む範囲に評価エリアＸを設定する（図２（ｃ）参照）。そして、評価エリア設定部９による評価エリアＸの設定情報（評価エリアＸの範囲）が自動露出部８に送られ、自動露出部８が評価エリアＸに含まれる全ての画素の画素値から露光量を評価し、当該露光量が所定の適正範囲内に収まるように露光制御を行う。
【００３３】
而して本実施形態の撮像装置Ａ１によれば、位置推定手段（対象物抽出部１０並びに対象物位置推定部１１）で推定される次フレームの対象物の位置情報に基づいて、評価エリア設定部９が当該次フレームの差分画像を撮像する際の評価エリアＸを設定するので、被写体（対象物）が移動する場合においても露光量を適切に評価することができる。ここで、位置推定手段が連続する複数フレームの差分画像から順次対象物の位置を推定し、それらの位置情報に基づいて、評価エリア設定部９が各フレーム毎に評価エリアを設定するようにしても構わない。
【００３４】
（実施形態２）
本実施形態の撮像装置Ａ２は、図３に示すように対象物抽出部１０が画像生成部７で生成される差分画像の代わりに、外部に設置されている汎用撮像装置Ｄで撮像された画像から対象物（自動車）を抽出する点に特徴がある。但し、本実施形態の撮像装置Ａ２の基本構成は実施形態１の撮像装置Ａ１と共通であるから、共通の構成要素については同一の符号を付して適宜図示並びに説明を省略する。
【００３５】
汎用撮像装置Ｄは、例えば、市販されている汎用のＣＣＤカメラであって、撮像装置Ａ２とほぼ同一の画角で対象領域を撮像するものである。そして、汎用撮像装置Ｄで撮像された画像が対象物抽出部１０に出力される。
【００３６】
対象物抽出部１０は、実施形態１と同様に、汎用撮像装置Ｄで連続して撮像される複数フレームの画像について全画素の画素値の差分（時間的な変化量）を求め、当該差分が所定の閾値以上となる画素群を対象物として抽出する。尚、対象物位置推定部１１並びに評価エリア設定部９が行う処理については実施形態１と共通であるから説明は省略する。
【００３７】
而して本実施形態の撮像装置Ａ２においても実施形態１の撮像装置Ａ１と同様に、位置推定手段（対象物抽出部１０並びに対象物位置推定部１１）で推定される次フレームの対象物の位置情報に基づいて、評価エリア設定部９が当該次フレームの差分画像を撮像する際の評価エリアＸを設定するので、被写体（対象物）が移動する場合においても露光量を適切に評価することができる。尚、汎用撮像装置Ｄで撮像される複数フレームの画像から位置推定手段が順次対象物の位置を推定し、それらの位置情報に基づいて、評価エリア設定部９が各フレーム毎に評価エリアを設定するようにしても構わない。
【００３８】
（実施形態３）
本実施形態の撮像装置Ａ３は、図４に示すように対象物抽出部１０の代わりに対象物検出装置Ｅで検出する対象物の位置に基づいて対象物位置推定部１２が次フレームの差分画像における対象物の位置を推定する点に特徴がある。但し、本実施形態の撮像装置Ａ３の基本構成は実施形態１の撮像装置Ａ１と共通であるから、共通の構成要素については同一の符号を付して適宜図示並びに説明を省略する。
【００３９】
対象物検出装置Ｅは、例えば、レーンＬに沿って電波若しくは超音波を送波し、対象物である自動車に反射して戻る反射波を受波することで当該自動車までの距離並びに走行速度を検出するものであって、検出結果（自動車の位置並びに走行速度）を撮像装置Ａ３の対象物位置推定部１２に出力する。
【００４０】
対象物位置推定部１２は、対象物検出装置Ｅから取得する対象物（自動車）の位置情報（自動車の位置並びに走行速度）に基づいて次フレームの差分画像を撮像する際の対象物の位置を推定し、その推定結果を評価エリア設定部９に出力する。尚、評価エリア設定部９が行う処理については実施形態１と共通であるから説明は省略する。
【００４１】
而して本実施形態の撮像装置Ａ３においても実施形態１，２の撮像装置Ａ１，Ａ２と同様に、位置推定手段（対象物位置推定部１２）で推定される次フレームの対象物の位置情報に基づいて、評価エリア設定部９が当該次フレームの差分画像を撮像する際の評価エリアＸを設定するので、被写体（対象物）が移動する場合においても露光量を適切に評価することができる。尚、対象物検出装置Ｅで検出される対象物の位置並びに走行速度に基づいて対象物位置推定部１２が順次対象物の位置を推定し、それらの位置情報に基づいて、評価エリア設定部９が各フレーム毎に評価エリアを設定するようにしても構わない。
【００４２】
（実施形態４）
本実施形態の撮像装置Ａ４は、図５に示すように外部のシステム（例えば、ＥＴＣシステムＦ）から受け取る対象物（自動車）の情報に基づいて評価エリア設定部９が評価エリアを設定する点に特徴がある。但し、本実施形態の撮像装置Ａ４の基本構成は実施形態１の撮像装置Ａ１と共通であるから、共通の構成要素については同一の符号を付して適宜図示並びに説明を省略する。
【００４３】
ＥＴＣ（エレクトロニック・トール・コレクション，但し、「ＥＴＣ」は登録商標）システムＦにおいては、自動車に搭載される車載器にセットアップされている情報、具体的には車検証に記載されている車両情報、例えば、車体の形式（箱形やステーションワゴン，トラックなど）や車体寸法（全長・全幅・全高など）などを当該車載器から無線通信で取得している。そして、本実施形態の撮像装置Ａ４では、ＥＴＣシステムＦが対象物である自動車から取得した車両情報を評価エリア設定部９で取得し、当該車両情報に基づいて評価エリアを設定している。
【００４４】
すなわち、自動車の車種が普通車と大型車（バスやトラックなど）とでは運転席の高さ位置が大きく異なるので、そのような車種の違いに応じて運転席と重なるように評価エリアを設定する必要がある。そのために本実施形態の撮像装置Ａ４では、図６（ａ）に示すように撮像範囲を１本の対角線で２つの領域Ｓ１，Ｓ２に分割し、ＥＴＣシステムＦから取得した車両情報に基づき、例えば、当該自動車が大型車であれば、評価エリア設定部９が対角線よりも上側の領域Ｓ１を評価エリアに設定し、当該自動車が普通車であれば、評価エリア設定部９が対角線よりも下側の領域Ｓ２を評価エリアに設定する。あるいは、図６（ｂ）に示すように撮像範囲を上下方向で複数の領域Ｓ３，Ｓ４に分割し、大型車であれば、評価エリア設定部９が上側の領域Ｓ３を評価エリアに設定し、普通車であれば、評価エリア設定部９が下側の領域Ｓ４を評価エリアに設定するようにしても構わない。
【００４５】
而して本実施形態の撮像装置Ａ４では、自動車の車体の大きさ（車種）を対象物の位置情報とし、車体の大きさによって自動車の運転席の位置が変化する場合においても当該運転席と重なるように評価エリアを設定するので、自動車の車種に応じて適切な評価エリアを設定することができる。
【００４６】
（実施形態５）
ところで、撮像装置Ａｎ（ｎ＝１，２，３，４）から対象物である自動車までの距離が所定の撮像距離よりも短いと、自動露出部８で調整する露光量が多すぎて撮像部３の撮像素子が飽和してしまう場合がある。
【００４７】
そこで、本実施形態では実施形態１〜４の何れかの撮像装置Ａｎにおいて、露光量調整手段たる自動露出部８が、次フレームにおける対象物の推定された位置が所定の撮像距離よりも近い範囲にある場合、前記次フレームの直前のフレームにおける露光量から所定値（オフセット値）を減算することで当該次フレームにおける露光量を決定するようにしている。但し、本実施形態の撮像装置の構成は実施形態１〜４の何れかの撮像装置Ａｎと共通であるから、共通する構成要素についての図示並びに説明は省略する。
【００４８】
次に、図７のフローチャートを参照して本実施形態における自動露出部８の動作を説明する。
【００４９】
評価エリア設定部９による次フレームの評価エリアの設定が完了すると（ステップＳ１）、自動露出部８では対象物の位置情報に基づいて次フレームにおける対象物（自動車）までの距離を推定し（ステップＳ２）、当該距離の推定値を所定のしきい値と比較する（ステップＳ３）。そして、自動露出部８は、距離の推定値がしきい値よりも小さい場合、すなわち、次フレームにおける対象物の推定された位置が所定の撮像距離よりも近い範囲にある場合には、オフセット値をＷ（＞０）に設定し（ステップＳ４）、距離の推定値がしきい値以上の場合にはオフセット値を０とする（ステップＳ５）。さらに、自動露出部８は、前フレームの露光量の評価を行い（ステップＳ６）、当該露光量からオフセット値を減算することで次フレームの露光量を決定し（ステップＳ７）、決定した露光量で露光制御を実行する（ステップＳ８）。
【００５０】
このように本実施形態によれば、撮像装置Ａｎ（ｎ＝１，２，３，４）から対象物である自動車までの距離が短いときに撮像部３の撮像素子が飽和してしまうことを防止できるものである。
【符号の説明】
【００５１】
１  光源部（光照射手段）
２  発光制御部（光照射手段）
３  撮像部（差分画像生成手段）
４  駆動制御部（差分画像生成手段）
７  画像生成部（差分画像生成手段）
８  自動露出部（露光量評価手段）
９  評価エリア設定部（評価エリア設定手段）
【図１】
2011048116.tif 000003
【図２】
2011048116.tif 000004
【図３】
2011048116.tif 000005
【図４】
2011048116.tif 000006
【図５】
2011048116.tif 000007
【図６】
2011048116.tif 000008
【図７】
2011048116.tif 000009