(57)【特許請求の範囲】
【請求項１】
自動車の運転手を当該自動車のフロントガラス越しに撮像する撮像装置であって、
対象領域に光を照射する光照射手段と、当該光照射手段が前記光を照射する照射期間に同期して撮像した第１の画像と当該照射期間以外で撮像した第２の画像との差分画像を生成する差分画像生成手段と、前記対象領域に存在する前記自動車の前記フロントガラスの前記光に対する透過率を推定する透過率推定手段と、当該透過率推定手段の推定結果に基づいて前記差分画像における前記運転手の像の露光量が所定の適正範囲内に収まるように露光量を調整する露光量調整手段とを備え、
前記透過率推定手段は、前記第１の画像又は前記第２の画像又は前記差分画像のうちの少なくとも何れか１つの画像から前記フロントガラスの透過率を推定することを特徴とする撮像装置。
【請求項２】
前記透過率推定手段は、前記自動車の種類と当該種類毎の前記フロントガラスの透過率を予め記憶しており、前記第１の画像又は前記第２の画像又は前記差分画像のうちの少なくとも何れか１つの画像から前記自動車の種類を特定することで当該フロントガラスの透過率を推定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記透過率推定手段は、前記画像のフレーム間差分を演算して時間的差分画像を生成し、当該時間的差分画像に対して画像処理を行うことで前記自動車の種類を特定することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記透過率推定手段は、前記画像の背景差分を演算して背景差分画像を生成し、当該背景差分画像に対して画像処理を行うことで前記自動車の種類を特定することを特徴とする請求項２記載の撮像装置。
【請求項５】
前記透過率推定手段は、前記画像から前記自動車の特徴部分を抽出するとともに当該特徴部分に対して画像処理を行うことで前記自動車の種類を特定することを特徴とする請求項２〜４の何れか１項に記載の撮像装置。
【請求項６】
前記透過率推定手段は、前記画像の一部の領域に対して画像処理を行うことで前記自動車の種類を特定することを特徴とする請求項２〜４の何れか１項に記載の撮像装置。
【請求項７】
前記一部の領域を設定する領域設定手段を備え、当該領域設定手段は、前記対象領域に前記自動車が存在しない状況で撮像された前記画像に対して前記領域を設定することを特徴とする請求項６記載の撮像装置。
【請求項８】
前記光照射手段は、前記透過率推定手段が前記フロントガラスの透過率の推定に用いる前記第１の画像の撮像時において、前記光の照射範囲若しくは光量の少なくとも何れか一方を減少させることを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
【請求項９】
前記露光量調整手段は、前記透過率推定手段の推定結果に応じて、前記光照射手段の照射範囲を減縮することを特徴とする請求項１〜８の何れか１項に記載の撮像装置。
【請求項１０】
前記透過率推定手段は、前記画像から前記自動車の特徴部分を抽出するとともに当該特徴部分の画素値に基づいて当該自動車のフロントガラスの透過率を推定することを特徴とする請求項１記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周囲光の影響を低減した画像を撮像するための撮像装置に関する。
【背景技術】
【０００２】
本出願人は、光照射手段で光を照射しているときに撮像した画像(発光時画像)と、光照射手段で光を照射していないときに撮像した画像(非発光時画像)との差分画像を取得する撮像装置を既に提案している(特許文献１参照)。かかる差分画像では、光照射手段から照射される光の反射光成分のみを画素値としており、太陽光などの周囲光による影響が低減されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１２１６１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述のような撮像装置においては、ガラスのように光を透過する障害物(以下、単に障害物という。)が被写体との間に存在すると、当該障害物の光透過率が低くなるにつれて発光時画像における被写体の露光量が減少してしまう。その結果、障害物越しに撮像された被写体画像の画質が劣化する虞がある。
【０００５】
ここで、撮像された画像(差分画像)において被写体像が存在する範囲の露光量(撮像素子が受光する光量。以下同じ。)を評価し、当該評価範囲の露光量が適正な値となるように調整すれば、被写体画像の画質劣化を抑制することができる。しかしながら、自動車を運転している運転手を前方から撮像するような場合、光を透過する障害物(フロントガラス)の周囲に光を反射する物体(自動車の車体)が存在するため、フロントガラス越しに撮像される運転手(被写体像)の露光量を適正値に調整することは容易ではない。
【０００６】
本発明は、上記課題に鑑みて為されたものであり、障害物越しに撮像される画像の画質劣化を抑えることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、自動車の運転手を当該自動車のフロントガラス越しに撮像する撮像装置であって、対象領域に光を照射する光照射手段と、当該光照射手段が前記光を照射する照射期間に同期して撮像した第１の画像と当該照射期間以外で撮像した第２の画像との差分画像を生成する差分画像生成手段と、前記対象領域に存在する前記自動車の前記フロントガラスの前記光に対する透過率を推定する透過率推定手段と、当該透過率推定手段の推定結果に基づいて前記差分画像における前記運転手の像の露光量が所定の適正範囲内に収まるように露光量を調整する露光量調整手段とを備え、前記透過率推定手段は、前記第１の画像又は前記第２の画像又は前記差分画像のうちの少なくとも何れか１つの画像から前記フロントガラスの透過率を推定することを特徴とする。
【０００８】
この撮像装置において、前記透過率推定手段は、前記自動車の種類と当該種類毎の前記フロントガラスの透過率を予め記憶しており、前記第１の画像又は前記第２の画像又は前記差分画像のうちの少なくとも何れか１つの画像から前記自動車の種類を特定することで当該フロントガラスの透過率を推定することが好ましい。
【０００９】
この撮像装置において、前記透過率推定手段は、前記画像のフレーム間差分を演算して時間的差分画像を生成し、当該時間的差分画像に対して画像処理を行うことで前記自動車の種類を特定することが好ましい。
【００１０】
この撮像装置において、前記透過率推定手段は、前記画像の背景差分を演算して背景差分画像を生成し、当該背景差分画像に対して画像処理を行うことで前記自動車の種類を特定することが好ましい。
【００１１】
この撮像装置において、前記透過率推定手段は、前記画像から前記自動車の特徴部分を抽出するとともに当該特徴部分に対して画像処理を行うことで前記自動車の種類を特定することが好ましい。
【００１２】
この撮像装置において、前記透過率推定手段は、前記画像の一部の領域に対して画像処理を行うことで前記自動車の種類を特定することが好ましい。
【００１３】
この撮像装置において、前記一部の領域を設定する領域設定手段を備え、当該領域設定手段は、前記対象領域に前記自動車が存在しない状況で撮像された前記画像に対して前記領域を設定することが好ましい。
【００１４】
この撮像装置において、前記光照射手段は、前記透過率推定手段が前記フロントガラスの透過率の推定に用いる前記第１の画像の撮像時において、前記光の照射範囲若しくは光量の少なくとも何れか一方を減少させることが好ましい。
【００１５】
この撮像装置において、前記露光量調整手段は、前記透過率推定手段の推定結果に応じて、前記光照射手段の照射範囲を減縮することが好ましい。
【００１６】
この撮像装置において、前記透過率推定手段は、前記画像から前記自動車の特徴部分を抽出するとともに当該特徴部分の画素値に基づいて当該自動車のフロントガラスの透過率を推定することが好ましい。
【発明の効果】
【００１７】
本発明の撮像装置は、障害物越しに撮像される画像の画質劣化を抑えることができるという効果がある。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態を示すブロック図である。
【図２】(a),(b)は同上の動作説明図である。
【図３】同上における評価領域の説明図である。
【図４】同上における評価領域設定モードを説明するためのフローチャートである。
【図５】(a),(b)は同上における赤外光照射範囲の説明図である。
【発明を実施するための形態】
【００１９】
以下、高速道路などの有料道路の料金所や有料駐車場のゲートなどを通過する自動車の運転手を撮像する撮像装置に本発明の技術思想を適用した実施形態について詳細に説明する。但し、本発明の技術思想が適用可能な撮像装置は、これに限定されるものではない。
【００２０】
(実施形態１)
本実施形態の撮像装置Ａは、図１に示すように光源部１、発光制御部２、撮像部３、駆動制御部４、レンズ部５、入射光量調整部６、画像生成部７を備えている。光源部１は、多数の赤外発光ダイオードをマトリクス状に配設してなり、対象領域(自動車が走行するレーン)に赤外光を照射する。発光制御部２は、光源部１の各赤外発光ダイオードに電流を流して発光させる。撮像部３は、赤外光に感度を有した撮像素子を有している。駆動制御部４は、撮像部３を駆動制御する。レンズ部５は、撮像部３の撮像素子に光を集光する。入射光量調整部６は、レンズ部５が具備する絞りを制御して撮像部３に入射する光量を調整する。画像生成部７は、光源部１から赤外光が照射される照射期間に同期して撮像部３が撮像した第１の画像(発光時画像)と照射期間以外で撮像部３が撮像した第２の画像(非発光時画像)との差分画像(光変調画像)を生成する。なお、画像生成部７で生成された差分画像は、外部の画像記録装置Ｂ並びに表示装置Ｃに出力され、画像記録装置Ｂに記録されるとともに表示装置Ｃに表示される。
【００２１】
発光制御部２は、例えば、非常に高い周波数(例えば、１０メガヘルツ)の変調信号を光源部１の赤外発光ダイオードに出力して物体(自動車)が存在する対象領域に変調光を照射させるとともに、赤外発光ダイオードに流れる電流を増減することで変調光の光量を調整する。入射光量調整部６は、絞りの開き具合を調節することによって絞りを通過して撮像部３の撮像素子に入射する光量を調整する。駆動制御部４は、発光制御部２の変調信号による赤外発光ダイオードの発光周期に同期して、変調光が照射されている照射期間と変調光が照射されていない非照射期間のそれぞれにおいて撮像部３の撮像素子で受光した反射光成分を画素値とする第１の画像並びに第２の画像を画像生成部７に出力する。
【００２２】
画像生成部７においては、撮像部３から出力される第１及び第２の画像をディジタルの画像データに変換した後、照射期間に得られる画像データと非照射期間に得られる画像データとの各画素毎の差分を演算することで変調光(赤外光)の反射光成分のみを画素値とする差分画像(光変調画像)を生成している。ただし、このような画像生成部７については、特開２００６−１２１６１７号公報等にも記載されているように公知の技術で実現可能であるから詳細な説明は省略する。
【００２３】
また本実施形態の撮像装置Ａは、発光制御部２を制御して光源部１の発光量を調整したり、入射光量調整部４を制御して絞りを調節することによって露光量を調整する自動露出部８を備えている。
【００２４】
ここで、本実施形態の撮像装置Ａと撮像対象(被写体)である自動車の運転手との間には障害物である自動車のフロントガラスが存在しており、フロントガラスの影響で差分画像における被写体像(運転手の像)の露光量が減少してしまう。従来例においては、差分画像における一部の範囲(評価エリア)に含まれる全ての画素の画素値から露光量を評価し、当該露光量(画素値)が所定の適正範囲内に収まるように露光量が調整されていた。しかしながら、フロントガラス越しに撮像される運転手の像の露光量が減少するのに対し、自動車の車体の像の露光量がかなり高くなってしまうため、差分画像の露光量を評価して運転手の像の露光量を適正範囲に調整することは非常に困難である。
【００２５】
そこで本実施形態の撮像装置Ａでは、対象領域に存在する物体(自動車のフロントガラス)の赤外光に対する透過率を推定する透過率推定部９を備え、推定された透過率に応じて自動露出部７が露光量の調整を行うようにしている。
【００２６】
透過率推定部９は、物体(自動車)の種類(例えば、普通乗用車、トラックなどの大型車などの車種)と当該種類毎の透過率を予め記憶しており、第１の画像又は第２の画像又は差分画像のうちの少なくとも何れか１つの画像から物体の種類(自動車の車種)を特定し、特定した車種の透過率を推定して自動露出部７に通知する。
【００２７】
次に、透過率推定部９が車種を特定する処理(画像処理)について詳細に説明する。まず、透過率推定部９では、画像生成部７で連続して生成された複数フレームの差分画像について全画素の画素値の差分(時間的な変化量)を求め、当該差分が所定の閾値以上となる画素群を抽出する。例えば、図２(ａ)，(ｂ)に示すように撮像装置Ａの画角が固定されており、画角内にはレーンＬ並びにゲートＧとともにレーンＬを走行する自動車Ｍが撮像されるものとすると、透過率推定部９では、図２(ａ)に示すｎ−１番目のフレームの画像(差分画像)と図２(ｂ)に示すｎ番目のフレームの画像(差分画像)とのフレーム間差分を演算して時間的差分画像を生成し、当該時間的差分画像から物体(自動車Ｍ)を抽出する。つまり、移動する物体(レーンＬを走行する自動車Ｍ)以外のレーンＬやゲートＧの撮像画像はフレーム間差分によって相殺されてしまうので、時間的差分画像には移動する物体の撮像画像のみが残ることになる。
【００２８】
透過率推定部９は、予め用意された車種毎のテンプレート画像と時間的差分画像とのテンプレートマッチング処理を行うことで自動車の車種を特定する。あるいは、物体の撮像画像が占める画素数、または、撮像画像から推定される自動車の高さや幅などの寸法に基づいて車種を特定することも可能である。さらに、本実施形態の透過率推定部９は差分画像(光変調画像)の時間的差分画像から車種を特定しているが、第１の画像又は第２の画像の時間的差分画像から車種を特定することも可能である。
【００２９】
ここで、光源部１並びにレンズ部３の設置角度と自動車のフロントガラスの傾斜角度との関係によって、赤外線の透過率は大きく変化する。つまり、トラックなどの大型車のフロントガラスがほぼ垂直に配置されているのに対し、普通乗用車のフロントガラスは垂直面から30deg〜70deb程度まで傾斜しており、光源部１及びレンズ部３を水平に設置した場合、普通乗用車のフロントガラスの透過率が大型車のフロントガラスの透過率よりも低くなる。また、普通乗用車では熱線（赤外線）を吸収及び反射する機能を有するガラスが採用されていることが多いため、赤外線の透過率は相対的に低くなる。一方、トラックなどの大型車のフロントガラスには、熱線を吸収及び反射する機能を有しないガラスが採用されることが多いため、赤外光の透過率は相対的に高くなる。なお、透過率推定部９が記憶している各車種毎の透過率は必ずしも具体的な数値である必要は無く、単に高低のみであってもよい。例えば、本実施形態においては普通乗用車の透過率が「低」、大型車の透過率が「高」に設定されている。
【００３０】
自動露出部７は、透過率推定部９で推定された透過率が「低」であれば、発光制御部２を制御して光源部１の発光量を相対的に増加させるとともに入射光量調整部４を制御して入射光量を増加させる。反対に透過率推定部９で推定された透過率が「高」であれば、自動露出部７は、発光制御部２を制御して光源部１の発光量を相対的に減少させるとともに入射光量調整部４を制御して入射光量を減少させる。
【００３１】
上述のように本実施形態の撮像装置Ａでは、透過率推定部９が第１の画像又は前記第２の画像又は差分画像のうちの少なくとも何れか１つの画像から物体(自動車のフロントガラス)の透過率を推定し、推定された透過率に基づいて、露光量調整手段たる自動露出部７が差分画像における露光量を所定の適正範囲内に収めるように露光量を調整する。これにより、障害物(自動車のフロントガラス)越しに撮像される画像(自動車の運転手を撮像した画像)の画質劣化を抑えることができる。しかも、本実施形態における透過率推定部９は、画像処理によって物体(自動車)の種類(車種)を判別し、その種類(車種)に基づいて透過率を推定するので、透過率の推定処理が簡素化できるという利点がある。
【００３２】
なお、本実施形態における透過率推定部９は時間的差分画像に対して透過率を推定するための画像処理を行っているが、事前に撮像された背景画像との差分(背景差分画像)に対して当該画像処理を行ってもよい。あるいは、第１の画像又は第２の画像又は差分画像(光変調画像)に対して前記画像処理を行ってもよい。
【００３３】
また、自動車全体の画像から車種を判別する代わりに、自動車の特徴部分(例えば、フロントガラスの枠やピラーなど)を抽出するとともに、抽出した特徴部分に対して前記画像処理を行うことで車種を判別することも可能である。つまり、自動車のフロントガラスの枠やピラー(特にＡピラー)はフロントガラスと同程度の傾斜角を有しているので、その傾斜角に基づいて自動車の車種を判別することができる。あるいは、フロントガラスの枠やピラーの大きさ若しくは位置によっても車種の判別は可能である。
【００３４】
ところで、上述のようにレーンを走行する自動車を撮像する場合、画像(第１の画像、第２の画像、差分画像)の中で物体(自動車)が撮像される領域は一部に限定されると考えられる。したがって、画像全体ではなく、画像の一部の領域に対して画像処理を行うことでも自動車の車種を判別することができる。
【００３５】
例えば、自動車が対象領域を左から右に走行すると仮定した場合、図３に示すように差分画像内のほぼ左半分の範囲に複数の領域Ｗmn(m=1,2,3,4,5、n=1,2,3)を縦横に並べて設定し、それぞれの領域(評価領域)Ｗmnの画素値が時間的にどのように変化するかによって当該自動車の車種を特定することができる。つまり、普通乗用車と比較して大型車の車高が高いことを利用し、縦方向に並ぶ５つの評価領域Ｗm1,Ｗm2,Ｗm3のうちの下３つの評価領域Ｗk1,Ｗk2,Ｗk3(但し、k=3,4,5)のみの画素値が時間的に変化している場合は普通乗用車、前記５つの評価領域Ｗm1,Ｗm2,Ｗm3の全ての画素値が時間的に変化している場合は大型車、とそれぞれ特定することができる。
【００３６】
ここで、自動車の車種を的確に特定するためには、撮像画像に対する評価領域Ｗmnの配置が重要である。例えば、背景の照明装置が撮像される領域(画素群)は、その画素値が飽和してしまうために評価領域に含まれないことが望ましい。また、自動車の前照灯が撮像される領域(画素群)は、その画素値の変化量が非常に大きいために評価領域に含まれないことが望ましい。そこで本実施形態の撮像装置Ａでは、透過率推定部９が評価領域Ｗを自動的に設定するための評価領域設定モードを有し、施工後に評価領域設定モードが実行されることで評価領域Ｗを自動的に設定できるようにしている。
【００３７】
次に、図４のフローチャートを参照して、透過率推定部９が実行する評価領域設定モードについて説明する。
【００３８】
まず、評価領域設定モードが実行されると、透過率推定部９は、評価領域Ｗを初期配置(例えば、撮像画像の左上隅)するとともに移動回数をゼロに初期化する(S1)。そして、透過率推定部９は、実際に撮像された画像(例えば、差分画像)における評価領域Ｗの画素値が飽和せず且つ画素値の変化量が上限値未満であるか否かを判定する(S2)。評価領域Ｗの画素値が飽和せず且つ画素値の変化量が上限値未満であれば、透過率推定部９は、当該評価領域Ｗを確定し(S3)、確定済みの評価領域Ｗの数が必要個数を超えていなければ(S4)、評価領域Ｗを変更し(S5)、ステップS1に戻る。一方、評価領域Ｗの画素値が飽和するか若しくは画素値の変化量が上限値以上であった場合、透過率推定部９は移動回数を所定のしきい値と比較し(S6)、移動回数がしきい値未満であれば、評価領域Ｗを移動させるとともに移動回数をインクリメントとしてステップS2に戻る。但し、移動回数がしきい値以上となれば、透過率推定部９は評価領域Ｗを消滅させて評価領域設定モードを終了する(S8)。また、確定した評価領域Ｗの数が必要個数を超えれば(S4)、透過率推定部９は評価領域Ｗの配置を終了し(S9)、評価領域設定モードを終了する。
【００３９】
上述のように本実施形態の撮像装置Ａによれば、評価領域設定モードを実行した透過率推定部９が評価領域Ｗを自動的に設定するので、施工者による評価領域の設定の手間を大幅に軽減することができる。
【００４０】
ところで、自動露出部７が透過率推定部９の推定結果に基づいて露光量を調整するに当たり、光源部１の複数の赤外発光ダイオードの一部のみを発光させて被写体である自動車の運転手が撮像される領域のみに赤外光を照射しても構わない。例えば、普通乗用車と大型車の車高の違いに着目し、相対的に車高の高い大型車に対しては画像全体の上半分に対応する照射範囲α(図5(a)のハッチング部分)にのみ赤外光を照射し、相対的に車高の低い普通乗用車に対しては画像全体の下半分に対応する照射範囲β(図5(b)のハッチング部分)にのみ赤外光を照射すればよい。このように光源部１の赤外光照射範囲を車種に応じて調整することにより、常に全体に赤外光を照射する場合と比較して省エネルギー化が図れるという利点がある。
【００４１】
また、透過率推定部９が透過率の推定(自動車の車種の特定)を行う際にも、車種の特定に必要な照射範囲、例えば、自動車のフロントガラスを含む部分のみに赤外光を照射するようにしても構わない。この場合においても、光源部１の赤外光照射範囲を制限することで省エネルギー化が図れるという利点がある。
【００４２】
(実施形態２)
実施形態１では自動車の車種を特定することで障害物であるフロントガラスの透過率を推定していたが、本実施形態ではフロントガラスの画像の画素値に基づいて透過率を推定している。但し、本実施形態の撮像装置Ａの構成は実施形態１と共通であるから、共通する構成要素には同一の符号を付して図示並びに説明を省略する。
【００４３】
本実施形態における透過率推定部９は、実施形態１で説明したパターンマッチング等の方法を用いてフロントガラス(またはフロントガラスの枠)が撮像された画素の領域を抽出するとともに、当該領域に含まれる画素の画素値をしきい値と比較する。そして、透過率推定部９では、画素値がしきい値未満であれば相対的に透過率が低いと推定し、反対に画素値がしきい値以上であれば相対的に透過率が高いと推定する。
【００４４】
上述のように本実施形態の撮像装置Ａでは、透過率推定部９が画像から物体(自動車)の特徴部分(フロントガラス又はその枠)を抽出するとともに当該特徴部分の画素値に基づいて自動車(フロントガラス)の透過率を推定するので、透過率の推定精度を向上し、画像の画質劣化をさらに抑えることができる。
【００４５】
ところで、上述した実施形態１，２においては、透過率推定部９が差分画像(光変調画像)から車種を特定しているが、第１の画像又は第２の画像から車種を特定しても構わない。差分画像から車種を特定する場合、周囲光の影響を排除して安定した結果が得られるという利点がある。一方、第１の画像又は第２の画像から車種を特定する場合、日中であれば、赤外光の照射量が少ない部分でも車種を特定することができ、ひいては、差分画像から車種を特定する場合と比べて、遠方にある自動車の車種を特定することができるという利点がある。
【符号の説明】
【００４６】
１  光源部(光照射手段)
２  発光制御部(光照射手段)
３  撮像部(差分画像生成手段)
４  駆動制御部(差分画像生成手段)
７  画像生成部(差分画像生成手段)
８  自動露出部(露光量評価手段)
９  透過率推定部(透過率推定手段)
【図１】
0005469527.tif 000002
【図２】
0005469527.tif 000003
【図３】
0005469527.tif 000004
【図４】
0005469527.tif 000005
【図５】
0005469527.tif 000006