(57)【要約】【課題】車両に特有な外光変化に対応し、差分画像における黒つぶれや白とびを防ぎつつ、差分画像のコントラストの安定化を図ること。【解決手段】本発明による車載画像取得装置は、撮像手段と、照明手段と、照明制御手段と、撮像手段の露光時間及び絞りのうちの少なくともいずれか一方により前記撮像手段の露光量を制御する露光量制御手段と、照明手段がオンした状態で前記撮像手段により撮像された被写体の画像と、前記照明手段がオフした状態で前記撮像手段により撮像された被写体の画像との差分画像を生成する差分画像生成手段と、前記撮像手段に入射する外乱光の変化の頻度が所定閾値より小さい車両走行区間（外乱光変化小区間）を予測する外乱光変化頻度予測手段と、前記露光量制御手段は、前記外乱光変化頻度予測手段により予測された外乱光変化小区間において、前記露光量を固定することを特徴とする。【選択図】図８
2010252212.tif 000002
【特許請求の範囲】
【請求項１】
車室内に設けられ、車室内の被写体を撮像する撮像手段と、
車室内に設けられ、車室内の被写体を照明する照明手段と、
前記照明手段の照明をオン・オフ制御する照明制御手段と、
前記撮像手段の露光時間及び絞りのうちの少なくともいずれか一方により前記撮像手段の露光量を制御する露光量制御手段と、
前記照明手段がオンした状態で前記撮像手段により撮像された被写体の画像と、前記照明手段がオフした状態で前記撮像手段により撮像された被写体の画像との差分画像を生成する差分画像生成手段と、
前記撮像手段に入射する外乱光の変化の頻度が所定閾値より小さい車両走行区間（以下、外乱光変化小区間という）を予測する外乱光変化頻度予測手段と、
前記露光量制御手段は、前記外乱光変化頻度予測手段により予測された外乱光変化小区間において、前記露光量を固定することを特徴とする、車載画像取得装置。
【請求項２】
前記外乱光変化頻度予測手段は、車両の進行方向の変化の頻度を予測する進行方向変化頻度予測手段を含み、
前記外乱光変化頻度予測手段は、車両の進行方向の変化の頻度が所定閾値より小さいと予測される区間を、前記外乱光変化小区間として予測する、請求項１に記載の車載画像取得装置。
【請求項３】
前記外乱光変化頻度予測手段は、更に、外乱光の変化の頻度が所定閾値より大きい車両走行区間（以下、外乱光変化大区間という）を予測し、
前記露光量制御手段は、前記外乱光変化頻度予測手段により予測された外乱光変化大区間において、前記外乱光変化小区間において固定される露光量よりも小さい値で、前記露光量を固定する、請求項１に記載の車載画像取得装置。
【請求項４】
前記外乱光変化頻度予測手段は、車両の進行方向の変化の頻度を予測する進行方向変化頻度予測手段を含み、
前記外乱光変化頻度予測手段は、車両の進行方向の変化の頻度が所定閾値より大きいと予測される区間を、前記外乱光変化大区間として予測する、請求項３に記載の車載画像取得装置。
【請求項５】
前記進行方向変化頻度予測手段は、ユーザにより設定された走行ルートに従って案内情報を出力するナビゲーション装置からの走行ルート情報に基づいて、車両の進行方向の変化の頻度を予測する、請求項２又は４に記載の車載画像取得装置。
【請求項６】
前記外乱光変化頻度予測手段は、ユーザにより設定された走行ルートに従って案内情報を出力するナビゲーション装置からの走行ルート情報に基づいて、該走行ルートに存在するトンネルの個数及び外乱光を遮る建造物又は自然物の個数を算出し、該算出結果に基づいて、前記外乱光変化小区間を予測する、請求項１に記載の車載画像取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照明手段がオンした状態で撮像手段により撮像された被写体の画像と、照明手段がオフした状態で撮像手段により撮像された被写体の画像との差分画像を生成する車載画像取得装置に関する。
【背景技術】
【０００２】
従来から、対象物を所定の照明条件で撮影した際の第１の画像を取得する第１の取得手段と、対象物を所定の照明条件とは異なる照明条件で撮影した際の第２の画像を取得する第２の取得手段と、取得された第１の画像および第２の画像を用いて外光成分による影響を除去する除去手段とを備えた画像処理装置において、第１の画像における最高輝度部と最低輝度部との輝度差と、第２の画像における最高輝度部と最低輝度部の輝度差を取得し、これらの輝度差に基づいて、各々の画像中の輝度差が等しくなるように第１の画像および第２の画像の少なくとも一方の画像を調整する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２６８３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、照明手段がオンした状態で撮像手段により撮像された乗員の顔部の画像（以下、オン画像という）と、照明手段がオフした状態で撮像手段により撮像された乗員の顔部の画像（以下、オフ画像という）との差分画像を生成する構成では、差分画像により外光成分による影響を低減することができる。かかる構成では、差分画像のコントラストを一定にするために撮像手段の露光量（絞りや露光時間などの露光条件）を固定することが望ましい。
【０００５】
しかしながら、車両に乗車する乗員の顔部を撮影する場合、撮像手段に入射するに外乱光の強度は、車両走行に伴う周辺環境の変化等に起因して不規則的に変化しうる。これに対して、例えば最も外乱光強度が強いときを基準に撮像手段の露光量を小さい量に固定すると、照明手段から受ける光量が小さくなるため、差分画像のコントラストが低くなるという問題がある。他方、差分画像のコントラストを高めるために撮像手段の露光量を大きい量に固定すると、外乱光強度が非常に強いときに、オン画像における受光レベルが撮像手段の最大受光レベル（最大輝度値）を超えてしまう。この場合、オフ画像で高輝度を有する画素はオン画像との差分値が小さくなり、差分画像において（例えば顔部の鼻筋周辺に）黒つぶれや白とびが生ずるという問題がある。尚、このような問題は、被写体が乗員の顔部である場合に限られない。
【０００６】
そこで、本発明は、上述の車両に特有な外光変化に対応し、差分画像における黒つぶれや白とびを防ぎつつ、差分画像のコントラストの安定化を図ることができる車載画像取得装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一局面によれば、車室内に設けられ、車室内の被写体を撮像する撮像手段と、
車室内に設けられ、車室内の被写体を照明する照明手段と、
前記照明手段の照明をオン・オフ制御する照明制御手段と、
前記撮像手段の露光時間及び絞りのうちの少なくともいずれか一方により前記撮像手段の露光量を制御する露光量制御手段と、
前記照明手段がオンした状態で前記撮像手段により撮像された被写体の画像と、前記照明手段がオフした状態で前記撮像手段により撮像された被写体の画像との差分画像を生成する差分画像生成手段と、
前記撮像手段に入射する外乱光の変化の頻度が所定閾値より小さい車両走行区間（以下、外乱光変化小区間という）を予測する外乱光変化頻度予測手段と、
前記露光量制御手段は、前記外乱光変化頻度予測手段により予測された外乱光変化小区間において、前記露光量を固定することを特徴とする、車載画像取得装置が提供される。
【発明の効果】
【０００８】
本発明によれば、車両に特有な外光変化に対応し、差分画像における黒つぶれや白とびを防ぎつつ、差分画像のコントラストの安定化を図ることができる車載画像取得装置が得られる。
【図面の簡単な説明】
【０００９】
【図１】本発明による車載画像取得装置１の一実施例の主要構成を示す図である。
【図２】差分画像による外乱光成分除去原理を示す図である。
【図３】過小、最適及び過大な露光時間のそれぞれにおけるＬＥＤ成分を模式的に示す図である。
【図４】本実施例のカメラ制御ＥＣＵ１０により実行される主要処理の流れを示すフローチャートである。
【図５】カメラ３０の露光時間の下限時間の決定方法の一例を示すフローチャートである。
【図６】カメラ３０の露光時間の上限時間の決定方法の一例を示すフローチャートである。
【図７】画像列を構成する各画像のヒストグラムから各種値を算出する方法の説明図である。
【図８】カメラ３０の露光時間の制御方法の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１１】
図１は、本発明による車載画像取得装置１の一実施例の主要構成を示す図である。本実施例の車載画像取得装置１は、カメラ制御ＥＣＵ１０を中心として構成される。カメラ制御ＥＣＵ１０は、ハードウェア構成としては、適切なプロセッサないしマイクロコンピューターを中心に構成され、以下で説明する各種処理を行うＣＰＵや、以下で説明する各種処理を行うために用いられるプログラム及びデータが格納されたＲＯＭ、演算結果等を格納する読書き可能なＲＡＭ、タイマ、カウンタ、入力インターフェイス、及び出力インターフェイス等を有する。
【００１２】
カメラ制御ＥＣＵ１０には、カメラ３０及び照明装置４０が接続される。カメラ３０は、例えばＣＣＤ（charge-coupled  device）やＣＭＯＳ(complementary  metal  oxide  semiconductor)等を撮像素子としたセンサアレイを備えるカメラであってよい。カメラ３０は、濃淡画像（例えば２５６階調の濃淡画像）を取得するものであってよい。カメラ３０は、正規の姿勢・位置の運転者の前面（例えば運転者の顔部を前方から）を捕捉可能なように、車両の適切な箇所に設けられる。例えば、カメラ３０は、運転者の顔部を上向きの光軸で捕捉するように、ステアリングコラム又はメータ内に配置される。カメラ３０は、車両走行中にリアルタイムに運転者の顔部の画像を取得し、典型的には３０fps  (frame  per  second)のストリーム形式で、カメラ制御ＥＣＵ１０に供給するものであってよい。
【００１３】
照明装置４０は、ＬＥＤ（light-emitting  diode）で構成される。尚、照明装置４０は、ＬＥＤ以外の発光素子を用いる照明装置であってもよい。照明装置４０は、正規の姿勢・位置の運転者の前面（例えば運転者の顔部を前方から）を照明するように、車両の適切な箇所に設けられる。例えば、照明装置４０は、ステアリングコラム又はメータ内に配置される。照明装置４０は、カメラ３０と並設されても良いし、カメラ３０に一体的に組み込まれてもよい。
【００１４】
カメラ制御ＥＣＵ１０には、ナビゲーション装置５０がCAN（controller  area  network）などの適切なバスを介して接続される。
【００１５】
ナビゲーション装置５０は、地図データを記憶する例えばハードディスクドライブ（ＨＤＤ）のような記憶装置（図示せず）を含む。地図データには、交差点・高速道路の合流点／分岐点に各々対応する各ノードの座標情報、及び、隣接するノードを接続するリンク情報が含まれている。また、地図データには、各リンクに対応付けて、周辺に存在する建造物や自然物に関する情報や、トンネルの有無やトンネル区間に関する情報のような、周辺環境情報が含まれている。
【００１６】
また、ナビゲーション装置５０は、ＧＰＳ受信機（図示せず）を含む。ＧＰＳ受信機は、衛星からの電波を受信して、車両の位置や速度を測位し、その測位結果を自車位置情報としてカメラ制御ＥＣＵ１０に出力する。また、ナビゲーション装置５０は、ユーザにより入力された目的地情報に基づいて走行ルートを設定し、走行ルートに従った各種案内を音声出力や映像出力により行う。ナビゲーション装置５０は、ユーザにより設定された走行ルートに関する情報（走行ルート情報）をカメラ制御ＥＣＵ１０に出力する。走行ルート情報は、走行ルートに係るリンク情報や、走行ルート上の各リンクに係る周辺環境情報を含む。
【００１７】
カメラ制御ＥＣＵ１０は、図１に示すように、主なる機能部として、露光量制御部１２、照明制御部１４、画像処理部１６、及び、外乱光変化頻度予測部１８を含む。
【００１８】
露光量制御部１２は、カメラ３０の露光量を制御する。カメラ３０の露光量は、カメラ３０の絞りや露光時間を制御することにより実現されてもよい。以下では、説明の簡略化のため、カメラ３０の露光量の制御は、カメラ３０の露光時間を制御することにより実現されるものとする。但し、カメラ３０の露光量の制御は、カメラ３０の露光時間に代えて若しくは加えて、カメラ３０の絞りを制御することにより実現されてもよい。露光量制御部１２によるカメラ３０の露光時間の制御態様の詳細は後述する。
【００１９】
照明制御部１４は、照明装置４０のオン／オフ状態を制御する。
【００２０】
画像処理部１６は、照明装置４０がオンした状態でカメラ３０により撮像された乗員の顔部の画像（オン画像）と、照明装置４０がオフした状態でカメラ３０により撮像された乗員の顔部の画像（オフ画像）との差分画像を生成する。画像処理部１６は、生成した差分画像を処理して各種情報を取得してもよい。例えば、画像処理部１６は、差分画像に対してエッジ抽出処理を行い、抽出したエッジに基づいて、上瞼と下瞼を特定し、乗員の開眼／閉眼状態を検出してもよい。或いは、画像処理部１６は、差分画像における所定輝度以上の画素集合からプルキニエ像（照明装置４０により人を照明したときの当該人の目の角膜表面における当該照明装置４０の反射像）を特定し、乗員の視線方向を検出してもよい。これらの情報は、居眠り検出や脇見検出に用いられてもよい。尚、乗員の開眼／閉眼状態や視線方向の検出方法は、パターンマッチング法を利用したものを含めて多種多様であり、任意の方法が採用されてもよい。
【００２１】
外乱光変化頻度予測部１８は、カメラ３０の撮像素子に入射する外乱光のレベル（強度）や方向（入射方向）の変化の頻度を予測する。頻度は、所定距離（走行ルート上の所定距離）あたりの変化頻度であってよい。外乱光のレベルの変化の頻度は、外乱光のレベルが所定上側閾値を上回る頻度と、外乱光のレベルが所定下側閾値を下回る頻度の合算頻度であってよい。外乱光のレベルの方向の頻度は、外乱光の入射方向が所定角度（例えば６０度以上）変化する頻度であってよい。
【００２２】
より具体的には、外乱光変化頻度予測部１８は、ナビゲーション装置５０から走行ルート情報に基づいて、走行ルート上の外乱光の変化ポイントを予測し、走行ルート上において所定距離あたりの変化頻度（外乱光の変化ポイントの数）が所定閾値以上（又は所定閾値以下）の区間を、検出する。以下では、走行ルート上において所定距離Ｌ０あたりの変化頻度が所定閾値Ｔｈ１以上である区間を、外乱光変化大区間と称し、走行ルート上において所定距離あたりの変化頻度が所定閾値未満である区間を、外乱光変化小区間と称する。所定距離Ｌ０及び所定閾値Ｔｈ１は、適合値であるが、例えば１ｋｍあたり１つ以上外乱光の変化ポイントが存在する区間が外乱光変化大区間として検出されるような値であってよい。
【００２３】
簡易的には、車両の進行方向の変化時に外乱光の変化が発生すると仮定して、外乱光変化頻度予測部１８は、ナビゲーション装置５０から走行ルート情報に基づいて、走行ルート中における車両の進行方向の変化が生ずるポイントを、外乱光の変化ポイントとして予測してもよい。この場合、車両の進行方向の変化が生ずるポイントは、例えば走行ルート上の隣接するリンク間のなす角度が所定角度（例えば６０度）以上となるポイントであってよい。
【００２４】
また、外乱光変化頻度予測部１８は、ナビゲーション装置５０から走行ルート情報に含まれる周辺環境情報に基づいて、車両の走行ルート上にトンネルや外乱光を遮る建造物又は自然物が存在するポイントを、外乱光の変化ポイントとして予測してもよい。外乱光を遮る建造物は、例えば高層の建物やビルであり、外乱光を遮る自然物は、例えば山、街路樹であってよい。また、外乱光変化頻度予測部１８は、走行ルート中における車両の進行方向の変化が生ずるポイント、及び、車両の走行ルート上にトンネルや外乱光を遮る建造物又は自然物が存在するポイントの双方を、外乱光の変化ポイントとして予測してもよい。
【００２５】
尚、外乱光変化頻度予測部１８は、当然ながら、太陽光が入射していることを前提として、上述の外乱光の変化ポイントを予測している。従って、例えば、太陽光が入射していないことが明らかな状況（例えば夜間）であれば、走行ルートの全体が外乱光変化小区間と看做されてもよい。また、日照センサを搭載する車両の場合には、外乱光変化頻度予測部１８は、日照センサの検出結果に基づいて、太陽光が入射している前提条件を確認してもよい。また、外部サーバー等から通信により天気情報のような日照状態に関する情報が得られる場合には、外乱光変化頻度予測部１８は、かかる情報を考慮して、太陽光が入射している前提条件を確認してもよい。
【００２６】
ところで、上述の差分画像を生成する場合、図２に模式的に示すように、オン画像に含まれる外乱光成分とＬＥＤ光成分（照明装置４０からの光の成分）から、オフ画像に含まれる外乱光成分が差し引かれるので、ＬＥＤ光成分のみが残る。これにより、外乱光成分を除去した差分画像が得られる。
【００２７】
ここで、上述のような差分画像に基づく上瞼等の検出処理やプルキニエ像の検出処理は、複数の時系列的に連続した差分画像のそれぞれに対して実施する必要があるが、この場合、複数の差分画像間でコントラストに大きな変動があると、これらの検出精度が悪くなる。また、上瞼等やプルキニエ像は、周辺領域との輝度差を利用して検出されるので、コントラストが低いと、これらの検出精度が悪くなる。従って、複数の時系列的に連続した差分画像においてはコントラストの変動が小さく、且つ、コントラストが高いことが望ましい。
【００２８】
他方、カメラ３０に入射するに外乱光の光量は、露光時間のみならず、車両走行に伴う周辺環境の変化等に起因して不規則的に変化しうる。かかる不規則的な変化に対応すべく、例えばオフ画像の輝度値ヒストグラム等を用いて、オン画像の最大輝度値がカメラ３０の撮像素子の最大受光レベルに対応する最適な露光時間を実現するように、常時フィードバック制御する方法が考えられる。しかしながら、この方法では、ＬＥＤ光成分が常に変動しうる状態となり、コントラストが安定した差分画像を得られないという不都合がある。これに対して、露光時間を固定すると、上述の「発明が解決しようとする課題」の欄で記載したような課題が生ずる。即ち、カメラ３０の露光時間が最適な露光時間に対して過度に短い時間で固定されると、図３の（ａ）に示すように、ＬＥＤ光成分が小さくなるため、差分画像のコントラストが低くなるという問題がある。他方、カメラ３０の露光時間が最適な露光時間に対して過度に長い時間で固定されると、図３の（ｃ）に示すように、オン画像における受光レベルがカメラ３０の最大受光レベル（最大輝度値）を超え、オフ画像で高輝度を有する画素はオン画像との差分値が小さくなり、差分画像において（例えば顔部の鼻筋周辺に）黒つぶれ等が生ずるという問題がある。尚、このような問題は、被写体が乗員の顔部である場合に限られない。
【００２９】
以下では上述の課題を解決すべく構成された本実施例の特徴的な構成を説明する。
【００３０】
図４は、本実施例のカメラ制御ＥＣＵ１０により実行される主要処理の流れを示すフローチャートである。図４に示す処理は、例えば車両のイグニッションスイッチがオンされる際に起動される。
【００３１】
ステップ４００では、カメラ３０の露光時間の下限時間を決定する。この下限時間の決定方法について、図５を参照して後述する。
【００３２】
ステップ４０２では、カメラ３０の露光時間の上限時間を決定する。この上限時間の決定方法について、図６を参照して後述する。
【００３３】
ステップ４０４では、上記ステップ４００及び４０２で決定された結果に基づいて、カメラ３０の露光時間の上限時間が下限時間よりも大きいか否かを判定する。カメラ３０の露光時間の上限時間が下限時間よりも大きい場合は、ステップ４０８に進み、カメラ３０の露光時間の上限時間が下限時間よりも大きくない場合は、ステップ４０６に進む。
【００３４】
ステップ４０６では、カメラ３０の露光時間の上限時間を決定するための比較値を変更する。これについては、上限時間の決定方法に関連して、図６を参照して後述する。カメラ３０の露光時間の上限時間を決定するための比較値を変更すると、ステップ４０２に戻る。このようにカメラ３０の露光時間の上限時間が下限時間よりも大きくなるまで比較値の変更が繰り返される。尚、所定回数以上比較値を変更してもカメラ３０の露光時間の上限時間が下限時間よりも大きくならない場合は、本処理ルーチンを強制終了して、例えば警報メッセージを出力してもよい。
【００３５】
ステップ４０８では、上記ステップ４００及び４０２で決定された結果に基づいて、カメラ３０の露光時間の上限時間と下限時間の間で露光時間を決定（制御）する。ステップ４０８の処理は、例えば車両のイグニッションスイッチがオフされるまで継続して実行されてもよい。この場合、車両のイグニッションスイッチがオンされた際、或いは、その後の適切な段階で、カメラ３０の露光時間の下限時間及び上限時間が決定され、その後、車両のイグニッションスイッチがオフされるまで、当該決定された露光時間の下限時間及び上限時間に基づいて、カメラ３０の露光時間が制御される。但し、露光時間の下限時間及び上限時間は、車両のイグニッションスイッチがオンされてからオフされるまでの間、定期的に又は必要に応じて再決定されてもよい。
【００３６】
図５は、カメラ３０の露光時間の下限時間の決定方法の一例を示すフローチャートである。図５に示す処理は、上述の図４のステップ４００で実行される処理の詳細である。
【００３７】
ステップ５００では、露光時間をデフォルトの下限時間に設定する。デフォルトの下限時間は、平均的な外光条件で差分画像の平均輝度が所定値Ｔｈ２（本例では２０）付近となるような時間として予め試験等により導出されてよい。
【００３８】
ステップ５０１では、上記ステップ５００で設定された露光時間で差分画像（ＬＥＤ光成分のみの画像）を取得する。
【００３９】
ステップ５０２では、上記ステップ５０１で取得した差分画像の輝度値ヒストグラムを作成し、上記ステップ５０１で取得した差分画像の平均輝度が所定値Ｔｈ２以上であるか否かを判定する。本例では、最大輝度値が２５５（２５６階調）であるとし、所定値Ｔｈ２は、２０（２１階調）である。尚、所定値Ｔｈ２は、最大輝度値が２５５以外の値（即ち２５６階調以外の階調数）であれば、それに応じて決定されてもよい。差分画像の平均輝度は、差分画像中の所定領域又は差分画像の全体領域の各画素の輝度値の平均値であってよい。上記ステップ５０１で取得した差分画像の平均輝度が所定値Ｔｈ２以上である場合は、ステップ５０３に進み、差分画像の平均輝度が所定値Ｔｈ２未満である場合は、ステップ５０４に進む。
【００４０】
ステップ５０３では、上記ステップ５００で設定された露光時間、即ちデフォルトの下限時間を保持する。即ち、デフォルトの下限時間を、露光時間の下限時間として決定し、処理を終了する。
【００４１】
ステップ５０４では、露光時間の下限時間を延長し、露光時間を、当該延長した下限時間に設定する。
【００４２】
ステップ５０５では、上記ステップ５０４で設定された露光時間で差分画像を取得する。即ち露光時間を延長してオン画像とオフ画像の双方を再取得し、当該再取得したオン画像とオフ画像から差分画像を得る。
【００４３】
ステップ５０６では、上記ステップ５０５で取得した差分画像の輝度値ヒストグラムを作成し、上記ステップ５０５で取得した差分画像の平均輝度が所定値Ｔｈ２以上であるか否かを判定する。上記ステップ５０５で取得した差分画像の平均輝度が所定値Ｔｈ２以上である場合は、ステップ５０７に進む。他方、差分画像の平均輝度が所定値Ｔｈ２未満である場合は、ステップ５０４に戻る。従って、差分画像の平均輝度が所定値Ｔｈ２以上となるまで露光時間の下限時間が延長される。
【００４４】
ステップ５０７では、上記ステップ５０４で設定された露光時間、即ち上記ステップ５０６で平均輝度が所定値Ｔｈ２以上となったときの露光時間を、露光時間の下限時間と決定して、下限時間を更新する。
【００４５】
図６は、カメラ３０の露光時間の上限時間の決定方法の一例を示すフローチャートである。図６に示す処理は、上述の図４のステップ４０２で実行される処理の詳細である。
【００４６】
ステップ６００では、露光時間をデフォルトの上限時間に設定する。デフォルトの上限時間は、平均的な外光条件で差分画像の輝度値の平均値＋３σが所定値Ｔｈ３（本例では２１５）となるような時間として予め試験等により導出されてよい。
【００４７】
ステップ６０１では、上記ステップ６００で設定された露光時間でオフ画像（外乱光成分のみの画像）を取得する。
【００４８】
ステップ６０２では、上記ステップ６０１で取得したオフ画像の輝度値ヒストグラムを作成し、上記ステップ６０１で取得したオフ画像の輝度値の平均値＋３σが所定値Ｔｈ３以上であるか否かを判定する。ここで、σは標準偏差である。＋３σは、正規分布において全データの約９９％の値であり、１００％の値（即ち輝度値の最大値）を使用しないことでバッファを持たせている。本例では、最大輝度値が２５５（２５６階調）であるとし、所定値Ｔｈ３は、２１５（２１６階調）である。尚、所定値Ｔｈ３は、最大輝度値が２５５以外の値であれば、それに応じて決定されてもよい。オフ画像の輝度値の平均値＋３σは、オフ画像中の所定領域又はオフ画像の全体領域の輝度値の平均値＋３σであってよい。上記ステップ６０１で取得したオフ画像の輝度値の平均値＋３σが所定値Ｔｈ３以上である場合は、ステップ６０３に進み、オフ画像の輝度値の平均値＋３σが所定値Ｔｈ３未満である場合は、ステップ６０４に進む。
【００４９】
ステップ６０３では、上記ステップ６００で設定された露光時間、即ちデフォルトの上限時間を保持する。即ち、デフォルトの上限時間を、露光時間の上限時間として決定し、処理を終了する。
【００５０】
ステップ６０４では、露光時間の上限時間を延長し、露光時間を、当該延長した上限時間に設定する。
【００５１】
ステップ６０５では、上記ステップ６０４で設定された露光時間でオフ画像を取得する。即ち露光時間を延長してオフ画像を再取得する。
【００５２】
ステップ６０６では、上記ステップ６０５で取得したオフ画像の輝度値ヒストグラムを作成し、上記ステップ６０５で取得したオフ画像の輝度値の平均値＋３σが所定値Ｔｈ３以上であるか否かを判定する。上記ステップ６０５で取得したオフ画像の輝度値の平均値＋３σが所定値Ｔｈ３以上である場合は、ステップ６０７に進む。他方、オフ画像の輝度値の平均値＋３σが所定値Ｔｈ３未満である場合は、ステップ６０４に戻る。従って、オフ画像の平均輝度が所定値Ｔｈ３以上となるまで露光時間の上限時間が延長される。
【００５３】
ステップ６０７では、上記ステップ６０４で設定された露光時間、即ち上記ステップ６０６で輝度値の平均値＋３σが所定値Ｔｈ３以上となったときの露光時間を、露光時間の上限時間と決定して、上限時間を更新する。
【００５４】
ここで、図６を参照しつつ、上述の図４のステップ４０６で実行される比較値の変更処理について説明する。上述の図４のステップ４０６における比較値は、上述の図６の処理における輝度値の平均値＋３σを指す。そして、比較値の変更は、比較値を、初期値（平均値＋３σ）から平均値＋２σ、平均値＋１σといった具合に段階的に変更することにより実現される。このようにして比較値の輝度階調を下げることで、露光時間の上限時間を長くすることができる。
【００５５】
尚、図５の処理において差分画像の平均輝度を算出する際に、図７に模式的に示すように、複数の差分画像からなる画像列を用いて、各差分画像の平均輝度の平均値を算出してもよい。同様の観点から、図６の処理において差分画像の輝度値の平均値＋３σを算出する際に、図７に模式的に示すように、複数のオフ画像からなる画像列を用いて、各差分画像の輝度値の平均値＋３σの最大値又は平均値を算出してもよい。
【００５６】
図８は、カメラ３０の露光時間の制御方法の一例を示すフローチャートである。図８に示す処理は、上述の図４のステップ４０８で実行される処理の詳細である。
【００５７】
ステップ８００では、ナビゲーション装置５０から走行ルート情報を取得する。尚、上述の如く、走行ルート情報は、今回ユーザにより設定された走行ルートに係るリンク情報や、同走行ルート上の各リンクに係る周辺環境情報を含む。
【００５８】
ステップ８０２では、外乱光変化頻度予測部１８において、走行ルート情報に基づいて、走行ルート上における外乱光変化大区間（又は外乱光変化小区間）が予測される。この予測方法は上述した通りであってよい。尚、外乱光変化大区間を予測する構成では、走行ルート上における外乱光変化大区間以外の区間を外乱光変化小区間と看做し、逆に、外乱光変化小区間を予測する構成では、走行ルート上における外乱光変化小区間以外の区間を外乱光変化大区間と看做すこととしてよい。尚、外乱光変化大区間（又は外乱光変化小区間）は、差分画像のコントラストの安定化を重視すると長い区間であることが望ましく、例えば５〜３０ｋｍといった単位の比較的長い区間であってよい。
【００５９】
ステップ８０４では、露光量制御部１２において、ナビゲーション装置５０から随時取得される自車位置情報に基づいて、車両が外乱光変化大区間を走行中であるか否かが判定される。車両が外乱光変化大区間を走行中である場合は、ステップ８０６に進む。他方、車両が外乱光変化大区間を走行中でない場合、即ち車両が外乱光変化小区間を走行中である場合は、ステップ８０８に進む。
【００６０】
ステップ８０６では、露光量制御部１２において、カメラ３０の露光時間が上限時間と下限時間の中間付近に固定される。下限時間及び上限時間は、上述の如く図４のステップ４００（図５の処理）及び図４のステップ４０２（図６の処理）により決定されたものである。上限時間と下限時間の中間付近とは、上限時間と下限時間の中間を中心として例えば±１０％の範囲であってもよい。
【００６１】
ステップ８０８では、露光量制御部１２において、カメラ３０の露光時間が上限時間付近に固定される。上限時間は、上述の如く図４のステップ４０２（図６の処理）により決定されたものである。上限時間付近とは、上限時間を上限とした−１０％の範囲であってもよい。
【００６２】
ステップ８１０では、露光量制御部１２において、ナビゲーション装置５０から随時取得される自車位置情報に基づいて、走行ルートが終了したか否か、即ち目的地に到達したか否かが判定される。走行ルートが終了した場合は、露光時間の制御を終了し、走行ルートが終了していない場合は、ステップ８０４に戻る。
【００６３】
このように図８に示す露光時間制御によれば、車両が外乱光変化大区間を走行している間は、カメラ３０の露光時間が上限時間と下限時間の中間付近に固定され、車両が外乱光変化小区間を走行している間は、カメラ３０の露光時間が上限時間付近に固定される。従って、本実施例によれば、外乱光変化大区間では、カメラ３０の露光時間を上限時間と下限時間の中間付近に固定することで、白とびや黒潰れを防止しつつ差分画像のコントラストを安定させることができる。また、本実施例によれば、外乱光変化小区間では、カメラ３０の露光時間を上限時間付近に固定することで、差分画像のコントラストを高い値で安定させることができる。
【００６４】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００６５】
例えば、上述した実施例では、被写体が乗員（乗員の顔部）であったが、被写体は、車室内に存在する対象であれば任意であり、例えば、乗員が不在のときの座席（シート部）であってもよい。この場合、座席の状態（乗員の有無）を高コントラストでモニタリングすることができる。例えば乗員の有無を画像処理部１６の画像処理により判断し、当該判断結果が、衝突時にエアバックを作動させるか否かを判定するために使用されてもよい。
【００６６】
また、上述した実施例において、カメラ制御ＥＣＵ１０の機能の一部はナビゲーション装置５０に組み込まれてもよい。例えば、カメラ制御ＥＣＵ１０の外乱光変化頻度予測部１８はナビゲーション装置５０により実現されてもよい。
【符号の説明】
【００６７】
１    車載画像取得装置
１０    カメラ制御ＥＣＵ
１２    露光量制御部
１４    照明制御部
１６    画像処理部
１８    外乱光変化頻度予測部
３０    カメラ
４０    照明装置
５０    ナビゲーション装置
【図１】
2010252212.tif 000003
【図２】
2010252212.tif 000004
【図３】
2010252212.tif 000005
【図４】
2010252212.tif 000006
【図５】
2010252212.tif 000007
【図６】
2010252212.tif 000008
【図７】
2010252212.tif 000009
【図８】
2010252212.tif 000010