(57)【要約】【課題】運転者の掛けている眼鏡等の反射光が写り込んだ画像から写り込みを軽減する処理を行う車載用画像処理装置及びその制御方法を実現する【解決手段】車載用カメラ２５０に第１ＬＥＤ照明装置２２０と、第２ＬＥＤ照明装置２３０と、を設ける。車載用カメラ２５０は車載用カメラ２５０の撮影のタイミングに同期して、２つの照明装置を交互に点灯させ、第１ＬＥＤ照明装置２２０の照らし出した被写体と、第２ＬＥＤ照明装置２３０の照らし出した被写体とを撮影する。撮影した２枚の画像の輝度を、相対位置が等しい画素ごとに比較し、輝度の低い画素を抽出して新しい画像を合成する。合成した画像をＥＣＵに送信し、ＥＣＵが運転者が脇見等を行っているかを正確に検出できるようにする。【選択図】図４
2008123137.tif 000002
【特許請求の範囲】
【請求項１】
被写体を照明する複数の照明手段と、
前記複数の照明手段を異なったタイミングで点灯させる点灯手段と、
前記点灯手段により点灯された前記複数の照明手段により照らされた被写体の複数の画像を撮影する撮影手段と、
前記撮影手段により取得された被写体の複数の画像の相対位置が等しい部分について、輝度値に基づいて、一の画像を抽出して合成して出力する合成手段と、
を備えることを特徴とする車載用画像処理装置。
【請求項２】
前記照明手段を、複数であるｎ個備え、
前記点灯手段は、前記ｎ個の照明手段を順番に点灯させ、
前記撮影手段は、各照明手段が点灯したタイミングで前記被写体を撮像し、
前記合成手段は、ｎ個の照明手段でそれぞれ点灯された被写体のｎ個の画像から、相対位置が等しい部分について、輝度値の最も低いものを抽出して、被写体の１枚の画像を合成する、
ことを特徴とする請求項１記載の車載用画像処理装置。
【請求項３】
前記照明手段を２つ備え、
前記点灯手段は、前記２つの照明手段を交互に点灯させ、
前記撮影手段は、各照明手段が点灯したタイミングで前記被写体を撮像し、
前記合成手段は、前記撮影手段により順番に撮影された画像のうち、奇数回目に撮影された画像と偶数回目に撮影された画像について、相対位置が等しい部分について、輝度値の低い方の画像を抽出して被写体の画像を合成する、
ことを特徴とする請求項１記載の車載用画像処理装置。
【請求項４】
前記合成手段は、前記複数の画像の相対位置の等しい画素の輝度を比較して、輝度の最も低い画素を抽出して合成する、
ことを特徴とする請求項１に記載の車載用画像処理装置。
【請求項５】
前記合成手段は、前記撮影手段で撮像された画像を複数のブロックに分割し、相対位置の等しいブロックごとに輝度を比較して、輝度の最も低いブロックを抽出して合成する、
ことを特徴とする請求項１に記載の車載用画像処理装置。
【請求項６】
前記撮影手段により撮像された複数の画像のそれぞれの平均輝度を求め、求めた平均輝度の差の絶対値が所定値以下になるように前記撮影手段の露光時間を制御する露光制御手段をさらに備える、
ことを特徴とする請求項１に記載の車載用画像処理装置。
【請求項７】
前記合成手段により合成された画像に含まれる目の画像に基づいて、所定の制御を行う制御手段を備える、ことを特徴とする請求項１に記載の車載用画像処理装置。
【請求項８】
複数の照明装置を異なったタイミングで点灯させる点灯ステップと、
点灯された照明装置により照明された被写体の画像を撮影する撮影ステップと、
前記撮影ステップにより取得された被写体の複数の画像の相対位置が等しい部分について、輝度値に基づいて、一の画像を抽出して合成する合成ステップと、
を備えることを特徴とする車載用画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車の運転者の顔画像などを撮影する車載用画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
車載用カメラにより運転者の顔画像を取得し、この顔画像から目の画像を検出し、目の画像に基づいて様々な処理、例えば、運転者の注視方向を判別するといった処理を行う画像処理装置が利用されている。
【０００３】
運転者が眼鏡やサングラスを掛けている場合には、眼鏡等のレンズやフレームに太陽や照明が反射して、その反射光が画像に写り込むことがある。このため、顔画像から眼の画像を検出しにくくなることがあった。そこで、特許文献１に開示された検出装置は、目の部分の周囲の反射光と目の部分とを識別して、目の部分の画像のみを選択的に抽出することで、この画像に基づき、運転者が脇見等を行っていないか否かを判断することを可能としていた。
【特許文献１】特開２００２−３５２２２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示された検出装置は、目の部分自体に反射光が生じた場合は目の部分を抽出できない。そのため、特許文献１に開示された検出装置によっても、脇見等を判断できないことがあった。
【０００５】
本発明は、上記問題点に鑑みてなされたもので、運転者の掛けている眼鏡等に対する反射光を軽減する処理を行う車載用画像処理装置及びその制御方法を実現することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係る車載用画像処理装置は、
被写体を照明する複数の照明手段と、
前記複数の照明手段を異なったタイミングで点灯させる点灯手段と、
前記点灯手段により点灯された前記複数の照明手段により照らされた被写体の複数の画像を撮影する撮影手段と、
前記撮影手段により取得された被写体の複数の画像の相対位置が等しい部分について、輝度値に基づいて、一の画像を抽出して合成する合成手段と、
を備えることを特徴とする。
【０００７】
前記照明手段を、複数であるｎ個備え、
前記点灯手段は、前記ｎ個の照明手段を順番に点灯させ、
前記撮影手段は、各照明手段が点灯したタイミングで前記被写体を撮像し、
前記合成手段は、ｎ個の照明手段でそれぞれ点灯された被写体のｎ個の画像から、相対位置が等しい部分について、輝度値の最も低いものを抽出して、被写体の１枚の画像を合成する、
こととしてもよい。
【０００８】
例えば、前記照明手段を２つ備え、
前記点灯手段は、前記２つの照明手段を交互に点灯させ、
前記撮影手段は、各照明手段が点灯したタイミングで前記被写体を撮像し、
前記合成手段は、前記撮影手段により順番に撮影された画像のうち、奇数回目に撮影された画像と偶数回目に撮影された画像について、相対位置が等しい部分について、輝度値の低い方の画像を抽出して被写体の画像を合成する構成であってよい。
【０００９】
また、前記合成手段は、前記複数の画像の相対位置の等しい画素の輝度を比較して、輝度の最も低い画素を抽出して合成してもよい。
【００１０】
前記合成手段は、前記撮影手段で撮像された画像を複数のブロックに分割し、相対位置の等しいブロックごとに輝度を比較して、輝度の最も低いブロックを抽出して合成してもよい。
【００１１】
前記撮影手段により撮像された複数の画像のそれぞれの平均輝度を求め、求めた平均輝度の差の絶対値が所定値以下になるように、前記撮影手段の露光時間を制御する露光制御手段をさらに備えることもできる。
【００１２】
前記合成手段により合成された画像に含まれる目の画像に基づいて、所定の制御を行う制御手段を備えてもよい。
【００１３】
上記目的を達成するため、本発明の第２の観点に係る車載用画像処理装置の制御方法は、
複数の照明装置を異なったタイミングで点灯させる点灯ステップと、
点灯された照明装置により照明された被写体の画像を撮影する撮影ステップと、
前記撮影ステップにより取得された被写体の複数の画像の相対位置が等しい部分について、輝度値に基づいて、一の画像を抽出して合成する合成ステップと、
を備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、運転者の掛けている眼鏡等に対する反射光を軽減する処理を行う車載用画像処理装置及びその制御方法を実現することができる。
【発明を実施するための最良の形態】
【００１５】
［第１実施形態］
以下、本発明の第１実施形態に係る車載用画像処理装置について説明する。図１に、本実施形態に係る車載用画像処理装置システムの構成図を示す。本実施形態に係る車載用画像処理装置システムは、車載用カメラ２５０と、ＥＣＵ（Engine Control Unit）３００と、から構成される。
【００１６】
ＥＣＵ３００は、車両全体の制御の他、車載用カメラ２５０から運転者の顔画像を受信し、この顔画像に基づいて運転者が脇見運転を行っているか否かを判断する電子制御装置である。
【００１７】
車載用カメラ２５０は、カメラ本体２００と、光学フィルタ２１０と、第１ＬＥＤ（Light-Emitting Diode：発光ダイオード）照明装置２２０と、第２ＬＥＤ照明装置２３０と、から構成される。
【００１８】
光学フィルタ２１０は、光学的なバンドパスフィルタであり、図３に示すように一部の波長の光だけを選択的に通過させる。例えば、近赤外光のみを透過させるものを使用して、車載用カメラ２００へ入射される運転者の眼鏡等の反射光を軽減する。
【００１９】
図２に示すように、第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０は、それぞれ複数のＬＥＤから構成された照明装置である。この第１ＬＥＤ照明装置２２０は、車載用カメラ２５０の正面から見て左側に取り付けられ、第２ＬＥＤ照明装置２３０は、車載用カメラ２５０の正面から見て右側に取り付けられる。
【００２０】
ここで、第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０を構成するＬＥＤとしては、図３に示すように、その光強度（μＷ）の最大となる波長域と、光学フィルタ２１０の透過率（％）の最大となる波長域と、がほぼ一致するようなＬＥＤを選択するのが望ましい。
【００２１】
図１に示すように、カメラ本体２００は、ＤＳＰ（Digital Signal Processor）１００と、ＬＥＤ制御回路１１０と、第１ＬＥＤ駆動回路１２０と、第２ＬＥＤ駆動回路１３０と、撮影部１４０と、Ｖドライバ１５０と、ＥＥＰＲＯＭ１６０と、ドライバ１７０と、から構成される。
【００２２】
ＬＥＤ制御回路１１０には、第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０の点灯のタイミングがＤＳＰ１００から通知される。ＬＥＤ制御回路１１０は、この通知されたタイミングに従って、照明装置を点灯させるように指示する点灯信号を、第１ＬＥＤ駆動回路１２０又は第２ＬＥＤ駆動回路１３０に送信する。
【００２３】
第１ＬＥＤ駆動回路１２０及び第２ＬＥＤ駆動回路１３０は、ＬＥＤ制御回路１１０から送信される点灯信号に応答し、それぞれ第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０を点灯させる。
【００２４】
撮影部１４０は、ＣＣＤ（Charge Coupled Device：電荷結合素子）等から構成され、運転者の顔を撮影する。そして、撮影部１４０は撮影した顔画像をＤＳＰ１００に送信する。例えば、送信方式はノンインターレス方式、撮影回数は１秒間に３０回（秒間３０フレーム）、デジタル信号に変換した場合の画像の解像度は縦２４０ピクセル、横３２０ピクセルである。
【００２５】
Ｖ（Video）ドライバ１５０は、ＤＳＰ１００から撮影部１４０の露光時間や撮影のタイミングに関する通知をうけ、この通知に従って撮影部１４０の制御を行う制御用インターフェースである。
【００２６】
ＥＥＰＲＯＭ１６０は、車載用カメラ２５０の制御プログラムを格納し、ＣＰＵ１０のワークエリアとして機能する。
【００２７】
ドライバ１７０はＤＳＰ１００が処理した運転者の顔画像をＤＡＣ５０から受信してＥＣＵ３００に送信し、ＥＣＵ３００との接続を制御する制御用インターフェースである。
【００２８】
ＤＳＰ１００は、主として撮影部１４０が取得した画像の画像処理を行う処理装置であり、ＣＰＵ１０と、ＴＧ（Timing Generator）／ＳＳＧ（Sync Signal Generator：同期信号発生器）２０と、ＡＤＣ（Analog-Digital Converter）３０と、信号処理部４０と、ＤＡＣ（Digital-Analog Converter）５０と、から構成される。
【００２９】
ＣＰＵ１０は、ＥＥＰＲＯＭ１６０から車載用カメラ２５０の制御プログラムを読み出して実行する。
【００３０】
ＴＧ／ＳＳＧ２０は、撮影部１４０の撮影のタイミングをＶドライバ１５０に通知する。また、ＴＧ／ＳＳＧ２０は、第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０を交互に点灯させるタイミングをＬＥＤ制御回路１１０に通知する。ＴＧ／ＳＳＧ２０は、これらの照明装置の点灯と撮影部１４０の撮影とのタイミングが同期するようにそれぞれにタイミングを通知する。
【００３１】
ＡＤＣ３０は、撮影部１４０から受信したアナログ信号をデジタル信号に変換して、信号処理部４０に送信する。
【００３２】
信号処理部４０は、ＡＤＣ３０から運転者の顔画像を受信し、この顔画像から眼鏡のレンズ部に対する反射光の影響を軽減する処理を行い、処理後の顔画像をＤＡＣ５０に送信する。反射光の影響の軽減処理の詳細については、後述する。
【００３３】
ＤＡＣ５０は、信号処理部４０から受信したデジタル信号を、アナログ信号に変換してドライバ１７０に送信する。
【００３４】
続いて、車載用カメラ２５０の動作について説明する。
ユーザ操作などにより車載用カメラ２５０の動作が開始されると、ＣＰＵ１０は、ＥＥＰＲＯＭ１６０から、車載用カメラ２５０の制御プログラムを読み出し、車載用カメラ２５０の制御を開始する。
【００３５】
最初に、ＣＰＵ１０は、ＴＧ／ＳＳＧ２０を駆動させるための駆動信号をＴＧ／ＳＳＧ２０に送信する。
【００３６】
ＴＧ／ＳＳＧ２０は、ＣＰＵ１０から駆動信号に応答して、動作を開始する。ＴＧ／ＳＳＧ２０は、ＬＥＤ制御回路１１０に、第１ＬＥＤ照明装置２２０と第２ＬＥＤ照明装置２３０とを、交互に点灯させるタイミングを繰り返し通知する。例えば、ＴＧ／ＳＳＧ２０は、１／３０秒間隔で両照明装置を交互に点灯させるタイミングを繰り返し通知する。
【００３７】
ＬＥＤ制御回路１１０は、通知されたタイミングに従って、第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０を点灯させるように指示する点灯信号を、第１ＬＥＤ駆動回路１２０又は第２ＬＥＤ駆動回路１３０に送信する。そして、第１ＬＥＤ駆動回路１２０及び第２ＬＥＤ駆動回路１３０は、ＬＥＤ制御回路１１０から送信される点灯信号に応答し、それぞれ第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０を点灯させる。
【００３８】
一方で、ＴＧ／ＳＳＧ２０は、Ｖドライバ１５０に撮影部１４０を撮影させるタイミングを繰り返し通知する。この撮影させるタイミングは、第１ＬＥＤ照明装置２２０と第２ＬＥＤ照明装置２３０との点灯タイミングに同期させる。例えば、１／３０秒間隔で照明を交互に点灯させる場合、これに同期して１／３０秒間隔で撮影させるタイミングを繰り返し通知する。Ｖドライバ１５０は、通知されたタイミングに従って撮影部１４０に被写体を撮影させる。
【００３９】
撮影部１４０は、撮影した画像のアナログの画像データを、ＡＤＣ３０に送信する。ＡＤＣ３０は、供給されたアナログの画像データをデジタルの画像データに変換して信号処理部１４０に送信する。
【００４０】
信号処理部４０は、画像データを連続して受信し、奇数回目に受信した画像データを奇数フレーム、偶数回目に受信した画像データを偶数フレームとして、内部メモリに格納する。信号処理部４０は、内部メモリから直近の奇数フレームと偶数フレームと読み出し、それぞれのフレームを構成する各画素の輝度を求める。そして信号処理部４０は、両フレームの相対位置が等しい画素ごとに輝度を比較し、輝度の低い方の画素データを抽出する。信号処理部４０は抽出した画素データを合成して１の画像データを作成し、作成した画像データを、ＤＡＣ５０に送信する。信号処理部４０は、この処理を所定時間ごとに実行する。例えば、１／３０秒ごとに画像データを受信する場合、１／１５秒ごとに画像を作成し、ＤＡＣ５０に送信する。
【００４１】
ＤＡＣ５０は受信したデジタルの画像データをアナログの画像データに変換し、ドライバ１７０に送信する。ドライバ１７０は、受信した画像データをＥＣＵ３００に送信する。
【００４２】
ＥＣＵ３００は、信号処理部４０から受信した画像データに基づいて、種々の制御処理、例えば、運転者の視線の方向を判別して、運転者が脇見運転を行っているか否かを判別して警告したり、運転者が注視している方向を判別して、対応する処理を行ったりする。
【００４３】
脇見運転を行っているか否かを判別する方法等は任意であり、既存の任意の手法を仕様可能である。例えば、運転者の目を含む部分の画像から、視線の方向を検出し、視線の方向と車両の正面方向とのずれが所定の値以上であれば、ＥＣＵ３００は運転者が脇見運転を行っていると判別する。
【００４４】
上記の動作により、車載用カメラ２５０は、第１ＬＥＤ照明装置２２０と第２ＬＥＤ照明装置２３０とを交互に点灯させ、これらの照明装置と同期させて撮影部１４０に被写体を撮影させる。撮影部１４０が撮影した画像について信号処理部４０は、奇数フレームと偶数フレームとの相対位置が等しい画素ごとに輝度を比較し、輝度の低い方の画素データを抽出する。そして、信号処理部４０は、抽出した画素データから１の画像を作成する。信号処理部４０は輝度の低い方を抽出するため、輝度の高い反射光の影響が軽減される。このため、信号処理部４０の処理後の画像からＥＣＵ３００が運転者の脇見運転を行っているか否かの判断をすることが容易となる。
【００４５】
次に、図４〜図６を参照して車載用カメラシステムの動作の具体例について説明する。
【００４６】
図４（ａ）に示すように、第１ＬＥＤ駆動回路１２０が第１ＬＥＤ照明装置２２０を点灯させたタイミングで、撮影部１４０は被写体を撮影する。図４（ｂ）は、撮影部１４０が撮影した奇数フレームＦｏの画像の１例である。図４（ｂ）のＲ１は、運転者の眼鏡等の反射光の写り込みの１例である。そして、信号処理部４０は、図４（ｃ）に示すように、奇数フレームＦｏの画素ごとの輝度を例えば、０〜９の１０段階で求める。
【００４７】
ここで、例えば解像度が縦２４０×横３２０の場合、実際には信号処理部４０は、１フレーム当たり７６８００画素について処理するが、図４から図６では、１フレームの画素を縦１０×横１２の１２０画素に簡略化して表現している。
【００４８】
一方、図５（ａ）に示すように、第２ＬＥＤ駆動回路１３０が第２ＬＥＤ照明装置２３０を点灯させたタイミングで、撮影部１４０は被写体を撮影する。図５（ｂ）は、撮影部１４０が撮影した偶数フレームＦｅの画像の１例である。図５（ｂ）のＲ２は、運転者の眼鏡等の反射光の写り込みの１例である。そして、信号処理部４０は、図５（ｃ）に示すように、偶数フレームＦｅの画素ごとの輝度を、例えば、０〜９の１０段階で求める。
【００４９】
上記の奇数フレームＦｏと偶数フレームＦｅとから、信号処理部４０は、相対位置が等しい画素ごとに輝度を比較し、輝度の低い方の画素データを抽出する。例えば、図４（ｃ）に示す奇数フレームＦｏの座標（０，０）の輝度は４であり、図５（ｃ）に示す偶数フレームＦｅの座標（０，０）の輝度は３である。信号処理部４０は、輝度の低い偶数フレームＦｅの座標（０，０）の画素データを抽出する。また、図４（ｃ）に示す奇数フレームの座標（０，１）の輝度は１であるのに対し、図５（ｃ）に示す偶数フレームＦｅの座標（０，１）の輝度は２である。このときは信号処理部４０は、輝度の低い奇数フレームＦｏの座標（０，１）の画素データを抽出する。このようにして、全ての座標について、信号処理部４０は輝度の比較と画素データの抽出を行い、これらの抽出した画素データを適切に配列して１の画像を作成する。この作成された画像からは、輝度の高い反射光の写り込みが低減される。
【００５０】
図６（ａ）は信号処理部４０が奇数フレームＦｏと偶数フレームＦｅとから作成した画像ｆ０である。そして、図６（ｂ）は、図６（ａ）を構成する画素の輝度を０〜９の１０段階で表したものである。画像ｆ０の座標（０，０）の輝度は、奇数フレームＦｏの座標（０，１）の輝度である３となり、画像ｆ０の座標（０，１）の輝度は、奇数フレームＦｏの座標（０，１）の輝度である１となる。
【００５１】
図６（ａ）に示すように、信号処理部４０の処理により、画像ｆ０では、輝度の低い画素が抽出されているので、輝度の高い反射光の影響が軽減される。
【００５２】
［第２実施形態］
量産されるＬＥＤには、その品質にある程度のばらつきがあるため、第１ＬＥＤ照明装置２２０と第２ＬＥＤ照明装置２３０との発光量は同一とはならない。このため、奇数フレームと偶数フレームで照明の発光量が異なってしまう。
【００５３】
しかし、奇数フレームと偶数フレームの照明の発光量が大きく異なると、例えば、奇数フレームの画像には眼鏡の反射が写り込んでいるにもかかわらず、輝度が小さく、偶数フレームでは眼鏡からの反射が写り込んでいないにもかかわらず、輝度が高いという画像領域が発生する場合がある。この場合、反射が写り込んだ画素を選択して新たな画像を合成することになり、合成された画像を利用するその後の処理に支障をきたす。
【００５４】
そこで、本実施の形態では、第１と第２のＬＥＤ照明装置２２０，２３０の発光光量のばらつきの影響を除去しうる車載用カメラシステムについて説明する。
【００５５】
本実施形態に係る車載用カメラシステムの物理的構成は、ＥＥＰＲＯＭ１６０に第１露光制御プログラム及び各種設定値をさらに格納する他は、第１実施形態に係る車載用カメラシステムの構成と同一である。
【００５６】
ＥＥＰＲＯＭ１６０は、設定値として、輝度差上限値ＢＤmax、輝度差下限値ＢＤmin、露光上限値ＥＴmax、露光下限値ＥＴminを格納する。輝度差上限値ＢＤmaxと輝度差下限値ＢＤminとは、偶数フレームと奇数フレームとの輝度の平均値の差の許容限度値を示す。また、露光上限値ＥＴmax、露光下限値ＥＴminは、運転者の顔画像が鮮明に写る露光時間の上限値、下限値を示す。
【００５７】
ＣＰＵ１０は、ＥＥＰＲＯＭ１６０から車載用カメラ２５０の制御プログラムの他、露光制御プログラムを読み出し、例えば撮影部４０の撮影間である１／３０秒ごとに繰り返し隔実行する。
【００５８】
上記の構成により、車載用カメラ２５０は、第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０を、例えば１／３０秒の間隔で交互に点灯させ、これらの照明装置の点灯タイミングに同期して撮影部１４０に被写体の画像を撮影させる。
【００５９】
図７を参照して第１露光制御処理について詳細に説明する。ＣＰＵ１０は、ＥＥＰＲＯＭ１６０から、第１露光制御プログラムを読み出し、例えば撮影部１４０の撮影間隔である、１／３０秒毎に実行する。
【００６０】
まず、ＣＰＵ１０は、フレームそれぞれの輝度値の平均値を求める（ステップＳ１０）。そして、ＣＰＵ１０は奇数フレームの輝度値の平均値から偶数フレームの輝度値の平均値を引いた値が輝度差上限値ＢＤmxより高いか否かを判別する（ステップＳ１５）。
【００６１】
奇数フレームの輝度値の平均値から偶数フレームの輝度値の平均値を引いた値が輝度差上限値ＢＤmaxより高ければ（ステップＳ１５：ＹＥＳ）、ＣＰＵ１０は、奇数フレームでの露光時間が露光下限値ＥＴmin以上であるか否かを判別する（ステップＳ２０）。奇数フレームでの露光時間が露光下限値ＥＴmin以上である場合（ステップＳ２０：ＹＥＳ）、ＣＰＵ１０は奇数フレームでの露光時間を所定時間だけ減少させる（ステップＳ２５）。
【００６２】
奇数フレームでの露光時間が露光下限値ＥＴminより短い場合（ステップＳ２５：ＮＯ）、又はステップＳ２５の後、ＣＰＵ１０は偶数フレームでの露光時間が露光上限値ＥＴmax以下であるか否かを判別する（ステップＳ３０）。
【００６３】
偶数フレームでの露光時間が露光上限値ＥＴmax以下である場合（ステップＳ３０：ＹＥＳ）、ＣＰＵ１０は偶数フレームでの露光時間を所定時間だけ増加させる（ステップＳ３５）。偶数フレームでの露光時間が露光上限値ＥＴmaxより長い場合（ステップＳ３０：ＮＯ）、又はステップＳ３５の後、ＣＰＵ１０は他の処理へ移行する。
【００６４】
ステップＳ１５で奇数フレームの輝度値の平均値から偶数フレームの輝度値の平均値を引いた値が輝度差上限値ＢＤmax以下であれば（ステップＳ１５：ＮＯ）、ＣＰＵ１０は、奇数フレームの輝度値の平均値から偶数フレームの輝度値の平均値を引いた値が輝度差下限値ＢＤminより小さいか否かを判別する（ステップＳ４０）。
【００６５】
奇数フレームの輝度値の平均値から偶数フレームの輝度値の平均値を引いた値が輝度差下限値ＢＤmin以上であれば（ステップＳ４０：ＮＯ）、ＣＰＵ１０は他の処理へ移行する。奇数フレームの輝度値の平均値から偶数フレームの輝度値の平均値を引いた値が輝度差下限値ＢＤminより小さければ（ステップＳ４０：ＹＥＳ）、ＣＰＵ１０は、偶数フレームでの露光時間が露光下限値ＥＴmin以上であるか否かを判別する（ステップＳ４５）。偶数フレームでの露光時間が露光下限値ＥＴmin以上である場合（ステップＳ４５：ＹＥＳ）、ＣＰＵ１０は偶数フレームでの露光時間を所定時間だけ減少させる（ステップＳ５０）。
【００６６】
偶数フレームでの露光時間が露光下限値ＥＴminより短い場合（ステップＳ４５：ＮＯ）、又はステップＳ５０の後、ＣＰＵ１０は奇数フレームでの露光時間が露光上限値ＥＴmax以下であるか否かを判別する（ステップＳ５５）。奇数フレームでの露光時間が露光上限値ＥＴmax以下である場合（ステップＳ５５：ＹＥＳ）、ＣＰＵ１０は奇数フレームでの露光時間を所定時間だけ増加させる（ステップＳ６０）。奇数フレームでの露光時間が露光上限値ＥＴmaxより長い場合（ステップＳ５５：ＮＯ）、又はステップＳ６０の後、ＣＰＵ１０は他の処理へ移行する。
【００６７】
上記の処理を繰り返すことにより、ＣＰＵ１０は、奇数フレームと偶数フレームとの輝度の平均値の差が所定の値以下となるように、奇数フレーム及び偶数フレームでの露光時間をそれぞれ制御できる。この処理により、信号処理部４０で、反射光の影響が充分に軽減されるようになる。
【００６８】
第１露光制御処理の動作の一例を図８及び図９に示す。図８（ａ）に示すように、ステップＳ１０〜Ｓ６０の５回の実行で、ＣＰＵ１０は奇数フレームＦ１、Ｆ３、Ｆ５、Ｆ７、Ｆ９と、偶数フレームＦ２、Ｆ４、Ｆ６、Ｆ８、Ｆ１０と、における露光時間を制御する。また、各フレームの輝度の平均値は、フレームごとに検出枠Ｔ１を設け、検出枠Ｔ１内の各画素の輝度の平均を算出することで求める。
【００６９】
図８（ｂ）に示すように、ステップＳ１０〜Ｓ６０の１回目の実行では、奇数フレームＦ１の輝度の平均値（Ｂ１）が偶数フレームＦ２の輝度の平均値（Ｂ２）より、かなり低い値である。そのため、Ｆ１の輝度の平均値（Ｂ１）からＦ２の輝度の平均値（Ｂ２）を引いた値が輝度差下限値ＢＤminより小さくなる（ステップＳ４０：ＹＥＳ）。そこで、ＣＰＵ１０は、偶数フレームでの露光時間を減少させ（ステップＳ５０）、奇数フレームでの露光時間を増加させる（ステップＳ６０）。それでもなお、２回目のステップＳ４０の実行時に両フレームＦ３及びＦ４の輝度の平均値の差は輝度差下限値ＢＤmin以下とならない。そこで、ＣＰＵ１０はステップＳ５０からステップＳ６０までの処理を何度か実行することとなる。そして、５回目のステップＳ４０の処理では、フレームＦ９の輝度（Ｂ９）とフレームＦ１０の輝度の平均値（Ｂ１０）の差はほとんどなくなる（ステップＳ４０：ＮＯ）。
【００７０】
１回目の第１露光制御処理で処理対象とした、奇数フレームＦ１の画像を図９（ａ）に、偶数フレームＦ２の画像を図９（ｂ）に示す。Ｆ１及びＦ２は、運転者が、眼鏡等を掛けていてそのレンズ部の反射光が写り込んだ画像の１例である。Ｒ３及びＲ４はレンズ部の反射光の写り込みの１例である。これらのＦ１とＦ２との輝度の平均値の差は大きいため、図９（ｃ）に示すように、信号処理部４０の処理によっても反射光の写り込みが充分に軽減されない。
【００７１】
そして、５回目の第１露光制御処理で処理対象とした奇数フレームＦ９の画像を図９（ｄ）に、偶数フレームＦ１０の画像を図９（ｅ）に示す。Ｆ９及びＦ１０は、運転者が、眼鏡等を掛けていて、そのレンズ部の反射光が写り込んだ画像の１例である。Ｒ６及びＲ７はレンズ部の反射光の写り込みの１例である。しかし、Ｆ９とＦ１０との輝度の平均値の差がほとんど無いため、図９（ｆ）に示すように、信号処理部４０によって反射光の写り込みが充分に軽減される。
［第３実施形態］
【００７２】
本発明の第３実施形態に係る車載用カメラについて説明する。
本実施形態に係る車載用カメラは、ＥＥＰＲＯＭ１６０に第２露光制御プログラムをさらに格納する他は第２実施形態に係る車載用カメラシステムと同様の構成である。
【００７３】
車内が明るく、車両用カメラに入射される光が強い場合、上記の信号処理部４０の画像処理やＣＰＵ１０の実行する露光制御処理によっても、反射光の写り込みが充分に軽減できないことがある。そこで、第２露光制御処理を実行して露光時間を短くし、具体的には、フレーム周期のおよそ１／３以下にすることで、反射光の写り込みを軽減することができる。
【００７４】
第２露光制御処理について図１０を参照して説明する。ＣＰＵ１０は、ＥＥＰＲＯＭ１６０から第２露光制御プログラムを読み出し、例えば撮影部４０の撮影間隔である１／３０秒ごとに繰り返し隔実行する。
【００７５】
最初にＣＰＵ１０は、奇数フレーム又は偶数フレームの露光時間がフレーム周期の１／３以上であるか否かを判別する（ステップＳ１００）。露光時間がフレーム周期の１／３以上であれば（ステップＳ１００：ＹＥＳ）、ＣＰＵ１０は、露光時間を所定時間短くする（ステップＳ１０５）。ステップＳ１０５の後、又は露光時間がフレーム周期の１／３より短いのであれば（ステップＳ１００：ＮＯ），ＣＰＵ１０は他の処理へ移行する。
【００７６】
第２露光制御プログラムの動作の一例を図１１に示す。露光時間を１フレーム周期の１／３より長くした場合、露光時間が長すぎるので、運転者が眼鏡等を着用時は図１１（ａ）に示すように眼鏡のレンズ部分に反射光が写り込みやすくなる。信号処理部４０によってもこの反射光は充分に軽減できない。一方、露光時間を１フレーム周期の１／３以下にすると、図１１（ｂ）に示すように、反射光の写り込みはかなり軽減される。
【００７７】
［第４実施形態］
上記第１〜第３実施形態においては、カメラ本願２５０が、反射光の影響を除去した画像を合成する処理までを行い、ＥＣＵ３００は提供された合成画像を用いて種々の制御を行っている。
【００７８】
この発明はこれに限定されない。例えば、画像の合成処理などは、カメラ装置２５０以外の装置で実行してしてもよい。
【００７９】
以下、一例として、カメラ装置２５０は、２つの照明装置で交互に照明した画像を取得し、ＥＣＵ３００が、画像を合成し、合成した画像を利用する第４実施形態について説明する。
【００８０】
図１２に、本実施形態に係る車載用カメラシステムの構成図を示す。本実施形態に係る車載用カメラシステムの基本構成は、図１の車載用カメラシステムの構成と同一であり、車載用カメラ２５０ａと、ＥＣＵ（Engine Control Unit）３００ａと、から構成される。
【００８１】
ＥＣＵ３００ａは、信号処理部３０１と、制御部３０２とを備える。
信号処理部３０１は、第１実施形態における信号処理部４０と同様の機能（奇数フレーム画像と偶数フレーム画像の相対位置が等しい画像のうつ輝度の低い画素を選択して、新たな画像を合成する処理）を実行する。制御部３０２は、信号処理部３０１で生成された画像を用いて、第１実施形態のＥＣＵ３００が実行する制御と同様の制御動作を実行する。
【００８２】
一方、図１２に示すように、車載用カメラ２５０ａの構成は、第１実施形態に係る車載用カメラ２５０と同様の構成である。ただし、信号処理部４０ａは、第１実施形態に係る信号処理部４０と異なり、奇数フレームと偶数フレームの顔画像から新たな画像を合成する等の処理は行わない。ただし、各画像の平均輝度求めて、露光時間を調整する等の処理は行っても良い。
【００８３】
このような構成においては、ドライバ１７０ａから、１／３０の周期で、第１ＬＥＤ照明装置２２０で照明された顔の画像と、第２ＬＥＤ照明装置２３０で照明された顔の画像とが交互にＥＣＵ３００ａに供給される。
【００８４】
ＥＣＵ３００ａの信号処理部３０１は、上述の信号処理部４０と同様の処理を行って、奇数フレームの画像及び偶数フレームの画像を記憶し、両画像の対応する画像の輝度を比較し、輝度が小さい方の画素を選択して、反射の写り込みの除去された顔画像を合成し、制御部３０２に供給する。
【００８５】
制御部３０２は、提供された顔画像から、例えば、目の画像を抽出し、その視線の方向を判別する等の処理を行って、脇見の検出、居眠りの検出、中心方向の検出などを行い、検出結果に応じた制御を行う。
このような構成によっても、反射光の影響が充分に軽減される。
【００８６】
なお、反射光の写り込みの軽減処理のみならず、第２実施形態に係る露光制御処理や、第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０の点灯を撮影のタイミングと同期させる制御についても、ＥＣＵ等の車載用カメラ以外の外部の装置が行う構成としてもよい。
【００８７】
そして、上記の実施形態では撮影部１４０は１秒間に３０フレームを取得する構成としているが、１秒間に２４フレームや１５フレームなど、取得するフレームの数を変更してもよい。撮影部１４０は、ノンインターレス方式のみならず、インターレス方式で画像を送信しても良い。
【００８８】
また、信号処理部４０での反射光の写り込みの軽減処理では１画素単位でなく、複数の画素から構成されるブロック単位で２枚の画像を比較してもよい。この場合には、例えば、ブロック単位で平均輝度を求め、相対位置が等しいブロックのうち平均輝度の小さい方のブロックを新画像の要素とすればよい。このような処理により、処理速度を向上することができる。
【００８９】
さらに、カメラ用ＬＥＤ照明装置は、２個のみならず３以上の複数個を設けてもよい。係る場合に信号処理部４０が行う合成も、レンズ等の反射光の写り込みが充分に軽減されるものであれば、奇数フレームと偶数フレームとの合成に限られない。
【図面の簡単な説明】
【００９０】
【図１】本発明の第１実施形態に係る車載用カメラシステムの構成図である。
【図２】本発明の第１実施形態に係る車載用カメラの正面図である。
【図３】光学フィルタの透過率特性、及びカメラ用照明装置を構成するＬＥＤの光強度である。
【図４】（ａ）第１ＬＥＤ照明装置が点灯した状態を説明するための図である。（ｂ）奇数フレームＦｏの画像の１例である。（ｃ）奇数フレームＦｏの画像の各画素の輝度を求めた図である。
【図５】（ａ）第２ＬＥＤ照明装置が点灯した状態を説明するための図である。（ｂ）偶数フレームＦｅの画像の１例である。（ｃ）偶数フレームＦｅの画像の各画素の輝度を求めた図である。
【図６】（ａ）信号処理部により作成されたフレームの画像の１例である。（ｂ）信号処理部により作成されたフレームの各画素の輝度を求めた図である。
【図７】本発明の第２実施形態に係る第１露光制御処理のフローチャートである。
【図８】（ａ）第１露光制御プログラムを実行したときについて説明するための図である。（ｂ）各フレームの輝度の平均値である。
【図９】（ａ）奇数フレームＦ１の画像の１例である。（ｂ）偶数フレームＦ２の画像の１例である。（ｃ）Ｆ１及びＦ２から反射光の写り込みを軽減する処理を行ったフレームである。（ｄ）奇数フレームＦ９の画像の１例である。（ｅ）偶数フレームＦ１０の画像の１例である。（ｆ）Ｆ９及びＦ１０から反射光の写り込みを軽減する処理を行ったフレームの１例である。
【図１０】本発明の第３実施形態に係る第２露光制御処理のフローチャートである。
【図１１】（ａ）露光時間をフレーム周期の１／３以上としたときのフレームの１例である。（ｂ）露光時間をフレーム周期の１／３より短くしたときのフレームの１例である。
【図１２】本発明の第４実施形態に係る車載用カメラシステムの構成図である。
【符号の説明】
【００９１】
１０  ＣＰＵ（露光制御手段）
２０  ＴＧ／ＳＳＧ
３０  ＡＤＣ
４０  信号処理部（合成手段）
５０  ＤＡＣ
１００  ＤＳＰ
１１０  ＬＥＤ制御回路（点灯手段）
１２０  第１ＬＥＤ駆動回路
１３０  第２ＬＥＤ駆動回路
１４０  撮影部（撮影手段）
１５０  Ｖドライバ
１７０  ドライバ
２００  カメラ本体
２１０  光学フィルタ
２２０  第１ＬＥＤ照明装置（照明手段）
２３０  第２ＬＥＤ照明装置（照明手段）
２５０  車載用カメラ
３００  ＥＣＵ
【図１】
2008123137.tif 000003
【図２】
2008123137.tif 000004
【図３】
2008123137.tif 000005
【図７】
2008123137.tif 000006
【図１０】
2008123137.tif 000007
【図１２】
2008123137.tif 000008
【図４】
2008123137.tif 000009
【図５】
2008123137.tif 000010
【図６】
2008123137.tif 000011
【図８】
2008123137.tif 000012
【図９】
2008123137.tif 000013
【図１１】
2008123137.tif 000014