(57)【要約】【課題】乗員の視認性を向上させるとともに、撮像画像を用いて乗員をより正確に検知する。【解決手段】車両に搭載される車両用撮像装置は、遮光装置３ａ〜３ｃと、カメラ１と、ＥＣＵ２とを備える。遮光装置３ａ〜３ｃは、車両のウィンドウに設けられ、当該ウィンドウを透過する外部光の少なくとも一部を遮蔽する遮蔽状態と当該遮蔽状態よりも当該外部光を透過する透過状態とを取り得る。カメラ１は、車室内の撮像対象を撮像する。ＥＣＵ２は、カメラ１による撮像画像から撮像対象に関する輝度情報を得て、遮光装置３ａ〜３ｃを遮蔽状態とするか透過状態とするかを当該輝度情報に基づいて制御する。【選択図】図１
2009255740.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載される車両用撮像装置であって、
前記車両のウィンドウに設けられ、当該ウィンドウを透過する外部光の少なくとも一部を遮蔽する遮蔽状態と当該遮蔽状態よりも当該外部光を透過する透過状態とをとり得る遮光部と、
車室内の撮像対象を撮像する撮像部と、
前記撮像部による撮像画像から前記撮像対象に関する輝度情報を得て、前記遮光部を前記遮蔽状態とするか前記透過状態とするかを当該輝度情報に基づいて制御する制御部とを備える、車両用撮像装置。
【請求項２】
前記遮光部は、前記車両の複数のウィンドウにそれぞれ設けられ、
前記制御部は、前記撮像対象の画像領域における輝度分布に基づいて、各前記遮光部のうちで前記遮蔽状態とする遮光部を選択する、請求項１に記載の車両用撮像装置。
【請求項３】
前記制御部は、
前記撮像画像内における前記撮像対象の画像領域のうちから、相対的に輝度が高い高輝度領域と相対的に輝度が低い低輝度領域とを選出する領域選出部と、
前記高輝度領域と前記低輝度領域との配置パターンに基づいて、各前記遮光部のうちで前記遮蔽状態とする遮光部を選択する遮蔽選択部とを含む、請求項２に記載の車両用撮像装置。
【請求項４】
前記制御部は、前記撮像画像内における前記撮像対象の画像領域を複数に分けた各部分領域のそれぞれについて、所定の基準よりも輝度が高いか否かを判定し、前記各部分領域のすべてにおいて所定の基準よりも輝度が高いと判定される場合、前記各遮光部のすべてを前記遮蔽状態とする、請求項２に記載の車両用撮像装置。
【請求項５】
前記撮像部は、前記車両の運転席の前方から後ろ向きに当該運転席を撮像するように配置され、
前記各遮光部のうちの２つは、前記右側および左側のドアのウィンドウにそれぞれ設けられ、
前記制御部は、前記撮像対象の画像領域のうちの左側の領域が右側の領域に比べて所定の基準以上輝度が高い場合、前記右側のドアのウィンドウに設けられる遮光部を遮蔽状態とし、前記撮像対象の画像領域のうちの右側の領域が左側の領域に比べて所定の基準以上輝度が高い場合、前記左側のドアのウィンドウに設けられる遮光部を遮蔽状態とする、請求項２に記載の車両用撮像装置。
【請求項６】
前記撮像部は、前記車両の運転席の前方から後ろ向きに当該運転席を撮像するように配置され、
前記各遮光部のうちの１つは、前記車両のフロントウィンドウに設けられ、
前記制御部は、前記撮像対象の画像領域のうちの下側の領域が上側の領域に比べて所定の基準以上輝度が高い場合、前記フロントウィンドウに設けられる遮光部を遮蔽状態とする、請求項２に記載の車両用撮像装置。
【請求項７】
前記遮光部は液晶パネルによって構成される、請求項１に記載の車両用撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用撮像装置に関し、より特定的には、車両の乗員（例えば運転者）を撮像するための車両用撮像装置に関する。
【背景技術】
【０００２】
従来、車両に撮像装置（カメラ）を搭載し、撮像装置によって撮像された画像を用いて車両の乗員の状態（例えば、運転者が脇見や居眠りをしていないか等）を検知する技術が考えられている。ここで、車室内においては、外部光が当たる環境であるか否かによって、撮像装置によって撮像される画像が大きく変化する。外部光が当たることによって撮像対象（乗員）の照度が変化したり、外部光が当たる向きによって撮像対象上に形成される影（明暗）が変化したりすることが原因で、撮像対象を正しく撮像することができず、撮像画像を用いて乗員の状態を正しく検知することができないことがある。
【０００３】
特許文献１には、撮像装置による撮像結果に対する外部光の影響を防止する技術が開示されている。具体的には、特許文献１に記載の撮影装置においては、車両のウィンドウに赤外カットフィルタを取り付け、赤外ＬＥＤによって運転者を照射して赤外ＣＣＤカメラによって運転者を撮影している。これによって、上記撮影装置は、外部光の影響なく、赤外ＣＣＤカメラによって運転者を正しく撮影することができる。
【特許文献１】特許第３１１９０３１号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の装置では、車両のウィンドウに取り付けられた赤外カットフィルタによって、外部光のうち、所定の波長帯域の光が常時遮蔽されることになる。したがって、赤外カットフィルタの性能（具体的には、可視光を透過する度合）によっては、乗員が車外を見る場合の視認性が悪くなるおそれがある。また、カメラによる撮像画像を用いて乗員の状態を検知する場合、状況によっては外部光が車室内に透過される方が（外部光が透過されない場合に比べて）乗員を正しく検知することができる場合もあり得る。この場合、上記特許文献１に記載の装置では、より正確な検知結果を得ることができないことになる。
【０００５】
それ故、本発明の目的は、乗員の視認性を向上させるとともに、撮像画像を用いて乗員をより正確に検知することができる車両用撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決すべく、本発明は以下の構成を採用した。すなわち、第１の発明は、車両に搭載される車両用撮像装置である。車両用撮像装置は、遮光部と、撮像部と、制御部とを備える。遮光部は、車両のウィンドウに設けられ、当該ウィンドウを透過する外部光の少なくとも一部を遮蔽する遮蔽状態と当該遮蔽状態よりも当該外部光を透過する透過状態とを取り得る。撮像部は、車室内の撮像対象を撮像する。制御部は、撮像部による撮像画像から撮像対象に関する輝度情報を得て、遮光部を遮蔽状態とするか透過状態とするかを当該輝度情報に基づいて制御する。
【０００７】
第２の発明においては、遮光部は、車両の複数のウィンドウにそれぞれ設けられてもよい。このとき、制御部は、撮像対象の画像領域における輝度分布に基づいて、各遮光部のうちで遮蔽状態とする遮光部を選択する。
【０００８】
第３の発明においては、制御部は、領域選出部と、遮蔽選択部とを含んでいてもよい。領域選出部は、撮像画像内における撮像対象の画像領域のうちから、相対的に輝度が高い高輝度領域と相対的に輝度が低い低輝度領域とを選出する。遮蔽選択部は、高輝度領域と低輝度領域との配置パターンに基づいて、各遮光部のうちで遮蔽状態とする遮光部を選択する。
【０００９】
第４の発明においては、制御部は、撮像画像内における撮像対象の画像領域を複数に分けた各部分領域のそれぞれについて、所定の基準よりも輝度が高いか否かを判定し、各部分領域のすべてにおいて所定の基準よりも輝度が高いと判定される場合、各遮光部のすべてを遮蔽状態とするようにしてもよい。
【００１０】
第５の発明においては、撮像部は、車両の運転席の前方から後ろ向きに当該運転席を撮像するように配置されてもよい。このとき、各遮光部のうちの２つは、右側および左側のドアのウィンドウにそれぞれ設けられる。また、制御部は、撮像対象の画像領域のうちの左側の領域が右側の領域に比べて所定の基準以上輝度が高い場合、右側のドアのウィンドウに設けられる遮光部を遮蔽状態とし、撮像対象の画像領域のうちの右側の領域が左側の領域に比べて所定の基準以上輝度が高い場合、左側のドアのウィンドウに設けられる遮光部を遮蔽状態とする。
【００１１】
第６の発明においては、撮像部は、車両の運転席の前方から後ろ向きに当該運転席を撮像するように配置されてもよい。このとき、各遮光部のうちの１つは、車両のフロントウィンドウに設けられる。また、制御部は、撮像対象の画像領域のうちの下側の領域が上側の領域に比べて所定の基準以上輝度が高い場合、フロントウィンドウに設けられる遮光部を遮蔽状態とする。
【００１２】
第７の発明においては、遮光部は液晶パネルによって構成されてもよい。
【発明の効果】
【００１３】
第１の発明によれば、車両用撮像装置は、遮蔽状態と透過状態とをとり得る遮光部を備え、遮光部を遮蔽状態とするか透過状態とするかを、撮像画像内の撮像対象に関する輝度情報に基づいて制御する。これによれば、遮光が必要であるか否かを上記輝度情報に基づいて判断することができるので、遮光が必要な場合には遮光部を遮蔽状態とし、不要な場合には遮光部を透過状態とすることができる。すなわち、必要な場合には遮光部によって外部光を遮蔽することによって、撮像画像を用いて乗員をより正確に検知することができるとともに、不要な場合には遮光部による遮蔽を行わないことによって、運転者の視認性を向上することができる。
【００１４】
第２の発明によれば、複数の遮光部が設けられ、遮蔽状態とするか否かの制御は遮光部毎に行われる。これによって、遮光が必要なウィンドウのみを遮蔽することができ、遮光が不要なウィンドウについては遮蔽を行わないように各遮光部を制御することができる。必要なウィンドウについては遮光が行われるので、撮像画像を用いて乗員をより正確に検知することができ、また、不要なウィンドウについては遮光が行われないので、運転者の視認性を不要に低下させることがなく、視認性をより向上することができる。
【００１５】
第３の発明によれば、車両用撮像装置は、遮蔽すべき遮光部を選出するために、撮像対象の画像領域のうちから選出される高輝度領域および低輝度領域の配置パターンを用いる。このような配置パターンを用いることによって、撮像対象に対してどちらの方向から外部光が照射しているかを容易に推測することができ、遮蔽すべき遮光部を容易に選出することができる。
【００１６】
第４の発明によれば、撮像対象の画像領域内の各部分領域のそれぞれについて輝度が高いと判定される場合、制御部は、各遮光部のすべてを遮蔽状態とする。ここで、上記の場合、各ウィンドウを透過する外部光が全体的に強すぎるために撮像対象の画像の輝度が高すぎる結果、撮像対象の輪郭や特徴点等を正確に検出することができないおそれがある。これに対して、第４の発明によれば、上記のような場合には、すべての遮光部を遮蔽状態とすることができるので、車室内の照度を全体的に下げることができ、画像認識処理を正確に行うことができる。
【００１７】
第５の発明によれば、撮像対象の画像領域の左右いずれの側が高輝度であるかによって、左右のドアのウィンドウに設けられた遮光部のいずれかが遮蔽状態とされる。これによれば、左右のドアウィンドウのいずれかを透過して外部光が照射する場合であっても、必要なウィンドウのみを正確に遮光することができる。
【００１８】
第６の発明によれば、撮像対象の画像領域の下側が高輝度である場合、フロントウィンドウに設けられた遮光部が遮蔽状態とされる。これによれば、フロントウィンドウを透過して外部光が照射する場合に、必要なウィンドウのみを正確に遮光することができる。
【００１９】
第７の発明によれば、遮光部を液晶パネルによって構成することによって、ウィンドウガラスと液晶パネルとを一体的に構成することができるので、車両の省スペース化を図ることができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の一実施形態に係る車両用撮像装置について説明する。図１は、本実施形態に係る車両用撮像装置の構成を示すブロック図である。図１において、車両用撮像装置は、カメラ１、ＥＣＵ（Electrical Control Unit）２、右方遮光装置３ａ、前方遮光装置３ｂ、左方遮光装置３ｃ、および、車両安全システム４を備えている。図１に示す車両用撮像装置は、車両に搭載され、車両の乗員（本実施形態では運転者）をカメラ１によって撮像し、撮像された画像を用いて乗員の状態（例えば、運転者が脇見や居眠りをしていないか等）を検知するものである。以下、図１に示す各構成について詳細に説明する。
【００２１】
（車両用撮像装置の構成）
カメラ１は、請求項に記載の撮像部の一例であり、車室内の撮像対象（乗員、より具体的には運転者）を撮像する。カメラ１は、撮像対象を撮像可能な位置に配置される。本実施形態では、カメラ１は、運転者の顔を撮像すべく、車両のステアリングコラム上において、撮像方向が後向き（かつ、やや上向き）となるように配置される。なお、以下では、カメラ１によって撮像された画像を撮像画像と呼ぶ。カメラ１は、撮像画像をＥＣＵ２へ出力する。
【００２２】
なお、他の実施形態では、車両用撮像装置は、撮像対象を照らす照明装置をさらに備えていてもよい。これによって、夜間やトンネル内等を走行している場合のように車内が暗い場合でも撮像対象を感度良く撮像することができる。例えば、近赤外領域で高い感度特性を有する撮像手段（典型的には、近赤外ＣＣＤカメラ）をカメラ１として用い、上記照明装置として赤外ＬＥＤを用いるようにしてもよい。
【００２３】
ＥＣＵ２は、請求項に記載の制御部の一例であり、マイクロコンピュータ等の情報処理装置およびメモリ等の記憶装置を備える。ＥＣＵ２は、予め記憶装置に記憶されているプログラムを実行することによって各種の制御処理を実行する。具体的には、ＥＣＵ２は、上記カメラ１から撮像画像を取得し、撮像画像に基づいて各遮光装置３ａ〜３ｃを制御する。また、ＥＣＵ２は、撮像画像に対して画像認識処理を行うことによって運転者の状態を検知し、検知結果を車両安全システム４へ出力する。本実施形態では、ＥＣＵ２は、運転者の顔の向きと、運転者の眼（瞼）の開き度合（瞼開度と呼ぶ）とを検知する。
【００２４】
本実施形態においては、ＥＣＵ２は、メインマイコン５およびサブマイコン６を有する。メインマイコン５は、各遮光装置３ａ〜３ｃの制御を行うとともに、運転者の顔向きを検知する。一方、サブマイコン６は上記瞼開度を検知する。なお、本実施形態においては、ＥＣＵ２が２つのマイコンを有する構成を例として説明したが、他の実施形態においては、請求項に記載の制御部は１つのマイコンで実現されてもよい。また、本実施形態では、運転者の状態を検知する処理を行うマイコンと各遮光装置３ａ〜３ｃを制御するマイコンとが同一であるものとしたが、請求項に記載の制御部は、各遮光装置３ａ〜３ｃを制御する情報処理装置であればよく、運転者の状態を検知する装置（回路）と別体で構成されてもよい。
【００２５】
各遮光装置３ａ〜３ｃは、請求項に記載の遮光部の一例であり、車両のウィンドウを透過して車室内に照射する外部光を遮蔽する機能を有する。各遮光装置３ａ〜３ｃは、ウィンドウを透過する外部光を遮蔽する遮蔽状態と、当該外部光を透過する透過状態とを取り得るものであり、ＥＣＵ２の制御指示に従って遮蔽状態と透過状態とを切替可能である。本実施形態においては、各遮光装置３ａ〜３ｃは、液晶パネルおよび液晶パネルの駆動回路によって構成される。すなわち、液晶パネルは、２枚の透明板の間に液晶が封入された構成である。駆動回路は、ＥＣＵ２の制御指示に従って、液晶パネルの透明板に形成された電極に印加する電圧を制御することにより、液晶パネルの透過率を変化させる。なお、遮光装置は、遮蔽状態と透過状態とを切替可能であればよく、上記液晶パネルのように、遮蔽状態と透過状態との中間の状態を取り得る（すなわち、透過率を連続的に変化させることができる）構成であってもよい。また、透過状態とは、厳密な意味で外部光を完全に透過する状態である必要はなく、少なくとも遮蔽状態よりも外部光を透過する状態であればよい。
【００２６】
また、右方遮光装置３ａは、車両の右前側のウィンドウに設けられ、前方遮光装置３ｂは、車両のフロントウィンドウに設けられ、左方遮光装置３ｃは、車両の左前側のウィンドウに設けられる。本実施形態において、ＥＣＵ２は、各遮光装置３ａ〜３ｃを個別に制御することが可能であり、例えば右方遮光装置３ａのみを遮蔽状態とし、前方遮光装置３ｂおよび左方遮光装置３ｃを透過状態とすることも可能である。なお、各遮光装置３ａ〜３ｃは、ウィンドウの全面を遮光するものである必要はなく、撮像対象（運転者の顔）に照射する外部光を少なくとも遮蔽することができればよい。なお、本実施形態では、車両の３箇所のウィンドウに遮光装置が設けられる場合を例として説明したが、遮光装置の数は１以上であればいくつであってもよい。
【００２７】
なお、本実施形態では遮光装置は液晶パネルを含む構成であるとしたが、遮光装置は、遮蔽状態と透過状態とを切替可能なものであればよい。他の実施形態においては、遮光装置は、例えば、エレクトロクロミック材料を用いたガラス（エレクトロクロミックガラス）であってもよい。上記液晶パネルまたはエレクトロクロミックガラスを遮光装置として用いる場合、液晶パネルまたはエレクトロクロミックガラスがウィンドウガラスを兼ねることができるので、装置の省スペース化を図ることができる。
【００２８】
また、遮光装置は、ＥＣＵ２の制御指示に応じて昇降するブラインドであってもよい。ブラインドは、例えばロール状に巻かれたシートをモータによって巻き取ったり出したりすることが可能な構成である。このようなブラインドをウィンドウの例えば上辺に取り付け、シートを出してウィンドウをシートで覆うことによってウィンドウからの外部光を遮蔽することができる。当該ブラインドを遮光装置として用いる場合、ブラインドは、光の全波長を遮蔽するものに限らず、一部の波長のみを遮蔽するものであってもよい。例えば、カメラ１が赤外カメラである場合には、ブラインドは少なくとも赤外光を遮蔽するものであってもよいし、運転者が外部光を眩しく感じないようにするために可視光を遮蔽するものであってもよい。上記ブラインドを遮光装置として用いる場合、ウィンドウを開けた状態でも外部光を遮光することができる。
【００２９】
車両安全システム４は、ＥＣＵ２が検知した運転者の状態に基づいて、衝突前における運転者に対する警告、衝突の回避（例えばブレーキの制御）、および衝突時の被害軽減（例えば衝突時にシートベルトを引く）等、車両の安全を維持するための動作を行う装置である。本実施形態では、車両安全システム４は、運転者に対して警告を行うタイミングを運転者の状態に応じて変化させる制御を行う制御装置であるとする。
【００３０】
（車両用撮像装置の動作）
次に、図２〜図５を参照して、上記のように構成される車両用撮像装置の動作を説明する。図２は、車両用撮像装置のＥＣＵ２が実行する処理を示すフローチャートである。図２に示す処理は、車両の電源がオンになった（イグニッション電源またはアクセサリ電源がオンになった）ことに応じて開始され、車両の電源がオンである間実行される。また、他の実施形態においては、図２に示す処理は、車両が走行中である間実行されてもよい。
【００３１】
ステップＳ１において、ＥＣＵ２は、カメラ１から撮像画像を取得する。取得された撮像画像には、運転者の顔の画像（顔画像）が含まれている。なお、ステップＳ１の処理は、所定時間に１回の割合で繰り返し実行される。ステップＳ１の次にステップＳ２の処理が実行される。
【００３２】
続くステップＳ２において、ＥＣＵ２は、ステップＳ１で取得した撮像画像から顔領域の輝度分布（各画素の輝度値）を算出する。顔領域とは、撮像画像の領域のうちの顔画像の領域のことである。すなわち、ＥＣＵ２は、顔領域に含まれる各画素についてそれぞれ輝度値を算出する。撮像対象の領域（顔領域）を示す領域情報はＥＣＵ２内の記憶装置に記憶されており、ＥＣＵ２は、当該領域情報を参照して顔領域を特定する。具体的には、ＥＣＵ２は、撮像画像を構成する各画素のうちで領域情報により示される領域内の画素について、撮像画像から輝度値を算出する。
【００３３】
上記領域情報の内容は、予め定められていてもよいが、適宜更新されることが好ましい。顔領域は運転者となる人によって変化し、また、運転者の姿勢によっても変化するので、このような変化に応じて正確な顔領域を設定するためである。例えば、ＥＣＵ２は、図２に示す処理が開始された時点で取得された撮像画像に基づいて運転者の顔の輪郭を算出し、当該輪郭内の領域を示す情報を領域情報として記憶してもよい。また、ＥＣＵ２は、図２に示す処理の実行中において、顔領域の更新処理を所定時間間隔で実行するようにしてもよい。なお、正確な顔領域を得るためには、顔領域の更新処理は、撮像対象（運転者の顔）の画像認識処理において撮像対象が正しく認識された場合（例えば、後述するステップＳ７の判定結果が肯定となる場合や、後述するステップＳ４の判定結果が否定となる場合）に実行されることが好ましい。つまり、ＥＣＵ２は、上記の場合に画像認識処理で用いられた撮像画像に基づいて顔領域の更新処理を実行することが好ましい。
【００３４】
上記ステップＳ２の次にステップＳ３の処理が実行される。ステップＳ３において、ＥＣＵ２は、ステップＳ２で算出された輝度分布に基づいて、顔領域のうちで、相対的に輝度が高い領域（高輝度領域）と相対的に輝度が低い領域（低輝度領域）とを選出する。本実施形態においては、ステップＳ２を実行するＥＣＵ２が、請求項に記載の領域選出部に相当する。以下、図３および図４を参照して、高輝度領域および低輝度領域の選出方法について説明する。
【００３５】
図３および図４は、撮像画像の一例を示す図である。本実施形態では、高輝度領域および低輝度領域を選出するために、顔領域が複数の部分領域に区分される。具体的には図３および図４に示されるように、顔領域１１は、左上領域１２、右上領域１３、左下領域１４、および右下領域１５という４つの部分領域に区分される。ここでは、ＥＣＵ２は、顔領域１１の中心位置で上下方向に２分割するとともに当該中心位置で左右方向に２分割することで、顔領域１１を上記４つの部分領域１２〜１５に区分する。このように、上記領域情報（例えば、顔の輪郭線を示す情報）を用いて部分領域を設定する方法によれば、部分領域を設定するために顔の特徴点を必要としないので、特徴点が検出できない場合であっても部分領域を設定することができる。なお、他の実施形態においては、ＥＣＵ２は、上記領域情報に加えて、または上記領域情報に代えて、画像認識処理の結果得られる特徴点に基づいて部分領域を設定してもよい。具体的には、ＥＣＵ２は、画像認識処理によって鼻の位置を特定し、鼻の位置で上下方向および左右方向にそれぞれ分割することで、顔領域１１を上記４つの部分領域１２〜１５に区分してもよい。なお、本実施形態においては、顔領域を４つの部分領域１２〜１５に区分する場合を例として説明したが、他の実施形態においては、部分領域の数はいくつであってもよい。
【００３６】
本実施形態では、上記ステップＳ２において、ＥＣＵ２は、高輝度領域であるか低輝度領域であるかを部分領域１２〜１５毎に特定する特定処理を行う。具体的には、まず、ＥＣＵ２は、各部分領域１２〜１５の輝度を算出する。例えば、部分領域の輝度として、部分領域内の画素の輝度の平均値が算出される。つまり、ＥＣＵ２は、（１つの）部分領域内の画素の輝度の平均値を部分領域１２〜１５毎に算出する。次に、ＥＣＵ２は、各部分領域１２〜１５のすべてにおいて所定の基準よりも輝度が高いか否か、すなわち、すべての部分領域１２〜１５の輝度が所定の第１閾値以上であるか否かを判定する。この判定の結果が肯定である場合、すべての部分領域１２〜１５を高輝度領域として特定する。一方、上記判定の結果が否定である場合、ＥＣＵ２は、ある部分領域の輝度と他の部分領域の輝度との差が所定の第２閾値以上である場合、２つの部分領域のうちで輝度が高い方を高輝度領域とし、輝度が低い方を低輝度領域とする。なお、上記第１閾値および第２閾値は、ＥＣＵ２内の記憶装置に記憶されており、予め定められた固定値であってもよいし、例えば、時刻（夜間であるか昼間であるか）や車両周囲の環境（照度や天候）等に応じて変化する値であってもよい。
【００３７】
上記特定処理によって、各部分領域１２〜１５のうちから高輝度領域および低輝度領域が特定される。なお、上記特定処理においては、必ずしも全ての部分領域１２〜１５が高輝度領域または低輝度領域として特定されるわけではなかったが、他の実施形態においては、全ての部分領域１２〜１５が高輝度領域および低輝度領域のいずれかとして必ず特定されるようにしてもよい。
【００３８】
図３は、外部光が車両の右前側のウィンドウを透過し、（運転者の正面から見て）運転者の左側から外部光が照射している場合における撮像画像を示している。この場合、図３に示されるように、（運転者の正面から見て）運転者の顔の左下部分に光が当たることとなる。したがって、この場合、典型的には、左下領域１４のみが高輝度領域となり、左上領域１２、右上領域１３、および右下領域１５が低輝度領域となる。
【００３９】
一方、図４は、外部光が車両のフロントウィンドウを透過し、運転者の前方から外部光が照射している場合における撮像画像を示している。この場合、図４に示されるように、運転者の顔の下側部分に光が当たることとなる。したがって、この場合、典型的には、左下領域１４および右下領域１５が高輝度領域となり、左上領域１２および右上領域１３が低輝度領域となる。
【００４０】
このように、本実施形態においては、車両用撮像装置は、顔領域１１を複数の部分領域に区分し、部分領域毎に光が当たっているか否かを判別している。これによれば、運転者の顔に対してどちらの方向から外部光が照射しているかを容易に推測することができる。例えば、図３に示す撮像画像が得られた場合、車両の右前側のウィンドウから外部光が照射していると推測することができ、図４に示す撮像画像が得られた場合、車両のフロントウィンドウから外部光が照射していると推測することができる。詳細は後述するが、本実施形態では、車両用撮像装置は、高輝度領域と低輝度領域との配置パターンを用いて、運転者の顔に対して外部光が照射する方向を推測し、いずれの遮光装置を遮蔽すべきかを判別する。
【００４１】
図２の説明に戻り、ステップＳ３の次のステップＳ４において、ＥＣＵ２は、ウィンドウを遮光する必要があるか否かを判定する。この判定は、具体的には、ステップＳ３で少なくとも１つの部分領域が高輝度領域として特定されたか否かによって行われる。少なくとも１つの部分領域が高輝度領域として特定された場合、ウィンドウを遮光する必要があると判定され、ステップＳ５およびＳ６の処理が実行される。一方、いずれの部分領域も高輝度領域として特定されない場合、ウィンドウを遮光する必要がないと判定され、ステップＳ５およびＳ６の処理がスキップされ、後述するステップＳ７が実行される。
【００４２】
ステップＳ５において、ＥＣＵ２は、各遮光装置３ａ〜３ｃのうちで遮蔽状態とすべき遮光装置を選択する。ステップＳ５における選択は、顔領域１１における輝度分布に基づいて、すなわち、高輝度領域と低輝度領域との配置パターンに基づいて行われる。本実施形態においては、ステップＳ５を実行するＥＣＵ２が、請求項に記載の遮蔽選択部に相当する。また、ＥＣＵ２は、高輝度領域および低輝度領域の配置パターンと、当該配置パターンの場合に遮蔽すべき遮光装置とを関連付けた情報（典型的にはテーブル）を記憶している。ステップＳ５の選択は、このテーブルを用いて行われる。
【００４３】
図５は、配置パターンと遮光装置とを関連付けたテーブルの一例を示す図である。図５に示すテーブルにおいては、６種類の配置パターンに対して、遮蔽状態とすべき遮光装置が関連付けられている。具体的には、左下領域１４のみが高輝度領域である配置パターン、および、左上領域１２および左下領域１４が高輝度領域である配置パターンに対して、右側遮光装置３ａが関連付けられている。また、右下領域１５のみが高輝度領域である配置パターン、および、右上領域１３および右下領域１５が高輝度領域である配置パターンに対して、左側遮光装置３ｃが関連付けられている。また、左下領域１４および右下領域１５が高輝度領域である配置パターンに対して、前方遮光装置３ｂが関連付けられている。また、全ての部分領域１２〜１５が高輝度領域である配置パターンに対して、全ての遮光装置３ａ〜３ｃが関連付けられている。
【００４４】
ステップＳ５の選択処理において、ＥＣＵ２は、ステップＳ３で特定された配置パターンに対して上記テーブルにおいて関連付けられている遮光装置を、遮蔽状態とすべき遮光装置として選択する。例えば、ステップＳ３で特定された配置パターンが、左下領域１４のみが高輝度領域である配置パターン、または、左上領域１２および左下領域１４が高輝度領域である配置パターンである場合、右側遮光装置３ａが選択される。なお、本実施形態においては、ステップＳ３で特定された配置パターンが、上記テーブルにおいて含まれていない配置パターンである場合、遮光装置は選択されない。上記ステップＳ５の次にステップＳ６の処理が実行される。
【００４５】
ステップＳ６において、ＥＣＵ２は、ステップＳ５で選択された遮光装置に対して遮蔽状態とする旨の制御指示を行う。この制御指示が遮光装置に対して行われることによって、遮光装置が動作して遮光状態となり、その結果ウィンドウが遮光される。ＥＣＵ２は、少なくとも撮像対象（運転者の顔）に照射する外部光を遮蔽すればよく、選択された遮光装置である液晶パネルの全面を遮光してもよいし、部分的に遮光してもよい。なお、ステップＳ５において遮光装置が選択されなかった場合には、ＥＣＵ２は制御指示を行わない。以上のステップＳ６の次にステップＳ７の処理が実行される。
【００４６】
以上に説明したステップＳ１〜Ｓ６の処理によって、車両用撮像装置は、外部光が運転者の顔に照射される結果、撮像画像内に含まれる顔画像の輝度が高すぎたり、顔画像における明暗の差が大きすぎたりする場合には、外部光を遮蔽するように、適切な位置の遮光装置を遮蔽状態とすることができる。なお、上記ステップＳ１〜Ｓ６の処理は、ＥＣＵ２のメインマイコン５によって実行されるものとするが、他の実施形態においては、サブマイコン６が当該処理を実行してもよいし、メインマイコン５およびサブマイコン６が協働して当該処理を実行してもよい。
【００４７】
ステップＳ７〜Ｓ９においては、ステップＳ１で取得された撮像画像を用いて運転者の状態を検知する処理が実行される。なお、ステップＳ７〜Ｓ９における処理は一例であり、本発明は、撮像画像の画像に対して何らかの画像認識処理を行うシステムに対して適用することが可能である。
【００４８】
ステップＳ７において、ＥＣＵ２は、運転者の顔向きを検知する処理（顔向き検知処理）を実行する。なお、顔向き検知処理は、ＥＣＵ２のメインマイコン５によって実行される。顔向き検知処理は、例えば次のようにして行われる。まず、メインマイコン５は、撮像画像から運転者の顔の輪郭を抽出することによって、運転者の顔の左端および右端の位置を算出する。次に、撮像画像から運転者の鼻の位置を特定することによって、運転者の顔の中心位置を算出する。さらに、左端の位置から中心位置までの長さと、右端の位置から中心位置までの長さとの比によって、運転者の顔の向きを算出する。以上のようにして運転者の顔向きが算出されると、次にステップＳ８の処理が実行される。
【００４９】
ステップＳ８において、ＥＣＵ２は、ステップＳ７において運転者の顔向きが検出することができたか否かを判定する。なお、上記ステップＳ７において、顔向きが検出することができない場合とは、例えば、運転者の顔の輪郭が抽出できず、顔の左端および／または右端の位置を算出することができない場合や、運転者の鼻の位置が特定できず、顔の中心位置を算出することができない場合等である。これらの場合のように顔向きが検出することができない一因としては、外部光が運転者の顔に照射される結果、撮像画像内に含まれる顔画像の輝度が高すぎたり、顔画像における明暗の差が大きすぎたりすることが考えられる。上記ステップＳ８の判定結果が肯定である場合、ステップＳ９の処理が実行される。一方、上記ステップＳ８の判定結果が否定である場合、上述したステップＳ１の処理が再度実行される。
【００５０】
ステップＳ９において、ＥＣＵ２は、運転者の眼の開き度合を算出する処理（瞼開度検知処理）を実行する。なお、瞼開度検知処理は、ＥＣＵ２のサブマイコン６によって実行される。瞼開度検知処理は、例えば次のようにして行われる。まず、サブマイコン６は、上記顔向き算出処理において算出された鼻の位置から、運転者の眼を探索する範囲を算出する。次に、算出された範囲内で眼（眼の幅）探索して検出し、検出された眼からその開き具合（瞼開度）を算出する。以上のようにして瞼開度が算出されると、次にステップＳ１０の処理が実行される。
【００５１】
なお、本実施形態においては、顔向き検知処理（ステップＳ７）が終了した後で瞼開度検知処理（ステップＳ９）を実行するとしているが、顔向き検知処理と瞼開度検知処理とは異なる情報処理装置（メインマイコン５およびサブマイコン６）によって実行されるので、これら２つの処理の一部または全部が並列して実行されても構わない。顔向き検知処理と瞼開度検知処理とを並列して実行することによって、運転者の状態を検出する処理の処理時間を短縮することができる。なお、上記２つの処理を並列して実行しない場合には、ＥＣＵ２はメインマイコン５のみを備える構成であってもよい。
【００５２】
ステップＳ１０において、ＥＣＵ２は、上記ステップＳ７およびＳ９で検知された運転者の状態を示す情報を車両安全システム４へ出力する。当該情報を入力した車両安全システム４は、運転者の状態に応じた制御を行う。例えば、車両安全システム４は、当該情報から運転者が通常に比べて疲労していると判断した場合には、運転者に対して警告を発するタイミングを通常時よりも早くする。上記ステップＳ１０の後、ステップＳ１の処理が再度実行される。以降、図２に示す処理を終了する条件が満たされるまで（例えば、車両の電源がオフになるまで）ステップＳ１〜Ｓ１０の処理ループが繰り返し実行される。
【００５３】
なお、上述したフローチャートの処理においては、ウィンドウを遮光する必要があるか否かの判定結果（ステップＳ４）にかかわらず、画像認識処理によって運転者の状態を検知する処理が行われた。ここで、他の実施形態においては、ウィンドウを遮光する必要があると判定された場合（ステップＳ４でＹｅｓ）、ＥＣＵ２は、ステップＳ６の次にステップＳ７〜Ｓ１０の処理を行わず、ステップＳ１の処理に戻るようにしてもよい。上記の場合、画像認識処理を正確に行うことができないおそれがあるからである。
【００５４】
以上のように、本実施形態によれば、車両用撮像装置は、撮像画像内における撮像対象（運転者の顔）の画像の輝度に基づいて、各遮光装置３ａ〜３ｃを遮蔽状態とするか透過状態とするかを制御する。これによって、車両のウィンドウのうちで遮光が必要な部分については外部光が遮光されるので、外部光によって撮像対象を正確に検知することができなくなることを防止することができる。また、車両のウィンドウのうちで遮光が不要な部分については遮光装置は透過状態に維持されるので、視認性を良くすることができる。
【００５５】
例えば、図３に示されるように、顔領域１１のうちの左下領域１４のみが高輝度領域となる場合、強い外部光が右前側のウィンドウを透過して運転者の顔に照射していると考えられる。したがって、この場合、ＥＣＵ２は、右前側のウィンドウに対応する右方遮光装置３ａを遮蔽状態とし、前方遮光装置３ｂおよび左方遮光装置３ｃを透過状態とする。これによって、遮光が必要な右前側のウィンドウからの外部光を遮蔽することができるとともに、遮光が不要な他のウィンドウについては遮光装置を透過状態とすることによって視認性を保つことができる。なお、ＥＣＵ２は、上記の場合に限らず、顔領域１１のうちの左側の領域が右側の領域に比べて所定の基準以上輝度が高い場合（例えば左上領域１２および左下領域１４が高輝度領域となる場合）、右方遮光装置３ａを遮蔽状態とすることが好ましい。逆に、ＥＣＵ２は、顔領域１１のうちの右側の領域が左側の領域に比べて所定の基準以上輝度が高い場合（例えば右上領域１３および右下領域１５が高輝度領域となる場合）、左方遮光装置３ｃを遮蔽状態とすることが好ましい。
【００５６】
また、図４に示されるように、顔領域１１のうちの左下領域１４および右下領域１５が高輝度領域となる場合、強い外部光がフロントウィンドウを透過して運転者の顔に照射していると考えられる。したがって、この場合、ＥＣＵ２は、フロントウィンドウに対応する前方遮光装置３ｂを遮蔽状態とし、右方遮光装置３ａおよび左方遮光装置３ｃを透過状態とする。これによって、遮光が必要なフロントウィンドウからの外部光を遮蔽することができるとともに、遮光が不要な他のウィンドウについては遮光装置を透過状態とすることによって視認性を保つことができる。このように、ＥＣＵ２は、顔領域１１のうちの下側の領域が上側の領域に比べて所定の基準以上輝度が高い場合（図４の場合）、前方遮光装置３ｂを遮蔽状態とすることが好ましい。
【００５７】
また、顔領域１１のうちの全ての部分領域１２〜１５において所定の基準よりも輝度が高い場合（具体的には、全ての部分領域１２〜１５が高輝度領域となる場合）、各ウィンドウを透過する外部光が全体的に強すぎると考えられる。このような場合、一部の遮光装置のみを遮蔽状態にすると、運転者の顔に輝度差（明暗）が生じてしまい、かえって画像認識処理を正確に行うことができなくなるおそれがある。したがって、この場合、ＥＣＵ２は、全ての遮光装置３ａ〜３ｃを遮蔽状態とする。これによって、車室内の照度を全体的に下げることができ、画像認識処理を正確に行うことができる。
【００５８】
また、上記実施形態によれば、運転者の顔に強い外部光が照射される場合に当該外部光を遮蔽することができるので、運転者が外部光を眩しく感じて運転に支障をきたすことを防止することができる。また、運転者の顔に強い外部光が照射されると運転者は目を細めてしまうことがあるが、運転者が目を細めてしまうと、上述した瞼開度検知処理においてＥＣＵ２は「運転者が目をつむっている」と誤って判断してしまうおそれがある。しかしながら、本実施形態においては、例えば、運転者の顔全体に強い光が照射している場合には全ての遮光装置３ａ〜３ｃを遮蔽状態とするように、運転者の顔に照射される外部光を遮蔽することができるので、外部光が眩しいために運転者が目を細めてしまうことを防止することができる。
【産業上の利用可能性】
【００５９】
以上のように、本発明は、乗員の視認性を向上させるとともに、撮像画像を用いて乗員をより正確に検知すること等を目的として、例えば車両に搭載される撮像装置として利用することが可能である。
【図面の簡単な説明】
【００６０】
【図１】車両用撮像装置の構成を示すブロック図
【図２】車両用撮像装置のＥＣＵ２が実行する処理を示すフローチャート
【図３】撮像画像の一例を示す図
【図４】撮像画像の一例を示す図
【図５】配置パターンと遮光装置とを関連付けたテーブルの一例を示す図
【符号の説明】
【００６１】
１    カメラ
２    ＥＣＵ
３ａ〜３ｃ    遮光装置
４    車両安全システム
【図１】
2009255740.tif 000003
【図２】
2009255740.tif 000004
【図３】
2009255740.tif 000005
【図４】
2009255740.tif 000006
【図５】
2009255740.tif 000007