(57)【要約】【課題】より簡単な構成でかつ安価に車室内外を同時に撮影することができる車両用撮像装置を提供する。【解決手段】車両用撮像装置において、単一の撮像面を備え、該撮像面に結像された光を撮像データとしての電気信号に変換する撮像手段と、車両前方の光景に対応した光を導き上記撮像手段の撮像面の第１領域に結像させる第１の光路と、車室内の光景に対応した光を導き上記撮像手段の撮像面の第１領域と異なる第２領域に結像させる第２の光路と、を構成する光路構成手段と、上記撮像手段からの電気信号に基づく画像を解析しつつ、該解析結果に基づき所定の車載機器を制御する制御手段と、を設ける。【選択図】図３
2007253705.tif 000002
【特許請求の範囲】
【請求項１】
単一の撮像面を備え、該撮像面に結像された光を撮像データとしての電気信号に変換する撮像手段と、
車両前方の光景に対応した光を導き上記撮像手段の撮像面の第１領域に結像させる第１の光路と、車室内の光景に対応した光を導き上記撮像手段の撮像面の第１領域と異なる第２領域に結像させる第２の光路と、を構成する光路構成手段と、
上記撮像手段からの電気信号に基づく画像を解析しつつ、該解析結果に基づき所定の車載機器を制御する制御手段と、を有していることを特徴とする車両用撮像装置。
【請求項２】
上記撮像手段の撮像面が車室内に対向するように設定されており、
上記光路構成手段により構成される第１の光路は、車両前方の光景に対応した光を上記撮像素子の撮像面に結像させるべく、該光の進行方向を反転させる光路であることを特徴とする請求項１記載の車両用撮像装置。
【請求項３】
上記撮像手段の撮像面が車両前方に対向するように設定されており、
上記光路構成手段により構成される第２の光路は、車室内の光景に対応した光を上記撮像素子の撮像面に結像させるべく、該光の進行方向を反転させる光路であることを特徴とする請求項１記載の車両用撮像装置。
【請求項４】
少なくとも上記撮像手段及び光路構成手段は、車室内の前方で支持部材を介して車体側に取り付けられるボックス体に収納されており、
上記ボックス体には、車両前方の光景に対応した光を上記第１の光路に沿って進行させるべくボックス体内に取り込む第１の窓と、車室内の光景に対応した光を上記第２の光路に沿って進行させるべくボックス体内に取り込む第２の窓とが形成されていることを特徴とする請求項１〜３のいずれか一に記載の車両用撮像装置。
【請求項５】
上記ボックス体の車室内に対向する面に後方確認用のミラー部材が設けられており、
上記ボックス体は、所定値以上の荷重入力時に揺動するように上記支持部材に取り付けられる一方、上記撮像手段は、上記支持部材に固定されることを特徴とする請求項４記載の車両用撮像装置。
【請求項６】
上記ボックス体の車室内に対向する面に後方確認用のミラー部材が設けられており、
上記支持部材は、所定値以上の荷重入力に伴い揺動するように車体側に取り付けられるとともに、上記ボックス体は、上記支持部材の揺動時に共に揺動するように上記支持部材に固定される一方、上記撮像手段は、上記支持部材及びボックス体の揺動に際して上記第１及び第２の光路を確保するように撮像手段の姿勢を修正する姿勢修正手段を介して上記支持部材に取り付けられていることを特徴とする請求項４記載の車両用撮像装置。
【請求項７】
上記制御手段は、上記撮像手段からの電気信号に基づく画像から車両前方の車線を検出することを特徴とする請求項１〜６のいずれか一に記載の車両用撮像装置。
【請求項８】
上記制御手段は、上記撮像手段からの電気信号に基づく画像から車両前方の障害物を検出することを特徴とする請求項１〜７のいずれか一に記載の車両用撮像装置。
【請求項９】
上記制御手段は、上記撮像手段からの電気信号に基づく画像からドライバの視線を検出することを特徴とする請求項１〜８のいずれか一に記載の車両用撮像装置。
【請求項１０】
上記制御手段は、上記撮像手段からの電気信号に基づく画像からドライバの居眠りを検出することを特徴とする請求項１〜９のいずれか一に記載の車両用撮像装置。
【請求項１１】
上記制御手段は、上記撮像手段からの電気信号に基づく画像から乗員を検出することを特徴とする請求項１〜１０のいずれか一に記載の車両用撮像装置。
【請求項１２】
上記制御手段は、上記撮像手段からの電気信号に基づく画像を記録するデバイスに出力することを特徴とする請求項１〜１１のいずれか一に記載の車両用撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車室内外を撮像し、撮像した画像を解析しつつ、その解析結果に基づき所定の車載装置を制御する車両用撮像装置に関する。
【背景技術】
【０００２】
従来、車室内を撮像し、撮像した画像を解析し、この解析結果に基づいて例えばエアバッグ装置等の車載装置を制御するようにしたものが知られている。例えば特開２００３−１０４１２６号公報には、ルームミラーに少なくとも２つの撮像手段が所定角度で取り付けられ、車室内で必要な監視範囲を確保し得る車室内監視装置が提案されている。また、例えば特開２００１−１１９６８７号公報には、インナーバックミラーを支持するミラー支持部と、該ミラー支持部に取り付けられ後方に向いたビデオカメラとを有する車内監視装置が提案されている。
【０００３】
【特許文献１】特開２００３−１０４１２６号公報
【特許文献２】特開２００１−１１９６８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、車室内外を同時に撮像することにより、例えば、車室前方の画像から障害物を検知する一方、車室内の画像からドライバの脇見や居眠りを検知するように画像を解析し、この解析結果に基づき車両と障害物との衝突の可能性を判断することができ、場合によっては、警報器を鳴らしたりブレーキを強制的に掛けたりすることでドライバに報知して、衝突を未然に防ぐことができる。また、車室車室内外を同時に撮像した画像をドライブレコーダに記録することで、車室内外の様子を同時に観察することができ、例えば事故当時の状況を正確に検証することができる。
しかしながら、車室内外を同時に撮像するために、車室内外をそれぞれ別々に撮影する撮像手段を設けると、構成が比較的複雑になり、コストがかかる。
【０００５】
この発明は、上記技術的課題に鑑みてもので、より簡単な構成でかつ安価に車室内外を同時に撮影することができる車両用撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本願の請求項１に係る発明は、単一の撮像面を備え、該撮像面に結像された光を撮像データとしての電気信号に変換する撮像手段と、車両前方の光景に対応した光を導き上記撮像手段の撮像面の第１領域に結像させる第１の光路と、車室内の光景に対応した光を導き上記撮像手段の撮像面の第１領域と異なる第２領域に結像させる第２の光路と、を構成する光路構成手段と、上記撮像手段からの電気信号に基づく画像を解析しつつ、該解析結果に基づき所定の車載機器を制御する制御手段と、を有していることを特徴としたものである。
【０００７】
また、本願の請求項２に係る発明は、請求項１に係る発明において、上記撮像手段の撮像面が車室内に対向するように設定されており、上記光路構成手段により構成される第１の光路は、車両前方の光景に対応した光を上記撮像素子の撮像面に結像させるべく、該光の進行方向を反転させる光路であることを特徴としたものである。
【０００８】
更に、本願の請求項３に係る発明は、請求項１に係る発明において、上記撮像手段の撮像面が車両前方に対向するように設定されており、上記光路構成手段により構成される第２の光路は、車室内の光景に対応した光を上記撮像素子の撮像面に結像させるべく、該光の進行方向を反転させる光路であることを特徴としたものである。
【０００９】
また、更に、本願の請求項４に係る発明は、請求項１〜３に係る発明のいずれかにおいて、少なくとも上記撮像手段及び光路構成手段は、車室内の前方で支持部材を介して車体側に取り付けられるボックス体に収納されており、該ボックス体には、車両前方の光景に対応した光を上記第１の光路に沿って進行させるべくボックス体内に取り込む第１の窓と、車室内の光景に対応した光を上記第２の光路に沿って進行させるべくボックス体内に取り込む第２の窓とが形成されていることを特徴としたものである。
【００１０】
また、更に、本願の請求項５に係る発明は、請求項４に係る発明において、上記ボックス体の車室内に対向する面に後方確認用のミラー部材が設けられており、上記ボックス体は、所定値以上の荷重入力時に揺動するように上記支持部材に取り付けられる一方、上記撮像手段は、上記支持部材に固定されることを特徴としたものである。
【００１１】
また、更に、本願の請求項６に係る発明は、請求項４に係る発明において、上記ボックス体の車室内に対向する面に後方確認用のミラー部材が設けられており、上記支持部材は、所定値以上の荷重入力に伴い揺動するように車体側に取り付けられるとともに、上記ボックス体は、上記支持部材の揺動時に共に揺動するように上記支持部材に固定される一方、上記撮像手段は、上記支持部材及びボックス体の揺動に際して上記第１及び第２の光路を確保するように撮像手段の姿勢を修正する姿勢修正手段を介して上記支持部材に取り付けられていることを特徴としたものである。
【００１２】
また、更に、本願の請求項７に係る発明は、請求項１〜６に係る発明のいずれかにおいて、上記制御手段は、上記撮像手段からの電気信号に基づく画像から車両前方の車線を検出することを特徴としたものである。
【００１３】
また、更に、本願の請求項８に係る発明は、請求項１〜７に係る発明のいずれかにおいて、上記制御手段は、上記撮像手段からの電気信号に基づく画像から車両前方の障害物を検出することを特徴としたものである。
【００１４】
また、更に、本願の請求項９に係る発明は、請求項１〜８に係る発明のいずれかにおいて、上記制御手段は、上記撮像手段からの電気信号に基づく画像からドライバの視線を検出することを特徴としたものである。
【００１５】
また、更に、本願の請求項１０に係る発明は、請求項１〜９に係る発明のいずれかにおいて、上記制御手段は、上記撮像手段からの電気信号に基づく画像からドライバの居眠りを検出することを特徴としたものである。
【００１６】
また、更に、本願の請求項１１に係る発明は、請求項１〜１０に係る発明のいずれかにおいて、上記制御手段は、上記撮像手段からの電気信号に基づく画像から乗員を検出することを特徴としたものである。
【００１７】
また、更に、本願の請求項１２に係る発明は、請求項１〜１１に係る発明のいずれかにおいて、上記制御手段は、上記撮像手段からの電気信号に基づく画像を記録するデバイスに出力することを特徴としたものである。
【発明の効果】
【００１８】
本願の請求項１に係る発明によれば、撮像手段の単一の撮像面に対して車室内外からの光を結像させることで、車両内外を同時に撮像した画像をより簡単な構成でかつ安価に取得することができる。また、車室内外を撮像した画像を同時に出力することができ、複数の撮像手段で車室内外を別個に撮像する場合に比べて時間ズレが少なく、撮像及び他の処理のタイムラグを軽減することができる。更に、車室内外の画像を解析し、それら解析結果を組み合わせて若しくは別個に利用して、例えば事故防止や状況記録等の安全システム用の車載機器の駆動を適切に制御することができる。
【００１９】
また、本願の請求項２に係る発明によれば、撮像手段の撮像面を車両前方に直接に向けることなく、車両前方を撮像することができる。
【００２０】
更に、本願の請求項３に係る発明によれば、撮像手段の撮像面を車室内に直接に向けることなく、車室内を撮像することができる。
【００２１】
また、更に、本願の請求項４に係る発明によれば、撮像手段及び光路構成手段をボックス体に収納させることで、車室内の見栄えを向上させることができる。
【００２２】
また、更に、本願の請求項５に係る発明によれば、装置の車室内に対向する面に後方確認用のミラーを設けることで、車室内の見栄えを向上させることができ、ボックス体の揺動に伴い、撮像手段の光軸を固定して保持することができる。
【００２３】
また、更に、本願の請求項６に係る発明によれば、装置の車室内に対向する面に後方確認用のミラーを設けることで、車室内の見栄えを向上させることができ、ボックス体の揺動に際し、撮像手段の姿勢を修正して、第１及び第２の光路を確保することができる。
【００２４】
また、更に、本願の請求項７に係る発明によれば、車両前方を撮像した画像から車両前方の車線を検出することができる。
【００２５】
また、更に、本願の請求項８に係る発明によれば、車両前方を撮像した画像から車両前方の障害物を検出することができる。
【００２６】
また、更に、本願の請求項９に係る発明によれば、車室内を撮像した画像からドライバの視線を検出することができる。
【００２７】
また、更に、本願の請求項１０に係る発明によれば、車室内を撮像した画像からドライバの居眠りを検出することができる。
【００２８】
また、更に、本願の請求項１１に係る発明によれば、車室内を撮像した画像から乗員を検出することができる。
【００２９】
また、更に、本願の請求項１２に係る発明によれば、事故防止や状況記録等の安全システム用に車室内外を撮像した画像を記録することができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施形態について、添付図面を参照しながら説明する。図１は、車両用撮像装置１の設置位置及び撮像方向をあらわす図である。この車両Ｖでは、ボックス形状に構成された車両用撮像装置１が、車室内の前方上側で、車室天井から下垂するように支持され、車両前後方向からの光Ｌ１，Ｌ２を取り込み、車両内外の光景を撮像するように構成されている。この車両用撮像装置１の設置位置は、ルームミラーが通常設置される位置に対応する。
【００３１】
図２の（ａ）及び（ｂ）は、車両用撮像装置１の正面図及び背面図であり、また、図３は、車両用撮像装置１の基本構成を概略的に示す図である。なお、図３中の右側は車両前方に対応し、他方、図３中の左側は車両後方に対応する。
この車両用撮像装置１は、基本的に、車室天井から支持軸９を介して下垂させられつつ、各種構成を収納するボックス体２と、単一の撮像面３ｂを備え、該撮像面３ｂに結像された光を撮像データとしての電気信号に変換する撮像素子３と、撮像素子３から出力される電気信号に基づき画像形成するとともに、形成後の画像を解析しつつ、その解析結果に基づき各種車載機器を制御する制御ユニット４と、車室内外からの光を撮像素子３に導く光路を構成する第１，第２，第３プリズムＰ１，Ｐ２，Ｐ３と、を有している。ボックス体２の車室外方側表面（以下、前方面という）には、第１プリズムＰ１に対向する部位に、車室外からの光をボックス体２内に通過させる第１入光窓Ｗ１が形成され、他方、ボックス体２の車室内方側表面（以下、後方面という）には、第２プリズムＰ２に対向する部位に、車室内からの光をボックス体２内に通過させる第２入光窓Ｗ２が形成されるとともに、後方確認用のルームミラー８が取り付けられている。
【００３２】
この車両用撮像装置１では、車室外から第１入光窓Ｗ１を介してボックス体２内に取り込まれた光は、第１プリズムＰ１及び第３プリズムＰ３により構成される第１の光路Ｘ１に沿って進み、撮像素子３の撮像面３ｂの上側領域に結像させられる。他方、車室内から第２入光窓Ｗ２を介してボックス体２内に取り込まれた光は、第２プリズムＰ２及び第３プリズムＰ３により構成される第２の光路Ｘ２に沿って進み、撮像素子３の撮像面３ｂの下側領域に結像させられる。
【００３３】
ここでは、車両前方に対向するように設定された撮像素子３の撮像面３ｂに対して、第２の光路Ｘ２が、車室内からの光の進行方向を反転させるように構成されており、これにより、車室内外からの光が、撮像素子３における単一の撮像面３ｂに同時に結像させられる。なお、これに限定されることなく、撮像素子３の撮像面３ｂが車室内に対向するように設定された場合にも、第１の光路Ｘ１が、車室外からの光の進行方向を反転させるように構成されることで、車室内外からの光を撮像素子３における単一の撮像面３ｂに同時に結像させることができる。
【００３４】
撮像素子３は、車室内外から同時に結像させられた光を電気信号に変換し、該電気信号を制御ユニット４に出力する。制御ユニット３は、撮像素子３から出力された電気信号に基づき、画像形成処理を行い、車室内外の光景が上下に並んで１枚に収まった画像を形成する。図４には、制御ユニット４により形成された画像の一例を示す。この画像Ｑには、車室外の光景（本実施形態ではドライバの視界にほぼ対応した車両前方の光景）を撮像した画像（以下、車室外画像という）Ｑ１と、車室内の光景を撮像した画像（以下、車室内画像という）Ｑ２と、が含まれている。制御ユニット４は、また、かかる画像Ｑを解析して、障害物検知，車線検知，ドライバの視線検知，乗員検知等を行い、解析結果に基づき、各種車載機器を制御する。かかる画像解析及び車載機器の制御の詳細については後述する。
【００３５】
前述したように、車両用撮像装置１のボックス体２の後方面にルームミラー８が取り付けられているが、本実施形態では、かかるルームミラー８の傾斜角度をドライバが調整できるように、車室天井から下垂する支持軸９に対してボックス体２が所定以上の荷重入力時に揺動可能に取り付けられている。図５には、支持軸９に対する車両用撮像装置１のボックス体２の取付け構造を示す。なお、この図では、制御ユニット４を省略する。
【００３６】
本実施形態では、撮像素子３は支持軸９の下端側で固定され、その撮像素子３の上側に、ボール１１が支持軸９に対して固定されている。他方、ボックス体２には、支持軸９を挿通させるべくその上面に形成された孔部周縁に、ボール１１を保持しつつ、ボール１１の表面に沿って摺動するボールホルダ１２が取り付けられている。ボックス体２及び支持軸９は、ボール１１及びボールホルダ１２を介してボールジョイント式に連結され、これにより、ボックス体２が支持軸９に対して揺動可能となっている。
【００３７】
また、本実施形態では、第１〜第３プリズムＰ１〜Ｐ３及び車両前方の光景に焦点を合わせる第１レンズＬ１並びに車室内に焦点を合わせる第２レンズＬ２からなる光学系を収納しつつ、撮像素子３の受光部３ａに対して固定される光学系ユニット７が設けられている。これにより、焦点距離が大きく異なる車室内外の光景を鮮明にかつ同時に取得することができる。
【００３８】
そして、本実施形態では、ボックス体２の前方面及び後方面に設けられた第１及び第２入光窓Ｗ１，Ｗ２が、ボックス体２の揺動範囲内で車室内外から撮像素子３まで構成される光路Ｘ１，Ｘ２が確保され得るサイズに設定されている。これにより、ボックス体２の揺動に伴い、光路Ｘ１，Ｘ２が遮られることなく、図４に示すような画像Ｑが常時取得されるようになっている。
【００３９】
また、車室内外から撮像素子３まで構成される光路Ｘ１，Ｘ２を確保するために、図６に示すような手段が用いられてもよい。図６に示す形態では、車両用撮像装置１のボックス体２が支持軸９に対して固定され、支持軸９がその上端側で車室天井に対して所定以上の荷重入力時に揺動可能に取り付けられることで、ボックス体２が揺動可能となっている。より具体的には、支持軸９の上端側に、ボール１３が設けられる一方、車室天井にはボールホルダ１４が取り付けられており、支持軸９及び車室天井は、ボール１３及びボールホルダ１４を介してボールジョイント式に連結され、これにより、支持軸９及びその下端側で支持されるボックス体２が車室天井に対して揺動可能となっている
【００４０】
そして、図６に示す形態では、ボックス体２の揺動範囲内で車室内外から撮像素子３まで構成される光路Ｘ１，Ｘ２が確保され得るように、モータ及びギヤボックス１５が支持軸９の下端側に取り付けられている。このモータ及びギヤボックス１５は、サブ支持軸１６を介して撮像素子３と連結され、サブ支持軸１６を揺動させることにより、撮像素子３及び光学系ケース７を揺動可能に駆動させることができる。
【００４１】
かかる構成によれば、ボックス体２の揺動に際して、撮像素子３及び光学系ケース７を駆動させ、それらの傾斜角度を調整することで、光路Ｘ１，Ｘ２が遮られることなく、図４に示すような画像Ｑを常時取得することができる。
【００４２】
次に、車両用撮像装置１の制御ユニット４による画像解析及び車載機器の制御の詳細について説明する。図７は、制御ユニット４の各種機能を概略的に示す図である。
【００４３】
制御ユニット４は、基本的に、撮像素子３から出力され、車室内外からの光に対応する電気信号に基づき、画像を形成する画像形成部４１と、画像形成部４１により形成された画像を各種目的に応じて解析する画像解析部４２と、画像解析部４２による解析結果に応じて、各種車載機器又はその駆動ユニットを制御するための制御信号を出力する制御部４３と、を有している。
【００４４】
画像解析部４２は、車室外画像に基づき、車両の進行方向における障害物を検知するための障害物検知部４２ａと、車線を検知するための車線検知部４２ｂと、を備えている。また、車室内画像に基づき、ドライバの視線を検知するための視線検知部４２ｃと、乗員の配置，体格又は姿勢を検知する乗員検知部４２ｄと、を備えている。なお、図７では、これらがハードウェア構成として示されるが、これに限定されることなく、例えば、各構成の機能を実現するプログラム（つまり障害物検知プログラム，車線検知プログラム，視線検知プログラム，乗員検知プログラム）が予め組み込まれ、各プログラムが、制御ユニット４内の共通の計算処理部において実行されてもよい。
【００４５】
他方、制御部４３は、車載されるブザー等の警報系を制御するための警報系制御部４３ａと、車載されるブレーキアクチュエータやシートベルトプリテンション機構等の衝突未然防止用のプリクラッシュセーフティ系を制御するためのプリクラッシュセーフティ系制御部４３ｂと、ステアリングアクチュエータ等のレーンキープ系を制御するためのレーンキープ系制御部４３ｃと、エアバック制御ユニット等の乗員保護系を制御するための乗員保護系制御部４３ｄと、を有している。
【００４６】
警報系制御部４３ａは、障害物検知部４２ａ及び視線検知部４２ｃによる解析結果に基づき、車両前方に障害物が検知され、かつ、ドライバの視線が検知されない、つまりドライバが脇見又は居眠りをしている可能性があり、事故発生の可能性があると判定された場合に、警報用のブザーを作動させる。これにより、事故発生の可能性があることがドライバに報知され、事故の発生を防止することができる。
【００４７】
また、プリクラッシュセーフティ系制御部４３ｂは、障害物検知部４２ａによる解析結果に基づき、車両前方に障害物が検知され、障害物に対する衝突の可能性があると判定された場合に、ブレーキアクチュエータ及びシートベルトプリテンション機構を駆動させる。これにより、ブレーキが強制的にかけられるとともに、シートベルトが巻き上げられることで、障害物に対する衝突の可能性があることがドライバに報知され、衝突を未然に防止することができる。
【００４８】
更に、レーンキープ系制御部４３ｃは、車線検知部４２ｂによる解析結果に基づき、車両が車線から大きく逸脱していると判定された場合に、ステアリングを振動させるステアリングアクチュエータを駆動させる。これにより、ステアリングは振動させられ、車両の車線からの逸脱をドライバに報知することができる。
【００４９】
また、更に、乗員保護系制御部４３ｄは、障害物検知部４２ａ及び乗員検知部４２ｄによる解析結果に基づき、車両前方に障害物が検知され、障害物に対する衝突の可能性があると判定された場合に、車載される各エアバッグの展開の要否や展開モードに従い、エアバック制御ユニットを駆動させる。
【００５０】
なお、特に図示しないが、制御ユニット４は、更に、イグニションセンサ，車速センサ，ヨーレートセンサ，方向指示器等の各種センサやデバイスと接続されており、それらセンサやデバイスからの信号に基づく様々な車両情報を取得しつつ、車両の状況を判定する。
【００５１】
続いて、具体的に、車両用撮像装置１により撮像された車室内外の画像に基づく画像解析処理について説明する。
まず、図８は、車室外画像を用いて行われる障害物検知及び車線検知処理についての説明図である。
障害物を検知する上では、まず、撮像タイミングの異なる画像間で画素の移動ベクトル５０が検出され、障害物の形状及び動きが検知される。その後、障害物の熱源（赤外線）が検出され、人や車等が検知される。最後に、熱源が検知されなかった障害物も含めて、予め登録された基本パターンとのマッチング（パターンマッチング）により、歩行者５２や電柱５４等の障害物が識別される。
また、白線，黄線等の道路上の色及び形状が検出され、それに基づき、車線５６が検知される。
【００５２】
次に、図９は、車室内画像を用いて行われる視線検知及び乗員検知処理についての説明図である。
ドライバ６０の視線を検知する上では、まず、ドライバ６０の目６１が白目６１ａ及び黒目６１ｂ別に検出され、黒目６１ｂの位置に基づき、視線が判定される。次に、ドライバ６０の頭の位置に対する目６１のパターンが検出される。最後に、ドライバ６０の顔の向き（つまり目や鼻の方向）がパターン認識により判定され、これらを総合して、視線が検知される。なお、図８中の符号５８が付された矢印は、検知された視線をあらわす。
また、乗員６０，６２を検知する上では、まず、乗員６０，６２の配置及び形状が検出され、形状に基づき大人や子供が識別される。
【００５３】
以下、車室内外の画像を解析し、その解析結果に基づき所定の車載機器を制御するフローの各種例を取り上げて説明する。
【００５４】
まず、図１０は、車両用撮像装置１による障害物検知及び視線検知処理の結果に基づき実行される警報系制御処理についてのフローチャートである。
この処理では、車室外画像が取得されると（＃１１）、その画像から障害物が検知される（＃１２）。次に、車室内画像が取得されると（＃１３）、その画像からドライバの視線が検知される（＃１４）。その後、ステップ＃１４での検知結果に基づき、車両の進行路に障害物が存在するか否かが判断され（＃１５）、障害物が存在しないと判断された場合には、即時に処理がリターンされる。他方、障害物が存在すると判断された場合には、続いて、ドライバが障害物を認識しているか否かが判断される（＃１６）。なお、ドライバによる障害物の認識については、例えば、ドライバの視線が所定時間障害物に留まったか否かに基づき判断される。この技術は、例えば特開２００５−１３５０３７号公報に開示されるものである。
【００５５】
ステップ＃１６の結果、ドライバが障害物を認識していると判断された場合には、即時に処理がリターンされ、他方、ドライバが障害物を認識していないと判断された場合には、警報用ブザーが作動させられ、ドライバに報知がなされる（＃１７）。以上で処理がリターンされる。
【００５６】
次に、図１１は、車両用撮像装置１による障害物検知及び乗員検知処理の結果に基づき実行される乗員保護系制御処理についてのフローチャートである。
この処理では、車室外画像が取得されると（＃２１）、その画像から障害物が検知される（＃２２）。次に、車室内画像が取得されると（＃２３）、その画像から乗員が検知される（＃２４）。その後、ステップ＃２２での検知結果に基づき、車両の進行路に障害物が存在するか否かが判断され（＃２５）、障害物が存在しないと判断された場合には、即時に処理がリターンされる。他方、障害物が存在すると判断された場合には、続いて、障害物との衝突が不可避であるか否かが判断される（＃２６）。なお、このステップでは、図１２に示すように、撮像タイミングの異なる車室外画像から前方車両７０の後部における特定箇所（ここでは上側角部）に対応した画素７１，７２の移動ベクトル７３，７４を算出して、前方車両７０の移動速度及び位置を検出し、所定時間（例えば０．５秒）以内に衝突すると判断される場合に、衝突不可避と判定してもよい。
【００５７】
ステップ＃２６の結果、障害物との衝突が回避可能であると判断された場合には、即時に処理がリターンされ、他方、障害物との衝突が不可避であると判断された場合には、更に、助手席に乗員がいるか否かが判断される（＃２７）。
【００５８】
ステップ＃２７の結果、助手席に乗員がいると判断された場合には、運転席及び助手席の展開信号がエアバック制御ユニットに送信され（＃２８）、他方、助手席に乗員がいないと判断された場合には、運転席のみの展開信号がエアバッグ制御ユニットに送信される（＃２９）。ステップ＃２８及び＃２９の後、処理がリターンされる。
【００５９】
なお、助手席の乗員については、更に大人であるか子供であるかが識別され、識別結果に応じて展開モードが変更されてもよい。
【００６０】
また、図１３は、車両用撮像装置１による車線検知処理の結果に基づき実行されるレーンキープ系制御処理についてのフローチャートである。
この処理では、車室外画像が取得されると（＃３１）、その画像から車線が検知される（＃３２）。その後、車両が車線を逸脱しているか否かが判断され（＃３３）、その結果、車両が車線を逸脱していないと判断された場合には、即時に処理がリターンされる。他方、車両が車線を逸脱していると判断された場合には、続いて、方向指示器が作動しているか否かが判断される（＃３４）。
【００６１】
ステップ＃３４の結果、方向指示器が作動していると判断された場合には、即時に処理がリターンされ、他方、方向指示器が作動していないと判断された場合には、ステアリングアクチュエータが駆動させられ（＃３５）、ステアリングが振動させられる。以上で処理がリターンされる。
【００６２】
更に、図１４は、車両用撮像装置１による障害物検知処理の結果に基づき実行されるプリクラッシュセーフティ系制御処理についてのフローチャートである。
この処理では、車室外画像が取得されると（＃４１）、その画像から障害物が検知される（＃４２）。次に、その検知結果に基づき、車両の進行路に障害物が存在するか否かが判断され（＃４３）、障害物が存在しないと判断された場合には、即時に処理がリターンされる。他方、障害物が存在すると判断された場合には、続いて、障害物との衝突が不可避であるか否かが判断される（＃４４）。
【００６３】
ステップ＃４４の結果、障害物との衝突が回避可能であると判断された場合には、即時に処理がリターンされ、他方、障害物との衝突が不可避であると判断された場合には、シートベルトプリテンション機構及びブレーキアクチュエータが駆動させられる（＃４５）。以上で処理がリターンされる。
【００６４】
また、図１０を参照して説明した警報系制御処理では、車室内外の画像の解析結果に基づき警報系制御が行われたが、単に車室内画像の解析結果のみに基づき、警報系制御が行われてもよい。図１５は、かかる警報系制御処理についてのフローチャートである。
この処理では、まず、時間カウントがリセットされ（＃５１）、その後、車室内画像が取得されると（＃５２）、その画像からドライバの視線が検知される（＃５３）。次に、ドライバの視線が車両前方に向いていないか否かが判断される（＃５４）。
【００６５】
ステップ＃５４の結果、ドライバの視線が車両前方に向いていると判断された場合には、即時に処理がリターンされる。他方、ドライバの視線が車両前方に向いていないと判断された場合には、時間がカウントされ（＃５５）、その後、５秒経過したか否かが判断される（＃５６）。
【００６６】
ステップ＃５６の結果、５秒経過していないと判断された場合には、ステップ＃５２へ戻り、それ以降のステップが繰り返され、他方、５秒経過したと判断された場合には、警報用ブザーを作動させる（＃５７）。以上で処理がリターンされる。
【００６７】
最後に、車室内画像を用いて、撮像素子３の光軸傾斜を検出する方法について説明する。図１６は、車室内画像を用いて行われる撮像素子の光軸傾斜を検出する処理についての説明図である。なお、図１６における右側及び下側のバーは、それぞれ、車室内画像の上下方向及び水平方向における位置レベルをあらわすものである。
まず、反射材やライト等のポインタを実際に車室内に設け、ポインタの位置レベルや角度に基づき、撮像素子３の光軸傾斜を検出する場合について説明する。この場合には、ポインタとして、例えば、車幅方向中央に位置する基準ポインタ８０と、その基準ポインタ８０から車幅方向両側に等間隔離間して位置する２つのサブポインタ８１と、を設ける。
【００６８】
そして、車室内画像において、基準ポインタ８０が見える位置レベルが上下６〜９，左右４〜７にあり、かつ、基準ポインタ８０及びサブポインタ８１を通る直線の基準線Ｓに対する傾きが±α（例えば５°）に収まれば、撮像素子３の光軸傾斜が正常の範囲、つまり、前述した各種の検知処理が適切に実行可能となる車室内外の画像が取得し得る範囲にあり、また、それ以外であれば、正常でない範囲にあると判断する。
【００６９】
次に、車室内における特定形状のパターンを抽出し、そのパターンの位置レベルや角度に基づき、撮像素子３の光軸傾斜を検出する場合について説明する。この場合には、車室内画像からリヤウィンドウ枠形状などのパターン形状を抽出し、車幅方向中央に位置する凸部パターン形状を基準パターン８５として設定するとともに、その凸部パターン形状から車幅方向両側に等間隔離間して位置する左右の隅部分をサブパターン８６として設定する。
【００７０】
そして、基準パターン８５が見える位置レベルが上下６〜９，左右４〜７にあり、かつ、基準パターン８５及びサブパターン８６を通る直線の基準線Ｓに対しての傾斜が±α（例えば５°）に収まれば、撮像素子３の光軸傾斜が正常の範囲、つまり、前述した各種の検知処理が適切に実行可能となる車室内外の画像が取得し得る範囲にあり、また、それ以外であれば、正常でない範囲にあると判断する。
【００７１】
なお、これに限定されることなく、車室外画像に取り込まれた地平線を基準として、撮像素子３の光軸傾斜が検出されてもよい。
【００７２】
以上の説明から明らかなように、本実施形態に係る車両用撮像装置１によれば、撮像素子３の単一の撮像面３ｂに対して車室内外からの光を結像させることで、車室内外を鮮明にかつ同時に撮像した画像をより簡単な構成でかつ安価に取得することができ、また、車室内外を撮像した画像を同時に出力し、撮像及び他の処理のタイムラグを軽減することができる。更に、車室内外の画像を解析し、それら解析結果を組み合わせて若しくは別個に利用して、例えば事故防止や状況記録等の安全システム用の車載機器の駆動を適切に制御することができる。
【００７３】
なお、本発明は、例示された実施形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能であることは言うまでもない。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施形態に係る車両用撮像装置の設置位置及び撮像方向を示す図である。
【図２】（ａ）上記車両用撮像装置の正面図である。              （ｂ）上記車両用撮像装置の背面図である。
【図３】上記車両用撮像装置の内部構成を示す図である。
【図４】上記車両用撮像装置により取得される車室内外の画像を含む画像の一例を示す図である。
【図５】上記車両用撮像装置の取付け構造をあらわす図である。
【図６】上記車両用撮像装置の他の取付け構造をあらわす図である。
【図７】上記車両用撮像装置内の制御ユニットの各種機能を概略的に示す図である。
【図８】上記車両用撮像装置による車室外画像を利用した障害物検知及び車線検知処理についての説明図である。
【図９】上記車両用撮像装置による車室内画像を利用した視線検知及び乗員検知処理についての説明図である。
【図１０】上記車両用撮像装置による障害物検知及び視線検知処理の結果に基づき実行される警報系制御処理についてのフローチャートである。
【図１１】上記車両用撮像装置による障害物検知及び乗員検知処理の結果に基づき実行される乗員保護系制御処理についてのフローチャートである。
【図１２】上記障害物検知処理に伴う衝突不可避の判定ステップ（図１１中のステップ＃２６）についての説明図である。
【図１３】上記車両用撮像装置による車線検知処理の結果に基づき実行されるレーンキープ系制御処理についてのフローチャートである。
【図１４】上記車両用撮像装置による障害物検知処理の結果に基づき実行されるプリクラッシュセーフティ系制御処理についてのフローチャートである。
【図１５】上記車両用撮像装置による視線検知処理の結果に基づき実行される警報系制御処理についてのフローチャートである。
【図１６】上記車両用撮像装置による車室内画像を利用した撮像素子の光軸傾斜を検出する処理についての説明図である。
【符号の説明】
【００７５】
１…車両用撮像装置，２…ボックス体，３…撮像素子，３ｂ…撮像面，４…制御ユニット，８…ルームミラー，９…支持軸，１５…モータ及びギヤボックス，４１…画像形成部，４２…画像解析部，４２ａ…障害物検知部，４２ｂ…車線検知部，４２ｃ…視線検知部，４２ｄ…乗員検知部，４３…制御部，４３ａ…警報系制御部，４３ｂ…プリクラッシュセーフティ系制御部，４３ｃ…レーンキープ系制御部，４３ｄ…乗員保護系制御部，Ｐ１…第１プリズム，Ｐ２…第２プリズム，Ｐ３…第３プリズム，Ｖ…車両，Ｗ１…第１入光窓，Ｗ２…第２入光窓，Ｘ１…第１の光路，Ｘ２…第２の光路。
【図１】
2007253705.tif 000003
【図２】
2007253705.tif 000004
【図３】
2007253705.tif 000005
【図４】
2007253705.tif 000006
【図５】
2007253705.tif 000007
【図６】
2007253705.tif 000008
【図７】
2007253705.tif 000009
【図８】
2007253705.tif 000010
【図９】
2007253705.tif 000011
【図１０】
2007253705.tif 000012
【図１１】
2007253705.tif 000013
【図１２】
2007253705.tif 000014
【図１３】
2007253705.tif 000015
【図１４】
2007253705.tif 000016
【図１５】
2007253705.tif 000017
【図１６】
2007253705.tif 000018