(57)【要約】【課題】車両用途において求められる光学性能を発揮可能なカメラモジュールを提供する。【解決手段】カメラモジュール１は、車両においてウインドシールドの内側に装着されて車両の外界を撮影するように構成されている。カメラモジュール１は、外界を、第１レンズユニット１１を通して第１撮像素子により撮影する第１カメラ１０と、外界を、第２レンズユニット２１を通して第２撮像素子により、第１カメラ１０よりも狭い画角にて撮影する第２カメラ２０と、を備える。第１撮像素子と第２撮像素子とは、互いに同一の画素仕様となっている。【選択図】図２
2019102888.tif 000002
【特許請求の範囲】
【請求項１】
車両（２）においてウインドシールド（３）の内側に装着されて前記車両の外界（５）を撮影するように構成されるカメラモジュールであって、
前記外界を、第１レンズユニット（１１）を通して第１撮像素子（１４）により撮影する第１カメラ（１０）と、
前記外界を、第２レンズユニット（２１）を通して第２撮像素子（２４）により、前記第１カメラよりも狭い画角にて撮影する第２カメラ（２０）と、を備え、
前記第１撮像素子と前記第２撮像素子とは、互いに同一の画素仕様となっているカメラモジュール。
【請求項２】
前記第１撮像素子の有効画素領域（ＥＰＲ）の縦幅及び横幅と、前記第２撮像素子の有効画素領域の縦幅及び横幅とは、互いに同一である請求項１に記載のカメラモジュール。
【請求項３】
前記第１撮像素子の画素ピッチと、前記第２撮像素子の画素ピッチとは、互いに同一である請求項２に記載のカメラモジュール。
【請求項４】
前記第１撮像素子のカラーベイヤ配列と、前記第２撮像素子のカラーベイヤ配列とは、互いに同一である請求項３に記載のカメラモジュール。
【請求項５】
前記第１撮像素子による画像のフレームレートと、前記第２撮像素子による画像のフレームレートとは、互いに等しい請求項１から４のいずれか１項に記載のカメラモジュール。
【請求項６】
前記第１撮像素子による画像の読み出し開始のタイミングに対して、前記第２撮像素子による画像の読み出し開始のタイミングを、遅延させるタイミング遅延部（３３ａ）をさらに備える請求項１から５のいずれか１項に記載のカメラモジュール。
【請求項７】
前記第１レンズユニットのＦ値と、前記第２レンズユニットのＦ値とは、互いに合わせられている請求項１から６のいずれか１項に記載のカメラモジュール。
【請求項８】
前記第１カメラの向きと、前記第２カメラの向きとは、前記車両のピッチング方向（ＰＤ）において同一である請求項１から７のいずれか１項に記載のカメラモジュール。
【請求項９】
前記第１カメラの向きと、前記第２カメラの向きとは、前記車両のピッチング方向において異なる請求項１から７のいずれか１項に記載のカメラモジュール。
【請求項１０】
前記第２カメラの向きは、前記第１カメラの向きよりも上向きとなっている請求項９に記載のカメラモジュール。
【請求項１１】
前記外界における平均的高さ及び平均的サイズの信号機（５ａ）が表示する信号表示（５ｂ）を、画像認識可能に構成される請求項１から１０のいずれか１項に記載のカメラモジュールであって、
前記第１カメラにより前記第１撮像素子上に画像認識可能な画素数にて前記信号表示が結像される前記第１カメラから前記信号表示までの距離の限界を、遠方認識限界距離と定義すると、
前記第２カメラの向きは、前記遠方認識限界距離において、前記信号表示が前記第２カメラの画角内に収まるように設定されているカメラモジュール。
【請求項１２】
前記第２カメラの向きは、前記遠方認識限界距離において、前記外界における路面として仮想される水平面（ＨＰ）が前記第２カメラの画角内に収まるように設定されている請求項１１に記載のカメラモジュール。
【請求項１３】
前記水平面からの前記第１カメラ及び前記第２カメラの搭載高さをＺcとし、前記第１撮像素子において画像認識に必要とされる最小物体サイズをＳと定義し、前記第２撮像素子の縦幅をＶとし、前記第１レンズユニットの焦点距離をｆｗとし、前記第２レンズユニットの焦点距離ｆnとし、前記信号表示に対応する前記平均的高さをＺoとし、前記信号表示に対応する前記平均的サイズをＨとし、前記第２カメラの前記水平面に対する前記車両のピッチング方向の角度をθｎとすると、
【数６】
2019102888.tif 000015
が成立する請求項１２に記載のカメラモジュール。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、カメラモジュールに関する。
【背景技術】
【０００２】
従来、車両においてウインドシールドの内側に装着されて車両の外界を撮影するように構成されたカメラモジュールは、広く知られている。こうしたカメラモジュールとしては、特許文献１に開示のものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５３１６５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、車両の先進運転支援又は自動運転に向けてカメラモジュールには、外界の広い範囲を画像認識可能に撮影されることが要求されるようになってきている。こうした要求に応える解決策としては、画角の広いカメラを採用することが考えられる。しかし、画角の広いカメラでは、分解能が低くなる傾向があり、遠方の物体を精度よく認識するには不十分な場合がある。
【０００５】
開示されるひとつの目的は、車両用途において求められる光学性能を発揮可能なカメラモジュールを提供することにある。
【課題を解決するための手段】
【０００６】
ここに開示されたカメラモジュールは、車両（２）においてウインドシールド（３）の内側に装着されて車両の外界（５）を撮影するように構成されるカメラモジュールであって、
外界を、第１レンズユニット（１１）を通して第１撮像素子（１４）により撮影する第１カメラ（１０）と、
外界を、第２レンズユニット（２１）を通して第２撮像素子（２４）により、第１カメラよりも狭い画角にて撮影する第２カメラ（２０）と、を備え、
第１撮像素子と第２撮像素子とは、互いに同一の画素仕様となっている。
【０００７】
このようなカメラモジュールによると、第１カメラと、第１カメラよりも画角が狭い第２カメラとが併用されている。したがって、第１カメラにて外界の相対的に広い範囲を撮影可能となると共に、画角のより狭い第２カメラで遠方の物体の認識精度を高めることができる。故に、車両用途において求められる光学性能を発揮することができる。
【０００８】
さらに、第１カメラにおける第１撮像素子と、第２カメラにおける第２撮像素子とに、互いに同一の画素仕様を採用すれば、画像処理の処理ロジックを簡素化することができ、こうした簡素化によって例えば画像処理の負荷又は処理速度等を改善することができる。したがって、こうした互いに画角の異なる第１カメラと第２カメラとを組み合わせたカメラモジュールにおいても、画像処理し易い形態を実現できる。
【０００９】
なお、括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態によるカメラモジュールの車両への搭載状態を示す図である。
【図２】第１実施形態のカメラモジュールの外観を示す斜視図である。
【図３】第１実施形態のカメラモジュールの概略構成を示すブロック図である。
【図４】第１実施形態の第１カメラの画角と第２カメラの画角を模式的に示す図である。
【図５】第１実施形態の撮像素子の構成を模式的に示す図である。
【図６】第１実施形態の第１撮像素子と第２撮像素子とによる画像及び読み出し開始のタイミングを説明するための図である。
【図７】第１実施形態の制御部の概略構成を示すブロック図である。
【図８】第２実施形態のカメラによる信号表示の画像認識を説明するための図である。
【図９】第２実施形態の読み出しずれ量を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、複数の実施形態を図面に基づいて説明する。なお、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。
【００１２】
（第１実施形態）
第１実施形態によるカメラモジュール１は、車両２に搭載されて外界を撮影するように構成されている。カメラモジュール１は、図１に示すように、車両２におけるフロントウインドシールド３の内側に、装着されている。
【００１３】
なお、本実施形態では、特に断り書きが無い限り、前方、後方、前後方向、上方、下方、上下方向、左方、右方、及び左右方向は、水平面ＨＰ上の車両２を基準として表記される。
【００１４】
フロントウインドシールド３は、車両２において運転席の前方に位置している。フロントウインドシールド３は、車室内と外界とを仕切っている。フロントウインドシールド３は、例えばガラスないしは合成樹脂等の透光性材料により形成されることで、外界５の風景を車室内へと透過させる。
【００１５】
フロントウインドシールド３においてカメラモジュール１の装着箇所は、車室内の運転席に着座した乗員の視界を著しく妨げない箇所に、設定されている。具体的に装着箇所は、車両２においてフロントウインドシールド３の外周縁部を枠状に保持するピラー６の開口窓６ａのうち、上方の縁部から例えば２０％程度の範囲内に設定されている。左右における装着箇所は、開口窓６ａの中心から左右方向の両側へ例えば１５ｃｍ程度の範囲内に設定されている。こうして、カメラモジュール１は、フロントウインドシールド３が例えば２２〜９０度程度傾斜する部分に位置している。
【００１６】
カメラモジュール１は、図２，３に示すように、カメラケーシング４０、第１カメラ１０、第２カメラ２０、及び回路ユニット３０等により構成されている。
【００１７】
図１に示すカメラケーシング４０は、第１カメラ１０、第２カメラ２０、及び回路ユニット３０を収容する中空状に形成されている。カメラケーシング４０は、例えばアルミニウム等の比較的高放熱性を有した硬質材料により形成されている。カメラケーシング４０は、ブラケットを介して、フロントウインドシールド３により保持及び位置決めされている。
【００１８】
カメラケーシング４０は、フロントウインドシールド３と対向する位置に、左右方向に横並びした複数の開口穴４１を有している。特に本実施形態では、開口穴４１は２つ開けられており、第１カメラ１０及び第２カメラ２０にそれぞれ対応している。
【００１９】
図２，３に示す第１カメラ１０は、第１レンズユニット１１及び第１撮像素子１４等により構成されており、車両２の外界５を、第１レンズユニット１１を通して第１撮像素子１４により撮影可能となっている。図４にも示すように、本実施形態の第１カメラ１０は、例えば画角が１００°以上の比較的広い画角にて外界を撮影する広角カメラとなっている。
【００２０】
第１レンズユニット１１は、レンズ鏡筒１２及びレンズ系１３を有している。レンズ鏡筒１２は、例えば合成樹脂等の比較的成形容易な硬質材料により、全体としては略円筒状に形成されている。レンズ鏡筒１２は、開口穴４１を通して配置され、内部にレンズ系１３を収容することで、外界５からの光をカメラケーシング４０内の第１撮像素子１４に導光可能に形成されている。
【００２１】
レンズ系１３は、単数又は複数のレンズを含んで構成され、レンズ鏡筒１２内に入射した光の少なくとも一部を屈折して、第１撮像素子１４上にて例えば倒立像を結像可能に形成されている。レンズ系１３による第１レンズユニット１１のＦ値は、例えば２．０となっている。各レンズは、レンズ鏡筒１２の中心軸ＣＡ１に対して例えば回転対称性を有している。このため、中心軸ＣＡ１は、第１カメラ１０の光軸と一致し、この中心軸ＣＡ１が外界５へ向けて延伸する方向を、以下、第１カメラ１０の向きとする。
【００２２】
第１撮像素子１４は、光電変換により光を電気信号に変換する素子であり、例えばＣＣＤイメージセンサないしはＣＭＯＳイメージセンサを採用することができる。第１撮像素子１４は、第１レンズユニット１１と所定の間隔を空けたカメラケーシング４０の内部にて、中心軸ＣＡ１に対して実質垂直に、配置されている。
【００２３】
図２，３に示す第２カメラ２０は、第２レンズユニット２１及び第２撮像素子２４等により構成されており、車両２の外界５を、第２レンズユニット２１を通して第２撮像素子２４により撮影可能となっている。図４にも示すように、第２カメラ２０は、第１カメラ１０より狭い画角に設定されており、例えば本実施形態では、画角が５０°以下の挟角カメラ（望遠カメラともいう）となっている。
【００２４】
第２レンズユニット２１は、レンズ鏡筒２２及びレンズ系２３を有している。レンズ鏡筒２２は、例えば合成樹脂等の比較的成形容易な硬質材料により、全体としては略円筒状に形成されている。レンズ鏡筒２２は、開口穴４１を通して配置され、内部にレンズ系２３を収容することで、外界５からの光をカメラケーシング４０内の第２撮像素子２４に導光可能に形成されている。
【００２５】
レンズ系２３は、単数又は複数のレンズを含んで構成され、レンズ鏡筒２２内に入射した光の少なくとも一部を屈折して、第２撮像素子２４上にて例えば倒立像を結像可能に形成されている。レンズ系２３による第２レンズユニット２１の合成焦点距離（以下、単に焦点距離という）は、レンズ系１３による第１レンズユニット１１の合成焦点距離（以下、単に焦点距離という）よりも大きな値に設定されている。レンズ系２３による第２レンズユニット２１のＦ値は、第１レンズユニット１１のＦ値と合わせられており、例えば２．０となっている。
【００２６】
レンズ系２３の各レンズは、レンズ鏡筒２２の中心軸ＣＡ２に対して例えば回転対称性を有している。このため、中心軸ＣＡ２は、第２カメラ２０の光軸と一致し、この中心軸ＣＡ２が外界へ向けて延伸する方向を、以下、第２カメラ２０の向きとする。
【００２７】
第２撮像素子２４は、光電変換により光を電気信号に変換する素子であり、例えばＣＣＤイメージセンサないしはＣＭＯＳイメージセンサを採用することができる。第２撮像素子２４は、第２レンズユニット２１と所定の間隔を空けたカメラケーシング４０の内部にて、中心軸ＣＡ２に対して実質垂直に、配置されている。
【００２８】
ここで、本実施形態のように車両用途において映像をリアルタイムで処理する必要がある場合には、高フレームレートで撮影できることが好ましい。そこで、本実施形態では各撮像素子１４，２４としてＣＭＯＳイメージセンサが採用されている。
【００２９】
図５に示すように、各撮像素子１４，２４は、画素が２次元のマトリクス状に並べられており、カラー又はモノクロで外界の光を受光して電荷に変換する。各撮像素子１４，２４の受光面１５，２５は、光が入射する有効画素ＥＰと、光が遮光されることによって暗時の基準電圧を規定するオプティカルブラック（ＯＢ）画素と、有効画素ＥＰ及びＯＢ画素を除くダミー画素と、を有している。各撮像素子１４，２４において、これらの画素の合計を総画素数と称し、有効画素ＥＰの合計を有効画素数と称する。有効画素ＥＰにより受光面１５，２５に構成された例えば矩形状の領域を、有効画素領域ＥＰＲと称する。
【００３０】
さらに、２次元に並べられた画素において、所定の一方向Ｄ１の並びを列と称し、当該所定の一方向Ｄ１に垂直な方向Ｄ２の並びを「行」と称する。本実施形態では、方向Ｄ１が各撮像素子１４，２４の有効画素領域ＥＰＲにおける長手方向に対応し、方向Ｄ２が各撮像素子１４，２４の有効画素領域ＥＰＲにおける短手方向に対応している。そして、各撮像素子１４，２４において方向Ｄ１が水平面ＨＰに対して実質平行となるように、カメラモジュール１は、車両２に対して配置されている。そして、方向Ｄ１における有効画素領域ＥＰＲの幅を、有効画素領域ＥＰＲの横幅と称し、方向Ｄ２における有効画素領域ＥＰＲの幅を、有効画素領域ＥＰＲの縦幅と称する。そして、方向Ｄ１における各画素ＥＰ間の間隔を、横の画素ピッチと称し、方向Ｄ２における各画素ＥＰ間の間隔を、縦の画素ピッチと称する。
【００３１】
そして、第１撮像素子１４及び第２撮像素子２４は、実質的に、互いに同一の画素仕様となっている。本実施形態における同一の画素仕様とは、撮像素子１４，２４間において、少なくとも、有効画素領域ＥＰＲの縦幅及び横幅が実質同一であり、縦及び横の画素ピッチが実質同一であることを意味する。そして、各撮像素子１４，２４がカラー画像を撮像する場合には、カラーベイヤ配列が実質同一であることが好適であり、本実施形態でもそのようになっている。
【００３２】
特に本実施形態では、第１撮像素子１４と第２撮像素子２４とは、同一の撮像素子メーカーが製造した同一の製品となっている。第１撮像素子１４と第２撮像素子２４と同一の製品とすることで、調達コストを低減することができ、より安価にカメラモジュール１を製造することが可能となる。
【００３３】
さらに各撮像素子１４，２４の内部には、図３に示すように、それぞれ位相同期回路１６，２６が設けられている。位相同期回路１６，２６は、例えば位相比較器、ローパスフィルタ、電圧制御型発振器、分周器を有し、電圧制御型発振器からの出力信号を位相比較器に負帰還する回路として構成されている。位相同期回路１６，２６は、入力信号の位相と出力信号の位相とを一致させるように機能する。具体的には、後述の発振器３１により供給されるクロック信号と、各撮像素子１４，２４内部の動作クロックとを一致させるように機能している。
【００３４】
ここで図２に示すように、第１カメラ１０の向きと第２カメラ２０の向きとは、車両２のピッチング方向ＰＤにおいて実質同一となっている。特に本実施形態では、第１カメラ１０の向きと第２カメラ２０の向きとは、車両２のヨーイング方向ＹＤにおいても、実質同一となっているため、第１カメラ１０の向きと第２カメラ２０の向きとが完全一致している。このため、図６に示すように、第１カメラ１０の画角と第２カメラ２０の画角とは、互いに少なくとも一部分が重複領域ＯＬＲにて重複しており、より詳細には、第１カメラ１０の画角が第２カメラ２０の画角全体を包含している。第１カメラ１０の画角の中心と第２カメラ２０の画角の中心は、実質的に一致している。
【００３５】
回路ユニット３０は、図３に示すように、カメラケーシング４０内に収容され、発振器３１及び制御部３２を有している。発振器３１は、例えば水晶振動子を用いてカメラモジュール１の基準となるクロック信号を生成する。発振器３１は、各撮像素子１４，２４に形成された位相同期回路１６，２６にクロック信号を出力する。すなわち、発振器３１は、第１撮像素子１４と第２撮像素子２４とに共通のクロック信号を出力する。
【００３６】
制御部３２は、少なくとも１つのプロセッサ、メモリ、入出力インターフェースを含む電子回路であり、例えばメモリに記憶されているコンピュータプログラムを実行することにより、各種処理を実行可能となっている。具体的に制御部３２は、各撮像素子１４，２４と電気的に接続されていることにより、第１撮像素子１４及び第２撮像素子２４の制御を実行すると共に、画像データを画像処理する。図７に示すように制御部３２は、こうした電子回路に構築されている機能ブロックとして、画像読み出し部３３及び画像処理部３４を有している。
【００３７】
画像読み出し部３３は、各撮像素子１４，２４に対して、画素ＥＰの電子シャッタのタイミングを調整して露光時間を制御し、画素ＥＰを例えば最も端の列から順番に読み出し、画像データとして取得する。なお、第１撮像素子１４のシャッタスピードと第２撮像素子２４のシャッタスピードとは、互いに実質同一に設定されており、第１撮像素子１４のフレームレートと第２撮像素子２４のフレームレートとは、互いに実質同一に設定されている。
【００３８】
ここで、画像読み出し部３３は、タイミング遅延部３３ａを有している。タイミング遅延部３３ａは、発振器３１により供給されるクロック信号を利用して、第１撮像素子１４による画像の読み出しタイミングに対して、第２撮像素子２４による画像の読み出しタイミングを遅延させる。
【００３９】
ここで、タイミングの遅延について、画像読み出し部３３が第１撮像素子１４及び第２撮像素子２４をフォーカルプレーンシャッタ駆動（ローリングシャッタ駆動）する例として説明する。時刻ｔ０から時刻ｔ３までの時間が１フレームを得るための時間であり、この１フレームの駆動を、設定されたフレームレートに基づいて、単位時間当たりに所定の回数だけ繰り返す。これにより、動画が撮影される。
【００４０】
図６に示すように、１フレームの画像を取得するために、時刻ｔ０において第１撮像素子１４の有効画素ＥＰの端から１列目の読み出しが開始される。そして、時刻ｔ０に対して遅延した時刻ｔ１において、両カメラ１０，２０の画角が重複する重複領域ＯＬＲに、第１撮像素子１４の読み出しが差し掛かる。このタイミングの時刻ｔ１にて、第２撮像素子２４の有効画素ＥＰの端から１列目の読み出しが開始される。その後、時刻ｔ２（図示しない）にて第１撮像素子１４の有効画素ＥＰの最終列の読み出しが完了し、１フレームの画像が生成される。さらにその後、時刻ｔ３（図示しない）にて第２撮像素子２４の有効画素ＥＰの最終列の読み出しが完了し、１フレームの画像が生成される。
【００４１】
このようなタイミングの遅延により、第１撮像素子１４による画像の重複領域ＯＬＲでの撮影タイミングと、第２撮像素子２４による画像の撮影タイミングとのタイムラグを減少させることが可能となる。ここで例えば、第２撮像素子２４の読み出し速度を第１撮像素子１４の読み出し速度よりも高速に設定することで、その効果は重複領域ＯＬＲ全体に波及する。
【００４２】
画像処理部３４は、各撮像素子１４，２４により撮影された各画像データの画像処理を行なう。具体的に制御部３２は、各画像データから例えばエッジを検出すること等により、撮影された認識対象を画像認識する。また、制御部３２は、各撮像素子１４，２４により互いに異なる画角にて互いに同調して撮影された各画像データの重複領域ＯＬＲを解析することで、各画像データの両方に映り込んだ認識対象をマッチングする（これをパターンマッチングという）。
【００４３】
具体的に、画像処理部３４は、第１カメラ１０及び第２カメラ２０のうち一方による画像データから認識対象を認識し、その認識対象が重複領域ＯＬＲにて撮影されたものである場合、当該撮影対象を、他方による画像データにおいて撮影された同一の認識対象とマッチングする。例えば、画像処理部３４は、一方の画像データにおいて認識対象が撮影された領域に対応する他方の領域近傍を探索する。例えば、他方において対応する画素ＥＰとその周辺の画素ＥＰを例えば上下にｎ列分探索する。
【００４４】
このとき、各画像データの撮影されたタイミングのタイムラグが大きいと、このタイムラグの間に認識対象が移動、拡大、又は縮小してしまい、他方において対応する画素ＥＰに目的の認識対象が見つからない事態が想定される。このため、周辺の画素ＥＰをｎ列分探索する必要が生じ、ライムラグが大きければこの探索範囲に相当するｎの値を大きく設定する必要がある。しかしながら、本実施形態では、上述の撮影タイミングによりタイムラグを減少させているので、このｎの値を小さく設定しても、良好にマッチングを行なうことができる。探索する列数を最小限に留まることにより、画像処理におけるメモリ等の資源への負担を抑制すると共に、画像処理自体も高速化することができる。
【００４５】
（作用効果）
以上説明した第１実施形態の作用効果を以下に改めて説明する。
【００４６】
第１実施形態によると、第１カメラ１０と、第１カメラ１０よりも画角が狭い第２カメラ２０とが併用されている。したがって、第１カメラ１０にて外界５の相対的に広い範囲を撮影可能となると共に、画角のより狭い第２カメラ２０で遠方の物体の認識精度を高めることができる。故に、車両用途において求められる光学性能を発揮することができる。
【００４７】
さらに、第１カメラ１０における第１撮像素子１４と、第２カメラ２０における第２撮像素子２４とに、互いに同一の画素仕様を採用すれば、画像処理の処理ロジックを簡素化することができ、こうした簡素化によって例えば画像処理の負荷又は処理速度等を改善することができる。したがって、こうした互いに画角の異なる第１カメラ１０と第２カメラ２０とを組み合わせたカメラモジュール１においても、画像処理し易い形態を実現できる。
【００４８】
また、第１実施形態によると、第１撮像素子１４の有効画素領域ＥＰＲの縦幅及び横幅と、第２撮像素子２４の有効画素領域ＥＰＲの縦幅及び横幅とは、互いに同一である。各撮像素子１４，２４の画素仕様が共通化されることにより、互いに画角の異なる第１カメラ１０と第２カメラ２０とを組み合わせたカメラモジュール１において、車両用途において求められる光学性能を発揮し、画像処理し易い形態を実現できる。
【００４９】
また、第１実施形態によると、第１撮像素子１４の画素ピッチと、第２撮像素子２４の画素ピッチとは、実質的に、互いに同一である。各撮像素子１４，２４の画素仕様が共通化されることにより、互いに画角の異なる第１カメラ１０と第２カメラ２０とを組み合わせたカメラモジュール１において、車両用途において求められる光学性能を発揮し、画像処理し易い形態を実現できる。
【００５０】
また、第１実施形態によると、第１撮像素子１４のカラーベイヤ配列と、第２撮像素子２４のカラーベイヤ配列とは、実質的に、互いに同一である。こうしてカラーベイヤ配列における各色の感度及び解像度が共通化されることにより、互いに画角の異なる第１カメラ１０と第２カメラ２０とを組み合わせたカメラモジュール１において、車両用途において求められる光学性能を発揮し、画像処理し易い形態を実現できる。
【００５１】
また、第１実施形態によると、第１撮像素子１４による画像のフレームレートと、第２撮像素子２４による画像のフレームレートとは、実質的に、互いに等しい。このようにすると、各撮像素子１４，２４による画像を１対１で関連付けることにより、画像処理におけるマッチングを容易に実施することができる。
【００５２】
第１レンズユニット１１のＦ値と、第２レンズユニット２１のＦ値とは、互いに合わせられている。Ｆ値を互いに合わせることにより、各撮像素子１４，２４により受光する明るさレベルを共通化できるので、互いに画角の異なる第１カメラ１０と第２カメラ２０とを組み合わせたカメラモジュール１において、車両用途において求められる光学性能を発揮し、画像処理し易い形態を実現できる。
【００５３】
第１カメラ１０の向きと、第２カメラ２０の向きとは、車両２のピッチング方向ＰＤにおいて実質的に同一である。このようにすると、例えば製造時におけるカメラ１０，２０の組み付けを簡易な工程とすることができるので、車両用途において求められる光学性能を発揮し、画像処理し易い形態のカメラモジュール１を容易に実現することができる。
【００５４】
こうした画像処理し易い形態の実現の結果、例えば、画像認識においてエッジを検出する際の閾値の設定を各撮像素子１４，２４間で共通化できるため、画像処理に関する設計コストを抑制できる。また例えば、画像処理をするためのコンピュータプログラムを各撮像素子１４，２４間で共通化できるため、メモリ等のハードウエア資源を節約できる。
【００５５】
（第２実施形態）
図８，９に示すように、第２実施形態は第１実施形態の変形例である。第２実施形態について、第１実施形態とは異なる点を中心に説明する。
【００５６】
第２実施形態のカメラモジュール１は、図８に示すように、外界における平均的高さＺo及び上下方向の平均的サイズＨの信号機５ａが表示する信号表示５ｂを、画像認識可能に構成されている。外界５の信号表示５ｂを認識した結果を用いて、車両２は、例えば、自動運転を実施すること、又は、運転者が運転操作を誤りそうな場合の当該運転者への注意喚起を実施することが可能である。
【００５７】
信号機５ａは、車両２と衝突しないように、車両２よりも高い位置に配置される。具体値を例示すると、信号表示５ｂについて、日本国での平均的高さＺoは５ｍであり、平均的サイズＨは一般道で０．３ｍ、都市部では０．２５ｍである。米国での平均的高さＺoは２１〜２５．６ｆ（すなわち６．４〜７．８ｍ）である。欧州における平均的サイズＨは、０．２〜０．３ｍである。
【００５８】
なお、ここで言う「平均的」とは、狭義の統計上の平均値の意味にとらわれず、「一般的」又は「代表的」であることを含む広義の概念であり、例えば使用が想定されている区域に設置されている信号表示の実質半数以上を、カメラモジュール１が画像認識可能に構成されていればよい。
【００５９】
第２実施形態の制御部３２には、タイミング遅延部３３ａが設けられていない。すなわち、第１撮像素子１４による画像の読み出し開始のタイミングと、第２撮像素子２４による画像の読み出し開始のタイミングとが、実質同一に設定されている。また、第１撮像素子１４による読み出し速度と第２撮像素子２４による読み出し速度とは、実質同一に設定されている。
【００６０】
第２実施形態の第１カメラ１０の向きと第２カメラ２０の向きとは、車両２のピッチング方向ＰＤにおいて互いに異なっている。特に本実施形態では、第１カメラ１０よりも画角が狭い第２カメラ２０の向きが第１カメラ１０の向きよりも上向きとなっている。こうした第２カメラ２０の向きは、以下に述べる第１の条件及び第２の条件を考慮して設定されている。
【００６１】
第１の条件は、第２カメラ２０の画角から認識対象としての信号表示５ｂが外れてしまったときに、信号表示５ｂの認識を喪失してしまうことを抑制するための条件である。ここで、車両２が水平な水平面ＨＰを走行していると仮定し、車両２の前方に信号機５ａが設置されている状況を例として考える。そうすると、各カメラ１０，２０から信号表示５ｂまでの距離Ｘが以下の数１を満たすと、各カメラ１０，２０において認識対象（すなわち信号表示５ｂ）が認識可能となる。
【００６２】
【数１】
2019102888.tif 000003
ここで、Ｚcは、水平面ＨＰからの第１カメラ１０及び第２カメラ２０の車両２への搭載高さであり、Ｓは、第１撮像素子１４又は第２撮像素子２４において画像認識に必要とされる最小物体サイズ（単位はｍｍ）であり、Ｖは、第１撮像素子１４及び第２撮像素子２４の縦幅（単位はｍｍ）であり、ｆは第１レンズユニット１１又は第２レンズユニット２１の焦点距離（単位はｍｍ）であり、Ｚoは、信号表示５ｂに対応する平均的高さ（単位はｍｍに変換して代入する）であり、Ｈは、信号表示５ｂに対応する上下方向の平均的サイズ（単位はｍｍに変換して代入する）であり、θcは、第１カメラ１０又は第２カメラ２０の水平面ＨＰに対するピッチング方向ＰＤの角度（単位はｄｅｇ）である。なお、Ｚoは、Ｚcよりも大きいものとする。また、θcは、上向きを正とする。
【００６３】
なお、信号表示５ｂにおける平均的高さＺo及び平均的サイズＨには、使用が想定される区域における上述の具体値を代入することができる。具体値が範囲で示されている場合には、上述の数１の範囲をより狭める値を代入することがより好ましい。また、上述の具体値として例示された値に限らず、使用が想定される区域における最新の法規又は状態に合わせて、本開示の意図を達成するための適切な値を代入することができる。
【００６４】
この距離Ｘの上限は、主に画像処理部３４及び撮像素子１４，２４の性能により定まる。最小物体サイズＳは、Ｓ＝ｈd・ｐiの数式により求まる。ｈdは、認識対象を認識可能な辞書サイズ（単位はｐｉｘ）である。認識対象を認識可能な辞書サイズとは、すなわち、認識対象が撮像素子１４，２４上において何画素に結像するかを示すものであって、この画素数以上に結像されれば、画像処理部３４が認識対象を認識でき、この画素数よりも小さく結像されれば、画像処理部３４が認識対象を認識することが困難となる。ｐiは、縦の画素ピッチである。
【００６５】
認識対象がカメラ１０，２０から遠方に位置すれば位置する程、撮像素子１４，２４上には、小さく結像される。認識対象が小さく結像されれば、当然撮像素子１４，２４上で認識対象からの光を結像状態で検出する画素数も少なくなるので、画像処理部３４により認識対象を画像認識することも困難となるのである。
【００６６】
特に第１カメラ１０についてこの距離Ｘの上限を、遠方認識限界距離と称することとする。遠方認識限界距離は、第１撮像素子１４上に画像認識可能な画素数にて認識対象としての信号表示５ｂが結像される第１カメラ１０から信号表示５ｂまでの距離の限界として、と定義される。
【００６７】
また距離Ｘの下限は、主にカメラ１０，２０の画角により定まる。ＺoがＺcよりも大きいので、車両２が走行して車両２と認識対象との距離が縮まることに伴って、認識対象がカメラ１０，２０の画角から上方に外れてしまう。認識対象がカメラ１０，２０の画角から外れてしまえば、当然カメラモジュール１により認識対象を画像認識することは困難となる。
【００６８】
ここで、本実施形態では各撮像素子１４，２４の画素仕様が同一ある条件下、両カメラの画角が互いに異なるので、第１レンズユニット１１の焦点距離ｆwと第２レンズユニット２１の焦点距離ｆnとは、当然、互いに異なる。第１実施形態で述べたように、第１レンズユニット１１の焦点距離ｆwが第２レンズユニット２１の焦点距離ｆnよりも小さく設定されている。そうすると、特性上、まず第２カメラ２０にて遠方の認識対象を捕捉し、車両２の走行に伴って認識対象が第２カメラ２０の画角から上方に外れる。この時点では、既に第１カメラ１０が認識対象を認識可能な状態となっていることが好ましい。そうすると、以下の数２の条件が成立する。
【００６９】
【数２】
2019102888.tif 000004
ここで、θnは、第２カメラ２０の水平面ＨＰに対するピッチング方向ＰＤの角度（単位はｄｅｇ）である。また、数２において、Ｓは第１撮像素子１４についての値、Ｖは第２撮像素子２４についての値であるが、本実施形態では各撮像素子１４，２４が実質的に同一の画素仕様であるから、Ｓ，Ｖの記号は特に区別せずに記載されている。数２を変形することにより、以下の数３の条件が得られる。
【００７０】
【数３】
2019102888.tif 000005
さて、画像処理部３４は、認識対象としての信号表示５ｂの距離Ｘを、信号機５ａの脚部５ｃと路面（ここでは水平面ＨＰ）との位置関係から推定する。このため、第２カメラ２０について、以下の数４が成立するように下方にも俯角を確保することが好ましい。
【００７１】
【数４】
2019102888.tif 000006
数４を変形することにより、以下の数５の条件が得られる。
【００７２】
【数５】
2019102888.tif 000007
数３，５をまとめると、第２カメラ２０の角度θnは、以下の数６の条件を満たすように設定すればよいことがわかる。
【００７３】
【数６】
2019102888.tif 000008
換言すると、第２カメラ２０の向きは、遠方認識限界距離において、認識対象としての信号表示５ｂが第２カメラ２０の画角内に収まるように設定されていると共に、遠方認識限界距離において、外界における水平面ＨＰが第２カメラ２０の画角内に収まるように設定されている。
【００７４】
第２の条件は、第１撮像素子１４による画像と第２撮像素子２４による画像のマッチングを良好かつ高速に処理するための条件である。上述のように、本実施形態において各撮像素子１４，２４の読み出しは同時に開始される。認識対象としての信号表示５ｂが両カメラ１０，２０にて撮影される条件下、当該認識対象を読み出す方向Ｄ２（上下）の撮像素子１４，２４上の読み出しずれ量ｄＶ（単位はｍｍ）は、以下の数７のように表される（図９も参照）。
【００７５】
【数７】
2019102888.tif 000009
ここで、θwは、第１カメラ１０の水平面ＨＰに対するピッチング方向ＰＤの角度（単位はｄｅｇ）である。そして、第２撮像素子２４が認識対象を読み出す時刻に対して第１撮像素子１４が認識対象を読み出す時刻が遅延する遅延時間ｔは、フレームレートｆｐｓを用いて、以下の数８のように表される。
【００７６】
【数８】
2019102888.tif 000010
ここで、車両２が速度ｖで認識対象に近づくと、第１撮像素子１４により撮影される認識対象は徐々に拡大されていく。遅延時間ｔが大きくなる程、第１撮像素子１４が撮影する認識対象は拡大される。遅延時間ｔを仮に０にしたときに対して、遅延時間ｔでの第１撮像素子１４が撮影する認識対象の拡大量Ｅ（単位はｐｉｘ）は、以下の数９のように表される。
【００７７】
【数９】
2019102888.tif 000011
両画像をマッチングする際に、この拡大量Ｅの増大に伴って、第１実施形態で述べた探索範囲のｎ（単位はｐｉｘ）の値を大きく設定しなければ、認識対象のマッチングが困難となってしまう。逆に言えば、拡大量Ｅがｎよりも小さいという条件が成立すれば、認識対象のマッチングを円滑に処理することができる。例えばｎ＝２として探索が実施されると、高速に画像処理することができる。すなわち、遅延時間ｔが以下の数１０の条件を満たすようにすればよい。
【００７８】
【数１０】
2019102888.tif 000012
数７，８，９により、以下の数１１の条件が成立する。
【００７９】
【数１１】
2019102888.tif 000013
数１１において距離Ｘは、より近距離である方が拡大量Ｅが大きくなると考えられるので、近距離側に対応する数１の下限値を採用することがより好ましい。すなわち、数１１において距離Ｘに数１２に示される値を代入することがより好ましい。
【００８０】
【数１２】
2019102888.tif 000014
したがって、数１１の左辺を小さくするように、各カメラ１０，２０の向きを設定することが好ましい。ここで、高さＺoが高さＺcよりも大きく、かつ、焦点距離ｆnが焦点距離ｆwよりも大きいことを踏まえると、角度θnを角度θwよりも相対的に大きく設定することが効果的である。故に、第２実施形態では、第２カメラ２０の向きが第１カメラ１０の向きよりも上向きとなっているのである。角度θnと角度θwとの差は、例えば１〜３度の範囲、より好適には２度程度に設定される。
【００８１】
以上説明した第２実施形態によると、第１カメラ１０の向きと、第２カメラ２０の向きとは、ピッチング方向ＰＤにおいて異なる。このように第２カメラ２０を第１カメラ１０の向きに対して異なる向きに設置すると、画像認識の目的となる認識対象について、各撮像素子１４，２４により撮影するタイムラグを減少させることができる。こうして各撮像素子１４，２４による画像をマッチングさせることが容易となる。したがって、互いに画角の異なる第１カメラ１０と第２カメラ２０とを組み合わせたカメラモジュール１において、車両用途において求められる光学性能を発揮し、画像処理し易い形態を実現できる。
【００８２】
また、第２実施形態によると、第２カメラ２０の向きは、第１カメラ１０の向きよりも上向きとなっている。こうした向きの設定により、認識対象としての信号表示について、各撮像素子１４，２４により撮影するタイムラグを減少させることができる。こうして各撮像素子１４，２４による画像をマッチングさせることが容易となる。したがって、互いに画角の異なる第１カメラ１０と第２カメラ２０とを組み合わせたカメラモジュール１において、車両用途において求められる光学性能を発揮し、画像処理し易い形態を実現できる。
【００８３】
また、第２実施形態によると、第２カメラ２０の向きは、遠方認識限界距離において、信号表示５ｂが第２カメラ２０の画角内に収まるように設定されている。このようにすると、車両２の走行により信号表示５ｂとの距離が縮小するに従って、当該信号表示５ｂが第２カメラ２０の画角から外れるときには、第１カメラ１０の第１撮像素子１４にて信号表示５ｂを画像認識可能に撮像することができるので、第２カメラ２０から第１カメラ１０へと連続的かつ円滑に信号表示５ｂを捕捉することができる。
【００８４】
また、第２実施形態によると、第２カメラ２０の向きは、遠方認識限界距離において、外界５における路面として仮想される水平面ＨＰが第２カメラ２０の画角内に収まるように設定されている。このようにすると、認識対象としての信号表示５ｂの距離Ｘを、信号機５ａの脚部５ｃと路面との位置関係から推定することが容易に可能となるため、画像認識の精度を高めることができる。
【００８５】
また、第２実施形態によると、数６に示される条件が成立している。こうした条件を成立させることにより、遠方認識限界距離において、信号表示５ｂが第２カメラ２０の画角内に収まることと、当該向きが外界５における路面として仮想される水平面ＨＰが第２カメラ２０の画角内に収まることが両立するように、当該第２カメラの向きが設定される。故に、車両用途において求められる光学性能を発揮し、画像処理し易い形態を確実に実現できる。
【００８６】
（他の実施形態）
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
【００８７】
具体的に変形例１としては、第１カメラ１０の画角と第２カメラ２０の画角とは、互いに異なっていればよく、搭載される車両２の用途等に合わせて変更することができる。
【００８８】
変形例２としては、カメラモジュール１には、第１カメラ１０及び第２カメラ２０とは別の第３カメラが追加して設けられていてもよく、さらに別のカメラが追加して設けられていてもよい。
【００８９】
変形例３としては、第２実施形態において数６が成立する条件下、第１カメラ１０の向きと、第２カメラ２０の向きとは、ピッチング方向ＰＤにおいて同一であってもよい。
【００９０】
変形例４としては、制御部３２の少なくとも一部は、カメラモジュール１の外部において構成されていてもよい。例えば、画像処理部３４を、車両２側の電気制御装置（ＥＣＵ）に構成し、カメラモジュール１とＥＣＵとの通信等により画像認識が実施されていてもよい。
【００９１】
変形例５としては、第１撮像素子１４のカラーベイヤ配列と第２撮像素子２４のカラーベイヤ配列とは、互いに異なっていてもよい。
【００９２】
変形例６としては、第１レンズユニット１１のＦ値と、第２レンズユニット２１のＦ値とは、互いに異なっていてもよい。
【００９３】
変形例７としては、認識対象は、信号表示５ｂに限られない。例えば先行車両、歩行者、路面上の道路標識等を認識対象とすることができる。
【００９４】
変形例８としては、レンズ系１３，２３は、中心軸ＣＡ１，ＣＡ２に対して回転対称性を有していなくてもよく、例えば一部のレンズが偏心等していてもよい。
【００９５】
変形例９として、カメラモジュール１は、リアウインドシールドの内側に装着されるようにしてもよい。
【符号の説明】
【００９６】
１  カメラモジュール、２  車両、３  フロントウインドシールド（ウインドシールド）、５  外界、１０  第１カメラ、１１  第１レンズユニット、１４  第１撮像素子、２０  第２カメラ、２１  第２レンズユニット、２４  第２撮像素子
【図１】
2019102888.tif 000016
【図２】
2019102888.tif 000017
【図３】
2019102888.tif 000018
【図４】
2019102888.tif 000019
【図５】
2019102888.tif 000020
【図６】
2019102888.tif 000021
【図７】
2019102888.tif 000022
【図８】
2019102888.tif 000023
【図９】
2019102888.tif 000024