(57)【要約】【課題】画像認識に好適な高品位な画像データを提供できる撮像システムを提供する。【解決手段】撮像システム（１００）は第１の撮像装置と第２の撮像装置を備える。第１の撮像装置は、第１の画角（Ｗ１）で被写体像を結像する第１の光学系と、第１の光学系を介して結像された被写体像を撮像し、第１の画像データを生成する第１の撮像素子とを含む。第２の撮像装置は、第１の画角よりも大きい第２の画角（Ｗ２）で被写体像を結像する第２の光学系と、第２の光学系を介して結像された被写体像を撮像し、第２の画像データを生成する第２の撮像素子とを含む。単位画角に含まれる被写体像を撮像する画素の数を解像度とした場合に、第２の光学系は、第１の画角の範囲に対応する撮像面の領域における解像度よりも、第１の画角の範囲に対応する領域以外の領域における解像度が高くなるように像を結像する。【選択図】図１
2018195951.tif 000002
【特許請求の範囲】
【請求項１】
第１の画角で被写体像を結像する第１の光学系と、前記第１の光学系を介して結像された被写体像を撮像し、第１の画像データを生成する第１の撮像素子とを含む第１の撮像装置と、
前記第１の画角よりも大きい第２の画角で被写体像を結像する第２の光学系と、前記第２の光学系を介して結像された被写体像を撮像し、第２の画像データを生成する第２の撮像素子とを含む第２の撮像装置と、を備え、
単位画角に含まれる被写体像を撮像する画素の数を解像度とした場合に、前記第２の光学系は、前記第１の画角の範囲に対応する撮像面の領域における解像度よりも、前記第１の画角の範囲に対応する領域以外の領域における解像度が高くなるように像を結像する、
撮像システム。
【請求項２】
各撮像装置で生成された画像データを解析する画像解析装置をさらに備え、
前記画像解析装置は、前記第１の画角の範囲における情報を、前記第１の画像データを解析して所得し、前記第２の画角の範囲内でかつ前記第１の画角の範囲外における情報を、前記第２の画像データを解析して所得する、
請求項１に記載の撮像システム。
【請求項３】
前記第２の画角よりも大きい第３の画角で被写体像を結像する第３の光学系と、前記第３の光学系を介して結像された被写体像を撮像し、第３の画像データを生成する第３の撮像素子とを含む第３の撮像装置をさらに備え、
前記第３の光学系は、前記第２の画角の範囲に対応する撮像面の領域における解像度よりも、前記第２の画角の範囲に対応する領域以外の領域における解像度が高くなるように像を結像する、
請求項１または２に記載の撮像システム。
【請求項４】
前記第２及び第３の光学系は自由曲面レンズを含む、請求項３に記載の撮像システム。
【請求項５】
請求項２に記載の撮像システムと、
前記撮像システムで解析された情報に基づき移動体の動作を制御する制御装置と、を備えた、
移動体制御システム。
【請求項６】
前記撮像システムは、前記第２の画角よりも大きい第３の画角で被写体像を結像する第３の光学系と、前記第３の光学系を介して結像された被写体像を撮像し、第３の画像データを生成する第３の撮像素子とを含む第３の撮像装置をさらに備え、
前記第３の光学系は、前記第２の画角の範囲に対応する撮像面の領域における解像度よりも、前記第２の画角の範囲に対応する領域以外の領域における解像度が高くなるように像を結像し、
前記画像解析装置は、さらに、前記第３の画角の範囲内でかつ前記第２の画角の範囲外における情報を、前記第３の画像データを解析して取得する、
請求項５に記載の移動体制御システム。
【請求項７】
各撮像装置は、それぞれの光軸の水平方向の位置が略一致するように前記移動体に対して配置される、請求項５または６に記載の移動体制御システム。
【請求項８】
各撮像装置は、移動体の前方の画像を撮像するように移動体の前部に取り付けられる、請求項５または６に記載の移動体制御システム。
【請求項９】
前記移動体は、自動車、鉄道、船舶、航空機、ロボット、ロボットアームまたはドローンである、請求項５または６に記載の移動体制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、所定領域の像を撮像し、画像解析用の画像データを生成する撮像システムに関する。また、本開示は、撮像システムを用いた移動体の制御システムに関する。
【背景技術】
【０００２】
近年、自動車の分野において、カメラにより車両前方の画像を撮像し、撮像した画像に基づき走行中の車線や、前方にある車両、人物、障害物等を認識して、車両の動き（速度、ブレーキ）を制御する自動車が普及している。このため、車両に搭載される車載カメラが種々開発されている（例えば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−０４６０５１号公報
【特許文献２】特開２０１７−０１７４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前方にある車両、人物、障害物等を撮像画像から精度よく認識するためには、高品位な撮像画像が要求される。
【０００５】
本開示は、画像認識に好適な高品位な画像データを提供できる撮像システムを提供する。また、本開示は、そのような撮像システムを備えた移動体制御システムを提供する。
【課題を解決するための手段】
【０００６】
本開示の第１の態様において、撮像システムが提供される。撮像システムは、第１の画角で被写体像を結像する第１の光学系と、第１の光学系を介して結像された被写体像を撮像し、第１の画像データを生成する第１の撮像素子とを含む第１の撮像装置と、第１の画角よりも大きい第２の画角で被写体像を結像する第２の光学系と、第２の光学系を介して結像された被写体像を撮像し、第２の画像データを生成する第２の撮像素子とを含む第２の撮像装置と、を備える。単位画角に含まれる被写体像を撮像する画素の数を解像度とした場合に、第２の光学系は、第１の画角の範囲に対応する撮像面の領域における解像度よりも、第１の画角の範囲に対応する領域以外の領域における解像度が高くなるように像を結像する。
【０００７】
本開示の第２の態様において、撮像画像に基づき移動体の動作を制御する移動体制御システムが提供される。移動体制御システムは、第１の態様の撮像システムと、撮像システムで解析された情報に基づき移動体の動作を制御する制御装置と、を備える。
【発明の効果】
【０００８】
本開示の撮像システムによれば、画像解析用の高品位な画像データを生成することができる。本開示の移動体制御システムによれば、高品位な画像データの解析結果に基づき移動体の動作を制御するため、状況に応じた精度のよい制御が実現できる。
【図面の簡単な説明】
【０００９】
【図１】自動車の車両に搭載された、本開示の実施の形態１における撮像システムの構成を示す図
【図２】撮像システムにおける画像解析装置の具体的な構成を示す図
【図３】撮像システムにおける各撮像装置の具体的な構成を示す図
【図４】撮像システムにおける各撮像装置の画角（撮影範囲）を説明した図
【図５】（Ａ）第１の撮像装置の光学系（第１の光学系）を介して撮像素子上に結像される像（第１画像）の解像度の分布を説明した図、（Ｂ）第２の撮像装置の光学系（第２の光学系）を介して撮像素子上に結像される像（第２画像）の解像度の分布を説明した図、（Ｃ）第３の撮像装置の光学系（第３の光学系）を介して撮像素子上に結像される像（第３画像）の解像度の分布を説明した図
【図６】第２の撮像装置の光学系の構成例を示した図（光軸を含む垂直面で自由曲面レンズを仮想的に切断したときの断面）
【図７】（Ａ）第１の光学系に対する画角と像点の関係を示す図、（Ｂ）第２の光学系に対する画角と像点の関係を示す図、（Ｃ）第３の光学系に対する画角と像点の関係を示す図
【図８】第２の撮像装置の光学系により撮像素子上に結像される像の解像度を説明するための図
【図９】第１ないし第３の撮像装置により撮像された画像に基づき対象物を検知したときの検知率を説明した図
【図１０】（Ａ）第１の光学系を介して撮像素子上に結像される像（第１画像）の解像度の分布の別の例を説明した図、（Ｂ）第２の光学系を介して撮像素子上に結像される像（第２画像）の解像度の分布の別の例を説明した図、（Ｃ）第３の光学系を介して撮像素子上に結像される像（第３画像）の解像度の分布の別の例を説明した図
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１１】
（実施の形態１）
［１−１．構成］
図１は、本開示の実施の形態１に係る撮像システムを自動車（移動体の一例）に取り付けたときの構成を示す図である。自動車の車両２００は、車両前方のシーンを撮影し、撮影画像に基づき車両前方の状況を解析する撮像システム１００と、撮像システム１００により解析された解析結果に基づき車両の動きを制御する制御装置３０と、制御装置３０により制御される制御対象４０とを備える。制御対象４０は、例えば、自動車の種々の動作を実現するためのブレーキ、エンジン、ライト、スピーカ、ディスプレイ、バイブレータ、モータ、アクチュエータ等である。撮像システム１００と制御装置３０は車両制御システムを構成する。
【００１２】
撮像システム１００は、車両前方のシーンを撮像し画像データを生成する第１ないし第３の撮像装置１０ａ〜１０ｃと、第１ないし第３の撮像装置１０ａ〜１０ｃで生成された画像データを解析する画像解析装置２０と、を備える。第１ないし第３の撮像装置１０ａ〜１０ｃは、車両前方部（例えば、フロントバンパー）において、水平方向において光軸が互いに略一致するように配置される。
【００１３】
第１ないし第３の撮像装置１０ａ〜１０ｃは、図１に示すようにそれぞれ異なる水平方向の画角Ｗ１〜Ｗ３を有する。第１の撮像装置１０ａは最も狭い画角Ｗ１（本例では、３５°）の領域を撮像する。第２の撮像装置１０ｂは画角Ｗ１よりも大きい画角Ｗ２（本例では、５０°）の領域を撮像する。第３の撮像装置１０ｃは画角Ｗ２よりも大きい画角Ｗ３（本例では、１２０°）の領域を撮像する。このように、異なる画角を持つ３つの撮像装置１０ａ〜１０ｃによって異なる画角の複数の撮像画像が生成される。なお、第１ないし第３の撮像装置１０ａ〜１０ｃは、それらの光軸が水平方向において同じ位置または近くの位置に配置されている。
【００１４】
画像解析装置２０は、３つの撮像装置１０ａ〜１０ｃにより撮像された撮像画像を受信し、受信した撮像画像を解析し、前方にある車両、人物、自転車、車線、道路標識、障害物、等（以下「検知対象」という）を認識する。図２は、画像解析装置２０の構成を示す図である。画像解析装置２０は、第１ないし第３の撮像装置１０ａ〜１０ｃのそれぞれから画像データを入力するための第１ないし第３インタフェース２３ａ〜２３ｃと、入力した各画像データに対して所定の対象物を検出するための解析処理を行う画像処理回路２１と、制御装置３０へ解析結果を送信する第４インタフェース２５と、画像処理回路２１で実行されるプログラムや入力した画像データ等を格納するデータ記憶部２９とを備える。画像処理回路２１はＣＰＵを含み、データ記憶部２９に格納されたプログラムを実行することで以下に説明する機能を実現する。画像処理回路２１は、以下の機能を実現するように設計された専用のハードウェア回路を含んでも良い。すなわち、画像処理回路２１は、ＣＰＵ、ＭＰＵ，ＦＰＧＡ、ＤＳＰ、またはＡＳＩＣ等を含んでもよい。データ記憶部２９は、ＨＤＤ、ＳＳＤ、不揮発性のメモリ、ＲＡＭ等で構成される。
【００１５】
図３は、撮像システム１００における第１ないし第３の撮像装置１０ａ〜１０ｃの詳細な構成を示す図である。第１ないし第３の撮像装置１０ａ〜１０ｃは、被写体を撮像して第１ないし第３画像データをそれぞれ生成する。第１の撮像装置１０ａは、光学系１２２ａと、光学系１２２ａを介して受光した被写体像を撮像し画像信号を生成する撮像素子１２１ａと、画像信号に対して所定の画像処理（ガンマ補正、歪曲補正等）を施す信号処理回路１３１ａと、信号処理回路１３１ａで信号処理された画像信号を外部機器へ出力するためのインタフェース１３３ａ（回路）とを備える。第２の撮像装置１０ｂは、光学系１２２ｂと、光学系１２２ｂを介して受光した被写体像を撮像し画像信号を生成する撮像素子１２１ｂと、画像信号に対して所定の画像処理（ガンマ補正、歪曲補正等）を施す信号処理回路１３１ｂと、信号処理回路１３１ｂで信号処理された画像信号を外部機器へ出力するためのインタフェース１３３ｂ（回路）とを備える。第３の撮像装置１０ｃは、光学系１２２ｃと、光学系１２２ｃを介して受光した被写体像を撮像し画像信号を生成する撮像素子１２１ｃと、画像信号に対して所定の画像処理（ガンマ補正、歪曲補正等）を施す信号処理回路１３１ｃと、信号処理回路１３１ｃで信号処理された画像信号を外部機器へ出力するためのインタフェース１３３ｃ（回路）とを備える。撮像素子１２１ａ〜１２１ｃは例えばＣＣＤまたはＣＭＯＳイメージセンサである。そのアスペクト比は例えば１６：９であり、サイズは例えば１９２０×１０８０画素である。
【００１６】
図４は、第１ないし第３の撮像装置１０ａ〜１０ｃの画角を説明した図である。第１の撮像装置１０ａは画角が３５°の範囲の領域Ａ１を撮像する。第２の撮像装置１０ｂは画角が５０°の範囲の領域（領域Ａ２ａ、領域Ａ１及び領域Ａ２ｂ）を撮像する。第３の撮像装置１０ｃは画角が１２０°の範囲の領域（領域Ａ３ａ、領域Ａ２ａ、領域Ａ１、領域Ａ２ｂ及び領域Ａ３ｂ）を撮像する。このように各撮像装置１０ａから１０ｂはそれぞれ異なる画角の範囲を撮像する。
【００１７】
図５は、第１ないし第３の撮像装置１０ａ〜１０ｃの光学系１２２ａ〜１２２ｃにより撮像素子の撮像面上に形成される像における解像度を説明した図である。
【００１８】
第１の撮像装置１０ａにおける光学系１２２ａは、画角が３５°の領域（すなわち、領域Ａ１）の被写体像を結像するように設計されている。第２の撮像装置１０ｂにおける光学系１２２ｂは、画角が５０°の領域（すなわち、領域Ａ２ａ、領域Ａ１及び領域Ａ２ｂ）の被写体像を結像するように設計されている。第３の撮像装置１０ｃにおける光学系１２２ｃは、画角が１２０°の領域（すなわち、領域Ａ３ａ、領域Ａ２ａ、領域Ａ１、領域Ａ２ｂ及び領域Ａ３ｂ）の被写体像を結像するように設計されている。
【００１９】
また、第１の撮像装置１０ａの光学系１２２ａは、結像する像５０ａ（第１画像）の全領域において一様な“解像度”が得られるように設計されている。ここで、“解像度”とは、光学系１２２ａ〜１２２ｃを介して撮像素子１２１ａ〜１２１ｃ上に形成される単位画角の像を撮像するために使用される撮像素子１２１ａ〜１２１ｃの画素の数である（詳細は後述）。これに対して、第２および第３の撮像装置１０ｂ、１０ｃにおける光学系１２２ｂ、１２２ｃは、結像する像５０ｂ（第２画像）、５０ｃ（第３画像）において、他の光学系と重複する画角の範囲に対応する領域（以下「画角重複領域」という）の解像度（または拡大率）が、画角重複領域以外の領域の解像度（または拡大率）よりも低くなるように設計されている。
【００２０】
例えば、第２の撮像装置１０ｂにおける光学系１２２ｂは、第１の撮像装置１０ａの光学系１２２ａとの間で、画角３５°の範囲が重複する（図４参照）。よって、図５（Ｂ）に示すように、光学系１２２ｂは、光学系１２２ｂにより結像される像５０ｂにおいて画角重複領域Ｒ２０の解像度（または拡大率）が、画角重複領域以外の領域Ｒ２１、Ｒ２２の解像度（または拡大率）よりも低く（疎）なるように設計される。光学系１２２ｂにより結像される像５０ｂにおいて、画角重複領域Ｒ２０は図４に示す領域Ａ１の像を含み、領域Ｒ２１、Ｒ２２はそれぞれ領域Ａ２ａ、Ａ２ｂの像をそれぞれ含む。
【００２１】
同様に、第３の撮像装置１０ｃにおける光学系１２２ｃは、第２の撮像装置１０ｂの光学系１２２ｂとの間で、画角５０°の範囲が重複する（図４参照）。よって、図５（Ｃ）に示すように、光学系１２２ｃは、光学系１２２ｃにより結像される像５０ｃにおいて、画角重複領域Ｒ３０の解像度（または拡大率）が、画角重複領域以外の領域Ｒ３１、Ｒ３２の解像度（または拡大率）よりも低く（疎）なるように設計される。光学系１２２ｃにより結像される像５０ｃにおいて、画角重複領域Ｒ３０は図４に示す領域Ａ２ａ、Ａ１及びＡ２ｂの像を含み、領域Ｒ３１、Ｒ３２はそれぞれ領域Ａ３ａ、Ａ３ｂの像を含む。
【００２２】
このような異なる解像度を有する１つの像を結像する第２および第３の撮像装置１０ｂ、１０ｃにおける光学系１２２ｂ、１２２ｃの構成を以下に説明する。
【００２３】
光学系１２２ａ〜１２２ｃは、撮像素子１２１ａ〜１２１ｃの撮像面に像を結像させる装置である。光学系１２２ａ〜１２２ｃは、レンズ、絞り、フィルター等を含む。特に、光学系１２２ｂ、１２２ｃは自由曲面レンズを含む。
【００２４】
図６は、第２の撮像装置１０ｂの光学系１２２ｂの構成の一例を示した図である。図６は、光軸１２９を含む垂直面（撮像素子１２１ｂの水平方向を法線とする平面）で光学系１２２ｂを仮想的に切断したときの断面図である。ここで、光軸１２９は、撮像素子１２１ｂの撮像面の中心を通過し、撮像面と直交する仮想線である。なお、光学系１２２ｂが光を反射するミラーやプリズムなどを備えている場合は、光軸は反射によって屈曲する。図６に示すように、光学系１２２ｂは複数のレンズを含む。特に、光学系１２２ｂは自由曲面レンズ１２３、１２４を含む。
【００２５】
自由曲面レンズとは、結像のために光を屈折させる面が、非円弧状で、且つ回転対称ではないレンズである。なお、シリンドリカルレンズも円弧状レンズの一種として、自由曲面レンズとは異なるレンズとする。自由曲面レンズは、真円の一部ではない非円弧状の形状を有する。自由曲面レンズの材質は、特に限定されるものではないが、ガラスや樹脂などを例示することができる。自由曲面レンズの製造方法も特に限定されるものではないが、例えば金型などの型を用いて自由曲面レンズを成形する製造方法を例示することができる。
【００２６】
本実施の形態の自由曲面レンズ１２３及び１２４の組は、画角によって結像する像の拡大率を異ならせることが可能なレンズを構成する。特に、本実施の形態では、像面に結像される像全体において、中心（光軸）を含む所定範囲（所定の画角）の領域の拡大率よりも、その外側の領域の拡大率が大きくなるように自由曲面レンズ１２３及び１２４が設計される。すなわち、図５（Ｂ）に示すように、光学系１２２ｂを介して撮像素子１２１ｂの撮像面に結像される像（第２画像）５０ｂにおいて、３５°の画角に対応する領域Ｒ２０に結像される像の拡大率よりも、その外側にある３５以上で５０°以下の画角に対応する領域Ｒ２１、Ｒ２２に結像される像の拡大率が大きくなるように、自由曲面レンズ１２３及び１２４が設計されている。これにより図５（Ｂ）に示すように、像５０ｂにおいて、中央部分の領域Ｒ２０における像の解像度よりも、その外側の領域Ｒ２１、Ｒ２２の像の解像度が大きく（密に）なる。
【００２７】
以上、第２の撮像装置１０ｂにおける光学系１２２ｂについて説明したが、第３の撮像装置１０ｃにおける光学系１２２ｃについても同様の構成を有する。
【００２８】
図７（Ａ）は、第１の撮像装置１０ａにおける光学系１２２ａに対する、画角と像点の関係を示した図である。図７（Ｂ）は、第２の撮像装置１０ｂにおける光学系１２２ｂに対する、画角と像点の関係を示した図である。図７（Ｃ）は、第３の撮像装置１０ｃにおける光学系１２２ｃに対する、画角と像点の関係を示した図である。なお、図７（Ａ）〜（Ｃ）は、光軸を中心として像面の第一象限における画角と像点の関係を示している。他の象限については、第一象限との間で、縦軸、横軸に対して線対称となるような関係を有する。
【００２９】
図７（Ａ）、（Ｂ）においては、水平方向及び垂直方向において画角の５°毎に像点がプロットされており、図７（Ｃ）においては、水平方向及び垂直方向において画角の１０°毎に像点がプロットされている。図７（Ａ）を参照すると、第１の撮像装置１０ａの光学系１２２ａについて、画角に関わらず像点の間隔は一様である。これは、拡大率が一様であることを示す。
【００３０】
これに対して、図７（Ｂ）を参照すると、第２の撮像装置１０ｂの光学系１２２ｂについては、第１象限での画角が１７．５°（＝３５°／２）より大きい領域では、画角が１７．５°より小さい領域と比べて、像点のプロットの間隔が広くなっている。これは、第１象限での画角が１７．５°より大きい領域では、画角が１７．５°より小さい領域よりも、拡大されて結像されることを示す。
【００３１】
同様に、図７（Ｃ）を参照すると、第３の撮像装置１０ｃの光学系１２２ｃについて、第１象限での画角が２５°（＝５０°／２）より大きい領域では、画角が２５°より小さい領域と比べて、像点のプロットの間隔が広くなっている。これは、第１象限での画角が２５°より大きい領域では、画角が２５°より小さい領域よりも、拡大されて結像されることを意味する。
【００３２】
以上のような光学特性を持つように光学系１２２ｂ、１２２ｃを設計することで、図５（Ｂ）、（Ｃ）に示すように、撮像素子１２１ｂ、１２１ｃにより生成される画像５０ｂ、５０ｃにおいて、中央部の領域Ｒ２０、Ｒ３０に結像される像の解像度よりも、その外側の領域Ｒ２１、Ｒ２２、Ｒ３１、Ｒ３２に結像される像の解像度を大きく（すなわち、密に）することができる。
【００３３】
ここで、“解像度”とは、光学系１２２ａ〜１２２ｃを介して撮像素子１２１ａ〜１２１ｃ上に形成される単位画角の像を撮像するために使用される撮像素子１２１ａ〜１２１ｃの画素の数と定義する（下記の式（１）参照）。
解像度＝所定画角の像を撮像するのに要する画素の数／所定画角      （１）
【００３４】
図８を参照し、“解像度”について説明する。図８は、第２の撮像装置１０ｂの光学系１２２ｂによる撮像素子１２１ｂ上への結像状態を説明した図である。図８に示すように、光軸１２９を含み画角θの範囲の第一領域ｒ１の被写体像と、領域ｒ１に隣接し、同じ画角θを有する第二領域ｒ２の被写体像とを光学系１２２ｂを介して撮像素子１２１ｂ上に結像する場合を想定する。図８（Ａ）は、光軸を含む水平面で仮想的に切断したときの撮像素子１２１ｂ上の結像状態を模式的に説明した図である。図８（Ｂ）は、撮像素子１２１ｂの撮像面に結像される像の状態を模式的に説明した図である。
【００３５】
前述のように、光学系１２２ｂは、図５（Ｂ）に示すように中央部分の領域Ｒ２０（画角重複領域）の拡大率（Ｍ１）よりも、その外側の領域Ｒ２１、Ｒ２２の拡大率（Ｍ２）の方が高くなるように設計されている。このため、光学系１２２ｂを介して撮像素子１２１ｂにより、中央部分（光軸）を含む第一領域ｒ１の被写体を撮像した場合、図８（Ａ）、（Ｂ）に示すように、第一領域ｒ１の像は拡大率Ｍ１で拡大されて撮像面に結像される。このときの撮像面に結像される第一領域ｒ１の像の長さをＬ１とする。中央部分（光軸）から離れた第二領域ｒ２の被写体を撮像した場合、中央部分の拡大率Ｍ１よりも高い拡大率Ｍ２で像が拡大されて撮像面に結像される。このため、撮像面上の第二領域ｒ２の像の長さＬ２は、第一領域ｒ１の像の長さＬ１よりも大きくなる。
【００３６】
撮像素子１２１ｂ上では二次元的に等間隔で画素が配置されているため、水平方向の像の長さが大きいほど、その像の撮像に要する画素の数は多くなる。つまり、長さＬ１を有する第一領域ｒ１の像を撮像するのに要する画素の数Ｎ１よりも、長さＬ２（＞Ｌ１）を有する第二領域ｒ２の像を撮像するのに要する画素の数Ｎ２の方が多くなる。第一領域ｒ１の画角と第二領域ｒ２の画角は同じθである。
【００３７】
したがって、第二領域ｒ２に対する像の“解像度”（＝Ｎ２／θ）（単位画角当たりの画素の数）は、第一領域ｒ１に対する像の“解像度”（＝Ｎ１／θ）よりも高く（密に）なる。
【００３８】
なお、本例では、解像度が異なるとは、主として球面レンズからなる光学系と平面の撮像素子の組み合わせによって発生する解像度の相違を意味している。
【００３９】
以上のように、本実施の形態の光学系１２２ｂ、１２２ｃは画角に応じて拡大率が異なり、その結果、撮像素子１２１ｂ、１２１ｃの撮像面上に結像される画像の解像度が画角（すなわち、画像の領域）に応じて異なる。例えば、図５（Ｂ）、（Ｃ）に示すように、撮像面上に結像される像５０ｂ、５０ｃにおいて、所定画角に対応する中央領域Ｒ２０、Ｒ３０での解像度よりも、その外側の領域Ｒ２１、Ｒ２２、Ｒ３１、Ｒ３２の解像度がより高くなる。
【００４０】
［１−２．動作］
以上のように構成された撮像システム１００について、その動作を以下に説明する。
【００４１】
撮像システム１００は車両２００に搭載されている。撮像システム１００の第１ないし第３の撮像装置１０ａ〜１０ｂはそれぞれ異なる画角で車両前方のシーンの画像を撮像する。画像解析装置２０は、第１ないし第３インタフェース２３ａ〜２３ｃを介して第１ないし第３の撮像装置１０ａ〜１０ｃにより生成された画像データ（動画）を受信する。
【００４２】
画像解析装置２０の画像処理回路２１は、各撮像装置１０ａ〜１０ｃから受信した画像データに対して画像解析を行い、車両２００の前方にある検知対象（車両、人物、自転車、車線、道路標識、障害物、等）を検出する。ここで、第１の撮像装置１０ａからの画像については、画像全体の領域が画像解析に使用される。一方、第２及び第３の撮像装置１０ｂ、１０ｃからの画像については、画像の全ての領域が解析に使用されるのではなく、一部の領域のみが解析に使用される。
【００４３】
具体的には、画角が３５°の視野の領域Ａ１に対して、画像処理回路２１は、第１の撮像装置１０ａにより生成された画像データが示す第１画像５０ａの全領域Ｒ１０に対して画像解析を行い、検知対象（車両、人物、車線、障害物等）を検出する。また、画角が３５°以上かつ５０°以下の視野の領域Ａ２ａ及びＡ２ｂに対して、画像処理回路２１は、第２の撮像装置１０ｂにより生成された画像データが示す第２画像５０ｂの一部の領域Ｒ２１、Ｒ２２に対して画像解析を行う。また、画角が５０°以上となる視野の領域Ａ３ａ及びＡ３ｂにおいて、画像処理回路２１は、第３の撮像装置１０ｃにより生成された画像データが示す第３画像５０ｃの一部の領域Ｒ３１、Ｒ３２に対して画像解析を行う。
【００４４】
３５°の画角の視野を示す第１画像５０ａにより、比較的遠方（例えば、２５０ｍ先）における検知対象の検出が行える。また、５０°〜１２０°の画角の視野を示す第３画像５０ｃにより、比較的近く（例えば、６０ｍ先）の検知対象の検出が行える。３５°〜５０°の画角の視野を示す第２画像５０ｂにより、中間の距離（例えば、１５０ｍ先）にある検知対象の検出が行える。
【００４５】
図９は、本実施の形態の撮像システム１００を用いたときの検知対象の検知率を示した図である。第１の撮像装置１０ａによる第１画像における検知率を基準（「１」）とした場合の、第２及び第３の撮像装置１０ｂ、１０ｃによる第２及び第３画像における検知率を示している。第２画像について、０〜３５°の画角に対応する領域Ｒ２０における検知率は０．７８であり、第１画像における検知率よりも低くなっているが、３５〜５０°の画角に対応する領域Ｒ２１、Ｒ２２における検知率は１．５であり、良好な検知率が得られている。同様に、第３画像について、０〜５０°の画角に対応する領域Ｒ３０における検知率は０．７２であり、第１画像における検知率よりも低くなっているが、５０〜１２０°の画角に対応する領域Ｒ３１、Ｒ３２における検知率は１．２であり、良好な検知率が得られている。
【００４６】
画像処理回路２１は、検知対象の検出結果を制御装置３０に送信する。制御装置３０は、検出結果に基づいて車両における制御対象４０の動作を制御する。制御対象４０は、例えば、ブレーキ、エンジン、ライト、スピーカ、ディスプレイ、バイブレータ等である。すなわち、制御装置３０は、検出結果（前方の交通状況）にしたがい、例えば、車両のブレーキをかけたり、エンジンの回転数を制御したり、ライトをオン／オフしたりする。また、制御装置３０は、警告音やメッセージをスピーカから出力したり、ディスプレイに表示したり、シートやハンドルを振動させたりする。
【００４７】
このように、車両２００は、撮像システム１００により車両前方の画像を撮像し、撮像した画像に基づき車両前方の交通状況を解析し、解析結果に基づき車両２００の動きを制御できる。
【００４８】
［１−３．効果等］
以上のように、本実施の形態の撮像システム１００は、第１の画角（例えば、３５°）で被写体像を結像する光学系１２２ａ（第１の光学系の一例）と、光学系１２２ａを介して結像された被写体像を撮像し、第１の画像データを生成する撮像素子１２１ａ（第１の撮像素子の一例）とを含む第１の撮像装置１０ａと、第１の画角よりも大きい第２の画角（例えば、５０°）で被写体像を結像する光学系１２２ｂ（第２の光学系の例）と、光学系１２２ｂを介して結像された被写体像を撮像し、第２の画像データを生成する撮像素子１２１ｂ（第２の撮像素子の一例）とを含む第２の撮像装置１０ｂと、を備える。単位画角に含まれる被写体像を撮像する画素の数を解像度とした場合に、光学系１２２ｂは、第１の画角の範囲に対応する撮像面の領域Ｒ２０における解像度よりも、第１の画角よりも大きい画角の範囲に対応する撮像面の領域Ｒ２１、Ｒ２２における解像度が高くなるように像を結像する。撮像システム１００はさらに、第２の画角よりも大きい第３の画角（例えば、１２０°）で被写体像を結像する光学系１２２ｃ（第３の光学系の一例）と、光学系１２２ｃを介して結像された被写体像を撮像し、第３の画像データを生成する撮像素子１２１ｃ（第３の撮像素子の一例）とを含む第３の撮像装置１０ｃを備えてもよい。その場合、光学系１２２ｃは、第２の画角の範囲に対応する撮像面の領域Ｒ３０における解像度よりも、第２の画角よりも大きい画角の範囲に対応する撮像面の領域Ｒ３１、Ｒ３２における解像度が高くなるように像を結像する。
【００４９】
上記構成により、光学系１２２ｂ及び光学系１２２ｃにおいて、他の光学系と画角が重複する領域における像の解像度よりも、他の光学系と画角が重複しない領域における像の解像度が高くなる。よって、他の光学系と画角が重複しない領域における像を高精細に撮像でき、撮像素子１２１ｂ、１２１ｃにおける画素を有効に活用でき、センシング性能を向上できる。車両２００において、その高精細の画像を画像解析に使用することで高精度に検知対象（車両、人物、車線等）の検出が可能になり、車両の動きを道路状況に応じて精度よく制御することが可能になる。
【００５０】
光学系１２２ｂ及び光学系１２２ｃは自由曲面レンズ１２３、１２４を含む。自由曲面レンズを使用することで、画角に応じて異なる拡大率を自由に設計できる。
【００５１】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【００５２】
上記の実施の形態では、撮像装置すなわち光学系の数は「３」としたが、撮像装置すなわち光学系の数は「３」に限定されない。同一方向の視野の画像を異なる画角で撮影する複数（少なくとも２つ）の撮像装置すなわち光学系を備えた撮像システムであれば、本開示の思想を適用することができる。例えば、より大きな画角を有する一の撮像装置とより小さな画角を有する他の撮像装置がある場合、一の撮像装置の光学系により結像される像において画角重複領域における解像度よりも、画角重複領域外の領域における解像度が高くなるように、一の撮像装置の光学系を設計すればよい。
【００５３】
上記の実施の形態で示した画角の例は一例であり、画角は３０°、５０°、１２０°に限定されるものではない。
【００５４】
上記の実施の形態では、ガンマ補正、歪曲補正を撮像装置１０ａ〜１０ｃで行ったが、これ等の処理は画像解析装置２０で行っても良い。または、ガンマ補正を撮像装置１０ａ〜１０ｃで行い、歪曲補正を画像解析装置２０で行っても良い。
【００５５】
上記の実施の形態では、第１の撮像装置１０ａにより結像される第１画像の解像度は一定としたが、画角に応じて変化させるように、光学系１２２ａを設計してもよい。また、第２の撮像装置１０ｂの光学系１２２ｂにより結像される像において、画角３５°以上の領域における像の解像度は一定でなく、画角に応じて変化するように、光学系１２２ｂを設計してもよい。このことは、第３の撮像装置１０ｃの光学系１２２ｃについても同様である。
【００５６】
上記の実施の形態では、図５（Ｂ）〜（Ｃ）に示すように、撮像素子上に結像された像の解像度が水平方向のみの画角に応じて異なるように光学系１２２ｂ、１２２ｃを設計した。解像度の変化のさせ方はこれに限定されない。図１０（Ｂ）〜（Ｃ）に示すように、解像度が水平方向の画角のみならず、垂直方向の画角に応じても変化するように光学系１２２ｂ、１２２ｃを設計してもよい。例えば、第１の撮像装置１０ａの光学系１２２ａを、図１０（Ａ）に示すように、水平画角がθｈ１かつ垂直画角θｖ１の範囲を撮像するよう設計する。第２の撮像装置１０ｂの光学系１２２ｂは、図１０（Ｂ）に示すように、水平画角がθｈ２（＞θｈ１）かつ垂直画角θｖ２（＞θｖ１）の範囲を撮像するよう設計する。第３の撮像装置１０ｃの光学系１２２ｃは、図１０（Ｃ）に示すように、水平画角がθｈ３（＞θｈ２）かつ垂直画角θｖ３（＞θｖ２）の範囲を撮像するよう設計する。さらに、第２の撮像装置１０ｂの光学系１２２ｂを、水平画角がθｈ１かつ垂直画角がθｖ１の範囲に対応する領域Ｒ２０の解像度よりも、領域Ｒ２０の周囲にある領域Ｒ２５の解像度が高くなるように設計してもよい。また、第３の撮像装置１０ｃの光学系１２２ｃを、水平画角がθｈ２かつ垂直画角がθｖ２の範囲に対応する領域Ｒ３０の解像度よりも、領域Ｒ３０の周囲にある領域Ｒ３５の解像度が高くなるように設計してもよい。このように光学系１２２ｂ、１２２ｃを設定することで、画像解析に使用する撮像画像を水平画角と垂直画角の双方に応じて切り替える場合であっても対応することができる。
【００５７】
上記の実施の形態では、車両前方のシーンを撮像するように撮像装置１０ａ〜１０ｃを配置したが、撮像装置を車両の後方や側方のシーンを撮像するように配置してもよい。
【００５８】
上記の実施の形態では、撮像システム１００を含む制御システムを自動車に適用した例を説明したが、自動車に限らず、他の移動体（鉄道、船舶、航空機、ロボット、ロボットアーム、ドローン等）に適用してもよい。この場合、制御システムは、撮像システム１００による解析結果にしたがい他の移動体の動き（モータ、アクチュエータ、ディスプレイ、ＬＥＤ、スピーカ等）を制御する。または、撮像システム１００または撮像装置１０ａ〜１０ｃを監視カメラに適用してもよい。
【００５９】
上記の実施の形態では、光学系において自由曲面レンズを用いたが、自由曲面レンズに代えて、画角に応じて拡大率（解像度）を自由に設計できるレンズであれば、他の種類のレンズ（例えば、ImmerVision社製のpanomorph lense）を用いても良い。
【００６０】
（本開示）
上記の実施の形態は以下に示す撮像システム及び移動体制御システムの構成を開示する。
【００６１】
（１）下記の構成を有する撮像システム
撮像システム（１００）は、第１の撮像装置（１０ａ）と、第２の撮像装置（１０ｂ）とを含む。第１の撮像装置（１０ａ）は、第１の画角（３５°）で被写体像を結像する第１の光学系（１２２ａ）と、第１の光学系を介して結像された被写体像を撮像し、第１の画像データを生成する第１の撮像素子（１２１ａ）とを含む。第２の撮像装置（１０ｂ）は、第１の画角よりも大きい第２の画角（５０°）で被写体像を結像する第２の光学系（１２２ｂ）と、第２の光学系を介して結像された被写体像を撮像し、第２の画像データを生成する第２の撮像素子（１２１ｂ）とを含む。単位画角に含まれる被写体像を撮像する画素の数を解像度とした場合に、第２の光学系（１２２ｂ）は、第１の画角の範囲に対応する撮像面の領域（Ｒ２０）における解像度よりも、第１の画角の範囲に対応する領域以外の領域（Ｒ２１、Ｒ２２）における解像度が高くなるように像を結像する。この撮像システムによれば、撮像素子の画素を有効に利用し、センシング性能を向上させることができる。
【００６２】
（２）（１）の撮像システムは、各撮像装置で生成された画像データを解析する画像解析装置（２０）をさらに備えてもよい。画像解析装置（２０）は、第１の画角の範囲（Ａ１）における情報を、第１の画像データ（５０ａ）を解析して所得し、第２の画角の範囲内でかつ第１の画角の範囲外（Ａ２ａ、Ａ２ｂ）における情報を、第２の画像データ（５０ｂ）を解析して所得する。
【００６３】
（３）（１）または（２）の撮像システムは、第３の撮像装置（１０ｃ）をさらに備えてもよい。第３の撮像装置（１０ｃ）は、第２の画角よりも大きい第３の画角（１２０°）で被写体像を結像する第３の光学系（１２２ｃ）と、第３の光学系を介して結像された被写体像を撮像し、第３の画像データを生成する第３の撮像素子（１２１ｃ）とを含む。第３の光学系は、第２の画角の範囲に対応する撮像面の領域（Ｒ３０）における解像度よりも、第２の画角の範囲に対応する領域以外の領域（Ｒ３１、Ｒ３２）における解像度が高くなるように像を結像する。
【００６４】
（４）（１）または（２）の撮像システムにおいて、第２及び第３光学系（１２２ｂ、１２２ｃ）は自由曲面レンズ（１２３、１２４）を含んでもよい。
【００６５】
（５）上記の実施の形態は下記の構成を有する移動体制御システムを開示する。
移動体制御システムは、上記（２）の撮像システム（１００）と、撮像システムで解析された情報に基づき移動体（２００）の動作を制御する制御装置（３０）と、を備える。この移動体制御システムによれば、高品位な画像データの解析結果に基づき移動体の動作を制御するため、状況に応じた精度のよい制御が実現できる。
【００６６】
（６）（５）の移動体制御システムにおいて、撮像システムは、第３の撮像装置（１０ｃ）をさらに備えてもよい。第３の撮像装置（１０ｃ）は、第２の画角よりも大きい第３の画角で被写体像を結像する第３の光学系（１０ｃ）と、第３の光学系を介して結像された被写体像を撮像し、第３の画像データを生成する第３の撮像素子（１２１ｃ）とを含む。第３の光学系は、第２の画角の範囲に対応する撮像面の領域における解像度よりも、第２の画角の範囲に対応する領域以外の領域における解像度が高くなるように像を結像する。制御装置は、さらに、第３の画角の範囲内でかつ第２の画角の範囲外（Ａ３ａ、Ａ３ｂ）における情報を、第３の画像データ（５０ｃ）を解析して取得してもよい。
【００６７】
（７）（５）または（６）の移動体制御システムにおいて、各撮像装置は、それぞれの光軸の水平方向の位置が略一致するように移動体に対して配置されてもよい。
【００６８】
（８）（５）または（６）の移動体制御システムにおいて、各撮像装置は、移動体の前方の画像を撮像するように移動体の前部に取り付けられてもよい。
【００６９】
（９）（５）または（６）の移動体制御システムにおいて、移動体は、自動車、鉄道、船舶、航空機、ロボット、ロボットアームまたはドローンであってもよい。
【００７０】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００７１】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００７２】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００７３】
本開示の撮像システムは、画像解析に使用するための高品位の画像データを提供でき、画像解析の結果に基づき制御対象の制御を行う制御システム（例えば、車両の制御システム）に有用である。
【符号の説明】
【００７４】
１０ａ〜１０ｃ  撮像装置
２０  画像解析装置
２１  画像処理回路
３０  制御装置
４０  制御対象
５０ａ〜５０ｃ  光学系により結像される像または撮像画像
１００  撮像システム
１２１ａ〜１２１ｃ  撮像素子
１２２ａ〜１２２ｃ  光学系
１２３、１２４  自由曲面レンズ
１３１ａ〜１３１ｃ  信号処理回路
１３３ａ〜１３３ｃ  インタフェース
２００  自動車の車両
Ａ１、Ａ２ａ、Ａ２ｂ、Ａ３ａ、Ａ３ｂ  視野の領域
Ｒ１０、Ｒ２０、Ｒ２１、Ｒ２２、Ｒ３０、Ｒ３１、Ｒ３２  光学系による像上の領域
Ｗ１〜Ｗ３  画角
【図１】
2018195951.tif 000003
【図２】
2018195951.tif 000004
【図３】
2018195951.tif 000005
【図４】
2018195951.tif 000006
【図５】
2018195951.tif 000007
【図６】
2018195951.tif 000008
【図７】
2018195951.tif 000009
【図８】
2018195951.tif 000010
【図９】
2018195951.tif 000011
【図１０】
2018195951.tif 000012