(57)【要約】【課題】広い画角を実現しつつ、センシングに重要な中央部分の領域について高い解像度の画像を得ることができる撮像装置を提供する。【解決手段】撮像装置は、画像センサと、光学系と、を備える。前記画像センサの撮像面は、光軸との交点を含む第１の領域と、前記第１の領域と異なる第２の領域と、を含む。前記光学系は、前記第１の領域の解像度が、前記第２の領域の解像度よりも高くなるように前記撮像面上に被写体像を結像する。前記被写体像における、垂直方向の画角と解像度との関係と、水平方向の画角と解像度との関係とは異なる。【選択図】図５
2019110517.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が二次元的に配置された撮像面を含み、前記撮像面上に結像された被写体像から画像データを生成する画像センサと、
所定の垂直画角と所定の水平画角の範囲にある被写体を前記撮像面上に結像させる光学系と、を備え、
単位画角に含まれる前記被写体像を撮像する画素の数を解像度とし、
前記撮像面は、光軸との交点を含む第１の領域と、前記第１の領域と異なる第２の領域と、を含み、
前記光学系は、前記第１の領域の解像度が、前記第２の領域の解像度よりも高くなるように前記撮像面上に前記被写体像を結像し、
前記被写体像における、垂直方向の画角と解像度との関係と、水平方向の画角と解像度との関係とは異なる、撮像装置。
【請求項２】
前記光学系は自由曲面レンズを含む、請求項１に記載の撮像装置。
【請求項３】
前記被写体像のうち、前記第１の領域に結像される第１被写体像の、前記垂直方向の解像度の平均値は、前記水平方向の解像度の平均値よりも高い、請求項１または２に記載の撮像装置。
【請求項４】
移動体の後部に取り付けられ、前記移動体の後方の前記被写体を撮像する、請求項１から３のいずれか一つに記載の撮像装置。
【請求項５】
前記移動体は、自動車、鉄道、船舶、航空機、ロボット、ロボットアーム、ドローン、農業用機械、または建設用機械である、請求項４に記載の撮像装置。
【請求項６】
前記光学系の、前記垂直方向の前記画角と前記水平方向の前記画角との比率は、前記撮像面のアスペクト比と対応していない、請求項１から５のいずれか一つに記載の撮像装置。
【請求項７】
請求項１〜６のいずれか一つに記載の撮像装置と、
前記撮像装置により生成された前記画像データに基づき画像を表示する表示装置と、を備えた表示システム。
【請求項８】
請求項１〜６のいずれか一つに記載の撮像装置と、
前記撮像装置により生成された前記画像データを解析する制御装置と、を備えた撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、被写体の画像を撮像する撮像装置と、撮像装置を用いた表示システムおよび撮像システムに関する。
【背景技術】
【０００２】
特許文献１は、車両に取り付けられて該車両の周辺画像を表示手段に出力するカメラモジュールを開示する。特許文献１のカメラモジュールは、車両の周辺を撮像する撮像部と、撮像部が撮像した第１画像を加工して第２画像を生成する画像生成部と、車両が前進または停止しているときには第２画像を表示手段に出力し、車両が後退する際には、第１画像を表示手段に出力する制御部とを備える。制御部は、撮像部が撮像した画像に基づいて、車両の前進、停止、および後退の状況を認識する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１２６９１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両後方の画像を撮影する場合、できるだけ多くの情報を得るためには広い画角で撮影することが望まれる。しかし、画角を広くすると画像の単位面積当たりの画素数が減少する。したがって、画像中の、センシングに必要な重要な部分では、必要な画質が得られない場合がある。これを解決するためには、広角で撮影可能な撮像装置と、センシングに重要な部分を高画質で撮影可能な撮像装置との２台で画像を撮影する必要がある。この場合、装置が大がかりとなり、コストが増大する。
【０００５】
本開示は、広い画角を実現しつつ、センシングに重要な中央部分の領域について高い解像度の画像を得ることができる撮像装置を提供する。
【課題を解決するための手段】
【０００６】
本開示の第一の態様の撮像装置は、複数の画素が二次元的に配置された撮像面を含み、前記撮像面上に結像された被写体像から画像データを生成する画像センサと、所定の垂直画角と所定の水平画角の範囲にある被写体を前記撮像面上に結像させる光学系と、を備える。単位画角に含まれる前記被写体像を撮像する画素の数を解像度とする。前記撮像面は、光軸との交点を含む第１の領域と、前記第１の領域と異なる第２の領域と、を含む。前記光学系は、前記第１の領域の解像度が、前記第２の領域の解像度よりも高くなるように前記撮像面上に前記被写体像を結像する。前記被写体像における、垂直方向の画角と解像度との関係と、水平方向の画角と解像度との関係とは異なる。
【０００７】
本開示の表示システムは、前記撮像装置と、前記撮像装置により生成された前記画像データに基づき画像を表示する表示装置と、を備える。
【０００８】
本開示の撮像システムは、撮像装置と、前記撮像装置により生成された前記画像データを解析する制御装置と、を備える。
【発明の効果】
【０００９】
本開示によれば、広い画角を実現しつつ、センシングに重要な中央部分の領域について高い解像度の画像を得ることができる撮像装置が提供される。
【図面の簡単な説明】
【００１０】
【図１】自動車の車両に搭載された、本開示の実施の形態１における撮像システムの構成を示す図
【図２】撮像システムにおける画像処理装置の構成を示す図
【図３】撮像システムにおける撮像装置の構成を示す図
【図４】撮像装置の機能を説明するための図
【図５】撮像装置の垂直方向の画角を説明した図
【図６】本開示が解決しようとする課題を説明するための図
【図７】課題を解決するための解決手段の考え方を説明するための図
【図８】撮像装置の光学系の構成例を示した図
【図９】撮像装置の光学系により結像される画像の解像度の分布を説明した図
【図１０】撮像装置の光学系により画像センサ上に結像される像の解像度を説明するための図
【図１１】撮像装置の光学系に使用される自由曲面レンズの解像度（角度分解能）特性を示す図
【図１２】（Ａ）魚眼レンズの画角及び拡大率と、（Ｂ）自由曲面レンズを含む光学系の画角及び拡大率と、を説明した図
【図１３】実施の形態１の撮像装置における光学系及び画像センサと、それらにより形成される撮像画像とを説明した図
【図１４】実施の形態２の撮像装置における光学系及び画像センサと、それらにより形成される撮像画像とを説明した図
【図１５】実施の形態２の撮像装置における光学系の解像度（角度分解能）特性を示す図
【図１６】実施の形態２の撮像装置における画像センサの画角に対する画素密度を示す図
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１２】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１３】
（実施の形態１）
［１−１．全体構成］
図１は、本開示の実施の形態１に係る撮像装置が自動車（移動体の一例）のリアカメラに適用された例を示す図である。図１の例では、撮像装置１０は、車両後方の被写体を撮像し、画像データを生成する。撮像装置１０は、車両後方のシーンを撮像するように後ろ向きで車両１００に取り付けられている。車両１００は、撮像装置１０からの画像データを処理する制御装置２０と、制御装置２０により処理された画像データに基づき画像を表示する表示装置３０と、制御装置２０により制御される制御対象６０とを備える。撮像装置１０と制御装置２０は撮像システムを構成する。また、撮像装置１０と表示装置３０は表示システムを構成する。制御対象６０とは、たとえばブレーキ、アクセル、および警告装置等の少なくともいずれか一つである。
【００１４】
表示装置３０は、液晶表示パネルまたは有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示デバイスと、表示デバイスを駆動する駆動回路とを備える。表示装置３０は、電子ルームミラーまたは車載ディスプレイ等であり、種々の情報（地図、ルート案内、ラジオ選局、および各種設定、等）を表示できる。また、表示装置３０は車両１００が後進するときに、撮像装置１０により撮像された車両後方のシーンの画像（以下「リアビュー画像」という）を表示する。運転者は、車両１００の後進時にリアビュー画像を確認することにより、車両後方の状況を把握することができ、車両を安全に後進させることができる。
【００１５】
制御装置２０は、撮像装置１０から画像データを受信する。制御装置２０は、受信した画像データの解析（つまり、画像解析）を行う。制御装置２０は、画像解析の結果、車両後方にあるオブジェクト（人物、自転車、またはその他の障害物等）を認識し、必要に応じて制御対象６０を制御する。また、制御装置２０は、撮像装置１０からの画像データに対して所定の画像処理を施し、表示装置３０に表示させる画像データを生成する。
【００１６】
以下、撮像装置１０及び制御装置２０それぞれの具体的な構成を説明する。
【００１７】
［１−１−１．制御装置］
図２は、制御装置２０の構成を示すブロック図である。制御装置２０は、撮像装置１０から画像データを入力するための第１インタフェース２３（たとえば回路）と、入力した画像データに対して画像処理及び画像解析を行うコントローラ２１と、データ等を格納するデータ記憶部２９とを備える。制御装置２０は、さらに、生成した画像データを表示装置３０へ送信する第２インタフェース２５（たとえば回路）と、制御対象６０を制御するための制御信号を制御対象６０へ送信する第３インタフェース２７（たとえば回路）と、を備える。
【００１８】
コントローラ２１はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を含み、データ記憶部２９に格納されたプログラムを実行することで種々の機能を実現する。コントローラ２１は、所望の機能を実現するように設計された専用のハードウェア回路を含んでも良い。すなわち、コントローラ２１は、ＣＰＵ、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等を含んでもよい。
【００１９】
データ記憶部２９は、ハードディスク装置、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、または半導体メモリなどの記録媒体である。データ記憶部２９は、コントローラ２１で実行されるプログラムおよびデータ等を格納する。
【００２０】
［１−１−２．撮像装置］
図３は、撮像装置１０の構成を示すブロック図である。撮像装置１０は被写体を撮像して画像データを生成するカメラである。撮像装置１０は、光学系１１と、光学系１１を介して受光した被写体像を撮像し画像信号を生成する画像センサ１２と、画像信号に対して所定の画像処理（ガンマ補正、および歪曲補正等）を施す信号処理回路１３と、信号処理回路１３で信号処理された画像信号を外部機器へ出力するためのインタフェース１４（回路）とを備える。
【００２１】
光学系１１は、画像センサ１２の撮像面に像を結像させる光学素子である。光学系１１は、レンズ、絞り、およびフィルター等を含む。光学系１１の詳細は後述する。画像センサ１２は、光学信号を電気信号に変換する撮像素子である。画像センサ１２の撮像面には、複数の画素が等間隔で二次元的に配置されている。画像センサ１２は例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、またはＮＭＯＳ（ｎ‐Ｃｈａｎｎｅｌ  Ｍｅｔａｌ‐Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。
【００２２】
図４および図５は、撮像装置１０が撮影可能な被写体領域の範囲を説明した図である。図４は水平方向における撮影可能な範囲を示し、図５は垂直方向における撮影可能な範囲を示している。撮像装置１０は水平方向において２００°の範囲を撮影可能であり、垂直方向において１８０°の範囲を撮影可能である。このように本実施の形態の撮像装置１０は、非常に広い画角での撮影を可能としている。撮像装置１０は、車両１００の後部（例えば、後部バンパ）に、垂直方向においてやや下向きに所定の俯角を持って取り付けられている。これにより、車両後方の被写体をより確実に検出できる。
【００２３】
ここで、垂直方向において広い画角で画像を撮影する場合の問題点について説明する。図５に示すように、車両１００の後方において車両１００から近い距離（例えば、０．５ｍ）に人２１０が位置している場合、垂直方向における撮影可能な画角範囲が狭いと、人２１０の顔を含む部分が画角の範囲から外れてしまう。このため、撮像画像において、人２１０の顔が含まれなくなり、撮像画像に基づく画像解析において人が検出されないおそれがある。特に、撮像装置１０は俯角を持って車両１００に取り付けられているため、車両１００の近くに人が位置する場合、その顔はより撮影されにくい状況となる。そこで、より確実に人の顔を含む部分を画角範囲内に含めるために、撮像装置１０の垂直方向の画角を広げることが考えられる。しかし、単に垂直方向の画角を広げるだけでは、さらに以下のような問題が考えられる。
【００２４】
例えば、図６の（Ａ）に示すように、垂直方向の画角が１５０°である場合に、人２１０の上部が画角範囲から外れる。そこで、人２１０の上部も画角範囲内に含めるためには、図６の（Ｂ）に示すように、垂直方向の画角を３０°だけ拡大して１８０°にすることが考えられる。これにより、人２１０の肩から上の部分も画角範囲内に入り、撮像画像において人２１０の顔が含まれることになる。この場合、図６の（Ｂ）に示す撮像画像は、図６の（Ａ）に示す撮像画像と同じ画像サイズでありながら、垂直方向において、より広い被写体範囲を含む。このため、図６の（Ｂ）に示す撮像画像内に含まれる各オブジェクトの垂直方向のサイズは、図６の（Ａ）に示す撮像画像内に含まれるものよりも小さくなる。例えば、図６の（Ｂ）の撮像画像において車両１００から離れた所に位置する人２２０の垂直方向のサイズは、図６の（Ａ）のものよりも小さくなる。このため、人２２０の顔部分の画像の解像度が不足し、制御装置２０が画像解析しても、人２２０の顔を検出できない場合がある。特に人２２０が小さい子供である場合、顔のサイズが小さいために、この課題はより顕著になる。
【００２５】
そこで、本開示者らは、垂直方向の画角を全体的に拡大しつつ、注視したい画像領域（例えば、中央部）については十分な解像度が得られるように被写体像を画像センサ１２に結像させる光学系を考案した。すなわち、本開示者らは、図７の（Ｂ）に示すような画像を画像センサ１２上に結像させる光学系を考案した。なお、図７の（Ａ）に示す画像は、図６の（Ｂ）に示す画像と同じであり、均一な拡大率で結像して得られる画像である。図７の（Ｂ）に示す画像は、垂直方向の画角は図７の（Ａ）に示す画像と同様に１８０°を確保しつつ、図７の（Ａ）に示す画像と比較して、画像中央部の像がより垂直方向に拡大され、上下の端部（３０°の画角範囲）の像が垂直方向に圧縮されている。これにより、垂直方向において広い画角を実現しつつ、注視したい中央部の領域において高い解像度の画像を得ることができ、センシング時の課題を解決することができる。以下、このような光学特性を有する光学系１１の構成について具体的に説明する。
【００２６】
［１−１−２−１．光学系］
図８は、光学系１１の具体的な構成の一例を示した図である。図８は、光軸Ｚを含む垂直面（画像センサの水平方向を法線とする平面）で光学系１１を仮想的に切断したときの断面を模式的に示す図である。ここで、光軸Ｚは、画像センサ１２の撮像面の中心を通過し、撮像面と直交する仮想線である。なお、光学系１１が光を反射するミラーまたはプリズムなどを備えている場合は、光軸は反射によって屈曲する。図８に示すように、光学系１１は、複数のレンズ及び絞り１１５を含む。特に光学系１１は自由曲面レンズ１１１、１１２を含む。
【００２７】
自由曲面レンズとは、結像のために光を屈折させる面が、非円弧状で、且つ回転対称ではないレンズである。なお、本開示は、シリンドリカルレンズも円弧状レンズの一種として定義する。つまり、本開示は、シリンドリカルレンズを自由曲面レンズとは異なるレンズと定義する。自由曲面レンズは、真円の一部ではない非円弧状の形状で、水平軸および垂直軸のいずれに依存せず、対角方向の面形状も自由に設定できるレンズ形状を有する。例えば、ＸＹ多項式面で表現されるようなレンズである。自由曲面レンズの材質は、特に限定されるものではないが、たとえばガラスまたは樹脂などである。自由曲面レンズの製造方法も特に限定されるものではないが、例えば金型などの型を用いて自由曲面レンズを成形する製造方法である。
【００２８】
自由曲面レンズ１１１、１１２の組は、画角に応じて、結像する像の拡大率を異ならせることが可能なレンズを構成する。自由曲面レンズ１１１、１１２は、図７の（Ｂ）に示すように、光学系１１を介して画像センサ１２の撮像面に結像される撮像画像において、中央の領域に結像される像の拡大率が大きく、上下の端部の領域に結像される像の拡大率が小さくなるように設計される。
【００２９】
図９は、光学系１１により画像センサ１２の撮像面に結像される撮像画像３００の解像度を示した図である。図９に示すように、撮像画像３００において、中央部分の領域Ｒ１における像の解像度は高く（密）、領域Ｒ１の外の領域Ｒ２の像の解像度は領域Ｒ１に比して小さく（疎）なっている。領域Ｒ１の中心は、光学系１１の光軸Ｚが通過する領域である。つまり領域Ｒ１の中心は、光軸Ｚとの交点である。領域Ｒ１の画像は高い解像度を有するため、領域Ｒ１の画像を使用することでセンシングの精度を高めることができる。領域Ｒ１および領域Ｒ２において、解像度が不連続とならないように、つまり解像度が連続的かつ単調に変化するように光学系１１は設計される。
【００３０】
ここで、像の解像度とは、光学系１１を介して画像センサ１２上に形成される単位画角の像を撮像するために使用される画像センサ１２の画素の数とする。解像度は下記式で定義される。
【００３１】
解像度＝所定画角の像を撮像するのに要する画素の数／所定画角      （１）
図１０を参照し、光学系１１により結像される像の解像度についてより具体的に説明する。図１０は、光軸Ｚを含む垂直面（水平面に直交する面）で仮想的に切断したときの画像センサ１２上の結像状態を模式的に説明した図である。図１０に示すように、光軸Ｚを含み垂直方向における画角θｘの範囲の第一領域ｒ１の被写体像と、同じ画角θｘを有する第二領域ｒ２の被写体像とを光学系１１を介して画像センサ１２上に結像する場合を検討する。領域ｒ１は撮像画像の領域Ｒ１に対応する被写体領域の一部であり、領域ｒ２は撮像画像の領域Ｒ２に対応する被写体領域の一部である。
【００３２】
光学系１１は、撮像画像の中央部分の領域Ｒ１の拡大率（Ｍ１）が高く、上下の端部の領域Ｒ２の拡大率（Ｍ２）が低くなるように設計されている。このため、光学系１１を介して画像センサ１２により、光軸Ｚを含む第一領域ｒ１の被写体を撮像した場合、図１０に示すように、第一領域ｒ１の像は拡大率Ｍ１で拡大されて、画像センサ１２の撮像面に結像される。一方、光軸Ｚから離れた第二領域ｒ２の被写体を撮像した場合、中央部分の拡大率Ｍ１よりも低い拡大率Ｍ２で像が拡大されて画像センサ１２の撮像面に結像される。このため、撮像面上の第二領域ｒ２の像の長さＬ２は第一領域ｒ１の像の長さＬ１よりも小さくなる。
【００３３】
画像センサ１２上では二次元的に等間隔で画素が配置されているため、垂直方向の像の長さが大きいほど、その像の撮像に要する画素の数は多くなる。つまり、長さＬ１を有する第一領域ｒ１の像を撮像するのに要する画素の数Ｎ１は、長さＬ２（＜Ｌ１）を有する第二領域ｒ２の像を撮像するのに要する画素の数Ｎ２よりも多くなる。第一領域ｒ１の画角と第二領域ｒ２の画角は同じ（θｘ）である。したがって、第一領域ｒ１に対する像の解像度（＝Ｎ１／θｘ）（単位画角当たりの画素の数）は、第二領域ｒ２に対する像の解像度（＝Ｎ２／θｘ）よりも高くなる。
【００３４】
図１１は、本実施の形態の光学系１１における、半画角（光軸Ｚを基準とした画角）に対する解像度（角度分解能）特性を示した図である。図１１は、垂直方向および水平方向それぞれにおける画角に対する解像度特性を示す。
【００３５】
図１１に示すように、垂直方向において、画角が小さい領域（例えば、半画角で０°以上２５°以下の範囲）の解像度は、それよりも画角が大きい領域（例えば、半画角で２５°より大きい範囲）の解像度よりも高い。同様に水平方向においても、画角が小さい領域（例えば、半画角で０°以上２５°以下の範囲）の解像度は、それよりも画角が高い領域（例えば、半画角で２５°より大きい範囲）の解像度よりも高い。
【００３６】
以上のような光学特性を持つように自由曲面レンズ１１１及び１１２を設計し、水平画角が０°以上５０°以下かつ垂直画角が０°以上５０°以下の範囲を第１の領域Ｒ１とする。これにより、図９に示すように、画像センサ１２により生成される撮像画像３００において、中央の領域Ｒ１に結像される像の解像度を、それ以外の領域Ｒ２に結像される像の解像度よりも大きく（すなわち、密に）することができる。
【００３７】
さらに、本実施の形態では、図１１に示すように、垂直方向における画角と解像度との関係は、水平方向における画角と解像度との関係と異なる。つまり、共通の画角範囲（たとえば図１１では半画角０°〜９０°の範囲）において、垂直方向と水平方向の解像度特性が異なる。光学系１１をこのような光学特性を有するように設計することで、たとえば領域Ｒ１の被写体像のうち、垂直方向の解像度の平均値を、水平方向の解像度の平均値よりも高くすることができる。
【００３８】
図１２は、魚眼レンズと本実施の形態の光学系１１における撮影可能な画角範囲を対比して説明した図である。図１２の（Ａ）は魚眼レンズにおける撮影可能な画角範囲を説明した図である。図１２の（Ｂ）は本実施の形態の自由曲面レンズを含む光学系１１における撮影可能な画角範囲を説明した図である。領域Ｒ１０は、車両後方において特にセンシングに必要な領域を示す。
【００３９】
図１２の（Ａ）に示すように、魚眼レンズの場合、中央領域Ｒ１の解像度を、周辺領域Ｒ１ａの解像度よりも高くすることができる。しかし、魚眼レンズの場合、レンズの画角は画像センサのアスペクト比によって制限される。例えば、画像センサのアスペクト比（Ｈ：Ｖ）が４：３の場合、水平方向の画角を２００°とすると、垂直方向の画角は１５０°に制限される。したがって、垂直方向の画角が１５０°より大きい領域にある被写体を写すことができない。また、車両後方で遠方の被写体が撮影される可能性がある中央の領域Ｒ１において、被写体のサイズが依然として小さい場合も、それ以上拡大することができない。その結果、領域Ｒ１をセンシングする精度が悪くなる。
【００４０】
これに対して、本実施の形態の光学系１１は、自由曲面レンズを含む。これにより、水平方向の画角と垂直方向の画角とがそれぞれ独立して設定される。このため、図１２の（Ｂ）に示すように、画像センサのアスペクト比の制限を受けずに、水平方向の画角を２００°とし、垂直方向の画角を１５０°よりも大きい１８０°に設定することができる。したがって、より広い画角範囲の被写体を撮像できる。
【００４１】
さらに、光学系１１は、自由曲面レンズを含むため、画角によって拡大率を自由に設定できる。したがって、車両後方で遠方の被写体が撮影される可能性がある中央の領域Ｒ１の拡大率を、他の領域よりも大きくすることができる。また、垂直方向と水平方向のそれぞれの画角において、拡大率を独立して設定できる。たとえば、垂直方向の画角を広げると、垂直方向の拡大率が全体として低くなる。しかし、図１２の（Ｂ）では、垂直方向の全体の画角を広げるだけでなく、領域Ｒ１の垂直方向の平均拡大率を、他の領域よりさらに大きくすることができる。これにより、領域Ｒ１のセンシングの精度を向上することができる。また、周辺領域Ｒ１ａに関しても解像度を維持するように、光学系１１の水平方向の拡大率を維持できる。したがって、所望の領域において、センシング精度を維持することができる。
【００４２】
なお、本実施の形態では、解像度が異なるとは、光学系（例えば、一般的な回転対称な球面レンズ及び非球面レンズを含む光学系）と平面の画像センサとの組み合わせによって発生する解像度の相違を意味している。
【００４３】
以上のように、本実施の形態の光学系１１（自由曲面レンズ１１１、１１２）は、中央部分の画角の解像度（すなわち、拡大率）を、周縁部分の解像度よりも高くした画像を形成することができる。これにより、全体として広い画角を実現しつつ、センシングに重要な中央部分の領域について高い解像度の画像を得ることができる。また、本実施の形態では、共通の画角範囲において、垂直方向における画角と解像度との関係と、水平方向における画角と解像度との関係とが異なる。これにより、高い解像度となる領域の、垂直方向および水平方向のサイズを、それぞれ独立して設定できる。また高い解像度となる領域の位置および形を自由に設定できる。
【００４４】
［１−２．動作］
以上のように構成された撮像装置１０及び制御装置２０の動作を以下に説明する。
【００４５】
撮像装置１０は、車両１００の停車中または後進中に車両後方の画像を撮像し、画像データを生成して制御装置２０に送信する。
【００４６】
制御装置２０は、第１インタフェース２３を介して画像データを受信する。制御装置２０のコントローラ２１は、受信した画像データに対して所定の画像処理を施し、表示用画像データを生成する。コントローラ２１は、表示用画像データを、第２インタフェース２５を介して表示装置３０へ送信する。表示装置３０は、制御装置２０から受信した画像データに基づき画像を表示する。車両１００のドライバは、表示装置３０に表示された画像を確認することで、車両後方の状況（例えば、車両後方に子供がいるか否か）を把握することができる。
【００４７】
さらに、制御装置２０のコントローラ２１は、撮像装置１０から受信した画像データを画像解析（センシング）して、車両１００の後方の状況に関する様々な情報を取得する。例えば、コントローラ２１は画像解析（顔検出）により、車両後方に人がいるか否かを判断することができる。つまりコントローラ２１は、車両後方に人がいる場合に、所定の信号を出力できる。また、コントローラ２１は画像解析により、車両後方に障害物があるか否かを判断することができる。つまりコントローラ２１は、車両後方に障害物がある場合に、所定の信号を出力できる。コントローラ２１は、画像解析の結果に基づき所定の制御対象６０に対する制御信号を生成し、第３インタフェースを介して制御対象６０に送信する。これにより、車両後方の状況に応じて制御対象６０が制御される。制御対象６０は例えば、ブレーキ、アクセル、および警告装置等である。
【００４８】
例えば、コントローラ２１は、車両１００の後進中に、撮像装置１０から受信した画像データの画像解析により車両後方に人または障害物が検出されたときに、車両１００の後進動作を停止させるように車両１００のブレーキを制御してもよい。または、コントローラ２１は、後進開始前に、車両後方に人または障害物が検出されたときに、車両１００の後進を開始しないようにアクセルおよびブレーキを制御してもよい。または、コントローラ２１は、車両後方に人または障害物が検出されたときに、検出した人またはドライバに対して、警告音や警告メッセージを発するように警告装置を制御してもよい。
【００４９】
本実施の形態の撮像装置１０によれば、垂直方向において広い画角を有するため、図５に示すように、車両１００の後方の近い位置に人がいる場合でも、図７の（Ｂ）に示すように人の上部（すなわち、顔を含む部分）を含む画像を撮像することができる。よって、コントローラ２１は、画像解析による顔検出により、より確実に、人を検出することができる。さらに、本実施の形態の撮像装置１０によれば、センシングに重要な領域である撮影範囲の中央部分において解像度が高い画像を生成することができる。よって、例えば、車両後方の撮影範囲の中央領域において小さな子供がいる場合でも、拡大して撮像されるため、画像解析に対して十分なサイズの画像データを得ることができる。このため、体の大きさが小さい子供であっても、より確実に認識することができる。さらに、本実施の形態の撮像装置１０によれば、垂直方向の画角を広げた場合であっても、重要な中央部分の画像において、垂直方向の拡大率を、より大きくすることができる。したがって、対象が小さな子供であっても、高解像度で撮像でき、より確実に認識できる。
【００５０】
このように、本実施の形態の撮像装置１０によれば、広い画角範囲で撮影することができるとともに、撮影範囲の中央部にある被写体について高い解像度で画像を撮影することができる。よって、撮影画像を用いた画像解析の精度を向上することができる。
【００５１】
［１−３．効果等］
以上のように、本実施の形態の撮像装置１０は、複数の画素が二次元的に配置された撮像面を含み、撮像面上に結像された被写体像から画像データを生成する画像センサ１２と、所定の垂直画角と所定の水平画角の範囲にある被写体を画像センサ１２の撮像面上に結像させる光学系１１と、を備える。単位画角に含まれる被写体像を撮像する画素の数を解像度とする。撮像面は、光軸Ｚとの交点を含む第１の領域（たとえば図９の領域Ｒ１）と、第１の領域と異なる第２の領域（たとえば図９の領域Ｒ２）と、を含む。光学系１１は、第１の領域Ｒ１の解像度が、第２の領域Ｒ２の解像度よりも高くなるように撮像面上に被写体像を結像する。撮像面上に結像される被写体像の、垂直方向の画角と解像度との関係と、水平方向の画角と解像度との関係とは異なる。
【００５２】
上記構成により、撮像画像において中央部分の領域の解像度を周縁部分の領域の解像度よりも高くできる。これにより、全体として広い画角を確保しつつ、センシング等に必要な中央部分の画像の解像度を高くした画像の撮像が可能になる。よって、撮像画像の解析精度を向上できる。
【００５３】
また、撮像面上に結像される被写体像の垂直方向の解像度特性と水平方向の解像度特性とをそれぞれ独立して変化させることで、画像センサ１２のアスペクト比に依らず、光学系の水平画角及び垂直画角を任意に設定することができる。つまり、光学系１１の、垂直方向の画角と水平方向の画角との比率は、撮像面のアスペクト比と対応していなくてもよい。これにより、画角は自由に設定される。
【００５４】
また、撮像面の第１の領域Ｒ１に結像される像において、垂直方向の平均解像度を、水平方向の平均解像度よりも高くしている。これにより、第１の領域Ｒ１において、垂直方向により拡大された画像が得られる。このような画像は、例えば、垂直方向に延びる被写体の検出時において有効である。また垂直方向の解像度と比較して水平方向の解像度を敢えて抑えることで車両１００から離れた周辺領域Ｒ１ａに関しても垂直方向の解像度を維持し、センシング精度を維持することを可能にする（図１２参照）。
【００５５】
また、光学系１１は自由曲面レンズ１１１、１１２を含む。これにより、光学系において画角に応じて変化する拡大率を自由に設計できる。また、自由曲面レンズ１１１、１１２を用いることにより、撮像面の水平軸および垂直軸の双方に対して、非線対称に解像度を変えることができる。また、自由曲面レンズ１１１、１１２を用いることにより、これらのレンズ形状は、水平軸および垂直軸のいずれにも依存せず、対角方向の面形状が自由に設定される。したがって、撮像面の対角方向（水平軸上および垂直軸上以外の領域）の解像度も自由に設定される。
【００５６】
また、撮像装置１０は、車両１００の後部に取り付けられ、車両１００の後方の被写体を撮像してもよい。たとえば撮像装置１０は、車両の後進時に、安全確認のために用いられる。
【００５７】
また、撮像装置１０と、撮像装置１０により生成された画像データに基づき画像を表示する表示装置３０とで、表示システムが構成されてもよい。
【００５８】
また、撮像装置１０と、撮像装置により生成された画像データを解析する制御装置２０とで、撮像システムが構成されてもよい。
【００５９】
（実施の形態２）
実施の形態１では、中央領域の解像度が高く、周縁領域の解像度が低くなる撮像画像を得るために、光学系１１は、自由曲面レンズを用いて構成される。しかし、必ずしも光学系１１は、自由曲面レンズを用いて構成されなくてもよい。このような撮像画像は、画像センサ１２ｂの画素の分布を工夫することで、通常の回転対称な光学系を用いても実現することができる。以下、自由曲面レンズを含まない光学系を備えた撮像装置１０ｂの構成を説明する。
【００６０】
図１３は、実施の形態１の撮像装置１０における画像センサ１２の画素分布と、光学系１１と画像センサ１２の組み合わせにより撮像される撮像画像３００の解像度分布とを説明した図である。図１４は、実施の形態２の撮像装置１０ｂにおける画像センサ１２ｂの画素分布と、光学系１１ｂと画像センサ１２ｂの組み合わせにより撮像される撮像画像３００ｂの解像度分布とを説明した図である。
【００６１】
図１３に示すように、実施の形態１においては、画像センサ１２の撮像面には、複数の画素が二次元的に等間隔に配置されている。このような画像センサ１２の撮像面に対して、光学系１１の自由曲面レンズ１１１、１１２により、中央領域の解像度が高く、周縁領域の解像度が低くなるよう像が形成される。その結果、中央部分の解像度が高く、周縁に近づくほど解像度が低くなる撮像画像３００を得ることができる。また、光学系１１の自由曲面レンズ１１１、１１２により、撮像面には、垂直方向の画角と解像度との関係が、水平方向の画角と解像度との関係と異なるように像が形成される。その結果、センシングに重要な領域の位置、形、およびサイズを自由に設定できる。
【００６２】
これに対して、本実施の形態では、撮像装置１０ｂは、回転対称なレンズである光学系１１ｂと、特定の画素分布を有する画像センサ１２ｂとを備える。
【００６３】
つまり、実施の形態２の光学系１１ｂは、均一な画素分布を有する画像センサ上に像を結像したときの垂直方向及び水平方向の解像度に関して、図１５に示すような解像度（角度分解能）特性を有するようなレンズである。すなわち、光学系１１ｂは、垂直方向および水平方向で共通の画角範囲において（たとえば図１５の場合、半画角０°〜７５°の範囲において）、垂直方向の画角と解像度（つまり拡大率）との関係が、水平方向の画角と解像度（つまり拡大率）の関係と同一になるように構成されている。
【００６４】
一方で、実施の形態２の画像センサ１２ｂは、図１６に示すように、中央部分（領域Ｒ１に対応する部分）の画素密度が高く、それ以外の領域（領域Ｒ２に対応する部分）の画素密度が低くなるような画素分布を有する。また、画像センサ１２ｂは、垂直方向および水平方向で共通の画角範囲において（たとえば図１６の場合、半画角０°〜９０°の範囲において）、垂直方向の画角と画素密度との関係が、水平方向の各画と画素密度との関係と異なるように設定される。
【００６５】
このような光学系１１ｂと画像センサ１２ｂの組み合わせにより、実施の形態１の場合と同様に、中央部分の領域Ｒ１の解像度が高く、それ以外の領域Ｒ２の解像度が低くなる撮像画像３００ｂを得ることができる。
【００６６】
以上のように、本実施の形態の撮像装置１０ｂは、複数の画素が二次元的に配置された撮像面を含み、撮像面上に結像された被写体像から画像データを生成する画像センサ１２ｂと、所定の垂直画角と所定の水平画角の範囲にある被写体を画像センサ１２ｂの撮像面上に結像させる光学系１１ｂと、を備える。撮像面は、光軸との交点を含む第１の領域（たとえば領域Ｒ１に対応する領域）と、第１の領域と異なる第２の領域（たとえば領域Ｒ２に対応する領域）とを含む。撮像面は、第１の領域の画素密度が第２の領域の画素密度よりも高くなるような画素分布を有する。さらに、撮像面は、垂直方向の画素密度と水平方向の画素密度とが異なるように設定される。
【００６７】
上記の構成によって、実施の形態１と同様に、撮像画像において中央部分の領域Ｒ１の解像度をそれ以外の領域Ｒ２の解像度よりも高くできる。これにより、全体として広い画角を確保しつつ、センシング等に必要な中央部分の画像の解像度を高くした画像の撮像が可能になる。よって、撮像画像の解析精度を向上できる。また、撮像面上に結像される像の垂直方向の解像度特性と水平方向の解像度特性とが異なるため、画像センサ１２ｂのアスペクト比に依らず、光学系の水平画角及び垂直画角を任意に設定することができる。つまり、実施の形態１と同様に、垂直方向の画角と水平方向の画角との比率は、撮像面のアスペクト比と対応していなくてもよい。これにより、センシングに重要な領域の解像度に関わらず、全体の画角を広くすることができる。
【００６８】
また、実施の形態１と同様に、被写体像のうち、第１の領域に結像される第１被写体像の、垂直方向の解像度の平均値は、水平方向の解像度の平均値よりも高くてもよい。これにより、たとえば第１の領域Ｒ１において、垂直方向により拡大された画像が得られる。このような画像は、例えば、垂直方向に延びる被写体の検出時において有効である。
【００６９】
また、実施の形態１と同様に、撮像装置１０ｂは、車両１００の後部に取り付けられ、車両１００の後方の被写体を撮像してもよい。たとえば撮像装置１０ｂは、車両の後進時に、安全確認のために用いられる。
【００７０】
また、実施の形態１と同様に、撮像装置１０ｂと、撮像装置１０ｂにより生成された画像データに基づき画像を表示する表示装置３０とで、表示システムが構成されてもよい。
【００７１】
また、実施の形態１と同様に、撮像装置１０ｂと、撮像装置により生成された画像データを解析する制御装置２０とで、撮像システムが構成されてもよい。
【００７２】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、または省略などを行った実施の形態にも適用可能である。また、上記実施の形態１、２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【００７３】
上記の実施の形態では、表示装置として、電子ルームミラーと車載ディスプレイを例示したが、表示装置の種類はこれらに限定されない。本開示の思想は、用途に応じて種々のタイプの表示装置（例えば、ヘッドアップディスプレイ）を用いた表示システムに適応できる。
【００７４】
上記の実施の形態では、撮像装置１０、１０ｂを車両後方のシーンを撮像するように配置したが、撮像装置１０、１０ｂを車両の前方や側方のシーンを撮像するように配置してもよい。
【００７５】
上記の実施の形態では、撮像装置１０、１０ｂが、画像に対するガンマ補正および歪曲補正等を行ったが、これらの画像処理を制御装置２０が行っても良い。または、撮像装置１０、１０ｂがガンマ補正を行い、制御装置２０が歪曲補正を行ってもよい。
【００７６】
上記の実施の形態では、移動体の一例として、自動車の車両１００を挙げたが、移動体は自動車に限られない。上記の実施の形態の撮像装置を、他の移動体、例えば、鉄道、船舶、航空機、ロボット、ロボットアーム、ドローン、コンバインなどの農業用機械、またはクレーンなどの建設用機械に適用してもよい。または、撮像装置を監視カメラに適用してもよい。
【００７７】
上記の実施の形態で示した画角及び解像度等は一例であり、画像解析したい対象（物、事象）に応じて適宜設定することができる。
【００７８】
上記の実施の形態１では、光学系を自由曲面レンズを用いて構成したが、自由曲面レンズに代えて、画角に応じて拡大率（解像度）を自由に設計できるレンズであれば、他の種類のレンズを用いても良い。
【００７９】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００８０】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００８１】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００８２】
本開示のシステムは、高い解像度を有する画像を含む複数の画角の画像を１台の撮像装置で提供することができ、種々の用途（移動体での撮像システムや表示システム等）に適用することができる。
【符号の説明】
【００８３】
１０、１０ｂ    撮像装置
１１、１１ｂ    光学系
１２、１２ｂ    画像センサ
１３    信号処理回路
１４    インタフェース
２０    制御装置
２１    コントローラ
２３、２５、２７    インタフェース
２９    データ記憶部
３０    表示装置
６０    制御対象
１００    自動車の車両
１１１、１１２    自由曲面レンズ
２１０、２２０    人
Ｒ１    撮像画像における像の解像度（拡大率）が比較的高い領域
Ｒ２    撮像画像における像の解像度（拡大率）が比較的低い領域
ｒ１、ｒ２    被写体の領域
Ｚ    光軸
【図１】
2019110517.tif 000003
【図２】
2019110517.tif 000004
【図３】
2019110517.tif 000005
【図４】
2019110517.tif 000006
【図５】
2019110517.tif 000007
【図６】
2019110517.tif 000008
【図７】
2019110517.tif 000009
【図８】
2019110517.tif 000010
【図９】
2019110517.tif 000011
【図１０】
2019110517.tif 000012
【図１１】
2019110517.tif 000013
【図１２】
2019110517.tif 000014
【図１３】
2019110517.tif 000015
【図１４】
2019110517.tif 000016
【図１５】
2019110517.tif 000017
【図１６】
2019110517.tif 000018