(57)【要約】【課題】本発明によれば、カメラに製造誤差がない場合に得られる画像と比べて遜色ない画像を得ることができる画像補正装置及び画像生成装置、並びにこれを備えるカメラシステム及び車両を提供する。【解決手段】カメラによって得られた画像データを取得する画像データ取得部と、前記カメラに第１の入射角で入射した光によって得られる第１の像高と、前記カメラに製造誤差がない場合に前記カメラに前記第１の入射角で入射した光によって得られる第１の基準像高との差である第１の差に基づいて、前記画像データを補正する補正部と、を備える画像補正装置。【選択図】図１０
2020140662.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって得られた画像データを取得する画像データ取得部と、
前記カメラに第１の入射角で入射した光によって得られる第１の像高と、前記カメラに製造誤差がない場合に前記カメラに前記第１の入射角で入射した光によって得られる第１の基準像高との差である第１の差に基づいて、前記画像データを補正する補正部と、
を備える画像補正装置。
【請求項２】
前記補正部は、複数の方位角毎の前記第１の差に基づいて、前記画像データを補正する、請求項１記載の画像補正装置。
【請求項３】
前記補正部は、前記カメラに第２の入射角で入射した光によって得られる第２の像高と、前記カメラに製造誤差がない場合に前記カメラに前記第２の入射角で入射した光によって得られる第２の基準像高との差である第２の差、及び、前記第１の差に基づいて、前記画像データを補正する
請求項１又は２記載の画像補正装置。
【請求項４】
カメラによって得られた画像データを取得する画像データ取得部と、
前記カメラに第１の入射角で入射した光によって得られる第１の像高と、前記カメラに製造誤差がない場合に前記カメラに前記第１の入射角で入射した光によって得られる第１の基準像高との差である第１の差に基づいて、前記画像データを補正する補正部と、
前記補正部によって補正された画像データから生成される画像である補正画像から歪みを除去する歪み除去部と、
前記カメラの一つである第１のカメラによって得られた第１の画像データに基づいて、前記補正部で生成された第１の歪み除去画像と、前記カメラの他の一つである第２のカメラによって得られた第２の画像データとに基づいて、前記歪み除去部で生成された第２の歪み除去画像と、を合成して合成画像を生成する画像合成部と、
を備える画像生成装置。
【請求項５】
前記第１のカメラと、
前記第２のカメラと、
請求項４記載の画像生成装置と、
を備えるカメラシステム。
【請求項６】
前記合成画像を表示するモニタを更に備える、
請求項５記載のカメラシステム。
【請求項７】
請求項５又は請求項６記載のカメラシステムを備える、
車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像補正装置、画像生成装置、カメラシステム及び車両に関する。
【背景技術】
【０００２】
近年、あたかも上方から車両を俯瞰しているかのように見える画像（以下、鳥瞰図と称す。）が車室内のモニタに表示される車両が普及しつつある。この車両は、車両の前後左右に設置された複数台のカメラと画像生成装置とを備えている。これらのカメラは、魚眼レンズ等、画角が広いレンズを備えたカメラであり、これらのカメラからは歪みを有する画像が得られる。画像生成装置は、各カメラから得られる画像の歪みを除去し、歪みが除去された画像同士を合成して鳥瞰図を生成している。
【０００３】
特許文献１には、カメラによって得られた画像において、画像の領域毎に異なる関数モデルを割り当て、割り当てられた関数モデルに基づいて画像を補正することで画像の歪みを除去することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−４９７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
カメラにはカメラ固有の製造誤差があるため、同じモデルのカメラを複数台製造した場合でもそれらのカメラによって得られる画像の歪みは、カメラ毎に微妙に異なる。しかしながら、歪みを除去する処理において、カメラ毎に異なる製造誤差については考慮されずに、歪みの除去が行われる。この場合、精度よく画像の歪みを除去することができない。
【０００６】
本発明はこのような状況に鑑み、カメラに製造誤差がない場合に得られる画像と比べて遜色ない画像を得ることができる画像補正装置及び画像生成装置、並びにこれを備えるカメラシステム及び車両を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像補正装置は、カメラによって得られた画像データを取得する画像データ取得部と、前記カメラに第１の入射角で入射した光によって得られる第１の像高と、前記カメラに製造誤差がない場合に前記カメラに前記第１の入射角で入射した光によって得られる第１の基準像高との差である第１の差に基づいて、前記画像データを補正する補正部と、を備える。
【０００８】
本発明に係る画像生成装置は、カメラによって得られた画像データを取得する画像データ取得部と、前記カメラに第１の入射角で入射した光によって得られる第１の像高と、前記カメラに製造誤差がない場合に前記カメラに前記第１の入射角で入射した光によって得られる第１の基準像高との差である第１の差に基づいて、前記画像データを補正する補正部と、前記補正部によって補正された画像データから生成される画像である補正画像から歪みを除去する歪み除去部と、前記カメラの一つである第１のカメラによって得られた第１の画像データに基づいて、前記歪み除去部で生成された第１の歪み除去画像と、前記カメラの他の一つである第２のカメラによって得られた第２の画像データとに基づいて、前記歪み除去部で生成された第２の歪み除去画像と、を合成して合成画像を生成する画像合成部と、を備える。
【０００９】
本発明に係るカメラシステムは、前記第１のカメラと、前記第２のカメラと、前記画像生成装置と、を備える。
【００１０】
本発明に係る車両は、前記カメラシステムを備える。
【発明の効果】
【００１１】
本発明によれば、カメラに製造誤差がない場合に得られる画像と比べて遜色ない画像を得ることができる画像補正装置及び画像生成装置、並びにこれを備えるカメラシステム及び車両を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の第１実施形態に係るカメラシステムを備える車両を示す模式図である。
【図２】図２は、製造誤差がないと仮定したカメラの縦断面図である。
【図３】図３は、製造誤差がないと仮定したカメラに入射角αで光が入射した場合に得られる像高曲線を示す図である。
【図４】図４は、製造誤差がないと仮定したカメラに入射した光によって得られる像高と入射角との関係を示す図である。
【図５】図５は、理想的な鳥瞰図の一例を示す図である。
【図６】図６は、本発明の第１実施形態に係るカメラシステムが備えるカメラの縦断面図である。
【図７】図７は、本発明の第１実施形態のカメラに入射角αで光が入射した場合に得られる像高曲線を示す図である。
【図８】図８は、製造誤差がないと仮定したカメラに入射した光によって得られる像高と製造誤差があるカメラに入射した光によって得られる像高とのずれ量を示す図である。
【図９】図９は、理想的でない鳥瞰図の一例である鳥瞰図を示す図である。
【図１０】図１０は、本発明の第１実施形態に係るカメラシステムの構成を示すブロック図である。
【図１１】図１１は、本発明の第１実施形態に係るカメラシステムが備える記憶部が記憶している差分テーブルを示す図である。
【図１２】図１２は、製造誤差があるカメラの温度が２５℃である場合において、該カメラに入射した光によって得られる像高と、製造誤差がないと仮定したカメラに入射した光によって得られる像高とのずれ量を示す図である。
【図１３】図１３は、製造誤差があるカメラの温度が−３０℃である場合において、該カメラに入射した光によって得られる像高と、製造誤差がないと仮定したカメラに入射した光によって得られる像高とのずれ量を示す図である。
【図１４】図１４は、本発明の第２実施形態に係るカメラシステムの構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、実施の形態について図面を参照して説明する。
【００１４】
（第１実施形態）
図１は、本発明の第１実施形態に係るカメラシステム１を備える車両１００を示す模式図である。
【００１５】
カメラシステム１は、４台のカメラ１０１、１０２、１０３、１０４とＥＣＵ（車両制御装置：Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）２０を備えている。
【００１６】
カメラ１０１、１０２、１０３、１０４は、それぞれ車両１００の前方側、左側、右側、及び後方側に設置されている。カメラ１０１、１０２、１０３、１０４は、それぞれ車両１００の前方側、左側、右側、及び後方側を撮像しており、それぞれ範囲Ｒ１、範囲Ｒ２、範囲Ｒ３、及び範囲Ｒ４に対応する領域の画像を撮像する。カメラ１０１、１０２、１０３、１０４は、例えば魚眼レンズ等、画角が広いレンズを備えたカメラである。なお、カメラシステム１が備えるカメラの数は２以上であればよい。
【００１７】
ＥＣＵ２０は、カメラ１０１、１０２、１０３、１０４によって得られた画像データを取得し、取得した画像データに基づいて鳥瞰図を生成する。
【００１８】
はじめに、カメラ１０１、１０２、１０３、１０４すべてに製造誤差がないと仮定した場合における鳥瞰図の生成について説明する。
【００１９】
図２は、製造誤差がないと仮定したカメラ１０１の縦断面図である。
【００２０】
カメラ１０１は、レンズユニット１１、鏡筒１１ａ及びセンサ１２を有する。レンズユニット１１は、複数のレンズＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６を有する。レンズＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６は、この順番で光路上流側からセンサ１２側に向けて並べられ、かつ互いに光軸あわせがされた状態で鏡筒１１ａに保持されている。Ｌは、レンズユニット１１の光軸を示している。レンズＬ１は、レンズＬ１〜Ｌ６の中で最も被写体側のレンズである。レンズＬ２〜Ｌ６は、レンズＬ１への入射光をセンサ１２に導く。センサ１２は、レンズＬ１に入射し、レンズＬ２〜Ｌ６によって導かれてきた光を検出する。
【００２１】
例えば、入射角αで光Ａ１がレンズユニット１１に入射した場合、センサ１２上の点ａ１１で示す位置に結像される。また、光Ａ１とは反対側の位置から入射角αで光Ａ２がレンズユニット１１に入射した場合、光Ａ２によってセンサ１２上の点ａ１２で示す位置に結像される。点ＬＯは、レンズユニット１１への入射光が光軸Ｌと交わる点である。センサ１２とカメラ１０１に製造誤差がない場合のレンズユニット１１の光軸Ｌは、点Ｏ１で交わっている。点Ｏ１は、センサ１２上の画像中心に対応する位置を示す。画像中心とは、センサ１２によって生成された画像信号に基づいて、画像が出力された場合に、当該画像の中心となる位置である。なお、レンズユニット１１の光軸Ｌとセンサ１２とが交わる点（ここでは点Ｏ１）から入射光によってセンサ１２上に結像される位置までの距離は、像高と呼ばれる。
【００２２】
実際には、一つの入射角であっても光軸Ｌ周りの無数の方向から光が入射する。よって、レンズユニット１１に入射しており、入射角αの光がセンサ１２上に結像する位置も無数にあり、光軸Ｌ周りに閉曲線が描かれる。以下、この閉曲線を像高曲線と呼ぶ。入射角αの値が変わる毎に異なる像高曲線が描かれることは言うまでもない。
【００２３】
図３は、製造誤差がないと仮定したカメラ１０１に入射角αで光が入射した場合に得られる像高曲線Ｃ１を示す図である。図３に示されている角度は、点Ｏ１周りの方位角を示しており、センサ１２上の点ａ１１が位置する方位角が０°と定義されている。このときのレンズユニット１１内の光路は、図２で示すようにレンズＬ１に対して入射角αにて光Ａ１が入射する位置（点ｂ１）からレンズユニット１１を透過した後、センサ１２の点ａ１１に到達する光路であり、図２のａ１１で示されているセンサ１２上の位置を図３のａ１１で表している。点Ｏ１から見て、点ａ１２は方位角１８０°の方向に位置している。このときもａ１１と同様にレンズユニット１１内の光路は、図２で示すようにレンズＬ１に対して入射角αにて光Ａ２が入射する位置（点ｂ２）からレンズユニット１１を透過した後、センサ１２の点ａ１２に到達する光路であり、図２のａ１２で示されているセンサ１２上の位置を図３のａ１２で表している。点ａ１３は、図２には示されていないが、光Ａ１及び光Ａ２とは異なる方向から入射角αでレンズユニット１１に入射した光によってセンサ１２上に到達する位置を示しており、点Ｏ１から見て方位角３１５°の方向に位置している。
【００２４】
カメラ１０１に製造誤差がない場合、点Ｏ１から点ａ１１までの距離、点Ｏ１から点ａ１２までの距離、及び点Ｏ１と点ａ１３までの距離は互いに等しい。方位角が４５°、９０°、１３５°、２２５°、及び２７０°の方向における像高も、方位角が０°、１８０°、及び３１５°の方向における像高と等しい。即ち、カメラ１０１には製造誤差がない場合、入射角が共通であれば、方位角にかかわらずに同じ像高が得られる。したがって、図３に示すような像高曲線Ｃ１は円形になる。
【００２５】
図４は、製造誤差がないと仮定したカメラ１０１に入射した光によって得られる像高と入射角との関係を示す図である。図４に曲線で示されている通り、入射角αが大きくなるほど像高は大きくなる。
【００２６】
ここまで、カメラ１０１に製造誤差がない場合に得られる画像の特性について説明してきたが、カメラ１０２、１０３、１０４についても同様のことが言える。
【００２７】
カメラ１０１、１０２、１０３、１０４すべてに製造誤差がない場合、一般的な手法でカメラ１０１、１０２、１０３、１０４から得られる画像の歪みを除去し、歪みを除去した画像同士を合成することで理想的な鳥瞰図を生成することができる。
【００２８】
図５は、理想的な鳥瞰図の一例である鳥瞰図（理想合成画像）Ｐ１を示す図である。ＰＲ１、ＰＲ２、ＰＲ３、及びＰＲ４は、カメラ１０１、１０２、１０３、１０４から得られた画像を処理することで得られたそれぞれの画像に対応する画像領域である。ＢＬ１２、ＢＬ２４、ＢＬ３４、及びＢＬ１３は、画像領域ＰＲ１と画像領域ＰＲ２との境界線、画像領域ＰＲ２と画像領域ＰＲ４との境界線、画像領域ＰＲ３と画像領域ＰＲ４との境界線、及び画像領域ＰＲ１と画像領域ＰＲ３との境界線をそれぞれ示す。鳥瞰図Ｐ１上では、画像領域ＰＲ１、ＰＲ２、及びＰＲ４にまたがって位置する路側帯ＲＬが、境界線ＢＬ１２、ＢＬ２４付近において、ずれることなく示されている。
【００２９】
しかしながら、実際にはカメラ１０１、１０２、１０３、１０４には製造誤差があるため、一般的な手法でカメラ１０１、１０２、１０３、１０４から得られる画像の歪みを除去した場合、図５に示すような理想的な鳥瞰図を生成することができない。以下、実際の鳥瞰図の生成について説明する。
【００３０】
図６は、本発明の第１実施形態に係るカメラシステム１が備えるカメラ１０１の縦断面図である。図６は、レンズＬ４に製造誤差がある場合について例示している。図６に示されているカメラ１０１のレンズＬ４はおよそ水平方向に偏芯している。つまり、図１に示されている製造誤差がない場合と比べて、レンズＬ４は左側にずれて配置されている。
【００３１】
従って、カメラ１０１に図６に示すような製造誤差がある場合、図１に示されている製造誤差がない場合と比べて、レンズユニット１１の光軸Ｌは、およそ水平方向にずれる。よって、レンズユニット１１の光軸Ｌとセンサ１２との交点は、点Ｏ１（図１参照）とは異なる位置である点Ｏ２になる。
【００３２】
また、（１）レンズＬ４に製造誤差がない場合と、（２）図６に示すようにレンズＬ４の位置のみがずれている場合とを比較したとき、レンズＬ１の同じ位置にかつ同じ入射角で光が入射したとしても、当該光のレンズＬ４に対する入射位置は異なる。このため、（１）及び（２）の場合とで、レンズユニット１１によってセンサ１２まで導かれる光の経路は異なる。
【００３３】
例えば、光Ａ１及び光Ａ２が、入射角αでかつレンズＬ１における図２に示されている位置に入射した場合、光Ａ１及び光Ａ２によって、それぞれセンサ１２上の点ａ２１及び点ａ２２に示す位置に結像される。点ａ２１は、センサ１２上の点ａ１１とは異なる位置であり、点ａ２２は、センサ１２上の点ａ１２とは異なる位置である。なお、レンズＬ４に製造誤差がない場合に点ａ１３（図３参照）に導かれる入射角αの光は、製造誤差を有するカメラ１０１に入射した場合、レンズユニット１１によって点ａ１３で示す位置とは異なる位置に導かれる。
【００３４】
入射角α＝７０°でカメラ１０１に入射した光によって得られる像高が、図４の破線枠に例示されている。図４の丸印は入射角７０°の光によって得られる方位角０°の像高、図４のバツ印は入射角７０°の光によって得られる方位角１８０°の像高、図４のダイヤ印は入射角７０°の光によって得られる方位角３１５°の像高をそれぞれ示している。
【００３５】
カメラ１０１に製造誤差がない場合、入射角７０°の光によって得られる像高は、方位角に関係なく１．２１ｍｍ程度であることがグラフから読み取れる。しかしながら、実際のカメラ１０１では、入射角７０°の光によって得られる方位角０°、１８０°、及び３１５°の像高は、カメラ１０１に製造誤差がない場合に得られる像高からずれる。また、カメラ１０１に製造誤差がない場合における方位角０°、１８０°、及び３１５°の像高は、互いに異なる値である。
【００３６】
実際には、レンズユニット１１に入射する光は無数にあり、これらの光は製造誤差がない場合と比較して異なる経路でセンサ１２上に導かれる。即ち、レンズユニット１１に入射するあらゆる光によってセンサ１２上に結像される位置は、カメラ１０１に製造誤差がない場合と比較してずれ得る。
【００３７】
製造誤差があるカメラ１０１によって得られる像高曲線の一例を図７に示す。図７は、本発明の第１実施形態のカメラ１０１に入射角αで光が入射した場合に得られる像高曲線Ｃ２を示す図である。なお、図７に一点鎖線で示されている曲線は、製造誤差がない場合の像高曲線Ｃ１と同じ円形であり、中心を点Ｏ１から点Ｏ２にシフトした曲線である。以下、この曲線を像高曲線Ｃ１’と呼ぶ。点ａ１１’、点ａ１２’、点ａ１３’は、それぞれ、像高曲線Ｃ１上の点ａ１１、点ａ１２、点ａ１３に対応する像高曲線Ｃ１’上における点である。図７に示されている角度は、点Ｏ２周りの方位角を示しており、センサ１２上の点ａ２１が位置する方位角が０°と定義されている。なお、レンズＬ４に製造誤差がない場合に相当するセンサ１２上の点ａ１３に導かれる入射角αの光は、図６に示す製造誤差を有するカメラ１０１に入射した場合には、レンズユニット１１によってセンサ１２上の点ａ２３で示す位置に導かれる。
【００３８】
方位角０°において、点ａ２１は、点ａ１１’からΔａ１ずれており、方位角１８０°において、点ａ２２は点ａ１２’からΔａ２ずれており、方位角３１５°において、点ａ２３は点ａ１３’からΔａ３ずれている。これらのずれ量Δａ１、Δａ２、Δａ３はそれぞれ異なる値である。つまり、方位角によってずれ量は異なる。このため、図７に実線で示されているように、像高曲線Ｃ２は非円形の形状である。また、レンズユニット１１への光の入射角αが異なれば得られる像高曲線も異なる。
【００３９】
図８は、製造誤差がないと仮定したカメラ１０１に入射した光によって得られる像高と製造誤差があるカメラ１０１に入射した光によって得られる像高とのずれ量を示す図である。図８には、方位角θ＝０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°、３１５°において、入射角αとずれ量の関係が示されている。なお、図８における横軸の入射角の単位は°（度）であり、縦軸のずれ量の単位はピクセル（ｐｉｘｅｌ（ｓ））である。
【００４０】
図８では、入射角７０°の方位角０°の方向のずれ量は−５ピクセル程度であり、入射角７０°の方位角１８０°の方向のずれ量は、＋１ピクセル程度である。全体の傾向として、入射角αが大きくなるほど、どの方位角においてもずれ量は大きくなっている。
【００４１】
ここまで、カメラ１０１に製造誤差がある場合に得られる画像の特性について説明してきたが、カメラ１０２、１０３、１０４についても同様のことが言える。
【００４２】
以上、説明したように、カメラ１０１、１０２、１０３、１０４のいずれかに製造誤差がある場合、一般的な手法でカメラ１０１、１０２、１０３、１０４から得られる画像の歪みを除去し、歪みを除去した画像同士を合成した場合、図９で例示されるような鳥瞰図（実際合成画像）Ｐ２が生成される。
【００４３】
図９は、理想的でない鳥瞰図の一例である鳥瞰図（実際合成画像）Ｐ２を示す図である。鳥瞰図Ｐ２上では、画像領域ＰＲ１、ＰＲ２、及びＰＲ４にまたがって位置する路側帯ＲＬが、境界線ＢＬ１２、ＢＬ２４付近においてずれており、３本線のように示されている。もし、複数の領域にまたがって歩行者が示される場合、生成される鳥瞰図において、歩行者は分断されて表示される。この場合、車両１００の運転者は鳥瞰図に示される歩行者を正しく認識できない。このため、運転者が安全に車両１００を運転することの妨げになる。さらに、車両１００に自動運転システムが搭載されている場合、その自動運転システムが、鳥瞰図上で分断されて示されている歩行者を歩行者と認識できず、歩行者にとって安全な車両１００の制御を行うことができない。
【００４４】
本発明によれば、カメラ１０１、１０２、１０３、１０４に製造誤差がある場合でも、理想的な鳥瞰図Ｐ１を生成することができる。以下、本発明の第１実施形態について説明する。
【００４５】
図１０は、本発明の第１実施形態に係るカメラシステム１の構成を示すブロック図である。カメラシステム１は、カメラ１０１、１０２、１０３、１０４、カメラ情報処理装置１１１、１１２、１１３、１１４、ＥＣＵ２０、モニタ情報処理装置３０、及びモニタ３５を備える。本実施形態において、ＥＣＵ２０は、各カメラから得られた画像の歪みを補正する画像補正装置である。また、ＥＣＵ２０は、画像の歪みを補正し、歪みが補正された画像から歪みを除去し、さらに歪みが除去された画像同士を合成する画像生成装置３００である。
【００４６】
カメラ１０１は、レンズユニット１１及びセンサ１２を有している。レンズユニット１１は、カメラ１０１の撮像領域の画像をセンサ１２上に結像させる。センサ１２は、結像された光を電気信号に変換する。これにより、センサ１２は、カメラ１０１の撮像範囲Ｒ１（図１参照）における画像データを含む画像信号を生成する。その画像データには像高の情報も含まれる。センサ１２には、複数の画素がベイヤー配列されていてもよく、上述した画像データには、これらの画素によって得られた色彩情報も含む。そして、センサ１２は、生成した画像信号をカメラ情報処理装置１１１に送信する。なお、カメラ１０２、１０３、１０４も同様の構成を有する。
【００４７】
カメラ情報処理装置１１１、１１２、１１３、１１４は、それぞれカメラ１０１、１０２、１０３、１０４によって生成された画像信号を処理する。カメラ情報処理装置１１１、１１２、１１３、１１４は、それぞれカメラ１０１、１０２、１０３、１０４の専用装置である。
【００４８】
カメラ情報処理装置１１１は、画像処理部１３、通信部１４、電源１５及び記憶部１６等を有する。
【００４９】
画像処理部１３は、センサ１２から取得した画像信号に対して所定の画像処理を行う。具体的には、画像処理部１３は、センサ１２からの画像信号に対してコントラスト調整、及びゲイン調整等を行う。そして、カメラ情報処理装置１１１は、画像処理が行われた画像信号を通信部１４に送信する。
【００５０】
通信部１４は、画像処理部１３から受信した画像信号に信号変換処理を行い、通信用の画像信号を生成する。そして、通信部１４は、生成した通信用の画像信号をＥＣＵ２０に送信する。電源１５は、画像処理部１３、通信部１４、及びカメラ１０１のセンサ１２に電力を供給する。
【００５１】
記憶部１６は、カメラ情報処理装置１１１を制御するための制御プログラムを記憶したＲＯＭ、及びＲＡＭを有している。また、記憶部１６には、画像処理部１３が行う画像処理に必要なデータが記憶されている。画像処理部１３は、画像処理を行う際に、記憶部１６が記憶する該画像処理に必要なデータを参照する。
【００５２】
また、記憶部１６には、カメラ１０１からの画像データの補正処理を行うためのデータが予め記憶されている。該補正処理を行うためのデータは、ＥＣＵ２０にも記憶されている。具体的には、記憶部１６は、図１１に示す差分テーブル２０１を記憶している。差分テーブル２０１については、後に詳細に説明する。
【００５３】
カメラ情報処理装置１１１は、図１０には示されていないＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を備えている。そのＣＰＵがＲＯＭに記憶されている制御プログラムを読みだして、ＲＡＭに展開し、展開したプログラムを実行することでＣＰＵは画像処理部１３として機能する。
【００５４】
なお、カメラ情報処理装置１１２、１１３、１１４は、カメラ情報処理装置１１１と同様の構成を有している。
【００５５】
一般的には、撮像機能を有する撮像部（カメラ１０１〜１０４に相当）と撮像部により得られた画像を処理する情報（信号）処理部（カメラ情報処理装置１１１〜１１４に相当）とを一体として「カメラ」と呼ばれることもある。しかしながら、本明細書では、撮像部に相当する装置を「カメラ」と呼ぶ。
【００５６】
なお、撮像部と情報（信号）処理部とが互いに分離して別装置として構成されていてもよく、撮像部と情報（信号）処理部とが一体として一つの装置として構成されていてもよい。
【００５７】
ＥＣＵ２０は、通信部２１、記憶部２２、ＣＰＵ２３、画像処理部２４及び通信部２６を有する。
【００５８】
通信部２１は、カメラ情報処理部１１１、１１２、１１３、１１４から通信用の画像信号を受信すると、当該画像信号に信号変換処理を行う。この処理により、当該画像信号は、画像処理用の画像信号に変換される。そして、通信部２１は、画像処理用の画像信号を画像処理部２４に送信する。
【００５９】
記憶部２２は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を有している。また、記憶部２２は、カメラ情報処理装置１１１〜１１４からの画像データに対して補正処理を行うためのデータをカメラ毎に対応付けて記憶している。
【００６０】
図１１は、本発明の第１実施形態に係るカメラシステム１が備える記憶部１６及び記憶部２２が記憶している差分テーブル２０１、２０２、２０３、２０４を示す図である。差分テーブルは、カメラ毎に対応付けられている。つまり、差分テーブル２０１には、カメラ１０１及びカメラ情報処理装置１１１から取得された画像データを処理するための差分データが含まれている。同様に、差分テーブル２０２、２０３、２０４には、それぞれカメラ１０２、１０３、１０４によって取得された画像データを処理するための差分データが含まれている。カメラによって製造誤差が異なる可能性があるため、カメラ毎に製造誤差を考慮した差分データを含む差分テーブルが準備されている。
【００６１】
差分テーブル２０１は、入射角α及び方位角θと対応付けて差分データを管理する。差分テーブル２０１には、入射角αが０°から１００°までの１０度刻みの各角度における、方位角θが０°から３１５°までの４５°刻みの各角度の差分データが含まれている。１００°は、カメラ１０１の画角の１／２に対応している。以下、図８及び図１１を用いて差分テーブル２０１で管理される差分データについて説明する。
【００６２】
差分テーブル２０１で管理される差分データは、カメラ１０１にある入射角で入射した光によって得られる像高（１）から、カメラ１０１に製造誤差がない場合にカメラ１０１に当該ある入射角で入射した光によって得られる像高（基準像高）（２）を減算した値である。即ち、差分データは、（１）−（２）で示される値である。なお、この値の単位は、ピクセル（ｐｉｘｅｌ（ｓ））である。
【００６３】
例えば、カメラ１０１に入射角７０°で入射した光に着目すると、方位角が０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°、３１５°の差分データはそれぞれ、「−５」、「−３．５」、「−１」、「０」、「＋１」、「−０．５」、「−４」である。なお、これらの値は、図８に示されているずれ量に相当する。
【００６４】
なお、差分データは、カメラ１０１にある入射角で入射した光によって得られる像高（１）と、カメラ１０１に製造誤差がない場合にカメラ１０１に当該ある入射角で入射した光によって得られる基準像高（２）との差であればよい。つまり、差分データは、（２）−（１）で示される値であってもよい。
【００６５】
差分テーブル２０１で管理されている差分データは、以下のようにして得られる。カメラ１０１を車両１００に搭載する前にカメラ１０１の検査を行うことで、各入射角及び方位角の対応する像高を測定する。そして、測定により得られた各入射角及び方位角に対応する像高から、カメラ１０１に製造誤差がない場合における各入射角及び方位角に対応する像高（基準像高）をそれぞれ減算することで得られる。
【００６６】
なお、差分データは、カメラ１０１の製造誤差の要因を推測し、シミュレーションによって各入射角及び方位角に対応する像高を推定し、推定された各像高から製造誤差がない場合の各入射角及び方位角に対応する像高をそれぞれ減算することで得てもよい。
【００６７】
また、差分テーブル２０１は、入射角が１０°毎に差分データを有しているが、必ずしも１０°毎でなくてもよい。また、差分テーブル２０１は、方位各が４５°毎に差分データを有しているが、必ずしも４５°毎でなくてもよい。
【００６８】
以上、差分テーブル２０１について説明したが、差分テーブル２０２、２０３、２０４についても同様である。
【００６９】
ここで、記憶部２２が記憶している差分テーブル２０１〜２０４は、カメラ情報処理装置１１１〜１１４で予め記憶されており、カメラシステム１を車両１００に導入した後に、ＥＣＵ２０がカメラ情報処理装置１１１〜１１４の記憶部から読みだして記憶部２２に記憶する。
【００７０】
このように、カメラ情報処理装置１１１〜１１４が、対応するカメラ１０１〜１０４の差分テーブル２０１〜２０４を予め記憶しておくことで、カメラシステム１のカメラを付け替えたとしても、ＥＣＵ２０は、新たに取り付けられたカメラからの画像データを適切に補正できる。
【００７１】
なお、記憶部２２で記憶されるデータは、差分データでなくともよい。以下、その例を説明する。
【００７２】
図１１の差分データ（離散的な値）を繋いだとき、図８に示すグラフが描かれる。差分データ（離散的な値）同士をつなぐ最適な多項次関数を求めておき、その求められた多項次関数の各係数が記憶部２２に記憶されていてもよい。ここで、多項次関数は、カメラ毎且つ入射角毎に求められる。よって、記憶部２２は、多項次関数の複数の係数を、カメラ及び入射角に対応付けて記憶している。
【００７３】
また、記憶部２２は、差分テーブル２０１〜２０４に加えてこれらの関数の係数を記憶していてもよい。
【００７４】
カメラ情報処理装置１１１の記憶部１６も、差分テーブル２０１に替えて、カメラ１０１に対応する差分データから求められる入射角毎の最適な多項次関数の各係数を入射角と対応付けて記憶していてもよい。もしくは、記憶部１６は、これらの係数を差分データとともに記憶していてもよい。カメラ情報処理装置１１２〜１１４についても同様である。
【００７５】
ＣＰＵ２３は、記憶部２２に記憶されているＲＯＭに記憶されている制御プログラムを読みだして、ＲＡＭに展開し、展開した制御プログラムを実行することで、ＥＣＵ２０の全体の動作を制御する制御部として機能する。
【００７６】
画像処理部２４は、ＣＰＵ２３によって行われる制御の中の画像処理に関する動作を制御する。具体的には、画像処理部２４は、データ取得部２４ａ、補正部２４ｂ、歪み除去部２４ｃ、及び画像合成部２４ｄとして機能する。
【００７７】
データ取得部２４ａは、カメラ１０１、１０２、１０３、１０４によって得られた画像データを取得する。本実施形態では、データ取得部２４ａは、通信部２１からの画像処理用の画像信号を受信することで、各カメラによって得られた画像データを取得する。
【００７８】
補正部２４ｂは、記憶部２２に記憶されている差分データに基づいて、データ取得部２４ａが取得した画像データを補正する。
【００７９】
例えば、カメラ１０１からの画像データを補正する場合、補正部２４ｂは、差分テーブル２０１を参照する。そして、補正部２４ｂは、差分データに基づいて、入射角及び方位角毎に歪み補正の大きさを計算する。このとき、補正部２４ｂは、像高を大きくするように補正するか小さくするように補正するかも考慮して計算する。そして、補正部２４ｂは、計算結果に基づいて、カメラ１０１から得られた画像の歪みを補正する。
【００８０】
入射角α及び方位角θの組は、画像上の各位置と対応している。例えば、入射角αが大きいほど、点Ｏ２に対応している画像上の位置から離れる。また、方位角は、上述したように点Ｏ２周りの方向を示す。
【００８１】
差分データが「−」である場合、補正部２４ｂは、拡大補正（像高を伸ばすような歪み補正）を行っている。他方、差分データが「＋」である場合、補正部２４ｂは、縮小補正（像高を縮ませるような歪み補正）を行う。
【００８２】
図１１に示されている差分テーブル２０１では、入射角７０°及び方位角０°における差分データは「−５」であり、入射角７０°及び方位角４５°における差分データは「−３．５」であり、入射角７０°及び方位角９０°における差分データは「−１」である。また、差分テーブル２０１では、入射角７０°及び方位角９０°における差分データは「＋１」である。
【００８３】
よって、補正部２４ｂは、カメラ１０１からの画像の入射角７０°及び方位角０°に対応する位置の近傍については、−５ピクセル縮小する特性なので＋５ピクセル拡大補正を行う。補正部２４ｂは、カメラ１０１からの画像の入射角７０°及び方位角４５°に対応する位置の近傍については、同様に＋３．５ピクセル拡大補正を行う。補正部２４ｂは、カメラ１０１からの画像の入射角７０°及び方位角９０°に対応する位置の近傍についても、同様に＋１ピクセル拡大補正を行う。補正部２４ｂは、カメラ１０１からの画像の入射角７０°及び方位角１８０°に対応する位置の近傍についても、−１ピクセル拡大補正を行う。
【００８４】
補正部２４ｂは、その他、画像における入射角７０°の各方位角に対応する位置の近傍について、同様に歪み補正を行う。
【００８５】
また、補正部２４ｂは、その他の入射角に対応する位置の近傍においても同様に歪み補正を行う。
【００８６】
上述した補正処理により、カメラ１０１によって取得された画像は、カメラ１０１に製造誤差がない場合に得られる画像に近づく。つまり、上述の補正処理により、カメラ１０１が取得した画像の歪みが、カメラ１０１に製造誤差がない場合に取得される画像の歪みと同じになる。
【００８７】
カメラ１０２、１０３，１０４によって取得された画像データも同様に補正される。以下、カメラ１０１、１０２、１０３，１０４によって取得された画像が補正部２４ｂによって補正された結果、生成される画像を補正画像ＨＰ１、ＨＰ２、ＨＰ３、ＨＰ４と呼ぶ。
【００８８】
歪み除去部２４ｃは、補正部２４ｂによって生成された補正画像から歪みを除去する。詳しく言うと、歪み除去部２４ｃは、各カメラに製造誤差がないと仮定した場合に得られる画像（歪みを有する画像）を歪みのない画像に補正するための歪み除去処理を行う。具体的には、歪み除去部２４ｃは、補正画像ＨＰ１、ＨＰ２、ＨＰ３、ＨＰ４から歪みを除去し、歪み除去画像ＰＰ１、ＰＰ２、ＰＰ３、ＰＰ４を生成する。歪み除去処理は、一般的に知られている手法で行われる。
【００８９】
画像合成部２４ｄは、歪み除去画像ＰＰ１、ＰＰ２、ＰＰ３、ＰＰ４を合成して合成画像を生成する。画像合成部２４ｄは、生成した合成画像を通信部２６に送信する。
【００９０】
なお、補正部２４ｂ、歪み除去部２４ｃ、及び画像合成部２４ｄで処理が行われる毎に、処理された画像データは、記憶部２２に記憶される。つまり、補正画像ＨＰ１、ＨＰ２、ＨＰ３、ＨＰ４、歪み除去画像ＰＰ１、ＰＰ２、ＰＰ３、ＰＰ４、及び合成画像が記憶部２２に記憶される。
【００９１】
通信部２６は、画像合成部２４ｄから受信した画像信号の信号変換処理を行い、通信用の画像信号を生成する。そして、通信部２６は、生成した通信用の画像信号をモニタ情報処理装置３０に送信する。
【００９２】
モニタ情報処理部３０は、通信部３１、ＣＰＵ３２、画像処理部３３、及び電源３４を備える。
【００９３】
通信部３１は、ＥＣＵ２０から受信した画像信号に信号変換処理を行う。この処理により、当該画像信号は、画像処理用の画像信号に変換される。そして、通信部３１は、画像処理用の画像信号を画像処理部３２に送信する。
【００９４】
モニタ情報処理装置３０内の図示せぬメモリはＲＡＭ及びＲＯＭを有しており、ＣＰＵ３２は、ＲＯＭに記憶されている制御プログラムを読みだして、ＲＡＭに展開し、展開した制御プログラムを実行することで、モニタ情報処理装置３０の全体の動作を制御する制御部として機能する。
【００９５】
画像処理部３３は、ＣＰＵ３２によって行われる制御の中の画像処理に関する動作を制御する。画像処理部３３は、通信部３１から受信した画像信号をモニタ３５への表示用の信号に変換するための信号変換処理を行う。そして、画像処理部３３は、信号変換処理された画像信号をモニタ３５に送信する。
【００９６】
電源３４は、通信部３１、ＣＰＵ３２、画像処理部３３、及びモニタ３５に電力を供給する。
【００９７】
モニタ３５は、画像処理部３３から画像信号を受信し、当該画像信号に基づいて合成画像を表示する。このとき、モニタ３５には、図５に例示されているような鳥瞰図（理想合成画像）Ｐ１が表示される。
【００９８】
以上、本実施形態によれば、差分データに基づいて、カメラ１０１、１０２、１０３、１０４から得られた画像データを補正することで、カメラ１０１、１０２、１０３、１０４に製造誤差がない場合に得られる画像と比べて遜色ない画像を得ることができる。
【００９９】
方位角毎の差分データを予め記憶しておくことで、画像中心の周りの方位角毎に適切な歪み補正を行うことができる。また、入射角毎の差分データを予め記憶しておくことで、画像中心近傍からの距離に応じた適切な歪み補正を行うことができる。
【０１００】
また、カメラ１０１、１０２、１０３、１０４から得られた画像に上述した歪み補正、及び歪み除去処理が行われ、当該歪み補正及び歪み除去処理が行われた画像に基づいて合成画像を生成することで、理想的な鳥瞰図を得ることができる。
【０１０１】
なお、各カメラに対応づけられた差分テーブルは必ずしも一つでなくともよく、複数の差分テーブルが各カメラに対応付けられてもよい。複数の差分テーブルが各カメラに対応付けられた例について、以下、説明する。
【０１０２】
図８に示されているずれ量は、カメラ（レンズユニット１１）の温度によって変化することがある。図１２は、製造誤差があるカメラの温度が２５℃である場合において、該カメラに入射した光によって得られる像高と、製造誤差がないと仮定したカメラに入射した光によって得られる像高とのずれ量を示す図である。図１３は、製造誤差があるカメラの温度が−３０℃である場合において、該カメラに入射した光によって得られる像高と、製造誤差がないと仮定したカメラに入射した光によって得られる像高とのずれ量を示す図である。図１２及び図１３に例示されているように、カメラ（レンズユニット１１）の温度が異なれば、入射角とずれ量の関係性を示すグラフは、どの方位角においても異なる。つまり、カメラ（レンズユニット１１）の温度が変われば、所定の入射角及び方位角に対応するずれ量も変わる。
【０１０３】
図１２及び図１３に例示されているように、カメラ（レンズユニット１１）の温度によってずれ量が変化することがあるため、補正部２４ｂが、気温が高いときと低いときとで同じ差分データを用いると、適切な歪み補正ができない。
【０１０４】
そこで、記憶部２２は、温度範囲Ｔ＜Ｔ１に対応する差分テーブル、温度範囲Ｔ１≦Ｔ＜Ｔ２に対応する差分テーブル、及び温度範囲Ｔ２≦Ｔに対応する差分テーブルを、各カメラに対応付けて記憶していてもよい。ここで、温度範囲Ｔ＜Ｔ１に対応する差分テーブルは、レンズユニット１１の温度Ｔが温度範囲Ｔ＜Ｔ１のときの差分データを含むテーブルである。温度Ｔ１≦Ｔ＜Ｔ２に対応する差分テーブルは、レンズユニット１１の温度ＴがＴ１≦Ｔ＜Ｔ２のときの差分データを含むテーブルである。温度Ｔ２≦Ｔに対応する差分テーブルは、レンズユニット１１の温度ＴがＴ２≦Ｔのときの差分データを含むテーブルである。
【０１０５】
この場合、各カメラは温度センサを有することが望ましい。そして、補正部２４ｂは、カメラの温度センサによって検出された温度に基づいて、適切な差分テーブルを選択し、選択した差分テーブルの差分データに基づいて、カメラから得られる画像データを補正する。
【０１０６】
記憶部２２は、各温度範囲に対応した差分テーブルを記憶するのではなく、複数の温度について、各温度に対応する差分テーブルを記憶していてもよい。
【０１０７】
即ち、記憶部２２は、例えば、２５℃、１０℃、０℃、−１０℃、−２０℃、及び−３０℃に対応する２５℃用、１０℃用、０℃用、−１０℃用、２０℃用、及び−３０℃用の差分テーブルを各カメラに対応付けて記憶していてもよい。
【０１０８】
この場合、補正部２４ｂは、カメラの温度センサによって検出された温度に基づいて適切な差分テーブルを選択する。このとき、補正部２４ｂは、検出された温度に最も近い温度に対応する差分テーブルを選択する。もしくは、検出された温度に対応する差分テーブルが記憶部２２に記憶されていない場合、補正部２４ｂは、記憶部２２に記憶されている差分テーブルの差分データに基づいて、歪み補正に用いる差分データを算出してもよい。
【０１０９】
例えば、検出された温度が−１５℃であった場合、補正部２４ｂは、−１０℃用の差分テーブルの差分データと−２０℃用の差分テーブルの差分データに基づいて、レンズユニット１１が−１５℃の場合の各入射角及び方位角に対応する差分データを算出する。そして、補正部２４ｂは、算出したデータを用いて画像データを補正する。
【０１１０】
差分データを算出する手法は特に限定されない。例えば、補正部２４ｂは、−１０℃用の差分テーブルの差分データと−２０℃用の差分テーブルの差分データに基づいて比例計算を行うことで、レンズユニット１１が−１５℃の場合の差分データを算出してもよい。
【０１１１】
このように、記憶部２２が温度範囲毎に又は温度毎の差分テーブルを記憶することで、レンズユニット１１の温度も考慮した歪み補正を行うことができるため、カメラから得られた画像データをより精度よく補正することができる。
【０１１２】
また、カメラ１０１の製造誤差により、レンズＬ１〜Ｌ６には偏芯はないものの、レンズユニット１１の光軸Ｌが点Ｏ１からずれることがある。この場合、レンズユニット１１に入射する光によって得られる像高曲線は、カメラ１０１に製造誤差がない場合と比べて、像高曲線の中心はずれるものの、円形である。このような場合においても、本実施形態による画像補正装置及び画像生成装置３００によれば、カメラ１０１に製造誤差がない場合に得られる画像と比べて遜色ない画像を得ることができ、かつ、理想的な鳥瞰図を得ることができる。
【０１１３】
第１実施形態において、画像の歪み補正は、ＥＣＵ２０で行われるため、カメラ情報処理装置１１１の記憶部１６には、歪みの補正処理のためのデータを記憶していなくてもよい。
【０１１４】
（第２実施の形態）
以下、図１４を参照して本発明の第２実施形態を説明する。以下に説明する実施の形態において、上述した第１実施の形態と同一の作用効果を奏する部分には同一の符号を付することによりその部分の説明を省略し、以下の説明では第１実施形態と異なる点について主に説明する。
【０１１５】
第１実施形態では、カメラ１０１、１０２、１０３、１０４によって得られた画像の歪み補正、歪み補正された画像の歪み除去、及び歪み除去された画像同士の合成をＥＣＵ２０内で行われる。第２実施形態では、カメラ１０１、１０２、１０３、１０４によって得られた画像の歪み補正は、各カメラに対応して設けられたカメラ情報処理装置内で行われる。本実施形態において、カメラ情報処理装置１１１、１１２、１１３、１１４は、対応するカメラ１０１、１０２、１０３、１０４からの画像の歪みを補正する画像補正装置である。また、ＥＣＵ２０、及びカメラ情報処理装置１１１、１１２、１１３、１１４により、画像の歪みを補正し、画像の歪みを除去し、歪みが除去された画像同士を合成する画像生成装置３００が構成される。
【０１１６】
図１４は、本発明の第２実施形態に係るカメラシステム１の構成を示すブロック図である。カメラ情報処理装置１１１は、ＣＰＵ１７を新たに備え、画像処理部１３に替えて画像処理部１８を備える。
【０１１７】
ＣＰＵ１７は、記憶部１６が有するＲＯＭに記憶されている制御プログラムを読みだして、ＲＡＭに展開し、展開した制御プログラムを実行することで、カメラ情報処理装置１１１の全体の動作を制御する制御部として機能する。
【０１１８】
画像処理部１８は、ＣＰＵ１７によって行われる制御の中の画像処理に関する動作を制御する。具体的には、画像処理部１８は、データ取得部１８ａ、処理部１８ｂ、及び補正部１８ｃとして機能する。
【０１１９】
データ取得部１８ａは、カメラ１０１によって得られた画像データを取得する。具体的には、データ取得部１８ａは、センサ１２から画像信号を取得する。
【０１２０】
処理部１８ｂは、データ取得部１８が取得した画像信号に対してコントラスト調整、及びゲイン調整等を行う。
【０１２１】
補正部１８ｃは、記憶部１６に記憶されている差分テーブル２０１の差分データに基づいて、処理部１８ｂによって処理された信号に含まれる画像データを補正する。補正部１８ｃは、補正部２４ｂと同様に歪みを補正することで、補正画像ＨＰ１を生成する。生成された補正画像ＨＰ１は、記憶部１６に記憶される。
【０１２２】
通信部１４は、補正部１８ｃによって補正された画像データの信号に信号変換処理を行い、通信用の画像信号を生成する。そして、通信部１４は、生成した画像信号をＥＣＵ２０に送信する。
【０１２３】
カメラ情報処理装置１１１について説明したが、カメラ情報処理装置１１２、１１３、１１４もカメラ情報処理装置１１１と同様の構成及び機能を有している。即ち、カメラ１０２、１０３、１０４によって取得された画像データは、カメラ情報処理装置１１２、１１３、１１４内で歪み補正される。それらの画像データが歪み補正された結果、補正画像ＨＰ２、ＨＰ３、ＨＰ４が生成される。そして、補正画像ＨＰ２、ＨＰ３、ＨＰ４の信号が、それぞれカメラ情報処理装置１１２、１１３、１１４からＥＣＵ２０に送信される。
【０１２４】
ＥＣＵ２０は、画像処理部２４に替えて画像処理部２７を備える。即ち、画像処理部２７は、歪み除去部２７ｃ、及び画像合成部２７ｄとして機能する。
【０１２５】
歪み除去部２７ｃは、通信部２１によって信号変換処理されたカメラ情報処理部１１１、１１２、１１３、１１４からの画像信号を受信する。そして、歪み除去部２７ｃは、補正画像ＨＰ１、ＨＰ２、ＨＰ３、ＨＰ４の歪みを除去する。詳細は、第１実施形態の歪み除去部２４ｃと同様である。
【０１２６】
画像合成部２７ｄは、第１実施形態の画像合成部２４ｄと同様の機能を有する。
【０１２７】
以上説明したように、歪み補正が各カメラに対応するカメラ情報処理装置１１１、１１２、１１３、１１４内で行われてから、ＥＣＵ２０内で歪み除去及び画像合成が行われる構成であっても、第１実施形態と同様の作用効果を奏する。
【０１２８】
ＥＣＵ２０内で歪み補正をする場合、センサ１２によって生成された画像信号が通信用の画像信号に変換され、ＥＣＵ２０で受信されてから再び画像処理用の信号に変換される過程で、画像の劣化を引き起こすことがある。しかしながら、第２実施形態では、そのような変換が行われる前に、カメラから得られた画像の歪みを補正するため、当該変換処理による画像劣化の影響を受けない。したがって、第２実施形態によれば、ＥＣＵ２０内で画像の歪み補正する場合と比べて、より精度よく画像の歪み補正をすることができる。
【０１２９】
なお、上述したように、カメラ１０１と、カメラ情報処理装置１１１とを一体としたカメラユニットを構成することもできる。このカメラユニットは、一般的に「カメラ」と呼ばれているものである。また、カメラ１０１とカメラ情報処理装置１１１とを分離して互いに別装置としてもよい。
【０１３０】
＜注釈＞
その他、上記各実施の形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【産業上の利用可能性】
【０１３１】
本発明は、画角が広いレンズを備えたカメラからの画像を補正する画像補正装置に好適に利用される。
【符号の説明】
【０１３２】
１  カメラシステム
１１  レンズユニット
１１ａ  鏡筒
１２  センサ
１３，１８，２４，２７，３３  画像処理部
１８ａ，２４ａ  データ取得部
１８ｃ，２４ｂ  補正部
１４，２１，２６，３１  通信部
１５，３４  電源
１６，２２  記憶部
１７，２３，３２  ＣＰＵ
１８ｂ  処理部
２０  ＥＣＵ
２４ｃ，２７ｃ  歪み除去部
２４ｄ，２７ｄ  画像合成部
３０  モニタ情報処理装置
３５  モニタ
１００  車両
１０１，１０２，１０３，１０４  カメラ
１１１，１１２，１１３，１１４  カメラ情報処理装置
２０１，２０２，２０３，２０４  差分テーブル
３００  画像生成装置
Ａ１，Ａ２  光
ＢＬ１２，ＢＬ１３，ＢＬ２４，ＢＬ３４  境界線
Ｃ１  像高曲線（理想像高曲線）
Ｃ１’  像高曲線
Ｃ２  像高曲線（実際像高曲線）
Ｐ１  鳥瞰図（理想合成画像）
Ｐ２  鳥瞰図（実際合成画像）
ａ１１，ａ１２，ａ１３，ａ１１’，ａ１２’，ａ１３’，ａ２１，ａ２２，ａ２３，ｂ１，ｂ２，ＬＯ，Ｏ１，Ｏ２  点
Δａ１，Δａ２，Δａ３  ずれ量
θ  方位角
α  入射角
ＲＬ  路側帯
Ｌ  光軸
Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６  レンズ
Ｒ１，Ｒ２，Ｒ３，Ｒ４  撮像範囲
ＰＲ１，ＰＲ２，ＰＲ３，ＰＲ４  画像領域
【図１】
2020140662.tif 000003
【図２】
2020140662.tif 000004
【図３】
2020140662.tif 000005
【図４】
2020140662.tif 000006
【図５】
2020140662.tif 000007
【図６】
2020140662.tif 000008
【図７】
2020140662.tif 000009
【図８】
2020140662.tif 000010
【図９】
2020140662.tif 000011
【図１０】
2020140662.tif 000012
【図１１】
2020140662.tif 000013
【図１２】
2020140662.tif 000014
【図１３】
2020140662.tif 000015
【図１４】
2020140662.tif 000016