(57)【要約】【課題】従来の車両搭載された撮影装置の撮影画像では障害物が近距離に存在する場合に画角に入りきらないなど十分に検知できなかった。【解決手段】車両前方の対象物検知用の撮影装置と駐車支援用の撮影装置の画像を合成することで、従来では検知を行うことが難しかった領域、例えば自車両から近距離に位置しているために撮影装置に全体の映像が映りきらないような障害物を、合成画像により検知することができる車両用画像処理システムおよび車両用画像処理装置を提供する【選択図】図２
2017091284.tif 000002
【特許請求の範囲】
【請求項１】
車両前方を撮影した第１の撮影画像と前記第１の撮影画像と撮影領域が一部重複し車両周辺を撮影した第２の撮影画像とが入力される入力部、
前記第２の撮影画像が前記第１の撮影画像と同じ位置から撮影したように射影変換される射影画像変換部、
前記射影画像変換部の出力画像と前記第１の撮影画像とが連続するように合成される第１の画像合成部、
前記第１の画像合成部で合成された画像から前記車両前方の障害物が検知される検知判断部、
を備えた車両用画像処理装置。
【請求項２】
前記射影画像変換部は前記車両から距離の異なる複数の射影面に対応した射影画像群が出力され、前記第１の画像合成部は、前記複数の射影面に対応した合成画像群が出力されることを特徴とする請求項１に記載の車両用画像処理装置。
【請求項３】
前記射影画像群のそれぞれの射影画像と前記第１の撮影画像との重複する部分について画素ごとの類似が演算される画像減算部、所定の領域ごとに比較され、最も類似する領域に対応した前記射影画像の射影面の距離がその領域の距離としてラベル付けされる距離判別部を備えたことを特徴とする請求項２に記載の車両用画像処理装置。
【請求項４】
前記ラベル付けされた領域ごとの射影画像が選択され、前記第１の撮影画像と組み合わされることにより、画像間の境界が連続的に見えるように合成される第２の画像合成部を備えたことを特徴とする請求項３に記載の車両用画像処理装置。
【請求項５】
前記射影画像群のそれぞれの射影画像と前記第１の撮影画像との重複する部分について画素ごとの差分が演算される画像減算部、短冊状の領域ごとに差分値を積算して比較され、積算値の最も小さい短冊状領域に対応した前記射影面の距離がその領域の距離としてラベル付けされる距離判別部、前記ラベル付けされた短冊状領域ごとの射影画像が選択され、前記第１の撮影画像と組み合わされることにより、画像間の境界が連続的に見えるように合成される短冊合成部とを備えたことを特徴とする請求項２に記載の車両用画像処理装置。
【請求項６】
前記第１の撮影画像は、射影変換されていることを特徴とする請求項１から５のいずれか一項に記載の車両用画像処理装置。
【請求項７】
請求項１から６のいずれか一項に記載の車両用画像処理装置と、  
車両に搭載され、車両前方を撮影する第１の撮影装置と、
車両に搭載され、前記第１の撮影装置の撮影領域と一部重複し、車両周辺を撮影する第２の撮影装置と、
前記車両用画像処理装置の出力が表示される表示装置と、
を備えた車両用画像処理システム。
【請求項８】
前記第２の撮影装置は、前記車両を上空から見たように俯瞰する俯瞰画像を出力する際にも使用されることを特徴とする、請求項７に記載の車両用画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数カメラを用いた車両用画像処理装置および車両用画像処理システムに関するものである。
【背景技術】
【０００２】
従来、車両運転時の自車両の前方に位置する障害物の検知には、遠距離の障害物を検知するのに有利な画角のあまり広くない単眼のカメラ、または距離測定にも使用する複眼カメラが用いられてきた（特許文献１）。
一方で、駐車支援を目的として、自車両の周辺を撮影し、運転者に情報提供するため、広範囲な地面を映すのに有利な広い画角を有する複数のカメラを使用し、これら複数のカメラの映像を合成して表示する発明がされている（特許文献２）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３９１７２８５号公報
【特許文献２】特開２０１４−４１３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
単眼カメラによる対象物の検知では、主にフロントガラスにカメラを取り付けて前方の歩行者や車両などの障害物を判断する。しかし、遠方の障害物を効果的に検知するためには、カメラはある程度狭角である必要があり、その場合、自車両から近距離に位置する障害物は、足元がカメラの画角に入りきらなくなる。
また、広角のカメラを使用したとしても、多くの一般車両ではボンネットが前に張り出しているためにフロントガラスに設置されたカメラからは近距離の対象物の足元は隠れてしまう。よって、テンプレートマッチングを用いた画像処理では、そのような対象物の検知は検知率が下がるか、または検知不可能となってしまう。
【０００５】
複眼カメラを用いる場合でも、上述した単眼カメラと同じく、フロントガラスの内側に設置されているため、自車両から近距離の対象物の足元はカメラの画角に入りきらない。複眼カメラによって対象物までの距離を測定することは可能だが、対象物の属性（歩行者か車両かなど）を判断するにあたってはテンプレートマッチングによる検知が必要であり、前述の単眼カメラと同じ検知率の低下などが生じる。
また、複眼カメラによる測距の実用化にあたっては、精度向上および計算モデル簡略化のために、複眼カメラの光軸を出来るだけ平行にする必要がある。すなわち測距を目的として複眼にしているために、複眼カメラの撮影領域は（基線長との兼ね合いもあるが）、できるだけ被っている必要があり、撮影領域自体は単眼カメラを用いる場合とほとんど変わらない。また当然のように、複眼カメラはカメラを複数用いるためにコストや設置スペースが増加してしまうという問題もある。
【０００６】
一方、駐車支援を目的として設置されるカメラは、車両周辺の地面を撮影するために、主に車両の外側に、下向きに複数取り付けられ、広角を撮影できる魚眼レンズを有する。車両の前方方向においては、バンパー付近に取り付けられることが多い。これらのカメラを用いても車両前方の障害物を検知することが可能である。しかし、地面を主に撮影する目的で装着されたカメラであるために、障害物が近距離に存在する場合には障害物の足元しか撮影範囲に収まらず、そのような障害物は正しく検知を行うことが難しい。
【０００７】
そこで、車両周辺の対象物が１つのカメラに収まらないような位置にあっても、正しく検知を行うことができるような画像処理システムが求められている。
本発明は、上記のような課題を解決するために行われたものであって、車両前方の対象物検知用のカメラと駐車支援用のカメラの画像を組み合わせることで、従来では検知を行うことが難しかった領域、例えば自車両から近距離に位置しているためにカメラ映像に全身が映りきらないような障害物を効果的に検知する車両用画像処理装置および車両用画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の車両用画像処理装置は、車両前方を撮影した第１の撮影画像と、この第１の撮影画像と撮影領域が一部重複し、車両周辺を撮影した第２の撮影画像とが入力される入力部、第２の撮影画像が第１の撮影画像と同じ位置から撮影したように射影変換される射影画像変換部、射影画像変換部の出力画像と第１の撮影画像とが連続するように合成される第１の画像合成部、第１の画像合成部で合成された画像から車両前方の障害物が検知される検知判断部を備えている。
また、この発明の車両用画像処理システムは、上記車両用画像処理装置と、車両に搭載され、車両前方を撮影する第１の撮影装置と、車両に搭載され、第１の撮影装置の撮影領域と一部重複し、車両周辺を撮影する第２の撮影装置と、車両用画像処理装置からの出力が表示される表示装置とを備えている。
【発明の効果】
【０００９】
この発明の車両用画像処理装置により、１つの撮影画像に収まり切らない車両前方の障害物を、複数の撮影画像を合成し、検知判断を行うことが可能となる。
また、この発明の車両用画像処理システムにより、１つの撮影装置に収まり切らない車両前方の障害物を、複数の撮影装置で得られた画像を合成し、検知判断を行い、運転者に表示することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１における車両用画像処理システムの要部を示す概略図である。
【図２】この発明の実施の形態１における車両用画像処理システムおよび車両用画像処理装置の機能ブロック図である。
【図３】この発明の実施の形態１における射影変換部の動作概要図である。
【図４】この発明の実施の形態１における画像減算部の動作概要図である。
【図５】この発明の実施の形態１における距離判別部の動作概要図である。
【図６】この発明の実施の形態１における画像合成部および検知判断部の動作概要図である。
【図７】この発明の実施の形態１における短冊合成部の動作概要図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１はこの発明の実施の形態１である車両用画像処理システムの要部を示す概略図である。図において、車両１に取り付けられた前方上方カメラ２、前方下方カメラ３、後方カメラ４、左方カメラ５、右方カメラ６からの画像データは、画像処理装置７により画像処理された後、映像表示装置８に映し出される。
【００１２】
前方上方カメラ２は、レンズ、光学センサ、画像送信部で構成され、主に車両１のフロントガラスの車内側、ルームミラーの裏側（フロントガラス側）の左右中央に設置される。地面からの高さは、１５００ｍｍ、また車両先端からの奥行は１５００ｍｍとする。
前方上方カメラ２の傾きは、地面と水平になるように、すなわち、パン、チルト、ロールのそれぞれの角度が０度になるように設置する。車両前方を遠くまで撮影できるように水平画角５０度のレンズを使用する。撮影解像度は横１２８０ピクセル、縦９６０ピクセルとする。得られた画像データはＬＶＤＳ（Low Voltage Differential Signaling）などの高速伝送路を用いて画像処理装置７に送られる。
【００１３】
前方下方カメラ３は、前方上方カメラ２と同じく、レンズ、光学センサ、画像送信部で構成され、主に車両１の外側、前方バンパー付近の左右中央に設置される。地面からの高さは８００ｍｍとする。車両前方の広範囲の地面を撮影できるように、カメラを下向きに、チルト角を３０度傾けて取り付ける。レンズは水平画角１８０度の魚眼レンズを使用する。撮影解像度は、横１２８０ピクセル、縦７２０ピクセルとし、得られた画像データは画像処理装置７に送られる。
【００１４】
後方カメラ４、左方カメラ５、右方カメラ６は、前方下方カメラ３と同じく車両周辺の地面を撮影するために設置されるカメラであり、後方カメラ４は車両後方のナンバープレートの上部に、左方カメラ５、右方カメラ６はそれぞれサイドミラー下部に設置する。それぞれのカメラが設置された位置の直下の地面が撮影領域に含まれるようにチルト角を下に傾けて設置される。レンズは前方下方カメラ３と同じく魚眼レンズを使用し、撮影解像度は、横１２８０ピクセル、縦７２０ピクセルとする。得られた画像データは、画像処理装置７に送られる。
【００１５】
図２は、この発明の画像処理システムの機能ブロック図である。各カメラからの画像データは、画像処理装置７に入力され、画像処理を施された後、映像表示装置８に出力される。画像処理装置７は、各画像受信部（図示せず）、輝度・歪み補正部７１、俯瞰変換部７２、射影変換部７３、画像合成部７４、画像減算部７５、距離判別部７６、短冊合成部７７、検知判断部７８で構成される。以下に各部の役割と画像データの流れを説明する。
【００１６】
高速伝送により上述した５つのカメラから送られてきた画像データは、画像受信部（図示せず）にて差動信号から並列信号に復元された後、輝度・歪み補正部７１へ送られ、それぞれのカメラの画像間輝度差を低減する補正および、それぞれのレンズに合わせた歪み補正を行う。輝度・歪み補正された画像データのうち、前方下方カメラ３、後方カメラ４、左方カメラ５、右方カメラ６の各カメラからの画像データについては、俯瞰変換部７２に送られ、それぞれの画像を車両上空から俯瞰したような視点へ射影変換した後、地面が自然に繋がるように1枚の画像に合成する。さらに車両自体を上空から俯瞰した既存の静止画データを重畳し、トップビューの俯瞰画像の画像データとして映像表示装置８に送られる。
【００１７】
輝度・歪み補正された画像データのうち、前方下方カメラ３の画像データについては上述した俯瞰変換部７２に送られると共に射影変換部７３にも送られ、前方上方カメラ２と同じ視点になるように射影変換された後、画像合成部７４、画像減算部７５に送られる。
前方上方カメラ２からの画像データは輝度・歪み補正部７１で補正された後、画像合成部７４、画像減算部７５に送られる。
【００１８】
画像減算部７５では射影変換部７３で変換された射影画像群の画像データと、前方上方カメラ画像とで撮影領域の重なる部分について比較される。すなわち、画像の差分をとったものを差分画像群の画像データとし、距離判別部７６に送られる。
【００１９】
距離判別部７６では、差分画像群を縦長の短冊領域に分割し、それぞれの短冊領域について距離を判別し、ラベル付けした情報を短冊合成部７７に送られる。
【００２０】
短冊合成部７７では、ラベル付けされた距離情報を元に、差分画像群の画像データから適切な短冊領域を抜出し、前方上方カメラ２からの画像と合成する。合成された短冊合成画像の画像データは映像表示装置８に送られる。
【００２１】
画像合成部７４では輝度・歪み補正された前方上方カメラ画像および、射影画像群の画像データを距離ごとに合成し、合成画像群の画像データを作成し、検知判断部７８へ送る。
検知判断部７８では画像合成部７４から送られた合成画像群の画像データにテンプレートマッチングを用いた検知を行い、車両前方の障害物を抽出し、その情報は映像表示装置８に送られる。
【００２２】
映像表示装置８は、画像処理装置７から得られた障害物判定情報を運転者に提示する。俯瞰変換部７２から送信された俯瞰画像、短冊合成部７７から送信された短冊合成画像、及び検知判断部７９から送信された障害物情報を表示するための液晶ディスプレイを有する。どの画像や情報を運転者に提供するかについては、運転者によるボタン操作によって切り替えても良いし、情報の緊急度および車両の速度や舵角などのセンサ情報から判断して自動的に切り替わるようにしてもよい。
運転者の目に留まりやすいダッシュボード近くに設置された、カーナビゲーションや速度メーターパネルがこの映像表示装置８の役割を果たす。
【００２３】
次に各部の役割につき、詳細に説明する。
図３は射影変換部７３の動作概要図である。射影変換部７３では、輝度・歪み補正部７１で輝度・歪み補正された前方下方カメラ画像（以下、補正下方画像と称す）１００を射影変換し、射影画像２００、２１０、２２０を作成する。
図３の左に位置する枠が補正下方画像１００である。枠内には２人の歩行者１０１、１０２が映し出されているが、前方下方カメラが低い位置に取り付けられていることと、歩行者１０１、１０２が車両１から近い位置に立っていることから、歩行者１０１、１０２の上半身はカメラの撮像領域内に収まらず、下半身のみが映し出されている。２人の歩行者１０１、１０２は車両１からそれぞれ１ｍおよび０．５ｍに位置している。
補正下方画像１００は、前方上方カメラ２の画像と比較あるいは、合成するために、前方上方カメラ２と同じ視点から見たように射影変換が行われる。射影変換は、画像中の任意の４点の座標を別の４点の座標に変換する処理であり、補正下方画像１００中に映った４点、例えば図示はしないが、四角の板の四隅などの座標を、前方上方カメラ２に映った同物体の４点の座標に射影変換すれば、仮想的に前方上方カメラ２と同じ視点から見たような画像に変換できる。しかし、前方上方カメラ２と前方下方カメラ３は取付け位置が上下および前後にずれているため、射影変換を行った面（先ほどの例では、四角の板を含む平面）以外の場所では、前方上方カメラ２の画像とズレが生じてしまう。
【００２４】
そこで、補正下方画像１００に対する射影変換を複数の面について行い、複数の射影画像による射影画像群２０００を生成する。この複数の面は車両１の直進軸と直交する複数の平面に対応させるようにしてもよい。例えば、図３の右側に位置する３つの枠は、射影画像２００、２１０、２２０の画像イメージであり、車両１の先端から前方に０．５ｍ、１ｍ、１．５ｍの距離において前方上方カメラの光軸と直交する平面での射影変換を、補正下方画像１００対して行ったものである。射影画像はもっと広範囲、あるいは細かい距離で分割して作成してもよい。なお、これらの射影変換に使用するパラメータは、カメラ取付け時に四角の平面のターゲットを撮影することであらかじめ算出することが可能である。あるいは、前方上方カメラ２および前方下方カメラ３の位置・姿勢から算出することが可能である。射影画像２００、２１０、２２０等の射影画像群２０００の画像データは、画像合成部７４および画像減算部７５へ送られる。
【００２５】
図４は画像減算部７５の動作概要図である。画像減算部７５では、輝度・歪み補正部７１で輝度・歪み補正された前方上方カメラ画像（以下、補正上方画像）３００と上述した射影画像２００、２１０、２２０とを順次比較し、画素値（明るさ）の差分画像を作成する。
比較するにあたり、補正上方画像と射影画像の重複する部分を抜き出す。図４中、左側に補正上方画像３００、中央に射影画像２００、２１０、２２０等からなる射影画像群を示す。射影画像中、破線で区切られた２人の歩行者の腰付近に相当する部分が重複している。射影画像の距離ごとに、これら補正上方画像と重複する部分の画素ごとの差分をとると、図４中、右側に示された差分画像４００、４１０、４２０等からなる差分画像群が生成される。ここでは差の少ない部分を白色で、差の大きな部分を横線で模式的に示している。例えば、差分画像４００では、補正上方画像３００と０．５ｍ地点の射影画像２００との差分をとっているが、０．５ｍに位置する歩行者の領域では差が少なく、１ｍ地点に位置する歩行者の領域では差は大きくなる。これは、射影画像２００が、車両前方０．５ｍの面に合わせて射影変換を行った画像であるため、車両前方０．５ｍに位置する物体は補正上方画像とのズレが少なく、それ以外の場所では補正上方画像とのズレが大きくなるためである。差分画像４１０では、補正上方画像３００と１ｍ地点の射影画像２１０との差分をとっているため、１ｍに位置する歩行者の領域で差が少なく、０．５ｍに位置する歩行者の領域では差が大きくなる。差分画像４２０では、補正上方画像と１．５ｍ地点の射影画像２２０との差分をとっているため、１ｍに位置する歩行者、０．５ｍに位置する歩行者の両方の領域で補正上方画像との差が大きくなる。
差分画像４００、４１０、４２０等の差分画像群は距離判別部７６へ送られる。
【００２６】
図５は距離判別部７６の動作概要図である。距離判別部７６では、上述した画像減算部で生成された差分画像から画像中の領域ごとの距離を判別する。
まず、図５に示すように、差分画像４００、４１０、４２０を例えば、短冊領域ａ、ｂ、ｃ・・ｏに分割する。そして短冊領域それぞれについて、領域内の画素値（画像減算部７５で求めた画素ごとの差分の値）の積算値５００を計算する。それぞれの差分画像の同じ短冊領域ごとに積算値５００を比較し、最も積算値の小さい（差の値が小さくズレが小さい）短冊領域の差分画像の距離（差分画像を求めるために使用した射影画像に対応する距離）をその短冊領域に存在する物体の距離としてラベル付けを行う。例えば、図５中、差分画像４００、４１０、４２０のそれぞれについて、短冊領域ｃにつき積算値５００を比較し、差分画像４１０の短冊領域ｃの積算値が最も小さい値を示しており、この短冊領域に存在する物体の距離は１ｍであると判別できるので、１とラベル付けする。なお、このラベル付けの際、最も低い値を示した積算値が所定の閾値よりも大きい場合は、該当する距離無しとみなして、ラベル付けを行わない。このように判別された距離ラベル情報５１０は短冊合成部７７に送られる。
【００２７】
図６は、画像合成部７４、および検知判断部７８の動作概要図である。
画像合成部７４では、上述した補正上方画像と射影画像群を合成する。図６中、右側に位置するのが合成画像６００、６１０である。ここで、０．５ｍに対応する射影画像２００と補正上方画像３００とを合成した合成画像６００を見ると、車両１から１ｍに位置する歩行者１０１は合成の境界線でズレが発生しているが、０．５ｍに位置する歩行者１０２はズレ無く合成されている。これは、画像減算部７５の説明で述べた通り、射影面が０．５ｍの地点に合わせられているためである。同様に、１ｍに対応する射影画像２１０と補正上方画像３００との合成画像６１０においては、１ｍの地点に存在する物体はズレ無く連続的に合成され、それ以外の距離に位置する物体は境界線でズレが発生する。
【００２８】
検知判断部７８では、合成画像６００、６１０など、合成画像群のそれぞれにおいてＨＯＧ（Histograms of Oriented Gradients）などの特徴量を用いたテンプレートマッチングによる障害物検知処理を行う。ここで、０．５ｍに対応した合成画像６００では、０．５ｍの位置の歩行者１０２は検知することができるが、１ｍの位置の歩行者１０１は、境界線でのズレにより形状が本来の歩行者とは異なっているため検知することが困難である。逆に１ｍに対応した合成画像６１０では０．５ｍの歩行者１０２の検知は困難になるが、１ｍの位置の歩行者は検知が可能である。従って、合成画像の対応する距離が、その合成画像中において検知できた対象の距離を表しており、そこから検知対象の距離を判別することが可能である。
対象物の距離測定には前述した距離判別部７６で得られる距離ラベル情報５１０を用いてもよい。このようにして検知された障害物の位置や属性等の情報は映像表示装置８に送られ、車両１と障害物が衝突する危険性などを運転者に警告する。
【００２９】
図７は短冊合成部７７の動作概要図である。
短冊合成部７７でも画像合成部７４同様、補正上方画像と射影画像群とを合成する。ただし、その際に、射影画像群を縦長の短冊領域に分割し、距離ラベル情報５１０と対応する短冊領域を抜出して、補正上方画像と合成を行う。例えば図７に示す通り、距離ラベル情報５１０で、「１」とラベル付けされた短冊領域ｃからｆは射影画像２１０の短冊領域ｃからｆを抜き出し、「０．５」とラベル付けされた短冊領域iからlは射影画像２００の短冊領域iからlを抜き出し、補正上方画像３００と合成する。こうして合成された短冊合成画像７００は、短冊領域ごとに適切な距離の射影画像を合成しているため、今回例示した０．５ｍ、１ｍ、１．５ｍの地点に直立する物体に関しては、境界線でのズレが無くなり、人間の目に自然に映る。この短冊合成画像７００は、映像表示装置８に送られ、検知判断部７８で得られた情報等を用いて、適切なタイミングで運転者に提供される。
【００３０】
上記実施の形態１では、前方上方カメラ２の視点で前方下方カメラ３の画像データを射影変換部７３にて射影変換したが、前方上方カメラ２および前方下方カメラ３のそれぞれの視点以外の別の視点からの画像を得るために、前方上方カメラ２および前方下方カメラ３の両方の画像データを射影変換してもよい。例えば、路面に描かれたペイントなどを検知する際に、前方上方カメラおよび前方下方カメラの撮影画像両方を上空から見たような視点に射影変換すれば、前方上方カメラおよび前方下方カメラにまたがって映り込んでいるようなペイントも検知することが可能となる。
【００３１】
このように実施の形態１に係る車両用画像処理システムは、従来においては前方上方カメラ２のみでは映しきれない範囲まで跨って存在している車両前方の障害物を、前方下方カメラ３の画像を合成することで仮想的に視野を広げ、検知処理を行うことを可能にする。
【００３２】
また、前方上方カメラ２および前方下方カメラ３の両方の画像データを射影変換することにより、前方上方カメラ２および前方下方カメラ３の取付け位置・姿勢に固定されることなく、任意の自由な視点からの画像を合成することができる。検知判断部７８にて検知処理を行う際や、映像表示装置８において運転者に合成画像を提供する際に、より最適な視点を選択することが可能となり、前方上方カメラ２のみ、あるいは前方下方カメラ３のみの画像では得られない広範囲の画像を見ることができる。
【００３３】
また、前方下方カメラ３は、前方上方カメラ２の画像と合成して車両前方近距離における障害物検知を補助する役割および、駐車支援を目的としたトップビュー表示に使用するカメラの一つとしての役割を兼用することができ、それぞれの役割に応じて別々のカメラを用意するよりもコストおよび設置スペースの面で有利である。
【００３４】
また、前方上方カメラ２および前方下方カメラ３の取付け位置が大きく異なっていて、同じ視点に射影変換しても２つの画像間にズレが生じてしまう場合においても、所定の複数距離に対応した射影画像２００、２１０、２２０などの射影画像群を用意しておくことで、それらの距離に対応した合成画像６００、６１０などの合成画像群を作成することができ、所定の距離に存在する障害物について検知処理を行うことが可能となる。また、ある距離に対応する合成画像において、合成の境界線の両側に跨る何らかの障害物が検知できたということは、その障害物は合成画像が対応する距離に位置しているはずであるから、その障害物の車両前方からの距離を判別することも可能である。
【００３５】
また、射影画像群のそれぞれの射影画像２００、２１０、２２０と前方上方カメラ２の画像との重複する部分について画素ごとの差分を演算し、短冊状の領域ごとに差分値を積算して比較し、積算値の最も小さい短冊領域に対応した射影面の距離をその領域の距離としてラベル付けすることで、重複部分の車両１からの距離を判別することが可能となる。これにより、パターンマッチングなどを行わずに、対象物までの距離を求めることができる。さらにステレオカメラなどを使った視差による測距ではなく、射影面を利用したものであるので、それぞれのカメラの画角、光軸の方向、前後位置などの違いによる複雑な計算モデルを構築する必要がない。
【００３６】
また、縦長の短冊状領域に分割して距離を求めることで、障害物が地面に直立しているという仮定から、画像が重複している部分以外の画像についても同距離と推定することができ、この距離情報により、運転者に対し視野が広くかつズレの無い自然な短冊合成画像７００を提供することができる。従って、運転者は歩行者の上半身のみ、又は下半身のみの画像ではなく、歩行者の全身が映った画像を見ることができるため、より適切な状況判断を行うことができる。
【００３７】
なお、この発明は、その発明の範囲内において、実際の形態を適宜、変形、省略することが可能である。
【符号の説明】
【００３８】
１  車両、２  前方上方カメラ、３  前方下方カメラ、４  後方カメラ、５  左方カメラ、６  右方カメラ、７  画像処理装置、８  映像表示装置、７１  輝度・歪み補正部、７２  俯瞰変換部、７３  射影変換部、７４  画像合成部、７５  画像減算部、７６  距離判別部、７７  短冊合成部、７８  検知判断部
【図１】
2017091284.tif 000003
【図２】
2017091284.tif 000004
【図３】
2017091284.tif 000005
【図４】
2017091284.tif 000006
【図５】
2017091284.tif 000007
【図６】
2017091284.tif 000008
【図７】
2017091284.tif 000009
【手続補正書】
【提出日】平成28年11月18日(2016.11.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両前方を撮影した第１の撮影画像と前記第１の撮影画像と撮影領域が一部重複し車両周辺を撮影した第２の撮影画像とが入力される入力部、
前記第２の撮影画像が前記第１の撮影画像と同じ位置から撮影したように射影変換される射影画像変換部、
前記射影画像変換部の出力画像と前記第１の撮影画像とが連続するように合成される第１の画像合成部、
前記第１の画像合成部で合成された画像から前記車両前方の障害物が検知される検知判断部、
を備え、
前記射影画像変換部は車両から距離の異なる複数の射影面に対応した射影画像群が出力され、前記第１の画像合成部は、前記複数の射影面に対応した合成画像群が出力されることを特徴とする車両用画像処理装置。
【請求項２】
前記射影画像群のそれぞれの射影画像と前記第１の撮影画像との重複する部分について画素ごとの類似が演算される画像減算部、所定の領域ごとに比較され、最も類似する領域に対応した前記射影画像の射影面の距離がその領域の距離としてラベル付けされる距離判別部を備えたことを特徴とする請求項１に記載の車両用画像処理装置。
【請求項３】
前記ラベル付けされた領域ごとの射影画像が選択され、前記第１の撮影画像と組み合わされることにより、画像間の境界が連続的に見えるように合成される第２の画像合成部を備えたことを特徴とする請求項２に記載の車両用画像処理装置。
【請求項４】
前記射影画像群のそれぞれの射影画像と前記第１の撮影画像との重複する部分について画素ごとの差分が演算される画像減算部、短冊状の領域ごとに差分値を積算して比較され、積算値の最も小さい短冊状領域に対応した前記射影面の距離がその領域の距離としてラベル付けされる距離判別部、ラベル付けされた短冊状領域ごとの射影画像が選択され、前記第１の撮影画像と組み合わされることにより、画像間の境界が連続的に見えるように合成される短冊合成部とを備えたことを特徴とする請求項１に記載の車両用画像処理装置。
【請求項５】
前記第１の撮影画像は、射影変換されていることを特徴とする請求項１から４のいずれか一項に記載の車両用画像処理装置。
【請求項６】
請求項１から５のいずれか一項に記載の車両用画像処理装置と、
車両に搭載され、車両前方を撮影する第１の撮影装置と、
車両に搭載され、前記第１の撮影装置の撮影領域と一部重複し、車両周辺を撮影する第２の撮影装置と、
前記車両用画像処理装置の出力が表示される表示装置と、
を備えた車両用画像処理システム。
【請求項７】
前記第２の撮影装置は、前記車両を上空から見たように俯瞰する俯瞰画像を出力する際にも使用されることを特徴とする、請求項６に記載の車両用画像処理システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
この発明の車両用画像処理装置は、車両前方を撮影した第１の撮影画像と、この第１の撮影画像と撮影領域が一部重複し、車両周辺を撮影した第２の撮影画像とが入力される入力部、第２の撮影画像が第１の撮影画像と同じ位置から撮影したように射影変換される射影画像変換部、射影画像変換部の出力画像と第１の撮影画像とが連続するように合成される第１の画像合成部、第１の画像合成部で合成された画像から車両前方の障害物が検知される検知判断部を備え、射影画像変換部は車両から距離の異なる複数の射影面に対応した射影画像群が出力され、第１の画像合成部は、複数の射影面に対応した合成画像群が出力されることを特徴とする。
また、この発明の車両用画像処理システムは、上記車両用画像処理装置と、車両に搭載され、車両前方を撮影する第１の撮影装置と、車両に搭載され、第１の撮影装置の撮影領域と一部重複し、車両周辺を撮影する第２の撮影装置と、車両用画像処理装置からの出力が表示される表示装置とを備えている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
この発明の車両用画像処理装置により、１つの撮影画像に収まり切らない車両前方の障害物を、車両から距離の異なる複数の射影面に対応した合成画像群から、検知判断を行うことが可能となる。
また、この発明の車両用画像処理システムにより、１つの撮影装置に収まり切らない車両前方の障害物を、車両から距離の異なる複数の射影面に対応した合成画像群から、検知判断を行い、運転者に表示することが可能となる。