(57)【要約】  【課題】  非路面領域の検出精度を向上した鳥瞰画像表示装置を提供する。  【解決手段】  鳥瞰画像表示装置１では、車載カメラにより撮影される車両周辺のカメラ画像を鳥瞰画像に変換し、撮影時刻の異なる２つの鳥瞰画像に差分処理を施すことにより、鳥瞰画像から路面領域が除去され非路面領域が抽出された差分画像を取得する。この場合、差分画像において２つ以上の基準位置を中心にしてスキャン処理を行うことにより、差分画像における差分の積分値を求め、差分の積分値に基づいて、差分画像における非路面領域を検出し、非路面領域に歪み補正処理を施すことにより、鳥瞰画像から合成前画像を生成する。そして、複数の合成前画像を合成して鳥瞰マルチカメラ画像を生成し、鳥瞰マルチカメラ画像を表示する。【選択図】  図１
2014197749.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラにより撮影される車両周辺のカメラ画像を鳥瞰画像に変換する画像変換部と、
撮影時刻の異なる２つの前記鳥瞰画像に差分処理を施すことにより、前記鳥瞰画像から路面領域が除去され非路面領域が抽出された差分画像を取得する差分処理部と、
前記差分画像において２つ以上の基準位置を中心にしてスキャン処理を行うことにより、前記差分画像における差分の積分値を求めるスキャン処理部と、
前記差分の積分値に基づいて、前記差分画像における非路面領域を検出する非路面領域検出処理部と、
前記非路面領域に歪み補正処理を施すことにより、前記鳥瞰画像から合成前画像を生成する歪み補正処理部と、
複数の前記合成前画像を合成して鳥瞰マルチカメラ画像を生成する画像合成部と、
前記鳥瞰マルチカメラ画像を表示する画像表示部と、
を備えることを特徴とする鳥瞰画像表示装置。
【請求項２】
前記車両の走行軌跡を予測し、前記基準位置を前記予測された走行軌跡上に配置する、請求項１に記載の鳥瞰画像表示装置。
【請求項３】
前記スキャン処理部は、前記基準位置が前記非路面領域内に配置されたか否かを判定する、請求項１または請求項２に記載の鳥瞰画像表示装置。
【請求項４】
前記スキャン処理部は、前記基準位置が前記非路面領域内に配置された場合に、当該基準位置を中心にしたスキャン処理を行わない、あるいは、当該基準位置の代わりに新たな基準位置を配置する、請求項３に記載の鳥瞰画像表示装置。
【請求項５】
車載カメラにより撮影される車両周辺のカメラ画像を鳥瞰画像に変換し、
撮影時刻の異なる２つの前記鳥瞰画像に差分処理を施すことにより、前記鳥瞰画像から路面領域が除去され非路面領域が抽出された差分画像を取得し、
前記差分画像において２つ以上の基準位置を中心にしてスキャン処理を行うことにより、前記差分画像における差分の積分値を求め、
前記差分の積分値に基づいて、前記差分画像における非路面領域を検出し、
前記非路面領域に歪み補正処理を施すことにより、前記鳥瞰画像から合成前画像を生成し、
複数の前記合成前画像を合成して鳥瞰マルチカメラ画像を生成し、
前記鳥瞰マルチカメラ画像を表示することを特徴とする鳥瞰画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラにより撮影される車両周辺のカメラ画像から、鳥瞰マルチカメラ画像を生成して表示する鳥瞰画像表示装置に関する。
【背景技術】
【０００２】
従来、車両の前後左右などにカメラを設置して車両周辺のカメラ画像を撮影し、そのカメラ画像を鳥瞰画像（上空から俯瞰した画像）に変換して表示するシステムが実用化されている。このようなシステムによれば、車両のドライバーに鳥瞰画像を提示することにより、車両周辺の状況を分かりやすく伝えることができる。
【０００３】
このようなシステムでは、路面上に立体物があると鳥瞰画像に歪み（カメラ中心点から放射状に広がる歪み）が発生する。そのため、従来から、歪みを低減するための種々の手法が提案されている。
【０００４】
例えば、ステレオカメラで立体物までの距離を測定し、その距離に基づいて画像の長さを変更する装置が提案されている（例えば、特許文献１参照）。また、台形領域（カメラ中心から引いた直線で構成される台形領域）で立体物を検出し、その領域をカメラ中心方向に縮小することで歪みを低減する装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５０６７６３２号公報
【特許文献２】特許第４６２６４００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のように立体物の検出にステレオカメラ等の距離測定できるセンサを利用することはコストが高い。また特許文献２では、移動前後の撮影画像を鳥瞰変換したものを移動量分補正後に差分を取ることにより立体物を検出している。しかし従来手法では、カメラ中心から引いた直線で囲まれた台形領域でしか立体物を検出できない。この場合、地面から垂直に立つエッジを多く含む立体物(柱のような小面積で高さのある立体物)の場合問題は少ないが、車両のような大面積で路面と平行なエッジ成分を持つ立体物をうまく抽出・補正できない、という問題があった。
【０００７】
本発明は、上記の課題に鑑みてなされたもので、非路面領域の検出精度を向上することによってより歪の少ない鳥瞰画像を表示することのできる鳥瞰画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の鳥瞰画像表示装置は、車両に搭載されたカメラにより撮影される車両周辺のカメラ画像を鳥瞰画像に変換する画像変換部と、撮影時刻の異なる２つの前記鳥瞰画像に差分処理を施すことにより、前記鳥瞰画像から路面領域が除去され非路面領域が抽出された差分画像を取得する差分処理部と、前記差分画像において２つ以上の基準位置を中心にしてスキャン処理を行うことにより、前記差分画像における差分の積分値を求めるスキャン処理部と、前記差分の積分値に基づいて、前記差分画像における非路面領域を検出する非路面領域検出処理部と、前記非路面領域に歪み補正処理を施すことにより、前記鳥瞰画像から合成前画像を生成する歪み補正処理部と、複数の前記合成前画像を合成して鳥瞰マルチカメラ画像を生成する画像合成部と、前記鳥瞰マルチカメラ画像を表示する画像表示部と、を備えている。
【０００９】
これにより、車両に搭載されたカメラにより撮影される車両周辺のカメラ画像から、鳥瞰マルチカメラ画像を生成して表示することができる。この場合、歪み補正によって、鳥瞰マルチカメラ画像の歪みが低減されている。さらに、本発明では、非路面領域を検出するために差分画像における差分の積分値を求める際に、２つ以上の基準位置を中心にしてスキャン処理が行われるため、１つの基準位置を中心にしたスキャン処理だけでは検出できない（検出されにくい）非路面領域を検出することが可能になる。
【００１０】
また、本発明の鳥瞰画像表示装置では、前記スキャン処理部は、前記車両の走行軌跡を予測し、前記基準位置を前記予測された走行軌跡上に配置してもよい。
【００１１】
これにより、スキャン処理のための基準位置が車両の走行軌跡上（ステアリングの値から予測した走行軌跡上）に配置されるため、基準位置が非路面領域内に配置されるのを避けることができる。
【００１２】
また、本発明の鳥瞰画像表示装置では、前記スキャン処理部は、前記基準位置が前記非路面領域内に配置されたか否かを判定してもよい。
【００１３】
これにより、スキャン処理のための基準位置が非路面領域内に配置されたか否かを判定することができる。基準位置が非路面領域内に配置されると、差分画像における非路面領域の検出が適切に行われない。上記判定により、基準位置が非路面領域内に配置されるのを避けることができる。
【００１４】
また、本発明の鳥瞰画像表示装置では、前記スキャン処理部は、前記基準位置が前記非路面領域内に配置された場合に、当該基準位置を中心にしたスキャン処理を行わない、あるいは、当該基準位置の代わりに新たな基準位置を配置してもよい。
【００１５】
これにより、スキャン処理のための基準位置が非路面領域内に配置された場合には、その基準位置を中心にしたスキャン処理を行わない、あるいは、その基準位置の代わりに新たな基準位置が配置される。このようにして、差分画像における非路面領域の検出が適切に行われるようにすることができる。
【００１６】
本発明の鳥瞰画像表示方法は、車載カメラにより撮影される車両周辺のカメラ画像を鳥瞰画像に変換し、撮影時刻の異なる２つの前記鳥瞰画像に差分処理を施すことにより、前記鳥瞰画像から路面領域が除去され非路面領域が抽出された差分画像を取得し、前記差分画像において２つ以上の基準位置を中心にしてスキャン処理を行うことにより、前記差分画像における差分の積分値を求め、前記差分の積分値に基づいて、前記差分画像における非路面領域を検出し、前記非路面領域に歪み補正処理を施すことにより、前記鳥瞰画像から合成前画像を生成し、複数の前記合成前画像を合成して鳥瞰マルチカメラ画像を生成し、前記鳥瞰マルチカメラ画像を表示する。
【００１７】
この方法によっても、上記の装置と同様に、車両に搭載されたカメラにより撮影される車両周辺のカメラ画像から、鳥瞰マルチカメラ画像を生成して表示することができる。この場合、歪み補正によって、鳥瞰マルチカメラ画像の歪みが低減されている。さらに、本発明では、非路面領域を検出するために差分画像における差分の積分値を求める際に、２つ以上の基準位置を中心にしてスキャン処理が行われるため、１つの基準位置を中心にしたスキャン処理だけでは検出できない（検出されにくい）非路面領域を検出することが可能になる。
【発明の効果】
【００１８】
本発明によれば、非路面領域の検出精度を向上することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態における鳥瞰画像表示装置のブロック図
【図２】本発明の実施の形態における鳥瞰変換と位置補正の説明図
【図３】本発明の実施の形態におけるスキャン処理の説明図
【図４】本発明の実施の形態における非路面領域検出処理（しきい値処理）の説明図
【図５】本発明の実施の形態における基準位置（２つの基準位置）の説明図
【図６】本発明の実施の形態における基準位置の配置（走行軌跡上への配置）の説明図
【図７】本発明の実施の形態における基準位置の配置（非路面領域内への配置）の説明図
【図８】本発明の他の実施の形態における鳥瞰画像表示装置のブロック図
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態の鳥瞰画像表示装置について、図面を用いて説明する。本実施の形態では、車両用のナビゲーションシステム等に用いられる鳥瞰画像表示装置の場合を例示する。
【００２１】
本発明の実施の形態の鳥瞰画像表示装置の構成を、図面を参照して説明する。図１は、本実施の形態の鳥瞰画像表示装置の構成を示すブロック図である。図１に示すように、鳥瞰画像表示装置１は、車両に搭載された複数のカメラ２（例えば、前後左右の４台のカメラ２）と接続されている。また、鳥瞰画像表示装置１は、画像変換部３と位置補正部４と差分処理部５とスキャン処理部６と非路面領域検出処理部７を備えている。さらに、鳥瞰画像表示装置１は、仮想面設定部８と投影処理部９と画像合成部１０と画像表示部１１を備えている。
【００２２】
図２に示すように、画像変換部３は、車両に搭載されたカメラ２により撮影される車両周辺のカメラ画像を鳥瞰画像に変換する。図２の例では、撮影時刻の異なる２つのカメラ画像（例えば、Ｎ−ｉフレーム目とＮフレーム目のカメラ画像）が鳥瞰画像に変換されている。また、位置補正部４は、撮影時刻の異なる２つの鳥瞰画像（例えば、Ｎ−ｉフレーム目とＮフレーム目の鳥瞰画像）の位置合わせを行う。この位置合わせでは、撮影時刻の異なる２つの鳥瞰画像における背景部分が一致するように、それぞれの鳥瞰画像の位置が調整される。位置あわせは、前後の画像間のマッチングにより求めてもよいし、車両信号(ステアリングや車輪速)から求められた移動量を用いても良い。
【００２３】
差分処理部５は、撮影時刻の異なる２つの鳥瞰画像に差分処理を施すことにより、鳥瞰画像から差分画像（路面領域が除去され非路面領域が抽出された画像）を取得する。スキャン処理部６は、図３に示すように、差分画像において基準位置（図３において×印で図示される）を中心にして放射状にスキャン処理を行うことにより、差分画像における差分の積分値を求める。なお、本実施の形態では、２つ以上の基準位置を中心にしてスキャン処理が行われるが、このスキャン処理については、図面を参照して後述する。
【００２４】
非路面領域検出処理部７は、スキャン処理によって求められた差分の積分値に基づいて、差分画像における非路面領域を検出する。例えば、所定のスキャン方向（図３の矢印方向）に沿って得られる差分の積分値が、所定のしきい値を超えたときに非路面領域として検出する。あるいは、所定のスキャン方向（図３の矢印方向）に沿って得られる差分の積分値の変化量（傾き）が、所定のしきい変化量を超えたときに非路面領域として検出してもよい。しきい値は、スキャン開始点からの距離が遠くなるごとに大きくなるようにするのもよい。その結果、例えば、図４に示すように非路面領域（図４において○印で図示される）が検出される。なお、この非路面領域検出処理は、しきい値処理と呼ぶこともできる。
【００２５】
仮想面設定部８は、非路面領域を投影するための仮想面を設定する。本実施の形態では、仮想面として、カメラ中心から遠ざかる程に路面からの位置が高くなるような面（平面、２次曲面、３次曲面など）を設定する。投影処理部９は、仮想面設定部８により設定された仮想面に非路面領域を投影する。このようにして、鳥瞰画像から合成前画像（歪み補正された画像）が生成される。この場合、仮想面設定部８と投影処理部９が、本発明の歪み補正処理部に相当する。
【００２６】
画像合成部１０は、複数の合成前画像（前後左右の４台のカメラ分の合成前画像）を合成して鳥瞰マルチカメラ画像を生成する。画像表示部１１は、このようにして生成された鳥瞰マルチカメラ画像を表示する。
【００２７】
ここで、本実施の形態のスキャン処理について、図５〜図７を参照しながら詳しく説明する。本実施の形態のスキャン処理では、２つ以上の基準位置を中心にしてスキャン処理が行われる。図５（ａ）に示すように、１つの基準位置を中心にしてスキャン処理を行うだけでは、非路面領域（障害物）の形状と基準位置の位置関係などによって、非路面領域（交点）を検出できない（検出しにくい）ことがある。そこで、本実施の形態では、図５（ｂ）に示すように、もう１つの基準位置を追加してスキャン処理を行う。これにより、１つの基準位置を中心にしてスキャン処理を行うだけでは検出できなかった（検出しにくかった）非路面領域（交点）を検出することができる。
【００２８】
また、本実施の形態では、図６に示すように、スキャン処理部６は、車両の走行軌跡を予測し、基準位置を予測された走行軌跡上に配置する。軌跡はステアリングの値から予測できる。このように、基準位置を車両の走行軌跡上（予測した走行軌跡上）に配置することにより、基準位置が非路面領域内に配置されるのを避けることができる。
【００２９】
さらに、本実施の形態では、スキャン処理部６は、基準位置が非路面領域内に配置されたか否かを判定する。図７（ａ）に示すように、基準位置が非路面領域（障害物）外に配置されると、差分画像における非路面領域の検出が適切に行われるのに対し、図７（ｂ）に示すように、基準位置が非路面領域（障害物）内に配置されると、差分画像における非路面領域の検出が適切に行われない。
【００３０】
判定の方法としては次のようなものが挙げられる。基準点Ａ、Ｂともに路面にある場合、両者の検出点の１部は重複する。しかし基準点Ｂが非路面領域に入ると、基準点Ｂでの検出点の位置が大きく変化すると共に、基準点ＡとＢの検出点の重複がなくなる。この違いを検出すれば、検出点が非路面に配置されたことを知ることが出来る。
【００３１】
本実施の形態では、上記のように、基準位置が非路面領域内に配置されたか否かを判定することができるので、基準位置が非路面領域内に配置されるのを避けることができる。
【００３２】
また、本実施の形態では、スキャン処理部６は、基準位置が非路面領域内に配置された場合には、その基準位置を中心にしたスキャン処理を行わない、あるいは、その基準位置の代わりに新たな基準位置が配置される。このようにして、差分画像における非路面領域の検出が適切に行われるようにすることができる。
【００３３】
以上のような本実施の形態の鳥瞰画像表示装置１によれば、非路面領域の検出精度を向上することができる。
【００３４】
すなわち、本実施の形態では、車両に搭載されたカメラ２により撮影される車両周辺のカメラ画像から、鳥瞰マルチカメラ画像を生成して表示することができる。この場合、歪み補正によって、鳥瞰マルチカメラ画像の歪みが低減されている。さらに、本実施の形態では、非路面領域を検出するために差分画像における差分の積分値を求める際に、２つの基準位置を中心にしてスキャン処理が行われるため、１つの基準位置を中心にしたスキャン処理だけでは検出できない（検出されにくい）非路面領域を検出することが可能になる。
【００３５】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００３６】
例えば、上記の実施の形態では、本発明の歪み補正処理部が、仮想面設定部８と投影処理部９とで構成される例について説明したが、図８に示すように、本発明の歪み補正処理部は、縮小処理部２０によって構成することもできる。この場合、縮小処理部２０は、非路面領域全体を、カメラ中心方向へ縮小することにより、鳥瞰画像から合成前画像（歪み補正された画像）を生成する。なお、縮小率は、等倍スケーリング（カメラ中心からの距離によらないスケーリング）でもよく、距離に比例したスケーリングでもよい（カメラ中心からの距離に応じてスケーリングを変えてもよい）。
【００３７】
また、検出した立体物（あるいは立体物と路面との境界線）の位置を、合成した鳥瞰表示上に重畳表示してもよい。その場合、検出した立体物を、例えば赤いラインで強調教示してもよい。また、予測経路と組み合わせてもよく、立体物と衝突しそうな場合には、合わせて警報を発するようにしてもよい。
【産業上の利用可能性】
【００３８】
以上のように、本発明にかかる鳥瞰画像表示装置は、非路面領域の検出精度を向上させることができるという効果を有し、車両用ナビゲーションシステム等に適用され、有用である。
【符号の説明】
【００３９】
１  鳥瞰画像表示装置
２  カメラ
３  画像変換部
４  位置補正部
５  差分処理部
６  スキャン処理部
７  非路面領域検出処理部
８  仮想面設定部
９  投影処理部
１０  画像合成部
１１  画像表示部
２０  縮小処理部
【図１】
2014197749.tif 000003
【図５】
2014197749.tif 000004
【図７】
2014197749.tif 000005
【図８】
2014197749.tif 000006
【図２】
2014197749.tif 000007
【図３】
2014197749.tif 000008
【図４】
2014197749.tif 000009
【図６】
2014197749.tif 000010