(57)【要約】【課題】  移動体の移動に伴って生じる明暗の差の影響を取り除き、視認性に優れた移動体の周辺の広域画像を生成する装置及び方法を提供する。【解決手段】  移動体の近傍の狭域画像Ｎより、この移動体の周辺の広域画像Ｂを生成する広域画像生成装置１００であって、移動体の移動状態を検出する移動状態検出手段２と、移動状態に応じて画像の一部を重複させて狭域画像Ｎを順次取得する画像取得手段３と、複数の狭域画像Ｎを合成して広域画像Ｂを生成する画像合成手段４と、狭域画像Ｎ及び広域画像Ｂの内の少なくとも何れか一方の画像から移動体の影の影響を取り除く画像補正手段５とを備える。【選択図】        図１
2006252269.tif 000002
【特許請求の範囲】
【請求項１】
移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成する広域画像生成装置であって、
前記移動体の移動状態を検出する移動状態検出手段と、
前記移動状態に応じて画像の一部を重複させて前記狭域画像を順次取得する画像取得手段と、
複数の前記狭域画像を合成して前記広域画像を生成する画像合成手段と、
前記狭域画像及び前記広域画像の内の少なくとも何れか一方の画像から前記移動体の影の影響を取り除く画像補正手段と、を備える広域画像生成装置。
【請求項２】
前記画像補正手段は、
前記画像中から影領域を推定する影領域推定手段と、
推定された前記影領域の画像を補正する影領域補正手段と、を備える請求項１に記載の広域画像生成装置。
【請求項３】
前記影領域推定手段は、
前記移動体が存在する位置と進行する方位とを含む測位情報を取得する測位情報取得手段と、
現在の年月日及び時刻の日時情報を取得する日時情報取得手段と、
この日時情報を用いて前記移動体の影を生じさせる光源の位置情報を含む光源条件を演算する光源条件演算手段と、
前記移動体の外形形状を表す情報を記憶する記憶手段と、を備える請求項２に記載の広域画像生成装置。
【請求項４】
前記影領域補正手段は、前記影領域に含まれる画素の濃度値に応じて算出した影内画像情報と、前記影領域外に含まれる画素の濃度値に応じて算出した影外画像情報とに基づいて、前記影領域に含まれる画素の濃度値を補正する請求項２に記載の広域画像生成装置。
【請求項５】
前記影領域補正手段は、前記移動体の影を含む前記狭域画像又は前記広域画像の画像上において、前記移動体が移動する路面のうち、この路面に存在する物体と汚れと標示とを除いた路面領域を判別する路面領域判別手段を備え、
前記路面領域に含まれる画素を用いて、前記影内画像情報及び前記影外画像情報を算出する請求項４に記載の広域画像生成装置。
【請求項６】
前記移動体は車両であり、請求項１〜５の何れか一項に記載の広域画像生成装置を備えて、生成した前記広域画像を前記車両の内部に備える表示手段に表示する車両の周辺監視装置。
【請求項７】
前記画像合成手段において、前記広域画像にさらに前記車両を示す画像を合成する請求項６に記載の車両の周辺監視装置。
【請求項８】
移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成する広域画像生成方法であって、
前記移動体の移動状態を検出する移動状態検出工程と、
前記移動状態に応じて画像の一部を重複させて前記狭域画像を順次取得する画像取得工程と、
前記狭域画像から前記移動体の影の影響を取り除く画像補正工程と、
補正された複数の前記狭域画像を合成して前記広域画像を生成する画像合成工程と、を備える広域画像生成方法。
【請求項９】
移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成する広域画像生成方法であって、
前記移動体の移動状態を検出する移動状態検出工程と、
前記移動状態に応じて画像の一部を重複させて前記狭域画像を順次取得する画像取得工程と、
取得された複数の前記狭域画像を合成して前記広域画像を生成する画像合成工程と、
前記広域画像から前記移動体の影の影響を取り除く画像補正工程と、を備える広域画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成する広域画像生成装置、広域画像生成方法、及びこれらを用いた車両の周辺監視装置に関する。
【背景技術】
【０００２】
近年、車両の後方の情景を撮影し、これを車両内部の表示装置に表示して乗員による運転を支援する車両の周辺監視装置が実用化されてきている。このような装置は、例えば、車両を後退させて駐車する場合などに、運転を支援するものとして有用である。このような周辺監視装置の最も簡単な構成としては、撮影した後方の情景を、例えばナビゲーションシステム（navigation system）の表示装置に表示するようなものである。これは、運転席からでは直接視認できないようないわゆる死角の情景をも撮影でき、乗員にとって利便性の高いものではある。しかし、当然のこととして、乗員の視点や視野とは異なる画像が表示されるため、撮影された情景が一見して理解しづらい場合もある。
【０００３】
下記に示す特許文献１に記載の車両周辺画像処理装置は、このような課題に鑑みてなされた発明である。この文献には、自車両と周辺に存在する対象物（例えば駐車枠）との相対位置関係を解りやすく表示するための画像処理装置に関する発明が記載されている。これは、車両に搭載されたカメラの視野の外に出た部分を推定して描画することにより、より広域の画像を表示するようにしたものである。
【０００４】
この発明では、カメラにより撮影した画像をこのカメラを視点として投影した地上座標系のデータに変換して鳥瞰図画像を生成する。これを第１鳥瞰図画像とする。次にこれより後に作成した第２鳥瞰図画像と、第１鳥瞰図画像とを比較し、その一致領域と不一致領域とを判別する。第１鳥瞰図画像生成時と、第２鳥瞰図画像生成時とでは、車両が移動しているので、撮影した時間が異なり、２つの鳥瞰図画像にずれが生じている。このずれによる一致領域と不一致領域とを判別する。そして、後で生成した画像（第２鳥瞰図画像）に、過去の画像（第１鳥瞰図画像）にはあって今は無い部分の画像、即ち不一致領域の画像を加味する。このようにして、カメラによる撮影領域よりも広範囲な車両の周辺の状況を明確に把握するようにしている。
【０００５】
【特許文献１】特開２００２−８７１６０号公報（第５−９段落、第５図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
この発明は、車両の移動に伴って失われる情報を活用して、広域画像を得ることのできるものである。しかし、車両など、移動体の移動に伴って得られる狭域画像は、同じ場所（上記特許文献１での一致領域の画像に相当）の画像でも明暗に差が生じていることがある。従って、移動体の移動に伴って順次不一致領域の画像を加えていった場合、この明暗の差が生成された広域画像に影響を与える。即ち、広域画像に、この明暗の差が縞模様や斑点などとして現れてしまう場合がある。このような縞模様や斑点が生じると、乗員の視認性を高めるべく広域画像を得たにも拘らず、視認性を低下させるものとなってしまい、好ましくない。
【０００７】
本願発明は、このような課題に着目してなされたもので、移動体の移動に伴って生じる明暗の差の影響を取り除き、視認性に優れた移動体の周辺の広域画像を生成する装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この目的を達成するための本発明に係る広域画像生成装置の特徴構成は、
移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成するものであって、
前記移動体の移動状態を検出する移動状態検出手段と、
前記移動状態に応じて画像の一部を重複させて前記狭域画像を順次取得する画像取得手段と、
複数の前記狭域画像を合成して前記広域画像を生成する画像合成手段と、
前記狭域画像及び前記広域画像の内の少なくとも何れか一方の画像から前記移動体の影の影響を取り除く画像補正手段と、を備える点にある。
【０００９】
移動体の近傍の狭域画像には移動体によって光が遮られることによって影が生じており、この影は移動体の移動と共に移動する。この影は、狭域画像ごとに生じる明暗の差の大きな原因となるものである。即ち、この影を含んだ狭域画像を合成して広域画像を生成すると、広域画像には縞模様や斑点等が生じることとなる。そこで、本特徴構成のように、狭域画像又は広域画像から、この影の影響を取り除く補正を実施すると、明暗の差による縞模様や斑点を抑制することができる。
【００１０】
ここで、前記画像補正手段が、前記画像中から影領域を推定する影領域推定手段と、推定された前記影領域の画像を補正する影領域補正手段と、を備えると好適である。
【００１１】
影領域推定手段を備えることにより、明暗の差の原因となる影領域を高い精度で見つけることができる。狭域画像は移動体の移動に応じて取得され、影領域は当然移動体と共に移動する。従って、影領域は、異なる狭域画像間において異なる場所を表す画像上に存在する。逆に、異なる狭域画像間において同一の場所を表す画像上の一方が影領域となり、他方が影領域ではないこともある。従って、一つの狭域画像の画像領域において影領域を見つけると、他の狭域画像の画像領域中で影領域ではない画像との比較が可能となる。そして、一つの狭域画像の画像領域に存在する影領域の画像を影領域補正手段によって補正すれば、狭域画像の画像領域から影の影響を排除することができる。従って、このような処理を施された狭域画像の画像領域の集合体である広域画像に出現する縞模様や斑点を抑制することができる。
【００１２】
また、一つの狭域画像から影領域と影外領域とを推定し、影領域補正手段によって補正してもよい。具体的には、影領域推定手段によって推定された影の境界（例えば図７（ａ）のＢＬ）から法線方向に内側へ所定画素又は所定距離離れた位置（例えば図７（ａ）のＳＥ）を影領域とする。そして、同じく影の境界から外側へ所定画素又は所定距離離れた位置（例えば図７（ａ）のＬＥ）を影外領域とし、影領域と影外領域とを比較して補正してもよい。
【００１３】
尚、影領域の推定及び補正は、広域画像への合成前の狭域画像に対して実施してもよいし、広域画像への合成後に実施してもよい。つまり、上記において、「狭域画像の画像領域」と称して説明したように、狭域画像、広域画像の別に拘らず、推定及び補正の対象を「狭域画像の画像領域」にすることが可能である。広域画像は、狭域画像の集合体であるから、広域画像中から各狭域画像に対応する狭域画像の画像領域を見つけることは容易である。この時、必ずしも、広域画像中から各狭域画像領域を切り出して処理する必要はない。例えば、影領域と推定される座標値だけを狭域画像の画像領域から求め、オフセット値を与えて補正処理は広域画像全体の中で行うようにもできる。つまり、影領域が各狭域画像の領域に含まれていることを利用すれば、影領域の推定や補正は、何れの画像に対して実施しても効果的に行うことができる。また、狭域画像と広域画像との双方で推定及び補正の処理を行ってもよい。狭域画像に対する処理でピンポイントの補正を行い、広域画像に対する処理で、全体のバランスを整合させる補正を行ってさらに視認性を向上させることも可能となる。
【００１４】
また、前記影領域推定手段が、前記移動体が存在する位置と進行する方位とを含む測位情報を取得する測位情報取得手段と、現在の年月日及び時刻の日時情報を取得する日時情報取得手段と、この日時情報を用いて前記移動体の影を生じさせる光源の位置情報を含む光源条件を演算する光源条件演算手段と、前記移動体の外形形状を表す情報を記憶する記憶手段と、を備えると好適である。
【００１５】
測位情報と、日時情報とを取得すると、移動体に影を生じさせる光源、例えば太陽などの光源条件を演算することができる。そして、この光源条件と、移動体自身の外形形状の情報とにより、移動体の影がどの位置にどの程度の大きさ及び形状でできるかを推定することができる。その結果、精度良く影領域を推定することができ、影領域の画像補正も良好に行うことができる。
【００１６】
また、前記影領域補正手段は、前記影領域に含まれる画素の濃度値に応じて算出した影内画像情報と、前記影領域外に含まれる画素の濃度値に応じて算出した影外画像情報とに基づいて、前記影領域に含まれる画素の濃度値を補正すると好適である。
【００１７】
上述したように、一つの狭域画像の画像領域において影領域を見つけると、他の狭域画像の画像領域中で影領域ではない画像との比較が可能となる。ここで、一つの狭域画像の画像領域において見つけた（推定した）影領域の画素の濃度値に応じて算出したものが影内画像情報である。そして、これに対応する他の狭域画像の画像領域中の影領域ではない部分の画素の濃度値に応じて算出したものが影外画像情報である。このように、画素値に基づいて算出した定量的な影内画像情報と、影外画像情報とに基づいて、影領域に含まれる画素の濃度値を補正する。従って、精度の良い補正が可能となり、その結果、広域画像に表れる縞模様や斑点を効果的に抑制することができる。また、上述したように、一つの狭域画像内で影領域と影外領域とを見つけ、比較することで影領域の濃度値を補正しても、同じ効果を得ることができる。
【００１８】
また、前記影領域補正手段は、前記影領域に含まれる画素の濃度値に応じて算出した影内画像情報と、前記影領域外に含まれる画素の濃度値に応じて算出した影外画像情報とに基づいて、前記影領域に含まれる画素の濃度値を補正すると好ましい。
【００１９】
移動体が移動する路面は、一様な状態であるとは限らない。従って、撮影された路面の狭域画像やこれを合成した広域画像には、他の物体や路面の汚れや路面上の表示といったものも含まれる。上述したように、一つの狭域画像の画像領域において見つけた影領域と、他の狭域画像の画像領域中での影領域ではない画像との比較を行う際に一方が路面でないと好ましくない。即ち、この比較に際しては、同一の条件のもとで、できるだけ、多くの画素を含んで影内及び影外の画像情報を算出することが望ましい。このような条件を満たすには、画像中で大きな割合を占める路面領域の画像を利用することが好ましい。そこで、上記のように路面領域と路面外領域とを判別する路面領域判別手段を備え、路面領域に含まれる画素を用いて、影内及び影外の画像情報を算出する。このようにすれば、安定した条件のもとで、影内領域と影外領域とを整合させることができ、精度のよい補正が可能となる。その結果、広域画像に表れる縞模様や斑点を効果的に抑制することができる。
【００２０】
また、前記移動体が車両であり、上記広域画像生成装置を備えて、生成した前記広域画像を前記車両の内部に備える表示手段に表示する車両の周辺監視装置を構成すると好適である。
【００２１】
本発明に係る広域画像生成装置を車両に備えれば、車両を運転する乗員から死角となるような場所も含め、広域な画像を表示できる周辺監視装置を得ることができる。車両の移動に伴って失われていく遠方の画像も含んで広域画像を生成するので、撮影した狭域画像も効率的に利用できる。また、広角カメラを使用せずに広域画像を得られるので装置のコストも低減できる。
【００２２】
さらに、この車両の周辺監視装置が、前記画像合成手段において、前記広域画像にさらに前記車両を示す画像を合成すると好ましい。
【００２３】
得られた広域画像の中に、自車両を示す画像を合成すると、車両を運転する乗員は、広域画像の中で自分が乗車する車両の位置を容易に把握できる。その結果、車両の移動に伴って生じる明暗の差が取り除かれた広域画像を用いて、さらに視認性に優れた表示が実現でき、利便性に優れた車両の周辺監視装置を得ることができる。
【００２４】
また、本発明に係る移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成する広域画像生成方法の特徴は、
前記移動体の移動状態を検出する移動状態検出工程と、
前記移動状態に応じて画像の一部を重複させて前記狭域画像を順次取得する画像取得工程と、
前記狭域画像から前記移動体の影の影響を取り除く画像補正工程と、
補正された複数の前記狭域画像を合成して前記広域画像を生成する画像合成工程と、を備える点にある。
【００２５】
この特徴によれば、順次取得される狭域画像において、影の影響を取り除くので、広域画像をほぼリアルタイムに生成することができる。また、狭域画像は影の影響を補正されているので、広域画像を生成する際に重複する領域を検出し易くなり、広域画像の生成処理を簡単にすることができる。
【００２６】
また、本発明に係る移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成する広域画像生成方法の別の特徴は、
前記移動体の移動状態を検出する移動状態検出工程と、
前記移動状態に応じて画像の一部を重複させて前記狭域画像を順次取得する画像取得工程と、
取得された複数の前記狭域画像を合成して前記広域画像を生成する画像合成工程と、
前記広域画像から前記移動体の影の影響を取り除く画像補正工程と、を備える点にある。
【００２７】
この特徴によれば、影を残した状態で広域画像を生成し、広域画像上で影の影響を取り除くので、画像補正工程をまとめて実行できる。その結果、演算装置の負荷を軽減することができる。また、広域画像全体でのバランスを考慮した補正を行うようにすることもできる。
【００２８】
尚、これら本発明に係る広域画像生成方法は、上述した広域画像生成装置に関する作用効果、及び全ての追加的特徴とその作用効果を備えることができるものである。
【発明を実施するための最良の形態】
【００２９】
以下、本発明に係る広域画像生成方法及び装置を、本発明に係る車両の周辺監視装置に適用した場合の実施形態を図面に基づいて説明する。初めに、図１０〜図１３に基づいて、移動体の近傍の狭域画像より、この移動体の周辺の広域画像を生成する流れを説明する。
【００３０】
図１０は、移動体１から後方を撮影した狭域画像Ｎと、この狭域画像Ｎから広域画像Ｂを生成する際の再投影との関係を説明する図である。図に示すように狭域画像Ｎは、両側が平行である路面Ｌが遠方の消失点ＶＰにおいて交差する射影平面である。この射影平面の狭域画像Ｎをユークリッド平面に再投影することにより、広域画像Ｂを生成する。上述したように、狭域画像Ｎは消失点ＶＰを有する射影平面の画像であり、消失点ＶＰへ近づくほど、情報量が少なくなる。即ち、視点（移動体１に備えられた撮影装置）から遠い部分の画像は画質が悪い。このため、広域画像Ｂの生成に際しては、視点に近い部分の画像領域Ｖのみを用いるようにしている。また、このように狭域画像Ｎを広域画像Ｂへ再投影することは異なる幾何平面への変換となる。従って、全ての情報が１対１では対応せず、適宜補間処理等が施される。また、図に示したように移動体１の近傍の両側部には、死角Ｄが出現する。
【００３１】
図１１は、上述した再投影により、複数の狭域画像Ｎから広域画像Ｂを生成する場合の例を説明する図である。移動体１は後述するように、移動状態を検出する移動状態検出手段を有しており、検出した移動状態に応じて画像の一部を重複させて狭域画像Ｎを順次取得する。図１１では、移動状態に応じた移動体１として、符号１ａ、１ｂ、１ｃを図示している。図中において、移動体１は、進行方向Ｔに向かって直進している。最も過去の移動体１の位置が符号１ａであり、直近の移動体１の位置が符号１ｃである。図１１に示すように、移動状態に応じて、即ち移動体１ａ、１ｂ、１ｃは、それぞれ画像の一部を重複させて狭域画像ｎ１、ｎ２、ｎ３を順次取得する。ここで、重複する部分は、上述した画像領域Ｖの範囲に含まれる。従って、これら狭域画像ｎ１〜ｎ３それぞれの画像領域Ｖの重複部分を重ね合わせて上述したように再投影することにより、連続した広域画像Ｂが得られる。
【００３２】
図１２は、図１０における移動体１の影の影響を説明する図である。移動体１に当たる光によって、その周辺には影が生じる。図１２には、移動体１の後方に影が生じ、狭域画像Ｎに影領域Ｓが含まれる場合を示したものである。影は移動体１の近傍に生じるため、影領域Ｓは、図１２に示すように広域画像Ｂの生成に用いられる画像領域Ｖの範囲に存在している。
【００３３】
図１３は、図１２に示した影を有した狭域画像を用いて広域画像を生成する場合の影の影響を説明する図である。図１３においては、移動体１として具体的に車両を例として示している。図１３（ａ）は、一つの狭域画像Ｎ（ｎ１）を広域画像Ｂに再投影した状態を示している。幾何平面は変換されているが、移動体１から撮影した状態が影を含めてほぼ忠実に再投影されている。図１３（ｂ）は、先の狭域画像ｎ１に続いて取得された狭域画像ｎ２より得た有効な画像領域Ｖを狭域画像ｎ１に重ね合わせて広域画像Ｂに再投影した状態である。最新の狭域画像ｎ２では、移動体１の移動に伴って先の狭域画像ｎ１において影領域Ｓであった部分でも影領域Ｓから脱している部分がある。従って、この影領域Ｓから脱した部分は非影領域として再投影されるので、結果として広域画像Ｂより影が消されることとなる。一方、狭域画像ｎ１の有効な画像領域Ｖにおいて影領域Ｓであった部分で、狭域画像ｎ２の有効な画像領域Ｖの範囲に含まれない部分は影が残存する。これを順次取得する複数の狭域画像Ｎに亘って繰り返すと、図１３（ｃ）に示すように、生成した広域画像Ｂに縞模様や斑点が現れることになる。
【００３４】
本発明に係る広域画像生成装置では、広域画像Ｂにこのような縞模様や斑点が生じないように構成している。図１は、本発明に係る広域画像生成装置を適用した車両の周辺監視装置（本発明に係る車両の周辺監視装置）の好適な実施形態の一例を示すブロック図である。図１に示すように、広域画像生成装置１００は、一群の移動状態検出手段２と、画像取得部３（画像取得手段）と、画像処理部６とを備えている。画像処理部６は、画像補正部５（画像補正手段）と画像合成部４（画像合成手段）とを備えており、この画像処理部６で影の影響を排した広域画像Ｂを生成している。
【００３５】
広域画像生成装置１００は、移動体１としての車両１に搭載されており、生成された広域画像Ｂは表示制御部８を介して車室内のモニタ９で表示が可能である。車両１の乗員はモニタ９を見ることにより、例えば車両１の後方の広域画像Ｂを振り返ることなく視認できる。このように広域画像生成装置１００を用いて、車両の周辺監視装置を構築できる。また、後述するように広域画像生成装置１００は、車両外形記憶部５６（記憶部、図２参照）を備えている。従って、この情報を利用して表示制御部８において、自車両の外形を重ね合わせてモニタ９に表示させることも可能である。尚、このモニタ９は、例えば、ナビゲーションシステム（navigation system）のものを兼用すればよい。
【００３６】
画像取得部３は、カメラ３１とカメラ制御部３２とを備えている。画像取得部３には、舵角センサ２１やシフト位置検出部２２や車輪速センサ２３等の一群の移動状態検出手段２からの検出結果が入力される。舵角センサ２１は、車両１のステアリングの角度を検出するものであり、車両１の進行方向が予測できる。シフト位置検出部２２は、車両１が前進・後退等どの方向に運転されているかを検出できる。車輪速センサ２３は、車両の移動距離・速度を検出する。また、左右の車輪速の違いなどから操舵方向を検出するようにすることもできる。
【００３７】
カメラ制御部３２は、これら移動状態検出手段２の内少なくとも一つが検出した車両１の移動状態に応じて、カメラ３１を制御して車両１近傍の画像（狭域画像Ｎ）を撮影する。この狭域画像Ｎの撮影に際しては、画像の一部が重複するような間隔をおいて撮影する。好ましくは、車両１の移動距離がほぼ等間隔となるような間隔であると、狭域画像Ｎが一定間隔で取得できる。尚、移動距離をほぼ等間隔とするために、移動速度との関係により時間間隔を計算し、この時間に応じて制御しても同様である。また、カメラ３１は複数備えていてもよい。例えば、バックカメラとサイドカメラとを備えていれば、図１０を用いて上述したような死角Ｄをサイドカメラの画像にて補完することもできる。
【００３８】
画像処理部６は、上述したように、画像補正部５と画像合成部４とを備えている。画像補正部５は、さらに影領域推定部５１と影領域補正部５２とを備えている。画像補正部５は、車両１による影領域Ｓを狭域画像Ｎや広域画像Ｂの画像中から推定し、この影領域Ｓの画像を補正する。この推定や補正に際して、ＧＰＳ（Global Positioning System）Ｉ／Ｆ７１やカレンダー部７２や時計部７３等の情報を活用する。詳細については後述する。表示制御部８を介してモニタ９に表示される画像は、こうして影の影響を取り除かれたものである。従って、車両１の乗員は、図１３に示したような縞模様や斑点のある画像ではなく、視認性に優れた広域画像Ｂを見ることができる。
【００３９】
尚、画像合成部４において、狭域画像Ｎから広域画像Ｂを合成するが、これについては、図１０〜図１３に基づいて上述した内容と同様であるので説明を省略する。
【００４０】
図２は、図１に示す画像補正部５のブロック図である。影領域推定部５１は、測位情報取得部５３（測位情報取得手段）と、日時情報取得部５４（日時情報取得手段）と、光源条件演算部５５（光源条件演算手段）と、車両外形記憶部５６（記憶手段）と、推定演算部５７とを備えている。
【００４１】
測位情報取得部５３は、車両１の存在位置や方向、傾き具合等の測位情報を取得するものである。このような測位情報は、ＧＰＳＩ／Ｆ７１や一群の移動状態検出手段２や三次元センサ（傾きセンサ）等から入力される。ＧＰＳＩ／Ｆ７１は、人工衛星からの信号により車両１の現在位置を測定するＧＰＳ（Global Positioning System）のインターフェイスである。これにより、車両１の緯度経度を得る。また、移動状態検出手段２より車両１の舵角、シフト位置、移動速度を得る。また、三次元センサ（不図示）により坂道等における車両１の水平状態からの傾き情報を得る。
【００４２】
日時情報取得部５４は、車両１に搭載されたカレンダー部７２や時計部７３より現在日時に関する情報を取得する。あるいは、ＧＰＳＩ／Ｆ７１により、人工衛星から日時情報を取得してもよい。
【００４３】
このようにして得られた測位情報と日時情報とを用いて、光源条件演算部５５が光源条件を演算する。この演算に際しては、必要に応じて記憶された地学的情報（例えば太陽の位置情報や天候）や、照度センサ（不図示）の検出結果等を加味してもよい。光源条件とは、車両１の影を生じさせる太陽の位置や、この太陽による日照の強さである。
【００４４】
そして、この光源情報と、予め車両外形記憶部５６（記憶部）に記憶している車両の外形形状とに基づいて、推定演算部５７が車両１の影の発生する場所及び大きさを推定する。このとき、照度センサより得られた日照の強さも光源条件として算出できていれば、この影の濃さも推定する。
【００４５】
図３は、このようにして車両１の影領域Ｓを推定する方法を説明する図である。上述したように、車両１側では人工衛星７０等による情報を得て、光源である太陽５０の現在位置や移動軌跡等を演算し、自車両の影領域Ｓを推定する。
【００４６】
このようにして影領域Ｓが推定できると、影領域補正部５２において、この影領域Ｓを補正する。本実施形態においては、推定された影領域Ｓと、これ以外の影外領域とを比較することにより、影領域Ｓの画像を影外領域の画像の濃度に整合させる。しかし、影が生じている路面Ｌには、例えばマンホールの蓋や中央分離帯等の物体、センターラインや停止線等の道路標示、汚れ等が存在することがある。従って、影領域Ｓと影外領域との画像の濃度を正しく比較できない場合がある。そこで、図２に示すように、影領域補正部５２に、路面領域判別部５８を備えている。路面領域判別部５８では、路面Ｌの中で路面領域と路面外領域とを判別し、影領域Ｓの補正に際して参酌する路面Ｌから路面外領域を外すようにする。既に影領域推定部５１により影領域Ｓが推定されているので、影領域Ｓ以外で路面Ｌと濃度差の生じている領域等を概略認識する。また、エッジ検出などの公知の画像処理を組み合わせてもよい。このようにして、補正演算部５９では、路面領域における影領域Ｓと影外領域とを比較することにより、補正値を定め、影領域Ｓの画像を補正する。補正値の定め方、補正の方法については後述する。
【００４７】
以下、上述した広域画像生成装置により、広域画像を生成する手順についてフローチャートも利用して説明する。図４は、本発明により広域画像を生成する手順の一例を示すフローチャートである。
【００４８】
上述したように、まずはじめに移動状態検出手段２のうち少なくとも一つにより車両１の移動状態を検出する（移動状態検出工程＃１）。そして、この移動状態に応じて画像の一部を重複させて狭域画像Ｎを取得する（画像取得工程＃２）。そして、影領域推定部５１において狭域画像Ｎの画像中より影領域Ｓを推定する（影領域推定工程＃Ａ）。次に、影領域補正部５２において、この影領域Ｓの画像を補正し、狭域画像Ｎから車両１の影の影響を取り除く（影領域補正工程＃Ｂ）。これら、影領域推定工程＃Ａと影領域補正工程＃Ｂとを合わせて画像補正工程＃Ｃと称する。そして、影の影響が取り除かれた狭域画像Ｎを画像合成部４において、上述したように合成して広域画像Ｂを生成する（画像合成工程＃３）。
【００４９】
ここで、影領域推定工程＃Ａは、図５に示す以下の工程をさらに含むものである。図２を用いて上述したように、測位情報取得部５３及び日時情報取得部５４を用いて、測位情報及び日時情報を取得する（測位情報・日時情報取得工程＃Ａ１）。そして、これら取得した情報を用いて上述したように光源条件を演算する（光源条件演算工程＃Ａ２）。次に、演算された光源条件において発生する車両１の影の位置や大きさ、濃さ等を予め記憶された車両１の外形形状に基づいて演算する（推定演算工程＃Ａ３）。
【００５０】
また、影領域補正工程＃Ｂは、図６に示す以下の工程をさらに含むものである。はじめに路面Ｌの中で路面領域と路面外領域とを判別する（路面領域判別工程＃Ｂ１）。この工程により、影領域Ｓの補正に際して参酌する路面Ｌから路面外域を外すことができる。そして、路面領域における影領域Ｓと影外領域とを比較することにより、影領域Ｓの補正値を定める（補正値算出工程＃Ｂ２）。この補正値を定めるに際しては、以下のような方法を用いる。
【００５１】
図７は、影領域補正部５２、影領域補正工程＃Ｂにおいて影領域Ｓを補正する方法の一例を説明する図である。図７（ａ）は、狭域画像Ｎを示すものであり、この狭域画像Ｎの中の路面Ｌは、全て路面領域として示している。影領域Ｓは既に推定されているので、影領域Ｓと影外領域との境界ラインＢＬも推定できる。より詳細な認識処理を行えば、ほぼ確定することも可能であり、確定させてもよいが本実施形態では必須ではない。次にこの境界ラインＢＬから影領域Ｓの内側に所定距離入った領域を影エリアＳＥとする。本例では影エリアＳＥはほぼ境界ラインＢＬに沿った線状となる。また、境界ラインＢＬから影外領域へ所定距離入った領域を路面エリアＬＥとする。同様に境界ラインＢＬに沿った線状となる。
【００５２】
図７（ｂ）は、図７（ａ）の線ＰＸにおけるの画素の濃度値の変化を示すグラフである。このグラフより明らかなように、路面Ｌ上の画素の濃度値は明るい側にあり、影領域Ｓ上の画素の濃度値は暗い側にある。そして、境界ラインＢＬの前後では、明側と暗側とを結ぶように変化している。濃度値は、路面Ｌ上や、影領域Ｓ上であっても、一定ではなくばらついている。そこで、路面Ｌ上及び影領域Ｓ上の路面エリアＬＥ及び影エリアＳＥのそれぞれにおいて、平均的な濃度値（画素値）を算出する。例えば、路面エリアＬＥの画素値の平均（影内画像情報）が１８０、影エリアＳＥの画素値の平均（影外画像情報）が６０とする。ここで、路面エリアＬＥの画素値の平均と、影エリアＳＥの画素値の平均との差を計算すると、１２０となる。以上説明したような手順によって、補正値ＤＦが算出される（補正値算出工程＃Ｂ２）。
【００５３】
次に、影領域Ｓに含まれる画素値に対して、この補正値ＤＦを加算する（補正演算工程＃Ｂ３）。すると、影の影響により暗い方向に変化した画像が明るくなる。一方、境界ラインＢＬ前後については、境界エリアＢＥを設定し、このエリア内では補正値を比例配分する。このように補正することで、簡易な方法で狭域画像Ｎより影の影響を排することができる。
【００５４】
このようにして、影領域Ｓを推定し、影領域Ｓを補正することにより、狭域画像Ｎにおける車両１の影の影響を排除する。そして、影の影響がなくなった狭域画像Ｎを図１０〜１３を用いて上述したように合成することで、広域画像Ｂを得る（画像合成工程＃３）。
【００５５】
以上、説明したように、移動体１（車両１）の移動に伴って生じる明暗の差の影響を取り除き、視認性に優れた移動体の周辺の広域画像を生成する方法及び装置を提供することができる。図８は、本発明による効果を示す説明図である。図８（ａ）では、影領域Ｓを有した狭域画像Ｎを用いて広域画像Ｂを合成しているので、広域画像Ｂには縞模様や斑点が生じている。図８（ｂ）では、影領域Ｓを画像補正によりなくしているので、この狭域画像Ｎを用いて合成した広域画像Ｂには、縞模様や斑点が生じていない。
【００５６】
また、上記説明においては、図４に示すフローチャートに基づいて、狭域画像Ｎにおいて影の影響を取り除き、その後広域画像Ｂを生成したが、本発明はこれには限定されない。例えば、図９に示すように、狭域画像Ｎには影領域Ｓを残した状態で広域画像Ｂを合成し、広域画像Ｂにおいて影領域Ｓを排してもよい。また、図示は省略するが、狭域画像Ｎにおいて影領域Ｓを補正し、広域画像Ｂを生成した後、さらに広域画像Ｂにおいて画像を補正するようにしてもよい。
【００５７】
尚、図１や図２に示した各部は機能としての分担を示すものであり、必ずしも物理的に独立したものである必要はない。例えば、画像処理部６の各部は、一つのプロセッサや一つの半導体ＩＣや一群の電子回路など、共通したハードウェアであってもよい。また、画像処理部６とカメラ制御部３２と表示制御部８とが同一のハードウェアであってもよい。ハードウェア上で実行されるプログラムなどのソフトウェアによって各機能を分担するものであっても充分である。
【図面の簡単な説明】
【００５８】
【図１】本発明に係る車両の周辺監視装置の実施形態の一例を示すブロック図
【図２】図１に示す画像補正部のブロック図
【図３】図２に示す影領域推定部により影領域を推定する方法を説明する図
【図４】本発明により広域画像を生成する手順の一例を示すフローチャート
【図５】図４の影領域推定工程の一例を示すフローチャート
【図６】図４の影領域補正工程の一例を示すフローチャート
【図７】図１及び図２の影領域補正部、図４及び図６の影領域補正工程において影領域を補正する方法の一例を説明する図
【図８】本発明により狭域画像から広域画像を生成した効果を示す説明図
【図９】本発明により広域画像を生成する手順の他の例を示すフローチャート
【図１０】移動体から後方を撮影した狭域画像と、この狭域画像から広域画像を生成する際の再投影との関係を説明する図
【図１１】図１０において説明した再投影により、複数の狭域画像から広域画像を生成する場合の例を説明する図
【図１２】図１０における移動体の影の影響を説明する図
【図１３】図１２に示した影を有した狭域画像を用いて広域画像を生成する場合の影の影響を説明する図
【符号の説明】
【００５９】
２        移動状態検出手段
３        画像取得部（画像取得手段）
４        画像合成部（画像合成手段）
５        画像補正部（画像補正手段）
Ｂ        広域画像
Ｎ        狭域画像
【図１】
2006252269.tif 000003
【図２】
2006252269.tif 000004
【図３】
2006252269.tif 000005
【図４】
2006252269.tif 000006
【図５】
2006252269.tif 000007
【図６】
2006252269.tif 000008
【図７】
2006252269.tif 000009
【図８】
2006252269.tif 000010
【図９】
2006252269.tif 000011
【図１０】
2006252269.tif 000012
【図１１】
2006252269.tif 000013
【図１２】
2006252269.tif 000014
【図１３】
2006252269.tif 000015