(57)【特許請求の範囲】
【請求項１】
車両に設置されたカメラによって撮影された撮影画像に所定の画像処理を施して車室内の表示装置に表示する車両の周辺監視装置であって、
前記撮影画像に車体の縁部を含むように前記カメラが設置され、
前記撮影画像において前記車体の縁部に沿った第１軸と、この第１軸と直交する第２軸とを設定する座標軸設定部と、
前記撮影画像に対して、前記第１軸方向は略固定としつつ、前記第２軸方向をこの第２軸からの距離に依存した非線形的に増加する拡大率で拡大処理する歪補正処理部とを備え、
歪補正処理された前記撮影画像を前記表示装置に表示する車両の周辺監視装置。
【請求項２】
前記座標軸設定部は、前記カメラの撮影中心を原点として前記第１軸と第２軸とを設定する請求項１に記載の車両の周辺監視装置。
【請求項３】
前記カメラがサイドカメラであり、このサイドカメラはその撮影方向が鉛直下向きに設定されている請求項１又は２に記載の車両の周辺監視装置。
【請求項４】
前記カメラがリアカメラである請求項１又は２に記載の車両の周辺監視装置
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に設置されたカメラによって撮影された撮影画像に所定の画像処理を施して車室内の表示装置に表示する車両の周辺監視装置に関する。
【背景技術】
【０００２】
車両に設置されたカメラによって撮影された撮影画像を車室内の表示装置に表示する際、運転者が見易いように所定の画像処理を施す技術として、例えば特許文献１に記載の運転支援画像生成装置が知られている。この運転支援画像生成装置は、モニタ画面を２分割し、一方にはサイドカメラの撮影映像からレンズ歪を除去して直線が直線として表示されるように補正した映像を表示し、他方にはあたかもサイドミラーの上空に設置した仮想カメラからの映像のように変換した映像を夫々表示するものである。このようなモニタ画面表示を行なうことにより、幅寄せ中において運転者に把握し易い映像を提供している。
【０００３】
また、特許文献２には、１つのレンズ群で車体周囲の広い範囲を撮像し、この映像に基づいて運転者に正確で十分な情報を簡易に提供できる監視用車載撮像システムが記載されている。この監視用車載撮像システムもまた、映像情報の歪を補正する補正手段を備えており、運転者が即座に遠近感や対象物の大きさなどを判断できるように、この補正手段により歪のない平面的な映像情報を得ている。
【０００４】
【特許文献１】特開２００４−１９４０７１号公報
【特許文献２】特開２００４−１５９１８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
車両に設置された広角の魚眼カメラなどによって撮影された撮影画像を、そのまま車内モニタに表示したのでは歪感の強い映像となってしまうため、上述したような歪補正処理が行なわれている。なお、上記いずれの文献においてもその歪補正の具体的方法については開示されてないが、車両に設置された広角の魚眼カメラなどによって撮影された撮影画像を歪補正する場合、幅寄せ時などのため、実空間において車体の縁部とこの車体の縁部と平行な直線とが、可能な限りそのままの平行関係で表示されるように歪補正することが望まれる。
【０００６】
本発明は、かかる問題点に着目して成されたものであり、その目的は、車体の縁部を含む撮影画像に対して、実空間と同様の平行感となるように歪補正処理を施し、運転者にとって見易い画像を表示可能な車両の周辺監視装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係る車両の周辺監視装置は、車両に設置されたカメラによって撮影された撮影画像に所定の画像処理を施して車室内の表示装置に表示する車両の周辺監視装置であって、前記撮影画像に車体の縁部を含むように前記カメラが設置され、前記撮影画像において前記車体の縁部に沿った第１軸と、この第１軸と直交する第２軸とを設定する座標軸設定部と、前記撮影画像に対して、前記第１軸方向は略固定としつつ、前記第２軸方向をこの第２軸からの距離に依存した非線形的に増加する拡大率で拡大処理する歪補正処理部とを備え、歪補正処理された前記撮影画像を前記表示装置に表示するものとしている。
【０００８】
上記構成によれば、まず撮影画像中の車体の縁部に沿って第１軸と、この第１軸に直交する第２軸が設定され、そして第１軸方向は略固定としつつ、第２軸方向はこの第２軸からの距離に依存した非線形的に増加する拡大率で拡大処理することにより歪補正処理が行なわれる。
【０００９】
例えば撮影画像中に曲率が比較的小さい円弧状の車体の縁部が写されている場合、この円弧状の縁部の内側に、且つ当該縁部に沿って第１軸を設定する。次にこの円弧状の縁部の中央付近を通り第１軸に直交する第２軸を設定する。このとき円弧状の縁部は、その中央付近は第１軸から最も遠く、端に行くにしたがって第１軸に近付く状態、換言すれば第２軸から離れるにしたがって第１軸に近付く状態にある。
【００１０】
従って、第２軸から離れるにしたがって、すなわち第２軸からの距離が大きくなるにしたがって増加する拡大率で第２軸方向に拡大すれば、円弧状の縁部は直線状とすることができる。なお、縁部が曲線であることから、このような拡大率としては非線形的なものが用いられている。
【００１１】
かかる歪補正処理により、車体の縁部など撮影画像において湾曲した直線を元の直線状にすることができるので、実空間と同様の平行感で撮影画像を表示することができる。これにより、歪補正後の撮影画像は運転者にとって見易いものとなり、車両周辺の状況を把握し易くすることができる。
【００１２】
また、本発明に係る車両の周辺監視装置の好適な実施形態の一つでは、前記座標軸設定部は、前記カメラの撮影中心を原点として前記第１軸と第２軸とを設定するものとしている。かかる構成によれば、撮影中心を原点としているので、撮影画像における第１軸上の画像自体の歪も少なく、より効果的な歪補正処理を行うことができる。
【００１３】
なお、カメラとしてはサイドカメラやリアカメラなどを用いることができるが、本発明に係る車両の周辺監視装置の好適な実施形態の一つでは、前記カメラがサイドカメラであり、このサイドカメラはその撮影方向が鉛直下向きに設定されている。かかる構成によれば、サイドカメラは撮影方向（レンズの光軸方向）が鉛直下向きになるように設定されており、その撮影画像において当該光軸中心の位置である撮影中心を原点として第１軸と第２軸が設定される。このとき撮影画像に写されているのは車体の側部であり、この側部に沿って第１軸が設定される。上述したように本発明における歪補正において第１軸方向は略固定されたままなので、この場合に歪補正を行っても車両の前後方向の情報を残すことができる。これは特に車両の進行方向の視野を確保することができるため好ましい。
【００１４】
さらに、本発明に係る車両の周辺監視装置の好適な実施形態の一つでは、前記カメラをリアカメラとしている。これにより後方の撮影画像を、目視した場合と同様の感覚の画像として表示することができるため、運転者にとって見易い画像となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る車両の周辺監視装置の実施形態を図面に基づいて説明する。
〔全体構成〕
図１には、この車両の周辺監視装置を搭載した車両が模式的に示されている。車両１の助手席側のサイドミラー１１にはサイドカメラ２Ｌが、車両１の後方にはリアカメラ２Ｒが夫々設置されており、これらのカメラ２（サイドカメラ２Ｌ、リアカメラ２Ｒの総称。以下同じ。）によって撮影された撮影画像の情報は、画像処理ＥＣＵ４に伝えられ、所定の画像処理が施された後、表示部３に表示される。なお、サイドカメラ２Ｌは、その撮影方向（レンズの光軸方向）が鉛直下向きとなるように設置された広角の魚眼カメラであり、その撮影画像に車体の左側の縁部が写るように設置されている（図５（ａ）参照）。また、リアカメラ２Ｒは、その撮影方向が斜め下向きとなるように設置された広角の魚眼カメラであり、その撮影画像にバンパーが写るように設置されている（図６（ａ）参照）。
【００１６】
〔画像処理ＥＣＵ〕
図２は、車両１に搭載された画像処理ＥＣＵ４について、本発明に特に関連する機能部を示した機能ブロック図である。これらの機能部は、ＣＰＵを中核部材としてハードウェア若しくはソフトウェア或いはその両方で構築されている。カメラ２によって撮影された撮影画像（正確には撮影画像データだが、以下単に撮影画像と称する。）は画像入力部４１によって取得され、メモリ４４に展開される。メモリ４４に展開された撮影画像は、画像処理部４５によって拡大・縮小処理、回転処理や歪補正処理などの所定の画像処理が施される。そして、画像処理が施された撮影画像に対して表示用画像データ生成部４７によって表示用の画像データが生成され、表示制御部４２を介して表示部３の車内モニタ３ａに表示される。なお、表示部３には、車内モニタ３ａに設けられたタッチパネル或いは車内モニタ３ａ近傍に設けられたボタンなどの形態で指示操作部３ｂも備えられており、この指示操作部３ｂからの情報は指示入力部４３によって取得される。
【００１７】
次に、画像処理部４５によって施される画像処理のうち、特に本発明に関係する歪補正処理について説明する。この歪補正処理を行うため、画像処理部４５には座標軸設定部４５ａ、歪補正ＬＵＴ４６を参照して歪補正を行う歪補正処理部４５ｂが備えられている。
【００１８】
座標軸設定部４５ａは、カメラ２によって撮影された撮影画像に対して、その撮影画像に写された車体の縁部に沿った第１軸を設定すると共に、この第１軸と直交する第２軸とを設定する処理を行う。例えばサイドカメラ２Ｌによる撮影画像の場合、図５（ａ）に示すように車体左側の縁部が湾曲しているので、この湾曲した縁部の内側に第１軸としてのＹ軸を設定する。そして、このＹ軸に直交するＸ軸を車体左側の縁部の中央付近を通るように設定する。同様にリアカメラ２Ｒによる撮影画像の場合、図６（ａ）に示すようにバンパーが湾曲しているので、この湾曲したバンパーの内側に第１軸としてのＹ軸を設定する。そして、このＹ軸に直交するＸ軸をバンパーの中央付近を通るように設定する。
【００１９】
なお、本実施形態においては、こうした座標軸の設定は撮影中心（光軸位置）を原点とし、撮影画像の上下方向、左右方向がＹ軸或いはＸ軸となるように初期設定されている。ただし、この原点の位置や上下方向・左右方向に対する座標軸の傾きなどについては指示操作部３ｂによって運転者の好みに合わせて変更できるように構成されている。
【００２０】
歪補正処理部４５ｂは、座標軸が設定された撮影画像に対して、第１軸（Ｙ軸）方向は略固定としつつ、第２軸（Ｘ軸）方向をこの第２軸（Ｘ軸）からの距離に依存した非線形的に増加する拡大率で拡大する処理を行う。このような拡大率を図３に概念的に示す。図３においてＹ軸方向は固定されており、Ｘ軸方向については拡大率γで拡大される。この拡大率はＸ軸から離れるほど、すなわちＹの大きさ（Ｙの絶対値）が大きくなるほど増加するものであり、図３においても上方向或いは下方向に行くほど拡大率γが増加することが示されている。換言すれば、Ｙの値が正のときその値が大きいほど、或いはＹの値が負のときその値が小さいほど、大きな拡大率でＸ方向に拡大されることになる。なお、ここではＸ軸の正方向と負方向とを併せてＸ軸方向と、同様にＹ軸の正方向と負方向とを併せてＹ軸方向と称しており、正方向と負方向を区別する必要のない場合はこのように単にＸ軸方向或いはＹ軸方向と称する。
【００２１】
このような変換処理としては種々のものが考えられるが、撮影中心を原点として座標軸を設定した場合の例として、以下の変換式を挙げることができる。
Ｘ’＝γ＊Ｘ＝〔１＋ａ＊｛Ｙ／（Ｈ／２）｝^２〕＊Ｘ      （１）
Ｙ’＝Ｙ                                                （２）
ここで、（Ｘ，Ｙ）は変換前の座標、（Ｘ’，Ｙ’）は変換後の座標であり、Ｈは撮影画像の上下方向（Ｙ軸方向）の長さ、ａは調整係数を表す。また、＊は乗算を、／は除算を、＾は累乗を表している。なお、この調整係数ａは実験的、経験的に求められるものである。このような単純な式を用いることにより演算負荷を軽減することができ、また撮影画像全体を一つの式で変換するので、画像全体を連続的に補正することができる。
【００２２】
上記の式（１）及び（２）によれば、Ｙ軸方向は固定しつつ、Ｘ軸方向は拡大率γで拡大処理される。この拡大率γは、Ｘ軸からの距離、すなわちＹの大きさに依存した非線形的に増加する拡大率となっている。式（１）から分かるように、Ｙ軸方向はＹ／（Ｈ／２）と正規化され、この正規化されたＹ軸方向の値を２乗し、調整係数ａを乗算して１を加えることにより拡大率γが定義されている。
【００２３】
なお、このような変換式としては上記の式（１），（２）に限定されるものではなく、累乗を２以上の自然数とするなど他の形態も勿論可能である。また、変換式に基づいてその都度演算することも可能だが、本実施形態においてはこの変換に関するデータ群をルックアップテーブルの形で歪補正ＬＵＴ４６に格納している。また、原点の位置や上下方向・左右方向に対する座標軸の傾きに併せて複数の変換テーブルを用意しても良い。
【００２４】
このように歪補正処理部４５ｂは、座標軸設定部４５ａによって座標軸が設定された撮影画像に対して、歪補正ＬＵＴ４６を参照して上述した変換処理を施すことにより歪補正を行う。すなわち座標位置（Ｘ，Ｙ）にあった画素が、座標位置（Ｘ’，Ｙ’）に変換され、併せてこのような変換処理により不足する画素を補う補間処理が成される。
【００２５】
〔撮影画像の表示処理〕
次に、本実施形態における撮影画像の表示処理の流れについて図４を用いて説明する。まず、画像処理部４１によりカメラ２から撮影画像を取得し、メモリ４４に展開する（＃０１）。この撮影画像に対し、必要に応じて拡大・縮小処理や回転処理、或いは切り出し処理などの前処理を画像処理部４５により行なう（＃０２）。例えば撮影画像に占める車体の割合が多い場合には、車体の縁部とその周辺の路面部分とを含む矩形領域を切り出し処理により切り出しても良い。
【００２６】
次に、この撮影画像に対して座標軸設定部４５ａにより上述したＹ軸、Ｘ軸の設定が行われる（＃０３）。本実施形態においては、撮影中心（光軸位置）が原点となるように初期設定されているが、この原点の位置や座標軸の傾きは指示操作部３ｂにより調整することができる。そして、この座標軸が設定された撮影画像に対して、歪補正処理部４５ｂにより歪補正処理が行なわれる（＃０４）。この歪補正処理において撮影画像上の各座標を変換するためのデータは歪補正ＬＵＴ４６に格納されており、歪補正処理部４５ｂはこの歪補正ＬＵＴ４６を参照することにより歪補正処理を行う。
【００２７】
そして、歪補正処理部４５ｂにより歪補正処理された撮影画像から、車内モニタ３ａに表示するための表示用撮影画像が表示用画像データ生成部４７により生成され（＃０５）、表示制御部４２を介して車内モニタ３ａに表示される（＃０６）。
【００２８】
〔歪補正処理された撮影画像〕
図５及び図６に歪補正処理により表示される撮影画像の例を示す。図５（ａ）は、サイドカメラ２Ｌにより撮影された歪補正処理前の撮影画像である。上述したようにサイドカメラ２Ｌは広角の魚眼カメラなので、車体の前端から後端までが撮影画像に写されている。なお、元画像に対して切り出し処理が行なわれており、表示に際してこの切り出し処理後の画像のアスペクト比と車内モニタ３ａのアスペクト比とが合わない場合、図に示すように車内モニタ３ａの一部が背景画像ＧＢとなっている。このアスペクト比は、画面配置上背景画像が多くなりすぎるようであれば、意図的にくずしても構わない。歪補正処理前においては、車体左側の縁部Ｅ１が左方向に湾曲すると共に、車両の左側の路面上のラインＬ１が右方向に湾曲している。なお、実空間においては車体左側の縁部Ｅ１とこのラインＬ１とはほぼ平行している。
【００２９】
そこで、上述した歪補正処理を行うため、サイドカメラ２Ｌの撮影中心（光軸位置）Ｏを原点として、車体左側の縁部Ｅ１に沿って撮影画像の上下方向にＹ軸を設定し、これに直交する左右方向にＸ軸を設定する。このように座標軸が設定された撮影画像に対して歪補正処理が行なわれる。すなわち、撮影画像上の（Ｘ，Ｙ）位置が、例えば上記の式（１）及び（２）を用いることにより、（Ｘ’，Ｙ’）位置に変換され、撮影画像のＸ軸方向への拡大処理が行なわれる。
【００３０】
上述したようにこの式（１）による変換処理は、Ｙ軸方向は固定としつつ、Ｘ軸方向をＹの大きさ（Ｙの絶対値）に依存した非線形的に増加する拡大率で拡大する処理である。すなわち、図３にも示したように、Ｙ軸の正方向ではＹの値が大きくなるほど大きな拡大率でＸ方向に拡大され、Ｙ軸の負方向ではＹの値が小さくなるほど大きな拡大率でＸ方向に拡大される。図５（ａ）に示したように歪補正処理前の撮影画像においては、車体左側の縁部Ｅ１及びラインＬ１は夫々、Ｙ軸の正方向或いは負方向に行くにしたがってＹ軸に近付く形状をしているので、かかる歪補正処理を行うことで、図５（ｂ）に示すように車体左側の縁部Ｅ１とラインＬ１とを略平行にすることができる。また、路面上のポールＰ１も、実空間と同様にラインＬ１に対して、より直角となっている。
【００３１】
また、図６（ａ）は、リアカメラ２Ｒにより撮影された歪補正処理前の撮影画像である。歪補正処理前においては、バンパーＥ２が上方向に湾曲すると共に、車両の後方にある路面上のラインＬ２が下方向に湾曲している。なお、実空間においてはバンパーＥ２とこのラインＬ２とはほぼ平行している。
【００３２】
このリアカメラ２Ｒの場合には、バンパーＥ２が撮影画像の左右方向に延びているので、Ｙ軸をこのバンパーに沿って左右方向に、Ｘ軸をこのＹ軸と直交するように上下方向に設定している。また、ここでも原点Ｏは撮影中心としている。そして、上記同様の歪補正処理を施すことにより、図６（ｂ）に示したようにバンパーＥ２と後方のラインＬ２とを略平行とすることができる。また、路面上のポールＰ２についても実空間と同様に、より立たせることができる。
【００３３】
こうした歪補正処理により、カメラ２によって撮影された撮影画像を、目視した場合と同様の感覚の画像として車内モニタ３ａに表示することができるので、運転者にとって見易い映像となり、車両周辺の状況も把握し易くなる。また、Ｙ軸方向に対しては変換を行なわないので、サイドカメラの場合には車両の進行方向の視野を確保することができるという利点も有している。
〔別実施形態〕
【００３４】
上述した実施形態においては、Ｘ軸或いはＹ軸を撮影画像の上下方向或いは左右方向に設定したが、Ｙ軸が車体の縁部に沿っていれば、上下方向或いは左右方向から所定の角度をもって傾斜した形態で設定しても良い。また、Ｙ軸を設定する車体の縁部は、撮影画像に写されている車体の縁部のうち平行にしたい部分であり、多くの場合、撮影画像中の最も長く且つ曲率が小さい車体の縁部である。さらに、車両の縁部に沿ってＹ軸を設定する方法としては、例えば、対象とする車両の縁部の中央付近（中央或いは中央近傍）の接線と略平行となるように設定することが挙げられる。
【００３５】
上述した実施形態においては、Ｘ軸とＹ軸の原点が撮影中心（光軸位置）となるように設定したが、これに限定されるものではなく、撮影中心付近などその他の位置に設定することもできる。特に本発明の歪補正における拡大率の性質上、湾曲した車両の縁部の内側（湾曲方向の内側）に、且つ、この車両の縁部に沿ってＹ軸が設定される。そして、この湾曲した車両の縁部において、Ｙ軸から最も離れた位置近傍を通るようにＸ軸を設定するようにすると好適である。
【００３６】
上述した実施形態においては、歪補正処理する際に、撮影画像の全画面に対して一の変換式で変換処理を施したが、撮影画像を複数の領域に分割し、各領域に対して異なる変換式を用いて変換処理を行い、これを合成するようにしても良い。例えば、Ｘ軸の正方向と負方向とを異なる拡大率で拡大処理するようにしても良い。
【００３７】
また、撮影画像から車両の縁部（輪郭）を検出し、これに対して座標軸を自動的に設定するような形態としても良い。すなわち、車体エッジ検出部を設け、この車体エッジ抽出部は、カメラ２によって撮影された撮影画像から公知の方法によりエッジ検出を行い、そのエッジ画像から車体の縁部に相当するエッジを抽出する。なお、この車体の縁部の抽出は、車体エッジ検出部に伝えられたカメラの設置位置や撮影方向といったカメラ情報に基づいて行なうことができる。簡単な例として上記のサイドカメラ２Ｌによる撮影画像の場合を説明すると、図５（ａ）に示すように撮影画像の右側に車体が写されるので、撮影画像の右側に最も近く、かつ上下方向に連続した曲線を車体エッジとして抽出すれば良い。そして、このようにして抽出された車体の縁部に沿って座標軸が設定されるので、サイドカメラを設置したミラーの開閉動作などにより、撮影画像における車両の縁部の位置が変わったとしても座標軸設定を容易に行うことができる。
【００３８】
さらに、この車体エッジ検出部を設けた場合において、この抽出された車体の縁部に相当するエッジの近似曲線を求め、この近似曲線をＹ軸方向には略固定としつつ、このＹ軸と略平行となるような変換式を算出して、かかる変換式に基づいて撮影画像に対する歪補正処理のための拡大率を導出するような構成としても良い。このため、車体エッジ検出部と共に拡大率算出部を設け、この拡大率算出部において車体エッジ近似曲線を求めると共に、算出された車体エッジ近似曲線からこの近似曲線をＹ軸に対して略平行とするための変換式を算出する。そして算出された変換式から歪補正処理のための拡大率を算出するのである。この際、算出された拡大率を用いて歪補正処理を行うための歪補正ＬＵＴを生成するための歪補正ＬＵＴ生成部を備えるようにしても良い。かかる構成によれば、状況に応じて適切な拡大率を自動的に定義できるのという利点を有する。
【図面の簡単な説明】
【００３９】
【図１】本実施形態における車両の全体構成を示す模式図
【図２】画像処理ＥＣＵの機能ブロック図
【図３】歪補正処理における拡大率を説明する図
【図４】歪補正処理のフローチャート
【図５】サイドカメラによる撮影画像に対する歪補正処理の一例を示す図
【図６】リアカメラによる撮影画像に対する歪補正処理の一例を示す図
【符号の説明】
【００４０】
１  車両
２  カメラ
３  車内モニタ（表示装置）
４  画像処理ＥＣＵ
４５  画像処理部
４５ａ  座標軸設定部
４５ｂ  歪補正処理部
４６  歪補正ＬＵＴ
【図１】
0004924896.tif 000002
【図２】
0004924896.tif 000003
【図３】
0004924896.tif 000004
【図４】
0004924896.tif 000005
【図５】
0004924896.tif 000006
【図６】
0004924896.tif 000007