(57)【要約】      （修正有）【課題】撮像範囲の重複する範囲の物体をシームレスに鮮明に表示し、撮像範囲の重複する範囲の物体の数を正確に認識ができ、車両と物体までの位置関係の把握が容易となり、車両の死角にある物体の存在とその位置関係を正確にかつ容易に把握することができる車両周辺監視装置を提供する。【解決手段】車両の側方に配置されて第１画像を撮像する第１撮像手段と、第１撮像手段よりも前方に配置されて第２画像を撮像する第２撮像手段と、第１画像および第２画像を表示する表示手段とを備え、該表示手段により車両の周辺を監視する車両周辺監視装置において、表示手段に第１画像と第２画像を合成して表示を行う際の第１画像と第２画像との境界位置を、第１撮像手段が配置される位置と第２撮像手段が配置される位置とを結ぶ直線上とする画像処理手段を備える。【選択図】図２
2006237969.tif 000002
【特許請求の範囲】
【請求項１】
車両の側方に配置されて第１画像を撮像する第１撮像手段と、
前記第１撮像手段よりも前方に配置されて第２画像を撮像する第２撮像手段と、
前記第１画像および前記第２画像を表示する表示手段とを備え、該表示手段により車両の周辺を監視する車両周辺監視装置において、
前記表示手段に前記第１画像と前記第２画像を合成して表示を行う際の前記第１画像と前記第２画像との境界位置を、前記第１撮像手段が配置される位置と前記第２撮像手段が配置される位置とを結ぶ直線上とする画像処理手段を備えることを特徴とする車両周辺監視装置。
【請求項２】
前記第１撮像手段と前記第２撮像手段とは車両に対して同じ側にあることを特徴とする請求項１に記載の車両周辺監視装置。
【請求項３】
前記直線上に仮想視点を設け、該仮想視点から見た画像を前記第１画像と前記第２画像に基づく視点変換により前記表示手段に表示することを特徴とする請求項２に記載の車両周辺監視装置。
【請求項４】
前記仮想視点は、前記第１撮像手段が配置される位置と前記第２撮像手段が配置される位置との中点であることを特徴とする請求項３に記載の車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺監視装置に関するものである。
【背景技術】
【０００２】
背景技術として、特許文献１には以下のような駐車支援装置が存在する。
特許文献１の駐車支援装置は、図８に示すように、車両の四隅にＣＣＤカメラ（Ｃ１、Ｃ２、Ｃ３、Ｃ４）を取り付けている。そして、図８に示すような各ＣＣＤカメラ（Ｃ１、Ｃ２、Ｃ３、Ｃ４）の撮像画像（Ｐ１、Ｐ２、Ｐ３、Ｐ４）を、利用者の正面のインストゥルメントパネル近辺に設置されているナビゲーション装置のディスプレーにそのまま並べて表示している。これにより、利用者の死角となる車両周辺の情報を撮像装置で取込み、取込み画像を車室内モニターで表示して利用者の視界を補完しようとしている。
【０００３】
また、特許文献２には以下のような車両周辺の監視システムが存在する。ここで、図９は車両におけるカメラＣの配置の様子を示す概要図であり、図１０は表示装置（不図示）における表示の概要を示す図である。特許文献２の車両周辺の監視システムは、図９に示すように、車両の前後左右の所定の位置に複数のカメラＣを取り付けている。そして、それぞれのカメラＣの撮像領域を１点鎖線で示している。また、表示装置（不図示）において、この複数のカメラＣの撮像画像は図１０に示すように配置され表示される。
【０００４】
さらに、特許文献３には以下のような車両周辺の監視システムが存在する。ここで、図１１は仮想視点ＫＳとカメラＣとの関係を示す図である。特許文献３の車両周辺の監視システムは、図１１に示すように、車両の所定の位置に複数のカメラＣを取り付けている。そして、車両の上方に仮想視点ＫＳを設定して生成した合成画像をもとに車両周辺の監視を行うこととしている。
【特許文献１】特開２０００−１６８４７５号公報（第００２５段落、第４図）
【特許文献２】特開２００２−０１９５５６号公報（第００２０−００３２段落、第４図、第７図）
【特許文献３】特許第３３００３３４号公報（第００３５−００３７段落、第４図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１における駐車支援装置では、各カメラ（Ｃ１、Ｃ２、Ｃ３、Ｃ４）の撮像範囲が重複しない場合には、物体をシームレスに表示することができない。
【０００６】
また、特許文献２における監視システムのように、撮像範囲が重複する複数個のカメラの当該重複範囲（図９の斜線部分）の画像を個別に表示すると、例えば、図１０に示すように、前部のカメラ画像と横部のカメラ画像を同一のモニタ装置に表示した場合、撮像範囲の重複する範囲の物体が各カメラ画像として表示される。そのため、監視システムの利用者は物体が２つ存在すると認識したり、車両と物体までの位置関係の把握が困難となるため、利用者にとって判りにくい画像となってしまう。
【０００７】
さらに、特許文献３における監視システムでは、複数のカメラＣの撮像画像を入力し、カメラＣの画像から車両を見下ろす位置を仮想視点ＫＳとし視点変換している。この場合、視点変換の基準を路面に合わせると、立体物を撮像するカメラの撮影方向が変わるので、立体物の消失や重複が発生してしまうと共に、立体物は各カメラ毎に撮像される面が異なるため、きれいにつながらなくなってしまう。
【０００８】
本発明は以上のような課題を解決するためになされたものであり、撮像範囲の重複する範囲の物体をシームレスに鮮明に表示し、撮像範囲の重複する範囲の物体の数を正確に認識ができ、車両と物体までの位置関係の把握が容易となり、車両の死角にある物体の存在とその位置関係を正確にかつ容易に把握することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、本発明は以下のような特徴を有する。
（１）本発明は、車両の側方に配置されて第１画像を撮像する第１撮像手段と、第１撮像手段よりも前方に配置されて第２画像を撮像する第２撮像手段と、第１画像および第２画像を表示する表示手段とを備え、該表示手段により車両の周辺を監視する車両周辺監視装置において、表示手段に第１画像と第２画像を合成して表示を行う際の第１画像と第２画像との境界位置を、第１撮像手段が配置される位置と第２撮像手段が配置される位置とを結ぶ直線上とする画像処理手段を備えることを特徴とする。
【００１０】
（２）本発明は、（１）に記載の車両周辺監視装置において、第１撮像手段と第２撮像手段とは車両に対して同じ側にあることを特徴とする。
【００１１】
（３）本発明は、（２）に記載の車両周辺監視装置において、直線上に仮想視点を設け、該仮想視点から見た画像を第１画像と第２画像に基づく視点変換により表示手段に表示することを特徴とする。
【００１２】
（４）本発明は、（３）に記載の車両周辺監視装置において、仮想視点は、第１撮像手段が配置される位置と第２撮像手段が配置される位置との中点であることを特徴とする。
【発明の効果】
【００１３】
このような特徴を有する本発明は、以下のような作用・効果が得られる。
（１）本発明は、車両の側方に配置されて第１画像を撮像する第１撮像手段と、第１撮像手段よりも前方に配置されて第２画像を撮像する第２撮像手段と、第１画像および第２画像を表示する表示手段とを備え、該表示手段により車両の周辺を監視する車両周辺監視装置において、表示手段に第１画像と第２画像を合成して表示を行う際の第１画像と第２画像との境界位置を、第１撮像手段が配置される位置と第２撮像手段が配置される位置とを結ぶ直線上とする画像処理手段を備えるので、撮像範囲の重複する範囲は第１撮像手段と第２撮像手段より取り込まれる画像のうちいずれか一方のみの画像を使用することになることから境界線上に存在する物体をシームレスに鮮明に表示することができ、また、境界線上に存在する物体の数が画像上に正確に表示されることからその物体の数を正確に認識でき、さらに、第１撮像手段より取り込まれる画像と第２撮像手段より取り込まれる画像とが繋がり車両と物体までの位置関係が画像上において正確に表示されることから利用者は車両と物体までの位置関係を正確にかつ容易に把握することができる効果が得られる。
【００１４】
（２）本発明は、（１）に記載の車両周辺監視装置において、第１撮像手段と第２撮像手段とは車両に対して同じ側にあるので、（１）に記載する効果に加えて、利用者の死角となる領域に存在する物体を画像上において鮮明に表示することにより利用者は死角となる領域に存在する物体の存在とその位置関係を正確かつ容易に把握にすることができる効果が得られる。
【００１５】
（３）本発明は、（２）に記載の車両周辺監視装置において、直線上に仮想視点を設け、該仮想視点から見た画像を第１画像と第２画像に基づく視点変換により表示手段に表示するので、（２）に記載する効果に加えて、仮想視点という１つの視点から物体を撮像することになることから合成画像上の物体をシームレスに表示することができ、その物体の数を正確に認識でき、利用者は車両と物体までの位置関係を正確にかつ容易に把握することができ、また、利用者の死角となる領域にも仮想視点からの撮像領域が及ぶことになることから利用者は死角となる領域に存在する物体の存在とその位置関係を正確かつ容易に把握にすることができる効果が得られる。
【００１６】
（４）本発明は、（３）に記載の車両周辺監視装置において、仮想視点は、第１撮像手段が配置される位置と第２撮像手段が配置される位置との中点であるので、特に利用者にとって車両の死角となりやすい第１撮像手段が配置される位置と第２撮像手段が配置される位置との中点付近の領域においても（３）に記載する効果をより確実に得ることができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施例について説明する。
【実施例１】
【００１８】
まず、実施例１について説明するにあたって、本発明の車両周辺監視装置の構成と処理の流れについて図３をもとに説明する。図３に示すように、本発明の車両周辺監視装置は、撮像装置１、撮像装置２、切替処理手段３、画像入力手段４、キャプチャバッファ５、キャプチャバッファ６、座標変換処理手段７、座標変換テーブル８、表示バッファ９、描画処理手段１１、表示装置１２などから構成されている。図３にも示すように、切替処理手段３、画像入力手段４、キャプチャバッファ５、キャプチャバッファ６、座標変換処理手段７、座標変換テーブル８、表示バッファ９、描画処理手段１１により構成される部分が画像処理装置に該当する。
【００１９】
そして、これらの構成による処理の流れとしては、以下のとおりである。まず、切替処理手段３にて、撮像装置１および撮像装置２にて撮像する画像を所定の時間毎に切替ながら、画像データとしてキャプチャバッファ５およびキャプチャバッファ６に入力する。そして、予め作成しておいた座標変換テーブル８の情報に従い、キャプチャバッファ５およびキャプチャバッファ６の画像データをもとに座標変換処理手段７において合成画像を作成する。なお、座標変換テーブル８には、合成画像において境界線を規定するために、撮像装置１における撮像画像の使用範囲と撮像装置２における撮像画像の使用範囲の情報が作成されている。作成した合成画像は表示バッファ９に入力され、描画処理手段１１にて描画の処理（車両の軌跡などを画像上に加える処理など）を行った後に表示装置１２に出力される。なお、図３の矢印が処理の流れを示している。
【００２０】
そこで、具体的に実施例１の説明をする。実施例１の車両周辺監視装置１は、図１に示すように左側のドアミラーの位置に撮像装置１としてカメラＣ１を、車両前方のフロントフェンダーの左側の位置もしくはバンパーの左側の位置に撮像装置２としてカメラＣ２を設置している。さらに詳細には、カメラＣ１はドアミラー下部にて前方斜め下向き、カメラＣ２はフロントフェンダー先端部にて前方斜め下向きに設置している。そして、カメラＣ１にて撮像した画像は第１画像として、また、カメラＣ２にて撮像した画像は第２画像として、前記した画像処理装置における画像処理を行なった結果、車内に設置されるモニター（不図示）に表示される。利用者はこのモニター画像を見ることで車両の周辺の情報について確認することができる。
【００２１】
ここで、カメラの撮像視野を考えた場合には、図１のハッチングで表したように、カメラＣ１とカメラＣ２には撮像範囲の重複する部分が存在している。この重複範囲の撮像画像を盛り込んだままカメラＣ１とカメラＣ２の撮像画像をモニターに並べて表示すると、撮像範囲の重複する範囲の物体が各カメラ画像として並列して表示されてしまう。そのため、前記した背景技術でも説明したように、利用者は物体が２つ存在すると誤認したり、車両と物体までの位置関係の把握が難しくなるため、利用者にとって判りにくい画像となってしまう。そこで、本発明では、カメラＣ１の撮像画像の使用範囲とカメラＣ２の撮像画像の使用範囲との間に境界線を定義し、境界線を挟んでカメラＣ１の撮像画像の使用範囲とカメラＣ２の撮像画像の使用範囲の住み分けを図りつつモニターに表示することにする。このように境界線を定義することにより、撮像範囲の重複する範囲の物体が各カメラ画像として並列して表示されることはなくなり、利用者は物体の数を正確に認識でき、車両と物体までの正確な位置関係の把握が容易になる。
【００２２】
但し、この境界線の位置の定義の仕方によっては以下のような問題が生じる。一般的に、同じ物体であってもカメラの撮像方向が異なる場合には、撮像する面が異なり、別の物体を撮像したような画像として表示されることになる。そこで例えば、無作為に境界線を定義したときには、図４に示すようにカメラＣ１と境界線上に存在する物体（図４では子供）を結ぶ線と車両の車幅方向の中心線（車両の主軸）との角度θ１と、カメラＣ２と境界線上に存在する物体を結ぶ線と車両の車幅方向の中心線（車両の主軸）との角度θ２とが通常、異なってしまう。そのため、カメラＣ１が物体を撮像する方向とカメラＣ２が物体を撮像する方向とが異なってしまう。従って、カメラＣ１とカメラＣ２の撮像画像をモニターに並べて表示すると物体の形状が全く繋がらなくなり、物体が何であるのかを全く認識できないおそれがある。
【００２３】
そこで、本発明では、具体的な境界線の位置として、図２に示すように、カメラＣ１とカメラＣ２とが配置される位置を結ぶ直線上とするように画像の変換処理を行う。さらに詳細には、カメラＣ１とカメラＣ２の光軸の中心とカメラ先端部を結んだ直線とする。そして、実施例では、この境界線の左側をカメラＣ１の撮像画像の使用範囲Ａ１とし、右側をカメラＣ２の撮像画像の使用範囲Ａ２とする。なお、カメラＣ１の撮像画像の使用範囲にフェンダー部が入らないように、カメラＣ１とカメラＣ２の位置を決定する。
【００２４】
このように境界線を定義することによって、図５に示すようにカメラＣ１と境界線上に存在する物体（図５では子供）を結ぶ線と車両の車幅方向の中心線（車両の主軸）との角度θ１と、カメラＣ２と境界線上に存在する物体を結ぶ線と車両の車幅方向の中心線（車両の主軸）との角度θ２とが等しくなる。そのため、カメラＣ１が物体を撮像する角度とカメラＣ２が物体を撮像する角度とが等しくなり、カメラＣ１とカメラＣ２とからはそれぞれ物体を同じ方向から見た画像を得ることができる。そのため、カメラＣ１とカメラＣ２の撮像画像をモニターに並べて表示すると物体が繋がって表示されることになり、利用者は物体の形状などの情報をある程度正確に認識することができる。特に物体が図５に示すように子供（人間）であれば、その物体が子供（人間）であることは十分に認識ができる。そして、モニター表示からは車両と子供（人間）の正確な位置関係も容易に把握することができる。そのため、子供（人間）の飛び出しなどがあっても、咄嗟の判断によって交通事故を防止することができる。
【００２５】
また、一般的に右ハンドル車の車両においては車両の左前方、特に車両前方のフロントフェンダーの左側の下部付近は利用者にとって死角となりやすい。そこで、本発明では左側のドアミラーの位置にカメラＣ１を、車両前方のフロントフェンダーの左側の位置にカメラＣ２を設置している。これにより、利用者の死角となる領域の画像についてもカメラＣ１とカメラＣ２より取り込んでモニターに表示することができるので、利用者は死角となる部分に人間が居ないか、あるいは車両を溝の横に寄せる場合にタイヤが溝にはまらないかなどをモニターにおいて正確かつ容易に確認することができる。
【００２６】
以上のような実施例１により以下のような効果が得られる。
（１）本発明は、車両の側方に配置されて第１画像を撮像するカメラＣ１と、カメラＣ１よりも前方に配置されて第２画像を撮像するカメラＣ２と、第１画像および第２画像を表示する表示手段とを備え、該表示手段により車両の周辺を監視する車両周辺監視装置において、表示手段に第１画像と第２画像を合成して表示を行う際の第１画像と第２画像との境界位置を、カメラＣ１が配置される位置とカメラＣ２が配置される位置とを結ぶ直線上とする画像処理手段を備えるので、撮像範囲の重複する範囲はカメラＣ１とカメラＣ２より取り込まれる画像のうちいずれか一方のみの画像を使用することになることから境界線上に存在する物体をシームレスに鮮明に表示することができ、また、境界線上に存在する物体の数が画像上に正確に表示されることからその物体の数を正確に認識でき、さらに、カメラＣ１より取り込まれる画像とカメラＣ２より取り込まれる画像とが繋がり車両と物体までの位置関係が画像上において正確に表示されることから利用者は車両と物体までの位置関係を正確にかつ容易に把握することができる効果が得られる。
【００２７】
（２）本発明は、（１）に記載の車両周辺監視装置において、カメラＣ１とカメラＣ２とは車両に対して同じ側にあるので、（１）に記載する効果に加えて、利用者の死角となる領域に存在する物体を画像上において鮮明に表示することから利用者は死角となる領域に存在する物体の存在とその位置関係を正確かつ容易に把握にすることができる効果が得られる。
【実施例２】
【００２８】
次に、実施例２について説明する。実施例２の車両周辺監視装置２は、装置の構成や配置は実施例１と同じである。しかし、座標変換処理手段７においてカメラＣ１の視点とカメラＣ２の視点を図２に示す仮想視点の位置に視点変換している。この仮想視点の位置は、車両の上面から見ると、図７に示すように、カメラＣ１とカメラＣ２とが配置される位置を結ぶ直線上であってカメラＣ１とカメラＣ２の間に設定している。また、車両の側面から見ると、図６に示すように、車高の範囲内に位置に配置される。
【００２９】
このようにカメラＣ１とカメラＣ２の仮想視点の位置をカメラＣ１とカメラＣ２とが配置される位置を結ぶ直線上において、仮想視点という１つの視点から物体を撮像することになる。そのため、カメラＣ１とカメラＣ２より取り込まれる画像の合成画像上の物体をシームレスに表示することができる。また、その物体の数を正確に認識でき、さらに、利用者は車両と物体までの位置関係も正確にかつ容易に把握することができる。また、カメラＣ１とカメラＣ２の間に仮想視点の位置を設定するので、車両の近傍付近も撮像ができ、利用者は死角となる領域に存在する物体の存在とその位置関係を正確かつ容易に把握にすることができる効果が得られる。なお、これらの効果を確実に得るために、仮想視点の位置はカメラＣ１とカメラＣ２の間の中点付近であることが望ましい。
【００３０】
以上のような実施例２により以下のような効果が得られる。
（１）本発明は、実施例１に記載の車両周辺監視装置において、直線上に仮想視点を設け、該仮想視点から見た画像を第１画像と第２画像に基づく視点変換により表示手段に表示するので、実施例１に記載する効果に加えて、仮想視点という１つの視点から物体を撮像することになることから合成画像上の物体をシームレスに表示することができ、その物体の数を正確に認識でき、利用者は車両と物体までの位置関係を正確にかつ容易に把握することができ、また、利用者の死角となる領域にも仮想視点からの撮像領域が及ぶことになることから利用者は死角となる領域に存在する物体の存在とその位置関係を正確かつ容易に把握にすることができる効果が得られる。
【００３１】
（２）本発明は、（１）に記載の車両周辺監視装置において、仮想視点は、カメラＣ１が配置される位置とカメラＣ２が配置される位置との中点であるので、特に利用者にとって車両の死角となりやすいカメラＣ１が配置される位置とカメラＣ２が配置される位置との中点付近の領域においても（１）に記載する効果をより確実に得ることができる。
【００３２】
尚、本発明は前記実施形態に限定されるものではなく、その趣旨を逸脱しない範囲で様
々な変更が可能である。
【図面の簡単な説明】
【００３３】
【図１】カメラＣ１とカメラＣ２の撮像範囲の重複範囲を示す図である。
【図２】カメラＣ１とカメラＣ２の撮像範囲の使用範囲とその境界線を示す図である。
【図３】本発明の車両周辺装置の構成と画像処理の流れを示す図である。
【図４】無作為に境界線を定義した場合のカメラの撮像方向を示す図である。
【図５】本発明におけるカメラの撮像方向を示す図である。
【図６】車両の側面から見た場合の仮想視点の位置を示す図である。
【図７】車両の上面から見た場合の仮想視点の位置を示す図である。
【図８】特許文献１の駐車支援装置の概要図である。
【図９】特許文献２の車両周辺の監視システムの概要図である。
【図１０】特許文献２の車両周辺の監視システムにおける表示内容を示す図である。
【図１１】特許文献３の車両周辺の監視システムの概要図である。
【符号の説明】
【００３４】
１    撮像装置
２    撮像装置
３    切替処理手段
４    画像入力手段
５    キャプチャバッファ
６    キャプチャバッファ
７    座標変換処理手段
８    座標変換テーブル
９    表示バッファ
１１  描画処理手段
１２  表示装置
Ｃ１  カメラ
Ｃ２  カメラ
【図１】
2006237969.tif 000003
【図２】
2006237969.tif 000004
【図３】
2006237969.tif 000005
【図４】
2006237969.tif 000006
【図５】
2006237969.tif 000007
【図６】
2006237969.tif 000008
【図７】
2006237969.tif 000009
【図８】
2006237969.tif 000010
【図９】
2006237969.tif 000011
【図１０】
2006237969.tif 000012
【図１１】
2006237969.tif 000013