(57)【要約】【課題】車両と、歪曲がある撮像画像に含まれる物体との位置関係を違和感なくユーザに把握させることができる車両周辺表示方法を提供する。【解決手段】発明の車両周辺表示方法によれば、広角カメラ２により撮像された車両１の周辺の歪曲がある原画像が中央原画像、左原画像および右原画像に分割される。その上で、各分割原画像が中央仮想カメラＣ０，左仮想カメラＣ−および右仮想カメラＣ＋のそれぞれにより撮像された歪曲がない画像に近づくように各分割原画像の歪曲が補正される。各仮想カメラは、広角カメラ２の光軸と一致する、左側に傾いたまたは右側に傾いた各仮想光軸を有する。そして、歪曲が補正されることにより生成された中央補正画像、左補正画像および右補正画像が上下方向に位置合わせした上で接続されることにより生成された第１画像がディスプレイ装置４に表示される。【選択図】  図７
2010109483.tif 000002
【特許請求の範囲】
【請求項１】
広角撮像装置により車両の周辺を撮像することにより、歪曲がある原画像を取得する車両周辺撮像工程と、
前記車両周辺撮像工程において取得された原画像を、画像処理用の演算処理装置により、撮像画像に歪曲が生じない仮想撮像装置により撮像された画像に近づくように補正することにより補正画像を生成する画像歪曲補正工程と、
前記画像歪曲補正工程において生成された前記補正画像をディスプレイ装置上に表示する画像表示工程とを備え、
前記画像歪曲補正工程において、
前記原画像を中央原画像と、前記中央原画像の左側に隣接する左原画像と、前記中央原画像の右側に隣接する右原画像とに分割し、
前記中央原画像が前記広角撮像装置の光軸に一致する中央仮想光軸を有する前記仮想撮像装置としての中央仮想撮像装置により撮像された画像に近づくように前記中央原画像の歪曲を補正することにより中央補正画像を生成し、前記左原画像が前記広角撮像装置の光軸に対して左側に傾いている左仮想光軸を有する前記仮想撮像装置としての左仮想撮像装置により撮像された画像に近づくように前記左原画像の歪曲を補正することにより左補正画像を生成し、かつ、前記右原画像が前記広角撮像装置の光軸に対して右側に傾いている左仮想光軸を有する前記仮想撮像装置としての右仮想撮像装置により撮像された画像に近づくように前記右画像の歪曲を補正することにより右補正画像を生成し、
前記中央補正画像の左側に前記左補正画像を上下方向の位置合わせをした上で接続し、前記中央補正画像の右側に前記右補正画像を上下方向の位置合わせをした上で接続することにより、前記補正画像としての第１画像を生成することを特徴とする車両周辺表示方法。
【請求項２】
請求項１記載の車両周辺表示方法において、
前記画像歪曲補正工程において、
前記中央原画像を上中央原画像と、前記上中央原画像の上側に隣接する下中央原画像とに分割し、
前記下中央原画像が、前記広角撮像装置の光軸に対して鉛直方向下側に傾いている下中央仮想光軸を有する前記仮想撮像装置により撮像された画像に近づくように前記下中央原画像の歪曲を補正することにより、前記下中央補正画像を前記補正画像としての第２画像として生成することを特徴とする車両周辺表示方法。
【請求項３】
請求項１または２記載の車両周辺表示方法において、
前記車両周辺撮像工程において、前記車両の後方に光軸が向けられた前記広角撮像装置により前記原画像を取得することを特徴とする車両周辺表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広角撮像装置により撮像された歪曲がある車両周辺画像を補正した上で、当該補正画像を表示する方法に関する。
【背景技術】
【０００２】
撮像装置により撮像された歪曲がある車両周辺画像において着目位置を設定した上で、着目位置の左右において縦方向に並んでいる複数のコラムを上下方向にシフトさせることにより、着目位置と同じ特徴量を有する白線等の画像部分の上下方向の歪曲を直線状に補正する方法が知られている（特許文献１参照）。
【特許文献１】特開２００６−１７８６６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、前記従来技術によれば、画像上下方向について狭い帯領域の歪曲が補正されるにしか過ぎないため、ユーザにとって特に画像左右両端付近に存在する物体と車両との距離感を補正画像に基づいて確認することが困難な場合がある。
【０００４】
そこで、本発明は、車両と、歪曲がある撮像画像に含まれる物体との位置関係を違和感なくユーザに把握させることができる車両周辺表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
第１発明の車両周辺表示方法は、広角撮像装置により車両の周辺を撮像することにより、歪曲がある原画像を取得する車両周辺撮像工程と、前記車両周辺撮像工程において取得された原画像を、画像処理用の演算処理装置により、撮像画像に歪曲が生じない仮想撮像装置により撮像された画像に近づくように補正することにより補正画像を生成する画像歪曲補正工程と、前記画像歪曲補正工程において生成された前記補正画像をディスプレイ装置上に表示する画像表示工程とを備え、前記画像歪曲補正工程において、前記原画像を中央原画像と、前記中央原画像の左側に隣接する左原画像と、前記中央原画像の右側に隣接する右原画像とに分割し、前記中央原画像が前記広角撮像装置の光軸に一致する中央仮想光軸を有する前記仮想撮像装置としての中央仮想撮像装置により撮像された画像に近づくように前記中央原画像の歪曲を補正することにより中央補正画像を生成し、前記左原画像が前記広角撮像装置の光軸に対して左側に傾いている左仮想光軸を有する前記仮想撮像装置としての左仮想撮像装置により撮像された画像に近づくように前記左原画像の歪曲を補正することにより左補正画像を生成し、かつ、前記右原画像が前記広角撮像装置の光軸に対して右側に傾いている左仮想光軸を有する前記仮想撮像装置としての右仮想撮像装置により撮像された画像に近づくように前記右画像の歪曲を補正することにより右補正画像を生成し、前記中央補正画像の左側に前記左補正画像を上下方向の位置合わせをした上で接続し、前記中央補正画像の右側に前記右補正画像を上下方向の位置合わせをした上で接続することにより、前記補正画像としての第１画像を生成することを特徴とする。
【０００６】
第１発明の車両周辺表示方法によれば、広角撮像装置により撮像された車両周辺の歪曲がある原画像が「中央原画像」「左原画像」および「右原画像」に分割される。その上で、各分割原画像が「中央仮想撮像装置」「左仮想撮像装置」および「右仮想撮像装置」のそれぞれにより撮像された歪曲がない画像に近づくように、各分割原画像の歪曲が補正される。各仮想撮像装置は、広角撮像装置の光軸と一致する中央仮想光軸、広角撮像装置の光軸に対して左側に傾いた左仮想光軸、または、広角撮像装置の光軸に対して右側に傾いた右仮想光軸を有する。そして、歪曲が補正されることにより生成された中央補正画像、左補正画像および右補正画像が上下方向に位置合わせした上で接続されることにより生成された「第１画像」がディスプレイ装置に表示される。これにより、３つの仮想光軸のそれぞれに向けられた、歪曲が生じない３つの仮想撮像装置により別個に撮像されたかのような３つの横並びの車両周辺画像をユーザに見せることができる。したがって、たとえば広角撮像装置の撮像範囲の右端寄りに存在する物体であっても、あたかもこの物体の存在領域に光軸が向けられた歪曲が生じない撮像装置により撮像されたかのような当該物体の画像が第１画像の右側、すなわち、右補正画像において視認されうる。また、各補正画像が上下方向に位置合わせされた上で隣接している。したがって、物体の画像が隣接する補正画像の間で変位した場合でも、当該隣接する補正画像の境界部分における物体の位置の上下方向の位置の連続性が維持されうる。よって、車両と、歪曲がある撮像画像に含まれる物体との位置関係を違和感なくユーザに把握させることができる。
【０００７】
第２発明の車両周辺表示方法は、第１発明の車両周辺表示方法において、前記画像歪曲補正工程において、前記中央原画像を上中央原画像と、前記上中央原画像の上側に隣接する下中央原画像とに分割し、前記下中央原画像が、前記広角撮像装置の光軸に対して鉛直方向下側に傾いている下中央仮想光軸を有する前記仮想撮像装置により撮像された画像に近づくように前記下中央原画像の歪曲を補正することにより、前記下中央補正画像を前記補正画像としての第２画像として生成することを特徴とする。
【０００８】
第２発明の車両周辺表示方法によれば、車両の下中央仮想光軸に向けられた、歪曲が生じない仮想撮像装置により撮像されたかのような車両周辺画像をユーザに見せることができる。したがって、広角撮像装置の撮像範囲の中央下部寄りに存在する物体であっても、あたかもこの物体の存在領域に光軸が向けられた歪曲が生じない撮像装置により撮像されたかのような当該物体の画像がディスプレイ装置において視認されうる。よって、車両と、歪曲がある撮像画像に含まれる物体との位置関係を違和感なくユーザに把握させることができる。
【０００９】
第３発明の車両周辺表示方法は、第１または第２発明の車両周辺表示方法において、
前記車両周辺撮像工程において、前記車両の後方に光軸が向けられている前記広角撮像装置により前記原画像を取得することを特徴とする。
【００１０】
第３発明の車両周辺表示方法によれば、車両と、車両の後方に存在し、歪曲がある撮像画像に含まれる物体との位置関係を違和感なくユーザに把握させることができる。
【発明を実施するための最良の形態】
【００１１】
本発明の車両周辺表示方法の実施形態について図面を用いて説明する。車両周辺表示方法は、図１に示されている車両１に搭載されている車両周辺監視装置１０により実行される。車両周辺監視装置１０は、車両１の後方を撮像するカメラ（広角撮像装置）２と、画像処理装置（画像処理用の演算処理装置）３と、画像処理装置３により処理された画像を表示するディスプレイ装置４とを備えている。
【００１２】
広角カメラは車両１の後方に光軸が向けられた広角レンズを有しているＣＭＯＳカメラである。広角カメラとしてＣＭＯＳカメラに代えて、赤外線カメラ等が採用されてもよい。広角カメラの撮像範囲を車両１の上方から見た場合、図２（ａ）に示されているように車両１の後端中央を基準点として車両１の後方に１８０°の範囲で広がっている。すなわち、車両１の上方から見たときの広角カメラの撮像範囲は、車両１の後端付近で車幅方向にのびるラインよりも車両１の後方に広がっている。広角カメラの撮像範囲を車両１の横から見た場合、図２（ｂ）に示されているように車両１の後端部から約３ｍ後方に立つ身長約１７０ｃｍの人物の頭部が見えるラインから、車両１のバンパーが約１０ｃｍ見えるラインまでの範囲に広がっている。広角カメラは車両１の後方に代えてまたは加えて車両１の前方または側方等、さまざまな方向を撮像するようにその光軸方向および台数が設定されてもよい。
【００１３】
画像処理装置３は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、画像メモリに記憶されたデータにアクセス（読み出しおよび書き込み）するためのインタフェース回路、画像メモリに記憶された画像に対して各種の演算処理をＣＰＵ、および、これらを接続するバス等により構成されているＥＣＵ（電子制御ユニット）により構成されている。
【００１４】
ディスプレイ装置４として車両１に搭載されているナビゲーションシステム、ＤＶＤプレイヤまたはテレビ受像機等のディスプレイ装置が併用されうる。
【００１５】
前記構成の画像処理装置１０により実行される車両周辺表示方法について説明する。
【００１６】
本発明の第１実施形態としての車両周辺表示方法について説明する。まず、広角カメラにより車両１の周辺を撮像することにより、歪曲がある原画像を取得する「車両周辺撮像工程」が実行される（図３／ＳＴＥＰ１１）。これにより、たとえば図５に示されているような車両１の後方が広範囲にわたり撮像された原画像が得られる。原画像はその中心から外側に向かうにつれて撮像された物体の歪曲度合いが徐々に高くなっている。
【００１７】
続いて「画像歪曲補正工程」が実行される。具体的には原画像が中央原画像と、中央原画像の左側に隣接する左原画像と、中央原画像の右側に隣接する右原画像とに分割される（図３／ＳＴＥＰ１２）。これにより、図５に示されている原画像が図６（ａ）に示されているように３つに分割される。
【００１８】
また、各分割画像の歪曲が補正される（図３／ＳＴＥＰ１３）。歪曲補正に際して図７（ａ）に示されているように車両１の後方中央で扇形に広がる仮想中央撮像範囲Ｒ０を有する中央仮想カメラＣ０と、車両１の後方左側で仮想中央撮像範囲Ｒ０に隣接して扇形に広がる左仮想撮像範囲Ｒ−を有する左仮想カメラＣ−と、車両１の後方右側で仮想中央撮像範囲Ｒ０に隣接して扇形に広がる右仮想撮像範囲Ｒ＋を有する右仮想カメラＣ＋とが仮想される。中央仮想カメラＣ０は広角カメラの光軸に一致する中央仮想光軸Ｌ０を有する。左仮想カメラＣ−は広角カメラの光軸に対して車両１の上方から見て右側に傾いている左仮想光軸Ｌ−を有する。右仮想カメラＣ＋は広角カメラの光軸に対して車両１の上方から見て左側に傾いている左仮想光軸Ｌ＋を有する。図７（ｂ）に示されているように仮想光軸Ｌ−，Ｌ０およびＬ＋は車両１の横から見た場合に広角カメラの光軸と一致している。各仮想カメラＣ０，Ｃ−およびＣ＋は、広角カメラとは異なり歪曲が無い画像を撮像する撮像装置である。中央原画像が中央仮想カメラＣ０により撮像された歪曲が無い画像に近づくように中央原画像の歪曲が補正されることにより「中央補正画像」が生成される。また、左原画像が左仮想カメラＣ−により撮像された歪曲が無い画像に近づくように左原画像の歪曲が補正されることにより「左補正画像」が生成される。さらに、右原画像が左仮想カメラＣ＋により撮像された歪曲が無い画像に近づくように右原画像の歪曲が補正されることにより「右補正画像」が生成される。各補正画像は、前記仮想カメラＣ−，Ｃ０およびＣ＋のそれぞれに基づいて設定され、画像処理装置３のメモリに格納されている画素座標変換テーブルにしたがって生成される。
【００１９】
さらに、中央補正画像の左側に左補正画像を上下方向の位置合わせをした上で接続し、中央補正画像の右側に右補正画像を上下方向の位置合わせをした上で接続することにより「第１画像」が生成される（図３／ＳＴＥＰ１４）。そして、第１画像がディスプレイ装置４に表示される（図３／ＳＴＥＰ１５）。これにより、たとえば図６（ｂ）に示されているように３つの画像部分からなる画像がディスプレイ装置４に表示される。
【００２０】
本発明の第１実施形態の車両周辺表示方法によれば、広角カメラ２により撮像された車両１の周辺の歪曲がある原画像が「中央原画像」「左原画像」および「右原画像」に分割される（図３／ＳＴＥＰ１２、図６（ａ）参照）。その上で、各分割原画像が中央仮想カメラＣ０、左仮想カメラＣ−および右仮想カメラＣ＋のそれぞれにより撮像された歪曲がない画像に近づくように、各分割原画像の歪曲が補正される（図３／ＳＴＥＰ１３、図７（ａ）（ｂ）参照）。そして、歪曲が補正されることにより生成された中央補正画像、左補正画像および右補正画像が上下方向に位置合わせした上で接続されることにより生成された「第１画像」がディスプレイ装置４に表示される（図３／ＳＴＥＰ１４，１５，図６（ｂ）参照）。これにより、３つの仮想光軸Ｌ−，Ｌ０およびＬ＋のそれぞれに向けられた、歪曲が生じない３つの仮想カメラＣ−，Ｃ０およびＣ＋により別個に撮像されたかのような３つの横並びの車両１の周辺画像をユーザに見せることができる（図６（ｂ）参照）。したがって、たとえば広角カメラ２の撮像範囲（図２（ａ）（ｂ）参照）の右端寄り（右仮想撮像範囲Ｒ＋）に存在する物体であっても、あたかもこの物体の存在領域に光軸が向けられた歪曲が生じない撮像装置により撮像されたかのような当該物体の画像が第１画像の右側、すなわち、右補正画像において視認されうる。また、各補正画像が上下方向に位置合わせされた上で隣接している。したがって、物体の画像が隣接する補正画像の間で変位した場合でも、当該隣接する補正画像の境界部分における物体の位置の上下方向の位置の連続性が維持されうる。よって、車両１と、歪曲がある撮像画像に含まれる物体との位置関係を違和感なくユーザに把握させることができる。
【００２１】
続いて、本発明の第２実施形態としての車両周辺表示方法について説明する。まず、広角カメラにより車両１の周辺を撮像することにより、歪曲がある原画像を取得する「車両周辺撮像工程」が実行される（図４／ＳＴＥＰ２１）。これは第１実施形態と同様であり、たとえば図５に示されているような車両１の後方が広範囲にわたり撮像された原画像が得られる。次に「画像歪曲補正工程」が実行される。具体的には原画像から中央原画像の下部が下中央原画像として抽出される（図４／ＳＴＥＰ２２）。また、下中央画像の歪曲が補正される（図４／ＳＴＥＰ２３）。歪曲補正に際して図７（ａ）（ｂ）に示されている中央仮想カメラＣ０よりも下方に傾いた仮想光軸を有する下中央仮想カメラが仮想される。下中央原画像が下中央仮想カメラにより撮像された歪曲が無い画像に近づくように下中央原画像の歪曲が補正されることにより「下中央補正画像」が「第２画像」として生成される（図４／ＳＴＥＰ２４）。下中央補正画像は、前記下中央仮想カメラに基づいて設定され、画像処理装置３のメモリに格納されている画素座標変換テーブルにしたがって生成される。そして、第２画像がディスプレイ装置４に表示される（図３／ＳＴＥＰ１５）。これにより、たとえば図８に示されているような車両１の後方近傍の画像がディスプレイ装置４に表示される。
【００２２】
本発明の第２実施形態の車両周辺表示方法によれば、車両の下中央仮想光軸に向けられた、歪曲が生じない仮想カメラにより撮像されたかのような車両１の周辺画像をユーザに見せることができる（図８参照）。したがって、広角カメラ２の撮像範囲（図２（ａ）（ｂ）参照）の中央下部寄りに存在する物体であっても、あたかもこの物体の存在領域に光軸が向けられた歪曲が生じない撮像装置により撮像されたかのような当該物体の画像がディスプレイ装置４において視認されうる。よって、車両１と、歪曲がある撮像画像に含まれる物体との位置関係を違和感なくユーザに把握させることができる。
【００２３】
なお、車両１に搭載されているボタンまたはスイッチのユーザによる操作に応じて、ディスプレイ装置４において第１画像に代えてもしくは加えて第２画像が表示されてもよく、または、第２画像に代えてもしくは加えて第１画像が表示されてもよい。
【図面の簡単な説明】
【００２４】
【図１】車両周辺監視装置の概略構成図
【図２】広角カメラの撮像範囲に関する説明図
【図３】第１実施形態の車両周辺表示方法を示すフローチャート
【図４】第２実施形態の車両周辺表示方法を示すフローチャート
【図５】原画像に関する説明図
【図６】第１画像に関する説明図
【図７】仮想カメラに関する説明図
【図８】第２画像に関する説明図
【符号の説明】
【００２５】
１‥車両、２‥広角カメラ（広角撮像装置）、３‥画像処理装置、４‥ディスプレイ装置、１０‥車両周辺監視装置
【図１】
2010109483.tif 000003
【図２】
2010109483.tif 000004
【図３】
2010109483.tif 000005
【図４】
2010109483.tif 000006
【図５】
2010109483.tif 000007
【図６】
2010109483.tif 000008
【図７】
2010109483.tif 000009
【図８】
2010109483.tif 000010
【手続補正書】
【提出日】平成21年7月21日(2009.7.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２
【補正方法】変更
【補正の内容】
【請求項２】
請求項１記載の車両周辺表示方法において、
前記画像歪曲補正工程において、
前記中央原画像を上中央原画像と、前記上中央原画像の下側に隣接する下中央原画像とに分割し、
前記下中央原画像が、前記広角撮像装置の光軸に対して鉛直方向下側に傾いている下中央仮想光軸を有する前記仮想撮像装置により撮像された画像に近づくように前記下中央原画像の歪曲を補正することにより、前記下中央補正画像を前記補正画像としての第２画像として生成することを特徴とする車両周辺表示方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
第２発明の車両周辺表示方法は、第１発明の車両周辺表示方法において、前記画像歪曲補正工程において、前記中央原画像を上中央原画像と、前記上中央原画像の下側に隣接する下中央原画像とに分割し、前記下中央原画像が、前記広角撮像装置の光軸に対して鉛直方向下側に傾いている下中央仮想光軸を有する前記仮想撮像装置により撮像された画像に近づくように前記下中央原画像の歪曲を補正することにより、前記下中央補正画像を前記補正画像としての第２画像として生成することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
続いて、本発明の第２実施形態としての車両周辺表示方法について説明する。まず、広角カメラにより車両１の周辺を撮像することにより、歪曲がある原画像を取得する「車両周辺撮像工程」が実行される（図４／ＳＴＥＰ２１）。これは第１実施形態と同様であり、たとえば図５に示されているような車両１の後方が広範囲にわたり撮像された原画像が得られる。次に「画像歪曲補正工程」が実行される。具体的には原画像から中央原画像の下部が下中央原画像として抽出される（図４／ＳＴＥＰ２２）。また、下中央画像の歪曲が補正される（図４／ＳＴＥＰ２３）。歪曲補正に際して図７（ａ）（ｂ）に示されている中央仮想カメラＣ０よりも下方に傾いた仮想光軸を有する下中央仮想カメラが仮想される。下中央原画像が下中央仮想カメラにより撮像された歪曲が無い画像に近づくように下中央原画像の歪曲が補正されることにより「下中央補正画像」が「第２画像」として生成される。下中央補正画像は、前記下中央仮想カメラに基づいて設定され、画像処理装置３のメモリに格納されている画素座標変換テーブルにしたがって生成される。そして、第２画像がディスプレイ装置４に表示される（図４／ＳＴＥＰ２４）。これにより、たとえば図８に示されているような車両１の後方近傍の画像がディスプレイ装置４に表示される。