(57)【要約】【課題】障害物までの距離を導出可能な車両用視認装置を提供することを目的とする。【解決手段】制御装置１８が、後側方カメラ１２の後側方撮影画像を取得して鏡像変換を行う。また、制御装置１８が、周辺カメラ１４の周辺撮影画像を取得して、周辺撮影画像から後側方カメラ１２の後側方撮影画像に対応する領域を切り出して視点変換及び鏡像変換を行う。そして、制御装置１８が、鏡像変換したそれぞれの撮影画像を比較して、それぞれの撮影画像内の同じポイント（障害物）を抽出し、ステレオカメラの原理により、障害物までの距離を導出する。【選択図】図２
2018107574.tif 000002
【特許請求の範囲】
【請求項１】
車両後側方を撮影する撮影部と、
車両後側方を含む車両周辺を撮影する周辺撮影部と、
前記周辺撮影部によって撮影された周辺撮影画像における前記撮影部によって撮影された後側方撮影画像に対応する領域の画像と前記後側方撮影画像とを比較することにより、車両後側方の障害物までの距離を導出する導出部と、
を備えた車両用視認装置。
【請求項２】
前記導出部によって導出された距離を報知する報知部を更に備えた請求項１に記載の車両用視認装置。
【請求項３】
前記周辺撮影部は、前記撮影部が設けられた筐体に車両下側方向に向けて配置され、車両側方を撮影する請求項１又は請求項２に車両用視認装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺を撮影して撮影画像を表示することにより車両周辺を視認する車両用視認装置に関する。
【背景技術】
【０００２】
車両周辺の撮影画像を表示して車両周辺を視認する車両用視認装置としては、例えば、特許文献１に記載の技術が提案されている。
【０００３】
特許文献１では、複数のカメラにより撮影された車両周囲の画像を俯瞰画像に変換する俯瞰画像生成部と、自車両の位置や周辺環境情報に基づいて、俯瞰画像の合成に利用する領域を選択する合成領域選択部と、合成領域選択部の出力に基づいて、俯瞰画像を合成する俯瞰画像合成部と、俯瞰画像を表示する表示部と、を備えた車両周辺監視装置が提案されている。特許文献１の技術では、左右のサイドミラーの位置、車両後方の左右のコーナーランプの位置、及び車両の前後の中心位置の６カ所にカメラを備えて、それぞれの撮影画像から俯瞰画像を生成して表示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−７７８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、車両周囲に障害物がないか否かを判別するソナーセンサの代わりに、画像認識により物体を検出してもよいことが記載されているが、特許文献１の技術では物体までの距離を検出することが難しい場合がある。すなわち、特許文献１では、車両周辺を撮影するカメラがそれぞれ単眼カメラであるため、停止した状態では車両周辺に存在する障害物までの距離検出は難しく、改善の余地がある。
【０００６】
本発明は、上記事実を考慮して成されたもので、障害物までの距離を導出可能な車両用視認装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために請求項１に記載の発明は、車両後側方を撮影する撮影部と、車両後側方を含む車両周辺を撮影する周辺撮影部と、前記周辺撮影部によって撮影された周辺撮影画像における前記撮影部によって撮影された後側方撮影画像に対応する領域の画像と前記後側方撮影画像とを比較することにより、車両後側方の障害物までの距離を導出する導出部と、を備えている。
【０００８】
請求項１に記載の発明によれば、撮影部によって車両後側方が撮影され、周辺撮影部によって車両後側方を含む車両周辺が撮影される。すなわち、周辺撮影部によって撮影された周辺撮影画像には、車両後側方が含まれる。なお、周辺撮影画像は、撮影部による撮影範囲を全て含んでもよいし、一部を含んでもよい。周辺撮影部は、例えば、魚眼レンズ等を用いて車両周辺を広範囲に撮影することにより、車両後側方を含む車両周辺を撮影できる。
【０００９】
そして、導出部では、周辺撮影部によって撮影された周辺撮影画像における撮影部によって撮影された後側方撮影画像に対応する領域の画像と後側方撮影画像とを比較することにより、車両後側方の障害物までの距離が導出される。すなわち、ステレオカメラの原理により、障害物を検出して障害物までの距離を導出できる。
【００１０】
また、請求項２に記載の発明のように、導出部によって導出された距離を報知する報知部を更に備えてもよい。これにより、乗員に導出部が導出した障害物までの距離を報知することで、乗員に障害物に対する注意を促すことができる。
【００１１】
また、周辺撮影部は、請求項３に記載の発明のように、撮影部が設けられた筐体に車両下側方向に向けて配置され、車両側方を撮影してもよい。撮影部が設けられた筐体に周辺撮影部を設けることで撮影部による撮影範囲を含む車両周辺の撮影が可能となる。
【発明の効果】
【００１２】
以上説明したように本発明によれば、障害物までの距離を導出可能な車両用視認装置を提供できる、という効果がある。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る車両用視認装置の概略構成を示す図である。
【図２】本実施形態に係る車両用視認装置の制御系の構成を示すブロック図である。
【図３】後側方カメラ及び周辺カメラの各々の撮影範囲を示す図である。
【図４】本実施形態に係る車両用視認装置の制御装置で行われる表示制御の一例を示すフローチャートである。
【図５】（Ａ）は後側方カメラの撮影画像の一例を示す図であり、（Ｂ）は（Ａ）の鏡像変換後の画像を示す図である。
【図６】周辺カメラの周辺撮影画像、及び周辺撮影画像から後側方撮影画像に対応する領域を切り出して視点変換と鏡像変換とを行った撮影画像の一例を示す図である。
【図７】障害物までの距離の導出を説明するための図である。
【図８】障害物までの距離の表示例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本発明の実施の形態に係る車両用視認装置の概略構成を示す図である。
【００１５】
本実施形態に係る車両用視認装置は、撮影部としての後側方カメラ１２、周辺撮影部としての周辺カメラ１４、報知部としてのモニタ１６、並びに、導出部としての制御装置１８が車両の左右に対応してそれぞれ設けられている。また、インストルメントパネルの中央部には、センタモニタ装置２０が設けられている。
【００１６】
後側方カメラ１２は、車両のサイドドア（フロントサイドドア、図示省略）の上下方向中間部の車両前側端に外側に設置されて車両後側方を撮影する。後側方カメラ１２は、支持体としての略直方体形箱状の筐体１３に設けられており、レンズが車両後側方に向けて配置され、車両の後側方を撮影する。筐体１３の車幅方向内側端部は、サイドドアに取付けられており、筐体１３がサイドドア（車体側）に車両前後方向に回動可能に支持されている。
【００１７】
周辺カメラ１４は、後側方カメラ１２と同一の筐体１３に設けられて車両周辺を撮影する。周辺カメラ１４は、魚眼レンズが設けられ、上からの汚れの付着や霜による凍結を抑制するために車両下側方向に向けて配置されている。本実施形態では、周辺カメラ１４は、魚眼レンズによって車両後側方を含む車両周辺を撮影する。具体的には、車両周辺の一例として車両の前後方向及び側方方向を撮影する。なお、本実施形態では、周辺カメラ１４は車両下側方向に向けて配置する例を説明するが、車両下側は真下に限定されるものではない。また、車両下側方向ではなく、水平方向かつ車両側方に向けて配置してもよい。
【００１８】
モニタ１６は、フロントピラーの下端付近に設けられ、後側方カメラ１２の後側方撮影画像を主に表示する。すなわち、アウターミラーの代わりとされ、モニタ１６を確認することにより、車両後側方を視認することができる。
【００１９】
制御装置１８は、左右のそれぞれに対応して設けられており、左右各々の後側方カメラ１２の撮影画像の表示制御を行う。
【００２０】
センタモニタ装置２０は、周辺カメラ１４の周辺撮影画像から車両を中心とした俯瞰画像を生成して表示したり、車載機器（例えば、ナビゲーション装置やエアコン、オーディオ等）の操作パネル等の表示が可能とされている。
【００２１】
続いて、本実施形態に係る車両用視認装置１０の制御系の構成について説明する。図２は、本実施形態に係る車両用視認装置１０の制御系の構成を示すブロック図である。
【００２２】
制御装置１８は、ＣＰＵ１８Ａ、ＲＯＭ１８Ｂ、ＲＡＭ１８Ｃ、及びＩ／Ｏ（入出力インタフェース）１８Ｄがそれぞれバス１８Ｅに接続されたマイクロコンピュータで構成されている。
【００２３】
ＲＯＭ１８Ｂには、後側方カメラ１２の後側方撮影画像をモニタ１６に表示するための表示制御等を行うための各種プログラムが記憶されている。ＲＯＭ１８Ｂに記憶されたプログラムをＲＡＭ１８Ｃに展開してＣＰＵ１８Ａが実行することにより、モニタ１６への表示制御が行われる。
【００２４】
Ｉ／Ｏ１８Ｄには、後側方カメラ１２、周辺カメラ１４、モニタ１６、及びセンタモニタ装置２０が接続されている。
【００２５】
後側方カメラ１２は、車両後側方を撮影することによって後側方撮影画像を得る。撮影によって得られた後側方撮影画像は、後側方カメラ１２の撮影結果として制御装置１８に出力する。
【００２６】
周辺カメラ１４は、車両後側方を含む車両周辺の一例として、車両の前後方向及び側方方向を撮影することによって周辺撮影画像を得る。撮影によって得られた周辺撮影画像は、周辺カメラ１４の撮影結果として制御装置１８に出力する。周辺撮影画像は、本実施形態では後側方撮影画像よりも広い範囲の車両周辺が撮影された撮影画像とされている。具体的には、周辺カメラ１４は、魚眼レンズにより、図３のハッチングで示すように、車両側方の全域が撮影範囲とされている。一方、後側方カメラ１２は予め定めた画角で後側方を撮影し、図３に示すように、双方の撮影領域の一部が重複する。なお、周辺カメラ１４の撮影結果は、センタモニタ装置２０にも出力されるようになっている。また、図３の例では、周辺カメラ１４の撮影範囲の一例として車両側方の全域を撮影範囲とした例を示すが、一例であって車両側方の全域に限るものではなく、車両後側方を含む車両周辺であればよい。
【００２７】
モニタ１６は、後側方カメラ１２によって撮影された後側方撮影画像を表示する。後側方撮影画像を表示する際には、撮影画像の左右を反転する鏡像変換等の画像処理を行って表示する。なお、後側方撮影画像をモニタ１６に表示する際には、後側方撮影画像の一部を切り出して表示し、切り出す位置を変更することで表示範囲を変更可能とされているが、以下の説明では、後側方撮影画像の一部を切り出す点は省略して説明する。
【００２８】
センタモニタ装置２０は、上述したように、周辺カメラ１４の周辺撮影画像から俯瞰画像を生成して表示する。また、上述したように、センタモニタ装置２０は、車載機器（例えば、エアコンや、ナビゲーション装置、オーディオ等）の操作パネル等の表示を行う。なお、センタモニタ装置２０は、図示は省略するが、制御装置１８と同様に、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＩ／Ｏがそれぞれバスに接続されたマイクロコンピュータを含んで構成されている。また、センタモニタ装置２０に周辺撮影画像を表示する際には、必ずしも俯瞰画像でなくてもよい。
【００２９】
また、制御装置１８は、本実施形態では、車両の左右に対応して一対設けられているので、それぞれ相互通信可能なようにそれぞれのＩ／Ｏ１８Ｄに他方の制御装置１８が接続されている。なお、制御装置１８は１つとして、左右のそれぞれの後側方カメラ１２やモニタ１６を制御する形態としてもよい。
【００３０】
また、制御装置１８は、後側方撮影画像及び周辺撮影画像に基づいて、障害物までの距離を導出する機能を備えている。本実施形態では、後側方カメラ１２及び周辺カメラ１４が同じ筐体１３に設けられており、それぞれの撮影領域の一部が重複していることから、ステレオカメラの原理により、重複した撮影領域に存在する障害物を検出して障害物までの距離を導出する。
【００３１】
具体的には、制御装置１８が、後側方カメラ１２の後側方撮影画像を取得して鏡像変換を行う。また、制御装置１８が、周辺カメラ１４の周辺撮影画像を取得して、周辺撮影画像から後側方カメラ１２の後側方撮影画像に対応する領域を切り出して視点変換及び鏡像変換を行う。そして、制御装置１８が、鏡像変換したそれぞれの撮影画像を比較して、それぞれの撮影画像内の同じポイント（障害物）を抽出し、ステレオカメラの原理により、障害物までの距離を導出する。また、本実施形態では、制御装置１８が導出した障害物までの距離をモニタ１６に表示することにより乗員に障害物の存在と障害物までの距離を報知する。
【００３２】
なお、ステレオカメラの原理による距離の導出は、例えば、位置関係が既知の２箇所に設置されたカメラの画像から、同一物が撮像された画素の位置から三角測量の原理により対象物までの距離を求める二眼ステレオ法を用いる。ステレオ法では、二画像間の対応点を見つけることにより、距離の計測を行う。
【００３３】
続いて、上述のように構成された本実施形態に係る車両用視認装置１０の制御装置１８で行われる具体的な処理について説明する。図４は、本実施形態に係る車両用視認装置１０の制御装置１８で行われる表示制御の一例を示すフローチャートである。なお、図４の表示制御は、図示しないイグニッションスイッチ（ＩＧ）がオンされた場合に、ＲＯＭ１８Ｂに予め記憶された表示制御プログラムを実行することにより開始する。
【００３４】
ステップ１００では、後側方カメラ１２及び周辺カメラ１４の撮影を開始するよう制御装置１８が後側方カメラ１２及び周辺カメラ１４を制御してステップ１０２へ移行する。
【００３５】
ステップ１０２では、制御装置１８が、後側方カメラ１２の撮影結果を取得し、取得した後側方撮影画像に対して鏡像変換を行ってモニタ１６に表示開始してステップ１０４へ移行する。すなわち、図５（Ａ）の後側方撮影画像の左右を反転する鏡像変換を行って、図５（Ｂ）に示す後側方撮影画像がモニタ１６に表示される。モニタ１６がフロントピラー下端付近に設けられているので、アウターミラーの代わりにモニタ１６を見ることにより、後側方を視認することが可能となる。
【００３６】
ステップ１０４では、制御装置１８が、周辺カメラ１４の周辺撮影画像から後側方撮影画像の領域を切り出してステップ１０６へ移行する。
【００３７】
ステップ１０６では、制御装置１８が、切り出した周辺撮影画像に対して歪曲収差補正等の補正を行ってステップ１０８へ移行する。
【００３８】
ステップ１０８では、制御装置１８が、視点変換及び鏡像変換を行うことで、切り出した周辺撮影画像を後側方撮影画像の視点に変換すると共に左右を反転してステップ１１０へ移行する。これにより、図６に示すように、周辺カメラ１４の周辺撮影画像から後側方撮影画像に相当する撮影画像を得ることができる。
【００３９】
ステップ１１０では、制御装置１８が、障害物を検出したか否か判定する。該判定が肯定された場合にはステップ１１２へ移行し、否定された場合にはステップ１０４に戻って上述の処理を繰り返す。例えば、該判定は、鏡像変換後の後側方撮影画像及び後側方撮影画像に相当する撮影画像に変換後の周辺撮影画像の双方の撮影画像を比較して画像のずれ部分の有無により障害物を検出する。なお、パターンマッチング等の画像処理により後側方撮影画像中に障害物があるか否かを判定してもよい。
【００４０】
ステップ１１２では、制御装置１８が、切り出して視点変換及び鏡像変換された周辺撮影画像と、鏡像変換された後側方撮影画像と、を用いて障害物までの距離を導出してステップ１１４へ移行する。すなわち、図７に示すように、２つの撮影画像の障害物の同じポイントを抽出する。そして、後側方カメラ１２と周辺カメラ１４との距離を視差として、ステレオカメラの原理により障害物の抽出したポイントまでの距離を導出する。
【００４１】
ステップ１１４では、制御装置１８が、障害物までの距離をモニタ１６に表示してステップ１０４に戻って上述の処理を繰り返す。例えば、図８に示すように、ステップ１１２で導出した障害物までの距離をモニタ１６に表示された後側方画像中に表示することにより障害物までの距離を乗員に報知する。これにより、乗員に障害物に対する注意を促すことができる。なお、ステップ１０４〜１１４の処理の繰り返し中にステップ１１０において障害物が検出されなくなった場合には、障害物までの距離表示を停止してステップ１０４に戻って上述の処理を繰り返す。
【００４２】
このように、本実施形態では、後側方撮影画像と周辺撮影画像とを用いてステレオカメラの原理により車両後側方の障害物までの距離を導出できる。
【００４３】
なお、上記の実施の形態では、ステップ１１４では、障害物までの距離を表示して乗員に報知するようにしたが、報知方法はこれに限るものではなく、光や音などを適宜組み合わせて報知してもよい。例えば、距離が近づくにつれて光の点滅速度を早くしたり、音の発生間隔を短くすることで、距離に相当する情報を報知してもよい。また、距離をモニタ１６に表示する際には、障害物が分かり易いように、対応する障害物の周りに矩形等の図形を表示して障害物を囲うように表示してもよい。また、距離表示の代わりに距離に応じて図形の色を変えて距離感を表現してもよい。
【００４４】
また、上記の実施形態では、モニタ１６をフロントピラーの下端付近に設けた例を説明したが、モニタ１６の位置はこれに限るものではない。例えば、インナーミラーの位置に設けてもよい。或いはコンビネーションメータ内に設けてもよい。
【００４５】
また、上記の実施形態における制御装置１８で行われる処理は、ソフトウエアの処理として説明したが、これに限るものではない。例えば、ハードウエアで行う処理としてもよいし、ハードウエアとソフトウエアの双方を組み合わせた処理としてもよい。
【００４６】
また、上記の実施形態における制御装置１８で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。
【００４７】
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
【符号の説明】
【００４８】
１０    車両用視認装置
１２    後側方カメラ
１４    周辺カメラ
１６    モニタ
１８    制御装置
【図１】
2018107574.tif 000003
【図２】
2018107574.tif 000004
【図３】
2018107574.tif 000005
【図４】
2018107574.tif 000006
【図５】
2018107574.tif 000007
【図６】
2018107574.tif 000008
【図７】
2018107574.tif 000009
【図８】
2018107574.tif 000010