(57)【要約】【課題】主に、２つの像を得るための装置構成を、１つの撮影部と１つの画像処理部とで実現できるようにする。【解決手段】自車両２周辺の画像３を撮影可能な撮影部４と、  撮影部４で撮影した画像３を画像処理する画像処理部５と、  画像処理部５で画像処理した画像６を表示する表示部７とを備えた車両用周辺監視装置１に関する。  撮影部４の周辺に、撮影部４の撮影範囲の少なくとも一部を写す鏡２２が配置される。  撮影部４は、撮影部４に直接映る実写像２３と、鏡２２に写った鏡像２４との両方を同時に撮影可能とされている。【選択図】図１
2018026715.tif 000002
【特許請求の範囲】
【請求項１】
自車両周辺の画像を撮影可能な撮影部と、
該撮影部で撮影した画像を画像処理する画像処理部と、
該画像処理部で画像処理した画像を表示する表示部とを備えた車両用周辺監視装置において、
前記撮影部の周辺に、撮影部の撮影範囲の少なくとも一部を写す鏡が配置されると共に、
前記撮影部は、撮影部に直接映る実写像と、前記鏡に写った鏡像との両方を同時に撮影可能とされたことを特徴とする車両用周辺監視装置。
【請求項２】
請求項１に記載の車両用周辺監視装置において、
前記画像処理部は、前記撮影部で撮影した画像の中の、前記鏡に写った鏡像を除去して、撮影部に直接映る実写像のみを前記表示部に表示させることを特徴とする車両用周辺監視装置。
【請求項３】
請求項１または請求項２に記載の車両用周辺監視装置において、
前記画像処理部は、前記鏡に写った鏡像を用いて前記撮影部に直接映る実写像の画像補完を行う画像補完部を備えたことを特徴とする車両用周辺監視装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の車両用周辺監視装置において、
前記画像処理部は、前記撮影部に直接映る実写像と、前記鏡に写った鏡像とを用いて、距離の測定を行う測距部を備えたことを特徴とする車両用周辺監視装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の車両用周辺監視装置において、
前記画像処理部は、前記鏡に写った鏡像を、撮影部に直接映る実写像と分離する鏡像分離部と、
該鏡像分離部で分離された鏡像を前記実写像に合わせて補正する鏡像補正部と、
該鏡像補正部で補正された鏡像を、前記撮影部に直接映る実写像と比較する画像比較部とを備えたことを特徴とする車両用周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両用周辺監視装置に関するものである。
【背景技術】
【０００２】
車両に搭載したカメラで、自車両周辺の画像を撮影して、表示手段に表示するようにした車両用周辺監視装置の開発が進められている。このような車両用周辺監視装置には、例えば、サイドミラーモニタなどがある（例えば、特許文献１参照）。
【０００３】
上記特許文献１に記載された車両用周辺監視装置では、カメラで撮影した画像に欠落部分がある場合に、事前に撮影して記憶しておいた画像の一部を変形して、欠落部分にはめ込むことで、カメラで撮影した画像の欠落部分を補完するようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２２２９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１の車両用周辺監視装置の場合、事前に撮影して記憶しておいた画像の一部を変形して、欠落部分にはめ込むようにしていたので、欠落部分にはめ込む際に、事前に撮影して記憶しておいた画像の一部をその時の状況に合うように大きく変形しなければならず、その分、複雑な処理が必要となっていた。
【０００６】
そこで、本発明は、上記した問題点を解決することを、主な目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、
自車両周辺の画像を撮影可能な撮影部と、
該撮影部で撮影した画像を画像処理する画像処理部と、
該画像処理部で画像処理した画像を表示する表示部とを備えた車両用周辺監視装置において、
前記撮影部の周辺に、撮影部の撮影範囲の少なくとも一部を写す鏡が配置されると共に、
前記撮影部は、撮影部に直接映る実写像と、前記鏡に写った鏡像との両方を同時に撮影可能とされたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、上記構成によって、２つの像を得るための装置構成を、１つの撮影部と１つの画像処理部とで実現することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態にかかる車両用周辺監視装置の全体構成図である（車両の右半分のみ示す）。
【図２】図１の画像処理部の構成図である。
【図３】図１の撮影部の構成図である。
【図４】図３の撮影部による画像の例を示す図である。
【図５】図３の画像から抜き出した実写像を示す図である。
【図６】撮影部による画像中の、鏡に写った鏡像を用いて撮影部に直接映る実写像の画像補完を行う様子を示す図である。
【図７】画像補完の結果を示す図である。
【図８】比較例として、２つの撮影部を設けた車両用周辺監視装置の全体構成図である（車両の右半分のみ示す）。
【図９】図８の撮影部の構成図である。
【図１０】図８の撮影部による画像の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本実施の形態を、図面を用いて詳細に説明する。
図１〜図１０は、この実施の形態を説明するためのものである。
【実施例１】
【００１１】
＜構成＞以下、この実施例の構成について説明する。
【００１２】
車両に搭載したカメラで自車両周辺の画像を撮影し、表示部に表示する車両用周辺監視装置を設ける。この車両用周辺監視装置を、例えば、サイドミラーモニタなどとして構成する。
【００１３】
具体的には、図１（図２）に示すように、車両用周辺監視装置１を、
自車両２周辺の画像３（図２参照）を撮影可能な撮影部４と、
撮影部４で撮影した画像３を画像処理する画像処理部５と、
画像処理部５で画像処理した画像６（図２参照）を表示する表示部７とを備えたものとする。
【００１４】
ここで、方向は、自車両２を基準として、車幅方向Ｘ、車両前後方向Ｙ、上下方向Ｚとなっている。撮影部４は、自車両２の左右の位置にそれぞれ設けられた単眼のモニタカメラなどとされている。撮影部４は、自車両２のフロントドア１１の前縁部における、ドア本体１２とフロントウインドガラス１３との境界部分の位置周辺に対し、ほぼ車両後方へ向けてそれぞれ１台ずつ設置されている。よって、撮影部４で撮影した画像３は、自車両２の左右の側部からそれぞれ車両後方を映したものとなる。画像処理部５は、画像処理機能を備えたコンピュータなどの（演算）制御部とされる。画像３，６は、動画または静止画などとすることができる。
【００１５】
表示部７は、自車両２に対する左右一対のモニタカメラに合わせて左右一対設けられたモニタ（液晶パネルや有機ＥＬパネル）などの表示パネルとされる。左右一対の表示部７は、運転席の前方に設けられたインストルメントパネルの部分（例えば、運転席前方の位置）などに設置される。但し、表示部７の設置枚数や設置位置などについては、上記に限るものではない。
【００１６】
以上のような基本的な構成に対し、この実施例では、以下のような構成を備えるようにしている。
【００１７】
（１）図３に示すように、撮影部４の周辺に、撮影部４の撮影範囲の少なくとも一部を写す鏡２２が配置される。
そして、図４に示すように、撮影部４は、撮影部４に直接映る実写像２３と、鏡２２に写った鏡像２４との両方を同時に撮影可能とする。
【００１８】
ここで、撮影部４の撮影範囲は、サイドミラーモニタとして最低限必要な範囲２１（図１）をカバーできれば良い。実際には、撮影部４は、最低限必要な範囲２１よりも広い範囲を撮影するようにしている。鏡２２は、１枚または複数枚設けることができる。この場合には、鏡２２は、１枚とされている。鏡２２は、平面鏡とするのが好ましい。但し、鏡２２は、曲面鏡（凸面鏡や凹面鏡など）を用いることも可能である。
【００１９】
鏡２２は、例えば、撮影部４の近傍における、撮影部４よりも自車両２の外側で後側の位置に、撮影部４と共に固定状態で設置されている。そして、鏡２２は、既存のサイドミラー（鏡）で後方を写すのとほぼ同じ範囲が（撮影部４に）写るような角度に設置される。また、撮影部４は、鏡２２に写る範囲を映すと共に、鏡２２を同時に映すことが可能な広画角のものを使用する。そして、広画角の撮影部４を、車体の一部から鏡２２までが映るように、その中心軸２７を、車両前後方向Ｙの後方に対し（平面視で）外側へ傾けて設置する。但し、鏡２２や撮影部４の配置は、上記に限るものではない。
【００２０】
（２）画像処理部５は、図４に示すような、撮影部４で撮影した画像３の中の、鏡２２に写った鏡像２４を除去して、図５に示すように、撮影部４に直接映る実写像２３のみを（画像６として）表示部７に表示させるものとしても良い。
【００２１】
なお、上記とは反対に、画像処理部５は、撮影部４に直接映る実写像２３を除去して、鏡２２に写った鏡像２４を表示部７に表示させるようにしても良い。この場合、鏡像２４に対して、必要な補正を行うようにしても良い（例えば、実写像２３と縮尺を同じにする補正や、矩形補正などの歪み補正）。また、実写像２３と鏡像２４は、（どちらか良い方に）選択して切り替えられるようにしても良い。
【００２２】
（３）画像処理部５は、図６、図７に示すように、鏡２２に写った鏡像２４を用いて撮影部４に直接映る実写像２３の画像補完を行う画像補完部３１（図２参照）を備えるようにしても良い。
【００２３】
ここで、実写像２３を表示部７に表示させる場合において、画像補完部３１は、実写像２３の欠落部分３５に対応する鏡像２４の部分（欠落部分３５と同じ位置にあるほぼ同じ大きさの相当部分３６）を抜き出して、実写像２３の欠落部分３５に嵌め込み合成することで、比較的簡単に画像補完を行うことができる。実写像２３の欠落部分３５は、撮影部４のレンズの汚れた部分（例えば、雨滴が付着した部分）などに生じ易い。この場合においても、鏡像２４の抜き出した相当部分３６に対して、必要な補正（例えば、矩形補正やその他の歪み補正）を行うようにしても良い。補正は、部分的なものであるため、また、同じ時点のものであるため、画像処理部５の負担が軽くて済む。
【００２４】
なお、上記とは反対に、鏡像２４を表示部７に表示させる場合に、画像補完部３１は、鏡像２４の欠落部分を、実写像２３の同じ位置にある相当部分によって補完することも可能である。
【００２５】
（４）画像処理部５は、撮影部４に直接映る実写像２３と、鏡２２に写った鏡像２４とを用いて、距離の測定を行う測距部４１（図２参照）を備えるようにしても良い。
【００２６】
ここで、測距部４１は、ステレオカメラで撮った複数の画像３を用いて行う場合と同様に、実写像２３または鏡像２４の大きさと、実写像２３と鏡像２４との車幅方向Ｘのズレ量とから距離の測定を行うことができる。距離の測定は、例えば、実写像２３や鏡像２４中の、後続車などの対象物に対して適宜行うことができる。対象物が複数ある場合には、各対象物について個別に行うことができる。測定した距離は、例えば、表示部７に数値などで表示させることができる。
【００２７】
（５）より具体的には、図２に示すように、画像処理部５は、少なくとも、鏡２２に写った鏡像２４を、撮影部４に直接映る実写像２３と分離する鏡像分離部５１と、
鏡像分離部５１で分離された鏡像２４を実写像２３に合わせて補正する鏡像補正部５２と、
鏡像補正部５２で補正された鏡像２４を、撮影部４に直接映る実写像２３と比較する画像比較部５３とを備えるようにする。
【００２８】
ここで、鏡像分離部５１、鏡像補正部５２、画像比較部５３、および、上記した画像補完部３１、測距部４１は、画像処理部５にインストールされたプログラムによる機能ブロックとして構成されても良い。画像補完部３１、測距部４１は、鏡像分離部５１、鏡像補正部５２、画像比較部５３での処理の結果を利用して画像補完や距離の測定を行うことができる。
【００２９】
また、画像処理部５は、撮影部４に直接映る実写像２３を、鏡２２に写った鏡像２４と分離する実写像分離部を備えるようにしても良い。鏡像分離部５１および実写像分離部は、画像分離部としてまとめることができる。また、画像処理部５は、実写像２３を補正する実写像補正部を備えるようにしても良い。鏡像補正部５２および実写像補正部は、画像補正部としてまとめることができる。鏡像補正部５２および実写像補正部は、鏡像２４や実写像２３の一部または全部を適宜補正することができる。また、鏡像補正部５２および実写像補正部は、各種のフィルターを用いて様々な補正を行うことができるようにしても良い。
【００３０】
＜作用＞以下、この実施例の作用について説明する。
【００３１】
車両用周辺監視装置１は、車両に搭載したカメラで自車両２周辺の画像３を撮影し、表示部７に表示するものである。車両用周辺監視装置１を、例えば、サイドミラーモニタなどとする。
【００３２】
具体的には、撮影部４によって、自車両２周辺の画像３を撮影し、画像処理部５によって、上記撮影部４で撮影した画像３を画像処理し、表示部７によって、上記画像処理部５で画像処理した画像６を表示する。
【００３３】
例えば、サイドミラーモニタの場合、撮影部４によって、自車両２の後方およびその周辺の画像３を撮影することになる。また、表示部７には、自車両２の後方およびその周辺の画像３が表示されることになる。この際、画像処理部５によって撮影部４で撮影した画像３が適宜画像処理される。
【００３４】
＜効果＞この実施例によれば、以下のような効果を得ることができる。
【００３５】
（効果１）撮影部４は、撮影部４に直接映る実写像２３と、鏡２２に写った鏡像２４との両方を同時に撮影することにより、１つの撮影部４のみを用いて、同時に２つの像を１つの画像３にまとめて得ることができる。即ち、単眼カメラであっても、ステレオカメラなどの複眼カメラで撮影した複数の画像３と同じ内容の１つの画像３を、一度に得ることができる。これにより、２つの像を得るための装置構成を、１つの撮影部４と１つの画像処理部５のみで実現することができるようになるので、例えば、図８〜図１０に示すように、上記を２つの撮影部４で２つの画像３を撮影し、撮影した２つの画像３を２つの画像処理部５でそれぞれ別々に画像処理する場合と比べて、装置構成の簡略化と、装置構成の簡略化による処理の高速化や、低コスト化などを得ることができる。
【００３６】
（効果２）上記に加えて、画像処理部５は、撮影部４で撮影した画像３の中の、鏡２２に写った鏡像２４を除去して、撮影部４に直接映る実写像２３のみを表示部７に表示させるようにしても良い。これにより、上記に加えて、鏡２２の存在や、鏡２２に写った鏡像２４の存在を意識しないような表示を行うことができる。
【００３７】
なお、像処理手段は、上記とは逆に、撮影部４で撮影した画像３の中の、撮影部４に直接映る実写像２３を除去して、鏡２２に写った鏡像２４のみを表示部７に表示させるようにすることも可能である。また、実写像２３と鏡像２４とを切り替えられるようにすることも可能である。
【００３８】
（効果３）上記に加えて、画像補完部３１が、鏡２２に写った鏡像２４を用いて撮影部４に直接映る実写像２３の画像補完を行うようにしても良い。これにより、上記に加えて、鏡２２に写った鏡像２４の一部を抽出して直接実写像２３の要補完箇所にほぼそのまま貼り付けるだけで画像補完を行うことができるようになるので、実写像２３を画像補完する処理をより簡略化することができる。また、鏡像２４から抽出した鏡像２４の一部は、実写像２３とほぼ同時に撮影されたものなので、余り大きく加工してなくてもほぼそのまま使うことができ、しかも、（各種の処理を行った後のものと比べて）自然な感じに近いものとなるので、補完部分の視認性を向上することができる。
【００３９】
（効果４）上記に加えて、測距部４１が、撮影部４に直接映る実写像２３と、鏡２２に写った鏡像２４とを用いて、距離の測定を行うようにしても良い。これにより、上記に加えて、１つの撮影部４と１つの画像処理部５だけで、簡単に距離の測定を行うことができるようになる。よって、距離の測定を、ステレオカメラなどの複眼カメラを用いずに１つの撮影部４と１つの画像処理部５だけ実現することができ、装置構成の簡略化と、装置構成の簡略化による低コスト化とを図ることができる。
【００４０】
（効果５）上記に加えて、画像処理部５では、鏡像分離部５１が、鏡２２に写った鏡像２４を撮影部４に直接映る実写像２３から分離させ、鏡像補正部５２が、鏡像分離部５１で分離された鏡像２４を実写像２３に合わせて補正し、画像比較部５３が、鏡像補正部５２で補正された鏡像２４を、撮影部４に直接映る実写像２３と比較するように構成しても良い。これにより、上記に加えて、鏡２２に写った鏡像２４を撮影部４に直接映る実写像２３とほぼ同様に取り扱うことが可能となり、画像補完部３１で画像補完を行わせたり、測距部４１で距離の測定を行わせたりして利用することができるようになる。
【００４１】
以上、実施例を図面により詳述してきたが、実施例は例示にしか過ぎないものである。よって、本発明は、実施例にのみ限定されるものではなく、要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれることは勿論である。また、例えば、各実施例に複数の構成が含まれている場合には、特に記載がなくとも、これらの構成の可能な組合せが含まれることは勿論である。また、複数の実施例や変形例が開示されている場合には、特に記載がなくとも、これらに跨がった構成の組合せのうちの可能なものが含まれることは勿論である。また、図面に描かれている構成については、特に記載がなくとも、含まれることは勿論である。更に、「等」の用語がある場合には、同等のものを含むという意味で用いられている。また、「ほぼ」「約」「程度」などの用語がある場合には、常識的に認められる範囲や精度のものを含むという意味で用いられている。
【符号の説明】
【００４２】
１    車両用周辺監視装置
２    自車両
３    画像
４    撮影部
５    画像処理部
６    画像
７    表示部
２１  撮影範囲
２２  鏡
２３  実写像
２４  鏡像
３１  画像補完部
４１  測距部
５１  鏡像分離部
５２  鏡像補正部
５３  画像比較部
【図１】
2018026715.tif 000003
【図２】
2018026715.tif 000004
【図３】
2018026715.tif 000005
【図４】
2018026715.tif 000006
【図５】
2018026715.tif 000007
【図６】
2018026715.tif 000008
【図７】
2018026715.tif 000009
【図８】
2018026715.tif 000010
【図９】
2018026715.tif 000011
【図１０】
2018026715.tif 000012