(57)【要約】【課題】主に、自車両周辺の景色などによるちらつきを軽減し得るようにする。【解決手段】自車両２周辺の画像３を撮影可能な撮像部４と、  この撮像部４で撮影した画像３を画像処理する画像処理部５と、  この画像処理部５（制御部）で画像処理した画像６を表示する表示部７とを備えた車両用周辺監視装置１に関する。  上記画像処理部５は、上記撮像部４で撮影した画像３にちらつきがある場合に、上記表示部７に表示される画像６のちらつきが軽減されるように補正可能なちらつき補正部２２を備える。  上記ちらつき補正部２２は、上記撮像部４で撮影した画像３中の、規則的に配置された物体２４の自車両２との相対変位をちらつきと判断する。【選択図】図２
2018019250.tif 000002
【特許請求の範囲】
【請求項１】
自車両周辺の画像を撮影可能な撮像部と、
該撮像部で撮影した画像を画像処理する画像処理部と、
該画像処理部で画像処理した画像を表示する表示部とを備えた車両用周辺監視装置において、
前記画像処理部は、前記撮像部で撮影した画像にちらつきがある場合に、前記表示部に表示される画像のちらつきが軽減されるように補正可能なちらつき補正部を備えると共に、
前記ちらつき補正部は、前記撮像部で撮影した画像中の、規則的に配置された物体の自車両との相対変位をちらつきと判断することを特徴とする車両用周辺監視装置。
【請求項２】
請求項１に記載の車両用周辺監視装置において、
前記ちらつき補正部は、画像のちらつき部分をぼかすことによって、前記表示部に表示されるちらつきを軽減するよう構成されたことを特徴とする車両用周辺監視装置。
【請求項３】
請求項１または請求項２に記載の車両用周辺監視装置において、
前記ちらつき補正部は、前記撮像部で撮影した画像をサンプリングするサンプリング部と、
該サンプリング部でサンプリングした画像から自車両に対して相対変位する物体の検出を行う物体検出部と、
該物体検出部で相対変位する物体の検出に用いたデータを周波数変換する周波数変換部と、
該周波数変換部で周波数変換されたデータ中の不快と感じる周波数成分が、予め設定した閾値を越えた場合に、ちらつきと判断するちらつき判断部と、を有することを特徴とする車両用周辺監視装置。
【請求項４】
請求項３に記載の車両用周辺監視装置において、
前記物体検出部は、前記サンプリング部でサンプリングした画像を、離散コサイン変換によって、自車両に対して相対変位する物体の検出を行うものとされ、
前記周波数変換部は、前記物体検出部で相対変位する物体の検出に用いたデータを、フーリエ変換を用いて周波数変換するものとされたことを特徴とする車両用周辺監視装置。
【請求項５】
撮像部によって、自車両周辺の画像を撮影し、
画像処理部によって、前記撮像部で撮影した画像を画像処理し、
表示部によって、前記画像処理部で画像処理した画像を表示する車両用周辺監視方法において、
前記画像処理部は、ちらつき補正部によって、前記撮像部で撮影した画像にちらつきがある場合に、前記表示部に表示される画像のちらつきが軽減されるように補正すると共に、
前記ちらつき補正部は、前記撮像部で撮影した画像中の、規則的に配置された物体の自車両との相対変位をちらつきと判断することを特徴とする車両用周辺監視方法。
【請求項６】
請求項５に記載の車両用周辺監視方法において、
前記ちらつき補正部は、画像のちらつき部分をぼかすことによって、前記表示部に表示されるちらつきを軽減することを特徴とする車両用周辺監視方法。
【請求項７】
請求項５または請求項６記載の車両用周辺監視方法において、
前記ちらつき補正部は、サンプリング部によって、撮像部で撮影した画像をサンプリングし、
物体検出部によって、前記サンプリング部でサンプリングした画像から自車両に対して相対変位する物体の検出を行い、
周波数変換部によって、前記物体検出部で相対変位する物体の検出に用いたデータを周波数変換し、
ちらつき判断部によって、前記周波数変換部で周波数変換されたデータ中の不快と感じる周波数成分が、予め設定した閾値を越えた場合に、ちらつきと判断することを特徴とする車両用周辺監視方法。
【請求項８】
請求項７に記載の車両用周辺監視方法において、
前記物体検出部は、前記サンプリング部でサンプリングした画像を、離散コサイン変換することで、自車両に対して相対変位する物体の検出を行い、
前記周波数変換部は、前記物体検出部で相対変位する物体の検出に用いたデータを、フーリエ変換を用いて周波数変換することを特徴とする車両用周辺監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両用周辺監視装置および車両用周辺監視方法に関するものである。
【背景技術】
【０００２】
近年、車両に搭載したカメラで、自車両周辺の画像を撮影し、表示部に表示させるようにした車両用周辺監視装置の開発が進められている（例えば、特許文献１参照）。このような車両用周辺監視装置には、例えば、サイドミラーモニタなどがある。
【０００３】
上記特許文献１に記載された車両用周辺監視装置では、自車両と周辺の景色との境界を示す境界情報を用いて、境界を明瞭化する処理を行うようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１１６７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載された車両用周辺監視装置では、自車両と周辺の景色との境界を明瞭化していただけなので、例えば、自車両周辺の景色などによるちらつきをなくすようなことはできなかった。
【０００６】
そこで、本発明は、上記した問題点を解決することを、主な目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、
自車両周辺の画像を撮影可能な撮像部と、
該撮像部で撮影した画像を画像処理する画像処理部と、
該画像処理部で画像処理した画像を表示する表示部とを備えた車両用周辺監視装置において、
前記画像処理部は、前記撮像部で撮影した画像にちらつきがある場合に、前記表示部に表示される画像のちらつきが軽減されるように補正可能なちらつき補正部を備えると共に、
前記ちらつき補正部は、前記撮像部で撮影した画像中の、規則的に配置された物体の自車両との相対変位をちらつきと判断することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、上記構成によって、自車両周辺の景色などによるちらつきを軽減することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態にかかる車両用周辺監視装置を搭載した車両の全体平面図である。
【図２】図１の車両用周辺監視装置の構成図である。
【図３】図１のちらつき補正部の構成図である。
【図４】撮像部で撮影した画像の一例を示す図である。
【図５】図４の画像を、物体検出部で物体の検出ができるように変換した状態を示す図である。
【図６】図５のデータを、周波数変換部で周波数変換した状態を示す図である。
【図７】ちらつきが軽減された画像の一例を示す図である。
【図８】物体検出部での（各マス目に対する）処理の様子を示す図である。
【図９】物体検出部で処理されたデータの状態を示す図である。
【図１０】周波数変換部で周波数変換された波形、および、この波形に対する処理を示す図である。
【図１１】鉄橋の骨組みがちらついて見える場合の具体例であり、（ａ）は元画像、（ｂ）は物体の検出の様子を示すものである。
【図１２】地点標がちらついて見える場合の具体例であり、（ａ）は元画像、（ｂ）は物体の検出の様子を示すもの、（ｃ）はちらつきが軽減された画像である。
【図１３】トンネル内でほぼ等間隔に並ぶ照明がちらついて見える場合の具体例であり、（ａ）は元画像、（ｂ）は物体の検出の様子を示すもの、（ｃ）はちらつきが軽減された画像である。
【図１４】ちらつき補正部での処理を表したフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本実施の形態を、図面を用いて詳細に説明する。
図１〜図１４は、この実施の形態を説明するためのものである。
【実施例１】
【００１１】
＜構成＞以下、この実施例の構成について説明する。
【００１２】
車両に搭載したカメラで自車両周辺の画像を撮影し、表示部に表示する車両用周辺監視装置を設ける。この車両用周辺監視装置を、例えば、サイドミラーモニタなどとして構成する。
【００１３】
具体的には、図１、図２に示すように、車両用周辺監視装置１を、自車両２周辺の画像３を撮影可能な撮像部４と、
この撮像部４で撮影した画像３を画像処理する画像処理部５と、
この画像処理部５で画像処理した画像６を表示する表示部７とを備えたものとする。
【００１４】
ここで、撮像部４は、自車両２に対して左右一対設けられたモニタカメラなどとされている。撮像部４は、自車両２のフロントドア１１の前縁部における、ドア本体１２とフロントウインドガラス１３との境界部分の位置周辺に対し、ほぼ車両後方へ向けてそれぞれ１台ずつ設置されている。よって、撮像部４で撮影した画像３は、自車両２の左右の側部からそれぞれ車両後方を映したものとなる。画像処理部５は、画像処理機能を備えたコンピュータなどの（演算）制御部とされる。
【００１５】
表示部７は、左右一対のモニタカメラに合わせて左右一対設けられたモニタ（液晶パネルや有機ＥＬパネル）などの表示パネルとされる。左右一対の表示部７は、運転席の前方に設けられたインストルメントパネルの部分（例えば、運転席前方の位置）などに設置される。そのため、表示部７による車両後方の画像６は、正面を向いて運転中の運転者の視野範囲内における、中心に近い位置にて視認されることになり、これまで、視野範囲外などに位置していた既存のサイドミラーによる鏡像よりも格段に目につき易く、状況によっては却って邪魔になり易いものとなる可能性が高い。但し、表示部７の設置枚数や設置位置などについては、上記に限るものではない。
【００１６】
以上のような基本的な構成に対し、この実施例では、以下のような構成を備えるようにしている。
【００１７】
（１）図２（図３）に示すように、上記画像処理部５は、上記撮像部４で撮影した画像３にちらつきがある場合に、上記表示部７に表示される画像６のちらつきが軽減されるように補正可能なちらつき補正部２２を備えるようにする。
上記ちらつき補正部２２は、例えば、上記撮像部４で撮影した画像３（図４参照）中の、規則的に配置された物体２４の自車両２との相対変位をちらつきと判断するものとされる。
【００１８】
ここで、「ちらつき」とは、例えば、撮像部４で撮影された画像３中の、明暗が交互に繰り返されるような状態で映っているものを言う。この場合には、物体２４によるちらつき、特に、規則的に配置された物体２４による明暗の繰り返しを主な対象としている。なお、明暗の差が十分に小さいものについては、規則的に配置された物体２４であっても、ちらつきと感じない場合がある。
【００１９】
規則的に配置された物体２４には、例えば、図４に示すような、鉄橋の骨組み２４ａや、高速道路の両脇などにほぼ等間隔に植えられた植え込みなどが考えられる。その他の例については後述する。規則的に配置された物体２４は、物体２４どうしの間隔が狭いほど、ちらつきが大きくなる傾向にある。
【００２０】
相対変位には、例えば、物体２４が静止して自車両２が動いている場合と、物体２４が動いて自車両２が静止している場合と、物体２４も自車両２も動いている場合とが含まれる。相対変位の速度が速いほど、ちらつきが大きくなる傾向にある。
【００２１】
（２）上記ちらつき補正部２２は、図４のような画像３のちらつき部分３１，３２を、（図５、図６に示すような処理を経て、図７に示すように）ぼかすことによって、上記表示部７に表示されるちらつきを軽減するよう構成されている（ぼかし部３５，３６）。
【００２２】
ここで、ちらつき部分３１，３２は、主に、画像３中の物体２４による直接的なもの（ちらつき部分３１）を対象としているが、状況によっては、フロントウインドガラス１３に映った物体２４などによる間接的なもの（ちらつき部分３２）や、ドア本体１２に映った物体２４なども含めることができる。間接的なものを含めるかどうかについては、明暗の差の大きさによって決めることができる。
【００２３】
「ぼかす」には、画像３に対して、例えば、モーションブラー（動きを残像化する処理）や透明化や低コントラスト化などのエフェクト（ぼかし処理）をかけることなどが考えられる。ただし、ぼかし処理は、上記に限るものではない。
【００２４】
（３）上記ちらつき補正部２２は、図３に示すように、撮像部４で撮影した画像３をサンプリングするサンプリング部４１と、
このサンプリング部４１でサンプリングした画像３から自車両２に対して相対変位する物体２４の検出を行う物体検出部４２（図５、および、図８、図９参照）と、
この物体検出部４２で相対変位する物体２４の検出に用いたデータ４２ａを周波数変換する周波数変換部４３（図１０参照）と、
この周波数変換部４３で周波数変換されたデータ４３ａ中の不快と感じる周波数成分が、予め設定した閾値４４を越えた場合に、ちらつきと判断するちらつき判断部４５（図６、および、図１０参照）と、を有するものとされる。
【００２５】
ここで、サンプリング部４１、物体検出部４２、周波数変換部４３、ちらつき判断部４５は、画像処理部５内でソフトウェア上の機能ブロックとして構成しても良い。サンプリング部４１は、数秒間程度、画像３のサンプリングを行うものとされる。例えば、１秒間に１５フレームの撮影が可能な撮像部４の場合、３秒間で４５フレーム分の画像３がサンプリングされることになる。但し、撮像部４による撮影フレーム数や画像３のサンプリング時間やサンプリング数は、上記に限るものではない。
【００２６】
不快と感じる周波数成分は、主に高周波側の成分となる。図６では、白い部分が不快と感じる周波数成分、黒い部分がそれ以外の低周波側の成分となっている。また、図１０では、それ以外の低周波側の成分をカットして、不快と感じる周波数成分のみとされている。
【００２７】
閾値４４は、最終的な画像６を参照しながら、違和感が生じないように、適宜調整することができる。
【００２８】
ちらつき判断部４５では、図１０のデータ４３ａを、閾値４４を越える周波数成分があることで、ちらつき有りと判断することになる。そして、ちらつき有りと判断された場合に、ちらつき補正部２２は、ちらつき部分３１，３２に対してぼかし処理をかける。
【００２９】
（４）より具体的には、上記物体検出部４２は、サンプリング部４１でサンプリングした画像３を、離散コサイン変換によって、自車両２に対して相対変位する物体２４の検出を行うものとされる。
また、上記周波数変換部４３は、上記物体検出部４２で相対変位する物体２４の検出に用いたデータ４２ａを、フーリエ変換を用いて周波数変換するものとされる。
【００３０】
ここで、サンプリング部４１でサンプリングされ画像３は、先ず、図５に示すように、メッシュをかけられて各フレームごとに細かい縦横のマス目３ａに領域分割される。そして、この状態で、各マス目３ａごとに物体検出部４２によって離散コサイン変換される。マス目３ａの大きさは、画像処理部５の処理能力と表示部７に必要な解像度とに応じて任意に設定することができる。
【００３１】
離散コサイン変換は、離散信号を、周波数領域に変換する変換手法のひとつである。離散コサイン変換は、元の信号の大部分を損ねずにデータの容量を減らすことができるので、データの圧縮などに広く用いられているものである。離散コサイン変換には、変換後の信号の周波数成分が低周波数領域に集中するという特徴がある。この場合には、上記したような離散コサイン変換を、自車両２に対して相対変位する物体２４の検出に利用するようにしている。
【００３２】
より具体的には、各マス目３ａについて離散コサイン変換を行うと、図８に示すような状態となる。これは、縦方向（上下方向）を画像３の縦軸とし、横方向（左右方向）を画像３の横軸として、左上側が低周波成分となり、右下側が高周波成分となるように、白黒で表したようなものとなる。このうち、変化する物体２４は、白い部分として表される。そして、物体２４の変化が大きいほど、白い部分が大きくなる。
【００３３】
そして、同じ位置のマス目３ａを時系列に沿って並べ、それぞれのマス目３ａの白い部分の面積を求めると、図９に示すようなグラフが得られる。このグラフのデータ４２ａに、上下に伸び縮みするような波形の変化（（１）の状態と（２）の状態繰り返し）が見られるかどうかを調べることで、規則的に配置された物体２４による相対変位があるかどうかを得ることができる。このデータ４２ａの波形では、周期的な山が表れていることで、規則的に配置された物体２４が映っていることが分かる。
【００３４】
次に、こうして得られた波形のデータ４２ａを、周波数変換部４３でフーリエ変換して、図１０に示すような波形のデータ４３ａを得る。フーリエ変換は、ある波形を正弦波の重ね合わせによって表すように変換する変換手法である。
【００３５】
これらの処理は、各マス目３ａごとに行われる。なお、このような処理は、具体的には、上記したような鉄橋の骨組み２４ａの場合（図１１参照）以外にも、例えば、図１２に示すような地点標２４ｂの場合や、図１３に示すような、トンネル内でほぼ等間隔に並ぶ照明２４ｃの場合などにも有効となる。
【００３６】
その後は、ちらつき判断部４５でぼかし処理がかけられることになる。
【００３７】
（５）以下、上記した車両用周辺監視装置を用いた車両用周辺監視方法について説明する。
この車両用周辺監視方法は、撮像部４によって、自車両２周辺の画像３を撮影し、
画像処理部５（制御部）によって、上記撮像部４で撮影した画像３を画像処理し、
表示部７によって、上記画像処理部５で画像処理した画像６を表示する。
そして、上記画像処理部５は、ちらつき補正部２２によって、上記撮像部４で撮影した画像３にちらつきがある場合に、上記表示部７に表示される画像６のちらつきが軽減されるように補正する。
この際、上記ちらつき補正部２２は、上記撮像部４で撮影した画像３中の、規則的に配置された物体２４の自車両２との相対変位をちらつきと判断する。
【００３８】
（６）そして、上記ちらつき補正部２２は、画像３のちらつき部分３１，３２をぼかすことによって、上記表示部７に表示されるちらつきを軽減する。
【００３９】
（７）上記ちらつき補正部２２は、サンプリング部４１によって、撮像部４で撮影した画像３をサンプリングし、
物体検出部４２によって、上記サンプリング部４１でサンプリングした画像３から自車両２に対して相対変位する物体２４の検出を行い、
周波数変換部４３によって、上記物体検出部４２で相対変位する物体２４の検出に用いたデータを周波数変換し、
ちらつき判断部４５によって、上記周波数変換部４３で周波数変換されたデータ中の不快と感じる周波数成分が、予め設定した閾値４４を越えた場合に、ちらつきと判断する。
【００４０】
具体的には、図１４のフローチャートに示すように、ステップＳ１で、カメラ（撮像部４）の画像データ（画像３）を取得し、
ステップＳ２で、サンプリング部４１によって、数フレーム間サンプリングし、
ステップＳ３で、物体検出部４２によって、等間隔に映っている物（物体２４）を抽出し、
ステップＳ４で、等間隔に映っている物がない場合には、そのままステップＳ６で画面出力し、
等間隔に映っている物がある場合には、ステップＳ５で、等間隔に映っている箇所にエフェクト（ぼかし処理）をかけ、
ステップＳ６で、画面出力し、最初に戻って上記した処理を繰り返すことになる。
【００４１】
（８）上記物体検出部４２は、サンプリング部４１でサンプリングした画像３を、離散コサイン変換することで、自車両２に対して相対変位する物体２４の検出を行い、
上記周波数変換部４３は、上記物体検出部４２で相対変位する物体２４の検出に用いたデータを、フーリエ変換を用いて周波数変換する。
【００４２】
＜作用効果＞この実施例によれば、以下のような作用効果を得ることができる。
【００４３】
車両用周辺監視装置は、車両に搭載したカメラで自車両周辺の画像を撮影し、表示部に表示するものである。車両用周辺監視装置を、例えば、サイドミラーモニタなどとする。
【００４４】
具体的には、撮像部４によって、自車両２周辺の画像３を撮影し、画像処理部５によって、上記撮像部４で撮影した画像３を画像処理し、表示部７によって、上記画像処理部５で画像処理した画像６を表示する。
【００４５】
（作用効果１）そして、画像処理部５は、撮像部４で撮影した画像３にちらつきがある場合に、ちらつき補正部２２によって、表示部７に表示される画像６のちらつきを軽減することができる。これにより、ちらつきによって煩わしく見える部分を、表示部７の表示から部分的になくす（または軽減する）ことができ、例えば、表示部７が、視野範囲内の目につき易い位置などに配置されているような場合でも、ちらつきによる煩わしさをなくしたり軽減したりすることができる。運転に集中することができる。
【００４６】
この際、ちらつき補正部２２は、撮像部４で撮影した画像３中の規則的に配置された外部の物体２４の自車両２との相対変位をちらつきであると判断する。これにより、走行中に、例えば、鉄橋の骨組み２４ａや、高速道路の両脇などにほぼ等間隔に植えられた植え込みや、地点標２４ｂや、トンネル内でほぼ等間隔に並ぶ照明２４ｃなどの自車両２周辺の景色を構成している物体２４などによるちらつきを補正することができる。
【００４７】
また、停車中に、例えば、自車両２の近くを通過する列車や貨車などによるちらつきなどについても、上記によって補正することができる。
【００４８】
（作用効果２）ちらつき補正部２２が、画像３のちらつき部分３１，３２をぼかして表示部７に表示させるようにした。これにより、表示部７に表示されるちらつきを確実に軽減することができる。画像３は、モーションブラー（動きを残像化する処理）や透明化や低コントラスト化などによってぼかすことができる。これらのぼかす処理を行うことによって、表示の違和感を軽減することができる。また、ちらつきを有する表示を見続けることによって生じる自動車酔いなどを防止することができる。
【００４９】
（作用効果３）ちらつき補正部２２では、サンプリング部４１が、撮像部４で撮影した画像３をサンプリングし、物体検出部４２が、サンプリング部４１でサンプリングした画像３から自車両２に対して相対変位する物体２４の検出し、周波数変換部４３が、物体検出部４２で相対変位する物体２４の検出に用いたデータを周波数変換し、ちらつき判断部４５が、周波数変換部４３で周波数変換されたデータ中の不快と感じる周波数成分が、予め設定した閾値４４を越えた場合に、ちらつきと判断する。これにより、撮像部４で撮影した画像３のちらつきを具体的に検出して、ぼかすことができるようになる。
【００５０】
（作用効果４）物体検出部４２は、サンプリング部４１でサンプリングした画像３を、離散コサイン変換することで、自車両２に対して相対変位する物体２４の検出を行い、周波数変換部４３は、物体検出部４２で相対変位する物体２４の検出に用いたデータをフーリエ変換を用いて周波数変換するようにした。これによって、ちらつきのある物体２４の検出を実際に行うことができる。
【００５１】
以上、実施例を図面により詳述してきたが、実施例は例示にしか過ぎないものである。よって、本発明は、実施例にのみ限定されるものではなく、要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれることは勿論である。また、例えば、各実施例に複数の構成が含まれている場合には、特に記載がなくとも、これらの構成の可能な組合せが含まれることは勿論である。また、複数の実施例や変形例が開示されている場合には、特に記載がなくとも、これらに跨がった構成の組合せのうちの可能なものが含まれることは勿論である。また、図面に描かれている構成については、特に記載がなくとも、含まれることは勿論である。更に、「等」の用語がある場合には、同等のものを含むという意味で用いられている。また、「ほぼ」「約」「程度」などの用語がある場合には、常識的に認められる範囲や精度のものを含むという意味で用いられている。
【符号の説明】
【００５２】
１      車両用周辺監視装置
２      自車両
３      画像
４      撮像部
５      画像処理部
７      表示部
２２    ちらつき補正部
２４    規則的に配置された物体
３１    ちらつき部分
３２    ちらつき部分
３５    ぼかし部
３６    ぼかし部
４１    サンプリング部
４２    物体検出部
４２ａ  データ
４３    周波数変換部
４３ａ  データ
４４    閾値
４５    ちらつき判断部
【図１】
2018019250.tif 000003
【図２】
2018019250.tif 000004
【図３】
2018019250.tif 000005
【図４】
2018019250.tif 000006
【図５】
2018019250.tif 000007
【図６】
2018019250.tif 000008
【図７】
2018019250.tif 000009
【図８】
2018019250.tif 000010
【図９】
2018019250.tif 000011
【図１０】
2018019250.tif 000012
【図１１】
2018019250.tif 000013
【図１２】
2018019250.tif 000014
【図１３】
2018019250.tif 000015
【図１４】
2018019250.tif 000016