(57)【要約】【課題】運転者に車両後方に存在する対象物に対する注意を促すための映像を提供すること。【解決手段】映像処理装置１０２は、後方カメラ１０１で撮影した車両の後方の映像に映像処理を施して、運転者が注意する必要性が低い対象物を含む領域の誘目性を低下させる。そして、映像処理を施した後の映像を表示装置１０３に表示する。【選択図】図１
2008103839.tif 000002
【特許請求の範囲】
【請求項１】
車両の後方を撮像して映像を取得する撮影手段と、
前記撮影手段で取得した各フレームの映像を時間軸方向に積み重ねて立体を生成し、前記立体を立体の表面に位置するフレームの任意の画素と消失点とを通る直線または曲線で前記時間軸方向に切断したスライス画像上に、前記任意の画素を含む領域を設定し、各領域内に現れる直線および曲線の傾きに基づいて、前記任意の画素に写っている対象物が自車両から離れていくものか、自車両に接近してくるものか、あるいは自車両と並行して移動しているものかを判定する判定手段と、
前記各フレームの映像に対して映像処理を施して、前記自車両から離れていく対象物が写っている画素の誘目性を低下させる映像処理手段と、
前記映像処理手段で映像処理を施した後の映像を表示する表示手段とを備えることを特徴とする車両用監視装置。
【請求項２】
請求項１に記載の車両用監視装置において、
前記映像処理手段は、前記スライス画像上に設定した前記領域に対して、２次元の周波数フィルタリング処理を施すことによって、前記運転者が注意する必要性が低い対象物が写っている画素の誘目性を低下させることを特徴とする車両用監視装置。
【請求項３】
請求項２に記載の車両用監視装置において、
前記映像処理手段は、前記スライス画像上に設定した領域内に現れる直線および曲線の傾きのうち、前記自車両に接近してくる対象物の移動に伴って現れる曲線の傾きを構成する画素の画素値、および前記自車両と並行して移動している対象物の移動に伴って現れる直線の傾きを構成する画素の画素値はスルーし、前記自車両から離れていく対象物の移動に伴って現れる曲線の傾きを構成する画素の画素値に対してはローパスフィルタリング処理を施す特性をもつ周波数フィルタを用いて前記２次元の周波数フィルタリング処理を行うことを特徴とする車両用監視装置。
【請求項４】
請求項３に記載の車両用監視装置において、
前記周波数フィルタは、前記自車両から離れていく対象物の移動に伴って現れる曲線の傾きが大きいほど、より強いローパスフィルタリングを施すような特性のフィルタであることを特徴とする車両用監視装置。
【請求項５】
請求項１〜４のいずれか一項に記載の車両用監視装置において、
前記映像処理手段は、前記撮影手段で取得した各フレームの映像に対して、オプティックフローの流れに沿ったぼかし処理を行うことを特徴とする車両用監視装置。
【請求項６】
車両の後方を撮像して映像を取得し、
取得した各フレームの映像を時間軸方向に積み重ねて立体を生成し、前記立体を立体の表面に位置するフレームの任意の画素と消失点とを通る直線または曲線で前記時間軸方向に切断したスライス画像上に、前記任意の画素を含む領域を設定し、各領域内に現れる直線および曲線の傾きに基づいて、前記任意の画素に写っている対象物が自車両から離れていくものか、自車両に接近してくるものか、あるいは自車両と並行して移動しているものかを判定し、
前記各フレームの映像に対して映像処理を施して、前記自車両から離れていく対象物が写っている画素の誘目性を低下させ、
映像処理を施した後の映像を表示することを特徴とする車両用監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者が車両の車両周辺の状況を監視するための車両用監視装置、および車両用監視方法に関する。
【背景技術】
【０００２】
次のような車両用後方確認システムが知られている。この車両用後方確認システムでは、カメラで撮影した車両後方の映像をモニタに表示して、車両後方に存在する人や障害物を運転者が視認できるようにする（例えば、特許文献１）。
【０００３】
【特許文献１】特開２００４−３２２７９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のシステムにおいては、車両後方の映像をモニタに表示するのみであったため、運転者が運転中にモニタを長時間視認することができない場合には、運転者はモニタに表示された映像のどの位置に注目すべきかを把握することが困難であった。
【課題を解決するための手段】
【０００５】
本発明は、車両の後方を撮像して映像を取得し、取得した各フレームの映像を時間軸方向に積み重ねて立体を生成し、立体を立体の表面に位置するフレームの任意の画素と消失点とを通る直線または曲線で時間軸方向に切断したスライス画像上に、任意の画素を含む領域を設定し、各領域内に現れる直線および曲線の傾きに基づいて、任意の画素に写っている対象物が自車両から離れていくものか、自車両に接近してくるものか、あるいは自車両と並行して移動しているものかを判定し、各フレームの映像に対して映像処理を施して、自車両から離れていく対象物が写っている画素の誘目性を低下させ、映像処理を施した後の映像を表示することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、自車両から離れていく対象物が写っている画素の誘目性を低下させるようにしたので、運転者が注意する必要性が低い対象物を含む領域の誘目性を低下させて、運転者の注意が注意する必要性が低い対象物に向くことを防止することができる。このため、運転者は、映像内の注意すべき対象物を短時間で把握することができる。
【発明を実施するための最良の形態】
【０００７】
―第１の実施の形態―
図１は、第１の実施の形態における車両用監視装置の一実施の形態の構成を示すブロック図である。車両用監視装置１００は、後方カメラ１０１と、映像処理装置１０２と、表示装置１０３とを備えている。後方カメラ１０１は、車両のリアハッチの中央などに設置され、車両の後方を撮影する。後方カメラ１０１で取得された映像は、映像処理装置１０２へ出力される。
【０００８】
映像処理装置１０２は、ＣＰＵ、メモリ、およびその他の周辺回路で構成されており、後方カメラ１０１から入力される映像をメモリ（入力バッファ）に格納した後、当該映像に対して映像処理を行う。そして映像処理の結果として得られる映像をメモリ（出力バッファ）に書き出す。その後、出力バッファに書き出した映像を所定のフレームレートで表示装置１０３へ出力する。
【０００９】
表示装置１０３は、例えば液晶ディスプレイであり、車内のダッシュボード中央など、運転者が運転中に大きく視線を移動させなくても視認することができる位置に設置されている。そして、表示装置１０３は、映像処理装置１０２から入力される映像を表示する。
【００１０】
例えば、後方カメラ１０１は、図２に示すような１フレーム分の映像を連続的に撮影して映像処理装置１０２へ出力する。なお、図２に示す映像は、後方カメラ１０１の解像度が（ｘｍａｘ,ｙｍａｘ）である場合の映像である。この映像は後述する映像処理装置１０２で全周囲からｐ画素削られて、解像度が（ｘｍａｘ−２＊ｐ,ｙｍａｘ−２＊ｐ）に変換されて表示装置１０３に出力される。
【００１１】
一般的に、本実施の形態における車両用監視装置１００を搭載しない車両においては、運転者は、ルームミラーやドアミラーを見て車両後方の状況を確認していた。しかしながら、車両におけるルームミラーやドアミラーの設置位置や視界は法規制により定められており、その設置位置は運転者が視線を大きく移動させないと視認することができない位置になっている。このため、運転者は、運転中など、視線を大きく移動させることができない状況下では、車両後方の状況を詳細に把握することが困難であり、注意すべき対象物が車両後方に存在している場合であっても、その対象物を見落としてしまう可能性があった。
【００１２】
これに対して、本実施の形態における車両用監視装置１００のように、後方カメラ１０１によって車両後方の映像を撮影して表示装置１０３に表示するようにした場合には、車両後方の映像を運転者にとって見やすい位置に設置した表示装置１０３に表示することができる。これにより運転者は、運転中であっても視線を大きく移動させることなく車両後方の状況を確認することができ、車両後方の状況を詳細に把握することが可能となるため、注意すべき対象物の見落としを防止することができる。
【００１３】
本実施の形態における車両用監視装置１００では、さらに表示装置１０３に表示する映像を使用者にとって見やすいものとし、車両後方に存在している注意する必要がある対象物を使用者が的確に把握することができるようにする。このために、映像処理装置１０２は、後方カメラ１０１によって撮影され、入力される映像に対して以下のような映像処理を実行する。
【００１４】
図３は、第１の実施の形態における映像処理装置１０２の構成を示すブロック図である。後方カメラ１０１から連続して入力される映像は、バッファ１〜ｎに記憶される。具体的には、後方カメラ１０１から入力される１フレーム分の映像をバッファ１に記憶した後、ディレイで映像を１フレーム遅らせる。その後、次に入力される１フレーム分の映像をバッファ２に記憶する。これを繰り返してバッファ１〜ｎにｎフレーム分、例えば２３フレーム分の映像が記憶される。なお、バッファ１〜ｎに記憶される各フレームの画像は、車両の走行に伴って、背景および物体の位置が時間とともに変化している。また、車両が停車している場合であっても、他車両や歩行者などが移動することによって、これらの対象の位置が時間とともに変化している。
【００１５】
スライス生成部１０２ａは、このようにしてバッファ１〜ｎに記憶されたｎフレーム分の映像を読み込んで、後述するスライス画像を生成する。具体的には次のように処理する。スライス生成部１０２ａは、まず、図４（ａ）に示すように、バッファ１〜ｎから読み込んだ複数のフレームを取得時間順に積み重ねていく。すなわち、取得時刻が古いフレームの下に取得時刻が新しいフレームを重ねることによって、複数のフレームを時間軸方向に積み重ねていく。図４（ａ）に示す例では、１番上に位置しているフレーム４ａが最も古く撮影された映像であり、１番下に位置しているフレーム４ｂが最も新しく撮影された映像である。なお、各フレームには消失点４ｃが含まれており、複数フレームを重ねた場合には、消失点４ｃも同一位置で重なっている。
【００１６】
ここで、映像処理装置１０２は、各フレームの映像に奥行きを持たせてから積み重ねていくことによって、複数フレームの映像は、図４（ｂ）に示すような立体（直方体）を形成する。なお、各フレームの映像に奥行きを持たせるに当たっては、各フレームの映像を構成する各画素を奥行き方向に所定画素分、例えば１画素分拡張するようにする。これによって、映像中の１画素を1画素分の奥行きをもつ立方体とすることができ、各フレームを全体として１画素分の奥行き（厚み）を持つ立体にすることができる。
【００１７】
このとき、映像処理装置１０２は、フレーム内の各画素ごとに生成される立方体の全体が、生成元となった画素の色情報を有するようにしておく。すなわち、各画素に基づいて生成された立方体をどの方向から見ても映像中における当該画素と同一の色となり、さらに各画素に基づいて生成された立方体を任意の位置で切断（スライス）した場合に、その切断面も映像中における当該画素と同一の色となるようにしておく。
【００１８】
このようにして各フレームを積み重ねて生成した立体は、図４（ｂ）に示すように、映像の横方向をｘ軸、縦方向をｙ軸とし、奥行き方向を時間軸（ｔ軸）とする３次元座標で表される。図４（ｃ）は、図４（ｂ）に示す立体を、映像の消失点４ｃを通る直線Ａ−Ｂでｔ軸方向に切断（スライス）した例を示している。このように直線Ａ−Ｂでｔ軸方向に切断した場合には、切断面ＡＢＣＤは２次元の画像として現れる。このとき、上述したように、各フレームを構成する画素に基づいて生成された立方体の全体は、生成元となった画素の色情報を有していることから、切断面ＡＢＣＤの切断面画像（スライス画像）は、直線Ａ−Ｂ上に存在する画素の時間変化を示す画像となっている。
【００１９】
図４（ｄ）は、切断面ＡＢＣＤの画像の具体例を示す図である。この図４（ｄ）においては、縦軸がｘ軸、横軸がｔ軸となっている。よって、スライス画像の縦方向は各フレームの映像における直線Ａ−Ｂ上に存在する画素位置を表しており、スライス画像の横方向は、各フレーム間での直線Ａ−Ｂ上に存在する画素の変化、すなわち、直線Ａ−Ｂ上に存在する画素の時間変化を表している。なお、このスライス画像においては、画像の左が古い映像の画素であり、右にいくにつれて新しい映像の画素に変化している。
【００２０】
スライス画像においては、図４（ｄ）に示すように、各フレーム間での直線Ａ−Ｂ上の各画素の時間経過に伴う色変化に起因して、複数の直線および曲線が現れている。この直線および曲線は、車両の走行に伴う背景や物体のフレーム間での位置変化、および／または他車両や歩行者の移動に伴うこれらの対象のフレーム間での位置変化を示している。
【００２１】
すなわち、各フレームの映像内では、自車両から見て相対的に同方向または逆方向に移動している物体など、自車両と並行して移動する物体は、フレーム間で消失点４ｃを中心として放射状に移動する。このため、複数フレームの映像を積み重ねて得た立体を映像の消失点４ｃを通る直線でｔ軸方向に切断してスライス画像を得ることによって、スライス画像上では、常に各物体の同一部分の像の位置変化を捉えることができ、その位置変化が直線または曲線となって現れる。
【００２２】
図５（ａ）は、図４（ｄ）に示したスライス画像の一部を拡大した拡大画像であり、図５（ｂ）は、拡大画像に表れている直線および曲線を模式的に表した図である。ここでは、この図５（ｂ）を用いて拡大画像内に現れる直線および曲線について説明する。車両用監視装置１００を搭載した車両が直線道路を走行しているとき（車速＞０のとき）に、映像の消失点４ｃを含むスライス画像の一部を抽出して拡大した拡大画像内では、車両と同じ方向に同じ速度で移動している物体の像は、フレーム間で画素位置が移動しないため、拡大画像上では矢印５ｂで示すように、各フレームの消失点４ｃによって構成されるライン（消失点ライン）５ａと平行な直線として現れる。
【００２３】
また、車両と同じ方向に車両よりも遅い速度で移動している物体、車両と逆の方向へ移動している物体、または静止している物体などの車両から離れていく物体の像は、フレーム間で消失点４ｃへ近づく方向に移動していくため、拡大画像内では消失点ライン５ａに接近する曲線５ｃ、５ｄ、および５ｇとして現れる。これに対して、車両と同じ方向に車両よりも速い速度で移動している物体、すなわち車両に接近してくる物体の像は、フレーム間で消失点４ｃから離れる方向に移動していくため、拡大画像内では消失点ライン５ａから離れる曲線５ｅ、５ｆ、および５ｈとして現れる。
【００２４】
ここでは、図４（ｂ）に示す立体を、映像の消失点４ｃを通る直線Ａ−Ｂでｔ軸方向に切断した例について説明したが、上述したように自車両と並行して移動する物体は、フレーム間で消失点４ｃを中心として放射状に移動することから、映像の消失点４ｃを通る直線であれば直線Ａ−Ｂ以外の直線でｔ軸方向に切断した場合であっても、スライス画像および拡大画像上には同様の直線および曲線が現れる。すなわち、映像の消失点４ｃを通る直線Ａ−Ｂでｔ軸方向に切断したスライス画像上では、直線道路で自車両と並行して移動する物体の像は、常に消失点ライン５ａと平行な直線、消失点ライン５ａに接近する曲線、および消失点ライン５ａから離れる曲線のいずれかを構成する。
【００２５】
なお、上述したように、スライス画像においては、画像の右にいくにつれて映像が新しくなっているため、図５（ｂ）に示すように、消失点ライン５ａに接近する曲線は、消失点ライン５ａより上側の領域では右下がりの曲線となり、消失点ライン５ａより下側の領域では右上がりの曲線となる。また、消失点ライン５ａから離れる曲線は、消失点ライン５ａより上側の領域では右上がりの曲線となり、消失点ライン５ａより下側の領域では右下がりの曲線となる。
【００２６】
以上より、映像の消失点４ｃを通る直線Ａ−Ｂでｔ軸方向に切断して得たスライス画像を用いれば、スライス画像上に現れる直線または曲線の傾きに基づいて、後方カメラ１０１で撮影した映像内に含まれる物体の移動状況を識別することができる。すなわち、直線道路で自車両後方に存在する物体が自車両と同じ速度で走行している物体、自車両から離れていく物体、または自車両に接近してくる物体のいずれであるかを識別することができる。
【００２７】
一方、図４（ｂ）に示す立体を、映像の消失点４ｃを通らない直線でｔ軸方向に切断してスライス画像を得た場合には、フレーム間で消失点４ｃを中心として放射状に移動する物体の同一部分の像を捉えることができないため、スライス画像上には物体の同一部分の像が構成する直線および曲線は現れない。すなわち、スライス画像上に現れる直線または曲線の傾きに基づいて自車両後方に存在する物体の移動状況を識別することができない。
【００２８】
本実施の形態では、映像処理装置１０２は、以上のことを加味して、後方カメラ１０１で撮影した映像内に含まれる物体の移動状況を識別する。具体的には次のように処理する。なお、ここでは上述したように車両が直線道路を走行している場合を想定しており、上述したように映像の消失点４ｃを通る直線Ａ−Ｂで立体をｔ軸方向に切断してスライス画像を得る方法について説明するが、車両が曲率のある道路（カーブ）を走行している場合には、映像の消失点４ｃを通る道路の曲率に応じた曲線で立体をｔ軸方向に切断してスライス画像を得れば、同様に車両後方に存在する対象物の移動方向を判定することができる。
【００２９】
スライス生成部１０２ａは、このようなスライス画像を得るために、スライスの傾きを算出する。本実施の形態では、図４（ｂ）に示した立体の１番上の映像４ｄの面（映像面）における各画素（ピクセル）に対して、その画素と消失点４ｃの両方を通る直線の傾きをスライスの傾きとして算出する。もし、後方カメラ１０１の向きが車両の真後ろを向いていない場合や、道路が曲がっている場合などには、後方カメラ１０１の向きとレンズの歪曲、または道路の曲率に基づいてオプティックフローの方向を求め、その傾きを使用するようにすればよい。
【００３０】
スライス生成部１０２ａは、算出したスライスの傾きを持ち、所定の大きさを持つ近傍スライス領域を設定する。すなわち、各画素（画素）に対して、その画素と消失点４ｃの両方を通る直線で図４（ｂ）に示した立体をｔ軸方向に切断したスライス画像を生成する。そして、スライス画像上でその画素を中心とした所定の大きさの領域を近傍スライス領域として設定する。なお、本実施の形態では、近傍スライス領域として設定する領域の大きさを、対象となる画素を中心として２３×２３画素とする。
【００３１】
例えば、図６（ａ）に示すように、対象の画素を画素６ａとした場合には、図４（ｂ）に示すように、画素６ａと消失点４ｃを通る直線で立体をｔ軸方向に切断したスライス画像を生成し、スライス画像上に画素６ａを含む近傍スライス領域６ｃを設定する。画素６ａの近傍スライス領域６ｃの具体例を図６（ｃ）に示す。また、図６（ａ）に示すように、対象の画素を画素６ｂとした場合には、図６（ｂ）に示すように、画素６ｂと消失点４ｃを通る直線で立体をｔ軸方向に切断したスライス画像を生成し、スライス画像上に画素６ｂを含む近傍スライス領域６ｄを設定する。
【００３２】
次に、フィルタ部１０２ｂは、画素６ｂと画素６ｂに対応する近傍スライス領域６ｄを対象として映像処理を施し、映像処理の結果に基づいて画素６ｂの画素値（ピクセル値）を補正する。ここでは、上述したように、スライス画像上で時間とともに消失点ライン５ａに近づく傾きを有する曲線は自車両から離れていく物体の動きを示しており、このような曲線を含む近傍スライス領域に対しては、誘目性が高い高周波成分を抑制するような特性の映像処理を施す。これに対して、スライス画像上で時間とともに消失点ライン５ａから離れる傾きを有する曲線は自車両に接近してくる物体の動きを示すものであるため、このような曲線を含む近傍スライス領域に対しては、誘目性や正しい認識のために必要なディテールを保持するために高・中・低周波の全てをスルーするような映像処理を施す。
【００３３】
すなわち、運転者が注意を向ける必要がない、自車両から離れていく物体が写っている画素を含む近傍スライス領域に対しては、運転者の誘目性が低下するような映像処理を施すようにし、運転者が注意を向ける必要がある物体が写っている画素を含む近傍スライス領域に対しては、運転者の誘目性を保持するような映像処理を施す。
【００３４】
このために本実施の形態では、フィルタ部１０２ｂは、各近傍スライス領域に対して、２次元ＦＩＲフィルタを用いた周波数フィルタリング処理を施す。すなわち、後述するような２次元の周波数フィルタを各画素に対応する近傍スライス領域に適用し、２次元の周波数フィルタリング処理を施す。そして、フィルタ適用後の画素６ｂの画素値を、出力バッファの当該画素位置に書き出す。この処理を映像面４ｄ上の全ての画素を対象として設定した近傍スライス領域に対して行うことにより、映像を構成する全ての画素の画素値が補正される。
【００３５】
ここで、スライス画像上で時間とともに消失点ライン５ａに近づく傾きを有する曲線は、図５（ｂ）で上述したように、消失点ライン５ａより上側の領域では右下がりの曲線となり、消失点ライン５ａより下側の領域では右上がりの曲線となっている。また、消失点ライン５ａから離れる傾きを有する曲線は、消失点ライン５ａより上側の領域では右上がりの曲線となり、消失点ライン５ａより下側の領域では右下がりの曲線となっている。
【００３６】
このため、近傍スライス領域が消失点ライン５ａより下側の領域に含まれる場合には、右下がりの曲線の周波数成分は通過させ、右上がりの曲線の周波数成分はほぼ完全に抑制するように映像処理を施せばよい。すなわち、近傍スライス領域内に現れる直線および曲線の傾きのうち、自車両に接近してくる対象物の移動に伴って現れる曲線の傾きを構成する画素の画素値、および自車両と並行して移動している対象物の移動に伴って現れる直線の傾きを構成する画素の画素値はスルーし、自車両から離れていく対象物の移動に伴って現れる曲線の傾きを構成する画素の画素値に対してはローパスフィルタリング処理を施す特性をもつフィルタを用いて２次元の周波数フィルタリング処理を行えばよい。ここでは、図７に示すような１１×１１の大きさのフィルタを各近傍スライス領域に適用する場合について説明する。
【００３７】
なお、図７に示すフィルタは、自車両から離れていく対象物の移動に伴って現れる曲線の傾きが大きいほど、より強いローパスフィルタリングを施すような特性のフィルタであり、このフィルタを用いた映像処理は、ブラックマン窓関数で計算したフィルタのインパルス応答は図８（ｃ）のようになる。これは、図８（ｂ）に示す入力パターンに対し、図８（ａ）の出力パターンが得られる特性をもつことを示している。
【００３８】
この図８（ａ）と図８（ｂ）を比較することで、右上がりの曲線のパターンは抑制され、右下がりの曲線のパターンは通過していることがわかる。すなわち、このフィルタを消失点ライン５ａより下側に存在する近傍スライス領域に適用することで、自車両から離れていく物体の誘目性は失わせ、自車両に接近してくる物体のみを含む領域の誘目性は保持することができる。
【００３９】
また、近傍スライス領域が消失点ライン５ａより上側に存在する場合には、右上がりの曲線の周波数成分は通過させ、右下がりの曲線の周波数成分はほぼ完全に抑制するように映像処理を施せばよい。このために、消失点ライン５ａより上側の領域に位置する近傍スライス領域に対しては、図７に示したフィルタとは左右が逆の特性を持つフィルタを適用することによって、同様に自車両から離れていく物体のみを含む領域の誘目性は失わせ、自車両に接近してくる物体の誘目性は保持することができる。
【００４０】
合成部１０２ｃは、フィルタ部１０２ｂで映像処理が施され、画素値が補正された各画素を１枚の映像に合成して表示装置１０３へ出力する。すなわち、映像処理を施した後の画素の値を、出力バッファの当該画素位置に書き出して合成する。そして、上述したように、（ｘｍａｘ−２＊ｐ,ｙｍａｘ−２＊ｐ）の解像度となるように映像を変換して表示装置１０３に出力する。
【００４１】
図９は、本実施の形態における車両用監視装置１００の処理を示すフローチャートである。図９に示す処理は、後方カメラ１０１によって車両後方の映像の撮影が開始され、処理を行うために必要なフレーム数、例えば２３フレームが入力バッファに格納されたことを検出した場合に起動する処理として映像処理装置１０２によって実行される。
【００４２】
ステップＳ１０において、スライス生成部１０２ａは、バッファ１〜ｎ（入力バッファ）に処理を行うために必要な２３フレームが格納された時点で、最新のフレームを最初のフレームとして、このフレームに対する処理を開始する。その後、ステップＳ２０へ進み、入力バッファに格納された各フレームの映像に奥行きを持たせてから積み重ね、図４（ｂ）に示すような立体を生成して、ステップＳ３０へ進む。
【００４３】
ステップＳ３０では、処理中のフレームの全ての画素に対して処理が完了したか否かを判断する。処理が完了したと判断した場合には、ステップＳ３１へ進み、出力バッファに格納されている映像を表示装置１０３へ出力して、次のフレームの処理、すなわち、次のフレームを含む２３フレームに対する処理を開始する。これに対して、処理が完了していないと判断した場合には、ステップＳ４０へ進む。
【００４４】
ステップＳ４０では、上述したように、図４（ｂ）に示した立体の１番上の映像４ｄの面（映像面）における任意の画素（画素）に対して、その画素と消失点４ｃの両方を通る直線で立体をｔ軸方向に切断したスライス画像を生成する。そして、スライス画像上でその画素含む所定の領域を近傍スライス領域として設定する。その後、ステップＳ５０へ進み、上述したように、その画素と当該画素に対応する近傍スライス領域に対して映像処理を施す。そして映像処理を施した後の当該画素の値を、出力バッファの当該画素位置に書き出す。その後、ステップＳ６０へ進む。
【００４５】
ステップＳ６０では、車両のイグニションスイッチがオフされたか否かを判断する。オフされていないと判断した場合には、ステップＳ２０へ戻って処理を繰り返す。これに対してオフされたと判断した場合には、処理を終了する。
【００４６】
以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）運転者が注意する必要性が低い対象物を含む領域の誘目性を低下させるようにしたので、運転者の注意が、注意する必要性が低い対象物に向くことを防止することができ、運転者は、映像内の注意すべき対象物を短時間で把握することができる。
【００４７】
（２）後方カメラ１０１で撮影した複数フレームの映像を時間軸方向に積み重ねて立体を生成し、当該立体を立体の表面に位置するフレームの任意の画素と消失点とを通る直線または曲線で時間軸方向に切断したスライス画像上に、任意の画素を含む近傍スライス領域を設定した。そして、各近傍スライス領域内に現れる直線および曲線の傾きに基づいて、前記任意の画素に写っている対象物が自車両から離れていくものか、自車両に接近してくるものか、あるいは自車両と並行して移動しているものかを判定するようにした。これによって、車両が走行しているとき（車速＞０のとき）に、映像の消失点を含むスライス画像内では、車両と同じ方向に同じ速度で移動している物体の像は、フレーム間で画素位置が移動しないため、消失点ラインと平行な直線として現れる。また、車両から離れていく物体の像は、フレーム間で消失点へ近づく方向に移動していくため、スライス画像内では消失点ラインに接近する曲線として現れる。これに対して、車両と同じ方向に車両に接近している物体の像は、フレーム間で消失点から離れる方向に移動していくため、スライス画像内では消失点ラインから離れる曲線として現れることを加味して、精度高く対象物の移動方向を判定することができる。また、このような判定方法とすることによって、レーザーレーダーなどの高価なセンシング機器を搭載しなくても、車両後方に存在する対象物の移動方向を判定することができ、装置にかかるコストを低減することができる。
【００４８】
（３）運転者が注意する必要性が低い対象物を含む領域は、自車両から離れていく対象物が写っている画素のみを含む領域とするようにした。これによって、自車両から離れていく物体は、一般的に自車両に対して危険を及ぼす可能性が低いことを加味して、運転者が注意する必要性が低い対象物を的確に判定することができる。
【００４９】
（４）近傍スライス領域内に現れる直線および曲線の傾きのうち、自車両に接近してくる対象物の移動に伴って現れる曲線の傾きを構成する画素の画素値、および自車両と並行して移動している対象物の移動に伴って現れる直線の傾きを構成する画素の画素値はスルーし、自車両から離れていく対象物の移動に伴って現れる曲線の傾きを構成する画素の画素値に対してはローパスフィルタリング処理を施す特性をもつ周波数フィルタを用いて２次元の周波数フィルタリング処理を行うようにした。これによって、運転者が注意する必要性が低い自車両から離れていく対象物を含む領域の誘目性のみを低下させることができる。また、簡易な処理で運転者が注意する必要性が低い対象物を含む領域の誘目性のみを低下させることができるため、処理負荷を低減することができる。
【００５０】
（５）自車両が直線道路を走行している場合には、立体をフレーム内の任意の画素と消失点とを通る直線で時間軸方向に切断してスライス画像を生成するようにし、自車両がカーブを走行している場合には、立体をフレーム内の任意の画素と消失点とを通るカーブに応じた曲率の曲線で時間軸方向に切断して前記スライス画像を生成するようにした。これによって、走行中の道路に応じた最適な切断方法でスライス画像を生成することができる。また、このようなスライス画像を用いることで、自車両が直線を走行中の場合、カーブを走行中の場合のいずれの場合であっても、自車両後方に存在する対象物の移動方向を正確に判定することができる。
【００５１】
―第２の実施の形態―
第２の実施の形態では、第１の実施の形態で上述したフィルタ部１０２ｂによる処理をさらに簡略化して運転者が注意する必要性が低い対象物を含む領域の誘目性を低下させる。なお、図１〜図６、および図９の各図については、第１の実施の形態と同一のため説明を省略する。
【００５２】
この実施の形態では、スライス生成部１０２ａは、上述した近傍スライス領域を、対象となる画素を中心として５×５画素の大きさに設定する。そして、フィルタ部１０２ｂは、車両から離れていく物体の誘目性を低下させるように、近傍スライス領域内の各画素の画素値を補正する。具体的には、フィルタ部１０２ｂは、以下のように処理する。
【００５３】
フィルタ部１０２ｂは、まず、図１０に示すように、補正対象の画素１０ａの上下左右にそれぞれ４画素ずつをとる。そして、フィルタ部１０２ｂは、対象となる画素が消失点ライン５ａよりも上に位置している場合には、右側の４画素１０ｂおよび下側の４画素１０ｃの画素値の平均値を第１の平均値として算出し、左側の４画素１０ｄおよび上側の４画素１０ｅの画素値の平均値を第２の平均値として算出する。
【００５４】
フィルタ部１０２ｂは、このようにして算出した第１の平均値と第２の平均値のそれぞれを、画素１０ａの画素値と比較し、第１の平均値と第２の平均値のうち、画素１０ａの画素値に近い方の値を補正用の画素値として選択する。そして、補正用の画素値と画素１０ａの画素値にそれぞれ所定の比率を掛けて合計した値を補正後の画素１０ａの画素値とする。
【００５５】
例えば、補正用の画素値と画素１０ａの画素値とがそれぞれ３：７の比率となるように補正する場合には、次式（１）により補正後の画素１０ａの画素値を算出する。
補正後の画素１０ａの画素値＝補正用の画素値×０．３＋画素１０ａの画素値×０．７  ・・・（１）
【００５６】
このように、補正対象の画素１０ａの上下左右にそれぞれ４画素ずつをとり、右側の４画素１０ｂおよび下側の４画素１０ｃの画素値の平均値（第１の平均値）、および左側の４画素１０ｄおよび上側の４画素１０ｅの画素値の平均値（第２の平均値）を用いて画素１０ａの画素値を補正するようにした。これによって、スライス画像上で時間とともに消失点ライン５ａに近づく傾きを有する曲線と背景との境界付近に位置する画素の画素値をぼかすように補正することができる。すなわち、車両から遠ざかる物体の輪郭をぼかすことができる。
【００５７】
なお、対象となる画素が消失点ライン５ａよりも下に位置している場合には、右側の４画素１０ｂおよび上側の４画素１０ｅの画素値の平均値を第１の平均値とし、左側の４画素１０ｄおよび下側の４画素１０ｃの画素値の平均値を第２の平均値として算出すればよい。
【００５８】
例えば、図１１に示すように、図１１（ａ）に示す後方カメラ１０１で撮影した車両方向の映像（入力映像）の各画素の画素値を補正して、図１１（ｂ）に示す補正後の映像を出力バッファに記録することができる。この図１１（ａ）に示す入力映像と図１１（ｂ）に示す補正後の映像とを比較すると、映像内に写っている他車両と建物のうち、自車両に接近してくる車両のエッジは多少ぼけているもののそれほど誘目性を失っていないのに対し、自車両から遠ざかる背景の建物は、ボケの度合いが強くなり誘目性を失っている。これによって、運転者が注意する必要がない自車両から遠ざかる背景の建物は、運転者の視線を惑わしににくくすることができ、運転者は、映像内に存在する対象のうち、他車両に注意すれば良いことを把握することができる。
【００５９】
―第３の実施の形態―
第３の実施の形態では、後方カメラ１０１が広角レンズを搭載しており、かつ後方カメラ１０１のフレームレートが低い場合の処理について説明する。なお、図１〜図６、および図９の各図については、第１の実施の形態と同一のため説明を省略する。
【００６０】
カメラ１０１が広角レンズを搭載している場合に、フレームレートが低いと、連続するフレーム間で映像の周辺の領域のズレが大きくなる可能性があり、スライス画像における直線又は曲線に途切れが生じる可能性がある。例えば、図１２（ａ）は、フレームレートが６０Ｈｚである場合に、連続して撮影される２フレームを重畳した場合の合成画像を示している。この図１２（ａ）に示す画像においては、画像内の周辺の領域１２ａ内に写っているガードレールのポールが、フレーム間で大きく移動してしまい間隔が大きくなってしまっている。なお、図１２（ｂ）は、領域１２ａを拡大した図である。
【００６１】
このように低いフレームレートで撮影した各フレームを重ね合わせて立体を生成し、上述したスライス画像を生成した場合には、図１３（ａ）に示すようなスライス画像が得られる。図１３（ｂ）は、スライス画像の消失点ライン５ａより上側の領域の一部を拡大した図である。この図１３（ｂ）に示すように、スライス画像上では曲線が途中で途切れてしまっている。
【００６２】
また、図１３（ｃ）は、スライス画像の消失点ライン５ａより下側の領域の一部を拡大した図であり、図１３（ｄ）は、図１３（ｃ）に示した拡大図中に現れている直線（または曲線）を模式的に示した図である。図１３（ｄ）に示すように、スライス画像上には、物体の移動に伴って生じる本来の直線（本パターン）１３ａと、直線が途切れたことにより擬似的に生じた直線（擬似パターン）１３ｂとが現れていることがわかる。
【００６３】
このように、スライス画像上に現れる直線または曲線に途切れが生じたり、擬似パターン１３ｂが発生したりした場合には、第１の実施の形態で上述したスライス画像上に現れる直線又は曲線の傾きに応じた物体の移動方向の判定に誤りが生じる可能性がある。このため、本実施の形態では、スライス生成部１０２ａは、後方カメラ１０１から入力される各フレームの映像に対して、オプティックフローの流れに沿ったぼかし処理を行った後に、各フレームを重ねた立体を生成する。これによって、図１３（ａ）に示したスライス画像は、図１３（ｅ）に示すように補正される。すなわち、図１３（ｂ）に示した曲線の途切れや図１３（ｄ）に示した擬似パターン１３ｂがないスライス画像を得ることができる。
【００６４】
ここで、図１３（ａ）に示すように、スライス画像上における曲線の途切れや擬似パターンの発生は、消失点ライン５ａから離れた映像の周辺領域で発生し、消失点ライン５ａの近傍では発生していない。このため、後方カメラ１０１から入力される各フレームの映像の全体に対して、上述したぼかし処理を行った場合には、図１３（ｅ）に示すように、消失点ライン５ａ近傍にぼけが発生してしまう。このため、スライス生成部１０２ａは、図１４（ａ）に示す各フレームの映像における消失点４ｃの近傍領域１４ａに対してはぼかし処理を行わず、図１４（ｂ）において斜線で示した周辺領域１４ｂを対象としてぼかし処理を行う。
【００６５】
なお、各フレームに設定する周辺領域１４ｂは、車両の速度、移動する物体の大きさや車両からの距離に応じて変化することから、スライス生成部１３ａは、あらかじめ車両の速度、移動する物体の大きさや車両からの距離を測定した後に、フレーム上に周辺領域１４ｂを設定することが好ましい。
【００６６】
以上説明した第３の実施の形態によれば、第１および第２の実施の形態の作用効果に加えて、以下のような作用効果を得ることができる。すなわち、カメラ１０１が広角レンズを搭載しており、フレームレートが低い場合に、各フレームの周辺領域１４ｂに対して、オプティックフローに沿ったぼかし処理を行った後に、各フレームを重ねた立体を生成するようにした。このため、カメラ１０１が広角レンズを搭載し、かつフレームレートが低い場合にスライス画像上に発生する直線または曲線の途切れや擬似パターンの発生を補正して、物体の移動方向を正確に判定することができる。
【００６７】
―第４の実施の形態―
上述した第１〜第３の実施の形態では、フィルタ部１０２ｂは、スライス画像上に設定した近傍スライス領域に対して、図７に示したフィルタをかけることによって、自車両から離れていく物体の誘目性は失わせ、自車両に接近してくる物体のみを含む領域の誘目性は保持するようにした。これに対して、第４の実施の形態では、フィルタを使用しないで同様の効果を得るための方法について説明する。なお、図１、図２、図４〜６、および図９の各図については、第１の実施の形態と同一のため説明を省略する。
【００６８】
図１５は、第４の実施の形態における映像処理装置１０２の構成を示すブロック図である。なお、図４においては、図３に示した第１の実施の形態における映像処理装置１０２の構成を示すブロック図と同一の構成要素については同じ符号を付加して説明を省略し、相違点を中心に説明する。
【００６９】
スライス生成部１０２ａは、上述したスライス画像を生成し、スライス画像の各画素を中心として所定の大きさ、例えば１１画素×１１画素の近傍スライス領域を設定する。そして、設定した近傍スライス領域を傾き検出部１０２ｄへ出力する。傾き検出部１０２ｄは、スライス生成部１０２ａから入力される近傍スライス領域の中央の画素を対象画素として、対象画素内に含まれる直線や曲線の傾きを算出する。以下、傾き検出部１０２ｄによって実行される処理について、図１６を用いて説明する。
【００７０】
図１６（ａ）は、スライス生成部１０２ａから入力される近傍スライス領域の具体例を示す図である。傾き検出部１０２ｄは、この近傍スライス領域から中央の画素を含む複数のサンプル領域を切り出す。例えば、図１６（ｂ）に示すように、まず、傾き検出部１０２ｄは、近傍スライス領域の中央の画素１６ａを含み水平方向に高さ１画素、幅１１画素のサンプル領域１６ｂを切り出す。そして、傾き検出部１０２ｄは、サンプル領域１６ｂを画素１６ａを中心として所定角度ずつ回転させて、複数のサンプル領域を得る。図１６（ｂ）に示す例では、サンプル領域１６ｂを時計回り、および反時計回りにそれぞれ２０度ずつ、３段階に回転させて合計７個のサンプル領域を切り出している。
【００７１】
図１６（ｃ）に切り出したそれぞれのサンプル領域を示す。なお、図１６（ｃ）においては、サンプル領域１６ｂを０と表し、サンプル領域１６ｂを時計回りに１段階（２０度）回転させたサンプル領域を＋１、２段階（４０度）回転させたサンプル領域を＋２、３段階（６０度）回転させたサンプル領域を＋３と表している。また、サンプル領域１６ｂを反時計回りに１段階（−２０度）回転させたサンプル領域を−１、２段階（−４０度）回転させたサンプル領域を−２、３段階（−６０度）回転させたサンプル領域を−３と表している。
【００７２】
次に、傾き検出部１０２ｄは、各サンプル領域を横方向に所定ピクセルずつ、複数段階ずらして（シフトして）複数のシフト領域を設定する。本実施の形態では、各サンプル領域（シフト０）を２画素右方向へずらしたシフト領域（シフト２）、４画素右方向へずらしたシフト領域（シフト４）、８画素右方向へずらしたシフト領域（シフト８）、および１６画素右方向へずらしたシフト領域（シフト１６）の４つのシフト領域を設定する。これによって、−３〜＋３の７つのサンプル領域に対して、それぞれ４つのシフト領域が設定される。すなわち合計２８のシフト領域が設定される。図１６（ｄ）に＋３のサンプル領域をシフトして設定したシフト領域の具体例を示す。
【００７３】
傾き検出部１０２ｄは、各サンプル領域について、サンプル領域（シフト０）とそれぞれのシフト領域との間で、画素位置が同じ画素同士の画素値の差分を算出する。例えば、図１６（ｄ）に示すように、＋３のサンプル領域（シフト０）と、これを４画素ずらしたシフト領域（シフト４）との間で、画素位置が同じ画素同士の画素値の差分を算出する。これを全てのシフト領域について行って、その結果算出された画素値の差分の平均値を＋３のサンプル領域の傾き判定用の値（傾き判定値）とする。傾き検出部１０２ｄは、この傾き判定値の算出を全てのサンプル領域について行なうことによって、−３〜＋３の各サンプル領域の傾き判定値を算出する。
【００７４】
そして、傾き検出部１０２ｄは、算出した傾き判定値が最も小さいサンプル領域を抽出し、抽出したサンプル領域のサンプル領域１６ｂからの回転角度を対象画素内に含まれる直線や曲線の傾き値として、合成部１０２ｃへ出力する。なお、映像に特徴がない場合など、全てのサンプル領域の傾き判定値が同じである場合には、傾き検出部１０２ｄは、あらかじめ設定されているデフォルトの傾き値を合成部１０２ｃへ出力する。
【００７５】
合成部１０２ｃは、傾き検出部１０２ｄから入力される傾き値に基づいて、バッファ１〜ｎから入力される各フレームの映像を構成する画素を補正した後、各画素を１枚の映像に合成して表示装置１０３へ出力する。具体的には、第１の実施の形態と同様の方法により、傾き検出部１０２ｄから入力される傾き値に基づいて各画素内に含まれる物体が自車両から離れていくものか、自車両に接近してくるものか、あるいは自車両と並行して移動しているものかを判定する。
【００７６】
合成部１０２ｃは、自車両から離れていく物体が含まれる画素に対しては、運転者の誘目性を低下させるために、最新のフレームよりも前に入力された所定フレーム数の当該画素の画素値の平均値を算出し、これを当該画素の補正後の画素値として使用する。なお、画素値の平均値を算出するために使用する過去のフレーム数は、傾き検出部１０２ｄから入力される傾き値に応じて変化させることが好ましい。
【００７７】
例えば、傾き値が大きい場合には、物体は速い速度で車両から離れているため、使用する過去のフレーム数を大きくして、よりぼかすようにする。また、傾き値が小さい場合には、物体はゆっくりと車両から離れているため、使用する過去のフレーム数を小さくして、ぼかし量を小さくする。これによって、物体が車両から離れていく速度に応じてぼかし量を制御することができる。
【００７８】
一方、自車両から離れていく物体以外が含まれる画素に対しては、合成部１０２ｃは、画素値の補正を行わずに最新フレームの画素値をそのまま使用する。そして、合成部１０２ｃは、補正後の画素値を用いて１枚の映像に合成する。
【００７９】
以上説明した第４の実施の形態によれば、出力する映像の各画素を補正するために、画素ごとにフィルタをかける必要がないため、より高速に処理を実行することができる。
【００８０】
―変形例―
なお、上述した実施の形態の車両用監視装置は、以下のように変形することもできる。
（１）上述した第１〜第４の実施の形態では、後方カメラ１０１で撮影した全てのフレームで映像内における消失点の位置は一定であるものとして説明した。しかしながら、道路のうねりなどによる車両にピッチングが発生した場合などは、フレーム間で消失点の位置が異なる可能性がある。このような場合にも全てのフレームで映像内の消失点位置を一定にするために、デジタルカメラなどに搭載されている手ぶれ補正などと同様の機構により、映像内からピッチングの影響を排除して、映像を安定させるようにしてもよい。
【００８１】
（２）上述した第１〜第４の実施の形態では、車両用監視装置１００は車両に搭載される例について説明した。しかしこれに限定されず、車両用監視装置１００をその他の移動体に搭載するようにしてもよい。
【００８２】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【００８３】
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。後方カメラ１０１は撮影手段に、映像処理装置１０２は判定手段および映像処理手段に、表示装置１０３は表示手段に相当する。なお、以上の説明はあくまでも一例であり、発明を解釈する際、上記の実施形態の記載事項と特許請求の範囲の記載事項の対応関係に何ら限定も拘束もされない。
【図面の簡単な説明】
【００８４】
【図１】車両用監視装置の一実施の形態の構成を示すブロック図である。
【図２】後方カメラ１０１で撮影される映像の具体例を示す図である。
【図３】第１の実施の形態における映像処理装置１０２の構成を示すブロック図である。
【図４】スライス画像の生成例を示す図である。
【図５】スライス画像上に現れる直線および曲線の具体例を示す図である。
【図６】近傍スライス領域の設定例を示す図である。
【図７】近傍スライス領域に適用するフィルタの具体例を示す図である。
【図８】図７に示すフィルタを用いた映像処理の入力および出力の具体例を示す図である。
【図９】車両用監視装置１００の処理を示すフローチャート図である。
【図１０】第２の実施の形態における画素値の補正方法を示す図である。
【図１１】第２の実施の形態における映像の補正結果の具体例を示す図である。
【図１２】カメラ１０１が広角レンズを搭載しており、かつフレームレートが低い場合に発生する問題点を具体的に示す図である。
【図１３】第３の実施の形態におけるスライス画像の具体例を示す図である。
【図１４】第３の実施の形態においてぼかし処理の対象とする周辺領域１４ｂを具体的に示した図である。
【図１５】第４の実施の形態における映像処理装置１０２の構成を示すブロック図である。
【図１６】第４の実施の形態で傾き検出部１０２ｄによって実行される処理の具体例を示す図である。
【符号の説明】
【００８５】
１００  車両用監視装置
１０１  後方カメラ
１０２  映像処理装置
１０２ａ  スライス生成部
１０２ｂ  フィルタ部
１０２ｃ  合成部
１０２ｄ  傾き検出部
１０３  表示装置
【図１】
2008103839.tif 000003
【図２】
2008103839.tif 000004
【図３】
2008103839.tif 000005
【図４】
2008103839.tif 000006
【図５】
2008103839.tif 000007
【図６】
2008103839.tif 000008
【図７】
2008103839.tif 000009
【図８】
2008103839.tif 000010
【図９】
2008103839.tif 000011
【図１０】
2008103839.tif 000012
【図１１】
2008103839.tif 000013
【図１２】
2008103839.tif 000014
【図１３】
2008103839.tif 000015
【図１４】
2008103839.tif 000016
【図１５】
2008103839.tif 000017
【図１６】
2008103839.tif 000018