(57)【要約】【課題】ドライバーが衝突リスクを直感的に判断できるようにする。【解決手段】自動車に搭載された視界補助システムは画像処理ＬＳＩ３を備える。画像処理ＬＳＩ３は、自動車の助手席側サイドミラーに取り付けられたカメラ１によって自動車前方が撮影された時間軸上で連続した２フレーム分あるいは間引いた２フレーム分の撮影画像から動きベクトルを抽出し、その動きベクトルの方向に基づいて衝突リスクのある画素を認定する。そして、カメラ１で撮影された撮影画像を表示させるときに、その衝突リスクのある画素を強調表示させる。【選択図】図１
2008205644.tif 000002
【特許請求の範囲】
【請求項１】
車両の視界補助システムにおける画像処理装置であって、
前記車両の車幅方向片側の最端部又は最端部付近に取り付けられたカメラによって車両前方が撮影された時間軸上で連続した複数フレーム分あるいは間引いた複数フレーム分の撮影画像から動きベクトルを抽出する動きベクトル抽出手段を備え、
前記動きベクトル抽出手段により抽出された動きベクトルの方向に基づいて衝突リスクのある画素を認定する、
ことを特徴とする画像処理装置。
【請求項２】
前記動きベクトル抽出手段により抽出された動きベクトルを統計的に処理して、水平成分が左方向の動きベクトルと水平成分が右方向の動きベクトルとの分離境界を抽出し、前記分離境界に基づいて前記衝突リスクのある画素を認定する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記カメラによって撮影された撮影画像を表示させるときに前記衝突リスクのある画素を強調表示させる、
ことを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記車両は自動車であり、
前記カメラは、前記自動車の助手席側のサイドミラーに取り付けられ、
前記サイドミラー最端部から前記カメラの取り付け位置までの車幅方向距離に基づいて前記分離境界の位置を補正する、
ことを特徴とする請求項２記載の画像処理装置。
【請求項５】
車両の視界補助システムにおける画像処理方法であって、
前記車両の車幅方向片側の最端部又は最端部付近に取り付けられたカメラによって車両前方が撮影された時間軸上で連続した複数フレーム分あるいは間引いた複数フレーム分の撮影画像から動きベクトルを抽出し、
前記動きベクトルの方向に基づいて衝突リスクのある画素を認定する、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の視界補助システムにおける画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
自動車の死角における視界を補助するためのシステムとしてサイドブラインドモニターというシステムがある。このシステムは、自動車の助手席側のサイドミラーに取り付けられたカメラでドライバーの死角となる自動車の助手席側前方を撮影し、そのカメラ映像を車内のモニターに表示することによって視界を補助するシステムである。このようなシステムの中には、単にカメラ映像をモニターに表示するだけでなく、より車両感覚がつかみ易いように、自動車の車体形状から算出されたガイドラインをカメラ映像に合成してモニターに表示するようにしたシステムもある。
【０００３】
図５は、そのシステムのモニター画面の一例を示す図である。同図に示したように、カメラ映像にガイドライン３１が合成されて表示される。
なお、このような視界補助システムのように、車両に取り付けられているカメラで撮影した画像を基に所定の処理を行うシステムは種々提案されている（例えば特許文献１、２、及び３等）。
【特許文献１】特開２００１−２３９８３２号公報
【特許文献２】特開２００２−３１４９９１号公報
【特許文献３】特開２００６−１００９６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述のようなガイドラインをカメラ映像に合成してモニターに表示するようにしたシステムでは、ガイドラインがカメラ映像に自然に溶け込めず、直感的に判断しにくい。ガイドラインは地面に張り付いた位置関係を表現しており高さ方向の情報を持たないため、側溝位置の視認や地面から垂直に生えた障害物に対してのみ有効で、地表より高い位置で自車側に食い込んでくる複雑な形状の障害物（例えば樹木など）に対しては誤認する恐れがある。また、撮影仰角が地面方向に下がり気味の場合のみ有効で、遠方まで確認したくて真っ直ぐ前方を向いている場合、ガイドラインは意味をなさない。
【０００５】
本発明は、上記実情に鑑み、車両の視界補助システムにおいて、ドライバーが衝突リスクを直感的に判断できるようにする画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の態様に係る装置は、車両の視界補助システムにおける画像処理装置であって、前記車両の車幅方向片側の最端部又は最端部付近に取り付けられたカメラによって車両前方が撮影された時間軸上で連続した複数フレーム分あるいは間引いた複数フレーム分の撮影画像から動きベクトルを抽出する動きベクトル抽出手段を備え、前記動きベクトル抽出手段により抽出された動きベクトルの方向に基づいて衝突リスクのある画素を認定する、ことを特徴とする。
【０００７】
この装置によれば、複数フレーム分の撮影画像から抽出された動きベクトルに基づいて衝突リスクのある画素を認定することができる。
本発明の第２の態様に係る装置は、上記第１の態様において、前記動きベクトル抽出手段により抽出された動きベクトルを統計的に処理して、水平成分が左方向の動きベクトル
と水平成分が右方向の動きベクトルとの分離境界を抽出し、前記分離境界に基づいて前記衝突リスクのある画素を認定する、ことを特徴とする。
【０００８】
この装置によれば、水平成分が左方向の動きベクトルと水平成分が右方向の動きベクトルとの分離境界に基づいて衝突リスクのある画素を認定することができる。
本発明の第３の態様に係る装置は、上記第１又は２の態様において、前記カメラによって撮影された撮影画像を表示させるときに前記衝突リスクのある画素を強調表示させる、ことを特徴とする。
【０００９】
この装置によれば、衝突リスクのある画素が強調表示されるので、ドライバーは衝突リスクを直感的に判断することができる。
本発明の第４の態様に係る画像処理装置は、上記第２の態様において、前記車両は自動車であり、前記カメラは、前記自動車の助手席側のサイドミラーに取り付けられ、前記サイドミラー最端部から前記カメラの取り付け位置までの車幅方向距離に基づいて前記分離境界の位置を補正する、ことを特徴とする。
【００１０】
この装置によれば、分離境界の位置が補正されるので、分離境界の位置の精度が更に向上すると共に、その分離境界に応じて認定された衝突リスクのある画素の精度も更に向上する。
【００１１】
また、本発明は、上記各態様に係る装置に限らず、方法として構成することもできる。
【発明の効果】
【００１２】
本発明によれば、ドライバーは衝突リスクを直感的に判断することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しながら本発明の実施の形態を説明する。
図１は、本発明の一実施の形態に係る画像処理装置を備えた視界補助システムのブロック図である。本実施形態において、視界補助システムはサイドブラインドモニターシステムであり、このシステムが、左側通行の道路を走行する右ハンドル仕様の自動車に搭載されているものとする。
【００１４】
同図に示したように、視界補助システムは、主要な構成として、カメラ１、フレームバッファ２、画像処理ＬＳＩ（Large Scale Integration）３、及び、ディスプレイ４等を有する。
【００１５】
カメラ１は、例えばＣＣＤ（Charge Coupled Devices）カメラ等であって、自動車の助手席側のサイドミラー（例えばドアミラーやバックミラー等）に取り付けられ、ドライバーの死角となる自動車の助手席側前方を所定のフレームレートで撮影する。
【００１６】
フレームバッファ２は、後フレーム領域５及び前フレーム領域６を有し、カメラ１で撮影された時間軸上で連続する２フレーム分あるいは間引いた２フレーム分の撮影画像の画像データを格納する。後フレーム領域５は、カメラ１で撮影された撮影画像の画像データを１フレーム毎に順に格納する領域である。前フレーム領域６は、後フレーム領域５に格納された画像データを順に或いは所定フレーム数毎に１つ格納する領域である。これにより、前フレーム領域６には、後フレーム領域５に格納された画像データよりも時間的に前のフレームの画像データが格納されるようになる。
【００１７】
画像処理ＬＳＩ３は、本実施形態に係る画像処理装置の一例であり、動きベクトル水平成分抽出器７、動きベクトル方向判定器８、左スコアバッファ９、右スコアバッファ１０
、分水嶺スコアラインバッファ１１、大小比較器１２、最大値画素検出器１３、直進／左旋回／右旋回判定器１４、衝突リスク画素強調表示エフェクター１５、及び、映像表示器１６等を有する。
【００１８】
動きベクトル水平成分抽出器７は、後フレーム領域５と前フレーム領域６とに格納されている２フレーム分の撮影画像の画像データから、各画素の動きベクトルを抽出し、さらに、その各画素の動きベクトルの水平成分を抽出する。
【００１９】
なお、本実施形態では、画素毎に動きベクトルを抽出することから、動きベクトルをピクセルフローと言うこともできる。また、本実施例では、撮影画像の水平方向をＸ方向、垂直方向をＹ方向とし、その水平方向において左方向を−Ｘ方向、右方向を＋Ｘ方向とする。
【００２０】
動きベクトル方向判定器８は、動きベクトル水平成分抽出器７により抽出された各画素の動きベクトルの水平成分のそれぞれについて、動きベクトルの水平成分が左方向であるか、右方向であるか、それとも０（水平成分無し）であるかを判定する。
【００２１】
左スコアバッファ９は、動きベクトル方向判定器８により動きベクトルの水平成分が左方向であると判定された場合の数がスコアとして格納される。
右スコアバッファ１０は、動きベクトル方向判定器８により動きベクトルの水平成分が右方向であると判定された場合の数がスコアとして格納される。
【００２２】
分水嶺スコアラインバッファ１１は、撮影画像の水平方向の画素位置（撮影画像のＸ座標）に対応するラインバッファであって、動きベクトル方向判定器８により動きベクトルの水平成分が０であると判定された場合の数が、その水平方向の画素位置毎に、スコアとして格納される。例えば、撮影画像の水平方向の画素数が６４０であった場合には、その水平方向の各画素位置に対応する６４０個のスコアが分水嶺スコアラインバッファ１１に格納されることになる。
【００２３】
大小比較器１２は、左スコアバッファ９と右スコアバッファ１０に格納されているスコアの大小を比較する。
最大値画素検出器１３は、分水嶺スコアバッファ１１に格納されている水平方向の各画素位置のスコアから、最大スコアの画素位置（Ｘ座標）を検出する。
【００２４】
直進／左旋回／右旋回判定器１４は、大小比較器１３の比較結果と最大値画素検出器１３の検出結果とから、自動車が直進しているのか、左旋回しているのか、右旋回しているのかを判定する。
【００２５】
衝突リスク画素強調表示エフェクター１５は、直進／左旋回／右旋回判定器１４の判定結果と最大値画素検出器１３の検出結果とから、衝突リスク画素（衝突リスクのある画素）を認定し、これを強調表示するように映像表示器１６に指示する。
【００２６】
映像表示器１６は、後フレーム領域５に格納されている撮影画像の画像データと衝突リスク画素強調表示エフェクター１５の指示とに基づいて、衝突リスク画素を強調表示させた撮影画像をディスプレイ４に表示させる。但し、衝突リスク画素強調表示エフェクター１５において、衝突リスク画素が認定されなかった場合には、後フレーム領域５に格納されている画像データに基づいて撮影画像をディスプレイ４に通常表示させる。
【００２７】
なお、衝突リスク画素を強調表示させた撮影画像は、例えばαブレンド等の手法を用いて生成することができる。
ディスプレイ４は、例えば液晶ディスプレイ等であって、ドライバーから視認可能な車内の位置に取り付けられている。
【００２８】
次に、この視界補助システムの動作を画像処理ＬＳＩ３の処理を中心に説明する。
図２は、この視界補助システムにおける画像処理ＬＳＩ３のフレーム単位の処理を示すフローチャートである。なお、この処理は、自動車が動いているときに行われるものとし、また、カメラ１での撮影を開始して、後フレーム領域５及び前フレーム領域６に撮影画像の画像データが格納されているときに行われるものとする。
【００２９】
同図に示したように、この処理では、まず、後フレーム領域５及び前フレーム領域６に格納されている２フレーム分の撮影画像の画像データから、各画素の動きベクトルを抽出する（Ｓ１）。
【００３０】
続いて、処理対象走査線を１走査線目、処理対象画素を１画素目とし、処理対象走査線中の処理対象画素についてのＳ１で抽出された動きベクトルから、水平成分を抽出する（Ｓ２）。
【００３１】
続いて、Ｓ２で抽出された水平成分の方向が負方向（左方向）であるか、０であるか、正方向（右方向）であるかを判定する（Ｓ３）。
Ｓ３の判定結果が負方向である場合には、左スコアバッファ９に格納されているスコアを１増やす（Ｓ４）。
【００３２】
なお、本実施形態では、左スコアバッファ９、右スコアバッファ１０、及び、分水嶺スコアラインバッファ１１に格納されている各スコアは、上記Ｓ１の処理開始前において全て０にリセットされるものとする。
【００３３】
Ｓ３の判定結果が０である場合には、分水嶺スコアラインバッファ１１に格納されている対応するスコアを１増やす（Ｓ５）。例えば処理対象画素が１画素目であった場合には、分水嶺スコアラインバッファ１１に格納されている１画素目に対応するスコアが１増える。
【００３４】
Ｓ３の判定結果が正方向である場合には、右スコアバッファ１０に格納されているスコアを１増やす（Ｓ６）。
続いて、処理対象走査線中の全画素を処理対象画素として処理したか否かを判定し（Ｓ７）、その判定結果がＮｏの場合には、処理対象画素を次の画素に移動して（Ｓ８）、Ｓ２へ戻る
Ｓ７の判定結果がＹｅｓの場合には、全走査線を処理対象走査線として処理したか否かを判定し（Ｓ９）、その判定結果がＮｏの場合には、処理対象走査線を次の走査線に移動して（Ｓ１０）、Ｓ２へ戻る。
【００３５】
Ｓ９の判定結果がＹｅｓの場合には、分水嶺スコアラインバッファ１１に格納されている水平成分の各画素位置のスコアから、最大スコアの画素位置を探索する（Ｓ１１）。
続いて、分水嶺スコアラインバッファ１１に格納されている各画素位置のスコアにおける最大スコアが０より大きいか否かを判定する（Ｓ１２）。
【００３６】
Ｓ１２の判定結果がＹｅｓの場合には、自動車が直進していると判断し、Ｓ１１で探索された画素位置の座標（Ｘ座標）を衝突リスク境界に認定する（Ｓ１３）。なお、衝突リスク境界は、水平成分が左方向の動きベクトルと水平成分が右方向の動きベクトルとの分離境界である。本実施形態では、この分離境界である衝突リスク境界を、上述のように動きベクトルの統計的な処理によって求めているので、動く物体（例えば歩行者や前方を横
切る他の車両等）による局所的な動きベクトルの乱れの影響を排除することができる。
【００３７】
そして、その衝突リスク境界から右側の画素を衝突リスク画素として認定し、その衝突リスク画素をリスク強調表示させた撮影画像をディスプレイ４に表示する（Ｓ１４）。
図３は、この時に表示された撮影画像の一例を示す図である。同図に示したように、認定された衝突リスク境界から右側の領域（同図の斜線部分）が衝突リスク画素として認定されリスク強調表示される。なお、同図の灰色に着色した領域は、水平成分が右向きの動きベクトルが抽出された樹木の領域を示す。但し、この灰色に着色した領域は、説明の便宜上、着色したものであって、実際の表示画面では、この領域もリスク強調表示される。
【００３８】
このような表示により、ドライバーは、リスク強調表示された領域に衝突リスクがあることを直感的に判断することができる。図３に示した例では、ドライバーはリスク強調表示された領域中の樹木に衝突する恐れがあることを容易に判断することができる。なお、衝突リスク境界から左側の領域は、自動車とのクリアランスが十分に保たれている領域である。
【００３９】
一方、Ｓ１２の判定結果がＮｏの場合には、左スコアバッファ９及び右スコアバッファ１０を参照し（Ｓ１５）、左スコアバッファ９に格納されているスコアが右スコアバッファ１０に格納されているスコアよりも小さいか否かを判定する（Ｓ１６）。
【００４０】
Ｓ１６の判定結果がＹｅｓの場合には、自動車が左旋回していると判断し、ディスプレイ４の画面全体を衝突リスク領域に認定する（Ｓ１７）。すなわち、全画素を衝突リスク画素に認定する。そして、ディスプレイ４の画面全体をリスク強調表示する（Ｓ１８）。すなわち、全画素を衝突リスク画素としてリスク強調表示させた撮影画像をディスプレイ４に表示する。これにより、ドライバーは、衝突リスクがあることを直感的に判断することができる。
【００４１】
Ｓ１６の判定結果がＮｏの場合には、自動車が右旋回していると判断して、画面全体を衝突リスク領域外に認定し（Ｓ１９）、ディスプレイ４の画面全体を通常表示する（Ｓ２０）。すなわち、撮影画像をディスプレイ４に通常表示する。
【００４２】
以上のような処理をフレーム単位で繰り返し行うことによって、ドライバーは、自動車の走行中における衝突リスクを直感的に判断することができる。
なお、以上のような処理は、次のような原理に基づいている。
【００４３】
図４は、時間軸上で異なる複数フレーム分の画像データから抽出された動きベクトルの模式図である。本実施形態では、外界が静止していてカメラ（自車）側が動くので、画面全体が遠景から近景に流れ、同図に示したように放射状の動きベクトルが得られる（但し、同図はカメラ側が直進している場合の例）。従って、画面のある位置を境に（同図の境界線２１参照）、右ベクトル（水平成分が右方向の動きベクトル）と左ベクトル（水平成分が左方向の動きベクトル）が分水嶺のように分かれる。基本的な動きベクトルは放射状になるので、歩行者や前方を横切る他車等が生み出す動きベクトルの乱れは局所的である（同図点線枠内参照）。従って、統計的（フィルタリング、平均化、ヒストグラム等）に左右ベクトルの分離境界を抽出すれば、外乱への感度を下げることができる。なお、同図の場合、境界線２１より右側の領域は接触の恐れがある領域となり、境界線２１より左側の領域はクリアランス十分の領域となる。例えば、境界線２１より右側の領域中に障害物がある場合にはその障害物に接触の恐れがあり、境界線２１より左側の領域中に障害物がある場合にはその障害物との間に十分なクリアランスが保たれていることになる。
【００４４】
以上、本実施形態によれば、ディスプレイ４の画面を見たドライバーは、衝突リスクを
直感的に判断することができる。
なお、本実施形態では、図２に示したフローチャートのＳ１２及びＳ１３に示したように、分水嶺スコアラインバッファ１１に格納されている最大スコアが０より大きい場合に、その最大スコアの画素位置を衝突リスク境界として認定している。しかしながら、上述の動きベクトルの乱れによる影響等を考慮して、最大スコアが、１以上の所定値（例えば１０など）より大きい場合に衝突リスク境界として認定することも可能である。
【００４５】
また、本実施形態では、時間軸上で連続する或いは間引いた２フレーム分の撮影画像の画像データから動きベクトルを抽出しているが、時間軸上で連続する或いは間引いた３フレーム分以上の撮影画像の画像データから動きベクトルを抽出する構成とすることもできる。
【００４６】
また、本実施形態では、動きベクトルを抽出して処理を行っているが、動きベクトルの代わりにオプティカルフローを抽出して同様に処理を行う構成とすることもできる。
また、本実施形態では、画素毎に動きベクトルを抽出しているが、複数の画素からなる画素ブロック毎に動きベクトルを抽出して同様に処理を行う構成とすることもできる。但し、この場合には、衝突リスク境界の精度が落ちない程度に、１画素ブロックを構成する画素数を決定する必要がある。
【００４７】
また、本実施形態において、サイドミラーのカメラ取り付け位置からそのサイドミラー先端までの車幅方向距離分、衝突リスク境界の位置を補正し、衝突リスク境界の精度を更に向上させることもできる。例えば、カメラ取り付け位置からサイドミラー先端までの車幅方向距離が数センチメートルである場合、図３に示した例では、その数センチメートルに対応する分だけ、衝突リスク境界が現在の位置から左側の位置へ補正される。これにより、衝突リスク境界の精度が更に向上するので、接触リスクのある領域及びクリアランスが保たれている領域の精度も更に向上させることができる。
【００４８】
また、本実施形態では、図１に示した視界補助システムを、左側通行の道路を走行する右ハンドル仕様の自動車に搭載しているが、例えば、右側通行の道路を走行する左ハンドル仕様の自動車に搭載することも勿論可能である。
【００４９】
また、本実施形態では、図１に示した視界補助システムを自動車が搭載する例を説明したが、自動車以外の車両が搭載することも勿論可能である。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施の形態に係る画像処理装置を備えた視界補助システムのブロック図である。
【図２】視界補助システムにおける画像処理ＬＳＩのフレーム単位の処理を示すフローチャートである。
【図３】衝突リスク画素を強調表示させたときの表示画面例である。
【図４】時間軸上で異なる複数フレーム分の画像データから抽出された動きベクトルの模式図である。
【図５】従来の視界補助システムにおけるモニター画面の一例を示す図である。
【符号の説明】
【００５１】
１      カメラ
２      フレームバッファ
３      画像処理ＬＳＩ
４      ディスプレイ
５      後フレーム領域
６      前フレーム領域
７      動きベクトル水平成分抽出器
８      動きベクトル方向判定器
９      左スコアバッファ
１０      右スコアバッファ
１１      分水嶺スコアラインバッファ
１２      大小比較器
１３      最大値画素検出器
１４      直進／左旋回／右旋回判定器
１５      衝突リスク画素強調表示エフェクター
１６      映像表示器
２１      衝突リスク境界
３１      ガイドライン
【図１】
2008205644.tif 000003
【図２】
2008205644.tif 000004
【図３】
2008205644.tif 000005
【図４】
2008205644.tif 000006
【図５】
2008205644.tif 000007