(57)【要約】【課題】通路と通路の外とを挿通する開口部の接近を検出する。【解決手段】進行する方向の先方の撮像するセンサ部と、前記センサ部で撮像された画像に基づいて、前記画像を所定の領域毎にオプティカルフローの大きさを算出するオプティカルフロー算出部と、前記領域毎のオプティカルフローの大きさの変化から撮像された先方の状況を判定するシーン判定部と、を備え、前記シーン判定部は、オプティカルフローの大きさの変化点から、先方には進行する方向に対して交差し開口している開口部が存在すると判定し、オプティカルフローの大きさの変化点の移動から、先方に存在する前記開口部に接近したか否かを判定する。【選択図】図１
2015011502.tif 000002
【特許請求の範囲】
【請求項１】
進行方向の先方を撮像するセンサ部と、
前記センサ部で撮像された画像の所定の領域毎にオプティカルフローの大きさを算出するオプティカルフロー算出部と、
前記領域毎のオプティカルフローの大きさの変化に基づいて前記先方の状況を判定するシーン判定部と、を備えることを特徴とする先方状況判定装置
【請求項２】
前記シーン判定部は、オプティカルフローの大きさの変化点に基づいて、前記先方には進行方向に対して交差し開口している開口部が存在するか否かを判定することを特徴とする請求項１に記載の先方状況判定装置。
【請求項３】
前記シーン判定部は、オプティカルフローの大きさの変化点の移動に基づいて、前記先方に存在する前記開口部に達したか否か判定することを特徴とする請求項２に記載の先方状況判定装置。
【請求項４】
前記シーン判定部により判定した先方の状況に応じて、音もしくは画像にて報知する報知部を備えることを特徴とする請求項１〜３に記載の先方状況判定装置。
【請求項５】
進行する方向の先方の撮像するセンサ部と、
前記センサ部で撮像された画像に基づいて、前記画像を所定の領域毎にオプティカルフローの大きさを算出するオプティカルフロー算出部と、
前記領域毎のオプティカルフローの大きさの変化から撮像された先方の状況を判定するシーン判定部と、
モニタと、
を備え、
前記シーン判定部は、進行する方向に対して交差し開口している開口部に接近したと判定した場合に、前記モニタに前記画像を表示させることを特徴とする安全運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、先方状況判定装置、安全運転支援装置に関する。
【背景技術】
【０００２】
見通しの悪い交差点で運転者の見通しを支援する技術が提案されている。単に車両の左右を撮影するカメラを装備するだけでなく、通常のナビゲーション等の画面から左右を確認するカメラの映像への切換えを、運転者の操作によらず車両の停止状態、減速加速度などの情報や停止線からの車両前部の突き出し量、オプティカルフローを基に自動で行う。最終的には運転者の目視による確認が必要とはいえ、見通しが悪く運転者が見通せない交差点においては出合い頭の事故を防ぐ上でも重要な支援技術である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０-００２２７５号公報
【特許文献２】特開２００９-２４６８０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の発明では、停止、低速などの車速情報や側方のオプティカルフローを利用して道路幅を検出し、道路の幅が設定された値以下であるか否かによって、車内のモニタへ側方カメラの映像を表示する技術が提案されている。しかしながら、停止する際に必ずしも外界のモニタが必要とは限らず、地図情報を確かめるために停止することもある。確認の為に低速走行する場合であっても、視界が開けていれば目視で確認する方が確実である。オプティカルフローで道路の幅を検出する際、家の柵や家と家の間等、環境の変化がある為道幅を把握することは困難である。
また、特許文献２の発明では、停止線位置を検出し、停止線を超えてカメラが備えられた位置が適当な位置に到達した時に運転者に報知する技術が開示されているが、停止線と見通しを阻害する物との位置関係は必ずしも一定とは限らない。  本発明はこのような問題点に鑑みなされたものであり、通路と通路の外とを挿通する開口部の接近を精度良く検出することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、上述した従来の技術の課題を解決するため、
進行方向の先方を撮像するセンサ部と、前記センサ部で撮像された画像の所定の領域毎にオプティカルフローの大きさを算出するオプティカルフロー算出部と、前記領域毎のオプティカルフローの大きさの変化に基づいて前記先方の状況を判定するシーン判定部と、を備えることを特徴とする先方状況判定装置を提供するものである。
【０００６】
また本発明は、
進行する方向の先方の撮像するセンサ部と、前記センサ部で撮像された画像に基づいて、前記画像を所定の領域毎にオプティカルフローの大きさを算出するオプティカルフロー算出部と、前記領域毎のオプティカルフローの大きさの変化から撮像された先方の状況を判定するシーン判定部と、モニタと、を備え、前記シーン判定部は、進行する方向に対して交差し開口している開口部に接近したと判定した場合に、前記モニタに前記画像を表示させることを特徴とする安全運転支援装置を提供するものである。
【発明の効果】
【０００７】
本発明の先方状況判定装置によれば、通路と通路の外とを挿通する開放部の接近を精度良く検出することが可能な先方状況判定装置を提供する事ができる。
また、本発明の安全運転支援装置によれば、見通しの悪い場所に近づいた場合のみ、前方の画像をモニタで確認することができる安全運転支援装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態における先方状況判定装置のブロック図である。
【図２】オプティカルフローによる先方状況の判定を説明するための説明図である。
【図３】オプティカルフローによる先方状況の判定を説明するための説明図である。
【図４】オプティカルフローによる先方状況の判定を説明するための説明図である。
【図５】実施形態における安全運転支援装置のブロック図である。
【図６】左右の見通しが悪い交差点における先方状況の判定を説明するための説明図である。
【図７】右側のみ見通しが悪い交差点における先方状況の判定を説明するための説明図である。
【図８】左右の見通しが良い交差点における先方状況の判定を説明するための説明図である。
【図９】上方向の先方状況の判定を説明するための説明図である。
【図１０】水平視野角が１８０度の場合の検出範囲を説明するための説明図である。
【発明を実施するための形態】
【０００９】
以下、本発明の本発明の実施形態について添付図面を参照して詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
【００１０】
図１は、本発明の一実施形態に係る先方状況判定装置１のブロック図である。
先方状況判定装置１は、少なくとも、センサ部１０１と、オプティカルフロー算出部１０２と、シーン判定部１０３と、オプティカルフロー閾値設定部１０４と、報知部１０５と、を備える。
【００１１】
センサ部１０１は、例えば、カメラ等の光学画像検出手段である。センサ部１０１は、撮像したものを画像情報としてオプティカルフロー算出部１０２に出力する。
【００１２】
オプティカルフロー算出部１０２は、画像情報からオプティカルフローを算出し、所定のブロック毎のオプティカルフローの大きさの平均値をシーン判定部１０３に出力する。
【００１３】
シーン判定部１０３は、オプティカルフロー閾値設定部１０４により定める所定の閾値を元にセンサ部１０１が撮像範囲の状況を判定する。
【００１４】
報知部１０５は、画像、音、振動等により判定結果を報知する。
【００１５】
オプティカルフローにより、どのように先方の状況を判断するかの概略を説明する。
図２ａは、断面形状が円の通路の一端側から見た画像である。先方には通路の断面形状と同じ円形の出口があり、その先は空間が広がっているとする。
先方状況判定装置１が、この通路を前方つまり出口方向に向かって進むこととすると、内壁面は一様であることから、オプティカルフローは、図２ｂのように画像の中心から外側に向かって一様なオプティカルフローとなる。
【００１６】
図２ｃは、オプティカルフロー算出部１０２の平均値を求める所定のブロックを放射状として求める場合の図である。この場合、内壁面には出口の無い通路であるため、各ブロックのオプティカルフローは同一の大きさとなる。
【００１７】
シーン判定部１０３は、所定のブロック毎のオプティカルフローの大きさをオプティカルフロー閾値設定部１０４により定められる閾値により判定する。
各ブロックの面積を等しくすると、その閾値は画像の中心からの距離に等しく、つまり閾値は円状であり、オプティカルフロー閾値設定部１０４は円状の閾値の半径を定めていることになる。
【００１８】
先方状況判定装置１が、図３ａのように出口に近づくにつれ、出口の開口部は広大な空間であるとすれば動きは検出できないことから、開口部に対応したオプティカルフローは短く小さいものとなりその向きも一様でなくなることになる。通路内壁によるオプティカルフローは外周に向かい放射状ではあるが極短い大きさとなる。
よって閾値を所定の大きさに定め、オプティカルフローの大きさを判断すれば開口部の接近を検出することが可能となる。
【００１９】
図４ａは、正面に出口があり、途中の内壁面に出口もしくは他の通路（以降開放部と記載する）がある場合を示している。自位置に近い位置に開放部４１があり、遠い位置に開放部４２がある。
【００２０】
図４ｂは、図４ａの場合のオプティカルフローであり、内壁面の解放部がある箇所のオプティカルフローの大きさは小さくなる。またオプティカルフロー位置も、開放部４１の箇所では画像の中心に近い個所４１ｂとなり、また開放部４２の箇所では画像の外周に近い個所となる。
【００２１】
オプティカルフロー算出部１０２の平均値を求める所定ブロックを図４ｃのように放射状かつ複数の同心円とし、シーン判定部１０３がブロック毎に大きさを判定することにより、開放部がどの方向にあるか、さらに近くであるか遠くであるかを判定することができる。
また、外周付近にオプティカルフローの存在が検出されない場合、開放部に接近したと判定でき、またその開放部のある方向も特定することができる。
【００２２】
撮像した画像から実際の距離を測定することは、通路の大きさによることから計測は困難ではある。しかし図１０に示すように、撮像範囲の水平方向の視野角が１８０度のセンサ部１０１を用いた場合は、撮像した画像の外周部がセンサ部１０１の位置から進行方向に対してゼロ距離となることは明らかである。よって先方状況判定装置１が図１０の進行方向に進行する場合、開放部への到達を判定することができる。
【００２３】
先方状況判定装置１は、開放部が左右に限らず正面の３６０度いずれの向きに存在しても検出することが可能である。
【００２４】
オプティカルフローが所定の大きさ以下となったことを検出した場合には、面が途切れている箇所を検出していることになる。これにより通路に他の通路が交差していることが検出できることになる。また、通路を道路と考え、開放部を交差点と考えると、道路の先方の状況を判定できる。本発明の先方状況判定装置１を車両等に搭載することで安全運転の為の支援に用いることが可能となる。
【００２５】
以降は、車両に本発明の先方状況判定装置１を搭載した安全運転支援装置１０の説明をする。
図５は、図１における報知手段である報知部１０５をナビゲーション装置１０６とした安全運転支援装置１０の構成図である。
センサ部１０１は、車両前部に取り付けられた車外カメラであり、１８０度の水平視野角を有する。
センサ部１０１により撮像した画像を、ナビゲーション装置１０６の図示しない表示部に、必要に応じて表示することにより安全運転の支援を行う。
具体的には、先に説明した先方状況判定装置１の構成により交差点への接近を検出し、交差点に接近した際にセンサ部１０１が撮像した画像をナビゲーション装置１０６の表示部に表示することにより、交差点の状況を確認することができる。
【００２６】
図６は、車両等に搭載された安全運転支援装置１０のセンサ部１０１が車両前方を撮像した画像である。
図６ａは、Ｂのような建物もしくは壁により見通しが悪い交差点Ａ１を示している。
図６ｂは、一方がＢのような建物もしくは壁により見通しが悪く、他方はＣのように見通しがよい交差点Ａ２を示している。
図６ｃは、見通しのよい交差点Ａ３を示している。
それぞれの交差点Ａ１〜Ａ３をセンサ部１０１が撮像した場合に、オプティカルフロー算出部１０２が算出したオプティカルフローからどのようにシーンを判定し先方の状況を判定するかを説明する。
【００２７】
図７ａは、図６ａに示す交差点Ａ１を撮像した画像情報から算出されたオプティカルフローを示す。
Ｂの部分は、建物または壁であるため、大きなオプティカルフローが算出される。Ｄの部分は交差点Ａ１の先の両脇にある建物または壁をほぼ正面から撮像しているため、小さなオプティカルフローが算出される。
道路の交差点を検出することを目的とするならば、左右方向に交差する場合のみであることから、検出したオプティカルフローを水平方向にブロックを分割し、そのブロック毎のオプティカルフローの大きさで先方に交差点もしくは出入り口といった存在を判定することが出来る。
【００２８】
図８ａは、格子状のブロックＧ１〜Ｇ６にて、オプティカルフローの大きさを斜線で示したエリアの大きさで表している。ブロック内のオプティカルフローの平均をそのブロックのオプティカルフローの大きさとしてもよい。
オプティカルフロー算出部１０２が算出したブロック毎のオプティカルフローの大きさに対して、オプティカルフロー閾値設定部１０４が図８ａのＳ１で示す所定の閾値を設定する。設定された閾値に基づいてシーン判定部１０３は、先方の状況を判定する。
【００２９】
画像の周囲であるＧ１，Ｇ６のブロックは、図６ａにおける建物もしくは壁により大きなオプティカルフローが検出できる。これは閾値Ｓ１より大きいことからＧ１、Ｇ６の撮像箇所は進行方向と平行した面であると判断される。
Ｇ２、Ｇ５のブロックはＧ１，Ｇ２に対して小さなオプティカルフローしか検出できない。これは閾値Ｓ１より小さいことから、進行方向に平行した面は無いと判断される。
Ｇ３、Ｇ４は、撮像されるのが中央ほど遠方であることから、大きなオプティカルフローが生じることはないが、閾値Ｓ１より大きなオプティカルフローを検出しているのであれば、その先にはまだ進行方向と並行する面が存在すると判断される。
【００３０】
シーン判定部１０３は、オプティカルフローの変化点から、Ｇ２、Ｇ５のところには、交差点もしくは出入り口が存在し、またその交差点や出入り口が直近であるか遠方であるか、といった判定を行う。
【００３１】
図７ｂは、図６ｂに示す交差点Ａ２を撮像した画像情報から算出されたオプティカルフローを示す。図７ａと異なり図７ｂは、Ｃのエリアのオプティカルフローが小さくなっている。
そのため、図８ｂは、ブロックＧ１のオプティカルフローの大きさが閾値Ｓ１より小さくなるため、Ｇ１の撮像箇所には進行方向と平行した面がないと判断される。
ブロックＧ１以外は、図８ａと同様である。
【００３２】
シーン判定部１０３は、これらの情報から、Ｇ５のところには、交差点もしくは出入り口が存在し、またその交差点や出入り口が直近であるか遠方であるか、といった判定を行う。また、左側は、Ｇ２の位置までは箇所は見通しがよいと判定する。
【００３３】
図７ｃは、図６ｃに示す交差点Ａ３を撮像した画像情報から算出されたオプティカルフローを示す。図７ａと異なり図７ｃは、Ｃのエリアのオプティカルフローが小さくなっている。
そのため、図８ｃは、ブロックＧ１、Ｇ６のオプティカルフローの大きさが閾値Ｓ１より小さくなるため、Ｇ１、Ｇ６の撮像箇所には進行方向と平行した面がないと判断される。
ブロックＧ１、Ｇ６以外は、図８ａと同様である。
【００３４】
シーン判定部１０３は、これらの情報から、左側はＧ２の位置まで、また右側はＧ５の位置までは箇所は見通しがよいと判定する。
【００３５】
安全運転支援装置１０を搭載した車両が、前方に移動しているものとすれば、検出されるオプティカルフローの大きさは変化する。よって安全運転支援装置１０は、オプティカルフローの大きさの変化により交差点までの距離、またその交差点は見通しが良いのか悪いのかを判定し、車両を運転するドライバーの安全運転を支援することが可能となる。
【００３６】
先方状況判定装置１を用いることにより、少なくとも左右いずれか一方の見通しの悪い交差点に接近した場合に、報知部１０５による、画像、音等によりドライバーに対し交差点接近の注意を喚起することができる。
【００３７】
先方状況判定装置１を用いた安全運転支援装置１０によれば、少なくとも左右いずれか一方の見通しの悪い交差点に接近した場合にナビゲーション装置１０６のモニタに前方を撮像した画像を表示することにより、ドライバーは直接見ることが出来ない交差点で交差する道路の状況を画像により判断することができる。
また、左右どちらも見通しの良い交差点に接近した場合には、交差点で交差する道路の状況は目視できるためナビゲーション装置１０６に先方状況を表示する必要はない。
【００３８】
また、少なくとも左右いずれか一方の見通しの悪い交差点への接近で、モニタを交差点の画像に切り替える判定を行う距離より所定時間もしくは所定距離前倒しで、ドライバーに対して、音や合成音によるアナウンス等の報知手段で、交差点接近の注意を喚起してもよい。
【００３９】
先に説明した安全運転支援装置１０における先方状況判定装置１の判定は、水平方向に交差する交差点の判定であったが、垂直方向を含め３次元的な検出を行ってもよい。
例えば、図９ａは、車庫、トンネル、地下駐車場といった上下左右が閉鎖された空間から、道路Ａ４に出る場合を撮像した画像である。
オプティカルフローは、図９ｂに示すように上下左右は壁に囲まれており進行方向と平行であることから大きく、正面ある建物もしくは壁は進行方向と垂直であることからオプティカルフローは小さくなる。
オプティカルフローの算出は、前記した放射状かつ同心円で区分けしたブロック毎でもよいが、格子状に区分けしてブロック毎のオプティカルフローの大きさの平均値としてもよい。
【００４０】
ブロック毎Ｇ１：Ｈ１、Ｇ１：Ｈ２、・・・・Ｇ６：Ｈ５のオプティカルフローの大きさを高さ方向として斜視図で表したのが図９ｃである。
シーン判定部１０３は、オプティカルフロー閾値設定部１０４に設定された所定の閾値Ｓ２に基づいてブロック毎のオプティカルフローの大きさから先方の状況を判定する。図９ｃにおける閾値Ｓ２は、所定の高さの面で表される。
画像の外周部のブロックのオプティカルフローの大きさを表す高さが最も高い。
画像で地面の箇所のＧ２：Ｈ４、Ｇ３：Ｈ４、Ｇ４：Ｈ４、Ｇ５：Ｈ４は、外周部に比べ多少遠方であることから、外周よりオプティカルフローの大きさを示す高さがやや低くなる。これらの箇所のオプティカルフローの大きさは閾値Ｓ２よりも大きい。
正面の建物もしくは壁の箇所は（Ｇ２〜Ｇ５）：（Ｈ２〜Ｈ３）の領域となるが図９斜視図のため（Ｇ２〜Ｇ５）：Ｈ３は見えていないが、（Ｇ２〜Ｇ５）：Ｈ２と同程度の高さとなっている。このエリアのオプティカルフローの大きさは閾値面Ｓ２より低い。
【００４１】
Ｇ１とＧ２との間で、またＧ５とＧ６との間でオプティカルフローの大きさの変化があることから、左右方向にある壁が途切れる箇所があり、その先が開放された空間であると判定できる。これは図６〜８で説明した交差点の検出と同じである。
さらには、Ｈ１とＨ２との間でもオプティカルフローの変化があることから、天井がＨ１とＨ２との間で途切れ、上方向に開放された空間が存在すると判定できる。
たとえば車庫から出る場合であるとして、出口の直近になった場合に、この安全運転支援装置１０により前方を撮像した画像をナビゲーション装置のモニタに表示することにより、左右だけでなく上方から落下物（落石、台風による飛来物等）の有無を確認することができる。
【００４２】
むろん上方だけでなく、下方に関しても以下のような場合に有効である。
下り坂にかかる直前や上り坂を登りその先が平坦もしくは下り坂といった場合には、先方の状況の視界が車両のボンネットにより妨げられることがある。そういった状況を判定し、目視不可能な先方の状況を先方の状況を適時モニタに表示することにより安全運転を支援することが可能となる。
【００４３】
また、事前にさまざまな交差点などを走行した場合のオプティカルフローを構成する大きさの割合の変化をシーン毎に統計的に整理して蓄積しておき、これと実際に走行中の値を比較することでシーンを判定することも考えられる。事前に蓄積しておくシーン毎の値は、走行速度、時間帯、交差点からの距離などいくつかのパラメータの中から機械学習によって、シーン判定に有効な度合いに応じて重み付きで利用してもよい。
【符号の説明】
【００４４】
１  先方状況判定装置
１０１  センサ部、１０２  オプティカルフロー算出部、１０３  シーン判定部、
１０４  オプティカルフロー閾値設定部、１０５  報知部
１０  安全運転支援装置、１０６  ナビゲーション装置
【図１】
2015011502.tif 000003
【図２】
2015011502.tif 000004
【図３】
2015011502.tif 000005
【図４】
2015011502.tif 000006
【図５】
2015011502.tif 000007
【図６】
2015011502.tif 000008
【図７】
2015011502.tif 000009
【図８】
2015011502.tif 000010
【図９】
2015011502.tif 000011
【図１０】
2015011502.tif 000012