(57)【要約】【課題】自車側方を乗員が把握し易い表示画像を適切な場面で出力することが可能な車両周辺監視装置の提供。【解決手段】自車周辺の外部環境を撮像するカメラの画像情報に基づき生成する前記外部環境の表示画像を表示部に出力する車両周辺監視装置において、前記表示画像は、自車の左右の側面のうちの一方の側面及び自車の後部又は前部を斜め上方から視る第１所定視点からの第１表示画像を含み、自車の所定の第１の走行状況、自車側方における所定の周辺状況、及び、ウィンカーレバーの操作状態の少なくともいずれかにおいて、前記第１表示画像を生成及び出力する第１表示画像出力部を含む。【選択図】  図３
2018101957.tif 000002
【特許請求の範囲】
【請求項１】
自車周辺の外部環境を撮像するカメラの画像情報に基づき生成する前記外部環境の表示画像を表示部に出力する車両周辺監視装置において、
前記表示画像は、自車の左右の側面のうちの一方の側面及び自車の後部又は前部を斜め上方から視る第１所定視点からの第１表示画像を含み、
自車の所定の第１の走行状況、自車側方における所定の周辺状況、及び、ウィンカーレバーが操作されている状態、のうちの少なくともいずれかにおいて、前記第１表示画像を生成及び出力する第１表示画像出力部を含む、車両周辺監視装置。
【請求項２】
前記第１表示画像出力部は、前記第１の走行状況において、前記第１表示画像を生成及び出力し、
前記第１の走行状況は、中立位置からの操舵角の大きさが所定角以上である操舵状態を含む、請求項１に記載の車両周辺監視装置。
【請求項３】
前記第１の走行状況は、所定車速以下である車速状態を更に含む、請求項２に記載の車両周辺監視装置。
【請求項４】
前記第１の走行状況は、シフトポジションが前進用レンジにある状態を更に含み、
前記第１表示画像出力部は、自車の左右の側面のうちの内輪側の側面及び自車の後部を斜め上方から視る前記第１所定視点からの前記第１表示画像を生成及び出力する、請求項２又は３に記載の車両周辺監視装置。
【請求項５】
前記第１の走行状況は、自車が所定の左折地点又は右折地点に接近又は到着した状態を更に含む、請求項４に記載の車両周辺監視装置。
【請求項６】
自車側方の障害物を検出するセンサを更に含み、
前記所定の周辺状況は、前記障害物が前記センサにより検出されている状態を含み、
前記第１表示画像出力部は、前記所定の周辺状況かつ前記第１の走行状況において、前記第１表示画像を生成及び出力する、請求項２〜５のうちのいずれか１項に記載の車両周辺監視装置。
【請求項７】
前記表示画像は、自車を後方かつ斜め上方から左右対称に視る第２所定視点からの第２表示画像を更に含み、
直進状態を含む所定の第２の走行状況において、前記第２表示画像を生成及び出力する第２表示画像出力部を更に含む、請求項１〜６のうちのいずれか１項に記載の車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両周辺監視装置に関する。
【背景技術】
【０００２】
自車周辺の外部環境を撮像するカメラの画像情報に基づいて、外部環境の合成画像を生成し、生成した合成画像を表示部に出力する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2012-217000号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような従来技術では、自車側方を乗員が把握し易い表示画像を適切な場面で出力するものではなく、運転支援に改善の余地がある。例えば、自車を略真上から視た俯瞰画像は、乗員が自車の周囲を全体的に把握するのには有用であるが、その反面、自車の周囲のうちの局所的な範囲、例えば自車側方を乗員が把握する際は、有用性が若干落ちる。乗員にとっては、自車の周囲を全体的に把握するよりも、自車側方を把握する方が有用な場面（例えばいわゆる巻き込み確認が必要な場面など）がある。
【０００５】
そこで、一側面によれば、本発明は、自車側方を乗員が把握し易い表示画像を適切な場面で出力することが可能な車両周辺監視装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
一側面によれば、自車周辺の外部環境を撮像するカメラの画像情報に基づき生成する前記外部環境の表示画像を表示部に出力する車両周辺監視装置において、
前記表示画像は、自車の左右の側面のうちの一方の側面及び自車の後部又は前部を斜め上方から視る第１所定視点からの第１表示画像を含み、
自車の所定の第１の走行状況、自車側方における所定の周辺状況、及び、ウィンカーレバーが操作されている状態、のうちの少なくともいずれかにおいて、前記第１表示画像を生成及び出力する第１表示画像出力部を含む、車両周辺監視装置が提供される。
【０００７】
かかる車両周辺監視装置によれば、自車の左右の側面のうちの一方の側面及び自車の後部又は前部を斜め上方から視る第１所定視点からの外部環境の第１表示画像が生成され、生成された第１表示画像が表示部に出力される。第１所定視点は、自車の左右の側面のうちの一方の側面及び自車の後部又は前部を斜め上方から視るものであるので、当該一方の側面側の自車側方を乗員が把握し易くなる。また、自車の所定の第１の走行状況、自車側方における所定の周辺状況、及び、ウィンカーレバーの操作状態の少なくともいずれかにおいて、第１表示画像が出力されるので、自車側方を乗員が把握するのが有用な場面（例えば巻き込み確認が必要な場面など）に、第１表示画像を出力することが可能となる。このようにして、自車側方を乗員が把握し易い表示画像を適切な場面で出力することが可能となる。
【０００８】
第２態様では、前記第１表示画像出力部は、前記第１の走行状況において、前記第１表示画像を生成及び出力し、
前記第１の走行状況は、中立位置からの操舵角の大きさが所定角以上である操舵状態を含む。
【０００９】
第２態様によれば、自車が旋回や旋回前であるときに第１表示画像を出力できる。自車が旋回や旋回前であるときは、自車側方を乗員が把握するのが有用な場面となり得るため、適切な運転支援を実現できる。尚、"旋回前"とは、停車状態で中立位置からの操舵角の大きさが０よりも有意に大きい状態である。"旋回前"は、例えば旋回中の一時停止や、いわゆるステアリングの据え切り等により発生する。
【００１０】
第３態様では、前記第１の走行状況は、所定車速以下である車速状態を更に含む。
【００１１】
第３態様によれば、所定車速以下である車速状態において第１表示画像を出力できる。自車側方を乗員が把握するのが有用な場面となるときは、停車状態での旋回前や比較的低速での旋回である場合が多いので、表示画像を適切な場面で出力することが可能となる。
【００１２】
第４態様では、前記第１の走行状況は、シフトポジションが前進用レンジにある状態を更に含み、
前記第１表示画像出力部は、自車の左右の側面のうちの内輪側の側面及び自車の後部を斜め上方から視る前記第１所定視点からの前記第１表示画像を生成及び出力する。
【００１３】
第４態様によれば、前進走行状態での旋回や、前進用レンジでの停車状態の旋回前であるときに、内輪側の安全確認が容易となる。
【００１４】
第５態様では、前記第１の走行状況は、自車が所定の左折地点又は右折地点に接近又は到着した状態を更に含む。
【００１５】
第５態様によれば、所定の左折地点又は右折地点で第１表示画像を出力できる。右左折地点で自車が旋回や旋回前であるときは、自車側方を乗員が把握するのが有用な場面となり得るため、適切な運転支援を実現できる。
【００１６】
第６態様では、自車側方の障害物を検出するセンサを更に含み、
前記所定の周辺状況は、前記障害物が前記センサにより検出されている状態を含み、
前記第１表示画像出力部は、前記所定の周辺状況かつ前記第１の走行状況において、前記第１表示画像を生成及び出力する。
【００１７】
第６態様によれば、旋回や旋回前であり且つ自車側方の障害物が検出されているときは、自車側方を乗員が把握するのが有用な場面となり得るため、適切な運転支援を実現できる。
【００１８】
第７態様では、前記表示画像は、自車を後方かつ斜め上方から左右対称に視る第２所定視点からの第２表示画像を更に含み、
直進状態を含む所定の第２の走行状況において、前記第２表示画像を生成及び出力する第２表示画像出力部を更に含む。
【００１９】
第７態様によれば、直進状態を含む所定の第２の走行状況において、自車の周囲を全体的に把握し易い第２表示画像を出力できる。
【発明の効果】
【００２０】
自車側方を乗員が把握し易い表示画像を適切な場面で出力することが可能な車両周辺監視装置が得られる。
【図面の簡単な説明】
【００２１】
【図１】本実施例に係る車両周辺監視装置１の構成の一例を示す図である。
【図２】カメラ９０の撮像範囲の一例を表す図である。
【図３】制御装置４０の機能の一例を示す機能ブロック図である。
【図４Ａ】左旋回用表示画像の一例を示す図である。
【図４Ｂ】右旋回用表示画像の一例を示す図である。
【図４Ｃ】直進用表示画像の一例を示す図である。
【図５】制御装置４０により実行される処理の一例を示す概略フローチャートである。
【図６】制御装置４０により実行される処理の他の一例を示す概略フローチャートである。
【発明を実施するための形態】
【００２２】
以下、添付図面を参照しながら各実施例について詳細に説明する。
【００２３】
図１は、一実施例に係る車両周辺監視装置１の構成の一例を示す図である。
【００２４】
車両周辺監視装置１は、車両に搭載される。車両周辺監視装置１は、制御装置４０と、車載電子機器群８とを含む。以下、車両周辺監視装置１が搭載される車両を「自車」と称する。
【００２５】
制御装置４０は、コンピュータにより形成される。例えば、制御装置４０は、ＥＣＵ（Electronic Control Unit）である。図１は、制御装置４０のハードウェア構成の一例を示す図である。図１には、制御装置４０のハードウェア構成に関連付けて、車載電子機器群８が模式的に図示されている。
【００２６】
制御装置４０は、バス１９で接続されたＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、補助記憶装置１４、及び通信インターフェース１７、並びに、通信インターフェース１７に接続された有線送受信部２５を含む。
【００２７】
有線送受信部２５は、ＣＡＮ（controller area network）やＬＩＮ（Local Interconnect Network）などの車両ネットワークを利用して通信可能な送受信部を含む。制御装置４０には、有線送受信部２５を介して、車載電子機器群８が接続される。尚、制御装置４０は、有線送受信部２５に加えて、通信インターフェース１７に接続される無線送受信部（図示せず）を備えてもよい。この場合、無線送受信部は、近距離無線通信（ＮＦＣ：Near Field Communication）部、ブルーツース（登録商標）通信部、Ｗｉ−Ｆｉ（Wireless-Fidelity）送受信部、赤外線送受信部などを含んでもよい。
【００２８】
車載電子機器群８は、ステアリングセンサ８０、ＧＰＳ（Global Positioning System）受信機８１と、車速センサ８２と、ディスプレイ８３（表示部の一例）と、操作スイッチ８４と、ウィンカーレバースイッチ８５と、測距センサ８６と、ナビゲーション装置８７と、シフトポジションセンサ８８と、カメラ９０とを含む。
【００２９】
ステアリングセンサ８０は、ステアリングホイールの操舵角を表す舵角情報を出力する。舵角情報は、操舵方向（右周り又は左回り）を表す情報と、中立位置からの操舵角の大きさを表す情報を含む。
【００３０】
ＧＰＳ受信機８１は、ＧＰＳ衛星からの電波に基づいて、自車位置を測位する。
【００３１】
車速センサ８２は、車速を表す車速情報を出力する。
【００３２】
ディスプレイ８３は、例えばタッチパネル式の液晶ディスプレイである。ディスプレイ８３は、自車の乗員（乗員）が目視可能な位置に配置される。ディスプレイ８３は、自車内に固定されるディスプレイであるが、自車内に持ち込まれうる携帯端末のディスプレイであってもよい。この場合、携帯端末と制御装置４０との間の通信は、無線送受信部（例えばブルーツース通信部）を介して実現できる。
【００３３】
操作スイッチ８４は、後述する巻き込み確認画面出力機能のオン／オフするためのスイッチであり、車室内に配置される。
【００３４】
ウィンカーレバースイッチ８５は、ウィンカーレバー（図示せず）の状態を表す情報（以下、「ウィンカーレバー情報」と称する）を出力する。例えば、ウィンカーレバースイッチ８５は、ウィンカーレバーの操作された状態(ウィンカーレバーの操作状態)において、ウィンカーレバー情報としてオン信号を出力する。オン信号の種類は、例えば、ウィンカーレバーが上側に操作されたときの第１オン信号と、下側に操作されたときの第２オン信号を含む。
【００３５】
測距センサ８６は、自車の左右の側部にそれぞれ設けられる。測距センサ８６は、自車側方に超音波を送信し、超音波の反射波に基づいて、障害物を検出する。測距センサ８６は、障害物を検出した場合に、その旨を表す情報（以下、「障害物検出情報」と称する）を出力する。測距センサ８６は、乗員によりオン／オフが可能である。
【００３６】
ナビゲーション装置８７は、ＧＰＳ受信機８１からの自車位置情報と、予め記憶された地図情報とに基づいて、右左折ポイントへの自車の接近又は到着を検出する。例えば、ナビゲーション装置８７は、案内ルートが設定されている場合に、案内ルート上の右左折ポイント（所定の左折地点又は右折地点の一例）に対する自車位置の距離が所定距離Ｄ０以下となった場合に、右左折ポイントへの自車の接近又は到着イベントを表す情報（以下、「右左折ポイント到来トリガ」と称する）を出力する。所定距離Ｄ０は、右左折ポイントへの自車の接近又は到着イベントを検出するための閾値であり、ＧＰＳ受信機８１からの自車位置情報の精度等に依存して適合される適合値であるが、例えば１０ｍである。
【００３７】
また、ナビゲーション装置８７は、ＧＰＳ受信機８１からの自車位置情報と、乗員により予め設定された右左折ポイント（所定の左折地点又は右折地点の一例）とに基づいて、乗員により設定された右左折ポイントへの自車の接近又は到着を検出する。ナビゲーション装置８７は、乗員により設定された右左折ポイントに対する自車位置の距離が所定距離Ｄ０以下となった場合、該右左折ポイントへの自車の接近又は到着イベントを表す情報（以下、区別せずに、「右左折ポイント到来トリガ」と称する）を出力する。以下、このようなナビゲーション装置８７の右左折ポイント到来トリガを出力する機能を、「ポイント到来トリガ出力機能」と称する。
【００３８】
シフトポジションセンサ８８は、シフトポジションを表す情報（以下、「シフトポジション情報」と称する）を出力する。
【００３９】
カメラ９０は、例えば、ＣＣＤ（charge-coupled device）やＣＭＯＳ（Complementary Metal Oxide−Semiconductor）等の撮像素子を含み、自車周辺を撮像する撮像手段である。カメラ９０は、それぞれ、自車の前方、後方、左側方及び右側方をそれぞれ撮像するカメラ９０ａ、カメラ９０ｂ、カメラ９０ｃ及びカメラ９０ｄを含む。
【００４０】
カメラ９０ａは、例えば、自車のフロントグリル中央部に設けられ、自車の前方を撮像する。カメラ９０ｂは、例えば、自車のリアウインドウ上端中央部に設けられ、自車の後方を撮像する。カメラ９０ｃは、例えば、自車左側のドアミラー下部に設けられ、自車の左側方を撮像する。カメラ９０ｄは、例えば、自車右側のドアミラー下部に設けられ、自車の右側方を撮像する。
【００４１】
カメラ９０ａ〜９０ｄは、それぞれ、撮像画像を制御装置４０に与える。カメラ９０ａ〜９０ｄは、協動して、自車の全方位にわたり自車周辺の外部環境を撮像する。ここで、図２を用いて、カメラ９０の撮像範囲の一例について説明する。
【００４２】
図２は、カメラ９０の撮像範囲の一例を表す図である。
【００４３】
なお、図中、カメラ９０ｂ、９０ｄは、自車の陰になって視認することができない状態である。
【００４４】
図２で図示するように、カメラ９０ａ〜９０ｄは、それぞれ、自車の前方、後方、左側方及び右側方に隣接する路面部分Ａ１ａ〜Ａ１ｄを撮像可能な撮像範囲を有する。そのため、カメラ９０ａ〜９０ｄは、運転者からは視認できない自車周辺の様子を撮像することができる。
【００４５】
また、路面部分Ａ１ａ〜Ａ１ｄを重ね合わせた路面部分Ａ１は、自車を取り囲んでいる。すなわち、カメラ９０は、自車を３６０°取り囲む路面部分Ａ１を撮像可能な撮像範囲を有する。
【００４６】
図３は、制御装置４０の機能の一例を示す機能ブロック図である。
【００４７】
制御装置４０は、カメラ９０ａ〜９０ｄから受信する各撮像画像に基づき合成画像を生成し、生成した合成画像に基づいて、ディスプレイ８３（図１参照）に表示する表示画像（後述の左旋回用表示画像等）を生成する。尚、複数のカメラからの各撮像画像に基づき合成画像を生成する方法は、例えば、特許文献１に開示される方法などを用いることができる。制御装置４０は、生成した表示画像に対応する画像信号をディスプレイ８３に与えることで、表示画像をディスプレイ８３上に表示する。
【００４８】
制御装置４０は、第１立体画像生成部４１と、第２立体画像生成部４２と、表示制御部４４とを含む。第１立体画像生成部４１、第２立体画像生成部４２、及び表示制御部４４は、ＣＰＵ１１が記憶装置（例えばＲＯＭ１３）内の１つ以上のプログラムを実行することで実現できる。
【００４９】
第１立体画像生成部４１は、左旋回用表示画像を生成する。左旋回用表示画像は、自車の左側面及び後部を斜め上方から視る左旋回用視点（第１所定視点の一例）から自車周辺の外部環境の画像（後述の左旋回用立体画像部５０）（第１表示画像の一例）を含む。左旋回用視点は、自車の左後輪（左旋回に際して内輪側の後輪）が見える視点である。
【００５０】
図４Ａは、左旋回用表示画像の一例を示す図である。
【００５１】
図４Ａに示す例では、左旋回用表示画像は、左旋回用立体画像部５０（第１表示画像の一例）と、上面視画像部５１とを含む。
【００５２】
左旋回用立体画像部５０は、自車周辺画像部５００と、自車表示５１０とを含む。自車周辺画像部５００は、自車周辺の外部環境を表す画像部分であり、カメラ９０ａ〜９０ｄの各画像に基づいて生成される。自車周辺画像部５００は、カメラ９０ａ〜９０ｄの各画像に基づいて生成されてもよいし（図４Ａ参照）、或いは、カメラ９０ａ〜９０ｄのうちの、カメラ９０ａ、９０ｃ、９０ｄの各画像に基づいて生成されてもよい。自車周辺画像部５００は、例えば、カメラ９０ａ〜９０ｄの各画像を合成して得られる立体画像の視点を、左旋回用視点に設定することで生成できる。これにより、乗員は、特に、左側方の状況（左旋回時の巻き込みの可能性等）を把握できる。
【００５３】
自車表示５１０は、予め用意された画像（実画像ではない画像）であるが、左旋回用視点から視た自車を立体的に表す。これにより、乗員（特に運転者）は、左旋回用立体画像部５０から自車と自車周辺の物体との位置関係を直感的に把握できる。自車表示５１０は、右フロントフェンダー部が透視状態とされ、背後に自車周辺画像部５００の一部が可視とされてもよい。この場合、左旋回に際して右フロントフェンダー部と周辺との関係を乗員が把握し易くなり、狭い道などでの"すり抜け"の際に有用である。また、左旋回用立体画像部５０は、更に、自車の左後輪の予測軌跡を表す表示５１１と、右フロントフェンダー部の予測軌跡を表す表示５１２を含んでよい。この場合、自車周辺と各部の今後の関係を乗員が把握し易くなる。
【００５４】
上面視画像部５１は、自車を略真上から視た画像（俯瞰画像）である。図４Ａに示す例では、上面視画像部５１は、符号を付さないが、同様に、自車周辺画像部と、自車表示と、自車の左後輪の予測軌跡を表す表示と、右フロントフェンダー部の予測軌跡を表す表示とを含む。左旋回用表示画像が、視点の異なる左旋回用立体画像部５０及び上面視画像部５１を同時に含むことで、自車周辺の外部環境が多面的に把握し易くなる。
【００５５】
第１立体画像生成部４１は、更に、右旋回用表示画像を生成する。右旋回用表示画像は、自車の右側面及び後部を斜め上方から視る右旋回用視点（第１所定視点の一例）から自車周辺の外部環境の画像（後述の右旋回用立体画像部６０）（第１表示画像の一例）を含む。右旋回用視点は、自車の右後輪（右旋回に際して内輪側の後輪）が見える視点である。
【００５６】
図４Ｂは、右旋回用表示画像の一例を示す図である。
【００５７】
図４Ｂに示す例では、右旋回用表示画像は、右旋回用立体画像部６０（第１表示画像の一例）と、上面視画像部６１とを含む。
【００５８】
右旋回用立体画像部６０は、自車周辺画像部６００と、自車表示６１０（自車に係る画像部分の一例）とを含む。自車周辺画像部６００は、自車周辺の外部環境を表す画像部分であり、カメラ９０ａ〜９０ｄの各画像に基づいて生成される。自車周辺画像部６００は、カメラ９０ａ〜９０ｄの各画像に基づいて生成されてもよいし（図４Ｂ参照）、或いは、カメラ９０ａ〜９０ｄのうちの、カメラ９０ａ、９０ｃ、９０ｄの各画像に基づいて生成されてもよい。自車周辺画像部６００は、例えば、カメラ９０ａ〜９０ｄの各画像を合成して得られる立体画像の視点を、右旋回用視点に設定することで生成できる。これにより、乗員は、特に、右側方の状況（右旋回時の巻き込みの可能性等）を把握できる。
【００５９】
自車表示６１０は、予め用意された画像（実画像ではない画像）であるが、右旋回用視点から視た自車を立体的に表す。これにより、乗員（特に運転者）は、右旋回用立体画像部６０から自車と自車周辺の物体との位置関係を直感的に把握できる。自車表示６１０は、左フロントフェンダー部が透視状態とされ、背後に自車周辺画像部６００の一部が可視とされてもよい。この場合、右旋回に際して左フロントフェンダー部と周辺との関係を乗員が把握し易くなる。また、右旋回用立体画像部６０は、更に、自車の右後輪の予測軌跡を表す表示６１１と、右フロントフェンダー部の予測軌跡を表す表示６１２を含んでよい。この場合、自車周辺と各部の今後の関係を乗員が把握し易くなる。
【００６０】
上面視画像部６１は、自車を略真上から視た画像である。図４Ｂに示す例では、上面視画像部６１は、符号を付さないが、同様に、自車周辺画像部と、自車表示と、自車の右後輪の予測軌跡を表す表示と、右フロントフェンダー部の予測軌跡を表す表示とを含む。右旋回用表示画像が、視点の異なる右旋回用立体画像部６０及び上面視画像部６１を同時に含むことで、自車周辺の外部環境が多面的に把握し易くなる。
【００６１】
第２立体画像生成部４２は、直進用表示画像を生成する。直進用表示画像は、自車を後方かつ斜め上方から左右対称に視る直進用視点（第２所定視点の一例）から自車周辺の外部環境の画像（後述の直進用表示画像部７０）（第２表示画像の一例）を含む。左右対称とは、直進用視点からの視線方向が自車の前後軸に交わる態様である。
【００６２】
図４Ｃは、直進用表示画像の一例を示す図である。
【００６３】
図４Ｃに示す例では、直進用表示画像は、直進用立体画像部７０（第２表示画像の一例）と、上面視画像部７１とを含む。
【００６４】
直進用立体画像部７０は、自車周辺画像部７００と、自車表示７１０とを含む。自車周辺画像部７００は、例えば、自車周辺の外部環境を表す画像部分であり、カメラ９０ａ〜９０ｄの各画像のうちの、カメラ９０ａ、９０ｃ、９０ｄの各画像に基づいて生成される。自車周辺画像部７００は、例えば、カメラ９０ａ、９０ｃ、９０ｄの各画像を合成して得られる立体画像の視点を、直進用視点に設定することで生成できる。これにより、乗員は、左右側方の状況を均等に把握できる。
【００６５】
自車表示７１０は、予め用意された画像（実画像ではない画像）であるが、直進用視点から視た自車を立体的に表す。これにより、乗員（特に運転者）は、直進用立体画像部７０から自車と自車周辺の物体との位置関係を直感的に把握できる。
【００６６】
上面視画像部７１は、自車を略真上から視た画像である。図４Ｃに示す例では、上面視画像部７１は、符号を付さないが、同様に、自車周辺画像部と、自車表示とを含む。直進用表示画像が、視点の異なる直進用立体画像部７０及び上面視画像部７１を同時に含むことで、自車周辺の外部環境が多面的に把握し易くなる。
【００６７】
尚、図４Ａ乃至図４Ｃに示す例では、左旋回用表示画像、右旋回用表示画像及び直進用表示画像は、それぞれ、上面視画像部５１，６１，７１を含むが、上面視画像部５１，６１，７１は省略されてもよい。
【００６８】
本実施例では、一例として、表示制御部４４は、運転者による自車側方の安全確認の有用性が高いと推定できる所定走行状況（所定の第１の走行状況の一例）において、左旋回用表示画像又は右旋回用表示画像を出力する。ここで、"走行状況"とは、走っている状態での状況のみならず、止まっている状態における状況も含む概念である。また、"走行状況"とは、"曲がる"に関する状況や、後述の右左折ポイントと自車位置との関係に関する状況も含む。走行状況は、ステアリングセンサ８０や、車速センサ８２、ＧＰＳ受信機８１等に基づいて判断できる。
【００６９】
本実施例では、一例として、所定走行状況は、左右の旋回及び旋回前を含み、より具体的には、中立位置からの操舵角の大きさが所定角Ｓ１以上である操舵状態を含む。また、本実施例では、一例として、所定走行状況は、中立位置からの操舵角の大きさが所定角Ｓ１以上である操舵状態と、他の走行状況(例えば後述の条件１等参照)との組み合わせを含む。
【００７０】
ここで、"旋回"とは、曲率半径が一定となる態様の旋回のみならず、曲率半径が変化する態様の旋回も含む。また、右左折時は、旋回を伴う。"旋回前"とは、停車状態でありそのまま走り始めると旋回に至る状態を指す。即ち、"旋回前"とは、停車状態で中立位置からの操舵角の大きさが０よりも有意に大きい状態である。"旋回前"は、例えば旋回中の一時停止や、いわゆるステアリングの据え切り等により発生する。所定角Ｓ１は、巻き込み確認等が必要となる旋回又は旋回前を検出するための閾値であり、例えば１６０〜２００度程度である。
【００７１】
また、本実施例では、一例として、表示制御部４４は、走行状況が右旋回又は右旋回前である場合に、右旋回用表示画像を、走行状況が左旋回又は左旋回前である場合に、左旋回用表示画像を、走行状況が直進（所定の第２の走行状況の一例）である場合に、直進用表示画像を、それぞれディスプレイ８３に出力する。このとき、表示制御部４４は、中立位置からのステアリングホイールの回転方向が右方向であるとき、右旋回又は右旋回前であると判定し、左方向であるとき、左旋回又は左旋回前であると判定する。
【００７２】
本実施例に係る車両周辺監視装置１によれば、右旋回状態又は右旋回前状態において、右旋回用表示画像がディスプレイ８３に出力されるので、乗員は、右旋回用表示画像を見て、内輪側の安全を確認できる。即ち、乗員は、右旋回用表示画像から巻き込みの可能性を容易に判断でき、車両周辺監視装置１から有用な運転支援を受けることができる。
【００７３】
また、同様に、左旋回状態又は左旋回前状態において、左旋回用表示画像がディスプレイ８３に出力されるので、乗員は、左旋回用表示画像を見て、内輪側の安全を確認できる。即ち、乗員は、左旋回用表示画像から巻き込みの可能性を容易に判断でき、車両周辺監視装置１から有用な運転支援を受けることができる。
【００７４】
次に、図５以降を参照して、制御装置４０の動作例について説明する。
【００７５】
図５は、制御装置４０により実行される処理の一例を示す概略フローチャートである。図５に示す処理は、例えばイグニッションスイッチがオンであり、シフトポジションが前進走行用レンジ（Ｄレンジなど）であり、かつ巻き込み確認画面出力機能がオンである間、所定周期毎に実行される。
【００７６】
ステップＳ５００では、表示制御部４４は、現在の画面モードが直進用画面モードであるか否かを判定する。図５では、画面モードは、直進用画面モードと巻き込み確認画面モードの２モードがあるものとし、初期のモードは、直進用画面モードであるものとする。現在の画面モードが直進用画面モードである場合は、ステップＳ５０２に進み、それ以外の場合（即ち巻き込み確認画面モードである場合）は、ステップＳ５０８に進む。
【００７７】
ステップＳ５０２では、表示制御部４４は、車速センサ８２からの車速情報に基づいて、車速が所定車速Ｖ１以下であるか否かを判定する。所定車速Ｖ１は、低速での旋回又は旋回前を検出するための閾値であり、試験等により適合される適合値である。所定車速Ｖ１は、例えば１０〜１５ｋｍ／ｈ程度である。判定結果が"ＹＥＳ"の場合は、ステップＳ５０４に進み、それ以外の場合は、ステップＳ５１４に進む。
【００７８】
ステップＳ５０４では、表示制御部４４は、ステアリングセンサ８０からの舵角情報に基づいて、中立位置からの操舵角の大きさが所定角Ｓ１（例えば１８０度）以上であるか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ５０６に進み、それ以外の場合は、ステップＳ５１４に進む。
【００７９】
ステップＳ５０６では、表示制御部４４は、画面モードを巻き込み確認画面モードに設定する（切り替える）。
【００８０】
ステップＳ５０８では、表示制御部４４は、車速センサ８２からの車速情報に基づいて、車速が所定車速Ｖ２以上であるか否かを判定する。所定車速Ｖ２は、旋回後を検出するための閾値であり、試験等により適合される適合値である。所定車速Ｖ２は、所定車速Ｖ１以上であり、例えば１０〜１５ｋｍ／ｈ程度である。判定結果が"ＹＥＳ"の場合は、ステップＳ５１２に進み、それ以外の場合は、ステップＳ５１０に進む。
【００８１】
ステップＳ５１０では、表示制御部４４は、ステアリングセンサ８０からの舵角情報に基づいて、中立位置からの操舵角の大きさが所定角Ｓ２以下であるか否かを判定する。所定角Ｓ２は、直進状態を検出するための閾値であり、所定角Ｓ１以下であり、例えば７０〜１１０度程度である。判定結果が"ＹＥＳ"の場合は、ステップＳ５１２に進み、それ以外の場合は、ステップＳ５１４に進む。
【００８２】
ステップＳ５１２では、表示制御部４４は、画面モードを直進用画面モードに設定する（切り替える）。
【００８３】
ステップＳ５１４では、第１立体画像生成部４１は、現在の画面モードが直進用画面モードであるか否かを判定する。現在の画面モードが直進用画面モードである場合は、ステップＳ５１６に進み、それ以外の場合（即ち巻き込み確認画面モードである場合）は、ステップＳ５１８に進む。
【００８４】
ステップＳ５１６では、第２立体画像生成部４２は、直進用表示画像を生成する。そして、表示制御部４４は、第２立体画像生成部４２が生成した直進用表示画像に対応する画像信号をディスプレイ８３に与えることで、直進用表示画像をディスプレイ８３上に表示する。
【００８５】
ステップＳ５１８では、第１立体画像生成部４１は、ステアリングセンサ８０からの舵角情報に基づいて、舵角情報が右折を示すか否かを判定する。舵角情報が右折を示す場合は、ステップＳ５２０に進み、それ以外の場合（即ち舵角情報が左折を示す場合）は、ステップＳ５２２に進む。
【００８６】
ステップＳ５２０では、第１立体画像生成部４１は、右旋回用表示画像を生成する。そして、表示制御部４４は、第１立体画像生成部４１が生成した右旋回用表示画像に対応する画像信号をディスプレイ８３に与えることで、右旋回用表示画像をディスプレイ８３上に表示する。
【００８７】
ステップＳ５２２では、第１立体画像生成部４１は、左旋回用表示画像を生成する。そして、表示制御部４４は、第１立体画像生成部４１が生成した左旋回用表示画像に対応する画像信号をディスプレイ８３に与えることで、左旋回用表示画像をディスプレイ８３上に表示する。
【００８８】
図５に示す処理によれば、画面モードが巻き込み確認画面モードに切り替わるために、走行状況に係る以下の３つの条件１〜条件３が判断される。
（条件１）車速が所定車速Ｖ１以下であること。
（条件２）操舵角の大きさが所定角Ｓ１以上であること。
（条件３）シフトポジションが前進走行用レンジであること。
即ち、図５に示す処理によれば、直進用画面モードにおいて、走行状況が、シフトポジションが前進走行用レンジであり、車速が所定車速Ｖ１以下でありかつ操舵角の大きさが所定角Ｓ１以上である場合（３つの条件の組み合わせで所定の第１の走行状況の一例）に、画面モードが巻き込み確認画面モードに切り替えられる。これにより、運転者による自車側方の安全確認の有用性が高い場面において、右旋回用表示画像又は左旋回用表示画像を生成し出力できる。
【００８９】
尚、図５に示す処理では、ウィンカーレバー情報や、測距センサ８６からの障害物検出情報、ナビゲーション装置８７からの右左折ポイント到来トリガが利用されない。従って、図５に示す処理を用いる構成では、ウィンカーレバー情報の制御装置４０への入力や、測距センサ８６、ナビゲーション装置８７のポイント到来トリガ出力機能は、省略されてもよい。
【００９０】
また、図５に示す処理は、巻き込み確認画面出力機能がオンである間に実行されるが、これに限られない。巻き込み確認画面出力機能がオフである間も、ステップＳ５００乃至ステップＳ５２２の処理がバックグランドで実行されていてもよい。但し、バックグランドで実行されるため、表示画像（右旋回用立体画像や左旋回用表示画像等）の出力だけは実行されない。この場合、巻き込み確認画面出力機能がオンとなった時点で、例えばナビゲーション画像の出力状態から、直ぐに右旋回用立体画像や左旋回用表示画像等の出力状態への切り替えが可能となり、支援開始タイミングを早めることができる。
【００９１】
図６は、制御装置４０により実行される処理の他の一例を示す概略フローチャートであり、図５に代わる代替例を示す。図６に示す処理は、例えばイグニッションスイッチがオンであり、シフトポジションが前進走行用レンジ（Ｄレンジなど）であり、測距センサ８６がオン状態であり、かつ巻き込み確認画面出力機能がオンである間、所定周期毎に実行される。
【００９２】
図６に示す処理は、図５に示した処理に対して、ステップＳ６００乃至ステップＳ６０４がステップＳ５０６の前に追加された点が異なる。以下、異なる点を説明する。
【００９３】
ステップＳ６００では、表示制御部４４は、ウィンカーレバースイッチ８５からのウィンカーレバー情報に基づいて、ウィンカーレバースイッチ８５が操作されている状態（操作状態）であるか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ６０２に進み、それ以外の場合は、ステップＳ５１４に進む。
【００９４】
ステップＳ６０２では、表示制御部４４は、ナビゲーション装置８７からの右左折ポイント到来トリガを受信してからの走行距離が所定距離Ｄ１内であるか否かを判定する。所定距離Ｄ１は、右左折ポイント到来トリガの受信後から右左折開始までの走行距離に対応し、ＧＰＳ受信機８１からの自車位置情報の精度等に依存して適合される適合値である。判定結果が"ＹＥＳ"の場合は、ステップＳ６０４に進み、それ以外の場合は、ステップＳ５１４に進む。尚、ナビゲーション装置８７からの右左折ポイント到来トリガを受信していない場合は、判定結果が"ＮＯ"となり、ステップＳ５１４に進む。但し、変形例では、ナビゲーション装置８７による非案内中においても右旋回用表示画像又は左旋回用表示画像の出力を可能とするために、ナビゲーション装置８７からの右左折ポイント到来トリガを受信していない場合、ステップＳ６０４に進んでもよい。
【００９５】
ステップＳ６０４では、表示制御部４４は、測距センサ８６からの障害物検出情報に基づいて、内輪側の自車側方に障害物が存在するか否かを判定する。例えば、左折の場合は、内輪側が左であり、表示制御部４４は、左側の測距センサ８６からの障害物検出情報の有無に基づいて、内輪側の自車側方に障害物が存在するか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ５０６に進み、それ以外の場合は、ステップＳ５１４に進む。
【００９６】
図６に示す処理によれば、画面モードが巻き込み確認画面モードに切り替わるために、走行状況に係る条件１〜条件３に加えて、走行状況に係る以下の条件４が判断される。
（条件４）自車が右左折ポイント到来トリガに係る右左折ポイントに接近又は到着したこと（ナビゲーション装置８７からの右左折ポイント到来トリガを受信してからの走行距離が所定距離Ｄ１内であること）。
即ち、図６に示す処理によれば、直進用画面モードにおいて、シフトポジションが前進走行用レンジであり、車速が所定車速Ｖ１以下であり、操舵角の大きさが所定角Ｓ１以上であり、かつ、ナビゲーション装置８７からの右左折ポイント到来トリガを受信してからの走行距離が所定距離Ｄ１内である場合（４つの条件の組み合わせで所定の第１の走行状況の一例）に、画面モードが巻き込み確認画面モードに切り替えられる。かかる状態は、右左折に伴う旋回又は旋回前である可能性が高く、運転者による自車側方の安全確認の有用性が高い場面となり得る。
【００９７】
また、図６に示す処理によれば、上記の４つの条件１〜条件４に加えて、以下の条件５が判断される。
（条件５）ウィンカーレバーの操作状態が検出されること。
ウィンカーレバーの操作状態は、旋回又は旋回前(例えば交差点での右左折待ち)である可能性が高く、運転者による自車側方の安全確認の有用性が高い場面となり得る。従って、図６に示す処理によれば、条件４と共に条件５を判断することで、右左折に伴う旋回又は旋回前を精度良く検出して、右左折に伴う旋回又は旋回前において、右旋回用表示画像又は左旋回用表示画像を生成し出力できる。
【００９８】
また、図６に示す処理によれば、上記の５つの条件１〜条件５に加えて、自車の周辺状況に関する以下の条件６が判断される。
（条件６）内輪側の自車側方に障害物が存在すること（所定の周辺状況の一例）。
内輪側の自車側方に障害物が存在する状態は、運転者による自車側方の安全確認の有用性が高い場面となり得る。従って、図６に示す処理によれば、右左折に伴う旋回又は旋回前において、運転者により把握されることが有用な障害物が自車側方に存在する場合に、右旋回用表示画像又は左旋回用表示画像を生成し出力できる。
【００９９】
尚、図６に示す処理では、条件１〜条件６の全てが満たされた場合に、画面モードが巻き込み確認画面モードに切り替わるが、これに限られない。例えば、条件５及び／又は条件６が省略されてもよい。また、条件１〜条件４についても、条件１〜条件４のうちの一部の組み合わせだけが用いられてもよいし、条件１、条件２や条件４のみが単独で使用されてもよい。例えば、条件１に係る状態（車速が所定車速Ｖ１以下である状態）は、低速であるが故に、運転者による自車側方の安全確認の有用性が高い場面でありうるためである。また、条件１〜条件４のうちの一部の組み合わせとしては、例えば、条件１と条件２及び条件３の組み合わせや、条件２及び条件３の組み合わせ、条件２と条件３及び条件４の組み合わせ、条件３及び条件４の組み合わせなどがありうる。
【０１００】
特に条件３について、図５に示す処理(図６についても同様)では、自車が前進走行状態又はシフトポジションが前進用レンジにある停車状態である場合に、表示画像（右旋回用表示画像や左旋回用表示画像等）が出力されるが、これに限られない。例えば、自車が後進走行状態又はシフトポジションが後進用レンジ（即ちＲレンジ）にある停車状態である場合に、右旋回用表示画像や左旋回用表示画像が出力されてもよい。例えば、図５に示す処理は、シフトポジションの如何にかかわらず実行されてもよい(即ち条件３は省略されてもよい)。かかる変形例では、更なる変形例として、図５に示す処理において、シフトポジションが後進用レンジである場合、上述した右旋回用表示画像、左旋回用表示画像、及び直進用表示画像に代えて、別の右旋回用表示画像、別の左旋回用表示画像、及び別の直進用表示画像が生成及び出力されてもよい。この場合、別の右旋回用表示画像は、別の右旋回用立体画像部（第１表示画像の一例）を含み、別の左旋回用表示画像は、別の左旋回用立体画像部（第１表示画像の一例）を含み、別の直進用表示画像は、別の直進用立体画像部（第２表示画像の一例）を含む。このとき、別の右旋回用立体画像部は、上述の右旋回用立体画像部６０に対して、視点が前後左右逆にされ、別の左旋回用立体画像部は、上述の左旋回用立体画像部５０に対して、視点が前後左右逆にされ、別の直進用立体画像部は、上述の直進用立体画像部７０に対して、視点が前後逆にされる。例えば、別の左旋回用立体画像部の視点は、自車の右側面及び前部を斜め上方から視る視点（第１所定視点の一例）である。別の右旋回用立体画像部の視点は、自車の左側面及び前部を斜め上方から視る視点（第１所定視点の一例）である。これにより、駐車等に伴う左旋回又は左旋回前において、乗員は、当該別の左旋回用立体画像部を見て、外輪側の安全を確認できる。また、駐車等に伴う右旋回又は右旋回前において、乗員は、当該別の右旋回用立体画像部を見て、外輪側の安全を確認できる。尚、シフトポジションが後進用レンジである場合、別の左旋回用立体画像部等は、自車後方を映す自車後方画像と共に出力されてよい。
【０１０１】
以上説明した実施例においては、第１立体画像生成部４１及び表示制御部４４が、特許請求の範囲における「第１表示画像出力部」の一例に対応し、第２立体画像生成部４２及び表示制御部４４が、特許請求の範囲における「第２表示画像出力部」の一例に対応する。
【０１０２】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
【０１０３】
例えば、上述した実施例では、走行状況が右旋回・右旋回前及び左旋回・左旋回前のいずれである場合でも、旋回用表示画像（右旋回用表示画像又は左旋回用表示画像）が生成及び出力されるが、これに限られない。例えば、走行状況が右旋回・右旋回前である場合は、右旋回用表示画像が生成及び出力されるが、走行状況が左旋回・左旋回前である場合は、左旋回用表示画像が生成及び出力されなくてもよい。かかる構成は、例えば右側車線を車両が走行する仕向け国において好適である。また、逆に、走行状況が左旋回・左旋回前である場合は、左旋回用表示画像が生成及び出力されるが、走行状況が右旋回・右旋回前である場合は、右旋回用表示画像が生成及び出力されなくてもよい。かかる構成は、例えば左側車線を車両が走行する仕向け国において好適である。
【０１０４】
また、上述した実施例では、所定走行状況において、右旋回用表示画像又は左旋回用表示画像が生成及び出力されるが、これに限られない。所定走行状況に代えて、自車側方における所定の周辺状況において、右旋回用表示画像又は左旋回用表示画像が生成及び出力されてもよい。所定の周辺状況は、内輪側の自車側方に障害物が存在する状態、即ち、測距センサ８６により障害物が検出された状態を含む。かかる状態は、上記の条件６に関連して上述したように、運転者による自車側方の安全確認の有用性が高い場面となり得るためである。この場合、左旋回用表示画像及び右旋回用表示画像のうちの、障害物側の方向に係る立体画像が生成及び出力されることとしてもよい。例えば、障害物が左の測距センサ８６により検出された場合、左旋回用表示画像が生成及び出力されてもよい。かかる変形例によっても、運転者による自車側方の安全確認の有用性が高い場面において、右旋回用表示画像又は左旋回用表示画像を生成し出力できる。即ち、自車側方を乗員が把握し易い表示画像を適切な場面で出力することが可能である。
【０１０５】
また、上述した実施例では、所定走行状況において、右旋回用表示画像又は左旋回用表示画像が生成及び出力されるが、これに限られない。所定走行状況に代えて、ウィンカーレバーの操作状態において、右旋回用表示画像又は左旋回用表示画像が生成及び出力されてもよい。かかる状態は、上記の条件５に関連して上述したように、運転者による自車側方の安全確認の有用性が高い場面となり得るためである。尚、かかる変形例では、ウィンカーレバーの操作状態においては、中立位置からの操舵角の大きさが所定角Ｓ１以上である操舵状態でなくても、右旋回用表示画像又は左旋回用表示画像が生成及び出力されうる。例えば、"車線変更前"は、中立位置からの操舵角の大きさが所定角Ｓ１以上である操舵状態とならないが、運転者による自車側方の安全確認の有用性が高い場面となりうる。この場合、例えば、ウィンカーレバーの操作状態が左車線への車線変更の可能性を示す場合、左旋回用表示画像が生成及び出力されてもよい。これにより、乗員は、車線変更前に、変更先の車線側の自車側方の状況を容易に把握できる。
【０１０６】
また、上述した実施例では、超音波（測距センサ８６）を用いて障害物が検出されるが、これに限られない。例えば、ミリ波やレーザ光を用いて障害物が検出されてもよい。或いは、カメラ９０の画像に対する画像認識処理により障害物が検出されてもよい。
【０１０７】
また、上述した実施例では、左旋回用視点及び右旋回用視点は、それぞれ、一定であるが、これに限られない。例えば、左旋回用視点及び右旋回用視点は、それぞれ、中立位置からの操舵角の大きさに応じて変化されてもよい。例えば、左旋回用視点は、中立位置からの左方向への操舵角の大きさが大きくなるにつれて左側に移動する態様で可変されてもよい。
【０１０８】
また、上述した実施例では、第２立体画像生成部４２を備えるが、第２立体画像生成部４２は、省略されてもよい。この場合、直進用画面モードが無く、例えば図５に示す処理では、直進用画面モードに代えて、例えばナビゲーション画像を表示するモードが用いられてもよい。
【符号の説明】
【０１０９】
１  車両周辺監視装置
８  車載電子機器群
４０  制御装置
４１  第１立体画像生成部
４２  第２立体画像生成部
４４  表示制御部
８０  ステアリングセンサ
８１  ＧＰＳ受信機
８２  車速センサ
８３  ディスプレイ
８４  操作スイッチ
８５  ウィンカーレバースイッチ
８６  測距センサ
８７  ナビゲーション装置
９０  カメラ
９０ａ  カメラ
９０ｂ  カメラ
９０ｃ  カメラ
９０ｄ  カメラ
５１１  表示
５１２  表示
５１０  自車表示
５１０  自車周辺画像部
６１１  表示
６１２  表示
６１０  自車表示
６１０  自車周辺画像部
７１０  自車表示    
７１０  自車周辺画像部
【図１】
2018101957.tif 000003
【図２】
2018101957.tif 000004
【図３】
2018101957.tif 000005
【図４Ａ】
2018101957.tif 000006
【図４Ｂ】
2018101957.tif 000007
【図４Ｃ】
2018101957.tif 000008
【図５】
2018101957.tif 000009
【図６】
2018101957.tif 000010