(57)【要約】      （修正有）【課題】運転者に対して適切に障害物を報知できる画像処理装置および画像処理方法を提供する。【解決手段】画像処理装置は、画像制御部と、判定部とを備える。画像制御部は、検知器４０ａ〜４０ｄから入力される画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる。判定部は、合成画像を含む仮想視点画面以外の画面が表示部に表示されている場合において、車両周囲の障害物Ｈを検知する検知器によって障害物が検知された場合、障害物の存在を報知する報知画面への切替条件が成立するか否かを判定する。画像制御部は、判定部によって切替条件が成立すると判定された場合に、仮想視点画面に所定の報知画像を重畳させた報知画面を表示部に表示させる。【選択図】図１
2016218795.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置から入力される画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる表示制御部と、
前記合成画像を含む仮想視点画面以外の画面が前記表示部に表示されている場合において、車両周囲の障害物を検知する検知器によって前記障害物が検知された場合、前記障害物の存在を報知する報知画面への切替条件が成立するか否かを判定する判定部と
を備え、
前記表示制御部は、
前記判定部によって前記切替条件が成立すると判定された場合に、前記仮想視点画面に所定の報知画像を重畳させた前記報知画面を前記表示部に表示させること
を特徴とする画像処理装置。
【請求項２】
前記表示部は、
操作部を有する表示装置に設けられており、
前記判定部は、
前記検知器によって前記障害物が検知されてからの所定期間において前記操作部への操作がない場合に、前記切替条件が成立すると判定すること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示部は、
操作部を有する表示装置に設けられており、
前記判定部は、
前記検知器によって前記障害物が検知されるまでの所定期間において前記操作部への操作がない場合に、前記切替条件が成立すると判定すること
を特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判定部は、
前記合成画像を含む仮想視点画面以外の画面が、テレビジョン放送信号に基づく画像を含む画面以外の画面である場合に、前記切替条件が成立すると判定すること
を特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
前記判定部は、
シフトレバーのポジションがパーキングおよびリア以外のポジションである場合に、前記切替条件が成立すると判定すること
を特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記判定部は、
車両の速度が０ｋｍ／ｈよりも速い第１速度以上であり、かつ、前記第１速度よりも速い第２速度以下である場合に、前記切替条件が成立すると判定すること
を特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
【請求項７】
前記判定部は、
前記報知画面の表示中において、前記車両の速度が前記第２速度よりも速い第３速度を超えた場合に、前記表示制御部に対して前記報知画面の表示の終了を指示すること
を特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記判定部は、
前記報知画面の表示中において、前記車両の速度が前記第１速度未満である期間が所定時間を超えた場合に、前記表示制御部に対して前記報知画面の表示の終了を指示すること
を特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記判定部は、
前記報知画面の表示中において、前記検知器によって前記障害物が検知されない期間が所定時間を超えた場合に、前記表示制御部に対して前記報知画面の表示の終了を指示すること
を特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項１０】
撮像装置から入力される画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる表示制御工程と、
前記合成画像を含む仮想視点画面以外の画面が前記表示部に表示されている場合において、車両周囲の障害物を検知する検知器によって前記障害物が検知された場合に、前記障害物の存在を報知する報知画面への切替条件が成立するか否かを判定する判定工程と
を含み、
前記表示制御工程は、
前記判定工程において前記切替条件が成立すると判定した場合に、前記仮想視点画面に所定の報知画像を重畳させた前記報知画面を前記表示部に表示させること
を特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、車両に搭載された障害物センサによって運転者の死角に存在する障害物を検出し、検出した障害物を運転者に報知する装置が知られている。かかる装置では、障害物を検出した場合に、表示を切り替えることで、障害物を運転者に報知する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１９０９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置のように、障害物が検出される度に表示を切り替えると、運転者に対する障害物の報知が必要ない場合であっても報知を行うこととなる。このように、従来の装置では、運転者に対して適切に障害物を報知できない場合があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、運転者に対して適切に障害物を報知できる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、表示制御部と、判定部とを備える。表示制御部は、撮像装置から入力される画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる。判定部は、前記合成画像を含む仮想視点画面以外の画面が前記表示部に表示されている場合において、車両周囲の障害物を検知する検知器によって前記障害物が検知された場合、前記障害物の存在を報知する報知画面への切替条件が成立するか否かを判定する。表示制御部は、前記判定部によって前記切替条件が成立すると判定された場合に、前記仮想視点画面に所定の報知画像を重畳させた前記報知画面を前記表示部に表示させる。
【発明の効果】
【０００７】
本発明によれば、車両の運転者に対して適切に障害物を報知することができる画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係る画像処理方法を示す説明図である。
【図２】図２は、実施形態に係る周辺監視システムの構成例を示す図である。
【図３】図３は、実施形態に係る撮像部の配置例を示す図である。
【図４】図４は、実施形態に係る画像制御部が生成する合成画像の一例を示す図である。
【図５】図５は、実施形態に係る画像制御部が生成する合成画像の一例を示す図である。
【図６】図６は、実施形態に係る表示条件テーブルを示す図である。
【図７】図７は、実施形態に係る表示停止条件テーブルを示す図である。
【図８】図８は、実施形態に係る停止ＯＲ条件テーブルを示す図である。
【図９】図９は、実施形態に係る停止ＯＲ条件の説明図である。
【図１０】図１０は、実施形態に係る報知開始処理を示すフローチャートである。
【図１１】図１１は、実施形態に係る報知終了処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
【００１０】
＜１．画像処理方法＞
図１は、本発明の実施形態に係る画像処理方法を示す説明図である。かかる画像処理方法は、例えば車両Ｃに搭載される画像処理装置１０によって実行される。図１（Ａ）は、車両Ｃと障害物の位置関係を示す模式図である。図１（Ｂ）および図１（Ｃ）は、表示部に表示される画面の一例を示す図である。
【００１１】
本実施形態に係る画像処理方法では、車両Ｃに搭載された検知器４０ａ〜４０ｄが検出した障害物を表示部（図示せず）に表示することで障害物を運転者に報知する。ここでは、障害物として人Ｈを検出する場合について説明するが、障害物は人Ｈに限らず、例えば自転車やバイクなどの他車両や、電柱や木などであってもよい。
【００１２】
画像処理装置１０は、車両Ｃに搭載される撮像装置（図示せず）から入力される撮像画像に基づき、車両周囲を仮想視点から見た合成画像を生成する。画像処理装置１０は、生成した合成画像を表示部（図示せず）に表示させる。このように、表示部は、合成画像を含む仮想視点画面を表示する。
【００１３】
また、表示部は、例えば図１（Ｂ）、（Ｃ）の上図に示すように、ナビゲーション装置が生成したナビゲーションの地図を含む画像１００（以下、ナビ画像と記載する）を表示する。このように、表示部は、ナビ画像１００を含むナビ画面１０１を表示する。
【００１４】
以下、合成画像を含む仮想視点画面以外の画面として、例えばナビ画面１０１が表示部に表示されているときに、障害物である人Ｈが接近した場合の画像処理装置１０による画像処理方法について説明する。
【００１５】
車両Ｃには、車両Ｃの周囲の障害物を検知する検知器４０ａ〜４０ｄが搭載される。検知器４０ａ〜４０ｄは、例えばクリアランスソナーである。かかる検知器４０ａ〜４０ｄは、所定の検知範囲Ｒ１〜Ｒ４を有しており検出範囲Ｒ１〜Ｒ４内に存在する物体を障害物として検出する。図１（Ａ）では、検知器４０ａが、所定の検出範囲Ｒ１内に存在する人Ｈを障害物として検出する。
【００１６】
画像処理装置１０は、表示部にナビ画面１０１が表示されている場合において、検知器４０ａによって人Ｈが検知された場合、障害物である人Ｈの存在を報知する報知画面２００への切替条件が成立するか否かを判定する。
【００１７】
例えば、図１（Ｂ）、（Ｃ）の上図に示すように、ナビ画面１０１が表示部に表示されている場合において、運転者がナビゲーション装置を操作しているときに、画像処理装置１０が表示部の表示を報知画面２００に切り替えると、運転者による操作を阻害することになる。そこで、画像処理装置１０は、例えばナビゲーション装置に対する操作の有無を切替条件とし、ナビゲーション装置に対して操作が行われていない場合に、報知画面２００へ切り替えるとし、ナビゲーション装置に対して操作が行われている場合に切り替えないとする。
【００１８】
画像処理装置１０は、かかる切替条件が成立する、すなわちナビゲーション装置に対して操作が行われていないと判定された場合に、報知画面２００を表示部に表示させる。報知画面２００は、例えば図１（Ｂ）の下図に示すように、仮想視点画像に所定の報知画像４１を重畳させた合成画像３００と撮像画像５００を含む画面である。
【００１９】
一方、画像処理装置１０は、かかる切替条件が成立しない、すなわちナビゲーション装置に対して操作が行われていると判定された場合は、検知器４０ａが人Ｈを検知した場合であっても報知しない。そのため、表示部には、図１（Ｃ）の下図に示すように、ナビ画像１００を含むナビ画面１０１が継続して表示される。
【００２０】
このように、画像処理装置１０は、仮想視点画面以外の画面が表示部に表示されている場合において、報知画面２００への切替条件が成立する場合に、表示部の表示を報知画面２００へ切り替える。これにより、画像処理装置１０は、報知が必要な場合に適切に運転者に対して障害物を報知することができる。なお、上述したビゲーション装置に対する操作の有無を切替条件とする場合は一例に過ぎず、画像処理装置１０はかかる切替条件以外の条件に基づいて報知画面２００への切替を判定することができる。以下、画像処理装置１０を含む周辺監視システム１についてさらに説明する。
【００２１】
＜２．周辺監視システム１＞
図２は、本発明の実施形態に係る周辺監視システム１の構成例を示す図である。図２に示すように、周辺監視システム１は、画像処理装置１０と、撮像装置２０と、ナビゲーション装置３０と、検知器４０と、センサ部５０とを備える。
【００２２】
＜２．１．撮像装置２０＞
撮像装置２０は、図３に示すように、車両Ｃの前方に配置される前方撮像部２０ａと、車両Ｃの後方に配置される後方撮像部２０ｂと、車両Ｃの右方に配置される右方撮像部２０ｃと、車両Ｃの左方に配置される左方撮像部２０ｄとを備える。なお、図３は、撮像部２０ａ〜２０ｄの配置例を示す図である。
【００２３】
撮像部２０ａ〜２０ｄは、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備え、かかる撮像素子によって撮像した車両Ｃ周辺の画像（以下、撮像画像と記載する）を画像処理装置１０へ出力する。なお、撮像部２０ａ〜２０ｄは、車両Ｃの前方、後方、右方および左方をそれぞれ撮像方向として撮像を行う。
【００２４】
また、撮像部２０ａ〜２０ｄのレンズには魚眼レンズなどの広角レンズが採用され、各撮像部２０ａ〜２０ｄは１８０度以上の画角を有しており、これらの撮像部２０ａ〜２０ｄを利用することで、車両Ｃ全周囲を撮影することが可能である。
【００２５】
＜２．２．ナビゲーション装置３０＞
図２のナビゲーション装置３０は、表示部３１と、音声出力部３２と、入力操作部３３と、制御部３４とを備える。ナビゲーション装置３０は、車両Ｃの運転者が運転する際のナビゲーション機能やオーディオ機能などを有する。また、ナビゲーション装置３０は、表示部３１に表示している画面の情報や、入力操作部３３が受け付けた入力操作に関する情報を画像処理装置１０に出力する。
【００２６】
表示部３１は、ＬＣＤ（Liquid  Crystal  Display）を備え、制御部３４の指示に従って例えばナビ画像１００（図１参照）やテレビジョン放送信号に基づく画像（以下、ＴＶ画像と記載する）を表示する。また、表示部３１は、後述する撮像画像、仮想視点画像または合成画像を表示する。
【００２７】
音声出力部３２は、スピーカを備え、制御部３４の指示に従って例えばナビゲーション機能の音声案内や、テレビジョン放送信号に基づく音声を出力する。また、入力操作部３３は、操作者からのナビゲーション装置３０に対する入力操作を受け付ける。なお、表示部３１が例えばタッチパネル式ディスプレイである場合、表示部３１が入力操作部３３の機能を備えるようにしてもよい。
【００２８】
制御部３４は、ナビゲーション装置３０が備える各部を制御する。制御部３４は、例えば入力操作部３３が受け付けた入力操作に基づいて、表示部３１に所定の画像を表示させたり、音声出力部３２に音声データを出力させたりする。
【００２９】
＜２．３．検知器４０＞
検知器４０は、図３に示すように、車両Ｃの前方右側に配置される右前側検知器４０ａと、車両Ｃの前方左側に配置される左前側検知器４０ｂと、車両Ｃの後方右側に配置される右後側検知器４０ｃと、車両Ｃの後方左側に配置される左後側検知器４０ｄとを備える。
【００３０】
検知器４０ａ〜４０ｄは、それぞれクリアランスソナーであり、各クリアランスソナーの検知範囲Ｒ１〜Ｒ４に存在する物体を障害物として検知する。検知器４０ａ〜４０ｄは、検知した障害物を画像処理装置１０へ通知する。なお、検知器４０ａ〜４０ｄはクリアランスソナーといった超音波式のセンサに限らず、例えばミリ波レーダーといった電波式のセンサであってもよい。
【００３１】
また、検知器４０の配置も図３に示す例に限られず、例えばバックソナーのように、車両Ｃの後方に設けるようにしてもよい。さらに検知器４０ａ〜４０ｄの個数は４つ以上であってもよい。
【００３２】
＜２．４．センサ部５０＞
センサ部５０は、シフトセンサ５１や車速センサ５２など、車両Ｃの状態を検出する各種センサを備える。シフトセンサ５１は、シフトレバー（図示せず）のポジションを検出する。シフトレバーのポジションとしては、車両Ｃが完全に停車している「パーキング」や車両Ｃが後退している「リア」等が挙げられる。車速センサ５２は、車両Ｃの走行速度（以下、車速と記載する）を検出する。センサ部５０は、各センサの検出結果を画像処理装置１０に出力する。
【００３３】
＜２．５．画像処理装置１０＞
画像処理装置１０は、画像制御部１１（「表示制御部」の一例に相当）と、判定部１２と、記憶部１３とを備える。
【００３４】
＜２．５．１．画像制御部１１＞
画像制御部１１は、撮像装置２０から取得した画像データに対して種々の画像処理を行い、表示部３１に表示する撮像画像、仮想視点画像または合成画像を生成する。
【００３５】
画像制御部１１は、撮像部２０ａ〜２０ｄからそれぞれ撮像画像のデータを取得する。画像制御部１１は、表示部３１に表示させる画像の種類に応じて、撮像部２０ａ〜２０ｄの撮像画像の中から一つ以上の画像を選択する。画像制御部１１は、判定部１２の通知に応じて一つ以上の撮像画像を選択する。
【００３６】
画像制御部１１は、複数の撮像画像に対して座標変換処理を行い、仮想視点から見た画像である仮想視点画像を生成する。画像制御部１１は、座標変換処理として、例えば撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された撮像画像のうち仮想視点から見て所定の視野角に含まれる領域の画像を仮想視点画像とする。
【００３７】
画像制御部１１は、例えば撮像部２０ａ〜２０ｄの撮像画像に含まれるデータの位置と、所定の投影面の位置との対応関係を示すテーブルを記憶しており、かかるテーブルを用いて、撮像部２０ａ〜２０ｄの撮像画像に含まれるデータを所定の投影面の対応する位置に投影する。
【００３８】
かかる所定の投影面は、例えば、略半球状（例えば、お椀形状）をしており、その中心領域（例えば、お椀の底部分）は車両Ｃの位置であり、車両Ｃの位置の外側（例えば、略半球状の外周領域）は、車両Ｃの周辺の領域に相当する。なお、所定の投影面は、例えば、曲面でなく平面であってもよい。
【００３９】
また、画像制御部１１は、仮想視点画像に所定の報知画像を重畳させた合成画像を生成する。所定の報知画像は、例えば検知器４０の検知範囲Ｒ１〜Ｒ４のいずれかに相当する画像である。画像制御部１１は、検知器４０が障害物を検知した方向（前方あるいは後方）の検知範囲Ｒ１〜Ｒ４を示す報知画像を仮想視点画像に重畳させて合成画像を生成する。
【００４０】
図４は、画像制御部１１が生成する報知画像２００の一例を示す図である。図４に示すように、検知器４０が車両Ｃ前方の人Ｈを障害物として検出した場合、画像制御部１１は、車両Ｃ前方に設置される検知器４０ａ、４０ｂの検知範囲Ｒ１、Ｒ２に相当する画像４１ａ、４１ｂを報知画像として仮想視点画像６００に重畳させた合成画像３００を報知画面２００として生成する。
【００４１】
なお、仮想視点画像６００上における画像４１ａ、４１ｂは、実際の検知範囲Ｒ１、Ｒ２と必ずしも一致している必要はない。合成画像３００が、障害物が車両Ｃの周囲のどこに存在するかを示す画像であればよく、例えば矢印など、報知画像が検知範囲Ｒ１、Ｒ２に相当する画像４１ａ、４１ｂでなくてもよい。
【００４２】
なお、画像制御部１１が生成する報知画面２００は図４に示す例に限らない。例えば、図５に示すように、検知した障害物に対して枠で囲むなど強調表示を施して表示しても良い。この場合、画像制御部１１は、報知画像４１ａ、４１ｂを重畳した合成画像３００と、障害物を強調表示した前方の撮像画像５００とを並べて報知画面２００を生成してもよい。
【００４３】
また、仮想視点画像６００に対して報知画像４１ａ、４１ｂを重畳させる位置は図４および図５に示す例に限らない。例えば、画像制御部１１は、合成画像３００に含まれる車両画像上に報知画像を重畳させてもよい。
【００４４】
このように、画像制御部１１は、判定部１２の通知に応じて合成画像３００や撮像画像５００、あるいは仮想視点画像６００を生成し、表示部３１に表示させる。
【００４５】
＜２．５．２．判定部１２＞
判定部１２は、合成画像３００を含む仮想視点画面以外の画面が表示部３１に表示されている場合において、検知器４０によって障害物が検知された場合、障害物の存在を報知する報知画面２００への切替条件が成立するか否かを判定する。判定部１２は、かかる切替条件が成立すると判定された場合に、検知器４０による検知結果および報知画面２００を表示する旨を画像制御部１１に通知する。
【００４６】
また、判定部１２は、表示部３１に報知画面２００が表示されている場合に、かかる報知画面２００の表示を終了する終了条件が成立するか否かを判定する。判定部１２は、かかる終了条件が成立すると判定した場合、報知画面２００の表示を終了するよう画像制御部１１に通知する。
【００４７】
＜２．５．２．１．切替条件の例＞
判定部１２は、例えば複数の表示条件それぞれが成立するか否か判定し、全ての表示条件が成立している場合に切替条件が成立すると判定する。図６を用いてかかる表示条件について説明する。図６は、各表示条件の成否を示す表示条件テーブルを示す図である。
【００４８】
上述したように、判定部１２が判定する表示条件の一例として、ナビゲーション装置３０に対する入力操作の有無がある。判定部１２は、例えば検知器４０が障害物を検出して所定期間経過するまでに、ナビゲーション装置３０に対する入力操作が行われなかった場合に、入力操作がないと判定する。
【００４９】
すなわち、判定部１２は、「入力操作ＯＦＦ」の条件が成立しているとし、表示条件テーブルの「入力操作ＯＦＦ」を「１」とする。一方、判定部１２は、例えば検知器４０が障害物を検出して所定期間経過するまでに、ナビゲーション装置３０に対する入力操作が行われた場合に、入力操作があったと判定し、表示条件テーブルの「入力操作ＯＦＦ」を「０」とする。
【００５０】
なお、ここでは、ナビゲーション装置３０に対する入力操作の有無を、障害物を検出した後の所定期間において判定しているが、例えば障害物を検出する前の所定期間において判定してもよい。すなわち、判定部１２は、例えば検知器４０が障害物を検出する前までの所定期間内に、ナビゲーション装置３０に対する入力操作が行われなかった場合に、入力操作がないと判定する。
【００５１】
また、判定部１２は、表示条件の一例として、表示部３１がＴＶ画像を含むＴＶ画面を表示しているか否かを判定する。判定部１２は、例えば表示部３１にＴＶ画面が表示されていない場合に、表示条件が成立していると判定し、表示条件テーブルの「ＴＶ画面ＯＦＦ」を「１」とする。一方、判定部１２は、例えば表示部３１にＴＶ画面が表示されている場合に、表示条件が成立していないと判定し、表示条件テーブルの「ＴＶ画面ＯＦＦ」を「０」とする。
【００５２】
このように、表示部３１にＴＶ画面が表示されている場合、運転者はＴＶ画面を視聴しており、車両Ｃの運転を行っていないと考えられる。この場合、運転者に障害物を報知しなくてもよいとして、判定部１２は報知画面２００に切り替えないと判定する。これにより、運転者は、報知画面２００により阻害されることなくＴＶを視聴することができる。また、ＴＶ画面が表示部に表示されていない場合に、報知部１２が報知画面２００に切り替えると判定することにより、運転者に適切に障害物を報知することができる。
【００５３】
判定部１２は、例えば、シフトレバーのポジションに応じて表示条件が成立しているか否かを判定する。具体的に、判定部１２は、例えばシフトレバーのポジションがパーキングおよびリア以外のポジションである場合に、表示条件が成立していると判定し、表示条件テーブルの「シフトレバーがＰ、Ｒ以外」を「１」とする。一方、判定部１２は、例えばシフトレバーがパーキングおよびリアのポジションにある場合に、表示条件が成立していないと判定し、表示条件テーブルの「シフトレバーがＰ、Ｒ以外」を「０」とする。
【００５４】
シフトレバーが「Ｐ」、すなわちパーキングのポジションにある場合は、車両Ｃは停止している。この場合、車両Ｃが障害物に衝突することはないため、判定部１２は報知画面２００に切り替えないと判定する。したがって、判定部１２は車両Ｃが検出した障害物に衝突する可能性がある場合に報知画面２００に切り替えると判定することになり、運転者に適切に障害物を報知することができる。
【００５５】
また、シフトレバーが「Ｒ」、すなわちリアのポジションにある場合は、車両Ｃが後退しており、運転者が車両Ｃの周囲に十分注意を払っていると考えられる。あるいは、表示部３１には仮想視点画面が表示され、障害物がすでに運転者に報知されている。そこで、判定部１２は、かかる場合には報知画面２００に切り替えないと判定する。このように、運転者が車両Ｃ周囲に十分注意を払っていない、あるいは障害物を運転者に報知していない場合に、判定部１２が報知画面２００に切り替えると判定することで、運転者に適切に障害物を報知することができる。
【００５６】
判定部１２は、例えば、車両Ｃの車速に応じて表示条件が成立しているか否かを判定する。具体的に、判定部１２は、例えば車両Ｃの速度が０ｋｍ／ｈよりも速い第１速度Ｖｔｈ１以上であり、かつ、第１速度Ｖｔｈ１よりも速い第２速度Ｖｔｈ２以下である場合に、表示条件が成立していると判定し、表示条件テーブルの「車速が所定範囲内」を「１」とする。一方、判定部１２は、車速が第１速度Ｖｔｈ１より小さい、または、第２速度Ｖｔｈ２より大きい場合に、表示条件が成立していないと判定し、表示条件テーブルの「車速が所定範囲内」を「０」とする。
【００５７】
例えば、車速が第１速度Ｖｔｈ１より小さい場合、車両Ｃはほぼ停止しており、障害物に衝突する可能性は小さい。また、車速が第２速度Ｖｔｈ２より大きい場合、運転者は運転に集中しており、かかる場合に報知画面２００に切り替えると運転者の運転を阻害してしまう恐れがある。そこで、判定部１２は、車速が所定範囲外である場合には報知画面２００に切り替えないと判定する。このように、車速が所定範囲内である場合に判定部１２が報知画面２００に切り替えると判定することで、運転者に適切に障害物を報知することができる。
【００５８】
判定部１２は、例えば上述した表示条件が全て成立している場合、すなわち表示条件テーブルの各表示条件が全て「１」である場合に、切替条件が成立していると判定する。一方、図６に示す例では、「シフトレバーがＰ，Ｒ以外」が「０」であり、全ての表示条件が成立していないため、判定部１２は、切替条件が成立していないと判定する。
【００５９】
なお、ここでは４つの表示条件を示したが、表示条件はこれに限らない。例えば、ナビゲーション装置３０が音声案内を行っている場合は、ナビゲーション装置３０の案内を阻害する恐れがあるとして、判定部１２が報知画面２００に切り替えないと判定するようにしてもよい。表示条件は４つ以上であってもよく、４つ以下であってもよい。また、運転者が報知画面２００に切り替える条件を選択するようにしてもよい。
【００６０】
＜２．５．２．２．終了条件の例＞
判定部１２は、例えば複数の表示停止条件それぞれが成立するか否か判定し、全ての表示停止条件が成立している場合に終了条件が成立すると判定し、画像制御部１１に報知画面２００の終了を指示する。
【００６１】
図７〜図９を用いて、かかる表示停止条件について説明する。図７は、各表示停止条件の成否を示す表示停止条件テーブルを示す図である。図８は、表示停止条件のうち停止ＯＲ条件の成否を示す停止ＯＲ条件テーブルを示す図である。図９は、停止ＯＲ条件の説明図である。
【００６２】
判定部１２は、複数の表示停止条件の一つとして、表示部３１が検知器４０の検出結果を表示する報知画面２００であるか否かを判定する。判定部１２は、表示部３１が報知画面２００を表示している場合に、「報知画面表示」の表示停止条件が成立しているとし、図７に示す表示停止条件テーブルの「報知画面表示」を「１」とする。一方、表示部３１が報知画面２００を表示していない場合に、「報知画面表示」の表示停止条件が成立していないとし、表示停止条件テーブルの「報知画面表示」を「０」とする。
【００６３】
また、判定部１２は、シフトレバーのポジションに応じて表示停止条件が成立しているか否かを判定する。具体的に、判定部１２は、例えばシフトレバーのポジションがパーキングおよびリア以外のポジションである場合に、表示停止条件が成立していると判定し、表示停止条件テーブルの「シフトレバーがＰ、Ｒ以外」を「１」とする。一方、判定部１２は、例えばシフトレバーがパーキングおよびリアのポジションにある場合に、表示停止条件が成立していないと判定し、表示条件テーブルの「シフトレバーがＰ、Ｒ以外」を「０」とする。
【００６４】
また、判定部１２は、表示停止条件としてＯＲ条件が成立しているか否かを判定する。判定部１２は、複数の停止ＯＲ条件の少なくとも一つが成立している場合にＯＲ条件が成立していると判定する。
【００６５】
判定部１２は、表示停止条件の一例として、検知器４０のスイッチがＯＦＦであるか否かを判定する。判定部１２は検知器４０のスイッチがＯＦＦである場合に、検知器４０のスイッチがＯＦＦであると判定し、図８に示す停止ＯＲ条件テーブルの「検知器スイッチＯＦＦ」を「１」とする。一方、判定部１２は検知器４０のスイッチがＯＮである場合に、検知器４０のスイッチがＯＦＦでないと判定し、停止ＯＲ条件テーブルの「検知器スイッチＯＦＦ」を「０」とする。
【００６６】
検知器４０のスイッチは、例えば運転者がＯＮ／ＯＦＦを切り替えることができる。そこで、例えば運転者によって検知器４０のスイッチがＯＦＦに切り替えられた場合、障害物の検出は不要であるとし、判定部１２は、報知画面２００の表示を終了すると判定する。
【００６７】
また、判定部１２は、表示停止条件の一例として、検知器４０によって障害物が検知されない期間が所定時間Ｐ１を超えたか否かを判定する。判定部１２は、検知器４０によって障害物が所定期間検知されない場合に、障害物が検知されてから所定時間を超えたと判定し、停止ＯＲ条件テーブルの「障害物の検知所定期間なし」を「１」とする。一方、判定部１２は、所定期間内に障害物が検知された場合に障害物が検知されてから所定時間を超えていない判定し、停止ＯＲ条件テーブルの「障害物の検知所定期間なし」を「０」とする。
【００６８】
このように、所定期間障害物が検知されない場合は、車両Ｃの周囲に障害物が存在しないとして、判定部１２は、報知画面２００の表示を終了すると判定する。
【００６９】
判定部１２は、表示停止条件の一例として、車両Ｃの速度が第１速度Ｖｔｈ１未満である期間が所定時間を超えたか否かを判定する。判定部１２は、車速が第１速度Ｖｔｈ１より小さい期間が所定時間を超えた場合に、停止ＯＲ条件テーブルの「所定期間車速が第１速度Ｖｔｈ１未満」を「１」とする。一方、判定部１２は、車速が第１速度Ｖｔｈ１より小さい期間が所定時間以下である場合に、停止ＯＲ条件テーブルの「所定期間車速が第１速度Ｖｔｈ１未満」を「０」とする。
【００７０】
判定部１２は、表示停止条件の一例として、車両Ｃの速度が第２速度Ｖｔｈ２よりも速い第３速度Ｖｔｈ３を超えたか否かを判定する。判定部１２は、車速が第３速度Ｖｔｈ３を超えた場合に、停止ＯＲ条件テーブルの「車速が第３速度Ｖｔｈ３より大きい」を「１」とする。一方、判定部１２は、車速が第３速度Ｖｔｈ３より小さい場合に、停止ＯＲ条件テーブルの「車速が第３速度Ｖｔｈ３より大きい」を「０」とする。
【００７１】
図９を用いて、車速と判定部１２による表示条件および表示停止条件の判定との関係について説明する。図９では、判定部１２が報知画面２００を表示する、すなわち表示条件が成立すると判定する場合を「ＯＮ」として、一方報知画面２００を表示しない、すなわち表示停止条件が成立すると判定する場合を「ＯＦＦ」として説明する。
【００７２】
図９の上図に、車両Ｃの速度の時間変化を示し、下図に判定部１２の判定結果を示す。図９の上図に示すように車両Ｃの車速が変化したとすると、判定部１２は、車速が第１速度Ｖｔｈ１以上となると、「ＯＮ」、すなわち報知画面２００を表示すると判定する。判定部１２は、車速が第３速度Ｖｔｈ３を超えると、「ＯＦＦ」、すなわち報知画面２００を表示しないと判定する。
【００７３】
また、判定部１２は、車速が第２速度Ｖｔｈ２以下となると「ＯＮ」、すなわち報知画面２００を表示すると判定する。判定部１２は、車速が第１速度Ｖｔｈ１小さい期間が所定期間Ｐ１を経過すると、「ＯＦＦ」、すなわち報知画面２００を表示しないと判定する。
【００７４】
このように、報知画面２００を表示すると判定する速度（第２速度Ｖｔｈ２）と、報知画面２００の表示を終了すると判定する速度（第３速度Ｖｔｈ３）とを異なる値とすることで、例えば図９の期間Ｔ１のように、車速が頻繁に変わる場合において、報知画面２００の表示と終了とが頻繁に切り替わらないようにすることができる。
【００７５】
また、車速が第１速度Ｖｔｈ１未満である時間が所定期間Ｐ１継続した場合に報知画面２００の表示を終了する。これにより、例えば図９の期間Ｔ２のように車速が頻繁に変わる場合において、報知画面２００の表示と終了とが頻繁に切り替わらないようにすることができる。
【００７６】
判定部１２は、例えば上述した停止ＯＲ条件の少なくとも一つが成立している場合、すなわち図８の停止ＯＲ条件テーブルの各停止ＯＲ条件の少なくとも一つが「１」である場合に、ＯＲ条件が成立していると判定し、図７に示すように表示停止条件テーブルの「ＯＲ条件成立」を「１」とする。
【００７７】
また、判定部１２は、例えば上述した表示停止条件が全て成立している場合、すなわち表示停止条件テーブルの各表示停止条件が全て「１」である場合に、終了条件が成立していると判定する。図７に示す例では、各表示停止条件が全て「１」であるため、判定部１２は終了条件が成立していると判定し、画像制御部１１に報知画面２００の終了を指示する。
【００７８】
なお、ここでは表示停止条件として３つの条件を、停止ＯＲ条件として４つの条件を示したが、表示停止条件および停止ＯＲ条件はこれに限らない。例えば、報知画面２００を表示部３１に表示している場合において、ナビゲーション装置３０に対して入力操作が行われると、運転者が報知画面２００を確認したとして、判定部１２が報知画面２００の表示を終了すると判定するようにしてもよい。表示停止条件および停止ＯＲ条件の数は４つあるいは３つ以上であってもよく、４つあるいは３つ以下であってもよい。また、運転者が報知画面２００を終了する条件を選択するようにしてもよい。
【００７９】
また、図７に示す表示停止条件全てを満たした場合に、判定部１２は報知画面２００の表示を終了するとしたが、これに限らない。例えば、図７の「シフトレバーがＰ、Ｒ以外」が「０」、すなわちシフトレバーがパーキングまたはリアに変更になった場合は、ＯＲ条件の成否に関わらず報知画面２００の表示を終了するようにしてもよい。あるいは、報知画面２００を表示して所定期間が経過した場合に報知画面２００の表示を終了するようにしてもよい。
【００８０】
＜２．５．３．記憶部１３＞
記憶部１３は、例えば表示条件テーブルと、表示停止条件テーブルと、停止ＯＲ条件テーブルを記憶する。また、記憶部１３は、判定部１２が行う切替条件が成立するか否かの判定や終了条件が成立するか否かの判定に必要な情報を記憶する。記憶部１３は、例えばＲＡＭ（Random  Access  Memory)、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置である。
【００８１】
＜３．報知処理＞
続いて、画像処理装置１０が行う報知処理について説明する。画像処理装置１０は、報知開始処理および報知終了処理を含む報知処理を実行する。
【００８２】
＜３．１．報知開始処理＞
図１０は、画像処理装置１０が行う報知開始処理を示すフローチャートである。まず、画像処理装置１０は、検知器４０が障害物を検出したか否かを判定する（ステップＳ１０１）。検知器４０が障害物を検出していないと判定した場合（ステップＳ１０１；Ｎｏ）、画像処理装置１０はステップＳ１０１に戻り障害物の検出を待つ。
【００８３】
一方、検知器４０が障害物を検出した場合（ステップＳ１０１；Ｙｅｓ）、画像処理装置１０は、合成画像３００を含む仮想視点画面を表示部３１に表示しているか否か判定する（ステップＳ１０２）。表示部３１に合成画像３００を含む仮想視点画面を表示している場合（ステップＳ１０２；Ｙｅｓ）、画像処理装置１０は、ステップＳ１０４に進む。
【００８４】
表示部３１に合成画像３００を含む仮想視点画面を表示していない場合（ステップＳ１０２；Ｎｏ）、画像処理装置１０は、切替条件が成立しているか否か判定する（ステップＳ１０３）。切替条件が成立していない場合（ステップＳ１０３；Ｎｏ）、画像処理装置１０は、報知画面２００への切替は不要であると判定し、報知開始処理を終了する。
【００８５】
切替条件が成立している場合（ステップＳ１０３；Ｙｅｓ）、画像処理装置１０は、合成画像３００を生成し（ステップＳ１０４）、生成した合成画像３００に報知画像を重畳させた報知画面２００を表示部３１に表示させる（ステップＳ１０５）。
【００８６】
なお、例えば車両Ｃの車速が変化した、シフトレバーの位置が変化した等、表示条件が変化したタイミングで画像処理装置１０が表示条件テーブルをあらかじめ更新しておき、ステップＳ１０３で画像処理装置１０がかかる表示条件テーブルを参照することで切替条件の成否判定を行う。あるいは、画像処理装置１０は、ステップＳ１０３を実行するタイミングで各表示条件全てを判定することで、切替条件が成立するか否かを判定してもよい。
【００８７】
また、画像処理装置１０は、ステップＳ１０２とステップＳ１０３を入れ替えてもよく、また同時に実行するようにしてもよい。
【００８８】
＜３．２．報知終了処理＞
図１１は、画像処理装置１０が行う報知終了処理を示すフローチャートである。画像処理装置１０は、報知開始処理を実行した後に報知終了処理を実行する。
【００８９】
まず、画像処理装置１０は、表示部３１への報知画面２００の表示を維持する（ステップＳ２０１）。次に、画像処理装置１０は、終了条件が成立するか否かを判定する（ステップＳ２０２）。終了条件が成立しないと判定した場合（ステップＳ２０２；Ｎｏ）、ステップＳ２０１に戻り、表示部３１への報知画面２００の表示を維持する。
【００９０】
一方、終了条件が成立すると判定した場合（ステップＳ２０２；Ｙｅｓ）、画像処理装置１０は、表示部３１へ報知画面２００の表示を終了するよう指示する（ステップＳ２０３）。表示部３１は、画像処理装置１０から報知画面２００の表示を終了する指示を受け取ると、例えば報知画面２００を表示する直前に表示していた画面を表示する。あるいは、画像処理装置１０が、表示部３１に表示させる画像を決定するようにしてもよい。
【００９１】
なお、例えば車両Ｃの車速が変化した、シフトレバーの位置が変化した等、表示停止条件および停止ＯＲ条件が変化したタイミングで画像処理装置１０が表示停止条件テーブルおよび停止ＯＲ条件テーブルをあらかじめ更新しておき、ステップＳ２０２で画像処理装置１０が、表示停止条件テーブルを参照することで終了条件の成否判定を行う。あるいは、表示停止条件テーブルおよび停止ＯＲ条件テーブルを更新したタイミングで画像処理装置１０がステップＳ２０２を実行するようにしてもよい。または、画像処理装置１０は、ステップＳ２０２を実行するタイミングで、各表示停止条件全てを判定し終了条件が成立するか否かを判定してもよい。
【００９２】
以上のように、画像処理装置１０は、表示部３１に仮想視点画面以外の画面が表示されている場合において、報知画面２００への切替条件が成立する場合に、表示部３１の表示を報知画面２００へ切り替える。これにより、画像処理装置１０は、報知が必要な場合に適切に運転者に対して障害物を報知することができる。
【００９３】
＜４．変形例＞
上述した実施形態では、画像処理装置１０は、検知器４０が障害物を検知してから、かかる障害物を報知するか否か判定しているが、これに限らない。例えば、画像処理装置１０は、表示部３１が合成画像３００を含む仮想視点画面を表示しておらず、かつ切替条件が成立する場合に、障害物を報知する報知モードであるとする。画像処理装置１０は、検知モードにおいて、検知器４０から障害物を検知したと通知があった場合に、運転者に障害物を報知する。
【００９４】
このように、画像処理装置１０があらかじめ報知モードか否かを切り替えることで、障害物を検出したタイミングで切替条件の成否を判定する必要がなく、検知器４０が障害物を検知したタイミングですぐに障害物を運転者に報知することができる。
【００９５】
また、画像処理装置１０が報知モードである場合に、表示部３１に報知画面２００を表示している、すなわち図７の「報知画面表示」の条件を除く表示停止条件が成立していると判定した場合に、検知モードを終了する。
【００９６】
このように、表示条件とは異なる表示停止条件が成立している場合に検知モードを終了することで、検知モードの開始と終了が短期間に頻繁に発生することを抑制することができる。
【００９７】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【００９８】
１  周辺監視システム
１０  画像処理装置
１１  画像制御部
１２  判定部
１３  記憶部
２０  撮像装置
３０  ナビゲーション装置
３１  表示部
３２  音声出力部
３３  入力操作部
３４  制御部
４０  検知器
５０  センサ部
５１  シフトセンサ
５２  車速センサ
【図１】
2016218795.tif 000003
【図２】
2016218795.tif 000004
【図３】
2016218795.tif 000005
【図４】
2016218795.tif 000006
【図５】
2016218795.tif 000007
【図６】
2016218795.tif 000008
【図７】
2016218795.tif 000009
【図８】
2016218795.tif 000010
【図９】
2016218795.tif 000011
【図１０】
2016218795.tif 000012
【図１１】
2016218795.tif 000013