(57)【要約】【課題】障害物の位置を容易に認識させることができる画像処理装置および画像処理方法を提供すること。【解決手段】実施形態に係る画像処理装置は、画像取得部と、情報取得部と、生成部と、合成部と、を備える。画像取得部は、撮像装置が車両の周囲を撮像した撮像画像を取得する。情報取得部は、車両の周囲に存在する障害物の検出位置に関する情報を取得する。生成部は、画像取得部が取得した撮像画像に基づいて、仮想視点から車両の周囲をみた仮想視点画像を生成する。合成部は、仮想視点画像における検出位置に障害物の存在を通知する通知画像を合成するとともに、仮想視点画像に車両画像を合成する。【選択図】図１Ａ
2018110328.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置が車両の周囲を撮像した撮像画像を取得する画像取得部と、
前記車両の周囲に存在する障害物の検出位置に関する情報を取得する情報取得部と、
前記画像取得部が取得した前記撮像画像に基づいて、仮想視点から前記車両の周囲をみた仮想視点画像を生成する生成部と、
前記仮想視点画像における前記検出位置に前記障害物の存在を通知する通知画像を合成するとともに、前記仮想視点画像に車両画像を合成する合成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記合成部は、
前記仮想視点画像に前記通知画像の少なくとも一部を透過させて合成すること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成部は、
前記車両の少なくとも一部が透過した前記車両画像を合成すること
を特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記合成部は、
輪郭線が透過していない前記車両画像を合成すること
を特徴とする請求項１、２または３に記載の画像処理装置。
【請求項５】
前記合成部は、
明度の異なる複数の輪郭線で描画された前記車両画像を合成すること
を特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
前記合成部は、
三次元表示された前記通知画像を合成すること
を特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
【請求項７】
前記情報取得部は、
前記障害物を検出する検出装置から前記検出位置に関する前記情報を取得し、
前記合成部は、
前記検出装置の検出範囲を示す範囲画像を前記仮想視点画像に合成すること
を特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
【請求項８】
前記合成部は、
前記検出範囲を示す範囲画像の外枠をフレア状に表示して前記仮想視点画像に合成すること
を特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記生成部は、
前記車両の後方上部から前記車両をみた前記仮想視点画像を生成すること
を特徴とする請求項１〜８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記検出位置に応じて前記通知画像を強調表示するよう前記合成部を制御する表示制御部をさらに備えること
を特徴とする請求項１〜９のいずれか一項に記載の画像処理装置。
【請求項１１】
撮像装置が車両の周囲を撮像した撮像画像を取得する画像取得部と、
前記画像取得部が取得した前記撮像画像に基づいて、仮想視点から前記車両の周囲をみた仮想視点画像を生成する生成部と、
前記仮想視点画像に前記車両の少なくとも一部が透過した車両画像を合成する合成部と、
を備えることを特徴とする画像処理装置。
【請求項１２】
前記合成部は、
前記仮想視点画像に輪郭線が透過していない前記車両画像を合成すること
を特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
撮像装置が車両の周囲を撮像した撮像画像を取得する工程と、
前記車両の周囲に存在する障害物の検出位置に関する情報を取得する工程と、
前記撮像画像に基づいて、仮想視点から前記車両の周囲をみた仮想視点画像を生成する工程と、
前記仮想視点画像における前記検出位置に前記障害物の存在を通知する通知画像を合成するとともに、前記仮想視点画像に車両画像を合成する工程と、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、例えばレーダ装置等のセンサを用いて車両周囲に存在する障害物を検出し、検出結果をユーザに提示する装置が知られている。例えば、特許文献１では、障害物を検出した場合に、センサの検出範囲をカメラで撮像した撮像画像に重畳して表示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１８８０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術は、障害物の位置を容易に認識させるという点でさらなる改善の余地がある。
【０００５】
例えば、上述した従来技術では、障害物を検出可能な範囲をユーザに提示しているに過ぎず、検出した障害物そのものの位置をユーザに提示しているわけではない。そのため、ユーザが障害物を見落としてしまう可能性がある。
【０００６】
本発明は、上記に鑑みてなされたものであって、障害物の位置を容易に認識させることができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像取得部と、情報取得部と、生成部と、合成部と、を備える。画像取得部は、撮像装置が車両の周囲を撮像した撮像画像を取得する。情報取得部は、車両の周囲に存在する障害物の検出位置に関する情報を取得する。生成部は、画像取得部が取得した撮像画像に基づいて、仮想視点から車両の周囲をみた仮想視点画像を生成する。合成部は、仮想視点画像における検出位置に障害物の存在を通知する通知画像を合成するとともに、仮想視点画像に車両画像を合成する。
【発明の効果】
【０００８】
本発明によれば、障害物の位置を容易に認識させることができる。
【図面の簡単な説明】
【０００９】
【図１Ａ】図１Ａは、実施形態に係る障害物提示システムの概要を示す図である。
【図１Ｂ】図１Ｂは、実施形態に係る障害物提示システムの概要を示す図である。
【図２】図２は、実施形態に係る障害物提示システムの構成を示すブロック図である。
【図３】図３は、実施形態に係る撮像装置の配置例を示す図である。
【図４】図４は、実施形態に係る進行予測線の一例を示す図である。
【図５】図５は、実施形態に係る範囲画像の一例を示す図である。
【図６】図６は、実施形態に係る通知画像の一例を説明するための図である。
【図７Ａ】図７Ａは、実施形態に係る車両画像の一例を示す図である。
【図７Ｂ】図７Ｂは、図７Ａに示す車両画像の一部を示す拡大図である。
【図８】図８は、実施形態に係る合成部が生成する合成画像の一例を示す図である。
【図９】図９は、実施形態に係る画像処理装置が実行する画像生成処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【００１１】
（１．障害物提示システムの概要）
図１Ａおよび図１Ｂを用いて、実施形態に係る障害物提示システム１の概要について説明する。図１Ａおよび図１Ｂは、実施形態に係る障害物提示システム１の概要を説明する図である。障害物提示システム１は、車両に搭載され、車両周辺の障害物を検出しユーザ（運転者）に提示する。
【００１２】
障害物提示システム１は、撮像装置が撮像した車両周辺の撮像画像に基づき、車両周囲を仮想視点からみた仮想視点画像を生成する。障害物提示システム１は、仮想視点画像における障害物の検出位置に、当該障害物の存在を通知する通知画像を合成するとともに、車両画像を合成し、合成画像を生成する。なお、障害物提示システム１のレーダ装置が、障害物の位置を検出するものとする。障害物提示システム１は、生成した合成画像を表示装置に表示することで、ユーザに障害物を提示する。
【００１３】
このように、仮想視点画像においてレーダ装置が検出した障害物の位置に通知画像を合成することで、ユーザが障害物を容易に認識することができる。
【００１４】
障害物提示システム１は、画像処理装置１０と、撮像装置２０と、レーダ装置３０と、表示装置５０と、を備える。
【００１５】
撮像装置２０は、例えば車両の周囲に配置されるカメラ（図示せず）を複数有する。撮像装置２０の各カメラは、車両の周辺を一定の周期で撮像する。
【００１６】
レーダ装置３０は、車両周辺に電波を放射し、障害物に反射した反射波を受信することで、車両周辺に存在する障害物を検出する。さらに、レーダ装置３０は、障害物の位置として例えば車両から障害物までの距離（以下、障害物の位置情報と記載する）を検出する。
【００１７】
画像処理装置１０は、撮像装置２０が撮像した撮像画像を座標変換し、仮想視点からみた仮想視点画像を生成する。画像処理装置１０は、仮想視点画像に車両画像や通知画像を合成した合成画像を生成し、表示装置５０に出力する。画像処理装置１０は、画像取得部１１０と、情報取得部１２０と、生成部１３０と、合成部１６０と、を備える。
【００１８】
画像取得部１１０は、撮像装置２０から撮像画像を取得する。情報取得部１２０は、レーダ装置３０から障害物の位置情報を取得する。
【００１９】
生成部１３０は、画像取得部１１０が取得した撮像画像に対して座標変換処理を行って、車両を仮想視点からみた仮想視点画像を生成する。
【００２０】
合成部１６０は、生成部１３０が生成した仮想視点画像に、車両の外観を仮想視点からみた車両画像を合成する。また、合成部１６０は、情報取得部１２０が取得した障害物の位置情報に基づき、仮想視点画像の障害物が存在する位置（障害物の検出位置）に障害物の存在を示す障害物情報を合成する。このように、合成部１６０は、仮想視点画像に車両画像および通知画像を合成して合成画像Ｐ１を生成する。
【００２１】
図１Ｂに、合成部１６０が生成する合成画像Ｐ１の一例を示す。図１Ｂの例では、合成部１６０は、左斜め後方の上部から車両をみた仮想視点画像に車両画像Ｐｃを合成する。また、合成部１６０は、車両の前方右側に通知画像Ｐｓを合成する。
【００２２】
図１Ｂに示すように、仮想視点画像上の位置であって、障害物を検出した位置に通知画像Ｐｓを合成するとともに、車両画像Ｐｃを合成することで、ユーザが車両と障害物との位置関係を容易に確認することができる。
【００２３】
また、車両画像Ｐｃの一部を透過させることで、通知画像Ｐｓが車両画像Ｐｃによって隠れることがなくなり、ユーザが障害物の位置をより容易に確認することができる。車両画像Ｐｃの一部を透過させる点については、図７Ａ、図７Ｂ等を用いて後述する。
【００２４】
表示装置５０は、例えばディスプレイを備え、合成部１６０が生成した合成画像Ｐ１を表示する。これにより、ユーザに障害物を提示することができる。
【００２５】
このように、実施形態に係る画像処理装置１０は、仮想視点画像に車両画像Ｐｃおよび通知画像Ｐｓを合成する。このとき、仮想視点画像上の、障害物を検出した位置に通知画像Ｐｓを合成する。これにより、ユーザが障害物の位置を容易に確認することができる。
【００２６】
（２．障害物提示システムの詳細）
次に、図２〜図９を参照して、実施形態に係る障害物提示システム１の詳細について説明する。図２は、実施形態に係る障害物提示システム１の構成を示すブロック図である。なお、図２では、実施形態の特徴を説明するために必要な構成要素を機能ブロックで表しており、一般的な構成要素についての記載を省略している。
【００２７】
換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
【００２８】
図２に示すように、障害物提示システム１は、撮像装置２０、レーダ装置３０、センサ４０、画像処理装置１０および表示装置５０を備える。
【００２９】
（２．１．撮像装置）
撮像装置２０は、例えばＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備えた車載カメラ２０ａ〜２０ｄを複数有する。撮像装置２０は、車載カメラ２０ａ〜２０ｄで撮像した撮像画像を画像処理装置１０に出力する。
【００３０】
例えば図３に示すように、車載カメラ２０ａは車両Ｃの前方に配置され、車載カメラ２０ｂは車両Ｃの後方に配置される。また、車載カメラ２０ｃは車両Ｃの右方に配置され、車載カメラ２０ｄは車両Ｃの左方に配置される。車載カメラ２０ａ〜２０ｄは、それぞれ車両の前方、後方、右方および左方をそれぞれ撮像方向として撮像を行う。なお、図３は、撮像装置２０の配置例を示す図である。
【００３１】
また、車載カメラ２０ａ〜２０ｄのレンズには魚眼レンズなどの広角レンズが採用され、各車載カメラ２０ａ〜２０ｄは１８０度以上の画角を有している。車載カメラ２０ａ〜２０ｄを用いることで、車両Ｃの全周囲を撮像することが可能である。なお、図３に示す車載カメラ２０ａ〜２０ｄの配置や数は一例であり、これに限定されない。車両Ｃの周囲画像を撮像できればよく、車載カメラの台数は４台より少なくても多くてもよい。
【００３２】
（２．２．レーダ装置）
レーダ装置３０は、例えば複数のミリ波レーダ３０ａ〜３０ｄを備える。ミリ波レーダ３０ａ〜３０ｄは、図３に示すように車両Ｃの前方に配置され、車両Ｃ前方に存在する障害物を検出する。レーダ装置３０は、車両Ｃから障害物までの距離や方位などの位置情報を検出する。レーダ装置３０は検出した位置情報を画像処理装置１０に出力する。
【００３３】
なお、図３に示すレーダ装置３０の配置や数は一例であり、これに限定されない。例えば車両Ｃの後方にもレーダ装置を設け、車両Ｃ後方の障害物を検出するようにしてもよい。また、車両Ｃの前方に配置されるミリ波レーダの数は４つより多くても少なくてもよい。
【００３４】
（２．３．画像処理装置）
図２に示す画像処理装置１０は、撮像装置２０が撮像した撮像画像を座標変換して仮想視点画像を生成する。画像処理装置１０は、仮想視点画像に、車両Ｃの進行予測線や車両画像Ｐｃ、通知画像Ｐｓ等を合成して表示装置５０に出力する。
【００３５】
画像処理装置１０は、ＣＰＵ（Central  Processing  Unit）および記憶部１７０などを備えたマイクロコンピュータである。画像処理装置１０は、例えばＥＣＵ（Electric  Control  Unit）に実装される。
【００３６】
画像処理装置１０のＣＰＵは、例えばＲＯＭに記憶されたプログラムを読み出して実行することによって、画像取得部１１０、情報取得部１２０、生成部１３０、進行予測部１４０、表示制御部１５０および合成部１６０として機能する。
【００３７】
また、画像取得部１１０、情報取得部１２０、生成部１３０、進行予測部１４０、表示制御部１５０および合成部１６０の少なくともいずれか一つまたは全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００３８】
（２．３．１．画像取得部）
画像取得部１１０は、撮像装置２０が撮像した撮像画像を順次取得する。画像取得部１１０が取得する撮像画像には、撮像装置２０の車載カメラ２０ａ〜２０ｄ（図３参照）が撮像した撮像画像が含まれる。画像取得部１１０は、取得した撮像画像を生成部１３０に出力する。
【００３９】
（２．３．２．情報取得部）
情報取得部１２０は、レーダ装置３０から車両Ｃの周辺に存在する障害物の検出位置を含む位置情報を取得する。情報取得部１２０は、取得した位置情報を表示制御部１５０に出力する。
【００４０】
なお、情報取得部１２０による位置情報の取得先はレーダ装置３０に限定されない。障害物の位置がわかればよく、情報取得部１２０が、例えば撮像画像に基づいて障害物の位置情報を検出する検出装置（図示せず）から当該位置情報を取得するようにしてもよい。また、画像処理装置１０が撮像画像に基づいて障害物の位置情報を検出するようにしてもよい。
【００４１】
（２．３．３．生成部）
生成部１３０は、画像取得部１１０が取得した撮像画像に対して座標変換処理を行うことにより、車両Ｃの周囲を任意の仮想視点からみた仮想視点画像を生成する。なお、かかる仮想視点は、後述する表示制御部１５０の視点位置決定部１５５が決定する。
【００４２】
生成部１３０は、座標変換処理として、例えば撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された撮像画像のうち任意の仮想視点から見て所定の視野角に含まれる領域の画像を仮想視点画像とする。
【００４３】
例えば、生成部１３０は、撮像画像に含まれるデータ位置と、所定の投影面の位置との対応関係を示すテーブルを記憶しており、かかるテーブルを用いて、撮像画像に含まれるデータを、所定の投影面の対応する位置に投影する。
【００４４】
かかる所定の投影面は、例えば略半球状（例えば、お椀形状）をしており、その中心領域（例えば、お椀の底部分）は車両Ｃの位置であり、車両Ｃの位置の外側（例えば、お椀の底部分以外の部分）は、車両Ｃの周囲の領域に相当する。なお、所定の投影面は曲面でなくともよく、例えば平面であってもよい。
【００４５】
生成部１３０は、生成した仮想視点画像を合成部１６０に出力する。
【００４６】
（２．３．４．進行予測部）
進行予測部１４０は、センサ４０の出力結果に基づき、車両Ｃの進行経路を予測する。進行予測部１４０は、例えば車両Ｃの速度が一定値以下になった場合に車両Ｃの進行経路を予測する。センサ４０には、例えばステアリング操舵角を検出するステアリングセンサや、シフト状態を検出するシフトセンサが含まれる。
【００４７】
進行予測部１４０は、シフト状態に基づいて車両Ｃの進行方向を予測する。例えば、進行予測部１４０は、車両Ｃのシフト状態が「ドライブ」であれば、車両Ｃの進行方向は前方であると予測する。
【００４８】
進行予測部１４０は、ステアリング操舵角に基づいて車両Ｃの進行角度を予測する。例えば、進行予測部１４０は、ステアリング操舵角、車両Ｃの寸法および旋回半径などから車両Ｃが発進した場合の進行角度を予測する。
【００４９】
進行予測部１４０は、予測した進行方向および進行角度に基づいて、車両Ｃが発進した場合の予測経路を予測する。進行予測部１４０は、予測経路を表示制御部１５０に出力する。
【００５０】
（２．３．５．表示制御部）
表示制御部１５０は、合成部１６０で仮想視点画像に合成する画像を決定することで、表示装置５０に表示させる表示画像を制御する。表示制御部１５０は、進行予測線、車両画像Ｐｃ、通知画像Ｐｓおよびレーダ装置３０の検出範囲を示す範囲画像の少なくとも一つを仮想視点画像に合成すると決定する。また、表示制御部１５０は、表示色や強調表示の有無など合成する画像の表示形態を決定する。
【００５１】
表示制御部１５０は、予測線決定部１５１と、範囲画像決定部１５２と、通知画像決定部１５３と、車両画像決定部１５４と、視点位置決定部１５５と、を備える。
【００５２】
（予測線決定部）
予測線決定部１５１は、進行予測部１４０が予測経路を予測した場合に、予測した予測経路を示す進行予測線を仮想視点画像に合成すると決定する。例えば進行予測部１４０が、車両Ｃが左折する経路を予測したとする。この場合、予測線決定部１５１は、図４に示すように、車両Ｃの右側前輪および左側後輪から伸びる進行予測線Ｌ１、Ｌ２を仮想視点画像に合成すると決定する。
【００５３】
なお、図４は、実施形態に係る進行予測線Ｌ１、Ｌ２の一例を示す図である。また、図４に示す進行予測線Ｌ１、Ｌ２は一例であり、これに限定されない。予測線決定部１５１は、例えば左右の前輪から伸びる進行予測線を仮想視点画像に合成するよう決定してもよい。
【００５４】
（範囲画像決定部）
範囲画像決定部１５２は、レーダ装置３０の検出範囲を示す範囲画像Ｒを表示装置５０に表示すると決定する。表示制御部１５０は、例えば、図５に示すように、レーダ装置３０の検出範囲を範囲Ｒａ〜Ｒｄの４つの範囲にわけて表示する。なお、範囲Ｒａ〜Ｒｄはそれぞれミリ波レーダ３０ａ〜３０ｄの検出範囲に相当する。
【００５５】
図５に示す範囲画像Ｒは、車両Ｃ前方右側を検出範囲とする範囲Ｒａと、車両Ｃ前方左側を検出範囲とする範囲Ｒｂとを含む。図５の範囲画像Ｒは、範囲Ｒａ、Ｒｂとの間であって範囲Ｒａ寄りを検出範囲とする範囲Ｒｃと、範囲Ｒｂ寄りを検出範囲とする範囲Ｒｄとを含む。また、範囲Ｒｃ、Ｒｄの検出距離は、範囲Ｒａ、Ｒｂの検出距離より長い。
【００５６】
なお、図５は、実施形態に係る範囲画像Ｒの一例を示す図である。図５に示す範囲画像Ｒは、レーダ装置３０が障害物を検出した場合にユーザに通知する範囲であって、実際にレーダ装置３０が障害物を検出可能な範囲とは異なっていてもよい。
【００５７】
すなわち、表示制御部１５０は、情報取得部１２０が取得した位置情報に基づいて障害物が範囲Ｒａ〜Ｒｄに含まれる場合にユーザに当該障害物を通知する。かかる点については図６を用いて後述する。
【００５８】
なお、範囲画像Ｒに関する情報は、範囲画像情報１７２として記憶部１７０に記憶されているものとする。
【００５９】
また、範囲画像決定部１５２は、範囲画像Ｒを表示すると決定すると、範囲画像Ｒの表示形態を決定する。例えば範囲画像決定部１５２は、範囲Ｒａ〜Ｒｄの境界線を表示することでレーダ装置３０の検出範囲を表示するようにする。
【００６０】
あるいは、範囲画像決定部１５２は、範囲Ｒａ〜Ｒｄを所定の透過率を有する黒色で表示するとともに範囲Ｒａ〜Ｒｄの境界線を白色で表示するとしてもよい。これにより、ユーザが検出範囲をより容易に認識することができるようになる。また、境界線を白色で表示する際、範囲Ｒａ〜Ｒｄの外側に向けて所定範囲に渡って放射状かつ色彩を段階的に薄くして表示する、いわゆるフレア状の表示を加えてもよい。この場合、境界線が強調され、範囲Ｒａ〜Ｒｄをより明瞭に判別することができる。
【００６１】
また、図５及び図６に示される領域Ｒｃ、Ｒｄは、領域の中は外側の枠線だけ残して透過させてもよい。この場合、領域Ｒｃ、Ｒｄに重複する障害物を参照することができる。また、領域Ｒｃ、Ｒｄは、中心から外側の枠線へ向けて枠線の色にグラデーションさせてもよい。この場合、領域Ｒｃ、Ｒｄの外側の範囲を容易に参照することができる。なお、特に領域Ｒａ、Ｒｂより外側の部分について透過又はグラデーションさせることが好ましい。この部分が障害物に重複しやすいからである。
【００６２】
（通知画像決定部）
図２に戻る。通知画像決定部１５３は、情報取得部１２０が障害物の位置情報を取得した場合、すなわち車両Ｃの周辺に障害物が存在している場合に、通知画像Ｐｓを表示装置５０に表示すると決定する。
【００６３】
通知画像決定部１５３は、情報取得部１２０が取得した位置情報に基づき、仮想視点画像において、障害物が存在する位置に通知画像Ｐｓを表示すると決定する。
【００６４】
まず、通知画像決定部１５３は、障害物が検出範囲のどこに位置するかを判定する。具体的に通知画像決定部１５３は、検出画像に含まれる範囲Ｒａ〜Ｒｄを複数の領域に分割し、分割したどの領域に障害物が存在するかを判定する。例えば図６では、範囲Ｒａ、Ｒｂを４つの領域に分割しており、範囲Ｒｃ、Ｒｄを５つの領域に分割している。なお、図６は、実施形態に係る通知画像Ｐｓの一例を説明するための図である。
【００６５】
ここで、図６に示すように、範囲Ｒａの領域Ｒａ２および範囲Ｒｃの領域Ｒｃ３内にそれぞれ障害物が位置するものとする。なお、図６では、障害物の位置を点Ｓ１、Ｓ２として表している。この場合、通知画像決定部１５３は、領域Ｒａ２および領域Ｒｃ３を、通知画像Ｐｓを表示する領域に決定する。
【００６６】
通知画像決定部１５３は、例えば厚みのない四角い板（面）を通知画像Ｐｓとして仮想視点画像に三次元的に合成すると決定する。このとき、通知画像決定部１５３は、かかる通知画像Ｐｓを三次元的に、例えば領域Ｒａ２、Ｒｃ３内に、地面に垂直であって車両Ｃと対面するように表示させる。これにより、通知画像決定部１５３は、仮想視点画像上の障害物を検出した位置に障害物の存在を通知する通知画像Ｐｓを表示させることができる。
【００６７】
次に、通知画像決定部１５３は、障害物の位置情報に基づいて通知画像Ｐｓの表示形態を決定する。例えば通知画像決定部１５３は、障害物と車両Ｃとの距離に応じて通知画像Ｐｓの表示色を変更する。
【００６８】
例えば図６の範囲Ｒａを例にとって説明すると、範囲Ｒａの領域Ｒａ１〜Ｒａ４のうち、車両Ｃに近い領域Ｒａ１、Ｒａ２内に障害物が存在する場合、通知画像決定部１５３は危険度が高いとして通知画像Ｐｓの表示色を赤色に決定する。また、車両Ｃから遠い領域Ｒａ３、Ｒａ４内に障害物が存在する場合、通知画像決定部１５３は危険度が低いとして通知画像Ｐｓの表示色を黄色に決定する。
【００６９】
ここで、上述したように、領域Ｒａ２、Ｒｃ３内に障害物が存在する場合、領域Ｒｃ３は車両Ｃから遠いため、通知画像決定部１５３は、領域Ｒｃ３内に表示する通知画像Ｐｓの表示色を黄色に決定する。一方、領域Ｒａ２は車両Ｃに近いため、通知画像決定部１５３は、領域Ｒａ２内に表示する通知画像Ｐｓの表示色を赤色に決定する。
【００７０】
このとき、例えば範囲画像決定部１５２が領域Ｒａ２を含む範囲Ｒａの表示色を通知画像Ｐｓの表示色と同じ赤色にすると決定してもよい。これにより、危険度が高い障害物の存在を、注目度をあげてユーザに報知することができる。
【００７１】
なお、ここでは、障害物の距離に基づいて通知画像Ｐｓの表示色を変更するとしたが、これに限定されない。障害物の距離、すなわち危険度に応じて通知画像Ｐｓの表示形態を変更すればよい。例えば、障害物の距離に基づいて通知画像Ｐｓの濃淡を変更してもよい。この場合、通知画像決定部１５３は、例えば障害物が遠いほど通知画像Ｐｓが淡く表示されるようにする。
【００７２】
あるいは、障害物の距離に基づいて通知画像Ｐｓの高さを変更するようにしてもよい。この場合、通知画像決定部１５３は、障害物が遠いほど、通知画像Ｐｓの高さ（地面に垂直な方向における長さ）が低くなるようにする。
【００７３】
また、障害物の距離が近い場合、通知画像決定部１５３は、通知画像Ｐｓを点滅表示させたり、輪郭線を太く表示したりするなど、通知画像Ｐｓを強調表示するようにしてもよい。
【００７４】
また、ここでは、通知画像Ｐｓが厚みのない四角い板（面）であるとしたが、通知画像Ｐｓの形状はこれに限定されない。例えば通知画像Ｐｓが所定の厚みを有する立体画像であってもよい。例えば通知画像決定部１５３は、領域Ｒａ２（図６参照）を底面とし所定の高さを有する立体を通知画像Ｐｓとしてもよい。この際、実際の領域Ｒａ２の底面より検知レベルを判断できる範囲で領域Ｒａ２を拡張してもよい。これにより、通知画像Ｐｓをより認識しやすくすることができる。
【００７５】
（車両画像決定部）
図２に戻る。車両画像決定部１５４は、仮想視点画像に合成する車両画像Ｐｃを決定する。例えば、車両画像決定部１５４は、情報取得部１２０が障害物の位置情報を取得していない、すなわち車両Ｃ周辺に障害物が存在しない場合に、車両Ｃの外観を示す車両画像Ｐｃを仮想視点画像に合成すると決定する。
【００７６】
障害物が存在しない場合に合成する車両画像Ｐｃは、車両Ｃが透過していない画像であり、例えば車両Ｃを模したポリゴンを含む画像であってもよく、あるいは、車両Ｃの外観を撮像した撮像画像であってもよい。
【００７７】
一方、車両画像決定部１５４は、車両Ｃ周辺に障害物が存在する場合、車両Ｃの少なくとも一部が透過した車両画像Ｐｃを合成すると決定する。
【００７８】
図７Ａおよび図７Ｂを用いて、車両画像決定部１５４が決定する車両画像Ｐｃについて説明する。図７Ａは実施形態に係る車両画像Ｐｃの一例を示す図であり、図７Ｂは、図７Ａに示す車両画像Ｐｃの一部を示す拡大図である。
【００７９】
図７Ａに示すように、障害物が存在する場合に仮想視点画像に合成する車両画像Ｐｃは一部が透過した画像になっている。図７Ａでは、車両Ｃの前方は透過率が高く背景が透けて見えるのに対し、車両Ｃの後方ほど透過率が低く背景が透けずに車両Ｃが描画されている。
【００８０】
このように車両画像Ｐｃの一部をグラデーション透過させることで車両Ｃ前方の障害物を通知画像Ｐｓとして表示させたとしても、当該通知画像Ｐｓが車両画像Ｐｃによって隠れることがない。これにより、仮想視点の位置や車両画像Ｐｃの位置等によらずユーザが障害物をより容易に確認することができる。かかる点については、図８を用いて後述する。
【００８１】
なお、車両画像Ｐｃの一部を透過させた場合でも、図７Ａに示すように、車両Ｃの輪郭線は透過させないものとする。これにより、車両画像Ｐｃの一部を透過させた場合でも、車両Ｃと障害物の前後関係を容易に確認できる。かかる点については、図８を用いて後述する。
【００８２】
また、車両画像Ｐｃに含まれる車両Ｃの輪郭線は複数の線で表現される。図７Ｂに示すように、例えば輪郭線は明るい色と暗い色の二色の線である。なお、図７Ｂは、図７Ａの一部分Ｒ１を拡大した拡大図である。
【００８３】
例えば車両画像Ｐｃの輪郭に車両Ｃの車体色に応じた色の補助線を入れることで、輪郭線を明度の異なる複数の線で表現できる。具体的には、例えば車体色が白やグレーなどの明るい色の場合は、黒色の補助線で輪郭線を描く。また例えば車体色が青や黒などの暗い色の場合は、白色の補助線で輪郭線を描く。
【００８４】
これにより、例えば昼間のように背景色が明るい場合も、夜間のように背景色が暗い場合も、ユーザは車両画像Ｐｃの輪郭線を容易に認識することができる。
【００８５】
なお、図７Ａに示す車両画像Ｐｃは一例であり、これに限定されない。例えば、車両Ｃの前方から後方をみた車両画像Ｐｃの場合は、車両Ｃの後方が透過した車両画像Ｐｃとなる。このように、車両画像決定部１５４は、障害物の有無および仮想視点の位置に応じて、障害物と車両Ｃとが重複する部分が透過した車両画像Ｐｃを決定する。なお、車両画像Ｐｃは、例えば車両画像情報１７１として記憶部１７０に記憶されているものとする。
【００８６】
（視点位置決定部）
図２に戻る。視点位置決定部１５５は、進行予測部１４０の予測経路に基づいて表示装置５０に表示する仮想視点画像の仮想視点位置を決定する。
【００８７】
例えば、車両Ｃが左折すると進行予測部１４０が予測した場合、視点位置決定部１５５は、車両Ｃの後左側の上方を仮想視点位置に決定する。また、車両Ｃが右折する場合、視点位置決定部１５５は、車両Ｃの後右側の上方を仮想視点位置に決定する。
【００８８】
（２．３．６．合成部）
合成部１６０は、表示制御部１５０の決定に従い、生成部１３０が生成した仮想視点画像に進行予測線Ｌ１、Ｌ２等を合成して合成画像を生成する。合成部１６０は、障害物の有無に応じた合成画像を生成する。
【００８９】
例えば、車両Ｃの周辺に障害物が存在する場合、合成部１６０は、仮想視点画像に、進行予測線Ｌ１、Ｌ２、範囲画像Ｒ、通知画像Ｐｓおよび車両画像Ｐｃを合成する。この場合、合成部１６０は、まず仮想視点画像に進行予測線Ｌ１、Ｌ２、範囲画像Ｒおよび通知画像Ｐｓを合成する。
【００９０】
例えば予測線決定部１５１が決定した進行予測線Ｌ１、Ｌ２が、図４に示すように、車両Ｃを真上からみた線である場合、合成部１６０は進行予測線Ｌ１、Ｌ２を座標変換して仮想視点からみた進行予測線Ｌ１、Ｌ２に変更して重畳する。
【００９１】
また、合成部１６０は、例えば記憶部１７０に記憶される範囲画像情報１７２に基づいて仮想視点画像に範囲画像Ｒを合成する。このとき、記憶部１７０に記憶される範囲画像情報１７２が真上からみた検出範囲（図５参照）である場合、合成部１６０は、範囲画像情報１７２を座標変換して仮想視点から検出範囲をみた範囲画像Ｒを生成してから仮想視点画像に重畳する。合成部１６０は、同様に通知画像Ｐｓも仮想視点からみた画像に変換して仮想視点画像に重畳する。
【００９２】
なお、ここでは、進行予測線Ｌ１、Ｌ２等を座標変換して仮想視点画像に重畳するとしたが、これに限定されない。例えば記憶部１７０に予め仮想視点からみた範囲画像情報１７２が記憶されている場合などは座標変換を行う必要はない。
【００９３】
合成部１６０は、進行予測線Ｌ１、Ｌ２等を仮想視点画像に合成した後、記憶部１７０に記憶される車両画像情報１７１に基づいて車両画像Ｐｃを仮想視点画像に例えばクロマキー合成することで合成画像を生成する。この場合、合成部１６０は、少なくとも一部が透過した車両画像Ｐｃを仮想視点画像に重畳する。
【００９４】
図８に、合成部１６０が生成する合成画像の一例について説明する。図８は、実施形態に係る合成部１６０が生成する合成画像の一例を示す図である。図８の例では、合成部１６０は、車両Ｃを左斜め後方からみた合成画像Ｐ４と車両Ｃを真上からみた俯瞰画像Ｐ５とを生成する。合成部１６０は、例えば合成画像Ｐ４と俯瞰画像Ｐ５とを合わせた表示画像Ｐ６を表示装置５０に出力する。
【００９５】
図８に示すように俯瞰画像Ｐ５には、車両画像Ｐｃ、進行予測線Ｌ１、Ｌ２および範囲画像Ｒが合成されている。ここで、車両Ｃの前方右側に２つの障害物が存在しているものとする（図６参照）。俯瞰画像Ｐ５に表示される範囲画像Ｒは、例えば領域Ｒａ２が赤色で塗りつぶされており、範囲Ｒａが赤い線で表示されている。また、例えば領域Ｒｃ３は黄色で塗りつぶされている。
【００９６】
また、図８に示すように、合成画像Ｐ４には、車両画像Ｐｃ、進行予測線Ｌ１、Ｌ２、範囲画像Ｒおよび通知画像Ｐｓ１、Ｐｓ２が合成されている。このとき、障害物が車両Ｃの前方右側に存在するため、通知画像Ｐｓ１、Ｐｓ２の上から車両画像Ｐｃが合成されるが、車両画像Ｐｃが透過しているため通知画像Ｐｓ１、Ｐｓ２をユーザが容易に確認することができる。
【００９７】
さらに、図８では、通知画像Ｐｓ１、Ｐｓ２の一部（図８では中央領域）が透過している。このように通知画像Ｐｓ１、Ｐｓ２の少なくとも一部を透過させることで、進行予測線Ｌ１をユーザが容易に確認することができるようになる。また、通知画像Ｐｓ１、Ｐｓ２は、中心から外側の枠線へ向けて枠線の色にグラデーションさせてもよい。この場合、通知画像Ｐｓ１、Ｐｓ２の外側の範囲を容易に参照することができる。図１Ｂの通知画像Ｐｓについても同様である。
【００９８】
また、図８では、通知画像Ｐｓ１、Ｐｓ２は、地面に対して垂直な面で表現される。このように、通知画像Ｐｓ１、Ｐｓ２を３次元的に表示することで、ユーザが障害物の位置をより容易に認識することができる。
【００９９】
ここで、上述したように、車両画像Ｐｃの一部を透過させているが、車両画像Ｐｃの輪郭線は透過させていない。これにより、通知画像Ｐｓ１、Ｐｓ２が車両画像Ｐｃより奥側に存在する点が明確になり、障害物と車両Ｃとの位置関係をユーザがより容易に確認することができる。
【０１００】
一方、車両Ｃの周囲に障害物が存在しない場合、合成部１６０は、進行予測線Ｌ１、Ｌ２、範囲画像Ｒおよび車両画像Ｐｃを合成して合成画像（図示せず）を生成する。この場合、合成部１６０は、例えば記憶部１７０の車両画像情報１７１に基づいて、透過していない車両画像Ｐｃを仮想視点画像に合成する。
【０１０１】
このように、障害物を検出したか否かに応じて車両画像Ｐｃの透過性を変更することで、障害物が存在する場合に、障害物と車両Ｃとの位置関係をユーザに対して提示することができる。
【０１０２】
（２．３．７．記憶部）
図２に戻る。記憶部１７０は、車両画像情報１７１や範囲画像情報１７２など画像処理装置１０の各部の処理で用いる情報が記憶される。また、記憶部１７０は、各部の処理結果を記憶する。
【０１０３】
記憶部１７０は、例えばＲＡＭやＨＤＤを備える。ＲＡＭやＨＤＤは、例えば画像処理装置１０の各部が実行する処理に応じた各種プログラムの情報等を記憶することができる。なお、画像処理装置１０は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して各種プログラムの情報等を取得するようにしてもよい。
【０１０４】
（２．４．表示装置）
表示装置５０は、例えば車両Ｃに搭載されるディスプレイである。表示装置５０は、画像処理装置１０が生成する表示画像を表示する。例えば車両Ｃにナビゲーション装置（図示せず）が搭載される場合、表示装置５０は当該ナビゲーション装置が備えるディスプレイであってもよい。
【０１０５】
（３．画像生成処理）
次に、図９を用いて、実施形態に係る画像処理装置１０が実行する画像生成処理の処理手順について説明する。図９は、実施形態に係る画像処理装置１０が実行する画像生成処理の処理手順を示すフローチャートである。
【０１０６】
画像処理装置１０は、例えば車両Ｃが一定速度以下で前進しながら右折または左折を行う場合に図９の画像生成処理を繰り返し実行する。
【０１０７】
画像処理装置１０は、例えば撮像装置２０が撮像画像を撮像する一定間隔ごとに図９の画像生成処理を実行する。なお、画像処理装置１０が画像生成処理を実行する間隔は、かかる一定間隔に限定されない。画像処理装置１０は、例えば複数の撮像画像を取得するごと、すなわち一定間隔より長い周期で画像生成処理を実行してもよい。
【０１０８】
図９に示すように、画像処理装置１０は、まず、撮像装置２０から撮像画像を取得する（ステップＳ１０１）。画像処理装置１０は、取得した撮像画像に基づいて仮想視点画像を生成する（ステップＳ１０２）。
【０１０９】
次に、画像処理装置１０は、情報取得部１２０が位置情報を取得したか否かに応じて障害物を検出したか否かを判定する（ステップＳ１０３）。障害物を検出していない場合（ステップＳ１０３のＮｏ）、画像処理装置１０はステップＳ１０５に進む。
【０１１０】
一方、障害物を検出した場合（ステップＳ１０３のＹｅｓ）、画像処理装置１０は、仮想視点画像における障害物の検出位置に通知画像Ｐｓを合成する（ステップＳ１０４）。続いて、画像処理装置１０は、仮想視点画像に範囲画像Ｒを合成し（ステップＳ１０５）、進行予測線Ｌ１、Ｌ２を合成する（ステップＳ１０６）。
【０１１１】
画像処理装置１０は、仮想視点画像に車両画像Ｐｃを合成して合成画像を生成する（ステップＳ１０７）。画像処理装置１０は生成した合成画像を表示装置５０に表示する（ステップＳ１０８）。
【０１１２】
なお、画像処理装置１０は、障害物の有無に応じて通知画像Ｐｓ、範囲画像Ｒおよび進行予測線Ｌ１、Ｌ２の少なくとも一つを合成すればよく、ステップＳ１０４〜ステップＳ１０６の処理の順番を入れ替えたり省略したりしてもよい。
【０１１３】
以上のように、実施形態に係る障害物提示システム１は、仮想視点画像に車両画像Ｐｃおよび通知画像Ｐｓを合成した合成画像を表示装置５０に表示する。このとき、仮想視点画像上の、障害物を検出した位置に通知画像Ｐｓを合成することで、ユーザが障害物の位置を容易に確認することができる。
【０１１４】
（４．効果）
上記実施形態に係る画像処理装置１０は、画像取得部１１０と、情報取得部１２０と、生成部１３０と、合成部１６０と、を備える。画像取得部１１０は、撮像装置２０が車両Ｃの周囲を撮像した撮像画像を取得する。情報取得部１２０は、車両Ｃの周囲に存在する障害物の検出位置に関する情報を取得する。生成部１３０は、画像取得部１１０が取得した撮像画像に基づいて、仮想視点から車両Ｃの周囲をみた仮想視点画像を生成する。合成部１６０は、仮想視点画像における検出位置に障害物の存在を通知する通知画像Ｐｓを合成するとともに、仮想視点画像に車両画像Ｐｃを合成する。
【０１１５】
これにより、ユーザが障害物をより容易に認識することができる。
【０１１６】
上記実施形態に係る画像処理装置１０の合成部１６０は、仮想視点画像に通知画像Ｐｓの少なくとも一部を透過させて合成する。
【０１１７】
これにより、通知画像Ｐｓが進行予測線Ｌ１、Ｌ２等と重なって表示される場合でも、ユーザが進行予測線Ｌ１、Ｌ２等をより容易に認識することができる。
【０１１８】
上記実施形態に係る画像処理装置１０の合成部１６０は、車両Ｃの少なくとも一部が透過した車両画像Ｐｃを合成する。
【０１１９】
これにより、車両画像Ｐｃと通知画像Ｐｓとが重なって表示される場合でも、ユーザが障害物をより容易に認識することができる。
【０１２０】
上記実施形態に係る画像処理装置１０の合成部１６０は、輪郭線が透過していない車両画像Ｐｃを合成する。
【０１２１】
これにより、車両画像Ｐｃと通知画像Ｐｓが重なって表示される場合でも、どちらが手前に表示されているのか認識しやすくなり、車両Ｃと障害物の位置関係をより容易に認識することができる。
【０１２２】
上記実施形態に係る画像処理装置１０の合成部１６０は、明度の異なる複数の輪郭線で描画された車両画像Ｐｃを合成する。
【０１２３】
これにより、仮想視点画像の背景色によらず、ユーザが車両画像Ｐｃの輪郭線を容易に認識することができる。
【０１２４】
上記実施形態に係る画像処理装置１０の合成部１６０は、三次元表示された通知画像Ｐｓを合成する。
【０１２５】
これにより、通知画像Ｐｓを立体的に認識することができるようになり、車両Ｃと障害物の位置関係をより容易に認識することができる。
【０１２６】
上記実施形態に係る画像処理装置１０の情報取得部１２０は、障害物を検出する検出装置（レーダ装置３０）から検出位置に関する情報を取得する。合成部１６０は、検出装置（レーダ装置３０）の検出範囲を示す範囲画像Ｒを仮想視点画像に合成する。
【０１２７】
これにより、ユーザが検出装置の検出範囲を認識することができるようになり、障害物を検出したか否かを容易に確認できるようになる。
【０１２８】
上記実施形態に係る画像処理装置１０の合成部１６０は、検出範囲を示す範囲画像Ｒの外枠をフレア状に表示して仮想視点画像に合成する。
【０１２９】
これにより、ユーザが検出装置の検出範囲をより容易に認識することができる。
【０１３０】
上記実施形態に係る画像処理装置１０の生成部１３０は、車両Ｃの後方上部から車両Ｃをみた仮想視点画像を生成する。
【０１３１】
これにより、ユーザが巻き込み確認を行っている場合でも、検出した障害物をユーザに提示することができる。
【０１３２】
上記実施形態に係る画像処理装置１０は、検出位置に応じて通知画像Ｐｓを強調表示するよう合成部１６０を制御する表示制御部１５０をさらに備える。
【０１３３】
これにより、障害物が車両Ｃに近く危険度が高い場合に、ユーザにより確実に障害物を提示することができる。
【０１３４】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【０１３５】
１    障害物提示システム
１０    画像処理装置
１１０    画像取得部
１２０    情報取得部
１３０    生成部
１４０    進行予測部
１５０    表示制御部
１６０    合成部
２０    撮像装置
３０    レーダ装置
５０    表示装置
【図１Ａ】
2018110328.tif 000003
【図１Ｂ】
2018110328.tif 000004
【図２】
2018110328.tif 000005
【図３】
2018110328.tif 000006
【図４】
2018110328.tif 000007
【図５】
2018110328.tif 000008
【図６】
2018110328.tif 000009
【図７Ａ】
2018110328.tif 000010
【図７Ｂ】
2018110328.tif 000011
【図８】
2018110328.tif 000012
【図９】
2018110328.tif 000013