(57)【要約】【課題】後方車両が至近距離まで近づいたときでも、後方車両の３次元情報を用いて、第１のカメラで撮影した画像と第２のカメラで撮影した画像とを合成することを容易にする。【解決手段】画像処理装置は、第１〜３のカメラが撮影した画像を取得する画像取得部と、第１のカメラで撮影された画像の死角領域に第２のカメラで撮影された死角領域画像を合成する合成部と、を備えた画像処理装置であって、第２のカメラと第３のカメラとのステレオ視により後方車両の３次元情報を取得する３次元情報取得部と、後方車両の全体がステレオ視の範囲内にあるときに後方車両の車両形状情報を保持する保持部と、を備え、後方車両の一部がステレオ視の範囲外になった場合、３次元情報取得部が取得する３次元情報と保持部が保持する車両形状情報とを用いて、後方車両の一部に対応する３次元情報を決定し、画像を合成する。【選択図】図８
2020183166.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、撮影範囲に前記車両の車体の一部が含まれるように配置される第１のカメラが撮影した画像と、前記第１のカメラで撮影された画像において前記車体の一部により死角となる死角領域を撮影する第２のカメラ及び第３のカメラが撮影した画像とを取得する画像取得部と、
前記第１のカメラで撮影された画像の前記死角領域に、前記第２のカメラで撮影された画像のうち、前記死角領域に対応する死角領域画像を合成する合成部と、を備えた画像処理装置であって、
前記第２のカメラと前記第３のカメラとのステレオ視により、後方車両の形状を表す３次元情報を取得する３次元情報取得部と、
前記後方車両の全体が、前記ステレオ視の範囲内にあるときに、前記後方車両の車両形状情報を保持する保持部と、
を備え、
前記合成部は、前記後方車両の一部が前記ステレオ視の範囲外になった場合、前記３次元情報取得部が取得する前記３次元情報と、前記保持部が保持する前記車両形状情報とを用いて、前記後方車両の一部に対応する前記３次元情報を決定し、決定した前記３次元情報を用いて前記死角領域に前記死角領域画像を合成する、画像処理装置。
【請求項２】
前記合成部は、前記後方車両の一部が前記ステレオ視の範囲外になった場合、決定した前記後方車両の一部に対応する前記３次元情報と、前記３次元情報取得部が取得する前記後方車両の３次元情報とを用いて、前記第２のカメラが撮影した画像を前記第１のカメラの視点に変換し、前記第１のカメラで撮影された画像と合成する、請求項１に記載の画像処理装置。
【請求項３】
前記後方車両の３次元情報は、前記ステレオ視により測定された後方車両上における複数の点までの距離情報、又は前記複数の点までの距離情報に基づく前記複数の点の３次元座標情報を含む、請求項１又は２に記載の画像処理装置。
【請求項４】
前記車両形状情報は、前記後方車両の全体が前記ステレオ視の範囲内にあるときの前記後方車両の３次元情報を含む、請求項３に記載の画像処理装置。
【請求項５】
前記合成部が合成した画像を、前記車両の後方画像を表示する表示部に表示させる表示制御部を有する、請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記第１のカメラ、前記第２のカメラ、及び前記第３のカメラを備える、請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記第１のカメラは、前記車両の側方から前記車両の後方を撮影するカメラであり、
前記第２のカメラは、前記車両の後方から前記車両の後方を撮影する広角カメラであり、
前記第３のカメラは、前記車両の後方から、前記第２のカメラより狭い画角で前記車両の後方を撮影するカメラである、請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
車両に搭載され、撮影範囲に前記車両の車体の一部が含まれるように配置される第１のカメラと、
前記第１のカメラで撮影された画像において前記車体の一部により死角となる死角領域を撮影する第２のカメラ及び第３のカメラと、
前記第１のカメラで撮影された画像の前記死角領域に、前記第２のカメラで撮影された画像のうち、前記死角領域に対応する死角領域画像を合成する画像処理装置と、を備えた画像処理システムであって、
前記画像処理装置は、
前記第２のカメラと前記第３のカメラとのステレオ視により、後方車両の形状を表す３次元情報を取得する３次元情報取得部と、
前記後方車両の全体が、前記ステレオ視の範囲内にあるときに、前記後方車両の車両形状情報を保持する保持部と、
前記後方車両の一部が前記ステレオ視の範囲外になった場合、前記３次元情報取得部が取得する前記後方車両の３次元情報と、前記保持部が保持する前記車両形状情報とを用いて、前記後方車両の一部に対応する前記３次元情報を決定し、決定した前記３次元情報を用いて前記死角領域に前記死角領域画像を合成する合成部と、
を有する、画像処理システム。
【請求項９】
車両に搭載され、撮影範囲に前記車両の車体の一部が含まれるように配置される第１のカメラと、
前記第１のカメラで撮影された画像において前記車体の一部により死角となる死角領域を撮影する第２のカメラ及び第３のカメラと、
前記第１のカメラで撮影された画像の前記死角領域に、前記第２のカメラで撮影された画像のうち、前記死角領域に対応する死角領域画像を合成する画像処理装置と、を備えた画像処理システムにおいて、
前記画像処理装置が、
前記第２のカメラと前記第３のカメラとのステレオ視により、後方車両の形状を表す３次元情報を取得する３次元情報取得処理と、
前記後方車両の全体が、前記ステレオ視の範囲内にあるときに、前記後方車両の車両形状情報を保持する保持処理と、
前記後方車両の一部が前記ステレオ視の範囲外になった場合、前記３次元情報取得処理で取得した前記後方車両の３次元情報と、前記保持処理で保持した前記車両形状情報とを用いて、前記後方車両の一部に対応する前記３次元情報を決定する決定処理と、
決定した前記３次元情報を用いて前記死角領域に前記死角領域画像を合成する合成処理と、
を実行する、画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法を画像処理装置に実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
自動車等の車両に搭載されるカメラモニタリングシステム（CMS: Camera Monitoring System）において、サイドカメラの映像の自車両部分に、リアカメラの映像を合成して、車体が透けているように見せる手法（以下、シースルービューと呼ぶ）がある。
【０００３】
例えば、後方を撮影するサイドカメラで撮影した画像と、広角で後方を撮影するリアカメラで撮影した画像とを、後方車両までの距離の情報に基づいて視点変換して合成し、合成された画像を表示する車両周辺監視装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１７５５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このようなシースルービューにおいて、サイドカメラで撮影した画像と、広角のリアカメラで撮影した画像とをきれいに合成するためには、後方車両の３次元情報（例えば、後方車両上の複数の点までの距離等）を用いて２つの画像を合成することが望ましい。
【０００６】
しかし、特許文献１に開示された技術では、サイドカメラで撮影した画像とリアカメラで撮影した画像とに基づいて、後方車両との間の距離を測定しているので、後方車両がサイドカメラの死角に入り、後方車両の３次元情報を取得することは困難である。
【０００７】
また、別の方法として、後方を撮影する広角カメラ（駐車時のリアモニタ用等）と、通常のカメラ（ルームモニタの置き換え用等）とを利用して、後方車両の３次元情報を取得する方法が考えられる。しかし、この方法でも、通常のカメラは、例えば、後方車両が至近距離まで近づいてきたときには、後方車両の一部が死角に入るため、後方車両の全体の３次元情報を取得することは困難である。
【０００８】
このように、従来の技術では、後方車両が至近距離まで近づいたときに、後方車両の３次元情報を用いて、サイドカメラで撮影した画像とリアカメラで撮影した画像とを合成することには困難を伴っていた。
【０００９】
なお、このような問題は、サイドカメラとリアカメラに限られず、撮影範囲に車両の一部が含まれる第１のカメラの画像と、前記第１のカメラの死角を撮影する第２のカメラの画像とを、後方車両の３次元情報を用いて合成する画像処理システムに、共通に存在する。
【００１０】
本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、後方車両が至近距離まで近づいたときでも、後方車両の３次元情報を用いて、第１のカメラで撮影した画像と第２のカメラで撮影した画像とを合成することを容易にする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明の一実施形態に係る画像処理装置は、車両に搭載され、撮影範囲に前記車両の車体の一部が含まれるように配置される第１のカメラが撮影した画像と、前記第１のカメラで撮影された画像において前記車体の一部により死角となる死角領域を撮影する第２のカメラ及び第３のカメラが撮影した画像とを取得する画像取得部と、前記第１のカメラで撮影された画像の前記死角領域に、前記第２のカメラで撮影された画像のうち、前記死角領域に対応する死角領域画像を合成する合成部と、を備えた画像処理装置であって、前記第２のカメラと前記第３のカメラとのステレオ視により、後方車両の形状を表す３次元情報を取得する３次元情報取得部と、前記後方車両の全体が、前記ステレオ視の範囲内にあるときに、前記後方車両の車両形状情報を保持する保持部と、を備え、前記合成部は、前記後方車両の一部が前記ステレオ視の範囲外になった場合、前記３次元情報取得部が取得する前記３次元情報と、前記保持部が保持する前記車両形状情報とを用いて、前記後方車両の一部に対応する前記３次元情報を決定し、決定した前記３次元情報を用いて前記死角領域に前記死角領域画像を合成する。
【発明の効果】
【００１２】
本発明の一実施形態によれば、後方車両が至近距離まで近づいたときでも、後方車両の３次元情報を用いて、第１のカメラで撮影した画像と第２のカメラで撮影した画像とを合成することが容易になる。
【図面の簡単な説明】
【００１３】
【図１】一実施形態に係る画像処理システムのシステム構成の一例を示す図である。
【図２】仮想投影面を用いたシースルービューについて説明するための図（１）である。
【図３】仮想投影面を用いたシースルービューについて説明するための図（２）である。
【図４】本発明の一実施形態に係るシースルービューについて説明するための図である。
【図５】３次元情報を用いたシースルービューの課題について説明するための図である。
【図６】一実施形態に係る画像処理装置の処理の概要について説明するための図である。
【図７】一実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。
【図８】一実施形態に係る画像処理装置の機能構成の例を示す図である。
【図９】一実施形態に係る画像処理装置の処理の例を示すフローチャートである。
【図１０】一実施形態に係る３次元情報の取得処理の例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に、本発明の実施の形態について、添付の図面を参照して説明する。
【００１５】
＜システム構成＞
図１は、一実施形態に係る画像処理システムのシステム構成の一例を示す図である。図１の例では、画像処理システム１は、自動車等の車両１０に搭載される、画像処理装置１００、第１のカメラ１０１、第２のカメラ１０２、及び第３のカメラ１０３等を含む。
【００１６】
画像処理装置１００は、例えば、自動車等の車両１０に搭載されるカメラモニタリングシステム（CMS: Camera Monitoring System）を実現する情報処理装置である。画像処理装置１００は、車両１０に予め搭載された車載ＥＣＵ（Electronic Control Unit）であっても良いし、後から車両１０に搭載可能な情報処理装置であっても良い。
【００１７】
第１のカメラ１０１は、撮影範囲に車両１０の車体の一部が含まれるように配置され、車両の後方の画像（映像）を撮影して、画像処理装置に出力するカメラである。例えば、第１のカメラ１０１は、図２（Ａ）に例示されるように、車両１０の側方に配置され、図２（Ｂ）に示すように、車両１０の車体２１１の一部が含まれる後方の画像２１０を撮影するサイドカメラ等である。
【００１８】
第２のカメラ１０２、及び第３のカメラ１０３は、第１のカメラ１０１で撮影された後方の画像２１０において、車体２１１の一部により死角となる領域（以下、死角領域と呼ぶ）を含む画像（映像）を撮影して、画像処理装置に出力するカメラである。
【００１９】
第２のカメラ１０２は、例えば、図２（Ａ）に例示されるように、車両１０の後方に配置され、図２（Ｃ）に示すように、第１のカメラ１０１より広い画角で、後方の画像２２０を撮影する広角カメラや魚眼カメラ等を適用することができる。
【００２０】
第３のカメラ１０３は、例えば、車両１０の後方等に配置され、第２のカメラ１０２より狭い画角で車両１０の後方の画像を撮影するカメラである。第３のカメラ１０３は、例えば、ルームミラーの置き換え用の画像を撮影するカメラ等を適用することができる。第３のカメラ１０３は、例えば、第２のカメラと所定の距離だけ離れて配置され、第２のカメラが撮影した画像と、第３のカメラが撮影した画像とを用いて、ステレオ視により、距離を測定するため等に用いられる。
【００２１】
画像処理装置１００は、第１のカメラ１０１で撮影された画像において、車体２１１の一部より死角となる死角領域に、第２のカメラ１０２で撮影された画像のうち、死角領域に対応する死角領域画像を合成して、後方の画像を表示する表示部に表示させる。これにより、画像処理装置１００は、車両１０に搭載されるカメラモニタリングシステムにおいて、例えば、サイドカメラの映像の自車両部分に、リアカメラの映像を合成して、車体が透けているように見せるシースルービューを実現する。
【００２２】
なお、図１に示す画像処理システム１のシステム構成は一例である。例えば、第１のカメラ１０１、第２のカメラ１０２、及び第３のカメラのうち、少なくとも一部は、画像処理装置１００に含まれていても良い。また、サイドカメラ、リアカメラ、ルームミラー置き換え用のカメラ等は、第１〜３のカメラの一例であり、これに限定されない。
【００２３】
＜仮想投影面を用いたシースルービュー＞
ここで、本実施形態に係る３次元情報を用いたシースルービューについて説明する前に、仮想投影面を用いたシースルービューについて簡単に説明する。
【００２４】
図２、３は、仮想投影面を用いたシースルービューについて説明するための図である。図２（Ａ）に示すように、車両１０には、第１のカメラ１０１と第２のカメラ１０２とが配置されているものとする。
【００２５】
第１のカメラ１０１は、一例として、図２（Ａ）に示されるように、車両１０のサイドミラーに対応する位置等に配置され、図２（Ｂ）に示すように、一般的なサイドミラーと同様の撮影範囲２０１を撮影する。これにより、第１のカメラ１０１は、例えば、図２（Ｂ）に示すように、車両１０の車体２１１の一部を含む後方の画像２１０を撮影し、画像処理装置１００に出力する。
【００２６】
第２のカメラ１０２は、一例として、図２（Ａ）に示されるように、車両１０の後方に配置され、図２（Ｃ）に示すように、第１のカメラ１０１より画角が広い撮影範囲２０２を撮影する。これにより、第２のカメラ１０２は、例えば、図２（Ｃ）に示すように、第１のカメラ１０１が撮影した画像２１０において、車体２１１の一部により死角となる死角領域を含む、より広い範囲の後方の画像２２０を撮影し、画像処理装置１００に出力する。
【００２７】
画像処理装置１００は、例えば、第２のカメラ１０２が撮影した画像２２０を用いて画像認識処理を行い、後方車両２０を検出すると、図３（Ａ）に示すように、後方車両２０までの距離ｄを測定する。例えば、画像処理装置１００は、特許文献１に開示された技術と同様に、第１のカメラ１０１と第２のカメラ１０２とのステレオ視により、後方車両２０までの距離ｄを測定する。
【００２８】
また、画像処理装置１００は、車両１０から距離ｄだけ離れた位置に仮想投影面３０１を設定し、第２のカメラ１０２で撮影した画像２２０を、第１のカメラ１０１の視点に変換した画像３１０を仮想投影面３０１に投影する。
【００２９】
さらに、画像処理装置１００は、例えば、図３（Ｂ）に例示するような、仮想投影面３０１に投影した画像３１０と、第１のカメラ１０１が撮影した画像２１０とを合成する。これにより、例えば、図３（Ｃ）に示すように、車体が透けているように見せるシースルービューの後方画像３２０を作成することができる。作成された後方画像３２０は、例えば、車両１０のダッシュボードや、Ａピラー付近等に設けられた、後方画像を表示するための表示部等に出力され、表示される。
【００３０】
この方法により、例えば、図３（Ｃ）に示すように、シースルービューの後方画像３２０を表示することができるようになる。ただし、この方法では、例えば、第２のカメラ１０２で撮影した後方車両２０の画像を、第１のカメラ１０１で撮影した後方車両２０の画像と正しく（きれいに）合成できるのは、車両１０から距離ｄだけ離れた仮想投影面３０１上になる。例えば、図３（Ａ）に示すように、後方車両２０のフロントグリルの中央部分に仮想投影面３０１を設定した場合、車両１０のボンネット、フロントガラス、側面等までの距離は、距離ｄより遠くなるので、後方車両２０を正しく（きれいに）合成できない場合がある。
【００３１】
そこで、本実施形態では、後方車両２０の形状を表す３次元情報を取得し、取得した３次元情報を用いて、第１のカメラ１０１で撮影した後方車両２０の画像と、第２のカメラ１０２で撮影した後方車両２０の画像とを合成する。
【００３２】
＜３次元情報を用いたシースルービュー＞
図４は、本発明の一実施形態に係るシースルービューについて説明するための図である。本実施形態では、例えば、図４（Ａ）に示すように、車両１０に、第１のカメラ１０１、第２のカメラ１０２に加えて、第３のカメラ１０３が設けられている。
【００３３】
第３のカメラ１０３は、例えば、第２のカメラと所定の距離だけ離れて設置され、第２のカメラが撮影した画像と、第３のカメラが撮影した画像とを用いて、ステレオ視により後方車両２０上の任意の点までの距離を測定するために用いられる。
【００３４】
例えば、画像処理装置１００は、第２のカメラ１０２で撮影した後方車両２０の画像と、第３のカメラ１０３で撮影した後方車両２０の画像のそれぞれから、例えば、図４（Ｂ）に示すように、複数の特徴点を抽出する。また、画像処理装置１００は、第２のカメラ１０２で撮影した後方車両２０の画像と、第３のカメラ１０３で撮影した後方車両２０の画像に共通する複数の特徴点までの距離を、公知の三角測量の原理で測定する。
【００３５】
これにより、例えば、第２のカメラ１０２と第３のカメラ１０３とを、車両１０の後端に所定の距離だけ離して配置することにより、車両１０から、後方車両２０上の複数の特徴点（以下、複数の点と呼ぶ）までの距離を測定することができるようになる。なお、第２のカメラ１０２と第３のカメラ１０３とを、車両１０の後端に配置することは必須ではない。画像処理装置１００は、車両１０上の任意の点から、後方車両２０上の複数の点までの距離を測定することができれば良い。
【００３６】
本実施形態では、この車両１０上の任意の点から、後方車両２０上の複数の点までの距離情報、又は複数の点までの距離情報に基づいて決定した３次元座標情報を、後方車両２０の３次元情報と呼ぶ。
【００３７】
この後方車両２０の３次元情報により、画像処理装置１００は、後方車両２０の形状を把握することができる。また、画像処理装置１００は、この後方車両２０の３次元情報を用いて、第２のカメラ１０２で撮影した画像２２０を、第１のカメラ１０１で撮影した画像２１０と同じ平面上に投影して、拡大、縮小、回転等の任意の座標変換を行うことができるようになる。
【００３８】
例えば、図２、３で説明した画像投影面を用いたシースルービューでは、第１のカメラ１０１で撮影した後方車両２０の画像と、第２のカメラ１０２で撮影した後方車両２０の画像とを正しく（きれいに）合成できるのは、仮想投影面３０１上の部分だけであった。一方、本実施形態に係る３次元情報を用いたシースルービューでは、第１のカメラ１０１で撮影した後方車両２０の画像と、第２のカメラ１０２で撮影した後方車両２０の画像とを、後方車両２０上の複数の点で正しく合成することができるようになる。
【００３９】
＜課題について＞
図５は、３次元情報を用いたシースルービューの課題について説明するための図である。図５に示すように、車両１０に、後方車両２０が至近距離まで近づいた場合、第３のカメラ１０３の死角５０１に、後方車両２０の一部が入ってしまう場合がある。このような場合、画像処理装置１００は、後方車両２０上の３次元情報のうち、第３のカメラ１０３の死角５０１に入った部分の３次元情報を取得することができない。従って、画像処理装置１００は、第１のカメラ１０１で撮影した後方車両２０の画像と、第２のカメラ１０２で撮影した後方車両２０の画像とを合成する際に、第３のカメラ１０３の死角５０１に入った部分を正しく合成することができない場合がある。
【００４０】
＜画像処理装置の処理の概要＞
図６は、一実施形態に係る画像処理装置の処理の概要について説明するための図である。
【００４１】
図６（Ａ）に示すように、後方車両２０が、第３のカメラ１０３の死角５０１に入っていない場合、画像処理装置１００は、第２のカメラ１０２と第３のカメラ１０３とのステレオ視により、後方車両２０の全体の３次元情報を取得することができる。このとき、画像処理装置１００は、取得した後方車両２０の全体の３次元情報を、車両形状情報６０１として、画像処理装置１００の記憶部６１０等に保持しておく。
【００４２】
また、図６（Ｂ）に示すように、後方車両２０が、第３のカメラ１０３の死角５０１に入った場合、画像処理装置１００は、第２のカメラ１０２と第３のカメラ１０３とのステレオ視により、後方車両２０の３次元情報６０２を取得する。ただし、この場合、後方車両２０の３次元情報のうち、第２のカメラ１０２の死角５０１に入った、後方車両２０の一部の３次元情報６０３を取得することができない。
【００４３】
この場合、画像処理装置１００は、取得した後方車両２０の３次元情報６０２と、記憶部６１０に保持している後方車両２０の車両形状情報６０１とを用いて、第２のカメラ１０２の死角５０１に入った、後方車両２０の一部の３次元情報６０３を決定する。
【００４４】
例えば、記憶部６１０に保持している後方車両２０の車両形状情報６０１は、前述した後方車両２０の３次元情報と同様に、拡大／縮小、回転等の座標変換が可能である。従って、画像処理装置１００は、例えば、記憶部６１０に保持した車両形状情報６０１を、取得した後方車両の３次元情報６０２に合わせて座標変換することにより、後方車両２０の一部の３次元情報６０３を決定することができる。
【００４５】
画像処理装置１００は、取得した後方車両２０の３次元情報６０２と、決定した後方車両２０の一部の３次元情報６０３とを用いて、第２のカメラ１０２で撮影した画像２２０を、第１のカメラ１０１の視点に変換することができる。
【００４６】
このように、本実施形態によれば、後方車両２０が至近距離まで近づいたときでも、第１のカメラ１０１で撮影した画像２１０と第２のカメラ１０２で撮影した画像２２０とを、後方車両２０の３次元情報を用いて合成することが容易になる。
【００４７】
＜ハードウェア構成＞
ここで、画像処理装置１００のハードウェア構成の例について説明する。
【００４８】
図７は、一実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１００は、一般的なコンピュータの構成を備えており、例えば、ＣＰＵ（Central Processing Unit）７０１、メモリ７０２、ストレージデバイス７０３、通信Ｉ／Ｆ（Interface）７０４、外部接続Ｉ／Ｆ７０５、表示装置７０６、入力装置７０７、ＧＰＵ（Graphics Processing Unit）７０８、及びシステムバス７０９等を有する。
【００４９】
ＣＰＵ７０１は、例えば、ストレージデバイス７０３、メモリ７０２等に記憶したプログラムを実行することにより、画像処理装置１００の各機能を実行する演算装置である。メモリ７０２には、例えば、ＣＰＵ７０１のワークエリア等として用いられる揮発性のメモリであるＲＡＭ（Random Access Memory）や、画像処理装置１００の起動用のプログラム等を記憶する不揮発性のメモリであるＲＯＭ（Read Only Memory）等が含まれる。
【００５０】
ストレージデバイス７０３は、例えば、ＯＳ（Operating System）、アプリケーションプログラム、及び各種のデータを記憶する大容量の記憶装置であり、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等によって実現される。
【００５１】
通信Ｉ／Ｆ７０４は、外部装置と通信するためのインタフェースである。例えば、通信Ｉ／Ｆ７０４は、画像処理装置１００を車載ネットワークに接続し、車両１０に搭載される１つ以上のＥＣＵや、カメラ等との通信を可能にする。また、通信Ｉ／Ｆ７０４は、無線ＬＡＮ（Local Area Network）や、近距離無線通信等により外部装置との通信を可能にするものであっても良い。
【００５２】
外部接続Ｉ／Ｆ７０５は、画像処理装置１００に外部装置を接続するためのインタフェースである。外部接続Ｉ／Ｆ７０５には、例えば、画像処理装置１００に、第１〜３のカメラを接続するためのインタフェース、後方の画像を表示する表示装置を接続するためのインタフェース、及び外部記憶装置を接続するためのインタフェース等が含まれ得る。
【００５３】
表示装置７０６には、例えば、画像処理装置１００が合成した後方の画像を表示するディスプレイや、動作状態、アラーム等の情報を表示するＬＥＤ（Light Emitting Diode）等の表示デバイスが含まれ得る。入力装置７０７には、利用者の入力操作を受け付けるタッチパネル、操作ボタン、電源ボタン等が含まれ得る。
【００５４】
ＧＰＵ７０８は、画像処理装置１００が実行する処理のうち、主に画像処理に関する演算を行う演算装置である。なお、画像処理装置１００は、画像処理をＣＰＵ７０１で実行しても良い。この場合、画像処理装置１００は、ＧＰＵ７０８を有していなくても良い。
【００５５】
システムバス７０９は、上記の各構成要素に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。なお、図７に示す画像処理装置１００のハードウェア構成は一例であり、画像処理装置１００は、コンピュータの構成を備えた様々なハードウェア構成であって良い。
【００５６】
＜機能構成＞
続いて、画像処理装置１００の機能構成について説明する。図８は、一実施形態に係る画像処理装置の機能構成の例を示す図である。画像処理装置１００は、例えば、画像取得部８０１、３次元情報取得部８０２、車両形状情報保持部８０３、合成部８０４、及び表示制御部８０５等を有する。
【００５７】
画像取得部８０１は、例えば、図７のＣＰＵ７０１で実行させるプログラムによって実現され、第１のカメラ１０１が撮影した画像２１０、第２のカメラ１０２が撮影した画像２２０、及び第３のカメラ１０３が撮影した画像（映像）を継続的に取得する。例えば、画像取得部８０１は、図７の外部接続Ｉ／Ｆ７０５、又は通信Ｉ／Ｆ７０４等を用いて、第１〜３のカメラから出力される画像を取得する。
【００５８】
３次元情報取得部８０２は、例えば、図７のＣＰＵ７０１で実行されるプログラム、ＧＰＵ７０８等によって実現され、第２のカメラ１０２と第３のカメラ１０３のステレオ視により、後方車両２０の３次元情報を取得する。例えば、３次元情報取得部８０２は、第２のカメラ１０２から取得した画像と、第３のカメラ１０３から取得した画像とを用いて、公知のステレオマッチングにより、後方車両２０上の複数の点（特徴点）までの距離を測定する。また、３次元情報取得部８０２は、後方車両２０上の複数の点までの距離情報、又は複数の点までの距離情報に基づいて決定した３次元座標を、後方車両２０の３次元情報として取得する。
【００５９】
車両形状情報保持部（保持部）８０３は、例えば、図７のＣＰＵ７０１で実行されるプログラムによって実現される。車両形状情報保持部８０３は、後方車両２０の全体が、第２のカメラ１０２と第３のカメラ１０３とによるステレオ視の範囲内であるときに、後方車両２０の車両形状情報６０１を、例えば、図７のメモリ７０２、ストレージデバイス７０３等の記憶部６１０に保持する。
【００６０】
例えば、３次元情報取得部８０２は、図６（Ａ）で説明したように、後方車両２０が第３のカメラ１０３の死角５０１に入っていない場合、第２のカメラ１０２と第３のカメラ１０３とのステレオ視により後方車両２０の全体の３次元情報を取得することができる。この場合、車両形状情報保持部８０３は、後方車両２０の全体が第２のカメラ１０２と第３のカメラ１０３とによるステレオ視の範囲内であると判断し、取得した後方車両２０の全体の３次元情報を、車両形状情報６０１として記憶部６１０に一時的に記憶する。
【００６１】
合成部８０４は、例えば、図７のＣＰＵ７０１で実行されるプログラム、ＧＰＵ７０８等によって実現され、第１のカメラ１０１で撮影された画像２１０の死角領域に、第２のカメラ１０２で撮影された画像２２０のうち、死角領域に対応する死角領域画像を合成する。
【００６２】
例えば、合成部８０４は、後方車両２０の全体がステレオ視の範囲内にある場合、３次元情報取得部８０２が取得した後方車両２０の全体の３次元情報を用いて、第２のカメラ１０２が撮影した画像２２０を、第１のカメラ１０１の視点に座標変換（視点変換）する。また、合成部８０４は、第１のカメラ１０１で撮影した画像２１０のうち、車体２１１で死角となる死角領域に、変換した画像のうち、死角領域に対応する死角領域画像を合成して、例えば、図３（Ｃ）に示すようなシースルービューの後方画像３２０を作成する。
【００６３】
一方、合成部８０４は、後方車両２０の一部がステレオ視の範囲外になった場合、図６で前述したように、取得した後方車両２０の３次元情報６０２と保持している後方車両２０の車両形状情報６０１とを用いて後方車両２０の一部の３次元情報６０３を決定する。
【００６４】
例えば、車両形状情報保持部８０３が保持している後方車両２０の車両形状情報６０１は、前述した後方車両２０の３次元情報と同様に、拡大／縮小、回転等の座標変換が可能である。従って、合成部８０４は、例えば、車両形状情報保持部８０３が保持している車両形状情報６０１を、取得した後方車両の３次元情報６０２の向き及び大きさに合わせて座標変換することにより、後方車両２０の一部の３次元情報６０３を決定することができる。
【００６５】
合成部８０４は、取得した後方車両２０の３次元情報６０２と、決定した後方車両２０の一部の３次元情報６０３とを用いて、第２のカメラ１０２が撮影した画像２２０を、第１のカメラ１０１の視点に座標変換（視点変換）する。また、合成部８０４は、第１のカメラ１０１で撮影した画像２１０のうち、車体２１１で死角となる死角領域に、変換した画像のうち、死角領域に対応する死角領域画像を合成して、例えば、図３（Ｃ）に示すようなシースルービューの後方画像３２０を作成する。
【００６６】
表示制御部８０５は、例えば、図７のＣＰＵ７０１で実行されるプログラムによって実現され、合成部８０４が作成した後方画像３２０を、後方画像を表示する表示部に出力して、表示させる。
【００６７】
＜処理の流れ＞
続いて、本実施形態に係る画像処理システム１による画像処理方法の処理の流れについて説明する。
【００６８】
（画像処理装置の処理）
図９は、一実施形態に係る画像処理装置の処理の例を示すフローチャートである。この処理は、例えば、車両１０が走行中に、画像処理装置１００が繰り返し実行する処理の例を示している。なお、この処理を実行している間、第１のカメラ１０１は、図２（Ｂ）に示すような後方の画像２１０（映像）を継続的に撮影し、出力しているものとする。また、第２のカメラ１０２は、図２（Ｃ）に示すような後方の画像２２０（映像）を継続的に撮影し、出力しているものとする。さらに、第３のカメラ１０３は、第２のカメラ１０２より狭い画角で、車両１０の後方の画像（映像）を継続的に撮影し、出力しているものとする。
【００６９】
ステップＳ９０１において、画像取得部８０１は、第１〜３のカメラが撮影した画像を取得する。
【００７０】
ステップＳ９０２において、３次元情報取得部８０２は、第２のカメラ１０２と第３のカメラ１０３のステレオ視により、車両１０の後方にある後方車両２０の３次元情報を取得する。なお、３次元情報取得部８０２による３次元情報の取得処理については、図１０で詳述する。
【００７１】
ステップＳ９０３において、画像処理装置１００は、後方車両２０があるか否かを判断する。例えば、画像処理装置１００は、３次元情報取得部８０２が、後方車両２０の３次元情報を取得できた場合、後方車両２０があると判断し、後方車両２０の３次元情報を取得できなかった場合、後方車両２０がないと判断しても良い。
【００７２】
後方車両２０がある場合、画像処理装置１００は、処理をステップＳ９０４に移行させる。一方、後方車両２０がない場合、画像処理装置１００は、処理をステップＳ９１０に移行させる。
【００７３】
ステップＳ９０４に移行すると、車両形状情報保持部８０３は、３次元情報取得部８０２が、後方車両２０の全体の３次元情報を取得できたか否かを判断する。
【００７４】
後方車両２０の全体の３次元情報を取得できた場合、車両形状情報保持部８０３は、後方車両２０の全体が、第２のカメラ１０２と第３のカメラ１０３とによるステレオ視の範囲内にあると判断し、処理をステップＳ９０５に移行させる。一方、後方車両２０の全部の３次元情報を取得できなかった場合、車両形状情報保持部８０３は、例えば、後方車両２０の一部が、第２のカメラ１０２と第３のカメラ１０３とによるステレオ視の範囲外になったと判断し、処理をステップＳ９０６に移行させる。
【００７５】
ステップＳ９０５に移行すると、車両形状情報保持部８０３は、３次元情報取得部８０２が取得した後方車両２０の３次元情報を、後方車両２０の車両形状情報６０１として、メモリ７０２、ストレージデバイス７０３等の記憶部６１０に保持（記憶）する。
【００７６】
一方、ステップＳ９０４からステップＳ９０６に移行すると、画像処理装置１００は、車両形状情報保持部８０３によって、後方車両２０の車両形状情報６０１が保持されているか否かを判断する。
【００７７】
車両形状情報６０１が保持されている場合、画像処理装置１００は、処理をステップＳ９０７に移行させる。一方、車両形状情報６０１が保持されていない場合、画像処理装置１００は、処理をステップＳ９１２に移行させる。
【００７８】
ステップＳ９０７に移行すると、合成部８０４は、３次元情報取得部８０２が取得した後方車両２０の３次元情報と、車両形状情報保持部８０３が保持している車両形状情報から、後方車両２０の全体の３次元情報を決定（推定）する。
【００７９】
例えば、合成部８０４は、図６（Ｂ）で死角５０１に入り、取得できなかった後方車両２０の一部の３次元情報６０３を、取得した後方車両２０の３次元情報６０２と、保持している後方車両２０の車両形状情報６０１とを用いて決定する。また、合成部８０４は、取得した後方車両２０の３次元情報６０２と、決定した後方車両２０の一部の３次元情報６０３とを組み合わせて、後方車両２０の全体の３次元情報を決定する。
【００８０】
或いは、合成部８０４は、保持している後方車両２０の車両形状情報６０１を、拡大／縮小、回転させて、取得した後方車両２０の３次元情報６０２と向き、大きさ等を一致させることにより、後方車両２０の全体の３次元情報を決定しても良い。
【００８１】
ステップＳ９０５又はステップＳ９０７からステップＳ９０８に移行すると、合成部８０４は、後方車両２０の全体の３次元情報を用いて、第２のカメラ１０２が撮影した画像を、第１のカメラ１０１の視点に視点変換（座標変換）する。
【００８２】
一方、ステップＳ９０６からステップＳ９０９に移行すると、合成部８０４は、ステップＳ９０２で取得した後方車両２０の一部の３次元情報を用いて、第２のカメラ１０２が撮影した画像を、第１のカメラ１０１の視点に座標変換（視点変換）する。
【００８３】
また、ステップＳ９０３からステップＳ９１０に移行すると、車両形状情報保持部８０３は、保持している車両形状情報があれば破棄する。また、ステップＳ９１１において、合成部８０４は、後方車両２０の３次元情報を用いないで、第２のカメラ１０２が撮影した画像を、第１のカメラ１０１の視点に座標変換（視点変換）する。
【００８４】
ステップＳ９１２において、合成部８０４は、第１のカメラで撮影した画像と、ステップＳ９０８、Ｓ９０９、Ｓ９１１で視点変換した第２のカメラ１０２の画像とを合成して、例えば、図３（Ｃ）に示すようなシースルービューの後方画像３２０を作成する。また、表示制御部８０５は、合成部８０４が作成した後方画像３２０を、車両１０が備える後方画像を表示する表示部に出力して、表示させる。
【００８５】
なお、例えば、図６（Ｂ）に示すように、車両１０の至近距離に後方車両２０が近づく前には、図６（Ａ）に示すように、後方車両２０の全体の３次元情報を取得できる場合が多いと考えられる。従って、画像処理装置１００は、図９の処理を繰り返し実行することにより、後方車両２０が至近距離まで近づいたときでも、後方車両２０の３次元情報を用いて、第１のカメラ１０１で撮影した画像と第２のカメラ１０２で撮影した画像とを容易に合成することができるようになる。
【００８６】
（３次元情報の取得処理）
図１０は、一実施形態に係る３次元情報の取得処理の例を示すフローチャートである。この処理は、例えば、図９のステップＳ９０２において、３次元情報取得部７０２が実行する次元情報の取得処理の例を示している。
【００８７】
ステップＳ１００１において、３次元情報取得部７０２は、第２のカメラ１０２、又は第３のカメラ１０３が撮影した画像を用いて、画像認識により後方車両２０を検出する。
【００８８】
ステップＳ１００２において、３次元情報取得部７０２は、後方車両２０を検出できた場合、ステップＳ１００３以降の処理を実行する。一方、３次元情報取得部７０２は、後方車両２０を検出できなかった場合、ステップＳ１００３以降の処理の実行を中止する。
【００８９】
ステップＳ１００３において、３次元情報取得部７０２は、第２のカメラ１０２で撮影した後方車両２０の画像と、第３のカメラ１０３で撮影した後方車両２０の画像のそれぞれから、例えば、図４（Ｂ）に示すように、複数の特徴点を抽出する。
【００９０】
ステップＳ１００４において、３次元情報取得部７０２は、第２のカメラ１０２で撮影した後方車両２０の画像と、第３のカメラ１０３で撮影した後方車両２０の画像とに共通する複数の特徴点までの距離を、ステレオ視により測定する。
【００９１】
ステップＳ１００５において、３次元情報取得部７０２は、測定した複数の特徴点までの距離情報、又は複数の特徴点までの距離情報に基づく３次元座標情報を、後方車両２０の３次元情報として取得する。
【００９２】
上記の処理により、画像処理装置１００は、第２のカメラ１０２が撮影した画像と、第３のカメラ１０３が撮影した画像とを用いて、後方車両２０の形状を表す３次元情報を取得することができる。
【００９３】
また、画像処理装置１００は、後方車両２０の全体が、第２のカメラ１０２と第３のカメラ１０３とのステレオ視の範囲内にあるときに、後方車両２０の３次元情報を取得することにより、後方車両２０の車両形状を示す車両形状情報を取得することができる。
【００９４】
さらに、画像処理装置１００は、後方車両２０の一部が、第２のカメラ１０２の死角５０１に入ったとき、車両形状情報を用いて、死角５０１に入った後方車両２０の一部に対応する３次元情報を決定（推定）することができる。
【００９５】
従って、本実施形態に係る画像処理装置１００によれば、後方車両２０が至近距離まで近づいたときでも、後方車両２０の３次元情報を用いて、第１のカメラ１０１で撮影した画像と第２のカメラ１０２で撮影した画像とを合成することが容易になる。
【００９６】
以上、本発明の一実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、様々な変形や変更が可能である。
【符号の説明】
【００９７】
１          画像処理システム
１０        車両
１００      画像処理装置
１０１      第１のカメラ
１０２      第２のカメラ
１０３      第３のカメラ
２１１      車体
８０１      画像取得部
８０２      ３次元情報取得部
８０３      車両形状情報保持部（保持部）
８０４      合成部
８０５      表示制御部
【図１】
2020183166.tif 000003
【図２】
2020183166.tif 000004
【図３】
2020183166.tif 000005
【図４】
2020183166.tif 000006
【図５】
2020183166.tif 000007
【図６】
2020183166.tif 000008
【図７】
2020183166.tif 000009
【図８】
2020183166.tif 000010
【図９】
2020183166.tif 000011
【図１０】
2020183166.tif 000012