(57)【特許請求の範囲】
【請求項１】
自車両に設置したカメラから自車両の周囲に存在する物体を撮像した画像を取得する画像取得部と、
前記画像取得部は、前記カメラによる撮像時刻が時刻Ｔ１である第１画像と、前記撮像時刻が前記時刻Ｔ１より後の時刻Ｔ２である第２画像とを取得し、
前記第１画像における前記物体を示す領域の位置から、前記時刻Ｔ１における前記自車両に対する前記物体の位置関係である第１位置関係を算出し、前記第２画像における前記物体を示す領域の位置から、前記時刻Ｔ２における前記自車両に対する前記物体の位置関係である第２位置関係を算出し、前記第１位置関係、前記第２位置関係、前記時刻Ｔ１および前記時刻Ｔ２から、前記時刻Ｔ２より後の時刻Ｔ３における前記自車両に対する前記物体の位置関係である第３位置関係を予測する位置予測部と、
前記第３位置関係に基づいて前記物体を示す領域を含む第３画像を生成する画像変換部と、
前記画像変換部が生成した前記第３画像を表示する表示部と、を備え、
前記第３画像における前記物体を示す領域の位置によって表わされる前記自車両に対する前記物体の位置関係は前記第３位置関係である、
車載用表示装置。
【請求項２】
前記位置予測部は、前記第１位置関係と前記第２位置関係とから求められる前記自車両と前記物体との相対速度と、前記第２位置関係とから、前記第３位置関係を予測する、
請求項１記載の車載用表示装置。
【請求項３】
前記位置予測部は、前記画像取得部が取得した前記画像と、前記撮像時刻に基づき、
前記時刻Ｔ１より前の時刻Ｔ０における第４画像の前記物体を示す領域の位置から、前記時刻Ｔ０における前記自車両に対する前記物体の位置関係である第４位置関係を算出し、前記第４位置関係と前記第１位置関係とから求められる前記自車両と前記物体との第１相対速度と、前記第１位置関係と前記第２位置関係とから求められる前記自車両と前記物体との第２相対速度とから求められる相対加速度と、前記第１位置関係と前記第２位置関係とから求められる前記自車両と前記物体との前記第２相対速度と、前記第２位置関係とから、前記第３位置関係を予測する、
請求項１に記載の車載用表示装置。
【請求項４】
車両に搭載されたカメラが撮像した画像を処理してディスプレイに表示する車載用表示装置の制御方法であって、
時刻Ｔ１における第１画像の自車両の周囲に存在する物体を示す領域の位置から、前記時刻Ｔ１における自車両と前記自車両の周囲に存在する物体との第１位置関係を算出するステップと、
前記時刻Ｔ１より後の時刻Ｔ２における第２画像の自車両の周囲に存在する物体を示す領域の位置から、前記時刻Ｔ２における前記自車両と前記物体との第２位置関係を算出するステップと、
前記第１位置関係と前記第２位置関係と前記時刻Ｔ１と前記時刻Ｔ２とから、前記時刻Ｔ２より後の時刻Ｔ３における前記自車両に対する前記物体との第３位置関係を予測するステップと、
予測された前記第３位置関係に基づき、第３画像を生成するステップと、を備え、
前記第３画像は、前記物体を示す領域を含み、
前記第３画像における前記物体を示す領域の位置によって表わされる前記自車両に対する前記物体の位置関係は前記第３位置関係である、
制御方法。
【請求項５】
自車両に設置したカメラから自車両の周囲に存在する物体を撮像した画像を取得する画像取得部と、
前記画像取得部は、前記カメラによる撮像時刻が時刻Ｔ１である第１画像と、前記撮像時刻が前記時刻Ｔ１より後の時刻Ｔ２である第２画像とを取得し、
前記第１画像における前記物体を示す領域の位置から、前記時刻Ｔ１における前記自車両に対する前記物体の位置関係である第１位置関係を算出し、前記第２画像における前記物体を示す領域の位置から、前記時刻Ｔ２における前記自車両に対する前記物体の位置関係である第２位置関係を算出し、前記第１位置関係、前記第２位置関係、前記時刻Ｔ１および前記時刻Ｔ２から、前記時刻Ｔ２より後の時刻Ｔ３における前記自車両に対する前記物体の位置関係である第３位置関係を予測する位置予測部と、
前記第３位置関係に基づいて前記物体を示す領域を含む第３画像を生成する画像変換部と、を備え、
前記第３画像における前記物体を示す領域の位置によって表わされる前記自車両に対する前記物体の位置関係は前記第３位置関係である、
画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載したカメラが撮像した画像を処理しドライバーに提示する車載用表示装置に関する。
【背景技術】
【０００２】
近年、車両に搭載したカメラが撮像した画像を処理しドライバーに提示することで運転を支援する車載用表示装置が普及し始めている。【０００３】
そのような中で、過去に撮像した画像から予測画像を生成する予測画像生成技術を車載用表示装置に応用することも考えられる。【０００４】
カメラを用いた従来の予測画像生成技術として、物体の予測画像を生成する技術が知られている。この技術では、時刻ｎ−１の第１画像と時刻ｎの第２画像における同一の物体に対し、楕円で近似したモーメント特徴を抽出する。そして、これらのモーメント特徴をアフィン変換で関連付け、時刻ｎ以降の任意の時刻における物体の予測画像を生成する（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平３−２９６８７６号公報
【発明の概要】
【０００６】
本発明は、自車両に搭載したカメラの位置が予測時刻における自車両の周囲に存在する物体に対する位置となるように画像を変換することで、３次元空間における自車両と自車両の周囲に存在する物体との関係を反映させた予測画像を生成することが可能な車載用表示装置を提供する。
【０００７】
本発明の車載用表示装置は、画像取得部と、位置予測部と、画像変換部と、表示部とを有する。画像取得部は、自車両に設置したカメラから自車両の周囲に存在する物体を撮像した画像を取得する。画像取得部は、カメラによる撮像時刻が時刻Ｔ１である第１画像と、撮像時刻が時刻Ｔ１より後の時刻Ｔ２である第２画像とを取得する。位置予測部は、第１画像における上記物体を示す領域の位置から、時刻Ｔ１における自車両に対する上記物体の位置関係である第１位置関係を算出し、第２画像における上記物体を示す領域の位置から、時刻Ｔ２における自車両に対する上記物体の位置関係である第２位置関係を算出する。そして、第１位置関係と第２位置関係と時刻Ｔ１および時刻Ｔ２とから、時刻Ｔ２より後の時刻Ｔ３における自車両に対する上記物体の位置関係である第３位置関係を予測する。画像変換部は、第３位置関係に基づいて上記物体を示す領域を含む第３画像を生成する。表示部は、画像変換部が生成した第３画像を表示する。第３画像における上記物体を示す領域の位置によって表わされる自車両に対する上記物体の位置関係は第３位置関係である。
【０００８】
本発明によれば、位置予測部が予測した位置関係に基づき、画像変換部が画像を変換することで、３次元空間における自車両と自車両の周囲に存在する物体との関係を反映させた予測画像を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態における車載用表示装置の構成を示すブロック図
【図２】本発明の実施の形態における車載用表示装置の動作の一例を示すフローチャート
【図３Ａ】図１に示す画像取得部がカメラから取得した撮像時刻Ｔ１における画像を示す図
【図３Ｂ】本発明の実施の形態における後続車両の特定処理と位置算出処理を説明する第１の図
【図４Ａ】図３Ａに示す画像から検出した後続車両を示す領域を示す図
【図４Ｂ】本発明の実施の形態における後続車両の特定処理と位置算出処理を説明する第２の図
【図５Ａ】本発明の実施の形態における、自車両に対する後続車両の相対位置Ｚｎを示す図
【図５Ｂ】本発明の実施の形態における、自車両に対する後続車両の相対位置Ｚｎ、Ｘｎを示す図
【図６Ａ】本発明の実施の形態における、時刻Ｔ１における自車両に対する後続車両の相対位置Ｐ１を示す図
【図６Ｂ】本発明の実施の形態における、時刻Ｔ２における自車両に対する後続車両の相対位置Ｐ２を示す図
【図６Ｃ】本発明の実施の形態における、予測時刻Ｔ３における後続車両の位置の予測処理を説明する図
【図７】本発明の実施の形態における予測画像の生成における視点変換を説明する概念図
【図８Ａ】本発明の実施の形態における、時刻Ｔ１におけるカメラ画像の一例を示す図
【図８Ｂ】本発明の実施の形態における、時刻Ｔ２におけるカメラ画像の一例を示す図
【図８Ｃ】本発明の実施の形態における、予測時刻Ｔ３における予測画像の一例を示す図
【発明を実施するための形態】
【００１０】
本発明の実施の形態の説明に先立ち、従来の車載用表示装置における問題点を簡単に説明する。従来のカメラを用いた予測画像生成技術では、予測画像を生成するために用いる画像の変換方法がアフィン変換である。そのため、３次元空間における被写体の変化が考慮されていない。したがって、従来のカメラを用いた予測画像生成技術を車載カメラの撮像画像に適用し、３次元空間における自車両と自車両の周囲に存在する物体との関係を反映させた予測画像を生成することは困難である。
【００１１】
以下、本発明の実施の形態における車載用表示装置１００について図面を参照しながら説明する。図１は、車載用表示装置１００の構成を示すブロック図である。
【００１２】
車載用表示装置１００は、車両に搭載され車両の周囲、例えば車両の後方を撮像するカメラ１１０と接続されている。カメラ１１０からは一定の頻度、例えば１秒間に３０フレームの撮像画像が車載用表示装置１００に入力される。
【００１３】
画像取得部１０１は、カメラ１１０が撮像した画像から、時刻Ｔ１と時刻Ｔ１より後の時刻Ｔ２における自車両と自車両の周囲に存在する物体との３次元空間における位置関係を算出するための画像を取得する。
【００１４】
位置予測部１０２は、画像取得部１０１が取得した画像と、その撮像時刻とに基づき、時刻Ｔ１と時刻Ｔ２における自車両と自車両の周囲に存在する物体との３次元空間における位置関係を算出する。時刻Ｔ１における位置関係を第１位置関係、時刻Ｔ２における位置関係を第２位置関係とする。そして、位置予測部１０２は、第１位置関係と第２位置関係とから、時刻Ｔ２より後の時刻Ｔ３における自車両と自車両の周囲に存在する物体との３次元空間における第３位置関係を予測する。
【００１５】
画像変換部１０３は、位置予測部１０２が予測した位置関係に応じて画像取得部１０１が取得した画像、例えば時刻Ｔ２に撮像した画像を変換し、例えば車室内のルームミラーの位置に設置されたディスプレイに表示する。具体的には、画像変換部１０３は、出力する変換画像において、自車両と自車両の周囲に存在する物体との位置関係が、位置予測部１０２が予測した第３位置関係となるように、画像取得部１０１が取得した画像を変換する。
【００１６】
以上のように構成された車載用表示装置１００の動作について説明する。図２は車載用表示装置１００の動作の一例を示すフローチャートである。
【００１７】
説明を簡略化するため自車両の周囲に存在する物体を、後続車両一台の場合を例として説明する。画像取得部１０１は、時刻Ｔ１における自車両と後続車両との位置関係を算出するための画像をカメラ１１０から取得する（ステップＳ２０１）。画像取得部１０１は撮像時刻Ｔ１より前の画像と、撮像時刻Ｔ１の第１画像とを取得する。
【００１８】
位置予測部１０２は、画像取得部１０１が取得した撮像時刻Ｔ１より前の画像と、撮像時刻Ｔ１の第１画像からオプティカルフローにより後続車両を特定し、時刻Ｔ１における自車両に対する後続車両の第１位置関係を算出する（ステップＳ２０２）。後続車両の特定処理と後続車両の位置算出処理については、後に図面を用いて詳細に説明する。
【００１９】
画像取得部１０１は、時刻Ｔ１より後の時刻Ｔ２における自車両と後続車両との位置関係を算出するための画像をカメラ１１０から取得する（ステップＳ２０３）。画像取得部１０１は撮像時刻Ｔ２より前の画像と、撮像時刻Ｔ２の第２画像とを取得する。
【００２０】
位置予測部１０２は、画像取得部１０１が取得した撮像時刻Ｔ２より前の画像と、撮像時刻Ｔ２の第２画像からオプティカルフローにより後続車両を特定し、時刻Ｔ２における自車両に対する後続車両の第２位置関係を算出する（ステップＳ２０４）。
【００２１】
位置予測部１０２は、ステップＳ２０２で算出した時刻Ｔ１における自車両に対する後続車両の第１位置関係と、ステップＳ２０４で算出した時刻Ｔ２における自車両に対する後続車両の第２位置関係から、時刻Ｔ２から所定時間経過後の時刻Ｔ３における自車両に対する後続車両の第３位置関係を予測する（ステップＳ２０５）。第３位置関係の予測処理に関しては後に図面を用いて説明する。
【００２２】
画像変換部１０３は、ステップＳ２０４で算出した時刻Ｔ２における自車両に対する後続車両の第２位置関係とステップＳ２０５で予測した時刻Ｔ３における自車両に対する後続車両の第３位置関係との関係から、時刻Ｔ２における第２画像を視点変換した予測画像を生成する（ステップＳ２０６）。視点変換に関しては後に図面を用いて説明する。
【００２３】
画像変換部１０３は、予測画像を例えば時刻Ｔ３と共に、例えば車室内のルームミラーの取付位置に設置されたディスプレイに出力し、ディスプレイはこの予測画像を表示する（ステップＳ２０７）。
【００２４】
このように、車載用表示装置１００は次の方法により制御される。まず、時刻Ｔ１における自車両と自車両の周囲に存在する物体との第１位置関係を算出する。次に、時刻Ｔ１より後の時刻Ｔ２における自車両と上記物体との第２位置関係を算出する。そして、第１位置関係と第２位置関係とから、時刻Ｔ２より後の時刻Ｔ３における自車両と上記物体との第３位置関係を予測する。この予測された第３位置関係に基づき、時刻Ｔ１または時刻Ｔ２に撮像された画像を変換し、時刻Ｔ３における予測画像を生成する。
【００２５】
図３Ａから図５Ｂは、図２のステップＳ２０２、ステップＳ２０４における後続車両の特定処理と後続車両の位置算出処理を説明する図である。
【００２６】
ステップＳ２０２とステップＳ２０４では第１画像、第２画像に対しそれぞれ同じ処理を行う。以後、図３Ａから図５Ｂを参照しながらステップＳ２０２における後続車両の特定処理と後続車両の位置算出処理を説明する。なお、カメラの外部パラメータは、路面上の物体とカメラ間の距離が計算できるように、あらかじめ算出しておくものとする。
【００２７】
図３Ａは、画像取得部１０１がカメラ１１０から取得した撮像時刻Ｔ１における第１画像を示している。第１画像には時刻Ｔ１における後続車両３００が写っている。
【００２８】
図３Ｂは、位置予測部１０２が、第１画像と撮像時刻Ｔ１より前の画像とを用いてオプティカルフローにより後続車両３００を検出する処理を示している。オプティカルフローにより物体を検出する技術は公知であり詳細な説明は省略するが、背景を示す複数のベクトル３０１と逆方向の複数のベクトル３０２により特定される領域を後続車両として検出する。
【００２９】
図４Ａは、第１画像から検出した後続車両を示す領域４０１を示している。位置予測部１０２は、検出した後続車両を示す領域４０１の下端と左右の中心を算出する。図４Ｂにおいて、後続車両を示す領域４０１の下端は、直線４０２として、左右の中心は後続車両を示す領域４０１を左右方向に２分する直線４０３として算出される。
【００３０】
位置予測部１０２は、算出した後続車両を示す領域４０１の下端が路面上にあると仮定して自車両と後続車両との前後方向の相対位置Ｚｎを算出する。また、左右の中心と画像の中心とのズレから自車両と後続車両との左右方向の相対位置Ｘｎを算出する。
【００３１】
図５Ａは相対位置Ｚｎ、図５Ｂは相対位置Ｚｎ、Ｘｎを示した図である。
【００３２】
位置予測部１０２は、撮像時刻Ｔ２における第２画像に対し同様な処理を行い、時刻Ｔ１における自車両に対する後続車両の第１位置である相対位置Ｐ１（Ｘ１、Ｙ１、Ｚ１）、時刻Ｔ２における自車両に対する後続車両の第２位置である相対位置Ｐ２（Ｘ２、Ｙ２、Ｚ２）を算出する。
【００３３】
なお、Ｙｎは自車両と後続車両との上下（高さ）方向の相対位置であるが、本実施の形態では、車両が平面を走行しているものとし、Ｙｎを０として説明する。
【００３４】
図６Ａ〜図６Ｃは、図２のステップＳ２０５における第３位置の予測処理を説明する図である。位置予測部１０２は、図６Ａに示す時刻Ｔ１における自車両に対する後続車両の相対位置Ｐ１と、図６Ｂに示す時刻Ｔ２における自車両に対する後続車両の相対位置Ｐ２とから、図６Ｃに示す、時刻Ｔ２から所定時間経過後の時刻Ｔ３における自車両に対する後続車両の相対位置Ｐ３を予測する。
【００３５】
位置予測部１０２は、自車両と後続車両との相対速度と自車両と後続車両との相対位置からＰ３を予測する。位置予測部１０２は、時刻Ｔ１における自車両と後続車両との相対位置Ｐ１と時刻Ｔ２における自車両と後続車両との相対位置Ｐ２から、自車両と後続車両との相対速度Ｖ（Ｖ１，Ｖ２，Ｖ３）をＶ＝（Ｐ２−Ｐ１）／（Ｔ２−Ｔ１）より算出する。
【００３６】
位置予測部１０２は、算出した相対速度Ｖと時刻Ｔ２における自車両と後続車両との相対位置Ｐ２から予測時刻Ｔ３における自車両と後続車両との相対位置Ｐ３（Ｘ３、Ｙ３、Ｚ３）を、Ｐ３＝Ｐ２＋Ｖ×（Ｔ３−Ｔ２）より算出する。
【００３７】
図６Ｃは、予測時刻Ｔ３において、時刻Ｔ２と比べ自車両と後続車両との相対距離Ｚ３は短くなり、進行方向に対しより左方向にズレてきていること（Ｘ３がより大きくなっていること）を示している。
【００３８】
図７は、図２のステップＳ２０６における画像変換部１０３が予測画像を生成するために行う画像の視点変換を説明する概念図である。
【００３９】
画像の視点変換とは、あるカメラ位置で撮像した画像を異なるカメラ位置で撮像した画像に変換することである。図７において画像７０１は、時刻Ｔ２にカメラ１１０が撮像した第２画像を示している。時刻Ｔ２におけるカメラ１１０の位置は、自車両と後続車両との相対位置Ｐ２で示される。
【００４０】
画像変換部１０３は、カメラ位置Ｐ２で撮像した第２画像を、位置予測部１０２が予測した時刻Ｔ３における自車両と後続車両との相対位置であるＰ３で撮像した画像に変換する。
【００４１】
画像変換部１０３は第２画像に映っているもの全てがカメラからの相対位置Ｐ２にあると仮定し、その物体とカメラとの相対位置がＰ３となるように画像を変換する。
【００４２】
図８Ａ〜図８Ｃは、本実施の形態におけるカメラ画像と予測画像を示した図である。図８Ａは時刻Ｔ１における第１画像、図８Ｂは時刻Ｔ２における第２画像、図８Ｃは予測時刻Ｔ３における予測画像を示した図である。
【００４３】
車載用表示装置１００は、位置予測部１０２が予測時刻における自車両と後続車両３００との相対位置、即ち、３次元空間における自車両と後続車両３００との関係を予測し、予測した相対位置に基づき予測画像を生成する。本実施の形態における車載用表示装置１００により生成された図８Ｃに示す予測画像には、３次元空間における自車両と後続車両３００との関係が反映されている。
【００４４】
以上のように、車載用表示装置１００は、画像取得部１０１と、位置予測部１０２と、画像変換部１０３とを有する。画像取得部１０１は、自車両に設置したカメラ１１０から自車両の周囲に存在する物体を撮像した画像を取得する。位置予測部１０２は、画像取得部１０１が取得した画像の撮像時刻から所定時間経過後における自車両と自車両の周囲に存在する物体との位置関係を予測する。画像変換部１０３は、位置予測部１０２で予測した位置関係に応じて、画像取得部１０１で取得した画像を変換する。そして、自車両と自車両の周囲に存在する物体との位置関係が位置予測部１０２で予測した位置関係となるように、画像変換部１０３が画像を変換する。これにより、３次元空間における自車両と自車両の周囲に存在する物体との関係を反映させた予測画像を生成することができる。
【００４５】
なお、前述の説明において、画像変換部１０３は、画像に映っているもの全てがカメラとの相対位置Ｐ２にあると仮定し画像を変換している。しかしながら、画像に映っているものの３次元位置が分かる場合は、位置予測部１０２は、それぞれのものの予測位置Ｐ３を予測し、画像変換部１０３は、それぞれの距離がＰ２−Ｐ３だけ変化するように画像を変換してもよい。この構成によって、より３次元空間における事物の関係を反映さえた予測画像を生成することが可能となり、ドライバーは後続車両との距離感をより把握しやすくなる。
【００４６】
また、前述の説明において、位置予測部１０２は、時刻Ｔ１、時刻Ｔ２における自車両と後続車両との相対位置に基づき自車両と後続車両との相対速度を算出し、相対速度を用いて後続車両との位置関係を予測している。しかしながら、位置予測部１０２は、より多数の時刻において自車両と後続車両との相対位置を算出し、相対速度の変化である相対加速度を求め、相対速度、相対加速度、および後続車両の位置から所定時間後における自車両と後続車両との位置関係を予測してもよい。このようにすれば、自車両と後続車両との位置関係の予測精度を高めることができ、より正確な３次元空間における自車両と後続車両との関係を反映させた予測画像を生成することが可能となる。
【００４７】
この場合、位置予測部１０２は、画像取得部１０１が取得した画像と、その撮像時刻に基づき、時刻Ｔ１より前の時刻Ｔ０における自車両に対する後続車両の第４位置関係を算出する。そして、第４位置関係と前述の第１位置関係とから求められる自車両と後続車両との第１相対速度と、第１位置関係と前述の第２位置関係とから求められる自車両と後続車両との第２相対速度とから、自車両と後続車両との相対加速度を求める。そしてこの相対加速度と、第１位置関係と第２位置関係とから求められる自車両と後続車両との相対速度と、第２位置関係とから、第３位置関係を予測する。
【００４８】
また、前述の説明において、自車両と後続車両との相対位置、相対速度、相対加速度を、カメラを用いて算出している。しかしながら、カメラ以外の装置、例えばレーザレーダやミリ波レーダ、ソナーなどを用いて相対位置、相対速度、相対加速度を算出してもよい。
【００４９】
なお、本発明の実施の形態にかかわる車載用表示装置は、専用のハードウェアによって実現される他に、その機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録し、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませて、実行するものであってもよい。
【産業上の利用可能性】
【００５０】
本発明の車載用表示装置、車載用表示装置の制御方法、プログラムは、車両の電子ミラー等に対して有用である。
【符号の説明】
【００５１】
１００    車載用表示装置
１０１    画像取得部
１０２    位置予測部
１０３    画像変換部
１１０    カメラ
３００    後続車両
３０１，３０２    ベクトル
４０１    領域
４０２，４０３    直線
７０１    画像
【図１】
0006518951.tif 000002
【図２】
0006518951.tif 000003
【図３Ａ】
0006518951.tif 000004
【図３Ｂ】
0006518951.tif 000005
【図４Ａ】
0006518951.tif 000006
【図４Ｂ】
0006518951.tif 000007
【図５Ａ】
0006518951.tif 000008
【図５Ｂ】
0006518951.tif 000009
【図６Ａ】
0006518951.tif 000010
【図６Ｂ】
0006518951.tif 000011
【図６Ｃ】
0006518951.tif 000012
【図７】
0006518951.tif 000013
【図８Ａ】
0006518951.tif 000014
【図８Ｂ】
0006518951.tif 000015
【図８Ｃ】
0006518951.tif 000016