(57)【要約】【課題】接近する移動体の接近速度(自車両との相対速度)を認識し易くすることができる画像処理装置を提供する。【解決手段】撮像装置１からの入力画像を処理し出力画像を生成する画像処理装置２であって、入力画像内にある等速移動する移動体が、出力画像上を等速移動する様に画像変換処理を行う。【選択図】図５
2018133616.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置からの入力画像を処理し出力画像を生成する画像処理装置であって、
前記入力画像内にある等速移動する移動体が、前記出力画像上を等速移動する様に画像変換処理を行うことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記移動体の移動方向は、地面から垂直方向に設定された前記撮像装置の光軸を含む仮想平面と平行な向きであることを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置の前記画像変換処理を含むことを特徴とする運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮像した接近する移動体画像を画像処理する画像処理装置及びこれを使用した運転支援装置に関する。
【背景技術】
【０００２】
この種の画像処理装置として、例えば車両の周囲を車載カメラで撮像した画像情報を画像処理して運転席の近傍に設けたモニタに表示するものが提案されている（例えば、特許文献１参照）。
この特許文献１に記載の先行技術では、車両の前、後、左側及び右側にフロントカメラ、バックカメラ、左サイドカメラ、右サイドカメラの４つのカメラを配置し、車両の周囲の画像情報を撮像し、各カメラで撮像した撮像画像から仮想視点から見た合成画像を生成してディスプレイに表示するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２５３４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この先行技術では、例えば自車両の後方から接近する車両の画像を自車両の画像とともに表示することはできるが、例えば接近する車両が等速で走行して自車両に近づいている場合に、接近する車両と撮像カメラとの距離が遠い場合と近い場合とでは、表示画面上での移動速度が異なってしまう。この現象は撮像カメラに魚眼レンズの様な広角レンズが搭載されている場合、より顕著になる。
【０００５】
よって、運転者が表示画面上で後方の車両を確認しても、その車両が自車両にどの程度の速度で接近しているかが分かりにくく、例えば車線変更の判断に使用するのが難しいという課題がある。
そこで、本発明は、上記先行技術の課題に着目してなされたものであり、接近する移動体の接近速度(自車両との相対速度)を認識し易くすることができる画像処理装置及びこれを使用した運転支援装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像処理装置は、撮像装置からの入力画像を処理し出力画像を生成する画像処理装置であって、入力画像内にある等速移動する移動体が、出力画像上を等速移動する様に画像変換処理を行うようにしている。
また、本発明の一態様に係る運転支援装置は、上記画像処理装置の画像変換処理を含んで構成されている。
【発明の効果】
【０００７】
本発明の一態様によれば、撮像装置に移動体が等速で接近してくる場合に、表示画面上で移動体が等速移動するように画像変換されるので、撮像装置と移動体との距離が遠い場合でも表示画面上で移動体との距離が近い場合と同等の単位時間当たりの移動距離に変換することができる。
また、上画像変換処理を運転支援装置に適用することにより、車両に接近する車両を容易に確認することができる運転支援装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る画像処理装置の第１実施形態の構成例を示すブロック図である。
【図２】撮像装置を示す側面図である。
【図３】車両の移動状況を示す説明図である。
【図４】撮像装置からの入力画像を示す図である。
【図５】等速移動画像を示す図である。
【図６】画像変換処理した左右の出力画像を示す図である。
【図７】画像変換処理した出力画像の変形例を示す図である。
【図８】画像変換処理した出力画像の他の変形例を示す図である。
【発明を実施するための形態】
【０００９】
次に、図面を参照して、本発明の一実施形態について説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、現実のものとは異なることに留意すべきである。したがって、具体的な構成部品については以下の説明を参酌して判断すべきものである。
また、以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の形状、構造、配置等を下記のものに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【００１０】
以下の詳細な説明では、本発明の一実施形態の完全な理解を提供するように多くの特定の細部について記載される。しかしながら、かかる特定の細部がなくても１つ以上の実施態様が実施できることは明らかであろう。他にも、図面を簡潔にするために、周知の構造及び装置が略図で示されている。
以下に、本発明に係る画像処理装置を運転支援装置に適用した場合の一実施形態について説明する。
【００１１】
図１に示すように、運転支援装置１０は、車両の後方の画像データを取得する撮像装置１と、画像処理装置２とを少なくとも備えている。
撮像装置１は、図２に示すように、車両４の後部のバンパー４ａの上方で且つ幅方向の中央（例えば、車両４の後部に設置されたナンバープレートの上部）に設置されたバックカメラである。この撮像装置１は、図１に示すように、車両４の後方から入射する光を集光する魚眼レンズ１１と、この魚眼レンズ１１を透過した光束が結像されるＣＣＤ等の撮像素子１２と、この撮像素子１２に対して画素の読み出しアドレスを順次指定しながら画像信号を取り込んで、画像信号として画像処理装置２に出力する画像処理部１３とを備えている。
【００１２】
魚眼レンズ１１は、光軸ＯＡが車両４の直進走行方向と平行に設定され、水平方向及び垂直方向に１８０度程度の画角を有する。この魚眼レンズ１１を通過した光束は撮像素子１２に結像される。
図２の視野角αは後述する図４に示される画像の垂直方向の画角を示している。
画像処理装置２は、画像変換部２１と、画像メモリ２２と、Ｄ／Ａコンバータ２３とを備えている。
【００１３】
画像変換部２１は、撮像装置１から画像信号として入力される入力画像を座標値、輝度値、色差値で構成された１画素のデータの集合からなる入力画像データとして画像メモリ２２に記憶する。ルックアップテーブル２４には入力画像データの１画素を出力画像データのどの座標に配置させるかの対応関係が座標データとして１画素毎に記憶されている。画像変換部２１は、１画素毎に入力画像データを読み出し、またルックアップテーブル２４からは座標データを読み出し、座標データを基に座標値を置き換えて出力画像データとして画像メモリ２２に記憶する。これらの動作を画像変換処理と言う。画像変換処理については更に後述する。  さらに、画像変換部２１は、画像メモリ２２に記憶されている出力画像データをＤ／Ａコンバータ２３に出力する。
【００１４】
Ｄ／Ａコンバータ２３は、画像変換部２１から入力される出力画像データをアナログ信号（例えばＮＴＳＣ（National Television System Committee)信号）に変換したアナログ画像信号を出力する。このＤ／Ａコンバータ２３から出力されるアナログ画像信号は、図１に示す表示装置３１や画像認識装置３２に出力画像として表示される。
本発明で実施される画像変換部２１が行う画像変換処理については、地上から垂直方向に設定された撮像装置１の光軸を含む仮想平面と平行な向きに等速で移動する移動体の移動を表示装置３１上で等速移動するように変換処理が行われる。
【００１５】
表示装置３１は、タッチパネル機能を有する液晶パネルを備え、画像処理装置２から出力されるアナログ画像信号に基づき画像を表示する。なお、表示装置３１には、車両４に設置されている図示しないカーナビゲーションシステムから送信される地図画像や、ＤＶＤプレーヤ等の画像再生機器から送信される画像を表示させてもよい。
次に、画像処理装置２の画像変換部２１の画像変換処理の具体的な処理内容について、図３を伴って説明する。例えば第１通行帯４１ａ、第２通行帯４１ｂ及び第３通行帯４１ｃを有する３車線の道路の第２通行帯４１ｂを自車両４が走行しているものとする。
【００１６】
自車両４が走行する第２通行帯４１ｂの隣接通行帯となる第３通行帯４１ｃには自車両４を追越すように自車両４とは異なる速度で等速移動する等速移動車両（追い越し車両）４２が存在する。自車両４に搭載されている撮像装置１と等速移動車両４２の前端との、通行帯と平行な方向に規定される距離は、１秒間に３ｍずつ縮まる(等速移動車両４２が接近する)ものとし、１秒毎の等速移動車両４２が描かれている。また、第１通行帯４１ａには車両が存在していない。
【００１７】
撮像装置１と等速移動車両４２のフロントとの、通行帯と平行な方向に規定される距離は、１１ｍから、１秒後には８ｍ、２秒後には５ｍ、３秒後には２ｍ、４秒後には−１ｍ、５秒後には−４ｍとなっている。
図４は、この図３における等速移動車両４２の接近状態を撮像装置１で撮像した撮像画像に左右反転処理を施した入力画像５０である。この入力画像５０は、図４（ａ）〜（ｆ）に示すように、中央に第２通行帯４１ｂが表示され、この第２通行帯４１ｂの左側に第１通行帯４１ａ、右側に第３通行帯４１ｃが表示される。図４（ａ）では、等速移動車両４２と撮像装置１との通行帯と平行な方向に規定される距離は１１ｍであり、図４（ｂ）では８ｍ、図４（ｃ）では５ｍとなっている。
【００１８】
これら図４（ａ）〜図４（ｆ）では等速移動車両４２の前端の位置を点線Ｌ１として示している。この入力画像５０をモニタに表示しても、図４（ａ）〜図４（ｃ）では等速移動車両４２の像が小さく、またモニタ上単位時間毎のモニタ上の移動量が小さいので、運転者は等速移動車両４２が迫っていることを直感的に認識することが難しい。
尚、図４（ａ）〜図４（ｆ）では等速移動車両４２の前方端の位置が分かりやすい様に前方端に沿う線Ｌ１を描いている。
【００１９】
その後、図４（ｄ）以降では、急激に等速移動車両４２の像が大きくなり、モニタ上の移動量も大きくなり、その後モニタ上から消失する。運転者は図４（ｄ）の段階で等速移動車両４２を認識したとしても、それを元に例えば車線変更の可否を判断することは難しい。
このため、本実施形態では、等速移動車両４２と自車両４（撮像装置１）との距離が一定の速さで縮まるとき、または自車両４が等速車両を等速で追い越して自車両（撮像装置１）と等速移動車両４２との距離が伸びるとき、すなわち、撮像装置１を基準としたときに、自車両４と異なる速度で等速移動している等速移動車両４２が存在しているときに、出力画像上で等速移動車両４２の像が等速移動するように画像変換して出力画像を生成する。生成した出力画像を表示装置の表示画面上に表示したとき、等速移動する等速移動車両４２は、運転者から認識されやすく、例えば車線変更の可否の判断等が容易になる。
【００２０】
前述の画像変換処理を繰り返すことにより、図５（ａ）〜（ｆ）に示すように、表示画面上を等速移動車両４２が一定移動量だけ移動する等速移動画像５１を生成することができる。図５では１秒毎の表示画面を（ａ）〜（ｆ）として時系列で表している。この等速移動画像５１は、図５（ａ）〜（ｆ）に示すように、移動体となる等速移動車両４２が時間の経過とともに、等速で表示画面上を移動している事がわかる。
尚、図５（ａ）〜図５（ｆ）では等速移動車両４２の前方端の位置が分かりやすい様に前方端に沿う線Ｌ２を描いている。
このような出力画像５１を例えば表示装置３１に表示することで、運転者は自車両４に近づく等速移動車両４２を容易に認識することができる。
【００２１】
なお、上記実施形態では、自車両の右側後方から接近する等速移動車両について画像上で等速移動する出力画像を生成する場合について説明したが、これに限定されるものではない。すなわち、自車両の左側後方で等速移動する車両についても右側と同様に出力画像上で等速移動する移動体として画像変換を行なうことができる。そして、車両の左右両側で等速移動画像を生成する場合には、図６（ａ）〜（ｆ）に示すように、出力画像５１を、１画面の左半分には第１通行帯４１ａを走行する車両の出力画像５２Ｌを配置し、１画面の右半分には第３通行帯４１ｃを走行する車両の出力画像５２Ｒを配置する合成出力画像とすることができる。この図６（ａ）〜（ｆ）に示す出力画像５１により、出力画像５１上で自車両４の両隣の通行帯を等速で接近する車両を同時に出力画像５１の中央から左右端部側に向かって等速で移動する等速移動車両として表すことができる。
【００２２】
このため、運転者が両隣の等速移動車両を容易に認識することができるとともに、等速移動車両４２が等速で接近してくること又は等速で遠ざかることを認識することができる。
なお、図６（ａ）〜（ｆ）では、第１通行帯４１ａを走行する等速移動車両がない場合について表示しており、出力画像５２Ｌでは、等速移動画像を生成することなく道路脇のフェンスが連続して表示されている。
【００２３】
さらには図７（ａ）〜（ｆ）に示すように、上述した図６（ａ）〜（ｆ）の２つの出力画像５２Ｌ及び５２Ｒについて、自車両４の第２通行帯４１ｂを撮像している領域と空を撮像している領域との双方を切り取って、走行車両のみを表示する横長で縦方向が１画面の半分となる出力画像５５Ｌ及び５５Ｒとして編集し、１画面の残りの半分の部分に出力画像５５Ｌ、５５Ｒの領域のそれぞれの一部を上方から見た画像、すなわち俯瞰画像５６Ｌ、５６Ｒとし、これらを合成して１画面分の出力画像５１を生成するようにしてもよい。尚、図６、図７で表される画像は画像処理装置２のルックアップテーブル２４に記憶されている座標データを変更することにより容易に生成することができる。
【００２４】
この場合には、図６で示した効果に加え、俯瞰画像５６Ｌ、５６Ｒで自車両４の通行帯を区画する白線を上方から俯瞰した画像を表示することができるため、これを例えば車線逸脱等の判断に使用することが可能となる。出力画像５５Ｌ及び５５Ｒと俯瞰画像５６Ｌ、５６Ｒとの上下関係は、上下反転させて１画面分の上半分に俯瞰画像５６Ｌ、５６Ｒを配置し、下半分に出力画像５５Ｌ及び５５Ｒを配置するようにしてもよい。
【００２５】
また、図７で示した俯瞰画像５６Ｌ、５６Ｒに代えて、図８に示すように、魚眼レンズ１１に起因する自車４の左右後方の画像歪みをそれぞれ補正した歪み補正画像５７Ｌ、５７Ｒとしてもよい。歪み補正画像５７Ｌ、５７Ｒではドアミラーに映し出される風景と同様な表示がなされる。こうすることにより、出力画像５５Ｌ、５５Ｒでは、運転者は自車両４に近づく等速移動車両４２を容易に認識しつつ、歪み補正画像５７Ｌ，５７で同時にドアミラー越しに後方を見たものと同様な画像を同時に見ることができるため、双方の画像から自車両４の後方の状態をより的確に判断することができる。
【００２６】
尚、上述の歪み補正については例えば特開２００８−３１１８９０号公報で開示される補正方法が用いられればよい。
また、上記実施形態では、撮像装置１が魚眼レンズ１１を備えている場合について説明したが、これに限定されるものではなく、画角が広い広角レンズを適用するようにしてもよい。また、撮像装置１は常時画像データを撮像する場合に限らず、静止画像を撮像するスチールカメラを適用し、一定時間毎にシャッターを制御して一定時間毎の静止画像を撮像するようにしてもよい。
【００２７】
また、上記実施形態では、本発明を車両の後方の移動体を撮像する場合に適用したが、これに限定されるものではなく、車両の前方の移動体を撮像する場合にも本発明を適用することができる。
また、本発明は、運転支援装置１０に適用する場合に限らず、地面から垂直方向に設定された前記撮像装置１の光軸ＯＡを含む仮想平面と平行な向きに移動する任意の移動体の入力画像について本発明を適用することができる。この場合、撮像装置１は、移動体に装着する場合に限らず、固定物に装着し、固定物に向かって移動する移動体を表示するようにしてもよい。
【００２８】
以上、特定の実施形態を参照して本発明を説明したが、これらの説明によって発明を限定することを意図するものではない。本発明の説明を参照することにより、当業者には、開示された実施形態の種々の変形例とともに本発明の別の実施形態も明らかである。したがって、特許請求の範囲は、本発明の範囲及び要旨に含まれるこれらの変形例又は実施形態も網羅すると解すべきである。
【符号の説明】
【００２９】
１…撮像装置、２…画像処理装置、４…自車両、１０…運転支援装置、１１…魚眼レンズ、１２…撮像素子、１３…画像処理部、２１…画像変換部、２２…画像メモリ、２３…Ｄ／Ａコンバータ、４１ａ…第１通行帯、４１ｂ…第２通行帯、４１ｃ…第３通行帯、４２…等速移動車両、３１…表示装置、３２…画像認識装置、５０…入力画像、５１…出力画像、５２Ｌ，５５Ｌ…出力画像、５２Ｒ，５５Ｒ…出力画像、５６Ｌ，５６Ｒ…俯瞰画像、５７Ｌ，５７Ｒ…歪み補正画像
【図１】
2018133616.tif 000003
【図２】
2018133616.tif 000004
【図３】
2018133616.tif 000005
【図４】
2018133616.tif 000006
【図５】
2018133616.tif 000007
【図６】
2018133616.tif 000008
【図７】
2018133616.tif 000009
【図８】
2018133616.tif 000010