(57)【要約】【課題】移動体の後方及び後側方にカメラを搭載した場合に、移動体の後方に位置する物体を確実に表示することが可能な画像表示装置を提供すること。【解決手段】車両の後方を撮像する後方カメラと、車両の後側方を撮像する後側方左カメラ及び後側方右カメラと、後方カメラが撮像した画像、並びに後側方左カメラ及び後側方右カメラが撮像した画像を合成する画像処理を行うものであって、車両の後方側に設定される目安線の位置より後方の領域が後方カメラの撮像画像となるように画像の合成を行う画像処理部と、画像処理部により合成された画像を表示するディスプレイとを備えている。そして、車両の後方及び車両の斜め後方を撮像した画像を用いて行う画像処理において、車両の後方に位置する物体を表示する。【選択図】図６
2013141120.tif 000002
【特許請求の範囲】
【請求項１】
移動体の後方を撮像する後方撮像手段と、
前記移動体の後側方を撮像する後側方撮像手段と、
前記後方撮像手段により撮像された画像、及び前記後側方撮像手段により撮像された画像を合成する画像処理を行うものであって、前記移動体の後方側に設定される基準位置より後方の領域が前記後方撮像手段により撮像された画像となるように合成を行う画像処理手段と、
前記画像処理手段により合成された画像を表示する表示手段と、
を備える、
画像表示装置。
【請求項２】
前記後方撮像手段により撮像された画像、及び前記後側方撮像手段により撮像された画像を視点変換する視点変換手段を備え、
前記画像処理手段は、前記基準位置より後方の領域が前記視点変換手段により前記基準位置から後方を撮像したときの画像に視点変換された画像となるように合成を行う、
請求項１に記載の画像表示装置。
【請求項３】
前記後方撮像手段の撮像範囲と前記後側方撮像手段の撮像範囲とは、前記移動体の斜め後方であって前記移動体に対して一車線以上側方に離れた位置で交差し、
前記画像処理手段は、前記交差する位置より後方の画像が前記後方撮像手段により撮像された画像となるように合成を行う、
請求項１又は２に記載の画像表示装置。
【請求項４】
前記画像処理手段は、前記後方撮像手段により撮像された画像が前記基準位置から上方に向かうにつれて側方に広がるように合成を行う、
請求項１〜３のいずれか１項に記載の画像表示装置。
【請求項５】
前記移動体は、車両であり、
前記基準位置は、前記移動体が後方車両の影響を受けずに車線変更可能とされる位置である、
請求項１〜４のいずれか１項に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置に関するものである。
【背景技術】
【０００２】
従来から、画像表示装置として車両に搭載した複数のカメラの画像を合成して車両の周囲に存在する物体を表示させるものが知られている。特許文献１（特開２００１−０５５１００号公報）には、複数のカメラとカメラ画像を表示するモニタとを備え、車両状態に応じて画像処理の対象とするカメラ画像を指定する技術が開示されている。また、特許文献２（特許３２９８８５１号公報）には、左側モニタ、右側モニタ及び中央モニタにカメラ画像を適切なタイミングで表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−０５５１００号公報
【特許文献２】特許３２９８８５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記のような画像表示装置において、車両等の移動体の後方及び後側方に互いに取り付け位置及び向きが異なるカメラを搭載し、これらのカメラが撮像したカメラ画像をパノラマ合成する装置がある。この種の装置では各カメラ画像を合成して画像を生成する際に、各画像を合成するための合成境界を設定する。ここで、従来の画像表示装置では、各画像の一致度が高い遠方背景に合わせて合成境界を設定する。従って、移動体の後方に比して後側方の画像がより大きく表示されるため、移動体の後方に位置する物体が十分に表示されないという問題が発生する。
【０００５】
本発明の目的は、移動体の後方及び後側方にカメラを搭載した場合に、移動体の後方に位置する物体を確実に表示することが可能な画像表示装置を提供することである。
【課題を解決するための手段】
【０００６】
すなわち、本発明に係る画像表示装置は、移動体の後方を撮像する後方撮像手段と、前記移動体の後側方を撮像する後側方撮像手段と、前記後方撮像手段により撮像された画像、及び前記後側方撮像手段により撮像された画像を合成する画像処理を行うものであって、前記移動体の後方側に設定される基準位置より後方の領域が前記後方撮像手段により撮像された画像となるように合成を行う画像処理手段と、前記画像処理手段により合成された画像を表示する表示手段と、を備える。
【０００７】
この発明によれば、画像処理手段は、基準位置より後方が後方撮像手段により撮像された画像となるように画像の合成を行う。このため、移動体の後方の画像及び斜め後方の画像を合成して行う画像処理において、合成画像に移動体の後方に位置する物体を確実に表示させることが可能となる。
【０００８】
また、本発明に係る画像表示装置において、後方撮像手段により撮像された画像、及び後側方撮像手段により撮像された画像を視点変換する視点変換手段を備え、画像処理手段は、基準位置より後方の領域が視点変換手段により基準位置から後方を撮像したときの画像に視点変換された画像となるように合成を行うことが好ましい。この発明によれば、基準位置から後方の領域を後方撮像手段の後方画像に視点変換するため、合成画像を滑らかな画像にすると共に、後方に位置する物体を確実に表示させることが可能となる。
【０００９】
また、本発明に係る画像表示装置において、後方撮像手段の撮像範囲と後側方撮像手段の撮像範囲とは、移動体の斜め後方であって移動体に対して一車線以上側方に離れた位置で交差し、画像処理手段は、交差する位置より後方の画像が後方撮像手段により撮像された画像となるように合成を行うことが好ましい。この発明によれば、撮像範囲が一車線以上側方に離れた位置で交差するため、車線変更の対象となる両隣の車線までが後方撮像手段の撮像範囲となる。従って、両隣の車線までの後方領域では撮像範囲が重ならなくなるため、この領域の物体が二重に表示される問題を確実に回避することが可能となる。よって、移動体の後方であって両隣の車線近傍に位置する物体も確実に表示することができる。
【００１０】
また、本発明に係る画像表示装置において、画像処理手段は、後方撮像手段により撮像された画像が基準位置から上方に向かうにつれて側方に広がるように合成を行うことが好ましい。この発明によれば、合成境界が傾斜するように合成画像が生成されるため、後方撮像領域と後側方撮像領域との境目近傍に上下に延びて存在する物体も確実に表示することが可能となる。
【００１１】
また、本発明に係る画像表示装置において、移動体は、車両であり、基準位置は、移動体が後方車両の影響を受けずに車線変更可能とされる位置であることが好ましい。この発明によれば、基準位置を車線変更の影響を受けない位置としている。従って、車両のドライバは、後方車両を確実に認識することが可能になると共に、車線変更が可能か否かについての判断を行うことができる。
【発明の効果】
【００１２】
本発明によれば、移動体の後方及び後側方にカメラを搭載した場合に、移動体の後方に位置する物体を確実に表示することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態に係る画像表示装置の概略構成図である。
【図２】図１の画像表示装置における画像処理の例を説明するための図である。
【図３】図１の画像表示装置の画像処理を示すフローチャートである。
【図４】本発明の第１実施形態に係る画像処理を説明するための図である。
【図５】本発明の第２実施形態に係る画像処理を説明するための図である。
【図６】本発明の第３実施形態に係る画像処理を説明するための図である。
【図７】従来の画像表示装置の画像処理を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を用いて詳細に説明する。なお、同一要素又は同一相当要素には同一符号を用い、重複する説明は省略する。図１に示すように、本実施形態に係る画像表示装置１は、例えば車両３等の移動体に搭載され周囲を撮像し画像処理を行う装置であり移動体の後方や側方の画像を合成して画像処理を行う電子ミラーシステムである。本実施形態は、互いに処理態様が異なる第１〜第３の実施形態からなる。まずは第１実施形態の画像表示装置１について説明する。
【００１５】
画像表示装置１は、後側方左カメラ１１と、後方カメラ１２と、後側方右カメラ１３と、画像処理部２とを備えて構成されている。後側方左カメラ１１及び後側方右カメラ１３は、車両３の後側方を撮像する後側方撮像手段として機能する。後側方左カメラ１１の撮影中心は車両３の後方から左側に位置し、後側方右カメラ１３の撮影中心は車両３の後方から右側に位置している。後方カメラ１２は、車両３の後方を撮像する後方撮像手段として機能する。後方カメラ１２の撮像中心は車両３から真っ直ぐ後方に位置している。後側方左カメラ１１、後方カメラ１２及び後側方右カメラ１３は、撮像した各カメラ画像を画像処理部２に送信する。
【００１６】
更に、画像表示装置１は、ディスプレイ１４と搭載情報保持部１５を備えている。ディスプレイ１４は、画像処理部２が生成した合成画像を表示する表示手段としての機能を有し、画像表示装置１と車両３の搭乗者との間で情報の入出力が可能なインターフェースである。搭載情報保持部１５は、後側方左カメラ１１、後方カメラ１２及び後側方右カメラ１３（以下では、これらのカメラをまとめて「各カメラ」と称することもある）に関する情報を記録する。具体的には、搭載情報保持部１５は、車両３に搭載された各カメラの位置及び傾きを計測し、その計測値をカメラ搭載位置情報として記録している。
【００１７】
画像処理部２は、後方カメラ１２により撮像された後方画像、並びに後側方左カメラ１１及び後側方右カメラ１３により撮像された後側方画像を合成して画像処理を行い、所定の基準位置より後方の画像が後方カメラ１２により撮像された画像となるように合成を行う画像処理手段として機能する。画像処理部２は、視点変換部２１、拡大縮小部２２、及び切出合成部２３を備えている。
【００１８】
視点変換部２１は、後方カメラ１２により撮像された画像、並びに後側方左カメラ１１及び後側方右カメラ１３により撮像された画像を視点変換する視点変換手段として機能する。視点変換部２１は、搭載情報保持部１５のカメラ搭載位置情報に基づいて、各カメラが撮像したカメラ画像の視点変換を行う。視点変換部２１は、各カメラ画像に対する特定の視点から見たときの視点画像への変換を行い、所定位置から所定方向を見たときの仮想視点画像を生成する。拡大縮小部２２は、各カメラ画像を拡大及び縮小する機能を有し、例えば視点変換部２１により視点変換が施されたカメラ画像に対して拡大又は縮小する処理を行う。切出合成部２３は、各カメラ画像の切り出し及び合成を行う機能を有し、例えば各カメラ画像の合成境界を設定して、設定した合成境界で画像の切り出し及び合成を行う。
【００１９】
以下では、画像処理部２の画像処理の一例について図２を参照しながら説明する。まず、図２の（ａ）部に示すように、後側方左カメラ１１及び後側方右カメラ１３は後方カメラ１２よりも前方に設けられており、この状況下で車両３の車幅方向に延びるラインａ、ラインｂ、及び錐体である物体Ｙを撮像する場合について説明する。
【００２０】
まず、後側方左カメラ１１又は後側方右カメラ１３の撮像画像は、例えば図２の（ｂ）部のようにディスプレイ１４に表示され、後方カメラ１２の撮像画像は、例えば図２の（ｃ）部のようにディスプレイ１４に表示される。これらの図に示すように、後方カメラ１２の画像には、後側方左カメラ１１又は後側方右カメラ１３の画像と比較してラインａ、ラインｂ、及び物体Ｙがより大きく表示されると共に、ラインａ及びラインｂがより下方に表示される。
【００２１】
このように、各カメラの前後位置が異なることにより、ラインａ及びラインｂの位置、大きさが互いに異なったものとなるため、合成画像が滑らかに表示されないという問題がある。そこで、画像処理部２は、搭載情報保持部１５のカメラ搭載位置情報を用いて例えば路面Ｒより下の部分だけ後方カメラ１２の撮像画像（図２の（ｃ）部）となるように拡大し路面Ｒより上の部分は元の画像を用いることにより、例えば図２の（ｄ）部のように滑らかな合成画像を生成する。
【００２２】
次に、画像表示装置１の比較例として従来の画像表示装置について図７を参照しながら説明する。従来の画像表示装置は、車両１０３に搭載され、後側方左カメラ１１１、後方カメラ１１２及び後側方右カメラ１１３を備えている。後側方左カメラ１１１、後方カメラ１１２、後側方右カメラ１１３は、それぞれ後側方左カメラ１１、後方カメラ１２、後側方右カメラ１３に対応するカメラである。
【００２３】
従来の画像表示装置では、後側方左カメラ１１１、後方カメラ１１２、後側方右カメラ１１３の各カメラ画像をパノラマ合成して車両１０３周囲の画像を生成する。このパノラマ合成の際には、各カメラの撮像範囲の合成境界を設定する。ここで、従来の画像表示装置では、各撮像範囲の一致度が高い遠方背景に合わせて合成境界を設定する。すなわち、無限遠方の背景に関しては、例えば図７の（ｂ）部に示すように後側方左カメラ１１１及び後側方右カメラ１１３の撮像範囲Ａと撮像範囲Ｃが滑らかに接合する。一方、後方カメラ１１２の撮像範囲Ｂは路面映像のみとなるため、車両１０３後方の物体が表示されないという問題が発生する。
【００２４】
具体的には、従来の画像表示装置では、例えば図７の（ａ）部の平面図に示すように撮像範囲Ａは左斜め後方に延び撮像範囲Ｃは右斜め後方に延び撮像範囲Ｂは後方に延びるように合成境界を設定する。しかし、例えば図７の（ｂ）部に示すように、ディスプレイ１４に表示される画像は路面より上部が撮像範囲Ａ及び撮像範囲Ｃの画像のみとなり撮像範囲Ｂの画像が含まれなくなる。このため、車両１０３の後方に位置する物体が表示されず、例えば車両１０３のドライバが後方車両を認識できないという問題が発生する。
【００２５】
そこで、第１実施形態の画像表示装置１では、画像処理部２により所定の基準位置より後方が後方カメラ１２の画像となるように合成を行うことにより上記の問題を解決している。以下では、このような合成処理を行う画像表示装置１の動作の例について図３を参照しながら説明する。図３は、画像処理部２が各カメラのカメラ画像を合成して合成画像を生成する画像処理のフローチャートである。図３に示す処理は、所定時間毎に行ってもよいしドライバの画像表示操作があったときに行うようにしてもよい。
【００２６】
まず、ステップＳ１０（以下、「Ｓ１０」という。他のステップにおいても同様とする。）において、画像処理部２により各カメラが撮像したカメラ画像の読み込み処理が実行される。このとき、例えば画像処理部２内の記憶装置に各カメラ画像が記憶される。そして、Ｓ１２に移行し視点変換部２１によって視点変換処理が実行される。具体的には、搭載情報保持部１５のカメラ搭載位置情報に基づいて各画像の視点変換を行う。このとき、例えば図４の（ｂ）部に示すように目安線Ｌを設定し後方カメラ１２の視点を目安線Ｌから後方を見たときの視点に変換した視点変換画像を生成する。
【００２７】
ここで、目安線Ｌは、移動体の後方側に設定される基準位置として機能するものであり、例えば車両３が車線変更を行うにあたり後方車両の影響を受けずに車線変更可能とされる位置に設けることが可能である。すなわち、例えば車両３の速度、後方車両の速度、あるいは車両３と後方車両の車体の大きさに基づいて安全距離を定め、目安線Ｌは当該安全距離だけ後方に離れた位置に設定される。なお、この目安線Ｌは、あくまで画像の切り出しの際に用いる目安となる線であってディスプレイ１４に表示させなくてもよい。
【００２８】
Ｓ１２の後はＳ１４に移行して切出合成部２３により画像切り出し処理が実行される。このとき、例えばＳ１２で設定された目安線Ｌより上部の画像が切り出される。この後Ｓ１６に移行して切出合成部２３により画像合成処理が実行される。具体的には、Ｓ１４で切り出された画像に代えてＳ１２で生成された視点変換画像を合成し例えば図４の（ｂ）部に示すような合成画像を生成する。この合成画像における各カメラの撮像範囲の平面図は例えば図４の（ａ）部のようになり、図７の（ａ）部と異なる点は目安線Ｌより後方において後方カメラ１２の撮像範囲Ｂが後方に向かうにつれて車幅方向に広がっている点である。
【００２９】
Ｓ１６の後はＳ１８に移行して、画像処理部２により合成画像の表示処理が実行される。このとき、Ｓ１６で合成された図４の（ｂ）部のような合成画像がディスプレイ１４に表示されて一連の処理が終了する。
【００３０】
以上のように、第１実施形態の画像表示装置１によれば、車両３の後方を撮像する後方カメラ１２と、車両３の側後方を撮像する後側方左カメラ１１及び後側方右カメラ１３と、後方カメラ１２により撮像された画像、並びに後側方左カメラ１１及び後側方右カメラ１３により撮像された画像を合成して画像処理を行い、目安線Ｌより後方の画像が後方カメラ１２により撮像された画像となるように合成を行う画像処理部２とを備えている。
【００３１】
このように、第１実施形態では、画像処理部２により目安線Ｌより後方が後方カメラ１２の画像となるように画像の合成を行うため、車両３の後方及び斜め後方を撮像した画像を合成して行う画像処理において、車両３の後方に位置する物体を確実に表示させることが可能となり、ドライバは車両３の後方に位置する物体を確実に認識することができる。
【００３２】
また、第１実施形態では、後方カメラ１２により撮像された画像、並びに後側方左カメラ１１及び後側方右カメラ１３により撮像された画像を視点変換する視点変換部２１を備え、画像処理部２は、目安線Ｌより後方の領域が視点変換部２１により目安線Ｌから後方を撮像したときの画像に視点変換された画像となるように合成を行う。よって、目安線Ｌから後方の領域が後方カメラ１２の後方画像に視点変換されるため、合成画像を滑らかな画像にすると共に、後方に位置する物体を確実に表示させることができる。
【００３３】
また、第１実施形態では、目安線Ｌは、車両３が後方車両の影響を受けずに車線変更可能とされる位置に設けられる。このように、目安線Ｌを車両３の後方であって後方車両による影響を受けない位置としているため、車両３のドライバは、後方車両を確実に認識することが可能となると共に、車線変更が可能か否かについての判断を行うことができる。
【００３４】
次に、第２実施形態における画像表示装置について図５を参照しながら説明する。第２実施形態は、第１実施形態の画像表示装置１と同一構成であるが画像処理部２による画像処理が異なっており、具体的には図３におけるＳ１２の視点変換及び合成境界設定の手法が異なる。
【００３５】
第２実施形態では、第１実施形態と同様Ｓ１０の画像読み込み処理を行った後、Ｓ１２において目安線Ｌを第１実施形態よりも車両３に近い位置、具体的には車両３の車線ｌ（図５の（ａ）部参照）の変更に全く影響の無い距離（例えば車両３の後端から１５ｍ以内）に設定する。そして、画像処理部２は、後方カメラ１２の視点を目安線Ｌから後方を見たときの視点に変換した視点変換画像を生成する。
【００３６】
また、このとき画像処理部２により例えば図５の（ａ）部に示すように撮像範囲Ａを車両３の左後方、撮像範囲Ｃを車両３の右後方、そして、撮像範囲Ｂを車両３の後方から延びる台形状とし、かつ、撮像範囲Ａと撮像範囲Ｂとの交点、及び撮像範囲Ｂと撮像範囲Ｃとの交点が共に車両３に対して一車線以上側方に離れて位置するように撮像範囲の設定を行う。すなわち、例えば図５の（ｂ）部に示すような合成画像を生成する。その後Ｓ１４及びＳ１６の処理を経てＳ１８のディスプレイ１４への表示処理が実行された後一連の処理が終了する。
【００３７】
以上のように、第２実施形態では、撮像範囲Ｂと、撮像範囲Ａ及び撮像範囲Ｃとは、車両３の斜め後方であって車両３に対して一車線以上側方に離れた位置で交差し、画像処理部２はこの交差する位置より後方が後方カメラ１２により撮像された画像となるように合成を行う。従って、車両３の後方のうち両隣の車線ｌまでの領域が後方カメラ１２の撮像範囲Ｂとなり、この領域において撮像範囲が重なることがなくなるため、物体が二重に表示される問題を確実に回避することが可能となる。よって、第２実施形態の画像表示装置では、第１実施形態と同様の効果が得られると共に、更に、ドライバは、車両３の後方であって両隣の車線ｌに位置する物体を確実に認識することができる。
【００３８】
次に、第３実施形態における画像表示装置について図６を参照しながら説明する。第３実施形態は、第１及び第２実施形態の画像表示装置１と同一構成であるが画像処理部２による画像合成処理が異なっており、具体的には図３におけるＳ１２の処理が異なる。
【００３９】
第３実施形態では、第１及び第２実施形態と同様のＳ１０の画像読み込み処理を行った後、Ｓ１２の処理において、画像処理部２により例えば図６の（ｂ）部に示すように目安線Ｌより後方の画像において、撮像範囲Ｂが上方に向かうにつれて側方に広がるように合成境界の設定が行われる。このとき、例えば図６の（ａ）部の平面図に示すような撮像範囲が設定される。このように画像合成処理が完了した後Ｓ１４、Ｓ１６及びＳ１８に移行して合成画像の表示処理が実行された後一連の処理が終了する。
【００４０】
以上のように、第３実施形態では、画像処理部２により目安線Ｌより後方の画像において後方カメラ１２の画像が上方に向かうにつれて側方に広がる画像となるように合成を行う。よって、第３実施形態では、第１実施形態と同様の効果が得られると共に、合成境界が傾斜して設定されるため、撮像範囲Ｂと、撮像範囲Ａ及び撮像範囲Ｃとの境目近傍に上下に延びて存在する物体Ｘ（図６参照）も確実に表示することが可能となる。従って、ドライバは、車両３の後側方に位置する歩行者等も確実に認識することができる。
【００４１】
以上、本実施形態は本発明に係る画像表示装置の実施形態を説明したものであり、本発明に係る画像表示装置は本実施形態に記載されたものに限定されない。本発明に係る画像表示装置は、各請求項に記載した要旨を変更しないように本実施形態に係る画像表示装置を変形し又は他のものに適用したものであってもよい。なお、本発明に係る画像表示装置としては第１実施形態、第２実施形態、及び第３実施形態の少なくともいずれかの機能を有する画像表示装置、並びにこれらの機能を併せ持った画像表示装置が含まれる。
【００４２】
例えば、上記実施形態では、車両３の左側部に後側方左カメラ１１、後部に後方カメラ１２、そして、右側部に後側方右カメラ１３がそれぞれ１個ずつ設けられる例について説明した。しかし、各カメラの個数や配置する位置については上記に限られず適宜変更することが可能である。
【００４３】
また、上記実施形態では、移動体として車両３を例に挙げて説明したが、車両３の代わりに例えばロボット等に適用させてもよく、要は、路面を移動する移動体であれば適用可能である。
【符号の説明】
【００４４】
１…画像表示装置、２…画像処理部、３…車両３、１１…後側方左カメラ、１２…後方カメラ、１３…後側方右カメラ、１４…ディスプレイ、１５…搭載情報保持部、２１…視点変換部、２２…拡大縮小部、２３…切出合成部、Ａ，Ｂ，Ｃ…撮像範囲、Ｌ…目安線。
【図１】
2013141120.tif 000003
【図２】
2013141120.tif 000004
【図３】
2013141120.tif 000005
【図４】
2013141120.tif 000006
【図５】
2013141120.tif 000007
【図６】
2013141120.tif 000008
【図７】
2013141120.tif 000009