(57)【要約】【課題】優先表示物の存在に注意しつつ車両の後方画像に他の画像を合成すること。【解決手段】優先表示物検出手段が、撮像手段（１０）によって撮像された車両（３）の後方画像（１５）から、優先的に表示されるべき優先表示物（１７）を検出する。合成画像生成手段（２０）は、優先表示物検出手段によって、車両（３）の後方画像（１５）に優先表示物（１７）が検出されなかった場合、後方画像データ（９）から、その車両（３）の後方画像（１５）に重ねるべき他の画像をその車両（３）の後方画像（１５）に合成した表示態様の表示データを生成する。優先表示物（１７）が検出された場合、その車両（３）の後方画像（１５）において優先表示物（１７）に他の画像（１９ａ）を重ねない表示態様の表示データを生成する。
2008087706.tif 000002
【特許請求の範囲】
【請求項１】
車両の後方を撮像する撮像手段と、
前記撮像手段によって撮像された前記車両の後方画像から、優先的に表示されるべき優先表示物を検出する優先表示物検出手段と、
前記優先表示物検出手段によって、前記車両の後方画像に前記優先表示物が検出されなかった場合、前記車両の後方画像に重ねるべき他の画像を前記車両の後方画像に合成した表示態様の表示データを生成する合成画像生成手段と、
前記表示データに基づく表示態様で表示する表示手段と
を有することを特徴とする車両用表示装置。
【請求項２】
請求項１記載の車両用表示装置において、
前記合成画像生成手段は、
前記車両の後方画像に前記優先表示物が検出された場合、前記車両の後方画像において前記優先表示物に前記他の画像を重ねない表示態様の表示データを生成することを特徴とする車両用表示装置。
【請求項３】
請求項１記載の車両用表示装置において、
前記車両の後方画像とは表示態様が異なる画像であって前記車両の後方画像に重ねるべき前記他の画像に関する他の画像データを生成する画像生成手段を有することを特徴とする車両用表示装置。
【請求項４】
請求項３記載の車両用表示装置において、
前記画像生成手段は、
前記後方画像データに基づく前記車両の後方画像の歪み補正を行って歪み補正後の前記後方画像データを生成する歪み補正変換手段を備えることを特徴とする車両用表示装置。
【請求項５】
請求項３又は請求項４記載の車両用表示装置において、
前記画像生成手段は、
前記後方画像データに基づく前記車両の後方画像に関して視点を変換して視点変換後の前記後方画像データを生成する視点変換手段を備えることを特徴とする車両用表示装置。
【請求項６】
請求項２記載の車両用表示装置において、
前記合成画像生成手段は、前記優先表示物検出手段によって前記車両の後方画像に前記優先表示物が検出された場合、前記優先表示物に重ならない位置に前記他の画像を配置させて前記車両の後方画像に合成することを特徴とする車両用表示装置。
【請求項７】
請求項２記載の車両用表示装置において、
前記合成画像生成手段は、前記車両の後方画像内において前記優先表示物を視覚的に強調した表示態様として前記車両の後方画像に前記他の画像を合成することを特徴とする車両用表示装置。
【請求項８】
請求項１記載の車両用表示装置において、
前記優先表示物検出手段は、オプティカルフローにより移動体を検出することを特徴とする車両用表示装置。
【請求項９】
請求項１記載の車両用表示装置において、
前記画像生成手段は、前記車両の後方画像を構成する後方画像データとは異なる画像データに基づいて前記他の画像を生成することを特徴とする車両用表示装置。
【請求項１０】
請求項１記載の車両用表示装置において、
前記画像生成手段は、前記車両の後方画像を構成する後方画像データから前記他の画像を生成することを特徴とする車両用表示装置。
【請求項１１】
撮像手段によって車両の後方を撮像する撮像ステップと、
優先表示物検出手段によって、前記撮像手段によって撮像された前記車両の後方画像から、優先的に表示されるべき優先表示物を検出する優先表示物検出ステップと、
前記優先表示物検出手段によって、前記車両の後方画像に前記優先表示物が検出されなかった場合、合成画像生成手段によって、前記車両の後方画像に重ねるべき他の画像を前記車両の後方画像に合成した表示態様の表示データを生成する合成画像生成ステップと、
表示手段によって前記表示データに基づく表示態様で表示する表示ステップと
を有することを特徴とする車両用表示方法。
【請求項１２】
撮像手段によって車両の後方を撮像させる撮像ステップと、
優先表示物検出手段によって、前記撮像手段によって撮像された前記車両の後方画像から、優先的に表示されるべき優先表示物を検出させる優先表示物検出ステップと、
前記優先表示物検出手段によって、前記車両の後方画像に前記優先表示物が検出されなかった場合、合成画像生成手段によって、前記車両の後方画像に重ねるべき他の画像を前記車両の後方画像に合成した表示態様の表示データを生成させる合成画像生成ステップと、
表示手段によって前記表示データに基づく表示態様で表示させる表示ステップと
を車両用表示装置において実行させることを特徴とする車両用表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両後方を撮像し、その車両後方画像に他の画像を重ねて表示する車両用表示装置に関する。
【背景技術】
【０００２】
近年の車両（以下「自動車」を例示する）においては、その後方視界を確認するためのカメラを搭載しており、例えば後方に進行する際、そのカメラで撮影した後方画像を車内の表示装置に表示する機能（以下「後方表示機能」という）を搭載しているものがある。このような後方表示機能としては、車両の外側後部にカメラを配置しておき、このカメラで撮影した後方画像を車内の表示装置に表示させるものが存在している。【０００３】
近年の自動車においては、その運転者が、例えば後方に進行しようとシフトレバーを所定位置にセットしたことを契機に、そのカメラによって撮影された後方画像を車内の表示装置に表示するものがある。運転者は、通常視認しにくい後方視界を、このような後方表示機能によって車内の表示装置によって視覚的に確認することができる（特許文献１参照）。【０００４】
【特許文献１】特許３８３００２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、後方視界を車内で視認することができるものの、後進する場合においては前進する場合に比べて自動車の運転操作が難しいことから、運転者は、後方視界に関するより多くの情報を必要とする。そこで、自動車の車内の表示手段（表示装置）に、自動車の後方画像のみならず、この後方画像に他の画像を重ねて合成して表示手段に表示することも考えられる。しかしながら、このようにした場合、この後方画像内に優先表示物が存在していると、その優先表示物が他の画像によって隠されてしまう場合もある。このような場合、運転者は、表示上、優先表示物が存在しないにもかかわらず、もしかしたら他の画像の裏に優先表示物が隠れて見えないだけかもしれないとの余分な注意を払いながら、自動車を運転しなければならないおそれがあった。【０００６】
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１記載の発明は、車両の後方を撮像する撮像手段と、前記撮像手段によって撮像された前記車両の後方画像から、優先的に表示されるべき優先表示物を検出する優先表示物検出手段と、前記優先表示物検出手段によって、前記車両の後方画像に前記優先表示物が検出されなかった場合、前記車両の後方画像に重ねるべき他の画像を前記車両の後方画像に合成した表示態様の表示データを生成する合成画像生成手段と、前記表示データに基づく表示態様で表示する前記表示手段とを有することを特徴とする。【０００８】
上記課題を解決するために、請求項１１記載の発明は、撮像手段によって車両の後方を撮像する撮像ステップと、優先表示物検出手段によって、前記撮像手段によって撮像された前記車両の後方画像から、優先的に表示されるべき優先表示物を検出する優先表示物検出ステップと、前記優先表示物検出手段によって、前記車両の後方画像に前記優先表示物が検出されなかった場合、合成画像生成手段によって、前記車両の後方画像に重ねるべき他の画像を前記車両の後方画像に合成した表示態様の表示データを生成する合成画像生成ステップと、表示手段によって前記表示データに基づく表示態様で表示する表示ステップとを有することを特徴とする。【０００９】
上記課題を解決するために、請求項１２記載の発明は、撮像手段によって車両の後方を撮像させる撮像ステップと、優先表示物検出手段によって、前記撮像手段によって撮像された前記車両の後方画像から、優先的に表示されるべき優先表示物を検出させる優先表示物検出ステップと、前記優先表示物検出手段によって、前記車両の後方画像に前記優先表示物が検出されなかった場合、合成画像生成手段によって、前記車両の後方画像に重ねるべき他の画像を前記車両の後方画像に合成した表示態様の表示データを生成させる合成画像生成ステップと、表示手段によって前記表示データに基づく表示態様で表示させる表示ステップとを車両用表示装置において実行させることを特徴とする。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施の形態を図面を参照しつつ説明する。
＜第１実施形態＞
図１は、第１実施形態としての車両用表示装置１を搭載する車両３の構成例を示す概念図である。
車両３は、例えば自動車であり、その運転者の操作によって前進したり後進したり左右に各々曲がることができる。車両用表示装置１は、撮像装置１０（以下「カメラ１０」という）、画像生成部２０及び表示装置３０を搭載している。【００１１】
カメラ１０（撮像手段）は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）を用いたいわゆるデジタルカメラである。このカメラ１０は、車両３の後方を撮像し、この車両３の後方視界の画像（以下「後方画像」という）に基づく後方画像データ９を取得する機能を有する。このカメラ１０は、車両３の後方をより広角に撮像するため、例えば広角レンズを用いて撮影している。このカメラ１０によって撮影した映像は、広角レンズを用いている影響により、多少の歪みを生ずる場合がある。【００１２】
画像生成部２０は、車両３の後方画像とは表示態様が異なる画像であって車両３の後方画像に重ねるべき他の画像に関する他の画像データ（後述する歪み補正後の後方画像データ及び視点変換後の後方画像データの少なくとも一方）を生成する機能を有する。なお、ここでいう他の画像は、このように表示態様が異なる画像であってもよいし、或いは同一であっても良い。本実施形態では、一例として他の画像は、例えば後方画像の歪みを補正した画像及び後方画像の視点を変換した画像のように表示態様が元々の後方画像とは異なるものとする。本実施形態では、上述のように他の画像を重ねられる側の画像を表示する画面を「親画面」ともいい、この親画面に重ねるべき他の画像を表示する画面を「子画面」ともいうものとする。【００１３】
また、ここでいう他の画像としては、車両３の後方画像に関係する画像のみならず、車両３に関係のない画像であってもよい。具体的には、他の画像としては、例えばＤＶＤ（Ｄｅｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）などの記録メディアに記録済みの映像データに基づく映像であってもよい。この画像生成部２０は、車両３の後方画像を表示する親画面に、他の画像を表示する子画面を重ねた（合成した）表示態様の表示データ２７を表示装置３０に出力する。【００１４】
表示装置３０は、画像生成部２０から受け取った表示データ２７に基づく表示態様で表示する機能を有する。この表示装置３０は、例えば車両３の車内に設けられた液晶表示装置などのディスプレイである。この表示装置３０は、例えば走行すべき経路を誘導するナビゲーション装置の表示装置又はテレビジョン受信装置の表示装置と兼ねることができる。【００１５】
図２は、カメラ１０が車両３の後方を撮影する様子を示すイメージ図である。なお図示した鎖線のうち二点鎖線の間は、この駐車場の路面におけるカメラ１０による撮像可能範囲を示しており、一点鎖線の間は、この駐車場の路面上方の空間における撮像可能範囲を示している。【００１６】
本実施形態では、車両３が、例えば駐車場に駐車しようとしており後方に進もうとしている。この駐車場には、車両３の駐車位置の目安を示す車線５，７が存在している。車線５，７は、車両３の幅よりも多少広い間隔で互いに平行となるように駐車場の路面に引かれている。【００１７】
カメラ１０は、上述のように車両３の後部の上部に装着されており、撮像可能範囲において車両３の後方視界を撮像することができる。このカメラ１０の撮像可能範囲には、上述した車線５，７が含まれている。【００１８】
図３は、図１に示す画像生成部２０の構成例を示すブロック図である。
画像生成部２０は、第１画像変換部２１、移動体検出部２２、第２画像変換部２３及び画像合成部２４を備えている。【００１９】
画像生成部２０には、上述したカメラ１０によって撮像された車両３の後方画像に基づく後方画像データ９が入力されている。第１画像変換部２１（歪み補正手段）は、後方画像データ９に基づく車両３の後方画像の歪み補正を行って歪み補正後の後方画像データ９を生成する。第２画像変換部２３（視点変換手段）は、上述したカメラ１０による車両３の後方画像に基づく後方画像データ９が入力されている。第２画像変換部２３は、後方画像データ９に基づく車両３の後方画像に関して視点を変換して視点変換後の後方画像データ９を生成する機能を有する。【００２０】
移動体検出部２２（優先表示物検出手段）は、後方画像データ９に基づいて車両３の後方画像から、優先的に表示されるべき優先表示物を検出する機能を有する。ここで本実施形態では、オプティカルフローによって移動体を検出し、優先表示物として移動体を例示する。なお優先表示物としては、このような移動体に限られず、優先的に表示されるべき物であればいかなるものであってもよい。例えばパターンマッチングによって道路標識を検出し、優先表示物としてもよい。【００２１】
画像合成部２４（合成画像生成手段）は、移動体検出部２２によって、前記車両３の後方画像に移動体が検出されなかった場合、その後方画像データ９から、この車両３の後方画像に重ねるべき他の画像を生成し、この車両３の後方画像に他の画像を合成した表示態様の表示データを生成する機能を有する。【００２２】
一方、この画像合成部２４（合成画像生成手段）は、車両３の後方画像に移動体が検出された場合、その後方画像データ９から、車両３の後方画像において、この移動体に他の画像を重ねない表示態様の表示データ２７を生成する機能を有する。ここで、本実施形態では、このように車両３の後方画像において、移動体に他の画像を重ねない表示態様とは、例えば車両３の後方画像のみの表示態様とすること、又は、車両３の後方画像において移動体と他の画像とを異なる位置に配置した表示態様とすることを示している。以下の説明においては、移動体に他の画像を重ねない表示態様として主に後者を例示する。【００２３】
車両用表示装置１は以上のような構成であり、次に図１〜図３を参照しつつ車両用表示装置１の動作例について説明する。
図４は、車両用表示装置１の動作例としての後方撮像表示処理を表すフローチャートである。
図５〜図８は、それぞれ表示装置３０の表示態様の一例を示す図である。
図４に示すステップＳ１では、車両３に設置されたカメラ１０によって車両３の後方を撮影する。ここで、上述のようにカメラ１０による車両３の後方画像は、図５に示す後方画像１４のように全体的に歪みが生じている。【００２４】
次にステップＳ２では、画像変換部２３が、その第１画像変換部２１によって、カメラ１０によって撮像された後方画像１４の歪み補正を行って歪み補正後の後方画像データ９を生成する。このようにすると、歪み補正後の後方画像データ９に基づく画像（以下「歪み補正画像（第１変換画像）」という）は、図６に示す後方画像１５のように歪みが生じないようになる。第１画像変換部２１は、その後方画像１５に関する歪み補正後の後方画像データ９を移動体検出部２２に出力する。【００２５】
次に図４に示すステップＳ３では、移動体検出部２２が、例えばオプティカルフローによって、後方画像データ９に基づく後方画像１５から、優先的に表示されるべき優先表示物の一例としての移動体の検出を試みる。【００２６】
次にステップＳ４では、画像生成部２０が、その第２画像変換部２３によって、車両３の後方画像１５に関して視点を変換して視点変換後の後方画像データ９を生成する。なお、第２画像変換部２３は、上記歪み補正後の後方画像１５に関して視点を変換しても良いし、カメラ１０によって撮像された後方画像１４に関して直接視点を変換しても良い。この視点変換後の後方画像データ９に基づく画像（以下「視点変換画像（第２変換画像）」という）は、例えば図７に示すように駐車場の真上からほぼ真下に見下げた後方画像１６（鳥瞰画像）となる。このようにすると、車線５，７は直線状になり、車両３の運転者は、これら車線５，７と車両３との位置関係を把握しやすくなり、駐車場への駐車を容易とすることができる。【００２７】
次にステップＳ５では、画像合成部２４（合成画像生成手段）が、そのまま合成すると、図６に示す視点変換画像１５（第２変換画像）の予定表示領域１８（例えば右上）に移動体１７が配置してしまうことになるか否かを判断する。【００２８】
画像合成部２４は、移動体検出部２２によって、車両３の後方画像における予定表示領域１８内に車両３の後方画像に移動体が検出されなかった場合、後方画像データ９から次のように表示データ２７を生成する。すなわち画像合成部２４は、図８に示すように、この予定表示領域１８内に、この車両３の後方画像１５（例えば歪み補正画像）に重ねるべき他の画像（例えば視点変換画像１６ａ）を、この車両３の後方画像１５に合成した表示態様の表示データ２７を生成する。【００２９】
一方、この画像合成部２４は、図６に示すように車両３の後方画像に移動体１７が検出された場合、後方画像データ９から次のように表示データ２７を生成する。すなわち画像合成部２４は、この移動体に他の画像（例えば視点変換画像１６ａ）を重ねない表示態様の表示データ２７を生成する。【００３０】
具体的には、画像合成部２４は、図６に示すように予定表示領域１８内に移動体１７が存在すると検出された場合、他の画像１６（視点変換画像）を予定表示領域１８（例えば右上）から他の表示領域（例えば左上）に変えて車両３の後方画像１５に合成してもよい。このとき画像合成部２４は、例えば移動体１７が後方画像１５の中央方向（車両３が後進するであろう経路の一例）に進行している場合にのみ、車両３の後方画像１５に他の画像１６を重ねない表示態様又は、他の画像１６が移動体１７に重ならないようにしつつ他の画像１６を車両３の後方画像１５に重ねた表示態様としてもよい。このようにすると、車両３が後方に進行すると移動体１７の安全に影響があるであろう場合においても、表示装置３０に確実に移動体１７を表示しておくことができる。なお画像合成部２４は、移動体１７が後方画像１５の外側に移動している場合や、その場で停止或いは振動している場合、他の画像１６の表示を特に変更することなく、そのまま表示する要にしても良い。【００３１】
また、このとき画像合成部２４は、図１０に示すように移動体１７の位置を表す移動体領域１７ａを通常よりも強調した表示態様、例えば移動体１７の周囲を太い点線で囲い込んだ表示態様となるよう合成してもよい。このようにすると、これに接した運転者が後方画像１５内において移動体１７を見落としにくくすることができる。【００３２】
また画像合成部２４は、図１０に示す歪み補正画像１５を縮小した図１１に示す歪み補正画像１５ａを予定表示領域１８において子画面とする一方、図１０に示す視点変換画像１９ａを拡大した図１１に示す視点変換画像１６を親画面とするよう入れ替えて画像を合成しても良い。【００３３】
また本実施形態では、車両用表示装置１が、運転者（操作者）によって操作可能な操作手段を備えており、運転者による操作手段の操作を契機として画像合成部２４が、上述のような画像の入れ替えて画像を合成した表示態様に構成したり元の表示態様に戻すことができるようにしても良い。【００３４】
上記実施形態における車両用表示装置１は、車両３の後方を撮像し、その車両３の後方画像１５に基づく後方画像データ９を取得する撮像手段１０（カメラ）と、この後方画像データ９に基づいて車両３の後方画像１５から、優先的に表示されるべき優先表示物１７（移動体）を検出する優先表示物検出手段２２（移動体検出部）と、この優先表示物検出手段２２によって、この車両３の後方画像１５に優先表示物１７が検出されなかった場合、その後方画像データ９から、この車両３の後方画像１５に重ねるべき他の画像１６をこの車両３の後方画像１５に合成した表示態様の表示データ２７を生成する合成画像生成手段２４（画像合成部）と、この表示データ２７に基づく表示態様で表示する表示手段３０（表示装置）とを有する。【００３５】
本実施形態によれば、車両３の後方画像１４，１５，１９に優先表示物１７（移動体）が存在しない場合には、表示手段３０（表示装置）において、車両３の後方画像１５などに他の画像１６が重ねて表示されるようになる。従って車両３の運転者は、例えば後方に進行する際に表示手段３０を見ていて他の画像１６が表示されていれば、優先表示物１７が車両３の後方画像に存在しないという安心感を持ちつつ、これら他の画像１６及び後方画像１５などのように多くの情報によって、安全に運転することができる。【００３６】
また、上記実施形態における車両用表示装置１における車両用表示方法は、撮像手段１０によって車両３の後方を撮像する撮像ステップと、優先表示物検出手段２２によって、その撮像手段１０によって撮像されたその車両３の後方画像から、優先的に表示されるべき優先表示物１７を検出する優先表示物検出ステップと、その優先表示物検出手段２２によって、その車両３の後方画像にその優先表示物１７が検出されなかった場合、合成画像生成手段２４によって、その車両３の後方画像に重ねるべき他の画像１６をその車両３の後方画像に合成した表示態様の表示データ２７を生成する合成画像生成ステップと、表示手段３０によってその表示データ２７に基づく表示態様で表示する表示ステップとを有する。【００３７】
本実施形態における車両用表示方法を用いると、車両３の後方画像１４，１５，１９に優先表示物１７（移動体）が存在しない場合には、表示手段３０（表示装置）において、車両３の後方画像１５などに他の画像１６が重ねて表示されるようになる。従って車両３の運転者は、例えば後方に進行する際に表示手段３０を見ていて他の画像１６が表示されていれば、優先表示物１７が車両３の後方画像に存在しないという安心感を持ちつつ、これら他の画像１６及び後方画像１５などのように多くの情報によって、安全に運転することができる。【００３８】
また、上記実施形態では、主としてハードウェアによって各機能が実現されているように例示しているが、これに限られず、ソフトウェア（車両用表示プログラム）によって各機能が実現されてもよい。つまり車両用表示装置１においては、この車両用表示プログラムの動作によって次のような各ステップの機能を発揮するようにしてもよい。具体的には、上記実施形態における車両用表示プログラムは、撮像手段１０によって車両の後方を撮像させる撮像ステップと、優先表示物検出手段２２によって、その撮像手段１０によって撮像されたその車両３の後方画像から、優先的に表示されるべき優先表示物１７を検出させる優先表示物検出ステップと、その優先表示物検出手段２２によって、その車両３の後方画像に優先表示物１７が検出されなかった場合、合成画像生成手段２４によって、車両３の後方画像に重ねるべき他の画像１６をその車両３の後方画像に合成した表示態様の表示データを生成させる合成画像生成ステップと、表示手段３０によって表示データ２７に基づく表示態様で表示させる表示ステップとを車両用表示装置１において実行させることを特徴とする。【００３９】
このような車両用表示プログラムを車両用表示装置１において実行すると、車両用表示装置１は、車両３の後方画像１４，１５，１９に優先表示物１７（移動体）が存在しない場合に、表示手段３０（表示装置）において、車両３の後方画像１５などに他の画像１６を重ねて表示するようになる。従って車両３の運転者は、例えば後方に進行する際に表示手段３０を見ていて他の画像１６が表示されていれば、優先表示物１７が車両３の後方画像に存在しないという安心感を持ちつつ、これら他の画像１６及び後方画像１５などのように多くの情報によって、安全に運転することができる。【００４０】
上記実施形態における車両用表示装置１（又は車両用表示方法若しくは車両用表示プログラム）においては、上記構成において、合成画像生成手段２４（画像合成部）は、この車両３の後方画像１５に優先表示物１７が検出された場合、その後方画像データ９から、この車両３の後方画像１５において優先表示物１７に他の画像１６を重ねない表示態様の表示データ２７を生成することを特徴とする。【００４１】
本実施形態によれば、車両３の後方画像１４，１５，１９に優先表示物１７（移動体）が存在する場合には、表示手段３０（表示装置）には、車両３の後方画像１５において他の画像１６が優先表示物１７に重ねて表示されず、車両３の後方画像１５内において優先表示物１７が確実に表示されるようになる。従って車両３の運転者は、特に後方に進行する際に表示手段３０を見ていれば、車両３の後方に存在する優先表示物１７を確実に視認することができ、安全に車両３を運転することができる。また、この表示手段３０には、優先表示物１７を確実に表示することができる上、さらに後方画像１５などに重ねて他の画像１６を表示しているため、運転者は、これら後方画像１５など及び他の画像１６のように多くの情報に接することができ、優先表示物１７に注意を払いつつ安全に運転することができる。【００４２】
上記実施形態における車両用表示装置１などにおいては、上記構成に加えてさらに、画像生成手段２０（画像生成部）は、その車両３の後方画像とは表示態様の異なる画像であってその車両３の後方画像１５などに重ねるべき他の画像１６に関する他の画像データ９（歪み補正後の後方画像データ及び視点変換後の後方画像データの少なくとも一方）を生成する画像生成手段２０（画像生成部）ことを特徴とする。【００４３】
このようにすると、表示装置３０には、車両３の後方画像１５などのみならず、後方画像データ９に基づいて作成した他の画像１６をも表示することができることから、車両３の運転者は、車両３の後方画像１５など及び他の画像１６を様々な表示位置で視覚的に認識することができるようになる。【００４４】
上記実施形態における車両用表示装置１などにおいては、上記構成に加えてさらに、画像生成手段２０（画像生成部）は、後方画像データ９に基づく車両３の後方画像の歪み補正を行って歪み補正後の後方画像データを生成する歪み補正変換手段２１（第１画像変換部）を備えることを特徴とする。【００４５】
このようにすると、表示手段３０に表示される車両３の後方画像が歪まないため、例えば車両３の運転者が、表示手段３０に表示された車両３の後方画像１５を視認しやすくすることができる。【００４６】
上記実施形態における車両用表示装置１などにおいては、上記構成に加えてさらに、画像生成手段２０（画像生成部）は、後方画像データ９に基づく車両３の後方画像に関して視点を変換して視点変換後の後方画像データ９を生成する視点変換手段２３（第２画像変換部）を備えることを特徴とする。【００４７】
このようにすると、表示手段３０に表示される車両３の後方画像は、例えば視点を変えることによって車両３の運転者によって運転しやすい視点からの画像とすれば、車両３の運転者がより容易に車両３を後進させることができるようになる。特に運転者が、車両３を後進させて駐車場に駐車する場合においては、車両３を駐車しやすくなる。【００４８】
上記実施形態における車両用表示装置１などにおいては、上記構成に加えてさらに、合成画像生成手段２０（画像生成部）は、移動体検出部２２によって車両３の後方画像に優先表示物１７（移動体）が検出された場合、優先表示物１７に重ならない位置に他の画像１６を配置させて車両３の後方画像１５に合成することを特徴とする。【００４９】
このような構成とすると、車両３の後方画像１５内に優先表示物１７が存在する場合において車両３の後方画像１５に他の画像１６を合成しても、優先表示物１７が、他の画像１６によって隠されないようにすることができる。このため優先表示物１７は、車両３の後方画像１５内に確実に表示されるようになる。【００５０】
上記実施形態における車両用表示装置１などにおいては、上記構成に加えてさらに、合成画像生成手段２４（画像合成部）は、車両３の後方画像１５内において優先表示物１７を強調した表示態様として車両３の後方画像１５に他の画像１６を合成することを特徴とする。【００５１】
このようにすると、車両３の運転者など搭乗者が、表示手段３０に表示された優先表示物１７を視覚的に視認しやすくすることができ、この優先表示物１７を見落としにくくすることができる。【００５２】
上記実施形態における車両用表示装置１などにおいては、上記構成に加えてさらに、移動体検出部２２（優先表示物検出手段）は、オプティカルフローにより移動体１７を検出することを特徴とする。ここで移動体１７としては、例えば人間、動物及び物のいずれか又はこれらいずれかの組み合わせを挙げることができる。【００５３】
このようにすると、車両３の後方画像５に移動体１７が存在する場合には、移動体検出部２２が確実にこの移動体１７を検出することができる。【００５４】
上記実施形態における車両用表示装置１などにおいては、上記構成において、画像生成手段２０（画像生成部）は、車両３の後方画像１５を構成する後方画像データ９とは異なる画像データに基づいて他の画像１６を生成することを特徴とする。【００５５】
このようにすると、後方画像データ９とは異なる画像データに基づいて他の画像１６を後方画像１５に合成すれば、表示手段３０には、後方画像データ９とは異なる画像データに基づく他の画像１６が表示され、運転者などの搭乗者は、後方画像１５の他に他の画像１６からも情報を得ることができる。【００５６】
上記実施形態における車両用表示装置１などにおいては、上記構成において、画像生成手段２０（画像生成部）は、車両３の後方画像１５を構成する後方画像データ９から他の画像１６を生成することを特徴とする。【００５７】
このようにすると、後方画像データ９から生成した他の画像１６を後方画像１５に合成すれば、表示手段３０には、後方画像データ９に基づく他の画像１６が表示され、運転者などの搭乗者は、後方画像１５及び他の画像１６を利用して運転上有益な車両３の後方に関する情報を得ることができる。【００５８】
＜第２実施形態＞
図１２は、第２実施形態としての車両用表示装置１ａにおける画像生成部２０ａの構成例を示すブロック図である。
第２実施形態としての車両用表示装置１ａは、第１実施形態とほぼ同様の構成でありほぼ同様の動作であることから、同一の構成及び動作については第１実施形態における図１乃至図１１と同一の符号を用いるとともに、その説明を省略し、以下の説明では異なる点を中心として説明する。【００５９】
第２実施形態では、画像生成部２０ａが、第１実施形態における画像生成部２０とは異なっている。なお、画像生成部２０を構成する第１画像変換部２１、第２画像変換部２３、移動体検出部２２及び画像合成部２４など、各ブロックの構成及び機能はほぼ同様であるので、以下の説明では異なる点を中心として説明する。【００６０】
第１実施形態では、第２画像変換部２３が、入力された後方画像データ９に基づく車両３の後方画像に関して視点を変換して視点変換後の後方画像データ９を生成していたが、第２実施形態では、第２画像変換部２３ａが、第１画像変換部２１による歪み補正後の後方画像データ９に基づく歪み補正後の画像（歪み補正後画像）に関して視点を変換し、視点補正及び歪み補正後の後方画像データ９を生成するようにしてもよい。【００６１】
第２画像変換部２３ａは、第１画像変換部２１に接続されており、かつ、第１画像変換部２１から歪み補正後の後方画像データ９が入力されるようになっている。【００６２】
このようにすると、第１実施形態のように後方画像データ９から視点変換画像を生成した場合よりも、視点変換画像がより歪みの少ない画像となる。このため運転者が視点変換画像をより視認しやすくすることができる。【００６３】
なお、本実施形態は、上記に限られず、種々の変形が可能である。以下、そのような変形例を順を追って説明する。
本実施形態では、視点変換画像として、図７に示すように駐車場の上方からほぼ真下に見下ろした場合の画像を例示しているが、これに限られず、駐車場の斜め上方から斜めに見下ろした場合の画像を採用しても良い。【００６４】
また第１実施形態では、１つのカメラ１０によって取得された後方画像データ９を画像生成部２０に入力することで第１画像変換部２１及び第２画像変換部２３に入力しているが、これに限られず、２つのカメラ１０によって取得された２つの後方画像データ９を各々第１画像変換部２１及び第２画像変換部２３に入力する形態であっても良い。【００６５】
上記実施形態においては、他の画像１６として、上述のような車両３の運転に関する映像のみならず、例えば車両３の後方画像１５などとは異なる映像（車両３の運転とは関係のない映像）を表示させることもできる。このような他の画像１６としては、例えばＤＶＤのような記録メディアに記録済みの映像データに基づく映像を挙げることができる。
【図面の簡単な説明】
【００６６】
【図１】第１実施形態としての車両用表示装置を搭載する車両の構成例を示す概念図である。
【図２】カメラが車両の後方を撮影する様子を示すイメージ図である。
【図３】図１に示す画像生成部の構成例を示すブロック図である。
【図４】車両用表示装置の動作例としての後方撮像表示処理を表すフローチャートである。
【図５】表示装置に表示された合成画像の一例を示す図である。
【図６】表示装置に表示された合成画像の一例を示す図である。
【図７】表示装置に表示された合成画像の一例を示す図である。
【図８】表示装置に表示された合成画像の一例を示す図である。
【図９】表示装置に表示された合成画像の一例を示す図である。
【図１０】表示装置に表示された合成画像の一例を示す図である。
【図１１】表示装置に表示された合成画像の一例を示す図である。
【図１２】画像生成部の構成例を示すブロック図である。
【符号の説明】
【００６７】
１                車両用表示装置
１ａ              車両用表示装置
３                車両
９                後方画像データ
１０              カメラ（撮像手段）
１４              車両の後方画像
１５              車両の後方画像
１６              他の画像
１７              移動体（優先表示物）
１９              車両の後方画像
２０              画像生成部（画像生成手段）
２０ａ            画像生成部（画像生成手段）
２１              第１画像変換部（歪み補正手段）
２２              移動体検出部（優先表示物検出手段）
２３              第２画像変換部（視点変換手段）
２３ａ            第２画像変換部（視点変換手段）
２４              画像変換部（合成画像生成手段）
３０              表示装置（表示手段）
【図１】
2008087706.tif 000003
【図２】
2008087706.tif 000004
【図３】
2008087706.tif 000005
【図４】
2008087706.tif 000006
【図５】
2008087706.tif 000007
【図６】
2008087706.tif 000008
【図７】
2008087706.tif 000009
【図８】
2008087706.tif 000010
【図９】
2008087706.tif 000011
【図１０】
2008087706.tif 000012
【図１１】
2008087706.tif 000013
【図１２】
2008087706.tif 000014
【手続補正書】
【提出日】平成20年10月21日(2008.10.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両の後方を撮像して後方画像データを生成する撮像手段と、
前記撮像手段によって撮像された後方画像に生じた歪みを補正するよう前記後方画像データから後方画像補正データを生成する画像生成手段と、
前記後方画像の中に含まれる移動体を検出する移動体検出手段と、
前記後方画像補正データ及び前記後方画像データに基づいて、前記後方画像の中の前記移動体を避けた領域に補正後の前記後方画像を重ねた合成画像を表示するための表示データを生成する合成画像生成手段と、
前記表示データに基づいて前記合成画像を表示する表示手段と、
を有することを特徴とする車両用表示装置。
【請求項２】
請求項１記載の車両用表示装置において、
前記画像生成手段は、
前記後方画像データに基づく前記車両の後方画像に関して視点を変換して視点変換後の前記後方画像データを生成する視点変換手段
を備えることを特徴とする車両用表示装置。
【請求項３】
請求項１記載の車両用表示装置において、
前記合成画像生成手段は、
前記車両の後方画像内において前記移動体を視覚的に強調した表示態様として前記車両の後方画像に補正後の前記後方画像を合成することを特徴とする車両用表示装置。
【請求項４】
請求項１記載の車両用表示装置において、
前記移動体検出手段は、オプティカルフローにより前記移動体を検出することを特徴とする車両用表示装置。
【請求項５】
車両の後方を撮像して後方画像データを生成する撮像ステップと、
前記撮像ステップによって撮像された後方画像に生じた歪みを補正するよう前記後方画像データから後方画像補正データを生成する画像生成ステップと、
前記後方画像の中に含まれる移動体を検出する移動体検出ステップと、
前記後方画像補正データ及び前記後方画像データに基づいて、前記後方画像の中の前記移動体を避けた領域に補正後の前記後方画像を重ねた合成画像を表示するための表示データを生成する合成画像生成ステップと、
前記表示データに基づいて前記合成画像を表示する表示ステップと、
を有することを特徴とする車両用表示方法。
【請求項６】
車両の後方を撮像して後方画像データを生成する撮像ステップと、
前記撮像ステップによって撮像された後方画像に生じた歪みを補正するよう前記後方画像データから後方画像補正データを生成する画像生成ステップと、
前記後方画像の中に含まれる移動体を検出する移動体検出ステップと、
前記後方画像補正データ及び前記後方画像データに基づいて、前記後方画像の中の前記移動体を避けた領域に補正後の前記後方画像を重ねた合成画像を表示するための表示データを生成する合成画像生成ステップと、
前記表示データに基づいて前記合成画像を表示する表示ステップと、
を車両用表示装置において実行させることを特徴とする車両用表示プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
表示物が存在しないにもかかわらず、もしかしたら他の画像の裏に優先表示物が隠れて見えないだけかもしれないとの余分な注意を払いながら、自動車を運転しなければならないおそれがあった。
［０００６］
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
課題を解決するための手段
［０００７］
上記目的を達成するために、請求項１記載の発明は、車両の後方を撮像して後方画像データを生成する撮像手段と、前記撮像手段によって撮像された後方画像に生じた歪みを補正するよう前記後方画像データから後方画像補正データを生成する画像生成手段と、前記後方画像の中に含まれる移動体を検出する移動体検出手段と、前記後方画像補正データ及び前記後方画像データに基づいて、前記後方画像の中の前記移動体を避けた領域に補正後の前記後方画像を重ねた合成画像を表示するための表示データを生成する合成画像生成手段と、前記表示データに基づいて前記合成画像を表示する表示手段と、を有することを特徴とする。
［０００８］
また上記目的を達成するために、請求項５記載の発明は、車両の後方を撮像して後方画像データを生成する撮像ステップと、前記撮像ステップによって撮像された後方画像に生じた歪みを補正するよう前記後方画像データから後方画像補正データを生成する画像生成ステップと、前記後方画像の中に含まれる移動体を検出する移動体検出ステップと、前記後方画像補正データ及び前記後方画像データに基づいて、前記後方画像の中の前記移動体を避けた領域に補正後の前記後方画像を重ねた合成画像を表示するための表示データを生成する合成画像生成ステップと、前記表示データに基づいて前記合成画像を表示する表示ステップと、を有することを特徴とする。
［０００９］
また上記目的を達成するために、請求項６記載の発明は、車両の後方を撮像して後方画像データを生成する撮像ステップと、前記撮像ステップによって撮像された後方画像に生じた歪みを補正するよう前記後方画像データから後方画像補正データを生成する画像生成ステップと、前記後方画像の中に含まれる移動体を検出する移動体検出ステップと、前記後方画像補正データ及び前記後方画像データに基づいて、前記後方画像の中の前記移動体を避けた領域に補正後の前記後方画像を重ねた合成画像を表示するための表示データを生成する合成画像生成ステップと、前記表示データに基づいて前記合成画像を表示する表示ステップと、を車両用表示装置において実行させることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
発明を実施するための最良の形態
［００１０］
以下、本発明の一実施の形態を図面を参照しつつ説明する。
＜第１実施形態＞
図１は、第１実施形態としての車両用表示装置１を搭載する車両３の構成例を示す概念図である。
車両３は、例えば自動車であり、その運転者の操作によって前進したり後進したり左右に各々曲がることができる。車両用表示装置１は、撮像装置１０（以下「カメラ１０」という）、画像生成部２０及び表示装置３０を搭載している。
［００１１］
カメラ１０（撮像手段）は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）を用いたいわゆるデジタルカメラである。このカメラ１０は、車両３の後方を撮像し、この車両３の後方視界の画像（以下「後方画像」という）に基づく後方画像データ９を取得する機能を有する。このカメラ１０は、車両３の後方をより広角に撮像するため、例えば広角レンズを用いて撮影している。このカメラ１０によって撮影した映像は、広角レンズを用いている影響により、多少の歪みを生ずる場合がある。
［００１２］
画像生成部２０は、車両３の後方画像とは表示態様が異なる画像であって車両３の後方画像に重ねるべき他の画像に関する他の画像データ（後述する歪み補正後の後方画像データ及び視点変換後の後方画像データの少なくとも一方）を生成する機能を有する。なお、ここでいう他の画像は、このように表示態様が異なる画像であってもよいし、或いは同一であっても良い。本実施形態では、一例として他の画像は、例えば後方画像の歪みを補正した画像及び後方画像の視点を変換した画像のように表示態様が元々の後方画像とは異なるものとする。本実施形態では、上述のように他の画像を重ねられる側の画像を表示する画面を「親画面」ともいい、この親画面に重ねるべき他の画像を表示する画面を「子画面」ともいうものとする。
［００１３］
また、ここでいう他の画像としては、車両３の後方画像に関係する画像のみならず、車両３に関係のない画像であってもよい。具体的には、他の画像としては、例えばＤＶＤ（Ｄｅｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）などの記録メディアに記録済みの映像データに基づく映像であってもよい。この画像生成部２０は、車両３の後方画像を表示する親画
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
［００２０］
移動体検出部２２（優先表示物検出手段、移動体検出手段）は、後方画像データ９に基づいて車両３の後方画像から、優先的に表示されるべき優先表示物を検出する機能を有する。ここで本実施形態では、オプティカルフローによって移動体を検出し、優先表示物として移動体を例示する。なお優先表示物としては、このような移動体に限られず、優先的に表示されるべき物であればいかなるものであってもよい。例えばパターンマッチングによって道路標識を検出し、優先表示物としてもよい。
［００２１］
画像合成部２４（合成画像生成手段）は、移動体検出部２２によって、前記車両３の後方画像に移動体が検出されなかった場合、その後方画像データ９から、この車両３の後方画像に重ねるべき他の画像を生成し、この車両３の後方画像に他の画像を合成した表示態様の表示データを生成する機能を有する。
［００２２］
一方、この画像合成部２４（合成画像生成手段）は、車両３の後方画像に移動体が検出された場合、その後方画像データ９から、車両３の後方画像において、この移動体に他の画像を重ねない表示態様の表示データ２７を生成する機能を有する。ここで、本実施形態では、このように車両３の後方画像において、移動体に他の画像を重ねない表示態様とは、例えば車両３の後方画像のみの表示態様とすること、又は、車両３の後方画像において移動体と他の画像とを異なる位置に配置した表示態様とすることを示している。以下の説明においては、移動体に他の画像を重ねない表示態様として主に後者を例示する。
［００２３］
車両用表示装置１は以上のような構成であり、次に図１〜図３を参照しつつ車両用表示装置１の動作例について説明する。
図４は、車両用表示装置１の動作例としての後方撮像表示処理を表すフローチャートである。
図５〜図８は、それぞれ表示装置３０の表示態様の一例を示す図である。
図４に示すステップＳ１では、車両３に設置されたカメラ１０によって車両３の後方を撮影する。ここで、上述のようにカメラ１０による車両３の後方画像は、図５に示す後方画像１４のように全体的に歪みが生じている。
［００２４］
次にステップＳ２では、画像変換部２３が、その第１画像変換部２１によって、カメラ１０によって撮像された後方画像１４の歪み補正を行って歪み補正後の後方画像デー
【国際調査報告】
2008087706.tif 000015
2008087706.tif 000016
2008087706.tif 000017
2008087706.tif 000018