(57)【要約】【課題】ドライバが車線変更の判断を適切に行うための技術を提供する。【解決手段】画像取得部２１が自車両に搭載されたカメラ５の撮影画像を取得し、画像生成部２２が撮影画像に基づいて自車両９のサイドミラーに映る領域を含む自車両９の周辺領域を示す周辺画像を生成する。また、相対速度導出部２０ｂが自車両の後方を走行する他車両の自車両に対する相対速度を導出し、ガイド線設定部２０ｃが相対速度に基づいて指定距離を決定し、情報重畳部２３が自車両９から後方に指定距離の位置を示す変動ガイド線を周辺画像に重畳する。そして、画像出力部２４が変動ガイド線が重畳された周辺画像を表示装置３に出力して表示させる。このため、自車両のドライバは、表示された周辺画像に基づいて、他車両の相対速度に応じて安全な自車両と他車両との位置関係を把握できるため、車線変更の判断を適切に行うことができる。【選択図】図１
2013168063.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する画像処理装置であって、
自車両に搭載されたカメラの撮影画像を取得する画像取得手段と、
前記撮影画像に基づいて、前記自車両のサイドミラーに映る領域を含む前記自車両の周辺領域を示す周辺画像を生成する生成手段と、
前記自車両の後方を走行する他車両の前記自車両に対する相対速度を導出する導出手段と、
前記相対速度に基づいて指定距離を決定する決定手段と、
前記自車両から後方に前記指定距離の位置を示すガイド指標を前記周辺画像に重畳する重畳手段と、
前記ガイド指標が重畳された前記周辺画像を表示装置に出力して前記表示装置に表示させる出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記自車両の走行速度を取得する速度取得手段、
をさらに備え、
前記決定手段は、前記走行速度と前記相対速度とに基づいて前記指定距離を決定することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記決定手段は、前記相対速度が大きいほど前記指定距離を大きくすることを特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記相対速度に応じて、前記ガイド指標の態様を変更する変更手段、
をさらに備えることを特徴とする画像処理装置。
【請求項５】
請求項１ないし４のいずれかに記載の画像処理装置において、
前記決定手段は、前記相対速度に基づいて複数の前記指定距離を決定し、
前記重畳手段は、前記自車両から後方に前記複数の指定距離それぞれの位置を示す複数の前記ガイド指標を前記周辺画像に重畳することを特徴とする画像処理装置。
【請求項６】
請求項１ないし５のいずれかに記載の画像処理装置において、
前記自車両の方向指示器が示す方向を取得する方向取得手段、
をさらに備え、
前記出力手段は、前記方向指示器が方向を示す場合に、該方向指示器が示す方向の前記サイドミラーに映る領域を示す前記周辺画像を、前記表示装置に出力することを特徴とする画像処理装置。
【請求項７】
請求項１ないし５のいずれかに記載の画像処理装置において、
前記出力手段は、前記他車両が前記自車両に対して接近している場合に、該他車両が存在する方向の前記サイドミラーに映る領域を示す前記周辺画像を、前記表示装置に出力することを特徴とする画像処理装置。
【請求項８】
画像を処理する画像処理装置であって、
自車両に搭載されたカメラの撮影画像を取得する画像取得手段と、
前記撮影画像に基づいて、前記自車両のサイドミラーに映る領域を含む前記自車両の周辺領域を示す周辺画像を生成する生成手段と、
前記自車両の走行速度を取得する速度取得手段と、
前記走行速度に基づいて指定距離を決定する決定手段と、
前記自車両から後方に前記指定距離の位置を示すガイド指標を前記周辺画像に重畳する重畳手段と、
前記ガイド指標が重畳された前記周辺画像を表示装置に出力して前記表示装置に表示させる出力手段と、
を備えることを特徴とする画像処理装置。
【請求項９】
画像表示システムであって、
請求項１ないし８のいずれかに記載の画像処理装置と、
前記画像処理装置から出力された前記周辺画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項１０】
画像を処理する画像処理方法であって、
（ａ）自車両に搭載されたカメラの撮影画像を取得する工程と、
（ｂ）前記撮影画像に基づいて、前記自車両のサイドミラーに映る領域を含む前記自車両の周辺領域を示す周辺画像を生成する工程と、
（ｃ）前記自車両の後方を走行する他車両の前記自車両に対する相対速度を導出する工程と、
（ｄ）前記相対速度に基づいて指定距離を決定する工程と、
（ｅ）前記自車両から後方に前記指定距離の位置を示すガイド指標を前記周辺画像に重畳する工程と、
（ｆ）前記ガイド指標が重畳された前記周辺画像を表示する工程と、
を備えることを特徴とする画像処理方法。
【請求項１１】
画像を処理する画像処理方法であって、
（ａ）自車両に搭載されたカメラの撮影画像を取得する工程と、
（ｂ）前記撮影画像に基づいて、前記自車両のサイドミラーに映る領域を含む前記自車両の周辺領域を示す周辺画像を生成する工程と、
（ｃ）前記自車両の前記自車両の走行速度を取得する工程と、
（ｄ）前記走行速度に基づいて指定距離を決定する工程と、
（ｅ）前記自車両から後方に前記指定距離の位置を示すガイド指標を前記周辺画像に重畳する工程と、
（ｆ）前記ガイド指標が重畳された前記周辺画像を表示する工程と、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラの画像を処理する技術に関する。
【背景技術】
【０００２】
自動車などの車両を運転するドライバは、車線変更を行う場合には、一般に、サイドミラーを用いて隣接車線における他車両の位置などを把握し、車線変更を行うか否かを判断する。しかしながら、運転に不慣れなドライバにとってはサイドミラーに映った像に基づいて他車両の位置を把握することは難しいことから、このような車線変更の判断を苦手とするドライバは多い。
【０００３】
このため、カメラで得られた撮影画像を用いてサイドミラーに映る領域を示す周辺画像を生成し、指標となるガイド線を重畳した周辺画像を車室内の表示装置に表示する画像表示システムが提案されている（例えば、特許文献１参照。）。この画像表示システムでは、自車両から後方に所定の距離の位置を示すガイド線が周辺画像に重畳される。ドライバは、このような周辺画像を参照することで、周辺画像に含まれるガイド線と他車両の像とに基づいて他車両の位置を比較的容易に把握できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−３９９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ドライバは、変更後の車線における他車両の位置のみならず、自車両の走行速度や、自車両に対する他車両の相対速度などを総合的に考慮して車線変更の判断を行う必要がある。
【０００６】
例えば、自車両が比較的高速に走行している場合は、比較的低速に走行している場合よりも、自車両と他車両との車間距離として大きな距離が必要とされる。このため、ドライバは、自車両の走行速度を考慮して車線変更の判断を行う必要がある。
【０００７】
また、後方を走行する他車両が自車両に急接近しているような場合には、車線変更前に自車両と他車両との車間距離が一般的に必要な距離であったとしても、車線変更後にはその車間距離が非常に小さくなってしまう。このため、ドライバは、自車両に対する他車両の相対速度を考慮して車線変更の判断を行う必要がある。
【０００８】
しかしながら、上記のような従来の画像表示システムでは、走行速度や相対速度などについては考慮されておらず、ドライバは周辺画像のガイド線に基づいて他車両の位置を把握できるのみである。このため、ドライバが車線変更の判断を適切に行うことは難しかった。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、ドライバが車線変更の判断を適切に行うことが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の発明は、画像を処理する画像処理装置であって、自車両に搭載されたカメラの撮影画像を取得する画像取得手段と、前記撮影画像に基づいて、前記自車両のサイドミラーに映る領域を含む前記自車両の周辺領域を示す周辺画像を生成する生成手段と、前記自車両の後方を走行する他車両の前記自車両に対する相対速度を導出する導出手段と、前記相対速度に基づいて指定距離を決定する決定手段と、前記自車両から後方に前記指定距離の位置を示すガイド指標を前記周辺画像に重畳する重畳手段と、前記ガイド指標が重畳された前記周辺画像を表示装置に出力して前記表示装置に表示させる出力手段と、を備えている。
【００１１】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記自車両の走行速度を取得する速度取得手段、をさらに備え、前記決定手段は、前記走行速度と前記相対速度とに基づいて前記指定距離を決定する。
【００１２】
また、請求項３の発明は、請求項１または２に記載の画像処理装置において、前記決定手段は、前記相対速度が大きいほど前記指定距離を大きくする。
【００１３】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記相対速度に応じて、前記ガイド指標の態様を変更する変更手段、をさらに備えている。
【００１４】
また、請求項５の発明は、請求項１ないし４のいずれかに記載の画像処理装置において、前記決定手段は、前記相対速度に基づいて複数の前記指定距離を決定し、前記重畳手段は、前記自車両から後方に前記複数の指定距離それぞれの位置を示す複数の前記ガイド指標を前記周辺画像に重畳する。
【００１５】
また、請求項６の発明は、請求項１ないし５のいずれかに記載の画像処理装置において、前記自車両の方向指示器が示す方向を取得する方向取得手段、をさらに備え、前記出力手段は、前記方向指示器が方向を示す場合に、該方向指示器が示す方向の前記サイドミラーに映る領域を示す前記周辺画像を、前記表示装置に出力する。
【００１６】
また、請求項７の発明は、請求項１ないし５のいずれかに記載の画像処理装置において、前記出力手段は、前記他車両が前記自車両に対して接近している場合に、該他車両が存在する方向の前記サイドミラーに映る領域を示す前記周辺画像を、前記表示装置に出力する。
【００１７】
また、請求項８の発明は、画像を処理する画像処理装置であって、自車両に搭載されたカメラの撮影画像を取得する画像取得手段と、前記撮影画像に基づいて、前記自車両のサイドミラーに映る領域を含む前記自車両の周辺領域を示す周辺画像を生成する生成手段と、前記自車両の走行速度を取得する速度取得手段と、前記走行速度に基づいて指定距離を決定する決定手段と、前記自車両から後方に前記指定距離の位置を示すガイド指標を前記周辺画像に重畳する重畳手段と、前記ガイド指標が重畳された前記周辺画像を表示装置に出力して前記表示装置に表示させる出力手段と、を備えている。
【００１８】
また、請求項９の発明は、画像表示システムであって、請求項１ないし８のいずれかに記載の画像処理装置と、前記画像処理装置から出力された前記周辺画像を表示する表示装置と、を備えている。
【００１９】
また、請求項１０の発明は、画像を処理する画像処理方法であって、（ａ）自車両に搭載されたカメラの撮影画像を取得する工程と、（ｂ）前記撮影画像に基づいて、前記自車両のサイドミラーに映る領域を含む前記自車両の周辺領域を示す周辺画像を生成する工程と、（ｃ）前記自車両の後方を走行する他車両の前記自車両に対する相対速度を導出する工程と、（ｄ）前記相対速度に基づいて指定距離を決定する工程と、（ｅ）前記自車両から後方に前記指定距離の位置を示すガイド指標を前記周辺画像に重畳する工程と、（ｆ）前記ガイド指標が重畳された前記周辺画像を表示する工程と、を備えている。
【００２０】
また、請求項１１の発明は、画像を処理する画像処理方法であって、（ａ）自車両に搭載されたカメラの撮影画像を取得する工程と、（ｂ）前記撮影画像に基づいて、前記自車両のサイドミラーに映る領域を含む前記自車両の周辺領域を示す周辺画像を生成する工程と、（ｃ）前記自車両の前記自車両の走行速度を取得する工程と、（ｄ）前記走行速度に基づいて指定距離を決定する工程と、（ｅ）前記自車両から後方に前記指定距離の位置を示すガイド指標を前記周辺画像に重畳する工程と、（ｆ）前記ガイド指標が重畳された前記周辺画像を表示する工程と、を備えている。
【発明の効果】
【００２１】
請求項１ないし７及び１０の発明によれば、他車両の自車両に対する相対速度に応じた指定距離の位置を示すガイド指標が周辺画像に重畳される。このため、ドライバは、他車両の相対速度に応じて安全な自車両と他車両との位置関係を把握できるため、車線変更の判断を適切に行うことができる。
【００２２】
また、特に請求項２の発明によれば、走行速度と相対速度とに応じた指定距離の位置を示すガイド指標が周辺画像に重畳される。このため、ドライバは、走行速度及び相対速度に応じて安全な自車両と他車両との位置関係を把握できるため、車線変更の判断を適切に行うことができる。
【００２３】
また、特に請求項３の発明によれば、相対速度が大きいほど指定距離を大きくするため、ドライバは相対速度の大きさを直感的に把握でき、運転における安全性を向上できる。
【００２４】
また、特に請求項４の発明によれば、相対速度に応じてガイド指標の態様が変更されるため、ドライバは相対速度の大きさを直感的に把握でき、運転における安全性を向上できる。
【００２５】
また、特に請求項５の発明によれば、相対速度に基づく複数の指定距離それぞれの位置を示すガイド指標が周辺画像に重畳される。このため、ドライバは、他車両の相対速度に応じてより安全な自車両と他車両との位置関係を把握できるため、運転における安全性を向上できる。
【００２６】
また、特に請求項６の発明によれば、方向指示器が方向を示す場合に、方向指示器が示す方向のサイドミラーに映る領域を示す周辺領域が表示装置に表示される。このため、ドライバは、車両の進路変更を行う場合に、安全な自車両と他車両との位置関係を把握できる。
【００２７】
また、特に請求項７の発明によれば、他車両が自車両に接近している場合に、その他車両が存在する方向のサイドミラーに映る領域を示す周辺領域が表示装置に表示される。このため、ドライバは、自車両に接近する他車両が存在する場合に、安全な自車両と接近車両との位置関係を把握できる。
【００２８】
また、請求項８及び１１の発明によれば、自車両の走行速度に応じた指定距離の位置を示すガイド指標が周辺画像に重畳される。このため、ドライバは、走行速度に応じて安全な自車両と他車両との位置関係を把握できるため、車線変更の判断を適切に行うことができる。
【図面の簡単な説明】
【００２９】
【図１】図１は、画像表示システムの構成を示すブロック図である。
【図２】図２は、４つのカメラが撮影する方向を示す図である。
【図３】図３は、自車両の車室内の様子を示す図である。
【図４】図４は、合成画像を生成する手法を説明する図である。
【図５】図５は、周辺画像を生成するための仮想視点を示す図である。
【図６】図６は、周辺画像の一例を示す図である。
【図７】図７は、周辺画像の一例を示す図である。
【図８】図８は、ガイド線が重畳された周辺画像の例を示す図である。
【図９】図９は、指定距離の変化を示す図である。
【図１０】図１０は、ガイド線が重畳された周辺画像の例を示す図である。
【図１１】図１１は、ガイド線が重畳された周辺画像の例を示す図である。
【図１２】図１２は、ガイド線が重畳された周辺画像の例を示す図である。
【図１３】図１３は、画像処理装置の処理の流れを示す図である。
【図１４】図１４は、ガイド線が重畳された周辺画像の例を示す図である。
【図１５】図１５は、ガイド線が重畳された周辺画像の例を示す図である。
【図１６】図１６は、１つの画面に２つの周辺画像を表示した様子を示す図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００３１】
＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像表示システム１０の構成を示すブロック図である。この画像表示システム１０は、車両（本実施の形態では、自動車）に搭載されるものであり、サイドミラーに映る領域を示す画像を生成して車室内に表示する機能を有している。画像表示システム１０のユーザとなるドライバは、この画像表示システム１０を利用することにより、車両の後方を走行する他車両を確認して、車線変更を行うか否かなどの判断を行うことができる。また、画像表示システム１０は、目的地までの経路を案内するナビゲーション機能も有している。以下、この画像表示システム１０が搭載される車両を「自車両」という。
【００３２】
図に示すように、画像表示システム１０は、複数のカメラ５、画像処理装置２、及び、複数の表示装置３を主に備えている。複数のカメラ５は、自車両の周辺を撮影して自車両の周辺を示す撮影画像を取得し、取得した撮影画像を画像処理装置２に入力する。画像処理装置２は、撮影画像などを用いて各種の画像処理を実行し、複数の表示装置３に表示するための画像を生成する。また、複数の表示装置３は、画像処理装置２から出力された画像を表示する。
【００３３】
複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、自車両の周辺を示す撮影画像を電子的に取得する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、自車両９において互いに異なる位置に配置され、自車両９の周辺の異なる方向を撮影する。
【００３４】
図２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、自車両９の前端に設けられ、その光軸５Ｆａは自車両９の直進方向に向けられる。リアカメラ５Ｂは、自車両９の後端に設けられ、その光軸５Ｂａは自車両９の直進方向の逆方向に向けられる。左サイドカメラ５Ｌは左側の左サイドミラー９３Ｌに設けられ、その光軸５Ｌａは自車両９の左側方（直進方向の直交方向）に向けられる。また、右サイドカメラ５Ｒは右側の右サイドミラー９３Ｒに設けられ、その光軸５Ｒａは自車両９の右側方（直進方向の直交方向）に向けられる。
【００３５】
これらのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、自車両９の全周囲を撮影することが可能である。
【００３６】
図１に戻り、複数の表示装置３はそれぞれ、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示する。複数の表示装置３は、メインディスプレイ３１、左サブディスプレイ３２及び右サブディスプレイ３３を含んでいる。これらの３つの表示装置３は、ドライバが自車両９の運転席に着座した状態でその画面を視認できるように、車室内に配置される。
【００３７】
図３は、自車両９の車室内の様子を示す図である。メインディスプレイ３１は、車室内の左右中央のセンターコンソール９６に設けられている。また、左サブディスプレイ３２及び右サブディスプレイ３３は、自車両９のメーターパネル９４の左側及び右側にそれぞれ設けられている。２つのサブディスプレイ３２，３３の画面のサイズは、メインディスプレイ３１よりも小さくなっている。
【００３８】
また、図に示すように、自車両９のステアリングホイール９５の左側及び右側に、画像表示システム１０が備える操作ボタン４がそれぞれ設けられている。これら左右２つの操作ボタン４は、ドライバの操作を受け付ける操作部材である。いずれかの操作ボタン４がドライバに操作された場合は、その操作内容を示す信号が画像処理装置２に入力される（図１参照。）。
【００３９】
図１に戻り、画像処理装置２は、各種の画像処理が可能な電子装置であり、画像取得部２１と、画像生成部２２と、情報重畳部２３と、画像出力部２４とを備えている。
【００４０】
画像取得部２１は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。画像取得部２１は、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部２１は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像生成部２２に入力する。
【００４１】
画像生成部２２は、合成画像を生成するための画像処理を行うハードウェア回路である。画像生成部２２は、複数のカメラ５で取得された複数の撮影画像を合成して、仮想視点からみた自車両９の周辺の様子を示す合成画像を生成する機能を有している。画像生成部２２は、この合成画像を生成する機能により、サイドミラー９３Ｌ，９３Ｒに映る領域を示す周辺画像を生成する。画像生成部２２が周辺画像を生成する手法については後述する。
【００４２】
情報重畳部２３は、画像生成部２２で生成された周辺画像に対して、ドライバに必要となる各種の情報を重畳する。情報重畳部２３は、例えば、自車両９の後端からの距離の目安となるガイド線などを周辺画像に重畳する。
【００４３】
画像出力部２４は、周辺画像などの表示すべき画像を、３つの表示装置３のいずれかに選択的に出力する。これにより、画像が出力された表示装置３において当該画像が表示される。
【００４４】
また、画像処理装置２は、制御部２０と、記憶部２５と、信号受信部２６と、ナビゲーション部２７とをさらに備えている。制御部２０は、例えば、マイクロコンピュータであり、画像処理装置２の全体を統括的に制御する。
【００４５】
記憶部２５は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２５は、ファームウェアとしてのプログラムや、制御部２０の制御に用いる各種のデータを記憶する。
【００４６】
信号受信部２６は、自車両９に設けられる他の装置からの信号を受信する。信号受信部２６は、受信した信号を制御部２０に入力する。信号受信部２６は、車速センサ９１及び方向指示器９２からの信号を受信する。信号受信部２６は、自車両９が走行する絶対速度である走行速度（ｋｍ／ｈ）を示す信号を、車速センサ９１から受信する。また、信号受信部２６は、ドライバが進路変更の意思を示した方向である方向指示器９２が示す方向を示す信号を、方向指示器９２から受信する。すなわち、信号受信部２６は、自車両９の走行速度、及び、方向指示器９２が示す方向を取得する。
【００４７】
ナビゲーション部２７は、目的地までの経路を案内するナビゲーション機能を実現する電子部品である。ナビゲーション部２７は、目的地までのルート等を示す地図画像を画像出力部２４を介してメインディスプレイ３１に表示させる。これにより、メインディスプレイ３１には、通常、ナビゲーション用の地図画像が表示される。
【００４８】
制御部２０は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２０の各種の機能は、記憶部２５に記憶されたプログラムに従ってＣＰＵが演算処理を行うことで実現される。図中に示す車両検出部２０ａ、相対速度導出部２０ｂ、ガイド線設定部２０ｃ及び表示制御部２０ｄは、プログラムに従ってＣＰＵが演算処理を行うことで実現される機能部の一部である。
【００４９】
車両検出部２０ａは、画像取得部２１が取得した撮影画像に基づいて、自車両９の後方を走行する他車両を検出する。なお、本実施の形態において、自車両９の後方とは、自車両９の後端より後側の領域であればよく、自車両９が走行する車線と同一の車線のみならず、自車両９が走行する車線に隣接する隣接車線などの他の車線も含む領域である。
【００５０】
相対速度導出部２０ｂは、自車両９の後方を走行する他車両の自車両９に対する相対速度を導出する。ガイド線設定部２０ｃは、周辺画像に重畳するガイド線の位置や態様を設定する。また、表示制御部２０ｄは、表示すべき周辺画像を選択するとともに、その周辺画像を表示すべき表示装置３を選択する。そして、表示制御部２０ｄは、画像出力部２４を制御して、選択した周辺画像を選択した表示装置３に出力させる。
【００５１】
これら制御部２０で実現される機能部２０ａ〜２０ｄの処理の詳細については後述する。
【００５２】
＜１−２．周辺画像の生成＞
次に、画像生成部２２が、サイドミラー９３Ｌ，９３Ｒに映る領域を示す周辺画像を生成する手法について説明する。まず、仮想視点からみた自車両９の周辺の様子を示す合成画像を生成する手法について説明する。図４は、画像生成部２２が合成画像を生成する手法を説明する図である。
【００５３】
フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、自車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの画像ＰＦ，ＰＢ，ＰＬ，ＰＲが取得される。これら４つの画像ＰＦ，ＰＢ，ＰＬ，ＰＲには、自車両９の全周囲のデータが含まれている。
【００５４】
画像生成部２２は、まず、これら４つの画像ＰＦ，ＰＢ，ＰＬ，ＰＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）をしている。この投影面ＴＳの中心部分（お椀の底部分）は、自車両９の位置として定められている。また、投影面ＴＳの中心以外の部分は、画像ＰＦ，ＰＢ，ＰＬ，ＰＲのいずれかと対応付けられている。
【００５５】
画像生成部２２は、この投影面ＴＳの中心以外の部分に、画像ＰＦ，ＰＢ，ＰＬ，ＰＲに含まれるデータを投影する。画像生成部２２は、投影面ＴＳにおいて自車両９の前方に相当する領域に、フロントカメラ５Ｆの画像ＰＦのデータを投影する。また、画像生成部２２は、投影面ＴＳにおいて自車両９の後方に相当する領域に、リアカメラ５Ｂの画像ＰＢのデータを投影する。さらに、画像生成部２２は、投影面ＴＳにおいて自車両９の左側方に相当する領域に左サイドカメラ５Ｌの画像ＰＬのデータを投影し、投影面ＴＳにおいて自車両９の右側方に相当する領域に右サイドカメラ５Ｒの画像ＰＲのデータを投影する。
【００５６】
このように投影面ＴＳの各部分にデータを投影すると、次に、画像生成部２２は、自車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この自車両９のモデルは、投影面ＴＳが設定される三次元空間において、自車両９の位置と定められた投影面ＴＳの中心部分に配置される。
【００５７】
次に、画像生成部２２は、三次元空間に対して仮想視点ＶＰを設定する。画像生成部２２は、三次元空間における任意の視点位置に任意の視野方向に向けて仮想視点ＶＰを設定できる。そして、画像生成部２２は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域を画像として切り出す。また、画像生成部２２は、設定した仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像生成部２２は、仮想視点ＶＰからみた自車両９及び自車両９の周辺の領域を示す合成画像ＣＰを生成する。
【００５８】
例えば図に示すように、視点位置を自車両９の直上、視野方向を直下とした仮想視点ＶＰａを設定した場合には、自車両９及び自車両９の周辺の領域を俯瞰する合成画像ＣＰａが生成される。また、視点位置を自車両９の左後方、視野方向を自車両９の前方とした仮想視点ＶＰｂを設定した場合には、自車両９の左後方からその周辺全体を見渡すように、自車両９及び自車両９の周辺の領域を示す合成画像ＣＰｂが生成される。
【００５９】
画像生成部２２は、このような合成画像を生成する機能を利用して、サイドミラー９３Ｌ，９３Ｒに映る領域を示す周辺画像を生成する。画像生成部２２は、この周辺画像を生成するために、仮想視点ＶＰの視点位置及び視野方向を調整する。図５は、周辺画像を生成するために設定される仮想視点を示す図である。
【００６０】
図５に示すように、画像生成部２２は、視点位置を右サイドミラー９３Ｒの位置、視野方向を右サイドミラー９３Ｒに映る領域の中央とした仮想視点ＶＰＲを設定する。画像生成部２２は、この仮想視点ＶＰＲを設定することにより、ドライバからみて右サイドミラー９３Ｒに映る領域を含む自車両９の周辺領域を示す周辺画像を生成できる。この周辺画像に含まれる像は、左右反転され、右サイドミラー９３Ｒに映る像と同様の向きとされる。
【００６１】
図６は、右サイドミラー９３Ｒに対応する周辺画像ＳＰの一例を示す図である。図６に示すように、この周辺画像ＳＰは、右サイドミラー９３Ｒに映る領域Ｍａを含む自車両９の周辺領域を示してる。周辺画像ＳＰ中において、右サイドミラー９３Ｒに映る領域Ｍａに対応する部分は、右サイドミラー９３Ｒと同様の形状の枠Ｍｆで囲まれている。
【００６２】
また、周辺画像ＳＰには、自車両９の後方を走行する他車両８の像や、自車両９の車体の一部を示す車両像９０が含まれている。したがって、ユーザは、この周辺画像ＳＰを、右サイドミラー９３Ｒと同様の感覚で確認することができる。
【００６３】
また、図５に示すように、画像生成部２２は、視点位置を左サイドミラー９３Ｌの位置、視野方向を左サイドミラー９３Ｌに映る領域の中央とした仮想視点ＶＰＬも設定する。画像生成部２２は、この仮想視点ＶＰＬを設定することにより、ドライバからみて左サイドミラー９３Ｌに映る領域を含む自車両９の周辺領域を示す周辺画像を生成できる。この周辺画像に含まれる像は、左右反転され、左サイドミラー９３Ｌに映る像と同様の向きとされる。
【００６４】
図７は、左サイドミラー９３Ｌに対応する周辺画像ＳＰの一例を示す図である。図７に示すように、この周辺画像ＳＰは、左サイドミラー９３Ｌに映る領域Ｍａを含む自車両９の周辺領域を示してる。周辺画像ＳＰ中において、左サイドミラー９３Ｌに映る領域Ｍａに対応する部分は、左サイドミラー９３Ｌと同様の形状の枠Ｍｆで囲まれている。ユーザは、この周辺画像ＳＰを、左サイドミラー９３Ｌと同様の感覚で確認することができる。
【００６５】
＜１−３．ガイド線＞
情報重畳部２３は、このように生成された周辺画像に対してガイド線を重畳する。また、ガイド線設定部２０ｃは、周辺画像に重畳するガイド線の位置や態様を決定する。以下、このガイド線について説明する。図８は、ガイド線が重畳された周辺画像ＳＰの例を示している。図８に示すように周辺画像ＳＰには２つのガイド線Ｌ０，Ｌ１が重畳される。
【００６６】
一方のガイド線Ｌ０は、周辺画像ＳＰ中における自車両９の後端の位置（すなわち、後端から後方に０ｍとなる位置）を示している。このガイド線Ｌ０の位置は、周辺画像ＳＰ中において固定される。以下、このガイド線Ｌ０を「基準ガイド線」という。
【００６７】
また、他方のガイド線Ｌ１は、周辺画像ＳＰ中における自車両９の後端から後方に指定距離となる位置を示している。図８の例では、ガイド線Ｌ１は、自車両９の後端から後方に２０ｍ離れた位置を示している。ガイド線設定部２０ｃは、このガイド線Ｌ１が示す指定距離（自車両９の後端から後方への距離）を変更することができる。したがって、周辺画像ＳＰ中におけるガイド線Ｌ１の位置は、指定距離に応じて変動する。以下、このガイド線Ｌ１を「変動ガイド線」という。
【００６８】
変動ガイド線Ｌ１は、車線変更を行う場合における安全な自車両９と他車両８との位置関係の目安となる。すなわち、ドライバは、車線変更を行うか否かを判断する際に変動ガイド線Ｌ１を利用することができる。具体的には、ドライバは、周辺画像ＳＰにおいて、自車両９の後方の隣接車線を走行する他車両８の像が、変動ガイド線Ｌ１よりも後方にある場合は、比較的安全に車線変更を行うことができると判断する。すなわち、ガイド線Ｌ１が示す指定距離は、車線変更を比較的安全に行うことができる自車両９と他車両８との車間距離（以下、「安全車間距離」という。）に相当する。
【００６９】
安全車間距離は、自車両９の走行速度、及び、自車両９に対する他車両８の相対速度に応じて変動する。例えば、自車両９が比較的高速に走行している場合は、比較的低速に走行している場合よりも、安全車間距離として大きな距離が必要となる。また、他車両８が自車両９に急接近している場合に車線変更を行った場合、車線変更後に自車両９と他車両８との車間距離が非常に小さくなる可能性がある。このため、他車両８が接近する場合には、自車両９に対する他車両８の相対速度の絶対値が大きいほど、安全車間距離を大きくする必要がある。
【００７０】
このため、ガイド線設定部２０ｃは、自車両９の走行速度、及び、自車両９に対する他車両８の相対速度に基づいて、指定距離を決定する。指定距離をＤ（ｍ）、自車両９の走行速度をＶ１（ｋｍ／ｈ）、自車両９に対する他車両８の相対速度をＶ２（ｋｍ／ｈ）とすると、指定距離Ｄは例えば次の式（１）で決定される。
【００７１】
Ｄ  ＝  Ｖ１／２  ＋  Ｖ２×０．７５    …（１）
なお、本実施の形態において相対速度Ｖ２は、自車両９に対して他車両８が接近する場合（自車両９よりも他車両８が早い場合）は正（＋）の値、他車両８が離間する場合（自車両９よりも他車両８が遅い場合）は負（−）の値であるとする。
【００７２】
図９は、式（１）に基づく指定距離Ｄの変化を示す図である。図中の縦軸は指定距離Ｄを示し、図中の横軸は相対速度Ｖ２を示している。また、グラフ線ＦＬ１は走行速度Ｖ１が４０（ｋｍ／ｈ）の場合の指定距離Ｄを示し、グラフ線ＦＬ２は走行速度Ｖ１が６０（ｋｍ／ｈ）の場合の指定距離Ｄを示している。
【００７３】
図に示すように、指定距離Ｄは、走行速度Ｖ１及び相対速度Ｖ２に応じて変化する。グラフ線ＦＬ１，Ｌ２に示すように、走行速度Ｖ１が一定の場合には、指定距離Ｄは相対速度Ｖ２が大きいほど大きくなる。また、相対速度Ｖ２が一定の場合を想定すると、指定距離Ｄは走行速度Ｖ１が大きいほど大きくなる。なお、相対速度Ｖ２が負（−）の場合（他車両８が離間する場合）、または、他車両８が検出できない場合は、相対速度Ｖ２を０として指定距離Ｄが決定される。
【００７４】
ガイド線設定部２０ｃは、このようにして走行速度Ｖ１及び相対速度Ｖ２に基づいて指定距離Ｄを決定する。そして、ガイド線設定部２０ｃは、情報重畳部２３を制御して、指定距離に対応する周辺画像ＳＰ中の座標位置に変動ガイド線Ｌ１を重畳させる。指定距離Ｄと周辺画像ＳＰ中の座標位置との対応関係はテーブルによって定められている。この対応関係を示すテーブルは記憶部２５などに予め記憶されている。
【００７５】
前述した図８は、走行速度Ｖ１が４０（ｋｍ／ｈ）、相対速度Ｖ２が０（ｋｍ／ｈ）の場合における周辺画像ＳＰを示している。この場合は、指定距離Ｄは２０（ｍ）となる。このため、周辺画像ＳＰには、自車両９の後端から後方に２０（ｍ）の位置を示す変動ガイド線Ｌ１が含まれている。
【００７６】
また、図１０は、走行速度Ｖ１が４０（ｋｍ／ｈ）、相対速度Ｖ２が２０（ｋｍ／ｈ）の場合における周辺画像ＳＰを示す図である。この場合は、指定距離Ｄは３５（ｍ）となる。このため、周辺画像ＳＰには、自車両９の後端から後方に３５（ｍ）の位置を示す変動ガイド線Ｌ１が含まれている。図８の場合と図１０の場合とでは、走行速度Ｖ１は同一であるが、相対速度Ｖ２が図１０の場合の方が大きい。このため、図１０の場合の方が指定距離Ｄが大きくなっている。
【００７７】
また、図１１は、走行速度Ｖ１が６０（ｋｍ／ｈ）、相対速度Ｖ２が２０（ｋｍ／ｈ）の場合における周辺画像ＳＰを示す図である。この場合は、指定距離Ｄは４５（ｍ）となる。このため、周辺画像ＳＰには、自車両９の後端から後方に４５（ｍ）の位置を示す変動ガイド線Ｌ１が含まれている。図１０の場合と図１１の場合とでは、相対速度Ｖ２は同一であるが、走行速度Ｖ１が図１１の場合の方が大きい。このため、図１１の場合の方が指定距離Ｄが大きくなっている。
【００７８】
このように周辺画像ＳＰには、走行速度Ｖ１と相対速度Ｖ２とに応じた指定距離Ｄの位置を示す変動ガイド線Ｌ１が重畳される。このため、ドライバは、この周辺画像ＳＰを視認することにより、走行速度Ｖ１及び相対速度Ｖ２に応じて安全な自車両９と他車両８との位置関係を把握できるため、車線変更の判断を適切に行うことができる。
【００７９】
また、図８、図１０及び図１１に示すように、周辺画像ＳＰには、２つのガイド線Ｌ０，Ｌ１とともに、それら２つのガイド線Ｌ０，Ｌ１が示す距離の文字情報も重畳される。固定ガイド線Ｌ０の端部近傍には「０ｍ」という文字情報が重畳されている。また、変動ガイド線Ｌ１の端部近傍には、その変動ガイド線Ｌ１が示す指定距離Ｄの文字情報が重畳されている。例えば、図１０の場合は指定距離Ｄは３５（ｍ）であるため「３５ｍ」という文字情報が重畳され、図１１の場合は指定距離Ｄは４５（ｍ）であるため「４５ｍ」という文字情報が重畳されている。ガイド線設定部２０ｃは、情報重畳部２３を制御して、これらの文字情報を周辺画像ＳＰに重畳させる。自車両９のドライバは、これらの文字情報を視認することで、ガイド線Ｌ０，Ｌ１が示す距離を明確に把握することができる。
【００８０】
また、図８、図１０及び図１１を比較して分かるように、周辺画像ＳＰにおける変動ガイド線Ｌ１の水平方向の長さは、変動ガイド線Ｌ１が示す指定距離Ｄに応じて変更されている。具体的には、変動ガイド線Ｌ１が示す指定距離Ｄが小さいほど、変動ガイド線Ｌ１の長さが大きくなっている。また、自車両９の後端を示す固定ガイド線Ｌ０の長さは、変動ガイド線Ｌ１よりも大きくなっている。このようにガイド線設定部２０ｃは、ガイド線Ｌ１，Ｌ０が示す距離が小さいほど、ガイド線Ｌ１，Ｌ０の長さを大きく設定する。このようにガイド線Ｌ１，Ｌ０の長さを調整することで、周辺画像ＳＰ中においてガイド線Ｌ１，Ｌ０が遠近法と同様の表現で示されることとなる。これにより、周辺画像ＳＰを視認するドライバに、ガイド線Ｌ１，Ｌ０に関して被写体の像と同様の遠近感を与えることができる。その結果、ドライバは、変動ガイド線Ｌ１が示す指定距離Ｄを直感的に把握することができる。
【００８１】
また、ガイド線設定部２０ｃは、相対速度Ｖ２に応じて、変動ガイド線Ｌ１の態様を変更するようになっている。ガイド線設定部２０ｃは、車線変更を行った場合の危険度を相対速度Ｖ２に基づいて判定し、危険度が高いほど注意喚起効果を高めるよう変動ガイド線Ｌ１の態様を変更する。
【００８２】
具体的には、ガイド線設定部２０ｃは、相対速度Ｖ２が所定の閾値（本実施の形態では、例えば２０ｋｍ／ｈ）以下の場合は変動ガイド線Ｌ１の色を「黄色」とし、相対速度Ｖ２が閾値を超える場合は変動ガイド線Ｌ１の色を「赤色」とする。また、相対速度Ｖ２が０以下の場合（他車両８が離間、または、他車両８が自車両９と同一の速度で走行する場合）、または、他車両８が検出できない場合は、車線変更しても他車両８に接触する危険度が低い。このためこの場合は、ガイド線設定部２０ｃは、変動ガイド線Ｌ１の色を安全を示す「青色」とする。また、ガイド線設定部２０ｃは、相対速度Ｖ２が閾値を超える場合は、相対速度Ｖ２が閾値以下の場合と比較して、変動ガイド線Ｌ１の太さを太くする。
【００８３】
図１２は、走行速度Ｖ１が４０（ｋｍ／ｈ）、相対速度Ｖ２が４０（ｋｍ／ｈ）の場合における周辺画像ＳＰを示す図である。この場合は、指定距離Ｄは５０（ｍ）となる。このため、周辺画像ＳＰには、自車両９の後端から後方に５０（ｍ）の位置を示す変動ガイド線Ｌ１が含まれている。この図１２の場合は、相対速度Ｖ２が閾値である２０（ｋｍ／ｈ）を超えている。このため、変動ガイド線Ｌ１の色は、図８、図１０及び図１１の場合は「黄色」であるのに対して、図１２の場合は「赤色」となっている。また、図１２の場合は、変動ガイド線Ｌ１の太さは、図８、図１０及び図１１の場合と比較して太くなっている。
【００８４】
このように、ガイド線設定部２０ｃは、相対速度Ｖ２に応じて車線変更を行った場合の危険度を判定し、危険度に応じて注意喚起効果を高めるように変動ガイド線Ｌ１の態様を変更する。これにより、ドライバは、相対速度Ｖ２が比較的大きく、車線変更したときの危険度が高いことを直感的に把握できる。その結果、運転における安全性を向上できる。
【００８５】
＜１−４．画像処理装置の処理＞
次に、このような周辺画像を生成する画像処理装置２の処理の流れについて説明する。。図１３は、画像処理装置２の処理の流れを示す図である。この図１３に示す処理は、所定の周期（例えば、１／３０秒周期）で繰り返される。
【００８６】
まず、４つのカメラ５でそれぞれ撮影がなされ、画像取得部２１が、これら４つのカメラ５から４つの撮影画像を取得する。画像取得部２１は、取得した４つの撮影画像を画像生成部２２、及び、制御部２０に入力する（ステップＳ１１）。
【００８７】
次に、画像生成部２２が、４つの撮影画像を用いて、前述した手法により、右サイドミラー９３Ｒに映る領域を示す周辺画像（以下、「右周辺画像」という。）ＳＰと、左サイドミラー９３Ｌに映る領域を示す周辺画像（以下、「左周辺画像」という。）ＳＰとをそれぞれ生成する（ステップＳ１２）。
【００８８】
次に、信号受信部２６が、車速センサ９１からの信号を受信して、自車両９の走行速度Ｖ１を取得する。信号受信部２６は、取得した走行速度Ｖ１を制御部２０に入力する（ステップＳ１３）。
【００８９】
次に、車両検出部２０ａは、画像取得部２１が取得した撮影画像のうちのリアカメラ５Ｂの撮影画像に基づいて、自車両９の後方を走行する他車両８を検出する（ステップＳ１４）。なお、車両検出部２０ａは、サイドカメラ５Ｌ、５Ｒの撮影画像に基づいて他車両８を検出してもよい。ただし、リアカメラ５Ｂの方が他車両８の像の歪が少なく、また、像のサイズも大きくなるため、検出精度の点でリアカメラ５Ｂの撮影画像を用いることが望ましい。
【００９０】
車両検出部２０ａは、例えば、オプティカルフロー方式などの周知の手法を用いて他車両８を検出することができる。オプティカルフロー方式は、時間的に連続する複数の撮影画像（フレーム）のそれぞれから特徴点を抽出し、それら複数の撮影画像間での特徴点の動きを示すオプティカルフローに基づいて物体を検出する手法である。本実施の形態の場合は、背景の像のオプティカルフローは消失点の方向へ一定の長さで延びるため、このようなオプティカルフロー以外のオプティカルフローを、他車両８の像のオプティカルフローと判断することができる。
【００９１】
また、車両検出部２０ａは、検出した他車両８の像の撮影画像中における水平方向の座標位置から、検出された他車両８が、自車両９の右側後方、左側後方、及び、同一車線の後方のいずれに存在しているかを判断する。
【００９２】
次に、相対速度導出部２０ｂは、検出された他車両８の自車両９に対する相対速度Ｖ２を導出する（ステップＳ１５）。相対速度導出部２０ｂは、まず、他車両８の像の撮影画像中における垂直方向の座標位置から、自車両９に対する他車両８の相対距離を導出する。撮影画像中の座標位置と相対距離との対応関係はテーブルによって定められている。この対応関係を示すテーブルは記憶部２５などに予め記憶されている。
【００９３】
そして、相対速度導出部２０ｂは、過去の処理において導出した他車両８の相対距離と、今回の処理において導出した他車両８の相対距離と、処理の周期とに基づいて、他車両８の自車両９に対する相対速度Ｖ２を導出する。前述のように、相対速度導出部２０ｂは、自車両９に対して他車両８が接近している場合は正（＋）の値の相対速度Ｖ２を導出し、自車両９に対して他車両８が離間している場合は負（−）の値の相対速度Ｖ２を導出する。
【００９４】
次に、ガイド線設定部２０ｃが、前述の式（１）を用いて、自車両９の走行速度Ｖ１、及び、自車両９に対する他車両８の相対速度Ｖ２に基づいて指定距離Ｄを決定する（ステップＳ１６）。さらに、ガイド線設定部２０ｃは、決定した指定距離Ｄに基づいて変動ガイド線Ｌ１の位置を決定するとともに、相対速度Ｖ２に基づいて変動ガイド線Ｌ１の態様（色、太さ等）を設定する（ステップＳ１７）。
【００９５】
自車両９の右側後方、及び、左側後方のそれぞれに他車両８が存在する場合は、ガイド線設定部２０ｃは、右側の他車両８及び左側の他車両８のそれぞれに関して指定距離Ｄを決定する。そして、ガイド線設定部２０ｃは、自車両９の右側及び左側のそれぞれに関して変動ガイド線Ｌ１の位置及び態様を設定する。
【００９６】
次に、情報重畳部２３が、２つのガイド線Ｌ０，Ｌ１及び距離の文字情報などの情報を周辺画像ＳＰに重畳する（ステップＳ１８）。情報重畳部２３は、自車両９の右側に関する変動ガイド線Ｌ１を右周辺画像ＳＰに重畳し、自車両９の左側に関する変動ガイド線Ｌ１を左周辺画像ＳＰに重畳する。
【００９７】
次に、表示制御部２０ｄが、上記のように生成された周辺画像ＳＰを表示するための３つの表示条件のいずれかを満足するか否かを判定する（ステップＳ１９，Ｓ２０，Ｓ２１）。いずれの表示条件も満足しない場合は（ステップＳ１９，Ｓ２０，Ｓ２１の全てにおいてＮｏ）、処理はそのまま終了する。
【００９８】
表示制御部２０ｄは、まず、方向指示器９２がオンである（ドライバが進路変更の意思を示している）という表示条件を満足するか否かを判定する（ステップＳ１９）。表示制御部２０ｄは、信号受信部２６が取得した方向指示器９２からの信号に基づいて、この表示条件を判定する。
【００９９】
方向指示器９２がオンの場合は（ステップＳ１９にてＹｅｓ）、表示制御部２０ｄは、生成された左右２つの周辺画像ＳＰのうち、方向指示器９２が示す方向のサイドミラーに映る領域を示す周辺画像ＳＰを選択する（ステップＳ２２）。さらに、表示制御部２０ｄは、左右２つのサブディスプレイ３２，３３のうち、方向指示器９２が示す方向のサブディスプレイを選択する。そして、表示制御部２０ｄは、画像出力部２４を制御して、選択した周辺画像ＳＰを、選択したサブディスプレイに出力させる（ステップＳ２３）。これにより、方向指示器９２が示す方向の周辺画像ＳＰが、方向指示器９２が示す方向のサブディスプレイに表示されることになる。
【０１００】
例えば、方向指示器９２が示す方向が「左」の場合は、左周辺画像ＳＰが左サブディスプレイ３２に表示される。また、方向指示器９２が示す方向が「右」の場合は、右周辺画像ＳＰが右サブディスプレイ３３に表示される。
【０１０１】
このように方向指示器９２がオンである場合に、方向指示器９２が示す方向のサイドミラーに映る領域を示す周辺画像ＳＰが表示される。このため、ドライバは、自車両９の車線変更を行う場合に、安全な自車両９と他車両８との位置関係を把握することができる。その結果、ドライバは、車線変更を行なって良いか否かの判断を適切に行うことができる。
【０１０２】
また、表示制御部２０ｄは、他車両８が自車両９に対して接近しているという表示条件を満足するか否かを判定する（ステップＳ２０）。表示制御部２０ｄは、自車両９に対する他車両８の相対速度Ｖ２の正負に基づいて、この表示条件を判定する。
【０１０３】
他車両８が自車両９に対して接近している場合は（ステップＳ２０にてＹｅｓ）、表示制御部２０ｄは、生成された左右２つの周辺画像ＳＰのうち、接近する他車両８が存在する方向のサイドミラーに映る領域を示す周辺画像ＳＰを選択する（ステップＳ２２）。さらに、表示制御部２０ｄは、左右２つのサブディスプレイ３２，３３のうち、接近する他車両８が存在する方向のサブディスプレイを選択する。そして、表示制御部２０ｄは、画像出力部２４を制御して、選択した周辺画像ＳＰを、選択したサブディスプレイに出力させる（ステップＳ２３）。これにより、接近する他車両８が存在する方向の周辺画像ＳＰが、接近する他車両８が存在する方向のサブディスプレイに表示されることになる。
【０１０４】
例えば、接近する他車両８が存在する方向が「左側」の場合は、左周辺画像ＳＰが左サブディスプレイ３２に表示される。また、接近する他車両８が存在する方向が「右側」の場合は、右周辺画像ＳＰが右サブディスプレイ３３に表示される。
【０１０５】
このように他車両８が自車両９に接近している場合に、他車両８が存在する方向のサイドミラーに映る領域を示す周辺画像ＳＰが表示される。このため、ドライバは、自車両９に接近する他車両８が存在する場合において、接近する他車両８の存在を把握できるとともに、安全な自車両９と他車両８との位置関係を把握することができる。
【０１０６】
また、表示制御部２０ｄは、操作ボタン４がドライバに操作されたという表示条件を満足するか否かを判定する（ステップＳ２１）。表示制御部２０ｄは、操作ボタン４からの信号に基づいて、この表示条件を判定する。
【０１０７】
操作ボタン４がドライバに操作された場合は（ステップＳ２１にてＹｅｓ）、表示制御部２０ｄは、生成された左右２つの周辺画像ＳＰのうち、操作された操作ボタン４が配置された方向のサイドミラーに映る領域を示す周辺画像ＳＰを選択する（ステップＳ２２）。さらに、表示制御部２０ｄは、左右２つのサブディスプレイ３２，３３のうち、操作された操作ボタン４が配置された方向のサブディスプレイを選択する。そして、表示制御部２０ｄは、画像出力部２４を制御して、選択した周辺画像ＳＰを、選択したサブディスプレイに出力させる（ステップＳ２３）。これにより、操作された操作ボタン４が配置された方向の周辺画像ＳＰが、操作された操作ボタン４が配置された方向のサブディスプレイに表示されることになる。
【０１０８】
例えば、「左側」の操作ボタン４が操作された場合は、左周辺画像ＳＰが左サブディスプレイ３２に表示される。また、「右側」の操作ボタン４が操作された場合は、右周辺画像ＳＰが右サブディスプレイ３３に表示される。
【０１０９】
このように操作ボタン４がドライバに操作された場合に、他車両８が存在する方向のサイドミラーに映る領域を示す周辺画像ＳＰが表示される。このため、ドライバは、所望のタイミングにおいて、安全な自車両９と他車両８との位置関係を把握することができる。
【０１１０】
なお、ステップＳ１９、Ｓ２０、Ｓ２１の各表示条件については、必ずしも全て有効とする必要はなく、いずれの表示条件を有効とするかをユーザが任意に選択できるようにしてもよい。例えば、ユーザは、他車両８が接近するごとに周辺画像ＳＰが表示されるのがわずらわしいと感じる場合は、ステップＳ２０の表示条件を無効とし、ステップＳ１９及びステップＳ２１の表示条件のみを有効とすることができる。
【０１１１】
以上のように、画像処理装置２においては、画像取得部２１が自車両９に搭載されたカメラ５の撮影画像を取得し、画像生成部２２が撮影画像に基づいて自車両９のサイドミラーに映る領域を含む自車両９の周辺領域を示す周辺画像ＳＰを生成する。また、相対速度導出部２０ｂが自車両９の後方を走行する他車両８の自車両９に対する相対速度Ｖ２を導出し、ガイド線設定部２０ｃが相対速度Ｖ２に基づいて指定距離Ｄを決定し、情報重畳部２３が自車両９から後方に指定距離Ｄの位置を示す変動ガイド線Ｌ１を周辺画像ＳＰに重畳する。そして、画像出力部２４が変動ガイド線Ｌ１が重畳された周辺画像ＳＰを表示装置３に出力して表示装置３に表示させる。このため、自車両９のドライバは、表示された周辺画像ＳＰに基づいて、他車両８の相対速度Ｖ２に応じて安全な自車両９と他車両８との位置関係を把握できるため、車線変更の判断を適切に行うことができる。
【０１１２】
また、画像処理装置２においては、信号受信部２６が自車両９の走行速度Ｖ１を取得し、ガイド線設定部２０ｃが走行速度Ｖ１及び相対速度Ｖ２に基づいて指定距離Ｄを決定する。したがって、走行速度Ｖ１と相対速度Ｖ２とに応じた指定距離Ｄの位置を示す変動ガイド線Ｌ１が周辺画像ＳＰに重畳される。このため、ドライバは、走行速度Ｖ１及び相対速度Ｖ２に応じて安全な自車両と他車両との位置関係を把握できるため、車線変更の判断を適切に行うことができる。
【０１１３】
また、ガイド線設定部２０ｃは、他車両８が接近する場合には、自車両９に対する他車両８の相対速度Ｖ２が大きいほど指定距離Ｄを大きくする。このため、ドライバは相対速度Ｖ２の大きさを直感的に把握でき、運転における安全性を向上できる。
【０１１４】
また、ガイド線設定部２０ｃは、相対速度Ｖ２に応じて変動ガイド線Ｌ１の態様を変更する。このため、ドライバは、相対速度Ｖ２の大きさ、すなわち、車線変更を行った場合の危険度を直感的に把握でき、運転における安全性を向上できる。
【０１１５】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態においては、走行速度Ｖ１及び相対速度Ｖ２に基づいて位置が変動する変動ガイド線は一つだけであったが、複数であってもよい。第２の実施の形態では、図１４に示すように、２つの変動ガイド線Ｌ１，Ｌ２が周辺画像ＳＰに重畳される。
【０１１６】
第２の実施の形態のガイド線設定部２０ｃは、走行速度Ｖ１及び相対速度Ｖ２に基づいて２つの指定距離Ｄ１，Ｄ２を決定する。一方の第１指定距離Ｄ１は、例えば、上述した式（１）と同様の次の式（２）で決定される。
【０１１７】
Ｄ１  ＝  Ｖ１／２  ＋  Ｖ２×０．７５    …（２）
また、他方の第２指定距離Ｄ２は、例えば、次の式（３）で決定される。
【０１１８】
Ｄ２＝  Ｄ１  ＋  １０                    …（３）
したがって、第２指定距離Ｄ２は、第１指定距離Ｄ１よりもさらに安全度の高い距離となる。ガイド線設定部２０ｃは、このように決定した２つの指定距離Ｄ１，Ｄ２それぞれに基づいて、２つの変動ガイド線Ｌ１，Ｌ２の位置を設定する。そして、情報重畳部２３が、固定ガイド線Ｌ０とともに、これら２つの変動ガイド線Ｌ１，Ｌ２を周辺画像ＳＰに重畳する。周辺画像ＳＰにおいて、第１変動ガイド線Ｌ１は自車両９の後端から後方に第１指定距離Ｄ１の位置を示し、第２変動ガイド線Ｌ２は自車両９の後端から後方に第２指定距離Ｄ２の位置を示すことになる。
【０１１９】
図１４は、走行速度Ｖ１が４０（ｋｍ／ｈ）、相対速度Ｖ２が２０（ｋｍ／ｈ）の場合における周辺画像ＳＰを示している。この図１４の場合は、第１指定距離Ｄ１は３５（ｍ）となり、第２指定距離Ｄ２は４５（ｍ）となる。このため、周辺画像ＳＰには、自車両９の後端から後方に３５（ｍ）の位置を示す第１変動ガイド線Ｌ１と、４５（ｍ）の位置を示す第２変動ガイド線Ｌ２とが含まれている。
【０１２０】
このように、第２の実施の形態においては、ガイド線設定部２０ｃが走行速度Ｖ１及び相対速度Ｖ２に基づいて２つの指定距離Ｄ１，Ｄ２を決定し、情報重畳部２３が２つの指定距離Ｄ１，Ｄ２それぞれの位置を示す変動ガイド線Ｌ１，Ｌ２を周辺画像ＳＰに重畳する。このため、ドライバは、より安全な自車両９と他車両８との位置関係を把握できるため、運転における安全性をさらに向上できる。なお、本実施の形態では、２つの変動ガイド線Ｌ１，Ｌ２を周辺画像ＳＰに重畳するものとしたが、３本以上の変動ガイド線Ｌ１，Ｌ２を重畳してもよい。
【０１２１】
＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１２２】
上記実施の形態の周辺画像ＳＰは、サイドミラーに映る領域Ｍａの外部領域も示していたが、図１５に示すように、サイドミラーに映る領域Ｍａのみを示すようにしてもよい。このようにすれば、周辺画像ＳＰに含まれる被写体の像を大きくできるとともに、周辺画像ＳＰをサイドミラーと同一感覚で確認することができる。
【０１２３】
また、上記実施の形態においては、左サイドミラー９３Ｌに映る領域を示す左周辺画像と、右サイドミラー９３Ｒに映る領域を示す右周辺画像とを異なる表示装置３に表示していたが、例えばメインディスプレイ３１などの一つの表示装置３に表示してもよい。図１６は、メインディスプレイ３１の画面に、左右の周辺画像ＳＰＬ，ＳＰＲの双方を表示した様子を示す図である。このような場合、図に示すように、左周辺画像ＳＰＬは画面の左側、右周辺画像ＳＰＲは画面の右側に表示することが望ましい。
【０１２４】
また、上記実施の形態では、相対速度Ｖ２に基づいて変更する変動ガイド線の態様として色及び太さが変更されていたが、他の態様を変更するようにしてもよい。例えば、変動ガイド線の種類（実線、破線、及び、一点鎖線等）を変更してもよい。また、相対速度Ｖ２が比較的大きい場合は、変動ガイド線を点滅させてもよい。
【０１２５】
また、上記実施の形態においては相対速度Ｖ２と閾値との関係に応じて変動ガイド線の態様を変更していたが、相対速度Ｖ２の大きさに応じて変動ガイド線の態様を変更してもよい。例えば、相対速度Ｖ２の大きさが大きいほど、変動ガイド線の太さを太くするようにしてもよい。
【０１２６】
また、上記実施の形態では、自車両９に対して他車両８が接近している場合は正（＋）の値の相対速度Ｖ２を導出していたが、逆に、他車両８が接近している場合に負（−）の値の相対速度Ｖ２を導出してもよい。この場合は、上記における「相対速度Ｖ２の大きさ」に関する説明を、「相対速度Ｖ２の絶対値の大きさ」として読み替えればよい。
【０１２７】
また、上記実施の形態では、変動ガイド線Ｌ１が示す指定距離Ｄの文字情報をその変動ガイド線Ｌ１の端部近傍に示していたが、枠Ｍｆの外部に示すようにしてもよい。このようにすることで、サイドミラーに映る領域に存在する被写体の像に文字情報が重なることを防止できる。
【０１２８】
また、上記実施の形態では、合成画像を生成する機能によりサイドミラーに映る領域を示す周辺画像を生成していた。これに対して、サイドカメラ５Ｌ，５Ｒで得られた撮影画像のみに基づいて周辺画像を生成するようにしてもよい。この場合は、例えば、撮影画像における自車両９の後方となる領域を切り出し、被写体の像の歪みを補正することで周辺画像を生成することができる。また、光軸を自車両９の後方に向けて設置したサイドカメラの撮影画像の中央領域を切り出して、周辺画像を生成してもよい。
【０１２９】
また、上記実施の形態では、他車両８の自車両９に対する相対速度Ｖ２を撮影画像に基づいて導出していたが、他の手法によって導出してもよい。例えば、自車両９の後端に他車両８を検出するレーダを設置し、レーダが検出する信号に基づいて他車両８の相対距離を求め、この相対距離に基づいて相対速度Ｖ２を導出してもよい。また、リアカメラ５Ｂとサイドカメラ５Ｌ，５Ｒの一方とをステレオカメラとして用いて他車両８の相対距離を求め、この相対距離に基づいて相対速度Ｖ２を導出してもよい。
【０１３０】
また、上記実施の形態では、自車両９から後方に指定距離の位置を示すガイド指標はガイド線であったが、水平方向に連続して配置した記号など他の指標であってもよい。
【０１３１】
また、上記実施の形態の式（１）〜（３）の具体的数値は一例であり、自車両９の性能やドライバのスキル等に応じて他の数値を用いてよい。
【０１３２】
また、上記実施の形態においては、走行速度Ｖ１が一定の場合には、指定距離Ｄは相対速度Ｖ２に関して線形的に変化していたが、非線形に変化してもよい。
【０１３３】
また、上記実施の形態では、オプティカルフロー方式を用いて他車両８を検出すると説明したが、フレーム間差分法やテンプレートマッチングなど他の手法を用いて他車両８を検出してもよい。
【０１３４】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１３５】
１０    画像表示システム
２    画像処理装置
３    表示装置
４    操作ボタン
５    カメラ
８    他車両
９    自車両
２０ｂ    相対速度導出部
２０ｃ    ガイド線設定部
２３    情報重畳部
【図１】
2013168063.tif 000003
【図２】
2013168063.tif 000004
【図３】
2013168063.tif 000005
【図４】
2013168063.tif 000006
【図５】
2013168063.tif 000007
【図６】
2013168063.tif 000008
【図７】
2013168063.tif 000009
【図８】
2013168063.tif 000010
【図９】
2013168063.tif 000011
【図１０】
2013168063.tif 000012
【図１１】
2013168063.tif 000013
【図１２】
2013168063.tif 000014
【図１３】
2013168063.tif 000015
【図１４】
2013168063.tif 000016
【図１５】
2013168063.tif 000017
【図１６】
2013168063.tif 000018