(57)【要約】【課題】  車両周囲の障害物までの距離に応じて画像データの垂直方向のトリミングする位置を可変する「車両用画像表示装置」を提供する。【解決手段】  車両用画像表示装置は、車両の周囲を撮像する撮像カメラと、車両周辺の障害物（Ｓ１、Ｓ２、Ｓ３）までの距離（Ｌ１、Ｌ２、Ｌ３）を算出する距離算出手段と、障害物までの距離に応じて画像データの垂直方向のトリミングする位置（俯角ｆ１、ｆ２、ｆ３）を可変するトリミング手段と、トリミングされた画像データを表示する表示手段とを有する。【選択図】  図４
2007025739.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺の少なくとも一部を撮像する撮像カメラを含み、撮像により得られた画像データを生成する撮像手段と、
車両周辺に存在する物体までの距離を算出する距離算出手段と、
物体までの距離に応じて画像データの垂直方向のトリミングする位置を可変するトリミング手段と、
トリミングされた画像データを表示する表示手段と、
を有する車両用画像表示装置。
【請求項２】
トリミング手段は、撮像カメラの取り付け位置を基準とする俯角を変更することでトリミングする位置を可変する、請求項１に記載の車両用画像表示装置。
【請求項３】
トリミング手段は、物体までの距離が近いほど俯角を大きくする、請求項２に記載の車両用画像表示装置。
【請求項４】
車両用画像表示装置はさらに、物体の方位を検出する方位検出手段を含み、前記トリミング手段は、物体の方位に基づき画像データの水平方向の範囲をトリミングする、請求項１ないし３いずれか１つに記載の車両用画像表示装置。
【請求項５】
車両用画像表示装置はさらに、予め設定された複数の方位の切り出しパターンを記憶する記憶手段と、複数の方位の切り出しパターンの中から所定の切り出しパターンを選択する選択手段とを有し、前記トリミング手段は、選択された切り出しパターンに対応する画像データについて垂直方向のトリミングを行う、請求項１ないし４いずれか１つに記載の車両用画像表示装置。
【請求項６】
車両用画像表示装置はさらに、車両の状態を判定する判定手段を含み、前記選択手段は、判定された状態に基づき複数の切り出しパターンの中から所定の切り出しパターンを選択する、請求項５に記載の車両用画像表示装置。
【請求項７】
前記選択手段は、物体の方位が選択された方位の切り出しパターンと一致するか否かを判定し、一致していない場合には、物体の方位と一致する切り出しパターンを選択する、請求項５または６に記載の車両用画像表示装置。
【請求項８】
判定手段は、車速情報、ハンドル舵角情報、ギアポジション情報の少なくとも一つに基づき状態を判定する、請求項５に記載の車両用画像表示装置。
【請求項９】
撮像手段は、複数の撮像カメラにより車両の全周囲を映し出す画像データを生成する、請求項１に記載の車両用画像表示装置。
【請求項１０】
距離算出手段および方位検出手段は、レーダーを用いて距離の算出および方位の検出を行う、請求項１または４に記載の車両用画像表示装置。
【請求項１１】
撮像カメラを用いて車両周辺の画像を表示する画像表示方法であって、
車両周辺の物体までの距離を算出するステップと、
物体までの距離に応じて撮像された画像データの垂直方向のトリミングする位置を可変するステップと、
トリミングされた画像データを表示するステップと、
を有する画像表示方法。
【請求項１２】
画像表示方法はさらに、物体の方位を検出するステップと、検出された方位に基づき撮像された画像データの水平方向のトリミングするステップとを有する、請求項９に記載の画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像カメラにより撮像された画像データを表示する画像表示装置に関し、特に撮像された画像データのトリミングに関する。
【背景技術】
【０００２】
自動車への撮像カメラの搭載率の向上に伴い、画像合成を用いたアプリケーションが急拡大している。このようなアップリケーションの多くは、運転者の運転を支援し、車両の走行時の安全性を向上させるものである。例えば、車両周辺の障害物の映像を提供する車載映像システムは、遠方の障害物を撮影するカメラシステム(コナーモニターシステム、リアビュウカメラシステムなど)と、車両近傍の死角障害物を撮影するシステム（サイドビュウカメラシステム）とをそれぞれ備えたものがある。また、画角の狭い撮像カメラを用いたシステムでは、駆動装置により撮像カメラの向きを可変できるようにし、車両の周囲の障害物を映し出すようにしている。さらに、超広角の撮像カメラを用いたシステムでは、撮像された画像データを合成し、自車周囲の３６０度を映し出すことを可能に、その中から必要とする水平方向の範囲の画像データを切り出し、またはトリミングし、その画像を表示している。
【０００３】
特許文献１は、道路上の障害物を認識し、これを運転者に知らせる障害物警報システムに関する。ここでは、画面上の物体（オブジェクト）を自動的に抽出することができるオブジェクト抽出機能カメラを用いることで、物体の認識処理時間を高速化させている。また、認識された物体までの距離をレーダーで測位するようにし、測位時間の短縮を図っている。
【０００４】
特許文献２は、車載用カメラシステムに関するものである。この技術は、自車の周囲を撮像する撮像手段により得られた画像信号から背景と障害物を分けて抽出し、画面上での位置、大きさ等の特徴量を計算して抽出物を認識し、認識した二値画像を予め記憶してあるキャラクタに置き換え、コンピュータグラフィックスによる画面上にキャラクタを合成するものである。これにより、レーダーなどの複雑な装置を用いることなく障害物を察知し、かつ自車を真上から見下ろすような構図のＣＧ化により自車の周囲の状況を直感的に理解し易くしている。
【０００５】
【特許文献１】特開平８−４８１９９号
【特許文献２】特開平８−３０５９９９号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
車両のそれぞれの方向に向けた複数の撮像カメラを有する表示システムでは、自車の周囲を効果的に映し出すことは可能であるが、その一方で、多くの撮像カメラを要するため、コストの問題や設置位置などに制約の課題を抱えている。また、自車の３６０度（全周囲）の画像を合成する表示システムでは、その中から状況に応じた必要画面を切り出す（トリミングする）仕組みが必要である。例えば、レーダーなどの検知システムを用いて水平方向の必要画面を判定し、その画面をトリミングすることは可能であるが、障害物の距離に応じて垂直方向の必要画面の切り出し領域を設定する技術がない。さらに、駆動装置を用いて撮像カメラの向きを変えるシステムでは、駆動装置のコストや駆動装置の占有スペースの問題に加えて、撮像カメラの駆動に一定の時間を要するため、ターゲットの方向に撮像カメラを高速に移動させることが難しく、タイムリーな画像を表示することができないという課題がある。
【０００７】
本発明は、上記従来の課題を解決するために成されたものであり、車両の周囲に障害物等の物体があるとき、その物体までの距離に応じて画像データの垂直方向のトリミングする位置を可変する車両用画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る車両用画像表示装置は、車両周辺の少なくとも一部を撮像する撮像カメラを含み、撮像により得られた画像データを生成する撮像手段と、車両周辺に存在する物体までの距離を算出する距離算出手段と、物体までの距離に応じて画像データの垂直方向のトリミングする位置を可変するトリミング手段と、トリミングされた画像データを表示する表示手段とを有する。
【０００９】
好ましくは、トリミング手段は、撮像カメラの取り付け位置を基準とする俯角を変更することでトリミングする位置を可変する。物体までの距離が近いほど俯角を大きくし、反対に、物体までの距離が遠いほど俯角を小さくする。
【００１０】
車両用画像表示装置はさらに、物体の方位を検出する方位検出手段を含み、前記トリミング手段は、物体の方位に基づき画像データの水平方向の範囲をトリミングするようにしてもよい。この場合、物体までの距離と方位に基づき、画像データの水平方向および垂直方向のトリミングが行われる。距離の算出や方位の検出は、例えば、ミリ波レーダーや赤外線レーダー等を用いて行われる。
【００１１】
車両用画像表示装置はさらに、予め設定された複数の方位の切り出しパターンを記憶する記憶手段と、複数の方位の切り出しパターンの中から所定の切り出しパターンを選択する選択手段とを有し、前記トリミング手段は、選択された切り出しパターンに対応する画像データについて垂直方向のトリミングを行うようにしてよい。
【００１２】
本発明に係る、撮像カメラを用いて車両周辺の画像を表示する画像表示方法は、車両周辺の物体までの距離を算出するステップと、物体までの距離に応じて撮像された画像データの垂直方向のトリミングする位置を可変するステップと、トリミングされた画像データを表示するステップとを有する。
【発明の効果】
【００１３】
本発明によれば、物体までの距離に応じて画像データの垂直方向のトリミングする位置を可変するようにしたので、運転者にとって注視したい障害物周辺の画像を適切に表示し、注意を喚起し、または警告を与えることができる。これにより、運転者は、障害物等の危険を迅速にかつ容易に察知することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。
【実施例】
【００１５】
図１は、本実施例に係る車両用画像表示装置が適用される撮像カメラの車両への取り付け例を示す平面図である。車両の前部には、車両の前方の視界を撮像する撮像カメラ１が取り付けられ、車両の左右のサイドミラーには車両の左右の側面前方を撮像する撮像カメラ２、３が取り付けられ、車両の側面後方の左右に撮像カメラ４、５が取り付けられ、車両の後部に撮像カメラ６が取り付けられる。撮像カメラ１〜６は、ＣＣＤやＣＭＯＳセンサを用いることができ、また暗視野でも撮像可能な赤外線対応のＣＣＤであってもよい。さらに、車両には、車両の周囲に存在する障害物等の物体までの距離を測位し、かつ、物体の方位を検出するためのレーダーが取り付けられている。レーダーは、例えば、ミリ波レーダーや赤外線レーダーを用いることができる。レーダーは、車両の前部、側部、および後部に取り付けることができ、水平方向に一定の角度でスキャンすることで物体の方位を検出することが可能である。
【００１６】
撮像カメラ１〜６は、好ましくは、それぞれが同じ高さに取り付けられ、車両の全周囲（３６０度）の視界を撮像することができるように、かつ、車両周囲の死角が少なくなるように、個々の撮像カメラ１〜６の水平方向の視野角θ１〜θ６が適宜選択される。図２（ａ）は、撮像カメラ１〜６により車両の全周囲を撮像したときに得られた合成画像（パノラマ）Ｇの概念を示している。視野角θ１〜θ６を重複させ、適切にトリミングすることで、合成画像Ｇを得ることができる。また、撮像カメラは、その取り付け位置を中心に水平方向および垂直方向に一定の視野を有し、図２（ｂ）に示すような２次元的な画像データＰを生成する。本実施例では、画像データＰのＨ方向を水平方向と定義し、Ｖ方向を垂直方向と定義する。
【００１７】
図３は、本実施例に係る車両用画像表示装置の構成を示すブロック図である。車両用画像表示装置１０は、撮像カメラ１〜６と、撮像カメラ１〜６により撮像された画像データを受け取り、合成画像Ｇを生成する画像合成装置１２、合成された画像データのトリミング等の加工を行う画像加工装置１４、アプリケーションソフトウエア等を記憶するメモリおよびそれを実行するＣＰＵ等を含み、画像表示の制御を行うアプリケーション実行装置１６、ディスプレイ等を含み、加工された画像データを表示する画像表示装置１８、音声出力を行うスピーカ２０、車両の前方、後方、および側方に存在する障害物等の物体を検知するレーダー２２、レーダー２２からのレーダー信号に基づき物体までの距離の算出および物体の方位の検出を行うレーダー信号処理装置２４、車速パルス等により車速情報を取得する車速情報取得部２６、ハンドルの舵角情報やギアポジションの情報を取得するハンドル舵角・ギア情報取得部２８を含んでいる。
【００１８】
アプリケーション実行装置１６は、車速情報取得部２６やハンドル舵角情報取得部２８からの情報に基づき合成画像Ｇから画像データのトリミング範囲を指定したり、あるいは、レーダー信号処理装置２４からの出力に基づき画像データの垂直方向のトリミングする位置を指示する。本発明の主たる特徴は、ドライバーの必要とする死角画像が、Ａ：車体際周辺、Ｂ：車体近傍死角領域、Ｃ：交差点・後方死角などでの遠方車両に大別できることに注目し、車両周辺の障害物までの距離に応じて、撮像カメラが設置された高さの水平面を基準とし、そこからの俯角を可変できるようにしている。例えば、図２（ｂ）に示す画像データＰにおいて、撮像カメラが設定された高さの水平面の基準Ｍは、画像データＰのほぼ頂部することができる。
【００１９】
図４に、画像データの垂直方向のトリミングの例を示す。図４（ａ）に示すように、車両の後方に障害物Ｓ１〜Ｓ３が存在するとき、障害物Ｓ１〜Ｓ３までの距離Ｌ１、Ｌ２、Ｌ３に応じて、基準Ｍからの俯角ｆ１〜ｆ３の大きさを可変する。例えば、障害物Ｓ１までの距離Ｌ１が０〜１．５ｍ程度の場合は、ドライバーの死角である車体際の画像を提供する。障害物Ｓ２までの距離Ｌ２が、１．５〜７ｍ程度の場合は、駐車場への誘導などが行われるため、車体近傍の死角領域の画像を提供する。障害物Ｓ３までの距離Ｌ３が１０ｍ以上の場合は、後方死角から接近車両まででの遠方の画像を提供する。距離Ｌ３の場合には、撮影カメラからの俯角ｆ３がより小さくなる。こうして、ドライバーにとって必要とされる画面範囲が俯角ｆ１〜ｆ３によって設定される。トリミングの切替え（俯角の切替）ポイントとなる距離の設定は、複数の任意の値に適宜変更することができる。図４（ｂ）は、車両の側方に障害物Ｓ１〜Ｓ３があるときの俯角ｆ１〜ｆ３を可変する例を示している。
【００２０】
図５は、広角カメラで捕らえた画像データを、距離に応じてトリミングしたときの画像表示例を示している。障害物までの距離Ｌ１〜Ｌ３に応じて画像データからトリミングされる位置が可変され、トリミングされた画像Ｔには障害物が映し出される。
【００２１】
次に、本実施例の画像表示装置の動作について図６のフローチャートを参照して説明する。車速情報、ギアポジション情報またはナビゲーション用の地図データ等を受け取ると、アプリケーション実行装置１６のアプリケーションが起動される(ステップＳ１０１)。アプリケーション実行装置１６は、レーダー信号処理装置２４を介してレーダー２２を起動する（ステップＳ１０２）。同時に、撮像カメラ１〜６を起動させ、車両周囲の画像データの取り込みを開始する（ステップＳ１０３）。
【００２２】
レーダー２２は、車両周辺に存在する障害物のサーチを行い、障害物が検知されると（ステップＳ１０４）、レーダー信号処理装置２４により障害物の方位と距離が測定される（ステップＳ１０５）。測定結果がアプリケーション実行装置１６へ出力されると、アプリケーション実行装置１６は、障害物の方位に基づき画像データの水平方向のトリミング範囲を算出し、障害物までの距離に基づき画像データの垂直方向のトリミング範囲を算出し、画像中心角度を設定する（ステップＳ１０６）。
【００２３】
アプリケーション実行装置１６は、画像加工装置１４に対し設定された画像中心角度を出力する。これにより画像加工装置１４は、合成画像Ｇから画像の切り出し範囲を設定し(ステップＳ１０７)、トリミング合成Ｔの加工が行われる（ステップＳ１０８）。アプリケーション実行装置１６は、提示内容およびタイミングを設定し(ステップＳ１０９)、それに基づきトリミングされた画像データを画像表示装置１８に供給する。こうして、ディスプレイにトリミングされた画像が表示される（ステップＳ１１０）。この画像は、動画または静止画のいずれであってもよい。また、必要に応じて、音声合成が行われ(ステップＳ１１１)、スピーカ２０から音声が出力される（ステップＳ１１２）。
【００２４】
さらに、ディスプレイに表示されるトリミング画像に対して、挿入すべき画像があるときは、アプリケーション実行装置１６は、挿入画像を選定し（ステップＳ２０１）、画像加工のときに挿入画像を合成させるようにしてもよい。挿入画像は、例えば、ナビゲーション地図データ（交差点など）や、測位された物体までの距離等を示す情報を合成することができる。
【００２５】
本実施例によれば、撮像カメラにより撮影された画像を、広い範囲のまま提供したのでは障害物等の認識を容易に行い得ないが、運転者が注視したい障害物周辺をトリミングし拡大提供することで、対象物の認知把握を明確に行い、運転行為の支援とすることができる。なお、撮影カメラの取り付け高さと障害物の距離の設定を適宜変更することにより、車種の違いにも対応することができる。例えば、トラックのように座席位置が高い場合には、車両際の障害物を撮像することができるように撮像カメラを広角にしたり、カメラを下方に取り付けるようにしてもよい。
【００２６】
次に、本発明の第２の実施例について説明する。第２の実施例では、アプリケーション実行装置１６は、図７に示すように、予め設定された複数の方位の切り出しパターンをメモリに記憶している。そして、車両の状態に応じて、複数の方位の切り出しパターンの中から所定の切り出しパターンを選択するものである。図８は、第２の実施例の動作フローである。
【００２７】
アプリケーション実行装置１６は、車速情報、ギアポジション、ハンドル舵角情報を受け取ると（ステップＳ３０１）、車両の状態を判定する（ステップＳ３０２）。例えば、車速情報により車両が停止中か走行中かを判定し、ギアポジションの位置により前進か後進かを判定し、ハンドル舵角情報により車両が直進か右左折かを判定する。勿論、これらの情報を組み合わせて車両の状態を判定するようにしてもよい。
【００２８】
アプリケーション実行装置１６は、車両の状態に基づき切り出しパターンを選択する（ステップＳ３０３）。例えば、車両が低速で後進していると判定された場合には、車両後方の手前の切り出しパターン１０７が選択され、車両が右折をすると判定された場合には、車両の右側前方の切り出しパターン１００が選択され、車両が高速で直進していると判定された場合には、車両の前方の切り出しパターン１０３が選択される。
【００２９】
次に、アプリケーション実行装置１４は、障害物が検出されたとき、障害物の方位が選択された切り出しパターンに一致するか否かを判定する（ステップＳ３０４）。一致していれば、選択された切り出しパターンに対応する画像データの垂直方向のトリミングを行う（ステップＳ３０５）。垂直方向のトリミングは、第１の実施例のときと同様に、障害物までの距離に応じて俯角を可変する。
【００３０】
一方、障害物の方位が選択された切り出しパターンと一致しないとき、アプリケーション実行装置１６は、複数の方位の切り出しパターンの中から一致する切り出しパターンを選択し（ステップＳ３０６）、そのパターンに対応する画像データの垂直方向のトリミングを行う。
【００３１】
第２の実施例では、予め切り出しパターンを設定し、この中から切り出しパターンを選択するようにしているため、画像データの加工処理に要する時間を短縮することができ、高速な画像表示を行うことができる。なお、第２の実施例では、車両の状態に応じて優先的に所定の切り出しパターンが選択されるようにしたが、これに限らず、例えばユーザが切り出しパターンを選択するような入力を与えるようにしてもよい。
【００３２】
以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、上記実施例では、車両の全周囲の合成画像Ｇを生成する例を示したが、これに限らず、車両の前方、後方または側部など車両の周辺の一部の画像を生成するシステムであってもよい。この場合、レーダーも撮像範囲と一致する一部の方向にのみ存在する物体を検知するものであってもよい。
【産業上の利用可能性】
【００３３】
本発明に係る車両用画像表示装置は、車両等の安全運転支援システムとして利用することができる。利用態様として、ナビゲーション装置や他のコンピュータ等の電子装置と機能的に結合することが可能である。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施例に係る画像合成装置の構成を示すブロック図である。
【図２】図２（ａ）は車両周辺の合成画像の概念を示す図、図２（ｂ）は撮像カメラにより撮像された画像データを説明する図である。
【図３】車両用画像表示装置の構成を示すブロック図である。
【図４】画像データの垂直方向のトリミングを説明する図である。
【図５】トリミング画像の表示例を示す図である。
【図６】画像表示装置の動作を説明するフローチャートである。
【図７】第２の実施例における切り出しパターンを示す図である。
【図８】第２の実施例の動作を説明するフローチャートである。
【符号の説明】
【００３５】
１、２、３、４、５、６：撮像カメラ    １０：画像表示装置
１２：画像合成装置                    １４：画像加工装置
１６：アプリケーション実行装置        １８：画像表示装置
２２：レーダー                        ２４：レーダー信号処理装置
２６：車速情報取得部
【図１】
2007025739.tif 000003
【図２】
2007025739.tif 000004
【図３】
2007025739.tif 000005
【図４】
2007025739.tif 000006
【図５】
2007025739.tif 000007
【図６】
2007025739.tif 000008
【図７】
2007025739.tif 000009
【図８】
2007025739.tif 000010