(57)【要約】【課題】  パノラマビュー画像に車両画像を重ねて表示する車両情報表示システムに於いて、車両周辺の情報や車両状態や危険個所の情報を運転者に分かりやすく提示する。【解決手段】  車両の周辺を、撮影して取得した複数の画像データと、車両構造物を示す車両データと、を合成して合成画像を作成する。合成画像の座標系を、運転者の視点位置又は車幅に対する車両中心線上を仮想視点とするパノラマビュー座標系に変換して、パノラマビュー画像を作成する。前記合成画像を解析して車両の周辺の注意箇所を識別し、画像間の距離を計測し、表示部にパノラマビュー画像に重ねて注意箇所の画像と距離とを表示する。【選択図】  図１
2009225322.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置された複数のカメラで撮影して取得した車両周辺の複数の画像の画像データを保管する周辺画像記憶部と、前記複数の画像の画像データを処理、合成して1個の周辺画像に変換する周辺画像処理部と、車両構造物を示す車両データと車両の主制御部の車両部品データとを合成して車両画像を作成する車両画像処理部と、前記周辺画像と前記車両画像とを重ね合わせて合成画像を作成する出力画像処理部と、前記合成画像を表示する表示部と、前記表示部の画面の切り替えと画面の認証とを行う操作部と、からなる表示システムにおいて、
前記周辺画像処理部又は／及び出力画像処理部は、前記合成画像の座標系を、運転者の視点位置又は車幅に対する車両中心線上を仮想視点とするパノラマビュー座標系に変換して、パノラマビュー画像を作成し、前記周辺画像、前記合成画像又は前記パノラマビュー画像を解析して前記車両の周辺の注意箇所を認識、抽出して注意箇所画像を作成し、前記注意箇所画像を、前記パノラマビュー画像に重ねて前記表示部に表示することを特徴とする車両用情報表示システム。
【請求項２】
前記周辺画像処理部又は／及び出力画像処理部は、前記周辺画像、前記合成画像又は前記パノラマビュー画像から前記注意箇所を認識すると共に、前記注意箇所と前記車両との距離を計測して第１距離データとし、距離計測センサが計測した前記注意箇所と車両との間の距離を第２距離データとして、前記注意箇所と車両との距離を計測することを特徴とする請求項1に記載の車両用情報表示システム。
【請求項３】
前記周辺画像処理部又は／及び出力画像処理部は、前記注意箇所を表示する記号を有し、前記パノラマビュー画像の前記注意箇所の位置に重ねて、前記記号の大きさと明るさと色との内の１以上を変えるか又は／及び挿入画面を用いて前記表示部に強調表示することを特徴とする請求項1に記載の車両用情報表示システム。
【請求項４】
前記車両画像処理部は、前記運転者の視野の死角部分となる車両構造物を半透明画像又は／及び線画で作成し、前記出力画像処理部を通じて、前記パノラマビュー画像に重ねて前記表示部に表示することを特徴とする請求項1に記載の車両用情報表示システム。
【請求項５】
前記注意箇所は、進行方向前方の車線幅が狭くなっている地点であって、前記周辺画像処理部又は／及び出力画像処理部は、車両の車幅を示す２本の垂直線によって前記注意箇所を示し、前記垂直線の長さによって前記注意箇所と車両との距離を示し、前記垂直線の色によって車線幅と車幅との関係を示し、これらのデータを、前記パノラマビュー画像に重ねて前記表示部に強調表示することを特徴とする請求項1ないし４の何れか１項に記載の車両用情報表示システム。
【請求項６】
前記注意箇所は、前記運転者にとってフロントウィンドウから見えない位置にある信号機であって、前記周辺画像処理部又は／及び出力画像処理部は、前記信号機の画像を前記パノラマビュー画像に重ねて前記表示部に強調表示することを特徴とする請求項1ないし４の何れか１項に記載の車両用情報表示システム。
【請求項７】
前記注意箇所は、運転者の死角部分に存在する人又は物体であって、前記周辺画像処理部又は／及び出力画像処理部は、前記人又は物体の画像を、前記パノラマビュー画像に重ねて前記表示部に強調表示することを特徴とする請求項1ないし４の何れか１項に記載の車両用情報表示システム。
【請求項８】
前記注意箇所は、車両の異常部品であって、車両の主制御部は異常部品のデータを前記車両画像処理部に出力し、前記車両画像処理部は、前記異常部品のデータを含む車両画像を作成し、前記出力画像処理部を通じて、前記パノラマビュー画像に重ねて前記表示部に強調表示することを特徴とする請求項1ないし４の何れか１項に記載の車両用情報表示システム。
【請求項９】
前記異常部品は点灯しなくなった灯火器であることを特徴とする請求項８に記載の車両用情報表示システム。
【請求項１０】
前記異常部品は交換期限又はメンテナンス期限を過ぎた部品であることを特徴とする請求項８に記載の車両用情報表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車両用情報表示システムに係り、より詳しくは、車輌の周辺の状況を示すパノラマビュー画像に車両画像を重ねて表示する車両情報表示システムに関する。
【背景技術】
【０００２】
車両の周辺を、車両に設置された複数のカメラで撮影し、取得した複数の画像の画像データを合成して1個の周辺画像に変換し、車両の上方を仮想視点とする合成画像を作成し、前記合成画像を車両内の表示部に表示して運転者に提供する技術が提案されている。（例えば、特許文献１参照）。しかし、真上から見る画像は、近距離の情報しか表示できないので、走行中の周辺情報の提供には適さない。
【０００３】
又、車両の周辺を示す複数の画像を合成して1個のパノラマビュー画像に変換し、自車両の外観を示す画像を重ねて表示し、自車両の位置と自車両周囲に検出された物体との自車両からの距離が小さいほど前記物体が前記車両表示画像中に明瞭に表わされることを特徴とする車両周辺画像表示装置が開示されている（例えば、特許文献２参照）。しかしこの装置は、例えば自車両の前方の状況を表示する場合、仮想視点は自車両後方の仮想地点であり、表示部に表示される画像は自車両を後方から見る画像なので、視点が運転者の視点と異なり、表示される画像が運転者が見ている画像と大きく異なる。このために運転者は画像に違和感を覚え、画像に表示された情報を瞬時に判断しにくいという問題がある。
【０００４】
複数のカメラによって画像を撮影し、対象までの距離を計測する立体画像認識法と、画像のレンズによる歪みを補正する方法と、画像を認識する方法と、が開示されている（例えば、非特許文献１参照）。
【０００５】
【特許文献１】特開平１１−７８６９２号公報
【特許文献２】特開２００７−１５８４２６号公報
【非特許文献１】「立体画像認識」［ｏｎ  ｌｉｎｅ］、東京工業大学、ラジオアイソトープ研究所、実吉研究室ホームページ、平成２０年２月１４日検索、インターネット＜ＵＬＲ：ｈｈｐｔ：／／ｗｗｗ．ｒｉｃ．ｔｉｔｅｃｈ．ａｃ．ｊｐ／ｓａｎｅｋｅｎ／ｓｔｅｒｅｏｃａｍｅｒａ．ｈｔｍ＞
【発明の開示】
【発明が解決しようとする課題】
【０００６】
パノラマビュー画像に車両画像を重ねて表示する車両情報表示システムに於いて、仮想視点が運転者が見ている視点と異なり、違和感を覚え、瞬時の判断が出来ないという問題を解決し、車両周辺の情報や車両状態や危険個所の情報を運転者に分かりやすく提示することを目的とする。
【課題を解決するための手段】
【０００７】
前記の目的を達成するための本発明に係る車両用情報表示システムは、車両１に設置された複数のカメラで撮影して取得した車両周辺の複数の画像１０３の画像データを保管する周辺画像記憶部３と、複数の画像１０３の画像データを処理、合成して1個の周辺画像１０４に変換する周辺画像処理部４と、車両構造物を示す車両データと車両の主制御部１１の車両部品データとを合成して車両画像１０６を作成する車両画像処理部６と、周辺画像１０４と車両画像１０６とを重ね合わせて合成画像１０７を作成する出力画像処理部７と、合成画像１０７を表示する表示部８と、表示部８の画面の切り替えと画面の認証とを行う操作部９と、からなる表示システムにおいて、
周辺画像処理部４又は／及び出力画像処理部７は、合成画像１０７の座標系を、運転者１６の視点位置又は車幅に対する車両中心線上を仮想視点１８とするパノラマビュー座標系に変換して、パノラマビュー画像１０８を作成し、周辺画像１０４、合成画像１０７又はパノラマビュー画像１０８（以下周辺画像１０４、合成画像１０７又はパノラマビュー画像１０８を「画像１００」と記す）を解析して車両１の周辺の注意箇所１２を認識、抽出して注意箇所画像１１２を作成し、注意箇所画像１１２を、パノラマビュー画像１０８に重ねて表示部８に表示することを特徴とする。
【０００８】
また本発明の周辺画像処理部４又は／及び出力画像処理部７は、画像１００から注意箇所１２を認識すると共に、注意箇所１２と車両１との距離を計測して第１距離データとし、距離計測センサ５が計測した注意箇所１２と車両１との間の距離を第２距離データとして注意箇所１２と車両１との距離を計測する。
【０００９】
更に本発明の注意箇所画像１１２は、周辺画像処理部４又は／及び出力画像処理部７は、注意箇所１２を表示する記号２２を有し、パノラマビュー画像１０８の注意箇所１２の位置に重ねて、記号２２の大きさと明るさと色との内の１以上を変えるか又は／及び挿入画面１１５を用いて表示部８に強調表示する。
更に本発明は、車両画像処理部６は、運転者１６の視野の死角部分１７となる車両構造物を半透明画像又は／及び線画で作成し、出力画像処理部７を通じて、パノラマビュー画像１０８に重ねて表示部８に表示する。
【００１０】
更に本発明の注意箇所１２は、進行方向前方の車線幅が狭くなっている地点であって、周辺画像処理部４又は／及び出力画像処理部７は、車両の車幅を示す２本の垂直線２３によって注意箇所１２を示し、垂直線２３の長さによって注意箇所１２と車両１との距離を示し、垂直線２３の色によって車線幅と車幅との関係を示し、これらのデータを、パノラマビュー画像１０８に重ねて表示部８に強調表示する。
【００１１】
更に本発明の注意箇所１２は、運転者にとってフロントウィンドウ２０から見えない位置にある信号機１５であって、周辺画像処理部４又は／及び出力画像処理部７は、信号機の画像１１６をパノラマビュー画像１０８に重ねて表示部８に強調表示する。
【００１２】
更に本発明の注意箇所１２は、運転者１６の死角部分１７に存在する人又は物体１３であって、周辺画像処理部４又は／及び出力画像処理部７は、人又は物体の画像１１４をパノラマビュー画像１０８に重ねて表示部８に強調表示する。
【００１３】
又、本発明の注意箇所１２は、車両１の異常部品２１であって、車両１の主制御部１１は異常部品のデータを車両画像処理部６に出力し、車両画像処理部６は異常部品２１のデータを含む車両画像１０６を作成し、出力画像処理部７を通じて、パノラマビュー画像１０８に重ねて表示部８に強調表示する。
又、本発明は、異常部品２１は点灯しなくなった灯火器又は交換期限又はメンテナンス期限を過ぎた部品である。
【発明の効果】
【００１４】
パノラマビュー画像１０８の仮想視点１８を、運転者１６の視点位置又は車幅に対する車両中心線上に置くことによって、運転者１６は、現認している情景と一致若しくは近似したパノラマビュー画像１０８を見ることができる。
【００１５】
運転者にとって死角部分１７となる車両構造物を、半透明画像又は線画で作成して、パノラマビュー画像１０８に重ねて表示することによって、運転者１６は、パノラマビュー画像１０８から死角部分１７の情報を直観的に理解できる。
更に、注意箇所１２を、記号２２によってパノラマビュー画像１０８の注意箇所１２の位置に重ねて、記号２２の大きさと明るさと色との内の１以上を変えるか又は／及び挿入画面１１５を用いて表示部８に強調表示する。
【００１６】
本発明の表示システムによって、運転者１６は、パノラマビュー画像１０８に違和感を覚えることがなく、パノラマビュー画像１０８によって伝達された情報を直観的に理解できる。本発明の表示システムは、運転者１６に車両１の周辺の情報や車両状態を、運転者１６に分かりやすく伝達することができる。
【００１７】
注意箇所１２と車両1との距離を、パノラマビュー画像１０８のデータを処理して計測した第１距離データと、距離計測センサ５によって計測した第２距離データと、を用いて測定することによって、注意箇所１２と車両1との距離の信頼性を向上できる。
【００１８】
車両１の周辺のパノラマビュー画像１０８から、進行方向前方の車幅が狭くなっている場所を抽出し、その地点と距離と車線幅と車幅との関係を示す車幅注意情報を提供できる。
車両１の周辺のパノラマビュー画像１０８と、車両画像１０６から、運転者１６がフロントウインドウ２０から見えない位置にある信号機１５や、人又は物体１３を表示部８に表示できる。
これによって運転者１６の、運転の負担を軽減し、死角部分１７を減らすことができる。
【００１９】
灯火器の破損、エンジンの初期異常、タイヤの空気圧のように、運転者１６が異常に気につきにくい部品の異常を、パノラマビュー画像１０８内の車両画像１０６の部品が搭載されている位置に重ねて表示することによって、異常部品があることを運転者１６に伝達する。
【００２０】
また、交換期限のある部品やエンジンオイルの交換時期を、車両１の始動時に、パノラマビュー画像１０８内の車両画像１０６の部品が搭載されている位置に重ねて表示することによって、部品やエンジンオイルの交換時期を運転者に伝えることができる。
これらによって、車両の整備不良に起因する事故を未然に防ぎ、運転の安全性向上に貢献することができる。
【発明を実施するための最良の形態】
【００２１】
以下に、図面を参照して本発明の実施例を詳細に説明するが、本実施例の記載は本発明を詳細に説明するための例示であって、本発明は、実施例の記載に限られるものではない。本発明は、本発明の技術的範囲から逸脱しない範囲内で、多様に変更して実施することが可能である。
【００２２】
（周辺画像記憶部）
図１に本発明の１実施例による４台のカメラ２ａ〜２ｄを用いたシステム構成図を示す。周辺画像記憶部３は、車両１の前方、後方、左右両方の側方の周辺の画像を取得する周辺カメラ２ａ〜２ｄで取得した複数の画像１０３の画像データを保管する。ここで得た画像データは通常の平面座標系データである。
【００２３】
（車両画像処理部）
運転中の運転者１６にとって、運転中の視界はフロント、サイド、及びリヤの各ウインドウと、各種補助ミラーのみであり、運転者１６の視野の大部分は車体１の影となって死角となる。車両画像処理部６は、運転者１６から見た車体１の画像データを保存する。
【００２４】
車両１の主制御部１１は、車両の各部にセンサ１０を配置して部品の状態を監視し、車両の部品に異常が検出された場合に、部品の異常情報を車両画像処理部６に出力する。前記部品とは、好ましくはヘッドライト、ウインカ、ハザードライト、前方及び後方のフォッグライト等の灯火器を挙げることができる。運転者は、周囲の状況によっては、これらの灯火器が切れていることに気付かない場合がある。また、前記部品の他の例としてとして、エンジン及びその周辺機器の初期トラブルや、タイヤ圧の異常なタイヤを挙げることができる。これらの部品も運転者は異常に気付きにくく、異常のまま放置すると重大な結果をもたらすことがあるので、灯火器と同様な保守管理が必要である。
【００２５】
前記異常部品２１は定期的に交換する必要のある部品を含む。定期的に交換する必要のある部品としては、メンテナンス期限が来た部品とエンジンオイルを例示できる。
定期的に交換する必要のある部品のデータは主制御部１１に保管され、メンテナンス期限がきた場合にはその情報を車両画像処理部６に出力する。又、エンジンオイルの汚れ具合を、前回交換時期と走行距離とから判断して交換時期がきた場合に、車両画像処理部６に出力する。
【００２６】
車両画像処理部６は、運転者１６の視覚の死角部分１７を示す車両１の画像データと、車両１の主制御部１１から送られた異常部品２１のデータと、を処理して車両画像１０６を作成する。この際、死角部分１７を半透明画像又は／及び線画で示すことが好ましい。
【００２７】
（周辺画像処理部／出力画像処理部）
周辺画像処理部４に於いて、複数の画像１０３の画像データを変換して一つの画像データに合成し、カメラレンズによる画像の歪みを補正し、車両１の周辺の情報を持った周辺画像１０４を合成する。
出力画像処理部７は、周辺画像処理部４で作成した周辺画像１０４に車両画像処理部６で作成した車両画像１０６を重ねて合成画像１０７を作成する。
【００２８】
周辺画像処理部４又は／及び出力画像処理部７は、周辺画像１０４又は合成画像１０７を、運転者１６の視点位置又は車幅に対する車両中心線上を仮想視点とするパノラマビュー画像１０８に変換する。本発明に於いては、複数の画像１０３からパノラマビュー画像１０８への変換を、周辺画像処理部で行うか出力画像処理部で行うかは任意である。
【００２９】
更に、周辺画像処理部４又は／及び出力画像処理部７は、画像１００を処理して注意箇所１２を認識し、抽出し、注意箇所画像１１２を作成する。画像１００の処理を周辺画像処理部４で行うか出力画像処理部７で行うかは任意である。
【００３０】
周辺画像処理部４又は／及び出力画像処理部７は、注意箇所１２を表示する記号２２を有し、パノラマビュー画像１０８の注意箇所１２の位置に重ねて、注意箇所１２を、記号２２の大きさと明るさと色との１以上を変えて又は／及び挿入画面を用い、更に所望によっては記号２２を点滅したり、あるいは警戒音を併用して強調表示処理を行い、表示部８に表示する。
【００３１】
（パノラマビュー画像）
パノラマビュー座標系とは、仮想視点１８を中心として視線方向を水平に連続的に広角回転させて得られる画像であって、画像は、仮想視点１８を中心軸に含む円筒の内側に投影されるが、本発明に於いては、前記円筒を切開して平面図としたものをパノラマビュー画像１０８とする。
【００３２】
複数の画像１０３の画像データを変換してパノラマビュー画像１０８を合成する場合、パノラマビュー画像１０８の仮想視点を運転者１６の視点又はその近傍とすれば、パノラマビュー画像１０８の表示と運転者１６が視認している情景が一致するので、運転者はパノラマビュー画像１０８の表示を直観的に理解することができる。本発明に於いては、パノラマビュー画像１０８の仮想視点１８として運転者の視点又は車両の車幅方向の中心線のいずれかから選ぶ。
【００３３】
運転者の視点を求める方法は種々報告されている。例えば運転席のヘッドレストの位置を、位置センサー又は運転席の位置データによって検出し、ヘッドレストの位置から運転者の視点の位置を求めることができる。
【００３４】
車両の車幅方向の中心線上であり、且つ車室内の一点を仮想視点１８に選べば、運転者の視点に近い点を仮想視点１８としたパノラマビュー画像１０８が得られる。パノラマビュー画像１０８の表示と運転者１６が視認している情景がほぼ一致するので、運転者はパノラマビュー画像１０８の表示をほぼ直観的に理解することができる。車両の車幅方向の中心線上の仮想視点１８は固定点なので、運転者の視点を仮想視点１８とした場合に比べて、パノラマビュー画像１０８への画像変換に必要な変数が減って、データ変換の演算時間を短縮できるという利点がある。
【００３５】
（距離の測定）
周辺画像処理部４及び／又は出力画像処理部７では、画像１００から注意箇所１２を認識し、抽出し、画像１００のデータを立体画像認識法によって演算し、距離情報を持たせた合成画像１０７を作成すると共に、注意箇所１２と車両１との第１距離データを測定する。しかし、立体画像認識法による距離の測定は、複数の画像１０３の画像データから抽出された特徴点が、各画面夫々で対応しない場合はミスマッチとなって物体までの距離が計算できない。
【００３６】
一方、距離計測センサ５は、距離は測定できるが、注意個所１２の認識ができない。立体画像認識法による注意箇所１２の認識と距離測定と、距離計測センサ５による注意箇所１２までの第２距離データとを比較することによって、注意個所１２から対象物までの距離を確実に測定する。
【００３７】
立体画像認識法によって第１距離データが測定できなかった場合、又は第１距離データと距離計測センサ５による第２距離データとの差が所定の誤差範囲を超える場合には、再測定を行って信頼性のある測定値を表示することが好ましい。
【００３８】
（表示部）
パノラマビュー画像１０８の表示を行う。図２に、本発明の１実施例による前方と左右両側方の車両１の周辺のパノラマビュー画像１０８に運転者１６の死角部分１７となる車両画像１０６を半透明画像で重ね、車体のボンネット２７を線画で重ねた表示を示す。
【００３９】
〈操作部〉
運転者１６の指示によって、操作部９からの入力により、表示部８ビューの切り替え、拡大縮小、異常警報の認証を行う。操作部を操作することによって、車両１の後方の画像（図示しない）を表示することも可能である。
【実施例１】
【００４０】
図３に、本発明の１実施例による進行方向前方の、車線幅が狭くなっている注意箇所１２を図示した。パノラマビュー画像１０８のデータを立体画像認識法によって演算し、算出された第１距離データと、超音波センサから取得した第２距離データとから、路地幅の情報を求め、その路地が走行可能であるか否かを表示する方法を図示した。
【００４１】
路地幅が狭くなっている地点に車両の車幅を示す２本の垂直線２３を表示し、車線幅が狭くなっている地点までの距離または到達時間を垂直線２３の長さにより、３段階に分けて表示し、車線幅が多少狭くなっただけで注意すれば通過できる場合は垂直線２３を青色で示し、車線幅が車幅とほぼ同じで通行できるが減速する等の十分な注意が必要な場合は垂直線２３を黄色で示し、車線幅より車幅の方が広く走行不可能な場合は赤色で示した。注意箇所画像１１２を作成し、表示部８に、パノラマビュー画像１０８に重ねて注意箇所１２と垂直線２３とを表示した。
【実施例２】
【００４２】
図４に本発明の１実施例による、フロントウィンドウから見えない位置にある信号機１５がある場合を示した。出力画像処理部７は、合成画像１０７から信号機１５を認識し、合成画像１０７のデータを立体画像認識法によって演算して測定した信号機１５の距離と、超音波センサから取得した信号機１５の距離とから判断して信号機１５の挿入画面１１５を作成し、表示部８の、パノラマビュー画像１０８の信号機１５に重ねて信号機１５の挿入画面１１５を表示した。
【実施例３】
【００４３】
図５に本発明の１実施例による、右ウインカが切れた場合を図示した。車両１の主制御装置１は右側のウインカのセンサ１０から、右側のウインカ２４が切れたという情報を入手し、異常部品情報を車両画像処理部６に出力した。車両画像処理部６はウインカ２４が切れたという情報を含む車両画像１０６を作成し、出力画像処理部７を通じて表示部８の、パノラマビュー画像１０８のウインカ２４の位置に重ねてウインカ２４を示す黄橙の記号２２を挿入画面１１５を用いて表示した。
【図面の簡単な説明】
【００４４】
【図１】本発明の１実施例による、車両用情報表示システムの構成例である。
【図２】本発明の１実施例による、表示部に表示されたパノラマビュー画像である。
【図３】本発明の１実施例による、車両前方の車線幅が狭くなっている注意箇所である。
【図４】本発明の１実施例による、フロントウィンドウから見えない位置にある信号機である。
【図５】本発明の１実施例による、右ウインカが切れた場合の表示である。
【符号の説明】
【００４５】
１  車両
２  カメラ（２ａ〜２ｄ）
３  周辺画像記憶部
４  周辺画像処理部
５  距離計測センサ
６  車両画像処理部
７  出力画像処理部
８  表示部
９  操作部
１０  センサ
１１  主制御部
１２  注意箇所
１３  人又は物体
１５  信号機
１６  運転者
１７  死角部分
１８  仮想視点
２０  フロントウインドウ
２１  異常部品
２２  記号
２３  垂直線
２４  ウインカ
２５  天井
２６  サイドウインドウ
２７  ボンネット
１００  画像
１０３  複数の画像
１０４  周辺画像
１０６  車両画像
１０７  合成画像
１０８  パノラマビュー画像
１１２  注意箇所画像
１１４  人又は物体の画像
１１５  挿入画面
１１６  信号機の画像
１２４  ウインカの記号
【図１】
2009225322.tif 000003
【図２】
2009225322.tif 000004
【図３】
2009225322.tif 000005
【図４】
2009225322.tif 000006
【図５】
2009225322.tif 000007