(57)【特許請求の範囲】
【請求項１】
ステアリングの操舵角情報を取得する操舵角情報取得部と、
上記取得された操舵角情報に対応し、所定数の線分の組み合わせからなる走行支援補助線を生成する補助線生成部と、
上記生成された走行支援補助線を車両周辺の撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記所定数の線分の残りを構成するそれぞれの直線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点の座標データを用いた直線により生成し、
上記走行支援補助線は、所定数の水平線と、該水平線の左側および右側に位置する所定数の縦線からなり、上記所定数の水平線の左右の端点を上記所定数の縦線の端点と共通化する
走行支援画像生成装置。
【請求項２】
上記１つの中間点は、上記２つの端点に対して、水平方向または垂直方向の中心に位置する点である
請求項１に記載の走行支援画像生成装置。
【請求項３】
上記撮像画像は、車両の後方領域を撮像して得られる撮像画像である
請求項１または２に記載の走行支援画像生成装置。
【請求項４】
上記撮像画像は、車両の側方領域を撮像して得られる撮像画像である
請求項１または２に記載の走行支援画像生成装置。
【請求項５】
上記操舵角情報取得部は、
車載ネットワークから上記ステアリングの操舵角情報を取得する
請求項１から４のいずれかに記載の走行支援画像生成装置。
【請求項６】
上記座標データが格納された座標データ格納部をさらに備える
請求項１から５のいずれかに記載の走行支援画像生成装置。
【請求項７】
上記座標データ格納部には上記ステアリングの操舵角の離散的な値に対応した上記座標データが格納され、
上記補助線生成部は、上記取得された操舵角情報が示す操舵角を対象操舵角とし、上記座標データ格納部に該対象操舵角に対応した座標データが存在しないとき、上記座標データ格納部から取得される該対象操舵角の前後の操舵角に対応した座標データを取得して補間処理により該対象操舵角に対応した座標データを生成して用いる
請求項６に記載の走行支援画像生成装置。
【請求項８】
上記座標データ格納部から取得される該対象操舵角の前後の操舵角に対応した座標データから線形補間により該対象操舵角に対応した座標データを生成して用いる
請求項７に記載の走行支援画像生成装置。
【請求項９】
上記走行支援補助線は、上記所定数の縦線のうち第１の縦線の上側の端点と、上記所定数の縦線のうち前記第１の縦線と異なる第２の縦線の下側の端点と、上記所定数の水平線の左右の端点と、の３点を共通化する
請求項１から８のいずれかに記載の走行支援画像生成装置。
【請求項１０】
ステアリングの操舵角情報を取得する操舵角情報取得ステップと、
上記取得された操舵角情報に対応し、所定数の線分の組み合わせからなる走行支援補助線を生成する補助線生成ステップと、
上記生成された走行支援補助線を車両周辺の撮像画像に重畳して合成画像を得る補助線重畳ステップとを備え、
上記補助線生成ステップでは、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記所定数の線分の残りを構成するそれぞれの直線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点を用いた直線近似により生成し、
上記走行支援補助線は、所定数の水平線と、該水平線の左側および右側に位置する所定数の縦線からなり、上記所定数の水平線の左右の端点を上記所定数の縦線の端点と共通化する
走行支援画像生成方法。
【請求項１１】
車両周辺の画像を撮像する撮像部と、走行支援画像生成部とを有する車載用カメラであって、
上記走行支援画像生成部は、
ステアリングの操舵角情報を取得する操舵角情報取得部と、
上記取得された操舵角情報に対応し、所定数の線分の組み合わせからなる走行支援補助線を生成する補助線生成部と、
上記生成された走行支援補助線を上記撮像部で得られた撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記所定数の線分の残りを構成するそれぞれの直線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点を用いた直線近似により生成し、
上記走行支援補助線は、所定数の水平線と、該水平線の左側および右側に位置する所定数の縦線からなり、上記所定数の水平線の左右の端点を上記所定数の縦線の端点と共通化する
車載用カメラ。
【請求項１２】
所定数の線分の組み合わせからなる走行支援補助線を生成する補助線生成部と、
上記線分の生成に必要な座標データが格納された座標データ格納部と、
上記生成された走行支援補助線を車両周辺の撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記走行支援補助線は、所定数の水平線と、該水平線の左側および右側に位置する所定数の縦線からなり、上記所定数の水平線の左右の端点を上記所定数の縦線の端点と共通化する
走行支援画像生成装置。
【請求項１３】
運行機器に装着された撮像装置で外部周辺環境を監視し、
該装置で得られる画像に運行動作に伴う座標変化が発生した画像上の軌跡を重畳できる装置を備え、
取得された操舵角情報に対応し、所定数の線分の組み合わせからなる軌跡支援補助線を生成する補助線生成部と、
上記生成された軌跡支援補助線を背景撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記所定数の線分の残りを構成するそれぞれの直線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点の座標データを用いた直線により生成し、
上記走行支援補助線は、所定数の水平線と、該水平線の左側および右側に位置する所定数の縦線からなり、上記所定数の水平線の左右の端点を上記所定数の縦線の端点と共通化する
機器操縦支援画像生成装置。
【請求項１４】
視野域可変機能を装置した撮像部と、
所定数の線分の組み合わせからなる走行支援補助線を生成する補助線生成部と、
上記生成された走行支援補助線を車両周辺の撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記所定数の線分の残りを構成するそれぞれの直線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点の座標データを用いた直線により生成し、
上記視野域の可変状態に応じて補助線生成に必要な座標データを更新生成する手段を備え、
上記走行支援補助線は、所定数の水平線と、該水平線の左側および右側に位置する所定数の縦線からなり、上記所定数の水平線の左右の端点を上記所定数の縦線の端点と共通化する
走行支援画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置に関し、特に、撮像画像に走行支援補助線を重畳した合成画像を生成する走行支援画像生成装置等に関する。
【背景技術】
【０００２】
従来、例えば、特許文献１等に記載されるように、車両周辺の撮像画像に車両の走行推定車幅軌跡などを示す走行支援補助線を重畳した合成画像をモニタに表示して走行支援を行うことが知られている。
【０００３】
個別の車両デザインやカメラ設計固有値で決まる車両の走行推定車幅軌跡は、車両毎に異なり、また、そのときに車両のステアリング操舵角に応じて固有に決まる。そのため、従来、車両のステアリング操舵角に応じた走行支援補助線（ダイナミックガイドライン）の設定は、カメラコントローラＥＣＵ、あるいはナビーションＥＣＵなど比較的演算処理能力の豊富なマイクロプロセッサで行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３３０４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来構成のシステムでは、カメラとＬＣＤ等のモニタとの間に、高価なＥＣＵが不可欠であった。そのため、運転操舵において利便性が高いダイナミックガイドラインの表示機能を低価格車両向けに提供することが困難であった。
【０００６】
本技術の目的は、運転操舵において利便性が高いダイナミックガイドラインの表示機能を低価格車両向けに提供することを容易とすることにある。
【課題を解決するための手段】
【０００７】
本技術の概念は、
ステアリングの操舵角情報を取得する操舵角情報取得部と、
上記取得された操舵角情報に対応し、所定数の線分の組み合わせからなる走行支援補助線を生成する補助線生成部と、
上記生成された走行支援補助線を車両周辺の撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記所定数の線分の残りを構成するそれぞれの直線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点の座標データを用いた直線近似により生成する
走行支援画像生成装置にある。
【０００８】
本技術において、操舵角情報取得部により、ステアリングの操舵角情報が取得される。この場合、例えば、操舵角情報取得部は、車載ネットワークからステアリングの操舵角情報を取得する、ようにされてもよい。補助線生成部により、取得された操舵角情報に対応し、所定数の線分の組み合わせからなる走行支援補助線が生成される。そして、補助線重畳部により、生成された走行支援補助線が車両周辺の撮像画像に重畳されて合成画像が得られる。例えば、撮像画像は、車両の後方領域、あるいは、車両の側方領域を撮像して得られる撮像画像であってもよい。
【０００９】
所定数の線分の一部または全部は曲線で構成され、その残りは直線で構成される。曲線は、操舵角情報に対応し、その線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成される。また、直線は、その線分を代表する２つの端点の座標データを用いた直線近似により生成される。
【００１０】
このように本技術においては、走行支援補助線が所定数の線分の組み合わせからなるものとされ、所定数の線分の一部または全部は曲線で構成され、残りは直線で構成される。そして、曲線の線分はその線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成され、直線の線分はその線分を代表する２つの端点の座標データを用いた直線により生成される。
【００１１】
そのため、ステアリングの操舵角に応じた走行支援補助線の表示機能、つまりダイナミックガイドラインの表示機能を簡便な回路構成と少メモリで実現可能となる。つまり、高価なＥＣＵを使用することなくダイナミックガイドラインの表示機能を実現できることとなる。したがって、本技術においては、ダイナミックガイドラインの表示機能を低価格車両向けに提供することが容易となる。
【００１２】
なお、本技術において、例えば、１つの中間点は、２つの端点に対して、水平方向または垂直方向の中心に位置する点であってもよい。また、本技術において、例えば、所定数の線分の一部の端点を共通化する、ようにされてもよい。これにより、所定数の線分を生成するための座標データの個数を低減でき、更なる少メモリ化に寄与できる。
【００１３】
また、本技術において、例えば、座標データが格納された座標データ格納部をさらに備える、ようにされてもよい。その場合、例えば、座標データ格納部にはステアリングの操舵角の離散的な値に対応した座標データが格納され、補助線生成部は、取得された操舵角情報が示す操舵角を対象操舵角とし、座標データ格納部にこの対象操舵角に対応した座標データが存在しないとき、座標データ格納部から取得されるこの対象操舵角の前後の操舵角に対応した座標データを取得して補間処理によりこの対象操舵角に対応した座標データを生成して用いる、ようにされてもよい。補間処理として最も簡便な方法が前後座標の線形補間処理である。操舵角のより滑らかな変化を得るためには、２次曲線などのより高次の曲線補間がされてもよい。
【００１４】
また、本技術の他の概念は、
車両周辺の画像を撮像する撮像部と、走行支援画像生成部とを有する車載用カメラであって、
上記走行支援画像生成部は、
ステアリングの操舵角情報を取得する操舵角情報取得部と、
上記取得された操舵角情報に対応し、所定数の線分の組み合わせからなる走行支援補助線を生成する補助線生成部と、
上記生成された走行支援補助線を上記撮像部で得られた撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記所定数の線分の残りを構成するそれぞれの直線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点を用いた直線近似により生成する
車載用カメラにある。
【００１５】
本技術において、車載用カメラは、車両周辺の画像を撮像する撮像部と、走行支援画像生成部とを有するものである。走行支援画像生成部は、操舵角情報取得部と、補助線生成部と、重畳部とを備えるものとされる。操舵角情報取得部により、ステアリングの操舵角情報が取得される。補助線生成部により、取得された操舵角情報に対応し、所定数の線分の組み合わせからなる走行支援補助線が生成される。そして、補助線重畳部により、生成された走行支援補助線が撮像部で得られた撮像画像に重畳されて合成画像が得られる。
【００１６】
この場合、所定数の線分の一部または全部は曲線で構成され、その残りは直線で構成される。曲線は、操舵角情報に対応し、その線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成される。また、直線は、その線分を代表する２つの端点の座標データを用いた直線により生成される。
【００１７】
このように本技術においては、走行支援補助線が所定数の線分の組み合わせからなるものとされ、所定数の線分の一部または全部は曲線で構成され、残りは直線で構成される。そして、曲線の線分はその線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成され、直線の線分はその線分を代表する２つの端点の座標データを用いた直線近似により生成される。
【００１８】
そのため、ステアリングの操舵角に応じた走行補助線の表示機能、つまりダイナミックガイドラインの表示機能を簡便な回路構成と少メモリで実現可能となる。つまり、ダイナミックガイドラインの表示機能を持つ車載用カメラを安価に構成できる。したがって、本技術の車載用カメラを用いることで、ダイナミックガイドラインの表示機能を低価格車両向けに提供することが容易となる。
【００１９】
また、本技術の他の概念は、
所定数の線分の組み合わせからなる走行支援補助線を生成する補助線生成部と、
上記線分の生成に必要な座標データが格納された座標データ格納部と、
上記生成された走行支援補助線を車両周辺の撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成する
走行支援画像生成装置にある。
【００２０】
また、本技術の他の概念は、
運行機器に装着された撮像装置で外部周辺環境を監視し、
該装置で得られる画像に運行動作に伴う座標変化が発生した画像上の軌跡を重畳できる装置を備え、
取得された操舵角情報に対応し、所定数の線分の組み合わせからなる軌跡支援補助線を生成する補助線生成部と、
上記生成された軌跡支援補助線を背景撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記所定数の線分の残りを構成するそれぞれの直線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点の座標データを用いた直線により生成する
機器操縦支援画像生成装置にある。
【００２１】
また、本技術の他の概念は、
視野域可変機能を装置した撮像部と、
所定数の線分の組み合わせからなる走行支援補助線を生成する補助線生成部と、
上記生成された走行支援補助線を車両周辺の撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記所定数の線分の残りを構成するそれぞれの直線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点の座標データを用いた直線により生成し、
上記視野域の可変状態に応じて補助線生成に必要な座標データを更新生成する手段を備えた
走行支援画像生成装置にある。
【発明の効果】
【００２２】
本技術によれば、運転操舵において利便性が高いダイナミックガイドラインの表示機能を低価格車両向けに提供できる。
【図面の簡単な説明】
【００２３】
【図１】実施の形態としての車載用カメラの構成例を示すブロック図である。
【図２】車両を後退させる際に表示される走行支援補助線の一例を示す図である。
【図３】ルックアップテーブルに格納される１つの操舵角に対応した座標データのセットの一例を図である。
【図４】ルックアップテーブルに離散的な各操舵角に対応して格納される座標データの全体を概略的に示す図である。
【図５】車両を後退させる際に表示される走行支援補助線の他の例を示す図である。
【図６】ルックアップテーブルに格納される１つの操舵角に対応した座標データのセットの他の例を図である。
【図７】車両を後退させる際に表示される走行支援補助線の他の例を示す図である。
【図８】ルックアップテーブルに格納される１つの操舵角に対応した座標データのセットの他の例を図である。
【図９】所定の時間間隔毎の、操舵角情報抽出部、操舵角対応座標取得部および走行支援補助線生成部における処理手順の一例を示すフローチャートである。
【図１０】走行支援補助線が重畳された車両側方領域の撮像画像の一例を示す図である。
【図１１】車両側方の撮像画像に重畳される走行支援補助線の一例を示す図である。
【図１２】ルックアップテーブルに格納される１つの操舵角に対応した座標データのセットの一例を図である。
【発明を実施するための形態】
【００２４】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００２５】
＜１．実施の形態＞
［車載用カメラの構成例］
図１は、実施の形態としての車載用カメラ１００の構成例を示している。この車載用カメラ１００は、車両の後部に配設されるバックカメラ、車両の助手席側の側部に配設されるサイドカメラなどであり、この実施の形態ではバックカメラである。
【００２６】
車載用カメラ１００は、操舵角情報抽出部１０１と、操舵角対応座標取得部１０２と、ルックアップテーブル（ＬＵＴ）１０３と、走行支援補助線生成部１０４と、撮像部１０５と、補助線重畳部１０６と、出力端子１０７を有している。操舵角情報抽出部１０１は、車載ネットワークからステアリング１０の操舵角情報を抽出する。この操舵角情報抽出部１０１は、操舵角情報取得部を構成している。
【００２７】
ルックアップテーブル（ＬＵＴ）１０３には、ステアリング１０の操舵角の離散的な各値に対応した座標データが格納されている。撮像画像に重畳表示される走行支援補助線は、所定数の線分の組み合わせからなるものとされる。そして、この所定数の線分の一部または全部は曲線で構成され、その残りは直線で構成される。ルックアップテーブル１０３には、離散的な操舵角のそれぞれの値に対応して、所定数の線分のそれぞれを代表する点の座標データを直接あるいは間接的に得るための座標データが格納されている。ここで、曲線を代表する点は、２つの端点および１つの中間点とされる。また、直線を代表する点は、２つの端点とされる。
【００２８】
図２は、車両を後退させる際に表示される走行支援補助線の一例を示している。この走行支援補助線は、９つの線分からなっている。この９つの線分は、第１水平線Ｌ１、第１縦左線Ｌ２、第１縦右線Ｌ３、第２水平線Ｌ４、第２縦左線Ｌ５、第２縦右線Ｌ６、第３水平線Ｌ７、第３縦左線Ｌ８および第３縦右線Ｌ９である。この例は、９つの線分の全てが曲線で構成された例である。
【００２９】
第１水平線Ｌ１に関して、左側の端点の座標は（Ｘhc1-Ｘhw1，Ｙhl1）で示され、右側の端点の座標は（Ｘhc1+Ｘhw1，Ｙhr1）で示され、中間点の座標は（Ｘhc1，Ｙhc1）で示される。この場合、中間点が左右の２つの端点の水平方向の中心に位置する点とされることで、２つの端点および１つの中間点は、Ｘhw1，Ｘhc1，Ｙhl1，Ｙhc1，Ｙhr1の５つの座標データで表される。これにより、ルックアップテーブル（ＬＵＴ）１０３に格納される座標データを、６個から５個に低減することが行われている。このことは、他の線分に関しても同様である。
【００３０】
なお、水平成分の添字（suffix）に関し、「ｈ」は水平ライン（Horizontal Line）、「ｃ」は中間点（Center point）、「ｗ」は水平方向の幅（Width）、「ｌ」は左側の点（Left point）、「ｒ」は右側の点（right point）を、それぞれ表している。また、垂直成分の添字（suffix）に関し、「ｖ」は垂直ライン（Vertical Line）、「ｍ」は中間点（Middle point）、「ｈ」は垂直方向の高さ幅（Height）、「ｂ」は下側の点（Bottom point）、「ｔ」は上側の点（Top point）を表している。
【００３１】
第１縦左線Ｌ２に関して、下側の端点の座標は（Ｘvlb1，Ｙvlm1-Ｙvlh1）で示され、上側の端点の座標は（Ｘvlt1，Ｙvlm1+Ｙvlh1）で示され、中間点の座標は（Ｘvlm1，Ｙvlm1）で示される。第１縦右線Ｌ３に関して、下側の端点の座標は（Ｘvrb1，Ｙvrm1-Ｙvrh1）で示され、上側の端点の座標は（Ｘvrt1，Ｙvrm1+Ｙvrh1）で示され、中間点の座標は（Ｘvrm1，Ｙvrm1）で示される。詳細説明は省略するが、第２水平線Ｌ４、第２縦左線Ｌ５、第２縦右線Ｌ６、さらには、第３水平線Ｌ７、第３縦左線Ｌ８、第３縦右線Ｌ９に関しても同様である。
【００３２】
図３は、図２に示される走行支援補助線に対応して、ルックアップテーブル１０３に格納される、１つの操舵角に対応した４５個（＝３×１５個）の座標データのセットをまとめて示している。また、図４は、ルックアップテーブル１０３に離散的な各操舵角に対応して格納される座標データの全体を概略的に示している。操舵角Ｎに対応した座標データのセットは、座標(N,1)から座標(N,45)の４５個の座標データにより構成されている。
【００３３】
図５は、車両を後退させる際に表示される走行支援補助線の他の一例を示している。この走行支援補助線も、９つの線分からなっている。この９つの線分は、第１水平線Ｌ１、第１縦左線Ｌ２、第１縦右線Ｌ３、第２水平線Ｌ４、第２縦左線Ｌ５、第２縦右線Ｌ６、第３水平線Ｌ７、第３縦左線Ｌ８′および第３縦右線Ｌ９′である。この例は、７つの線分が曲線で構成され、残りの２つの線分が直線で構成された例である。第１水平線Ｌ１、第１縦左線Ｌ２、第１縦右線Ｌ３、第２水平線Ｌ４、第２縦左線Ｌ５、第２縦右線Ｌ６および第３水平線Ｌ７は、図２の例と同様であり、曲線で構成される。第３縦左線Ｌ８′および第３縦右線Ｌ９′は、直線で構成される。
【００３４】
第３縦左線Ｌ８′に関して、下側の端点の座標は（Ｘvlb3，Ｙvlb3）で示され、上側の端点の座標は（Ｘvlt3，Ｙvlt3）で示され、Ｘvlb3，Ｙvlb3，Ｘvlt3，Ｙvlt3の４つの座標データで表される。第３縦右線Ｌ９′に関して、下側の端点の座標は（Ｘvrb3，Ｙvrb3）で示され、上側の端点の座標は（Ｘvrt3，Ｙvrt3）で示され、Ｘvrb3，Ｙvrb3，Ｘvrt3，Ｙvrt3の４つの座標データで表される。
【００３５】
図６は、図５に示される走行支援補助線に対応して、ルックアップテーブル１０３に格納される、１つの操舵角に対応した４３個（＝２×１５個＋１×１３個）の座標データのセットをまとめて示している。
【００３６】
図７は、車両を後退させる際に表示される走行支援補助線のさらに他の一例を示している。この例は、各線分の片方または両方の端点を、他の線分の端点と共通化した例であり、ルックアップテーブル（ＬＵＴ）１０３に格納される座標データのさらなる低減が図られている。
【００３７】
この走行支援補助線も、９つの線分からなっている。この９つの線分は、第１水平線Ｌ1a、第１縦左線Ｌ2a、第１縦右線Ｌ3a、第２水平線Ｌ4a、第２縦左線Ｌ5a、第２縦右線Ｌ6a、第３水平線Ｌ7a、第３縦左線Ｌ8aおよび第３縦右線Ｌ9aである。この例は、図５に示す例と同様に、７つの線分が曲線で構成され、残りの２つの線分が直線で構成された例である。第１水平線Ｌ1a、第１縦左線Ｌ2a、第１縦右線Ｌ3a、第２水平線Ｌ4a、第２縦左線Ｌ5a、第２縦右線Ｌ6aおよび第３水平線Ｌ7aは曲線で構成され、第３縦左線Ｌ8aおよび第３縦右線Ｌ9aは直線で構成される。
【００３８】
第１水平線Ｌ1aに関して、左側の端点の座標は（Ｘhc1-Ｘhw1，Ｙvlm1-Ｙvlh1）で示され、右側の端点の座標は（Ｘhc1+Ｘhw1，Ｙvrm1-Ｙvrh1）で示され、中間点の座標は（Ｘhc1，Ｙhc1）で示される。第２水平線Ｌ4aに関して、左側の端点の座標は（Ｘhc2-Ｘhw2，Ｙvlm2-Ｙvlh2）で示され、右側の端点の座標は（Ｘhc2+Ｘhw2，Ｙvrm2-Ｙvrh2）で示され、中間点の座標は（Ｘhc2，Ｙhc2）で示される。また、第３水平線Ｌ7aに関して、左側の端点の座標は（Ｘhc3-Ｘhw3，Ｙvlm2+Ｙvlh2）で示され、右側の端点の座標は（Ｘhc3+Ｘhw3，Ｙvrm2+Ｙvrh2）で示され、中間点の座標は（Ｘhc3，Ｙhc3）で示される。
【００３９】
また、第１縦左線Ｌ2aに関して、下側の端点の座標は、第１水平線Ｌ1aの左側の端点と共通化されて、（Ｘhc1-Ｘhw1，Ｙvlm1-Ｙvlh1）で示され、上側の端点の座標は、第２水平線Ｌ4aの左側の端点と共通化されて、（Ｘhc2-Ｘhw2，Ｙvlm2-Ｙvlh2）で示され、中間点の座標は（Ｘvlm1，Ｙvlm1）で示される。また、第１縦右線Ｌ3aに関して、下側の端点の座標は、第１水平線Ｌ1aの右側の端点と共通化されて、（Ｘhc1+Ｘhw1，Ｙvrm1-Ｙvrh1）で示され、上側の端点の座標は、第２水平線Ｌ4aの右側の端点と共通化されて、（Ｘhc2+Ｘhw2，Ｙvrm2-Ｙvrh2）で示され、中間点の座標は（Ｘvrm1，Ｙvrm1）で示される。
【００４０】
また、第２縦左線Ｌ5aに関して、下側の端点の座標は、第２水平線Ｌ４aの左側の端点と共通化されて、（Ｘhc2-Ｘhw2，Ｙvlm2-Ｙvlh2）で示され、上側の端点の座標は、第３水平線Ｌ7aの左側の端点と共通化されて、（Ｘhc3-Ｘhw3，Ｙvlm2+Ｙvlh2）で示され、中間点の座標は（Ｘvlm2，Ｙvlm2）で示される。また、第２縦右線Ｌ6aに関して、下側の端点の座標は、第２水平線Ｌ4aの右側の端点と共通化されて、（Ｘhc2+Ｘhw2，Ｙvrm2-Ｙvrh2）で示され、上側の端点の座標は、第３水平線Ｌ7aの右側の端点と共通化されて、（Ｘhc3+Ｘhw3，Ｙvrm2+Ｙvrh2）で示され、中間点の座標は（Ｘvrm2，Ｙvrm2）で示される。
【００４１】
また、第３縦左線Ｌ8aに関して、下側の端点の座標は、第３水平線Ｌ7aの左側の端点と共通化されて、（Ｘhc3-Ｘhw3，Ｙvlm2+Ｙvlh2）で示され、上側の端点の座標は、（Ｘvlt3，Ｙvlt3）で示される。また、第３縦右線Ｌ9aに関して、下側の端点の座標は、第３水平線Ｌ7aの右側の端点と共通化されて、（Ｘhc3+Ｘhw3，Ｙvrm2+Ｙvrh2）で示され、上側の端点の座標は、（Ｘvrt3，Ｙvrt3）で示される。
【００４２】
図８は、図７に示される走行支援補助線に対応して、ルックアップテーブル１０３に格納される、１つの操舵角に対応した２５個の座標データのセットをまとめて示している。各線分の片方または両方の端点を、他の線分の端点と共通化することで、ルックアップテーブル（ＬＵＴ）１０３に格納される座標データのさらなる低減が図られている。すなわち、共通化しない図２の例では４５個の座標データが必要となるが、共通化した図７の例では２５個の座標データで済むことになる。
【００４３】
図１に戻って、操舵角対応座標取得部１０２は、操舵角情報抽出部１０１で抽出された操舵角情報が示す操舵角に対応した、上述の走行支援補助線を構成する各線分を代表する点の座標データ（座標データセット）を取得する。ここで、操舵角情報が示す操舵角を対象操舵角とし、ルックアップテーブル１０３にこの対象操舵角に対応した座標データが存在するとき、操舵角対応座標取得部１０２は、このルックアップテーブル１０３からこの対象操舵角に対応した座標データを直接取得する。
【００４４】
一方、ルックアップテーブル１０３にこの対象操舵角に対応した座標データが存在しないとき、操舵角対応座標取得部１０２は、ルックアップテーブル１０３から対象操舵角の前後の操舵角に対応した座標データを取得して線形補間処理によりこの対象操舵角に対応した座標データを生成する。車両の操舵角に対する走行支援補助線（走行予測線）は単調増減であり、隣接補間処理で連続性を保つことができる。
【００４５】
走行支援補助線生成部１０４は、操舵角対応座標取得部１０２で取得された座標データ（座標データセット）に基づいて、現在の操舵角に対応した走行支援補助線を生成する。この場合、走行支援補助線を構成する線分（曲線）は、２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成される。また、走行支援補助線を構成する線分（直線）は、２つの端点の座標データを用いた直線近似により生成される。
【００４６】
撮像部１０５は、車両周辺の画像、この実施の形態においては、車両の後方領域を撮像して撮像画像を得る。この撮像部１０５は、例えば、ＣＭＯＳイメージセンサ等で構成される。補助線重畳部１０６は、撮像部１０５で得られた撮像画像に、走行支援補助線生成部１０４で生成された走行支援補助線を重畳して合成画像を得る。具体的には、補助線重畳部１０６は、撮像部１０５から出力される撮像信号に、走行支援補助線生成部１０４で得られる走行支援補助線の表示信号を合成し、合成後の撮像信号を出力する。
【００４７】
出力端子１０７は、補助線重畳部１０６で得られる走行支援補助線の表示信号が合成された後の撮像信号を導出する。この出力端子１０７には、例えばＬＣＤ等で構成されるモニタ２０が接続される。
【００４８】
図１に示す車載用カメラ１００の動作を説明する。操舵角情報抽出部１０１では、車載ネットワークからステアリング１０の操舵角情報が抽出される。この操舵角情報は、操舵角対応情報取得部１０２に供給される。操舵角対応情報取得部１０２では、操舵角情報抽出部１０１で抽出された操舵角情報が示す操舵角に対応した、上述の走行支援補助線を構成する各線分を代表する点の座標データ（座標データセット）が取得される。この座標データは、走行支援補助線生成部１０４に供給される。
【００４９】
走行支援補助線生成部１０４では、操舵角対応座標取得部１０２で取得された座標データ（座標データセット）に基づいて、現在の操舵角に対応した走行支援補助線が生成される。この場合、走行支援補助線を構成する線分（曲線）は、２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成される。また、走行支援補助線を構成する線分（直線）は、２つの端点の座標データを用いた直線近似により生成される。この走行支援補助線は補助線重畳部１０６に供給される。
【００５０】
また、撮像部１０５で、車両の後方の画像を撮像して得られた撮像画像は、補助線重畳部１０６に供給される。この補助線重畳部１０６では、撮像部１０５で得られた撮像画像に、走行支援補助線生成部１０４で生成された走行支援補助線が重畳されて、合成画像が得られる。つまり、補助線重畳部１０６では、撮像部１０５から出力される撮像信号に、走行支援補助線生成部１０４で得られる走行支援補助線の表示信号が合成されて、合成後の撮像信号が出力される。
【００５１】
この補助線重畳部１０６で得られる合成後の撮像信号は、車載用カメラ１００の出力として出力端子１０７に供給される。この出力端子１０７にモニタ２０が接続されている場合、この合成後の撮像信号は、この出力端子１０７からモニタ２０に供給される。モニタ２０には、走行支援補助線が重畳された撮像画像が表示される。
【００５２】
なお、操舵角情報抽出部１０１でステアリング１０の操舵角情報を抽出することは、所定の時間間隔をもって繰り返し行われる。そして、この操舵角情報が示す操舵角の値が、前回と異なる場合に、操舵角対応座標取得部１０２でその変更された操舵角に対応した座標データが取得され、走行信号補助線生成部１０４では、その変更された操舵角に対応して、走行支援補助線が生成される。したがって、ステアリング１０の操舵角の変更に伴って、走行支援補助線生成部１０４から補助線重畳部１０６に供給される走行支援補助線は更新される。これにより、撮像画像に重畳される走行支援補助線は、ステアリング１０の操舵角の変更に伴ってダイナミックに更新される。
【００５３】
図９のフローチャートは、所定の時間間隔毎の、操舵角情報抽出部１０１、操舵角対応座標取得部１０２および走行支援補助線生成部１０４における処理手順の一例を示している。ステップＳＴ１において、処理が開始される。次に、ステップＳＴ２において、操舵角情報抽出部１０１で、車載ネットワークから、時間ｔの操舵角情報Ｓa(t)が抽出される。
【００５４】
次に、ステップＳＴ３において、今回抽出された操舵角情報Ｓa(t)が前回抽出された操舵角情報Ｓa(t-1)と異なっているかが判断される。すなわち、このステップＳＴ３において、｜Ｓa(t)−Ｓa(t-1)｜＞０の条件を満足するか否かが判断される。抽出された操舵角情報が前回と同じである場合には、直ちにステップＳＴ６において、処理が終了される。
【００５５】
一方、ステップＳＴ３で抽出された操舵角情報が前回と異なる場合、ステップＳＴ４において、操舵角対応座標取得部１０２で、抽出された操舵角情報に対応した、走行支援補助線を構成する各線分を生成するための座標データが取得される。そして、ステップＳＴ５において、走行支援補助線生成部１０４で、新たに取得された座標データに基づき、今回抽出された操舵角情報に対応した走行支援補助線が生成される。この後、ステップＳＴ６において、処理が終了される。
【００５６】
上述したように、図１に示す車載用カメラ１００においては、走行支援補助線が所定数の線分の組み合わせからなるものとされ、所定数の線分の一部または全部は曲線で構成され、残りは直線で構成される。そして、曲線の線分はその線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成され、直線の線分はその線分を代表する２つの端点の座標データを用いた直線近似により生成される。
【００５７】
そのため、ステアリング１０の操舵角に応じた走行補助線の表示機能、つまりダイナミックガイドラインの表示機能を簡便な回路構成と少メモリで実現可能となる。つまり、ダイナミックガイドラインの表示機能を持つ車載用カメラ１００を安価に構成できる。したがって、この車載用カメラ１００を用いることで、ダイナミックガイドラインの表示機能を低価格車両向けに提供することが容易となる。
【００５８】
＜２．変形例＞
なお、上述実施の形態においては、車両の後方に配設されるバックカメラの例を示した。しかし、本技術は、車両の例えば助手席側の側方に配設され、車両の側方領域を撮像して撮像画像を得るサイドカメラなどにも同様に適用でき、同様の効果を得ることができることは勿論である。
【００５９】
図１０は、走行支援補助線が重畳された車両側方領域の撮像画像の一例を示している。この例の走行支援補助線は、４つの線分により構成される。この場合、ルックアップテーブル（ＬＵＴ）１０３には、ステアリング１０の操舵角の離散的な各値に対応した、この４つの線分を代表する点の座標データが格納されることになる。この走行支援補助線は、図１１に示すように、第１縦左線Ｌ１、第１水平線Ｌ２、第２縦左線Ｌ３および第２水平線Ｌ４の４つの線分で構成される。この例は、４つの線分の全てが曲線で構成された例である。
【００６０】
第１縦左線Ｌ１に関して、下側の端点の座標は（Ｘvlb1，Ｙvlm1-Ｙvlh1）で示され、上側の端点の座標は（Ｘvlt1，Ｙvlm1+Ｙvlh1）で示され、中間点の座標は（Ｘvlm1，Ｙvlm1）で示される。第１水平線Ｌ２に関して、左側の端点の座標は（Ｘhc1-Ｘhw1，Ｙhl1）で示され、右側の端点の座標は（Ｘhc1+Ｘhw1，Ｙhr1）で示され、中間点の座標は（Ｘhc1，Ｙhc1）で示される。
【００６１】
また、第２縦左線Ｌ３に関して、下側の端点の座標は（Ｘvlb2，Ｙvlm2-Ｙvlh2）で示され、上側の端点の座標は（Ｘvlt2，Ｙvlm2+Ｙvlh2）で示され、中間点の座標は（Ｘvlm2，Ｙvlm2）で示される。第２水平線Ｌ４に関して、左側の端点の座標は（Ｘhc2-Ｘhw2，Ｙhl2）で示され、右側の端点の座標は（Ｘhc2+Ｘhw2，Ｙhr2）で示され、中間点の座標は（Ｘhc2，Ｙhc2）で示される。
【００６２】
図１２は、図１１に示される走行支援補助線に対応して、ルックアップテーブル１０３に格納される、１つの操舵角に対応した２０個（＝２×１０個）の座標データのセットをまとめて示している。
【００６３】
また、上述実施の形態においては、ステアリングに連動した動作に関して説明した。しかし、本技術で生成される軌跡線は、ステアリングと連動した動作に限るものではない。本技術では、定常的な表示曲線を少ない設定座標で実現できるため、固定走行線の描画にもメモリを低減するために有効である。
【００６４】
また、上述実施の形態においては、本技術を主に車両の後退や横付けなどで利用する例を示した。しかし、モーターボートなどの運行予測軌跡や、クレーン、建機などの重機の操縦における旋回範囲の予測軌跡表示などにも適用することもできる。
【００６５】
また、上述実施の形態においては、撮像部の視野の可変機能については言及していない。しかし、撮像部が視野の可変機能を装置している場合も考えられる。撮像部の視野が可変される場合には、撮像画像に重畳する走行支援補助線を、視野の可変状態に応じて変更する必要がある。この場合、視野可変状態に応じて補助線生成に必要な座標データを更新生成する手段を備えることで、解決できる。
【００６６】
また、本技術は、以下のような構成をとることもできる。
（１）ステアリングの操舵角情報を取得する操舵角情報取得部と、
上記取得された操舵角情報に対応し、所定数の線分の組み合わせからなる走行支援補助線を生成する補助線生成部と、
上記生成された走行支援補助線を車両周辺の撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記所定数の線分の残りを構成するそれぞれの直線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点の座標データを用いた直線近似により生成する
走行支援画像生成装置。
（２）上記１つの中間点は、上記２つの端点に対して、水平方向または垂直方向の中心に位置する点である
前記（１）に記載の走行支援画像生成装置。
（３）上記所定数の線分の一部の端点を共通化する
前記（１）または（２）に記載の走行支援画像生成装置。
（４）上記撮像画像は、車両の後方領域を撮像して得られる撮像画像である
前記（１）から（３）のいずれかに記載の走行支援画像生成装置。
（５）上記撮像画像は、車両の側方領域を撮像して得られる撮像画像である
前記（１）から（３）のいずれかに記載の走行支援画像生成装置。
（６）上記操舵角情報取得部は、
車載ネットワークから上記ステアリングの操舵角情報を取得する
前記（１）から（５）のいずれかに記載の走行支援画像生成装置。
（７）上記座標データが格納された座標データ格納部をさらに備える
前記（１）から（６）のいずれかに記載の走行支援画像生成装置。
（８）上記座標データ格納部には上記ステアリングの操舵角の離散的な値に対応した上記座標データが格納され、
上記補助線生成部は、上記取得された操舵角情報が示す操舵角を対象操舵角とし、上記座標データ格納部に該対象操舵角に対応した座標データが存在しないとき、上記座標データ格納部から取得される該対象操舵角の前後の操舵角に対応した座標データを取得して補間処理により該対象操舵角に対応した座標データを生成して用いる
前記（７）に記載の走行支援画像生成装置。
（９）上記座標データ格納部から取得される該対象操舵角の前後の操舵角に対応した座標データから線形補間により該対象操舵角に対応した座標データを生成して用いる
前記（８）に記載の走行支援画像生成装置。
（１０）ステアリングの操舵角情報を取得する操舵角情報取得ステップと、
上記取得された操舵角情報に対応し、所定数の線分の組み合わせからなる走行支援補助線を生成する走行支援補助線生成ステップと、
上記生成された補助線を車両周辺の撮像画像に重畳して合成画像を得る補助線重畳ステップとを備え、
上記補助線生成ステップでは、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記所定数の線分の残りを構成するそれぞれの直線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点を用いた直線近似により生成する
走行支援画像生成方法。
（１１）車両周辺の画像を撮像する撮像部と、走行支援画像生成部とを有する車載用カメラであって、
上記走行支援画像生成部は、
ステアリングの操舵角情報を取得する操舵角情報取得部と、
上記取得された操舵角情報に対応し、所定数の線分の組み合わせからなる走行支援補助線を生成する補助線生成部と、
上記生成された走行支援補助線を上記撮像部で得られた撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記所定数の線分の残りを構成するそれぞれの直線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点を用いた直線近似により生成する
車載用カメラ。
（１２）所定数の線分の組み合わせからなる走行支援補助線を生成する補助線生成部と、
上記線分の生成に必要な座標データが格納された座標データ格納部と、
上記生成された走行支援補助線を車両周辺の撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成する
走行支援画像生成装置。
（１３）運行機器に装着された撮像装置で外部周辺環境を監視し、
該装置で得られる画像に運行動作に伴う座標変化が発生した画像上の軌跡を重畳できる装置を備え、
取得された操舵角情報に対応し、所定数の線分の組み合わせからなる軌跡支援補助線を生成する補助線生成部と、
上記生成された軌跡支援補助線を背景撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記所定数の線分の残りを構成するそれぞれの直線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点の座標データを用いた直線により生成する
機器操縦支援画像生成装置。
（１４）視野域可変機能を装置した撮像部と、
所定数の線分の組み合わせからなる走行支援補助線を生成する補助線生成部と、
上記生成された走行支援補助線を車両周辺の撮像画像に重畳して合成画像を得る補助線重畳部とを備え、
上記補助線生成部は、
上記所定数の線分の一部または全部を構成するそれぞれの曲線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点および１つの中間点の座標データを用いた二次曲線近似により生成し、
上記所定数の線分の残りを構成するそれぞれの直線を、上記取得された操舵角情報に対応し、該線分を代表する２つの端点の座標データを用いた直線により生成し、
上記視野域の可変状態に応じて補助線生成に必要な座標データを更新生成する手段を備えた
走行支援画像生成装置。
【符号の説明】
【００６７】
１０・・・ステアリング
２０・・・モニタ
１００・・・車載用カメラ
１０１・・・操舵角情報抽出部
１０２・・・操舵角対応座標取得部
１０３・・・ルックアップテーブル
１０４・・・走行支援補助線生成部
１０５・・・撮像部
１０６・・・補助線重畳部
１０７・・・出力端子
【図１】
0005888087.tif 000002
【図２】
0005888087.tif 000003
【図３】
0005888087.tif 000004
【図４】
0005888087.tif 000005
【図５】
0005888087.tif 000006
【図６】
0005888087.tif 000007
【図７】
0005888087.tif 000008
【図８】
0005888087.tif 000009
【図９】
0005888087.tif 000010
【図１１】
0005888087.tif 000011
【図１２】
0005888087.tif 000012
【図１０】
0005888087.tif 000013