(57)【特許請求の範囲】
【請求項１】
車両から撮像された道路撮像画像から走行レーンの仮想中心ラインを検出し、
検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる、
処理をコンピュータに実行させる走行状況表示プログラム。
【請求項２】
前記シンボルは、前記車両の車幅に対応する幅を有することを特徴とする請求項１記載の走行状況表示プログラム。
【請求項３】
前記コンピュータは、
前記検出する処理及び前記移動させる処理を動画像における複数の画像フレームに対して実行し、
前記複数の画像フレームのそれぞれの前記仮想中心ラインと前記車両のシンボルの表示位置とのずれの大きさに基づいて、前記仮想中心ラインに垂直な方向の第１の座標値を特定するとともに、前記複数の画像フレームのうちの特定の画像フレームに対するフレームの順番に基づいて、前記仮想中心ラインの方向の第２の座標値を特定し、
前記特定の画像フレーム上で、前記複数の画像フレームのうちの前記特定の画像フレーム以降の画像フレームのそれぞれについて特定した前記第１の座標値と前記第２の座標値とにより特定される位置にマークをプロットすることを特徴とする請求項１又は２記載の走行状況表示プログラム。
【請求項４】
前記コンピュータは、前記道路撮像画像を変換して前記変換画像を生成する処理を、前記道路撮像画像内の路面部分についてのみ実行することを特徴とする請求項１乃至３のいずれか１項に記載の走行状況表示プログラム。
【請求項５】
前記コンピュータは、前記走行レーンの端からの距離に基づいて前記走行レーン内の領域を複数の領域に分類し、前記変換画像上に前記複数の領域を重畳表示することを特徴とする請求項１乃至４のいずれか１項に記載の走行状況表示プログラム。
【請求項６】
車両から撮像された道路撮像画像を記憶する記憶部と、
前記道路撮像画像から走行レーンの仮想中心ラインを検出し、検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる表示制御部と、
を備えることを特徴とする走行状況表示装置。
【請求項７】
コンピュータが、
車両から撮像された道路撮像画像から走行レーンの仮想中心ラインを検出し、
検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる、
ことを特徴とする走行状況表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走行状況表示プログラム、走行状況表示装置、及び走行状況表示方法に関する。
【背景技術】
【０００２】
運輸業務では安全管理者による運転者への安全運転教育が業務の一環として実施されており、実際の運転者の運転状況を効果的に可視化することで、教育効果を高めることができる。運輸業務における安全確保のためには、車線区分線により区分された車線（走行レーン）内を車両が安定して走行することが望ましい。
【０００３】
運転状況の可視化に関連して、車両から撮像した画像に基づいて運転状態又は道路形状を求める技術が知られている（例えば、特許文献１〜特許文献３を参照）。また、移動する標識を撮影した画像に基づいて標識の位置変化の軌跡を表示する技術も知られている（例えば、特許文献４を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１９９３２８号公報
【特許文献２】特開２０１３−１１７８１１号公報
【特許文献３】特開２０１４−６５７６号公報
【特許文献４】特開昭６１−２８１９１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
走行中における車両のふらつき状態を視覚的に把握しやすく表示する技術は知られていない。
【０００６】
１つの側面において、本発明は、走行中における車両のふらつき状態を見やすく表示することを目的とする。
【課題を解決するための手段】
【０００７】
１つの案では、走行状況表示プログラムは、以下の処理をコンピュータに実行させる。
（１）コンピュータは、車両から撮像された道路撮像画像から走行レーンの仮想中心ラインを検出する。
（２）コンピュータは、検出した仮想中心ラインが所定の位置となるように道路撮像画像を変換して生成した変換画像を表示するとともに、車両の走行レーンにおける走行位置の検出結果に応じて、生成した変換画像上における車両のシンボルの表示位置を移動させる。
【発明の効果】
【０００８】
１つの実施形態によれば、走行中における車両のふらつき状態を見やすく表示することができる。
【図面の簡単な説明】
【０００９】
【図１】走行状況表示装置の機能的構成図である。
【図２】走行状況表示処理のフローチャートである。
【図３】走行状況表示装置の具体例を示す機能的構成図である。
【図４】道路形状モデルを示す図である。
【図５】カメラの観測系モデルを示す図である。
【図６】道路撮像画像を示す図である。
【図７】走行状況表示処理の具体例を示すフローチャートである。
【図８】走行軌跡描画処理のフローチャートである。
【図９】走行軌跡画像を示す図である。
【図１０】車両位置描画処理のフローチャートである。
【図１１】車両形状の輪郭点を示す図である。
【図１２】車両のヨー角旋回を示す図である。
【図１３】車両位置画像を示す図である。
【図１４】車線描画処理のフローチャートである。
【図１５】危険範囲描画処理のフローチャートである。
【図１６】安全範囲、注意範囲、及び危険範囲を示す図である。
【図１７】危険範囲画像を示す図である。
【図１８】路面画像描画処理のフローチャートである。
【図１９】路面画像描画処理を示す図である。
【図２０】変換画像を示す図である。
【図２１】画像合成処理のフローチャートである。
【図２２】画像合成処理を示す図である。
【図２３】合成画像を示す図である。
【図２４】情報処理装置の構成図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、実施形態を詳細に説明する。
ドライブレコーダ等により取得された走行データを用いた安全運転教育においては、車両が走行レーン内をどのように走行したかを示すことが考えられる。この場合、走行レーンからの逸脱、又は逸脱には至らないが危険なふらつきのような、走行中における車両の実際のふらつき状態を、視覚的に把握しやすく運転者に示すことが望ましい。
【００１１】
車載カメラにより撮像された道路映像がドライブレコーダに記録されている場合、道路映像に車両を表すシンボルを重畳表示することで、車線区分線と車両との相対的な位置関係を示すことが可能である。しかし、車載カメラの映像では、車両の位置は時間的に変化せず、車両前方の大半部分を占める路面が、左右に回転を伴って移動する。このため、路面の左右搖動は視認できるが、路面の左右搖動を操舵による車両の左右搖動として認識することは困難である。
【００１２】
図１は、実施形態の走行状況表示装置の機能的構成例を示している。図１の走行状況表示装置１０１は、記憶部１１１及び表示制御部１１２を含む。記憶部１１１は、車両から撮像された道路撮像画像１２１を記憶し、表示制御部１１２は、道路撮像画像１２１を用いて車両のシンボルを含む画像を表示する処理を行う。
【００１３】
図２は、図１の走行状況表示装置１０１が行う走行状況表示処理の例を示すフローチャートである。まず、表示制御部１１２は、記憶部１１１が記憶する道路撮像画像１２１から、走行レーンの仮想中心ラインを検出する（ステップ２０１）。
【００１４】
次に、表示制御部１１２は、検出した仮想中心ラインが所定の位置となるように道路撮像画像１２１を変換して生成した変換画像を表示する（ステップ２０２）。このとき、表示制御部１１２は、車両の走行レーンにおける走行位置の検出結果に応じて、生成した変換画像上における車両のシンボルの表示位置を移動させる。
【００１５】
図１の走行状況表示装置１０１によれば、走行中における車両のふらつき状態を見やすく表示することができる。
【００１６】
図３は、図１の走行状況表示装置１０１の具体例を示している。図３の走行状況表示装置１０１において、表示制御部１１２は、推定部３０１、合成部３０２、走行軌跡描画部３０３、車両位置描画部３０４、車線描画部３０５、危険範囲描画部３０６、及び路面画像描画部３０７を含む。記憶部１１１は、前方撮影映像３１１及び既知パラメータ３１２を記憶する。
【００１７】
前方撮影映像３１１は、車両に搭載されたカメラから進行方向前方を撮影した動画像であり、複数の時刻それぞれにおける道路撮像画像（画像フレーム）を含む。前方撮影映像３１１は、あらかじめ撮影されて記憶部１１１に格納されている。前方撮影映像３１１がドライブレコーダの映像である場合、その映像は広角レンズで撮影される。既知パラメータ３１２は、複数時刻の道路撮像画像に共通する既知のパラメータである。
【００１８】
推定部３０１は、前方撮影映像３１１及び既知パラメータ３１２を用いて、各時刻における画像フレームの道路形状パラメータを推定する。表示制御部１１２は、走行レーンの仮想中心ライン上に仮想視点を固定するとともに道路曲率を補正して道路を直線化することで、各画像フレームを仮想的な変換画像に変換する。
【００１９】
走行軌跡描画部３０３は、車両の走行軌跡の表示範囲を進行方向（画像フレームの奥行き方向）に圧縮して、特定の画像フレーム以降の車両の位置を表す走行軌跡画像を生成する。車両位置描画部３０４は、仮想視点から見た車両の外形を表す車両位置画像を生成する。
【００２０】
車線描画部３０５は、走行レーンの境界（端）を示す白線等の車線区分線を表す車線画像を生成する。危険範囲描画部３０６は、走行レーンの端からの距離に基づいて、走行レーン内の領域を危険度の異なる複数の領域に分類し、それらの領域を表す危険範囲画像を生成する。路面画像描画部３０７は、各画像フレームを変換画像に変換する。
【００２１】
合成部３０２は、走行軌跡画像、車両位置画像、車線画像、危険範囲画像、及び変換画像を合成して合成画像を生成し、生成した合成画像を画面上に表示する。
【００２２】
走行レーンの仮想中心ライン上に仮想視点を固定して道路を直線化することで、前方撮影映像中の大部分を占める路面の動きを止めることができる。そして、車両位置画像と変換画像とを合成して表示することで、路面上で走行中の車両だけが左右に搖動する画像を表示することができ、操舵による車両の左右搖動を直接的に視認することが可能になる。さらに、走行軌跡画像を合成して表示することで、路面上で車両の移動軌跡を長距離範囲に渡って表示することができ、車両の左右搖動が強調される。
【００２３】
図４は、道路形状モデルの例を示している。ここでは、走行レーンの仮想中心ラインＬｃにおける曲率をｃとし、走行レーンの各位置で水平方向（Ｘ軸方向）に測って道路幅（車線幅）がＷとなる道路形状モデルを考える。
【００２４】
図５に示すように、カメラの中心を原点Ｏとして、原点Ｏから横方向に路面座標系のＸ軸をとり、縦方向に路面座標系のＺ軸をとる。この場合、Ｚ軸は道路の奥行き方向を表し、ＸＺ平面に垂直な方向が路面座標系のＹ軸となる。図４の道路形状モデルにおける各記号の意味は以下の通りである。
【００２５】
Ｌｃ：走行レーンの仮想中心ライン
Ｌｒ：走行レーンの右側の車線区分線
Ｌｌ：走行レーンの左側の車線区分線
Ｗ：道路幅
ｃ：道路曲率
Ｅ：原点Ｏから仮想中心ラインＬｃまでの距離（カメラの横方向オフセット）
【００２６】
図５は、カメラの観測系モデルの例を示している。カメラの中心は路面から高さＨの位置にあり、カメラ座標系Ｏ−ＸｃＹｃＺｃは、路面座標系Ｏ−ＸＹＺに対して、ヨー角θ、ピッチ角φ、及びロール角０の傾きを持つ。カメラの水平方向の焦点距離はｆｘとし、垂直方向の焦点距離はｆｙとする。カメラの撮像面５０１は、画像座標系Ｏ−ｘｃｙｃで記述される。
【００２７】
図６は、カメラにより撮像される道路撮像画像（画像フレーム）の例を示している。画像フレームの中央を原点Ｏとして、原点Ｏからｘｃ軸を右向きに、ｙｃ軸を下向きに取り、画像座標を（ｘｃ，ｙｃ）とする。このとき、特許文献２に記載された近似を適用することで、所定のｙｃ座標に対する車線区分線Ｌｒ及び車線区分線Ｌｌのｘｃ座標を、次式により表すことができる。
【００２８】
【数１】
0006540335.tif 000002
【００２９】
式（１）のｋは、車線区分線Ｌｒと車線区分線Ｌｌとを区別するための定数である。右側の車線区分線Ｌｒ上の点６０１に対してはｋ＝１となり、左側の車線区分線Ｌｌ上の点６０２に対してはｋ＝−１となる。
【００３０】
各時刻における画像フレームから車線区分線の座標（ｘｃ，ｙｃ）が検出できれば、式（１）を用いて道路形状パラメータ（Ｗ，Ｅ，ｃ，φ，θ）を推定することができる。この場合、既知パラメータ３１２は、例えば、以下のようなパラメータを含む。
【００３１】
Ｈ：カメラ設置高さ
Ｐｘ：カメラ原点から車両中央までの距離
ｆｘ：カメラの水平方向の焦点距離
ｆｙ：カメラの垂直方向の焦点距離
ｐｗ：画像フレームの水平方向の画素数
ｐｈ：画像フレームの垂直方向の画素数
【００３２】
車両に対するカメラの取り付け向き（ヨー角、ピッチ角、及びロール角）は既知であり、前方撮影映像３１１ではヨー角、ピッチ角、及びロール角の初期値が０であるか、又は方向ずれの影響がなく、画像フレームの中央が道路前方の無限遠点と一致するように、前方撮影映像３１１が補正されているものとする。さらに、前方撮影映像３１１は、透視変換での映像に変換されているものとする。
【００３３】
推定部３０１は、時刻ｔにおける画像フレームから、式（１）を用いて以下の道路形状パラメータを推定することができる。
【００３４】
Ｗ（ｔ）：道路幅
Ｅ（ｔ）：カメラ原点から道路中心までの横距離
ｃ（ｔ）：道路曲率
φ（ｔ）：ピッチ角
θ（ｔ）：ヨー角
【００３５】
図７は、図３の走行状況表示装置１０１が行う走行状況表示処理の具体例を示すフローチャートである。まず、推定部３０１は、表示区間の開始時刻における画像フレームから、式（１）を用いて道路形状パラメータを推定する（ステップ７０１）。
【００３６】
次に、走行軌跡描画部３０３は、走行軌跡描画処理を行って走行軌跡画像を生成し（ステップ７０２）、車両位置描画部３０４は、車両位置描画処理を行って車両位置画像を生成する（ステップ７０３）。車線描画部３０５は、車線描画処理を行って車線画像を生成し（ステップ７０４）、危険範囲描画部３０６は、危険範囲描画処理を行って危険範囲画像を生成する（ステップ７０５）。路面画像描画部３０７は、路面画像描画処理を行って変換画像を生成する（ステップ７０６）。表示制御部１１２は、ステップ７０２〜ステップ７０６の処理を並列に実行してもよく、所定の順序で実行してもよい。
【００３７】
次に、合成部３０２は、画像合成処理を行って合成画像を生成し、生成した合成画像を画面上に表示する（ステップ７０７）。
【００３８】
次に、表示制御部１１２は、表示区間の最終時刻に達したか否かを判定し（ステップ７０８）、表示区間の最終時刻に達していない場合（ステップ７０８，ＮＯ）、次の時刻についてステップ７０１以降の処理を繰り返す。そして、表示区間の最終時刻に達した場合（ステップ７０８，ＹＥＳ）、処理を終了する。
【００３９】
図８は、図７のステップ７０２における走行軌跡描画処理の例を示すフローチャートである。時刻ｔにおける道路中心からカメラ原点までの横距離Ｅｒ（ｔ）は、時刻ｔにおけるＥ（ｔ）を用いて次式により与えられる。
Ｅｒ（ｔ）＝−Ｅ（ｔ）      （２）
【００４０】
このとき、道路中心から車両中央までの横距離Ｅｖ（ｔ）は、Ｅｒ（ｔ）を用いて次式により与えられる。
Ｅｖ（ｔ）＝Ｅｒ（ｔ）＋Ｐｘ
＝−Ｅ（ｔ）＋Ｐｘ      （３）
【００４１】
走行軌跡を進行方向に圧縮するために、車両の走行速度Ｖｒ（ｍｍ／フレーム）を、十分に低速である仮想的な走行速度Ｖｖ（ｍｍ／フレーム）に変換する。
Ｖｖ＝Ｖｒ／Ｋ      （４）
【００４２】
Ｋは減速係数を表し、例えば、１６０程度の値であってもよい。時刻ｔよりも後の時刻ｔ’における車両中央の位置を用いて走行軌跡を表示する場合、時刻ｔに対する時刻ｔ’の相対時刻ｍを次式により表すことができる。
ｍ＝ｔ’−ｔ      （５）
【００４３】
道路を直線化するため道路曲率ｃ（ｔ）を無視すると、道路中心をＺｒ軸とする道路中心座標系において、相対時刻ｍにおける車両中央の座標（Ｘｒ（ｍ），Ｚｒ（ｍ））は、次式により与えられる。
Ｘｒ（ｍ）＝Ｅｖ（ｍ＋ｔ）    （６）
Ｚｒ（ｍ）＝Ｖｖ＊ｍ＋Ｚ０      （７）
【００４４】
奥行き距離Ｚ０は、時刻ｔにおける車両中央のＺｒ座標を表し、例えば、２８００ｍｍ程度の値であってもよい。
【００４５】
図８の走行軌跡描画処理では、式（６）及び式（７）を用いて走行軌跡画像が生成される。式（７）から分かるように、仮想的な走行速度Ｖｖが低速であるほど、路面上ではより遠方までの軌跡を描くことができる。相対時刻ｍとしては、０以上の整数が用いられる。
【００４６】
まず、走行軌跡描画部３０３は、描画距離範囲ＺＭ（ｍｍ）から、次式により描画フレーム範囲ｍＭ（フレーム）を求める（ステップ８０１）。
ｍＭ＝ＺＭ／Ｖｖ      （８）
【００４７】
この場合、０≦ｍ＜ｍＭの範囲が走行軌跡の描画対象区間となる。次に、走行軌跡描画部３０３は、ｍに０を設定して（ステップ８０２）、ｍとｍＭとを比較する（ステップ８０３）。ｍがｍＭよりも小さい場合（ステップ８０３，ＮＯ）、走行軌跡描画部３０３は、式（６）及び式（７）を用いて道路中心座標系における位置（Ｘｒ（ｍ），Ｚｒ（ｍ））を求める（ステップ８０４）。
【００４８】
次に、走行軌跡描画部３０３は、（Ｘｒ（ｍ），Ｚｒ（ｍ））を撮像面５０１に透視投影して、次式により走行軌跡画像Ｐｔ上の位置（ｘｔ（ｍ），ｙｔ（ｍ））を求める（ステップ８０５）。
ｘｔ（ｍ）＝ｆｘ＊Ｘｒ（ｍ）／Ｚｒ（ｍ）＋ｘ０      （９）
ｙｔ（ｍ）＝ｆｙ＊Ｈ／Ｚｒ（ｍ）＋ｙ０              （１０）
【００４９】
（ｘｔ（ｍ），ｙｔ（ｍ））は、画像フレームの左上頂点を原点とする座標系であり、（ｘ０，ｙ０）は、画像フレームの中心位置を表す。次に、走行軌跡描画部３０３は、走行軌跡画像Ｐｔ上の位置（ｘｔ（ｍ），ｙｔ（ｍ））にマークをプロットする（ステップ８０６）。マークは、所定色のドットであってもよい。
【００５０】
そして、走行軌跡描画部３０３は、ｍを１だけインクリメントして（ステップ８０７）、ステップ８０３以降の処理を繰り返し、ｍがｍＭに達した場合（ステップ８０３，ＹＥＳ）、処理を終了する。
【００５１】
図９は、図８の走行軌跡描画処理により生成される走行軌跡画像Ｐｔの例を示している。画像座標系Ｏ−ｘｃｙｃの画像９０１上では、車両中央がｙｃ軸上の所定位置に固定されているため、実際の走行速度Ｖｒに合わせた走行軌跡９１１は、ｙｃ軸上の直線として描画される。
【００５２】
これに対して、変換画像に対応する走行軌跡画像９０２上では、位置（ｘ０，ｙ０）を原点とする座標系（ｘｔｔ，ｙｔｔ）のｙｔｔ軸上に仮想中心ラインＬｃが固定されている。このため、仮想的な走行速度Ｖｖに合わせた走行軌跡９１２は、ｘｔｔ軸方向におけるｙｔｔ軸からの変位として描画される。これにより、路面上で車両の移動軌跡を長距離範囲に渡って表示することができ、車両の左右搖動が強調される。なお、仮想中心ラインＬｃ、車線区分線Ｌｒ、及び車線区分線Ｌｌは、実際には後述する車線画像Ｐｌに含まれ、走行軌跡画像Ｐｔには含まれない。
【００５３】
図１０は、図７のステップ７０３における車両位置描画処理の例を示すフローチャートである。まず、車両位置描画部３０４は、車両形状の輪郭点を路面上に設定する（ステップ１００１）。
【００５４】
図１１は、車両形状の輪郭点の例を示している。道路中心座標系（Ｘ，Ｚ）における５個の輪郭点Ｐ０〜Ｐ４の座標は、車幅Ｖｗ（ｍｍ）、奥行き距離Ｚ０（ｍｍ）、及び時刻ｔにおけるＥｖ（ｔ）を用いて、次のように表される。
【００５５】
Ｐ０：（Ｅｖ（ｔ），Ｚ０）
Ｐ１：（Ｅｖ（ｔ）−Ｖｗ／２，０）
Ｐ２：（Ｅｖ（ｔ）−Ｖｗ／２，Ｚ０）
Ｐ３：（Ｅｖ（ｔ）＋Ｖｗ／２，Ｚ０）
Ｐ４：（Ｅｖ（ｔ）＋Ｖｗ／２，０）
【００５６】
このうち、輪郭点Ｐ０は車両中央に対応する。次に、車両位置描画部３０４は、各輪郭点に対して車両のヨー角旋回を適用する（ステップ１００２）。
【００５７】
図１２は、車両のヨー角旋回の例を示している。輪郭点Ｐ０’〜Ｐ４’は、輪郭点Ｐ０〜Ｐ４に対してヨー角θの旋回を施した後の輪郭点を表し、輪郭点Ｐ０’は輪郭点Ｐ０に一致している。各輪郭点の旋回前の座標を（Ｘ，Ｚ）とし、Ｅｖ（ｔ）＝Ｘ０とすると、旋回後の座標（Ｘ’，Ｚ’）は次式により与えられる。
Ｘ’＝ｃｏｓ（θ）＊（Ｘ−Ｘ０）
＋ｓｉｎ（θ）＊（Ｚ−Ｚ０）＋Ｘ０      （１１）
Ｚ’＝−ｓｉｎ（θ）＊（Ｘ−Ｘ０）
＋ｃｏｓ（θ）＊（Ｚ−Ｚ０）＋Ｚ０      （１２）
【００５８】
式（１１）及び式（１２）のヨー角θとしては、時刻ｔにおけるヨー角θ（ｔ）を用いることができる。
【００５９】
次に、車両位置描画部３０４は、各輪郭点の旋回後の座標（Ｘ’，Ｚ’）を撮像面５０１に透視投影して、次式により車両位置画像Ｐｖ上の位置（ｘｖ（ｋ），ｙｖ（ｋ））を求める（ステップ１００３）。
ｘｖ（ｋ）＝ｆｘ＊Ｘ’（ｋ）／Ｚ’（ｋ）＋ｘ０      （１３）
ｙｖ（ｋ）＝ｆｙ＊Ｈ／Ｚ’（ｋ）＋ｙ０              （１４）
【００６０】
（ｘｖ（ｋ），ｙｖ（ｋ））は、画像フレームの左上頂点を原点とする座標系である。ｋは輪郭点を区別するための変数であり、輪郭点Ｐ０〜Ｐ４はｋ＝０〜４にそれぞれ対応する。
【００６１】
次に、車両位置描画部３０４は、車両位置画像Ｐｖ上の位置（ｘｖ（ｋ），ｙｖ（ｋ））（ｋ＝０〜４）が表す図形を車両のシンボルとして描画する（ステップ１００４）。
【００６２】
図１２の例では、輪郭点Ｐ０’を表す点と、輪郭点Ｐ１’及び輪郭点Ｐ２’を結ぶ線分と、輪郭点Ｐ２’及び輪郭点Ｐ３’を結ぶ線分と、輪郭点Ｐ３’及び輪郭点Ｐ４’を結ぶ線分とから成る図形が描画されている。車幅Ｖｗに対応する幅を有するシンボルを描画することで、車両の位置を直接的に視認することができる。
【００６３】
図１３は、図１０の車両位置描画処理により生成される車両位置画像Ｐｖの例を示している。画像座標系Ｏ−ｘｃｙｃの画像１３０１上では、車両中央１３１１がｙｃ軸上の所定位置に固定されているため、シンボル１３１２は、ｙｃ軸上に中心が固定された図形として描画される。
【００６４】
これに対して、変換画像に対応する車両位置画像１３０２上では、位置（ｘ０，ｙ０）を原点とする座標系（ｘｖｖ，ｙｖｖ）のｙｖｖ軸上に仮想中心ラインＬｃが固定されている。このため、シンボル１３１２は、ｙｖｖ軸から離れた位置に中心を持つ図形として描画される。これにより、路面上で車両の左右搖動を直接的に視認することができる。なお、仮想中心ラインＬｃ、車線区分線Ｌｒ、及び車線区分線Ｌｌは、実際には後述する車線画像Ｐｌに含まれ、車両位置画像Ｐｖには含まれない。
【００６５】
図１４は、図７のステップ７０４における車線描画処理の例を示すフローチャートである。まず、車線描画部３０５は、車線画像Ｐｌ上における画像フレームの中心位置の座標を（ｘ０，ｙ０）として、車線画像Ｐｌ上における描画位置（ｘｋｐ，ｙｋｐ）のｙｋｐ座標にｙ０を設定する（ステップ１４０１）。（ｘｋｐ，ｙｋｐ）は、画像フレームの左上頂点を原点とする座標系である。
【００６６】
次に、車線描画部３０５は、ｙｋｐを垂直方向の画素数ｐｈと比較する（ステップ１４０２）。ｙｋｐがｐｈよりも小さい場合（ステップ１４０２，ＮＯ）、車線描画部３０５は、次式によりｙｋｐをｙｋに変換する（ステップ１４０３）。
ｙｋ＝ｙｋｐ−ｙ０      （１５）
【００６７】
ｙｋは、（ｘ０，ｙ０）を原点とする座標系（ｘｋ，ｙｋ）におけるｙｋ座標を表す。次に、車線描画部３０５は、時刻ｔにおける道路幅Ｗ（ｔ）を用いて、左側の車線区分線Ｌｌのｘｋｐ座標を表すｘｋＬと、右側の車線区分線Ｌｒのｘｋｐ座標を表すｘｋＲとを求める。
ｘｋＬ＝ＸＬ＊ｙｋ＊ｆｘ／（ｆｙ＊Ｈ）＋ｘ０      （１６）
ｘｋＲ＝ＸＲ＊ｙｋ＊ｆｘ／（ｆｙ＊Ｈ）＋ｘ０      （１７）
ＸＬ＝−Ｗ（ｔ）／２                          （１８）
ＸＲ＝Ｗ（ｔ）／２                            （１９）
【００６８】
式（１８）のＸＬは、左側の車線区分線Ｌｌのｘｋ座標を表し、式（１９）のＸＲは、右側の車線区分線Ｌｒのｘｋ座標を表す。式（１６）及び式（１７）は、式（１）の右辺第２項に基づいて導出される。
【００６９】
次に、車線描画部３０５は、車線画像Ｐｌ上の位置（ｘｋＬ，ｙｋｐ）及び位置（ｘｋＲ，ｙｋｐ）にマークをプロットする（ステップ１４０５）。マークは、所定色のドットであってもよい。
【００７０】
そして、車線描画部３０５は、ｙｋｐを１だけインクリメントして（ステップ１４０６）、ステップ１４０２以降の処理を繰り返し、ｙｋｐがｐｈに達した場合（ステップ１４０２，ＹＥＳ）、処理を終了する。
【００７１】
このような車線描画処理によって、例えば、図９の走行軌跡画像９０２又は図１３の車両位置画像１３０２上に示したような、車線区分線Ｌｌ及び車線区分線Ｌｒの画像が生成される。これにより、走行軌跡９１２又はシンボル１３１２と、車線区分線Ｌｌ及び車線区分線Ｌｒとの相対的な位置関係を、容易に視認することができる。
【００７２】
図１５は、図７のステップ７０５における危険範囲描画処理の例を示すフローチャートである。図１５の危険範囲描画処理では、走行レーンの端からの距離に基づいて、走行レーン内の領域が安全範囲、注意範囲、及び危険範囲の３種類の領域に分類され、それらの領域を表す危険範囲画像Ｐｗが生成される。
【００７３】
図１６は、安全範囲、注意範囲、及び危険範囲の例を示している。図１６では、道路中心座標系（Ｘ，Ｚ）におけるＸ座標の値に基づいて、安全範囲、注意範囲、及び危険範囲が以下のように設定される。
【００７４】
安全範囲：  ｜Ｘ｜≦Ｄ１
注意範囲：  Ｄ１＜｜Ｘ｜≦Ｄ２
危険範囲：  Ｄ２＜｜Ｘ｜≦Ｄ３
【００７５】
距離の閾値Ｄ１〜Ｄ３は、例えば、車幅Ｖｗと時刻ｔにおける道路幅Ｗ（ｔ）とを用いて、次式により与えられる。
Ｄ１＝（Ｗ（ｔ）−Ｖｗ）／２−ＭＧＮ      （２０）
Ｄ２＝（Ｗ（ｔ）−Ｖｗ）／２              （２１）
Ｄ３＝Ｗ（ｔ）／２                        （２２）
【００７６】
式（２０）のＭＧＮは、注意範囲の幅を表す規定値であり、例えば、２０ｃｍ〜３０ｃｍ程度の値であってもよい。
【００７７】
まず、危険範囲描画部３０６は、危険範囲画像Ｐｗ上における画像フレームの中心位置の座標を（ｘ０，ｙ０）として、危険範囲画像Ｐｗ上における描画位置（ｘｗｐ，ｙｗｐ）のｙｗｐ座標にｙ０を設定する（ステップ１５０１）。（ｘｗｐ，ｙｗｐ）は、画像フレームの左上頂点を原点とする座標系である。
【００７８】
次に、危険範囲描画部３０６は、ｙｗｐを垂直方向の画素数ｐｈと比較する（ステップ１５０２）。ｙｗｐがｐｈよりも小さい場合（ステップ１５０２，ＮＯ）、危険範囲描画部３０６は、ｘｗｐ座標に０を設定する（ステップ１５０３）。
【００７９】
次に、危険範囲描画部３０６は、ｘｗｐを水平方向の画素数ｐｗと比較する（ステップ１５０４）。ｘｗｐがｐｗよりも小さい場合（ステップ１５０４，ＮＯ）、危険範囲描画部３０６は、次式により、ｘｗｐ及びｙｗｐをｘｗ及びｙｗにそれぞれ変換する（ステップ１５０５）。
ｘｗ＝ｘｗｐ−ｘ０      （２３）
ｙｗ＝ｙｗｐ−ｙ０      （２４）
【００８０】
（ｘｗ，ｙｗ）は、（ｘ０，ｙ０）を原点とする座標系である。次に、危険範囲描画部３０６は、次式により、ｘｗを道路中心座標系（Ｘ，Ｚ）におけるＸ座標に変換する。
Ｘ＝ｘｗ＊Ｚ／ｆｘ
＝ｘｗ＊ｆｙ＊Ｈ／（ｆｘ＊ｙｗ）      （２５）
【００８１】
次に、危険範囲描画部３０６は、Ｘの絶対値｜Ｘ｜をＤ１と比較する（ステップ１５０７）。｜Ｘ｜がＤ１以下である場合（ステップ１５０７，ＹＥＳ）、危険範囲描画部３０６は、危険範囲画像Ｐｗ上の位置（ｘｗｐ，ｙｗｐ）における描画色を、安全範囲を表す色ｃ１に決定する（ステップ１５０８）。
【００８２】
｜Ｘ｜がＤ１よりも大きい場合（ステップ１５０７，ＮＯ）、危険範囲描画部３０６は、｜Ｘ｜をＤ２と比較する（ステップ１５０９）。｜Ｘ｜がＤ２以下である場合（ステップ１５０９，ＹＥＳ）、危険範囲描画部３０６は、位置（ｘｗｐ，ｙｗｐ）における描画色を、注意範囲を表す色ｃ２に決定する（ステップ１５１０）。
【００８３】
｜Ｘ｜がＤ２よりも大きい場合（ステップ１５０９，ＮＯ）、危険範囲描画部３０６は、｜Ｘ｜をＤ３と比較する（ステップ１５１１）。｜Ｘ｜がＤ３以下である場合（ステップ１５１１，ＹＥＳ）、危険範囲描画部３０６は、位置（ｘｗｐ，ｙｗｐ）における描画色を、危険範囲を表す色ｃ３に決定する（ステップ１５１２）。
【００８４】
｜Ｘ｜がＤ３よりも大きい場合（ステップ１５１１，ＮＯ）、危険範囲描画部３０６は、位置（ｘｗｐ，ｙｗｐ）における描画色を色なしに決定する（ステップ１５１３）。
【００８５】
次に、危険範囲描画部３０６は、危険範囲画像Ｐｗ上の位置（ｘｗｐ，ｙｗｐ）に、決定した描画色のドットをプロットする（ステップ１５１４）。ただし、色なしの場合、ドットはプロットされない。
【００８６】
次に、危険範囲描画部３０６は、ｘｗｐを１だけインクリメントして（ステップ１５１５）、ステップ１５０４以降の処理を繰り返す。ｘｗｐがｐｗに達した場合（ステップ１５０４，ＹＥＳ）、危険範囲描画部３０６は、ｙｗｐを１だけインクリメントして（ステップ１５１６）、ステップ１５０２以降の処理を繰り返す。そして、ｙｗｐがｐｈに達した場合（ステップ１５０２，ＹＥＳ）、危険範囲描画部３０６は、処理を終了する。
【００８７】
図１７は、図１５の危険範囲描画処理により生成される危険範囲画像Ｐｗの例を示している。画像座標系Ｏ−ｘｃｙｃの画像１７０１上では、車両中央がｙｃ軸上の所定位置に固定されているため、安全範囲１７１１、注意範囲１７１２、及び危険範囲１７１３の形状は、道路形状に応じて変化する。
【００８８】
これに対して、変換画像に対応する危険範囲画像１７０２上では、仮想中心ラインがｙｗ軸上に固定されているため、安全範囲１７２１、注意範囲１７２２、及び危険範囲１７２３の形状は変化が少ない。したがって、路面上でそれぞれの範囲を安定して表示することができる。
【００８９】
図１８は、図７のステップ７０６における路面画像描画処理の例を示すフローチャートである。図１８の路面画像描画処理では、カメラにより撮影された画像フレームが変換画像Ｐｒに変換される。変換画像Ｐｒは、画像フレームの左上頂点を原点とする座標系（ｘｒｐ，ｙｒｐ）で記述される。（ｘｒ，ｙｒ）は、変換画像Ｐｒ上の位置（ｘ０，ｙ０）を原点とする座標系である。このとき、変換画像Ｐｒは、以下の２つの領域に分割されて生成される。
【００９０】
変換画像Ｐｒの上側（ｙｒ≦０）：背景部分
変換画像Ｐｒの下側（ｙｒ＞０）：路面部分
【００９１】
図１９は、路面画像描画処理の例を示している。変換画像１９０１は、背景部分１９１１及び路面部分１９１２に分割される。背景部分１９１１については、ヨー角θ及びピッチ角φの成分が補正され、路面部分１９１２については、ヨー角θ、ピッチ角φ、道路曲率ｃ（ｔ）、及び横距離Ｅｒ（ｔ）の成分が補正される。背景部分１９１１については、道路曲率ｃ（ｔ）及び横距離Ｅｒ（ｔ）の成分の補正は不要であり、省略することができる。
【００９２】
変換画像１９０１のそれぞれの部分に含まれる座標（ｘｒ，ｙｒ）の画素１９２１について、画像フレーム１９０２内の対応する位置１９２２の座標（ｘｃ，ｙｃ）が求められる。そして、位置１９２２の周囲の画素値から補間処理により補間画素値が求められ、その補間画素値が画素１９２１の画素値として設定される。
【００９３】
図１８のステップ１８０１〜ステップ１８０９及びステップ１８１９は、背景部分の画像を生成する処理に対応し、ステップ１８１０〜ステップ１８１８及びステップ１８２０は、路面部分の画像を生成する処理に対応する。
【００９４】
まず、路面画像描画部３０７は、変換画像Ｐｒ上における描画位置（ｘｒｐ，ｙｒｐ）のｙｒｐ座標に０を設定し（ステップ１８０１）、ｙｒｐをｐｈ／２と比較する（ステップ１８０２）。ｙｒｐがｐｈ／２よりも小さい場合（ステップ１８０２，ＮＯ）、路面画像描画部３０７は、ｘｒｐ座標に０を設定する（ステップ１８０３）。
【００９５】
次に、路面画像描画部３０７は、ｘｒｐをｐｗと比較する（ステップ１８０４）。ｘｒｐがｐｗよりも小さい場合（ステップ１８０４，ＮＯ）、路面画像描画部３０７は、次式により、ｘｒｐ及びｙｒｐをｘｒ及びｙｒにそれぞれ変換する（ステップ１８０５）。
ｘｒ＝ｘｒｐ−ｘ０      （３１）
ｙｒ＝ｙｒｐ−ｙ０      （３２）
【００９６】
次に、路面画像描画部３０７は、次式により、カメラにより撮影された画像フレーム内の対応する位置の座標（ｘｃ，ｙｃ）を求める（ステップ１８０６）。
ｘｃ＝ｘｒ＋ｆｘ＊θ      （３３）
ｙｃ＝ｙｒ−ｆｙ＊φ      （３４）
【００９７】
式（３３）のｆｘ＊θは、ヨー角θの成分を表し、式（３４）のｆｘ＊φは、ピッチ角φの成分を表す。ヨー角θ及びピッチ角φは、時刻ｔにおけるヨー角θ（ｔ）及びピッチ角φ（ｔ）に対応する。
【００９８】
次に、路面画像描画部３０７は、補間処理により座標（ｘｃ，ｙｃ）における補間画素値ｐを求める（ステップ１８０７）。例えば、バイリニア補間を用いた場合、補間画素値ｐは、次式により求められる。
【００９９】
ｉｘ＝ｘｃの切り捨て整数値      （３５）
ｉｙ＝ｙｃの切り捨て整数値      （３６）
ｄｘ１＝ｘｃ−ｉｘ      （３７）
ｄｘ２＝１−ｄｘ１      （３８）
ｄｙ１＝ｙｃ−ｉｙ      （３９）
ｄｙ２＝１−ｄｙ１      （４０）
ｐ１＝Ｐｃ（ｉｘ，ｉｙ）      （４１）
ｐ２＝Ｐｃ（ｉｘ＋１，ｉｙ）      （４２）
ｐ３＝Ｐｃ（ｉｘ，ｉｙ＋１）      （４３）
ｐ４＝Ｐｃ（ｉｘ＋１，ｉｙ＋１）      （４４）
ｐ＝ｄｙ２＊（ｄｘ２＊ｐ１＋ｄｘ１＊ｐ２）
＋ｄｙ１＊（ｄｘ２＊ｐ３＋ｄｘ１＊ｐ４）      （４５）
【０１００】
式（３７）〜式（４０）のｄｘ１、ｄｘ２、ｄｙ１、及びｄｙ２は、画像フレーム内における位置誤差を表し、式（４１）〜式（４４）のｐ１〜ｐ４は、座標（ｘｃ，ｙｃ）の周囲の画素値を表す。
【０１０１】
次に、路面画像描画部３０７は、変換画像Ｐｒ上の位置（ｘｒｐ，ｙｒｐ）に、補間画素値ｐのドットをプロットする（ステップ１８０８）。
【０１０２】
次に、路面画像描画部３０７は、ｘｒｐを１だけインクリメントして（ステップ１８０９）、ステップ１８０４以降の処理を繰り返す。ｘｒｐがｐｗに達した場合（ステップ１８０４，ＹＥＳ）、路面画像描画部３０７は、ｙｒｐを１だけインクリメントして（ステップ１８１９）、ステップ１８０２以降の処理を繰り返す。
【０１０３】
そして、ｙｒｐがｐｈ／２に達した場合（ステップ１８０２，ＹＥＳ）、路面画像描画部３０７は、ｙｒｐ座標にｐｈ／２を設定し（ステップ１８１０）、ｙｒｐをｐｈと比較する（ステップ１８１１）。ｙｒｐがｐｈよりも小さい場合（ステップ１８１１，ＮＯ）、路面画像描画部３０７は、ｘｒｐ座標に０を設定する（ステップ１８１２）。
【０１０４】
次に、路面画像描画部３０７は、ｘｒｐをｐｗと比較する（ステップ１８１３）。ｘｒｐがｐｗよりも小さい場合（ステップ１８１３，ＮＯ）、路面画像描画部３０７は、式（３１）及び式（３２）により、ｘｒｐ及びｙｒｐをｘｒ及びｙｒにそれぞれ変換する（ステップ１８１４）。
【０１０５】
次に、路面画像描画部３０７は、次式により、カメラにより撮影された画像フレーム内の対応する位置の座標（ｘｃ，ｙｃ）を求める（ステップ１８１５）。
ｘｃ＝ｘｒ＋ｆｘ＊θ＋ｆｘ＊ｆｙ＊Ｈ＊ｃ／（２＊ｙｒ）
＋Ｅｒ（ｔ）＊ｙｒ＊ｆｘ／（Ｈ＊ｆｙ）          （４６）
ｙｃ＝ｙｒ−ｆｙ＊φ                                  （４７）
【０１０６】
式（４６）のｆｘ＊θは、ヨー角θの成分を表し、ｆｘ＊ｆｙ＊Ｈ＊ｃ／（２＊ｙｒ）は、道路曲率ｃの成分を表し、Ｅｒ（ｔ）＊ｙｒ＊ｆｘ／（Ｈ＊ｆｙ）は、横距離Ｅの成分を表す。式（４７）のｆｙ＊φは、ピッチ角φの成分を表す。ヨー角θ、ピッチ角φ、及び道路曲率ｃは、時刻ｔにおけるヨー角θ（ｔ）、ピッチ角φ（ｔ）、及び道路曲率ｃ（ｔ）に対応する。Ｅｒ（ｔ）は、式（２）により求められる。
【０１０７】
次に、路面画像描画部３０７は、補間処理により座標（ｘｃ，ｙｃ）における補間画素値ｐを求め（ステップ１８１６）、変換画像Ｐｒ上の位置（ｘｒｐ，ｙｒｐ）に、補間画素値ｐのドットをプロットする（ステップ１８１７）。
【０１０８】
次に、路面画像描画部３０７は、ｘｒｐを１だけインクリメントして（ステップ１８１８）、ステップ１８１３以降の処理を繰り返す。ｘｒｐがｐｗに達した場合（ステップ１８１３，ＹＥＳ）、路面画像描画部３０７は、ｙｒｐを１だけインクリメントして（ステップ１８２０）、ステップ１８１１以降の処理を繰り返す。そして、ｙｒｐがｐｈに達した場合（ステップ１８１１，ＹＥＳ）、路面画像描画部３０７は、処理を終了する。
【０１０９】
図２０は、図１８の路面画像描画処理により生成される変換画像Ｐｒの例を示している。画像座標系Ｏ−ｘｃｙｃの画像フレーム２００１上では、車両中央がｙｃ軸上の所定位置に固定されているため、道路の形状は、車両の左右搖動に応じて変化する。
【０１１０】
これに対して、変換画像２００２上では、仮想中心ラインＬｃがｙｒ軸上に固定されているため、道路の形状は変化が少ない。したがって、路面画像を安定して表示することができる。
【０１１１】
図２１は、図７のステップ７０７における画像合成処理の例を示すフローチャートである。図２１の画像合成処理では、図２２に示すように、走行軌跡画像２２０１、車両位置画像２２０２、車線画像２２０３、危険範囲画像２２０４、及び変換画像２２０５の５つのプレーンの画像から合成画像２２０６が生成される。走行軌跡画像２２０１は、最上位のプレーンに対応し、変換画像２２０５は、最下位のプレーンに対応する。合成部３０２は、最下位のプレーンから順に描画色を有する画素を上書きすることで、５つのプレーンの画像を統合し、合成画像２２０６として重畳表示する。
【０１１２】
まず、合成部３０２は、変換画像Ｐｒを合成画像Ｐｏに転写し（ステップ２１０１）、危険範囲画像Ｐｗ内の描画色を有する画素の画素値を合成画像Ｐｏに転写する（ステップ２１０２）。次に、合成部３０２は、車線画像Ｐｌ内のマークに対応する画素の画素値を合成画像Ｐｏに転写し（ステップ２１０３）、車両位置画像Ｐｖ内のシンボルに対応する画素の画素値を合成画像Ｐｏに転写する（ステップ２１０４）。そして、合成部３０２は、走行軌跡画像Ｐｔ内のマークに対応する画素の画素値を合成画像Ｐｏに転写する（ステップ２１０５）。
【０１１３】
図２３は、図２１の画像合成処理により生成される合成画像Ｐｏの例を示している。図２３（ａ）に示される合成画像では、路面が固定されており、実際の情景変化があり、車両を表すシンボル２３０１が左右に搖動し、走行軌跡２３０２が進行方向に圧縮されている。これにより、路面及び走行軌跡が固定されて車両だけが左右に搖動するとともに、走行軌跡が強調されるため、車両のふらつき状態を容易に視認することができる。例えば、ドライブレコーダにより記録された走行中の映像を確認する場合、走行に伴う今後の軌跡変化を容易に確認することも可能になる。
【０１１４】
これに対して、図２３（ｂ）に示される画像座標系Ｏ−ｘｃｙｃの画像フレームでは、車両を表すシンボル２３０１が固定されており、路面全体が左右に搖動し、走行軌跡２３０３が近方の一部のみに限定されている。このため、大きな面積の路面が搖動して車両のふらつき状態が分かり難く、走行軌跡からふらつき状態を確認することは極めて困難である。
【０１１５】
なお、合成部３０２は、走行軌跡画像、車両位置画像、車線画像、危険範囲画像、及び変換画像のすべてを合成する代わりに、一部の画像のみを選択的に合成して、合成画像を生成することもできる。例えば、合成部３０２は、車両位置画像及び変換画像のみを合成してもよく、走行軌跡画像、車両位置画像、及び変換画像のみを合成してもよい。
【０１１６】
図１及び図３の走行状況表示装置１０１の構成は一例に過ぎず、走行状況表示装置１０１の用途や条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、走行状況表示装置１０１の外部の装置が各時刻における道路形状パラメータを推定する場合は、推定部３０１を省略することができる。
【０１１７】
走行軌跡画像、車両位置画像、車線画像、危険範囲画像、又は変換画像を表示に使用しない場合は、走行軌跡描画部３０３、車両位置描画部３０４、車線描画部３０５、危険範囲描画部３０６、又は路面画像描画部３０７を省略することができる。
【０１１８】
図７、図８、図１０、図１４、図１５、図１８、及び図２１のフローチャートは一例に過ぎず、走行状況表示装置１０１の構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、走行状況表示装置１０１の外部の装置が各時刻における道路形状パラメータを推定する場合は、図７のステップ７０１の処理を省略することができる。
【０１１９】
走行軌跡画像、車両位置画像、車線画像、危険範囲画像、又は変換画像を表示に使用しない場合は、図７のステップ７０２、ステップ７０３、ステップ７０４、ステップ７０５、又はステップ７０６の処理を省略することができる。
【０１２０】
図４の道路形状モデル、図５の観測系モデル、図１１、図１２、及び図１６の道路中心座標系（Ｘ，Ｚ）は一例に過ぎず、他のモデル又は座標系を用いて走行状況表示処理を行ってもよい。式（１）〜式（４７）は一例に過ぎず、別の計算式又は座標系を用いて走行状況表示処理を行ってもよい。
【０１２１】
図９の走行軌跡画像、図１３の車両位置画像、図１７の危険範囲画像、図２０の変換画像、図２２及び図２３の合成画像は一例に過ぎず、走行状況表示装置１０１の構成や条件に応じて他の画像を用いてよい。例えば、図９の走行軌跡画像と図２２及び図２３の合成画像において、別の形状のマークをプロットして走行軌跡を描画してもよく、図１３の車両位置画像と図２２及び図２３の合成画像において、別のサイズ又は形状のシンボルを描画してもよい。
【０１２２】
図２４は、図１及び図３の走行状況表示装置１０１を実現するための情報処理装置（コンピュータ）の構成例を示している。図２４の情報処理装置は、Central Processing Unit（ＣＰＵ）２４０１、メモリ２４０２、入力装置２４０３、出力装置２４０４、補助記憶装置２４０５、媒体駆動装置２４０６、及びネットワーク接続装置２４０７を含む。これらの構成要素はバス２４０８により互いに接続されている。
【０１２３】
メモリ２４０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、走行状況表示処理に用いられるプログラム及びデータを格納する。メモリ２４０２は、図１及び図３の記憶部１１１として用いることができる。
【０１２４】
ＣＰＵ２４０１（プロセッサ）は、例えば、メモリ２４０２を利用してプログラムを実行することにより、図１及び図３の表示制御部１１２として動作する。ＣＰＵ２４０１は、図３の推定部３０１、合成部３０２、走行軌跡描画部３０３、車両位置描画部３０４、車線描画部３０５、危険範囲描画部３０６、及び路面画像描画部３０７としても動作する。
【０１２５】
入力装置２４０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示や情報の入力に用いられる。出力装置２４０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、合成画像であってもよい。
【０１２６】
補助記憶装置２４０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置２４０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置２４０５にプログラム及びデータを格納しておき、それらをメモリ２４０２にロードして使用することができる。補助記憶装置２４０５は、図１及び図３の記憶部１１１として用いることができる。
【０１２７】
媒体駆動装置２４０６は、可搬型記録媒体２４０９を駆動し、その記録内容にアクセスする。可搬型記録媒体２４０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体２４０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体２４０９にプログラム及びデータを格納しておき、それらをメモリ２４０２にロードして使用することができる。
【０１２８】
このように、走行状況表示処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ２４０２、補助記憶装置２４０５、又は可搬型記録媒体２４０９のような、物理的な（非一時的な）記録媒体である。
【０１２９】
ネットワーク接続装置２４０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置２４０７を介して受け取り、それらをメモリ２４０２にロードして使用することができる。情報処理装置は、ネットワーク接続装置２４０７を介して、ユーザ端末から処理要求を受信し、走行状況表示処理を行って合成画像をユーザ端末へ送信することもできる。
【０１３０】
なお、情報処理装置が図２４のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置がユーザ端末から通信ネットワーク経由で処理要求を受信する場合は、入力装置２４０３及び出力装置２４０４を省略してもよい。また、可搬型記録媒体２４０９又は通信ネットワークを利用しない場合は、媒体駆動装置２４０６又はネットワーク接続装置２４０７を省略してもよい。
【０１３１】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【０１３２】
図１乃至図２４を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
車両から撮像された道路撮像画像から走行レーンの仮想中心ラインを検出し、
検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる、
処理をコンピュータに実行させる走行状況表示プログラム。
（付記２）
前記シンボルは、前記車両の車幅に対応する幅を有することを特徴とする付記１記載の走行状況表示プログラム。
（付記３）
前記コンピュータは、
前記検出する処理及び前記移動させる処理を動画像における複数の画像フレームに対して実行し、  前記複数の画像フレームのそれぞれの前記仮想中心ラインと前記車両のシンボルの表示位置とのずれの大きさに基づいて、前記仮想中心ラインに垂直な方向の第１の座標値を特定するとともに、前記複数の画像フレームのうちの特定の画像フレームに対するフレームの順番に基づいて、前記仮想中心ラインの方向の第２の座標値を特定し、
前記特定の画像フレーム上で、前記複数の画像フレームのうちの前記特定の画像フレーム以降の画像フレームのそれぞれについて特定した前記第１の座標値と前記第２の座標値とにより特定される位置にマークをプロットすることを特徴とする付記１又は２記載の走行状況表示プログラム。
（付記４）
前記コンピュータは、前記第１の座標値と前記第２の座標値とを透視変換によって特定することを特徴とする付記３記載の走行状況表示プログラム。
（付記５）
前記コンピュータは、前記仮想中心ラインの方向における距離を圧縮して前記第２の座標値を特定することを特徴とする付記３又は４記載の走行状況表示プログラム。
（付記６）
前記コンピュータは、前記走行レーンを直線化した場合の前記第１の座標値と前記第２の座標値とを特定することを特徴とする付記３乃至５のいずれか１項に記載の走行状況表示プログラム。
（付記７）
前記コンピュータは、前記道路撮像画像を変換して前記変換画像を生成する処理を、前記道路撮像画像内の路面部分についてのみ実行することを特徴とする付記１乃至６のいずれか１項に記載の走行状況表示プログラム。
（付記８）
前記コンピュータは、前記走行レーンの端からの距離に基づいて前記走行レーン内の領域を複数の領域に分類し、前記変換画像上に前記複数の領域を重畳表示することを特徴とする付記１乃至７のいずれか１項に記載の走行状況表示プログラム。
（付記９）
前記道路撮像画像は、前記車両から広角レンズで撮像された画像であり、前記コンピュータは、前記道路撮像画像を透視変換して無限遠点を画像中心に配置することで、前記変換画像を生成することを特徴とする付記１乃至８のいずれか１項に記載の走行状況表示プログラム。
（付記１０）
車両から撮像された道路撮像画像を記憶する記憶部と、
前記道路撮像画像から走行レーンの仮想中心ラインを検出し、検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる表示制御部と、
を備えることを特徴とする走行状況表示装置。
（付記１１）
前記シンボルは、前記車両の車幅に対応する幅を有することを特徴とする付記１０記載の走行状況表示装置。
（付記１２）
前記表示制御部は、
前記検出する処理及び前記移動させる処理を動画像における複数の画像フレームに対して実行し、
前記複数の画像フレームのそれぞれの前記仮想中心ラインと前記車両のシンボルの表示位置とのずれの大きさに基づいて、前記仮想中心ラインに垂直な方向の第１の座標値を特定するとともに、前記複数の画像フレームのうちの特定の画像フレームに対するフレームの順番に基づいて、前記仮想中心ラインの方向の第２の座標値を特定し、
前記特定の画像フレーム上で、前記複数の画像フレームのうちの前記特定の画像フレーム以降の画像フレームのそれぞれについて特定した前記第１の座標値と前記第２の座標値とにより特定される位置にマークをプロットすることを特徴とする付記１０又は１１記載の走行状況表示装置。
（付記１３）
コンピュータが、
車両から撮像された道路撮像画像から走行レーンの仮想中心ラインを検出し、
検出した前記仮想中心ラインが所定の位置となるように前記道路撮像画像を変換して生成した変換画像を表示するとともに、前記車両の前記走行レーンにおける走行位置の検出結果に応じて、生成した前記変換画像上における前記車両のシンボルの表示位置を移動させる、
ことを特徴とする走行状況表示方法。
（付記１４）
前記シンボルは、前記車両の車幅に対応する幅を有することを特徴とする付記１３記載の走行状況表示方法。
（付記１５）
前記コンピュータは、
前記検出する処理及び前記移動させる処理を動画像における複数の画像フレームに対して実行し、
前記複数の画像フレームのそれぞれの前記仮想中心ラインと前記車両のシンボルの表示位置とのずれの大きさに基づいて、前記仮想中心ラインに垂直な方向の第１の座標値を特定するとともに、前記複数の画像フレームのうちの特定の画像フレームに対するフレームの順番に基づいて、前記仮想中心ラインの方向の第２の座標値を特定し、
前記特定の画像フレーム上で、前記複数の画像フレームのうちの前記特定の画像フレーム以降の画像フレームのそれぞれについて特定した前記第１の座標値と前記第２の座標値とにより特定される位置にマークをプロットすることを特徴とする付記１３又は１４記載の走行状況表示方法。
【符号の説明】
【０１３３】
１０１  走行状況表示装置
１１１  記憶部
１１２  表示制御部
１２１  道路撮像画像
３０１  推定部
３０２  合成部
３０３  走行軌跡描画部
３０４  車両位置描画部
３０５  車線描画部
３０６  危険範囲描画部
３０７  路面画像描画部
３１１  前方撮影映像
３１２  既知パラメータ
５０１  撮像面
６０１、６０２  点
９０１、１３０１、１７０１、２００１  画像
９０２  走行軌跡画像
９１１、９１２、２３０２、２３０３  走行軌跡
１３０２  車両位置画像
１３１１  車両中央
１３１２、２３０１  シンボル
１７０２  危険範囲画像
１７１１、１７２１  安全範囲
１７１２、１７２２  注意範囲
１７１３、１７２３  危険範囲
１９０１、２００２  変換画像
１９０２  画像フレーム
１９１１  背景部分
１９１２  路面部分
１９２１  画素
１９２２  位置
２２０１  走行軌跡画像
２２０２  車両位置画像
２２０３  車線画像
２２０４  危険範囲画像
２２０５  変換画像
２２０６  合成画像
２４０１  ＣＰＵ
２４０２  メモリ
２４０３  入力装置
２４０４  出力装置
２４０５  補助記憶装置
２４０６  媒体駆動装置
２４０７  ネットワーク接続装置
２４０８  バス
２４０９  可搬型記録媒体
【図１】
0006540335.tif 000003
【図２】
0006540335.tif 000004
【図３】
0006540335.tif 000005
【図４】
0006540335.tif 000006
【図５】
0006540335.tif 000007
【図６】
0006540335.tif 000008
【図７】
0006540335.tif 000009
【図８】
0006540335.tif 000010
【図９】
0006540335.tif 000011
【図１０】
0006540335.tif 000012
【図１１】
0006540335.tif 000013
【図１２】
0006540335.tif 000014
【図１３】
0006540335.tif 000015
【図１４】
0006540335.tif 000016
【図１５】
0006540335.tif 000017
【図１６】
0006540335.tif 000018
【図１７】
0006540335.tif 000019
【図１８】
0006540335.tif 000020
【図１９】
0006540335.tif 000021
【図２０】
0006540335.tif 000022
【図２１】
0006540335.tif 000023
【図２２】
0006540335.tif 000024
【図２３】
0006540335.tif 000025
【図２４】
0006540335.tif 000026