(57)【要約】【課題】車道上以外でも容易かつ正確にカメラの取付姿勢の調整を行う。【解決手段】車両Ｖの停車中に撮像した前方画像を加工処理して、平均消失点Ｐ２と設定基準点Ｐａ１との間の相対的な位置偏差がどれだけあるかを明確かつ直感的に示せる調整用画像を生成し、ディスプレイ３に表示する。調整用画像を、上記位置偏差の左右方向と上下方向のそれぞれの成分Δｘｉ、Δｙｉごとに分けて生成・表示し、順に各偏差成分Δｘｉ、Δｙｉを無くすようフロントカメラ１の取付姿勢を２回調整させる。例えば偏差成分Δｘｉを無くすための調整用画像として、前方画像を縦方向の分割方向で３つの画像領域に分割し、上端と下端の両方の画像領域には、負のＸ軸方向偏差成分−Δｘｉだけずらした位置に固定した基準静止画像を表示する。中央の画像領域には、その時点でフロントカメラ１が撮像している動画形式のスルー画像を表示する。
2013030932.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載して当該車両の前方画像を撮像する撮像手段と、
当該車両に対する相対的な姿勢関係を調整可能に前記撮像手段を取り付ける調整取付手段と、
前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、
前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段と、
前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、
前記設定姿勢パラメータに対する前記車両姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、
前記前方画像加工手段が加工した前方画像を表示する表示手段と、を有する
ことを特徴とするナビゲーション装置。
【請求項２】
請求項１記載のナビゲーション装置において、
前記調整取付手段は、当該車両の車両軸方向に対する前記撮像手段の撮像方向の姿勢関係を調整可能であり、
前記車両姿勢パラメータは、前記前方画像中においてその時点の当該車両の車両軸方向の延長線上又はその近傍に位置する車両軸方向点であり、
前記設定姿勢パラメータは、前記前方画像の利用目的に応じて前記車両軸方向点が位置するべき設定基準点であり、
前記前方画像加工手段は、前記設定基準点に対する前記車両軸方向点の相対的な位置偏差に対応した表示態様で前記前方画像を加工する
ことを特徴とするナビゲーション装置。
【請求項３】
請求項２記載のナビゲーション装置において、
前記前方画像加工手段は、前記前方画像をその縦方向又は横方向のいずれかの分割方向で複数の画像領域に分割し、それら複数の画像領域のうちのいずれかの画像領域では前記分割方向と異なる方向での前記位置偏差の成分だけずらして固定し、他の画像領域ではその時点で撮像された前記前方画像を表示するよう加工することを特徴とするナビゲーション装置。
【請求項４】
請求項２記載のナビゲーション装置において、
前記前方画像加工手段は、前記表示手段の表示座標における所定位置に固定した前記設定基準点を表示するとともに、前記撮像手段の撮像方向の移動に伴う前方画像の移動に対応して、当該前方画像中の定位置に位置させた前記車両軸方向点も移動表示するよう加工することを特徴とするナビゲーション装置。
【請求項５】
請求項２記載のナビゲーション装置において、
前記前方画像加工手段は、前記表示手段の表示座標における所定位置に固定して前記設定基準点を表示するとともに、前記撮像手段の撮像方向を移動させる前に撮像して前記車両軸方向点を定位置に位置させた前方画像と、前記撮像手段の撮像方向の移動に対応してその時点に撮像した前方画像とを、半透過処理により重複させて表示するよう加工することを特徴とするナビゲーション装置。
【請求項６】
請求項２乃至５のいずれか１項に記載のナビゲーション装置において、
前記前方画像中において、当該車両の走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線を認識する車線輪郭線認識手段と、
前記２本の車線輪郭線のそれぞれの前記進行方向の延長線上の交点を車線消失点として検出する車線消失点検出手段と、
前記車線消失点検出手段が過去に検出した複数の前記車線消失点のそれぞれの平均位置に位置する平均消失点を検出する平均消失点検出手段と、を有し、
前記車両姿勢パラメータ検出手段は、前記平均消失点を前記車両軸方向点として検出する
ことを特徴とするナビゲーション装置。
【請求項７】
請求項１記載のナビゲーション装置において、
前記調整取付手段は、当該車両の左右方向の水平基準に対する前記撮像手段の  撮像ロール角の姿勢関係を調整可能であり、
前記車両姿勢パラメータは、前記前方画像中においてその時点の当該車両の左右方向の水平基準に対応する車両水平基準線であり、
前記設定姿勢パラメータは、前記前方画像の利用目的に応じて前記車両水平基準線と平行となるべき設定水平基準線であり、
前記前方画像加工手段は、前記設定水平基準線に対する前記車両水平基準線の相対的なロール角偏差に対応した表示態様で前記前方画像を加工する
ことを特徴とするナビゲーション装置。
【請求項８】
請求項７記載のナビゲーション装置において、
前記前方画像加工手段は、前記前方画像の略中央位置に円形画像領域を分割し、当該円形画像領域とそれ以外の画像領域のいずれかの一方の画像領域を当該円形画像領域の中心周りに前記ロール角偏差だけ回転させて固定し、他方の画像領域ではその時点で撮像された前記前方画像を表示するよう加工することを特徴とするナビゲーション装置。
【請求項９】
請求項１乃至８のいずれか１項に記載のナビゲーション装置において、
前記調整取付手段は、前記姿勢偏差に応じて当該車両に対する前記撮像手段の相対的な姿勢関係を自動的に調整するよう前記撮像手段の取付姿勢を調整する調整駆動機構を備えていることを特徴とするナビゲーション装置。
【請求項１０】
車両の前方画像を撮像する撮像手段と、
前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、
前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段と、
前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、
前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、
前記前方画像加工手段が加工した前記前方画像を表示する表示手段と、を有する
ことを特徴とする画像表示装置。
【請求項１１】
車両の前方画像を撮像する撮像手段と、
前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、
前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを外部サーバへ送受信して記憶させる通信手段と、
前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、
前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、
前記前方画像加工手段が加工した前記前方画像を表示する表示手段と、を有する
ことを特徴とする画像表示装置。
【請求項１２】
請求項１１記載の画像表示装置の前記通信手段と前記車両姿勢パラメータを送受信するサーバであって、
前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段を有することを特徴とするサーバ。
【請求項１３】
請求項１０又は１１記載の画像表示装置を車両に取り付けて当該車両に対する相対的な姿勢関係を調整可能な調整装置であって、
前記姿勢偏差に応じて当該車両に対する前記撮像手段の相対的な姿勢関係を自動的に調整するよう前記撮像手段の取り付け角度を調整する調整駆動機構を備えていることを特徴とする調整装置。
【請求項１４】
車両の前方画像を撮像する撮像工程と、
前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出工程と、
前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定工程と、
前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工工程と、
前記前方画像加工工程が加工した前記前方画像を表示する表示工程と、を有する
ことを特徴とする前方画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載して進行方向の前方画像を撮像するカメラの取付姿勢を調整するナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法に関する。
【背景技術】
【０００２】
近年では、車両に搭載されたカメラで周囲の画像を撮像し、その撮像した画像を解析することで当該車両の周囲の状況を検出する技術が提案されている。このとき、正確な画像解析を行うためには、車両とカメラの姿勢関係が規定された正しい関係にあることが望ましい。しかし、ユーザ自身の手作業によって車両にカメラを取り付ける場合や、カメラの固定位置や取付姿勢が動く可能性がある場合には、当該車両の姿勢に対する当該カメラの撮像方向やロール角などの姿勢関係が上記規定の関係からズレやすくなる。【０００３】
これに対して、例えば特許文献１に記載の技術では、車両の走行方向の前方画像を撮像し、当該前方画像中に映し出されている走行車線の両側の白線を認識して、それら２本の白線の収束点であり地平線上に位置する消失点を検出する。そして、この消失点を画像の中央に一致させるようカメラの眺望角度を角度変位させることで、カメラの取付姿勢を正しく調整できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２１５１６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術による取付姿勢の調整を行うためには、正しい消失点を検出できるだけの長くて直線的な車道上に車両を停車させる必要がある。しかしそのような好条件の車道を探すのは容易ではなく、また本当に直線的であるかどうかはユーザ個人の感覚に依存することになるためバラツキが生じやすい。【０００６】
また一方、カメラが撮像した前方画像を利用する画像処理アプリケーションによっては、前方画像の利用目的に応じてそれぞれカメラの撮像方向を設定する必要があり、それら設定では上記消失点を画像中央以外の所定位置に位置させる場合が多い。このような画像処理アプリケーションを頻繁に切り替えるたびに、カメラの取付姿勢を調整すべく上記好条件の車道へ行くのは非常に煩雑であり、また車道上に長時間停車して調整作業を行うことは安全上好ましくない。そのため、車道上以外でも容易かつ正確にカメラの取付姿勢の調整を行える技術が要望されていた。【０００７】
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、請求項１記載の発明は、車両に搭載して当該車両の前方画像を撮像する撮像手段と、当該車両に対する相対的な姿勢関係を調整可能に前記撮像手段を取り付ける調整取付手段と、前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段と、前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、前記設定姿勢パラメータに対する前記車両姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、前記前方画像加工手段が加工した前方画像を表示する表示手段と、を有する。【０００９】
上記課題を解決するために、請求項１０記載の発明は、車両の前方画像を撮像する撮像手段と、前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段と、前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、前記前方画像加工手段が加工した前記前方画像を表示する表示手段と、を有する。【００１０】
上記課題を解決するために、請求項１１記載の発明は、車両の前方画像を撮像する撮像手段と、前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを外部サーバへ送受信して記憶させる通信手段と、前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、前記前方画像加工手段が加工した前記前方画像を表示する表示手段と、を有する。【００１１】
上記課題を解決するために、請求項１２記載の発明は、前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段を有する。【００１２】
上記課題を解決するために、請求項１３記載の発明は、前記姿勢偏差に応じて当該車両に対する前記撮像手段の相対的な姿勢関係を自動的に調整するよう前記撮像手段の取り付け角度を調整する調整駆動機構を備えている。【００１３】
上記課題を解決するために、請求項１３記載の発明は、車両の前方画像を撮像する撮像工程と、前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出工程と、前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定工程と、前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工する前方画像加工工程と、前記前方画像加工工程が加工した前記前方画像を表示する表示工程と、を有する。
【図面の簡単な説明】
【００１４】
【図１】本発明のナビゲーション装置を搭載した車両の構成例を示す斜視図である。
【図２】実施形態のナビゲーション装置のシステム構成の一例を示すブロック図である。
【図３】運転室から見た車窓風景及びこれに対応するディスプレイの表示の一例を示す図である。
【図４】図３に示した姿勢状態のフロントカメラが撮像した前方画像をディスプレイに表示した場合の表示例を表した図である。
【図５】車線輪郭線、車線消失点、及び平均消失点を写し込んだ前方画像をディスプレイに表示した場合の表示例を表した図である。
【図６】車両前方の景観全体例のうち、各種の画像処理アプリケーションに対応する撮像範囲と平均消失点との配置関係の一例を示す図である。
【図７】図６の各撮像範囲における平均消失点を設定基準点とした場合で、元の平均消失点との配置関係の一例を表した図である。
【図８】車両を屋外駐車場に駐車している際に撮像した前方画像の一例を示す図である。
【図９】Ｘ軸方向の偏差成分を無くすよう調整するための調整用画像の一例である。
【図１０】Ｘ軸方向の偏差成分を無くすよう調整した際の調整用画像の一例である。
【図１１】Ｙ軸方向の偏差成分を無くすよう調整するための調整用画像の一例である。
【図１２】Ｙ軸方向の偏差成分を無くすよう調整した際の調整用画像の一例である。
【図１３】イメージングユニットのＣＰＵが実行する制御内容を表すフローチャートの一例である。
【図１４】横方向調整処理で行われる制御内容の詳細を表すフローチャートの一例である。
【図１５】縦方向調整処理で行われる制御内容の詳細を表すフローチャートの一例である。
【図１６】平均消失点を前方画像上の定位置に写し置くために検出する特徴点との相対位置の一例を示す図である。
【図１７】平均消失点をスルー画像の移動に追従表示させる調整用画像の一例である。
【図１８】図９の調整用画像に補助線を追加して表示した場合の一例である。
【図１９】平均消失点を定位置に位置させた移動前の前方画像と、移動中の前方画像とを重複表示させた調整用画像の一例である。
【図２０】ディスプレイの表示領域と相似する矩形領域の抽出を説明する図の一例である。
【図２１】矩形領域を拡大表示した図の一例である。
【図２２】フロントカメラの撮像ロール角を調整するための調整用画像の一例である。
【図２３】クラウド型のナビゲーション装置を搭載した車両とネットワークの構成例を示す斜視図の一例である。
【図２４】電子携帯端末を利用した形態を搭載した車両の構成例を示す斜視図の一例である。
【図２５】各形態での構成要素の分担例を示す図の一例である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態を図面を参照しつつ説明する。
【００１６】
図１は、本発明のナビゲーション装置を搭載した車両の構成例を示す斜視図である。この図１において、ナビゲーション装置１００は、車両Ｖの車内に設置されているルームミラー５１の前方側位置に単独のフロントカメラ１を設けている。フロントカメラ１の撮像方向Ｄｃは、当該車両Ｖの進行方向の前方を撮像可能な姿勢で取り付けられている。なおこの例では、フロントカメラ１は、例えばユニバーサルジョイントを介した取付装置（調整取付手段；特に図示せず）によって車両Ｖに取り付けられており、その撮像方向Ｄｃはヨー方向（水平方向）とピッチ方向（垂直方向）のそれぞれの所定範囲で手動又は電動により可動となっている。このフロントカメラ１は、その姿勢の可動範囲内では、当該車両Ｖの中央前後方向を貫く車両軸の方向Ｄｖを撮像範囲から外さない。
【００１７】
図２は、ナビゲーション装置１００のハードウェア構成例を示すブロック図の一例である。この図２において、ナビゲーション装置１００は、フロントカメラ１、イメージングユニット２、ディスプレイ３を有している。
【００１８】
フロントカメラ１は撮像手段に相当し、例えばＣＣＤ撮像素子などを利用して、上述した当該車両Ｖの進行方向の前方画像を撮像し、対応する信号をイメージングユニット２のＣＰＵ（後述）へ出力する機能を有する。なお、本実施形態の例では、このフロントカメラ１が短い時間間隔で前方画像を撮像し続けることで、前方画像を動画の形態で撮像する。
【００１９】
ディスプレイ３は表示手段に相当し、例えばＬＣＤパネルなどで構成されて、イメージングユニット２のグラフィックコントローラ（後述）から入力された画像信号に基づいて前方画像を表示する機能を有する。
【００２０】
イメージングユニット２は画像処理装置に相当し、ＣＰＵ１１、記憶装置１２、ＧＰＳ１３、車速センサ１４、グラフィックコントローラ１５を有している。
【００２１】
ＣＰＵ１１は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、ナビゲーション装置全体を制御する機能を有する。
【００２２】
記憶装置１２は、ＲＯＭ１２ａ、ＲＡＭ１２ｂ、及び記憶媒体１２ｃを有する。ＲＯＭ１２ａは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。ＲＡＭ１２ｂは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体１２ｃは記憶手段に相当し、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。
【００２３】
ＧＰＳ１３は、車両Ｖの現在地の測位を行い現在位置情報を取得するとともに、予め記憶している地図情報に基づいて所定の経路探索や経路誘導を行う機能を有する。
【００２４】
車速センサ１４は、当該車両Ｖの走行速度を検出する機能を有する。ＣＰＵ１１は、この車速センサ１４の検出信号に基づき、当該車両Ｖが停止中の状態であるか、もしくはどのくらいの走行速度で走行しているか、を識別することができる。なお、車速センサ１４の代わりに、ＧＰＳ１３で取得した現在位置情報に基づき当該車両Ｖの走行速度を検出することも可能である。
【００２５】
グラフィックコントローラ１５は、ＣＰＵ１１の制御によってビデオＲＡＭ（図示せず）及び上記ＧＰＳ１３などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ３に表示させる機能を有する。
【００２６】
図３は、運転室から見た車窓風景及びこれに対応するディスプレイ３の表示の一例を示す図である。この図３に示す例において、上記ディスプレイ３がインストゥルメントパネル５２の中央位置に配置され、当該車両Ｖの左右方向で平行な姿勢で設置されている。
【００２７】
図示する例では、当該車両Ｖはほぼ直線の走行車線を走行しており、その走行方向前方にいる前方車両Ｖｆに追従している状態を示している。ルームミラー５１の裏側（進行方向側）に備えられているフロントカメラ１は、上記直線の走行車線と前方車両Ｖｆを含んだ前方画像を撮像している。このとき、上述したように、フロントカメラ１の撮像範囲は当該車両Ｖの車両軸方向Ｄｖを外さずに含んでいる。そして、ディスプレイ３は、フロントカメラ１が撮像した前方画像を表示している。
【００２８】
ここで、上述したようにフロントカメラ１はその取付姿勢が可動であるため、図示する例のように、その撮像方向Ｄｃが車両軸方向Ｄｖと平行な姿勢関係にない場合がある。このようなズレは、ユーザがフロントカメラ１を任意の位置に取り付けた場合や、手作業で取り付けた場合などにも生じ得る。そこで本実施形態では、フロントカメラ１の取付姿勢の調整する際に、撮像方向Ｄｃと車両軸方向Ｄｖとを任意の姿勢関係に設定できるよう支援する調整用画像をディスプレイ３に表示する。以下、そのような調整用画像の生成手法及び表示例を順次説明する。
【００２９】
まず図４は、上記図３に示した姿勢状態のフロントカメラ１が撮像した前方画像をディスプレイ３に表示した場合の表示例を表している。この図４において、ディスプレイ３の表示領域の中心位置、つまり図中の縦方向、横方向それぞれの中心線Ｌｖ，Ｌｌの交点位置が、車両軸方向Ｄｖから離れている。この場合には、前方画像は中心線Ｌｌに対する左右方向の対称性を損なっており、例えば実際の走行車線がそれぞれ同じ曲率の右カーブと左カーブに変わっても、前方画像上ではそれぞれ異なる曲率で写り込む（図示省略）。
【００３０】
これに対し、図示する例のように平坦な土地で直線状の走行車線を走行している際に撮像した前方画像中においては、走行車線の無限遠方点に相当する車線消失点Ｐ１が、常にその時点の無限遠方の略地平線（略水平線）と、車両軸方向Ｄｖの略延長線との交点上に位置する。このような直線車線上で検出される車線消失点Ｐ１のように、前方画像中において車両軸方向Ｄｖの延長線上付近に位置する点を、以下において車両軸方向点という。フロントカメラ１の撮像方向Ｄｃがどのような方向にあっても、この車両軸方向Ｄｖと車両軸方向点との対応関係は維持されるため、前方画像中における車両軸方向点の位置はその時点で車両軸方向Ｄｖが向いている方向を指標する。
【００３１】
上記車線消失点Ｐ１を検出する手法としては、まず図示するように実際の走行車線の両側に塗布されている白線や、路面と縁石との境界線や、又はアスファルト道路の縁部などを前方画像の画像解析により検出し、当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒとして認識する。そして、これら２本の車線輪郭線Ｌｒの車両進行方向の延長線上の交点が、前方画像上における上記車線消失点Ｐ１として検出される。
【００３２】
ここで例えば図５に示すように、走行車線がカーブ状である場合には、上記２本の車線輪郭線Ｌｒも、前方画像上におけるそのカーブの方向と曲率に合わせて認識される。なお、特に図示しないが、このカーブの曲率が途中で変化する場合には、当該車両Ｖの手前側の曲率を優先して２本の車線輪郭線Ｌｒが認識される。そして手前側の曲率に基づいた近似式でカーブの延長線を算出し、それらの交点位置が車線消失点Ｐ１として検出される。
【００３３】
そして、どの車線で検出される車線消失点Ｐ１も全てが上記車両軸方向点に該当するとは限られず、特に図５に示したような大きく曲がるカーブで検出される車線消失点Ｐ１は車両軸方向Ｄｖの延長線上から大きく外れる。しかし、当該車両Ｖが多様な形状の走行車線を長く走行し、上記車線消失点Ｐ１を多数検出して記録した場合には、それら車線消失点Ｐ１の平均位置に位置する平均消失点Ｐ２は統計的に車両軸方向Ｄｖの延長線上と地平線上に近接する。つまり、平均消失点Ｐ２は、車両ピッチ角水平状態で見た無限遠方地平線上に位置する車両軸方向点と見なすことができる。
【００３４】
また、ディスプレイ３の表示領域の中心位置、つまり上記図４中の縦方向、横方向それぞれの中心線Ｌｖ，Ｌｌの交点位置は、当該フロントカメラ１の撮像方向Ｄｃの到達点に相当する位置と見なせる。以上のことから、ディスプレイ３が表示する前方画像中において上記平均消失点Ｐ２を任意の位置に固定させるようフロントカメラ１の取付姿勢を調整することは、撮像方向Ｄｃと車両軸方向Ｄｖの姿勢関係を任意に設定することに他ならない。なお、上記の平均消失点Ｐ２及び車両軸方向点が、本実施形態における車両姿勢パラメータに相当する。
【００３５】
また一方、撮像した前方画像を利用する画像処理アプリケーションによっては、前方画像の利用目的に応じてそれぞれフロントカメラ１の撮像方向Ｄｃを設定する必要があり、それら設定ではディスプレイ３の表示領域の中央位置以外の所定位置に上記平均消失点Ｐ２を位置させる場合が多い。例えば、図６は上記図４に対応する車両前方の景観全体例を示しており、この図示する例では車線消失点Ｐ１が平均消失点Ｐ２と一致している。この前方景観のうち信号機の点灯表示を検出・解析する画像処理アプリケーションを適用する場合には、地平線上に位置する平均消失点Ｐ２より主に上方の撮像範囲、例えば図中に示す設定撮像範囲Ａ１（点線で表示）で前方画像を撮像することが望ましい。また、車道上の車線を検出・解析する画像処理アプリケーションを適用する場合には、地平線上に位置する平均消失点Ｐ２より主に下方の撮像範囲、例えば図中に示す設定撮像範囲Ａ２（一点鎖線で表示）で前方画像を撮像することが望ましい。また、車道脇の標識を検出・解析する画像処理アプリケーションを適用する場合には、車両軸方向点である平均消失点Ｐ２より主に左方の撮像範囲、例えば図中に示す設定撮像範囲Ａ３（二点鎖線で表示）で前方画像を撮像することが望ましい。
【００３６】
これら設定撮像範囲Ａ１〜Ａ３のそれぞれの場合に対応して、ディスプレイ３の表示領域において平均消失点Ｐ２が位置すべき設定基準点は、図７に示す一例のような設定基準点Ｐａ１〜Ｐａ３となる。いずれかの画像処理アプリケーションを適用する場合には、上記図５で検出した平均消失点Ｐ２を対応する設定基準点Ｐａ１〜Ｐａ３のいずれかに一致させるように、フロントカメラ１の取付姿勢を調整すればよい。なお、設定基準点Ｐａ１〜Ｐａ３が、本実施形態における設定姿勢パラメータに相当する。また、複数の画像処理アプリケーションを並行して適用する場合には、それぞれに対応する設定基準点の平均位置で統合的な設定基準点を設定してもよい。以下においては、本実施形態によって設定基準点Ｐａ１に平均消失点Ｐ２を一致させるようフロントカメラ１の取付姿勢を調整する場合の具体的な例を説明する。
【００３７】
図８は、当該車両Ｖを屋外駐車場に駐車している際に撮像した前方画像の一例を示している。この図８の例の前方画像には、上下方向略中央の高さで左右方向全体に渡って存在する柵２０１と、上下方向略中央の位置から上方に延びて存在する外灯２０２が、表示特徴物として表示されている。
【００３８】
本実施形態の例では、このように当該車両Ｖの撮像した前方画像を停車中に加工処理して、平均消失点Ｐ２と設定基準点Ｐａ１との間の相対的な位置偏差がどれだけあるかを明確かつ直感的に示せる調整用画像を生成し、ディスプレイ３に表示する。なお、前方画像中における上記の位置偏差が、車両姿勢パラメータに対する設定姿勢パラメータの相対的な姿勢偏差に相当する。またこの例では、上記調整用画像を、上記位置偏差の左右方向と上下方向のそれぞれの成分Δｘｉ、Δｙｉごとに分けて生成・表示し、順に各偏差成分Δｘｉ、Δｙｉを無くすようフロントカメラ１の取付姿勢を２回調整させる。
【００３９】
まず、ディスプレイ３の表示領域におけるＸ−Ｙ座標上で、平均消失点Ｐ２と設定基準点Ｐａ１のそれぞれの座標位置があらかじめ既知となっている。これにより、設定基準点Ｐａ１に対する平均消失点Ｐ２の相対的な位置偏差を、Ｘ軸方向成分ΔｘｉとＹ軸方向成分Δｙｉで算出できる。最初にＸ軸方向の偏差成分Δｘｉを無くすよう調整するための調整用画像の一例が、図９に示すように生成される。
【００４０】
この図９の調整用画像は、前方画像を縦方向の分割方向で３つの画像領域に分割している。上端と下端の両方の画像領域には、この調整用画像の生成処理を開始する直前に撮像した前方画像を記憶してそれを負のＸ軸方向偏差成分−Δｘｉだけずらした位置に固定した基準静止画像を表示する。中央の画像領域には、その時点でフロントカメラ１が撮像している前方画像を短い時間間隔で連続して表示しており、つまりリアルタイム動画形式のスルー画像を表示している。なお、図中には理解を容易にするために平均消失点Ｐ２と設定基準点Ｐａ１を点線で示しているが、実際の調整用画像にはこれらを表示させる必要はない。
【００４１】
ユーザは、フロントカメラ１を左右方向に旋回させることで、その旋回方向と逆方向に中央のスルー画像を移動させることができる。そしてユーザがフロントカメラ１を左右方向に旋回操作して、図１０に示す一例のように上下の基準静止画像と中央のスルー画像とを左右方向で一致させる。図示する例では、途中で分断している外灯２０２のズレをなくすように操作すればよい。これにより、Ｘ軸方向の偏差成分Δｘｉを無くすようフロントカメラ１の取付姿勢を調整できる。
【００４２】
次にＹ軸方向の偏差成分Δｙｉを無くすよう調整するための調整用画像の一例が、図１１に示すように生成される。この図１１の調整用画像は、前方画像を横方向の分割方向で３つの画像領域に分割している。左端と右端の両方の画像領域には、上記左右方向の調整後に撮像した前方画像を記憶してそれを負のＹ軸方向偏差成分−Δｙｉだけずらした位置に固定した基準静止画像を表示する。中央の画像領域には、同様にリアルタイム動画形式のスルー画像を表示しており、フロントカメラ１を上下方向に旋回させることで、その旋回方向と逆方向に中央のスルー画像を移動させることができる。そしてユーザがフロントカメラ１を上下方向に旋回操作して、図１２に示す一例のように左右の基準静止画像と中央のスルー画像とを上下方向で一致させる。図示する例では、途中で分断している柵２０１のズレをなくすように操作すればよい。これにより、Ｙ軸方向の偏差成分Δｙｉを無くすようフロントカメラ１の取付姿勢を調整できる。
【００４３】
以上のように、Ｘ軸方向偏差成分ΔｘｉとＹ軸方向偏差成分Δｙｉをそれぞれ無くす２回の取付姿勢の調整操作を行うことで、平均消失点Ｐ２を設定基準点Ｐａ１に一致させることができる。すなわち、撮像方向Ｄｃと車両軸方向Ｄｖとを目的の姿勢関係に調整できる。なお、図示した例では、柵２０１と外灯２０２を含んだ前方画像で調整用画像を生成したおかげで、基準静止画像とスルー画像とのズレを明確に示すことができた。しかし、実際には広い砂漠や海洋上でない限り車両Ｖの周囲に何らかのランドマークや表示物が存在するため、特に調整用の前方画像を考慮して車両Ｖの停車場所を選ぶ必要はない。
【００４４】
図１３は、以上説明した動作態様を実現するために、イメージングユニット２のＣＰＵ１１が実行する制御内容を表すフローチャートの一例である。なお、このフローは、当該ナビゲーション装置１００に電源が入っている間に、例えば適宜の時間間隔で呼び出されて実行を開始する。
【００４５】
図１３において、まずステップＳ５において、車速センサ１４の検出信号に基づき当該車両Ｖが所定速度以上で走行しているか否かを判定する。当該車両Ｖが所定速度以上で走行している場合には、判定が満たされ、ステップＳ１０へ移る。
【００４６】
ステップＳ１０では、前回の車線消失点Ｐ１の検出から所定時間が経過したか否かを判定する。所定時間が経過していない場合には、判定は満たされず、ステップＳ５に戻って同様の手順を繰り返す。このように車線消失点Ｐ１を検出する時間間隔を空けることで、検出する車線消失点Ｐ１の多様性を確保し、検出する平均消失点Ｐ２の信頼性を向上できる。
【００４７】
一方、所定時間を経過した場合には、判定が満たされ、ステップＳ１５へ移る。
【００４８】
ステップＳ１５では、フロントカメラ１で前方画像を撮像する。なお、このステップＳ１５の手順も含めて、常時フロントカメラ１が前方画像を撮像する工程が撮像工程に相当する。
【００４９】
次にステップＳ２０へ移り、上記ステップＳ１５で撮像した前方画像中において、現在の走行車線における２本の車線輪郭線Ｌｒを認識する。なお、このステップＳ２０の手順が、車両輪郭線認識手段に相当する。
【００５０】
次にステップＳ２５へ移り、上記ステップＳ２０で認識した２本の車線輪郭線Ｌｒに基づいて、現在の走行車線における車線消失点Ｐ１を検出する。なお、このステップＳ２５の手順が、車線消失点検出手段及び車両姿勢パラメータ検出手段に相当する。
【００５１】
次にステップＳ３０へ移り、上記ステップＳ２５で検出した車線消失点Ｐ１を記憶媒体１２ｃに蓄積するよう追加記録する。そして、上記ステップＳ５に戻って同様の手順を繰り返す。
【００５２】
また一方、上記ステップＳ５の判定において、当該車両Ｖの走行速度が所定速度未満であった場合、もしくは停車していた場合、判定は満たされず、ステップＳ３５へ移る。
【００５３】
ステップＳ３５では、ユーザからフロントカメラ１の取付姿勢を調整するよう指示する操作が入力されたか否かを判定する。調整を指示する操作が入力されていない場合、判定は満たされず、ステップＳ５に戻って同様の手順を繰り返す。一方、調整を指示する操作が入力されている場合、判定が満たされ、ステップＳ４０へ移る。
【００５４】
ステップＳ４０では、車速センサ１４の検出信号に基づき当該車両Ｖが停車しているか否かを判定する。当該車両Ｖが低速走行中であって停車していない場合には、判定は満たされず、ステップＳ８０において停車していなければ調整処理を行えない旨を警告するエラー処理を行い、ステップＳ５へ戻って同様の手順を繰り返す。
【００５５】
一方、当該車両Ｖが停車していた場合には、判定が満たされ、ステップＳ４５へ移る。
【００５６】
ステップＳ４５では、その時点で既に信頼性の高い平均消失点Ｐ２を検出できるだけの十分な数で車線消失点Ｐ１を検出、記憶しているか否かを判定する。その時点でまだ検出数が十分でない場合、判定は満たされず、ステップＳ８０において車線消失点Ｐ１の検出数が足りない旨を報知するエラー処理を行い、ステップＳ５へ戻って同様の手順を繰り返す。
【００５７】
一方、その時点で既に信頼性の高い平均消失点Ｐ２を検出できるだけの十分な数で車線消失点Ｐ１を検出、記憶している場合、判定が満たされ、ステップＳ５０へ移る。
【００５８】
ステップＳ５０では、適用する画像処理アプリケーションの選択入力を受け付ける。
【００５９】
次にステップＳ５５へ移り、上記ステップＳ５０で選択した画像処理アプリケーションに対応する設定基準点Ｐａ１を読み出す。なお、このステップＳ５５の手順が、設定姿勢パラメータ設定手段及び設定姿勢パラメータ設定工程に相当する。
【００６０】
次にステップＳ６０へ移り、記憶媒体１２ｃに記録されている全ての車線消失点Ｐ１を読み出す。
【００６１】
次にステップＳ６５へ移り、上記ステップＳ６０で読み出した全ての車線消失点Ｐ１の平均位置に位置する平均消失点Ｐ２を検出する。なお、このステップＳ６５の手順が、車両姿勢パラメータ検出手段、平均消失点検出手段、及び車両姿勢パラメータ検出工程に相当する。
【００６２】
次にステップＳ７０へ移り、設定基準点Ｐａ１に対する平均消失点Ｐ２の相対的な位置偏差を、Ｘ軸方向成分ΔｘｉとＹ軸方向成分Δｙｉで算出する。
【００６３】
次にステップＳ１００へ移り、上記ステップＳ７０で算出したＸ軸方向偏差成分Δｘｉを無くすための調整用画像の生成と表示を行い、ユーザにフロントカメラ１のヨー方向の取付姿勢の調整を行わせる横方向調整処理を行う（後述の図１４参照）。
【００６４】
次にステップＳ２００へ移り、上記ステップＳ７０で算出したＹ軸方向偏差成分Δｙｉを無くすための調整用画像の生成と表示を行い、ユーザにフロントカメラ１のピッチ方向の取付姿勢の調整を行わせる縦方向調整処理を行う（後述の図１５参照）。
【００６５】
次にステップＳ７５へ移り、ディスプレイ３にフロントカメラ１の取付姿勢の調整が完了した旨を表示する。そして、ステップＳ５に戻り同様の手順を繰り返す。
【００６６】
図１４は、上記ステップＳ１００の横方向調整処理で行われる制御内容の詳細を表すフローチャートの一例である。
【００６７】
図１４において、まずステップＳ１０５において、Ｘ軸方向偏差成分Δｘｉの絶対値が適宜設定された所定値以下であるか否かを判定する。これにより、初めから設定基準点Ｐａ１と平均消失点Ｐ２とがほぼ同じ左右方向位置にある場合に、無用な横方向調整処理を回避できる。Ｘ軸方向偏差成分Δｘｉの絶対値が所定値以下である場合、判定が満たされ、ステップＳ１１０へ移る。
【００６８】
ステップＳ１１０では、ディスプレイ３に横方向の調整が不要であることを表示し、このフローを終了する。
【００６９】
一方、上記ステップＳ１０５の判定において、Ｘ軸方向偏差成分Δｘｉの絶対値が所定値より大きかった場合、判定は満たされず、ステップＳ１１５へ移る。
【００７０】
ステップＳ１１５では、その時点でフロントカメラ１が撮像している前方画像を縦方向に３分割して、その上端と下端の基準静止画像を記憶する。
【００７１】
次にステップＳ１２０へ移り、上記ステップＳ１１５で記憶した上端と下端の基準静止画像を、それぞれ横方向に−Δｘｉだけ移動させた位置で固定表示する。なお、上記ステップＳ１１５とこのステップＳ１２０の手順が、前方画像加工手段及び前方画像加工工程に相当する。
【００７２】
次にステップＳ１２５へ移り、ユーザに対してフロントカメラ１の取付姿勢を調整するよう指示する旨をディスプレイ３に表示する。
【００７３】
次にステップＳ１３０へ移り、ユーザから手作業による取付姿勢の調整操作が完了したことを示す入力操作があったか否かを判定し、入力操作が判定されるまでループ待機する。入力操作があった場合、ステップＳ１３５へ移る。なお、このステップＳ１３０のループ待機中において、ディスプレイ３が調整用画像を逐次表示する工程が表示工程に相当する。
【００７４】
ステップＳ１３５では、その時点で残留している横方向成分の偏差が所定値以下となっているか否かを判定する。これにより、横方向の調整が正しく完了したかを高い精度でチェックできる。なお、横方向残留偏差は、例えば中央のスルー画像中における適宜の特徴点を画像認識して、その横方向の移動量とＸ軸方向偏差成分Δｘｉとの比較により算出できる。横方向残留偏差がまだ所定値より大きかった場合、判定は満たされず、ステップＳ１４０でエラー処理を行ってからステップＳ１３０に戻り、同様の手順を繰り返す。
【００７５】
一方、横方向残留偏差が所定値以下であった場合、判定が満たされ、ステップＳ１４５へ移る。
【００７６】
ステップＳ１４５では、ユーザに対してフロントカメラ１の横方向の取付姿勢の調整が完了した旨をディスプレイ３に表示し、このフローを終了する。
【００７７】
図１５は、上記ステップＳ２００の縦方向調整処理で行われる制御内容の詳細を表すフローチャートの一例である。この縦方向調整処理のフローは、基本的に上記横方向調整処理と同等の制御内容であり、各手順におけるＸ軸方向偏差成分ΔｘｉをＹ軸方向偏差成分Δｙｉに、縦方向を横方向に、上端・下端を左端・右端に、横方向残留偏差を縦方向残留偏差に置き換えて実行されるだけであるため、ここでは説明を省略する。なお、上記図１４のステップＳ１１５とステップＳ１２０に対応する、ステップＳ２１５とステップＳ２２０の手順が、前方画像加工手段及び前方画像加工工程に相当する。また、上記ステップＳ１３０に対応するステップＳ２３０のループ待機中において、ディスプレイ３が調整用画像を逐次表示する工程が表示工程に相当する。
【００７８】
以上説明したように、上記実施形態のナビゲーション装置１００においては、車両Ｖに搭載して当該車両Ｖの前方画像を撮像するフロントカメラ１（撮像手段に相当）と、当該車両Ｖに対する相対的な姿勢関係を調整可能に前記フロントカメラ１を取り付ける取付装置（調整取付手段に相当）と、前記前方画像中において、その時点の当該車両Ｖの姿勢状態を表す車両姿勢パラメータを検出するステップＳ６５の手順（車両姿勢パラメータ検出手段に相当）と、前記ステップＳ６５の手順が検出した前記車両姿勢パラメータを記憶する記憶媒体１２ｃ（記憶手段に相当）と、前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定するステップＳ５５の手順（設定姿勢パラメータ設定手段に相当）と、前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工するステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順（前方画像加工手段に相当）と、これらの手順で加工した前記前方画像を表示するディスプレイ３（表示手段に相当）と、を有する。
【００７９】
また、上記実施形態のナビゲーション装置１００が実行する前方画像表示方法においては、車両Ｖの前方画像を撮像するフロントカメラ１の撮像工程と、前記前方画像中において、その時点の当該車両Ｖの姿勢状態を表す車両姿勢パラメータを検出するステップＳ６５の手順（車両姿勢パラメータ検出工程に相当）と、前記前方画像の利用目的に応じて前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定するステップＳ５５の手順（設定姿勢パラメータ設定工程に相当）と、前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差に対応した表示態様で前記前方画像を加工するステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順（前方画像加工工程に相当）と、これらの手順で加工した前記前方画像を表示するディスプレイ３の表示工程と、を有する。
【００８０】
このようにすると、ユーザは、ステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順で加工してディスプレイ３に表示された前方画像（つまり調整用画像）を参照することで、その時点の車両姿勢パラメータと、前方画像の利用目的に応じて当該車両姿勢パラメータが取るべき設定姿勢パラメータとの間の姿勢偏差を明確かつ直感的に認識できる。そして、ユーザはこの姿勢偏差を無くすように、取付装置を介して車両Ｖに取り付けられたフロントカメラ１の取付姿勢を調整することができる。
【００８１】
ここで、上記車両姿勢パラメータは車道上で検出されるものの一旦は記憶媒体１２ｃに記憶され、また設定姿勢パラメータはあらかじめ画像処理アプリケーションごとに設定されているものである。このため、車道上以外で撮像した前方画像に対しても、その時点で車両姿勢パラメータと設定姿勢パラメータを読み出して、上記のステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順により適切な調整用画像に加工することができる。この結果、それを参照するユーザは車道上以外でも容易かつ正確にフロントカメラ１の取付姿勢の調整を行える。
【００８２】
また、ナビゲーション装置１００においては、前記取付装置は、当該車両Ｖの車両軸方向Ｄｖに対する前記フロントカメラ１の撮像方向Ｄｃの姿勢関係を調整可能であり、前記車両姿勢パラメータは、前記前方画像中においてその時点の当該車両Ｖの車両軸方向Ｄｖの延長線上又はその近傍に位置する車両軸方向点であり、前記設定姿勢パラメータは、前記前方画像の利用目的に応じて前記車両軸方向点が位置するべき設定基準点Ｐａ１であり、前記ステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順は、前記設定基準点Ｐａ１に対する前記車両軸方向点の相対的な位置偏差（姿勢偏差に相当）に対応した表示態様で前記前方画像を加工する。
【００８３】
このように車両姿勢パラメータと設定姿勢パラメータとの間の姿勢偏差を無くすようフロントカメラ１の取付姿勢を調整することは、すなわち、前方画像の利用目的に応じて車両軸方向Ｄｖと撮像方向Ｄｃとの間の姿勢関係を調整することになる。これにより、車両前方の広い景観全体のうち、当該前方画像の利用目的に応じた撮像範囲で前方画像を撮像できる。
【００８４】
また、ナビゲーション装置１００においては、前記ステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順で、前記前方画像をその縦方向又は横方向のいずれかの分割方向で複数の画像領域に分割し、それら複数の画像領域のうちのいずれかの画像領域では前記分割方向と異なる方向での前記位置偏差の成分Δｘｉ、Δｙｉだけずらして固定し、他の画像領域ではその時点で撮像された前記前方画像を表示するよう加工する。
【００８５】
このようにすると、前方画像に表示されている周囲のランドマークや表示物のいくつかが画像領域の分割によって分断され、それらが位置偏差の成分Δｘｉ、Δｙｉだけズレて表示される。これによりユーザは、設定基準点Ｐａ１と車両軸方向点との間の偏差成分Δｘｉ、Δｙｉを明確かつ直感的に認識できる。そしてユーザは、分断された画像領域間のズレをなくすようにフロントカメラ１の取付姿勢を調整操作することで、容易かつ正確に偏差成分Δｘｉ、Δｙｉを無くすようフロントカメラ１の取付姿勢を調整できる。
【００８６】
また、ナビゲーション装置１００においては、前記前方画像中において、当該車両Ｖの走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒを認識するステップＳ２０手順（車線輪郭線認識手段に相当）と、前記２本の車線輪郭線Ｌｒのそれぞれの前記進行方向の延長線上の交点を車線消失点Ｐ１として検出するステップＳ２５の手順（車線消失点検出手段に相当）と、前記ステップＳ２５の手順で過去に検出した複数の前記車線消失点Ｐ１のそれぞれの平均位置に位置する平均消失点Ｐ２を検出するステップＳ６５の手順（平均消失点検出手段に相当）と、を有し、前記ステップＳ６５の手順は、前記平均消失点Ｐ２を前記車両軸方向点として検出する。
【００８７】
このようにすると、前方画像中において車両軸方向Ｄｖの延長上近傍に位置する平均消失点Ｐ２を車両軸方向点としてほぼ正しく検出できる。
【００８８】
なお、上記実施形態では、車線消失点Ｐ１を多様な走行車線で検出して、それらの平均位置にある平均消失点Ｐ２を車両軸方向点として検出したが、本発明はこれに限られない。例えば、イメージングユニット２のＧＰＳ１３の機能を利用して、当該車両Ｖがその時点で略直線状の走行車線を走行していると検知した際にフロントカメラ１が撮像した前方画像で検出した車線消失点Ｐ１を車両軸方向点として検出してもよい。
【００８９】
また、上記実施形態のナビゲーション装置１００においては、フロントカメラ１を車両Ｖに取り付ける取付装置が、ユーザの手作業によって調整する手動調整の構成としていたが、本発明はこれに限られない。他にも、特に図示説明は省略するが、取付装置が、前記位置偏差に応じて当該車両Ｖに対する前記フロントカメラ１の相対的な姿勢関係を自動的に調整するよう、例えばモータなどの駆動によって前記フロントカメラ１の取付姿勢を調整する調整駆動機構を備えてもよい。このようにすると、ユーザによる調整の手間が省けるとともに高い精度での調整が可能となり、また場合によっては調整用画像の表示も不要となる。
【００９０】
また、上記実施形態のナビゲーション装置１００においては、ディスプレイ３のＸ−Ｙ座標表示領域上で、Ｘ軸方向とＹ軸方向のそれぞれで表示領域全体を複数分割して表示する２種類の調整用画像を生成表示したが、本発明はこれに限られない。例えば、表示領域中に設定基準点Ｐａ１を所定位置で固定表示する一方、平均消失点Ｐ２についてはフロントカメラ１の撮像方向Ｄｃの移動に伴う前方画像の移動に対応して追従移動させて表示するよう調整用画像を生成表示してもよい。
【００９１】
この場合には、あらかじめ平均消失点Ｐ２を前方画像上の定位置に写し置く必要がある。つまり、記憶媒体１２ｃにおいては、平均消失点Ｐ２及び設定基準点Ｐａ１のいずれもディスプレイ３のＸ−Ｙ座標表示領域上の座標位置情報（例えば（ｘ、ｙ））として記憶されている。しかし、そのうちの平均消失点Ｐ２については、図１６の一例に示すように、当該車両Ｖが調整のために停車した場所で撮像した前方画像中において、当該平均消失点Ｐ２に最も近い特徴点Ｐｃに対してどのくらいの相対位置（図示する例では（Δｘｐ、Δｙｐ））にあるかを検出して記憶する。なお、特徴点Ｐｃとは、前方画像がどのように移動してもその中から画像認識によって確実にその存在位置が認識可能な特徴的な定点であり、例えば図示する例のように矩形の表示物の角や、車線の端部や鉄塔の先端などがある。
【００９２】
このように、最も近い特徴点Ｐｃに対する平均消失点Ｐ２の相対位置を検出・記憶することで、平均消失点Ｐ２を前方画像上の定位置に写し置くことができる。そして、フロントカメラ１の旋回により前方画像がどのように移動しても、その中の特徴点Ｐｃの位置を画像認識で認識し、その移動に合わせて平均消失点Ｐ２を追従表示できる。そして他方の設定基準点Ｐａ１は、上述したように、ディスプレイ３のＸ−Ｙ座標表示領域上の所定座標位置に固定表示されており、フロントカメラ１の旋回により前方画像がどのように移動してもＸ−Ｙ座標表示領域上の表示位置は変わらない。
【００９３】
ユーザは、このように生成・表示された調整用画像を参照し、図１７の一例に示すように前方画像上の定位置の平均消失点Ｐ２を、表示座標上の所定座標位置の設定基準点Ｐａ１に一致させるようフロントカメラ１を旋回してその取付姿勢を調整操作することで、容易かつ正確に偏差成分Δｘｉ、Δｙｉを無くすよう調整できる。なお、上記実施形態の調整用画像では横方向と縦方向の２回に分けて表示して調整操作したところ、この調整用画像を用いれば１度の調整操作で済む利点がある。
【００９４】
なお、上述したように平均消失点Ｐ２を前方画像上の定位置に写し置く手法を用いて、上記実施形態で使用した調整用画像のスルー画像中においても平均消失点Ｐ２を追従表示させることができる。さらに、基準静止画像中に固定した設定基準点Ｐａ１や、追従表示する平均消失点Ｐ２のそれぞれを上下方向又は左右方向に通過する補助線を併せて表示することで、ユーザがより明確に偏差成分Δｘｉ、Δｙｉを視認でき、調整操作を正確に行える。
【００９５】
例えば、左右方向の調整を行うための調整用画像の一例である上記図９に対応する図１８に示すように、上下端それぞれの基準静止画像中においては設定基準点Ｐａ１と同じＸ軸方向位置で上下方向に引いた補助線３０１，３０２を固定表示し、中央のスルー画像においては追従表示する平均消失点Ｐ２と同じＸ軸方向位置で上下方向に引いた補助線３０３を同じく追従表示する。ユーザは、スルー画像中の補助線３０３が基準静止画像中の２本の補助線３０１，３０２とＸ軸方向で一致させるよう調整すればよい。このような調整用画像を生成、表示することで、ユーザは調整操作中においてもリアルタイムに偏差成分Δｘｉの増減を明確に視認でき、調整操作を正確に行える。
【００９６】
また、上述した以外の他の調整用画像として、例えば図１９の一例に示すように、ディスプレイ３の表示座標における所定位置に設定基準点Ｐａ１を固定して表示する。それとともに、フロントカメラ１の撮像方向Ｄｃを移動させる前に撮像して平均消失点Ｐ２を定位置に位置させた前方画像（図中の点線で表示）と、フロントカメラ１の撮像方向Ｄｃの移動に対応してその時点で撮像した前方画像（図中の実線で表示）とを、半透過処理により重複表示させた調整用画像も適用可能である。
【００９７】
この場合には、平均消失点Ｐ２を定位置に位置させた前方画像（図中の点線で表示）を見本として、その時点に撮像した前方画像（図中の実線で表示）を移動させて見本の前方画像と同様に設定基準点Ｐａ１が重複するようフロントカメラ１の取付姿勢を調整操作すればよい。図１９に示す例では、見本の前方画像で外灯２０２の基台の左脇に平均消失点Ｐ２が位置しているので、それと同様に設定基準点Ｐａ１が外灯２０２の基台の左脇に位置させるように調整操作すればよい。
【００９８】
この場合でも、１度の調整操作で容易に偏差成分Δｘｉ、Δｙｉを無くすよう調整でき、さらに上述したように平均消失点Ｐ２を前方画像上の定位置に写し置いて画像認識により追従表示させる処理が必要ないためＣＰＵ１１の処理負担を軽減できる。
【００９９】
また、フロントカメラ１の取付姿勢を調整せずとも、平均消失点Ｐ２と設定基準点Ｐａ１との間の偏差成分Δｘｉ、Δｙｉを無くす方法がある。例えば、図２０の一例に示すように、まず設定基準点Ｐａ１を始点としてディスプレイ３の表示領域の４箇所の頂点をそれぞれ終点とした４つの相対位置ベクトル
2013030932.tif 000003
を算出する。そして、これら４つの相対位置ベクトル
2013030932.tif 000004
をそれぞれ平均消失点Ｐ２を始点として再配置する。
【０１００】
ここで、４つの相対位置ベクトル
2013030932.tif 000005
上にそれぞれ同時に４頂点が位置する矩形領域は、ディスプレイ３の表示領域と縦横比が同じであって、当該表示領域中における設定基準点Ｐａ１の配置位置と当該矩形領域中における平均消失点Ｐ２の配置位置とが相似する。そこで、ディスプレイ３の表示領域中で上記条件を満たす最大の矩形領域の画像部分を抽出し、それを図２１の一例に示すようにディスプレイ３の表示領域全体で拡大表示することで、表示領域座標中の設定基準点Ｐａ１と前方画像中の平均消失点Ｐ２とを一致させて表示できる。つまり、平均消失点Ｐ２と設定基準点Ｐａ１との間の偏差成分Δｘｉ、Δｙｉを無くすことができる。
【０１０１】
以上においては、フロントカメラ１の取付姿勢のヨー角とピッチ角を調整することにより、車両Ｖの車両軸方向Ｄｖとフロントカメラ１の撮像方向Ｄｃとの間の相対的な姿勢関係を調整していた。本発明はこれに限られず、他にも取付装置がフロントカメラ１の撮像方向Ｄｃ周りの撮像ロール角を調整可能とし、車両Ｖの左右方向の水平基準とフロントカメラ１の水平基準との相対的なロール角偏差を調整してもよい。
【０１０２】
この場合の調整用画像としては、例えば図２２に示すように前方画像の略中央位置に円形画像領域を分割し、当該円形画像領域以外の画像領域を当該円形画像領域の中心周りに上記ロール角偏差だけ回転させて固定し、円形画像領域ではその時点で撮像された前方画像をスルー画像として表示する。
【０１０３】
ここで、上記ロール角偏差について説明すると、特に図示しないが、例えば過去に検出した多数の車線消失点Ｐ１からそれらを平均化した直線を算出し、この直線を前方画像中においてその時点の当該車両Ｖの左右方向の水平基準に対応する車両水平基準線とする。また一方、ディスプレイ３は、その矩形の表示領域の上辺及び表示座標のＸ軸方向が、車両Ｖの左右方向の水平基準と平行となるよう設置されていることを前提とする。その上で、車両Ｖの左右方向の水平基準とフロントカメラ１の水平基準とが平行な姿勢関係となるよう取付姿勢を調整する場合には、ディスプレイ３の表示領域の上辺及び表示座標のＸ軸方向と平行な仮想直線（図示省略）を設定水平基準線に設定し、前方画像中における上記車両水平基準線と設定水平基準線との間の偏差角で上記ロール角偏差を検出すればよい。
【０１０４】
図２２に示す例では、調整前に撮像した前方画像中の車両水平基準線が柵２０１の上辺と平行であり、ディスプレイ３のＸ軸に対してこの柵２０１の上辺が成す角度がロール角偏差となる。調整用画像では、円形画像領域以外の画像領域を当該円形画像領域の中心周りに上記ロール角偏差だけ回転させて基準静止画像として固定表示すればよい。ユーザは、フロントカメラ１の撮像ロール角を調整操作してスルー画像を回転させ、周囲の画像とのズレを無くすことで、車両Ｖの左右方向の水平基準とフロントカメラ１の水平基準とを平行にできる。
【０１０５】
なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。
【０１０６】
（１）車両軸方向点を外部のデータベースに記憶させる場合
上記実施形態では、ナビゲーション装置１００が自ら検出した車線消失点Ｐ１や平均消失点Ｐ２を、その内部に備えた記憶媒体１２ｃに記憶させて調整用に利用するいわゆるスタンドアローン型であったが、本発明はこれに限られない。例えば、図２３に示すように、ナビゲーション装置１００Ａが無線通信装置２１（通信手段に相当）とアンテナ２２を備え、中継局２３との無線通信を介した通信ネットワークで外部のデータセンター２４に備えたデータベースサーバ２５に車線消失点Ｐ１や平均消失点Ｐ２を記憶させるいわゆるクラウド型としてもよい。
【０１０７】
これにより、ナビゲーション装置１００Ａの記憶媒体１２ｃの方で過去の車線消失点Ｐ１を誤って消去してしまった場合でも、データセンター２４のデータベースサーバ２５に記憶させた車線消失点Ｐ１をバックアップとして利用できる。
【０１０８】
（２）電子携帯端末を利用して構成する場合
上記実施形態及び上記第１変形例は、いずれも車両Ｖに搭載する機器構成がナビゲーション装置１００、１００Ａだけであったが、本発明はこれに限られない。近年では市販のスマートフォンや電子書籍端末などの電子携帯端末３１にカメラとディスプレイを装備しているモデルが多く、これを例えば取付姿勢の調整可能なクレードル３２に着脱可能に取り付けて車両Ｖに搭載する場合がある（図２４参照）。そして、この電子携帯端末３１に前方画像を撮像させ、同じ電子携帯端末３１が備えるＣＰＵに所定の画像処理アプリケーションで解析処理させることで、簡易な運転支援画像処理ユニット３００として機能させることができる。このような構成の運転支援画像処理ユニット３００においても、上記実施形態で例示した調整用画像を生成・表示させて、電子携帯端末３１全体の取付姿勢を調整することができる。
【０１０９】
この場合には、電子携帯端末３１が画像表示装置に相当し、これに装備されているカメラが撮像手段に相当し、当該電子携帯端末３１のＣＰＵが処理する制御手順のうち例えば平均消失点Ｐ２及び車両水平基準線を車両姿勢パラメータとして検出する手順が車両姿勢パラメータ検出手段に相当し、これら車両姿勢パラメータを記憶する記憶部が記憶手段に相当し、例えば設定基準点Ｐａ１や設定水平基準線を設定する手順が設定姿勢パラメータ設定手段に相当し、調整用画像を生成する手順が前方画像加工手段に相当し、電子携帯端末３１に装備されているディスプレイが表示手段に相当し、当該電子携帯端末３１を車両Ｖに取り付けるクレードル３２が調整装置に相当する。
【０１１０】
また、特に図示しないが、電子携帯端末３１を利用した構成でも上述したクラウド型とすることは可能である。この場合には、電子携帯端末３１において記憶手段の代わりに通信手段が備えられ、データセンター２４のデータベースサーバ２５が車両姿勢パラメータを記憶するサーバに相当する。
【０１１１】
なお、以上説明した実施形態、第１変形例、及び第２変形例はいずれも必要とする基本的な構成要素及び処理内容は同じであり、構成機器間におけるそれらの分担が相違するだけである。これらの分担の主な例を図２５に示す。
【０１１２】
図２５の構成要素における処理部とは、車両姿勢パラメータや設定姿勢パラメータの検出処理やそれらパラメータを用いた調整用画像の生成処理を行うＣＰＵに相当するものであり、記憶部は車両姿勢パラメータを記憶する記憶媒体１２ｃやデータベースサーバに相当するものであり、カメラ取付部は上記取付装置やクレードル３２に相当するものであり、通信部は上記無線通信装置２１に相当するものである。また構成機器における携帯端末にはカメラの装備が必須であり、車載装置にはカメラ取付部の装備が必須であり、データセンターには記憶部の装備が必須である。そのうちクラウド型の場合には、携帯端末と車載装置のいずれかとデータセンターに通信部の装備が必須である。
【０１１３】
図示する分担例以外でも、ディスプレイと処理部は、それぞれ携帯端末と車載装置のいずれかが装備すればよく、記憶部は、携帯端末と車載装置のいずれかが装備すればよい。また、携帯端末利用形態において、車載装置がディスプレイ、処理部、記憶部、調整駆動機構を備えたカメラ取付部、及び通信部のいずれかを備える場合には、携帯端末とクレードルとがコネクタなどを介して情報信号を送受可能に装着できる必要がある。
【０１１４】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【符号の説明】
【０１１５】
１              フロントカメラ（撮像手段に相当）
２              イメージングユニット
３              ディスプレイ（表示手段に相当）
１１            ＣＰＵ
１３            ＧＰＳ
１４            車速センサ
１５            グラフィックコントローラ
２１            無線通信装置（通信手段に相当）
２５            データベースサーバ（サーバに相当）
３１            電子形態端末（画像表示装置に相当）
３２            クレードル（調整装置に相当）
１００          ナビゲーション装置
３００          運転支援画像処理ユニット
Ｄｃ            撮像方向
Ｄｖ            車両軸方向
Ｌｒ            車線輪郭線
Ｐ１            車線消失点
Ｐ２            平均消失点
Ｐａ１〜Ｐａ４  設定基準点
Ｖ              車両
【図１】
2013030932.tif 000006
【図２】
2013030932.tif 000007
【図３】
2013030932.tif 000008
【図４】
2013030932.tif 000009
【図５】
2013030932.tif 000010
【図６】
2013030932.tif 000011
【図７】
2013030932.tif 000012
【図８】
2013030932.tif 000013
【図９】
2013030932.tif 000014
【図１０】
2013030932.tif 000015
【図１１】
2013030932.tif 000016
【図１２】
2013030932.tif 000017
【図１３】
2013030932.tif 000018
【図１４】
2013030932.tif 000019
【図１５】
2013030932.tif 000020
【図１６】
2013030932.tif 000021
【図１７】
2013030932.tif 000022
【図１８】
2013030932.tif 000023
【図１９】
2013030932.tif 000024
【図２０】
2013030932.tif 000025
【図２１】
2013030932.tif 000026
【図２２】
2013030932.tif 000027
【図２３】
2013030932.tif 000028
【図２４】
2013030932.tif 000029
【図２５】
2013030932.tif 000030
【手続補正書】
【提出日】平成25年9月5日(2013.9.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両に搭載して当該車両の前方画像を撮像する撮像手段と、
当該車両に対する相対的な姿勢関係を調整可能に前記撮像手段を取り付ける調整取付手段と、
前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、
前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段と、
前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、
前記設定姿勢パラメータに対する前記車両姿勢パラメータの相対的な姿勢偏差の量を示す表示態様となるように前記前方画像を加工する前方画像加工手段と、
前記前方画像加工手段が加工した前方画像を表示手段に表示させる表示制御手段と、を有する
ことを特徴とするナビゲーション装置。
【請求項２】
請求項１記載のナビゲーション装置において、
前記調整取付手段は、当該車両の車両軸方向に対する前記撮像手段の撮像方向の姿勢関係を調整可能であり、
前記車両姿勢パラメータは、前記前方画像中においてその時点の当該車両の車両軸方向の延長線上又はその近傍に位置する車両軸方向点であり、
前記設定姿勢パラメータは、前記前方画像の利用目的に応じて前記車両軸方向点が位置するべき設定基準点であり、
前記前方画像加工手段は、前記設定基準点に対する前記車両軸方向点の相対的な位置偏差の量を示す表示態様となるように前記前方画像を加工する
ことを特徴とするナビゲーション装置。
【請求項３】
請求項２記載のナビゲーション装置において、
前記前方画像加工手段は、前記前方画像をその縦方向又は横方向のいずれかの分割方向で複数の画像領域に分割し、それら複数の画像領域のうちのいずれかの画像領域では前記分割方向と異なる方向での前記位置偏差の成分だけずらして固定し、他の画像領域ではその時点で撮像された前記前方画像を表示するよう加工することを特徴とするナビゲーション装置。
【請求項４】
請求項２記載のナビゲーション装置において、
前記前方画像加工手段は、前記表示手段の表示座標における所定位置に固定した前記設定基準点を表示するとともに、前記撮像手段の撮像方向の移動に伴う前方画像の移動に対応して、当該前方画像中の定位置に位置させた前記車両軸方向点も移動表示するよう加工することを特徴とするナビゲーション装置。
【請求項５】
請求項２記載のナビゲーション装置において、
前記前方画像加工手段は、前記表示手段の表示座標における所定位置に固定して前記設定基準点を表示するとともに、前記撮像手段の撮像方向を移動させる前に撮像して前記車両軸方向点を定位置に位置させた前方画像と、前記撮像手段の撮像方向の移動に対応してその時点に撮像した前方画像とを、半透過処理により重複させて表示するよう加工することを特徴とするナビゲーション装置。
【請求項６】
請求項２乃至５のいずれか１項に記載のナビゲーション装置において、
前記前方画像中において、当該車両の走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線を認識する車線輪郭線認識手段と、
前記２本の車線輪郭線のそれぞれの前記進行方向の延長線上の交点を車線消失点として検出する車線消失点検出手段と、
前記車線消失点検出手段が過去に検出した複数の前記車線消失点のそれぞれの平均位置に位置する平均消失点を検出する平均消失点検出手段と、を有し、
前記車両姿勢パラメータ検出手段は、前記平均消失点を前記車両軸方向点として検出する
ことを特徴とするナビゲーション装置。
【請求項７】
請求項１記載のナビゲーション装置において、
前記調整取付手段は、当該車両の左右方向の水平基準に対する前記撮像手段の  撮像ロール角の姿勢関係を調整可能であり、
前記車両姿勢パラメータは、前記前方画像中においてその時点の当該車両の左右方向の水平基準に対応する車両水平基準線であり、
前記設定姿勢パラメータは、前記車両水平基準線と平行となるべき設定水平基準線であり、
前記前方画像加工手段は、前記設定水平基準線に対する前記車両水平基準線の相対的なロール角偏差の量を示す表示態様となるよう前記前方画像を加工する
ことを特徴とするナビゲーション装置。
【請求項８】
請求項７記載のナビゲーション装置において、
前記前方画像加工手段は、前記前方画像の略中央位置に円形画像領域を分割し、当該円形画像領域とそれ以外の画像領域のいずれかの一方の画像領域を当該円形画像領域の中心周りに前記ロール角偏差だけ回転させて固定し、他方の画像領域ではその時点で撮像された前記前方画像を表示するよう加工することを特徴とするナビゲーション装置。
【請求項９】
請求項１乃至８のいずれか１項に記載のナビゲーション装置において、
前記調整取付手段は、前記姿勢偏差に応じて当該車両に対する前記撮像手段の相対的な姿勢関係を自動的に調整するよう前記撮像手段の取付姿勢を調整する調整駆動機構を備えていることを特徴とするナビゲーション装置。
【請求項１０】
車両の前方画像を撮像する撮像手段と、
前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、
前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段と、
前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、
前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差の量を示す表示態様となるように前記前方画像を加工する前方画像加工手段と、
前記前方画像加工手段が加工した前記前方画像を表示手段に表示させる表示制御手段と、を有する
ことを特徴とする画像表示制御装置。
【請求項１１】
車両に搭載された表示手段に表示させる画像を制御する画像表示制御装置が実行する前方画像表示制御方法であって、
車両の前方画像を撮像する撮像工程と、
前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出工程と、
前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定工程と、
前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差の量を示す表示態様となるように前記前方画像を加工する前方画像加工工程と、
前記前方画像加工工程が加工した前記前方画像を前記表示手段に表示させる表示制御工程と、を有する
ことを特徴とする前方画像表示制御方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、車両に搭載して進行方向の前方画像を撮像するカメラの取付姿勢を調整するナビゲーション装置、画像表示制御装置、サーバ、調整装置、及び前方画像表示制御方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記課題を解決するために、請求項１記載の発明は、車両に搭載して当該車両の前方画像を撮像する撮像手段と、当該車両に対する相対的な姿勢関係を調整可能に前記撮像手段を取り付ける調整取付手段と、前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段と、前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、前記設定姿勢パラメータに対する前記車両姿勢パラメータの相対的な姿勢偏差の量を示す表示態様となるように前記前方画像を加工する前方画像加工手段と、前記前方画像加工手段が加工した前方画像を表示手段に表示させる表示制御手段と、を有する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記課題を解決するために、請求項１０記載の発明は、車両の前方画像を撮像する撮像手段と、前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出手段と、前記車両姿勢パラメータ検出手段が検出した前記車両姿勢パラメータを記憶する記憶手段と、前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定手段と、前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差の量を示す表示態様となるように前記前方画像を加工する前方画像加工手段と、前記前方画像加工手段が加工した前記前方画像を表示手段に表示させる表示制御手段と、を有する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
上記課題を解決するために、請求項１１記載の発明は、車両に搭載された表示手段に表示させる画像を制御する画像表示制御装置が実行する前方画像表示制御方法であって、車両の前方画像を撮像する撮像工程と、前記前方画像中において、その時点の当該車両の姿勢状態を表す車両姿勢パラメータを検出する車両姿勢パラメータ検出工程と、前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定する設定姿勢パラメータ設定工程と、前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差の量を示す表示態様となるように前記前方画像を加工する前方画像加工工程と、前記前方画像加工工程が加工した前記前方画像を前記表示手段に表示させる表示制御工程と、を有する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
グラフィックコントローラ１５は表示制御手段に相当し、ＣＰＵ１１の制御によってビデオＲＡＭ（図示せず）及び上記ＧＰＳ１３などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ３に表示させる機能を有する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
次にステップＳ１３０へ移り、ユーザから手作業による取付姿勢の調整操作が完了したことを示す入力操作があったか否かを判定し、入力操作が判定されるまでループ待機する。入力操作があった場合、ステップＳ１３５へ移る。なお、このステップＳ１３０のループ待機中において、グラフィックコントローラ１５がディスプレイ３に調整用画像を逐次表示させる工程が表示制御工程に相当する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
以上説明したように、上記実施形態のナビゲーション装置１００においては、車両Ｖに搭載して当該車両Ｖの前方画像を撮像するフロントカメラ１（撮像手段に相当）と、当該車両Ｖに対する相対的な姿勢関係を調整可能に前記フロントカメラ１を取り付ける取付装置（調整取付手段に相当）と、前記前方画像中において、その時点の当該車両Ｖの姿勢状態を表す車両姿勢パラメータを検出するステップＳ６５の手順（車両姿勢パラメータ検出手段に相当）と、前記ステップＳ６５の手順が検出した前記車両姿勢パラメータを記憶する記憶媒体１２ｃ（記憶手段に相当）と、前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定するステップＳ５５の手順（設定姿勢パラメータ設定手段に相当）と、前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差の量を示す表示態様となるように前記前方画像を加工するステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順（前方画像加工手段に相当）と、これらの手順で加工した前記前方画像をディスプレイ３（表示手段に相当）に表示させるグラフィックコントローラ１５（表示制御手段に相当）と、を有する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
また、上記実施形態のナビゲーション装置１００が実行する前方画像表示制御方法においては、車両Ｖの前方画像を撮像するフロントカメラ１の撮像工程と、前記前方画像中において、その時点の当該車両Ｖの姿勢状態を表す車両姿勢パラメータを検出するステップＳ６５の手順（車両姿勢パラメータ検出工程に相当）と、前記車両姿勢パラメータが取るべき設定姿勢パラメータを設定するステップＳ５５の手順（設定姿勢パラメータ設定工程に相当）と、前記車両姿勢パラメータに対する前記設定姿勢パラメータの相対的な姿勢偏差の量を示す表示態様となるように前記前方画像を加工するステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順（前方画像加工工程に相当）と、これらの手順で加工した前記前方画像をディスプレイ３に表示させる表示制御工程と、を有する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
また、ナビゲーション装置１００においては、前記取付装置は、当該車両Ｖの車両軸方向Ｄｖに対する前記フロントカメラ１の撮像方向Ｄｃの姿勢関係を調整可能であり、前記車両姿勢パラメータは、前記前方画像中においてその時点の当該車両Ｖの車両軸方向Ｄｖの延長線上又はその近傍に位置する車両軸方向点であり、前記設定姿勢パラメータは、前記前方画像の利用目的に応じて前記車両軸方向点が位置するべき設定基準点Ｐａ１であり、前記ステップＳ１１５及びステップＳ１２０、又はステップＳ２１５及びステップＳ２２０の手順は、前記設定基準点Ｐａ１に対する前記車両軸方向点の相対的な位置偏差（姿勢偏差に相当）の量を示す表示態様となるように前記前方画像を加工する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１０９
【補正方法】変更
【補正の内容】
【０１０９】
この場合には、電子携帯端末３１が画像表示制御装置に相当し、これに装備されているカメラが撮像手段に相当し、当該電子携帯端末３１のＣＰＵが処理する制御手順のうち例えば平均消失点Ｐ２及び車両水平基準線を車両姿勢パラメータとして検出する手順が車両姿勢パラメータ検出手段に相当し、これら車両姿勢パラメータを記憶する記憶部が記憶手段に相当し、例えば設定基準点Ｐａ１や設定水平基準線を設定する手順が設定姿勢パラメータ設定手段に相当し、調整用画像を生成する手順が前方画像加工手段に相当し、電子携帯端末３１に装備されているディスプレイが表示手段に相当し、このディスプレイの表示を制御する制御構成が表示制御手段に相当し、当該電子携帯端末３１を車両Ｖに取り付けるクレードル３２が調整装置に相当する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【０１１５】
１              フロントカメラ（撮像手段に相当）
２              イメージングユニット
３              ディスプレイ（表示手段に相当）
１１            ＣＰＵ
１３            ＧＰＳ
１４            車速センサ
１５            グラフィックコントローラ（表示制御手段に相当）
２１            無線通信装置（通信手段に相当）
２５            データベースサーバ（サーバに相当）
３１            電子携帯端末（画像表示制御装置に相当）
３２            クレードル（調整装置に相当）
１００          ナビゲーション装置
３００          運転支援画像処理ユニット
Ｄｃ            撮像方向
Ｄｖ            車両軸方向
Ｌｒ            車線輪郭線
Ｐ１            車線消失点
Ｐ２            平均消失点
Ｐａ１〜Ｐａ４  設定基準点
Ｖ              車両
【国際調査報告】
2013030932.tif 000031
2013030932.tif 000032
2013030932.tif 000033
2013030932.tif 000034