(57)【特許請求の範囲】
【請求項１】
車両（１）の周囲を撮影する車載カメラ（２）から撮影画像を取得して、該撮影画像を前記車両の上方の視点から撮影した鳥瞰画像に変換してから車載モニター（３）に表示する画像変換装置（１０）であって、
前記鳥瞰画像中の画素位置に対して前記撮影画像中の画素位置が設定されており、前記撮影画像中の画素位置が前記車載カメラの位置及び角度に応じて算出された画素位置となっている変換テーブルを参照することによって、前記車載カメラの位置及び角度に応じて前記撮影画像を前記鳥瞰画像に変換する画像変換部（１２）と、
前記鳥瞰画像または前記撮影画像から複数の特徴点を抽出する特徴点抽出部（１５）と、
前記鳥瞰画像または前記撮影画像から抽出された前記複数の特徴点の分布に基づいて前記車載カメラの位置及び角度を算出するか否かを判断する算出判断部（１６）と、
前記算出判断部が前記車載カメラの位置及び角度を算出すると判断した場合に、前記複数の特徴点に基づいて前記車載カメラの位置及び角度を算出する算出部（１７）と、
前記算出部が新たに算出した前記車載カメラの位置及び角度と、新たに算出する前の前記車載カメラの位置及び角度とを比較した変動量を取得する変動量取得部（１８）と、
該変動量が所定の変動閾値以下であった場合に、新たに算出された前記車載カメラの位置及び角度に基づいて前記変換テーブルを更新する変換テーブル更新部（１９）と
を備えた画像変換装置。
【請求項２】
請求項１に記載の画像変換装置であって、
前記算出判断部は、前記鳥瞰画像または前記撮影画像から抽出された前記複数の特徴点の分布の幅に基づいて、前記車載カメラの位置及び角度を算出するか否かを判断する判断部である
画像変換装置。
【請求項３】
車両（１）の周囲を撮影する車載カメラ（２）から撮影画像を取得して、該撮影画像を前記車両の上方の視点から撮影した鳥瞰画像に変換してから車載モニター（３）に表示する画像変換装置（１０）であって、
前記車載カメラの位置及び角度に応じて前記撮影画像を前記鳥瞰画像に変換する画像変換部（１２）と、
前記鳥瞰画像または前記撮影画像から複数の特徴点を抽出する特徴点抽出部（１５）と、
前記鳥瞰画像または前記撮影画像から抽出された前記複数の特徴点の分布に基づいて前記車載カメラの位置及び角度を算出するか否かを判断する算出判断部（１６）と、
前記算出判断部が前記車載カメラの位置及び角度を算出すると判断した場合に、前記複数の特徴点に基づいて前記車載カメラの位置及び角度を算出する算出部（１７）と
を備え、
前記算出判断部は、
前記鳥瞰画像の縦方向での前記特徴点の分布の幅が所定の第１閾値よりも大きいときは、前記車載カメラの光軸を上下方向に動かすピッチ方向の角度を算出すると判断し、
前記鳥瞰画像の横方向での前記特徴点の分布の幅が所定の第２閾値よりも大きいときは、前記車載カメラの光軸周りに回転させるロール方向の角度を算出すると判断する判断部である
画像変換装置。
【請求項４】
請求項１ないし請求項３の何れか一項に記載の画像変換装置であって、
前記車両の周辺環境または前記車両の状態を検知する検知器（４）が取得した検知情報に応じて前記特徴点を抽出するか否かを判断する抽出判断部（１４）を備える
画像変換装置。
【請求項５】
請求項１ないし請求項４の何れか一項に記載の画像変換装置であって、
前記特徴点抽出部は、前記鳥瞰画像から前記複数の特徴点を抽出する抽出部である
画像変換装置。
【請求項６】
車載カメラを搭載した車両に適用されて、該車両の周囲を撮影した前記車載カメラから撮影画像を取得して、該撮影画像を前記車両の上方の視点から撮影したかのような鳥瞰画像に変換してから車載モニターに表示する画像変換方法であって、
前記鳥瞰画像中の画素位置に対して前記撮影画像中の画素位置が設定されており、前記撮影画像中の画素位置が前記車載カメラの位置及び角度に応じて算出された画素位置となっている変換テーブルを参照することによって、前記車載カメラの位置及び角度に応じて前記撮影画像を前記鳥瞰画像に変換する工程（Ｓ１０４）と、
前記鳥瞰画像または前記撮影画像から複数の特徴点を抽出する工程（Ｓ１０５）と、
前記鳥瞰画像または前記撮影画像から抽出された前記複数の特徴点の分布に基づいて前記車載カメラの位置及び角度を算出するか否かを判断する工程（Ｓ１０７）と、
前記車載カメラの位置及び角度を算出すると判断した場合に、前記複数の特徴点に基づいて前記車載カメラの位置及び角度を算出する工程（Ｓ１０８）と、
前記複数の特徴点に基づいて新たに算出した前記車載カメラの位置及び角度と、新たに算出する前の前記車載カメラの位置及び角度とを比較した変動量を取得する工程（Ｓ１０９）と、
該変動量が所定の変動閾値以下であった場合に、新たに算出された前記車載カメラの位置及び角度に基づいて前記変換テーブルを更新する工程（Ｓ１１１）と
を備えた画像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラを備える車両に適用されて、車載カメラから取得した撮影画像を鳥瞰画像に変換する際に使用する設定値を調整するための技術に関する。
【背景技術】
【０００２】
車載カメラで車両の周囲を撮影して、得られた撮影画像を車載モニターに表示することで、運転者が車両周囲の状況を確認するための種々の技術が実用化されている。更に、車載カメラから取得した撮影画像をそのまま車載モニターに表示するのではなく、鳥瞰画像に変換してから車載モニターに表示することも広く行われている。ここで、鳥瞰画像とは、撮影画像に写った景色を車両の上方から見下ろして撮影したかのように撮影画像を変換した画像をいう。鳥瞰画像が正確に変換されていれば、他車両や歩行者等と自車両との位置関係が現実と同じ位置関係を保ったまま表示されるので、この画像を見れば車両周囲の状況をより容易かつ正確に把握することができる。撮影画像を正確な鳥瞰画像に変換するためには、車載カメラの位置及び角度を精度良く取得しておく必要がある。
【０００３】
そこで、車載カメラを設計通りの位置及び角度で車両に取り付け、さらに取付けの誤差の影響を少なくするために、車両の工場出荷前には車載カメラの位置及び角度を個別に測定しておく。車載カメラの位置及び角度は以下のようにして算出することができる。先ず、車載カメラによる撮影画像から複数の特徴点を抽出して、それぞれの特徴点が位置する撮影画像上の座標を、撮影された実空間上の座標に対応づける。そして、対応づけられたそれぞれの特徴点の位置を、車載カメラの位置及び角度を変数とする関係式に代入する。その後、得られた関係式を解けば、車載カメラの位置及び角度を算出できる。
【０００４】
もっとも、車両に固定された車載カメラは、工場出荷後に締結部が緩むなどして、その位置及び角度にズレが生じる場合がある。こうした場合、車両の位置及び角度は、工場出荷時とは異なった状態となる。そこで、車両が走行中に撮影した画像から特徴点を抽出して、車載カメラの位置及び角度を算出し直すことを可能とする技術が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２２２３０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記の提案の技術では、整備工場に持ち込んだ場合と同様に撮影画像から特徴点を抽出して車載カメラの位置及び角度を算出しているにもかかわらず、十分な精度が得られないことがあるという問題があった。
【０００７】
この発明は、従来技術が有する上記した課題に鑑みてなされたものであり、車両を整備工場に持ち込むことなく、車載カメラの位置及び角度を精度よく算出し、正確な鳥瞰画像に変換することが可能な技術の提供を目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために本発明の画像変換装置および画像変換方法は、特徴点を利用して車載カメラの位置及び角度を算出する前に、撮影画像または鳥瞰画像における特徴点の分布を確認する。そして、特徴点の分布が車載カメラの位置及び角度の算出に適する場合に、車載カメラの位置及び角度を算出する。
【０００９】
例えば、整備工場などでは特徴点を人為的に配置できるので、車載カメラの位置及び角度を算出するのに適した分布の特徴点を用いて、位置及び角度を算出することができる。これに対して、車両が走行中の場合には、その時々の撮影範囲にある景色から特徴点を抽出することになるので、様々な分布の特徴点が抽出されることになる。従って、車両が走行中の場合には、車載カメラの位置及び角度の算出に適した特徴点が抽出できるとは限らない。そこで、抽出された特徴点の分布が車載カメラの位置及び角度の算出に適する場合に算出するようにすれば、例え車両が走行中であったとしても、車載カメラの位置及び角度を精度良く算出することができる。その結果、撮影画像から鳥瞰画像に正確に変換することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本実施例の画像変換装置１０を搭載した車両１を示す説明図である。
【図２】撮影画像を鳥瞰画像に変換する原理の模式的な説明図である。
【図３】変換テーブルを参照して撮影画像から鳥瞰画像に変換する様子を示した説明図である。
【図４】画像変換装置１０の内部構造を示したブロック図である。
【図５】画像変換装置１０が実行する変換テーブル更新処理の前半部分のフローチャートである。
【図６】画像変換装置１０が実行する変換テーブル更新処理の後半部分のフローチャートである。
【図７】スコア用センサー４に付与する環境スコアの具体例である。
【図８】撮影画像および鳥瞰画像のそれぞれから特徴点を抽出する様子を示した説明図である。
【図９】特徴点の分布状況を確認する様子を示した説明図である。
【図１０】車両１がピッチ方向に傾いた場合の鳥瞰画像の例示である。
【図１１】車両１がロール方向に傾いた場合の鳥瞰画像の例示である。
【図１２】車両１が下方に沈んだ場合の鳥瞰画像の例示である。
【図１３】特徴点の分布に応じて車載カメラ２のピッチ角度、ロール角度、高さの何れの変数を算出するかという選択の例示である。
【発明を実施するための形態】
【００１１】
以下では、上述した本願発明の内容を明確にするために画像変換装置の実施例について説明する。
Ａ−１．本実施例の装置構成  ：
図１には、画像変換装置１０を搭載した車両１の大まかな構造が示されている。図示されるように車両１は、画像変換装置１０に加えて、車両１の前部に取り付けられた車載カメラ２と、運転席から視認できる車載モニター３とを備えている。これらの他に車両１は、走行速度を取得する車速センサー４１と、操舵角を取得するステアリングセンサー４２と、車両１の四隅に配置され上下方向の変位を検知するハイトセンサー４３ａ〜４３ｄと、日射量の強さを検知する日射センサー４４と、雨滴量を検知するレインセンサー４５とを備える。これら各種のセンサーは、車両１の周辺環境または車両１自体の状態を検知して得た検知情報を画像変換装置１０に提供するものであって、本発明の「検知器」に対応する。
【００１２】
車載カメラ２は、魚眼レンズを有する画角の広いカメラであり、その撮影画像に車両１の前方周辺の路面を含む景色を写す。画像変換装置１０は、車載カメラ２から取得した撮影画像を鳥瞰画像に変換して、その鳥瞰画像を車載モニター３に表示する。撮影画像には路面が写っているので、これを変換した鳥瞰画像は、撮影画像に写った車両１の前方の路面を上方から見下ろして撮影したかのような画像となる。以下、撮影画像から鳥瞰画像への変換について概要を説明する。
【００１３】
図２には撮影画像から鳥瞰画像に変換する原理が模式的に示されている。図２（ａ）に示されるように、車載カメラ２が路面２１を撮影すると、その撮影画像２２は、車載カメラ２の視線と垂直に交わる画像平面に、車載カメラ２の撮影領域にある路面２１が投影された画像となる。この投影関係を逆に見ると、車載カメラ２の位置に置いた光源の光で撮影画像を路面２１に投影すれば、投影された画像は実際の路面２１の状況と一致する筈である。
図２（ｂ）の路面平面２３には、このように撮影画像に写した路面が投影されている。路面平面２３は、図２（ａ）の路面２１と同じ位置にある平面であって、ちょうどスクリーンのようなものと考えて良い。そして、この路面平面２３に写った路面を真上から見下ろすようにして設けた仮想のカメラ２４で撮影すれば、車載カメラ２の前方の路面を真上から撮影したかのような鳥瞰画像２５が得られる。
【００１４】
ここで、車載カメラ２の位置及び角度と撮影領域との関係を見ると、図２（ａ）で撮影領域として示された路面２１の台形で囲われた領域の位置や形状は、車載カメラ２の位置及び角度に応じて決定される。従って、撮影画像を鳥瞰画像に変換するためには、実際に撮影した時と、その撮影画像を仮想の路面平面２３（スクリーン）に投影した時とで、車載カメラ２の位置及び角度が一定の状態を保っていることが必要となる。
実際の車載カメラ２は、車両１に固定して取り付けられるため、通常は、路面２１に対する車載カメラ２の位置及び角度が一定と考えて良い。そこで、画像変換装置１０は、図２で説明したような投影関係を一定の車載カメラ２の位置及び角度の下で計算した変換テーブルを予め作成しておく。そして、撮影画像を鳥瞰画像に変換する際には、その変換テーブルを参照することで、撮影ごとに上記の投影関係を計算する必要を無くして、処理負担を軽減している。
【００１５】
図３には、変換テーブルを参照して撮影画像から鳥瞰画像に変換する様子が示されている。変換テーブルは、鳥瞰画像の画素位置と撮影画像の画素位置との対応関係を表すデータである。例えば、図３（ｂ）の鳥瞰画像の座標（Ｘｅ，Ｙｆ）の位置にある画素は、図３（ａ）の撮影画像の座標（Ａｇ，Ｂｈ）の位置にある画素に変換テーブルによって対応付けられている。これに従って、鳥瞰画像の座標（Ｘｅ，Ｙｆ）の位置にある画素には、撮影画像の座標（Ａｇ，Ｂｈ）の位置にある画素の画像データ（輝度や彩度等）が適用される。鳥瞰画像の画素それぞれについて変換テーブルを参照すれば、撮影画像から鳥瞰画像に変換することができる。
上述したように、この変換テーブルは、車載カメラ２の位置及び角度に応じて作成されているから、画像変換装置１０は、撮影画像を鳥瞰画像に変換する機能のほか、車載カメラ２の位置及び角度を再算出して、新たな位置及び角度に応じて変換テーブルを更新する機能を備えている。
【００１６】
図４には、画像変換装置１０の内部構造が示されている。図示されるように、画像変換装置１０は、撮影画像取得部１１と、画像変換部１２と、表示部１３とを備えている。撮影画像取得部１１は車載カメラ２から撮影画像を取得する。画像変換部１２は、上述したように変換テーブルを参照して撮影画像を鳥瞰画像に変換する。そして、表示部１３は鳥瞰画像を車載モニター３に表示する。
また、画像変換装置１０は、車載カメラ２の位置及び角度を算出して変換テーブルを更新するために、スコア評価部１４と、特徴点抽出部１５と、算出判断部１６と、算出部１７と、変動量取得部１８と、変換テーブル更新部１９とを備えている。
【００１７】
スコア評価部１４は、車両１に備わる車速センサー４１、ステアリングセンサー４２、ハイトセンサー４３ａ〜４３ｄ、日射センサー４４およびレインセンサー４５が検知した検知情報を取得する。以下、これら各種のセンサーを総じてスコア用センサー４と称する。また、スコア評価部１４は、スコア用センサー４のそれぞれから取得した検知情報に応じてスコアを付与し、そのスコアを総合的に評価する。このスコア評価については具体例を挙げて後述するが、その概要は車両１周辺の環境または車両１自体の状態に関する情報をスコア化して、特徴点の抽出に適した状況であるか否かを評価するということである。特徴点とは、撮影景色の中で際立った特徴を有することにより他の点と区別できる点であって、その撮影景色を写した撮影画像または鳥瞰画像で画像座標上の位置を特定できる点をいう。特徴点を抽出するのは車載カメラ２の位置及び角度を算出するためである。
尚、スコア評価部１４は、このように特徴点を抽出するか否かを判断することから、本発明の「抽出判断部」に対応する。
【００１８】
特徴点抽出部１５は、車載カメラ２の位置及び角度を算出するために、複数の特徴点を撮影画像または鳥瞰画像から抽出する。
算出判断部１６は、複数の特徴点の分布状況を確認し、その確認から得られた分布の幅を示す情報に基づいて車載カメラ２の位置及び角度を算出するか否かを判断する。
算出部１７は、抽出した複数の特徴点に基づいて車載カメラ２の位置及び角度を算出する。車載カメラ２の位置及び角度を算出するには、撮影画像または鳥瞰画像から抽出した複数の特徴点の位置関係と、実際の撮影景色における複数の特徴点の位置関係との整合性を利用する。車載カメラ２の位置及び角度の算出方法は周知のため詳細な説明については省略する。
【００１９】
変動量取得部１８は、算出部１７が新たに算出した後の位置及び角度を、新たに算出する前の位置及び角度と比較して、変動量を取得する。
変換テーブル更新部１９は、変動量取得部１８が取得した変動量が所定の変動閾値以下である場合に、新たに算出された車載カメラ２の位置及び角度に基づいて、変換テーブルを更新する。変換テーブルが更新された場合には、画像変換部１２はその新たな変換テーブルを参照して撮影画像を鳥瞰画像に変換することになる。
【００２０】
尚、これら撮影画像取得部１１から変換テーブル更新部１９までの９つの「部」は、画像変換装置１０の内部を機能の観点から分類した概念であり、画像変換装置１０が物理的に９つの部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、これらを組み合わせることによって実現することもできる。以下、これら９つの「部」を備えることによって実行される変換テーブル更新処理について詳しく説明する。
【００２１】
Ａ−２．鳥瞰画像生成処理  ：
図５および図６には、本実施例の画像変換装置１０が実行する変換テーブル更新処理のフローチャートが示されている。この変換テーブル更新処理は、撮影画像を鳥瞰画像に変換するために用いられる変換テーブルを更新するための処理であって、車載モニター３に表示するための鳥瞰画像の変換処理とは別個に実行される処理である。鳥瞰画像の変換処理は車載カメラ２の撮影周期（例えば３０Ｈｚ）に対応する周期で繰り返し実行されるが、ここで説明する変換テーブル更新処理については、鳥瞰画像の変換処理と同様の周期で実行してもよいし、適宜の間隔（例えば１０分間隔）で実行してもよい。
【００２２】
変換テーブル更新処理を開始すると先ず、環境スコアを算出する（Ｓ１０１）。環境スコアは、各種のスコア用センサー４から取得した検知情報をスコア化して、車両１の周辺環境および車両１自体の状態を評価するための指標である。
図７には環境スコアの具体例が示されている。環境スコアは、図７（ａ）に示されるように、スコア用センサー４を構成する車速センサー４１、ステアリングセンサー４２、ハイトセンサー４３ａ〜４３ｄ、日射センサー４４およびレインセンサー４５のそれぞれから取得した検知情報に対して付与される。ここで扱う検知情報は数値化されているので、それらの数値の大きさに応じてスコアを付与する。以下、これらのスコア用センサー４の検知情報ごとに付与する環境スコアに対して、車速センサー４１からレインセンサー４５まで順にＳ１〜Ｓ５というスコア記号を付して呼称する。
【００２３】
ここで、検知情報に応じて環境スコアを付与する方法について、車速センサー４１を例にして説明する。車速センサー４１の検知情報は車両１の走行速度であり、走行速度が大きいほど、環境スコアＳ１を低くする。図７（ｂ）には、その環境スコアＳ１の付与例が示されている。図示されるように、車速が０〜２０（ｋｍ／ｈ）の時の環境スコアをＳ１＝１００とし、車速が２０〜８０（ｋｍ／ｈ）の時はＳ１＝８０とし、車速が８０（ｋｍ／ｈ）以上の時はＳ１＝６０とする。車速が大きいほど環境スコアＳ１を低くする理由は、撮影画像に被写体ブレが大きくなりやすく、特徴点の抽出精度が不安定となるからである。
車速センサー４１の他のスコア用センサー４、すなわち、ステアリングセンサー４２、ハイトセンサー４３ａ〜４３ｄ、日射センサー４４およびレインセンサー４５についても、車速センサー４１と同様にして個々に環境スコアを付与する。
【００２４】
ステアリングセンサー４２は操舵角の単位時間当たりの変位量を検知する。この変位量が大きいほど、環境スコアＳ２を低くする。これは、操舵角の変位量が大きい時には、荷重の変化によって車両１が傾くため、特徴点の抽出には不向きであることによる。
ハイトセンサー４３ａ〜４３ｄは、車両１の前後左右それぞれで上下方向の変位量を検知することにより、車両１の傾きの単位時間当たりの変位量を検知する。車両１が傾くことからＳ２と同様に考えて、ハイトセンサー４３ａ〜４３ｄについての環境スコアＳ３は、変位量が大きいほど低スコアとする。
【００２５】
日射センサー４４が検知する日射量に対して付与する環境スコアＳ４は、日射量が小さいほど低スコアにする。これは、日射量が小さいほど撮影景色が暗く、撮影画像の輝度値の差が小さくなる可能性が高いため、特徴点の抽出精度が低いと考えられることによる。
レインセンサー４５が検知する雨量に対して付与する環境スコアＳ５は、雨量が多いほど低スコアにする。これは、雨量が多いほど撮影画像が不鮮明になる可能性が高いため、特徴点の抽出精度が低いと考えられることによる。
【００２６】
車速センサー４１、ステアリングセンサー４２、ハイトセンサー４３ａ〜４３ｄ、日射センサー４４およびレインセンサー４５のそれぞれの検知情報に対して個別の環境スコアＳ１〜Ｓ５を付与したら、図７（ｃ）に示すように総合環境スコアＳを算出する。
尚、ここでは、総合環境スコアＳをＳ１ないしＳ５の総和としているが、スコア用センサー４のそれぞれが検知した情報を考慮できればよく、その他の計算方法をとってもよい。例えば、各種の検知情報のうち、車速が与える影響が大きいと判断されるときには、環境スコアＳ１を重点的に評価してもよい。
【００２７】
また、スコア用センサー４は、上記の各種センサーに追加して、又はこれらに代えて、他のセンサーを用いることもできる。例えば、Ｓ３と同様の考え方によりジャイロセンサーから車両１の傾きを検知して環境スコアを付与することができる。また、Ｓ５と同様の考え方によりワイパー信号から雨量を検知して環境スコアを付与することもできる。さらに、カーナビゲーションシステムから取得される交通情報や道路情報等から、車両１の走行速度や車両１の傾きの多寡を予測し、これらの情報を加味して環境スコアを算出してもよい。
上述してきたように、環境スコアは、天候や周囲の明るさの違いといった車両１が置かれた周辺環境を評価し、又は、車両１の姿勢が変化したり、振動が生じたりといった車両１自体の状態を評価するための指標である。こうした環境スコアが高いときには、周辺環境や車両状態に起因する外乱の影響を少なくして、鮮明な撮影画像が得られる可能性が高いと考えることができる。そして、鮮明な撮影画像が得られるということは、特徴点の抽出に適した状況であるということである。
【００２８】
このようにして環境スコアを算出したら（Ｓ１０１）、その環境スコアが所定のスコア閾値以上か否かを判断する（Ｓ１０２）。ここで判断する対象は上述の総合環境スコアＳであり、このスコア閾値は任意に定めればよい。総合環境スコアＳが所定のスコア閾値以上であるか否かを判断することで、各種のスコア用センサー４から取得した検知情報から、車両１の周辺の環境および車両１自体の状態を総合的に評価して、特徴点の抽出に適した状況であるか否かを判断することができる。尚、環境スコアの評価方法はこれに限られず、例えば、個別の環境スコアＳ１ないしＳ５のうち、一定数の環境スコアが所定の基準を満たさない場合には、特徴点の抽出に適さないと判断することにしてもよい。
環境スコアが所定のスコア閾値に満たないと判断される場合には（Ｓ１０２：ｎｏ）、この変換テーブル更新処理を終了する（図６）。
一方、環境スコアが所定のスコア閾値以上であると判断される場合には（Ｓ１０２：ｙｅｓ）、特徴点を抽出する。本実施例では、撮影画像を取得し（Ｓ１０３）、その撮影画像を鳥瞰画像に変換してから（Ｓ１０４）、特徴点を抽出することになる（Ｓ１０５）。
【００２９】
図８には、撮影画像および鳥瞰画像のそれぞれから複数の特徴点を抽出する様子が示されている。上述したように、特徴点は、撮影景色の中で際立った特徴を有することにより他の点と区別できる点であって、その撮影景色を写した撮影画像または鳥瞰画像で画像座標上の位置を特定できる点である。典型的な特徴点として、直線と直線とが交わる角部が挙げられるが、直線の境界部から抽出することもできる。例えば、車線区切りや横断歩道、停止線等の道路標示を対象にして、これらの表示部分とアスファルト部分との境界では輝度値の差が大きくなることを利用すれば特徴点を抽出できる。
【００３０】
図８（ａ），（ｂ）のそれぞれに表された黒丸の点は、特徴点を抽出する箇所を例示している。上述したように、特徴点を抽出するのは、車載カメラ２の位置及び角度を算出するためである。また、車載カメラ２の位置及び角度は、画像上で抽出した複数の特徴点の位置関係と、実際の撮影景色における複数の特徴点の位置関係との整合性を利用して算出される。このような整合性を利用するには、例えば、実際の撮影景色における形状が既知の対象物から特徴点を抽出すればよい。図８に示した例では、車両１の左右両側にある車線区切りと、道路標示の「止まれ」の文字とから特徴点を抽出している。この例では、車両１が直線に延びる車線を走行しているときの実際の車線区切りは左右両側が平行であることや、実際の道路標示の「止まれ」の文字には直角に交わっている複数の角部があることが既知の形状となる。特徴点の抽出に適した道路標示の形状や寸法を予めデータベース化しておき、特徴点抽出部１５はそのデータベースを参照することで特徴点の抽出を簡素化してもよい。
【００３１】
図８（ａ）のように撮影画像から特徴点を抽出することもできるが、本実施例の変換テーブル更新処理では、図８（ｂ）のように鳥瞰画像から特徴点を抽出する。そこで、図８（ａ）の撮影画像から特徴点を抽出する場合と、図８（ｂ）の鳥瞰画像から特徴点を抽出する場合との違いについて以下に説明する。
図８（ａ）の撮影画像は、一直線に延びた車線を車両１が直進している中で撮影された画像である。実際の車線区切りは車線に沿って互いに平行な直線であるが、図８（ａ）の撮影画像に写った左右の車線区切りは略ハの字形に写っている。道路標示の「止まれ」の文字も、実際には互いに平行である部分が平行に写っていなかったり、実際には直角に交わっている部分が直角に写っていなかったりしている。このように表示された車線区切りや道路標示から特徴点（同図の黒丸で示した箇所）を抽出した場合、画像上のそれらの特徴点の位置関係は、実際の特徴点の位置関係を保っていないことになる。
【００３２】
一方、図８（ｂ）の鳥瞰画像を見ると、左右の車線区切りは現実と同じように互いに平行な直線であるし、道路標示の「止まれ」の文字についても現実と同じように平行な２直線は平行に、直角に交わっている部分は直角に写っている。このように表示された車線区切りや道路標示から特徴点（同図の黒丸で示した箇所）を抽出した場合、画像上のそれらの特徴点の位置関係は、実際の特徴点の位置関係を保っていることになる。
従って、現実の位置関係を保たずに表示する撮影画像よりも、現実の位置関係を保って表示する鳥瞰画像から特徴点を抽出した方が、特徴点の位置関係を現実の位置関係と整合させやすく、車載カメラ２の位置及び角度をより容易かつ正確に算出できる。
【００３３】
このような理由から、撮影画像を鳥瞰画像に変換してから（図５のＳ１０４）、特徴点を抽出している（Ｓ１０５）。処理負担軽減の観点から、予め車線区切りや各種の道路標示などに特徴点を抽出する対象物を決めておき、撮影画像に写った景色のうち、その対象物だけを鳥瞰画像に変換するようにしてもよい。
次に、特徴点の分布を確認し（Ｓ１０６）、その特徴点の分布に基づいて、車載カメラ２の位置及び角度を算出するか否かを判断する（Ｓ１０７）。この判断は、特徴点の分布が、車載カメラ２の位置及び角度を精度良く算出するのに適した分布であるか否かということについての判断であり、例えば、特徴点の分布の幅を示す情報に基づいて判断することができる。ここでいう分布の幅を示す情報とは、画像領域の大きさに対して特徴点が分布する領域の大きさを表す情報である。以下に説明するように、分布の幅とともに特徴点の分布領域の位置や、分布領域の中での特徴点の散らばり具合を考慮して分布の適否を総合的に判断してもよい。
【００３４】
図９には特徴点の分布が良好である場合とそうでない場合の鳥瞰画像の様子が示されている。ここでは撮影景色を省略して、特徴点を抽出した箇所を黒丸で表している。また、抽出した特徴点を一体的に見て、その外周に位置する各特徴点を頂点にして繋ぎ、これによって形成された凸多角形内部の領域を特徴点の分布領域とする（斜線部）。図９（ａ）のように分布領域の面積が大きく、分布領域の位置が画像の中心に近い場合に特徴点の分布が良好であると判断し、図９（ｂ）のように分布領域の面積が小さい場合や画像上の一部に偏っている場合を特徴点の分布が不良であると判断する。
【００３５】
特徴点の分布の適否は、斜線部で示した領域そのものでなく、特徴点が分布する領域の横幅および縦幅の大きさと位置とを調べることで簡略的に判断するようにしてもよい。
図９（ａ）では、特徴点の分布領域の横幅はＵａであり、縦幅はＶａである。これは画像サイズと比べて十分に大きく、Ｕａ，Ｖａそれぞれの中間値も画像の中心に近いため、特徴点の分布状況が良好であると判断できる。
一方、図９（ｂ）では、特徴点の分布領域の横幅Ｕｂおよび縦幅Ｖｂともに画像サイズと比べて小さいため、特徴点の分布が不良であると判断できる。また、Ｕａ，Ｖａそれぞれの中間値が画像の中心から大きく外れていることからも、特徴点の分布が不良であると判断できる。
【００３６】
上記のように特徴点の分布領域の大きさと位置に加えて、特徴点の散らばり具合を考慮することとしてもよい。図９（ｃ）で示す例では、特徴点が分布する領域の横幅Ｕｃおよび縦幅Ｖｃの大きさと位置は図９（ａ）に示した例と同じであるが、分布領域内部の特徴点の分布には偏りがある。そこで、特徴点が分布する幅（範囲）に限らず、散らばり具合についても考慮するとよい。図９（ｃ）で示す例では、分布の平均位置等から大きく離れた特徴点については外れ値として、特徴点の分布領域を形成するものとは扱わないこととし、二重斜線部で示した領域を特徴点の分布領域にして考えることとなる。その結果、図９（ｃ）に示す例では、特徴点の分布が不良であると判断されることとなる。
【００３７】
上述したように、車載カメラ２の位置及び角度を算出するには、鳥瞰画像から抽出した複数の特徴点の位置関係と、実際の撮影景色における複数の特徴点の位置関係との整合性を利用する。従って、図９（ｂ），（ｃ）のように特徴点の分布状況が不良の場合であっても、車載カメラ２の位置及び角度を算出することはできる。しかし、特徴点が存在していない領域については、画像上の複数の特徴点の位置関係と、実際の撮影景色における複数の特徴点の位置関係との整合性を確認することができず、算出される車載カメラ２の位置及び角度の精度を保つことが難しい。
そこで、特徴点の分布が不良であれば、車載カメラの位置及び角度を算出しないと判断し（図５のＳ１０７：ｎｏ）、変換テーブル更新処理を終了する（図６）。
一方、図９（ａ）のように鳥瞰画像上で特徴点の分布状況が良好であれば、車載カメラ２の位置及び角度を算出するように判断し（Ｓ１０７：ｙｅｓ）、車載カメラ２の位置及び角度の算出を実行する（Ｓ１０８）。こうすれば、良好な精度を確保できる場合にだけ車載カメラ２の位置及び角度を算出することができる。また、精度が確保できないときには車載カメラ２の位置及び角度を算出しないので、ＣＰＵに余計な処理負荷が生じることを避けることができる。
【００３８】
車載カメラ２の位置及び角度を算出したら（Ｓ１０８）、算出した位置及び角度の変動量を確認する（図６のＳ１０９）。ここで確認するのは、新たに算出した車載カメラ２の位置及び角度と、現在使用している変換テーブルの更新に用いた車載カメラ２の位置及び角度との変動量である。変動量が変動閾値以下であれば（Ｓ１１０：ｙｅｓ）、変換テーブルを更新して（Ｓ１１１）、変換テーブル更新処理を終了する。一方、変動量が変動閾値より大きければ（Ｓ１１０：ｎｏ）、変換テーブルを更新することなく終了する。
特徴点の抽出や車載カメラ２の位置及び角度の算出、その他不測の事態によって異常が発生した場合には、車載カメラ２の位置及び角度が極端な値を示すことが想定される。そこで、算出した車載カメラ２の位置及び角度の変動量が所定の変動閾値より大きい場合には、変換テーブルの更新をしないとすることで、良好な精度の車載カメラ２の位置及び角度が得られたと考えられる場合に限って変換テーブルが更新されることとなる。また、特徴点の分布を判断した時と同様に、良好な精度が期待できないときには車載カメラ２の位置及び角度を算出しないので、ＣＰＵに余計な処理負荷が生じることを避けることができる。
【００３９】
以上説明してきたように、本実施例の画像変換装置１０が実行する変換テーブル更新処理では、環境スコアの評価によって抽出する特徴点の精度が高められ（Ｓ１０２）、特徴点の分布状況の確認によって算出する車載カメラ２の位置及び角度の精度が高められることになる（Ｓ１０７）。このように車載カメラ２の位置及び角度を精度良く算出する上、さらに、算出された車載カメラの位置及び角度の変動量を確認するので（Ｓ１１０）、最終的に三重のチェックを経てから変換テーブルが更新されることとなる。そして、画像変換装置１０は、このようにして得られた精度および信頼度の高い変換テーブルを参照するので、正確な鳥瞰画像に変換することが可能となる。
【００４０】
Ｂ．変形例  ：
上述した本実施例では、路面２１に対して車載カメラ２の位置及び角度が変化することを前提として、変化した位置及び角度を算出する方法について説明した。しかし、路面２１に対して車載カメラ２の位置及び角度が変化する理由には２つの理由が考えられる。すなわち、車両１に対して車載カメラ２の取付状態（位置及び角度）が変化し、その結果として路面２１に対する取り付け状態が変化する場合と、車両１の姿勢が路面に対して変化する場合とが考えられる。前者の場合は、車載カメラ２の締結部が緩むこと等によって発生する恒常的な変化である。これに対して後者のように車両１が路面に対して傾くのは、積載重量の変化や車両１の加減速等によって発生するものであって、一時的な変化である。上述した本実施例では両者を特に区別せずに説明したが、以下の変形例では、後者の場合の、車両１の姿勢が路面に対して変化するという一時的な変化に対して、車載カメラ２の位置及び角度を算出する場合の本実施例との相違点に焦点を当てて説明する。
【００４１】
一般に、車載カメラ２の位置には縦（車両１の進行方向）・横（車両１の進行方向に対して左右方向）・高さの三方向の成分があり、車載カメラ２にはロール・ピッチ・ヨウの三方向の角度がある。従って、原則的には、車載カメラ２の位置及び角度を算出するに際しては、個々の車載カメラ２について三方向の成分および三方向の角度（合計で６つの値）を算出する必要がある。しかし、位置及び角度の算出が必要となった理由が、後者の理由、すなわち、車両１の姿勢が路面に対して変化したためであった場合には、車載カメラ２の高さ、ロール角度及びピッチ角度の３つの値を算出すればよい。これは次のような理由による。
先ず、路面に対する車両１の姿勢が固定された状態（例えば水平に保たれた状態）を想定する。このような状態が保たれていたとしても、車両１が移動すれば、個々の車載カメラ２の縦・横の位置は変化する。また、車両１の向きが変われば、個々の車載カメラ２のヨウ方向の角度も変化する。従って、路面に対する車両１の姿勢が変化したことによる影響は、車載カメラ２の縦・横方向の位置や、ヨウ方向の角度ではなく、高さ方向の位置と、ロール角度およびピッチ角度の変化に現れると考えて良い。このことから、車両１の走行中に、車両１の姿勢が路面に対して変化した場合には、車載カメラ２の高さ、ロール角度及びピッチ角度の３つの値を算出すればよいのである。
尚、車両１の走行中は、路面に対する車両１の姿勢が頻繁に変わるから、車載カメラ２の位置及び角度を算出する頻度が高くなり、そのための計算負荷が大きくなり易い。こうした観点からすると、車載カメラ２の高さ、ロール角度及びピッチ角度の３つの値を算出すればよくなれば、計算負荷を半減させることができるので、大きなメリットがある。
【００４２】
図１０には、車両１がピッチ方向に傾いた場合の鳥瞰画像の例が示されている。図１０（ａ）のように、車両１の前部が下向きに傾いたことに伴って、車載カメラ２はピッチ方向の角度が下向きに変化することとなる。図１０（ｂ）には、この状態で車両１の左右にある車線区切りを表示した鳥瞰画像の様子が示されている。図示されるように、車両１の左右にある車線区切りはハの字形に表示されるようになる。仮に車両１が傾いていないのならば、左右の車線区切りは互いに平行に表示される筈である。そこで、車線区切りの境界上から特徴点を抽出して、ハの字形に傾いた車線区切りが互いに平行に表示されるように調整すれば、車両１の傾きに応じた車載カメラ２のピッチ角度を算出し直すことができる。尚、図１０（ｂ）で車線区切りの境界線上に示した黒丸は抽出した特徴点の例である。この特徴点を結べば、車線区切りの線と同じになるので、以降の鳥瞰画像の例ではこの特徴点の図示を省略する。
【００４３】
図１０（ｃ）には、図１０（ａ）の状態で車両１の前方にある停止線を表示した鳥瞰画像の様子が示されている。図示されるように、停止線は縦方向に延びる二直線がハの字形になって、横方向に延びる二直線が平行な台形に表示されている。仮に車両１が傾いていないのならば、停止線は横方向に長い矩形に表示される筈である。そこで、図１０（ｂ）の場合と同様にして、ハの字形に傾いた二直線が互いに平行になるように調整することで、車両１の傾きに応じた車載カメラ２のピッチ角度を算出し直すことができる。
ここで、図１０（ｂ）の場合と図１０（ｃ）の場合とで、算出される車載カメラ２のピッチ角度の精度を比較する。図１０（ｂ）の場合では、長さＬ１の線分から傾きを調べることができるのに対して、図１０（ｃ）の場合では、長さＬ１よりも短い長さＬ２の線分から傾きを調べることとなる。当然、長さＬ１の線分よりも、長さＬ２の線分から傾きを調べる方が、誤差が大きくなるので、図１０（ｃ）の場合よりも図１０（ｂ）の場合の方が、算出される車載カメラ２のピッチ角度の精度が良好であると考えられる。
【００４４】
続いて、図１０（ｂ）の場合と図１０（ｃ）の場合とで、特徴点の分布の違いを見てみると、図１０（ｂ）の場合では、鳥瞰画像上の縦方向では黒丸で示した特徴点が分布している幅は大きい。これに対して横方向では左右端の領域と中央の領域とで黒丸で示した特徴点が存在しておらず、特徴点が分布している幅は小さい。
図１０（ｃ）の場合では、特徴点の黒丸の図示が省略されているが、停止線の表示領域を確認すると、縦方向で特徴点が分布している幅が小さく、横方向では特徴点が分布している幅が大きいことがわかる。
以上のことから、図１０に示されたように車載カメラ２のピッチ角度を算出し直す場合では、鳥瞰画像上の縦方向（車両１の進行方向）で特徴点が分布している幅が大きいことが、精度良く算出する上で重要であることがわかる。そこで、車載カメラ２のピッチ角度を算出する際には、鳥瞰画像上の縦方向で特徴点が分布している幅が所定の縦方向閾値よりも大きいことを条件とするとよい。尚、ここでいう縦方向閾値が本発明の「第１閾値」に対応する。
【００４５】
図１１には、車両１がロール方向に傾いた場合の鳥瞰画像の例が示されている。図１１（ａ）のように、車両１の正面に向かって右側が下向きに傾いたことに伴って、車載カメラ２のロール方向の角度が右方向に変化した場合、図１１（ｂ）のように車両１の左右の車線区切りの表示態様が変化することになる。図１１（ｂ）の左側の車線区切りは、幅Ｗ１が広く表示され、表示位置が車両１から遠ざかっている。一方、右側の車線区切りは、幅Ｗ２が狭く表示され、表示位置が車両１から近づいている。こうした場合、例えば、左右の車線区切りの幅が同じになるように調整することで、車両１の傾きに応じた車載カメラ２のロール角度を算出し直すことができる。しかし、実際の車線区切りの幅は１５ｃｍ〜２０ｃｍであり、鳥瞰画像上の車線区切りの幅も画像の表示領域に対して小さく表示されるので、以下の図１１（ｃ）の場合に比べれば、精度良く調整することが難しい。
【００４６】
図１１（ｃ）に示された停止線は、縦方向に延びる二直線が平行で、横方向に延びる二直線がハの字形の台形となっている。そこで、横方向のハの字形の二直線が互いに平行になるように調整することで、車両１の傾きに応じた車載カメラ２のロール角度を算出し直すことができる。この横方向のハの字形の二直線の長さＬ３は、図１１（ｂ）で示される幅Ｗ１，Ｗ２よりも明らかに長いため、図１１（ｂ）の場合よりも図１１（ｃ）の場合の方が、算出される車載カメラ２のロール角度の精度が良好であると考えられる。
従って、車載カメラ２のロール角度を算出する際には、鳥瞰画像上の横方向で特徴点が分布している幅が所定の横方向閾値よりも大きいことを条件とするとよい。尚、ここでいう横方向閾値が本発明の「第２閾値」に対応する。
【００４７】
図１２には、車両１の高さが変化した場合の鳥瞰画像の例が示されている。図１２（ａ）のように、車両１が全体的に沈んだことに伴って車載カメラ２の高さが低くなる。この状態で表示される車線区切りは図１２（ｂ）のようになり、停止線は図１２（ｃ）のようになる。図１２（ｂ），図１２（ｃ）ともに、車両１の高さが変化する前の表示を破線で示している。この破線と比べると、図１２（ｂ）の左右の車線区切りはそれぞれ幅が広くなって、車両１から遠ざかった位置に表示されている。図１２（ｃ）の停止線の幅も同様に大きくなって、車両１から遠ざかった位置に表示されている。
【００４８】
このように、車両１の高さが変化した場合、鳥瞰画像上の表示は、拡大または縮小するように変化するので、図１０，図１１で説明してきたような形状を利用して特徴点の整合性をとることはできないが、例えば、以下のようにして車両１の高さを算出することができる。すなわち、図１２（ｂ）の場合は、実際の車線区切りの幅に関するデータを予め用意しておけば、鳥瞰画像に表示された車線区切りの幅が、実際の車線区切りの幅と整合するように調整することで、車両１の高さに応じた車載カメラ２の高さを算出し直すことができる。図１２（ｃ）の場合についても同様に停止線の幅に関するデータを予め用意しておけば、車両１の高さに応じた車載カメラ２の高さを算出し直すことができる。このように、車載カメラ２の高さを算出する際には、形状の整合性ではなく、縮尺の整合性をとることになる。画像の縮尺は画像全体の状況が把握できて始めて正確に評価することが可能となる。従って、鳥瞰画像の縦方向への縮尺を評価するのであれば、少なくとも縦方向での特徴点の分布が良好でなければならず、横方向への縮尺を評価するのであれば、少なくとも横方向での特徴点の分布が良好でなければならない。
【００４９】
上記のように、車両１の高さが変化した場合には、鳥瞰画像上の表示が拡大または縮小するように変化するのだが、車両１のピッチ方向が傾いた場合にも、あたかも拡大または縮小したかのように鳥瞰画像上の表示が変化することがある。さらに、こうした表示の変化の傾向は、車両１の前後左右のどこであるかといった搭載位置や、バンパーの硬さによる沈み込み量の違いなどの車載カメラ２の設置状態に影響を受けるので、算出する変数を取り違える場合も想定され得る。そうした場合には、車載カメラ２を車両１に搭載した状態で、車両１の姿勢変化と鳥瞰画像上の表示態様の変化との傾向を表すデータを予め取得しておき、そのデータを参照することで車載カメラ２の高さ、ロール角度及びピッチ角度の３つの変数のうち、何れを算出するのかを決定するとよい。
【００５０】
また、車両１の姿勢が変化する場合は、上述のピッチ角度、ロール角度、高さが個々に変化する場合に限られず、これらが複合的に変化することもある。こうした場合であっても、鳥瞰画像上の縦方向または横方向の何れで特徴点の分布が良好であるかということに対して、車載カメラ２のピッチ方向の角度またはロール方向の角度を良好な精度で算出できるか否かという関係は同様である。そこで、図１３のように算出する変数を選択するとよい。
図１３には、特徴点の分布に応じた変数の選択例が示されている。上述してきたように特徴点の分布を鳥瞰画像上の縦方向と横方向とに分けて考え、縦方向および横方向のそれぞれで特徴点の分布している幅が大きいか、小さいかで場合分けをしている。
【００５１】
特徴点の分布している幅が縦方向および横方向の何れも小さい場合については、本実施例で上述したように、車載カメラ２のピッチ角度、ロール角度、高さの何れの変数についても算出しないこととする。
特徴点の分布している幅が縦方向で大きく、横方向で小さい場合には、ピッチ角度を算出する。この場合、ピッチ角度については図１０（ｂ）を用いて説明したように良好な精度で算出できるが、ロール角度については図１１（ｂ）を用いて説明したように精度を得にくいからである。
【００５２】
特徴点の分布している幅が縦方向で小さく、横方向で大きい場合には、ロール角度を算出する。この場合、ロール角度については図１１（ｃ）を用いて説明したように良好な精度で算出できるが、ピッチ角度については図１０（ｃ）を用いて説明したように精度を得にくいからである。
特徴点の分布している幅が縦方向および横方向の何れでも大きい場合には、本実施例と同様に考えて、車載カメラ２のピッチ角度、ロール角度、高さの全ての変数を算出すればよい。車載カメラ２の高さについては、この場合の他、特徴点の分布している幅が縦方向または横方向の何れかで大きければ算出することにしてもよい。また、車線区切りや停止線の幅など、尺度の整合性をとることができる特徴点を抽出したことを条件として、車載カメラ２の高さを算出するようにしてもよい。
【００５３】
図１０〜図１３を用いて説明してきたように、特徴点の分布を縦方向および横方向ごとに確認し、その結果に応じて車載カメラ２のピッチ角度、ロール角度、高さのうち条件の良い変数だけを選択して算出すれば、算出した変数の精度を良好に保つことができる。また、算出する変数を選択した分、算出に必要な時間を減らすことができるため、一時的な車両姿勢の変化に対応しやすくなる。選択しなかったその他の変数については、その後の撮影による鳥瞰画像から条件の良い特徴点が得られたときに算出すればよい。そして、本実施例で説明したように、新たに算出された変数の変動量を確認した上で（図６のＳ１０９，Ｓ１１０）、変換テーブルを更新する。
また、車載カメラ２のピッチ角度、ロール角度、高さを算出するときには、特徴点の分布状況によらず全ての変数を算出し、変換テーブルを更新する際に、図１３のようにして選択された変数を用いて変換テーブルを更新するようにしてもよい。
この変形例による画像変換装置１０は、車載カメラ２のピッチ角度、ロール角度、高さの何れも条件の良いときに算出でき、これに基づいて得られた変換テーブルを参照するので、撮影画像から鳥瞰画像に正確に変換することができる。
【００５４】
以上、本実施例および変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施をすることができる。
【符号の説明】
【００５５】
１…車両、                  ２…車載カメラ、        ３…車載モニター、
４…スコア用センサー、    １０…画像変換装置、      １１…撮影画像取得部、
１２…画像変換部、        １３…表示部、            １４…スコア評価部、
１５…特徴点抽出部、      １６…算出判断部、        １７…算出部、
１８…変動量取得部、      １９…変換テーブル更新部。
【図１】
0006507590.tif 000002
【図２】
0006507590.tif 000003
【図３】
0006507590.tif 000004
【図４】
0006507590.tif 000005
【図５】
0006507590.tif 000006
【図６】
0006507590.tif 000007
【図７】
0006507590.tif 000008
【図８】
0006507590.tif 000009
【図９】
0006507590.tif 000010
【図１０】
0006507590.tif 000011
【図１１】
0006507590.tif 000012
【図１２】
0006507590.tif 000013
【図１３】
0006507590.tif 000014