(57)【要約】【課題】車両の積載状態に関わらず、表示装置に表示される画像の連続性を向上させることが可能な技術の提供。【解決手段】車両に搭載された複数のカメラのカメラパラメータを特定するパラメータ特定装置である。パラメータ特定装置は、画像取得部Ｓ１１０と、画像変換部Ｓ１２０と、対象検出部Ｓ１３０と、パラメータ特定部Ｓ１７０〜Ｓ２５０，Ｓ２８０と、画像更新部Ｓ２６０，Ｓ２７０，Ｓ２９０とを備える。対象検出部は、視点変換画像の各々から、各視点変換画像に写り込んだ対象物である検出対象物を検出する。パラメータ特定部は、対象検出部で検出した検出対象物であって、互いに隣接する規定領域を撮像した撮像画像に基づく検出対象物同士が不連続である場合、当該検出対象物同士が連続となる視点変換画像を生成するカメラの各々のカメラパラメータを較正パラメータとして特定する。【選択図】図３
2017112566.tif 000002
【特許請求の範囲】
【請求項１】
車両（５）に搭載された複数のカメラ（１０）のカメラパラメータを特定するパラメータ特定装置（２０）であって、
前記複数のカメラの各々は、車両の周辺に規定された互いに異なる領域であり、かつ互いに隣接する領域が実空間において連続するように規定された領域である規定領域を撮像領域として撮像するように前記車両に搭載され、
前記カメラパラメータは、前記複数のカメラの各々の位置及び姿勢を表すパラメータであり、記憶装置（２２）には、前記複数のカメラの各々が前記車両に搭載された際に求められたカメラパラメータである基準パラメータが記憶され、
前記複数のカメラの各々から、各カメラで撮像した撮像画像を取得する画像取得部（２０，Ｓ１１０）と、
前記記憶装置に記憶された基準パラメータに基づいて、前記画像取得部で取得した撮像画像の各々を視点変換した画像である視点変換画像を生成する画像変換部（２０，Ｓ１２０）と、
路面上に存在する連続性を有した物体を対象物とし、前記画像変換部で変換した視点変換画像の各々から、各視点変換画像に写り込んだ対象物である検出対象物を検出する対象検出部（２０，Ｓ１３０）と、
前記対象検出部で検出した検出対象物であって、前記互いに隣接する規定領域を撮像した撮像画像に基づく検出対象物同士が不連続である場合、当該検出対象物同士が連続となる視点変換画像を生成する前記カメラの各々のカメラパラメータを較正パラメータとして特定するパラメータ特定部（２０，Ｓ１７０〜Ｓ２５０，Ｓ２８０）と、
前記パラメータ特定部で特定した較正パラメータに基づいて、新たな視点変換画像を生成する画像更新部（２０，Ｓ２６０，Ｓ２７０，Ｓ２９０）と
を備えるパラメータ特定装置。
【請求項２】
前記パラメータ特定部は、
前記カメラ各々の仮想的なカメラパラメータである仮パラメータを設定する仮定部（２０，Ｓ１７０）と、
前記仮定部で設定された前記仮パラメータに基づいて、対応する視点変換画像の各々から検出した検出対象物を補正した補正対象物を特定する補正部（２０，Ｓ１８０）と、
前記補正部で特定した補正対象物同士が連続となる、前記仮パラメータを、前記較正パラメータとして特定する特定部（２０，Ｓ１９０〜Ｓ２５０）と、
を更に備える、請求項１に記載のパラメータ特定装置。
【請求項３】
前記仮パラメータとして、前記車両の姿勢に対応する複数のケースが予め規定されており、
前記仮定部は、複数のケースの前記仮パラメータの中から、先に特定した仮パラメータとは異なる一つの仮パラメータを設定することを繰り返し実行し、
前記補正部は、前記仮定部で仮パラメータを設定するごとに、前記補正対象物を特定し、
前記特定部は、
前記補正対象物同士の連続度合いを表すパラメータ評価値を算出する算出部（２０，Ｓ１９０〜Ｓ２３０）を更に備え、
前記算出部で算出したパラメータ評価値が最も連続度合いが高いことを表す前記補正対象物に対応する仮パラメータを、前記較正パラメータとして特定する、請求項２に記載のパラメータ特定装置。
【請求項４】
前記複数のカメラの各々は、繰り返し画像を撮像し、
前記画像取得部は、前記複数のカメラの各々で画像を撮像するごとに、その画像を前記撮像画像として取得し、
前記画像変換部は、前記画像取得部で前記撮像画像を取得するごとに、前記視点変換画像を生成し、
前記対象検出部は、前記画像変換部で前記視点変換画像を生成するごとに、前記検出対象物を検出し、
前記パラメータ特定部は、前記対象検出部で検出対象物を検出するごとに、前記較正パラメータを特定して蓄積し、その蓄積した較正パラメータの代表値を、新たな前記較正パラメータとして特定する、請求項１から請求項３までのいずれか一項に記載のパラメータ特定装置。
【請求項５】
前記カメラパラメータには、前記複数のカメラの各々のレンズ中心軸周りの回転角を表すロール、前記複数のカメラの各々の水平軸周りの回転角を表すピッチ、及び前記複数のカメラの各々において前記車両の水平面と直交する軸周りの回転角を表すヨーを含み、
前記パラメータ特定部は、
前記ロールに対して直交する、前記ピッチ及び前記ヨーを特定する、請求項４に記載のパラメータ特定装置。
【請求項６】
前記画像更新部は、
予め規定された期間の間に、前記パラメータ特定部で特定された較正パラメータのバラつき度合いを算出するバラつき算出部（２０，Ｓ２６０）を更に備え、
前記バラつき算出部で算出されたバラつき度合いが、予め設定された設定閾値以下であれば、当該較正パラメータに基づいて、新たな視点変換画像を生成する、請求項１から請求項５までのいずれか一項に記載のパラメータ特定装置。
【請求項７】
前記対象物は、道路の交通に関して路面に描かれた道路標示または区画線であり、
前記対象検出部は、
前記画像変換部で生成した視点変換画像の各々から、各視点変換画像に写り込んだ道路標示または区画線を前記検出対象物として検出する、請求項１から請求項６までのいずれか一項に記載のパラメータ特定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラのカメラパラメータを特定するパラメータ特定装置に関する。
【背景技術】
【０００２】
特許文献１に記載されているように、車載カメラで撮像した画像を鳥瞰変換し、その鳥瞰画像を表示装置に表示する車載システムが知られている。
この種の車載システムの中には、互いに異なる撮影領域を撮像する複数台の車載カメラと、車載カメラの各々で撮像した画像を画像処理する画像処理装置と、画像処理装置で画像処理が実行された画像を表示する表示装置とを備えたものが提案されている。そして、画像処理装置においては、画像処理として、車載カメラの各々で撮像した画像を鳥瞰変換し、実空間上の同一の地点が一致するように、鳥瞰変換した画像を重ね合わせて表示するトップビュー処理を実行することがなされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−８２６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像処理装置において、車載カメラで撮像した画像を鳥瞰変換する場合には、その車載カメラの取付位置、及び取付姿勢を表すカメラパラメータが必要である。
カメラパラメータは、通常、車載カメラが車両に取り付けられた段階、例えば、車両の製造工場にて車載カメラを車両に取り付けた後に特定されて、画像処理装置の記憶部に記憶される。
【０００５】
ところで、車載カメラが搭載された車両が使用される場合、その車両に乗車する人物の人数や、その車両に搭載される荷物の重量は、当該車両が使用されるごとに異なることが多い。このように、車両の積載状態が変化すると、その時点での車載カメラの実際の取付姿勢は、記憶部に記憶された取付姿勢との間に差異を有している可能性が高い。
【０００６】
そして、実際の取付姿勢とはズレを有したカメラパラメータを用いてトップビュー処理を行うと、表示装置に表示される画像は、画像に写り込んだ実空間上の同一地点が不一致となるという課題が生じる。
【０００７】
つまり、従来の技術では、車両の積載状態によっては、表示装置に表示される画像の連続性が損なわれる可能性が高くなるという課題があった。
そこで、本発明は、車両の積載状態に関わらず、表示装置に表示される画像の連続性を向上させることが可能な技術の提供を目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するためになされた本発明の一態様は、車両（５）に搭載された複数のカメラ（１０）のカメラパラメータを特定するパラメータ特定装置（２０）に関する。
複数のカメラの各々は、規定領域を撮像領域として撮像するように車両に搭載されている。ここで言う規定領域とは、車両の周辺に規定された互いに異なる領域である。さらに、規定領域とは、互いに隣接する領域が実空間において連続するように規定された領域である。
【０００９】
また、カメラパラメータは、複数のカメラの各々の位置及び姿勢を表すパラメータである。そして、記憶装置（２２）には、基準パラメータが記憶されている。基準パラメータとは、複数のカメラの各々が車両に搭載された際に求められたカメラパラメータである。
【００１０】
パラメータ特定装置は、画像取得部（２０，Ｓ１１０）と、画像変換部（２０，Ｓ１２０）と、対象検出部（２０，Ｓ１３０）と、パラメータ特定部（２０，Ｓ１７０〜Ｓ２５０，Ｓ２８０）と、画像更新部（２０，Ｓ２６０，Ｓ２７０，Ｓ２９０）とを備える。
【００１１】
画像取得部は、複数のカメラの各々から、各カメラで撮像した撮像画像を取得する。そして、画像変換部は、記憶装置に記憶された基準パラメータに基づいて、画像取得部で取得した撮像画像の各々を視点変換した画像である視点変換画像を生成する。
【００１２】
さらに、対象検出部は、画像変換部で変換した視点変換画像の各々から、各視点変換画像に写り込んだ対象物である検出対象物を検出する。ここで言う対象物とは、路面上に存在する連続性を有した物体である。
【００１３】
パラメータ特定部は、対象検出部で検出した検出対象物であって、互いに隣接する規定領域を撮像した撮像画像に基づく検出対象物同士が不連続である場合、較正パラメータを特定する。ここで言う較正パラメータとは、当該検出対象物同士が連続となる視点変換画像を生成するカメラの各々のカメラパラメータである。
【００１４】
画像更新部は、パラメータ特定部で特定した較正パラメータに基づいて、新たな視点変換画像を生成する。
このようなパラメータ特定装置であれば、各カメラの較正パラメータを特定できる。
【００１５】
この較正パラメータは、当該較正パラメータに基づいて撮像画像を視点変換した視点変換画像において、検出対象物同士が連続となるカメラパラメータであり、その時点での車両の姿勢を反映したカメラの位置及び姿勢である。
【００１６】
つまり、パラメータ特定装置によれば、車両が走行する際に、その車両の姿勢を反映した較正パラメータを順次特定できる。
この結果、パラメータ特定装置によれば、新たに生成される視点変換画像において、検出対象物が不連続、即ち、実空間上の同一地点が不一致となることを低減できる。
【００１７】
以上説明したように、パラメータ特定装置によれば、車両の積載状態に関わらず、表示装置に表示される画像の連続性を向上させることができる。
さらに、パラメータ特定装置においては、検出対象物同士が連続となる視点変換画像を生成するカメラの各々のカメラパラメータを較正パラメータとして特定しているため、視点変換画像を生成する全てのカメラにつき較正パラメータを特定できる。
【００１８】
換言すると、パラメータ特定装置によれば、較正パラメータを特定するために、複数のカメラのうちの一つを基準とする必要がない。このため、パラメータ特定装置によれば、較正パラメータを特定できないカメラが存在することを低減できる。
【図面の簡単な説明】
【００１９】
【図１】表示システムの概略構成を示すブロック図である。
【図２】カメラの配置位置を示す説明図である。
【図３】鳥瞰表示処理の処理手順を示すフローチャートである。
【図４】鳥瞰表示処理において実行されるパラメータ評価値の算出方法の概要を説明する説明図である。
【図５】鳥瞰表示処理において実行される、ロール，ピッチ，ヨーの直交性を保つ処理の概要を説明する説明図である。
【発明を実施するための形態】
【００２０】
以下に本発明の実施形態を図面と共に説明する。
＜１．１  表示システム＞
図１に示す表示システム１は、車両５に搭載された複数のカメラ１０それぞれのカメラパラメータを特定するシステムである。この表示システム１は、各カメラ１０で撮像した画像を、カメラパラメータに基づいて視点変換した画像を生成し表示するシステムである。図２に示すように、本実施形態における車両５は四輪自動車である。
【００２１】
この表示システム１は、複数のカメラ１０と、入力装置１４と、センサ群１６と、制御装置２０と、表示装置４０とを備える。
このうち、カメラ１０それぞれは、広角レンズを介して、車両の周囲に規定された規定領域を撮像領域として撮像する周知のカメラである。なお、広角レンズとは、画角が広く（例えば６０度以上）、焦点距離の短いレンズである。この広角レンズの一例として、魚眼レンズが考えられる。魚眼レンズとは、例えば画角が１８０度以上のレンズである。
【００２２】
ここで言う規定領域は、図２に示すように、車両５の周辺に規定された互いに異なる領域である。この規定領域は、互いに隣接する領域が実空間において連続するように規定されている。ここで言う「連続するように規定された領域」には、互いの領域の一部が重複することを含む。また、撮像領域とは、撮像の対象とする領域である。
【００２３】
本実施形態におけるカメラ１０には、第１カメラと、第２カメラと、第３カメラと、第４カメラとを含む。
第１カメラは、車両５の前端部に設置され、車両５の前方に規定された規定領域（以下、前方規定領域）を撮影する。第２カメラは、車両５の右側面に設置され、車両５の右側方に規定された規定領域（以下、右規定領域）を撮影する。第３カメラは、車両５の後端部に設置され、車両５の後方に規定された規定領域（以下、後方規定領域）を撮影する。第４カメラは、車両５の左側面に設置され、車両５の左側方に規定された規定領域（以下、左規定領域）を撮影する。
【００２４】
入力装置１４は、情報の入力を受け付ける周知の装置である。この入力装置１４には、キーボードやポインティングデバイス、スイッチなどの各種入力機器を含む。ここで言うポインティングデバイスには、タッチパッドやタッチパネルなどの周知の機構を含む。
【００２５】
さらに、本実施形態の入力装置１４は、ダイアグツールであってもよい。ここで言うダイアグツールとは、制御装置２０との間で情報の入出力を行うと共に、制御装置２０から取得した情報を解析する道具（即ち、ツール）である。
【００２６】
センサ群１６は、車両５の挙動を検出する複数のセンサである。このセンサ群１６には、車両５の車輪速を検出する車輪速センサと、車両５のヨーレートを検出するヨーレートセンサとを含む。なお、センサ群１６には、この他に、車両５に加わる加速度を検出する加速度センサなど、車両５の挙動を検出可能なその他のセンサを含んでもよい。
【００２７】
表示装置４０は、画像を表示する周知の装置である。表示装置４０の一例として、液晶ディスプレイが考えられる。
＜１．２  制御装置＞
制御装置２０は、カメラ１０それぞれで撮影した画像に基づく処理を実行する装置である。この制御装置２０は、記憶部２２と、制御部２４とを備えている。
【００２８】
このうち、記憶部２２は、書換可能な不揮発性の記憶装置である。この記憶部２２の一例として、ハードディスクドライブやフラッシュメモリなどが考えられる。
この記憶部２２には、基準パラメータが記憶されている。ここで言う基準パラメータとは、カメラ１０の各々が車両５に搭載された際に求められたカメラパラメータである。また、ここで言う「車両５に搭載された際」には、工場において車両５にカメラ１０の各々を取り付けた後、工場から車両５を出荷するまでの期間を含む。
【００２９】
また、カメラパラメータとは、カメラ１０それぞれの、車両空間上における設置位置及び設置姿勢を表すパラメータである。具体的にカメラパラメータそれぞれには、ｘ座標、ｙ座標、高さｚ、ピッチΘ，ロールΦ，及びヨーΨを含む。
【００３０】
ｘ座標は、カメラ１０が設置された車両空間上での座標であり、車両５の全長方向に沿った座標である。ｙ座標は、カメラ１０が設置された車両空間上での座標であり、車両５の車幅方向に沿った座標である。さらに、高さｚは、カメラ１０が設置された車両空間上での座標であり、車両５の車高方向に沿った座標である。
【００３１】
また、ピッチΘは、カメラ１０の水平軸周りの回転角を表す。なお、ここで言う水平軸とは、車両５における水平面と平行な軸である。ロールΦは、レンズ中心軸周りの回転角を表す。ヨーΨは、車両５における水平面と直交する軸周りの回転角を表す。
【００３２】
制御部２４は、ＲＯＭ２６，ＲＡＭ２８，ＣＰＵ３０を有した周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ２６は、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶する。ＲＡＭ２８は、データを一時的に格納する。ＣＰＵ３０は、ＲＯＭ２６またはＲＡＭ２８に記憶されたプログラムに従って処理を実行する。
【００３３】
制御部２４のＲＯＭ２６には、画像表示処理を制御部２４が実行するための処理プログラムが格納されている。この画像表示処理とは、較正パラメータを特定し、その特定した較正パラメータに基づいて、対応するカメラ１０で撮像した画像を視点変換した視点変換画像を表示装置４０に表示する処理である。なお、ここで言う較正パラメータとは、車両５の姿勢を反映したカメラ１０それぞれのカメラパラメータである。
＜１．３  画像表示処理＞
次に、制御部２４が実行する画像表示処理について説明する。
【００３４】
この画像表示処理は、予め定められた起動指令が入力されると起動される。そして、その後、規定された時間間隔で繰り返し起動される。
なお、ここでいう起動指令とは、画像表示処理を起動する指令であり、例えば、イグニッションスイッチがオンされたことを表す信号であってもよい。
【００３５】
そして、画像表示処理が起動されると、図３に示すように、制御部２４は、まず、複数のカメラ１０の各々から、当該カメラ１０で撮像した撮像画像を取得する（Ｓ１１０）。ここで言う撮像画像とは、各カメラ１０で撮像した画像である。
【００３６】
さらに、画像表示処理では、制御部２４は、記憶部２２に記憶されている基準パラメータに基づいて、Ｓ１１０で取得した撮像画像の各々を視点変換し、視点変換画像を生成する（Ｓ１２０）。ここで言う視点変換とは、撮像画像を、予め定められた特定の地点から観測した画像へと変換する周知の処理である。すなわち、視点変換画像とは、撮像画像の各々を視点変換した画像である。この視点変換の一例として、車両５の上空のポイントを特定の地点として、路面上を観測した画像である鳥瞰画像へと変換する鳥瞰変換が考えられる。
【００３７】
そして、画像表示処理では、制御部２４は、Ｓ１２０で生成した視点変換画像の各々から検出対象物を検出し、その検出対象物に関する情報である対象物情報を生成する（Ｓ１３０）。
【００３８】
検出対象物とは、各視点変換画像に写り込んだ対象物である。さらに、対象物とは、路面上に存在する連続性を有した物体である。本実施形態における対象物として、道路の交通に関して路面に描かれた道路標示または区画線が考えられる。ここで言う区画線には、車道中央線、車線境界線、車道外側線などを含む。
【００３９】
なお、視点変換画像から検出対象物を検出する処理は周知であるため、ここでの詳しい説明は省略する。
通常、区画線を検出対象物とした場合、検出対象物は、幅を有した線として検出される。このため、Ｓ１３０にて生成される対象物情報には、視点変換画像上における検出対象物の端辺の長さ、向き、検出対象物としての幅の大きさ、当該検出対象物の基点となる基準座標などを含む。
【００４０】
続いて、画像表示処理では、制御部２４は、センサ群１６の検出結果を取得する（Ｓ１４０）。このＳ１４０で取得する検出結果は、車両５の挙動を表す車両挙動である。
さらに、画像表示処理では、制御部２４は、車両５の挙動が急変したか否かを判定する（Ｓ１５０）。具体的にＳ１５０では、制御部２４は、今サイクルにおけるセンサ群１６での検出結果が、前サイクルにおけるセンサ群１６での検出結果から閾値以上変化していれば、車両５の挙動が急変したものと判定すればよい。
【００４１】
ここで言う前サイクルとは、画像表示処理が前回起動された場合のＳ１１０からＳ３００までの一連の処理である。また、ここで言う今サイクルとは、画像表示処理が起動された場合の今回のＳ１１０からＳ３００までの一連の処理である。
【００４２】
このＳ１５０での判定の結果、車両５の挙動が急変していなければ（Ｓ１５０：ＮＯ）、制御部２４は、画像表示処理をＳ１６０へと移行させる。そのＳ１６０では、制御部２４は、今サイクルにおけるＳ１３０で生成した対象物情報を記憶部２２に記憶する。
【００４３】
本実施形態において、記憶部２２に記憶される対象物情報は、少なくとも予め規定された数の規定サイクル数分である。つまり、記憶部２２には、規定サイクル数分の対象物情報が蓄積される。なお、記憶部２２に記憶される規定サイクル数分の対象物情報は、順次更新されてもよい。
【００４４】
制御部２４は、その後、画像表示処理をＳ１７０へと移行させる。
一方、Ｓ１５０での判定の結果、車両５の挙動が急変していれば（Ｓ１５０：ＹＥＳ）、制御部２４は、Ｓ１６０を実行することなく、画像表示処理をＳ１７０へと移行させる。
【００４５】
そのＳ１７０では、制御部２４は、カメラ１０の各々に対する仮パラメータの組み合わせを特定し、その仮パラメータの組み合わせを設定する。
仮パラメータとは、カメラ１０各々の仮想的なカメラパラメータである。ここで言う仮想的とは、仮にあるものとして想定することである。具体的に仮パラメータのそれぞれには、ｘ座標，ｙ座標，高さｚ，ピッチΘ，ロールΦ，及びヨーΨを含む。
【００４６】
なお、本実施形態のＳ１７０では、画像表示処理が起動されて最初にＳ１７０へと移行した場合には、カメラ１０各々の仮パラメータを初期値に設定する。ここで言う初期値とは、予め規定された値である。この初期値の一例として、一つのカメラ１０における、決められた特定のパラメータだけ、基準パラメータから規定された規定量だけ変更し、その他のパラメータ、及び他のカメラ１０の仮パラメータについては基準パラメータとすることが考えられる。
【００４７】
さらに、画像表示処理では、制御部２４は、Ｓ１７０で設定した仮パラメータの組み合わせに基づいて、Ｓ１６０で記憶部２２に記憶された検出対象物の位置、傾きなどを補正する（Ｓ１８０）。
【００４８】
具体的にＳ１８０では、制御部２４は、記憶部２２に記憶されている、現時点から過去規定サイクル数分の対象物情報を取得する。そして、その取得した対象物情報それぞれに含まれる検出対象物の位置、傾きを、対応するカメラ１０の仮パラメータに基づいて補正することで、補正対象物を特定し補正物情報を生成する。
【００４９】
補正対象物とは、仮パラメータに基づいて画像を視点変換した場合の視点変換画像における検出対象物である。さらに、補正物情報とは、補正対象物に関する対象物情報である。この補正物情報には、補正対象物の端辺の長さ、向き、補正対象物としての幅の大きさ、当該補正対象物の基点となる基準座標などを含む。
【００５０】
続いて、画像表示処理では、制御部２４は、補正物情報に基づいて、パラメータ評価値ｅを算出する（Ｓ１９０）。ここで言うパラメータ評価値ｅとは、互いに隣接する規定領域を撮像した画像における補正対象物同士の連続度合いを表す評価値である。
【００５１】
例えば、路面に描かれた区画線としての白線を対象物とした場合、具体的にＳ１９０において制御部２４は、図４に示すように、左右の白線それぞれについて、互いに隣接する規定領域を撮像した画像から求めた補正対象物の誤差の和をパラメータ評価値ｅとして算出してもよい。この場合のパラメータ評価値ｅの算出は、下記（１）式に従って実現すればよい。
【００５２】
【数１】
2017112566.tif 000003
【００５３】
ただし、（１）式における符号Ｗは、予め規定された重み係数である。符号ａは、互いに隣接する規定領域を撮像した画像における補正対象物を直線とした場合の補正対象物同士の傾きの差である。また、符号ｂは、互いに隣接する規定領域を撮像した画像における補正対象物を直線とした場合の補正対象物同士の切片の差である。
【００５４】
続いて、画像表示処理では、制御部２４は、Ｓ１９０で算出したパラメータ評価値ｅと、記憶部２２に記憶されている最適評価値とを比較する（Ｓ２００）。さらに、Ｓ２００では、制御部２４は、Ｓ１９０で算出したパラメータ評価値ｅが最適評価値として適していれば、そのＳ１９０で算出したパラメータ評価値ｅを最適評価値として記憶し更新する。具体的にＳ２００では、制御部２４は、Ｓ１９０で算出したパラメータ評価値ｅが、記憶部２２に記憶されている最適評価値よりも小さければ、Ｓ１９０で算出したパラメータ評価値ｅが最適評価値として適しているものと判定すればよい。
【００５５】
さらに、制御部２４は、仮パラメータの全ての組み合わせを設定したか否かを判定する（Ｓ２１０）。このＳ２１０での判定の結果、仮パラメータの全ての組み合わせを設定済みでなければ（Ｓ２１０：ＮＯ）、制御部２４は、画像表示処理をＳ１７０へと戻す。
【００５６】
そのＳ１７０では、カメラ１０の各々に対する仮パラメータの全ての組み合わせの中から、未設定である仮パラメータの組み合わせを一つ設定する。そして、制御部２４は、Ｓ１８０からＳ２１０までを実行する。
【００５７】
すなわち、本実施形態では、Ｓ１７０からＳ２１０までのステップを繰り返すことで、車両５の姿勢に応じた多様なケースにおけるカメラ１０の各々の仮パラメータの組み合わせを設定し、その仮パラメータの組み合わせに対する尤度を評価する。仮パラメータの組み合わせの変更の一例として、一つのカメラ１０における、決められた特定のパラメータだけ、現在設定されている値から規定量だけ変更し、その他のパラメータ、及び他のカメラ１０の仮パラメータについては現在設定されている値とすることが考えられる。さらに、特定のパラメータの値が最終値である場合には、パラメータの値を変更する対象を次の種類のパラメータとする。さらには、一つのカメラ１０について、全ての種類のパラメータが最終値となった場合には、次のカメラ１０について、パラメータの値を変更する。
【００５８】
これにより、最も尤度の高い仮パラメータは、車両５の姿勢を考慮したカメラパラメータとなる。「車両の姿勢を考慮した」とは、車両を剛体とみなして、車両の傾きだけをカメラパラメータに反映することを意味するものである。なお、ここで言う多様なケースの一例には、車両５の前端部が低いケースや、車両５の後端部が低いケースなどが含まれる。さらに、多様なケースの一例には、車両５の右側方が低いケースや、車両５の左側方が低いケースなどが含まれる。
【００５９】
一方、Ｓ２１０での判定の結果、仮パラメータの全ての組み合わせを設定済みであれば（Ｓ２１０：ＹＥＳ）、制御部２４は、画像表示処理をＳ２２０へと移行させる。
そのＳ２２０では、制御部２４は、最適評価値が判定閾値Ｔｈ以下であるか否かを判定する。ここで言う判定閾値Ｔｈとは、仮パラメータの組み合わせが基準パラメータよりも車両挙動に適合していることを表す閾値であり、実験などに基づいて予め規定された閾値である。
【００６０】
このＳ２２０での判定の結果、最適評価値が判定閾値Ｔｈ以下であれば（Ｓ２２０：ＹＥＳ）、制御部２４は、最適評価値に対応する仮パラメータの各々を、対応するカメラ１０の較正パラメータとして記憶部２２に記憶する（Ｓ２３０）。すなわち、Ｓ２３０にて記憶部２２に記憶される較正パラメータは、検出対象物同士が連続となる視点変換画像を生成するカメラ１０の各々のカメラパラメータである。
【００６１】
本実施形態において、記憶部２２に記憶される較正パラメータは、特定サイクル数分である。この特定サイクル数とは、規定サイクル数よりも多いサイクル数として予め規定された数である。つまり、記憶部２２には、カメラ１０の各々について、特定サイクル数分の較正パラメータが記憶される。なお、記憶部２２に記憶される特定サイクル数分の較正パラメータは、順次更新されてもよい。
【００６２】
その後、制御部２４は、画像表示処理をＳ２４０へと移行させる。
一方、Ｓ２２０での判定の結果、最適評価値が判定閾値Ｔｈよりも大きい場合（Ｓ２２０：ＮＯ）、制御部２４は、Ｓ２３０を実行することなく、画像表示処理をＳ２４０へと移行させる。
【００６３】
そのＳ２４０では、制御部２４は、記憶されているカメラ１０の各々の全ての較正パラメータを取得する。続いて、制御部２４は、Ｓ２４０で取得した較正パラメータの代表値をカメラ１０ごとに算出する（Ｓ２５０）。ここで言う代表値は、平均値であってもよいし、最頻値であってもよいし、中央値であってもよい。
【００６４】
具体的にＳ２５０において、制御部２４は、図５に示すように、カメラ１０の各々の、ピッチΘの代表値、ロールΦの代表値、ヨーΨの代表値を算出する。そして、制御部２４は、ピッチΘの代表値及びヨーΨの代表値を、対応するカメラ１０のロールΦの代表値に対して直交化する。この場合、ピッチΘの代表値、ロールΦの代表値、及びヨーΨの代表値は、正規化されていてもよい。
【００６５】
さらに、画像表示処理では、制御部２４は、予め規定された期間の間に特定された較正パラメータのバラつき度合いを算出する（Ｓ２６０）。具体的にＳ２６０では、制御部２４は、予め規定された期間の間に設定された較正パラメータの標準偏差を、バラつき度合いとして算出すればよい。なお、ここで言う予め規定された期間とは、例えば、特定サイクル数が、規定された回数繰り返される期間である。
【００６６】
続いて、画像表示処理では、制御部２４は、Ｓ２５０で設定した較正パラメータが、予め設定された採用基準を満たすか否かを判定する（Ｓ２７０）。ここで言う採用基準とは、Ｓ２６０で算出されたバラつき度合いが、予め規定された設定閾値以下であることである。
【００６７】
このＳ２７０での判定の結果、較正パラメータが採用基準を満たしていれば（Ｓ２７０：ＹＥＳ）、制御部２４は、Ｓ２５０で算出したカメラ１０ごとの較正パラメータの代表値を、新たなカメラパラメータとして設定する（Ｓ２８０）。
【００６８】
続いて、制御部２４は、Ｓ２８０で設定されたカメラパラメータに基づいて、Ｓ１１０で取得した画像を視点変換して視点変換画像を生成する（Ｓ２９０）。その後、制御部２４は、画像表示処理をＳ３００へと移行させる。
【００６９】
一方、Ｓ２７０での判定の結果、較正パラメータが採用基準を満たしていなければ（Ｓ２７０：ＮＯ）、制御部２４は、Ｓ２８０，Ｓ２９０を実行することなく、画像表示処理をＳ３００へと移行させる。
【００７０】
そのＳ３００では、制御部２４は、視点変換画像を表示装置４０に出力する。そして、視点変換画像を取得した表示装置４０は、車載カメラの各々に対応する視点変換画像を表示する。
【００７１】
なお、Ｓ３００により表示装置４０に表示される視点変換画像は、画像表示処理がＳ２８０，及びＳ２９０を経てＳ３００へと移行した場合には、そのＳ２９０にて生成された視点変換画像である。一方、Ｓ３００により表示装置４０に表示される視点変換画像は、画像表示処理がＳ２８０，及びＳ２９０を経ずにＳ３００へと移行した場合には、Ｓ１２０にて生成された視点変換画像である。
【００７２】
その後、制御部２４は、画像表示処理を終了し、次の起動タイミングまで待機する。
つまり、画像表示処理では、基準パラメータに基づく視点変換画像の各々の検出対象物同士が不連続である場合、車両５の姿勢が傾いているものとして、カメラ１０の各々について車両５の姿勢を判定した適正なカメラパラメータを求める。そして、画像表示処理では、適正なカメラパラメータを求める方法として、当該検出対象物同士が連続となる視点変換画像を生成するカメラ１０の各々のカメラパラメータである較正パラメータを探索することを実行する。
【００７３】
さらに、画像表示処理では、その特定した較正パラメータに基づいて、新たな視点変換画像を生成し表示装置４０に表示する。
換言すると、画像表示処理を実行した制御装置２０は、パラメータ特定装置として機能する。
［２．  実施形態の効果］
（２．１）  以上説明したように、本実施形態の画像表示処理によれば、各カメラ１０の較正パラメータを特定できる。
【００７４】
この較正パラメータは、当該較正パラメータに基づいて撮像画像を視点変換した視点変換画像において、検出対象物同士が連続となるカメラパラメータであり、その時点での車両５の姿勢を反映したカメラの位置及び姿勢である。
【００７５】
つまり、画像表示処理によれば、車両５が走行する際に、その車両５の姿勢を反映した較正パラメータを順次特定できる。
（２．２）  この結果、制御装置２０によれば、新たに生成される視点変換画像において、検出対象物が不連続、即ち、実空間上の同一地点が不一致となることを低減できる。
【００７６】
制御装置２０によれば、車両５の積載状態に関わらず、表示装置に表示される画像の連続性を向上させることができる。
（２．３）  さらに、画像表示処理においては、検出対象物同士が連続となる視点変換画像を生成するカメラ１０の各々のカメラパラメータを較正パラメータとして特定しているため、視点変換画像を生成する全てのカメラ１０につき較正パラメータを特定できる。
【００７７】
換言すると、制御装置２０によれば、較正パラメータを特定するために、複数のカメラ１０のうちの一つを基準とする必要がない。このため、制御装置２０によれば、較正パラメータを特定できないカメラ１０が存在することを低減できる。
【００７８】
（２．４）  ところで、画像表示処理においては、車両５の挙動が急変していれば、対象物情報を記憶することを回避し、その状況下での対象物情報に基づく仮パラメータの評価を回避している。
【００７９】
これにより、画像表示処理によれば、仮パラメータの評価対象を、車両５が安定して動作している状況で撮影された画像に基づく対象物情報に限定することができ、仮パラメータの評価を精度良く実現できる。
【００８０】
（２．５）  また、画像表示処理においては、最適評価値が判定閾値Ｔｈよりも大きい場合には、較正パラメータを記憶部２２に記憶することを回避し、較正パラメータの代表値の算出から、当該較正パラメータを除外している。
【００８１】
これにより、画像表示処理によれば、特異値を除外した状態で較正パラメータの代表値を算出でき、較正パラメータの代表値を信頼性の高いものとすることができる。
（２．６）  画像表示処理においては、バラつき度合いが設定閾値以下である較正パラメータの代表値に従って、視点変換画像を生成し表示装置４０に表示している。
【００８２】
これにより、画像表示装置によれば、表示装置４０に表示される視点変換画像を安定した画像とすることができ、画像の表示が急激に変化することを低減できる。
（２．７）  ところで、較正パラメータの代表値を算出する際に、ピッチΘ，ロールΦ，及びヨーΨそれぞれの代表値を独立して算出すると、それらのピッチΘ，ロールΦ，及びヨーΨそれぞれの代表値は、直交性が維持されない。すると、ピッチΘ，ロールΦ，及びヨーΨそれぞれの代表値は、カメラの実態が考慮されておらず、実態とはかけ離れたものとなる可能性がある。
【００８３】
しかしながら、画像表示処理においては、ピッチΘの代表値及びヨーΨの代表値を、ロールΦの代表値に対して直交するように算出している。
このようにピッチΘの代表値及びヨーΨの代表値を算出することで、ロールΦ、ピッチΘ、及びヨーΨの直交性を維持でき、ロールΦの代表値、ピッチΘの代表値、及びヨーΨの代表値を、カメラ１０の実態に即したものとすることができる。
［３．  その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【００８４】
（３．１）上記実施形態におけるＳ１６０では、記憶部２２に記憶する対象を対象物情報としていたが、Ｓ１６０において記憶部２２に記憶する対象は、Ｓ１１０で取得した撮像画像の各々であってもよいし、Ｓ１２０で生成した視点変換画像の各々であってもよい。
【００８５】
この場合、画像表示処理におけるＳ１８０では、記憶部２２に記憶された画像から検出対象物を検出して補正対象物へと変換して補正物情報を生成すればよい。
（３．２）上記実施形態における２８０では、Ｓ２７０で算出されたバラつき度合いが設定閾値以下であることを採用基準としていたが、採用基準は、これに限るものではない。更に言えば、Ｓ２８０は、省略されていてもよい。
【００８６】
（３．３）  上記実施形態における制御部２４が実行する機能の一部または全部は、一つあるいは複数のＩＣ等によりハードウェア的に構成されていてもよい。
（３．４）  上記実施形態においては、ＲＯＭ２６にプログラムが格納されていたが、プログラムを格納する記憶媒体は、これに限るものではなく、半導体メモリなどの非遷移的実体的記憶媒体に格納されていてもよい。
【００８７】
（３．５）また、制御部２４は非遷移的実体的記録媒体に格納されたプログラムを実行してもよい。このプログラムが実行されることで、プログラムに対応する方法が実現される。
【００８８】
（３．６）また、本発明は、前述した制御装置２０によって実現されるパラメータ特定装置の他、表示システム、カメラパラメータを特定するためにコンピュータが実行するプログラム、カメラパラメータを特定する方法等、種々の形態で実現することができる。
【００８９】
（３．７）なお、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。
【００９０】
（３．８）「特許請求の範囲」及び「課題を解決するための手段」の欄に記載した括弧内の符号は、一つの態様として実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
［４．対応関係の一例］
画像表示処理のＳ１１０を実行することで得られる機能が画像取得部の一例に相当する。Ｓ１２０を実行することで得られる機能が画像変換部の一例に相当する。Ｓ１３０を実行することで得られる機能が対象検出部の一例に相当する。
【００９１】
Ｓ１７０〜Ｓ２５０、及びＳ２８０を実行することで得られる機能がパラメータ特定部の一例に相当する。Ｓ２６０，Ｓ２７０，及びＳ２９０を実行することで得られる機能が画像更新部の一例に相当する。
【００９２】
さらに、Ｓ１７０を実行することで得られる機能が仮定部の一例に相当する。Ｓ１８０を実行することで得られる機能が補正部の一例に相当する。Ｓ１９０〜Ｓ２５０を実行することで得られる機能が特定部の一例に相当する。
【００９３】
Ｓ１９０〜Ｓ２３０を実行することで得られる機能が算出部の一例に相当する。Ｓ２６０を実行することで得られる機能がバラつき算出部の一例に相当する。
【符号の説明】
【００９４】
１…表示システム  ５…車両  １０…カメラ  １４…入力装置  １６…センサ群  ２０…制御装置  ２２…記憶部  ２４…制御部  ２６…ＲＯＭ  ２８…ＲＡＭ  ３０…ＣＰＵ  ４０…表示装置
【図１】
2017112566.tif 000004
【図２】
2017112566.tif 000005
【図３】
2017112566.tif 000006
【図４】
2017112566.tif 000007
【図５】
2017112566.tif 000008