(57)【要約】【課題】校正指標の位置の算出精度を上げることができるキャリブレーション装置を提供すること。【解決手段】車載カメラ取付角検出装置１００は、車両に搭載されており、車両周辺に配置されたキャリブレーションシートに含まれる校正指標を撮像するカメラ５２と、カメラ５２で撮像された校正指標の画像からその中心位置を算出する中心位置算出部１２０と、中心位置算出部１２０、１５０によって算出した中心位置に基づいてカメラ５２の姿勢を算出するカメラ姿勢算出部１３０と、カメラ姿勢算出部１３０によって算出されたカメラの姿勢に基づいて校正指標のトップビュー画像を生成するトップビュー画像生成部１４０と、校正指標のトップビュー画像からその中心位置を算出する中心位置算出部１５０とを備えている。【選択図】図３
2020088601.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されており、車両周辺に配置されたキャリブレーションシートに含まれる校正指標を撮像するカメラと、
前記カメラで撮像された前記校正指標の画像からその中心位置を算出する第１の中心位置算出手段と、
前記第１の中心位置算出手段によって算出した中心位置に基づいて前記カメラの姿勢を算出するカメラ姿勢算出手段と、
前記カメラ姿勢算出手段によって算出された前記カメラの姿勢に基づいて、前記校正指標のトップビュー画像を生成するトップビュー画像生成手段と、
前記校正指標のトップビュー画像からその中心位置を算出する第２の中心位置算出手段と、
を備えることを特徴とするキャリブレーション装置。
【請求項２】
前記カメラ姿勢算出手段による前記カメラの姿勢の算出と、前記トップビュー画像生成手段による前記トップビュー画像の生成を、前記第２の中心位置算出手段によって算出した前記校正指標の中心位置を用いて再度行うことを特徴とする請求項１に記載のキャリブレーション装置。
【請求項３】
前記カメラ姿勢算出手段によって算出される前記カメラの今回の取付角と前回の取付角との差が所定値より小さくなるまで、前記第２の中心位置算出手段による中心位置の算出を繰り返すことを特徴とする請求項２に記載のキャリブレーション装置。
【請求項４】
前記第１の中心位置算出手段によって算出される中心位置は、前記校正指標の重心位置であることを特徴とする請求項１〜３のいずれか一項に記載のキャリブレーション装置。
【請求項５】
前記校正指標は、円形形状を有することを特徴とする請求項１〜４のいずれか一項に記載のキャリブレーション装置。
【請求項６】
前記キャリブレーションシートは、路面上に配置されており、
前記カメラは、前記キャリブレーションシートを斜め方向から撮像することを特徴とする請求項１〜５のいずれか一項に記載のキャリブレーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラの姿勢を検出するキャリブレーション装置に関する。
【背景技術】
【０００２】
従来から、校正指標としての円形のキャリブレーションマークが描かれたキャリブレーションシートを車両後方の路上に配置し、これを車両後部に設置されたカメラで撮影することにより、カメラの取付角度等を検出するようにした車載カメラ姿勢検出装置が知られている（例えば、特許文献１参照。）。この装置では、カメラでキャリブレーションシートを撮影し、その中に含まれる円形のキャリブレーションマークの中心を求めることで、その後の各種の演算を行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述した特許文献１に開示された車載カメラ姿勢検出装置では、カメラによるキャリブレーションシートの撮像は、例えば魚眼レンズや広角レンズを通して水平から下向きに行われる。このようにして撮影されるキャリブレーションシート内のキャリブレーションマークは、円形ではなく、カメラから遠い部分よりも近い部分が広がった歪んだ形状となる。このような歪んだ形状のキャリブレーションマーク（校正指標）の中心は、円形のキャリブレーションの中心よりも車両に近い側にずれることなり、得られた中心位置に誤差が含まれるという問題があった。この中心位置の誤差は、カメラの取付角度等の検出誤差の原因となるため望ましくない。特に、ＡＳＶ（先進安全技術自動車）が正しく作動するための校正作業（エーミング作業）などのためにも、このような検出誤差の低減が望まれる。
【０００５】
本発明は、このような点に鑑みて創作されたものであり、その目的は、校正指標（キャリブレーションマーク）の位置の算出精度を上げることができるキャリブレーション装置を提供することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明のキャリブレーション装置は、車両に搭載されており、車両周辺に配置されたキャリブレーションシートに含まれる校正指標を撮像するカメラと、カメラで撮像された校正指標の画像からその中心位置を算出する第１の中心位置算出手段と、第１の中心位置算出手段によって算出した中心位置に基づいてカメラの姿勢を算出するカメラ姿勢算出手段と、カメラ姿勢算出手段によって算出されたカメラの姿勢に基づいて、校正指標のトップビュー画像を生成するトップビュー画像生成手段と、校正指標のトップビュー画像からその中心位置を算出する第２の中心位置算出手段とを備えている。
【０００７】
キャリブレーションシートに含まれる校正指標をカメラで撮像したときに形状が歪むとその分だけ校正指標の中心位置算出時に誤差が生じるが、この誤差を含む中心位置を用いて算出したカメラの姿勢に基づいてトップビュー画像を生成してその中心位置を再度算出することにより、誤差を減らして校正指標の位置の算出精度を上げることが可能となる。
【０００８】
また、上述したカメラ姿勢算出手段によるカメラの姿勢の算出と、トップビュー画像生成手段によるトップビュー画像の生成を、第２の中心位置算出手段によって算出した校正指標の中心位置を用いて再度行うことが望ましい。カメラの姿勢算出と、トップビュー画像に基づく校正指標の中心位置の算出とを再度行うことにより、校正指標の位置の算出精度をさらに上げることができる。
【０００９】
また、上述したカメラ姿勢算出手段によって算出されるカメラの今回の取付角と前回の取付角との差が所定値より小さくなるまで、第２の中心位置算出手段による中心位置の算出を繰り返すことが望ましい。これにより、校正指標の位置の算出精度をさらに上げて、誤差をなくす、あるいは、許容可能な程度まで減らすことが可能となる。
【００１０】
また、上述した第１の中心位置算出手段によって算出される中心位置は、校正指標の重心位置であることが望ましい。校正指標をカメラで撮像した画像が元の形状に対して歪んで見えるときにその重心位置を求めると、真の中心位置からずれてしまうが、トップビュー画像に基づいてその中心位置を再度算出することにより、形状の歪みによる影響を減らすことが可能となる。
【００１１】
また、上述した校正指標は、円形形状を有することが望ましい。円形の校正指標をカメラで撮像した画像が円形形状から歪んで見えるときに、その中心位置を求めると円心からずれてしまうが、トップビュー画像に基づいてその中心位置を再度算出することにより、算出される中心位置を円心の位置に近づけることが可能となる。
【００１２】
また、上述したキャリブレーションシートは、路面上に配置されており、カメラは、キャリブレーションシートを斜め方向から撮像することが望ましい。路面上に置かれたキャリブレーションシートの校正指標をカメラで斜め方向から撮像することにより校正指標の形状が歪んで見えるため、真の形状の中心位置からずれてしまうが、トップビュー画像に基づいてその中心位置を再度算出することにより、形状の歪みによる影響を減らすことが可能となる。
【図面の簡単な説明】
【００１３】
【図１】一実施形態の車載カメラ取付角検出装置の全体構成を示す図である。
【図２】カメラの具体的な設置例を示す図である。
【図３】キャリブレーションプログラムを実行することで動作する車載カメラ取付角検出装置の機能ブロックの構成図である。
【図４】キャリブレーションシートの具体例を示す図である。
【図５】画像入力部によって取り込まれた後方画像の一例を示す図である。
【図６】キャリブレーションシートを撮像してカメラの姿勢を算出するまでの一連の動作手順を示す流れ図である。
【発明を実施するための形態】
【００１４】
以下、本発明のキャリブレーション装置を適用した一実施形態の車載カメラ取付角検出装置について、図面を参照しながら説明する。
【００１５】
図１は、一実施形態の車載カメラ取付角検出装置の全体構成を示す図である。図１に示すように、本実施形態の車載カメラ取付角検出装置１００は、操作部１０、入力処理部１２、表示処理部２０、表示装置２２、ＣＰＵ３０、メモリ４０、入出力インタフェース部（Ｉ／Ｏ  ＩＦ）５０、カメラ５２を備えている。この車載カメラ取付角検出装置１００は、路面上に配置されたキャリブレーションシートをカメラ５２で撮像し、このキャリブレーションシートに含まれる所定形状（例えば円形）の構成指標の位置に基づいてカメラ５２の姿勢（取付角）を推定して補正する動作を行う。なお、この車載カメラ取付角検出装置１００によって検出されるカメラ取付角は、カメラ５２を用いた他の装置においてその検出結果（カメラ取付角）を用いるためのものであり、車載カメラ取付角検出装置１００の構成全体あるいは一部を他の装置に含ませるようにしてもよい。
【００１６】
操作部１０は、車載カメラ取付角検出装置１００に対する利用者による操作を受け付けるためのものであり、各種の操作キー、操作スイッチ、操作つまみ等を含んで構成されている。入力処理部１２は、操作部１０を監視しており、利用者による操作内容を決定する。
【００１７】
表示処理部２０は、各種の操作画面や入力画面等を表示する映像信号を出力して表示装置２２にこれらの画面を表示する。表示装置２２は、例えば液晶表示装置（ＬＣＤ）を用いて構成されている。
【００１８】
ＣＰＵ３０は、メモリ４０に格納された所定のプログラムを実行することにより、車載カメラ取付角検出装置１００の全体を制御するとともに、カメラ５２の取付角を推定して補正するキャリブレーション動作に必要な各種の動作を行う。
【００１９】
メモリ４０は、ＣＰＵ３０の動作プログラムを格納するとともに、ＣＰＵ３０の動作に必要な各種データを格納する作業領域として用いられる。ＣＰＵ３０によって実行される動作プログラムには、キャリブレーション動作を行うためのプログラム（キャリブレーションプログラム）が含まれている。メモリ４０は、例えば、ＲＯＭやＲＡＭ等の半導体メモリによって構成されており、これら以外にハードディスク装置などを含むようにしてもよい。
【００２０】
入出力インタフェース部５０は、カメラ５２を含む各種の入出力機器との間で信号（データ）の入出力処理を行う。
【００２１】
カメラ５２は、車両後方の所定位置に取り付けられ、魚眼レンズや広角レンズを通して、キャリブレーションシートを含む車両後方を撮影する。なお、カメラ５２は、所定の設置位置に正しく（誤差なく）取り付けられるものとし、取付角度が所定の設計値の近傍ではあるが誤差を含んで取り付けられるものとする。
【００２２】
図２は、カメラ５２の具体的な設置例を示す図である。図２に示す例では、カメラ５２は、リアバンパーの中央に、水平から下向きに約３０°の角度で取り付けられている。本実施形態では、このカメラ５２の撮影範囲に含まれるように、車両後方の路面上の所定位置にキャリブレーションシート２００（３００）が配置されているものとする。
【００２３】
図３は、キャリブレーションプログラムを実行することで動作する車載カメラ取付角検出装置１００の機能ブロックの構成図である。図２に示す車載カメラ取付角検出装置１００は、上述したカメラ５２以外に、ＣＰＵ３０によってキャリブレーションプログラムを実行することにより実現される機能ブロックとしての画像入力部１１０、画像格納部１１２、中心位置算出部１２０、１５０、カメラ姿勢算出部１３０、トップビュー画像生成部１４０、中心位置決定部１６０、車両方向ズレ算出部１７０、カメラ取付角補正部１８０を含んで構成されている。
【００２４】
画像入力部１１０は、カメラ５２によって撮像されたキャリブレーションシート２００が含まれる後方画像を取り込む。画像格納部１１２は、画像入力部１１０によって取り込まれた後方画像を格納する。この画像格納部１１２は、例えばメモリ４０の一部を用いて構成されている。
【００２５】
図４は、キャリブレーションシートの具体例を示す図である。本実施形態では、図４（Ａ）あるいは図４（Ｂ）に示すように、円形の校正指標（キャリブレーションマーク）２１０、３１０、３２０が含まれるキャリブレーションシート２００、３００が用いられる。なお、図４に示すキャリブレーションシート２００、３００は一例であって、円形の校正指標が含まれる他のキャリブレーションシートを用いるようにしてもよい。
【００２６】
図５は、画像入力部１１０によって取り込まれた後方画像の一例を示す図である。例えば、図４（Ｂ）に示すキャリブレーションシート３００をカメラ５２で撮像して得られた後方画像が示されている。
【００２７】
中心位置算出部１２０は、カメラ５２で撮像されたキャリブレーションシート内の校正指標の画像からその中心位置を算出する。図５に示す後方画像に含まれる校正指標は、本来の円形形状から歪んでおり、その中心位置（重心位置）を算出しても円形形状の円心と一致しないが、中心位置算出部１２０による算出結果としてこの重心位置が用いられる。
【００２８】
カメラ姿勢算出部１３０は、中心位置算出部１２０、１５０によって算出した校正指標の中心位置が円心に一致するものとして、カメラ５２の姿勢を算出する。実際には、校正指標の中心位置（重心位置）と円心とは一致しないため、姿勢の算出結果には誤差が含まれる。
【００２９】
トップビュー画像生成部１４０は、カメラ姿勢算部１３０によって算出されたカメラ５２の姿勢に基づいて、校正指標のトップビュー画像を生成する。
【００３０】
中心位置算出部１５０は、トップビュー画像生成部１４０によって生成された校正指標のトップビュー画像からこの校正指標の中心位置（円心）を算出する。
【００３１】
ところで、このようにして中心位置算出部１５０によって算出される中心位置（第２の中心位置）は、カメラ５２による撮像によって得られた歪んだ形状の校正指標に基づいて中心位置算出部１２０によって算出された中心位置（第１の中心位置）よりは、真の値（円心）に近づくと考えられるが、カメラ姿勢算出部１３０によるカメラ５２の姿勢の算出とトップビュー画像生成部１４０によるトップビュー画像の生成を第１の中心位置に基づいて行っているため、依然として誤差が含まれている。
【００３２】
そこで、本実施形態では中心位置算出部１５０によって算出された第２の中心位置に基づいて、カメラ姿勢算出部１３０によるカメラ５２の姿勢の算出とトップビュー画像生成部１４０によるトップビュー画像の生成を繰り返すことにより、第２の中心位置に含まれる誤差を次第に低減するようにしている。
【００３３】
中心位置決定部１６０は、中心位置算出部１５０によって直前に算出された中心位置に基づいてカメラ姿勢算出部１３０によって算出されたカメラ５２の姿勢（取付角）と、その一つ前に中心位置算出部１２０あるいは１５０によって算出された中心位置に基づいてカメラ姿勢算出部１３０によって算出されたカメラ５２の姿勢（取付角）との差が所定値よりも小さくなったときに、直前に算出された中心位置を、最終的な校正指標の中心位置として決定する。この結果、この直前に算出された中心位置に基づいてカメラ姿勢算出部１３０によって算出されたカメラ５２の姿勢が最終的な姿勢の算出結果（推定値）となる。一方、差が所定値よりも大きい場合には、カメラ姿勢算出部１３０による中心位置の算出とトップビュー画像生成部１４０によるトップビュー画像の生成を繰り返す指示がこれらに対して行われる。
【００３４】
車両方向ズレ算出部１７０は、カメラ姿勢算出部１３０によって算出されたカメラの姿勢（カメラ位置）を用いて、車両の方向ズレθを算出する。
【００３５】
カメラ取付角補正部１８０は、カメラ姿勢算出部１３０によって算出されたカメラの姿勢（カメラ角度）に対して、車両方向ズレ算出部１７０によって算出された車両の方向ズレθを用いた回転補正を行って、補正後のカメラ角度を決定する。
【００３６】
上述した中心位置算出部１２０が第１の中心位置算出手段に、カメラ姿勢算出部１３０がカメラ姿勢算出手段に、トップビュー画像生成部１４０がトップビュー画像生成手段に、中心位置算出部１５０が第２の中心位置算出手段にそれぞれ対応する。
【００３７】
本実施形態の車載カメラ取付角検出装置１００はこのような構成を有しており、次に、その動作を説明する。
【００３８】
図６は、キャリブレーションシートを撮像してカメラ５２の姿勢を算出するまでの一連の動作手順を示す流れ図である。
【００３９】
まず、画像入力部１１０は、カメラ５２によって撮像された車両後方のキャリブレーションシートが含まれる撮像画像を取り込むことにより、画像の入力を行う（ステップ１００）。入力された画像（キャリブレーションシート画像）は、画像格納部１１２に格納される。
【００４０】
次に、中心位置算出部１２０は、画像格納部１１２からキャリブレーション画像を読み出して、その中に含まれる校正指標を抽出し（ステップ１０２）、その中心位置を算出する（ステップ１０４）。また、カメラ姿勢算出部１３０は、この算出された中心位置を用いてカメラ５２の姿勢を算出する（ステップ１０６）。
【００４１】
次に、トップビュー画像生成部１４０は、算出されたカメラ５２の姿勢に基づいて、カメラ５２の撮像によって得られたキャリブレーション画像に対して視点変換を行ってトップビュー画像を生成する（ステップ１０８）。中心位置算出部１５０は、このトップビュー画像に含まれる校正指標を抽出し（ステップ１１０）、その中心位置（円心）を算出する（ステップ１１２）。また、カメラ姿勢算出部１３０は、この算出された中心位置を用いてカメラ５２の姿勢を算出する（ステップ１１４）。
【００４２】
次に、中心位置決定部１６０は、今回算出されたカメラ５２の姿勢（取付角）とその一つ前に算出されたカメラ５２の姿勢（取付角）の差が所定値よりも小さくなったか否かを判定する（ステップ１１６）。差が所定値以上の場合には否定判断が行われ、ステップ１０８に戻って、トップビュー画像の生成以降の動作が繰り返される。また、差が所定値よりも小さい場合にはステップ１１４の判定において肯定判断が行われる。次に、中心位置決定部１６０は、最後に算出した中心位置を校正指標の最終的な中心位置として決定する（ステップ１１８）。また、この中心位置に対応して、最終的なカメラ５２の姿勢が決定される。
【００４３】
このように、本実施形態の車載カメラ取付角検出装置１００では、キャリブレーションシートに含まれる校正指標をカメラ５２で撮像したときに形状が歪むとその分だけ校正指標の中心位置算出時に誤差が生じるが、この誤差を含む中心位置を用いて算出したカメラ５２の姿勢に基づいてトップビュー画像を生成してその中心位置を再度算出することにより、誤差を減らして校正指標の位置の算出精度を上げることが可能となる。
【００４４】
また、カメラ５２の姿勢算出と、トップビュー画像に基づく校正指標の中心位置の算出とを再度行うことにより、校正指標の位置の算出精度をさらに上げることができる。
【００４５】
特に、今回の算出結果としてのカメラ５２の取付角と前回の算出結果としてのカメラ５２の取付角との差が所定値より小さくなるまで、カメラ５２の姿勢算出と中心位置算出とを繰り返すことにより、校正指標の位置の算出精度をさらに上げて、誤差をなくす、あるいは、許容可能な程度まで誤差を減らすことが可能となる。
【００４６】
また、中心位置算出部１２０によって算出される中心位置を校正指標の重心位置としている。校正指標をカメラ５２で撮像した画像が元の形状に対して歪んで見えるときにその重心位置を求めると、真の中心位置からずれてしまうが、トップビュー画像に基づいてその中心位置を再度算出することにより、形状の歪みによる影響を減らすことが可能となる。
【００４７】
また、円形の校正指標をカメラ５２で撮像した画像が円形形状から歪んで見えるときに、その中心位置を求めると円心からずれてしまうが、トップビュー画像に基づいてその中心位置を再度算出することにより、算出される中心位置を円心の位置に近づけることが可能となる。
【００４８】
また、路面上に置かれたキャリブレーションシートの校正指標をカメラ５２で斜め方向から撮像することにより校正指標の形状が歪んで見えるため、真の形状の中心位置からずれてしまうが、トップビュー画像に基づいてその中心位置を再度算出することにより、形状の歪みによる影響を減らすことが可能となる。
【００４９】
ところで、本発明のキャリブレーション装置では、カメラ５２で撮像した画像に含まれる歪んだ形状の校正指標を用いて算出した誤差を含む中心位置（重心位置）に対して、カメラ５２の姿勢の算出、トップビュー画像の生成、トップビュー画像内の校正指標の中心位置算出を１回あるいは複数回繰り返すことにより、中心位置に含まれる誤差を低減するものであり、カメラ姿勢算出部１３０の動作については、従来から用いられている各種の手法を適用することができる。例えば、特開２０１３−２２９６９２号公報に開示されている手法を図２に示したカメラ姿勢算出部１３０に適用することができる。
【００５０】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、キャリブレーションシートに円形の校正指標が含まれる場合について説明したが、校正指標は円形以外の形状であってもよい。
【産業上の利用可能性】
【００５１】
上述したように、本発明によれば、キャリブレーションシートに含まれる校正指標をカメラで撮像したときに形状が歪むとその分だけ校正指標の中心位置算出時に誤差が生じるが、この誤差を含む中心位置を用いて算出したカメラの姿勢に基づいてトップビュー画像を生成してその中心位置を再度算出することにより、誤差を減らして校正指標の位置の算出精度を上げることが可能となる。
【符号の説明】
【００５２】
１００  車載カメラ取付角検出装置
３０  ＣＰＵ
４０  メモリ
５２  カメラ
１１０  画像入力部
１１２  画像格納部
１２０、１５０  中心位置算出部
１３０  カメラ姿勢算出部
１４０  トップビュー画像生成部
１６０  中心位置決定部
２００、３００  キャリブレーションシート
【図１】
2020088601.tif 000003
【図２】
2020088601.tif 000004
【図３】
2020088601.tif 000005
【図４】
2020088601.tif 000006
【図５】
2020088601.tif 000007
【図６】
2020088601.tif 000008