(57)【要約】      （修正有）【課題】省スペースでステレオカメラのキャリブレーションを行うキャリブレーション方法を提供する。【解決手段】上側から下側に向けて第１の反射面Ｍ１０と第２の反射面Ｍ２０との間隔が広がるように、第１の鏡Ｍ１及び第２の鏡Ｍ２を配置する鏡配置工程と、第１の反射面Ｍ１０と第２の反射面Ｍ２０との間に目印Ｐを配置する目印配置工程と、第２の鏡Ｍ２の下方の位置であり、且つ第１の鏡Ｍ１の第２の鏡Ｍ２を介して目印Ｐを撮像可能な位置にステレオカメラ１０を配置するカメラ配置工程と、目印Ｐの反射像を含む画像を撮像する撮像工程と、ステレオカメラ１０で撮像された画像に基づいてステレオカメラ１０の右カメラ及び左カメラに対してキャリブレーションを行うキャリブレーション工程と、を備える。【選択図】図４
2018163111.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラのキャリブレーション方法であって、
基準方向に沿って見たときに、第１の鏡の第１の反射面と第２の鏡の第２の反射面とが互いに離間した状態で対向し、前記基準方向における一方側から他方側に向けて前記第１の反射面と前記第２の反射面との間隔が広がるように、前記第１の鏡及び前記第２の鏡を配置する鏡配置工程と、
前記基準方向に沿って見たときの前記第１の反射面と前記第２の反射面との間の位置、前記第１の反射面、及び、前記第２の反射面のいずれかの位置であり、且つ、前記第１の反射面及び前記第２の反射面における反射面同士の間隔が狭い側の端部よりも反射面同士の間隔が広い側の位置に目印を配置する目印配置工程と、
前記第１の反射面及び前記第２の反射面における反射面同士の間隔が狭い側の端部よりも反射面同士の間隔が広い側の位置であり、且つ前記第１の鏡及び前記第２の鏡を介して前記目印を撮像可能な位置に前記ステレオカメラを配置するカメラ配置工程と、
前記第１の反射面及び前記第２の反射面によって反射されて得られる前記目印の反射像を含む画像を前記ステレオカメラで撮像する撮像工程と、
前記ステレオカメラで撮像された前記画像に基づいて前記ステレオカメラが備える２つのカメラに対してキャリブレーションを行うキャリブレーション工程と、を備えるステレオカメラのキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラのキャリブレーション方法に関する。
【背景技術】
【０００２】
例えば、特許文献１に、ステレオカメラのキャリブレーション方法が記載されている。特許文献１には、２つの鏡を平行に配置し、２つの鏡で反射した目印の反射像を含む画像に基づいて、ステレオカメラのキャリブレーションを行うことが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１９１３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、ステレオカメラのキャリブレーションを行う際には、ステレオカメラの近傍から遠くの領域までを撮像した画像を用いる必要があり、広いスペースが必要となる。このため、特許文献１には、鏡の反射を利用することにより省スペースでキャリブレーションを行うことが提案されている。しかしながら、本技術分野では、さらに省スペースでステレオカメラのキャリブレーションを行うことが望まれている。
【課題を解決するための手段】
【０００５】
本発明は、ステレオカメラのキャリブレーション方法であって、基準方向に沿って見たときに、第１の鏡の第１の反射面と第２の鏡の第２の反射面とが互いに離間した状態で対向し、基準方向における一方側から他方側に向けて第１の反射面と第２の反射面との間隔が広がるように、第１の鏡及び第２の鏡を配置する鏡配置工程と、基準方向に沿って見たときの第１の反射面と第２の反射面との間の位置、第１の反射面、及び、第２の反射面のいずれかの位置であり、且つ、第１の反射面及び第２の反射面における反射面同士の間隔が狭い側の端部よりも反射面同士の間隔が広い側の位置に目印を配置する目印配置工程と、第１の反射面及び第２の反射面における反射面同士の間隔が狭い側の端部よりも反射面同士の間隔が広い側の位置であり、且つ第１の鏡及び第２の鏡を介して目印を撮像可能な位置にステレオカメラを配置するカメラ配置工程と、第１の反射面及び第２の反射面によって反射されて得られる目印の反射像を含む画像をステレオカメラで撮像する撮像工程と、ステレオカメラで撮像された画像に基づいてステレオカメラが備える２つのカメラに対してキャリブレーションを行うキャリブレーション工程と、を備える。
【０００６】
このステレオカメラのキャリブレーション方法において、目印からステレオカメラへ向かう光は、目印から第１の反射面と第２の反射面とで反射を繰り返しながら反射面同士の間隔が狭い側（基準方向における一方側）へ向かって進み、その後、進行方向を反転させて、反射面同士の間隔が広い側（基準方向における他方側）へ向かって第１の反射面と第２の反射面とで反射を繰り返しながら進んでステレオカメラへ入射する。このように、目印からステレオカメラへ向かう光を基準方向において往復させることで、小さなスペースであっても光の経路を長くすることができる。これにより、このステレオカメラのキャリブレーション方法では、省スペースでステレオカメラのキャリブレーションを行うことができる。
【発明の効果】
【０００７】
本発明によれば、省スペースでステレオカメラのキャリブレーションを行うことができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係るキャリブレーションシステムの概略構成を示す図である。
【図２】キャリブレーションを行うための第１の鏡等を示す斜視図である。
【図３】キャリブレーションを行うための第１の鏡等を示す側面図である。
【図４】目印からステレオカメラへ向かう光の経路を示す側面図である。
【図５】目印からステレオカメラへ向かう光の他の経路を示す側面図である。
【図６】右カメラによって撮像された画像を示す図である。
【図７】図６に示される画像を展開して、目印を並べたときのステレオカメラと複数の目印との位置関係を示す図である。
【図８】左カメラによって撮像された画像を示す図である。
【図９】得られた視差を１／ｚ−ｄ空間にプロットした状態を示す図である。
【図１０】１／ｚ−ｄ空間へのプロット結果に対し、最小二乗法を用いて直線を引いた状態を示す図である。
【図１１】キャリブレーションの終了後に第１の鏡を引き上げた状態を示す図である。
【図１２】キャリブレーション方法の手順を示すフローチャートである。
【図１３】車両の停止位置及び目印の設置位置の変形例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１０】
図１に示されるキャリブレーションシステム１の演算装置２０は、ステレオカメラ１０で撮像された画像に基づいて、ステレオカメラ１０が備える右カメラ１１及び左カメラ１２のキャリブレーションを行う。具体的には、本実施形態において、演算装置２０は、ステレオカメラ１０のキャリブレーションとして、右カメラ１１の向きと左カメラ１２の向きとにおける相対ヨー角を算出する。
【００１１】
ステレオカメラ１０は、車両の周囲を撮像する撮像機器である。ステレオカメラ１０の撮像画像は、車両Ｖの周辺監視等に利用される。ステレオカメラ１０は、右カメラ１１及び左カメラ１２を有している。右カメラ１１及び左カメラ１２は、両眼視差を再現するように配置されている。ステレオカメラ１０は、例えば、車両のフロントガラスの裏側に設けられている（図４参照）。ステレオカメラ１０は、右カメラ１１及び左カメラ１２で撮像された画像情報を演算装置２０へ送信する。
【００１２】
ここで、ステレオカメラ１０のキャリブレーションを行うときの設備構成について説明する。図２〜図４に示されるように、ステレオカメラ１０のキャリブレーションを行うための設備として、第１の鏡Ｍ１、第２の鏡Ｍ２、及び目印Ｐが配置される。これらは、例えば、車両Ｖの生産工場の中に設置される。また、本実施形態では、ステレオカメラ１０が車両Ｖに搭載された状態で、キャリブレーションが行われる。
【００１３】
第１の鏡Ｍ１及び第２の鏡Ｍ２は、工場等の天井Ｙにそれぞれの上部が支持されている。第１の鏡Ｍ１と第２の鏡Ｍ２とは、鉛直方向（基準方向）Ａに沿って見たときに、第１の鏡Ｍ１の第１の反射面Ｍ１０と、第２の鏡Ｍ２の第２の反射面Ｍ２０とが互いに離間した状態で対向するように配置されている。
【００１４】
鉛直方向Ａにおける上方側（一方側）から下方側（他方側）に向けて、第１の反射面Ｍ１０と第２の反射面Ｍ２０との間隔が広がるように、第１の鏡Ｍ１及び第２の鏡Ｍ２が配置されている。すなわち、第１の鏡Ｍ１は、上端が第２の鏡Ｍ２に近づくように鉛直方向Ａに対して所定角度θ傾斜している。同様に、第２の鏡Ｍ２は、上端が第１の鏡Ｍ１に近づくように鉛直方向Ａに対して所定角度θ傾斜している。
【００１５】
第２の鏡Ｍ２は、天井Ｙに固定されている。図４に示されるように、第２の鏡Ｍ２の下端と工場等の床面Ｇとの鉛直方向Ａの間隔は、ステレオカメラ１０を搭載した車両Ｖが通過可能な間隔である。第１の鏡Ｍ１は、図示しない移動機構によって上下方向に移動可能に天井Ｙに支持されている。第１の鏡Ｍ１の下端は、ステレオカメラ１０のキャリブレーションを行うときには、第２の鏡Ｍ２の下端よりも下方に位置している。すなわち、第１の鏡Ｍ１は、キャリブレーションを行うときには、ステレオカメラ１０の前に位置している。
【００１６】
目印Ｐは、床面Ｇに配置されている。目印Ｐは、床面Ｇのうち、鉛直方向Ａに沿って見たときに第１の鏡Ｍ１と第２の鏡Ｍ２との間の位置に配置されている。すなわち、目印Ｐは、第１の反射面Ｍ１０及び第２の反射面Ｍ２０の上端（反射面同士の間隔が狭い側の端部）よりも、第１の反射面Ｍ１０及び第２の反射面Ｍ２０の下端側（反射面同士の間隔が広い側）の位置に配置されている。目印Ｐとしては、他の領域と識別可能であれば、マークが付されたシート状の部材、発光体等、種々の構成の目印が用いられる。
【００１７】
キャリブレーションを行う場合、図４に示されるように、第２の鏡Ｍ２の下部にステレオカメラ１０が位置するように車両Ｖを停止させる。以下、キャリブレーションを行う場合に車両Ｖを停止させる位置を、キャリブレーション実行位置という。すなわち、ステレオカメラ１０は、第１の反射面Ｍ１０及び第２の反射面Ｍ２０の上端（反射面同士の間隔が狭い側の端部）よりも、第１の反射面Ｍ１０及び第２の反射面Ｍ２０の下端側（反射面同士の間隔が広い側）の位置に配置される。また、ステレオカメラ１０は、第１の鏡Ｍ１及び第２の鏡Ｍ２を介して目印Ｐを撮像可能なように、第１の鏡Ｍ１に向けられている。
【００１８】
図１に示される演算装置２０は、車両Ｖがキャリブレーション実行位置に位置しているときにステレオカメラ１０によって撮像された画像に基づいて、ステレオカメラ１０のキャリブレーションを行う。
【００１９】
ここで、ステレオカメラ１０によって撮像される目印Ｐについて説明する。第１の鏡Ｍ１及び第２の鏡Ｍ２は、下方側に向かって反射面同士の間隔が広がるように配置されている。このため、目印Ｐからステレオカメラ１０へ向かう光は、図４に示される経路Ｌのように、目印Ｐから第１の反射面Ｍ１０と第２の反射面Ｍ２０とで反射を繰り返しながら上側へ向かって進む。
【００２０】
そして、上方に向かっていた光は、進行方向を反転させて、下方へ向かって第１の反射面Ｍ１０と第２の反射面Ｍ２０とで反射を繰り返しながら進んでステレオカメラ１０へ入射する。なお、上方側に向かって反射面同士の間隔が狭くなるように第１の鏡Ｍ１及び第２の鏡Ｍ２が配置されているため、上方に向かっていた光の進行方向が途中で反転する。このような目印Ｐからステレオカメラ１０へ向かう光は、図４及び図５に示されるように複数の経路Ｌを経由してステレオカメラ１０に入射する。なお、図５に示される経路Ｌは、図４に示される経路Ｌよりも第１の反射面Ｍ１０及び第２の反射面Ｍ２０での反射回数が少なく、経路の長さが短い。
【００２１】
このため、図６に示されるように、右カメラ１１によって撮像された画像内には、目印Ｐが複数写っている。図７は、図６に示される画像を展開して、目印Ｐを並べたときのステレオカメラ１０と複数の目印Ｐとの位置関係を示す図である。すなわち、第１の鏡Ｍ１及び第２の鏡Ｍ２を用いることによって、車両Ｖの前方に複数の目印Ｐが配置されたときのステレオカメラ１０の撮像画像に相当する画像が得られる。同様に、図８に示されるように、左カメラ１２によって撮像された画像内には、目印Ｐが複数写っている。
【００２２】
演算装置２０は、図６及び図８に示されるような右カメラ１１で撮像された画像及び左カメラ１２で撮像された画像を取得する。演算装置２０は、取得した２つの画像同士において目印Ｐを水平方向に探索し、対応する目印Ｐのマッチング処理を行う。演算装置２０は、マッチングした目印Ｐ、並びに、右カメラ１１及び左カメラ１２の間隔等に基づいて、周知の方法によって視差ｄを得る。演算装置２０は、マッチングされた目印Ｐごとに、視差ｄを算出する。
【００２３】
演算装置２０は、得られた視差ｄと、目印Ｐとステレオカメラ１０間における既知の距離ｚとを用いて、１／ｚ−ｄ空間における視差ｄと距離ｚとに対応する位置にプロットする（図９参照）。なお、既知の距離ｚとは、第１の反射面Ｍ１０と第２の反射面Ｍ２０との間隔、目印Ｐの位置、光の反射回数等によって得られる。演算装置２０は、１／ｚ−ｄ空間へのプロットを、マッチングした目印Ｐごとに行う。
【００２４】
演算装置２０は、１／ｚ−ｄ空間へのプロット結果に対し、最小二乗法を用いて図１０に示されるように直線Ｋを引く。これにより、演算装置２０は、直線Ｋの切片、すなわち無限遠視差ｄ０を得ることができる。演算装置２０は、無限遠視差ｄ０と、次の式（１）とを用いて、キャリブレーションパラメータである相対ヨー角θを算出する。なお、式（１）におけるｆは、ステレオカメラ１０の焦点距離である。
【数１】
2018163111.tif 000003
【００２５】
キャリブレーションの終了後（相対ヨー角θの算出後）、車両Ｖをキャリブレーション実行位置から移動させる。例えば、図１１に示されるように、図示しない移動機構が第１の鏡Ｍ１を上方に引き上げる。この場合、車両Ｖは、第１の鏡Ｍ１の下を通って、他の場所へ移動することができる。
【００２６】
演算装置２０は、物理的には、ＣＰＵ[Central  Processing  Unit]、ＲＯＭ[Read  Only  Memory]、及びＲＡＭ[Random  Access  Memory]等を有する電子制御ユニットである。演算装置２０では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。演算装置２０は、複数の電子制御ユニットから構成されていてもよい。
【００２７】
なお、ステレオカメラ１０のキャリブレーションを行う演算装置２０は、車両Ｖに常に搭載されていてもよく、キャリブレーションを行うときのみ車両Ｖに搭載されていてもよい。また、演算装置２０は、車両Ｖ外に設けられており、ステレオカメラ１０で撮像された画像を取得してステレオカメラ１０のキャリブレーションを行ってもよい。
【００２８】
次に、演算装置２０を用いてステレオカメラ１０のキャリブレーションを行うときのキャリブレーション方法の手順について説明する。図１２に示されるように、キャリブレーションを行うオペレータは、第１の鏡Ｍ１、第２の鏡Ｍ２、及び目印Ｐを、上述したようにキャリブレーションを行うための所定の位置にそれぞれ設置する（Ｓ１０１：鏡配置工程、目印配置工程）。次に、オペレータは、車両Ｖをキャリブレーション実行位置まで移動させて停止させる（Ｓ１０２：カメラ配置工程）。
【００２９】
オペレータは、ステレオカメラ１０の右カメラ１１及び左カメラ１２を用いて、第１の鏡Ｍ１の第１の反射面Ｍ１０及び第２の鏡Ｍ２の第２の反射面Ｍ２０によって反射されて得られる目印Ｐの反射像を含む画像を撮像する（Ｓ１０３：撮像工程）。演算装置２０は、取得した２つの画像に基づいて、画像内における複数の目印Ｐごとに視差ｄを得る。演算装置２０は、得られた視差ｄと、目印Ｐとステレオカメラ１０間における既知の距離ｚとを用いて、１／ｚ−ｄ空間における視差ｄと距離ｚとに対応する位置にプロットする（Ｓ１０４：キャリブレーション工程）。
【００３０】
演算装置２０は、１／ｚ−ｄ空間へのプロット結果に対し、最小二乗法を用いて無限遠視差ｄ０を得る（Ｓ１０５：キャリブレーション工程）。演算装置２０は、無限遠視差ｄ０と、上述した式（１）とを用いて、キャリブレーションパラメータである相対ヨー角θを算出する（Ｓ１０６：キャリブレーション工程）。相対ヨー角の算出後、オペレータは、第２の鏡Ｍ２を上方に移動させる。そして、オペレータは、車両Ｖを前進させてキャリブレーション実行位置から車両Ｖを移動させる（Ｓ１０７）。
【００３１】
本実施形態は以上のように構成され、このステレオカメラ１０のキャリブレーション方法において、目印Ｐからステレオカメラ１０へ向かう光は、目印Ｐから第１の鏡Ｍ１の第１の反射面Ｍ１０と第２の鏡Ｍ２の第２の反射面Ｍ２０とで反射を繰り返しながら上側へ向かって進む。その後、上側へ向かっていた光は、進行方向を反転させて、下側へ向かって第１の鏡Ｍ１の第１の反射面Ｍ１０と第２の鏡Ｍ２の第２の反射面Ｍ２０とで反射を繰り返しながら進んでステレオカメラ１０へ入射する。このように、目印Ｐからステレオカメラ１０へ向かう光を鉛直方向において往復させることで、小さなスペースであっても光の経路を長くすることができる。これにより、このステレオカメラ１０のキャリブレーション方法では、省スペースでステレオカメラ１０のキャリブレーションを行うことができる。
【００３２】
例えば、従来文献１に記載されているように、反射面同士が平行となるように２つの鏡が配置されている場合、目印からカメラへ向かう光は反射面同士で反射を繰り返しながら一方向へしか進まない。これに対し、本実施形態におけるステレオカメラ１０のキャリブレーション方法では、反射面同士で反射を繰り返しながら鉛直方向において光を往復させることができるため、従来文献１に記載されているように光が一方向にしか進まない場合と比べて、小さなスペースであっても光の経路を長くすることができ、省スペース化が可能となる。
【００３３】
また、このキャリブレーション方法では、ステレオカメラ１０が車両Ｖに搭載された状態でキャリブレーションを行うことができる。第１の鏡Ｍ１が上下に移動可能であるため、キャリブレーションを行う際にはステレオカメラ１０の前に第１の鏡Ｍ１を設置しつつ、キャリブレーション終了後は第１の鏡Ｍ１を上昇させることによって車両Ｖが第１の鏡Ｍ１に接触することが防止される。
【００３４】
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、図１３に示されるように、目印Ｐは、第２の鏡Ｍ２の第２の反射面Ｍ２０に設置されてもよい。同様に、目印Ｐは、第１の鏡Ｍ１の第１の反射面Ｍ１０に設置されてもよい。また、キャリブレーション実行位置は、第２の鏡Ｍ２の下部にステレオカメラ１０が位置する場所に限定されない。例えば、キャリブレーション実行位置は、上方から見たときに第１の鏡Ｍ１と第２の鏡Ｍ２との間にステレオカメラ１０が位置する場所であってもよい。具体的には、ステレオカメラ１０は、第１の鏡Ｍ１と第２の鏡Ｍ２との間の位置であり、且つ、第１の反射面Ｍ１０及び第２の反射面Ｍ２０の上端よりも、下側の位置に配置されていればよい。この場合にも、ステレオカメラ１０は、第１の鏡Ｍ１及び第２の鏡Ｍ２を介して目印Ｐを撮像可能なように、第１の鏡Ｍ１に向けられている。
【００３５】
右カメラ１１及び左カメラ１２によって得られた画像に基づいてキャリブレーションを行う構成であれば、演算装置２０は、種々の方法に基づいて相対ヨー角を算出してもよい。また、演算装置２０は、ステレオカメラ１０のキャリブレーションとして、相対ヨー角以外のパラメータを算出してもよい。
【００３６】
なお、第１の鏡Ｍ１と第２の鏡Ｍ２とは、鉛直方向Ａに沿って見たときに、第１の鏡Ｍ１の第１の反射面Ｍ１０と第２の鏡Ｍ２の第２の反射面Ｍ２０とが互いに対向するように配置されている場合を例に説明したが、鉛直方向Ａに限定されない。第１の鏡Ｍ１と第２の鏡Ｍ２とは、鉛直方向Ａ以外の方向に沿って見たときに、第１の反射面Ｍ１０と第２の反射面Ｍ２０とが互いに対向するように配置されていてもよい。
【００３７】
車両Ｖは、オペレータによってキャリブレーション実行位置へ又はキャリブレーション実行位置から他の場所へ移動させられてもよく、ベルトコンベア等によって搬送されてもよい。
【符号の説明】
【００３８】
１０…ステレオカメラ、１１…右カメラ、１２…左カメラ、２０…演算装置、Ａ…鉛直方向（基準方向）、Ｍ１…第１の鏡、Ｍ１０…第１の反射面、Ｍ２…第２の鏡、Ｍ２０…第２の反射面、Ｐ…目印。
【図１】
2018163111.tif 000004
【図２】
2018163111.tif 000005
【図３】
2018163111.tif 000006
【図４】
2018163111.tif 000007
【図５】
2018163111.tif 000008
【図６】
2018163111.tif 000009
【図７】
2018163111.tif 000010
【図８】
2018163111.tif 000011
【図９】
2018163111.tif 000012
【図１０】
2018163111.tif 000013
【図１１】
2018163111.tif 000014
【図１２】
2018163111.tif 000015
【図１３】
2018163111.tif 000016