(57)【要約】【課題】工場等の製造工程において、車両の後方の画像を撮像するための撮像カメラの校正を、効率的に行うこと。【解決手段】カメラ校正装置は、一または複数の校正指標が撮像された基準画像における校正指標の座標と、広角レンズまたは魚眼レンズを有する第１撮像カメラで一または複数の校正指標を車両の後方から撮像した撮像画像における校正指標の座標とに基づいて、ホモグラフィを算出する算出部と、ホモグラフィに基づいて、第１撮像カメラで撮像された撮像画像を修正する校正部と、を備える。【選択図】図２
2016111474.tif 000002
【特許請求の範囲】
【請求項１】
一または複数の校正指標が撮像された基準画像における前記校正指標の座標と、広角レンズまたは魚眼レンズを有する第１撮像カメラで前記一または複数の校正指標を車両の後方から撮像した撮像画像における前記校正指標の座標とに基づいて、ホモグラフィを算出する算出部と、
前記ホモグラフィに基づいて、前記第１撮像カメラで撮像された撮像画像を修正する校正部と、
を備えたカメラ校正装置。
【請求項２】
前記基準画像は、第２撮像カメラによって、前記一または複数の校正指標を歪みなく撮像された画像である、
請求項１に記載のカメラ校正装置。
【請求項３】
一または複数の校正指標が撮像された基準画像における前記校正指標の座標と、広角レンズまたは魚眼レンズを有する第１撮像カメラで前記一または複数の校正指標を車両の後方から撮像した撮像画像における前記校正指標の座標とに基づいて、ホモグラフィを算出し、
前記ホモグラフィに基づいて、前記第１撮像カメラで撮像された撮像画像を修正する、
ことを含むカメラ校正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ校正装置およびカメラ校正方法に関する。
【背景技術】
【０００２】
従来からカメラの校正方法として、例えば、車両に搭載されたカメラの校正を、校正指標の実座標と撮像画像上での座標との変換のためのホモグラフィを用いて行う技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３１３９５号公報
【特許文献２】特開２０１０−２３２８５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような従来技術では、一般的に、工場等の車両の製造ラインにおいて、カメラを車両に取り付ける際に、カメラの校正が行われている。車両の後方の画像であるリア画像を撮像するためのカメラを車両に取り付ける際においてもカメラの取り付け位置等を決定してカメラの校正作業を行うことが必要となってくる。また、工場等の製造ラインにおいては、カメラの校正をより効率的に行うことが望まれる。
【０００５】
このため、本発明の課題の一つは、工場等の製造工程において、車両の後方の画像を撮像するためのカメラの校正を効率的に行うことができるカメラ校正装置およびカメラ校正方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明のカメラ校正装置は、一または複数の校正指標が撮像された基準画像における前記校正指標の座標と、広角レンズまたは魚眼レンズを有する第１撮像カメラで前記一または複数の校正指標を車両の後方から撮像した撮像画像における前記校正指標の座標とに基づいて、ホモグラフィを算出する算出部と、前記ホモグラフィに基づいて、前記第１撮像カメラで撮像された撮像画像を修正する校正部と、を備える。当該構成により、一例として、工場等の製造工程において、車両の後方の画像を撮像するための第１撮像カメラの校正をより効率的に行うことができる。
【０００７】
また、本発明のカメラ校正装置において、基準画像は、第２撮像カメラによって、前記一または複数の校正指標を歪みなく撮像された画像である。
【０００８】
本発明のカメラ校正方法は、一または複数の校正指標が撮像された基準画像における前記校正指標の座標と、広角レンズまたは魚眼レンズを有する第１撮像カメラで前記一または複数の校正指標を車両の後方から撮像した撮像画像における前記校正指標の座標とに基づいて、ホモグラフィを算出し、前記ホモグラフィに基づいて、前記第１撮像カメラで撮像された撮像画像を修正する。当該構成により、一例として、工場等の製造工程において、車両の後方の画像を撮像するための第１撮像カメラの校正を、効率的に行うことができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態にかかる搭載する車体（車両）における撮像カメラの配置位置と撮像範囲の一例を示す側面図である。
【図２】図２は、本実施形態のＥＣＵの機能的構成を示すブロック図である。
【図３】図３は、本実施形態のカメラ校正処理の手順の一例を示すフローチャートである。
【図４】図４は、本実施形態の基準画像用カメラでの撮像の状態の一例を示す図である。
【図５】図５は、本実施形態の校正指標パターンの一例を示す図である。
【図６】図６は、本実施形態の基準画像の一例を示す図である。
【図７】図７は、本実施形態の撮像カメラでの撮像の状態の一例を示す図である。
【図８】図８は、本実施形態の撮像カメラにより撮像された撮像画像の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の例示的な実施形態および変形例が開示される。以下に示される実施形態および変形例の構成、ならびに当該構成によってもたらされる作用、結果、および効果は一例である。本発明は、以下の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。
【００１１】
また、以下に開示される実施形態や例示には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。
【００１２】
図１は、実施形態にかかる車体１（車両）における撮像カメラ２の配置位置と撮像範囲の一例を示す側面図である。車体１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよい。また、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。車体１は、本実施形態の撮像カメラ２とカメラ校正装置とを搭載する。撮像カメラ２は、例えば、ＣＣＤ（charge  coupled  device）やＣＩＳ（CMOS  image  sensor）等の撮像素子を内蔵するデジタルカメラである。撮像カメラ２は、所定のフレームレートで画像データすなわち動画データを出力することができる。
【００１３】
撮像カメラ２は、広範囲の撮像を行えるように、例えば広角レンズまたは魚眼レンズを備える。撮像カメラ２は、主として車体１の後部１ａから後方を撮像する。撮像カメラ２は、図１に示すように車体１の後部のほぼ中央の位置で路面から所定の高さ（例えば１ｍ）で降雨や降雪の影響の受けにくい位置に配置されている。撮像カメラ２は、水平方向の画角が例えば、ほぼ１８０°であり、垂直方向の画角が図１に示すように、例えば下方からやや上方を向いたθ（ほぼ９０°）である。したがって、撮像カメラ２が撮像する後方の画像は、周縁部が歪む（湾曲する）ものの、後続車両や駐車車両、歩行者やその他の障害物、路面の状態や路側の状態等、車体１の後方のほぼ全域の情報を取得しうる。
【００１４】
次に、本実施形態の車体１に搭載されるＥＣＵ１１、およびＥＣＵ１１のカメラ校正装置について説明する。本実施形態のＥＣＵ１１は、例えば、ＣＰＵ（central  processing  unit）や、ＲＯＭ（read  only  memory）、ＲＡＭ（random  access  memory）、ＳＳＤやフラッシュメモリ等の記憶部を有したハードウェア構成である。ＣＰＵは、ＲＯＭやＳＳＤ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。
【００１５】
図２は、本実施形態のＥＣＵ１１の機能的構成を示すブロック図である。本実施形態にかかるＥＣＵ１１は、図２に示すように、カメラ校正装置１００と表示制御部１１ａとを主に備えている。表示制御部１１ａは、例えば、車室内の前部かつ上部に設けられた表示部１０に対する画面表示を制御する。
【００１６】
本実施形態のカメラ校正装置１００は、工場等における車体１の製造ラインにおいて、車体１の後部に撮像カメラ２を取り付けた際にホモグラフィの算出を行う。本実施形態のカメラ校正装置１００は、図２に示すように、画像取得部１０１と、ホモグラフィ算出部１０２と、校正部１０３と、記憶部１１０とを主に備えている。
【００１７】
表示制御部１１ａ、画像取得部１０１、ホモグラフィ算出部１０２、校正部１０３は、ＣＰＵによって、ＲＯＭ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現されるモジュールである。
【００１８】
画像取得部１０１は、撮像カメラ２で撮像された撮像画像を取得する。また、画像取得部１０１は、基準画像用カメラ２０１で撮像された校正指標パターンの撮像画像を取得し、基準画像として記憶部１１０に保存する。ここで、基準画像用カメラ２０１は、被写体を歪みなく撮像するカメラである。例えば、基準画像用カメラ２０１は、被写体を歪みなくまたは歪みが少なく撮影可能な画角（例えば、画角５０〜１００°）を有するカメラであることが好ましい。また、基準画像用カメラ２０１は、歪みを有する画像を撮影するカメラであってもよく、この場合は、画像の歪みを補正することにより歪みのない基準画像が作成される。校正指標パターンの詳細については後述する。
【００１９】
ホモグラフィ算出部１０２は、記憶部１１０に格納されている基準画像における校正指標の座標と、撮像カメラ２で校正指標パターンを車体１の後方から撮像した撮像画像における校正指標の座標とに基づいて、ホモグラフィを算出する。
【００２０】
校正部１０３は、ホモグラフィ算出部１０２によって算出され、記憶部１１０に保存されたホモグラフィに基づいて、撮像カメラ２で得た撮像画像を修正する。
【００２１】
以下、本実施形態のカメラ校正装置１００によるカメラ校正処理の詳細について説明する。カメラ校正処理に先立って、基準画像が生成される。具体的には、作業者は、基準画像用カメラ２０１で、車体１の後方の校正指標パターンを撮像する。図４は、本実施形態の基準画像用カメラ２０１での撮像の状態の一例を示す図である。車体１の後部の所定位置に基準画像用カメラ２０１を一時的に取り付けて、後方の壁４１０に設けられた校正指標パターン４１１を水平方向に撮像する。ここで、校正指標パターン４１１は、８個の校正指標を配置したパターンである。
【００２２】
図２に示す実施形態において、基準画像は、車体１の後部の所定位置に取り付けられた基準画像用カメラ２０１により撮影されるが、これに限定されるものではない。例えば、基準画像は、車体１に取り付けられるのではなく、車体１の後部の所定位置になるように配置されたカメラにより撮影されるものであってもよい。撮影された基準画像データは、カメラ構成装置１００の記憶部１１０に記憶され、ホモグラフィの算出に使用される。
【００２３】
図５は、本実施形態の校正指標パターンの一例を示す図である。本実施形態では、校正指標パターン４１１は、市松模様の校正指標４１２が４個ずつ２段に配置されたパターンとなっている。ここで、校正指標の座標は、校正指標の中心位置の座標である。
【００２４】
なお、校正指標はこれに限定されず、任意の模様を校正指標として用いることができる。また、校正指標パターンを構成する校正指標の数も８個に限定されるものではなく、１個以上であればよい。
【００２５】
そして、画像取得部１０１は、基準画像用カメラ２０１から撮像画像を取得して、記憶部１１０に基準画像として保存する。図６は、本実施形態の基準画像６１０の一例を示す図である。図６に示すように、基準画像６１０は、校正指標パターンを車体１の後部から水平方向に歪みなく撮像された画像となっている。
【００２６】
ここで、この基準画像の生成は、車体１の製造ラインの組み立て工程に先だって行われ、生成された基準画像を各車体１の記憶部１１０に保存しておく。そして、以下に示す処理が行われる。
【００２７】
図３は、本実施形態のカメラ校正処理の手順の一例を示すフローチャートである。まず、工場の製造ラインにおいて、作業者は、車体１の後部の中央位置に、撮像カメラ２を取り付ける。ここで、取り付け位置は、ある程度の精度をもって行えばよい。以下の処理は、工場等での製造ラインにおいて、車体１ごとに行われる。
【００２８】
まず、ホモグラフィ算出部１０２は、記憶部１１０から基準画像を取得する（Ｓ１１）。そして、作業者は、車体１に取り付けられた撮像カメラ２で、車体１の後方の校正指標パターンを撮像する（Ｓ１２）。図７は、本実施形態の撮像カメラ２での撮像の状態の一例を示す図である。図７に示すように、作業者は、車体１の後部の所定位置に撮像カメラ２を取り付けて、後方の壁４１０に設けられた校正指標パターン４１１を広角レンズまたは魚眼レンズで撮像する。図８は、本実施形態の撮像カメラ２により撮像された撮像画像８１０の一例を示す図である。図８に示す例では、魚眼レンズを有する撮像カメラ２で構成指標パターンを撮像した例を示している。このため、車体１の下方から水平方向および上方の位置の画像が撮像されていることがわかる。
【００２９】
図３に戻り、ホモグラフィ算出部１０２は、撮像カメラ２による撮像画像における各校正指標の座標を求め、さらに、Ｓ１１で取得した基準画像における各校正指標の座標を求める（Ｓ１３）。そして、ホモグラフィ算出部１０２は、撮像画像における各校正指標の座標と、基準画像における各校正指標の座標とから、双方の各校正座標を相互に変換するための行列であるホモグラフィを算出する（Ｓ１４）。ホモグラフィの算出手法は、例えば、特開２００６−１４８７４５号公報等に開示されている公知の手法を用いる。ホモグラフィ算出部１０２は、算出したホモグラフィを記憶部１１０に保存する。このホモグラフィは、車体１ごとに生成されて各車体１のカメラ校正装置１００の記憶部１１０に保存されることになる。
【００３０】
車体１の出荷後において、走行中などに撮像カメラ２で車体１の後方を撮像すると、撮像カメラ２の魚眼レンズで撮像される画像は、図８に示すように歪んだ画像となる。しかしながら、校正部１０３は、記憶部１１０に保存されているホモグラフィを取得し、取得したホモグラフィにより撮像画像を座標変換した画像を生成する。ホモグラフィは、図３のＳ１４により、基準画像と撮像カメラ２による撮像画像との座標変換を行うための行列である。このため、校正部１０３により座標変換された画像は、図６に示すような歪みのない画像となる。そして、表示制御部１１ａは、撮像カメラ２の撮像画像から変換された歪みのない画像を、表示部１０に表示する。
【００３１】
このように本実施形態では、工場等での車両の製造工程において、魚眼レンズまたは広角レンズを有する撮像カメラ２を車体１の後部の位置に取り付けた上で、校正指標パターンを水平方向で歪みなく撮像された基準画像と、撮像カメラ２で校正指標パターンを撮像した撮像画像とから、両画像上の校正指標の座標を相互に変換するためのホモグラフィを算出する。そして、車両の出荷後には、撮像カメラ２の撮像画像を、ホモグラフィを用いて座標変換し、座標変換後の画像を表示部１０に表示する。このため、本実施形態では、車体１の後方の画像を撮像するための撮像カメラ２の取り付けを、工場等の製造ラインにおいて効率的に行うことができる。
【００３２】
すなわち、従来は、工場等で撮像カメラ２の車体１への取り付けを行う際、取り付け位置や角度等を、精密に測定等しながら行っていたため、車両を製造ラインで製造する場合には、撮像カメラ２の取り付けや校正の工程に多大な時間を要していた。
【００３３】
これに対し本実施形態では、製造ラインの工程で、撮像カメラ２を車体１の後部の所定位置に取り付けた場合、予め撮像された基準画像と、製造工程で取り付けた位置での撮像カメラ２による撮像画像との座標変換を行うためのホモグラフィを求めておき、実際の車両の走行時等において撮像カメラ２で撮像画像を、ホモグラフィで座標変換された画像を表示部１０に表示する。このため、本実施形態では、工場等の製造ラインにおいては、撮像カメラ２を取り付け位置や角度等を精密に測定等する必要がなく、製造ラインでの校正を効率的に行うことが可能となる。
【００３４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００３５】
１…車体、２…撮像カメラ、１０…表示部、１１…ＥＣＵ、１１ａ…表示制御部、１００…カメラ校正装置、１０１…画像取得部、１０２…ホモグラフィ算出部、１０３…校正部、１１０…記憶部、２０１…基準画像用カメラ、４１０…壁、４１１…校正指標パターン、４１２…校正指標。
【図１】
2016111474.tif 000003
【図２】
2016111474.tif 000004
【図３】
2016111474.tif 000005
【図４】
2016111474.tif 000006
【図５】
2016111474.tif 000007
【図６】
2016111474.tif 000008
【図７】
2016111474.tif 000009
【図８】
2016111474.tif 000010