(57)【要約】【課題】精度の高いキャリブレーション方法、キャリブレーションプログラム及び小型のキャリブレーション装置を提供する。【解決手段】実施形態によれば、第１画像を取得し、第１画像中の第１パターン領域を抽出し、第１パターン領域に基づいて撮像装置のパラメータを校正するキャリブレーション方法が提供される。第１画像は、キャリブレーションパターンが描かれたパターン面の少なくとも一部と、パターン面と交わる第１面上に設けられた第１鏡面の少なくとも一部と、パターン面と交わり第１面に対して平行な第２面上に設けられ第１鏡面と対向する第２鏡面の少なくとも一部と、が、広角レンズを含む撮像装置によって撮像された画像である。第１パターン領域は、パターン面と、第１鏡面上に形成されたパターン面の第１鏡像と、第２鏡面上に形成されたパターン面の第２鏡像と、が写った第１画像中の領域である。【選択図】図１
2016063336.tif 000002
【特許請求の範囲】
【請求項１】
キャリブレーションパターンが設けられたパターン面の少なくとも一部と、前記パターン面と交わる第１面上に設けられた第１鏡面の少なくとも一部と、前記パターン面と交わり前記第１面に対して平行な第２面上に設けられ前記第１鏡面と対向する第２鏡面の少なくとも一部と、が、広角レンズを含む撮像装置によって撮像された第１画像を取得し、
前記第１画像から、前記パターン面と、前記第１鏡面上に形成された前記パターン面の第１鏡像と、前記第２鏡面上に形成された前記パターン面の第２鏡像と、が写った第１パターン領域を抽出し、
前記第１パターン領域に基づいて、前記広角レンズの焦点距離を含む前記撮像装置のパラメータを校正するキャリブレーション方法。
【請求項２】
前記校正は、
前記第１パターン領域の重心の第１重心位置を検出し、
前記第１パターン領域上の前記第１鏡像に対応する像の第１消失点を検出し、
前記第１パターン領域上の前記第２鏡像に対応する像の第２消失点を検出することを含む請求項１記載のキャリブレーション方法。
【請求項３】
前記キャリブレーションパターンは、前記第１鏡面から前記第２鏡面へ向かう第１方向において延在する辺を有するパターンを含む請求項１または２に記載のキャリブレーション方法。
【請求項４】
前記抽出は、前記キャリブレーションパターンの色に基づいて前記第１パターン領域を抽出することを含む請求項１〜３のいずれか１つに記載のキャリブレーション方法。
【請求項５】
前記広角レンズは、前記第１鏡面と前記第２鏡面との間に設けられた請求項１〜４のいずれか１つに記載のキャリブレーション方法。
【請求項６】
前記撮像装置は、前記第１画像に写らない位置に設けられた設置部に設置され、
前記設置部は、前記広角レンズの前記パターン面に対する位置を規定する請求項１〜５のいずれか１つに記載のキャリブレーション方法。
【請求項７】
前記第１画像は、第１壁の像と、第２壁の像と、を含み、
前記第１壁は、前記パターン面と交わり、前記第１鏡面から前記第２鏡面へ向かう第１方向に延在し、
前記第１壁の色は、前記キャリブレーションパターンの色とは異なり、
前記第２壁は、前記パターン面と交わり、前記第１方向に延在し、前記第１壁と離間し、
前記第２壁の色は、前記キャリブレーションパターンの色とは異なり、
前記第１パターン領域は、前記第１壁の像と前記第２壁の像との間に位置する請求項１〜６のいずれか１つに記載のキャリブレーション方法。
【請求項８】
前記第１画像は、第３壁の像をさらに含み、
前記第３壁は、前記第１方向において前記第１鏡面と前記第２鏡面との間に設けられ、
前記第３壁の色は、前記キャリブレーションパターンの色とは異なり、
前記パターン面と前記広角レンズとの間の距離は、前記パターン面と前記第３壁との間の距離よりも短い請求項７記載のキャリブレーション方法。
【請求項９】
前記パターン面から前記広角レンズに入射する光の入射方向は、可変である請求項２記載のキャリブレーション方法。
【請求項１０】
前記第１画像は、前記入射方向が第１入射方向であるときに前記撮像装置によって撮像された画像であり、
前記入射方向が前記第１入射方向とは異なる第２入射方向であるときに前記撮像装置によって撮像された第２画像をさらに取得し、
前記パターン面と、前記第１鏡面上に形成された前記パターン面の第３鏡像と、前記第２鏡面上に形成された前記パターン面の第４鏡像と、が写った前記第２画像中の第２パターン領域をさらに抽出し、
前記第２パターン領域の重心が位置する第２重心位置と、前記第２重心位置との間の距離が最も長い前記第２パターン領域上の第３消失点と、前記第３消失点との間の距離が最も長い前記第２パターン領域上の第４消失点と、さらに検出し、
前記第１消失点と前記第２消失点とを結ぶ直線と、前記第３消失点と前記第４消失点とを結ぶ直線と、の交点をさらに算出する請求項９記載のキャリブレーション方法。
【請求項１１】
キャリブレーションパターンが設けられたパターン面の少なくとも一部と、前記パターン面と交わる第１面上に設けられた第１鏡面の少なくとも一部と、前記パターン面と交わり前記第１面に対して平行な第２面上に設けられ前記第１鏡面と対向する第２鏡面の少なくとも一部と、が、広角レンズを含む撮像装置によって撮像された第１画像を取得し、
前記第１画像から、前記パターン面と、前記第１鏡面上に形成された前記パターン面の第１鏡像と、前記第２鏡面上に形成された前記パターン面の第２鏡像と、が写った第１パターン領域を抽出し、
前記第１パターン領域に基づいて、前記広角レンズの焦点距離を含む前記撮像装置のパラメータを校正する処理をコンピュータに実行させる前記撮像装置のキャリブレーションプログラム。
【請求項１２】
前記校正は、
前記第１パターン領域の重心の第１重心位置を検出し、
前記第１パターン領域上の前記第１鏡像に対応する像の第１消失点を検出し、
前記第１パターン領域上の前記第２鏡像に対応する像の第２消失点を検出することを含む請求項１１記載のキャリブレーションプログラム。
【請求項１３】
前記キャリブレーションパターンは、前記第１鏡面から前記第２鏡面へ向かう第１方向に延在する辺を有するパターンを含み、
前記抽出は、前記キャリブレーションパターンの色に基づいて前記第１パターン領域を抽出することを含む請求項１１または１２に記載のキャリブレーションプログラム。
【請求項１４】
キャリブレーションパターンが設けられたパターン面と、
前記パターン面と交わる第１面上に設けられた第１鏡面と、
前記パターン面と交わる前記第１面に対して平行な第２面上に設けられ前記第１鏡面と対向する第２鏡面と、
を備え、
撮像装置の広角レンズを、前記第１鏡面と前記第２鏡面との間の位置であって、前記パターン面と離間した位置に設置可能であり、
前記撮像装置によって撮像される第１画像に基づく前記撮像装置のパラメータの校正に用いられるキャリブレーション装置。
【請求項１５】
前記撮像装置によって撮像され、前記パターン面の少なくとも一部、前記第１鏡面の少なくとも一部、及び前記第２鏡面の少なくとも一部が写った第１画像を取得し、
前記第１画像から、前記パターン面と、前記第１鏡面上に形成された前記パターン面の第１鏡像と、前記第２鏡面上に形成された前記パターン面の第２鏡像と、が写った第１パターン領域を抽出し、
前記第１パターン領域に基づいて、前記広角レンズの焦点距離を含む前記撮像装置のパラメータを校正する演算部をさらに備えた請求項１４記載のキャリブレーション装置。
【請求項１６】
前記校正は、
前記第１パターン領域の重心の第１重心位置を検出し、
前記第１パターン領域上の前記第１鏡像に対応する像の第１消失点を検出し、
前記第１パターン領域上の前記第２鏡像に対応する像の第２消失点を検出することを含む請求項１５記載のキャリブレーション装置。
【請求項１７】
前記第１画像に写らない位置に設けられた設置部をさらに備え、
前記撮像装置は、前記設置部に設置され、
前記設置部は、前記広角レンズの前記パターン面に対する位置を規定する請求項１４〜１６のいずれか１つに記載のキャリブレーション装置。
【請求項１８】
前記パターン面と交わり、前記第１鏡面から前記第２鏡面へ向かう第１方向に延在する第１壁と、
前記パターン面と交わり、前記第１方向に延在し、前記第１壁と離間した第２壁と、
をさらに備え、
前記第１壁の色及び前記第２壁の色のそれぞれは、前記キャリブレーションパターンの色とは異なり、
前記第１画像は、前記第１壁の像と、前記第２壁の像と、を含み、
前記第１パターン領域は、前記第１壁の像と、前記第２壁の像と、の間に位置する請求項１４〜１７のいずれか１つに記載のキャリブレーション装置。
【請求項１９】
前記第１方向において前記第１鏡面と前記第２鏡面との間に設けられた第３壁をさらに備え、
前記第３壁の色は、前記キャリブレーションパターンの色とは異なり、
前記パターン面と前記広角レンズとの間の距離は、前記パターン面と前記第３壁との間の距離よりも短い請求項１８記載のキャリブレーション装置。
【請求項２０】
前記パターン面から前記広角レンズに入射する光の入射方向は、可変である請求項１４〜１９のいずれか１つに記載のキャリブレーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、キャリブレーション方法、キャリブレーションプログラム及びキャリブレーション装置に関する。
【背景技術】
【０００２】
広角レンズを用いた撮像装置において、撮像パラメータのキャリブレーションが行われる。撮像パラメータは、例えば、広角レンズの焦点距離や、撮像された画像における光学中心などである。このようなキャリブレーションにおいて、精度の高いキャリブレーション方法、キャリブレーションプログラム及び小型のキャリブレーション装置が望まれる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２４４８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施形態は、精度の高いキャリブレーション方法、キャリブレーションプログラム及び小型のキャリブレーション装置を提供する。
【課題を解決するための手段】
【０００５】
本発明の実施形態によれば、第１画像を取得し、前記第１画像中の第１パターン領域を抽出し、前記第１パターン領域に基づいて撮像装置のパラメータを校正するキャリブレーション方法が提供される。前記第１画像は、キャリブレーションパターンが設けられたパターン面の少なくとも一部と、前記パターン面と交わる第１面上に設けられた第１鏡面の少なくとも一部と、前記パターン面と交わり前記第１面に対して平行な第２面上に設けられ前記第１鏡面と対向する第２鏡面の少なくとも一部と、が、広角レンズを含む撮像装置によって撮像された画像である。前記第１パターン領域は、前記パターン面と、前記第１鏡面上に形成された前記パターン面の第１鏡像と、前記第２鏡面上に形成された前記パターン面の第２鏡像と、が写った前記第１画像中の領域である。前記パラメータは、前記広角レンズの焦点距離を含む。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係るキャリブレーション装置を示す模式的斜視図である。
【図２】第１の実施形態に係るキャリブレーション装置を示す模式的側面図である。
【図３】第１の実施形態に係るキャリブレーション装置を示すブロック図である。
【図４】第１の実施形態に係るキャリブレーション方法を示すフローチャートである。
【図５】第１の実施形態に係るキャリブレーション装置の画像を示す模式図である。
【図６】第２の実施形態に係るキャリブレーション装置を示す模式的斜視図である。
【図７】第２の実施形態に係るキャリブレーション装置を示す模式的側面図である。
【図８】第２の実施形態に係るキャリブレーション装置を示す模式的平面図である。
【図９】第２の実施形態に係るキャリブレーション装置の画像を示す模式図である。
【図１０】第３の実施形態に係るキャリブレーション装置を示す模式的側面図である。
【図１１】第３の実施形態に係るキャリブレーション方法を示すフローチャートである。
【図１２】第３の実施形態に係るキャリブレーション装置で撮像した画像を示す模式図である。
【発明を実施するための形態】
【０００７】
以下に、各実施の形態について図面を参照しつつ説明する。  
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。  
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【０００８】
（第１の実施形態）  
図１は、第１の実施形態に係るキャリブレーション装置を例示する模式的斜視図である。  
図２は、第１の実施形態に係るキャリブレーション装置を例示する模式的側面図である。  
図１及び図２に表したキャリブレーション装置１００ａは、実施形態に係る撮像装置のキャリブレーション方法に用いられる。
【０００９】
キャリブレーション装置１００ａは、キャリブレーションパターンが設けられたパターン面２０と、第１鏡面３１と、第２鏡面３２と、を含む。パターン面２０は、キャリブレーションボード２１上の面である。キャリブレーションボードの平面形状は、例えば長方形である。
【００１０】
図２に表したように、第１鏡面３１は、パターン面２０と交わる第１面３１ｐ上に設けられている。第２鏡面３２は、パターン面２０と交わる第２面３２ｐ上に設けられている。  
ここで、第１面３１ｐは、第１鏡面３１を延長した面であり、第２面３２ｐは、第２鏡面３２を延長した面であると考えてよい。
【００１１】
第２面３２ｐは、第１面３１ｐに対して平行である。第２鏡面３２は、第１鏡面３１と離間し、第１鏡面３１と対向するように設けられている。  
第１鏡面３１及び第２鏡面３２には、例えば平面鏡を用いることができる。この例では、第１鏡面３１、第２鏡面３２、及びパターン面２０のそれぞれは、平面状である。
【００１２】
第１鏡面３１は、パターン面２０に描かれたキャリブレーションパターンと、第２鏡面３２と、が第１鏡面３１に映るように配置されている。
第２鏡面３２は、パターン面２０に描かれたキャリブレーションパターンと、第１鏡面３１と、が第２鏡面３２に映るように配置されている。
【００１３】
すなわち、第１鏡面３１と第２鏡面３２とは、合わせ鏡のように配置されている。例えば、キャリブレーションボードのパターン面２０を挟んで向かい合う２辺のうち、一方の辺上に第１鏡面３１が設けられ、他方の辺上に第２鏡面３２が設けられる。
【００１４】
第１鏡面３１及び第２鏡面３２のそれぞれは、パターン面２０と実質的に接していることが好ましい。第１鏡面３１（又は第１面３１ｐ）及び第２鏡面３２（又は第２面３２ｐ）のそれぞれは、パターン面２０に対して実質的に垂直である。第１鏡面３１と第２鏡面３２との間の距離Ｌｄは、例えば１メートル未満である。
【００１５】
第１鏡面３１と第２鏡面３２との間の位置であって、パターン面２０と離間した位置に、撮像装置１１の広角レンズ１２を設置することができる。この例では、撮像装置１１は、設置部１０２に設置されている。広角レンズ１２（魚眼レンズ）の画角は、例えば、１８０°以上である。
【００１６】
設置部１０２は、広角レンズ１２のパターン面２０に対する位置を規定する。  
【００１７】
設置部１０２は、広角レンズ１２の画角に含まれないことが望ましい。設置部１０２は、撮像装置１１によって撮像される画像（第１画像）に写らない位置に設けられることが望ましい。例えば、設置部１０２は、アームであり、これにより撮像装置１１が吊り下げられる。また、第１鏡面３１と第２鏡面３２との間に線を渡し、この線に撮像装置１１を吊り下げてもよい。
【００１８】
撮像装置１１及び広角レンズ１２は、第１鏡面３１の少なくとも一部と、第２鏡面３２の少なくとも一部と、パターン面２０の少なくとも一部と、が写った画像を撮像できるように設けられる。例えば、設置部１０２によって、撮像装置１１が撮像できる範囲（レンズ画角）に、第１鏡面３１と第２鏡面３２とパターン面２０とが収まるように、撮像装置１１を設置する。
【００１９】
このように設けられた広角レンズ１２を含む撮像装置１１によって、第１画像を撮像する。第１画像は、第１鏡面３１の少なくとも一部と、第２鏡面３２の少なくとも一部と、パターン面２０の少なくとも一部と、が撮像された画像である。
【００２０】
実施形態に係るキャリブレーション装置１００ａは、このような第１画像に基づいた、撮像装置１１及び広角レンズ１２のパラメータの校正（パラメータの抽出）に用いられる。パラメータは、例えば、広角レンズ１２の焦点距離や、撮像装置１１によって撮像された画像における光学中心の位置などである。
【００２１】
なお、第１画像を撮像する際に、撮像装置１１の影や設置部１０２の影が映らないように照明をたいてもよい。
【００２２】
第１鏡面３１から第２鏡面３２へ向かう方向をＸ軸方向とする。Ｘ軸方向に対して垂直で、パターン面２０に対して平行な方向をＹ軸方向とする。Ｘ軸方向に対して垂直で、Ｙ軸方向に対して垂直な方向をＺ軸方向とする。この例では、Ｚ軸方向は、パターン面２０に対して垂直な方向である。
【００２３】
キャリブレーションパターンは、少なくとも１色以上で描かれている。キャリブレーションパターンは、単色無地でも構わない。例えば、白単色であれば、第１画像の明るさを確保しやすい。
【００２４】
キャリブレーションパターンは、Ｘ軸方向に延在する直線状の辺ｐ１を有するパターンを含み、２色以上で描かれることが好ましい。キャリブレーションパターンの色は、第１画像に写る背景（キャリブレーション装置１００ａの像を含まない領域）の色と異なることが好ましい。これにより、後述する消失点の検出において精度を向上させることができる。この例では、キャリブレーションパターンは、白色及び黒色の縞模様である。
【００２５】
広角レンズ１２が設けられる位置について説明する。  
前述のように、撮像装置１１は、第１鏡面３１と第２鏡面３２とパターン面２０とを撮像することができるように設けられる。このため、広角レンズ１２は、第１鏡面３１と第２鏡面３２とパターン面２０とによって区画された空間内に設けられる。
【００２６】
例えば、広角レンズ１２は、第１鏡面３１と第２鏡面３２との中間に設けられる。広角レンズ１２は、第１鏡面３１の高さよりも低く、第２鏡面３２の高さよりも低い位置において、パターン面２０に正対するように設けられることが望ましい。以下詳述する。
【００２７】
第１鏡面３１は、第１端部３１ａと、第２端部３１ｂとを含む。第２端部３１ｂは、Ｚ軸方向において第１端部３１ａと離間している。図２において、第１端部３１ａは、第１鏡面３１の上端であり、第２端部３１ｂは、下端である。
【００２８】
第２鏡面３２は、第３端部３２ａと、第４端部３２ｂとを含む。第４端部３２ｂは、Ｚ軸方向において第３端部３２ａと離間している。図２において、第３端部３２ａは、第２鏡面３２の上端であり、第４端部３２ｂは、下端である。
【００２９】
広角レンズ１２（レンズが撮像装置に取り付けられた位置）とパターン面２０との間の距離Ｌｂは、パターン面２０と第１端部３１ａとの間の距離Ｌａよりも短い。距離Ｌｂは、パターン面２０と第３端部３２ａとの間の距離Ｌｃよりも短い。この例では、距離Ｌａ
は、距離Ｌｃと同等である。
【００３０】
広角レンズ１２の光軸１２ａは、Ｚ軸方向に沿った向きであることが好ましい。すなわち、パターン面２０に対して垂直であることが好ましい。例えば、Ｚ軸方向と、光軸１２ａとの間の角度は、ｔａｎ−１（Ｌａ／Ｌｄ）以下である。このような広角レンズ１２の設置角度は、広角レンズ１２の画角に応じて適宜決定することができる。
【００３１】
図３は、第１の実施形態に係るキャリブレーション装置を例示するブロック図である。
図４は、第１の実施形態に係るキャリブレーション方法を例示するフローチャートである。  
図３に表したように、キャリブレーション装置１００ａは、演算部４０、画像入力部４５及び結果出力部４６をさらに含む。演算部４０は、領域抽出部４１、重心位置算出部４２、消失点検出部４３、及び焦点距離計算部４４を含む。演算部４０には、例えばコンピュータを用いることができる。演算部４０は、撮像装置１１によって撮像された第１画像を取得し、撮像装置１１及び広角レンズ１２のパラメータを抽出する。
【００３２】
図４は、演算部４０によって実施されるキャリブレーション方法を例示するフローチャートである。図４に表したように、実施形態に係るキャリブレーション方法は、ステップＳ４０１〜Ｓ４０５を含む。
【００３３】
ステップＳ４０１において、キャリブレーション装置１００ａは、撮像装置１１によって撮像された第１画像を取得する。例えば、画像入力部４５は、インターフェースであり、画像入力部４５によって、撮像装置１１から演算部４０に第１画像５０が入力される。
【００３４】
図５は、第１の実施形態に係るキャリブレーション装置の画像を例示する模式図である。図５は、撮像装置１１によって撮像された第１画像５０を例示している。
【００３５】
ステップＳ４０２において、第１画像５０から第１パターン領域５０ａ（ボード領域）を抽出する。ボード領域（第１パターン領域５０ａ）は、第１画像５０中のキャリブレーションボード２１に対応した領域である。
【００３６】
図５に表したように、第１パターン領域５０ａは、第１部分５１と、第２部分５２と、第３部分５３と、を含む。第１部分５１は、パターン面２０が写った部分である。  
ここで、第１鏡面３１上には、第１鏡面３１によってパターン面２０の鏡像（第１鏡像）が形成されている。第２鏡面３２上には、第２鏡面３２によってパターン面２０の鏡像（第２鏡像）が形成されている。  
第２部分５２は、第１鏡像と、第１鏡面３１に映った第２鏡像の像と、が写った部分である。第３部分５３は、第２鏡像と、第２鏡面３２に映った第１鏡像の像と、が写った部分である。第１パターン領域５０ａは、第１部分５１と、第２部分５２と、第３部分５３と、が写った第１画像５０中の領域である。演算部４０は、このような第１パターン領域５０ａに基づいて撮像装置１１及び広角レンズ１２のパラメータを校正する。
【００３７】
演算部４０は、キャリブレーションパターンの色を予め記憶している。第１パターン領域５０ａの抽出は、記憶されたキャリブレーションパターンの色に基づいて抽出することを含む。  
例えば、記憶されたキャリブレーションパターンの色と同じ色の領域を、第１画像５０中から抽出する。これにより、第１パターン領域５０ａを抽出することができる。色を用いる以外にも、パターンを特徴量として利用し、特徴量が類似する領域を抽出してもよい。
【００３８】
パラメータの校正は、第１重心位置５４、第１消失点５５及び第２消失点５６を検出することを含む。
ステップＳ４０３において、重心位置算出部４２は、第１パターン領域５０ａの重心が位置する第１重心位置５４を検出（計算）する。
【００３９】
ステップＳ４０４において、消失点検出部４３は、第１消失点５５及び第２消失点５６を検出する。  
実施形態においては、第１鏡面３１及び第２鏡面３２が設けられている。これにより、例えば、第１画像５０中において、キャリブレーションパターンが無限遠まで延びているように見える。消失点は、無限遠に位置するキャリブレーションパターン上の点に対応する。なお、鏡を使用せずに短いキャリブレーションボードを用いた場合には、このように消失点を得ることができない。
【００４０】
第１重心位置５４との間の距離が最も長い第１パターン領域５０ａ上の点（第１消失点５５）を検出する。例えば、第１消失点５５は、第１鏡面３１によって形成された鏡像（第１鏡像）に対応する像の消失点である。  
第１パターン領域５０ａ上の点のうち、重心位置から最も遠い位置にある点（画素）の座標を第１消失点５５の位置として取得する。第１消失点５５は、第１パターン領域５０ａの外周をなす点のうち、第１重心位置５４から最遠の点である。
【００４１】
さらに、第１重心位置５４から第１消失点５５の位置へのベクトルをベクトルｘとする。第１パターン領域５０ａ内の画素位置を第１重心位置５４からのベクトルｋで表す。ベクトルｘとの内積が負となるベクトルｋのうち、絶対値が最大となるベクトルｋで示される画素位置を第２消失点５６の位置として取得する。
【００４２】
つまり、第１消失点５５との間の距離が最も長い第１パターン領域５０ａ上の点（第２消失点５６）が検出される。第２消失点５６は、第２鏡面３２によって形成された鏡像（第２鏡像）に対応する像の消失点である。
【００４３】
すなわち、第２消失点５６は、第１重心位置５４からみて第１消失点５５とは反対側に位置する。第２消失点５６は、第１消失点５５から第１重心位置５４を挟んで反対側に存在する第１パターン領域５０ａの外周をなす点のうち、第１重心位置５４から最遠の点である。
【００４４】
ステップＳ４０５において、焦点距離計算部４４は、広角レンズ１２の焦点距離を計算する。例えば、等距離射影方式の場合、第１画像５０中での第１消失点５５と第２消失点５６との間の距離の１／２を円周率で割ることで焦点距離を計算する。キャリブレーションすべき光学中心（第１画像５０の光学中心）は、第１重心位置５４としてよい。第１消失点５５の位置と、第２消失点５６の位置との平均位置を光学中心として用いてもよい。このようにして、パラメータが算出され、撮像装置１１のパラメータを校正することができる。
【００４５】
例えば、鏡面を用いないで撮像装置のキャリブレーションを行う参考例の方法がある。このような参考例の方法においては、例えば、平行パターンが描かれたキャリブレーションボードを撮像し、平行パターンの画像中の形状を楕円として近似し、消失点を検出する。このような近似を用いる場合、消失点が撮像されるほど長い平行パターンを用いる。これにより、精度を向上させることができるが、装置が大型となってしまう。また、楕円を用いた推定であるため、誤差が生じる。
【００４６】
これに対して、実施形態においては、第１鏡面３１、及び第２鏡面３２を用いることで、短いキャリブレーションボードを用いて、消失点を算出することができる。これにより、キャリブレーション装置を小型化することができる。短いキャリブレーションボードを用いても、例えば無限遠に対応した点を検出することができる。これにより、精度を向上させることができる。
【００４７】
（第２の実施形態）  
図６は、第２の実施形態に係るキャリブレーション装置を例示する模式的斜視図である。図７は、第２の実施形態に係るキャリブレーション装置を例示する模式的側面図である。図８は、第２の実施形態に係るキャリブレーション装置を例示する模式的平面図である。
【００４８】
例えば図６〜８に表したように、第２の実施形態に係るキャリブレーション装置１００ｂは、第１壁６１と第２壁６２と第３壁６３と第４壁６４と、を含む。これ以外は、キャリブレーション装置１００ｂには、キャリブレーション装置１００ａについての説明と同様の説明を適用できる。
【００４９】
第１壁６１及び第２壁６２のそれぞれの色は、キャリブレーションパターンの色とは異なる。この例では、第１壁６１及び第２壁６２のそれぞれの色は、赤色（第１色）とされる。
【００５０】
第１壁６１及び第２壁６２のそれぞれは、パターン面２０と交わり、Ｘ軸方向に延在する壁である。第１壁６１及び第２壁６２のそれぞれは、第１面３１ｐ（又は第１鏡面３１）及び第２面３２ｐ（又は第２鏡面３２）と交わる。第２壁６２は、Ｙ軸方向において第１壁６１と離間している。広角レンズ１２は、Ｚ軸方向から見たときに、第１壁６１と第２壁６２との間に設置される。
【００５１】
なお、実施形態において、交わる状態は、キャリブレーションにおいて実質的に交わっていると見なせる状態であればよく、例えば面と面との間に小さな隙間（例えば５ｍｍ程度以下の隙間）が生じている状態も含む。
【００５２】
パターン面２０は、縁２０ｅ（辺）及び縁２０ｆを有する。縁２０ｅ及び縁２０ｆはＹ軸方向において互いに離間している。縁２０ｅ及び縁２０ｆのそれぞれは、第１面３１ｐから第２面３２ｐまで設けられている。第１壁６１は、縁２０ｅの全体と交わり、第２壁６２が縁２０ｆの全体と交わっている。すなわち、第１壁６１及び第２壁６２は、鏡面と接していないパターン面２０の縁と、鏡面の縁と、を完全に埋めるように設置される。
【００５３】
第３壁６３は、第１鏡面３１と広角レンズ１２との間に設けられる。第４壁６４は、第２鏡面３２と広角レンズ１２との間に設けられる。第３壁６３及び第４壁６４は、鏡面隠しである。鏡面隠しは、第１鏡面３１及び第２鏡面３２の少なくとも一方の一部を覆う。
【００５４】
鏡面隠しは、広角レンズ１２の高さ（パターン面２０から測ったＺ軸方向に沿った距離）よりも低い位置に設けられた鏡面は覆わない。すなわち、パターン面２０と広角レンズ１２との間の距離は、パターン面２０と第３壁６３との間の距離よりも短い。パターン面２０と広角レンズ１２との間の距離は、パターン面２０と第４壁６４との間の距離よりも短い。
【００５５】
図９は、第２の実施形態に係るキャリブレーション装置の画像を例示する模式図である。  
図９は、撮像装置１１によって撮像された画像（第１画像５０）を例示している。図９に表したように、第１画像は、第１壁の像６１ｉと、第２壁の像６２ｉと、第３壁の像６３ｉと、第４壁の像６４ｉと、を含む。第１パターン領域５０ａは、像６１ｉ、６２ｉ、６３ｉ及び６４ｉによって囲まれている。  
第１壁の像６１ｉは、第１壁６１とその鏡像とが写った部分である。第２壁の像６２ｉは、第２壁６２とその鏡像とが写った部分である。  
第１パターン領域５０ａは、第１壁の像６１ｉと、第２壁の像６２ｉとの間に位置する。
【００５６】
このように、第１パターン領域５０ａが、キャリブレーションパターンとは異なる第１色の領域によって囲まれている。これにより、前述のステップＳ４０１において、色に基づいて第１パターン領域５０ａを抽出する際の精度を向上させることができる。
【００５７】
なお、第１パターン領域５０ａが第１色の領域によって囲まれるように、前述の鏡面隠し（第３壁６３及び第４壁６４）の位置を適宜変更してもよい。
【００５８】
（第３の実施形態）  
図１０は、第３の実施形態に係るキャリブレーション装置を例示する模式的側面図である。  
図１０に表したように、キャリブレーション装置１００ｃは、回転機構６０１（回転部）を含む。これ以外は、キャリブレーション装置１００ｃには、キャリブレーション装置１００ａについての説明と同様の説明を適用できる。
【００５９】
回転機構６０１は、広角レンズ１２の光軸１２ａを回転軸として、撮像装置１１を回転させる。これにより、パターン面２０から広角レンズ１２に入射する光の入射方向ＤＬを変化させることができる。
【００６０】
回転機構６０１には、シャフト、ベアリング、ネジなど任意の形態を用いることができ、手動式であっても電動式であってもよい。また、撮像装置１１を回転させて、画像の対角に第１及び第２消失点が位置するように調整することができる。これにより、例えば、検出精度が向上する。
【００６１】
この例では、光軸１２ａを回転軸としているが、入射方向ＤＬを回転させることができれば、回転軸の光軸１２ａからの傾きは許容される。
【００６２】
図１１は、第３の実施形態に係るキャリブレーション方法を例示するフローチャートである。  
図１１に表したキャリブレーション方法は、演算部４０によって実施され、第１の実施形態と同様のステップＳ４０１〜Ｓ４０４と、ステップＳ７０５〜Ｓ７０７と、を含む。
【００６３】
ステップＳ４０１〜Ｓ４０４において、第１の実施形態と同様に、第１画像５０が処理される。ここで、第１画像５０は、入射方向ＤＬが第１入射方向であるときに、撮像装置１１によって撮像された画像である。
【００６４】
ステップＳ７０５において、消失点検出を行った画像の数が、所定の数であるかを確認する。所定の数でない場合には、ステップＳ７０６が実施される。
【００６５】
ステップＳ７０６において、回転機構６０１によって、撮像装置１１を回転させる。回転後に、撮像装置１１は、さらに画像（第２画像７０）を撮像する。第２画像７０は、入射方向ＤＬが第１入射方向とは異なる第２入射方向であるときに撮像装置１１によって撮像された画像である。
【００６６】
図１２は、第３の実施形態に係るキャリブレーション装置で撮影した画像を例示する模式図である。  
図１２に表した第２画像７０に対して、ステップＳ４０１〜ステップＳ４０４がさらに実施される。演算部４０は、ステップＳ４０１において、第２画像７０を取得する。
【００６７】
ステップＳ４０２において、第２画像７０中の第２パターン領域７０ａを抽出する。第２パターン領域７０ａは、部分７１〜７３を含む。部分７１は、パターン面２０が写った部分である。部分７２は、第１鏡面３１上に形成されたパターン面２０の鏡像（第３鏡像）が写った部分である。部分７３は、第２鏡面３２上に形成されたパターン面２０の鏡像（第４鏡像）が写った部分である。
【００６８】
ステップＳ４０３において、第２パターン領域７０ａの重心が位置する第２重心位置７４を検出する。
【００６９】
ステップＳ４０４において、第３消失点７５及び第４消失点７６を検出する。第３消失点７５は、第２パターン領域７０ａ上の点のうち、第２重心位置７４との間の距離が最も長い点である。第４消失点７６は、第２パターン領域７０ａ上の点のうち、第３消失点７５との間の距離が最も長い点である。
【００７０】
消失点検出を行った画像の数が、所定の数であった場合には、ステップＳ７０７を実施する。ステップＳ７０７において、それぞれの画像で得られた消失点の位置を利用して、焦点距離と光学中心とを求める。第１画像５０の第１消失点５５と第２消失点５６とを結ぶ第１線分と、第２画像７０の第３消失点７５と第４消失点７６とを結ぶ第２線分と、の交点を算出し、画像中心とする。等距離射影方式の場合、第１線分の長さと第２線分の長さとの平均の１／２を円周率で割った値を焦点距離として算出する。複数の画像を用いて、パラメータを算出することで、キャリブレーションの精度を向上させることができる。
【００７１】
以上説明した例では、設置部１０２に撮像装置１１が設置されているが、撮像装置１１は、自動車や航空機に設置されていてもよい。例えば、撮像装置は、車体に設置された後方確認用カメラであってもよい。この場合、キャリブレーション装置を、車体に設置して、キャリブレーションを行う。これにより、簡易に高精度のキャリブレーションを行うことができる。このとき、キャリブレーション装置と撮像装置との相対的な位置関係は、図２において説明した位置関係と同様であることが好ましい。このため、車体の形状に合わせて、装置の形状を適宜変更してもよい。
【００７２】
実施形態に係る演算部４０には、例えば、処理回路８３及びメモリ８４などを用いることができる。処理回路８３には、例えば、ＣＰＵ（Central Processing Unit）などの制御装置、ＬＳＩ（Large Scale Integration）等の集積回路またはＩＣ（Integrated Circuit）チップセットなどを用いることができる。処理回路８３及びメモリ８４は、一つの基板に設けられていてもよいし、少なくとも一部が別に設けられていてもよい。ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。処理回路８３及びメモリ８４には、通常のコンピュータを利用したハードウェア構成を用いてもよい。演算部４０の前述した各部を、ソフトウェアとしてもハードウェアとしてもよい。実施形態は、各機能ブロックの処理を、コンピュータに実施させるプログラムであってもよい。
【００７３】
メモリ８４には、ＲＯＭやＲＡＭなどの記憶装置を用いることができる。ＨＤＤやＳＳＤなどの外部記憶装置を用いてもよい。メモリ８４は、撮像装置によって撮像された画像や、計算結果などを記憶する。
【００７４】
メモリ８４は、実施形態に係るキャリブレーション方法をコンピュータなどに実行させるプログラムを記憶してもよい。例えば、処理回路８３において、プログラムが読み込まれ、画像処理が実行される。プログラムは、予めメモリ８４に記憶された状態で提供されてもよいし、外部の記憶媒体やネットワークを介して提供され、適宜インストールされてもよい。
【００７５】
実施形態によれば、精度の高いキャリブレーション方法、キャリブレーションプログラム及び小型のキャリブレーション装置が提供できる。
【００７６】
なお、本願明細書において、「垂直」及び「平行」は、厳密な垂直及び厳密な平行だけではなく、例えば製造工程におけるばらつきなどを含むものであり、実質的に垂直及び実質的に平行であれば良い。
【００７７】
以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明の実施形態は、これらの具体例に限定されるものではない。例えば、キャリブレーションパターン、第１鏡面、第２鏡面、演算部、第１〜第４壁、設置部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。  
また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
【００７８】
その他、本発明の実施の形態として上述したキャリブレーション方法、キャリブレーションプログラム及びキャリブレーション装置を基にして、当業者が適宜設計変更して実施し得る全てのキャリブレーション方法、キャリブレーションプログラム及びキャリブレーション装置も、本発明の要旨を包含する限り、本発明の範囲に属する。
【００７９】
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
【００８０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８１】
１１…撮像装置、  １２…広角レンズ、  １２ａ…光軸、  ２０…パターン面、  ２０ｅ、２０ｆ…縁、  ２１…キャリブレーションボード、  ３１…第１鏡面、  ３１ａ…第１端部、  ３１ｂ…第２端部、  ３１ｐ…第１面、  ３２…第２鏡面、  ３２ａ…第３端部、  ３２ｂ…第４端部、  ３２ｐ…第２面、  ４０…演算部、  ４１…領域抽出部、  ４２…重心位置算出部、  ４３…消失点検出部、  ４４…焦点距離計算部、  ４５…画像入力部、  ４６…結果出力部、  ５０…第１画像、  ５０ａ…第１パターン領域、  ５１〜５３…第１〜第３部分、  ５４…第１重心位置、  ５５…第１消失点、  ５６…第２消失点、  ６１〜６４…第１〜第４壁、  ６１ｉ〜６４ｉ…像、  ７０…第２画像、  ７０ａ…第２パターン領域、  ７１〜７３…部分、  ７４…第２重心位置、  ７５…第３消失点、  ７６…第４消失点、  ８３…処理回路、  ８４…メモリ、  １００ａ〜１００ｃ…キャリブレーション装置、  １０２…設置部、  ６０１…回転機構、  ＤＬ…入射方向、  Ｌａ〜Ｌｄ…距離、  Ｓ４０１〜Ｓ４０５、Ｓ７０５〜Ｓ７０７…ステップ、  ｐ１…辺
【図１】
2016063336.tif 000003
【図２】
2016063336.tif 000004
【図３】
2016063336.tif 000005
【図４】
2016063336.tif 000006
【図５】
2016063336.tif 000007
【図６】
2016063336.tif 000008
【図７】
2016063336.tif 000009
【図８】
2016063336.tif 000010
【図９】
2016063336.tif 000011
【図１０】
2016063336.tif 000012
【図１１】
2016063336.tif 000013
【図１２】
2016063336.tif 000014