(57)【要約】【課題】複数のカメラの校正について、校正作業が煩雑化しない技術を提供する。【解決手段】画角と焦点距離との少なくとも一方が異なる第１カメラと第２カメラとを校正する校正方法であって、複数の第１マークから構成される第１パターンおよび複数の第２マークから構成される第２パターンであって、第１マークの形状と第２マークの形状、第１マークの大きさと第２マークの大きさおよび第１マークの配列と第２マークの配列、のうち少なくとも１つが異なる第１パターンと第２パターンとを有する校正用具を含む画像を、第１カメラおよび第２カメラで撮像する撮像工程と、画像のうち第１カメラおよび第２カメラのそれぞれに対応するパターンを用いて、第１カメラおよび第２カメラを校正する校正工程と、を備える。【選択図】図３
2019029820.tif 000002
【特許請求の範囲】
【請求項１】
画角と焦点距離との少なくとも一方が異なる第１カメラと第２カメラとを校正する校正方法であって、
複数の第１マークから構成される第１パターンおよび複数の第２マークから構成される第２パターンであって、前記第１マークの形状と前記第２マークの形状、前記第１マークの大きさと前記第２マークの大きさおよび前記第１マークの配列と前記第２マークの配列、のうち少なくとも１つが異なる前記第１パターンと前記第２パターンとを有する校正用具を含む画像を、前記第１カメラおよび前記第２カメラで撮像する撮像工程と、
前記画像のうち前記第１カメラおよび前記第２カメラのそれぞれに対応するパターンを用いて、前記第１カメラおよび前記第２カメラを校正する校正工程と、を備える、校正方法。
【請求項２】
請求項１に記載の校正方法であって、
前記第１パターンと前記第２パターンとは、前記第１マークの形状と前記第２マークの形状とが同一であって、かつ、前記第１マークの大きさと前記第２マークの大きさとが異なる、校正方法。
【請求項３】
請求項２に記載の校正方法であって、
前記第１パターンと前記第２パターンとは、前記第１マークの配列と前記第２マークの配列とが異なる、校正方法。
【請求項４】
請求項１から請求項３までのいずれか一項に記載の校正方法であって、
前記第１パターンと前記第２パターンとは、前記校正用具を構成する面のうち同一の面に形成されている、校正方法。
【請求項５】
請求項２または請求項３のいずれかに従属する請求項４に記載の校正方法であって、
前記第１パターンに外接する第１矩形の領域と、前記第２パターンに外接する第２矩形の領域と、が部分的に重なるように配置されている、校正方法。
【請求項６】
請求項１から請求項３までのいずれか一項に記載の校正方法であって、
前記第１パターンと前記第２パターンとは、前記校正用具を構成する面のうち異なる面に形成されている、校正方法。
【請求項７】
請求項１から請求項６までのいずれか一項に記載の校正方法で使用される校正用具。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラの校正に関するものである。
【背景技術】
【０００２】
カメラの校正において、校正パターンが表示された校正プレートを用いることがある。特許文献１には、校正プレートを用いて、複数のカメラを校正する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１３−５２６４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来、画角と焦点距離の少なくとも一方が異なる複数のカメラを校正する場合については、十分な検討がなされていなかった。このため、それぞれのカメラに合わせた校正パターンを準備するために、校正プレートを交換することによって校正作業が煩雑化する問題があった。このため、複数のカメラの校正について、校正作業が煩雑化しない技術が望まれていた。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
【０００６】
（１）本発明の第１の形態によれば、画角と焦点距離との少なくとも一方が異なる第１カメラと第２カメラとを校正する校正方法が提供される。この校正方法は、複数の第１マークから構成される第１パターンおよび複数の第２マークから構成される第２パターンであって、前記第１マークの形状と前記第２マークの形状、前記第１マークの大きさと前記第２マークの大きさおよび前記第１マークの配列と前記第２マークの配列、のうち少なくとも１つが異なる前記第１パターンと前記第２パターンとを有する校正用具を含む画像を、前記第１カメラおよび前記第２カメラで撮像する撮像工程と、前記画像のうち前記第１カメラおよび前記第２カメラのそれぞれに対応するパターンを用いて、前記第１カメラおよび前記第２カメラを校正する校正工程と、を備える。この校正方法によれば、画角と焦点距離の少なくとも一方が異なる第１カメラと第２カメラとを校正する場合に、カメラごとに校正プレートを交換することなく校正作業を行うことができる。したがって、校正作業の煩雑化を抑制できる。
【０００７】
（２）上記校正用具において、前記第１パターンと前記第２パターンとは、前記第１マークの形状と前記第２マークの形状とが同一であって、かつ、前記第１マークの大きさと前記第２マークの大きさとが異なってもよい。この校正用具によれば、カメラによるマークの大きさに基づいたパターンの判別により、各カメラが校正に用いるパターンを区別できる。
【０００８】
（３）上記校正用具において、前記第１パターンと前記第２パターンとは、前記第１マークの配列と前記第２マークの配列とが異なってもよい。この校正用具によれば、カメラによるマークの配列に基づいたパターンの判別により、各カメラが校正に用いるパターンを区別できる。
【０００９】
（４）上記校正用具において、前記第１パターンと前記第２パターンとは、前記校正用具を構成する面のうち同一の面に形成されていてもよい。この校正用具によれば、校正用具の面を変えることなく第１パターンおよび第２パターンを撮像できることから、第１パターンおよび第２パターンの撮像作業を簡略化することができる。
【００１０】
（５）上記校正用具において、前記第１パターンに外接する第１矩形の領域と、前記第２パターンに外接する第２矩形の領域と、が部分的に重なるように配置されていてもよい。この校正用具によれば、第１矩形の領域と第２矩形の領域とが重ならないよう配置された校正用具と比べて、校正用具を構成する面のうち第１パターンおよび第２パターンによって占有される面積を小さくすることができる。
【００１１】
（６）上記校正用具において、前記第１パターンと前記第２パターンとは、前記校正用具を構成する面のうち異なる面に形成されていてもよい。この校正用具によれば、第１パターンおよび第２パターンは異なる面に分けて形成されているため、校正されるカメラに応じてカメラに写される校正用具の面を変えることによって、第１カメラおよび第２カメラの校正に対応できる。
【００１２】
（７）本発明の第２の形態は、上記方法に使用される校正用具である。この校正用具によれば、校正作業の煩雑化を抑制できる。
【００１３】
本発明は、上記以外の種々の形態で実現することも可能である。例えば、校正用具を備えたカメラ校正装置や校正方法の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態の校正方法を実行するロボットシステムの概念図である。
【図２】校正用具を一方の面から撮影した画像を示す図である。
【図３】校正用具を他方の面から撮影した画像を示す図である。
【図４】校正処理を示すフローチャートである。
【図５】第２実施形態の校正方法に用いられる校正用具の面を示す説明図である。
【図６】他の実施形態の校正用具を示す説明図である。
【図７】更に他の実施形態の校正用具を示す説明図である。
【発明を実施するための形態】
【００１５】
A. 第１実施形態
図１は、第１実施形態の校正方法を実行するロボットシステムの概念図である。このロボットシステムは、ロボット１００と、制御装置２００とを備えている。このロボット１００は、カメラ１７０Ｌ，１７０Ｒ，１７５Ｌ，１７５Ｒ，１６５Ｒ，１６５Ｌで作業対象を認識し、自在に力を加減して、自律的に判断しながら作業を行える自律型ロボットである。また、ロボット１００は、予め作成された教示データに従って作業を実行するティーチングプレイバックロボットとして動作することも可能である。
【００１６】
ロボット１００は、基台１１０と、胴部１２０と、肩部１３０と、首部１４０と、頭部１５０と、２つのアーム１６０Ｌ，１６０Ｒとを備えている。アーム１６０Ｌ，１６０Ｒには、ハンド１８０Ｌ，校正用具１９０が着脱可能に取り付けられている。校正用具１９０は、後述するパターンＰ１，Ｐ２，Ｐ３が備えられたカメラの校正用具である。ハンド１８０Ｌは、ワークや道具を把持するエンドエフェクターである。
【００１７】
頭部１５０には、カメラ１７０Ｌ，１７０Ｒ，１７５Ｌ，１７５Ｒが設置されている。カメラ１７０Ｌおよび１７０Ｒは、作業台を撮影する画角の広いグローバルカメラである。カメラ１７５Ｌおよび１７５Ｒは、作業台を撮影する画角の狭いマクロカメラである。これらのカメラ１７０Ｌ，１７０Ｒ，１７５Ｌ，１７５Ｒは、アーム１６０Ｌ，１６０Ｒとは独立して設けられており、その位置姿勢が変化しない固定カメラである。
【００１８】
アーム１６０Ｌ，１６０Ｒには、カメラ１６５Ｒおよび１６５Ｌが設置されている。カメラ１６５Ｒおよび１６５Ｌは、作業台の上に載置された作業対象等を撮影するハンドアイカメラである。
【００１９】
カメラ１７０Ｌおよび１７０Ｒと、カメラ１７５Ｌおよび１７５Ｒと、カメラ１６５Ｒおよび１６５Ｌと、は、それぞれ画角および焦点距離の異なるカメラである。他の実施形態では、第１実施形態の校正方法に用いられるカメラは、それぞれ画角と焦点距離の少なくとも一方が異なる複数のカメラであってもよい。
【００２０】
アーム１６０Ｌ，１６０Ｒと、カメラ１７０Ｌ，１７０Ｒと、の符号の末尾に付された「Ｌ」「Ｒ」の文字は、それぞれ「左」「右」を意味する。これらの区別が不要の場合には、「Ｌ」「Ｒ」の文字を省略した符号を使用して説明する。
【００２１】
制御装置２００は、プロセッサー２１０と、メインメモリー２２０と、不揮発性メモリー２３０と、表示制御部２４０と、表示部２５０と、Ｉ／Ｏインターフェース２６０とを有している。これらの各部は、バスを介して接続されている。プロセッサー２１０は、例えばマイクロプロセッサー又はプロセッサー回路である。制御装置２００は、Ｉ／Ｏインターフェース２６０を介してロボット１００に接続される。なお、制御装置２００をロボット１００の内部に収納してもよい。
【００２２】
制御装置２００の構成としては、図１に示した構成以外の種々の構成を採用することが可能である。例えば、プロセッサー２１０とメインメモリー２２０を図１の制御装置２００から削除し、この制御装置２００と通信可能に接続された他の装置にプロセッサー２１０とメインメモリー２２０を設けるようにしてもよい。この場合には、当該他の装置と制御装置２００とを合わせた装置全体が、ロボット１００の制御装置として機能する。他の実施形態では、制御装置２００は、２つ以上のプロセッサー２１０を有していてもよい。更に他の実施形態では、制御装置２００は、互いに通信可能に接続された複数の装置によって実現されていてもよい。これらの各種の実施形態において、制御装置２００は、１つ以上のプロセッサー２１０を備える装置又は装置群として構成される。
【００２３】
図２は、校正用具１９０を一方の面から撮影した画像を示す図である。図３は、校正用具１９０を他方の面から撮影した画像を示す図である。校正用具１９０は、継手部４０５と、棒状部材４１０と、板状部材４２０と、を備える。
【００２４】
継手部４０５は、アーム１６０の端部と嵌まり合い、校正用具１９０をアーム１６０に接続する。継手部４０５は、棒状部材４１０および板状部材４２０と一体化して形成されている。板状部材４２０は、表面４２０Ｆと裏面４２０Ｂとを有する。表面４２０Ｆには、パターンＰ１が形成されている。裏面４２０Ｂには、パターンＰ２が形成されている。棒状部材４１０を構成する面のうち裏面４２０Ｂと同じ方向を向いた面４１０Ｂには、パターンＰ３が形成されている。
【００２５】
パターンＰ１，Ｐ２，Ｐ３は、複数のマークから構成されるパターンである。パターンＰ１，Ｐ２，Ｐ３は、マークの形状が同一の円形状であって、かつ、マークの大きさが異なる。パターンＰ１，Ｐ２，Ｐ３におけるマークは、いずれも９×７の行列状に配列されている。これらの配列における行方向のピッチと列方向のピッチは等しく設定されることが好ましい。
【００２６】
本実施形態では、校正用具１９０のパターンＰ１は、カメラ１７０の校正に用いられ、パターンＰ２は、カメラ１７５の校正に用いられ、パターンＰ３は、カメラ１６５の校正に用いられる。
【００２７】
図４は、校正処理を示すフローチャートである。作業者が校正の開始をロボット１００に指示して校正処理が開始されると、プロセッサー２１０は、校正用具１９０を含む画像を、カメラ１７０，１７５，１６５に撮像させる（ステップＳ１００）。その後、プロセッサー２１０は、撮像された画像のうちカメラ１７０，１７５，１６５のそれぞれに対応するパターンＰ１，Ｐ２，Ｐ３を用いて、カメラ１７０，１７５，１６５をそれぞれ校正する（ステップＳ２００）。具体的には、校正用具１９０が設置されたアーム１６０に複数の位置姿勢をとらせた状態において、カメラ１７０，１７５，１６５に校正用具１９０を含む画像を撮像させ、画像内に写った校正用具１９０に形成されたパターンのうち、カメラ１７０，１７５，１６５のそれぞれに対応するパターンの画像を用いて、校正が行われる。位置姿勢（position and attitude）とは、３次元の座標系における３つの座標値と、各座標軸回りの回転とで規定される状態を意味する。カメラが校正された（ステップＳ２００）後、校正処理は終了する。
【００２８】
以上説明した第１実施形態によれば、画角と焦点距離の少なくとも一方が異なる第１カメラと第２カメラとを校正する場合に、カメラごとに校正プレートを交換することなく校正作業を行うことができる。したがって、校正作業の煩雑化を抑制できる。
【００２９】
第１実施形態の校正方法で用いられる校正用具である校正用具１９０には、マークの形状が同一の円形状であって、かつ、マークの大きさが異なるパターンＰ１，Ｐ２，Ｐ３が形成されている。このため、カメラ１７０，１７５，１６５は、パターンを構成するマークの大きさに基づいてパターンＰ１，Ｐ２，Ｐ３を判別することにより、それぞれのカメラが校正に用いるパターンを区別できる。例えば、カメラ１７０は、パターンＰ１，Ｐ２，Ｐ３の中から、パターンを構成する円形状のマークが最も大きいものをパターンＰ１と判別して、パターンＰ１を校正に用いることができる。カメラ１７５およびカメラ１６５も同様に、パターンを構成する円形状のマークの大きさからパターンＰ２、Ｐ３を判別して、パターンＰ２、Ｐ３を校正に用いることができる。
【００３０】
第１実施形態の校正方法で用いられる校正用具である校正用具１９０は、校正用具１９０を構成する面のうち異なる面にパターンＰ１，Ｐ２，Ｐ３が形成されている。このため、校正されるカメラに応じてカメラに写される校正用具１９０の面を変えることによって、複数のカメラの校正に対応できる。
【００３１】
B. 第2実施形態
図５は、第２実施形態の校正方法に用いられる校正用具のうちパターンＰ１１およびパターンＰ１２が形成された面５２０を示す説明図である。図５における校正用具のパターンＰ１１は、ロボット１００のカメラ１７０およびカメラ１７５の校正に用いられ、パターンＰ１２は、ロボット１００のカメラ１６５の校正に用いられる。
【００３２】
パターンＰ１１およびＰ１２は、マークの形状が同一の円形状であって、かつ、マークの大きさが異なる。パターンＰ１１を構成するマークは、パターンＰ１２を構成するマークより大きい。パターンＰ１１およびＰ１２は、校正用具を構成する面のうち同一の面５２０に形成されている。パターンＰ１１に外接する第１矩形の領域Ｒ１１の内側には、パターンＰ１２に外接する第２矩形の領域Ｒ１２が配置されている。本実施形態では、領域Ｒ１１は、領域Ｒ１２を内包するよう配置されているが、他の実施形態では、領域Ｒ１１と領域Ｒ１２とは、一方の領域における一部分が他方の領域における一部分と重なるように配置されていてもよい。
【００３３】
以上説明した第２実施形態によれば、パターンＰ１１およびＰ１２が、校正用具を構成する面のうち同一の面５２０に形成されている。このため、校正用具の面を変えることなくパターンＰ１１およびＰ１２を撮像できることから、パターンＰ１１およびＰ１２の撮像作業を簡略化することができる。また、領域Ｒ１１と領域Ｒ１２とが部分的に重なるように配置されているため、領域Ｒ１１と領域Ｒ１２とが部分的に重ならないよう配置された校正用具と比べて、校正用具を構成する面のうち複数のパターンによって占有される面積を小さくすることができる。
【００３４】
C. 他の実施形態
図６は、他の実施形態の校正用具２９０を示す説明図である。第１実施形態の校正方法を実行するロボット１００に設置された校正用具１９０は、継手部４０５と、棒状部材４１０と、板状部材４２０と、を備えていたが、本発明はこれに限られない。例えは、ロボットが備えるカメラの校正用具は、図６に示す校正用具２９０のように、継手部４０５と、箱状部材４３０と、から構成されていてもよい。箱状部材４３０には、パターンＰ２１，Ｐ２２，Ｐ２３が形成されている。
【００３５】
図７は、他の実施形態の校正用具のうちパターンＰ３１，Ｐ３２，Ｐ３３，Ｐ３４，Ｐ３５，Ｐ３６，Ｐ３７が形成された面６２０を示す説明図である。図７に示した校正用具には、７つのパターンが形成されている。このような校正用具は、複数種類のロボットにおけるカメラの校正に用いることができる。また、図７に示した校正用具のように、パターンは、校正用具を構成する面のうちの１つの面に対して、３つ以上形成されていてもよい。
【００３６】
上述した第１実施形態の校正方法を実行するロボット１００に設置された校正用具１９０は、同一の円形状のマークが同じ行列状に配列されるとともに、マークの大きさが異なる複数のパターンを備えていたが、本発明はこれに限られない。例えば、校正用具は、マークの形状、マークの大きさおよびマークの配列のうち少なくとも１つが異なる複数のパターンを備えていてもよい。例えば、校正用具１９０が、マークの形状が同一であって、かつ、マークの大きさおよびマークの配列が異なる複数のパターンを備えていてもよい。このような形態の場合、カメラによるマークの大きさおよびマークの配列に基づいたパターンの判別により、各カメラが校正に用いるパターンを区別できる。また、他の例としては、校正用具１９０が、マークの形状およびマークの大きさが同一であって、かつ、マークの配列が異なる複数のパターンを備えていてもよい。このような形態の場合、マークの配列の違いがパターンの区別に用いられる。
【００３７】
また、校正用具が備える複数のパターンを構成するマークの形状は、三角形状、矩形状などどのような形状であってもよい。また、校正用具に備えられた複数のパターンは、パターン毎に異なる形状のマークから構成されていてもよい。
【００３８】
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【００３９】
１００…ロボット、１１０…基台、１２０…胴部、１３０…肩部、１４０…首部、１５０…頭部、１６０Ｌ，１６０Ｒ…アーム、１６５Ｌ，１６５Ｒ…カメラ、１７０Ｌ，１７０Ｒ…カメラ、１７５Ｌ，１７５Ｒ…カメラ、１８０Ｌ…ハンド、１９０…校正用具、２００…制御装置、２１０…プロセッサー、２２０…メインメモリー、２３０…不揮発性メモリー、２４０…表示制御部、２５０…表示部、２６０…Ｉ／Ｏインターフェース、２９０…校正用具、継手部…４０５、４１０…棒状部材、４１０Ｂ…面、４２０…板状部材、４２０Ｂ…裏面、４２０Ｆ…表面、４３０…箱状部材、５２０…面、６２０…面
【図１】
2019029820.tif 000003
【図２】
2019029820.tif 000004
【図３】
2019029820.tif 000005
【図４】
2019029820.tif 000006
【図５】
2019029820.tif 000007
【図６】
2019029820.tif 000008
【図７】
2019029820.tif 000009