(57)【要約】【課題】水分を多く含んだ対象物でも位置姿勢を精度よく計測する。【解決手段】計測装置であって、明部と暗部とのコントラスト比が、前記明部が１００に対して前記暗部が９以下であるランダムドットパターンを投影する投影手段と、前記ランダムドットパターンが投影された対象物を撮影する撮影手段と、前記撮影手段により撮影された撮影画像に基づいて前記対象物の位置姿勢を計測する計測手段とを備える。【選択図】図２
2020193945.tif 000002
【特許請求の範囲】
【請求項１】
明部と暗部とのコントラスト比が、前記明部が１００に対して前記暗部が９以下であるランダムドットパターンを対象物に投影する投影手段と、
前記ランダムドットパターンが投影された前記対象物を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像に基づいて前記対象物の位置姿勢を計測する計測手段と、
を備えることを特徴とする計測装置。
【請求項２】
前投影手段は、プロジェクタの投光角４５ｄｅｇ×４５ｄｅｇ（縦４５度及び横４５度）で５０００以上のドットを含む密度で前記ランダムドットパターンを前記対象物に投影することを特徴とする請求項１に記載の計測装置。
【請求項３】
前記撮影手段は、ステレオカメラ及びカラーカメラを含み、
前記計測手段は、前記ステレオカメラにより撮影されたステレオ画像と、前記カラーカメラにより撮影されたカラー画像とに基づいて、前記位置姿勢を計測することを特徴とする請求項１又は２に記載の計測装置。
【請求項４】
前記対象物はトマトであることを特徴とする請求項１乃至３の何れか１項に記載の計測装置。
【請求項５】
請求項１乃至４の何れか１項に記載の計測装置と、
前記位置姿勢に基づいて前記対象物を把持する把持手段と、
を備えることを特徴とする把持システム。
【請求項６】
計測装置の制御方法であって、
明部と暗部とのコントラスト比が、前記明部が１００に対して前記暗部が９以下であるランダムドットパターンを投影する投影工程と、
前記ランダムドットパターンが投影された対象物を撮影する撮影工程と、
前記撮影工程により撮影された撮影画像に基づいて前記対象物の位置姿勢を算出する算出工程と、
を有することを特徴とする計測装置の制御方法。
【請求項７】
コンピュータを、請求項１乃至４の何れか１項に記載の計測装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測装置、把持システム、計測装置の制御方法及びプログラムに関する。
【背景技術】
【０００２】
野菜・果実の収穫のため、ロボットハンドにセンサを搭載し、センサの検知結果に基づいて把持動作を実行して収穫を行う装置が知られている。例えば、明部と暗部とを含むパターンを投影し、それをセンサにより撮影することで位置姿勢を計測することができる。
【０００３】
特許文献１は、ステレオカメラを用いてワークの３次元位置姿勢を取得するワーク位置姿勢計測装置を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１８３６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、トマトのように水分を多く含んだ野菜の場合、内部で光が散乱してしまい、明部と暗部とのコントラストが曖昧になり、計測が上手くいかなくなるという課題がある。
【０００６】
本発明は、上記課題の認識を契機として為されたものであり、水分を多く含んだ対象物でも位置姿勢を精度よく計測するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成する本発明の一態様に係る計測装置は、
明部と暗部とのコントラスト比が、前記明部が１００に対して前記暗部が９以下であるランダムドットパターンを投影する投影手段と、
前記ランダムドットパターンが投影された対象物を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像に基づいて前記対象物の位置姿勢を計測する計測手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、水分を多く含んだ対象物でも位置姿勢を精度よく計測することが可能となる。
【図面の簡単な説明】
【０００９】
本発明の実施形態を示す添付図面は明細書の一部を構成し、その記述と共に本発明を説明するために用いられる。
【図１】実施形態に係る把持システムの構成例を説明するための図である。
【図２】実施形態に係る計測装置の構成例を説明するためのブロック図である。
【図３】（ａ）本実施形態に係るランダムドットパターンの一例を示す図であり、（ｂ）ランダムドットパターン上に引いた直線上の各画素の画素番号と輝度値との関係を示すグラフである。
【図４】実施形態に係るランダムドットパターンを対象物に投影して撮影したときの画像であり、（ｂ）ステレオ画像およびカラー画像から生成されたカラー点群の画像（距離計測ができた部位を示す画像）である。
【図５】低コントラスト比のパターンを対象物に投影して撮影したときの画像であり、（ｂ）ステレオ画像およびカラー画像から生成されたカラー点群の画像（距離計測ができた部位を示す点群の画像）である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
【００１１】
＜システム構成＞
図１は、本実施形態に係る把持システムの構成例を示す図である。１は把持システムである。把持システム１は、対象物（トマトなどの野菜、果実等、把持対象物）を把持して収穫するためのシステムである。
【００１２】
１０は対象物を把持するための把持部である。把持部１０は、手指のような形状で対象物を掴むタイプであってもよいし、吸着機構により対象物に吸着することで把持を行うタイプであってもよい。１１は、把持部１０に装着されたカメラ部である。１２は、把持部１０を支持するアーム部である。１３は柱部である。アーム部１２は柱部１３に沿って上下方向（矢印１４の方向）に移動可能に構成されている。１５は台車である。把持部１０により収穫された対象物を載置することができる。
【００１３】
図２は、本実施形態に係る計測装置の構成例である。１００は計測装置である。計測装置は、カメラ部１１と、制御部１０１と、記憶部１０２と、通信部１０３とを含んで構成される。制御部１０１、記憶部１０２及び通信部１０３は、カメラ部１１と一体に構成されていてもよいし、例えば柱部１３の内部など、カメラ部１１とは別体として構成されてもよい。
【００１４】
本実施形態では、カメラ部１１は、投影部１１ａと、撮影部１１ｂとを含んで構成される。投影部１１ａは、レーザプロジェクタ１１０を含む。レーザプロジェクタ１１０は、ランダムドットパターンを対象物に対して投影することができる。
【００１５】
撮影部１１ｂは、ステレオカメラ１１１と、カラーカメラ１１２とを含む。撮影部１１ｂは、投影部１１ａによりランダムドットパターンが投影された対象物を撮影する。
【００１６】
制御部１０１は、記憶部１０２に記憶されているプログラムを読み出して実行することにより、投影部１１ａ及び撮影部１１ｂの動作を制御するとともに、各種の処理を実行する。例えば、撮影部１１ｂにより撮影された画像に基づいて、対象物の位置姿勢計測（距離計測）を行う。
【００１７】
具体的には、制御部１０１は、投影部１１ａ及び撮影部１１ｂの動作を制御して、レーザプロジェクタ１１０によりランダムドットパターンが投影された対象物をステレオカメラ１１１により撮影する。そして、制御部１０１は、撮影されたステレオ画像を取得する。そして、歪み補正処理及びステレオ平行化処理等の処理を施した後に、ステレオマッチングを行って視差画像を取得する。そして視差画像を点群変換する。一方、カラーカメラ１１２により同じ対象物のカラー画像を別途撮影し、歪み補正処理を施しておく。そして、距離計測できた点群をカラーカメラ１１２の座標系に変換する。そして、カラー画像の分解能で点群を生成し、点群の色付けを行う。この際、１つの画素に複数の点群が存在する場合には近い方の点と当該画素とを対応付ければよい。これにより、距離計測できた点群に対応するカラー点群（距離計測ができた部位を示す点群）を取得することができる。
【００１８】
また、制御部１０１は、計測された対象物の位置姿勢に基づいて把持部１０を制御し、対象物を把持させる制御を行うこともできる。記憶部１０２は、制御部１０１が実行する処理内容が格納されたプログラムや、撮影部１１ｂにより撮影された画像、制御部１０１により実行された処理結果を記憶する。
【００１９】
通信部１０３は、計測装置１００の外部と通信を行うために使用される。例えば、制御部１０１により実行された処理結果や、撮影部１１ｂにより撮影された画像などを外部サーバ（不図示）へ送信する。
【００２０】
＜ランダムドットパターン＞
続いて、図３（ａ）及び図３（ｂ）を参照して、本実施形態で使用するランダムドットパターンについて説明する。図３（ａ）は、本実施形態に係るランダムドットパターンの一例を示す図である。図３（ｂ）は、図３（ａ）のランダムドットパターン上に引いた直線上の各画素の画素番号と輝度値との関係を示すグラフである。
【００２１】
本実施形態に係るランダムドットパターンは、プロジェクタの投光角４５ｄｅｇ×４５ｄｅｇ（縦４５度及び横４５度）で５０００以上のドットを含むように形成された固定のパターンである。例えば、光源から照射した光を所定のパターンが形成されるように構成されたフィルタを通過させることで、ランダムドットパターンを形成することができる。なお、プロジェクタの投光角に対してドットの密度が同じであればプロジェクタの投光角は変更してもよい。このランダムドットパターンは、明部と暗部とのコントラスト比が、明部が１００に対して暗部が９以下であるランダムドットパターンである。明部と暗部とのコントラストが大きいほど、計測精度が向上する。コントラスト比とは、図３（ｂ）に示すように、最大輝度値３０１と最小輝度値３０２との比を示すものである。
【００２２】
また、明部、暗部の輝度値がカメラ側でそれぞれ２画素以上含まれるように構成するとテクスチャが高密度になるため計測精度をさらに向上させることができる。
【００２３】
＜画像例＞
本実施形態に係るランダムドットパターンを対象物（水分を含んだ果実・野菜、例えばトマト）に投影してステレオカメラ１１１で撮影したときの画像を、図４（ａ）に示す。また、図４（ｂ）は、図４（ａ）に対応するステレオ画像に基づいて生成されたカラー点群の画像（距離計測ができた部位を示す点群の画像）である。
【００２４】
水分を含んだ果実でも撮影したパターンを明確に判別できることが確認された。また、小花梗４０１に対して密にパターンを照射できており、直径Φ４ｍｍ程度の細い小花梗４０１に対しても精度よく計測を行うことができることが確認された。小花梗４０１とは、顕花植物において、単弁花と花序につながる茎の間を繋ぐ短い柄である。小花梗４０１を基準として、把持部１０により把持された対象物を回転させることにより、容易に収穫を行うことが可能となる。
【００２５】
一方、図５（ａ）は、明部と暗部とのコントラスト比が、明部が１００に対して暗部が９超であるランダムドットパターンを使用した場合の、ステレオカメラ１１１で撮影したときの画像である。また、図５（ｂ）は、図５（ａ）に対応するステレオ画像から生成されたカラー点群の画像（距離計測ができた部位を示す点群の画像）である。明部と暗部とのコントラストが小さいと、測距精度が低下し測距点群も減少する。
【００２６】
＜バンドパスフィルタ＞
なお、太陽光は広い波長帯で高強度であるため、レーザプロジェクタ１１０の波長（例えば８３０ｎｍ）付近のみを透過するバンドパスフィルタを、ステレオカメラ１１１のカメラレンズに装着させてもよい。光の強度は距離の二乗に反比例するので、遠いほど減衰して太陽光の影響を大きく受けてしまうが、トマトの収穫に使用するロボットの把持部１０としては、１００ｍｍ〜５００ｍｍの近距離で計測できればよい。そのため、バンドパスフィルタの装着により、太陽光の影響を十分に低減させることができる。これにより、屋外でも計測精度を向上させることができる。
【００２７】
＜その他の実施形態＞
また、各実施形態で説明された１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給され、該システム又は装置のコンピュータにおける１以上のプロセッサは、このプログラムを読み出して実行することができる。このような態様によっても本発明は実現可能である。
【００２８】
＜実施形態のまとめ＞
構成１．上記実施形態の計測装置（例えば１００）は、
明部と暗部とのコントラスト比が、前記明部が１００に対して前記暗部が９以下であるランダムドットパターンを対象物に投影する投影手段（例えば１１ａ）と、
前記ランダムドットパターンが投影された前記対象物を撮影する撮影手段（例えば１１ｂ）と、
前記撮影手段により撮影された撮影画像に基づいて前記対象物の位置姿勢を計測する計測手段（例えば１０１）と、
を備える。
【００２９】
これにより、水分を多く含んだ対象物でも位置姿勢を精度よく計測することが可能となる。
【００３０】
構成２．上記実施形態の計測装置（例えば１００）では、
前投影手段は、画角範囲にプロジェクタの投光角４５ｄｅｇ×４５ｄｅｇ（縦４５度及び横４５度）で５０００以上のドットを含む密度で前記ランダムドットパターンを前記対象物に投影する。
【００３１】
このように、所定の画角範囲に高密度のランダムドットパターンを投影することで、計測精度を向上させることができる。
【００３２】
構成３．上記実施形態の計測装置（例えば１００）では、
前記撮影手段は、ステレオカメラ（例えば１１１）及びカラーカメラ（例えば１１２）を含み、
前記計測手段は、前記ステレオカメラにより撮影されたステレオ画像と、前記カラーカメラにより撮影されたカラー画像とに基づいて、前記位置姿勢を計測する。
【００３３】
これにより、水分を多く含んだ対象物でも位置姿勢を精度よく計測することが可能となる。
【００３４】
構成４．上記実施形態の計測装置（例えば１００）では、
前記対象物はトマトである。
【００３５】
これにより、トマトでも位置姿勢を精度よく計測することが可能となる。
【００３６】
構成５．上記実施形態の把持システム（例えば１）は、
構成１乃至４の何れかに記載の計測装置（例えば１００）と、
前記位置姿勢に基づいて前記対象物を把持する把持手段（例えば１０）と、
を備える。
【００３７】
これにより、水分を多く含んだ対象物でも適切に把持することが可能となる。
【００３８】
構成６．上記実施形態の計測装置（例えば１００）の制御方法は、
明部と暗部とのコントラスト比が、前記明部が１００に対して前記暗部が９以下であるランダムドットパターンを投影する投影工程と、
前記ランダムドットパターンが投影された対象物を撮影する撮影工程と、
前記撮影工程により撮影された撮影画像に基づいて前記対象物の位置姿勢を算出する算出工程と、
を有する。
【００３９】
これにより、水分を多く含んだ対象物でも位置姿勢を精度よく計測することが可能となる。
【００４０】
構成７．上記実施形態のプログラムは、
コンピュータを、
コンピュータを、構成１乃至４の何れかに記載の計測装置として機能させるためのプログラムである。
【００４１】
これにより、計測装置の処理をコンピュータにより実現可能となる。
【００４２】
発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
【符号の説明】
【００４３】
１：把持システム、１０：把持部、１１：カメラ部、１１ａ：投影部、１１ｂ：撮影部、１０１：制御部、１１１：ステレオカメラ、１１２：カラーカメラ
【図１】
2020193945.tif 000003
【図２】
2020193945.tif 000004
【図３】
2020193945.tif 000005
【図４】
2020193945.tif 000006
【図５】
2020193945.tif 000007