(57)【要約】【課題】低コストで、Ｎ値の画像情報からＮ＋１値以上の投影画像の投影を可能にする。【解決手段】光を出射する発光部と、前記発光部から出射された光に対してＮ値の画像情報を付与する画像形成素子と、前記画像形成素子によって前記Ｎ値の画像情報を付与された光が入射され、入射された光を拡大して投影面に照射する投射光学系と、を備え、前記投射光学系は、前記画像形成素子により付与される前記Ｎ値の画像情報を、Ｎ＋１値以上の画像情報とした投影画像を前記投影面に照射する。【選択図】図５
2018009977.tif 000002
【特許請求の範囲】
【請求項１】
光を出射する発光部と、
前記発光部から出射された光に対してＮ値の画像情報を付与する画像形成素子と、
前記画像形成素子によって前記Ｎ値の画像情報を付与された光が入射され、入射された光を拡大して投影面に照射する投射光学系と、
を備え、
前記投射光学系は、前記画像形成素子により付与される前記Ｎ値の画像情報を、Ｎ＋１値以上の画像情報とした投影画像を前記投影面に照射する、
ことを特徴とするパターン照射装置。
【請求項２】
前記投射光学系は、前記画像形成素子によって付与される前記Ｎ値の画像情報の最小単位が解像しない解像度を有する投影レンズを備えている、
ことを特徴とする請求項１に記載のパターン照射装置。
【請求項３】
前記投射光学系は、前記画像形成素子によって付与される前記Ｎ値の画像情報が拡散するＰＳＦ（Point  Spread  Function）に設計されている投影レンズを備えている、
ことを特徴とする請求項１に記載のパターン照射装置。
【請求項４】
前記投影レンズの前記ＰＳＦは、前記画像形成素子によって付与される前記Ｎ値の画像情報のうち極値をＮ＋１個以上含む領域を透過した前記投影画像の輝度プロファイルの最大値と最小値との間に中間的な極値が複数存在するように設計される、
ことを特徴とする請求項３に記載のパターン照射装置。
【請求項５】
前記投影レンズの前記ＰＳＦは、前記画像形成素子によって付与される前記Ｎ値の画像情報のうち極値をＮ＋１個以上含む領域を透過した前記投影画像の輝度プロファイルの最大値と最小値とを基準に量子化したＮ＋１個の輝度グループのそれぞれに前記投影画像の輝度プロファイルの極値が存在するように設計される、
ことを特徴とする請求項３に記載のパターン照射装置。
【請求項６】
前記画像形成素子が前記発光部から出射された光に対して付与する前記Ｎ値の画像情報は、２値の画像情報である、
ことを特徴とする請求項１ないし５の何れか一項に記載のパターン照射装置。
【請求項７】
前記画像形成素子が前記発光部から出射された光に対して付与する前記２値の画像情報は、モザイク状の２値のランダムパターンである、
ことを特徴とする請求項６に記載のパターン照射装置。
【請求項８】
前記画像形成素子は、反射によって前記２値のランダムパターンを形成する、
ことを特徴とする請求項７に記載のパターン照射装置。
【請求項９】
前記画像形成素子は、透過によって前記２値のランダムパターンを形成する、
ことを特徴とする請求項７に記載のパターン照射装置。
【請求項１０】
前記画像形成素子は、前記２値の画像情報を、前記２値のランダムパターンに対して１つ以上の準周期関数を組み合わせた値により決定する、
ことを特徴とする請求項７ないし９の何れか一項に記載のパターン照射装置。
【請求項１１】
前記画像形成素子は、前記２値の画像情報を、前記２値のランダムパターンに対して１つ以上の準周期関数を組み合わせた値と乱数値とにより決定する、
ことを特徴とする請求項７ないし９の何れか一項に記載のパターン照射装置。
【請求項１２】
前記準周期関数は、下記式である、
【数１】
2018009977.tif 000006
ことを特徴とする請求項１０または１１に記載のパターン照射装置。
【請求項１３】
前記発光部は、光を出射する複数の光源を有する、
ことを特徴とする請求項１ないし１２の何れか一項に記載のパターン照射装置。
【請求項１４】
光を出射する発光部と、
前記発光部から出射された光に対して画像情報を付与する画像形成素子と、
前記画像形成素子によって前記画像情報を付与された光が入射され、入射された光を投影面に照射する投射光学系と、
を備え、
前記投射光学系は、前記画像形成素子によって付与される前記画像情報の最小単位が解像しない解像度を有する投影レンズを備えている、
ことを特徴とするパターン照射装置。
【請求項１５】
前記投影レンズは、少なくとも該投影レンズの中心付近において前記画像形成素子によって付与される前記画像情報の最小単位が解像しない解像度を有する、
ことを特徴とする請求項１４に記載のパターン照射装置。
【請求項１６】
前記画像形成素子は、前記投影面へ照射された光に付与された前記画像情報の一部に解像し得るパターンを設けている、
ことを特徴とする請求項１４または１５に記載のパターン照射装置。
【請求項１７】
前記画像形成素子は、前記画像情報の一部に設けられた前記パターンを、ラインの線幅を一端部から他端部に向けて変化させているラインチャートとする、
ことを特徴とする請求項１６に記載のパターン照射装置。
【請求項１８】
前記投射光学系の焦点位置の変更毎に、当該パターン照射装置から照射した前記画像情報に基づいて三次元情報を測定する三次元測定装置からフィードバックされた前記三次元情報について目標値を満たすか否かを判断し、前記目標値を満たす場合に、当該焦点位置を最適な焦点位置とする判断手段を備える、
ことを特徴とする請求項１４または１５に記載のパターン照射装置。
【請求項１９】
請求項１ないし１８の何れか一項に記載のパターン照射装置と、
前記パターン照射装置により光が照射された投影面までの距離を表す三次元データを生成する三次元測定装置と、
を備えることを特徴とする撮影システム。
【請求項２０】
対象物を移動させるロボットと、
前記対象物を投影面とする請求項１ないし１８の何れか一項に記載のパターン照射装置と、
前記パターン照射装置により光が照射された前記対象物までの距離を表す三次元データを生成する三次元測定装置と、
前記三次元測定装置で生成された前記三次元データを基に前記対象物を認識するとともに前記ロボットを制御する制御装置と、
を備えることを特徴とするハンドリングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン照射装置、撮影システムおよびハンドリングシステムに関する。
【背景技術】
【０００２】
従来、トレイに積載された対象物（ワーク）をロボットによってハンドリングして、対象物を次工程の装置へと搬送したり、対象物を用いて製品を組み立てたりするシステムが知られている。このようなシステムでは、三次元測定装置によりトレイ上の対象物の距離を測定し、測定結果に基づき対象物の位置および姿勢を認識してハンドリングする。
【０００３】
ところで、このようなシステムでは、ステレオカメラで撮影した左右の画像から対応点を見つけ、その２点の座標から三角測量で距離測定する手法が広く行われている。
【０００４】
しかし、特徴がない物体が対象物である場合、対応点を見つけるのはより困難となる。例えば、壁に模様があるような場合は、模様を特徴として捉えることで対応点を見つけられるが、均一色の壁の場合、特徴を捉えることが難しいものとなっている。
【０００５】
そこで、このようなシステムでは、パターン照射装置によりトレイ上の対象物に２値のランダムパターンの光を照射して強制的に模様をつけることで、三次元測定装置による距離測定の精度を向上させる技術が提案されている（例えば、特許文献１，２）。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、２値のランダムパターンの光を照射する場合、２値のランダムパターンでは表現できるパターンが少ないため、対応点として誤った点を検出してしまうことがあるという問題がある。例えば、３個の同じパターンＡを照射した場合、画像上からパターンＡを３個抽出することは可能だが、３個のパターンＡをそれぞれ区別することは難しく、誤対応問題が発生する。また、異なるパターンを投影した場合であっても、センサノイズや投影面の傾き、被写体の模様などの影響を受け、同じパターンを投影した場合と同様の誤対応問題が発生することもある。そこで、表現できるパターン数が多くなる３値以上のランダムパターンを投影することで、同一ないし類似のパターンが発生する確率を下げることが望まれている。
【０００７】
ところが、パターン照射装置の投影面調整や投影レンズの焦点位置調整によって、３値以上のランダムパターンを照射可能なパターン照射装置を製造することは、コスト面でのデメリットが多い。
【０００８】
本発明は、上記に鑑みてなされたものであって、低コストで、Ｎ値の画像情報からＮ＋１値以上の投影画像の投影を可能にすることを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明は、光を出射する発光部と、前記発光部から出射された光に対してＮ値の画像情報を付与する画像形成素子と、前記画像形成素子によって前記Ｎ値の画像情報を付与された光が入射され、入射された光を拡大して投影面に照射する投射光学系と、を備え、前記投射光学系は、前記画像形成素子により付与される前記Ｎ値の画像情報を、Ｎ＋１値以上の画像情報とした投影画像を前記投影面に照射する。
【００１０】
上述した課題を解決し、目的を達成するために、本発明は、光を出射する発光部と、前記発光部から出射された光に対して画像情報を付与する画像形成素子と、前記画像形成素子によって前記画像情報を付与された光が入射され、入射された光を投影面に照射する投射光学系と、を備え、前記投射光学系は、前記画像形成素子によって付与される前記画像情報の最小単位が解像しない解像度を有する投影レンズを備えている。
【発明の効果】
【００１１】
本発明によれば、低コストで、Ｎ値の画像情報からＮ＋１値以上の投影画像の投影を可能にすることができる、という効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、第１実施形態に係るハンドリングシステムを示す図である。
【図２】図２は、パターン照射装置の構成を示す図である。
【図３】図３は、画像形成素子により付与されるランダムパターンの一例を示す図である。
【図４】図４は、従来の投影レンズの機能を模式的に示す図である。
【図５】図５は、投影レンズの機能を模式的に示す図である。
【図６】図６は、従来の投影画像の輝度プロファイル例を示すグラフである。
【図７】図７は、投影画像の輝度プロファイル例を示すグラフである。
【図８】図８は、投影画像の一例を示す図である。
【図９】図９は、ハンドリングシステムにおける処理の流れを概略的に示すフローチャートである。
【図１０】図１０は、従来のランダムパターンを撮像した画像例を示す図である。
【図１１】図１１は、従来のランダムパターンを撮像した画像例を示す図である。
【図１２】図１２は、第２実施形態に係る画像形成素子により付与されるランダムパターンの一例を示す図である。
【図１３】図１３は、ランダムパターンの別の一例を示す図である。
【図１４】図１４は、ランダムパターンの別の一例を示す図である。
【図１５】図１５は、第３実施形態に係る画像形成素子の一部により付与される焦点位置調整用パターンの一例を示す図である。
【図１６】図１６は、第４実施形態に係るハンドリングシステムを示す図である。
【図１７】図１７は、ハンドリングシステムにおける処理の流れを概略的に示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照して、パターン照射装置、撮影システムおよびハンドリングシステムの実施の形態を詳細に説明する。
【００１４】
（第１実施形態）
はじめに、第１実施形態のハンドリングシステム１０の概略について説明する。図１は、第１実施形態に係るハンドリングシステム１０を示す図である。ハンドリングシステム１０は、対象物１１（ワーク）をハンドリングし、対象物１１を次工程の装置へと搬送したり、対象物１１を用いて製品を組み立てたりする。
【００１５】
ハンドリングシステム１０は、トレイ１２と、ロボット１３と、撮影システム１４と、制御装置１５と、を備える。トレイ１２は、少なくとも１つの対象物１１を積載する。撮影システム１４は、対象物１１の表面の各位置までの距離を表す三次元データを生成する。制御装置１５は、撮影システム１４からの三次元データを基に対象物１１を認識するとともにロボット１３を制御する。
【００１６】
ロボット１３は、制御装置１５からの指示に基づいてトレイ１２に積載された何れかの対象物１１に対してアームを移動させてハンドリングする。また、ロボット１３は、制御装置１５からの指示に基づいてハンドリングした対象物１１を指定された位置に移動させたり、指定された姿勢で保持したりする。ロボット１３は、例えば、爪を開閉して対象物１１を挟んでハンドリングする。なお、ロボット１３は、かかる構成に限定されるものではなく、対象物１１をハンドリングできる機構であれば良く、例えば電磁石やエアーによって吸着して取り出すロボットハンドであっても良い。また、対象物１１の開口部を検知して爪部を差し込んで把持する機構や、対象物１１の頂点を検知して吸着する機構であっても良い。
【００１７】
撮影システム１４は、パターン照射装置２０と、三次元測定装置２１と、を備える。パターン照射装置２０は、ＣＰＵ（Central  Processing  Unit）やＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）などにより構成される制御部を備える。パターン照射装置２０においては、ＣＰＵがＲＯＭのプログラムを所定手順で実行するなどして各種機能を実現する。パターン照射装置２０は、対象物１１が積載されたトレイ１２に対して、単色のＮ値の画像情報として２値のランダムパターンに基づく投影画像を照射する。これにより、トレイ１２に積載されたそれぞれの対象物１１の表面における露出した部分には、２値のランダムパターンに基づく投影画像が照射される。
【００１８】
三次元測定装置２１は、ＣＰＵやＲＯＭやＲＡＭなどにより構成される制御部を備える。三次元測定装置２１においては、ＣＰＵがＲＯＭのプログラムを所定手順で実行するなどして各種機能を実現する。三次元測定装置２１は、パターン照射装置２０により２値のランダムパターンに基づく投影画像が照射された状態において、トレイ１２に積載されたそれぞれの対象物１１の露出した表面の各位置までの距離を、ステレオカメラ等を用いて測定する。
【００１９】
制御装置１５は、認識装置２２と、ロボットコントローラ２３と、を備える。制御装置１５は、ＣＰＵやＲＯＭやＲＡＭなどにより構成されるプログラマブルコンピュータである。制御装置１５においては、ＣＰＵがＲＯＭのプログラムを所定手順で実行するなどして各種機能を実現する。認識装置２２は、三次元測定装置２１により測定されたそれぞれの対象物１１の表面の位置までの距離に基づき、それぞれの対象物１１の位置および姿勢を認識する。認識装置２２は、一例として、三次元モデルとのマッチング処理またはサーフェースマッチング処理等のマッチング処理を実行して、それぞれの対象物１１の位置および姿勢を認識する。さらに、認識装置２２は、輝度情報に基づきエッジ抽出等を行ってマッチング処理の補完をしてもよい。
【００２０】
ロボットコントローラ２３は、予め登録されている制御フローに従って、認識装置２２により認識されたそれぞれの対象物１１の位置および姿勢に基づきロボット１３の動作を制御する。そして、ロボットコントローラ２３は、トレイ１２上の指定された対象物１１をロボット１３にハンドリングさせる。
【００２１】
このようなハンドリングシステム１０において、パターン照射装置２０は、三次元測定装置２１による三次元測定の精度を向上させるような２値のランダムパターンに基づく投影画像を、トレイ１２上に積載されたそれぞれの対象物１１に照射する。このように２値のランダムパターンに基づく投影画像を照射するのは、以下の理由による。
【００２２】
三次元測定装置２１で用いられるステレオカメラでは、左右の画像から対応点を見つけ、その２点の座標から三角測量で距離計測する手法が広く行われている。高精度で高精細な測距画像を得るためには、より数多くの対応点を高い精度で見つけることが必要である。しかし、特徴がない物体が対象物１１である場合、対応点を見つけるのはより困難となる。例えば、壁に模様があるような場合は、模様を特徴として捉えることで対応点を見つけられるが、均一色の壁の場合、特徴を捉えることが難しいものとなっている。そのため、ハンドリングシステム１０によれば、２値のランダムパターンに基づく投影画像を照射して強制的に模様をつけることで、トレイ１２に積載されたそれぞれの対象物１１の位置および姿勢を精度良く認識し、精度良く対象物１１をハンドリングすることができるようにする。
【００２３】
図２は、パターン照射装置２０の構成を示す図である。図２では、鉛直方向をＺ方向として、Ｚ方向に垂直で紙面に垂直な方向をＹ方向、Ｚ方向とＹ方向とに垂直な方向をＸ方向とする。
【００２４】
パターン照射装置２０は、図２に示すように、発光部２００を備えている。発光部２００は、コヒーレント光である可視の単色レーザ光を発射する光源たるレーザダイオード２０１と、レーザダイオード２０１から射出された光Ｌを平行光束に偏向するカップリングレンズ２０２と、集光レンズ２０３と、を有している。
【００２５】
また、パターン照射装置２０は、図２に示すように、集光レンズ２０３の焦点近傍に配置された透過拡散板２０４と、透過拡散板２０４を透過した光Ｌを内部で反射することで輝度分布が均一になるように出射するライトトンネル２０５と、を有している。
【００２６】
また、パターン照射装置２０は、図２に示すように、光Ｌに２値のランダムパターンを付与するためにライトトンネル２０５の出射側に配置された画像形成素子２０６と、光Ｌを投射する投射光学系２０７と、を有している。
【００２７】
レーザダイオード２０１は、波長が４４０ｎｍ〜５００ｎｍの青色レーザ光を射出する発光ダイオードである。なお、本実施形態では青色レーザ光としたが、かかる構成に限定されるものではなく、異なる波長のレーザ光を用いても良いし、レーザ光以外の光を用いても良い。ただし、対象物１１である投影面における輝度の一様性を確保し、また投射光学系２０７における収差を抑えることを考えると、単色光がより望ましい。また、三次元測定装置２１が照射した光を検出できれば、レーザダイオード２０１は、可視光以外のレーザ光を出射してもよい。
【００２８】
集光レンズ２０３は、カップリングレンズ２０２によって平行光束として偏向された光Ｌを集光する。
【００２９】
透過拡散板２０４は、拡散角が半値全幅で５〜１０°程度に設定された拡散板であり、集光レンズ２０３によって焦点に集光された光Ｌを、モアレや照度分布を生じない程度に拡散する。
【００３０】
ライトトンネル２０５は、内部が中空の筒状の部材であり、内壁面には反射面２０５ａが形成されて光Ｌを繰り返し反射させることで、光Ｌの輝度分布を均一にしつつ、光Ｌを出射側たる＋Ａ方向に移送する伝送手段である。
【００３１】
なお、ここではライトトンネル２０５を中空の筒状であるとしたが、反射面２０５ａによって反射を繰り返しながら透過可能であれば、ガラス柱などの透過性部材を芯とする中実の部材であっても良い。
【００３２】
一般に、ライトトンネル２０５内における反射回数すなわち光Ｌが反射面２０５ａによって反射される回数が多いほど光Ｌの輝度分布は均一化される。一方で、光Ｌの強度は反射による減衰の影響で低下する。かかる反射回数は、ライトトンネル２０５の長さと、光Ｌの入射角によって変化する。
【００３３】
したがって、ライトトンネル２０５の長さは、伝送効率を保ちつつ輝度分布を均一化できる程度に必要最小限の長さにすることが望ましい。
【００３４】
また、ライトトンネル２０５を透過した光Ｌは、画像形成素子２０６に投射されて２値のランダムパターンを付与されるので、画像形成素子２０６以上の大きさを持つことが望ましい。すなわち、ライトトンネル２０５の出射側開口及び入射側開口の大きさは、画像形成素子２０６の大きさ以上であることが望ましい。さらに、ライトトンネル２０５の出射側開口が大きい場合には、光Ｌのうち、画像形成素子２０６に当たらない部分については無駄が生じてしまう。したがって、光Ｌの利用効率向上のためには、出射側開口は、組み付け精度を含めて画像形成素子２０６に光Ｌが当たる必要十分な大きさであることが望ましい。
【００３５】
ここで、図３は画像形成素子２０６により付与されるランダムパターンの一例を示す図である。図３に示すように、画像形成素子２０６は、構成単位としての多数のブロックからなるモザイク状の２値のランダムパターン（マスクパターン）をアルミやクロムなどの反射部材によって描画することで、入射した光Ｌに２値のランダムパターンを付与する。
【００３６】
画像形成素子２０６は、光Ｌの一部を透過、一部を遮光（あるいは減光）することによって、所望の２値のランダムパターンを形成する。
【００３７】
なお、本実施形態においては、反射によって２値のランダムパターンを形成する画像形成素子２０６を用いたが、液晶素子などのように、任意のセルの透過率を制御することで２値のランダムパターンを形成する透過型の画像形成素子を用いても良い。
【００３８】
画像形成素子２０６によって２値のランダムパターンを付与された光Ｌは、投射光学系２０７へと入射される。
【００３９】
投射光学系２０７は、画像形成素子２０６によって２値のランダムパターンを付与された光Ｌが入射される。より詳細には、本実施形態の投射光学系２０７は、画像形成素子２０６により付与される２値のランダムパターンを３値以上のランダムパターンとした投影画像を、対象物１１である投影面に照射する。
【００４０】
投射光学系２０７は、投影レンズ２０７ａを備えている。投影レンズ２０７ａは、画像形成素子２０６によって２値のランダムパターンを付与された光Ｌを、指定された倍率に拡大して対象物１１である投影面に照射する。
【００４１】
より詳細には、投影レンズ２０７ａは、画像形成素子２０６によって付与される２値のランダムパターンの最小単位が解像しない解像度を有する。なお、投影レンズ２０７ａの解像度は、少なくとも一部において２値のランダムパターンの最小単位が解像しない解像度を有していれば良いが、特に解像度の高い投影レンズ２０７ａの中心付近まで２値のランダムパターンの最小単位が解像しない解像度を有している方がより好ましい。なお、ここでいう最小単位とは、ランダムパターンを構成する構成単位としての各ブロックをいうものとする。
【００４２】
ここで、投影レンズ２０７ａについて説明する。
【００４３】
まず、従来の投影レンズについて説明する。ここで、図４は従来の投影レンズの機能を模式的に示す図である。図４（ａ）は画像形成素子２０６の一例を示し、図４（ｂ）は従来の投影レンズのＰＳＦ（点拡がり関数：Point  Spread  Function）を示し、図４（ｃ）は投影面に投影される投影画像を示すものである。従来においては、図４（ｃ）に示すように、投影面に投影される像は図４（ａ）の画像形成素子２０６と該等しいパターンである。このように、従来においては、画像形成素子２０６のランダムパターンが投影面上で解像するよう、すなわち、画像形成素子２０６のランダムパターンと投影パターンが極力一致するよう、図４（ｂ）に示すような理想値であるＰＳＦを持つ投影レンズが設計される。
【００４４】
次に、本実施形態の投影レンズ２０７ａについて説明する。ここで、図５は投影レンズ２０７ａの機能を模式的に示す図である。図５（ａ）は画像形成素子２０６の一例を示し、図５（ｂ）は投影レンズ２０７ａのＰＳＦを示し、図５（ｃ）は投影面に投影される投影画像を示すものである。図５（ｂ）に示すように、本実施形態の投影レンズ２０７ａのＰＳＦは、最適な焦点位置（最もピントの合った状態）において、画像形成素子２０６の２値のランダムパターンが投影時に解像しないように、すなわち画像形成素子２０６の２値のランダムパターンが拡散する（ボケる）ように設計されている。
【００４５】
ここで、図６は従来の投影画像の輝度プロファイル例を示すグラフである。図６に示すように、２値のランダムパターンのうち極値を３個以上含む領域を透過した投影画像（図４（c）において太枠で囲んだ部分）の輝度プロファイルにおいて、最大値と最小値とを基準に量子化した等間隔の３個の輝度グループを作る。ここでは、輝度の最大値が２５６、最小値が１なので、“輝度１−８５”をグループ１、“輝度８６−１７０”をグループ２、“輝度１７１−２５６”をグループ３とする。図６に示す輝度プロファイルによれば、従来においては、極値がグループ１とグループ３のみに存在している。
【００４６】
一方、図７は本実施形態の投影画像の輝度プロファイル例を示すグラフである。図７に示すように、画像形成素子２０６によって付与される２値のランダムパターンのうち極値を３個以上含む領域を透過した投影画像（図５（c）において太枠で囲んだ部分）の輝度プロファイルにおいて、最大値と最小値とを基準に量子化した等間隔の３個の輝度グループを作る。ここでは、輝度の最大値が２０５、最小値が２７なので、“輝度２７−８６”をグループ１、“輝度８７−１４６”をグループ２、“輝度１４７−２０５”をグループ３とする。図７に示す輝度プロファイルによれば、中間的な極値がグループ１，２，３のそれぞれに複数存在している（グループ２には、一つのみである）。
【００４７】
すなわち、投影レンズ２０７ａのＰＳＦは、画像形成素子２０６によって付与される２値のランダムパターンのうち極値を３個以上含む領域を透過した投影画像の輝度プロファイルの最大値と最小値との間に中間的な極値が複数存在するように設計される。
【００４８】
なお、投影レンズ２０７ａは、複数のレンズから成っても良い。この場合、複数のレンズすべてで形成されるＰＳＦが、画像形成素子２０６によって付与される２値のランダムパターンのうち極値を３個以上含む領域を透過した投影画像の輝度プロファイルの最大値と最小値との間に中間的な極値が複数存在するように設計される。
【００４９】
言い換えれば、投影レンズ２０７ａのＰＳＦは、画像形成素子２０６によって付与される２値のランダムパターンのうち極値を３個以上含む領域を透過した投影画像の輝度プロファイルの最大値と最小値とを基準に量子化した等間隔の３個の輝度グループのそれぞれに投影画像の輝度プロファイルの極値が存在するように設計される。
【００５０】
このようにして図５（ｃ）に示すように、ＰＳＦが畳み込みされることにより、図５（ａ）の画像形成素子２０６によって付与される２値のランダムパターンは、最適な焦点位置（最もピントの合った状態）において、３値以上のランダムパターンとなって、拡散した状態（ボケた状態）で投影面に投影される。
【００５１】
ここで、図８は投影画像の一例を示す図である。例えば図３に示す２値のランダムパターンを付与された光Ｌを、投射光学系２０７を介して対象物１１である投影面に照射した場合、図８に示すように、３値以上の輝度分布の模様の投影画像が表示される。
【００５２】
三次元測定装置２１は、一例として、ステレオカメラがそれぞれ撮影した画像を元にして、具体的には、擬似的に基線方向と水平方向とが一致した２枚の画像を比較することで、画像の水平方向の視差から、視差画像すなわち三次元データを生成する。そして、三次元測定装置２１は、視差画像に基づいて、対象物１１までの距離を算出する。言い換えると、画像形成素子２０６によって付与されたランダムパターンが投影された画像データから対象物１１までの距離を算出する。
【００５３】
次に、ハンドリングシステム１０における処理の流れについて簡単に説明する。ここで、図９はハンドリングシステム１０における処理の流れを概略的に示すフローチャートである。
【００５４】
図９に示すように、まず、撮影システム１４のパターン照射装置２０は、例えば図３に示す２値のランダムパターンを付与された光Ｌを対象物１１へ向けて照射する（ステップＳ１００）。
【００５５】
撮影システム１４の三次元測定装置２１は、トレイ１２上の画像をステレオカメラにて撮影する（ステップＳ１０１）。
【００５６】
次いで、三次元測定装置２１は、ステレオカメラにて撮影した画像のそれぞれのテクスチャ情報を用いて三次元情報（三次元データ）を取得する（ステップＳ１０２）。
【００５７】
なお、ここではステレオカメラを用いた三次元データ取得方法についてのみ述べたが、単眼カメラを用いた他の三次元データ取得技術、例えば位相シフト法を利用しても良い。
【００５８】
次いで、制御装置１５の認識装置２２は、ステップＳ１０２において形成された三次元画像の情報に基づいて、対象物１１を認識する（ステップＳ１０３）。
【００５９】
そして、制御装置１５のロボットコントローラ２３は、認識されたそれぞれの対象物１１の位置および姿勢に基づきロボット１３を動作させて対象物１１を取り出す（ステップＳ１０４）。
【００６０】
ハンドリングシステム１０は、ロボット１３が対象物１１を取り出すと、新しい対象物１１についてステップＳ１０１〜ステップＳ１０４までの工程を、全ての対象物１１を処理するまで繰り返し行う。
【００６１】
このように本実施形態によれば、パターン照射装置の投影面調整や投影レンズの焦点位置調整によらず、低コストで、Ｎ値の画像情報（ランダムパターン）からＮ＋１値以上の投影画像の投影を可能にすることができる。
【００６２】
なお、本実施形態においては、Ｎ値の画像情報として２値のランダムパターンを適用したが、これに限るものではなく、３値以上のランダムパターンを適用するものであっても良い。
【００６３】
（第２実施形態）
次に、第２実施形態について説明する。第２実施形態のハンドリングシステム１０は、パターン照射装置２０の画像形成素子２０６により付与されるマスクパターンとして、周期性とランダム性を兼ね備えたパターンを用いる点が、第１実施形態のハンドリングシステム１０と異なる。以下、第２実施形態の説明では、第１実施形態と同一部分の説明については省略し、第１実施形態と異なる箇所について説明する。
【００６４】
第１実施形態で説明したように、パターン照射装置２０の画像形成素子２０６により形成されるマスクパターンにおいては、ランダムな模様が有効であることが知られている。しかしながら、ランダムな模様が真に有効なのは、パターン照射装置２０と三次元測定装置２１との位置関係が固定されている場合のみである。
【００６５】
例えば、図１０は、パターン照射装置２０から対象物１１までの距離と三次元測定装置２１から対象物１１までの距離とが等しい場合、パターン照射装置２０により照射されたランダムパターンを三次元測定装置２１で撮像した画像例である。
【００６６】
一方、図１１は、パターン照射装置２０から対象物１１までの距離と三次元測定装置２１から対象物１１までの距離とが異なる場合、パターン照射装置２０により照射されたランダムパターンを三次元測定装置２１で撮像した画像例である。図１１に示す例では、三次元測定装置２１から対象物１１までの距離とパターン照射装置２０から対象物１１までの距離とが、２：３の関係に設定されている。
【００６７】
図１０および図１１に示されるように、パターン照射装置２０と三次元測定装置２１との位置関係が変化すると、ランダムパターンでは模様が単純に拡大されることになる（図１１においては、１．５倍に拡大）。このように三次元測定装置２１が対象物１１に近づいて測定条件が変化してランダムパターンが拡大されてしまうと、三次元測定装置２１における測定誤差が発生する。より詳細には、三次元測定装置２１が備えるステレオカメラの場合、所望の視差探索範囲で類似のパターンが複数見つかることによる誤マッチングが発生してしまう。
【００６８】
そのため、ランダムパターンとしては、拡大・縮小しても唯一性を維持できる模様として、周期性とランダム性を兼ね備えた模様が有効である。
【００６９】
そこで、本実施形態においては、パターン照射装置２０の画像形成素子２０６により付与されるマスクパターンとして、周期性とランダム性を兼ね備えたパターン（例えば、準周期関数、準周期関数に乱数値を追加したもの）を用いるようにしたものである。
【００７０】
ここで、図１２は第２実施形態に係る画像形成素子２０６により付与されるランダムパターンの一例を示す図である。図１２に示すように、第２実施形態にかかる画像形成素子２０６により付与されるランダムパターンは、下記式の準周期関数に基づき、ｆ（ｘ,ｙ）＞０ならば白、ｆ（ｘ,ｙ）＜＝０ならば黒として決定される。
【数１】
2018009977.tif 000003
【００７１】
図１２に示すランダムパターンは、下記式に示されるように、数１において、ｎ＝５とした場合のパターンである。
【数２】
2018009977.tif 000004
【００７２】
また、図１３はランダムパターンの別の一例を示す図である。図１３に示す例では、２つの準周期関数を組み合わせた値により画像形成素子２０６により付与されるランダムパターンが決定されている。図１３に示すランダムパターンは、下記式に示されるように、数１において、ｎ＝５のパターンとｎ＝７のパターンを組み合わせたものである。
【数３】
2018009977.tif 000005
【００７３】
さらに、図１４はランダムパターンの別の一例を示す図である。図１４に示す例では、図１３で示した２つの準周期関数を組み合わせた値に対して乱数値を追加することにより画像形成素子２０６により付与されるランダムパターンが決定されている。
【００７４】
このように本実施形態によれば、三次元測定装置２１（ステレオカメラ等）とパターン照射装置２０（投影装置）との位置関係が変わってパターンが拡大されたとしても、所望の測定条件が変わりにくい（ステレオカメラの場合、所望の視差探索範囲で類似のパターンがみつかりにくい）ので、測定誤差が発生しにくくなる。
【００７５】
なお、準周期関数、準周期関数に乱数値を追加したものは、Ｎ値の画像情報からＮ＋１値以上の投影画像の投影を行う場合に限らず、Ｎ値の画像情報からＮ値の投影画像の投影を行う場合にも有効である。
【００７６】
なお、本実施形態においては、Ｎ値の画像情報として２値のランダムパターンを適用したが、これに限るものではなく、３値以上のランダムパターンを適用するものであっても良い。
【００７７】
（第３実施形態）
次に、第３実施形態について説明する。第３実施形態のハンドリングシステム１０は、パターン照射装置２０の画像形成素子２０６の一部に、投影時にボケなく解像し得るパターン（例えば、ラインチャート）を設ける点が、第１実施形態のハンドリングシステム１０と異なる。以下、第３実施形態の説明では、第１実施形態と同一部分の説明については省略し、第１実施形態と異なる箇所について説明する。
【００７８】
第１実施形態で説明したように、パターン照射装置２０の投射光学系２０７が備える投影レンズ２０７ａのＰＳＦは、画像形成素子２０６の２値のランダムパターンが投影時に解像しないように、すなわち画像形成素子２０６の２値のランダムパターンが拡散する（ボケる）ように設計されている。
【００７９】
ところで、パターン照射装置２０（投影装置）は、対象物１１と三次元測定装置２１とに対して様々な距離に設置可能であるため、焦点位置を最適な位置に設定する必要がある。しかしながら、マスクパターンがどの焦点位置でもボケた状態で投影されるため、設置距離によって投影倍率が変わるパターン照射装置２０では、最適な焦点位置を調整することが困難となっている。
【００８０】
そこで、本実施形態においては、パターン照射装置２０の画像形成素子２０６の一部に、投影時にボケなく解像し得るパターン（例えば、ラインチャート）を設け、得られた輝度情報を用いて焦点位置を調整するようにしたものである。
【００８１】
ここで、図１５は第３実施形態に係る画像形成素子２０６の一部により付与される焦点位置調整用パターンの一例を示す図である。
【００８２】
なお、本実施形態においては、パターン照射装置２０の投射光学系２０７の設計として焦点位置が最適な位置（ピントが合っている位置）で目的のボケを生じるように設計していることが前提となっている。
【００８３】
図１５に示すように、パターン照射装置２０の画像形成素子２０６により付与されるマスクパターンの一部（焦点位置調整用パターン）が、ラインチャートとなっている。特に、図１５に示すように、付与されるラインチャートは、ラインの線幅を一端部から他端部に向けて変化させている。このようにラインの線幅を一端部から他端部に向けて変化させることで、ラインの位置によって白黒の間隔を変えることができる。これにより、パターン照射装置２０を対象物１１と三次元測定装置２１とに対して様々な距離に設置して投影倍率が変わる場合であっても、パターン照射装置２０は、輝度情報から得られる最適な線幅で焦点位置を調整することが可能になる。
【００８４】
なお、焦点位置の調整は、投影されたマスクパターンの一部（焦点位置調整用パターン）であるラインチャートを目視で確認しながら官能的に調整してもよいし、カメラなどの撮影モジュールを用いて白黒の輝度の傾きがもっとも大きくなるように調整してもよい。
【００８５】
このように本実施形態によれば、投影時にボケなく解像し得る焦点位置調整用パターン（例えば、ラインチャート）を見ながら（あるいは、測定しながら）、最適な焦点位置の調整ができるので、簡易に、最適な焦点位置の調整における所望のボケたパターンの投影を行うことができる。
【００８６】
（第４実施形態）
次に、第４実施形態について説明する。第４実施形態のハンドリングシステム１０のパターン照射装置２０は、三次元測定装置２１で取得してフィードバックされた三次元データ（三次元情報）を用いて、最適な焦点位置を決定する点が、第１実施形態のハンドリングシステム１０と異なる。以下、第４実施形態の説明では、第１実施形態と同一部分の説明については省略し、第１実施形態と異なる箇所について説明する。
【００８７】
第１実施形態で説明したように、パターン照射装置２０の投射光学系２０７が備える投影レンズ２０７ａのＰＳＦは、画像形成素子２０６の２値のランダムパターンが投影時に解像しないように、すなわち画像形成素子２０６の２値のランダムパターンが拡散する（ボケる）ように設計されている。
【００８８】
ところで、パターン照射装置２０（投影装置）は、対象物１１と三次元測定装置２１とに対して様々な距離に設置可能であるため、焦点位置を最適な位置に設定する必要がある。しかしながら、マスクパターンがどの焦点位置でもボケた状態で投影されるため、設置距離によって投影倍率が変わるパターン照射装置２０では、最適な焦点位置を調整することが困難となっている。
【００８９】
そこで、本実施形態においては、パターン照射装置２０は、三次元測定装置２１で取得してフィードバックされた三次元データ（三次元情報）を用いて、最適な焦点位置を決定するようにしたものである。
【００９０】
ここで、図１６は第４実施形態に係るハンドリングシステム１０を示す図である。本実施形態のハンドリングシステム１０のパターン照射装置２０は、判断手段２４を備える。判断手段２４は、三次元測定装置２１で取得してフィードバックされた三次元データ（三次元情報）を用いて、最適な焦点位置を決定する。なお、判断手段２４は、ＣＰＵがＲＯＭのプログラムを所定手順で実行するなどして実現される。
【００９１】
図１７は、ハンドリングシステム１０における処理の流れを概略的に示すフローチャートである。図１７に示すように、まず、撮影システム１４のパターン照射装置２０は、投射光学系２０７の焦点位置を変更し、例えば図３に示す２値のランダムパターンを付与された光Ｌを対象物１１へ向けて照射する（ステップＳ１１０）。
【００９２】
撮影システム１４の三次元測定装置２１は、トレイ１２上の画像をステレオカメラにて撮影する（ステップＳ１０１）。
【００９３】
次いで、三次元測定装置２１は、ステレオカメラにて撮影した画像のそれぞれのテクスチャ情報を用いて三次元情報（三次元データ）を取得する（ステップＳ１０２）。
【００９４】
また、三次元測定装置２１は、三次元情報（三次元データ）をパターン照射装置２０に対してフィードバックする（ステップＳ１１１）。
【００９５】
パターン照射装置２０の判断手段２４は、三次元測定装置２１からフィードバックされた三次元情報（三次元データ）について、設定した目標値（取得した画像内の全画素に対する三次元データが取得されている画素の割合（密度）、平らな対象物１１の三次元情報（三次元データ）を取得した際の対象物１１の表面の距離のばらつき等）を満たすか否かを判断する（ステップＳ１１２）。
【００９６】
三次元情報（三次元データ）について、設定した目標値を満たさないと判断した場合（ステップＳ１１２のＮｏ）、パターン照射装置２０は、ステップＳ１１０に戻り、焦点位置を変更して対象物１１へ向けて２値のランダムパターンを付与された光Ｌを照射する（ステップＳ１１０）。
【００９７】
一方、パターン照射装置２０は、三次元情報（三次元データ）について、設定した目標値を満たすと判断した場合（ステップＳ１１２のＹｅｓ）、最適な焦点位置であるとする。その後、三次元測定装置２１は、三次元情報（三次元データ）を制御装置１５の認識装置２２に渡す（ステップＳ１１３）。
【００９８】
制御装置１５の認識装置２２は、ステップＳ１０２において形成された三次元画像の情報に基づいて、対象物１１を認識する（ステップＳ１０３）。
【００９９】
そして、制御装置１５のロボットコントローラ２３は、認識されたそれぞれの対象物１１の位置および姿勢に基づきロボット１３を動作させて対象物１１を取り出す（ステップＳ１０４）。
【０１００】
例えば、パターン照射装置２０は、各画素の三次元情報（三次元データ）が取得されているかについて、密度を評価対象としてもよい。また、パターン照射装置２０は、フラットな意匠ワークを用いることで、三次元情報（三次元データ）の密度、三次元情報（三次元データ）のばらつきを評価対象とすることもできる。
【０１０１】
このように本実施形態によれば、第３実施形態のように測定に用いるマスクパターン以外の別パターンを用いる必要が無いので、測定に用いるマスクパターンを犠牲にせず、最適な焦点位置の調整における所望のボケたパターンの投影を行うことができる。
【０１０２】
以上、本発明の実施形態を説明したが、実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能である。
【符号の説明】
【０１０３】
１０      ハンドリングシステム
１１      対象物
１３      ロボット
１４      撮影システム
１５      制御装置
２０      パターン照射装置
２１      三次元測定装置
２００    発光部
２０１    光源
２０６    画像形成素子
２０７    投射光学系
２０７ａ  投影レンズ
【先行技術文献】
【特許文献】
【０１０４】
【特許文献１】特開２００１−１４７１１０号公報
【特許文献２】特開２００５−０４３２３３号公報
【図１】
2018009977.tif 000007
【図２】
2018009977.tif 000008
【図３】
2018009977.tif 000009
【図４】
2018009977.tif 000010
【図５】
2018009977.tif 000011
【図６】
2018009977.tif 000012
【図７】
2018009977.tif 000013
【図８】
2018009977.tif 000014
【図９】
2018009977.tif 000015
【図１０】
2018009977.tif 000016
【図１１】
2018009977.tif 000017
【図１２】
2018009977.tif 000018
【図１３】
2018009977.tif 000019
【図１４】
2018009977.tif 000020
【図１５】
2018009977.tif 000021
【図１６】
2018009977.tif 000022
【図１７】
2018009977.tif 000023