【手続補正書】
【提出日】平成29年7月19日(2017.7.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
図２に示すように、視覚センサ10を対象物1が撮像できる位置に固定設置し、対象物1は作業台2に載置する。視覚センサ10は、濃淡画像やカラー画像を撮像するカメラでも、距離画像や3次元点群を取得できるステレオカメラや3次元センサでもよい。3次元点群は対象物の輪郭線上のものでも、対象物の面上のものでもよい。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
図１は、視覚センサ制御装置に設けられる画像処理装置の構成を示すブロック図である。
図１に示すように、画像処理装置21は、画像処理部22、モデルパターン記憶部26および検出結果記憶部27を有する。画像処理装置21には、視覚センサ10、操作盤31、表示装置32等が接続される。画像処理部22は、対象物検出部23、対応点選択部24およびモデルパターン修正部25を含む。モデルパターン記憶部26は、教示されたモデルパターンを記憶する。検出結果記憶部27は、教示されたモデルパターンを使用して入力データから対象物を検出した検出結果を記憶する。画像処理装置21に含まれる各部分は、CPU、ROM、RAM等を有するコンピュータ上でソフトウェアにより実現される。後述する第１乃至第３実施形態は、ソフトウェアにより実現される処理内容が異なる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
視覚センサ10は、画像処理装置21に通信ケーブルで接続されている。視覚センサ10は、撮像した画像データを画像処理装置21に供給する。操作盤31は、画像処理装置21に通信ケーブルで接続されている。操作盤31は、画像処理装置21で対象物1を検出するために必要な視覚センサ10の設定を行うのに使用される。表示装置32は、画像処理装置21に通信ケーブルで接続されている。表示装置32には視覚センサ10で撮像した画像や操作盤31で設定する設定内容が表示される。なお、視覚センサ10、操作盤31および表示装置32は画像処理装置21と一体になっていてもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
本実施形態におけるモデルパターンは複数の特徴点から構成される。特徴点としては様々な物が使用できるが、本実施形態ではエッジ点を特徴点として用いる。エッジ点は、画像中で輝度勾配が大きな点であり、対象物1の輪郭形状を取得するために使用できる。エッジ点を抽出する方法は非特許文献１などに記載されており、周知であるのでここでは説明を省略する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
ステップS106で、求めた統計量（平均誤差ベクトルV_i）に基づいて、モデルパターンの第１の特徴点P_iを修正する。具体的には、図１５に示すように、特徴点P_iの位置t_Piを、t_Piに平均誤差ベクトルV_iを加算した値t_Pi+V_iで書き換えればよい。これにより、モデルパターンの特徴点P_i（i=1〜NP）が形作る形状が、画像I_j（j=1〜NI）に写ったNT個の像T_jg（j=1〜NI、g=1〜NT_j）の平均的な形状となる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
モデルパターンをこのように修正することにより、以下の効果がある。
１．ある対象物を撮像した画像から作成したモデルパターンは、対象物のある個体の形状を反映したものであるため、全ての個体に対して最適なものではない。この方法を使うことで、対象物の平均的な形状をモデルパターンとすることができる。更に対象物の個体による形状の違いだけでなく、対象物の置かれた位置やカメラの位置の違いにより、対象物の見え方が異なる場合がある。このような見え方の違いも含めてモデルパターンを平均化することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
２．対象物の形状を表すCADデータから作成したモデルパターンは、対象物の理想的な形状であるが、製造誤差により、寸法通りに作られるわけでない。また、ＣＡＤデータの座標系で表現されたモデルパターンを画像の座標系に変換する際にも、誤差が発生しうる。このようなモデルパターンを実際に検出する対象物の形状に合わせて最適化することができる。モデルパターンの輪郭線を線分、矩形、円形などの図形を組み合わせて直接教示した場合も同様である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
この処理は基本的には第１実施形態のS104の処理と同じであるが、第１の特徴点P_iに対する対応点ではなく、特徴点候補C_hに対する対応点を選択する点が異なる。その特徴点候補C_hを追加する際に使用した対象物の像T_jgに対しては対応点を選択する必要はないので、NO_hはNT−１以下の値になる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
これまでの処理により、モデルパターン座標系から見て位置姿勢が同じ点が、それぞれ別の特徴点候補として追加されている。ステップS310では、特徴点候補C_h（h=1〜NC）の中から、重複している点を削除する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
１．第１の特徴点P_iと対応点O_imの距離d_imの標準偏差を計算する。距離d_im（m=1〜NO_i）が正規分布に従ってばらつくと仮定すると、距離d_imの標準偏差σdは公知の手法で計算できる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１１９
【補正方法】変更
【補正の内容】
【０１１９】
（イ）輝度勾配の大きさの平均μαと標準偏差σαを用いて、輝度勾配の大きさがμα−2σαからμ＋2σαまでの第２の特徴点のみを許容するようにする。
（ウ）輝度勾配の大きさの確率分布p(x)を用いて、ある輝度勾配の大きさを取り得る確率が一定の値以上であるかを判定指標にする。ある輝度勾配の大きさを取り得る確率が、ある閾値p_minより大きければ許容するようにする。この場合には、正規混合分布を規定するパラメータπb、μαb、σαb(b=1〜NB)と閾値p_minとを判定指標の中に保持することになる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１４１
【補正方法】変更
【補正の内容】
【０１４１】
第１乃至第３実施形態において、最初にモデルパターンを作成した後、入力画像の指定および対象物の検出は、たとえば、図３に示したロボット装置の検出動作で行う。これにより、最初に設定したモデルパターンを、実際の動作で得られた画像に基づいて修正していくことができる。この場合、モデルパターンを設定した後の所定回数までは、対象物の検出におけるマッチングの範囲を広くし、ある程度広い誤差範囲の対象物を対象物と判定する。この所定回数の処理が行われるにモデルパターンの修正が行われ、モデルパターンは、より実際の対象物に適したものに修正される。そして、所定回数経過後は、修正されたモデルパターンに基づいて、マッチングの範囲を狭くするなどして正しい判定が行われる確率を高くすることなどが可能である。もちろん、対象物の実際の状況に応じて逆にマッチングの範囲を広くする場合もあり得る。
【手続補正１３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物の形状を表す複数の第１の特徴点の集合であるモデルパターンに基づいて、視覚センサで撮像した入力データ中に前記対象物の像を検出する画像処理装置であって、
対象物が撮像された一乃至複数の入力データのそれぞれについて、該入力データから抽出した複数の第２の特徴点と、前記モデルパターンを構成する複数の第１の特徴点とのマッチングを行って前記対象物の一乃至複数の像を検出する対象物検出部と、
前記一乃至複数の入力データから検出した一乃至複数の対象物の像のそれぞれについて、該像を構成する複数の第２の特徴点から前記モデルパターンを構成する前記複数の第１の特徴点に対応する第２の特徴点を選択し、該第２の特徴点を対応点として該第１の特徴点に関連付けて記憶する対応点選択部と、
前記モデルパターンを構成する複数の第１の特徴点のそれぞれについて、該第１の特徴点に関連づけられた前記複数の対応点の所定の物理量の統計量を算出し、算出した前記所定の物理量の統計量に基づいて該第１の特徴点を修正するモデルパターン修正部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記対応点選択部は、
前記モデルパターンを構成する複数の第１の特徴点のそれぞれについて、前記第１の特徴点に関連づけられた前記複数の対応点の所定の物理量の統計量に基づいて、前記対応点選択における対応／不対応を判定するための判定指標を求め、該判定指標を該第１の特徴点に関連付けて記憶し、
前記モデルパターンを構成する複数の第１の特徴点のそれぞれについて、前記入力データから抽出された前記第２の特徴点の前記所定の物理量と、該第１の特徴点に関連付けられた前記判定指標とに基づいて、該第１の特徴点と該第２の特徴点が一致しているか否かを判断する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対応点選択部は、
前記検出した一乃至複数の対象物の像のそれぞれについて、該像を構成する複数の第２の特徴点のうち前記モデルパターンを構成する第１の特徴点のいずれとも対応しない一乃至複数の第２の特徴点を特徴点候補として記憶し、
記憶した前記一乃至複数の特徴点候補に対応する第２の特徴点を選択すると共に、該第２の特徴点を対応点として該特徴点候補に関連付けて記憶し、
前記モデルパターン修正部はさらに、記憶された前記一乃至複数の特徴点候補のそれぞれについて、該特徴点候補に関連づけられた複数の対応点の所定の物理量の統計量を算出すると共に、該所定の物理量の統計量に基づいて前記モデルパターンに該特徴点候補を第１の特徴点として追加する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
対象物の形状を表す複数の第１の特徴点の集合であるモデルパターンを使用して、入力データ中に前記対象物の像を検出する画像処理装置であって、
対象物が撮像された一乃至複数の入力データのそれぞれについて、該入力データから抽出した複数の第２の特徴点と、前記モデルパターンを構成する複数の第１の特徴点とのマッチングを行って前記対象物の一乃至複数の像を検出する対象物検出部と、
前記一乃至複数の入力データから検出した一乃至複数の対象物の像のそれぞれについて、該像を構成する複数の第２の特徴点から前記モデルパターンを構成する前記複数の第１の特徴点に対応する第２の特徴点を選択し、該第２の特徴点を対応点として該第１の特徴点に関連付けて記憶すると共に、前記モデルパターンを構成する複数の第１の特徴点毎に、前記対応点の所定の物理量について所定の統計量を算出すると共に、算出された前記所定の統計量に基づいて、前記マッチングにおける一致／不一致を判定するための判定指標を求め、該判定指標を該第１の特徴点に関連付けて記憶する対応点選択部と、
を備え、
前記対象物検出部はさらに、前記モデルパターンを構成する複数の第１の特徴点のそれぞれについて、前記入力データから抽出された前記第２の特徴点の前記所定の物理量と、該第１の特徴点に関連付けられた前記判定指標とに基づいて、該第１の特徴点と該第２の特徴点が一致しているか否かを判断する
ことを特徴とする画像処理装置。
【請求項５】
前記記憶される判定指標は、前記算出された所定の統計量を含むことを特徴とする、請求項２または４に記載の画像処理装置。
【請求項６】
前記視覚センサはカメラであり、前記入力データは濃淡画像またはカラー画像であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記視覚センサは３次元センサであり、前記入力データは距離画像または３次元点群（ポイントクラウド）であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項８】
前記対応点選択部は、前記一乃至複数の対象物の像から妥当でない対象物の像を除外し、妥当な対象物の像からのみ対応点を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記モデルパターン修正部は、第１の特徴点に関連づけられた前記複数の対応点から妥当でない対応点を除外し、妥当な対応点のみを使用して前記所定の物理量の統計量を計算することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
対象物の形状を表す複数の第１の特徴点の集合であるモデルパターンに基づいて、視覚センサで撮像した入力データ中に前記対象物の像を検出する画像処理方法であって、
対象物が撮像された一乃至複数の入力データのそれぞれについて、該入力データから抽出した複数の第２の特徴点と、前記モデルパターンを構成する複数の第１の特徴点とのマッチングを行って前記対象物の一乃至複数の像を検出する第１ステップと、
前記一乃至複数の入力データから検出した一乃至複数の対象物の像のそれぞれについて、該像を構成する複数の第２の特徴点から前記モデルパターンを構成する前記複数の第１の特徴点に対応する第２の特徴点を選択し、該第２の特徴点を対応点として該第１の特徴点に関連付けて記憶する第２ステップと、
前記モデルパターンを構成する複数の第１の特徴点のそれぞれについて、該第１の特徴点に関連づけられた前記複数の対応点の所定の物理量の統計量を算出し、算出した前記所定の物理量の統計量に基づいて該第１の特徴点を修正する第３ステップと、
を備えることを特徴とする画像処理方法。
【請求項１１】
前記第２ステップと前記第３ステップの間に、
前記モデルパターンを構成する複数の第１の特徴点のそれぞれについて、該第１の特徴点に関連づけられた前記複数の対応点から妥当でない対応点を除外するステップを備えることを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記第１ステップと前記第２ステップの間に、
前記検出した一乃至複数の対象物の像から、妥当でない対象物の像を除外するステップを備えることを特徴とする請求項１０に記載の画像処理方法。