(57)【要約】【課題】作業者の作業を軽減することが可能な画像処理パラメータの決定方法、画像処理装置、及びロボットシステムを提供する。【解決手段】複数の画像処理パラメータを生成し、第１画像に対して所望の検出位置又は検出領域を指定し、複数の画像処理パラメータのうち少なくとも一つの画像処理パラメータに基づいて画像処理された第２画像、及び画像処理に適用された少なくとも一つの画像処理パラメータを表示し、所望の検出位置又は検出領域に最も近い検出部の画像処理パラメータを決定する。【選択図】図４
2020198020.tif 000002
【特許請求の範囲】
【請求項１】
計測対象物を撮像して得られる第１画像に対して複数のパラメータの組み合わせである画像処理パラメータに基づいて画像処理を行う画像処理パラメータの決定方法であって、
複数の画像処理パラメータを生成し、
前記第１画像に対して所望の検出位置又は検出領域を指定し、
前記複数の画像処理パラメータのうち少なくとも一つの画像処理パラメータに基づいて画像処理された第２画像、及び前記画像処理に適用された前記少なくとも一つの画像処理パラメータを表示し、
前記所望の検出位置又は検出領域に最も近い検出部の画像処理パラメータを決定することを特徴とする画像処理パラメータの決定方法。
【請求項２】
請求項１に記載の画像処理パラメータの決定方法であって、
前記画像処理の処理結果に基づいてスコアを表示することを特徴とする画像処理パラメータの決定方法。
【請求項３】
請求項１又は請求項２に記載の画像処理パラメータの決定方法であって、
前記所望の検出位置又は検出領域を中心とした距離の入力を受け付け、前記入力によって得られた取得領域の画像処理を行うことを特徴とする画像処理パラメータの決定方法。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の画像処理パラメータの決定方法であって、
前記画像処理に基づいて検出された検出部のいずれかを選択することで、前記検出部の画像処理に使用されたパラメータを表示することを特徴とする画像処理パラメータの決定方法。
【請求項５】
計測対象物を撮像して得られる第１画像に対して複数のパラメータの組み合わせである画像処理パラメータに基づいて画像処理を行う画像処理装置であって、
複数の画像処理パラメータを生成し、
前記第１画像に対して所望の検出位置又は検出領域を指定し、
前記複数の画像処理パラメータのうち少なくとも一つの画像処理パラメータに基づいて画像処理された第２画像、及び前記画像処理に適用された前記少なくとも一つの画像処理パラメータを表示し、
前記所望の検出位置又は検出領域に最も近い検出部の画像処理パラメータを決定することを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置と、
ロボットアームを有するロボットと、
計測対象物を撮像する撮像部と、
を備えたことを特徴とするロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理パラメータの決定方法、画像処理装置、及びロボットシステムに関する。
【背景技術】
【０００２】
画像処理は、ロボットシステムにおいて位置決めや検査用途のために使用されている。画像処理は、対象物の形状などが様々な条件であっても対応できるよう、複数種類のパラメータを使うことで汎用性を持たせており、対象物に対してそのパラメータを設定することで最適化が行われる。これらのパラメータの設定は、人偽的に行われている。例えば、特許文献１には、被写体を撮像して得られる計測画像に対して、予め設定されたモデル画像に基づくマッチング処理をおこなうことにより、パラメータの設定を行う方法が開示されている。また特許文献２には、あらかじめ複数の処理パラメータを準備し、そのパラメータの中から所望の結果が得られるパラメータの組み合わせを見つける方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−６５３５４号公報
【特許文献２】特開２０１０−１９１９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、一般的に画像処理に最適なパラメータを設定するためには、高度なノウハウが必要であると共に難易度が高く、抽出したい特徴点や領域に対し、最適化されたパラメータを決定するのに時間がかかるという課題がある。また、環境変動などで最終的に作業者がパラメータを微調整しようとしたとき、どのパラメータが画像処理に影響を及ぼしているかわかりづらいという課題がある。
【課題を解決するための手段】
【０００５】
本願の画像処理パラメータの決定方法は、計測対象物を撮像して得られる第１画像に対して複数のパラメータの組み合わせである画像処理パラメータに基づいて画像処理を行う画像処理パラメータの決定方法であって、複数の画像処理パラメータを生成し、前記第１画像に対して所望の検出位置又は検出領域を指定し、前記複数の画像処理パラメータのうち少なくとも一つの画像処理パラメータに基づいて画像処理された第２画像、及び前記画像処理に適用された前記少なくとも一つの画像処理パラメータを表示し、前記所望の検出位置又は検出領域に最も近い検出部の画像処理パラメータを決定することを特徴とする。
【０００６】
上記の画像処理パラメータの決定方法において、前記画像処理の処理結果に基づいてスコアを表示することが好ましい。
【０００７】
上記の画像処理パラメータの決定方法において、前記所望の検出位置又は検出領域を中心とした距離の入力を受け付け、前記入力によって得られた取得領域の画像処理を行うことが好ましい。
【０００８】
上記の画像処理パラメータの決定方法において、前記画像処理に基づいて検出された検出部のいずれかを選択することで、前記検出部の画像処理に使用されたパラメータを表示することが好ましい。
【０００９】
本願の画像処理装置は、計測対象物を撮像して得られる第１画像に対して複数のパラメータの組み合わせである画像処理パラメータに基づいて画像処理を行う画像処理装置であって、複数の画像処理パラメータを生成し、前記第１画像に対して所望の検出位置又は検出領域を指定し、前記複数の画像処理パラメータのうち少なくとも一つの画像処理パラメータに基づいて画像処理された第２画像、及び前記画像処理に適用された前記少なくとも一つの画像処理パラメータを表示し、前記所望の検出位置又は検出領域に最も近い検出部の画像処理パラメータを決定することを特徴とする。
【００１０】
本願のロボットシステムは、上記に記載の画像処理装置と、ロボットアームを有するロボットと、計測対象物を撮像する撮像部と、を備えたことを特徴とする。
【図面の簡単な説明】
【００１１】
【図１】本発明のロボットシステムの構成を示す斜視図。
【図２】ロボットシステムの構成を示すブロック図。
【図３】画像処理装置の構成を示すブロック図。
【図４】画像処理パラメータの決定方法を示すフローチャート。
【図５Ａ】画像処理パラメータの決定方法の一部を説明する図。
【図５Ｂ】画像処理パラメータの決定方法を説明する図。
【図５Ｃ】画像処理パラメータの決定方法を説明する図。
【図５Ｄ】画像処理パラメータの決定方法を説明する図。
【図５Ｅ】画像処理パラメータの決定方法を説明する図。
【図５Ｆ】画像処理パラメータの決定方法を説明する図。
【図５Ｇ】画像処理パラメータの決定方法を説明する図。
【図６Ａ】画像処理パラメータの決定方法を説明する図。
【図６Ｂ】画像処理パラメータの決定方法を説明する図。
【図６Ｃ】画像処理パラメータの決定方法を説明する図。
【図６Ｄ】画像処理パラメータの決定方法を説明する図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して説明する。
【００１３】
＜ロボットシステム＞
図１は、本発明のロボットシステムの構成を示す図である。以下、ロボットシステムの構成を、図１を参照しながら説明する。
【００１４】
図１に示すロボットシステム１００は、ロボット１と、エンドエフェクター１９（ツール）と、撮像部４１と、画像処理装置４２と、ロボット１等の動作（駆動）を制御するロボット制御装置２と、ロボット制御装置２および画像処理装置４２と通信可能なコンピューター５と、を有する。なお、画像処理装置４２は、ロボット制御装置２に内蔵していてもよい。
【００１５】
以下、ロボットシステム１００が有する各部を順次説明する。
＜ロボット＞
図１に示すように、ロボット１は、いわゆる６軸の垂直多関節ロボットであり、例えば、精密機器等を製造する製造工程で用いられ、精密機器や部品などの対象物（図示せず）の保持や搬送などの作業を行う。ロボット１は、基台１１０と、基台１１０に接続された可動部であるロボットアーム１０と、を有する。なお、対象物としては、ロボット１が行う作業で用いられるものであればよく、特に限定されない。また、ロボット１は、６軸の垂直多関節ロボットに代えてスカラーロボット等の他のロボットでもよい。
【００１６】
基台１１０は、ロボット１を、例えば、床などの任意の設置個所７０に取り付ける部分である。ロボットアーム１０は、第１アームとしてのアーム１１と 、第２アームとしてのアーム１２と、第３アームとしてのアーム１３と、第４アームとしてのアーム１４と、第５アームとしてのアーム１５と、第６アームとしてのアーム１６と、を有する。また、ロボットアーム１０は、アーム１５およびアーム１６によりリストが構成されている。また、アーム１６には、エンドエフェクター１９（ツール）を脱着可能に取り付けることが可能になっている。
【００１７】
また、各アーム１１〜１６は、隣り合うアーム１１〜１６又は基台１１０に対して、図示しない所定の回動軸（第１回動軸〜第６回動軸）を中心に回動可能となっている。すなわち、基台１１０とアーム１１とは、ジョイントとしての関節１７１を介して連結されている。また、アーム１１とアーム１２とは、関節１７２を介して連結されている。また、アーム１２とアーム１３とは、関節１７３を介して連結されている。また、アーム１３とアーム１４とは、関節１７４を介して連結されている。また、アーム１４とアーム１５とは、関節１７５を介して連結されている。また、アーム１５とアーム１６とは、関節１７６を介して連結されている。
【００１８】
エンドエフェクター１９としては、特に限定されないが、本実施形態では、対象物を吸着（保持）、解放することが可能な吸着ヘッド（吸着装置）が用いられている。また、エンドエフェクター１９の他の構成例としては、例えば、対象物を把持（保持）、解放することが可能なハンド等が挙げられる。また、対象物を保持するとは、対象物を移動又は対象物の姿勢を変更させることが可能なように、対象物を持つことであり、例えば、把持（掴む）、吸着、載置等が含まれる。また、エンドエフェクター１９の先端中心を、ツールセンターポイントＰという。
【００１９】
なお、エンドエフェクター１９は、ロボット１の構成要素ではないものとして捉えてもよく、また、ロボット１の構成要素として捉えてもよい。
【００２０】
図２は、ロボットシステムの構成を示すブロック図である。図３は、ロボットシステムを構成する画像処理装置の構成を示すブロック図である。以下、ロボットシステム及び画像処理装置の構成を、図２及び図３を参照しながら説明する。
【００２１】
図２に示すように、ロボット１は、一方のアームを他方のアーム（又は基台１１０）に対して回動させるモーターおよび減速機等を備える駆動部１３０を有する。モーターとしては、例えば、ＡＣサーボモーター、ＤＣサーボモーター等のサーボモーターを用いることができる。減速機としては、例えば、遊星ギア型の減速機、波動歯車装置等を用いることができる。なお、減速機は省略されていてもよい。また、ロボット１は、モーター又は減速機の回転軸の回転角度を検出する角度センサー１４０を有する。角度センサー１４０としては、例えば、ロータリーエンコーダー等を用いることができる。また、駆動部１３０および角度センサー１４０は、各アーム１１〜１６に対応して設けられており、本実施形態では、ロボット１は、６つの駆動部１３０および６つの角度センサー１４０を有する。
【００２２】
また、各駆動部１３０は、図示はしないが、例えば、図１に示す基台１１０に内蔵されたモータードライバーと電気的に接続（以下、単に「接続」とも言う）されている。各駆動部１３０は、対応するモータードライバーを介してロボット制御装置２により制御される。また、各角度センサー１４０は、ロボット制御装置２に電気的に接続されている。また、エンドエフェクター１９（図１参照）を駆動する駆動部（図示せず）は、ロボット制御装置２により制御される。
【００２３】
以上、ロボット１の電気的な構成について簡単に説明した。このようなロボット１は、後述するロボット制御装置２によって制御される。これにより、ロボット１は、適切な動作を行うことができる。
【００２４】
なお、ロボット１は、図示はしないが、例えば、エンドエフェクター１９に加わる力（モーメントを含む）を検出する６軸力覚センサー等で構成された力検出装置（力検出部）を備えていてもよい。力検出装置は、例えば、アーム１６とエンドエフェクター１９との間に配置され、ロボット制御装置２に電気的に接続される。力検出装置を設けることにより、例えば、インピーダンス制御等の力制御を行うことが可能になる。
【００２５】
＜ロボット制御装置＞
ロボット制御装置２は、ロボット１の動作を制御する。このロボット制御装置２は、ロボット１が有する各部の機能をつかさどるロボットコントローラーで構成されており、ロボット１、コンピューター５および画像処理装置４２に対して通信可能に接続されている。
【００２６】
ロボット制御装置２とロボット１とは、例えばケーブルなどを用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。また、ロボット制御装置２は、ロボット１と別体であってもよく、また、ロボット１の基台１１０などにその一部又は全部が内蔵されていてもよい。画像処理装置４２も基台１１０などにその一部又は全部が内蔵されていてもよい。
【００２７】
また、ロボット制御装置２とコンピューター５とは、例えば、ケーブルなどを用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。
【００２８】
また、ロボット制御装置２と画像処理装置４２とは、例えばケーブルなどを用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。
【００２９】
ロボット制御装置２は、プロセッサーを備える制御部２１と、制御部２１に通信可能に接続されたメモリーなどを備える記憶部２２と、外部インターフェイスを備える外部入出力部２３と、を含む。外部入出力部２３は、ロボット制御装置２の受付部の一例である。ロボット制御装置２の各構成要素は、種々のバスを介して相互通信可能に接続されている。
【００３０】
制御部２１は、記憶部２２に記憶された各種プログラム等を実行する。これにより、ロボット１の動作の制御や各種演算および判断等の処理を実現できる。
【００３１】
記憶部２２には、制御部２１により実行可能な各種プログラムが記憶されている。また、記憶部２２には、外部入出力部２３で受け付けた各種データの記憶が可能である。記憶部２２は、例えばＲＡＭ（Random Access Memory）等の揮発性メモリーや、ＲＯＭ（Read Only Memory）等の不揮発性メモリー等を含んで構成されている。なお、記憶部２２は、非着脱式に限らず、着脱式の外部記憶装置（図示せず）を有する構成であってもよい。
【００３２】
各種プログラムとしては、コンピューター５から出力された動作プログラムや、動作プログラムの修正や変更をするプログラム等が挙げられる。各種データとしては、例えば、ツールセンターポイントＰの位置姿勢、各アーム１１〜１６の回動角度等に関するデータ等が挙げられる。
【００３３】
外部入出力部２３は、外部インターフェイス（Ｉ／Ｆ）を備え、ロボット１、コンピューター５および画像処理装置４２の各接続のために用いられる。
【００３４】
このようなロボット制御装置２は、例えば、コンピューター５で作成した動作プログラムに基づいてロボット１を制御する。これにより、コンピューター５で作成した動作プログラムを用いて、ロボット１に適切な動作を行わせることができる。
【００３５】
なお、ロボット制御装置２は、前述した構成に加えて、さらに他の構成が付加されていてもよい。また、ロボット制御装置２には、ディスプレイ等を有する表示装置や、例えば、マウスやキーボード等の入力装置が接続されていてもよい。また、記憶部２２に保存されている各種プログラムやデータ等は、予め記憶部２２に記憶されたものであってもよいし、例えばＣＤ−ＲＯＭ等の記録媒体（図示せず）に格納されており、この記録媒体から提供されたものでもよいし、ネットワーク等を介して提供されたものであってもよい。
【００３６】
＜コンピューター＞
コンピューター５としては、例えばＰＣ（Personal Computer）等の種々のコンピューターを用いることが可能であり、ロボット制御装置２および画像処理装置４２に対して通信可能に接続されている。
【００３７】
コンピューター５は、プロセッサーを備える制御部５１と、制御部５１に通信可能に接続されたメモリー等を備える記憶部５２と、外部Ｉ／Ｆ（インターフェイス）を備える外部入出力部５３と、を含む。外部入出力部５３は、コンピューター５の受付部の一例である。コンピューター５の各構成要素は、種々のバスを介して相互通信可能に接続されている。
【００３８】
また、コンピューター５と画像処理装置４２とは、例えば、ケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。
【００３９】
制御部５１は、記憶部５２に記憶された各種プログラム等を実行する。これにより、画像処理装置４２等の制御や各種演算および判断等の処理を実現できる。
【００４０】
記憶部５２には、制御部５１により実行可能な各種プログラムが保存されている。また、記憶部５２は、外部入出力部５３で受け付けた各種データの保存が可能である。記憶部５２は、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリーや、ＲＯＭ（Read Only Memory）等の不揮発性メモリー等を含んで構成されている。なお、記憶部５２は、非着脱式に限らず、着脱式の外部記憶装置（図示せず）を有する構成であってもよい。
【００４１】
外部入出力部５３は、外部Ｉ／Ｆ（インターフェイス）を備え、ロボット制御装置２、画像処理装置４２、表示装置３１および入力装置３２との各接続のために用いられる。したがって、外部入出力部５３は、作業者（ユーザー）による入力装置３２の操作や指令を受け付ける受付部としての機能を有する。また、外部入出力部５３は、複数のモードのうち所定のモードの選択を受け付けるモード受付部としての機能を有する。また、外部入出力部５３は、表示装置３１のモニターに各種画面に関する信号を出力する出力部としての機能を有する。
【００４２】
また、コンピューター５は、前述した構成に加えて、さらに他の構成が付加されていてもよい。また、記憶部５２に保存されている各種プログラムやデータ等は、予め記憶部５２に記憶されたものであってもよいし、例えばＣＤ−ＲＯＭ等の記録媒体（図示せず）に格納されており、この記録媒体から提供されたものでもよいし、ネットワーク等を介して提供されたものであってもよい。
【００４３】
＜撮像部＞
撮像部４１は、撮像素子（図示せず）およびレンズ群（図示せず）等を有している。また、撮像部４１は、ロボット１とは異なる任意の設置個所、例えば、床等の任意の設置箇所に取り付けられており、撮像部４１の上方を撮像可能に配置されている。撮像部４１は、特に設置位置を限定しない。また、撮像素子としては、特に限定されず、例えば、ＣＣＤイメージセンサー、ＣＭＯＳイメージセンサー等が挙げられる。この撮像部４１は、撮像を行って、画像や画像データなどを生成する。
【００４４】
＜表示装置および入力装置＞
表示装置３１は、ディスプレイを備えており、例えば、各種画面を表示する機能を有する。また、表示装置３１としては、特に限定されず、例えば、液晶表示装置、有機ＥＬ表示装置等の直視型の表示装置、プロジェクター等の投射型表示装置等が挙げられる。この表示装置３１は、コンピューター５に接続されているが、画像処理装置４２やロボット制御装置２に接続することもできる。
【００４５】
また、複数の表示装置３１を用意し、その表示装置３１をコンピューター５、画像処理装置４２、ロボット制御装置２に接続することもできる。表示装置３１は、例えば、ケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。ここでは、表示装置３１がコンピューター５に接続されている場合を例に挙げて説明する。
【００４６】
入力装置３２は、例えば、マウスやキーボード等を含んで構成されている。この入力装置３２は、コンピューター５に接続されているが、画像処理装置４２やロボット制御装置２に接続することもできる。また、複数の入力装置３２を用意し、その入力装置３２をコンピューター５、画像処理装置４２、ロボット制御装置２に接続することもできる。
【００４７】
入力装置３２は、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。ここでは、入力装置３２がコンピューター５に接続されている場合を例に挙げて説明する。作業者は、入力装置３２を操作することで、コンピューター５に対して各種の処理等の指示や入力を行うことができる。
【００４８】
具体的には、作業者は、表示装置３１に表示される各種画面（ウィンドウ等）に対して入力装置３２のマウスでクリックする操作や、入力装置３２のキーボードで文字や数字等を入力する操作により、コンピューター５に対する指示を行うことができる。指示する方法としては、表示装置３１に表示された内容から所望の内容を選択する選択操作や、入力装置３２を用いて文字や数字等を入力する入力指示等が挙げられる。また、入力には、選択も含まれる。
【００４９】
なお、コンピューター５には、表示装置３１および入力装置３２が１つずつ接続されていてもよいし、複数接続されていてもよい。また、表示装置３１および入力装置３２の代わりに、表示装置３１および入力装置３２の機能を兼ね備えた表示入力装置（図示せず）を用いてもよい。表示入力装置としては、例えば、タブレットやタッチパネル等を用いることができる。
【００５０】
＜画像処理装置＞
画像処理装置４２は、撮像部４１で撮像して得られた画像や画像データに対して各種の画像処理を行う。なお、画像処理には、例えば、コーナー検出や線検出等が含まれる。この画像処理装置４２は、撮像部４１に対して通信可能に接続されている。
【００５１】
図３に示すように、画像処理装置４２は、画像取得部４０１と、記憶部４０２と、制御部４０３と、を備える。なお、画像処理装置４２に、上記した表示装置３１及び入力装置３２が接続されていてもよい。画像取得部４０１は、撮像部４１が撮像した撮像画像を、撮像部４１から取得する。
【００５２】
制御部４０３は、画像処理装置４２の全体を制御する。制御部４０３は、撮像制御部４０７と、表示制御部４０９と、パラメータ生成部４０６と、画像処理実行部４０８と、パラメータ表示優先順位決定部４１０を備える。これらの機能部は、例えば、ＣＰＵ（Central Processing Unit）が、記憶部４０２に記憶された各種プログラムを実行することにより実現される。また、これらの機能部のうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。
【００５３】
記憶部４０２は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read−Only Memory）、ＲＯＭ（Read−Only Memory）、ＲＡＭ（Random Access Memory）等を含む。なお、記憶部４０２は、画像処理装置４２に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。記憶部４０２は、画像処理装置４２が処理する各種情報や画像、上述のツールを実行するプログラムを含むプログラムを格納する。
【００５４】
表示装置３１および入力装置３２は、上記に説明したものと同様である。また、図２に示すコンピューター５と図３に示す画像処理装置４２とは、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。撮像部４１と画像処理装置４２とは、例えば、ケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。例えば、ＵＳＢ等のデジタル入出力ポートやイーサネット（登録商標）ポート等が使用される。
【００５５】
撮像制御部４０７は、画像処理を行う計測対象物としての画像処理対象物３００（図５Ａ参照）を含む撮像範囲を撮像部４１に撮像させる。なお、撮像された画像を第１画像６１（図５Ａ参照）とする。
【００５６】
表示制御部４０９は、入力装置３２により受け付けられた作業者からの操作に基づいて、ＧＵＩ（Graphical User Interface）を含む各種の画面を表示装置３１に表示させる。パラメータ生成部４０６は、画像処理に必要な複数のパラメータの組を生成する。
【００５７】
画像処理実行部４０８は、パラメータ生成部４０６により生成されたパラメータを使用し画像処理を実施する。画像処理の種類については特に限定しないが、例えば、線検出やコーナー検出などである。画像処理実行部４０８は、画像処理結果を表示装置３１に表示させる。なお、画像処理により検出された検出位置や検出領域、特徴点等、画像処理結果がわかる画像を第２画像６２（図５Ｄ参照）とする。
【００５８】
パラメータ表示優先順位決定部４１０は、入力装置３２より受け付けられた入力情報と画像処理の結果を基にして、どのパラメータの組の画像処理結果や付加情報を表示するか決定する。決定方法としては、例えば、スコアを挙げることができる。スコアは、例えば、所望する位置に最も近いものほど高くしたり、画像処理時間が早いものほど高くしたりする。なお、スコアの定め方について限定はしない。
【００５９】
＜画像処理パラメータの決定方法＞
（実施例１、コーナー検出）
図４は、画像処理パラメータの決定方法を示すフローチャートである。図５Ａ〜図５Ｇは、コーナー検出を例とした画像処理パラメータの決定方法を説明する図である。以下、画像処理パラメータの決定方法を、図３、図４、図５Ａ〜図５Ｇを参照しながら説明する。
【００６０】
コーナー検出とは、図５Ｄに示すように、画像処理対象物３００の四隅の角のいずれか又は複数の角を検出する画像処理アルゴリズムである。なお、コーナー検出の方法は、これ以外にも様々なアルゴリズムが存在するため、特に限定しない。
【００６１】
図４に示すように、ステップＳ２１０では、画像処理対象物３００の画像を撮影するとともに、撮像した第１画像を表示する。具体的には、まず、撮像制御部４０７は、撮像部４１に、画像処理対象物３００の撮像を実行させる。次に、画像取得部４０１は、撮像した第１画像を取得する。次に、表示制御部４０９は、図５Ａに示すように、表示装置３１に撮影した第１画像を表示させる。
【００６２】
ステップＳ２１１では、図５Ｂに示すように、作業者３０１は、入力装置３２から画像処理により検出させたい検出位置又は検出領域としての所望の指定位置３０８ａ又は検出領域３０８ｂを指定する。また、必要に応じて、図５Ｃに示すように、作業者３０１が画像処理を行う領域３０２を指定してもよい。領域３０２の形状については特に限定しない。領域３０２の形状としては、例えば、矩形や丸等である。
【００６３】
ステップＳ２１２では、パラメータ生成部４０６は、上記指定に基づいて画像処理に必要なパラメータの組み合わせを複数生成する。パラメータの生成手段としては、ランダム値でもよいし、画像処理の設計思想に基づいた固定値でもよい。パラメータの生成手段については、特に限定しない。
【００６４】
ステップＳ２１３では、画像処理実行部４０８が、パラメータ生成部４０６により生成されたパラメータを使用して、画像処理を実施する。画像処理は、パラメータの組み合わせの数だけ繰り返し処理が実行される。すべてのパラメータの組み合わせの処理結果は、一時的に記憶部４０２に保持される。処理結果とは、具体的に検出した位置や領域や処理時間等である。
【００６５】
ステップＳ２１４では、パラメータ表示優先順位決定部４１０は、ステップＳ２１１の入力情報を基に、ステップＳ２１３の画像処理結果に基づいて、作業者３０１が所望する結果に近いほどスコアが高くなるようにスコアを計算する。
【００６６】
スコアとしては、例えば、所望の指定位置３０８ａ又は検出領域３０８ｂから画像処理により検出された検出部３０３の距離が短いほどスコアが高くなるように計算したものを第１のスコアとする。さらに、スコアとしては、画像処理時間が短いほどスコアが高くなるように計算したものを第２のスコアとする。なお、スコアは、これら二つのスコアの相乗平均や第１のスコアに重みを付けた相乗平均でもよい。又は、第１のスコア、第２のスコアのいずれかのみでもよい。スコアの計算方法は、画像処理のアルゴリズムに依存させて決めてもよいため、特に限定はしない。
【００６７】
ステップＳ２１５では、表示制御部４０９は、ステップＳ２１４で計算された画像処理結果の第２画像６２を、図５Ｄに示すような、検出された検出部３０３の少なくとも一つを表示装置３１に表示させる。表示する第２画像６２としては、位置情報だけでなく、特徴点など画像処理のアルゴリズムに依存して決まってくることが好ましい。また、必要に応じて複数個表示させてもよい。
【００６８】
ステップＳ２１６では、表示制御部４０９は、図５Ｄに示すように、ステップＳ２１４において、検出部３０３の計算で使用された画像処理パラメータ３０４を含む第２画像６２を、表示装置３１に表示させる。なお、画像処理パラメータ３０４のみではなく、スコアや処理時間などの付加情報を一緒に表示してもよい。
【００６９】
また、本ステップでは、図５Ｅに示すように、表示制御部４０９の指示に基づいてボタン３０５，３０６，３０７を表示させ、作業者３０１に確認を促した後、パラメータを確定させるボタン３０７を押下するなどにより、パラメータの組み合わせを確定させてもよい。
【００７０】
もし、画像処理の結果が複数ある場合、ステップＳ２１５及びステップＳ２１６において、図５Ｅに示すように、ボタン３０５，３０６などのＧＵＩを使用して、表示する画像処理結果とパラメータおよび付加情報を切り替えることもできる。例えば、図５Ｅに示すボタン３０６を押下することで、図５Ｆのように、次の処理結果とパラメータなどが表示される。また、ボタン３０５を押下することで、ひとつ前の処理結果とパラメータなどが表示される。
【００７１】
なお、入力装置３２としてタブレットやタッチパネルを使用する場合は、フリップ動作で表示するパラメータの切り替え、ダブルタップ（連続で２回タップすること）による確定動作というようにボタンの代用とすることもできる。
【００７２】
ステップＳ２１７では、制御部４０３は、最終的に決定された１組の画像処理パラメータ３０４をシステムに反映させる。システムに反映させるとは、記憶部４０２に画像処理パラメータ３０４を記憶させ、生産等で画像処理を行うとき、記憶部４０２から画像処理パラメータを読み出して使用する。また、図５Ｇに示すように、画像処理により求められた位置を中心として、入力装置３２より距離を指定して取得領域３０９を設定することで、画像処理に必要な範囲を限定することができる。距離の指定方法は、例えば、ばらつきなどを考慮したオフセット値等を用いることができる。又は、自動的に決めてもよい。距離の指定方法は特に限定しない。
【００７３】
このような処理において、表示制御部４０９は、作業者３０１に対してわかりやすくするため入力装置３２からのボタン押下（図示せず）によるズームイン・ズームアウトにより、第１画像６１や第２画像６２、パラメータ、付加情報などを、表示装置３１に拡大・縮小表示させてもよい。また、ボタン動作でなく、タッチパネルに対してピンチイン・ピンチアウトによるズームイン・ズームアウトを行ってもよい。以上により、画像処理パラメータ３０４の決定方法のフローを終了する。
【００７４】
（実施例２、線検出）
これまでコーナー検出に対する適用例を示してきた。これ以降は、他の画像処理アルゴリズムへの適用例を示す。図６Ａ〜図６Ｄは、線検出を例とした画像処理パラメータの決定方法を説明する図である。以下、図６Ａ〜図６Ｄを参照しながら、線検出を例とした画像処理パラメータの決定方法を説明する。
【００７５】
線検出とは、図６Ａに示すように、画像処理対象物３００に対して、検出用参照ライン３１０上に検出されたエッジを基にして線を検出する画像処理アルゴリズムである。実施形態としてこのような例を挙げたが、線検出の方法はこれ以外にも様々なアルゴリズムが存在するため、線検出のアルゴリズムは特に限定しない。なお、図４に示すフローチャートにおいて、図５Ａ〜図５Ｇと異なる工程を具体的に説明する。
【００７６】
ステップＳ２１１に対応する工程では、図６Ｂに示すように、作業者３０１は、第１画像６１において、入力装置３２から画像処理により検出させたい所望の指定位置３０８ａ又は検出領域３０８ｂを指定する。入力方法についてはコーナー検出で示したものと同様である。
【００７７】
ステップＳ２１２に対応する工程では、パラメータ生成部４０６は、検出部３１３を検出するために必要な画像処理パラメータ３０４の組み合わせを複数生成する。
【００７８】
ステップＳ２１３に対応する工程では、画像処理実行部４０８は、パラメータ生成部４０６により生成されたパラメータを使用して、画像処理を実施する。その結果、画像処理実行部４０８は、図６Ｃに示すように、第２画像６２において、第１候補ライン３１３ａと第２候補ライン３１３ｂとを検出する。
【００７９】
ステップＳ２１４に対応する工程では、パラメータ表示優先順位決定部４１０は、第１候補ライン３１３ａ及び第２候補ライン３１３ｂのうち所望の指定位置３０８ａ又は検出領域３０８ｂに最も近い候補ライン３１３ａ，３１３ｂを求める。この場合、スコアは、所望の指定位置３０８ａ又は検出領域３０８ｂからの距離に応じて決定される。
【００８０】
ステップＳ２１５及びステップＳ２１６に対応する工程では、表示制御部４０９は、図６Ｄに示すように、パラメータ表示優先順位決定部４１０により求められた検出部３１３と、その処理に使用された画像処理パラメータ３０４と、を有する第２画像６２を、表示装置３１に表示させる。なお、パラメータ以外にも付加情報として画像処理時間やスコア等も表示してもよい。
【００８１】
なお、図示しないが、コーナー検出と同様に複数のラインが検出されている場合は、それぞれの検出結果とその画像処理パラメータ３０４を同様に表示させることができる。
【００８２】
従来、カットアンドトライを繰り返して所望の画像処理パラメータ３０４を見つけていることに対し、パラメータ表示優先順位決定部４１０により決定されたパラメータをつかうことにより、手間が減るだけでなく、複数の処理結果のパラメータが見えることで、どのパラメータが画像処理に影響するか理解を深めることができる。これにより環境変化などで微調整が発生した場合どのパラメータを調整すればよいのかが分かりやすくなる。
【００８３】
以上説明したように、本実施形態の画像処理パラメータ３０４の決定方法、画像処理装置４２、及びロボットシステム１００によれば、以下の効果を得ることができる。
【００８４】
（１）本実施形態によれば、複数の組み合わせが存在する画像処理パラメータ３０４に対して、所望の指定位置３０８ａ又は検出領域３０８ｂに最も近い検出部３０３で画像処理された際に用いた画像処理パラメータをその画像処理を行うパラメータとして決定する。これにより、作業者３０１が行うパラメータ入力にかかる時間を削減することができる。
【００８５】
（２）本実施形態によれば、所望の指定位置３０８ａ又は検出領域３０８ｂに近い検出部３０３ほどスコアが高くなるため、そのスコアを表示することで作業者３０１はどの検出部３０３が自分の指定した場所に近いか判断することができる。
【００８６】
（３）本実施形態によれば、所望の指定位置３０８ａ又は検出領域３０８ｂを中心とした距離の入力を受け付けることで領域が決定するので、その領域の範囲内のみで画像処理をさせる。これにより無駄な領域の画像処理をしなくても済むので、処理時間の短縮となる。
【００８７】
（４）本実施形態によれば、所望の指定位置３０８ａ又は検出領域３０８ｂがどのようなパラメータの組み合わせにより検出されたかわかる。それにより、どのパラメータが画像処理に効果があるか理解しやすくなる。
【００８８】
（５）本実施形態によれば、作業者３０１が行うパラメータ入力にかかる時間を削減することが可能な画像処理装置４２およびロボットシステム１００を提供することができる。
【００８９】
（変形例）
また、上記実施形態は、以下のように変更してもよい。
【００９０】
上記した実施形態では、画像処理パラメータ３０４の決定方法として、図５Ａ〜図５Ｇに示すコーナー検出および図６Ａ〜図６Ｄに示す線検出の画像処理アルゴリズムに適用したが、これに限定されず、他の一般的な画像処理アルゴリズムにも適用してもよい。例えば、平滑化フィルタ等のフィルタリングアルゴリズム、線、矩形、円、円弧などの幾何学形状の検出・検査アルゴリズム、ブロブなどの塊検出アルゴリズム、相関サーチ（テンプレートマッチング）や幾何学サーチなどの検出・位置決めアルゴリズム、物体の輪郭部を抽出する輪郭抽出アルゴリズム、１次元バーコードやＱＲコード（登録商標）などのコードリーダー、差分検査や欠損を検出する検査アルゴリズム、カラー画像に対して、ホワイトバランスやレンズ歪みや傾き補正等の調整用アルゴリズムなどが挙げられる。
【００９１】
また、上記の表示装置３１が表示する画像処理の付加情報は、画像処理時間やスコア等画像処理に関するものに適用されていたが、これに限定されず、撮影時間など撮像部４１に関する情報でもよい。付加情報についてはその情報の種別に対して限定しない。
【００９２】
また、上記のスコアの計算方法については、所望の指定位置３０８ａ又は検出領域３０８ｂに対する距離と画像処理時間から求めていたが、これに限定されず、そのほかのパラメータや画像処理結果から算出されたものとしてもよい。スコアの計算方法については特に限定しない。
【００９３】
以下に、実施形態から導き出される内容を記載する。
【００９４】
画像処理パラメータの決定方法は、計測対象物を撮像して得られる第１画像に対して複数のパラメータの組み合わせである画像処理パラメータに基づいて画像処理を行う画像処理パラメータの決定方法であって、複数の画像処理パラメータを生成し、前記第１画像に対して所望の検出位置又は検出領域を指定し、前記複数の画像処理パラメータのうち少なくとも一つの画像処理パラメータに基づいて画像処理された第２画像、及び前記画像処理に適用された前記少なくとも一つの画像処理パラメータを表示し、前記所望の検出位置又は検出領域に最も近い検出部の画像処理パラメータを決定することを特徴とする。
【００９５】
この方法によれば、複数の組み合わせが存在する画像処理パラメータに対して、作業者が指定した検出位置又は検出領域に最も近い検出部で画像処理された際に用いた画像処理パラメータを、画像処理に適用するパラメータとして決定する。これにより、作業者が行うパラメータ入力を比較的簡単にすることが可能となり、パラメータ入力にかかる時間を削減することができる。また、パラメータの組み合わせを表示することにより、どのパラメータが画像処理に効果があるか判断することができる。
【００９６】
上記の画像処理パラメータの決定方法において、前記画像処理の処理結果に基づいてスコアを表示することが好ましい。
【００９７】
この方法によれば、指定した場所に近い検出部ほどスコアが高くなるため、そのスコアを表示することで、作業者はどの検出部が自分の指定した位置に近いか判断することができる。
【００９８】
上記の画像処理パラメータの決定方法において、前記所望の検出位置又は検出領域を中心とした距離の入力を受け付け、前記入力によって得られた取得領域の画像処理を行うことが好ましい。
【００９９】
この方法によれば、所望の検出位置又は検出領域を中心とした距離の入力を受け付けることで取得領域が決定するので、その取得領域の範囲内で画像処理をさせることが可能となる。これにより、無駄な領域の画像処理をしなくても済むので、処理時間を短縮させることができる。
【０１００】
上記の画像処理パラメータの決定方法において、前記画像処理に基づいて検出された検出部のいずれかを選択することで、前記検出部の画像処理に使用されたパラメータを表示することが好ましい。
【０１０１】
この方法によれば、選択した検出部がどのようなパラメータの組み合わせにより検出されたかを把握することができる。これにより、どのパラメータが画像処理に効果があるか理解しやすくすることができる。
【０１０２】
画像処理装置は、計測対象物を撮像して得られる第１画像に対して複数のパラメータの組み合わせである画像処理パラメータに基づいて画像処理を行う画像処理装置であって、複数の画像処理パラメータを生成し、前記第１画像に対して所望の検出位置又は検出領域を指定し、前記複数の画像処理パラメータのうち少なくとも一つの画像処理パラメータに基づいて画像処理された第２画像、及び前記画像処理に適用された前記少なくとも一つの画像処理パラメータを表示し、前記所望の検出位置又は検出領域に最も近い検出部の画像処理パラメータを決定することを特徴とする。
【０１０３】
この構成によれば、複数の組み合わせが存在する画像処理パラメータに対して、作業者が指定した検出位置又は検出領域に最も近い検出部で画像処理された際に用いた画像処理パラメータを、画像処理に適用するパラメータとして決定する。これにより、作業者が行うパラメータ入力を比較的簡単にすることが可能となり、パラメータ入力にかかる時間を削減することができる。また、パラメータの組み合わせを表示することにより、どのパラメータが画像処理に効果があるか判断することができる。
【０１０４】
ロボットシステムは、上記に記載の画像処理装置と、ロボットアームを有するロボットと、計測対象物を撮像する撮像部と、を備えたことを特徴とする。
【０１０５】
この構成によれば、作業者が行うパラメータ入力を比較的簡単にすることができ、パラメータ入力にかかる時間を削減することが可能なロボットシステムを提供することができる。
【符号の説明】
【０１０６】
１…ロボット、２…ロボット制御装置、５…コンピューター、１０…ロボットアーム、１１，１２，１３，１４，１５，１６…アーム、１９…エンドエフェクター、２１，５１…制御部、２２，５２…記憶部、２３，５３…外部入出力部、３１…表示装置、３２…入力装置、４１…撮像部、４２…画像処理装置、６１…第１画像、６２…第２画像、７０…設置個所、１００…ロボットシステム、１１０…基台、１３０…駆動部、１４０…角度センサー、１７１，１７２，１７３，１７４，１７５，１７６…関節、３００…計測対象物としての画像処理対象物、３０１…作業者、３０２…領域、３０３…検出部、３０４…画像処理パラメータ、３０５，３０６，３０７…ボタン、３０８ａ…指定位置、３０８ｂ…検出領域、３０９…取得領域、３１０…検出用参照ライン、３１３…検出部、３１３ａ…第１候補ライン、３１３ｂ…第２候補ライン、４０１…画像取得部、４０２…記憶部、４０３…制御部、４０６…パラメータ生成部、４０７…撮像制御部、４０８…画像処理実行部、４０９…表示制御部、４１０…パラメータ表示優先順位決定部。
【図１】
2020198020.tif 000003
【図２】
2020198020.tif 000004
【図３】
2020198020.tif 000005
【図４】
2020198020.tif 000006
【図５Ａ】
2020198020.tif 000007
【図５Ｂ】
2020198020.tif 000008
【図５Ｃ】
2020198020.tif 000009
【図５Ｄ】
2020198020.tif 000010
【図５Ｅ】
2020198020.tif 000011
【図５Ｆ】
2020198020.tif 000012
【図５Ｇ】
2020198020.tif 000013
【図６Ａ】
2020198020.tif 000014
【図６Ｂ】
2020198020.tif 000015
【図６Ｃ】
2020198020.tif 000016
【図６Ｄ】
2020198020.tif 000017