(57)【要約】      （修正有）【課題】マシンビジョンシステムおよび方法ならびにロボット装着システムおよび方法が提供される。【解決手段】マシンビジョン方法は画像データを取り込むステップ、特定の形態に対応する態様を備えるフィルタを画像データに適用するステップ、物体が特定の形態を有するか決定するステップを含む。システムは、作業場の画像データを取り込むように構成されたカメラシステムと、カメラシステムに通信可能に接続され、コンピュータ可読命令を有する非一時的コンピュータ可読媒体を備えるコントローラーと、を備え、コンピュータ可読命令は、実行されるときにコントローラーに、画像データにフィルタを適用させるとともに、フィルタを適用することに少なくとも部分的に基づいて、物体が特定の形態を有するかどうかを決定させる。マシンビジョン方法およびシステムを利用するロボット装着方法およびシステムも開示される。【選択図】図１
2019194565.tif 000002
【特許請求の範囲】
【請求項１】
作業場（304）内の物体（302）が1つまたは複数の所定の形態（306）を有するかどうかを決定するための自動化マシンビジョン方法（100）であって、前記自動化マシンビジョン方法（100）が、
前記作業場（304）の画像データをカメラシステム（308）から取り込むステップ（102）と、
フィルタ済みデータを作成するために前記画像データにフィルタを適用するステップ（104）であって、前記フィルタが、前記1つまたは複数の所定の形態（306）のうちの特定の形態に対応する態様を含む、ステップ（104）と、
前記適用するステップ（104）に少なくとも部分的に基づいて、前記物体（302）が前記特定の形態を有するかどうかを決定するステップ（106）と、
を含む自動化マシンビジョン方法（100）。
【請求項２】
（i）前記カメラシステム（308）が前記作業場（304）に対して既知の位置および方位に配置されること、および
（ii）前記自動化マシンビジョン方法（100）が、前記カメラシステム（308）と前記作業場（304）との間の相対方位を決定するステップ（106）をさらに含むこと、
のうちの少なくとも一方である、請求項1に記載の自動化マシンビジョン方法（100）。
【請求項３】
前記画像データを取り込むステップ（102）の後で、かつ前記フィルタを適用するステップ（104）の前に、
前記画像データをHSVドメインに変換するステップ（112）と、
前記作業場（304）の前記物体（302）ではない部分の既知の色に基づいて、前記作業場（304）の前記物体（302）ではない前記部分に対応するデータを前記画像データから減算するステップ（110）と、
をさらに含む、請求項1に記載の自動化マシンビジョン方法（100）。
【請求項４】
前記画像データを取り込むステップ（102）の後で、かつ前記フィルタを適用するステップ（104）の前に、
前記1つまたは複数の所定の形態（306）の推定形態に基づいて、前記画像データを二値閾値化するステップ（114）であって、前記推定形態が、色、形状、サイズ、しるし、およびねじ山構造のうちの1つまたは複数である、二値閾値化するステップ（114）と、
前記二値閾値化するステップ（114）に応答して、1つまたは複数の画素群を前記推定形態の候補として特定するステップ（116）と、
をさらに含む、請求項1に記載の自動化マシンビジョン方法（100）。
【請求項５】
前記推定形態が、前記作業場（304）に関連するデータベースに基づいて前記作業場（304）内にあるべき予期または所望される物体に対応する、請求項4に記載の自動化マシンビジョン方法（100）。
【請求項６】
前記二値閾値化するステップ（114）の後で前記画像データをノイズ除去するステップ（118）
をさらに含み、
前記1つまたは複数の画素群を特定するステップ（116）が、前記ノイズ除去するステップ（118）にさらに応答する、請求項4に記載の自動化マシンビジョン方法（100）。
【請求項７】
前記特定の形態が、前記1つまたは複数の所定の形態（306）の推定テクスチャであり、前記推定テクスチャが、前記作業場（304）に関連するデータベースに基づいて前記作業場（304）内にあるべき予期または所望される物体に対応する、請求項1に記載の自動化マシンビジョン方法（100）。
【請求項８】
前記推定テクスチャが締め具のねじ山サイズに対応する、請求項7に記載の自動化マシンビジョン方法（100）。
【請求項９】
前記フィルタがガボールフィルタである、請求項7に記載の自動化マシンビジョン方法（100）。
【請求項１０】
前記フィルタ済みデータが、前記物体（302）を表すための候補である1つまたは複数の画素ブロブを含み、前記自動化マシンビジョン方法（100）が、
前記フィルタを適用するステップ（104）の後で、1つまたは複数のブロブ形態の存在を決定するために前記1つまたは複数の画素ブロブを分析するステップ（120）であって、前記1つまたは複数のブロブ形態が、ブロブ面積、ブロブ偏心度、ブロブ寸法、ブロブ明度、ブロブ相関、およびブロブ均質度のうちの1つまたは複数を含み、前記1つまたは複数のブロブ形態が、前記作業場（304）に関連するデータベース内の前記1つまたは複数の所定の形態（306）に関連する、ステップ（120）
をさらに含む、請求項1に記載の自動化マシンビジョン方法（100）。
【請求項１１】
前記カメラシステム（308）がステレオカメラシステムであり、前記画像データが2つの画像を含み、前記自動化マシンビジョン方法（100）が、
前記画像データを取り込むステップ（102）中に、前記作業場（304）上に光テクスチャを投影するステップ（126）と、
前記フィルタ済みデータの点群を作成するステップ（124）であって、前記点群を作成するステップ（124）が、前記光テクスチャに基づいて前記2つの画像から視差マップを生成するステップ（128）を含む、ステップ（124）と、
前記物体（302）に関連する画素を選択するステップ（130）と、
前記物体（302）に関連する前記画素を、前記作業場（304）に関連するデータベースからの予期または所望される物体のコンピュータモデルと比較するステップ（132）と、
をさらに含む、請求項1に記載の自動化マシンビジョン方法（100）。
【請求項１２】
前記物体（302）が締め具または締め具対（412）を含む、請求項1に記載の自動化マシンビジョン方法（100）。
【請求項１３】
作業場（304）内の物体（302）が1つまたは複数の所定の形態（306）を有するかどうかを決定するためのマシンビジョンシステム（300）であって、前記マシンビジョンシステム（300）が、
前記作業場（304）の画像データを取り込むように構成されたカメラシステム（308）と、
前記カメラシステム（308）から前記画像データを受信するために前記カメラシステム（308）に通信可能に接続されたコントローラー（310）と、
を備え、
前記コントローラー（310）は、コンピュータ可読命令を有する非一時的コンピュータ可読媒体を備え、前記コンピュータ可読命令は、実行されるときに前記コントローラー（310）に、
フィルタ済みデータを作成するために前記画像データにフィルタを適用することであって、前記フィルタが、前記1つまたは複数の所定の形態（306）のうちの特定の形態に対応する態様を含む、ことと、
前記フィルタを適用することに少なくとも部分的に基づいて、前記物体（302）が前記特定の形態を有するかどうかを決定することと、
を行わせる、マシンビジョンシステム（300）。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示はマシンビジョン（machine vision）に関する。
【背景技術】
【０００２】
製造はますますより自動化されてきている。現行のロボット製造システムは反復作業で非常に効率的であるが、このシステムは、環境の変化あるいは要員または他の上流側入力によって導入されるミスに必ずしも適応していない。例えば、ねじ付き締め具上にナットを装着する役割を果たすナット締めロボット（nut running robot）（例えば、ナット装着エンドエフェクタ（nut installation end effector）を有するロボットアーム）が不正確にサイズ決定または構成されたねじ付き締め具上にナットを装着すると、人員はミスを認識するだけでなく、その後にミスを修正しなければならなくなる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
マシンビジョンシステムおよび方法ならびにロボット装着システムおよび方法が開示される。
【課題を解決するための手段】
【０００４】
作業場（work field）内の物体が1つまたは複数の所定の形態を有するかどうかを決定するための本開示による自動化マシンビジョン方法は、作業場の画像データをカメラシステムから取り込むステップと、フィルタ済みデータを作成するために画像データにフィルタを適用するステップであって、フィルタが、1つまたは複数の所定の形態のうちの特定の形態に対応する態様を含む、適用するステップと、適用するステップに少なくとも部分的に基づいて、物体が特定の形態を有するかどうかを決定するステップと、を含む。本開示によるロボット装着方法は、本開示による自動化マシンビジョン方法を実行するステップであって、カメラシステムがロボットアームのエンドエフェクタに取り付けられる、同エンドエフェクタと共に取り付けられる、または同エンドエフェクタとして取り付けられる、実行するステップと、決定するステップに基づいて、ロボットアームを使用して構成要素を物体に対する所定の構成で装着するステップと、を含む。
【０００５】
作業場内の物体が1つまたは複数の所定の形態を有するかどうかを決定するための本開示によるマシンビジョンシステムは、作業場の画像データを取り込むように構成されたカメラシステムと、カメラシステムから画像データを受信するためにカメラシステムに通信可能に接続されたコントローラーと、を備える。コントローラーは、コンピュータ可読命令を有する非一時的コンピュータ可読媒体を備え、コンピュータ可読命令は、実行されるときにコントローラーに、フィルタ済みデータを作成するために画像データにフィルタを適用することであって、フィルタが、1つまたは複数の所定の形態のうちの特定の形態に対応する態様を備える、ことと、フィルタを適用することに少なくとも部分的に基づいて、物体が特定の形態を有するかどうかを決定することと、を行わせる。本開示によるロボット装着システムは、本開示によるマシンビジョンシステムおよびロボットアームを備え、カメラシステムは、ロボットアームのエンドエフェクタに取り付けられる、同エンドエフェクタと共に取り付けられる、または同エンドエフェクタとして取り付けられる。ロボットアームは、物体が特定の特徴を有するというコントローラーによる決定に部分的に基づいて、構成要素を物体に対する所定の構成で装着するように構成される。
【図面の簡単な説明】
【０００６】
【図１】本開示による方法を概略的に示す流れ図である。
【図２】本開示によるシステムを概略的に示す図である。
【図３】本開示によるロボット装着システム例を示す幾分概略的な図である。
【図４】航空機生産および保守点検方法体系を概略的に示す流れ図である。
【図５】航空機を概略的に示すブロック図である。
【発明を実施するための形態】
【０００７】
一般に、上記の図には、所与の例に含まれる可能性のある要素が実線で示され、所与の例に随意である要素が破線で示されている。しかし、実線で示されている要素は、本開示のすべての例にとって不可欠ではなく、実線で示されている要素は、本開示の範囲から逸脱することなく特定の例から除外されてもよい。
【０００８】
マシンビジョンシステムおよび方法ならびにロボット装着システムおよび方法が本明細書に開示される。図1は、作業場304内の物体302が1つまたは複数の所定の形態306を有するかどうかを決定するための自動化マシンビジョン方法100を概略的に示す流れ図を提供し、図2は、作業場304内の物体302が1つまたは複数の所定の形態306を有するかどうかを決定するための自動化マシンビジョンシステム300の概略図を提供する。図1の方法100および図2のシステム300の概略図は限定されるものではなく、本明細書での議論から理解されるように、他の方法100、方法100の各ステップ、システム300、およびシステム300の各要素は本開示の範囲内にあり、図示したステップの数より多いまたは少ないステップを有する方法100、ならびに図示した要素の数より多いまたは少ない要素を有するシステム300を含む。やはり本明細書での議論から理解されるように、方法100は、図示されている順に実行される図1の概略的に示されているステップを有する必要はない。システム300は本開示による方法100を実行または実施するように構成されるものと言われることがあり、すべての方法100が本開示によるシステム300によって実行または実施される必要はなく、すべてのシステム300が本開示による方法100を実行または実施する必要はない。
【０００９】
既述のように、方法100およびシステム300は、作業場304内の物体302が1つまたは複数の所定の形態306（例えば、物体302の物理的もしくは構造的形態または特定の箇所もしくは方位）を有するかどうかを決定する。したがって、物体302の形態306が存在すると予期される形態であるか、あるいは物体302の箇所に存在すると所望される物体に対応することを確認することにより、方法100およびシステム300は、物体302が適正な物体であるかどうかを、例えばその後の運転によって処理される準備ができているかどうかを決定することができる。追加としてまたは別法として、方法100およびシステム300は、物体302が、完全に装着されている、適切に配置されている、明確な構成要素が組み付けられている、などの所望の構成であるかどうかを決定することができる。逆に、方法100またはシステム300が、物体302の形態が存在すると予期される形態306ではないか、あるいは物体302の箇所に存在すると所望される物体または物体の構成に対応することを決定する場合、その後の運転が回避されてもよく、あるいは別の運転が、物体302を適正な物体に置き換えること、その後の処理の前に物体302をさらに操作すること、などにより行われてもよい。したがって、いくつかの方法100およびシステム300は品質管理方法および品質管理システムと言われることがある。
【００１０】
方法100およびシステム300は、開始または作動したときに、方法100またはシステム300の最終目標をもたらすために必要なステップが人間のユーザからの外部入力を必要とせずにシステムまたはシステムの構成部品によって完全に自動化され得る限りにおいて、自動化方法および自動化システムと言われることがある。
【００１１】
作業場304は、製造環境や生産環境などにおける任意適当な作業場とすることができる。例示的で非排他的な例として、作業場304は、組立段階または製造段階でのビークル、航空機、機械などの生産物または生産物の一部を含むことができる。より具体的な例として、作業場304は、2つ以上の構成要素を一体に組み立てるために締め具が装着される生産物の領域を含むことができる。このような例では、物体302は締め具を含むことができるが、方法100およびシステム300は、物体302の任意適当な構成に対して実施または構成され得る。
【００１２】
特に図1を参照し、一般に図2を参照すると、方法100は、作業場304の画像データをカメラシステム308から取り込むステップ102と、フィルタ済みデータを作成するために画像データにフィルタを適用するステップ104であって、フィルタが1つまたは複数の所定の形態306のうちの特定の形態に対応する態様を含む、適用するステップ104と、適用するステップ104に少なくとも部分的に基づいて、物体302が特定の形態を有するかどうかを決定するステップ106と、を含む。言い換えると、作業場304に関連する画像データが取り込まれ、特定の形態に対応する態様を有するフィルタが画像データに適用され、フィルタ済みデータから、物体302が特定の形態を有するか否かが決定される。例示的で非排他的な例として、物体302がねじ付き締め具である場合、フィルタは、物体302が配置される所であると予期される物体のねじ山構造（例えば、ねじ山ピッチ）に対応する態様を有することができ、フィルタリングの結果、ねじ付き締め具が存在すると予期されるねじ山ピッチを有するか否かが決定される。
【００１３】
特に図2を参照すると、システム300は、作業場304の画像データを取り込むように構成されたカメラシステム308と、カメラシステム308から画像データを受信するためにカメラシステム308に通信可能に接続されたコントローラー310と、を備える。コントローラー310は、本開示による方法100を実行または実施するように構成されるものと言われることがある。追加としてまたは別法として、コントローラー310は、コンピュータ可読命令を有する非一時的コンピュータ可読媒体を備え、コンピュータ可読命令は、実行されるときにコントローラーに、フィルタ済みデータを作成するために画像データにフィルタを適用させ、フィルタが1つまたは複数の所定の形態306のうちの特定の形態に対応する態様を備え、フィルタの適用に少なくとも部分的に基づいて、物体302が特定の形態を有するかどうかを決定させる。
【００１４】
コントローラー310は、本明細書で論じられるコントローラー310の機能を実行するように構成された任意適当な1つまたは複数の装置とすることができる。例えば、コントローラー310は、電子コントローラー、専用コントローラー、特殊目的コントローラー、パーソナルコンピュータ、特殊目的コンピュータ、ディスプレイ装置、論理装置、メモリ装置、ならびに／あるいは本開示によるシステムおよび／または方法の態様を実施するためのコンピュータ実行可能命令を保存するのに適したコンピュータ可読媒体を有するメモリ装置のうちの1つまたは複数を含むことができる。追加としてまたは別法として、コントローラー310は、本開示による方法または方法のステップを実施するための非一時的コンピュータ可読記憶装置、すなわちメモリ、コンピュータ実行可能命令を格納するのに適した媒体、またはソフトウェアを含むことができる、または読み出すように構成することができる。この種の媒体の例としては、CD-ROM、ディスク、ハードドライブ、フラッシュメモリ、などがある。本明細書では、記憶装置、すなわちコンピュータ実行可能命令を有する装置および媒体、ならびにコンピュータ実施方法および本開示による他の方法が、米国特許法第101条に従って特許取得できると見なされる主題の範囲内にあると考えられる。
【００１５】
方法100およびシステム300のいくつかの例では、カメラシステム308は、作業場304に対して既知または決定済み位置および方位に配置される。例えば、カメラシステム308の視点からの物体302のサイズ、形状、および方位は、取り込んだ画像データ（例えば、物体302に対応する画素の収集）、したがって物体302が特定の形態を有するかどうかを決定するための画像データの対応する分析に影響を及ぼす。したがって、カメラシステム308および作業場304に関連する座標系が、これらの例による方法100およびシステム300を運転実施するために既知の方法で整列または少なくとも調整される必要がある。したがって、いくつかの方法100は、作業場304に対するカメラシステム308の位置および／または方位、ならびに／あるいはカメラシステム308に対する作業場304の位置および／または方位を決定または取得するステップをさらに含むものと言われることがあり、同様に、いくつかのシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、作業場304に対するカメラシステム308の位置および／または方位、ならびに／あるいはカメラシステム308に対する作業場304の位置および／または方位を決定または取得させ得る。
【００１６】
いくつかのそのような例では、カメラシステム308および作業場304の一方または両方が既知の位置または決定済み位置に配置されてもよく、システム300のコントローラー310は、例えば、物体302が1つまたは複数の所定の形態を有するかどうかを決定するときに既知の位置または決定済み位置を考慮に入れる。これは、システム300の箇所および／または方位を表す座標系を決定および／または確立すること、作業場304の箇所および／または方位を表す座標系を決定および／または確立すること、カメラシステム308の箇所および／または方位を表す座標系を決定および／または確立すること、ならびに／あるいは上記の座標系のうちの2つ以上の間の関係、オフセット、および／または差異を決定および／または確立すること、を含むことができる。
【００１７】
例えば、カメラシステム308および作業場304の一方または両方が、カメラシステム308および／または作業場304の正確な位置を検知するように構成された、製造または生産環境内の屋内位置決めシステムなどの測位システムに関連付けられてもよく、または同位置決めシステムによって監視されてもよい。追加としてまたは別法として、カメラシステム308は空間に固定されてもよく、作業場304はカメラシステム308の視野の中に移動させられてもよく、作業場304は、例えば、精密ツーリングによって正確に配置されるか、またはシステム300によって視覚システムかタッチプローブのどちらかで実行されるグローバル再同期運転（global resync operation）で大まかに配置される。あるいは、作業場304は空間に固定されてもよく、カメラシステム308は、作業場304がカメラシステム308の視野に入るように移動させられてもよく、カメラシステム308は、例えば、精密ツーリングによって正確に配置されるか、またはシステム300によって視覚システムかタッチプローブのどちらかで実行されるグローバル再同期運転で大まかに配置される。あるいは、作業場304の数学的モデル、すなわち描写が、カメラシステム308と作業場304との間の相対方位を推定、確立および／または決定するために利用され得る。作業場304のこの数学的モデル、すなわち描写は、例えば、作業場304のCADモデルまたは作業場304のCADモデルの2次元投影を含むことができ、かつ／または同CADモデルまたは同2次元投影とすることができる。
【００１８】
方法100およびシステム300のいくつかの例では、カメラシステム308はロボットアームなどのカメラマウント312によって支持される。すなわち、カメラシステム308は、ロボットアームのエンドエフェクタに取り付けられ得る、同エンドエフェクタと共に取り付けられ得る、または同エンドエフェクタとして取り付けられ得る。いくつかのこのようなシステム300では、コントローラー310は、作業場304に対するカメラシステム308の箇所および方位を受信するためにカメラマウント312に通信可能に接続される。既述のように、作業場304に対するカメラシステム308の箇所および方位を考慮に入れる、知る、決定する、かつ／または定量化することで、物体302が特定の形態を有するかどうかを決定するための画像データの分析が容易になる。
【００１９】
方法100およびシステム300のいくつかの例では、画像データは色データを含む。例えば、形態306は特定の色とすることができる。しかしながら、物体の色が必要とされないか、あるいは物体302が所望の物体に対応するか否かの示度となる適用例では、画像データは色データを含んでいなくてもよい。したがって、このような例では、カメラシステム308は白黒データまたはグレースケールデータを取り込むことができる。
【００２０】
いくつかの方法100は、図1に概略的に示されているように、取り込むステップ102中に作業場304を照らすステップ108をさらに含む。したがって、いくつかのシステム300は、図2に概略的に示されているように、カメラシステム308が画像データを取り込むときに作業場304を照らすように構成された照明装置314をさらに備えることができる。例えば、照明装置314は、カメラシステム308が画像データを取り込むときにフラッシュが作業場304を照らすように、カメラシステム308に通信可能に接続されたフラッシュ装置またはカメラシステム308の構成要素を備えることができる。
【００２１】
図1に概略的に示されているように、いくつかの方法100は、画像データを取り込むステップ102の後で、かつフィルタを適用するステップ104の前に、画像データから、作業場304の物体302ではない部分に対応するデータを作業場304の物体302ではない部分の既知の色に基づいて減算するステップ110をさらに含む。したがって、対応するシステム300では、コンピュータ可読命令はさらに、実行されるときに、コントローラーに作業場304の物体302ではない部分に対応するデータを減算させる。例えば、いくつかの適用例では、作業場304は、作業場304内に存在する1つまたは複数の物体302以外の色が均等であり得る。より具体的な例として、作業場304は未加工または塗装状態のシート材料を含み、未加工または塗装状態は特定の色を有することができる。したがって、特定の色に関連するデータは、作業場304内の1つまたは複数の物体302に関連するデータのみ、または一般に同データのみが残るように画像データから減算され得る。追加としてまたは別法として、色データの減算はクロマキーイング（chroma keying）と言われることがある。
【００２２】
いくつかの方法100は、画像データを取り込むステップ102の後で、かつフィルタを適用するステップ104の前に、画像データをHSV（色相、彩度、明暗）ドメインに変換するステップ112をさらに含む。したがって、対応するシステム300では、コンピュータ可読命令は実行されるときに、さらにコントローラーに、フィルタを適用する前に画像データをHSVドメインに変換させる。画像データのHSVドメインへのこのような変換は、すべての方法100およびシステム300に必要ではないが、作業場304の物体302ではない部分に関連するデータの減算を容易にすることができる。
【００２３】
追加としてまたは別法として、いくつかの方法100は、画像データを取り込むステップ102の後で、かつフィルタを適用するステップ104の前に、画像データを1つまたは複数の所定の形態306の推定形態に基づいて二値閾値化するステップ114と、二値閾値化するステップ114に応答して、1つまたは複数の画素群を推定形態の候補として特定するステップ116と、をさらに含む。したがって、対応するシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、フィルタを適用する前に、画像データを1つまたは複数の所定の形態306の推定形態に基づいて二値閾値化させ、画像データが二値閾値であるのに応答して、1つまたは複数の画素群を推定形態の候補として特定させる。例示的で非排他的な例として、推定形態は、作業場304内にあると予期される、または作業場304内にあると所望される物体に関連する色、形状、サイズ、しるし、およびねじ山構造のうちの1つまたは複数とすることができる。いくつかの例では、推定形態は、作業場304に関連するデータベースに基づいて作業場304内にあるべき予期または所望される物体に対応する。例えば、生産物が組み立てられるまたは製造されると、部品の形態が特定されるデータベースに部品表を保存することができる。したがって、作業場304内にあると予期される、または所望される物体が特定の色などの推定形態を有する場合、推定形態に基づいて二値閾値化するステップ114により、推定形態の候補として画素、すなわち画像データのサブセットを特定するのが容易になる。より具体的な例として、生産物の特定の組立に使用されることを目的とした締め具、または締め具の一部は特定の色を有することができる。特定の色に基づいて画像データを二値閾値化することにより、特定の色に対応する特定の画素群は、物体302が実際、存在すると所望される物体であるか否かを、あるいは物体302が完全に装着される、適切に配置される、明確な構成要素が組み付けられる、などの所望の構成であるか否かを最終決定するためにさらに処理するために画像データ内に特定される。
【００２４】
いくつかのそのような方法100は、二値閾値化するステップ114の後で画像データをノイズ除去する（すなわち、画像データにノイズフィルタ（例えば、二値ノイズフィルタ）を適用する）ステップ118をさらに含み、その場合、1つまたは複数の画素群を特定するステップ116はノイズ除去するステップ118にさらに応答する。したがって、対応するシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、画像データが二値閾値化された後で画像データからノイズ除去させ（すなわち、画像データにノイズフィルタ（例えば、二値ノイズフィルタ）を適用させ）、1つまたは複数の画素群を特定すると、画像データがノイズ除去されるのにさらに応答する。例えば、作業場304が照らされたか否かに応じてかつ／または作業場304の照明の程度または質に応じて、二値閾値化ステップ114後の画像データはノイズが多いことがあり、ノイズ除去するステップ118は、画像データをきれいにするとともに、物体302が実際、存在すると所望される物体であるか否かを、あるいは物体302が完全に装着される、適切に配置される、明確な構成要素が組み付けられる、などの所望の構成であるか否かを最終決定するのを容易にすることができる。
【００２５】
いくつかの方法100およびシステム300では、特定の形態は、特定の形態の存在が決定されていて、フィルタ済み画像データを作成するときにフィルタが画像データに適用される一態様に対応するものであり、1つまたは複数の所定の形態の推定テクスチャである。いくつかのそのような例では、推定テクスチャは、作業場304に関連するデータベースに基づいて作業場304内にあるべき予期または所望される物体に対応する。例えば、既述のように、生産物が組み立てられるまたは製造されると、部品の形態が特定されるデータベースに部品表を保存することができる。したがって、作業場304内にあると予期される、または所望される物体が特定のテクスチャなどの推定形態を有する場合、フィルタを適用することで、物体302が推定形態を有するか否かを最終決定するのが容易になる。より具体的な例として、生産物の特定の組立に使用されることを目的とした締め具は、締め具に特定のねじ山サイズ、すなわちピッチに対応するテクスチャを与えるねじ山を有することができる。
【００２６】
方法100およびシステム300のいくつかの例では、フィルタはガボールフィルタ（Gabor filter）である。例えば、所望の締め具に関連するねじ山ピッチの場合、作業場304および／またはカメラシステム308に関連する相対位置および／または相対方位データならびに／あるいは絶対位置および／または相対方位データ（例えば、方法100の間にかつ／またはシステム300によって知られるまたは取得される）に基づいて、適切なガボールフィルタが選択または導出され、二値閾値化するステップ114の結果として特定された1つまたは複数の画素群などの画像データに適用され得る。画素群へのガボールフィルタの応答が大きくなるほど、画素群が作業場304内にあると所望される物体の形態（例えば、特定のねじ山ピッチ）を実際に表しているという確信も大きくなる。
【００２７】
例示的で非排他的な例として、所望の締め具は既知のねじ山ピッチを有することができる、既知のねじ山ピッチは既知の締め具の縦軸線に沿って画定され得る。システム300内の、作業場304内の、かつ／またはカメラシステム308に対する物体302の箇所は、（例えば本明細書で論じたように、方法100の間にかつ／またはシステム300を利用する間に）知られ得るかつ／または取得され得る。この既知のねじ山ピッチは、対応する既知の波長を表すことができ、縮尺された波長を発生させるために物体302の箇所に基づいて物体302の透視投影などによって縮尺され得る。次いで、この縮尺された波長は、ガボールフィルタ、または方向性ガボールフィルタ群を作成する、生成する、かつ／または選択するために利用され得る。次いで、ガボールフィルタ、または方向性ガボールフィルタ群は画像データに適用され得る。画像データが、既知のねじ山ピッチを有する所望の締め具を含む場合（すなわち、物体302が所望の締め具である場合）、ガボールフィルタは強い応答を示すことになる。逆に、画像データが、既知のねじ山ピッチを有する所望の締め具を含まない場合（すなわち、物体302が所望の締め具でない場合）、ガボールフィルタは弱い応答、またはさらに弱い応答を示すことになる。
【００２８】
別の例示的で非排他的な例として、物体302の縦軸線は、カメラシステム308の結像面に対して角度をなして、または同結像面に対して向きを定めれてもよい。これらの条件下では、上記の縮尺された波長にはさらに、角度補正されかつ縮尺された波長を生成するかつ／または発生させるために角度補正係数を乗じることができる。次いで、この角度補正されかつ縮尺された波長は、上述したように、画像データに適用され得るガボールフィルタ、または方向性ガボールフィルタ群を作成する、生成する、かつ／または選択するために利用され得る。角度補正係数の一例は、物体302の縦軸線が結像面に対して向きを定められる角度の余弦を含む、または同余弦である。
【００２９】
別の例示的で非排他的な例として、カメラシステム308は、物体302の周り、物体302の箇所の周り、および／または物体302の縦軸性の周りを回転され得る。カメラシステム308のこの回転は画像面の回転をもたらし、それによって物体302に関する3次元情報を提供するとともに、システム300が方向性ガボールフィルタ群を利用することが可能になる。
【００３０】
いくつかの方法100およびシステム300では、フィルタ済みデータは、物体302を表すための候補である1つまたは複数の画素ブロブを含む、または同1つまたは複数の画素ブロブと言われることがある。いくつかのそのような方法100は、フィルタを適用するステップ104の後で、1つまたは複数のブロブ形態の存在を決定するために1つまたは複数の画素ブロブ（すなわち、局所グルーピング）を分析するステップ120をさらに含む。したがって、対応するシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、フィルタを適用した後で1つまたは複数のブロブ形態の存在を決定するために1つまたは複数の画素ブロブを分析させる。例えば、1つまたは複数のブロブ形態は、ブロブ面積、ブロブ偏心度、ブロブ寸法、ブロブ明度、ブロブ相関、およびブロブ均質度のうちの1つまたは複数を含むことができる。いくつかのそのような方法100およびシステム300では、1つまたは複数のブロブ形態は、作業場304に関連するデータベース内の1つまたは複数の所定の形態306に関連する。既述のように、生産物が組み立てられるまたは製造されると、部品の形態が特定されるデータベースに部品表を保存することができる。したがって、作業場304内にあると予期される、または所望される物体が、1つまたは複数のブロブの予期される面積、偏心度、寸法、明度、相関、および／または均質度に対応する推定形態を有する場合、1つまたは複数のブロブを分析することで、物体302が1つまたは複数の所定の形態を有するか否かを最終決定するのが容易になる。
【００３１】
いくつかのそのような方法100は、1つまたは複数のブロブ形態に関連する1つまたは複数の所定の形態306を特定するように機械学習モデルを訓練するステップ122をさらに含む。したがって、対応するシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、1つまたは複数のブロブ形態に関連する1つまたは複数の所定の形態306を特定するように機械学習モデルを訓練させる。例示的で非排他的な例として、機械学習モデルは、サポートベクターマシン（SVM）とすることができる。
【００３２】
いくつかの方法100およびシステム300では、カメラシステム308はステレオカメラシステムであり、したがって画像データは2つの画像を含む。そのような方法100は、フィルタ済みデータの点群を作成するステップ124をさらに含む。したがって、対応するシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラー310にフィルタ済みデータの点群を作成させる。
【００３３】
いくつかのそのような方法100は、画像データを取り込むステップ102中に、作業場304上に光テクスチャを投影するステップ126をさらに含む。対応するシステム300は、作業場304上に光テクスチャを投影するように構成されたプロジェクタ316をさらに備える。いくつかのそのような方法100およびシステム300では光テクスチャはパターンを含むが、他のそのような方法100およびシステム300では光テクスチャはランダムである。作業場304上に光テクスチャを投影することにより、カメラシステム308によって取り込まれた2つの画像は点群を作成するために分解され得る。例えば、いくつかの方法100では、点群を作成するステップ124は、光テクスチャに基づいて2つの画像から視差マップを生成するステップ128を含む。
【００３４】
より具体的には、いくつかの方法100は、物体302に関連する画素を選択するステップ130と、物体302に関連する画素を作業場304に関連するデータベースからの予期または所望される物体のコンピュータモデル（例えばCADモデル）と比較するステップ132と、をさらに含む。したがって、対応するシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、物体302に関連する画素を選択させ、物体302に関連する画素を作業場304に関連するデータベースからの予期または所望される物体のコンピュータモデルと比較させる。例示的で非排他的な例として、締め具のコンピュータモデルは、締め具のシャフトに対応する円筒体を表現したものを含むことができ、コンピュータモデルを物体302に関連する画素と比較するステップは、法線推定値および半径推定値を使用することにより円筒体を画素に適合させることを含むことができる。
【００３５】
いくつかの適用例では、作業場304は複数の物体302を含む。したがって、いくつかの方法100は、複数の物体のそれぞれに関連して実行される。したがって、対応するシステム300では、コンピュータ可読命令は、実行されるときに、さらにコントローラー310に複数の物体302のそれぞれが特定の形態を有するかどうかを決定させる。
【００３６】
引き続き図1および図2を参照すると、ロボット装着方法200およびロボット装着システム400もまた本開示の範囲内にある。図1に概略的に示されているように、また一般に図2を参照すると、ロボット装着方法200は、本開示による自動化マシンビジョン方法100を実行するステップであって、カメラシステム308がロボットアーム402のエンドエフェクタに取り付けられる、同エンドエフェクタと共に取り付けられる、または同エンドエフェクタとして取り付けられる、ステップと、実行された方法100の決定するステップ106に基づいて、ロボットアーム402に構成要素を物体302に対する所定の構成で装着するよう指示するステップ202と、ロボットアーム402を使用して構成要素を物体302に対する所定の構成で装着するステップ204と、を含む。図2に概略的に示されているように、ロボット装着システム400は、本開示による自動化マシンビジョンシステム300とロボットアーム402とを備え、カメラシステム308は、ロボットアーム402のエンドエフェクタに取り付けられる、同エンドエフェクタと共に取り付けられる、または同エンドエフェクタとして取り付けられるものであり、ロボットアーム402は、物体302がコントローラー310から受信された特定の形態および命令を有するかどうかのコントローラー310による決定に部分的に基づいて構成要素を物体302に対する所定の構成で装着するように構成される。すなわち、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、ロボットアームに構成要素を物体に対する所定の構成で装着するよう指示させる。
【００３７】
ここで図3を参照すると、ロボット装着システム401の形をとるロボット装着システム400の例示的で非排他的な例が示されている。必要に応じて、図2の概略図の参照番号は、ロボット装着システム401の対応する部品を明示するために用いられるが、図3の例は非排他的であり、ロボット装着システム400を図3の例示的実施形態に限定するものではない。すなわち、ロボット装着システム400は、図示のロボット装着システム401の特定の実施形態に限定されるものではなく、ロボット装着システム400は、図2の概略図および／または図3の実施形態ならびにこれらの実施形態の変形形態に例示され、これらの実施形態および変形形態を参照して論じられるロボット装着システム400の様々な態様、構成、特徴、特性などのうちのいくつかを、すべてのそのような態様、構成、特徴、特性などを含める必要なしに組み込むことができる。簡潔にする目的で、それぞれの前述した構成要素、部品、部分、態様、領域など、またはそれらの変形形態は、やはりロボット装着システム401に関して論じられ、例示され、かつ／またはラベルを付され得るが、前述した形態、変形形態などがロボット装着システム401で利用され得ることは本開示の範囲内にある。
【００３８】
図3に示されているように、ロボット装着システム401は、エンドエフェクタ404、カメラシステム308およびナットランナ（nut runner）406を有するロボットアーム402を備える。ロボットアーム402は、シート材料414から延伸する締め具の形をとる複数の物体302を含む作業場304に対して配置される。より具体的には、図示の例では、複数のボルト408がシート材料414を貫通して延伸していて、ボルト408のサブセットがボルト408上に装着されたナット410を有し締め具対412を画定している。コントローラー310は、カメラシステム308、ナットランナ406、およびロボットアーム402と通信する状態で概略的に示されており、この動作的通信は稲妻で概略的に示してあるが、有線および／または無線でよい。したがって、ロボット装着システム401は、本開示による方法100および方法200を実行するように構成される。より具体的には、ロボット装着システム401は、正しいボルト408およびナット410が存在するかどうか、ボルト408がナット410の動作的受容のために適切にまたは完全に配置されているかどうか、ナットが対応するボルト408上に適切にかつ動作可能に配置されているかどうか、どのボルト408がナット410をまだ必要としているか、など、物体302が1つまたは複数の所定の形態を有するかどうかを決定するためにマシンビジョンシステム300を利用する。次いで、そのような決定に基づいて、ロボットアーム402は、ナットランナ406を利用して追加のナット410を動作可能に装着することができ、かつ／または、例えば、正しくないボルト408が配置されている所またはボルト408がナット410を受容するために動作可能に配置されていない所にナット410を装着することができない。
【００３９】
ここで図4および図5を参照すると、本開示の諸実施形態が、図4に示されている航空機の製造および保守点検方法500ならびに図5に示されている航空機600の状況で説明され得る。すなわち、方法500は、本開示による方法100および方法200の一方または両方を含むことができ、航空機600は、航空機600が例えば作業場304を含む状態で、本開示によるシステム300またはシステム400を利用して製造または保守点検することができる。
【００４０】
プレ生産中、例示的な方法500は、航空機600の仕様および設計504ならびに材料調達506を含むことができる。生産中、航空機600の構成要素および部分組立品の製造508ならびにシステム統合510が行われる。その後、航空機600は、就航中514に置かれるために認証および搬送512を経ることがある。顧客による就航中、航空機600は、日常整備および保守点検516（変更、再構成、改修なども含み得る）が予定される。
【００４１】
方法500の工程はそれぞれ、システム統合者、第三者、および／またはオペレータ（例えば顧客）によって実行または実施されてもよい。この説明のために、システム統合者は、制限なく、任意の数の航空機製造業者および主要システム下請業者を含むことができ、第三者は、制限なく、任意の数の売主、下請業者、および供給業者を含むことができ、オペレータは、航空会社、リース会社、軍事団体、保守点検組織などとすることができる。
【００４２】
図5に示すように、例示的な方法500で生産される航空機600は、複数のシステム604および内部606と共に機体602を含むことができる。高レベルシステム604の例は、推進システム608、電気システム610、油圧システム612、および環境システム614のうちの1つまたは複数を含む。任意の数の他のシステムが含まれていてもよい。航空宇宙の例が示されているが、本明細書で開示される本発明の原理は、自動車産業などの他の産業に適用されてもよい。
【００４３】
本明細書で開示される装置および方法は、生産および保守点検方法500の段階のうちのいずれか1つまたは複数の段階で用いられてもよい。例えば、生産段階508に対応する構成要素または部分組立品は、航空機600が就航中に生産される構成要素または部分組立品と同様の方法で製作または製造されてもよい。さらに、1つまたは複数の装置実施形態、方法実施形態、またはそれらを組み合わせたものが、例えば、実質的に航空機600の組立を促進するまたは航空機600のコストを節減することにより、生産段階508および510で利用されてもよい。同様に、1つまたは複数の装置実施形態、方法実施形態、またはそれらを組み合わせたものが、航空機600が就航中に、例えば制限なく、整備および保守点検516に利用されてもよい。
【００４４】
本開示による発明的主題の例示的で非排他的な例が以下に列挙した項に記述される。
A項．作業場内の物体が1つまたは複数の所定の形態を有するかどうかを決定するための自動化マシンビジョン方法であって、
作業場の画像データをカメラシステムから取り込むステップと、
フィルタ済みデータを作成するために画像データにフィルタを適用するステップであって、フィルタが1つまたは複数の所定の形態のうちの特定の形態に対応する態様を含む、ステップと、
フィルタを適用するステップに少なくとも部分的に基づいて、物体が特定の形態を有するかどうかを決定するステップと、
を含む、自動化マシンビジョン方法。
【００４５】
A1項．（i）カメラシステムが作業場に対して既知の位置および方位に配置されること、および
（ii）自動化マシンビジョン方法が、カメラシステムと作業場との間の相対方位を決定するステップをさらに含むこと、
の少なくとも一方である、A項に記載の自動化マシンビジョン方法。
【００４６】
A2項．カメラシステムがロボットアームのエンドエフェクタに取り付けられる、同エンドエフェクタと共に取り付けられる、または同エンドエフェクタとして取り付けられる、A項またはA1項に記載の自動化マシンビジョン方法。
【００４７】
A3項．画像データが色データを含む、A項からA2項のいずれか一項に記載の自動化マシンビジョン方法。
【００４８】
A4項．取り込むステップ中に作業場を照らすステップ
をさらに含む、A項からA3項のいずれか一項に記載の自動化マシンビジョン方法。
【００４９】
A5項．画像データを取り込むステップの後で、かつフィルタを適用するステップの前に、
画像データから、作業場の物体ではない部分に対応するデータを作業場の物体ではない部分の既知の色に基づいて減算するステップ
をさらに含む、A項からA4項のいずれか一項に記載の自動化マシンビジョン方法
【００５０】
A6項．画像データを取り込むステップの後で、かつフィルタを適用するステップの前に、
画像データをHSVドメインに変換するステップ
をさらに含む、A項からA5項のいずれか一項に記載の自動化マシンビジョン方法。
【００５１】
A7項．画像データを取り込むステップの後で、かつフィルタを適用するステップの前に、
画像データを1つまたは複数の所定の形態の推定形態に基づいて二値閾値化するステップと、
二値閾値化するステップに応答して、1つまたは複数の画素群を推定形態の候補として特定するステップと、
をさらに含む、A項からA6項のいずれか一項に記載の自動化マシンビジョン方法。
【００５２】
A7．1項．推定形態が、作業場に関連するデータベースに基づいて作業場内にあるべき予期または所望される物体に対応する、A7項に記載の自動化マシンビジョン方法。
【００５３】
A7．2項．推定形態が、色、形状、サイズ、しるし、およびねじ山構造のうちの1つまたは複数である、A7項からA7．1項のいずれか一項に記載の自動化マシンビジョン方法。
【００５４】
A7．3項．二値閾値化するステップの後で画像データをノイズ除去するステップ
をさらに含み、
1つまたは複数の画素群を特定するステップが、ノイズ除去するステップにさらに応答する、
A7項からA7．2項のいずれか一項に記載の自動化マシンビジョン方法。
【００５５】
A8項．特定の形態が、1つまたは複数の所定の形態の推定テクスチャである、A項からA7．3項のいずれか一項に記載の自動化マシンビジョン方法。
【００５６】
A8．1項．推定テクスチャが、作業場に関連するデータベースに基づいて作業場内にあるべき予期または所望される物体に対応する、A8項に記載の自動化マシンビジョン方法。
【００５７】
A8．2項．推定テクスチャが締め具のねじ山サイズに対応する、A8項またはA8．1項に記載の自動化マシンビジョン方法。
【００５８】
A9項．フィルタがガボールフィルタである、A項からA8．2項のいずれか一項に記載の自動化マシンビジョン方法。
【００５９】
A10項．フィルタ済みデータが、物体を表すための候補である1つまたは複数の画素ブロブを含む、A項からA9項のいずれか一項に記載の自動化マシンビジョン方法。
【００６０】
A10．1項．フィルタを適用するステップの後で、1つまたは複数のブロブ形態の存在を決定するために1つまたは複数の画素ブロブを分析するステップ
をさらに含む、A10項に記載の自動化マシンビジョン方法。
【００６１】
A10．1．1項．1つまたは複数のブロブ形態が、ブロブ面積、ブロブ偏心度、ブロブ寸法、ブロブ明度、ブロブ相関、およびブロブ均質度のうちの1つまたは複数を含む、A10．1項に記載の自動化マシンビジョン方法。
【００６２】
A10．1．1．1項．1つまたは複数のブロブ形態が、作業場に関連するデータベース内の1つまたは複数の所定の形態に関連する、A10．1．1項に記載の自動化マシンビジョン方法。
【００６３】
A10．1．2項．1つまたは複数のブロブ形態に関連する1つまたは複数の所定の形態を特定するように機械学習モデルを訓練するステップをさらに含む、A10項からA10．1．1．1項のいずれか一項に記載の自動化マシンビジョン方法。
【００６４】
A11項．カメラシステムがステレオカメラシステムであり、画像データが2つの画像を含み、自動化マシンビジョン方法が、
フィルタ済みデータの点群を作成するステップ
をさらに含む、A項からA10．1．2項のいずれか一項に記載の自動化マシンビジョン方法。
【００６５】
A11．1項．画像データを取り込むステップ中に、作業場上に光テクスチャを投影するステップ
をさらに含む、A11項に記載の自動化マシンビジョン方法。
【００６６】
A11．1．1項．光テクスチャがパターンを含む、A11．1項に記載の自動化マシンビジョン方法。
【００６７】
A11．1．2項．光テクスチャがランダムである、A11．1項に記載の自動化マシンビジョン方法。
【００６８】
A11．1．3項．点群を作成するステップが、光テクスチャに基づいて2つの画像から視差マップを生成するステップを含む、A11．1項からA11．1．2項のいずれか一項に記載の自動化マシンビジョン方法。
【００６９】
A11．1．3．1項．物体に関連する画素を選択するステップと、
物体に関連する画素を、作業場に関連するデータベースからの予期または所望される物体のコンピュータモデルと比較するステップと、
をさらに含む、A11．1．3項に記載の自動化マシンビジョン方法。
【００７０】
A12項．物体が締め具または締め具対を含む、A項からA11．1．3．1項のいずれか一項に記載の自動化マシンビジョン方法。
【００７１】
A13項．作業場が複数の物体を含み、方法が複数の物体のそれぞれに関連して実行される、A項からA12項のいずれか一項に記載の自動化マシンビジョン方法。
【００７２】
A14項．作業場がシート材料から延伸する複数の物体を含む、A項からA13項のいずれか一項に記載の自動化マシンビジョン方法。
【００７３】
A14．1項．A5項から従属する場合、作業場の物体ではない部分がシート材料に対応する、A14項に記載の自動化マシンビジョン方法。
【００７４】
A15項．1つまたは複数の所定の形態が、色、サイズ、形状、しるし、およびねじ山構造のうちの1つまたは複数を含む、A項からA14．1項のいずれか一項に記載の自動化マシンビジョン方法。
【００７５】
A16項．C項からC15項のいずれか一項に記載のマシンビジョンシステムによって実行される、A項からA15項のいずれか一項に記載の自動化マシンビジョン方法。
【００７６】
B項．A項からA16のいずれか一項に記載の自動化マシンビジョン方法を実行するステップであって、カメラシステムがロボットアームのエンドエフェクタに取り付けられる、同エンドエフェクタと共に取り付けられる、または同エンドエフェクタとして取り付けられる、ステップと、
決定するステップに基づいて、ロボットアームに構成要素を物体に対する所定の構成で装着するよう指示するステップと、
ロボットアームを使用して構成要素を物体に対する所定の構成で装着するステップと、
を含むロボット装着方法。
【００７７】
B1項．物体および構成要素が締め具対を含む、B項に記載のロボット装着方法。
【００７８】
C項．作業場内の物体が1つまたは複数の所定の形態を有するかどうかを決定するためのマシンビジョンシステムであって、
作業場の画像データを取り込むように構成されたカメラシステムと、
カメラシステムから画像データを受信するためにカメラシステムに通信可能に接続されたコントローラーと、
を備え、コントローラーは、コンピュータ可読命令を有する非一時的コンピュータ可読媒体を備え、コンピュータ可読命令は、実行されるときにコントローラーに、
フィルタ済みデータを作成するために画像データにフィルタを適用させ、フィルタは1つまたは複数の所定の形態のうちの特定の形態に対応する態様を含み、
フィルタの適用に少なくとも部分的に基づいて、物体が特定の形態を有するかどうかを決定させる、
マシンビジョンシステム。
【００７９】
C1項．カメラマウントであって、カメラシステムがカメラマウントによって支持される、カメラマウント
をさらに備え、
コントローラーが、作業場に対するカメラシステムの箇所および方位のデータを受信するためにカメラマウントに通信可能に接続される、C項に記載のマシンビジョンシステム。
【００８０】
C1．1項．カメラマウントがロボットアームである、C1項に記載のマシンビジョンシステム。
【００８１】
C2項．画像データが色データを含む、C項からC1．1項のいずれか一項に記載のマシンビジョンシステム。
【００８２】
C3項．カメラシステムが画像データを取り込むときに作業場を照らすように構成された照明装置
をさらに備える、C項からC2項のいずれか一項に記載のマシンビジョンシステム。
【００８３】
C4項．コンピュータ可読命令が、実行されるときに、さらにコントローラーに、
フィルタを適用する前に、画像データから、作業場の物体ではない部分に対応するデータを作業場の物体ではない部分の既知の色に基づいて減算させる、C項からC3項のいずれか一項に記載のマシンビジョンシステム。
【００８４】
C5項．コンピュータ可読命令が、実行されるときに、さらにコントローラーに、
フィルタを適用する前に、画像データをHSVドメインに変換させる、C項からC4項のいずれか一項に記載のマシンビジョンシステム。
【００８５】
C6項．コンピュータ可読命令が、実行されるときに、さらにコントローラーに、
フィルタを適用する前に、画像データを1つまたは複数の所定の形態の推定形態に基づいて二値閾値化させ、
画像データが二値閾値であるのに応答して、1つまたは複数の画素群を推定形態の候補として特定させる、C項からC5項のいずれか一項に記載のマシンビジョンシステム。
【００８６】
C6．1項．推定形態が、作業場に関連するデータベースに基づいて作業場内にあるべき予期または所望される物体に対応する、C6項に記載のマシンビジョンシステム。
【００８７】
C6．2項．推定形態が、色、形状、サイズ、しるし、およびねじ山構造のうちの1つまたは複数である、C6項またはC6．1項に記載のマシンビジョンシステム。
【００８８】
C6．3項．コンピュータ可読命令が、実行されるときに、さらにコントローラーに、
画像データが二値閾値化された後で画像データをノイズ除去させ、
1つまたは複数の画素群を特定すると、画像データがノイズ除去されるのにさらに応答する、C6項からC6．2項のいずれか一項に記載のマシンビジョンシステム。
【００８９】
C7項．特定の形態が、1つまたは複数の所定の形態の推定テクスチャである、C項からC6．3項のいずれか一項に記載のマシンビジョンシステム。
【００９０】
C7．1項．推定テクスチャが、作業場に関連するデータベースに基づいて作業場内にあるべき予期または所望される物体に対応する、C7項に記載のマシンビジョンシステム。
【００９１】
C7．2項．推定テクスチャが締め具のねじ山サイズに対応する、C7項またはC7．1項に記載のマシンビジョンシステム。
【００９２】
C8項．フィルタがガボールフィルタである、C項からC7．2項のいずれか一項に記載のマシンビジョンシステム。
【００９３】
C9項．フィルタ済みデータが、物体を表すための候補である1つまたは複数の画素ブロブを含む、C項からC8項のいずれか一項に記載のマシンビジョンシステム。
【００９４】
C9．1項．コンピュータ可読命令が、実行されるときに、さらにコントローラーに、
フィルタを適用した後で、1つまたは複数のブロブ形態の存在を決定するために1つまたは複数の画素ブロブを分析させる、C9項に記載のマシンビジョンシステム。
【００９５】
C9．1．1項．1つまたは複数のブロブ形態が、ブロブ面積、ブロブ偏心度、ブロブ寸法、ブロブ明度、ブロブ相関、およびブロブ均質度のうちの1つまたは複数を含む、C9．1項に記載のマシンビジョンシステム。
【００９６】
C9．1．1．1項．1つまたは複数のブロブ形態が、作業場に関連するデータベース内の1つまたは複数の所定の形態に関連する、C9．1．1項に記載のマシンビジョンシステム。
【００９７】
C9．1．2項．コンピュータ可読命令が、実行されるときに、さらにコントローラーに、
1つまたは複数のブロブ形態に関連する1つまたは複数の所定の形態を特定するように機械学習モデルを訓練させる、C9項からC9．1．1．1項のいずれか一項に記載のマシンビジョンシステム。
【００９８】
C10項．カメラシステムがステレオカメラシステムであり、画像データが2つの画像を含み、コンピュータ可読命令は、実行されるときに、さらにコントローラーに、
フィルタ済みデータの点群を作成させる、C項からC9．1．2項のいずれか一項に記載のマシンビジョンシステム。
【００９９】
C10．1項．作業場上に光テクスチャを投影するように構成されたプロジェクタをさらに備える、C10項に記載のマシンビジョンシステム。
【０１００】
C10．1．1項．光テクスチャがパターンを含む、C10．1項に記載のマシンビジョンシステム。
【０１０１】
C10．1．2項．光テクスチャがランダムである、C10．1項に記載のマシンビジョンシステム。
【０１０２】
C10．1．3項．点群を作成するステップが、光テクスチャに基づいて2つの画像から視差マップを生成することを含む、C10．1項からC10．1．2項のいずれか一項に記載のマシンビジョンシステム。
【０１０３】
C10．1．3．1項．コンピュータ可読命令が、実行されるときに、さらにコントローラーに、
物体に関連する画素を選択させ、
物体に関連する画素を作業場に関連するデータベースからの予期または所望される物体のコンピュータモデルと比較させる、C10．1．3項に記載のマシンビジョンシステム。
【０１０４】
C11項．物体が締め具または締め具対を含む、C項からC10．1．3．1項のいずれか一項に記載のマシンビジョンシステム。
【０１０５】
C12項．作業場が複数の物体を含み、コンピュータ可読命令は、実行されるときに、さらにコントローラーに複数の物体のそれぞれが特定の形態を有するかどうかを決定させる、C項からC11項のいずれか一項に記載のマシンビジョンシステム。
【０１０６】
C13項．作業場がシート材料から延伸する複数の物体を含む、C項からC12項のいずれか一項に記載のマシンビジョンシステム。
【０１０７】
C13．1項．C4項から従属する場合、作業場の物体ではない部分がシート材料に対応する、C13項に記載のマシンビジョンシステム。
【０１０８】
C14項．1つまたは複数の所定の形態が、色、サイズ、形状、しるし、およびねじ山構造のうちの1つまたは複数を含む、C項からC13．1項のいずれか一項に記載のマシンビジョンシステム。
【０１０９】
C15項．A項からA16項のいずれか一項に記載の自動化マシンビジョン方法を実行するように構成される、C項からC14項のいずれか一項に記載のマシンビジョンシステム。
【０１１０】
C16項．作業場内の物体が1つまたは複数の所定の形態を有するかどうかを決定するためにC項からC15項のいずれか一項に記載のマシンビジョンシステムを使用すること。
【０１１１】
D項．ロボット装着システムであって、
C項からC15項のいずれか一項に記載のマシンビジョンシステムと、
ロボットアームであって、カメラシステムがロボットアームのエンドエフェクタに取り付けられ、同エンドエフェクタと共に取り付けられ、または同エンドエフェクタとして取り付けられ、ロボットアームは、物体が特定の形態を有するというコントローラーによる決定に部分的に基づいて構成要素を物体に対する所定の構成で装着するように構成される、ロボットアームと、
を備え、
コンピュータ可読命令は、実行されるときに、さらにコントローラーに、構成要素を物体に対する所定の構成で装着するようロボットアームに指示させる、ロボット装着システム。
【０１１２】
D1項．物体および構成要素が締め具対を含む、D項に記載のロボット装着システム。
【０１１３】
D2項．構成要素を物体に対する所定の構成で装着するためにD項またはD1項に記載のロボット装着システムを使用すること。
【０１１４】
本明細書では、「適合される（adapted）」および「構成される（configured）」という用語は、要素、構成要素、または他の主題が、所与の機能を果たすように設計されかつ／または意図されていることを意味する。したがって、「適合される」および「構成される」という用語の使用は、所与の要素、構成要素、または他の主題が単純に所与の機能を果たす「能力がある（capable of）」ことを意味すると解釈されるべきではなく、その要素、構成要素、または他の主題がその機能を果たす目的で特に選択され、作成され、実装され、利用され、プログラム化され、かつ／または設計されることを意味すると解釈されるべきである。特定の機能を果たすように適合されるものとして記載されている要素、構成要素、および／または他の記載された主題は、追加としてまたは別法として、その機能を果たすように構成されるものと言われることがあり、逆も同様であることもまた、本開示の範囲内にある。同様に、特定の機能を果たすように構成されるものとして記載されている主題は、追加としてまたは別法として、その機能を果たすように作動するものと言われることがある。
【０１１５】
本明細書では、第1の存在物と第2の存在物との間に配置される「および／または（and／or）」という用語は、（1）第1の存在物、（2）第2の存在物、（3）第1の存在物および第2の存在物、のうちの1つを意味する。「および／または」と共に列挙されている複数の存在物は同様に、すなわち存在物のうちの「1つまたは複数」が等位結合されていると解釈されるべきである。随意に、他の存在物は、具体的に特定された存在物に関係しているかどうかにかかわらず、「および／または」節によって具体的に特定された存在物以外に存在し得る。したがって、非限定的な例として、「備える（comprising）」などの非限定的言語と共に用いられる場合に「Aおよび／またはB」に言及することは、一例ではAのみ（随意にB以外の存在物を含む）を、別の例ではBのみ（随意にA以外の存在物を含む）を、別の例ではAとBの両方（随意に他の存在物を含む）を参照することができる。これらの存在物は、要素、動き、構造、ステップ、運転、値などを参照することができる。
【０１１６】
本明細書で開示される、装置の様々な開示済み要素および方法のステップは、本開示によるすべての装置および方法に必要ではなく、本開示は、本明細書で開示される様々な要素およびステップのすべての新規かつ非自明の組合せおよび副組合せを含む。さらに、本明細書で開示される様々な要素およびステップのうちの1つまたは複数が、開示済み装置または方法の全体とは別の独立した発明の主題を規定することができる。したがって、このような発明の主題は、本明細書で明白に開示される特定の装置および方法に関連する必要はなく、このような発明の主題は、本明細書で明白には開示されない装置および／または方法における有用性を見いだすことができる。
【符号の説明】
【０１１７】
100  自動化マシンビジョン方法
200  ロボット装着方法
300  自動化マシンビジョンシステム
302  物体
304  作業場
306  所定の形態
308  カメラシステム
310  コントローラー
312  カメラマウント
314  照明装置
316  プロジェクタ
400  ロボット装着システム
401  ロボット装着システム
402  ロボットアーム
404  エンドエフェクタ
406  ナットランナ
408  ボルト
410  ナット
412  締め具対
414  シート材料
500  航空機の製造および保守点検方法
504  仕様および設計
506  材料調達
508  機械要素および部分組立品の製造、生産段階
510  システム統合
512  認証および搬送
514  就航中
516  日常整備および保守点検
600  航空機
602  機体
604  高レベルシステム
606  内部
608  推進システム
610  電気システム
612  油圧システム
614  環境システム
【図１】
2019194565.tif 000003
【図２】
2019194565.tif 000004
【図３】
2019194565.tif 000005
【図４】
2019194565.tif 000006
【図５】
2019194565.tif 000007
【外国語明細書】
2019194565000001.pdf