(57)【要約】      （修正有）【課題】航空構造体などの高性能な構造体における表面の不連続部の３Ｄトポグラフィ測定を行うハンドヘルド装置を提供する。【解決手段】照明は複数の角度から不連続部を照明し、カメラは不連続部の画像を取り込む。厚さセンサは、基材および上部保護膜の厚さに関する厚さデータを生成する。位置センサは、構造体上の不連続部の位置に関する位置データを生成する。処理部は、画像に基づいて不連続部のジオメトリに関するジオメトリデータを生成し、ジオメトリ、厚さ、および位置データの解析を実行し、解析結果をディスプレイ２４上に通知する。構造体の不連続部と隣接部との間の反射率差および色差をより均一にするために、適合膜および／またはゲルおよび不透明な潤滑剤を不連続部に塗布して適合させることができる。【選択図】図１Ａ
2018185292.tif 000002
【特許請求の範囲】
【請求項１】
構造体における表面の不連続部の評価を容易にする装置であって、前記構造体は、基材と、前記基材の表面上に塗布された上部保護膜と、を含み、
１以上の角度から前記不連続部を照明する１以上の光源と、
前記１以上の光源によって照明された不連続部の１以上の画像を取り込むデジタルカメラと、
前記基材および前記上部保護膜の少なくとも一方の厚さに関する厚さデータを生成する厚さセンサと、
前記不連続部の１以上の画像に基づいて前記不連続部のジオメトリに関するジオメトリデータを生成し、前記ジオメトリデータおよび前記厚さデータの解析を実行し、前記解析の結果をディスプレイに視覚的に通知する電子処理部と、を備える装置。
【請求項２】
前記１以上の光源は、複数の角度から前記不連続部を照明するために配置された複数の光源である、請求項１に記載の装置。
【請求項３】
前記不連続部のジオメトリは、前記基材の表面よりも下方の深さを含む、請求項１に記載の装置。
【請求項４】
前記不連続部のジオメトリは、前記基材の表面よりも上方の高さを含む、請求項１に記載の装置。
【請求項５】
前記厚さセンサが超音波トランスデューサである、請求項１に記載の装置。
【請求項６】
前記厚さセンサが、前記不連続部の周囲の領域の前記基材および前記上部保護膜の少なくとも一方の平均厚さを測定する、請求項１に記載の装置。
【請求項７】
前記電子処理部によって実行される解析は、前記厚さデータによって提供される上部保護膜の厚さを、前記ジオメトリデータによって提供される不連続部の深さから減じることにより、前記基材の表面よりも下の前記不連続部の真の深さを決定することを含む、請求項１に記載の装置。
【請求項８】
前記電子処理部によって実行される解析は、前記不連続部の真の深さを、前記基材の厚さから減じることにより前記不連続部の臨界性を決定して、前記臨界性の結果を生成することをさらに含む、請求項１に記載の装置。
【請求項９】
前記不連続部の臨界性を決定することは、前記臨界性の結果を、予め設定された最大臨界値と比較することを含む、請求項８に記載の装置。
【請求項１０】
前記不連続部の臨界性を決定することは、前記基材の性質、前記構造体の性質、および前記構造体が使用中に経験する可能性のある力を考慮することをさらに含む、請求項８に記載の装置。
【請求項１１】
前記電子処理部は、前記解析に基づいて、さらに前記不連続部を修復すべきか否かの決定を自動的に行い、前記決定を前記ディスプレイ上に視覚的に通知する、請求項８に記載の装置。
【請求項１２】
前記ジオメトリデータは、前記不連続部の３次元トポグラフィデータを提供する３次元点群を形成する複数のデータ点を含む、請求項１に記載の装置。
【請求項１３】
前記ディスプレイ上に通知された前記解析の結果は、前記不連続部の真の深さ、および、前記不連続部の断面立面図を含む、請求項１に記載の装置。
【請求項１４】
２つの面を有し、前記不連続部上に塗布されて前記不連続部に適合され、前記構造体の不連続部と隣接部との間の反射率差および色差をより均一にする適合部材をさらに含む、請求項１に記載の装置。
【請求項１５】
前記適合部材がエラストマー膜である、請求項１４に記載の装置。
【請求項１６】
前記適合部材の前記２つの面の間に圧力差を生じさせて、前記適合部材の前記不連続部への適合性を高める加圧機構をさらに含む、請求項１４に記載の装置。
【請求項１７】
前記構造体上の前記不連続部の位置に関する位置データを生成する位置センサをさらに含む、請求項１に記載の装置。
【請求項１８】
前記位置センサは、複数のローカル送信機から受信された信号に基づいて前記不連続部の位置を決定する無線３次元位置トラッカである、請求項１７に記載の装置。
【請求項１９】
構造体における表面の不連続部の評価を容易にする装置であって、
２つの面を有し、前記不連続部上に塗布されて前記不連続部に適合され、前記構造体の不連続部と隣接部との間の反射率差および色差をより均一にする適合膜と、
前記適合膜の２つの面の間に圧力差を生じさせて前記適合膜を前記構造体の方へ付勢し、前記適合膜の前記表面の不連続部への適合性を高める加圧機構と、
１以上の角度から前記不連続部を照明する１以上の光源と、
前記１以上の光源によって照明された前記不連続部の１以上の画像を取り込むデジタルカメラと、
前記不連続部の１以上の画像に基づいて前記不連続部のジオメトリに関するジオメトリデータを生成し、前記ジオメトリデータの解析を実行し、前記解析の結果をディスプレイ上に視覚的に通知する電子処理部と、を備える装置。
【請求項２０】
構造体における表面の不連続部の評価を容易にする装置であって、
前記不連続部に塗布されて前記不連続部に適合され、前記構造体の不連続部と隣接部との間の反射率差および色差をより均一にする適合ゲルおよび不透明な潤滑剤と、
１以上の角度から前記不連続部を照明する１以上の光源と、
前記１以上の光源によって照明された前記不連続部の１以上の画像を取り込むデジタルカメラと、
前記不連続部の１以上の画像に基づいて前記不連続部のジオメトリに関するジオメトリデータを生成し、前記ジオメトリデータの解析を実行し、前記解析の結果をディスプレイ上に視覚的に通知する電子処理部と、を備える装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本米国通常特許出願は、２０１７年３月９日に提出された同じ名称のシリアル番号第62/469,270号の先に出願された米国仮特許出願に関連し、優先権を主張する。特定された先に出願された出願は、この参照によって本明細書に完全に記載されたものとして組み込まれる。
【０００２】
本発明は、高性能な構造体における不連続部を測定する装置に関し、より具体的に、実施形態は、製造およびメンテナンス環境において、３次元トポグラフィ測定を行い、航空構造体などの高性能な構造体における表面の不連続部の検査および評価を容易にするハンドヘルド装置に関する。
【背景技術】
【０００３】
航空構造体などの高性能な構造体の製造およびその後のメンテナンスの間、表面の不連続部を測定することが望ましい。例えば、航空機の機体のアセンブリの全体にわたって不連続部が生じ、設定された要求を満たさない不連続部を修正するか、または影響を受ける部分を廃棄しなければならない可能性がある。既存の技術は、不連続部の深さの単一点または２次元の測定を行うことができるが、製造およびメンテナンス環境において、表面の不連続部を適切に測定するための精度、再現性、または速さを持っていない。
【０００４】
例えば、部品における不連続部の深さを決定する既知の技術は、複数の角度から照明された部品の複数の画像を取り込み、次いで画像を比較し、影の特性に基づいて不連続部の深さを推定することを含む。しかし、この技術の使用および精度は、部品の表面上に塗布された艶消仮保護膜（ＴＰＣ）および不連続部内の非常に明るい露出された金属によって生成される異なる反射率およびグレアによって悪影響を受ける可能性がある。さらに、不連続部の底部から上層のＴＰＣの上部ではなく金属表面の上部までの不連続部の深さを測定することが一般的に望ましい。実際に、ＴＰＣの厚さは、１インチの３０００分の１から５０００分の１であり得、不連続部の深さの３倍から５倍であり得る。したがって、既知の技術は、不連続部の周囲のＴＰＣを除去し、不連続部を測定し、次いでＴＰＣを再塗布することを含み、その全てがかなりの時間および労力を必要とする。
【０００５】
この背景の説明は、本発明に関連する、必ずしも先行技術ではない情報を提供することを意図している。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施形態は、３次元（３Ｄ）トポグラフィ測定を行い、航空構造体（例えば、アルミニウムの機体）などの高性能な構造体における表面の不連続部の検査および評価を容易にする、より高い分解能、より高い精度、およびより向上された再現性を持ち、製造および／またはメンテナンス環境における使用に適したハンドヘルド装置を提供することによって、上記およびその他の問題および制限を解決する。さらに、装置は、不連続部の底部から金属表面の上部までの不連続部の深さを、金属表面を覆うＴＰＣを除去して再塗布することを必要とせずに、迅速かつ容易に測定することができるという利点がある。
【課題を解決するための手段】
【０００７】
本発明の第１の実施形態においては、構造体における表面の不連続部の評価を容易にするハンドヘルド装置が提供され、構造体は、基材と、基材の表面上に塗布される上部保護膜と、を含む。装置は、１以上の光源と、デジタルカメラと、厚さセンサと、電子処理部と、を含むことができる。光源は、１以上の角度から不連続部を照明するように構成されてもよく、デジタルカメラは、光源によって照明される不連続部の１以上の画像を取り込むように構成されてもよい。厚さセンサは、基材および上部保護膜の少なくとも１つの厚さに関する厚さデータを生成するように構成されてもよい。処理部は、不連続部の画像に基づいて不連続部のジオメトリに関するジオメトリデータを生成し、ジオメトリデータおよび厚みデータの解析を実行し、解析の結果をディスプレイ上に視覚的に通知するように構成されてもよい。
【０００８】
第２の実施形態においては、構造体における表面の不連続部の評価を容易にするハンドヘルド装置が提供され、構造体は、基材と、基材の表面上に塗布される上部保護膜と、を含む。装置は、適合膜と、加圧機構と、１以上の光源と、デジタルカメラと、厚さセンサと、電子処理部と、を含むことができる。適合膜は、２つの面を有し、不連続部上に塗布されて不連続部に適合され、構造体の不連続部と隣接部との間の反射率差および色差をより均一にするように構成されてもよい。加圧機構は、適合膜を付勢して表面の不連続部により密接に接触させるように、適合膜の２つの面の間に圧力差を生成するように構成されてもよい。光源は、１以上の角度から不連続部を照明するように構成されてもよく、デジタルカメラは、光源によって照明される不連続部の１以上の画像を取り込むように構成されてもよい。処理部は、不連続部の画像に基づいて不連続部のジオメトリに関するジオメトリデータを生成し、ジオメトリデータの解析を実行し、解析の結果をディスプレイ上に視覚的に通知するように構成されてもよい。
【０００９】
第３の実施形態においては、構造体における表面の不連続部の評価を容易にするハンドヘルド装置が提供され、構造体は、基材と、基材の表面上に塗布される上部保護膜と、を含む。装置は、ゲルおよび不透明な潤滑剤と、１以上の光源と、デジタルカメラと、厚さセンサと、電子処理部と、を含むことができる。ゲルおよび不透明な潤滑剤は、不連続部上に塗布されて不連続部に適合され、構造体の不連続部と隣接部との間の反射率差および色差をより均一にするように構成されてもよい。光源は、１以上の角度から不連続部を照明するように構成されてもよく、デジタルカメラは、光源によって照明される不連続部の１以上の画像を取り込むように構成されてもよい。処理部は、不連続部の画像に基づいて不連続部のジオメトリに関するジオメトリデータを生成し、ジオメトリデータの解析を実行し、解析の結果をディスプレイ上に視覚的に通知するように構成されてもよい。
【００１０】
前述の実施形態の様々な実施例は、以下の追加のまたは代替的な特徴のうちの任意の１以上を含むことができる。１以上の光源は、複数の角度から不連続部を照明するように配置された複数の光源であってもよい。不連続部のジオメトリは、基材の表面よりも下方の深さおよび／または上方の高さを含むことができる。厚さセンサは、超音波トランスデューサであってもよい。厚さセンサは、不連続部の周囲の領域の基材および上部保護膜の少なくとも１つの平均厚さを測定することができる。処理部によって実行される解析は、ジオメトリデータによって提供される不連続部の深さから厚さデータによって提供される上部保護膜の厚さを減じることにより、基材の表面よりも下方の不連続部の真の深さを決定することを含むことができる。解析は、基材の厚さから不連続部の真の深さを減じることにより不連続部の臨界性を決定し、臨界性の結果を生成することを含むことができる。不連続部の臨界性を決定することは、臨界性の結果を、予め設定された最大臨界値と比較することを含むことができる。臨界性を決定することは、基材の性質、構造体の性質、および構造体が使用中に経験する可能性のある力を考慮することをさらに含むことができる。処理部は、解析に基づいて、不連続部を修復すべきか否かの決定を自動的に行い、決定をディスプレイ上に視覚的に通知するようにさらに構成することができる。ジオメトリデータは、不連続部の３次元トポグラフィデータを提供する３次元点群を形成する複数のデータ点を含むことができる。ディスプレイ上に通知された解析の結果は、不連続部の真の深さおよび不連続部の断面立面図を含むことができる。
【００１１】
装置は、２つの面を有し、不連続部上に塗布されて不連続部に適合され、構造体の不連続部と隣接部との間の反射率差および色差をより均一にする適合部材をさらに含むことができる。適合部材はエラストマー膜であってもよい。装置は、エラストマー膜の２つの面の間に圧力差を生じさせてエラストマー膜を構造体の方へ付勢し、エラストマー膜の不連続部への適合性を高める加圧機構をさらに含むことができる。装置は、構造体上の不連続部の位置に関する位置データを生成する位置センサをさらに含むことができる。位置センサは、複数のローカル送信機から受信された信号に基づいて不連続部の位置を決定する無線３次元位置トラッカであってもよい。
【００１２】
この要約は、本発明の本質的な特徴を特定することを意図するものではなく、請求項の範囲を限定するために使用されることを意図しない。本発明のこれらの態様および他の態様は、以下に、より詳細に記載される。
【図面の簡単な説明】
【００１３】
添付の図面を参照して本発明の実施形態を以下に詳細に説明する。
【図１Ａ−１Ｂ】図１Ａおよび図１Ｂは、それぞれ、表面の３Ｄトポグラフィ測定を行う装置の実施形態の正面および背面の等角図である。
【図２】図２は、表面の不連続部の部分的な断面立面図である。
【図３】図３は、不連続部上に配置された装置の部分的な断面立面図であり、装置は、装置と表面との間の空気を除去する第１の解決策を実装する。
【図４】図４は、不連続部上に配置された装置の部分的な断面立面図であり、装置は、装置と表面との間の空気を除去する第２の解決策を実装する。
【図５】図５は、不連続部上に配置された装置の部分的な断面立面図であり、装置は、装置と表面との間の空気を除去する第３の解決策を実装する。
【図６】図６は、動作中の装置によって実行される動作のハイレベルフローチャートである。
【図７】図７は、動作中の装置の処理部によって実行されるステップの代替的な第１、第２および第３のフローチャートである。
【図８】図８は、動作中の装置のユーザによって実行されるステップのフローチャートである。
【図９】図９は、装置によって生成されたデータの管理に関わるステップのフローチャートである。
【図１０】図１０は、装置の表示部上に表示されたレポートの図である。
【図１１】図１１は、装置の第１の代替的な実施例の部分的な断面立面図である。
【図１２】図１２は、装置の第２の代替的な実施例の部分的な断面立面図である。
【図１３】図１３は、装置の第３の代替的な実施例の部分的な断面立面図である。
【図１４】図１４は、装置の第４の代替的な実施例の部分的な断面立面図である。
【図１５】図１５は、装置の第５の代替的な実施例の部分的な断面立面図である。
【図１６】図１６は、装置の第６の代替的な実施例の部分的な断面立面図である。
【図１７】図１７は、装置の第７の代替的な実施例の部分的な断面立面図である。
【図１８】図１８は、装置の第８の代替的な実施例の部分的な断面立面図である。
【図１９】図１９は、装置の第９の代替的な実施例の部分的な断面立面図である。  図面は、それらが示す特定の実施形態に本発明を限定することを意図するものではない。図面は必ずしも縮尺通りではない。
【発明を実施するための形態】
【００１４】
本発明の実施形態の以下の詳細な説明は、添付の図面を参照する。実施形態は、当業者が本発明を実施できるようにするために十分詳細に本発明の態様を説明することを意図している。特許請求の範囲を逸脱することなく、他の実施形態を利用してもよく、変更を加えることができる。したがって、以下の説明は限定的ではない。本発明の範囲は、添付の特許請求の範囲、および、そのような特許請求の範囲が権利を与えられるものの等価物の全範囲によってのみ規定される。
【００１５】
この明細書において、「一実施形態」または「実施形態」についての言及は、言及された特徴が本発明の少なくとも１つの実施形態に含まれることを意味する。本明細書における「一実施形態」または「実施形態」についての別個の言及は、必ずしも同じ実施形態に対する言及ではなく、記載されていない限り互いに排他的ではない。具体的には、一実施形態で説明した特徴、構造体、動作などは、他の実施形態に含まれてもよいが、必ずしも含まれる必要はない。従って、本発明の特定の実施例は、本明細書に記載の実施形態の様々な組み合わせおよび／または統合を含むことができる。
【００１６】
大まかに特徴を述べると、本発明は、３次元（３Ｄ）トポグラフィ測定を行い、航空構造体（例えば、アルミニウムの機体）などの高性能な構造体における表面の不連続部の検査および評価を容易にする、より高い分解能、より高い精度、およびより向上された再現性を持ち、製造および／またはメンテナンス環境における使用に適したハンドヘルド装置を提供する。さらに、装置は、不連続部の底部から金属表面の上部までの不連続部の真の深さを、金属表面を覆うＴＰＣを除去して再塗布することを必要とせずに、迅速かつ容易に測定することができるという利点がある。装置は、傷、ドリルラン、溝、ドリルマーク、窪み、重ね合わせ、穴および／またはドリルスタートなどのように、１インチの１０００分の１から３０００分の１の間の深さを有する、実質的に任意のタイプの不連続部を測定するように構成されてもよい。一実施例において、装置は、高すぎると、構造体の表面を横切る層流に干渉する可能性がある、リベットまたは他の締め具のヘッドの高さなどの不連続部の高さを測定するようにさらに構成されてもよい。
【００１７】
大まかに特徴を述べると、実施形態の装置は、以下のように機能することができる。光源は複数の角度から不連続部を照明し、カメラは不連続部の画像を取り込むことができる。厚さセンサは、基材および上部保護膜の厚さに関する厚さデータを生成することができる。処理部は、画像に基づいて不連続部のジオメトリに関するジオメトリデータを生成し、ジオメトリ、厚さ、および位置データの解析を実行し、解析の結果をディスプレイ上に通知することができる。さらに、構造体の不連続部と隣接部との間の反射率差および色差をより均一にするために、適合部材（例えば、膜および／またはゲルおよび不透明な潤滑剤および／または不透明な表面層を有する透明なゲル）を塗布して不連続部に適合させることができる。
【００１８】
図１Ａおよび図１Ｂを参照すると、実施形態の装置２０は、大まかに、処理部２２と、ディスプレイ２４と、トリガ２６と、電源２８と、適合部材４６と、ＴＰＣおよび／または基材センサ３２と、位置センサ３４と、を含む。これらの構成要素の一部または全部がハンドヘルド装置に統合され、携帯性が高く、自動化され、製造および／またはメンテナンス環境において使用可能な完全な３Ｄ測定ワークフローを提供することができる。
【００１９】
処理部２２は、画像およびＴＰＣおよび／または基材センサ３２からデータを受信し、格納し、解析し、ディスプレイ２４上に表示するためのレポートを提供するように構成された電子メモリおよび電子プロセッサの実質的に任意の適切な組み合わせであってもよい。ディスプレイ２４は、処理部２２によって生成された出力を表示するように構成された、実質的に任意の適切な視覚表示装置であってもよい。一実施例において、処理部２２およびディスプレイ２４は、ハンドヘルド装置に組み込まれるか、または取り付けられたタブレットコンピュータまたはシングルボードコンピュータ（ＳＢＣ）の形態で提供されてもよい。トリガ２６は、ユーザが装置２０の動作を開始できるように構成された、実質的に任意の適切なトリガまたは他のスイッチング機構であってもよい。電源２８は、装置２０の動作に電力を供給するように構成された実質的に任意の適切な電源であってもよい。一実施形態において、電源はハンドヘルド装置に組み込まれた充電式バッテリであってもよい。
【００２０】
１以上の光源（以下に説明する）は、複数の角度から不連続部を照明することができ、デジタルカメラ（以下に説明する）は、照明された不連続部のデジタル画像を生成し、画像を解析して不連続部のジオメトリを決定する。適合部材４６は、サブミクロンの精度で不連続部の深さ（および／または高さ）および／または体積を決定することを可能にすることを含めて、その光学特性に関係なく、これらの構造体の画像を改善するように構成することができ、それにより、光学的に複雑な表面であっても、精度、再現性、および一貫した性能を発揮することを確実にする。特に、適合部材４６は、反射率および色をより均一にし、グレアを低減することができる。さらに、適合部材４６は、高速な取得を提供し、それにより、測定ドリフトを回避し、振動に対する感度を低減し、環境変化（例えば、温度）に対する感度を排除することができる。適合部材４６は、例えば、エラストマーまたは他の膜および／またはゲルおよび／または不透明な潤滑剤であってもよい。本発明での使用に適した適合部材は、GelSight Inc.から入手可能なGelSightセンサ製品の一部を構成する不透明な表面層を有する透明ゲルであってもよい。GelSightテクノロジーは、「弾性撮像を使用する接触センサ」という名称の米国特許第8,411,140号、ともに「高分解能表面測定システムおよび方法」という名称の米国特許第9,127,938号および第9,538,056号、「エラストマーを介した物体の３次元デジタル印象および視覚化のための方法およびシステム」という名称の米国特許出願公開第2014/0104395号、「連続接触式３次元測定」という名称の米国特許出願公開第2014/0253717号、およびウェブページを含む他の出版された論文を含む、いくつかの特許および公開特許出願を題材にしている。適合部材４６の様々な実施例は、ゲルではないエラストマー膜、エラストマー膜ではないゲルおよび可能な限り不透明な潤滑剤、エラストマー膜およびゲルの両方、またはエラストマー膜でもゲルでもなく、いくつかの他の適合技術（以下に記載され、図１８に示される第８の代替的な実施において使用することができるいくつかの薄層技術のいずれかのようなもの）を含むことができる。
【００２１】
ＴＰＣおよび／または基材センサ３２は、ＴＰＣ膜の厚さおよび／または下にある金属または他の基材の厚さを測定するように構成された実質的に任意の適切なセンサであってもよい。一実施例において、ＴＰＣおよび／または基材センサは、ＴＰＣおよび／または基材の厚さにおける全ての局所偏差の影響を最小限に抑えることができる、比較的広い領域にわたって平均厚さを測定するように構成された超音波トランスデューサであってもよい。ＴＰＣおよび／または基材センサ３２が、透明ゲルまたはGelSightゲルなどのエラストマーベースの適合部材と共に使用される場合、適合部材４６は、センサとＴＰＣ膜および／または基材との間で超音波を伝播するために使用されてもよい。そのような場合、超音波の伝播を容易にするために、適合部材とＴＰＣおよび／または基材との間に接触媒質４８を導入することが有益であり得る。別の実施例において、ＴＰＣおよび／または基材センサは、電磁流を測定するように構成された渦電流センサであってもよい。いくつかの実施形態は、ＴＰＣを測定するのではなく基材を測定することができるが、他の実施形態は、基材を測定するのではなくＴＰＣを測定することができ、さらに別の実施形態は、ＴＰＣおよび基材を測定する別個のセンサを使用することができる。
【００２２】
位置センサ３４は、部品またはその部品が一部であるより大きな構造体（例えば、航空機）上の不連続部の位置を決定するように構成された実質的に任意の適切なセンサであってもよい。一実施例において、位置センサ３４は、ローカル送信機から受信された信号に基づいてその位置を決定するように構成された無線３Ｄ位置トラッカであってもよく、不連続部の位置は、位置センサ３４の位置と同一であってもよいし、位置センサ３４の位置に基づいて容易に決定されてもよい。不連続部の位置は、後の検索および検討のために電子メモリに保存することができる。特に、部品上の不連続部の位置は、不連続部の臨界性（およびそれを修復すべきか否か）を決定するために、および不連続部およびそれに対する全ての変化を経時的に追跡するために有用であり得る。いくつかの実施形態は、位置センサ３４を含まなくてもよい。
【００２３】
また、図２を参照すると、部品３６は表面３８がＴＰＣ４０で覆われていてもよく、不連続部４２はＴＰＣ４０を通過して部品３６の基材内に延びていてもよい。装置２０の動作中に、ＴＰＣおよび／または基材センサ３２は、ＴＰＣ４０の厚さを測定することができる。処理部２２は、照明された不連続部４２の画像を受け取り、画像に基づいて不連続部のジオメトリに関するジオメトリデータを生成し、ジオメトリおよび厚さデータの解析を実行し、解析の結果をディスプレイ２４上に通知することができる。解析は、不連続部４２の底部から部品３６の表面３８の上部までの所望の深さ測定値  −不連続部４２の「真の」深さ−  に達するように、不連続部４２の決定された深さからＴＰＣ４０の厚さを減じることを含むことができる。従って、装置２０は、ＴＰＣ４０を除去してから再塗布することを必要とせずに、不連続部４２の真の深さを測定することができるという利点があり、それにより、時間および費用を節約して品質を改善する。また、処理部２２は、不連続部の真の体積を計算することができる。さらに、ＴＰＣおよび／または基材センサ３２は、基材の厚さを測定することができ、処理部２２は、少なくとも不連続部の真の深さおよび不連続部が延びる基材の厚さに基づいて、不連続部が基材の修理または交換を正当であるとするのに十分に重要であるか否かを決定することができる。他の考察は、基材および／または部品３６の性質（例えば、性能特性）、および部品３６が使用中に経験する可能性のある力を含むことができる。
【００２４】
より詳細には、処理部２２は、基材の厚さから不連続部の真の深さを減じることにより不連続部の臨界性を決定して、臨界性の結果を生成することができる。臨界性を決定することは、臨界性の結果を予め設定された最大臨界値と比較すること、および／または基材の性質、構造体の性質、および構造体が使用中に経験する可能性のある力を考慮することを含むことができる。
【００２５】
さらに、処理部２２は、不連続部を修復すべきか否かを自動的に決定し、決定を装置２０のユーザまたは他の責任者に通知することができる。不連続部を評価して決定を下すことは、機械学習の使用を含んでもよい。より具体的には、処理部２２は、従来の機械学習技術により、不連続部を修復すべきか否かを効果的にかつ確実に決定する方法を学習することができる。その結果である処理部２２による決定は、何人かの人間のユーザによる決定よりも客観的であり、信頼することができる。
【００２６】
適合部材４６と部品３６との間の空気は、測定の精度に悪影響を与えることがある。１つの解決策は、ユーザが部材４６を強制的に部品３６に押し付けることである。しかし、深い不連続部からの空気を除去するには２０ポンド以上の力が必要であり、その大きな力をかけるとユーザはすぐに疲れ、ユーザの手が震えて測定の精度に悪影響を及ぼす可能性がある。実施形態の装置２０は、この問題に対する以下の解決策のうちの１以上を含むことができる。
【００２７】
図３を参照すると、第１の解決策は、潤滑剤としても使える接触媒質４８を部品３６に塗布することを含む。接触媒質４８は、部材４６と部品３６との間の空気を除去するのを助け、部材４６が金属表面およびＴＰＣ膜にさえも付着するため、接触媒質の潤滑特性は、装置２０が部品３６の表面３８をより容易に横切ってスライドし、ユーザが、装置２０を、測定する特徴上の中心に置くことをより容易にすることができる。図４を参照すると、第２の解決策は、凸形状５０の部材４６を提供することを含む。この凸形状５０は、既存の平面形状よりも、部材４６と部品３６との間の空気をより良好に除去することを可能にする。図５を参照すると、第３の解決策は、真空５２を適用して空気を低減または除去し、それによって部材４６と部品３６との間に圧力差を作り出し、部材４６が、より部品３６および不連続部４２に密接するようにすることを含む。これは、部材４６の端部の周囲にシーリングスカートまたはガスケット５４を設けて真空の生成および維持を補助し、かつ部材４６と部品３６との間の空間から空気を押し出すことを必要とすることがある。また、これらの解決策のいずれかまたは全てを組み合わせて、望ましい結果を達成することができる。
【００２８】
実施形態の装置２０は、「目標立体感」を達成することができ、立体感（Ｔ）は、幅（Ｗ）、高さ（Ｈ）、および深さ（Ｄ）に基づく２値判定である。方程式Ｔ（Ｗ、Ｈ、Ｄ）は行列式であり、不連続部のサンプルセットが与えられた多変量回帰分析によって得ることができる。統計的分析を通じて、装置２０が不連続部を立体的であると評価することを既知の信頼区間で決定することができる。
【００２９】
装置２０の最小の再現性および再生性は、不連続部４２の深さの臨界閾値に依存し得る。例えば、臨界閾値が１インチの１０００分の１であり、許容消失量が４対１であると仮定すると、装置２０の最小の再現性および再生性は２５マイクロインチ以下であり得るが、１００マイクロインチの近くであり得る。装置２０のサイクル時間は、測定プロセスの開始からディスプレイ２４上のユーザへの結果の表示までの期間であり、１分以下、または１５秒以下、または５秒と１５秒との間とすることができる。
【００３０】
また、図６を参照すると、装置２０の動作の態様のハイレベルフローチャート１２０が示されている。一旦、装置２０がトリガされると、カメラは、部品３６の照明された表面３８の画像を生成し、処理部２２は、１２２に示すように、画像に基づいて３Ｄ点群のデータを生成する。装置２０は、１２４に示すように、関心のある幾何学的特徴（すなわち、不連続部４２）について３Ｄ点群を調査することができる。装置２０は、１２６に示すように、ＴＰＣおよび／または基材センサ３２を使用して、ＴＰＣ４０よりも下の基準面３８（“datum reference plane”（ＤＲＴ））を測定する、および／または基材の厚さ（“datum reference thickness”（ＤＲＴ））を測定することができる。処理部２２は、１２８に示すように、不連続部４２のジオメトリに関するジオメトリデータ（例えば、３Ｄトポグラフィデータ）を生成することができる。その結果である不連続部４２のジオメトリデータは、深さ（または高さ）を決定するために、および／または不連続部４２の体積を計算するために使用することができる。装置２０は、１３０に示すように、測定結果に許容限界を適用し、１３２に示すように、結果をユーザのディスプレイ２４に表示することができる。装置２０は、１３４に示すように、結果を長期記憶のためのデータベースに記録することができる。
【００３１】
また、図７を参照すると、処理部２２によって実行されるデータ処理について、部品３６の表面３８上の関心領域（ＲＯＩ）内の不連続部４２の深さを決定する３つの例示的なワークフロー２２０,３２０,４２０が示される。第１の例示的なワークフロー２２０において、装置２０は、２２２に示すように、ＲＯＩマスクを適用し；２２４に示すように、表面３８上の点を計算して整列させ；２２６に示すように、ＲＯＩ内の不連続部４２を検出し；２２８に示すように、不連続部４２の真の深さを決定する。第２の例示的なワークフロー３２０において、装置２０は、３２２に示すように、ユーザのＲＯＩマスクを適用し；３２４に示すように、ＲＯＩ内の不連続部４２を検出し；３２６に示すように、追加の自動ＲＯＩマスクを適用し；３２８に示すように、表面３８上の点を計算して整列させ；３３０に示すように、不連続部４２の真の深さを決定する。第３の例示的なワークフロー４２０において、装置２０は、４２２に示すように、ＲＯＩマスクを適用し；４２４に示すように、表面３８上の点を計算して整列させ；４２６に示すように、不連続部４２の真の深さを決定する。
【００３２】
また、図８を参照すると、装置２０のユーザについての例示的なワークフロー５２０が示されている。ユーザは、５２２に示すように、装置２０の電源を入れ；５２４に示すように、測定する不連続部のタイプを選択するか、またはデフォルトタイプを使用し；５２６に示すように、必要なデータフィールドを入力し；５２８に示すように、装置を不連続部４２に適用し；５３０に示すように、トリガ２６を作動させる。次に、装置２０は、５３２に示すように、図７に示す１つのワークフローなどのワークフローに従って、不連続部４２を測定する。ユーザは、５３４に示すように、測定の結果をレビューする。ユーザが測定に満足すれば、５３６に示すように、ユーザは測定を受け入れて結果を記録する。ユーザが関心のある特徴を装置２０が自動的に検出しなかったことをユーザが見つけた場合、またはユーザが他の点で測定に不満がある場合、ユーザは、ＲＯＩマスクを適用し、５３２に戻ることによって装置２０に測定を繰り返し行わせることができる。
【００３３】
以下の表１は、入力される例示的なデータフィールドを示す。いくつかのフィールドは、ワークフロー５２０の必須フィールドに入力するステップ５２６においてユーザによって入力されてもよい。他のフィールドは、装置２０によって自動的に入力されてもよい。これらのデータフィールドの一部または全ては、記録された結果に含めることができる。
【００３４】
【表１】
2018185292.tif 000003
【００３５】
また、図９を参照すると、ステップ５３６においてユーザが測定を受け入れると発生する例示的なデータフロー６２０が示されている。データは、６２２に示すように、フォルダおよびファイル構造を使用して、装置２０上にローカルに格納および管理することができる。特に、各測定操作は、操作の結果を含むそれ自身のアスキーのテキストファイルを持つことができる。また、データを、その結果の.PDFまたは.JPGファイルとして書き出して、必要に応じて結果をレポートに添付することができる。これに加えて、またはこれに代えて、６２４に示すように、データまたはデータのコピーを共有フォルダの場所に格納して共有フォルダの場所から管理することができる。装置２０は、ADVMOBまたはSWPA10のような無線接続を介して共有フォルダの場所にアクセスすることができる。データは、６２６に示すように、無線接続を介してアクセスし、使用し、CM4Dまたは品質データベースによって管理することができる。１つの実施例において、装置２０は、不連続部のキャプチャの６つの画像ファイル（rawフォーマット）、不連続部の３Ｄプロファイルの１つの画像ファイル（GelSightフォーマット）、不連続部の３Ｄプロファイルの１つの画像ファイル（jpegフォーマット）、結果のレポートの１つのPDFファイル、および取り込まれたデータフィールドの１つの.csvファイル（ユーザの入力、深さの測定値など）を含む、いくつかのデータファイルを記録することができる。
【００３６】
また、図１０を参照すると、ユーザのディスプレイ２４上に表示することができる例示的な出力レポート７２０が示されている。大まかに、レポート７２０は、不連続部の真の深さ７２２と、不連続部４２が立体的であるか否か、不連続部４２の長さおよび幅、および不連続部４２が外装を貫通するか否かなどの他の所望の記述的なメトリックを含むことができる。一実施形態において、レポート７２０は、不連続部４２の表面のトポグラフィの３Ｄ描写７２４および／または２Ｄ描写７２６を含む、不連続部４２の物理的なプロファイルの視覚化を含むことができる。レポート７２０は、最大の許容される不連続部に対する測定値の比較に基づいて、「合格／不合格」またはパス／フェイルの指示を含むことができる（すなわち、測定された不連続部４２の深さが最大許容深さ未満なのか否か）。
【００３７】
図１１〜図１８は、装置の１以上の構成要素に影響を及ぼす特定の実施例に関する。特に言及しない限り、影響を受けた構成要素を組み込んだ装置の他の構成要素および／または機能は、他の点では、上記の実施形態および実施例と実質的に類似または同一であってもよい。さらに、任意の実施形態または実施例の任意の特徴は、必要に応じて任意の他の実施形態または実施例に組み込むことができる。
【００３８】
図１１を参照すると、大まかに、ＴＰＣおよび／または基材センサ１１３２と、部材１１４６と、ハンドル１１５０と、プランジャ１１５２と、リターンスプリング１１５４と、チャンバ１１５６と、カメラ１１５８と、１以上の光源１１６０と、シール１１６２と、を含む、第１の代替的な実施例の装置１１２０が示されている。ＴＰＣおよび／または基材センサ１１３２は、ＴＰＣ１１４０の厚さを決定する上述した渦電流センサとすることができる。ＴＰＣおよび／または基材センサ１１３２は、コンタクトフットに組み込まれてもよい。部材１１４６は、不透明で均一な反射率を有する上述の膜であってもよい。ハンドル１１５０およびプランジャ１１５２は、チャンバ１１５６内の圧力を増加させ、それによって部材１１４６を部品１１３６とより密接に接触させることを可能にするように構成することができる。より具体的には、ユーザは、ハンドル１１５０を押し下げてプランジャ１１５２をチャンバ１１５６内に移動して、チャンバ１１５６内およびチャンバ側の部材１１４６上の圧力を増加し、これにより強制的に部材１１４６をより適合させて部品１１３６に接触させ、かつ不連続部１１４２に入れることができる。次いで、１以上の光源１１６０は、部品１１３６の表面１１３８における不連続部１１４２を照明することを含む、１以上の角度から部材１１４６を照明することができ、カメラ１１５８は、上述のように処理することができる、１以上の画像を取り込むことができる。画像が撮影され、ユーザがハンドル１１５０を押すのをやめると、リターンスプリング１１５４は、プランジャ１１５２を元の位置に戻し、チャンバ１１５６内の圧力を元の値に戻す。
【００３９】
図１２を参照すると、大まかに、ＴＰＣおよび／または基材センサ１２３２と、部材１２４６と、真空ライン１２５０と、チャンバ１２５６と、カメラ１２５８と、１以上の光源１２６０と、シール１２６２と、を含む、第２の代替的な実施例の装置１２２０が示されている。ＴＰＣおよび／または基材センサ１２３２は、ＴＰＣ１２４０の厚さを決定する上述した渦電流センサとすることができる。ＴＰＣおよび／または基材センサ１２３２は、コンタクトフットに組み込まれてもよい。部材１２４６は、不透明で均一な反射率を有する上述の膜であってもよい。真空ライン１２５０は、上述の理由のために、チャンバ１２５６から空気を自動的に除去することを可能にするように構成することができる。より具体的には、ユーザは、真空ライン１２５０を介してチャンバ１２５６から空気を除去する真空ポンプ（図示せず）を作動させることができる。シール１２６２は、空気がチャンバ１２５６に戻るのを防止し、それによってチャンバ１２５６内に少なくとも部分的な真空を作り出す。１以上の光源１２６０は、部品１２３６の表面１２３８における不連続部１２４２を含む、１以上の角度から部材１２４６を照明することができ、カメラ１２５８は、上述のように処理することができる、１以上の画像を取り込むことができる。
【００４０】
図１３を参照すると、大まかに、ＴＰＣおよび／または基材センサ１３３２と、部材１３４６と、カメラ１３５８と、１以上の光源１３６０と、を含む、第３の代替的な実施例の装置１３２０が示されている。ＴＰＣおよび／または基材センサ１３３２は、ＴＰＣ１３４０の厚さを決定する上述した渦電流センサとすることができる。ＴＰＣおよび／または基材センサ１３３２は、コンタクトフットに組み込まれてもよい。部材１３４６は、不透明で均一な反射率を有する上記の膜であってもよい。１以上の光源１３６０は、部品１３３６の表面１３３８における不連続部１３４２を含む、１以上の角度から部材１３４６を照明することができ、カメラ１３５８は、上述のように処理することができる、１以上の画像を取り込むことができる。
【００４１】
図１４を参照すると、大まかに、潤滑剤または他の流体１４４７および光学的に透明なゲル１４４８の形態の適合部材１４４６と、カメラ１４５８と、１以上の光源１４６０と、を含む、第４の代替的な実施例の装置１４２０が示されている。流体１４４７は不透明で均一な反射率を有することができ、ゲル１４４８は流体１４４７に押し付けて流体１４４７の均一な層を生成し、気泡を除去し、それにより膜と実質的に類似または同一の効果を達成することができる。１以上の光源１４６０は、部品１４３６の表面１４３８における不連続部１４４２を含む、１以上の角度からゲル１４４８を通過して流体１４４７を照明することができ、カメラ１４５８は、上記のように処理することができる、１以上の画像を取り込むことができる。
【００４２】
図１５を参照すると、大まかに、カメラ１５５８と、複数の光源１５６０と、を含む、第５の代替的な実施例の装置１５２０が示されている。この実施例において、膜（または、例えば、流体エラストマーの代替物）が存在しても存在しなくてもよい。複数の光源１５６０は、部品１５３６の表面１５３８における不連続部１５４２を含む、複数の異なる角度からＲＯＩを照明するように配置されてもよく、カメラ１５５８は、上記のように処理することができる、１以上の画像を取り込むことができる。グレアおよび照明の均一性の問題を克服するのに十分な数の光源１５６０があれば、膜は必要ではない可能性がある。
【００４３】
図１６を参照すると、大まかに、ＴＰＣ１６４０と、カメラ１６５８と、複数の光源１６６０と、を含む、第６の代替的な実施例の装置１６２０が示されている。膜（または、例えば、流体エラストマーの代替物）およびＴＰＣおよび／または基材センサの両方が、この実施例では存在しても存在しなくてもよい。ＴＰＣ１６４０は、Ｘ線を透過させるものであってもよい。複数の光源１６６０は、Ｘ線を照射することができ、部品１６３６の表面１６３８の不連続部１６４２を含む、複数の異なる角度からＲＯＩを照明するように配置することができる。カメラ１６５８は、Ｘ線撮像のために構成されてもよく、上述のように処理することができる、１以上のＸ線画像を取り込んでもよい。Ｘ線がＴＰＣ１６４０を通過し、ＴＰＣ１６４０の厚さを別途考慮することなく、不連続部１６４２の真の深さを決定することができるため、ＴＰＣおよび／または基材センサは不要である可能性がある。また、グレアおよび照明の均一性の問題を克服するのに十分な数の光源１６６０があれば、膜は必要ではない可能性がある。
【００４４】
図１７を参照すると、大まかに、ＴＰＣ１７４０と、カメラ１７５８と、複数の光源１７６０と、を含む、第７の代替的な実施例の装置１７２０が示されている。この実施例において、膜（または、例えば、流体エラストマーの代替物）は存在しても存在しなくてもよい。ＴＰＣ１７４０は、光学的に透明、または複数の光源１７６０によって照射される特定の波長または波長範囲において少なくとも透明であってもよい。複数の光源１７６０は、部品１７３６の表面１７３８における不連続部１７４２を含む、複数の異なる角度からＲＯＩを照明するように配置されてもよく、カメラ１７５８は、上記のように処理することができる、１以上の画像を取り込むことができる。複数の光源１７６０によって照射された波長が透明なＴＰＣ１７４０を通過し、ＴＰＣ１７４０の厚さを別途考慮することなく、不連続部１７４２の真の深さを決定することができるため、ＴＰＣおよび／または基材センサは不要である可能性がある。また、グレアおよび照明の均一性の問題を克服するのに十分な数の光源１７６０があれば、膜は必要ではない可能性がある。
【００４５】
図１８を参照すると、大まかに、適合部材１８４６と、カメラ１８５８と、１以上の光源１８６０と、を含む、第８の代替的な実施例の装置１８２０が示されている。適合部材１８４６は、不透明であり、均一な反射率を有し、接触するＲＯＩの表面に適合するように十分に薄く且つ可撓性のある、ゲル、フィルム、シート、膜または他の層のような実質的に任意の薄層であり得る。例えば、薄層は金箔、銀箔またはアルミニウム箔であってもよい。１以上の光源１８６０は、部品１８３６の表面１８３８における不連続部１８４２を含む、１以上の角度から薄層部材１８４６を照明することができ、カメラ１８５８は、上記のように処理することができる、１以上の画像を取り込むことができる。
【００４６】
図１９を参照すると、大まかに、ＴＰＣ１９４０と、カメラ１９５８と、１以上の光源１９６０と、を含む、第９の代替的な実施例の装置１９２０が示されている。膜（または、例えば、流体エラストマーの代替物）およびＴＰＣおよび／または基材センサの両方が、この実施例において存在しても存在しなくてもよい。ＴＰＣ１９４０の色は、ＴＰＣ１９４０の厚さに応じて変化し、より暗い色はより厚い厚さに対応し、より薄い色はより薄い厚さに対応する。光源１９６０は、白色光を照射して、部品１９３６の表面１９３８における不連続部１９４２を含む、１以上の角度からＲＯＩを照射することができ、カメラ１９５８は、色を考慮して色を厚さに関連付ける追加のステップで上述したように処理することができる、１以上の画像を取り込むことができる。ＴＰＣ１９４０の色がＴＰＣ１９４０の厚さを決定することができるため、ＴＰＣおよび／または基材センサは不要である可能性がある。
【００４７】
図面に示す１以上の実施形態を参照して本発明を説明したが、特許請求の範囲に記載された本発明の範囲から逸脱することなく、本明細書において均等物を使用し、置換を行うことが可能であることが理解される。
【００４８】
このように、本発明の１以上の実施形態を説明したが、新規なものとして請求され、特許によって保護されることが望まれるものは、以下のものを含む：
【図１Ａ】
2018185292.tif 000004
【図１Ｂ】
2018185292.tif 000005
【図２】
2018185292.tif 000006
【図３】
2018185292.tif 000007
【図４】
2018185292.tif 000008
【図５】
2018185292.tif 000009
【図６】
2018185292.tif 000010
【図７】
2018185292.tif 000011
【図８】
2018185292.tif 000012
【図９】
2018185292.tif 000013
【図１０】
2018185292.tif 000014
【図１１】
2018185292.tif 000015
【図１２】
2018185292.tif 000016
【図１３】
2018185292.tif 000017
【図１４】
2018185292.tif 000018
【図１５】
2018185292.tif 000019
【図１６】
2018185292.tif 000020
【図１７】
2018185292.tif 000021
【図１８】
2018185292.tif 000022
【図１９】
2018185292.tif 000023
【外国語明細書】
1. Title of Invention
OPTICAL MEASUREMENT DEVICE FOR INSPECTION OF DISCONTINUITIES IN AEROSTRUCTURES
2. Detailed Description of Invention
Related Application
【０００１】
The present U.S. non-provisional patent application is related to and claims priority of an earlier filed U.S. provisional patent application of the same title, Serial No. 62/469,270, filed March 9, 2017.  The identified earlier-filed application is incorporated by reference as if fully set forth herein.
Field
【０００２】
The present invention relates to devices for measuring discontinuities in high performance structures, and more particularly, embodiments concern a handheld device for making three-dimensional topography measurements and facilitating inspection and evaluation of surface discontinuities in high performance structures, such as aerostructures, in production and maintenance environments.
Background
【０００３】
It is desirable during the production and subsequent maintenance of high performance structures, such as aerostructures, to measure surface discontinuities.  For example, discontinuities can occur throughout the assembly of aircraft fuselages, and discontinuities that do not meet established requirements may have to be reworked or the affected piece may have to be scrapped.  Existing technologies are able to provide single-point or two-dimensional measurements of discontinuity depth, but do not have the accuracy, repeatability, or speed to adequately measure surface discontinuities in production and maintenance environments.
【０００４】
For example, a known technique for determining the depth of a discontinuity in a piece involves capturing multiple images of the piece lit from multiple angles, and then comparing the images and estimating the depth of the discontinuity based on the characteristics of shadows.  However, the use and accuracy of this technique can be negatively affected by the different reflectivities of and glare produced by the matte temporary protective coating (TPC) applied over the surface of the piece and the much brighter exposed metal within the discontinuity.  Further, it is generally desirable to measure the depth of the discontinuity from the bottom of the discontinuity to the top of the metal surface, not to the top of the overlying TPC.  In fact, the thickness of the TPC may be between three-thousandths and five-thousandths of an inch, which may be as much as three to five times the depth of the discontinuity.  Thus, a known technique involves removing the TPC around the discontinuity, measuring the discontinuity, and then reapplying the TPC, all of which requires a significant amount of time and effort.
【０００５】
This background discussion is intended to provide information related to the present invention which is not necessarily prior art.
Summary
【０００６】
Embodiments of the present invention solve the above-described and other problems and limitations by providing a handheld device for making three-dimensional (3D) topography measurements and facilitating inspection and evaluation of surface discontinuities in high performance structures, such as aerostructures (e.g., aluminum fuselages), with higher resolution, greater accuracy, and increased repeatability, and which is suitable for use in production and/or maintenance environments.  Further, the device advantageously allows for quickly and easily measuring the depth of a discontinuity from the bottom of the discontinuity to the top of the metal surface without requiring that the TPC overlaying the metal surface be removed and reapplied.
【０００７】
In a first embodiment of the present invention, a handheld device is provided for facilitating an evaluation of a surface discontinuity in a structure, wherein the structure includes a base material and a top protective coating applied over a surface of the base material.  The device may comprise one or more light sources, a digital camera, a thickness sensor, and an electronic processing component.  The light sources may be configured to illuminate the discontinuity from one or more angles, and the digital camera may be configured to capture one or more images of the discontinuity illuminated by the light sources.  The thickness sensor may be configured to generate thickness data regarding a thickness of at least one of the base material and the top protective coating.  The processing component may be configured to generate geometry data regarding a geometry of the discontinuity based on the images of the discontinuity, perform an analysis of the geometry data and the thickness data, and visually communicate a result of the analysis on a display.
【０００８】
In a second embodiment, a handheld device is provided for facilitating an evaluation of a surface discontinuity in a structure, wherein the structure includes a base material and a top protective coating applied over a surface of the base material.  The device may comprise a conforming membrane, a pressurization mechanism, one or more light sources, a digital camera, a thickness sensor, and an electronic processing component.  The conforming membrane may have two sides and be configured to be applied over the discontinuity and to conform to the discontinuity and make more uniform a reflectivity difference and a color difference between the discontinuity and an adjacent portion of the structure.  The pressurization mechanism may be configured to create a pressure differential between the two sides of the conforming membrane so as to urge the conforming membrane into closer contact with the surface discontinuity.  The light sources may be configured to illuminate the discontinuity from one or more angles, and the digital camera may be configured to capture one or more images of the discontinuity illuminated by the light sources.  The processing component may be configured to generate geometry data regarding a geometry of the discontinuity based on the images of the discontinuity, perform an analysis of the geometry data, and visually communicate a result of the analysis on a display.
【０００９】
In a third embodiment, a handheld device is provided for facilitating an evaluation of a surface discontinuity in a structure, wherein the structure includes a base material and a top protective coating applied over a surface of the base material.  The device may comprise a gel and an opaque lubricant, one or more light sources, a digital camera, a thickness sensor, and an electronic processing component.  The gel and the opaque lubricant may be configured to be applied over the discontinuity and to conform to the discontinuity and make more uniform a reflectivity difference and a color difference between the discontinuity and an adjacent portion of the structure.  The light sources may be configured to illuminate the discontinuity from one or more angles, and the digital camera may be configured to capture one or more images of the discontinuity illuminated by the light sources.  The processing component may be configured to generate geometry data regarding a geometry of the discontinuity based on the images of the discontinuity, perform an analysis of the geometry data, and visually communicate a result of the analysis on a display.
【００１０】
Various implementations of the foregoing embodiments may include any one or more of the following additional or alternative features.  The one or more light sources may be a plurality of light sources arranged to illuminate the discontinuity from a plurality of angles.  The geometry of the discontinuity may include a depth below and/or a height above the surface of the base material.  The thickness sensor may be an ultrasonic transducer.  The thickness sensor may measure an average thickness of at least one of the base material and the top protective coating of an area around the discontinuity.  The analysis performed by the processing component may include determining a true depth of the discontinuity below the surface of the base material by subtracting the thickness of the top protective coating provided by the thickness data from a depth of the discontinuity provided by the geometry data.  The analysis may include determining a criticality of the discontinuity by subtracting the true depth of the discontinuity from the thickness of the base material to produce a criticality result.  Determining the criticality of the discontinuity may include comparing the criticality result to a pre-established maximum criticality value.  Determining the criticality may further include considering a nature of the base material, a nature of the structure, and a force that the structure may experience during use.  The processing component may be further configured to, based on the analysis, automatically make a determination of whether the discontinuity should be repaired, and to visually communicate the determination on the display.  The geometry data may include a plurality of data points forming a three-dimensional point cloud providing three-dimensional topography data of the discontinuity.  The result of the analysis communicated on the display may include the true depth of the discontinuity and a cross-sectional elevation view of the discontinuity.
【００１１】
The device may further include a conforming element having two sides and being configured to be applied over the discontinuity and to conform to the discontinuity and make more uniform a reflectivity difference and a color difference between the discontinuity and an adjacent portion of the structure.  The conforming element may be an elastomeric membrane.  The device may further include a pressurization mechanism configured to create a pressure differential between the two sides of the elastomeric membrane so as to urge the elastomeric membrane toward the structure to increase conformance of the elastomeric membrane to the discontinuity.  The device may further include a position sensor configured to generate position data regarding a location of the discontinuity on the structure.  The position sensor may be a wireless three-dimensional positional tracker configured to determine the location of the discontinuity based on signals received from a plurality of local transmitters.
【００１２】
This summary is not intended to identify essential features of the present invention, and is not intended to be used to limit the scope of the claims. These and other aspects of the present invention are described below in greater detail.
Brief Description of Drawings
【００１３】
Embodiments of the present invention are described in detail below with reference to the attached drawing figures, wherein:
FIGs. 1A and 1B are, respectively, front and back isometric views of an embodiment of a device for making 3D topography measurements of a surface;
FIG. 2 is a fragmentary cross-sectional elevation depiction of a discontinuity in the surface;
FIG. 3 is a fragmentary cross-sectional elevation depiction of the device positioned over the discontinuity, wherein the device incorporates a first solution for eliminating air between the device and the surface;
FIG. 4 is a fragmentary cross-sectional elevation depiction of the device positioned over the discontinuity, wherein the device incorporates a second solution for eliminating air between the device and the surface;
FIG. 5 is a fragmentary cross-sectional elevation depiction of the device positioned over the discontinuity, wherein the device incorporates a third solution for eliminating air between the device and the surface;
FIG. 6 is a high-level flowchart of actions performed by the device during operation;
FIG. 7 is alternative first, second, and third flowcharts of steps performed by a processing component of the device during operation;
FIG. 8 is a flowchart of steps performed by a user of the device during operation;
FIG. 9 is a flowchart of steps involved in managing data produced by the device; 
FIG. 10 is a depiction of a report presented on a display component of the device;
FIG. 11 is a fragmentary cross-sectional elevation view of a first alternative implementation of the device;
FIG. 12 is a fragmentary cross-sectional elevation view of a second alternative implementation of the device;
FIG. 13 is a fragmentary cross-sectional elevation view of a third alternative implementation of the device;
FIG. 14 is a fragmentary cross-sectional elevation view of a fourth alternative implementation of the device;
FIG. 15 is a fragmentary cross-sectional elevation view of a fifth alternative implementation of the device;
FIG. 16 is a fragmentary cross-sectional elevation view of a sixth alternative implementation of the device;
FIG. 17 is a fragmentary cross-sectional elevation view of a seventh alternative implementation of the device;
FIG. 18 is a fragmentary cross-sectional elevation view of an eighth alternative implementation of the device; and
FIG. 19 is a fragmentary cross-sectional elevation view of a ninth alternative implementation of the device.  
The figures are not intended to limit the present invention to the specific embodiments they depict. The drawings are not necessarily to scale.
Detailed Description
【００１４】
The following detailed description of embodiments of the invention references the accompanying figures. The embodiments are intended to describe aspects of the invention in sufficient detail to enable those with ordinary skill in the art to practice the invention. Other embodiments may be utilized and changes may be made without departing from the scope of the claims. The following description is, therefore, not limiting. The scope of the present invention is defined only by the appended claims, along with the full scope of equivalents to which such claims are entitled.
【００１５】
In this description, references to “one embodiment”, “an embodiment”, or “embodiments” mean that the feature or features referred to are included in at least one embodiment of the invention. Separate references to “one embodiment”, “an embodiment”, or “embodiments” in this description do not necessarily refer to the same embodiment and are not mutually exclusive unless so stated. Specifically, a feature, structure, act, etc. described in one embodiment may also be included in other embodiments, but is not necessarily included. Thus, particular implementations of the present invention can include a variety of combinations and/or integrations of the embodiments described herein.
【００１６】
Broadly characterized, the present invention provides a handheld device for making three-dimensional (3D) topography measurements and facilitating inspection and evaluation of surface discontinuities in high performance structures, such as aerostructures (e.g., aluminum fuselages), with higher resolution, greater accuracy, and increased repeatability, and which is suitable for use in production and/or maintenance environments.  Further, the device advantageously allows for quickly and easily measuring the true depth of a discontinuity from the bottom of the discontinuity to the top of the metal surface without requiring that the TPC overlaying the metal surface be removed and reapplied.  The device may be configured to measure substantially any type of discontinuity, such as scratches, drill runs, gouges, drill marks, dents, layovers, pits, and/or drill starts, having depths of between one-thousandths and thirty-thousandths of an inch.  In one implementation, the device may be further configured to measure the height of a discontinuity, such as the head height of a rivet or other fastener, which if too high, could interfere with laminar flow across the surface of the structure. 
【００１７】
Broadly characterized, embodiments of the device may function as follows.  Lights may illuminate the discontinuity from multiple angles, and a camera may capture images of the discontinuity.  A thickness sensor may generate thickness data regarding a thickness of the base material and the top protective coating.  A processor may generate geometry data regarding a geometry of the discontinuity based on the images, perform an analysis of the geometry, thickness, and position data, and communicate a result of the analysis on a display.  Further, a conforming element (e.g., a membrane and/or a gel and an opaque lubricant and/or a transparent gel having an opaque surface layer) may be applied over and conform to the discontinuity in order to make more uniform a reflectivity difference and a color difference between the discontinuity and an adjacent portion of the structure.  
【００１８】
Referring to FIGs. 1A and 1B, an embodiment of the device 20 may broadly comprise a processing component 22, a display 24, a trigger 26, a power source 28, a conforming element 46, a TPC and/or base material sensor 32, and a position sensor 34.  Some or all of these components may be integrated into a handheld unit to provide a highly portable, automated, complete 3D measurement workflow useable in production and/or maintenance environments.
【００１９】
The processing component 22 may be substantially any suitable combination of electronic memory and electronic processor configured to receive, store, and analyze data from the images and the TPC and/or base material sensors 32, and provide a report for presentation on the display 24.  The display 24 may be substantially any suitable visual display device configured to present the output generated by the processing component 22.  In one implementation, the processing component 22 and the display 24 may be provided in the form of a tablet computer or a single board computer (SBC) integrated into or attached to the handheld unit.  The trigger 26 may be substantially any suitable trigger or other switching mechanism configured to allow the user to initiate operation of the device 20.  The power source 28 may be substantially any suitable power source configured to power operation of the device 20.  In one implementation, the power source may be a rechargeable battery integrated into the handheld unit.
【００２０】
One or more light sources (described below) may illuminate the discontinuity from multiple angles, and a digital camera (described below) may generate digital images of the illuminated discontinuity, and the images may be analyzed to determine the geometry of the discontinuity.  The conforming element 46 may be configured to improve these images, including allow for determining the depths (and/or heights) and/or volumes of the discontinuity with submicron accuracy, of the structure regardless of its optical properties, thereby ensuring accuracy, repeatability, and consistent performance, even for optically complex surfaces.  In particular, the conforming element 46 may make reflectivity and color more uniform and reduce glare.  Further, the conforming element 46 may provide fast acquisition, thereby avoiding measurement drift, reducing sensitivity to vibration, and eliminating sensitivity to environmental changes (e.g., temperature).  The conforming element 46 may be, for example, an elastomeric or other membrane and/or a gel and/or an opaque lubricant.  A suitable conforming element for use with the present invention may be the transparent gel with opaque surface layer forming part of the GelSight sensor product available from GelSight, Inc.  The GelSight technology is the subject of several patents and published patent applications, including U.S. Pat. No. 8,411,140, titled “Tactile sensor using elastomeric imaging,” U.S. Pat. Nos. 9,127,938 and 9,538,056, both titled “High-Resolution Surface Measurement Systems and Methods,” U.S. Pat. App. Pub. No. 2014/0104395, titled “Methods of and Systems for Three-Dimensional Digital Impression and Visualization of Objects Through an Elastomer,” and U.S. Pat. App. Pub. No. 2014/0253717, titled “Continuous Contact-Based Three-Dimensional Measurement,” as well as other published papers, including webpages.  Various implementations of the conforming element 46 may include an elastomeric membrane but not a gel, a gel and possibly an opaque lubricant but not an elastomeric membrane, both an elastomeric membrane and a gel, or neither an elastomeric membrane nor a gel but rather some other conforming technology (such as any of the several thin layer technologies which may be used in the eighth alternative implementation described below and shown in FIG. 18).  
【００２１】
The TPC and/or base material sensor 32 may be substantially any suitable sensor configured to measure the thickness of the TPC coating and/or the thickness of the underlying metal or other base material.  In one implementation, the TPC and/or base material sensor may be an ultrasonic transducer configured to measure an average thickness over a relatively large area, which can minimize the effects of any local deviations in TPC and/or base material thicknesses.  If the TPC and/or base material sensor 32 is used in conjunction with a transparent gel or elastomeric based conforming element such as the GelSight gel, the conforming element 46 may be used to propagate ultrasonic waves between the sensor and the TPC coating and/or base material.  In such cases, it may be beneficial to introduce a couplant 48 between the conforming element and the TPC and/or base material to facilitate transmission of ultrasonic waves.  In another implementation, the TPC and/or base material sensor may be an eddy current sensor configured to measure electromagnetic flux.  Some embodiments may not measure the TPC but measure the base material, while other embodiments may measure the TPC but not measure the base material, and still other embodiments may employ separate sensors for measuring the TPC and the base material.
【００２２】
The position sensor 34 may be substantially any suitable sensor configured to determine a location of the discontinuity on the piece or on a larger structure (e.g., an aircraft) of which the piece is a part.  In one implementation, the position sensor 34 may be a wireless 3D positional tracker configured to determine its location based on signals received from local transmitters, and the location of the discontinuity may be equated with or easily determined based on the location of the position sensor 34.  The location of the discontinuity may be saved in electronic memory for later retrieval and consideration.  In particular, the location of the discontinuity on the piece may be useful for determining the criticality of the discontinuity (and whether it should be repaired it), and for tracking the discontinuity and any changes to it over time.  Some embodiments may not include the position sensor 34.
【００２３】
Referring also to FIG. 2, a piece 36 may have a surface 38 coated with a TPC 40, and a discontinuity 42 may extend through the TPC 40 and into the base material of the piece 36.  During operation of the device 20, the TPC and/or base material sensor 32 may measure the thickness of the TPC 40.  The processing component 22 may receive the images of the illuminated discontinuity 42, generate geometry data regarding a geometry of the discontinuity based on the images, and perform an analysis of the geometry and thickness data, and communicate a result of the analysis on the display 24.  The analysis may include subtracting the thickness of the TPC 40 from the determined depth of the discontinuity 42 to arrive at the desired depth measurement - the “true” depth of the discontinuity 42 - from the bottom of the discontinuity 42 to the top of the surface 38 of the piece 36.  Thus, the device 20 advantageously measures the true depth of the discontinuity 42 without requiring that the TPC 40 be removed and then reapplied, thereby saving time and money and improving quality.  Additionally, the processing component 22 may calculate a true volume of the discontinuity.  Additionally, the TPC and/or base material sensor 32 may measure the thickness of the base material, and the processing component 22 may determine, based at least on the true depth of the discontinuity and the thickness of the base material into which the discontinuity extends, whether the discontinuity is sufficiently significant to warrant repair or replacement of the base material.  Other considerations may include the natures (e.g., performance characteristics) of the base material and/or the piece 36, and the forces that the piece 36 may experience during use.
【００２４】
In more detail, the processing component 22 may determine a criticality of the discontinuity by subtracting the true depth of the discontinuity from the thickness of the base material to produce a criticality result.  Determining the criticality may include comparing the criticality result to a pre-established maximum criticality value, and/or considering a nature of the base material, a nature of the structure, and a force that the structure may experience during use.
【００２５】
Additionally, the processing component 22 may automatically determine whether the discontinuity should be repaired, and communicate the determination to a user of the device 20 or other responsible party.  Evaluating the discontinuity to make the determination may involve the use of machine learning.  More specifically, the processing component 22 may, through conventional machine learning techniques, learn how to validly and reliably determine whether the discontinuity should be repaired.  The resulting determinations by the processing component 22 may be more objective and reliable than determinations by some human users.
【００２６】
Air between the conforming element 46 and the piece 36 can adversely impact the accuracy of measurements.  One solution is for the user to forcibly push the element 46 onto the piece 36.  However, eliminating air from deep discontinuities could require twenty or more pounds of force, and applying that much force could quickly tire the user and cause the user’s hands to shake, which could adversely impact the accuracy of measurements.  Embodiments of the device 20 may include any one or more of the following solutions to this problem.
【００２７】
Referring to FIG. 3, a first solution involves applying a couplant 48, which may also serve as a lubricant, to the piece 36.  The couplant 48 aids in eliminating air between the element 46 and the piece 36, and as the element 46 may stick to metal surfaces and even to TPC coatings, the lubricating properties of the couplant allow the device 20 to more easily slide across the surface 38 of the piece 36 and makes it easier for the user to center the device 20 over the feature to be measured.  Referring to FIG. 4, a second solution involves providing the element 46 with a convex shape 50.  This convex shape 50 allows for better eliminating air between the element 46 and the piece 36 than do existing planar shapes.  Referring to FIG. 5, a third solution involves applying a vacuum 52 to reduce or eliminate air and thereby create a pressure differential between the element 46 and the piece 36 so that the element 46 conforms more closely to the piece 36 and to the discontinuity 42.  This may require providing a sealing skirt or gasket 54 around a periphery of the element 46 to support the creation and maintenance of the vacuum, and pumping air out of the space between the element 46 and the piece 36.  Again, any or all of these solutions may be combined to achieve the desired results.
【００２８】
Embodiments of the device 20 may achieve “objective tactility,” wherein tactility (T) is a binary decision based on width (W), height (H), and depth (D).  The equation T(W,H,D) is determinant and can be found through multivariate regression analysis given a sample set of discontinuities.  Through statistical analysis it can be determined with a known confidence interval that the device 20 evaluates a discontinuity as being tactile.  
【００２９】
The minimum repeatability and reproducibility of the device 20 may depend on the critical threshold for the depth of the discontinuity 42.  For example, if the critical threshold is one-thousandths of an inch, and assuming a tolerance consumption allowance of four-to-one, then the minimum repeatability and reproducibility of the device 20 may be no greater than twenty-five microinches, but may be closer to one hundred microinches.  The cycle time of the device 20, which is the period from the start of the measurement process to the presentation of the results to the user on the display 24, may be one minute or less, or fifteen seconds or less, or between five and fifteen seconds.
【００３０】
Referring also to FIG. 6, a high-level flowchart 120 of aspects of operation of the device 20 is shown.  Once the device 20 is triggered, the camera may generate images of the illuminated surface 38 of the piece 36, and the processing component 22 may generate a 3D point cloud of data based on the images, as shown in 122.  The device 20 may search the 3D point cloud for any geometrical features of interest (i.e., the discontinuity 42), as shown in 124.  The device 20 may use the TPC and/or base material sensor 32 to measure the reference surface 38 (the “datum reference plane” (DRT)) below the TPC 40 and/or to measure the thickness of the base material (the “datum reference thickness” (DRT)), as shown in 126.  The processing component 22 may generate geometry data (e.g., 3D topography data) regarding a geometry of the discontinuity 42, as shown in 128.  The resulting geometry data for the discontinuity 42 may be used to determine the depth (or height) and/or calculate the volume of the discontinuity 42.  The device 20 may apply tolerance limits to the measurement results, as shown in 130, and present the results on the display 24 for the user, as shown in 132.  The device 20 may log the results to a database for long-term storage, as shown in 134.
【００３１】
Referring also to FIG. 7, three exemplary workflows 220, 320, 420 are shown for the data processing performed by the processing component 22 to determine the depth of the discontinuity 42 within a region of interest (ROI) on the surface 38 of the piece 36.  In the first exemplary workflow 220, the device 20 applies an ROI mask, as shown in 222; calculates and aligns a point on the surface 38, as shown in 224; detects the discontinuity 42 within the ROI, as shown in 226; and determines the true depth of the discontinuity 42, as shown in 228.  In the second exemplary workflow 320, the device 20 applies a user ROI mask, as shown in 322; detects the discontinuity 42 within the ROI, as shown in 324; applies an additional automatic ROI mask, as shown in 326; calculates and aligns a point on the surface 38, as shown in 328; and determines the true depth of the discontinuity 42, as shown in 330.  In the third exemplary 420 workflow, the device 20 applies an ROI mask, as shown in 422; calculates and aligns a point on the surface 38, as shown in 424; and determines the true depth of the discontinuity 42, as shown in 426.
【００３２】
Referring also to FIG. 8, an exemplary workflow 520 is shown for the user of the device 20.  The user turns on the device 20, as shown in 522; selects the type of discontinuity to measure or uses the default type, as shown in 524; inputs required data fields, as shown in 526; applies the device to the discontinuity 42, as shown in 528; and activates the trigger 26, as shown in 530.  The device 20 then measures the discontinuity 42, as shown in 532, in accordance with a workflow such as one of those shown in FIG. 7.  The user reviews the results of the measurement, as shown in 534.  If the user is satisfied with the measurement, the user accepts the measurement and logs the results, as shown in 536.  If the user finds that the device 20 did not automatically detect the feature in which the user was interested or if the user is otherwise dissatisfied with the measurement, the user can apply an ROI mask and have the device 20 repeat the measurement by returning to 532.  
【００３３】
Table 1, below, shows exemplary data fields that may be populated.  Some of the fields may be entered by the user in the Input Required Fields step 526 of the workflow 520.  Other fields may be automatically populated by the device 20.  Some or all of these data fields may be included in the logged results.
【００３４】
【表１】
2018185292.tif 000024
【００３５】
Referring also to FIG. 9, an exemplary dataflow 620 is shown which may occur once the user accepts the measurement in step 536.  The data may be stored and managed locally on the device 20, using a folder and file structure, as shown in 622.  In particular, each measurement operation may have its own ASCII text file containing the results of the operation.  The data may also be exported as a .PDF or .JPG file of the results so that the results may be attached to a report if desired.  Additionally or alternatively, the data or a copy of the data may be stored in and managed from a shared folder location, as shown in 624.  The device 20 may access the shared folder location via a wireless connection such as ADVMOB or SWPA10.  The data may be accessed over the wireless connection, consumed, and managed by either CM4D or a Quality database, as shown in 626.  In one implementation, the device 20 may record several data files, including six image files of the discontinuity capture (raw format), one image file of the discontinuity 3D profile (GelSight format), one image file of the discontinuity 3D profile (jpeg format), one PDF file of the results report, and one .csv file of the captured data fields (user inputs, depth measurement, etc.).
【００３６】
Referring also to FIG. 10, an exemplary output report 720 is shown which may be presented on the display 24 for the user.  Broadly, the report 720 may include the true depth 722 of the discontinuity as well as other desired descriptive metrics such as whether the discontinuity 42 is tactile, the length and width of the discontinuity 42, and whether the discontinuity 42 penetrated the cladding.  In on embodiment, the report 720 may include a visualization of a physical profile of the discontinuity 42, which may include a 3D depiction 724 and/or a 2D depiction 726 of the surface topography of the discontinuity 42.  The report 720 may include a “Go / No-Go” or pass / fail indication based on a comparison of the measurement to a maximum allowable discontinuity (i.e., either the depth of the measured discontinuity 42 is less than a maximum acceptable depth or it is not).
【００３７】
FIGs. 11-18 concern specific implementations which affect one or more components of the device.  Unless noted, the other components and/or functionalities of the devices incorporating the affected components may be otherwise substantially similar or identical to the embodiments and implementations described above.  Further, any feature of any embodiment or implementation may be incorporated into any other embodiment or implementation, as desired. 
【００３８】
Referring to FIG. 11, a first alternative implementation of the device 1120 is shown broadly comprising the TPC and/or base material sensor 1132, the element 1146, a handle 1150, a plunger 1152, a return spring 1154, a chamber 1156, a camera 1158, one or more light sources 1160, and a seal 1162.  The TPC and/or base material sensor 1132 may be the eddy current sensor discussed above to determine the thickness of the TPC 1140.  The TPC and/or base material sensor 1132 may be incorporated into a contact foot.  The element 1146 may be the membrane discussed above being opaque and having a uniform reflectivity.  The handle 1150 and the plunger 1152 may be configured to allow for increasing a pressure within the chamber 1156 and thereby forcing the element 1146 into closer contact with the piece 1136.  More specifically, a user may push down on the handle 1150 to move the plunger 1152 into the chamber 1156, which increases the pressure within the chamber 1156 and on the chamber-side of the element 1146, thereby forcing the element 1146 into more conforming contact with the piece 1136 and into the discontinuity 1142.  The one or more light sources 1160 may then illuminate the element 1146 from one or more angles, including illuminating the discontinuity 1142 in the surface 1138 of the piece 1136, and the camera 1158 may capture one or more images, which may be processed as described above.  Once the images are taken and the user ceases pushing on the handle 1150, the return spring 1154 returns the plunger 1152 to its original position, which returns the pressure in the chamber 1156 to its original value. 
【００３９】
Referring to FIG. 12, a second alternative implementation of the device 1220 is shown broadly comprising the TPC and/or base material sensor 1232, the element 1246, a vacuum line 1250, the chamber 1256, the camera 1258, the one or more light sources 1260, and the seal 1262.  The TPC and/or base material sensor 1232 may be the eddy current sensor discussed above to determine the thickness of the TPC 1240.  The TPC and/or base material sensor 1232 may be incorporated into the contact foot.  The element 1246 may be the membrane discussed above being opaque and having a uniform reflectivity.  The vacuum line 1250 may be configured to allow for automatically removing air from the chamber 1256 for the reasons discussed above.  More specifically, a user may activate a vacuum pump (not shown) which removes air from the chamber 1256 via the vacuum line 1250.  The seal 1262 prevents air from returning to the chamber 1256, thereby creating at least a partial vacuum in the chamber 1256.  The one or more light sources 1260 may illuminate the element 1246 from one or more angles, including the discontinuity 1242 in the surface 1238 of the piece 1236, and the camera 1258 may capture one or more images, which may be processed as described above.
【００４０】
Referring to FIG. 13, a third alternative implementation of the device 1320 is shown broadly comprising the TPC and/or base material sensor 1332, the element 1346, the camera 1358, and the one or more light sources 1360.  The TPC and/or base material sensor 1332 may be the eddy current sensor discussed above to determine the thickness of the TPC 1340.  The TPC and/or base material sensor 1332 may be incorporated into the contact foot.  The element 1346 may be the membrane discussed above being opaque and having a uniform reflectivity.  The one or more light sources 1360 may illuminate the element 1346 from one or more angles, including the discontinuity 1342 in the surface 1338 of the piece 1336, and the camera 1358 may capture one or more images, which may be processed as described above.
【００４１】
Referring to FIG. 14, a fourth alternative implementation of the device 1420 is shown broadly comprising the conforming element 1446 in the form of a lubricant or other fluid 1447 and an optically clear gel 1448, the camera 1458, and the one or more light sources 1460.  The fluid 1447 may be opaque and have a uniform reflectivity, and the gel 1448 may press against the fluid 1447 to create a uniform layer of the fluid 1447 and to eliminate air bubbles, thereby achieving an effect substantially similar or identical to a membrane.  The one or more light sources 1460 may illuminate the fluid 1447 through the gel 1448 from one or more angles, including the discontinuity 1442 in the surface 1438 of the piece 1436, and the camera 1458 may capture one or more images, which may be processed as described above.
【００４２】
Referring to FIG. 15, a fifth alternative implementation of the device 1520 is shown broadly comprising the camera 1558, and a plurality of light sources 1560.  The membrane (or, e.g., the fluid-elastomer substitute) may or may not be present in this implementation.  The plurality of light sources 1560 may be arranged so as to illuminate the ROI from a plurality of different angles, including the discontinuity 1542 in the surface 1538 of the piece 1536, and the camera 1558 may capture one or more images, which may be processed as described above.  Given a sufficient number of light sources 1560 to overcome issues of glare and uniformity of illumination, the membrane may not be needed.
【００４３】
Referring to FIG. 16, a sixth alternative implementation of the device 1620 is shown broadly comprising the TPC 1640, the camera 1658, and the plurality of light sources 1660.  Both the membrane (or, e.g., the fluid-elastomer substitute) and the TPC and/or base material sensor may or may not be present in this implementation.  The TPC 1640 may be transparent to x-rays.  The plurality of light sources 1660 may emit x-rays and may be arranged so as to illuminate the ROI from a plurality of different angles, including the discontinuity 1642 in the surface 1638 of the piece 1636.  The camera 1658 may be configured for x-ray imaging, and may capture one or more x-ray images, which may be processed as described above.  The TPC and/or base material sensor may be unnecessary because the x-rays will penetrate the TPC 1640 and allow for determining the true depth of the discontinuity 1642 without otherwise accounting for the thickness of the TPC 1640.  And again, given a sufficient number of light sources 1660 to overcome issues of glare and uniformity of illumination, the membrane may not be needed.
【００４４】
Referring to FIG. 17, a seventh alternative implementation of the device 1720 is shown broadly comprising the TPC 1740, the camera 1758, and the plurality of light sources 1760.  The membrane (or, e.g., the fluid-elastomer substitute) may or may not be present in this implementation.  The TPC 1740 may be optically clear, or at least clear at a particular wavelength or range of wavelengths emitted by the plurality of light sources 1760.  The plurality of light sources 1760 may be arranged so as to illuminate the ROI from a plurality of different angles, including the discontinuity 1742 in the surface 1738 of the piece 1736, and the camera 1758 may capture one or more images, which may be processed as described above.  The TPC and/or base material sensor may be unnecessary because the wavelengths emitted by the plurality of light sources 1760 will penetrate the clear TPC 1740 and allow for determining the true depth of the discontinuity 1742 without otherwise accounting for the thickness of the TPC 1740.  And again, given a sufficient number of light sources 1760 to overcome issues of glare and uniformity of illumination, the membrane may not be needed.
【００４５】
Referring to FIG. 18, an eighth alternative implementation of the device 1820 is shown broadly comprising the conforming element 1846, the camera 1858, and the one or more light sources 1860.  The conforming element 1846 may be substantially any thin layer such as a gel, film, sheet, membrane, or other layer that is opaque, has uniform reflectivity, and is sufficiently thin and flexible that it conforms to the surface of the ROI on contact.  For example, the thin layer may be gold leaf, silver leaf, or aluminum leaf.  The one or more light sources 1860 may illuminate the thin layer element 1846 from one or more angles, including the discontinuity 1842 in the surface 1838 of the piece 1836, and the camera 1858 may capture one or more images, which may be processed as described above.
【００４６】
Referring to FIG. 19, a ninth alternative implementation of the device 1920 is shown broadly comprising the TPC 1940, the camera 1958, and one or more light sources 1960.  Both the membrane (or, e.g., the fluid-elastomer substitute) and the TPC and/or base material sensor may or may not be present in this implementation.  The color of the TPC 1940 may vary with the thickness of the TPC 1940, with darker color being associated with more thickness and lighter color being associated with less thickness.  The light sources 1960 may emit white light to illuminate the ROI from one or more angles, including the discontinuity 1942 in the surface 1938 of the piece 1936, and the camera 1958 may capture one or more images, which may be processed as described above with the added steps of accounting for color and associating color with thickness.  The TPC and/or base material sensor may be unnecessary because the color of the TPC 1940 allows for determining the thickness of the TPC 1940.
【００４７】
Although the invention has been described with reference to the one or more embodiments illustrated in the figures, it is understood that equivalents may be employed and substitutions made herein without departing from the scope of the invention as recited in the claims.
【００４８】
Having thus described one or more embodiments of the invention, what is claimed as new and desired to be protected by Letters Patent includes the following:
1. Claims
1.     A device for facilitating an evaluation of a surface discontinuity in a structure, wherein the structure includes a base material and a top protective coating applied over a surface of the base material, the device comprising:
one or more light sources configured to illuminate the discontinuity from one or more angles;
a digital camera configured to capture one or more images of the discontinuity illuminated by the one or more light sources;
a thickness sensor configured to generate thickness data regarding a thickness of at least one of the base material and the top protective coating; and
an electronic processing component configured to -
generate geometry data regarding a geometry of the discontinuity based on the one or more images of the discontinuity,
perform an analysis of the geometry data and the thickness data, and
visually communicate a result of the analysis on a display.
2.     The device of claim 1, wherein the one or more light sources are a plurality of light sources arranged to illuminate the discontinuity from a plurality of angles.
3.     The device of claim 1, wherein the geometry of the discontinuity includes a depth below the surface of the base material.
4.     The device of claim 1, wherein the geometry of the discontinuity includes a height above the surface of the base material.
5.     The device of claim 1, wherein the thickness sensor is an ultrasonic transducer.
6.     The device of claim 1, wherein thickness sensor measures an average thickness of at least one of the base material and the top protective coating of an area around the discontinuity. 
7.     The device of claim 1, wherein the analysis performed by the electronic processing component includes determining a true depth of the discontinuity below the surface of the base material by subtracting the thickness of the top protective coating provided by the thickness data from a depth of the discontinuity provided by the geometry data.
8.     The device of claim 1, wherein the analysis performed by the electronic processing element further includes determining a criticality of the discontinuity by subtracting the true depth of the discontinuity from the thickness of the base material to produce a criticality result.
9.     The device of claim 8, wherein determining the criticality of the discontinuity includes comparing the criticality result to a pre-established maximum criticality value.
10.    The device of claim 8, wherein determining the criticality of the discontinuity further includes considering a nature of the base material, a nature of the structure, and a force that the structure may experience during use.
11.    The device of claim 8, the electronic processing component being further configured to, based on the analysis, automatically make a determination of whether the discontinuity should be repaired, and to visually communicate the determination on the display.
12.    The device of claim 1, wherein the geometry data includes a plurality of data points forming a three-dimensional point cloud providing three-dimensional topography data of the discontinuity.
13.    The device of claim 1, wherein the result of the analysis communicated on the display includes the true depth of the discontinuity and a cross-sectional elevation view of the discontinuity.
14.    The device of claim 1, further including a conforming element having two sides and being configured to be applied over the discontinuity and to conform to the discontinuity and make more uniform a reflectivity difference and a color difference between the discontinuity and an adjacent portion of the structure.  
15.    The device of claim 14, wherein the conforming element is an elastomeric membrane.
16.    The device of claim 14, further including a pressurization mechanism configured to create a pressure differential between the two sides of the conforming element to increase conformance of the conforming element to the discontinuity.
17.    The device of claim 1, further including a position sensor configured to generate position data regarding a location of the discontinuity on the structure.
18.    The device of claim 17, wherein the position sensor is a wireless three-dimensional positional tracker configured to determine the location of the discontinuity based on signals received from a plurality of local transmitters.
19.    A device for facilitating an evaluation of a surface discontinuity in a structure, the device comprising:
a conforming membrane having two sides and being configured to be applied over the discontinuity and to conform to the discontinuity and make more uniform a reflectivity difference and a color difference between the discontinuity and an adjacent portion of the structure;  
a pressurization mechanism configured to create a pressure differential between the two sides of the conforming membrane and to urge the conforming membrane toward the structure and increase conformance of the conforming membrane to the surface discontinuity;
one or more light sources configured to illuminate the discontinuity from one or more angles;
a digital camera configured to capture one or more images of the discontinuity illuminated by the one or more light sources; and
an electronic processing component configured to -
generate geometry data regarding a geometry of the discontinuity based on the one or more images of the discontinuity,
perform an analysis of the geometry data, and
visually communicate a result of the analysis on a display.
20.    A device for facilitating an evaluation of a surface discontinuity in a structure, the device comprising:
a conforming gel and an opaque lubricant configured to be applied over the discontinuity and to conform to the discontinuity and make more uniform a reflectivity difference and a color difference between the discontinuity and an adjacent portion of the structure;  
one or more light sources configured to illuminate the discontinuity from one or more angles;
a digital camera configured to capture one or more images of the discontinuity illuminated by the one or more light sources; and
an electronic processing component configured to -
generate geometry data regarding a geometry of the discontinuity based on the one or more images of the discontinuity,
perform an analysis of the geometry data, and
visually communicate a result of the analysis on a display.
1. Abstract
A handheld device for making 3D topography measurements of surface discontinuities in high performance structures, such as aerostructures (e.g., aluminum fuselages).  Lights illuminate the discontinuity from multiple angles, and a camera captures images of the discontinuity.  A thickness sensor generates thickness data regarding a thickness of the base material and the top protective coating.  A position sensor generates position data regarding a location of the discontinuity on the structure.  A processor generates geometry data regarding a geometry of the discontinuity based on the images, performs an analysis of the geometry, thickness, and position data, and communicates a result of the analysis on a display.  A conforming membrane and/or a gel and an opaque lubricant may be applied over and conform to the discontinuity in order to make more uniform a reflectivity difference and a color difference between the discontinuity and an adjacent portion of the structure.  
2. Representative Drawing
Figure 1A
【図１Ａ】
2018185292.tif 000025
【図１Ｂ】
2018185292.tif 000026
【図２】
2018185292.tif 000027
【図３】
2018185292.tif 000028
【図４】
2018185292.tif 000029
【図５】
2018185292.tif 000030
【図６】
2018185292.tif 000031
【図７】
2018185292.tif 000032
【図８】
2018185292.tif 000033
【図９】
2018185292.tif 000034
【図１０】
2018185292.tif 000035
【図１１】
2018185292.tif 000036
【図１２】
2018185292.tif 000037
【図１３】
2018185292.tif 000038
【図１４】
2018185292.tif 000039
【図１５】
2018185292.tif 000040
【図１６】
2018185292.tif 000041
【図１７】
2018185292.tif 000042
【図１８】
2018185292.tif 000043
【図１９】
2018185292.tif 000044