(57)【要約】  デジタル画像の不要部分を除去する画像処理方法において、関心部分を含む前記画像は、画像全体を表す画像パッチのセットを生成するためにサンプリングされる。特徴ベクトルが画像パッチから抽出され、抽出された特徴ベクトルは複数のクラスタに区分され、同じクラスタ内の特徴ベクトルは共通特性を共有する。画像内の関心部分は、セグメントセットにセグメント化される。集約境界領域生成処理が実行される。該処理は、セグメントセットの中の最大セグメントを見付け、該セグメントの周囲に境界ボックスを生成するステップと、どの画像クラスタがセグメントの境界ボックスの中で最も多くの画像パッチを含むかを決定するステップと、決定した画像クラスタの画像パッチを関心部分の集約境界領域に追加するステップと、を含む。集約境界領域生成処理は、セグメントセットの中の各々の他のセグメントについてサイズ順に繰り返され、結果として生じる集約境界領域は、関心部分に関連する全ての画像パッチを含む。結果として生じる集約境界領域の外側にある画像パッチは、次に画像から除去される。
2019530096.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像の不要部分を除去する画像処理方法であって、前記方法は、
前記画像をサンプリングして、画像全体を表す画像パッチのセットを生成するステップであって、該画像は関心部分を含む、ステップと、
前記画像パッチから特徴ベクトルを抽出するステップと、
前記抽出した画像ベクトルを複数のクラスタに区分するステップであって、同じクラスタ内の特徴ベクトルは共通特性を共有する、ステップと、
前記画像内の前記関心部分をセグメントセットにセグメント化するステップと、
集約境界領域生成処理を実行するステップであって、
前記セグメントセット内の最大セグメントを見付け、該セグメントの周囲に境界ボックスを生成するステップと、
どの画像クラスタが前記セグメントの前記境界ボックス内で最も多くの画像パッチを含むかを決定するステップと、
前記決定した画像クラスタの前記画像パッチを前記関心部分の集約境界領域に追加するステップと、
を含むステップと、
前記集約境界領域生成処理を前記セグメントセットの中の他のセグメント毎にサイズ順に繰り返すステップであって、結果として生じた集約境界領域は前記関心部分に関連する全ての前記画像パッチを含む、ステップと、
前記画像から、前記結果として生じた集約境界領域の外側にある前記画像パッチを除去するステップと、
を含む方法。
【請求項２】
前記関心部分をセグメント化するステップは、
前記画像を検索して前記関心部分の位置を特定するステップと、
前記関心部分の中で少なくとも１つのコンポーネントを識別するステップであって、各々の該コンポーネントはセグメントを形成する、ステップと、
を含む、請求項１に記載の方法。
【請求項３】
前記画像を検索するステップは、
前記画像から少なくとも１つの部分を抽出するステップであって、前記画像の該部分の中のピクセルの予め選択された属性は所望の特徴を有する、ステップを含む、請求項２に記載の方法。
【請求項４】
不要部分の除去されるべき前記画像は、対象オブジェクトに関連する非画像データを変換することにより取得され、前記画像内のピクセルの属性は非画像データのパラメータに関連付けられる、請求項１、２、又は３に記載の方法。
【請求項５】
前記非画像データは、前記対象オブジェクトの超音波スキャンを通じて取得される、請求項４に記載の方法。
【請求項６】
前記対象オブジェクトは、工業用オブジェクト、及び製造中に使用されるオブジェクト、のうちの少なくとも１つである、請求項４又は５に記載の方法。
【請求項７】
前記対象オブジェクトに関連する前記非画像データは、前記オブジェクトの少なくとも部分に形成する材料の構造的完全性、及び前記オブジェクトの少なくとも部分に形成する材料の欠陥、のうちの少なくとも１つを決定するために使用される、請求項４、５、又は６に記載の方法。    
【請求項８】
対象オブジェクトの中の欠陥を検出する際に使用される欠陥検出方法であって、前記方法において、前記オブジェクトの又は前記オブジェクトから得られた画像は、欠陥を識別するために分析され、分析されるべき前記画像は、請求項１乃至７のいずれか一項に記載の方法に従い不要部分の除去された画像である、方法。
【請求項９】
前記対象オブジェクトは、工業用オブジェクト、及び製造中に使用されるオブジェクト、のうちの少なくとも１つである、請求項８に記載の方法。
【請求項１０】
不要部分の除去されるべき前記画像は、前記対象オブジェクトに関連する非画像データを変換することにより取得され、該非画像データは、前記オブジェクトの少なくとも部分に形成する材料の構造的完全性、及び前記オブジェクトの少なくとも部分に形成する材料の欠陥、のうちの少なくとも１つを決定するために使用される、請求項８又は９に記載の方法。
【請求項１１】
コンピュータ上で実行すると、該コンピュータに請求項１乃至１０のいずれか一項に記載の方法を実行させるコンピュータプログラム。
【請求項１２】
デジタル画像の不要部分を除去する画像処理機器であって、前記機器は、
前記画像をサンプリングして、画像全体を表す画像パッチのセットを生成する画像サンプラであって、該画像は関心部分を含む、画像サンプラと、
前記画像パッチから特徴ベクトルを抽出する特徴抽出部と、
前記抽出した画像ベクトルを複数のクラスタに区分する特徴クラスタ部であって、同じクラスタ内の特徴ベクトルは共通特性を共有する、特徴クラスタ部と、
前記画像内の前記関心部分をセグメントセットにセグメント化する画像セグメント部と、
集約境界領域生成処理を実行する検出部であって、前記集約境界領域生成処理は、前記セグメントセット内の最大セグメントを見付け、該セグメントの周囲に境界ボックスを生成し、どの画像クラスタが前記セグメントの前記境界ボックス内で最も多くの画像パッチを含むかを決定し、前記決定した画像クラスタの前記画像パッチを前記関心部分の集約境界領域に追加し、前記構造検出部は、前記集約境界領域生成処理を前記セグメントセットの中の他のセグメント毎にサイズ順に繰り返し、結果として生じた集約境界領域は前記関心部分に関連する全ての前記画像パッチを含む、検出部と、
前記画像から、前記結果として生じた集約境界領域の外側にある前記画像パッチを除去するデータフィルタと、
を含む機器。
【請求項１３】
前記画像セグメント部は、
前記画像を検索して前記関心部分の位置を特定し、
前記関心部分の中で少なくとも１つのコンポーネントを識別し、各々の該コンポーネントはセグメントを形成する、請求項１２に記載の機器。
【請求項１４】
前記画像セグメント部は、前記画像を前記関心部分について、前記画像から少なくとも１つの部分を抽出することにより検索し、前記少なくとも１つの部分では、前記画像の該部分の中のピクセルの予め選択された属性は所望の特徴を有する、請求項１３に記載の機器。
【請求項１５】
対象オブジェクトに関連する非画像データを不要部分の除去されるべき前記画像に変換するデータ画像変換部であって、前記画像内のピクセルの属性は前記非画像データのパラメータに関連付けられる、データ画像変換部、を更に含む請求項１２、１３、又は１４に記載の機器。
【請求項１６】
前記非画像データは、前記対象オブジェクトの超音波スキャンデータである、請求項１５に記載の機器。
【請求項１７】
前記対象オブジェクトは、工業用オブジェクト、及び製造中に使用されるオブジェクト、のうちの少なくとも１つである、請求項１５又は１６に記載の機器。
【請求項１８】
前記対象オブジェクトに関連する前記非画像データは、前記オブジェクトの少なくとも部分に形成する材料の構造的完全性、及び前記オブジェクトの少なくとも部分に形成する材料の欠陥、のうちの少なくとも１つを決定するために使用される、請求項１５、１６、又は１７に記載の機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像の不要部分を除去する画像処理方法、並びに対応する画像処理機器及びコンピュータプログラムに関する。
【背景技術】
【０００２】
位置又はオブジェクトの画像のような画像は、特定タスクを実行可能にする情報を含む場合がある。例えば、オブジェクトの超音波スキャンのような画像は、より詳細に後述するように該オブジェクト内の構造的欠陥を識別するために分析され得る。或いは、写真又は静止画は、特定アイテムが該画像内に存在するか否かを決定するために検査され得る。
【０００３】
超音波非破壊検査（Ultrasonic  non−destructive  testing：NDT）は、製造中に使用されるグラスファイバのような材料の完全性又は構造を決定するために使用される非侵襲性技術であり、検査オブジェクト内の内部欠陥の検出を可能にする。この技術では、１又は複数の超音波プローブは、オブジェクト内部を伝搬する音波を発し、内部構造との相互作用から生じるエコーを受信する。反射材料の距離は、音波の速度に基づき正確に推定できる。
【０００４】
不連続、しわ、トラップされたオブジェクト、空洞部分、等のような欠陥に起因して反射により引き起こされる信号は、スキャンにおいて識別できる。この技術は、産業において、製造品質制御プロセスの部分として広く使用されている。現在、検出は手動処理であり、スキャンの各セクションの綿密な視覚的検査を含む。検査オブジェクトの寸法に依存して、訓練されたオペレータは、欠陥を有し及び実査を必要とする可能性のある構造の領域を識別するためにスキャンの視覚化に目を通すのに数時間を費やし得る。オペレータは、構造的屈曲又は不連続のような視覚的手掛かりを用いて、潜在的欠陥に注意を与える。これは、生スキャンデータの、飽和閾の調整、ズーム、等を可能にするインタラクティブな視覚化を通じて行われる。オペレータは高度に訓練されるが、検査が全欠陥の全範囲を有することは、エコーの伝搬から生じる生データ内のノイズ及び／又は視覚化に伴う問題のために保証されない。
【０００５】
他の技術的用途では、写真、静止ビデオ画像、等のような非超音波画像は、特定オブジェクトが画像内に存在するか否かを決定するために自動的に検査され得るが、画像の一部だけが関連する及び／又は関心がある場合、この処理は計算リソースの浪費であり不必要に時間を消費し得る。
【０００６】
したがって、画像内のデータの分析を向上するために使用され得る画像処理方法及び機器を提供することが望ましい。
【発明の概要】
【０００７】
本発明の第１の態様の一実施形態によると、デジタル画像の不要部分を除去する画像処理方法であって、前記方法は、前記画像をサンプリングして、画像全体を表す画像パッチのセットを生成するステップであって、該画像は関心部分を含む、ステップと、前記画像パッチから特徴ベクトルを抽出するステップと、前記抽出した画像ベクトルを複数のクラスタに区分するステップであって、同じクラスタ内の特徴ベクトルは共通特徴を共有する、ステップと、前記画像内の前記関心部分をセグメントセットにセグメント化するステップと、集約境界領域生成処理を実行するステップであって、前記セグメントセット内の最大セグメントを見付け、該セグメントの周囲に境界ボックスを生成するステップと、どの画像クラスタが前記セグメントの前記境界ボックス内で最も多くの画像パッチを含むかを決定するステップと、前記決定した画像クラスタの前記画像パッチを前記関心部分の集約境界領域に追加するステップと、を含むステップと、前記集約境界領域生成処理を前記セグメントセットの中の他のセグメント毎にサイズ順に繰り返すステップであって、結果として生じた集約境界領域は前記関心部分に関連する全ての前記画像パッチを含む、ステップと、前記画像から、前記結果として生じた集約境界領域の外側にある前記画像パッチを除去するステップと、を含む方法が提供される。
【０００８】
前記関心部分をセグメント化するステップは、例えば前記画像から少なくとも部分を抽出し、該部分では前記画像の前記部分の中のピクセルの予め選択された属性が所望の特性を有し、並びに関心部分の中で少なくとも１つのコンポーネントを識別し、各該コンポーネントはセグメントを形成する、ことにより、前記画像を検索して前記関心部分の位置を特定するステップを含む。
【０００９】
不要部分の除去されるべき前記画像は、対象オブジェクトに関連する非画像データを変換することにより取得されて良く、前記画像内のピクセルの属性は非画像データのパラメータに関連付けられる。例えば、前記非画像データは、対象オブジェクトの超音波スキャンを通じて取得されて良い。
【００１０】
前記対象オブジェクトは、例えば、工業用オブジェクト、及び製造中に使用されるオブジェクトのうちの少なくとも１つであって良い。
【００１１】
前記対象オブジェクトに関連する前記非画像データは、例えば、前記オブジェクトの少なくとも部分に形成する材料の構造的完全性、及び前記オブジェクトの少なくとも部分に形成する材料の欠陥、のうちの少なくとも１つを決定するために使用され得る。
【００１２】
本発明の第２の態様の一実施形態によると、対象オブジェクトの中の欠陥を検出する際に使用される欠陥検出方法であって、前記方法において、前記オブジェクトの又は前記オブジェクトから得られた画像は、欠陥を識別するために分析され、分析されるべき前記画像は、本発明の第１の態様を実施する方法に従い不要部分の除去された画像である、方法が提供される。
【００１３】
前記対象オブジェクトは、例えば、工業用オブジェクト、及び製造中に使用されるオブジェクトのうちの少なくとも１つであって良い。
【００１４】
不要部分の除去されるべき前記画像は、前記対象オブジェクトに関連する非画像データを変換することにより取得されて良く、該非画像データは、前記オブジェクトの少なくとも部分に形成する材料の構造的完全性、及び前記オブジェクトの少なくとも部分に形成する材料の欠陥、のうちの少なくとも１つを決定するために使用されて良い。
【００１５】
本発明の第３の態様の一実施形態によると、コンピュータプログラムであって、コンピュータで実行されると、該コンピュータに、本発明の第１又は第２の態様を具現化する方法を実行させる、コンピュータプログラムが提供される。
【００１６】
本発明の第４の態様の一実施形態によると、デジタル画像の不要部分を除去する画像処理機器であって、前記機器は、前記画像をサンプリングして、画像全体を表す画像パッチのセットを生成するよう構成される画像サンプラであって、該画像は関心部分を含む、画像サンプラと、前記画像パッチから特徴ベクトルを抽出するよう構成される特徴抽出部と、前記抽出した画像ベクトルを複数のクラスタに区分するよう構成される特徴クラスタ部であって、同じクラスタ内の特徴ベクトルは共通特徴を共有する、特徴クラスタ部と、前記画像内の前記関心部分をセグメントセットにセグメント化するよう構成される画像セグメント部と、集約境界領域生成処理を実行するよう構成される検出部であって、前記集約境界領域生成処理は、前記セグメントセット内の最大セグメントを見付け、該セグメントの周囲に境界ボックスを生成し、どの画像クラスタが前記セグメントの前記境界ボックス内で最も多くの画像パッチを含むかを決定し、前記決定した画像クラスタの前記画像パッチを前記関心部分の集約境界領域に追加し、前記構造検出部は、前記集約境界領域生成処理を前記セグメントセットの中の他のセグメント毎にサイズ順に繰り返し、結果として生じた集約境界領域は前記関心部分に関連する全ての前記画像パッチを含む、検出部と、前記画像から、前記結果として生じた集約境界領域の外側にある前記画像パッチを除去するよう構成されるデータフィルタと、を含む機器が提供される。
【００１７】
前記画像セグメント部は、例えば前記画像から少なくとも部分を抽出し、該部分では前記画像の前記部分の中のピクセルの予め選択された属性が所望の特性を有し、並びに関心部分の中で少なくとも１つのコンポーネントを識別し、各該コンポーネントはセグメントを形成する、ことにより、前記画像を検索して前記関心部分の位置を特定するよう動作し得る。
【００１８】
本発明の第４の態様を実施する機器は、対象オブジェクトに関連する非画像データを不要部分の除去されるべき前記画像に変換するよう構成されるデータ画像変換部であって、前記画像内のピクセルの属性は前記非画像データのパラメータに関連付けられる、データ画像変換部、を更に含み得る。例えば、前記非画像データは、対象オブジェクトの超音波スキャンデータであって良い。
【００１９】
前記対象オブジェクトは、例えば、工業用オブジェクト、及び製造中に使用されるオブジェクトのうちの少なくとも１つであって良い。
【００２０】
前記対象オブジェクトに関連する前記非画像データは、例えば、前記オブジェクトの少なくとも部分に形成する材料の構造的完全性、及び前記オブジェクトの少なくとも部分に形成する材料の欠陥、のうちの少なくとも１つを決定するために使用され得る。
【００２１】
本発明を実施する方法又は機器の文脈で、デジタル画像の不要部分は、無関係なデータ、例えば画像が得られるデータの中のノイズに対応する画像部分又は画像の別の異質部分を含み得る。
【００２２】
本発明を実施する方法及び機器は、画像内の関心領域の自動的且つ正確な検出を可能にし得る。画像内の無関係なデータ（例えばノイズ又は異質部分）をフィルタリングすることにより、技術者による画像の視覚検査が一層容易に及び／又は一層効率的にされ得る。
【００２３】
例えば、超音波スキャンデータ分析に関連する検査処理の部分を自動化することにより、品質制御エンジニア／技術者は、彼らの検査を一層効率的に実行でき、検査オブジェクト当たりに要する時間が少なくなり、したがって全体の人的労働及びコストを削減する。本発明を実施する方法／機器は、特に（排他的ではないが）、検査オブジェクトが後壁のような大型構造を含むNDT超音波画像に適用されるとき、有用である。
【００２４】
さらに、機械学習技術を用いる自動欠陥検出が可能にされ得る。機械学習に基づく欠陥検出アプローチのためのトレーニングデータは、本発明を実施する方法／機器を用いて生成され得る。
【図面の簡単な説明】
【００２５】
例として、以下の添付の図面を参照する。
【図１】本発明を実施する画像処理機器を含む機器のブロック図である。
【図２Ａ】データマトリックスを示す。
【図２Ｂ】勾配色マップを示す。
【図３】画像サンプリング処理を説明する際に使用するための図である。
【図４】画像サンプリング処理を説明する際に使用するためのフローチャートである。
【図５】特徴抽出を説明する際に使用するためのブロック図である。
【図６】画像セグメント処理を説明する際に使用するための図である。
【図７】特徴クラスタ処理を説明する際に使用するための図である。
【図８】本発明を実施する画像処理方法を含む方法を説明する際に使用するためのフローチャートである。
【図９】関心部分を有するフルスキャン画像を示す。
【図１０Ａ】関心部分がセグメント化されるときの図９の画像を示す。
【図１０Ｂ】集約境界領域内のセグメント化部分に対応する画像パッチを示す、図１０Ａの画像を示す。
【図１１】フィルタリングされるべき画像パッチを示す図１０の画像を示す。
【図１２】本発明を実施する方法を説明する際に使用するための、超音波NDTスキャン中のパイプの図である。
【図１３】図１２の超音波スキャンの結果として生成された画像からの画像パッチの一例を示す。
【図１４】パイプ内の潜在的欠陥を示す２つの例示的な画像パッチを示す。
【図１５】図６（ａ）〜（ｅ）の画像セグメント処理の、図１４の画像パッチのうちの１つへの適用を説明する際に使用するための図である。
【図１６】図６（ａ）〜（ｅ）の画像セグメント処理の、図１４の画像パッチのうちの１つへの適用を説明する際に使用するための図である。
【図１７】セグメント画像パッチの集約境界領域を示す図である。
【図１８】本発明を具現化するコンピューティング装置のブロック図である。
【発明を実施するための形態】
【００２６】
本発明の一実施形態は、デジタル画像の不要部分を除去する自動画像処理方法及び画像処理機器を含む。単に例として、分析されるべき超音波画像に適用される本発明の一実施形態は、以下に、画像処理プロセスが欠陥検出プロセスの前処理段階である場合に説明される。
【００２７】
図１は、欠陥検出モジュール（欠陥検出部）７に入力する本発明を実施する画像処理機器１００のブロック図を示す。画像処理機器１００は、視覚化モジュール（データ−画像変換部及び画像サンプラ）１、特徴抽出モジュール（特徴抽出部）２、画像セグメントモジュール（画像セグメント部）３、特徴クラスタモジュール（特徴クラスタ部）４、特徴検出モジュール（検出部）５、及びデータフィルタモジュール（データフィルタ）６を含む。モジュール１〜６は以下に説明される。
【００２８】
１．視覚化
本実施形態では、視覚化モジュール１は、入力として生（つまり未処理）スキャンデータを検査中のオブジェクトの超音波スキャンから取り入れる。本例における生スキャンデータは、２つの次元、つまりオブジェクトの先端からの距離ｘ、及び音波出力とエコー信号振幅の測定との間の経過時間ｔ、に従うエコー信号の振幅を含む。本例では、このデータは図２Ａに示されるように行列又は２次元データ構造１０Ａとして表現される。図２Ａでは、エコー信号振幅値a１１、a１２、．．．、amnは、行ｔ１、ｔ２、．．．、ｔn及び列ｘ１、ｘ２、．．．、ｘnに割り当てられる。視覚化モジュール１は、各振幅値を、例えば最小振幅aminの濃い青から最大振幅amaxの濃い赤まで固定色勾配（図２Ｂに示される）により決定されるRGB色にマッピングする。結果として生じる画像は、ピクセルマップであり、各ピクセルの色は振幅値を符号化する。プロットにおいてより高い振幅に割り当てられる色がプロットの中の他の色と視覚的に区別されるならば、代替の色マッピングが使用されて良い。さらに、データの異なる値が画像内で直ちに区別可能ならば、色以外の画像ピクセルの属性がデータの特性特徴（パラメータ）に割り当てられる他の方法を、データを画像にマッピングするために使用することが可能であり得る。
【００２９】
視覚化モジュール１は、画像（ピクセルマップ）をサンプリングして、画像全体を表す画像パッチのセットを生成するよう更に構成される。該画像は、関心部分を含む。視覚化モジュール１は、スキャン全体又はスキャンの部分だけのプロットを可能にするようパラメータ化される。図３に示すように、視覚化モジュール１は、入力として４個のパラメータ、xstep、xoverlap、tstep、及びtoverlapを取り入れ、スキャンデータの幾つかのサンプルを読み出し、オーバラップする画像パッチを生成する。本実施形態では、スキャンのより細かい粒度のビューを提供するために、オーバラップするパッチが生成されるが、画像パッチがオーバラップすることは必須ではない。スキャン画像を生成するために視覚化モジュール１により実行される処理は、図４のフローチャートに詳述される。
【００３０】
ステップ１で、パラメータxstep、xoverlap、tstep、及びtoverlapが定められる。ステップＳ２及びＳ３それぞれで、ｘはx０に等しく設定され、tはt０に等しく設定される。ステップＳ４及びＳ５それぞれで、スライディングウインドウxrange=[x,x+xstep]及びtrange=[t,t+tstep]が定められる。生成される画像パッチは、提供された範囲内のデータをサンプリングすることから生じる（ステップＳ６〜Ｓ８）。xは、ステップＳ９でx+xstep−xoverlapに等しく設定され、ステップＳ１０でxの最大値xmと比較される。xがxmより小さい場合、処理はステップＳ４に戻り、ステップＳ４及びＳ６〜Ｓ１０はxがxmに等しくなるまで繰り返される。処理は、次にステップＳ１１へ進む。tは、ステップＳ１１でt+tstep−toverlapに等しく設定され、ステップＳ１２でtの最大値tnと比較される。tがtnより小さい場合、処理はステップＳ２及びＳ５に戻り、ステップＳ４〜Ｓ１２はtがtnに等しくなるまで繰り返される。処理は、行列全体がプロットされると終了する。
【００３１】
２．特徴抽出
本発明の実施形態では、特徴抽出モジュール２は、視覚化モジュール１により生成された画像パッチから特徴ベクトルを抽出するよう構成される。各特徴ベクトルは画像パッチの特徴を表す。画像の特徴ベクトル表現を計算する多くの可能な方法がある。本実施形態では、特徴抽出モジュール２は、深層学習に基づく機械視覚技術を用いる。このような技術は従来良く知られており、画像の重要な視覚的特性をキャプチャすることが証明されている。画像認識のために訓練された深層ニューラルネットワーク（deep  neural  network：DNN）の良く知られた例は、AlexNetと呼ばれる畳み込みニューラルネットワークアーキテクチャである。このネットワークは、入力としてサイズ２５６×２５６ピクセルのRGB画像を取り込み、それらを１０００個の異なるカテゴリに分類することができる。
【００３２】
図５に示すように、このようなDNN２０は、画像をネットワークに供給し、フィードフォワードステップを実行し、及び最終レイヤのうちの１つの中で見付かったデータを特徴を表す値のベクトルとしてエクスポートすることにより、特徴抽出のために使用できる。例えば、データが最後のレイヤ（AlexNetでは「fc８」と称される）から抽出された場合、ネットワークは、任意の２５６×２５６RGB画像を１０００個の実数要素を有するベクトルに変換する特徴抽出部になる。
【００３３】
３．画像セグメント化
画像セグメント化は、画像の表現を分析のためにより有意義な又は容易なものに単純化する又は変更するために、デジタル画像を複数のセグメントに区分する処理である。これは、標準的に、画像内のオブジェクト及び境界の位置を特定するために使用される。画像セグメント化では、ラベルが画像内の各ピクセルに割り当てられ、特定特性を共有するピクセルが同じラベルを割り当てられるようにする。
【００３４】
本発明の画像セグメントモジュール３は、画像内の関心部分をセグメントセットにセグメント化する。本実施形態では、画像内の関心特定構造の位置を特定するために、画像セグメントモジュール３は、画像内の所与の色（例えば図６において赤）の最大部分を検索する。該最大部分は、所与の振幅のエコー信号を有する最大オブジェクトに対応する。最初に、図６（ａ）に示すように、セグメント化されるべき画像は、形状[x,t,３]の３D行列に変換され、ここで各[x,t,i]は各色（赤、緑、及び青）のピクセル強度を表す。所与の色コンポーネントの色値の２D行列は、次に、図６（ｂ）に示すように抽出される。結果として生じた値の行列は、閾値が定められ及び変換されて、２値の白黒画像を生じる。ここで、白色成分は異なる「オブジェクト」３０Ａ、３０Ｂを表し、元の値の強度は、画像内の関心構造を見付けるために検索を較正するためにプリセットされた何らかの固定値より小さい（図６（ｃ）及び（ｄ））。これらの図の白色オブジェクト３０Ａ、３０Ｂは、黒色ギャップ３１により分離される。黒色ギャップ３１は、欠陥の位置を表し、又は正しくスキャンされなかったオブジェクトの部分に対応し得る。各オブジェクト３０Ａ、３０Ｂの領域は、各オブジェクト内のピクセルの番号として取り入れられ、最大オブジェクトは、最大領域を有するオブジェクト（本例ではオブジェクト３０Ｂ）であるとして取り入れられる。x次元における（それぞれx１及びx２）及びt次元における（それぞれt１及びt２）最大オブジェクトの最小及び最大座標は、最大オブジェクトの境界ボックスが（（x１,t１）、（x１,t２）、（x２,t２）、（x２,t１））において定められるようにする（図６（ｅ））。最大オブジェクトを識別するこの処理は、次に、残りのオブジェクト（つまり既に識別された最大オブジェクトを除く）の中で、全てのオブジェクトが境界ボックスにより定められるまで、次の最大オブジェクトを見付けるために、必要に応じて連続的に繰り返され、それにより関心部分をセグメント化する。
【００３５】
４．特徴クラスタ化
特徴クラスタモジュール４は、特徴抽出モジュール２により抽出された特徴ベクトルを複数のクラスタに区分するよう構成される。ここで、同じクラスタ内の特徴ベクトルは共通特性を共有する。クラスタ分析は、同じグループ、つまり「クラスタ」内のオブジェクトが（何らかの方法で）他のクラスタ内のオブジェクトよりも、互いにより似ているオブジェクトのセットをグループ化するタスクである。K平均のような一般的な区分方法は、それらの簡易性及び計算効率のために多くの適用領域で広く使用されている。本実施形態は、ｋ平均を使用するが、任意の他のクラスタ化アルゴリズムが選択され得る。
【００３６】
特徴クラスタモジュール４の基本的目的は、特徴抽出モジュール２から生じる画像ベクトルのセットを、図７に示されるように多数のクラスタに区分することである。ｋ平均の場合には、クラスタ数は、ドメイン知識に基づき予め定められる必要があるが、より複雑なアルゴリズムではこの数はアルゴリズム自体により発見される。
【００３７】
クラスタを用いて、スキャン画像パッチは、それぞれの画像ベクトル類似性に従いソートされて、特定クラスタに割り当てられた画像が、他のクラスタに割り当てられた画像よりも互いに視覚的に類似することが期待される。ベクトル類似性は、例えばコサイン類似性指標を用いて計算できる。
【００３８】
クラスタ化はスキャンされたオブジェクトの中に存在する特定構造のグループ化を可能にするが、これは、このような構造にいかなるラベル又はセマンティクスも割り当てない。どのクラスタが特定構造に対応するかを識別するために、後述するように更なる処理が必要である。
【００３９】
５．構造検出
構造検出モジュール５は、画像セグメントモジュール３及び画像クラスタモジュール４の出力を用いて、集約境界領域生成処理を実行するよう構成される。集約境界領域生成処理は、関心部分に関連する全ての画像パッチを含む集約境界領域を生成する。集約境界領域生成処理は、セグメントセットの中の最大セグメントを見付け、該セグメントの周囲に境界ボックスを生成するステップと、どの画像クラスタがセグメントの境界ボックスの中で最も多くの画像パッチを含むかを決定するステップと、決定した画像クラスタの画像パッチを関心部分の集約境界領域に追加するステップと、を含む。集約境界領域生成処理は、セグメントセットの中の各々の他のセグメントについてサイズ順に繰り返される。構造検出モジュール５を用いる、本発明を実施する方法の動作は、図８のフローチャートを参照して以下に説明される。
【００４０】
上述のように、画像セグメントモジュール３により使用されるパラメータ値は、関心特定構造（例えば、検査中のオブジェクトの後壁）を識別するために設定（「調整」）される。この構造は、図９に示されるように、全スキャン画像のうち少なくとも１つの相対的に大きな領域３０として際立つと仮定する。
【００４１】
処理は、画像セグメントモジュール３が関心構造の少なくとも１つの可能な重要セグメントを識別し（ステップＳ８１）、及び全てのこのような識別されたセグメントのリストを生成する（ステップＳ８２）ことで開始する（図６を参照して上述した）。ステップＳ８３で、リストが空ではない（「No」）ことを確認した後に、図１０Ａに示されるように、画像セグメントモジュール３は、次にリストから最大セグメントを選択し（Ｓ８５）、該最大セグメントを囲む境界ボックス３２Ａを定め（Ｓ８６）、その左上角の座標（t０,x０）及び右下角の（t１,x２）を抽出する。
【００４２】
その最初の反復で、図１０Ｂに示されるように、構造検出モジュール５により実行される処理は、画像クラスタモジュール４により生成された画像クラスタのうちのどれ（以後、「トップクラスタ」と呼ぶ）が、セグメント境界ボックス３２Ａ内の最多パッチ３３を含むかを調べる（ステップＳ８７、Ｓ８８）。ひもの場合、１より多くのクラスタがトップクラスタとして選択されて良い。
【００４３】
処理は、処理の該反復で識別された各トップクラスタの画像パッチ（図１０Ｂの３３Ａ）を、構造全体について集約境界領域３４に追加することにより継続する（ステップＳ８９，Ｓ９０）。前の最大セグメントは、次に初期リストから削除され（ステップＳ９１）、その後、処理はステップＳ８３に戻り、リストに残されたセグメントが無くなるまで、残りのセグメント３３Ｂ、３３Ｃ、３３Ｄ、３３Ｅが次にサイズの降順に処理される（「処理済み画像Yes」、ステップＳ８３）。この処理の出力（ステップＳ８４）は、図１０Ｂに示されるように、選択された識別された画像パッチの全部を含む集約（全体）境界領域３４である。
【００４４】
６．データフィルタリング
データフィルタモジュール６は、図１１に示されるように、元の画像から、集約境界領域３４の外側にある画像パッチ３５を除去するよう構成される。例えば、画像セグメントモジュール３が検査オブジェクトの後壁を識別する場合には、反射によるノイズを表す後壁の下側のスキャン領域を削除することが望ましいことがある。このような領域は、より高いtの値で受信されるエコーに対応する。したがって、本例では、データフィルタモジュール６により実行されるデータフィルタリング処理は、境界領域の最大値tより高いtの値の範囲を有する画像パッチを調べ削除する。
【００４５】
７．欠陥検出
上述のように、本実施形態では、画像処理機器１００から出力されるフィルタリングされた画像は、欠陥検出モジュール７に供給される。欠陥検出モジュール７の正確な性質は、本発明の主題ではない。しかしながら、１つの可能な実装は、教師付き機械学習アプローチを用い得る。このような場合には、画像処理機器１００は、サンプルスキャンセットについて画像パッチを生成し、上述の処理によりパッチからノイズを除去し得る。次に、各パッチを、既知の欠陥位置に対して、欠陥の肯定的又は否定的例としてラベル付けし得る。次に、特徴抽出モジュール２は、ラベル付けされた画像ベクトルのトレーニングセットを生成するために適用され得る。標準的な機械学習方法の後に次に、トレーニングセットを用いて、欠陥と非欠陥パッチとの間を区別するよう学習モジュールを訓練する。例えば、kNM（k−Nearest  Neighbour）のような簡易分類器が、新しいスキャンからのパッチが欠陥クラス又は非欠陥クラスに含まれるかを決定するために適用され得る。
【００４６】
＜例＞
本発明を実施する画像処理方法の特定の適用は、以下に図１２〜１７を参照して記載される。
【００４７】
例示を目的として、私達はグラスファイバパイプ１２０を検査オブジェクトとして検討する。グラスファイバは、軽量な重さながら高い強度及び耐久性特性を有することから利益を享受する大きな構造物の製造において広く使用される。グラスファイバの初期の用途は、航空機設計のための航空機及び航空宇宙産業から生じた。今日、特に、船体、パイプ、サーブボード、風力タービン翼、自動車車体部品、ウォータスライダ、棒高跳びの棒、を含む多くの他の用途がある。このようなオブジェクトの中で異常を製造することは、それらの構造的完全性に重要な影響を与え得る。
【００４８】
超音波NDTスキャンは、プローブアレイ１２１により実行される。プローブアレイ１２１は、パイプ構造１２０の内部を伝搬する音波を発し、前壁及び後壁との相互作用から生じるエコーを受信する（図１２）。エコーの振幅は、２つの次元、つまりパイプ１２０の長さに平行な方向で測定される長さx、及び時間ｔ、に沿って測定される。結果として生じるデータは、エコー振幅を有する数値行列として表現できる。ここで、各行ｉは所与の伝搬時間tiに対応し、各列jは所与の水平位置xjに対応する。生データ行列は、上述のスキャンデータサンプル視覚化処理において示したように、色勾配をエコーの振幅値にマッピングすることにより（例えば、濃い青から濃い赤までの勾配）視覚化できる。
【００４９】
検査オブジェクトの前及び後ろ構造は、図１３の画像パッチの中に示されるように、それらの生成するエコーの振幅が通常、濃く色付けされた領域として目立つので、視覚化の中で容易に識別可能であり、したがって、欠陥の検査を容易にする。グラスファイバレイヤ中のしわのような欠陥は、図１４に示されるように、後ろ構造領域の中で不連続又は湾曲のようなスキャン中の独特な視覚的パターンをもたらす。
【００５０】
構造の下の視覚化されたデータ（図１３を参照）は、ノイズを構成し、したがって検査目的では重要ではない。
【００５１】
方法は、スキャン視覚化パッチのセグメント化で開始する。図１５に示されるように、各パッチは、所望のコンポーネント（この場合は赤）を別個の画像として抽出することにより、複数のオブジェクトにセグメント化される。別個の画像は、次に、閾を定められ、前述のように反転され、結果として共に後ろ構造の部分である２個のオブジェクトを生じる。領域は、各オブジェクトについて計算され、境界ボックスが最大のものの周囲に描かれる。
【００５２】
図１６に示すように、画像内で識別された最大オブジェクトは画像から除去され、境界ボックスが、後壁の後半である、残っている最大オブジェクトの周囲に描かれる。この第２オブジェクトが除去されると、もう残りオブジェクトがない。この処理により識別されたオブジェクトの境界ボックスは、後ろ構造の位置の近似を提供する（図１７）。
【００５３】
同じアプローチは、検出され及びセグメント化される必要のある支配的大型オブジェクトを有する非超音波画像に適用可能である。例えば、特定自動車道からのCCTVカメラのキャプチャした映像は、自動車道車線及び路肩の両者からの像を含み得る。幾つかの適用では、路肩上を不法に走行する車を検出したいことがある。別の適用では、例えば車の存在しない無関係な画像部分を削除することにより、画像データファイルのサイズを縮小したいことがある。本発明の一実施形態は、主要道路を路肩から分離する白線をセグメント化するために適用され得る。
【００５４】
本発明の実施形態は、ハードウェア、１若しくは複数のプロセッサで動作するソフトウェアモジュールとして又はそれらの組合せで実施されてもよい。つまり、当業者は、マイクロプロセッサ又はデジタルシグナルプロセッサ（DSP）が実際には用いられて、上述の機能の一部又は全部を実施してもよいことを理解するだろう。
【００５５】
本発明は、１又は複数の装置若しくは機器の、本願明細書に記載された方法の一部又は全部を実行するプログラム（例えば、コンピュータプログラム及びコンピュータプログラムプロダクト）として具現化されてもよい。このような本発明を具現化するプログラムは、コンピュータ可読媒体又はクラウドに、例えば１又は複数の信号の形式で格納されてもよい。このような信号は、インターネットのウェブサイトからダウンロード可能なデータ信号であってもよく、又はキャリア信号で若しくはどんな他の形式で提供されてもよい。
【００５６】
図１８は、本発明を実現し、本発明を具現化する方法のステップの一部又は全部を実施するために及び一実施形態の装置のタスクの一部又は全部を実行するために使用できる、データ記憶サーバのようなコンピューティング装置のブロック図である。例えば、図１８のコンピューティング装置は、図４に図示した視覚化方法の全てのステップ及び図８に図示した画像処理方法の全てのステップを実施するため、及び図１に示された画像処理機器及び欠陥検出部の全てのタスクを実行するため、又は図４の視覚化方法の一部のステップだけを実施するため、及び／又は図８の画像処理方法の一部のステップだけを実施するため、及び図１の画像処理機器の一部のタスクだけ及び／又は図１の欠陥検出部の一部のタスクだけを実行するために使用されて良い。
【００５７】
コンピューティング装置は、プロセッサ９９３、及びメモリ９９４を有する。任意で、コンピューティング装置は、コンピューティング装置のような他者、例えば本発明の実施形態の他のコンピューティング装置と通信するためのネットワークインタフェース９９７も有する。
【００５８】
例えば、一実施形態は、このようなコンピューティング装置のネットワークで構成されて良い。任意で、コンピューティング装置は、キーボード及びマウスのような１又は複数の入力メカニズム９９６、及び１又は複数のモニタのようなディスプレイユニット９９５も有する。コンポーネントは、バス９９２を介して互いに接続可能である。
【００５９】
メモリ９９４は、コンピュータ実行可能命令を実行する又は格納されたデータ構造を有するよう構成される単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース及び／又は関連するキャッシュ及びサーバ）を表し得るコンピュータ可読媒体を有して良い。コンピュータ実行可能命令は、例えば、汎用コンピュータ、特定目的コンピュータ又は特定目的処理装置（例えば、１又は複数のプロセッサ）によりアクセス可能であり及び１又は複数の機能又は工程を実行させる命令及びデータを有して良い。したがって、用語「コンピュータ可読記憶媒体」は、機械による実行のために命令セットを格納しエンコードし又は持ち運ぶことが可能であり、機械に本開示の方法のうち任意の１又は複数を実行させる任意の媒体も含み得る。用語「コンピュータ可読記憶媒体」は、固体メモリ、光学媒体及び磁気媒体を含むと考えられるが、これらに限定されない。例として且つ限定ではなく、このようなコンピュータ可読媒体は、RAM（Random  Access  Memory）、ROM（Read−Only  Memory）、EEPROM（Electrically  Erasable  Programmable  Read−Only  Memory）、CD−ROM（Compact  Disc  Read−Only  Memory）又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置を含む非一時的若しくは有形コンピュータ可読記憶媒体、又は他の媒体、フラッシュメモリ装置（例えば、固体メモリ装置）を有し得る。
【００６０】
プロセッサ９９３は、コンピューティング装置を制御し、処理工程を実行するよう、例えば図１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、及び／又は１７を参照して記載された及び請求の範囲において定められる方法を実施するためにメモリ９９４に格納されたコンピュータプログラムコードを実行するよう構成される。例えば、このようなコンピュータプログラムコードは、図１に示された及び上述された、視覚化モジュール１、特徴抽出モジュール２、画像セグメントモジュール３、特徴クラスタモジュール４、特徴検出モジュール５、及びデータフィルタモジュール６のうちの少なくとも１つを実装して良い。メモリ９９４は、プロセッサ９９３によりリード及びライトされるデータを格納する。本願明細書で参照されるとき、プロセッサは、マイクロプロセッサ、中央処理ユニット、等のような１又は複数の汎用処理装置を含み得る。プロセッサは、CISC（complex  instruction  set  computing）マイクロプロセッサ、ＲＩＳＣ（reduced  instruction  set  computing）マイクロプロセッサ、VLIW（very  long  instruction  word）マイクロプロセッサ、又は他の命令セットを実施するプロセッサ、若しくは命令セットの組合せを実施するプロセッサを含み得る。プロセッサは、ASIC（application  specific  integrated  circuit）、FPGA（field  programmable  gate  array）、DSP（digital  signal  processor）、ネットワークプロセッサ、等のような１又は複数の特定目的処理装置も含み得る。１又は複数の実施形態では、プロセッサは、本願明細書で議論する工程又はステップを実行する命令を実行するよう構成される。
【００６１】
ディスプレイユニット９９５は、コンピューティング装置により格納されたデータの提示を表示して良く、ユーザとプログラムとコンピューティング装置に格納されたデータとの間の相互作用を可能にするカーソル及びダイアログボックス及びスクリーンも表示して良い。入力メカニズム９９６は、ユーザがデータ及び命令をコンピューティング装置に入力することを可能にし得る。
【００６２】
ネットワークインタフェース（ネットワークI/F）９９７は、インターネットのようなネットワークに接続され、ネットワークを介して他のコンピューティング装置に接続可能であって良い。ネットワークI/F９９７は、ネットワークを介して他の装置からのデータ入力／へのデータ出力を制御して良い。
【００６３】
マイクロフォン、スピーカ、プリンタ、電源ユニット、ファン、筐体、スキャナ、トラックボール等のような他の周辺装置は、コンピューティング装置に含まれて良い。
【００６４】
本発明を実現する方法は、図１８に示されたようなコンピューティング装置で実行されて良い。このようなコンピューティング装置は、図１８に示した全てのコンポーネントを有する必要はなく、これらのコンポーネントのうちの部分集合で構成されて良い。本発明を具現化する方法は、ネットワークを介して１又は複数のデータ記憶サーバと通信する単一のコンピューティング装置により実行されて良い。コンピューティング装置は、データの少なくとも一部を格納するデータ記憶装置自体であっても良い。
【００６５】
本発明を実現する方法は、互いに協働して動作する複数のコンピューティング装置により実行されて良い。複数のコンピューティング装置のうちの１又は複数は、データの少なくとも一部を格納するデータ記憶サーバであっても良い。
【００６６】
上述の本発明の実施形態は、実施形態のうちの任意の他の実施形態と独立に又は実施形態のうちの１又は複数の他の実施形態との任意の実現可能な組合せで、使用されても良い。
【図１】
2019530096.tif 000003
【図２Ａ】
2019530096.tif 000004
【図２Ｂ】
2019530096.tif 000005
【図３】
2019530096.tif 000006
【図４】
2019530096.tif 000007
【図５】
2019530096.tif 000008
【図６】
2019530096.tif 000009
【図７】
2019530096.tif 000010
【図８】
2019530096.tif 000011
【図９】
2019530096.tif 000012
【図１０Ａ】
2019530096.tif 000013
【図１０Ｂ】
2019530096.tif 000014
【図１１】
2019530096.tif 000015
【図１２】
2019530096.tif 000016
【図１３】
2019530096.tif 000017
【図１４】
2019530096.tif 000018
【図１５】
2019530096.tif 000019
【図１６】
2019530096.tif 000020
【図１７】
2019530096.tif 000021
【図１８】
2019530096.tif 000022
【国際調査報告】
2019530096.tif 000023
2019530096.tif 000024