立石科学技術振興財団

助成研究成果集(第30号) 2021

［ 研究助成 (A) ］

レーザー超音波可視化技術と機械学習による定量的自動非破壊検査手法の開発
Development of quantitative automatic non- destructive inspection method
using laser ultrasonic visualization technique and machine learning
2191009

研究代表者

群馬大学大学院
理工学府 環境創生部門

准教授

斎

藤隆

泰

[研 究 の 目 的]
近年，自動車等の機械材料・構造や社会基盤構造物に対する品質保証や維持管理を目的に，非破壊検査の重要性が高まっている。しかしな
図1

がら，一方で，非破壊検査技術者の人材不足もレーザー超音波可視化技術懸念されている。このような中，ビッグデータ
等 IT 技術の発展は目覚ましく，様々な業界で

図 1 右のような緑のレーザー遮蔽ボックスの中それらの応用が進んでいる。そこで，本研究でに設置されたレーザー機器から試験体に向けては，人材不足の危機に瀕した将来の検査技術者レーザーを送信する。その際，レーザー照射にの代替として，人工知能 (AI) の活用を検討

より，照射点より超音波が発生・伝搬する。こする。もし，非破壊検査の分野で AI を活用での と き，予 め 試 験 体 に 設 置 し た セ ン サ ー

きれば，機械が可能な部分は機械に任せ，責任(Receiver) でその超音波を受信した後，相反は真の検査技術者が負うような，人間と機械が定理を用いて，照射点とセンサーでの信号を入調和した非破壊検査技術の開発が可能となろう。

れ替えることにより，あたかもセンサーから超そのための第一段階として，レーザー超音波可音波が伝搬しているような可視化を施す技術を視化技術に機械学習を用いた AI 検査を導入でレーザー超音波可視化技術と呼ぶ。照射点は試きるか否かについて検討を行うことを目的に，験体の表面に限られるため，超音波を可視化出本研究を実施する。

来る領域も，試験体表面に限られる。しかしながら，欠陥が試験体表面に存在する場合は，検査員が欠陥からの散乱波を後に示す図 3 のよう[研究の内容，成果]に視覚で確認することができる。本研究では，そのような視覚での散乱波の確認を AI に任せ

1．レーザー超音波可視化技術
まず，本研究で対象としたレーザー超音波可ることができるか否かを検討する。

視化技術について簡単に説明しておく。レー
ザー超音波可視化技術の概略を図 1 に示す。
― 1 ―

立石科学技術振興財団

2．機械学習と学習対象
機械学習は，AI の基礎となるものであり，AI に様々なデータを学習させ，対象となる問題に適用するものである。機械学習は，様々な方法が知られているが，画像解析と比較的相性が良い。また，画像中の特徴量を人間が指定する場合と，機械が自動的に特徴量を検出する場合に分けられる。幸いなことに，図 1 に示した

図3

鋼材に対するレーザー超音波可視化試験結果の一例

レーザー超音波可視化技術では，後の図 3 で示子を用いた。同様の試験体を複数作成し，適宜，すような超音波伝搬画像を得ることができる。

可視化領域内に貫通空洞 (欠陥) を人工的に作よって，本研究では，そのような超音波伝搬画成した。図 2 に対するレーザー超音波可視化試像を対象に機械学習を実施する。

験結果の一例を図 3 に示す。図 3 は，可視化範囲上部から超音波が入射した場合に，丁度底面で反射する時刻における超音波の画像化結果を

3．レーザー超音波可視化結果
レーザー超音波伝搬可視化試験の対象材料と示している。図 3 画像中の左側中央下付近に，して，鋼材やアルミ板と CFRP (炭素繊維強化欠陥から生じた同心円状の散乱波を確認するこプラスチック) を選定した。その理由は，等方とができる。よって，検査員は，この同心円の性材料である鋼材やアルミニウムでは超音波が中央付近に欠陥が存在すると判断することがで等方に伝搬するが，異方性材料である CFRPきる。

では，超音波は等方に伝搬することなく複雑に3. 2伝搬するため，性質が全く異なるためである。

アルミニウム板試験体に対する超音波伝搬可視化結果

また，アルミニウムを板材としたのは，板はガ次に，アルミニウム板試験体に対して 3. 1 とイド波と呼ばれる特殊な波動を引き起こすため同様にレーザー超音波可視化試験を行った。用である。紙面の都合上，全ての結果を載せるこいたアルミニウム板を図 4 (左) に示す。レーとはできないため，以下ではこれらの超音波伝ザー照射領域は図 4 (左) の赤枠の領域であり，搬可視化結果の一例を示す。

その中央上部に 2 MHz の表面波探触子を設置

3. 1

鋼材試験体に対する超音波伝搬可視化結果した。この場合も 3. 1 と同様に，レーザー照射

図 2 に用いた鋼材試験体の一例を示す。試験領域内部に欠陥を有する試験体を複数作成して体の寸法は図 2 に示す通りであり，超音波の可い る。ま た，図 4 (右) に 欠 陥 有 り の 場 合 の視化範囲 (レーザー照射領域) は赤点線で示す領域である。センサーには 1 MHz の縦波探触図4
図2

鋼材試験体 (寸法単位は mm)― 2 ―アルミニウム板試験体に対するレーザー超音波可視化試験 (左) アルミニウム板試験体 (右) 可視化結果の一例

Tateisi Science and Technology Foundation

レーザー超音波可視化試験結果の一例を示す。
中央やや上付近に示されている横長黒四角の領域が欠陥であるスリットを示している。レー
ザー照射領域上部から下向きに伝搬する超音波が，スリットにより散乱され，上向きに伝搬する散乱波が可視化できていることがわかる。
さて，図 3 や図 4 (右) のように得られた超音波伝搬可視化画像中の散乱波の発生を目視で図5確認することにより，試験体中の欠陥の有無を検査員は容易に判断することができる。この判オプティカルフローを用いた鋼材試験体中の欠陥有無の判定結果の一例

断は，画像中に欠陥が存在するか否かの画像分から計算された，超音波の伝搬方向ベクトルを類問題と同様であり，画像中に写っている動植可視化したものである。欠陥が無い場合，これ物の分類を機械学習で行う問題と同様に解けるらの伝搬方向ベクトルは，入射超音波の伝搬方と考えられる。そこで，本研究では，これら超向を向く。しかしながら，図 5 のように欠陥が音波伝搬画像を大量に用意し，それらに対して存在する場合は，欠陥付近で入射超音波の伝搬機械学習を実施することで，欠陥の有無等を判方向ベクトルとは逆向きの矢印 (図 5 では上向定することを試みる。

き) が発生していることがわかる。
なお，この問題の場合，超音波の伝搬方向ベ

4．超音波伝搬画像の機械学習クトルが大きく変化することを欠陥が存在する

以下，超音波伝搬画像を機械学習した結果の場合の特徴量として，人間が設定している。しいくつかの例を紹介する。

かしながら，問題が複雑な場合は，特徴量を人

4. 1

オプティカルフローを応用した欠陥からの散間が与えること自体が難しい場合もある。そこ

乱波抽出に対する機械学習

で，本研究では，次に示す深層学習を行う方法

図 3 で示したように，通常，欠陥からの散乱波の伝搬方向は入射波の伝搬方向と異なる方向についても検討する。
4. 2に伝搬する。そのため，入射波の伝搬方向を追深層学習を用いたアルミニウム板中の欠陥有無の推定跡しておき，その方向が変化する方向を学習し深層学習を用いて図 4 で示したようなアルミておくことで，欠陥からの散乱波を検出し，欠ニウム板中の欠陥の有無を推定した結果の一例

陥の有無を判断することに繋がると考えられる。

を示す。レーザ超音波可視化試験で得た画像は，幸い，レーザー超音波可視化技術では，超音波

欠 陥 有 り 1280 枚，欠 陥 無 し 1200 枚 の 合 計

伝搬の時系列画像を得ることができる。そこで，2480 枚の画像を準備した。これらの画像群に

本研究では，機械学習の分野でデジタル画像中対し，画像回転等のデータ拡張を行うことで，の物体の追跡手法として用いられているオプ画像を水増しした。それら水増しされたデータ

ティカルフローを応用し，入射超音波や散乱波を訓練データ 15872 枚，検証データ 3968 枚のの伝搬方向ベクトルを追跡することを試みた。

8 : 2 に分割したホールドアウト法を用いて学習

その結果の一例を図 5 に示す。

を行った。深層学習における層構造の詳細につ

図 5 は，図 2 で示した鋼材試験体に対して，いては割愛するが，全部で 8 層とし，出力には欠陥上方にセンサーを置いた場合の散乱波の抽

ソフトマックス関数を用いて，欠陥有り，無し出結果を示している。図 5 中に無数に現れる矢の 2 分類問題として，それぞれの場合の確率を

印は，図 5 で示した時刻と隣接する時刻の画像出力させることとした。また，学習にはミニ― 3 ―立石科学技術振興財団

図 8 未学習のデータに対する欠陥判定結果

以上より，本深層学習により，正しく深層学習
図6モデルを構築できたことがわかる。

訓練・検証データの損失値と学習回数の関係

次に，構築した深層学習モデルを用いて，図4 (右) のような未学習の時系列画像を与え，正しく画像中の欠陥の有無を判定できるかを確認することを行った。結果を図 8 に示す。図 8の棒グラフの横軸は時系列画像の番号を，縦軸は構築した深層学習モデルが計算した欠陥有りの場合の確率を示している。総時系列数は 512であり，図 4 (左) のセンサーから超音波が送図7信された直後を時系列番号ゼロの動画としてい訓練・検証データの精度と学習回数の関係る。図 8 より，入射波がセンサーから送信されバッチ学習を用いた。入力とする超音波伝搬画た直後は，入射波が欠陥に到達していないため，像サイズは 100 * 100 とした。それらの画像を欠陥有りの確率はゼロとなっていることがわか

訓練，検証した結果を図 6, 7 に示す。図 6 はる。一方で，370 ステップ目からは，人間の目訓練・検証データの損失値と学習回数の関係を，で見ても散乱波が発生していることがわかるが，

図 7 は訓練・検証データの精度と学習回数の関

図 8 より，370 ステップ付近から作成した深層係を示している。なお，ここで述べる損失とは， 学習モデルも欠陥有りと判定していることがわ
訓練に応じた深層学習モデル自体の確からしさかる。しかも，その確率は 370 ステップ付近でを表す。一方，精度とは，n 回の試行に対し，急激に上昇していることがわかる。なお，250

正しく分類された回数を nr とすれば，nr/n でステップから 300 ステップの間では，複数回，与えられ，単に与えられた画像を正しく分類で欠陥有りとの判定結果を下している。この点はきたか否を表す指標であることに注意されたい。

誤判定と考えられるが，なぜ深層学習モデルがそのため，偶然正しく分類された事象も，このそのように判定したかは今後の課題である。い精度に含まれる可能性がある。図 6 より，学習ずれにせよ，概ね，本深層学習モデルで汎化性回数 (横軸：Epoch と呼ぶ) が増加すると共能を正しく得られたことがわかる。に，訓練検証における損失の値が減少している

4. 3

その他行った機械学習の取り組みことがわかる。すなわち，学習により深層学習

なお，CFRP についても 4. 2 と同様にレーモデルが正しく構築されていることがわかる。

ザー超音波可視化試験を行い，大量の画像デー一方，図 7 より，学習を重ねる毎に，画像の分タを取得し，深層学習モデルを構築した。その類を正しく行えていることがわかる。2 Epoch

場合も，図 8 と同様に，概ね正しい結果を得る

程度でおよそ正しく欠陥の有無を判定できた確ことができている。一般的に，実際に人工欠陥率は 90 パーセントを超えていることがわかる。

を試験体に設け，実際にレーザー超音波可視化― 4 ―Tateisi Science and Technology Foundation

試験を実施することは手間がかかる。そのため，超音波シミュレーションがより高精度化できれ画像中のどのような部分を特徴として捉えたか，ば，転位学習を用いて，超音波シミュレーショ

本研究で行った機械学習がどの程度，有効であン結果で得られた学習結果を，実際のレーザーるかを確認するには画像枚数が足りない。そこ

超音波可視化試験に転用することができるだろで，本研究では，時間領域境界要素法等を用いう。て超音波シミュレーションを実施することで，さらに，レーザー超音波可視化試験では，試レーザー超音波可視化試験と同等の画像を作成

験体表面の超音波伝搬画像しか得ることができすることを行い，それらの画像を用いた学習もない。よって，欠陥が試験体表面に存在する場行った。結果として，深層学習モデルは人間と合しか欠陥を検出することができない。しかし同様に，波動の波面を追跡し，散乱波の発生状ながら，医療における X 線 CT 等の分野では，況から欠陥の有無を判定したことがわかった。

数値計算を取り入れて，足りないデータを補間することで，人体内部を可視化している。そのため，何らかの数値計算を用いた逆問題により，[今後の研究の方向，課題]試験体内部の欠陥を検出する方法を開発することも有用であると思われる。

1．今後の研究の方向
本研究では，レーザー超音波可視化試験に対最後の検討した課題として，実際にどの程度する機械学習を実施して，将来の非破壊検査にデータを効率的に集められるか，それをメンテおける AI の活用可能性について検討した。現ナンスできるかは大きな問題である。高精度化

在，社会では Society. 5.0 や SDGs の提唱等がを目指す場合，データの大規模化は避けられな行われていることを鑑みれば，非破壊検査の分い。これについては，産学連携等での実施が必野において，AI の活用は必然であると考えら要ではないかと考えている。

れる。そのため，本研究は時宜を得た研究であると思われる。今後は，このような研究が様々[謝な非破壊評価の分野で行われていくと考えられる。

辞]本研究実施の機会を与えて下さった公益財団法人
立石科学技術振興財団の関係各位の皆様に厚くお礼を申し上げます。また，本研究途中でご逝去されました，貴財団理事長の立石義雄様のご冥福を心より

2．今後の課題
一方で，本研究には，数々の課題が残されてお祈り申し上げます。

いる。例えば，本研究では，予め試験体にセンサーを設置することが必須である。構造物の形態や試験条件によっては，センサーを直接設置することが難しい場合もある。よって，受信側センサーを，レーザードップラー振動計等に置き換えた，完全非接触レーザー超音波非破壊検査の開発とその AI 化について検討する必要がある。簡易に行うには，センサーを空気超音波センサーに置き換えることも良い手段かと考え[成果の発表，論文等][ 1 ] 斎 藤 隆 泰・田 代 匡 彦・波 多 野 雅 彦 : 超 音 波 シ
ミュレーション結果とレーザー超音波可視化画像の深層学習による欠陥自動判定への応用，2019 年度
非 破 壊 検 査 協 会 秋 季 講 演 大 会 講 演 概 要 集，pp.
149-150, (2019)[ 2 ] 蓑輪里歩・波多野雅彦・伊藤司・斎藤隆泰：深層学習とレーザー超音波可視化試験による欠陥の自動判定法，H31 年度土木学会全国大会，CD-ROM
収録，(2019)，発表者の学生が優秀講演賞を授賞．
[3]

られる。
また，前節の 4. 3 で述べたが，超音波伝搬シミュレーションの高度化も有用となるだろう。
― 5 ―R. Minowa and T. Saitoh : Development of auto-

matic defect detection method using deep-learningfor elastic wave fields obtained by time-domainboundary element method, APCOM2019, Taipei,

立石科学技術振興財団

Taiwan, (2019)[4]

destructive evaluation, “Challenges on NDE 4.0 in

都築幸乃・齋藤泰彦・中畑和之・斎藤隆泰 : 畳academic side in Japan”, 2020 年度第一回先進超音

み込みニューラルネットワークを用いた Wavefield

波計測に関する萌芽技術研究会，(2020 年 11 月 18

データからの表面欠陥の自動検出，AI・データサ日) (招待講演，およびパネルディスカッション)

イエンスシンポジウム論文集，vol. 1 J1 号 pp. 339-

[ 8 ] 斎 藤 隆 泰・蓑 輪 里 歩・松 原 江 里・廣 瀬 壮 一 :348, (2020) (査読有)[5]

CFRP を対象とした Wavefield data の深層学習とT. Saitoh, M. Tashiro and M. Hatano : Deeplearning for elastic wave fields obtained by CQBEM
anditsapplication

tolaserultrasonicnon-

内 部 欠 陥 の 検 出，第 26 回 計 算 工 学 講 演 会，
CD-ROM 収録，[B-07-04], (2021)[9]斎藤隆泰・蓑輪里歩・石黒明日海 : シミュレー

destructive testing, M2018-A, The 4th International

ションを活用したデジタルツイン非破壊評価に対す

Conference on Power, Energy and Mechanical Engi-る 展 望，非 破 壊 検 査，vol. 70, No. 2, pp. 59-64,(2021) (査読有)neering (ICPEME 2020), (2020)
斎藤隆泰・蓑輪里歩・加藤 毅：レーザ超音波可[10] 斎藤隆泰・加藤 毅・廣瀬壮一 : 時間領域境界要視化試験に対する深層学習，検査技術，vol. 25(6),素法で求めた散乱波動場の深層学習と欠陥種別の判pp. 1-7, (2020) (招待解説記事)

定 の 試 み，非 破 壊 検 査，Vol. 70 (7), pp. 272-279,

[6]

[7]

T. Saitoh : Application of large scale wave

analysis and machine learning to ultrasonic non-― 6 ―(2021) (査読有)