FC-P62-22（公社）日本船舶海洋工学会

P-62 データサイエンスの応用による部材加工技術の高度化
プロジェクト研究委員会

最終報告書

2023 年 3 月

言造船の鋼材加工における最上流に，鋼材の切断工程がある．様々な寸法，板厚の鋼材から部品が切り出され，大型の油槽船では取り扱う鋼材重量は約 4 万 ton，部品点数は 11 万部品を超える．鋼材の切断手法は主にガス，プラズマ，レーザー切断が挙げられ，例えばある造船会社ではプラズマ切断が 8 割強を占める．本切断法は設備導入費が比較的安価であり，切断速度などの生産性に優れ，一般商船に適用される鋼材板厚を概ね品質良く切断できるため広く普及している．
プラズマ切断中に切断品質が変化すると，手直しや部品の再切断などの後戻り作業が発生するため，生産性を高めるためには切断品質を安定化する必要がある．プラ
ズマ切断品質を確保するためには，使用時間とともに劣化する消耗品（Fig.1）を適切な時期に交換する必要があり，オペレータは常時切断状態を監視している．プラズマ切断機の制御装置は，消耗品の劣化状態をフィードバックする仕組みを有しないので，無監視で適切な時期に消耗品を交換するためには，消耗品の劣化をリアルタイムに自動検知する手法の開発が有効である．

Fig.1 Electrodes and nozzles using plasma cutting machines.
プラズマ切断では，20,000℃以上の高温となったプラズマが 1,000m/s 以上の超高速で，消耗品の 1 つであるノズルから噴出し，このとき超音波音（ノイズ）を発生する．
ノズル口は使用中にプラズマ噴流の熱で徐々に変形，溶損し，切断音の音響特性が変化する．ノズルの劣化はこの過程を経ることから，オペレータは経験的に切断音の変化をもとにノズルの劣化度合いを判断していた．
以下で，後戻り作業が必要となる程度に切断面品質が損なわれる状態となったノズルを“劣化ノズル”と呼ぶ．
河元ら１）は，オペレータの知見をもとに，新品ノズル使用時の切断音（以下で“新品切断音”と呼ぶ）と，劣化ノズ
ル使用時の切断音（以下で“劣化品切断音”と呼ぶ）を96kHz/24bit サンプリングしてスペクトル包絡を比較し，30kHz 付近の超音波域で両者に明瞭な差が生じていたことを報告した（Fig. 2）．加えて，新品/劣化電極と，新品/劣化ノズルを用いた切断音を比較することで，切断音の変化はノズルの劣化によって生じていたことを報告した．
しかしながら，切断音の変化が不明瞭な場合など、判別が難しい事例も存在した．

dB[db]

1. 緒

Frequency[Hz]Fig. 2 Long-term spectrum envelope of plasma cutting noises
for new and deteriorated nozzles1).
本研究では，ノズル劣化に伴う超音波域 30kHz 付近の切断音スペクトル特性を強調するための尺度変換とフィルタリング手法を考案した．ここで，プラズマ切断作業は，多様な切断状態（ピアシング，直線切断，曲線切断，穴開け切断，開先切断など）の組み合わせである．このうち切断音の音響特性が一番安定するのが直線切断であるため，直線切断中の新品と劣化品切断音を多数収録し，考案した 手 法 で 処 理 し た 音 響 特 徴 量 を 画 像 化 し て CNN(Convolution Neural Network) 画像分類器に学習させ，ノズ
ル劣化分類器を作成した．また，切断中にリアルタイムでノズル劣化分類を実施するには，多様な切断状態から直線切断の切断音のみを抽出して分類器に入力する必要があるため，ピアシングや直線切断などの異なる切断状態の切断音を多数収録し，音響特徴量画像を分類器に学習させ，切断状態分類器を作成した．最後に，開発したノズ
ル劣化分類器と切断状態分類器を統合して，リアルタイム性を備えたプラズマ切断ノズル劣化検出器の開発を試みた．

2. 尺度変換とフィルタバンク
2.1 Ultrasonic Logistic Scale (ULS)
音響解析では Hz 周波数 f の尺度変換を行う場合がある．以下で，変換後の尺度を f の式として与える関数を”尺度関数” T(f)と呼ぶ．T(f)は音響特徴量の周波数変化に対する感度を大きくした周波数域で，勾配 dT/df が大きくなるよう選択される．例えば音声認識では，低周波で高く，高周波で低くなるヒトの聴覚特性を考慮できる Mel 周波数（尺度）が使用される 2）．Mel 周波数の尺度関数 Tmell は低周波数域で勾配が高くなるよう定式化されている．
ノズル劣化による音響特性変化は 30kHz 周辺で生じる．
本研究では，30kHz 周辺で dT/df が極大になる尺度関数として，logistic 関数を含む式(1)の Tlogi(f)を採用した．以下
で Tlogi(f) で 計 算 さ れ る 尺 度 を Ultrasonic Logistic Scale(ULS)と呼ぶ．ULS と Hz 周波数 f の関係 Fig. 3 に示す．
図では f=30kHz で dTlogi/df が極大を示している．

Tlogi ( f ) =K
1 + b exp ( −c f ); b = 2.0  10 4 , c = 3.5  10 −4 , K = 1000

(1)Fig. 3 Relation between Ultrasonic Logistic Scaleand Hertz frequency.

(a) sound waveform

2.2 Ultrasonic Logistic-scaled Filter Bank(ULFB)
サブバンドを前節で提案した ULS 上で等間隔に配置したフィルタバンクを”Ultrasonic Logitic Filter Bank, ULFB”と呼ぶ．切断音信号を ULFB で符号化すれば，切断音の30kHz 付近の周波数特性を精査できる．次数 72 の ULFBを Fig. 4 に示す．
(b) log-spectrum

Fig. 4 Ultrasonic Logistic Filter Bank with order of 72.

3. 音響特徴量
以下に示す音響特徴量の評価では，サンプルデータとして，河元ら 1)が切断音を計測したものと同じ機種・機番の A 社製プラズマ切断機（以下で切断機 A と呼ぶ）を使用し，板厚 22mm のプライマ材を直線切断する際の切断音を，トーチから約 1,500mm の距離に設置したデジタル
音 声 レ コ ー ダ Zoom H2n に よ り ， MS-RAW モ ー ド
96kHz/24bit サンプリングで録音した約 1,000ms 長の音響信号データを使用した．信号処理では，録音データの全チャンネルをマージした信号を処理対象とした．
3.1 ULS Frequency Cepstrum Coefficients (UFCC)
音声解析分野で広く使用されている音響特徴量に，MelFrequency Cepstrum Coefficients (MFCC)がある．MFCC は以下の手順で計算される．i) 信号波形を Fourier 変換する；ii) 対数パワースペクトルを Mel 周波数上で等間隔なMel filter bank (MFB)にかけて各サブバンド成分の圧縮数値列”Mel Frequency Spectrum (MFS)”を作る；iii) MFS を離散コサイン変換して”Mel Frequency Cepstrum (MFC)”を作り，MFC の低次係数を MFCC とする．MFCC では MFBによる尺度変換が行われるので，可聴周波数帯の情報密度が高い．MFCC は，その時系列を混合正規分布-隠れマルコフモデル(GMM-HMM)3) 等の確率的生成モデルにモデル化するなどして音響イベント検出に利用されている．
MFCC はノズル劣化の検出に重要な 30kHz 付近の情報を MFB が希釈するので，本研究の目的に適さない．そこで MFCC 計算手順のうち，手順 ii)で MFB に代えて 2.2 節で考案した ULFB を用いて 30kHz 付近の情報密度を高めたケプストラム係数 ULS Frequency Cepstrum Cofficients(UFCC)を考案した．このとき手順 ii)で作成する圧縮数値列を”ULFB-Filtered Spectrum (UFS)”と呼ぶ．
Fig. 5 に，次数 72 の ULFB を使用する場合の，元音声信号，対数パワースペクトラム UFS と，UFCC の 1 次~27次係数のカラーマップを，新品，劣化品切断音の双方について示す．

(c) ULFB-filtered spectrum(d) UFCC’s color map
Fig. 5 Cutting noise’s sound signal, log-spectrum, UFS
and the color map of UFCC (1st~27 th orders).
3.2 ULFB-treated Spectrum Envelop Stripe（USES）
近年の深層学習技術の発展をうけて，確率的生成モデ
ル等の古典的方法と別のアプローチとして，ニューラルネットワークに基づく音声イベント検出技術が多数提案されている 4)．
例えば畳み込みネットワーク(Convolutional
Neural Network, CNN)を使用する場合は，MFS 等の音響特徴量系列を画像のような 2 次元の入力とみなして CNN 画像分類器を教育し，イベント検出を行う 5)．本研究でも，CNN 画像分類器を使用する想定で，切断音の 2 次元画像
特徴量系列を考案する．
Fig. 5 (b)に示されるように，切断音の対数スペクトラムは大きなノイズ状信号を含む．音声信号と同様に，スペクトラムのノイズ状信号は音源信号（切断音の場合はプラズマ乱流）の，スペクトラム包絡は調音フィルタ（切断音の場合はノズル内部形状）の音響特性を表すと考えられる．本研究の目的は，ノズルの変形による切断音変化の検知により達成できるので，特徴量系列としては，対数スペクトラムをケプストラム法（リフタリング）により平滑化したスペクトラム包絡の圧縮数値列が適当と考えられる．
スペクトラム包絡の圧縮には，30kHz 付近の情報密度が高まるよう，3.1 節と同様に ULFB のサブバンド成分を計算するのが適当である．この圧縮数値列”ULFB-filtered
Spectrum Envelope (USE)”と，USE をカラーストライプとして 2 次元画像化したものを，”ULFB-filtered Spectrum
Envelope Stripe (USES)”と呼ぶ．
スペクトラム平滑化では，Fig. 2 のスペクトラム包絡の変化が識別でき，かつ十分平滑な包絡が得られる条件を試行錯誤的に探索し，リフティング次数 140 を選択した．
Fig. 6 に次数 72 の ULFB を使用する場合の USE およびUSES の例を示す．

(a) ULFB-filtered Spectrum Envelope (USE).

(b) ULFB-filtered Spectrum Envelope Stripe (USES)
Fig. 6 Cutting noise’s USE and the color map of USES
(1st~72 th orders).

4. CNN 画像分類器を用いたノズル劣化状態の検出
4.1 CNN 画像分類器と教師データ
3.2 節で述べたように，本研究では CNN 画像分類器によりノズル劣化状態を検知することを試みる．本研究では学習済汎用 CNN である VGG166)をベースに全結合分類器を教育し，ファインチューニングを施して作成した．
VGG16 の構造を Fig. 7 に示す．

条件で収録した約 1,000ms 長の音響信号データを分類対象とした．信号処理では，3 章のサンプルデータと同じく，全チャンネルをマージした信号を処理対象とした．
4.2 UFCC を用いたノズル劣化状態の分類
3.1 節で考案した UFCC は，音声解析における MFCC に相当するものであるので，確率的生成モデル等と併用することが通常と考えられる．しかし，Fig. 5 (d)に示すように，UFCC のカラーマップを作ることで 2 次元画像化できるので，本研究では，UFCC カラーマップの画像分類により，ノズル状態分類が可能かを検討した．
Fig. 8 に，新品切断音，劣化品切断音の UFCC カラーマップの例を 3 枚ずつ示す．図では，新品切断音のカラーマップはほぼ同じであるが劣化品切断音のカラーマップには有意な差があることが示されている．これは，UFCC生成手続きでは，3.2 節の USE 生成で行ったようなケプストラム法平滑化が行われていないため，外部騒音や音源信号の変化が UFCC の値に影響を与えた可能性を示している．この傾向は，UFCC カラーマップによるノズル状態分類の精度を低下させることが予想される．
Table 1 に，本研究で使用した教師データのノズル状態，数量を示す．画像分類は Table 2 に示す条件で実施した．

Table 1 Nozzle conditions and number of training data.
trainvalidation
testbatchsize
MachineA
231
116
116
32
MachineB
171
84
84
32
Table 2 The learning parameters.
Keras ImageDataGenerator
rescale=1/255, rotation range=40,
zoom_range=0.2, shear_range=0.2,
Data augmentation
width_shift_range=0.2,
height_shift_range=0.2,
horizontal_flip=True, fill_mode='nearest'
Batch sizes
20
Number of steps per epoch train: 100, validation: 50, test 50

Fig. 7 The structure of VGG166).
VGG16 のファインチューニングは，Fig.7 の出力側から
2 つ目の max pooling に続く block5_conv1，block5_conv2，block5_conv3 の 3 層について施した．ファインチューニ
ングにおいて，損失関数に次式で定義する交差エントロ
ピーE を使用し，オプティマイザに RMSprop を使用した．

E = − k tk log ( yk )(2)

4.2 節，4.3 節に示すノズル劣化分類では，3 章のサンプ
ルデータと同じ切断機 A による板厚 22mm の直線切断音に加えて，B 社製プラズマ切断機（以下で切断機 B と呼ぶ）の板厚 22mm の直線切断音も解析対象とした．何れの切断機の切断音分類でも，3 章のサンプルデータと同じ(a)UFCC of A

(c)accuracy(Machine B)(b)UFCC of B3
Fig.8 The examples of UFCC(A and B3).
画像分類機の学習結果を Fig.9 に示す．

(a) accuracy(Machine A)(d)loss(Machine B)
Fig.9 Changes of the accuracy and loss of UFCC image
classification results during the training.
グラフの横軸はエポック数，Fig. 9 (a)の縦軸は各データセットの正解率，Fig. 9 (b)の縦軸は損失関数の値である．
損失関数は binary cross entropy を使用した．グラフのマー
クは訓練(training)データ，実線は検証(validation)データを表す．Fig. 9 では精度は学習の経過に関わらずほぼ横ばいとなっており，検証セットの正解率はいずれも 90%に達していない．
Table 3 The accuracies for the test set examined
by VGG16 (UFCC).

accuracy

Machine A

Machine B

83.89%

81.56%VGG16 ベース分類器の欠陥検知精度を Table 3 に示す．
いずれも 85%未満であり，実用精度である正解率 95％を達成することはできなかった．

(b)loss(Machine B)

4.3 USES を用いたノズル劣化状態の分類
4.2 節の UFCC による画像分類と同様の条件で，USESの画像分類によりノズル状態分類が可能かを検討した．
Fig.10 に Machine-B に使用した新品切断音，劣化品切断音の USES カラーマップの例を 3 枚ずつ示す．
Fig. 10 の横軸は周波数で，重要周波数である 30kHz は図中の黄線位置にある．図では，ノズルが劣化すると30kHz 付近でサブバンド成分が大きくなり，周波数につれたサブバンド成分の振動が大きい領域が 30kHz を越えて高周波数側に広がる傾向があることが示されている．
この画像の相違は画像分類器で容易に識別できると思われるので，USES を教師データとするノズル状態分類は高い精度を示すことが期待できる．
30kHz

frequency(b)loss(Machine B)

frequency(c)accuracy(Machine B)(a)USES of A
30kHz(b)USES of B3
Fig.10 The examples of USES(A and B3).
画像分類機の学習結果を Fig.11 に示す．図の横軸，縦軸および記号の意味は Fig. 9 と同じである．
Fig. 11(a)では，精度は常に 93~94%を記録した．Fig.11(c)では学習の経過によって検査精度が減少していく過学習の傾向が出ており，これは教師データの不足や正しい生成パラメータの調整が行えていないことが考えられる．
VGG16 ベース分類器の欠陥検知精度を Table 4 に示す．
Machine A は実用可能の目安である 95%以上を記録し，Machine B も，Machine A よりは劣るが実用レベルに近い精度が得られている．

(a)accuracy(Machine A)(d)loss(Machine B)
Fig.11 Changes of the accuracy and loss of USES image
classification results during the training.

Table 4 The accuracies for the test set examined
by VGG16 (USES).

accuracy

Machine A

Machine B

95.52%

92.18%

5. CNN 画像分類器を用いた直線切断状態の検出
4 章で作成した画像分類機と同様に，3.2 節で考案したUSES を用いて，部材切断音から直線切断部のみを検出する画像分類機を作成した．Table 5 に，本研究で使用した教師データのノズル状態，数量を示す．画像分類の条件はTable 2 と同じである．Fig.12 に直線切断部，ピアシング部，無音部分それぞれの USES の例を 2 枚ずつ示す．図では，カラーマップの色調分布が，切断状態により大幅に異なることが示されている．

(a)accuracy(piercing)

Table 5 Nozzle conditions and number of training data.
batchMachineA
MachineB

train

validation

test

231
171

116
84

116
84

size
3232(b)loss(piercing)(a)USES of straight cutting(b)USES of piercing(c)accuracy(silemt portions)(c)USES of silent portions
Fig.12 The examples of USES in various cut conditions.
画像分類機の学習結果を Fig.13，14 に示す．

(d)loss(silent portions)Fig.13 Changes of the accuracy and loss of USES image
classification results during the training.
Machine A(various cut conditions)

VGG16 ベース分類器の欠陥検知精度を Table 6 に示す．
画像分類の条件は Table 2 と同じである．表ではいずれの切断状態も，実用可能性の目安である 95%以上の精度で分類できていることが示されている．
Table 6 The accuracies for the test set examined
by VGG16 (cut condition).
Machine A
Machine B(a)accuracy(piercing)piercing
95.83%
95.21%

silent98.57%
97.82%以上で作成した直線切断部分類機（CCC：Classifier ofCutting Conditions）と 4 章で作成した画像分類機（CND：
Classifier of Nozzle Degradation）を結合することで，部材切断音からノズルの劣化を判定するシステムを作成した．
システムの概要を Fig.15 に示す．

(b)loss(piercing)Fig.15 Outline of an automatic nozzle deterioration detection
system.

6. 結(c)accuracy(silemt portions)(d)loss(silent portions)Fig.14 Changes of the accuracy and loss of USES image
classification results during the training.
Machine B(various cut conditions)

言本研究では，新品と劣化品切断音を詳細に解析することで，ノズル劣化に伴う切断音スペクトル特性の変化を検知できる尺度変換とフィルタリング手法を開発した．
また，得られた音響特徴量を画像化して CNN 画像分類器で学習を行うことにより，ノズル劣化分類器および切断状態分類器を作成した．開発した 2 つの分類器を統合することにより，リアルタイム性を備えたプラズマ切断ノズル劣化検出を実用精度で達成できることを確認した．
本研究から得られた知見を以下に示す．
(1) ノズル劣化に伴う超音波域 30kHz 付近の切断音変化を抽出できる音響特徴量 ULFB-treated Spectrum
Envelope’s Stripe(USES)を考案した．
(2) 新品ノズル，劣化ノズルの USES 教師データを用いて画像分類機 VGG16 を教育した結果，A 社切断機による板厚 22mm の切断音からノズル劣化を実用精度(>95%)で検知できた．
(3) B 社切断機による板厚 22mm の切断音によるノズル劣化検知精度は実用精度にわずかに達していないが，USES 生成パラメタの最適化により精度の改善が期待できる．
(4) ピアシング，直線切断，無音部分の USES 教師データを用いて画像分類機 VGG16 を教育した結果，A 社，B社とも直線切断期間を実用精度(>95%)で検知できた．

謝辞

本研究で解析対象としたプラズマ切断音は，本研究委員会と密接に連携して活動した，日本溶接協会 ガス溶断部会 溶断小委員会「音響 AI 診断を活用した切断機状態監視技術開発ワーキンググループ(ASDC WG)」の活動の一環として，ジャパン マリンユナイテッド（株）津事業所 および（株）新来島どっく大西工場で収録された．音声の収録・解析では，畠山航氏（小池酸素工業（株）），伊原大輔氏（日酸 TANAKA（株）），山口義博氏（コマツ産機（株））をはじめとする ASDC -WG 委員各位から，多大なご助力，ご支援を賜った．
本稿の終わりに臨み，関係各位に厚く御礼申し上げる．

参1)
2)
3)
4)
5)
6)

考文 献

河元ら，日本船舶海洋工学会 建造革新研究会 20182019 年度 WG2 報告，2020.
Robinson, D.W., Dadson, R.S., British J. App. Phys., 7,
1956.
Zieger, C., in Multimodal Technologies for Perception ofHumans, Springer, pp. 338-344, 2007.
林知樹, 戸田智基, 日本音響学会誌, 75, 9, 2019.
Takahashi, N., et al., arXiv preprint, arXiv:1604.07160,
2016.
Simonyan, K.，Zisserman, A.: arXiv:1409.1556，2014