卒業論文要旨
機械学習による鉛ナノクラスターのサイズ識別

システム工学群
極限ナノプロセス研究室
序論
ナノテクノロジーを推進する上で，研究対象となる物質の微細構造を観察し，その詳細な情報を得ることは必要不可欠である．微細構造を観察する代表的な方法に，走査型トンネル顕微鏡(STM)が挙げられる．STM は従来までは不可能だった表面微細構造の原子分解能観察を可能にしたが，一方で，一度に観察可能な領域が非常に狭いという欠点が挙げられる．
そのため，観察で得られる特徴が「試料固有のもの」なのか「試料局所領域での特異(偶発的)な性質を反映したもの」なのかを判断するには，試料全体にわたり繰り返し観察して得られる大量のデータを，その特徴を適切に抽出しながら効率的に統計データへ変換する必要がある．そこで本研究では，機械学習，特に深層学習を用いた画像解析技術に着目し，大量の STM データの自動解析法を確立することを目的とした．
先行研究により，深層学習を用いて Si(111)-(7×7)表面に担持させた鉛ナノクラスターの検出が可能であることが明らかにされている(1)．本論文ではさらにその検出精度を向上させ，より効率的な物体検出を行うための手法を検討した．

1200153 宮本 裕貴

1.

2. 機械学習の手順・学習効果の検証方法
2.1 機械学習の環境, および検出対象
STM 画像解析に用いる物体検出手法として YOLO(2)を使用した.また，検出対象として Si(111)-(7×7)表面上に担持させた鉛クラスター(3)の STM 画像を計 61 枚用意し，そのうち，48 枚を学習用データ，13 枚を検証用データとして使用した．
2.2 学習用データの作成(アノテーション)
YOLO を用いた画像検出では，学習用データに含まれる検出対象物の種類と位置情報を予め注釈(アノテーション)する必要がある．本研究では,このアノテーションを,専用ソフト(LabelImg)を用いて行った．図.1 に LabelImg を用いたアノテーションの例を示す.図のように，アノテーションでは，鉛クラスターをそのサイズに応じて Pb1(-)，Pb2(-)，Pb3(-)，

Table 1 Machine-learning conditions.
changes

BeforeAfter

Learning environment

YOLOv3

YOLOv5

Image quality

JPEG

BITMAP

Annotation method

Pb clusters only

Including non Pb clusters

Data expansion

Original image only

Original image + Rotated image

Pb4(-)の 4 クラスに分類した.
2.3 学習条件の違いによる影響を検証する方法
本研究では,高精度かつ効率的な物体検出法を検討することを目的に,以下に示す学習条件の変更が学習結果に与える影響について検証を行った(表 1 参照).
(1) 学習環境 (YOLO バージョン) による影響.
学習環境として,先行研究 (1) で使用していた YOLOv3(4)と2020 年時点で最新バージョンである YOLOv5(5)にて学習を行い，その効果について比較を行った.
(2) 画像ファイル形式による検出精度の効果
学習用の STM 画像ファイル形式として, 先行研究で使用していた JPEG 以外に,新たに BITMAP を採用した.両ファイル形式の画像に対しアノテーションを行い,それを学習用データとして用いた結果について比較を行った.
(3) 学習用データの拡張効果使用する STM データの数を増やすため，データセットの拡張を行った．データセット 2 に対して,各画像を 90 度，180度，270 度回転させた画像を新たに学習用データとしてデータセット 2 に加えた．
(4) アノテーションにおけるクラス変更の効果
2.2 節で述べたアノテーションクラス(4 クラス)に，Pb クラスター以外の特異構造を diff と一括で定義したクラス加えた(5 クラスに分類)．このクラスのもとで, データセット2 のアノテーションを改めて行った.
2.4 学習方法
YOLO を用いて用意したデータセットの学習を行った．2.3
節で述べた効果のみを検証するため,全てのデータセットに対して, 学習を行う際のパラメータは,バッチサイズを 8，エポック数を 1000 に統一した．

Fig.1 Typical example of annotation data.

2.5 学習効果の評価方法
2.3 節の各条件で学習を行ったデータに対して検証用画像で鉛クラスターを自動認識させ,その精度を評価した．検出精度の評価指標には,機械学習の分野で一般的な適合率と再現率を採用した．

3．結果と考察
表 2 に,各条件(2.3 節参照)で学習を行ったデータに対して，鉛クラスターを自動認識させた際の平均適合率と平均再現率をまとめる.
3.1 異なる学習環境での検出精度の比較
表 2 の YOLOv3(JPEG)と YOLOv5(JPEG)を比較すると,学習環境を YOLOv5 へ変更すると,平均適合率が 0.1069 から 0.3333に，また平均再現率は 0.2917 から 0.8542 に向上することが確認できる.また，学習 1 回あたりに要する平均時間も約 5秒から約 2 秒に短縮することが確認された．現時点で YOLOv5の詳細な仕組みをまとめた論文は発表されていないが，YOLOv5 では,学習過程でのモザイクデータが YOLOv3 からより増強され,それが本研究で確認された検出精度の向上に寄与していると考えられる．一方, 学習時間の大幅短縮は，学習効率の上昇を意味しており,ビックデータ解析における機械学習の有用性を示している.
3.2 異なる学習用ファイル形式での検出精度の比較
表 2 の YOLOv5(JPEG)と YOLOv5(BITMAP)を比較すると,JPGから BITMAP へのファイル形式変更に伴い,平均再現率は0.8542 から 0.9167 へと向上することが確認できる.しかしながら，平均適合率は 0.3333 から 0,3188 に僅かながら低下することが確認された.図.2 は両条件で学習させたデータで実際に鉛クラスターを自動認識させた結果を示している．図中青円で囲まれた 2 箇所には Pb2(-)クラスターが存在しているが,YOLOv5(JPEG)では誤検出や未検出となっている.一方, YOLOv5(BITMAP)では両者とも正しく検出されていることが確認できる.この結果から,平均適合率が低下した理由
は，YOLOv5(BITMAP)で検出数が増えたためだと推察される.
一方, 図.2 で示すように検出数に加えて正解数も増加していることは明らかである.正解数の増加は YOLO での検出に利用されている RGB データが非圧縮である BITMAP を利用したことによると考えられる．
3.3 学習用データの拡張に検出精度の変化
表 2 の YOLOv5(BITMAP)と With data expansion との比較から,平均適合率は 0.3188 から 0,4091 へ，平均再現率が0.9167 から 0.9375 へ向上することが確認できる．この結果は，STM データを用いた検出においてもデータ拡張が有用であることを示している．一般に,STM では,観察原理上の問題で,大量の学習用データの準備が難しい.したがって,このようなデータ拡張に伴う検出精度の向上は，有効な学習手段になると期待できる．今後は,最適なデータ拡張対象画像の選定方法やより効果的なデータ拡張方法の探索が重要な課題として挙げられる．
(a)

(b)

Fig. 2 Example of detection results. (a) JPEG [YOLOv5(JPEG)],(b) BITMAP [YOLOv5(BITMAP)].
3.4 学習用データの拡張に検出精度の変化
表 2 の With data expansion と Change annotation methodとの比較から, アノテーション方法の変更に伴い,平均適合率は 0.4091 から 0.4239 へ向上することが確認できる.しかTable 2 Summary of detection accuracy (average precision andaverage recall) under different machine-learning conditions.
Conditions

Average Precision(AP)Average Recall(AR)YOLOv3(JPEG)

0.10690.2917

YOLOv5(JPEG)

0.33330.8542

YOLOv5(BITMAP)

0.31880.9167

With data expansion

0.40910.9375

Change annotation method

0.42390.8125しながら，平均再現率は 0.9375 から 0.8125 に低下することが明らかとなった．この結果は, 全体の検出数に対する正解数の割合は向上したが，正解数の総数としては減少したことを示している．したがって，アノテーション方法を変更することで誤検出の数自体は減少させることが出来ると結論できる．一方で, 再現率の低下，つまり正しく検出できた総数が減少した理由には，Pb クラスター以外のものを一括で diffとしたため，Pb クラスターも特異な構造として判断されたのではないかと推察される．したがって，今後の研究計画では,一括で diff としていたアノテーションを，さらに詳細なクラスに分類して 再現率の低下を解消できるか検証を行う．
4．結論
本研究では,STM データに対する最適な機械学習方法の確立を目的として，学習条件を系統的に変更させた際の，平均適合率/平均再現率の検証を行った.検証では，学習環境をYOLOv3 から YOLOv5 へと変更すると，学習時間が短縮され，平均再現率も向上することが確認された．また学習用データとしては非圧縮データである BITMAP が再現率を向上させる上で有効であることが確認された．続けて，使用する学習用データに対してデータ拡張(回転画像の追加)を行うと，全体の適合率及び再現率が向上することが確認された．最後に，画像のアノテーション方法の変更により，全体の適合率の向上と，再現率の低下を確認した．以上の結果から，クラスターの最適な検出方法として，①学習環境として YOLOv5 を使用すること，②使用するデータは非圧縮のものを使用すること，③データ拡張を行うこと，④アノテーションの際は，Pb クラスターのみならず，その他の特異な構造を細かく分類すること，で検出精度が向上すると結論した．
今後は，本研究結果に基づき，より高精度な検出方法を確立するため，最適なデータ拡張方法，およびアノテーション
方法を模索することが課題として挙げられる．
参考文献(1) 春日井 翔, 機械学習を用いた SPM データ解析法の確立, 学士論文, 高知工科大学(2020)．
(2) J. Redmon, S. Divvala, R. Grishick, A. Farhadi, You Only
Look Once: Unified, Real-Time Object Detection, Cornell
University archive at: https://arxiv.org/abs/1506.02640,
2022.2.8．
(3) E. Inami, I. Hamada, K. Ueda, M. Abe, S. Morita, and Y.
Sugimoto, "Room-temperature-concerted switch made ofabinary atom cluster," Nature Communications 6, 6231
(2015)．
(4) J. Redmon, A. Farhadi, YOLOv3: An Incremental
Improvement,Cornell
Universityarchiveat:https://arxiv.org/abs/1804.02767, 2022.2.8．
(5) G. Jocher, ultralytics/yolov5, GitHub リ ポ ジ ト リ ,https://github.com/ultralytics/yolov5, 2022.2.8．