し，効率的な製造方法や生産安定化のためのプロセス制御の

.

序

論

高度化に関する研究が進められている．同様に，先端計測技術にもこの AI/ML(Machine Learning機械学習)技術の視

社会基盤を支える先端材料研究において，“優れた研究”

点が取り込まれようとしている．しかもこれはデータ駆動とは“優れた評価・分析装置”に支えられているという一つのいう新しい概念を含んでおり，従来のような単なるハードウ

事実がある．各装置の高度化が進み原子レベルから量子レベエア開発やソフトウエア開発を主軸においた領域だけではな

ルに迫る先端的な検査・計測・分析技術(以下，「先端計測技

く，この概念を巧みに活用することで分析装置間の複合化が術」と略す)に関する国の事業の歴史は古く，2004年の JST

進み，装置開発や原理に関わる研究においても新しい糸口に(科学技術振興機構)の「先端計測分析技術・機器開発事業」

なり得る可能性を秘めている．

にさかのぼる．ここでは，最先端の研究ニーズに応えるた

先端計測技術について産業という視座でみると，高度な要

め，将来の創造的・独創的な研究開発に資する先端計測分析

求仕様に基づき付加価値が高い存在であるにもかかわらず，

技術・機器およびその周辺システムの開発を推進され，多く市場集中性(高位集中寡占の状況)にあり依然として各機器固の研究成果を経て 2021 年 3 月に，全課題の研究開発期間が有の機能強化に注目する Reactive な形態にある．将来に向終了しプログラムを終結した(1)．

けては，各機器から出力される時間軸も考慮した各種データ

現在，研究開発の進め方そのものに変革を迫る第 3 次 AI

(画像・波形・信号)に内在する従来は捉えきれなかった意味( Artificial Intelligence人工知能)の大きな流れが押し寄せを複合的に AI/ML 活用により見出し，さらに様々な計測機てきており，この技術に関わる各種データからの情報抽出に器の機能を統合した「自律的に考えるシステム」としてのよるインフォマティクス研究が活況にある．特に，様々な機

Proactive な形態が期待される．そのためには実践的な人材

能を生み出す先端材料の研究開発を効率的に進めようとする育成のあり方についても議論すべき時にあろう．

領域では，マテリアルズ・インフォマティックスという手法

本解説は 2 回にわけて構成される．多岐に渡る先端計測が注目され，材料特性のデータベース化やその統計学的な有技術の中で，材料研究によく使われ国内での研究者・技術者

効活用が研究されている．また民間企業においても，様々なが多い電子顕微鏡分野，放射光やその他 X 線技術分野，二製造プロセスデータを各社とも独自な方法でデータベース化

次イオン質量分析技術(SIMS: Secondary Ion Mass Spectro-

山口大学大学院教授・副研究科長(〒7558611 宇部市常盤台 2161)，大阪大学エマージングサイエンスデザイン R3 センター
招聘教授
大阪大学大学院特任教授
名古屋大学未来材料・システム研究所教授成蹊大学教授
ソニーグループ株式会社 R&D センター主幹研究員
Advanced Measurement and Analysis Systems Using AI/ML for Next Generation Materials Development ―Multifaceted View 1―;
Kazuya Okamoto, Masaaki Sugiyama, Shunsuke Muto, Satoka Aoyagi, Shigetaka Tomiya(Graduate School of Innovation and Technology Management, Yamaguchi University, Ube. Graduate School of Engineering, Osaka University, Suita.
Institute of Materials and Systems for Sustainability, Nagoya University, Nagoya. Faculty of Science and Technology, Seikei
University, Tokyo. R&D Center, Sony Group Corporation, Atsugi)
Keywords: measurement, metrology, electron microscopy, AI(artificial intelligence), machine learning, multimodal, operando, information
entropy, innovation, intellectual property
2022年 1 月18日受理[doi:10.2320/materia.61.470]




解

説

metry )に代表される質量分析分野における技術を中心に取

ピッツによって提案された神経細胞(ニューロン)モデルからり上げる．また，AI/ML 活用の様々な検査・計測・分析技

派生し，現在の深層学習(DL: Deep Learning)に至っており術を「 AI 先端計測技術」として提起し，考えておくべき論

以下のように纏められる．

点について自然科学および社会科学の双方の広い視野まで拡

第 1 次 ( 1940 年 代 か ら 1960 年 代  推 論 ・ 探 索 の 時代)神経細胞モデルの提案後，識別問題に適用可能なパー張し考察する．

セプトロンが開発され注目を集めるものの，線形分離不可能

.

AI 先端計測の意義と最新動向

. AI の基礎となる機械学習と歴史観な問題を解けない欠点が指摘された．


第 2 次(1980年代知識表現・エキスパートシステムの時代)誤差逆伝播法(3)による学習アルゴリズムが開発さ

AI の基礎となる ML (機械学習)とは取得データから現象れ，NN により任意の関数が近似可能となった．しかしながの傾向をとらえる手法の一つであり，入力データから予測出ら，当時はコンピュータ性能が劣り取得できるデータ数も限力を得るモデル(関数)の学習と捉えることができる．先端計

られ，さらには勾配消失問題といった NN 自体の問題もあ測におけるデータ解析のフローを図に示す．膨大な情報をった．

有する実世界データ X を装置で計測(実験)すると，観測モ

第 3 次(2000年代後半から現在知識学習・表現学習

デル f(X )に従って変換された一部の情報がサンプリングさの時代)2006年に上記，勾配消失問題を解決する NN の事

れ，さらに計測器およびその制御系の物理的な状態の揺らぎ

前 学 習(4) が 提 案 さ れ ， 深 い 層 を 持 つ NN 構 築 が 可 能 に なに伴う雑音 N が付加されてデータ Y が取得される．データ

り，その後，画像認識に対して高い性能を有する畳み込み

解析とはデータ Y から逆問題を解きモデル g(Y)を生成し，NN (Convolutional NN: CNN)が 2012年の世界的な画像認識

実世界における知りたい情報となる推定値 Z を得ることをコンテスト ImageNet

目的とする．Z を高精度に推定するためには，可能な限り雑

Challenge ( ILSVRC )において優れた性能を示したことで，

音 N に惑わされることなく計測による実世界からのモデル

深層学習(DL)がブームとなった．

Large Scale

VisualRecognitionf ( X )を人または機械が事前に理解しておくこと，もしくは現在， CNN は医用画像診断等で実際に適用されている．

データから推察できることが必要とされる．日本は質の良い

この AI の具現化の背景には，微細化や 3 次元高密度実装技

膨大なデータを蓄積しており，かつその価値を理解している術による革新的な半導体デバイスの進化(5) ， GPU ( Graphic

研究者・技術者も多いことから質の良いモデルを構築する機

Processing Unit )の拡張適用性( nvidia A100(6) など)や様々会が多く， AI 先端計測という分野(産業および技術)は将来なアルゴリズム，ソフトウエア開発の劇的な進化などがあに向けての格好の成長領域となりえる．加えて，大量の高次る．また，学習モデルの構築においても，従来の専門家知識

元計測データに普遍的に内在するスパース(疎)性を利用し，に基づいて設計する必要があった特徴量抽出を機械が自動で計算量が次元数に対し指数関数的に増大する状況において行えるようになったため，幅広い分野への適用が可能になっも，実際的時間でデータから最大限の情報を効率よく抽出でたといえる．

きるスパースモデリング(SM: Sparse Modeling)(2)手法の研究も進んでいる．これは AI 先端計測技術にとって重要で検討すべき事案となっている．

. AI 活用による先端計測技術
コンピュータの指数関数的な進化と個人レベルに浸透した

次に，AI について簡単に歴史的な俯瞰をする． 2022年現

ネットワーク環境は，先述の第 3 次 AI 技術と融和し，産業

在，第 3 次 AI ブームの中心となっているのはニューラルネ

構造に大きな変革を起こしている．事実，自動運転化技術やットワーク( Neural Network: NN )である． NN は生物の脳ロボット化技術，画像および音声認識システムは人類の生活の機能をモデル化したものであり， 1943 年にマカロックとを変え，さらには産業界におけるモノづくりを変革させるだ
けでなく，デジタル技術を活用し顧客に付加価値を提供できる組織や文化を創り続ける DX ( Digital Transformation )という概念生成に至っている．この大きな流れは Big Data が得られる領域を中心に展開されているが，データ自身を生み出しかつ日本が高い競争力を誇る先端計測技術分野に対しては， AI 技術との融合による研究開発そして価値創造に関する考察などは未だ萌芽期にあると考えられる．
先端計測技術を構成する代表的な 3 要素として，検査・計測・分析技術を考えてみる．検査技術では製造工程の欠陥検査や製品の品質検査，計測技術では環境計測や 3 次元形
態計測，分析技術では物理分析装置や化学分析装置がある．
現在，それぞれの技術から供給される膨大なデータに対し最図1

先端計測におけるデータ解析のフロー．

ま て り あ 第61巻 第 8 号(2022)
Materia Japan

適な AI 技術の開発が求められ，さらには AI 技術が自然に先端計測装置の中に組み込まれた形で運用するための開発もいる．

重要となっている．その多くは解像度や検出感度の向上，微一般に AI 先端計測というと，アルゴリズムに判断を委ね

小試料など極限条件での計測・情報処理を主たる目的とし，るような活用法が想定されるであろう．しかし実際に求めら複雑な計測や計算の原理を必要とする傾向が強い．そのためれる重要な概念は，多角的な測定情報に対し異なる技術の組出力される測定情報は種々のノイズを含み，計測対象に関す

み合わせ・複合化によるデータの記述座標軸を増加，そしてる不完全な情報しか含まないことも多い．さらに，機械学習

変数相互の相関関係を巧みに取り入れ，高効率かつ高精度には人間の学習とは根本的に異なるものであり，機械学習の場

物理量を統合解析する「マルチモーダル」にあると言える．

合にはコンピュータがどのように学習したのかが未知な部分

AI 技術は不完全情報から高い精度や信頼性を有する推定をが現状では含まれる．この場合，「見ると測るは科学の原点」

行うことに長けている．すなわち，従来は個別装置の極限性などと言われていた従来の先端計測装置が持っている「正し能への向上が競争軸であったが，自動化や学習機能，さらにさ」を，未知の部分を含む機械学習と組み合わせて良いのは従来見えなかった領域のデータ抽出など，新しいユーザビ

か，という根源的な問題が浮上してくる．その結果，現在のリティ(ユーザの利便性)を主体としたソリューションとして「AI 先端計測技術」の主たる技術論点は，得られた画像デー

新しい価値創造の世界で競争優位を発揮する時代が到来して

タ，スペクトルデータ，信号データなどをどのように機械学いる．これはまさに，先端計測分野でのパラダイムシフトの習させていくか，という事案が多く，先端計測装置自体が出トリガーを与えるものといえる．このためには当該産業の本してくるデータ部分までは，従来通りの原理原則を重視した質を見出す必要性もあり， AI 先端計測の本質に関わる社会

正確なデータに基づくという立場を残している．このような科学的な研究も重要な因子となる．

前提をおくと，全く新しいアプローチが今後は可能になりえ

この先端計測技術に関わる産業はどのようなものか．序論

る．すなわち，これらのデータを取り扱う時にその画像デーで述べたように計測機器分野の市場集中度は高く(高位集中

タが例えば，透過電子顕微鏡(TEM: Transmission Electron

寡占の状況にある)，多くの場合，産業分野ごとにその企業

Microscope ) ， 走 査 電 子 顕 微 鏡 ( SEM: Scanning Electronのセグメンテーションが明確であり新規参入は容易ではな

Microscope)， 3 次元アトムプローブ(3DAP: 3 Dimensional

い．すなわち，現在の DX(および IoT)社会のコアとなるの

Atom Probe)のいずれで得られた画像であっても，データのが先端計測技術であるにも関わらず，異なる視野での新しいデジタル化処理(例えば前処理や特徴量抽出など)を施すこと

産業分野としての創出は難しい．もちろん， GAFAM ( Bigで異なる装置間であっても各種データのデジタル融合が容易

Tech)のように独占企業や寡占企業こそがイノベーションをとなり，計測目的(対象)に対し単体装置では困難な新たな特起こす場合もあるが，先端計測技術分野ではそのようなこと性指標を得ることが可能となりえる．もちろん，分光学といは難しいであろう．

う 視 点 で み れ ば ， TEM で 得 ら れ る EELS ( Electron

これまでの議論をもとに AI 先端計測技術の将来像を描く

Energy Loss Spectroscopy ) デ ー タ と 放 射 光 で 得 ら れ ると，それは「未来型運用システム」の創成とその具体化にあXAFS(X ray Absorption Fine Structure)データとは原理的る ． その 方 向 性を 3 つの 視 点 から 解 い たも の を図  に 示にほぼ等価な方法であり，このような観点でも新しいデータ

す ． 第 1 に ，先 端 計 測技 術 の 重要 性 の 拡大 で ある ． 例 えの融合が可能であり，これらを総称してデータ駆動と捉えてば，半導体製造プロセスにおける計測は過去には付加価値の

図2




AI 先端計測技術の将来像「未来型運用システム」．

解説

ない工程とされていたが，現在では例えば Virtual Metrolo-会( 2019 年～ 2021 年)(9) において，マルチモーダル計測( 3.1

gy という概念のもと製造プロセスに積極的に先端計測技術節)，オペランド計測(3.2節)の視点が生み出された．そしてを適用し，高度な半導体 Chip コスト低減に至っている．とその先に，情報科学やシミュレーション技術と融合すること

はいえ，これは半導体リソグラフィ分野であれば歴史的には

により，バーチャルな世界での分析・計測技術の必要性さえパターン計測からレチクルパターンを変更する光効果近接補もが議論として起きてくるかもしれない．もう一つの視点が正(OPC: Optical Proximity Correction)がその創発ともい

データの取扱いである．現在，インターネット，計算機，計え，一つの技術的な進歩から次の進歩までの期間が指数関数

測技術の急速な進化により膨大なデータ蓄積があること，そ的に短縮され，イノベーションが加速する収穫加速の時代(7)して， AI ，データ科学の進化によりこれらのデータの潜在における共通基盤(プラットフォーム)の重要性という視点か的価値抽出の必要性が増している．統計力学と情報科学に基らも「必要性」が認知されていることである．第 2 が様々

づく量子情報科学分野はシグナル検出が関係する計測分野にな分野への AI 活用という「時代性」である． DX は単なるとって大きな影響を及ぼす可能性を含み，その一つとして，対象やデータのデジタル化だけでなく産業や企業の事業構造

本稿では情報エントロピー計測(3.3節)としての考察を試みをも変革する概念であり，先端計測はその基盤となり得る．

た．

イノベーションの視点からは様々なステークホルダと連携し人材開発や科学技術の世界における日本の予算配分の様子て市場を創出する「 Open Innovation 」と個々の機関が独立をみると，先端計測技術は常に縁の下の力持ち的な立場であして先行技術を創出する「 Closed Innovation 」の 2 つのイ

り，またその役割で良しとする文化がある．事実， JAIMA

ノベーションの両立による新しい世界観が重要であり，特に(日本分析機器工業会， 2018 )によると，国内製造業生産額

データを生み出す先端計測技術においてはこの議論が重要で124.3兆円に対してその産業を支える分析機器市場は2,162億ある．なお，このイノベーションマネジメントのあり方もガ円程度(～ 0.2)に過ぎない．それは例えば，半導体製造工

イダンスとして ISO 標準化されている(8) ．第 3 が基礎現象

程においては，設計(論理からレイアウトまでの一連)が確実の究明の「学術性」による差異化である．ここでの主題は，になされ，装置が安定に稼働し(工程能力指数 Cp ≧ 1.67 )，基礎的物理現象・化学反応現象の効率的・効果的究明にあ製造プロセスが安定に構築されていれば検査計測分析といっり，「自律型」と「複合型」の 2 つの概念を考える．AI 活用

た本質的に付加価値のつかないとされる工程はそもそも不要の視点から整理すると，自律型(Independent)とは「各機器である，との風土が根付いていることにも起因しているのでに AI を活用し性能・ユーザビリティを向上させる」こと，あろう(注デバイスノード 100 nm 以降は状況が変化し，複合型(Comprehensive)とは「単体もしくは繋がる複数の機

当該工程を積極的に取り入れた全体最適の視点から，半導体器情報に AI を活用し新しい領域を発見すること」と本稿でチップの製造歩留まりを上げるのが主流である．現在はは定義する．以上，3 つの方向性の融合により，未来型運用

DRAM ハーフピッチ 17 nm(ノードレンジラベル 3 nm)まで

システムのあり方が明確にできる．それは，装置の枠を超え到達し，計測の重要性は自明である)．

た課題解決と実行(Solution /Operation )の提案，将来の当該

しかしながらデータ駆動型社会において世界的に状況が変技術のあるべき姿の予測，見えない技術(暗黙知など)の見え化している中，先端計測技術の開発データの取り扱い(所有

る化(形式知・デジタル化)ということにつながり，今後の展権など)に関わるデータ契約(データの利用，加工，譲渡その開に期待がかかる．

他取扱いに関する契約)も重要な要素と認知され，日本でも. AI 先端計測の価値の議論

そのガイドラインが構築され始めた(10) ．さらにはそこからどのように融合し展開をすれば良いのか，という議論が欧米

AI 先端計測において大切なことは，正しい答え・解釈，

では盛んに行われている．そのうえで，知的財産権にも配慮

真実の提示である．例えば，電子顕微鏡技術などのデータ解

しデータのオープン化を唱えている．データベース拠点の構析には多くの機械学習が適用され，その技術検討が行われて築はそのような議論の上で成り立つものであり，先端計測といる．しかし，検出原理である物理，また観察対象の中で起いう日本人の器用さとデータの信頼性を重視する文化に適しきている物理現象を正しく理解していない場合には誤った解た技術領域においては，日本は今後，世界のオープン化に対釈や回答が生じている．この領域において，ものごとの真理

応し備えなければ孤立化していく可能性がある．このことかを追究する学問に強い日本は最適なプレイヤともいえ， AI 機能性
ら， AI 先端計測において重要となる技術として，

による自律的な新たな物理現象・科学的原理の発見と学理構

 プラットフ
暗号とプライバシー保護型機械学習のあり方，

築もあり得るだろう．他方，自動化に向かう過程で，技術的ォームにおけるブロックチェーンのあり方が重要となる．

には画像や分析対象の三次元計測( 3D )，時間軸でのダイナとして，機能性暗号技術が注目される．これは DX 時代環ミック計測(4D )，さらには多数軸での計測が必要になる．

境の制約・要件と新たに生ずるニーズ(データ保護と利活用

それは空間的データと時間的データが揃うことで，我々が住の両立など)に応える機能を備えた暗号(プロキシ暗号，秘密

んでいるリアルな 3D/4D の世界の現象と，分析・計測して計算など)である．これらは日本でも例えば， CRYPTEC

いる対象とを完全に結びつけることができるからである．

( Cryptography Research and Evaluation Committees ) 主 体

このような背景のもと，日本学術振興会研究開発専門委員

ま て り あ 第61巻 第 8 号(2022)
Materia Japanで進められてきており，暗号化したままの Big Data 分類やプ ラ イ バ シ ー 保 護 DL と い っ た シ ス テ ム へ 展 開 し て い る(NICT・情報通信研究機構)(11)．
 ブロックチェーン(BC: Blockchain)は仮想通
次に，後者

貨の基盤技術として広く知られているが，その優れた耐改ざ
ん性，透明性等の特性を背景として広範なビジネス分野への応用が進められている．BC がビジネス変革の原動力とされるのは，従来の「中央集権的データベース」では実現困難であった様々な機関間でのデータ共有が可能となる非中央集権的なデータ構造にある．この BC を構成する主要な要素技術
として，分散型台帳技術， P2P ( Peer to Peer )ネットワー
ク，暗号化技術，合意形成アルゴリズム，スマートコントラ
クトの 5 つがあり，これらの技術が統合的に利用されることによって，非中央集権性，耐改ざん性，ゼロ・ダウンタイ
ムといったブロックチェーンの特性が実現されている．その図3

走査透過型電子顕微鏡( STEM )によるスペクトラムイ
メージデータ取得とそのデータ解析のための次元削減法の模式図．

データ構造は極めて独特なものであり，過去のデータに新たなデータがチェーン状に連なることによって，完全なデータ
トレーサビリティと高度なセキュリティが実現される．事ードに，これらの視点が含まれることの重要性を提唱する．

実 ， 国 内 製 薬 業界 で は 「 Healthcare Blockchain Collabora-

まずデータ解析によく使われる代表的な広義の ML (機械tion 」が組織された．これにより，解決すべき課題である学習)テクニックを例にとり，計測という観点から十分に考「疾患レジストリー」を非中央集権的に一元集約することにえておかなければいけない課題について，以下に具体的なよって，統合的で組織横断的な利活用を可能とされ，医薬品

Case として記述する．

開発期間の短縮により医療の質向上に繋がることが期待され【Case 1】ブラインド信号源分離，スペクトル分解などの次る．この 2 つの観点の周辺技術は， AI 先端計測においても元削減(DR: Dimension Reduction)法図に走査透過電子

Data の取扱いの点で今後，学際的に重要となり得る．

顕微鏡(STEM: Scanning Transmission Electron Microscope)とそれに付随した代表的な分光法であるエネルギー分

.

AI先端計測技術の具体例

. マルチモーダル計測

散 X 線分光(EDS: Energy Dispersive Xray Spectroscopy)と電子エネルギー損失分光(EELS)におけるスペクトラムイ
メージデータから DR 法によって内在するスペクトル成分を

.. マルチモーダル計測の意義と潜む課題

分離し，それぞれの空間分布を可視化する「化学イメージン

一般に科学計測は影絵に例えることができる．測定によっグ」の模式図を示す(12)(14) ．図に示すように，データキュて得られるデータとは計測対象物の全てではなく計測装置をーブを展開した実験データ行列を X とし， X を成分スペク

通して特定の性質または応答を得たにすぎず，通常得られた

トル行列 S とそれぞれの成分の空間濃度分布を表す行列 C

情報に基づきその対象を特徴づける物理量を算出する．影絵の積に分解する(12) ．ここで注意が必要な問題となる点につも同様に 3 次元立体物にある方向から光を当てて特定の方 アルゴリズムが排出した解答の正否を誰がいて記述する．◯

向へ投影された形により，対象物が何であるかを観測者(観どう保証するか分離された未知の相に対するスペクトル成客)は想定する．しかし，狐や犬に見える形は単なる手指の分が解釈可能かどうかを判断することは一般に簡単ではない．

組み合わせを特定の方向から見た輪郭のみで模倣したもので

 現実のデータに含まれるノイズをどのようにモデリングす◯ある．これはもちろん現代の科学計測に対しては単純すぎる

るか例えば，データのカウント数に依存しガウスノイズをものの，複数の違った角度(多角的)から見ることで対象物を仮定するか，ポアソンノイズの仮定によって結果が大きく変正しく理解する意義のメタファーとしては分かりやすい．こわりうる(15)．さらに非統計ノイズが含まれる場合はより複れを AI 先端計測技術分野で考えてみる．一般に想定されが

 スパース(疎)でないデータにおけるクロストー
雑になる．◯

ちなアルゴリズムだけに判断を委ねるような応用法でなく，ク問題が発生する．すなわち，位置空間およびスペクトル空

先述の通り多角的な測定情報，例えば複数の異なる分光デー間でオーバーラップの大きいデータでは，成分間クロストー

タの同時収集，時間軸追加(次回 3.2 節のオペランド計測なクが生じることが多い．一例を図に示す(12)(15)．半導体メど)，データの S/N 比またはノイズモデルがそれぞれ異なる

モリ断面の暗視野 STEM 像である( a )の枠線部から取得し複数のテクニックの組み合わせなどを考える．これにより，たスペクトラムイメージデータを DR 法によって三成分分解

これまで個別に測定・解析・解釈されていたデータを記述すした際の各成分の空間分布マップを( c )に示している．( d )る座標軸を増やし，変数相互の相関関係をうまく取り入れ，の各スペクトル成分にみるように，の部分でスペクトル成

効率よくかつより高精度に物理量を統合解析することが可能

分間のクロストークが生じている．これに対応して(c)の空となる．よく言われている「マルチモーダル」というキーワ間分布は( a )の相分布を正しく反映していない(11)(12) ．この




解

説

たして未知解は同様にスパース性を満たしているか．換言す
ると，圧縮処理後の逆変換によって元のデータの情報が保存されているか．さらには，正解が既知であるモデルデータで確認された場合においても，未知の構造が含まれた現実のデータではどのようにそれを保証するのかが重要となる．
なお，昨今の急速な AI の活用事情を眺めてみると，上記
Case 1 から 4 のデータ処理法に限らず，AI が質の悪いデー

タをあたかも魔法のように甦らせるかもしれないという大きな誤解を生んでいる場面がある．これは計測技術においてはさらに深刻な問題である．いかなる種類のデータであってもそこにある種の変換を施すことによって元のデータから不可
逆的に情報が失われていくことは，数学的に証明されてい図4(a) 半導体メモリ断面の暗視野 STEM 像．(b) (a) の各シリコン化合部の SiL2,3 参照スペクトル．(c) (a) の枠線部から取得したスペクトラムイメージデータを次元削減法によって三成分分解した際の各成分空間分布マップ．(d) 各成分のスペクトル成分．

る(18) ．元々そこに含まれていない，あるいは失われた情報
はいかなる手段をもっても復活させることは不可能である．
また，一つのスペクトルデータ(あるいは一枚の画像)から「ノイズのみ」を正しく切り分けて除去することは殆ど見込みがない．なぜなら統計ノイズは確率的に生成されるものであり，データ全体としての分布確率のみが与えられているた

ように，行列分解法は成分スペクトル行列と重み行列が単純め，ある特定の画素を取り出してその信号強度のうちノイズな行列積としてカップルしているため，一方のエラーは他方が占める割合を先験的に知ることはできない．実はこの問題に伝搬する．事実このような誤った適用例が散見される．

は誤差論における精度と確度の関係に似ていて，このような

 一般にニューラルネットワー【 Case 2 】深層学習( DL )◯

課題を議論できる場が必要である．

ク( NN )を使った解析には，まず訓練データとして大量(通.. 広義のマルチモーダル計測の提案

常数十万件以上)の正解/不正解のタグのついた教師データを計測とは，(おそらく多変数関数である)目的の物性の計測集める必要がある．この事実が正答率に深刻な制限を与えう

機器のもつ特定の物理変数への投影とみなすことができる．

る．また，実際の未知試料の結果において正答率がどの程度したがって，目的の物理量を陰に含んだ別の計測を組み合わかは実は不明である．最近，Noise2Noise という「対象に対せる(変数座標軸を増やす)ことはその物性本来の姿を浮かびする正しい答えが不明な場合でも，同一対象に関する多数回上がらせることに他ならない．これらを踏まえたうえで，の独立なノイズ付き計測結果が得られれば DL によってノイ「計測現場から機械学習をどのように取り入れるか」というズ低減器を得ることができる方法」が提案された(16)．しか問いに対し「広義のマルチモーダル解析」を提案し，さらにし，実際の非統計ノイズが含まれる場合の有効性についてはこれを梃子としてこれまで進まなかった異分野融合を促進さ 畳み込み NN ( CNN )に代表される画像認識不明である．◯せる効果にも言及する．

では，アルゴリズムが一体何をもって画像認識したか一般に「マルチモーダル」とは「複数の形式の，複数の手段によ

知ることはできない．コンピュータは本当に画像データの本る」などの意味に過ぎない．一方，「マルチスケール」解析

質を切り分けて判断したのか，あるいはまったく物理情報とではマクロからミクロへ異なる階層構造へと順次分け入って関係のない些末な特徴を基に判断を下したかは全く闇の中でいくイメージであるが，マルチモーダルはそれも包含しかつある．もちろん，この説明可能 AI(XAI: eXplainable Artifi-

同じ階層の中でも多角的に同時に観ること(データの多次元

cial Intelligence)実現への努力は続けられているが(17)，最終化)を目指している．以下，網羅的でなく STEM スペクト

解答の選択肢が限られる TEM 像分野におけるこのブラック

ラムイメージを主軸としていくつかの具体的な事例で，本解ボックスは後に大きな問題となりかねないと考えられる．

説で提案するマルチモーダル解析を緩やかに定義することに【Case 3】ベイズ予測の適用事前確率または事後確率モデする．

ルをどう取るべきかが論点となる．自明な場合を除き，多く

複合分光(データ軸の多次元化)の場合対象をどのような目で捉えるかという本質に関わり，

図 3 のように同一場所(条件)から異なる種類の分光デー

予測結果はモデル依存であることは意外と見逃されている．

タ(この場合は EELS と EDS データ)を取得する．この場合モデルの選び方によっては，本質的に予測計算が収束しないの最も簡単な取り扱いは図に示すような Concatenation

場合もある．

(連結)による次元削減である(19) ．図 5 からわかるように，【 Case 4 】スパースモデリング( SM )および圧縮センシング

濃度行列 C を共通にとることで，分離された各相の化学状( CS: Compressed Sensing )次のような論点がある．実際

態(EELS)と元素組成(EDS)が一組のスペクトルとして行列のデータに特有のスパースな解を保証する適切なデータの変S の各行に格納される．連結処理における行列 C の共通化

換をどのように選ぶか，選ばれたデータ変換空間において果は強い拘束として働くため，信号雑音比( S / N 比)の良い方

ま て り あ 第61巻 第 8 号(2022)
Materia Japan




図5

二つの同時計測データを連結して次元削減する方法の模式図．

のスペクトルデータに重みをつけることにより，単独では率とサイト毎の不純物の化学状態(価数など)を定量的に求め

S / N 比の良くないデータのスペクトル分離性能を向上させることができる(12) ．ここでは Mn, Ni が二つのサイトにまる効果も期待できる．

たがって分布していることが判る．さらに理論計算とのフィ

複合分光データのもう一つの有効な活用法として構造化デッティングによって各サイトの元素占有率が求められ

Fusion )法が挙げられる(21) ．このスキームは上で次元削減法と称した行列分解法

る(20)．連結法と異なり，それぞれの分光データに対応するを一般次元に拡張したテンソル分解法と呼ばれる手法の一つ

二つの行列方程式

である(22) ．二種の計測複合の例で取り扱うデータは 3 階テータ融合( SDF:

X1＝C1ST1,

Structured

X2＝C2ST2

Data(□T行列転置)(1)

ンソルであるが，テンソル化によってデータ種の数には制限

において行列 C1, C2 間に C1 ＝ AC2 ( A は任意の行列)で表さが無くなり，任意の異なる指標間で個別に関係性を設定できれる相関関係を設定することができる．このような一般的取る．したがって例えばナノビーム走査による収束電子回折収り扱いの応用例は広く，高角度分解電子チャネリング X 線/

集データセットに代表される四次元(4D )STEM データ(23)電子分光法(HARECXS/HARECES)として知られているサや，さらに他の分光データも同時に取り込んだ高次 STEM

イト選択的元素分析/化学分析法に適用されている．図にデータへの有効利用が期待される．

示すように特定のブラッグ反射列に対して試料への電子入射

角度を連続的に変化させて EDS/EELS スペクトルを同時に最近特に注目されているオペランド計測(3.2節で議論)な取得することで，添加不純物の各ホスト元素サイトへの占有

どの場合は，通常の計測変数軸に時間軸が加わる．データ構

時間軸の導入によるデータ軸次元拡張

造としては前項と等価な形式になる．数学的な観点からは，
単純に Twoway 解析の繰り返しと捉えることができ，上記
連結データとほぼ同じテクニックが適用できる．ある時刻のデータセットについて次元削減によって基底ベクトルを求めることを繰り返し，二次元座標時間という三次元空間での各基底の時間発展をマッピングする，もしくは各エネルギーチャンネルの強度時間変動パターンとしての基底分解，という二種類の解析・可視化が考えられる．計測手段の複合化と併せることによりテンソル分解の手法がさらに柔軟な数学的取り扱いを与え得る．


異種計測情報結合，マルチスケールへの拡張

 ， を更に拡張し，複数検出器で同時測定という制
上記

限も取り払い，各計測機器のデータをそれぞれ AI 活用によって数値化する．図に AI を使った異種計測情報結合による物性解析のスキームを示す．同図で外側の円矢印上の各装置は共通した試料・物質測定で結ばれている．これらの中心
図6




(a) 高角度分解電子チャネリング X 線/電子分光( HARECXS / HARECES )の模式図，( b ) スピネル構造における酸素 4 配位四面体サイトと 6 配位八面体サイ
ト の 二 つ を Mn, Ni が 占 め て い る 構 造 に お い て ，
HARECXS データから得られた二種類の原子サイトの元素ピーク群，( c ) HARECXS データから二つのサイトを占有する Mn の価数状態を示す EEL スペクトルの分離，(d) Mn スペクトル強度のビーム傾斜角度依存性．

にある AI の様々なテクニックから各装置に伸びる矢印が各データの処理テクニックの適用を示している．こうして数値化されたデータは水平な右向き矢印によって示されるように統合され，物理的な拘束条件により複数の支配方程式に結び付けられている．すなわちこれにより多次元情報空間を構成し，そこにさらに別の AI 技法による変数間の相関関係や拘解説

動化が進みつつある．複数機器間の直接連携のためにはデー
タフォーマットの統一化・共通化が必要なため，異なるメー
 データ駆動による新たな科学法則
カー間では進みにくい．

発見量子力学の誕生から100年以上経った現在，未だ基礎方程式の有効性を破る実験事実は見出されていない．マルチ
モーダルという観点では計測変数間の相関をデータ駆動で見出すという未開拓領域が残されている．歴史的に物性物理学における大きな発見は，従来の法則で外挿できない性質の発見から始まる．大量の実験データの AI/ML 処理過程でデー
タ群から弾き出され通常捨てられるアウトライヤー(外れ値)が新たな発見の契機となる可能性を感じる．そこでは依然と
図7

AI を使った異種計測情報結合による物性解析のスキーム．

して深い洞察と経験によってシステムをコントロールするエ
キスパート(人間)の介在が，実は本質的な要素となっていることが多い．

束条件を設定(あるいはそれらを最適化の解として導出)する

以上，これまで学際研究，異分野融合などのスローガンがことにより特定の物性を立体的に浮かび上がらせるような試叫ばれてから久しいが，現状では分野の縦割りとガラパゴス

みをさらに提案する．この場合，標本点数，座標は必ずしも化は残念ながらさらに進んでいるのではないだろうか．そこ

共有されていないため，大きな枠組みとしてのターゲット情で最近の計測 DX 化の動きは，ここで述べたような異分野

報(求められる解)は設定されているものの，上記のような次間の垣根を取り払って必然的に連携を促す良い契機であると元削減法をデータ全体に適用することはできない．そこで各捉えたい．

データ(画像，スペクトル，数値表データ)あるいはその一部に対して，適切な情報整理・抽出処理を行った上でこれらを第回のまとめ

改めて融合することになる．最も簡便な方法は各情報を異なる軸の変数と捉えて，Kmeans 法(24)，サポートベクターマ

第 1 回は AI 先端計測技術に関わる背景と概要を述べた．

シン(SVM)(25)などの良く知られている汎用クラスター解析

第 3 次 AI の大きな流れにおいて，各種データからの情報抽を適用することであろうが，そこから意味を読み取るために出による様々なインフォマティクス研究が活況にあり，先端は何らかのモデルシミュレーション，教師付きデータなどの計測技術の領域にもこの AI/ML 技術の視点が大きく取り込経験によるタグ値が必要となろう．その点において結果の信まれようとしている．ここにはデータ駆動という新しい概念

頼性を担保しつつ自動化を図るためには，ハイスループットを含んでおり，従来のような単なるハードウエア開発を主軸

計測の成否がボトルネックとなることが容易に考えられる．

においた領域だけではなく，この思想を巧みに活用すること

もう一つの方向性として，さらに進んだ手法としてマルチで新しい装置開発や原理に関わる研究への新しい糸口さえもモーダル深層学習があげられる．このような試みはすでに医見え隠れしている．今回は多岐に渡る先端計測技術の中で，療分野で多くの事例が報告されており，解析のためのコード

先端材料研究に多用される電子顕微鏡分野における「マルチも公開されている(26) ．計測分野への応用として，例えばモーダル計測」を取り上げた．これは，多角的な測定情報に

TEM /SEM 像，スペクトラムイメージデータ，試料作製・対し異なる技術の組み合わせ・複合化によるデータの記述座

熱処理条件などの情報を統合し機械特性や電気特性の経年劣標軸を増加，かつ変数相互の相関関係を巧みに取り入れ，高化予測などが考えられる．ここでも十分な量の良質のデータ

効率かつ高精度に物理量を統合解析する概念である．次回が得られるかどうか，あるいは時間軸外挿のための適切な物

は，これを時間軸に展開した「オペランド計測」，スペクト

理モデルを構築できるかどうかが鍵となる．

ルにおけるピークの多様性を数値化する「情報エントロピー

マルチスケール/マルチモーダルという観点では，データ計測」について述べる．さらに，先端計測分野の産業状況を解析を行う上での物理が共通である放射光分光/顕微鏡と知的財産情報等の視座から捉え，「AI 先端計測技術」につい

TEM 分光の連携が有効な事例の一つになると考えている．

て包括的に解説する予定である．

(つづく)

実はこのような戦略的・系統的な連携は世界的に見てもあま
り進んでおらず，この点において，両分野でハードウエアリ

文献

ソースの豊富な日本が先端計測技術分野で世界をリードする
チャンスがあると見ている．
.. マルチモーダル計測からみた新しい世界観
マルチモーダル科学計測への AI 応用の将来展望を探って
 測定
みると，以下のような可能性と問題点が考えられる．

と解析の自動化すでに単体の計測機器では各メーカーで自ま て り あ 第61巻 第 8 号(2022)
Materia Japan( 1 ) https://www.jst.go.jp/sentan/gaiyou.html( 2 ) http://sparse-modeling.jp/( 3 ) D. E. Rumelhart, G. E. Hinton and R. J. Williams: Nature, 323(1986), 533536.
( 4 ) G. E. Hinton and R. R. Salakhutdinov: Science, 313(2006),
504507.

( 5 ) 岡 本 和 也 ， 佐 藤 了 平  エ レ ク ト ロ ニ ク ス 実 装 学 会 誌 ， 21(2018), 531
541.
( 6 ) https://www.nvidia.com/ja-jp/data-center/a100/( 7 ) レイ・カーツワイルポスト・ヒューマン誕生 コンピュータ
が人類の知性を超えるとき，NHK 出版，(2007).
( 8 ) https://www.iso.org/standard/68221.html( 9 ) https://jsps-ai-imat.mot.yamaguchi-u.ac.jp/( 10) 経済産業省 AI・データの利用に関する契約ガイドライン―
データ編―(2018).
(11) https://www.cryptrec.go.jp/(12) S. Muto and M. Shiga: Microscopy, 69(2020), 110122.
(13) 武藤俊介，志賀元紀ふぇらむ，26(2021), 32
40.
(14) 武藤俊介，志賀元紀表面科学，37(2016), 610
615.
(15) 志賀元紀，武藤俊介電気化学，88(2020), 4246.
(16) J. Lehtinen, J. Munkberg, J. Hasselgren, S. Laine, T. Karras,
M. Aittala and T. Aila: Proc. 35th Int'l. Conf. on Machine
Learning, PMLR, 80(2018), 29652974.
(17) https://human-centered.ai/explainable-ai/(18) N. J. Beaudry: Quantum Information & Computation, 12(2012), 432441.
(19) T. Thersleff, S. Budnyk, L. Drangai and A. Slabon:
Ultramicrosc., 219(2020), 113116.
(20) L. Sorber, M. Van Barel and L. De Lathauwer: IEEE J. Sel.
Top. Sig. Proc., 9(2015), 586600.
(21) S. Muto, J. Spiegelberg, M. Shiga, M. Ohtsuka and J. Rusz:
Proc. 10th Pacific Rim Int'l. Conf. Materials & Processing,
PRICM10, (2019), 720729.
(22) A. Cichocki, D. P. Mandic, L. De Lathauwer, G. Zhou, Q. Zhao,
C. F. Caiafa and A. H. Phan: IEEE Sig. Proc. Mag., 32(2015),
145163.
(23) C. Ophus: Microsc. Microanal., 25(2019), 563582.
(24) J. B. MacQueen: Proc. 5th Berkeley Symp. on Mathematical
Statistics and Probability, (1967), 281297.
(25) V. Vapnik and A. Lerner: Aut. Remote Control, 24(1963),
774780.
(26) B. Guan, F. Liu, A. Haj-Mirzaian, S. Demehri, A. Samsonov,
T. Neogi, A. Guemazi and R. Kijiowski: Osteoarthritis and Cartilage, 28(2020), 428437.

★★★★★★★★★★★★★★★★★★★★★

岡本和也

山口大学大学院教授・大阪大学招聘教授
東京大学大学院工学系研究科修了．ハーバード大学経
株 ニコン・開発部門 GM を経
営大学院修了(PMD)．
て， 2016 年山口大学大学院技術経営研究科教授．
2017年より同副研究科長・現職．博士(工学)
専門分野半導体工学，集積光学，電子光学，技術経営論◎半導体デバイスの要素開発から製造・検査装置の開発に従事後，新事業創成方法論の研究に従事．

★★★★★★★★★★★★★★★★★★★★★

杉山昌章

大阪大学大学院特任教授
1985 年大阪大学大学院基礎工学研究科博士後期課程
株 第一技術研究所入社．新日修了．同年，新日本製鐡
鐵住金に統合後，上席主幹研究員を経て 2015 年大阪大学大学院特任教授． 2019 年より大阪大学日本製鉄
材料基礎協働研究所 現職．博士(工学)
専門分野金属物性学，鉄鋼材料◎電子顕微鏡技術を中心に材料の微細組織評価と特性制御研究に従事．

★★★★★★★★★★★★★★★★★★★★★

武藤俊介

名古屋大学未来材料・システム研究所教授
1986 年大阪大学大学院基礎工学研究科博士前期課程修了
1988 年大阪大学教養部物理学教室助手， 1995 年名古屋大学理工科学総合研究センター助教授， 2004 年名古屋大学大学院工学研究科教授， 2013 年 4 月より現職．博士(工学)
専門分野ナノ電子分光，数理データ解析◎透過電子顕微鏡および関連分光法によるナノ物性可視化と新規分析手法開発に従事．本稿3.1節担当．

★★★★★★★★★★★★★★★★★★★★★

青柳里果

成蹊大学教授2002 年早稲田大学大学院理工学研究科博士後期課程修了 2005年島根大学生物資源科学部助教授/准教授，
2014 年成蹊大学理工学部准教授， 2017 年 4 月から現職．博士(工学)
専門分野表面分析，データ解析(多変量解析・機械
学習)，質量イメージング◎生体試料・バイオ材料・有機物試料を主な対象とした飛行時間型二次イオン質量分析による表面分析とそのデータ解析に従事．本稿3.3節担当．

★★★★★★★★★★★★★★★★★★★★★

冨谷茂隆

株 主幹研究員
ソニーグループ
1988 年慶應義塾大学大学院理工学研究科博士前期課
株 入社， 2019 年東京工業大学
程修了 同年，ソニー
特任教授(兼任)． 2019 年 12 月より現職．応用物理学会フェロー．博士(工学)
専門分野半導体材料物性，半導体デバイス，材料解析，半導体信頼性評価◎材料解析(主として微細構造解析/光学評価)およびインフォマティクスを活用した半導体材料・デバ
イスの開発に従事．本稿3.2節担当．

★★★★★★★★★★★★★★★★★★★★★

解説