Rev. 2.5.3.1 (2021‐12‐08)

機械学習品質マネジメント
ガイドライン策定と標準化の取り組み
産業技術総合研究所
デジタルアーキテクチャ研究センター
⼤岩 寛

1© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

1

全体の流れ
• 導⼊・背景– なぜ機械学習AIに品質が必要か︖– 周囲の状況• 機械学習品質マネジメントガイドライン– 検討の経緯・体制– 内容• 今後の取り組み

3© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

3© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

1

なぜ AI に品質が必要か︖• そもそもなぜ「AI」が必要か︖– 機械学習は現状では品質管理に不利• 従来の品質管理⼿法が通⽤しない• 動作原理がブラックボックスに近い– 品質を確保したことをなかなか説明できない– なぜ誤動作したかもよく分からない– 不安要素を解消できない ＝ 安⼼できない…にも 関わらず
4© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

4

なぜ AI に品質が必要か︖• そもそもなぜ「AI」が必要か︖– 従来のソフトウェア構築にも限界• 現実世界の複雑さに、従来のソフトウェア構築⼿法が追従できない• ⼈間が「正しい⽅法」を説明しきれない処理は、ソフトウェアでは記述できない– 「勘と経験」の領域・総合的判断• ⼈ができていないことを計算機にやらせたい↓「仕⽅なく」機械学習を使う
5© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

5© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

2

社会からみた AI への恐怖と要求• ⼈間中⼼のAI社会原則 (2019. 3)– ⼈間中⼼の原則– 教育・リテラシーの原則– プライバシー確保の原則– セキュリティ確保の原則• いわゆる安全性・信頼性も含まれている– 公正競争確保の原則– 公平性・説明責任及び透明性の原則– イノベーションの原則
6© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

6

社会からみた AI への恐怖と要求• OECD Principles on AI (2019. 5. 22)– 全ての⼈への普遍的利益– 公平性と公正性の確保– 透明性の確保と責任ある開⽰– 堅牢・セキュア・安全性とリスクアセスメント– 開発運⽤者の責任• 何らかの⽅法でこれらを担保・実現・説明する必要がある

7© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

7© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

3

社会からみた AI への恐怖と要求• EUのAI規制案– 倫理的な側⾯と安全性的な側⾯を含む包括的な規制– AIをそのリスクでいくつかに分類• 最⼤のリスク分類では使⽤禁⽌• ⾼リスクの分類には品質に関する対策を求める

8© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

8

AI の品質・セキュリティ⾯のリスク• AI システムもITシステムの⼀種– その意味では、従来と何も変わらない• なぜ、特にAIシステムの品質が難しいか︖– 使われる環境の多様性が⼤きすぎる• 本質的に「サイバーフィジカルシステム」のリスク– ソフトウェアとしての構造が特異• 本質的な「機械学習ソフトウェア」のリスク

9© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

9© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

4従来のソフトウェア品質の考え⽅• 構造的・構築的な品質の作り込み– 事前に全てのリスクを網羅的に列挙する– 各リスクに対策をセットし、実装の部分に割り当てる– 設計に沿って各リスク対策を個別に実装する– 検査⼯程で、全ての対策の実現を確認する– 全てのリスクに対策を実現した ＝ 安全 という思想– 開発プロセス管理を通じて抜けがないことを担保
10© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

10

機械学習ソフトウェアの特異性• 機械学習AIはデータから統計的に構築– リスク要因を学習させても、常に正しく判断するとは限らない– 学習結果の構造が判らないので、検査をしても網羅性を確保できない– 修正をすると、他の所に未知の影響が出る

11© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

11© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

5⾼品質な機械学習ソフトウェアへ向けて• 従来のソフトウェア⼯学の前提が崩れている→ そのまま技術適⽤しても結果が保証されない• 機械学習AIに適合した新たな「品質の作り込み」の枠組みが必要

12© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

12

機械学習品質マネジメント
ガイドライン

機械学習AIの品質を「作り込み」「確認し」「説明する」ためのガイドライン• 主な想定読者:– 機械学習を利⽤して作られる製品やサービスの提供者– 実際に製品・サービスをソフトウェアとして実装するシステム開発者• 2次的な想定読者:– サービス利⽤者︓サービス選択する基準として– 第三者評価機関︓品質評価・認証の基準として
13© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

13© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

6

取り組みの狙い① 社会全体でのAIの受容性向上・安全性向上– 劣悪なAIの排除による利⽤者の安全性の向上– 製造物責任の基準明確化による提供者のリスク軽減② AI構築の⽔平分業バリューチェーンの競争⼒強化– 受発注基準の明確化によるビジネスの障壁除去– 製品価値のメトリクス提供による⽇本産AIの競争⼒の明確化⇒ 「安⼼を説明でき、納得して使えるAI」の実現を⽬指す

14© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

14

ガイドラインの位置づけ• 技術的な側⾯からAIの社会適⽤を⽀える
ガイドライン– 社会規範ガイドライン類の下位

社会性要求

社会規範

社会規範・倫理性

⼈間中⼼のAI社会原則・OECD Principle等

⼯学・• 「正しさ」の定義はしない
品質・• 実現する為に何が必要かを整理 ⼯程管理

– IEC 61508 などに相当

機械学習品質マネジメント
ガイドラインcf. IEC 61508• 汎⽤性を持ったガイドライン• 業種特有の具体化は有り得る

業種別品質ガイドライン• 「⾃社ガイドライン」を各企業が作るベース• どう実現するかには任意性がある

AIガバナンス
ガイドライン
組織運営などAI契約
ガイドライン
データ契約など
⾃動⾞・⾦融⼯場・医療など
cf. ISO 26262 etc.

各企業の開発⽅針

15© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

15© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

7

法律・原則等との関係• 社会性要求（倫理性とか）は法律や原則の類で• 拘束的な要求• 我々は⽴ち⼊らない– 我々は社会性を具体的に実現する技術的⽅法を提⽰• ⾮拘束的な要求（同じことができれば良い）

16© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

16

ガイドライン第2版の全体概要
•

⽂書の構成
1.
2.

概要サマリー
スコープと定義3.

品質レベルの設定4.
5.

開発プロセスの参照モデル
ガイドライン適⽤プロセス

6.
7.

品質保証のための要求事項
具体的な技術適⽤の考え⽅

8.
9.

公平性の観点について
セキュリティ対策について

10. 参考⽂献
11. 分析
12. 図表13. 参考⽂献

207ページ17© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

17© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

8

品質管理の対象と考え⽅• 「品質」といっても……

– ⽴場・視点によって「品質」は違う– 利⽤者にとって:• 安⼼して使える・平等に扱われる・快適 など– システム提供者にとって:• 危害を加えない・⾼性能・経済的・公平• ⽬的の要求通りに動く など– 開発者にとって:• 与えられた仕様通りに動く など
18© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

18

品質管理の対象と考え⽅• 着⽬する「品質」– 利⽤時品質• サービス利⽤者にとっての品質– 安⼼・公平など– 外部品質• システムに「求められる」性質→ ⽬標を設定– 内部品質• システムが「持つ」性質→ 達成を確認

それぞれ依存・実現の関係

19© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

19© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

9

品質管理の対象と考え⽅• 超基本的な流れ– 利⽤者に提供すべき利⽤時品質を考える– 製品の設計をして、機械学習要素に必要な外部品質を考える– 外部品質の品質レベルを決定する– 外部品質レベルに対応した、内部品質の要求事項をガイドラインで確認する– それぞれの内部品質の達成を確認する
20© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

20

外部品質: 3項⽬ × レベル• 3つの特性に整理① リスク回避性（安全性・危害回避性）–

ある種のセキュリティ・耐攻撃性なども含む② AIパフォーマンス（トータルの予測精度）
③ 公平性
21

© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

21© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

10

外部品質① リスク回避性• 危険に繋がる判断をしない（する確率を⼀定以下に抑える）– 安全な判断の範囲での質は問わない– ほぼ 安全性 ＋ ⾦銭的リスク

議論: 「安全性」の語で⾦銭的リスクを想像するか︖– ⽬標レベル (AISL) は７レベル• 従来の安全性基準 （IEC 61508 SIL）準拠の４レベル• 従来「SILなし」になる応⽤を３レベルに分割

22© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

22

外部品質② AIパフォーマンス
• 全体として平均性能を⾼く保つ性質– ビジネス観点では KPI 実現の成否を問う– 最悪ケースの値の低さは問わない– ⼀般的な「予測・推論性能」に近い︖– ⽬標レベル (AIPL) は３レベル• AIPL 2: Mandatory requirements (検収要件など)• AIPL 1: Best‐effort requirements (⼀般的)• AIPL 0: no requests (PoC 的)
23© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

23© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

11

外部品質③ 公平性• ⼊⼒の属性に依存して、統計的に望まない偏りがないこと– 性能・安全より優先されるケースに限る– 個別の出⼒では確認できない性質– ⽬標レベル (AIFL) は３レベル• AIFL 2: Mandatory requirements• AIFL 1: Best‐effort requirements• AIFL 0: no requests (PoC 的)
24© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

24

内部品質
• どう「⾼品質の機械学習」を作り込んでいくか︖– ソフトウェア業界には40年来の歴史の積み上げ– ウォーターフォール型設計と段階テスト– アジャイル型実装と「テスト・ファースト」• これの意味するところは何か︖

25© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

25© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

12

内部品質
• ソフトウェア⼯学の積み上げたもの– 「どうソフトウェアがバグるか」の経験的知⾒の積み上げ• 事前想定の⽢さ• 設計ミス• 設計を実装に反映する際のミス• 実装に引きずられた設計の⾒落とし• etc. etc. …

• 機械学習ではまだ整理が進んでいない26© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

26

内部品質
• どう整理する︖– ボトムアップ・アプローチ• 今AI業界が着⽬している技術のサーベイ– できること、やらなきゃいけないと思っていることが判る– それで⼗分かどうかが判らない– トップダウン・アプローチ• AIが「誤判断」した時の原因を仮想的に分析– 対処できるかどうかは判らない– 理屈上は、全部潰せば誤判断しない…はず» もちろんそんなことはないけど、改善の⽅向性としては正しいはず→ この2つを併⽤、特にトップダウンに注⼒
27© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

27© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

13

内部品質９項⽬
A‐1. 問題領域分析の⼗分性
A‐2. 問題に対する被覆性
B‐1. データセットの網羅性
B‐2. データセットの均⼀性
B‐3. データの妥当性
C‐1. 機械学習モデルの正確性
C‐2. 機械学習モデルの安定性
D‐1. プログラムの信頼性
E‐1. 運⽤時品質の維持性
28© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

28

内部品質９項⽬
基本的な考え⽅A) 問題の分析に基づくあるべきデータセットの設計
B) 設計に合致する良いデータセットの確保
C) 良いデータセットから得られる良い機械学習モデル
D) 信頼できるソフトウェア
E) 品質を維持する運⽤
29© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

29© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

14

データセットの設計に関わる内部品質特性
A‐1 問題領域分析の⼗分性
A‐2 問題に対する被覆性– 品質そのものの「設計」の質を問う特性– 従来開発の要求分析・テスト設計に対応• 従来の品質管理でも、実は「ゴールの決定」が⼤切– 「どういう観点で品質を問うか」を決める• 「品質を保つべき状況」を洗い出す– 例えば⾃動運転なら:道路の種類・気温・天候・時間帯・障害物の種類 など• 複雑な状況の「組み合わせ」を網羅する– 例えば「冬の⾬」や「夜の⼀般道」はリスクが⾼い など
30© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

30

データセットの質に関わる内部品質特性
B‐1 データセットの網羅性
B‐2 データセットの均⼀性– A‐1〜2で決めた観点に従ってデータ品質を確認– 基本的には機械学習では「⼗分なデータが均⼀にある」ことが理想– だけど…

31© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

31© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

15

データセットの質に関わる内部品質特性
B‐1 データセットの網羅性
B‐2 データセットの均⼀性– レアケースのジレンマ• 100万回に1回の頻度の、絶対正しく判断してほしい状況にどう対処する︖– 必ずデータに当該状況が含まれていないといけない– 均等に配置すると、レアでないケースが膨⼤に必要• 「正解はないけど、必ず考えて設計すること」– 敢えて濃度⾼くレアケースのデータを訓練に使う– テスト⼯程でだけレアケースを追加する など

32© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

32

データセットの質に関わる内部品質特性
B‐3 データの妥当性– B‐1〜2 で集積した個別のデータが妥当かどうか• テストできる項⽬と、管理（しかできない）項⽬– データ源の妥当性・信頼性に頼るところもある– 検査できるものは出来るだけ検査する

33© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

33© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

16

モデルパラメータの質に関わる
内部品質特性C‐1 機械学習モデルの正確性
C‐2 機械学習モデルの安定性– データセットから良い「訓練済み機械学習モデル」を作る⼯程– 「正確性」「安定性」の2つに整理

34© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

34

実装・運⽤に関わる内部品質特性
D‐1 プログラムの健全性– 基本的には従来の規格に帰着…で良い• いくつか特有の注意点があるので敢えて１項⽬に設定• モデル変換とか、エッジデバイス特有の障害とか

35© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

35© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

17

実装・運⽤に関わる内部品質特性
E‐1 運⽤時品質の維持性– テストではうまくいっていたモデルが、運⽤中に品質劣化する可能性– 学習訓練時の想定不⾜– 周辺の状況の変化→ これらをモニタリングする考え⽅が重要– ⼀発で品質を作り込むのがなかなか難しい現状に対応– 追加学習・モデル更新を予め想定して運⽤を設計する

36© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

36

システムライフサイクルプロセス• 品質マネジメントの全体プロセスモデル– 企画段階から運⽤・利⽤終了までの総合的な品質マネジメントを想定して整理– AI 特有のPoCプロセスや、繰り返し型の開発⼯程と、品質管理を整合

37© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

37© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

18

システムライフサイクルプロセス• 現実のプロセスとの対応– 繰り返し型のプロセスでもOK– 品質のチェックポイントを明確化させる
意図

38© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

38

従来規格との関係性• 機能安全・SIL (IEC 61508) etc.

– 安全性が重要な分野では、SIL および分野別詳細規格 (ISO 26262 etc.)への対応はほぼ必須• 常識として話が通じる• 従来プロセスとの統合が必要– AI バックグラウンドの⼈はほとんど知らない• 新たに「SIL 対応しろ」は結構無茶– コストがすごく⾼い⇒ 両⽴できるような記述に配慮
39© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

39© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

19機械学習品質マネジメントガイドライン• ⽇本語第1版: 2020年6⽉公開• ⽇本語第2版: 2021年7⽉公開– 産総研公式ホームページから• 英語第1版: 2021年2⽉公開– 英語第2版: 近⽇公開︖• 逐次アップデート予定• 年1〜2回程度– 実験・研究・リファレンス
ガイド開発からのフィードバックを元に更新
40© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

40

国際標準化の流れ (1)• ISO/IEC JTC 1/SC 42 (Artificial Intelligence)– 2019/11 に 東京（産総研）で plenary– WG 1 で基本⽤語集を検討中– WG 3 (Trustworthiness) で基本的な議論開始• WG3 に TR5469 “Functional Safety on AI”– その他の品質関連 activities:• データ品質 (WG2)• AI開発ライフサイクル• 品質指標モデル (ISO/IEC 25010 の拡張)
41

© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

41© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

20国際標準化の流れ (2)• SC 42 外の状況
– ISO/IEC TR 29119‐11
Guidelines on the testing of AI‐based systems• ISO/IEC JTC 1/TC 7– IEEE P7003• Algorithmic Bias Considerations– NIST (アメリカ）• AI risk management framework の開発を⽴ち上げ• NIST SP draft, RFI, workshop など
42© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

42TR 5469 (Functional Safety and AI systems)
担当: SC 42/WG 3
Editor: ⽇本

IEC側 (IEC 61508‐3) チームと (事実上合同で) 検討
Scope:Use of AI inside a safety related function to realise thefunctionality
Use of non‐AI safety related functions to ensure safety for anAI controlled equipment
Use of AI systems to design and develop safety relatedfunctions.

完成⽬標: 2022/04
具体的⽂⾔の検討が11⽉からスタート
AIQMガイドラインの内部品質の整理などをインプット
43© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

43© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

21

その他の活動①要件の明確化とエコシステム開発

全産業共通のガイドライン⇒ 機械学習AI
品質管理ガイドライン⇒ 産業分野別
AI品質リファレンス（品質⽬標の類別・レベル分け・測定指標）
共通要素の抽出
フィードバック

具体化

具体化
事例毎のリファレンス

具体化
事例毎のリファレンス

対応

事例毎のリファレンス参照④ 実際の事例での実証研究

実際の製品開発プロセス②実際に品質を作り込む
道具⽴て利⽤

⇒品質管理テストベッド⇒評価ツール

管理

機械学習品質管理テストベッド
結果の集積管理呼び出し③ 具体的なAI評価技術の先端開発

個別の品質評価技術

45© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

45

機械学習品質評価共通基盤（テストベッド）の開発• 容易に開発できる⾼品質AIを実現するための環境整備– ⾼品質AI開発ライフサイクルのための開発と運⽤を組み合わせたDevOps機能の強化– データ準備・機械学習システムの開発から品質検査・評価までのプロセス全体を管理するツール– 既存開発フレームワークなどとの関係も検討

46© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

46© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

22応⽤別のリファレンスガイド• ガイドラインを実際に製品に適⽤するための事例ベースの「ガイダンス」の作成– ⽬的1: 汎⽤で抽象的なガイドラインを補完する、「こうすればできる」の提⽰– ⽬的2: ガイドラインの実⽤性の確認– ⽬的3: 具体的事例からのフィードバック• ⺠間企業の具体的事例をベースに事例抽出• 「共有知」を⽬指した取り組み– 成果公開を前提とした研究活動• ⺠間企業から出向して頂き、産総研の⽴場として研究
47© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

47

具体的な品質管理技術の研究開発• QA/QC のための具体的な技術の追求– ソフトウェア⼯学の品質管理技術の機械学習への適⽤– 「品質」という指標に着⽬した新しい機械学習技術の研究– ガイドライン中で必要とされる具体的な品質指標に対する測定技術の開発

48© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

48© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

23

まとめ
• 機械学習AIの品質ガイドライン– 品質を「作り込み」「確認し」「説明する」ためのガイドライン– 想定読者
• サービス提供者とシステム開発者• 品質の基準や認証の基盤としての活⽤を期待

49© National Institute of Advanced Industrial Science and Technology. All rights reserved. No reproduction without prior consent.

49© 2021 National Institute of Advanced Industrial Science and Technology.
All rights reserved. No reproduction without prior consent.

24