2009/11/10 第3回HQC分科会

ASME V&V関連資料 今年度計画<1>
回数

ASME V&V関連資料-ROLE OF NON-DETERMINISM IN VERIFICATION AND
VALIDATION OF CSM MODELS-KEY TERMS AND CONCEPTS-UNCERTAINTY関連文献

日付

内
ASME V&V

NAFEMS

第１回目

2009年6月26日 QMS紹介（吉田）第２回目

2009年9月11日 資料紹介[4]技術基準紹介（越塚）2010年1月7日

第５回目

2010年春

企業事例

その他

－

－

未定

NAFEMS文献

芝浦工業大学 システム理工学部
機械制御システム科 長谷川浩志

容

文献紹介(1), (2), (3)講演（２件）（小國、高野）文献紹介(4), (5), (6)（長谷川）
文献紹介(7), (8), (9)（渋谷）

第３回目 2009年11月10日
第４回目[1] NAFEMS QSS001 Quality Standard Supplement (2007)[2] Quality Management in Engineering Simulation-A Primer for NAFEMS QSS (2009)[3] SAFESA Management Guidelines (1995)[4] SAFESA Management Technical Manual (1995)[5] Management of Finite Element Analysis - Guidelines to Best Practice (1995)

ASME V&V文献 (1) Benchmarks (J.T.Oden)(2) A Posteriori Error Estimation (April 2002) (J.T.Oden)(3) Experimental Data Requirements for Validation(4) Role of Non-determinism in Verification and Validation of Computational
Solid Mechanics Models (July 2001) (B.Thacker and T.Hasselman)(5) Key Terms and Concepts(6) Uncertainty関連文献(7) Calibration in Computational Mechanics (H.U.Mair)(8) Constitutive Model Verification and Validation (May 2001) (L.Schwer)(9) Constitutive Model V&V for Softening Materials (July 2001) (D.Simons)(10) Method of Manufactured Solutions: Demonstrations (August 2002) (L.Schwer)

V&V Fig.4

V&V Fig.5<3>

概念的モデル
物理現象
概念的モデル
数理モデル

物理モデル

離散化して実装

Code Verification

離散化された数式

予備計算

計算の生データ
不確定性の
定量的評価

計算結果

実装

Code Verification

計算アルゴリズム

実験のデザイン
計算コード

実験

計算

Calculation Verification

数理モデル
物理的モデル化

数学的モデル化

実験データ
Validation
定量的比較

<2>

物理パラメータ

不確定性の
定量的評価

実験結果

離散化パラメータ

計算モデル
Calculation Verification

計算結果

<4>

ASME V&V 10-2006資料との対応 － V&V Fig.1 < 5 >5.2 Uncertainty
Quantificationin Experiments

使用目的（用途）

モデリングの活動― モデル開発― Verification― 予測計算― Uncertainty（不確実性）の評価

実験の活動― 実験の計画・設計― 初期条件と境界条件― 応答の計測― Uncertainty（不確実性）の評価

ROLE OF NON-DETERMINISM IN VERIFICATION AND VALIDATION OF<6>
COMPUTATIONAL SOLID MECHANICS MODELS (1/5)
題目

ROLE OF NON-DETERMINISM IN VERIFICATION AND
VALIDATION OF COMPUTATIONAL SOLID MECHANICSMODELS

著者

Ben Thacker and Tim Hasselman

出典・年

Draft Outline, 7/19/2001

頁数

3頁

目次

-Background-Sources of Non-determinism-Classification of Errors and Uncertainties

概要

非決定論に基づく，計算個体力学モデルに対する不確実性の定義

Validation
3.5 Sensitivity Analysis

Application（適用，応用）

3.6 Uncertainty
Quantification for
Simulations

感度 分析： 実験計画法，差分法による感度解析

不確実性の定量化： モンテカルロ，ラテンハイパーキューブ，
一次信頼性解析

ROLE OF NON-DETERMINISM IN VERIFICATION AND VALIDATION OF<7>
COMPUTATIONAL SOLID MECHANICS MODELS (2/5)

ROLE OF NON-DETERMINISM IN VERIFICATION AND VALIDATION OF<8>COMPUTATIONAL SOLID MECHANICS MODELS (2/5)

背景

重要な不確実性は，認識・定量化されるべきモデルに，関連付けられる．

「モデル」は，コンピュータ・ソフトウェアだけでなく，すべてのインプットモデルと解析コントロール・オプションを含むもの．

モデルやその種の経験が蓄積すれば，モデルの更新は，不要，適宜更新，定期的に更新．

不確実性は，物理システムやモデリングの理想化，実験の変動，測定の過ち等の固有なランダム性に起因して起こる．

モデル固有の不確実性も同様に，予測精度を見積もるために定量化．

非決定的分析（モデルの検証）

ステップ３
予測精度を評価するプロセス．予測精度は，新しい実験データ（モデル更新やパラメータの特徴付けに利用していないもの）との比較により，検証される．

ステップ１
モデルの定式化や実験データの取得に関する多数のシステムエラーを見つけること，確認すること，除外すること（可能であれば）．

予測精度は，「どのくらいがいいか？ 」
定量的なモデリングの不確実性に基づくモデル予測の不確実性と比較．

ステップ２
先入観やランダムな“ばらつき”などの残った不確実性の特性を許容範囲内で明確化，もしくは減らす．なお，予測精度の改善をもたらす範囲内でモデルの更新や“キャリブレーション”が必要な場合もある．

これは，場当たり的な比較ではなく，むしろ再現可能な比較量に基づき，明確な（統計上の）手続きに従うべき．

ROLE OF NON-DETERMINISM IN VERIFICATION AND VALIDATION OF<9>COMPUTATIONAL SOLID MECHANICS MODELS (3/5)

ROLE OF NON-DETERMINISM IN VERIFICATION AND VALIDATION OF< 10 >COMPUTATIONAL SOLID MECHANICS MODELS (4/5)

非決定論の原因

エラーと不確実性の分類

背景に示したように，実世界は，つぎの認識から根本的に非決定論である．

エラーは，再現可能な，もしくは確定的なバイアス（偏り，偏見）を引き起こす．
そして，少なくとも理論的には，エラーを減らす，もしくは排除することができる．
不確実性は，単純化できる，できないにも係わらず，非決定論的影響を与える．

1. 実験データ
a. 試験装置は，さまざま．
b. 据え付けは，さまざま．
c. 環境条件は，変化．
d. 測定は，さまざま．
2. 現状のシステムと構造
a. 設計誤差．
b. 材料特性は，さまざま．
c. 構築方法は，さまざま．

1. 不確実性
a. 単純化できない不確実性
i.
固有のばらつき（変動）は，モデル化された物理システムに関係する．
ii. ばらつきや偶然の不確実性といわれる．
iii. 確率論は，単純化できない不確実性を適切にモデル化するのに用いられる．

3. モデルa. モデリングの決定は，作成者が変わる，更新が重なるたびに判断（基準）が変化．
この要素も含まれる．
b. モデリングツールは，例えば，異なった有限要素法，異なった有限要素解析ツール，
同じ有限要素解析ツールの異なったバージョン
c. モデリングのリソース（資源）は，さまざまである．異なる詳細度を引き起こす．

b. 単純化できる不確実性
i.
不完全な情報が原因である潜在的な欠陥．例えば，知識不足，物理プロセスに対する乏しい理解，不明確な定義，故障モードの仕様記述の不備など
ii. 知識や認識による不確実性といわれる
iii. 存在するかもしれないし，しない可能性もある．
iv. 確率論の適用が一般的であるが，非確率的，非決定性理論は，さらに適切ともいえる．

ROLE OF NON-DETERMINISM IN VERIFICATION AND VALIDATION OF< 11 >COMPUTATIONAL SOLID MECHANICS MODELS (5/5)

KEY TERMS AND CONCEPTS(1/20)

2. エラー – 知識の不足による認識欠如

題目< 12 >

題目なし KEY TERMS AND CONCEPTS (仮題目）

a. 認識エラーi.

事例（プラクティス）内では定量化できないと思われるが，検出され，原理内で定量化できるエラー

著者

ii.

大間違いやミス： これらのエラーを検出し，取り除くために利用する手続き方
法

頁数

7頁

目次

-KEY TERMS AND CONCEPTS-PARADIGM FOR SYSTEM THEORY, SIMULATIONDEVELOPMENT, AND V&V-OBSTACLES TO QUANTIFICATION OF SIMULATIONFIDELITY AND VALIDITY-ENDURING ISSUES IN M&S FIDELITY AND VALIDITYQUANTIFICATION

概要

用語とコンセプトを全体的な視点で表現するために，どのように体系的な理論（system theory, 現実の把握）やシミュレーションが展開されているか，
体系的な理論とシミュレーション開発の関係，さらに，どのようにV&Vに関連するかという理論的枠組みを提案する．

(質のコントロールと再考, etc.)

出典・年

b. 未認識のエラーi.

検出できないエラー（検出できない大間違いやミスを含む）

不確実性の定義•

原理内の未認識のエラーは，不確実性よりもむしろエラーとして区分される．

•

不確実性の予測と観測した振る舞いの統計的な差異に基づき，その場限りのやり方
で定量化するならば，それは，不確実性に関係する．

•

不確実性は，認識エラーが原因ではなく，すべてのばらつきを含めたあらゆる状況に対応できるもの「catch-all」として用いる．

KEY TERMS AND CONCEPTS(2/20)< 13 >

2つの基本的な用語は，詳細度（Fidelity）と妥当性（Validity）

適切に取り扱うために「エラー」と「確率変動」の両方を伴う不確実性の理念を扱う必要がある．

これらの用語とコンセプトを全体的な視点で表現するために，どのように体系的な理論（system theory, 現実の把握）やシミュレーションが展開されているか，体系的な理論とシミュレーション開発の関係，さらに，どのようにV&Vに関連するかという理論的枠組みを提案する．

< 15 >

Simulation Interoperability Workshop（SIW）のFidelity study
groupによって作り上げたFidelityの本質的な定義
Fidelity：
モデルもしくは，シミュレーションが－ 実世界のオブジェクトの状態と振る舞い, or－ 実世界のオブジェクト，特性，状況の認識, or－ 選んだスタンダードの認識（測定，もしくは認知可能な方法，
モデルやシミュレーションの現実性の規準，信頼性の範囲で）を再現している度合い．

•••< 14 >

Fidelity（詳細度）とValidity（妥当性）：
モデルとシミュレーション（M&S）のVerification（検証），Validation（確証），Accreditation（認定）（VV&A）の根本的な概念．しかし，筆者らは，これらの定義と指示対象のいずれも，VV&Aの定義として，適切，もしくは広く受け入れられているとは思っていない．

この２つの用語を関連付ける指示・参照（Referent）

KEY TERMS AND CONCEPTS(4/20)

KEY TERMS AND CONCEPTS(3/20)

一般に，計測，スタンダード，もしくはその評価や記述に利用する視点で述べられるべきFidelityは，実世界とM&Sの表現の親密性（近さ）に対する絶対的な尺度
アプリケーション側の要求では変化しない．

理由は，M&SのFidelityとValidityの数量化する能力をあまり進展できなかったこと．

以降の定義を適用

KEY TERMS AND CONCEPTS(5/20)< 16 >

Defense Modeling and Simulation Office (DMSO) webサイトの
M&Sの用語説明

Fidelityを「実世界と比較されるときの表現の正確さ」と定義「正確さ」は，パラメータと結び付けられ，要因が表現した範囲と，これらの要因（「正確さ」が一般的に適用される）の表現の質を明示する．
よって，この定義を利用することがもっと良さそうに思われる.

KEY TERMS AND CONCEPTS(6/20)

KEY TERMS AND CONCEPTS(7/20)< 17 >< 18 >

Validity
モデルやシミュレーションの表現能力に関する具体的なアプリケーションや
特定のシミュレーションに十分に合う推論（infer）,推定（deduce），もしくは計算の質．
現実とM&Sの表現の親密性（近さ）に対する相対尺度．
表現が意図する狙いに十分に近いかどうかで決定される．

1.

2.
3.

我々は単純な辞書のような定義を，不確実性，エラー，ばらつきのために選ぶReferent（指示・参照）
シミュレーションさている「もの」についての知識の骨格を体系化
シミュレーション内で，表現されている「もの」から導出されたスタンダード
M&S表現の正確さを背景に評価されたスタンダード

なお．表現のValidityは，アプリケーション側の要求で変化する．

1.
2.
3.

ゆえに，M&Sの表現に対するFidelityが不変であった場合，１つのアプリケーションにとっては有効でも，他の場合には有効とはいえない．

基本的に， SIW fidelity研究グループの考えを発展させたReferentの定義．

この極めて重要な概念が，しばしば誤解される．

DMSOのWebサイトのM&S用語説明： Referentのための定義はなし．

DMSOのWebサイトのM&S用語説明でのValidityのための定義は，データ品質にだけ関係している．よって，この論文にとっては適切ではない．

KEY TERMS AND CONCEPTS(8/20)< 19 >KEY TERMS AND CONCEPTS(9/20)< 20 >

ValidityのReferentには，様々な考え方がある．
FidelityのReferent：•

M&Sで表現された対象についての完全な情報を集めたもの．

ValidityのReferent：•

V&V Symposium at the US National Congress on Computational Mechanics(August 2001)では，半分以上の論文でシミュレーションの不確実性とエラーを取り上げている．

M&Sのために用いた方法を含めなければならないので，より複雑になる．

NISTアプローチ：
これは， ValidityのReferentにおいて，システム理論とテスト/実験データの一部を無視できる．
例えば，物理学の講義のはじめには，学生に機械エネルギーとモーメントの原理を明快に説明するために，摩擦を無視する．
教育的には重要であるけれども，ValidityのReferentにとって妥当なものの選
択を困難にする．

不確実性は，①統計的に記述できるもの，②他の手段で記述されなければならない

Sandia National LaboratoriesのASCI V&V，CFDを対象とした
AIAAのGuideなど：
不確実性（プロセスや項目の固有のばらつきにより引き起こされる）からエラー（既知もしくは，理解できる要因によって引き起こされる不確実性）を分離

論理的限界から来る不確実性：
論理的な限界から，確率的なばらつきの存在を否定する (Jaynes, [8])KEY TERMS AND CONCEPTS(10/20)
Uncertainty （不確実性）< 21 >KEY TERMS AND CONCEPTS(11/20)< 22 >

Error （エラー）― 確実にわからないこと．

これは，不確実の領域で，情報やデータの確からしさと一緒に取り扱えないことを意味する．
観察と測定のすべてにおいて，エラーとばらつきの組み合わせに起因する不確実性を含む．
不確実性は，観察環境についての完全な知識の欠如，バイアス，観察装置の分解能の限界などによって引き起こされる．

測定値や計算値と正しい値との違い. エラーは，正確さの逆．
この定義は，様々な要素からのエラーの分離もしない，システムエラーやバ
イアスと呼ばれるものにも分離しない．
サンプリング・エラー： 計測のばらつきによって起こるエラー
シミュレーション結果で，エラーと同様にReferentと関連付けられるエラー
は，シミュレーションのFidelityとValidityを定量化するために,明確に定量化しなければならない．

論理的限界による不確実性は，M&Sのコミュニティーでは知られていない

KEY TERMS AND CONCEPTS(12/20)< 23 >

Stochastic Variation or Variability （確率的変動とばらつき）
考慮しているプロセス，項目，システムや環境の固有の変動．
ばらつきのために，確率的項目も使用
ばらつきは，考慮するパラメータの前後関係に対して，独立しているという点でランダムである．

KEY TERMS AND CONCEPTS(13/20)

システム理論，シミュレーション開発，V&Vのためのパラダイム① どのようにシステム理論を展開するか，② 実験，テスト，観測，データから何を引き出すか，③ どのようにシミュレーション開発が進むのか，V&Vは，どこに適用できるのかを示す．
④ システム理論，シミュレーション開発，V&Vがどのように影響し合うのか

一般的には，量のレベルを超えた原理を取り扱うとき，変動プロセスは，プロセス，項目，システム，あるいは環境をばらつきの表現に関する統計的な項目として記述する．
このようなパラメータのM&Sの表現は，通常，分布関数やルックアップテーブ
ルなどを必要とする．
ばらつきについての十分な情報を伴い，ばらつきに由来するプロセス，項目，システム，あるいは環境についての実用的な記述は，明らかにできる．

< 24 >

新しく特定するための仮説と追加のテスト，理論に対する要素の確認（もしくは否定）が必要なデータを通じて，把握し，展開することを示す．

KEY TERMS AND CONCEPTS(14/20)< 25 >

原理に対するすべての体系付けられた知識と情報の省略形
式として，システム理論は用いられる< 26 >

Verification（検証）は，使用目的に関連する
Validity referentは，使用目的によって，fidelity referentを調整する．
使用目的は，シミュレーションの概念モデルがモデルに対する要求を詳細設計プロセス内（
シミュレーションをするソフトウ
ェア，ハードウェア，ネットワー
ク，システム，装置）に変換することで，シミュレーション開発の方法を構築できる．

まず，Validity referentとして概念モデルを作成する．

幾つかの仮説は，システムデータを記
述し，シミュレーション結果をもとにした実データの制限を越えて，理論を拡張するために用いた

KEY TERMS AND CONCEPTS(16/20)

KEY TERMS AND CONCEPTS(15/20)< 27 >

概念的な検証と結果の検証は，システム理論（表現された主題を理解する）と関
連付けなければならない．しかしながら，結果検証もまた，システム理論を構築するのに利用可能なシステムデータと関連付けしなければならない．

KEY TERMS AND CONCEPTS(17/20)< 28 >

理想的なシステム理論は，完全にすべての利用可能なシステムデータと関連付けられる．
ただ，なかなか関連づけられない
結果の検証は，シミュレーション結果とシステム理論とシステムデータの両方を比較しなければならない．

KEY TERMS AND CONCEPTS(18/20)

KEY TERMS AND CONCEPTS(19/20)< 29 >< 30 >

俗説２：

シミュレーションのFidelityとValidityの定量化に対する障害シミュレーションのFidelityとValidityを定量化する取り組みを失望させる４つの検証俗説を示す．

V&Vは，V&Vへの確かな投資効果（たとえ，大きいとしても）を考えることなしに，いつも高くつくと憶測すること．
← シミュレーションの妥当性を数量化する努力を思いとどませる．
俗説３：

これらの俗説は，データとシミュレーション結果の間の合意が（１つ，もしくは
少量のサンプルサイズで，シミュレーションした状況にまったく対応していない状況）検証と同一であるという考えに基づいている．

俗説４：

俗説１：
多数の誤った結論は，シミュレーション結果が実データと関係があり，どれぐらい見せかけや偶然であったとしても，シミュレーションのFidelityやValidityを定量化することを励むことは必要ではない．

KEY TERMS AND CONCEPTS (20/20)「政治的な」要因，コストの考慮，プログラムの重要性，あるいは他への配慮がM&Sとその結果の利用方法を認める決定を占めているので，V&V
は，無意味である．

< 31 >

M&SのFidelityとValidityの定量化の永続的問題

シミュレーションの妥当性を定量化することは，考慮した多数のシミュレー
ションの変動が大きな値となるため，不可能である．
シミュレーションのFidelityとValidityを定量化することを真摯に取り組まない
ために，しばしば，言い訳としてそれらは使用されるので，本当の障害ではないので，俗説とする．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale (1/20) < 32 >題目

Science Based Nuclear Energy Systems Enabled by Advanced Modelingand Simulation at the Extreme Scale

著者

Richard I. Klein1 and Paul J. Turinsky

出典・年Working Draft

頁数

12頁

目次

-Introduction-Background for Modeling Nuclear Energy Systems-Overview of Critical Elements of V&V and Uncertainty
Quantification-Critical Issues and Challenges in V&V and UQ

概要

原子力システムのモデリングを通じて，Verification & Validation （V&V）,
Uncertainty Quantification （UQ）, Risk Quantification のためのフレームワークを提供現実の受け入れReferentデータが限定（欠落）されているか, あるいは重大な不確実を持っているとき，
M&SのFidelityとValidityを定量化する可能性は限定される現実的な見通し
シミュレーション結果の信頼性に対する根拠が不明確な場合，シミュレーションの正確さをベースにした信頼性のレベルに従い， VV&Aリソースは，限定的に支出される．

説得できるVV&A のビジネス事例の不足
VV&Aに関連したコスト（Referentデータの作成を含む）を計上する方法やその投資効果を割り出す方法に関するモデル（広く受け入れられる）を開発できなかったので，ビジネス事例についてプログラムマネジャーや意思決定者を教育することは難しい．

人材能力シミュレーションのvalidityを定量化するための統計的，論理的，数学的技術の利用に関するV&Vの人材能力について疑問がある．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(2/20) < 33 >原子力エネルギーシステムのモデリングの背景•

原子力エネルギーシステムは，創成期からシミュレーションを多用し，成功．

•

しかし，現在のシミュレーションは，マクロレベルのモデル，例えば，熱伝導のサブモデルを扱う．そのために，不確実性を扱う必要がある．

•

このシミュレーションの能力をより一層，科学的認識に基づくものにするためには，ミクロスケールのサブモデルへの展開が必要．

•

ただ，設計者は，マクロスケールの結果の把握に基づいてデザインを決定する．すなわち，マルチスケールモデリングが必要となる．

原子力エネルギーシステムでは，将来的にマルチフジィックスシミュレーションが重要な役割を担う．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(3/20) < 34 >Verification and Validation (V&V), Uncertainty Quantification(UQ) and Risk Quantificationの動機：→ 以降，VUと呼ぶ•システムの予測される応答と予測知識の不確実性に関する信頼性をシミュレー
ションパッケージのユーザに提供すること．

•

許認可機関，特にUS Nuclear Regulatory Commission（米国，原子力規制委員会）からシステムの重要特性を評価することが要求されている

VUの目的：
コンピュータシミュレーションモデルを用いて，すべてのエラー，不確実性のソースに対する信頼性，評価，関連した複雑システムの特性の不確実性の予測．
– モデリング– 数値処理マルチフジィックスとマルチスケールモデリングを支援するために，新しいVerification and Validation (V&V), Uncertainty Quantification (UQ) andRisk Quantificationが必要．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(4/20) < 35 >– 認識の不確実性 (例えば，依存関係を含んだデータの取り扱い)– 初期状態，境界条件，領域分解等

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(5/20) < 36 >VUの目的を満たすならば，有益な結果（成果）を支援する••

代替設計，運転，原子力安全を考慮したときのリスク情報に基づく意思決定と信頼性の構築Verification：•

コンピュータ・コードが正確に意図されていたアルゴリズムを実行することを確認するプロセス．

•

これは，方程式が正確に数値的に解かれることを確認するプロセス．

さらに，特定の項目を支援する― コード開発の必要性の検証― 要求された検証実験の設計と検証― 余裕を管理するための設計の意思決定

Validation：― リスク情報に基づく安全事例（規制機関へ）の提供•

コードの予測が的確に物理現象を再現しているかを確認するプロセス．

•

これは方程式が物理的に，正確であることを確認するプロセス．

VUを原子力システムに適用するチャレンジは，高い信頼性（成熟した影響要因を含める）とマクロスケールの限られた実験データが原因となって低い確率で発生する事象からなる高度な影響力のある結果を予測できると考えられる．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(6/20) < 37 >Verification： コードのVerificationは，V&Vの最も一般的
以下の方法にて，Verificationテストとテスト問題について考えることは有効．
1.

方程式は，数学的に（物理的ではなく）正しいコードで表現されているか？
テスト問題の構造，すなわち，基礎となっている論理的な原理，テスト問題がなぜ選ばれ，どのように構成されているかという重要な質問を取り扱う

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(7/20) < 38 >解のVerification： 解のVerificationは，数値エラーの定量化．
質問： 与えられた計算のエラーは何か？
複雑な計算では，完全，かつ厳格に実行することはほとんど不可能．明示的な解の検証が行われなければならない．
ただし，

2.

方程式の計算アルゴリズムは数値計算上，正しいか？
具体的なテスト問題一式，もしくはテスト問題一式として選ばれたコードの組み合
わせの具体的な意味

3.

アルゴリズムのソフトウェアへのインプリメンテーションは正しいか？
具体的な評価規準，すなわち，テスト問題をコードがパスしているか，失敗しているかどうかを決めるために用いる具体的な基準．評価は客観的，かつ厳格で，文書化されなければならない．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(8/20) < 39 >解のVerification： 計算と実験データとの比較において存在している数値エラー

形式的なエラー評価の手続きやテスト問題一式からの推論，以前の経験（すなわち判断）からの推論（考えようによっては，少し危険）

明示的な打ち切り，ロバスト性，収束性の検査によって，部分的，かつ現実的に取り扱われる．もし，適切に理解し，把握され，提示されているなら，過去の経験は価値がある．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(9/20) < 40 >Validation
実験のValidation

基本的な質問： 実験データとの比較において，数値エラーは，致命的で，かつ改•実施済の実験とValidationの計算の間の整合性を合わせ込むために
Validationの厳密な仕様（規格）をテストする．

•

実験のV&V

悪する結果を促すか？
この問いに対する認識がないときには，実験データとの比較は無意味である．
キーとなるプロセス：
1.

事後のエラー評価，

2.

収束性調査，

3.

数値エラーモデル，4.

数値エラーを認識の（「知識の欠如」）不確実性として，取り扱うための不確実性の定量化手法．

－実験のVerificationは，実験が正確に実施されたことを確認する（プロセス）．
－実験のValidationは，正しい実験が実施されたことを確認する（実験そのもの）．
実験データがValidationの品質でないとき，Validationの効果は弱められる．

実験サイドでも，最高品質の実験データを提供するために，VerificationとValidationを受けること．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(10/20) < 41 >Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(11/20) < 42 >実験のValidation

実験のエラーバー•

Validationの計算のためには，計算のVerification性能（能力）がかぎ•

測定/計算による予測の比較の定量化（定量化した不確実性を含む）••－ 実験的な不確実性を含む実験エラーバー－ Uncertainty Quantification（UQ）によって不確実性が確定した計算の不確実性を含む計算エラーバー

実験のエラーバーの構成要素は，例えば，－実験のバイアス－変動－その他の様々な要因
実験のエラーバーは，例えば，

Validationの計算•

コードの物理的な質 / 物理的な正確さ / 予測する能力を評価するための計算．

•

計算の物理的な正確さを推定するための実験データのValidationの質と比較．

•

Validationの計算と比較される実験データは，Validationの計算効果を上げる
ために，定量化された実験的な不確実性，再現性，実験データのロバスト性を含む．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(12/20) < 43 >Uncertainty Quantification

実験のエラーバーは，実験のUncertainty Quantification (UQ)のためのもの．
実験と計算の比較をし，推定するためのスタートポイント．

大規模シミュレーションのUQは，コードのV&V
プロセスにおいて，重要な位置付け

シミュレーションの不確実性と実験の不確実性－ガウス分布の代表値－統計的な信頼区間－一様分布表現－可能性区間 など
Validationの比較から厳密に推定し，実験のエラーバーを把握することが必要．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(13/20) < 44 >Uncertainty Quantification

リスクは，経済リスク，健康リスク，企業に関連するリスクなど

UQとリスク， UQは，広義の意味でリスクを含む．
UQは，以下に影響を与える．

シミュレーションが実験結果に対して，定量的に検証できるなら，以下のことが重要になる．
－計算の出力測定基準から予想される不確実性の把握と認識－リスクの定量化のためのシステムの応答測定基準の不確実性－リスクに対する応答測定基準－実験の出力測定基準に関するエラーバーの定量的な判断
リスクモデルは，それ自身の不確実性のことである．
「実験の不確実性 ＜ シミュレーションの不確実性」のとき，シミュレーションの真の正確さを評価することができる．

従って，システムの応答測定基準の確率分布は，リスク測定基準の確率分
布が畳込みこまれたものが要求される．

実験の不確実性のエラー評価は，コントロール可能なパラメータを伴った実験全体に対して行い，既知のシステムエラーを把握する．
従って，UQには，リスクの不確実性を含める．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(14/20) < 45 >Uncertainty
Quantificationの決定
１．シミュレーションの不確実性の
既知の原因を確認•••••

マルチフィジィックス，マルチディメンション
コード：
パラメータ数が膨大，要素（領域）間の全ての組合せに対する不確実性のテストは指数的に複雑．

物理的，数学的アルゴリズムに基づいた近似モデルに関連する不確実性
物理モデルで用いられているパラメータ設定に関連する不確実性
個別のアルゴリズムを安定的に実行させるための設定
不明瞭なテーブル，状態テーブルの平均化（方程式）などの様々なレベルに関連する不確実性与えられたステップ幅にてシミュレーションを実行したときの収束性に関連す
る不確実性

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(16/20) < 47 >

ー
ラメ
パ

タ
構造

出力測定基準の有力な要因となる不確実性の要素（アルゴリズム，近似，
パラメータ等）を特定するために，感度分析を繰り返す．これは，事前に決まらないので，演繹的でない．

•

不確実性の要素を除去するための感度分析を行う．このため，物理モデルとなる物理的，数学的なリーズナブルなパラメータの組み合わせ（物理的，数学的に妥当な限界）を把握．

•

この把握と決定は，膨大な数の試行の取り組み（努力）と実験，分析的な解
析，科学的な判断から得られる知識にもとづき定量化される．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(17/20) < 48 >

似
度

1.

大規模シミュレーションの出力（特に，出力が入力の高度な非線形関数のとき）において，不確実性をコントロールするコード内で，支配的な感度を確定できるアプローチは開発できるか．

2.

出力の不確実性のコントロールに支配的な感度を確定することにおいて，これらのアプローチはどのように互いを比較するか．

3.

大規模シミュレーションの出力測定基準内で，全ての不確実性予測を決定するシミュレーションを通じて，多数の不確実パラメータ（N>>10）と関連付けられた不確実性を広めるアプローチはどのようなものか．不確実性の空間次元が高次で（すなわち，N>>10），コードの計算コスト（実行コスト）が非常に高いとき，計算効率のよい方法は得られるか．

4.

どのようなアプローチで高次元のUQ空間の次元を （例えば，「高次元の呪い」）を減らすことができるか．

5.

物理モデルのコードパラメータセッティングの入力確率密度関数は，コードの出力測定基準に対する最終的な不確実性にどれくらい影響を与えるか．

体
流
熱

性

近

•

Uncertainty Quantificationのチャレンジ
材
料

子

物
理
モ
デ
ル

２．シミュレーションコードのために，すべての確実なパスを確認

中

物理コードに基づくパラメータ，
物理モデル，近似度などの要素で構成されたN次元空間にて，
コードの物理モデルに対するパ
ラメトリックな変動要因の感度評価を行えば，これらの要因の不確実性を指し示すことができる．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(15/20) < 46 >(a) コードの構成要素(b) 物理要素

N次元空間に割付けられた相互関係は，次元を減らす可能性を含んでいる．
代表的なシミュレーションの組合せにて，全次元の不確実性に対して全てのN次元空間をサンプリングすることが重要（必須）である．

次元が大きい場合（N＞１０）には，標準的なサンプリ
ング技術（モンテカルロ）ではカバーできない．これを解決するための技術開発が必要．

特定可能な全ての不確実性とそれらの相互作用

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(18/20) < 49 >Uncertainty Quantificationのチャレンジ
6.

7.

不確実性の次元Nの任意の数に対して，コードシミュレーションの出力の不確実性を求めるために，どの程度のサンプリング回数（計算回数）が必要
か．また，与えられたサンプリング回数（不確実性の次元の任意数をカ
バーする）にて，出力の不確実性の正確さをどのように定量化できるか．
どのような技術が完全なモデルの集合（全てに適した既知の実験データ）
であるかどうかを決定することができるか．

8.

V&V，UQの方法をどうするか．

9.

UQの別の方法論により決定した場合，定量的に決定した出力の不確実性はどのように比較するのか．

10. UQの方法をテストするために用いる実験を設計することができるか．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(20/20) < 51 >Uncertainty Quantificationのチャレンジ
16. マルチスケール問題のスケールを通じて不確実性を広める方法は．
17. マルチフィジィックス問題（線形・非線形物理応答の組み合わせ）の計算
的，効率的にアドバンテージを得る方法は．
18. 動的要素の連続を用いたときの確率的リスクアセスメント（PRA）のために，UQを完了（終了）する方法は．
19. どのような問題（特別問題）が，UQ分析を1018スケールのアーキテクチャに拡張すべきか．なお，106スケールのシミュレーション集合の場合には，実行可能で，UQ分析に関係するデータセットは膨大になる．
20. シミュレーションが進展していくにつれて，不確実性を積極的に広めるための今後のコード開発はどのようにすればよいか．

Science Based Nuclear Energy Systems Enabled by Advanced
Modeling and Simulation at the Extreme Scale(19/20) < 50 >Uncertainty Quantificationのチャレンジ
11. 既存のテストの方法論で，コードシミュレーションにとって適した方法がない場合には，コードの出力測定基準の不確実性を確定するためにUQの方法論の信頼性を計測できるか．
12. UQと感度分析のために，競争力のある方法論で，公正なテストであることを示すベンチマーク問題はあるか．
13. 偶然性の不確実性，認識の不確実性，両者が組み合わさった不確定性の普及と収集のための実用的な方法論は何か．
14. パラメータや別のソースが過渡問題に依存した不確実性を示すときに，
UQはどのように完了（終了）するか．
15. 弱連成の物理パッケージ（オペレーションを分割する典型的なアプロー
チ）を通じて，効率的に不確実性を広める方法は．