2009/09/11 第２回HQC分科会

ASME V&V関連資料-Experimental Data Requirements for Validation-Benchmarks-A Posteriori Error Estimation

慶應義塾大学 理工学部
システムデザイン工学科 小國健二
機械工学科
高野直樹

“ASME V&V 10-2006 Guide for Verification and Validation in Computational
Solid Mechanics”（以下のURLから購入可）を理解するために、関連資料（PTC60委員会技術レポート）の解説をシリーズで行う。
http://www.asme.org/-> search “V&V”
http://catalog.asme.org/Codes/PrintBook/VV_10_2006_Guide_Ve
rification.cfm

1ASME V&V関連資料 今年度計画
回数日付

内
ASME V&VNAFEMS

第１回目

2009年6月26日 QMS紹介（吉田）第２回目

2009年9月11日 資料紹介（中村）第３回目

2009年11月10日

第４回目

2010年1月頃

第５回目

2010年春技術基準紹介（越塚）

容
企業事例

その他−−

文献紹介(1), (2), (3)講演（２件）（小國、高野）文献紹介(4), (5), (6)（長谷川）
文献紹介(7), (8), (9)（渋谷）
未定ASME V&V文献 (1) Benchmarks (J.T.Oden)(2) A Posteriori Error Estimation (April 2002) (J.T.Oden)(3) Experimental Data Requirements for Validation(4) Key Terms and Concepts(5) Role of Non-determinism in Verification and Validation of Computational
Solid Mechanics Models (July 2001) (B.Thacker and T.Hasselman)(6) Uncertainty関連文献(7) Calibration in Computational Mechanics (H.U.Mair)(8) Constitutive Model Verification and Validation (May 2001) (L.Schwer)(9) Constitutive Model V&V for Softening Materials (July 2001) (D.Simons)(10) Method of Manufactured Solutions: Demonstrations (August 2002) (L.Schwer)

ASME V&V 10-2006 “Guide for Verification and Validation in Computational
Solid Mechanics”に関連した文献(1)〜(10)の内、(1)〜(9)を３回にわたり解説する。今回は、Validationのための実験・計測方法に関する文献(3)と、数理モデル・離散化された数式・code verificationに関わる２つの文献(1), (2)を解説する。
これらの文献は以下のURLからダウンロードできる。
http://www.usacm.org/vnvcsm/2

V&V Fig.4

物理現象
概念的モデル
物理的モデル化

数学的モデル化

数理モデル

物理モデル

離散化して実装

Code Verification

離散化された数式

予備計算

計算

Calculation Verification

計算結果

実験のデザイン実験

計算の生データ
不確定性の定量的評価

実装

実験データ
Validation
定量的比較

不確定性の定量的評価

実験結果

ASME V&V 10-2006の図４を和訳して示す。実験・計測に関する文献(3)は図右側のフローを中心にモデル化を行う側との連携体制についても触れている。文献(1),(2)は図左側のフローにおける数理モデル・離散化された数式・codeverificationの部分に関するものである。

3

V&V Fig.5
概念的モデル

数理モデル

Code Verification

計算アルゴリズム

計算コード
物理パラメータ

離散化パラメータ

計算モデル
Calculation Verification

計算結果

ASME V&V 10-2006の図５を和訳して示す。文献(1),(2)は数理モデル・計算ア
ルゴリズム・code verificationの部分に関するものである。

4

Experimental data requirements for validation (1/7)
題目

Experimental data requirements for validation

著者記載なし

出典・年

記載なし

頁数2頁

目次

-Background-Experimental Requirements-Precision Tests-System and Subsystem Tests-Measurement Requirements-Coordination with Modelers

概要

計算モデルと比較するための実験手順、計測方法の諸注意を整理している。また、実験者とモデリングを行う解析者との協力体制にも軽く触れている。

文献(3)について、題目、頁数、目次と概要をまとめる。概要に述べた通り、実験手順、計測方法、実験者と解析者の協力体制の３点について以下説明する。

5

Experimental data requirements for validation (2/7)
実験手順
Precision Tests

System & Subsystem Tests

・精度検証用の基礎試験
・解くべき方程式（初期値・境界値問題）の妥当性の検証・関心ある実対象との比較・検証入力

入力

試験片形状
初期条件
境界条件
材料特性正確に記述されていること。そのために文献値を参照するのではなく、(予備)試験で求め、材料特性はばらつきが少ないこと。

・(対象や現象の)複雑さ・寸法(例えば巨大システム)すべての実験条件を知ることは不可能であることが多い。
荷重条件、拘束条件や形状、応答の不確定性が含まれる。

実験手順は、”Precision Tests”と”System & Subsystem Tests”の２段階より成る。
”System & Subsystem Tests”が関心ある実対象との比較・検証の実験であるのに対し、”Precision Tests”は、精度検証用の基礎実験であり、解くべき方程式（初期値・境界値問題）の妥当性の検証を行うものである。それぞれ入力項目の観点で対比して述べる。”Precision Tests”では、試験片形状、初期条件、境界条件、材料特性は正確に記述されていなければならない。特筆すべきこととして、そのために文献値を参照するのではなく、（予備）実験で求めること、そして材料特性はばらつきが少ないことが要件となると述べられている。一方、”System &Subsystem Tests”では、すべての実験条件を知ることは不可能であることが多い。その理由は、対象や現象の複雑さ、あるいは大型建築物など巨大システムなどでは研究室サイズの実験とは異なるためである。荷重条件、拘束条件や形状、応答の不確定性が含まれる。

6

Experimental data requirements for validation (3/7)
Precision Tests

System & Subsystem Tests

計測および計算との比較

計測および計算との比較

・既に精度が確認された計測法を使うこと。
・実験途中で荷重条件・拘束条件が変化する場合、それを計測し、計算モデルに反映させ、計算モデル上の仮定をなくす(または減らす)こと。

・試験条件・パラメータのばらつきの範囲をカバーする確率的シミュレーションを行うことが望ましい。

・単一の試験ではなく、徐々に複雑さを増した複数の試験を行うべき。
・パラメータに対する感度を考察できるように実験すること。

・計測の際は、システムの性能や成否を決める物理量を含む複数の物理量を計測すること。
決して計測しやすい物理量の計測だけにとどまらないよう。

また、計測および計算との比較方法という観点で”Precision Tests”と”System &Subsystem Tests”を比較して述べる。”Precision Tests”では、既に精度が確認された計測法を使用すること、実験途中で荷重条件や拘束条件が変化する場合には、それを計測し、計算モデルに反映させ、計算モデル上の仮定をなくす、あるいは減らすことが必要である。さらに単一の実験ではなく、徐々に複雑さを増した複数の実験を行うべきであると述べている。また、パラメータに対する感度を考察できるよう予め計画して実験することが肝要である。一方、”System &Subsystem Tests”では、試験条件やパラメータのばらつきの範囲をカバーする何らかの確率論的なシミュレーションを行うことが望ましい。ここで、計測の際の注意事項として、システムの性能や成否を決める物理量を含む複数の物理量を計測することが必要であり、決して計測しやすい物理量の計測だけにとどまらぬようにすべきである。

7

Experimental data requirements for validation (4/7)
計測方法
・センサのキャリブレーションと、非線形性・再現性・ヒステリシスに関連した精度低下に関するドキュメントをチェックすること。
・センサの環境因子による影響に留意すること。
例）温度補正（高温、実験中の温度変化など）、拘束部の状態・計測方法の精度をデモンストレーションする追加試験は有益。
・試験結果のばらつきを考慮するため冗長な計測が必要である。
→ 複数回の試験実施
対称性がある場合には類似センサを別の場所にも設置
独立性の高い複数の物理量を計測する（応力と速度など）
・システムの性能・成否判断には２次的な物理量も計測し、計算と比較・検証することにより、１次的な重要な物理量の予測精度を裏付けることが重要である。
・１点の物理量だけでなく複数点の計測を行い、場(分布)を評価すること。

次に、計測方法についての注意点をまとめる。最初に、センサのキャリブレーシ
ョンに関するドキュメントや、非線形性・再現性・ヒステリシスに関連した精度低下に関するドキュメントをチェックし、センサの温度環境などの因子による影響にも留意することがあげられる。その他には、拘束部の状態が完全に固定されているとはいえないなどの環境にも留意すべきと述べられているのが興味深い。また、計測方法の精度をデモンストレーションする追加試験は有益と述べられているが、そこまで実験を行うのは大変ではある。次に、試験結果のばらつきを考慮するため、以下のような冗長な計測が必要であると述べられている。すなわち、複数回実施してN数を増やすだとか、形状・現象に対称性がある場合には、１つのセンサを用いるだけでなく、同じ値が得られるはずの対称の位置に類似センサを設置するなどの方法も有効であり、また応力と速度といった独立性の高い複数の物理量を計測することが求められる。最後に、システムの性能・成否判断に直接かかわる１次的な重要性の高い物理量だけでなく、２次的な物理量も計測し、計算と比較・検証することにより、１次的な物理量の予測精度の裏付けになること、そして１点の物理量の計測にとどまらず複数点の値を計測し、分布を評価すること、が述べられている。シミュレーションでは、理論で予測がつかない分布を求めることができるのが特徴であるので、validationにおいても分布を計測すべきという意見には賛成である。

8

Experimental data requirements for validation (5/7)
実験者と解析者との協力体制
・実験では簡単・当たり前のことが、計算モデリングではそうでないことがある。その逆もしかり。このことをお互いに認識しておく。
例）計測の容易さ、計算での予測の容易さ
・モデリングする解析者は、荷重条件・拘束条件に関すること以外は、事前に実験結果を聞かないこと。（入力項目で結果も調整できてしまうから）

・V&V手順を実験者・解析者が協力して計画する！
・解析者は実験計画も立てられる素養を身につける！
・解析者は、不一致の原因やばらつき等を考察するために実験に立ち会って現象を確認すべきで、実験計画を立てたら先にモデリング・計算を完了させる！ 〔Fig.4は時系列的には並列ではない〕

また、実験する者とモデリング・解析を行う者との協力体制についても触れている。どういった物理量が計測しやすいだとか、実験では簡単・当たり前のことが、計算ではそうでないことがあり、またその逆もしかりである。このことをお互いに認識しておくことがまず必要である。そして、モデリングを行う解析者は、荷重条件・拘束条件に関すること以外は、事前に実験結果を聞かないようにして、入力項目を調整して結果を誘導しないように注意しないといけない。こういったことから、V&V手順は、実験者と解析者が協力して計画することが必要で、解析者は実験計画も立てられるような素養を身につけるべきである。どのような計測法や計測装置があるかも知っておくことが望ましいと考える。解析者は、不一致の原因やばらつき等を考察するためには実験に立ち会って現象を確認すべきである。
ただし実験計画を立てたら先にモデリング・計算を完了させないといけないから、ASME V&V資料の図４は時系列的には並列ではないといえよう。

9

Experimental data requirements for validation (6/7)
ASME V&V 10-2006資料との対応
2. Introduction

2.5.2 The Experimental Branch『実験の準備を観察することによって、モデリングを行う解析者はしばしば仮定の間違いに気づくことがある』

2. Introduction

2.6.2 Selection of Response Features

システムの性能・成否判断に関わる１次的な物理量の選定について

5. Validation 5.1 Validation Experiments
5.1.1 Experiment Design 〔実験手順、入力、実験者との協力体制〕『重要な入力変数が未知(不可測)の場合は、現実的な範囲で変数を変化させて解析をしなければならない。（中略）それでも合わなければ実験者が未知変数のとりうる範囲を定めるしかない。』

今回紹介した文献(3)が、ASME V&V 10-2006資料のどこに反映されているかをまとめる。文献(3)では述べられていなかったコメントも追加されており、その主だった記述を抜粋する。前頁のスライドで考えを述べた通り、実験の準備を観察することによって、モデリングを行う解析者はしばしば計算上の仮定の間違いに気づくことがあると2.5.2に追記されている。また、5.1.1では、重要な入力変数が未知あるいは不可測の場合には、現実的な範囲で変数を変化させて解析をしなければならないと述べられた後に、それでも計算結果と実験結果が合わなければ、実験者が未知変数のとりうる範囲を定めるしかない、と記述されているが、これは実験者だけに任せているだけでは不十分と考えられる。

10

Experimental data requirements for validation (7/7)
ASME V&V 10-2006資料との対応
5. Validation 5.1 Validation Experiments
5.1.2 Measurement Selection 〔計測方法〕『直接計測が望ましい。
例）速度を知るのに、加速度の測定値の積分や変位の測定値の微分よりも速度を直接計測することが望ましい。』

計測装置の測定原理を知るべき！
5.1.3 Sources of Error 〔計測方法〕『実験手順（治具などの器具やその時の使用法等）、キャリブレーション、使用センサ取り付け等の詳細なレポートがモデリングに必要。』

5.1.4 Redundant Measurements〔計測方法〕

また、5.1.2では、速度を知るのに加速度の測定値の積分や変位の測定値の微分を行うのではなく、速度を直接計測することが望ましいことが述べられている。
最近の計測装置は、直接的に物理量を計測するばかりでなく、データ加工して提示するものが多く、計測装置の測定原理を知るべきであると考える。5.1.3では、実験を行った場合のレポートには、治具などの器具やその時の使用法などを含む実験手順、キャリブレーション、使用センサの取り付け方法などを含む詳細なレポートがないと、モデリングができないことが追記されている。
最後に、本文献では、ASME V&V 10-2006の図４の右側のフローについて、物理モデルをどのように構築するかは述べられていないが、ここが実は重要である。ここには統計モデルを加えるべきであると考えられ、今後議論が必要である。
また、書かれた事項を忠実に実施するとコストが膨大にかかる。あくまで注意点を網羅しつつ整理した資料と考え、実験結果と計算結果が合わない場合のチェックリストとして利用するには便利である。

11

V&V Fig.4

物理現象
Error Estimateによる Verification≠ Code Verification (Oden)

概念的モデル
物理的モデル化

数学的モデル化

数理モデル

物理モデル

離散化して実装

Code Verification

離散化された数式

予備計算

計算

Calculation Verification

計算結果

実験のデザイン実験

計算の生データ
不確定性の定量的評価

実装

実験データ
Validation
定量的比較

不確定性の定量的評価

実験結果

V&VのFig.4のCode Verificationの部分は、更に詳細に分けることが出来る。

12

V&V Fig.5
概念的モデル
Error Estimateによる Verification≠ Code Verification (Oden)

数理モデル

離散化された数式
Code Verification

計算アルゴリズム

計算コード
物理パラメータ

離散化パラメータ

計算モデル
Calculation Verification

計算結果

偏微分方程式が「離散化された数式」、これを解くための「計算アルゴリズム」を実装したものが、「計算コード」である。
Code Verificationでは、「計算コード」が正しい「数理モデル」に対応しているかをチェックしようとしているが、Odenの考えでは、計算コードに実装する前の、偏微分方程式の離散化の過程で生じる誤差を定量的に見積もることも、Verificationの重要なステップである。この考えには賛成できる。

13

Benchmarks (1/5)
題目Benchmarks

著者

J. T. Oden

出典・年記載なし

頁数

6頁

目次なし （あえて作れば）-Benchmark のカテゴリーわけ-Benchmark problems のデザインの原則

概要

計算コードのVerificationのためのBenchmarkのカテゴリーと、Benchmarkでチェックすべき事柄を整理している。

文献(1)について、題目、頁数、目次と概要をまとめる。概要に述べた通り、計算コードのVerificationのためのBenchmarkのカテゴリーと、Benchmarkでチェックすべき事柄について以下説明する。

14

Benchmarks (2/5)
カテゴリー分類
・Code-to-Code Comparisons of Code Performance
同じ問題を同じ計算機上で異なるコードで解く。
同じ問題を同じコードで異なる計算機上で解く。
計算速度，計算結果を比較。
・ Code-to-Code Comparisons Versus Verified Code
検証済みのコードとその他のコードの計算結果を比較。
・ Comparison of Code Predictions to Results of Physical Experiments
計算結果と実験結果の比較。(これはValidation?)・ Comparison of Code Results to Analytical or Highly Accurate Solutions
解析解か，非常に細かいメッシュで計算した計算結果をリファレンスとした比較。

Benchmarkは４つのカテゴリーに分類される。
Code-to-Code Comparisons of Code Performanceは、同じ問題を同じ計算機上で異なるコードで解く、あるいは同じ問題を同じコードで異なる計算機上で解く。
そして計算速度、計算結果を比較する。
Code-to-Code Comparisons Versus Verified Codeは、検証済みのコードとその他のコードの計算結果を比較する。
Comparison of Code Predictions to Results of Physical Experimentsは、計算結果と実験結果の比較をする。しかし、これはむしろ計算結果のValidationに近い。
Comparison of Code Results to Analytical or Highly Accurate Solutionsは、解析解か，非常に細かいメッシュで計算した計算結果をリファレンスとした比較である。

15

Benchmarks (3/5)
各カテゴリーに分類されるBenchmark Testの欠点
・Code-to-Code Comparisons of Code Performance
Verificationとは無関係。
・ Code-to-Code Comparisons Versus Verified Code
まったく無意味ではないが得られる情報はほとんどない。
検証済みのコードよりも良い結果を出す問題を持ってくることもできるし、その逆もある。
・ Comparison of Code Predictions to Results of Physical Experiments
最悪。コードの問題かモデルの問題かの切り分け不可能。
・ Comparison of Code Results to Analytical or Highly Accurate Solutions
少しは、ましだが完璧ではない。何を比較すれば正しくVerifyされたと言えるのか・・・。

各カテゴリーのBenchmark Testの欠点を以下にまとめる。
Code-to-Code Comparisons of Code Performance
これは、Code Verificationとは無関係である。
Code-to-Code Comparisons Versus Verified Code
まったく無意味ではないが得られる情報はほとんどない。
検証済みのコードよりも良い結果を出す問題を持ってくることもできるし、その逆もある。
Comparison of Code Predictions to Results of Physical Experiments
コードの問題かモデルの問題かの切り分けが不可能であり、Benchmark Testとしては最悪である。
Comparison of Code Results to Analytical or Highly Accurate Solutions
少しは、ましだが完璧ではない。何を比較すれば正しくVerifyされたと言えるのかが明確ではない。

16

Benchmarks (4/5)
Benchmark Problemsのデザインの原則
・Failure
Benchmark は計算コードの限界を示すものでなくてはならない。
・ Convergence
計算結果の収束性は重要な観点である。
Benchmarkを通して、計算コードの収束速度が、メッシュサイズ、内挿関数の次数、時間ステップ、荷重ステップなどにどのように依存するかを確認しなくてはならない。
・ Local Behavior, Diffusion, Propagation
モデル内の任意の点の物理量、数値拡散と本当の拡散、波動伝播スピード、分岐や局所化のメッシュ依存性、などがBenchmarkのデザインでは大事。
・ Model Limitation
Benchmarkはモデルの限界を示すものでなくてはならない。

以上を踏まえた上で、Benchmark Problemsのデザインの原則を述べる。
いずれも、常識的なものではあるが、Failure
Benchmark は計算コードの限界を示すものでなくてはならない。
Convergence
計算結果の収束性は重要な観点である。Benchmarkを通して、計算コードの収束速度が、メッシュサイズ、内挿関数の次数、時間ステップ、荷重ステップなどにどのように依存するかを確認しなくてはならない。
Local Behavior, Diffusion, Propagation
モデル内の任意の点の物理量、数値拡散と本当の拡散、波動伝播スピード、分岐や局所化のメッシュ依存性、などがBenchmarkのデザインでは重要である。
Model Limitation
Benchmarkはモデルの限界を示すものでなくてはならない。

17

Benchmarks (5/5)
ASME V&V 10-2006資料との対応
4.Verification
5. Validation
2つの章全体の背景に、正しいBenchmark とは，という考え方がある。

以上、文献(1)の概要を見てきたが、ASME V&V 10-2006の資料とは明確な1対1対応がとれる記述は無い。
関連がある項目は4章、5章であるが、直接的記述より、むしろ、背景となる考え方を提示するといった位置づけである。

18

A posteriori error estimation (1/5)
題目

A posteriori error estimation

著者

J. T. Oden

出典・年

Verification and Validation in Computational Solid Mechanics, Editedby Hans Maier, ASME/USACM Standards・2002年4月

頁数7頁

目次

-Global Error Estimates-Local Estimates and Errors in Quantities of Interest-The Role of A posteriori Error Estimation in Verification-Summary and Recommendation

概要

帰納的誤差解析の概要と、Verification における役割を述べている。

文献(2)について、題目、頁数、目次と概要をまとめる。概要に述べた通り、帰納的誤差解析の概要と、Verification における役割について以下説明する。

19

A posteriori error estimation (2/5)
Global Error Estimates
・計算領域全体の積分で定義される適切なノルム（主にＬ２ノルム）を用いて誤差を評価する手法について述べている。
・ 計算結果の後処理により、全体の誤差に対する各要素の寄与を定量的に評価。
・ 各要素の計算結果は全体の計算結果の影響をうけているが、各要素の誤差への寄与をベースとして、メッシュ最適化が行われる。

Global Error Estimatesについての記述は、教科書的かつ外観的内容である。
通常のアメリカの大学の大学院の固体計算力学の講義の流れに沿い、最初に、計算領域全体の積分で定義される適切なノルム（主にＬ２ノルム）を用いて誤差を評価する手法について述べている。次に、計算結果の後処理により、全体の誤差に対する各要素の寄与を定量的に評価すること（簡単に出来るのはこれくらいであること）が述べられ、最後に、各要素の計算結果は全体の計算結果の影響をうけているが、各要素の誤差への寄与をベースとして、メッシュ最適化が行われることを述べている。
普通のメッシュ最適化の流れについての概要説明である。

20

A posteriori error estimation (3/5)
Local Estimates and Errors in Quantities of Interest
・Global Error Estimateでは、境界値問題を解いて得られる変位のノルム（Ｌ２ノルムなど）を用いて誤差を評価していたが・・・。
・ 変位の関数として得られる他の物理量（例えば応力のある成分のある表面における平均）について変分問題を設定し、この変分問題の厳密解と数値解の間で誤差評価を行い、”Errors in Quantities of Interest” を評価することが求められており、最近の誤差解析のトレンドである。

最近（この資料が書かれた当時、2002年）のはやりとして、Global Error Estimate
を、変位のL2ノルムについて行うのではなく、他の物理量について行う流れがあることについて説明している。

21

A posteriori error estimation (4/5)
The Role of A posteriori Error Estimation in Verification
物理現象

数理モデル
Error Estimateによる Verification
離散化された数式
Code Verification
近似解

以上を踏まえた上で、帰納的誤差解析のVerificationにおける役割を明確に示している。
前に述べたように、OdenはVerificationを2段階の過程と捉え、Error Estimateは数理モデルから離散化された数式を得る過程の「正しさ」を評価するための手法と位置づけている。

22

A posteriori error estimation (5/5)
ASME V&V 10-2006資料との対応

4.2 Calculation Verification
4.2.1 A Posteriori Error Estimation
4.2.2 Potential Limitation

以上、文献(2)の概要を見てきたが、ASME V&V 10-2006の資料の4.2に、文献(2)の内容は色濃く反映されている。

23