(57)【要約】【課題】評価装置、評価方法及び評価プログラムにおいて、評価対象の空間の状況にかかわらず、複数の領域分割数を用いて評価対象の空間の網羅性の評価を適切に行うことを目的とする。【解決手段】複数のパラメータを用いる非ランダムな関数から、夫々が複数の値を持つ複数の実験点を含む時系列の入力データ群を生成し、前記入力データ群に対し、前記入力データ群の実験点の次元に対応した評価対象の空間を異なる複数の領域分割数で分割した分割領域の夫々について、実験点の存在の有無から網羅性指標を算出し、前記複数の領域分割数での前記網羅性指標に基づき、前記複数のパラメータを評価する。【選択図】図３４
2019159822.tif 000002
【特許請求の範囲】
【請求項１】
複数のパラメータを用いる非ランダムな関数から、夫々が複数の値を持つ複数の実験点を含む時系列の入力データ群を生成する生成処理と、
前記入力データ群に対し、前記入力データ群の実験点の次元に対応した評価対象の空間を異なる複数の領域分割数で分割した分割領域の夫々について、実験点の存在の有無から網羅性指標を算出する算出処理と、
前記複数の領域分割数での前記網羅性指標に基づき、前記複数のパラメータを評価する評価処理と、
をコンピュータに実行させるための評価プログラム。
【請求項２】
前記算出処理は、
与えられた前提条件に含まれる、実験計画で用いる実験点数及び入力データ数を元に、次式に従って領域分割数Ｄ１，Ｄ２を決定し、
【数３】
2019159822.tif 000013
領域分割数Ｄ２＝領域分割数Ｄ１−１
【数４】
2019159822.tif 000014
前記前提条件に含まれる、非最適化対象である関数パラメータ、周波数変動の角周波数の制約及び実験時間を元に最適化問題を作成し、
前記領域分割数Ｄ１，Ｄ２の夫々で算出した網羅性指標値の平均値から求めた前記最適化問題の目的関数値が一定以上となるように前記最適化問題を解き、
最適解を使用して前記実験計画を作成し、当該実験計画から前記最適化問題の解を求める、
領域分割数の決定処理を含むことを特徴とする、請求項１記載の評価プログラム。
【請求項３】
前記算出処理は、
Ｍを３以上の自然数に設定して領域分割数＝Ｍ，Ｍ−１を求め、
与えられた前提条件に含まれる、非最適化対象である関数パラメータ、周波数変動の角周波数の制約及び実験時間を元に、最適化問題を作成し、
前記領域分割数＝Ｍ，Ｍ−１で算出された複数の網羅性指標値のうち、領域分割数の大きい方の網羅性指標値から前記最適化問題の目的関数値を求め、閾値Ｔから、前記算出された複数の網羅性指標値のうち、領域分割数の小さい方の網羅性指標値を減算した差から前記最適化問題の制約関数値を求め、前記制約関数値が基準値以下の条件で前記目的関数値が一定以上となるように前記最適化問題を解き、
最適解を使用して実験計画を作成し、
作成した前記実験計画について、前記領域分割数＝Ｍ，Ｍ−１のときの網羅性指標ＣＭ，ＣＭ−１を算出し、ＣＭ−１≧Ｔ、かつ、ＣＭ≧Ｔでないと、作成した前記実験計画から前記最適化問題の解を求める、
領域分割数の決定処理を含むことを特徴とする、請求項１記載の評価プログラム。
【請求項４】
複数のパラメータを用いる非ランダムな関数から、夫々が複数の値を持つ複数の実験点を含む時系列の入力データ群を生成する生成手段と、
前記入力データ群に対し、前記入力データ群の実験点の次元に対応した評価対象の空間を異なる複数の領域分割数で分割した分割領域の夫々について、実験点の存在の有無から網羅性指標を算出する算出手段と、
前記複数の領域分割数での前記網羅性指標に基づき、前記複数のパラメータを評価する評価手段と、
を備えたことを特徴とする、評価装置。
【請求項５】
コンピュータにより実行される評価方法であって、前記コンピュータが、
複数のパラメータを用いる非ランダムな関数から、夫々が複数の値を持つ複数の実験点を含む時系列の入力データ群を生成し、
前記入力データ群に対し、前記入力データ群の実験点の次元に対応した評価対象の空間を異なる複数の領域分割数で分割した分割領域の夫々について、実験点の存在の有無から網羅性指標を算出し、
前記複数の領域分割数での前記網羅性指標に基づき、前記複数のパラメータを評価する、
ことを特徴とする、評価方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、評価装置、評価方法及び評価プログラムに関する。
【背景技術】
【０００２】
各種装置の開発期間及び開発コストを削減するために、モデルベース開発が行われている。モデルベース開発では、開発対象（又は、モデル化対象）である実装置を再現するモデルを用いる。例えば、自動車のエンジンのＥＣＵ（Engine Control Unit）を開発する場合、エンジンのモデルを用いる。
【０００３】
モデルの種類には、開発対象の定常状態を表現する定常モデルと、開発対象の過渡応答を表現する過渡モデルとがある。また、モデルの作成方法には、ホワイトボックスモデリングと、ブラックボックスモデリングと、グレーボックスモデリングとがある。ホワイトボックスモデリングは、開発対象の挙動を表現する物理式に基づいてモデル化を行う。ブラックボックスモデリングは、開発対象の実データ、即ち、入出力データに基づいてモデル化を行う。グレーボックスモデリングは、ホワイトボックスモデリングとブラックボックスモデリングの組み合わせでモデル化を行う。
【０００４】
ブラックボックスモデリングは、システムの全体又は一部の構造が不明の場合等に、実測された入出力データからモデルを推定（「システム同定」とも言う）するのに用いられる。例えば、過渡モデルのブラックボックスモデリングの場合、複数の時系列の入出力データを用いてモデルを作成する。この場合、入力データの網羅性が低いと、精度の低いモデルが作成される可能性があるため、入力データの網羅性は高い方が望ましい。精度の低いモデルとは、実装置を正確に再現できていないモデルのことを言う。従って、網羅性が高くなるように入力データ（「実験計画」とも言う）を決定することが望ましい。
【０００５】
開発対象がディーゼルエンジンの場合を例にとると、周波数が時間変化する正弦波を用いた実験計画が知られている。チャープ信号（Chirp）は、周波数が時間変化する正弦波の一例であり、角周波数をω、時間をｔで表すと、例えばｃ＝ｓｉｎωｔ２で表される。角周波数ωを入力データ毎に異なる値に設定することで、入力データの入力値の網羅性を確保できる。つまり、各時刻の各入力データの入力値の組み合わせについて、組み合わせが多様であれば網羅性を高くすることができる。
【０００６】
また、各時刻の各入力データの周波数の組み合わせについても、組み合わせが多様であれば網羅性を高くすることができる。しかし、従来の、チャープ信号を用いた過渡モデルのブラックボックスモデリングの場合、入力データの周波数が単調増加するため、周波数の網羅性を高くすることは難しい。
【０００７】
なお、開発対象によっては、時系列の入力データの入力値に制約が生じる場合がある。例えば、開発対象が自動車のエンジンであり、入力データがエンジンの回転数である場合、エンジンの回転数を短時間で大きく変化させることは、エンジンへの負荷が大きくなるため好ましくない。このように、時系列の入力データの入力値に、値の範囲、値の連続性等の制約がある場合、当該入力値を独立に決めることは難しい。
【０００８】
実験計画が、例えば関数に基づき生成された複数の実験点を含む入力データである場合、開発対象の制約を反映した関数に基づき実験点を生成する。しかし、この場合、個々の実験点を独立に決めることは難しい。また、関数のパラメータ値を設定して実験点を生成するのでは、実験点の軌跡が評価対象の空間である入力値空間又は周波数空間において偏る可能性がある。そこで、実験点の軌跡が評価対象の空間を網羅していることを評価して、関数のパラメータ値を設定することが望ましいものの、実験点の軌跡が評価対象の空間を網羅していることを評価する手法は、従来は特に確立されていない。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】N. Sakushima et al., "Transient Modeling of Diesel Engine Emissions," International Journal of Automotive Engineering 4 (2013)
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来、評価対象の空間の状況にかかわらず、複数の領域分割数を用いて評価対象の空間の網羅性の評価を適切に行うことは難しい。
【００１１】
そこで、１つの側面では、評価対象の空間の状況にかかわらず、複数の領域分割数を用いて評価対象の空間の網羅性の評価を適切に行うことのできる評価装置、評価方法及び評価プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
１つの案によれば、複数のパラメータを用いる非ランダムな関数から、夫々が複数の値を持つ複数の実験点を含む時系列の入力データ群を生成する生成処理と、前記入力データ群に対し、前記入力データ群の実験点の次元に対応した評価対象の空間を異なる複数の領域分割数で分割した分割領域の夫々について、実験点の存在の有無から網羅性指標を算出する算出処理と、前記複数の領域分割数での前記網羅性指標に基づき、前記複数のパラメータを評価する評価処理と、をコンピュータに実行させるための評価プログラムが提供される。
【発明の効果】
【００１３】
一態様によれば、評価対象の空間の状況にかかわらず、複数の領域分割数を用いて評価対象の空間の網羅性の評価を適切に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】ブラックボックスモデリングの一例を説明する模式図である。
【図２Ａ】モデルへの第１の入力データの入力値と時間との関係の一例を示す図である。
【図２Ｂ】モデルへの第２の入力データの入力値と時間との関係の一例を示す図である。
【図３】入力値空間の一例を示す図である。
【図４Ａ】モデルへの第１の入力データの周波数と時間との関係の一例を示す図である。
【図４Ｂ】モデルへの第２の入力データの周波数と時間との関係の一例を示す図である。
【図５】周波数空間の一例を示す図である。
【図６Ａ】第１の入力データの入力値の時間変化の一例を示す図である。
【図６Ｂ】第２の入力データの入力値の時間変化の一例を示す図である。
【図７Ａ】第１の入力データの周波数の時間変化の一例を示す図である。
【図７Ｂ】第２の入力データの周波数の時間変化の一例を示す図である。
【図８】入力値空間の一例を示す図である。
【図９】周波数空間の一例を示す図である。
【図１０】周波数空間の分割の一例を示す図である。
【図１１】周波数空間の分割の一例を示す図である。
【図１２】入力値空間の分割の一例を示す図である。
【図１３】ケースｃ１における関数のパラメータ値に対する網羅性指標値の分布の一例を示す図である。
【図１４】ケースｃ２における関数のパラメータ値に対する網羅性指標値の分布の一例を示す図である。
【図１５】実験計画Ａを実現するパラメータ値の一例を示す図である。
【図１６】実験計画Ｂを実現するパラメータ値の一例を示す図である。
【図１７】ケースｃ３における関数のパラメータ値に対する網羅性指標値の分布の一例を示す図である。
【図１８】実験計画Ａを実現するパラメータ値の一例を示す図である。
【図１９】実験計画Ｃを実現するパラメータ値の一例を示す図である。
【図２０】領域分割数及び入力データ数と全分割領域数の一例を示す図である。
【図２１】ケースｃ１１における関数のパラメータ値に対する網羅性指標値の分布の一例を示す図である。
【図２２】領域分割数＝２の場合に実験計画Ａ，Ｂ，Ｃを実現するパラメータ値の一例を示す図である。
【図２３】ケースｃ１２における関数のパラメータ値に対する網羅性指標値の分布の一例を示す図である。
【図２４】領域分割数＝３の場合に実験計画Ａ，Ｂ，Ｃを実現するパラメータ値の一例を示す図である。
【図２５】領域分割数＝３の場合に実験計画を実現するパラメータ値の一例を示す図である。
【図２６】コンピュータの一例を示すブロック図である。
【図２７】領域分割数の決定処理の第１の例を説明するフローチャートである。
【図２８】領域分割数の決定処理の第２の例を説明するフローチャートである。
【図２９】網羅性指標の算出処理の一例を説明するフローチャートである。
【図３０】評価処理の一例を説明するフローチャートである。
【図３１】網羅性指標の算出処理の一例を説明するフローチャートである。
【図３２】評価処理の第１の例を説明するフローチャートである。
【図３３】評価処理の第２の例を説明するフローチャートである。
【図３４】入力データ生成装置の一例を示す機能ブロック図である。
【発明を実施するための形態】
【００１５】
開示の評価装置、評価方法及び評価プログラムでは、複数のパラメータを用いる非ランダムな関数から、夫々が複数の値を持つ複数の実験点を含む時系列の入力データ群を生成し、入力データ群に対し、入力データ群の実験点の次元に対応した評価対象の空間を異なる複数の領域分割数で分割した分割領域の夫々について、実験点の存在の有無から網羅性指標を算出し、複数の領域分割数での前記網羅性指標に基づき、複数のパラメータを評価する。
【００１６】
以下に、開示の評価装置、評価方法及び評価プログラムの各実施例を図面と共に説明する。
【実施例】
【００１７】
図１は、ブラックボックスモデリングの一例を説明する模式図である。この例では、開発対象（又は、モデル化対象）である実装置１は、例えばディーゼルエンジンである。例えば、過渡モデルのブラックボックスモデリングの場合、複数の時系列の入力データIn1, In2, In3, ...及び出力データOut1, Out2, ...を用いて、実装置１の入出力関係を再現可能なモデル２を作成する。この場合、入力データの網羅性が低いと精度の低いモデル２が作成される可能性があるため、入力データの網羅性は高い方が望ましい。従って、網羅性が高くなるように入力データ（又は、「実験計画」）を決定することが望ましい。
【００１８】
チャープ信号（Chirp）は、周波数が時間変化する正弦波の一例であり、角周波数をω、時間をｔで表すと、例えばｃ＝ｓｉｎωｔ２で表される。角周波数ωを入力データ毎に異なる値に設定することで、入力データの入力値の網羅性を確保できる。つまり、各時刻の各入力データの入力値の組み合わせについて、組み合わせが多様であれば網羅性を高くすることができる。図２Ａ及び図２Ｂは、モデル２への入力データの入力値と時間との関係の一例を示す図である。図２Ａ及び図２Ｂ中、縦軸は入力データの入力値を任意単位で示し、横軸は時間を任意単位で示す。図２Ａは第１の入力データの入力値を示し、図２Ｂは第２の入力データの入力値を示す。また、図３は、入力値空間の一例を示す図である。図３は、各時刻の入力値をマッピングしたものであり、縦軸は図２Ｂに示す第２の入力データの入力値を任意単位で示し、横軸は図２Ａに示す第１の入力データの入力値を任意単位で示す。図３に示す例の場合、各時刻の各入力データの入力値の組み合わせが多様であるため、入力データの入力値の網羅性は高い。
【００１９】
各時刻の各入力データの周波数の組み合わせについても、組み合わせが多様であれば網羅性を高くすることができる。しかし、従来の、チャープ信号を用いた過渡モデルのブラックボックスモデリングの場合、入力データの周波数が単調増加するため、周波数の網羅性を高くすることは難しい。図４Ａ及び図４Ｂは、モデル２への入力データの周波数と時間との関係の一例を示す図である。図４Ａ及び図４Ｂ中、縦軸は入力データの周波数を任意単位で示し、横軸は時間を任意単位で示す。図４Ａは、複数の時系列の入力データのうち、第１の入力データの周波数を示し、図４Ｂは、複数の時系列の入力データのうち、第２の入力データの周波数を示す。第１及び第２の入力データの周波数は、図４Ａ及び図４Ｂに示すように単調増加することがわかる。また、図５は、周波数空間の一例を示す図である。図５は、各時刻の入力データの周波数をマッピングしたものであり、縦軸は図４Ｂに示す第２の入力データの周波数を任意単位で示し、横軸は図４Ａに示す第１の入力データの周波数を任意単位で示す。図５に示す例の場合、各時刻の各入力データの周波数の組み合わせが多様ではないため、入力データの周波数の網羅性は低い。
【００２０】
そこで、過渡モデルのブラックボックスモデリングにおいて、周波数が周期的に変動する関数を用い、当該関数の周波数変動の位相φと角周波数ωｓのうち少なくとも一方を入力データ毎に異なる値に設定する。周波数が周期的に変動する関数ｙの一例は、周波数変動の中心角周波数をω０、角周波数の変動幅をΔω、時間をｔ、周波数をω０＋Δωｃｏｓ（ωｓｔ＋φ）で表すと、次式で表すことができる。なお、周波数が周期的に変動する関数は、周波数変動の位相φと角周波数ωｓのうち少なくとも一方を入力データ毎に異なる値に設定可能な関数であれば、特に限定されない。
ｙ＝ｓｉｎ｛ω０ｔ＋（Δω／ωｓ）ｓｉｎ（ωｓｔ＋φ）｝
図６Ａ及び図６Ｂは、入力データの入力値の時間変化の一例を示す図である。図６Ａ及び図６Ｂ中、縦軸は入力データの入力値を任意単位で示し、横軸は時間を任意単位で示す。図６Ａは、基準となる第１の入力データの入力値を示し、図６Ｂは、基準に対して周波数変動の角周波数ωｓと位相φのうち少なくとも一方を変更した第２の入力データの入力値を示す。図６Ａ及び図６Ｂと、後述する図７Ａ及び図７Ｂにおいて、周波数変動の周期は、２π／ωｓで表される。
【００２１】
図７Ａ及び図７Ｂは、入力データの周波数の時間変化の一例を示す図である。図７Ａ及び図７Ｂ中、縦軸は入力データの周波数を任意単位で示し、横軸は時間を任意単位で示す。図７Ａは、基準となる第１の入力データの周波数を示し、図７Ｂは、基準に対して周波数変動の位相φと角周波数ωｓのうち少なくとも一方を変更した第２の入力データの周波数を示す。
【００２２】
図８は、入力値空間の一例を示す図である。図８は、各時刻の入力値をマッピングしたものであり、縦軸は図６Ｂに示す第２の入力データの入力値を任意単位で示し、横軸は図６Ａに示す第１の入力データの入力値を任意単位で示す。図８に示す例の場合、各時刻の各入力データの入力値の組み合わせが多様であるため、入力データの入力値の網羅性は高い。
【００２３】
図９は、周波数空間の一例を示す図である。図９は、各時刻の入力データの周波数をマッピングしたものであり、縦軸は図７Ｂに示す第２の入力データの周波数を任意単位で示し、横軸は図７Ａに示す第１の入力データの周波数を任意単位で示す。図９に示す例の場合、各時刻の各入力データの周波数の組み合わせが図５の場合と比較すると多様であるため、入力データの周波数の網羅性は、図５の場合と比較すると高くなり向上する。
【００２４】
次に、入力データの周波数の網羅性が高くなるような周波数変動の周期と位相の決定方法を説明する。周波数が周期的に変動する関数の、周波数変動の中心角周波数ωo,i及び角周波数の変動幅Δωｉ等の非最適化対象である関数パラメータと、周波数変動の角周波数ωs,iの最小値ｍｉｎｉ及び最大値ｍａｘｉ等の角周波数ωs,iの制約と、実験計画で用いる実験時間及び実験点のサンプル時間等の実験時間等が、前提条件として与えられている場合、これらの周波数変動に関する前提条件を元に次のような最適化問題を作成する。この最適化問題を解くことにより、入力データの周波数の網羅性が最高となるような周波数変動の位相φｉと角周波数ωs,iを決定することができる。周波数変動の周期は、上記の如く２π／ωs,iであるため、変数（以下、最適化対象の関数「パラメータ」とも言う）である、周波数変動の位相φｉと角周波数ωs,iを決定することは、周波数変動の位相と周期を決定することと同等である。
最適化問題：
目的：網羅性指標値の最大化
変数：φｉ，ωs,i
制約：０≦φｉ＜２π
ｍｉｎｉ≦ωs,i≦ｍａｘｉ
ｉ＝１，２，...，Ｎ
Ｎは入力データ数（２以上の自然数）
網羅性指標の第１の例では、評価対象の空間である入力データの周波数空間に対する入力データ（又は、実験計画）の網羅性を数値化する。具体的には、入力データの周波数空間を適切な分割領域に分割し、分割された全分割領域の数（以下、「全分割領域数」とも言う）に対して、各時刻の各入力データの周波数を示す実験点が配置された分割領域数の割合を網羅性指標値とする。また、入力データの周波数空間を１つの入力データについて分割する分割数を、領域分割数とする。
【００２５】
【数１】
2019159822.tif 000003
【００２６】
例えば、図１０に示すように入力データの周波数空間を９個の分割領域に分割した場合、領域分割数は、
【００２７】
【数２】
2019159822.tif 000004
であり、網羅性指標値は７／９≒０．７８である。図１０において、縦軸は第２の入力データの周波数を示し、横軸は第１の入力データの周波数を示す。各実験点は黒丸印で示し、×印は実験点が存在しない分割領域を示す。
【００２８】
上記の最適化問題を周知の最適化ソルバ等の最適化部が解くことで、網羅性指標値が最大となるような周波数変動の位相φｉと角周波数ωs,iを最適解として求める。各入力データは、求められた最適解（φｉ，ωs,i）を用いて、周波数が周期的に変動する上記の関数ｙに基づき生成するので、各入力データの周波数の網羅性を確保できる。これにより、過渡モデルのブラックボックスモデリングにおいて、周波数の網羅性が高い入力データを生成することが可能となる。
【００２９】
網羅性指標の第２の例では、評価対象の空間である入力データの周波数空間に対する入力データ（即ち、実験計画）の網羅性を数値化すると共に、評価対象の空間である入力データの入力値空間に対する入力データ（即ち、実験計画）の網羅性を数値化する。具体的には、上記網羅性指標の第１の例の場合と同様の方法で算出した、図１１に示す如き入力データの周波数空間の第１の網羅性指標値と、同じく上記網羅性指標の第１の例の場合と同様の方法で算出した、図１２に示す如き入力データの入力値空間の第２の網羅性指標値の平均値を、網羅性指標値とする。図１１において、縦軸は第２の入力データの周波数を示し、横軸は第１の入力データの周波数を示す。図１２において、縦軸は第２の入力データの入力値を示し、横軸は第１の入力データの入力値を示す。図１１及び図１２において、各実験点は黒丸印で示し、×印は実験点が存在しない分割領域を示す。
【００３０】
網羅性指標の第２の例における網羅性指標値は、入力データの周波数空間の第１の網羅性指標値と、入力データの入力値空間の第２の網羅性指標値の平均値、即ち、第１及び第２の網羅性指標値の和の１／２から算出されるので、この例では、｛（８／９）＋（７／９）｝／２≒０．８３となる。
【００３１】
上記の最適化問題を周知の最適化ソルバ等の最適化部が解くことで、入力データの周波数空間の第１の網羅性指標値と入力データの入力値空間の第２の網羅性指標値とが最大（又は、これら第１及び第２の網羅性指標値の平均値が最大）となるような周波数変動の位相φｉと角周波数ωs,iを最適解として求める。各入力データは、求められた最適解（φｉ，ωs,i）を用いて、周波数が周期的に変動する上記の関数ｙに基づき生成するので、各入力データの周波数の網羅性及び各入力データの入力値の網羅性の両方を確保できる。これにより、過渡モデルのブラックボックスモデリングにおいて、周波数の網羅性が高く、かつ、入力値の網羅性が高い入力データを生成することが可能となる。
【００３２】
なお、上記の場合の関数ｙは、周波数をω０＋Δωｃｏｓ（ωs,iｔ＋φｉ）で表すと、次式で表すことができる。
ｙ＝ｓｉｎ｛ω０ｔ＋（Δω／ωs,i）ｓｉｎ（ωs,iｔ＋φｉ）｝
これにより、周波数が周期的に変動する関数を用いて、当該関数の周波数変動の角周波数と位相（又は、周波数変動の周期と位相）のうち少なくとも一方を各入力データ毎に異なる値に設定可能にすることで、周波数変動の多様性を実現できる。周波数変動の角周波数と位相（又は、周波数変動の周期と位相）のうち少なくとも一方の設定値は、数値化された網羅性を最大化する最適化問題を解くことで容易に導出できる。
【００３３】
実験計画が、例えば関数に基づき生成された複数の実験点を含む入力データである場合、開発対象の制約を反映した関数に基づき実験点を生成する。しかし、この場合、個々の実験点を独立に決めることは難しい。つまり、関数のパラメータ値を決めると、全実験点が一括で決まる。
【００３４】
また、評価対象の空間である入力値空間又は周波数空間において、各実験点は規則的に、即ち、非ランダムに分布する。このため、評価対象の空間である入力値空間又は周波数空間において、時系列の実験点が軌跡を描くように分布する。
【００３５】
関数に基づく実験計画において、最良の実験計画を生成することが望ましい。最良の実験計画とは、時系列の実験点の軌跡が、評価対象の空間である入力値空間又は周波数空間において、できるだけ異なる場所を通ることに相当する。このような最良の実験計画により、モデル化対象の様々な特性を表す出力データが得られることが期待できる。
【００３６】
ところが、上記の例では、網羅性指標により最良の実験計画を生成する。つまり、評価対象の空間である入力値空間又は周波数空間を均等なサイズに領域分割して、実験点が配置された分割領域数の割合（即ち、網羅性指標）を算出し、当該割合が最大となる関数のパラメータ値を探す。上記の例は、時系列の実験点の軌跡が、評価対象の空間である入力値空間又は周波数空間のできるだけ異なる場所を通る場合、多くの分割領域に実験点が配置されているという仮定に基づくものである。この仮定自体は妥当であるものの、本発明者は、以下に説明するように、最良の実験計画を探しても、適切な領域分割数が存在しないことを見出した。
【００３７】
つまり、ケースｃ１において以下のような領域分割数＝Ｘが存在すれば、最良の実験計画を見つけられる。図１３は、ケースｃ１における関数のパラメータ値に対する網羅性指標値の分布（又は、確率分布）の一例を示す図である。図１３中、縦軸は網羅性指標値となる確率を任意単位で示し、横軸は領域分割数＝Ｘにおける網羅性指標値を示す。図１３では、関数のパラメータ値がある値である場合にのみ網羅性指標値が１となる。これは、網羅性指標値が１となる場合にのみ、実験点の軌跡が全ての分割領域を通るということを意味している。このため、パラメータ値が当該ある値である場合とは、他のパラメータ値である場合と比較して、実験点の軌跡ができるだけ異なる場所を通る、最良のパラメータ値である場合であると言える。従って、網羅性指標値が最大となるパラメータ値を探せば良い。つまり、全パラメータ値を評価するのでは、計算量が多くて困難であるため、網羅性指標値が最大となるパラメータ値を１つ見つける。しかし、この場合、最良の実験計画を探しても、適切な領域分割数が存在しない。実際には、以下のケースｃ２又はケースｃ３のような領域分割数しか存在しない。
【００３８】
図１４は、ケースｃ２における関数のパラメータ値に対する網羅性指標値の分布（又は、確率分布）の一例を示す図である。図１４中、縦軸は網羅性指標値となる確率を任意単位で示し、横軸は領域分割数＝Ｌにおける網羅性指標値を示す。ケースｃ２では、領域分割数が少ない（即ち、分割が荒い）。この場合、網羅性指標値が１となるようなパラメータ値が多数存在する。また、実験点の軌跡が全ての分割領域を通るようなパラメータ値が多数存在し、パラメータ値に優劣を付けることは難しい。従って、網羅性指標値が最大となるパラメータ値を見つけても、当該パラメータ値が最良である可能性は低く、最良のパラメータ値から著しく劣ったものである可能性もある。
【００３９】
つまり、ケースｃ２では、最良の実験計画を探しても、適切な領域分割数が存在しない。先ず、図１５及び図１６に示す実験計画Ａ，Ｂを実現するパラメータ値が存在すると仮定する。図１５及び図１６において、領域分割数は２であり、縦軸は第２の入力データの周波数を示し、横軸は第１の入力データの周波数を示し、各実験点は黒丸印で示す。なお、図１５及び図１６において、縦軸は第２の入力データの入力値を示し、横軸は第１の入力データの入力値を示しても良い。実験計画Ｂでは、実験点の軌跡が図１６の中央部分を集中的に通るので、できるだけ異なる場所を通るとは言い難く、図１５に示す実験計画Ａの方が明らかに良い。しかし、実験計画Ａの場合も実験計画Ｂの場合も、網羅性指標値は共に４／４＝１であるため、網羅性指標値が最大となるパラメータ値を探した場合に、実験計画Ｂのパラメータ値が見つかる可能性がある。このように、異なる実験計画の網羅性指標値が同じであると、最良の実験計画と最良でない実験計画とを区別することができない。
【００４０】
図１７は、ケースｃ３における関数のパラメータ値に対する網羅性指標値の分布（又は、確率分布）の一例を示す図である。図１７中、縦軸は網羅性指標値となる確率を任意単位で示し、横軸は領域分割数＝Ｍにおける網羅性指標値を示す。ケースｃ３では、上記のケースｃ２と比べて領域分割数が多い（即ち、分割が細かい）。この場合、どのようなパラメータ値であっても、網羅性指標値を１にすることはできない。これは、実験点の軌跡が通らない分割領域が存在することを意味しており、実験点の軌跡が通る分割領域と通らない分割領域の位置関係によっては、網羅性指標値が最大となるパラメータ値を見つけても、当該パラメータ値が最良ではなく、更には、最良のパラメータ値と比較すると著しく劣っている可能性がある。
【００４１】
つまり、ケースｃ３では、最良の実験計画を探しても、適切な領域分割数が存在しない。先ず、図１８及び図１９に示す実験計画Ａ，Ｃを実現するパラメータ値が存在すると仮定する。また、図１９に示す実験計画Ｃの網羅性指標値が最大であると仮定する。図１８及び図１９において、領域分割数は３であり、縦軸は第２の入力データの周波数を示し、横軸は第１の入力データの周波数を示し、各実験点は黒丸印で示す。なお、図１８及び図１９において、縦軸は第２の入力データの入力値を示し、横軸は第１の入力データの入力値を示しても良い。実験計画Ｃでは、実験点の軌跡が通らない分割領域が図１９の右上部分に集中しており、できるだけ異なる場所を通るとは言い難く、図１８に示す実験計画Ａの方が明らかに良い。しかし、実験計画Ａの網羅性指標値は５／９≒０．５６であるのに対し、実験計画Ｃの網羅性指標値は６／９≒０．６７であり実験計画Ａ，Ｃのうち最大となるため、網羅性指標値が最大となるパラメータ値を探すと、実験計画Ｃのパラメータ値が見つかる。このように、異なる実験計画の網羅性指標値が異なっても、最大の網羅性指標値となる実験計画が最良の実験計画であるとは限らない。
【００４２】
従って、最良の実験計画を探しても、適切な領域分割数が存在しないことが確認された。適切な領域分割数が存在しない理由には、領域分割数に対して分割領域数が指数的に増えることと、分割領域数が増える程実験点の軌跡が全ての分割領域を通ることがより難しくなることが挙げられる。つまり、実験点の軌跡が全ての分割領域を通ることの難易度が、領域分割数に対して指数的に高くなる。また、上記のケースｃ２の領域分割数を１だけ増やしても、上記のケースｃ３の状況となり、実験点の軌跡ができるだけ異なる場所を通る最良の実験計画を見つけることはできない。
【００４３】
図２０は、領域分割数及び入力データ数と全分割領域数の一例を示す図である。図２０において、例えば入力データ数が５の場合、領域分割数が２であれば全分割領域数は３２であり、領域分割数が４であれば全分割領域数は１０２４であり、全分割領域数は指数的に増大する。
【００４４】
そこで、最良の実験計画を探した結果、適切な領域分割数が存在しない場合であっても、最良の実験計画を生成することのできる実施例を以下に説明する。
【００４５】
最良の実験計画の場合、領域分割数にかかわらず、高い網羅性指標値が得られるはずである。また、実験点の軌跡ができるだけ異なる場所を通れば、特定の領域分割数で評価したときのみに網羅性指標値が相対的に低くなるような状況は起こりにくいはずである。つまり、本発明者は、複数の領域分割数について算出した網羅性指標値が、いずれも高くなる実験計画を探すことで、最良の実験計画を見つけられることを見出した。具体的には、複数の領域分割数について算出した網羅性指標値を使用して最適化問題を解けば良い。
【００４６】
図２１は、ケースｃ１１における関数のパラメータ値に対する網羅性指標値の分布（又は、確率分布）の一例を示す図である。図２１中、縦軸は網羅性指標値となる確率を任意単位で示し、横軸は領域分割数＝２における網羅性指標値を示す。
【００４７】
図２２は、領域分割数＝２の場合に実験計画Ａ，Ｂ，Ｃを実現するパラメータ値の一例を示す図である。図２２において、縦軸は第２の入力データの周波数を示し、横軸は第１の入力データの周波数を示し、各実験点は黒丸印で示す。なお、図２２において、縦軸は第２の入力データの入力値を示し、横軸は第１の入力データの入力値を示しても良い。この例では、実験計画Ａの網羅性指標値は１であり、実験計画Ｂの網羅性指標値は１であり、実験計画Ｃの網羅性指標値は３／４である。
【００４８】
図２３は、ケースｃ１２における関数のパラメータ値に対する網羅性指標値の分布（又は、確率分布）の一例を示す図である。図２３中、縦軸は網羅性指標値となる確率を任意単位で示し、横軸は領域分割数＝３における網羅性指標値を示す。
【００４９】
図２４は、領域分割数＝３の場合に実験計画Ａ，Ｂ，Ｃを実現するパラメータ値の一例を示す図である。図２４において、縦軸は第２の入力データの周波数を示し、横軸は第１の入力データの周波数を示し、各実験点は黒丸印で示す。なお、図２４において、縦軸は第２の入力データの入力値を示し、横軸は第１の入力データの入力値を示しても良い。この例では、実験計画Ａの網羅性指標値は５／９であり、実験計画Ｂの網羅性指標値は１／３であり、実験計画Ｃの網羅性指標値は６／９である。
【００５０】
図２１及び図２３に示すように、実験計画Ａの網羅性指標値は、領域分割数＝２，３の両方のケースｃ１１，ｃ１２で高い値である。実験計画Ｂの網羅性指標値は、領域分割数＝２のケースｃ１１では高い値であるが、領域分割数＝３のケースｃ１２では低い値である。実験計画Ｃの網羅性指標値は、領域分割数＝３のケースｃ１２では高い値であるが、領域分割数＝２のケースｃ１１では低い値である。
【００５１】
最適化問題の第１の例では、各網羅性指標を最適化問題の目的関数として使用する。この最適化問題の目的は、夫々の領域分割数で算出した網羅性指標値の平均値を最大化することである。この最適化問題の第１の例は、次のように定義される。
最適化問題の第１の例：
目的：網羅性指標値の平均値の最大化
変数：φｉ，ωs,i
制約：０≦φｉ＜２π
ｍｉｎｉ≦ωs,i≦ｍａｘｉ
ｉ＝１，２，...，Ｎ
Ｎは入力データ数（２以上の自然数）
【００５２】
この場合、実験計画Ａの目的関数値＝（５／９＋１）／２≒０．７８である。実験計画Ｂの目的関数値＝（１／３＋１）／２≒０．６７である。実験計画Ａの目的関数値＝（６／９＋３／４）／２≒０．７１である。従って、この例では、実験計画Ａ，Ｂ，Ｃの中では、目的関数値が最大となる実験計画Ａが最良と判断できる。
【００５３】
最適化問題の第２の例では、各網羅性指標を最適化問題の目的関数又は制約として使用する。この最適化問題の目的は、領域分割数が大きいときの網羅性指標値を最大化することであり、この最適化問題の制約は、領域分割数が小さいときの網羅性指標値を閾値Ｔ以上とすることである。この最適化問題の第２の例は、次のように定義される。
最適化問題の第２の例：
目的：領域分割数が大きいときの網羅性指標値の最大化
変数：φｉ，ωs,i
制約：０≦φｉ＜２π
ｍｉｎｉ≦ωs,i≦ｍａｘｉ
ｉ＝１，２，...，Ｎ
Ｎは入力データ数（２以上の自然数）
領域分割数が小さいときの網羅性指標値≧Ｔ
【００５４】
なお、３種類以上の領域分割数で最適化問題を解く場合は、最大の領域分割数の網羅性指標から最適化問題の目的関数を求め、最大の領域分割数以外の領域分割数の網羅性指標を用いて最適化問題の制約関数を求めれば良い。具体的には、最大の領域分割数の網羅性指標値を目的関数値とし、閾値Ｔから最大の領域分割数以外の領域分割数の網羅性指標を減算した値を制約関数値とすれば良い。閾値Ｔを例えば３／４より大きく設定すれば、実験計画Ａ，Ｂ，Ｃの中では、領域分割数が大きいとき（領域分割数＝３）の網羅性指標値（＝５／９）が最大であり、かつ、領域分割数が小さいとき（領域分割数＝２）の網羅性指標値（＝１）が閾値Ｔ以上である実験計画Ａが最良と判断でき、領域分割数が小さいとき（領域分割数＝２）の網羅性指標値（＝３／４）が閾値Ｔ未満である実験計画Ｃは制約違反と判断できる。
【００５５】
領域分割数の決定処理の第１の例では、実験点数及び入力データ数を元に、次式に従って２つの連続する領域分割数Ｄ１，Ｄ２を決定する。領域分割数の決定処理の第１の例については、後述する図２７と共により詳細に説明する。
【００５６】
【数３】
2019159822.tif 000005
領域分割数Ｄ２＝領域分割数Ｄ１−１
【００５７】
【数４】
2019159822.tif 000006
【００５８】
領域分割数の決定処理の第２の例では、網羅性指標値に基づいて領域分割数を決定する。上述のケースｃ２，ｃ３に相当する２種類の領域分割数で最適化問題を解くことが望ましい。また、上記のような領域分割数は、事前にはわからないので探索する。具体的には、２つの連続する領域分割数＝Ｍ，Ｍ−１（この例ではＭは３以上の自然数）を仮定し、Ｍを昇順に変更しながら最適化問題を解き、生成した実験計画について領域分割数＝Ｍ，Ｍ−１のときの網羅性指標値を算出し、適切な領域分割数であれば生成した実験計画を採用する。領域分割数の決定処理の第２の例については、後述する図２８と共により詳細に説明する。
【００５９】
次に、入力データ間に制約がある場合の網羅性指標値について説明する。例えばモデル化対象が自動車のエンジンであり、実験の入力がエンジンの回転数及び燃料噴射量である場合、入力データ間の制約とは、エンジンの回転数が小であり、かつ、燃料噴射量が大であるような入力を許容しないための条件のことを言う。入力データ間に制約がある場合、網羅性指標の評価対象の空間は歪な形状となる。そこで、網羅性指標値の算出では、次式で表すように、分割領域の中心部分が制約違反である分割領域を、次式の分母及び分子の両方の項において除外する。
網羅性指標値＝（実験点が存在する分割領域数）／（分割領域の中心部分が制約違反ではない分割領域数）
【００６０】
図２５は、領域分割数＝３の場合に実験計画を実現するパラメータ値の一例を示す図である。図２５において、縦軸は第２の入力データの周波数を示し、横軸は第１の入力データの周波数を示し、各実験点は黒丸印で示し、×印は実験点が存在しない分割領域を示し、制約違反の部分を梨地で示す。なお、図２５において、縦軸は第２の入力データの入力値を示し、横軸は第１の入力データの入力値を示しても良い。この例の場合、網羅性指標値は、以下のように求めることができる。また、図２５の左上の分割領域の中心部分が制約違反であるため、網羅性指標値は、中心部分が制約違反である上記左上の分割領域を無視して、以下のように計算する。
網羅性指標値＝６／８＝０．７５
【００６１】
図２６は、コンピュータの一例を示すブロック図である。図２６に示すコンピュータ１００は、バス１２０を介して互いに接続されたプロセッサ１２１と、メモリ１２２と、入力装置１２３と、表示装置１２４と、インタフェース（又は、通信装置）１２５とを有する。プロセッサ１２１は、例えば中央処理装置（ＣＰＵ：Central Processing Unit）等で形成可能であり、メモリ１２２に記憶されたプログラムを実行して、コンピュータ１００全体の制御を司る。メモリ１２２は、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体記憶装置、磁気記録媒体、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＤＶＤディスク（Digital Versatile Disk）等の光記録媒体、光磁気記録媒体等のコンピュータ読取可能な記録媒体により形成可能である。なお、メモリ１２２にディスク等の磁気記録媒体、光記録媒体又は光磁気記録媒体を用いる場合、記録媒体はディスクドライブ等のドライブにロードされ、ドライブによりプログラム等を記録媒体から読み出し、必要に応じて記録媒体にデータ等を書き込む。メモリ１２２は、プロセッサ１２１が実行する評価プログラムを含む各種プログラム、各種データ等を記憶可能である。
【００６２】
プロセッサ１２１は、例えばメモリ１２２に記憶されたプログラムを実行することで、後述する図２７乃至図３３に示す処理を実行可能であり、また、後述する図３４に示す入力データ生成装置２１の各部の機能を実現可能である。
【００６３】
入力装置１２３は、ユーザ（又は、オペレータ）により操作される例えばキーボード等で形成可能であり、プロセッサ１２１にコマンド及びデータを入力するのに用いられる。表示装置１２４は、ユーザに対するメッセージ、評価処理の評価結果等を表示する。入力装置１２３及び表示装置１２４は、入力装置１２３及び表示装置１２４が一体的に設けられたタッチパネル等で形成しても良い。インタフェース１２５は、コンピュータ１００と、外部の最適化部等の外部装置との間の通信を司る。コンピュータ１００と外部装置との間の通信は、有線で行っても、無線で行っても、有線と無線の組み合わせで行っても良い。
【００６４】
プロセッサ１２１及びインタフェース１２５は、最適化問題を解く外部の最適化部（例えば、外部の最適化ソルバ）をアクセスして解を取得する手段の一例を形成可能である。
【００６５】
なお、コンピュータ１００は、当該コンピュータ１００の各部がバス１２０を介して接続されたハードウェア構成に限定されるものではない。
【００６６】
図２７は、領域分割数の決定処理の第１の例を説明するフローチャートである。図２７に示す処理は、例えば図２６に示すプロセッサ１２１により実行可能である。図２７において、ステップＳ１１では、プロセッサ１２１が、与えられた前提条件に含まれる、実験計画で用いる実験点数と入力データ数を元に、上記の式に従って領域分割数Ｄ１と領域分割数Ｄ２＝Ｄ１−１を決定する。ステップＳ１２では、プロセッサ１２１が、与えられた前提条件に含まれる、関数パラメータω０，Δωと、周波数変動の角周波数ωｓの制約と、実験時間等を元に、最適化問題を作成する。ステップＳ１３では、プロセッサ１２１が、領域分割数Ｄ１，Ｄ２の夫々で算出した網羅性指標値の平均値を目的関数値として、目的関数値が一定以上となるように作成した最適化問題を解く。また、ステップＳ１３では、プロセッサ１２１が、後述する評価処理を実行する。ステップＳ１４では、プロセッサ１２１が、最適解（φｉ，ωs,i）を使用して実験計画を作成し、作成した実験計画を解として処理は終了する。このように、ステップＳ１４では、プロセッサ１２１が、最適解（φｉ，ωs,i）を使用して作成した実験計画から最適化問題の解を求める。
【００６７】
図２８は、領域分割数の決定処理の第２の例を説明するフローチャートである。図２８に示す処理は、例えば図２６に示すプロセッサ１２１により実行可能である。図２８において、ステップＳ２１では、プロセッサ１２１が、Ｍを例えばＭ＝３に設定する。ステップＳ２２では、プロセッサ１２１が、領域分割数＝Ｍ，Ｍ−１を求める。ステップＳ２３では、プロセッサ１２１が、与えられた前提条件に含まれる、関数パラメータω０，Δωと、周波数変動の角周波数ωｓの制約と、実験時間等を元に、最適化問題を作成する。ステップＳ２４では、プロセッサ１２１が、領域分割数＝Ｍ，Ｍ−１で算出した複数の網羅性指標値のうち、領域分割数の大きい方の網羅性指標値を目的関数値とし、閾値Ｔから、算出された複数の網羅性指標値のうち、領域分割数の小さい方の網羅性指標値を減算した差を制約関数値として、制約関数値が基準値以下の条件、即ち、この例では制約関数値が０以下の条件で、目的関数値が一定以上となるように作成した最適化問題を解く。また、ステップＳ２４では、プロセッサ１２１が、後述する評価処理を実行する。ステップＳ２５では、プロセッサ１２１が、最適解（φｉ，ωs,i）を使用して実験計画を作成する。ステップＳ２６では、プロセッサ１２１が、作成した実験計画について、領域分割数＝Ｍ，Ｍ−１のときの網羅性指標ＣＭ，ＣＭ−１を算出する。ステップＳ２７では、プロセッサ１２１が、ＣＭ−１≧Ｔ、かつ、ＣＭ≧Ｔであるか否かを判定し、判定結果がＹＥＳであると処理はステップＳ２８へ進み、判定結果がＮＯであると処理はステップＳ２９へ進む。閾値Ｔは、この例では１以下の値であり、例えば３／４より大きく１に近い値（即ち、３／４＜Ｔ≦１）であることが望ましい。ステップＳ２８では、プロセッサ１２１が、Ｍ＝Ｍ＋１にインクリメントし、処理はステップＳ２２へ戻る。ステップＳ２９では、プロセッサ１２１が、作成した実験計画を解とし、処理は終了する。このように、ステップＳ２９では、プロセッサ１２１が、作成した実験計画から最適化問題の解を求める。
【００６８】
図２９は、網羅性指標の算出処理の一例を説明するフローチャートである。図２９に示す処理は、図２８に示すステップＳ２６において、例えば図２６に示すプロセッサ１２１により実行可能である。図２９において、ステップＳ３１では、プロセッサ１２１が、与えられた最適化対象の関数パラメータφｉ，ωs,ｉについて、実験点を算出する。具体的には、プロセッサ１２１が、入力データの周波数又は入力値の時間変化を算出する。ステップＳ３２では、プロセッサ１２１が、評価対象の空間である入力データの周波数空間又は入力値空間を与えられた領域分割数で領域分割する。ステップＳ３３では、プロセッサ１２１が、各分割領域に配置される実験点数をカウントする。ステップＳ３４では、プロセッサ１２１が、全分割領域に対して実験点が配置された分割領域の割合を算出し、処理は終了する。
【００６９】
図３０は、評価処理の一例を説明するフローチャートである。図３０に示す処理は、図２７に示すステップＳ１３、又は、図２８に示すステップＳ２４において最適化問題を解く際に、例えば図２６に示すプロセッサ１２１により実行可能である。図３０において、ステップＳ４１では、プロセッサ１２１が、与えられた最適化対象の関数パラメータφｉ，ωs,ｉについて、実験点を算出する。具体的には、プロセッサ１２１が、入力データの周波数又は入力値の時間変化を算出する。ステップＳ４２では、プロセッサ１２１が、算出された実験点に対して、与えられた複数の領域分割数における網羅性指標値を夫々算出する。複数の領域分割数は、領域分割数の決定処理の第１の例又は第２の例に基づいて決定可能である。ステップＳ４３では、プロセッサ１２１が、算出された網羅性指標値に基づき最適化対象の関数パラメータφｉ，ωs,ｉを評価し、処理は終了する。このように最適化対象の関数パラメータφｉ，ωs,ｉを評価することは、後述するようにパラメータの評価値を算出することに相当する。ステップＳ４３では、プロセッサ１２１が、評価処理の評価結果を図２６に示す表示装置１２４に表示しても良い。
【００７０】
図３１は、網羅性指標の算出処理の一例を説明するフローチャートである。図３１に示す処理は、図３０に示すステップＳ４２において、例えば図２６に示すプロセッサ１２１により実行可能である。図３１において、ステップＳ５１では、プロセッサ１２１が、評価対象の空間である周波数空間又は入力値空間を与えられた領域分割数で領域分割する。ステップＳ５２では、プロセッサ１２１が、各分割領域に配置される実験点数をカウントする。ステップＳ５３では、プロセッサ１２１が、全分割領域に対して実験点が配置された分割領域の割合を算出する。ステップＳ５４では、プロセッサ１２１が、与えられた全ての領域分割数に対して、ステップＳ５１〜Ｓ５３の処理を実行し、処理は終了する。
【００７１】
図３２は、評価処理の第１の例を説明するフローチャートである。図３２に示す処理は、図３０に示すステップＳ４３において、最適化問題の第１の例を用いる場合に、例えば図２６に示すプロセッサ１２１により実行可能である。図３２において、ステップＳ６１では、プロセッサ１２１が、算出された複数の網羅性指標値の平均値を目的関数値とし、処理は終了する。最適化問題の第１の例を用いる場合、算出された複数の網羅性指標値の平均値、即ち、目的関数値が大きい程、パラメータの評価値が良いと判断する。
【００７２】
図３３は、評価処理の第２の例を説明するフローチャートである。図３３に示す処理は、図３０に示すステップＳ４３において、最適化問題の第２の例を用いる場合に、例えば図２６に示すプロセッサ１２１により実行可能である。図３３において、ステップＳ７１では、プロセッサ１２１が、算出された複数の網羅性指標値のうち、領域分割数の大きい方の網羅性指標値を目的関数値とする。ステップＳ７２では、プロセッサ１２１が、閾値Ｔから、算出された複数の網羅性指標値のうち、領域分割数の小さい方の網羅性指標値を減算した差を制約関数値とし、処理は終了する。一般的な最適化ソルバでは、制約が上記の如き制約関数値として表現される。最適化問題の第２の例を用いる場合、閾値Ｔから、算出された複数の網羅性指標値のうち、領域分割数の小さい方の網羅性指標値を減算した差、即ち、制約関数値が負の値であり、かつ、算出された複数の網羅性指標値のうち、領域分割数の大きい方の網羅性指標値、即ち、目的関数値が大きい程、パラメータの評価値が良いと判断する。
【００７３】
図３４は、入力データ生成装置の一例を示す機能ブロック図である。図３４に示す入力データ生成装置２１は、制御部２２と、最適化問題を解く最適化部の一例である最適化ソルバ２３と、網羅性指標算出部２４と、周波数算出部２５と、入力値算出部２６と、評価部２７とを有する。上記の如く、入力データ生成装置２１の各部の機能は、図２６に示すプロセッサ１２１が、メモリ１２２に記憶されたプログラムを実行して各部の処理を実行することにより実現可能である。また、最適化ソルバ２３の代わりに、外部の最適化ソルバを用いても良い。
【００７４】
制御部２２には、図３４の上部に示すように、例えば非最適化対象である関数パラメータと、周波数変動の角周波数ωｓの制約と、実験時間とを含む前提条件が入力される。関数パラメータは、この例では、入力データ群（又は、実験計画群）を形成する複数の入力データ（又は、複数の実験計画）の一例である第１の入力データ及び第２の入力データの夫々に対する周波数変動の中心角周波数ω０と角周波数の変動幅Δωとを含む。周波数変動の角周波数ωｓの制約は、この例では、第１の入力データ及び第２の入力データの夫々に対する周波数変動の角周波数ωｓの最大値ｍａｘと最小値ｍｉｎとを含む。実験時間は、この例では、例えば１０００秒（ｓ）等の、実験計画で用いる実験時間と、例えば０．５（ｓ）等の実験点のサンプル時間とを含む。制御部２２は、周波数変動に関する前提条件を元に、最適化問題を作成する処理を実行する作成手段の一例を形成可能である。
【００７５】
制御部２２は、周波数が周期的に変動する関数の周波数変動に関する前提条件を元に、網羅性指標値を最大化する最適化問題を作成して最適化ソルバ２３に供給する。また、制御部２２は、時刻及び関数パラメータを、網羅性指標算出部２４及び入力値算出部２６に供給する。時刻は、例えば実験時間と、サンプル時間とから生成する。
【００７６】
制御部２２が生成して網羅性指標算出部２４に供給する時刻は、実験時間及びサンプル時間を含む。制御部２２が生成して網羅性指標算出部２４に供給する関数パラメータは、非最適化対象である定数値の関数パラメータω０，Δωと、最適化対象の関数パラメータφｉ，ωs,ｉとを含む。
【００７７】
周波数算出部２５は、網羅性指標算出部２４を介して入力される時刻及び関数パラメータω０，Δωに基づいて、ω０＋Δωｃｏｓ（φｉ＋ωs,ｉｔ）で表される周波数を算出して、網羅性指標算出部２４に供給する。
【００７８】
上記網羅性指標の第１の例を用いる場合、網羅性指標算出部２４は、評価対象の空間である各入力データの周波数空間を、実験時間と実験点のサンプル時間とで決まる実験点数から求められる領域分割数の、複数の分割領域に分割する。また、網羅性指標算出部２４は、最適化ソルバ２３が最適化問題を解く過程で要求する最適化対象の関数パラメータφｉ，ωs,ｉについて算出した実験点が存在する分割領域数と全分割領域数とで決まる網羅性指標値を算出して評価部２７に供給する。この場合、評価部２７は、供給された網羅性指標値を目的関数値として最適化ソルバ２３に供給する。一方、入力値算出部２６は、制御部２２から入力される時刻及び関数パラメータω０，Δωと、関数パラメータφｉ，ωs,ｉに基づいて、各入力データの入力値を算出して制御部２２に供給する。
【００７９】
入力データの入力値を考慮する上記網羅性指標の第２の例を用いる場合、入力値算出部２６は、網羅性指標算出部２４を介して入力される時刻及び関数パラメータω０，Δωと関数パラメータφｉ，ωs,ｉに基づいて、各入力データの入力値を算出して網羅性指標算出部２４に供給する。網羅性指標算出部２４は、評価対象の空間である各入力データの周波数空間を、実験時間と実験点のサンプル時間とで決まる実験点数から求められる領域分割数の、複数の分割領域に分割すると共に、評価対象の空間である各入力データの入力値空間を、実験時間と実験点のサンプル時間とで決まる実験点数から求められる領域分割数の、複数の分割領域に分割する。また、網羅性指標算出部２４は、最適化ソルバ２３が最適化問題を解く過程で要求する最適化対象の関数パラメータφｉ，ωs,ｉについて算出した実験点が存在する分割領域数と全分割領域数とで決まる網羅性指標値を、評価対象の空間である各入力データの周波数空間及び各入力データの入力値空間について算出する。網羅性指標算出部２４は、このように算出した２つの網羅性指標値の平均値を、網羅性指標値として評価部２７に供給する。この場合、評価部２７は、供給された網羅性指標値を目的関数値として最適化ソルバ２３に供給する。
【００８０】
図３４中、★印で示すように、入力値算出部２６から網羅性指標算出部２４に供給される入力値の供給パス及び網羅性指標算出部２４から入力値算出部２６に供給される時刻及び関数パラメータの供給パスは、入力値を考慮する網羅性指標の第２の例を用いる場合に使用されるが、入力値を考慮しない網羅性指標の第１の例を用いる場合には省略可能である。
【００８１】
また、図３４中、☆印で示すように、制御部２２から網羅性指標算出部２４に供給される領域分割数の供給パス及び網羅性指標算出部２４から制御部２２に供給される網羅性指標値の供給パスは、領域分割数の決定処理の第２の例を用いる場合に使用されるが、領域分割数の決定処理の第１の例を用いる場合には省略可能である。
【００８２】
最適化ソルバ２３は、最適化問題を解く過程で要求する最適化対象の関数パラメータφｉ，ωs,ｉを評価部２７を介して網羅性指標算出部２４に供給する。また、評価部２７は、領域分割数を網羅性指標算出部２４に供給する。このため、上記網羅性指標の第１の例を用いる場合に実行する周波数算出部２５、網羅性指標算出部２４及び評価部２７による処理、又は、上記網羅性指標の第２の例を用いる場合に実行する周波数算出部２５、入力値算出部２６、網羅性指標算出部２４及び評価部２７による処理を繰り返すことで、最適化ソルバ２３は、網羅性指標値（即ち、目的関数値）が一定以上となるように最適化問題を解くことができる。網羅性指標値を最大化する最適化問題の最適解（φｉ，ωs,ｉ）が求まると、最適化ソルバ２３は、最適解（φｉ，ωs,ｉ）を制御部２２に供給する。
【００８３】
最適化問題の第１の例を用いる場合、評価部２７は、算出された複数の網羅性指標値の平均値を目的関数値とする。この場合、評価部２７は、算出された複数の網羅性指標値の平均値、即ち、目的関数値が大きい程、パラメータの評価値が良いと判断する。
【００８４】
最適化問題の第２の例を用いる場合、評価部２７は、算出された複数の網羅性指標値のうち、領域分割数の大きい方の網羅性指標値を目的関数値とし、閾値Ｔから、算出された複数の網羅性指標値のうち、領域分割数の小さい方の網羅性指標値を減算した差を制約関数値とする。この場合、評価部２７は、閾値Ｔから、算出された複数の網羅性指標値のうち、領域分割数の小さい方の網羅性指標値を減算した差、即ち、制約関数値が負の値であり、かつ、算出された複数の網羅性指標値のうち、領域分割数の大きい方の網羅性指標値、即ち、目的関数値が大きい程、パラメータの評価値が良いと判断する。
【００８５】
図３４中、評価部２７から最適化ソルバ２３に供給される制約関数値の供給パスは、最適化問題の第２の例を用いる場合に使用される。一方、最適化問題の第１の例を用いる場合、図３４中、◆印で示すように、評価部２７から最適化ソルバ２３に供給される制約関数値の供給パスは省略可能である。
【００８６】
これにより、制御部２２は、前記最適化問題の最適解（φｉ，ωs,ｉ）を用いて、実験計画、即ち、複数の時系列の入力データの入力値を、周波数が周期的に変動する関数に基づいて生成して出力する。この例では、複数の時系列の入力データの入力値は、第１の入力データの入力値と第２の入力データの入力値とを含む。
【００８７】
制御部２２、網羅性指標算出部２４、周波数算出部２５、入力値算出部２６及び評価部２７は、最適化ソルバ２３が解いた最適化問題の解を用いて、各入力データの入力値を、周波数が周期的に変動する関数に基づいて生成する処理を実行する生成部の一例を形成可能である。生成部は、例えば前記解に含まれる、関数の周波数変動の周期と位相のうち少なくとも一方を、各入力データの周波数の網羅性が一定以上となる、各入力データ毎に異なる値に設定する設定処理を実行する。生成部は、入力データ生成装置２１内の最適化ソルバ２３から最適化問題の最適解を取得しても、入力データ生成装置２１の外部の最適化ソルバから最適化問題の最適解を取得しても良い。
【００８８】
網羅性指標算出部２４は、評価対象の空間である各入力データの周波数空間を複数の分割領域に分割し、分割された全分割領域数に対して、各時刻の各入力データの周波数を示す実験点が配置された分割領域数の割合から算出した第１の網羅性指標値を、最適化問題の解を求める最適化ソルバ２３に入力する算出手段の一例を形成可能である。また、網羅性指標算出部２４は、上記第１の網羅性指標値と、評価対象の空間である各入力データの入力値空間を複数の分割領域に分割し、分割された全分割領域数に対して、各時刻の各入力データの入力値を示す実験点が配置された分割領域数の割合から算出した第２の網羅性指標値との平均値から求めた網羅性指標値を、最適化問題の解を求める最適化ソルバ２３に入力する算出手段の一例を形成可能である。前者が上記網羅性指標の第１の例を用いる場合に相当し、後者が上記網羅性指標の第２の例を用いる場合に相当する。
【００８９】
図２７に示す領域分割数の決定処理中、ステップＳ１１，Ｓ１２の処理は、図３４に示す制御部２２により実行可能である。ステップＳ１３の処理は、図３４に示す最適化ソルバ２３、網羅性指標算出部２４、周波数算出部２５、入力値算出部２６及び評価部２７により実行可能である。ステップＳ１４の処理は、図３４に示す制御部２２、入力値算出部２６及び評価部２７により実行可能である。
【００９０】
また、図２８に示す領域分割数の決定処理中、ステップＳ２１〜Ｓ２３の処理は、図３４に示す制御部２２により実行可能である。ステップＳ２４の処理は、図３４に示す最適化ソルバ２３、網羅性指標算出部２４、周波数算出部２５、入力値算出部２６及び評価部２７により実行可能である。ステップＳ２５の処理は、図３４に示す制御部２２、入力値算出部２６及び評価部２７により実行可能である。ステップＳ２６〜Ｓ２９の処理は、図３４に示す網羅性指標算出部２４、周波数算出部２５、入力値算出部２６及び評価部２７により実行可能である。
【００９１】
図３０に示す評価処理中、ステップＳ４１の処理は、図３４に示す制御部２２、周波数算出部２５及び入力値算出部２６により実行可能である。ステップＳ４２の処理は、図３４に示す制御部２２及び網羅性指標算出部２４により実行可能である。ステップＳ４３の処理は、図３４に示す制御部２２及び評価部２７により実行可能であり、評価処理の評価結果を図２６に示す表示装置１２４に表示する処理を含んでも良い。
【００９２】
なお、図３４に示す入力データ生成装置２１において、制御部２２、網羅性指標算出部２４、周波数算出部２５、入力値算出部２６及び評価部２７は、上記の評価処理を実行する評価装置の一例を形成可能である。制御部２２、周波数算出部２５及び入力値算出部２６は、複数のパラメータを用いる非ランダムな関数から、夫々が複数の値を持つ複数の実験点を含む時系列の入力データ群を生成する、評価装置の生成手段を形成可能である。制御部２２及び網羅性指標算出部２４は、時系列の入力データ群に対し、当該入力データ群の実験点の次元に対応した評価対象の空間を異なる複数の領域分割数で分割した分割領域の夫々について、実験点の存在の有無から網羅性指標を算出する、評価装置の算出手段を形成可能である。制御部２２及び評価部２７は、複数の領域分割数での網羅性指標に基づき、複数のパラメータを評価する、評価装置の評価手段を形成可能である。
【００９３】
上記の実施例によれば、評価対象の空間の状況に関わらず、複数の領域分割数を用いて評価対象の空間の網羅性の評価を適切に行うことができる。
【００９４】
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
複数のパラメータを用いる非ランダムな関数から、夫々が複数の値を持つ複数の実験点を含む時系列の入力データ群を生成する生成処理と、
前記入力データ群に対し、前記入力データ群の実験点の次元に対応した評価対象の空間を異なる複数の領域分割数で分割した分割領域の夫々について、実験点の存在の有無から網羅性指標を算出する算出処理と、
前記複数の領域分割数での前記網羅性指標に基づき、前記複数のパラメータを評価する評価処理と、
をコンピュータに実行させるための評価プログラム。
（付記２）
前記算出処理は、
与えられた前提条件に含まれる、実験計画で用いる実験点数及び入力データ数を元に、次式に従って領域分割数Ｄ１，Ｄ２を決定し、
【数３】
2019159822.tif 000007
領域分割数Ｄ２＝領域分割数Ｄ１−１
【数４】
2019159822.tif 000008
前記前提条件に含まれる、非最適化対象である関数パラメータ、周波数変動の角周波数の制約及び実験時間を元に最適化問題を作成し、
前記領域分割数Ｄ１，Ｄ２の夫々で算出した網羅性指標値の平均値から求めた前記最適化問題の目的関数値が一定以上となるように前記最適化問題を解き、
最適解を使用して前記実験計画を作成し、当該実験計画から前記最適化問題の解を求める、
領域分割数の決定処理を含むことを特徴とする、付記１記載の評価プログラム。
（付記３）
前記評価処理は、前記目的関数値が大きい程、前記複数のパラメータの評価値が良いと判断することを特徴とする、付記２記載の評価プログラム。
（付記４）
前記算出処理は、
Ｍを３以上の自然数に設定して領域分割数＝Ｍ，Ｍ−１を求め、
与えられた前提条件に含まれる、非最適化対象である関数パラメータ、周波数変動の角周波数の制約及び実験時間を元に、最適化問題を作成し、
前記領域分割数＝Ｍ，Ｍ−１で算出された複数の網羅性指標値のうち、領域分割数の大きい方の網羅性指標値から前記最適化問題の目的関数値を求め、閾値Ｔから、前記算出された複数の網羅性指標値のうち、領域分割数の小さい方の網羅性指標値を減算した差から前記最適化問題の制約関数値を求め、前記制約関数値が基準値以下の条件で前記目的関数値が一定以上となるように前記最適化問題を解き、
最適解を使用して実験計画を作成し、
作成した前記実験計画について、前記領域分割数＝Ｍ，Ｍ−１のときの網羅性指標ＣＭ，ＣＭ−１を算出し、ＣＭ−１≧Ｔ、かつ、ＣＭ≧Ｔでないと、作成した前記実験計画から前記最適化問題の解を求める、
領域分割数の決定処理を含むことを特徴とする、付記１記載の評価プログラム。
（付記５）
前記評価処理は、
前記算出された複数の網羅性指標値のうち、前記領域分割数の大きい方の網羅性指標値を前記目的関数値とし、
前記閾値Ｔから、前記算出された複数の網羅性指標値のうち、前記領域分割数の小さい方の網羅性指標値を減算した前記差を前記制約関数値とし、
前記閾値Ｔが１以下の場合、前記制約関数値が負の値であり、かつ、前記目的関数値が大きい程、前記複数のパラメータの評価値が良いと判断することを特徴とする、付記４記載の評価プログラム。
（付記６）
前記算出処理は、
前記入力データ群に含まれる複数の入力データの周波数空間又は入力値空間を与えられた領域分割数で領域分割して前記評価対象の空間を領域分割する第１の処理と、
各分割領域に配置される実験点数をカウントする第２の処理と、
全分割領域に対して実験点が配置された分割領域の割合を算出する第３の処理と、
与えられた全ての領域分割数に対して、前記第１乃至第３の処理を実行する処理と、
を含むことを特徴とする、付記１乃至５のいずれか１項記載の評価プログラム。
（付記７）
前記算出処理は、
前記入力データ群に含まれる複数の入力データの周波数空間を分割領域に分割し、
分割された全分割領域数に対して、各時刻の各入力データの周波数を示す実験点が配置された分割領域数の割合から網羅性指標値を求め、
前記周波数空間を１つの入力データについて分割する分割数を、領域分割数とする、
ことを特徴とする、付記１乃至６のいずれか１項記載の評価プログラム。
（付記８）
前記算出処理は、
前記入力データ群に含まれる複数の入力データの周波数空間を第１の分割領域に分割し、
分割された全ての第１の分割領域数に対して、各時刻の各入力データの周波数を示す実験点が配置された第１の分割領域数の割合から第１の網羅性指標値を求め、
前記周波数空間を１つの入力データについて分割する第１の分割数を、第１の領域分割数とし、
前記入力データ群に含まれる複数の入力データの入力値空間を第２の分割領域に分割し、
分割された全ての第２の分割領域数に対して、各時刻の各入力データの入力値を示す実験点が配置された第２の分割領域数の割合から第２の網羅性指標値を求め、
前記入力値空間を１つの入力データについて分割する第２の分割数を、第２の領域分割数とし、
第１の網羅性指標値と第２の網羅性指標値の平均値から網羅性指標値を求める、
ことを特徴とする、付記１乃至６のいずれか１項記載の評価プログラム。
（付記９）
複数のパラメータを用いる非ランダムな関数から、夫々が複数の値を持つ複数の実験点を含む時系列の入力データ群を生成する生成手段と、
前記入力データ群に対し、前記入力データ群の実験点の次元に対応した評価対象の空間を異なる複数の領域分割数で分割した分割領域の夫々について、実験点の存在の有無から網羅性指標を算出する算出手段と、
前記複数の領域分割数での前記網羅性指標に基づき、前記複数のパラメータを評価する評価手段と、
を備えたことを特徴とする、評価装置。
（付記１０）
前記算出手段は、
与えられた前提条件に含まれる、実験計画で用いる実験点数及び入力データ数を元に、次式に従って領域分割数Ｄ１，Ｄ２を決定し、
【数３】
2019159822.tif 000009
領域分割数Ｄ２＝領域分割数Ｄ１−１
【数４】
2019159822.tif 000010
前記前提条件に含まれる、非最適化対象である関数パラメータ、周波数変動の角周波数の制約及び実験時間を元に最適化問題を作成し、
前記領域分割数Ｄ１，Ｄ２の夫々で算出した網羅性指標値の平均値から求めた前記最適化問題の目的関数値が一定以上となるように前記最適化問題を解き、
最適解を使用して前記実験計画を作成し、当該実験計画から前記最適化問題を解を求める、
領域分割数の決定処理を実行することを特徴とする、付記９記載の評価装置。
（付記１１）
前記評価手段は、前記目的関数値が大きい程、前記複数のパラメータの評価値が良いと判断することを特徴とする、付記１０記載の評価装置。
（付記１２）
前記算出手段は、
Ｍを３以上の自然数に設定して領域分割数＝Ｍ，Ｍ−１を求め、
与えられた前提条件に含まれる、非最適化対象である関数パラメータ、周波数変動の角周波数の制約及び実験時間を元に、最適化問題を作成し、
前記領域分割数＝Ｍ，Ｍ−１で算出された複数の網羅性指標値のうち、領域分割数の大きい方の網羅性指標値から前記最適化問題の目的関数値を求め、閾値Ｔから、前記算出された複数の網羅性指標値のうち、領域分割数の小さい方の網羅性指標値を減算した差から前記最適化問題の制約関数値を求め、前記制約関数値が基準値以下の条件で前記目的関数値が一定以上となるように前記最適化問題を解き、
最適解を使用して実験計画を作成し、
作成した前記実験計画について、前記領域分割数＝Ｍ，Ｍ−１のときの網羅性指標ＣＭ，ＣＭ−１を算出し、ＣＭ−１≧Ｔ、かつ、ＣＭ≧Ｔでないと、作成した前記実験計画から前記最適化問題の解を求める、
領域分割数の決定処理を実行することを特徴とする、付記９記載の評価装置。
（付記１３）
前記評価手段は、
前記算出された複数の網羅性指標値のうち、前記領域分割数の大きい方の網羅性指標値を前記目的関数値とし、
閾値Ｔから、前記算出された複数の網羅性指標値のうち、前記領域分割数の小さい方の網羅性指標値を減算した前記差を前記制約関数値とし、
前記閾値Ｔが１以下の場合、前記制約関数値が負の値であり、かつ、前記目的関数値が大きい程、前記複数のパラメータの評価値が良いと判断する、
処理を実行することを特徴とする、付記１２記載の評価装置。
（付記１４）
前記算出手段は、
前記入力データ群に含まれる複数の入力データの周波数空間又は入力値空間を与えられた領域分割数で領域分割して前記評価対象の空間を領域分割する第１の処理と、
各分割領域に配置される実験点数をカウントする第２の処理と、
全分割領域に対して実験点が配置された分割領域の割合を算出する第３の処理と、
与えられた全ての領域分割数に対して、前記第１乃至第３の処理を実行する処理と、
を実行することを特徴とする、付記９乃至１３のいずれか１項記載の評価装置。
（付記１５）
コンピュータにより実行される評価方法であって、前記コンピュータが、
複数のパラメータを用いる非ランダムな関数から、夫々が複数の値を持つ複数の実験点を含む時系列の入力データ群を生成し、
前記入力データ群に対し、前記入力データ群の実験点の次元に対応した評価対象の空間を異なる複数の領域分割数で分割した分割領域の夫々について、実験点の存在の有無から網羅性指標を算出し、
前記複数の領域分割数での前記網羅性指標に基づき、前記複数のパラメータを評価する、
ことを特徴とする、評価方法。
（付記１６）
前記算出処理は、
与えられた前提条件に含まれる、実験計画で用いる実験点数及び入力データ数を元に、次式に従って領域分割数Ｄ１，Ｄ２を決定し、
【数３】
2019159822.tif 000011
領域分割数Ｄ２＝領域分割数Ｄ１−１
【数４】
2019159822.tif 000012
前記前提条件に含まれる、非最適化対象である関数パラメータ、周波数変動の角周波数の制約及び実験時間を元に最適化問題を作成し、
前記領域分割数Ｄ１，Ｄ２の夫々で算出した網羅性指標値の平均値から求めた前記最適化問題の目的関数値が一定以上となるように前記最適化問題を解き、
最適解を使用して前記実験計画を作成し、当該実験計画から前記最適化問題の解を求める、
領域分割数の決定処理を含むことを特徴とする、付記１５記載の評価方法。
（付記１７）
前記評価処理は、前記目的関数値が大きい程、前記複数のパラメータの評価値が良いと判断することを特徴とする、付記１６記載の評価方法。
（付記１８）
前記算出処理は、
Ｍを３以上の自然数に設定して領域分割数＝Ｍ，Ｍ−１を求め、
与えられた前提条件に含まれる、非最適化対象である関数パラメータ、周波数変動の角周波数の制約及び実験時間を元に、最適化問題を作成し、
前記領域分割数＝Ｍ，Ｍ−１で算出された複数の網羅性指標値のうち、領域分割数の大きい方の網羅性指標値から前記最適化問題の目的関数値を求め、閾値Ｔから、前記算出された複数の網羅性指標値のうち、領域分割数の小さい方の網羅性指標値を減算した差から前記最適化問題の制約関数値を求め、前記制約関数値が基準値以下の条件で前記目的関数値が一定以上となるように前記最適化問題を解き、
最適解を使用して実験計画を作成し、
作成した前記実験計画について、前記領域分割数＝Ｍ，Ｍ−１のときの網羅性指標ＣＭ，ＣＭ−１を算出し、ＣＭ−１≧Ｔ、かつ、ＣＭ≧Ｔでないと、作成した前記実験計画から前記最適化問題の解を求める、
領域分割数の決定処理を含むことを特徴とする、付記１５記載の評価方法。
（付記１９）
前記評価処理は、
前記算出された複数の網羅性指標値のうち、前記領域分割数の大きい方の網羅性指標値を前記目的関数値とし、
前記閾値Ｔから、前記算出された複数の網羅性指標値のうち、前記領域分割数の小さい方の網羅性指標値を減算した前記差を前記制約関数値とし、
前記閾値Ｔが１以下の場合、前記制約関数値が負の値であり、かつ、前記目的関数値が大きい程、前記複数のパラメータの評価値が良いと判断することを特徴とする、付記１８記載の評価方法。
（付記２０）
前記算出処理は、
前記入力データ群に含まれる複数の入力データの周波数空間又は入力値空間を与えられた領域分割数で領域分割して前記評価対象の空間を領域分割する第１の処理と、
各分割領域に配置される実験点数をカウントする第２の処理と、
全分割領域に対して実験点が配置された分割領域の割合を算出する第３の処理と、
与えられた全ての領域分割数に対して、前記第１乃至第３の処理を実行する処理と、
を含むことを特徴とする、付記１５乃至１９のいずれか１項記載の評価方法。
【００９５】
以上、開示の評価装置、評価方法及び評価プログラムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
【符号の説明】
【００９６】
２１      入力データ生成装置
２２      制御部
２３      最適化ソルバ
２４      網羅性指標算出部
２５      周波数算出部
２６      入力値算出部
２７      評価部
１００      コンピュータ
１２０      バス
１２１      プロセッサ
１２２      メモリ
１２５      インタフェース
【図１】
2019159822.tif 000015
【図２Ａ】
2019159822.tif 000016
【図２Ｂ】
2019159822.tif 000017
【図３】
2019159822.tif 000018
【図４Ａ】
2019159822.tif 000019
【図４Ｂ】
2019159822.tif 000020
【図５】
2019159822.tif 000021
【図６Ａ】
2019159822.tif 000022
【図６Ｂ】
2019159822.tif 000023
【図７Ａ】
2019159822.tif 000024
【図７Ｂ】
2019159822.tif 000025
【図８】
2019159822.tif 000026
【図９】
2019159822.tif 000027
【図１０】
2019159822.tif 000028
【図１１】
2019159822.tif 000029
【図１２】
2019159822.tif 000030
【図１３】
2019159822.tif 000031
【図１４】
2019159822.tif 000032
【図１５】
2019159822.tif 000033
【図１６】
2019159822.tif 000034
【図１７】
2019159822.tif 000035
【図１８】
2019159822.tif 000036
【図１９】
2019159822.tif 000037
【図２０】
2019159822.tif 000038
【図２１】
2019159822.tif 000039
【図２２】
2019159822.tif 000040
【図２３】
2019159822.tif 000041
【図２４】
2019159822.tif 000042
【図２５】
2019159822.tif 000043
【図２６】
2019159822.tif 000044
【図２７】
2019159822.tif 000045
【図２８】
2019159822.tif 000046
【図２９】
2019159822.tif 000047
【図３０】
2019159822.tif 000048
【図３１】
2019159822.tif 000049
【図３２】
2019159822.tif 000050
【図３３】
2019159822.tif 000051
【図３４】
2019159822.tif 000052