科学的方法
無論、この手法が「基礎科学」にまで広がってくることについては苦言を呈するものもいる。例えば、リース・モーリン博士は、現在の最前線における物理学の理論が、「どのような実験結果でも取り込めるほどパラメータが多い」ことを指摘したうえで、反証可能性を軽視している傾向を、「物理学の迷走」と断じている。実際、モーリン博士が指摘するように、最近の素粒子物理、量子情報、物性理論等は極めて数学に近い様相を呈しているため反証可能性の原則を逸脱していることはしばし指摘されるこれらの分野における基礎方程式の解は、大体の場合存在することを数学的に保証できるが、多体効果や組み合わせ効果の影響で解くことができない。。また、特に、萌芽的な理論においては、実験がどんな結果を出してもそれを取り込めてしまうほどパラメータが多く、しかもそのパラメータの物理的な意味が不明確であることもしばしば指摘される。現在でも、このことを理由として権威ある雑誌への掲載が拒まれることがあるとされる。但し、この傾向も最近では現実的な方向に、つまり反証可能性に偏重しない方向にシフトしつつある。
また、結論はシンプルでなければならない。結論のシンプルさに関しては、以下の「オッカムの剃刀」という原則がある。
必要以上に多くの実体を仮定するべきでない。
現象を同程度うまく説明する仮説があるなら、より単純な方を選ぶべきである。
オッカムの剃刀は、「並立する幾つかの仮説の中から、ある一つの仮説を選択する方法」の一つとして現代の科学者において、理念的な面で受け入れられているが、あまり教条的に受け入れてしまってはいけない事柄である。その理由としては、
説明に不必要であることは、存在しないことを含意しないより多くの現象を統一的な視座から説明する上では必要な概念があるかもしれない;逆二乗の法則を見ている限り、電場や磁場のような“余計"な実態を仮定しない遠隔作用論がシンプルであるが、電磁誘導や特殊相対性理論まで考えると近接作用のほうが圧倒的にシンプルである。。
何が説明に必要であるかは必ずしも明確ではない。
などの問題点がありえるからである。
科学は証拠となる事実(生データ/証拠物件)を要求する。科学者は何らかの「真偽判定」を行う場合に「どういった証拠が結論を支持し得るか」ということを考える。このような思考は一般に、科学教育において優先的に身に付けさせるべきことと考えられている。この際まず、仮説を支持する証拠と仮説の反証となる証拠を明確にする必要がある。さらに、結論を立証、あるいは反証するために必要な実験を計画する必要がある。
一般に、「仮説の反証となる証拠の存在」は、必ずしも反証となる証拠を提示された理論の否定にはつながらない(後述の「反証可能性について」を参照)が、特に実験家は、既存の理論の反証となりそうな実験を好んでターゲットにするという傾向があり、そのような反証例を基に、理論が洗練させられていく。
証拠となる事実の取得(測定)の段階では、適切な測定方法の存在が重要となる。
適切な測定方法の実現には、正しい測定原理と、それを実現する適切な装置構成、適切な精度評価が必要である。
測定原理の妥当性は、直接測定(例えば自分の身長を直接身長計で測る場合)の場合にはあまりその重要性が意識されないが、間接測定(例えば三角測量で山の高さを測る場合)には、その妥当性(本当にその方法で山の高さが測れるのか?)が極めて重要になる。また、「何を明らかにするために何をするのか」という研究者が意識すべき重要な事柄にも密接に関係する。
物理学や化学では、測定原理の妥当性の評価が比較的行いやすい対象が研究対象になるが、それでも最先端では、測定原理の妥当性や、装置構成の妥当性に対し議論が生じる場合もある。測定原理の妥当性や、装置構成の妥当性、精度の評価はそれぞれの学問における最も本質的な議題の一つであり、それぞれの学問分野で研究されることである。
測定原理の妥当性や、装置構成の妥当性については、主に大学の学生実験で重点的に指導される。逆にいえば、測定原理の妥当性と装置構成の妥当性について学ぶことが学生実験の一つの重要な意義である。典型的な例としては、ボルタ振子の実験等がある。この実験では、振り子の周期と重力加速度の関係を理論的に導いたうえで振り子の周期を測定することで、重力加速度を間接的に測定する。
測定原理、装置構成、精度の妥当性の評価を行うことを目的とした論文以外の論文では、博士論文等のような大著の論文を除き、装置構成の妥当性や装置構成の詳細、測定原理の妥当性については、軽く触れるにとどめるのが普通である。このようになった原因の一つには、知的財産権に関する戦略や、二重投稿と解釈されることへの懸念などがある。論文に実験方法詳しく書いた場合で、既に実験方法の妥当性を示すために提出した論文(理論や装置に関する論文)や、特許が存在した場合には、二重投稿と処断される可能性がある。また、論文に実験装置の構成について詳しく書きすぎると、実験の成功に関して必須でない部分に関しても装置構成に関する新規性が喪失されることになる場合があり、後に特許として権利化する場合に支障となる可能性が出てくる。
また、最近では実験ツールのキット化が進んでおり、間接測定であっても、妥当性、測定精度等の基礎評価は、実験装置、実験キットのメーカーが保証してくれていて、実験者が意識しなくても済むようになってきつつあるため、測定原理や測定精度について、意識の低い研究者がいることも指摘される。
証拠となる事実の整理(解析)、あるいは実証実験のように示すべき命題が明確になり、結論の有意性の問題に逢着
段階においては「データの解釈方法」「データの記録または報告」「データの重みづけ」等、適切なデータの取得、適切なデータの処理に関する問題が重要となる。「適切」とは、ここでは、「どのような手順でデータを取得、解析すれば偏りが少ないと認められるか」を指す。この問題は概して非常に難しく、有意性の問題といわれる。有意性の判断は先述のように分野によってどこまで容認するかに温度差があるが、この判定基準については統計学特に実験計画法
の分野の研究者が研究している事柄である。有意性の判定に関して、実験計画法では以下の3条件を原則としている(実験計画法の項目を参照のこと)。
局所管理化:影響を調べる要因以外のすべての要因を可能な限り一定にする。
反復:実験ごとの偶然のバラツキ(誤差)の影響を除くために同条件で反復する。
無作為化(ランダム化):以上でも制御できない可能性のある要因の影響を除き、偏りを小さくするために条件を無作為化する。
また、「科学的であること」の要件として必須であるとまでは言えないものの「どのようなデータの収得順序、収得方法、統計処理方法でデータの本性をえぐりだすことができるのか」という問題も重要である。この問題の系統だった研究はデータマイニングの分野で研究されている。この問題に対してカリフォルニア大学サンタバーバラ校教授 中村修二が、「データに文脈性を持たせることの重要性」を説いている。データに文脈性を持たせ、一見意味のない雑情報に見えるものの中から意味のある情報を取り出すためには、セレンディピティーや磨かれたセンス、場合によっては運が要求される問題でもある。センスを磨くためには実験ノートの有機的な活用など、実験をよく振り返ることに加え、関連するよい論文に目を通し発見の過程を分析する必要がある。
結論と、実験事実の間には何らかのギャップがあることが通常であり、その間を結ぶ考察が必要となる。すなわち、証拠と結論を結ぶ適切な推論過程が考察である。
推論過程を、一つの観点から分類すると、直接証明法と間接証明法に分類できる。
直接証明法:証明したい命題を直接的に立証する
間接証明法:証明したい命題と等価な命題(例えば対偶や背理法)を示す。
推論過程を、別の観点から分類すると、「演繹」と「演繹でない推論」に分類される(PP88-92)。
演繹とは、一般的原理として認知された法則、あるいはもっともらしいと信じられているものに基づいて、いくつかの仮定をおき、具体的なモデルを考え、それに基づいて現象を予測する手法である。
演繹でない推論(非演繹的な推論には、帰納、投射、類比、アブダクションがある。
帰納は、個別の例から一般性を導くもの。
投射はこれまでの個別例ではAの性質だったから、次のケースもAだろうという推論。
類比は、二つの事柄が似ていることから、それ以外の点でも似ているだろうという推論。
アブダクションは、たとえば今まで分かっていたことだけからではすぐに説明ができない場合に、説明を可能にするような新しい仮説を置いて、その仮説は正しいだろうと考えるような推論のこと。
ここで、アブダクションについては、あまり聞きなれない言葉であるため簡単に補足しておく。これの基本は「チャールズ・パースの仮説形成法」が基本になるとされている。パースの仮設形成法というのは、
大まかに以下のような過程で“推論"する。
驚くべき現象Fが観察されている。
だが、仮説Hが真であると仮定すると、Fは当然のことになるだろう。
よって、Hは真であると考える理由がある。
いわゆる「現象論的」と言われる考察においては、このような考え方が特に好んで用いられる。また、現在において認められている理論のほとんどすべては、「多数のFを説明できるからHは正しい」といった論拠に基づいており、逆に言えば、どれだけの(多さの)Fを説明できるかがその理論の優劣を決める。このようなモデルに基づいた仮説形成法は、「必要条件と十分条件の混同」という点においてデカルトの枠組みを若干逸脱しているが、特に「情報量が増える」こともあり、科学的な論証の推論過程においてよく用いられる。
演繹においては、「正しい前提に基づけば必ず正しい結論が得られる」という意味で真理が保存される一方、情報量は増えない。
一方、非演繹的論法は、「蓋然的」、すなわち、「必然的ではない、結論が必ず正しいとは限らない」という特徴があり、一方で「情報量が増える」ということがある。
科学者は、両者の良しあしを使い分け、試行錯誤の過程において、例えば「少数の現象から、それらを統一的に説明する仮説を帰納し、その仮説からより多くの現象を予測する」といったように、これらの論法を組み合わせる。
考察を行うに当たっては、必要に応じて、何らかの理論や既に公表された他の実験データなどを援用し、証拠を補完する必要がある場合もある。しかし、ある程度信頼を得ている理論ですら完全な証拠の補完ができず、いくつかの推定が根拠の中に混ざる場合や、推論過程自体に粗が存在する場合もある。一般に、「どのような推論過程」が適切であるのかは、その研究のオリジナリティーにかかわる部分であり、特に研究レベルでは極めて難しい。
実際、物理の重要な概念を創造した論文は、たいていは隙がある論理展開をしていると指摘される。
通常の学部レベルで想像される緻密な理論展開は、創造的理論を受けてその内容を精密化したり整理する過程で生じる。
このように科学においては論理性を重視する一方で、現実の対象を扱っていることによる若干の論理の飛躍を認めざるを得ない側面がある。一般に、現実の対象を扱う学問では多少飛躍を許してでも学問を進めたほうが、後になってみて分かることが多いと信じられている。反面、この意味では「科学的な方法によって得られた結論」であるというだけでは「科学的に正しいか否か」「現実的に正しいか否か」「現実的に役立つか否か」は必ずしも一致するとは限らない。問題は、「ギャップを認めつつも推論を進め、意味のある仮説を提唱し、それを広め、集団で検証する」という建設的な立場の重要性にある。
論理の飛躍としては、
必要条件と十分条件の意図的な混同(チャールズ・パースの仮説形成法)
などがある。それぞれそういうものを認めざるを得ない相応の理由がある。
では、どこまでの飛躍やあいまいさを容認するのか。これは非常に難しい問題であり「真実への到達」を考えるならば安易に結論できない問題である。だが標語的に「仮説は失敗を恐れずに大胆に立てろ」といわれるように、一般に建設的な立場においては「真実に到達する」ためには「いろいろな“とるに足る"論」があったほうがよいと考えられている。
最終的には「どれだけ沢山の自然現象を説明できるか」が科学理論の良し悪しを決めるため、
裁判における証拠の鑑定や、法律制定の基礎調査等のような「真実性」の重要性が圧倒的に高いケースを除き、
この問題は、過度に深刻に考える必要性は乏しい。どこまでの論理の飛躍を認めるかについては「研究者のタイプ論」から説明されることもある。研究者のタイプはしばし(呼び方は別として)「先頭突撃型」と「地固め型」に分類され、前者の場合は文字どおり、多少乱雑かもしれない実験や推論をする反面、重要な発見をする。逆に地固め型は過去の研究の“粗"の部分を補正する。
この論理の飛躍に関しては、「論文として世に出す価値を認めるか否か」に話を限局すれば節度の問題となっていて、ピア・レビューの過程で、前例やその報告の面白さなどを踏まえながら決まっていくものである。ピア・レビューで出来ることは、せいぜいその程度のことであり過度な期待はいけない。この時点におけるレフェリーとの応酬に勝つためには当然、過去の論文を多く読みその論法を見ておく必要がある。また粗がある議論があって、それを部分的にでも修正することができるのならば(それを論理的に立証できる限り)それは論文を書くチャンスである。
科学的な実験においては、実験のデザインが重要である。実験のデザインというのは、ここでは、
どのように測定対象をグループ分けし、
それぞれのグループにおいて、
どのような設定/測定条件において(実験条件の振り方,キザみ方を含む)
どのような数サンプル数だけ測定し、
どのような手段で可視化/比較/統計的に解析するか
を指す。実際の論文において、IMRAD型の論文であれば「材料と方法」等といったタイトルの節があるが、「材料と方法」欄に「実験のデザイン」という項目が設けられていることがある。調査や研究が科学的であるためには、実験のデザインが妥当であること、実験のデザインが適切に(論文中に)開示されていることが重要である。
うち、「どのような測定手段」の部分については、測定原理や概念操作化それぞれの専門分野で考えられる分野個別的な問題であり、本記事のスコープから外れるため説明の対象外とする。但し、「同じ」ものを測る代替手段がいくつか存在する場合にはいくつかの測定手法を並行して用いることが望ましい等といった基本原則は存在する例えば、「表面の凹凸をSTMとAFMで測り両者の共通点や相違点を見る」、「英語力をTOEICと英検の両方で測定しておく」のように。。
それ以外は、統計的な観点を濃厚に含む。意味のある統計手段を行使するためには、少なくとも以下が必要である
,,,,,,。
適切な方法で実験条件を振る/キザむこと(所謂「条件出し」の問題)
適切な統計手法/検定統計量/検定手法の採用
統計的な相関、差異の適切な解釈
本節では、まず、「実験デザインの例」を例示した上で、上記それぞれの観点について簡単に説明する。
論文においては本来このような実験条件の振り方キザみ方や、実験データの解析/処理の仕方を(専ら統計的な観点から)が読者にわかるように
情報提供が行われなければならない。以下、「実験のデザイン」の典型的な例を挙げて例解する。
<<グループ間の差の検定の例>>
サンプル:「無作為に抽出された50代以上の男性100人を」
グループ分け:「酒を1日に500 mL以上飲む群と,それ以外にグループ分けし」
比較するデータ:「体重を比較し」
検定量:「2集団の平均値に差がないという帰無仮説を」
検定方法:「t検定によって検定した」
<<1因子実験の例>>
サンプル:文献1に記載のレシピ(タマゴ焼き)について、
制御因子:卵2個あたりの砂糖の量(g)を
条件の振り方(水準の設定):10g 〜20g の間で2g刻みで振り
比較するデータ:100人の被験者に無作為に配布し、味をとてもまずい(1)〜とてもおいしい(5)の5段階で評価してもらい。
統計処理:それぞれの条件に対し被験者がつけた評点の平均値と、ばらつきを評価する。
また、評価の順序(プロトコールという意味ではない)が重要なケース、即ち、実験Aと実験Bのどちらを先に実施したかが実験結果に影響を与えかねない場合の例として
<<どちらの実験を先に行ったかによって実験結果が変わり得る場合の例>>
卵2個あたりの砂糖の量が「(a)卵2個あたり12g」 と「(b)卵2個あたり18g」のどちらの場合がより美味しいかを、「食べ比べによって比較してもらう場合」
については、同じ人が評価するとして「(a)の卵焼きを先に食べた場合」と「(b)の卵焼きを先に食べた場合」で評価が変わる可能性が充分ある。このような場合、評価の順序に対する公平性を担保するために例えば、
100人の被験者をランダムにA,B,C,Dの4群に分け、
A群には(a)の卵焼きを先に食べてもらう
B群には(b)の卵焼きを先に食べてもらう
C群は2回とも(a)の卵焼きを食べてもらう
D群は2回とも(b)の卵焼きを食べてもらう
といったように評価の順番を無作為化することが必要となる。
さらに言えば、上記の実験でもC,Dはコントロール(対照群)が置かれているが、「どのような対照群を置くのか」という問題も検討する必要がある。
科学的な実験においては、被験者や、測定サンプルを適切なグループにグループ分けし、グループ内での差とグループ間での差異を検討する必要がある。
,,,,,,。大ざっぱにいえば、グループ内での差(バラつき)がグループ間の差に対し充分大きければ有意な差ということであり、
そうでなければ有意な差ではないということになる。このような実験の例としては、対照実験やコホート研究がある。
グループ分けの最も簡単な例は「対照実験」といわれ実験手法であろう。「対照実験」とは、二つの状況を設定して、一つだけ条件を変え、他の条件は同じにしておくように設定された実験のことである。
条件を変えてない方を「実験群」といい、変えた方を「対照群」と言う。即ち、対照実験とは、
集団/サンプル:均質な被験者の集団(例えば「風邪を引いた人達」)や均質な測定サンプルの集団を、
因子:一つの因子について(例えば「風邪薬を投与」)に関して"のみ"、
グループ分け(属性A):因子有の群(実験群,本例では「風邪薬を投与した群」)と、因子無しの群(対象群,本例では「風邪薬を投与しなかった群」)に分けて
比較(属性B):効果を比較する
ような1因子実験のことである。このような実験デザインによって、「特定の一つの観点や因子の“有無"が、効果の有無につながるか否か」が鑑別出来る。
対照実験の結果の解釈について、科学哲学者の戸田山和久は、「四分割表」(統計学でいうところの2×2分割表の1種)という表を用いて解釈するとわかりやすいと述べている。四分割表とは、以下の表のように、縦の見出し列を「因子の有無」(原因)、横の見出し行を「効果の有無」(結果)にわけてデータを整理するための表である。このように区分することで、表は、以下の
(イ)因子有、効果有
(ロ)因子有、効果無
(ハ)因子無、効果有
(ニ)因子無、効果無
の4つのセグメントに分かれる。被験者の集団や測定サンプルの集団のうちそれぞれのセグメントに何人(何サンプル)が入るのかから、その因子の程度がある程度わかる。
(実際にはきちんとした検定が必要であるが、検定をする上でもこのような考え方を知っておくと説明がしやすい。)尚、「独立性の検定」という観点からは、科学哲学者の戸田山和久は「四分割表」を「対照実験」の観点に限って説明しているが、統計学における2×2分割表は、属性A(本例では、因子の有無)、属性B(本例では効果の有無)がそれぞれ2つの階級(水準)(A1,A2,B1,B2)を持つというような問題において、属性Aと属性Bの独立性を検定するというより一般の問題を取り扱うことが出来る(属性Aが原因で、属性Bが結果である必要は必ずしもない)。さらに、属性A,Bの階級がそれぞれm,nの場合にも問題(m×n分割表の問題)は拡張可能で、この問題も「独立性の検定」の話である。
表:四分割表
例えば以下の問題を検討してみよう。
1000人の風邪の人がある薬を飲み、XX人が回復したとしよう。これに対して薬は風邪に効くと結論付けてよいか?
より正確な設定は以下のとおりである。
サンプル:「風邪を引いた人2,000人を」
グループ分け:「ある風邪薬を投与した群1,000人」と「そうでない群1,000人」とに分け
効果の測定:「2日以内に治ったか否かを評価する」
結果の例を以下の表に4例上げてみる。尚以下の(イ)〜(ニ)は四分割表のそれぞれのセグメントである。
例1は、自然治癒した例(ニ)は1,000件中1例しかなく、薬を投与しても治らなかった例は1,000件中1例しかない。圧倒的に効果有りと推定されよう。
但し「効果の測定」が「2日以内に治ったか否かを評価する」という手法だが、薬を飲んだ群のほとんどがぎりぎり2日以内に治っていて、そうでない群がぎりぎり2日以降に治っていた等という可能性もあり得る。閾値の設定の問題が恣意的でないということは前提にある。
例2は、薬を飲んでも飲まなくても結果が同じであり、「薬を飲んだ人はほとんどみんな治っている」けれども、「薬の効果は無い」と推定されよう。
例1同様に閾値や効果測定の設定の問題はある。今回は「治るまでの期間はかわらないが、だいぶ楽に過ごせた」といった効果を効果とは見なしていないが、効果測定の観点をどうするかによって、結論が変わる可能性はある。また、今回の例では薬の量は投与するか否かの2択しかないが、量が妥当だったかという問題もある(⇒一因子実験)。
例3については、実験群の中での治癒率((イ)/(イ+ロ))=80% は、対照の中での治癒率((ハ)/(ハ+ニ))=60%に対して大きい。この差が“優位ではないか"と思われるほど大きい。正確な検定が必要である。
例4では、実験群の中での治癒率((イ)/(イ+ロ))と、対照の中での治癒率((ハ)/(ハ+ニ))の差がたいしてかわらない。従って効果がないと思われる。
但し、上記の閾値や効果測定法の問題に加え、「特定の機序の関与」がある場合も考えられる。これについては、イレッサの例で見てみよう。
総じて、対照実験というのは例2のような愚を犯さない上では有効だけれども、「介入の有無」、「効果の有無」を二値化していることにより
介入の強さ(薬の投与量)は妥当だったのか?(主に効果が見られなかった場合)
効果判定の閾値設定が恣意的でなかったのか?(効果があった場合もなかった場合も)
という問題がある。そこで、(一つの因子に対する)介入の強さと効果判定のそれぞれを多段階にした一因子実験という考え方が出てくる。
一因子実験においても、実験条件(介入の強さ,横軸)と効果判定(効果の強さ,縦軸)に取り、適切に象限を分けると、四分割表の考え方である程度理解可能である。
一方で、作用機序の問題は残っている。作用機序の問題とは、例えば以下のような事例が存在する。
このうち、海外で行われた1つの試験(INTEREST試験)では、イレッサによって、従来型抗がん剤と同程度の延命効果が得られることが証明されていますが、ほぼ同じデザインで行われた国内の試験(V15-32試験)では、延命効果を明確に証明することはできませんでした。また、海外で行われたもう1つの試験(ISEL試験)では、プラセボよりも延命効果がありそうだったのですが、明確な証明には至りませんでした。(より引用)
この事例は臨床薬の治験の事例であるため、上記の例4に比べ、はるかに高度で精密な条件設定がなされているわけだが、
簡単に考えれば上記の例4と似たような事例である。イレッサのような分子標的薬は、「特定の機序でがんになった人にはよく利くが、そうでない人には殆ど効果がない」
という性質がある。例4の場合でも、「(イ)に相当する10人の一部は、この薬のおかげで治ったかもしれない」という可能性が残る。こういった場合には、「薬が効いた群とそうでない群」に何らかの違いがないかを検討することが望まれる。
科学的な実験においては、適切な方法で「実験条件を振る」こと「条件出し」をすることが必要となる。このような行為は、特に技術者や工学者の間では「条件を振る」、「条件を出す」という用語で表現される。これらの用語は、慣用的な使われ方をされることが多く、意味範囲が広い場合も狭い場合あるため、本記事では以下意味で用いることにする。
条件を振る:複数の条件で実験してみること/試作してみることによって、目的にかなった実験/作成条件を探索すること。
条件出し(条件を出す):複数の条件で実験してみること/試作してみることによって、目的にかなった実験/作成条件を見出すこと。
例えば、「大砲の射出角度を0度から90度まで1度刻みでキザみ、最も砲弾の飛行距離が長い条件を見出だす」、「培地の組成成分として様々なものをためし、細胞が最もよく育つ組成を見つける」、「乳牛の品種として、ホルスタイン、ジャージのどちらが沢山牛乳を出すかを調べる」といった実験は「条件出し」の一例である。
「条件出し」には、「実験条件」(因子)と「評価観点」が少なくとも定められていなければならない。
実験条件(因子):上の例においても「大砲の射出角度」、「細培地の組成成分」、「乳牛の品種」がこれに相当する。実験条件の探索の仕方としては、単因子実験(「大砲の射出角度」のように1つの因子の影響だけを検討する)であっても、多因子実験(培地成分のうち、グルコース、リジン、ビタミンCの濃度を振るといったように、複数の因子の影響を検討する)であってもよく、必ずしも(実験計画法等の)理論に裏付けられた手法に基づけられた探索手法であるとは限らない。また、因子としては、「XXの濃度」、「射出角度」のように数字で定量化可能な「パラメータ」であることもあれば、「材料名」、「品種」、「タイムコース」のように数字で定量化出来ない「種類」であることもある。
評価観点:上の例においては、「砲弾の飛行距離」、「細胞が最もよく育つ」がこれに相当する。評価観点は「目標値」や「評価関数」を設定する形で定量化される。評価値、即ち実験データが基準値の中に入って入ればよいとする立場もあれば、評価値をプロットした特性曲線の形が望ましい形状であることと立場もあれば、評価値を変数とする評価関数が最大、最小、目標値に最も近いといったことを以て目標に合致していることを評価することもある。場合によっては経験的な識見に基づいて「不具合などの有無」を総合的に判定する場合もある。評価基準の設定や、評価基準の定量化は、実験全体の目的(上位の目的)や、設計仕様に依存する。
基本的なレベルにおいては、条件の振り方は以下のような考え方がなされる
複数のパラメータを同時に動かすな(安易に「多因子実験」をするな)
このような考え方の根底には、「条件出し」は、「評価値(実験データ)を、実験条件に基づいて比較する」という基本的な考え方がある。因子や評価基準を複雑に考えると、「何と何を、何に基づいて比較しているのか」がわかりにくくなる。
しかし、現実には複数のパラメータが因子となり得て、さらにはパラメータ間の交互作用が考えられる。検討するパラメータの数が多くなれば多くなるほど、パラメータの刻み方が多くなれば多くなるほど「組み合わせ爆発」ともいえる様な現象が起こり、評価すべき「実験条件の組み合わせ」が膨大となる。このような問題に対して、タグチメソッド等の手法が存在する。
また、現実の問題では「良し悪し」は複数種類のデータに基づいて総合的に判断せねば評価できないことも多い。例えば「家を買う」という(条件出しというにはあまりに日常的な)ですら、問題に対しても評価観点として、「駅から近く、閑静で、値段も安く、…」というように多数のの観点が存在する。これらの評価観点には、当然トレードオフが存在する(駅からの距離と値段とは両立しないというように)ため、それぞれの評価観点に適切な重みづけをする等をしたり、より複雑な場合には何らかの評価関数を設定する等が行われる。