科学的方法
条件を振る際には、「実験条件のキザみ方」も問題になる。「実験条件のキザミ方」というのは、「どの条件を細かく振るか」といった事柄を指し示す概念で、
初等的な理解としては、
実験結果に支配的な影響を及ぼすパラメータは広いレンジで条件を振る。
最適条件に近いと思われる条件の付近では細かく条件を振る。
広いレンジで傾向を見る(粗探索)ときは試行回数は少なくてもよいが、最適条件に近いと思われる条件については充分な試行回数で実験する(Nを稼ぐ)のが望ましい。
といったことがよく言われる。このようにすることで、より良い条件が見つかったり、最適条件のロバスト性が評価出来たり、少ない回数で信頼性に高い結果がえられたりといったメリットがある。
先述の「大砲の射出角度」では、例えば「まず5度間隔で粗く条件を振り、飛行距離が長かった条件の付近だけ1度キザミで条件を振る」といったことをすることですべてのレンジで平等に1度キザミで条件を振るよりも効率よく条件出しができようもちろん例によっては、こういうやりかたをしたことによって、真の最適解を見逃す可能性もあり得る。。
科学的な考察を加えるためには、適切な統計手法/検定統計量/検定手法の採用が必要である
,,,,。
「検定」という言葉は(統計用語に限ったとしても)以下の異なる意味の間で使われており、人によって用語の使い方がまちまちのものもある。従って
本記事の中での用語を以下のように統一する。単に「検定」といった場合には、以下のどの意味で言っているかがあまり重要でない場合を意味するものとする。
仮説検定:帰無仮説がどの程度正しくないかを判定する作業(多くの場合p値を算出する作業)作業そのもの。
検定の目的:「母集団の検定」,「母分散の検定」,「平均値の差の検定」,「等分散の検定」,「比率の検定」,「適合度の検定」,「独立性の検定」
検定手段:二項検定,z検定,t検定,F検定,カイ二乗検定(ピアソン検定),U検定(マンホイットニー検定),符号検定,Wilcoxon検定,フィッシャーの直接確率検定,中央値検定等のように検定の手法の名称
検定統計量そのもの:標本データから一定のアルゴリズムに従って算出される量を一般に統計量という。集団としてある確率分布を仮定(仮説)しておけば、それから統計量に相当する確率変数が、検定に用いられるような確率分布(例えばカイ二乗分布)に従うことになる。このような統計量のことを「検定統計量」と呼ぶことにする。(通常p値を含む場合が多いが、p値は検定統計量に含まないとする)
仮説検定は、多くの場合、概ね以下の手順で実施されるp113。
ステップ1:帰無仮説(H0),対立仮説(H1),有意水準(α)
ステップ2:標本から検定統計量を算出する。
ステップ3:上記の検定統計量に対し適切な統計手法を行使し、棄却域に入っているかを判定する。
ステップ4:上記“ステップ3"の結果が棄却域に張っている場合には、H0を棄却し、H1を採択する。
多くの場合では、ステップ3ではp値といわれる値を算出する。
p値とは、大ざっぱにいえば0から1までの間に値をとる数であり、帰無仮説が正しい確率(従って「対立仮説が誤っている確率」)を表す指標のことである。
p値が0の場合帰無仮説は“絶対に誤り"であり、p値が1の場合には帰無仮説は
“絶対に正しい"ので、p値が小さければ小さいほど対立仮説の正しさが増すことになる(実際にp値が0や1になることはほぼ起こらない)。
p値は、検定統計量と検定手法が決まれば一意に定まるが、これが異なると値が異なることもある(方法によって値が異なる)。
z検定,t検定,F検定カイ二乗検定(ピアソン検定),U検定(マンホイットニー検定),符号検定,Wilcoxon検定,フィッシャーの直接確率検定,中央値検定等のように、様々な検定手法が存在する。
例えば、z検定,t検定,F検定,カイ二乗検定のように、検定統計量がある特定の分布に従う例えばカイ二乗検定では、サンプル等から計算された検定統計量がカイ二乗分布に従うことを前提とする。ことを前提とした検定手段では、両側検定とするのか、片側検定とするのかの分類が存在しえる。他にも、検定手段は様々な観点から分類される。
片側/両側の区別:「片側検定」、「両側検定」等
パラメトリックであるか否か:検定対象としているサンプル群が正規分布であると仮定している方法が「パラメトリック」,その前提を置かないものが「ノンパラメトリック」検定である。
比較する群の数:3群以上の群(例.A型,B型,O型,AB型)を比較する「多群検定と、「それ以外」
多重比較をするか否か:「多重比較検定」と、「それ以外」
以下の表に、よく使われる検定手段の例を例示し、適用可能となる前提条件と、検出力,ロバストネスの高低を示すp99。
表.よく使われる検定手法の例
以下の表に仮説検定の典型例を、検定の目的に応じて例示する(pp113-127)。それぞれの場合によく用いられる検定統計量や、前提条件、検定手段等についても、併せて例示する(pp113-127)。
表.検定の典型例
◆例1-1:母分散が既知の場合
ある病気の患者16人の血清中のカルシウム濃度の平均値(μ)は、7.4 mg/dlであった。健常者の血清中のカルシウム濃度は平均9.8 mg/dl(μ0) 標準偏差は0.5 mg/dlである。この時、H1:「この病気に感染すると血清中のカルシウム濃度は低下する」と言えるか?
両側z検定において、有意水準pで帰無仮説を棄却することを考えた場合、p=0.05,p=0.01の場合の帰無仮説の採択範囲は以下のようになる。
α=0.05のとき、「=NORMSINV(0.05/2)」の計算値(Excel)は、「-1.959963985」であるため、標準正規分布の対称性より-1.96≦Z≦1.96となり、
α=0.01のとき、「=NORMSINV(-0.05/2)」の計算値(Excel)は、「0.005」であるため、標準正規分布の対称性より-0.005≦Z≦0.005
標本平均\mu=7.4に対し、検定統計量として標準化変数(Z)を以下のように定義する。
Z=\frac{\mu-{\mu}_{0}{\frac{\sigma}{\sqrt{n}}
前提よりZは(確率変数\muについて)標準正規分布N(0,1)に従う。実際に本例で標準化変数の値を計算すると以下の値を得る。
Z=-19.2
従って、p=0.05の場合でも,p=0.01の場合でも、この場合の標準化変数(Z)の値は、帰無仮説の採択範囲の採択範囲の外にあるため、帰無仮説はp=0.05でも、p=0.01でも棄却される。したがって、p=0.05でも、p=0.01でも「この病気に感染すると血清中のカルシウム濃度は低下する」と言える。
参考までに、(両側)Z検定においては,p値は、標準正規分布の累積分布関数(NORM.S.DIST)を用いて、この場合(Z=19.2の場合)は、
=2*(1-NORM.S.DIST(ABS(19.2),TRUE))
にて計算されるが、Excelにおいては、19.2は標準正規分布の標準偏差に対し離れすぎているため、桁落ちにて0と算出されてしまう。
◆例1-2:母分散が未知の場合
W社に勤務する社員30名の血圧の平均値は145 mmHgで、不偏分散(U2)は900となった。血圧の全国平均は140 mmHgである。この時H1:「W社の社員の血圧は、全国平均に対し高い」と言えるか?
自由度29の両側t検定において、検定において、有意水準pで帰無仮説を棄却することを考えた場合、p=0.05,p=0.01の場合の帰無仮説の採択範囲は以下のようになる。
p=0.05のとき、「=TINV(0.05,29)」の計算値(Excel)は、「2.045229642」でありt分布の対称性より、-2.05≦T≦2.05
p=0.01のとき、「=TINV(0.01,29)」の計算値(Excel)は、「2.756385904」でありt分布の対称性より、-2.76≦T≦2.76
題意より、標本数n=30,標本平均\mu=145mmHg であり、不偏分散は、
である。検定統計量として以下のスチューデント比(T)を次のように定義すると、
前提より、Tは、自由度n-1のt分布に従う。実際に本例でスチューデント比(T)の値を計算すると、
T=0.912870929
である。
従って、p=0.05の場合でも、p=0.01の場合でも、上記のスチューデント比(T)の値はこの場合、帰無仮説の採択範囲の採択範囲の内にあるため、帰無仮説はp=0.05でも、p=0.01でも棄却されない。従って、p=0.01でもp=0.05でも、「W社の社員の血圧は、全国平均に対し高い」とは言えない。
◆例2-1:母平均が既知の場合
S社は団子を作るアルバイトを多数雇っている。S社のアルバイトの作る団子の重さの平均値(μ0)は74.1g,分散(σ0)は1.2 g2であった。新しいバイトMさんに試しに5個、団子を作ってもらったところ1個目74.1 g,2個目74.2g, 3個目74.1 g,4個目73.9 g,5個目73.9 gであった。このとき、H1「Mさんが作る団子はS社のアルバイトの中でばらつきが少ない」言えるか?
自由度5の上側カイ二乗検定において、有意水準pで帰無仮説を棄却することを考えた場合、p=0.05,p=0.01の場合の帰無仮説の採択範囲は以下のようになる。
p=0.05のとき、「=CHIINV((1-0.05),5)」の計算値(Excel)は「1.145476226」なので1.15≦χ2が帰無仮説の採択範囲。
p=0.01のとき、「=CHIINV((1-0.01),5)」の計算値(Excel)は「0.554298077」なので0.55≦χ2が帰無仮説の採択範囲。
題意の状況下において、検定統計量としてカイ二乗値を考えると、
\chi^2 = {\sum}_{i=1}^{n} {({X}_{i} - \mu_0)^2 \over {\sigma_{0}^2}
これは、自由度5のカイ二乗分布に従う(n=5なので)。カイ二乗値を実際に計算すると、
\chi^2 =0.075
である。
従って、(Mさんが作った団子の重さの分散は0.0144 g2なので、一見ものすごくバラつきが少なくなったと見えるが、)
p=0.05では「バラつきが少なくなった」といえるが、p=0.01では「バラつきが少なくなった」とは言えない。
◆例2-2:母平均が未知の場合
S社は団子を作るアルバイトを多数雇っている。S社のアルバイトの作る団子の重さの平均値(μ0)は不明,分散(σ0)は1.2 g2であった。新しいバイトMさんに試しに5個、団子を作ってもらったところ1個目74.1 g,2個目74.2g, 3個目74.1 g,4個目73.9 g,5個目73.9 gであった。このとき、H1「Mさんが作る団子はS社のアルバイトの中でばらつきに変化が出た」と言えるか?
自由度4の両側tカイ二乗検定において、有意水準pで帰無仮説を棄却することを考えた場合、p=0.05,p=0.01の場合の帰無仮説の採択範囲は以下のようになる。
α=0.05のとき、「=CHIINV(0.05/2,4)」の計算値(Excel)は「11.14328678」であり、「=CHIINV((1-0.05/2),4)」の計算値(Excel)は「0.484418557」であるため、帰無仮説の採択範囲は、0.484418557≦χ2≦11.14328678
α=0.01のとき、「=CHIINV(0.01/2,4)」の計算値(Excel)は「14.860259」であり、「=CHIINV((1-0.01/2),4)」の計算値(Excel)は「0.206989093」であるため、帰無仮説の採択範囲は、0.206989093≦χ2≦14.860259
新しいバイトMさんが作った5個の団子の重さの平均値(μ)は、
μ=74.04 g
題意の状況下において、検定統計量としてカイ二乗値を考えると、
\chi^2 = {\sum}_{i=1}^{5} {({X}_{i} - \mu)^2 \over \sigma}_{0^2}
これは、自由度4のカイ二乗分布に従う(n=5なので)。カイ二乗値を実際に計算すると、
χ2=0.06
従って、p=0.05でも、p=0.01でも「バラつきに変化があった」と言える。
A,B両群の母分散が既知の場合⇒z検定
A,B両群の母分散が既知の場合:W大学のS学部で、社会科学概論の試験(満点100点)を実施した。一般入試で入学した学生20名を無作為に抽出したところ平均点74点であった。AO入試で入学した学生17名を無作為に抽出したところ平均点65点3.8であった。それぞれの母集団の標準偏差は、一般入試組が12点,AO入試組は13点である。このときH1:「一般入試で合格した学生とAO入試で合格した学生に得点差がある」と言えるか?
A,B両群の母分散が未知ではあるが等しい場合⇒t検定
A,B両群の母分散が未知ではあるが等しい場合:W大学のS学部で、社会科学概論の試験(満点100点)を実施した。一般入試で入学した学生20名を無作為に抽出したところ平均点74点,不遍分散3.4であった。AO入試で入学した学生17名を無作為に抽出したところ平均点65点,不遍分散3.8であった。一般入試で入学した学生においても、AO入試で入学した学生においても試験の点数の分散に差異がないとする。このときH1:「一般入試で合格した学生とAO入試で合格した学生に得点差がある」と言えるか?
A,B両群の母分散が未知ではあり等しくない場合⇒t検定
A,B両群の母分散が未知であり等しいくない場合:YさんはTOEICを5回,TさんはTOEICを4回受験した。Yさんのスコアは480点,510点,500点,450点,430点、Tさんのスコアは890点,880点,960点,990点であった。このときH1:「YさんとTさんのスコアに差がある」と言えるか?
ある科目の試験結果上位8人のスコアはそれぞれ98,95,95,91,88,87,87,82点
下位5人のスコアは51,48,42,40,33点。
このとき、「H1:上位8人の分散と下位5名の分散に差異がある」と言えるか?
|z検定
|ラブライブ!の4thライブの観客のうち75%はミルキイホームズのファンでもある。
ラブライブの4thライブの観客(母集団)のうち、1stシングル「僕らのLIVE 君とのLIFE」を発売週に買った人は103人(サブグループ)である。この103人のうち93人はミルキイホームズのファンでもある。「H1:サブグループ内のミルキイホームズのファンの割合(per0)は、母集団におけるミルキイホームズのファンの割合よりも高い」と言えるか?
YさんはTOEICを4回受験した。Yさんのスコアは480点,510点,500点,450点であった。Yさんのスコアは正規分布に従っているといえるか?
遊園地である甘城ブリリアントパークの平日の開園時間は10時から17時までであり、平日の1日あたりの平均来場者数は210人であった。
開園から閉演までの各10分ごとの実際の来客数を調査したとき次のようになった。
0人=1回,1人=1回,2人=4回,3人=6回,4人=8回,5人=7回,6人=6回,7人=5回,8人=3回,9人=1回このとき、「H1:甘城ブリリアントパークの平日の来場者数はポアッソン分布に従う」と言えるか?
科学的な考察を加えるためには、統計的な有意差を得るために必要な実験例数の設定
,,,,,,。
科学的な考察を加えるためには、統計的な相関、差異の適切な解釈が必要となる
,,,,,,。
科学的な考察を加えるためには、実験データを適切な可視化手段にて可視化されることが必要となる
,,,,,,。
(数理モデル,モデル (自然科学)も参照)
特に現代の科学においては、「真理とは何か」といった哲学的で捉えどころのない問題に比べ 「どのようなモデル、式、計算コードが最も現実をよく反映するのか」という問題が圧倒的に重要な意味をもつ。
このように、「現実の対象がどのように振る舞うか」に着眼する現代の科学では、結論の提示は、現実の物理現象・社会現象などを定性的/定量的に説明する具体的なモデルの提示という形で行われることが多い。モデルの良し悪しは、明確であることが求められると同時に、扱いやすさ、どれだけ多くの現実を説明できるかにかかっている。
モデル化とは、「牛を球と仮定する」という標語が教えるように、起こっている現象から本質と無関係と思われる部分をそぎ落としたものを作り、そこになんらかの法則をあてはめ、現象を再構築することである(詳細は数理モデル,モデル (自然科学)等を参照のこと。)
モデルの提示方法には、例えば以下のようなものがある
1つのモデルを挙げ、そのモデルが実験をよく説明していることを示す。
いくつかの対等なモデルをいくつか挙げ、それをいくつかの論点から比較し最もよく実験を説明しているものを選ぶ。
複数の論点を挙げ、それぞれの論点についてモデルを1つ / 複数挙げ、妥当性を示す / 妥当なものを選択する。
モデルの構築方法の典型的な一例を以下に示す。
直観的に考え、もっともらしい「仮のモデル」を、議論の叩き台にするために提案する。
現実と合致するようにモデル、式、計算コードを調整する(調整されてできたモデルあるいはモデルの調整法をとりあえずのメカニズムと考える)。
そのモデルが、(少なくとも考えた中では)最もよく物事を説明していることを、統計学的な見地から評価する。
モデルを調整するのに用いた実験パラメータの物理学的な意味を次元解析等を参考に解釈する。特に萌芽的な研究においては、「ある程度幅をもった実験結果でも取り込めるような体系を作り、実験でパラメータを抜き出し、外挿によって近縁の系に対して予測を立てる」という手法がよく採られる。
特に萌芽的な研究においては、「ある程度幅をもった実験結果でも取り込めるような体系を作り、実験でパラメータを抜き出し、外挿によって近縁の系に対して予測を立てる(所謂「合わせこみ)」という手法がよくとられる。
このような「合わせこみ」をベースとした現象論的・現代的なモデル形成手法は、特に「物ができること」を重視する応用系の分野において顕著な成果を挙げており、現在のデータからより優れた物を作る指針として活用されている。素粒子論などの基礎的な分野においても、このような手法の活用に苦言を呈する者はいるが、少なくとも論文を書く上ではよく用いられている指針である。総じて言えば、基礎研究・応用研究の両方において強力な手法である。
特に基礎分野の研究に対する、現代的なモデル化手法の積極的な導入に対する苦言の根拠としては、現代的なモデル化は、モデルを調整するための変数があまりにも増えてしまうと、そもそも計算が困難になり、直観による見通しが利かなくなるという弱点があることがよく言われる。特に、素粒子理論などでは、現実を説明するためにどんどん新しい素粒子が仮定され、話がどんどん複雑になっていくということが問題視されている。単に「話がどんどん複雑になっていく」というだけでは「悪い」とは言えないが、一般に結論はシンプルであるほうがよいと考えられている。無論、明確な指導原理が得られないままパラメータが泥縄的に増えていく状況が生じた場合には、オッカムの剃刀という理念を再度思い起こす必要がある。
科学的な方法を実行する上では、調べるべき対象への知識、それ以前の基礎的な知識などが要求されるが、このような知識面以外に、「対象に影響を与えるドミナントな支配法則 をまず考慮して概略の傾向を数値的に掴むこと」「実験ノートをきちんとつけられること」、「一定の計算力、論理的な思考力」などの知識面とは異なる素養、具体的にはスキルや評価項目が存在すると考えられている。
研究者レベルの人間に必要な素養全てを書きだすことは難しいが、教育レベルでは、ある程度明確化されてきている。一般に、教育レベルでは、以下の素養を身に付けることが必要であると考えられている。科学的方法を実行するための素養のうち、推論能力に関する評価
手法としては、例えば、科学的推論能力テスト(Science
Reasoning Test, SR-Test)がある。
いかに科学的な考え方が発表され評価され広まっていくか(例えば、出版物や他の科学者のレビューによって)。
経験的な証拠を異なって解釈することからいかに科学的な論争が巻き起こるか(例えば、ダーウィンの進化論)。
科学的な仕事が、それがなされる状況から影響を受ける様(例えば、社会的、歴史的、倫理的、精神的)と、そうした状況が考え方を受け入れるかいなかにいかに影響を与えるか。
産業的、社会的、及び環境的な問題に取り組む際の科学の力と限界について考察すること。それは、科学が答えられることと答えられないこと、科学的な知識の不確かさ及び関連する審美的な諸問題も含む。
「計画すること」
科学的な知識と理解を用いて様々な考えを調査できる形式に変換し、適切な方略を計画すること。
直接経験に基づく証拠を用いるか、二次的な情報源からの証拠を用いるかを決定すること。
適切な場面で予備的な作業を行って予測を立てること。
証拠を収集する際、考慮すべき主要な要因について検討し、また容易に変数がコントロールできないような状況(例えば、野外作業や調査など)いかに証拠を収集できるかを検討すること。
収集しようとするデータの範囲と程度(例えば、生物調査の際の適切な標本の量)、技法、装置、及び用いる材料を決定すること。
「証拠を得ることと提示すること」
幅広い装置や材料を用いてかつ、自身や他人の安全を確保する作業環境を保つこと。
データ収集に当たってICT(情報通信技術)を使用することを含んだ観察や測定を行うこと。
誤差を低減したり信頼性の高い証拠を得たりするために十分な観察や測定を行うこと。
観察や測定における不確かさの程度を判断すること(例えば分散を用いて測定値の平均値の正確さの程度を判断すること)。
ダイアグラムや表、チャート、グラフ及びICTを用いて量的データや質的データを表現したり他人に伝えたりすること
「証拠を考察すること」
ダイアグラムや表、チャート、グラフを用いて、データにおけるパターンや関連性を見つけたり説明したりすること。
計算の結果を適切な程度の正確さで表現すること。
観察や測定その他のデータを用いて結論を導くこと。
こうした結論がどの範囲において予測を支持するか、及びさらなる予測を可能とするかについて説明すること。
科学的な知識と理解を用いて観察や測定その他のデータ及び結論を説明したり解釈したりすること。
「評価すること」
不規則なデータについてそれらを却下もしくは採用するための理由について検討するとともに、測定と観察にともなう不確かさに関して、データの信頼性を検討すること。
収集した証拠がいかなる結論やなされる解釈を十分に支持するかどうかについて検討すること。
用いた方法に対する改善点を示唆すること。
さらなる調査について示唆すること。
研究者レベルの素養に関しては、天才性や独創性、あるいは奇人変人であることなどの、さまざまなステレオタイプの議論があるが、
実際のところは、このような議論は、余り正しくない。研究者レベルの素養に関しては、一概に言えないが、いくつかよく言われることを列挙する。下記のことができるために必要な素養は、概ね、上記の素養と一致すると考えてよい。
自分で研究テーマを定めることができるか?
研究テーマを検証可能な問題にブレークダウン出来るか?
自分で実験手順を定めることができるか?
自分の実験結果に自信が持てるか?
上記1-2は、研究戦略のレベルである。3は、戦術のレベルである。一般に、研究には、研究テーマ全体を貫く一つあるいは複数の疑問、即ち、「リサーチクエスチョン」が存在する。
リサーチクエスチョンをどのように見つけ出すかは、一概にはいえず、個々の研究に依存する。殆どすべての素人の素朴な疑問、例えば「どうすれば頭が良くなるか」、「どうすれば長生きできるか」、「木星に旅行するにはどうすればよいのか」、「鉄を金に変えるには」などといった疑問は、ほとんどすべて、壮大な研究テーマとなり得る。しかし、大半が、現代の人類の英知全てを結集しても、手がかりすら簡単には掴めない夢物語でもある。こういった夢は、確かにモチベーションの維持という観点では需要である。しかし、現実的かつ健全に科学的課題に取り組む上では、このようなテーマそのものを正面から扱うのは、「世界征服をしたい」、「宇宙の帝王になりたい」というのと同じぐらい、不毛である。何故ならば、少なくとも、検証可能な問題にブレークダウンして、実験手順を定めることが出来なければ、実験すら行えず、したがって、部分的な結果すら得られないからである。
実験手順を定めて実験することがほぼ不可能な、身の丈に合わない本質論を論じたがる人間を「本質病」と揶揄する言い方がある(学界の俗語)。本質病という言い方がいつごろから言われるようになったかは定かではないが、少なくとも武谷三男の諸著作においては、本質論ばかりやりたがる“エリート"研究者への批判がいくつか書かれている。本質病を脱却できないと、研究者として、研究業績を出すことは難しいといわれるように、本質病は、挫折の一つの原因である。
そこで、自分の検証可能な問題(「何をどうやって調べるか」)にブレークダウン出来そうな問題を探すという考え方に到達することができる。一つのオーソドックスなやり方は、「誰かがある方法で銅について研究したので鉄で同じ方法を試してみよう」「誰かが、ある方法で牛について研究したので豚で同じ方法を試してみよう」
といった具合に過去の研究の実験条件の一つを変えて、どのように結果が変化するかを調べる、より一般には「系や手段を変えて比較する」ことで研究テーマを見つける方法である。このような方法は、自嘲や、軽蔑を込めて「銅鉄研究」、「牛豚研究」、「論文倍増計画」等といわれることがある。確かに、「銅を鉄に変えて比較するときに何に着目すべきか」、「何故、豚を選んだのか」といった意識もなくこのような方法をとっていては、成長はないかもしれないが、どのような研究でも、「系や手段を変えて比較する」という要素を欠くことはできないため、研究の進め方の基礎基本は身に付く。また、このようなやり方を取ることで、実験手法や実験手技を身に付けられるため、極めて複雑な実験計画を立てなければならないある程度大きな研究テーマに対しても取り組めるようになる。
別の側面から従って真に新しい装置、実験手法を発明するというのは、極めて大変なことで、原理、装置構成、精度、製造方法など、ありとあらゆる事柄に対して、深い考察が必要となる。したがって真に新しい装置、実験手法に対しては、ノーベル賞が与えられることもよくある(走査型トンネル顕微鏡、PCR法等)。装置や手法の改良一つとっても、極めて大変な作業で、少なくとも計測器メーカや試薬メーカの技術者、研究者の大半は、この問題に殆どすべてをつぎ込んでいるといっても過言ではない。計測器メーカや試薬メーカと研究機関の分業により、最近では、様々な計測装置、試薬キットが、お金を出せば買えるようになってきているが、それでも一つの実験系を組み立てるという行為は相当の力量と、労力と、資金と、センスが必要となる。さらに、装置や試薬の最適条件、適用範囲等を深く考察すること(基礎検討)
や、装置や試薬の構成、成分、原理を理解するだけでも大変な行為である。したがって、凡人であれば再現実験や、銅鉄研究をある程度やって、実験系に対する感覚をつかんでおかないと、新しい測定原理や測定方法、真に新しい使い方どころか、マニュアル通りの実験すらままならないのは言うまでもない。