科学的方法
過去の論文などを調べ、何が分かっていないのかを調べる。または同時に、自分の知りたいことを解明するにあたり、有効な手法がないか、比較、参照する上で有益なデータがないかを調べる。 一般に、研究者は、自分のテーマに関連する先人達の業績である文献をよく読み、その中から証明すべき事実を演繹し、実験仮説、リサーチクエスチョンを設定する。このときの 仮説の善し悪しが、その後の価値を左右する。
(実際にはきちんとした検定が必要であるが、検定をする上でもこのような考え方を知っておくと説明がしやすい。)尚、「独立性の検定」という観点からは、科学哲学者の戸田山和久は「四分割表」を「対照実験」の観点に限って説明しているが、統計学における2×2分割表は、属性A(本例では、因子の有無)、属性B(本例では効果の有無)がそれぞれ2つの階級(水準)(A1,A2,B1,B2)を持つというような問題において、属性Aと属性Bの独立性を検定するというより一般の問題を取り扱うことが出来る(属性Aが原因で、属性Bが結果である必要は必ずしもない)。さらに、属性A,Bの階級がそれぞれm,nの場合にも問題(m×n分割表の問題)は拡張可能で、この問題も「独立性の検定」の話である。
表:四分割表
例えば以下の問題を検討してみよう。
1000人の風邪の人がある薬を飲み、XX人が回復したとしよう。これに対して薬は風邪に効くと結論付けてよいか?
より正確な設定は以下のとおりである。
サンプル:「風邪を引いた人2,000人を」 グループ分け:「ある風邪薬を投与した群1,000人」と「そうでない群1,000人」とに分け 効果の測定:「2日以内に治ったか否かを評価する」
結果の例を以下の表に4例上げてみる。尚以下の(イ)〜(ニ)は四分割表のそれぞれのセグメントである。
例1は、自然治癒した例(ニ)は1,000件中1例しかなく、薬を投与しても治らなかった例は1,000件中1例しかない。圧倒的に効果有りと推定されよう。
科学的な考察を加えるためには、実験データを適切な可視化手段にて可視化されることが必要となる ,,,,,,。
つまり、この研究目的に照らして、例えば「洗剤に鶏肉を入れたら、白い沈殿ができた」という結果が得られたとしよう。この場合この結果と「その白い沈殿がDNAである」という結論の間を最も真剣に考察する必要が生じる(循環論法の項を参照のこと)。
本来科学的なものの見方を広めるはずの、啓蒙活動が、かえって「科学的」という言葉に対する誤解を広める原因となることもある。古くから、健康番組や科学番組などにおいて演示実験がおこなわれる。また、科学啓蒙家による演示実験による啓蒙活動がよく行われる。また“インパクト抜群のオモシロ実験”を自宅で簡単にできるようにコンパクトにまとめた本が多数売り出され好評を博している。これらの中には、しっかりとした調査の上に科学的な論理を以って物事の成り立ちを示す大変質の高いものがある一方で、実験データの検証と解釈などの点で科学研究の基礎的な要件をあまりにも無視したものが多数見受けられる 。
金澤一郎 日本学術会議会長は昨今の健康番組や科学番組における“科学的な論証”に対し、
適切な対照群の設定
統計的な有意差を得るために必要な実験例数の設定
実験データの検証と解釈
などの点で科学研究の基礎的な要件を必ずしも満たしていないものが見受けられることを指摘した。
但し「効果の測定」が「2日以内に治ったか否かを評価する」という手法だが、薬を飲んだ群のほとんどがぎりぎり2日以内に治っていて、そうでない群がぎりぎり2日以降に治っていた等という可能性もあり得る。閾値の設定の問題が恣意的でないということは前提にある。
例2は、薬を飲んでも飲まなくても結果が同じであり、「薬を飲んだ人はほとんどみんな治っている」けれども、「薬の効果は無い」と推定されよう。
例1同様に閾値や効果測定の設定の問題はある。今回は「治るまでの期間はかわらないが、だいぶ楽に過ごせた」といった効果を効果とは見なしていないが、効果測定の観点をどうするかによって、結論が変わる可能性はある。また、今回の例では薬の量は投与するか否かの2択しかないが、量が妥当だったかという問題もある(⇒一因子実験)。
例3については、実験群の中での治癒率((イ)/(イ+ロ))=80% は、対照の中での治癒率((ハ)/(ハ+ニ))=60%に対して大きい。この差が“優位ではないか”と思われるほど大きい。正確な検定が必要である。
例4では、実験群の中での治癒率((イ)/(イ+ロ))と、対照の中での治癒率((ハ)/(ハ+ニ))の差がたいしてかわらない。従って効果がないと思われる。
但し、上記の閾値や効果測定法の問題に加え、「特定の機序の関与」がある場合も考えられる。これについては、イレッサの例で見てみよう。
総じて、対照実験というのは例2のような愚を犯さない上では有効だけれども、「介入の有無」、「効果の有無」を二値化していることにより
介入の強さ(薬の投与量)は妥当だったのか?(主に効果が見られなかった場合)
ゆとり教育においては、特に初等教育、中等教育において「体験型」を重んじるあまり、単なる「じっけんごっこ」にすぎない、「科学的方法」とはかけはなれた行為を「実験」として理科の教育課程で行ってきてしまったと菊池誠は指摘した。 わかりやすさを前面に出すためには、ある程度は枝葉末節を切り捨てることが重要ではあるが、科学的な論証の上で必要な手続きを無視した議論は、結論の成否に関わらず、科学的な態度とは対極にある態度である。
一方で、科学的という概念を無駄に潔癖な方法と誤解している者もいる。現実の科学者に対して、無駄に潔癖な考え方を押しつけ、ただの誤解やミスあるいは(マスメディアに見られる“科学的推論”に比べればはるかにギャップの少ない)「多少は強引な結論」等、科学の進展の上では必然的に生じてくるような特段騒ぐほどでないものを誇張して科学における不正行為と騒ぎ立てるものがいる。こういった問題は最近においては「芸能人の不倫騒動」と同列に大衆の興味を掻き立てるものである。科学者においては誠意をもった推論が必要なことは言うまでもないが、最近においてはこのような“ゴシップ騒動”の影響で、特に若い世代に萎縮効果が出るなどの弊害がある点には注意が必要で、健全な科学の進展には弊害がある。
科学的な実験においては、被験者や、測定サンプルを適切なグループにグループ分けし、グループ内での差とグループ間での差異を検討する必要がある。 ,,,,,,。大ざっぱにいえば、グループ内での差(バラつき)がグループ間の差に対し充分大きければ有意な差ということであり、 そうでなければ有意な差ではないということになる。このような実験の例としては、対照実験やコホート研究がある。