元科學

元科學或元研究也被譽為「關於研究的研究」或「研究科學的科學」，是用科學方法研究科學的學科，旨在提高科學研究的質量和效率。元科學關注所有領域，試圖改進所有的研究方法。如約翰·約阿尼迪斯（John Ioannidis）所說：「科學是人類最偉大的成就……但我們還能做得更好。」

1966年，一篇早期的元研究論文考察了10份著名醫學期刊上發表的295篇論文所用的統計學方法，發現「在73%的報告中……結論所依據的理由壓根是無效的。」元研究在接下來幾十年裡發現了許多科研方法上的缺陷、低效及不良做法。醫學和文科（軟科學）領域的許多科學研究都無法得到復現，2010年代初誕生的術語「可復現性危機」即代表了人們對這一問題的關注。

元科學揭示的問題已經有了一些應對的措施，比如對科學研究和臨床試驗實施事先登記制、成立CONSORT和EQUATOR網路等組織，發布通用的方法和報告指南。也有個人和組織一直致力於減少統計誤用、消除來自學術界的不當激勵、改善同行評審流程、系統收集學術出版系統的數據、打擊科學文獻中的偏見，以提高科學過程的整體質量和效率。

## 歷史

<image>

1966年，一篇早期的元研究論文考察了10份著名醫學期刊上發表的295篇論文所用的統計學方法，發現「在73%的報告中……結論所依據的理由壓根是無效的。」2005年，約翰·約阿尼迪斯（John Ioannidis）發表了《為什麼大多數發表的研究結論是錯誤的》，認為醫學領域的大多數論文得出的結論都不可靠。這篇論文後來成為PLOS中下載量最大的論文，一般認為確立了元科學這門學科。在與Jeremy Howick和Despina Koletsi合作的相關研究中，約阿尼迪斯指出，只有少數醫療措施通過GRADE系統得到了「高質量」證據的支持。後來的元研究發現，在心理學和醫學在內的許多科學領域，普遍存在復現研究結果的困難，這個問題也被稱作「可復現性危機」。元科學的發展是對可復現性危機的回應，也是對研究中浪費現象的關注。

許多知名出版商都樂於元研究和提高出版物質量。《科學》《柳葉刀》《自然》等頂級期刊都對元研究和可復現性問題進行了持續報導。2012年，PLOS ONE發起了「可復現性倡議」；2015年，現代生物出版集團在4種刊物中引入了一個最低報告標準的檢查表。

元研究這一廣泛領域的第一次國際會議是2015年於愛丁堡舉行的Research Waste/EQUATOR會議；第一次關於同行評審的國際會議是1989年舉辦的同行評審大會。2016年，《研究誠信和同行評議》創刊，開篇社論呼籲「有關同行評審、研究報告以及研究和出版道德的問題，提高我們的理解並提出潛在解決方案的研究」。

## 元研究的領域和主題

<image>

元科學主要關注5類領域：方法、報告、可復現性、評估和激勵。

### 方法

元科學旨在識別不良的研究行為，如研究中的偏見、統計誤用等等，並試圖找到減少這些行為的方法。元研究已經發現了科學文獻中的許多偏見。特別值得注意的是，科學研究普遍存在著對P值的誤用和對統計意義的濫用。

#### 科學數據科學

科學數據科學利用數據科學來分析已發布的論文，包含了定性研究和定量研究。科學數據科學研究包括欺詐檢測和引用網路分析。

#### 期刊學

期刊學也稱出版科學，是對學術出版過程中的所有方面的學術研究。這一領域試圖在學術出版過程中實施循證實踐，來提高學術研究的質量。「期刊學」由《英國醫學雜誌》前總編輯史蒂芬·洛克（Stephen Lock）提出。1989年在伊利諾州芝加哥召開的第一屆同行評審大會標誌著期刊學成為一個獨立的領域。期刊學一直試圖推動科研領域的事先登記，特別是在臨床試驗方面。現在大多數國家都要求進行臨床試驗登記。

### 報告

元研究發現，在研究的報告、解釋、傳播和普及方面往往存在不良做法，特別是在社會科學和健康科學領域尤為嚴重。不良的報告使人們難以準確解釋科研成果、難以復現研究、難以識別作者可能存在的偏見和利益立場。常用的解決措施如實施報告標準、提高科研透明度等。參照報告機構（如CONSORT和更大的EQUATOR網路）指定的指南，可以規範報告所用的數據和方法。

### 可復現性

<image>

可復現性危機是一種持續的方法論危機，人們發現許多科學研究難以或無法復現。它源於20世紀中後期的元研究，但「可復現性危機」這個術語要到2010年代初才出現，反映了人們對這一問題日益增長的認識。可復現性危機尤其影響到心理學（尤其是社會心理學）和醫學，包括癌症研究。復現是科學過程的重要組成部分，因此復現的普遍失敗會使受影響領域的可靠性遭到質疑。

此外，一般都認為復現研究的影響力不如原創研究，在很多領域都難以發表。這大大阻礙了對研究的報到，甚至阻礙了對研究進行復現的嘗試。

### 評價與激勵

元科學試圖為同行評審建立一個完整的科學基礎。元研究會對同行評審系統進行評估，包括發表前後及公開的同行評審。它也試圖找到更好的研究資助標準。

元科學試圖通過更好的激勵系統促進研究的進步，如探索對研究工作和研究人員進行排名和評估的不同方法的準確性、有效性、成本及效益。批評者認為，不正當的激勵措施給學術界塑造了「不發文章就會死」的環境，催生了大批垃圾科學、低質量研究和虛假結果。比如，Brian Nosek認為，「我們面臨的問題是，激勵制度幾乎完全集中在『讓研究發表』上，而不是『讓研究正確、可信』。」支持改革者試圖構建激勵體系，以提高科研結果的質量。例如，根據專家的敘述性評價（「而不是僅僅或主要靠各種指數」）、機構評價標準、保證透明度和專業標準來評判質量。

貢獻度

研究提出了機器可讀的標準和（一種）用於科學出版管理系統的數字徽章，其側重於貢獻者的身份：誰對研究勞動做出了什麼樣的貢獻和多少貢獻，而傳統學術署名則強調誰以任何方式參與了出版物的創作。一項研究指出了與持續忽視貢獻度有關的問題：「由於作者名單越來越長，論文卻越來越短，發表數量還在激增，所以出版物數量已經不再是一個好的衡量標準。」

評估因素

除了文章本身的優點外，其他因素也會大大影響同行評審員的評價。但這些因素也可能很重要，例如使用關於研究者先前出版物的真實性，及其與公共利益一致性的記錄。然而，同行評審等現行評價體系可能在很大程度上缺乏合理的機制和標準，它們多以引用數、Altmetric等為指標。這些數據確實可以反映文章的影響力，但沒有考慮對現實世界的積極影響、進步性和公共用途。反思學術激勵機制的結論是，「為數據等中間產品提供更正式的認可」可能會產生可觀的積極影響。

對培訓的認可度

有評論指出，學術排名並不考慮各自的研究者在哪裡（國家或研究機構）接受培訓。

#### 科學計量學

科學計量學關注科學出版物中文獻數據的測量。主要的研究問題包括對研究論文和學術期刊影響力的測量、對科學引文的理解，以及在已知的政策和管理背景下應用測量方法。研究表明，「用于衡量學術成功度的指標，如出版物數量、引文數量和影響因子之類，幾十年來都沒有變化」，而且在某種程度上「不再是」好的衡量標準，導致了諸如「生產過剩、非必要碎片化、過度銷售、掠奪性期刊、巧妙剽竊、故意混淆科學成果」等等亂象。

這一領域的新工具有量化被引節點對引文節點的影響程度的系統。這可用於將未加權的引文網路轉換為加權網路，並用於重要性評估，得出「對所涉的各種實體（如出版物、作者等）的影響度量」，並用於搜尋引擎和推薦系統等工具。

#### 科學管理

科學資助和科學管理也可以通過元科學得到探索和了解。

## 閱讀更多

- Lydia Denworth, " A Significant Problem: Standard scientific methods are under fire. Will anything change? ", Scientific American, vol. 321, no. 4 (October 2019), pp. 62–67.
- 「近一個世紀1925年以來，用P值確定實驗結果的顯著性差異在眾多科學領域造成了確定性，導致可再現性危機。越來越多的人決心改革統計分析……有研究人員建議改變統計方法，還有人建議、取消定義『顯著結果』的門檻。」(p. 63.)

## 外部連結

期刊

- Minerva: A Journal of Science, Learning and Policy
- Research Integrity and Peer Review
- Research Policy
- Science and Public Policy

會議

- Annual Metascience Conference