研究データの公正性を担保するための基本的な考え方

2022/6/9 Japan Open Science Summit
D4 －研究データの品質表示を考える －国際医療福祉大学
飯室 聡
1§0．はじめに 本セッションのテーマ 「利用者が研究データの品質を容易に理解するための取り組みが必要」
 研究者自身も「自らの研究データの品質管理を研究者自身に理解してもらう必要がある」（できている人とできていない人の差が大きい）（品質管理の必要性理解のための）研究者をとりまく現状 ～オープンサイエンスに耐えられる品質なのか～

FFP/QRPの発生機序

品質管理とメタデータ

 自己紹介

生物統計/データ管理/医学を学ぶ

臨床（循環器）を数年



プロジェクト管理/データ管理/臨床研究支援



研究公正2

§１ ． （品質管理の必要性理解のための）研究者をとりまく現状②①③

https://www.sciencemag.org/news/2018/08/researchercenter-epic-fraud-remains-enigma-those-who-exposed-him

https://retractionwatch.com/the-retractionwatch-leaderboard/

Nature Japan Nature ダイジェスト Vol. 10 No. 11 News
医学生物学論文の70%以上が、再現できない!

④①サイエンス誌 TIDE OF LIES（嘘の激流）②Retraction Watch Best10に日本人が4人！
③『研究不正』（中公新書）黒木登志夫著④Nature ダイジェスト Vol. 10 No. 113

この４つを同じように論じていいだろうか ①～③と④とは、質的に異なる問題であることに注意！
①～③は意図的な研究不正に関する事例④はいわゆる特定不正行為だけではない 特定不正行為


捏造 fabrication 「存在しないデータ、研究結果等を作成すること。」

改ざん falsification 「研究資料・機器・過程を変更する操作を行い、データ、研究活動によって得られた結果等を真正でないものに加工すること。」

盗用 plagiarism 「他の研究者のアイディア、分析・解析方法、データ、研究結果、論文又は用語を、当該研究者の了解もしくは適切な表示なく流用すること。」

その他「同じ研究成果の重複発表、論文著作者が適正に公表されない不適切なオーサーシップなども不正行為の代表例と考える。 ただし、故意によるものではないことが根拠をもって明らかにされたものは不正行為には当たらない。」

 好ましくない研究行為

誠実な研究とこれらの研究不正との間にも，いわゆる「好ましくない研究行為(QRP : Questionable Research Practice)」と呼ばれるものがあり，研究への信頼性を侵すものとして懸念されています。

 責任ある研究行為（RCR：Responsible Conduct of Research）

4

もちろんRCRを目指すのですが・・・
 研究倫理教育においては、FFPが重点的に取り上げられ、それらへの対処等を学ぶ
それでも研究不正事例と言われるものの報告が後を絶たない

 「FFPをしないようにしましょう」という教育に対して、多くの先生は「自分が不正をはたらくことなどありえない」と考えていらっしゃるのでは？
 お気づきかもしれませんが、QRPに対しては「QRPをしないようにしましょう」という教育はあまり意味がない
 研究支援を行う立場からは以下のように考えている


研究不正が疑われるものの多くは、「善意」もしくは「無知」に基づく行為、あるいは偶然起こってしまった事象

たとえば、知らず知らずのうちに、以下のようなことをやっていませんか？
 （動物実験の時系列データに対して）21日目までのデータだと有意差がないのだけど、もう少し観察を延長したら差がありそうだ。有意差が出るまで観察を続けよう （ある大規模臨床試験の研究責任者がおっしゃったこと）「この疾患領域については自分が一番詳しいのだから、自分がデータを眺めて見つけたミスを修正するのは正しいことなのだ」

 （患者に対して同じ領域の複数の質問紙が実施された臨床研究で）「同じ患者の複数のアンケートデータに矛盾があるからつじつまが合うように修正してデータをきれいにしておいたよ」

 いずれも我々が実際に経験した事例であり、本人は大真面目に善意から、あるいは無理がゆえに行った行為

5読み飛ばしてしまいがちですが 「故意によるものではないことが根拠をもって明らかにされたものは不正行為には当たらない。」
 言い換えれば、疑義が突き付けられたときに、それは故意ではない、ということを研究者自らが立証する必要があるということを意味している もしかしたら好ましくない研究活動（QRP）を起こしてしまうかもしれない

その際に、なぜそのQRPが生じたのかを説明できるだろうか

説明できなければ、本来はQRPだったのにFFPと判断されてしまうかもしれない

説明できるためにはどうしたらいいのか？

6根拠をもって明らかにするのはかなり大変
 研究自体は2007年～20111年
 論文発表 2013年
 2017年4月 上記論文のtableに対してジャーナルを通じて疑義の指摘あり
 2017年6月 疑義事項に対する報告書を共同研究者およびジャーナルに提出

そのtableから固定データまでの追跡を実施

tableのミスを確認 / ミスの原因を探索/ 解析プログラムにミスを発見 / そのプログラムを再実行するとミスが現象することを確認

プログラム修正 / 正しい結果を確認

 2017年7月 （正式に）再解析開始
 2017年8月末日 最終報告書提出
 2017年末 Retraction / 再投稿 2018年6月22日 再accept
 研究者およびジャーナルに対して「言い訳」が可能であったのは、固定データ、解析用データセット、固定データから解析用データセットに至るデータ処理の経過、解析プログラム、論文作成過程の議事録等の記録が保管してあったから

 つまり、最低限のtraceabilityがあり、論文のミスが再現可能であり、さらに論文作成全体がプロセスコントロールされていたから

7§２ ． FFP/QRPの発生機序
 研究への疑義に対して「故意ではない」ことを示すには、不正の機序の理解が必要
 「不正のトライアングル」理論（1953年） 米国の犯罪心理学者Donald R. Cressey

元々は企業におけるお金の不正に関する理論



不正が成立するためには、動機、機会、そして正当化という３つの要素がそろう必要がある

たとえ「横領したい」という動機があったとしても、その機会がなければ不正は起きない

動機と機会があったとしても、最後に自分を正当化するということがなければやはり横領は起きない

動機と機会さえあれば不正が発生、となるといくらでも不正は起きてしまうが、そうならないのは最後のところで良心が働くから

その良心を乗り越えて自己を「正当化」すると不正が成立する『事例でみる企業不正の理論と対応』
八田進二 同文舘出版 より改変

8

FFPとQRPの区別と連関 QRPについてはどうだろうか

QRPは、「無知」もしくは「善意」に基づく行為であると考えている

つまり、そこには①動機も②正当化もなく、③機会だけが存在している

 不正と過誤に共通するポイントがあるはず 企業における横領
 医療過誤 FFP
 QRP

 研究倫理教育のターゲット⇒「動機」と「正当化」
 研究データ管理という観点からの介入ポイント⇒「機会」
 つまり、研究倫理教育と研究品質管理活動が車の両輪として機能して初めて、研究公正が成立する

9

共通要素は「機会」
 もちろん、医療過誤やQRPについても、よくよく検証してみれば本人も気付かないような隠れた動機や正当化はあるかもしれない たとえいかなる状況であったとしても、「②機会」が存在する
「機会」を管理することでFFPもQRPも減らすことが期待できる。

「機会」の管理についての原則として、後でお話しする「データ管理の3原則」（＝追跡可能性、再現可能性、プロセス管理）を提案している



3原則の基本を簡単に表現すれば「説明できること」

 「機会」をなるべく抑え込むための考え方が品質管理

10§３．品質管理とメタデータ
 品質とは、「本来備わっている特性の集まりが、要求事項を満たす程度」（ISO9000）


特性：そのものを識別するための性質

要求事項：明示されている、通常暗黙のうちに了解されている、又は義務として要求されているニーズ若しくは期待 品質が高いということは「誤りがないこと」ではない


要求された事項をしっかりと満たしていること

 研究で言えば、研究者が何となく「このレベルでいい」と判断するものではなく、すべてのステークホルダーからの要求事項をどこまで満たすか、という観点から決まってくる

ステークホルダー・・・研究費配分機関、研究者、研究組織、さらに属する科学コミュニティや社会

要求事項を確認する手段の一つはDMP

ステークホルダーが集まってDMPを作成することで、ある程度「機会」がコントロールできることが期待できる11

「機会」はどこにある？

 右の図はいわゆる研究データのサイクルを表している

 研究を行うとデータが発生し、それを加工して発表する

 それに基づいて次の研究が計画される
 このようなサイクルが無限に繰り返されている、それが研究です。

12 研究データサイクルの至るところに「機会」＝脆弱な部分は存在する

 黄色で示した内容は、記録として残しておかないとFFP/QRPへとつながる「機会」になりうるもの こういう情報＝メタデータをどこまで残すかということが品質に関連してくる

 （おそらく）いわゆる既存のメタデータセットを残しただけでは、根拠をもって不正ではないことを説明することは難しい どういうメタデータが必要なるのかは、まずは研究者が考えなくてはならない

13たとえば、プロトコルがあれば実験経過の記録は不要か？
 実験を始めたばかりの頃の学生
 プロトコル通り数種類の試薬を用意して実験したはずなのに最初の実験結果が再現できない
試薬A

試薬B

試薬C

攪拌

攪拌

試薬A,B,C攪拌攪拌 データだけでなく、そのデータが生成された背景の説明が必要になる
 研究領域によって実験プロセスのどの部分のメタデータを記録として残せばよいかが異なってくるはず14

世界一高い山？
 もっと簡単な例
 「世界一高い山は」と聞かれれば、もちろんエベレスト
 本当？

15

「世界一高い山」はエベレストだけではない 標高8848メートル エベレスト
 「地上に顔を出している部分の高さでの比較」
 ちなみに「8848m」は1954年にインド測量局が周辺12か所で測定し、その結果を平均して得られた数字

1999年全米地理学協会はGPSによる測定値が8,850メートルだったと発表（ウィキペディア） 1万203m ハワイのマウナ・ケア山
 「海底からの距離での比較」
 標高6268 m エクアドルのチンボラソ火山
 「地球の中心から山頂までの距離の比較」
出典：Forbes JAPANhttps://forbesjapan.com/articles/detail/29411（2019/10/21最終閲覧）16

領域横断的に検討できる過程はあるか
 データ取得から論文に至る過程を保証できるか

解析結果は真実！

データの背後に膨大なメタデータあり解析に至る過程のデータハンドリングを辿れますか？

メタデータ

実験結果
そのもの
（生データ）

ここまでは実験ノートにしっかりと記録があることが多い

1次加工

データのリスト取捨選択
外れ値処理

解析

IT技術の進歩により、この過程がブラックボックスになってしまっている。このデータ加工のステップでもメタデータが次々に発生する。

論文
figuretable

17データとメタデータ
 １つのデータに対して、メタデータはデータプロセスのいたるところで次々に発生することがイメージできたのではないか
 データの背後には膨大なメタデータが存在するが、その中からデータの素性を明らかにするために必要なもの同定しデータと一緒に保管することが必要
 さらに、生データ発生以降のデータハンドリングプロセスでの作業内容もメタデータとして蓄積されていくことになる


探索的実験なのか検証実験なのか

データの採否

外れ値の取扱い / 画像データの処理の方法とそのプロセス



解析手法の選択（解析モデルのオーバーフィッティングをしていないか、p値が小さくなる解析手法を探していないか、・・・）

 注意すべきは、実験結果そのもの、つまり生データは基本的には「正しいものである」ということ
 メタデータが抜け落ちるからこそ、そこに疑義が生じ、そして説明できない18

メタデータは追跡のためのエビデンス
測定装置の中にあるデータをエクセルに移したはずだけど見当たらない

実験結果
そのもの
（生データ）

実験が終わったのが深夜になっってしまったので、記録は週末にまとめて、と思っていたらすっかり忘れていた

1次加工

外れ値処理した後の解析用データセットはどれだっけ？

データのリスト

取捨選択
外れ値処理
外れ値と判断した根拠は？

全データを載せたオリジナ
ルデータの固定版があるはずなんだがどの解析結果を使った？

解析論文
figuretable

解析手法、統計モデ
ルに入れた変数は何だったかな？

19

データを遡るためにはメタデータが必要になる
メタデータは追跡可能性を担保する貴重なデータ

「機会」を管理するとは 簡単に言えば、必要な記録を残して研究の履歴を追跡できるようにすること
 論文疑惑への対応ということで言えば、論文の図表に疑義が寄せられたときに、以下の対応が可能であるように研究活動を管理するということ


その図表から元データまで遡ることができる（＝追跡可能性）



疑義も含めて図表が再現できる（＝狭義の再現可能性） ⇔ 広義の再現可能性



もしミスがあったのであれば、修正して再提示できる

 上記の追跡可能性と再現可能性を担保するための活動を「プロセス管理」と言っている これを称して、「データ管理の3原則」としています。
 個々の実験についても同様に3原則を考えることができる


ただし追跡可能性を担保するためにどこまでのメタデータを残すべきか、残せるかは領域毎に大きく異なると思われる



再現可能性の定義は異なってくるかもしれない
20

 追跡ができるために考えなくてはならないことは何かまとめ 問題点の整理と提案
 研究公正の現状
無くならない研究不正（FFP）事例 ⇒ 研究倫理教育と不正に対する厳罰化がなかなか効力を発揮しえない

ラボで何を実施したらRCRになるのかが曖昧なまま



研究者/研究機関/研究費配分機関、それぞれのガバナンスの在り方が曖昧 現在の研究公正活動の問題点


研究の公正性と責任を研究者個人の倫理観でのみ担保させようとしている



研究公正で取り組むべきターゲットの設定を誤っている ⇒ 「FFP」から「FFP+QRP」へ

 我々が提案しようとしている研究公正活動の目指すところ


研究不正の取り締まりではない

研究のプロセス管理をすることで必要とされる信頼性を保証すること

21

研究の公正性を担保するための考え方 「機会」への介入については品質管理の考え方が有効である
1. FFP/QRPは（無くせるに越したことはないが）「無くすべき対象」ではなく「コントロールすべき対象」と認識する
2. 研究データ管理の三原則（追跡可能性、再現可能性、プロセス管理）を念頭に置く
3. 追跡可能性（と再現可能性）を可能にするためにはデータだけではなくメタデータの同定が大切である
4. ラボにおける研究プロセスを明確化・標準化してシステム化する 公正性とは、一言で言えば「要求されているレベルで説明責任を果たしきる」と考えてもよい
端的には、データの「素性」をはっきりさせ、疑義に対して責任ある対応をとれるようにするための取り組み
研究の各ステップで発生するデータおよびメタデータの適切な取り扱い⇒追跡可能性、再現可能性
研究ステップをある程度標準化し、決まった形で記録を残せるようにする＝システム化する⇒プロセス管理22§６．この発表は


AMED研究公正・法務部 2018～2019年度 研究データの質向上の指導者育成プログラム開発事業

AMED 研究データの質向上の指導者育成講習会 2020年度より継続中



JST/RISTEX 2020年度 戦略的創造研究推進事業（社会技術研究開発）
科学技術イノベーション政策のための科学（７）公正かつ責任ある研究活動を実践するためのガバナンスのあり方に関する提案「研究公正推進政策のための電子ラボノート実装ガイドライン作成を通したガバナンス研究」

23