レビュー・プロトコルの作成ガイドライン(2001 年 1 月 1 日

Version 1.0)

キャンベル共同計画の系統的レビューは，教育，刑事司法，社会福祉等の領域において，社会・行動介入及び政策に関するエビデンスをレビューし，統合することを目的としている。その主たる関心は，介入･政策の全体としての有効性及び，有効性が実施過程，介入要素，介入対象等の要因によってどのように影響を受けるかにある。
レビュー・プロトコルとは，レビューワが，行おうとするレビューを，キャンベルライブラリの一部である，キャンベル系統的レビューデータベースに含めることを希望するに当たって，レビューのトピック及び，そのレビューを行うに当たって用いる方法に関する考えを述べたものである。部会の編集担当者及び編集担当者が適切と考えるその他の審査者が，レビューを実際に開始する前に，プロトコルを評価し，コメントを付ける。プロト
コルは，キャンベル系統的レビューデータベースに公表され，データベースのユーザからのコメントや批判の対象となる。
キャンベルレビューを作り，維持していこうと考える者は，まず，いずれかの部会と相談して，レビューのタイトルを登録する必要がある。これは，異なった２つのチームが同じ（あるいはよく似た）問いについて作業を開始し，あとになって重複した作業を進めていることに気づくという，不幸な事態を避けるためである。
I. プロトコルの必要性
レビューの作成は，多くの判断や決定を伴う複雑なプロセスである。プロジェクトを進める過程で固まってくるという側面はあるものの，科学におけるあらゆる取組みと同様，研究手法は，研究を開始する前に設定されなければならない。レビューにとりかかる前に手法を決定することは非常に重要である。その理由は，(a) 研究は完了し報告されてからレビューの対象となるから，また，(b) 多くの研究の結果はすでにレビューワに知られているからである。レビューワが研究の結果について知っていることは，次のような要素を左右することになる。
系統的レビューが答えようとする問いの定義
研究を選択する基準分析において何を比較するかレビューにおいて報告するアウトカム
よって，非現実的な要請であってはならないが，レビューの過程を，できる限り明確に定義し，系統的なものとし，偏りのないものにすることが重要である。詳細なプロトコルを求めるのは， (a) 審査者が指導や助言を行い，(b) レビューの過程で起き得る問題を防ぎ，(c) 最終的成果物がキャンベル共同計画の基準を満たしているようにするためである。

II. プロトコルの内容
キャンベルレビューのプロトコルは次の各章から成る。
１. 表紙
２. レビューの背景
３. レビューの目的
４. 方法論研究をレビューの対象に含める／含めない基準対象となる研究を探索する方法
一次研究で用いられている研究手法
独立した知見を決定するための基準研究をコーディングするカテゴリーの詳細
統計手法
質的研究の取り扱い
５. 進行日程
６. レビューを更新するための計画
７. 謝辞
８. 利害の衝突に関する陳述
９. 参考文献
10. 図表以下，簡単に各章の内容を示す。
１. 表紙
プロトコルの表紙にはレビューのタイトルレビューワの氏名
筆頭レビューワの連絡先
財政的支援
２. レビューの背景
レビューが答えようとする，きちんと整理された問いは，これまでに積み重ねられてきた知識を踏まえて生まれてくる。プロトコルの「背景」の章では，この背景知識に焦点が当てられる。この章は，レビューを行う必要性を概説し，レビューの答えようとする問いがなぜ重要かを説明する。

「背景」の章は，この後に続く，実証的な結果のための舞台設定である。この章は，レビューの答えようという問いについての概念的議論と，問題の重要性についての説明を含まなければならない。レビューワは，レビューの答えようとするリサーチ・クエッションについて，その理論的，実務的，方法論的経緯を含めた，簡単な概観を行うことが求められる。本章では，リサーチ・クエッションを取り巻く，質的・歴史的論争についても注意を払う必要がある。レビューワは次の問いに答えなければならない。
研究における問題，アプローチ，介入の由来は何か問題の意味や，介入の有用性に関する論争はあるか
レビューに関わる重要な変数がどのように関連しあっているかについて理論が予測しているか
処遇の背景にある異なる理論や思想が矛盾する予測を与えているか
本章は，このトピックに関し行われた過去のレビューについても論じなければならない。
過去のレビューをレビューすることによって，過去のレビューから何が学べるかを強調し，同時に，過去のレビューの矛盾点と手法の長所と短所について指摘しなければならない。
未解決の実証的問いと論争点をはっきりと述べることで，新たなレビューがもたらすであろう貢献が明確となる。
つまり，「背景」の章では，リサーチ･クエッションを取り巻く理論的，概念的，実務的論点に関し，全般的な説明を行わなければならない。本章は，過去のレビュー，過去のレビューが作り出した／解決できないままに放置した論争点，新たなレビューがそのうちどれに答えようとするかを，まとめて記述しなければならない。
３. レビューの目的
系統的レビューを行う理由には，さまざまなものがある。たとえば，(a) 個々の研究の結果を統合することにより関係や処遇効果について一般的な結論を述べる， (b) エビデンス間の矛盾について理由を探る， (c) 個別の研究では答えることができないような問いを研究間のばらつきを用いて答える，(d) 実務のばらつきについて説明する，(e) 介入の主観的経験に関するエビデンスをレビューする，(f) 関連する分野の研究をつなぎ合わせる，といったものである。キャンベルレビューは，ここに掲げた理由を含むあらゆる理由に基づいて実施することができるが，全体的な目的は，実証的研究を集め要約し統合することで，エビデンスを人々に理解してもらうことにある。
目的を述べるに当たり，レビューワは，キャンベルレビューは人々に社会・行動介入や政策を決定にするに当たり実際的な判断をしてもらうために役立たつものでなければならないことを念頭に置く必要がある。このことは，キャンベルレビューを行うか否か，どのように行うか，レビューが答えるべき問いをどのように設定するか，どのようにプロトコルを作るか，レビューの結果をどのように示すかといった決定に対して，重要な意味を持っている。
レビューの目的は，ある政策や実務を採用する際に人々が直面する選択（実際の選択肢）を検討することである。レビューは，政策決定を行う人々にとって有用なアウトカムを検討しなければならない。
４. 研究方法
研究方法の章の目的は，レビューがどのように行われるかを実際的に記述することである。レビューにおける研究方法の記述は，一次研究報告の研究方法の記述とは大きく異なる。レビューにおける研究方法の章は，下記の質問群に答えなければならない。
研究をレビューの対象に含める／含めない基準

プロトコルの研究方法の部分で，最初に取り扱わなければならないトピックは，文献探索によって見出された研究をレビューの対象に含めるか否かを決定する基準である。レビューワは次の問いに答える必要がある。
関心のあるトピックに関連していることを決定するためには，研究のどのような特徴が用いられるか
どのような特徴を持つ研究を，レビューに含めないのか
レビューの対象に含めるか否かの決定は，研究の題名，抄録，全文のどれを見て行われるのか誰が，含めるか否かの決定をするのかどのように，含めるか否かの決定の信頼性が吟味されるのか
レビューワは，レビューの対象として含まれる研究と含まれない研究の例をいくつか挙げることが求められる。
キャンベルレビューは，介入の実施についての研究から得られるエビデンスを対象としてもよい。これらの研究により，実施過程を促進／阻害する要因を見出し，また，介入を提供する／受ける側の主観的体験や特定の介入を実施する過程を記述することが可能となる。この種のエビデンスは，さまざまな研究手法を用いた研究から得られ，質的データ及び量的データを含む。
研究をレビューの対象に含める基準をチェックする際には，レビューワが，概念や介入の定義と，研究で用いられている操作的定義やアウトカムが，一致しているかどうかについてどのように考えているかが批判的に評価される。特定のレビューの結論について巻き起こる激しい論争では，レビューワがこの点に関しどのような判断を行ったが問題となることがある。プロトコルの編集担当者（や完成したレビューの読者）は，レビューの対象として研究を含める基準が広すぎると感じることもある。たとえば，実際に行われた介入やアウトカムの尺度が，介入本来の目的とは関係ないと思われることもある。レビューワ

は，こうした懸念を予期し，研究結果に影響を与える変数として，これらのアウトカムを別々に取り扱うという提案をしなければならない。編集担当者によっては，介入やアウトカムの定義を狭すぎると感じることもある。この場合，レビューの対象から外された研究について，本来レビューに含まれるべきであったかどうかを吟味するための再検討が行われる。
対象となる研究を探索する手法

第二に，レビューワは，どのように研究を探索するかについて詳細に述べなければならない。これは，研究を入手するために用いる探索手法の一覧と説明（例，文献データベース，個人的依頼，雑誌のハンドサーチなど）である。なぜそのような入手源を選択したか，とりわけ，入手しうる研究と見つけることのできない研
究のアウトカムの間に生じうる差異を小さくするためにそれぞれの入手源がどのように補い合っているかについて説明することが望ましい。
レビューワは，対象とする研究がなされた時期と，文献データベースや出版目録などによる探索の際に用いるキーワードを報告しなければならない。入手源，キーワード及びその使用方法，文献探索のカバーする時期は，レビューの研究方法にとって決定的に重要である。編集担当者は，これらを知ることで，文献探索の緻密さとそれがもたらしうる偏り，つまり，提案されたレビューの結論にどの程度の信頼がおけるかを把握することができる。
レビューワは，レビューの対象となるであろう文書，特に，公表されていない文書をどのように入手するかという方法を記述しなければならない。同じトピックに関する異なったレビューがなぜ類似した／矛盾した結論に達したかを理解しようとして，他の研究者がレビューを追試しようとする際，最初に目を通すであろう記述が文献探索に関する記述である。
文献探索を行う際には，できうる限り，国際的な視野に立つことが重要である。レビューが扱うエビデンスは，正当化できない限り，研究者やサンプルの国籍並びに言語によって制限されてはならない。
一次研究で用いられている研究方法

レビューの対象とするエビデンスについてまとめるだけでなく，プロトコルの「研究方法」の章では，レビューの対象とする一次研究で広く用いられている研究手法を紹介する必要がある。ここでは，概念上どのような介入が行われたかということより，参加者の抽出方法，研究デザイン，測定手法に着目する。レビューワは，多くの研究において用いられている研究手法を例示するため，いくつかの研究を取り上げ，取り上げた研究の研究手法について詳述することが求められる。
独立した知見を決定するための基準

研究方法の第四節では，一つの評価研究が，複数のアウトカムの尺度についてデータを報告しているような状況を，レビューワがどのように扱うかということを述べる。このような状況は，同一の研究においていくつかのタイプのアウトカム（例，少年非行に対する介入の効果を見た研究において，再犯と出席程度）が測定されている場合，あるいは，同一のアウトカムについて何時点か繰り返し測定が行われている場合に生じる。このような場合，アウトカムの測定は，同じ参加者に対して行われているので，介入・処遇の効果の独立した推定値ではない。同一あるいは関連した評価研究において複数のアウトカムがあるとき，これらが独立したデータであるかとうかを決定するために用いられる基準は，注意深く報告されなければならない。
研究をコーディングするカテゴリーの詳細研究方法の第五節は，アウトカムに影響を与える可能性のある変数として吟味するため，入手され，レビューの対象とされた研究の特徴を記述しなければならない。どのようなアウトカムをコードしたかについても記述し，もし，特定のアウトカムについてコードしないという判断をしたのであればその理由を説明しなければならない。データとして記録されたすべての特徴は，最終的な成果物における分析や議論で用いられないとしても，必ず記述されなければならない。このようにすることにより，編集担当者は，レビューワが記録しなかったものの，編集担当者自身は重要と考える，研究の特徴に気づくことができる。また，この節は，どのようにコーディングの信頼性が確保され監視されたかを報告しなければならない。
研究レベルの変数に加え，この節では，レビューの対象となる研究において吟味されている調整変数（過程に影響を与えるコンテキスト変数）や媒介変数（ある変数が他の変数に対する効果を与えるという因果連鎖の中の一変数）が，どのようにレビューで報告されるかを記述しなければならない。
統計手法

プロトコルの研究手法の第六節は，レビューワが結果の計量分析を行う際に用いる手法についての記述である。レビューワは，次のような問いに答えなくてはならない。
分析を行うのに，どのソフトウェアを用いるのか
文献全体を統合した統計量はどのように報告されるのか
なぜその効果値を尺度として用いるのか偏りを取り除くために効果値に補正が行われるか
欠損値がどのように取り扱われるか異なった検定の結果を統合するのにどのような手法を用いるか
研究結果について量的な統合を行わないのであれば，その他のアプローチを用いる理由は何か
検定の結果のばらつきを吟味・分析するためにどのような手法が用いられるか。
どの点に関する感度分析（さまざまな判断がレビューの結果にもたらす影響の分析）がどのように行われるか
この節では，一つ一つの選択の理由を説明し，一つ一つの選択がレビューの結果にどのような影響を当たるかを考察しなければならない。
質的研究の取り扱い

キャンベルレビューにおいては，関連領域の質的研究は，(a) 介入をより厳密に定義する助けとなることによって，よりしっかりした介入の開発に役立つ，

(b) アウトカムの尺度の選択及び適切なリサーチ・クエッションの設定に役立つ，(c) 効
果研究の結果の異質性について理解するのに役立つ。
レビューのトピックに関連した質的研究について述べる場合には，レビューワは， (a)研究を含める／含めない基準，(b) 一次研究で用いられている研究方法，(c) 独立した知見を決定する方法及び (d)（量的研究と同様の詳しさで）レビューに含められた研究の特徴について，操作的に記述しなければならない。
５. 進行日程
重要な作業を完了する予定期日を設定することは，レビューを終えるのに必要な時間を見積もるのに役立つ。プロトコルは，このような進行日程を含まなければならない。レビ
ューの範囲や複雑さ，利用できる資源の量によって，必要な時間は大きく異なる。レビューワは，編集担当者とともに，レビューを行うために適切な進行日程を立てなければならない。下記のような作業については，完了予定期日が示されるとよい。
公表・未公表の研究の探索
レビューの対象とする基準の試行
レビューの対象とするかどうかの検討
研究のコーディングとデータ収集の試行
研究報告からのデータの抽出
統計分析
報告の作成
６. レビューを更新するための計画
レビューのプロトコルは，レビューがいったん完了したら，その後どのように更新されるかを示さなければならない。そこでは，最低，誰が責任を負うかと，更新がどの程度の頻度で行われるかが示されなければならない。
７. 謝辞
表紙にその名前がない，プロトコルの作成に貢献したすべての個人に対して，謝意が示されなければならない。
８. 利害の衝突に関する陳述キャンベルレビューは，レビューの結果に何らかの関心がある（とみなされる）ものから，現金や物，もてなし，その他の援助などを受け取ることによる，現実のあるいは見かけ上のバイアスを受けてはならない。キャンベル共同計画の方針は，レビューの結果に強い関心を持つ，単一の源から直接資金提供を受けることを認めていない。
レビューワは，金銭的な利害の衝突のほか，個人的，政治的，学術的，その他の利害の衝突で，自らの判断に影響を与える可能性があるものがあれば報告しなければならない。
そのトピックについてなんらの利害を持たない唯一の人物はそのトピックについて何も知らない人物であるので，利害の衝突をなくすことは不可能である。金銭的な利害の衝突がもっとも懸念される。金銭的な利害の衝突は避けることができるし，避けなければならない。もし，避けられない場合には報告されなければならない。レビューにおける（例えば，研究をレビューの対象に含めるかどうか，含めた研究の質の評価あるいは結果の解釈に関する）判断を歪めるおそれがある，その他の２次的な利害の衝突（例えば，個人的な利害の衝突）もまた報告されなければならない。
利害の衝突の公開はレビューの価値を下げるものではなく，不正直さを意味しない。しかしながら，利害の衝突は微妙な形で判断に影響を与えうる。レビューワは，彼らの判断が影響されないと確信している場合であっても，プロトコルに，生じうる利害の衝突についての記述を含めなければならない。編集担当者は，公開が不要であると判断したり，レビューの読者が自ら利害の衝突の重要性を判断できるよう利害の衝突について知るべきであると判断したりすることもできる。このような情報を公開するかどうかの判断は，レビ
ューワと編集担当者によって共同でなされなければならない。
９. 参考文献
プロトコルは，すべての引用された文献について，完全な出典を示さなければいけない。
引用及びその他の執筆要領は，アメリカ心理学会の次のガイドラインに従わなければならない。
American Psychological Association. (1994). Publication Manual of the American
Psychological Association (4th Ed.). Washington, DC: Author.
10. 図表プロトコルに含まれるすべての図表は，本文より後に置かれなければならない。
III. プロトコルの登録プロトコルが完成したら，担当部会の編集担当者に送付されなければならない。編集担
当者がプロトコルをキャンベル共同計画の基準を満たしていると判断したら，キャンベル
系統的レビューデータベースの，その部会の受け持つレビュータイトルの一覧のもとに公表される。プロトコルを公表することによって，このトピックに関心のある人々がレビューワにコンタクトしたり，同じトピックについて他の人がレビューを行うことを防いだりすることが期待される。編集担当者とレビューワは，常識的な期間内にレビューを完成させ，さらに，いったん完成させたらアップデートしていくというという強い決意がない場合には，プロトコルを公表してはならない。
IV. プロトコルの変更
一次研究のプロトコルが，不測の事態（例えば，参加者の確保，データ収集，予期せざるできごと）に対応するために変えなければいけないことがしばしばあるように，レビューのプロトコルも変更を余儀なくされることがしばしばある。あらかじめ立てたプロトコ
ルに沿おうとするための最善の努力はしなければならないが，プロトコルを変えないことがいつも可能であるわけではないし，好ましいわけでもない。プロトコルの変更は，変更によってレビューの結果にどのような影響が出るかを理由として行われてはならない。レビューの結果に対する影響が分かっている時点で，（既に選ばれた研究を除くといった）事後的な判断を行うことはバイアスの影響を非常に受けやすく避けなければならない。原則
として，可能な限り，変更がレビューの結果にもたらした影響を示すための分析が行われるべきである。
V. プロトコルの引用
プロトコルが，完成されたレビューとなったら，レビューにおいては，このレビューが公表されたプロトコルをもとに作られたことは触れられなければならない。キャンベル共
同計画では，公表後２年以内に完成しないプロトコルは，キャンベル系統的レビューデータベースから削除される。
VI. プロトコルの作成に役立つその他の資料
これまで述べてきたガイドラインに加え，キャンベルレビューを行おうとする者は，以下の資料から適切な示唆を得ることができる:(a) Clarke M & Oxman A.D. (Eds.). (2000). Cochrane reviewers handbook: Version 4.1.
In: ReviewManager (RevMan) [Computer program]. Version 4.1. Oxford, England: TheCochraneCenter.

(Availableon-lineat:

http://www.cochrane.org/cochrane/hbook.htm).
(b) Cooper, H. & Hedges, L.V. (Eds). (1994). The handbook of research synthesis. New
York: Russell Sage Foundation.
(c) National Health Service Centre for Reviews and Dissemination. (2000). Undertaking
systematic reviews of research on effectiveness. York, England: University of York.
(Available at: http://www.york.ac.uk/inst/crd/report4.htm).

最後に，レビューワは，キャンベル・レビューのプロトコルの作成に当たって指導を得るため，事務局に問い合わせてもよい。