ブレイン・テック エビデンスブック評価シート（AGREEⅡ）
エビデンスブックのバージョン：ｖer.0.1
評価項目
1. エビデンスブック全体の目的が具体的に記載されている。
2. エビデンスブックが取り扱う健康づ
くり・ヘルスケア領域の問題が具体的に記載されている。
3. エビデンスブックの適用が想定される対象集団（利用者、一般市民など）
が具体的に記載されている。

改訂前点数

改訂前ドキュメントに対するコメント
十分な記載があると思われます。

再評価に際して、エビデンス評価委員会としての 改訂後
点数
返答、およびエビデンスブックの修正内容
-

7

-

7

7
4. エビデンス評価委員と外部評価委員には、関係する全ての専門家グループの代表者が加わっている。

7
一般成人が主な対象と思われますが、免責事項に「未成年の方や、病気の診断や治療などの医療を対象としたブ
レイン・テックは本書の対象ではない」旨の記載があり
ます。

-

7

ガイドブック本体の作成関係者一覧では、所属の表記レベルが異なっており、専門性が読み取れない関係者もいます。外部評価用のCOI一覧では専門も記載されていますが、これはWeb公開だけの想定でしょうか。書籍化の可能性があれば、ガイドブック本体に専門やCOIの情報も含めておくのがベターです。また診療ガイドラインや
システマティックレビュー作成ではPatient and Public
Involvement（PPI）が重視されていますので、何らかの見解の記載をお勧めします。今回は特にされていなければ、今後の課題として検討する旨、どこかに追記できればベターです。

・外部評価用のCOI一覧を『エビデンスブック』の巻末に補足資料として追加した。
・第一版公開後にパブリックコメントを募集し、市民の知見を第二版の改訂に活用できるよう対応を進める。このことは新たに設けた「エビデンスブックの改訂計画」に明記した。

エキスパートにより一般ユーザーが感じるであろうクエ
スチョンをリストアップされていますが、ユーザーから何らかの情報収集がされたかどうか（ヒアリングや質問紙調査など）は明確に読み取ることができませんでした。

・第一版公開後にパブリックコメントを募集し、実際にブレ
イン・テック製品を使用する可能性のある一般消費者や、ブレイン・テックに関わる事業者らが、その有効性・安全性・信頼性が明らかにされることを望むRQについての意向調査を実施する。
・意向調査の結果は、全12項目の調査が完了したのちに、新たにRQを設定する際の参考とする。このことは新たに設けた「エビデンスブックの改訂計画」に明記した。

6
5. 対象集団（利用者、一般市民など）の価値観や希望が調べられた。

64
6. エビデンスブックの利用者が明確に定義されている。
7. エビデンスを検索するために系統的な方法が用いられている。
8. エビデンスの選択基準が明確に記載されている。

ブレイン・テックの利用者、製品やサービスを提供して7 いる事業者向けとの記載があります。
クエスチョン、利用データベース、検索対象期間、検索
7 時期、検索式が明記されています。
検索式からある程度読み取れますが、例えば研究デザイ
ンはランダム化比較試験に限定したのか、すぐに読み取ることが難しかったです。各クエスチョンでの文献の組
み入れ基準・除外基準が示されていればベターです。

5
9. エビデンス総体（body ofevidence）の強固さと限界が明確に記載されている。
6
10. 回答を作成する方法が明確に記載されている。
11. 回答の作成にあたって、健康上の利益、副作用、リスクが考慮されてい
る。

7

5

・『エビデンスブック』では、分量が増えない範囲で組入・除外基準が極力明確となるよう図3（対象研究選定の流れ）の表記を修正した。
・文献の組み入れ及び除外基準は、システマティックレ
ビューの帳票に明記している。『エビデンスブック』への記載は専門的過ぎるため割愛した。

エビデンス総体の確実性として high/medium/low/very
本書はガイドラインではなく、読み手も専門知識を有する者
low といった表記は無く、「科学的根拠は十分ではなではないため、誤解を招きかねない段階的表現を使うことをい」という叙述的な表現となっています（段階的な表現 避けた。
はしない方針であれば、それで結構です［その理由が述べられていればベターです］）。限界については叙述的にならざるを得ないので、それで宜しいかと思います。
「エビデンスの確実性の判定基準」に記載があります。

12. 回答とそれを支持するエビデンスとの対応関係が明確である。

今回は推奨決定は行わないので、個別のエビデンス、エビデンス総体から、利益・不利益・リスクの有無が記載
されています。今後、推奨を決める議論に進むのであれ
ば、その素材として役立つものと思われます。
推奨決定はエビデンス総体を一つの足場として、しかしそれに限定せず、プラスアルファの検討要因を総合的に考えて、多様な立場のパネルが総意形成を行うものであるため、どのようなエビデンス総体から、他要因を考え合わせて、なぜその推奨に至ったかの判断過程を透明化することに意味があります。今回は推奨決定ではなく、エビデンスのまとめとそれらの簡潔な解説ですので、両者の対応は当然明確なものになりますので、この質問自体があまり適切ではないかもしれません。

-

14. エビデンスブックの改訂手続きが示されている。

76
7-・頂いた外部評価の結果を踏まえて、『エビデンスブック』の内容を修正した。
・コメントとこれへの対応を明示するため、外部評価に対する回答内容は『エビデンスブック』公開時にウェブにて公開
する。

7
-

レビュー対象の各研究の比較群（一般的な訓練、Sham、プラセボ、介入なし等）が、異なる選択肢となり得ると思われます。

-

見出しを強調して、記述内容が構造化されているため、重要な内容は見つけられ易いと感じられます。

1

7

・本書の作成は競争的資金によって進められているため定期改訂の保証は困難だが、研究費に依存しない形で本活動を継続すべく、今後関連学会と協議し、内容の改訂や社会実装の実情を踏まえての補遺を可能とする体制整備を検討する。
・上記のことは、巻末に「今後の改訂計画」という項目を設けて記載した。

全体として得られたエビデンスについては具体的、明確
7 に記述されています。

7

7

6

外部評価のコメントに対して、可能な範囲で結構ですので、どのようなコメントにどのように対応したかの記述も含めて、対応された修正版が公開されることを期待しています。今回の6点の評価は、そのような対応がされる前提での評価となります（対応されれば7点評価に変6 更します）。
今後、「順次公開」の記載はありましたが、今回の第1版以後の将来的な改訂に関して明確には読み取れませんでした。一般的に診療ガイドラインの改定は5年前後とされていますが、この領域は変化が急速ですので、先生方が考える適切な改訂時期と、それに向けた準備（明確なものでなくてよく、心積もりとして）について記載を追加されることをお勧めします。

6

7

5

4
15. 回答が具体的であり、曖昧でない。
16. 利用者の状態や健康上の問題に応じて、異なる選択肢が明確に示されている。
17. 重要な回答が容易に見つけられ
る。

7

-

6
13. エビデンスブックの公表に先立って、専門家による外部評価がなされている。

7

背景とクエスチョンが明示されています。

7

6
-

7

18. エビデンスブックの適用にあたっての促進要因と阻害要因が記載されている。
19. どのように回答を適用するかについての助言・ツールを提供している。

『エビデンスブック』は、推奨ではないため、適用しや
すい・しにくい、という評価の対象にしにくいものと思われます。この項目は評価から外しても良いかもしれま
4 せん。
これも適用すべき推奨が無いので、やや評価しにくい項目ですが、いずれのクエスチョンも、科学的エビデンスの蓄積は途上であり、利用には慎重さが不可欠という結論ですので、利用者への注意を促すメッセージをより明確に記述しても良いかもしれません。

4
20. 回答の適用に対する、潜在的な資源の影響が考慮されている。

4

21. エビデンスブックにモニタリング
や監査のための基準が示されている。
4
22. 資金提供者の見解が、エビデンス
ブックの内容に影響していない。

前項と同じく、推奨された介入の適切な普及を促進する 左記のコメントを受けて、本項目は評価項目から除外されための項目ですので、評価から外しても良いと思われま た。
す。

4
経済的、学術的（アカデミック）COIに分けて開示がされており、『エビデンスブック』作成の公正性を担保する重要な一要素となっているものと思われます。

【全体へのコメント】

7
評価項目
から除外
評価項目
から除外

資金提供者であるJSTおよび内閣府は、本書の内容に一切関与していない。このことは『エビデンスブック』2ページ目の下部に追記した。

7-

7

6
エビデンスブック全体の評価：
2. このエビデンスブックの使用を推奨
する。

評価項目
から除外

・利用者への注意を促すメッセージは、より消費者向けの書
籍『ガイドブック』の「はじめに」に記述済である。
・『エビデンスブック』は、事実をフラットに記述する以上のメッセージ性を含まない（推奨の要素を極力排除する）よ
う作成しているため、指摘されたのようなメッセージは記述しない。

前項と同じく、推奨された介入を適用する際の課題です 左記のコメントを受けて、本項目は評価項目から除外されので、評価から外しても良いと思われます。
た。

この取り組みとJSTムーンショットとの関係はいかがでしたでしょうか。

23. エビデンス評価委員とシステマ
ティックレビューメンバーの利益相反が記録され、適切な対応がなされている。
エビデンスブック全体の評価：
1. このエビデンスブック全体の質を評価する。

左記のコメントを受けて、本項目は評価項目から除外され
た。

推奨
する

7
今回の（私の）外部評価は、推奨を含む診療ガイドラインを評価するAGREEIIを用いて、推奨を含まないエビデンスブックを評価しており、低めの点になっている項目もありますので、点数自体は参考に留めていただければと思います（見落としている点もあるかと思いますので、そのような点があれば、お教えください）。コメン
トへの対応についても公開前にお教えいただければ幸い
です。

-

-

6
-

推奨
する

ブレイン・テックに対して急務とされていたアカデミアによる適切な方向付けに応えられた意義のある成果であり、膨大な作業を精緻に進められた先生方のご尽力に改めて敬意を表するものです。今回の成果を基点として、利用者、そして開発者へどのようなメッセージを伝えていくか、先生方のお取り組みがさらに推進されていくことを心より期待しております。

本評価シートは、AGREEⅡを参考に、エビデンスブックの評価に適するよう適宜内容を変更して作成されました。
AGREEⅡの目的は、①診療ガイドラインの質を評価する、②診療ガイドライン作成のための方法論的戦略を示す、③診療ガイドライン上にどのような情報がどのように提供されるべきかを示すことです。AGREEⅡは 、診療ガイドラインの質における独自の特徴を捉えるため、6 領域 23 項目と全体評価 2 項目で構成されています。本評価シートも同様に、6 領域 23 項目と全体評価 2 項目から構成されていますが、評価対象はガイドラインではなくエビデンス
ブックであること、患者や疾患ではなく技術の利用者や健康・ヘルスケアを対象としていることなどから、これらに適合するよう内容を修正しています。
出典：
原著 The AGREE Next Steps Consortium "The Appraisal of Guidelines for Research and Evaluation (AGREE) Ⅱ “ ,2017https://www.agreetrust.org/
日本語訳 公益財団法人 日本医療機能評価機構 EBM 医療情報部（Minds）「AGREEⅡ（日本語版）」（2022年）
https://minds.jcqhc.or.jp/docs/StaticPage/evaluation_tool/1.AGREE%E2%85%A12017_Japanese_202209.pdf

2

評価項目
1. エビデンスブック全体の目的が具体的に記載されている。
2. エビデンスブックが取り扱う健康づくり・ヘルスケア領域の問題が具体的に記載されている。
3. エビデンスブックの適用が想定される対象集団（利用者、一般市民など）が具体的に記載されている。

改訂前点数

改訂前ドキュメントに対するコメント

再評価に際して、エビデンス評価委員会としての返答、およびエビデンスブックの修正内容-

全体的な記載は概ね、具体性に富んだものとなっていると

7 思われます。

7

関連する問題が具体的に記載されていると思われます。

-

エビデンスブックの適用が記載される対象集団をきちんと把握されていると思います。

-

臨床研究の倫理委員会の例に倣うとすれば、市民代表のような立場の方をさらに加える可能性がありえるでしょうか……（難しいですが）。

・専門性を必要とする評価委員の加入は難しいが、第一版公開
後にパブリックコメントを募集し、そこでの指摘を第二版での改訂に活用できるよう対応する。
・このことは新たに設けた「エビデンスブックの改訂計画」に明記した。

上記に関連して、一般市民の価値観等が十分に含まれるかどうか。

・第一版公開後にパブリックコメントを募集し、実際にブレイン・テック製品を使用する可能性のある一般消費者や、ブレイン・テックに関わる事業者らが、その有効性・安全性・信頼性が明らかにされることを望むRQについての意向調査を実施する。
・意向調査の結果は、全12項目の調査が完了したのちに、新たにRQを設定する際の参考とする。このことは新たに設けた「エビデンスブックの改訂計画」に明記した。

-

-

-

-

-

-

-

-

-

-

7

7

7
4. エビデンス評価委員と外部評価委
員には、関係する全ての専門家グ
ループの代表者が加わっている。

7

6
5. 対象集団（利用者、一般市民など）の価値観や希望が調べられた。

66
6. エビデンスブックの利用者が明確に定義されている。
7. エビデンスを検索するために系統的な方法が用いられている。
8. エビデンスの選択基準が明確に記載されている。
9. エビデンス総体（body ofevidence）の強固さと限界が明確に記載されている。
10. 回答を作成する方法が明確に記載されている。
11. 回答の作成にあたって、健康上の利益、副作用、リスクが考慮されて
いる。

7
7
7

6

7
7

6
-

-

-

-

-

-

-

-

-

-

-

エビデンスブックは推奨ではないため「適用しやすいか否か」という評価の対象としにくい、という他の外部評価委員の指摘を受けて、本項目は評価から除外された。

-

-

-

他の外部評価委員より「本項は推奨された介入の適用に関わる評価項目であるため、推奨を含まないエビデンスブックでの評
価には適さない。本項は外しても良いと考えられる。」との指摘を受け、評価項目から除外した。

評価項目
から除外

-

推奨された介入の適用に関わる評価項目であるため、推奨を含
まないエビデンスブックには適さないという外部評価のコメン
トを受けて、評価項目から除外した。

評価項目
から除外

-

-

7

7

6
6

7

-

6

6

7

6
上記と関連し「副作用」あるいは「有害事象」についてのエビデンスがそもそも少ないので、対応関係が明確であると断言することが困難でした。

7

7

指摘通り修正した。

6

13. エビデンスブックの公表に先立って、専門家による外部評価がなされている。
14. エビデンスブックの改訂手続きが示されている。
15. 回答が具体的であり、曖昧でない。
16. 利用者の状態や健康上の問題に応じて、異なる選択肢が明確に示されている。
17. 重要な回答が容易に見つけられる。
18. エビデンスブックの適用にあたっての促進要因と阻害要因が記載され
ている。

7

7

「副作用」という用語で良いかどうか、再度ご検討下さい。疾患において「副作用」は多くの医師が認めたものであり、そのレベルかどうか不明な時点では「有害事象」という用語を使うものと思います。新型コロナウイルスワクチンの例などご参考まで。

12. 回答とそれを支持するエビデンスとの対応関係が明確である。

改訂後
点数

7
6

6
6
評価項目
から除外

6
19. どのように回答を適用するかについての助言・ツールを提供している。
20. 回答の適用に対する、潜在的な資源の影響が考慮されている。

6

6

6
21. エビデンスブックにモニタリング
や監査のための基準が示されている。
622. 資金提供者の見解が、エビデンス
ブックの内容に影響していない。
7
23. エビデンス評価委員とシステマ
ティックレビューメンバーの利益相反が記録され、適切な対応がなされ
ている。

7
-

-

7

7

3

エビデンスブック全体の評価：
1. このエビデンスブック全体の質を評価する。

今後、ブレインテックの社会実装を進める上で、重要な取り組みであり、現時点において質の高いエビデンスブック
として構築されていると考えられます。

-

7
エビデンスブック全体の評価：
2. このエビデンスブックの使用を推奨する。

【全体へのコメント】

推奨
する

7
エビデンスにもとづきブレインテックの社会実装を進める
上で、本エビデンスブックを活用することが望まれる。
-

１）細かい点ですが、上記の「副作用」という用語の使い方に加え、「研究の現況」の部分の「研究の発表状況」に関する棒グラフについては、具体的にどのようなキーワードで文献検索を行ったのかについて明記されるべきであると思われました。
２）ガイドブックのデザインも良い印象であり、エビデンスブックも同様のテイストで進められるものと思います。「付録」において、「プラセボ」刺激のことについて、きちんと言及している点が良いと考えられます。脳イメージング系の研究では「対照条件」として示されることも多いですが、ニューロフィードバック技術においては、「プラセボ刺激」の方が明確で、何を比較対象とすべきであるのかがはっきりわかるので良いと思いました。何よりも、エビデンスブックを作成して終わりではなく、社会に浸透することが重要と思われます。また、難しい面もあるかもしれませんが、評価において市民の参
画も今後ご検討いただくと良いかもしれません。

推奨する

１）に対する回答
・研究の発表状況の記述と関連する棒グラフは、全体分量調整のため削除した。
・ただし、指摘の通り文献検索のキーワードは公開すべきと考え、検索式
へのリンクを参考文献に加えた。
（分量の都合で、本文中にキーワードを含められなかった）

本評価シートは、AGREEⅡを参考に、エビデンスブックの評価に適するよう適宜内容を変更して作成されました。
AGREEⅡの目的は、①診療ガイドラインの質を評価する、②診療ガイドライン作成のための方法論的戦略を示す、③診療ガイドライン上にどのような情報がどのように提供されるべきかを示すことです。AGREEⅡは 、診療ガイドラインの質における独自の特徴を捉えるため、6 領域 23 項目と全体評価 2
項目で構成されています。本評価シートも同様に、6 領域 23 項目と全体評価 2 項目から構成されていますが、評価対象はガイドラインではなくエビデン
スブックであること、患者や疾患ではなく技術の利用者や健康・ヘルスケアを対象としていることなどから、これらに適合するよう内容を修正しています。
出典：
原著 The AGREE Next Steps Consortium "The Appraisal of Guidelines for Research and Evaluation (AGREE) Ⅱ “ ,2017https://www.agreetrust.org/
日本語訳 公益財団法人 日本医療機能評価機構 EBM 医療情報部（Minds）「AGREEⅡ（日本語版）」（2022年）
https://minds.jcqhc.or.jp/docs/StaticPage/evaluation_tool/1.AGREE%E2%85%A12017_Japanese_202209.pdf

4

評価項目
1. エビデンスブック全体の目的が具体的に記載されている。
2. エビデンスブックが取り扱う健康づ
くり・ヘルスケア領域の問題が具体的に記載されている。
3. エビデンスブックの適用が想定される対象集団（利用者、一般市民など）
が具体的に記載されている。

改訂前点数

改訂前ドキュメントに対するコメント
6

再評価に際して、エビデンス評価委員会としての 改訂後
点数
返答、およびエビデンスブックの修正内容

-

-

-

-

すべての推奨が健常成人を対象とした結論です
が、推奨の文章にその文言を入れる方が良いと思います。更に、健常成人の定義が曖昧ですが、この点をそれぞれの項目で入れるべきでしょう。年齢、男女など。妊婦は？

RQ毎に健常成人の定義が若干異なるため、冒頭部の回答直下に、当該RQにおける健常成人の定義を説明するよう変更した。

神経内科、脳外科などの臨床系の研究者が一人も入っていない。法律家も入っていない。ある
程度かかわっている方がいたら、その名前を記載すべきである。

・エビデンス評価委員には臨床系研究者が2名就任している。
指摘を踏まえてエビデンス評価委員全員の名前を第一版に記載する。
・専門性を透明化すべく、経済的COIの一覧表に専門資格を追記し、『エビデンスブック』巻末に補足資料として追加する。
・法律家は外部評価委員にいるが、エビデンス評価委員には不在。そこでムーンショット内部の法学チームによる本書の内容を確認・推敲を実施。
・本評価項目は、今後外部評価委員に市民代表等を含めることを見越して「エビデンス評価委員と外部評価委員には関係する全ての専門家グループの代表者が加わっている。 」と変更した。

一般市民を対象としたガイドである事は記載されているが、市民の希望、使用する当事者の意向調査などはしていない。

・第一版公開後にパブリックコメントを募集し、実際にブレ
イン・テック製品を使用する可能性のある一般消費者や、ブレイン・テックに関わる事業者らが、その有効性・安全性・信頼性が明らかにされることを望むRQについての意向調査を実施する。
・意向調査の結果は、全12項目の調査が完了したのちに、新たにRQを設定する際の参考とする。このことは新たに設けた「エビデンスブックの改訂計画」に明記した。

7

7

4
4. エビデンス評価委員と外部評価委員には、関係する全ての専門家グループの代表者が加わっている。

62
5. 対象集団（利用者、一般市民など）の価値観や希望が調べられた。

64
6. エビデンスブックの利用者が明確に定義されている。
7. エビデンスを検索するために系統的な方法が用いられている。
8. エビデンスの選択基準が明確に記載されている。
9. エビデンス総体（body ofevidence）の強固さと限界が明確に記載されている。
10. 回答を作成する方法が明確に記載されている。
11. 回答の作成にあたって、健康上の利益、副作用、リスクが考慮されている。
12. 回答とそれを支持するエビデンスとの対応関係が明確である。
13. エビデンスブックの公表に先立って、専門家による外部評価がなされている。
14. エビデンスブックの改訂手続きが示されている。

6
7
7

6
-

-

-

-

-

-

-

-

6
6

-

-

-

-

-

-

-

-

新しい項目を追加する事は記載されているが、時間がたつにつれてすでに発表したものも古くなるので、それらを何年ごとに見直すなどの記載が必要。

・本書の作成は競争的資金によって進められているため定期改訂の保証は困難だが、研究費に依存しない形で本活動を継続すべく、今後関連学会と協議し、内容の改訂や社会実装の実情を踏まえての補遺を可能とする体制整備を検討する。
・上記のことは、巻末に「今後の改訂計画」という項目を設けて記載した。

7

6

7

6

7

7

-

-

この項目は本件のような解析には適さない質問
だと思います。

-

5
6

7

6

5
15. 回答が具体的であり、曖昧でない。
16. 利用者の状態や健康上の問題に応じて、異なる選択肢が明確に示されている。
17. 重要な回答が容易に見つけられる。
18. エビデンスブックの適用にあたっての促進要因と阻害要因が記載されている。
19. どのように回答を適用するかについての助言・ツールを提供している。

6

6

6
7

6

6
6

5
-

-

-

エビデンスブックは推奨ではないため「適用しやすいか否か」という評価の対象としにくい、という他の外部評価委員の指摘を受けて、本項目は評価から除外された。

--

記載が無いが、刺激装置などを所有しているかでこの方法を受ける事ができる施設とできない施設がある事を記述した方が良いのではないですか。

他の外部評価委員より「本項は推奨された介入の適用に関わる評価項目であるため、推奨を含まないエビデンスブックでの評価には適さない。本項は外しても良いと考えられる。」との指摘を受け、評価項目から除外した。

記載がないので。一応点数を入れました。

推奨された介入の適用に関わる評価項目であるため、推奨を含まないエビデンスブックには適さないという外部評価のコメントを受けて、評価項目から除外した。

5

6
評価項目
から除外

6
6

20. 回答の適用に対する、潜在的な資源の影響が考慮されている。
4
21. エビデンスブックにモニタリング
や監査のための基準が示されている。
4
22. 資金提供者の見解が、エビデンス
ブックの内容に影響していない。

6

-

-

5

評価項目
から除外

評価項目
から除外

6

23. エビデンス評価委員とシステマ
ティックレビューメンバーの利益相反が記録され、適切な対応がなされてい7る。
エビデンスブック全体の評価：
1. このエビデンスブック全体の質を評6価する。
先に述べた点の修正をした後に使用する事を推
エビデンスブック全体の評価：
2. このエビデンスブックの使用を推奨 推奨する 奨する。
(条件付き)する。
【全体へのコメント】

7

-

-

6
-

推奨
する

記載なし

本評価シートは、AGREEⅡを参考に、エビデンスブックの評価に適するよう適宜内容を変更して作成されました。
AGREEⅡの目的は、①診療ガイドラインの質を評価する、②診療ガイドライン作成のための方法論的戦略を示す、③診療ガイドライン上にどのような情報がどのように提供されるべきかを示すことです。AGREEⅡは 、診療ガイドラインの質における独自の特徴を捉えるため、6 領域 23 項目と全体評価 2 項目で構成されています。本評価シートも同様に、6 領域 23 項目と全体評価 2 項目から構成されていますが、評価対象はガイドラインではな
くエビデンスブックであること、患者や疾患ではなく技術の利用者や健康・ヘルスケアを対象としていることなどから、これらに適合するよう内容を修正しています。
出典：
原著 The AGREE Next Steps Consortium "The Appraisal of Guidelines for Research and Evaluation (AGREE) Ⅱ “ ,2017https://www.agreetrust.org/
日本語訳 公益財団法人 日本医療機能評価機構 EBM 医療情報部（Minds）「AGREEⅡ（日本語版）」（2022年）
https://minds.jcqhc.or.jp/docs/StaticPage/evaluation_tool/1.AGREE%E2%85%A12017_Japanese_202209.pdf

6

ブレイン・テック エビデンスブック評価シート（自由記述版）
エビデンスブックのバージョン：ver.0.4
これまで 15 年にわたり米国と日本で健康食品および代替医療のエビデンスブック（ナチュラルメディシン・データベース） の作成に携わってきました。
欧米では、ナチュラルメディシン・データベースが、健康食品や代替医療を医療従事者が患者、国民に対して公正で正確なその安全性と有効性情報を与えるために作られたデファクトスタンダード エビデンスデータベースとなっています。例えば 1995 年の DSHEA（ダイエタリーサプリメント健康教育法） の施行により米国 NIH は国民のヘルスリテラ
シー向上のため無料で毎年 1 億ページビューのデータベースを公開していますが、そのデータベースのほとんどがナ
チュラルメディシン・データベースから引用されています。日本でも国立健康・栄養研究所の素材成分の安全性と有効性のほとんどはナチュラルメディシン・データベースからの引用となっています。
ナチュラルメディシン・データベースはその素材成分に関しての有効性、安全性、医薬品・他代替医療との相互作
用、妊娠・授乳時の安全性、ハーブ・他食品との相互作用や症状禁忌について 120 人を超えるリサーチャーが毎日シ
ステマティック・レビューをすることによりランク付けし、商品ごとにはその有効性、安全性、品質の総合判断でランク付けをしています。これまでの実績がこのブレインテック・エビデンスブックで参考になるのではないかということで評価に参加させていただくことになっています。
以下一般的な観点からの意見となります。（3 つの RQ に共通の意見）
RQ1
安全性： 判断をするために少なくとも有害事象としてどのような可能性があり、義務化すべき安全性指標をあらか
じめ決めておく必要があり、完ぺきではなくとも考えうる安全性の問題と指標をあらかじめ提示（当該委員会が）すべきと考えます。
有効性： バイアスのない臨床試験の確立が望まれます。科学的根拠を持つためには、バイアスのない試験デザインや厳格な方法論が必要です。臨床試験の確立は、エビデンスブックの信頼性を高めるために不可欠です。まず、その確立がないと、いつまでたっても科学的根拠は不十分であることから抜け出すことは不可能です。
RQ2
安全性： こちらも少なくとも有害事象を明確化して義務化すべき安全性指標をあらかじめ決める必要があります。
指標を決めたうえで倫理委員会が監視をする仕組みが最低限必要です。
有効性： 客観的に有効性が認められるためには、どのような具体的試験をすべきかをあらかじめ決定する必要があると考えます。（運動能力、睡眠の質、注意力などに分けて具体的な方法論をあらかじめ提示し、それらと同等もしくは優れている試験と証明ができれば）RQ3
安全性： 安全性試験は関連するリスクを評価する必要があります。上記も含め総じてデバイスや機器の安全性（電気安全性、生態的合成、放射線安全性）、身体的・心理的・認知的な影響（脳への刺激影響、生体リズムの影響、心理ストレス）などを分ける必要もあると考えます。また、頭痛、めまい、不安感などの副作用などウェルビーイングをモニタリングするためには適切な期間を設ける必要があります。
有効性： こちらもバイアスが問題になります。
以上一般的な観点からの意見になりますが、総じて当該委員会がある程度バイアスのない試験の例などを示す必要があるかもしれません。
なお、RQ9 については、前頭極に絞った場合α波であれば指標になりえると考えます。ただし、この段階では相関が 0.7 以上ないと指標とはならないと考えます。
以 上【再評価に際して、エビデンス評価委員会としての返答】
安全性に関して考えうる安全性の問題を提示すべきであることや、有効性に関してバイアスのない試験デザインの例を示す必要があることは、いずれもガイドブック作成委員会にて認識しております。
そこで現在、ガイドブック作成委員会では「ブレイン・テック ガイドブック vor.2（ブレイン・テック製品に関する開発・販売の手引き）」の作成を進めています。
その内容は、主にブレイン・テック製品の開発・販売や事業への活用を検討されている方に向けて、責任ある開発・販
売・活用のために必要な要件を整理したものとなる予定です。
例えば、安全性を保証するためには、デバイスとしての安全性（電気的安全性や機械的安全性）と、生物学的な安全性（身体や心理状態への影響）を分けて考える必要があることや、頭痛・めまい・不安感といった副作用をモニタリングするためには適切な期間を設ける必要があることなどが記載される予定です。
あるいは、有効性を保証するためには結果にバイアスを含まない試験を行う必要があることや、バイアスのない試験をデザインするための方法論を掲載予定です。
7このことは「エビデンスブック（案）」の「今後の改訂計画」（p.30）の第 3 段落に記載しました。
なお、エビデンスブックは事実をフラットに記述することに注力しているため、「安全性の問題としてありうること」や「バイアスのない試験を実施しうる方法」のような内容の記載に適さないと考えております。
ご理解頂けますと幸いです。

【外部評価委員からの再評価】
今後の改訂計画および回答内容で了承させていただきます。
外部評価委員の一人として、エビデンスブック（EB）の内容の妥当性および分かりやすさなどについて、以下のとおり評価する。
1. EB の目的、対象集団・利用者について
EB 全体の目的については、冒頭に「ブレイン・テック製品に興味のある方と、その販売者や研究者を対象に、技術の科学的な根拠や安全性について知っていただくこと（p.1）」を明記し、ブレイン・テックの有効性と安全性に関する現状の共有が目的であることは明確である。また、EB を通じて一般消費者が科学的な視点を身につけることにより、製品を使用した際の不利益や健康被害を防ぐことへの展開が期待され、その有用性も評価できる。
また、EB が取り扱う健康づくり・ヘルスケア領域の問題に関して、具体的に「一般消費者が購入できるブレイン・テッ
ク製品の有効性や安全性は、十分に明らかとは言えない現況」、「ブレイン・テックには科学的な根拠が不足している製品が多い。例えば、『能力が向上する』という謳い文句の製品の多くは、関連する学術論文数件を引用して、根拠があるように見せているに過ぎない」などと説明されている。
なお、EB の適用が想定される対象集団・利用者については、EB 利用者をブレイン・テック製品に興味のある人およびその販売者や研究者と定義しており、その例として、一般消費者、製品・サービスの販売・開発を推進している事業者、研究者、医療関係者を具体的に記載している。
ただし、対象集団の価値観や希望が入念に調べられたか否かは、EB の記載内容から十分に読み取ることができな
かったように感じる。
2. 回答作成について
EB では、回答を作成するについて、調査方法が具体的・客観的に明示されている。また、有害事象に関する研究や発生報告の確認など、安全性（健康上の利益、副作用、リスク）が一程度考慮されているものと思料する。
調査結果の有効性を判定するに際しては、各項目とも回答を支持するエビデンスを丁寧に記述・図示しており、回答とエビデンスとの対応関係は概ね明確である。
各項目の Answer（回答）では、背景、調査結果（安全性・有効性）、研究の現況、調査方法を具体的に列挙しており、明確なものとなっている。また、回答に指針の参照を付記するなど、回答適用に関する助言・ツールの提供にも工夫が認められる。この点、健常成人とそれ以外を区別して回答しているが、さらに利用者の状態や健康上の問題に応じた選択肢を提示するよう努めることが望まれるのではあるまいか。
なお、エビデンスの検索方法、選択基準、エビデンス総体の強固さと限界については、いずれも専門外のため、的
確な評価は控えたい。
3. 外部評価について
エビデンス評価委員には、神経科学を専門とする 12 名の研究者が加わっている。また、外部評価委員も多様な専門家で構成されており、評価を受けることとなっている。特に EB の公表に先立っては、システマティック・レビューの作業プロセス、EB の記載内容の正しさ、利益相反開示の透明性等に関し、6 名の外部評価委員による評価がなされている。
さらには、エビデンス評価委員とシステマティックレビューメンバーの利益相反が記録され、適切な対応もなされている。
4. 改訂についてEB の改訂手続きについては、第 1 版で全 12 項目の質問中 4 項目の回答が公開され、残りの 8 項目は調査が完了し次第順次公開する旨が示されている。
5. 結論（小括）以上のとおり、この EB の使用を推奨する。
以 上8

【再評価に際して、エビデンス評価委員会としての返答】「対象集団の価値観や希望が入念に調べられたか否かは、エビデンスブック（EB）の記載内容から十分に読み取ることができなかったように感じる」というご指摘について
この点はエビデンス評価委員会でも問題と認識しております。
そこで第一版公開後にパブリックコメントを募集し、実際にブレイン・テック製品を使用する可能性のある一般消費者
や、ブレイン・テックに関わる事業者らが、その有効性・安全性・信頼性を明らかにすることを希望する RQ の意向調査を実施します。
意向調査の結果は、全 12 項目の調査が完了したのちに、新たに RQ を設定する際の参考とします。
このことは、「エビデンスブック（案）」の「今後の改訂計画」（p.30）に明記しました。
「健常成人とそれ以外を区別して回答しているが、さらに利用者の状態や健康上の問題に応じた選択肢を提示するよ
う努めることが望まれるのではあるまいか」というご指摘についてご指摘の通り、健常成人と言っても性別や特性（例：アスリートと非アスリート）に基づく選択肢の提示は必要と考えられます。
しかしながら、現時点ではこのような特性に注目するには研究数が不十分で、明確な結論を導くことは難しいため、今回は分析対象外としました。
今後の調査では、研究数に応じて考慮できる場合には考慮いたします。
健康上の問題に関しては、医療・非医療の境界領域に踏み込むことになるため、本書の対象外としております。ご理解頂けますと幸いです。

【外部評価委員からの再評価】
エビデンス評価委員会の議論および回答（EB 補足情報 p.30 も含め）を確認させていただきました。ありがとうございます。いずれも内容を了承いたしました。

全体的な点
・ 今回チェックした 4 項目について、調査方法や調査文献の数からして現状で妥当な検討が行われたものと評価できるように思われます。内容についても異論はありません。
気になった個別の評価観点は以下の通りです。
・ 観点 16：RQ2 以外は特に明示はなかったように思われます。しかし、そもそもここで想定されているブレイン・テッ
クの利用者は、健常成人の能力を現状よりもさらに良くすることを目的としているような人のため、このような記述は必要ないかもしれません。
・ 観点 18：本ブックがエビデンスブックであるということからすると、AGREEⅡにあるような適用可能性という尺度での評価は困難であるように思われます。それでも適用可能性を評価するとなると、本ブックの配布部数などで測ることになるのでしょうか。
構成について・ 付録が本ブックを読解する上で非常に有用であり、特に、一般消費者にとっては不可欠であるように思われます。
この箇所は導入部分でほしいところですが、そうできないとしても、本ブックの早い段階で、付録に関する言及がほしいところです・ 個人的な意見で恐縮ですが、各 RQ は、最初にタイトルに答える形で「Answer」があり、その次に「背景」という構成になっていますが、読み物として読み難いように感じます。項目の見出しはともかく「背景」（の情報）を「Answer」よりも前にしたほうがいいように思われます（もしそうすると、それ以下部分も微調整が必要となりますが…）
以 上9

【再評価に際して、エビデンス評価委員会としての返答】「本ブックの早い段階で付録に関する言及がほしい」というご指摘について
本書冒頭にて付録の存在に言及するよう、「エビデンスブック（案）」の「はじめに」（p.1）の最終段落に以下の文を追加いたしました。
「また、付録には本書を読み進める際に必要となる基礎知識をできる限り簡潔にまとめました。」「最初に Answer があり、その次に背景という各 RQ の構成は読み物として読み難いように感じる」というご指摘についてご指摘はご尤もだと思います。しかしながら本書は、回答を知りたくて手に取られるケースが多いと想定しているため、読みやすさ以上に冒頭に回答（＝結論）があることが重要と判断いたしました。ご理解頂けますと幸いです。

【外部評価委員からの再評価】
付録についての言及「はじめに」で言及をいただき、ありがとうございます。細かいことで恐縮ですが、「また、付録には本書を読み進める
際に～」という部分を「また、巻末の付録には本書を読み進める際に～」とした方が、付録がどこにあるのかが分かって読み手に対して親切であるように思われました。ご検討いただけますと幸いです。
RQ の構成について
もちろん、この構成でも問題ないと思います。私の拙いコメントをご検討いただき、ありがとうございました。

以 上10