SCIS2017 MWS企画セッション (MWSCIS)
研究活動とResponsible disclosure

研究倫理に関して我々の置かれている状況

NTTセキュアプラットフォーム研究所
秋山 満昭
2017.1.27
Copyright©2017 NTT corp. All Rights Reserved.

査読コメント：「Ethics（倫理）について議論せよ」とある難関会議の査読結果（ハニーポットに関する研究）

The authors should include a note on ethics for theirhoneypots. In effect, they run a compromised site that isactively used in serving exploits to users. There arearguments to be made on both sides: this causes harm
to users; but…

つまり「Ethicsを考慮した研究」を進め、論文中で適切に議論をしなければならない
Copyright©2017 NTT corp. All Rights Reserved.

1Dismantling Megamos Crypto: Wirelessly Lockpicking
a Vehicle Immobilizer (USENIX Security’13)

なぜこのようなことが起きてしまったのか？
情報開示手順は正しかったか？

http://www.bbc.com/news/technology‐23487928

Copyright©2017 NTT corp. All Rights Reserved.

2

Questions• Q1: 世の中ではどのようなEthicsのコンセンサスがあるのか？
• Q2: どのようにEthicsを議論し、実践すれば良いか？

サイバーセキュリティの先進的な研究を萎縮することなく 促進したい
Copyright©2017 NTT corp. All Rights Reserved.

3

世の中の研究倫理に関する動向：
生物医学からサイバーセキュリティへの発展• 研究倫理のガイドライン• 国際ワークショップ開催• 国際会議CFPでの明記• 国際会議でのパネルディスカッション
Copyright©2017 NTT corp. All Rights Reserved.

4Belmont Report (1978)• 生物医学/行動科学分野の研究倫理に関するガイドライン– 米国政府関連の委員会（National Commission for theProtection of Human Subjects）が策定• 人間被験者（Human subjects）を用いた研究が主な対象• 中核となる倫理３原則– Respect for Persons（人格の尊重）• 本人が自由に意思決定することを尊重• 実験参加の自由、適切なインフォームドコンセント– Beneficence（恩恵）• 患者/被験者や広く世の中に対して恩恵があること– Justice（正義）• 個人の平等な取り扱い（研究対象の公正な選択/平等な負担、研究の恩恵の平等な配分）
Copyright©2017 NTT corp. All Rights Reserved.

5Menlo Report（2012）• コンピュータ/情報のセキュリティにおける研究倫理のガイドライン/フレームワーク– アメリカ合衆国国土安全保障省（DHS）が公開• 中核となる倫理原則– [Belmont Reportから継承]
Respect for Persons, Beneficence, and Justice– [Menlo Reportで新たに追加]
Respect for Law and Public Interest• 法令遵守、公共の利益を尊重• 説明責任（Responsible Disclosure）と評価/実行手順の透明性
Copyright©2017 NTT corp. All Rights Reserved.

6

CREDS (2013) / CREDSII (2014)/ NS‐Ethics (2015)• CREDS (2013) / CREDS II (2014)– https://www.caida.org/workshops/creds/– IEEE S&Pの併設ワークショップ– “ethics‐by‐design”が目標– ベストプラクティス/ケーススタディの共有– 過去研究のEthicsの観点からの再検証– CREDS tool (2015)• Cyber Risk Ethics Decision Support tool

• NS‐Ethics (2015)– http://conferences.sigcomm.org/sigcomm/2015/netethics.php– ACM SIGCOMMの併設ワークショップ– ネットワーク観測を中心とした話題
Copyright©2017 NTT corp. All Rights Reserved.

7

[参考] CREDSでの議論• “Ethics in Security Research: Which lines should
not be crossed?” Sebastian Schrittwieser, Martin
Mulazzani and Edgar Weippl– Do not harm humans actively– Do not watch bad things happening– Do not perform illegal activities to harm illegalactivities– Do not conduct undercover research

Copyright©2017 NTT corp. All Rights Reserved.

8

CFP
USENIX Security’16

IEEE S&P’17
Copyright©2017 NTT corp. All Rights Reserved.

9

「Panel on Research Ethics」
at USENIX Security 2015
• パネリスト– Michael Bailey, Erin Kenneally, Niels Provos, Stuart
Schechter• 「Ethicsに問題があり Reject された論文が存在する」• 「PCはEthicsに関する判断をしない」– （PCではない、別の）専門家に判断を委ねる– 研究倫理委員会（Institutional Review Board, IRB）の承認が得られているか？
Copyright©2017 NTT corp. All Rights Reserved.

10世の中の研究倫理に関する動向：
生物医学からサイバーセキュリティへの発展• 研究倫理のガイドライン– Belmont Report (1978)– Menlo Report (2012)• 国際ワークショップ開催– CREDS (2013), CREDSII (2014), NS‐Ethics (2015)• 国際会議でのパネルディスカッション– 「Panel on Research Ethics」 USENIX Security (2015)• 国際会議CFPでの明記– 「Human Subjects and Ethical Considerations」 USENIX Security (2016)– 「Human Subjects and Ethical Considerations」 IEEE S&P (2016)
Copyright©2017 NTT corp. All Rights Reserved.

11

対象とする領域
Human subjects

IllegalLegal

Non‐Human subjects
Copyright©2017 NTT corp. All Rights Reserved.

12違法/適法の狭間のEthics

・理論研究
・ラボテスト・データセットを用いた研究

・通信の取得/分析
・外部とのインタラクション（動的解析、クロール、等）

・実システムを攻撃する
・プライバシーを濫用する
・不当に金銭を得る

Legal

Illegal
Ethicsに関する議論が必要な領域

Copyright©2017 NTT corp. All Rights Reserved.

13革新的な研究は“グレーな領域” を攻めている• Your Botnet is My Botnet: Analysis of a Botnet
Takeover [ACM CCS’09]• ZMap: Fast Internet‐Wide Scanning and its
Security Applications [USENIX Security’13]

Copyright©2017 NTT corp. All Rights Reserved.

14

ケーススタディ: Your Botnet is My Botnet:
Analysis of a Botnet Takeover [ACM CCS’09]• シンクホールでC&Cサーバのドメインを乗っ取り、感染ホストから送信される個人情報を収集

感染ホストから送られてきたデータ（例）• Ethicsの議論収集した個人情報– 「新たな被害の発生を抑える様々な努力をしている」– 「ステークホルダ/法執行機関（ISP, DoD, FBI）と協力している」
Copyright©2017 NTT corp. All Rights Reserved.

15

ケーススタディ： ZMap: Fast Internet‐Wide Scanningand its Security Applications [USENIX Security’13]• インターネットを超高速にスキャンする技術• Ethicsに関する議論• インターネットに与える悪影響が少ないことを主張• 研究者に対してスキャンのガイドラインを提示• 著者が実際に経験した、ユーザからの応答（苦情）も共有

スキャンのガイドライン

ユーザからの応答
Copyright©2017 NTT corp. All Rights Reserved.

16• 革新的な研究をするためには”グレーな領域” に踏み込まざるを得ない• そのためには、われわれ自身がEthicsについて論じる（論じることができる能力/研究力を身につける）必要がある

Copyright©2017 NTT corp. All Rights Reserved.

17著名論文におけるEthicsの議論• サイバーセキュリティ分野においてトップカンファレンスの一つである USENIX Security の論文を調査– Ethicsに関わる論文を抽出– Ethics関わる対処/記述を体系化

Copyright©2017 NTT corp. All Rights Reserved.

18

Ethicsの言及がある論文数
USENIX Securityの過去5年間（2012‐2016）で発表された論文 全293本を調査→ 計46本でEthicsの議論があった
Ethicsの議論がある論文
141210864202012

2013

2014

※ キーワード（ethics/ethical/IRB等）ベースで大まかに抽出したため正確な数字ではない可能性あり

2015

2016

Copyright©2017 NTT corp. All Rights Reserved.

19

Ethics議論の種別• 同意/承認の獲得– ユーザ（被験者）の同意– サービス事業者の承認– 研究倫理委員会の承認• 手順の正当性– Responsible disclosure– ポリシー/ガイドラインの準拠
– 匿名化
– 適法性
– 代替手段なし• リスク/被害のコントロール– 新たな被害は発生しない– リスクの最小化• 利益– ベストプラクティスの共有
– 公益性

• その他
– Human subjectsではない– 研究用途

Copyright©2017 NTT corp. All Rights Reserved.

20具体例: 同意/承認の獲得• [サービス事業者の承認] We directly contacted Twitter toreceive permission to conduct our study [1]• [ユーザ（被験者）の同意] We obtained informed written orverbal consent from all participants, both to participate in
the study as well as to have the interviews audio recorded.
[2]• [研究倫理委員会の承認] The studies have received anapproval from our institutional ethics review board. [3]• [(例外)] Our Universities do not have an IRB, but the study
conformed to the strict data protection law of Germany andinformed consent was gathered from all participants [4]• [(例外)] We worked with the director of UC San Diego’s
Human Research Protections Program, who certified ourstudy as exempt from IRB review. [5]Copyright©2017 NTT corp. All Rights Reserved.

21

具体例: 手順の正当性• [匿名化] We took careful protections to ensure that our live
data collection did not breach users’ anonymity. [6]• [ポリシー・ガイドラインの準拠] All telemetry data is subject
to strict privacy policies and participants can opt out bychanging their settings [7]• [ポリシー・ガイドラインの準拠] We followed the guidelines for
ethical scanning behavior outlined by Durumeric et al. [8]• [Responsible disclosure] We reported all the attacks
discussed below to the software vendors affected in the last
week of August 2013. [9]Copyright©2017 NTT corp. All Rights Reserved.

22具体例: リスク/被害のコントロール• [リスクの最小化] Following the ethical hacking
practice, we immediately removed the app from App
Store [10]• [新たな被害は発生しない] We use the passwords
alone, excluding usernames and email addresses. [11]• [新たな被害は発生しない] This data is alreadybroadly available [12]Copyright©2017 NTT corp. All Rights Reserved.

23具体例: その他
• [研究用途] We followed the ethical practice andnever utilized the leaked passwords for reasons otherthan understanding the overall statistical observationof passwords [13]• [Human subjectではない] This work is not considered
human subjects research [7]Copyright©2017 NTT corp. All Rights Reserved.

24具体例で引用した論文•••••••••••••[1] Trafficking Fraudulent Accounts: The Role of the Underground Market in Twitter Spam andAbuse, USENIX Security 2013[2] Investigating the Computer Security Practices and Needs of Journalists, USNEIX Security
2015[3] Privacy in Epigenetics: Temporal Linkability of MicroRNA Expression Profiles, USNEIX Security
2016[4] An Empirical Study of Textual Key-Fingerprint Representations, USENIX Security 2016[5] Measuring the practical impact of DNSSEC Deployment, USNEIX Security 2013[6] Never Been KIST: Tor’s Congestion Management Blossoms with Kernel-Informed Socket
Transport, USENIX Security 2014
[7] Alice in Warningland: A Large-Scale Field Study of Browser Security Warning Effectiveness,
USENIX Security 2013[8] You’ve Got Vulnerability: Exploring Effective Vulnerability Notifications, USENIX Security 2016[9] The Emperor’s New Password Manager: Security Analysis of Web-based Password Managers,
USENIX Security 2014[10] Jekyll on iOS: When Benign Apps Become Evil, USENIX Security 2013[11] How Does Your Password Measure Up? The Effect of Strength Meters on Password Creation,
USENIX Security 2012[12] PharmaLeaks: Understanding the Business of Online Pharmaceutical Affiliate Programs,
USENIX Security 2012[13] A Large-Scale Empirical Analysis of Chinese Web Passwords, USENIX Security 2014

Copyright©2017 NTT corp. All Rights Reserved.

25

Questions and Answers• Q1: 世の中ではどのようなEthicsのコンセンサスがあるのか？
– Belmont Reportをサイバーセキュリティに拡張した
Menlo Reportに原則が規定– さらに精緻な議論/個別事例の議論がCREDS/CREDSII/NS‐ethicsなどの会議で実施• Q2: どのようにEthicsを議論し、実践すれば良いか？
– トップカンファレンスの最先端研究事例から学べる
Copyright©2017 NTT corp. All Rights Reserved.

26

課題・提案• 課題１： 研究倫理委員会を持っている研究組織は？サイバーセキュリティの審議事例があるか？
– 特に企業においては設置されるケースが少ない– 設置されていた場合でも、サイバーセキュリティに知見はあまりない• 課題２： 単一の研究組織がEthicsの知見を蓄積し、判断するのは難しい。
– 巨大な大学/研究機関でない限り、知見が十分に蓄積されない• 提案： 学会/研究コミュニティでの議論を、Ethicsに関する判断に活用できないか？
– ガイドライン、研究倫理委員会、、、
Copyright©2017 NTT corp. All Rights Reserved.

27