MWS企画セッション①

研究倫理取り組み事例紹介（USENIX Security等の最新研究事例より）
秋⼭満昭 NTTセキュアプラットフォーム研究所
畑⽥充弘 NTT/MWS組織委員会

背景・モチベーション• サイバーセキュリティ研究において研究対象/⾏為が多様化• 法制度や社会的コンセンサスは時代とともに変化する• どのような倫理的配慮をどこまでやればいいか• 倫理的な研究を実践するために（※SCIS2018 MWS企画セッションより）– Step1: 原理原則から学ぶ– Step2: 先⼈の経験から学ぶ– Step3: 実践して論じる

本発表の着⽬点※ http://www.iwsec.org/mws/2017/20180125/3F2-2.pdf

2157論⽂h"ps://www.usenix.org/conference/usenixsecurity20/technical-sessions

3

分析⼿順

抽出

分類

傾向分析
4

分析⼿順

キーワード検索︓ethics, ethical, disclosure,
IRB, legal, vendor, feedback, CVE

抽出分類傾向分析5

分析⼿順

抽出分類

傾向分析
6

分析⼿順
3025201510505] 9] 3] 7] 1] 5][1, (5, (9, 1 13, 1 17, 2 21, 2(((抽出分類

傾向分析7

研究倫理の記述の有無・分量•

記述あり︓47.1% (74/157)– 参考︓コンピュータセキュリティシンポジウム2020の記述あり 10.7% (19/177)

•

記述の量

– “多い” > “少ない” > “最低限の記述のみ”

8

研究分野と記述有無・分量• 「セッション名」毎に集計– 同⼀分野で複数セッションあるものはマージ（例 “Machine Learning 1” と “Machine learning 2”）• 傾向– 理論系論⽂は記述が無い・少ない– 実際のシステム・サービス・⼈間を対象にした論⽂は記述が多い
9

サイバーセキュリティ研究倫理に関する６種類（＋１）の分類軸•

⼿続き– Consent and approval︓事前にやること(事前同意/承認)– Responsible disclosure︓事後にやること(関係各所への通知)– Ground for the excep7on︓例外として扱う根拠︓•対応⼿段– Protect user‘s privacy︓プライバシー保護︓– Respect for law/policy/guideline/contract︓法令等遵守– Balance risks and beneﬁts︓リスクと利益のバランス•その他– Other︓上記に定義されない倫理的配慮︓

10

分類⼿順
• ⼿順1: コードブックを分析者⼆名の合議で作成– コードブック︓分類（前ページに記載）についての意味と具体例• ⼿順2: コードブックに従って⼆名の分析者が独⽴して分類– 論⽂に対して各分類のフラグを付与することで分類論⽂

分類1

分類2

分類3

#1

no

yes

nono

yes

no

yes

nono

yes

nono

#2

分析者A
分析者B

• ⼿順3: ⼀致率の検証– Cohen’s kappa係数は 0.75 以上で信頼性あり（未満の場合、⼿順1に戻る）– 今回は Cohen’s kappa係数 が 0.803 だったため1発OK11分類結果

⼿続き

※Otherは１件

Consent and approval
Responsible disclosure
Ground for the exception
01020304050607040506070

論⽂数

対応⼿段
Protect user's privacy
Respect for law/policy/guideline/contract
Balance risks and benefits
01020
論⽂数3012⼿続き︓Consent and approval• 実験参加者の承諾– 実験前に同意書（consent form）を参加者から受領
All respondents explicitly gave their consent …

• IRBの承認– IRBの審査を受けて承認取得
This study was approved by our institutions’ IRB.
– IRBから審査免除された（Human factorでないため）
The IRB Exempt certificates were obtained from our institutes.
⼈間を対象にしない研究ではこれらの⾔及がないものが多い

13

⼿続き︓Responsible disclosure• 発⾒した脅威/脆弱性をステークホルダに通知– 通知した事実

We have disclosed the details of this attack to [vendor], who hasacknowledged its validity.
– 取得した脆弱性ID[vendor] has also assigned [CVE-ID] to [product name]– 対応状況
We worked with the [soCware] authors to patch these bugs.
脆弱性を対象にする研究では必須
14

Ground for the exception• （省略）

15

対応⼿段︓Protect user’s privacy• PII（Personally-identifiable Information）の匿名化
we have scrubbed information that might trace back to the people behindthe pseudonyms• PIIを収集しない… using IP country geoloca7on instead of the full IP address
all traces are collected from an automated browser and none of them arefrom real users

⼈間を対象にした研究、通信を観測する研究ではほぼ必須
16

対応⼿段︓Respect for law/policy/guideline/contract• 法律への準拠– GDPRAs some of our participants were from the UK and [service] is located in theUK, we complied with GDPR.
– ⽶国連邦法
Federal law also mandates […] Throughout our study, all the calls that werecorded were made to the inbound lines we owned.

• 弁護⼠の⾒解
we consulted with our lawyers and they confirmed that what we did waslegal, and we believe that it is ethical.
サイバー犯罪系の研究で⾔及が多い

17

対応⼿段︓Balance risks and benefits• リスクの低減・最⼩化– 実験参加者、実験対象サーバ/サービスへの配慮• ワークアラウンドの提⽰– 攻撃⼿法の論⽂だが、対策⼿法まで実装して事業者に提⽰• Responsible disclosureのプロセス詳細– 各ベンダの対応⼿順や状況の詳細をGithubで説明– Disclosureを実施する際の課題をまとめている– Ethereumの脆弱なSmart Contractの作者を探す⽅法の説明
実際の⼈間・システム・サービスを対象とした研究全般で⾔及される

18

分かったこと•USENIX Security 2020では研究倫理の⾔及をしている論⽂が約半数– ⽂献[A]より、USENIX Security 2012-2016ではわずか 15.6% (46/293) だった[A] 秋⼭,研究倫理に関して我々の置かれている状況, SCIS2017 MWS企画セッション (MWSCIS),
hFp://www.iwsec.org/mws/2016/pdf/4E2-2.pdf– サイバーセキュリティ研究における倫理的配慮の重要性は確実に⾼まっている•

研究倫理に関する記述の粒度・観点・分量が統⼀されていない– 研究分野による差異• 理論系研究は必須ではない• 実社会に直ちに影響を及ぼす研究（サイバー犯罪/実サービスへの攻撃)では綿密な議論がされる– 研究者/研究グループの特性もあるかも•「先⼈の経験から学ぶ」ことは重要– しかし、現状は情報が構造化されていないため、簡単に検索したり活⽤することが難しい…

19

研究コミュニティでの “知⾒の活⽤” に向けて
• 研究倫理決定⽊（Ethical decision tree）– セコム様が開発したサイバーセキュリティ研究倫理判断のサポートツール– 過去の論⽂における倫理的判断をDB化してUIでインタラクティブに検索可能• すでに議論/実践されていること・されていないことがわかる• 最新情報を反映して研究コミュニティで活⽤できないか︖

Ramirez et al., A Cybersecurity Research Ethics Decision Support UI, SOUPS2020 poster session.
Ramirez et al., Knowledge-Base Practicality for Cybersecurity Research Ethics Evaluation, UWS 2020.

20