2020/10/28

1

CSS2020
研究倫理相談タスクフォース活動紹介

本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

CSS2020企画セッション➀

CSS2020研究倫理相談TF
島岡政基，秋山満昭
2020.10.28© 2020 SECOM CO., LTD.

世の中を変える革新的な研究成果や世界で競争力のある技術を創出したい• サイバーセキュリティ研究における 倫理的配慮の重要性の高まり• 誰も踏み入れたことがない/前例が十分にない場合の難しさ• トップ国際会議のCFPにおいて倫理的配慮の必要性について言及• 利害関係者の明確化、リスクの最小化努力、Responsible disclosure等の実施→ どうやって実践すればいいのか？

2020/10/28

2• CSS2020研究倫理相談TF・相談窓口の運用• 研究を倫理的に実施するためのアドバイスを行う• CSS2019におけるサイバーセキュリティ研究倫理の取り組み<http://www.iwsec.org/mws/2019/20191021/css2019-akiyama+shimaoka.pdf>
本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

© 2020 SECOM CO., LTD.

CSS2020企画セッション➀• 研究者個人の問題ではなく、研究コミュニティとして取り組むべき課題

3

課題認識と対応方針

CSS2020企画セッション➀

2020/10/28• 投稿論文の書き方で解決できる問題→ 論文投稿時に参照する「チェックリスト」の作成で対応• 研究そのもののアプローチの検証を通して解決できる問題→ 研究会/シンポジウムに研究倫理に関する相談窓口を設置して対応

サイバーセキュリティ研究における 理的な研究プロセスの普及啓発について

h2ps://www.iwsec.org/mws/2018/20190124/scis2019-shinoda+akiyama_jsps_192_ethicsWG.pdf

本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

© 2020 SECOM CO., LTD.

サイバーセキュリティ研究における倫理的配慮のためのチェックリスト
https://www.iwsec.org/css/2020/ethics_list.html

2020/10/28• チェックリストの目的4• セキュリティ研究に関する典型的な倫理的配慮を著者らに啓発すること（セルフアセスメントすること）• 共通的に陥りやすい落とし穴 (Common pitfall) を項目として列挙• The Menlo Report の四大倫理原則• CSS2018に始まった研究倫理相談窓口の経験• 関連組織（MWS/CSEC/ICSS/JNSA等の有識者）への意見照会/反映

本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

CSS2020企画セッション➀

1. 基本的確認
1-1. 学会倫理要綱，利用規約等
2. 実験のために収集した機微な情報に関して
2-1. 機微な情報の取り扱いをどのように配慮したか
3. 実験の実施や論文の公開による“ネガティブな影響”に関して
3-1. ネガティブな影響について検討したか
3-2. 具体的に記述することの妥当性を検討したか
3-3. ネガティブな影響を最小化するための対策について検討したか
3-4. 上記検討内容を必要の程度で本文に明記したか© 2020 SECOM CO., LTD.

CSS2020での取り組み

52020/10/28• 「チェックリスト」の活用• 投稿システム上で 『確認したか』 を聞く
チェックボックスを用意• 強制ではないためチェックせずに投稿可能• 今後の本活動の参考にすることを目的として、任意で論文投稿者にオンラインフォーム（Google forms）でのチェックリストの結果を回答してもらうことも実施• オンラインフォームはチェックリストURLのリンクからアクセス可能※ 投稿システム上のチェックやオンラインフォームの入力結果が論文の相談者 (研究者)採否等に影響することは基本的にありません• 研究倫理相談TFによる「相談窓口」の設置• チェックリストでは判断が難しい高度な倫理的配慮が必要な研究を対象として、相談に対して適切なアドバイスを実施• 相談受付は発表申込締切日まで実施した• 相談窓口URL <h<ps://www.iwsec.org/css/2020/ethics.html>
本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

②回答

相談窓口
研究倫理委員会①相談②回答

プログラム委員会© 2020 SECOM CO., LTD.

CSS2020企画セッション➀①相談【事例紹介】機械学習分野でのチェックリストの取り組み

2020/10/28

NeurIPS（機械学習のトップ会議 ）において『再現性』に関するチェックリストが2019年から導入

6

Reviewer Guidelines

h9ps://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf
本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

© 2020 SECOM CO., LTD.

CSS2020企画セッション➀

Call For Papers

2020/10/28

7

投稿システム上で発表申込時にチェックリスト確認をしたと回答した論文
167/190件
前年96.8%(217/224件)から△8.9ポイント

本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

© 2020 SECOM CO., LTD.

CSS2020企画セッション➀

87.9%

2020/10/28

8

投稿システム上で最終原稿投稿時にチェックリスト確認をしたと回答した論文
138/177件
前年度は未計測

本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

© 2020 SECOM CO., LTD.

CSS2020企画セッション➀

78.0%

投稿システムのバグ• チェック済フラグの仕様• 発表申込時にセルフチェックを確認する(フラグoﬀでも申込・投稿ともに可能)• 申込時のフラグは投稿時にも引き継がれる

2020/10/28

9• 申込時にonなら投稿時もon• 後からチェックを外す/入れることももちろん可能• つまり恣意的にチェックを外さない限り減るはずはない…

• 発表申込時未チェック 23件• 最終投稿時未チェック 40件 (下記33件＋もともと未チェックだったもの)• 原稿更新によるチェック外れ 33件• 意図的に外していなければ171/177件=96.6%(△0.2ポイント)で昨年と同水準??

• 9月17日に倫理TFから業者照会の結果バグ判明，当日中に改修済• 次年度は正確な集計が可能となる予定
本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

© 2020 SECOM CO., LTD.

CSS2020企画セッション➀• 投稿原稿を更新した場合のみフラグが引き継がれなかった不具合が判明2020/10/28

1019件本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

CSS2020企画セッション➀

倫理的配慮について言及のあった論文
19/177件(10.7%)
前年度17/224件(7.6%)から＋3.1ポイント© 2020 SECOM CO., LTD.

倫理的配慮について言及する論文数

2020/10/28

件数

CSS2016

CSS2017

CSS2018

CSS2019

CSS2020• 倫理的配慮が必要な研究が増加していること• 倫理的配慮について言及するという意識が広まってきたこと
本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

© 2020 SECOM CO., LTD.

CSS2020企画セッション➀

2018161412
1086
4
2011

2020/10/28

123件
本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

CSS2020企画セッション➀

相談窓口への問い合わせ(うち1件は2編まとめての問い合わせ)© 2020 SECOM CO., LTD.

研究倫理相談窓口の問い合わせ件数
5件数
42020/10/28133

2

1CSS2018•••

CSS2019

CSS2020

いずれも相談内容は簡単なものではない
TF内でも例外なく議論があり，時間の許す限りの議論を重ねた研究をリスペクトするため，丁寧かつ慎重にアドバイスをとりまとめた本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

© 2020 SECOM CO., LTD.

CSS2020企画セッション➀0今後に向けて• In-scopeの部分• 一定の成熟度に達した• フィードバックや今後の技術・社会の変化に応じて定期的な見直しを行っていく

2020/10/28

14• リストの肥大化に細心の注意を払いながら検討していく

本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

© 2020 SECOM CO., LTD.

CSS2020企画セッション➀• スコープ外の部分

• 基礎的な落とし穴の回避を容易にするチェックリスト→ 研究倫理リテラシーの底上げ• より高度な/判断の難しい倫理問題のための相談窓口→ より高レベルの研究成果の後押し

セキュリティ研究コミュニティとしての互助を引き続き推進していきます
本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

© 2020 SECOM CO., LTD.

CSS2020企画セッション➀

まとめ

2020/10/28

15

16

秋山 満昭
木藤 圭亮
国井 裕樹
齋藤 孝道
島岡 政基
森 達哉
（五十音順）

本発表・講義専用の資料となりますので、第三者への開示、転用はお控えください。

© 2020 SECOM CO., LTD.

CSS2020企画セッション➀

2020/10/28

チェックリスト作成協力者