トップ会議/論⽂誌の採択者に聞く、ユーザブルセキュリティ研究の⾯⽩さと⼼得
開発者向けユーザブルセキュリティ研究編

ユーザブルセキュリティワークショップ（UWS 2023）
2023年10⽉30⽇

NTTコミュニケーションズ株式会社
⾦井⽂宏© NTT Communications Corporation All Rights Reserved.

⾃⼰紹介︓⾦井 ⽂宏（Fumihiro Kanei）• 経歴/所属• 研究分野• 2015年 ⽇本電信電話株式会社 ⼊社
セキュアプラットフォーム研究所
社会情報研究所• ユーザブルセキュリティ• 2023年7⽉ NTTコミュニケーションズ
イノベーションセンター 所属• モバイルセキュリティ• 開発者向けユーザブルセキュリティ分野
CSS2020 最優秀論⽂賞, ACSACʼ21, CHIʼ23 採択• Androidアプリ/マルウェアの解析• Webセキュリティ• 広告不正検知© NTT Communications Corporation All Rights Reserved.

1

開発者向けユーザブルセキュリティ研究とは︖• ユーザブルセキュリティ研究︓• ⼈間的側⾯からセキュリティ技術を検討する研究分野• ユーザ属性とコンテキストの組み合わせによる様々な検討領域が存在

⾮専⾨家（Non-expert）
エンドユーザ など

専⾨家（Expert）

ソフトウェア開発者
システム管理者
SOCアナリスト
CISO など© NTT Communications Corporation All Rights Reserved.

開発者向けユーザブルセキュリティ研究
ユーザブルセキュリティ研究のうち、対象とするユーザ属性として開発者に着⽬した研究領域

2

なぜ「開発者」に着⽬する必要があるか︖•

システムの設計・実装段階でセキュリティ対策を講じる事で脆弱性の被害を未然に防ぎたい•

性能的に優れたセキュリティ技術でも現場の開発者視点で効果や利便性が⾼くないと活⽤は困難•

例︓とても⾼精度な脆弱性検査ツールらしいけど、ウチの環境だと導⼊しづらい...
どれくらい効果があるか分からないから導⼊判断が難しい...

• ソフトウェア開発者の認識/⾏動を分析し理解することで、現場の開発者にとって利⽤しやすいセキュリティ対策の開発に活⽤したい

現場での課題をフィードバック

ソフトウェア開発者の認識/⾏動の理解

ソフトウェア開発における設計/実装/運⽤で活⽤© NTT Communications Corporation All Rights Reserved.

現場への導⼊開発者の認識/⾏動に関する知⾒を活⽤開発者が利⽤しやすい
セキュリティ対策技術の開発

3

CHIʼ23 研究紹介︓

セキュア開発ガイドラインに関する調査（CHIʼ23）• 論⽂情報• タイトル︓Analyzing the Use of Public and In-house Secure Development Guidelines
in US and Japanese Industries• 著者︓⾦井⽂宏*1、⻑⾕川彩⼦*2、塩治榮太朗*3、秋⼭満昭*3•*1 NTTコミュニケーションズ（発表時はNTT社会情報研究所）, *2 情報通信研究機構, *3 NTT社会情報研究所• 会議情報• ACM CHI Conference on Human Factors in Computing Systems (CHI 2023)• ヒューマンコンピュータインタラクション（HCI）分野の最難関国際会議© NTT Communications Corporation All Rights Reserved.

4

CHIʼ23 研究紹介︓

セキュア開発ガイドラインに関する調査（CHIʼ23）• 研究背景• セキュア開発ガイドライン︓安全なソフトウェアを実装するための⽅法/⽅針が体系的に記されたドキュメント• セキュア開発ガイドラインに関する学術研究と産業界のギャップ• ⾃社製ガイドラインの利⽤実態、既存研究が提案する推奨事項の実践可能性、国ごとの開発者の認識の差異 など• アプローチ• セキュア開発ガイドラインに対する認識/実態を⽇⽶産業界の開発者へのユーザ調査にて調査• パブリック/⾃社製どちらのガイドラインが利⽤されているか︖ユーザビリティは︖利⽤・運⽤しやすいか︖• 結果• 学術界では注⽬されてこなかった⾃社製のガイドラインが産業界では広く利⽤されている• 開発現場における組織的な制約(e.g., 受託開発、⼩規模開発 など)を考慮した提案が必要© NTT Communications Corporation All Rights Reserved.

5

CHIʼ23 研究紹介︓

調査結果・提⾔• ⾃社製ガイドラインの利⽤実態• 産業界では⾃社製のガイドラインの⽅が広く利⽤されている⇛ 既存研究が着⽬していない⾃社製ガイドラインに対する理解/実態解明の重要性を定量的に明らかにした• より実践しやすいガイドラインの運⽤法の必要性

参加者が利⽤しているガイドラインの種別の割合（アメリカ︓N=359, ⽇本︓N=285）• 特定の属性を持つ開発現場では既存研究が推奨するガイドラインの運⽤⽅法が実践しにくい• 例︓受託開発、⼩規模開発 など• ガイドラインの責任者を定めるべき︕• ガイドラインに準拠して開発されたか検査すべき︕

研究者© NTT Communications Corporation All Rights Reserved.

• ⼩規模開発• 受託開発 など•⼩規模なプロジェクトなので⼈員が⾜りない…
•委託元からの指⽰が無いと勝⼿に実施できない…

開発者
6

CHIʼ23 研究における苦労・⼯夫点• アンケート設計における⼯夫• パイロットインタビュー / パイロット調査に基づいたアンケートの質の向上• JPCERT/CC, Software-ISAC等、産業界コミュニティと連携し 10社（19名）へ事前のインタビューを実施• バイアス軽減に向けた質問設計• 例︓全ての設問を匿名回答/任意回答とすることで 社会的望ましさバイアス※を軽減※ 参加者が⾃⾝の⽴場/所属によって社会的に好ましいであろう回答をしてしまうバイアス• 調査対象となる開発者募集の難しさ• ⼀般的なエンドユーザ向け調査と異なり、開発者（＝特定の属性をもつ⼈）の調査は参加者募集が難しい• ウェブ調査会社に依頼して海外の提携調査会社と連携し⽇⽶の開発者を募集（そこそこの費⽤）• ウェブ調査会社 or クラウドソーシング のどちらが良いかは要議論• 再現性の観点からクラウドソーシングサービスのほうが査読者の印象は良い・・・︖© NTT Communications Corporation All Rights Reserved.

7

CHIʼ23 採択までの流れ
2021.12〜

パイロットインタビュー＆パイロット調査実施

2022.4

アンケート調査実施

2022.62022.8USENIX Security ʼ23 投稿
USENIX Security ʼ23 Rebuttal→ 不採択

2022.9

CHI ʻ23 投稿

2022.11〜12

CHI ʼ23 Resubmission 期間

2023.1

CHI ʼ23 採択© NTT Communications Corporation All Rights Reserved.

2: Accept on Shepherd Approval x1
3: Accept Conditional on Major Revision x1
4: Reject x3

2: Accept with Minor Revisions or Revise and Resubmit x2
3: Revise and Resubmit x2

1: Accept with Minor Revisions x3
2: Accept with Minor Revisions or Revise and Resubmit x1

8

CHIʼ23 レビュワーの主な指摘事項• 調査設計への指摘• リクルーティング⽅法/参加者属性は適切か︖• 調査対象国として⽇⽶を選定した理由は︖ など

査読結果への対応• 引⽤/補⾜説明の追記• 調査会社への問合せ• 既存研究の再調査 等• 統計分析への指摘• ⽤いた統計検定⼿法の妥当正• 統計分析の結果の解釈が不適切• 報告すべき統計量が不⾜している点 など© NTT Communications Corporation All Rights Reserved.

査読結果への対応• 図表の修正/追記• ⼀部データの再分析• 記載するデータの追加 等9CHIʼ23 レビュワーの主な指摘事項︓

具体例• EX）参加者属性に関する指摘• 査読コメント︓調査対象国として⽇本/アメリカを選定した理由は︖• 対応︓⽇⽶のソフトウェア開発業界の違いに関する説明を追記（e.g., ⾃社開発/受託開発の傾向）• EX) 参加者募集⽅法に対する指摘• 査読コメント︓参加者募集⽅法の妥当性に関する説明を追加せよ。利⽤した調査会社はどのように開発者を募集しているか︖過去に学術研究で利⽤された実績はあるか︖• 対応︓利⽤したWeb調査会社による参加者募集や品質管理に関する説明を追記
Web調査会社を利⽤している既存研究をリストアップし過去に利⽤実績がある点を主張• EX）統計検定に関する指摘• 査読コメント︓統計検定における効果量（Eﬀect Size）の解釈に関する説明が不⾜している。
• 対応︓類似の統計分析を⾏っている既存論⽂での記述を参考に説明を追記© NTT Communications Corporation All Rights Reserved.

10ユーザブルセキュリティ研究の論⽂採択に向けて• 適切な⽅法論（調査設計・分析⼿法）の採⽤• ユーザブルセキュリティ研究おいては適切な⽅法で調査/分析をしたか（⽅法論）が特に重要視される• RQを踏まえた適切な調査対象者の選定、質問設計、分析⽅法 等• 科学的な品質の確保• 分析結果の理論的根拠（統計検定等）、再現性の確保が求められる• 適切な統計検定の実施/統計量の報告、実験⼿順書/質問紙の提出 等• 研究倫理への配慮• ⼈間を中⼼とした研究分野のためユーザ調査がほぼ必須であり、適切な倫理的配慮が求められる• IRB承認、インフォームド・コンセント、個⼈情報の取り扱い、参加者報酬 等

既存研究を参考に確⽴された実績のある⽅法を採⽤すべき（我流はNG）© NTT Communications Corporation All Rights Reserved.

11• 以下、参考資料© NTT Communications Corporation All Rights Reserved.

12開発者向けユーザ調査を⾏うにあたって• 開発者向けユーザ調査では開発者特有のユーザ属性の考慮が必要
⼀般的なユーザ属性の例

開発者特有のユーザ属性の例• 年齢• ⽴場︓プロ, フリーランス, 学⽣• 性別• プログラミングスキルの有無• ⺟国語• 役職︓デベロッパ, マネージャ ...

• 教育的バックグラウンド• 業務内容︓実装, テスト...

• ハンディキャップ など• 所属企業︓⼤企業, 中⼩企業

例えば下記のような調査設計は Ecological Validityに問題があるとされる• プロ向けの開発サポートツールの評価に⼤学⽣を募集© NTT Communications Corporation All Rights Reserved.

13開発者のリクルーティング• ⼀般的にエンドユーザと⽐較して開発者のリクルーティングは難しい• スキルのある参加者を募集しづらい、コンタクト先が少ない、費⽤がかかりやすい、など• 既存研究で⽤いられている開発者のリクルーティング⽅法 [SECʼ22]• 研究者のコネクション活⽤(e.g., 個⼈的な連絡先、スノーボールサンプリング、MLでのCS学⽣募集)• 有料サービス(e.g., Proliﬁc, Upwork, Freelancer)• ソーシャルメディア(e.g., Twitter, Facebook Groups)• オンラインフォーラム/ブログ (e.g., Reddit)• ネットワーキング(e.g., LinkedIn)• メール募集(e.g., Github, Google Play)

過去にやってる研究はあるが)GitHubやGoogle Play 経由の開発者の募集はサービスの利⽤規約違反のため
⾮推奨 [CHIʼ22]

Tahaei et al. Recruiting Participants With Programming Skills: A Comparison of Four Crowdsourcing Platforms and a CS Student Mailing List (CHIʼ22)
Kaur et al. Where to Recruit for Security Development Studies from: Comparing Six Software Developer Samples (SEC’22)© NTT Communications Corporation All Rights Reserved.

14論⽂数から⾒る開発者向けユーザブルセキュリティ研究
開発者向けユーザブルセキュリティ研究に関する論⽂件数*

2016年頃から急速に論⽂件数が増加

難関国際会議SOUPSにおける開発者向けユーザブルセキュリティ論⽂

近年のSOUPSにおける論⽂における1〜2割が開発者向けユーザブルセキュリティ研究*参考元: Mokhberi et al. SoK : Human , Organizational , and Technological Dimensions of Developers ’ Challenges in Engineering Secure Software, (EuroUSEC’21)
Kaur et al. Where to Recruit for Security Development Studies: Comparing Six Software Developer Samples, (SEC’21)
Tahaei et al. A Survey on Developer-Centred Security,(EuroUSECʼ19)© NTT Communications Corporation All Rights Reserved.

15

国際会議ごとに⾒てみると...
国際会議/論⽂誌ごとの開発者向け
ユーザブルセキュリティ論⽂の発表件数*• ソフトウェア⾼額分野でもユーザブルセキュリティに関連する論⽂が増加中• ICSE, ESEC/FSE, ASE（SW⼯学分野Tier1会議）で、数年前からHCIのセッションが新設• IEEE SecDevが2016年から開始• セキュアなシステム開発に関する研究に特化した国際会議*参考元: Mokhberi et al. SoK : Human , Organizational , and Technological Dimensions of Developers ’ Challenges in Engineering Secure Software, (EuroUSEC’21)
Kaur et al. Where to Recruit for Security Development Studies: Comparing Six Software Developer Samples, (SEC’21)
Tahaei et al. A Survey on Developer-Centred Security,(EuroUSECʼ19)© NTT Communications Corporation All Rights Reserved.

16