修士論文審査
SOC業務支援のためのオープンソース
インテリジェンスシステムの提案と評価
2023年2月18日
情報セキュリティ大学院大学
後藤研究室 博士前期課程2年
大村篤生
1

研究概要
SOC業務の課題
・スキルを持った人材の確保が困難
・現場運用のウェイトが重く、脅威動向を追えていない

SOC業務支援のためのOSINTシステム提案
・セキュリティに関する最新の脅威動向を自動的に収集する・緊急性の高い脅威や脆弱性についてはその他の情報と区別して収集する
・要約された収集情報をチェックすることでSOCの通常業務への負担を少なくして攻撃の高度化を追う

OSINTシステムの実装・評価
既存のOSINTシステムに新規要件を付加

要件①収集情報の保存
要件②情報収集の脅威排除
要件③収集情報の翻訳
要件④収集情報の要約

SOC業務従事者にアンケートを実施
・既存OSINT機能より、新規OSINT機能の方が評価が高い
・要件①、要件③の評価が高い

結論提案するOSINTシステムの実装と評価により、SOC業務における脅威動向収集に実用的な価値を示した
2

OSINTとは
OSINT(open source intelligence)

・「合法的に入手できる資料」を「調べて突き合わせる」手法。「合法的に入手できる資料」とは、報道・ネット記事・新聞記事・書籍・科学誌・企業が公表しているニュースなど・ネット上で収集できる情報は膨大な量となっており、情報の収集においては自動化が必要不可欠となっている。

OSINT

メタデータ調査
SNS調査
ニュース調査

ユーザ名
会社名
ロケーション
会社名
趣味
パスワードのヒント
企業の動向
企業の不祥事

出典:SQL Master データベースエンジニアとセキュリティエンジニアとLinuxエンジニアのための情報 –諜報活動はOSINT、SIGINT、HUMINTの3種類が基本(閲覧日:2021年5月19日)
3
http://www.sql-master.net/articles/SQL1639.html

SOC業務へのOSINTの活用■OSINTの活用による効果
・ニュースサイトやSNSからサイバーセキュリティに関連する情報を収集し、セキュリティチーム内および社内従業員へ通知する。(脅威の最新動向の共有・活用)
・OSINTで収集される情報をSIEMへ連携させることでシステムで発生していることの緊急性を判断する。(SOCのログ分析の支援)

・セキュリティチームによる従業員への「情報セキュリティ啓発」を最新動向の情報で実施できる・発見される脆弱性を素早くセキュリティチーム内で共有できる組織
セキュリティチーム

ニュースサイトSNSなどの情報源

OSINT

SOC

脅威情報の発信従業員(グループを含む)

SIEM

JPCERT
IPA
NCAなどのセキュリティ組織

CSIRT

OSINTで確認された脅威情報の連絡

EDR
サーバ
コンピュータネットワークのログを格納

4

提案手法について■本研究の焦点、OSINTに求めること
本研究では、「自組織へのセキュリティ脅威に対する予防と、セキュリティチームの知見・関心の向上を目的とする脅威・脆弱性情報の早期認識のため、公開情報(主にインターネットのニュースサイトやSNS)から情報収集を行いその情報を有効に活用すること」をOSINTの定義とし、考察を行っていく。
また、本研究においてOSINTの要件として以下を提示し、SOCの情報収集やインシデント判断を支援することを目的として機能を実装し、評価を行う。
１．情報収集後は、元記事が削除された場合でも情報の閲覧が可能である
２．情報収集の自動化にセキュリティ脅威がない
３．収集された情報を分かりやすくするため、収集情報の日本語翻訳が自動的に行われる
４．収集された情報を分かりやすくするため、収集情報の要約が自動的に行われる
5

要件毎の効果と仕組み
1.情報収集後は、元記事が削除された場合でも情報の閲覧が可能である●効果
・過去の脅威・脆弱性を振り返れる状態にすることで現在の脅威・脆弱性への進化の過程や傾向をつかむことができ、以降の脅威への対応やセキュリ
ティ関連の知見向上に繋がる●考案する仕組み・情報収集の際に記事URLだけでなく、本文内容も併せて収集しデータベースに格納することで、記事が削除された場合でも情報の閲覧をそのまま可能に記事が削除された場合、する
その後の内容閲覧不可

記事URLのみ収集

記事URL

SOC

ニュースサイトSNSなどの情報源
記事URL&記事本文記事全文を収集

6

要件毎の効果と仕組み
2.情報収集の自動化にセキュリティ脅威がない●効果
・収集元の設定を行わずに情報収集を行うと、意図せずマルウェアや個人情報などを収集してしまう可能性がある⇒自動収集に脅威を無くすことで安全に情報収集をすることができる●考案する仕組み
・事前に信頼できる収集元の固定化を行うことで意図しないものの収集を防止する
あらかじめ収集元の情報源を確定させておくことで、信頼できない情報源からの収集を防ぐ

情報源A

SOC

情報源B
情報源C
7

要件毎の効果と仕組み
3.収集された情報を分かりやすくするため、収集情報の日本語翻訳が自動的に行われる●効果・情報源が日本語以外表記の情報だと、内容の把握に時間がかかる・正確に内容の把握ができない等の可能性がある⇒収集情報の内容の把握が円滑かつ正確になる●考案する仕組み・Google Translate APIもしくはDeepL APIの技術を活用して収集する情報の日本語翻訳を行う

SOC
翻訳前の記事

翻訳APIの活用による日本語翻訳

8要件毎の効果と仕組み
4.収集された情報を分かりやすくするため、収集情報の要約が自動的に行われる●効果・情報源が要約されていない状態だと、内容の把握に時間がかかる・正確に内容の把握ができない等の可能性がある⇒収集情報の内容の把握が円滑かつ正確になる●考案する仕組み・⾧文要約生成API(朝日新聞社)の技術を活用して収集する情報の要約化を行う●機能・指定した⾧さごとに生成型要約
・文の⾧さを揃える
・文の圧縮
・重要な文の抽出

要約前
要約前の記事の記事

SOC
APIの活用
による記事の要約化
9

OSINTの従来機能と新規機能
図に既存のOSINTツールや先行研究等で確認されているOSINTの従来機能(青)と本研究で新規に追加する機能(赤)を示す ●ツール
→本研究では下図の機能の構築し、評価を行う ツール①:MISP&EXIST
ツール②:Inoreader●先行研究
OSINTによる収集と自動タグ生成シス
テムの提案(天野純一郎、森滋男、水越一郎、後藤厚宏)●企業事例
インシデントレスポンスを支えるOSINT(NTT Communications)10要件1の実装
1.情報収集後は、元記事が削除された場合でも情報の閲覧が可能である
要件1では従来のクローラより収集する情報量を増やすため、1記事あたり記事タイトル、記事URL、記事投稿日時、記事全文を収集する。
収集した情報は情報一覧表(csvファイル)と記事全文(txtファイル)に分類し、各ファイルに必要な情報を分別する。

11

要件1の実装
1.情報収集後は、元記事が削除された場合でも情報の閲覧が可能である情報一覧表(例)12

要件1の実装
1.情報収集後は、元記事が削除された場合でも情報の閲覧が可能である
記事全文(例)13

要件2の実装
2.情報収集の自動化にセキュリティ脅威がない
本研究は対象が企業等組織となるため、セキュリティ脅威は最大限削減する必要がある。そのため、OSINTシステムによって収集される情報の収集元を限定させ、マルウェアや収集を想定していない情報の誤収集を防ぐ。
本研究では収集元をSecurity NEXT、Japan Vulnerability Notes(JVN)、MITREATT&CKに限定し、セキュリティニュースを収集する。
収集元

言語

収集内容

Security NEXT

日本語

日本国内の脅威情報、脆弱性情報を中心としたセキュリティ情報全般

Japan Vulnerability Notes(JVN)

日本語

日本国内のものを中心とした、全世界の脆弱性情報

MITRE ATT&CK

英語

日本国外の脅威情報、脆弱性情報を中心としたセキュリティ情報全般14

要件3の実装
3.収集された情報を分かりやすくするため、収集情報の日本語翻訳が自動的に行われるクローラによって収集された本文(target.txt)をDeepL APIによって自動翻訳を行い、次の⾧文要約のフローへ流している(convert.txt)

15

要件3の実装
3.収集された情報を分かりやすくするため、収集情報の日本語翻訳が自動的に行われる
翻訳前の記事文(target.txt)

要件③(DeepL APIの利用)
翻訳後の記事文(convert.txt)

16要件4の実装
4.収集された情報を分かりやすくするため、収集情報の要約が自動的に行われる
DeepL APIによって翻訳された記事文章(convert.txt)を⾧文生成要約
APIにかけ、完成文(result.txt)に流している。

17

要件4の実装
4.収集された情報を分かりやすくするため、収集情報の要約が自動的に行われる
要約前の記事文(convert.txt)

要件④(⾧文生成要約APIの利用)

要約後の記事文(result.txt)

18利用者評価利用者評価では、筆者が所属する企業のセキュリティ担当4名に対して以下の流れで実験を行い、実験後のアンケートをもとに評価を行う①事前アンケート②研究内容・OSINT機能の説明③既存OSINT機能利用(要件機能追加前)④新規OSINT機能利用(要件機能追加後)⑤事後アンケート
事前アンケート
セキュリティ業務歴(年)/保有しているIT・セキュリティ関連資格/OSINT(クローリング)機能の利用経験有無
事後アンケート
研究内容・説明の分かりやすさ/1回目OSINT機能の評価(使いやすさ)/2回目OSINT機
能の評価(使いやすさ)/要件1～4の評価(有効度)19利用者評価事前アンケート結果
保有しているIT・セキュリティ関連 OSINT(クローリング)機
資格
能の利用有無基本情報技術者、CND、CEH有り

氏名

セキュリティ業務歴(年)

A

13

B

3

基 本 情 報 技 術 者 、 IT パ ス ポ ー ト 、CCNA

無し

C

3

ITパスポート、応用情報技術者

無し

D

2

ITパスポート、セキスペ

無し

事後アンケート結果：1(分かりにくい・無効)～5(分かりやすい・有効)氏名

研究内容・説 既存OSINT 新規OSINT 内 容 の 取 情報収集の 情報の明 の 分 か り や 機能の評価 機能の評価 り 込 み 機 脅 威 排 除 機 翻訳機能能(要件1) 能(要件2)(要件3)
すさABCDAvg.

45544.5343
43.545554.75

54554.75

132
32.25

5
5
5
5
5

情報の要約機能(要件4)3454420

利用者評価事後アンケート結果：1(分かりにくい・無効)～5(分かりやすい・有効)氏名

研究内容・説 既存OSINT 新規OSINT 内 容 の 取 情報収集の 情報の明 の 分 か り や 機能の評価 機能の評価 り 込 み 機 脅 威 排 除 機 翻訳機能能(要件1) 能(要件2)
(要件3)
すさ

ABCDAvg.

45544.5氏名
ABCD

34343.545554.75

54554.75

13232.25

55555

情報の要約機能
(要件4)

34544

コメント
1つ目のシステムと2つ目のシステムでは、2つ目のシステムの方が使いやすかった。特に要件1の一覧と全文が分かれている部分については、詳細に調べたい記事をすぐにみることができるようになっていたのでよかった。要件2は、普段閲覧しているサイトが使えなかったため使いにくさを感じた。要件4は、使用する状況によっては助かる機能かもしれない。
説明が分かりやすく、使用したシステムも使いやすかった。翻訳は手動で翻訳機にかける手間が省けたのでとても良いと感じた。
2回目のシステムの方が比較して利用しやすい。要件2はもっと複数のサイトから記事を集められると良いと感じた。
21

まとめ
SOC業務の課題

・スキルを持った人材の確保が困難
・現場運用のウェイトが重く、脅威動向を追えていない

SOC業務支援のためのOSINTシステム提案

・セキュリティに関する最新の脅威動向を自動的に収集する・要約された収集情報をチェックすることでSOCの通常業務への負担を少なくして攻撃の高度化を追う

OSINTシステムの実装・評価
既存のOSINTシステムに新規要件を付加
要件①収集情報の保存
要件②情報収集の脅威排除
要件③収集情報の翻訳
要件④収集情報の要約

SOC業務従事者にアンケートを実施
・既存OSINT機能より、新規OSINT機能の方が評価が高い
・要件①、要件③の評価が高い

結論
提案手法の実装を実装し、セキュリティ業務の従業員4名の評価を受けたところ、
要件付加前のOSINT機能より提案するOSINT機能の方が扱いやすく、SOC業務に必要な情報収集の面で支援されていることを示した。残課題として、以下がある(1)組織で定常的に利用する場合の環境・スペックの決定(2)OSINT機能とSIEMの連携(3)翻訳・要約機能の調整(4)情報収集のセキュリティ脅威排除機能(要件2)の改善

22

23

論文構成
1.はじめに
1.1.研究背景
1.2.研究の目的
1.3.インテリジェンス活動の概要
2.SOC業務へのOSINTの活用
2.1.SOC業務の概要
2.2.一般的なSOC業務へのOSINT活用
2.3.本研究におけるSOC業務の課題とOSINT活用による解決
2.4.OSINT活用による効果
3.先行研究調査について
3.1.SOC業務におけるOSINTの自動化
3.2.OSINTの自動化に関する先行研究とツール

4.提案手法について
4.1.本研究の焦点、OSINTに求めること
4.2.OSINTで収集する情報の分類
4.3.本研究における組織の規模感
4.4.新規要件の効果と仕組み
4.4.1.要件①
4.4.2.要件②
4.4.3.要件③
4.4.4.要件④
5.本研究の実装と評価
5.1.本研究の実装
5.2.本研究の評価
6.今後の課題とまとめ
6.1.今後の課題
6.2.まとめ
7.参考文献24

外部発表予定
 大会名称 : 第22回情報科学技術フォーラム(FIT2023)
 大会会期 : 2023年9月6日（水）～9月8日（金） 会 場 : 大阪公立大学 中百舌鳥キャンパス(大阪府堺市中区学園町1番1号)
 発表テーマ: SOC業務支援のためのオープンソースインテ
リジェンスシステムの提案と評価

25

今後の課題(1)組織で定常的に利用する場合の環境・スペックの決定
本研究では、OSINTの機能を試用的に活用しており、24時間のクローリングや膨大な収集記事を全て格納するスペックを求めていないため、本機能を組織が定常的に利用する場合に必要な環境やスペックが分かっていない。
今後の課題として、本研究内容を組織で本利用する場合に必要なスペックがどの程度なのかを調査・検討する必要がある。

(2) OSINT機能とSIEMの連携
SOC業務におけるインシデント判断は、通信ログのみでは困難であり、アラート内容の誤った判断に繋がる場合がある。本研究で提案するOSINT機能とSIEMで管理されているログを連携させることで、SOCのインシデント判断の正確化を図ることができると考える。

26

今後の課題(3)翻訳・要約機能の調整
要件3「収集された情報を分かりやすくするため、収集情報の日本語翻訳が自動的に行われる」と要件4「収集された情報を分かりやすくするため、収集情報の要約が自動的に行われる」について、各種APIを選択して本研究に活用をしているが、API選択理由については先行研究におけるAPIの有効性や感覚的な有効性等となっており、理論的な選択ができていない。
そのため、今後SOC支援のためのOSINTシステムとして最も有効な翻訳システム、要約システムを提案する場合に、最有効できる証明が可能である必要があると考える。

(4)要件2の改善要件2「情報収集の自動化にセキュリティの脅威がない」は、意図しないものを収集するための対策としては有効だが、利便性については評価が低いといった結果になった。
本研究では収集元を3つに絞り、信頼のある収集元のみの活用になったため、今後の課題としては同様に脅威対策を講じつつ幅広い収集元からの情報収集を実現することが必要だと考える。

27