テスト#2241162024 年 5 ⽉

レポートBlackBerry Ltd. からの依頼

CylanceENDPOINT by BlackBerry
リソース効率および有効性に関する Microsoft、Sophos、Trellix との⽐較分析

EXECUTIVE SUMMARY

現代の企業にとってエンドポイント セキュリティは不可⽋ですが、⼀部のソリューションにおけるシステム リソースの使⽤状況について考えた場合、そこには隠れたリスクが存在します。物理・仮想を問わず、すべてのコンピューティング システムが強⼒になる⼀⽅、新規および更新されたアプリケーションは、ますます多くのリソースを必要とするようになっています。この現状を踏まえ、BlackBerry は、システム リソースの消費を最⼩限に抑えながら、オフライン環境でも優れたエンドポイント保護を提供することに重点を置いています。
BlackBerry® は、Windows 10 環境における同社の CylanceENDPOINT® ソリュー
ションの有効性とリソースの需要の調査、ならびに複数のエンドポイント ソリューションとの⽐較分析を Tolly に依頼しました。この 2 回⽬のテストでは、BlackBerry ソリューションが他のベンダーと⽐較されました。
再び BlackBerry は、アクセス ポイントから接続/切断するハイブリッドワーカーや、インターネットに直接接続されていない隔離された制御・運⽤技術環境において特に重要となる、パフォーマンスへの影響を極めて低く抑えたオフライン保護において優れた実績を上げています。詳細は図 1 を参照してください。

CylanceENDPOINT:

要点

1 オフラインとオンラインの両⽅で優れた脅威対策機能を提供し、インターネットの接続状況にかかわらず、悪意のあるファイルから確実に保護。

2 スキャン中の CPU リソース消費を⼤幅に削減することで、より多くのコンピューター リソースをエンドユーザーやビジネス タスクに割り当てることが可能。

3 マルウェアの侵⼊によって⽣じるリソースの継続使⽤を最⼩限に抑え、コストのかかるデバイスの再イメージングを排除することで、エンドポイントのライフサイクルを延ばすことに貢献。

Windows 10 エンドポイント保護の有効性と CPU 使⽤率

最近の 1,000 個のウイルス サンプルのスキャン - オフライン スキャンとオンライン スキャンを統合(検出率はスキャン後にフォルダーに残ったファイル数から算出)

注意: スキャンは、主要な公的ソースから⼊⼿した 1,000 個のマルウェア サンプルが含まれるパスワードで保護された「zip」ファイルをシステムが解凍することでトリガーされます。各ソリューションで使⽤したサンプル セットは同⼀です。検出率が⾼く、CPU 使⽤率が低いほど良い結果です。CPU 使⽤率はスキャン中の平均値です。

図1

出典: Tolly、2024 年 1 ⽉© 2024 Tolly Enterprises, LLC

Tolly.com
レポートのリンク: https://www.tolly.com/publications/detail/224116

1/6 ページ

CylanceENDPOINT ⽐較エンドポイント保護

テスト結果
背景

エンドポイント保護ソリューション
は、その性質上、常に動作しているため、少量のシステム リソースを常に消費します。エンドポイント セキュリ
ティ ソリューションが CPU などのリソースを過剰に消費した場合、エンドユーザーやビジネス アプリケーションへのレスポンス タイムに影響が⽣じます。
このテストは、⽬的が⾮常に限定されているため、極めて端的な結果を得ることができます。Tolly は、⼀般的な複数のエンドポイント セキュリティ ソリューションにおけるリソース消費量（および有効性）の違いを明らかにするため、公的なマルウェア ソースからダウンロードした最新のマルウェアサンプル 1,000 個を含むフォルダーをスキャンした際の脅威検出機能の有効性とリソース消費量を⽐較評価しました。すべてのテスト結果は、前ページの図 1 に要約されています。さらに詳細な結果は、表 1 を参照してください。
テストされたソリューションの詳細は、レポート末尾の表 1 に記載されています。

有効性 - オフライ
ン テスト
オフライン テストでは、エンドポイントのインターネット接続を無効にしました。これは、エンドポイントがマルウェアを検証する際に、ローカル情報以外を参照できないようにするためです。

#224116

有効性 - オンライ
ン テスト
オンライン テストは、各エンドポイントのインターネット接続を再度有効にして実施しました。つまり、テスト対象のソリューションは、マルウェアを検証する際に、それぞれの集中型データベースに照会することができます。
CylanceENDPOINT は、オフライン テス
トと同様、マルウェア サンプルの 100%を検出しました。これに対し、MicrosoftDefender for Business の検出率は 80% でした。両⽅のテストで同じサンプル セットを使⽤したため、Microsoft がオンライン時にオフライン時よりも低いサンプル検出率となったのは予想外でした。
エンジニアらは、その結果が正確であることを再確認しました。SentinelOne は99.8%、BitDefender は 95.4%、ベンダー C
は 99% でした。

リソース使⽤率
前述のとおり、このテストでは、エンドポイント ソリューションが貴重なWindows リソースをどのように管理しているかに特に焦点を当てました。

CylanceENDPOINT
リソース
効率および有効性テスト
実施⽇:
2024 年 1 ⽉

エンドポイント ソリューションは通常バックグラウンドで動作すること、また、マルウェアの到達は予測不可能であることから、リソースの使⽤状況を正確に把握することは⾮常に困難です。
そのため、このテストでは、テストを推進するための 1,000 個のサンプルが含まれているフォルダーを使⽤しました。
結果は若⼲意外なものとなり、BlackBerryと他のベンダーでは、リソース使⽤率に歴然とした差が認められました。
BlackBerry は、CPU リソースの使⽤をオ
フライン テストでは約 11%、オンライン テストでは約 21% に抑えました。詳細は図 2 を参照してください。

CylanceENDPOINT
スキャン中の Windows 10 リソース使⽤率(Microsoft リソース モニターの報告に基づ)

スキャン中のリソース スナッ
プショット。
CylanceENDPOINT

CylanceENDPOINT は、マルウェア サンプルの 100% を検出しました。これに対し、Microsoft Defender for Business の検出率は 88.9%、SentinelOne は75.5%、BitDefender は 91.8%、ベンダー C は 92.8%でした。の CPU 使⽤率は、オフライン/オンラインを合わせて平均 16% でした。

出典: Tolly、2024 年 1 ⽉© 2024 Tolly Enterprises, LLC

BlackBerry Ltd.

Tolly.com

図22/6 ページCylanceENDPOINT ⽐較エンドポイント保護#224116Microsoft Defender for Business
スキャン中の Windows 10 リソース使⽤率(Microsoft リソース モニターの報告に基づく)

BitDefender
スキャン中のリソース
スナップショット。
Microsoft のCPU 使⽤率は、オフライン/オンラインを合わせて平均 82% でした。

出典: Tolly、2024 年 1 ⽉

他のベンダーの CPU 使⽤率は、テスト開始直後に 100% に達し、その後もテスト完了まで同じ、またはそれに近い使⽤率が維持されました。テストの完了には、あるシナリオでは少なくとも 1 つのベンダーが 2 時間以上を要しました。
このシナリオは⼀般的なシナリオではありませんが、テストした他のソリューションが、CPU リソースの使⽤を抑制することなく、実⾏しているタスクの継続中、取得できるリソースをすべて使⽤していることを⽰しています。最終的には、エンドユーザーがビジ ネ ス タ ス ク を 実 ⾏ す る 際 に、 パフォーマンスが低下してしまう可能性があります。

図3

SentinelOne
オフライン テストでは、平均的な CPU消費率は 88.4% でしたが、オンラインテストでは 52.45% に減少しました。詳細は図 4 を参照してください。

ベンダー C
オフライン テストでは、平均的な CPU消費率は 62% でしたが、オンライン テストでは 36.4% に減少しました。詳細は図 6 を参照してください。

テストの設定および⽅法
環境
すべてのテストは、Proxmox 8 下の仮想化環境で動作する Windows 10 2022H2 64ビット システムで実施しました。すべての Windows システムは、2024 年 1 ⽉時点

SentinelOne Singularity
スキャン中の Windows 10 リソース使⽤率(Microsoft リソース モニターの報告に基づく)

スキャン中のリソーススナップショット。
SentinelOneMicrosoft
Microsoft の場合、ZIP からマルウェアを「抽出」する際に、核となるセキュリ
ティ プロセス「MsMpEng.exe」が直ちにCPU リソースを消費します。オフライン
テストでの平均的な CPU 消費率は 71.7%で、オンライン テストでは 91.7% に増加しました。詳細は図 3 を参照してください。の CPU 使⽤率は、オフライン/オンラインをあわせて平均 70% でした。

出典: Tolly、2024 年 1 ⽉© 2024 Tolly Enterprises, LLC

オフライン テストでは、平均的な CPU消費率は 53.8% でしたが、オンラインテストでは 48.9% にわずかに減少しました。詳細は図 5 を参照してください。

Tolly.com

図43/6 ページ

CylanceENDPOINT ⽐較エンドポイント保護#224116

ネットワーク テス
ト環境

BitDefender GravityZone Business Security (Ultra)
スキャン中の Windows 10 リソース使⽤率(Microsoft リソース モニターの報告に基づく)

テストは、Windows システムで、ネットワーク接続状態を変えて 2 回実施しました。

スキャン中のリソース
スナップショット。
BitDefender

オフラインの CPU 使⽤率

このテストでは、インターネット接続を提供する Ethernet ネットワーク アダプターを無効にしました。そのため、各エンドポイント保護ソリューションが、マルウェア サンプルの判定を下す際に参照できたのは、ローカル リソースだけでした。

は、オフライン/オンラインを合わせて平均 52% でした。
出典: Tolly、2024 年 1 ⽉

で利⽤可能なすべての更新プログラムで更新しました。更新後は⾃動アップデート機能を無効にし、テスト中のシステム変更を回避しました。

図5

よって継続的に更新されるため、クライアントのバージョン番号は関係ありません。

ベンダー C

スキャン中の Windows 10 リソース使⽤率(Microsoft リソース モニターの報告に基づく)

スキャン中のリソース ス
ナップショット。ベンダー
C の CPU 使⽤

ソリューションのイ
ンストール

率は、オフライン/オンラインを合わせて平均 49% でテストしたソリューションは、いずれもクラウド管理環境を提供していました。ソリューションごとに、Windows のインストーラーをダウンロードし、エンドポイントをオンボードしました。
エンドポイントに関しては、特別な構成は⾏っていません。また、脅威対策
データベースはクラウド サービスに© 2024 Tolly Enterprises, LLC

オンライン
このテストでは、Ethernet ネットワークアダプターを有効にしました。そのため、エンドポイント保護ソリューショ
ンは、脅威の判定を下す際に、脅威にProxmox のホスト システム プロセッ
サーは、3.7GHz Intel Core i7 (32GB DDR4 RAM搭載) でした。
各仮想マシンは、2 台の vCPU と 16GBRAM で構成されています。インターネット接続は、仮想化された Gigabit Ethernet
ネットワーク アダプターにより確⽴しました。仮想マシンを常時 1 台だけ起動させ、ソリューションを連続的にテストしました。

テストは連続的に⾏われましたが、システムはすべて同時にオフラインにし、テスト開始まで電源をオフにしておきました。

した。

出典: Tolly、2024 年 1 ⽉

Tolly.com

図64/6 ページ

CylanceENDPOINT ⽐較エンドポイント保護関する集中型データベースに照会することがでるようになりました。

マルウェア サンプル
すべてのマルウェア サンプルは、公的なコレクションからダウンロードしました。
サンプル セットは、マルウェアとしてウイルス データベースに提出された1,000 ファイル (1 ファイル 5MB 未満) で構成されています。テストにおいて、パスワード保護された約 225MB の圧縮 (ZIP)ファイルを⽣成しました。このファイ
ルはパスワードで保護されているため、エンジニアが⼿動でスキャン開始をトリガーすることはできません。
サンプルの提供には、「fs:1d+ size:5MBtype:peexepositives:15+ not engines:pup notengines:adware not tag:corrupt not
tag:assembly not tag:overlay not tag:nsis not
tag:upx not tag:64bits not tag:bobsoft not
tag:armadillo not magic:"PE32 executable forMS Windows (unknown subsystem) unknown
processor 32-bit」というクエリを使⽤しました。

#224116

後、エンジニアが、テスト対象のWindows システムで「Microsoft リソースモニター」ウィンドウを開きました。
同じサンプル セットをオフライン テス
トとオンライン テストの両⽅に使⽤し、まずオフライン テストを実施しました。
開始時刻は、パスワードが⼊⼒され、「extract all」コマンドの処理が開始された時刻を記録しました。終了時刻は、エンドポイント プロセスがテスト対象のマルウェア フォルダーからのファイル削除を停⽌した時刻を記録しました。
対象フォルダーには 1,000 個のマルウェアのサンプルが含まれており、対象フォルダーに残っているファイルがゼロになれば、パーフェクト スコアとなります。脅威検出率の算出には、対象フォルダーに残っているファイル数を使⽤しました。

テストの⼿順
マルウェア サンプルをテスト対象のエンドポイント ソリューションにコピーし、シナリオに応じて、ネットワーク接続を有効/無効に設定しました。そのテスト対象のエンドポイント保護ソリューション
ベンダーソリューションBlackBerry Ltd.

CylanceENDPOINT

BitDefender

GravityZone Business Security (Ultra)

Microsoft

Defender for Business

SentinelOne

Singularity

ベンダー C

エンドポイント ソリューション

出典: Tolly、2024 年 1 ⽉© 2024 Tolly Enterprises, LLC

表1Tolly.com

5/6 ページ

CylanceENDPOINT ⽐較エンドポイント保護#224116

Tolly についてTolly Group の企業は、世界的な IT サービスを 35 年間以上にわたり提供し続けています。Tolly は IT 製品、コンポーネント、サービスに関する第三者評価の提供で業界をリードするグローバル企業です。
Tolly に関するご質問は、電⼦メール ( info@tolly.com) または電話 (+1 561.391.5610) でお問い合わせください。
Tolly ウェブサイト:
http://www.tolly.com

利⽤規約
本書は、特定の⽤途に対する製品や技術、サービスの追加調査について、その実施が有⽤であるかどうかを判断するための参考資料として無償で提供されています。製品購⼊の決定は、ニーズに対する適合性を判断した上でお客様ご⾃⾝で⾏ってください。本書はあくまでも参考資料であり、有資格の IT 技術者や業界専⾨家の助⾔の代替となるものではありません。評価の⽬的は製品の特定機能や性能を説明することであり、テストはラボの制御された環境で⾏われています。テストによっては理想的な条件下における性能を検査したものもあるため、実際の性能はそれぞれの状況により異なる場合があります。ご利⽤のネットワークにおける性能は、実環境のシナリオに従って各⾃検証してください。
本書の作成にあたり、データの正確性には最善の注意を払いましたが、情報の誤りや過失が含まれている可能性があります。また、本書に掲載されているテスト/監査ではさまざまなテスト ツールが使⽤されており、テスト結果を左右するこれらツールの精度は当社の管理外にあります。同様に、スポンサー企業から提供されたデータの正確性についても当社の責任の範疇を超えます。これには、製造中または製造準備段階のソフトウェア/ハードウェアも含まれており、実際に市販される製品はこれらソフトウェア/ハードウェアと同等の品質、あるいは改良された状態で提供されます。
本書は「現状有姿」で提供されるものであり、Tolly Enterprises, LLC (以下「Tolly」) は明⽰的もしくは黙⽰的の⼀切の保証を⾏いません。また、本書に記載されるいかなる情報の正確性、完全性、有⽤性、適合性についても、直接的もしくは間接的な⼀切の法的責任を負いません。本書に⽬を通すことで、本書に含まれる情報の使⽤は利⽤者の⾃⼰責任であり、これらの情報またはマテリアルによって直接または間接的に⽣じた損失、損害、費⽤、その他の結果に対するリスクについて理解しており、その全責任を負うことに同意したことになります。Tolly は本書に含まれる情報を利⽤または信頼したことで⽣じた、あるいはこれらの利⽤や信頼に起因するいかなる損失や危害、怪我、損害についても⼀切責任を負わず、利⽤者は Tolly およびその関連会社を免責するものとします。
また Tolly は、本書に記載されている製品や会社について投資する価値があると推奨しているわけではありません。本書に含まれる情報や製品、会社に関連した投資またはプロジェクトに着⼿する前に、法律、会計、その他の分野の専⾨家から必ず助⾔を受けるようにしてください。翻訳版と英語版の内容が異なる場合は、英語版が優先されます。正確性を保証するため、Tolly.com から直接ダウンロードした⽂書のみを使⽤してください。⽂書の全部または⼀部は、Tolly の具体的な書⾯による許可なしに複製することはできません。本書に記載されている商標は、それぞれの所有者に帰属します。利⽤者は、当社以外の活動や製品、サービスに関連して、これらの商標を⾃らの商標のすべてまたは⼀部として利⽤しないこと、ならびに紛らわしい、誤解を招く恐れのある、虚偽の⽅法、あるいは当社/当社の情報、プロジェクト、開発が糾弾される恐れのある⽅法でこれらの商標を⽤いないことに同意するものとします。
Cm-3-wt-2024-05-01—VerK© 2024 Tolly Enterprises, LLC

Tolly.com

6/6 ページ