(57)【特許請求の範囲】
【請求項１】
システムに対する不正な行為を模擬するためのデータである攻撃サンプルを生成する攻撃生成部と、
前記攻撃生成部により生成された攻撃サンプルと、前記システムに対する正当な行為をモデル化したデータである正常状態モデルとを比較し、比較結果に基づいて、前記正常状態モデルに類似した攻撃サンプルを生成するための情報を生成し、生成した情報を前記攻撃生成部にフィードバックする比較部と、
前記比較部からフィードバックされた情報を反映して前記攻撃生成部により生成された攻撃サンプルが、前記不正な行為を模擬するための要件を満たしているかどうか確認し、前記要件を満たしている攻撃サンプルを用いて、セキュリティ製品に実装されている、前記不正な行為を検知するための検知技術を検証する検証部と
を備える評価装置。
【請求項２】
前記比較部は、
前記攻撃生成部により生成された攻撃サンプルの特徴を抽出する特徴抽出部と、
前記特徴抽出部により抽出された特徴と、前記正常状態モデルの特徴との類似度を示すスコアを算出するスコア算出部と、
前記スコア算出部により算出されたスコアが閾値未満である場合、前記特徴抽出部により抽出された特徴を調整することで前記類似度を増大させ、前記攻撃生成部にフィードバックする情報として、調整後の特徴を示す情報を生成する特徴調整部と
を有する請求項１に記載の評価装置。
【請求項３】
前記攻撃生成部は、
前記不正な行為を模擬するプログラムである攻撃モジュールを実行することで攻撃サンプルを生成する攻撃実行部を有し、
前記攻撃実行部は、前記比較部により生成された情報で未反映のものがある場合、当該未反映の情報に合わせて前記攻撃モジュールのパラメータを設定してから、前記攻撃モジュールを実行する請求項１または２に記載の評価装置。
【請求項４】
前記検証部は、前記要件を満たしている攻撃サンプルを用いて前記不正な行為を模擬し、模擬した行為が前記検知技術によって検知されるかどうか確認し、検知されない場合、用いた攻撃サンプルを評価用の攻撃サンプルとしてデータベースに登録する請求項１から３のいずれか１項に記載の評価装置。
【請求項５】
前記正当な行為を記録したデータである正常サンプルから前記正常状態モデルを生成するモデル生成部をさらに備える請求項１に記載の評価装置。
【請求項６】
前記モデル生成部は、
外部から正常サンプルを取得する正常状態取得部と、
前記正常状態取得部により取得された正常サンプルの特徴を抽出する特徴抽出部と、
前記特徴抽出部により抽出された特徴を学習することで前記正常状態モデルを生成する学習部と
を有する請求項５に記載の評価装置。
【請求項７】
前記モデル生成部は、新たな１つ以上の正常サンプルを取得する度に前記正常状態モデルを更新し、
前記比較部は、前記攻撃生成部により生成された攻撃サンプルと、前記モデル生成部により生成された最新の正常状態モデルとを比較する請求項５または６に記載の評価装置。
【請求項８】
攻撃生成部と比較部と検証部とを備えた評価装置のセキュリティ製品の評価方法において、
前記攻撃生成部が、システムに対する不正な行為を模擬するためのデータである攻撃サンプルを生成し、
前記比較部が、前記攻撃生成部により生成された攻撃サンプルと、前記システムに対する正当な行為をモデル化したデータである正常状態モデルとを比較し、比較結果に基づいて、前記正常状態モデルに類似した攻撃サンプルを生成するための情報を生成し、生成した情報を前記攻撃生成部にフィードバックし、
前記検証部が、前記比較部からフィードバックされた情報を反映して前記攻撃生成部により生成された攻撃サンプルが、前記不正な行為を模擬するための要件を満たしているかどうか確認し、前記要件を満たしている攻撃サンプルを用いて、セキュリティ製品に実装されている、前記不正な行為を検知するための検知技術を検証する、セキュリティ製品の評価方法。
【請求項９】
コンピュータに、
システムに対する不正な行為を模擬するためのデータである攻撃サンプルを生成する攻撃生成処理と、
前記攻撃生成処理により生成された攻撃サンプルと、前記システムに対する正当な行為をモデル化したデータである正常状態モデルとを比較し、比較結果に基づいて、前記正常状態モデルに類似した攻撃サンプルを生成するための情報を生成し、生成した情報を前記攻撃生成処理にフィードバックする比較処理と、
前記比較処理からフィードバックされた情報を反映して前記攻撃生成処理により生成された攻撃サンプルが、前記不正な行為を模擬するための要件を満たしているかどうか確認し、前記要件を満たしている攻撃サンプルを用いて、セキュリティ製品に実装されている、前記不正な行為を検知するための検知技術を検証する検証処理と
を実行させる評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、評価装置、セキュリティ製品の評価方法および評価プログラムに関するものである。
【背景技術】
【０００２】
特許文献１に記載の技術では、マルウェア等の不正プログラムに変異が与えられ、アンチウィルスソフトウェア等の既存の不正プログラム検知技術では検出できないような不正プログラムのサンプルが作成される。新しく生成されたサンプルが既知の製品で検知されないこと、および、悪意のある機能を維持していることが検査される。検査をパスしたサンプルを使って、不正プログラム検知技術が強化される。【０００３】
特許文献２に記載の技術では、バイナリデータである攻撃データのバイト列が１バイトずつ正常データに近づけられ、それがシステムに入力され、システムが異常を起こすバイナリデータが特定される。これにより、正常データの特徴を持つ攻撃データが自動生成される。この攻撃データにより、システムの異常が発見され、システムが強化される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１６−５０７１１５号公報
【特許文献２】特開２０１３−１９６３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
攻撃検知技術の研究開発では、検知機能を評価するために、試験用の攻撃パターンが必要となる。昨今の攻撃者は、攻撃対象の組織の情報をよく調査し、理解した上で、攻撃検知技術に気づかれないように攻撃を仕掛けてくる。内部犯行も増えており、攻撃対象の組織の情報を活用した巧妙な攻撃が今後増えてくると考えられる。【０００６】
検知を回避するために正常な状態によく似た特徴を持つよう巧妙に設計および開発された攻撃にも対応できるよう、巧妙な攻撃サンプルを用いたセキュリティ製品の評価が必要である。【０００７】
しかしながら、特許文献１に記載の技術では、不正プログラム検知技術の監視対象の正常な状態が考慮されていない。ここでは、正常な状態とは、正常なプログラムの情報のことである。多くの攻撃検知技術では、正常なプログラムを誤検知しないように、正常なプログラムに含まれないような不正プログラムの特徴をもとに攻撃検知のルールが定義される。そのため、高度な攻撃者は、正常なプログラムの特徴の範囲で悪意のある処理をする不正なプログラムを作ると予想される。特許文献１に記載の技術では、そのようなサンプルまでは生成することができないため、正常なプログラムの特徴の範囲で悪意のある処理をする不正なプログラムを検知できるように不正プログラム検知技術を強化することはできない。【０００８】
特許文献２に記載の技術では、生成された攻撃データが攻撃として成立するかまでは確認されない。例えば、生成された攻撃データが不正なプログラムを実行し、インターネット上の攻撃者のサーバと通信をするかは確認されない。高度な攻撃者は、システムが異常を起こさないような正常な範囲のデータだけでシステムに不正な処理をさせるような入力を検討すると予想される。特許文献２に記載の技術では、そのような攻撃データまでは生成することができないため、システムが異常を起こさないような正常な範囲のデータだけでシステムに不正な処理をさせるような入力データを使ってシステムを検証することはできない。【０００９】
本発明は、巧妙な攻撃サンプルを用いてセキュリティ製品を評価することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様に係る評価装置は、
システムに対する不正な行為を模擬するためのデータである攻撃サンプルを生成する攻撃生成部と、
前記攻撃生成部により生成された攻撃サンプルと、前記システムに対する正当な行為をモデル化したデータである正常状態モデルとを比較し、比較結果に基づいて、前記正常状態モデルに類似した攻撃サンプルを生成するための情報を生成し、生成した情報を前記攻撃生成部にフィードバックする比較部と、
前記比較部からフィードバックされた情報を反映して前記攻撃生成部により生成された攻撃サンプルが、前記不正な行為を模擬するための要件を満たしているかどうか確認し、前記要件を満たしている攻撃サンプルを用いて、セキュリティ製品に実装されている、前記不正な行為を検知するための検知技術を検証する検証部とを備える。
【発明の効果】
【００１１】
本発明では、攻撃者が意図すると予想される機能を維持した巧妙な攻撃サンプルを生成することができる。よって、巧妙な攻撃サンプルを用いてセキュリティ製品を評価することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１に係る評価装置の構成を示すブロック図。
【図２】実施の形態１に係る評価装置の攻撃生成部の構成を示すブロック図。
【図３】実施の形態１に係る評価装置の比較部の構成を示すブロック図。
【図４】実施の形態１に係る評価装置の検証部の構成を示すブロック図。
【図５】実施の形態１に係る評価装置の動作を示すフローチャート。
【図６】実施の形態１に係る評価装置の攻撃生成部の動作を示すフローチャート。
【図７】実施の形態１に係る評価装置の比較部の動作を示すフローチャート。
【図８】図７のステップＳ３６の処理手順を示すフローチャート。
【図９】実施の形態１に係る評価装置の検証部の動作を示すフローチャート。
【図１０】図９のステップＳ５１の処理手順を示すフローチャート。
【図１１】実施の形態２に係る評価装置の構成を示すブロック図。
【図１２】実施の形態２に係る評価装置のモデル生成部の構成を示すブロック図。
【図１３】実施の形態２に係る評価装置のモデル生成部の動作を示すフローチャート。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図を用いて説明する。各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。なお、本発明は、以下に説明する実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。例えば、以下に説明する実施の形態のうち、２つ以上の実施の形態が組み合わせられて実施されても構わない。あるいは、以下に説明する実施の形態のうち、１つの実施の形態または２つ以上の実施の形態の組み合わせが部分的に実施されても構わない。
【００１４】
実施の形態１．
本実施の形態について、図１から図１０を用いて説明する。
【００１５】
＊＊＊構成の説明＊＊＊
図１を参照して、本実施の形態に係る評価装置１００の構成を説明する。
【００１６】
評価装置１００は、コンピュータである。評価装置１００は、プロセッサ１０１を備えるとともに、メモリ１０２、補助記憶装置１０３、キーボード１０４、マウス１０５およびディスプレイ１０６といった他のハードウェアを備える。プロセッサ１０１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【００１７】
評価装置１００は、機能要素として、攻撃生成部１１１と、比較部１１２と、検証部１１３とを備える。攻撃生成部１１１、比較部１１２および検証部１１３の機能は、ソフトウェアにより実現される。
【００１８】
プロセッサ１０１は、各種処理を行うＩＣである。「ＩＣ」は、Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略語である。プロセッサ１０１は、例えば、ＣＰＵである。「ＣＰＵ」は、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略語である。
【００１９】
メモリ１０２は、記録媒体の一種である。メモリ１０２は、例えば、フラッシュメモリまたはＲＡＭである。「ＲＡＭ」は、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略語である。
【００２０】
補助記憶装置１０３は、メモリ１０２とは別の記録媒体の一種である。補助記憶装置１０３は、例えば、フラッシュメモリまたはＨＤＤである。「ＨＤＤ」は、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略語である。
【００２１】
評価装置１００は、キーボード１０４およびマウス１０５とともに、あるいは、キーボード１０４およびマウス１０５に代えて、タッチパネル等の他の入力装置を備えていてもよい。
【００２２】
ディスプレイ１０６は、例えば、ＬＣＤである。「ＬＣＤ」は、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙの略語である。
【００２３】
評価装置１００は、ハードウェアとして、通信装置を備えていてもよい。
【００２４】
通信装置は、データを受信するレシーバおよびデータを送信するトランスミッタを含む。通信装置は、例えば、通信チップまたはＮＩＣである。「ＮＩＣ」は、Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄの略語である。
【００２５】
メモリ１０２には、攻撃生成部１１１、比較部１１２および検証部１１３の機能を実現するプログラムである評価プログラムが記憶されている。評価プログラムは、プロセッサ１０１に読み込まれ、プロセッサ１０１によって実行される。メモリ１０２には、ＯＳも記憶されている。「ＯＳ」は、Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍの略語である。プロセッサ１０１は、ＯＳを実行しながら、評価プログラムを実行する。なお、評価プログラムの一部または全部がＯＳに組み込まれていてもよい。
【００２６】
評価プログラムおよびＯＳは、補助記憶装置１０３に記憶されていてもよい。補助記憶装置１０３に記憶されている評価プログラムおよびＯＳは、メモリ１０２にロードされ、プロセッサ１０１によって実行される。
【００２７】
評価装置１００は、プロセッサ１０１を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、評価プログラムの実行を分担する。それぞれのプロセッサは、プロセッサ１０１と同じように、各種処理を行うＩＣである。
【００２８】
攻撃生成部１１１、比較部１１２および検証部１１３の処理の結果を示す情報、データ、信号値および変数値は、メモリ１０２、補助記憶装置１０３、または、プロセッサ１０１内のレジスタまたはキャッシュメモリに記憶される。
【００２９】
評価プログラムは、磁気ディスクおよび光ディスクといった可搬記録媒体に記憶されてもよい。
【００３０】
図２を参照して、攻撃生成部１１１の構成を説明する。
【００３１】
攻撃生成部１１１は、攻撃実行部２１１と、攻撃モジュール２１２と、模擬環境２１３とを有する。なお、攻撃生成部１１１は、模擬環境２１３に代えて、仮想環境を有していてもよい。
【００３２】
攻撃生成部１１１は、確認済特徴ベクトルデータベース１２１および調整済特徴ベクトルデータベース１２２にアクセスする。確認済特徴ベクトルデータベース１２１および調整済特徴ベクトルデータベース１２２は、メモリ１０２内または補助記憶装置１０３上に構築される。
【００３３】
図３を参照して、比較部１１２の構成を説明する。
【００３４】
比較部１１２は、特徴抽出部２２１と、スコア算出部２２２と、スコア比較部２２３と、特徴調整部２２４とを有する。
【００３５】
比較部１１２は、確認済特徴ベクトルデータベース１２１および調整済特徴ベクトルデータベース１２２にアクセスする。
【００３６】
比較部１１２は、攻撃生成部１１１から攻撃サンプル１３１の入力を受ける。比較部１１２は、メモリ１０２または補助記憶装置１０３にあらかじめ記憶された正常状態モデル１３２を読み込む。
【００３７】
図４を参照して、検証部１１３の構成を説明する。
【００３８】
検証部１１３は、基本機能監視部２３１と、検知技術検証部２３２と、模擬環境２３３とを有する。なお、検証部１１３は、独自の模擬環境２３３に代えて、攻撃生成部１１１と模擬環境２１３を共有していてもよい。検証部１１３は、模擬環境２３３に代えて、仮想環境を有していてもよい。
【００３９】
検証部１１３は、評価用攻撃サンプルデータベース１２３にアクセスする。評価用攻撃サンプルデータベース１２３は、メモリ１０２内または補助記憶装置１０３上に構築される。
【００４０】
検証部１１３は、攻撃生成部１１１から攻撃サンプル１３１の入力を受ける。
【００４１】
＊＊＊動作の説明＊＊＊
図５から図１０を参照して、本実施の形態に係る評価装置１００の動作を説明する。評価装置１００の動作は、本実施の形態に係るセキュリティ製品の評価方法に相当する。
【００４２】
図５は、評価装置１００の動作の流れを示している。
【００４３】
ステップＳ１１において、攻撃生成部１１１は、攻撃サンプル１３１を生成する。攻撃サンプル１３１は、攻撃対象となり得るシステムに対する不正な行為を模擬するためのデータである。不正な行為とは、攻撃に該当する行為のことである。
【００４４】
具体的には、攻撃生成部１１１は、攻撃モジュール２１２を利用して、評価対象のセキュリティ製品に適用される攻撃サンプル１３１を作成する。
【００４５】
攻撃モジュール２１２は、不正な行為を模擬するプログラムである。攻撃モジュール２１２は、模擬環境２１３上で動作することによって、評価対象のセキュリティ製品が監視する攻撃サンプル１３１を生成するプログラムである。
【００４６】
評価対象のセキュリティ製品は、ログ監視技術、不正メール検知技術、不審通信監視技術および不正ファイル検知技術といった検知技術の少なくともいずれかが実装されたツールである。ツールが有償であるか、無償であるかは問わない。検知技術が既存の技術であるか、新規の技術であるかも問わない。すなわち、後述する検証部１１３の検証対象には、評価対象のセキュリティ製品に独自に実装されている検知技術だけでなく、一般的な検知技術も含めることができる。
【００４７】
ログ監視技術とは、ログを監視してログの異常を検知する技術のことである。ログ監視技術が実装されたセキュリティ製品の具体例としては、ＳＩＥＭ製品がある。「ＳＩＥＭ」は、Ｓｅｃｕｒｉｔｙ  Ｉｎｆｏｒｍａｔｉｏｎ  ａｎｄ  Ｅｖｅｎｔ  Ｍａｎａｇｅｍｅｎｔの略語である。評価対象のセキュリティ製品に実装されている検知技術がログ監視技術の場合、攻撃モジュール２１２としては、攻撃者の意図する一連の処理を実行するプログラムが用いられる。攻撃者の意図する処理の例としては、ファイル操作、ユーザ認証、プログラム起動、および、外部への情報アップロードがある。
【００４８】
不正メール検知技術とは、スパムメールおよび標的型攻撃メールといった不正なメールを検知する技術のことである。評価対象のセキュリティ製品に実装されている検知技術が不正メール検知技術の場合、攻撃モジュール２１２としては、不正なメールの文面を生成するプログラムが用いられる。
【００４９】
不審通信監視技術とは、不正な侵入を検知または防御する技術のことである。不審通信監視技術が実装されたセキュリティ製品の具体例としては、ＩＤＳおよびＩＰＳがある。「ＩＤＳ」は、Ｉｎｔｒｕｓｉｏｎ  Ｄｅｔｅｃｔｉｏｎ  Ｓｙｓｔｅｍの略語である。「ＩＰＳ」は、Ｉｎｔｒｕｓｉｏｎ  Ｐｒｅｖｅｎｔｉｏｎ  Ｓｙｓｔｅｍの略語である。評価対象のセキュリティ製品に実装されている検知技術が不審通信監視技術の場合、攻撃モジュール２１２としては、Ｃ＆Ｃサーバとコマンドをやり取りするプログラム、または、Ｃ＆Ｃサーバからコマンドを受け取り、コマンドに対応する処理を実行するプログラムが用いられる。「Ｃ＆Ｃ」は、Ｃｏｍｍａｎｄ  ａｎｄ  Ｃｏｎｔｒｏｌの略語である。
【００５０】
不正ファイル検知技術とは、ウィルス等の不正なファイルを検知する技術のことである。不正ファイル検知技術が実装されたセキュリティ製品の具体例としては、アンチウィルスソフトウェアがある。評価対象のセキュリティ製品に実装されている検知技術が不正ファイル検知技術の場合、攻撃モジュール２１２としては、プログラムの実行、ファイルの削除、Ｃ＆Ｃサーバとのやり取り、および、ファイルアップロード等の処理を行うプログラムが用いられる。あるいは、そのような処理を行うスクリプトが埋め込まれたドキュメントファイルを生成するプログラムが用いられる。
【００５１】
攻撃モジュール２１２は、攻撃パラメータを変更することで攻撃の特徴を自由に調整できるものであれば、オープンソースのものでも、市販のものでも、専用に用意されたものでも構わない。
【００５２】
ステップＳ１２において、比較部１１２は、攻撃生成部１１１により生成された攻撃サンプル１３１と、正常状態モデル１３２とを比較する。正常状態モデル１３２は、攻撃対象となり得るシステムに対する正当な行為をモデル化したデータである。正当な行為とは、攻撃に該当しない行為のことである。
【００５３】
具体的には、比較部１１２は、得られた攻撃サンプル１３１と、あらかじめ用意された正常状態モデル１３２との類似度を計測する。類似度が規定の閾値未満であれば、ステップＳ１３の処理が行われる。類似度が閾値以上であれば、ステップＳ１４の処理が行われる。
【００５４】
正常状態モデル１３２は、評価対象のセキュリティ製品が監視する情報の正常状態を定義したモデルである。
【００５５】
評価対象のセキュリティ製品に実装されている検知技術がログ監視技術の場合、ログ監視技術によって監視される情報はログであり、ログが取得される環境が正常稼働しているときのログが正常状態として定義される。ログが取得される環境とは、攻撃対象となり得るシステムのことである。
【００５６】
評価対象のセキュリティ製品に実装されている検知技術が不正メール検知技術の場合、不正メール検知技術によって監視される情報はメールであり、メールが取得される環境で正常にやり取りされるメールが正常状態として定義される。メールが取得される環境とは、攻撃対象となり得るシステムのことである。
【００５７】
評価対象のセキュリティ製品に実装されている検知技術が不審通信監視技術の場合、不審通信監視技術によって監視される情報は通信データであり、通信データが流れる環境で正常にやり取りされる通信データが正常状態として定義される。通信データが流れる環境とは、攻撃対象となり得るシステムのことである。
【００５８】
評価対象のセキュリティ製品に実装されている検知技術が不正ファイル検知技術の場合、不正ファイル検知技術によって監視される情報はファイルであり、ファイルが保存される環境で正常なファイルとして使われるファイルが正常状態として定義される。ファイルが保存される環境とは、攻撃対象となり得るシステムのことである。
【００５９】
ステップＳ１３において、比較部１１２は、攻撃サンプル１３１と正常状態モデル１３２との比較結果に基づいて、正常状態モデル１３２に類似した攻撃サンプル１３１を生成するための情報を生成する。比較部１１２は、生成した情報を攻撃生成部１１１にフィードバックする。
【００６０】
つまり、比較部１１２は、攻撃生成部１１１に、正常状態モデル１３２に類似した攻撃サンプル１３１を作るための情報をフィードバックする。そして、ステップＳ１１の処理が再び行われ、攻撃生成部１１１が、フィードバックされた情報をもとに、攻撃サンプル１３１を調整する。攻撃サンプル１３１の調整は、攻撃モジュール２１２に入力される攻撃パラメータを変更することで実現する。
【００６１】
評価対象のセキュリティ製品に実装されている検知技術がログ監視技術の場合、攻撃者の意図する処理を試行する頻度および間隔、および、やり取りされる情報のサイズ等が攻撃パラメータとなり得る。攻撃者の意図する処理の例としては、ファイル操作、ユーザ認証、プログラム起動、および、外部への情報アップロードがある。やり取りされる情報のサイズの例としては、アップロードされる情報のサイズがある。
【００６２】
評価対象のセキュリティ製品に実装されている検知技術が不正メール検知技術の場合、メールの件名および本文のコンテンツおよびキーワードの種類、および、メールのやり取りの回数等が攻撃パラメータとなり得る。
【００６３】
評価対象のセキュリティ製品に実装されている検知技術が不審通信監視技術の場合、プロトコルの種類、発信元、発信先、通信データサイズ、通信頻度、および、通信間隔等が攻撃パラメータとなり得る。
【００６４】
評価対象のセキュリティ製品に実装されている検知技術が不正ファイル検知技術の場合、不正ファイルのサイズ、ファイルの暗号化の有無、意味のないデータまたは命令のパッディングの有無、および、難読化の回数等が攻撃パラメータとなり得る。
【００６５】
ステップＳ１４において、検証部１１３は、比較部１１２からフィードバックされた情報を反映して攻撃生成部１１１により生成された攻撃サンプル１３１が、不正な行為を模擬するための要件を満たしているかどうか確認する。検証部１１３は、その要件を満たしている攻撃サンプル１３１を用いて、セキュリティ製品に実装されている、不正な行為を検知するための検知技術を検証する。
【００６６】
つまり、検証部１１３は、正常状態モデル１３２と類似した攻撃サンプル１３１が攻撃機能を維持しているかを検証する。
【００６７】
評価対象のセキュリティ製品に実装されている検知技術がログ監視技術の場合、ログを発生させた攻撃によって、攻撃者の意図する処理が成功していることが確認される。攻撃者の意図する処理の例としては、ファイル操作、ユーザ認証、プログラム起動、および、外部への情報アップロードがある。それらの処理が検知技術によって検知されないことも確認される。
【００６８】
評価対象のセキュリティ製品に実装されている検知技術が不正メール検知技術の場合、生成された不正メールを送りつけられた人物が、誤って不正メールの文面にあるＵＲＬまたは添付ファイルを実際にクリックしてしまうことが確認される。その不正メールが検知技術によって検知されないことも確認される。「ＵＲＬ」は、Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒの略語である。
【００６９】
評価対象のセキュリティ製品に実装されている検知技術が不審通信監視技術の場合、攻撃通信によって、攻撃者の意図する処理が成功していることが確認される。攻撃者の意図する処理の例としては、ＲＡＴの操作、Ｃ＆Ｃサーバとのやり取り、および、ファイルアップロードがある。「ＲＡＴ」は、Ｒｅｍｏｔｅ  Ａｄｍｉｎｉｓｔｒａｔｉｏｎ  Ｔｏｏｌの略語である。攻撃通信が検知技術によって検知されないことも確認される。
【００７０】
評価対象のセキュリティ製品に実装されている検知技術が不正ファイル検知技術の場合、生成された不正ファイルによって、攻撃者の意図する処理が成功していることが確認される。攻撃者の意図する処理の例としては、プログラムの実行、ファイルの削除、Ｃ＆Ｃサーバとの通信、および、ファイルアップロードがある。そのファイルが検知技術によって検知されないことも確認される。
【００７１】
攻撃機能が維持されていれば、ステップＳ１５の処理が行われる。攻撃機能が維持されていなければ、ステップＳ１１の処理が再び行われ、攻撃生成部１１１が新たな攻撃サンプル１３１を作成する。
【００７２】
ステップＳ１５において、検証部１１３は、不正な行為を模擬するための要件を満たし、かつ、セキュリティ製品に実装されている検知技術によって検知されなかった攻撃サンプル１３１を評価用の攻撃サンプル１３１として出力する。
【００７３】
図６は、攻撃生成部１１１の動作の流れを示している。
【００７４】
本実施の形態において、攻撃実行部２１１は、攻撃モジュール２１２を実行することで攻撃サンプル１３１を生成する。以下で具体的に説明するように、攻撃実行部２１１は、比較部１１２により生成された情報で未反映のものがある場合、当該未反映の情報に合わせて攻撃モジュール２１２のパラメータを設定してから、攻撃モジュール２１２を実行する。
【００７５】
ステップＳ２１において、攻撃実行部２１１は、調整済特徴ベクトルデータベース１２２が空かどうかを確認する。
【００７６】
調整済特徴ベクトルデータベース１２２は、正常状態モデル１３２に近くなるよう特徴が調整された攻撃サンプル１３１の特徴ベクトルを登録しておくためのデータベースである。特徴ベクトルとは、１種類以上の特徴に関する情報を持つベクトルのことである。特徴ベクトルの次元数は、特徴ベクトルによって表される特徴の数と一致する。後述するように、調整済特徴ベクトルデータベース１２２には、比較部１１２で調整された特徴ベクトルが登録されている。
【００７７】
特徴とは、状態を識別するための様々な情報のことである。
【００７８】
評価対象のセキュリティ製品に実装されている検知技術がログ監視技術の場合、攻撃者の意図する処理を試行する頻度および間隔、および、やり取りされる情報のサイズ等が特徴となり得る。
【００７９】
評価対象のセキュリティ製品に実装されている検知技術が不正メール検知技術の場合、メールの件名および本文のコンテンツおよびキーワードの種類、および、メールのやり取りの回数等が特徴となり得る。
【００８０】
評価対象のセキュリティ製品に実装されている検知技術が不審通信監視技術の場合、プロトコルの種類、発信元、発信先、通信データサイズ、通信頻度、および、通信間隔等が特徴となり得る。
【００８１】
評価対象のセキュリティ製品に実装されている検知技術が不正ファイル検知技術の場合、不正ファイルのサイズ、ファイルの暗号化の有無、意味のないデータまたは命令のパッディングの有無、および、難読化の回数等が特徴となり得る。
【００８２】
このように、本実施の形態では、特徴が、攻撃生成部１１１が利用する攻撃パラメータと対応している。
【００８３】
調整済特徴ベクトルデータベース１２２が空の場合は、ステップＳ２２の処理が行われる。空でない場合は、ステップＳ２４の処理が行われる。
【００８４】
ステップＳ２２において、攻撃実行部２１１は、攻撃モジュール２１２の攻撃パラメータを規定のルールに従って設定する。規定のルールでは、あらかじめ決められたデフォルトの値を設定したり、ランダムな値を設定したりすることが定められている。
【００８５】
ステップＳ２３において、攻撃実行部２１１は、模擬環境２１３にて、攻撃パラメータを設定した攻撃モジュール２１２を実行し、攻撃サンプル１３１を作成する。そして、攻撃生成部１１１の動作が終了する。
【００８６】
ステップＳ２４において、攻撃実行部２１１は、調整済特徴ベクトルデータベース１２２の中に、未選択の特徴ベクトルがあるかを確認する。未選択の特徴ベクトルがなければ、ステップＳ２２の処理が行われる。未選択の特徴ベクトルがあれば、ステップＳ２５の処理が行われる。
【００８７】
ステップＳ２５において、攻撃実行部２１１は、調整済特徴ベクトルデータベース１２２から特徴ベクトルＣ＝（ｃ１，ｃ２，・・・，ｃｎ）を１つ選択する。特徴ベクトルＣは、ｎ種類の特徴に関する情報を持つベクトルである。特徴は、ｃｉ（ｉ＝１，・・・，ｎ）と表わされる。
【００８８】
ステップＳ２６において、攻撃実行部２１１は、選択した特徴ベクトルＣが確認済特徴ベクトルデータベース１２１に含まれるかどうかを確認する。確認済特徴ベクトルデータベース１２１は、既に確認済の特徴ベクトルを登録しておくためのデータベースである。後述するように、確認済特徴ベクトルデータベース１２１には、検証部１１３で確認された特徴ベクトルが登録されている。
【００８９】
特徴ベクトルＣが確認済特徴ベクトルデータベース１２１に含まれていれば、ステップＳ２４の処理が再び行われる。含まれていなければ、ステップＳ２７の処理が行われる。
【００９０】
ステップＳ２７において、攻撃実行部２１１は、特徴ベクトルＣの各要素を、攻撃モジュール２１２の対応する攻撃パラメータに設定する。そして、ステップＳ２３の処理が行われる。
【００９１】
図７は、比較部１１２の動作の流れを示している。
【００９２】
ステップＳ３１において、特徴抽出部２２１は、攻撃生成部１１１により生成された攻撃サンプル１３１の特徴を抽出する。
【００９３】
具体的には、特徴抽出部２２１は、あらかじめ用意された正常状態モデル１３２によってモデル化されているものと同じ種類の特徴を攻撃サンプル１３１から抽出し、攻撃サンプル１３１の特徴ベクトルを生成する。
【００９４】
ステップＳ３２において、特徴抽出部２２１は、抽出したものと同じ特徴ベクトルが確認済特徴ベクトルデータベース１２１に登録されているかを確認する。登録されている場合、比較部１１２の動作が終了する。登録されていない場合、ステップＳ３３の処理が行われる。
【００９５】
ステップＳ３３において、スコア算出部２２２は、特徴抽出部２２１により抽出された特徴と、正常状態モデル１３２の特徴との類似度を示すスコアを算出する。
【００９６】
具体的には、スコア算出部２２２は、特徴抽出部２２１により生成された攻撃サンプル１３１の特徴ベクトルからスコアを算出する。スコアは、あらかじめ用意された正常状態モデル１３２に対して攻撃サンプル１３１がどれだけ似ているかを表す類似度の数値である。スコアは、攻撃サンプル１３１が正常状態モデル１３２に似ているほど高い値となり、攻撃サンプル１３１が正常状態モデル１３２に似ていないほど低い値となる。
【００９７】
ここで、ある分類器Ｅを仮定する。分類器Ｅは、あらかじめ正常状態の情報を機械学習することで用意された正常状態モデル１３２を使い、与えられた攻撃サンプル１３１の特徴ベクトルＣ＝（ｃ１，ｃ２，・・・，ｃｎ）に対して、スコアＳ（Ｃ）を算出する。スコアＳ（Ｃ）は、機械学習における分類器Ｅにおける予測値の確率にあたる。
【００９８】
ステップＳ３４において、スコア比較部２２３は、スコア算出部２２２により算出されたスコアＳ（Ｃ）を、あらかじめ決められた閾値θと比較する。Ｓ（Ｃ）≧θの場合、スコア比較部２２３は、与えられた攻撃サンプル１３１を正常と判定する。そして、ステップＳ３５の処理が行われる。Ｓ（Ｃ）＜θの場合、スコア比較部２２３は、与えられた攻撃サンプル１３１を異常と判定する。そして、ステップＳ３６の処理が行われる。すなわち、スコア算出部２２２により算出されたスコアが閾値未満である場合、ステップＳ３６の処理が行われる。
【００９９】
ステップＳ３５において、スコア比較部２２３は、攻撃サンプル１３１を返す。そして、比較部１１２の動作が終了する。
【０１００】
ステップＳ３６において、特徴調整部２２４は、特徴抽出部２２１により抽出された特徴を調整することで類似度を増大させる。特徴調整部２２４は、攻撃生成部１１１にフィードバックする情報として、調整後の特徴を示す情報を生成する。
【０１０１】
具体的には、特徴調整部２２４は、与えられた攻撃サンプル１３１が正常と判定されるように、特徴抽出部２２１により生成された攻撃サンプル１３１の特徴ベクトルを調整する。特徴調整部２２４は、調整した特徴ベクトルを調整済特徴ベクトルデータベース１２２に登録する。後述するように、既に利用された特徴ベクトルは、調整済特徴ベクトルデータベース１２２には登録されない。
【０１０２】
図８は、ステップＳ３６の処理手順を示している。すなわち、図８は、特徴調整部２２４の動作の流れを示している。
【０１０３】
ステップＳ４１において、特徴調整部２２４は、与えられた特徴ベクトルＣを調整した新たな特徴ベクトルＣ’を作成できるかを確認する。具体的には、特徴調整部２２４は、与えられた特徴ベクトルＣ＝（ｃ１，ｃ２，・・・，ｃｎ）の各要素がとり得る離散値（ＬＢｉ≦ｃｉ≦ＵＢｉ）すべての組み合わせを試行する。ＵＢｉとＬＢｉは、与えられた特徴ベクトルＣから新たな特徴ベクトルＣ’を検索する範囲の上限と下限をそれぞれ示す。すべての組み合わせを試行し終わった場合、新たな特徴ベクトルＣ’を作成できないということになる。そして、特徴調整部２２４の動作が終了する。
【０１０４】
ステップＳ４２において、特徴調整部２２４は、ステップＳ４１で得られた特徴ベクトルＣ’＝（ｃ１＋Δ１，ｃ２＋Δ２，・・・，ｃｎ＋Δｎ）について、分類器Ｅと正常状態モデル１３２とを使い、スコアＳ（Ｃ’）を算出する。なお、特徴調整部２２４は、ステップＳ４２の処理をスコア算出部２２２に行わせてもよい。
【０１０５】
ステップＳ４３において、特徴調整部２２４は、ステップＳ４２で算出されたスコアＳ（Ｃ’）と規定の閾値θとを比較する。Ｓ（Ｃ’）≧θの場合、特徴調整部２２４は、特徴ベクトルＣ’に従って調整すれば、攻撃サンプル１３１が正常になると判定する。そして、ステップＳ４４の処理が行われる。Ｓ（Ｃ’）＜θの場合、特徴調整部２２４は、特徴ベクトルＣ’に従って調整しても、攻撃サンプル１３１が異常のままであると判定する。そして、ステップＳ４１の処理が再び行われる。なお、特徴調整部２２４は、ステップＳ４３の処理をスコア比較部２２３に行わせてもよい。
【０１０６】
ステップＳ４３において、特徴調整部２２４は、ステップＳ４２で算出されたスコアＳ（Ｃ’）とステップＳ３３で算出されたスコアＳ（Ｃ）とを比較してもよい。Ｓ（Ｃ’）−Ｓ（Ｃ）＞０の場合、特徴調整部２２４は、特徴ベクトルＣ’に従って調整すれば、攻撃サンプル１３１が改善されると判定する。そして、ステップＳ４４の処理が行われる。Ｓ（Ｃ’）−Ｓ（Ｃ）≦０の場合、特徴調整部２２４は、特徴ベクトルＣ’に従って調整しても、攻撃サンプル１３１が改善されないと判定する。そして、ステップＳ４１の処理が再び行われる。
【０１０７】
ステップＳ４４において、特徴調整部２２４は、特徴ベクトルＣ’が既に確認済特徴ベクトルデータベース１２１に登録されているかを確認する。登録されていれば、ステップＳ４１の処理が再び行われる。登録されていなければ、ステップＳ４５の処理が行われる。
【０１０８】
ステップＳ４５において、特徴調整部２２４は、特徴ベクトルＣ’が調整済特徴ベクトルデータベース１２２に登録されているかを確認する。登録されていれば、ステップＳ４１の処理が再び行われる。登録されていなければ、ステップＳ４６の処理が行われる。
【０１０９】
ステップＳ４６において、特徴調整部２２４は、特徴ベクトルＣ’を調整済特徴ベクトルデータベース１２２に登録する。そして、ステップＳ４１の処理が再び行われる。
【０１１０】
図９は、検証部１１３の動作の流れを示している。
【０１１１】
ステップＳ５１において、基本機能監視部２３１は、攻撃生成部１１１により生成された攻撃サンプル１３１が、不正な行為を模擬するための要件を満たしているかどうか確認する。
【０１１２】
具体的には、基本機能監視部２３１は、攻撃生成部１１１の攻撃実行部２１１により生成された攻撃サンプル１３１の攻撃を模擬環境２１３上で実行し、攻撃サンプル１３１が基本機能を維持しているかを確認する。維持していれば、ステップＳ５２の処理が行われる。維持していなければ、ステップＳ５４の処理が行われる。なお、安全のために、模擬環境２１３に代えて仮想環境が利用されてもよい。
【０１１３】
ステップＳ５２において、検知技術検証部２３２は、ステップＳ５１で確認された要件を満たしている攻撃サンプル１３１を用いて不正な行為を模擬する。検知技術検証部２３２は、模擬した行為が、セキュリティ製品に実装されている検知技術によって検知されるかどうか確認する。検知されない場合、ステップＳ５３の処理が行われる。検知された場合、ステップＳ５４の処理が行われる。
【０１１４】
つまり、検知技術検証部２３２は、セキュリティ製品に実装されている検知技術を利用して、攻撃サンプル１３１を検知できるかを確認する。検知できなければ、ステップＳ５３の処理が行われる。検知できれば、ステップＳ５４の処理が行われる。
【０１１５】
ステップＳ５３において、検知技術検証部２３２は、ステップＳ５２で用いた攻撃サンプル１３１を評価用の攻撃サンプル１３１として評価用攻撃サンプルデータベース１２３に登録する。
【０１１６】
ステップＳ５４において、検知技術検証部２３２は、確認済特徴ベクトルデータベース１２１に攻撃サンプル１３１の特徴ベクトルを追加する。
【０１１７】
図１０は、ステップＳ５１の処理手順を示している。すなわち、図１０は、基本機能監視部２３１の動作の流れを示している。
【０１１８】
ステップＳ６１において、基本機能監視部２３１は、模擬環境２１３上で基本機能の監視を開始する。
【０１１９】
評価対象のセキュリティ製品に実装されている検知技術がログ監視技術の場合、ログを発生させた攻撃によって、基本機能が発揮されているかどうかが監視される。基本機能の例としては、ファイル操作、ユーザ認証、プログラム起動、および、外部への情報アップロードがある。具体的には、基本機能監視部２３１は、Ｓｙｓｌｏｇおよび通信ログ等のログを監視し、基本機能に関するログが存在するかを判定する。すなわち、基本機能監視部２３１は、あらかじめ決められた定義に従ってログ内の情報を検索するプログラムとして動作する。
【０１２０】
評価対象のセキュリティ製品に実装されている検知技術が不正メール検知技術の場合、生成された不正メールによって、基本機能が発揮されているかどうかが監視される。基本機能の例としては、メールを送りつけられた人物が、誤って不正メールの文面にあるＵＲＬまたは添付ファイルを実際にクリックしてしまうことがある。具体的には、基本機能監視部２３１は、組織の不審メール対応訓練の一環として、生成された不正メールを組織の人間に送り、不正メールの文面にあるＵＲＬまたは添付ファイルが実際にクリックされるかを監視する。添付ファイルには、添付ファイルがクリックされると特定のＵＲＬがアクセスされるようにプログラムされたスクリプトが記述されている。ドキュメントファイルと誤認されるように正規のドキュメントファイルと同じアイコンが添付ファイルに利用される。すなわち、基本機能監視部２３１は、ＵＲＬへのアクセスを監視するプログラムとして動作する。
【０１２１】
評価対象のセキュリティ製品に実装されている検知技術が不審通信監視技術の場合、生成された攻撃通信によって、基本機能が発揮されているかどうかが監視される。基本機能の例としては、ＲＡＴの操作、Ｃ＆Ｃサーバとのやり取り、および、ファイルアップロードがある。すなわち、基本機能監視部２３１は、攻撃の過程で期待される通信データがやり取りされているかどうかを監視するプログラムとして動作する。模擬環境２１３には、Ｃ＆Ｃサーバ等の模擬的なサーバが存在する。
【０１２２】
評価対象のセキュリティ製品に実装されている検知技術が不正ファイル検知技術の場合、生成された不正ファイルによって、基本機能が発揮されているかどうかが監視される。基本機能の例としては、プログラムの実行、ファイルの削除、Ｃ＆Ｃサーバとの通信、および、ファイルアップロードがある。すなわち、基本機能監視部２３１は、不正ファイルが開かれることで起動するプロセスを監視し、どのような操作が行われたかを監視するプログラムとして動作する。
【０１２３】
ステップＳ６２において、基本機能監視部２３１は、与えられた特徴ベクトルの攻撃を模擬環境２１３で再現する。
【０１２４】
ステップＳ６３において、基本機能監視部２３１は、一定時間経過したかどうかを確認する。一定時間経過した場合、基本機能監視部２３１の動作が終了する。一定時間経過していない場合、ステップＳ６４の処理が行われる。
【０１２５】
ステップＳ６４において、基本機能監視部２３１は、基本機能を検出したかどうかを確認する。基本機能が検出された場合、ステップＳ６５の処理が行われる。検出されていない場合、ステップＳ６３の処理が再び行われる。
【０１２６】
ステップＳ６５において、基本機能監視部２３１は、評価用攻撃サンプルデータベース１２３に攻撃サンプル１３１を登録する。そして、基本機能監視部２３１の動作が終了する。
【０１２７】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態では、攻撃者が意図すると予想される機能を維持した巧妙な攻撃サンプル１３１を生成することができる。よって、巧妙な攻撃サンプル１３１を用いてセキュリティ製品を評価することができる。
【０１２８】
本実施の形態では、攻撃サンプル１３１から抽出された特徴が正常状態モデル１３２に近づくように調整される。調整後の特徴から再現された攻撃サンプル１３１が、攻撃の基本機能を維持し、検知技術によって検知されないことが確認される。これにより、攻撃として成立する巧妙な攻撃サンプル１３１を自動的に生成することができるという効果が得られる。
【０１２９】
＊＊＊他の構成＊＊＊
本実施の形態では、攻撃生成部１１１、比較部１１２および検証部１１３の機能がソフトウェアにより実現されるが、変形例として、攻撃生成部１１１、比較部１１２および検証部１１３の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、攻撃生成部１１１、比較部１１２および検証部１１３の機能の一部が専用の電子回路により実現され、残りがソフトウェアにより実現されてもよい。
【０１３０】
専用の電子回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＦＰＧＡまたはＡＳＩＣである。「ＧＡ」は、Ｇａｔｅ  Ａｒｒａｙの略語である。「ＦＰＧＡ」は、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙの略語である。「ＡＳＩＣ」は、Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略語である。
【０１３１】
プロセッサ１０１、メモリ１０２および専用の電子回路を、総称して「プロセッシングサーキットリ」という。つまり、攻撃生成部１１１、比較部１１２および検証部１１３の機能がソフトウェアにより実現されるか、ソフトウェアとハードウェアとの組み合わせにより実現されるかに関わらず、攻撃生成部１１１、比較部１１２および検証部１１３の機能は、プロセッシングサーキットリにより実現される。
【０１３２】
評価装置１００の「装置」を「方法」に読み替え、攻撃生成部１１１、比較部１１２および検証部１１３の「部」を「工程」に読み替えてもよい。あるいは、評価装置１００の「装置」を「プログラム」、「プログラムプロダクト」または「プログラムを記録したコンピュータ読取可能な媒体」に読み替え、攻撃生成部１１１、比較部１１２および検証部１１３の「部」を「手順」または「処理」に読み替えてもよい。
【０１３３】
実施の形態２．
本実施の形態について、主に実施の形態１との差異を、図１１から図１３を用いて説明する。
【０１３４】
実施の形態１では、あらかじめ用意された正常状態モデル１３２が入力として利用されるが、本実施の形態では、正常状態モデル１３２が評価装置１００の内部で生成される。
【０１３５】
＊＊＊構成の説明＊＊＊
図１１を参照して、本実施の形態に係る評価装置１００の構成を説明する。
【０１３６】
評価装置１００は、機能要素として、攻撃生成部１１１と、比較部１１２と、検証部１１３とのほかに、モデル生成部１１４を備える。攻撃生成部１１１、比較部１１２、検証部１１３およびモデル生成部１１４の機能は、ソフトウェアにより実現される。
【０１３７】
攻撃生成部１１１の構成については、図２に示した実施の形態１のものと同じである。
【０１３８】
比較部１１２の構成については、図３に示した実施の形態１のものと同じである。
【０１３９】
検証部１１３の構成については、図４に示した実施の形態１のものと同じである。
【０１４０】
図１２を参照して、モデル生成部１１４の構成を説明する。
【０１４１】
モデル生成部１１４は、正常状態取得部２４１と、特徴抽出部２４２と、学習部２４３とを有する。
【０１４２】
モデル生成部１１４は、外部から正常サンプル１３３の入力を受ける。
【０１４３】
モデル生成部１１４は、正常サンプルデータベース１２４および正常特徴ベクトルデータベース１２５にアクセスする。正常サンプルデータベース１２４および正常特徴ベクトルデータベース１２５は、メモリ１０２内または補助記憶装置１０３上に構築される。
【０１４４】
＊＊＊動作の説明＊＊＊
図１３を参照して、本実施の形態に係る評価装置１００の動作を説明する。評価装置１００の動作は、本実施の形態に係るセキュリティ製品の評価方法に相当する。
【０１４５】
図１３は、モデル生成部１１４の動作の流れを示している。
【０１４６】
以下で具体的に説明するように、モデル生成部１１４は、正常サンプル１３３から正常状態モデル１３２を生成する。正常サンプル１３３は、攻撃対象となり得るシステムに対する正当な行為を記録したデータである。
【０１４７】
ステップＳ７１からステップＳ７３において、正常状態取得部２４１は、外部から正常サンプル１３３を取得する。
【０１４８】
具体的には、ステップＳ７１において、正常状態取得部２４１は、評価対象のセキュリティ製品が監視する正常サンプル１３３を受け付けるプロセスを開始する。
【０１４９】
ステップＳ７２において、正常状態取得部２４１は、正常サンプル１３３の提供元組織から新しい正常サンプル１３３の送信があるかを確認する。新しい正常サンプル１３３の送信があれば、ステップＳ７３の処理が行われる。新しい正常サンプル１３３の送信がなければ、ステップＳ７４の処理が行われる。
【０１５０】
ステップＳ７３において、正常状態取得部２４１は、新しく受理した正常サンプル１３３を正常サンプルデータベース１２４に登録する。
【０１５１】
ステップＳ７４において、特徴抽出部２４２は、正常サンプルデータベース１２４に一定の数の正常サンプル１３３が集まったかを確認する。集まった場合は、ステップＳ７５の処理が行われる。集まっていない場合は、ステップＳ７２の処理が再び行われる。
【０１５２】
ステップＳ７５において、特徴抽出部２４２は、正常サンプルデータベース１２４に正常サンプル１３３があるかを確認する。正常サンプル１３３があれば、ステップＳ７６の処理が行われる。正常サンプル１３３がなければ、ステップＳ７８の処理が行われる。
【０１５３】
ステップＳ７６において、特徴抽出部２４２は、正常状態取得部２４１により取得された正常サンプル１３３の特徴を抽出する。
【０１５４】
具体的には、特徴抽出部２４２は、正常サンプルデータベース１２４から正常サンプル１３３を選択し、選択した正常サンプル１３３から特徴を抽出し、特徴ベクトルＣ＝（ｃ１，ｃ２，・・・，ｃｎ）を作成する。
【０１５５】
ステップＳ７７において、特徴抽出部２４２は、作成した特徴ベクトルＣを正常特徴ベクトルデータベース１２５に登録する。特徴抽出部２４２は、ステップＳ７６で選択した正常サンプル１３３を正常サンプルデータベース１２４から削除する。そして、ステップＳ７５の処理が再び行われる。
【０１５６】
ステップＳ７８において、学習部２４３は、特徴抽出部２４２により抽出された特徴を学習することで正常状態モデル１３２を生成する。
【０１５７】
具体的には、学習部２４３は、正常特徴ベクトルデータベース１２５に登録されている特徴ベクトルを使って正常状態モデル１３２を機械学習する。
【０１５８】
ステップＳ７９において、学習部２４３は、正常状態モデル１３２を比較部１１２に提出する。その後、ステップＳ７２の処理が再び行われる。
【０１５９】
本実施の形態において、モデル生成部１１４は、新たな１つ以上の正常サンプル１３３を取得する度に正常状態モデル１３２を更新する。ステップＳ１２において、比較部１１２は、攻撃生成部１１１により生成された攻撃サンプル１３１と、モデル生成部１１４により生成された最新の正常状態モデル１３２とを比較する。
【０１６０】
つまり、本実施の形態では、規定の数の正常サンプル１３３が集まる度に、正常状態モデル１３２が更新され、比較部１１２に最新の正常状態モデル１３２が提出される。
【０１６１】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態では、組織から定期的または非定期で送られる正常サンプル１３３をもとに、正常状態モデル１３２が最新のものに更新される。これにより、現状の正常状態に近い攻撃サンプル１３１を自動的に生成することができるという効果が得られる。
【０１６２】
＊＊＊他の構成＊＊＊
本実施の形態では、実施の形態１と同じように、攻撃生成部１１１、比較部１１２、検証部１１３およびモデル生成部１１４の機能がソフトウェアにより実現されるが、実施の形態１の変形例と同じように、攻撃生成部１１１、比較部１１２、検証部１１３およびモデル生成部１１４の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。
【符号の説明】
【０１６３】
１００  評価装置、１０１  プロセッサ、１０２  メモリ、１０３  補助記憶装置、１０４  キーボード、１０５  マウス、１０６  ディスプレイ、１１１  攻撃生成部、１１２  比較部、１１３  検証部、１１４  モデル生成部、１２１  確認済特徴ベクトルデータベース、１２２  調整済特徴ベクトルデータベース、１２３  評価用攻撃サンプルデータベース、１２４  正常サンプルデータベース、１２５  正常特徴ベクトルデータベース、１３１  攻撃サンプル、１３２  正常状態モデル、１３３  正常サンプル、２１１  攻撃実行部、２１２  攻撃モジュール、２１３  模擬環境、２２１  特徴抽出部、２２２  スコア算出部、２２３  スコア比較部、２２４  特徴調整部、２３１  基本機能監視部、２３２  検知技術検証部、２３３  模擬環境、２４１  正常状態取得部、２４２  特徴抽出部、２４３  学習部。
【図１】
0006548837.tif 000002
【図２】
0006548837.tif 000003
【図３】
0006548837.tif 000004
【図４】
0006548837.tif 000005
【図５】
0006548837.tif 000006
【図６】
0006548837.tif 000007
【図７】
0006548837.tif 000008
【図８】
0006548837.tif 000009
【図９】
0006548837.tif 000010
【図１０】
0006548837.tif 000011
【図１１】
0006548837.tif 000012
【図１２】
0006548837.tif 000013
【図１３】
0006548837.tif 000014