(57)【要約】      （修正有）【課題】自動化された侵入警告型のブラックリスティング（ブラックリスト生成）用デバイス及び方法を提供する。【解決手段】方法は、入検出システム（ＩＤＳ）警告に基づいて予備調査段階の間に敵対的なインフラのＩＰアドレスを特定しブロックする。各ＩＤＳ警告は、履歴文脈で自動的に再確認され、必要に応じてＩＰブロックをトリガする。ＴＣＰ／ＩＰハンドシェイク記録を保持し、特定を避けるために悪意のある当事者がスプーフしたネットワークで通常業務を行うために使用されるＩＰをブロックすることを防止する。局所的なネットワーク環境内の各ＩＰアドレスの履歴文脈、具体的には、悪意のあるトラフィックに対する通常業務のトラフィックに基づいて、ＩＰアドレスは、そこからの接続の大部分が悪意を有する場合にのみブロックされる。【選択図】図４
2020201940.tif 000002
【特許請求の範囲】
【請求項１】
自動化された侵入警告型のブラックリスティング用方法であって、
通信インターフェースを使用して、ネットワークに対する検出された脅威を示すネットワーク脅威報告を受け取ること、
プロセッサを使用して、前記ネットワークに対する前記検出された脅威に関連するインターネットプロトコル（IP）アドレスを特定すること、
前記ネットワークとの通信に関連する前記IPアドレスについての履歴文脈情報を特定するために、文脈情報のデータベースにアクセスすること、
前記履歴文脈情報を１以上のブロック閾値と比較すること、及び
前記IPアドレスについての前記履歴文脈情報が前記１以上のブロック閾値を超える場合に、前記IPアドレスをインジケータ管理システムに出力することを含み、
前記インジケータ管理システムが、前記ネットワークの境界システム用のブロックリストを保持し、前記IPアドレスを前記ブロックリストに追加する、方法。
【請求項２】
前記検出された脅威に関連する侵入検出システム（IDS）警告をトリガとして使用することを更に含み、前記検出された脅威が、高信頼度署名を脅威として含む、請求項１に記載の方法。
【請求項３】
前記高信頼度署名が、誤検出特定の可能性がないか、低いか、又は非常に低いうちの少なくとも１つで前記脅威を特定する、請求項２に記載の方法。
【請求項４】
前記高信頼度署名が、少なくとも１つの送信元から読み出される、請求項２又は３に記載の方法。
【請求項５】
前記少なくとも１つの送信元が、前記デバイス又は前記ネットワークのうちの少なくとも１つに位置付けられている、請求項４に記載の方法。
【請求項６】
前記少なくとも１つの送信元が、信頼される第三者である、請求項４又は５に記載の方法。
【請求項７】
前記履歴文脈情報が、文脈システム内の前記文脈情報のデータベース内に記憶され、前記文脈情報のデータベースが、前記ネットワークで検出された全ての前記IPアドレスについての履歴情報を含む要約データベースである、請求項１から６のいずれか１項に記載の方法。
【請求項８】
前記履歴文脈情報が、前記IPアドレスのそれぞれについての、最初に見られた日付け、最後に見られた日付け、内部ヒットカウント、及びアプリケーション層データを含む、請求項７に記載の方法。
【請求項９】
前記履歴文脈情報が、前記IPアドレスのそれぞれについての以前のTCP／IP接続確立インジケータを含み、
前記IPアドレスのそれぞれについての前記以前のTCP／IP接続確立インジケータが、前記デバイスが各IPアドレスとのTCP／IP接続を以前に確立していたかどうかを示し、
前記デバイスが前記IPアドレスのそれぞれとのTCP／IP接続を以前に確立していたことが、前記IPアドレスのそれぞれが有効でありスプーフされていないことを示す、請求項７又は８に記載の方法。
【請求項１０】
請求項１から９のいずれか一項に記載の方法を実行するための自動化された侵入警告型のブラックリスティング用デバイスであって、
ネットワークに対する検出された脅威を示すネットワーク脅威報告を受け取るように構成された通信インターフェース、並びに
プロセッサであって、
前記ネットワークに対する前記検出された脅威に関連するインターネットプロトコル（IP）アドレスを特定すること、
前記ネットワークとの通信に関連する前記IPアドレスについての履歴文脈情報を特定するために、文脈情報のデータベースにアクセスすること、
前記履歴文脈情報を１以上のブロック閾値と比較すること、及び
前記IPアドレスについての前記履歴文脈情報が前記１以上のブロック閾値を超える場合に、前記IPアドレスをインジケータ管理システムに出力すること、を実行するように構成されたプロセッサを備え、
前記インジケータ管理システムが、前記ネットワークの境界システム用のブロックリストを保持し、前記IPアドレスを前記ブロックリストに追加する、デバイス。
【請求項１１】
前記履歴文脈情報が、文脈システム内の前記文脈情報のデータベース内に記憶され、前記文脈情報のデータベースが、前記ネットワークで検出された全ての前記IPアドレスについての履歴情報を含む要約データベースである、請求項１０に記載のデバイス。
【請求項１２】
前記履歴文脈情報が、前記IPアドレスのそれぞれについての、最初に見られた日付け、最後に見られた日付け、内部ヒットカウント、及びアプリケーション層データを含む、請求項１１に記載のデバイス。
【請求項１３】
前記履歴文脈情報が、前記IPアドレスのそれぞれについての以前のTCP／IP接続確立インジケータを含み、
前記IPアドレスのそれぞれについての前記以前のTCP／IP接続確立インジケータが、前記デバイスが各IPアドレスとのTCP／IP接続を以前に確立していたかどうかを示し、
前記デバイスが前記IPアドレスのそれぞれとのTCP／IP接続を以前に確立していたことが、前記IPアドレスのそれぞれが有効でありスプーフされていないことを示す、請求項１１又は１２に記載のデバイス。
【請求項１４】
自動化された侵入警告型のブラックリスティング用のコンピュータ実行可能指示命令が記憶された１以上の非一過性のコンピュータ可読媒体であって、前記指示命令が、コンピュータによって実行されたときに、前記コンピュータに、
通信インターフェースを使用して、ネットワークに対する検出された脅威を示すネットワーク脅威報告を受け取ること、
プロセッサを使用して、前記ネットワークに対する前記検出された脅威に関連するインターネットプロトコル（IP）アドレスを特定すること、
前記ネットワークとの通信に関連する前記IPアドレスについての履歴文脈情報を特定するために、文脈情報のデータベースにアクセスすること、
前記履歴文脈情報を１以上のブロック閾値と比較すること、及び
前記IPアドレスについての前記履歴文脈情報が前記１以上のブロック閾値を超える場合に、前記IPアドレスをインジケータ管理システムに出力することを含む、請求項１から９のいずれか一項に記載の動作を実行させ、
前記インジケータ管理システムが、前記ネットワークの境界システム用のブロックリストを保持し、前記IPアドレスを前記ブロックリストに追加する、１以上の非一過性のコンピュータ可読媒体。
【請求項１５】
前記プロセッサが、前記検出された脅威に関連する侵入検出システム（IDS）警告をトリガとして使用するように更に構成され、前記検出された脅威が、高信頼度署名を脅威として含む、請求項１４に記載の１以上の非一過性のコンピュータ可読媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
（サイバーアタックとしても知られる）敵対的なネットワーク侵入は、通常、悪意のある当事者が、敵対的なインフラ（例えば、悪意のある当事者の管理下にある１以上の計算デバイス）を使用して、インターネットにアクセス可能なネットワーク化されたシステムをスキャンして脆弱性を見つけることから始まる。このサイバーアタックの予備調査段階は、通常、侵入検出システム（IDS）警告をトリガする。予備調査段階の後には、通常、これもまた同じ敵対的なインフラから生じる何らかの種類の攻撃段階（例えば、悪意のある電子メールを送ること、指揮統制動作を実行すること、又は他の敵対的なネットワークトラフィック）が行われる。
【０００２】
既存のものは、IDS警告で提示される特定のパターン（例えば、特定の既知の種類のサイバーアタックの可能性を示す文字シーケンス）に基づいて、特定のスキャン又は敵対的なトラフィックを防止するだけである。この防止の手段は、インフラを敵対的なものとして特定することができない。したがって、敵対的なインフラからの後続のトラフィックを、起点（origination point）に基づいて侵入防止システム（IPS）などによって体系的に防止することができない。代わりに、作業人員は手動で、選択的なIDSヒットを再確認し、履歴文脈の検索を実行し、次いで、ブロック及びモニタ動作をトリガしなければならない。しばしば、殊に高トラフィック環境では、単位時間当たりに受け取られるIDS警告の数が圧倒的に多いので、手動の検索を拡張することは困難であり又は不可能である。そのような環境で働いているオペレータは、そのような文脈ベースの判断を自動化するために必要な、より長い期間の履歴を保持するリソース及び能力を欠いている。
【０００３】
したがって、従来のシステムは、通常、攻撃者を抑制する（例えば、攻撃者からの多数のサイバーアタック中に一時的にブロックする）だけである。しかし、単一の署名一致にのみ基づいてインターネットプロトコル（IP）アドレスからの全てのトラフィックをブロックすることは、IPアドレスがスプーフィング（spoofing：インターネット上で他人になりすますこと）に脆弱であるため、非常に危険である。スプーフされたIPアドレスを使用する攻撃者は、ネットワークで通常業務を行う際に使用されるIPアドレスからのものと思われる攻撃を開始することによって、ネットワーク破壊を引き起こすことができる。
【発明の概要】
【０００４】
ある実施態様は、自動化された侵入警告型のブラックリスティング（ブラックリスト生成）用デバイスを提供する。デバイスは、ネットワークに対する検出された脅威を示すネットワーク脅威報告を受け取るように構成された通信インターフェース、及びプロセッサを含む。該プロセッサは、ネットワークに対する検出された脅威に関連するインターネットプロトコル（IP）アドレスを特定すること、ネットワークとの通信に関連するIPアドレスについての履歴文脈情報を特定するために、文脈情報のデータベースにアクセスすること、履歴文脈情報を１以上のブロック閾値と比較すること、及び、IPアドレスについての履歴文脈情報が１以上のブロック閾値を超える場合に、IPアドレスをインジケータ管理システムに出力すること、を実行するように構成されている。インジケータ管理システムは、ネットワークの境界システム用のブロックリストを保持し、IPアドレスをブロックリストに追加する。
【０００５】
他の実施態様は、自動化された侵入警告型のブラックリスティング用方法を提供する。該方法は、通信インターフェースを使用して、ネットワークに対する検出された脅威を示すネットワーク脅威報告を受け取ること、プロセッサを使用して、ネットワークに対する検出された脅威に関連するIPアドレスを特定すること、ネットワークとの通信に関連するIPアドレスについての履歴文脈情報を特定するために、文脈情報のデータベースにアクセスすること、履歴文脈情報を１以上のブロック閾値と比較すること、及び、IPアドレスについての履歴文脈情報が１以上のブロック閾値を超える場合に、IPアドレス（１５４）をインジケータ管理システムに出力することを含む。インジケータ管理システムは、ネットワークの境界システム用のブロックリストを保持し、IPアドレスをブロックリストに追加する。
【０００６】
更に他の実施態様は、自動化された侵入警告型のブラックリスティング用のコンピュータ実行可能指示命令が記憶された１以上の非一過性のコンピュータ可読媒体を提供する。その指示命令は、コンピュータによって実行されたときに、コンピュータに動作を実行させる。該動作は、通信インターフェースを使用して、ネットワークに対する検出された脅威を示すネットワーク脅威報告を受け取ること、プロセッサを使用して、ネットワークに対する検出された脅威に関連するIPアドレスを特定すること、ネットワークとの通信に関連するIPアドレスについての履歴文脈情報を特定するために、文脈情報のデータベースにアクセスすること、履歴文脈情報を１以上のブロック閾値と比較すること、及び、IPアドレスについての履歴文脈情報が１以上のブロック閾値を超える場合に、IPアドレスをインジケータ管理システムに出力することを含む。インジケータ管理システムは、ネットワークの境界システム用のブロックリストを保持し、IPアドレスをブロックリストに追加する。
【０００７】
この概要は、以下の詳細な説明で更に説明される単純化された形態を採る概念のうちの選ばれたものを導入するために提供されている。上記の概要ならびに特定の実施態様の以下の詳細な説明は、添付の図面を参照して読むことにより、より深く理解される。この概要は、特許請求の範囲の主題の主要な特徴又は本質的な特徴を特定することを意図するものではなく、特許請求の範囲の主題の範囲を決定する助けとして使用されることを意図するものでもない。
【０００８】
本開示のこれらの及び他の特徴、態様、及び利点は、添付の図面を参照しながら以下の詳細な説明を読むことで、より良く理解されることになる。
【図面の簡単な説明】
【０００９】
【図１】一実施態様による、自動化された侵入警告型のブラックリスティング用デバイスの一実施態様を示すブロック図である。
【図２】一実施態様による、敵対的なインフラに関連付けられたインターネットプロトコル（IP）アドレスについての履歴文脈情報のサンプルデータベース記録を示す表形式の図である。
【図３】一実施態様による、通常業務のインフラに関連付けられたIPアドレスについての履歴文脈情報のサンプルデータベース記録を示す表形式の図である。
【図４】内部ネットワークの自動化された侵入警告型のブラックリスティングの一実施態様を示すフロー図である。
【図５】一実施態様による、自動化された侵入警告型のブラックリスティング用方法を示すフローチャートである。
【図６】一実施態様による、検出された脅威に関連する侵入検出システム（IDS）を使用する自動化された侵入警告型のブラックリスティング用方法を示すフローチャートである。その場合、検出された脅威は、高信頼度署名をトリガとして含む。
【図７】一実施態様による、ネットワークとの通信に関連するIPアドレスについての履歴文脈情報を特定するために文脈システムを使用することを更に含む、自動化された侵入警告型のブラックリスティング用方法を示すフローチャートである。
【図８】一実施態様による、動作環境を示す例示的なブロック図である。
【発明を実施するための形態】
【００１０】
対応する参照符号は、図面全体を通して対応する部品を示す。
【００１１】
図面を参照すると、本開示の実施態様は、予備調査段階のスキャン及びその後の（１以上の）攻撃段階などの悪意のある行為から、インターネットにアクセス可能なネットワーク化されたシステムを保護する、自動化された侵入警告型のブラックリスティング用システム及び方法を含む。該システム及び方法は、悪意のある当事者の管理下にある敵対的なインフラが、スキャンして脆弱性を見つけ、又はそれ以外の方法でインターネットにアクセス可能なネットワーク化されたシステムと相互作用することを試みるときに、そのようなインフラを自動的に特定する。ある実施態様では、この試みられた予備調査が、発信元の敵対的なインフラについての情報を含む（１以上の）侵入検出システム（IDS）警告を生成する。
【００１２】
本開示は、敵対的なトラフィックの開始点に基づいて（例えば、インターネットプロトコル（IP）アドレスによって）、敵対的なインフラ及び敵対的なインフラからの全てのその後のトラフィックを特定するために、（１以上の）IDS警告を使用する。様々な実施態様が、全てのIDS警告の再確認を自動化し、履歴文脈の検索を実行し、次いで、任意の必要なブロック及びモニタ動作をトリガする。この自動化された再確認は、高トラフィックのインターネットにアクセス可能なネットワーク化されたシステムで単位時間あたりに受け取られる、普通であれば大量な数であるはずのIDS警告に対応するように拡張可能である。そのような自動化のより高い効率を前提とすると、本開示を実装した環境内で作業する現代のオペレータは、そのような文脈ベースの判断を自動化し、それによって、ユーザの体験をも改善するために必要な、より長い期間の文脈情報を保持するための十分なリソース及び能力を有する。
【００１３】
本開示は、自動的に攻撃者を抑制することに限られない。単一署名一致にのみ基づいて、IPアドレスからの全てのトラフィックをブロックすることは、悪意のある当事者が特定を避けるためにスプーフした、ネットワークの通常業務を行うために使用されるIPをブロックする危険性が高い。更に、スプーフされたIPアドレスをブロックすることは、ブロックされたIPアドレスに位置付けられた実際のデバイス又はサービスに対する、サービス妨害攻撃を実質的に引き起こす。これらのデバイス及びサービスは、今やインターネットにアクセス可能なネットワーク化されたシステムと相互作用することができない。インターネットにアクセス可能なネットワーク化されたシステムの外部にある重要なインフラ（例えば、公共のウェブサイト、ドメインネームサーバーなど）へのアクセスを意図的にブロックしようとする悪意のある当事者は、このようなシナリオで簡単にアクセスをブロックすることができる。スプーフィングが問題にならない場合でも、単一署名一致のみに基づいてIPアドレスからの全てのトラフィックを無差別にブロックすると、（例えば、記憶装置、メモリ、処理能力などの過剰使用を引き起こすことによって）インターネットにアクセス可能なネットワーク化されたシステムのリソースに過度の負担がかかる恐れもある。
【００１４】
したがって、ある実施態様では、本開示が、遭遇した各IPアドレスについて、過去に有効な通信制御プロトコル（TCP）／IP接続（有効な識別TCP三元ハンドシェイクを必要とする）が確立されたていかどうかの記録を保持する。そのような有効な接続が、以前に確立されていたならば、IPアドレスは、有効でありスプーフされていないことが示される。これらの実施態様では、有効なTCP／IP接続の要件が、任意のハンドシェイクメカニズムを提供しないユーザデータグラムプロトコル（UDP）接続の使用に関連付けられたスプーフィングの危険性をないものにする。あるそのような実施態様では、履歴文脈データが、部分的にしかし全体的にではなく、過去に有効なTCP／IP接続が確立されていたかどうかの記録を含む。
【００１５】
完全に拡張可能な自動化された侵入警告型のブラックリスティング用システム及び方法は、通常業務が影響を受けないように敵対的なインフラを自動的にブロックするとして開示される。既存の現代のIPS及び／又は拡張不可能な手動のブラックリスティング技法と比較して、本開示の自動化されたシステム及び方法は、実質的な費用節約を提供し、普通であれば手動のプロセスに必要であるはずのリソース及び人員を束縛せず、IDS警告又は検出された脅威によって表される大量の数の既知の予備調査及び攻撃の試みのブラックリスティングを介して、自動化されたネットワーク防御を可能にすることによって、全体的なネットワーク保護を高める。
【００１６】
様々な実施態様における本明細書で説明される要素は、予備調査段階のスキャンで悪意のある当事者によって使用されるIPアドレスが、同じ悪意のある当事者によって他のベクトルによる攻撃（例えば、電子メール、データベースアクセス、セキュリティーホールエクスプロイト（exploit）など）向けに再使用される可能性がかなり高いと認識することによって、自動化された侵入警告型のブラックリスティングを提供するために、従来とは異なるやり方で動作する。ある実施態様では、IDS警告が、本開示にブラックリスティングをトリガする高信頼度署名を提供し、通常業務のトラフィックを自動的にブラックリスティングすることをもたらす誤検出特定の可能性をなくす、低くする、又は非常に低くすることを保証する。このやり方では、プロセッサが、本明細書で説明される動作を実行するようにプログラムされたときに、プロセッサが、従来とは異なるやり方で使用され、悪意のあるネットワーク行為のより信頼できる特定及び警告を可能にする。
【００１７】
意図せずに中断された通常業務のトラフィックに対する保護の追加の層として、本開示のある実施態様は、IPアドレスによって潜在的に敵対的なインフラを特定した後で、文脈システムに対して検索を実行して、局所的なネットワーク環境内でIPアドレスに関連付けられた履歴文脈を特定する。内部ネットワーク環境内でIPアドレスに関連付けられた悪意のあるトラフィックに対して、圧倒的な量の通常業務のトラフィックが存在する場合に、本開示は、IPアドレスをブラックリストするように動作しない。しかし、特定のIPアドレスからの接続の大部分が悪意を有する場合に、本開示は、敵対的なインフラが未だ予備調査段階にある間に、敵対的なインフラのIPアドレスをブラックリストして、後に損傷を与える可能性がある攻撃段階を防止する。
【００１８】
したがって、本開示は、自動化されていない代替策よりも効果的であり、実施することがより経済的である。本開示は、完全に拡張可能な自動化された侵入警告型のブラックリスティングの形態を採るネットワーク保護を提供し、更に、通常業務のトラフィックに対する最小の潜在的な混乱をもたらす。
【００１９】
図１を参照すると、ブロック図が、自動化された侵入警告型のブラックリスティング用デバイス１００の一実施態様を示している。ある実施態様では、デバイス１００が、コンピュータ、サーバ、分散システム、ウェブサーバ、データベース、モバイルデバイス、通信デバイス、デスクトップコンピュータ、ラップトップ、タブレットコンピュータ、又はそれらの組み合わせである。デバイス１００は、ネットワーク１１０に対する検出された脅威１５０を示すネットワーク脅威報告１０６を受け取るように構成された通信インターフェース１１２、及びプロセッサ１０２を備える。ネットワーク１０２は、有線ネットワーク、無線ネットワーク、又はそれらの両方を含む。通信インターフェース１１２は、デバイス１００とネットワーク１１０を介してアクセス可能な任意の他の構成要素との間の双方向通信を可能にするように構成されている。
【００２０】
ある実施態様では、プロセッサ１０２が、検出された脅威１５０に関連する侵入検出システム（IDS）警告１６０をトリガとして使用するように更に構成されている。IDS警告１６０は、ネットワーク１１０から、特有の攻撃状態に合致する（したがって、特有の攻撃状態を特定する）ように構成されたデバイス１００にわたり、通信可能なある１つのデータである。特有の攻撃状態は、標的に侵入する又は標的を傷付けるための敵対的なインフラによって使用される特定のツール（例えば、特定の既知の（データを破壊する）トロイの木馬、ウィルス、ワーム、有害なHTTP POSTリクエスト、又は他の悪意のあるコード）を含む。そのような実施態様では、検出された脅威１５０が、高信頼度署名１５４を脅威として含む。したがって、高信頼度署名１５４は、特定の識別可能な攻撃の種類に直接的にリンク可能であり、デバイス１００が最も適切なやり方で反応することを可能にする。幾つかのそのような実施態様では、高信頼度署名１５４が、誤検出特定の可能性がないか、低いか、又は非常に低いうちの少なくとも１つで脅威を特定する。他の実施態様では、デバイス１００が、それに対して正確な署名が利用可能でないところの潜在的な脅威の発見的又はパターン照合ベースの解析向けの基礎として、利用可能な高信頼度署名１５４を使用する。
【００２１】
他のそのような実施態様では、高信頼度署名１５４が、少なくとも１つの送信元１７０から読み出される。本明細書で説明されるように、送信元１７０は、デバイス１００によって使用可能な少なくとも１つの高信頼度署名１５４を含む、デバイス１００によってアクセス可能な任意の保存場所である。送信元１７０を含むある実施態様では、送信元１７０が、デバイス１００又はネットワーク１１０のうちの少なくとも１つに位置付けられる。送信元は、特定のウェブサイト、特定の組織、又はそれらの組み合わせを含むが、これらに限定されるものではない。幾つかのそのような実施態様では、デバイス１００を含むか又は含まないかの何れかで、送信元１７０が、ネットワーク１１０の複数の記憶デバイスにわたり分散される。送信元１７０を含む他の実施態様では、送信元１７０が、信頼される第三者である。１つの例示として、ある産業では、競争者が、競争者に知られている全ての高信頼度署名を組み合わせた信頼される第三者の送信元１７０を生成するためのネットワークセキュリティリソースをプールし、次いで、競争者によって共有される全体的なインフラ（例えば、地球規模のインターネット）にわたる高められ且つ恒久的に改善されるネットワークセキュリティを促進するために、送信元を共有する。
【００２２】
プロセッサ１０２は、ネットワーク１１０に対する検出された脅威１５０に関連するIPアドレス１５２を特定すること、及び、ネットワーク１１０との通信に関連するIPアドレス１５２についての履歴文脈情報１２０を特定するために、文脈情報１０４のデータベースにアクセスすること、を実行するように構成されている。履歴文脈情報１２０は、とりわけ、本明細書の図２及び図３の議論でより詳細に説明される。
【００２３】
ある実施態様では、履歴文脈情報１２０が、文脈システム１１４内の文脈情報１０４のデータベース内に記憶される。文脈システム１１４は、ブロック閾値１０８を構成し、調整し、保持するために、文脈情報１０４のデータベースを使用する。幾つかのそのような実施態様では、文脈情報１０４のデータベースが、ネットワーク１１０で検出される全てのIPアドレス１５２についての履歴情報１２４を含む要約データベースである。他のそのような実施態様では、履歴文脈情報１２０が、IPアドレス１５２のそれぞれについての、最初に見られた日付け１２２、最後に見られた日付け１２４、及び内部ヒットカウント１２６を含む。しかし、ある実施態様では、他の文脈又は履歴データが保持されてよい。更に他のそのような実施態様では、履歴文脈情報１２０が、アプリケーション層データ１３０を含む。アプリケーション層データ１３０は、IPアドレス１５２に歴史的に関連付けられた、特定の認証された種類のアプリケーション又は通信プロトコルについての情報を含む、ログされたトランザクションデータを含むが、それらに限定されるものではない。ログされたトランザクションデータのソーシング（sourcing）は、本明細書の他の場所で説明される。したがって、アプリケーション層データ１３０を含む実施態様では、アプリケーション層データ１３０が、電子メールの履歴、プロキシ接続履歴、ウェブサーバ接続履歴に関するログされたトランザクションデータ、又はIPアドレス１５２に関連付けられた任意の他のログされたトランザクションデータ、のうちの少なくとも１つを含むが、それらに限定されるものではない。アプリケーション層データ１３０を含む幾つかの実施態様では、アプリケーション層データ１３０を使用して、通常業務のトラフィックを敵対的なインフラのトラフィックから区別する。通常業務のトラフィックは、認証可能で許容可能なアプリケーション層データ１３０を生成する。一方、敵対的なインフラのトラフィックは、そのようなデータを生成しない。
【００２４】
最初に見られた日付け１２２は、デバイス１００がIPアドレス１５２からの接続リクエストを受け取った最も早い日付けである。最後に見られた日付け１２４は、デバイスがIPアドレス１５２からの接続リクエストを受け取った最後の日付けである。ある実施態様では、最初に見られた日付け１２２と最後に見られた日付け１２４の両方が、カレンダーの日付け、並びに、時間、分、及び秒で測定された時間のうちの少なくとも１つを含むタイムスタンプとして記憶される。ある実施態様では、最初に見られた日付け１２２と最後に見られた日付け１２４が、ISO８６０１に従って記憶される。内部ヒットカウント１２６は、最初に見られた日付け１２２で始まり、最後に見られた日付け１２４で終わる、IPアドレス１５２からデバイス１００によって受け取られた接続リクエストの数である。
【００２５】
更に他のそのような実施態様では、履歴文脈情報１２０が、IPアドレス１５２のそれぞれについての以前のTCP／IP接続確立インジケータ１２８を含む。IPアドレス１５２のそれぞれについての以前のTCP／IP接続確立インジケータ１２８を含む実施態様では、以前のTCP／IP接続確立インジケータ１２８が、デバイス１００が、各IPアドレス１５２とのTCP／IP接続を以前に確立していたかどうかを示す。デバイス１００が、IPアドレス１５２のそれぞれとのTCP／IP接続を以前に確立していた場合に、IPアドレス１５２のそれぞれは、有効でありスプーフされていない。
【００２６】
プロセッサ１０２は、履歴文脈情報１２０を１以上のブロック閾値１０８と比較するように更に構成されている。ある実施態様において、１以上のブロック閾値１０８は、IPアドレス１５２が、IPアドレス１５２から生じた通常業務の接続リクエストの数又はIPアドレス１５２から生じた敵対的な接続リクエストの数に基づいて、１以上のブロック閾値１０８のうちの１つに関連付けられるかどうかを示す数値である。通常業務の接続リクエストの最も高い可能な数を許容することを優先するそのような幾つかの実施態様では、IPアドレス１５２から生じた通常業務の何らかの履歴が、履歴文脈情報１２０の範囲内に存在する場合に、１以上のブロック閾値１０８は、そのようなIPアドレス１５２からの全てのトラフィックの通過を可能にするように構成されている。未知のIPアドレス１５２に関して可能な限り慎重になるように構成された他の実施態様では、１以上のブロック閾値１０８が、履歴文脈情報１２０の範囲内に未だ含まれていない任意のIPアドレス１５２から生じた全てのリクエストをブロックするように構成されている。本開示の特定の用途の必要性及び要件に応じて、ブロック閾値１０８は、通常業務に関連付けられているか又は関連付けられてないかに関わらず、IPアドレス１５２から生じる接続リクエストの量が変動することを可能にするように構成可能である。任意の実施態様では、１以上のブロック閾値１０８が超えられると、デバイスが、関連するIPアドレス１５２を本明細書で更に説明されるようにブラックリストすることになる。
【００２７】
IPアドレス１５２についての履歴文脈情報１２０が、１以上のブロック閾値１０８を超えた場合に、プロセッサ１０２は、IPアドレス１５２をインジケータ管理システム１８０に出力するように更に構成されている。インジケータ管理システム１８０は、プロセッサ１０２からインジケータ管理システム１８０に出力された任意のIPアドレス１５２による、ネットワーク１１０への全ての潜在的な敵対的アクセスを抑止するように構成されている。インジケータ管理システム１８０は、ネットワーク１１０の境界システム１９０用のブロックリスト１８２を保持し、IPアドレス１５２をブロックリスト１８２に追加する。境界システム１９０は、ネットワーク１１０の外側で生じた敵対的なインフラ及び行為から、ネットワーク１１０の外側縁部を表すネットワーク境界ゲートウェイシステム（図示せず）を保護するように構成された、個別の防御システムのフルセットである。ある実施態様では、ネットワーク境界が、ネットワーク（例えば、ビジネスエンティティの内部ネットワーク）の私的な且つ局所的に管理・所持された側と、ネットワーク（例えば、公的なインターネット）の公的な且つプロバイダによって管理された側と、の間の境界を含むが、それらに限定されるものではない。ある実施態様では、境界システム１９０が、アプリケーション層データ１３０を含むトランザクションデータをログするように構成されている。
【００２８】
そのような敵対的なインフラ及び行為は、電子メールスクリーニング、ファイアウォール侵入、システムをモニタするパケットスニッフィング（packet sniffing）、リバースプロキシエクスプロイト（reverse proxy exploit）、又は不正アクセスを可能にする任意の他の脆弱性エクスプロイトを含むが、それらに限定されるものではない。より一般的に、境界システムは、ありとあらゆる境界攻撃に対して保護するように意図されている。境界攻撃は、外側の当事者が悪意のあるペイロードをアップロードするためにアクセスを取得することを可能にする、ネットワーク縁部の脆弱性をエクスプロイトすることが意図された任意の侵入又は他の攻撃を含むが、それらに限定されるものではない。そのような境界攻撃は、外側の当事者が、トロイの木馬、ウィルス、バックドア、シェル、又は外側の当事者に指揮統制又はデータ引き出し能力を与える任意の他の類似のプログラムのうちの少なくとも１つをアップロードすることを可能にするために、ゲートウェイシステム内に不正に確保されたポートをエクスプロイトすることを含むが、それらに限定されるものではない。ゲートウェイシステムは、ネットワーク１１０と、ネットワーク１１０と通信可能に接続された、ネットワーク１１０の外側の全ての他のエンティティと、の間の通信可能な入口／出口の全てのポイントである。
【００２９】
図２及び図３は、集合的に、IPアドレス（例えば、IPアドレス１５２）についての履歴文脈情報２００、３００（例えば、図１の履歴文脈情報１２２）のサンプルデータベース記録の表形式の図である。履歴文脈情報２００、３００のデータベース記録のそれぞれは、少なくとも、最初に見られた日付け２１２、３１２（例えば、図１の最初に見られた日付け１２２）、最後に見られた日付け２１４、３１４（例えば、図１の最後に見られた日付け１２４）、内部ヒットカウント２１６、３１６（例えば、図１の内部ヒットカウント１２６）、以前のTCP／IP接続確立インジケータ２１８、３１８（例えば、図１の以前のTCP／IP接続確立インジケータ１２８）、及びアプリケーションデータ層情報２２０、３２０（例えば、図１のアプリケーションデータ層１３０）を含む。ある実施態様では、履歴文脈情報２００のサンプルデータベース記録が、１以上のブロック閾値（例えば、図１における１以上のブロック閾値１０８）を超える。ある実施態様では、履歴文脈情報３００のサンプルデータベース記録が、１以上のブロック閾値を超えない。
【００３０】
図２は、敵対的なインフラに関連付けられたIPアドレス（例えば、IPアドレス１５４）についての履歴文脈情報２００のサンプルデータベース記録を示している。最初に見られた日付け２１２と最後に見られた日付け２１４の差は、１０分間をカバーするデータを含む履歴文脈情報２００のサンプルデータベース記録を示している。この時間中に、敵対的なインフラに関連付けられたIPアドレスは、内部ヒットカウント２１６によれば、ネットワーク（例えば、図１のネットワーク１１０）にアクセスする試みを５０００回行った。以前のTCP／IP接続確立インジケータ２１８は、このIPアドレスとの完全に認証されたTCP／IP接続が、以前に確立されていなかったことを示している。アプリケーションデータ層２２０は、IPアドレスが、認証されていない遠隔アクセスプロトコル（例えば、MICROSOFT WINDOWS（登録商標）遠隔デスクトップ接続プロトコルに関連付けられたプロトコル）に関連付けられたポートへの接続をオープンするようにリクエストしていることを示している。したがって、様々な実施態様で、悪意のある電子行為が、自動的に特定され特定のIPアドレスと関連付けられる。すなわち、閾値化を使用して、履歴データを悪意があり且つ敵対的なインフラに関連付けられるとして特定する。
【００３１】
図３は、通常業務のインフラに関連付けられたIPアドレスについての履歴文脈情報３００のサンプルデータベース記録を示している。最初に見られた日付け３１２と最後に見られた日付け３１４の差は、２か月間をカバーするデータを含む履歴文脈情報３００のサンプルデータベース記録を示している。この期間中に、通常業務のインフラに関連付けられたIPアドレスは、内部ヒットカウント３１６によれば、ネットワーク（例えば、図１のネットワーク１１０）にアクセスする試みを５０回行った。以前のTCP／IP接続確立インジケータ３１８は、このIPアドレスとの完全に認証されたTCP／IP接続が、以前に確立されていたことを示している。アプリケーションデータ層３２０は、IPアドレスが、信頼される仮想私設ネットワーク（VPN）ソリューションに関連付けられたポートへの接続をオープンするようにリクエストしていることを示している。したがって、様々な実施態様で、通常の電子ビジネス行為が、自動的に特定され特定のIPアドレスと関連付けられる。すなわち、閾値化を使用して、履歴データを合法的なビジネス通信であり通常業務のインフラに関連付けられるとして特定する。
【００３２】
敵対的なインフラに関連付けられ、通常業務のインフラに関連付けられる、これらの値は、異なるアプリケーション、設定、ビジネス環境、ネットワーク構造などにおいて異なってよい。これらの値は、単に例示として示されている。
【００３３】
図４は、内部ネットワークの自動化された侵入警告型のブラックリスティングの一実施態様４００を示すフロー図である。侵入の試み４０２中に、境界侵入検出システム（IDS）、ファイアウォール、及びDMZ境界４２０（集合的に、例えば、図１の境界システム１９０）の外側の攻撃者は、ネットワーク（例えば、図１のネットワーク１１０）の脆弱性をテストする又はエクスプロイトすることを試みる。動作４０４で、IDSは、侵入の試み４０２を検出し、高信頼度署名のIDS警告を送る。４０６で、攻撃者のIPアドレスは、インジケータ管理システム（例えば、図１のインジケータ管理システム１８０）に追加される。インジケータ管理システムは、文脈システム（例えば、図１の文脈システム１１４）との通信によって、４０８で、IPアドレスが以前にネットワークで見られていたかどうかを判定し、４１０で、インジケータ管理システムが、文脈システムからyesの応答を受け取るか又はnoの応答を受け取る。４１２で、文脈システムがインジケータ管理システムにnoの応答を送信する場合に、将来的にそのIPアドレスの敵対的なインフラとの通信を防止するために、そのIPアドレスは、ブロックリスト（例えば、境界侵入検出システム（IDS）、ファイアウォール、及びDMZ境界４２０を含む、サービスゲートウェイ及びファイアウォール用の図１のブロックリスト１８２）に追加される。
【００３４】
図５は、自動化された侵入警告型のブラックリスティング用方法５００を示すフローフローチャートである。ある実施態様では、図５で示されている方法が、図１のデバイス１００などのデバイスによって実行される。方法５００は、５０２で、通信インターフェースを使用して、ネットワークに対する検出された脅威を示すネットワーク脅威報告を受け取ること、５０４で、プロセッサを使用して、ネットワークに対する検出された脅威に関連するインターネットプロトコル（IP）アドレスを特定すること、５０６で、ネットワークとの通信に関連するIPアドレスについての履歴文脈情報を特定するために、文脈情報のデータベースにアクセスすること、５０８で、履歴文脈情報を１以上のブロック閾値と比較すること、及び、５１０、５１２で、IPアドレスについての履歴文脈情報が１以上のブロック閾値を超える場合に、IPアドレスをインジケータ管理システムに出力することを含む。インジケータ管理システムは、ネットワークの境界システム用のブロックリストを保持し、５１２で、IPアドレスがインジケータ管理システムに出力されるならば、５１４で、IPアドレスをブロックリストに追加する。その後、プロセスは完了する。図５で示されている動作は、デバイスによって実行され、本開示の態様は、他のエンティティによる動作の実行を企図する。ある実施態様では、クラウドサービスが、動作のうちの１以上を実行する。更に、これらのステップは、本明細書で説明される１以上の実施態様によって実行される。
【００３５】
図６は、検出された脅威に関連するIDS警告を使用する自動化された侵入警告型のブラックリスティング用方法６００を示すフローフローチャートである。その場合、検出された脅威は、高信頼度署名をトリガとして含む。ある実施態様では、図６で示されている方法が、図１のデバイス１００などのデバイスによって実行される。動作６０２は、図５で描かれている方法５００の動作５０２に類似し、したがって、説明は繰り返されない。６０４では、プロセッサが、検出された脅威に関連する侵入検出システム（IDS）警告をトリガとして使用するように更に構成されている。その場合、検出された脅威は、高信頼度署名を脅威として含む。ある実施態様では、高信頼度署名が、誤検出特定の可能性がないか、低いか、又は非常に低いうちの少なくとも１つで脅威を特定する。幾つかの他の実施態様では、高信頼度署名が、少なくとも１つの送信元から読み出される。幾つかのそのような実施態様では、少なくとも１つの送信元が、デバイス又はネットワークのうちの少なくとも１つに位置付けられる。他のそのような実施態様では、少なくとも１つの送信元が、信頼される第三者である。動作６０６、６０８、６１０、６１２、６１４、及び６１６は、図５で描かれている方法５００の動作５０４、５０６、５０８、５１０、５１２、及び５１４に類似し、したがって、説明は繰り返されない。その後、プロセスは完了する。図６で示されている動作は、デバイス（例えば、図１のデバイス１００）によって実行されるが、本開示の態様は、他のエンティティによる動作の実行を企図する。ある実施態様では、クラウドサービスが、動作のうちの１以上を実行する。
【００３６】
図７は、ネットワークとの通信に関連するIPアドレスについての履歴文脈情報を特定するために文脈システムを使用することを更に含む、自動化された侵入警告型のブラックリスティング用方法７００を示すフローチャートである。ある実施態様では、図７で示されている方法が、図１のデバイス１００などのデバイスによって実行される。動作７０２及び７０４は、図５で描かれている方法５００の動作５０２及び５０４に類似し、したがって、説明は繰り返されない。７０６では、履歴文脈情報が、文脈システム内の文脈情報のデータベース内に記憶され、文脈情報のデータベースが、ネットワークで検出された全てのIPアドレスについての履歴情報を含む要約データベースである。
【００３７】
ある実施態様では、履歴文脈情報が、IPアドレスのそれぞれについての、最初に見られた日付け、最後に見られた日付け、内部ヒットカウント、及びアプリケーション層データを含む。幾つかのそのような実施態様では、履歴文脈情報が、IPアドレスのそれぞれについての以前のTCP／IP接続確立インジケータを含む。IPアドレスのそれぞれについての以前のTCP／IP接続確立インジケータは、デバイスが、各IPアドレスとのTCP／IP接続を以前に確立していたかどうかを示している。デバイスが、IPアドレスのそれぞれとのTCP/IP接続を以前に確立していた場合に、IPアドレスのそれぞれについての以前のTCP/IP接続確立インジケータは、IPアドレスのそれぞれが、有効でありスプーフされていないことを示す。ある実施態様では、履歴文脈情報が、アプリケーション層データを含む。アプリケーション層データは、IPアドレスに歴史的に関連付けられた特定の認証された種類のアプリケーション又は通信プロトコルについての情報を含むログされたトランザクションデータを含むが、それらに限定されるものではない。したがって、アプリケーション層データを含む実施態様では、アプリケーション層データが、電子メールの履歴、プロキシ接続履歴、ウェブサーバ接続履歴に関するログされたトランザクションデータ、又はIPアドレスに関連付けられた任意の他のログされたトランザクションデータのうちの少なくとも１つを含むが、それらに限定されるものではない。
【００３８】
動作７０８、７１０、７１２、及び７１４は、図５で描かれている方法５００の動作５０８、５１０、５１２、及び５１４に類似し、したがって、説明は繰り返されない。その後、プロセスは完了する。図７で示されている動作は、デバイス（例えば、図１のデバイス１００）によって実行されるが、本開示の態様は、他のエンティティによる動作の実行を企図する。ある実施態様では、クラウドサービスが、動作のうちの１以上を実行する。
【００３９】
図４及び本明細書の実施態様４００で詳細に説明された、デバイス１００並びに方法５００、６００、及び７００のうちの幾つかの代替的な実施態様では、侵入の試み（例えば、図４の侵入の試み４０２）中に、攻撃者のIPアドレス（例えば、図１のIPアドレス１５２）が、IPアドレスが特定された直後で、文脈情報のデータベースにアクセスする前に、インジケータ管理システム（例えば、図１のインジケータ管理システム１８０）に追加される。本明細書で説明されたデバイス１００並びに方法５００、６００、及び７００の性能と比較して、そのような代替的な実施態様は、全ての侵入の記録をインジケータ管理システム内に記録することを可能にする。これは、その履歴文脈情報がブロック閾値を超えないIPアドレスに関連付けられた侵入の試みを含む。したがって、そのIPアドレスは、ブロックリストに追加されない。
【００４０】
デバイス１００のそのような代替的な実施態様では、プロセッサ１０２が、以下の動作を取るように構成されている。該動作は、ネットワーク１１０に対する検出された脅威１５０に関連するインターネットプロトコル（IP）アドレス１５２を特定すること、IPアドレス１５２をインジケータ管理システム１８０に出力すること、ネットワーク１１０との通信に関連するIPアドレス１５２についての履歴文脈情報１２０を特定するために、文脈情報１０４のデータベースにアクセスすること、履歴文脈情報１２０を１以上のブロック閾値１０８と比較すること、IPアドレス１５２についての履歴文脈情報１２０が１以上のブロック閾値１０８を超える場合に、インジケータ管理システム１８０によって保持されるネットワーク１１０の境界システム１９０用のブロックリスト１８２にIPアドレス１５２を追加することを含む。
【００４１】
方法５００のそのような代替的な実施態様（図示せず）は、以下の順序で生じる動作を含む。すなわち、５０２、５０４、５１２、５０６、５０８、５１０、及び５１４。方法６００のそのような代替的な実施態様（図示せず）は、以下の順序で生じる動作を含む。すなわち、６０２、６０４、６０６、６１４、６０８、６１０、６１２、及び６１６。方法７００のそのような代替的な実施態様（図示せず）は、以下の順序で生じる動作を含む。すなわち、７０２、７０４、７１２、７０６、７０８、７１０、及び７１４。方法５００、方法６００、及び方法７００のそのような代替的な実施態様は、本明細書で以前に開示されたものとは異なる方法で動作する。
【００４２】
更なる実施例
本開示は、自動化された侵入警告型のブラックリスティングを対象とする。自動化された侵入警告型のブラックリスティングの幾つかの実施態様は、通信インターフェースを使用して、ネットワークに対する検出された脅威を示すネットワーク脅威報告を受け取ること、プロセッサを使用して、ネットワークに対する検出された脅威に関連するインターネットプロトコル（IP）アドレスを特定すること、ネットワークとの通信に関連するIPアドレスについての履歴文脈情報を特定するために、文脈情報のデータベースにアクセスすること、履歴文脈情報を１以上のブロック閾値と比較すること、及び、IPアドレスについての履歴文脈情報が１以上のブロック閾値を超える場合に、IPアドレスをインジケータ管理システムに出力することを含むが、それらに限定されるものではない。インジケータ管理システムは、ネットワークの境界システム用のブロックリストを保持し、IPアドレスをブロックリストに追加する。
【００４３】
図面内の様々な要素の機能の少なくとも一部分は、幾つかの実施態様では、図面内の他の要素又は図面内で示されていないエンティティ（例えば、コンピュータ）によって実行される。
【００４４】
ある実施態様では、図５、図６、及び図７で示されている動作が、単一の人物、人間の集団、自動化された侵入警告型のブラックリスティング用の完全に若しくは部分的に自動化されたデバイス、又はそれらの任意の組み合わせによって実行される。一例示として、ある実施態様では、自動化された侵入警告型のブラックリスティング用のデバイス、インジケータ管理システム、及び境界システムが、それぞれ、別々の供給者によって完全に分離した組立者に提供される。その組立者は、自動化された侵入警告型のブラックリスティング用のデバイス、インジケータ管理システム、及び境界システムを共に接続する。
【００４５】
本明細書で使用される際に、「インフラ」又は「ネットワークインフラ」は、ネットワーク接続、通信、動作、及び管理を可能にする、全体のネットワークのハードウェア及びソフトウェアリソースを含むが、それらに限定されるものではない。このインフラは、ユーザ、プロセス、アプリケーション、サービス、及び外部ネットワークの間の通信経路並びにサービスを提供する。ある実施態様では、内部私設ネットワーク及び公的ネットワーク（例えば、公的なインターネット）が、分離しているが通信可能に接続されたインフラを有する。本明細書の開示が「敵対的なインフラ」に言及するときに、そのような敵対的なインフラは、自動化された侵入警告型のブラックリスティング用の本開示のシステム及び方法の保護の下でネットワークと通信可能に接続された、任意のインフラを指すと理解される。
【００４６】
本明細書で使用される際に、インターネットプロトコル（IP）アドレス（例えば、図１のIPアドレス１５２）は、通信を容易にするためにインターネットプロトコルを使用してネットワークに接続される全てのデバイスに割り当てられた数値符号である。本開示の文脈において、IPアドレスは、本開示の全機能をサポートすることができる任意の代替的なネットワークアドレス指定プロトコル（例えば、媒体アクセス制御（MAC）アドレスなど）向けに直ちに代替可能である。TCPは、インターネットプロトコルと協働して、IPアドレスマップドネットワーク（IP address-mapped network）を介して通信するデバイスで実行されるアプリケーション同士の間のオクテットストリーム（octet stream：例えば、数バイトのデータ）の、信頼できる、順序付けられた、エラーチェックされた伝達を提供する。
【００４７】
UDPは、必要最低限度の接続なし通信モデルを利用する。UDPは、データの整合性のためにチェックサムを使用し、データグラムの送信元と宛先で様々な機能をアドレス指定するためにポート番号を使用する。UDPは、ハンドシェイクを欠いており、基礎となるネットワークの信頼性が低い任意のネットワークにトラフィックを公開し、伝達又は順序付けを保証することができず、重複した保護を提供することができない。
【００４８】
公的なインターネットでは、インターネットプロトコルのバージョン４（IPv4）とインターネットプロトコルのバージョン６（IPv6）の間の移行が進行中であることに留意されたい。IPv4は、パブリックインターネットのデバイス向けに最大4,294,967,296までのIPアドレスを提供する。IPv6は、パブリックインターネットに少なくとも３．４×１０３８のIPアドレスを提供する。公的なインターネットが、IPv4、IPv6、又はそれらの何らかの組み合わせを使用しても、利用可能なIPアドレスは多数なので、攻撃を特定して攻撃に応答するために、IDS署名又は類似の脅威インジケータに先ず頼ることは、IPアドレスをホワイトリスティング又はブラックリスティングすることに先ず頼るネットワークセキュリティモデルを構築することを試みるよりも、遥かに効率的であり現実的である。しかし、本明細書の他の場所で説明されるように、TCP／IPハードウェアのハンドシェイク認証記録を、セキュリティの二次的な層として使用することによって、意味のある利益が得られる。
【００４９】
ある実施態様では、高信頼度署名が、ネットワークの中への侵入をモデル化するために使用される情報セキュリティのキルチェーンモデルに関連する情報を少なくとも部分的に含む（例えば、ロッキードマーチンのCYBER KILL CHAIN（登録商標）、Unified Kill Chainなど）。そのようなキルチェーンモデルでは、各段階で確立された制御を介して攻撃を終了できるように、攻撃が漸進的な段階（例えば、初期の予備調査からデータの引き出しまで）で生じると理解される。キルチェーンモデルは、適正に実装されたときに、ネットワーク防御を継続的に改善する価値のある管理ツールである。キルチェーンモデルの様々な実施態様は、特定の用途の必要性に応じて、種々の段階を認識する。ある架空のキルチェーンモデルは、以下の段階を含むが、それらに限定されるものではない。すなわち、予備調査（例えば、弱点の調査）、兵器化（例えば、配信可能なペイロードの構築）、配信（例えば、悪意のあるリンクなどのペイロードの送信）、エクスプロイト（例えば、標的コンピュータにおけるコードの実行）、インストール（例えば、標的アセットへのマルウェアのインストール）、Ｃ２（例えば、システムを遠隔から制御するためのチャネルの生成）、及び動作（例えば、悪意のある動作を遠隔から実行する）である。
【００５０】
ある実施態様では、検出された脅威（例えば、図１の検出された脅威１５０）又は高信頼度署名（例えば、図１の高信頼度署名１５４）が、少なくとも１つのセキュリティ侵害インジケータ（IOC）を含む。少なくとも１つのIOCは、ネットワーク脅威（例えば、コンピュータ侵入）を示すアーチファクト（すなわち、観察可能な特徴）を含む。幾つかのそのような実施態様では、少なくとも１つのIOCが、IPアドレス、ウィルス署名、電子メールアドレス、電子メール主題、ドメイン名、ユーアールアイ（URI）、ユーアールエル（URL）、ファイル名、メッセージダイジェストアルゴリズム５（MD5）ハッシュ、任意の他の種類のハッシュ、ファイルパス、又はそれらの組み合わせを含むが、それらに限定されるものではない。幾つかのそのような実施態様では、ブロック閾値（例えば、図１のブロック閾値１０８）の厳密さが、少なくとも１つの検出されたIOCに従って変動するように構成可能である。他のそのような実施態様では、IOCが、キルチェーン内の特定の段階のインジケータである。
【００５１】
そのような実施態様では、本開示が、（例えば、IDS警告を介した）高信頼度署名を検出した際に、文脈に基づいて発信元のIPアドレスをブロックするか否かを判定する。具体的には、単位時間当たりの発信元のIPアドレスからのヒット数を特定することによって、文脈が提供される。そのような実施態様では、単位時間当たりのヒット数が適用可能なブロック閾値を超える場合に、IPアドレスがブロックされる。但し、文脈情報が、IPアドレスを以前に又は同時に生じた通常業務に関連付ける場合を除く。
【００５２】
本明細書で開示されるように、ブロック閾値は、任意の特定の環境又は用途の必要性又は要件を満たすように構成可能である。ブロック閾値を利用する本開示の全ての実施態様では、ブロック閾値が、特定の発信元のIPアドレスからのトラフィックが、ブロックされ又はブラックリストされるべきかどうかを判定する。但し、そのようなブロック又はブラックリスティングを禁止する例外が存在しない場合である。ある実施態様では、そのような例外が、発信元IPアドレスに関連付けられたネットワークの通常業務のトラフィックの最小量の履歴を含む。ある実施態様では、通常業務のトラフィックの最小量のそのような履歴が、通常業務のトラフィックの任意のゼロではない量を含む。
【００５３】
本開示の実施態様は、敵対的なインフラによるアクセスに対して脆弱なネットワークを使用する任意の環境において又は任意の用途に対して使用可能である。そのようなネットワークは、航空宇宙用途、地球用途、物理的なデバイスのサービス若しくは保守用途、又はそれらの任意の組み合わせ、の全ての種類において使用される通信ネットワークを含むが、それらに限定されるものではない。
【００５４】
一実施例として、自動化された侵入警告型のブラックリスティングの一実施態様が、表１の動作に関連付けられた以下のIDS警告を受け取る。
2020201940.tif 000003
【００５５】
上述の実施例では、IDS警告及び表１に従って、送信元IPアドレスが、China Chopper web-shellを、ネットワークの境界システムにロードしようと試みた。China Chopper web-shell用のIDSは、高信頼度署名である。それは、非常に具体的な条件を探し、この仮説の目的で、誤検出特定を返さないという実績がある履歴を有する。これらの試みられた侵入に遭遇したことがある従来の現代の侵入検出システムは、この正確なIDS（例えば、IDS警告の正確な文字のシーケンス及び条件）に合致する攻撃だけブロックすることになる。執拗な又は洗練された攻撃者は、未だ同じ送信元IPアドレスを未だ使用しながら、単に攻撃の種類を変更すること（例えば、悪意のあるコードをウェブサイトの中に投入する試みの代わりに、フィッシング電子メール又は指揮統制動作）によって、そのような制限された従来の現代のアプローチを回避することができる。本明細書で説明されるように、本開示は、悪意のある攻撃に関連付けられたIPアドレスを特定することによって完全に、敵対的なインフラをブラックリスティングすることによって、従来の現代のアプローチのこの制限を克服する。
【００５６】
別の一実施例は、発信元のIPアドレスが、最後の接続の試みから遡って７日前に最初に遭遇したというシナリオを含む。全部で３４回の接続の試みが行われた。関連付けられたIDS警告内の高信頼度署名の存在が、発信元のIPアドレスにおけるインフラが攻撃を試みたことを立証する。高信頼度署名の形態を採るIDS警告によって試みられた攻撃を立証した、更に、適用可能なブロック閾値が満たされた、（例えば、IPアドレスをブロックすることによって、履歴文脈に基づいて、通常業務に影響を与えることなしに、ネットワークの安全性が増加することになる）本明細書の開示の一実施態様は、IPアドレスをインジケータ管理システムに出力する。
【００５７】
更に別の１つの仮説的なシナリオでは、オンラインサービスの大きくて著名なプロバイダ（例えば、グーグル）によって所有されているIPアドレスが、高信頼度署名によって立証される際に、攻撃を示すIDSアラートをトリガする。本明細書の開示は、ブロック閾値が、試みられた攻撃によって満たされたことを検出する。しかし、IPアドレスに関連付けられた履歴文脈は、過去２年にわたりIPアドレスから生じた５０億回の通常業務の履歴を示す。この仮説的なシナリオでは、本開示の一実施態様が、IPアドレスをインジケータ管理システムに出力しない。というのも、そうすると、通常業務に多大な影響をもたらし得るからである。
【００５８】
本開示の態様が、それらの関連付けられた動作を有する様々な実施態様に関して説明されてきたが、当業者は、任意の数の種々の実施態様からの動作の組み合わせも、本開示の態様の範囲内にあることを理解するだろう。
【００５９】
個人を特定できる情報は、本開示の態様によって追跡されないが、実施態様は、ユーザからモニタ及び／又は収集されたデータを参照して説明されてきた。ある実施態様では、（例えば、ダイアログボックスや好みの設定を介して）データの収集についてユーザに通知が行われ、ユーザは、モニタリング及び／又は収集について同意を与えるか又は拒否する機会が与えられる。時々、同意は、オプトイン同意又はオプトアウト同意の形態を採る。
【００６０】
例示的な動作環境
本開示は、様々な用途向けの様々な環境で動作可能である。例示のみを目的として、本開示の実施態様が動作する潜在的な動作環境を限定する意図なしに、以下の例示的な動作環境が提示される。
【００６１】
本開示は、図８における機能ブロック図８００として、一実施態様による計算装置と共に動作可能である。そのような一実施態様では、計算装置８１８の構成要素が、本明細書内で説明される１以上の実施態様による電子デバイスの一部品として実装されてよい。計算装置８１８は、電子デバイスの動作を制御するためにコンピュータ実行可能な指示命令を処理するためのマイクロプロセッサ、コントローラ、又は任意の他の種類のプロセッサであってよい、１以上のプロセッサ８１９を備える。動作システム８２０を備えるプラットフォームソフトウェア又は任意の他の適切なプラットフォームソフトウェアが、アプリケーションソフトウェア８２１がデバイスで実行されることを可能にする装置８１８に提供されてよい。一実施態様によれば、本明細書で説明される自動化された侵入警告型のブラックリスティングは、ソフトウェアによって完了されてよい。
【００６２】
コンピュータ実行可能な指示命令は、コンピュータ装置８１８によってアクセス可能な任意のコンピュータ可読媒体を使用して提供されてよい。コンピュータ可読媒体は、非限定的に、メモリ８２２などのコンピュータ記憶媒体、及び通信媒体を含んでよい。メモリ８２２などのコンピュータ記憶媒体は、コンピュータ可読指示命令、データ構造、プログラムモジュールなどの情報を記憶するための任意の方法又は技術で実装された、揮発性及び不揮発性の取り外し可能及び取り外し不能媒体を含む。コンピュータ記憶媒体は、計算装置によってアクセスされるための情報を記憶するために使用され得る、RAM、ROM、EPROM、EEPROM、フラッシュメモリ若しくは他のメモリ技術、CD-ROM、デジタル多用途ディスク（DVD）若しくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、又は任意の他の非伝送媒体を含むが、それらに限定されるものではない。対照的に、通信媒体は、コンピュータ可読指示命令、データ構造、プログラムモジュールなどを、搬送波などの変調されたデータ信号又は他の移送メカニズムで具現化してよい。本明細書で説明される際に、コンピュータ記憶媒体は、通信媒体を含まない。したがって、コンピュータ記憶媒体は、伝播する信号自体であると解釈されるべきではない。伝播信号自体は、コンピュータ記憶媒体の例ではない。コンピュータ記憶媒体（メモリ８２２）は、計算装置８１８内に示されているが、該記憶装置は、（例えば、通信インターフェース８２３を使用して）ネットワーク又は他の通信リンクを介して、分散され又は遠隔に位置付けられアクセスされてよい。
【００６３】
計算装置８１８は、１以上の出力デバイス８２５、ある実施態様では、電子デバイスから分離され得る又は電子デバイスに一体化され得るディスプレイ又はスピーカに、情報を出力するように構成された入力／出力コントローラ８２４を備えてよい。入力／出力コントローラ８２４は、１以上の入力デバイス８２６、ある実施態様では、キーボード、マイクロフォン、又はタッチパッドからの入力を、受け取り処理するように構成されてもよい。一実施態様では、出力デバイス８２５が、入力デバイスとして作用してもよい。タッチ感応ディスプレイは、１つのそのようなデバイスである。入力／出力コントローラ８２４は、出力デバイス以外のデバイス、例えば局所的に接続されたプリンティングデバイスにデータを出力してもよい。ある実施態様では、ユーザが、（１以上の）入力デバイス８２６に入力を提供してよく、及び／又は、（１以上の）出力デバイス８２５から出力を受け取ってよい。
【００６４】
本明細書で説明される機能は、１以上のハードウェア論理構成要素によって、少なくとも部分的に実行可能である。一実施態様によれば、計算装置８１８は、プロセッサ８１９によって実行されたときにプログラムコードによって、説明された動作及び機能の実施態様を実行するように構成されている。代替的に又は更に、本明細書で説明される機能は、１以上のハードウェア論理構成要素によって、少なくとも部分的に実行可能である。非限定的に、使用可能なハードウェア論理構成要素の例示的な種類は、フィールドプログラマブルゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）、プログラム固有の標準製品（ASSP）、システムオンチップシステム（SOC）、複雑なプログラマブル論理デバイス（CPLD）、グラフィックス処理ユニット（GPU）を含む。
【００６５】
したがって、様々な実施態様は、通信インターフェースを使用して、ネットワークに対する検出された脅威を示すネットワーク脅威報告を受け取ること、プロセッサを使用して、ネットワークに対する検出された脅威に関連するIPアドレスを特定すること、ネットワークとの通信に関連するIPアドレスについての履歴文脈情報を特定するために、文脈情報のデータベースにアクセスすること、履歴文脈情報を１以上のブロック閾値と比較すること、及び、IPアドレスについての履歴文脈情報が１以上のブロック閾値を超える場合に、IPアドレスをインジケータ管理システムに出力すること、を実行するためのシステム及び方法を含む。インジケータ管理システムは、ネットワークの境界システム用のブロックリストを保持し、IPアドレスをブロックリストに追加する。
【００６６】
本明細書で説明されるように、本開示は、自動化された侵入警告型のブラックリスティング用システム及び方法を提供する。本明細書のシステム及び方法は、非限定的に上述の例示的な動作環境を含む、幾つかのネットワーク環境で使用されるのに適した、自動化された侵入警告型のブラックリスト内で効率的且つ効果的に構築され展開される。
【００６７】
本開示の実施説明のために、上部、底部、下方、中央、横方向、水平、垂直、前方などの空間及び方向に関する様々な語が用いられる場合があるが、そのような語は図面で示す方向に対するものとして用いられているにすぎないことを理解されたい。向きを、反転させる、回転させる、又はそうでなければ、上部が下部に、また下部が上部になるように、また水平が垂直になる等のように変化させることができる。
【００６８】
本明細書で使用する、タスク又は動作を実施する「ように構成される」構造、限定事項、又は要素は、特にタスク又は動作に対応するように、構造的に形成、構成、又は適合されている。明確さのため、及び誤解を避けるために、タスク又は動作を実施するために変更可能であるに過ぎない対象物は、本明細書で使用するタスク又は動作を実施する「ように構成」されてはいない。
【００６９】
本明細書で与えられる任意の範囲又は値は、当業者に明らかであるように、求められる効果を失うことなしに拡張可能又は変更可能である。本明細書で与えられる任意の期間又は時間の範囲は、他の期間又は時間の範囲をカバーしてよい。
【００７０】
本主題は、構造的特徴及び／又は方法論的行為に固有の言語で説明されてきたが、添付の特許請求の範囲で定義される主題は、必ずしも上記の特定の特徴又は行為に限定されないことを理解されたい。むしろ、上記の特定の特徴および行為は、特許請求の範囲を実施する例示的な形態として開示されている。
【００７１】
上述の利益及び利点は、一実施態様に関連するか、又は幾つかの実施態様に関連し得ることが理解されるであろう。本実施態様は、本明細書の背景技術において説明された全ての課題を解決するもの、又は述べられた利益及び利点の何れか若しくは全てを有するものに限定されない。
【００７２】
本明細書で図示され説明された実施態様、並びに、本明細書で具体的に説明されなかったが特許請求の範囲の態様の範囲内にある実施態様は、自動化された侵入警告型のブラックリスティング用の例示的な手段を構成する。
【００７３】
本明細書で図示され説明された本開示の実施態様における動作の実行又は実施の順序は、別段に指定されない限り、必須のものではない。すなわち、動作は、別段に指定されない限り、任意の順序で実行することができ、本開示の実施例は、本明細書で開示されたものに追加した動作又はより少ない動作を含んでよい。一例示として、別の動作の前、同時、又は後に特定の動作を実行又は実施することは、本開示の態様の範囲内にあると考えられる。
【００７４】
本開示の態様の要素を導入するとき、冠詞「１つの（a）」、「１つの（an）」、「その（the）」、及び「前記（said）」は、要素のうちの１以上が存在することを意味するものとする。「備える（comprising）」、「含む（including）」、及び「有する（having）」という用語は、包括的であることを意図し、挙げられた要素以外の追加の要素が存在し得ることを意味する。「例示的な（exemplary）」という用語は、「の一実施例（an example of）」を意味するものとする。「A、B、及びCのうちの１以上」という言い回しは、「Aの少なくとも１つ及び／又はBの少なくとも１つ及び／又はCの少なくとも１つ」を意味する。
【００７５】
本開示の態様を詳細に説明したが、添付の特許請求の範囲で定義される本開示の態様の範囲から逸脱することなく修正および変更が可能であることは明らかであろう。本開示の態様の範囲から逸脱することなく、上記の構造、製品、および方法に様々な変更を加えることができるため、上述の説明に含まれ、添付の図面に示された全ての事項は、例示的なものとして且つ限定的にではなく解釈されることを意図している。
【００７６】
上記の説明は、限定ではなく、例示を意図するものであることを理解するべきである。一例示として、上述の実施態様（及び／又はそれらの側面）は、互いに組み合わせて使用されてよい。更に、本開示の様々な実施態様の範囲から逸脱することなく、特定の状況又は材料に適応させるために、本開示の様々な実施形態の教示に多数の改変を加えることが可能である。本明細書に記載の材料の形状寸法及び種類は、本開示の様々な実施態様のパラメータを規定することを意図しているが、これらの実施態様は限定的なものではなく例示的な実施態様である。上述の説明を精査することにより、当業者には他の多くの他の実施態様が明らかであろう。本開示の様々な実施態様の範囲は、添付の特許請求の範囲、並びに、かかる特許請求の範囲が認められる均等物の全範囲を参照して決定されるべきである。添付の特許請求の範囲において、「含む（including）」及び「そこにおいて（in which）」という語は、それぞれ、「備える（comprising）」及び「そこで（wherein）」という語の明白な同義語として使用される。また、「第１」「第２」及び「第３」等の語は単に符号として使用され、それらの対象物に数的要件を課すことを意図するものではない。更に、以下の特許請求の範囲の限定は、ミーンズ・プラス・ファンクション書式で記述されておらず、かかる特許請求の範囲の限定が、更なる構造のない機能の記述が後続する「のための手段（means for）」という言い回しを明示的に使用しない限り、35U.S.C.§112(f)に基づいて解釈されるべきではない。
【００７７】
ここに記載した説明では、ベストモードを含む本開示の様々な実施態様を開示し、且つ当業者が任意のデバイス又はシステムの作成及び使用、並びに組込まれた任意の方法の実行を含め、本開示の様々な実施態様を実施することを可能にするために実施例を使用している。本開示の様々な実施態様の特許可能な範囲は、特許請求の範囲によって規定され、当業者が想起する他の実施例を含む。かかる他の実施例は、実施例が特許請求の範囲の文言と相違しない構造要素を有する場合、又は、実施例が、特許請求の範囲の文言とごくわずかな相違しかない同等の構造要素を含む場合、特許請求の範囲内であることが意図される。
【００７８】
複数の条項
以下の条項は、更なる態様を説明する。
【００７９】
条項の組Ａ
Ａ１．
自動化された侵入警告型のブラックリスティング用デバイスであって、
ネットワークに対する検出された脅威を示すネットワーク脅威報告を受け取るように構成された通信インターフェース、並びに
プロセッサであって、
ネットワークに対する検出された脅威に関連するインターネットプロトコル（IP）アドレスを特定すること、
ネットワークとの通信に関連するIPアドレスについての履歴文脈情報を特定するために、文脈情報のデータベースにアクセスすること、
履歴文脈情報を１以上のブロック閾値と比較すること、及び
IPアドレスについての履歴文脈情報が１以上のブロック閾値を超える場合に、IPアドレスをインジケータ管理システムに出力すること、を実行するように構成されたプロセッサを備え、
それによって、インジケータ管理システムが、ネットワークの境界システム用のブロックリストを保持し、IPアドレスをブロックリストに追加する、デバイス。
Ａ２．
プロセッサが、検出された脅威に関連する侵入検出システム（IDS）警告をトリガとして使用するように更に構成され、検出された脅威が、高信頼度署名を脅威として含む、条項Ａ１のデバイス。
Ａ３．
高信頼度署名が、誤検出特定の可能性がないか、低いか、又は非常に低いうちの少なくとも１つで脅威を特定する、条項Ａ１又はＡ２のデバイス。
Ａ４．
高信頼度署名が、少なくとも１つの送信元から読み出される、条項Ａ１からＡ３のいずれか１つのデバイス。
Ａ５．
少なくとも１つの送信元が、デバイス又はネットワークのうちの少なくとも１つに位置付けられている、条項Ａ１からＡ４のいずれか１つのデバイス。
Ａ６．
少なくとも１つの送信元が、信頼される第三者である、条項Ａ１からＡ５のいずれか１つのデバイス。
Ａ７．
履歴文脈情報が、文脈システム内の文脈情報のデータベース内に記憶され、文脈情報のデータベースが、ネットワークで検出された全てのIPアドレスについての履歴情報を含む要約データベースである、条項Ａ１からＡ６のいずれか１つのデバイス。
Ａ８．
履歴文脈情報が、IPアドレスのそれぞれについての、最初に見られた日付け、最後に見られた日付け、内部ヒットカウント、及びアプリケーション層データを含む、条項Ａ１からＡ７のいずれか１つのデバイス。
Ａ９．
履歴文脈情報が、IPアドレスのそれぞれについての以前のTCP／IP接続確立インジケータを含み、
それによって、IPアドレスのそれぞれについての以前のTCP／IP接続確立インジケータが、デバイスが各IPアドレスとのTCP／IP接続を以前に確立していたかどうかを示し、
それによって、デバイスがIPアドレスのそれぞれとのTCP／IP接続を以前に確立していたことが、IPアドレスのそれぞれが有効でありスプーフされていないことを示す、条項Ａ１からＡ８のいずれか１つのデバイス。
【００８０】
条項の組Ｂ
Ｂ１．
自動化された侵入警告型のブラックリスティング用方法であって、
通信インターフェースを使用して、ネットワークに対する検出された脅威を示すネットワーク脅威報告を受け取ること、
プロセッサを使用して、ネットワークに対する検出された脅威に関連するインターネットプロトコル（IP）アドレスを特定すること、
ネットワークとの通信に関連するIPアドレスについての履歴文脈情報を特定するために、文脈情報のデータベースにアクセスすること、
履歴文脈情報を１以上のブロック閾値と比較すること、及び
IPアドレスについての履歴文脈情報が１以上のブロック閾値を超える場合に、IPアドレスをインジケータ管理システムに出力することを含み、
それによって、インジケータ管理システムが、ネットワークの境界システム用のブロックリストを保持し、IPアドレスをブロックリストに追加する、方法。
Ｂ２．
プロセッサが、検出された脅威に関連する侵入検出システム（IDS）警告をトリガとして使用するように更に構成され、検出された脅威が、高信頼度署名を脅威として含む、条項Ｂ１の方法。
Ｂ３．
高信頼度署名が、誤検出特定の可能性がないか、低いか、又は非常に低いうちの少なくとも１つで脅威を特定する、条項Ｂ１又はＢ２の方法。
Ｂ４．
高信頼度署名が、少なくとも１つの送信元から読み出される、条項Ｂ１からＢ３のいずれか１つの方法。
Ｂ５．
少なくとも１つの送信元が、デバイス又はネットワークのうちの少なくとも１つに位置付けられている、条項Ｂ１からＢ４のいずれか１つの方法。
Ｂ６．
少なくとも１つの送信元が、信頼される第三者である、条項Ｂ１からＢ５のいずれか１つの方法。
Ｂ７．
履歴文脈情報が、文脈システム内の文脈情報のデータベース内に記憶され、文脈情報のデータベースが、ネットワークで検出された全てのIPアドレスについての履歴情報を含む要約データベースである、条項Ｂ１からＢ６のいずれか１つの方法。
Ｂ８．
履歴文脈情報が、IPアドレスのそれぞれについての、最初に見られた日付け、最後に見られた日付け、内部ヒットカウント、及びアプリケーション層データを含む、条項Ｂ１からＢ７のいずれか１つの方法。
Ｂ９．
履歴文脈情報が、IPアドレスのそれぞれについての以前のTCP／IP接続確立インジケータを含み、
それによって、IPアドレスのそれぞれについての以前のTCP／IP接続確立インジケータが、デバイスが各IPアドレスとのTCP／IP接続を以前に確立していたかどうかを示し、
それによって、デバイスがIPアドレスのそれぞれとのTCP／IP接続を以前に確立していたことが、IPアドレスのそれぞれが有効でありスプーフされていないことを示す、条項Ｂ１からＢ８のいずれか１つの方法。
【００８１】
条項の組Ｃ
Ｃ１．
自動化された侵入警告型のブラックリスティング用のコンピュータ実行可能指示命令が記憶された１以上の非一過性のコンピュータ可読媒体であって、指示命令が、コンピュータによって実行されたときに、コンピュータに、
通信インターフェースを使用して、ネットワークに対する検出された脅威を示すネットワーク脅威報告を受け取ること、
プロセッサを使用して、ネットワークに対する検出された脅威に関連するインターネットプロトコル（IP）アドレスを特定すること、
ネットワークとの通信に関連するIPアドレスについての履歴文脈情報を特定するために、文脈情報のデータベースにアクセスすること、
履歴文脈情報を１以上のブロック閾値と比較すること、及び
IPアドレスについての履歴文脈情報が１以上のブロック閾値を超える場合に、IPアドレスをインジケータ管理システムに出力することを実行させ、
それによって、インジケータ管理システムが、ネットワークの境界システム用のブロックリストを保持し、IPアドレスをブロックリストに追加する、１以上の非一過性のコンピュータ可読媒体。
Ｃ２．
プロセッサが、検出された脅威に関連する侵入検出システム（IDS）警告をトリガとして使用するように更に構成され、検出された脅威が、高信頼度署名を脅威として含む、条項Ｃ１の１以上の非一過性のコンピュータ可読媒体。
【図１】
2020201940.tif 000004
【図２】
2020201940.tif 000005
【図３】
2020201940.tif 000006
【図４】
2020201940.tif 000007
【図５】
2020201940.tif 000008
【図６】
2020201940.tif 000009
【図７】
2020201940.tif 000010
【図８】
2020201940.tif 000011
【外国語明細書】
2020201940000001.pdf
2020201940000002.pdf
2020201940000003.pdf
2020201940000004.pdf