(57)【要約】      （修正有）【課題】無害なアイテムを安全に分類して迅速に鞄を通過させることに加えて、機内持ち込み手荷物における鋭利物、火器、爆発物、および他の禁止アイテムの発見を助けるための、高度な検出手段を求めている。【解決手段】コンピュータシステム１００は、少なくとも１つのプロセッサと、メモリと、命令を記憶する非一時的コンピュータ可読記憶媒体とを備える。記憶された命令は、少なくとも１つのプロセッサに、検出デバイスによってスキャンされたオブジェクトを表すデジタル画像を受信させ、アイテムを含む可能性のあるデジタル画像の領域を決定させ、デジタル画像の領域を埋め込みに変換させ、埋め込みに基づいて、既知のアイテムの既知のクラスを含むとして領域を分類させ、さらに既知のアイテムのクラスを含むとして領域を分類することに応答して、既知のアイテムのクラスに基づいてグラフィック表現を生成させるように実行可能である。【選択図】図１
2019021313.tif 000002
【特許請求の範囲】
【請求項１】
検出装置によってスキャンされたオブジェクトを表すデジタル画像を受信する段階と、
前記デジタル画像をサイズ変更して、サイズ変更されたデジタル画像を生じさせる段階と、
前記サイズ変更されたデジタル画像を正規化して、正規化デジタル画像を生じさせる段階と、
領域提案ニューラルネットワークによって、アイテムを含む可能性がある、前記正規化デジタル画像の領域を決定する段階であって、アイテムを含む可能性がある、前記デジタル画像の前記領域を決定する段階は、
アンカーボックスのセットを識別する段階と、
各アンカーボックスを前記正規化デジタル画像の各ピクセル位置に渡し、ピクセル位置および各アンカーボックスの各組み合わせについての領域提案スコアを決定する段階と、
最高の領域提案スコアを有する、ピクセル位置およびアンカーボックスのそれぞれの組み合わせに対応する領域のセットを選択する段階と、
を含む、段階と、
選択された前記領域のセットにおける各々の所与の領域について、分類ニューラルネットワークを用いて、前記デジタル画像の前記所与の領域を埋め込みに変換する段階であって、前記埋め込みは、ベクトル空間における前記領域の表現を含み、前記ベクトル空間は、既知のアイテムのセットの訓練画像データに基づいて、前記分類ニューラルネットワークによって決定された特徴によって定義される、段階と、
前記分類ニューラルネットワークを用いて、前記埋め込みに基づいて、前記既知のアイテムのセットからの既知のアイテムのクラスを含むものとして前記領域を分類する段階と、
前記領域を、前記既知のアイテムのクラスを含むものとして分類することに応答して、前記既知のアイテムのクラスに基づいて、グラフィック表現を生成する段階と
を備える方法。
【請求項２】
前記デジタル画像からの前記既知のアイテムのクラスの複数のコンポーネントを分類する段階と、
前記複数のコンポーネントのいずれかが欠損、追加または変更されているかどうかを決定する段階と、
任意の欠損、追加または変更された前記複数のコンポーネントが有害かどうかを決定する段階であって、欠損、追加または変更された前記複数のコンポーネントが有害であるかどうかの決定は、ニューラルネットワーク、または、有害な修正のデータベースのうちの少なくとも１つからのデータに基づいて決定される、段階と
を備える請求項１に記載の方法。
【請求項３】
前記複数のコンポーネントのいずれかが欠損している、または、変更されているかどうかを決定する段階は、
前記デジタル画像に基づいて、前記複数のコンポーネントのうちのコンポーネントについてのそれぞれのジオメトリを決定する段階であって、それぞれの前記ジオメトリは、前記コンポーネントによって占有される前記アイテムのパーセンテージ、または、前記コンポーネントの少なくとも１つの寸法の絶対的測定値うちの少なくとも１つを含む、段階と、
前記コンポーネントについての前記ジオメトリが、前記コンポーネントについての標準ジオメトリと異なるかどうかを決定する段階と
を含む、請求項２に記載の方法。
【請求項４】
前記標準ジオメトリは、前記コンポーネントについての予め決定されたジオメトリの平均を含む、請求項３に記載の方法。
【請求項５】
前記グラフィック表現を生成する段階は、前記複数のコンポーネントが欠損、追加または変更されたかどうかの前記決定に基づき、
前記グラフィック表現を生成する段階は、前記既知のアイテムのクラスに最も近いアイテム、前記既知のアイテムのクラスに類似したアイテム、前記複数のコンポーネントが欠損もしくは変更されているかどうかの情報、または、前記既知のアイテムのクラスにおける、欠損している、または、変更されている前記複数のコンポーネントの位置の指示のうちの少なくとも１つを生成する段階を含む、
請求項２に記載の方法。
【請求項６】
前記複数のコンポーネントのいずれかが欠損している、追加されている、または変更されているかどうかを決定する段階は、
前記デジタル画像に基づいて、分類された前記アイテム、または、分類された前記アイテムの前記複数のコンポーネントのうちの少なくとも１つについての材料組成を決定する段階であって、前記材料組成は、有機物質のパーセンテージまたは金属のパーセンテージのうちの少なくとも１つを含む、段階と、
前記材料組成が、分類された前記アイテム、または、分類された前記アイテムのコンポーネントのうちの前記少なくとも１つについての予め決定された材料組成と比較して、異なるかどうかを決定する段階と
を含む、請求項２に記載の方法。
【請求項７】
前記デジタル画像を受信する段階は、前記デジタル画像の正規化バージョンを生成する段階を含み、
前記方法は、
第１ニューラルネットワークを用いて、アイテムを含む可能性がある前記デジタル画像の前記領域を決定する段階と、
第２ニューラルネットワークを用いて、前記デジタル画像の前記領域を前記埋め込みに変換する段階と
を備え、
前記既知のアイテムのクラスを含むものとして前記領域を分類する段階は、
信頼値の確率分布を生成する段階であって、前記信頼値の各々は、前記埋め込みと、前記既知のアイテムのセットからの既知のアイテムのそれぞれの表現との間のそれぞれの類似性を示す、段階と、
前記既知のアイテムのセットから、閾値より大きい信頼値を有する既知のアイテムを決定する段階と、
前記閾値より大きい前記信頼値を有する前記既知のアイテムを含むものとして前記領域を分類する段階と
を含む、請求項１に記載の方法。
【請求項８】
アイテムを含む可能性がある前記正規化デジタル画像の前記領域を決定する段階は、
各々がアイテムを含む可能性がある複数の領域を決定する段階を含み、
既知のアイテムのクラスを含むものとして前記領域を分類する段階は、
前記分類ニューラルネットワークを用いて、前記複数の領域の各々を分類することを試みる段階と、
前記複数の領域のすべてが、脅威をもたらさない既知のアイテムのクラスを含むものとして分類できるという決定に応答して、前記グラフィック表現を生成する段階であって、前記グラフィック表現は、分類された前記領域のいずれも、脅威をもたらす既知のアイテムのクラスを含まないことを示す、段階と
を含む、請求項１に記載の方法。
【請求項９】
アイテムを含む可能性がある、前記正規化デジタル画像の前記領域を決定する段階は、
各々がアイテムを含む可能性がある複数の領域を決定する段階を含み、
既知のアイテムのクラスを含むものとして前記領域を分類する段階は、
前記分類ニューラルネットワークを用いて、前記複数の領域の各々を分類することを試みる段階と、
前記複数の領域のすべてが、脅威をもたらさない既知のアイテムのクラスを含むものとして分類できる、または、識別できないという決定に応答して、前記グラフィック表現を生成する段階であって、前記グラフィック表現は、分類された前記領域のいずれも、脅威をもたらす既知のアイテムのクラスを含まない、または、識別できないことを示す段階と
を含む、請求項１に記載の方法。
【請求項１０】
少なくとも１つのプロセッサと、
メモリと、
非一時的コンピュータ可読記憶媒体と
を備えるシステムであって、
前記非一時的コンピュータ可読記憶媒体に記憶される命令は、実行されるとき、前記少なくとも１つのプロセッサに、
検出装置によってスキャンされたオブジェクトを表すデジタル画像を受信すること、
前記デジタル画像をサイズ変更して、サイズ変更されたデジタル画像を生じさせること、
前記サイズ変更されたデジタル画像を正規化して、正規化デジタル画像を生じさせること、
領域提案ニューラルネットワークによって、アイテムを含む可能性がある前記正規化デジタル画像の領域を決定することであって、アイテムを含む可能性がある前記デジタル画像の前記領域を決定するために、前記少なくとも１つのプロセッサが、
アンカーボックスのセットを識別すること、
各アンカーボックスを前記正規化デジタル画像の各ピクセル位置に渡し、ピクセル位置および各アンカーボックスの各組み合わせについての領域提案スコアを決定すること、および、
最高の領域提案スコアを有するピクセル位置およびアンカーボックスのそれぞれの組み合わせに対応する領域のセットを選択すること
を行うこと、
選択された前記領域のセットにおける各々の所与の領域ついて、分類ニューラルネットワークを用いて、前記デジタル画像の前記所与の領域を埋め込みに変換することであって、前記埋め込みは、ベクトル空間における前記領域の表現を含み、前記ベクトル空間は、既知のアイテムのセットの訓練画像データに基づいて、前記分類ニューラルネットワークによって決定された特徴によって定義される、こと、
前記分類ニューラルネットワークを用いて、前記埋め込みに基づいて、前記既知のアイテムのセットからの既知のアイテムのクラスを含むものとして前記領域を分類すること、
前記領域を、前記既知のアイテムのクラスを含むものとして分類することに応答して、前記既知のアイテムのクラスに基づいて、グラフィック表現を生成すること
を行わせる、システム。
【請求項１１】
前記少なくとも１つのプロセッサに、
前記デジタル画像からの前記既知のアイテムのクラスの複数のコンポーネントを分類すること、
前記複数のコンポーネントのいずれかが欠損、追加または変更されているかどうかを決定すること、
任意の欠損、追加または変更された複数のコンポーネントが有害かどうかを決定することであって、欠損、追加または変更された前記複数のコンポーネントが有害であるかどうかの決定は、ニューラルネットワーク、または、有害な修正のデータベースのうちの少なくとも１つからのデータに基づいて決定される、こと
を行わせるように実行可能である命令を含む、請求項１０に記載のシステム。
【請求項１２】
前記複数のコンポーネントのいずれかが欠損、追加または変更されているかどうかを決定するために、前記少なくとも１つのプロセッサは、
前記デジタル画像に基づいて、前記複数のコンポーネントのうちのコンポーネントについてのそれぞれのジオメトリを決定することであって、それぞれの前記ジオメトリは、前記コンポーネントによって占有される前記アイテムのパーセンテージ、または、前記コンポーネントの少なくとも１つの寸法の絶対的測定値うちの少なくとも１つを含む、こと、
前記コンポーネントについての前記ジオメトリが、前記コンポーネントについての標準ジオメトリと異なるかどうかを決定すること
を行わせる、請求項１１に記載のシステム。
【請求項１３】
前記標準ジオメトリは、前記コンポーネントについての予め決定されたジオメトリの平均を含む、請求項１２に記載のシステム。
【請求項１４】
前記グラフィック表現を生成することは、前記複数のコンポーネントが欠損、追加または変更されたかどうかの前記決定に基づき、
前記グラフィック表現を生成することは、前記既知のアイテムのクラスに最も近いアイテム、前記既知のアイテムのクラスに類似したアイテム、前記複数のコンポーネントが欠損、追加もしくは変更されているかどうかの情報、または、前記既知のアイテムのクラスにおける、任意の欠損した、追加された、または変更された前記複数のコンポーネントの位置の指示のうちの少なくとも１つを生成することを含む、
請求項１２に記載のシステム。
【請求項１５】
前記複数のコンポーネントのいずれかが改造されたかどうかを前記少なくとも１つのプロセッサに決定させるように実行可能である前記命令は、前記少なくとも１つのプロセッサに、
前記デジタル画像に基づいて、分類された前記アイテム、または、分類された前記アイテムの前記複数のコンポーネントのうちの少なくとも１つについての材料組成を決定することであって、前記材料組成は、有機物質のパーセンテージまたは金属のパーセンテージのうちの少なくとも１つを含む、こと、および
前記材料組成が、分類された前記アイテム、または、分類された前記アイテムのコンポーネントのうちの前記少なくとも１つについての予め決定された材料組成と比較して、異なるかどうかを決定すること
を行わせるように実行可能な命令を含む、請求項１１に記載のシステム。
【請求項１６】
前記デジタル画像を前記少なくとも１つのプロセッサに受信させる前記命令は、前記少なくとも１つのプロセッサに前記デジタル画像の正規化バージョンを生成させる命令を含み、
前記非一時的コンピュータ可読記憶媒体に記憶される追加の命令は、前記少なくとも１つのプロセッサに、
第１ニューラルネットワークを用いて、アイテムを含む可能性がある前記デジタル画像の前記領域を決定すること、
第２ニューラルネットワークを用いて、前記デジタル画像の前記領域を前記埋め込みに変換すること
を行わせ、
前記少なくとも１つのプロセッサに、前記既知のアイテムのクラスを含むものとして前記領域を分類させる前記命令は、前記少なくとも１つのプロセッサに、
信頼値の確率分布を生成することであって、前記信頼値の各々は、前記埋め込みと、前記既知のアイテムのセットからの既知のアイテムのそれぞれの表現との間のそれぞれの類似性を示す、こと
前記既知のアイテムのセットから、閾値より大きい信頼値を有する既知アイテムを決定すること、および、
前記閾値より大きい前記信頼値を有する前記既知のアイテムを含むものとして、前記領域を分類すること
を行わせるように実行可能である命令を含む、請求項１０に記載のシステム。
【請求項１７】
少なくとも１つのプロセッサに、
検出装置によってスキャンされたオブジェクトを表すデジタル画像を受信すること、
前記デジタル画像をサイズ変更して、サイズ変更されたデジタル画像を生じさせること、
前記サイズ変更されたデジタル画像を正規化して、正規化デジタル画像を生じさせること、
領域提案ニューラルネットワークによって、アイテムを含む可能性がある前記正規化デジタル画像の領域を決定することであって、アイテムを含む可能性がある、前記デジタル画像の前記領域を決定するために、前記少なくとも１つのプロセッサに、
アンカーボックスのセットを識別すること、
各アンカーボックスを前記正規化デジタル画像の各ピクセル位置に渡し、ピクセル位置および各アンカーボックスの各組み合わせについての領域提案スコアを決定すること、および、
最高の領域提案スコアを有するピクセル位置およびアンカーボックスのそれぞれの組み合わせに対応する領域のセットを選択すること
を行わせること、
選択された前記領域のセットにおける各々の所与の領域ついて、分類ニューラルネットワークを用いて、前記デジタル画像の前記所与の領域を埋め込みに変換することであって、前記埋め込みは、ベクトル空間における前記領域の表現を含み、前記ベクトル空間は、既知のアイテムのセットの訓練画像データに基づいて、前記分類ニューラルネットワークによって決定された特徴によって定義される、こと、
前記分類ニューラルネットワークを用いて、前記埋め込みに基づいて、前記既知のアイテムのセットからの既知のアイテムのクラスを含むものとして前記領域を分類すること、
前記領域を、前記既知のアイテムのクラスを含むものとして分類することに応答して、前記既知のアイテムのクラスに基づいて、グラフィック表現を生成すること
を行わせるように実行可能である命令を含むプログラム。
【請求項１８】
前記少なくとも１つのプロセッサに、
前記デジタル画像からの前記既知のアイテムのクラスの複数のコンポーネントを分類すること、
前記複数のコンポーネントのいずれかが欠損、追加または変更されているかどうかを決定すること、
任意の欠損、追加または変更された複数のコンポーネントが有害かどうかを決定することであって、欠損、追加または変更された前記複数のコンポーネントが有害であるかどうかの決定は、ニューラルネットワーク、または、有害な修正のデータベースのうちの少なくとも１つからのデータに基づいて決定される、こと
を行わせるように実行可能である命令を含む、請求項１７に記載のプログラム。
【請求項１９】
前記複数のコンポーネントのいずれかが欠損、追加または変更されているかどうかを前記少なくとも１つのプロセッサに決定させるように実行可能である前記命令は、前記少なくとも１つのプロセッサに、
前記デジタル画像に基づいて、前記複数のコンポーネントのうちのコンポーネントについてのそれぞれのジオメトリを決定すること、および、
前記コンポーネントについての前記ジオメトリが、前記コンポーネントについての標準ジオメトリと異なるかどうかを決定すること
を行わせるように実行可能である命令を含む、請求項１８に記載のプログラム。
【請求項２０】
アイテムを含む可能性がある、前記正規化デジタル画像の前記領域を前記少なくとも１つのプロセッサに決定させる前記命令は、実行されるとき、前記少なくとも１つのプロセッサに、各々がアイテムを含む可能性がある複数の領域を決定させる命令を含み、
既知のアイテムのクラスを含むものとして領域を前記少なくとも１つのプロセッサに分類させる前記命令は、実行されたとき、前記少なくとも１つのプロセッサに、
前記分類ニューラルネットワークを用いて、前記複数の領域の各々を分類するように試みること、
前記複数の領域のすべてが、脅威をもたらさない既知のアイテムのクラスを含むものとして分類できるという決定に応答して、
分類された前記領域のいずれも、脅威をもたらす既知のアイテムのクラスを含まないことを示す前記グラフィック表現を生成すること
を行わせる命令を含む、請求項１７に記載のプログラム。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１７年７月１４日に出願された米国仮特許出願第６２／５３２，８２１号、２０１７年７月１４日に出願された米国仮特許出願第６２／５３２，８６５号の優先権を主張するものであり、且つ２０１７年９月２５日に出願された「アイテムの検出」と題する米国特許出願第１５／７１４，９３２号の継続出願であり、これらの出願の各々の内容は、参照によりその全体がここに組み込まれる。
【技術分野】
【０００２】
本開示は、一般に、公用または私用の用途ために使用される、保安検査セキュリティシステムに関連し、より具体的には、内部に配置されたアイテムの識別を容易にするためにオブジェクトを保安検査することを目的とする、方法、システム、装置、および他の要素に関連する。
【背景技術】
【０００３】
大部分の人々は、出発前に空港のセキュリティを歩いて通過するという現在のユーザ体験になじみがある。フライトのチェックイン後に、空港の奥深くにある機械が爆発物を検出するために、預け入れ鞄をスキャンする。預け入れ荷物における禁止アイテムは、ほとんど爆発物だけを包含するので、その機械は、保安検査場より効率的にこれらの鞄をスキャンできる。
【０００４】
次に搭乗者は、運輸保安庁（ＴＳＡ）の保安検査場へ行き、ここでは、Ｘ線またはＣＴスキャナなどの機械が、鞄、ラップトップ、機器、または、さまざまなアイテムを含むトレイのような機内持ち込みオブジェクトをスキャンする。大部分の空港における現代の標準的なスキャナでは、シングルビューＸ線技術が用いられ、それらを通してオペレータは、手荷物が機械を通過するとき、手荷物の上面図を見る。イメージングハードウェアにおける最近の技術革新には、手荷物の３次元ビュー、または他の多次元ビューを提供するためのマルチビューＸ線、マルチスペクトルＸ線、およびＣＴ技術が含まれる。人間の保安検査員は、これらの技術のいずれかを用いながら、火器、ナイフおよび他の鋭利物、爆発物、液体、ならびに他の禁止アイテムを発見しようとする。
【０００５】
より具体的には、鞄がスキャナに入るとき、装置は鞄の画像を撮像し、数ある他のデータの中でも、位置要素（座標）、実効原子番号、およびＸ線減衰を表す。このデータを用いて、材料および密度の概算が決定される。当該画像は画面上に投影され、しばしば、概算密度（有機物、金属など）に基づいて、各アイテムを構成している可能性があり得る材料の種類を示すように色分けされる。この画像は、鞄の中の何らかの禁止アイテムを識別することを仕事とする、人間の保安検査員によって分析される。人間のオペレータは、コンベアベルトを起動または停止する機会、（例えば、密度に基づいて）金属または有機物のアイテムをハイライトするために画像の着色を変化させる機能を含むいくつかの入力を有する。
【０００６】
鞄の中の脅威を自動的に識別することを試みる人間補助ツールは、広く配備されていないので、大部分の保安検査場のスキャナでは人間補助ツールが利用されていない。存在する数少ない自動脅威認識アルゴリズムは、脅威データベースと領域を比較するための古いアルゴリズム（「ピクセルマッチング」または同様のもの）、または脅威エリアを決定するためのハードコーディングされた基本指標（例えば、爆発物であり得る超高密度領域）を使用する。これらのシステムは、多くの場合閉じられていて、入力は、オペレータ、Ｘ線、および、場合によっては基本分類エンジンからだけであり、より広い何らかのネットワークには接続されていない。また、これらのシステムは、通信を行わず、ＡＩＴスキャナ、爆発物探知機、手荷物スキャナが別々に存在し、同じ搭乗者または彼らの手荷物の互いの評価を認識しない。
【０００７】
２０１６年には、アメリカ合衆国運輸保安庁（ＴＳＡ）は、７億人の搭乗者、４億５千万個の預け入れ鞄、および１６億個の機内持ち込み鞄を超える保安検査を行った。それらの鞄において、ＴＳＡは、およそ３０００個の火器を発見し、その内の８０％が装填されていた。小さいナイフで航空機を乗っ取ることができる社会において、あらゆる脅威は潜在的な惨事である。ＴＳＡによって検出される火器は、年ごとに１５％〜２０％増加することが予想されている。搭乗者は年ごとに４％〜１０％増加することが予想されているので、当該問題は、悪化するだけであろう。
【０００８】
公開された調査が示すところによると、人は「散発的視覚検索」と称されるこの業務には単純に向いていない。人のパフォーマンスは、人が業務に費やす時間がより長いほど向上し、また、脅威の頻度が低下するほどパフォーマンスが低下する。換言すれば、何かを見る頻度が少ないほど、それを予期する程度が低くなる。２０１５年の国土安全保障省の監査は、脅威の９５％がＴＳＡ保安検査員をくぐり抜けたことを発見した。人間の保安検査員は、長時間のシフトで働いており、現在は、２０分毎にスキャナ担当の入れ替えが行われ、これにより、最も明らかな脅威を除いたほぼすべてが通過し得る程度までパフォーマンスが低下することを回避するする。これらの入れ替えは、ＴＳＡにとって時間がかかり、且つ費用がかかるものである。
【０００９】
人は本質的に散発的視覚検索に向いていないので、セキュリティの列における最大の減速の１つは、オペレータが手動でベルトを一時停止し、鞄の再スキャンを行うこと、そうでなければ、脅威のスキャン中に十分な時間をかけることによって引き起こされる。国家規模では、この効率の欠如は、アメリカ合衆国の国家安全保障についての消費者信頼度の低下に加えて、４０億ドルの経済的損失、減速による４００００人の雇用喪失をもたらすことが報告されている。さらに悪いことには、全国の搭乗者の数は、次の２０年で倍増することが予想されている。
【００１０】
現在のソフトウェアソリューションは、１０年近く前の古い技法を用いた、預け入れ荷物における爆発物検出に重点を置いている。相手先商標製造会社および政府当局の両方は、無害なアイテムを安全に分類して迅速に鞄を通過させることに加えて、機内持ち込み手荷物における鋭利物、火器、爆発物、および他の禁止アイテムの発見を助けるための、高度な検出手段を求めている。
【００１１】
当業者であれば、以下の開示を読むことで、これらの態様、および、他の多くの態様を理解するであろう。
【図面の簡単な説明】
【００１２】
本特許または出願ファイルは、カラーで作成されている図面を少なくとも１つ含んでいることに留意されたい。カラー図面を有する本特許または本特許出願公報のコピーは、申請および必要な料金の支払いがあれば、事務所によって提供される。
【００１３】
本開示の技術の特徴、態様、および利点は、以下の説明、添付の特許請求の範囲、および付属の図面を参照することで、より良く理解され得る。
【００１４】
【図１】オブジェクトをスキャンするための例示的なコンピュータシステムを図示する概念図である。
【００１５】
【図２】本開示に係る例示的なセグメンタの動作を図示する概念図である。
【００１６】
【図３】本開示の実装に係る分類器の動作を図示する概念図である。
【００１７】
【図４】撮像画像からアイテムを分類するための動作を図示するフロー図である。
【００１８】
【図５】異常を有するアイテムの分類の例示的な概念図を図示する。
【００１９】
【図６】識別、および、識別されたオブジェクトのマーキングのアルゴリズムのプロセスを図示するフロー図である。
【００２０】
【図７】識別されたアイテムのグラフィック表現の例示的な概念図を図示する。
【００２１】
【図８】識別されたアイテムを含む、生成されたグラフィック表現の例示的な概念図を図示する。
【００２２】
【図９】識別されたアイテムを含む、生成されたグラフィック表現の概念図を図示する。
【００２３】
【図１０】識別されたアイテムの、生成されたグラフィック表現の例を図示する。
【００２４】
【図１１】識別されたアイテムの、生成されたグラフィック表現の例を図示する。
【００２５】
【図１２】生成されたグラフィック表現の例示的な概念図を図示する。
【００２６】
【図１３】グラフィック表現を生成する別の例示的な概念図である。
【００２７】
【図１４】特性に基づいたアイテムのフィルタリングの例を図示する。
【００２８】
【図１５】識別されたアイテムおよび／またはサブアイテムの組み合わせに基づいてグラフィック出力を生成するための動作を図示する例示的なフロー図である。
【００２９】
【図１６】互いに関連付けられ得るコンポーネントを決定する例を図示する概念図である。
【００３０】
図面は、例示的な実施形態を図示するためのものであり、本発明は、図面において示される配置および手段に限定されることない。
【発明を実施するための形態】
【００３１】
１．概要
本明細書に開示された、さまざまなシステム、装置、および方法は、スキャンされたオブジェクトまたはシーン内のアイテムの分類を大幅に向上させる。例えば、ある実施形態によれば、装置は、スキャンされたオブジェクトまたはシーン内のアイテムについて、（１）そのアイテムは何か、（２）そのアイテムが脅威を表すかどうか、および（３）そのアイテムが安全かどうかのうちの１つまたは複数を決定し得る。ある実施形態によれば、人間の保安検査員が結果の出力を見ることがあり得る。
【００３２】
本明細書に開示された実施形態は、スキャンされたオブジェクトまたはシーンにおける、アイテムの分類、および、脅威の識別を向上させるためのシステム、装置、および方法に関連する。例として、空港における保安検査場で使用される保安検査システムに関連する実施形態が説明される。人間のオペレータは、保安検査システムを使用して、脅威をより良く識別する。当該実施形態は、空港以外の用途、例えば、オブジェクトにおける脅威の識別が所望される場所で採用され得る。
【００３３】
保安検査システムは、手荷物、人、または他の種類のオブジェクトなどのオブジェクトをスキャンし得る。手荷物スキャンシステムは、ミリ波スキャナ、ＭＲＩスキャナ、Ｘ線スキャナ、および／または、現在知られている、もしくは将来開発される、任意の他の種類のスキャンシステムなどの１つまたは複数のスキャン装置を使用して、脅威についてオブジェクトをスキャンし得る。スキャン装置は、グラフィックデータの形態であり得る出力、および／または、視聴覚的な指示を生成し得て、セキュリティ担当者はこれらを分析し、オブジェクトが脅威をもたらし得るかどうか決定し得る。
【００３４】
本明細書において使用される「オブジェクト」は、任意の材料のエンティティを幅広く説明するために使用されることを理解されたい。説明の目的のための「オブジェクト」の例は、鞄または手荷物、ハンドバッグまたはバックパック、ブリーフケース、ボックス、容器または貨物コンテナ、財布、腕時計、ラップトップ、タブレットコンピュータ、携帯電話、ベビーカーまたは車椅子、人、および／またはそれらの任意の組み合わせを含み得る。また、本明細書において使用される「アイテム」は、「オブジェクト」の一部である、または中にあり得る任意の材料のエンティティを幅広く説明するために使用されることを理解されたい。例として、靴、銃、またはラップトップはすべて、手荷物などのオブジェクト内に位置するアイテムであり得る。アイテムは、サブアイテムを含み得るか、または、サブアイテムから構成され得る（「サブアイテム」は、特に示されない限り、本明細書において「アイテム」と互換的に使用され得る）。説明の目的のためのサブアイテムの例は、ラップトップもしくはスマートフォンのバッテリ、銃の砲身、またはシャンプー容器の中のシャンプーを含み得る。本明細書において使用される「シーン」は、場所、配置、および／または位置を幅広く説明するために使用される。人、オブジェクト、またはアイテムは、シーンの中にあり得る。例えば、ドローン上のカメラ、有人の航空機、または人工衛星は、１つのシーンまたは複数のシーンの映像を撮像し得る。シーンの中のアイテム（または人、またはオブジェクト）の分類を向上させることに関連する実施形態においては、「オブジェクト」という文言の代わりに「シーン」という文言が使用され得る。
【００３５】
高いレベルでは、保安検査システムが、手荷物、人、または別の種類のオブジェクトなどのオブジェクトをスキャンする。保安検査システムは、人、オブジェクト、および、さまざまなアイテムを含み得るシーンもスキャンし得る。スキャンシステムは、ミリ波スキャナ、ＭＲＩスキャナ、Ｘ線スキャナ、および／または、現在知られている、もしくは将来開発される任意の他の種類のスキャンシステムなどの１つまたは複数のスキャン装置を使用してオブジェクトをスキャンし得る。スキャン装置は、グラフィックデータの形態であり得る出力、および／または視聴覚的な指示を生成する。いくつかの例において、生成されたデータは、所与のオブジェクトの２次元（２Ｄ）または３次元（３Ｄ）データ表現を含み得る。検出装置の他の例も考えられる。本明細書に説明されるようなコンピュータシステムが、オブジェクトの画像データを受信し得る。
【００３６】
高いレベルでは、本開示は、オブジェクトの中のアイテム、例えば、手荷物などのオブジェクトまたはシーンにおけるアイテムの識別を向上させるためのシステム、方法、および技法を記載する。本開示の態様によれば、コンピュータシステムは、１つまたは複数の検出装置から撮像画像を受信する。保安検査システムは、さまざまなアイテムのクラスを含むものとして、撮像画像の領域を識別することを試み得て、それにより、それらのアイテムを識別する。保安検査システムは、分類処理に基づいて、分類処理中に識別されたアイテムのクラスのいくつかまたはすべてに関する情報を示す出力のためのグラフィック表現を生成し得る。
【００３７】
いくつかの実施形態において、保安検査システムは、所与の領域が、所与のアイテムのクラスを含み得るかどうかを決定するための、さまざまな数学的手法を生成および使用し得る。保安検査システムが、所与の領域が所与のアイテムのクラスを含んでいると識別した場合、保安検査システムは、識別された所与のアイテムのクラスについての情報を示すデータを例えばディスプレイのために出力し得る。人間の保安検査員は次に、例えば、識別されたアイテムのクラスが脅威をもたらし得るかどうかを決定するために、当該出力を分析し得る。
【００３８】
本明細書に説明されるクラスは、所与のアイテム、アイテムのクラス、または、特定の種類のアイテムを指し得る。例として、アイテムのクラスは、「電子機器」などのタクソノミーのアイテムのクラスを指し得る。別の例としては、クラスは、一般にラップトップのクラス、または、「２０１５マックブックプロ（登録商標）」などのラップトップの特定の型もしくはモデルを指し得る。クラスは、さまざまな他の方式でも説明され得る。
【００３９】
所与の撮像画像の中に表現されるアイテムを識別するよう試みるべく、分類エンジンは、まず１つまたは複数の検出装置から撮像画像を受信する。分類エンジンは次に、所与の撮像画像を正規化して正規化画像を生じさせる。分類エンジンが正規化画像を生成すると、分類エンジンは、分類エンジンとは別個であり得る、または、その一部であり得るセグメンタを利用して、分類のために、アイテムを含み得る、候補画像の中のピクセルの領域を含む候補バウンディングボックスを識別し得る。
【００４０】
いくつかの実施形態において、セグメンタは、ニューラルネットワーク用いて、撮像画像の特徴を分析し得る。実装において、ニューラルネットワークは、領域提案ネットワーク（ＲＰＮ）を含み得る。セグメンタは、撮像画像の所与の領域が、所与のオブジェクトを含む、および／または含まない尤度を示すスコア値を生成し得る。セグメンタは、また、アイテムを含む可能性があり得るとセグメンタが決定する候補バウンディングボックスを画定し得る。セグメンタは、各バウンディングボックスについての位置座標および寸法値を生成することによって、所与の候補バウンディングボックスを画定し得る。
【００４１】
例示的な実装において、ＲＰＮは、層のセットを含み得る。ＲＰＮのより浅い層は、撮像画像から、より低いレベル（例えば、より単純な）の特徴を識別し得て、より深い層は、当該撮像画像から、より高いレベル（例えば、より複雑な）の特徴を識別し得る。各層は、前の層の出力からの特徴を決定し得て、より高いレベルの詳細な特徴をカプセル化する異なる表現に入力表現を変換し得る。より具体的には、ＲＰＮは、「畳み込み層」と「プーリング層」とが交互に重なった層のセットを含み得る。ＲＰＮの所与の畳み込み層は、処理のために、入力ピクセルのセットを受信し得て、「カーネル」と称されるマトリクスのセットを入力ピクセルのセットに適用して、特徴マップと称されるピクセルのセットから識別された特徴の表現を生成し得る。ＲＰＮの各畳み込み層は、関連するカーネルの異なるセットを有し得る。
【００４２】
所与のカーネルを適用すべく、例において、分類ニューラルネットワークは、畳み込みと称される処理を実行し得る。この処理では、特徴マップの隣接するピクセルまたは隣接する値を含み得る、隣接する入力値のセットを取得する。分類ニューラルネットワークは、セットからの所与の値を、当該値と、その隣接する値との加重和として表し、各ピクセルについての重みは、カーネルマトリクスの要素によって定義される。畳み込み層の出力は、畳み込み層によって検出される特徴についての情報を当該出力が含むという理由から、「特徴マップ」と称される。
【００４３】
プーリング層は、選択的に、前の畳み込み層によって生成された値、例えば、特徴マップの値またはピクセルをダウンサンプリングし得る。より具体的には、プーリング層は、領域のセットを決定し得て、プーリング関数を領域の各々に適用し得る。実装において、プーリング層は、マックスプーリング関数を各領域に適用し得る。マックスプーリング関数は、所与の領域からの最大値を識別し得て、最大値を保持し、領域内のすべての他の値を破棄し得る。
【００４４】
ＲＰＮはまず、畳み込み層およびプーリング層を撮像画像に適用し、「畳み込み特徴マップ」を生成し得る。畳み込み特徴マップは、畳み込み層およびプーリング層が、各層で実行される畳み込み処理およびプーリング処理によって識別した特徴の、効果的にダウンサンプリングされた多次元表現である。
【００４５】
セグメンタは、畳み込み特徴マップを生成した後に、異なるサイズおよびアスペクト比を有するアンカーボックスのセットを、プーリング層および畳み込み層によって生成された畳み込み特徴マップの各々の可能な位置にピクセル毎に渡し得る。ＲＰＮは、重みマトリクスを畳み込み特徴マップの位置とアンカーボックスとの各組み合わせに適用し、各特徴マップ位置とアンカーボックスとの組み合わせについてベクトルを生成する。ＲＰＮは、分類層および回帰層を使用して、重みマトリクスによって生成された各ベクトルを分析する。分類層は、確率スコアと称される値を生成する。この値は、特徴マップ位置とアンカーボックスとの組み合わせによって画定される所与の領域の中に、オブジェクトが存在し得る、または、存在し得ない確率を示す。
【００４６】
回帰層は、所与のアンカーウィンドウと位置との組み合わせでの特徴マップに基づいてＲＰＮが識別した任意の潜在的アイテムを密接に囲む、または、含むバウンディングボックスの位置を計算する試みを生成する。回帰層は、所与のバウンディングボックスの位置、幅および高さを示すスコアを出力する。
【００４７】
所与のアンカーボックス内および所与の位置に含まれる領域の中に、アイテムが存在し得るかどうか決定すべく、領域提案ネットワークは、重みマトリクスによって生成されたアンカーボックスと位置との組み合わせについてのベクトルを分類層に通し得て、これにより、所与の領域について、位置スコア値と称されるスコアが生成され得る。位置スコア値は、分類され得るアイテムを領域が含む尤度を示し得る。本明細書において「位置スコア値」と称され得るスコア値は、所与の位置の所与のアンカーボックスに関連する。例として、位置スコア値は、０と１との間（０と１を含む）であり得る。
【００４８】
セグメンタが、各々の位置およびアンカーボックスについてのスコアを生成すると、分類エンジンは、最高の位置スコア値を有する、候補バウンディングボックスのセットを識別し得る。セグメンタは、最高スコアの候補バウンディングボックスの識別されたセットを分類器へ出力し得て、分類器は、所与の識別された候補バウンディングボックスが、分類できるアイテムを含み得るかどうかを決定するさらなる分析のために、畳み込みネットワークを含み得る。
【００４９】
分類器は、所与の候補バウンディングボックスの内容が属し得るアイテムのクラスを分類することを試みる。所与の候補バウンディングボックスの内容をカテゴライズすることを試みるべく、分類器は、候補バウンディングボックスのピクセルの中に存在する特徴を識別し得て、それらの特徴と、各クラスがアイテムまたはアイテムのセットを表現し得る、予め決定されたアイテムのクラスのセットに存在する特徴との間の類似性を比較し得る。分類エンジンは、所与の候補バウンディングボックスの内容と、所与のクラスとの間の類似性をそれぞれの確率値として表し得る。クラスのセットの各々についてのすべての確率値を組み合わせることによって形成されセットは、確率分布を形成し得る。
【００５０】
より具体的には、所与の候補バウンディングボックスのピクセルの中に含まれるアイテムのクラスを識別するべく、分類エンジンは、入力として候補バウンディングボックスのピクセルのセットを受信し得て、例えば、所与の候補バウンディングボックスのピクセルを標準サイズにダウンサンプリングするなどのサイズ変更を行い得る。所与の候補バウンディングボックスのピクセルをサイズ変更した後で、分類エンジンは、分類エンジンニューラルネットワークと称される、分類器のニューラルネットワークを利用して、標準的なサイズの候補バウンディングボックスをカテゴライズし得るアイテムのクラスを識別し得る。
【００５１】
分類器のニューラルネットワークは、複数の層を含み得る。分類エンジンニューラルネットワークのより浅い層は、所与のピクセルのセットに基づいて、より低いレベルの（例えば、より単純な）特徴を識別し得て、より深い層は、より高いレベルの（例えば、より複雑な）特徴を識別し得る。各層は、サイズ変更された候補バウンディングボックスのピクセルからの特徴を決定し得て、当該表現を、より高いレベルの詳細な特徴をカプセル化する異なる表現に変換し得る。より具体的には、分類エンジンニューラルネットワークは、畳み込み層とプーリング層とが交互に重なった層のセットを含み得る。
【００５２】
分類エンジンニューラルネットワークの各畳み込み層は、異なるカーネルマトリクスの関連セットを有し得て、ニューラルネットワークはこれらを、マトリクスとしても表現される隣接する入力値のセットに適用し得る。分類ニューラルネットワークは、所与のカーネルを適用するべく、特徴マップからの値のセット、または、ピクセルのセットを含み得る、隣接する入力値のセットに対して畳み込み処理を実行する。畳み込み処理は、所与の値を、当該値と、その隣接する値との間の加重和として表し、各値についての重みは、カーネルマトリクスの要素によって定義される。例として、分類ニューラルネットワークの１つまたは複数の層は、所与の値、例えば、ピクセルのセットのエッジを先鋭化するために適用され得る２つの３×３マトリクスのセットである改造されたソーベルカーネルに適用し得る。
【００５３】
プーリング層は、領域のセットを決定し、プーリング関数を各領域内の値の各々に適用することによって、前の畳み込み層によって生成された特徴マップの領域を選択的にダウンサンプリングし得る。プーリング関数のそのような一例は、マックスプーリング関数を含み得る。マックスプーリング関数は、所与の領域から最大値を識別し得て、当該最大値を保持し、領域内のすべての他の値を破棄し得る。
【００５４】
分類エンジンニューラルネットワークでは、畳み込み層とプーリング層とが交互に重なっている。後の畳み込み層の各々は、その関連する畳み込みを前のプーリング層の出力に適用し、各プーリング層は、その関連するプーリング関数を前の畳み込み層の出力に適用する。分類器のニューラルネットワークが、ニューラルネットワークの各層に関連する操作を実行するまで、分類器のニューラルネットワークは、畳み込みおよびプーリングを交互に実行するこの処理を繰り返す。すべての畳み込みおよびプーリング操作を適用する出力に基づいて、分類器のニューラルネットワークは、埋め込みと称される削減された次元を有する特徴マップのセットを出力する。埋め込みは、所与の候補バウンディングボックスのピクセルにおいてニューラルネットワークが検出したさまざまな特徴を表し得る。
【００５５】
セグメンタを用いて候補バウンディングボックスを識別し、分類エンジンによって、所与の候補バウンディングボックスの中のアイテムを分類する処理は、実行フェーズと称される。実行フェーズは、訓練フェーズにおいて、実行フェーズの前に定義されたパラメータを用いて計算を実行する。そのようなパラメータは、アイテムのクラス、カーネルマトリクスの重み、および、さまざまなマトリクスの値を含み得る。
【００５６】
訓練フェーズの間、ＲＰＮおよび分類器は、アイテムを含むことが知られている領域を説明するメタデータおよび画像を含む訓練データと、ＲＰＮおよび分類器のニューラルネットワークが分析し得る既知のアイテムのクラスとを入力し得る。ＲＰＮは、訓練データ画像および対応するメタデータを分析することによって、訓練データ画像におけるさまざまなアイテムを区別する特徴を「学習」する。ＲＰＮおよび分類エンジンは、訓練フェーズの間に発生する訓練データの分析に基づいて、カーネルの重み、重みマトリクス、分類マトリクス、および回帰マトリクスなどの、分類エンジンニューラルネットワークのパラメータを調整および／または定義する。実装において、ＲＰＮおよび分類器は、目的関数に基づいてさまざまなパラメータを調整または定義し得る。ＲＰＮおよび分類器は、最急降下法などのさまざまな技法を使用して、各パラメータについて目的関数を最小化し得る。また、さまざまな他のパラメータが、訓練フェーズの間に、さまざまな他の方式で、調整および／または定義され得る。
【００５７】
分類エンジンが十分に訓練されると、分類エンジンは、撮像画像において、学習した特徴を検出し、学習した特徴に基づいて、それらの画像におけるアイテムを分類し得る。ニューラルネットワークを訓練することに用いられるデータは、実際のオブジェクトおよび／またはアイテムを用いて撮像され得るか、または、合成的に生成され得ることに留意されたい。
【００５８】
分類器のニューラルネットワークが埋め込みを生成した後で、分類ニューラルネットワークは、重みマトリクスを埋め込みに適用し、ｎ次元空間におけるベクトルに埋め込みをマッピングし得る。分類器が重みマトリクスを適用した後で、分類器は、重みマトリクスの適用から生じるｎ次元ベクトルに関数を適用し、所与の候補バウンディングボックスにおけるピクセル間の類似性、および、訓練フェーズの間に訓練データによって定義されたアイテムのクラスを示す確率分布を生成し得る。分類器がｎ次元ベクトルに適用し得る、１つのそのような関数は、すべて０と１の間であって合計が１に等しい確率値のセットを含む確率分布を生成するソフトマックス関数であり得る。
【００５９】
確率分布は、信頼値のセットを含み得る。当該セットからの所与の信頼値の各々は、所与の候補バウンディングボックスについて生成された埋め込みと、それぞれのアイテムのクラスとの間の類似性を示す。従って、確率分布は、所与の候補バウンディングボックスについての埋め込みが、所与のアイテムのクラスとして正しく分類されることについてのそれぞれの尤度を示す信頼値を含む。
【００６０】
分類器が所与の候補バウンディングボックスについての確率分布を決定すると、分類器は、当該分布における任意の信頼値が、所与の閾値、例えば０．９５を超えるかどうかを決定する。所与の候補バウンディングボックスについての確率が閾値を超えた場合、分類エンジンは、閾値確率を満たすアイテムのクラスとして候補バウンディングボックスを分類し得て、それにより、候補バウンディングボックスをアイテムのクラスとして識別する。
【００６１】
候補バウンディングボックスが所与のアイテムのクラスを含むものとして分類される、すなわち、所与のアイテムのクラスとして識別されると、分類エンジンは、所与のアイテムのクラスについての情報をポリシーエンジンに送信し得る。入力されたアイテムのクラスに基づいて、ポリシーエンジンは、入力されたアイテムのクラスに関連するポリシー情報にアクセスして出力し得る。ポリシー情報は、安全情報（例えば、アイテムが安全か、または、危険か）または脅威情報（例えば、アイテムが脅威であるかどうか、および、所与のアイテムがどれほどの脅威をもたらすか）などの情報を含み得る。
【００６２】
ポリシーエンジンは、所与のアイテムまたはアイテムのクラスについてのポリシーデータを決定する。ポリシーエンジンは、アイテムおよび／またはアイテムのクラスに関連するポリシーデータをポリシーデータベースに記憶し得る。アイテムデータベースに記憶された所与のアイテムまたはクラスについて、ポリシーデータベースは、所与のアイテムまたはクラスがセキュリティ脅威をもたらすかどうかに関連するポリシーデータを記憶し得る。例として、ポリシーエンジンは、銃およびラップトップが脅威をもたらし得ること、および、靴は脅威をもたらし得ないことを示すデータを記憶するよう構成され得る。ポリシーエンジンは、分類エンジンから１つまたは複数の分類されたアイテムに関連するデータを受信し、当該アイテム、または分類されたアイテムが属するアイテムのクラスについて記憶されたポリシーデータに基づいて、分類された各アイテムが脅威をもたらすかどうかを決定する。ポリシーエンジンは、分類された各アイテムについての脅威情報をグラフィック出力ジェネレータに出力し得る。
【００６３】
分類エンジンが、候補バウンディングボックスを所与のアイテムのクラスとして分類し、且つポリシーエンジンが分類されたアイテムに関連する脅威データを決定した後で、分類エンジンは、分類情報をグラフィック出力ジェネレータに提供し得る。グラフィック出力ジェネレータは、所与の分類されたアイテムのグラフィック表現、および、分類されたアイテムについての情報を示すグラフィック指示を生成し得る。一般に、グラフィック出力ジェネレータによって生成されたグラフィック表現は、検査システムのユーザが危険なアイテムを識別することを助け得る。グラフィック出力ジェネレータは、一例として、例えばコンピュータモニタなどのディスプレイ装置で、生成されたグラフィック表現を出力し得る。別の例においては、グラフィック出力ジェネレータは、アプリケーションプログラミングインタフェース（ＡＰＩ）を介してグラフィック表現を出力し得る。
【００６４】
上記のように、グラフィック出力ジェネレータは、分類エンジンによって識別した１つまたは複数のオブジェクトに関連するグラフィック表現を生成し得る。一実装において、グラフィック出力ジェネレータは、生成されたビジュアル情報と、検出装置から撮像画像データとを組み合わせて、撮像画像からのデータと、１つまたは複数の識別されたアイテムに関連するグラフィック出力ジェネレータによって生成されたデータとを含む合成画像を生成し得る。
【００６５】
別の実装において、グラフィック出力ジェネレータは、さまざまな基準が満たされた場合、グラフィック表現を生成しないことがあり得る。例えば、脅威と決定される任意のアイテムを分類エンジンが識別しない場合、および／または、低密度の容器がスキャンされている場合、グラフィック出力ジェネレータはグラフィック表現を生成しないことがあり得る。
【００６６】
一実装において、グラフィック出力ジェネレータは、分類エンジンが画像内で識別した少なくとも１つのアイテムについての情報を含むグラフィック表現を生成し得る。いくつかの例において、グラフィック出力ジェネレータは、識別されたアイテムに対応する文字による指示を出力し得る。いくつかの例において、文字による指示は、識別されたアイテムに対応する、型、モデル、または名前を含み得る。いくつかの他の例において、グラフィック出力ジェネレータは、文字によらない、例えば、識別されたアイテムに関連するグラフィック情報を含むグラフィック表現を生成し得る。
【００６７】
さまざまな実装において、グラフィック出力ジェネレータは、分類エンジンがアイテムを正しく識別したことについての信頼性に関連する情報を分類エンジンから受信し得る。グラフィック出力ジェネレータは、受信した分類信頼情報に基づいて、所与の識別されたアイテムについて、分類信頼レベルのグラフィック表現を生成し得る。一実装において、信頼レベルのビジュアル表現は、パーセンテージ値、または「高」、「中」または「低」などのレベルなど、信頼性の文字による指示を含み得る。別の実装において、信頼値は、カラーオーバーレイなどの色彩、または他の文字によらない指示を用いて表現され得て、オーバーレイのために決定された色は、決定された分類信頼レベルを反映する。
【００６８】
別の実装において、グラフィック出力ジェネレータは、１つまたは複数の識別されたアイテムの位置に対応するジオメトリ情報を分類エンジンから受信し得る。ジオメトリデータは、識別されたアイテムを囲む境界を形成する、且つ、識別されたアイテムの位置を識別する座標のセットを含み得る。位置情報は、他の形態も取り得る。グラフィック出力ジェネレータは、識別された各アイテムについてのジオメトリデータを受信し得る。グラフィック出力ジェネレータは、境界情報に基づく特徴を含むバウンディングポリゴンを生成し得る。一例として、グラフィック出力ジェネレータは、識別されたアイテムについてのジオメトリデータに基づいて、識別されたアイテムについてのバウンディングポリゴンを生成し得る。バウンディングポリゴンは、いくつか例として、実線または破線を含み得る。いくつかの例において、グラフィック出力ジェネレータは、識別されたアイテムの輪郭に従って輪郭線を生成し得る。他の例において、バウンディングポリゴンは、矩形のバウンディングボックスであり得る。
【００６９】
いくつかの実装において、グラフィック出力ジェネレータは、１つまたは複数の識別されたアイテムに注意を引くための、識別されたアイテムを囲むバウンディングポリゴンを含むグラフィック表現を生成し得る。グラフィック表現は、識別されたアイテムの輪郭をたどり得るか、または、単純なバウンディング矩形もしくはバウンディングボックスであり得る。
【００７０】
さらなる他の実装において、グラフィック出力ジェネレータは、オブジェクトの撮像画像の特定の領域を強調する、および、強調を抑えるグラフィック表現を生成し得る。一例として、グラフィック表現は、画像の特定のエリアを強調させ、他のエリアの強調を抑えるヒートマップを含み得る。ヒートマップは、１つまたは複数の識別されたアイテムに対応する領域を強調し得る。グラフィック出力ジェネレータは、それぞれの識別されたアイテムによってもたらされる脅威の決定されたレベルに基づいて、識別されたアイテムに関連する領域を強調する、または、強調を抑えるヒートマップを生成し得る。例として、グラフィック出力ジェネレータは、高いレベルの脅威を有する第１の識別アイテムに対応する第１の強調領域を生成し得て、低いレベルの脅威を有する第２のアイテムに対応する第２の領域を生成し得る。
【００７１】
さらなる別の実装において、グラフィック出力ジェネレータは、他の識別されたアイテムを強調するべく、撮像画像におけるいくつかの識別されたアイテムを不明瞭化または隠すグラフィック表現を生成し得る。本実装のより具体的な例として、グラフィック出力ジェネレータは、第１の識別アイテムが高い脅威レベルを有すること、および、他の識別されたアイテムが比較的低い脅威レベルを有することを決定し得る。グラフィック出力ジェネレータは、受信された脅威データに基づいて、比較的低い脅威レベルを有するアイテムに関連する領域を隠すビジュアルオーバーレイを生成し得る。いくつかの例において、グラフィック出力ジェネレータは、識別されたアイテムのうちのいくつかに対応する透明な領域を有する撮像画像のグラフィック表現を生成し得る。グラフィック出力ジェネレータは、より低い関連する脅威レベルを有する特定の識別されたアイテムが、より高い関連する脅威レベルを有するアイテムより目立たなくなるように、透明な領域を生成し得る。
【００７２】
上記のように、分類エンジンは、さまざまなアイテムを識別することが可能であり得る。さらに、分類エンジンは、組み合わされてアイテムを形成し得るコンポーネントなどのサブアイテム、または、別のアイテムの中に含まれるアイテムを識別することが可能であり得る。一例として、分類エンジンは、腕時計を構成するアイテムを識別し得て、腕時計の中のバッテリを構成するサブアイテムを識別し得る。別の例として、銃、爆弾、またはナイフは、組み合わされたときに完全に機能するアイテムを形成するより小さいサブアイテム、例えば、銃の砲身またはナイフの柄などから構成され得る。分類エンジンは、単一の撮像画像または複数の撮像画像から複数のサブアイテムを識別し得る。１つまたは複数のサブアイテムが１つまたは複数の画像に存在すると分類エンジンが決定したことに応答して、グラフィック出力ジェネレータは、分類エンジンから情報を受信し得る。グラフィック出力ジェネレータは、複数のサブアイテムが存在するという情報を受信することに応答して、識別されたサブアイテムのいくつかまたはすべてについての情報を示すグラフィック表現を生成し得る。
【００７３】
一例において、グラフィック出力ジェネレータは、サブアイテムが属するアイテムのグラフィック表現を生成し得る。例えば、グラフィック出力ジェネレータが、銃砲身が識別されたことを示す情報を受信した場合、グラフィック出力ジェネレータは、砲身を含む完全に組み立てられた銃のグラフィック表現を生成し得る。グラフィック出力ジェネレータは、完全に組み立てられたアイテムの表現と比較すると異なる、検出されたサブアイテムのグラフィック表現を生成し得る。例として、識別されたサブアイテムは、第１の色を用いて表現され得て、一方で、一例として、組み立てられたアイテムは異なる色を用いて表現され得る。他の例も考えられる。
【００７４】
別の実装において、グラフィック出力ジェネレータは、ユーザ入力の指示に基づいて、グラフィック表現を生成し得る。例として、グラフィック出力ジェネレータは、さらなる詳細において、過去に生成されたグラフィック表現の特定のエリアまたは領域を図示するグラフィック表現を生成し得る。グラフィック出力ジェネレータは、一例として、ユーザ入力の指示に応答して、過去に生成されたグラフィック表現のパンされたバージョンまたはズームインされたバージョンを生成し得る。グラフィック出力ジェネレータは、別の例として、さらなるアノテーションおよび／または過去に見えなかったアイテムを含む表現を生成し得る。
【００７５】
別の実装において、グラフィック出力ジェネレータは、フィルタリング基準に基づいて、グラフィック表現を生成し得る。グラフィック出力ジェネレータは、例えば、所与の順序において識別される、またはさまざまな特性を有する、所与の基準のセットを満たす特定のアイテムまたはサブアイテムを含むグラフィック表現を生成し得る。
【００７６】
上記の実装および例のいくつかは、単一のアイテムに関連しているが、グラフィック出力ジェネレータは、本明細書に説明される技法を実行して、複数の識別されたアイテムおよび／またはサブアイテム（サブアイテムは、本明細書においてアイテムとも称され得る）に対応するグラフィック表現を生成し得ることを理解されたい。グラフィック出力ジェネレータは、上で説明されたもの以外の他の方式でグラフィック表現を生成し得る。上記の実装および／または例のいずれも、組み合わされて、さらなる種類のグラフィック表現を生成し得ることを理解されたい。
【００７７】
本開示の一態様によれば、システムは、少なくとも１つのプロセッサと、メモリと、実行可能な命令を記憶する非一時的コンピュータ可読記憶媒体とを含み得る。命令は、少なくとも１つのプロセッサに、セキュリティスキャン装置によってスキャンされるオブジェクトを表現するデジタル画像を受信させ、オブジェクトの画像の中の識別されたアイテムを示す情報を受信させ、識別されたアイテムについてのアイテムデータを受信させ、ディスプレイで出力するために、受信されたアイテムデータに基づいて、識別されたアイテムに対応するグラフィック表現を生成させるように実行可能であり得る。グラフィック表現は、識別されたアイテムの位置を示し得て、生成されたグラフィック表現は、識別されたアイテムに対応するデジタル画像の少なくとも一部を含む。
【００７８】
本開示の別の態様は、方法として実装され得る。方法は、セキュリティスキャン装置によってスキャンされるオブジェクトを表すデジタル画像を受信する段階と、オブジェクトの画像の中の識別されたアイテムを示す情報を受信する段階と、識別されたアイテムと関連するアイテムデータを受信する段階と、ディスプレイで出力するために、受信されたアイテムデータに基づいて、識別されたアイテムに対応するグラフィック表現を生成する段階とを備え得る。グラフィック表現は、識別されたアイテムの位置を示し得て、生成されたグラフィック表現は、識別されたアイテムに対応するデジタル画像の少なくとも一部を含み得る。
【００７９】
本開示の別の例によれば、非一時的コンピュータ可読記憶媒体は、少なくとも１つのプロセッサに、セキュリティスキャン装置によってスキャンされるオブジェクトを表現するデジタル画像を受信させ、オブジェクトの画像の中の識別されたアイテムを示す情報を受信させ、識別されたアイテムに関連するアイテムデータを受信させ、ディスプレイで出力するために、受信されたアイテムデータに基づいて、識別されたアイテムに対応するグラフィック表現を生成させるように実行可能である命令を記憶し得る。グラフィック表現は、識別されたアイテムの位置を示し得て、生成されたグラフィック表現は、識別されたアイテムに対応するデジタル画像の少なくとも一部を含み得る。
【００８０】
本開示の一態様によれば、システムは、少なくとも１つのプロセッサと、メモリと、実行可能な命令を記憶する非一時的コンピュータ可読記憶媒体とを含み得る。命令は、少なくとも１つのプロセッサに、セキュリティスキャン装置によってスキャンされるオブジェクトを表現するデジタル画像を受信させ、オブジェクトの画像の中の識別されたアイテムを示す情報を受信させ、ディスプレイで出力するために、識別されたアイテムに対応するグラフィック表現を生成させるように実行可能であり得る。グラフィック表現は、識別されたアイテムの位置を示し得て、生成されたグラフィック表現は、識別されたアイテムに対応するデジタル画像の少なくとも一部を含む。
【００８１】
本開示の別の態様は、方法として実装され得る。方法は、セキュリティスキャン装置によってスキャンされるオブジェクトを表すデジタル画像を受信する段階と、オブジェクトの画像の中の識別されたアイテムを示す情報を受信する段階と、ディスプレイで出力するために、識別されたアイテムに対応するグラフィック表現を生成する段階とを備え得る。グラフィック表現は、識別されたアイテムの位置を示し得て、生成されたグラフィック表現は、識別されたアイテムに対応するデジタル画像の少なくとも一部を含み得る。
【００８２】
本開示の別の例によれば、非一時的コンピュータ可読記憶媒体は、少なくとも１つのプロセッサに、セキュリティスキャン装置によってスキャンされるオブジェクトを表現するデジタル画像を受信させ、オブジェクトの画像の中の識別されたアイテムを示す情報を受信させ、ディスプレイで出力するために、識別されたアイテムに対応するグラフィック表現を生成させるように実行可能である命令を記憶し得る。グラフィック表現は、識別されたアイテムの位置を示し得て、生成されたグラフィック表現は、識別されたアイテムに対応するデジタル画像の少なくとも一部を含み得る。
【００８３】
ある実装によれば、グラフィック出力モジュールは、空間内のアイテムの集合のデジタル化されたデータ表現を受信し得て、当該集合は、少なくともアイテムを含む。いくつかの例において、そのような各集合は、手荷物、ハンドバッグ、鞄、ボックス、または他の開閉可能な容器を含み得る。いくつかの例において、集合は、容器内にあるアイテムを含み得る。さまざまな例において、デジタル化された表現は、２次元画像、３次元画像、またはオブジェクトの他の多次元表現としての形態を取り得る。
【００８４】
グラフィック出力モジュールは、少なくとも１つのアイテムについてのバウンディングデータを受信し得て、バウンディングデータは、少なくとも１つのアイテムと関連するジオメトリを識別する情報を含む。いくつかの例において、バウンディングデータは、少なくとも１つのアイテムのうちのあるアイテムと関連する複数の可能なジオメトリを識別する。
【００８５】
いくつかの例において、グラフィック出力モジュールは、少なくとも１つのアイテムのうちの１つのクラスの、１つまたは複数の考えられる決定、または厳密なアイテムの潜在的な決定を受信し得る。いくつかの例において、グラフィック出力ジェネレータは、アイテムの危険性、アイテムが禁止されているかどうか、および、どのような状況下でアイテムが禁止され得るかの指示を含む、アイテムについてのポリシーデータを受信し得る。
【００８６】
グラフィック出力ジェネレータは、アイテムに関連するジオメトリおよびアイテムデータに基づいてオーバーレイインジケータを生成し得て、オーバーレイインジケータと共に、手荷物のデータ表現を出力し得る。さまざまな例によれば、オーバーレイは、アイテムが危険か、または、安全かの指示に基づいて着色され、安全 性または危険性の程度に基づいて着色され、および／または、アイテムが禁止されているかどうかに基づいて着色され得る。いくつかの例において、オーバーレイインジケータは、永続的にアイテムと共に表示され得て、および／または、アイテムと共に点滅し得る。いくつかの例において、オーバーレイは、アイテムと関連するジオメトリに基づくポリゴン、アイテムと関連するジオメトリに基づく基本ジオメトリ形状、および／または、アイテムの安全性もしくは危険性の程度に基づく勾配を有するヒートマップを含み得る。なおさらに他の例においては、オーバーレイは、グラフィックまたは文字によるアノテーションまたはそれらの組み合わせを含み得る。オーバーレイは、いくつかの例において、実線または点線を含み得る。
【００８７】
さらなる例において、オーバーレイは、アイテムが危険かどうかの指示、および／または、アイテムを除く、画像内のあらゆるエリアを不明瞭にするオーバーレイに基づく透明性を含み得る。いくつかの例では、オーバーレイは、禁止されたアイテムまたは危険なアイテムを除く、画像内のあらゆるエリアを不明瞭にし得る。いくつかの他の例では、オーバーレイは、禁止されたアイテムまたは危険なアイテムを除く、画像内のあらゆるアイテムを不明瞭にし得る。
【００８８】
本発明の別の態様によれば、グラフィック出力ジェネレータは、手荷物のデータ表現を受信し得て、手荷物は、第１のアイテムおよび第２のアイテムを含み、複数のアイテムのうちの当該第１のアイテムについてのバウンディングデータを受信する。バウンディングデータは、アイテムと関連するジオメトリを識別する情報を含み得る。グラフィック出力ジェネレータは、複数のアイテムのうちの当該第１のアイテムについての脅威データを受信し得る。脅威データは、当該第１のアイテムが危険であるという指示を提供し得て、手荷物のデータ表現のうちの当該第１のアイテムおよび第２のアイテムを出力し得て、当該第２のアイテムは当該第１のアイテムと比較して強調を抑えられている。
【００８９】
本開示の別の態様によれば、グラフィック出力ジェネレータは、容器のデータ表現を受信し得て、当該容器は、複数のアイテムを含む。グラフィック出力ジェネレータは、さらに、各アイテムについてのバウンディングデータ推定を受信し得て、指定されたクラスに属するアイテム、または、関心のある種類のアイテムだけを出力し得る。
【００９０】
本発明のなおさらに別の態様によれば、グラフィック出力ジェネレータは、手荷物のデータ表現を受信し得て、当該手荷物は、複数のアイテムを含む。グラフィック出力ジェネレータは、複数のアイテムのうちの第１のアイテムについてのバウンディングデータを受信し得て、当該バウンディングデータは、アイテムと関連するジオメトリを識別する情報を含み得る。グラフィック出力ジェネレータは、複数のアイテムのうちの第１のアイテムについての脅威データを受信し得て、脅威データは、第１のアイテムが危険であるという指示を提供し得て、手荷物のデータ表現のうちの第１のアイテムを出力し得て、第２のアイテムを出力し得ない。
【００９１】
本開示のさらに別の態様によれば、グラフィック出力ジェネレータは、容器のデータ表現を受信し得て、当該容器は、複数のアイテムを含む。グラフィック出力ジェネレータはまた、各アイテムについてのバウンディングデータ推定を受信し得て、指定されたクラスだけに属するアイテム、または、関心のある種類のアイテムのグラフィック表現を出力し得る。
【００９２】
本開示の一態様によれば、システムは、少なくとも１つのプロセッサと、メモリと、実行可能な命令を記憶する非一時的コンピュータ可読記憶媒体とを含み得る。命令は、少なくとも１つのプロセッサに、セキュリティスキャン装置によってスキャンされるオブジェクトを表現するデジタル画像を受信させ、オブジェクトの画像の中の識別されたアイテムを示す情報を受信させ、ディスプレイで出力するために、識別されたアイテムに対応するグラフィック表現を生成させるように実行可能であり得る。グラフィック表現は、識別されたアイテムの位置を示し得て、生成されたグラフィック表現は、識別されたアイテムに対応するデジタル画像の少なくとも一部を含む。
【００９３】
本開示の別の態様は、方法として実装され得る。方法は、セキュリティスキャン装置によってスキャンされるオブジェクトを表すデジタル画像を受信する段階と、オブジェクトの画像の中の識別されたアイテムを示す情報を受信する段階と、ディスプレイで出力するために、識別されたアイテムに対応するグラフィック表現を生成する段階とを備え得る。グラフィック表現は、識別されたアイテムの位置を示し得て、生成されたグラフィック表現は、識別されたアイテムに対応するデジタル画像の少なくとも一部を含み得る。
【００９４】
本開示の別の例によれば、非一時的コンピュータ可読記憶媒体は、少なくとも１つのプロセッサに、セキュリティスキャン装置によってスキャンされるオブジェクトを表現するデジタル画像を受信させ、オブジェクトの画像の中の識別されたアイテムを示す情報を受信させ、ディスプレイで出力するために、識別されたアイテムに対応するグラフィック表現を生成させるように実行可能である命令を記憶し得る。グラフィック表現は、識別されたアイテムの位置を示し得て、生成されたグラフィック表現は、識別されたアイテムに対応するデジタル画像の少なくとも一部を含み得る。
【００９５】
他の実装および例も可能であり、当業者であれば、以下の説明を読むことによって、さらに理解するであろう。
【００９６】
２．システムの概要
【００９７】
図１は、オブジェクトをスキャンするための例示的なコンピュータシステムを図示する概念図である。図１は、コンピュータシステム１００を図示する。コンピュータシステム１００は、セキュリティ担当者がオブジェクトをスキャンして、それらのオブジェクトに含まれるアイテムがセキュリティ上の脅威をもたらし得るかどうかを決定し得る場所で実装され得る。例えば、コンピュータシステム１００は、例えばラピスキャン保安検査システムなど（現在のラピスキャンの例は、ラピスキャン６１８ＸＲ  ＨＰ、６２０ＸＲ  ＨＰ、６２２ＸＲ  ＨＰ、６１８ＸＲ、６２０ＸＲ、６２０ＤＶ、または６２２ＸＲを含む）の保安検査システムを含み得るか、または、実行可能なソフトウェアコードとしてそれに搭載され得る。他の例において、コンピュータシステム１００は、スキャンされたオブジェクトまたはシーンから遠く離れた場所で実装され得る。例えば、コンピュータシステム１００および／またはその一部は、遠く離れたオフィス内、クラウド内、移動している航空機または車両などに配置され得る。
【００９８】
図１は、さまざまな機能を実行し得る、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを含み得る、モジュール、エンジン、コンポーネント、および同様のものなどのさまざまなアイテムを含む。そのようなアイテムは、実線の境界で図示される。他のアイテムは、破線の境界で図示される。そのようなアイテムは、機能ではなく入力および／または出力を表し得る。
【００９９】
図１の例において、コンピュータシステム１００は、１つまたは複数の検出装置１０２と、分類エンジン１０４と、アイテムデータベース１０６と、ポリシーエンジン１１０と、外部データソース１１２と、グラフィック表現１１２を生成し得るグラフィック出力ジェネレータ１０８とを含む。検出装置１０２、分類エンジン１０４、アイテムデータベース１０６、ポリシーエンジン１１０、グラフィック出力ジェネレータ１０８、および／または、外部データソース１２８は、一体化され得るか、または、別個の装置であり得る。分類エンジン１０４、アイテムデータベース１０６、ポリシーエンジン１１０およびグラフィック出力ジェネレータ１０８は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせを含み得る。
【０１００】
本明細書において説明されるいくつかの例は、「ユーザ」および／または他のエンティティなどの所与の行為者によって実行される機能に言及し得るが、この記載は、説明を目的としたものに過ぎないことを理解されたい。特許請求の範囲は、特許請求の範囲自体の文言によって明示的に要求されない限り、任意のそのような例示的な行為者による措置を要求するものと理解されるべきではない。
【０１０１】
図面において、同一の参照番号は、同一の要素、または少なくとも概ね類似する要素を識別する。任意の特定の要素の説明を容易にするべく、任意の参照番号の最上位の１桁または複数の桁は、要素が初めて紹介された図面を参照する。例えば、要素１０８は、図１において初めて紹介されたので、図１を参照して説明される。
【０１０２】
検出装置１０２は、手荷物、衣類、人、および同様のものなどのオブジェクトの画像を撮像し得る。検出装置１０２は、また、場所、配置、および／または位置を記載することに広く用いられ得るシーンの画像を撮像し得る。
【０１０３】
検出装置１０２は、撮像画像を分類エンジン１０４に出力し得る。分類エンジン１０４は、アイテムを含み得る撮像画像の領域を識別するべく、および、領域の中に含まれるアイテムのクラスを決定するべく、分類と称される処理を実行し、それにより、撮像画像の中のアイテムを識別する。
【０１０４】
分類エンジン１０４は、アイテムデータベース１０６から取得されたアイテムの情報に基づいて、撮像画像からのアイテム、サブアイテム、および／またはアイテムのクラスを分類し得る。分類エンジン１０４が、撮像画像において１つまたは複数のアイテムを識別した場合、分類エンジン１０４は、識別されたアイテムに関連する情報をグラフィック出力ジェネレータ１０８に出力し得る。グラフィック出力ジェネレータ１０８は、分類エンジン１０４から受信した識別されたアイテムに関連する情報に基づいて、識別されたアイテムについてのグラフィック表現１１２を生成し得る。グラフィック表現１１２は、１つまたは複数の識別されたアイテムに関連するさまざまな情報を含み得る。グラフィック出力ジェネレータ１０８は、ＡＰＩを介してまたはディスプレイ装置で、生成されたグラフィック表現１１２を出力し得る。保安検査員は、生成されたグラフィック表現１１２を見ることがあり得る。グラフィック表現１１２は、例えば、潜在的に脅威をもたらすアイテム、安全なアイテム、または、脅威をもたらすアイテムおよび安全なアイテムの両方の検出において、ユーザを助け得る。さらに、どのオブジェクト、アイテム、およびサブアイテムが分類されたかなどの、出力ジェネレータ１０８から収集されたデータは、メモリに収集および記憶され得る。そのデータへのアクセスは、セキュリティ以外の他の目的に従って、有益であることが分かり得る。
【０１０５】
検出装置１０２は、手荷物アイテム、衣類、人、および同様のものなどのオブジェクトの画像を撮像する１つまたは複数の検出装置を含み得る。例示的な検出装置は、Ｘ線スキャナ、ＭＲＩスキャナ、ＣＴスキャナ、スペクトル帯域スキャナ、ミリ波スキャナ、または現在もしくは後に考案される任意の他のスキャン装置を含み得る。他の方式の検出装置も考えられる。検出装置１０２によって撮像された画像は、さまざまな表現を用いて、撮像されたデータを表し得る。例として、撮像画像は、画像データを構築することに一般に用いられ得る、ピクセル、ボクセル、ポリゴン、または要素を用いて表され得る。
【０１０６】
いくつかの例において、検出装置１０２によって撮像された画像は、ＤＩＣＯＳ（「Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｆｏｒ Ｓｅｃｕｒｉｔｙ」、アメリカ電機工業会によって公開されている規格）フォーマットで撮像され得る。撮像画像は、いくつかの非限定的な例として、撮像画像におけるさまざまな領域またはグラフィック要素の材料密度、ジオメトリ寸法、および／または原子番号に関連する情報を含み得るメタデータを含み得る。画像データは、他のフォーマットで撮像され得て、メタデータは、他のさまざまな形態も取り得ることを理解されたい。
【０１０７】
検出装置１０２は、スキャンされている各オブジェクトについて、１つまたは複数の画像を撮像し得る。例として、検出装置１０２は、オブジェクトの単一画像またはオブジェクトの複数の異なる画像を撮像し得る。複数の画像は、同じ視点または複数の異なる視点のものであり得る。いくつかの例において、撮像画像は、オブジェクトの３次元の「スライス」を含み得て、各スライスは、スキャン深度の異なるレベルで、スキャンされたオブジェクトを表す。
【０１０８】
撮像画像１１４は、検出装置１１２のうちの１つまたは複数によって撮像された各画像において表現される１つまたは複数のアイテムおよび／またはサブアイテムの表現を含み得る。例として、検出装置１０２の１つは、手荷物を含むオブジェクトの画像を撮像し得る。本例において、手荷物は、靴および銃などのさまざまな異なるアイテムを含み得る。靴および銃は各々、撮像画像において表現されるアイテムであり得る。図１の例において、検出装置１０２は、撮像画像１１４を撮像し得る。靴および銃のアイテムは、まだ「靴」または「銃」として分類されておらず、撮像画像において全体的または部分的に写っているだけである（すなわち、現時点では、手荷物に詰めた人だけが、靴および銃があることを知り得る）ことに留意されたい。
【０１０９】
検出装置１０２は、互いに通信して、撮像画像データまたは他のデータを互いに共有し得る。検出装置１０２は、例えば、ワイヤレスネットワーク（例えば、「Ｗｉ−Ｆｉ」ネットワークのＩＥＥＥ ８０２．１１ｘファミリー）、イーサネット（登録商標）、セルラーネットワーク、ブルートゥース（登録商標）、ＮＦＣ、または同様のものなどのネットワークを介して接続され得る。いくつかの例において、検出装置１０２は、ポイントツーポイントデータリンクと接続され得る。さまざまな例において、検出装置１０２は、コンピューティング装置に通信可能に結合され得て、コンピューティング装置は、必要に応じて、検出装置１０２間で情報を中継し得る。検出装置１０２は、撮像画像のいくつかまたはすべてを分類エンジン１０４に出力し得る。
【０１１０】
アイテムデータベース１０６は、分類エンジン１０４によって識別され得る、さまざまなアイテムおよび／またはアイテムのクラスに関連するアイテムデータを記憶する。いくつかの実装において、アイテムデータベース１０６に記憶されたアイテムデータは、アイテムおよび／またはアイテムのクラスに関連する情報を含み得る。アイテムおよび／またはクラスのディクショナリは、訓練フェーズの間に、既知のアイテムのメタデータおよび訓練画像に基づいて、予め生成済みであり得る。
【０１１１】
アイテムデータベース１０６は、階層分類データ、アイテムデータ、ジオメトリデータ、画像データ、識別データ、メタデータ、ならびに、分類エンジン１０４によって識別され得るアイテムおよび／またはアイテムのクラスに関連する他のデータなどのデータを含み得る。所与のアイテムについて、アイテムデータベース１０６は、所与のアイテムまたはアイテムのクラスについてのデータを１つまたは複数のデータベースエントリに記憶し得る。各エントリは、所与のアイテムのクラスに対応する識別子に基づいてインデックスを付与され得る。
【０１１２】
所与のアイテムのクラスについての、アイテムデータベース１０６の記憶されたエントリは、そのアイテムのクラスについての、分類データ、ジオメトリデータ、スキャン画像データ、識別データ、メタデータ、および同様のものなどのアイテムデータを含み得る。ジオメトリデータは、所与のアイテムまたはクラスの形状、サイズ、ジオメトリ、色の特性、密度、原子番号、寸法（例えば、幅、高さ、深度）、および同様のものに関連するデータを含み得る。ジオメトリデータは、他の形態も取り得る。識別データは、所与のアイテムまたはアイテムのクラスについての、型、モデル、名前、または、人および／またはコンピュータが解釈可能な他の識別子への情報などを含み得る。識別データは、さまざまな他の形態も取り得る。分類データは、所与のアイテムが属し得る１つまたは複数のタクソノミークラスを示すデータを含み得て、一方、１つまたは複数のタクソノミークラスは階層的タクソノミーを含み得る。画像データは、所与のアイテムまたはアイテムのクラスの代表的スキャンの１つまたは複数の画像を含み得る。メタデータは、所与のアイテムの識別または分類に関連する追加の情報、例えば、アイテムデータの上記カテゴリの１つに適合しないデータを含み得る。アイテムデータベース１０６に記憶されるデータは、さまざまな他の形態も取り得る。
【０１１３】
例として、アイテムデータベース１０６は、マックブックプロ（登録商標）ラップトップについての１つまたは複数のデータベースエントリを含み得る。エントリの中には、アイテムデータベース１０６における所与のエントリをマックブックプロ（登録商標）に対応するものとして識別する、キーの形態のメタデータが存在し得る。キーはさらに、所与のアイテムについての文字による識別子を含む１つまたは複数のデータベースエントリに関連付けられ得て、例えば、「２０１５  Ｒｅｔｉｎａ  Ｍａｃｂｏｏｋ  Ｐｒｏ」は、そのような文字による識別子を含み得る。また、１つまたは複数のエントリは、マックブックプロ（登録商標）についての１つまたは複数のスキャン画像と、マックブックプロ（登録商標）が属するタクソノミーの１つまたは複数のクラス、例えば、「ラップトップ」、「電子機器」、「アップル（登録商標）」および／または「マックブック（登録商標）」クラスとを含み得る。いくつかの例において、１つまたは複数のデータベースエントリは、マックブックプロ（登録商標）の寸法（例えば、１２インチ×１８インチ）を識別し得る、マックブックプロ（登録商標）についてのジオメトリデータおよび／またはＣＡＤ図面を含み得る。１つまたは複数のエントリは、さらなるデータにも関連付けられ得る。
【０１１４】
別の例において、アイテムデータベース１０６は、階層的分類データの１つまたは複数のエントリを含み得る。１つまたは複数のエントリは、所与のアイテムのクラスに関連し得る。分類データは、所与のアイテムのクラスに属するアイテムのスキャン画像を含み得て、所与のクラスに関連する、アイテムデータベース１０６におけるエントリに関連付けられ得る。また、分類データは、所与のクラスが、所与の分類タクソノミーのどこに適合するかについての情報を含み得る。例として、アイテムデータベース１０６は、「銃」クラスについてのエントリを含み得る。アイテムデータベース１０６は、銃クラスエントリと共に、銃クラスに属する銃のスキャン画像を含み得る。銃クラスエントリはまた、例として、銃が武器のクラスであることを示し得る。
【０１１５】
アイテムデータベース１０６のメタデータは、さまざまな形態を取り得る。例として、メタデータは、所与のアイテムまたはアイテムのクラスが、どの１つまたは複数のアイテムまたはクラスと間違えられ得ることが多いかを示し得る。より具体的な例を挙げると、アイテムデータベース１０６は、保安検査担当者がヘアドライヤーを銃と間違えることが多いことを示すメタデータを記憶し得る。分類エンジン１０４によってヘアドライヤーが識別された場合、頻繁に間違えられるアイテムの識別情報に関連する、アイテムデータベース１０６からのメタデータが、グラフィック出力ジェネレータ１０８へ提供され得て、一方、グラフィック出力ジェネレータ１０８は、グラフィック表現を生成し得て、例えば、間違えられることが多いアイテムが識別されたこと、および／または、識別されたアイテムはどのアイテムと間違えられることが多いかを保安検査員に警告する。アイテムデータベース１０６に記憶されるデータは、さまざまな他の形態も取り得る。
【０１１６】
分類エンジン１０４は、撮像画像１１４などの、撮像画像の領域を、アイテムのクラス、アイテムおよび／またはサブアイテムを含むものとして分類するよう試みるハードウェアまたはソフトウェアを含み得る。分類エンジン１０４は、撮像画像の領域を分類するよう試み得て、それにより、本明細書においてさらに詳細に説明されるさまざまな技法を用いて、それらの領域におけるアイテムを識別する。アイテムのクラスまたはアイテムを含むものとして領域を分類することに応答して、分類エンジン１０４は、１つまたは複数の分類されたアイテムに関連する情報をグラフィック出力ジェネレータ１０８に出力し得る。
【０１１７】
撮像画像からのアイテムを分類するよう試みるべく、まず撮像画像が正規化され得る。図１の例において、分類エンジン１０４のノーマライザ１１６は、撮像画像１１４の正規化を実行し得る。正規化は、一般に、所望の平均値および所望の標準偏差などのさまざまな統計的特性に適合するように、撮像画像のピクセル値を調整することを含み得る。ノーマライザ１１６は、出力として正規化画像１１８を生じさせる。
【０１１８】
ノーマライザ１１６が正規化画像１１８を生成すると、ノーマライザ１１６は、正規化画像をセグメンタ１２０に出力し得る。セグメンタ１２０は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいて実装され得るＲＰＮなどのニューラルネットワークを含み得る。セグメンタ１２０のＲＰＮは、層のセットを含み得る。ＲＰＮのより浅い層は、撮像画像から、より低いレベルの（例えば、より単純な）特徴を識別し得て、より深い層は、当該撮像画像から、より高いレベルの（例えば、より複雑な）特徴を識別し得る。各層は、前の層の出力を操作し得て、前の層より高いレベルの特徴をカプセル化する異なる表現に入力表現を変換し得る。
【０１１９】
より具体的には、セグメンタ１２０のＲＰＮは、「畳み込み層」および「プーリング層」のセットを含み得る。ＲＰＮの所与の畳み込み層は、処理のために、ピクセルなどの入力値のセットを受信し得て、特徴マップと称される値のセットを生成するよう、「カーネル」と称されるマトリクスのセットを入力値のセットに適用し得る。ＲＰＮの各畳み込み層は、関連するカーネルの異なるセットを有し得る。
【０１２０】
所与のカーネルを適用すべく、分類ニューラルネットワークは、畳み込みと称される処理を実行する。この処理は、隣接する値のセット（例えば、特徴マップからのピクセルまたは値）を入力として取得し、当該セットから所与の値を、所与の値と、隣接する値との加重和として表し、各ピクセルについての重みはカーネルマトリクスの要素によって定義される。畳み込み層によって生成される出力値のセットは、出力が畳み込み層によって検出される特徴についての情報を含むので、「特徴マップ」と称される。
【０１２１】
プーリング層は、前の畳み込み層によって生成された特徴マップの領域を選択的にダウンサンプリングし得る。より具体的には、プーリング層は、各々が値のセットを含む領域のセットを決定し得て、領域の各々の値をダウンサンプリングするプーリング関数を適用し得る。実装において、プーリング層は、マックスプーリング関数を領域の各値に適用し得る。マックスプーリング関数は、所与の領域から最大値を識別し得て、最大値を保持し、所与の領域におけるすべての他の値を破棄し得て、それにより、所与の領域の値の選択的ダウンサンプリングを効果的に実行する。
【０１２２】
セグメンタ１２０のＲＰＮは、畳み込み特徴マップを生成するよう、まず畳み込み層およびプーリング層を撮像画像に適用する。畳み込み特徴マップは、各層で実行される畳み込み処理およびプーリング処理によって畳み込み層およびプーリング層が識別した特徴の、効果的にダウンサンプリングされた多次元表現である。特徴マップが所与の撮像画像の空間レイアウトを変更しないことに留意することが重要である。従って、特徴マップにおけるいずれの点も、撮像画像における対応する位置に再び投影させることができる。
【０１２３】
実装において、撮像画像は、ａ×ｂ×３の寸法を有し得て、３は、撮像画像におけるカラーチャネルの数である。他の画像寸法も考えられることに留意されたい。畳み込み層およびプーリング層は、ｘ×ｙ×ｃのサイズを有する畳み込み特徴マップを出力し得て、ｘおよびｙは、ａおよびｂよりはるかに小さく、ｃは５１２に等しい。さまざまな他の特徴マップの寸法も考えられる。
【０１２４】
畳み込み特徴マップを生成した後に、セグメンタ１２０は、異なるサイズおよびアスペクト比を有するアンカーボックスのセットを生成する。アンカーボックスは、いくつかの例として、１：２、２：１、および１：１のアスペクト比を有し得る。セグメンタ１２０は、各アンカーボックスを、正規化画像の畳み込み特徴マップの考えられる位置の各々にピクセル毎に渡す。所与のアンカーボックスについて、ＲＰＮは、特徴マップ位置と所与のアンカーボックスとの所与の組み合わせに重みマトリクスを適用し、所与の特徴マップ位置とアンカーボックスとの組み合わせについてのベクトルを生成する。
【０１２５】
ＲＰＮは次に、分類層および回帰層を用いて、重みマトリクスによって生成された各ベクトルを分析する。分類層は、特徴マップ位置とアンカーボックスとの組み合わせによって定義される所与の領域の中にオブジェクトが存在し得るか、または、存在し得ない確率を示す、確率スコアと称される値を生成する。回帰層は、所与のアンカーウィンドウ位置における特徴マップの任意の識別したオブジェクトを密接に囲む、または、含むバウンディングボックスの位置を計算するための試みを生成する。回帰層は、所与のバウンディングボックスの位置、幅および高さを示すスコアを出力する。
【０１２６】
セグメンタ１２０は、訓練フェーズの間、ＲＰＮのさまざまなパラメータを決定し得る。そのようなパラメータ例は、カーネルマトリクスの重み、重みマトリクス値、分類、および回帰マトリクス値のようなパラメータを含み得る。セグメンタ１２０は、訓練フェーズの間、さまざまな他のパラメータも定義し得る。
【０１２７】
所与のアンカーボックス内の所与の位置に含まれるピクセルの中に、アイテムが存在し得るかどうか決定すべく、領域提案ネットワークは、位置スコア値と称される、正規化画像の所与の位置で所与のアンカーボックスによって定義される各領域についてのスコアを生成し得る。位置スコアは、分類され得るアイテムを領域が含む尤度を示し得る。例として、位置スコア値は、０と１との間（０と１を含む）であり得る。
【０１２８】
セグメンタ１２０が各々の位置およびアンカーボックスの組み合わせについてのスコアを生成すると、分類エンジンは、最も高い位置のスコア値を有する、候補バウンディングボックス１２２のセットを識別し得る。セグメンタ１２０は、例えば０．９５などの所与の閾値を超える関連する位置スコア値を有する、スコアが最も高い候補バウンディングボックスを識別し得る。さまざまな他の閾値も考えられる。候補バウンディングボックス１２２を識別した後、セグメンタ１２０は、所与の識別された候補バウンディングボックスが、既知のアイテムのクラスを含み得るかどうかを決定するためのさらなる分析のために、スコアが最も高い候補バウンディングボックスの識別されたセットを分類器１２４へ出力し得る。
【０１２９】
分類器１２４は、ハードウェア、ソフトウェア、または、それらの任意の組み合わせにおいて実装され得る畳み込みニューラルネットワークを含み得る。いくつかの例において、分類器１２４は、残差ニューラルネットワークを含み得る。分類器１２４のニューラルネットワークは、複数の相互結合された層を含み得る。候補バウンディングボックスによって画定されるピクセルのセットは、ニューラルネットワークの各層を流れ得る。ニューラルネットワークのより浅い層（すなわち、ピクセルまたはその表現が最初に流れる層）は、所与のピクセルのセットから、より低いレベルの特徴を識別し得て、より深い層（すなわち、ピクセルまたは表現が、分類エンジンニューラルネットワークにおいて後に流れる層）は、候補バウンディングボックスから、より高いレベルの特徴を識別し得る。各層は、候補バウンディングボックスのピクセルから特徴を決定し得て、より高いレベルの詳細な特徴をカプセル化する異なる表現に表現を変換し得る。
【０１３０】
分類器１２４のニューラルネットワークの層は、訓練フェーズの実行の間にさまざまなアイテムの特徴を検出するように予め構成されている。ニューラルネットワークは、訓練フェーズの間に、分類器のニューラルネットワークへ送り込まれるアイテムの訓練画像に基づいて、これらのアイテムの特徴を「学習」する。より具体的には、訓練フェーズの間に、分類器１２４のニューラルネットワークは、既知のアイテムの多くの訓練画像を入力として取得し、訓練画像から決定される特徴を検出できるようにニューラルネットワークを構成する。
【０１３１】
いくつかの実施形態において、合成データ訓練データは、アイテムのモデルを過去に撮像されたデータの上に投影すること、アイテムの画像を過去に撮像したデータの上にオーバーレイすること、または、アイテムのセット全体および背景を完全にシミュレートすることによって作成され得る。さらなる他の実施形態において、そのような合成訓練データは、過去に訓練を受けたデータに基づいてデータを生成できる生成機械学習アルゴリズムを通して作成され得る。例として、大型の電子機器に関して訓練を受けたアルゴリズムは、人の目には本物に見え得る、新規の電子機器の合成画像を生成することができるようになり得る。分類エンジン１０４は、さまざまな時点において、異なるソースのデータで訓練され得ることに留意されたい。
【０１３２】
ニューラルネットワークが訓練されると、分類器１２４は、所与の候補バウンディングボックスによって画定されるピクセルのセットと、当該所与の候補バウンディングボックスによって画定されるピクセルと一致するアイテムを識別する表現との間の類似性を分析し得る。分類器１２４によって実行される類似性分析は、所与の候補バウンディングボックスの内容と、分類器のニューラルネットワークが認識するよう訓練されたアイテムのクラスとの間の類似性を表す確率分布１２６を生じさせ得る。
【０１３３】
より具体的には、分類器１２４は、候補バウンディングボックス１２２のうちの所与の１つのピクセル内容と、訓練フェーズ中に分類器１２４が認識するように訓練された既知のアイテムのクラスとの間の類似性を決定し得る。分類エンジン１２２が所与の候補バウンディングボックスのために生成した埋め込みに基づいて、分類エンジン１２２のニューラルネットワークは確率分布１２６を生成し得る。確率分布１２６は、信頼値のセットを含み得る。セットからの各信頼値は、所与の候補バウンディングボックスの内容（例えば、ピクセルの内容）と、それぞれのアイテムのクラスとの間の類似性を示す。従って、確率分布１２６の所与の信頼値は、所与の候補バウンディングボックスの内容がそれぞれのアイテムのクラスとして正しく分類され得るそれぞれの尤度を示す。
【０１３４】
分類エンジン１０４が所与の候補バウンディングボックスについての確率分布１２６を決定すると、分類エンジン１０４は、分布における任意の信頼値が所与の閾値を超えるかどうかを決定する。いくつかの例において、閾値は９５％、すなわち、０．９５であり得る。所与の候補バウンディングボックスについての確率が閾値の信頼値を超える場合、分類エンジン１０４は、所与のバウンディングボックスを、閾値の信頼値を満たすか、または、それを超えるアイテムを含むものとして分類し得て、それにより、所与の候補バウンディングボックスにおけるアイテムを識別する。いくつかの実施形態において、分類エンジン１０４は、データの個々のピクセルまたは領域が、十分に高い信頼レベルで分類の決定を行うには不十分な情報を含むと決定し得る。
【０１３５】
分類器１２４は、候補バウンディングボックスの各々が分類処理を受けるまで、候補バウンディングボックス１２２の各々におけるアイテムを分類することを試みる処理を繰り返し得る。また、分類器１２４は、分類処理に関連するさらなるデータを生成し得る。分類処理の完了、および、さらなるデータの生成に応答して、分類エンジン１０４は、撮像画像、および、さらなる分類データを、いくつかの例として、アイテムデータベース１０６、ポリシーエンジン１１０、および／または、グラフィック出力ジェネレータ１０８へ出力し得る。
【０１３６】
分類処理に関連する、そのようなさらなるデータは、メタデータ、分類情報、識別情報、および同様のものを含み得る。さらなる分類関連データの例として、分類エンジン１０４は、分類エンジン１０４が所与のアイテムまたはアイテムのクラスを正しく分類したことの信頼性を示し得る信頼レベルを出力し得る。分類エンジン１０４は、例えば、確率分布１２６に基づいて、または、さまざまな他の方式で、信頼レベルを生成し得る。「既知」とは、分類エンジン１０４が、アイテムまたはアイテムのクラスの個々の既知の説明として分類されるものとして、ある信頼レベルで識別するアイテムの文脈において使用されることに留意されたい。例として、分類エンジン１０４は、大きく改造されたマックブックプロ（登録商標）をマックブックプロ（登録商標）として、関連する信頼レベルで分類し得て、大きく改造されたマックブックプロ（登録商標）を「ラップトップ」として、異なる関連する信頼レベルで分類し得る。別の例として、分類エンジンは、過去のラップトップとの類似性という理由から、前に一度も撮像されたことがないラップトップモデルまたはブランドを分類し得て、そのような類似性は、視覚的な比較、または、ニューラルネットワークを訓練するプロセス、もしくは、大型の電子機器についての他の機械学習アルゴリズムを通して生じた、より複雑な特徴比較に基づき得る。
【０１３７】
別の実施形態において、信頼レベルは、アイテムが遮られる程度、重なっているアイテムの数、アイテムと他の既知のアイテムもしくはアイテムのタクソノミーとの類似性、所与のアイテムの珍しさ、または、信頼レベルを増加、低下、もしくは強化し得る複数の他の要因を考慮し得る。また、信頼レベルは、Ｘ線または他の透過する波もしくは場がアイテムをイメージングできる程度を考慮し得て、そのような波または場がアイテムを透過できないことを示すために低下し得て、このことは、数ある他の要因の中で、密度もしくは原子番号が高い、密に詰め込まれたアイテムまたはオブジェクトによって引き起こされ得る。信頼性は、オブジェクトの、既知のオブジェクトとの類似性と無関係であり得る。なぜなら、別の実施形態において、分類エンジンは、アイテムの改造バージョンを認識し得るからである。
【０１３８】
さらに別の実施形態において、システムは、アイテムの提案されたタクソノミーに従って、さまざまな分類について、異なる信頼レベルを指定し得て、一実施形態において、電子機器の厳密な型およびモデルについての信頼レベル、および、例えば、それがラップトップであるかどうかについての別の信頼レベルを指定し得る。さらに別の実施形態において、信頼レベルは、事前訓練済みのニューラルネットワークの順伝播によって生成され得る。さらなる別の実施形態において、信頼レベルは、訓練済み非ニューラルネットワーク機械学習技法によって生成され得る。さらなる別の実施形態において、信頼レベルは、アイテムのジオメトリのセグメンテーションの信頼性とは別に、アイテムの分類の信頼性を表し得る。さらなる別の実施形態において、信頼レベルは、分析の時間、保安検査場の場所、および、分析のプロセスにあり得るアイテムに関連するインテリジェンスチャッタ（ｉｎｔｅｌｌｉｇｅｎｃｅ  ｃｈａｔｔｅｒ）に基づいて、手動で、動的に、または、アルゴリズムによって調整され得る。さらなる別の実施形態において、信頼レベルは、アイテムの分類、分析されているエリア、または、分析されている個々のピクセルに関連し得る。さらなる別の実施形態において、信頼レベルは、分類アイテム、連続エリア、および／または、互いに近接する複数のアイテムもしくはエリアに関連する材料特性に関連し得る。
【０１３９】
いくつかの実装において、分類エンジン１０４は、撮像画像、例えば、撮像画像１１４からのサブアイテムを分類することを試み得る。分類エンジン１０４は、アイテムまたはアイテムのクラスを識別することに関して上記と類似の方式で、サブアイテムを検出することを試み得る。一実装において、分類エンジン１０４は、所与のアイテムのクラスを識別し得て、アイテムのクラスを識別したことに応答して、アイテム中に含まれる、または、アイテムを構成するサブアイテム（例えばコンポーネント）についてのアイテムに関連する候補バウンディングボックスを分析し得る。別の実装において、分類エンジン１０４は、アイテムの第１のサブアイテム（例えば、コンポーネント）を分類し得る。例として、分類エンジン１０４は、銃の砲身を構成するサブアイテムを分類し得る。分類エンジン１０４は、例えば、アイテムデータベース１０６からのデータに基づいて、砲身のサブアイテムが、アイテムを構成する銃に関連していると決定し得る。第１コンポーネントまたはサブアイテムを分類したことに応答して、分類エンジン１０４は、例えば、所与の識別されたアイテムに関連するサブアイテムを識別するように特別に訓練されたニューラルネットワークを選択することによって、識別されたアイテムに属する、または、関連するさらなるサブアイテムを分類することを試み得る。いくつかの例において、分類エンジン１０４は、同じ撮像画像からのサブアイテムを、第１のサブアイテムとして、または、さらなる撮像画像からのものとして分類することを試み得る。
【０１４０】
分類エンジン１０４が既知のアイテムを分類した後に、分類エンジン１０４は、分類されたアイテムが属するタクソノミーからのクラスを決定することを試み得る。所与のアイテムについてのクラスを決定するべく、分類エンジン１０４は、アイテムデータベース１０６などのデータベースからの、または、別のデータストアからの分類データを含むアイテムデータにアクセスして、所与のアイテムが属するクラスを決定し得る。例として、分類データの中には、銃およびナイフを含む「武器」クラスがあり得る。分類エンジン１０４は、識別されたアイテムの各々を、所与のアイテムについての分類データによって定義されたカテゴリに分類することを試みる。いくつかの例において、分類データは、各分類エンジンに関連する、その分類エンジンについての脅威データを示す情報も含み得る。再び銃および靴の例を参照すると、分類エンジンは、分類データに基づいて、銃が脅威である、および／または、靴が脅威でない（例えば、靴は安全である）ことを決定し得る。分類エンジン１０４はまた、各アイテムの分類に関連するメタデータを含むアイテムデータを生成し得る。例として、分類エンジン１０４は、分類された各アイテムについての分類信頼レベルを生成し得る。分類信頼レベルは、分類エンジン１０４が所与のアイテムを正しく分類したことの信頼性を示し得る。
【０１４１】
グラフィック出力ジェネレータ１０８は、分類エンジン１０４からの撮像画像と、分類エンジン１０４によって分類された各アイテムに関連するさらなる情報とを取得する。グラフィック出力ジェネレータ１０８は、受信された情報および撮像画像に基づいて、識別されたアイテムのうちの１つまたは複数に関連するグラフィック表現、例えば、グラフィック表現１１２を生成し得る。生成されたグラフィック表現１１２は、検査システムのユーザが、所与のスキャンされたオブジェクトにおけるサブアイテムおよび／またはアイテムを識別することを補助し得る。
【０１４２】
グラフィック表現１１２は、２次元または３次元画像などの画像を含み得る。画像は、検出装置１０２によって撮像された１つまたは複数の画像のうちの一部を含み得る。グラフィック表現１１２はまた、識別されたアイテムの表現を含み得て、保安検査員によるより綿密な検査のために、特定の潜在的に識別されるアイテムまたはサブアイテムと、脅威に関連する領域とを強調し得る。一実装において、グラフィック表現１１２は、アノテーションおよび他のさらなるグラフィック要素をスキャン画像に追加するオーバーレイを含み得る。いくつかの例において、オーバーレイは、識別されたアイテムに関連する領域を強調する、および／または、強調を抑え得るヒートマップを含み得る。別の例として、オーバーレイは、関連する脅威レベルが高くないオブジェクト（例えば、安全であるアイテム）を不明瞭化し得る。オーバーレイは、高い脅威レベルを有するアイテムまたはサブアイテムを囲む輪郭線を含み得る。さらに別の例において、オーバーレイは、グラフィックおよび／または文字によるインジケータを含み得る。インジケータは、識別されたアイテムに関連する識別子、例えば、オブジェクトの名前、オブジェクトに対応するアイコン、または、識別されたアイテムの型、モデル、もしくは名前を含み得る。オーバーレイの他の例も考えられる。
【０１４３】
他の実施形態において、グラフィック出力ジェネレータ１０８は、アイテムの識別に応答して、グラフィック表現を生成し得る。これは、アイテムの上または横にオーバーレイとして表示され得る。さらなる他の実施形態において、グラフィック出力ジェネレータ１０８は、識別されたアイテムに対応する既知のアイテムの画像、識別されたアイテムに対応する既知のアイテムのクラスの画像、所与の領域を伴う、識別されたクラスに対応する既知のアイテムのクラスの画像を含むさまざまな表現を表示し得る。さらなる他の実施形態において、表現は、３次元モデル、回転３次元モデル、または、同時もしくは連続的な複数の表現の表示の形態を取り得る。
【０１４４】
グラフィック出力ジェネレータ１０８は、いくつかの非限定的な例として、分類エンジン１０４、アイテムデータベース１０６、ポリシーエンジン１１０などのソースから受信されたアイテムデータに基づいて、グラフィック表現１１２を生成し得る。アイテムデータは、分類、ポリシー、または識別メタデータなどのメタデータ、アイテム識別データ、アイテム分類データ、ポリシーデータ、および同様のものを含み得る。
【０１４５】
グラフィック出力ジェネレータ１０８は、ポリシーエンジン１１０からの画像における識別されたアイテムに関連するポリシー情報にアクセスし得る。ポリシー情報は、識別されたアイテムが脅威をもたらすかどうか、および、オブジェクトの脅威レベルは何であり得るかを示し得る。例として、ポリシーエンジン１１０は、現在脅威とみなされるアイテムの、および、現在安全および／または危険とみなされる別のアイテムのセットのデータベースを含み得て、それにアクセスし得る。安全および危険なアイテムのセットは、セキュリティ設定、例えば、比較的高い、または、低いセキュリティが所与の場所において実装されているかどうかなどに基づいて異なり得る。いくつかの実施形態において、ポリシーエンジン１１０は、例えば、システム１００へのネットワーク接続性があるかどうかに従って、定期的に、または、オンザフライ（またはリアルタイム）で更新され得る。ポリシーエンジン１１０におけるデータベースを、新たに決定された脅威に基づいて、手動または自動で更新することが可能であり得る。
【０１４６】
例として、ポリシーエンジン１１０は、ラップトップ、または、特定の種類のラップトップを民間航空機に持ち込むことが禁止されることに応答して、ラップトップ全般、または、特定の種類のラップトップのみを潜在的に危険なものとして示すように更新され得る。さらなる別の例として、ポリシーエンジン１１０は、装置がリコールされていることに応答して、ギャラクシーノート７（登録商標）が危険であることを示すように更新され得る。さらなる別の例として、ポリシーエンジン１１０は、オンラインで入手可能な新しい３Ｄプリント銃が火器を構成するので、航空機に持ち込むことを許可すべきでないことを示すように更新され得る。さらなる別の例において、３Ｄプリントされた銃を禁止対象として識別してマークするために、データベースを迅速に更新することができる。さらなる別の例において、ポリシーエンジン１１０は、Ｘ線、ＣＴ、または、マルチスペクトルスキャナの下で火器のように見えるヘアドライヤーの特定のモデルが、実際には安全なアイテムであり、航空機の客室において許可されるべきであることを示すように更新され得る。データベースは、アイテムが安全であることをシステムに示すことにより、鞄が調査されることを防止し、保安検査場でのスループットを増加させるであろう。
【０１４７】
いくつかの実施形態において、グラフィック出力ジェネレータ１０８は、画像の個々のピクセルまたは領域が、分類を決定するのに不十分な情報を含むことを示す情報を分類エンジン１０４から受信し得て、グラフィック表現１１２は、そのような情報（例えば、「不十分な情報」、または、オペレータに知らせるための同様の指示）を含み得る。グラフィック出力ジェネレータ１０８は、ポリシーエンジン１１０からのポリシー情報にアクセスして、グラフィック表現１１２が、アイテムを脅威、安全、または、中程度として分類できないことを示すべきかどうかを決定し得る。別の実施形態において、グラフィック出力ジェネレータ１０８は、そのようなエリア上で、グラフィック表現を生成しないことがあり得る。
【０１４８】
本発明の態様によれば、ポリシーエンジン１１０は、アイテムおよびアイテムのクラスについてのデータベースにポリシーデータを記憶し得る。ポリシーデータは、所与のアイテムまたはクラスの脅威レベルと、所与のアイテムまたはクラスが禁止されている（すなわち、セキュリティを通過することが禁止されている）かどうかを示すデータとを示し得る。アイテムは、単一のクラスまたは複数のクラスのメンバであり得る。表１は、ピストル、ギャラクシーノート７（登録商標）スマートフォン、およびヘアドライヤーについての、３つの例示的なポリシーデータベースエントリを記載する。  ［表１：例示的なポリシーデータベースエントリ］
【表１】
2019021313.tif 000003
【０１４９】
図１の例において、ポリシーデータベースは、３つのエントリ、すなわち、ピストル、ギャラクシーノート７（登録商標）およびヘアドライヤーのエントリを含む。表１の上記の例において、各エントリは、１つまたは複数のクラス、アイテムが禁止されているかどうかを示す値、および、関連する脅威レベルを有し得る。ポリシーデータベースエントリは、他のフィールドも有し得る。上記の例において、ピストルは、銃および火器クラスに関連付けられ、禁止され、高い脅威レベルをもたらす。ギャラクシーノート７（登録商標）は、電子機器、携帯電話およびスマートフォンのクラスに関連付けられ、禁止され、低い脅威レベルをもたらす。ヘアドライヤーは、電化製品クラスに関連付けられ、禁止され、低い脅威レベルを有する。
【０１５０】
グラフィック出力ジェネレータ１０８は、ポリシーデータベースにおけるエントリに基づいてグラフィック表現１１２を生成し得る。グラフィック出力ジェネレータ１０８は、例えば、ＳＱＬ（構造化照会言語）または同様のものなどのデータベースクエリを用いて、表１のようなエントリにアクセスし得る。グラフィック出力ジェネレータ１０８は、ポリシーデータベースのアクセスされたエントリにおける情報に基づいて、グラフィック表現１１２を生成し得る。
【０１５１】
グラフィック出力ジェネレータ１０８はまた、外部データソース１２８から取得されたデータ分析に基づいてグラフィック表現１１２を生成し得る。外部データソース１２８は、さまざまな異なるデータソースおよび／または分析エンジンを含み得る。そのような外部データソースの例は、情報機関からのデータソース、搭乗者データソース、旅程データソース、および、他の装置（例えば、検出装置１０２または他のセキュリティ関連装置）からのデータなどを含み得る。外部データソース１２８は、１つまたは複数のトレンド分析エンジンも含み得る。外部データソース１２８は、さまざまな他の形態も取り得る。
【０１５２】
高いレベルでは、外部データソース１２８は、データを生成し、および／または、分析を実行し得る。これは、グラフィック出力ジェネレータ１０８によるグラフィック表現１１２の生成、および／または、分類エンジン１０４によって実行される分類に影響を与え得る。データ生成および分析は、さまざまな形態を取り得る。例えば、外部データソース１２８は、保安検査システムのさまざまなパラメータが動的に調整され、さまざまなレベルの粒度（例えば、所与の保安検査場、検出装置、空港、または、国のレベル）で個別化され得るような方式で、さまざまなデータソースからのデータを生成および分析し得る。
【０１５３】
一実装において、外部データソース１２８は、搭乗者の旅行情報の分析を含み得る。そのような情報は、搭乗者の識別情報、旅行履歴（例えば、搭乗者が過去に旅行した場所）、搭乗者の現在の旅程、搭乗者の手荷物などについての情報などの情報を含み得る。搭乗者データは、さまざまな他の形態を取り得る。
【０１５４】
一例として、外部データソース１２８の搭乗者分析エンジンは、所与の搭乗者が、（例えば、情報機関にとって）要注意人物かどうかを決定し得る。搭乗者が要注意人物である場合、外部データソース１２８は、さまざまな措置を取り得る。例えば、外部データソース１２８は、搭乗者の手荷物の中のアイテムを分類することを試みるときに、分類エンジン１０４に、高められたセキュリティレベルを使用させるように、グラフィック出力ジェネレータ１０８または分類エンジン１０４へ指示を出力し得る。高められたセキュリティレベルは、所与のアイテムのクラスを含むものとして分類されるために所与の領域が満たす必要がある信頼閾値を調整する（例えば、低下させる）という形態を取り得る。別の例として、外部データソース１２８は、搭乗者が要注意人物であることを指定するグラフィック指示をグラフィック出力ジェネレータ１０８に生成させる出力を生成し得る。
【０１５５】
別の例として、外部データソース１２８は、搭乗者の職業に関連する情報を取得および分析し得る。例えば、外部データソース１２８は、搭乗者の職業を決定し得て、決定された職業に基づいて、搭乗者の手荷物において識別されたアイテムが、搭乗者の決定された職業と整合性があるかどうかを決定し得る。より具体的な例として、外部データソース１２８は、所与の搭乗者がソフトウェアエンジニアであると決定し得て、所与の搭乗者の鞄におけるアイテムが、ソフトウェアエンジニアであることと整合性があるかどうかを決定し得る。別の例として、外部データソース１２８は、所与の搭乗者が大工として働いていると決定し得て、その決定に基づいて、大工の職業に関連する特定のアイテムを疑わしいもの（例えば、ネイルガン、鋸など）として警告しないことがあり得る。外部データソース１２８は、搭乗者の職業に基づいて、さまざまな他の措置も取り得る。
【０１５６】
別の実装において、外部データソース１２８は、搭乗者の旅行履歴に基づいて、さまざまな分析を実行し得る。一例として、外部データソース１２８は、所与の搭乗者が保安検査を受けていることを識別し得て、（例えば、航空会社の頻繁利用客サービスによって提供されたデータに基づいて）所与の搭乗者が頻繁利用客かどうか、または、搭乗者が頻繁旅行者かどうかを決定し得る。外部データソース１２８が、所与の旅行者が頻繁利用客または出張者であると決定した場合、外部データソース１２８は、分類エンジン１０４に、搭乗者の手荷物におけるアイテムを疑わしいものとして警告を出すことについての厳しさを低くさせ得るか、または、旅行者が頻繁利用客または出張者であるというグラフィックインジケータをグラフィック出力ジェネレータ１０８に生成させるための指示をグラフィック出力ジェネレータ１０８へ出力し得る。
【０１５７】
別の実装において、外部データソース１２８は、搭乗者の前の履歴に基づいて分析を実行し得る。一例として、外部データソース１２８は、所与の搭乗者の手荷物の撮像画像を、過去のある時点において撮像された所与の搭乗者の手荷物の画像と比較し得る。過去に撮像された搭乗者の手荷物の画像が、現在撮像された所与の搭乗者の手荷物の画像と大幅に異なる場合、外部データソース１２８は、分類エンジン１０４またはグラフィック出力ジェネレータ１０８へ指示を出力し得る。そのような出力は、分類エンジン１０４に、所与の搭乗者の手荷物におけるアイテムを分類するときに、高められたセキュリティレベルを適用させ得るか、または、搭乗者の手荷物が、過去の１つまたは複数の時点でスキャンされた旅行者の手荷物の画像と比較して異なる外観を有するというグラフィック指示をグラフィック出力ジェネレータ１０８に生成させ得る。そのような場合、その出力はグラフィック出力ジェネレータ１０８に、過去の時点で撮像された搭乗者の手荷物の画像をグラフィック表現１１２の一部として出力させ得る。外部データソース１２８は、搭乗者の手荷物履歴などの、搭乗者の履歴に基づいて、さまざまな出力も生成し得る。
【０１５８】
別の実装において、外部データソース１２８は、搭乗者の旅行日程データを分析し得る。外部データソース１２８は、さまざまな方式で、搭乗者の旅行日程データを分析し得る。例として、外部データソース１２８は、搭乗者の現在の旅程を搭乗者の過去の旅行先と比較することによって、搭乗者の旅程を分析し得る。比較に基づいて、外部データソース１２８は出力を生成し得る。出力は、グラフィック出力ジェネレータ１０８および／または分類エンジン１０４などのコンピュータシステム１００のコンポーネントによって受信され得る。一実装において、搭乗者の旅程の分析は、旅行者の旅程に、「高リスク」とみなされる目的地、または、関連する脅威レベルが高い目的地への旅行が含まれるかどうかを決定し得る。別の実装において、比較は、搭乗者の現在の旅程に、搭乗者の前の目的地と大幅に異なる目的地が含まれているかどうかを決定し得る。旅行者の旅程の分析は、さまざまな他の形態も取り得る。グラフィック出力ジェネレータ１０８は、比較によって生成された出力に基づいて、グラフィックインジケータを生成し得て、分類エンジン１０４は、上記のように分類処理を変更し得る。搭乗者の旅行日程の分析は、さまざまな他の形態も取り得る。
【０１５９】
別の実装において、外部データソース１２８は、互いに通信するセキュリティ装置からのデータを含み、出力し得る。例えば、外部データソースは、検出装置１０２などの他のセキュリティ装置と通信する金属検出器からのデータを含み得る。外部データソース１２８は、そのような検出装置からのデータを、分類エンジン１０４、グラフィック出力ジェネレータ１０８など、コンピュータシステム１００のさまざまな他のコンポーネントへ出力し得る。そのようなデータを出力することには、さまざまな影響があり得る。一例として、金属検出器は、搭乗者が金属検出器を鳴らすことなく金属検出器を通過したかどうかを示すデータを出力し得る。分類エンジン１０４は、金属検出器からの出力に基づいて、例えば信頼値などのさまざまな分類パラメータを調整し得る。別の例として、外部データソース１２８は、搭乗者が通過し得るミリ波スキャナからのデータを含み得る。ミリ波スキャナが、その人物が疑わしいオブジェクトを身に付けていることを検出した場合、外部データソース１２８は、コンピュータシステム１００の他のコンポーネントへデータを出力し、他のコンポーネントにさまざまな措置を取らせ得る。他のセキュリティ装置は、さまざまな他の形態を取り得て、さまざまな他のデータも出力し得る。
【０１６０】
別の実装において、データソース１２８は、さまざまなデータソースからの、統計的データなどのトレンドを分析し得る、トレンド分析エンジンを含み得る。そのようなトレンドデータは、さまざまな形態を取り得る。一例として、トレンドデータは、検出された特定のアイテムについての統計的トレンドデータを含み得る。そのようなトレンドデータの例には、識別された、または、識別できないアイテムに関連する、頻度データ、中央値、最頻値、標準偏差、分散、および、他の統計的指標が含まれ得る。例えば、トレンドデータは、特定の種類のラップトップまたはラップトップ全般が分類エンジン１０４によって分類される頻度を示す指標を含み得る。そのようなトレンドデータは、一例として、複数の異なる保安検査場から、および、複数の異なる場所で集められ得る。トレンドデータは、さまざまな他の形態も取り得る。
【０１６１】
トレンド分析エンジンは、トレンドデータをモニタリングし得て、トレンドデータに基づいてアラートを生成し得る。トレンド分析はさまざまな方式で出力を生成し得る。一例として、トレンド分析エンジンは、所与のアイテム、または、アイテムの組み合わせの異常に高いまたは低い頻度を検出することに応答して、コンピュータシステム１００への出力を生成し得る。例えば、トレンド分析エンジンは、所与の空港の保安検査場で、異常に高いパーセンテージのマックブックプロ（登録商標）が識別されたという決定に応答して、出力を生成し得る。別の例として、トレンド分析エンジンは、異常なパーセンテージの非識別アイテムが検出されているという決定に応答して、出力を生成し得る。トレンド分析エンジンは、さまざまな他の出力も生成し得る。
【０１６２】
コンピュータシステム１００のさまざまなパラメータは、トレンド分析エンジンによって生成された出力に基づいて、動的に調整され得る。例として、分類エンジン１０４は、トレンド分析エンジンからの出力に基づいて、さまざまなアイテムまたはアイテムの組み合わせを分類するために、さまざまな閾値感度を調整し得る。コンピュータシステム１００のさまざまな他のパラメータも調整され得る。
【０１６３】
コンピュータシステム１００のこれらの例示的な実装の各々は、数ある他の例の中でも、方法、実装を実行するように構成されている装置、実装を実行するように構成されている装置のシステム、または、実装を実行するために１つまたは複数のプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読媒体などとして具現化され得る。当業者であれば、本開示は、本明細書において説明される例示的な特徴の組み合わせを含む多くの他の実施形態を含むことを理解するであろう。さらに、技法を例示するために、所与の装置によって実行されるものとして説明されている任意の例示的な動作は、本明細書において説明される装置を含む、任意の数の適切な装置によって実行され得る。
【０１６４】
２．セグメンタの例
図２は、本開示に係る例示的なセグメンタの動作を図示する概念図である。図１のコンピュータシステム１００の分類エンジン１０４などの分類エンジンは、アイテムを含む可能性のある、撮像画像の領域を識別するために、図２の技法を実行し得る。図２に関して説明される技法は、例えば、分類エンジン１０４、より具体的には、いくつかの例として、ノーマライザ１１６、およびセグメンタ１２０によって実行され得る。
【０１６５】
高いレベルでは、セグメンタ１２０は、アイテムを含む可能性がある、撮像画像１１４の領域を識別することを試みる。アイテムを含み得るそのような領域を識別するために、セグメンタ１０２はまず、撮像画像から畳み込み特徴マップを生成し得る。セグメンタ１２０は、撮像画像１１４の各位置に、アンカーボックスのセットを反復的に渡し得る。セグメンタ１２０は、重みマトリクスを適用し、所与のアンカーボックスと位置との組み合わせのためのベクトルを生成し得る。セグメンタ１２０は次に、分類マトリクスおよび回帰マトリクスを適用し、所与のバウンディングボックスの中のピクセルが、アイテムの表現を含む可能性があるかどうかを決定し得る。アンカーボックスがアイテムの表現を含む可能性があるとセグメンタ１２０が決定した場合、セグメンタ１２０は、さらなる分析のために、アンカーボックスの内容を分類エンジン１０４へ出力し得る。
【０１６６】
アイテムの表現を含み得る潜在的領域について撮像画像を分析する前に、ノーマライザ１１６は、正規化の形態で前処理を実行し得る。例として、ノーマライザ１１６は、Ｚスコア正規化と称される技法を実行し得る。Ｚスコア正規化は、値のセット（例えば、ピクセル値）を取得し、共通のスケールを有する値、および、１に等しい標準偏差を生じさせる。撮像画像１１４などの撮像画像に対してＺスコア正規化を実行するべく、ノーマライザ１１６はまず、各ピクセルのための追加情報（例えば、原子番号、材料密度、強度、および同様のものなどの、さまざまなメタデータ）と共に、例えば５１２×５１２ピクセルなどのより低い解像度になるように撮像画像をサイズ変更（例えば、ダウンサンプリング）する。次に、ノーマライザ１１６は、すべてのピクセル値の中央値、および、すべてのピクセル値の標準偏差を決定することによって、撮像画像１１４における各ピクセル値をスケール変更する。さまざまな例において、ノーマライザ１１６は、撮像画像１１４のピクセル値に基づくのではなく、訓練データに基づいて、標準偏差値を決定し得る。ノーマライザ１１６は、さまざまな他の方式でも標準偏差値を決定し得る。
【０１６７】
中央値および標準偏差が計算された後に、ノーマライザ１１６は、すべてのピクセル値から中央値を減算し、減算によって求められたピクセル値の差を標準偏差で除算する。減算および除算の結果、１に等しい標準偏差、および、０の平均値を有するピクセル値を有する正規化画像１１８が生じる。ノーマライザ１１６は、さまざまな他の方式でも、撮像画像に対する正規化を実行し得る。
【０１６８】
例示的な正規化画像、例えば、正規化画像１１８は、図２に図示される。正規化画像１１８は、撮像画像１１４より低い解像度を有し得る。図２の例において、正規化画像１１８は、例示的目的のために１２×７ピクセルの解像度を有するように図示される。正規化画像は、図２の例に図示されるものより高い解像度（例えば、５１２×５１２ピクセル）を有し得ることを理解されたい。
【０１６９】
撮像画像１１４の正規化の後に、セグメンタ１２０は、セグメンタ１２０が正規化画像１１８のピクセルに「渡す」アンカーボックスサイズのセットを生成し得る。生成されたアンカーボックスは、さまざまなサイズおよびアスペクト比を有し得る。いくつかの実装において、セグメンタ１２０は、６４×６４、１２８×１２８、および、２５６×２５６ピクセルの寸法を有するアンカーボックスのセットを生成し得る。セグメンタ１２０はまた、いくつかの非限定的な例として、１２８×２５６、２５６×１２８、６４×１２８、１２８×６４、２５６×５１２および５１２×２５６のサイズを有するアンカーボックスを生成し得る。セグメンタ１２０は、さまざまな他の方式で、ならびに、他のサイズおよびアスペクト比でもアンカーボックスを生成し得る。
【０１７０】
図２の例において、セグメンタ１２０は、例示を目的として、アスペクト比２：１（幅対長さ）、寸法２×３のピクセルを有するアンカーボックス２０２を生成した。セグメンタ１２０は、アンカーボックス２０２を撮像画像１１８の各々の可能な位置にピクセル毎に渡し得る。セグメンタ１２０は、いくつかの可能な例として、アンカーボックス２０２を、左から右、上から下の順、またはその逆に各々の可能な位置に渡し得る。
【０１７１】
セグメンタ１２０は、アンカーボックス２０２の各位置において、アンカーボックスの中に含まれるピクセルをニューラルネットワークに渡す。いくつかの例において、セグメンタ１２０のニューラルネットワークは、ＲＰＮを含み得る。ＲＰＮのニューラルネットワークは、一連の畳み込み層およびプーリング層を適用し、畳み込み特徴マップを生成する。セグメンタ１２０は、次に、重みマトリクスを適用し、畳み込み特徴マップのベクトル表現を生成する。
【０１７２】
最後に、ＲＰＮは、分類マトリクスおよび回帰マトリクスをベクトルに適用し、さまざまな出力を生成する。１つのそのような出力は、候補バウンディングボックスである。候補バウンディングボックスを生成するべく、ＲＰＮは、回帰マトリクスを適用し、アンカーボックスと位置との組み合わせのピクセルにおける所与のアイテムに最も良く適合するとＲＰＮが決定したバウンディングボックスの座標および寸法を生成する。
【０１７３】
別のそのような出力は、本明細書において「領域提案スコア」と称され得る分類スコアである。領域提案スコアは、ピクセルのセットがアイテムを含むという、領域提案ネットワークが有する信頼性を示し得る。より具体的には、領域提案スコアは、所与のアンカーボックスの位置によって画定されるピクセルの所与の領域が、アイテムをどれほど良くカプセル化するかを表し得て、比較的、カプセル化されるアイテムの種類に依存しないことがあり得る。さまざまな例において、領域提案スコアは、０と１との間（０と１を含む）であり得る。領域提案スコアは、さまざまな他の方式でも定義され得る。
【０１７４】
図２の例において、正規化画像１１８は、銃の引き金２０４の表現を含む。銃の引き金２０４を表すすべてのピクセルを含むよう、より良く配置された候補バウンディングボックスは、より高い領域提案スコア、すなわち、０より１により近いスコアを生成し得る。
【０１７５】
各々の候補バウンディングボックスについての領域提案スコアを生成することに応答して、セグメンタ１２０は、最も高い領域提案スコアのセットを有する候補バウンディングボックスのセットを決定し得る。いくつかの例において、セグメンタ１２０は、それぞれの領域提案スコアに基づいて、各々の候補バウンディングボックスをソートし得て、最高の領域提案スコアを有する候補バウンディングボックスの閾値数を選択し得る。一例として、候補バウンディングボックスの閾値数は、１０００であり得る。候補バウンディングボックスの閾値の他の数も考えられる。最高の領域提案スコアを有するものとして選択された候補バウンディングボックスは、候補バウンディングボックスと称される。すべての候補バウンディングボックスが決定されると、セグメンタ１２０は、分類のために、閾値を満たす候補バウンディングボックスを分類エンジン１２２へ出力する。
【０１７６】
３．例示的な分類エンジン
【０１７７】
図３は、本開示の実装に係る例示的な分類エンジンの動作を示す概念図である。図３の例において、分類器１２４は、候補バウンディングボックス３０２におけるアイテムまたはアイテムのクラスを識別することを試みる。分類器１２４は、候補バウンディングボックス３０２を入力として受け付ける。候補バウンディングボックス３０２は、ピクセルのセットまたは他のグラフィック要素によって画定され得て、それらをカプセル化し得る。候補バウンディングボックス３０２は、過去に、例えば、セグメンタ１２０によって画定され、出力されたものであり得る。分類器１２４は、それぞれの値を含む確率分布３１０を生成し、その各々は、候補バウンディングボックス３０２がそれぞれのアイテムまたはアイテムのクラスを含むことを示す。
【０１７８】
分類器１２４は、複数の層３０６Ａから３０６Ｎを含むニューラルネットワーク３０４を含み得る。ここで、Ｎは任意の整数である。ニューラルネットワーク３０４は、残差ニューラルネットワークなどのニューラルネットワークを含み得る。分類エンジン１２２のニューラルネットワークは、候補バウンディングボックスによって画定されるピクセルの領域を分析し、そのピクセルまたは表現を、ニューラルネットワーク３０４の各層を網羅するまで、ニューラルネットワーク３０４の「より浅い」層（例えば、層３０６Ａおよび３０６Ｂ）から始まって「より深い」層で終わるニューラルネットワーク３０４に通す。
【０１７９】
ニューラルネットワーク３０４は、候補バウンディングボックス３０２によって画定されるピクセルのセットを入力として取得する。分類エンジン１２２は、候補バウンディングボックスをニューラルネットワーク３０４へ入力する処理の一部として、所与の候補バウンディングボックス、例えば、候補バウンディングボックス３０２によって画定されるピクセルを標準的なサイズまたは解像度にサイズ変更し得る。一例として、分類エンジンは、バウンディングボックスによって画定される所与のピクセルのセットを解像度２２８ｘ２２８のピクセルにサイズ変更し得る。次に分類エンジン１２２は、標準化されたピクセルのセットをニューラルネットワーク３０４に提供する。ニューラルネットワーク３０４の各々の後の層は、前の層と比較して、入力されたピクセルからのますます複雑化する特徴を識別し、各々の後の層は、前の層の表現を、前の層の表現と比較して異なる表現に変換し得る。
【０１８０】
ニューラルネットワーク３０４は、複数の層を含み得る。ニューラルネットワーク３０４のより浅い層は、所与のピクセルのセットから、より低いレベルの（例えば、より単純な）特徴を識別し得て、より深い層は、候補バウンディングボックスから、より高いレベルの（例えば、より複雑な）特徴を識別し得る。各層は、サイズ変更された候補バウンディングボックスのピクセルから特徴を決定し得て、より高いレベルの詳細な特徴をカプセル化する異なる表現となるように表現を変換し得る。より具体的には、ニューラルネットワーク３０４は、畳み込み層およびプーリング層が交互に重なった層のセットを含み得る。ニューラルネットワークの各層は、関連するカーネルの異なるセットを有し得る。
【０１８１】
所与のカーネルを適用するために、ニューラルネットワーク３０４は、隣接するピクセルのセットに対して畳み込み処理を実行する。畳み込み処理は、所与のピクセルを、ピクセルおよびその隣接するピクセルの加重和として表し、各ピクセルの重みは、カーネルマトリクスのセットの要素として定義される。例として、分類ニューラルネットワークの１つまたは複数の層は、所与のピクセルのセットのエッジを先鋭化するために適用され得る、２つの３×３のマトリクスのセットである、改造されたソーベルカーネルを適用し得る。
【０１８２】
プーリング層は、領域のセットを決定してプーリング関数をセットにおける領域の各々に適用することによって、プーリング層への入力によって生成された特徴マップの領域を選択的にダウンサンプリングし得る。プーリング関数のそのような一例は、マックスプーリング関数を含み得る。マックスプーリング関数は、所与の領域から最大値（例えば、特徴マップからの値またはピクセル値）を識別し、最大値を保持し得て、領域におけるすべての他の値を破棄し得る。
【０１８３】
ニューラルネットワーク３０４は、畳み込み層およびプーリング層を交互に重ね得る。各々の後の畳み込み層は、関連する畳み込みを、前のプーリング層の出力に適用し、各プーリング層は、その関連するプーリング関数を、前の畳み込み層の出力に適用する。分類エンジンニューラルネットワークは、ニューラルネットワーク３０４がニューラルネットワークの各層に関連するそれぞれの畳み込みまたはプーリング動作を実行するまで、畳み込みおよびプーリングを交互に実行するこの処理を繰り返す。分類エンジンニューラルネットワークは、すべての畳み込みおよびプーリング動作を適用する出力に基づいて、埋め込みと称される、削減された次元を有する特徴マップのセット、例えば、埋め込み３０８を出力する。埋め込み３０８は、ニューラルネットワークが所与の候補バウンディングボックスのピクセルにおいて検出するさまざまな特徴を表し得る。
【０１８４】
ニューラルネットワークのすべての層がそれぞれの関連する関数を適用すると、分類器１２４は、埋め込みと称される多次元ベクトル、例えば、埋め込み３０８を生成する。埋め込み３０８は、候補バウンディングボックス３０２におけるピクセルのベクトル空間への変換を表す。ベクトル空間は、ニューラルネットワーク３０４が、訓練フェーズの間に識別された特徴のセットに基づいて、候補バウンディングボックスにおいて識別されたさまざまな特徴を表し得る。例として、埋め込み３０８は、ニューラルネットワーク３０４が所与の候補バウンディングボックスにおいて識別した特徴を表す、所与の候補バウンディングボックスの４０９６次元表現を含み得る。埋め込み３０８は、さまざまな他の形態も取り得る。
【０１８５】
ニューラルネットワーク３０４が埋め込み３０８を生成した後に、ニューラルネットワーク３０４は、重みマトリクスを埋め込み３０８に適用し、埋め込み３０８をｎ次元空間におけるベクトルにマッピングし得る。分類器１２４は次に、重みマトリクスの適用によって生じたｎ次元ベクトルに関数を適用し、所与の候補バウンディングボックスにおけるピクセルと、既知のアイテムのさまざまなクラスとの間の類似性を示す確率分布３１０を生成し得る。分類エンジンがｎ次元ベクトルに適用し得る、１つのそのような関数は、ソフトマックス関数であり得る。これは、例えば、すべて０と１の間であって合計が１に等しい確率値のセットを含む、確率分布３１０などの確率分布を生成する。分類器１２４は、確率分布３１０を生成するために、さまざまな他の関数も適用し得る。
【０１８６】
従って、確率分布３１０は、それぞれの信頼値のセットを含み得る。各信頼値は、所与の候補バウンディングボックスと、アイテムのそれぞれのクラスとの間の類似性を示し得る。従って、確率分布３１０は、所与の候補バウンディングボックスが、アイテムのさまざまなクラスのいずれかを含むものとして正しく分類されるという、それぞれの尤度を示す信頼値を含む。確率分布３１０は、１つの確率として、０から１の間の値を含み得る。確率分布３１０の値の合計は、１に等しい合計を有し得る。そのような確率分布の例として、確率分布３１０は、３つの値のセットを含み得る。これらは、ナイフ、銃、ラップトップなど、３つのアイテムのクラスの間の信頼性の間の類似性を示す。本例において、所与の候補バウンディングボックスの内容はラップトップを含み得て、それにより、それぞれの信頼値は、それぞれ、０．０３、０．０１、０．９６であり得る。確率分布３１０は、さまざまな他の形態も取り得る。
【０１８７】
分類器１２４は、閾値より大きい確率を有する、所与のアイテムまたはアイテムのクラスと一致する候補ベース領域を選択し得る。例として、閾値確率値は０．９５であり得る。閾値確率より大きい確率を有する所与の候補バウンディングボックスと一致するアイテムまたはアイテムのクラスの識別に応答して、分類器１２４は、アイテムまたはアイテムのクラスが所与の候補バウンディングボックスにおいて識別されたと決定し得る。所与の候補バウンディングボックスにおける所与のアイテムまたは候補アイテムの識別に応答して、分類器１２４は、識別されたアイテムおよび／またはアイテムのクラスに関連する情報をグラフィック出力ジェネレータ１０８へ出力し、グラフィック出力ジェネレータ１０８に、例えば、グラフィック表現１１２などのグラフィック表現を生成させ得る。分類器１２４は、さまざまな他の方式でも、アイテム、サブアイテム、アイテムのクラス、および同様のものを識別し得る。
【０１８８】
４．分類アイテムについての例示的な動作
図４は、撮像画像からのアイテムを分類するための例示的な動作を図示するフロー図である。これらの動作のいくつかの説明を助けるために、フロー図は、実行され得る動作の組み合わせを説明するように参照され得る。いくつかの場合において、各ブロックは、特定の論理関数、または、処理における段階を実装するべく、プロセッサによって実行可能な命令を含むプログラムコードのモジュールまたは一部を表し得る。プログラムコードは、非一時的コンピュータ可読媒体など、任意の種類のコンピュータ可読媒体に記憶され得る。他の場合において、各ブロックは、特定の論理関数、または、処理における段階を実行するように配線された回路を表し得る。さらに、フロー図に示されるブロックは、特定の実施形態に基づいて、異なる順序に並び替えられ、より少ないブロックに組み合わされ、より多くのブロックに分割され、および／または、削除され得る。
【０１８９】
上記のように、画像データに基づいて識別されたオブジェクトに関連するグラフィック出力を生成するように構成されているコンピュータシステムが本明細書において開示されている。例示の目的で、例示的な機能が、図１のコンピュータシステム１００、および／または、図３のコンピュータシステム３００によって実行されるものとして下に記載されるが、さまざまな他の装置、システム、および／または、プラットフォームが例示的な機能を実行し得ることを理解されたい。
【０１９０】
図４の例において、分類エンジン、例えば、図１における分類エンジン１０４および／またはグラフィック出力ジェネレータ１０８は、方法４００において図示されるブロックの一部または全部を実行し得る。ブロック４０２において、分類エンジン１０４は、検出装置１０２の１つによってスキャンされるオブジェクトを表すデジタル画像、例えば、撮像画像１１４を受信し得る。ノーマライザ１１６は、デジタル画像を受信した後に、例えば、Ｚスコア正規化などの技法を用いて、撮像画像に対して正規化を実行し、正規化画像を生じさせ得る。いくつかの例において、分類エンジン１０４はまた、撮像画像をダウンサンプリングし得る。
【０１９１】
ブロック４０４において、分類エンジン１０４、および、より具体的には、セグメンタ１２０は、例えば、候補バウンディングボックスなど、アイテムを含む可能性があるデジタル画像の領域を決定し得る。セグメンタ１２０は、アンカーボックスのセットを生成し、アンカーボックスのセットの各アンカーボックスを、ブロック４０２において生成された正規化画像の各位置に動かし、ニューラルネットワークを用いて、各々のアンカーボックスと位置との組み合わせを分析し、候補バウンディングボックスを生成し得る。セグメンタ１２０はまた、ニューラルネットワークを用いて、各候補バウンディングボックスについての領域提案スコアを決定し得る。候補バウンディングボックスが十分に高い領域提案スコアを有する場合、セグメンタ１２０は、候補バウンディングボックスを分類エンジン１２２へ出力し得る。
【０１９２】
ブロック４０６において、分類エンジン１０４、および、より具体的には、分類器１２４のニューラルネットワーク３０４は、候補バウンディングボックスを、埋め込み、例えば、図３の埋め込み３０８に変換し得る。埋め込みは、ベクトル空間における領域の表現を含み得る。ベクトル空間は、ニューラルネットワーク３０４が既知のアイテムのクラスの訓練データ画像に基づいて決定した特徴に空間の各次元が対応し得る、多次元空間を含み得る。従って、領域から取得された埋め込みは、予め決定された特徴の各々が、撮像画像の領域に存在する可能性のそれぞれの強さを表し得る。
【０１９３】
ブロック４０８において、分類器１２４のニューラルネットワーク３０４は、候補バウンディングボックスを、所与のアイテムのクラスを含むものとして分類し得る。分類器１２４は、分類器１２４が重みマトリクスを埋め込み３０８に適用することによって生成し得る確率分布３１０に基づいて、既知のアイテムのクラスを含むものとして、領域を分類し得る。分類器１２４は次に、確率分布における、既知のアイテムについての信頼値が、例えば０．９５のような閾値より大きい場合、既知のアイテムを含むものとして領域を分類し得る。分類エンジン１０４は、分類に関連する情報をグラフィック出力ジェネレータ１０８へ出力し得る。
【０１９４】
ブロック４１０において、候補ベース領域がアイテムのクラスを含むという決定に応答して、グラフィック出力ジェネレータ１０８は、アイテムのクラスに基づいて、グラフィック表現、例えば、グラフィック表現１１２を生成し得る。いくつかの実装において、グラフィック出力ジェネレータ１０８は、分類されたアイテムおよび／または分類されたアイテムに関連する情報に基づいて、グラフィック表現１１２を生成し得る。識別されたアイテムに関連する、受信された識別情報は、いくつかの例として、分類されたアイテムの種類、名前またはクラスを示し得る。
【０１９５】
例として、グラフィック出力ジェネレータ１０８が受信し得る、分類されたアイテムについての情報は、アイテムについての型、モデル、または、他の識別子を示し得る。シャンプーのボトルの場合、識別子は単純に「シャンプー」であり得る。しかしながら、拳銃（または、いくつかの実施形態において、拳銃の一部）など、より具体的なアイテムの場合、識別情報は、「拳銃」、または、例えば「スミス＆ウェッソン（登録商標）」などの特定の製造元であり得る。識別情報は、他の形態も取り得る。
【０１９６】
別の例として、識別情報が、分類されたアイテムが拳銃であることを示す場合、グラフィック出力ジェネレータ１０８は、分類されたアイテムの指示を含むグラフィック表現を生成し得る。指示は例えば、一例として、銃のアイコンを含み得る。グラフィック出力ジェネレータ１０８は、撮像画像における識別されたアイテムの配置に対応する位置にある、所与の分類されたアイテムについての、文字またはグラフィックであり得る指示を生成し得る。識別情報に基づいて、識別されたアイテムについての識別子を生成する他の例も考えられる。
【０１９７】
グラフィック出力ジェネレータ１０８はまた、分類されたアイテムに関連する分類情報を受信し得る。受信された分類情報は、１つまたは複数の分類されたアイテムについてのタクソノミー（すなわち、分類）情報を含み得る。タクソノミー情報は、例えば、分類されたアイテムが属するタクソノミー階層の１つまたは複数のレベルを示す文字列を含み得る。分類情報は、他の形態も取り得る。いくつかの実装において、グラフィック出力ジェネレータ１０８は、分類されたアイテムが属するクラスの指示を生成し得る。例として、グラフィック出力ジェネレータ１０８は、クラスの文字によるインジケータを生成し得て、グラフィック表現１１２において、所与の分類されたアイテムに対応する位置にインジケータを配置し得る。
【０１９８】
グラフィック出力ジェネレータ１０８は、所与の識別されたアイテムについての、受信された識別情報および／または分類情報に基づいて、ポリシーエンジン１１０にアクセスし、所与の分類されたアイテムについての、脅威情報などのポリシー情報を取得し得る。脅威情報は、さまざまな例において、識別信頼性の相対的インジケータ（例えば、高、中、もしくは、低、または、パーセンテージ）であり得る。脅威情報はまた、脅威信頼度レベルなど、所与のアイテムの脅威についてのメタデータを示し得る。脅威信頼度レベルは、分類されたアイテムが脅威であるという信頼性を示し得る。いくつかの例において、信頼レベルは、パーセンテージ値（例えば、「９９％」）であり得る。脅威信頼度レベルは、さまざまな他の形態も取り得る。
【０１９９】
さらに他の実装において、受信された情報は、識別信頼レベルの情報を含み得る。識別信頼レベルは、分類エンジン１０４が正しく所与のアイテムを識別する信頼性を示し得る。いくつかの例として、信頼レベルは、識別信頼性の相対的インジケータ（例えば、高、中または低）であり得る。いくつかの例において、信頼レベルは、所与のアイテムを含むものとして領域を分類したときに分類エンジン１０８がどれだけ確信していたかを示すパーセンテージ値であり得る。信頼レベルは、確率分布、例えば、確率分布１２６に基づき得る。信頼レベル情報は、さまざまな他の形態も取り得る。
【０２００】
いくつかの実装において、コンピュータシステム１００は、分類されたアイテムを含むデジタル画像からの、または、他のデジタル画像からの既知のアイテムのサブアイテムまたはコンポーネントを識別することを試み得る。コンピュータシステム１００は、上記のものと同様の技法を利用して、既知のアイテムのサブアイテムまたはコンポーネントを識別し得る。コンピュータシステム１００は、他の機械学習技法を含むさまざまな他の技法も採用し得る。
【０２０１】
いくつかの実装において、コンピュータシステム１００は、アイテムまたはサブアイテムを、それらのアイテムの特性に基づいて分類することを試み得る。サブアイテムまたはコンポーネントは、さまざまなレベルの分類タクソノミーに分類され得る。例として、コンポーネントは、電子装置、「マザーボード」などのより具体的なコンポーネント、または、「ＡＳＵＳ  Ｚ２７０Ｅ」などの特定のコンポーネントとして分類され得る。さまざまな他の分類レベルも考えられる。
【０２０２】
さまざまな実装において、コンピュータシステム１００、より具体的には、分類エンジン１０４は、アイテムに関連する異常を識別するよう試み得る。異常のいくつかの例には、改造されたアイテム、サブアイテムもしくはコンポーネント、または、欠損したサブアイテムもしくはコンポーネントを有するアイテムが含まれ得る。
【０２０３】
いくつかの例において、コンピュータシステム１００は、コンポーネント、アイテムまたはサブアイテムの寸法に基づいて、アイテム、サブアイテム、または、他のコンポーネントが改造されたかどうかを決定し得る。例として、分類エンジン１０４は、検出装置１０２からのデータ、および、撮像画像に基づいて、識別されたアイテム、サブアイテムまたはコンポーネントのジオメトリ寸法を取得し得て、アイテムについての観測された寸法と、そのアイテムまたはアイテムのクラスについての通常寸法とを比較し得る。いくつかの例として、通常寸法は、アイテムデータベース１０６またはポリシーエンジン１１０に記憶され得る。観測された寸法が、許容レベル閾値より大きく通常寸法を超えると分類エンジン１０４が決定した場合、分類エンジン１０４は、所与のアイテム、サブアイテム、または、アイテムのクラスが改造されたと決定し得る。いくつかの例において、分類エンジン１０４は、訓練データの機械学習分析に基づいて、所与のアイテムまたはアイテムのクラスについての通常寸法を決定し得る。他の例において、所与のアイテム、サブアイテム、または、アイテムのクラスについての通常寸法は、ユーザ入力に基づいて決定され得る。さらに他の例において、分類エンジン１０４は、観測されたデータに基づいて、所与のアイテムについての通常寸法を動的に決定し得る。分類エンジン１０４は、さまざまな他の方式でも通常寸法を決定し得る。
【０２０４】
別の実装において、コンピュータシステム１００は、例えば撮像画像に関連するメタデータとして含まれ得る材料特性データに基づいて、アイテム、サブアイテムまたはコンポーネントが異常かどうかを決定し得る。例として、コンピュータシステム１００は、検出装置１０２から、各撮像画像と共に、材料特性データをメタデータとして受信し得る。材料特性データは、撮像画像の各ピクセルまたはさまざまな領域についてのデータを示し得る。材料特性データは、ピクセル、または、ピクセルの領域についての原子番号、材料密度、または、他のさまざまな特性を示し得る。
【０２０５】
分類エンジン１０４は、材料特性データに基づいて、分類されたアイテム、サブアイテムまたはコンポーネントについてのさまざまな特性を決定し得る。例として、分類エンジン１０４は、分類されたアイテムまたはコンポーネントについての材料密度を決定し得る。別の例として、分類エンジン１０４は、所与の分類されたアイテムまたはコンポーネントの中の有機物および無機物のパーセンテージを決定し得る。分類エンジン１０４は、所与の分類されたアイテムまたはコンポーネントについての材料特性データと、例えば、アイテムデータベース１０６に記憶され得る、アイテムまたはコンポーネントについての予め決定された材料特性データとを比較し得る。材料データが、予め決定された材料特性データと閾値マージンだけ異なると分類エンジン１０４が決定した場合、分類エンジン１０４は、所与のアイテムまたはコンポーネントが、改造された、または、欠損したコンポーネントまたはサブアイテムを有すると、従って異常であると決定し得る。
【０２０６】
さまざまな実装において、分類エンジン１０４は、アイテム、サブアイテム、および／またはコンポーネントについて、通常の材料特性、または、ジオメトリ寸法値を適応的に決定し得る。他の例においては、通常の材料特性は、予め定義され得る。通常の材料特性は、さまざまな他の方式でも定義され得る。
【０２０７】
いくつかの実装において、コンピュータシステム１００は、所与のアイテム、サブアイテム、またはコンポーネントが異常であるという決定に応答して、グラフィック表現を生成し得る。グラフィック表現は、異常なアイテム、サブアイテムまたはコンポーネントについてのさまざまな情報を示し得る。
【０２０８】
例として、グラフィック出力ジェネレータ１０８は、改造されたコンポーネント、または、欠損したサブアイテムの配置を示すグラフィック表現を生成し得る。グラフィック表現は、異なるレベルの粒度で、欠損したコンポーネント、または、改造されたサブアイテムの位置を示し得る。例として、グラフィック表現は、欠損したコンポーネントを有するアイテム全体を強調し得るか、または、アイテムの欠損したコンポーネントだけを強調し得る。別の例として、グラフィック出力ジェネレータ１０８は、異常なアイテムに最も良く一致するアイテムの画像を含むグラフィック表現を生成し得る。いくつかの例において、グラフィック出力ジェネレータ１０８は、グラフィック表現において、異常なアイテムと共に、最も良く一致するアイテムの画像を含み得る。さらに他の例において、グラフィック表現は、異常なアイテムに類似したアイテムの複数の画像から取得される合成画像を含み得る。合成画像は、複数の画像からの特徴を単一の画像に組み合わせ得る。例えば、異常なアイテムが「マックブックプロ（登録商標）」である場合、グラフィック表現は、マックブックプロ（登録商標）の合成画像を含み得る。
【０２０９】
別の実装において、異常なアイテム、サブアイテムまたはコンポーネントの識別に応答して生成されるグラフィック表現は、識別されたアイテムのジオメトリ寸法に関連する対照データのさまざまな表現を含み得る。対照データは、異常なアイテムだけでなく、対照のアイテムについての通常のジオメトリ寸法および／または材料組成を指定し得る。対照データは、異常でないアイテムについてのジオメトリ寸法および／または材料対照値および／または値範囲を示し得る。グラフィック表現はまた、異常であると識別されたアイテム、サブアイテムまたはコンポーネントに関連するジオメトリ寸法および／または材料対照データを含み得る。グラフィック出力ジェネレータ１０８は、グラフィック出力ジェネレータ１０８と通信可能なユーザ入力装置からユーザ入力の指示を受信し得て、ユーザ入力の指示に基づいて、更新されたグラフィック表現を生成し得る。例として、ユーザ入力は、グラフィック表現の特定の領域を選択し得て、それに応答して、グラフィック出力ジェネレータ１０８は、選択された領域についての対照データを含む更新されたグラフィック表現を生成し得る。対照データを含むグラフィック表現は、さまざまな他の方式でも生成され得る。
【０２１０】
さらに他の実装において、分類エンジン１０４は、組み合わされたとき、または、関連付けられたとき脅威をもたらす、アイテムのサブアイテムまたはコンポーネントを識別し得て、グラフィック出力ジェネレータ１０８は、識別された組み合わせに基づいて、グラフィック表現を生成し得る。分類エンジン１０４は、領域におけるアイテムの識別に応答して、識別されたアイテムに関連するさまざまなサブアイテムまたはコンポーネントを識別し得る。分類エンジン１０４またはポリシーエンジン１０４は、識別されたサブアイテムおよび／またはコンポーネントのさまざまな組み合わせを決定し得て、組み合わせのいずれかが脅威をもたらすかどうかを決定し得る。グラフィック出力ジェネレータ１０８は、組み合わせに基づいて、グラフィック表現を生成し得る。一例として、９ボルトバッテリは、有機物質およびラップトップと組み合わされた場合、脅威をもたらし得る。分類処理の一部として、９ボルトバッテリ、ラップトップ、十分な有機物質の組み合わせが１つまたは複数の画像に存在するという決定に応答して、グラフィック出力ジェネレータ１０８は、脅威をもたらすアイテムの組み合わせを示すグラフィック表現を生成し得る。別の例として、分類エンジン１０４は、内部に金属片を含み得るケトルを識別し得る。ケトルが識別されたという指示の受信に応答して、グラフィック出力ジェネレータ１０８は、ケトルおよび金属片の組み合わせが識別され、脅威をもたらすことを示すグラフィック表現を生成し得る。さらに他の例として、分類エンジン１０４は、領域をラップトップとして分類し得て、マザーボードがラップトップから欠損している、または、ラップトップが爆発物を含むと、従って、ラップトップが脅威をもたらすと決定し得る。
【０２１１】
別の実装において、分類エンジン１０４は、アイテム、サブアイテムの組み合わせを識別し得て、グラフィック出力ジェネレータ１０８は、ユーザが識別することが困難であり得る、または、人のユーザに伝えることが困難であり得るアイテムの組み合わせのグラフィック表現を生成し得る。そのような複雑な、または、識別困難な組み合わせの識別に応答して、グラフィック出力ジェネレータ１０８は、識別された組み合わせが脅威をもたらすことを示すグラフィック表現を生成し得て、その組み合わせが脅威をもたらすことを示す理由を示し得る。
【０２１２】
アイテム、サブアイテム、またはコンポーネントが異常であるとして分類することに応答して生成されたグラフィック表現は、さまざまな他の形態も取り得る。
【０２１３】
生成されたグラフィック表現は、修正された、または、欠損したサブアイテムが脅威をもたらし得るかどうか、例えば、サブアイテムの修正または欠損にもかかわらずアイテムが安全であるかどうかを示し得る。例として、アイテムの変更が脅威をもたらす場合、グラフィック出力ジェネレータ１０８は、改造されたアイテム、または、欠損したコンポーネントを有するアイテムを強調するグラフィック表現を生成し得て、そうでない場合、改造されたアイテムを強調しないことがあり得る。グラフィック出力ジェネレータ１０８は、識別されたアイテムにおける異常の検出に基づいて、さまざまな他の方式でグラフィック表現を生成し得る。
【０２１４】
図５は、異常を有するアイテムの分類を図示する例示的な概念図である。図５の例において、分類エンジン１０４は、グラフィック図が異常を有すると決定し得る。グラフィック出力ジェネレータ１０８は、決定された異常に基づいて、グラフィック表現５００を生成し得る。
【０２１５】
図５の例において、分類エンジン１０４は、例えば、セグメンタ１２０および分類器１２４を用いて、ラップトップ５０２を識別し得る。ラップトップ５０２は、本例において、２０１５年１５インチ型レティナマックブックプロ（登録商標）を含み得る。ラップトップ５０２の識別に応答して、または、それと並行して、分類エンジン５０２はまた、バッテリ５０４など、ラップトップ５０２のさまざまなサブアイテムまたはコンポーネントを識別し得る。
【０２１６】
分類エンジン１０４は、ラップトップ５０２の各サブアイテムおよびコンポーネントについてのさまざまな情報を決定し得る。分類エンジン１０４は、ラップトップ５０２およびバッテリ５０４における有機物質および無機物質のパーセンテージまたは量などの重要な情報を決定し得る。分類エンジン１０４はまた、ラップトップ５０２およびバッテリ５０４の各々のジオメトリ寸法を決定し得る。分類エンジン１０４は、重要な情報およびジオメトリを、ラップトップ５０２についての許容可能な「通常の」値と比較し得る。分類エンジン１０４は、いくつかの非限定的な例として、ジオメトリ寸法についての正常値、ならびに、アイテムデータベース１０６および／またはポリシーエンジン１１０および／または外部データソース１２８からの重要な情報を決定し得る。
【０２１７】
いくつかの例において、分類エンジン１０４は、訓練データに基づいて、アイテムの材料および／またはジオメトリ寸法についての正常値を決定し得る。他の例において、正常値は、ユーザ入力に基づいて決定され得る。さらに他の例において、正常値は、統計情報に基づいて適応的に決定され得る。いくつかの例において、正常値は、ラップトップのさまざまなモデル、または、ラップトップ５０２に類似したラップトップのクラスなどから取得された値の平均など、統計的指標に基づき得る。所与のアイテムまたはアイテムのクラスについての通常のジオメトリ値は、さまざまな他の方式でも決定され得る。
【０２１８】
図５の例において、ラップトップ５０２はバッテリ５０４を含む。分類エンジン１０４は、いくつかの実装において、ニューラルネットワークを用いて、バッテリ５０４などのサブアイテムを分類し得る。サブアイテムまたはコンポーネントを識別するためのニューラルネットワークは、本明細書において説明される他のニューラルネットワークと同様であり得る。いくつかの実装において、ニューラルネットワークは、セットアイテム、脅威をもたらすアイテム、特定の脅威、および／または、サブアイテムに基づいて訓練され得る。ニューラルネットワークはさまざまな他の方式でも訓練され得る。
【０２１９】
本例において、分類エンジン１０４は、例として、検出装置１０２の検出装置から取得されたラップトップ５０２の撮像画像と共に含まれるメタデータに基づいて、バッテリ５０２が大きすぎると決定し得る。分類エンジン１０４は、さまざまな他の方式でも、バッテリ５０２が大きすぎると決定し得る。バッテリ５０４が大きすぎると決定するために、分類エンジン１０４はまず、バッテリ５０４の寸法をバッテリの正常値と比較し得る。本例において、分類エンジン１０４は、バッテリ５０４の寸法が、類似したバッテリの通常寸法を超えていると決定する。さらに、分類エンジン１０４は、バッテリ５０４の寸法が、類似したバッテリの通常寸法を閾値マージンだけ超えていると決定し得る。
【０２２０】
バッテリが大きすぎるという決定に基づいて、分類エンジン１０４は、グラフィック出力ジェネレータ１０４にグラフィック表現を生成させ得る。いくつかの例において、生成されたグラフィック表現は、バッテリが大きすぎることを示し得る。グラフィック表現は、類似したバッテリと比較した、バッテリの寸法の指示を含み得る。例えば、グラフィック表現は、バッテリ５０４の寸法が８インチ×４インチであり、通常サイズの類似したバッテリが３インチ×４インチであることを示し得る。いくつかの例において、グラフィック出力ジェネレータ１０８は、グラフィック表現において、バッテリ５０４についての重要な情報を含み得る。例えば、グラフィック表現は、バッテリが８０％有機物質、２０％金属であることを示し得て、これは類似したバッテリの通常範囲内であり得る。いくつかの例において、グラフィック表現は、ラップトップ５０２および／もしくはバッテリ５０４などのアイテムの、材料組成の棒グラフなどの視覚化ならびに／または寸法を含み得る。他の視覚化も考えられる。グラフィック表現はまた、バッテリ５０４の領域を強調し得る。グラフィック出力ジェネレータ１０８は、さまざまな他の方式でもグラフィック表現を生成し得る。
【０２２１】
５．グラフィック表現の生成についての例示的な動作
図６は、オブジェクト識別に関連するグラフィック出力を生成するための動作を図示するフロー図である。これらの動作のいくつかの説明を助けるために、フロー図は、実行され得る動作の組み合わせを説明するように参照され得る。いくつかの場合において、各ブロックは、特定の論理関数、または、処理における段階を実装するべく、プロセッサによって実行可能な命令を含むプログラムコードのモジュールまたは一部を表し得る。プログラムコードは、非一時的コンピュータ可読媒体など、任意の種類のコンピュータ可読媒体に記憶され得る。他の場合において、各ブロックは、特定の論理関数、または、処理における段階を実行するように配線された回路を表し得る。さらに、フロー図に示されるブロックは、特定の実施形態に基づいて、異なる順序に並び替えられ、より少ないブロックに組み合わされ、より多くのブロックに分割され、および／または、削除され得る。
【０２２２】
上記のように、画像データに基づいて識別されたオブジェクトに関連するグラフィック出力を生成するように構成されているコンピュータシステムが本明細書において開示されている。例示の目的で、例示的な機能が、図１のコンピュータシステム１００によって実行されるものとして下に記載されるが、さまざまな他の装置、システム、および／または、プラットフォームが例示的な機能を実行し得ることを理解されたい。
【０２２３】
図６の例において、図１のコンピュータシステム１００などのコンピュータシステムは、方法６００において図示されるブロックを実行し得る。ブロック６０２において、グラフィック出力ジェネレータ１０８は、例えば、検出装置１０２の１つなどの検出装置によってスキャンされたオブジェクトを表すデジタル画像を受信し得る。グラフィック出力ジェネレータ１０８は、分類エンジン１０４からデジタル画像を受信し得て、一方、分類エンジン１０４は、検出装置１０２の１つからデジタル画像を受信し得る。
【０２２４】
上記のように、分類エンジン１０４は、デジタル画像において、１つまたは複数のアイテムを識別し得る。分類エンジン１０４は、１つまたは複数の識別されたアイテムに関連するアイテム識別データをグラフィック出力ジェネレータ１０８に出力し得る。
【０２２５】
ブロック６０４において、グラフィック出力ジェネレータ１０８は、オブジェクトの画像において識別されたアイテム（ここでも、アイテムおよびサブアイテムは互換的に使用され得る）を示す情報を受信し得る。さまざまな実装において、受信された情報は、例えば、識別されたアイテムに対応する境界情報および／または位置情報などのジオメトリ情報を含み得る。境界情報は、識別されたアイテムを囲むバウンディングポリゴンを形成する座標のセットまたは頂点のセット、および、識別されたアイテムの位置を示し得る１つまたは複数の座標のセットを含み得る。ジオメトリ情報の他の例も考えられる。
【０２２６】
ブロック６０６で、グラフィック出力ジェネレータ１０８は、識別されたアイテムについてのアイテムデータを受信し得る。識別されたアイテムの例は、いくつかの非限定的な例として、分類およびポリシーメタデータ、ポリシーデータ（例えば、ポリシーエンジン１１０から）、アイテム識別データ（例えば、アイテムデータ１０６または分類エンジン１０４から）などのメタデータを含み得る。
【０２２７】
識別されたアイテムに対応する、受信された識別データは、識別されたアイテムの種類、名前またはクラスを示し得る。例として、受信された情報は、識別されたアイテムの型、モデルまたは他の識別子を示し得る。シャンプーのボトルの場合、識別子は単に「シャンプー」または「ボトル」であり得る。しかしながら、拳銃などの、より具体的、および／または、より脅威的なアイテムの場合、識別情報は、「拳銃」、または、例えば「スミス＆ウェッソン（登録商標）」などの具体的な製造元であり得て、または、いくつかの場合においては、例えばスミス＆ウェッソン（登録商標）の「Ｍ＆Ｐ（登録商標）９Ｍ２．０インチ」ピストルなどの具体的な銃の種類であり得る。識別データは、他の形態も取り得る。
【０２２８】
グラフィック出力ジェネレータ１０８は、受信されたアイテム識別データに基づいてグラフィック表現を生成し得る。例として、拳銃（または、いくつかの実施形態においては、拳銃の一部でもよい）を識別する識別データをアイテムデータが含む場合、グラフィック出力ジェネレータ１０８は、銃のアイコンを生成し得て、アイコンを含むグラフィック表現を生成し得る。グラフィック出力ジェネレータ１０８は、撮像画像における識別されたアイテムの位置に対応する位置に、所与のオブジェクトについての文字またはグラフィックによる識別子を生成し得る。識別データに基づいて、識別されたアイテムについての識別子を生成する他の例も考えられる。
【０２２９】
グラフィック出力ジェネレータ１０８はまた、撮像画像において１つまたは複数の識別されたアイテムについての分類データを受信し得る。受信された分類データは、１つまたは複数の識別されたアイテムについてのタクソノミー（すなわち、分類）データを含み得る。タクソノミーデータは、例えば、識別されたアイテムが属する階層の１つまたは複数のレベルを示す文字列を含み得る。分類データは、他の形態も取り得る。いくつかの実装において、グラフィック出力ジェネレータは、識別されたアイテムのうちの１つまたは複数が属するタクソノミークラスの指示を生成し得る。例として、グラフィック出力ジェネレータ１０８は、タクソノミークラスの文字によるインジケータを生成し得て、グラフィック表現１１２における所与の識別されたアイテムに対応する位置にインジケータを配置し得る。
【０２３０】
所与の識別されたアイテムについての受信された識別データおよび／または分類データに基づいて、グラフィック出力ジェネレータ１０８は、ポリシーエンジン１１０にアクセスし、所与の分類されたアイテムについての、脅威データを含み得るポリシーデータを取得し得る。脅威データは、分類についての信頼レベルを含み得る。信頼レベルは、所与のアイテムが正しく分類された可能性を分類エンジン１０４がどれだけ確信しているかを示す。さまざまな例において、信頼レベルは、識別信頼性の相対的インジケータであり得る（例えば、高、中もしくは低、またはパーセンテージなど）。また、脅威データは、脅威信頼度レベルなど、所与のアイテムの脅威についてのメタデータを示し得る。脅威信頼度レベルは、所与の識別されたアイテムが脅威であったと分類エンジンが決定した信頼性を示し得る。いくつかの例において、信頼レベルは、所与のアイテムを識別するとき、分類エンジン１０８がどれほど確信しているかを示すパーセンテージ値であり得る。脅威信頼度レベルは、さまざまな他の形態も取り得る。
【０２３１】
さらに他の実装において、受信された、所与のアイテムについてのアイテムデータは、識別信頼レベルの情報を含み得る。識別信頼レベルは、分類エンジン１０４が所与のアイテムを正しく識別したことの信頼性を示し得る。いくつかの例として、信頼レベルは、識別信頼性の相対的インジケータ（例えば、高、中または低）であり得る。いくつかの例において、信頼レベルは、所与のアイテムを識別したときに分類エンジン１０８がどれほど確信していたかを示すパーセンテージ値であり得る。受信された識別信頼レベルの情報はさまざまな他の形態も取り得る。
【０２３２】
さらに別の実施形態において、信頼レベルは、アイテムが遮られる程度、重なっているアイテムの数、アイテムと他の既知のアイテムまたはアイテムのタクソノミーとの類似性、所与のアイテムの珍しさ、または、信頼レベルを増加、低下、または強化し得る複数の他の要因を考慮し得る。また、信頼レベルは、Ｘ線または他の透過する波もしくは場が複数のアイテムをイメージングできる程度を考慮し得て、そのような波または場がアイテムを透過できないことを示すために低下し得て、このことは、数ある他の要因の中で、高い密度または原子番号のアイテムまたはオブジェクトが密に詰め込まれることによって引き起こされ得る。信頼性は、オブジェクトの、既知のオブジェクトとの類似性と無関係であり得る。なぜなら、別の実施形態において、分類エンジンは、アイテムの改造バージョンを認識し得るからである。さらに別の実施形態において、システムは、アイテムの提案されたタクソノミーに従って、さまざまな分類について、異なる信頼レベルを指定し得て、一実施形態において、電子機器の厳密な型およびモデルについての信頼レベル、および、例えば、それがラップトップであるかどうかの別の信頼レベルを指定し得る。さらに別の実施形態において、信頼レベルは、事前訓練済みのニューラルネットワークの順伝播によって生成され得る。さらなる別の実施形態において、信頼レベルは、訓練済み非ニューラルネットワーク機械学習技法によって生成され得る。さらなる別の実施形態において、信頼レベルは、アイテムのジオメトリのセグメンテーションの信頼性とは別に、アイテムの分類の信頼性を表し得る。さらなる別の実施形態において、信頼レベルは、分析の時間、保安検査場の場所、および、分析のプロセスにあり得るアイテムに関連するインテリジェンスチャッタ（ｉｎｔｅｌｌｉｇｅｎｃｅ  ｃｈａｔｔｅｒ）に基づいて、手動で、動的に、または、アルゴリズムによって調整され得る。さらなる別の実施形態において、信頼レベルは、アイテムの分類、分析されているエリア、または、分析されている個々のピクセルに関連し得る。さらなる別の実施形態において、信頼レベルは、分類アイテム、連続エリア、および／または、互いに近接する複数のアイテムもしくはエリアに関連する材料特性に関連し得る。
【０２３３】
ブロック６０８において、グラフィック出力ジェネレータ１０８は、ディスプレイで出力するために、受信されたアイテムデータに基づいて、識別されたアイテムに対応するグラフィック表現（例えば、グラフィック表現１１２）を生成し得る。グラフィック表現は、識別されたアイテムの位置を示し得て、生成されたグラフィック表現は、識別されたアイテムに対応するデジタル画像の少なくとも一部を含み得る。グラフィック出力ジェネレータ１０８によって生成されたグラフィック表現の例示的な概念図は、図７から図１４および図１６に関してここで説明する。
Ａ．グラフィック表現の指示
【０２３４】
「指示」と称される、さまざまなビジュアル要素を含むグラフィック表現を生成するさまざまな例をここで説明する。
【０２３５】
図７は、識別されたアイテムのグラフィック表現の例示的な概念図を図示する。図７は、グラフィック出力ジェネレータ１０８が、バウンディングポリゴンなどのグラフィック指示、および、信頼レベルの指示を含む文字によるインジケータを生成し得る実装の例を図示する。図７の実装において、グラフィック出力ジェネレータ１０８は、識別されたアイテムについてのジオメトリデータを分類エンジン１０４から受信し得る。受信されたジオメトリデータに基づいて、グラフィック出力ジェネレータ１０８は、識別されたアイテムに対応するバウンディングポリゴン７０２を含むグラフィック表現７００を生成し得る。
【０２３６】
図７において図示される例において、グラフィック出力ジェネレータ１０８は、識別されたアイテムについての１つまたは複数の考えられるジオメトリを受信し得る。アイテムに基づいて、グラフィック出力ジェネレータ１０８は、受信された、アイテムを含むオブジェクトの撮像画像に基づくグラフィック表現７００を生成する。グラフィック出力ジェネレータ１０８は、分類エンジン１０８が拳銃７０２、靴７０４およびラップトップ７０６を識別したことを示す識別情報を受信し得る。グラフィック出力ジェネレータ１０８は、これらの識別されたアイテムの各々についての位置および／または境界情報を示すジオメトリデータを含み得る情報を受信し得る。図７の例において、グラフィック出力ジェネレータ１０８は、受信された、拳銃７０２についてのジオメトリデータに基づいて、拳銃７０２を囲むバウンディングポリゴンを生成する。いくつかの例において、グラフィック出力ジェネレータ１０８が生成するバウンディングポリゴンは、図７に図示されるように、識別されたアイテムの輪郭をたどり得る。他の例において、バウンディングポリゴンは、バウンディング矩形またはバウンディングボックスであり得る。バウンディングポリゴンの境界は、さまざまな例において、実践または破線であり得る。さまざまな例において、グラフィック出力ジェネレータ１０８は、識別されたアイテムを強調するために、点滅するグラフィック表現を生成し得る。
【０２３７】
図７の例において、グラフィック出力ジェネレータ１０８はまた、拳銃７０２、靴７０４、および／または、ラップトップ７０６についての識別データを受信し得る。識別されたアイテムの各々についての受信された識別データに基づいて、グラフィック出力ジェネレータ１０８は、識別された拳銃７０２に対応する文字によるインジケータ７０８を生成し得る。本例において、文字によるインジケータは、「ピストル」と表示する。さまざまな他の例において、文字によるインジケータは、いくつかの例として、識別データで受信された、名前、クラス、脅威レベル、分類信頼レベル（例えば、「９９％」）、または、脅威信頼度レベルを含み得る。文字による指示は他の形態も取り得る。
【０２３８】
実施形態において、アイテム７０２、７０４および７０６がコンピュータシステム１００によって分類されたと仮定すると、オペレータは、識別された、スキャン画像の特定のアイテム（または、分類されたアイテムを含むエリア）の間で移動または切り替えることができる。オペレータは、キーボード、タッチスクリーン、または、コンピュータシステム１００へのいくつかの他の入力機構を用いて、拳銃７０２などの単一のアイテムをディスプレイ画面上に示す（またはズームする）ことができる。次に、オペレータに対して、アイテム７０２についてのより多くの情報を画面上に提供できる。いくつかの実施形態において、オペレータは、それを所望する場合、特定のアイテムを再スキャンする（例えば、拳銃７０２を再スキャンする）ようにコンピュータシステム１００に要求し得て、その結果、アイテムについてのさらなる情報が収集され得る。同様にオペレータは、靴７０４およびラップトップ７０６についてのより多くの情報（例えば、靴の種類、または、ラップトップの種類）が必要である場合、それらのアイテムに切り替え得る。いくつかの実施形態において、オペレータは、特定の領域を処理するように分類エンジン１０４に要求し得る。さらに他の実施形態において、オペレータは、個々のアイテムまたは領域に関連する、分類エンジン１０４からのさらなる識別メタデータを見ることを要求し得る。いくつかの実施形態において、オペレータは、領域またはアイテムに関連する、分類エンジン１０４からのさらなる可能な分類を見ることを選択し得る。
【０２３９】
図８は、識別されたアイテムを含む、生成されたグラフィック表現の例示的な概念図を図示する。より具体的には、図８は、撮像画像の特定の領域を強調して他の領域の強調を抑える指示を含むグラフィック表現８００を生成する実装の例を図示する。図８に図示される例示的な実装において、グラフィック出力ジェネレータ１０８は、ポリシーエンジン１１０および／または分類エンジン１０４からアイテム情報を受信し得る。アイテムデータは、さまざまな識別されたアイテムについての、分類エンジン１０４からの識別データ、ジオメトリデータおよびメタデータを含み得る。これらの識別されたアイテムは、拳銃８０２、靴８０４およびラップトップ８０６を含み得る。受信されたアイテムデータに基づいて、グラフィック出力ジェネレータ１０８は、ポリシーエンジン１１０からの脅威データにアクセスし、識別されたアイテムについての脅威レベルを決定し得る。受信された脅威データに基づいて、グラフィック出力ジェネレータ１０８は、拳銃８０２が高い脅威をもたらし、靴８０４が低い脅威をもたらし（例えば、安全である）、ラップトップ８０６が中程度の脅威をもたらすと決定し得る。
【０２４０】
識別されたアイテムの各々についての脅威の決定に応答して、グラフィック出力ジェネレータ１０８は、識別されたアイテムの一部または全部の脅威のグラフィック指示を生成し得る。一例として、グラフィック出力ジェネレータ１０８は、ヒートマップを生成し得る。ヒートマップは、より目立つ色彩または彩度を有する周辺領域を用いて、高い脅威を有するアイテムを表す勾配（例えば、色勾配または同様のもの）を含み得て、より低い脅威のアイテム、または、安全なアイテムを、より目立たない色彩または彩度を用いて表し得る。ヒートマップを構成する、さまざまな他の潜在的な色彩またはグラフィック表現も考えられる。
【０２４１】
図８の例において、グラフィック出力ジェネレータ１０８は、拳銃を囲む領域の上または背後に暗い四角形を配置することによって、拳銃を強調する指示を生成する。グラフィック出力ジェネレータ１０８は、ラップトップの周囲のより明るい四角形を含む指示を生成する。靴は脅威をもたらさないことがあり得るので、グラフィック出力ジェネレータ１０８は、靴を囲む領域を生成しないことがあり得る。
【０２４２】
図８に図示されない別の実装において、グラフィック出力ジェネレータ１０８は、１つまたは複数の所与の識別されたアイテムについての決定された脅威データに基づいて、１つまたは複数の識別されたアイテムについての文字による表現を含む指示を生成し得る。文字による表現は、各アイテムの脅威を示し得る。一例として、グラフィック出力ジェネレータ１０８は、拳銃８０２に近いエリアにおいて、「高」、または、高い脅威レベルを示す別の値、例えば、高いパーセンテージ値を表示する文字による表現を生成し得る。別の例として、グラフィック出力ジェネレータ１０８は、脅威でないアイテムについての文字による指示を生成し得る。例として、グラフィック出力ジェネレータ１０８は、靴８０４が脅威をもたらさないと決定し得て、靴が脅威をもたらさない、すなわち、安全であるという、靴に対応する文字による表現を生成し得る。グラフィック出力ジェネレータ１０８は、靴８０４およびラップトップ８０６についての脅威レベルの指示も生成し得る。いくつかの例において、グラフィック出力ジェネレータ１０８は、脅威でないことがあり得ると分類エンジン１０４が決定した、識別されたアイテムについての脅威レベルを生成しないことがあり得る。
【０２４３】
図９は、識別されたアイテムのグラフィック表現の生成の例を図示する。より具体的には、図９は、撮像画像のエリアを不明瞭化するグラフィック表現９００を生成する実装の例を図示する。グラフィック出力ジェネレータ１０８は、さまざまな方式で、グラフィック表現の領域を不明瞭化するグラフィック表現を生成し得る。
【０２４４】
図９において図示される実装の例において、グラフィック出力ジェネレータ１０８は、識別されたアイテムを含む、オブジェクトの撮像画像を受信し得る。撮像画像の受信に加えて、グラフィック出力ジェネレータ１０８は、識別されたアイテムに関連する情報を受信し得る。アイテムデータは、識別されたアイテムについてのメタデータ、ジオメトリデータ、分類データ、脅威データおよび同様のものなどの情報を含み得る。グラフィック出力ジェネレータ１０８は、例えば、いくつかの非限定的な例として、分類エンジン１０４、ポリシーエンジン１１０、および／または、アイテムデータベース１０６からアイテムデータを受信し得る。
【０２４５】
図９の例において、グラフィック出力ジェネレータ１０８は、受信されたアイテムデータに基づいて、受信された画像に存在する１つの識別されたアイテムが拳銃９０２であると決定し得る。本実装において、グラフィック出力ジェネレータ１０８は、例えばポリシーエンジン１１０からのポリシーデータに基づいて、例えば拳銃９０２などの識別されたアイテムに関連する脅威レベルを決定し得る。ポリシーデータに基づいて、グラフィック出力ジェネレータ１０８は、拳銃９０２が比較的高い脅威レベルを有すると決定し得る。一方、グラフィック出力ジェネレータ１０８は、例えば、さまざまなエリア、または、さまざまなエリアにおける他のアイテムを、それらのエリアにおける識別されたアイテムの脅威レベルに基づいて不明瞭化し得るグラフィック表現９００などのグラフィック表現を脅威レベルに基づいて生成し得る。
【０２４６】
いくつかの例において、識別されたアイテムが高い脅威レベルを有するという決定に応答して、グラフィック出力ジェネレータ１０８は、高い脅威レベルを有する識別されたアイテムを囲む領域を強調し、識別されたアイテムに関連していないエリアの強調を抑えるグラフィック表現を生成し得る。図９の例において、グラフィック出力ジェネレータ１０８は、拳銃９０２に関連していない領域を不明瞭にするマスクを生成する。マスクは、拳銃９０２に関連する領域の上では透明であり得て、識別された拳銃９０２に対応していないエリアを不明瞭化する。グラフィック出力ジェネレータ１０８は、分類エンジン１０４から受信されたバウンディングデータに基づいて、識別されたアイテムに関連する領域を決定し得る。
【０２４７】
この実装のいくつかの例において、グラフィック出力ジェネレータ１０８は、識別された高い脅威のアイテムに関連していない領域（例えば、安全なアイテム）を透明にし、識別されたアイテムに関連する領域を透明にしないグラフィック表現を生成し得る。グラフィック出力ジェネレータ１０８は、識別された高い脅威のアイテムに対応する、透明または非透明な領域も生成し得る。
【０２４８】
グラフィック出力ジェネレータ１０８は、脅威データ以外の情報に基づいて、他の方式でも、領域を強調し、強調を抑え、ならびに／または、不明瞭し得ることを理解されたい。
Ｂ．識別されたアイテムおよびサブアイテムに基づくグラフィック表現の生成
【０２４９】
図１０は、識別されたアイテムを含む、生成されたグラフィック表現の例示的な概念図を図示する。実装において、グラフィック出力ジェネレータ１０８は、所与のアイテムのサブアイテムの識別に応答して、グラフィック表現を生成し得る。図１０の例において、分類エンジン１０４は、検出装置１０２の１つから受信されたオブジェクトの画像を分析する。分類エンジン１０４は、分析に基づいて、拳銃のコンポーネントであるサブアイテム１０２、より具体的には、拳銃の引き金を識別する。しかしながら本例において、分類エンジン１０４は、組み合わされて拳銃全体を形成し得る、アイテムまたはサブアイテム（本明細書においてはコンポーネントとも称される）を識別していないことがあり得る。
【０２５０】
他の実施形態において、グラフィック出力ジェネレータ１０８は、アイテムの識別に応答して、グラフィック表現を生成し得る。これは、アイテムの上または横にオーバーレイとして表示され得る。さらなる他の実施形態において、グラフィック出力ジェネレータ１０８は、識別されたアイテムに対応する既知のアイテムの画像、識別されたアイテムに対応する既知のアイテムのクラスの画像、所与の領域を伴う、識別されたクラスに対応する既知のアイテムのクラスの画像を含むさまざまな表現を表示し得る。さらなる他の実施形態において、表現は、３次元モデル、回転３次元モデル、または、同時または連続的な複数の表現の表示の形態を取り得る。
【０２５１】
グラフィック出力ジェネレータ１０８は、サブアイテム１０２が識別されたことを示すアイテムデータ、および、撮像画像がサブアイテム１０２の表現を含むことを示すデータを分類エンジン１０４から受信し得る。アイテムデータは、サブアイテムの配置、サブアイテムのジオメトリデータ、分類データ、ポリシーデータ、メタデータ、および、上記の他の情報を示し得る。グラフィック出力ジェネレータ１０８は、受信されたアイテムデータに基づいて、サブアイテム１０２の位置を強調する、サブアイテムの表現を含むグラフィック表現１００を生成し得る。
【０２５２】
いくつかの実装において、グラフィック出力ジェネレータ１０８はまた、例えば、アイテムデータベース１０６または分類エンジン１０４から取得されたアイテムデータに基づいて、サブアイテムがコンポーネントであるアイテムを決定し得る。グラフィック出力ジェネレータ１０８は、サブアイテムが属するアイテムまたはアイテムのクラス（この場合、拳銃）のグラフィック表現１０４を生成し得る（いくつかの場合、サブアイテムが属する、銃の具体的な種類が表示され得る）。いくつかの例において、グラフィック出力ジェネレータ１０８は、グラフィック表現１００において図示される画像においてアイテムのグラフィック表現がサブアイテムの位置と揃うように、サブアイテムが属するアイテムのグラフィック表現を生成し得る。
【０２５３】
図１０は、グラフィック表現１０００を含み、一方、グラフィック表現１０００は、拳銃１００４のグラフィック表現を含む。さまざまな例において、グラフィック出力ジェネレータ１０８は、サブアイテムが属するアイテムのグラフィック表現と比較すると異なる、サブアイテムのグラフィック表現を生成し得る。例として、図１０において、拳銃のグラフィック表現は、サブアイテムである引き金のグラフィック表現と比較すると（例えば色が）異なる。
【０２５４】
いくつかの実装において、グラフィック出力ジェネレータ１０８は、異なるオブジェクトにおいて、例えば、２つの異なる鞄において、アイテムの複数のコンポーネントが分類エンジン１０４によって識別されたという指示を受信し得る。そのような場合、グラフィック出力ジェネレータは、識別されたサブアイテムの各々の表現または画像を複合グラフィック表現に組み合わせたグラフィック表現を生成し得る。アイテムおよびサブアイテムのグラフィック表現は、さまざまな他の形態も取り得る。
【０２５５】
図１１は、識別されたアイテムの生成されたグラフィック表現の例示的な概念図を図示する。図１１に図示された実装の例において、グラフィック出力ジェネレータ１０８は、異なる複数のオブジェクトの画像から識別されたアイテムまたはサブアイテムに基づいて、グラフィック表現を生成し得る。この実装において、グラフィック出力ジェネレータ１０８は、グラフィック表現を生成し得て、一方、グラフィック表現は、少なくとも２つの異なるスキャン画像から識別された複数のサブアイテム、および／または、複数のサブアイテムが属するアイテムのグラフィック表現を含む。
【０２５６】
より具体的には、グラフィック出力ジェネレータ１０８は、第１オブジェクトの第１画像を受信し得る。第１画像は、第１の識別されたサブアイテムの表現を含み得る。グラフィック出力ジェネレータ１０８はまた、第２オブジェクトの撮像画像を受信し得る。第２オブジェクトは、第２サブアイテムの表現を含み得る。第１オブジェクトおよび第２オブジェクトは、異なるスキャン装置または同じスキャン装置によってスキャンされ得る。
【０２５７】
図１１の例において、グラフィック出力ジェネレータ１０８は、グラフィック表現１１３０を生成する。グラフィック出力ジェネレータ１０８は、分類エンジン１０４から受信されたアイテムデータ、および／または、ポリシーデータベース１１０から受信されたポリシーデータに基づいて、グラフィック表現１１３０を生成し得る。グラフィック出力ジェネレータ１０８は、受信されたアイテムデータに基づいて、第１撮像画像１１００から、銃床であるサブアイテム１１１２を、第２撮像画像１１２０から、銃の引き金であるサブアイテム１１２２を識別し得る。
【０２５８】
グラフィック出力ジェネレータ１０８は、識別されたサブアイテムに基づいて、銃床１１１２および銃の引き金１１２２が属し得る、銃または銃のクラスの表現を含むグラフィック表現１１３０を生成し得る。グラフィック表現１１３０はまた、第１撮像画像１１１０からの銃床１１１２、および、第２撮像画像１１２０からの銃の引き金１１２２を含む。グラフィック表現１１３０はまた、銃床１１１２および銃の引き金１１２２が銃１１０２において位置する、または、配置される場所を示す。
【０２５９】
グラフィックジェネレータ１０８は、複数の異なるさまざまな他の方式でも、識別されたアイテムまたはサブアイテムに基づくグラフィック表現を生成し得る。別の実装において、グラフィック出力ジェネレータ１０８は、第１および第２のサブアイテムが２つの別個の画像において識別されたと決定し得る。この決定に応答して、グラフィック出力ジェネレータ１０８は、識別されたアイテムを各々が含む複数のグラフィック表現を生成し得る。グラフィック出力ジェネレータ１０８は、各画像のために、それぞれのグラフィック表現の間で切り替え、または、変更し得る。いくつかの例において、グラフィック出力ジェネレータ１０８は、ユーザ入力の指示の受信に応答して、生成されたグラフィック表現の間で変更し得る。グラフィック出力ジェネレータ１０８は、異なるオブジェクトおよび／または異なる画像において検出されたサブアイテムのグラフィック表現をさまざまな他の方式でも生成し得る。
Ｃ．ユーザ入力に応答するグラフィック表現の生成 
【０２６０】
図１２は、グラフィック出力ジェネレータ１０８によって生成されたグラフィック表現の例示的な概念図を図示する。図１２は、ユーザ入力の指示を受信することに応答して、グラフィック出力ジェネレータ１０８がグラフィック表現を生成し得る、例示的な実装を図示する。
【０２６１】
図１２の例において、グラフィック出力ジェネレータ１０８はまず、グラフィック表現１２００を生成し、一方、グラフィック表現１２００は、３つの識別されたアイテムである、ピストル１２０２、靴１２０４、ラップトップ１２０６のグラフィック表現を含む。グラフィック出力ジェネレータ１０８は、分類エンジン１０４からの識別データおよび画像データなどのさまざまなアイテムデータの受信に応答して、グラフィック表現１２００を生成し得る。
【０２６２】
グラフィック出力ジェネレータ１０８がグラフィック表現１２００を生成した後に、ユーザがグラフィック表現１２００を見ることがあり得る。ユーザは、グラフィック表現１２００の内容に基づいて、グラフィック表現１２００の所与の領域をさらに詳細に見ることを望み得る。所与の領域をさらに詳細に見るために、ユーザは、例えば、コンピュータシステム１００に結合され得る、タッチパッド、コントロールパネル、ボタン、キーボード、マウス、または同様のものなどの入力装置を用いて入力コマンドを発行し得る。
【０２６３】
グラフィック出力ジェネレータ１０８は、ユーザ入力の指示を受信し得て、指示に基づいて、ユーザがさらに詳細に見ることを望むグラフィック表現１２００の領域を決定し得る。グラフィック表現の決定された領域に基づいて、グラフィック出力ジェネレータ１０８は、グラフィック表現のより詳細なバージョンを生成し得る。グラフィック表現のより詳細なバージョンは、決定された領域についての、追加の、または、より高い解像度のピクセル、ポリゴン、テクスチャ、または、他の画像データを含み得る。グラフィック表現のより詳細なバージョンはまた、文字またはグラフィック指示、追加の過去に見えなかったオブジェクトのグラフィック表現、または、他の追加のグラフィック要素を含み得る。コンピューティングシステム１００のユーザは、グラフィック表現１２００など、グラフィック表現のより詳細なバージョンを生成することによって、決定された領域をより精密に検討し、決定された領域におけるアイテムを識別することが可能であり得る。
【０２６４】
図１２の例において、所与のスキャンされたオブジェクトまたはシーンについてのデータの受信に応答して、グラフィック出力ジェネレータ１０８は、グラフィック表現１２００を生成し得る。グラフィック表現１２００は、ピストル１２０２、靴１２０４、および、ラップトップ１２０６を含む、識別されたアイテムのグラフィック表現を含む。ユーザは、グラフィック表現１２００を見ることがあり得て、ピストル１２０２のグラフィック表現を含む、グラフィック表現１２００の左上の隅など、所与の領域を示すユーザ入力を発行し得る。入力装置は、ユーザ入力をグラフィック出力ジェネレータ１０８に中継し得る。
【０２６５】
ユーザ入力の受信に応答して、グラフィック出力ジェネレータ１０８は、指示された、グラフィック表現１２００の左上の隅のより詳細なグラフィック表現１２１０を生成し、より詳細なグラフィック表現１２１０を生じさせ得る。グラフィック表現１２１０は、より高い解像度であり得て、グラフィック表現１２００と比較して、追加のグラフィック要素、詳細、および／または、指示を含み得る。なぜなら、より詳細なグラフィック表現１２１０、例えば、グラフィック表現１２１０では、追加の占有されていない視覚空間が利用可能であり得るからである。一例として、グラフィック出力ジェネレータ１０８は、所与の識別されたアイテムについての、さらなる文字またはアノテーションまたはグラフィック要素を生成し得る。図１２の例において、グラフィック出力ジェネレータ１０８は、ピストル１２０２についてのバウンディングポリゴンを含む第１アノテーション１２１２と、ピストル１２０２についての文字によるアノテーションを含む第２アノテーション１２１４とを追加する。
【０２６６】
別の例として、所与のエリアにズームインするためのユーザ入力の受信に応答して、グラフィック出力ジェネレータ１０８は、グラフィック表現、例えば、グラフィック表現１２１０のより詳細なバージョンにおいて、追加の識別された、および／または、識別されていないアイテムを含み得る。例として、グラフィック出力ジェネレータ１０８は、ズームアウトされたグラフィック表現においてこれまで表示されなかった追加のアイテムを示し得る。そのようなアイテムのいくつかの例は、分類エンジン１０４によって安全であると、または、安全閾値未満であると決定されたアイテムを含み得る。グラフィック出力ジェネレータ１０８は、さまざまな他の方式でもグラフィック表現を生成し得る。これらの閾値は、予め定義され、適応的に決定され、および／または、機械学習技法に基づいて決定され得ることを理解されたい。
Ｄ．基準に基づくグラフィック表現の生成
【０２６７】
図１３は、さまざまな基準に基づくグラフィック表現の生成の例示的な概念図である。一実装において、グラフィック出力ジェネレータ１０８は、フィルタリング基準に基づいて、検出されたアイテムおよびサブアイテムをフィルタリングし得て、フィルタリング基準を満たすアイテムおよびサブアイテムを含むグラフィック表現を生成し得る。例として、グラフィック出力ジェネレータ１０８は、ユーザからユーザ入力の指示を受信し得る。ユーザ入力の指示は、アイテムクラス、アイテム識別情報または同様のものなどのフィルタリング基準を示し得る。ユーザ入力の指示の受信に応答して、グラフィック出力ジェネレータ１０８は、フィルタリング基準を満たすアイテム、例えば、所与の示されたアイテム識別情報、アイテムクラス、または同様のものを有するアイテムだけを含むグラフィック表現を生成し得る。別の例として、グラフィック出力ジェネレータ１０８は、フィルタリング基準を示すユーザ入力の受信に応答して、所与のアイテムまたはアイテムのクラスを除くグラフィック表現を生成し得る。所与の時間に複数のフィルタリングが適用される、または、アクティブであり得ること、および、グラフィック表現は、さまざまな他のフィルタリング基準に基づいて生成され得ることを理解されたい。
【０２６８】
別の実装において、グラフィック出力ジェネレータ１０８は、所与のアイテムのセットの特性を含むフィルタリング基準を受信し得て、フィルタリング基準に基づいてグラフィック表現を生成し得る。例として、グラフィック出力ジェネレータ１０８は、所与の特性を満たさないアイテムの表現を含むグラフィック表現を生成し得る。他の特性の例も考えられる。
【０２６９】
図１３の例において、グラフィック出力ジェネレータ１０８は、分類エンジン１０４が撮像画像においてラップトップを識別したことを示すデータを分類エンジン１０４から受信し得て、分類エンジン１０４がラップトップを識別したという決定に応答して、グラフィック表現１３００を生成し得る。グラフィック表現１３００は、識別されたラップトップの図示を含み、さまざまな着色領域を含み得る。着色領域の各々は、いくつかの非限定的な例として、材料密度および原子番号など、グラフィック表現のさまざまな領域についてのさまざまな特性を示し得る。
【０２７０】
いくつかの例において、グラフィック出力ジェネレータ１０８は、分類エンジン１０４、検出装置１０２、または、コンピュータシステム１００の別のコンポーネントから、グラフィック表現１３００の所与の領域についての特性を示し得るデータを受信し得る。そのような特性の例は、いくつかの非限定的な例として、領域の原子番号または材料密度を含み得る。グラフィック出力ジェネレータ１０８は、特性データに基づいて、例えば、所与の原子番号、または、所与の材料密度など、所与の特性を有する領域を示す、または、除く、第２グラフィック表現１３１０を生成し得る。図１３の例において、グラフィック出力ジェネレータ１０８は、所与の原子番号を示す特性データを受信し得る。グラフィック出力ジェネレータ１０８は、特性データに基づいて、所与の原子番号を有する、グラフィック表現の領域１３１２を強調し、他の領域の強調を抑えるグラフィック表現１３１０を生成し得る。特性データに基づいてグラフィック表現を生成する、さまざまな他の方式も考えられる。
【０２７１】
図１４は、特性に基づいたアイテムのフィルタリングの例を図示する。図１４の例において、グラフィック出力ジェネレータ１０８は、識別されたラップトップ１４０２の表現を含む第１グラフィック出力表現１０００を生成し得る。ラップトップ１４０２は、さまざまなコンポーネントおよびサブアイテムを含み得る。例として、ラップトップ１４０２は、マザーボードと、筐体と、バッテリと、冷却システムと、さまざまな他のコンポーネントとを含み得る。グラフィック表現１４００において、バッテリ１４０４のセル、および、例えば冷却システム１４０６の金属コンポーネントについてのコールアウトが図示される。
【０２７２】
グラフィック出力ジェネレータ１０８は、ユーザ入力の指示を受信し得る。ユーザ入力の指示は、グラフィック出力ジェネレータ１０８が、特定の識別されたアイテムまたはサブアイテムを含み、他の識別されたアイテムまたはサブアイテムを除くグラフィック表現を生成すべきであることを指定し得る。一例として、ユーザ入力は、ラップトップ１４０２のバッテリセル１４０４などの、ラップトップのバッテリアイテムまたはサブアイテムが、所与のグラフィック表現に含まれるべきである、または、除かれるべきであることを指定し得る。別の例としてユーザ入力は、ラップトップ１４０２の冷却装置１４０６がグラフィック表現に含まれるべき、または、除かれるべきであることを指定し得る。そのようなユーザ入力の受信に応答して、グラフィック出力ジェネレータ１０８は、所与のアイテム、サブアイテム、種類、または、アイテムもしくはサブアイテムのクラスを含む、または、除くグラフィック表現を生成し得る。
【０２７３】
別の実装において、グラフィック出力ジェネレータ１０８は、ユーザ入力に基づいて指定されたフィルタリング基準の指示に基づいて、アイテムまたはアイテムのクラスを含む、または、除くグラフィック表現を生成し得る。例として、グラフィック出力ジェネレータ１０８は、コンピュータシステム１００のユーザから、ユーザ入力の指示を受信し得る。ユーザ入力の指示は、アイテムクラス、アイテム識別情報、または同様のものなどのフィルタリング基準を指定し得る。ユーザ入力の指示の受信に応答して、グラフィック出力ジェネレータ１０８は、フィルタリング基準を満たすアイテム、例えば、所与のアイテム識別情報、アイテムクラスまたは同様のものを有するアイテムだけを含むグラフィック表現を生成し得る。別の例として、フィルタリング基準を示すユーザ入力の受信に応答して、グラフィック出力ジェネレータ１０８は、所与のアイテム、または、アイテムのクラスを除くグラフィック表現を生成し得る。より具体的な例として、グラフィック出力ジェネレータ１０８は、武器クラスに属するアイテムだけを表示すべきであるという指示を受信し得る。入力の受信に応答して、グラフィック出力ジェネレータ１０８は、武器のクラスに属すると分類エンジン１０４が決定した、識別されたアイテムの描画を含むグラフィック表現を生成し得る。
【０２７４】
さらに別の実装において、グラフィック出力ジェネレータ１０８は、例えば分類エンジン１０４によって、所与のアイテムまたはサブアイテムのセットが特定の順序で識別されたかどうか、および／または、閾値数のアイテムまたはサブアイテムが識別されたかどうかに基づいて、所与のアイテムまたはサブアイテムのセットを含む、または、除く、グラフィック表現を生成し得る。例として、分類エンジン１０４は、所与のアイテムまたはサブアイテムのセットが所与の順序で識別されたかどうかを決定し得る。順序は、ユーザ入力に基づいて、または、さまざまな他の方式で指定され得る。所与のアイテムまたはサブアイテムのセットが所与の順序で識別されたとグラフィック出力ジェネレータ１０８が決定したが、所与の順番で識別されなかった場合、グラフィック出力ジェネレータ１０８は、所与のアイテムまたはサブアイテムのセットをグラフィック表現から除き得るか、または、アイテムまたはサブアイテムのセットを強調しないことがあり得る。しかしながら、グラフィック出力ジェネレータ１０８が、例えば分類エンジン１０４からの指示に基づいて、所与のアイテムのセットが所与の順序で識別されたと決定した場合、グラフィック出力ジェネレータ１０８は、所与のアイテムまたはサブアイテムのセットの表現を含むグラフィック表現を生成し得る。グラフィック表現は、所与のアイテムまたはサブアイテムのセットが所与の順序で識別されたという指示をさまざまな例で含み得る。
【０２７５】
別の実装において、グラフィック出力ジェネレータ１０８は、グラフィック出力ジェネレータ１０８が、所与の閾値数のアイテムまたはサブアイテムが識別されたと決定したかどうかという決定に基づいて、所与のアイテムまたはサブアイテムのセットを含む、または、除き得る。分類エンジン１０４および／またはグラフィック出力ジェネレータ１０８は、アイテム、アイテムのクラス、または同様のものに属する所与のサブアイテムの数を記録し得る。例として、グラフィック出力ジェネレータ１０８は、所与のアイテムに属する、または、そのコンポーネントである、識別されたサブアイテムの数を、サブアイテムの閾値数と比較し続け得る。識別されたサブアイテムの数が閾値より少ない場合、グラフィック出力ジェネレータ１０８は、識別されたサブアイテムのいくつかまたは全部を除くグラフィック表現を生成し得る。生成されたグラフィック表現は、グラフィック表現を見ているユーザに対する、サブアイテムの閾値数が識別されたというアラートを含み得る。識別されたサブアイテムの数が閾値を超える場合、グラフィック出力ジェネレータ１０８は、識別されたサブアイテム、および／または、サブアイテムが属するアイテムの一部または全部を含むグラフィック表現を生成し得る。グラフィック出力ジェネレータ１０８はまた、サブアイテムの閾値の数が識別されたというグラフィック表現において指示を含み得る。
【０２７６】
関連する実装において、分類エンジン１０４および／またはグラフィック出力ジェネレータ１０８は、識別されたアイテムまたはサブアイテムに関連する履歴情報に基づいて、グラフィック表現を生成し得る。より具体的には、分類エンジン１０４および／またはグラフィック出力ジェネレータ１０８は、識別されたアイテムおよびサブアイテムの履歴を維持し得る。履歴は、所与のアイテムまたは一連のアイテムが識別された回数を含み得る。いくつかの例において、検出装置の１つ１０２は、履歴に関連するデータを、検出装置１０２または分類エンジン１０４のうちの別の１つに送信し得る。コンピューティングシステム１００は、履歴データに基づいて、同期された履歴を維持し得る。
【０２７７】
履歴はまた、アイテムの識別に関連する一時的情報を含み得る。一時的情報は、例えば、所与のアイテムまたはアイテムのクラスが識別される頻度を示し得る。履歴情報は、さまざまな他の方式でも定義され得る。グラフィック出力ジェネレータ１０８は、履歴情報に基づいてグラフィック表現を生成し得る。例えば、アイテムが、履歴データに基づく所与の回数だけ識別された場合、グラフィック出力ジェネレータ１０８は、所与のアイテムの表現を含み得る。別の例として、アイテムの識別頻度がアイテム頻度閾値を超える場合、グラフィック出力ジェネレータ１０８は、グラフィック表現を生成し得る。履歴識別データに基づいてグラフィック表現を生成するさまざまな他の例も考えられる。
Ｅ．アイテムおよび／またはサブアイテムの組み合わせに基づく脅威の識別
【０２７８】
本開示の別の態様において、本明細書に説明されるように、コンピューティングシステムは、アイテムおよび／またはサブアイテムの組み合わせが、脅威をもたらし得ることを決定するよう構成され得て、決定に基づきグラフィック表現を生成し得る。さまざまな実装がここで説明される。
【０２７９】
図１５は、アイテムおよび／またはサブアイテムの識別された組み合わせに基づいてグラフィック出力を生成する動作を図示する例示的なフロー図である。これらの動作のいくつかの説明を助けるために、フロー図は、実行され得る動作の組み合わせを説明するように参照され得る。いくつかの場合において、各ブロックは、特定の論理関数、または、処理における段階を実装するべく、プロセッサによって実行可能な命令を含むプログラムコードのモジュールまたは一部を表し得る。プログラムコードは、非一時的コンピュータ可読媒体など、任意の種類のコンピュータ可読媒体に記憶され得る。他の場合において、各ブロックは、特定の論理関数、または、処理における段階を実行するように配線された回路を表し得る。さらに、フロー図に示されるブロックは、特定の実施形態に基づいて、異なる順序に並び替えられ、より少ないブロックに組み合わされ、より多くのブロックに分割され、および／または、削除され得る。
【０２８０】
上記のように、本明細書に開示されるコンピュータシステムは、アイテムおよび／またはサブアイテムの識別された組み合わせに基づいて、グラフィック出力を生成するように構成されている。例示の目的で、図１のコンピュータシステム１００によって実行されている例示的な機能を以下に記載する。ただし、さまざまな他の装置、システム、および／または、プラットフォームが例示的な機能を実行し得ることを理解されたい。
【０２８１】
図１５の例において、コンピュータシステムは、方法１５００に図示されたブロックを実行し得る。ブロック１５０２において、グラフィック出力ジェネレータ１０８は、デジタル画像データを受信し得る。デジタル画像データは、１つまたは複数の検出装置、例えば、検出装置１０２のうちの１つまたは複数によってスキャンされた１つまたは複数のオブジェクトを表す１つまたは複数の２次元または３次元画像を含み得る。グラフィック出力ジェネレータ１０８は、デジタル画像データを分類エンジン１０４から受信し得て、一方、分類エンジン１０４は、デジタル画像を検出装置の１つ１０２から受信し得る。
【０２８２】
ブロック１５０４において、グラフィック出力ジェネレータ１０８は、潜在的なコンポーネントを識別するデータを受信し得る。コンポーネントは、アイテムまたはサブアイテムを構成し得るか、アイテムの一部であり得るか、互いに組み合わされてアイテムを形成し得るか、または、互いに関連付けられる。いくつかの例において、コンポーネントは、所与のアイテムから変更された、または、欠損しているとコンピューティングシステム１００が決定するアイテムまたはサブアイテムを含み得る。例として、引き金は、銃であるアイテムのコンポーネントを構成するサブアイテムであり得る。別の例として、第１のナイフの刃、および、第２の異なるナイフの柄は各々、組み合わされて簡易ナイフを形成することができるコンポーネントを構成し得る。刃および柄が一緒になって簡易ナイフの一部として機能するように元々設計され得なくても、刃および柄は、コンポーネントを構成し得る。同様に、爆発物またはバッテリがラップトップと連携して働くように元々設計されていなかったとしても、爆発物または９ボルトバッテリは、ラップトップ爆弾のコンポーネントを構成し得る。コンポーネントは、さまざまな他の形態も取り得る。
【０２８３】
グラフィック出力ジェネレータ１０８は、いくつかの例として、分類エンジン１０４、アイテムデータベース１０６、および／またはポリシーエンジン１１０から、潜在的なコンポーネントを識別するデータを受信し得る。潜在的なコンポーネントを識別するデータは、各コンポーネントについての、識別データ、ジオメトリデータ、分類データ、メタデータおよび同様のものなどのデータを含み得る。
【０２８４】
ブロック１５０６において、グラフィック出力ジェネレータ１０８は、潜在的なコンポーネントの間の関連を示すデータを受信し得る。受信された関連データは、２またはより多くの所与のコンポーネントが互いに関連し得るかどうか、例えば、互いに組み合わされるか、関連付けられるか、または組み合わせて利用されるかどうかなどを示し得る。いくつかの例において、グラフィック出力ジェネレータ１０８は、例えば、分類エンジン１０４、ポリシーエンジン１１０、アイテムデータベース１０６、外部データソース１２８、または同様のものから関連データを受信し得る。さまざまな例において、グラフィック出力ジェネレータ１０８は、受信された関連データに基づいて、潜在的なコンポーネントの間の関連を決定し得る。
【０２８５】
いくつかの実装において、コンピューティングシステム１００は、分類データに基づいて、コンポーネントが互いに関連付けられ得るかどうかを決定し得る。例として、２つの識別されたコンポーネントが同じクラスに属する場合、コンピューティングシステム１００は、同じクラスの識別されたコンポーネントが関連付けられると決定し得る。上記のいくつかの例を参照すると、分類エンジン１０４は、バッテリおよびマザーボードを識別し得て、その両方は、ラップトップクラスに属するコンポーネントを構成し得る。バッテリおよびマザーボードは同じクラスに属するので、分類エンジン１０４は、ラップトップおよびバッテリコンポーネントを互いに関連付け得る。バッテリとマザーボードとの関連付けに応答して、分類エンジン１０４は、関連を示すデータをグラフィック出力ジェネレータ１０８へ送信し得る。
【０２８６】
いくつかの実装において、所与のコンポーネントをある方式で互いに組み合わせることができる場合、コンピューティングシステム１００は、所与の識別されたコンポーネントが互いに関連付けられると決定し得る。例として、分類エンジン１０４は、爆発物およびラップトップが互いに組み合わされて爆弾を形成し得ると、または、刃がさまざまな識別された潜在的なコンポーネントのいずれかと組み合わされてナイフまたは別の武器を形成し得ると決定し得る。互いに組み合わされ得る潜在的なコンポーネントのさまざまな他の例も考えられる。
【０２８７】
いくつかの例において、分類エンジン１０４、グラフィック出力ジェネレータ１０８、またはコンピュータシステム１００の別のコンポーネントは、識別されたコンポーネントの異なる組み合わせがアイテムを形成し得るかどうか決定し得る。コンポーネントの組み合わせがアイテムを形成するという決定に応答して、グラフィック出力ジェネレータ１０８は、本明細書に説明されるように、組み合わせのグラフィック表現を生成し得る。
【０２８８】
ブロック１５０８において、グラフィック出力ジェネレータ１０８、または、コンピューティングシステム１００の別のコンポーネントは、互いに関連付けられる所与のコンポーネントのセットの脅威を決定し得る。グラフィック出力ジェネレータ１０８は、例として、ポリシーデータベース１１０および／またはアイテムデータベース１０６からの脅威データに基づいて脅威を決定し得る。いくつかの例において、グラフィック出力ジェネレータ１０８は、組み合わされていないコンポーネントの各々の脅威を平均化することによって、または、所与のコンポーネントのセットのうちの最も高い脅威を取得することによって、脅威を決定し得る。他の例において、グラフィック出力ジェネレータ１０８は、コンポーネントのいずれか、または、コンポーネントが組み合されて形成し得るアイテムのうちの最大の脅威として、コンポーネントのセットについての脅威を決定し得る。さらに他の例において、グラフィック出力ジェネレータ１０８は、組み合わされたときに脅威をもたらす安全なアイテムの組み合わせを決定し得る。グラフィック出力ジェネレータ１０８は、さまざまな他の形態でも、コンポーネントの潜在的なセットについての脅威を決定し得る。
【０２８９】
ブロック１５１０において、グラフィック出力ジェネレータ１０８は、決定された脅威および潜在的なコンポーネントに基づいて、グラフィック表現を生成し得る。ビジュアル出力ジェネレータ１０８は、さまざまな方式で、決定された脅威、および、潜在的なコンポーネントに基づいて、グラフィック表現を生成し得る。一実装において、グラフィック出力ジェネレータ１０８は、潜在的なコンポーネントが、組み合わされたとき、または、関連付けられたとき、それらのコンポーネントが別個である場合より高い脅威を有することになるかどうかを決定し得る。潜在的なコンポーネントが、組み合わされるか、または関連付けられるとき、より高い脅威を有し得る場合、グラフィック出力ジェネレータ１０８は、識別された潜在的なコンポーネントを識別するグラフィック表現を生成し得る。別の実装において、グラフィック出力ジェネレータ１０８は、組み合わされていないとき安全であると決定された潜在的なコンポーネントが、組み合わされたときに脅威をもたらすかどうかを決定し得て、潜在的に脅威である組み合わせを示すグラフィック表現を生成し得る。
【０２９０】
ブロック１５０８の技法を実行する一部として、グラフィック出力ジェネレータ１０８によって生成されたグラフィック表現は、いくつかの例として、コンポーネントが形成し得るアイテム、組み合わせに関連する脅威レベル、および、組み合わされていないおよび／または組み合わされている場合の、コンポーネントの各々に関連するそれぞれの脅威レベルなどの情報を示し得る。
【０２９１】
実装において、グラフィック出力ジェネレータ１０８は、組み合わされている、または関連付けられるとき、所与の識別されたコンポーネントのセットが形成し得る所与のアイテムの画像を含むグラフィック表現を生成し得る。生成されたグラフィック表現は、コンポーネントが組み合わされて形成し得る所与のアイテムにおける、識別されたコンポーネントのそれぞれの位置を強調する指示を含み得る。グラフィック表現はまた、所与のアイテムの表現、または、コンポーネントが組み合わされて形成し得るアイテムのクラスの表現を含み得る。
【０２９２】
例として、グラフィック出力ジェネレータ１０８は、銃砲身および銃床を含むコンポーネントを識別し得て、銃砲身および銃床が、同じ銃のコンポーネントであり得ると決定し得る。グラフィック表現を生成する一部として、グラフィック出力ジェネレータ１０８は、識別されたコンポーネントが組み合わされて形成し得る銃の表現を生成し得る。銃の表現は、例えば、銃砲身および銃床の場所をハイライトする、示す、および／または、強調し得て、および／または、銃の表現において、銃床および砲身の表現を含み得る。さまざまな例において、グラフィック表現は、コンポーネントが形成し得る所与のアイテムにおいて、コンポーネントがどこに属する、または、適合するかを示し得る。さまざまな例において、グラフィック出力ジェネレータ１０８は、識別されたコンポーネントを含む、識別されたコンポーネントの過去に記憶された画像を含むグラフィック表現を生成し得る。識別されたコンポーネントの記憶された表現は、例えば、所与のコンポーネントが識別された、所与のコンポーネントの画像より良い画像品質を有し得る。
【０２９３】
本開示のいくつかの態様において、識別されたアイテムまたはサブアイテムの特定のコンポーネントは、所与のアイテムから明らかに欠損し得るか、または、変更されたように見え得る。コンポーネントが所与のアイテムから欠損している、または、変更されているという決定に応答して、グラフィック出力ジェネレータ１０８は、所与のコンポーネントの欠損または変更が脅威をもたらすかどうか、または、所与のアイテムの脅威レベルを増加させるかどうかを、例えば、アイテムデータベース１０６からのポリシーデータに基づいて決定し得る。所与の欠損している、または、変更されているコンポーネントについての脅威の決定に応答して、グラフィック出力ジェネレータ１０８は、決定に基づいてグラフィック表現を生成し得る。例として、ラップトップのバッテリコンポーネントが欠損している、または、変更されていると、グラフィック出力ジェネレータ１０８が決定した場合、または、それを示す情報を受信した場合、グラフィック出力ジェネレータ１０８は、欠損している、または、変更されているバッテリコンポーネントを強調し得る、ラップトップを含むグラフィック表現を生成し得る。
【０２９４】
本開示のさまざまな態様において、グラフィック出力ジェネレータ１０８は、過去に識別されたコンポーネントと同様のコンポーネントの画像を含むグラフィック表現を生成し得る。例として、グラフィック出力ジェネレータ１０８が銃砲身および銃床を識別する場合、グラフィック出力ジェネレータ１０８は、銃の引き金、弾薬、または、他の火器関連コンポーネントなど、銃砲身または銃床と同様のアイテムの１つまたは複数の画像を含むグラフィック表現を生成し得る。既に識別されたコンポーネントと同様のコンポーネントの画像または表現を含むグラフィック表現は、グラフィック表現を見ているユーザが関連コンポーネントを探すための助けまたは手がかりになり得る。さまざまな例において、グラフィック出力ジェネレータ１０８は、識別されたコンポーネント、関連コンポーネント、および／または、それらが組み合わされて形成し得るアイテムの２次元または３次元の表現を生成し得る。
【０２９５】
いくつかの実装において、グラフィック出力ジェネレータ１０８は、コンポーネントの部分的なセットが識別されたかどうかに基づいてグラフィック表現を出力し得る。まだ識別されていない追加のアイテムと組み合わされた場合に脅威をもたらし得るコンポーネントの部分的なセットが識別された。グラフィック出力ジェネレータ１０８は、受信されたアイテムデータに基づいて、コンポーネントの部分的なセットが識別されたかどうかを決定し得る。いくつかの例において、生成されたグラフィック表現は、セットのすべてのコンポーネントが識別されたわけではないことを示し得る。グラフィック表現は、まだ識別されていない他のコンポーネントのセットをセキュリティ担当者が探すための手がかりになり得て、および／またはセットの欠損したコンポーネントの１つまたは複数の指示を含み得る。別の例において、グラフィック出力ジェネレータ１０８は、さまざまな他の方式でも、識別されたコンポーネントの部分的なセットに基づいて、グラフィック表現を生成し得る。
【０２９６】
実装において、グラフィック出力ジェネレータ１０８は、コンポーネントの不完全なセットが識別されたかどうかに基づいて、グラフィック表現を出力し得る。不完全なセットとは、組み合わされて、所与のアイテムまたはアイテムのクラスを完全に形成しないことがあり得るコンポーネントのセットである。しかしながらアイテムの不完全なセットが改造された場合、アイテムの不完全なセットの組み合わせは脅威をもたらし得る。例として、不完全なセットは、１つのモデルの火器の砲身、および、別のモデルの火器の銃床を含み得る。グラフィック出力ジェネレータ１０８は、受信されたアイテムデータに基づいて、コンポーネントの不完全なセットが識別されたかどうかを決定し得る。いくつかの例において、生成されたグラフィック表現は不完全なセットのすべてのコンポーネントが識別されたわけでないこと、不完全なセットのコンポーネントが組み合わされて形成し得る１つまたは複数のアイテム、および／または、不完全なセットのコンポーネントに対して実行され得る潜在的な修正を示し得る。グラフィック表現は、識別されていない、不完全なセットの他のコンポーネントをユーザが探す手がかりになり得て、および／または、セットの欠損したコンポーネントの１つまたは複数の指示を含み得る。別の例において、グラフィック出力ジェネレータ１０８は、さまざまな他の方式でも、識別されたコンポーネントの不完全なセットに基づいて、グラフィック表現を生成し得る。
【０２９７】
本開示のいくつかの他の態様において、分類エンジン１０４および／またはビジュアル出力ジェネレータ１０８は、識別された、および／または、欠損したコンポーネントについての統計情報を決定し得る。決定された統計情報は、さまざまな他の形態も取り得る。例として、分類エンジン１０４は、特定のコンポーネント、アイテム、サブアイテム、欠損したコンポーネント、または同様のものがスキャンされたオブジェクトまたは複数のシーンに存在する、または欠損する頻度を記録し得る。統計情報は、ローカルに、または、リモートに、または、それらを組み合わせて記憶され得る。さまざまな例において、分類エンジン１０４および／またはグラフィック出力ジェネレータ１０８は、統計情報を使用して、アイテムの分類および識別、ならびに、グラフィック表現の生成など、さまざまな技法を実行し得る。いくつかの例において、コンピューティングシステム１００は、コンピュータ可読形式および／または人間に読める形式で、決定された統計情報を出力し得る。撮像された統計的データは、他のさまざまな方式でも使用され得る。
【０２９８】
図１６は、互いに関連付けられ得るコンポーネントを決定する例を示す概念図である。図１６は、グラフィック表現１６００を図示する。グラフィック出力ジェネレータ１０８は、グラフィック表現１６００を生成する前に、画像データから識別されたオブジェクト、例えば、銃砲身１６０２、回転式弾倉１６０４、靴１６０６、および、ラップトップ１６０８などについてのデータを受信する。銃砲身１６０２、回転式弾倉１６０４、靴１６０６、および、ラップトップ１６０８は、複数のオブジェクト、または単一のオブジェクトにおいて、分類エンジン１０４によって、複数の検出装置または単一の検出装置を用いることによって識別され得る。
【０２９９】
グラフィック出力ジェネレータ１０８は、銃砲身１６０２および回転式弾倉１６０４が識別され、関連付けられることを示す情報を受信し得る。銃砲身１６０２および回転式弾倉１６０４は、組み合わせることができるので関連付けられ得て、火器クラスなどの同じクラスの一部であり得て、または、他の基準に基づいて関連付けられ得る。グラフィック出力ジェネレータ１０８は、任意の他のアイテムに関連付けられないことがあり得て、従ってグラフィック出力ジェネレータ１０８は、靴１６０６が任意の他の識別されたアイテムに関連付けられることを示す情報を受信しないことがあり得る。
【０３００】
銃砲身１６０２および回転式弾倉１６０４が互いに関連付けられるという決定に基づいて、グラフィック出力ジェネレータ１０８は、銃砲身１６０２、回転式弾倉１６０４、靴１６０６およびラップトップ１６０８の各々に関連付けられる脅威を決定し得る。グラフィック出力ジェネレータ１０８はまた、銃砲身１６０２および回転式弾倉１６０４の組み合わせによって形成される銃１６１０に関連する脅威を決定し得る。例として、グラフィック出力ジェネレータ１０８は、組み合わされていない場合、銃砲身１６０２および回転式弾倉１６０４が安全であり得るが、組み合わされた場合、銃砲身１６０２および回転式弾倉１６０４の組み合わせは危険であり得て、脅威をもたらし得ると決定し得る。
【０３０１】
識別されたアイテム、コンポーネント、および、コンポーネントの組み合わせに基づいて、グラフィック出力ジェネレータ１０８は、グラフィック表現１６００を生成する。銃砲身１６０２および回転式弾倉１６０４の組み合わせが脅威をもたらし得るという決定に基づいて、グラフィック出力ジェネレータ１０８は、銃砲身１６０２および回転式弾倉１６０４が組み合わされて形成し得る銃１６１０の画像を生成し得る。いくつかの例において、グラフィック表現１６００に含まれる銃１６１０の画像は、銃砲身１６０２および回転式弾倉１６０４がコンポーネントであり得るクラスからの過去に記憶された画像を含み得る。図１６の例において、グラフィック出力ジェネレータ１０８はまた、銃１６１０において銃砲身１６０２および回転式弾倉１６０４が配置され得る場所を示す。グラフィック出力ジェネレータ１０８はまた、グラフィック表現１６００において、銃砲身１６０２および回転式弾倉１６０４に関連する領域を強調し得る。
【０３０２】
グラフィック出力ジェネレータ１０８は、グラフィック表現をさまざまな他の方式でも生成し得ることを理解されたい。
【０３０３】
４．結論
【０３０４】
上記の説明は、とりわけ、さまざまな例示的なシステム、方法、装置、ならびに、数ある他のコンポーネントの中で、ハードウェア上で実行されるファームウェアおよび／またはソフトウェアを含む製品を開示する。そのような例は単に例示であり、限定するものとみなされるべきでないことを理解されたい。例えば、ファームウェア、ハードウェア、および／またはソフトウェアの態様またはコンポーネントのいずれか、または、すべては、専らハードウェアで、専らソフトウェアで、専らファームウェアで、または、ハードウェア、ソフトウェア、および／もしくはファームウェアの任意の組み合わせで具現化できることが考えられる。従って、提供される例は、そのようなシステム、方法、装置および／または製品を実装する唯一の手段ではない。
【０３０５】
さらに、本明細書における「実施形態」という言及は、実施形態に関連して説明される特定の特徴、構造、または特性が、発明の少なくとも１つの例示的な実施形態に含まれ得ることを意味する。明細書におけるさまざまな場所で見られるこの語句は、必ずしもすべてが同じ実施形態を参照しているわけではなく、他の実施形態の相互排他的な別個または代替的な実施形態でもない。従って、当業者によって明示的および黙示的に理解される、本明細書において説明される実施形態は、他の実施形態と組み合わせることができる。
【０３０６】
本明細書は主に、例示的な環境、システム、手順、段階、論理ブロック、処理、および、ネットワークに結合されたデータ処理装置の動作に直接的または間接的に似ている他のシンボル表現に関して提示される。これらの処理の説明および表現は、典型的には、作業の内容を他の当業者に最も効果的に伝えるために、当業者によって使用される。本開示の十分な理解を提供するべく、多くの具体的な詳細が説明される。しかしながら、当業者であれば、特定の具体的な詳細が無くても、本開示の特定の実施形態を実践できることを理解されたい。他の例において、実施形態の態様を不必要に不明瞭化することを回避するために、よく知られた方法、手順、コンポーネントおよび回路は、詳細に説明されていない。従って、本開示の範囲は、実施形態の上記の説明ではなく、添付の特許請求の範囲によって定義される。
【図１】
2019021313.tif 000004
【図２】
2019021313.tif 000005
【図３】
2019021313.tif 000006
【図４】
2019021313.tif 000007
【図５】
2019021313.tif 000008
【図６】
2019021313.tif 000009
【図７】
2019021313.tif 000010
【図８】
2019021313.tif 000011
【図９】
2019021313.tif 000012
【図１０】
2019021313.tif 000013
【図１１】
2019021313.tif 000014
【図１２】
2019021313.tif 000015
【図１３】
2019021313.tif 000016
【図１４】
2019021313.tif 000017
【図１５】
2019021313.tif 000018
【図１６】
2019021313.tif 000019
【外国語明細書】
2019021313000001.pdf