(57)【要約】  放射線撮影画像を使用して輸送コンテナ内の物体を特定するためのシステムおよび方法が、説明される。より詳細には、輸送コンテナの放射線撮影画像および関連する貨物積荷目録を分析するために人工ニューラルネットワークを使用するための技術が、説明される。
2021534523.tif 000002
【特許請求の範囲】
【請求項１】
輸送コンテナに関連する貨物積荷目録を承認するためのコンピューティングデバイスによって実施される方法であって、
輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた前記輸送コンテナのレンダリングされた前記放射線撮影画像をコンピューティングデバイスにおいて受信するステップと、
オートエンコーダニューラルネットワークを用いて、前記放射線撮影画像から特徴ベクトルを抽出するステップと、
似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との前記抽出された特徴ベクトルの比較によって、前記スキャンされた輸送コンテナ内の物体が前記スキャンされた輸送コンテナについての関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振るステップと、
前記割り振られた統計的確率に基づいて前記スキャンされた輸送コンテナに関連する自動検出インジケーションを生成するステップとを含む、方法。
【請求項２】
前記スキャンされた輸送コンテナ内の前記物体の数値的または記号的特性を数学的に表す少なくとも1つの以前の特徴ベクトルを生成するように放射線撮影画像の訓練データセットを用いて前記オートエンコーダニューラルネットワークを訓練するステップであって、前記訓練データセットが、似た物体を保有する1つまたは複数の以前の輸送コンテナの以前の放射線撮影画像の第1の組を含む、ステップを含む請求項1に記載の方法。
【請求項３】
前記統計的確率が、第2の人工ニューラルネットワークを使用してさらに決定される請求項1に記載の方法。
【請求項４】
前記第2の人工ニューラルネットワークが、単語-ベクトル型のニューラルネットワークである請求項3に記載の方法。
【請求項５】
前記第2の人工ニューラルネットワークが、前記スキャンされた輸送コンテナの前記関連する貨物積荷目録を分析するために履歴的な以前の輸送コンテナの貨物積荷目録から予め訓練された単語埋め込みを利用する請求項3に記載の方法。
【請求項６】
前記第2の人工ニューラルネットワークが、以前の輸送コンテナの貨物積荷目録の履歴的なデータベースに対して訓練された教師なし再帰型ニューラルネットワークである請求項3に記載の方法。
【請求項７】
前記自動検出インジケーションが、前記関連する貨物積荷目録との前記スキャンされたコンテナの中身の一致の度合いのグラフィカルなインジケータを提供する請求項1に記載の方法。
【請求項８】
前記自動検出インジケーションが、放射線撮影画像のランク付けの表示を提供する請求項1に記載の方法。
【請求項９】
前記スキャンされた輸送コンテナ内の物体が、貨物カテゴリに関する履歴的なパラメータの分布に対して前記貨物積荷目録と一致する度合いを定量化するパラメータのグラフィカルな表示を生成するステップをさらに含む請求項1に記載の方法。
【請求項１０】
以前の特徴ベクトルの前記履歴的な分布が、前記スキャナから新しい放射線撮影画像を受信するとリアルタイムで更新される請求項1に記載の方法。
【請求項１１】
以前の特徴ベクトルの前記履歴的な分布が、10未満の放射線撮影画像スキャンおよび対応する貨物積荷目録に基づく請求項1に記載の方法。
【請求項１２】
人工ニューラルネットワークが、教師なしニューラルネットワークである請求項1に記載の方法。
【請求項１３】
前記統計的確率に基づく貨物積荷目録の承認または拒絶のカテゴリ別の割り振りを表示するステップをさらに含む請求項1に記載の方法。
【請求項１４】
前記スキャンされた輸送コンテナに関連する貨物積荷目録に似た貨物積荷目録に関連する以前の輸送コンテナのいくつかの画像が、リアルタイムで表示される請求項1に記載の方法。
【請求項１５】
前記スキャンされた輸送コンテナに関連する積荷目録に似たいくつかの以前の積荷目録が、リアルタイムで表示される請求項1に記載の方法。
【請求項１６】
指定された空の輸送コンテナの検査のためのコンピューティングデバイスによって実施される方法であって、
輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた前記輸送コンテナのレンダリングされた前記放射線撮影画像をコンピューティングデバイスにおいて受信するステップと、
オートエンコーダニューラルネットワークを用いて、前記放射線撮影画像の各セグメントに関する特徴ベクトルを抽出するステップと、
前記スキャンされた輸送コンテナの抽出された特徴ベクトルが以前の空のコンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布に対するセグメント毎の比較と一致する統計的確率を割り振るステップと、
前記割り振られた統計的確率に基づいて前記スキャンされた輸送コンテナが空であることに関連する自動検出インジケーションを生成するステップとを含む、方法。
【請求項１７】
前記スキャンされた輸送コンテナ内の物体の数値的または記号的特性を数学的に表す少なくとも1つの以前の特徴ベクトルを生成するように放射線撮影画像の訓練データセットを用いて前記オートエンコーダニューラルネットワークを訓練するステップであって、前記訓練データセットが、似た物体を保有する1つまたは複数の以前の輸送コンテナの以前の放射線撮影画像の第1の組を含む、ステップをさらに含む請求項16に記載の方法。
【請求項１８】
前記特徴ベクトルが、オペレータの検査のために空であると申告された輸送コンテナの放射線撮影画像のランク付けされた表示を生成するために使用される請求項16に記載の方法。
【請求項１９】
前記スキャンされた輸送コンテナが空であることを定量化するパラメータが、空の以前の輸送コンテナに関する履歴的なパラメータの分布に対してグラフィカルに表示される請求項16に記載の方法。
【請求項２０】
各セグメントに関する特徴ベクトルの前記履歴的な分布が、前記コンピューティングデバイスによる前記スキャナからの追加的な空の輸送コンテナの放射線撮影画像の受信によってリアルタイムで更新される請求項18に記載の方法。
【請求項２１】
特徴ベクトルの前記履歴的な分布が、10未満の放射線撮影スキャンに基づく請求項18に記載の方法。
【請求項２２】
輸送コンテナに関連する貨物積荷目録を承認するためのコンピューティングデバイスによって実施される方法であって、
輸送コンテナに関する貨物積荷目録をコンピューティングデバイスにおいて受信するステップと、
単語-ベクトル型のニューラルネットワークを用いて前記貨物積荷目録から特徴ベクトルを抽出するステップと、
似た物体を含む以前の貨物積荷目録から抽出された以前の特徴ベクトルの履歴的な分布との前記抽出された特徴ベクトルの比較によって、前記輸送コンテナに関する前記貨物積荷目録に載せられた物体が前記輸送コンテナ内にある統計的確率を割り振るステップと、
前記割り振られた統計的確率に基づいて前記輸送コンテナに関連する自動検出インジケーションを生成するステップとを含む、方法。
【請求項２３】
輸送コンテナに関連する貨物積荷目録を承認するためのシステムであって、
輸送コンテナをスキャンし、少なくとも1つの放射線撮影画像をレンダリングするように構成されたスキャナと、
1つまたは複数のプロセッサを備え、前記スキャナに通信可能なように結合されたコンピューティングデバイスであって、
輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた前記輸送コンテナのレンダリングされた前記放射線撮影画像を受信し、
オートエンコーダニューラルネットワークを用いて、前記放射線撮影画像から特徴ベクトルを抽出し、
似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との前記抽出された特徴ベクトルの比較によって、前記スキャンされた輸送コンテナ内の物体が前記スキャンされた輸送コンテナについての関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振り、
前記割り振られた統計的確率に基づいて前記スキャンされた輸送コンテナに関連する自動検出インジケーションを生成するように構成された、コンピューティングデバイスと、
前記自動検出インジケーションに基づいてグラフィックスを表示するかまたは音声を生成するように構成された出力メカニズムとを含む、システム。
【請求項２４】
前記オートエンコーダニューラルネットワークが、前記スキャンされた輸送コンテナ内の前記物体の数値的または記号的特性を数学的に表す少なくとも1つの以前の特徴ベクトルを生成するように放射線撮影画像の訓練データセットを用いて訓練され、前記訓練データセットが、似た物体を保有する1つまたは複数の以前の輸送コンテナの以前の放射線撮影画像の第1の組を含む請求項23に記載のシステム。
【請求項２５】
前記統計的確率が、第2の人工ニューラルネットワークを使用してさらに決定される請求項23に記載のシステム。
【請求項２６】
前記第2の人工ニューラルネットワークが、単語-ベクトル型のニューラルネットワークである請求項25に記載のシステム。
【請求項２７】
前記第2の人工ニューラルネットワークが、前記スキャンされた輸送コンテナの前記関連する貨物積荷目録を分析するために履歴的な以前の輸送コンテナの貨物積荷目録から予め訓練された単語埋め込みを利用する請求項25に記載のシステム。
【請求項２８】
前記第2の人工ニューラルネットワークが、以前の輸送コンテナの貨物積荷目録の履歴的なデータベースに対して訓練された教師なし再帰型ニューラルネットワークである請求項25に記載のシステム。
【請求項２９】
前記自動検出インジケーションが、前記関連する貨物積荷目録との前記スキャンされたコンテナの中身の一致の度合いのグラフィカルなインジケータを提供する請求項23に記載の方法。
【請求項３０】
前記自動検出インジケーションが、放射線撮影画像のランク付けの表示を提供する請求項23に記載のシステム。
【請求項３１】
前記コンピューティングデバイスが、
前記スキャンされた輸送コンテナ内の物体が、貨物カテゴリに関する履歴的なパラメータの分布に対して前記貨物積荷目録と一致する度合いを定量化するパラメータのグラフィカルな表示を生成するようにさらに構成される請求項23に記載のシステム。
【請求項３２】
以前の特徴ベクトルの前記履歴的な分布が、前記スキャナから新しい放射線撮影画像を受信するとリアルタイムで更新される請求項23に記載のシステム。
【請求項３３】
以前の特徴ベクトルの前記履歴的な分布が、10未満の放射線撮影画像スキャンおよび対応する貨物積荷目録に基づく請求項23に記載のシステム。
【請求項３４】
人工ニューラルネットワークが、教師なしニューラルネットワークである請求項23に記載のシステム。
【請求項３５】
前記コンピューティングデバイスが、
前記統計的確率に基づく貨物積荷目録の承認または拒絶のカテゴリ別の割り振りを表示するようにさらに構成される請求項23に記載のシステム。
【請求項３６】
前記コンピューティングデバイスが、
前記スキャンされた輸送コンテナに関連する貨物積荷目録に似た貨物積荷目録に関連する以前の輸送コンテナのいくつかの画像をリアルタイムで表示するようにさらに構成される請求項23に記載のシステム。
【請求項３７】
前記コンピューティングデバイスが、
前記スキャンされた輸送コンテナに関連する積荷目録に似た複数の以前の積荷目録をリアルタイムで表示するようにさらに構成される請求項23に記載のシステム。
【請求項３８】
前記コンピューティングデバイスが、
前記関連する貨物積荷目録に載せられた物体のカテゴリ別の割り振りを表示するようにさらに構成される請求項23に記載のシステム。
【請求項３９】
指定された空の輸送コンテナの検査のためのシステムであって、
輸送コンテナをスキャンし、少なくとも1つの放射線撮影画像をレンダリングするように構成されたスキャナと、
1つまたは複数のプロセッサを備え、前記スキャナに通信可能なように結合されたコンピューティングデバイスであって、
輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた前記輸送コンテナのレンダリングされた前記放射線撮影画像を受信し、
オートエンコーダニューラルネットワークを用いて、前記放射線撮影画像の各セグメントに関する特徴ベクトルを抽出し、
前記スキャンされた輸送コンテナの抽出された特徴ベクトルが以前の空のコンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布に対するセグメント毎の比較と一致する統計的確率を割り振り、
前記割り振られた統計的確率に基づいて前記スキャンされた輸送コンテナが空であることに関連する自動検出インジケーションを生成するように構成された、コンピューティングデバイスと、
前記自動検出インジケーションに基づいてグラフィックスを表示するかまたは音声を生成するように構成された出力メカニズムとを含む、システム。
【請求項４０】
前記オートエンコーダニューラルネットワークが、前記スキャンされた輸送コンテナ内の物体の数値的または記号的特性を数学的に表す少なくとも1つの以前の特徴ベクトルを生成するように放射線撮影画像の訓練データセットを用いて訓練され、前記訓練データセットが、似た物体を保有する1つまたは複数の以前の輸送コンテナの以前の放射線撮影画像の第1の組を含む請求項39に記載のシステム。
【請求項４１】
前記特徴ベクトルが、オペレータの検査のために空であると申告された輸送コンテナの放射線撮影画像のランク付けされた表示を生成するために使用される請求項39に記載のシステム。
【請求項４２】
前記スキャンされた輸送コンテナが空であることを定量化するパラメータが、空の以前の輸送コンテナに関する履歴的なパラメータの分布に対してグラフィカルに表示される請求項39に記載のシステム。
【請求項４３】
各セグメントに関する特徴ベクトルの前記履歴的な分布が、前記コンピューティングデバイスによる前記スキャナからの追加的な空の輸送コンテナの放射線撮影画像の受信によってリアルタイムで更新される請求項39に記載のシステム。
【請求項４４】
特徴ベクトルの前記履歴的な分布が、10未満の放射線撮影スキャンに基づく請求項39に記載のシステム。
【請求項４５】
輸送コンテナに関連する貨物積荷目録を承認するためのスキャンデバイスであって、
1つまたは複数のプロセッサと、
メモリと、
グラフィカルな表示面および音声生成メカニズムのうちの1つまたは複数を含む出力メカニズムと、
輸送コンテナをスキャンし、少なくとも1つの放射線撮影画像をレンダリングするように構成されたスキャナとを含み、
前記1つまたは複数のプロセッサが、
前記スキャナから、スキャンされた輸送コンテナのレンダリングされた放射線撮影画像を受信し、
オートエンコーダニューラルネットワークを用いて、前記放射線撮影画像から特徴ベクトルを抽出し、
似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との前記抽出された特徴ベクトルの比較によって、前記スキャンされた輸送コンテナ内の物体が前記スキャンされた輸送コンテナについての関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振り、
前記割り振られた統計的確率に基づいて前記スキャンされた輸送コンテナに関連する自動検出インジケーションを生成し、
前記自動検出インジケーションに基づいて前記出力メカニズムを介してグラフィックスを表示するかまたは音声を生成するための命令を実行するように構成される、スキャンデバイス。
【請求項４６】
前記オートエンコーダニューラルネットワークが、前記スキャンされた輸送コンテナ内の前記物体の数値的または記号的特性を数学的に表す少なくとも1つの以前の特徴ベクトルを生成するように放射線撮影画像の訓練データセットを用いて訓練され、前記訓練データセットが、似た物体を保有する1つまたは複数の以前の輸送コンテナの以前の放射線撮影画像の第1の組を含む請求項45に記載のスキャンデバイス。
【請求項４７】
前記統計的確率が、第2の人工ニューラルネットワークを使用してさらに決定される請求項45に記載のスキャンデバイス。
【請求項４８】
前記第2の人工ニューラルネットワークが、単語-ベクトル型のニューラルネットワークである請求項47に記載のスキャンデバイス。
【請求項４９】
前記第2の人工ニューラルネットワークが、前記スキャンされた輸送コンテナの前記関連する貨物積荷目録を分析するために履歴的な以前の輸送コンテナの貨物積荷目録から予め訓練された単語埋め込みを利用する請求項47に記載のスキャンデバイス。
【請求項５０】
前記第2の人工ニューラルネットワークが、以前の輸送コンテナの貨物積荷目録の履歴的なデータベースに対して訓練された教師なし再帰型ニューラルネットワークである請求項47に記載のスキャンデバイス。
【請求項５１】
前記自動検出インジケーションが、前記関連する貨物積荷目録との前記スキャンされたコンテナの中身の一致の度合いのグラフィカルなインジケータを提供する請求項45に記載のスキャンデバイス。
【請求項５２】
前記自動検出インジケーションが、放射線撮影画像のランク付けの表示を提供する請求項45に記載のスキャンデバイス。
【請求項５３】
前記スキャンされた輸送コンテナ内の物体が、貨物カテゴリに関する履歴的なパラメータの分布に対して前記貨物積荷目録と一致する度合いを定量化するパラメータのグラフィカルな表示を生成するようにさらに構成される請求項45に記載のスキャンデバイス。
【請求項５４】
以前の特徴ベクトルの前記履歴的な分布が、前記スキャナから新しい放射線撮影画像を受信するとリアルタイムで更新される請求項45に記載のスキャンデバイス。
【請求項５５】
以前の特徴ベクトルの前記履歴的な分布が、10未満の放射線撮影画像スキャンおよび対応する貨物積荷目録に基づく請求項45に記載のスキャンデバイス。
【請求項５６】
人工ニューラルネットワークが、教師なしニューラルネットワークである請求項45に記載のスキャンデバイス。
【請求項５７】
前記統計的確率に基づく貨物積荷目録の承認または拒絶のカテゴリ別の割り振りを表示するようにさらに構成される請求項45に記載のスキャンデバイス。
【請求項５８】
前記スキャンされた輸送コンテナに関連する貨物積荷目録に似た貨物積荷目録に関連する以前の輸送コンテナのいくつかの画像をリアルタイムで表示するようにさらに構成される請求項45に記載のスキャンデバイス。
【請求項５９】
前記スキャンされた輸送コンテナに関連する積荷目録に似た複数の以前の積荷目録をリアルタイムで表示するようにさらに構成される請求項45に記載のスキャンデバイス。
【請求項６０】
前記関連する貨物積荷目録に載せられた物体のカテゴリ別の割り振りを表示するようにさらに構成される請求項45に記載のスキャンデバイス。
【請求項６１】
輸送コンテナに関連する貨物積荷目録を承認するためにプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読媒体であって、前記命令の実行が、コンピューティングデバイスに
輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた前記輸送コンテナのレンダリングされた前記放射線撮影画像を受信させ、
オートエンコーダニューラルネットワークを用いて、前記放射線撮影画像から特徴ベクトルを抽出させ、
似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との前記抽出された特徴ベクトルの比較によって、前記スキャンされた輸送コンテナ内の物体が前記スキャンされた輸送コンテナについての関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振らせ、
前記割り振られた統計的確率に基づいて前記スキャンされた輸送コンテナに関連する自動検出インジケーションを生成させる、非一時的コンピュータ可読媒体。
【請求項６２】
前記命令の実行が、さらに前記コンピューティングデバイスに
前記スキャンされた輸送コンテナ内の前記物体の数値的または記号的特性を数学的に表す少なくとも1つの以前の特徴ベクトルを生成するように放射線撮影画像の訓練データセットを用いて前記オートエンコーダニューラルネットワークを訓練させ、前記訓練データセットが、似た物体を保有する1つまたは複数の以前の輸送コンテナの以前の放射線撮影画像の第1の組を含む請求項61に記載の媒体。
【請求項６３】
前記統計的確率が、第2の人工ニューラルネットワークを使用してさらに決定される請求項61に記載の媒体。
【請求項６４】
前記第2の人工ニューラルネットワークが、単語-ベクトル型のニューラルネットワークである請求項63に記載の媒体。
【請求項６５】
前記第2の人工ニューラルネットワークが、前記スキャンされた輸送コンテナの前記関連する貨物積荷目録を分析するために履歴的な以前の輸送コンテナの貨物積荷目録から予め訓練された単語埋め込みを利用する請求項63に記載の媒体。
【請求項６６】
前記第2の人工ニューラルネットワークが、以前の輸送コンテナの貨物積荷目録の履歴的なデータベースに対して訓練された教師なし再帰型ニューラルネットワークである請求項63に記載の媒体。
【請求項６７】
前記自動検出インジケーションが、前記関連する貨物積荷目録との前記スキャンされたコンテナの中身の一致の度合いのグラフィカルなインジケータを提供する請求項61に記載の媒体。
【請求項６８】
前記自動検出インジケーションが、放射線撮影画像のランク付けの表示を提供する請求項61に記載の媒体。
【請求項６９】
前記命令の実行が、さらに前記コンピューティングデバイスに
前記スキャンされた輸送コンテナ内の物体が、貨物カテゴリに関する履歴的なパラメータの分布に対して前記貨物積荷目録と一致する度合いを定量化するパラメータのグラフィカルな表示を生成させる請求項61に記載の媒体。
【請求項７０】
以前の特徴ベクトルの前記履歴的な分布が、前記スキャナから新しい放射線撮影画像を受信するとリアルタイムで更新される請求項61に記載の媒体。
【請求項７１】
以前の特徴ベクトルの前記履歴的な分布が、10未満の放射線撮影画像スキャンおよび対応する貨物積荷目録に基づく請求項61に記載の媒体。
【請求項７２】
人工ニューラルネットワークが、教師なしニューラルネットワークである請求項61に記載の媒体。
【請求項７３】
前記命令の実行が、さらに前記コンピューティングデバイスに
前記統計的確率に基づく貨物積荷目録の承認または拒絶のカテゴリ別の割り振りを表示させる請求項61に記載の媒体。
【請求項７４】
前記スキャンされた輸送コンテナに関連する貨物積荷目録に似た貨物積荷目録に関連する以前の輸送コンテナのいくつかの画像が、リアルタイムで表示される請求項61に記載の媒体。
【請求項７５】
前記スキャンされた輸送コンテナに関連する積荷目録に似たいくつかの以前の積荷目録が、リアルタイムで表示される請求項61に記載の媒体。
【請求項７６】
前記命令の実行が、さらに前記コンピューティングデバイスに
前記関連する貨物積荷目録に載せられた物体のカテゴリ別の割り振りを表示させる請求項61に記載の媒体。
【請求項７７】
指定された空の輸送コンテナの検査のためにプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読媒体であって、前記命令の実行が、コンピューティングデバイスに
輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた前記輸送コンテナのレンダリングされた前記放射線撮影画像を受信させ、
オートエンコーダニューラルネットワークを用いて、前記放射線撮影画像の各セグメントに関する特徴ベクトルを抽出させ、
前記スキャンされた輸送コンテナの抽出された特徴ベクトルが以前の空のコンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布に対するセグメント毎の比較と一致する統計的確率を割り振らせ、
前記割り振られた統計的確率に基づいて前記スキャンされた輸送コンテナが空であることに関連する自動検出インジケーションを生成させる、非一時的コンピュータ可読媒体。
【請求項７８】
前記命令の実行が、さらに前記コンピューティングデバイスに
前記スキャンされた輸送コンテナ内の物体の数値的または記号的特性を数学的に表す少なくとも1つの以前の特徴ベクトルを生成するように放射線撮影画像の訓練データセットを用いて前記オートエンコーダニューラルネットワークを訓練させ、前記訓練データセットが、似た物体を保有する1つまたは複数の以前の輸送コンテナの以前の放射線撮影画像の第1の組を含む請求項77に記載の媒体。
【請求項７９】
前記特徴ベクトルが、オペレータの検査のために空であると申告された輸送コンテナの放射線撮影画像のランク付けされた表示を生成するために使用される請求項77に記載の媒体。
【請求項８０】
前記スキャンされた輸送コンテナが空であることを定量化するパラメータが、空の以前の輸送コンテナに関する履歴的なパラメータの分布に対してグラフィカルに表示される請求項77に記載の媒体。
【請求項８１】
各セグメントに関する特徴ベクトルの前記履歴的な分布が、前記コンピューティングデバイスによる前記スキャナからの追加的な空の輸送コンテナの放射線撮影画像の受信によってリアルタイムで更新される請求項77に記載の媒体。
【請求項８２】
特徴ベクトルの前記履歴的な分布が、10未満の放射線撮影スキャンに基づく請求項77に記載の媒体。
【請求項８３】
輸送コンテナに関連する貨物積荷目録を承認するためにプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読媒体であって、前記命令の実行が、コンピューティングデバイスに
輸送コンテナに関する貨物積荷目録を受信させ、
単語-ベクトル型のニューラルネットワークを用いて前記貨物積荷目録から特徴ベクトルを抽出させ、
似た物体を含む以前の貨物積荷目録から抽出された以前の特徴ベクトルの履歴的な分布との前記抽出された特徴ベクトルの比較によって、前記輸送コンテナに関する前記貨物積荷目録に載せられた物体が前記輸送コンテナ内にある統計的確率を割り振らせ、
前記割り振られた統計的確率に基づいて前記輸送コンテナに関連する自動検出インジケーションを生成させる、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は、2018年8月10日に出願した米国仮特許出願第62/717,649号の優先権および利益を主張するものであり、この仮出願の内容は、その全体が参照により本明細書に組み込まれる。
【背景技術】
【０００２】
放射線撮影法(radiography)、コンピュータ断層撮影法(computed tomography)、核磁気共鳴画像法(MRI: magnetic resonance imaging)、陽電子放射断層撮影法(PET: positron emission tomography)、および多くのその他のものを含む撮像テクノロジーは、医用撮像と貨物検査ほどに多様な応用に広く利用されてきた。X線透過撮影法(X-ray radiography)は、今日の貨物の非開扉検査(NII: Non-Intrusive Inspection)の主たる方法であり、人による検査と併せて使用される。
【発明の概要】
【課題を解決するための手段】
【０００３】
一実施形態においては、輸送コンテナに関連する貨物積荷目録(manifest)を承認するための方法が、輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた輸送コンテナのレンダリングされた放射線撮影画像をコンピューティングデバイスにおいて受信するステップを含む。方法は、オートエンコーダ(autoencoder)ニューラルネットワークを用いて、放射線撮影画像から特徴ベクトルを抽出するステップと、似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との抽出された特徴ベクトルの比較によって、スキャンされた輸送コンテナ内の物体がスキャンされた輸送コンテナについての関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振るステップとをさらに含む。加えて、方法は、割り振られた統計的確率に基づいてスキャンされた輸送コンテナに関連する自動検出インジケーションを生成するステップを含む。
【０００４】
別の実施形態においては、指定された空の輸送コンテナの検査のための方法が、輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた輸送コンテナのレンダリングされた放射線撮影画像をコンピューティングデバイスにおいて受信するステップを含む。方法は、オートエンコーダニューラルネットワークを用いて、放射線撮影画像の各セグメントに関する特徴ベクトルを抽出するステップも含む。加えて、方法は、スキャンされた輸送コンテナの抽出された特徴ベクトルが以前の空のコンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布に対するセグメント毎の比較と一致する統計的確率を割り振るステップを含む。方法は、割り振られた統計的確率に基づいてスキャンされた輸送コンテナが空であることに関連する自動検出インジケーションを生成するステップをさらに含む。
【０００５】
さらなる実施形態においては、輸送コンテナに関連する貨物積荷目録を承認するための方法が、輸送コンテナに関する貨物積荷目録をコンピューティングデバイスにおいて受信するステップと、単語-ベクトル(word-to-vector)型のニューラルネットワークによって貨物積荷目録から特徴ベクトルを抽出するステップとを含む。方法は、似た物体を含む以前の貨物積荷目録から抽出された以前の特徴ベクトルの履歴的な分布との抽出された特徴ベクトルの比較によって、輸送コンテナに関する貨物積荷目録に載せられた物体が輸送コンテナ内にある統計的確率を割り振るステップも含む。加えて、方法は、割り振られた統計的確率に基づいて輸送コンテナに関連する自動検出インジケーションを生成するステップを含む。
【０００６】
別の実施形態においては、輸送コンテナに関連する貨物積荷目録を承認するためのシステムが、スキャナと、コンピューティングデバイスと、出力メカニズムとを含む。スキャナは、輸送コンテナをスキャンし、少なくとも1つの放射線撮影画像をレンダリングするように構成される。コンピューティングデバイスは、1つまたは複数のプロセッサを備え、スキャナに通信可能なように結合され、輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた輸送コンテナのレンダリングされた放射線撮影画像を受信するように構成される。コンピューティングデバイスは、オートエンコーダニューラルネットワークを用いて、放射線撮影画像から特徴ベクトルを抽出し、似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との抽出された特徴ベクトルの比較によって、スキャンされた輸送コンテナ内の物体がスキャンされた輸送コンテナについての関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振るようにさらに構成される。加えて、コンピューティングデバイスは、割り振られた統計的確率に基づいてスキャンされた輸送コンテナに関連する自動検出インジケーションを生成するように構成される。出力メカニズムは、自動検出インジケーションに基づいてグラフィックスを表示するかまたは音声を生成するように構成される。
【０００７】
さらなる実施形態においては、指定された空の輸送コンテナの検査のためのシステムが、スキャナと、コンピューティングデバイスと、出力メカニズムとを含む。スキャナは、輸送コンテナをスキャンし、少なくとも1つの放射線撮影画像をレンダリングするように構成される。コンピューティングデバイスは、1つまたは複数のプロセッサを備え、スキャナに通信可能なように結合され、輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた輸送コンテナのレンダリングされた放射線撮影画像を受信するように構成される。コンピューティングデバイスは、オートエンコーダニューラルネットワークを用いて、放射線撮影画像の各セグメントに関する特徴ベクトルを抽出し、スキャンされた輸送コンテナの抽出された特徴ベクトルが以前の空のコンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布に対するセグメント毎の比較と一致する統計的確率を割り振るようにさらに構成される。加えて、コンピューティングデバイスは、割り振られた統計的確率に基づいてスキャンされた輸送コンテナが空であることに関連する自動検出インジケーションを生成するように構成される。出力メカニズムは、自動検出インジケーションに基づいてグラフィックスを表示するかまたは音声を生成するように構成される。
【０００８】
一実施形態においては、輸送コンテナに関連する貨物積荷目録を承認するためのスキャンデバイスが、1つまたは複数のプロセッサと、メモリと、出力メカニズムと、スキャナとを含む。出力メカニズムは、グラフィカルな表示面および音声生成メカニズムのうちの1つまたは複数を含み、スキャナは、輸送コンテナをスキャンし、少なくとも1つの放射線撮影画像をレンダリングするように構成される。1つまたは複数のプロセッサは、スキャナから、スキャンされた輸送コンテナのレンダリングされた放射線撮影画像を受信し、オートエンコーダニューラルネットワークを用いて、放射線撮影画像から特徴ベクトルを抽出するための命令を実行するように構成される。1つまたは複数のプロセッサは、似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との抽出された特徴ベクトルの比較によって、スキャンされた輸送コンテナ内の物体がスキャンされた輸送コンテナについての関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振るようにさらに構成される。加えて、1つまたは複数のプロセッサは、割り振られた統計的確率に基づいてスキャンされた輸送コンテナに関連する自動検出インジケーションを生成し、自動検出インジケーションに基づいて出力メカニズムを介してグラフィックスを表示するかまたは音声を生成するように構成される。
【０００９】
当業者は、図面が主に例示を目的としており、本明細書において説明される主題の範囲を限定するように意図されていないことを理解するであろう。図面は、必ずしも正確な縮尺でなく、場合によっては、本明細書において開示される主題の様々な態様は、異なる特徴の理解を促進するために図面において強調してまたは拡大して示される可能性がある。図面において、同様の参照符号は、概して、同様の特徴(たとえば、機能的に似たまたは構造的に似た要素)を指す。
【００１０】
本開示によって提供される上述のおよびその他の特徴および利点は、添付の図面とともに読まれるとき、例示的な実施形態の以下の説明からより完全に理解されるであろう。
【図面の簡単な説明】
【００１１】
【図１】例示的な実施形態による画像処理システムをモジュールを単位として示すブロック図である。
【図２】例示的な実施形態による画像処理システムによって使用される例示的な方法を示す流れ図である。
【図３】例示的な実施形態による画像処理システムによって使用される例示的なオートエンコーダニューラルネットワークを示す図である。
【図４Ａ】例示的な実施形態による画像処理システムによって提供される出力画像を示す図である。
【図４Ｂ】例示的な実施形態による画像処理システムによって提供される出力画像を示す図である。
【図４Ｃ】例示的な実施形態による画像処理システムによって提供される出力画像を示す図である。
【図５】例示的な実施形態による画像処理システムを実装するためのシステムを示すネットワーク図である。
【図６】例示的な実施形態によって提供される方法の1つまたは複数のステップを実行するために使用され得る例示的なコンピューティングデバイスのブロック図である。
【図７】例示的な実施形態による貨物積荷目録のテキストの分析のための例示的なニューラルネットワークアーキテクチャを示す図である。
【図８】例示的な実施形態によるオペレータの検査の判断を支援するための積荷目録検証(MV: manifest verification)アルゴリズムの例示的な実装を示す図である。
【図９】例示的な実施形態による、積荷目録の検証の効率を書類に誤りのある貨物の差し止めに関連付ける受信者オペレータ特性(ROC: Receiver-Operator-Characteristics)の曲線を示す図である。
【図１０】例示的な実施形態による、空であると申告されたコンテナ内の貨幣で満たされたダッフルバッグを警告した空コンテナ承認(ECV)アルゴリズムの実装を示す図である。
【図１１】例示的な実施形態による異常検出のために使用されるコンテナセグメントを示す図である。
【図１２】例示的な実施形態による異常検出アルゴリズムの例示的な実装の結果を示す図である。
【図１３】例示的な実施形態による画像処理システムによって使用される例示的な方法を示す流れ図である。
【図１４】例示的な実施形態による空の輸送コンテナを特定するために画像処理システムによって使用される例示的な方法を示す流れ図である。
【発明を実施するための形態】
【００１２】
今日では、脅威の検出、違法な物質の密輸、および関税逃れに関する保安担当者による貨物の検査中に、貨物の画像が評価される。スキャナが、貨物の検査を支援するために使用されるが、スキャナによってレンダリングされた画像は、通常、適切に解釈するためにまだ多大な人的リソースを必要とするので、スキャナはこれまで、貨物輸送のほんのわずかな割合を調べるために使用されてきた。貨物がNIIにより綿密に調べられる場合、通常の画像分析は、人間の知覚、意思決定、および判断に頼る。米国税関国境取締局(U.S. Customs and Border Protection agency)は、オペレータの覚醒度およびオペレータ間の技能のばらつきを、検査プロセスを弱体化させ得る主なリスクとして特定した。本発明の実施形態は、すべての貨物の100%の検査を実現することができるようにオペレータに代わるまたはオペレータを助けることができる貨物検査のための機械学習アルゴリズムを導入することによってこれらのリスクに対処するのを助ける。
【００１３】
本明細書において説明されるのは、コンテナの中身を検証し、画像および積荷目録内の異常を特定するために画像を処理するための画像処理システム、方法、およびコンピュータ可読媒体である。例示的な実施形態は、画像および積荷目録を自動的に分析するための機械学習フレームワークを含む画像処理システムを提供する。一部の実施形態において、画像は、セキュリティ検査場(security checkpoint)においてスキャナまたはスクリーニング(screening)デバイスによって得られる可能性がある放射線撮影画像を含む。概して出荷積荷目録(shipping manifest)と呼ばれる出荷書類(shipping document)は、出荷中の貨物コンテナに添えられる必須書類であり、コンテナの中身および量、出発地、目的地、荷主、出荷日を記載する。出荷書類は、税関申告書またはコンテナの中身を明らかにすることができる任意の同様の書類であることも可能である。本明細書において使用されるとき、「積荷目録」は、従来の出荷積荷目録に加えてまたはその代わりに輸送コンテナの貨物の中身を記載するその他の書類を表す可能性がある。
【００１４】
通常の検査手法の1つの難しさは、高い検査の負荷のかかった人間のオペレータの不眠および異なるオペレータの間の判断のばらつきである。人間のオペレータのタスクは、積荷目録のテキストを理解し、出荷されている貨物の種類を判定し、放射線撮影画像を評価し、画像内のパターンが予測されるパターンと一致しているかどうかを判定することである。検査は、たとえば、出荷書類(積荷目録)がオペレータに理解できない可能性がある商品名、外国語の言葉、および/または専門(化学)用語を含む可能性があるので困難な可能性がある。したがって、オペレータは、検査中のコンテナの貨物の種類を知らない可能性がある。別の課題は、X線画像のパターンが所与の貨物の種類に関してどのように見えるはずであるかを理解することである。コンテナは、通常、出荷コストを最適化するために貨物で完全に満たされる。個々の物体は、放射線撮影透過画像内でその他の物体と重なり、したがって、個々の物体の形は、認識できないことが多く、貨物のグループのパターンのみが、一致を評価するために使用される。たとえば、オペレータは、放射線撮影画像内の単一のガラス瓶の形を認識する可能性があるが、コンテナに満載された空のガラス瓶の中で、個々の瓶の形は認識不可能であり、オペレータは、グループのパターンに頼らなければならない。
【００１５】
当業者は、写真画像と比べて放射線撮影画像を分析することの困難を理解する。放射線撮影画像は、狭い扇状ビームを形成するためにコリメートされるX線源によってX線を生成し、貨物をビームに通し、貨物を通過するX線を検出することによって形成される。物体の画像が複数の貨物の物体を通り抜けて伝わるX線から形成されるので、画像は、所与の時間のビーム内のすべての物体の重なり合う放射線撮影プロファイル(radiographic profile)を含む。したがって、前にある物体のみを示す写真画像と異なり、放射線撮影画像は、複数の重なり合う物体を示し、それが、個々の物体の認識をより難しくする。
【００１６】
例示的な実施形態において、画像処理システムは、放射線撮影画像をレンダリングするように構成された、X線撮影スキャナなどであるがこれに限定されないスキャナと通信するプロセッサを備えたコンピューティングデバイスを含む。以下でさらに検討されるように、コンピューティングデバイスは、少なくとも1つの特徴ベクトルを生成するように、少なくとも1つの放射線撮影画像を含む訓練データセットを用いて機械学習アルゴリズムを訓練するように構成される。放射線撮影画像は、物体を保管するテストコンテナの少なくとも1つの画像を含む。テストコンテナは、1つもしくは複数の物体を含むかまたは空である可能性がある。物体は、1つの物体または同じ種類の多くの物体を含む可能性がある。例示的な実施形態において、機械学習アルゴリズムは、オートエンコーダニューラルネットワークである(G.E. HintonおよびR.R. Salakhutdinov、Reducing the dimensionality of data with neural networks、Science、313(5786):504、2006)。機械学習アルゴリズムが下で説明されるように訓練された後、コンピューティングデバイスは、スキャナから少なくとも1つのレンダリングされた放射線撮影画像を受信する。レンダリングされた放射線撮影画像は、特定の種類の物体を含むかまたは空である可能性があるコンテナを示す。一実施形態において、コンピューティングデバイスは、コンテナ内の物体を列挙する出荷積荷目録の書類を検証するか、コンテナが空であることを検証するか、または少なくとも1つの特徴ベクトルを使用して物体もしくは異常を特定する。コンピューティングデバイスは、自動検出インジケーションを生成する可能性がある。
【００１７】
例示的な実施形態においては、輸送コンテナの放射線撮影画像の画像分析のための機械学習アルゴリズムが、機械学習フレームワークまたはプラットフォーム、たとえば、オートエンコーダニューラルネットワークなどであるがこれに限定されないニューラルネットワークを使用する機械学習フレームワーク上で実行される。その他の方法に優るオートエンコーダ型のニューラルネットワークフレームワークを使用するいくつかの利点は、オートエンコーダ型のニューラルネットワークフレームワークが訓練のためにより少ない数の画像を必要とし、リアルタイムのライブデータで訓練されることが可能であり、画像をラベル付けするために使用されることが可能であり、自己学習のために使用されることが可能であることである。したがって、一部の実施形態において、機械学習アルゴリズムは、オートエンコーダニューラルネットワークに基づき、訓練データに関してコンテナの放射線撮影画像を使用する。訓練は、各訓練サンプルにおいて入力画像ベクトルと再構築された画像との間の差を最小化し、
【００１８】
【数１】
2021534523.tif 000003
【００１９】
であり、式中、AおよびBは、それぞれ、ネットワークのエンコーダおよびデコーダの部分であり、xは、入力画像ベクトル(下で検討される図3を参照されたい)であり、Δは、訓練において損失関数として使用される特徴ベクトル空間におけるユークリッド距離の2乗である。AおよびBのパラメータは、標準的な誤差逆伝播法を使用して訓練において決定される。訓練の第2の部分において、同じ物体の種類のコンテナの特徴ベクトルが、較正データを得るために平均される。平均される物体の種類は、たとえば、ビールケース、冷蔵庫、またはバイクを有するコンテナを含む可能性がある。しかし、物体の種類は、コンテナで輸送可能な任意の1つの物体または複数の物体であることが可能である。較正データは、サンプルに関する特徴ベクトルの平均〈A(x)〉および標準偏差〈〈A2(x)〉-〈A(x)〉2〉を含み、平均することは、山括弧によって示される。この手順は、特徴パラメータが正規(ガウス)分布によって示されると仮定する。これが当てはまらない場合、同じ貨物のサンプルは、サンプルの確率密度関数がガウス近似の級数(series)によって近似されるように、2つ以上の平均および標準偏差によって示される。このようにして、複雑な形でさえも、比較的少ない数のパラメータによって示され得る。
【００２０】
訓練された機械学習アルゴリズムは、訓練データセットに基づいて1つまたは複数の特徴ベクトルを生成する。特徴ベクトルは、物体の、特徴と呼ばれる数値的または記号的特性を数学的に表すために使用され、パターン処理のために使用される。訓練データセットは、物体の種類に関連するパターンを特定するように画像処理システムを訓練するために使用される。生成されたパターンは、記憶され、1つまたは複数の入力画像の特徴ベクトルを分析するために使用される。入力画像は、放射線撮影機によって得られた物体の画像である。特徴ベクトルに基づいて、一実施形態において、画像処理システムは、異常を特定することができる。
【００２１】
一部の任意の実施形態においては、自然言語処理アルゴリズムを使用して出荷書類(積荷目録)を分析するために、第2の種類の機械学習アルゴリズムが使用される。例示的な実施形態において、アルゴリズムは、(Mikolov, Tomasら、(2013)、「Efficient Estimation of Word Representations in Vector Space」、arXiv:1301.3781に記載の単語-ベクトル型などの単語-ベクトル型などであるがこれに限定されない)単語埋め込みとしても知られる単語-ベクトル型のニューラルネットワークに基づいており、下でさらに検討される図7を参照されたい。手法は、積荷目録の単語および関連するラベルの辞書を生成し、単語とラベルとの間の相関を見つける。単語は、相関のある単語が似た特徴ベクトルを有する新しい特徴ベクトル空間に変換される(図3の隠れ層)。訓練手順は、たとえば、
【００２２】
【数２】
2021534523.tif 000004
【００２３】
として定義される損失関数を最小化し、式中、x'は、積荷目録のサンプルnからの出力単語ベクトルの和であり、AおよびBは、x' = B・A・xのように入力単語ベクトルを変換するネットワークのエンコーダおよびデコーダの部分であり、yは、ラベルに関する単語ベクトルであり、sは、ソフトマックス関数
【００２４】
【数３】
2021534523.tif 000005
【００２５】
である。訓練は、行列AおよびBのパラメータを決定するために標準的な誤差逆伝播法および勾配降下法を使用して損失関数を最小化する。当業者は、生の積荷目録の単語を使用する代わりに、単語または単語セグメント(word segment)の組合せを使用する方がよいことを知っている。すべての貨物カテゴリに現れるよくある単語(「the」、「origin」、「destination」、「weight」...)は、区別する能力がほとんどなく、無視され得る。
【００２６】
本明細書において説明される画像および/または積荷目録処理システムは、放射線撮影画像および/または積荷目録を分析して、コンテナの中身を検証し、画像および/または積荷目録内の異常を特定する。実施形態は、積荷目録検証(MV)を実行して積荷目録に載せられた物体がコンテナ内の物体と一致することを検証し、空コンテナ検証(ECV: empty container verification)を実行してコンテナが空であることを検証し、貨物の種類を判定するかもしくは物体の種類の検出を実行し、特定の物体および/もしくは脅威を探し、ならびに/または異常検出を実行しておかしいパターンを探す可能性がある。それぞれの種類の分析が、下でさらに説明される。
【００２７】
本明細書において説明される輸送コンテナの放射線撮影画像分析は、単独でまたは貨物の積荷目録分析と併せて実行される可能性があることを理解されたい。一部の実施形態において、単語埋め込みを使用する貨物の積荷目録分析のための技術などであるがこれに限定されない、本明細書において説明される貨物の積荷目録分析のための技術も、輸送コンテナの中身を判定するために単独で(つまり、放射線撮影画像分析を実行せずに)実行される可能性がある。
【００２８】
積荷目録検証(MV)
積荷目録検証(MV)は、輸送コンテナ内にあるものが積荷目録が輸送コンテナ内にあるはずであることを示すものと同じであることを検証しようと試みる。MVは、積荷目録処理システムによって出荷積荷目録のテキストを処理し、画像処理システムによって放射線撮影画像を処理することによって実行される。画像処理システムと積荷目録処理システムとの両方が、同じ貨物カテゴリに関して似ている特徴ベクトルを導出する。たとえば、空の瓶を有する貨物に関する画像の特徴ベクトルは似ているが、放射線撮影画像内で空の瓶が作る特定のパターンが原因でその他の貨物とは異なる。積荷目録における空の瓶の貨物の記載は、空の瓶の積荷に関して似ており、したがって、積荷目録の特徴ベクトルは、この貨物カテゴリに特有である。MVは、画像の特徴ベクトルと積荷目録の特徴ベクトルとの間の相関を履歴的なデータと比較する。
【００２９】
一部の実施形態においては、積荷目録が、貨物カテゴリを判定するためにまず分析される。画像処理システムは、上述のように、この貨物カテゴリの履歴的な画像との一致に関して画像のパターンを調べ、カイ2乗値を生じる。アルゴリズムは、閾値未満のカイ2乗値を有する積荷を承認することを選択し得る。閾値は、検査が所与の検証効率のレートに関して必要とされる誤警報率を満たすように設定され得る。たとえば、MVアルゴリズムの実装は、80%の積荷目録検証レート(manifest verification rate)において、書類に不備のある貨物の70%が差し止められるべきであることを要求する。(図9に示される)港の200個の貨物カテゴリに関する受信者オペレータ特性の曲線は、効率と差し止め率との間の関係を示す。
【００３０】
一部の実施形態においては、画像処理が、貨物カテゴリを判定するために最初に行われ、積荷目録の処理が、履歴的な分布と比較するために使用される特徴ベクトルを導出する。
【００３１】
一部の実施形態においては、貨物カテゴリが割り振られないが、積荷目録の特徴ベクトルと画像の特徴ベクトルとが、大きな空間に組み合わされる。たとえば、20次元空間を有する画像の特徴ベクトルと100次元空間内の積荷目録の特徴ベクトルとが、120次元空間において組み合わされる。積荷目録空間および画像空間において別々にクラスタを探す代わりに、データが120次元空間において履歴的なクリーンスキャン(clean scan)と一致していることが、調べられる。貨物をカテゴリに入れなくてよいことは、半教師ありおよび継続的学習を可能にする。
【００３２】
一部の実施形態において、画像処理システムは、特徴ベクトルを使用して、オペレータの検査のために放射線撮影画像をランク付けする。
【００３３】
一部の実施形態において、画像処理システムは、輸送コンテナの放射線撮影画像から抽出された特徴ベクトルを、検査されている輸送コンテナ内にあるはずの物体と同様の物体を載せた貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布と比較することによって、輸送コンテナの中身が積荷目録と一致する統計的確率を決定する。非限定的な例として、システム100は、所定の基準を使用して、抽出された特徴ベクトルと以前の特徴ベクトルの履歴的な分布との間の一致の度合いに基づいて、輸送コンテナの中身が関連する貨物積荷目録内の載っている物体に一致する統計的確率を生成する可能性がある。たとえば、抽出された特徴ベクトルと特徴ベクトルの履歴的な分布との間の85%の一致は、輸送コンテナの中身が関連する貨物積荷目録と一致する85%の確率をシステム100が割り振ることにまさに相当する可能性があり、またはシステムによって獲得された以前の履歴的なデータに基づいてより低いもしくはより高い確率が割り振られることに相当する可能性がある。
【００３４】
一部の実施形態において、画像処理システムは、コンテナの中身(たとえば、ある物体の種類の物体)を定量化するパラメータが積荷目録と一致すると判定する。パラメータは、物体の種類の履歴的なパラメータの分布に対してグラフィカルに表示され、オペレータに提示される。
【００３５】
一部の実施形態において、積荷目録処理システムは、オペレータが積荷目録のテキストの意味を理解するのを助ける。上述のように、積荷目録は、オペレータに知られていない貿易または専門用語を含む可能性がある。積荷目録の処理は、ラベル付けされた貨物積荷目録の履歴的な分布との特徴ベクトルの近さに基づいて貨物カテゴリを判定する。貨物カテゴリの判定は、オペレータ支援(Operator Assistance)の一部である。
【００３６】
一部の実施形態において、画像処理システムは、オペレータが放射線撮影画像内の予測されるパターンを理解することを助ける。上述のように、コンテナは、通常、貨物で一杯であり、個々の物体の形は、認識可能でない可能性があり、その代わりに、オペレータは、グループのパターンに頼る。画像処理は、履歴的なデータに基づいて貨物カテゴリに関して予測される画像のパターンを見つける。似ている履歴的な画像の表示は、この貨物カテゴリに関してランダムに選択された履歴的な画像または検査されている画像に最も近い画像を表示する可能性があるオペレータ支援機能の一部である(たとえば、図8を参照されたい)。
【００３７】
一部の実施形態において、画像処理システムは、あらゆる新しい画像によってリアルタイムで特徴ベクトルの履歴的な分布を更新する。
【００３８】
一部の実施形態において、特徴ベクトルの履歴的な分布は、10未満の放射線撮影スキャンおよび対応する積荷目録に基づく。
【００３９】
一部の実施形態において、人工ニューラルネットワークは、オートエンコーダニューラルネットワークである。
【００４０】
一部の実施形態において、人工ニューラルネットワークは、教師なしニューラルネットワークである。
【００４１】
空コンテナ検証(ECV)
空コンテナ検証は、空のコンテナの放射線撮影画像を検査することによって本明細書において説明される画像処理システムにより実行される。画像処理システムは、空であると申告されるコンテナを含むレンダリングされた放射線撮影画像を受信する。画像処理システムは、特徴ベクトルを抽出するためにオートエンコーダ型のニューラルネットワークを使用して分析される1つまたは複数のセグメントに画像を分割する。画像処理システムは、特徴ベクトルを、対応するコンテナセグメントに関する特徴ベクトルの履歴的な分布と比較する。空コンテナ検証は、そうでない場合には空であるコンテナの中の物体を探す。画像処理システムは、特徴ベクトルを使用して、空であると申告されたコンテナが確かに空であることを確認する。
【００４２】
一部の実施形態において、画像処理システムは、特徴ベクトルを使用して、オペレータの検査のために空であると申告されたコンテナの放射線撮影画像をランク付けする。
【００４３】
一部の実施形態において、画像処理システムは、コンテナが空である統計的確率を割り振る。
【００４４】
一部の実施形態において、画像処理システムは、コンテナが空であることを定量化するパラメータを決定し、パラメータは、空のコンテナに関する履歴的なパラメータの分布に対してグラフィカルに表示され、オペレータに提示される。
【００４５】
一部の実施形態において、画像処理システムは、あらゆる空のコンテナの放射線撮影画像によってリアルタイムで各セグメントに関する特徴ベクトルの履歴的な分布を更新する。
【００４６】
一部の実施形態において、特徴ベクトルの履歴的な分布は、10未満の放射線撮影スキャンに基づく。
【００４７】
一部の実施形態において、空であると申告されたコンテナ内で見つかった物体は、オペレータの検証のために印を付けられる(たとえば、図10を参照されたい)。
【００４８】
異常検出
異常検出は、本明細書において説明される画像処理システムによって、およびコンテナの放射線撮影画像を検査して異常を検出することによって実行される。画像処理システムは、各セグメントに関する特徴ベクトルを抽出するためにオートエンコーダ型のニューラルネットワークを使用して分析される1つまたは複数のセグメントに(たとえば、図11に示されるように)画像を分割する。画像処理システムは、各特徴ベクトルをコンテナからのその他の特徴ベクトルの分布と比較する。画像処理システムは、特徴ベクトルを使用して、画像の残りの部分と著しく異なるセグメントを特定する。たとえば、下でさらに説明される図12は、その他のセグメントの平均との特徴ベクトルのカイ2乗差を示す。
【００４９】
一部の実施形態において、画像処理システムは、特徴ベクトルを使用して、オペレータの検査のために放射線撮影画像をランク付けする。
【００５０】
一部の実施形態において、画像処理システムは、コンテナセグメントに異常がある統計的確率を割り振る。
【００５１】
一部の実施形態において、画像処理システムは、コンテナセグメントに異常がある確率を定量化するパラメータを決定し、パラメータは、コンテナセグメントに関するパラメータの分布に対してグラフィカルに表示され、オペレータに提示される。
【００５２】
データ品質の監視
データ品質の監視は、データ品質の監視のために放射線撮影画像を分析することによって本明細書において説明される画像処理システムにより実行される。画像処理システムは、各セグメントに関する1つまたは複数の特徴ベクトルを抽出するためにオートエンコーダ型のニューラルネットワークを使用して分析される1つまたは複数のセグメントに画像を分割する。画像処理システムは、各特徴ベクトルを、セグメントに関する履歴的な分布の特徴ベクトルと比較する。画像処理システムは、不良検出器チャネル(bad detector channel)、カットオフ画像(cut off image)、および誤った放射線量による画像などの放射線撮影画像のデータ品質を評価するために特徴ベクトルを使用する。
【００５３】
貨物の種類の検出
貨物の種類の検出は、検査されている1つまたは複数の物体の放射線撮影画像を分析することによって本明細書において説明される画像処理システムにより実行される。画像処理システムは、特徴ベクトルを抽出するために人工的ニューラルネットワーク(artificial type neural network)を使用して画像を分析する。各特徴ベクトルが、セグメントに関する履歴的な分布の特徴ベクトルと比較され、特徴ベクトルは、スキャンされている1つまたは複数の物体の各々を分類するために使用される。
【００５４】
上述のアクションの各々において、画像処理システムが分析された画像内で異常または物体を特定することにより生成された出力画像に、ラベルが含められる可能性がある。一部の実施形態においては、異常または物体の位置が、出力画像内で示されるかまたは強調される。別の実施形態において、画像処理システムは、コンテナが異常を含むおよび/または積荷目録と一致しないことを保安担当者に視覚的にまたは聞こえるように示すために使用される可能性がある。
【００５５】
実施形態は、保安担当者が脅威に関してコンテナの画像を評価している応用などであるがこれに限定されない様々なセキュリティの応用において使用される可能性がある。たとえば、本明細書において説明される画像処理システムは、セキュリティ検査場においてコンテナを調べるために港で米国税関国境取締局によって使用され得る。画像処理システムは、コンテナをスキャンするために米国税関国境取締局によって使用される可能性もある。画像処理システムは、輸送または配送手段の上の貨物を調べるために使用される可能性もある。
【００５６】
上で実施形態の概要および利点を説明したが、実施形態のより具体的な詳細が、下で図を参照して与えられる。
【００５７】
図1は、例示的な実施形態による画像処理システム100をモジュールを単位として示すブロック図である。モジュールのうちの1つまたは複数は、図5に示されるように、デバイス510、スキャンデバイス520、サーバ530、および/またはデータベース540を使用して実装される可能性がある。モジュールは、機械学習アルゴリズムモジュール110、訓練データセットモジュール120、入力データモジュール130、および出力データモジュール140を含む。モジュールは、様々な回路、回路および1つまたは複数のソフトウェア構成要素、プログラム、アプリケーション、または1つもしくは複数のプロセッサによって実行されるように構成されたコードベースもしくは命令のその他の単位を含む可能性がある。一部の実施形態において、モジュール110、120、130、140のうちの1つまたは複数は、サーバ530に含まれる可能性があり、一方、モジュール110、120、130、140のうちのその他のものは、デバイス510またはスキャンデバイス520に提供される。モジュール110、120、130、および140は図1において別個のモジュールとして示されるが、モジュール110、120、130、および140は、示されるよりも少ないまたは多いモジュールとして実装される可能性があることを理解されたい。モジュール110、120、130、および140のうちのいずれも、デバイス510、スキャンデバイス520、サーバ530、またはデータベース540などのシステム500(図5)に含まれる1つまたは複数の構成要素と通信する可能性があることを理解されたい。
【００５８】
機械学習アルゴリズムモジュール110は、機械学習アルゴリズムを実行するかまたは走らせるように構成されたソフトウェアおよび/またはハードウェアによって実装されたモジュールである可能性があり、機械学習アルゴリズムを実行するために必要とされるパラメータ、変数、データ、およびその他のコンポーネントを記憶し、管理する可能性がある。例示的な実施形態において、機械学習アルゴリズムは、輸送コンテナの放射線撮影画像の画像分析を実行するために使用されるオートエンコーダ型のニューラルネットワーク110A、または輸送コンテナに関連する貨物積荷目録の分析を実行するために使用される再帰型ニューラルネットワーク110Bである。
【００５９】
訓練データセットモジュール120は、画像処理システム100によって使用される機械学習アルゴリズムのための訓練データセットを管理し、記憶するように構成されたソフトウェアおよび/またはハードウェアによって実装されたモジュールである可能性がある。例示的な実施形態において、訓練データセットは、放射線撮影スクリーニングマシンまたはデバイスを使用して取得されたコンテナの画像を含む。画像は、1つまたは複数の物体を保管するコンテナを示す可能性がある。
【００６０】
入力データモジュール130は、画像処理システム100によって分析される入力画像を管理し、記憶するように構成されたソフトウェアおよび/またはハードウェアによって実装されたモジュールである可能性がある。
【００６１】
出力データモジュール140は、機械学習アルゴリズムの出力を管理し、記憶するように構成されたソフトウェアおよび/またはハードウェアによって実装されたモジュールである可能性がある。一部の実施形態において、出力は、入力画像が異常を含むかどうかのインジケーションである。例示的な実施形態において、出力は、出力画像内の異常を視覚的に目立たせるまたは強調することによって異常の存在を示す出力画像である。一実施形態において、出力画像は、異常を特定するラベルを含む可能性がある。別の例示的な実施形態において、出力は、画像の分析に基づいてコンテナが異常を含むおよび/または積荷目録と一致しないことをオペレータまたは保安担当者に示すためにセキュリティスクリーニングマシンまたはデバイスにおいて生成された警報またはアラートである。
【００６２】
図1のモジュールは、放射線撮影画像および積荷目録の分析に関連して上で検討された機能の一部またはすべてを提供する可能性があることを理解されたい。上で検討されたように、一部の実施形態において、機械学習アルゴリズムは、オートエンコーダニューラルネットワークに基づき、訓練データに関してコンテナの放射線撮影画像を使用する。訓練は、各訓練サンプルにおいて入力画像ベクトルと再構築された画像との間の差を最小化し、
【００６３】
【数４】
2021534523.tif 000006
【００６４】
であり、式中、AおよびBは、それぞれ、ネットワークのエンコーダおよびデコーダの部分であり、xは、入力画像ベクトル(下で検討される図3を参照されたい)であり、Δは、訓練において損失関数として使用される特徴ベクトル空間におけるユークリッド距離の2乗である。AおよびBのパラメータは、標準的な誤差逆伝播法を使用して訓練において決定される。訓練の第2の部分において、同じ物体の種類のコンテナの特徴ベクトルが、較正データを得るために平均される。平均される物体の種類は、たとえば、ビールケース、冷蔵庫、またはバイクを有するコンテナを含む可能性がある。しかし、物体の種類は、コンテナで輸送可能な任意の1つの物体または複数の物体であることが可能である。較正データは、サンプルに関する特徴ベクトルの平均〈A(x)〉および標準偏差〈〈A2(x)〉-〈A(x)〉2〉を含み、平均することは、山括弧によって示される。この手順は、特徴パラメータが正規(ガウス)分布によって示されると仮定する。これが当てはまらない場合、同じ貨物のサンプルは、サンプルの確率密度関数がガウス近似の級数によって近似されるように、2つ以上の平均および標準偏差によって示される。このようにして、複雑な形でさえも、比較的少ない数のパラメータによって示され得る。
【００６５】
訓練された機械学習アルゴリズムは、訓練データセットに基づいて1つまたは複数の特徴ベクトルを生成する。特徴ベクトルは、物体の、特徴と呼ばれる数値的または記号的特性を数学的に表すために使用され、パターン処理のために使用される。訓練データセットは、物体の種類に関連するパターンを特定するように画像処理システムを訓練するために使用される。生成されたパターンは、記憶され、1つまたは複数の入力画像の特徴ベクトルを分析するために使用される。入力画像は、放射線撮影機によって得られた物体の画像である。特徴ベクトルに基づいて、一実施形態において、画像処理システムは、異常を特定することができる。
【００６６】
一部の任意の実施形態においては、自然言語処理アルゴリズムを使用して出荷書類(積荷目録)を分析するために、第2の種類の機械学習アルゴリズムが使用される。例示的な実施形態において、アルゴリズムは、(Mikolov, Tomasら、(2013)、「Efficient Estimation of Word Representations in Vector Space」、arXiv:1301.3781に記載の単語-ベクトル型などの単語-ベクトル型などであるがこれに限定されない)単語埋め込みとしても知られる単語-ベクトル型のニューラルネットワークに基づいており、下でさらに検討される図7を参照されたい。手法は、積荷目録の単語および関連するラベルの辞書を生成し、単語とラベルとの間の相関を見つける。単語は、相関のある単語が似た特徴ベクトルを有する新しい特徴ベクトル空間に変換される(図3の隠れ層)。訓練手順は、たとえば、
【００６７】
【数５】
2021534523.tif 000007
【００６８】
として定義される損失関数を最小化し、式中、x'は、積荷目録のサンプルnからの出力単語ベクトルの和であり、AおよびBは、x' = B・A・xのように入力単語ベクトルを変換するネットワークのエンコーダおよびデコーダの部分であり、yは、ラベルに関する単語ベクトルであり、sは、ソフトマックス関数
【００６９】
【数６】
2021534523.tif 000008
【００７０】
である。訓練は、行列AおよびBのパラメータを決定するために標準的な誤差逆伝播法および勾配降下法を使用して損失関数を最小化する。当業者は、生の積荷目録の単語を使用する代わりに、単語または単語セグメントの組合せを使用する方がよいことを知っている。すべての貨物カテゴリに現れるよくある単語(「the」、「origin」、「destination」、「weight」...)は、区別する能力がほとんどなく、無視され得る。
【００７１】
本明細書において説明される画像および/または積荷目録処理システムは、放射線撮影画像および/または積荷目録を分析して、コンテナの中身を検証し、画像および/または積荷目録内の異常を特定する。実施形態は、積荷目録検証(MV)を実行して積荷目録に載せられた物体がコンテナ内の物体と一致することを検証し、空コンテナ検証(ECV)を実行してコンテナが空であることを検証し、貨物の種類を判定するかもしくは物体の種類の検出を実行し、特定の物体および/もしくは脅威を探し、ならびに/または異常検出を実行しておかしいパターンを探す可能性がある。
【００７２】
図2は、例示的な実施形態による画像処理システムによって使用される例示的な方法200を示す流れ図である。方法200は、上述のシステム100の1つまたは複数のモジュールを使用して実行される可能性がある。
【００７３】
ブロック202において、画像処理システム100で使用される機械学習アルゴリズムが、訓練データセットを使用してコンテナ内の特定の物体の種類を分析するために訓練される。機械学習アルゴリズムモジュール110は、機械学習アルゴリズムを実行するように構成される可能性がある。訓練データモジュール120は、訓練のために機械学習アルゴリズムモジュール110に訓練データセットを提供するように構成される可能性がある。
【００７４】
例示的な実施形態において、訓練データセットは、指定された物体の種類を含むコンテナの少なくとも1つの放射線撮影画像を含む。たとえば、訓練データセットは、冷蔵庫を含むコンテナの放射線撮影画像を含む可能性がある。訓練データセットは、放射線撮影画像内の異常を特定するように機械学習アルゴリズムを訓練するために使用され得る。たとえば、訓練データセットは、冷蔵庫を含むコンテナの放射線撮影画像が異常を含むかどうかを判定するように機械学習アルゴリズムを訓練するために使用され得る。
【００７５】
非限定的な例において、訓練データセットのための画像は、港または国境管理、ハイウェイステーション(highway way station)などの施設のセキュリティ検査場に設置されたスキャンデバイスから得られる。
【００７６】
例示的な実施形態において、訓練データセットは、2Dまたは3D画像を含む可能性がある。別の例において、訓練データセットは、物体の異なるレイヤを表す複数の2D画像を含む可能性がある。2D画像は、物体の断面画像またはスライス(slice)である可能性がある。さらに別の例において、訓練データセットは、それぞれが物体の異なる見方を表す複数の画像を含む可能性がある。
【００７７】
ブロック204において、入力データモジュール130が、コンテナを含む少なくとも1つのレンダリングされた放射線撮影画像を受信する。
【００７８】
一実施形態において、画像処理システム100は、各セグメントに関する特徴ベクトルを抽出するためにオートエンコーダ型のニューラルネットワークを使用して分析される1つまたは複数のセグメントに入力画像を分割することによって入力画像を分析し、異常の存在を特定する。各特徴ベクトルが、このコンテナからのその他の特徴ベクトルの分布と比較される。特徴ベクトルは、画像の残りの部分と著しく異なるセグメントを特定するために使用される。
【００７９】
ブロック206において、機械学習アルゴリズムモジュール110が、ブロック204において受信された入力画像を分析し、入力画像がコンテナ内の物体の種類を載せている積荷目録の書類と一致しているかどうか、入力画像が空のコンテナと一致しているかどうか、入力画像が物体を含むかどうか、または入力画像が異常を含むかどうかを自動的に判定するように構成される。たとえば、画像処理システム100は、入力画像が冷蔵庫内の異常を含むと判定する可能性がある。
【００８０】
ブロック208において、出力データモジュール140が、ステップ206の分析に基づいて自動検出インジケーションを生成する。たとえば、自動検出インジケーションは、入力画像内で特定された異常に関連付けられる可能性がある。例示的な実施形態において、自動検出インジケーションは、入力画像内の異常を特定するテキストのラベルまたはその他のグラフィカルなインジケーションである。自動検出インジケーションは、ユーザデバイスのディスプレイに表示されるかまたはユーザデバイスのディスプレイにおいて提供される出力画像に含められる可能性がある。出力画像は、異常の存在のインジケーションをともなう入力画像(たとえば、レンダリングされた放射線撮影画像)である可能性がある。本明細書において説明されるように、出力または自動検出インジケーションがユーザに提供されるユーザデバイスは、セキュリティスキャンデバイス、コンピューティングデバイス、またはサーバに通信可能なように結合されたディスプレイデバイスを含む可能性がある。別の実施形態において、自動検出インジケーションは、入力画像内の異常の位置を示す視覚的なインジケーションである可能性がある。そのような視覚的なインジケーションは、異常を包含する色付きの四角形である可能性がある。別の実施形態において、自動検出インジケーションは、入力画像内で異常が検出されていることをユーザに注意喚起するグラフィカルなインジケーションおよび/または可聴のインジケーションである可能性がある。別の実施形態において、自動検出インジケーションは、入力画像が積荷目録の書類と一致しているかどうか、または入力画像が空のコンテナと一致しているかどうかを示す可能性がある。
【００８１】
自動検出インジケーションは、施設内のセキュリティスキャンデバイスに結合されたユーザデバイスまたはコンピューティングデバイスに送信される可能性がある。一部の実施形態において、セキュリティスキャンデバイスは、入国港またはその他の安全な施設のX線スクリーニングマシンである可能性がある。自動検出インジケーションは、入力画像が画像処理システム100において受信されるときに対してリアルタイムまたは準リアルタイムで生成され、送信される可能性がある。
【００８２】
一部の実施形態において、画像処理システム100は、ブロック206の特定された異常が物体の種類に関するよくある誤警報異常(false-alarm anomaly)であると判定する。例示的な実施形態においては、よくある誤警報異常のリストが、データベースに記憶される。例示的な実施形態において、画像処理システムによって特定される可能性があるが、よくある誤警報異常である異常は、特定の機械学習アルゴリズムが誤警報異常を考慮に入れることを可能にするためによくある誤警報異常のリストを生成するために集約される可能性がある。
【００８３】
本明細書において説明される画像処理システムを実装するために、例示的な実施形態は、LINUX(登録商標)を実行するコンピューティングデバイス、1つまたは複数のグラフィックス処理カードまたはユニット(GPU)、訓練のための1つまたは複数の画像、およびオートエンコーダフレームワークを使用する。
【００８４】
図3は、例示的な実施形態による画像処理システムによって使用される例示的なオートエンコーダニューラルネットワークトポロジーを示す。オートエンコーダは、3つの層の段階、すなわち、入力層段階302、隠れ(符号化)層段階304、および復号層段階306を有するニューラルネットワークである。ネットワークは、その入力を再構築するように訓練され、これは、隠れ層段階に入力の良好な表現を学習しようと試みることを強いる。画像は、一連の隠れ層によって元のサイズから20次元の特徴ベクトルに切り詰められる。ネットワークは、特徴ベクトルを元のサイズに拡大し、損失関数を適用して元の画像を復元することによって訓練される。
【００８５】
オートエンコーダニューラルネットワークのエンコーダの部分によって学習されたマッピングは、データから特徴を抽出するのに役立つ。エンコーダの各ニューロンは、そのニューロンに関連する1組の重みを有し、1組の重みは、特定の視覚的特徴に反応するように調整される。オートエンコーダニューラルネットワークを用いて学習された特徴は、デジタル画像からのパターンを表す。訓練データセットは、物体の種類に関連するパターンを特定するように画像処理システムを訓練するために使用される。上述のように、生成されたパターンは、記憶され、1つまたは複数の入力画像の特徴ベクトルを分析するために使用される。
【００８６】
図4A〜図4Cは、例示的な実施形態による画像処理システムによって提供される出力画像を示す。図4Aは、冷蔵庫、バイク、ビール、たばこ、およびポリエチレンテレフタラート(PET)を含むよくある物体の種類を含むコンテナならびに空のコンテナの放射線撮影画像400を示す。
【００８７】
物体の種類の間の相違を定量化するために、システムは、図4Bに示されるように、トポロジーを有するオートエンコーダ型のニューラルネットワークを使用して画像分析を実行する。検査されているコンテナ内の物体の種類は、同じ物体の種類の履歴的な分布の外形と比較され、そして、それらは、図4Cに示されるようにプロットされる。
【００８８】
図4Cは、グラフにプロットされた4つの物体の種類(たばこ、ビール、冷蔵庫、およびバイク)の約120個の画像セグメントならびに空のコンテナおよびPETのコンテナに関する画像セグメントからの特徴ベクトルを示す。同じ物体の種類からの点のクラスタリング430A、430B、430C、430D、430E、および430Fは、物体の種類が画像の特徴に基づいて区別され得ることを示す。
【００８９】
コンテナの中身の検証は、積荷目録データと放射線撮影画像とを比較することによって実現され得る。一部の実施形態において、システムは、積荷目録を解析し、画像のパターンが積荷目録に載せられた物体と一致することを自動的に検証する。その他の実施形態において、セキュリティ検査場のオペレータは、コンテナの放射線撮影画像および/または各コンテナに関する中身の情報を有する積荷目録を受け取る可能性がある。そのような実施形態において、オペレータは、画像のパターンが積荷目録に載せられた物体と一致することを検証する。
【００９０】
図5は、例示的な実施形態による画像処理システムを実装するためのシステム500を示すネットワーク図を示す。システム500は、ネットワーク505、複数のデバイス、たとえば、デバイス510、スキャンデバイス520、サーバ530、およびデータベース540を含み得る。デバイス510、520、サーバ530、およびデータベース540の各々は、ネットワーク505と通信する。
【００９１】
例示的な実施形態において、ネットワーク505の1つまたは複数の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想プライベートネットワーク(VPN)、ローカルエリアネットワーク(LAN)、ワイヤレスLAN(WLAN)、広域ネットワーク(WAN)、ワイヤレス広域ネットワーク(WWAN)、メトロポリタンエリアネットワーク(MAN)、インターネットの一部、公衆交換電話網(PSTN)の一部、セルラ電話ネットワーク、ワイヤレスネットワーク、Wi-Fiネットワーク、WiMaxネットワーク、任意のその他の種類のネットワーク、または2つ以上のそのようなネットワークの組合せである可能性がある。
【００９２】
デバイス510は、ワークステーション、コンピュータ、多目的コンピュータ、インターネット家電、ハンドヘルドデバイス、ワイヤレスデバイス、ポータブルデバイス、ウェアラブルコンピュータ、セルラまたはモバイル電話、ポータブルデジタルアシスタント(PDA)、スマートフォン、タブレット、ウルトラブック、ネットブック、ラップトップ、デスクトップ、マルチプロセッサシステム、マイクロプロセッサに基づくまたはプログラミング可能な家庭用電化製品、ネットワークPC、ミニコンピュータなどを含む可能性があるがこれらに限定されない。デバイス510は、有線またはワイヤレス接続によってネットワーク505に接続する可能性がある。
【００９３】
スキャンデバイス520は、コンテナをスキャンし、スキャンデバイス520に結合されたディスプレイデバイス上でスキャンされたコンテナのレンダリングされた放射線撮影画像を生成するための放射線撮影マシンまたはシステムを含む可能性がある。例示的な実施形態において、スキャンデバイス520は、検査場のセキュリティスクリーニングシステムである。スキャンデバイス520は、セキュリティの目的のために輸送コンテナをスキャンするために使用される可能性がある。例示的な実施形態においては、スキャンデバイス520によって生成された画像が、本明細書において説明されるように機械学習アルゴリズムを訓練するためのデータセットとして使用される。その他の実施形態において、スキャンデバイス520は、画像処理システム100のための入力画像を生成する。入力画像が処理された後、出力画像が、スキャンデバイス520に結合されたディスプレイデバイスにおいて表示される可能性があり、出力画像は、異常のラベルおよび画像内の異常の位置のインジケーションを含む可能性がある。
【００９４】
アドオンモジュールとして、本明細書において説明される画像処理システムは、既存のセキュリティ検査場のデバイス、または1つもしくは複数のデバイスにネットワークによって接続された既存のサーバにソフトウェアモジュールとしてロードされ得る。それらのデバイスまたはサーバにインストールされる可能性がある任意のその他の検出テクノロジーに加えて、画像処理システムは、警報を生成し、セキュリティ検査場のデバイスのオペレータに検出された異常を注意喚起する。
【００９５】
当業者は、アドオン能力が様々な放射線撮影デバイスに追加される可能性があることを理解し得る。このようにして、本明細書において説明される画像処理システムのアドオンによって生成されたアラートが、その他の検出ソフトウェアによって生成された警報と一緒に画面上に表示される可能性がある。
【００９６】
例示的な実施形態において、デバイス510、520は、本明細書において説明される画像処理システム100の機能のうちの1つまたは複数を実行する可能性がある。デバイス510、520は、図5のコンピューティングデバイス500の1つまたは複数の構成要素を含み得る。デバイス510、520は、機械学習アルゴリズムを訓練し、それから、入力画像に対して訓練されたアルゴリズムを使用して異常の存在を特定するために使用される可能性がある。たとえば、デバイス510、520は、放射線撮影画像の分析を実行するための第1のニューラルネットワーク550および輸送コンテナに関する貨物積荷目録の分析を実行するための第2のニューラルネットワーク560を記憶し、実行する可能性がある。
【００９７】
例示的な実施形態において、画像処理システム100は、サーバ530に含まれる可能性があり、サーバ530は、本明細書において説明される画像処理システム100の機能のうちの1つまたは複数を実行する。一部の実施形態において、デバイス510、520は、機能の一部を実行する可能性があり、サーバ530は、本明細書において説明されるその他の機能を実行する。
【００９８】
データベース540およびサーバ530の各々は、有線またはワイヤレス接続によってネットワーク505に接続される。サーバ530は、ネットワーク505を介してデバイス510、520と通信するように構成された1つまたは複数のコンピュータまたはプロセッサを含む。サーバ530は、図6のデバイス600の1つまたは複数の構成要素を含み得る。サーバ530は、デバイス510、520によってアクセスされる本明細書において説明される画像処理システムを含む1つまたは複数のアプリケーションもしくはウェブサイトをホストし、および/またはデータベース540の内容へのアクセスを容易にする。データベース540は、サーバ530および/またはデバイス510、520によって使用するためのデータおよび/または命令(もしくはコード)を記憶するための1つまたは複数のストレージデバイスを含む。データベース540およびサーバ530は、互いにまたはデバイス510、520から地理的に分散された1つまたは複数の位置に置かれる可能性がある。代替的に、データベース540は、サーバ530に含まれる可能性がある。
【００９９】
例示的なシステム500は、第1のニューラルネットワーク550および第2のニューラルネットワーク560を含む。第1のニューラルネットワーク550は、本明細書において説明されるように、放射線撮影画像から特徴ベクトルを抽出するために使用される。第2のニューラルネットワーク560は、本明細書において説明されるように、貨物積荷目録のテキストの分析のために使用される。一部の実施形態において、デバイス510および/またはサーバ520は、本明細書において説明されるように、画像および貨物積荷目録を処理してコンテナの内容を検証し、ならびに/または画像および貨物積荷目録内の異常を特定するために第1のニューラルネットワーク550および/または第2のニューラルネットワーク560を利用する。
【０１００】
図6は、例示的な実施形態によって提供される方法の1つまたは複数のステップを実行するために使用され得る例示的なコンピューティングデバイス600のブロック図である。たとえば、コンピューティングデバイス600は、図5に示されたデバイス510、520、およびサーバ530である可能性があるがこれらに限定されない。コンピューティングデバイス600は、例示的な実施形態を実装するための1つまたは複数のコンピュータで実行可能な命令またはソフトウェアを記憶するための1つまたは複数の非一時的コンピュータ可読媒体を含む。非一時的コンピュータ可読媒体は、1つまたは複数の種類のハードウェアメモリ、非一時的な有形の媒体(たとえば、1つまたは複数の磁気ストレージディスク、1つまたは複数の光ディスク、1つまたは複数のUSBフラッシュドライブ)などを含み得るがこれらに限定されない。たとえば、コンピューティングデバイス600に含まれるメモリ606は、例示的な実施形態を実装するためのコンピュータが読み取り可能なおよびコンピュータが実行可能な命令またはソフトウェアを記憶し得る。コンピューティングデバイス600は、メモリ606に記憶されたコンピュータが読み取り可能なおよびコンピュータが実行可能な命令またはソフトウェア、ならびにシステムハードウェアを制御するためのその他のプログラムを実行するためのプロセッサ602および関連するコア604ならびに任意で1つまたは複数の追加的なプロセッサ602'および関連するコア604'(たとえば、コンピュータシステムが複数のプロセッサ/コアを有する場合)も含む。プロセッサ602およびプロセッサ602'は、それぞれ、単一コアプロセッサまたは複数コア(604および604')プロセッサであることが可能である。コンピューティングデバイス600は、グラフィックス処理ユニット(GPU)605も含む。一部の実施形態において、コンピューティングデバイス600は、複数のGPUを含む。
【０１０１】
コンピューティングデバイスのインフラストラクチャおよびリソースが動的に共有され得るように、コンピューティングデバイス600において仮想化が使用され得る。プロセスが複数のコンピューティングリソースではなくただ1つのコンピューティングリソースを使用しているように見えるように複数のプロセッサで実行されるプロセスを処理するための仮想マシン614が、提供され得る。複数の仮想マシンが、1つのプロセッサによって使用されることも可能である。
【０１０２】
メモリ606は、DRAM、SRAM、EDO RAMなどのコンピュータシステムメモリまたはランダムアクセスメモリを含み得る。メモリ606は、その他の種類のメモリも含むかまたはこれらの組合せを含み得る。ユーザは、1つまたは複数のユーザインターフェース622を表示し得るタッチスクリーンディスプレイまたはコンピュータモニタなどの視覚的なディスプレイデバイス618を通じてコンピューティングデバイス600とインタラクションすることができる。視覚的なディスプレイデバイス618は、例示的な実施形態に関連するその他の様相、要素、および/または情報もしくはデータを表示することもできる。コンピューティングデバイス600は、ユーザから入力を受け取るためのその他のI/Oデバイス、たとえば、キーボードまたは任意の好適な多点タッチインターフェース608、ポインティングデバイス610(たとえば、ペン、スタイラス、マウス、またはトラックパッド)を含み得る。キーボード608およびポインティングデバイス610は、視覚的なディスプレイデバイス618に結合され得る。コンピューティングデバイス600は、その他の好適な通常のI/O周辺機器を含み得る。
【０１０３】
コンピューティングデバイス600は、データならびにコンピュータ可読命令および/またはディスプレイ618上でユーザインターフェース622を生成するために実行され得る、本明細書において説明される通知システムの例示的な実施形態もしくはその一部を実装する図1に示されたシステム100の1つもしくは複数のモジュールなどのソフトウェアを記憶するための、ハードドライブ、CD-ROM、またはその他のコンピュータ可読媒体などの1つまたは複数のストレージデバイス624も含み得る。例示的なストレージデバイス624は、例示的な実施形態を実装するために必要とされる任意の好適な情報を記憶するための1つまたは複数のデータベースも記憶し得る。データベースは、データベース内の1つまたは複数のオブジェクトを追加、削除、または更新するために任意の好適な時間にユーザによってまたは自動的に更新され得る。例示的なストレージデバイス624は、訓練データ100A、第1のニューラルネットワーク100B、第2のニューラルネットワーク100C、ならびに/またはアルゴリズム110D(積荷目録検証アルゴリズム、空コンテナ検証アルゴリズム、貨物の種類検出アルゴリズム、異常検出アルゴリズム、および/もしくはデータ品質監視アルゴリズムなどであるがこれらに限定されない)を含む画像処理システム100の一部もしくはすべてを記憶し得る。
【０１０４】
コンピューティングデバイス600は、標準的な加入電話回線、ローカルエリアネットワーク(LAN)もしくは広域ネットワーク(WAN)リンク(たとえば、802.11、T1、T3、56kb、X.25)、ブロードバンド接続(たとえば、ISDN、フレームリレー、ATM)、ワイヤレス接続、コントローラエリアネットワーク(CAN)、または以上のいずれかもしくはすべての何らかの組合せを含むがこれらに限定されない様々な接続を通じて1つまたは複数のネットワークデバイス620によって1つまたは複数のネットワーク、たとえば、LAN、WAN、またはインターネットとインターフェースをとるように構成されたネットワークインターフェース612を含み得る。ネットワークインターフェース612は、組み込みネットワークアダプタ、ネットワークインターフェースカード、PCMCIAネットワークカード、カードバスネットワークアダプタ、ワイヤレスネットワークアダプタ、USBネットワークアダプタ、モデム、またはコンピューティングデバイス600と他の任意の種類のネットワークとのインターフェースをとり、本明細書において説明される動作を実行することに好適な任意のその他のデバイスを含み得る。さらに、コンピューティングデバイス600は、ワークステーション、デスクトップコンピュータ、サーバ、ラップトップ、ハンドヘルドコンピュータ、タブレットコンピュータ(たとえば、iPad(登録商標)タブレットコンピュータ)、モバイルコンピューティングもしくは通信デバイス(たとえば、iPhone(登録商標)通信デバイス)、または通信することができ、本明細書において説明される動作を実行するのに十分なプロセッサの能力およびメモリ容量を有するその他の形態のコンピューティングもしくは電気通信デバイスなどの任意のコンピュータシステムであることが可能である。
【０１０５】
コンピューティングデバイス600は、Microsoft(登録商標) Windows(登録商標)オペレーティングシステム、モバイルOS、AndroidおよびiOSのバージョンのいずれか、UnixおよびLinux(登録商標)オペレーティングシステムの異なるリリース、Macintoshコンピュータ用のMacOS(登録商標)の任意のバージョン、任意の組み込みオペレーティングシステム、任意のリアルタイムオペレーティングシステム、任意のオープンソースのオペレーティングシステム、任意の独自仕様のオペレーティングシステム、モバイルコンピューティングデバイス用の任意のオペレーティングシステム、またはコンピューティングデバイス上で実行され、本明細書において説明される動作を実行することができる任意のその他のオペレーティングシステムなどの任意のオペレーティングシステム616を実行し得る。例示的な実施形態において、オペレーティングシステム616は、ネイティブモードまたはエミュレートモードで実行され得る。例示的な実施形態において、オペレーティングシステム616は、1つまたは複数のクラウドマシンインスタンス上で実行され得る。
【０１０６】
図7は、例示的な実施形態による積荷目録のテキストの分析のための例示的なニューラルネットワークアーキテクチャを示す。入力ニューロンは、貨物の種類のラベルを含む積荷目録データ内で見つかった単語セグメント(n-gram)である。ニューラルネットの訓練の目的は、関連する単語が似た特徴ベクトルを持つように同じ文脈で現れる単語セグメントの間の相関を発見することである。訓練は、ネットワークのエンコーダとデコーダとの両方の部分を使用し、一方、積荷目録の評価は、特徴ベクトルを計算するエンコーダの部分のみを使用する。貨物は、積荷目録のテキストの平均と最も近い特徴ベクトルを有する貨物ラベルを選択することによって分類される。
【０１０７】
図8は、例示的な実施形態によるオペレータの検査の判断を支援するための積荷目録検証(MV)アルゴリズムの例示的な実装を示す。オペレータは、検査されている画像802および/または生の積荷目録のテキストを見る。MVアルゴリズムの結果804が、オペレータに対して表示される。結果804に示されるように、MVは、積荷目録を解釈し、オペレータに貨物の中身を明らかにするラベル806を割り振る。MVは、同じ貨物の中身をともなう以前のスキャンの画像808も表示する。MVは、画像が積荷目録と一致する信頼レベル810を表示する。MVアルゴリズムの結果804は、概して、ユーザインターフェースを介して表示される。
【０１０８】
図9は、例示的な実施形態による、積荷目録の検証の効率を書類に誤りのある貨物の差し止めに関連付ける例示的な受信者オペレータ特性(ROC)の曲線902を示す。積荷目録の検証の効率は、アルゴリズムによって通される書類に誤りのない貨物の割合として定義される。差し止め率は、アルゴリズムによって警告される書類に誤りのある貨物の割合である。それぞれのROCの曲線は、貨物カテゴリに属し、プロットは、約200のカテゴリを示す。例示的な実装において、すべての貨物カテゴリは、80%の積荷目録通過率(manifest clearing rate)において少なくとも70%の差し止め率を有する。
【０１０９】
図10は、例示的な実施形態による、空であると申告されたコンテナ内の貨幣で満たされたダッフルバッグを警告した空コンテナ承認(ECV)アルゴリズムの実装を示す。不審な領域1002が、オペレータの注意を引くために画像内で印を付けられる。写真1004が、テストターゲットを示すために図に追加される。
【０１１０】
図11は、例示的な実施形態による異常検出のために使用されるコンテナセグメント1102を示す。(セグメンテーションをはっきりさせるための格子の上張りを使用することによって示される)各セグメント1102は、例示的な実施形態によれば、特徴ベクトルを与えるオートエンコーダニューラルネットワークを用いて評価される。結果は、セグメントの残りの部分と著しく異なるセグメント1102を特定することである。図11に示されるように、異常を示すいくつかのセグメント1104が、特定された。
【０１１１】
図12は、例示的な実施形態による異常検出アルゴリズムの例示的な実施の結果を示す。ニューラルネットワークは、各セグメントに関する特徴ベクトルを生成し、出力モジュールは、(特徴ベクトルを比較することによって)カイ2乗ヒートマップを作成する。一部の実施形態においては、色が、その他のセグメントからの検査されているセグメントのカイ2乗値を示す。カイ2乗は、セグメントの特徴ベクトルとその他のセグメントの特徴ベクトルの平均との間の距離の2乗をその他のセグメントの特徴ベクトルの標準偏差の2乗で割った値として計算される。このカイ2乗は、自由度、つまり、特徴の数引く1に正規化される。結果は、(図11に示される)輸送コンテナの特定のセグメント内で検出された異常1204を示す。たとえば、異常は、空であるはずのコンテナ内の物体、または貨物積荷目録に載せられた種類の物体と異なる種類の物体を示す可能性がある。
【０１１２】
図13は、例示的な実施形態による画像処理システムによって使用される貨物積荷目録を承認するための例示的な方法を示す流れ図である。ステップ1302において、コンピューティングデバイスが、画像内に輸送コンテナを含むレンダリングされた放射線撮影画像をスキャナから受信する。ステップ1304において、特徴ベクトルが、オートエンコーダニューラルネットワークを使用してスキャンされた輸送コンテナの放射線撮影画像から抽出される。ステップ1306において、画像処理システムが、スキャンされた輸送コンテナに関してコンテナが関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振る。上で検討されたように、任意のステップ1308において、第2の人工ニューラルネットワークを使用して貨物積荷目録の単語に対して追加の分析を実行することによって、統計的確率がさらに決定される可能性がある。ステップ1310において、それから、スキャンされた輸送コンテナに関連する自動検出インジケーションが、割り振られた統計的確率に基づいて画像処理システムによって生成される。検出インジケーションは、警告の表示または可聴の警報を生成することなどであるがこれに限定されないいくつかの形態をとる可能性がある。
【０１１３】
図14は、例示的な実施形態による、指定された空の輸送コンテナが実際に空であることを確認するために画像処理システムによって使用される例示的な方法を示す流れ図である。ステップ1402において、コンピューティングデバイスが、輸送コンテナのレンダリングされた放射線撮影画像を受信する。ステップ1404において、特徴ベクトルが、オートエンコーダニューラルネットワークを使用して画像から抽出される。ステップ1406において、画像処理システムが、以前の空の輸送コンテナに関連する放射線撮影画像から抽出された特徴ベクトルの履歴的な分布との抽出された特徴ベクトルの比較に基づいてスキャンされた輸送コンテナの空である統計的確率を割り振る。
【０１１４】
例示的な実施形態を説明する際、明瞭にするために特定の用語が使用されている。説明のために、それぞれの特定の用語は、少なくとも、同様の目的を達成するために同様に働くすべての技術的および機能的な同義の語を含むように意図される。さらに、特定の例示的な実施形態が複数のシステムの要素、デバイスの構成要素、または方法のステップを含むいくつかの場合、それらの要素、構成要素、またはステップは、単一の要素、構成要素、またはステップによって置き換えられる可能性がある。同様に、単一の要素、構成要素、またはステップが、同じ目的のために働く複数の要素、構成要素、またはステップによって置き換えられる可能性がある。さらに、例示的な実施形態がその特定の実施形態に関連して示され、説明されたが、当業者は、形態および詳細の様々な置き換えおよび変更が本開示の範囲を逸脱することなくそれらの実施形態において行われ得ることを理解するであろう。さらに、その他の実施形態、機能、および利点も、本開示の範囲内にある。
【符号の説明】
【０１１５】
100  画像処理システム
100A  訓練データ
100B  第1のニューラルネットワーク
100C  第2のニューラルネットワーク
110  機械学習アルゴリズムモジュール
110A  オートエンコーダ型のニューラルネットワーク
110B  再帰型ニューラルネットワーク
110D  アルゴリズム
120  訓練データセットモジュール
130  入力データモジュール
140  出力データモジュール
200  方法
400  放射線撮影画像
500  システム
505  ネットワーク
510  デバイス
520  スキャンデバイス
530  サーバ
540  データベース
550  第1のニューラルネットワーク
560  第2のニューラルネットワーク
600  コンピューティングデバイス
602  プロセッサ
602'  プロセッサ
604  コア
604'  コア
606  メモリ
608  キーボード、多点タッチインターフェース
610  ポインティングデバイス
612  ネットワークインターフェース
614  仮想マシン
616  オペレーティングシステム
618  視覚的なディスプレイデバイス
620  ネットワークデバイス
622  ユーザインターフェース
624  ストレージデバイス
802  検査されている画像
804  結果
806  ラベル
808  画像
810  信頼レベル
902  受信者オペレータ特性(ROC)の曲線
1002  不審な領域
1004  写真
1102  コンテナセグメント
1104  セグメント
1204  異常
【図１】
2021534523.tif 000009
【図２】
2021534523.tif 000010
【図３】
2021534523.tif 000011
【図４Ａ】
2021534523.tif 000012
【図４Ｂ】
2021534523.tif 000013
【図４Ｃ】
2021534523.tif 000014
【図５】
2021534523.tif 000015
【図６】
2021534523.tif 000016
【図７】
2021534523.tif 000017
【図８】
2021534523.tif 000018
【図９】
2021534523.tif 000019
【図１０】
2021534523.tif 000020
【図１１】
2021534523.tif 000021
【図１２】
2021534523.tif 000022
【図１３】
2021534523.tif 000023
【図１４】
2021534523.tif 000024
【手続補正書】
【提出日】令和3年4月13日(2021.4.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
輸送コンテナに関連する貨物積荷目録を承認するためのコンピューティングデバイスによって実施される方法であって、
輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた前記輸送コンテナのレンダリングされた前記放射線撮影画像をコンピューティングデバイスにおいて受信するステップと、
オートエンコーダニューラルネットワークを用いて、前記放射線撮影画像から特徴ベクトルを抽出するステップと、
似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との前記抽出された特徴ベクトルの比較によって、前記スキャンされた輸送コンテナ内の物体が前記スキャンされた輸送コンテナについての関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振るステップと、
前記割り振られた統計的確率に基づいて前記スキャンされた輸送コンテナに関連する自動検出インジケーションを生成するステップとを含む、方法。
【請求項２】
前記スキャンされた輸送コンテナ内の前記物体の数値的または記号的特性を数学的に表す少なくとも1つの以前の特徴ベクトルを生成するように放射線撮影画像の訓練データセットを用いて前記オートエンコーダニューラルネットワークを訓練するステップであって、前記訓練データセットが、似た物体を保有する1つまたは複数の以前の輸送コンテナの以前の放射線撮影画像の第1の組を含む、ステップを含む請求項1に記載の方法。
【請求項３】
前記統計的確率が、第2の人工ニューラルネットワークを使用してさらに決定される請求項1に記載の方法。
【請求項４】
前記第2の人工ニューラルネットワークが、単語-ベクトル型のニューラルネットワークである請求項3に記載の方法。
【請求項５】
前記第2の人工ニューラルネットワークが、前記スキャンされた輸送コンテナの前記関連する貨物積荷目録を分析するために履歴的な以前の輸送コンテナの貨物積荷目録から予め訓練された単語埋め込みを利用する請求項3に記載の方法。
【請求項６】
前記第2の人工ニューラルネットワークが、以前の輸送コンテナの貨物積荷目録の履歴的なデータベースに対して訓練された教師なし再帰型ニューラルネットワークである請求項3に記載の方法。
【請求項７】
前記自動検出インジケーションが、前記関連する貨物積荷目録との前記スキャンされたコンテナの中身の一致の度合いのグラフィカルなインジケータを提供する請求項1に記載の方法。
【請求項８】
前記自動検出インジケーションが、放射線撮影画像のランク付けの表示を提供する請求項1に記載の方法。
【請求項９】
前記スキャンされた輸送コンテナ内の物体が、貨物カテゴリに関する履歴的なパラメータの分布に対して前記貨物積荷目録と一致する度合いを定量化するパラメータのグラフィカルな表示を生成するステップをさらに含む請求項1に記載の方法。
【請求項１０】
以前の特徴ベクトルの前記履歴的な分布が、前記スキャナから新しい放射線撮影画像を受信するとリアルタイムで更新される請求項1に記載の方法。
【請求項１１】
以前の特徴ベクトルの前記履歴的な分布が、10未満の放射線撮影画像スキャンおよび対応する貨物積荷目録に基づく請求項1に記載の方法。
【請求項１２】
人工ニューラルネットワークが、教師なしニューラルネットワークである請求項1に記載の方法。
【請求項１３】
前記統計的確率に基づく貨物積荷目録の承認または拒絶のカテゴリ別の割り振りを表示するステップをさらに含む請求項1に記載の方法。
【請求項１４】
前記スキャンされた輸送コンテナに関連する貨物積荷目録に似た貨物積荷目録に関連する以前の輸送コンテナのいくつかの画像が、リアルタイムで表示される請求項1に記載の方法。
【請求項１５】
前記スキャンされた輸送コンテナに関連する積荷目録に似たいくつかの以前の積荷目録が、リアルタイムで表示される請求項1に記載の方法。
【請求項１６】
輸送コンテナに関連する貨物積荷目録を承認するためのシステムであって、
輸送コンテナをスキャンし、少なくとも1つの放射線撮影画像をレンダリングするように構成されたスキャナと、
1つまたは複数のプロセッサを備え、前記スキャナに通信可能なように結合されたコンピューティングデバイスであって、
輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた前記輸送コンテナのレンダリングされた前記放射線撮影画像を受信し、
オートエンコーダニューラルネットワークを用いて、前記放射線撮影画像から特徴ベクトルを抽出し、
似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との前記抽出された特徴ベクトルの比較によって、前記スキャンされた輸送コンテナ内の物体が前記スキャンされた輸送コンテナについての関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振り、
前記割り振られた統計的確率に基づいて前記スキャンされた輸送コンテナに関連する自動検出インジケーションを生成するように構成された、コンピューティングデバイスと、
前記自動検出インジケーションに基づいてグラフィックスを表示するかまたは音声を生成するように構成された出力メカニズムとを含む、システム。
【請求項１７】
前記オートエンコーダニューラルネットワークが、前記スキャンされた輸送コンテナ内の前記物体の数値的または記号的特性を数学的に表す少なくとも1つの以前の特徴ベクトルを生成するように放射線撮影画像の訓練データセットを用いて訓練され、前記訓練データセットが、似た物体を保有する1つまたは複数の以前の輸送コンテナの以前の放射線撮影画像の第1の組を含む請求項16に記載のシステム。
【請求項１８】
前記統計的確率が、第2の人工ニューラルネットワークを使用してさらに決定される請求項16に記載のシステム。
【請求項１９】
前記第2の人工ニューラルネットワークが、単語-ベクトル型のニューラルネットワークである請求項18に記載のシステム。
【請求項２０】
前記第2の人工ニューラルネットワークが、前記スキャンされた輸送コンテナの前記関連する貨物積荷目録を分析するために履歴的な以前の輸送コンテナの貨物積荷目録から予め訓練された単語埋め込みを利用する請求項18に記載のシステム。
【請求項２１】
前記第2の人工ニューラルネットワークが、以前の輸送コンテナの貨物積荷目録の履歴的なデータベースに対して訓練された教師なし再帰型ニューラルネットワークである請求項18に記載のシステム。
【請求項２２】
前記自動検出インジケーションが、前記関連する貨物積荷目録との前記スキャンされたコンテナの中身の一致の度合いのグラフィカルなインジケータを提供する請求項16に記載のシステム。
【請求項２３】
前記自動検出インジケーションが、放射線撮影画像のランク付けの表示を提供する請求項16に記載のシステム。
【請求項２４】
前記コンピューティングデバイスが、
前記スキャンされた輸送コンテナ内の物体が、貨物カテゴリに関する履歴的なパラメータの分布に対して前記貨物積荷目録と一致する度合いを定量化するパラメータのグラフィカルな表示を生成するようにさらに構成される請求項16に記載のシステム。
【請求項２５】
以前の特徴ベクトルの前記履歴的な分布が、前記スキャナから新しい放射線撮影画像を受信するとリアルタイムで更新される請求項16に記載のシステム。
【請求項２６】
以前の特徴ベクトルの前記履歴的な分布が、10未満の放射線撮影画像スキャンおよび対応する貨物積荷目録に基づく請求項16に記載のシステム。
【請求項２７】
人工ニューラルネットワークが、教師なしニューラルネットワークである請求項16に記載のシステム。
【請求項２８】
前記コンピューティングデバイスが、
前記統計的確率に基づく貨物積荷目録の承認または拒絶のカテゴリ別の割り振りを表示するようにさらに構成される請求項16に記載のシステム。
【請求項２９】
前記コンピューティングデバイスが、
前記スキャンされた輸送コンテナに関連する貨物積荷目録に似た貨物積荷目録に関連する以前の輸送コンテナのいくつかの画像をリアルタイムで表示するようにさらに構成される請求項16に記載のシステム。
【請求項３０】
前記コンピューティングデバイスが、
前記スキャンされた輸送コンテナに関連する積荷目録に似た複数の以前の積荷目録をリアルタイムで表示するようにさらに構成される請求項16に記載のシステム。
【請求項３１】
前記コンピューティングデバイスが、
前記関連する貨物積荷目録に載せられた物体のカテゴリ別の割り振りを表示するようにさらに構成される請求項16に記載のシステム。
【請求項３２】
輸送コンテナに関連する貨物積荷目録を承認するためにプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読媒体であって、前記命令の実行が、コンピューティングデバイスに
輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた前記輸送コンテナのレンダリングされた前記放射線撮影画像を受信させ、
オートエンコーダニューラルネットワークを用いて、前記放射線撮影画像から特徴ベクトルを抽出させ、
似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との前記抽出された特徴ベクトルの比較によって、前記スキャンされた輸送コンテナ内の物体が前記スキャンされた輸送コンテナについての関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振らせ、
前記割り振られた統計的確率に基づいて前記スキャンされた輸送コンテナに関連する自動検出インジケーションを生成させる、非一時的コンピュータ可読媒体。
【請求項３３】
前記命令の実行が、さらに前記コンピューティングデバイスに
前記スキャンされた輸送コンテナ内の前記物体の数値的または記号的特性を数学的に表す少なくとも1つの以前の特徴ベクトルを生成するように放射線撮影画像の訓練データセットを用いて前記オートエンコーダニューラルネットワークを訓練させ、前記訓練データセットが、似た物体を保有する1つまたは複数の以前の輸送コンテナの以前の放射線撮影画像の第1の組を含む請求項32に記載の媒体。
【請求項３４】
前記統計的確率が、第2の人工ニューラルネットワークを使用してさらに決定される請求項32に記載の媒体。
【請求項３５】
前記第2の人工ニューラルネットワークが、単語-ベクトル型のニューラルネットワークである請求項34に記載の媒体。
【請求項３６】
前記第2の人工ニューラルネットワークが、前記スキャンされた輸送コンテナの前記関連する貨物積荷目録を分析するために履歴的な以前の輸送コンテナの貨物積荷目録から予め訓練された単語埋め込みを利用する請求項34に記載の媒体。
【請求項３７】
前記第2の人工ニューラルネットワークが、以前の輸送コンテナの貨物積荷目録の履歴的なデータベースに対して訓練された教師なし再帰型ニューラルネットワークである請求項34に記載の媒体。
【請求項３８】
前記自動検出インジケーションが、前記関連する貨物積荷目録との前記スキャンされたコンテナの中身の一致の度合いのグラフィカルなインジケータを提供する請求項32に記載の媒体。
【請求項３９】
前記自動検出インジケーションが、放射線撮影画像のランク付けの表示を提供する請求項32に記載の媒体。
【請求項４０】
前記命令の実行が、さらに前記コンピューティングデバイスに
前記スキャンされた輸送コンテナ内の物体が、貨物カテゴリに関する履歴的なパラメータの分布に対して前記貨物積荷目録と一致する度合いを定量化するパラメータのグラフィカルな表示を生成させる請求項32に記載の媒体。
【請求項４１】
以前の特徴ベクトルの前記履歴的な分布が、前記スキャナから新しい放射線撮影画像を受信するとリアルタイムで更新される請求項32に記載の媒体。
【請求項４２】
以前の特徴ベクトルの前記履歴的な分布が、10未満の放射線撮影画像スキャンおよび対応する貨物積荷目録に基づく請求項32に記載の媒体。
【請求項４３】
人工ニューラルネットワークが、教師なしニューラルネットワークである請求項32に記載の媒体。
【請求項４４】
前記命令の実行が、さらに前記コンピューティングデバイスに
前記統計的確率に基づく貨物積荷目録の承認または拒絶のカテゴリ別の割り振りを表示させる請求項32に記載の媒体。
【請求項４５】
前記スキャンされた輸送コンテナに関連する貨物積荷目録に似た貨物積荷目録に関連する以前の輸送コンテナのいくつかの画像が、リアルタイムで表示される請求項32に記載の媒体。
【請求項４６】
前記スキャンされた輸送コンテナに関連する積荷目録に似たいくつかの以前の積荷目録が、リアルタイムで表示される請求項32に記載の媒体。
【請求項４７】
前記命令の実行が、さらに前記コンピューティングデバイスに
前記関連する貨物積荷目録に載せられた物体のカテゴリ別の割り振りを表示させる請求項32に記載の媒体。
【国際調査報告】
2021534523.tif 000025
2021534523.tif 000026
2021534523.tif 000027