(57)【要約】  検査方法、検査設備及びコンピューター読み取り可能な媒体を提供する。この方法は、Ｘ線を利用して被検査物体を走査し、被検査物体の画像を取得することと、第１のニューラルネットワークを利用して前記画像を処理し、被検査物体の語意表現を取得することと、前記被検査物体のマニフェストの文字情報を読み取ることと、第２のニューラルネットワークを利用して被検査物体のマニフェストの文字情報を処理し、被検査物体の語意特徴を取得することと、前記語意表現と前記語意特徴に基づいて、前記被検査物体の通過を許可するかを判断することと、を含む。この方法は、検査の正確率を確保するとともに、検査の速度を大幅に高めて、保安検査の効率を大幅に向上させることができる。
2020534508.tif 000002
【特許請求の範囲】
【請求項１】
Ｘ線を利用して被検査物体を走査し、被検査物体の画像を取得するステップと、
第１のニューラルネットワークを利用して前記画像を処理し、被検査物体の語意表現を取得するステップと、
前記被検査物体のマニフェストの文字情報を読み取るステップと、
第２のニューラルネットワークを利用して被検査物体のマニフェストの文字情報を処理し、被検査物体の語意特徴を取得するステップと、
前記語意表現と前記語意特徴に基づいて、前記被検査物体の通過を許可するかを判断するステップと、を含む、
検査方法。
【請求項２】
前記第１のニューラルネットワークは、畳み込みニューラルネットワーク、又は候補領域に基づく畳み込みニューラルネットワーク、又は快速候補領域に基づく畳み込みニューラルネットワークであり、
前記第２のニューラルネットワークは、循環ニューラルネットワーク又は両方向循環ニューラルネットワークである、
請求項１に記載の検査方法。
【請求項３】
予め構築された画像−語意ペアのセットを利用して前記第１のニューラルネットワークをトレーニングする、
請求項１に記載の検査方法。
【請求項４】
前記第１のニューラルネットワークを利用して画像を処理する前に、
前記被検査物体の画像を二値化するステップと、
二値化された画像について平均値を算出するステップと、
二値化された画像の各画素値から前記平均値を差し引くステップと、をさらに含む、
請求項１に記載の検査方法。
【請求項５】
前記語意表現と前記語意特徴に基づいて、前記被検査物体の通過を許可するかを判断するステップは、
前記語意表現を表す第１のベクトルと前記語意特徴を表す第２のベクトルとの間の距離を算出することと、
算出された距離が閾値より小さい場合、前記被検査物体の通過を許可することと、を含む、
請求項１に記載の検査方法。
【請求項６】
第１のニューラルネットワークのトレーニング過程中において、サンプル画像に含まれる複数の領域特徴と前記サンプル画像のマニフェスト情報に含まれる複数の単語との間に、対応関係を構築する、
請求項１に記載の検査方法。
【請求項７】
前記領域特徴を表す特徴ベクトルと前記単語を表す語意ベクトルとの間のスカラー積を領域特徴と単語との間の類似度とし、前記サンプル画像の複数の領域特徴とそのマニフェスト情報に含まれる複数の単語との間の類似度の重み付きの和を前記サンプル画像とそのマニフェスト情報との間の類似度とする、
請求項６に記載の検査方法。
【請求項８】
Ｘ線を利用して被検査物体を走査し、走査画像を得る走査装置と、
前記被検査物体のマニフェスト情報を入力する入力装置と、
プロセッサーと、を含み、
前記プロセッサーは、
第１のニューラルネットワークを利用して前記画像を処理し、被検査物体の語意表現を取得し、
第２のニューラルネットワークを利用して被検査物体のマニフェストの文字情報を処理し、被検査物体の語意特徴を取得し、
前記語意表現と前記語意特徴に基づいて、前記被検査物体の通過を許可するかを判断する、ように配置される、
検査設備。
【請求項９】
前記第１のニューラルネットワークは、畳み込みニューラルネットワーク、又は候補領域に基づく畳み込みニューラルネットワーク、又は快速候補領域に基づく畳み込みニューラルネットワークであり、
前記第２のニューラルネットワークは、循環ニューラルネットワーク又は両方向循環ニューラルネットワークである、
請求項８に記載の検査設備。
【請求項１０】
予め構築された画像−語意ペアのセットを利用して前記第１のニューラルネットワークをトレーニングする、
請求項８に記載の検査設備。
【請求項１１】
前記プロセッサーは、さらに、
前記第１のニューラルネットワークを利用して画像を処理する前に、
前記被検査物体の画像を二値化し、
二値化された画像について平均値を算出し、
二値化された画像の各画素値から前記平均値を差し引く、ように配置される、
請求項８に記載の検査設備。
【請求項１２】
前記プロセッサーは、さらに、
前記語意表現を表す第１のベクトルと前記語意特徴を表す第２のベクトルとの間の距離を算出し、
算出された距離が閾値より小さい場合、前記被検査物体の通過を許可する、ように配置される、
請求項８に記載の検査設備。
【請求項１３】
前記プロセッサーは、
第１のニューラルネットワークのトレーニング過程中において、サンプル画像に含まれる複数の領域特徴と前記サンプル画像のマニフェスト情報に含まれる複数の単語との間に、対応関係を構築する、ように配置される、
請求項８に記載の検査設備。
【請求項１４】
前記領域特徴を表す特徴ベクトルと前記単語を表す語意ベクトルとの間のスカラー積を領域特徴と単語との間の類似度とし、前記サンプル画像の複数の領域特徴とそのマニフェスト情報に含まれる複数の単語との間の類似度の重み付きの和を前記サンプル画像とそのマニフェスト情報との間の類似度とする、
請求項１３に記載の検査設備。
【請求項１５】
プロセッサーにより実行される際に、
第１のニューラルネットワークを利用して被検査物体のＸ線画像を処理し、被検査物体の語意表現を取得するステップと、
第２のニューラルネットワークを利用して被検査物体のマニフェストの文字情報を処理し、被検査物体の語意特徴を取得するステップと、
前記語意表現と前記語意特徴に基づいて、前記被検査物体の通過を許可するかを判断するステップと、を実現する、コンピュータープログラムが記憶されている、
コンピューター読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、保安検査に関し、具体的には、放射線結像に基づく検査方法、検査設備及びコンピューター読み取り可能な媒体に関する。
【背景技術】
【０００２】
現在、流通産業は、ますます重要になっている。「全国民オンラインショッピング」ブームについても、政府から進めている「一帯一路」政策についても、流通産業は極めて重要な働きをしている。しかしながら、不法者が流通チェーンの便利性を利用して、郵便物を虚偽的に申告し、実際には麻薬、爆発物、銃器等の禁止品を郵送する行為が度々発生する。これは、社会治安に巨大な脅威となっている。
【０００３】
中国の《反テロリズム法》の第８５条においては、「鉄道、道路、水路、空路を利用する運輸や郵便、配達等の流通運営企業が保安検査制度を実行しなく、クラインドの身分を確かめなかったり、または、規定に従って運輸・郵送される品物に対して保安検査やオープン検査を実行しなく、運輸・郵便を依頼したクラインドの身分と品物の情報に関する登録制度を実行しなかった場合、処罰すべきである」と規定されている。従って、配達企業は、必ず１００％検査の後パッケージングを行う必要があり、必ず１００％の実名制度、１００％のＸ線機保安検査制度を充実に実行する必要がある。
【０００４】
この場合、人為的な検査方法により申告情報と実際の品物が一致するかを確認すると、必然として、大量の資源の浪費と効率の低下等という問題点を招くことになる。また、人為的な検査の場合、検査者にとっても、極大な負担になる。
【発明の概要】
【課題を解決するための手段】
【０００５】
本開示の実施例は、上記の従来技術の一つ又は複数の問題点に鑑みて、検査方法、検査設備及びコンピューター読み取り可能な媒体を提案しており、被検査物体を自動的に検査し、検査の正確率を保証するとともに検査速度を大幅に向上させることができる。
【０００６】
本開示の一局面において、Ｘ線を利用して被検査物体を走査し、被検査物体の画像を取得するステップと、第１のニューラルネットワークを利用して前記画像を処理し、被検査物体の語意表現を取得するステップと、前記被検査物体のマニフェストの文字情報を読み取るステップと、第２のニューラルネットワークを利用して被検査物体のマニフェストの文字情報を処理し、被検査物体の語意特徴を取得するステップと、前記語意表現と前記語意特徴に基づいて、前記被検査物体の通過を許可するかを判断するステップと、を含む、検査方法を提案する。
【０００７】
本開示の実施例によると、前記第１のニューラルネットワークは、畳み込みニューラルネットワーク、又は候補領域に基づく畳み込みニューラルネットワーク、又は快速候補領域に基づく畳み込みニューラルネットワークであり、前記第２のニューラルネットワークは、循環ニューラルネットワーク又は両方向循環ニューラルネットワークである。
【０００８】
本開示の実施例によると、予め構築された画像−語意ペアのセットを利用して前記第１のニューラルネットワークをトレーニングする。
【０００９】
本開示の実施例によると、前記第１のニューラルネットワークを利用して画像を処理する前に、前記被検査物体の画像を二値化するステップと、二値化された画像について平均値を算出するステップと、二値化された画像の各画素値から前記平均値を差し引くステップと、をさらに含む。
【００１０】
本開示の実施例によると、前記語意表現と前記語意特徴に基づいて、前記被検査物体の通過を許可するかを判断するステップは、前記語意表現を表す第１のベクトルと前記語意特徴を表す第２のベクトルとの間の距離を算出することと、算出された距離が閾値より小さい場合、前記被検査物体の通過を許可することと、を含む。
【００１１】
本開示の実施例によると、第１のニューラルネットワークのトレーニング過程中において、サンプル画像に含まれる複数の領域特徴と前記サンプル画像のマニフェスト情報に含まれる複数の単語との間に、対応関係を構築する。
【００１２】
本開示の実施例によると、前記領域特徴を表す特徴ベクトルと前記単語を表す語意ベクトルとの間のスカラー積を領域特徴と単語との間の類似度とし、前記サンプル画像の複数の領域特徴とそのマニフェスト情報に含まれる複数の単語との間の類似度の重み付きの和を前記サンプル画像とそのマニフェスト情報との間の類似度とする。
【００１３】
本開示の他の局面において、Ｘ線を利用して被検査物体を走査し、走査画像を得る走査装置と、前記被検査物体のマニフェスト情報を入力する入力装置と、プロセッサーと、を含み、前記プロセッサーは、第１のニューラルネットワークを利用して前記画像を処理し、被検査物体の語意表現を取得し、第２のニューラルネットワークを利用して被検査物体のマニフェストの文字情報を処理し、被検査物体の語意特徴を取得し、前記語意表現と前記語意特徴に基づいて、前記被検査物体の通過を許可するかを判断する、ように配置される検査設備を提案する。
【００１４】
本開示のさらに他の局面において、プロセッサーにより実行される際に、
第１のニューラルネットワークを利用して被検査物体のＸ線画像を処理し、被検査物体の語意表現を取得するステップと、
第２のニューラルネットワークを利用して被検査物体のマニフェストの文字情報を処理し、被検査物体の語意特徴を取得するステップと、
前記語意表現と前記語意特徴に基づいて、前記被検査物体の通過を許可するかを判断するステップと、を実現する、コンピュータープログラムが記憶されている、コンピューター読み取り可能な媒体を提案する。
【００１５】
上記の実施例の技術案を利用して、検査の正確率を確保するとともに、検査の速度を大幅に高めて、保安検査の効率を大幅に向上させることができる。
【００１６】
本開示を分かりやすくするために、以下の図面により本開示を詳細に説明する。
【図面の簡単な説明】
【００１７】
【図１】本開示の実施例による検査設備の模式図である。
【図２】図１に示す実施例において画像処理のためのコンピューターの内部構成の模式図である。
【図３】本開示の実施例の検査設備及び検査方法において用いられる人工ニューラルネットワークを示す模式図である。
【図４】本開示の実施例の検査設備及び検査方法において用いられる他の人工ニューラルネットワークを示す模式図である。
【図５】本開示の実施例による画像と語意とをアラインする過程を示す模式図である。
【図６】本発明の実施例による検査設備及び検査方法において画像−語意モデルを構築することを示すフローチャートである。
【図７】本開示の実施例による検査方法により被検査物体に対して保安検査を行う過程を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の具体的な実施例について詳細に説明する。なお、ここで説明する実施例は、例示的なものであり、本発明を限定するためのものではないことを指摘しておく。以下の説明において、本発明を分かりやすくするために、多数の特定の詳細について記述している。しかしながら、当業者にとって、必ずしもこれらの特定の詳細な構成を採用して本発明を実施しなくてもよいことは、言うまでもない。他の実施例においては、本発明を不要に不明瞭にしないように、周知の構成、材料又は方法に対する具体的な説明を省略する。
【００１９】
本開示の実施例は、従来技術における検査効率の低い問題点に鑑みて、ディープラーニングに基づく検査技術を提案し、知能的に品物保安検査機のイメージリストの対照を完了できる。本開示の実施例の技術案を利用すると、品物保安検査機の荷物画像において、品物を申告した税関申告書のデーターに一致しない領域を発見できる。この領域は、虚偽的に申告したもの、又は、隠して申告しなかったものである可能性がある。虚偽的に申告するものは、一般的に、流通品のうちの禁止品又は流通・運輸の安全に脅威になる危険品であり、検査を避けるために、税関申告書において当該荷物を運輸に安全な荷物に見せかけたものである。隠して申告しないものは、一般的に、数や体積の小さい品物であり、「隠し持ち」とも呼ばれ、禁止品を密輸するためによく使われる手段である。
【００２０】
また、品物保安検査機の走査画像において、流通品のうち、一箱に多数の品物が収納されている場合、従来の画像処理技術では解決できない問題であった。正確には、これは、設備の不一致性に影響される、税関申告書のデーター監督における多義性の複雑分割の問題である。例えば、異なる設備においては、アルゴリズムの効果も必ず異なり、税関申告書のデーター形式は複数の監督値（例えば、荷物が何種類あり、各種類のカテゴリ及び単位重量等）を与えており、画像における各画素は複数の荷物に属する等の場合がある。本開示の方法は、ディープラーニングに基づく方法を採用してこの問題を解決しており、一箱に何種類の品物が収納されていても、手動的に特徴を取得する必要がなく、畳み込みニューラルネットワーク及び大規模のトレーニングデーターを利用して、トレーニング済みの画像モデル及び語意モデルを取得し、さらには、テストイメージに対して対応する画像―語意表現を生成することで、一箱に多数の品物が収納されている場合のイメージリスト対照を正確に完了する。
【００２１】
図１は、本開示の実施例による検査設備の構成を示す模式図である。図１に示すような検査設備１０は、Ｘ線ソース１１、検出器モジュール１５、採集回路１６、コントローラー１７、及びデーター処理コンピューター１８等を含む。放射線ソース１１は、一つ又は複数のＸ線発生器を含み、シングルエネルギー透過走査を行ってもよく、ダブルエネルギー透過走査を行ってもよい。
【００２２】
図１に示すように、例えば、荷物の品物のような被検査物体１４は、コンベア１３上に置かれて放射線ソース１１と検出器モジュール１５との間の走査領域を通過する。一部の実施例において、検出器モジュール１５及び採集回路１６は、例えば、一体型モジュール構成の検出器及びデーター採集器であり、例えば、多列検出器であり、被検査物体１４を透過した放射線を検出して、アナログ信号を取得し、且つ、アナログ信号をデジタル信号に変換することで、被検査物体１４のＸ線に対する透過画像を出力する。ダブルエネルギーモードの場合は、例えば、ハイエネルギー放射線に対して一列の検出器を設け、ローエネルギー放射線に対して他の一列の検出器を設けてもよく、又は、ハイエネルギー放射線とローエネルギー放射線とが、時間分割で同じ一列の検出器を使用してもよい。コントローラー１７は、システム全体の各部を同期的に動作するように制御する。データー処理コンピューター１８は、データー採集回路１６により採集されたデーターを処理し、画像データーを処理して、結果を出力する。例えば、データー処理コンピューター１８は、画像処理プログラムを実行し、走査して得られた画像について分析及びラーニングを行い、当該画像の語意表現を取得し、その後、取得した語意表現を荷物の品物のマニフェスト情報に含まれている語意特徴と対照して、申告情報と荷物の品物の物体とが一致するかを判断する。一致する場合、荷物の品物の通過を許可し、そうでなければ、アラームを発して、保安要員に当該荷物の品物が怪しいことを提示する。
【００２３】
この実施例によると、検出器モジュール１５及び採集回路１６は被検査物体１４の透過データーを取得するために用いられる。採集回路１６には、（電流）積分方式又はパルス（カウント）方式で動作するデーター増幅成形回路が含まれている。採集回路１６のデーター出力ケーブルはコントローラー１７及びデーター処理コンピューター１８に接続され、トリガー命令に従って、採集されたデーターをデーター処理コンピューター１８に記憶しておく。
【００２４】
一部の実施例において、検出器モジュール１５は、複数の検出ユニットを含み、被検査物体１４を透過したＸ線を受信する。採集回路１６は、検出器モジュール１５に結合されており、検出器モジュール１６により発生した信号を検出データーに変換する。コントローラー１７は制御回線ＣＴＲＬ１を介して放射線ソース１１に接続し、制御回線ＣＴＲＬ２を介して検出器モジュール１５に接続しており、且つ、採集回路１６に接続して、放射線ソース１１における一つ又は複数のＸ線発生器を制御して被検査物体１４に対してシングルエネルギー走査を行ったり、又は、被検査物体１４に対してダブルエネルギー走査を行ったりすることで、被検査物体１４の移動に伴ってＸ線を発し、被検査物体１４を透過する。また、コントローラー１７は、検出器モジュール１５と採集回路１６とを制御して、対応する透過データー、例えば、シングルエネルギー透過データー又はダブルエネルギー透過データーを取得する。データー処理コンピューター１８は、透過データーに基づいて被検査物体１４の画像を取得し、当該画像を処理し、且つ、被検査物体１４のマニフェスト情報に基づいて両者が一致するかを判断する。
【００２５】
図２は、図１に示すようなデーター処理コンピューターの構成ブロック図である。図２に示すように、データー処理コンピューター２０は、記憶手段２１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２３、入力装置２４、プロセッサー２５、表示手段２６、インターフェースユニット２７及びバス２８等を含む。
【００２６】
採集回路１６により採集されたデーターは、インターフェースユニット２７及びバス２８を介して記憶手段２１に記憶される。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２には、コンピューターデータープロセッサーの配置情報及びプログラムが記憶されている。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２３は、プロセッサー２５の動作過程中において各種のデーターを一時的に記憶するためのものである。なお、記憶手段２１には、データー処理のためのコンピュータープログラムがさらに記憶されている。内部バス２８には、上記の記憶手段２１、ＲＯＭ２２、ＲＡＭ２３、入力装置２４、プロセッサー２５、表示手段２８及びインターフェースユニット２７が接続されている。
【００２７】
ユーザーがキーボードやマウスのような入力装置２４を介して操作命令を入力した後、コンピュータープログラムの指令コードは、プロセッサー２５にデーター処理アルゴリズムを実行するように命令し、データー処理結果を得た後、それをＬＣＤディスプレイのような表示装置２７に表示したり、又は、プリントのようなハードコピーの形で直接処理結果を出力したりする。
【００２８】
例えば、放射線ソース１１は、放射性同位体（例えば、Ｃｏ−６０）であってもよく、ローエネルギーのＸ線機又はハイエネルギーのＸ線加速器等であってもよい。
【００２９】
例えば、検出器モジュール１５は、材料により区分すると、気体検出器、シンチレーター検出器又は固体検出器等であってもよく、アレイの配列により区分すると、一列、二列又は多列、及び１層検出器又は２層ハイ・ローエネルギー検出器等であってもよい。
【００３０】
以上においては、例えば、荷物の品物のような被検査物体１４がコンベア１３を通じて移動し、検査領域を通過する場合について説明したが、当業者は、被検査物体１４が静止し、放射線ソース及び検出器アレイが移動して走査過程を実現してもよいことを想到できるはずである。
【００３１】
透過画像中の特徴を認識するため、本開示の実施例は、畳み込みニューラルネットワークＣＮＮを利用して画像中の特徴を認識することを提案した。以下、図３を参照して本開示の実施例による畳み込みニューラルネットワーク３０を詳細に説明する。図３は、本開示の実施例による畳み込みニューラルネットワーク３０を示す模式図である。図３に示すように、畳み込みニューラルネットワーク３０は、通常、複数の畳み込み層３２及び３４を含んでもよく、これらの畳み込み層３２及び３４は一般的に、部分的に重なり合う小型ニューロン（数学的な意義では、畳み込みカーネルとも呼ばれ、以下では、特に言及しない限り、これらの２つの用語は互いに置換して使用することができる）のセットである。また、本開示の全文において、別途で説明しない限り、畳み込みニューラルネットワーク３０における任意の２つの層にとって、入力データー（又は、入力層、例えば図３の入力層３１）により近い一方の層を「前」又は「下」の層と呼び、出力データー（又は出力層、例えば図３の出力層３７）により近い他方の層を「後」又は「上」の層と呼ぶ。また、トレーニング、検証及び／又は使用の間に、入力層（例えば、図３の入力層３１）から出力層（例えば、図３の出力層３７）までの方向を前向き又は正方向（ｆｏｒｗａｒｄ）と呼び、出力層（例えば、図３の出力層３７）から入力層（例えば、図３の入力層３１）までの方向を後向き又は逆方向（ｂａｃｋｗａｒｄ）と呼ぶ。
【００３２】
図３に示す第１の畳み込み層３２を例にすると、これらの小型ニューロンは、入力画像の各局所について処理を行うことができる。しかる後、これらの小型ニューロンの出力は、合併されて一つの出力（特徴マッピングと呼び、例えば、第１の畳み込み層３２における角形）として配列され、元の画像におけるある特徴をより良く表現できる出力画像を取得する。同時に、隣接するニューロン間の部分的に重なる配列によっても、畳み込みニューラルネットワーク３０は、元の画像における特徴についてある程度のシフト許容度を持つことになる。言い換えると、元の画像における特徴がある許容度においてシフトすることでその位置が変えたとしても、当該畳み込みニューラルネットワーク３０は正確にこの特徴を認識できる。畳み込み層の詳細は、後で述べ、ここでは、詳細に説明しない。
【００３３】
次の層は、オプションのプーリング（ｐｏｏｌｉｎｇ）層、即ち、第１のプーリング層３３であり、主に、特徴を維持するまま前の畳み込み層３２の出力データーについてダウンサンプリングを行い、計算量を減少してオーバーフィッティングを防止する。
【００３４】
次の層は、同じく畳み込み層、即ち、第２の畳み込み層３４であり、第１の畳み込み層３２により生成され、プーリング層３３によりダウンサンプリングされた出力データーについてさらなる特徴サンプリングを行うことができる。直観的には、それがラーニングした特徴は、全体性において第１の畳み込み層がラーニングした特徴より大きい。同様に、後の畳み込み層は、いずれも前の畳み込み層の特徴について全体化する。
【００３５】
畳み込み層（例えば、第１及び第２の畳み込み層３２及び３４）は、ＣＮＮ（例えば、畳み込みニューラルネットワーク３０）の核心的な構造単位である。この層のパラメーターは、ラーニング可能な畳み込みカーネル（又は、単に畳み込みカーネルと呼ばれる）のセットからなり、それぞれの畳み込みカーネルは非常に小さい受容フィールドを有するが、入力データーのディプス全体において延ばす。前向き過程においては、それぞれの畳み込みカーネルを入力データーの幅及び高さに沿って畳み込みを行い、畳み込みカーネルの要素と入力データーとの間のスカラー積を算出し、当該畳み込みカーネルの二次元アクティブマッピングを生成する。その結果、ネットワークは入力されたある空間位置においてある具体的なタイプの特徴を見たときにこそアクティブされる畳み込みカーネルをラーニングできる。
【００３６】
全ての畳み込みカーネルのアクティブマッピングをディプス方向に沿ってスタックし、畳み込み層のフル出力データーを形成する。従って、出力データーのうちの各要素は、入力における小領域が見られたともに、同じアクティブマッピングにおける他の畳み込みカーネルとパラメーターを共有する畳み込みカーネルの出力として解釈できる。
【００３７】
出力データーのディプスは、層における入力データーの同じ領域に接続する畳み込みカーネルの数を制御する。例えば、図３に示すように、第１の畳み込み層３２のディプスは４であり、第２の畳み込み層３４のディプスは６である。全てのこれらの畳み込みカーネルは、入力における異なる特徴に対してアクティブされることをラーニングする。例えば、第１の畳み込み層３２が元の画像を入力とすると、ディプスの次元に沿う異なる畳み込みカーネル（即ち、図３における異なる角形）は、入力データーにおいて各種の方向性辺又はグレースケールブロックが現れた時にアクティブされることができる。
【００３８】
トレーニング過程は、ディープラーニングにおいて非常に重要な部分である。ネットワークが効果的に収めることを確保するために、ランダム勾配降下法を採用できる。例えば、Ｎｅｓｔｅｒｏｖ最適化アルゴリズムを採用して解くことができる。一部の実施例においては、初期のラーニング速度は０．０１から始めて、１つの最適な値を見つけるまで次第に小さくなるようにセッティングすることができる。また、一部の実施例においては、重みの初期値について、小さい分散を持つＧａｕｓｓｉａｎランダム過程を利用して各畳み込みカーネルの重み値を初期化することができる。一部の実施例においては、画像トレーニングセットは、画像中の特徴位置が標記された品物の画像を用いることができる。
【００３９】
本開示の実施例によると、イメージにおいて図３に示すようなＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）を利用して、稠密なイメージ表現を生成して品物保安検査機の画像における品物の情報を表す。特に、畳み込みニューラルネットワークモデルを利用して画像特徴を抽出する際に、候補領域に基づく畳み込みニューラルネットワーク又は快速候補領域に基づく畳み込みニューラルネットワーク（Ｆａｓｔｅｒ−ＲＣＮＮ）の抽出方法を採用することができる。例えば、イメージにおいてＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）を利用して、稠密なイメージ表現を生成して小型の品物保安検査機の画像における品物の情報を表す。イメージの語句表現は、一般的に、イメージにおける物体及びそれらの属性に関係があるので、ＲＣＮＮ（Ｒｅｇｉｏｎ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を利用して各枚のイメージにおいて物体を検出する。イメージ全体において検出して、一連の品物およびその信頼度を取得し、信頼度の一番高い１０箇所の検出位置を利用し、また、各境界ブロック内の全ての画素からイメージ表現を算出する。当業者なら、他の人工ニューラルネットワークを利用して透過画像における特徴を認識し、ラーニングできることを理解できるはずである。本開示の実施例はこれに限られない。
【００４０】
マニフェスト情報をラーニングするために、あるいは、マニフェストに含まれる情報を特定するために、本開示の実施例は、自然言語のラーニングに適用可能な循環ニューラルネットワークＲＮＮ（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）を採用した。図４は、本開示の実施例の検査設備及び検査方法において用いられる人工ニューラルネットワークの模式図を示している。
【００４１】
図４に示すように、通常、ＲＮＮは入力ユニット（Ｉｎｐｕｔ  ｕｎｉｔｓ）を含み、入力セットは｛ｘ０、ｘ１、．．．、ｘｔ、ｘｔ＋１、．．．｝と標記され、出力ユニット（Ｏｕｔｐｕｔ  ｕｎｉｔｓ）の出力セットは｛ｙ０、ｙ１、．．．、ｙｔ、ｙｔ＋１．、．．｝と標記される。ＲＮＮは、隠しユニット（Ｈｉｄｄｅｎ  ｕｎｉｔｓ）をさらに含み、その出力セットを｛ｓ０、ｓ１、．．．、ｓｔ、ｓｔ＋１、．．．｝と標記し、これらの隠しユニットは、最も主要な働きをする。図４では、入力ユニットから隠しユニットに達する一本の一方向に流れる情報ストリームがあるとともに、隠しユニットから出力ユニットに達する別の一方向に流れる情報ストリームがある。ある場合、ＲＮＮは後者の規制を突破して、情報を出力ユニットから隠しユニットへ戻すように導くことがあるが、これらは「Ｂａｃｋ  Ｐｒｏｊｅｃｔｉｏｎｓ」と呼ばれる。そして、隠し層の入力には、前の隠し層の状態も含まれている。つまり、隠し層内のノードは、自己接続してもよく、互いに接続してもよい。
【００４２】
図４に示すように、循環ニューラルネットワークを一つのフルニューラルネットワークに展開する。例えば、５つの単語を含む語句の場合、展開されたネットワークは一つの５層のニューラルネットワークになり、各層は、一つの単語を代表する。
【００４３】
このようにして、自然的な言語を機械が認識可能な符号に変換して、マシンラーニング過程において、それを容易に数値化できるようにする。単語は自然的な言語を理解し、処理するための基礎となるので、単語を数値化する必要があり、本開示の実施例は単語ベクトル（Ｗｏｒｄ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を使用することを提案した。単語ベクトルとは、所定の長さをもつ実数ベクトルｖを用いて一つの単語を表すことをいう。Ｏｎｅ−ｈｏｔ  ｖｅｃｔｏｒを用いて単語を表してもよい。即ち、単語の数｜Ｖ｜に応じて｜Ｖ｜＊１のベクトルを生成し、あるビットが「１」である場合、他のビットは「０」であり、このベクトルは一つの単語を代表する。
【００４４】
ＲＮＮにおいて、ワンステップの入力を完成する度に、各層のそれぞれはパラメーターＵ、Ｖ、Ｗを共有し、これは、ＲＮＮにおける各ステップはいずれも同じことをしており、ただ入力が違うことを意味するので、ネットワークにおいてラーニングすべきパラメーターを大幅に低減させる。
【００４５】
Ｂｉｄｉｒｅｃｔｉｏｎａｌ  ＲＮＮ（両方向循環ニューラルネットワーク）は、ＲＮＮに比べて、改善されたところは、現在の出力（ｔ番目のステップの出力）が前のシリーズのみに依頼するのではなく、後のシリーズにも依頼することにある。例えば、一つの語句において失った単語を予測するには、前後の文脈から予測する必要がある。Ｂｉｄｉｒｅｃｔｉｏｎａｌ  ＲＮＮは、相対的に簡単なＲＮＮであり、２つのＲＮＮが上下にスタックされてなったものである。出力は、これらの２つのＲＮＮの隠し層の状態により定められる。
【００４６】
本開示の実施例においては、図４に示すように、画像に対応する税関申告書の情報又は配達リストの品物情報に対して、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）モデルを採用している。例えば、本開示の実施例においては、両方向ＲＮＮ（ＢＲＮＮ）の方法を採用する。ＢＲＮＮは、ｎ個の単語のシリーズを入力し、それぞれの単語はｏｎｅ−ｈｏｔでコーティングされ、それぞれの単語を一つの一定のｈ次元のベクトルに変換する。単語の周囲の長さが変化する前後の文章を使用しているので、単語の表現は豊富になる。当業者なら、他の人工ニューラルネットワークを利用してマニフェスト情報における特徴を認識し、ラーニングできることを理解できるはずである。本開示の実施例は、これに限られない。
【００４７】
本開示の実施例によると、検査過程は、１）走査済み画像及び対応する税関申告書の語意情報のデーターベースを構築し、２）荷物の品物の画像モデルと対応する語意モデルを構築し、３）イメージリスト対照モデルを構築して知能的なイメージリストの照合を完成する、との３つの部分に関する。走査済み画像及び対応する税関申告書の語意情報のデーターベースには、画像採集、画像前処理、サンプル前処理の３つの部分が含まれる。
【００４８】
画像及び対応する税関申告書の語意情報のデーターベースを構築することは、主に、画像採集、画像前処理、サンプル前処理の３つの部分に分けられる。構築過程は以下の通りである。（１）画像採集。相当の数の品物保安検査機により走査された品物画像を採集して、画像データーベースに各種の品物画像が含まれるようにする。注意すべきことは、この時、画像には、正常品と禁止品が含まれる。（２）画像前処理。走査・採集して得られた画像には、ノイズ情報が付いているので、走査画像について前処理を行なうことができる。二値化画像は統一の物理的分解能を持ち、且つ、複数の種類のアルゴリズムを便利に組み合わせて使用できるので、本願においては、二値化画像を採用する。注意すべきことは、モデルの汎化性能を確保するために、各枚のイメージから全てのイメージの平均値を差し引いてもよい。
【００４９】
例えば、相当の数の品物保安検査機により走査された品物画像を採集して、画像データーベースに各種の品物画像が含まれるようにする。注意すべきことは、この時、画像には、正常品と禁止品が含まれる。その後、走査・採集して得られた画像には、ノイズ情報が付いているので、走査画像について前処理を行なう必要がある。二値化画像は統一の物理的分解能を持ち、且つ、複数の種類のアルゴリズムを便利に組み合わせて使用できるので、本願においては、二値化画像を採用する。二値化画像が得られた後、画像のグレースケールの平均値を算出し、モデルの汎化性能を確保するために、各枚のイメージから全てのイメージの平均値を差し引き、得られた結果をモデルの画像入力とする。
【００５０】
本開示の実施例によると、税関申告書の語意情報を採用してサンプルをマーキングする。画像と語意情報とは一つの完全な情報ペアを形成して、ネットワークのトレーニングを容易にする。注意すべきことは、ここで、語意情報には、配達運輸リスト等に記載された品物情報も含まれている。例えば、税関申告書の語意情報を採用してサンプルをマーキングする。画像と語意情報とは一つの完全な情報ペアを形成して、ネットワークのトレーニングを容易にする。モデルがキーワードに高い感度を持つように、品物に対する表現におけるキーワードではない単語を処理する必要があり、例えば、「一種」、「一種類」のような品物のキーワードではない単語を削除する。
【００５１】
イメージリスト対照モデルを構築する過程は、図５に示すように、イメージとそれらに対応する語句表現により構成されたデーターセットにおいて、言語と視覚的データーとの内在的なモード対応関係をラーニングする。図５に示すように、本開示の方法は、一つの新規モデルの組み合わせの方式に基づいて、且つ、一つの構造化目標に基づいて、一つのマルチモードコーティングモデルにより２つのモードの入力をアラインさせる。
【００５２】
画像特徴と語意特徴とを、マルチモードコーティングモデルによりアラインし、ランダム勾配降下トレーニングにより最終的にイメージリスト対照モデル、つまり、図５に示すようなＲＣＮＮ５２及びＢＲＮＮ５３を得る。例えば、算出された結果により、画像と申告された品物の語意情報とが対応すると、品物は自動的に品物保安検査機を通過する。算出された結果により、画像と申告された品物の語意情報とが対応しないと、品物保安検査機はアラームを発し、作業者に異常であることを提示し、関連する処理を行なうようにする。本開示において、モデルは、仮説、例えば、特殊のハードコーティングモデル、規則又はカテゴリに依らず、トレーニング語呂のみからラーニングする必要がある。
【００５３】
このようにして、これらの大量の（イメージ−語句）データーセットを利用して、イメージの言語的な表現を弱いマーキングと見なす。これらの語句において連続に分割された単語はイメージにおける一部の特殊であるが未知の位置に対応する。ニューラルネットワーク５２及び５３を利用して、これらの「アライメント」を推断し、それらをラーニング表現生成モデルに適用する。具体的には、上記のように、本開示は一つのディプスニューラルネットワークモデルを採用して、セグメント語句とそれらに対応する表現イメージ領域との間の潜在的なアライン関係を推断できる。このようなモデルは一つの共通の、マルチモードのコーティング空間、及び一つの構造化目標により、二つのモードを関連させる。一つのマルチモードの再帰的なニューラルネットワークアーキテクチャーを採用して、１枚の画像を入力し、対応するテキスト表現を生成し、生成されたイメージ表現と画像マーキング情報とについてキーワードマッチングを行い、生成された語句表現とマーキング情報との類似度を判断する。実験によると、生成されたテキスト表現語句は、検索に基づく方法に比べて、明らかに優位的である。推断された対応関係において、このモデルをトレーニングし、一つの新規な局所的にマーキングされたデーターセットによりその効果についてテストした。
【００５４】
図５に示すように、マルチモードコーティングモデルにより画像特徴と語意特徴とをアラインし、ランダム勾配降下トレーニングにより、最終的にイメージリスト対照モデルを得る。
【００５５】
例えば、構築されたＲＣＮＮ５２及びＢＲＮＮ５３により、それぞれの小型品物保安検査機の走査イメージと対応する語句表現を一つの共通のｈ次元ベクトルセットに変換できる。監督語呂はイメージ全体と語句全体において粒状度を持つが、（イメージ−語句）を（領域−単語）スコアの関数と見なすことができる。直観的に言うと、一つの（イメージ−語句）の組み合わせにとって、そのうちのある単語がイメージにおいて十分の物体又は属性によりサポートされると、それらは高いマッチングスコアを得るべきである。ｉ番目のイメージ領域のベクトルｖｉとｔ番目の単語ベクトルｓｔとの間のスカラー積は、類似度のスケールとして解釈でき、さらに、これを利用してイメージと語句との間のスコアを定義でき、スコアが高いほど、画像と税関申告書との対応度が高いことを意味する。
【００５６】
このようにして、一つの完全な（イメージ−語意）モデルをトレーニングすることができる。なお、実際の検査中においては、生成された語意表現と実際の品物の語意表現との差も損失関数の一部とすることができる。検査中においては、トレーニングモデルに従って一枚の処理されるイメージを入力した後、イメージに対応する語意表現を得て、その後、実際の税関申告書とマッチングすることで、一つの信頼度を得て、これによりイメージリストが一致するかを判断する。
【００５７】
本開示の実施例によると、ニューラルネットワークのトレーニング中に、サンプル画像に含まれる複数の領域特徴と前記サンプル画像のマニフェスト情報に含まれる複数の単語との間で対応関係を構築する。例えば、領域特徴を表す特徴ベクトルと単語を表す語意ベクトルとの間のスカラー積を領域特徴と単語との間の類似度とし、前記サンプル画像の複数の領域特徴とそのマニフェスト情報に含まれる複数の単語との間の類似度の重み付きの和を前記サンプル画像とそのマニフェスト情報との間の類似度とする。
【００５８】
図６は、本発明の実施例による検査設備及び検査方法において画像−語意モデルを構築することを示すフローチャートである。図６に示すように、ステップＳ６１において、予め用意されたラベル付きの画像を畳み込みニューラルネットワーク３０に入力してトレーニングを行う。ステップＳ６２において、トレーニングされた画像−語意モデル、つまり、初歩的にトレーニングされた畳み込みニューラルネットワークを得る。モデルの正確性を高めるために、ステップＳ６３においてテストイメージを入力してネットワークをテストし、ステップＳ６４において予測スコア及びラベルとの差を算出する。例えば、テストイメージをニューラルネットワークに入力して、予測した語意表現及び当該語意表現とラベルとの差を得る。例えば、２つのベクトルでそれぞれ語意表現とラベルを表し、２つのベクトル間の差で両者の差を表す。ステップＳ６５において、差が閾値より小さいかを判断し、大きいと、ステップＳ６６においてネットワークパラメーターを更新してネットワークを調整する。差が閾値より小さいと、ステップＳ６７においてネットワークモデルを構築する。つまり、ネットワークに対するトレーニングを完了する。
【００５９】
図７は、本開示の実施例による検査方法により被検査物体に対して保安検査を行う過程を示すフローチャートである。
【００６０】
実際の保安検査過程においては、ステップＳ７１において、図１に示す検査設備を利用して被検査物体１４を走査し、被検査物体の透過画像を得る。ステップＳ７４において、手動記録又はバーコードスキャナー又は他の方式で被検査物体のマニフェスト情報をデーター処理コンピューター１８に入力する。データー処理コンピューター１８においては、ステップＳ７２において、例えば畳み込みニューラルネットワークやＲＣＮＮ等の第１のニューラルネットワークを利用して、透過画像を処理し、ステップＳ７３において、被検査物体の語意表現を得る。ステップＳ７５において、両方向循環ニューラルネットワークを利用してマニフェストの文字情報を処理して、被検査物体の語意特徴を得る。その後、ステップＳ７６において、語意特徴が画像から得られた語意表現に一致するかを判断し、一致しないと、ステップＳ７７においてアラームを発する。一致すると、ステップＳ７８において、被検査物体の通過を許可する。一部の実施例によると、語意表現を表す第１のベクトルと語意特徴を表す第２のベクトルとの間の距離を算出した後、算出された距離が閾値より小さい場合、前記被検査物体の通過を許可してもよい。ここで、２つのベクトル間の距離は、２つのベクトルの要素間の差の絶対値の和で表してもよく、２つのベクトルのユークリッド距離で表してもよい。本開示の実施例はこれに限られない。
【００６１】
本開示は、画像処理、ディープラーニングの方式により、申告品と実際の品物が一致するかを知能的に検査し、作業効率を大幅に向上させて、「迅速な通過」を実現できる一方、各種の主観的な要因の副作用を減少して、「確実な管理」を実現できるので、現在の保安検査の知能化のために重要な手段であり、巨大な市場潜在力を持っている。
【００６２】
以上の詳細な説明においては、模式図、フローチャット及び／又は例示によって、検査方法及び検査設備に係る多数の実施例を説明した。このような模式図、フローチャット及び／又は例示が、一つ又は複数の機能及び／又は操作を含む場合に、当業者なら、このような模式図、フローチャット又は例示における各機能及び／又は操作が、色々な構成、ハードウェア、ソフトウェア、ファームウェア又はこれらの実質的な任意の組み合わせによって、個別に及び／又は共同で実現可能であることを理解できるはずである。一実施例において、本発明の実施例に記載された主題の幾つかの部分は、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ）、又はその他の集積フォーマットで実現できる。しかしながら、当業者なら、ここで開示された実施例の一部の局面が、全体的に又は部分的に集積回路で等価的に実現されてもよいことを理解できるはずである。例えば、一つ又は複数のコンピューターで実行される一つ又は複数のコンピュータープログラム（例えば、一つ又は複数のコンピューターシステムで実行される一つ又は複数のプログラム）として実現されてもよく、一つ又は複数のプロセッサで実行される一つ又は複数のプログラム（例えば、一つ又は複数のマイクロプロセッサで実行される一つ又は複数のプログラム）として実現されてもよく、ファームウェアとして実現されてもよく、又は、実質的に上記形態の任意の組み合わせとして実現されてもよい。また、当業者は、本開示を元に、回路の設計及び／又はソフトウェア及び／又はファームウェアコードを書き込む能力を持つことになる。また、当業者は、本開示に記載されたメカニズムが、複数の形のプログラム製品として配布されてもよく、且つ、配布を実行する信号担体媒体の具体的な類型によらず、本開示の例示的な実施例は依然として適用可能であることを理解できるはずである。信号担体媒体の例示としては、例えば、ＦＤ（ＦｌｏｐｐｙＤｉｓｋ）、ＨＤＤ、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）、デジタルテープ、コンピューターメモリ等のような記録可能な記録媒体と、デジタル及び／又はアナログ通信媒体（例えば、ファイバーケーブル、ウェーブガイド、有線通信リンク、無線通信リンク等）のような搬送媒体とが含まれるが、これらに限定されない。
【００６３】
以上、本発明の幾つかの典型的な実施例を参照して本発明を説明したが、使用された用語は、説明および例示のためのものであり、本発明を限定するものではないことと理解すべきである。また、本発明は、発明の精神及び主旨を逸脱しない範囲で、いろんな形態で具体的に実施できるので、上記した実施例は、前述の詳細に限らず、特許請求の範囲により限定された精神及び範囲において広く解釈すべきである。特許請求の範囲又は均等の範囲内での全ての変更や改進は、特許請求の範囲に含まれる。
【符号の説明】
【００６４】
１０  検査設備
１１  Ｘ線ソース
１３  コンベア
１４  被検査物体
１５  検出器モジュール
１６  採集回路
１７  コントローラー
１８  データー処理コンピューター
【図１】
2020534508.tif 000003
【図２】
2020534508.tif 000004
【図３】
2020534508.tif 000005
【図４】
2020534508.tif 000006
【図５】
2020534508.tif 000007
【図６】
2020534508.tif 000008
【図７】
2020534508.tif 000009
【国際調査報告】
2020534508.tif 000010
2020534508.tif 000011
2020534508.tif 000012
2020534508.tif 000013