(57)【特許請求の範囲】
【請求項１】
Ｘ線走査装置を用いてコンテナを走査してイメージングすることで、走査画像を取得するための画像データ取得手段と、
前記走査画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割するための画像分割手段と、
前記サブ領域から特徴を抽出するための特徴抽出手段と、
注釈付きの画像に基づいて分類器を生成し、および/または、既存の分類器を記憶或いは更新するための教習手段と、
抽出された特徴に基づいて分類器を用いて各サブ領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、かつ、サブ領域を融合してマクロ領域及びその種別を取得するための分類認識手段と、を備え、
前記貨物の分類認識は、教習段階を含み、
前記教習段階では、コンテナ貨物の走査画像を取得した後、先ず、各画像を予備分割し、画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割し、かつ、これらのサブ領域から特徴を抽出し、それから、各画像に対して対応する税関申告書に基づいて注釈を付け、種別が同じ且つ隣接或いは連通するサブ領域をマクロ領域に融合し、最後に、これらのマクロ領域における各サブ領域の特徴を特徴クラスタとして構成し、後続の認識のために、これらの既存の種別の特徴クラスタに基づいて分類器を教習することを特徴とする貨物を自動で分類認識する透視検査システム。
【請求項２】
検査端末をさらに備え、
前記分類認識手段は、さらに、各種別の貨物の数を推定して、その結果を検査端末に伝達することを特徴とする請求項１に記載の貨物を自動で分類認識する透視検査システム。
【請求項３】
前記システムによる貨物の自動分類認識は、認識段階をさらに含み、または、教習段階の完了後、認識段階のみを含むことを特徴とする請求項１または２に記載の貨物を自動で分類認識する透視検査システム。
【請求項４】
前記教習段階では、ＳＩＦＴ、ＭＲ８の演算子を用いて複数の特徴を取得してから、特徴融合または決定融合の方法を用いて前記複数の特徴を融合することで、特徴を抽出し、且つ、抽出された特徴を辞書方法を用いて組織することを特徴とする請求項１に記載の貨物を自動で分類認識する透視検査システム。
【請求項５】
前記教習段階では、採集された画像に対して注釈を手動で付けることで、サブ種別画像データベースを取得することを特徴とする請求項１に記載の貨物を自動で分類認識する透視検査システム。
【請求項６】
前記認識段階では、先ず、コンテナ貨物を走査し、走査画像を予備分割して、階調およびテクスチャが比較的に一致する幾つかのサブ領域を生成し、それから、前記サブ領域から特徴を抽出し、かつ、抽出された特徴に基づいて、教習によって生成された分類器を用いて各領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、最後に、前記確率と隣接するサブ領域との間の関連性を用いて確率グラフィックモデルを構築し、サブ領域を融合してマクロ領域及びその種別を取得し、貨物分類を完了することを特徴とする請求項３に記載の貨物を自動で分類認識する透視検査システム。
【請求項７】
前記認識段階では、隠れマルコフモデル、条件付き確率場モデルまたは構造出力予測モデルを用いて前記確率グラフィックモデルを構築し、または類似性に基づいて直接融合し、それから、１つの総合種別を融合領域の種別として出力することを特徴とする請求項６に記載の貨物を自動で分類認識する透視検査システム。
【請求項８】
前記認識段階では、各種別の貨物の異なる厚さにおける最大可能階調及び最小可能階調のテーブルを構築するステップと、画像階調と上記最大可能階調及び最小可能階調のテーブルとを参照して、貨物の最小可能重量及び最大可能重量を取得するステップと、をさらに含むことを特徴とする請求項６に記載の貨物を自動で分類認識する透視検査システム。
【請求項９】
１)前記認識段階後、貨物の種別に応じて、異なる貨物を異なる色で表示し、画像に何種別の貨物が含まれているか、および各種別の貨物がどの類別に属するかを機器のオペレータに提示する方式と、
２)前記認識段階後、オペレータのクリック操作に応じて、クリック位置での貨物の種別、当該種別の貨物の最小可能重量および最大可能重量をある領域において表示する方式と、
３)前記認識段階後、結果が手動で入力された種別番号とは異なる場合、画像に相違箇所を著しい色でマークする方式と、
４)前記認識段階後、システムは、税関申告書を自動で分析することにより、貨物の種別及び対応する重量情報を取得し、結果が自動分析結果とは異なる場合、画像に相違箇所を著しい色でマークする方式と、のうちの１つまたは複数で構成されるユーザインターフェースを有することを特徴とする請求項８に記載の貨物を自動で分類認識する透視検査システム。
【請求項１０】
貨物を自動で分類認識する透視検査方法であって、
Ｘ光走査装置を用いてコンテナを走査してイメージングすることで、走査画像を取得するステップと、
前記走査画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割するステップと、
前記サブ領域から特徴を抽出するステップと、
注釈付きの画像に基づいて分類器を生成し、または既存の分類器を更新するステップと、
抽出された特徴に基づいて分類器を用いて各サブ領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、かつ、サブ領域を融合してマクロ領域及びその種別を取得するステップと、を含み、
前記透視検査方法は、教習段階をさらに含み、
前記教習段階では、コンテナ貨物の走査画像を取得した後、先ず、各画像を予備分割し、画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割し、かつ、これらのサブ領域から特徴を抽出し、それから、各画像に対して対応する税関申告書に基づいて注釈を付け、種別が同じ且つ隣接或いは連通するサブ領域をマクロ領域に融合し、最後に、これらのマクロ領域における各サブ領域の特徴を特徴クラスタとして構成し、後続の認識のために、これらの既存の種別の特徴クラスタに基づいて分類器を教習することを特徴とする貨物を自動で分類認識する透視検査方法。
【請求項１１】
各種別の貨物の数を推定して、その結果を検査端末に伝達するステップをさらに含むことを特徴とする請求項１０に記載の貨物を自動で分類認識する透視検査方法。
【請求項１２】
認識段階をさらに含み、または、教習段階の完了後、認識段階のみを含むことを特徴とする請求項１０または１１に記載の貨物を自動で分類認識する透視検査方法。
【請求項１３】
前記教習段階では、ＳＩＦＴ、ＭＲ８の演算子を用いて複数の特徴を取得し、それから、特徴融合または決定融合の方法を用いて前記複数の特徴を融合することで、特徴を抽出し、且つ、抽出された特徴を辞書方法を用いて組織することを特徴とする請求項１０に記載の貨物を自動で分類認識する透視検査方法。
【請求項１４】
前記教習段階では、採集された画像に対して注釈を手動で付けることで、サブ種別画像データベースを取得することを特徴とする請求項１０に記載の貨物を自動で分類認識する透視検査方法。
【請求項１５】
前記認識段階では、先ず、コンテナ貨物を走査し、走査画像を予備分割して、階調およびテクスチャが比較的に一致する幾つかのサブ領域を生成し、それから、前記サブ領域から特徴を抽出し、かつ、抽出された特徴に基づいて、教習によって生成された分類器を用いて各領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、最後に、前記確率と隣接するサブ領域との間の関連性を用いて確率グラフィックモデルを構築し、サブ領域を融合してマクロ領域及びその種別を取得し、貨物分類を完了することを特徴とする請求項１２に記載の貨物を自動で分類認識する透視検査方法。
【請求項１６】
前記認識段階では、隠れマルコフモデル、条件付き確率場モデルまたは構造出力予測モデルを用いて前記確率グラフィックモデルを構築し、または類似性に基づいて直接融合し、それから、１つの総合種別を融合領域の種別として出力することを特徴とする請求項１５に記載の貨物を自動で分類認識する透視検査方法。
【請求項１７】
前記認識段階では、各種別の貨物の異なる厚さにおける最大可能階調及び最小可能階調のテーブルを構築するステップと、画像階調と上記最大可能階調及び最小可能階調のテーブルとを参照して、貨物の最小可能重量及び最大可能重量を取得するステップと、をさらに含むことを特徴とする請求項１５に記載の貨物を自動で分類認識する透視検査方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放射透視によりコンテナをイメージングする安全検査システムに関し、具体的には、コンテナの大量貨物の自動分析及びインテリジェント検査方法、コンテナの大量貨物の自動分類及び認識方法、大量貨物の走査画像の語義分割及び分類に関し、且つ、コンテナの不法密輸貨物分析、貨物数推定、税額算出等のインテリジェント検査方法に関する。
【背景技術】
【０００２】
インテリジェント検査は、コンテナセキュリティチェック分野では避けられない発展傾向にある。貨物自動分類認識は、インテリジェント検査の重要なコア内容である。現在では、エネルギスペクトル分析に基づく材料認識技術は、Ｘ線二重エネルギ材料認識技術と、中性子-Ｘ線技術とがある。二重エネルギ技術は、有機物、無機物、混合物及び重金属という４つの種別しか認識できず、認識の種別が少ない。中性子-Ｘ線技術は、多くの種別を認識することができるが、中性子発生装置は非常に高価であり、中性子の放射線は保護が困難であり、有機物に対する透過力が弱い。これらの欠陥に起因して、中性子-Ｘ線技術をコンテナ貨物のセキュリティチェックに適用することは、困難である。
【０００３】
走査画像の画像分析に基づく貨物自動分類認識技術の研究は、長年にわたって進行が緩慢であり、アルゴリズム機能がまだユーザの実際のニーズを満足することができない。この問題を招来する理由は、下記の通りである。一方、貨物は多様かつ複雑であり、有効な分類のための有効な特徴及び規律を見つけることは困難である。他方、走査機器が分散し、各税関が走査画像を秘密にすることから、分類器を教習するために全面的な画像データを取得することは、困難である。また、大量データ分析に基づく画像分類認識は、アルゴリズム及び算出ハードウェアに対する要求が高くて、研究へ一定の困難をもたらす。
【０００４】
現在では、貨物の分類認識の研究が必要且つ実現可能である。一方、インテリジェント検査中に存在する問題は、業界や学術分野でも認識されている。例えば、欧州連合は、ＦＰ７計画にＸｔＲＡＹｎｅｒプロジェクトを作成しており、それは、クロスマニファクチャー（ｃｒｏｓｓ−ｍａｎｕｆａｃｔｕｒｅ）のインテリジェント検査プラットフォームである。その主な目的は、データを収集し、注釈を付け、且つ、基本的なアルゴリズムの研究を計画することにある。他方、画像理解及びパターン認識が近年来で急速に発展し、大量データの分類認識に適した先端的なアルゴリズム、例えば、条件付き確率場、ディープラーニング理論がだんだん完璧になっていることから、コンテナ走査画像の自動分類及び認識は可能になっている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の観点から、貨物を自動で分類認識可能な透視検査システム及び方法を提供することは、望まれている。
【課題を解決するための手段】
【０００６】
本発明の１態様によれば、貨物を自動で分類認識する透視検査システムを提供する。前記システムは、Ｘ線走査装置を用いてコンテナを走査してイメージングすることで、走査画像を取得するための画像データ取得手段と、前記走査画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割するための画像分割手段と、前記サブ領域から特徴を抽出するための特徴抽出手段と、注釈付きの画像に基づいて分類器を生成するための教習手段と、抽出された特徴に基づいて分類器を用いて各サブ領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、かつ、サブ領域を融合してマクロ領域及びその種別を取得するための分類認識手段と、を備える。
【０００７】
本発明に係る、貨物を自動で分類認識する透視検査システムによれば、コンテナ走査画像を分析し、特徴類似性に基づいて画像をいくつかの部分に割り当て、かつ、各部分の対応する貨物がどの種別の貨物に属するかを分析することができる。ここで、抽出された特徴を用いて走査画像における各サブ領域が各種別の貨物に属する確率を判断し、それから、サブ領域を融合してマクロ領域の種別を取得するというポリシーは、貨物全体認識の効率及び正確性を向上させ、且つ、本発明の実施例に記載の構成を用いることで、貨物認識量の累積に従って、貨物認識の効率及び正確性をさらに向上することができる。本発明によれば、種別情報に基づいて税関申告書と対比することで、不法密輸を発見することができ、貨物の種別及び画像中の面積に基づいて、貨物数を推定することができ、推定された貨物数と税関申告書とを対比することで、貨物数を隠す密輸状況を発見することができ、さらに、貨物数に基づいて、自動で税率に従って税額推定を行うことができる。
【０００８】
好ましくは、前記分類認識手段は、さらに、サブ領域を融合してマクロ領域及びその種別を取得する。
【０００９】
好ましくは、前記システムは、検査端末をさらに備え、前記分類認識手段は、さらに、各種別の貨物の数を推定し、その結果を検査端末に伝達する。これによって、検査者は、前記結果に応じて画像をさらに分析することができ、かつ、税関申告書と対比することで、貨物の種別、数、税額が正確であるか否かをチェックすることができる。
【００１０】
好ましくは、貨物の分類認識は、教習段階と認識段階とを含む。
【００１１】
教習段階では、コンテナ貨物の走査画像が大量必要とされ、オーダが１０万幅以上とされる。好ましくは、教習段階では、コンテナ貨物の走査画像を取得した後、先ず、各画像を予備分割する必要があり、画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割し、これらのサブ領域をスーパ画素(Ｓｕｐｅｒｐｉｘｅｌ)と呼び、かつ、これらのサブ領域から特徴を抽出し、それから、各画像に対して対応する税関申告書に基づいて注釈を付け、すなわち、各サブ領域がどの種別の貨物に属するかについて明確に注釈を付ける必要があり、種別が同じ且つ隣接或いは連通するサブ領域を直接にマクロ領域に融合し、それをクラスタ(Ｃｌｕｓｔｅｒ)と称し、最後に、これらのマクロ領域における各サブ領域の特徴を特徴クラスタとして構成し、後続の認識のために、これらの既存の種別の特徴クラスタに基づいて分類器を教習する。ここで、認識段階で認識することができる種別の数は、注釈付け段階で貨物が分類される種別の数によって異なる。走査画像の透過性及び投影性のため、実物の表面輪廓の特徴が全て失われて、認識に大きな困難をもたらす。分類される種別が多すぎると、正確率を低減させてしまう。分類結果がより実用価値を有するために、発明者は、『中華人民共和国税関輸出入商品規范申告目録』等の相関規定に従って、貨物を２２類別に分類する。
【００１２】
特徴抽出の方法としては、ＳＩＦＴ(Ｓｃａｌｅ-ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ)、ＭＲ８(Ｍａｘｉｍｕｍ  Ｒｅｓｐｏｎｓｅ  Ｓｅｔｓ)等の演算子を用いて複数の特徴を取得し、それから、特徴融合(Ｆｅａｔｕｒｅ  Ｆｕｓｉｏｎ)または決定融合(Ｄｅｃｉｓｉｏｎ  Ｆｕｓｉｏｎ)の方法を用いて複数の特徴を融合して、キー特徴を取得しても良い。
【００１３】
教習段階では、各画像における各サブ領域(スーパ画素)は、多くの特徴を含む。これによって、教習画像データベースは、大量の特徴データベースを生成することができる。辞書方法(Ｄｉｃｔｉｏｎａｒｙ  Ｌｅａｒｎｉｎｇ)を用いてこれらの特徴を効果的に組織しても良い。具体的には、類似する特徴を単語にクラスタリングし、多くの単語を最終的に辞書に構成する。このように、各サブ領域の特徴は、辞書内の単語のヒストグラムに変換される。このヒストグラムは、当該サブ領域の最終的な特徴として考えられる。種別が同じ且つ隣接或いは連通するサブ領域をマクロ領域(クラスタ)に融合した後、１つのマクロ領域は、一クラスタのヒストグラム特徴を含み、この一クラスタのヒストグラムは、同一種別に属する。ここで、辞書は２つの方法で形成されており、Ｋｍｅａｎｓで、それから、ＢＯＷ(ｂａｇ  ｏｆ  ｗｏｒｄｓ)を用いて領域を記述しても良いし、Ｋ-ＳＶＤ(Ｋ  Ｓｉｎｇｕｌａｒ  Ｖａｌｕｅ  Ｄｅｃｏｍｐｏｓｉｔｉｏｎ)で、ｓｐａｒｓｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎを用いて領域を記述しても良い。
【００１４】
好ましくは、前記教習段階では、採集された画像に対して注釈を手動で付けることで、サブ種別画像データベースを取得する。
【００１５】
好ましくは、認識段階では、先ず、コンテナ貨物を走査し、走査画像を予備分割して、階調およびテクスチャが比較的に一致する幾つかのサブ領域(スーパ画素)を生成し、それから、前記サブ領域から特徴を抽出し、かつ、抽出された特徴に基づいて、教習によって生成された分類器を用いて各領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、最後に、前記確率と隣接するサブ領域との間の関連性を用いて確率グラフィックモデルを構築し、サブ領域を融合してマクロ領域及びその種別を取得し、貨物分類を完了する。ここで、確率グラフィックモデルとしては、隠れマルコフモデル(ＨＭＭ、Ｈｉｄｅ  Ｍａｒｋｏｖ  Ｍｏｄｅ)、条件付き確率場モデル(ＣＲＦ、Ｃｏｎｄｉｔｉｏｎａｌ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ)または構造出力予測モデル(ＳＯＰ、Ｓｔｒｕｃｔｕｒｅ  Ｏｕｔｐｕｔ  Ｐｒｅｄｉｃｔｉｏｎ)を用いても良いし、これらの複雑なモデルを構築することなく、類似性に基づいて直接融合し、それから、１つの総合種別を融合領域の種別として出力しても良い。
【００１６】
本発明の別の態様によれば、貨物を自動で分類認識する透視検査方法を提供する。前記方法は、Ｘ光走査装置を用いてコンテナを走査してイメージングすることで、走査画像を取得するステップと、前記走査画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割するステップと、前記サブ領域から特徴を抽出するステップと、注釈付きの画像に基づいて分類器を生成するステップと、抽出された特徴に基づいて分類器を用いて各サブ領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、かつ、サブ領域を融合してマクロ領域及びその種別を取得するステップと、を含む。
【００１７】
好ましくは、前記方法は、各種別の貨物の数を推定し、その結果を検査端末に伝達するステップをさらに含む。
【００１８】
好ましくは、前記方法は、教習段階と認識段階とを含む。
【００１９】
好ましくは、前記教習段階では、コンテナ貨物の走査画像を取得した後、先ず、各画像を予備分割し、画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割し、かつ、これらのサブ領域から特徴を抽出し、それから、各画像に対して対応する税関申告書に基づいて注釈を付け、種別が同じ且つ隣接或いは連通するサブ領域をマクロ領域に融合し、最後に、これらのマクロ領域における各サブ領域の特徴を特徴クラスタとして構成し、後続の認識のために、これらの既存の種別の特徴クラスタに基づいて分類器を教習する。
【００２０】
好ましくは、前記教習段階では、ＳＩＦＴ、ＭＲ８の演算子を用いて複数の特徴を取得し、それから、特徴融合または決定融合の方法を用いて前記複数の特徴を融合することで、特徴を抽出し、且つ、抽出された特徴を辞書方法を用いて組織する。
【００２１】
好ましくは、前記教習段階では、採集された画像に対して注釈を手動で付けることで、サブ種別画像データベースを取得する。
【００２２】
好ましくは、前記認識段階では、先ず、コンテナ貨物を走査し、走査画像を予備分割して、階調およびテクスチャが比較的に一致する幾つかのサブ領域を生成し、それから、前記サブ領域から特徴を抽出し、かつ、抽出された特徴に基づいて、教習によって生成された分類器を用いて各領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、最後に、前記確率と隣接するサブ領域との間の関連性を用いて確率グラフィックモデルを構築し、サブ領域を融合してマクロ領域及びその種別を取得し、貨物分類を完了する。
【００２３】
好ましくは、前記認識段階では、隠れマルコフモデル、条件付き確率場モデルまたは構造出力予測モデルを用いて前記確率グラフィックモデルを構築し、または類似性に基づいて直接融合し、それから、１つの総合種別を融合領域の種別として出力する。
【００２４】
本発明の貨物を自動で分類認識する透視検査システム及び方法によれば、コンテナ走査画像における大量貨物を分割し、貨物分類認識を図り、さらに、貨物数を推定することができ、かつ、画像において各種別の貨物に対して対応する擬似色を追加し、これは画像検査に大きく寄与する。若し、画像分類の種別数と税関申告書貨物の種別数とが不一致し、または数が不一致すれば、貨物を隠蔽することを検査者に提示する。若し、各種別の貨物の税率が検索できれば、システムはさらに、参照のために税額を推定することが可能である。
【図面の簡単な説明】
【００２５】
以下に記載の実施例を参照すると、本発明のこれらの実施態様及び他の態様を明らかに説明する。図面において、
【００２６】
【図１】本発明の実施例による検査を示すフローチャートである。
【００２７】
【図２】本発明の実施例による教習段階を示す模式図である。
【００２８】
【図３】本発明の実施例による認識段階を示す模式図である。
【発明を実施するための形態】
【００２９】
本発明の目的、構造及びメリットをより明瞭にするために、以下に、図面を参照しながら本発明をさらに詳細に説明する。簡素化のため、図面及び明細書には、複数の可能な構成のうちの１つのみが示される。当業者は、本発明の要旨を逸脱しない範囲で、本発明の以下の実施例に対する様々な補正や変更が可能であると理解されるべきである。
【００３０】
種別記述
【００３１】
本発明では、世界税関機構によって組織的に制定された『統計品目番号』(ＨＳ、Ｔｈｅ  Ｈａｒｍｏｎｉｚｅｄ  Ｃｏｍｍｏｄｉｔｙ  Ｄｅｓｃｒｉｐｔｉｏｎ  ａｎｄ  Ｃｏｄｉｎｇ  Ｓｙｓｔｅｍ)及び『中華人民共和国税関輸出入商品規范申告目録』の相関規定に従って、走査貨物を２２類別に分類し、これら種別はだいたい下記のように記述されている。
【００３２】
１、動物（生きているものに限る。）及び動物性生産品。
【００３３】
２、植物性生産品。
【００３４】
３、動物性又は植物性の油脂及びその分解生産物、調製食用脂並びに動物性又は植物性のろう。
【００３５】
４、調製食料品、飲料、アルコール、食酢、たばこ及び製造たばこ代用品。
【００３６】
５、鉱物性生産品。
【００３７】
６、化学工業（類似の工業を含む。）の生産品。
【００３８】
７、プラスチック及びゴム並びにこれらの製品。
【００３９】
８、皮革及び毛皮並びにこれらの製品、動物用装着具並びに旅行用具、ハンドバッグその他これらに類する容器並びに腸の製品。
【００４０】
９、木材及びその製品、木炭、コルク及びその製品並びにわら、エスパルトその他の組物材料の製品並びにかご細工物及び枝条細工物。
【００４１】
１０、木材パルプ、繊維素繊維を原料とするその他のパルプ、古紙並びに紙及び板紙並びにこれらの製品。
【００４２】
１１、紡織用繊維及びその製品。
【００４３】
１２、履物、帽子、傘、つえ、シートステッキ及びむち並びにこれらの部分品、調製羽毛、羽毛製品、造花並びに人髪製品。
【００４４】
１３、石、プラスター、セメント、石綿、雲母その他これらに類する材料の製品、陶磁製品並びにガラス及びその製品。
１４、天然又は養殖の真珠、貴石、半貴石、貴金属及び貴金属を張った金属並びにこれらの製品、身辺用模造細貨類並びに貨幣。
【００４５】
１５、卑金属及びその製品。
【００４６】
１６、機械類及び電気機器並びにこれらの部分品並びに録音機、音声再生機並びにテレビジョンの映像及び音声の記録用又は再生用の機器並びにこれらの部分品及び附属品。
【００４７】
１７、車両、航空機、船舶及び輸送機器関連品。
【００４８】
１８、光学機器、写真用機器、映画用機器、測定機器、検査機器、精密機器、医療用機器、時計及び楽器並びにこれらの部分品及び附属品。
【００４９】
１９、武器及び銃砲弾並びにこれらの部分品及び附属品。
【００５０】
２０、雑品。
【００５１】
２１、美術品、収集品及びこつとう。
【００５２】
２２、不明。
【００５３】
なお、本発明では、単に実際応用に適応するために、貨物を上記２２類別に分類する。実際には、さらに、この２２類別のサブセット、または、より洗練された（例えば、この２２種別の下で定義される９８種類）分類定義を採用しても良い。
【００５４】
本発明の実施例によれば、貨物を自動で分類認識する透視検査システムは、Ｘ光走査装置を用いてコンテナを走査してイメージングすることで、走査画像を取得するための画像データ取得手段と、前記走査画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割するための画像分割手段と、前記サブ領域から特徴を抽出するための特徴抽出手段と、注釈付きの画像に基づいて分類器を生成するための教習手段と、抽出された特徴に基づいて分類器を用いて各サブ領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、かつ、サブ領域を融合してマクロ領域及びその種別を取得するための分類認識手段と、を備える。
【００５５】
図１は、本発明の実施例による検査を示すフローチャートである。ここで、車載コンテナの検査を例としており、車両の検査が開始した後、システムは先ず、車両を走査して透視画像を取得する。下記に詳細に記述される画像分析及び分類認識を文字補助情報とともに用いて、画像を検査する。分類認識結果を取得した後、前記結果を検査端末へ送信することができる。車両の検査が完了した後、検査結果を送信する。
【００５６】
本発明に係る、貨物を自動で分類認識する透視検査システムによれば、コンテナ走査画像を分析し、特徴類似性に基づいて画像をいくつかの部分に割り当て、かつ、各部分の対応する貨物がどの種別の貨物に属するかを分析することができる。ここで、抽出された特徴を用いて走査画像における各サブ領域が各種別の貨物に属する確率を判断することで、貨物全体認識の効率及び正確性を向上させ、且つ、本発明の実施例に記載の構成を用いることで、貨物認識量の累積に従って、貨物認識の効率及び正確性をさらに向上することができる。本発明では、種別情報に基づいて税関申告書と対比することで、不法密輸を発見することができ、貨物の種別及び画像中の面積に基づいて、貨物数を推定することができ、推定された貨物数と税関申告書とを対比することで、貨物数を隠す密輸状況を発見することができ、さらに、貨物数に基づいて、自動で税率に従って税額推定を行うことができる。
【００５７】
好ましくは、前記システムによる貨物の自動分類認識は、教習段階と認識段階とを含む。しかしながら、実際操作において、十分な数のサブ種別サンプルを有する場合、前記システムによる貨物の自動分類認識は、教習段階を含まなくても良く、その理由としては、この時、システムは、特徴によって集約された十分な「単語」を既に取得したからであるということは、当業者に理解されるべきである。
【００５８】
教習段階(図２に示されている)
【００５９】
１、画像取得
【００６０】
分類器教習の要求を満足するために、各種別の貨物に対して約１００幅の画像を採集し、これらの画像にできるだけ異なる物品を含ませる。例えば、調製食料品に関しては、できるだけ様々な異なる種類、異なる形態及びパッケージの調製食料品を含ませる。また、取得することが困難である貨物、例えば、動物性生産品または武器に関しては、類似するシミュレート物を用いて走査を行う。
【００６１】
２、種別の手動注釈付け
【００６２】
採集された画像に対して注釈を手動で付ける(すなわち、注釈付きの画像)。一般的な方法としては、画像における各画素またはどの領域がどの種別に属するかについて、詳細に注釈を付ける。注釈付け後、図１におけるサブ種別画像データベースが形成される。注釈付きの画像に基づいて、分類器を生成する。
【００６３】
３、特徴抽出
【００６４】
先ず、画像における種別注釈付きを有する領域に対して特徴を抽出する。一般的には、高密度の画像記述子(Ｉｍａｇｅ  Ｄｅｓｃｒｉｐｔｏｒ)を用いて特徴を表す。画像記述子は、様々なアルゴリズム、例えば、方向勾配ヒストグラム(ＨＯＧ-Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ)特徴、最大応答セット(Ｍａｘｉｍｕｍ  Ｒｅｓｐｏｎｓｅ  Ｓｅｔｓ、または、ＭＲ８と称する)、スケール不変特徴変換(ＳＩＦＴ-Ｓｃａｌｅ-ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ)等を用いても良い。好ましくは、本発明では、３種の特徴を用いて決定融合(Ｄｅｃｉｓｉｏｎ  Ｆｕｓｉｏｎ)を行う。したがって、特徴を抽出するとき、それぞれ高密度のＨＯＧ、ＭＲ８、ＳＩＦＴ特徴を抽出する（ここで言う高密度とは、小さい均一な間隔で画像に特徴抽出点を設定する位置を指す）。アルゴリズの実現は、オープンソースソフトウェア、例えば、ｏｐｅｎｃｖ、ｖｌｆｅａｔ等のオープンソースライブラリを用いても良い。
【００６５】
画像分割アルゴリズムを用いて画像を分割する。一般的には、統計領域マージ(Ｓｔａｔｉｓｔｉｃａｌ  Ｒｅｇｉｏｎ  Ｍｅｒｇｉｎｇ)方法を用いて分割を行い、分割して得られた領域をスーパ画素と呼ぶ。スーパ画素領域内における抽取された３種の特徴を平均化すれば、このスーパ画素の特徴記述を取得する。同じ画像における、同一種別に属し且つ種別が隣接或いは連通するサブ領域をマクロ領域に融合し、それをクラスタと称する。クラスタには、少なくとも１つのスーパ画素が含まれている。事実には、１つのクラスタは、通常、スーパ画素を数十乃至何百も含んでいる。好ましくは、バッグオフワード(ＢＯＷ-Ｂａｇ  ｏｆ  Ｗｏｒｄｓ)を用いてクラスタの特徴を記述する。ＨＯＧ意味の下で生成されたＢＯＷ特徴をＨＯＧ-ＢＯＷと称し、ＭＲ８意味の下で生成されたＢＯＷ特徴をＭＲ８-ＢＯＷと称し、ＳＩＦＴ意味の下で生成された特徴をＳＩＦＴ-ＢＯＷと称する。サンプルを十分に使用するために、クラスタの面積に応じて、クラスタは、それぞれが少なくとも２０個のＢＯＷ特徴を含むように、ブロックに均一に分割される。このとき、各ＢＯＷ特徴は、{ＨＯＧ-ＢＯＷ、ＭＲ８-ＢＯＷ、ＳＩＦＴ-ＢＯＷ}という３つの高次元ベクトルによって構成される。
【００６６】
分類器教習
【００６７】
第３ステップで得られた特徴を用いて分類器を教習する。上述した通り、３種の特徴については、３種の分類器、すなわち、ＨＯＧ分類器、ＭＲ８分類器及びＳＩＦＴ分類器を構築する。各種別は、約１００幅の画像を有し、各画像は、少なくとも２０個のＢＯＷ特徴を有する。したがって、各分類器は、何れも２２種別の分類器であり、各種別は、少なくとも２０００個の特徴サンプルを有する。分類器としては、様々な線形、非線形、集積分類器、ニューラルネットワーク、例えば、Ｆｉｓｈｅｒ分類器、サポートベクトルマシン(ＳＶＭ)、ブースティング(Ｂｏｏｓｔｉｎｇ)、ランダムフォレスト、多層パーセプトロン等を用いても良い。一般的には、本実施例では、ＳＶＭ分類器を用いる。当該分類器は、様々なオープンソースソフトウェアの実現案、例えば、ＬｉｂＳＶＭ等がある。
【００６８】
また、３種の特徴に対して特徴融合(Ｆｅａｔｕｒｅ  Ｆｕｓｉｏｎ)を行っても良い。しかし、３種の特徴の次元が全て高いので、ここでは、好ましくは決定融合ポリシーを用いる。
【００６９】
分類器が得られた後、分類算出を行うことができる。
【００７０】
分類認識段階(図３に示されている) 
【００７１】
画像分割
【００７２】
未知画像の分割方法は、教習段階の第３のステップにおける画像分割と同じである。分割によって得られた領域は、何れもスーパ画素である。
【００７３】
特徴抽出
【００７４】
特徴抽出の基本的な方法は、教習段階の第３ステップにおける特徴抽出方法と類似し、異なるのは、ここでは種別情報がなく、クラスタの特徴を正確に得ることができないことにある。したがって、各スーパ画素に関して、スーパ画素の周囲の特定の面積(クラスタ生成時に分割された領域の面積を参照)内で生成された特徴を１つの仮想の局部クラスタに生成し、このクラスタのＢＯＷ特徴を算出する。このとき、スーパ画素における複数の特徴を平均せず、その代わりに、直接にＢＯＷ特徴を生成する。
【００７５】
教習時に各クラスタが少なくとも２０個のＢＯＷ特徴を含む場合とは異なり、この場合には、局部クラスタは、一つだけのＢＯＷ特徴を含み、この特徴は、{ＨＯＧ-ＢＯＷ、ＭＲ８-ＢＯＷ、ＳＩＦＴ-ＢＯＷ}という３つの高次元ベクトルから構成される。
【００７６】
３、分類
【００７７】
ＨＯＧ-ＢＯＷ、ＭＲ８-ＢＯＷ、ＳＩＦＴ-ＢＯＷという３つの高次元ベクトルをそれぞれ教習された分類器によって分類すると、３つのベクトルが２２個の種別に属する３次元信頼度ベクトルを取得する。ベクトルにおける各値は、当該特徴が種別に属する信頼性を示す。
【００７８】
３次元信頼度ベクトルの総和、平均値、及び最大値のいずれかを求めることによって、決定融合の結果を取得する。好ましくは、ここでは、３次元信頼度ベクトルの平均値を求めることによって、１次元信頼度ベクトルを取得する。各値は、スーパ画素が種別に属する信頼度である。このベクトルの最大値は、スーパ画素の種別及び信頼度を示す。
【００７９】
好ましくは、各スーパ画素の信頼度を取得した後に、信頼度図に対して後処理を施しても良い。一般的には、より正確な結果を得るために、条件付き確率場(ＣＲＦ-Ｃｏｎｄｉｔｉｏｎａｌ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ)を用いても良い。
【００８０】
貨物重量推定
【００８１】
放射線イメージングシステムでは、各物質の単位厚さ（例えば１ｃｍ）におけるイメージング階調値が算出可能であり、または、特定され得る。したがって、２２種別の貨物の異なる厚さにおける最大可能階調及び最小可能階調のテーブルを構築する。
【００８２】
認識段階の第３ステップでは、貨物の種別を既に取得した。さらに、画像階調及び上記階調表を参照することにより、貨物の最小可能重量及び最大可能重量を容易に取得する。
【００８３】
ヒューマンマシンインタラクション方式
【００８４】
本発明に係る分類及び認識方法としては、画像をより効果的に分析することを機器のオペレータに支援するために、様々なヒューマンマシンインタラクション方法を用いても良い。その方法は、下記の方法であっても良いが、それらに限定されない。
【００８５】
１、ヒューマンマシンインタラクションの一方法として、分類認識後、貨物の種別に応じて、異なる貨物を異なる色で表示し、画像に何種別の貨物が含まれているか、各種別の貨物が２２類別のうちのどれに属するかを機器のオペレータに提示しても良い。
【００８６】
２、ヒューマンマシンインタラクションの一方法として、分類認識後、オペレータのクリック操作に応じて、ある領域(例えば、マウスのカーソル近傍)にクリック位置の貨物の種別及び当該種別の貨物の最小可能重量並びに最大可能重量を表示しても良い。
【００８７】
３、ヒューマンマシンインタラクションの一方法として、機器のオペレータは貨物の種別(どの認識に属するか)を手動で入力しても良い。分類認識後、結果が手動で入力した種別番号とは異なる場合、画像に相違箇所を著しい色でマークする。
【００８８】
４、ヒューマンマシンインタラクションの一方法として、システムは、税関申告書(電子税関申告書または文字により認識されたデジタル税関申告書)を自動で分析することにより、貨物の種別及び対応する重量情報を取得する。分類認識後、結果が自動分析結果とは異なる場合、画像に相違箇所を著しい色でマークする。
【００８９】
本発明の実施例によれば、貨物を自動で分類認識する透視検査方法をさらに伝達する。前記方法は、Ｘ光走査装置を用いてコンテナを走査してイメージングすることで、走査画像を取得するステップと、前記走査画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割するステップと、前記サブ領域から特徴を抽出するステップと、注釈付きの画像に基づいて分類器を生成するステップと、抽出された特徴に基づいて分類器を用いて各サブ領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、かつ、サブ領域を融合してマクロ領域及びその種別を取得するステップと、を含む。
【００９０】
好ましくは、前記方法は、各種別の貨物の数を推定し、結果を検査端末に伝達するステップをさらに含む。
【００９１】
好ましくは、前記方法は、教習段階と認識段階とを含む。
【００９２】
好ましくは、前記教習段階では、コンテナ貨物の走査画像を取得した後、先ず、各画像を予備分割し、画像を階調及びテクスチャ特徴が何れも類似するサブ領域に分割し、かつ、これらのサブ領域から特徴を抽出し、それから、各画像に対して対応する税関申告書に基づいて注釈を付け、種別が同じ且つ隣接或いは連通するサブ領域をマクロ領域に融合し、最後に、これらのマクロ領域における各サブ領域の特徴を特徴クラスタとして構成し、後続の認識のために、これらの既存の種別の特徴クラスタに基づいて分類器を教習する。
【００９３】
好ましくは、前記教習段階では、ＳＩＦＴ、ＭＲ８の演算子を用いて複数の特徴を取得し、それから、特徴融合または決定融合の方法を用いて前記複数の特徴を融合することで、特徴を抽出し、且つ、抽出された特徴を辞書方法を用いて組織する。
【００９４】
好ましくは、前記教習段階では、採集された画像に対して注釈を手動で付けることで、サブ種別画像データベースを取得する。
【００９５】
好ましくは、前記認識段階では、先ず、コンテナ貨物を走査し、走査画像を予備分割して、階調およびテクスチャが比較的に一致する幾つかのサブ領域を生成し、それから、前記サブ領域から特徴を抽出し、かつ、抽出された特徴に基づいて、教習によって生成された分類器を用いて各領域を認識して、各サブ領域が各種別の貨物に属する確率を取得し、最後に、前記確率と隣接するサブ領域との間の関連性を用いて確率グラフィックモデルを構築し、サブ領域を融合してマクロ領域及びその種別を取得し、貨物分類を完了する。
【００９６】
好ましくは、前記認識段階では、隠れマルコフモデル、条件付き確率場モデルまたは構造出力予測モデルを用いて前記確率グラフィックモデルを構築するか、または直接に類似性に基づいて融合し、それから、１つの総合種別を融合領域の種別として出力する。
【００９７】
本発明の貨物を自動で分類認識する透視検査システム及び方法によれば、コンテナ走査画像における大量貨物を分割し、貨物分類認識を図り、さらに、貨物数を推定することができ、かつ、画像において各種別の貨物に対して対応する擬似色を追加し、これは画像検査に大きく寄与する。若し、画像分類の種別数と税関申告書貨物の種別数とが不一致し、または数が不一致すれば、貨物を隠蔽することを検査者に提示する。若し、貨物の様々な種類の税率が検索できれば、システムは、参照のために税額を推定することが可能である。
【００９８】
図面及び前述記述には、本発明を詳細に説明及び記述したが、当該説明及び記述は、限定的なものではなく、説明的または例示的なものと見なされる。本発明は、開示された実施例に限定されるものではない。当業者は、本発明を実践するとき、図面、開示内容及び添付する特許請求の範囲を研究することによって、開示された実施例の他の変化を理解且つ実現することができる。
【００９９】
請求項には、言葉「含む」、「備える」は、他の元素またはステップを排除するものではなく、「一」は、複数個を排除するものではない。単個の元素または他のユニットは、請求項に記載の若干の機能を実現することができる。
特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせを有利に使用できないことを示すものではない。請求項における任意の図面符号は、範囲を限定するものとして解釈されるべきではない。
【０１００】
本願は、出願番号が２０１３１０７３４３７３.７であり、出願日が２０１３年１２月２７日である中国特許出願に基づいて優先権を主張する。当該中国特許出願の全ての内容は、ここに参考として引用される。
【図１】
0006338674.tif 000002
【図２】
0006338674.tif 000003
【図３】
0006338674.tif 000004