(57)【要約】      （修正有）【課題】コンテナ又は車両に銃器が含まれているか否かを正確に特定することができる検査装置および方法を提供する。【解決手段】被検体１２０に対してＸ線検査を行い、演算装置１６０はデータ収集装置１５０から透過画像を取得する。演算装置において、訓練された銃器検出神経回路網を用いて、透過画像における複数の候補領域を特定する。さらに銃器検出神経回路網を用いて、複数の候補領域を分類することによって、透過画像に銃器が含まれているか否かを特定する。【選択図】図１
2018112550.tif 000002
【特許請求の範囲】
【請求項１】
被検体に対してＸ線検査を行い、透過画像を取得するステップと、
訓練された銃器検出神経回路網を用いて、前記透過画像における複数の候補領域を特定するステップと、
前記銃器検出神経回路網を用いて、前記複数の候補領域を分類することによって、前記透過画像に銃器が含まれているか否かを特定するステップと、を含む銃器検出方法。
【請求項２】
各候補領域に銃器が含まれる信頼度を算出するとともに、前記信頼度が所定の閾値よりも大きい場合、前記候補領域に銃器が含まれていると判断する、請求項１に記載の銃器検出方法。
【請求項３】
複数の候補領域のそれぞれに同じ銃器が含まれる場合、各候補領域における銃器の画像を標記するとともに、前記複数の候補領域における銃器の画像を組み合わせることによって、銃器の位置を取得する、請求項１に記載の銃器検出方法。
【請求項４】
前記銃器検出神経回路網は、銃器のサンプル透過画像を作成することと、畳み込み神経回路網を初期化して初期検出網を取得することと、サンプル透過画像を用いて初期検出網を訓練して銃器検出神経回路網を取得することという操作によって訓練されたものである、請求項１に記載の銃器検出方法。
【請求項５】
履歴検査画像における銃器の部分を切り出すステップと、
切り出された銃器の画像をランダムディザリングして、銃器を含まない被検体の画像に挿入することで、訓練用のサンプル透過画像を作成するステップと、をさらに含む、請求項４に記載の銃器検出方法。
【請求項６】
前記ランダムディザリングには、回転、アフィン変換、ノイズ追加、階調調整、スケール調整の少なくとも１つを含む、請求項５に記載の銃器検出方法。
【請求項７】
被検体に対してＸ線検査を行い、透過画像を取得するＸ線検査システムと、
前記透過画像を格納するメモリと、
訓練された銃器検出神経回路網を用いて前記透過画像における複数の候補領域を特定し、且つ、前記検出神経回路網を用いて前記複数の候補領域を分類することによって、前記透過画像に銃器が含まれているか否かを特定するように設けられているプロセッサと、を備える検査機器。
【請求項８】
前記プロセッサは、各候補領域に銃器が含まれる信頼度を算出するとともに、前記信頼度が所定の閾値よりも大きい場合、前記候補領域に銃器が含まれていると判断するように設けられている、請求項７に記載の検査機器。
【請求項９】
前記プロセッサは、複数の候補領域のそれぞれに同一の銃器が含まれる場合、各候補領域における銃器の画像を標記するとともに、前記複数の候補領域における銃器の画像を組み合わせることによって、銃器の位置を取得するように設けられている、請求項７に記載の検査機器。
【請求項１０】
前記メモリには、銃器のサンプル透過画像が格納されており、
前記プロセッサは、畳み込み神経回路網を初期化して初期検出網を取得することと、サンプル透過画像を用いて初期検出網を訓練して銃器検出神経回路網を取得すること、という操作によって訓練されて前記銃器検出神経回路網を取得するように設けられている、請求項７に記載の検査機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、放射線検査技術に関し、具体的には、検査機器とコンテナ又は車両に収納された銃器を検出する銃器検出方法に関する。
【背景技術】
【０００２】
銃器は、直接の致死率と大きな破壊力を持つため、銃器を不法に携帯すると、社会の安定に直接に影響をもたらし、国民の生活や財産を危険にさらすことになる。安全検査の分野で、銃器の検出は、常に重要な課題である。近年、治安情勢はだんだん苛酷になってきた。そして、テロ活動がだんだん激しくなり、公衆安全検査は、世界の各国で密接に注目している問題になっている。そして、武器や爆発物、麻薬などの禁制品に対する検出は、常に安全検査分野での主要な任務である。犯罪組織やテロ活動を効果的に予防し且つそれらと戦うために、各国の警察は、安全検査機器を採用して危険物や禁制品に対して標的安全検査を行っている。
【０００３】
現在、車両及び／又はコンテナの検査で、放射線イメージングは安全検査で最も一般的に使用される技術の一つである。放射線イメージングは、高エネルギー放射線を物体に透過させることで、物体の内部を観察する技術である。放射線イメージングは、車両及び／又はコンテナに隠匿されている武器類の禁制品の形状を反映することができる。現在、車両・コンテナに対する透視検査を実現した放射線イメージング検査システムがいくつかある。
【０００４】
しかしながら、人工検査には、いくつかの問題がある。まず、保安検査者は、写真を一枚ずつ確認しなければならず、作業量が膨大であるだけでなく、長時間にわたって大量の写真を識別すると、必然的に視覚の疲労を引き起こすことになり、検出見逃しや誤検出が発生する可能性がある。次に、保安検査者にとって、２４時間の監視は不可能であるため、通関の効率が影響される。現在、コンピュータ技術を用いて検出を支援する方法もいくつかあるが、従来技術は、人工的に設計された特徴に依頼しなければならない。例えば、ＨＡＲＲ特徴、ＳＵＲＦ特徴、ＬＢＰ特徴などの特徴演算子を用いて識別を行っている。従来の特徴抽出には、優れた特徴を設計することが非常に困難であるという大きな問題が存在する。特徴の組み合わせを用いても、特徴の共通性を達成することが困難であり、複雑でよく変化する背景に直面する際には、アルゴリズムが無効になる可能性もある。
【発明の概要】
【０００５】
従来技術における一つ又は複数の問題を考慮し、検査機器とコンテナ・車両における銃器を検査する方法を提供する。
【０００６】
本開示の一面では、銃器検出方法が提供され、被検体に対してＸ線検査を行い、透過画像を取得するステップと、訓練された銃器検出神経回路網を用いて、前記透過画像における複数の候補領域を特定するステップと、前記銃器検出神経回路網を用いて、前記複数の候補領域を分類することによって、前記透過画像に銃器が含まれているか否かを特定するステップと、を含む。
【０００７】
本開示の実施例によれば、各候補領域に銃器が含まれる信頼度を算出するとともに、前記信頼度が所定の閾値よりも大きい場合、前記候補領域に銃器が含まれていると判断する。
【０００８】
本開示の実施例によれば、複数の候補領域のそれぞれに同じ銃器が含まれる場合、各候補領域における銃器の画像を標記するとともに、前記複数の候補領域における銃器の画像を組み合わせることによって、銃器の位置を取得する。
【０００９】
本開示の実施例によれば、前記銃器検出神経回路網は、銃器のサンプル透過画像を作成することと、畳み込み神経回路網を初期化して初期検出網を取得することと、サンプル透過画像を用いて初期検出網を訓練して銃器検出神経回路網を取得することという操作によって訓練されたものである。
【００１０】
本開示の実施例によれば、前記の方法は、履歴検査画像における銃器の部分を切り出すステップと、切り出された銃器の画像をランダムディザリングして、銃器を含まない被検体の画像に挿入することで、訓練用のサンプル透過画像を作成するステップと、をさらに含む。
【００１１】
本開示の実施例によれば、前記ランダムディザリングには、回転、アフィン変換、ノイズ追加、階調調整、スケール調整の少なくとも１つを含む。
【００１２】
本開示の他方面によれば、検査機器が提供され、検査機器は、被検体に対してＸ線検査を行い、透過画像を取得するＸ線検査システムと、前記透過画像を格納するメモリと、訓練された銃器検出神経回路網を用いて前記透過画像における複数の候補領域を特定し、且つ、前記検出神経回路網を用いて前記複数の候補領域を分類することによって、前記透過画像に銃器が含まれているか否かを特定するように設けられているプロセッサと、を備える。
【００１３】
本開示の実施例によれば、前記プロセッサは、各候補領域に銃器が含まれる信頼度を算出するとともに、前記信頼度が所定の閾値よりも大きい場合、前記候補領域に銃器が含まれていると判断するように設けられている。
【００１４】
本開示の実施例によれば、前記プロセッサは、複数の候補領域のそれぞれに同一の銃器が含まれる場合、各候補領域における銃器の画像を標記するとともに、前記複数の候補領域における銃器の画像を組み合わせることによって、銃器の位置を取得するように設けられている。
【００１５】
本開示の実施例によれば、前記メモリには、銃器のサンプル透過画像が格納されており、前記プロセッサは、畳み込み神経回路網を初期化して初期検出網を取得することと、サンプル透過画像を用いて初期検出網を訓練して銃器検出神経回路網を取得すること、という操作によって訓練されて前記銃器検出神経回路網を取得するように設けられている。
【００１６】
上記した技術案を利用して、コンテナ・車両に銃器が含まれているか否かをより正確に特定することができる。
【図面の簡単な説明】
【００１７】
本発明をよりよく理解させるために、以下の図面を参照して本発明を詳細に説明する。
【００１８】
【図１】は、本開示の実施例による検査機器の構造を示す模式図である。
【図２】は、図１に示す検査機器に含まれる演算装置の構成を示す模式図である。
【図３】は、本開示の実施例による銃器サンプルの画像データベースの構築を示すフローチャートである。
【図４Ａ】は、本開示の実施例による銃器を示す元の図である。
【図４Ｂ】は、本開示の実施例による銃器サンプルの画像数を増加することを示す模式図である。
【図５】は、本開示の実施例による銃器を検出するネットワークモデルを構築する過程を示す模式図である。
【図６】は、本開示の実施例による銃器を検出する過程を示す模式図である。
【図７Ａ】は、本開示の実施例で得られたＸ線透過画像を示す模式図である。
【図７Ｂ】は、本開示の実施例で検出された候補領域を示す模式図である。
【図７Ｃ】は、本開示の実施例による候補領域を神経回路網に入力して特徴の抽出および分類を行う過程を示す図である。
【図７Ｄ】は、本発明の実施例による検査結果を示す模式図である。
【図８】は、本開示の実施例による銃器検出モデルをオンラインで更新する過程を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本開示の具体的な実施例を詳細に説明する。ここで記載する実施例は、例示的に説明することに過ぎず、本発明を限定するものではない。以下の説明で、本発明に対する徹底的な理解のために、特定的な詳細をたくさん記載している。しかしながら、本発明を実施するためにこれらの特定的な詳細を必ず使用するには限定されないことを、当業者は理解できるだろう。他の実施例では、本発明を不明瞭にすることを避けるために、周知の構造や材料または方法を具体的に記載しない。
【００２０】
本明細書において、「一実施例」、「実施例」、「一例」または「例」などの説明は、 該実施例または例の説明を組み合わせた特定の特徴、構造または特性が本発明の少なくとも一つの実施例に含まれることを意味する。したがって、本明細書において各々の箇所に出現する用語である「一実施例では」、「一例」または「例」は、必ずしも同一の実施例または例を指すとは限らない。また、如何なる適切な組み合わせ及び／又はサブ組み合わせによって、特定の特徴、構造または特性を一つまたは複数の実施例や例に組み合わせることができる。また、当業者であれば、ここで使用される「及び／又は」という用語は、関連して列挙された項目のうちの何れ及びすべての組み合わせを含むことを理解できるだろう。
【００２１】
従来技術に存在する問題点に鑑みて、本発明の実施例は、コンテナまたは車両に収納された銃器を検出する方法を提供する。被検体に対してＸ線検査を行うことで、透過画像を取得する。そして、訓練された銃器検出神経回路網を用いて透過画像における複数の候補領域を特定し、銃器検出神経回路網を用いて複数の候補領域を分類することによって、前記透過画像に銃器が含まれているか否かを特定する。このように、放射線イメージング技術と深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）技術に基づいて、車両及び／又はコンテナに収納された銃器やナイフ等の危険品の画像に対するインテリジェント支援検出を実現する。深層学習アルゴリズムによって放射線画像に疑似銃器があるか否かを自動的に検出すると共に、画像における銃器の位置を与えることもできる。これにより、人工的判断を支援して銃器を違法的に所持しているか否かを判断する。放射線画像から疑似銃器が自動的に識別されると、警告信号を発生して、保安検査者が再度識別を行うようにし、作業負荷を大幅に削減できると共に、２４時間の監視を行うこともできる。
【００２２】
図１は、本開示の実施例による検査機器の構造を示す模式図である。図１に示すように、本開示の実施例による検査機器１００は、Ｘ線ソース１１０と、検知装置１３０と、データ収集装置１５０と、コントローラ１４０と、演算装置１６０とを含み、コンテナ付きトラック等のような被検体１２０に対して安全検査を行う。そして、例えば、その中に銃器のような危険品及び／又は疑わしい物が含まれているか否かを判断する。当該実施例では、検知装置１３０とデータ収集装置１５０を別途に説明するが、当業者であれば、これらを一体に構成してＸ線検知・データ収集装置と呼ぶこともできることを理解できるだろう。
【００２３】
いくつかの実施例によれば、上記したＸ線ソース１１０は、同位体であってもよく、Ｘ線機または加速器であってもよい。Ｘ線ソース１１０は、単一エネルギーのソースであってもよく、二重エネルギーのソースであってもよい。このように、Ｘ線ソース１１０と検知装置１５０、および、コントローラ１４０と演算装置１６０によって、被検体１２０を透過走査して、検知データを取得する。例えば、被検体１２０の移動中に、操作者は、演算装置１６０によるＨＭＩ（Ｈｕｍａｎ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｆａｃｅ）を介して、コントローラ１４０によってＸ線ソース１１０が放射線を発するように指令を送信する。被検体１２０を透過した放射線は、検知装置１３０とデータ収集装置１５０によって受信され、演算装置１６０によってそのデータを処理して、透過画像を取得することができる。さらに、訓練された銃器検出神経回路網を用いて、透過画像における複数の候補領域を特定し、前記複数の候補領域を分類することによって、透過画像に銃器が含まれているか否かを特定する。他の実施形態において、画像において銃器の位置を標記したり、被検体に銃器が所持されていることを操作者に通知したりすることもできる。
【００２４】
図２は、図１に示す演算装置の構造を示す模式図である。図２に示すように、検知装置１３０によって検知された信号は、データ収集装置に収集され、そのデータはインタフェース部１６７とバス１６３を介してメモリ１６１に格納される。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１６２には、コンピュータデータプロセッサの情報およびプログラムが格納されている。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１６３は、プロセッサ１６５の動作中に様々なデータを一時的に格納するために使用される。また、メモリ１６１には、データ処理を行うための、物質識別プログラムや画像処理プログラム等のようなコンピュータプログラムも格納されている。内部バス１６３は、上記のメモリ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３と、入力装置１６４と、プロセッサ１６５と、表示装置１６６と、インタフェース部１６７とを接続するものである。
【００２５】
ユーザがキーボードやマウス等の入力装置１６４を介して操作コマンドを入力すると、コンピュータプログラムの指令コードは、プロセッサ１６５に所定のデータ処理アルゴリズムを実行させ、データ処理の結果を、ＬＣＤディスプレイ等の表示装置１６７に表示させたり、印刷等のハードコピーの形態で直接に出力したりする。
【００２６】
図３は、本開示の実施例による銃器サンプルの画像データベースの構築を示すフローチャートである。図３に示すように、銃器サンプルの画像データベースの構築は、主に、画像収集と、画像前処理と、注目領域抽出との三つの部分に分けられる。
【００２７】
ステップＳ３１０では、サンプルの画像を取得する。例えば、かなりの数量の小型物品である銃器の画像を収集し、画像データベースが色々な配置形態と異なる数量での銃器の画像を含むようにして、銃器の画像ライブラリである｛Ｘｂａｒ｝を取得する（「Ｘｂａｒ」とは、Ｘの文字の上にバーをつける符号を表す）。サンプルが多様であればこそ、本開示の銃器検出アルゴリズムが一般性を持つようになる。
【００２８】
ステップＳ３２０では、画像を前処理する。例えば、各種類の小型物品を走査する走査装置に適用するために、画像を取得するとき、画像を正規化することができる。具体的には、オリジナルの２次元画像信号をＸとし、走査装置の物理的パラメータに従って、Ｘの解像度を５ｍｍ／画素にスケーリングして、階調伸張処理を行うと、正規化された画像Ｘｂａｒを取得することができる。
【００２９】
ステップＳ３３０では、注目領域（ＲＯＩ、Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）を抽出する。例えば、Ｘｂａｒにおける空気部分を検出して検出過程から除外する。すると、演算の速度を向上すると共に、空気によって誤判断が発生することを避けることができる。例えば、Ｘｂａｒのヒストグラムを統計し、ヒストグラムで最も明るいピークａを演算し、それを中心とする空気正規分布(ａ,σａ)をフィッティングした場合、閾値を  ｔａ=ａ-３*σａに設定する。において、ｔａよりも大きい画素は空気であると認定され、それに対しては検出演算を行わない。このように、走査して得られた階調画像において、銃器を単位として、手作業で銃器の位置を標記し、銃器の位置する座標(ｘ,ｙ,ｗ,ｈ)を提供することができる。ただし、xとyは、銃器に外接する矩形枠の左下頂点の座標であり、ｗは幅であり、ｈは高さである。
【００３０】
本開示の実施例は、サンプルを増加する方法をさらに含む。図４Ａは、本開示の実施例による銃器を示す元の図である。図４Ｂは、本開示の実施例による銃器サンプルの画像数を増加することを示す模式図である。例えば、銃器のサンプルが取得しにくいという特徴に対して、禁制品の検出で、サンプルを追加する技術を用いる。サンプルを追加する技術とは、図４Ｂに示すように、履歴画像において銃器の部分を切り出し、切り出された銃器の画像を、ランダムディザリング処理を介して銃器を含まない車両・コンテナ画像に挿入し、銃器を含む訓練サンプルとして偽装される。ランダムディザリング処理とは、一連の画像処理であって、画像の回転、画像のアフィン変換、画像へのノイズ追加、画像の階調変化、画像のスケール変化の少なくとも１つを含むが、これらに限定されるものではない。
【００３１】
本開示の実施例による深層学習網は、特徴抽出と分類器設計を一体化しており、多層に割り当てられた教師あり学習の機械学習モデルである。深層学習網は、局所感知、共有重み、空間的または時間的なプールサンプリングを組み合わせ、データ自身に含まれる特徴を十分に利用して、網構造を最適化することによって、画像特徴を抽出すると共に分類を行うことができる網を取得する。このように、多くの訓練サンプルを用い、かつ、上記したサンプルを追加する技術を採用するため、ある程度の変位と変形のアルゴリズムが無効にならないように保証することができ、アルゴリズムの一般性がより高くなる。
【００３２】
図５は、本開示の実施例による銃器を検出するネットワークモデルを構築する過程を示す模式図である。
【００３３】
図５に示すように、ステップＳ５１０では、銃器サンプルの透過画像を構築する。その後、ステップＳ５２０では、畳み込み神経回路網を初期化して、初期検出網を取得する。ステップＳ５３０では、サンプルの透過画像を用いて初期検出網を訓練することで、銃器検出の神経回路網を取得する。コンピュータビジョンの分野において、神経回路網は複数の種類があるが、本開示の実施例は、畳み込み神経回路網（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ，ＣＮＮ）を例に説明する。畳み込み神経回路網の学習は、計算出力（順方向伝播）とパラメータ調整（逆方向伝播）の２つの部分を含む。サンプルの画像を学習することによって、即ち、多層の畳み込み、励起関数、プールサンプリング、完全接続および誤差計算によって、網を取得し、現在のサンプルの画像での当該網の予測誤差が最小であることを保証する。即ち、当該モデルが最良のモデルであると考える。
【００３４】
図６は、本開示の実施例による銃器を検出する過程を示す模式図である。図６に示すように、ステップＳ６１０では、図１に示す検査システムによって被検体に対してＸ線検査を行い、透過画像を取得する。例えば、当該ステップは、画像に対する前処理を含んでもよい。例えば、画像の空白領域などの検出対象と関係のない領域を除去する。そして、階調の正規化やノイズの除去などの通常の画像処理のステップを行う。図７Ａは、本開示の実施例で得られたＸ線透過画像を示す模式図である。
【００３５】
その後、ステップＳ６２０では、訓練された銃器検出神経回路網を用いて、前記透過画像における複数の候補領域を特定する。得られた銃器前処理の画像は神経回路網に入力される。神経回路網が検出を行う過程は、実際にモデルの訓練と一部の過程を共有し、検出の過程で誤差を逆伝播する必要がない。入力された画像に基づいて候補領域を作成する。図７Ｂは、本開示の実施例による候補領域を示す模式図である。
【００３６】
ステップＳ６３０では、前記銃器検出神経回路網を用いて、前記複数の候補領域を分類することによって、前記透過画像に銃器が含まれているか否かを特定する。図７Ｃは、本開示の実施例による候補領域を神経回路網に入力して特徴の抽出および分類を行う過程を示す。例えば、候補領域に対して銃器の分類を行い、当該領域における銃器の信頼度が所定の閾値よりも大きい場合、当該領域に銃器が存在すると認定すると共に、矩形枠でラベリングを行う。図７Ｄは、本開示の実施例による検査結果を示す模式図である。
【００３７】
図８は、本開示の実施例による銃器検出モデルをオンラインで更新する過程を示すフローチャートである。図８に示すように、本開示の実施例は、モデルをオンラインで更新する方法をさらに含む。例えば、以上のように訓練された神経回路網は、サンプルを継続的に学習することにより、より高い一般性を持つようになり、様々な環境での禁制品検出に対応することができる。例えば、銃器を含む新しいサンプルの画像を取得した場合、サンプルの画像をサンプルデータベース８１０に入力する。そして、銃器検出ネットワークは、モデルデータベースからデータを読み出し、検出ネットワークを初期化する。その後、銃器検出ネットワーク８３０は、当該サンプルの画像の内容を学習し、反復の最適化を通じてネットワークのパラメータを更新することで新モデル８４０を取得し、モデルデータベース８２０に格納することができる。ここで、サンプルとは、人工的に標記された対象を含む画像である。このように、サンプルデータに対する教師あり学習によって、最適なネットワークのパラメータを取得することができる。
【００３８】
このように、上記した実施例によれば、車両及び／又はコンテナに収納された銃器、ナイフ等の危険品の画像に対するインテリジェントな検出を支援することができる。深層学習アルゴリズムによって、放射線画像に疑似銃器があるか否かを自動的に検出する。また、画像における銃器の位置を提供することもできる。これにより、人工的判断を支援して銃器を違法的に所持しているか否かを判断することができる。放射線画像から疑似銃器が自動的に識別されると、警告信号を発生し、保安検査者が再度の識別を行うようにし、作業負荷を大幅に削減できると共に、２４時間の監視を行うこともできる。
【００３９】
以上の詳細記載は、模式図、フローチャット及び／又は例示によって、検査機器および銃器を検出する方法に係る複数の実施例を説明した。このような模式図、フローチャット及び／又は例示が、一つ又は複数の機能及び／又は操作を含む場合、当業者は、このような模式図、フローチャット又は例示における各機能及び／又は操作が、色々なハードウェア、ソフトウェア、ファームウェア又は実質上のこれらの任意の組み合わせによって、個別及び／又は共同で実現可能であることを理解できるだろう。一つの実施例において、本発明の実施例の前記主題のいくつかの部品は、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、ＤＳＰ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、またはその他の集積フォーマットで実現できる。当業者は、ここで開示された実施例の一方が、全体または部分的に集積回路で等価的に実現されてもよいことを理解できるだろう。例えば、一つ又は複数のコンピュータで実行される一つ又は複数のコンピュータプログラム（例えば、一つ又は複数のコンピュータシステムによって実行される一つ又は複数のプログラム）によって実現されてもよく、一つ又は複数のプロセッサで実行される一つ又は複数のプログラム（例えば、一つ又は複数のマイクロプロセッサで実行される一つ又は複数のプログラム）によって実現されてもよく、ファームウェアによって実現されてもよく、又は、実質上に上記形態のいずれの組み合わせによって実現されてもよい。また、当業者は、本開示を元に、回路の設計及び／又はソフトウェアの書き込み及び／又はファームウェアのコーディングの能力を備えることになろう。また、当業者は、本開示のメカニズムは、複数の形態のプログラム製品として発行されてもよく、発行を支持する信号担体媒体の具体的な類型が何になっても、本開示の例示的な実施例は依然として適用可能であることを理解できるだろう。信号担体媒体の例示として、例えば、ソフトディスク、ハートディスクドライバ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリ等の記録可能な記録媒体や、デジタル及び／又はアナログ通信媒体（例えば、光ファイバ、導波管、有線通信リング、無線通信リング等）の搬送媒体を含むが、これらに限定されない。
【００４０】
以上、本発明の典型的な実施例に基づいて本発明を説明したが、当業者は、使用された用語が、説明および例示のためであり、本発明を限定するものではないことを理解すべきである。また、本発明は、精神又は主旨を逸脱しない限り、色々な形態で具体的に実施できるため、上記した実施例は、前述の詳細に限らず、特許請求の範囲内で広く解釈すべきである。特許請求の範囲または等価範囲内での全ての変更や改進は、特許請求の範囲に含まれる。
【図１】
2018112550.tif 000003
【図２】
2018112550.tif 000004
【図３】
2018112550.tif 000005
【図４Ａ】
2018112550.tif 000006
【図４Ｂ】
2018112550.tif 000007
【図５】
2018112550.tif 000008
【図６】
2018112550.tif 000009
【図７Ａ】
2018112550.tif 000010
【図７Ｂ】
2018112550.tif 000011
【図７Ｃ】
2018112550.tif 000012
【図７Ｄ】
2018112550.tif 000013
【図８】
2018112550.tif 000014