(57)【要約】【課題】本発明は、物品検出方法及び装置を提供する。【解決手段】該方法は、訓練データを取得し；訓練データを用いて畳み込みニューラルネットワークに対して訓練を行い；検出待ち物品のテストデータを取得し、該テストデータは少なくとも１つのレーダーがテストエコー信号に基づいて取得したマイクロドップラー画像を含み；及び、該テストデータに対して処理を行い、処理後の画像を訓練後の畳み込みニューラルネットワークに入力し、該検出待ち物品の検出結果を確定することを含む。【選択図】図１６
2020198094.tif 000002
【特許請求の範囲】
【請求項１】
物品を検出する装置であって、
訓練データを取得する訓練データ取得ユニットであって、前記訓練データはオリジナル訓練データ及び強化訓練データを含み、各訓練データには危険又は安全という内容のラベルが付けられている訓練データ取得ユニット；
前記訓練データを畳み込みニューラルネットワークの入力とし、前記訓練データに対応するラベルを前記畳み込みニューラルネットワークの出力とし、所定のアルゴリズムにより、前記畳み込みニューラルネットワークに対して訓練を行い、訓練後の畳み込みニューラルネットワークを取得する訓練ユニット；
検出待ち物品のテストデータを取得するテストデータ取得ユニットであって、前記テストデータは少なくとも１つのレーダーがテストエコー信号に基づいて取得したマイクロドップラー画像を含み、前記テストエコー信号は前記少なくとも１つのレーダーの送信した信号が前記検出待ち物品により反射された後の信号であるテストデータ取得ユニット；及び
前記テストデータに含まれる前記少なくとも１つのレーダーのマイクロドップラー画像に対して処理を行い、処理後の画像を訓練後の畳み込みニューラルネットワークに入力し、前記検出待ち物品の検出結果を確定する処理ユニットを含み、
前記訓練データ取得ユニットは、
前記少なくとも１つのレーダーが訓練エコー信号に基づいて取得したマイクロドップラー画像に基づいて、前記オリジナル訓練データを生成するオリジナル訓練データ生成ユニットであって、前記訓練エコー信号は前記少なくとも１つのレーダーの送信した信号が既知物品により反射された後の信号であるオリジナル訓練データ生成ユニット；及び
取得された各マイクロドップラー画像内の所定数のフレームに対して位置及び／又は数量の変換を行い、及び／又は、１回又は複数回の取得により得られた各レーダーについての複数のマイクロドップラー画像の間で所定数のフレームの交換を行い、及び／又は、取得された各レーダーについての複数のマイクロドップラー画像に対して第一順序に従って併合を行い、前記強化訓練データを取得する強化訓練データ取得ユニットを含む、装置。
【請求項２】
請求項1に記載の装置であって、
前記少なくとも１つのレーダーの数が1よりも大きいときに、
前記オリジナル訓練データ生成ユニットは、複数回のうち、毎回、取得された少なくとも２つのレーダーに対応するマイクロドップラー画像に対して第二順序に従って併合を行い、併合により得られた１つの画像を１つのオリジナル訓練データとすることで、複数のオリジナル訓練データを取得し；及び／又は
前記強化訓練データ取得ユニットは、第一強化訓練データ取得ユニットを含み、前記第一強化訓練データ取得ユニットは、毎回、取得された少なくとも２つのレーダーに対応するマイクロドップラー画像に対して前記第一順序に従って併合を行い、併合により得られた１つの画像を１つの強化訓練データとすることで、複数の強化訓練データを取得する、装置。
【請求項３】
請求項1又は2に記載の装置であって、
前記強化訓練データ取得ユニットは、第二強化訓練データ取得ユニットをさらに含み、前記第二強化訓練データ取得ユニットは、或る回で取得されたオリジナル訓練データ及び／又は強化訓練データについて、他の回で取得された１つのレーダーについての第二マイクロドップラー画像により、前記オリジナル訓練データ及び／又は強化訓練データにおける前記１つのレーダー又は他のレーダーについての第一マイクロドップラー画像を置換する、装置。
【請求項４】
請求項1又は2に記載の装置であって、
前記強化訓練データ取得ユニットは、第三強化訓練データ取得ユニットをさらに含み、前記第三強化訓練データ取得ユニットは、１つ又は少なくとも２つのレーダーについてのマイクロドップラー画像中の所定数のフレームの位置を所定ルールに従って交換する、装置。
【請求項５】
請求項4に記載の装置であって、
前記第三強化訓練データ取得ユニットは、さらに、第二閾値以上の信号強度値の所在する、位置の交換を行うフレームに対応する径方向速度を、該フレームと交換する対象フレームに対応する径方向速度と一致するように修正する、装置。
【請求項６】
請求項1又は2に記載の装置であって、
前記強化訓練データ取得ユニットは、第四強化訓練データ取得ユニットをさらに含み、前記第四強化訓練データ取得ユニットは、１つ又は少なくとも２つのレーダーについての第一マイクロドップラー画像中の所定数のフレームを選択し、選択した所定数のフレームをその所在する第一マイクロドップラー画像から除去し、前記所定数のフレームに対応する信号強度値が第三閾値以下であり、或いは、選択した所定数のフレームをその所在する第一マイクロドップラー画像に重複插入し、前記所定数のフレームに対応する信号強度値が第四閾値以上である、装置。
【請求項７】
請求項6に記載の装置であって、
前記第四強化訓練データ取得ユニットは、さらに、フレーム除去又は插入後の第一マイクロドップラー画像中の各フレームに対応する径方向速度に対して修正を行い、フレーム除去時に、径方向速度を増加させ、フレーム插入時に、径方向速度を減少させる、装置。
【請求項８】
請求項1に記載の装置であって、
前記訓練データ取得ユニットは、前記オリジナル訓練データ及び前記強化訓練データに対してトリミングを行い、前記訓練データ中の反射強度が弱い連続領域を除去する第一トリミングユニットをさらに含み；又は
前記訓練データ取得ユニットは、訓練データ画像のサイズを所定サイズに調整する第一調整ユニットをさらに含む、装置。
【請求項９】
請求項1に記載の装置であって、
前記少なくとも１つのレーダーの数が1よりも大きいときに、
前記処理ユニットは、
前記テストデータに含まれる少なくとも２つのレーダーのマイクロドップラー画像を併合して１つの画像とする第一併合ユニット；及び
前記１つの画像に対してトリミングを行い、前記１つの画像中の反射強度が弱い連続領域を除去する第二トリミングユニットを含む、装置。
【請求項１０】
物品を検出する方法であって、
訓練データを取得し、前記訓練データはオリジナル訓練データ及び強化訓練データを含み、各訓練データには危険又は安全という内容のラベルが付けられており；
前記訓練データを畳み込みニューラルネットワークの入力とし、前記訓練データに対応するラベルを前記畳み込みニューラルネットワークの出力とし、所定のアルゴリズムにより、前記畳み込みニューラルネットワークに対して訓練を行い、訓練後の畳み込みニューラルネットワークを取得し；
検出待ち物品のテストデータを取得し、前記テストデータは少なくとも１つのレーダーがテストエコー信号に基づいて取得したマイクロドップラー画像を含み、前記テストエコー信号は前記少なくとも１つのレーダーの送信した信号が前記検出待ち物品により反射された後の信号であり；及び
前記テストデータに含まれる前記少なくとも１つのレーダーのマイクロドップラー画像に対して処理を行い、処理後の画像を訓練後の前記畳み込みニューラルネットワークに入力し、前記検出待ち物品の検出結果を確定することを含み、
前記訓練データを取得することは、
前記少なくとも１つのレーダーが訓練エコー信号に基づいて取得したマイクロドップラー画像に基づいて、前記オリジナル訓練データを生成し、前記訓練エコー信号は前記少なくとも１つのレーダーの送信した信号が既知物品により反射された後の信号であり；及び
取得された各マイクロドップラー画像内の所定数のフレームに対して位置及び／又は数量の変換を行い、及び／又は、１回又は複数回の取得により得られた各レーダーについての複数のマイクロドップラー画像の間で所定数のフレームの交換を行い、及び／又は、取得された各レーダーについての複数のマイクロドップラー画像に対して第一順序に従って併合を行い、前記強化訓練データを取得することを含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信技術分野に関し、特に、物品検出方法及び装置に関する。
【背景技術】
【０００２】
近年、公共の場所における安全の問題が重要視されている。例えば、規制対象品、可燃物、爆発物などの危険物をどのように検出するかが重要な問題になっている。今のところ、危険物に対しての検出装置が例えば、空港、駅、地下鉄駅、スタジアムなどの混雑した場所で広く用いられている。危険物検出装置は、接触型と非接触型の２種類に分けることができる。接触型検出装置は、不審な物（例えば、液体入りボトル）を検出装置に置いてから検出を行う必要があり、非接触型検出装置は、不審な物が検出装置までの所定範囲内に移動すると、検出を起動して不審な物が危険物に属するかを認識することができる。
【０００３】
今のところ、非接触型検出装置について言えば、よくある検出方法の１つがX線検出方法であるが、このような方法は、通常、コストが高く、長時間使用すると、作業員の健康に悪影響を与えることもある。また、異なる物品の材質が異なるため、その反射特性に違いがあり、このような違いも、物品の検出のために用いることができ、即ち、レーダーを設けて検出待ち物品に信号を送信し、検出待ち物品からのエコー信号を用いて分析を行うことで得られた強度、径方向速度などの情報により検出を行うことができる。また、検出の正確性を向上させるために、さらに、複数のレーダーを設置し、複数のレーダーが受信したエコー信号に基づいて分析を行うことで得られた強度、径方向速度などの情報により検出を行うこともできる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、ディープラーニングがさまざまな分野で研究のホットスポットになっている。レーダーの分野では、同様に、ディープラーニングアルゴリズムにより、信号に対してその対応する情報処理を行うこともできる。従来の方法に比べ、ディープラーニングアルゴリズムは、深層特徴を自動抽出することができ、高い正確率を取得することができるなどの利点を有するが、訓練データが足りない場合、オーバーフィットの問題が存在する。
【０００５】
上述の問題を解決するために、本発明の実施例は、物品検出方法及び装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の実施例の第一側面によれば、物品を検出する装置が提供され、前記装置は、
訓練データを得るための訓練データ取得ユニットであって、前記訓練データはオリジナル訓練データ及び強化訓練データを含み、各訓練データには危険又は安全という内容のラベルが付けられているもの；
訓練ユニットであって、前記訓練データを畳み込みニューラルネットワークの入力とし、それに対応するラベルを前記畳み込みニューラルネットワークの出力とし、所定のアルゴリズムにより、前記畳み込みニューラルネットワークに対して訓練を行い、訓練後の畳み込みニューラルネットワークを取得するもの；
検出待ち物品のテストデータを取得するためのテストデータ取得ユニットであって、前記テストデータは少なくとも１つのレーダーがテストエコー信号に基づいて取得するマイクロドップラー画像を含み、前記テストエコー信号はレーダーの送信する信号が検出待ち物品により反射された後の信号であるもの；及び
処理ユニットであって、前記テストデータに含まれる前記少なくとも１つのレーダーのマイクロドップラー画像に対して処理を行い、処理後の画像を訓練後の前記畳み込みニューラルネットワークに入力し、前記検出待ち物品の検出結果を確定するものを含み、
前記訓練データ取得ユニットは、
オリジナル訓練データ生成ユニットであって、前記少なくとも１つのレーダーが訓練エコー信号に基づいて取得するマイクロドップラー画像に基づいて前記オリジナル訓練データを生成し、前記訓練エコー信号は前記レーダーの送信する信号が既知物品により反射された後の信号であるもの；及び
強化訓練データ取得ユニットであって、取得された各マイクロドップラー画像における所定数のフレームに対して位置及び／又は数量の変換を行い、及び／又は、１回又は複数回の取得により得られた各レーダーについての複数のマイクロドップラー画像の間で所定数のフレームの交換を行い、及び／又は、取得された各レーダーについての複数のマイクロドップラー画像を第一順序に従って併合を行うことで、前記強化訓練データを取得するものを含む。
【０００７】
本発明の実施例の第二側面によれば、物品を検出する方法が提供され、前記方法は、
訓練データを取得し、前記訓練データはオリジナル訓練データ及び強化訓練データを含み、各訓練データには危険又は安全という内容のラベルが付けられており；
前記訓練データを畳み込みニューラルネットワークの入力とし、それに対応するラベルを前記畳み込みニューラルネットワークの出力とし、所定のアルゴリズムにより、前記畳み込みニューラルネットワークに対して訓練を行い、訓練後の畳み込みニューラルネットワークを取得し；
検出待ち物品のテストデータを取得し、前記テストデータは少なくとも１つのレーダーがテストエコー信号に基づいて取得するマイクロドップラー画像を含み、前記テストエコー信号はレーダーの送信する信号が検出待ち物品により反射された後の信号であり；及び
前記テストデータに含まれる前記少なくとも１つのレーダーのマイクロドップラー画像に対して処理を行い、処理後の画像を訓練後の前記畳み込みニューラルネットワークに入力し、前記検出待ち物品の検出結果を確定することを含み、
訓練データを取得することは、
前記少なくとも１つのレーダーが訓練エコー信号に基づいて取得するマイクロドップラー画像に基づいて前記オリジナル訓練データを生成し、前記訓練エコー信号は前記レーダーの送信する信号が既知物品により反射された後の信号であり；及び
取得された各マイクロドップラー画像における所定数のフレームに対して位置及び／又は数量の変換を行い、及び／又は、１回又は複数回の取得により得られた各レーダーについての複数のマイクロドップラー画像の間で所定数のフレームの交換を行い、及び／又は、取得された各レーダーについての複数のマイクロドップラー画像を第一順序に従って併合を行うことで、前記強化訓練データを得ることを含む。
【０００８】
本発明の実施例の有益な効果は、次の通りであり、即ち、１つ又は複数のレーダーが訓練エコー信号に基づいて取得したマイクロドップラー画像に対してフレームの位置又は数量の変換を行い、或いは、複数の種類の順序に従って併合を行い、訓練データの強化を実現することにより、ディープラーニングにおけるオーバーフィットの問題を解決することができることにある。
【図面の簡単な説明】
【０００９】
【図１】実施例1における物品検出装置を示す図である。
【図２】マイクロ波センサーの送信信号を示す図である。
【図３】実施例1における検出待ち物品のスイングを示す図である。
【図４】実施例1におけるマイクロドップラースペクトルを示す図である。
【図５】実施例1における強化ユニットの構成を示す図である。
【図６】実施例1における強化訓練データを示す図である。
【図７】実施例1における強化訓練データを示す図である。
【図８】実施例1における強化訓練データを示す図である。
【図９】実施例1における強化訓練データを示す図である。
【図１０】実施例1における強化訓練データを示す図である。
【図１１】実施例1における強化訓練データを示す図である。
【図１２】実施例1における画像のトリミングを示す図である。
【図１３】実施例1における画像サイズの調整を示す図である。
【図１４】実施例1における処理ユニットの構成を示す図である。
【図１５】実施例2における物品検出装置のハードウェア構成を示す図である。
【図１６】実施例3における物品検出方法のフローチャートである。
【図１７】実施例3における物品の検出を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
【００１１】
なお、当業者が本発明の原理及び実施形態を容易に理解し得るために、本発明の実施例では、マイクロ波レーダーを例として説明を行うが、本発明の実施例は、マイクロ波レーダーに限られない。
【実施例１】
【００１２】
実施例1は、物品検出装置を提供する。図1は、該物品検出装置の構成図である。図1に示すように、物品検出装置100は、以下のものを含む。
【００１３】
訓練データ取得ユニット101：訓練データを取得し、該訓練データは、オリジナル訓練データ及び強化訓練データを含み、各訓練データには、危険又は安全という内容のラベルが付けられており；
訓練ユニット102：該訓練データを畳み込みニューラルネットワークの入力とし、それに対応するラベルを該畳み込みニューラルネットワークの出力とし、所定のアルゴリズムにより、該畳み込みニューラルネットワークに対して訓練を行い、訓練後の畳み込みニューラルネットワークを取得し；
テストデータ取得ユニット103：検出待ち物品のテストデータを取得し、該テストデータは、少なくとも１つのレーダーがテストエコー信号に基づいて取得したマイクロドップラー画像を含み、該テストエコー信号は、レーダーの送信信号が検出待ち物品により反射された後の信号であり；
処理ユニット104：該テストデータに含まれる該少なくとも１つのレーダーのマイクロドップラー画像に対して処理を行い、処理後の画像を訓練後の畳み込みニューラルネットワークに入力し、該検出待ち物品の検出結果を確定する。
【００１４】
そのうち、該訓練データ取得ユニット101は、以下のものを含む。
【００１５】
オリジナル訓練データ生成ユニット（オリジナユニットルと略称する）1011：少なくとも１つのレーダーが訓練エコー信号に基づいて取得したマイクロドップラー画像に基づいて、該オリジナル訓練データを生成し、該訓練エコー信号は、該レーダーの送信信号が既知物品により反射された後の信号であり；
強化訓練データ取得ユニット（強化ユニットと略称する）1012：取得された各マイクロドップラー画像における所定数のフレームに対して位置及び／又は数量の変換を行い、及び／又は、１回又は複数回の取得により得られた各レーダーについての複数のマイクロドップラー画像の間で所定数のフレームの交換を行い、及び／又は、取得された各レーダーについての複数のマイクロドップラー画像に対して第一順序に従って併合を行うことで、該強化訓練データを取得する。
【００１６】
本実施例における上述の装置により、１つ又は複数のレーダーが訓練エコー信号に基づいて取得したマイクロドップラー画像に対してフレームの位置又は数量の変換を行い、或いは、複数の種類の順序に従って併合を行い、訓練データの強化を実現することにより、ディープラーニングにおけるオーバーフィットの問題を解決することができる。
【００１７】
本実施例では、レーダーは、送信アンテナにより電磁波を送信し、そして、電磁波が異なる物体により反射された後のエコー信号を受信する。例えば、レーダーは、24.05GHz〜24.25GHzでワーキングするマイクロ波レーダーであっても良く、それは、検出待ち物品にマイクロ波（例えば、ミリ波）信号、例えば、周波数変調連続波（Frequency-modulated  Continuous  Wave、FMCW）を送信することができるが、本実施例は、これに限定されず、例えば、該レーダーは、Kaバンドの27GHz〜40GHzでワーキングするマイクロ波装置であっても良いが、ここでは、網羅的な列挙を省略する。
【００１８】
例えば、レーダーがFMCW（Frequency-modulated  Continuous  Wave）方式でワーキングするマイクロ波センサーであるときに、図2は、該FMCW方式でワーキングするときの送信信号を示す図であり、該FMCW信号は、鋸歯状であり、図2に示すように、Bは、送信信号の周波数の１つの周期内の変化量（周波数変調帯域幅）を示し、周波数は、１つの周期内で線形に変化し、最小の周波数がf0であり、最大の周波数がfTであり、Tは、周期の長さを示す。以下、説明の便宜のため、１つの周期を１つのchirpと言い、第二所定数のchirpを１つのフレーム（frame）と言う。
【００１９】
本実施例では、レーダーの距離分解能dresが送信信号の周波数変調帯域幅B及び光速cによって確定されても良く、即ち、dres=c／2Bであり、対応する速度分解能がvres=λ／2Tfであり、Tfは、１つのフレームの時間長さを表し、mTに等しい。なお、上述の説明は、例示に過ぎず、本実施例は、これに限られない。
【００２０】
本実施例では、検出待ち物品が移動体（例えば、ヒト）によって運ばれ、該移動体は、所定軸に対してスイングし（ヒトの歩行プロセスも人体の中心軸に沿って左右往復でスイングすることである）、該移動体は、該軸の両側で径方向に沿って方向が相反する運動速度を生成し、該径方向とは、移動体がレーダーに向かう方向を指す。図3は、該移動体のスイングを示す図である。図3に示すように、移動体が所定軸に対してスイングし、スイングするときに、該移動体は、該軸の両側でそれぞれC軸及び方向がC軸の径方向と相反するD軸に沿って運動し、該スイングは、複数回の往復運動であっても良いが、本実施例は、これに限られない。
【００２１】
本実施例では、該移動体、例えば、ヒトが、該軸の両側で径方向に沿って方向が相反する運動速度を生成する他に、全体としてレーダーに向かう径方向移動速度を生成することもできる。該径方向移動速度は、ヒトの歩行速度と同じである。以下、説明の便宜のため、径方向運動速度とは、ヒトを参照物とする運動速度を指す。
【００２２】
マイクロドップラー効果が、物体及びそれによる微動によって引き起こされる物理現象であり、レーダーのエコー信号からターゲット微動特徴を反映するマイクロドップラー画像を抽出することができる。具体的には、レーダーが、移動体の反射によるエコー信号を受信し、該エコー信号と送信信号との間に周波数差があり、該周波数差がレーダーと該移動体との間の距離に正比例し、該送信信号及び反射信号に対して処理を行い、ベースバンド信号を取得し、そのうち、移動体がレーダーに対して径方向に沿って方向が相反する運動速度を有するときに、該ベースバンド信号の周波数が変化し、変化する周波数に径方向運動速度及び移動体とレーダーとの間の距離情報が含まれ、そして、2次元フーリエ変換（2D-FFT）を行うことで、上述のマイクロドップラー画像を得ることができる。
【００２３】
本実施例では、送信信号及びエコー信号に対して周波数混合サンプリングを行うことで、第一所定数即ちn個のベースバンド信号行列を得ることができる。送信信号は、周期信号であり、１つのベースバンド信号行列の行数は、第二所定数mに等しく、各行は、１つの周期のサンプリングポイントのベースバンド信号値を表し、該ベースバンド信号行列の列数は、第三所定数kに等しく、該第三所定数kは、ベースバンド信号の１つの周期内のサンプリングポイントの数である。各ベースバンド信号行列に対して2次元フーリエ変換を行い、第二信号行列を取得し、該第二信号行列における各要素の値は、信号強度を表す。各第二信号行列（各第二信号行列が１フレームframeに対応する）について、k列のうちから１列（例えば、信号強度値が最大である要素の所在する列であるが、本実施例は、これに限定されない）を選択し、そして、n個の第二信号行列から選択されたn列に対して併合を行い、特徴行列を取得する。該特徴行列における各要素の値は、信号強度を表する。そして、該特徴行列を変換することでマイクロドップラー画像を取得することができる。
【００２４】
１つのベースバンド信号行列は、以下の通りである。
（外１）
2020198094.tif 000003
【００２５】
１つの第二信号行列は、以下の通りである。
（外２）
2020198094.tif 000004
【００２６】
特徴行列は、以下の通りである。
（外３）
2020198094.tif 000005
【００２７】
図4は、変換により得られたマイクロドップラー画像を示す図である。図4に示すように、横座標は、特徴行列の各列のフレーム番号frame  1、frame  2、…、frame  nにそれぞれ対応するフレーム番号を示し、縦座標は、１つのフレームに対応する速度値を示し、そのうち、該速度値は、特徴行列の各行のνres、…、m×νresに基づいて1対1のマッピング変換を行うことにより得られたものであり、また、各横、縦座標により確定される座標点のグレースケールは、該信号の信号強度値、即ち、特徴行列における信号強度値を表す。なお、該縦座標における速度値は、相対参照値に過ぎず、また、該1対1のマッピングの方法は、従来技術を参照することができ、ここでは、その詳しい説明を省略する。
【００２８】
本実施例では、少なくとも１つ（p個であり、p≧1）のレーダーが設置されているため、訓練データ取得時に、各レーダーは、全て、上述の方法に従ってそれに対応するマイクロドップラー画像を得ることができる。よって、p個のマイクロドップラー画像を取得することができる。以下、如何にp個のマイクロドップラー画像に対して処理を行って訓練データを得るかについて説明する。
【００２９】
本実施例では、該訓練データ取得ユニット101は、少なくとも１つのレーダーが訓練エコー信号に基づいて取得したマイクロドップラー画像に基づいて、複数の訓練データを生成する。各訓練データには、危険又は安全という内容のラベルが付けられている。そのうち、該訓練エコー信号は、レーダーの送信信号が既知物品により反射された後の信号である。
【００３０】
本実施例では、該訓練データは、オリジナル訓練データ及び強化訓練データを含む。以下、如何にオリジナル訓練データ及び強化訓練データを取得するかについて説明する。
【００３１】
本実施例では、１つの既知物品について、レーダーの数pが1であるときに、オリジナル訓練データ生成ユニット1011は、該１つのレーダーが毎回、訓練エコー信号に基づいて取得した１つのマイクロドップラー画像を１つのオリジナル訓練データとする。レーダーの数pが1よりも大きいときに、オリジナル訓練データ生成ユニット1011は、毎回、p個のレーダーが取得したp個のマイクロドップラー画像に対して第二順序に従って併合を行い、併合により得られた１つの画像を１つのオリジナル訓練データとする。そして、既知物品の類別（危険又は安全）に基づいて、該オリジナル訓練データにラベルを付ける。また、オリジナル訓練データ生成ユニット1011は、１つの既知物品について複数回の検出を行うことで、該既知物品についての複数のオリジナル訓練データを得ても良く、さらに、複数の異なる既知物品に対して上述の処理を行うことで、複数の既知物品についての複数のオリジナル訓練データを取得することもできる。
【００３２】
本実施例では、訓練データが足りないことによるオーバーフィットの問題を避けるために、該強化訓練データ取得ユニット1012は、１つ又は複数のレーダーが訓練エコー信号に基づいて取得したマイクロドップラー画像に対して、フレームの位置又は数量の変換を行い、或いは、複数の種類の順序に従って併合を行うことで、複数の強化訓練データを取得することができる。図5は、該強化訓練データ取得ユニット1012の構成図である。以下、図5に基づいて、該強化訓練データ取得ユニット1012がデータの強化を行う実施方式について説明する。
【００３３】
１つの実施方式では、併合の順序を変換する方法でデータの強化を行うことができる。レーダー数pが1よりも大きいときに、該強化訓練データ取得ユニット1012は、第一強化訓練データ取得ユニット（第一強化ユニットと略称する）501を含み、該第一強化訓練データ取得ユニット501は、毎回取得した少なくとも２つのレーダーに対応するマイクロドップラー画像に対して第二順序とは異なる第一順序に従って併合を行い、そして、毎回の併合により得られた１つの画像を１つの強化訓練データとすることで、複数の強化訓練データを取得することができる。
【００３４】
なお、上述の画像の併合は、左右方向の併合であっても良く、上下方向の併合であっても良い。以下、左右方向の併合を例として説明を行うが、本実施例は、これに限定されない。
【００３５】
図6は、該第一強化訓練データ取得ユニット501が取得した強化訓練データを示す図である。図6に示すように、１つのオリジナル訓練データについて、２つのマイクロドップラー画像X、YをX+Yの順序に従って併合したものであり、データの強化を行うときに、Y+Xの順序に従って併合を行うことができる。なお、以上、p=2を例として説明したが、本実施例は、これに限定されず、例えば、１つのオリジナル訓練データについて、p=3即ち3つのマイクロドップラー画像X、Y、ZをX+Y+Zの順序に従って併合したものであり、データの強化を行うときに、3つのマイクロドップラー画像X、Y、ZをZ+Y+X、及び／又は、X+Z+Yなどの他の種類の順序に従って併合を行い、毎回の併合により得られた１つの画像を１つの強化訓練データとすることもできる。
【００３６】
１つの実施方式では、１回又は複数回取得した複数のマイクロドップラー画像における所定数のフレームを交換することでデータの強化を行うことができる。レーダーの数pが1以上であるときに、該強化訓練データ取得ユニット1012は、第二強化訓練データ取得ユニット（第二強化ユニットと略称する）502を含み、該第二強化訓練データ取得ユニット502は、１回取得したオリジナル訓練データ及び／又は強化訓練データについて、他の回で取得した１つのレーダーについての第二マイクロドップラー画像により、該オリジナル訓練データ及び／又は強化訓練データにおける該１つのレーダー又は他のレーダーについての第一マイクロドップラー画像を置換する。そのうち、pが1よりも大きいときに、置換後に、複数のマイクロドップラー画像を併合することで、強化訓練データを得る必要がある。
【００３７】
例えば、p=1のときに、第１回のテストに係る取得により、１つのマイクロドップラー画像Xをオリジナル訓練データとして取得し、第二回のテストに係る取得により得られたマイクロドップラー画像がX1であり、この場合、X1によりXを置換し、X1を強化訓練データとして取得することができる。
【００３８】
例えば、p=2のときに、第１回のテストに係る取得により、２つのマイクロドップラー画像X、Yを取得し、併合した後に、X+Y又はY+Xの訓練データを取得し、第二回のテストに係る取得により得られた２つのマイクロドップラー画像がX1、Y1であり、この場合、X1／Y1によりXを置換してYと併合することで、X1／Y1+Y及び／又はY+X1／Y1を強化訓練データとして取得することができ、或いは、X1／Y1によりYを置換してXと併合することで、X1／Y1+X及び／又はX+X1／Y1を強化訓練データとして取得するもできるが、本実施例は、これに限られない。
【００３９】
この実施方式では、レーダーの数が1よりも大きいときに、該第二マイクロドップラー画像に第一閾値以上の信号強度値が含まれないときに、該第二強化訓練データ取得ユニット502は、所定条件に基づいて該第一マイクロドップラー画像を選択し、該所定条件は、置換後のオリジナル訓練データ及び／又は強化訓練データに第一閾値以上の信号強度値が含まれることを満足するものあり、該第二マイクロドップラー画像に第一閾値以上の信号強度値が含まれるときに、該第二強化訓練データ取得ユニット502は、該第一マイクロドップラー画像をランダム選択しても良い。
【００４０】
例えば、X1／Y1によりX又はYを置換するかについては、次のようなルールに従って確定されても良く、即ち、X1／Y1に第一閾値以上の信号強度値が含まれるときに、該第一マイクロドップラー画像は、X及びYのいずれかであっても良く、X1／Y1に第一閾値以上の信号強度値が含まれないときに、置換後のオリジナル訓練データ及び／又は強化訓練データに第一閾値以上の信号強度値が含まれるということを満足する必要があり、例えば、Yに第一閾値以上の信号強度値が含まれず、Xに第一閾値以上の信号強度値が含まれる場合、X1／Y1によりYを置換し、これにより、併合後の画像に信号強度値が大きいという特徴が含まれるように保証することができ、これは、物体の検出に有利である。なお、上述の説明は、例示に過ぎず、例えば、該所定条件は、他の条件であっても良く、又は、該第一マイクロドップラー画像を任意選択しても良いが、本実施例は、これに限られない。
【００４１】
図7は、強化訓練データを示す図である。図7に示すように、X+Yについて、データの強化を行うときに、X1を用いてXを置換してYと併合しても良い。これにより、併合後の画像に信号強度値が大きいという特徴が含まれるように保証することができる。なお、以上、p=2を例として説明したが、本実施例は、これに限定されず、また、ここでは、網羅的な列挙を省略する。
【００４２】
１つの実施方式では、１つ又は複数のマイクロドップラー画像における所定数のフレームに対して位置の変換を行うことで、データの強化を行うことができる。レーダーの数pが1以上であるときに、該強化訓練データ取得ユニット1012は、第三強化訓練データ取得ユニット（第三強化ユニットと略称する）503を含み、該第三強化訓練データ取得ユニット503は、１つ又は少なくとも２つのレーダーについてのマイクロドップラー画像における所定数のフレームの位置を所定ルールに従って交換する。そのうち、pが1よりも大きい場合、交換後に、複数のマイクロドップラー画像を併合することで、強化訓練データを得る必要がある。
【００４３】
該実施方式では、１つのレーダーに対応するマイクロドップラー画像について、その中の所定数のフレームの位置を所定ルールに従って交換しても良い。例えば、p=1のときに、１回のテストに係る取得により、１つのマイクロドップラー画像Xを取得し、Xにおける所定数のフレームの位置を所定ルールに従って交換しても良く、例えば、Xにおける第iフレームと第jフレーム（所定数が2である）を交換しても良く、或いは、Xにおける全てのフレーム（所定数が全てのフレームである）に対して逆順又は他の順序に従って再び並べ替えることで、強化訓練データを取得しても良い。p=2のときに、１回のテストに係る取得により、２つのマイクロドップラー画像X、Yを取得し、Xにおける所定数のフレームの位置を所定ルールに従って交換しても良く、及び／又は、Yにおける所定数のフレームの位置を所定ルールに従って交換しても良く、例えば、X及び／又はYにおける第iフレームと第jフレーム（所定数が2である）を交換しても良く、或いは、X及び／又はYにおける全てのフレーム（所定数が全てのフレームである）に対して逆順又は他の順序に従って再び並べ替え、そして、フレーム位置交換後のマイクロドップラー画像X’及びYを用いて併合処理を行うことで、X+Y及び／又はY+Xを強化訓練データとして取得しても良い。
【００４４】
図8及び図9は、強化訓練データを示す図である。図8に示すように、p=2を例とし、X+Yについて、データの強化を行うときに、Xにおける全てのフレームを逆順に従って並べ替えた後にX’を取得し、そして、Yと併合する。図9に示すように、Xにおける第iフレームと第jフレームを交換した後に、Yと併合する。なお、１つのマイクロドップラー画像X又はYにおいて複数回の交換処理を行っても良いが、本実施例は、これに限られない。
【００４５】
或いは、該実施方式では、レーダーの数pが1よりも大きいときに、p個のレーダーに対応するマイクロドップラー画像における所定数のフレームの位置を所定ルールに従って交換しても良い。例えば、p=2のときに、１回のテストに係る取得により、２つのマイクロドップラー画像X、Yを取得し、Xにおける所定数のフレームの位置とYにおける所定数のフレームの位置を所定ルールに従って交換しても良く、例えば、Xにおける第iフレーム及び第i+1フレームとYにおける第jフレーム及び第j+1フレーム（所定数が2である）を交換し、そして、フレーム位置交換後のマイクロドップラー画像X及びYを用いて併合処理を行うことで、X+Y及び／又はY+Xを強化訓練データとして取得しても良い。
【００４６】
以上、p=1、2であり、所定数が2であり、及び所定数が全てのフレームであるケースを例として該第三強化訓練データ取得ユニット503について説明したが、本実施例は、これに限定されない。
【００４７】
本実施例では、該第三強化訓練データ取得ユニット503は、さらに、第二閾値以上の信号強度値の所在する、位置の交換を行うフレームに対応する径方向速度を、それと交換する対象フレームに対応する径方向速度と一致するように変更（修正）する。図9に示すように、交換を行う第iフレーム及び第jフレームについて、第iフレームの信号強度値が第二閾値以上であり、交換後に、第iフレームの径方向速度を、第jフレームと交換する前に対応する径方向速度と一致するように修正する必要がある。オプションとして、交換後の第jフレーム（信号強度値が第二閾値よりも小さい）に対して速度の修正を行っても良い。
【００４８】
１つの実施方式では、１つ又は複数のマイクロドップラー画像における所定数のフレームに対して数量の変換を行うことでデータの強化を行うことができる。レーダーの数pが1以上であるときに、該強化訓練データ取得ユニット1012は、第四強化訓練データ取得ユニット（第四強化ユニットと略称する）504を含み、該強化訓練データ取得ユニット1012は、１つ又は少なくとも２つのレーダーについての第一マイクロドップラー画像における所定数のフレームを選択し、選択した該所定数のフレームをその所在する第一マイクロドップラー画像から除去し、そのうち、該所定数のフレームに対応する信号強度値が第三閾値以下であり、或いは、選択した該所定数のフレームをその所在する第一マイクロドップラー画像に重複插入し、そのうち、該所定数のフレームに対応する信号強度値が第四閾値以上である。そのうち、pが1よりも大きいときに、数量変換後に、複数のマイクロドップラー画像を併合することで、強化訓練データを得る必要がある。
【００４９】
例えば、p=1のときに、１回のテストに係る取得により、１つのマイクロドップラー画像Xを取得し、Xから所定数のフレームを選択しても良く、該所定数のフレームに対応する信号強度値が第三閾値以下であり、例えば、第iフレーム及び第jフレームであり、第iフレーム及び第jフレームをXから除去し、強化訓練データを取得しても良い。p=2のときに、１回のテストに係る取得により、２つのマイクロドップラー画像X、Yを取得し、X及び／又はYから所定数のフレームを選択しても良く、該所定数のフレームに対応する信号強度値が第三閾値以下であり、例えば、第iフレーム及び第jフレームであり、第iフレーム及び第jフレームをXから除去し、そして、フレーム除去後のマイクロドップラー画像X及びYを用いて併合処理を行うことで、X+Y及び／又はY+Xを強化訓練データとして取得しても良い。
【００５０】
例えば、p=1のときに、１回のテストに係る取得により、１つのマイクロドップラー画像Xを取得し、Xから所定数のフレームを選択しても良く、該所定数のフレームに対応する信号強度値が第四閾値以上であり、例えば、第iフレーム及び第jフレームであり、第iフレーム及び第jフレームをXに重複插入し、例えば、元の第iフレームの後に第iフレームを插入し、元の第jフレームの後に第jフレームを插入することで、強化訓練データを取得しても良い。p=2のときに、１回のテストに係る取得により、２つのマイクロドップラー画像X、Yを取得し、X及び／又はYから所定数のフレームを選択しても良く、該所定数のフレームに対応する信号強度値が第四閾値以上であり、例えば、第iフレーム及び第jフレームであり、第iフレーム及び第jフレームをXに重複插入し、例えば、元の第iフレームの後に第iフレームを插入、元の第jフレームの後に第jフレームを插入し、そして、フレーム挿入後のマイクロドップラー画像X及びYを用いて併合処理を行うことで、X+Y及び／又はY+Xを強化訓練データとして取得しても良い。以上、p=1、2であり、所定数が2であることを例として該第四強化訓練データ取得ユニット504について説明したが、本実施例は、これに限定されない。
【００５１】
本実施例では、フレーム除去又は插入後に、該第一マイクロドップラー画像のフレーム数（時間に対応する）が変化しているから、径方向速度も変化している。よって、該第四強化訓練データ取得ユニット504は、さらに、フレーム除去又は插入後の第一マイクロドップラー画像における各フレームに対応する径方向速度を修正するために用いられ、そのうち、フレーム除去時に、径方向速度を増加させ（これは、時間が短くなるため、速度が増大するに相当する）、フレーム插入時に、径方向速度を減少させる（これは、時間が長くなるため、速度が減少するに相当する）。増加又は減少の比は、除去又は插入されたフレームの数と関連がある。図10及び図11は、強化訓練データ及び速度修正を示す図である。図10に示すように、フレーム重複插入後に、径方向速度を減少させる必要があり、図11に示すように、フレーム除去後に、径方向速度を増加させる必要がある。
【００５２】
本実施例では、上述の第一強化訓練データ取得ユニット501、第二強化訓練データ取得ユニット502、第三強化訓練データ取得ユニット503、及び第四強化訓練データ取得ユニット504は、単独で実施しても良く、そのうちの2つ、3つ、又は4つを組み合わせて実施しても良いが、本実施例は、これに限られない。
【００５３】
本実施例では、訓練速度を向上させるために、訓練データにおける無効な特徴を除去することができる。よって、該訓練データ取得ユニット101は、さらに、以下のものを含む。
【００５４】
第一トリミングユニット（オプションであり、図示せず）：オリジナル訓練データ及び強化訓練データに対してトリミングを行い、該訓練データにおける反射強度が弱い連続領域を除去し；又は
第一調整ユニット（オプションであり、図示せず）：訓練データ画像のサイズを所定サイズに調整する。
【００５５】
図12は、訓練データに対してのトリミングを示す図である。図12に示すように、径方向速度がv1よりも大きく且つv2よりも小さい領域に対応する信号反射強度が弱く、この部分の領域を併合後のマイクロドップラー画像からトリミングして除去し、径方向速度がv2以上及びv1以下の領域を残しても良く、例えば、オプションとして、フレーム数がN1よりも大きい領域に対応する信号反射強度が弱く、フレーム数がN1よりも大きい領域をトリミングして除去しても良いが、本実施例は、これに限られない。
【００５６】
図13は、訓練データに対してのサイズ調整を示す図である。図13に示すように、トリミングを行った後に、各訓練データに対応する画像のサイズが不一致になる可能性があり、該画像のサイズを所定サイズM×Mに調整しても良く、Mは、マイクロドップラー画像における毎行／毎列に含まれる画素の数である（ズームすることにより）。
【００５７】
本実施例では、訓練データ取得ユニット101が訓練データを得た後に、訓練ユニット102は、訓練集合の中の訓練データを畳み込みニューラルネットワークの入力とし、それに対応するラベルを該畳み込みニューラルネットワークの出力とし、所定のアルゴリズムにより、該畳み込みニューラルネットワークに対して訓練を行い、訓練後の畳み込みニューラルネットワークを取得する。具体的な訓練プロセスについては、従来技術を参照することができるため、ここでは、その詳しい説明を省略する。
【００５８】
本実施例では、畳み込みニューラルネットワークは、順に、第一畳み込み層、第一プーリング層、第二畳み込み層、第二プーリング層、第三畳み込み層、第三プーリング層、第四畳み込み層、第四プーリング層、第一全結合層、第二全結合層、及び第三全結合層を含み、そのうち、第一畳み込み層及び第四畳み込み層の畳み込みカーネルが5×5、第二畳み込み層及び第三畳み込み層の畳み込みカーネルが3×3であり、該第一プーリング層、第二プーリング層、第三プーリング層、及び第四プーリング層は、2×2最大プーリングであり、同じスライディングステップを有し、辺縁（エッジ）の充填がなく、該第一全結合層の出力は、1024個のユニットであり、該第二全結合層の出力は、10個のユニットであり、該第三全結合層の出力は、2個のユニットであり、活性化関数は、線形ランプ関数（ReLU）であり、該第三全結合層の分類アルゴリズムは、正規化指数関数softmaxである。なお、該畳み込みニューラルネットワークは、例示に過ぎず、本実施例は、これに限られない。例えば、該畳み込みニューラルネットワークは、順に、第一畳み込み層組（3×1サイズの畳み込みカーネル64個）、第一プーリング層、第二畳み込み層組（3×1サイズの畳み込みカーネル128個）、第二プーリング層、第三畳み込み層組（3×1サイズの畳み込みカーネル512個）、第三プーリング層、第四畳み込み層組（3×1サイズの畳み込みカーネル256個）、第四プーリング層、第五畳み込み層組（3×1サイズの畳み込みカーネル256個）、第五プーリング層、第一全結合層、第二全結合層、及び第三全結合層を含んでも良く、そのうち、該第一／第二全結合層の出力は、4096次元であり、該第三全結合層の出力は、2個のユニットであり、活性化関数は、線形ランプ関数（ReLU）であり、該第三全結合層の分類アルゴリズムは、正規化指数関数softmaxであり、各畳み込み層組は、連続した２つの畳み込み層を含む。
【００５９】
本実施例では、該訓練後の畳み込みニューラルネットワークを得た後に、実際の物品の検出を開始しても良く、該p個のレーダーは、ヒト（検出待ち物品を持つ）に信号を送信し、そして、検出待ち物品（ヒトが持つ）により反射された後のテストエコー信号を受信し、テストデータ取得ユニット103は、該少なくとも１つのレーダーのテストエコー信号に基づいて、各レーダーに対応するマイクロドップラー画像を取得する。なお、テストエコー信号に基づいてマイクロドップラー画像を取得する具体的な方法については、前述の訓練エコー信号に基づいてマイクロドップラー画像を得る方法と同じであるため、ここでは、その詳しい説明を省略する。
【００６０】
本実施例では、処理ユニット104は、該テストデータに含まれる該少なくとも１つのレーダーのマイクロドップラー画像に対して処理を行い、レーダーの数が1であるときに、処理ユニット104は、該１つのレーダーがテストエコー信号に基づいて取得した１つのマイクロドップラー画像をテストデータとして処理を行い、検出結果を確定し、レーダーの数が1よりも大きいときに、図14は、該処理ユニット104の構成図であり、図14に示すように、該処理ユニット104は、以下のものを含む。
【００６１】
第一併合ユニット1401：該テストデータに含まれる該少なくとも２つのレーダーのマイクロドップラー画像を１つの画像に併合する。なお、このような画像の併合は、左右方向の併合であっても良く、上下方向の併合であっても良いが、その併合の方法は、訓練データの併合の方法と一致する必要がある。
【００６２】
第二トリミングユニット1402（オプション）：該１つの画像に対してトリミングを行い、該１つの画像における反射強度が弱い連続領域を除去する。その具体的な実施方式については、第一トリミングユニットを参照することができるため、ここでは、その詳しい説明を省略する。
【００６３】
第二調整ユニット1403（オプション）：テストデータ画像のサイズを所定サイズに調整する。その具体的な実施方式については、第一調整ユニットを参照することができるため、ここでは、その詳しい説明を省略する。
【００６４】
該処理ユニット104は、処理後の画像を該訓練後の畳み込みニューラルネットワークに入力し、出力の結果が危険又は安全であり、これにより、該検出待ち物品の検出結果を得ることができる。
【００６５】
本実施例における上述の装置により、１つ又は複数のレーダーが訓練エコー信号に基づいて取得したマイクロドップラー画像に対してフレームの位置又は数量の変換を行い、或いは、複数の種類の順序に従って併合を行い、訓練データの強化を実現することにより、ディープラーニングにおけるオーバーフィットの問題を解決することができる。
【実施例２】
【００６６】
本実施例2は、物品検出装置を提供する。図15は、本発明の実施例による物品検出装置のハードウェア構成図である。図15に示すように、装置1500は、１つのインターフェース（図示せず）、中央処理装置（CPU）1520、及び記憶器1510を含んでも良く、記憶器1510は、中央処理装置1520に接続される。そのうち、記憶器1510は、各種のデータを記憶することができ、さらに物品検出用のプログラムを記憶することもでき、且つ中央処理装置1520の制御下で該プログラムを実行し、各種の所定の値、所定の条件などを記憶することができる。該物品検出装置1500は、少なくとも２つのレーダーに接続され、訓練エコー信号及びテストエコー信号などを得て後続の処理を行うために用いられる。
【００６７】
１つの実施方式では、物品検出装置の機能が中央処理装置1520に統合されても良い。そのうち、中央処理装置1520は、次のように構成されても良く、即ち、訓練データを取得し、該訓練データは、オリジナル訓練データ及び強化訓練データを含み、各訓練データには、危険又は安全という内容のラベルが付けられており；該訓練データを畳み込みニューラルネットワークの入力とし、それに対応するラベルを該畳み込みニューラルネットワークの出力とし、所定のアルゴリズムにより、該畳み込みニューラルネットワークに対して訓練を行い、訓練後の畳み込みニューラルネットワークを取得し；検出待ち物品のテストデータを取得し、該テストデータは、該少なくとも１つのレーダーがテストエコー信号に基づいて取得したマイクロドップラー画像を含み、該テストエコー信号は、レーダーの送信信号が検出待ち物品により反射された後の信号であり；及び、該テストデータに含まれる該少なくとも１つのレーダーのマイクロドップラー画像に対して処理を行い、処理後の画像を訓練後の畳み込みニューラルネットワークに入力し、該検出待ち物品の検出結果を確定する。
【００６８】
１つの実施方式では、中央処理装置1520は、さらに、次のように構成されても良く、即ち、少なくとも１つのレーダーが訓練エコー信号に基づいて取得したマイクロドップラー画像に基づいて、該オリジナル訓練データを生成し、そのうち、該訓練エコー信号は、該レーダーの送信信号が既知物品により反射された後の信号であり；及び、取得された各マイクロドップラー画像における所定数のフレームに対して位置及び／又は数量の変換を行い、及び／又は、１回又は複数回の取得により得られた各レーダーについての複数のマイクロドップラー画像の間で所定数のフレームの交換を行い、及び／又は、取得された各レーダーについての複数のマイクロドップラー画像に対して第一順序に従って併合を行うことで、該強化訓練データを取得する。
【００６９】
１つの実施方式では、中央処理装置1520は、さらに、次のように構成されても良く、即ち、レーダーの数が1よりも大きいときに、複数回の取得のうち毎回取得した少なくとも２つのレーダーに対応するマイクロドップラー画像を第二順序に従って併合し、併合により得られた１つの画像を１つのオリジナル訓練データとすることで、複数のオリジナル訓練データを取得し；及び、毎回取得した少なくとも２つのレーダーに対応するマイクロドップラー画像を該第二順序に従って併合し、毎回の併合により得られた１つの画像を１つの強化訓練データとすることで、複数の強化訓練データを取得する。
【００７０】
１つの実施方式では、中央処理装置1520は、さらに、次のように構成されても良く、即ち、１回取得したオリジナル訓練データ及び／又は強化訓練データについて、他の回で取得した１つのレーダーについての第二マイクロドップラー画像により該オリジナル訓練データ及び／又は強化訓練データにおける該１つのレーダー又は他のレーダーについての第一マイクロドップラー画像を置換する。
【００７１】
１つの実施方式では、中央処理装置1520は、さらに、次のように構成されても良く、即ち、１つ又は少なくとも２つのレーダーについてのマイクロドップラー画像における所定数のフレームの位置を所定ルールに従って交換し、第二閾値以上の信号強度値の所在する、位置の交換を行うフレームに対応する径方向速度を、それと交換する対象フレームに対応する径方向速度と一致するように修正する。
【００７２】
１つの実施方式では、中央処理装置1520は、さらに、次のように構成されても良く、即ち、１つ又は少なくとも２つのレーダーについての第一マイクロドップラー画像における所定数のフレームを選択し、選択した該所定数のフレームをその所在する第一マイクロドップラー画像から除去し、そのうち、該所定数のフレームに対応する信号強度値が第三閾値以下であり、或いは、選択した該所定数のフレームをその所在する第一マイクロドップラー画像に重複插入し、そのうち、該所定数のフレームに対応する信号強度値が第四閾値以上である。
【００７３】
１つの実施方式では、中央処理装置1520は、さらに、次のように構成されても良く、即ち、フレーム除去又は插入後の第一マイクロドップラー画像における各フレームに対応する径方向速度を修正し、そのうち、フレーム除去時に、径方向速度を増加させ、フレーム插入時に、径方向速度を減少させる。
【００７４】
１つの実施方式では、中央処理装置1520は、さらに、次のように構成されても良く、即ち、オリジナル訓練データ及び強化訓練データに対してトリミングを行い、該訓練データにおける反射強度が弱い連続領域を除去し、或いは、訓練データ画像のサイズを所定サイズに調整する。
【００７５】
１つの実施方式では、中央処理装置1520は、さらに、次のように構成されても良く、即ち、レーダーの数が1よりも大きいときに、該テストデータに含まれる該少なくとも２つのレーダーのマイクロドップラー画像を１つの画像として併合し、該１つの画像に対してトリミングを行い、該１つの画像における反射強度が弱い連続領域を除去し、或いは、オプションとして、さらに、テストデータ画像のサイズを所定サイズに調整する。
【００７６】
なお、中央処理装置1520の具体的な実施方式については、実施例1を参照することができるため、ここでは、その詳しい説明を省略する。
【００７７】
他の実施方式では、上述の物品検出装置を中央処理装置1520と接続されるチップ（図示せず）に構成し、中央処理装置1520の制御により、物品検出装置の機能を実現しても良い。
【００７８】
なお、物品検出装置1500は、図15に示す全ての部品を含む必要がない。また、該物品検出装置1500は、さらに、図15に示さない部品を含んでも良く、これについては、従来技術を参照することができる。
【００７９】
本実施例の上述の物品検出装置により、１つ又は複数のレーダーが訓練エコー信号に基づいて取得したマイクロドップラー画像に対してフレームの位置又は数量の変換を行い、或いは、複数の種類の順序に従って併合を行い、訓練データの強化を実現することにより、ディープラーニングにおけるオーバーフィットの問題を解決することができる。
【実施例３】
【００８０】
本発明の実施例3は、物品検出方法を提供する。該方法が問題を解決する原理が実施例1の装置と同様であるため、その具体的な実施は、実施例1の装置の実施を参照することができ、ここでは、内容が同じである重複説明が省略される。
【００８１】
図16は、本実施例における物品検出方法の１つの実施方式のフローチャートである。図16に示すように、該方法は、以下のステップを含む。
【００８２】
ステップ1601：訓練データを取得し、該訓練データは、オリジナル訓練データ及び強化訓練データを含み、各訓練データには、危険又は安全という内容のラベルが付けられており；
ステップ1602：該訓練データを畳み込みニューラルネットワークの入力とし、それに対応するラベルを該畳み込みニューラルネットワークの出力とし、所定のアルゴリズムにより、該畳み込みニューラルネットワークに対して訓練を行い、訓練後の畳み込みニューラルネットワークを取得し；
ステップ1603：検出待ち物品のテストデータを取得し、該テストデータは、該少なくとも１つのレーダーがテストエコー信号に基づいて取得したマイクロドップラー画像を含み、そのうち、該テストエコー信号は、レーダーの送信信号が検出待ち物品により反射された後の信号であり；
ステップ1604：該テストデータに含まれる該少なくとも１つのレーダーのマイクロドップラー画像に対して処理を行い、処理後の画像を訓練後の該畳み込みニューラルネットワークに入力し、該検出待ち物品の検出結果を確定する。
【００８３】
本実施例では、ステップ1601は、少なくとも１つのレーダーが訓練エコー信号に基づいて取得したマイクロドップラー画像に基づいて該オリジナル訓練データを生成し、そのうち、該訓練エコー信号は、該レーダーの送信信号が既知物品により反射された後の信号であり；及び、取得された各マイクロドップラー画像における所定数のフレームに対して位置及び／又は数量の変換を行い、及び／又は、１回又は複数回の取得により得られた各レーダーについての複数のマイクロドップラー画像の間で所定数のフレームの交換を行い、及び／又は、取得された各レーダーについての複数のマイクロドップラー画像に対して第一順序に従って併合を行うことで、該強化訓練データを取得することを含む。
【００８４】
本実施例では、ステップ1601〜ステップ1604の具体的な実施方式については、実施例1における訓練データ取得ユニット101、訓練ユニット102、テストデータ取得ユニット103、及び処理ユニット104を参照することができ、その内容がここに併合され、ここでは、重複説明を省略する。
【００８５】
本実施例では、ステップ1601の１つの実施方式では、レーダーの数が1よりも大きいときに、複数回の取得のうち、毎回取得した少なくとも２つのレーダーに対応するマイクロドップラー画像に対して第二順序に従って併合を行い、併合により得られた１つの画像を１つのオリジナル訓練データとすることで、複数のオリジナル訓練データを取得し；及び、毎回取得した少なくとも２つのレーダーに対応するマイクロドップラー画像に対して該第二順序に従って併合を行い、毎回の併合により得られた１つの画像を１つの強化訓練データとすることで、複数の強化訓練データを取得する。
【００８６】
本実施例では、ステップ1601の１つの実施方式では、１回取得したオリジナル訓練データ及び／又は強化訓練データについて、他の回で取得した１つのレーダーについての第二マイクロドップラー画像により該オリジナル訓練データ及び／又は強化訓練データにおける該１つのレーダー又は他のレーダーについての第一マイクロドップラー画像を置換する。
【００８７】
本実施例では、ステップ1601の１つの実施方式では、１つ又は少なくとも２つのレーダーについてのマイクロドップラー画像における所定数のフレームの位置を所定ルールに従って交換する。オプションとして、第二閾値以上の信号強度値の所在する、位置の交換を行うフレームに対応する径方向速度を、それと交換する対象フレームに対応する径方向速度と一致するように修正する。
【００８８】
本実施例では、ステップ1601の１つの実施方式では、１つ又は少なくとも２つのレーダーについての第一マイクロドップラー画像における所定数のフレームを選択し、選択した所定数のフレームをその所在する第一マイクロドップラー画像から除去し、そのうち、前記所定数のフレームに対応する信号強度値が第三閾値以下であり、或いは、選択した所定数のフレームをその所在する第一マイクロドップラー画像に重複插入し、そのうち、前記所定数のフレームに対応する信号強度値が第四閾値以上であり、オプションとして、フレーム除去又は插入後の第一マイクロドップラー画像における各フレームに対応する径方向速度を修正し、そのうち、フレーム除去時に、径方向速度を増加させ、フレーム插入時に、径方向速度を減少させる。
【００８９】
本実施例では、ステップ1604において、レーダーの数が1よりも大きいときに、該テストデータに含まれる該少なくとも２つのレーダーのマイクロドップラー画像に対して処理を行うことは、該テストデータに含まれる該少なくとも２つのレーダーのマイクロドップラー画像を１つの画像として併合し；及び、該１つの画像に対してトリミングを行い、該１つの画像における反射強度が弱い連続領域を除去することを含み、オプションとして、テストデータ画像のサイズを所定サイズに調整することをさらに含む。
【００９０】
図17は、本実施例に係る物品の検出を示す図である。図17に示すように、少なくとも１つのレーダー（2つのみが示されている）が歩行中のヒト（検出待ち物品を持つ）に信号を送信し、そして、反射後のエコー信号を受信し、２つのレーダーに対応するマイクロドップラー画像をそれぞれ取得し、該２つのマイクロドップラー画像に対して併合を行い、そして、トリミング及びサイズ調整の後の画像を訓練後の畳み込みニューラルネットワークに入力し、これにより、検出結果として危険又は安全を得ることができる。
【００９１】
本実施例に係る上述の方法により、１つ又は複数のレーダーが訓練エコー信号に基づいて取得したマイクロドップラー画像に対してフレームの位置又は数量の変換を行い、或いは、複数の種類の順序に従って併合を行い、訓練データの強化を実現することにより、ディープラーニングにおけるオーバーフィットの問題を解決することができる。
【００９２】
本発明の実施例では、さらに、コンピュータ可読プログラムが提供され、そのうち、物品検出装置中で該プログラムを実行するときに、該プログラムは、コンピュータに、該物品検出装置中で上述の実施例3における物品検出方法を実行させる。
【００９３】
本発明の実施例では、さらに、コンピュータ可読プログラムを記憶した記憶媒体が提供され、そのうち、該コンピュータ可読プログラムは、コンピュータに、物品検出装置中で上述の実施例3における物品検出方法を実行させる。
【００９４】
本発明の実施例で説明した前記方法、装置などは、ハードウェア、処理器により実行されるソフトウェアモジュール、又は両者の組み合わせにより実現することができる。例えば、図1、5、14、15に示す機能ブロック図における１つ又は複数の機能及びび／又は機能ブロック図における１つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、図16に示す各ステップに対応することができる。これらのハードウェアモジュールは、例えば、FPGA（field-programmable  gate  array）を用いてこれらのソフトウェアモジュールを固化して実現することができる。
【００９５】
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びびソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
【００９６】
また、上述の実施例などに関し、さらに以下のような付記を開示する。
【００９７】
（付記1）
物品を検出する装置であって、
訓練データ取得ユニットであって、訓練データを取得し、前記訓練データはオリジナル訓練データ及び強化訓練データを含み、各訓練データには危険又は安全という内容のラベルが付けられているもの；
訓練ユニットであって、前記訓練データを畳み込みニューラルネットワークの入力とし、それに対応するラベルを前記畳み込みニューラルネットワークの出力とし、所定のアルゴリズムにより、前記畳み込みニューラルネットワークに対して訓練を行い、訓練後の畳み込みニューラルネットワークを取得するもの；
テストデータ取得ユニットであって、検出待ち物品のテストデータを取得し、前記テストデータは少なくとも１つのレーダーがテストエコー信号に基づいて取得したマイクロドップラー画像を含み、前記テストエコー信号はレーダーの送信信号が検出待ち物品により反射された後の信号であるもの；及び
処理ユニットであって、前記テストデータに含まれる前記少なくとも１つのレーダーのマイクロドップラー画像に対して処理を行い、処理後の画像を訓練後の畳み込みニューラルネットワークに入力し、前記検出待ち物品の検出結果を確定するものを含み、
前記訓練データ取得ユニットは、
オリジナル訓練データ生成ユニットであって、前記少なくとも１つのレーダーが訓練エコー信号に基づいて取得したマイクロドップラー画像に基づいて、前記オリジナル訓練データを生成し、前記訓練エコー信号は前記レーダーの送信信号が既知物品により反射された後の信号であるもの；及び
強化訓練データ取得ユニットであって、取得された各マイクロドップラー画像における所定数のフレームに対して位置及び／又は数量の変換を行い、及び／又は、１回又は複数回の取得により得られた各レーダーについての複数のマイクロドップラー画像の間で所定数のフレームの交換を行い、及び／又は、取得された各レーダーについての複数のマイクロドップラー画像に対して第一順序に従って併合を行うことで、前記強化訓練データを取得するものを含む、装置。
【００９８】
（付記2）
付記1に記載の装置であって、
レーダーの数が1よりも大きいときに、
前記オリジナル訓練データ生成ユニットは、複数回のうち、毎回取得した少なくとも２つのレーダーに対応するマイクロドップラー画像に対して第二順序に従って併合を行い、併合により得られた１つの画像を１つのオリジナル訓練データとすることで、複数のオリジナル訓練データを取得し；及び／又は
前記強化訓練データ取得ユニットは、第一強化訓練データ取得ユニットを含み、
前記第一強化訓練データ取得ユニットは、毎回取得した少なくとも２つのレーダーに対応するマイクロドップラー画像に対して前記第一順序に従って併合を行い、毎回の併合により得られた１つの画像を１つの強化訓練データとすることで、複数の強化訓練データを取得する、装置。
【００９９】
（付記3）
付記1又は2に記載の装置であって、
前記強化訓練データ取得ユニットは、第二強化訓練データ取得ユニットをさらに含み、
前記第二強化訓練データ取得ユニットは、１回取得したオリジナル訓練データ及び／又は強化訓練データについて、他の回で取得した１つのレーダーについての第二マイクロドップラー画像により、前記オリジナル訓練データ及び／又は強化訓練データにおける前記１つのレーダー又は他のレーダーについての第一マイクロドップラー画像を置換する、装置。
【０１００】
（付記4）
付記1又は2に記載の装置であって、
前記強化訓練データ取得ユニットは、第三強化訓練データ取得ユニットをさらに含み、
前記第三強化訓練データ取得ユニットは、１つ又は少なくとも２つのレーダーについてのマイクロドップラー画像における所定数のフレームの位置を所定ルールに従って交換する、装置。
【０１０１】
（付記5）
付記4に記載の装置であって、
前記第三強化訓練データ取得ユニットは、さらに、第二閾値以上の信号強度値の所在する、位置の交換を行うフレームに対応する径方向速度を、それと交換する対象フレームに対応する径方向速度と一致するように修正する、装置。
【０１０２】
（付記6）
付記1又は2に記載の装置であって、
前記強化訓練データ取得ユニットは、第四強化訓練データ取得ユニットをさらに含み、
前記第四強化訓練データ取得ユニットは、１つ又は少なくとも２つのレーダーについての第一マイクロドップラー画像における所定数のフレームを選択し、選択した所定数のフレームをその所在する第一マイクロドップラー画像から除去し、前記所定数のフレームに対応する信号強度値が第三閾値以下であり、或いは、選択した所定数のフレームをその所在する第一マイクロドップラー画像に重複插入し、前記所定数のフレームに対応する信号強度値が第四閾値以上である、装置。
【０１０３】
（付記7）
付記6に記載の装置であって、
前記第四強化訓練データ取得ユニットは、さらに、フレーム除去又は插入後の第一マイクロドップラー画像における各フレームに対応する径方向速度に対して修正を行い、フレーム除去時に、径方向速度を増加させ、フレーム插入時に、径方向速度を減少させる、装置。
【０１０４】
（付記8）
付記1に記載の装置であって、
前記訓練データ取得ユニットは、
第一トリミングユニットであって、オリジナル訓練データ及び強化訓練データに対してトリミングを行い、前記訓練データにおける反射強度が弱い連続領域を除去するものを含み、
或いは、前記訓練データ取得ユニットは、訓練データ画像のサイズを所定サイズに調整する第一調整ユニットをさらに含む、装置。
【０１０５】
（付記9）
付記1に記載の装置であって、
レーダーの数が1よりも大きいときに、
前記処理ユニットは、
第一併合ユニットであって、前記テストデータに含まれる少なくとも２つのレーダーのマイクロドップラー画像を１つの画像に併合するもの；及び
第二トリミングユニットであって、前記１つの画像に対してトリミングを行い、前記１つの画像における反射強度が弱い連続領域を除去するものを含む、装置。
【０１０６】
（付記10）
付記9に記載の装置であって、
前記処理ユニットは、テストデータ画像サイズを所定サイズに調整する第二調整ユニットをさらに含む、装置。
【０１０７】
（付記11）
物品を検出する方法であって、
訓練データを取得し、前記訓練データはオリジナル訓練データ及び強化訓練データを含み、各訓練データには危険又は安全という内容のラベルが付けられており；
前記訓練データを畳み込みニューラルネットワークの入力とし、それに対応するラベルを前記畳み込みニューラルネットワークの出力とし、所定のアルゴリズムにより、前記畳み込みニューラルネットワークに対して訓練を行い、訓練後の畳み込みニューラルネットワークを取得し；
検出待ち物品のテストデータを取得し、前記テストデータは少なくとも１つのレーダーがテストエコー信号に基づいて取得したマイクロドップラー画像を含み、前記テストエコー信号はレーダーの送信信号が検出待ち物品により反射された後の信号であり；及び
前記テストデータに含まれる前記少なくとも１つのレーダーのマイクロドップラー画像に対して処理を行い、処理後の画像を訓練後の前記畳み込みニューラルネットワークに入力し、前記検出待ち物品の検出結果を確定することを含み、
訓練データを取得することは、
前記少なくとも１つのレーダーが訓練エコー信号に基づいて取得したマイクロドップラー画像に基づいて、前記オリジナル訓練データを生成し、前記訓練エコー信号は前記レーダーの送信信号が既知物品により反射された後の信号であり；及び
取得された各マイクロドップラー画像における所定数のフレームに対して位置及び／又は数量の変換を行い、及び／又は、１回又は複数回の取得により得られた各レーダーについての複数のマイクロドップラー画像の間で所定数のフレームの交換を行い、及び／又は、取得された各レーダーについての複数のマイクロドップラー画像に対して第一順序に従って併合を行い、前記強化訓練データを取得することを含む、方法。
【０１０８】
（付記12）
付記11に記載の方法であって、
レーダーの数が1よりも大きいときに、
前記オリジナル訓練データを生成することは、
複数回のうち、毎回取得した少なくとも２つのレーダーに対応するマイクロドップラー画像に対して第二順序に従って併合を行い、併合により得られた１つの画像を１つのオリジナル訓練データとすることで、複数のオリジナル訓練データを取得し；及び／又は
取得された各レーダーについての複数のマイクロドップラー画像に対して第一順序に従って併合を行い、前記強化訓練データを取得することは、
毎回取得した少なくとも２つのレーダーに対応するマイクロドップラー画像に対して前記第一順序に従って併合を行い、毎回の併合により得られた１つの画像を１つの強化訓練データとすることで、複数の強化訓練データを取得する、方法。
【０１０９】
（付記13）
付記11又は12に記載の方法であって、
１回又は複数回の取得により得られた各レーダーについての複数のマイクロドップラー画像の間で所定数のフレームの交換を行い、前記強化訓練データを取得することは、
１回取得したオリジナル訓練データ及び／又は強化訓練データについて、他の回で取得した１つのレーダーについての第二マイクロドップラー画像により前記オリジナル訓練データ及び／又は強化訓練データにおける前記１つのレーダー又は他のレーダーについての第一マイクロドップラー画像を置換することを含む、方法。
【０１１０】
（付記14）
付記11又は12に記載の方法であって、
取得された各マイクロドップラー画像における所定数のフレームに対して位置の変換を行い、前記強化訓練データを取得することは、
１つ又は少なくとも２つのレーダーについてのマイクロドップラー画像における所定数のフレームの位置を所定ルールに従って交換することを含む、方法。
【０１１１】
（付記15）
付記14に記載の方法であって、さらに、
第二閾値以上の信号強度値の所在する、位置の交換を行うフレームに対応する径方向速度を、それと交換する対象フレームに対応する径方向速度と一致するように修正することを含む、方法。
【０１１２】
（付記16）
付記11又は12に記載の方法であって、
取得された各マイクロドップラー画像における所定数のフレームに対して数量の変換を行い、前記強化訓練データを取得することは、
１つ又は少なくとも２つのレーダーについての第一マイクロドップラー画像における所定数のフレームを選択し、選択した所定数のフレームをその所在する第一マイクロドップラー画像から除去し、前記所定数のフレームに対応する信号強度値が第三閾値以下であり、或いは、選択した所定数のフレームをその所在する第一マイクロドップラー画像に重複插入し、前記所定数のフレームに対応する信号強度値が第四閾値以上であることを含む、方法。
【０１１３】
（付記17）
付記16に記載の方法であって、さらに、
フレーム除去又は插入後の第一マイクロドップラー画像における各フレームに対応する径方向速度に対して修正を行い、フレーム除去時に、径方向速度を増加させ、フレーム插入時に、径方向速度を減少させることを含む、方法。
【０１１４】
（付記18）
付記11に記載の方法であって、
訓練データを取得する前に、
前記方法は、さらに、
オリジナル訓練データ及び強化訓練データに対してトリミングを行い、前記訓練データにおける反射強度が弱い連続領域を除去することを含み、
或いは、訓練データ画像のサイズを所定サイズに調整することをさらに含む、方法。
【０１１５】
（付記19）
付記11に記載の方法であって、
レーダーの数が1よりも大きいときに、前記テストデータに含まれる前記少なくとも１つのレーダーのマイクロドップラー画像に対して処理を行うことは、
前記テストデータに含まれる少なくとも２つのレーダーのマイクロドップラー画像を１つの画像に併合し；及び
前記１つの画像に対してトリミングを行い、前記１つの画像における反射強度が弱い連続領域を除去することを含む、方法。
【０１１６】
（付記20）
付記19に記載の方法であって、
前記テストデータに含まれる前記少なくとも１つのレーダーのマイクロドップラー画像に対して処理を行うことは、さらに、テストデータ画像サイズを所定サイズに調整することを含む、方法。
【０１１７】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2020198094.tif 000006
【図２】
2020198094.tif 000007
【図３】
2020198094.tif 000008
【図４】
2020198094.tif 000009
【図５】
2020198094.tif 000010
【図６】
2020198094.tif 000011
【図７】
2020198094.tif 000012
【図８】
2020198094.tif 000013
【図９】
2020198094.tif 000014
【図１０】
2020198094.tif 000015
【図１１】
2020198094.tif 000016
【図１２】
2020198094.tif 000017
【図１３】
2020198094.tif 000018
【図１４】
2020198094.tif 000019
【図１５】
2020198094.tif 000020
【図１６】
2020198094.tif 000021
【図１７】
2020198094.tif 000022