(57)【特許請求の範囲】
【請求項１】
歩行者追跡の方法であって、
追跡されるべきビデオの検出期間および追跡期間を決定するステップと、
前記検出期間内に、前記追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを取得するステップと、
前記追跡されるべき歩行者の検出期間全身ボックスを、前記上半身検出ボックスに基づき取得するステップと、
前記追跡期間内に、前記追跡されるべきビデオ内に出現する前記追跡されるべき歩行者の上半身追跡ボックスを取得するステップと、
前記検出期間全身ボックスに基づき、前記上半身追跡ボックスに対応する追跡期間全身ボックスを取得するステップであって、前記追跡期間全身ボックスは、前記追跡されるべき歩行者を追跡するために使用される、ステップとを含む歩行者追跡の方法。
【請求項２】
前記追跡されるべき歩行者の検出期間全身ボックスを、前記上半身検出ボックスに基づき取得する前記ステップの前に、
前記上半身検出ボックスに基づき下半身走査領域を取得するステップと、
下半身検出ボックスが前記下半身走査領域内で下半身検出を実行することによって取得される場合、前記検出期間全身ボックスを、前記上半身検出ボックスおよび前記下半身検出ボックスに基づき取得するステップとをさらに含む請求項1に記載の方法。
【請求項３】
前記上半身検出ボックスは
【数１】
0006847254.tif 000226
であり、
【数２】
0006847254.tif 000227
は、前記上半身検出ボックスの左上水平座標であり、
【数３】
0006847254.tif 000228
は、前記上半身検出ボックスの左上垂直座標であり、
【数４】
0006847254.tif 000229
は、前記上半身検出ボックスの右下水平座標であり、
【数５】
0006847254.tif 000230
は、前記上半身検出ボックスの右下垂直座標であり、
前記上半身検出ボックスに基づき下半身走査領域を取得する前記ステップは
第1のパラメータを決定するステップであって、前記第1のパラメータは
【数６】
0006847254.tif 000231
であり、Ratiodefaultはプリセットされた比である、ステップと、
第2のパラメータを決定するステップであって、前記第2のパラメータは
【数７】
0006847254.tif 000232
である、ステップと、
第3のパラメータを決定するステップであって、前記第3のパラメータは
【数８】
0006847254.tif 000233
である、ステップと、
前記下半身走査領域を、前記第1のパラメータ、前記第2のパラメータ、および前記第3のパラメータに基づき決定するステップとを含む請求項2に記載の方法。
【請求項４】
前記上半身検出ボックスに基づき下半身走査領域を取得する前記ステップは、
前記下半身走査領域を、前記第1のパラメータ、前記第2のパラメータ、および前記第3のパラメータに基づき決定するステップであって、前記下半身走査領域は、ScanArea=[LS,TS,RS,BS]であり、LSは、前記下半身走査領域の左上水平座標であり、TSは、前記下半身走査領域の左上垂直座標であり、RSは、前記下半身走査領域の右下水平座標であり、BSは、前記下半身走査領域の右下垂直座標であり、
【数９】
0006847254.tif 000234
である、ステップを含み、
paral1、paral2、およびparal3は、プリセット値であり、imgWは、前記検出期間内の前記追跡されるべきビデオの任意の画像フレームの幅であり、imgHは、前記検出期間内の前記追跡されるべきビデオの任意の画像フレームの高さである請求項3に記載の方法。
【請求項５】
前記下半身検出ボックスは
【数１０】
0006847254.tif 000235
であり、
【数１１】
0006847254.tif 000236
は、前記下半身検出ボックスの左上水平座標であり、
【数１２】
0006847254.tif 000237
は、前記下半身検出ボックスの左上垂直座標であり、
【数１３】
0006847254.tif 000238
は、前記下半身検出ボックスの右下水平座標であり、
【数１４】
0006847254.tif 000239
は、前記下半身検出ボックスの右下垂直座標であり、前記上半身検出ボックスおよび前記下半身検出ボックスに基づき前記検出期間全身ボックスを取得する前記ステップは、
前記検出期間全身ボックスの左上水平座標を決定するステップであって、前記検出期間全身ボックスの前記左上水平座標は
【数１５】
0006847254.tif 000240
である、ステップと、
前記検出期間全身ボックスの左上垂直座標が
【数１６】
0006847254.tif 000241
であると決定するステップと、
前記検出期間全身ボックスの右下水平座標が
【数１７】
0006847254.tif 000242
であると決定するステップと、
前記検出期間全身ボックスの右下垂直座標が
【数１８】
0006847254.tif 000243
であると決定するステップと、
前記検出期間全身ボックスが
【数１９】
0006847254.tif 000244
であると決定するステップとを含む請求項2から4のいずれか一項に記載の方法。
【請求項６】
前記検出期間全身ボックスを決定する前記ステップの後に、
前記検出期間全身ボックスの幅と前記検出期間全身ボックスの高さとの比が
【数２０】
0006847254.tif 000245
であると決定するステップと、
前記上半身検出ボックスの高さと前記検出期間全身ボックスの前記高さとの比が
【数２１】
0006847254.tif 000246
であると決定するステップと、
前記追跡期間全身ボックスを、
【数２２】
0006847254.tif 000247
に基づき、決定するステップとをさらに含む請求項5に記載の方法。
【請求項７】
前記上半身検出ボックスに基づき下半身走査領域を取得する前記ステップの後、
前記下半身検出ボックスが前記下半身走査領域内で下半身検出を実行することによって取得されない場合に、前記検出期間全身ボックスの左上水平座標を決定するステップであって、前記検出期間全身ボックスの前記左上水平座標は
【数２３】
0006847254.tif 000248
である、ステップと、
前記検出期間全身ボックスの左上垂直座標が
【数２４】
0006847254.tif 000249
であると決定するステップと、
前記検出期間全身ボックスの右下水平座標が
【数２５】
0006847254.tif 000250
であると決定するステップと、
前記検出期間全身ボックスの右下垂直座標が
【数２６】
0006847254.tif 000251
であると決定するステップと、
前記検出期間全身ボックスが
【数２７】
0006847254.tif 000252
であると決定するステップとをさらに含む請求項3または4に記載の方法。
【請求項８】
前記上半身検出ボックスに基づき下半身走査領域を取得する前記ステップの後、
前記検出期間全身ボックスの幅と前記検出期間全身ボックスの高さとのプリセットされている比
【数２８】
0006847254.tif 000253
を取得するステップをさらに含み、
前記検出期間全身ボックスを決定する前記ステップの後、
前記上半身検出ボックスの高さと前記検出期間全身ボックスの前記高さとの比が
【数２９】
0006847254.tif 000254
であると決定するステップと、
前記追跡期間全身ボックスを、
【数３０】
0006847254.tif 000255
に基づき、決定するステップとをさらに含む請求項7に記載の方法。
【請求項９】
前記上半身追跡ボックスは
【数３１】
0006847254.tif 000256
であり、
【数３２】
0006847254.tif 000257
は、前記上半身追跡ボックスの左上水平座標であり、
【数３３】
0006847254.tif 000258
は、前記上半身追跡ボックスの左上垂直座標であり、
【数３４】
0006847254.tif 000259
は、前記上半身追跡ボックスの右下水平座標であり、
【数３５】
0006847254.tif 000260
は、前記上半身追跡ボックスの右下垂直座標であり、
前記追跡期間全身ボックスを、
【数３６】
0006847254.tif 000261
に基づき、決定する前記ステップは、
前記追跡期間全身ボックスの左上水平座標を決定するステップであって、
【数３７】
0006847254.tif 000262
である場合、前記追跡期間全身ボックスの前記左上水平座標は
【数３８】
0006847254.tif 000263
である、ステップと、
前記追跡期間全身ボックスの左上垂直座標が
【数３９】
0006847254.tif 000264
であると決定するステップと、
前記追跡期間全身ボックスの右下水平座標が
【数４０】
0006847254.tif 000265
であると決定するステップと、
前記追跡期間全身ボックスの右下垂直座標が
【数４１】
0006847254.tif 000266
であると決定するステップであって、
【数４２】
0006847254.tif 000267
である、ステップと、
前記追跡期間全身ボックスが
【数４３】
0006847254.tif 000268
であると決定するステップとを含む請求項6または8に記載の方法。
【請求項１０】
前記追跡期間内に、前記追跡されるべきビデオ内に出現する前記追跡されるべき歩行者の上半身追跡ボックスを取得する前記ステップは、
前記上半身検出ボックスを中心として使用することによって複数の粒子を散乱させるステップであって、前記複数の粒子のうちのいずれか1つの幅と高さとの比が前記上半身検出ボックスの幅と前記上半身検出ボックスの前記高さとの比と同じである、ステップと、
前記上半身追跡ボックスを決定するステップであって、前記上半身追跡ボックスは前記複数の粒子のうちで前記上半身検出ボックスに最も類似する粒子である、ステップとを含む請求項1から9のいずれか一項に記載の方法。
【請求項１１】
前記検出期間全身ボックスに基づき、前記上半身追跡ボックスに対応する追跡期間全身ボックスを取得する前記ステップは、
前記追跡期間全身ボックスの前記左上水平座標を決定するステップであって、
【数４４】
0006847254.tif 000269
である場合、前記追跡期間全身ボックスの前記左上水平座標は
【数４５】
0006847254.tif 000270
である、ステップと、
前記追跡期間全身ボックスの前記左上垂直座標が
【数４６】
0006847254.tif 000271
であると決定するステップと、
前記追跡期間全身ボックスの前記右下水平座標が
【数４７】
0006847254.tif 000272
であると決定するステップと、
前記追跡期間全身ボックスの前記右下垂直座標が
【数４８】
0006847254.tif 000273
であると決定するステップであって、
【数４９】
0006847254.tif 000274
である、ステップと、
前記追跡期間全身ボックスが
【数５０】
0006847254.tif 000275
であると決定するステップとを含む請求項9に記載の方法。
【請求項１２】
前記追跡されるべきビデオのターゲット画像フレームシーケンスを取得するステップであって、前記ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、前記ターゲット画像フレームシーケンスは、前記検出期間の前にある、ステップと、
前記追跡されるべきビデオの背景領域を前記ターゲット画像フレームシーケンスに基づき取得するステップと、
前記検出期間内に前記追跡されるべきビデオの前記画像フレームから前記背景領域を差し引くことによって前記追跡されるべきビデオの任意の画像フレームの前景領域を取得するステップと、
前記追跡されるべきビデオの前記画像フレームの前記前景領域を検出することによって前記追跡されるべき歩行者を取得するステップとをさらに含む請求項1から11のいずれか一項に記載の方法。
【請求項１３】
前記追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを取得する前記ステップは、
ターゲット画像フレームを決定するステップであって、前記ターゲット画像フレームは、前記追跡されるべき歩行者が出現する画像フレームである、ステップと、
前記ターゲット画像フレームの前景領域内で前記上半身検出ボックスを取得するステップとを含む請求項12に記載の方法。
【請求項１４】
追跡されるべきビデオの検出期間および追跡期間を決定するように構成されている第1の決定ユニットと、
前記検出期間内に、前記追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを取得するように構成されている第1の取得ユニットと、
前記追跡されるべき歩行者の検出期間全身ボックスを、前記上半身検出ボックスに基づき取得するように構成されている第2の取得ユニットと、
前記追跡期間内に、前記追跡されるべきビデオ内に出現する前記追跡されるべき歩行者の上半身追跡ボックスを取得するように構成されている第3の取得ユニットと、
前記検出期間全身ボックスに基づき、前記上半身追跡ボックスに対応する追跡期間全身ボックスを取得するように構成されている第4の取得ユニットであって、前記追跡期間全身ボックスは、前記追跡されるべき歩行者を追跡するために使用される、第4の取得ユニットとを備える電子デバイス。
【請求項１５】
前記第2の取得ユニットは、前記上半身検出ボックスに基づき下半身走査領域を取得し、下半身検出ボックスが、前記下半身走査領域内で下半身検出を実行することによって取得される場合、前記検出期間全身ボックスを、前記上半身検出ボックスおよび前記下半身検出ボックスに基づき取得するように、特に構成される請求項14に記載の電子デバイス。
【請求項１６】
前記上半身検出ボックスは
【数５１】
0006847254.tif 000276
であり、
【数５２】
0006847254.tif 000277
は、前記上半身検出ボックスの左上水平座標であり、
【数５３】
0006847254.tif 000278
は、前記上半身検出ボックスの左上垂直座標であり、
【数５４】
0006847254.tif 000279
は、前記上半身検出ボックスの右下水平座標であり、
【数５５】
0006847254.tif 000280
は、前記上半身検出ボックスの右下垂直座標であり、前記上半身検出ボックスに基づき前記下半身走査領域を取得するときに、前記第2の取得ユニットは、第1のパラメータを決定し、前記第1のパラメータは
【数５６】
0006847254.tif 000281
であり、Ratiodefaultはプリセットされた比であり、第2のパラメータを決定し、前記第2のパラメータは
【数５７】
0006847254.tif 000282
であり、第3のパラメータを決定し、前記第3のパラメータは
【数５８】
0006847254.tif 000283
であり、前記下半身走査領域を、前記第1のパラメータ、前記第2のパラメータ、および前記第3のパラメータに基づき決定する、ように特に構成される請求項15に記載の電子デバイス。
【請求項１７】
前記上半身検出ボックスに基づき前記下半身走査領域を取得するときに、前記第2の取得ユニットは、前記下半身走査領域を、前記第1のパラメータ、前記第2のパラメータ、および前記第3のパラメータに基づき決定するように特に構成され、前記下半身走査領域は、ScanArea=[LS,TS,RS,BS]であり、LSは、前記下半身走査領域の左上水平座標であり、TSは、前記下半身走査領域の左上垂直座標であり、RSは、前記下半身走査領域の右下水平座標であり、BSは、前記下半身走査領域の右下垂直座標であり、
【数５９】
0006847254.tif 000284
であり、
paral1、paral2、およびparal3は、プリセット値であり、imgWは、前記検出期間内の前記追跡されるべきビデオの任意の画像フレームの幅であり、imgHは、前記検出期間内の前記追跡されるべきビデオの任意の画像フレームの高さである請求項16に記載の電子デバイス。
【請求項１８】
前記下半身検出ボックスは
【数６０】
0006847254.tif 000285
であり、
【数６１】
0006847254.tif 000286
は、前記下半身検出ボックスの左上水平座標であり、
【数６２】
0006847254.tif 000287
は、前記下半身検出ボックスの左上垂直座標であり、
【数６３】
0006847254.tif 000288
は、前記下半身検出ボックスの右下水平座標であり、
【数６４】
0006847254.tif 000289
は、前記下半身検出ボックスの右下垂直座標であり、
前記上半身検出ボックスおよび下半身検出ボックスに基づき前記追跡されるべき歩行者の前記検出期間全身ボックスを取得するときに、前記第2の取得ユニットは、前記検出期間全身ボックスの左上水平座標を決定し、前記検出期間全身ボックスの前記左上水平座標は
【数６５】
0006847254.tif 000290
であり、前記検出期間全身ボックスの左上垂直座標が
【数６６】
0006847254.tif 000291
であると決定し、前記検出期間全身ボックスの右下水平座標が
【数６７】
0006847254.tif 000292
であると決定し、前記検出期間全身ボックスの右下垂直座標が
【数６８】
0006847254.tif 000293
であると決定し、前記検出期間全身ボックスが
【数６９】
0006847254.tif 000294
であると決定する、ように特に構成される請求項15から17のいずれか一項に記載の電子デバイス。
【請求項１９】
前記第4の取得ユニットは、前記検出期間全身ボックスの幅と前記検出期間全身ボックスの高さとの比が
【数７０】
0006847254.tif 000295
であると決定し、前記上半身検出ボックスの高さと前記検出期間全身ボックスの前記高さとの比が
【数７１】
0006847254.tif 000296
であると決定し、前記追跡期間全身ボックスを、
【数７２】
0006847254.tif 000297
に基づき、決定する、ように特に構成される請求項18に記載の電子デバイス。
【請求項２０】
前記上半身検出ボックスおよび下半身検出ボックスに基づき前記追跡されるべき歩行者の前記検出期間全身ボックスを取得するときに、前記第2の取得ユニットは、前記下半身検出ボックスが前記下半身走査領域内で下半身検出を実行することによって取得されない場合に、前記検出期間全身ボックスの左上水平座標を決定し、前記検出期間全身ボックスの前記左上水平座標は
【数７３】
0006847254.tif 000298
であり、前記検出期間全身ボックスの左上垂直座標が
【数７４】
0006847254.tif 000299
であると決定し、前記検出期間全身ボックスの右下水平座標が
【数７５】
0006847254.tif 000300
であると決定し、前記検出期間全身ボックスの右下垂直座標が
【数７６】
0006847254.tif 000301
であると決定し、前記検出期間全身ボックスが
【数７７】
0006847254.tif 000302
であると決定する、ように特に構成される請求項16または17に記載の電子デバイス。
【請求項２１】
前記第4の取得ユニットは、前記検出期間全身ボックスの幅と前記検出期間全身ボックスの高さとのプリセットされている比
【数７８】
0006847254.tif 000303
を取得し、前記上半身検出ボックスの高さと前記検出期間全身ボックスの前記高さとの比が
【数７９】
0006847254.tif 000304
であると決定し、前記追跡期間全身ボックスを、
【数８０】
0006847254.tif 000305
に基づき、決定する、ように特に構成される請求項20に記載の電子デバイス。
【請求項２２】
前記上半身追跡ボックスは
【数８１】
0006847254.tif 000306
であり、
【数８２】
0006847254.tif 000307
は、前記上半身追跡ボックスの左上水平座標であり、
【数８３】
0006847254.tif 000308
は、前記上半身追跡ボックスの左上垂直座標であり、
【数８４】
0006847254.tif 000309
は、前記上半身追跡ボックスの右下水平座標であり、
【数８５】
0006847254.tif 000310
は、前記上半身追跡ボックスの右下垂直座標であり、
前記追跡期間全身ボックスを
【数８６】
0006847254.tif 000311
に基づき決定するときに、前記第4の取得ユニットは、前記追跡期間全身ボックスの左上水平座標を決定し、
【数８７】
0006847254.tif 000312
である場合、前記追跡期間全身ボックスの前記左上水平座標は
【数８８】
0006847254.tif 000313
であり、前記追跡期間全身ボックスの左上垂直座標が
【数８９】
0006847254.tif 000314
であると決定し、前記追跡期間全身ボックスの右下水平座標が
【数９０】
0006847254.tif 000315
であると決定し、前記追跡期間全身ボックスの右下垂直座標が
【数９１】
0006847254.tif 000316
であると決定し、
【数９２】
0006847254.tif 000317
であり、前記追跡期間全身ボックスが
【数９３】
0006847254.tif 000318
であると決定する、ように特に構成される請求項19または21に記載の電子デバイス。
【請求項２３】
前記第3の取得ユニットは、前記上半身検出ボックスを中心として使用することによって複数の粒子を散乱させ、前記複数の粒子のうちのいずれか1つの幅と高さとの比が前記上半身検出ボックスの幅と前記上半身検出ボックスの前記高さとの比と同じであり、前記上半身追跡ボックスを決定し、前記上半身追跡ボックスは前記複数の粒子のうちで前記上半身検出ボックスに最も類似する粒子である、ように特に構成される請求項14から22のいずれか一項に記載の電子デバイス。
【請求項２４】
前記第4の取得ユニットは、前記追跡期間全身ボックスの前記左上水平座標を決定し、
【数９４】
0006847254.tif 000319
である場合、前記追跡期間全身ボックスの前記左上水平座標は
【数９５】
0006847254.tif 000320
であり、前記追跡期間全身ボックスの前記左上垂直座標が
【数９６】
0006847254.tif 000321
であると決定し、前記追跡期間全身ボックスの前記右下水平座標が
【数９７】
0006847254.tif 000322
であると決定し、前記追跡期間全身ボックスの前記右下垂直座標が
【数９８】
0006847254.tif 000323
であると決定し、
【数９９】
0006847254.tif 000324
であり、前記追跡期間全身ボックスが
【数１００】
0006847254.tif 000325
であると決定する、ように特に構成される請求項22に記載の電子デバイス。
【請求項２５】
前記追跡されるべきビデオのターゲット画像フレームシーケンスを取得するように構成されている第5の取得ユニットであって、前記ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、前記ターゲット画像フレームシーケンスは、前記検出期間の前にある、第5の取得ユニットと、
前記追跡されるべきビデオの背景領域を前記ターゲット画像フレームシーケンスに基づき取得するように構成されている第6の取得ユニットと、
前記追跡されるべきビデオの任意の画像フレームの前景領域を、前記検出期間内に前記追跡されるべきビデオの前記画像フレームから前記背景領域を差し引くことによって取得するように構成されている第7の取得ユニットと、
前記追跡されるべき歩行者を、前記追跡されるべきビデオの前記画像フレームの前記前景領域を検出することによって取得するように構成されている第8の取得ユニットとをさらに備える請求項14から24のいずれか一項に記載の電子デバイス。
【請求項２６】
前記第1の取得ユニットは、ターゲット画像フレームを決定し、前記ターゲット画像フレームは、前記追跡されるべき歩行者が出現する画像フレームであり、前記ターゲット画像フレームの前景領域内で前記上半身検出ボックスを取得する、ように特に構成される請求項25に記載の電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、全体が参照により本明細書に組み込まれている、2017年3月31日に中国特許庁に出願した中国特許出願第201710208767.7号、名称「PEDESTRIAN TRACKING METHOD AND ELECTRONIC DEVICE」の優先権を主張するものである。
【０００２】
本発明は、通信技術の分野に関するものであり、具体的には、歩行者追跡の方法および電子デバイスに関するものである。
【背景技術】
【０００３】
安全な都市を構築する歴史的背景において、インテリジェント型ビデオ分析システムの関与は大きくなりつつある。作業効率を大きく改善し、人件費を大幅に低減するために、インテリジェント型ビデオ分析システムが、大量のビデオデータの中の歩行者を自動的にインテリジェントに分析する、たとえば、歩行者のモーション軌跡を計算する、制限領域内の異常な歩行者進入を検出する、道路上の歩行者を自動的に検出し、歩行者を回避するよう運転者に注意する、画像ベースの画像検索を通じて警察が犯罪容疑者を捜索するのを助ける、ことを行う必要がある。
【０００４】
大量のビデオデータから歩行者を自動的に抽出するために、歩行者検出および追跡アルゴリズムが使用される必要がある。歩行者検出は、画像を入力し、検出アルゴリズムを使用することによって画像内の歩行者を自動的に見つけ、矩形ボックスの形態の中に歩行者の配置を提供することを指す。矩形ボックスは、歩行者の検出ボックスと称される。歩行者はビデオ内で動いているので、ビデオ内の各フレームの中の歩行者の配置を取得するために歩行者追跡アルゴリズムを使用することによって歩行者が追跡される必要がある。この配置は、また、矩形ボックスの一形態で提供され、矩形ボックスは、歩行者の追跡ボックスと称される。
【０００５】
従来技術における不利点は、次のとおりである。1.検出ボックスは十分に正確ではない。歩行者の検出ボックスの縦横比は固定されており、歩行者の全身が検出される。したがって、歩行者が異常な姿勢で出現する、たとえば、脚が広く開いている、したがって縦横比が大きくなっているときに、縦横比が固定されている歩行者の検出ボックスは、十分に正確ではない。2.検出ボックスおよび追跡ボックスは、歩行プロセスに入っている歩行者の姿勢の変化を捕捉できない。歩行者はビデオ内で動いているので、歩行者の姿勢は、歩行プロセスにおいて大きく変化し得る。この変化は、ビデオ画像内の歩行者の最小限界矩形ボックスの縦横比の変化として現れる。歩行プロセスに入っている歩行者の姿勢の変化は、縦横比が固定されている検出ボックスおよび追跡ボックスに基づいては捕捉できない。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明は、歩行追跡の方法および電子デバイスを提供するものであり、したがって、追跡は、追跡されるべき歩行者の姿勢の変化に関係なく正確に実装され得る。
【０００７】
本発明の実施形態の第1の態様は、次のステップを含む、歩行者追跡の方法を提供する。
【０００８】
ステップA:追跡されるべきビデオの検出期間および追跡期間を決定する。
【０００９】
任意選択で、検出期間は追跡期間に含まれ、検出期間の持続時間は追跡期間の持続時間より短い。
【００１０】
任意選択で、この実施形態において示されている検出期間は追跡期間に含まれ得ず、検出期間は追跡期間の前であり、検出期間の持続時間は追跡期間の持続時間より短い。
【００１１】
ステップB:追跡されるべき歩行者の上半身検出ボックスを取得する。
【００１２】
具体的には、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスは、検出期間内に取得される。
【００１３】
より具体的には、ターゲット画像フレームが最初に決定され、ターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームである。
【００１４】
ターゲット画像フレームが決定されたときに、上半身検出ボックスは、ターゲット画像フレーム内で取得され得る。
【００１５】
ステップC:追跡されるべき歩行者の検出期間全身ボックスを取得する。
【００１６】
具体的には、追跡されるべき歩行者の検出期間全身ボックスは、上半身検出ボックスに基づき取得される。
【００１７】
ステップD:追跡されるべき歩行者の上半身追跡ボックスを取得する。
【００１８】
具体的には、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身追跡ボックスは、追跡期間内に取得される。
【００１９】
この実施形態において、検出期間内に取得される検出期間全身ボックスは追跡ターゲットとして初期化され、それにより、追跡ターゲットとして働く追跡されるべき歩行者は、追跡期間内に追跡され得る。
【００２０】
ステップE:追跡期間全身ボックスを取得する。
【００２１】
具体的には、上半身追跡ボックスに対応する追跡期間全身ボックスは、検出期間全身ボックスに基づき取得される。
【００２２】
追跡期間全身ボックスは、追跡されるべき歩行者を追跡するために使用される。
【００２３】
この実施形態において示されている方法を使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスに基づき取得され、検出期間全身ボックスの縦横比は変化し得る。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で出現する場合でも、追跡されるべき歩行者の正確な追跡期間全身ボックスは、それでも、この実施形態において示されている方法を使用することによって取得されるものとしてよく、したがって、追跡されるべき歩行者が異常な姿勢で出現したときに追跡されるべき歩行者を追跡するための準備を依然として行うことができる。
【００２４】
本発明の実施形態の第1の態様に関連して、本発明の実施形態の第1の態様の第1の実装形態において、ステップCの前に、次のステップがさらに実行される。
【００２５】
ステップC01:下半身走査領域を取得する。
【００２６】
この実施形態において、追跡されるべき歩行者の上半身検出ボックスが取得された後、追跡されるべき歩行者の下半身走査領域は、追跡されるべき歩行者の上半身検出ボックスに基づき取得され得る。
【００２７】
ステップC02:検出期間全身ボックスを取得する。
【００２８】
具体的には、下半身検出ボックスが、下半身走査領域内で下半身検出を実行することによって取得される場合、検出期間全身ボックスは、上半身検出ボックスおよび下半身検出ボックスに基づき取得される。
【００２９】
この実施形態において示されている方法を使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを組み合わせることによって取得される。取得された検出期間全身ボックスの縦横比が変化し得ることがわかる。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で、たとえば、追跡されるべき歩行者が脚を広く開いている姿勢で出現する、したがって、追跡されるべき歩行者の上半身と下半身との割合が変わる場合であっても、追跡されるべき歩行者の正確な検出期間全身ボックスは、取得された上半身検出ボックスと取得された下半身検出ボックスとを組み合わせることによってそれでも取得され、それにより追跡されるべき歩行者を追跡する準備を行うことができる。
【００３０】
本発明の実施形態の第1の態様の第1の実装形態に関連して、本発明の実施形態の第1の態様の第2の実装形態において、上半身検出ボックスは
【００３１】
【数１】
0006847254.tif 000002
【００３２】
であり、ここで、
【００３３】
【数２】
0006847254.tif 000003
【００３４】
は、上半身検出ボックスの左上水平座標であり、
【００３５】
【数３】
0006847254.tif 000004
【００３６】
は、上半身検出ボックスの左上垂直座標であり、
【００３７】
【数４】
0006847254.tif 000005
【００３８】
は、上半身検出ボックスの右下水平座標であり、
【００３９】
【数５】
0006847254.tif 000006
【００４０】
は、上半身検出ボックスの右下垂直座標である。
【００４１】
ステップC01は、具体的には、次のステップを含む。
【００４２】
ステップC011:第1のパラメータを決定する。
【００４３】
第1のパラメータは
【００４４】
【数６】
0006847254.tif 000007
【００４５】
であり、ここで、Ratiodefaultはプリセットされた比である。
【００４６】
任意選択で、この実施形態におけるRatiodefaultは事前に記憶され、Ratiodefaultは人体検出ボックスの縦横比に基づきプリセットされ得る。たとえば、人体検出ボックスの縦横比が3:7であると事前決定される場合、Ratiodefaultは3/7に設定されるものとしてよく、Ratiodefaultが記憶され、それにより、このステップを実行するプロセスにおいて、Ratiodefaultは、第1のパラメータ
【００４７】
【数７】
0006847254.tif 000008
【００４８】
を計算するために抽出され得る。
【００４９】
ステップC012:第2のパラメータを決定する。
【００５０】
第2のパラメータは
【００５１】
【数８】
0006847254.tif 000009
【００５２】
である。
【００５３】
ステップC013:第3のパラメータを決定する。
【００５４】
第3のパラメータは、
【００５５】
【数９】
0006847254.tif 000010
【００５６】
である。
【００５７】
ステップC014:下半身走査領域を決定する。
【００５８】
具体的には、下半身走査領域は、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定され得る。
【００５９】
第1のパラメータ、第2のパラメータ、および第3のパラメータが取得されるときに、下半身走査領域が決定されてよく、それにより、追跡されるべき歩行者の下半身検出ボックスは、取得された下半身走査領域内で検出され、それによって、追跡されるべき歩行者の下半身検出ボックスを取得する精度および効率を改善し、追跡されるべき歩行者を追跡する効率を改善することがわかる。
【００６０】
本発明の実施形態の第1の態様の第2の実装形態に関連して、本発明の実施形態の第1の態様の第3の実装形態において、
ステップC014は、具体的には、次のように実行される。下半身走査領域は、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定され、ここで、下半身走査領域は、ScanArea=[LS,TS,RS,BS]である。
【００６１】
具体的には、LSは、下半身走査領域の左上水平座標であり、TSは、下半身走査領域の左上垂直座標であり、RSは、下半身走査領域の右下水平座標であり、BSは、下半身走査領域の右下垂直座標である。
【００６２】
より具体的には、
【００６３】
【数１０】
0006847254.tif 000011
【００６４】
である。
【００６５】
paral1、paral2、およびparal3は、プリセット値であり、paral1、paral2、およびparal3は、経験値であってもよく、または操作スタッフは、paral1、paral2、およびparal3の異なる設定を通じて下半身走査領域の異なる設定を実装してもよい。
【００６６】
imgWは、検出期間内の追跡されるべきビデオの任意の画像フレームの幅であり、imgHは、検出期間内の追跡されるべきビデオの任意の画像フレームの高さである。
【００６７】
この実施形態において示されている方法を使用することによって、追跡されるべき歩行者の下半身検出ボックスは、取得された下半身走査領域内で検出され、それにより、追跡されるべき歩行者の下半身検出ボックスを取得する精度および効率を改善し、追跡されるべき歩行者を追跡する効率を改善することができる。それに加えて、取得プロセスにおいて、下半身走査領域の異なる設定は、パラメータ(paral1、paral2、およびparal3)の異なる設定を通じて実装されるものとしてよく、これによりこの実施形態において示されている方法の高い適用可能性を達成する。このようにして、異なるアプリケーションシナリオにおいて、下半身検出ボックスの異なる向きがこれらのパラメータの異なる設定に基づき実装されてよく、これにより追跡されるべき歩行者を検出する精度を改善する。
【００６８】
本発明の実施形態の第1の態様の第1の実装形態から本発明の実施形態の第1の態様の第3の実装形態までのうちのいずれか1つによる方法に関連して、本発明の実施形態の第1の態様の第4の実装形態において、
下半身検出ボックスは
【００６９】
【数１１】
0006847254.tif 000012
【００７０】
であり、ここで、
【００７１】
【数１２】
0006847254.tif 000013
【００７２】
は、下半身検出ボックスの左上水平座標であり、
【００７３】
【数１３】
0006847254.tif 000014
【００７４】
は、下半身検出ボックスの左上垂直座標であり、
【００７５】
【数１４】
0006847254.tif 000015
【００７６】
は、下半身検出ボックスの右下水平座標であり、
【００７７】
【数１５】
0006847254.tif 000016
【００７８】
は、下半身検出ボックスの右下垂直座標である。
【００７９】
ステップCは、次のステップを含む。
【００８０】
ステップC11:検出期間全身ボックスの左上水平座標を決定する。
【００８１】
具体的には、検出期間全身ボックスの左上水平座標は
【００８２】
【数１６】
0006847254.tif 000017
【００８３】
である。
【００８４】
ステップC12:検出期間全身ボックスの左上垂直座標を決定する。
【００８５】
具体的には、検出期間全身ボックスの左上垂直座標は
【００８６】
【数１７】
0006847254.tif 000018
【００８７】
である。
【００８８】
ステップC13:検出期間全身ボックスの右下水平座標を決定する。
【００８９】
具体的には、検出期間全身ボックスの右下水平座標は
【００９０】
【数１８】
0006847254.tif 000019
【００９１】
である。
【００９２】
ステップC14:検出期間全身ボックスの右下垂直座標を決定する。
【００９３】
具体的には、検出期間全身ボックスの右下垂直座標は
【００９４】
【数１９】
0006847254.tif 000020
【００９５】
である。
【００９６】
ステップC15:検出期間全身ボックスを決定する。
【００９７】
具体的には、検出期間全身ボックスは
【００９８】
【数２０】
0006847254.tif 000021
【００９９】
である。
【０１００】
この実施形態において示されている方法を使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを組み合わせることによって取得され、それにより、追跡されるべき歩行者が異常な姿勢で出現する、たとえば、脚を広く開いている、したがって、縦横比が増大する場合であっても、この実施形態では追跡されるべき歩行者の上半身および下半身が別々に検出され得るので正確な検出期間全身ボックスが取得され、それにより追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを別々に取得できる、言い換えると、検出期間全身ボックスにおける上半身検出ボックスと下半身検出ボックスとの割合が追跡されるべき歩行者の姿勢により変わることがわかる。歩行プロセスにおける追跡されるべき歩行者の姿勢の変化は、変化し得る上半身検出ボックスと下半身検出ボックスとの割合に基づき正確に捕捉され、これにより追跡されるべき歩行者が追跡されるべき歩行者の姿勢が変化したことで追跡され得ない場合を効果的に回避することができることがわかる。
【０１０１】
本発明の実施形態の第1の態様の第4の実装形態に関連して、本発明の実施形態の第1の態様の第5の実装形態において、
ステップCの後に、次のステップがさらに実行される必要がある。
【０１０２】
ステップD01:検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比を決定する。
【０１０３】
具体的には、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比は
【０１０４】
【数２１】
0006847254.tif 000022
【０１０５】
である。
【０１０６】
ステップD02:上半身検出ボックスの高さと検出期間全身ボックスの高さとの比を決定する。
【０１０７】
具体的には、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比は
【０１０８】
【数２２】
0006847254.tif 000023
【０１０９】
である。
【０１１０】
ステップD03:追跡期間全身ボックスを決定する。
【０１１１】
具体的には、追跡期間全身ボックスは
【０１１２】
【数２３】
0006847254.tif 000024
【０１１３】
に基づき決定される。
【０１１４】
この実施形態において示されている方法を使用することによって、追跡期間全身ボックスは、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比および上半身検出ボックスの高さと検出期間全身ボックスの高さとの比に基づき決定され得る。検出期間全身ボックスは、追跡されるべき歩行者の姿勢の変化を正確に捕捉できるので、歩行プロセスにおける追跡されるべき歩行者の姿勢の変化は、検出期間全身ボックスを使用することによって取得される追跡期間全身ボックスに基づき正確に捕捉され、それにより追跡期間全身ボックスを使用することによって追跡されるべき歩行者を追跡する精度を改善し、追跡されるべき歩行者の姿勢が変化するため追跡されるべき歩行者が追跡できない場合を効果的に回避することができる。
【０１１５】
本発明の実施形態の第1の態様の第2の実装形態または本発明の実施形態の第1の態様の第3の実装形態による方法に関連して、本発明の実施形態の第1の態様の第6の実装形態において、
ステップC01の後に、次のステップがさらに実行される必要がある。
【０１１６】
ステップC21:検出期間全身ボックスの左上水平座標を決定する。
【０１１７】
具体的には、下半身検出ボックスが、下半身走査領域内で下半身検出を実行することによって取得されない場合、検出期間全身ボックスの左上水平座標が決定される。
【０１１８】
より具体的には、検出期間全身ボックスの左上水平座標は
【０１１９】
【数２４】
0006847254.tif 000025
【０１２０】
である。
【０１２１】
ステップC22:検出期間全身ボックスの左上垂直座標を決定する。
【０１２２】
具体的には、検出期間全身ボックスの左上垂直座標は
【０１２３】
【数２５】
0006847254.tif 000026
【０１２４】
である。
【０１２５】
ステップC23:検出期間全身ボックスの右下水平座標を決定する。
【０１２６】
具体的には、検出期間全身ボックスの右下水平座標は
【０１２７】
【数２６】
0006847254.tif 000027
【０１２８】
である。
【０１２９】
ステップC24:検出期間全身ボックスの右下垂直座標を決定する。
【０１３０】
具体的には、検出期間全身ボックスの右下垂直座標は
【０１３１】
【数２７】
0006847254.tif 000028
【０１３２】
である。
【０１３３】
ステップC25:検出期間全身ボックスが
【０１３４】
【数２８】
0006847254.tif 000029
【０１３５】
であると決定する。
【０１３６】
この実施形態において示されている方法を使用することによって、下半身検出ボックスが下半身走査領域内で取得されない場合であっても、下半身検出ボックスは上半身検出ボックスに基づき計算され得、それにより、下半身検出ボックスが検出されないときでも検出期間全身ボックスが取得され、それによって、追跡されるべき歩行者の追跡を効果的に確実にし、追跡されるべき歩行者の下半身が検出できないことで追跡されるべき歩行者が追跡され得ない場合を回避し得ることがわかる。それに加えて、歩行プロセスにおける追跡されるべき歩行者の姿勢の変化が正確に捕捉され、これにより追跡されるべき歩行者が追跡されるべき歩行者の姿勢が変化したことで追跡され得ない場合を回避することができる。
【０１３７】
本発明の実施形態の第1の態様の第6の実装形態に関連して、本発明の実施形態の第1の態様の第7の実装形態において、
この方法は、次のステップをさらに含む。
【０１３８】
ステップC31:検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比を取得する。
【０１３９】
具体的には、検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比は
【０１４０】
【数２９】
0006847254.tif 000030
【０１４１】
である。
【０１４２】
ステップC32:上半身検出ボックスの高さと検出期間全身ボックスの高さとの比を決定する。
【０１４３】
具体的には、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比は
【０１４４】
【数３０】
0006847254.tif 000031
【０１４５】
である。
【０１４６】
ステップC33:追跡期間全身ボックスを、
【０１４７】
【数３１】
0006847254.tif 000032
【０１４８】
に基づき、決定する。
【０１４９】
この実施形態において示されている方法を使用することによって、下半身検出ボックスが下半身走査領域内で取得されない場合であっても、追跡期間全身ボックスはそれでも取得され、それにより、追跡されるべき歩行者の追跡を効果的に確実にすることができることがわかる。
【０１５０】
本発明の実施形態の第1の態様の第5の実装形態または本発明の実施形態の第1の態様の第7の実装形態による方法に関連して、本発明の実施形態の第1の態様の第8の実装形態において、
上半身追跡ボックスは
【０１５１】
【数３２】
0006847254.tif 000033
【０１５２】
であり、ここで、
【０１５３】
【数３３】
0006847254.tif 000034
【０１５４】
は、上半身追跡ボックスの左上水平座標であり、
【０１５５】
【数３４】
0006847254.tif 000035
【０１５６】
は、上半身追跡ボックスの左上垂直座標であり、
【０１５７】
【数３５】
0006847254.tif 000036
【０１５８】
は、上半身追跡ボックスの右下水平座標であり、
【０１５９】
【数３６】
0006847254.tif 000037
【０１６０】
は、上半身追跡ボックスの右下垂直座標である。
【０１６１】
ステップC33は、具体的には、次のステップを含む。
【０１６２】
ステップC331:追跡期間全身ボックスの左上水平座標を決定する。
【０１６３】
具体的には、
【０１６４】
【数３７】
0006847254.tif 000038
【０１６５】
である場合、追跡期間全身ボックスの左上水平座標は
【０１６６】
【数３８】
0006847254.tif 000039
【０１６７】
である。
【０１６８】
ステップC332:追跡期間全身ボックスの左上垂直座標を決定する。
【０１６９】
具体的には、追跡期間全身ボックスの左上垂直座標は
【０１７０】
【数３９】
0006847254.tif 000040
【０１７１】
である。
【０１７２】
ステップC333:追跡期間全身ボックスの右下水平座標を決定する。
【０１７３】
具体的には、追跡期間全身ボックスの右下水平座標は
【０１７４】
【数４０】
0006847254.tif 000041
【０１７５】
である。
【０１７６】
ステップC334:追跡期間全身ボックスの右下垂直座標を決定する。
【０１７７】
具体的には、追跡期間全身ボックスの右下垂直座標は
【０１７８】
【数４１】
0006847254.tif 000042
【０１７９】
である。
【０１８０】
より具体的には、
【０１８１】
【数４２】
0006847254.tif 000043
【０１８２】
である。
【０１８３】
ステップC335:追跡期間全身ボックスを決定する。
【０１８４】
具体的には、追跡期間全身ボックスは
【０１８５】
【数４３】
0006847254.tif 000044
【０１８６】
である。
【０１８７】
この実施形態において示されている方法を使用することによって、検出期間全身ボックスの左上水平座標
【０１８８】
【数４４】
0006847254.tif 000045
【０１８９】
が上半身検出ボックスの左上水平座標
【０１９０】
【数４５】
0006847254.tif 000046
【０１９１】
に等しいときに、追跡期間全身ボックスが計算され得る。このようにして、追跡されるべき歩行者の姿勢が大きく変化した場合であっても、追跡期間全身ボックスがそれでも取得され、これにより追跡されるべき歩行者が追跡され得ない場合を回避し、追跡されるべき歩行者を追跡する精度を改善することができる。
【０１９２】
本発明の実施形態の第1の態様から本発明の実施形態の第1の態様の第8の実装形態のうちのいずれか1つによる方法に関連して、本発明の実施形態の第1の態様の第9の実装形態において、
ステップDは、具体的には、次のステップを含む。
【０１９３】
ステップD11:上半身検出ボックスを中心として使用することによって複数の粒子を散乱させる。
【０１９４】
具体的には、複数の粒子は、上半身検出ボックスを中心として使用することによって散乱され、複数の粒子のうちのいずれか1つの幅と高さとの比が上半身検出ボックスの幅と上半身検出ボックスの高さとの比と同じである。
【０１９５】
上半身検出ボックスが追跡されるべきビデオの検出期間内に決定される場合、追跡されるべき歩行者は、追跡されるべきビデオの追跡期間内に追跡される。追跡されるべき歩行者は追跡されるべきビデオ内で動いており、検出期間および追跡期間内の追跡されるべき歩行者の配置は異なる。したがって、追跡されるべき歩行者を追跡するために、複数の粒子が追跡されるべき歩行者の上半身検出ボックスの周りに散乱される必要があり、それにより追跡されるべき歩行者を追跡する。
【０１９６】
ステップD12:上半身追跡ボックスを決定する。
【０１９７】
具体的には、上半身追跡ボックスは、複数の粒子のうちで上半身検出ボックスに最も類似する粒子である。
【０１９８】
この実施形態において示されている方法を使用することによって、複数の粒子は、上半身検出ボックスを中心として使用することによって散乱され、それにより正確な上半身追跡ボックスが追跡期間内に取得され得る。それに加えて、上半身追跡ボックスは、上半身検出ボックスを使用することによって取得され、それにより追跡されるべき歩行者の異なる姿勢が照合され、それによって追跡されるべき歩行者を正確に追跡することができる。
【０１９９】
本発明の実施形態の第1の態様の第8の実装形態に関連して、本発明の実施形態の第1の態様の第10の実装形態において、
ステップEは、具体的には、次のステップを含む。
【０２００】
ステップE11:追跡期間全身ボックスの左上水平座標を決定する。
【０２０１】
具体的には、
【０２０２】
【数４６】
0006847254.tif 000047
【０２０３】
である場合、追跡期間全身ボックスの左上水平座標は
【０２０４】
【数４７】
0006847254.tif 000048
【０２０５】
である。
【０２０６】
ステップE12:追跡期間全身ボックスの左上垂直座標を決定する。
【０２０７】
具体的には、追跡期間全身ボックスの左上垂直座標は
【０２０８】
【数４８】
0006847254.tif 000049
【０２０９】
である。
【０２１０】
ステップE13:追跡期間全身ボックスの右下水平座標を決定する。
【０２１１】
具体的には、追跡期間全身ボックスの右下水平座標は
【０２１２】
【数４９】
0006847254.tif 000050
【０２１３】
である。
【０２１４】
ステップE14:追跡期間全身ボックスの右下垂直座標を決定する。
【０２１５】
具体的には、追跡期間全身ボックスの右下垂直座標は
【０２１６】
【数５０】
0006847254.tif 000051
【０２１７】
である。
【０２１８】
より具体的には、
【０２１９】
【数５１】
0006847254.tif 000052
【０２２０】
である。
【０２２１】
ステップE15:追跡期間全身ボックスを決定する。
【０２２２】
具体的には、追跡期間全身ボックスは
【０２２３】
【数５２】
0006847254.tif 000053
【０２２４】
である。
【０２２５】
この実施形態において示されている方法を使用することによって、検出期間全身ボックスの左上水平座標
【０２２６】
【数５３】
0006847254.tif 000054
【０２２７】
が下半身検出ボックスの左上水平座標
【０２２８】
【数５４】
0006847254.tif 000055
【０２２９】
に等しいときに、追跡期間全身ボックスが計算され得る。このようにして、追跡されるべき歩行者の姿勢が大きく変化した場合であっても、追跡期間全身ボックスがそれでも取得され、これにより追跡されるべき歩行者が追跡され得ない場合を回避し、追跡されるべき歩行者を追跡する精度を改善することができる。
【０２３０】
本発明の実施形態の第1の態様から本発明の実施形態の第1の態様の第10の実装形態のいずれか1つによる方法に関連して、本発明の実施形態の第1の態様の第11の実装形態において、
この方法は、次のステップをさらに含む。
【０２３１】
ステップE21:追跡されるべきビデオのターゲット画像フレームシーケンスを取得する。
【０２３２】
ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、ターゲット画像フレームシーケンスは、検出期間の前にある。
【０２３３】
ステップE22:追跡されるべきビデオの背景領域をターゲット画像フレームシーケンスに基づき取得する。
【０２３４】
具体的には、ターゲット画像フレームシーケンス内の任意の画像フレームにおいて、静的背景モデルを使用することによって静止している物体が取得され、静止している物体は追跡されるべきビデオの背景領域として決定される。
【０２３５】
ステップE23:追跡されるべきビデオの任意の画像フレームの前景領域を取得する。
【０２３６】
具体的には、追跡されるべきビデオの画像フレームの前景領域は、検出期間内に追跡されるべきビデオの画像フレームから背景領域を差し引くことによって取得される。
【０２３７】
具体的には、追跡されるべきビデオの背景領域が取得されたときに、追跡されるべきビデオの画像フレームの任意の領域と背景領域との間の差分が取得され、それによりターゲット値を取得する。追跡されるべきビデオの画像フレームの異なる領域は各々1つのターゲット値に対応していることがわかる。
【０２３８】
ターゲット値がプリセット閾値以上である場合、これは、追跡されるべきビデオの画像フレームの領域であり、ターゲット値に対応している領域がモーション領域であることを示している。
【０２３９】
モーション領域が検出されたときに、モーション領域は、追跡されるべきビデオの画像フレームの前景領域として決定される。
【０２４０】
ステップE24:追跡されるべき歩行者を取得する。
【０２４１】
具体的には、追跡されるべき歩行者は、追跡されるべきビデオの画像フレームの前景領域を検出することによって取得される。
【０２４２】
本発明の実施形態の第1の態様の第11の実装形態に関連して、本発明の実施形態の第1の態様の第12の実装形態において、
ステップBは、次のステップを含む。
【０２４３】
ステップB11:ターゲット画像フレームを決定する。
【０２４４】
具体的には、ターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームである。
【０２４５】
ステップB12:ターゲット画像フレームの前景領域内で上半身検出ボックスを取得する。
【０２４６】
この実施形態において示されている方法を使用することによって、追跡されるべき歩行者は、追跡されるべきビデオの画像フレームの前景領域内で検出され、追跡され得る、言い換えると、この実施形態において示されている追跡されるべき歩行者の検出プロセスおよび追跡プロセスは両方とも、画像の前景領域内で実行されることがわかる。したがって、処理される必要のある画像窓の数は大幅に減らされる、言い換えると、追跡されるべき歩行者を探索するための探索空間が縮小され、それにより、追跡されるべき歩行者を追跡するために必要な持続時間を短縮し、追跡されるべき歩行者を追跡する効率を改善する。
【０２４７】
本発明の実施形態の第2の態様は、第1の決定ユニット、第1の取得ユニット、第2の取得ユニット、第3の取得ユニット、および第4の取得ユニットを含む、電子デバイスを提供する。
【０２４８】
第1の決定ユニットは、追跡されるべきビデオの検出期間および追跡期間を決定するように構成される。
【０２４９】
この実施形態において示されている第1の決定ユニットは、本発明の実施形態の第1の態様において示されているステップAを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０２５０】
第1の取得ユニットは、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを、検出期間内に取得するように構成される。
【０２５１】
この実施形態において示されている第1の取得ユニットは、本発明の実施形態の第1の態様において示されているステップBを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０２５２】
第2の取得ユニットは、追跡されるべき歩行者の検出期間全身ボックスを、上半身検出ボックスに基づき取得するように構成される。
【０２５３】
この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップCを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０２５４】
第3の取得ユニットは、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身追跡ボックスを、追跡期間内に取得するように構成される。
【０２５５】
この実施形態において示されている第3の取得ユニットは、本発明の実施形態の第1の態様において示されているステップDを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０２５６】
第4の取得ユニットは、上半身追跡ボックスに対応する追跡期間全身ボックスを、検出期間全身ボックスに基づき取得するように構成され、追跡期間全身ボックスは、追跡されるべき歩行者を追跡するために使用される。
【０２５７】
この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップEを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０２５８】
この実施形態において示されている電子デバイスを使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスに基づき取得され、検出期間全身ボックスの縦横比は変化し得る。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で出現する場合でも、追跡されるべき歩行者の正確な追跡期間全身ボックスは、それでも、この実施形態において示されている電子デバイスを使用することによって取得されるものとしてよく、したがって、追跡されるべき歩行者が異常な姿勢で出現したときに追跡されるべき歩行者を追跡するための準備を依然として行うことができる。
【０２５９】
本発明の実施形態の第2の態様に関連して、本発明の実施形態の第2の態様の第1の実装形態において、電子デバイスは、さらに次のことを含む。
第2の取得ユニットは、上半身検出ボックスに基づき下半身走査領域を取得し、下半身検出ボックスが、下半身走査領域内で下半身検出を実行することによって取得される場合、検出期間全身ボックスを、上半身検出ボックスおよび下半身検出ボックスに基づき取得するように特に構成される。
【０２６０】
この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC01とステップC02とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０２６１】
この実施形態において示されている電子デバイスを使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを組み合わせることによって取得される。取得された検出期間全身ボックスの縦横比が変化し得ることがわかる。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で、たとえば、追跡されるべき歩行者が脚を広く開いている姿勢で出現する、したがって、追跡されるべき歩行者の上半身と下半身との割合が変わる場合であっても、追跡されるべき歩行者の正確な検出期間全身ボックスは、取得された上半身検出ボックスと取得された下半身検出ボックスとを組み合わせることによってそれでも取得され、それにより追跡されるべき歩行者を追跡する準備を行うことができる。
【０２６２】
本発明の実施形態の第2の態様の第1の実装形態に関連して、本発明の実施形態の第2の態様の第2の実装形態において、
上半身検出ボックスは
【０２６３】
【数５５】
0006847254.tif 000056
【０２６４】
であり、ここで、
【０２６５】
【数５６】
0006847254.tif 000057
【０２６６】
は、上半身検出ボックスの左上水平座標であり、
【０２６７】
【数５７】
0006847254.tif 000058
【０２６８】
は、上半身検出ボックスの左上垂直座標であり、
【０２６９】
【数５８】
0006847254.tif 000059
【０２７０】
は、上半身検出ボックスの右下水平座標であり、
【０２７１】
【数５９】
0006847254.tif 000060
【０２７２】
は、上半身検出ボックスの右下垂直座標であり、
上半身検出ボックスに基づき下半身走査領域を取得するときに、第2の取得ユニットは、第1のパラメータを決定し、ここで第1のパラメータは
【０２７３】
【数６０】
0006847254.tif 000061
【０２７４】
であり、ここでRatiodefaultはプリセットされた比であり、第2のパラメータを決定し、ここで第2のパラメータは
【０２７５】
【数６１】
0006847254.tif 000062
【０２７６】
であり、第3のパラメータを決定し、ここで第3のパラメータは
【０２７７】
【数６２】
0006847254.tif 000063
【０２７８】
であり、下半身走査領域を、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定する、ように特に構成される。
【０２７９】
この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC011と、ステップC012と、ステップC013と、ステップC014とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０２８０】
第1のパラメータ、第2のパラメータ、および第3のパラメータを取得するときに、この実施形態において示されている電子デバイスは下半身走査領域を決定するものとしてよく、それにより、追跡されるべき歩行者の下半身検出ボックスは取得された下半身走査領域内で検出され、それによって、追跡されるべき歩行者の下半身検出ボックスを取得する精度および効率を改善し、追跡されるべき歩行者を追跡する効率を改善することがわかる。
【０２８１】
本発明の実施形態の第2の態様の第2の実装形態に関連して、本発明の実施形態の第2の態様の第3の実装形態において、上半身検出ボックスに基づき下半身走査領域を取得するときに、第2の取得ユニットは、下半身走査領域を、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定するように特に構成され、ここで、下半身走査領域は、ScanArea=[LS,TS,RS,BS]であり、LSは、下半身走査領域の左上水平座標であり、TSは、下半身走査領域の左上垂直座標であり、RSは、下半身走査領域の右下水平座標であり、BSは、下半身走査領域の右下垂直座標であり、ここで、
【０２８２】
【数６３】
0006847254.tif 000064
【０２８３】
であり、
paral1、paral2、およびparal3は、プリセット値であり、imgWは、検出期間内の追跡されるべきビデオの画像フレームの幅であり、imgHは、検出期間内の追跡されるべきビデオの画像フレームの高さである。
【０２８４】
この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC014を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０２８５】
この実施形態において示されている電子デバイスを使用することによって、追跡されるべき歩行者の下半身検出ボックスは、取得された下半身走査領域内で検出され、それにより、追跡されるべき歩行者の下半身検出ボックスを取得する精度および効率を改善し、追跡されるべき歩行者を追跡する効率を改善することができる。それに加えて、取得プロセスにおいて、下半身走査領域の異なる設定は、パラメータ(paral1、paral2、およびparal3)の異なる設定を通じて実装されるものとしてよく、これによりこの実施形態において示されている電子デバイスの高い適用可能性を達成する。このようにして、異なるアプリケーションシナリオにおいて、下半身検出ボックスの異なる向きがこれらのパラメータの異なる設定に基づき実装されてよく、これにより追跡されるべき歩行者を検出する精度を改善する。
【０２８６】
本発明の実施形態の第2の態様の第1の実装形態から本発明の実施形態の第2の態様の第3の実装形態までのうちのいずれか1つによる方法に関連して、本発明の実施形態の第2の態様の第4の実装形態において、
下半身検出ボックスは
【０２８７】
【数６４】
0006847254.tif 000065
【０２８８】
であり、ここで
【０２８９】
【数６５】
0006847254.tif 000066
【０２９０】
は、下半身検出ボックスの左上水平座標であり、
【０２９１】
【数６６】
0006847254.tif 000067
【０２９２】
は、下半身検出ボックスの左上垂直座標であり、
【０２９３】
【数６７】
0006847254.tif 000068
【０２９４】
は、下半身検出ボックスの右下水平座標であり、
【０２９５】
【数６８】
0006847254.tif 000069
【０２９６】
は、下半身検出ボックスの右下垂直座標であり、
上半身検出ボックスおよび下半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニットは、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は
【０２９７】
【数６９】
0006847254.tif 000070
【０２９８】
であり、検出期間全身ボックスの左上垂直座標が
【０２９９】
【数７０】
0006847254.tif 000071
【０３００】
であると決定し、検出期間全身ボックスの右下水平座標が
【０３０１】
【数７１】
0006847254.tif 000072
【０３０２】
であると決定し、検出期間全身ボックスの右下垂直座標が
【０３０３】
【数７２】
0006847254.tif 000073
【０３０４】
であると決定し、検出期間全身ボックスが
【０３０５】
【数７３】
0006847254.tif 000074
【０３０６】
であると決定する、ように特に構成される。
【０３０７】
この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC11と、ステップC12と、ステップC13と、ステップC14と、ステップC15とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０３０８】
この実施形態において示されている電子デバイスを使用することによって、取得された検出期間全身ボックスは追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを組み合わせることによって取得され、それにより、追跡されるべき歩行者が異常な姿勢で出現する、たとえば、脚を広く開いている、したがって、縦横比が増大する場合であっても、この実施形態では追跡されるべき歩行者の上半身および下半身が別々に検出され得るので正確な検出期間全身ボックスが取得され、それにより追跡されるべき歩行者の上半身検出ボックスと追跡されるべき歩行者の下半身検出ボックスとを別々に取得できる、言い換えると、検出期間全身ボックスにおける上半身検出ボックスと下半身検出ボックスとの割合が追跡されるべき歩行者の姿勢により変わることがわかる。歩行プロセスにおける追跡されるべき歩行者の姿勢の変化は、変化し得る上半身検出ボックスと下半身検出ボックスとの割合に基づき正確に捕捉され、これにより追跡されるべき歩行者が追跡されるべき歩行者の姿勢が変化したことで追跡され得ない場合を効果的に回避することができることがわかる。
【０３０９】
本発明の実施形態の第2の態様の第4の実装形態に関連して、本発明の実施形態の第2の態様の第5の実装形態において、第4の取得ユニットは、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比が
【０３１０】
【数７４】
0006847254.tif 000075
【０３１１】
であると決定し、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比が
【０３１２】
【数７５】
0006847254.tif 000076
【０３１３】
であると決定し、追跡期間全身ボックスを、
【０３１４】
【数７６】
0006847254.tif 000077
【０３１５】
に基づき、決定する、ように特に構成される。
【０３１６】
この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップD01と、ステップD02と、ステップD03とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０３１７】
この実施形態において示されている電子デバイスを使用することによって、追跡期間全身ボックスは、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比および上半身検出ボックスの高さと検出期間全身ボックスの高さとの比に基づき決定され得る。検出期間全身ボックスは、追跡されるべき歩行者の姿勢の変化を正確に捕捉できるので、歩行プロセスにおける追跡されるべき歩行者の姿勢の変化は、検出期間全身ボックスを使用することによって取得される追跡期間全身ボックスに基づき正確に捕捉され、それにより追跡期間全身ボックスを使用することによって追跡されるべき歩行者を追跡する精度を改善し、追跡されるべき歩行者の姿勢が変化するため追跡されるべき歩行者が追跡できない場合を効果的に回避することができる。
【０３１８】
本発明の実施形態の第2の態様の第2の実装形態または本発明の実施形態の第2の態様の第3の実装形態による電子デバイスに関連して、本発明の実施形態の第2の態様の第6の実装形態において、上半身検出ボックスおよび下半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニットは、下半身検出ボックスが下半身走査領域内で下半身検出を実行することによって取得されない場合に、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は
【０３１９】
【数７７】
0006847254.tif 000078
【０３２０】
であり、検出期間全身ボックスの左上垂直座標が
【０３２１】
【数７８】
0006847254.tif 000079
【０３２２】
であると決定し、検出期間全身ボックスの右下水平座標が
【０３２３】
【数７９】
0006847254.tif 000080
【０３２４】
であると決定し、検出期間全身ボックスの右下垂直座標が
【０３２５】
【数８０】
0006847254.tif 000081
【０３２６】
であると決定し、検出期間全身ボックスが
【０３２７】
【数８１】
0006847254.tif 000082
【０３２８】
であると決定する、ように特に構成される。
【０３２９】
この実施形態において示されている第2の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC21と、ステップC22と、ステップC23と、ステップC24と、ステップC25とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０３３０】
この実施形態において示されている電子デバイスを使用することによって、下半身検出ボックスが下半身走査領域内で取得されない場合であっても、下半身検出ボックスは上半身検出ボックスに基づき計算されてよく、それにより、下半身検出ボックスが検出されないときでも検出期間全身ボックスが取得され、それによって、追跡されるべき歩行者の追跡を効果的に確実にし、追跡されるべき歩行者の下半身が検出できないことで追跡されるべき歩行者が追跡され得ない場合を回避し得ることがわかる。それに加えて、歩行プロセスにおける追跡されるべき歩行者の姿勢の変化が正確に捕捉され、これにより追跡されるべき歩行者が追跡されるべき歩行者の姿勢が変化したことで追跡され得ない場合を回避することができる。
【０３３１】
本発明の実施形態の第2の態様の第6の実装形態に関連して、本発明の実施形態の第2の態様の第7の実装形態において、第4の取得ユニットは、検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比
【０３３２】
【数８２】
0006847254.tif 000083
【０３３３】
を取得し、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比が
【０３３４】
【数８３】
0006847254.tif 000084
【０３３５】
であると決定し、追跡期間全身ボックスを、
【０３３６】
【数８４】
0006847254.tif 000085
【０３３７】
に基づき、決定する、ように特に構成される。
【０３３８】
この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC31と、ステップC32と、ステップC33とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０３３９】
この実施形態において示されている電子デバイスを使用することによって、下半身検出ボックスが下半身走査領域内で取得されない場合であっても、追跡期間全身ボックスはそれでも取得され、それにより、追跡されるべき歩行者の追跡を効果的に確実にすることができることがわかる。
【０３４０】
本発明の実施形態の第2の態様の第5の実装形態または本発明の実施形態の第2の態様の第7の実装形態による電子デバイスに関連して、本発明の実施形態の第2の態様の第8の実装形態において、
上半身追跡ボックスは
【０３４１】
【数８５】
0006847254.tif 000086
【０３４２】
であり、ここで、
【０３４３】
【数８６】
0006847254.tif 000087
【０３４４】
は、上半身追跡ボックスの左上水平座標であり、
【０３４５】
【数８７】
0006847254.tif 000088
【０３４６】
は、上半身追跡ボックスの左上垂直座標であり、
【０３４７】
【数８８】
0006847254.tif 000089
【０３４８】
は、上半身追跡ボックスの右下水平座標であり、
【０３４９】
【数８９】
0006847254.tif 000090
【０３５０】
は、上半身追跡ボックスの右下垂直座標であり、
追跡期間全身ボックスを
【０３５１】
【数９０】
0006847254.tif 000091
【０３５２】
に基づき決定するときに、第4の取得ユニットは、追跡期間全身ボックスの左上水平座標を決定し、ここで、
【０３５３】
【数９１】
0006847254.tif 000092
【０３５４】
である場合、追跡期間全身ボックスの左上水平座標は
【０３５５】
【数９２】
0006847254.tif 000093
【０３５６】
であり、追跡期間全身ボックスの左上垂直座標が
【０３５７】
【数９３】
0006847254.tif 000094
【０３５８】
であると決定し、追跡期間全身ボックスの右下水平座標が
【０３５９】
【数９４】
0006847254.tif 000095
【０３６０】
であると決定し、追跡期間全身ボックスの右下垂直座標が
【０３６１】
【数９５】
0006847254.tif 000096
【０３６２】
であると決定し、ここで、
【０３６３】
【数９６】
0006847254.tif 000097
【０３６４】
であり、追跡期間全身ボックスが
【０３６５】
【数９７】
0006847254.tif 000098
【０３６６】
であると決定する、ように特に構成される。
【０３６７】
この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップC331と、ステップC332と、ステップC333と、ステップC334と、ステップC335とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０３６８】
この実施形態において示されている電子デバイスを使用することによって、検出期間全身ボックスの左上水平座標
【０３６９】
【数９８】
0006847254.tif 000099
【０３７０】
が上半身検出ボックスの左上水平座標
【０３７１】
【数９９】
0006847254.tif 000100
【０３７２】
に等しいときに、追跡期間全身ボックスが計算され得る。このようにして、追跡されるべき歩行者の姿勢が大きく変化した場合であっても、追跡期間全身ボックスがそれでも取得され、これにより追跡されるべき歩行者が追跡され得ない場合を回避し、追跡されるべき歩行者を追跡する精度を改善することができる。
【０３７３】
本発明の実施形態の第2の態様から本発明の実施形態の第2の態様の第8の実装形態のうちのいずれか1つによる電子デバイスに関連して、本発明の実施形態の第2の態様の第9の実装形態において、
第3の取得ユニットは、上半身検出ボックスを中心として使用することによって複数の粒子を散乱させ、ここで、複数の粒子のうちのいずれか1つの幅と高さとの比が上半身検出ボックスの幅と上半身検出ボックスの高さとの比と同じであり、上半身追跡ボックスを決定し、ここで、上半身追跡ボックスは複数の粒子のうちで上半身検出ボックスに最も類似する粒子である、ように特に構成される。
【０３７４】
この実施形態において示されている第3の取得ユニットは、本発明の実施形態の第1の態様において示されているステップD11とステップD12とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０３７５】
この実施形態において示されている電子デバイスを使用することによって、複数の粒子は、上半身検出ボックスを中心として使用することによって散乱され、それにより正確な上半身追跡ボックスが追跡期間内に取得され得る。それに加えて、上半身追跡ボックスは、上半身検出ボックスを使用することによって取得され、それにより追跡されるべき歩行者の異なる姿勢が照合され、それによって追跡されるべき歩行者を正確に追跡することができる。
【０３７６】
本発明の実施形態の第2の態様の第8の実装形態に関連して、本発明の実施形態の第2の態様の第10の実装形態において、
第4の取得ユニットは、追跡期間全身ボックスの左上水平座標を決定し、ここで、
【０３７７】
【数１００】
0006847254.tif 000101
【０３７８】
である場合、追跡期間全身ボックスの左上水平座標は
【０３７９】
【数１０１】
0006847254.tif 000102
【０３８０】
であり、追跡期間全身ボックスの左上垂直座標が
【０３８１】
【数１０２】
0006847254.tif 000103
【０３８２】
であると決定し、追跡期間全身ボックスの右下水平座標が
【０３８３】
【数１０３】
0006847254.tif 000104
【０３８４】
であると決定し、追跡期間全身ボックスの右下垂直座標が
【０３８５】
【数１０４】
0006847254.tif 000105
【０３８６】
であると決定し、ここで、
【０３８７】
【数１０５】
0006847254.tif 000106
【０３８８】
であり、追跡期間全身ボックスが
【０３８９】
【数１０６】
0006847254.tif 000107
【０３９０】
であると決定する、ように特に構成される。
【０３９１】
この実施形態において示されている第4の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE11と、ステップE12と、ステップE13と、ステップE14と、ステップE15とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０３９２】
この実施形態において示されている電子デバイスを使用することによって、検出期間全身ボックスの左上水平座標
【０３９３】
【数１０７】
0006847254.tif 000108
【０３９４】
が下半身検出ボックスの左上水平座標
【０３９５】
【数１０８】
0006847254.tif 000109
【０３９６】
に等しいときに、追跡期間全身ボックスが計算され得る。このようにして、追跡されるべき歩行者の姿勢が大きく変化した場合であっても、追跡期間全身ボックスがそれでも取得され、これにより追跡されるべき歩行者が追跡され得ない場合を回避し、追跡されるべき歩行者を追跡する精度を改善することができる。
【０３９７】
本発明の実施形態の第2の態様から本発明の実施形態の第2の態様の第10の実装形態のいずれか1つによる電子デバイスに関連して、本発明の実施形態の第2の態様の第11の実装形態において、電子デバイスは、第5の取得ユニットと、第6の取得ユニットと、第7の取得ユニットと、第8の取得ユニットとをさらに備える。
【０３９８】
第5の取得ユニットは、追跡されるべきビデオのターゲット画像フレームシーケンスを取得するように構成され、ここで、ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、ターゲット画像フレームシーケンスは、検出期間の前にある。
【０３９９】
この実施形態において示されている第5の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE21を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０４００】
第6の取得ユニットは、追跡されるべきビデオの背景領域をターゲット画像フレームシーケンスに基づき取得するように構成される。
【０４０１】
この実施形態において示されている第6の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE22を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０４０２】
第7の取得ユニットは、追跡されるべきビデオの任意の画像フレームの前景領域を、検出期間内に追跡されるべきビデオの画像フレームから背景領域を差し引くことによって取得するように構成される。
【０４０３】
この実施形態において示されている第7の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE23を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０４０４】
第8の取得ユニットは、追跡されるべき歩行者を、追跡されるべきビデオの画像フレームの前景領域を検出することによって取得するように構成される。
【０４０５】
この実施形態において示されている第8の取得ユニットは、本発明の実施形態の第1の態様において示されているステップE24を実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０４０６】
本発明の実施形態の第2の態様の第11の実装形態に関連して、本発明の実施形態の第2の態様の第12の実装形態において、
第1の取得ユニットは、ターゲット画像フレームを決定し、ここで、ターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームであり、ターゲット画像フレームの前景領域内で上半身検出ボックスを取得する、ように特に構成される。
【０４０７】
この実施形態において示されている第1の取得ユニットは、本発明の実施形態の第1の態様において示されているステップB11とステップB12とを実行するように構成される。具体的な実行プロセスについては、本発明の実施形態の第1の態様を参照されたい。詳細は説明されない。
【０４０８】
この実施形態において示されている電子デバイスを使用することによって、追跡されるべき歩行者は、追跡されるべきビデオの画像フレームの前景領域内で検出され、追跡され得る、言い換えると、この実施形態において示されている追跡されるべき歩行者の検出プロセスおよび追跡プロセスは両方とも、画像の前景領域内で実行されることがわかる。したがって、処理される必要のある画像窓の数は大幅に減らされる、言い換えると、追跡されるべき歩行者を探索するための探索空間が縮小され、それにより、追跡されるべき歩行者を追跡するために必要な持続時間を短縮し、追跡されるべき歩行者を追跡する効率を改善する。
【０４０９】
本発明の実施形態は、歩行者追跡の方法および電子デバイスを提供する。この方法により、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスは、検出期間内に取得されるものとしてよく、追跡されるべき歩行者の検出期間全身ボックスは、上半身検出ボックスに基づき取得され、上半身追跡ボックスに対応する追跡期間全身ボックスは、検出期間全身ボックスに基づき追跡期間内に取得される。追跡されるべき歩行者は、追跡期間全身ボックスを使用することによって追跡され得ることがわかる。検出期間全身ボックスの縦横比は変化し得る。したがって、追跡されるべき歩行者が検出期間内に異常な姿勢で出現する場合でも、追跡されるべき歩行者の正確な追跡期間全身ボックスは、それでも、これらの実施形態において示されている方法を使用することによって取得されるものとしてよく、したがって、追跡されるべき歩行者が異常な姿勢で出現したときに追跡されるべき歩行者を追跡するための準備を依然として行うことができる。
【図面の簡単な説明】
【０４１０】
【図１】本発明による電子デバイスの一実施形態の概略構造図である。
【図２】本発明によるプロセッサの一実施形態の概略構造図である。
【図３Ａ】本発明による歩行者追跡の方法の一実施形態のステップのフローチャートである。
【図３Ｂ】本発明による歩行者追跡の方法の一実施形態のステップのフローチャートである。
【図４】本発明による歩行者追跡の方法の一実施形態の概略アプリケーション図である。
【図５】本発明による歩行者追跡の方法の別の実施形態の概略アプリケーション図である。
【図６】本発明による歩行者追跡の方法の別の実施形態の概略アプリケーション図である。
【図７】本発明による歩行者追跡の方法の別の実施形態の概略アプリケーション図である。
【図８】本発明による歩行者追跡の方法の別の実施形態の概略アプリケーション図である。
【図９Ａ】本発明による歩行者問い合わせの方法の一実施形態のステップのフローチャートである。
【図９Ｂ】本発明による歩行者問い合わせの方法の一実施形態のステップのフローチャートである。
【図１０Ａ】本発明による歩行者問い合わせの方法の一実施形態の実行ステップの概略図である。
【図１０Ｂ】本発明による歩行者問い合わせの方法の一実施形態の実行ステップの概略図である。
【図１１】本発明による電子デバイスの別の実施形態の概略構造図である。
【発明を実施するための形態】
【０４１１】
本発明の実施形態は、歩行者追跡の方法を提供する。本発明の実施形態において示されている歩行者追跡の方法をよりよく理解するために、以下では、最初に、本発明の実施形態において示されている方法を実行することができる電子デバイスの具体的な構造について詳しく説明する。
【０４１２】
実施形態において示されている電子デバイスの具体的な構造は、図1を参照しつつ詳しく以下で説明される。図1は、本発明による電子デバイスの一実施形態の概略構造図である。
【０４１３】
電子デバイス100は、構成または性能により大きく異なることがあり、1つまたは複数のプロセッサ122を備え得る。
【０４１４】
プロセッサ122は、プロセッサ122が実施形態において示されている歩行者追跡の方法を実行するための計算および画像処理能力を有することができる限り、この実施形態では制限されない。任意選択で、この実施形態において示されているプロセッサ122は、中央演算処理装置(CPU)であってよい。
【０４１５】
1つまたは複数の記憶媒体130(たとえば、1つまたは複数の大容量記憶デバイス)は、アプリケーションプログラム142またはデータ144を記憶するように構成される。
【０４１６】
記憶媒体130は、一時的記憶媒体または永続的記憶媒体であってよい。記憶媒体130に記憶されているプログラムは、1つまたは複数のモジュール(図中でマークされていない)を含むものとしてよく、各モジュールは、電子デバイス内の一連の命令演算を含み得る。
【０４１７】
さらに、プロセッサ122は、記憶媒体130と通信し、電子デバイス100内の記憶媒体130に収められている一連の命令演算を実行するように構成され得る。
【０４１８】
電子デバイス100は、1つもしくは複数の電源126、1つもしくは複数の入力/出力インターフェース158、ならびに/またはWindows Server(商標)、Mac OS X(商標)、Unix(商標)、Linux(登録商標)、およびFreeBSD(商標)などの1つもしくは複数のオペレーティングシステム141をさらに含み得る。
【０４１９】
本発明の一実装形態において、電子デバイスは、画像処理能力および計算能力を有する任意のデバイスであってよく、限定はしないが、サーバ、カメラ、モバイルコンピュータ、タブレットコンピュータ、および同様のものを含む。
【０４２０】
この実施形態において示されている電子デバイスが実施形態において示されている歩行者追跡の方法を実行する場合、この実施形態において示されている入力/出力インターフェース158は、大量の監視ビデオを受信するように構成されるものとしてよく、入力/出力インターフェース158は、検出プロセス、歩行者追跡結果、および同様のものを表示することができる。プロセッサ122は、歩行者検出を実行し、歩行者追跡アルゴリズムを実行するように構成される。記憶媒体130は、オペレーティングシステム、アプリケーションプログラム、および同様のものを記憶するように構成され、記憶媒体130は、歩行者追跡プロセスにおける中間結果、および同様のものを記憶することができる。実施形態において示されている方法を実行するプロセスにおいて、この実施形態において示されている電子デバイスは、大量の監視ビデオから追跡される必要のあるターゲット歩行者を見つけ出し、ターゲット歩行者が監視ビデオ中に出現する時刻および場所などの情報を提供することができることがわかる。
【０４２１】
実施形態において示されている歩行者追跡の方法を実装するように構成されているプロセッサ122の具体的な構造は、図2を参照しつつ詳しく以下で説明される。
【０４２２】
具体的には、プロセッサ122は、メタデータ抽出ユニット21と問い合わせユニット22とを備える。
【０４２３】
より具体的には、メタデータ抽出ユニット21は、物体抽出モジュール211と、特徴抽出モジュール212と、インデックス構築モジュール213とを備える。
【０４２４】
より具体的には、問い合わせユニット22は、特徴抽出モジュール221と、特徴融合モジュール222と、インデックス作成および問い合わせモジュール223とを備える。
【０４２５】
この実施形態において、プロセッサ122は、記憶媒体130に記憶されているプログラムを実行して、図2に示されているプロセッサ122に備えられている任意のユニット内の任意のモジュールの機能を実装することができる。
【０４２６】
図1および図2に示した電子デバイスに基づき、実施形態に示されている歩行者追跡の方法の具体的な実行手順は、図3Aおよび図3Bを参照しつつ詳しく以下で説明される。
【０４２７】
図3Aおよび図3Bは、本発明による歩行者追跡の方法の一実施形態のステップのフローチャートである。
【０４２８】
最初に、この実施形態において示されている歩行者追跡の方法の実行本体部は電子デバイスであり、具体的にはプロセッサ122の1つまたは複数のモジュール、たとえば、物体抽出モジュール211であってよいことに留意されたい。
【０４２９】
この実施形態において示されている歩行者追跡の方法は、次のステップを含む。
【０４３０】
ステップ301:追跡されるべきビデオを取得する。
【０４３１】
具体的には、この実施形態において示されているプロセッサ122に備えられている物体抽出モジュール211は、追跡されるべきビデオを取得するように構成される。
【０４３２】
任意選択で、この実施形態において示されている電子デバイスがカメラを備えていない、たとえば、電子デバイスがサーバである場合、この実施形態において示されている電子デバイスは、入力/出力インターフェース158を使用することによって複数のカメラと通信する。カメラは、追跡されるべきビデオを生成するために追跡されるべき歩行者を撮影するように構成される。それに対応して、電子デバイスは、入力/出力インターフェース158を使用することによって、カメラによって送信された追跡されるべきビデオを受信し、さらに、プロセッサ122の物体抽出モジュール211は、入力/出力インターフェース158によって受信された追跡されるべきビデオを取得する。
【０４３３】
任意選択で、この実施形態において示されている電子デバイスがカメラを備えている、たとえば、電子デバイスがビデオカメラである場合、電子デバイスのプロセッサ122の物体抽出モジュール211は、電子デバイスのカメラによって撮影された追跡されるべきビデオを取得する。
【０４３４】
具体的な応用例において、この実施形態において示されている追跡されるべきビデオは、通常、大量のビデオである。
【０４３５】
この実施形態における追跡されるべきビデオを取得する方式は任意選択の一例であり、物体抽出モジュール211が歩行者追跡に使用される追跡されるべきビデオを取得することができる限り、制限とはならないことに留意されたい。
【０４３６】
ステップ302:ターゲット画像フレームシーケンスを取得する。
【０４３７】
具体的には、この実施形態において示されている物体抽出モジュール211は、ターゲット画像フレームシーケンスを取得する。
【０４３８】
より具体的には、追跡されるべきビデオを取得した後、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオ内のターゲット画像フレームシーケンスを決定する。
【０４３９】
ターゲット画像フレームシーケンスは、追跡されるべきビデオの最初のM個の画像フレームであり、Mの具体的な値は、Mが1より大きい正整数である限り、この実施形態では制限されない。
【０４４０】
ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含む。
【０４４１】
ステップ303:追跡されるべきビデオの背景領域を取得する。
【０４４２】
具体的には、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオのターゲット画像フレームシーケンスを学習し、追跡されるべきビデオの背景領域を取得する。この実施形態において示されている追跡されるべきビデオの背景領域については、図4を参照されたい。
【０４４３】
任意選択で、物体抽出モジュール211は、具体的には次の方式で追跡されるべきビデオの背景領域を取得し得る。物体抽出モジュール211は、静的背景モデルを使用することによってターゲット画像フレームシーケンスの任意の画像フレームから静止している物体を取得し、静止している物体を追跡されるべきビデオの背景領域として決定する。
【０４４４】
この実施形態において追跡されるべきビデオの背景領域を取得するという記述は、任意選択の一例であり、制限とはならないことに留意されたい。たとえば、物体抽出モジュール211は、代替的に、物体抽出モジュール211が背景領域を取得することができる限り、フレーム差分の方法、オプティカルフロー場の方法、または同様の方法を使用し得る。
【０４４５】
この実施形態において示されているステップ303は、任意選択の一ステップであることにさらに留意されたい。
【０４４６】
ステップ304:追跡されるべきビデオの検出期間および追跡期間を決定する。
【０４４７】
具体的には、物体抽出モジュール211は、検出期間T1および追跡期間T2を決定する。
【０４４８】
任意選択で、この実施形態において示されている検出期間T1は追跡期間T2に含まれ、検出期間T1の持続時間は追跡期間T2の持続時間より短い。
【０４４９】
たとえば、追跡期間T2の持続時間は10分であるものとしてよく、検出期間T1の持続時間は2秒であり、追跡期間T2の持続時間のうちの10分以内の最初の2秒は検出期間T1である。
【０４５０】
任意選択で、この実施形態において示されている検出期間T1は追跡期間T2に含まれ得ず、検出期間T1は追跡期間T2の前であり、検出期間T1の持続時間は追跡期間T2の持続時間より短い。
【０４５１】
たとえば、検出期間T1の持続時間は2秒であり、追跡期間T2の持続時間は10分であってよく、追跡期間T2は検出期間T1の後にさらに実行される。
【０４５２】
この実施形態における検出期間T1の持続時間および追跡期間T2の持続時間の記述は、任意選択の例であり、制限とはならないことに留意されたい。
【０４５３】
この実施形態において、検出期間T1が追跡期間T2に含まれる一例は、説明のために使用されている。
【０４５４】
より具体的には、この実施形態において示されている検出期間T1の開始フレームは、追跡されるべきビデオの第tのフレームであり、tはMより大きい。この実施形態におけるターゲット画像フレームシーケンスは、検出期間T1の前にあることがわかる。
【０４５５】
ステップ305:追跡されるべきビデオの任意の画像フレームの前景領域を取得する。
【０４５６】
具体的には、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオの画像フレームの前景領域を、検出期間内に追跡されるべきビデオの画像フレームから背景領域を差し引くことによって取得する。
【０４５７】
図5は、この実施形態において示されている追跡されるべきビデオの画像フレームの取得された前景領域を示している。具体的には、図5に示されている白色ピクセルは、追跡されるべきビデオの画像フレームの前景領域である。
【０４５８】
具体的には、追跡されるべきビデオの背景領域を取得するときに、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオの画像フレームの任意の領域と背景領域との間の差分を取得し、それによりターゲット値を取得する。追跡されるべきビデオの画像フレームの異なる領域は各々1つのターゲット値に対応していることがわかる。
【０４５９】
ターゲット値がプリセット閾値以上である場合、これは、追跡されるべきビデオの画像フレームの領域であり、ターゲット値に対応している領域がモーション領域であることを示している。
【０４６０】
この実施形態において示されているプリセット閾値は予め設定され、プリセット閾値の値は、追跡されるべきビデオの画像フレームのモーション領域がプリセット閾値に基づき決定され得る限り、この実施形態において制限されない。
【０４６１】
モーション領域が検出されたときに、モーション領域は、追跡されるべきビデオの画像フレームの前景領域として決定される。
【０４６２】
ステップ306:追跡されるべき歩行者を取得する。
【０４６３】
この実施形態において示されている物体抽出モジュール211は、追跡されるべき歩行者を、追跡されるべきビデオの画像フレームの前景領域を検出することによって取得する。
【０４６４】
物体抽出モジュール211によって検出される追跡されるべき歩行者の具体的な数は、この実施形態において制限されない。
【０４６５】
ステップ307:追跡されるべき歩行者の上半身検出ボックスを取得する。
【０４６６】
この実施形態において示されている追跡されるべき歩行者の上半身検出ボックスを取得するために、この実施形態において示されている物体抽出モジュール211は、最初に、ターゲット画像フレームを決定する。
【０４６７】
具体的には、この実施形態において示されているターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームである。
【０４６８】
任意選択で、この実施形態において示されている追跡されるべき歩行者が追跡されるべきビデオの検出期間T1内に任意の画像フレーム内に出現する歩行者である場合、物体抽出モジュール211は、追跡されるべき歩行者が出現する画像フレームがターゲット画像フレームであると決定し得る、すなわち、ターゲット画像フレームは追跡されるべきビデオの検出期間内に追跡されるべき歩行者が出現する画像フレームである。
【０４６９】
任意選択で、この実施形態において示されている追跡されるべき歩行者が追跡されるべきビデオの検出期間T1内に連続する画像フレーム内に出現する歩行者である場合、物体抽出モジュール211は、追跡されるべき歩行者が出現し、追跡されるべき歩行者が連続的に出現する追跡されるべきビデオの連続する画像フレーム内にある最後の画像フレームがターゲット画像フレームであると決定し得るか、または物体抽出モジュール211は、追跡されるべき歩行者が出現し、追跡されるべき歩行者が連続的に出現する追跡されるべきビデオの連続する画像フレーム内にあるランダム画像フレームがターゲット画像フレームであると決定し得る。これは、この実施形態において特には制限されない。
【０４７０】
任意選択で、この実施形態において示されている追跡されるべき歩行者が間隔を置いて追跡されるべきビデオの検出期間T1内に画像フレーム内に出現する歩行者である場合、物体抽出モジュール211は、追跡されるべき歩行者が出現し、追跡されるべき歩行者が間隔を置いて出現する追跡されるべきビデオの画像フレーム内にある最後の画像フレームがターゲット画像フレームであると決定し得るか、または物体抽出モジュール211は、追跡されるべき歩行者が出現し、追跡されるべき歩行者が間隔を置いて出現する追跡されるべきビデオの画像フレーム内にあるランダム画像フレームがターゲット画像フレームであると決定し得る。これは、この実施形態において特には制限されない。
【０４７１】
ターゲット画像フレームを決定する仕方についての先の記述は、任意選択の一例であり、追跡されるべき歩行者がターゲット画像フレーム内に出現する限り、制限とはならないことに留意されたい。
【０４７２】
ターゲット画像フレームを決定するときに、物体抽出モジュール211は、ターゲット画像フレーム内の上半身検出ボックスを取得し得る。
【０４７３】
第1の検出器は、この実施形態において示されている物体抽出モジュール211上に配設されてよく、第1の検出器は、上半身検出ボックスを検出するように構成される。
【０４７４】
具体的には、物体抽出モジュール211の第1の検出器は、ターゲット画像フレームの前景領域内で上半身検出ボックスを取得する。
【０４７５】
この実施形態において示されている物体抽出モジュール211は、ターゲット画像フレームの前景領域内の追跡されるべき歩行者を検出することができる、言い換えると、追跡されるべき歩行者を検出するプロセスにおいて、物体抽出モジュール211は背景領域を検出する必要はなく、そのため、歩行者検出に必要な時間を大幅に短縮する一方、歩行者検出精度が改善される。
【０４７６】
次に、物体抽出モジュール211が、ターゲット画像フレームの前景領域内で追跡されるべき歩行者の上半身検出ボックスを取得する仕方を説明する。
【０４７７】
具体的には、この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを、検出期間内に取得する。
【０４７８】
具体的には、この実施形態において示されている上半身検出ボックスは
【０４７９】
【数１０９】
0006847254.tif 000110
【０４８０】
である。
【０４８１】
【数１１０】
0006847254.tif 000111
【０４８２】
は、上半身検出ボックスの左上水平座標であり、
【０４８３】
【数１１１】
0006847254.tif 000112
【０４８４】
は、上半身検出ボックスの左上垂直座標であり、
【０４８５】
【数１１２】
0006847254.tif 000113
【０４８６】
は、上半身検出ボックスの右下水平座標であり、
【０４８７】
【数１１３】
0006847254.tif 000114
【０４８８】
は、上半身検出ボックスの右下垂直座標である。
【０４８９】
追跡されるべき歩行者を検出するときに、この実施形態において示されている物体抽出モジュール211は、
【０４９０】
【数１１４】
0006847254.tif 000115
【０４９１】
を取得し得る。
【０４９２】
物体抽出モジュール211によって決定されたターゲット画像フレームが図6に示されている一例が使用される。この実施形態において示されている前述の方法を使用することによって、ターゲット画像フレーム内に出現する追跡されるべき歩行者が検出され、それにより各追跡されるべき歩行者の上半身検出ボックスを取得することができる。
【０４９３】
図6に示されている検出プロセスにおいて、ターゲット画像フレーム内の歩行者601は、ターゲット画像フレームのエッジ上に出現し、歩行者601の全身が完全には表示されないので、この実施形態において示されている物体抽出モジュール211は、歩行者601の上半身検出ボックスを取得することができない。
【０４９４】
ターゲット画像フレーム内の歩行者602の全身および歩行者603の全身の両方がターゲット画像フレーム内にはっきりと出現した場合、物体抽出モジュール211は、歩行者602の上半身検出ボックスと、歩行者603の上半身検出ボックスとを取得し得る。
【０４９５】
ターゲット画像フレーム内の領域604の中の各歩行者がはっきりと表示されない場合、この実施形態において示されている物体抽出モジュール211は、領域604の中の各歩行者の上半身検出ボックスを取得できない。
【０４９６】
この実施形態において示されている物体抽出モジュール211は、ターゲット画像フレーム内に表示されている追跡されるべき歩行者の上半身検出ボックスしか検出しないことがわかる。
【０４９７】
具体的には、追跡されるべき歩行者は、ターゲット画像フレーム内に完全に表示されている歩行者である、言い換えると、追跡されるべき歩行者の上半身および下半身の両方がターゲット画像フレーム内に完全に表示される。
【０４９８】
より具体的には、追加されるべき歩行者は、ターゲット画像フレーム内に表示されるその歩行者の領域が物体抽出モジュール211のプリセット閾値以上である歩行者である、言い換えると、ターゲット画像フレーム内に表示されるその歩行者の領域がプリセット閾値以上である追跡されるべき歩行者である場合、これは追跡されるべき歩行者がターゲット画像フレーム内にはっきりと表示されることを示している。ターゲット画像フレーム内の追跡されるべき歩行者がプリセット閾値未満であるときに、物体抽出モジュール211は、追跡されるべき歩行者を検出することができない。
【０４９９】
ステップ308:上半身検出ボックスに基づき下半身走査領域を取得する。
【０５００】
この実施形態において、物体抽出モジュール211が追跡されるべき歩行者の上半身検出ボックスを取得した後、物体抽出モジュール211は、追跡されるべき歩行者の下半身走査領域を、追跡されるべき歩行者の上半身検出ボックスに基づき取得し得る。
【０５０１】
追跡されるべき歩行者の下半身走査領域を取得するために、物体抽出モジュール211は、第1のパラメータと、第2のパラメータと、第3のパラメータとを取得する必要がある。
【０５０２】
第1のパラメータは
【０５０３】
【数１１５】
0006847254.tif 000116
【０５０４】
であり、ここで、Ratiodefaultはプリセットされた比である。
【０５０５】
任意選択で、この実施形態におけるRatiodefaultは、物体抽出モジュール211によってメモリ媒体130内に事前記憶され、Ratiodefaultは、人体検出ボックス(背景技術の項に示されているような)の縦横比に基づき物体抽出モジュール211によってプリセットされ得る。たとえば、人体検出ボックスの縦横比が3:7であると事前決定される場合、物体抽出モジュール211は、Ratiodefaultを3/7に設定し、Ratiodefaultをメモリ媒体130に記憶するものとしてよく、それにより、このステップを実行するプロセスにおいて、物体抽出モジュール211は、Ratiodefaultをメモリ媒体130から抽出し、第1のパラメータ
【０５０６】
【数１１６】
0006847254.tif 000117
【０５０７】
を計算することができる。
【０５０８】
第2のパラメータは
【０５０９】
【数１１７】
0006847254.tif 000118
【０５１０】
であり、第3のパラメータは
【０５１１】
【数１１８】
0006847254.tif 000119
【０５１２】
である。
【０５１３】
物体抽出モジュール211が第1のパラメータと、第2のパラメータと、第3のパラメータとを取得したときに、物体抽出モジュール211は、下半身走査領域を決定し得る。
【０５１４】
下半身走査領域は、ScanArea=[LS,TS,RS,BS]であり、ここで、LSは、下半身走査領域の左上水平座標であり、TSは、下半身走査領域の左上垂直座標であり、RSは、下半身走査領域の右下水平座標であり、BSは、下半身走査領域の右下垂直座標である。
【０５１５】
具体的には、
【０５１６】
【数１１９】
0006847254.tif 000120
【０５１７】
である。
【０５１８】
より具体的には、paral1、paral2、およびparal3は、プリセット値である。
【０５１９】
paral1、paral2、およびparal3の具体的な値は、この実施形態において制限されず、paral1、paral2、およびparal3は、経験値であってもよく、または操作スタッフは、paral1、paral2、およびparal3の異なる設定を通じて下半身走査領域の異なる設定を実装してもよい。
【０５２０】
imgWは、検出期間内の追跡されるべきビデオの画像フレームの幅であり、imgHは、検出期間内の追跡されるべきビデオの画像フレームの高さである。
【０５２１】
ステップ309:追跡されるべき歩行者の下半身検出ボックスは、下半身走査領域内で検出されるかどうかを決定し、追跡されるべき歩行者の下半身検出ボックスが下半身走査領域内で検出された場合にステップ310を実行するか、または追跡されるべき歩行者の下半身検出ボックスが下半身走査領域内で検出されない場合にステップ313を実行する。
【０５２２】
具体的には、この実施形態において示されている物体抽出モジュール211は、下半身走査領域内で下半身検出を実行して、追跡されるべき歩行者の下半身検出ボックスが検出され得るかどうかを決定する。
【０５２３】
ステップ310:下半身検出ボックスを取得する。
【０５２４】
具体的には、下半身検出器は、物体抽出モジュール211上に配設され得る。
【０５２５】
より具体的には、下半身走査領域内で下半身検出を実行するときに、追跡されるべき歩行者の下半身検出ボックスを取得できるかどうかを決定するために、この実施形態において示されている物体抽出モジュール211の下半身検出器は、下半身検出ボックスが
【０５２６】
【数１２０】
0006847254.tif 000121
【０５２７】
であると決定し、ここで
【０５２８】
【数１２１】
0006847254.tif 000122
【０５２９】
は、下半身検出ボックスの左上水平座標であり、
【０５３０】
【数１２２】
0006847254.tif 000123
【０５３１】
は、下半身検出ボックスの左上垂直座標であり、
【０５３２】
【数１２３】
0006847254.tif 000124
【０５３３】
は、下半身検出ボックスの右下水平座標であり、
【０５３４】
【数１２４】
0006847254.tif 000125
【０５３５】
は、下半身検出ボックスの右下垂直座標である。
【０５３６】
ステップ311:検出期間全身ボックスを取得する。
【０５３７】
具体的には、物体抽出モジュール211は、上半身検出ボックスおよび下半身検出ボックスに基づき検出期間全身ボックスを取得する。
【０５３８】
より具体的には、この実施形態において示されている物体抽出モジュール211は、上半身検出ボックスと下半身検出ボックスとを組み合わせて、検出期間全身ボックスを取得する。
【０５３９】
検出期間全身ボックスは
【０５４０】
【数１２５】
0006847254.tif 000126
【０５４１】
である。
【０５４２】
検出期間全身ボックスの左上水平座標は
【０５４３】
【数１２６】
0006847254.tif 000127
【０５４４】
であり、検出期間全身ボックスの左上垂直座標は
【０５４５】
【数１２７】
0006847254.tif 000128
【０５４６】
であり、検出期間全身ボックスの右下水平座標は
【０５４７】
【数１２８】
0006847254.tif 000129
【０５４８】
であり、検出期間全身ボックスの右下垂直座標は
【０５４９】
【数１２９】
0006847254.tif 000130
【０５５０】
である。
【０５５１】
ステップ312:第1の比と第2の比とを取得する。
【０５５２】
具体的には、検出期間全身ボックスを取得した後、この実施形態において示されている物体抽出モジュール211は、検出期間全身ボックスの第1の比を決定し得る。
【０５５３】
第1の比は検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比であり、第1の比は
【０５５４】
【数１３０】
0006847254.tif 000131
【０５５５】
である。
【０５５６】
この実施形態において示されている物体抽出モジュール211は、検出期間全身ボックスの第2の比を決定する。
【０５５７】
具体的には、第2の比は、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比であり、第2の比は
【０５５８】
【数１３１】
0006847254.tif 000132
【０５５９】
である。
【０５６０】
ステップ313:第3の比を取得する。
【０５６１】
この実施形態において、物体抽出モジュール211が下半身走査領域内で下半身検出を実行することによって下半身検出ボックスを取得しない場合、物体抽出モジュール211は第3の比を取得する。第3の比は、検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比
【０５６２】
【数１３２】
0006847254.tif 000133
【０５６３】
である。
【０５６４】
ステップ314:検出期間全身ボックスを取得する。
【０５６５】
この実施形態において、物体抽出モジュール211が下半身走査領域内で下半身検出を実行することによって下半身検出ボックスを取得しないときに、物体抽出モジュール211は検出期間全身ボックス
【０５６６】
【数１３３】
0006847254.tif 000134
【０５６７】
を取得する。
【０５６８】
検出期間全身ボックスの左上水平座標は
【０５６９】
【数１３４】
0006847254.tif 000135
【０５７０】
であり、検出期間全身ボックスの左上垂直座標は
【０５７１】
【数１３５】
0006847254.tif 000136
【０５７２】
であり、検出期間全身ボックスの右下水平座標は
【０５７３】
【数１３６】
0006847254.tif 000137
【０５７４】
であり、検出期間全身ボックスの右下垂直座標は
【０５７５】
【数１３７】
0006847254.tif 000138
【０５７６】
である。
【０５７７】
ステップ315:検出期間全身ボックスの第4の比を決定する。
【０５７８】
この実施形態において示されている物体抽出モジュール211は、第4の比が上半身検出ボックスの高さと検出期間全身ボックスの高さとの比であると決定する。
【０５７９】
第4の比は
【０５８０】
【数１３８】
0006847254.tif 000139
【０５８１】
である。
【０５８２】
ステップ312またはステップ315が実行された後、この実施形態において示されているステップ316が引き続き実行される。
【０５８３】
ステップ316:上半身追跡ボックスを決定する。
【０５８４】
この実施形態において、物体抽出モジュール211は、検出期間T1内に取得された検出期間全身ボックスを追跡ターゲットとして初期化し、それにより、物体抽出モジュール211は、追跡ターゲットとして働く追跡されるべき歩行者を、追跡期間T2内に追跡することができる。
【０５８５】
この実施形態において、前述のステップにおいて決定された少なくとも1人の追跡されるべき歩行者があり得ることに留意されたい。複数の追跡されるべき歩行者がいる場合、複数の追跡されるべき歩行者の各々は追跡のために追跡ターゲットとして使用される必要がある。
【０５８６】
たとえば、前述のステップにおいて決定された追跡されるべき歩行者が歩行者A、歩行者B、歩行者C、および歩行者Dである場合、歩行者Aは追跡のその後のステップを実行するために追跡ターゲットとして設定される必要があり、歩行者Bは追跡のその後のステップを実行するために追跡ターゲットとして設定される必要がある、言い換えると、追跡されるべきビデオ内の各追跡されるべき歩行者は、追跡のその後のステップを実行するために追跡ターゲットとして設定される必要がある。
【０５８７】
追跡されるべき歩行者を追跡するときに、物体抽出モジュール211は、最初に、上半身検出ボックスを決定する。物体抽出モジュール211は、上半身検出ボックスを中心として使用することによって通常の分割サンプリングを別々に実行する、言い換えると、上半身検出ボックスの周りに複数の粒子を散乱させ、複数の粒子で上半身追跡ボックスを決定する。
【０５８８】
よりよく理解できるように、次にアプリケーションシナリオを参照しつつ説明を行う。
【０５８９】
物体抽出モジュール211が追跡されるべきビデオの検出期間T1内にN1フレームの中の上半身検出ボックスを決定する場合、物体抽出モジュール211は、追跡されるべきビデオの追跡期間T2内にN2フレーム内の追跡されるべき歩行者を追跡する。N2フレームは、追跡されるべきビデオの検出期間T2内の任意のフレームである。
【０５９０】
追跡されるべき歩行者は追跡されるべきビデオ内で動いており、N1フレーム内の追跡されるべき歩行者の配置は、N2フレーム内の追跡されるべき歩行者の配置と異なる。したがって、物体抽出モジュール211が追跡されるべき歩行者を追跡するために、物体抽出モジュール211は、複数の粒子を追跡されるべき歩行者の上半身検出ボックスの周りに散乱させる必要があり、それにより追跡されるべき歩行者を追跡する。
【０５９１】
具体的には、複数の粒子のうちのいずれか1つの第5の比は上半身検出ボックスの第6の比と同じであり、第5の比は複数の粒子のうちのいずれか1つの幅と高さとの比であり、第6の比は上半身検出ボックスの幅と上半身検出ボックスの高さとの比である。
【０５９２】
この実施形態において示されている方法を使用することによって、物体抽出モジュール211によって上半身検出ボックスの周りに散乱されている粒子は、幅と高さとが上半身検出ボックスと同じ比を有する矩形ボックスであることがわかる。
【０５９３】
物体抽出モジュール211は、複数の粒子における上半身追跡ボックスを決定する。
【０５９４】
具体的には、物体抽出モジュール211は、複数の粒子のうちで上半身検出ボックスに最も類似する粒子が上半身追跡ボックスであると決定する。
【０５９５】
上半身追跡ボックスは
【０５９６】
【数１３９】
0006847254.tif 000140
【０５９７】
であり、ここで、
【０５９８】
【数１４０】
0006847254.tif 000141
【０５９９】
は、上半身追跡ボックスの左上水平座標であり、
【０６００】
【数１４１】
0006847254.tif 000142
【０６０１】
は、上半身追跡ボックスの左上垂直座標であり、
【０６０２】
【数１４２】
0006847254.tif 000143
【０６０３】
は、上半身追跡ボックスの右下水平座標であり、
【０６０４】
【数１４３】
0006847254.tif 000144
【０６０５】
は、上半身追跡ボックスの右下垂直座標である。
【０６０６】
ステップ317:追跡されるべき歩行者の追跡期間全身ボックスを取得する。
【０６０７】
この実施形態において、物体抽出モジュール211は、検出期間全身ボックスに基づき、上半身追跡ボックスに対応する追跡期間全身ボックスを取得する。
【０６０８】
追跡期間全身ボックスは、追跡されるべき歩行者を追跡するために使用される。
【０６０９】
次に、物体抽出モジュール211が具体的に追跡期間全身ボックスをどのように取得するかを詳しく説明する。
【０６１０】
物体抽出モジュール211が図7に示されているように検出期間全身ボックスと上半身追跡ボックスとを取得した後、物体抽出モジュール211は、上半身検出ボックス701の左上水平座標
【０６１１】
【数１４４】
0006847254.tif 000145
【０６１２】
が検出期間全身ボックス702の左上水平座標
【０６１３】
【数１４５】
0006847254.tif 000146
【０６１４】
に等しいかどうかを決定する。
【０６１５】
図7の(a)に示されているように、物体抽出モジュール211が、
【０６１６】
【数１４６】
0006847254.tif 000147
【０６１７】
であると決定した場合、物体抽出モジュール211は、追跡期間全身ボックスの左上水平座標は
【０６１８】
【数１４７】
0006847254.tif 000148
【０６１９】
であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの左上垂直座標が
【０６２０】
【数１４８】
0006847254.tif 000149
【０６２１】
であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの右下水平座標が
【０６２２】
【数１４９】
0006847254.tif 000150
【０６２３】
であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの右下垂直座標が
【０６２４】
【数１５０】
0006847254.tif 000151
【０６２５】
であると決定し、ここで、
【０６２６】
【数１５１】
0006847254.tif 000152
【０６２７】
である。
【０６２８】
【数１５２】
0006847254.tif 000153
【０６２９】
の具体的説明については、前述のステップを参照されたい。詳細については、このステップでは説明しない。
【０６３０】
この実施形態において示されている物体抽出モジュール211は、追跡期間全身ボックスが
【０６３１】
【数１５３】
0006847254.tif 000154
【０６３２】
であると決定し得る。
【０６３３】
物体抽出モジュール211が図7に示されているように検出期間全身ボックスと上半身追跡ボックスとを取得した後、物体抽出モジュール211は、検出期間全身ボックス702の左上水平座標
【０６３４】
【数１５４】
0006847254.tif 000155
【０６３５】
が下半身検出ボックス703の左上水平座標
【０６３６】
【数１５５】
0006847254.tif 000156
【０６３７】
に等しいかどうかを決定する。
【０６３８】
図7の(b)に示されているように、検出期間全身ボックス702の左上水平座標
【０６３９】
【数１５６】
0006847254.tif 000157
【０６４０】
が下半身検出ボックス703の左上水平座標
【０６４１】
【数１５７】
0006847254.tif 000158
【０６４２】
に等しい場合、物体抽出モジュール211は、追跡期間全身ボックスの左上水平座標は
【０６４３】
【数１５８】
0006847254.tif 000159
【０６４４】
であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの左上垂直座標が
【０６４５】
【数１５９】
0006847254.tif 000160
【０６４６】
であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの右下水平座標が
【０６４７】
【数１６０】
0006847254.tif 000161
【０６４８】
であると決定し、
物体抽出モジュール211は、追跡期間全身ボックスの右下垂直座標が
【０６４９】
【数１６１】
0006847254.tif 000162
【０６５０】
であると決定し、ここで、
【０６５１】
【数１６２】
0006847254.tif 000163
【０６５２】
であり、
物体抽出モジュール211は、追跡期間全身ボックスが
【０６５３】
【数１６３】
0006847254.tif 000164
【０６５４】
であると決定する。
【０６５５】
【数１６４】
0006847254.tif 000165
【０６５６】
の具体的説明については、前述のステップを参照されたい。詳細については、このステップでは説明しない。
【０６５７】
この実施形態において示されている方法を使用することによって、追跡されるべき歩行者は、追跡期間全身ボックスを使用することによって追跡期間T2内に追跡されるべきビデオ内で追跡され得る。
【０６５８】
本発明のこの実施形態において示されている方法をよりよく理解するために、この実施形態において示されている歩行者追跡の方法の有利な効果は図8に示されているアプリケーションシナリオを参照しつつ詳しく以下で説明される。
【０６５９】
この実施形態において示されている物体抽出モジュール211は、図8に示されている追跡されるべき歩行者の上半身検出ボックス801を、検出期間T1内に取得する。上半身検出ボックス801を取得する具体的なプロセスについては、前述のステップを参照されたい。詳細については、このアプリケーションシナリオでは説明しない。
【０６６０】
物体抽出モジュール211は、図8に示されている追跡されるべき歩行者の下半身検出ボックス802を、検出期間T1内に取得する。下半身検出ボックス802を取得する具体的なプロセスについては、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。
【０６６１】
物体抽出モジュール211は、図8に示されている検出期間全身ボックス803を、検出期間T1内に取得する。検出期間全身ボックス803を取得する具体的なプロセスについては、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。
【０６６２】
検出期間全身ボックス803を取得した後に、物体抽出モジュール211は、検出期間全身ボックス803の幅と検出期間全身ボックス803の高さとの比
【０６６３】
【数１６５】
0006847254.tif 000166
【０６６４】
および上半身検出ボックス801の高さと検出期間全身ボックス803の高さとの比
【０６６５】
【数１６６】
0006847254.tif 000167
【０６６６】
を取得し得る。
【０６６７】
この実施形態において示されている方法を使用することによって、検出期間全身ボックス803を取得するプロセスにおいて、物体抽出モジュール211によって取得された検出期間全身ボックス803は、追跡されるべき歩行者の上半身検出ボックス801と追跡されるべき歩行者の下半身検出ボックス802とを組み合わせることによって取得される。物体抽出モジュール211によって取得された検出期間全身ボックス803の縦横比が変化し得ることがわかる。したがって、追跡されるべき歩行者が検出期間T1内に異常な姿勢で、たとえば、追跡されるべき歩行者が脚を広く開いている姿勢で出現する、したがって、追跡されるべき歩行者の上半身と下半身との割合が変わる場合であっても、物体抽出モジュール211は、追跡されるべき歩行者の正確な検出期間全身ボックス803を、取得された上半身検出ボックスと取得された下半身検出ボックスとを組み合わせることによってそれでも取得し得る。
【０６６８】
物体抽出モジュール211は、変化し得るこの実施形態における検出期間全身ボックス803の縦横比に基づき追跡されるべき歩行者の姿勢の変化を正確に捕捉することができ、それにより、検出期間全身ボックス803は、追跡されるべき歩行者の姿勢の変化を正確に捕捉することができる。正確な検出期間全身ボックス803は、それでも、追跡されるべき歩行者の姿勢の変化に関係なく取得され得ることがわかる。
【０６６９】
物体抽出モジュール211は、検出期間T2内に上半身追跡ボックス804と追跡期間全身ボックス805とを取得することができる。具体的な取得プロセスについては、前述のステップを参照されたい。詳細については、この実施形態では説明しない。
【０６７０】
この実施形態において示されている物体抽出モジュール211は、それでも、追跡期間T2内に
【０６７１】
【数１６７】
0006847254.tif 000168
【０６７２】
を使用して、変化し得る
【０６７３】
【数１６８】
0006847254.tif 000169
【０６７４】
に基づきより正確な追跡期間全身ボックス805を取得することができる。このようにして、追跡されるべき歩行者の姿勢が変化した場合でも、追跡されるべき歩行者は、追跡期間T2内でなお正確に追跡され得る。
【０６７５】
歩行者を追跡する具体的なプロセスにおいて、この実施形態において示されているステップ304からこの実施形態において示されているステップ317は、複数回にわたって実行され、それにより、追跡されるべき歩行者をより正確に追跡することができる。たとえば、物体抽出モジュール211が追跡期間T2を1回実行した後、物体抽出モジュール211は、その後の時間内に複数回にわたって追跡期間T2を繰り返し実行し得る。追跡期間T2を実行する回数は、この実施形態では制限されない。
【０６７６】
この実施形態において示されている物体抽出モジュール211は、複数回にわたって追跡期間T2を実行し得るので、物体抽出モジュール211は、検出結果に基づき複数回にわたって
【０６７７】
【数１６９】
0006847254.tif 000170
【０６７８】
の特定の値を更新し、それにより、追跡期間T2内により正確な追跡期間全身ボックスを取得し、それによって歩行者を正確に追跡し得る。
【０６７９】
この実施形態において示されている方法を使用することによって、追跡されるべき歩行者は、追跡されるべきビデオの画像フレームの前景領域内で検出され、追跡され得る、言い換えると、この実施形態において示されている追跡されるべき歩行者の検出プロセスおよび追跡プロセスは両方とも、画像の前景領域内で実行される。したがって、処理される必要のある画像窓の数は大幅に減らされる、言い換えると、電子デバイスによる追跡されるべき歩行者を探索するための探索空間が縮小され、それにより、追跡されるべき歩行者を追跡するために必要な持続時間を短縮し、電子デバイスによる追跡されるべき歩行者を追跡する効率を改善する。
【０６８０】
図1および図2に示されている電子デバイスに基づき、図9Aおよび図9Bおよび図10を参照しつつ一実施形態による歩行者問い合わせの方法について次に詳しく説明する。
【０６８１】
図9Aおよび図9Bは、本発明による歩行者問い合わせの方法の一実施形態のステップのフローチャートである。図10は、本発明による歩行者追跡の方法の一実施形態の実行ステップの概略図である。
【０６８２】
この実施形態において示されている歩行者問い合わせの方法の各実行本体部の記述は、任意選択の一例であり、制限とならない、言い換えると、この実施形態において示されている各ステップの実行本体部は、図2に示されているプロセッサ122の任意のモジュールであり得るか、またはこの実施形態において示されている各ステップの実行本体部は、図2に示されていないモジュールであり得ることにまず留意されたい。これは、電子デバイスがこの実施形態において示されている歩行者問い合わせの方法を実行できる限り、この実施形態において特に制限されることはない。
【０６８３】
ステップ901:追跡されるべきビデオを取得する。
【０６８４】
この実施形態において示されているステップ901の具体的な実行プロセスについては、図3Aおよび図3Bに示されているステップ301を参照されたい。具体的な実行プロセスは、この実施形態において説明されない。
【０６８５】
ステップ902:追跡されるべきビデオ内の追跡されるべき歩行者を検出し、追跡し、歩行者シーケンスを取得する。
【０６８６】
この実施形態において示されている物体抽出モジュール211は、追跡されるべきビデオ内の追跡されるべき歩行者を検出し、追跡するように構成される。具体的な実行プロセスについては、前述の実施形態に示されているステップ302からステップ317を参照されたい。詳細については、この実施形態では説明しない。
【０６８７】
具体的には、この実施形態において示されている物体抽出モジュール211が前述のステップにおいて複数の追跡されるべき歩行者を取得した場合、物体抽出モジュール211は、前述のステップにおける要約を通じて歩行者シーケンスを取得する。
【０６８８】
物体抽出モジュール211によって取得された歩行者シーケンスは複数のサブシーケンスを含み、複数のサブシーケンスのうちのいずれか1つはターゲットサブシーケンスであり、ターゲットサブシーケンスはターゲットである追跡されるべき歩行者に対応しており、ターゲットである追跡されるべき歩行者は前述のステップにおいて決定された複数の追跡されるべき歩行者のうちの1人に対応している。
【０６８９】
この実施形態において示されているターゲットサブシーケンスは複数の画像フレームを含み、複数の画像フレームのうちのいずれか1つはターゲットである追跡されるべき歩行者を含む。
【０６９０】
ターゲットサブシーケンス内に含まれる任意の画像フレームは、ターゲットである追跡されるべき歩行者に対応している、前述のステップにおいて示されている追跡期間全身ボックスを有する。
【０６９１】
この実施形態において示されている歩行者シーケンスは複数のサブシーケンスを含み、複数のサブシーケンスのうちのいずれか1つは複数の画像フレームを含み、サブシーケンス内に含まれる画像フレームは、追跡されるべき歩行者の、サブシーケンスに対応している、追跡期間全身ボックスを表示することがわかる。
【０６９２】
図10に示されているように、電子デバイスがカメラを含まない一例が、この実施形態における説明に使用されている。この実施形態において示されている電子デバイスは、カメラクラスタ105と通信することができる。カメラクラスタ105は複数のカメラを含み、各カメラは追跡されるべき歩行者を撮影して追跡されるべきビデオを生成することができ、それにより、電子デバイスはカメラによって送信された追跡されるべきビデオを受信することができる。
【０６９３】
物体抽出モジュール211は、異なるターゲットである追跡されるべき歩行者に対して異なるサブシーケンス1001を生成することができ、サブシーケンス1001は、ターゲットである追跡されるべき歩行者に対応している、ターゲットである追跡されるべき歩行者が出現する、複数の画像フレームを含む。
【０６９４】
ステップ903:歩行者シーケンスを特徴抽出モジュール212に送信する。
【０６９５】
この実施形態において、物体抽出モジュール211は、歩行者シーケンスを特徴抽出モジュール212に送信する。
【０６９６】
ステップ904:歩行者シーケンスの特徴を取得する。
【０６９７】
この実施形態において示されている特徴抽出モジュール212は、歩行者シーケンスを入力として使用して歩行者シーケンスの特徴を抽出する。
【０６９８】
具体的には、特徴抽出モジュール212は、歩行者シーケンスを分析して、歩行者シーケンスに含まれる任意の画像フレーム内の各ピクセルが特徴を表すかどうかをチェックし、それにより歩行者シーケンスの特徴を抽出するものとしてよい。
【０６９９】
具体的には、歩行者シーケンスの特徴は、歩行者シーケンスに含まれるすべてのターゲットである追跡されるべき歩行者の特徴のセットである。
【０７００】
たとえば、歩行者シーケンスが5人の追跡されるべき歩行者、A、B、C、D、およびEを含む場合、特徴抽出モジュール212は、歩行者Aの画像フレーム上で特徴抽出を実行して歩行者Aに対応するターゲットである追跡されるべき歩行者の特徴セットを取得し、歩行者Bの画像フレーム上で特徴抽出を実行して歩行者Bに対応するターゲットである追跡されるべき歩行者の特徴セットを取得することを、歩行者シーケンス内のすべての歩行者の特徴抽出が完了するまで行い得る。
【０７０１】
図10に示されているように、特徴抽出モジュール212によって生成される特徴セット1002は、ターゲットである追跡されるべき歩行者に対応するターゲット識別子IDと、ターゲットである追跡されるべき歩行者に対応する複数の画像特徴とを含む。
【０７０２】
ターゲットである追跡されるべき歩行者が歩行者Aである一例が使用され、ターゲットである追跡されるべき歩行者Aに対応する特徴セット1002は、ターゲットである追跡されるべき歩行者Aに対応するターゲット識別子IDと、ターゲットである追跡されるべき歩行者Aに対応する複数の画像特徴とを含む。
【０７０３】
この実施形態において示されている特徴抽出モジュール212は、異なるターゲットである追跡されるべき歩行者の各々と異なるターゲット識別子IDの各々との間の対応関係、および異なるターゲット識別子IDの各々と複数の画像特徴の各々との間の対応関係を生成できることがわかる。
【０７０４】
ステップ905:歩行者シーケンスの特徴をインデックス構築モジュール213に送信する。
【０７０５】
この実施形態において示されている特徴抽出モジュール212は、歩行者シーケンスの取得された特徴をインデックス構築モジュール213に送信することができる。
【０７０６】
ステップ906:インデックスリストを確定する。
【０７０７】
歩行者シーケンスの特徴を受信した後、この実施形態において示されているインデックス構築モジュール213はインデックスリストを確定する。インデックスリストに含まれる対応関係は、異なるターゲットである追跡されるべき歩行者の各々と異なるターゲット識別子IDの各々との間の対応関係、および異なるターゲット識別子IDの各々と複数の画像特徴の各々との間の対応関係である。それに加えて、この実施形態において示されているインデックス構築モジュール213は、インデックスリストを使用することによって、異なるターゲット識別子IDと、対応するターゲットである追跡されるべき歩行者が追跡されるべきビデオ内に出現する時刻と場所などの任意の情報をさらに生成することができる。
【０７０８】
ステップ907:インデックスリストを記憶媒体130に記憶する。
【０７０９】
インデックスリストを生成した後、この実施形態において示されているインデックス構築モジュール213は、インデックスリストを記憶媒体130に記憶する。
【０７１０】
この実施形態において示されているステップ901からステップ907において、異なる歩行者は大量の追跡されるべきビデオ内で分類され、それによりその後の追跡ターゲット問い合わせを円滑にすることができる。
【０７１１】
追跡ターゲットを問い合わせる必要があるときに、次のステップが実行され得る。
【０７１２】
ステップ908:追跡ターゲットを受信する。
【０７１３】
この実施形態において示されているように、画像ベースの画像検索が実装され得る、言い換えると、問い合わせ時に追跡ターゲットが出現する画像が特徴抽出モジュール221内に入力され得る。
【０７１４】
図10が、一例として使用されている。追跡ターゲットを問い合わせるために、追跡ターゲットが出現する画像1003が特徴抽出モジュール221に入力され得る。
【０７１５】
ステップ909:追跡ターゲット上で特徴抽出を実行する。
【０７１６】
具体的には、この実施形態において示されている特徴抽出モジュール221は追跡ターゲットが出現する画像を分析して、追跡ターゲットの特徴を取得することができる。この実施形態において示されている方法を使用することによって、追跡ターゲットに対応する複数の特徴が取得され得る。
【０７１７】
ステップ910:追跡ターゲットの異なる特徴を融合する。
【０７１８】
この実施形態において、特徴融合モジュール222は、追跡ターゲットの異なる特徴を融合することができる。
【０７１９】
図10に示されているように、特徴融合モジュール222は、追跡ターゲットの異なる特徴を融合して融合済み特徴を取得することができる。この実施形態において示されている融合済み特徴は追跡ターゲットに対応していることがわかる。
【０７２０】
ステップ911:融合済み特徴をインデックス作成および問い合わせモジュールに送信する。
【０７２１】
ステップ912:追跡ターゲットを問い合わせる。
【０７２２】
この実施形態において示されているインデックス作成および問い合わせモジュール223は、追跡ターゲットに対応する融合済み特徴に基づき追跡ターゲットを問い合わせる。
【０７２３】
具体的には、インデックス作成および問い合わせモジュール223は、融合済み特徴と記憶媒体130に記憶されているインデックスリストとを照合し、融合済み特徴に対応するターゲット識別子IDを見つけ出し、それにより、インデックス作成および問い合わせモジュール223は、インデックスリストに基づき、ターゲット識別子IDに対応する歩行者が追跡されるべきビデオ内に出現する時刻および場所などの任意の情報を取得することができる。この実施形態において、ターゲット識別子IDに対応する歩行者は追跡ターゲットである。
【０７２４】
この実施形態において示されている方法を使用することによって、追跡ターゲットが大量のビデオ内に出現する時刻および場所などの情報を取得するために追跡ターゲットが出現する画像のみが受信される必要があることがわかる。
【０７２５】
この実施形態において示されている方法で追跡されるべき歩行者を検出し、追跡することによって達成される有利な効果の説明については、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。
【０７２６】
この実施形態において示されている方法を使用することによって、追跡ターゲットを探索するプロセスにおいて、追跡ターゲットは、大量の追跡されるべきビデオ内で素早く正確に配置を特定され、それにより、追跡ターゲットが大量の追跡されるべきビデオ内に出現する時刻および場所などの情報を素早く取得することができる。
【０７２７】
この実施形態において示されている方法のアプリケーションシナリオは制限されない。たとえば、この方法は、安全な都市において画像ベースの画像検索を実行し、追跡ターゲットに関係する情報を素早く取得することに適用され得る。この方法は、移動軌跡生成および分析、人口統計収集、運転支援システムにおける歩行者警告、ならびに同様のものにさらに適用され得る。具体的には、歩行者を含むビデオがインテリジェントな仕方で分析される必要がある限り、歩行者検出および追跡は、本発明のこの実施形態を使用することによって実行され、それにより、歩行者の配置および軌跡などの情報を抽出し得る。
【０７２８】
図1は、物理的ハードウェアの観点から電子デバイスの具体的構造を説明している。次に、前述の実施形態において示されている歩行者追跡の方法の手順を実行する観点から図11を参照しつつ電子デバイスの構造を説明しており、この実施形態において示されている電子デバイスは前述の実施形態において示されている歩行者追跡の方法を実行することができる。
【０７２９】
電子デバイスは、第1の決定ユニット1101と、第5の取得ユニット1102と、第6の取得ユニット1103と、第7の取得ユニット1104と、第8の取得ユニット1105と、第1の取得ユニット1106と、第2の取得ユニット1107と、第3の取得ユニット1108と、第4の取得ユニット1109とを備える。
【０７３０】
第1の決定ユニット1101は、追跡されるべきビデオの検出期間および追跡期間を決定するように構成される。
【０７３１】
第5の取得ユニット1102は、追跡されるべきビデオのターゲット画像フレームシーケンスを取得するように構成され、ここで、ターゲット画像フレームシーケンスは、1つまたは複数の連続する画像フレームを含み、ターゲット画像フレームシーケンスは、検出期間の前にある。
【０７３２】
第6の取得ユニット1103は、追跡されるべきビデオの背景領域をターゲット画像フレームシーケンスに基づき取得するように構成される。
【０７３３】
第7の取得ユニット1104は、追跡されるべきビデオの任意の画像フレームの前景領域を、検出期間内に追跡されるべきビデオの画像フレームから背景領域を差し引くことによって取得するように構成される。
【０７３４】
第8の取得ユニット1105は、追跡されるべき歩行者を、追跡されるべきビデオの画像フレームの前景領域を検出することによって取得するように構成される。
【０７３５】
任意選択で、この実施形態に示されている第5の取得ユニット1102からこの実施形態において示されている第8の取得ユニット1105までは任意選択のユニットである。具体的な応用例では、電子デバイスは、この実施形態において示されている第5の取得ユニット1102からこの実施形態において示されている第8の取得ユニット1105までを含まなくてよい。
【０７３６】
第1の取得ユニット1106は、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身検出ボックスを、検出期間内に取得するように構成され、ここで、上半身検出ボックスは
【０７３７】
【数１７０】
0006847254.tif 000171
【０７３８】
であり、ここで、
【０７３９】
【数１７１】
0006847254.tif 000172
【０７４０】
は、上半身検出ボックスの左上水平座標であり、
【０７４１】
【数１７２】
0006847254.tif 000173
【０７４２】
は、上半身検出ボックスの左上垂直座標であり、
【０７４３】
【数１７３】
0006847254.tif 000174
【０７４４】
は、上半身検出ボックスの右下水平座標であり、
【０７４５】
【数１７４】
0006847254.tif 000175
【０７４６】
は、上半身検出ボックスの右下垂直座標である。
【０７４７】
任意選択で、第1の取得ユニット1106は、ターゲット画像フレームを決定し、ここで、ターゲット画像フレームは、追跡されるべき歩行者が出現する画像フレームであり、ターゲット画像フレームの前景領域内で上半身検出ボックスを取得する、ように特に構成される。
【０７４８】
第1の取得ユニット1107は、追跡されるべき歩行者の検出期間全身ボックスを、上半身検出ボックスに基づき取得するように構成される。
【０７４９】
任意選択で、第2の取得ユニット1107は、上半身検出ボックスに基づき下半身走査領域を取得し、下半身検出ボックスが、下半身走査領域内で下半身検出を実行することによって取得される場合、検出期間全身ボックスを、上半身検出ボックスおよび下半身検出ボックスに基づき取得するように、特に構成される。
【０７５０】
上半身検出ボックスは
【０７５１】
【数１７５】
0006847254.tif 000176
【０７５２】
であり、ここで、
【０７５３】
【数１７６】
0006847254.tif 000177
【０７５４】
は、上半身検出ボックスの左上水平座標であり、
【０７５５】
【数１７７】
0006847254.tif 000178
【０７５６】
は、上半身検出ボックスの左上垂直座標であり、
【０７５７】
【数１７８】
0006847254.tif 000179
【０７５８】
は、上半身検出ボックスの右下水平座標であり、
【０７５９】
【数１７９】
0006847254.tif 000180
【０７６０】
は、上半身検出ボックスの右下垂直座標である。
【０７６１】
任意選択で、上半身検出ボックスに基づき下半身走査領域を取得するときに、第2の取得ユニット1107は、第1のパラメータを決定し、ここで第1のパラメータは
【０７６２】
【数１８０】
0006847254.tif 000181
【０７６３】
であり、ここでRatiodefaultはプリセットされた比であり、第2のパラメータを決定し、ここで第2のパラメータは
【０７６４】
【数１８１】
0006847254.tif 000182
【０７６５】
であり、第3のパラメータを決定し、ここで第3のパラメータは
【０７６６】
【数１８２】
0006847254.tif 000183
【０７６７】
であり、下半身走査領域を、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定する、ように特に構成される。
【０７６８】
任意選択で、上半身検出ボックスに基づき下半身走査領域を取得するときに、第2の取得ユニット1107は、下半身走査領域を、第1のパラメータ、第2のパラメータ、および第3のパラメータに基づき決定し、ここで、下半身走査領域は、ScanArea=[LS,TS,RS,BS]であり、LSは、下半身走査領域の左上水平座標であり、TSは、下半身走査領域の左上垂直座標であり、RSは、下半身走査領域の右下水平座標であり、BSは、下半身走査領域の右下垂直座標であり、ここで
【０７６９】
【数１８３】
0006847254.tif 000184
【０７７０】
である、ように特に構成される。
【０７７１】
paral1、paral2、およびparal3は、プリセット値であり、imgWは、検出期間内の追跡されるべきビデオの画像フレームの幅であり、imgHは、検出期間内の追跡されるべきビデオの画像フレームの高さである。
【０７７２】
下半身検出ボックスは
【０７７３】
【数１８４】
0006847254.tif 000185
【０７７４】
であり、ここで
【０７７５】
【数１８５】
0006847254.tif 000186
【０７７６】
は、下半身検出ボックスの左上水平座標であり、
【０７７７】
【数１８６】
0006847254.tif 000187
【０７７８】
は、下半身検出ボックスの左上垂直座標であり、
【０７７９】
【数１８７】
0006847254.tif 000188
【０７８０】
は、下半身検出ボックスの右下水平座標であり、
【０７８１】
【数１８８】
0006847254.tif 000189
【０７８２】
は、下半身検出ボックスの右下垂直座標である。
【０７８３】
任意選択で、上半身検出ボックスおよび下半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニット1107は、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は
【０７８４】
【数１８９】
0006847254.tif 000190
【０７８５】
であり、検出期間全身ボックスの左上垂直座標が
【０７８６】
【数１９０】
0006847254.tif 000191
【０７８７】
であると決定し、検出期間全身ボックスの右下水平座標が
【０７８８】
【数１９１】
0006847254.tif 000192
【０７８９】
であると決定し、検出期間全身ボックスの右下垂直座標が
【０７９０】
【数１９２】
0006847254.tif 000193
【０７９１】
であると決定し、検出期間全身ボックスが
【０７９２】
【数１９３】
0006847254.tif 000194
【０７９３】
であると決定する、ように特に構成される。
【０７９４】
任意選択で、上半身検出ボックスおよび下半身検出ボックスに基づき追跡されるべき歩行者の検出期間全身ボックスを取得するときに、第2の取得ユニット1107は、下半身検出ボックスが下半身走査領域内で下半身検出を実行することによって取得されない場合に、検出期間全身ボックスの左上水平座標を決定し、ここで、検出期間全身ボックスの左上水平座標は
【０７９５】
【数１９４】
0006847254.tif 000195
【０７９６】
であり、検出期間全身ボックスの左上垂直座標が
【０７９７】
【数１９５】
0006847254.tif 000196
【０７９８】
であると決定し、検出期間全身ボックスの右下水平座標が
【０７９９】
【数１９６】
0006847254.tif 000197
【０８００】
であると決定し、検出期間全身ボックスの右下垂直座標が
【０８０１】
【数１９７】
0006847254.tif 000198
【０８０２】
であると決定し、検出期間全身ボックスが
【０８０３】
【数１９８】
0006847254.tif 000199
【０８０４】
であると決定する、ように特に構成される。
【０８０５】
第3の取得ユニット1108は、追跡されるべきビデオ内に出現する追跡されるべき歩行者の上半身追跡ボックスを、追跡期間内に取得するように構成される。
【０８０６】
任意選択で、第3の取得ユニット1108は、上半身検出ボックスを中心として使用することによって複数の粒子を散乱させ、ここで、複数の粒子のうちのいずれか1つの幅と高さとの比が上半身検出ボックスの幅と上半身検出ボックスの高さとの比と同じであり、上半身追跡ボックスを決定し、ここで、上半身追跡ボックスは複数の粒子のうちで上半身検出ボックスに最も類似する粒子である、ように特に構成される。
【０８０７】
第4の取得ユニット1109は、上半身追跡ボックスに対応する追跡期間全身ボックスを、検出期間全身ボックスに基づき取得するように構成され、ここで、追跡期間全身ボックスは、追跡されるべき歩行者を追跡するために使用される。
【０８０８】
任意選択で、第4の取得ユニット1109は、検出期間全身ボックスの幅と検出期間全身ボックスの高さとのプリセットされている比
【０８０９】
【数１９９】
0006847254.tif 000200
【０８１０】
を取得し、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比が
【０８１１】
【数２００】
0006847254.tif 000201
【０８１２】
であると決定し、追跡期間全身ボックスを、
【０８１３】
【数２０１】
0006847254.tif 000202
【０８１４】
に基づき、決定する、ように特に構成される。
【０８１５】
任意選択で、第4の取得ユニット1109は、検出期間全身ボックスの幅と検出期間全身ボックスの高さとの比が
【０８１６】
【数２０２】
0006847254.tif 000203
【０８１７】
であると決定し、上半身検出ボックスの高さと検出期間全身ボックスの高さとの比が
【０８１８】
【数２０３】
0006847254.tif 000204
【０８１９】
であると決定し、追跡期間全身ボックスを、
【０８２０】
【数２０４】
0006847254.tif 000205
【０８２１】
に基づき、決定する、ように特に構成される。
【０８２２】
上半身追跡ボックスは
【０８２３】
【数２０５】
0006847254.tif 000206
【０８２４】
であり、ここで、
【０８２５】
【数２０６】
0006847254.tif 000207
【０８２６】
は、上半身追跡ボックスの左上水平座標であり、
【０８２７】
【数２０７】
0006847254.tif 000208
【０８２８】
は、上半身追跡ボックスの左上垂直座標であり、
【０８２９】
【数２０８】
0006847254.tif 000209
【０８３０】
は、上半身追跡ボックスの右下水平座標であり、
【０８３１】
【数２０９】
0006847254.tif 000210
【０８３２】
は、上半身追跡ボックスの右下垂直座標である。
【０８３３】
任意選択で、追跡期間全身ボックスを
【０８３４】
【数２１０】
0006847254.tif 000211
【０８３５】
に基づき決定するときに、第4の取得ユニット1109は、追跡期間全身ボックスの左上水平座標を決定し、ここで、
【０８３６】
【数２１１】
0006847254.tif 000212
【０８３７】
である場合、追跡期間全身ボックスの左上水平座標は
【０８３８】
【数２１２】
0006847254.tif 000213
【０８３９】
であり、追跡期間全身ボックスの左上垂直座標が
【０８４０】
【数２１３】
0006847254.tif 000214
【０８４１】
であると決定し、追跡期間全身ボックスの右下水平座標が
【０８４２】
【数２１４】
0006847254.tif 000215
【０８４３】
であると決定し、追跡期間全身ボックスの右下垂直座標が
【０８４４】
【数２１５】
0006847254.tif 000216
【０８４５】
であると決定し、ここで、
【０８４６】
【数２１６】
0006847254.tif 000217
【０８４７】
であり、追跡期間全身ボックスが
【０８４８】
【数２１７】
0006847254.tif 000218
【０８４９】
であると決定する、ように特に構成される。
【０８５０】
任意選択で、第4の取得ユニット1109は、追跡期間全身ボックスの左上水平座標を決定し、ここで、
【０８５１】
【数２１８】
0006847254.tif 000219
【０８５２】
である場合、追跡期間全身ボックスの左上水平座標は
【０８５３】
【数２１９】
0006847254.tif 000220
【０８５４】
であり、追跡期間全身ボックスの左上垂直座標が
【０８５５】
【数２２０】
0006847254.tif 000221
【０８５６】
であると決定し、追跡期間全身ボックスの右下水平座標が
【０８５７】
【数２２１】
0006847254.tif 000222
【０８５８】
であると決定し、追跡期間全身ボックスの右下垂直座標が
【０８５９】
【数２２２】
0006847254.tif 000223
【０８６０】
であると決定し、ここで、
【０８６１】
【数２２３】
0006847254.tif 000224
【０８６２】
であり、追跡期間全身ボックスが
【０８６３】
【数２２４】
0006847254.tif 000225
【０８６４】
であると決定する、ように特に構成される。
【０８６５】
この実施形態において示されている電子デバイスによる歩行者追跡の方法を実行する具体的なプロセスについては、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。
【０８６６】
この実施形態において示されている電子デバイスによる歩行者追跡の方法を実行することによって達成される有利な効果の説明については、前述の実施形態を参照されたい。詳細については、この実施形態では説明しない。
【０８６７】
説明をわかりやすく、簡潔にするために、前述のシステム、装置、およびユニットの詳細な作動プロセスについて、前述の方法実施形態における対応するプロセスを参照することは当業者によって明確に理解されるものとしてよく、詳細について本明細書で再び説明することはしない。
【０８６８】
本出願において提供されるいくつかの実施形態において、開示されているシステム、装置、および方法が、他の方式で実装され得ることが理解されるであろう。たとえば、説明されている装置の実施形態は、単なる例にすぎない。たとえば、ユニットを分けることは、単に論理機能を分けることであり、実際の実装では他の分け方であってもよい。たとえば、複数のユニットまたは構成要素が、別のシステム内に組み合わされ得るか、もしくは一体化され得るか、またはいくつかの特徴が無視され得るか、もしくは実施されなくてよい。それに加えて、表示されている、または説明されている相互結合または直接的結合または通信接続は、いくつかのインターフェースを使用することによって実装され得る。装置またはユニットの間の間接的結合または通信接続は、電子的な、機械的な、または他の形態で実装され得る。
【０８６９】
分離している部分として説明されるユニットは、物理的に分離されてもされなくてもよく、およびユニットとして表示される部分は、物理的ユニットであってもなくてもよく、1つの位置に配置され得るか、または複数のネットワークユニット上に分散され得る。ユニットの一部または全部は、実施形態の解決方法の目的を達成するために実際に必要になるものに基づき選択され得る。
【０８７０】
それに加えて、本発明の実施形態における機能ユニットは、1つのプロセッサ内に一体化され得るか、またはユニットの各々が、物理的に単独で存在し得るか、または2つ以上のユニットが、1つのユニット内に一体化される。一体化されたユニットは、ハードウェアの形態で実装され得るか、またはソフトウェア機能ユニットの形態で実装され得る。
【０８７１】
一体化されたモジュールがソフトウェア機能ユニットの形態で実装され、独立した製品として販売または使用される場合、一体化されたユニットは、コンピュータ可読記憶媒体に記憶され得る。このような理解に基づき、本発明の技術的解決方法は本質的に、または従来技術に寄与する部分は、または技術的解決方法の全部もしくは一部は、ソフトウェア製品の形態で実装され得る。コンピュータソフトウェア製品は、記憶媒体に記憶され、本発明の実施形態において説明されている方法のステップのうちのすべてまたはいくつかを実行することをコンピュータデバイス(パーソナルコンピュータ、サーバ、ネットワークデバイス、または同様のものであってよい)に命令するための複数の命令を含む。前述の記憶媒体は、USBフラッシュドライブ、取り外し可能なハードディスク、リードオンリーメモリ(ROM、Read-Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスク、または光ディスクなどの、プログラムコードを記憶することができる媒体を含む。
【０８７２】
前述の実施形態は、本発明を制限するのではなく、本発明の技術的解決方法を説明することのみを意図している。本発明は、前述の実施形態を参照しつつ詳しく説明されているけれども、当業者であれば、本発明の実施形態の技術的解決方法の範囲から逸脱することなく、前述の実施形態において説明されている技術的解決方法に修正を加えるか、またはその一部の技術的特徴に対する同等の置き換えを行うことがなお可能であることを理解するであろう。
【符号の説明】
【０８７３】
21  メタデータ抽出ユニット
22  問い合わせユニット
100  電子デバイス
105  カメラクラスタ
122  プロセッサ
126  電源
130  記憶媒体
141  オペレーティングシステム
142  アプリケーションプログラム
144  データ
158  入力/出力インターフェース
211  物体抽出モジュール
212  特徴抽出モジュール
213  インデックス構築モジュール
221  特徴抽出モジュール
222  特徴融合モジュール
223  インデックス作成および問い合わせモジュール
601  歩行者
602  歩行者
603  歩行者
701  上半身検出ボックス
702  検出期間全身ボックス
801  上半身検出ボックス
802  下半身検出ボックス
803  検出期間全身ボックス
1001  サブシーケンス
1002  特徴セット
1003  画像
1101  第1の決定ユニット
1102  第5の取得ユニット
1103  第6の取得ユニット
1104  第7の取得ユニット
1105  第8の取得ユニット
1106  第1の取得ユニット
1107  第2の取得ユニット
1108  第3の取得ユニット
1109  第4の取得ユニット
【図１】
0006847254.tif 000326
【図２】
0006847254.tif 000327
【図３Ａ】
0006847254.tif 000328
【図３Ｂ】
0006847254.tif 000329
【図４】
0006847254.tif 000330
【図５】
0006847254.tif 000331
【図６】
0006847254.tif 000332
【図７（ａ）】
0006847254.tif 000333
【図７（ｂ）】
0006847254.tif 000334
【図８】
0006847254.tif 000335
【図９Ａ】
0006847254.tif 000336
【図９Ｂ】
0006847254.tif 000337
【図１０Ａ】
0006847254.tif 000338
【図１０Ｂ】
0006847254.tif 000339
【図１１】
0006847254.tif 000340