(57)【特許請求の範囲】
【請求項１】
各ビデオフレームのグローバル特徴によって、複数のビデオフレームの各ビデオフレームの複数のスケールのターゲットの予め推定された位置を取得すること、
各ビデオフレームの前記ターゲットの予め推定された位置をクラスタリングして、１つまたは複数のターゲット候補領域を取得すること、及び
各ビデオフレームの前記１つまたは複数のターゲット候補領域によって、各ビデオフレームのターゲットの実際の領域を、前記１つまたは複数のターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定すること
を備え、
前記、各ビデオフレームの前記１つまたは複数のターゲット候補領域によって、各ビデオフレームの前記ターゲットの実際の領域を、前記１つまたは複数のターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定することが、
各ビデオフレームの全てのスケールの前記１つまたは複数のターゲット候補領域に対して、リージョナル木構造を、大きいスケールから小さいスケールの順序で確立すること、及び
各ビデオフレームの前記リージョナル木構造及び前記１つまたは複数のターゲット候補領域の前記信頼性レベルによって、各ビデオフレームの前記ターゲットの実際の領域を取得すること
を含む、ターゲット取得方法。
【請求項２】
各ビデオフレームの前記１つまたは複数のターゲット候補領域によって、各ビデオフレームの前記ターゲットの実際の領域を、前記１つまたは複数のターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定した後、前記複数のビデオフレームの隣接する２つの時点の２つのビデオフレームの同一のターゲットの実際の領域同士を比較して、前記ターゲットの実際の領域が無効であるかどうかを判定することをさらに備える、請求項１に記載の方法。
【請求項３】
各ビデオフレームの前記グローバル特徴によって、前記複数のビデオフレームの各ビデオフレームの複数のスケールのターゲットの予め推定された位置を取得する前に、各ビデオフレームにサイズ正規化を行うことをさらに備える、請求項１に記載の方法。
【請求項４】
前記グローバル特徴が、グローバルグレースケール特徴、グローバルテクスチャ特徴、グローバルカラー特徴及びグローバルモーション特徴を含む特徴のうち１つまたは複数の特徴を含む、請求項１に記載の方法。
【請求項５】
各ビデオフレームの前記グローバルテクスチャ特徴を、ガボール行列またはキャニーオペレータのエッジ検出アルゴリズムを用いることによって抽出する、請求項４に記載の方法。
【請求項６】
各ビデオフレームの前記グローバルカラー特徴を抽出することをさらに備え、前記抽出が、各ビデオフレームの３色チャネルによって、赤、緑、青及び黄を含む４色の修正基底行列を取得すること、前記４色の前記基底行列によって、赤−緑カラー特徴行列及び青−黄カラー特徴行列を取得すること及び各ビデオフレームの前記グローバルカラー特徴として、前記赤−緑カラー特徴行列と前記青−黄カラー特徴行列の差の絶対値を用いることを含む、請求項４に記載の方法。
【請求項７】
各ビデオフレームの前記グローバルモーション特徴を抽出することをさらに備え、前記抽出が、前記ビデオフレームの前記グローバルモーション特徴として、各ビデオフレームのグレースケール特徴マップと対応する前のビデオフレームのグレースケール特徴マップの差の絶対値を用いることを含む、請求項４に記載の方法。
【請求項８】
前記、各ビデオフレームの前記グローバル特徴によって、前記複数のビデオフレームの各ビデオフレームの複数のスケールのターゲットの予め推定された位置を取得することが、各ビデオフレームの前記グローバル特徴に重み付けをし、マルチスケール周波数領域振幅スペクトルフィルタリングを行って、各ビデオフレームの各スケールの前記ターゲットの予め推定された位置を取得することを含む、請求項１に記載の方法。
【請求項９】
前記、各ビデオフレームの前記グローバル特徴に重み付けをし、マルチスケール周波数領域振幅スペクトルフィルタリングを行って、各ビデオフレームの各スケールの前記ターゲットの予め推定された位置を取得することが、各ビデオフレームの前記グローバル特徴に重み付けをして、行列多項式を取得すること、前記行列多項式に多項式フーリエ変換を行って、周波数領域多項式行列を取得すること、前記周波数領域多項式行列にマルチスケール振幅スペクトルフィルタリングを行って、各スケールの周波数領域を取得すること及び各スケールの前記周波数領域に逆フーリエ変換を行って、各ビデオフレームの各スケールの前記ターゲットの予め推定された位置を取得することを含む、請求項８に記載の方法。
【請求項１０】
前記、前記周波数領域多項式行列に前記マルチスケール振幅スペクトルフィルタリングを行って、各スケールの周波数領域を取得することが、前記周波数領域多項式行列に応じて、対応する振幅スペクトルを取得すること、ガウスローパスフィルタを用いることによって、前記振幅スペクトルに、プリセットマルチスケール振幅スペクトルフィルタリングを行って、各スケールのフィルタリングされた振幅スペクトルを取得すること及び各スケールの位相スペクトル及び前記フィルタリングされた振幅スペクトルによって、各スケールのフィルタリングされた周波数領域を取得することを含む、請求項９に記載の方法。
【請求項１１】
前記、各ビデオフレームの前記ターゲットの予め推定された位置をクラスタリングして、前記１つまたは複数のターゲット候補領域を取得することが、各ビデオフレームの各スケールの各ターゲットの予め推定された位置によって、対応するターゲット候補領域を取得すること、各ターゲット候補領域の画素数がプリセットされた数より少ないことを判定すること、前記各ターゲット候補領域をフィルタアウトすること、フィルタアウトされていない各ターゲット候補領域のヒストグラムを作ること及び前記対応するターゲット候補領域の信頼性レベルとして、前記ヒストグラムを用いることによって、フィルタアウトされていない各ターゲット候補領域の情報エントロピーを計算することを含む、請求項１に記載の方法。
【請求項１２】
前記、各ビデオフレームの各スケールの各ターゲットの予め推定された位置によって、前記対応するターゲット候補領域を取得することが、現在のビデオフレームの現在のスケールの現在のターゲットの予め推定された位置として、各ビデオフレームの各スケールの各ターゲットの予め推定された位置を順次用いること及び前記現在のビデオフレームの前記現在のスケールの前記現在のターゲットの予め推定された位置に、以下の処理を順次行うことを含み、前記順次行うことが、現在のビデオフレームの現在のスケールの前記現在のターゲットの予め推定された位置を未訪問とラベリングすること、前記現在のスケールの前記現在のターゲットの予め推定された位置をスキャンすること、前記現在のターゲットの予め推定された位置でプリセット値より大きな画素値を有する未訪問とラベリングされた画素を中央画素として見つけること、前記中央画素を訪問済みとラベリングすること、前記中央画素の近接領域で前記プリセット値より大きな画素値を有する未訪問とラベリングされた他の画素を取得すること、プリセット値より大きな画素値を有する未訪問とラベリングされた前記取得した他の画素を訪問済みとラベリングすること、前記現在のターゲットの予め推定された位置に対応するターゲット候補領域を初期化することならびに前記中央画素及び前記近接領域の前記プリセット値より大きな画素値を有する未訪問とラベリングされた他の画素を前記ターゲット候補領域に加えることを含む、請求項１１に記載の方法。
【請求項１３】
前記、各ビデオフレームの前記リージョナル木構造及び前記１つまたは複数のターゲット候補領域の前記信頼性レベルによって、各ビデオフレームの前記ターゲットの実際の領域を取得することが、各ビデオフレームの前記リージョナル木構造の各ノード領域を大きいスケールから小さいスケールの順序でトラバースすること及びイテレーションを実行して、各ビデオフレームの前記ターゲットの実際の領域を取得することを含む、請求項１に記載の方法。
【請求項１４】
前記、前記イテレーションを実行して、各ビデオフレームの前記ターゲットの実際の領域を取得することが、親ノード領域及び子ノード領域が単一の子の木であることを判定すること、信頼性レベルがより高い前記ノード領域を、前記ターゲットの実際の領域として選択すること及び前記イテレーションを終了することを含む、請求項１３に記載の方法。
【請求項１５】
前記、前記イテレーションを実行して、各ビデオフレームの前記ターゲットの実際の領域を取得することが、親ノード領域及び２つの子ノード領域が複数の子の木であり、前記親ノード領域の信頼性レベルが前記２つの子ノード領域両方の信頼性レベルより高いことを判定すること、前記親ノード領域を、前記ターゲットの実際の領域として選択すること及び前記イテレーションを終了することを含む、請求項１３に記載の方法。
【請求項１６】
前記、前記イテレーションを実行して、各ビデオフレームの前記ターゲットの実際の領域を取得することが、親ノード領域及び２つの子ノード領域が複数の子の木であり、前記２つの子ノード領域の信頼性レベルが、両方、前記親ノード領域の信頼性レベルより高いことを判定すること及び前記２つの子ノード領域を、前記ターゲットの実際の領域として選択することを含む、請求項１３に記載の方法。
【請求項１７】
前記、前記イテレーションを実行して、各ビデオフレームの前記ターゲットの実際の領域を取得することが、親ノード領域及び２つの子ノード領域が複数の子の木であり、前記親ノード領域の信頼性レベルが前記２つの子ノード領域の一方の信頼性レベルより高く、前記２つの子ノード領域の他方の信頼性レベルより低いことを判定すること及び前記信頼性レベルがより高い前記子ノード領域を、前記ターゲットの実際の領域として選択することを含む、請求項１３に記載の方法。
【請求項１８】
各ビデオフレームのグローバル特徴によって、複数のビデオフレームの各ビデオフレームの複数のスケールのターゲットの予め推定された位置を取得する第１の装置、
各ビデオフレームの前記ターゲットの予め推定された位置をクラスタリングして、１つまたは複数のターゲット候補領域を取得する第２の装置、及び
各ビデオフレームの前記１つまたは複数のターゲット候補領域によって、各ビデオフレームのターゲットの実際の領域を、前記１つまたは複数のターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定する第３の装置を備え、
前記、各ビデオフレームの前記１つまたは複数のターゲット候補領域によって、各ビデオフレームの前記ターゲットの実際の領域を、前記１つまたは複数のターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定することにおいて、前記第３の装置が、
各ビデオフレームの全てのスケールの前記１つまたは複数のターゲット候補領域に対して、リージョナル木構造を、大きいスケールから小さいスケールの順序で確立し、
各ビデオフレームの前記リージョナル木構造及び前記１つまたは複数のターゲット候補領域の前記信頼性レベルによって、各ビデオフレームの前記ターゲットの実際の領域を取得する、ターゲット取得装置。
【請求項１９】
１つまたは複数のプロセッサにより実行可能であり前記１つまたは複数のプロセッサに動作を行わせるコンピュータ実行可能命令が記憶された１つまたは複数の記録媒体であって、前記動作が、
各ビデオフレームのグローバル特徴によって、複数のビデオフレームの各ビデオフレームの複数のスケールのターゲットの予め推定された位置を取得すること、
各ビデオフレームの前記ターゲットの予め推定された位置をクラスタリングして、１つまたは複数のターゲット候補領域を取得すること、及び
各ビデオフレームの前記１つまたは複数のターゲット候補領域によって、各ビデオフレームのターゲットの実際の領域を、前記１つまたは複数のターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定することを備え、
前記、各ビデオフレームの前記１つまたは複数のターゲット候補領域によって、各ビデオフレームの前記ターゲットの実際の領域を、前記１つまたは複数のターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定することが、
各ビデオフレームの全てのスケールの前記１つまたは複数のターゲット候補領域に対して、リージョナル木構造を、大きいスケールから小さいスケールの順序で確立すること、及び
各ビデオフレームの前記リージョナル木構造及び前記１つまたは複数のターゲット候補領域の前記信頼性レベルによって、各ビデオフレームの前記ターゲットの実際の領域を取得すること
を含む、前記１つまたは複数の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、通信及びコンピュータの分野、より具体的には、ターゲット取得方法及び装置に関する。
【０００２】
関連出願の相互参照
本出願は、「ターゲット取得の方法及び装置」という名称の、２０１５年２月４日に出願された中国特許出願第２０１５１００５９２６１．５号の外国優先権を主張し、その全体を参照により本明細書に組み込む。
【背景技術】
【０００３】
第４世代の時代の到来とともに、携帯端末の情報送達の方法は、単にテキスト及び画像に限定されるのではなく、映像からもたらされることがより一般的になっている。多くのインターネット企業が、関連するアプリケーションインタフェースの発売もし、映像情報を取得する技術は、最新のリサーチホットスポットの１つとなっている。
【０００４】
既存のマルチターゲットトラッキング技術は、空間トラッキング方法及び時間空間トラッキング方法を含み、大部分がレーダ分野及び航空分野に適用されている。空間トラッキング方法は、画像信号の各フレームを個別に処理すること及び動いているターゲットを、２次元空間のターゲット信号の特徴を用いることによってトラッキングすることを含む。時間空間トラッキング方法は、空間領域のターゲットの特徴及び時間領域のターゲットの動きの特徴を利用することを含み、コントラストトラッキングと画像関連トラッキングに分けられる。他の技術として、粒子フィルタに基づく方法、平均シフトに基づく方法などがある。
【０００５】
既存の複数ターゲットトラッキング技術は、通常、適応可能なシナリオは単一であり、トラッキングターゲットのタイプは単一である。その理由は、１つは、既存のマルチクラス分類子の分類精度は低く、作業効率を考慮すると、ディープニューラルネットワーク（ＤＮＮ）などの複雑な分類アルゴリズムを用いることができないからであり、もう１つは、複数ターゲットトラッキングは、ターゲットと背景の区別に対応するだけでなく、ターゲット同士の区別にも対応する必要があるからである。
【０００６】
ターゲットトラッキングアルゴリズムに関して、簡単な単一のターゲットについて、既存のＯｐｅｎＴＬＤは、安定した効果を成し、そのソースコードは公開されているが、単一のターゲットを対象としているのみである。既存の解決策（ＣＮＮを通してユニバーサルマルチクラスターゲットモデルを確立し、ビデオの第１のフレームが開始すると複数ターゲット検出を行い、各ターゲットの位置を知らせ、次いで、従来のターゲットトラッキング方法を利用して、トラッキングを実行する）は、複数ターゲット検出の際、大量の計算を行い、オフラインでとてつもないモデルを学習する必要がある。これは、計算及び記憶の莫大な消費につながり、ビデオのリアルタイム適用の要件は、とても満たさない。
【発明の概要】
【０００７】
この概要は、発明を実施するための形態で以下にさらに記載する概念の選択を簡単な形で紹介するものである。この概要は、特許請求された主題の鍵となる特徴または本質的な特徴すべてを識別することを意図しておらず、また、単独で、特許請求された主題の範囲を決定するのに役立つものとして用いることも意図していない。「技術（複数可）または技術的解決策（複数可）」という用語は、例えば、上記の文脈によってかつ本開示全体を通して許されるように、装置（複数可）、システム（複数可）、方法（複数可）及び／またはコンピュータ可読命令を指し得る。
【０００８】
本開示の目的は、いかにして複数のターゲットを正確に区別し取得するかという課題を解決するターゲット取得方法及び装置を提供することである。
【０００９】
上記を考慮して、本開示は、各ビデオフレームのグローバル特徴によって、複数のビデオフレームの各ビデオフレームの複数のスケールのターゲットの予め推定された位置を取得すること、各ビデオフレームのターゲットの予め推定された位置をクラスタリングして、対応するターゲット候補領域を取得すること及び各ビデオフレームの全てのターゲット候補領域によって、ビデオフレームのターゲットの実際の領域を、ターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定することを含むターゲット取得方法を提供する。
【００１０】
さらに、各ビデオフレームの全てのターゲット候補領域によって、ビデオフレームのターゲットの実際の領域を、ターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定した後に、この方法はさらに、隣接する２つの時点のビデオフレームの同一のターゲットの実際の領域同士を比較して、ビデオフレームのターゲットの実際の領域が無効であるかどうかを判定することを備える。
【００１１】
さらに、各ビデオフレームのグローバル特徴によって、ビデオフレームの各スケールのターゲットの予め推定された位置を取得する前に、この方法はさらに、各ビデオフレームにサイズ正規化を行うことを含む。
【００１２】
さらに、グローバル特徴は、グローバルグレースケール特徴、グローバルテクスチャ特徴、グローバルカラー特徴及びグローバルモーション特徴を含む特徴のうち１つまたは複数の特徴を含む。
【００１３】
さらに、各ビデオフレームのグローバルグレースケール特徴を、ビデオフレームの３色チャネルの合計の平均値に基づいて取得する。
【００１４】
さらに、各ビデオフレームのグローバルテクスチャ特徴を、ガボール行列またはキャニーオペレータのエッジ検出アルゴリズムを用いることによって抽出する。
【００１５】
さらに、各ビデオフレームのグローバルカラー特徴を抽出することが、各ビデオフレームの３色チャネルによって、赤、緑、青及び黄を含む４色の修正基底行列を取得すること、赤、緑、青及び黄を含む４色の基底行列によって、赤−緑カラー特徴行列及び青−黄カラー特徴行列を取得すること及びビデオフレームのグローバルカラー特徴として、赤−緑カラー特徴行列と青−黄カラー特徴行列の差の絶対値を用いることを含む。
【００１６】
さらに、各ビデオフレームのグローバルモーション特徴を抽出することが、ビデオフレームのグローバルモーション特徴として、各ビデオフレームのグレースケール特徴マップと対応する前のビデオフレームのグレースケール特徴マップの差の絶対値を用いることを含む。
【００１７】
さらに、各ビデオフレームのグローバル特徴によって、ビデオフレームの各スケールのターゲットの予め推定された位置を取得することが、各ビデオフレームのグローバル特徴に重み付けをし、マルチスケール周波数領域振幅スペクトルフィルタリングを行って、ビデオフレームの各スケールのターゲットの予め推定された位置を取得することを含む。
【００１８】
さらに、各ビデオフレームのグローバル特徴に重み付けをし、マルチスケール周波数領域振幅スペクトルフィルタリングを行って、ビデオフレームの各スケールのターゲットの予め推定された位置を取得することが、各ビデオフレームのグローバル特徴に重み付けをして、行列多項式を取得すること、行列多項式に多項式フーリエ変換を行って、周波数領域多項式行列を取得すること、周波数領域多項式行列にマルチスケール振幅スペクトルフィルタリングを行って、各スケールの周波数領域を取得すること及び各スケールの周波数領域に逆フーリエ変換を行って、ビデオフレームの各スケールのターゲットの予め推定された位置を取得することを含む。
【００１９】
さらに、周波数領域多項式行列にマルチスケール振幅スペクトルフィルタリングを行って、各スケールの周波数領域を取得することが、周波数領域多項式行列に応じて、対応する振幅スペクトルを取得すること、ガウスローパスフィルタを用いることによって、振幅スペクトルに、プリセットマルチスケール振幅スペクトルフィルタリングを行って、各スケールのフィルタリングされた振幅スペクトルを取得すること及び各スケールの位相スペクトル及びフィルタリングされた振幅スペクトルによって、各スケールのフィルタリングされた周波数領域を取得することを含む。
【００２０】
さらに、各ビデオフレームのターゲットの予め推定された位置をクラスタリングして、対応するターゲット候補領域を取得することが、各ビデオフレームの各スケールの各ターゲットの予め推定された位置によって、対応するターゲット候補領域を取得すること、各ターゲット候補領域の画素数がプリセットされた数より少ないかどうかを判定し、イエスの場合、ターゲット候補領域をフィルタアウトすること及びフィルタアウトされていない各ターゲット候補領域のヒストグラムを作り、対応するターゲット候補領域の信頼性レベルとして、ヒストグラムを用いることによって、各ターゲット候補領域の情報エントロピーを計算することを含む。
【００２１】
さらに、各ビデオフレームの各スケールの各ターゲットの予め推定された位置によって、対応するターゲット候補領域を取得することが、現在のビデオフレームの現在のスケールの現在のターゲットの予め推定された位置として、各ビデオフレームの各スケールの各ターゲットの予め推定された位置を順次用いること及び現在のビデオフレームの現在のスケールの現在のターゲットの予め推定された位置に以下の処理を順次行うことを含む。処理は、現在のビデオフレームの現在のスケールの現在のターゲットの予め推定された位置の画素を未訪問とラベリングすること、現在のスケールの現在のターゲットの予め推定された位置をスキャンし、現在のターゲットの予め推定された位置でプリセット値より大きな画素値を有する未訪問とラベリングされた画素を中央画素として見つけ、中央画素を訪問済みとラベリングすること、中央画素の近接領域でプリセット値より大きな画素値を有する未訪問とラベリングされた他の画素を取得し、プリセット値より大きな画素値を有する未訪問とラベリングされた取得した他の画素を訪問済みとラベリングすること及び現在のターゲットの予め推定された位置に対応するターゲット候補領域を初期化し、中央画素及び近接領域でプリセット値より大きな画素値を有する未訪問とラベリングされた他の画素をターゲット候補領域に加えることである。
【００２２】
さらに、各ビデオフレームの全てのターゲット候補領域によって、ビデオフレームのターゲットの実際の領域を、ターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定することが、各ビデオフレームに、以下の処理を行うことを含む。処理は、各ビデオフレームの全てのスケールのターゲット候補領域に対して、リージョナル木構造を、大きいスケールから小さいスケールの順序で確立することならびに各ビデオフレームのリージョナル木構造及び全てのターゲット候補領域の信頼性レベルによって、各ビデオフレームのターゲットの実際の領域を取得することである。
【００２３】
さらに、各ビデオフレームのリージョナル木構造及び全てのターゲット候補領域の信頼性レベルによって、各ビデオフレームのターゲットの実際の領域を取得することが、各ビデオフレームのリージョナル木構造の各ノード領域を、大きいスケールから小さいスケールの順序でトラバースすること及び以下の状況に応じて、イテレーションを実行して、各ビデオフレームのターゲットの実際の領域を取得することを含む。
状況は、以下の通りである。
現在、親ノード領域及び子ノード領域が単一の子の木である場合、信頼性レベルがより高いノード領域を、ターゲットの実際の領域として直接選択し、イテレーションを終了する。
現在、親ノード領域及び子ノード領域が複数の子の木であり、現在の親ノード領域の信頼性レベルが、２つの子ノード領域両方の信頼性レベルより高い場合、親ノード領域を、ターゲットの実際の領域として選択し、イテレーションを終了する。
現在、親ノード領域及び子ノード領域が複数の子の木であり、現在の２つの子ノード領域の信頼性レベルが、両方、現在の親ノード領域の信頼性レベルより高い場合、２つの子ノード領域を、ターゲットの実際の領域として選択する。
現在、親ノード領域及び子ノード領域が複数の子の木であり、親ノード領域の信頼性レベルが２つの子ノード領域の一方の信頼性レベルより高く、２つの子ノード領域の他方の信頼性レベルより低い場合、信頼性レベルがより高い子ノード領域を、ターゲットの実際の領域として選択する。
【００２４】
本開示の別の態様は、各ビデオフレームのグローバル特徴によって、複数のビデオフレームの各ビデオフレームの複数のスケールのターゲットの予め推定された位置を取得する第１の装置、各ビデオフレームのターゲットの予め推定された位置をクラスタリングして、対応するターゲット候補領域を取得する第２の装置及び各ビデオフレームの全てのターゲット候補領域によって、ビデオフレームのターゲットの実際の領域を、ターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定する第３の装置を含むターゲット取得装置を提供する。
【００２５】
さらに、この装置は、隣接する２つの時点のビデオフレームの同一のターゲットの実際の領域同士を比較して、ビデオフレームのターゲットの実際の領域が無効かどうかを判定する第４の装置をさらに含む。
【００２６】
さらに、この装置は、各ビデオフレームにサイズ正規化を行う第５の装置を含む。
【００２７】
さらに、各ビデオフレームの全てのグローバル特徴は、グローバルグレースケール特徴、グローバルテクスチャ特徴、グローバルカラー特徴及びグローバルモーション特徴を含む特徴のうち１つまたは複数の特徴を含む。
【００２８】
さらに、各ビデオフレームのグローバルグレースケール特徴を、ビデオフレームの３色チャネルの合計の平均値に基づいて取得する。
【００２９】
さらに、各ビデオフレームのグローバルテクスチャ特徴を、ガボール行列またはキャニーオペレータのエッジ検出アルゴリズムを用いることによって抽出する。
【００３０】
さらに、各ビデオフレームのグローバルカラー特徴を抽出することが、各ビデオフレームの３色チャネルによって、赤、緑、青及び黄を含む４色の修正基底行列を取得すること、赤、緑、青及び黄を含む４色の基底行列によって、赤−緑カラー特徴行列及び青−黄カラー特徴行列を取得すること及びビデオフレームのグローバルカラー特徴として、赤−緑カラー特徴行列と青−黄カラー特徴行列の差の絶対値を用いることを含む。
【００３１】
さらに、各ビデオフレームのグローバルモーション特徴を抽出することが、ビデオフレームのグローバルモーション特徴として、各ビデオフレームのグレースケール特徴マップとプリセットフレームの前のビデオフレームのグレースケール特徴マップの差の絶対値を用いることを含む。
【００３２】
さらに、第１の装置は、各ビデオフレームのグローバル特徴に重み付けをし、マルチスケール周波数領域振幅スペクトルフィルタリングを行って、ビデオフレームの各スケールのターゲットの予め推定された位置を取得する。
【００３３】
さらに、第１の装置は、各ビデオフレームのグローバル特徴に重み付けをして、行列多項式を取得する第１−第１ユニット、行列多項式に多項式フーリエ変換を行って、周波数領域多項式行列を取得する第１−第２ユニット、周波数領域多項式行列にマルチスケール振幅スペクトルフィルタリングを行って、各スケールの周波数領域を取得する第１−第３ユニット及び各スケールの周波数領域に逆フーリエ変換を行って、ビデオフレームの各スケールのターゲットの予め推定された位置を取得する第１−第４ユニットを含む。
【００３４】
さらに、第１−第３ユニットは、周波数領域多項式行列に応じて、対応する振幅スペクトルを取得する第１−第３−第１ユニット、ガウスローパスフィルタを用いることによって、振幅スペクトルに、プリセットマルチスケール振幅スペクトルフィルタリングを行って、各スケールのフィルタリングされた振幅スペクトルを取得する第１−第３−第２ユニット及び各スケールの位相スペクトル及びフィルタリングされた振幅スペクトルによって、各スケールのフィルタリングされた周波数領域を取得する第１−第３−第３ユニットを含む。
【００３５】
さらに、第２の装置は、各ビデオフレームの各スケールの各ターゲットの予め推定された位置に応じて、対応するターゲット候補領域を取得する第２−第１ユニット、各ターゲット候補領域の画素数がプリセットされた数より少ないかどうかを判定し、結果が正であれば、ターゲット候補領域をフィルタアウトする第２−第２ユニット及びターゲット候補領域に関して、フィルタアウトされていない各ターゲット候補領域のヒストグラムをつくり、対応するターゲット候補領域の信頼性レベルとして、ヒストグラムを用いることによって、各ターゲット候補領域の情報エントロピーを計算する第２−第３ユニットを含む。
【００３６】
さらに、第２−第１ユニットは、現在のビデオフレームの現在のスケールの現在のターゲットの予め推定された位置として、各ビデオフレームの各スケールの各ターゲットの予め推定された位置を順次用い、現在のビデオフレームの現在のスケールの現在のターゲットの予め推定された位置に以下の処理を順次行う。
処理は、現在のビデオフレームの現在のスケールの現在のターゲットの予め推定された位置の画素を未訪問とラベリングすること、現在のスケールの現在のターゲットの予め推定された位置をスキャンし、現在のターゲットの予め推定された位置でプリセット値より大きな画素値を有する未訪問とラベリングされた画素を中央画素として見つけ、中央画素を訪問済みとラベリングすること、中央画素の近接領域でプリセット値より大きな画素値を有する未訪問とラベリングされた他の画素を取得し、プリセット値より大きな画素値を有する未訪問とラベリングされた取得した他の画素を訪問済みとラベリングすること及び現在のターゲットの予め推定された位置に対応するターゲット候補領域を初期化し、中央画素及び近接領域のプリセット値より大きな画素値を有する未訪問とラベリングされた他の画素をターゲット候補領域に加えることである。
【００３７】
さらに、第３の装置は、各ビデオフレームの全てのスケールのターゲット候補領域に対して、リージョナル木構造を、大きいスケールから小さいスケールの順序で確立する第３−第１ユニットならびに各ビデオフレームのリージョナル木構造及び全てのターゲット候補領域の信頼性レベルによって、各ビデオフレームのターゲットの実際の領域を取得する第３−第２ユニットを含む。
【００３８】
さらに、第３−第２ユニットは、各ビデオフレームのリージョナル木構造の各ノード領域を、大きいスケールから小さいスケールの順序でトラバースし、以下の状況に応じて、イテレーションを実行して、各ビデオフレームのターゲットの実際の領域を取得する。状況は、現在、親ノード領域及び子ノード領域が単一の子の木である場合、信頼性レベルがより高いノード領域を、ターゲットの実際の領域として直接選択し、イテレーションを終了すること、現在、親ノード領域及び子ノード領域が複数の子の木であり、現在の親ノード領域の信頼性レベルが２つの子ノード領域両方の信頼性レベルより高い場合、親ノード領域を、ターゲットの実際の領域として選択し、イテレーションを終了すること、現在、親ノード領域及び子ノード領域が複数の子の木であり、現在の２つの子ノード領域の信頼性レベルが両方、現在の親ノード領域の信頼性レベルより高い場合、２つの子ノード領域を、ターゲットの実際の領域として選択すること、及び現在、親ノード領域及び子ノード領域が複数の子の木であり、親ノード領域の信頼性レベルが２つの子ノード領域の一方の信頼性レベルより高く、２つの子ノード領域の他方の信頼性レベルより低い場合、信頼性レベルがより高い子ノード領域を、ターゲットの実際の領域として選択することである。
【００３９】
従来技術と比較すると、本開示の技術は、各ビデオフレームのグローバル特徴によって、ビデオフレームの各スケールのターゲットの予め推定された位置を取得し、各ビデオフレームのターゲットの予め推定された位置をクラスタリングして、対応するターゲット候補領域を取得し、各ビデオフレームの全てのターゲット候補領域によって、ビデオフレームのターゲットの実際の領域を、ターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定する。本開示の技術は、１つまたは複数のターゲットを迅速にかつ効率的に取得し、特に、複数のターゲットを正確に区別し取得できる。
【００４０】
さらに、本開示の技術は、隣接する２つの時点のビデオフレームの同一のターゲットの実際の領域の中央位置同士の距離がプリセット閾値以上かどうかを計算し、結果が正の場合、隣接する２つの時点の後者のビデオフレームのターゲットの実際の領域は無効であると判定する。これによって、ビデオのターゲットの以後の抽出の精度を高め、ビデオ分類などの基本的特徴を提供する。
【００４１】
添付の図面を参照して作成された非制限の実施形態例の詳細な記述を設けることによって、本開示の特徴、目的及び利点を示す。
【図面の簡単な説明】
【００４２】
【図１】本開示の１つの態様によるターゲット取得方法例の流れ図である。
【図２】本開示の実施形態例による取得方法例の流れ図である。
【図３】本開示の別の実施形態例によるターゲット取得方法例の流れ図である。
【図４】本開示のさらに別の実施形態例によるターゲット取得方法例の流れ図である。
【図５】本開示のさらに別の実施形態例によるターゲット取得方法例の流れ図である。
【図６】本開示のさらに別の実施形態例によるターゲット取得方法例の流れ図である。
【図７】本開示のさらに別のさらなる実施形態例によるターゲット取得方法例の流れ図である。
【図８】本開示のさらに別の実施形態例によるターゲット取得方法例の流れ図である。
【図９】本開示の実施形態例によるマルチスケール処理される複数の子の木の例の図である。
【図１０】本開示の実施形態例によるマルチスケール処理される単一の子の木の例の図である。
【図１１】本開示のさらに別の実施形態例によるターゲット取得方法例の流れ図である。
【図１２】本開示の別の態様によるターゲット取得装置例の概略図である。
【図１３】本開示の実施形態例によるターゲット取得装置例の概略図である。
【図１４】本開示のさらに別の実施形態によるターゲット取得装置例の概略図である。
【図１５】本開示のさらに別の実施形態例によるターゲット取得装置例の概略図である。
【図１６】本開示のさらに別の実施形態例によるターゲット取得装置例の概略図である。
【図１７】本開示のさらに別の実施形態例によるターゲット取得装置例の概略図である。
【図１８】本開示のさらに別の実施形態例によるターゲット取得装置例の概略図である。
【００４３】
添付図面の同一または同様の参照符号は、同一または同様のコンポネントを表す。
【発明を実施するための形態】
【００４４】
本開示の通常の構成で、端末、ネットワークを供する装置及び信頼性のあるパーティは全て、１つまたは複数のプロセッサ（ＣＰＵ）、入出力インタフェース、ネットワークインタフェース及びメモリを含む。
【００４５】
メモリは、揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）及び／または不揮発性メモリ、例えば、読取り専用メモリ（ＲＯＭ）またはフラッシュＲＡＭなどの種々のタイプのコンピュータ可読媒体を含み得る。メモリは、コンピュータ可読媒体の例である。
【００４６】
コンピュータ可読媒体は、可動媒体及び非可動媒体に加えて、不揮発性媒体及び揮発性媒体も含み、任意の方法及び技術を用いることによって、情報記憶を実行することができる。情報は、コンピュータ可読命令、データ構造及びプログラムまたは他のデータのモジュールであり得る。コンピュータの記憶媒体は、例えば、これらに限定されないが、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、電気的消去可能なプログラム可能読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリもしくは他のメモリ技術、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）もしくは他の光学式記憶、カセットテープ、磁気テープ／磁気ディスク記憶もしくは他の磁気記憶装置、または任意の他の非伝送媒体を含み、コンピューティング装置がアクセスする情報を記憶するのに用いることができる。この文の定義によると、コンピュータ可読媒体は、変調されたデータ信号及びキャリアなどの一時的な媒体を含まない。
【００４７】
図１は、本開示の１つの態様によるターゲット取得方法例の流れ図である。図１を参照すると、本開示は、以下を含むターゲット取得方法を提案する。
【００４８】
Ｓ１で、各ビデオフレームのグローバル特徴によって、各ビデオフレームの複数のスケールのターゲットの予め推定された位置を取得する。ターゲットの自動的な選択を実現するためには、ターゲットに対して検出を実行するのに、特徴学習モデル及び分類子の方法を用いることはできない。従来の複数ターゲットトラッキング方法の代わりに、本開示は、ターゲット位置を予め推定するのに、有意性の程度の検出を用いる。ここで、各ビデオフレームは、同一のビデオから抽出され、ビデオフレームのターゲットの予め推定された位置は、有意性マップ、例えば、確率マップである。
【００４９】
Ｓ２で、各ビデオフレームのターゲットの予め推定された位置をクラスタリングして、対応するターゲット候補領域を取得する。
【００５０】
Ｓ３で、ビデオフレームのターゲットの実際の領域を、各ビデオフレームの全てのターゲット候補領域によって、ターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定する。本明細書で、１つまたは複数のターゲットを迅速にかつ効率的に取得することを実現するように、特に、複数のターゲットを正確に区別し取得できるように、１つまたは複数のターゲットの実際の領域を取得し得る。
【００５１】
図２は、本開示の実施形態例によるターゲット取得方法の例の流れ図である。図２を参照すると、図１のＳ１より前に、以下をさらに含む。
【００５２】
Ｓ０で、各ビデオフレームに、各ビデオフレームに対するズームイン及びブームアウトなどのサイズ正規化を行う。各ビデオフレームに対するズームイン及びズームアウトの処理で、欠落している画素値を補間するのに、バイリニア補間、リニア補間またはキュービック補間などの方法を用い得る。例えば、各ビデオフレームを、６４×６４画素に変換し得る。それに対応して、Ｓ１で、各ビデオフレームのグローバル特徴を、正規化されたビデオフレームに応じて取得する。当業者は、ビデオフレームにサイズ正規化を行うという上記は単なる例であり、本開示に適用可能な他の既存のまたは将来的に可能な正規化も本開示の保護の範囲内で包含され、参照により本明細書に含まれるであろうことを理解し得る。
【００５３】
図３は、本開示の実施形態例によるターゲット取得方法の流れ図である。図３を参照すると、図１のＳ３の後で、以下の演算を行う。
【００５４】
Ｓ４で、隣接する２つの時点のビデオフレームの同一のターゲットの実際の領域同士を比較して、ビデオフレームのターゲットの実際の領域が無効であるかどうかを判定する。例えば、隣接する２つの時点のビデオフレームの同一のターゲットの実際の領域の中央位置同士の距離がプリセット閾値以上かどうかを計算し、結果が正である場合、隣接する２つの時点の後者のビデオフレームのターゲットの実際の領域は無効であると判定する。さらに、時点ｔ−１のターゲットの実際の領域から時点ｔの同一のターゲットの実際の領域までの傾斜及び時点ｔのターゲットの実際の領域から時点ｔ＋１のターゲットの実際の領域までの傾斜をさらに計算する。前者の傾斜と後者の傾斜の差がプリセット閾値より大きいかどうかを判定し、結果がイエスである場合、それらは同一のトラックに存在しないこと意味する、すなわち、時点ｔ＋１のターゲットの実際の領域は無効であると判定する。本明細書で、トラッキング処理が有効かどうかを、動いているターゲットの動きの連続性を用いて判定して、トラッキングされたターゲットがオクルードされているかそれともシナリオから外れているかを判定する。これによって、ビデオのターゲットの以後の抽出の精度を高めることを容易にし、ビデオ分類などの基本的特徴を提供する。当業者は、ターゲットの実際の領域が無効かどうか判定するという上記は単なる例であり、本開示に適用可能な他の既存のまたは将来的に可能な、ターゲットの実際の領域が無効かどうか判定することの記載も本開示の保護の範囲内で包含され、参照により本明細書に含まれるであろうことを理解し得る。
【００５５】
0006723247.tif 000002
【００５６】
本開示の実施形態例によるターゲット取得方法で、グローバル特徴は、グローバルグレースケール特徴、グローバルテクスチャ特徴、グローバルカラー特徴及びグローバルモーション特徴のうち１つまたは複数の特徴を含む。
【００５７】
本開示の実施形態例によるターゲット取得方法で、各ビデオフレームのグローバルグレースケール特徴は、ビデオフレームの３色チャネルの合計の平均値に基づいて取得し、以下の方程式から取得し得る。
0006723247.tif 000003
ここで、Ｉは、ビデオフレームのグローバルグレースケール特徴を表し、ｒは、ビデオフレームの赤の画素チャネルを表し、ｇは、ビデオフレームの緑の画素チャネルを表し、ｂは、ビデオフレームの青の画素チャネルを表す。当業者は、グローバルグレースケール特徴を取得するという上記は単なる例であり、本開示に適用可能な他の既存のまたは将来的に可能な、グローバルグレースケール特徴を取得することの記載も本開示の保護の範囲内で包含され、参照により本明細書に含まれるであろうことを理解し得る。
【００５８】
本開示の実施形態例によるターゲット取得方法で、各ビデオフレームのグローバルテクスチャ特徴を、ガボール行列（フィルタ）またはキャニーオペレータのエッジ検出アルゴリズムを用いることによって抽出する。
【００５９】
0006723247.tif 000004
【００６０】
0006723247.tif 000005
【００６１】
0006723247.tif 000006
【００６２】
本開示の実施形態例によるターゲット取得方法で、Ｓ１での演算は、さらに、各ビデオフレームのグローバル特徴に重み付けをし、マルチスケール周波数領域振幅スペクトルフィルタリングを行って、ビデオフレームの各スケールのターゲットの予め推定された位置を取得することを含む。
【００６３】
図４は、本開示の実施形態例によるターゲット取得方法の流れ図である。図４を参照すると、各ビデオフレームのグローバル特徴に重み付けをし、マルチスケール周波数領域振幅スペクトルフィルタリングを行って、ビデオフレームの各スケールのターゲットの予め推定された位置を取得することは、以下を含む。
【００６４】
0006723247.tif 000007
【００６５】
0006723247.tif 000008
【００６６】
Ｓ１３で、周波数領域多項式行列にマルチスケール振幅スペクトルフィルタリングを行って、各スケールの周波数領域を取得する。
【００６７】
0006723247.tif 000009
【００６８】
当業者は、ターゲットの予め推定された位置を取得するという上記は単なる例であり、本開示に適用可能な他の既存のまたは将来的に可能な、ターゲットの予め推定された位置を取得することの記載も本開示の保護の範囲内で包含され、参照により本明細書に含まれるであろうことを理解し得る。
【００６９】
図５は、本開示の実施形態例によるターゲット取得方法の流れ図である。図５を参照すると、図４のＳ１３の演算は、以下を含む。
【００７０】
Ｓ１３１で、周波数領域多項式行列に応じて、対応する振幅スペクトルＡを取得する。本明細書で、周波数領域多項式行列の振幅スペクトルは、以下のように表す。
0006723247.tif 000010
【００７１】
0006723247.tif 000011
【００７２】
0006723247.tif 000012
【００７３】
図６は、本開示の実施形態例によるターゲット取得方法の流れ図である。図６を参照すると、図１のＳ２の演算は、以下を含む。
【００７４】
Ｓ２１で、対応するターゲット候補領域を、各ビデオフレームの各スケールの各ターゲットの予め推定された位置によって取得する。
【００７５】
0006723247.tif 000013
【００７６】
0006723247.tif 000014
【００７７】
本開示の実施形態例によるターゲット取得方法で、図７に示すように、上記のＳ２１は、現在のビデオフレームの現在のスケールの現在のターゲットの予め推定された位置として、各ビデオフレームの各スケールの各ターゲットの予め推定された位置を順次用いること及び現在のビデオフレームの現在のスケールの現在のターゲットの予め推定された位置に以下の処理を順次行うことを含む。
【００７８】
Ｓ２１１で、現在のビデオフレームの現在のスケールの現在のターゲットの予め推定された位置の画素を未訪問とラベリングする。
【００７９】
0006723247.tif 000015
【００８０】
Ｓ２１３で、中央画素の近接領域でプリセット値より大きな画素値（重み）を有する未訪問とラベリングされた他の画素を取得し、プリセット値より大きな画素値（重み）を有する未訪問とラベリングされた取得した他の画素を、訪問済みとラベリングする。
【００８１】
Ｓ２１４で、現在のターゲットの予め推定された位置に対応するターゲット候補領域を初期化し、中央画素及び中央画素の近接領域のプリセット値より大きな画素値（重み）を有する未訪問とラベリングされた他の画素をターゲット候補領域に加える。例えば、他の画素が、ｐ（ｘ，ｙ）＞０．２及びｆｌａｇ＝０を満たす場合、ｐ（ｘ，ｙ）は、有意性マップの（ｘ，ｙ）の位置に対応する値であり、近接する領域は、８つの近接する領域または道の近接する領域（４つの近接する領域）であり、ここで、各ターゲットの予め推定された位置は、１つのターゲット候補領域に対応しているはずである。当業者は、ターゲット候補領域を取得するという上記は単なる例であり、本開示に適用可能な他の既存のまたは将来的に可能な、ターゲット候補領域を取得することの記載も本開示の保護の範囲内で包含され、参照により本明細書に含まれるであろうことを理解し得る。
【００８２】
図８は、本開示の実施形態例によるターゲット取得方法の流れ図である。図８を参照すると、図１のＳ３の演算は、各ビデオフレームに対する以下の処理を含む。
【００８３】
Ｓ３１で、各ビデオフレームの全てのスケールのターゲット候補領域に対して、リージョナル木構造を、大きいスケールから小さいスケールの順序で確立する。Ｓ２２で、プリセットされた数より少ない画素数を有するターゲット候補領域をフィルタアウトする場合、ここでいうターゲット候補領域は、フィルタアウトされていないターゲット候補領域である。例えば、Ｓ１３２の演算は、８スケールなどの複数のスケールを有するガウスローパスフィルタを用いる。したがって、Ｓ２３で取得したターゲット候補領域も８スケールから構成され、それぞれ図９及び図１０に示す複数の子の木及び単一の子の木を含むリージョナル木構造を、大きいスケールから小さいスケールの順序で確立する。
【００８４】
Ｓ３２で、各ビデオフレームのリージョナル木構造及び全てのターゲット候補領域の信頼性レベルにより、各ビデオフレームのターゲットの実際の領域を取得する。
【００８５】
本開示の実施形態例によるターゲット取得方法で、図１１に示すように、Ｓ３２の演算は、各ビデオフレームのリージョナル木構造の各ノード領域を大きいスケールから小さいスケールの順序でトラバースし、以下の状況に応じてイテレーションを実行して、各ビデオフレームのターゲットの実際の領域を取得することを含む。
【００８６】
0006723247.tif 000016
【００８７】
Ｓ３２２で、現在、親ノード領域及び子ノード領域が複数の子の木であり、現在の親ノード領域の信頼性レベルが２つの子ノード領域の両方の信頼性レベルより高い場合（複数の子の木のケース１）、親ノード領域を、ターゲットの実際の領域として選択し、イテレーションを終了する。
【００８８】
Ｓ３２３で、現在、親ノード領域及び子ノード領域が複数の子の木であり、現在の２つの子ノード領域の信頼性レベルが、両方、現在の親ノード領域の信頼性レベルより高い場合（複数の子の木のケース２）、２つの子ノード領域を、ターゲットの実際の領域として選択する。この演算の後、残りの子ノード領域をトラバースする際、単一の子の木のケースまたは複数の子の木のケース１が起こるまで、複数の子の木のケース２及び複数の子の木のケース３にしたがって、下位のスケールのノード領域に対してイテレーションを反復し続けて、実際の領域を取得することがさらに必要である。
【００８９】
Ｓ３２４で、現在、親ノード領域及び子ノード領域が複数の子の木であり、親ノード領域の信頼性レベルが２つの子ノード領域の一方の信頼性レベルより高く、２つの子ノード領域の他方の信頼性レベルより低い場合（複数の子の木のケース３）、信頼性レベルがより高い子ノード領域を、ターゲットの実際の領域として選択する。このステップの後、残りの子ノード領域をトラバースする際、単一の子の木のケースまたは複数の子の木のケース１が起こるまで、複数の子の木のケース２及び複数の子の木のケース３にしたがって、下位のスケールのノード領域に対してイテレーションを反復し続けて、実際の領域を取得することがさらに必要である。当業者は、ターゲットの実際の領域を取得するという上記は単なる例であり、本開示に適用可能な他の既存のまたは将来的に可能な、ターゲットの実際の領域を取得することの記載も本開示の保護の範囲内で包含され、参照により本明細書に含まれるであろうことを理解し得る。
【００９０】
図１２に示すように、本開示の別の態様は、さらに、１つまたは複数のプロセッサ（複数可）１０２またはデータ処理ユニット（複数可）及びメモリ１０４を含むターゲット取得装置１００を設ける。装置１００は、さらに、１つまたは複数の入出力インタフェース（複数可）１０６及びネットワークインタフェース（複数可）１０８を含み得る。メモリ１０４は、コンピュータ可読媒体の例である。
【００９１】
メモリ１０４は、その内部に、第１の装置１、第２の装置２及び第３の装置３を含む複数のモジュールまたはユニットを収容し得る。第１の装置１は、各ビデオフレームのグローバル特徴によって、ビデオフレームの各スケールのターゲットの予め推定された位置を取得する。ターゲットの自動的な選択を実現するためには、ターゲットに対して検出を実行するのに、特徴学習モデル及び分類子の方法を用いることはできない。従来の複数ターゲットトラッキング方法とは異なり、本開示は、ターゲット位置を予め推定するのに、有意性の程度の検出を用いる。ここで、各ビデオフレームは、同一のビデオから抽出され、ビデオフレームのターゲットの予め推定された位置は、有意性マップ、例えば、確率マップである。第２の装置２は、各ビデオフレームのターゲットの予め推定された位置をクラスタリングして、対応するターゲット候補領域を取得する。第３の装置３は、各ビデオフレームの全てのターゲット候補領域によって、ビデオフレームのターゲットの実際の領域を、ターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定する。本明細書で、１つまたは複数のターゲットの実際の領域を取得し得る。これによって、１つまたは複数のターゲットを迅速にかつ効率的に取得することを実現し、特に、複数のターゲットを正確に区別し取得する。
【００９２】
図１３に示すように、本開示の実施形態例によるターゲット取得装置で、装置１００は、さらに、第５の装置５を含む。第５の装置５は、各ビデオフレームにサイズ正規化を行う。本明細書で、各ビデオフレームに対するズームイン及びズームアウトの処理で、欠落している画素値を補間するのに、バイリニア補間、リニア補間またはキュービック補間などの方法を用いることができる。例えば、各ビデオフレームは、全てを６４×６４画素に変換することができる。それに対応して、第１の装置１で、各ビデオフレームのグローバル特徴を、正規化されたビデオフレームによって取得する。当業者は、ビデオフレームにサイズ正規化を行うという上記は単なる例であり、本開示に適用可能な他の既存のまたは将来的に可能な正規化も本開示の保護の範囲内で包含され、参照により本明細書に含まれるであろうことを理解し得る。
【００９３】
図１４に示すように、本開示の実施形態例によるターゲット取得装置で、装置１００は、さらに、第４の装置４を含む。第４の装置４は、隣接する２つの時点のビデオフレームの同一のターゲットの実際の領域同士を比較して、ビデオフレームのターゲットの実際の領域が無効であるかどうかを判定する。例えば、隣接する２つの時点のビデオフレームの同一のターゲットの実際の領域の中央位置同士の距離がプリセット閾値以上かどうかを計算することができ、結果がイエスの場合、第４の装置４は、隣接する２つの時点の後者のビデオフレームのターゲットの実際の領域は無効であると判定する。また、時点ｔ−１のターゲットの実際の領域から時点ｔの同一のターゲットの実際の領域までの傾斜及び時点ｔのターゲットの実際の領域から時点ｔ＋１のターゲットの実際の領域までの傾斜をさらに計算することができ、前者の傾斜と後者の傾斜の差がプリセット閾値より大きいかどうかを判定し、結果がイエスの場合、第４の装置４は、それらは同一のトラックに存在しない、すなわち、時点ｔ＋１のターゲットの実際の領域は無効であると判定する。本明細書で、トラッキング処理が有効かどうかを、動いているターゲットの動きの連続性を用いて判定して、トラッキングされたターゲットがオクルードされているかそれともシナリオから外れているかを判定する。これによって、ビデオのターゲットの以後の抽出の精度を高めることを容易にし、ビデオ分類の基本的特徴を提供する。当業者は、ターゲットの実際の領域が無効かどうか判定するという上記は単なる例であり、本開示に適用可能な他の既存のまたは将来的に可能な、ターゲットの実際の領域が無効かどうか判定することの記載も本開示の保護の範囲内で包含され、参照により本明細書に含まれるであろうことを理解し得る。
【００９４】
0006723247.tif 000017
【００９５】
本開示の実施形態例によるターゲット取得装置で、各ビデオフレームのグローバル特徴の全ては、グローバルグレースケール特徴、グローバルテクスチャ特徴、グローバルカラー特徴及びグローバルモーション特徴の１つまたは複数の特徴を含む。
【００９６】
本開示の実施形態例で、各ビデオフレームのグローバルグレースケール特徴を、ビデオフレームの３色チャネルの合計の平均値に基づいて取得し、以下の方程式から具体的に取得する。
0006723247.tif 000018
ここで、Ｉは、ビデオフレームのグローバルグレースケール特徴を表し、ｒは、ビデオフレームの赤画素チャネルを表し、ｇは、ビデオフレームの緑画素チャネルを表し、ｂは、ビデオフレームの青画素チャネルを表す。当業者は、グローバルグレースケール特徴を取得するという上記は単なる例であり、本開示に適用可能な他の既存のまたは将来的に可能な、グローバルグレースケール特徴を取得することの記載も本開示の保護の範囲内で包含され、参照により本明細書に含まれるであろうことを理解し得る。
【００９７】
本開示の実施形態例によるターゲット取得装置で、各ビデオフレームのグローバルテクスチャ特徴を、ガボール行列（フィルタ）またはキャニーオペレータのエッジ検出アルゴリズムを用いることによって抽出する。
【００９８】
0006723247.tif 000019
【００９９】
0006723247.tif 000020
【０１００】
0006723247.tif 000021
【０１０１】
本開示の実施形態例によるターゲット取得装置で、第１の装置１は、各ビデオフレームのグローバル特徴に重み付けをし、マルチスケール周波数領域振幅スペクトルフィルタリングを行って、ビデオフレームの各スケールのターゲットの予め推定された位置を取得する。
【０１０２】
0006723247.tif 000022
【０１０３】
当業者は、ターゲットの予め推定された位置を取得するという上記は単なる例であり、本開示に適用可能な他の既存のまたは将来的に可能な、ターゲットの予め推定された位置を取得することの記載も本開示の保護の範囲内で包含され、参照により本明細書に含まれるであろうことを理解し得る。
【０１０４】
0006723247.tif 000023
【０１０５】
0006723247.tif 000024
【０１０６】
0006723247.tif 000025
【０１０７】
図１８に示すように、本開示の実施形態例によるターゲット取得装置で、第３の装置３は、第３−第１ユニット３１及び第３−第２ユニット３２を含む。第３−第１ユニット３１は、各ビデオフレームの全てのスケールのターゲット候補領域に対して、リージョナル木構造を大きいスケールから小さいスケールの順序で確立する。第２−第１ユニット２１が、プリセットされた数より少ない画素数を有するターゲット候補領域をフィルタアウトした場合、ここでいうターゲット候補領域は、フィルタアウトされていないターゲット候補領域である。例えば、第１−第３−第２ユニット１３２は、８スケールなどの複数のスケールを有するガウスローパスフィルタを用いる。したがって、第２−第３ユニット２３で取得したターゲット候補領域も８スケールから構成され、リージョナル木構造を、大きいスケールから小さいスケールの順序で確立する。この構造は、それぞれ図９及び図１０に示す複数の子の木及び単一の子の木の２つのケースに分けられる。第３−第２ユニット３２は、各ビデオフレームのリージョナル木構造及び全てのターゲット候補領域の信頼性レベルによって、各ビデオフレームのターゲットの実際の領域を取得する。
【０１０８】
0006723247.tif 000026
【０１０９】
本開示は、ｍａｔｌａｂ、ＯｐｅｎＣＶを呼び出すＣ＋＋及び他の方法を用いることによって、実行し得る。
【０１１０】
本開示のターゲット取得方法及び装置は、具体的な適用実施形態を参照しながら、以下にさらに示す。
【０１１１】
具体的な適用実施形態で、ビデオから複数のターゲットを取得するために、複数のビデオフレームを同一のビデオから抽出し、各ビデオフレームにサイズ正規化を行い、次いで、各ビデオフレームの正規化されたグローバル特徴を抽出する。グローバル特徴は、グローバルグレースケール特徴、グローバルテクスチャ特徴、グローバルカラー特徴及びグローバルモーション特徴を含む。その後で、各ビデオフレームのグローバル特徴によって、ビデオフレームの各スケールのターゲットの予め推定された位置を取得し、次いで、各ビデオフレームのターゲットの予め推定された位置をクラスタリングして、対応するターゲット候補領域を取得して、各ビデオフレームの１つまたは複数のターゲットを迅速にかつ効率的に取得し、従来技術の、シナリオ及びターゲットのタイプに依存するという課題を解決する。例えば、混合ガウスモデルに対する既存の背景モデリング方法は、移動している記録ビデオで使うことができない。さらに、その後、隣接する２つの時点のビデオフレームの同一のターゲットの実際の領域の中央位置同士の距離がプリセット閾値以上かどうかも計算し、結果がイエスの場合、隣接する２つの時点の後者のビデオフレームのターゲットの実際の領域は無効であると判定する。これによって、その後、ビデオの有効なターゲットの実際の領域だけをより正確に抽出することが容易になり、ビデオ分類などの基本的特徴が提供される。例えば、その後、ビデオのターゲットの数に基づいて、銀行の現金自動預払機の監視ビデオを鉄道駅のビデオ監視と区別し、ターゲットの動きの軌跡に基づいて、移動している記録ビデオを銀行の監視ビデオと区別する。
【０１１２】
上記を考慮して、本開示は、各ビデオフレームのグローバル特徴によって、ビデオフレームの各スケールのターゲットの予め推定された位置を取得し、各ビデオフレームのターゲットの予め推定された位置をクラスタリングして、対応するターゲット候補領域を取得し、各ビデオフレームの全てのターゲット候補領域によって、ビデオフレームのターゲットの実際の領域を、ターゲット候補領域の信頼性レベル及び対応するスケール処理と組み合わせて判定し、これによって、１つまたは複数のターゲットを迅速にかつ効率的に取得し、特に、複数のターゲットを正確に区別し取得できる。
【０１１３】
さらに、本開示は、隣接する２つの時点のビデオフレームの同一のターゲットの実際の領域の中央位置同士の距離がプリセット閾値以上かどうかを計算し、結果がイエスの場合、隣接する２つの時点の後者のビデオフレームのターゲットの実際の領域は無効であると判定する。これによって、ビデオのターゲットの以後の抽出の精度を高め、ビデオ分類などの基本的特徴を提供する。
【０１１４】
明らかに、当業者は、本開示の精神から逸脱することなしに、本開示に、多数の変形及び変更をなし得る。本開示に対するこれらの修正及び変更が、本開示の特許請求の範囲及びその均等技術の範囲内におさまる場合、本開示は、これらの変形及び変更を包含することも意図する。
【０１１５】
本開示は、ハードウェア、ソフトウェア及び／またはハードウェアとソフトウェアの組み合わせで実行し得るものであり、例えば、特定用途向け集積回路（ＡＳＩＣ）、汎用コンピュータまたは任意の他の同様のハードウェア装置を用いることによって、実行し得ることに留意されたい。１つの実施形態例で、本開示のソフトウェアプログラムは、上述のステップまたは機能を実行するプロセッサを通じて実行し得る。同様に、本開示のソフトウェアプログラム（関連するデータ構造を含む）は、コンピュータ可読媒体、例えば、ＲＡＭメモリ、磁気ドライブもしくは光学ドライブ、またはフロッピーディスク及び類似の装置に記憶し得る。さらに、本開示のいくつかのステップまたは機能は、ハードウェア、例えば、各ステップまたは機能を実行するプロセッサと協働する回路を用いることによって、実行することができる。
【０１１６】
さらに、本開示の一部は、コンピュータプログラム製品、例えば、コンピュータ実行可能命令として、実行し得る。それらをコンピュータによって実行すると、本開示の方法及び／または技術的解決策は、コンピュータの演算を通して、呼び出されまたは提供される。本開示の方法を呼び出すコンピュータ実行可能命令は、固定されたまたは取り外し可能な記録媒体に記憶してもよく、かつ／または、放送もしくは他の信号搬送媒体でデータストリームを介して伝送してもよく、かつ／またはプログラム命令によって作動するコンピュータ装置の作業用記憶域に記憶してもよい。本明細書で、本開示の１つの実施形態例によると、装置は、コンピュータ実行可能命令を記憶するコンピュータ可読ストレージ及びコンピュータ実行可能命令を実行するプロセッサを含む。コンピュータ実行可能命令をプロセッサが実行すると、装置は、本開示による上述の複数の実施形態に基づいて、方法及び／または技術的解決策を作動させるように始動する。
【０１１７】
当業者にとって、本開示は上記の例示的な実施形態の詳細に限定されるものではなく、本開示は、本開示の精神または基本的特徴から逸脱することなしに、他の具体的な形で実行し得ることは明らかである。したがって、どの観点からでも、実施形態は例示的なものとみなすべきであり、本開示の範囲は、上述の記載によってではなく、添付の特許請求の範囲によって定義されるものであり、本開示の範囲内に含まれるように、特許請求の範囲の均等要素の意味及び範囲内に含まれる全ての変形を包含することを目的とする。特許請求の範囲のいずれの参照符号も、関連する特許請求の範囲を限定するものとみなすべきではない。さらに、「ｉｎｃｌｕｄｅ（含む）」という用語は他のユニットまたは演算を除外しないこと、単数形のものは複数形のものを除外しないことは明らかである。装置の請求項で述べた複数のユニットまたは装置は、ソフトウェアまたはハードウェアを通じて、１つのユニットまたは装置でも実行し得る。第１及び第２などの用語は、いずれの具体的な順序ではなく、名称を表すのに用いる。
【図１】
0006723247.tif 000027
【図２】
0006723247.tif 000028
【図３】
0006723247.tif 000029
【図４】
0006723247.tif 000030
【図５】
0006723247.tif 000031
【図６】
0006723247.tif 000032
【図７】
0006723247.tif 000033
【図８】
0006723247.tif 000034
【図９】
0006723247.tif 000035
【図１０】
0006723247.tif 000036
【図１１】
0006723247.tif 000037
【図１２】
0006723247.tif 000038
【図１３】
0006723247.tif 000039
【図１４】
0006723247.tif 000040
【図１５】
0006723247.tif 000041
【図１６】
0006723247.tif 000042
【図１７】
0006723247.tif 000043
【図１８】
0006723247.tif 000044