(57)【要約】  本発明は、パノラマカメラの分野に適しており、パノラマビデオのターゲット追跡方法及びパノラマカメラを提供する。前記方法は、マルチスケール相関フィルタに基づいているので、パノラマビデオのターゲットを追跡するとともに、自動電子雲台技術を採用する。本発明の追跡のロバスト性がより高く、より多くの追跡シーンに対応でき、処理速度もより速く、また、追跡ターゲットを常に画面の中心に位置させることができる。
2021527865.tif 000002
【特許請求の範囲】
【請求項１】
パノラマビデオのターゲット追跡方法であって、前記方法は、
球面座標系における追跡ターゲットの位置とスケールを初期化し、電子雲台のパラメータを計算し、パノラマ画像を電子雲台の現在の視角画像にマッピングするS２０１と、
電子雲台の現在の視角画像にマルチスケール関連フィルタに基づいて、ターゲットを追跡し、新しい追跡ターゲットの位置とスケールを取得するS２０２と、
新しい追跡ターゲットの位置をパノラマ球面方位座標にマッピングするS２０３と、
パノラマ球面方位座標とスケールに従って電子雲台のパラメータを計算し、電子雲台の現在の視角画像にマッピングし、新しいビデオフレームを取得し、その後S２０１に戻り、パノラマビデオが終了するまでに行うS２０４と、を含む、
ことを特徴とする方法。
【請求項２】
前記新しいビデオフレームを取得した後、前記方法は、
カルマンフィルタを用いてビデオフレームの中心の座標点を平滑化し、出力するパノラマビデオをより安定にするS２０５、を更に含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
S２０１は、具体的には、
球面座標系における追跡ターゲットの位置とスケールを初期化するS２０１１と、
電子雲台によって追跡ターゲットが位置する視角に仮想カメラを回転させ、
2021527865.tif 000022
初期電子雲台のパラメータによってパノラマ画像を再投影して電子雲台の現在の視角画像に変換するS２０１３と、
電子雲台の現在の視角画像において、ユーザが手動で選択する追跡ターゲットの位置を受信するS２０１４と、
電子雲台の現在の視角画像における追跡ターゲットの位置によって球面座標系における追跡ターゲットの位置とスケールを計算するS２０１５と、を含む、
ことを特徴とする請求項１又は請求項２に記載の方法。
【請求項４】
S２０２は、具体的には、
追跡ターゲットの隣接領域では、追跡ターゲットを平行移動する矩形フレームを選択して、予定数量のトレーニングサンプルとし、これにより、位置追跡モデルをトレーニングするS２０２１と、
2021527865.tif 000023
2021527865.tif 000024
【請求項５】
2021527865.tif 000025
2021527865.tif 000026
2021527865.tif 000027
2021527865.tif 000028
2021527865.tif 000029
【請求項６】
2021527865.tif 000030
【請求項７】
2021527865.tif 000031
【請求項８】
2021527865.tif 000032
2021527865.tif 000033
【請求項９】
2021527865.tif 000034
2021527865.tif 000035
【請求項１０】
コンピュータ読み取り可能な記録媒体であって、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、請求項１〜９の何れかに記載のパノラマビデオのターゲット追跡方法のステップを実現する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１１】
１つ又は複数のプロセッサーと、
記憶装置と、及び、
１つ又は複数のプログラムと、を含むパノラマカメラであって、
前記プロセッサーは、前記プログラムを実行する場合、請求項１〜９の何れかに記載のパノラマビデオのターゲット追跡方法のステップを実現する、
ことを特徴とするパノラマカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマカメラの分野に属し、特に、パノラマビデオのターゲット追跡方法及びパノラマカメラに関する。
【背景技術】
【０００２】
ターゲット追跡は、コンピュータビジョン研究における古典的な問題であり、コンピュータやビデオカメラなどが、あるアルゴリズムによってターゲットを追跡し位置決めするとともに、ターゲットの位置と動きによって対応する戦略を採用するものである。近年、ターゲット追跡は、ビデオ監視、ビデオエンコーディング、及び軍事工学などのさまざまな分野に広範に適用されている。従来技術のパノラマカメラは、周囲の３６０°ビデオ情報を撮影することができる。例えば、出願公開番号CN107315992Aに公開された「電子雲台に基づく追跡方法及び装置」のように、パノラマビデオにターゲット追跡することを実現できる技術的手段も幾つかある。ところが、当該方法は、特徴点に基づく追跡であり、テクスチャ領域が単色で、特徴点が豊富でないシーンを追跡することができない。
【発明の概要】
【０００３】
本発明の目的は、パノラマビデオのターゲット追跡方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラを提供することであり、従来技術のパノラマカメラはテクスチャ領域が単色で、特徴点が豊富でないシーンを追跡することができないという問題を解決することを目的とする。
【発明が解決しようとする課題】
【０００４】
第１の態様では、本発明は、パノラマビデオのターゲット追跡方法を提供し、前記方法は、
球面座標系における追跡ターゲットの位置とスケール（scale）を初期化し、電子雲台のパラメータを計算し、パノラマ画像を電子雲台の現在の視角画像にマッピングするS２０１と、
電子雲台の現在の視角画像にマルチスケール（multi-scale）関連フィルタに基づいて、ターゲットを追跡し、新しい追跡ターゲットの位置とスケールを取得するS２０２と、
新しい追跡ターゲットの位置をパノラマ球面方位座標にマッピングするS２０３と、
パノラマ球面方位座標とスケールに従って電子雲台のパラメータを計算し、電子雲台の現在の視角画像にマッピングし、新しいビデオフレームを取得し、次に、その後S２０１に戻り、パノラマビデオが終了するまでに行うS２０４と、を含む。
【０００５】
第２の態様では、本発明は、コンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、上記のパノラマビデオのターゲット追跡方法のステップを実現する。
【０００６】
第３の態様では、本発明は、パノラマカメラを提供し、前記パノラマカメラは、
１つ又は複数のプロセッサーと、
記憶装置と、及び、
１つ又は複数のプログラムと、を含むパノラマカメラであって、前記プロセッサーは、前記プログラムを実行する場合、上記のパノラマビデオのターゲット追跡方法のステップを実現する。
【発明の効果】
【０００７】
本発明では、マルチスケール相関フィルタに基づいているので、パノラマビデオのターゲットを追跡するために、追跡のロバスト性がより高く、より多くの追跡シーンに適応でき、処理速度もより速い。また、自動電子雲台技術によって、追跡ターゲットを常に画面の中心に位置させることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の第１の実施例によって提供されるパノラマビデオのターゲット追跡方法のフローチャートである。
【図２】図２は、本発明の第３の実施例によって提供されるパノラマカメラの構造図である。
【発明を実施するための形態】
【０００９】
本発明の目的、技術的解決策、及び有益な効果をより明確にさせるために、以下、図面及び実施例を参照して、本発明を更に詳細に説明する。ここで説明する具体的な実施例は、本発明を解釈するためにのみ使用され、本発明を限定するものではないことを理解されたい。
【００１０】
本発明に記載される技術的解決策を説明するために、以下、具体的な実施例によって説明する。
【００１１】
第１の実施例：
図１を参照すると、本発明の第１の実施例によって提供されるパノラマビデオのターゲット追跡方法は、以下のステップを含む。留意する必要があるのは、実質的に結果が同じであれば、本発明のパノラマビデオのターゲット追跡方法は、図１に示すステップの順に限定されないことである。
【００１２】
S２０１：球面座標系における追跡ターゲットの位置とスケールを初期化し、電子雲台のパラメータを計算し、パノラマ画像を電子雲台の現在の視角画像、即ち、現在の局部の透視図にマッピングする。
【００１３】
S２０２：電子雲台の現在の視角画像にマルチスケール関連フィルタに基づいて、ターゲットを追跡し、新しい追跡ターゲットの位置とスケールを取得する。
【００１４】
S２０３：新しい追跡ターゲットの位置をパノラマ球面方位座標にマッピングする。
【００１５】
S２０４：パノラマ球面方位座標とスケールに従って電子雲台のパラメータを計算し、電子雲台の現在の視角画像にマッピングし、新しいビデオフレームを取得し、その後S２０１に戻り、パノラマビデオが終了するまでに行う。
【００１６】
本発明の第１の実施例において、新しいビデオフレームを取得した後、前記方法は、以下のステップを更に含む。
【００１７】
S２０５：カルマンフィルタを用いてビデオフレームの中心の座標点を平滑化し、出力するパノラマビデオをより安定にする。
【００１８】
本発明の第１の実施例において、S２０１は、具体的には、以下のステップを更に含むことができる。
【００１９】
S２０１１：球面座標系における追跡ターゲットの位置とスケールを初期化する。
【００２０】
2021527865.tif 000003
【００２１】
電子雲台技術は、プログラム設定によって、ビデオカメラ内部でレンズの視角とズームを制御する技術である。電子雲台技術は、PTZカメラをシミュレートすることができ、カメラの左右移動、上下傾斜、及びズームを実現する。電子雲台技術は、追跡位置でカメラ運動の平滑化と予測を含む。
【００２２】
S２０１３：初期電子雲台のパラメータによってパノラマ画像を再投影して電子雲台の現在の視角画像に変換する。
【００２３】
本発明の第１の実施例において、S２０１３は、具体的には、以下のようであってもよい。
【００２４】
2021527865.tif 000004
2021527865.tif 000005
2021527865.tif 000006
【００２５】
S２０１４：電子雲台の現在の視角画像において、ユーザが手動で選択する追跡ターゲットの位置を受信する。
【００２６】
2021527865.tif 000007
【００２７】
S２０１５：電子雲台の現在の視角画像における追跡ターゲットの位置によって球面座標系における追跡ターゲットの位置とスケールを計算する。
【００２８】
本発明の第１の実施例において、S２０１５は、具体的には、以下のようであってもよい。
【００２９】
2021527865.tif 000008
【００３０】
本発明の第１の実施例において、S２０２は、具体的には、以下のステップを含み得る。
【００３１】
S２０２１：追跡ターゲットの隣接領域では、追跡ターゲットを平行移動する矩形フレームを選択して、予定数量のトレーニングサンプルとし、これにより、位置追跡モデルをトレーニングする。
【００３２】
本発明の第１の実施例において、S２０２１は、具体的には、以下のステップを含み得る。
【００３３】
2021527865.tif 000009
【００３４】
2021527865.tif 000010
【００３５】
2021527865.tif 000011
【００３６】
本発明の第１の実施例において、S２０２２は、具体的には、以下のステップを含み得る。
【００３７】
2021527865.tif 000012
【００３８】
2021527865.tif 000013
【００３９】
S２０２３：電子雲台の現在の出力する位置とスケール、及び位置追跡モデルのパラメータによって追跡ターゲットの平行移動位置を予測する。
【００４０】
本発明の第１の実施例において、S２０２３は、具体的には、以下のステップを含み得る。
【００４１】
2021527865.tif 000014
【００４２】
2021527865.tif 000015
【００４３】
S２０２４：スケール変化によって、追跡ターゲットが置かれる矩形フレームのサイズを拡大又は縮小して、追跡モデルのトレーニングサンプルを取得し、S２０２１ 〜 S２０２３を繰り返して相関フィルタのスケールを取得する。
【００４４】
本発明の第１の実施例において、S２０２４は、具体的には、以下のステップを含み得る。
【００４５】
2021527865.tif 000016
【００４６】
2021527865.tif 000017
【００４７】
2021527865.tif 000018
【００４８】
2021527865.tif 000019
【００４９】
2021527865.tif 000020
【００５０】
2021527865.tif 000021
【００５１】
第２の実施例：
本発明の第２の実施例は、コンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、本発明の第１の実施例で提供されるようなパノラマビデオのターゲット追跡方法のステップを実現する。
【００５２】
第３の実施例：
図２は、本発明の第３の実施例に提供されたパノラマカメラの構造図を示す。1つのパノラマカメラ１００は、１つ又は複数のプロセッサー１０１、記憶装置１０２、及び１つ又は複数のプログラムを含む。前記プロセッサー１０１と前記記憶装置１０２は、バスによって電気的に接続される。前記１つ又は複数のプログラムは、前記記憶装置１０２に記憶され、且つ、前記１つ又は複数のプロセッサー１０１によって実行されるように配置される。前記プロセッサー１０１は、前記プログラムを実行する場合、本発明の第１の実施例で提供されるようなパノラマビデオのターゲット追跡方法のステップを実現する。
【００５３】
本発明では、パノラマビデオのターゲットを追跡するためにマルチスケール相関フィルタに基づいているので、追跡のロバスト性がより高く、より多くの追跡シーンに対応でき、処理速度も速い。また、自動電子雲台技術により、追跡ターゲットを常に画面の中心に位置させることができる。
【００５４】
当業者であれば、上記の実施例に記載された方法の全て又は一部のステップが、プログラムによって関連するハードウェアを命令して完了できることを理解することができる。当該プログラムは、コンピュータ読み取り可能な記録媒体に記憶することができ、記憶媒体は、ROM/RAM、磁気ディスク、又は光ディスクを含むことができる。
【００５５】
上記は、本発明の好ましい実施例に過ぎず、本発明を制限するものではない。本発明の精神と原則を逸脱することなく行われる、いかなる修正、同等の変更及び改善なども、本発明の保護範囲内に属するべきである。
【図１】
2021527865.tif 000036
【図２】
2021527865.tif 000037
【国際調査報告】
2021527865.tif 000038
2021527865.tif 000039
2021527865.tif 000040
2021527865.tif 000041