(57)【特許請求の範囲】
【請求項１】
少なくとも２つの移動対象物、および、前記少なくとも２つの移動対象物の移動軌跡を原映像から抽出するステップと、
前記少なくとも２つの前記移動軌跡の間で時空間冗長度を計算して、前記時空間冗長度に従って、前記移動軌跡の要約率を決定するステップと、
前記移動軌跡の前記要約率に従って、前記移動対象物の前記移動軌跡を要約するステップと、
を含み、
前記原映像は、少なくとも１つの映像セグメントを含む、
映像要約方法であって、
前記少なくとも２つの前記移動軌跡の間で時空間冗長度を計算して、前記時空間冗長度に従って、前記移動軌跡の要約率を決定するステップの以前に、
前記方法は、さらに、
前記少なくとも１つの映像セグメントから、前記移動対象物の開始フレームおよび終了フレームの時点に対応する１つ以上の時間座標値と、前記移動対象物の前記移動軌跡が通過した空間座標値とを獲得するステップと、を含み、
前記少なくとも２つの前記移動軌跡の間で時空間冗長度を計算して、前記時空間冗長度に従って、前記移動軌跡の要約率を決定するステップは、特には、
前記移動対象物の前記開始フレームおよび前記終了フレームに対応する前記時間座標値に従って、前記移動対象物の間で時間的衝突確率を計算する段階と、
前記移動対象物の前記移動軌跡が通過した前記空間座標値に従って、前記移動軌跡の間で空間的交差確率を計算する段階と、
前記時間的衝突確率および前記空間的交差確率に従って、前記移動軌跡の前記時空間冗長度を取得する段階と、
前記時空間冗長度に従って、前記移動軌跡の前記要約率を決定する段階と、
を含み、
前記方法は、
以下の式を使用して、計算により前記時間的衝突確率を取得するステップと、
【数１】
0005919365.tif 000018
以下の式を使用して、計算により前記空間的交差確率を取得するステップと、
【数２】
0005919365.tif 000019
以下の式を使用して、計算により空間的交差確率および時間的衝突確率の合計を取得するステップと、
【数３】
0005919365.tif 000020
以下の式を使用して、計算により前記時空間冗長度を取得するステップと、
【数４】
0005919365.tif 000021
を含み、ここで、
ｆは、前記原映像が時間またはフレーム単位でセグメント化された後に取得されたｆ番目の映像セグメントを示し、ｔｉ，ｎは、前記ｆ番目の映像セグメント内部のｉ番目の移動軌跡上のｎ番目の移動対象物の移動期間を示しており、
前記ｔｉ，ｎは、前記ｎ番目の移動対象物の寿命以下であり、前記寿命は、前記移動対象物の開始フレームの時点と終了フレームの時点との間の期間であり、
Ｗ（ｆ）は、前記時間的衝突確率および前記空間的交差確率の感度調整関数を示している、
方法。
【請求項２】
前記移動軌跡の前記要約率に従って、前記移動対象物の前記移動軌跡を要約するステップは、
前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームを変わらないまま維持し、前記移動軌跡の原フレームレートを変化させる段階、または、
前記移動軌跡の前記要約率に従って、前記移動軌跡の原フレームレートを変わらないまま維持し、前記移動軌跡のフレームを削減する段階、または、
前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームを削減し、前記移動軌跡の原フレームレートを変化させる段階、
を備える、請求項１に記載の方法。
【請求項３】
前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームを変わらないまま維持し、前記移動軌跡の原フレームレートを変化させる段階は、
前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームレートの変化値を取得し、
前記フレームレートの前記変化値に従って、前記フレームレートを増加させることにより前記移動軌跡に対する加速を実行すること、
を含む、請求項２に記載の方法。
【請求項４】
前記移動軌跡の前記要約率に従って、前記移動軌跡の原フレームレートを変わらないまま維持し、前記移動軌跡のフレームを削減する段階は、
前記移動軌跡の前記要約率に従って、前記移動軌跡の前記フレームの変化値を取得し、
前記フレームの前記変化値に従って、前記フレームを削減することにより前記移動軌跡に対する加速を実行すること、
を含む、請求項２に記載の方法。
【請求項５】
前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームを削減し、前記移動軌跡の原フレームレートを変化させる段階は、
前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームレートの変化値および前記フレームの変化値を取得し、前記フレームレートの前記変化値および前記フレームの前記変化値に従って、前記フレームレートを変化させ、前記フレームを削減することにより、前記移動軌跡に対する加速を実行すること、
を含む、請求項４に記載の方法。
【請求項６】
前記移動軌跡の前記要約率に従って、前記移動対象物の前記移動軌跡を要約するステップの後で、
本方法は、さらに、
関心領域を設定し、前記要約率の値域の範囲内で、前記関心領域内の移動軌跡に関して、カスタマイズされたレート変化を実行するステップ、または、
前記要約率に従って、前記移動対象物の前記移動軌跡のレートを変化させるステップ、
を含む、請求項１乃至５いずれか一項に記載の方法。
【請求項７】
少なくとも２つの移動対象物、および、前記少なくとも２つの移動対象物の移動軌跡を原映像から抽出するように構成されている抽出ユニットと、
前記抽出ユニットによって抽出された前記少なくとも２つの移動軌跡の間で時空間冗長度を計算して、前記時空間冗長度に従って、前記移動軌跡の要約率を決定するように構成されている計算ユニットと、
前記計算ユニットによって決定された前記移動軌跡の前記要約率に従って、前記移動対象物の前記移動軌跡を要約するように構成されている要約ユニットと、
を含む、映像要約装置であって、
前記原映像は、少なくとも１つの映像セグメントを含み、前記抽出ユニットは、前記移動対象物の開始フレームおよび終了フレームに対応する時間座標値と前記移動対象物の前記移動軌跡が通過した空間座標値とを獲得するように構成され、
前記計算ユニットは、さらに、
前記移動対象物の前記開始フレームおよび前記終了フレームに対応する前記時間座標値に従って、前記移動対象物の間で時間的衝突確率を計算するように構成されている時間的衝突確率計算サブユニットと、
前記移動対象物の前記移動軌跡が通過した前記空間座標値に従って、前記移動軌跡の間で空間的交差確率を計算するように構成されている空間的交差確率計算サブユニットと、
前記時間的衝突確率および前記空間的交差確率に従って、前記移動軌跡の前記時空間冗長度を取得するように構成されている時空間冗長度獲得サブユニットと、
前記時空間冗長度に従って、前記移動軌跡の前記要約率を決定するように構成されている要約率獲得サブユニットと、
を備え、
前記時間的衝突確率計算サブユニットは、以下の式を使用して、前記移動対象物の間で前記時間的衝突確率を計算し、
【数５】
0005919365.tif 000022
前記空間的交差確率計算サブユニットは、以下の式を使用して、前記移動対象物の間で前記空間的交差確率を計算し、
【数６】
0005919365.tif 000023
前記時空間冗長度獲得サブユニットは、
以下の式を使用して、前記移動軌跡の間で空間的交差確率および時間的衝突確率の合計を計算する、空間的交差確率および時間的衝突確率の合計を計算する補助サブユニットと、
【数７】
0005919365.tif 000024
以下の式を使用して、前記移動軌跡の間で前記時空間冗長度を計算する、時空間冗長度獲得補助サブユニットと、
【数８】
0005919365.tif 000025
を含み、ここで、
ｆは、前記原映像が時間またはフレーム単位でセグメント化された後に取得されたｆ番目の映像セグメントを示し、ｔｉ，ｎは、前記ｆ番目の映像セグメント内部のｉ番目の移動軌跡上のｎ番目の移動対象物の移動期間を示しており、
前記ｔｉ，ｎは、ｎ番目の移動対象物の寿命以下であり、前記寿命は、前記移動対象物の開始フレームの時点と終了フレームの時点との間の期間であり、
Ｗ（ｆ）は、前記時間的衝突確率および前記空間的交差確率の感度調整関数を示している、
装置。
【請求項８】
前記要約ユニットは、
前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームを変わらないまま維持し、前記移動軌跡の原フレームレートを変化させるように構成されている第１のレート変化サブユニット、または、
前記移動軌跡の前記要約率に従って、前記移動軌跡の原フレームレートを変わらないまま維持し、前記移動軌跡のフレームを削減するように構成されている第２のレート変化サブユニット、または、
前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームを削減し、前記移動軌跡の原フレームレートを変化させるように構成されている第３のレート変化サブユニット、
を備える、請求項７に記載の装置。
【請求項９】
前記第１のレート変化サブユニットは、特には、
前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームレートの変化値を取得し、かつ、前記フレームレートの前記変化値に従って、前記フレームレートを増加させることにより前記移動軌跡に対する加速を実行するように構成されている、
請求項８に記載の装置。
【請求項１０】
前記第２のレート変化サブユニットは、特には、
前記移動軌跡の前記要約率に従って、前記移動軌跡の前記フレームの変化値を取得し、かつ、前記フレームの前記変化値に従って、前記フレームを削減することにより前記移動軌跡に対する加速を実行するように構成されている、
請求項９に記載の装置。
【請求項１１】
前記第３のレート変化サブユニットは、特には、
前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームレートの変化値およびフ前記レームの変化値を取得し、かつ、前記フレームレートの前記変化値および前記フレームの前記変化値に従って、前記フレームレートを変化させ、前記フレームを削減することにより、前記移動軌跡に対する加速を実行するように構成されている、
請求項１０に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像分野に関する。特定的には、映像要約方法および装置に関する。
【背景技術】
【０００２】
社会の公安の分野では、映像監視システムは、社会秩序を維持し、かつ、行政を強化する重要な部分である。現在のところ、監視システムは、銀行、ショッピングモール、バス停留所、地下駐車場、および交差点のような公共の場に広く適用されている。多くの手動によるサポートが現実の監視業務において依然として必要とされる。監視カメラは、１日当たり２４時間の連続モニタリングを実行するときに大量の映像データを生成する。この事例では、監視映像から証拠を見つけ出すことが必要とされる場合、このことは、多大な労力、時間、および物的資源を消費することが避けられず、非常に効率が低い原因となり、事例を解決するための最良の機会を失うことにつながることさえある。その結果、映像監視システムでは、映像事象の再生時間は、映像を要約することにより短縮され、取り出されるべき対象物は、フィルタリングのため対象物を分類することにより素早く閲覧され、ロックされる。それによって、監視効率を著しく改善し、このことは、警察が事件解決を加速し、そして、大きな事件および重大な事件を解決する効率を改善するのを支援するために極めて重要である。従来技術は、映像要約方法を提供する。入力映像ストリーム内のシーン情報を解析し、シーン情報から前景情報を抽出することにより、シーン情報内の対象物情報は、獲得された前景情報のクラスタ解析を実行することにより取得され、さらに対応する要約映像が生成される。生成された要約映像において、画像の単一のフレームは、入力映像中の異なったフレームにおいて獲得された対象物情報を含む。従来技術は、フレーム単位で要約を実行し、要約映像が単一の方式で表示されることの原因となり、異なった軌跡の異なった表現が反映される可能性はない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
要約映像が単一の方式で表示されるという問題を解決するために、映像要約方法および装置が本発明の実施形態において提供される。技術的解決策は、以下のとおりである。
【課題を解決するための手段】
【０００４】
第１の態様によれば、本発明は、映像要約方法を提供し、本方法は：
原映像から少なくとも２つの移動対象物および少なくとも２つの移動対象物の移動軌跡を抽出するステップと、
少なくとも２つの移動軌跡の間で時空間冗長度を計算し、時空間冗長度に従って移動軌跡の要約率を決定するステップと、
移動軌跡の要約率に従って移動対象物の移動軌跡を要約するステップと、
を含む。
【０００５】
第１の態様に関連して、第１の態様の第１の可能な実施方式では、原映像は、少なくとも１つの映像セグメントを含み、少なくとも２つの移動軌跡の間で時空間冗長度を計算し、時空間冗長度に従って移動軌跡の要約率を決定するステップの前に、本方法は、さらに：
少なくとも１つの映像セグメントから、移動対象物の開始フレームおよび終了フレームの時点に対応する１つ以上の時間座標値と、移動対象物の移動軌跡が通過した空間座標値とを獲得するステップと、を含み、
少なくとも２つの移動軌跡の間で時空間冗長度を計算し、時空間冗長度に従って移動軌跡の要約率を決定するステップは、特には：
移動対象物の開始フレームおよび終了フレームに対応する時間座標値に従って移動対象物の間で時間的衝突確率を計算するステップと、
移動対象物の移動軌跡が通過した空間座標値に従って移動軌跡の間で空間的交差確率を計算するステップと、
時間的衝突確率および空間的交差確率に従って移動軌跡の時空間冗長度を取得するステップと、
時空間冗長度に従って移動軌跡の要約率を決定するステップと、
を含む。
【０００６】
第１の態様の第１の可能な実施方式に関連して、第１の態様の第２の可能な実施方式では、本方法は：
以下の式：
【０００７】
【数１】
0005919365.tif 000002
を使用することによって時間的衝突確率を計算により取得するステップと、
以下の式：
【０００８】
【数２】
0005919365.tif 000003
を使用することによって空間的交差確率を計算により取得するステップと、
以下の式：
【０００９】
【数３】
0005919365.tif 000004
を使用することによって空間的交差確率および時間的衝突確率の合計を計算により取得するステップと、
以下の式：
【００１０】
【数４】
0005919365.tif 000005
を使用することによって時空間冗長度を計算により取得するステップと、
を含み、ここで、ｆは、原映像が時間またはフレーム単位でセグメント化された後に取得されたｆ番目の映像セグメントを示し、ｔｉ，ｎは、ｆ番目の映像セグメント内部のｉ番目の移動軌跡上のｎ番目の移動対象物の移動期間を示し、ｔｉ，ｎは、ｎ番目の移動対象物の寿命以下であり、寿命は、移動対象物の開始フレームの時点と終了フレームの時点との間の期間であり、Ｗ（ｆ）は、時間的衝突確率および空間的交差確率の感度調整関数を示す。
【００１１】
第１の態様、および、第１の態様の第１の可能な実施方式または第１の態様の第２の可能な実施方式のいずれかに関連して、第１の態様の第３の可能な実施方式では、移動軌跡の要約率に従って移動対象物の移動軌跡を要約するステップは：
移動軌跡の要約率に従って、移動軌跡のフレームを変わらないまま維持し、移動軌跡の原フレームレートを変化させるステップ、または、
移動軌跡の要約率に従って、移動軌跡の原フレームレートを変わらないまま維持し、移動軌跡のフレームを削減するステップ、または、
移動軌跡の要約率に従って、移動軌跡のフレームを削減し、移動軌跡の原フレームレートを変化させるステップ、を含む。
【００１２】
第１の態様の第３の可能な実施方式に関連して、第１の態様の第４の可能な実施方式では、移動軌跡の要約率に従って、移動軌跡のフレームを変わらないまま維持し、移動軌跡の原フレームレートを変化させることは：
移動軌跡の要約率に従って移動軌跡のフレームレートの変化値を取得し、フレームレートの変化値に従ってフレームレートを増加させることにより移動軌跡に対する加速を実行する。
【００１３】
第１の態様の第４の可能な実施方式に関連して、第１の態様の第５の可能な実施方式では、移動軌跡の要約率に従って、移動軌跡の原フレームレートを変わらないまま維持し、移動軌跡のフレームを削減することは：
移動軌跡の要約率に従って移動軌跡のフレームの変化値を取得し、フレームの変化値に従ってフレームを削減することにより移動軌跡に対する加速を実行することを含む。
【００１４】
第１の態様の第５の可能な実施方式に関連して、第１の態様の第６の可能な実施方式では、移動軌跡の要約率に従って、移動軌跡のフレームを削減し、移動軌跡の原フレームレートを変化させることは：
移動軌跡の要約率に従って移動軌跡のフレームレートの変化値およびフレームの変化値を取得し、フレームレートの変化値およびフレームの変化値に従って、フレームレートを変化させ、フレームを削減することにより、移動軌跡に対する加速を実行すること
を含む。
【００１５】
第１の態様、または、第１の態様の第１の可能な実施方式から第６の可能な実施方式のうちのいずれか１つに関連して、第１の態様の第７の可能な実施形態では、移動軌跡の要約率に従って移動対象物の移動軌跡を要約した後、本方法は：
関心領域を設定し、要約率の値域の範囲内で、関心領域内の移動軌跡に関して、カスタマイズされたレート変化を実行すること、または、
要約率に従って移動対象物の移動軌跡のレートを変化させること
をさらに含む。
【００１６】
第２の態様によれば、本発明の実施形態は、映像要約装置を提供し、本装置は：
原映像から少なくとも２つの移動対象物および少なくとも２つの移動対象物の移動軌跡を抽出するように構成されている抽出ユニットと、
抽出ユニットによって抽出された少なくとも２つの移動軌跡の間で時空間冗長度を計算し、時空間冗長度に従って移動軌跡の要約率を決定するように構成されている計算ユニットと、
計算ユニットによって決定された移動軌跡の要約率に従って移動対象物の移動軌跡を要約するように構成されている要約ユニットと、
を含む。
【００１７】
第２の態様に関連して、第２の態様の第１の可能な実施方式では、原映像は、少なくとも１つの映像セグメントを含み、抽出ユニットは、移動対象物の開始フレームおよび終了フレームに対応する時間座標値と移動対象物の移動軌跡が通過した空間座標値とを獲得するように構成され、
計算ユニットは：
移動対象物の開始フレームおよび終了フレームに対応する時間座標値に従って、移動対象物の間で時間的衝突確率を計算するように構成されている時間的衝突確率計算サブユニットと、
移動対象物の移動軌跡が通過した空間座標値に従って、移動軌跡の間で空間的交差確率を計算するように構成されている空間的交差確率計算サブユニットと、
時間的衝突確率および空間的交差確率に従って、移動軌跡の時空間冗長度を取得するように構成されている時空間冗長度獲得サブユニットと、
時空間冗長度に従って、移動軌跡の要約率を決定するように構成されている要約率獲得サブユニットと、
をさらに含む。
【００１８】
第２の態様の第１の可能な実施方式に関連して、第２の態様の第２の可能な実施方式では、時間的衝突確率計算サブユニットは、以下の式：
【００１９】
【数５】
0005919365.tif 000006
を使用することにより移動対象物の間で時間的衝突確率を計算し、
空間的交差確率計算サブユニットは、以下の式：
【００２０】
【数６】
0005919365.tif 000007
を使用することにより移動対象物の間で空間的交差確率を計算し、
時空間冗長度獲得サブユニットは：
以下の式：
【００２１】
【数７】
0005919365.tif 000008
を使用することにより移動軌跡の間で空間的交差確率および時間的衝突確率の合計を計算する空間的交差確率および時間的衝突確率の合計計算補助サブユニットを含み、
時空間冗長度獲得補助サブユニットは、以下の式：
【００２２】
【数８】
0005919365.tif 000009
を使用することにより移動軌跡の間で時空間冗長度を計算し、ここで、ｆは、原映像が時間またはフレーム単位でセグメント化された後に取得されたｆ番目の映像セグメントを示し、ｔｉ，ｎは、ｆ番目の映像セグメント内部のｉ番目の移動軌跡上のｎ番目の移動対象物の移動期間を示し、ｔｉ，ｎは、ｎ番目の移動対象物の寿命以下であり、寿命は、移動対象物の開始フレームの時点と終了フレームの時点との間の期間であり、Ｗ（ｆ）は、時間的衝突確率および空間的交差確率の感度調整関数を示す。
【００２３】
第２の態様、第２の態様の第１の可能な実施方式、および第２の態様の第２の可能な実施方式に関連して、第２の態様の第３の可能な実施方式では、要約ユニットは：
移動軌跡の要約率に従って、移動軌跡のフレームを変わらないまま維持し、移動軌跡の原フレームレートを変化させるように構成されている第１のレート変化サブユニット、または、
移動軌跡の要約率に従って、移動軌跡の原フレームレートを変わらないまま維持し、移動軌跡のフレームを削減するように構成されている第２のレート変化サブユニット、または、
移動軌跡の要約率に従って、移動軌跡のフレームを削減し、移動軌跡の原フレームレートを変化させるように構成されている第３のレート変化サブユニット、
を含む。
【００２４】
第２の態様の第３の可能な実施方式に関連して、第２の態様の第４の可能な実施形式では、第１のレート変化サブユニットは、特には、移動軌跡の要約率に従って、移動軌跡のフレームレートの変化値を取得し、フレームレートの変化値に従ってフレームレートを増加させることにより移動軌跡に対する加速を実行するように構成されている。
【００２５】
第２の態様の第４の可能な実施方式に関連して、第２の態様の第５の可能な実施方式では、第２のレート変化サブユニットは、特には、移動軌跡の要約率に従って、移動軌跡のフレームの変化値を取得し、フレームの変化値に従ってフレームを削減することにより移動軌跡に対する加速を実行するように構成されている。
【００２６】
第２の態様の第５の可能な実施形式に関連して、第２の態様の第６の可能な実施方式では、第３のレート変化サブユニットは、特には、移動軌跡の要約率に従って移動軌跡のフレームレートの変化値およびフレームの変化値を取得し、フレームレートの変化値およびフレームの変化値に従って、フレームレートを変化させ、フレームを削減することにより、移動軌跡に対する加速を実行するように構成されている。
【００２７】
第２の態様の第１から第６の可能な実施方式のうちのいずれか１つに関連して、第２の態様の第７の可能な実施方式では、本装置は：
関心領域を設定することにより、関心領域内の移動軌跡上で、要約率の値域の範囲内でカスタマイズされたレート変化を実行するように構成されているカスタマイズ型レート変化サブユニット、または、
要約率に従って移動対象物の移動軌跡のレートを変化させるように構成されている自動レート変化サブユニット
をさらに含む。
【００２８】
本発明の実施形態において提供された映像要約方法および装置によれば、移動対象物および移動軌跡が原映像から抽出され、軌跡の間で時空間冗長度が計算される。すなわち、移動軌跡の間の時空間冗長度は、時間的および空間的に、移動軌跡の重畳する確率に基づいて取得される。その結果、異なった移動軌跡の要約率は、別々に取得され、異なった移動軌跡のレートは、異なった要約率に従って別々に変化させられ、それによって、異なった軌跡の異なった表現を反映し、要約結果の表示方式を多様化する。さらに、場合によっては、上記説明に基づいて、ユーザのための関心領域を設定することにより、ユーザが関心をもっている対象物のレートまたは領域が削減することができ、それによって、ユーザが徹底した観察を行うことを可能にさせ、対象物の追跡の情報完全性を確保する。
【００２９】
本発明の実施形態における技術的解決策をより明瞭に説明するために、以下に、実施形態を説明するため必要とされる添付図面を簡単に紹介する。当然ながら、以下の説明中で添付図面は、本発明の単なるいくつかの実施形態を示し、当業者は、創造的な努力をしなくても、これらの添付図面から他の図面をなお依然として導き出すことができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施形態１に従った、映像要約方法のフローチャートである。
【図２】本発明の実施形態１に従った、映像要約方法においてセグメント単位で原映像を撮り直す実施図である。
【図３】本発明の実施形態２に従った、映像要約装置の構成ブロック図である。
【図４】本発明の実施形態２に従った、映像要約装置における計算ユニットの構成ブロック図である。
【図５】本発明の実施形態２に従った、映像要約装置における要約ユニットの構成ブロック図である。
【発明を実施するための形態】
【００３１】
以下に、本発明の実施形態における添付図面を参照して本発明の実施形態における技術的解決策を明瞭かつ完全に説明する。当然ながら、説明された実施形態は、本発明の実施形態の全部ではなく単に一部である。創造的な努力をすることなく本発明の実施形態に基づいて当業者によって達成されたすべての他の実施形態は、当然に本発明の保護範囲に含まれる。
【００３２】
実施形態１
図１に示されるように、本発明の本実施形態は、映像要約方法を提供し、本方法は、以下のステップを含む：
【００３３】
Ｓ１０１：原映像から少なくとも２つの移動対象物および少なくとも２つの移動対象物の移動軌跡を抽出する。
【００３４】
具体的なアプリケーションシナリオでは、原映像から移動対象物および移動対象物の移動軌跡を抽出することは、移動対象物セグメンテーション技術に関係する。すなわち、映像の前景および背景は、セグメント化される。映像中で背景から前景を分離することは、前景または背景の独立した処理を実現し易くする。本明細書において、前景とは、移動対象物および移動対象物の軌跡のことを指し、本明細書において、背景とは、移動対象物または移動対象物の軌跡ではない対象物のことを指す。前景が背景から分離された後、取得された背景は、背景光増強および背景識別のような様々な方法で処理され得る。背景が処理された後、前景、すなわち、移動対象物および移動対象物の軌跡が追加することができ、これは、背景とは独立した処理である。同様に、前景が背景から分離された後、前景、すなわち、対象物および対象物の軌跡が独立に処理され、その後、背景が追加される、ということもある。本実施形態において提供された技術的解決策において、セグメンテーションを用いて取得された前景、すなわち、移動対象物および移動対象物の軌跡は、独立に処理され、異なった移動対象物および異なった移動対象物の軌跡は、層毎に重ね合わされる。
【００３５】
しかし、移動対象物セグメンテーションが実施される前に、移動対象物および移動対象物の軌跡を取得するために、移動対象物検出および追跡が最初に実行される必要がある。具体的な実施プロセスにおいて、移動対象物検出および追跡を実施するために使用され得る多くの方法が存在し、移動対象物検出および移動対象物追跡の技術は、移動対象物および移動対象物の移動軌跡を抽出するために組み合わされる。たとえば、フレーム差分法および背景モデリング法は、移動対象物検出において使用され得る。平均シフト（ｍｅａｎ  ｓｈｉｆｔ）法および長期追跡アルゴリズム（ｌｏｎｇ  ｔｅｒｍ  ｔｒａｃｋｉｎｇ）のような追跡技術は、移動対象物追跡において使用され得る。原映像から移動対象物および移動対象物の移動軌跡を抽出することにより、移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標と、移動軌跡が通過した空間座標の系列とが取得される。
【００３６】
Ｓ１０２：少なくとも２つの移動軌跡の間で時空間冗長度を計算し、時空間冗長度に従って移動軌跡の要約率を決定する。
【００３７】
ステップ１０１において原映像から取得された異なった移動対象物および異なった移動対象物の移動軌跡に従って、軌跡の時間的衝突確率は、移動軌跡の一方での移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標が他の移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標と重畳する確率に従って取得される。時間的衝突確率は、移動軌跡上の移動対象物の寿命が移動軌跡上の他の移動対象物の寿命と重なる確率であり、この移動対象物の寿命は、移動対象物の開始フレームおよび終了フレームの時点に従って取得される。
【００３８】
ステップＳ１０１において原映像から取得された異なった移動対象物および異なった移動対象物の移動軌跡に従って、軌跡の空間的交差確率は、移動対象物のうちの１つが空間で通過した軌跡上で取得された空間座標の系列が他の移動対象物のうちの１つが空間で通過した軌跡上で取得された空間座標の系列と重畳する確率に従って取得される。空間的交差確率は、移動軌跡上の移動対象物が他の移動軌跡と交差する確率である。
【００３９】
すなわち、時間的衝突確率は、時間的衝突が移動軌跡上の複数の移動対象物の間で起こる事例では、１つの移動軌跡に基づいて解析される。移動軌跡上に移動対象物が１つしか存在しないとき、時間的衝突確率はゼロである。空間的交差確率は、空間的交差が異なった移動軌跡の間で起こる事例では、異なった移動軌跡に基づいて解析される。すべての移動対象物が１つの移動軌跡を共用するとき、空間的交差確率はゼロである。
【００４０】
同じ移動対象物に基づいて取得された空間的交差確率および時間的衝突確率は、互いに独立している。移動軌跡の空間的交差確率および時間的衝突確率の合計は、２つの独立した確率を組み合わせることにより取得され得る。空間的交差確率および時間的衝突確率の合計は、移動軌跡と他の移動軌跡との間に存在する相対的な時空間冗長度、すなわち、要約され得るフレームと全フレームとの比率、すなわち、移動軌跡の相対的な要約率を推定／獲得するために使用され得る。要約率は、要約映像中に格納されたデータの量と原映像中に格納されたデータの量との比率である。
【００４１】
Ｓ１０３：移動軌跡の要約率に従って移動対象物の移動軌跡を要約する。
【００４２】
Ｓ１０２で取得された移動軌跡の要約率、すなわち、要約され得るフレームと全フレームとの比率に従って、移動軌跡のレートが変化させられる。特には、大きい時空間冗長度は、軌跡の大きい要約率を示す。異なった移動軌跡の異なった要約率を獲得するために移動対象物の異なった移動軌跡を別々に解析することにより、異なった移動軌跡のレートが異なった移動軌跡の要約率に従って別々に変化させられることが実施することができ、少なくとも他の移動対象物と相対的な１つの移動対象物の移動レートが変化させられ、レート可変移動軌跡の空間的位置およびレート変化速度が取得される。
【００４３】
本発明の本実施形態では、移動軌跡間の時空間冗長度は、時間および空間における移動軌跡の重畳する確率に基づいて取得される。その結果、異なった移動軌跡の要約率は、別々に取得され、異なった移動軌跡のレートは、異なった要約率に従って別々に変化させられ、それによって、異なった軌跡の異なった表現を反映し、要約結果の表示方式を多様化する。具体的な事例を用いることにより、以下は、本発明において提供された軌跡の時間的圧縮に基づく映像要約方法を説明する。
【００４４】
本発明における軌跡の時間的圧縮に基づく映像要約方法におけるステップＳ１０１の具体的な実施プロセスは、以下を含んでよい。
【００４５】
具体的な実施プロセスでは、原映像全体から移動対象物および移動軌跡を抽出することが、多数の移動対象物および移動軌跡を同時に取得することがある。この問題は、特に、多数の人々および車両が存在する繁華街における監視映像の場合には、より明白である。その結果、選択自由な実施方式として、原映像から移動対象物および移動対象物の移動軌跡を抽出する上記ステップは、以下のステップ：
ａ．  少なくとも２つの映像セグメントを取得するために原映像上でセグメンテーションを実行するステップ
を含んでよい。
【００４６】
場合によっては、セグメンテーションは、時間または他の方式に基づくことがある。その上、異なったセグメンテーション方式が異なった環境における監視映像のため選択され得る。たとえば、多種多様の移動対象物が存在する繁華街における監視映像の場合、セグメンテーション中に選択されたセグメント長は、比較的短くてもよい。このように、同時に取得された移動対象物および移動対象物の軌跡は、比較的適切な範囲内にあり、この期間内の時空間冗長度の解析は、より正確であり、得られる効果がより明瞭であり、それによって、観察者の警戒を実現し易くする。
ｂ．  少なくとも２つの映像セグメントから映像セグメント選択し、映像セグメントから移動対象物および移動対象物の移動軌跡を抽出する。
【００４７】
本発明における軌跡の時間的圧縮に基づく映像要約方法におけるステップＳ１０２の具体的な実施プロセスは、以下のとおりである。
【００４８】
原映像のセグメンテーションと、上記ステップにおいて１つの映像セグメントから取得された異なった移動対象物および移動軌跡とに従って、軌跡の時間的衝突確率は、映像セグメント内の移動軌跡上の移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標が映像セグメント内の他の移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標と重畳する確率に従って取得される。時間的衝突確率は、移動軌跡上の移動対象物の寿命が移動軌跡上の他の移動対象物の寿命と重なる確率であり、この移動対象物の寿命は、移動対象物の開始フレームおよび終了フレームの時点に従って取得される。
【００４９】
原映像のセグメンテーションと、上記ステップにおいて１つの映像セグメントから取得された異なった移動対象物および移動軌跡とに従って、軌跡の空間的交差確率は、映像セグメント内の移動対象物が空間内で通過した軌跡上で取得された空間座標の系列が映像セグメント内の他の移動対象物が空間内で通過した軌跡上で取得された空間座標の系列と重畳する確率に従って取得される。空間的交差確率は、移動軌跡上の移動対象物が他の移動軌跡と交差する確率である。
【００５０】
同じ映像セグメント内の同じ移動対象物に基づいて取得された空間的交差確率および時間的交差確率は、互いに独立している。移動軌跡の空間的交差確率および時間的衝突確率の合計は、２つの独立した確率を組み合わせることにより取得され得る。空間的交差確率および時間的衝突確率の合計は、移動軌跡と他の移動軌跡との間に存在する相対的な時空間冗長度、すなわち、要約され得るフレームと全フレームとの比率、すなわち、移動軌跡の相対的な要約率である。
【００５１】
具体的には、Ｔｒａｃｋ（ｔｉ，ｎ，ｉ，ｎ）は、映像セグメント内の移動軌跡（ｆ番目の映像セグメント）、すなわち、ｉ番目の移動軌跡上のｎ番目の対象物がｔｉ，ｎ期間に通過する軌跡を示すために使用され、Ｐｄｉ，ｎ（ｆ）は、ｉ番目の軌跡以外の他の移動軌跡がｆ番目の映像セグメント内部のｉ番目の軌跡上のｎ番目の対象物と交差する確率、すなわち、空間的交差確率を示すために使用され、Ｐｔｉ，ｎ（ｆ）は、ｉ番目の軌跡を格納する原映像セグメント内のｔｔ，ｎ期間を除く期間中に現れる移動対象物がｔｔ，ｎ期間中にｉ番目の軌跡上のｎ番目の対象物と衝突する確率、すなわち、時間的衝突確率を示すために使用される。
【００５２】
具体的には、少なくとも２つの移動軌跡の間で時空間冗長度を計算し、時空間冗長度に従って移動軌跡の要約率を決定することは、以下を含んでよい。
【００５３】
図２に示されるように、映像セグメント内のすべての対象物の軌跡（ｆ番目の映像セグメントが一例として使用される）は、原映像がセグメント化された後、開始時に揃えられ、抽出された移動軌跡の時空間冗長度は、以下の式を使用して計算される。
【００５４】
空間的交差は、異なった移動軌跡が空間的に互いに交差する事例であり、空間的交差確率は、具体的に：
【００５５】
【数９】
0005919365.tif 000010
として表現され得る。
【００５６】
異なった移動軌跡は、空間的に相互に交差するだけであり、時間的に互いに衝突しないので、時間的衝突は、同じ移動軌跡上の異なった移動対象物が互いに衝突する事例であり、時間的衝突確率は、具体的に：
【００５７】
【数１０】
0005919365.tif 000011
として表現することができ、式中、ｆは、原映像が時間またはフレーム単位でセグメント化された後に取得されたｆ番目の映像セグメントを示し、ｔｉ，ｎは、ｆ番目の映像セグメント内部のｉ番目の移動軌跡上のｎ番目の移動対象物の移動期間を示し、ｔｉ，ｎは、ｎ番目の移動対象物の寿命以下であり、ｆ番目の映像セグメント内部のｉ番目の軌跡上のすべての対象物の寿命は、ｆ番目の映像セグメント内部のｉ番目の軌跡上のすべての対象物の寿命の合計であり、寿命は、移動対象物の開始フレームの時点と終了フレームの時点との間の期間である。上記式中の項は、Ｓ１０１における原映像内の移動軌跡の寿命の範囲内の時間座標および空間座標から取得することができ、上記２つの確率は、互いに独立しているので、軌跡Ｔｒａｃｋ（ｔｉ，ｎ，ｉ，ｎ）に対して、交差確率および衝突確率の合計は：
【００５８】
【数１１】
0005919365.tif 000012
である。
【００５９】
結論として、以下の軌跡最適化関数：  
【００６０】
【数１２】
0005919365.tif 000013
が軌跡Ｔｒａｃｋ（ｔｉ，ｎ，ｉ，ｎ）の時空間冗長度を示すために設定され得る。
【００６１】
Ｗ（ｆ）は、時間的衝突確率および空間的交差確率の感度調整関数を示し、この関数は、ｆ番目の映像セグメント内部の軌跡の数の非増加関数に対して設定され得る。たとえば、Ｗ（ｆ）の値は、０．５であること、または０より大きく、かつ、１より小さいことがあり、これは、経験的な値である。当然ながら、より大きい時空間冗長度Ｏｉ，ｎ（ｆ）は、軌跡Ｔｒａｃｋ（ｔｉ，ｎ，ｉ，ｎ）のより大きい要約の程度、すなわち、時空間冗長度Ｏｉ，ｎ（ｆ）の値が要約率の値であるので、より大きい要約率を示す。
【００６２】
その後、移動軌跡の要約率が時空間冗長度に従って決定される。
【００６３】
上記ステップにおいて取得された移動軌跡の要約率、すなわち、要約され得るフレームと全フレームとの比率に従って、具体的には、より大きい時空間冗長度は、軌跡のより大きい要約率を示す。異なった移動軌跡の要約率に従って、異なった移動軌跡の比率は、別々に変化させられ、少なくとも他の移動対象物と相対的な移動対象物の移動レートは、変化させられ、レート可変移動軌跡の空間的位置およびレート変化速度が取得される。具体的な実施プロセスでは、移動軌跡のレートを変化させることは、少なくとも以下のアプローチを使用することにより実施され得る。アプローチ１）原表示フレームレートを変化させる。すなわち、表示フレームレートは、原映像の表示フレームレートと一致することなく、この表示フレームレートは、２つの状況に分類され得る：状況ａ．フレームレートを増加させる。すなわち、表示フレームレートが原映像の表示フレームレートより高いという前提で、本事例では、加速は、軌跡のフレームを変わらないまま維持することによって軌跡の表示レートをさらに増加させることにより、または、指定された軌跡のフレームを削減することにより実行することができ、減速は、指定された軌跡の表示レートを増加させることにより実施され得る。状況ｂ．フレームレートを削減する。すなわち、表示フレームレートが原映像の表示フレームレートより低いという前提で、本事例では、加速は、軌跡のフレームを削減することにより実施することができ、減速は、軌跡のフレームを変わらないまま維持する、もしくは、指定された軌跡のフレームを増加させることにより実施され得る。アプローチ２）原表示フレームレートを維持する。すなわち、表示フレームレートが原映像の表示フレームレートと一致したまま維持するという前提で、指定された軌跡の表示レートの加速は、指定された軌跡のフレームを削減することにより実施することができ、指定された軌跡の表示レートの減速は、軌跡のフレームを増加させることにより実施され得る。
【００６４】
選択自由な実施方式として、移動軌跡のレートを変化させる上記アプローチ１）に基づいて、移動軌跡のフレームは、変わらないまま維持され、移動軌跡の原フレームレートは、変化させられ、移動軌跡のフレームレートの変化値は、移動軌跡の要約率に従って取得することができ、加速は、フレームレートの変化値に従ってフレームレートを増加させることにより移動軌跡に対して実行される。具体的には、移動軌跡の要約率は、移動軌跡のフレームレートの変化値に正比例している。すなわち、原フレームレートに基づいて、より大きい要約率がより大きい変化レートの変化を示し、より小さい要約率は、フレームレートのより小さい変化を示す。前提は、レート変化が原フレームレートに基づいてすべて加速であり、加速振幅にわずかに違いがある、ということである。
【００６５】
別の選択自由な実施方式として、移動軌跡のレートを変化させる上記アプローチ２）に基づいて、移動軌跡の原フレームレートは、変わらないまま維持され、移動軌跡のフレームが削減され、移動軌跡のフレームの変化値は、移動軌跡の要約率に従って取得することができ、加速は、フレームの変化値に従ってフレームを削減することにより移動軌跡に対して実行される。具体的には、移動軌跡の要約率は、移動軌跡のフレームの変化値に正比例する。すなわち、原フレームに基づいて、より大きい要約率は、フレームのより大きい変化を示し、より小さい要約率は、フレームのより小さい変化を示す。前提は、フレーム変化が原フレームに基づいてすべて減少であり、減速振幅にわずかに違いがある、ということである。
【００６６】
さらに別の選択自由な実施方式として、移動軌跡のレートを変化させる上記アプローチ１）に基づいて、移動軌跡のフレームは、削減され、移動軌跡の原フレームレートは、変化させられ、フレームレートの変化値および移動軌跡のフレームの変化値は、移動軌跡の要約率に従って取得することができ、加速は、フレームレートの変化値に従ってフレームレートを変化させることにより移動軌跡に対して実行され、加速は、フレームの変化値に従ってフレームを削減することにより移動軌跡に対して実行される。具体的には、移動軌跡の要約率は、移動軌跡のフレームレートの変化値に正比例し、移動軌跡の要約率は、移動軌跡のフレームの変化値に正比例する。すなわち、原フレームレートに基づいて、より大きい要約率は、フレームレートのより大きい変化を示し、より小さい要約率は、フレームレートのより小さい変化を示す。前提は、レート変化が原フレームレートに基づいて全て加速であり、加速振幅差にわずかに違いがある、ということである。その上、原フレームに基づいて、より大きい要約率は、フレームのより大きい変化を示し、より小さい要約率は、フレームのより小さい変化を示す。前提は、フレーム変化が原フレームに基づいてすべて減少であり、減少振幅にわずかに違いがある、ということである。
【００６７】
上記実施方式のうちのいずれか１つに基づいて、場合によっては、ユーザは、要約映像内で関心領域を設定することがある。たとえば、現実環境において、警察は、要約映像を警戒するとき、１つ以上の対象物に関心をもつことがある。本事例では、関心のある対象物の再生レートを遅くするために、カスタマイズされたレート変化が１つ以上の関心のある対象物の移動軌跡に対して実行され得る。すなわち、調整が原映像の表示レートと要約映像の表示レートとの間で行われる。本事例では、他の移動軌跡は、それでもなお、他の移動軌跡の要約率に従って最大の程度まで要約され得る。すなわち、他の移動対象物は、比較的速いレートで移動する。本実施方式では、関心のある領域に関して減速を実行することにより、関心のある領域は、それによって、より優れた動的な細部表示効果を獲得する。上述のとおり、具体的な減速解決策は、表示フレームレートを削減することによって、または、フレームを増加させることによって実施され得る。
【００６８】
場合によっては、ユーザは、関心領域を設定しない場合もある。この事例では、すべての移動軌跡は、移動軌跡の対応する時空間冗長度に従って取得された要約率に従って要約される。すなわち、すべての移動対象物は、かなり最速のレートで移動する。すなわち、異なった軌跡の表示レートは、異なった要約率に従って調整されるので、その結果、時空間表示の均一効果が確保されることを前提として、映像要約結果の表示時間が合理的、かつ、効率的に圧縮されることが実施される。
【００６９】
移動軌跡の時空間冗長度は、本発明の本実施形態において、移動軌跡の時間的かつ空間的に重畳する確率に基づいて取得される。その結果、異なった移動軌跡の要約率は、別々に取得され、異なった移動軌跡のレートは、異なった要約率に従って別々に変化させられ、それによって、異なった軌跡の異なった表現を反映し、要約結果の表示方式を多様化する。その上、ユーザが関心をもっている対象物または領域に関してさらなる減速を実行することにより、ユーザは、徹底した観察を行い、それによって、対象物の軌跡の情報完全性を確保する。
【００７０】
実施形態２
図３に示されるように、本発明の本実施形態は、映像要約装置２００を提供し、本装置は：
原映像から少なくとも２つの移動対象物および少なくとも２つの移動対象物の移動軌跡を抽出するように構成されている抽出ユニット２０１と、
抽出ユニットによって抽出された少なくとも２つの移動軌跡の間で時空間冗長度を計算し、時空間冗長度に従って移動軌跡の要約率を決定するように構成されている計算ユニット２０２と、
計算ユニット２０２によって決定された、移動軌跡の要約率に従って移動対象物の移動軌跡を要約するように構成されている要約ユニット２０３と、
を含む。
【００７１】
特定のアプリケーションシナリオでは、抽出ユニット２０１によって原映像から移動対象物および移動対象物の移動軌跡を抽出することは、移動対象物セグメンテーション技術に関係する。すなわち、映像の前景および背景がセグメント化される。映像中の背景から前景を分離することは、前景または背景の独立したプロセスを実現し易くする。本明細書において、前景とは、移動対象物および移動対象物の軌跡のことを指し、本明細書において、背景とは、移動対象物または移動対象物の軌跡ではない対象物のことを指す。前景が背景から分離された後、取得された背景は、背景光増強および背景識別のような様々な方法で処理され得る。背景が処理された後、前景、すなわち、移動対象物および移動対象物の軌跡が追加することができ、これは、背景とは独立した処理である。同様に、前景が背景から分離された後、前景、すなわち、対象物および対象物の軌跡が独立に処理され、その後、背景が追加される、ということもある。本実施形態において提供された技術的解決策において、セグメンテーションのアプローチによって取得された前景、すなわち、移動対象物および移動対象物の軌跡は、独立に処理され、異なった移動対象物および異なった移動対象物の軌跡は、層毎に重ね合わされる。
【００７２】
しかし、移動対象物セグメンテーションが実施される前に、移動対象物および移動対象物の軌跡を取得するために、移動対象物検出および追跡が最初に実行される必要がある。具体的な実施プロセスにおいて、移動対象物検出および追跡を実施するために使用され得る多くの方法が存在し、移動対象物検出および移動対象物追跡の技術は、移動軌跡を獲得するために組み合わされ、それによって、移動対象物および移動対象物の移動軌跡を抽出する。たとえば、フレーム差分法および背景モデリング法は、移動対象物検出において使用され得る。平均シフト（ｍｅａｎ  ｓｈｉｆｔ）法および長期追跡アルゴリズム（ｌｏｎｇ  ｔｅｒｍ  ｔｒａｃｋｉｎｇ、ＴＬＤ）のような追跡技術は、移動対象物追跡において使用され得る。原映像から移動対象物および移動対象物の移動軌跡を抽出することにより、移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標と、移動軌跡が通過した空間座標の系列とが取得される。
【００７３】
具体的な実施プロセスでは、原映像全体から移動対象物および移動軌跡を抽出することは、多数の移動対象物および移動軌跡を同時に取得することがある。この問題は、特に、多数の人々および車両が存在する繁華街における監視映像の場合、より明白である。その結果、選択自由な実施方式として、抽出ユニット２０１は、時間またはフレーム単位で原映像をセグメント化した後に、少なくとも２つの映像セグメントを取得するように構成され得る。
【００７４】
抽出ユニット２０１は、少なくとも２つの映像セグメントから１つの映像セグメントを選択し、映像セグメントから移動対象物および移動対象物の移動軌跡を抽出するように構成されている。
【００７５】
具体的には、原映像は、時間または他の方式に基づいてセグメント化され得る。その上、異なったセグメンテーション方式が異なった環境における監視映像のため選択され得る。たとえば、多種多様の移動対象物が存在する繁華街における監視映像の場合、セグメンテーション中に選択されたセグメント長は、比較的短い、ということがある。このようにして、同時に取得された移動対象物および移動対象物の軌跡は、比較的適切な範囲内にあり、この期間内の時空間冗長度の解析は、より正確であり、取得された効果は、より明瞭であり、それによって、観察者の警戒を実現し易くする。
【００７６】
場合によっては、抽出ユニット２０１は、抽出された移動対象物の開始フレームおよび終了フレームに対応する時間座標値と、移動対象物の移動軌跡が通過した空間座標値とを獲得するようにさらに構成されている。
【００７７】
さらに、場合によっては、図４に示されるように、計算ユニット２０２は：
移動対象物の開始フレームおよび終了フレームに対応する時間座標値に従って、移動対象物の間で時間的衝突確率を計算するように構成されている時間的衝突確率計算サブユニット２０２ａと、
移動対象物の移動軌跡が通過した空間座標値に従って、移動軌跡の間で空間的交差確率を計算するように構成されている空間的交差確率計算サブユニット２０２ｂと、
時間的衝突確率および空間的交差確率に従って移動軌跡の時空間冗長度を取得するように構成されている時空間冗長度獲得サブユニット２０２ｃと、
時空間冗長度に従って、移動軌跡の要約率を決定するように構成されている要約率獲得サブユニット２０２ｄと、を含む。
【００７８】
時間的衝突確率計算サブユニット２０２ａは、以下の式：
【００７９】
【数１３】
0005919365.tif 000014
を使用することによって移動対象物の間で時間的衝突確率を計算する。
【００８０】
空間的交差確率計算ユニット２０２ｂは、以下の式：
【００８１】
【数１４】
0005919365.tif 000015
を使用することによって移動対象物の間で空間的交差確率を計算する。
【００８２】
時空間冗長度獲得サブユニットは、以下の式：
【００８３】
【数１５】
0005919365.tif 000016
を使用することによって移動軌跡の間で空間的交差確率および時間的衝突確率の合計を計算する空間的交差確率および時間的衝突確率の合計計算補助サブユニットと、
以下の式：
【００８４】
【数１６】
0005919365.tif 000017
を使用することによって移動軌跡の間で時空間冗長度を計算する時空間冗長度獲得補助サブユニットと、を含む。
ここで、ｆは、原映像が時間またはフレーム単位でセグメント化された後に取得されたｆ番目の映像セグメントを示し、ｔｉ，ｎは、ｆ番目の映像セグメント内部のｉ番目の移動軌跡上のｎ番目の移動対象物の移動期間を示し、ｔｉ，ｎは、ｎ番目の移動対象物の寿命以下であり、寿命は、移動対象物の開始フレームの時点と終了フレームの時点との間の期間であり、Ｗ（ｆ）は、時間的衝突確率および空間的交差確率の感度調整関数を示す。
【００８５】
抽出ユニット２０１は、抽出を用いて、原映像から異なった移動対象物および異なった移動対象物の移動軌跡を抽出し、抽出ユニット２０１は、移動軌跡のうちの１つ以上の移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標を抽出する。計算ユニット２０２は、抽出ユニット２０１によって抽出された、移動軌跡のうちの１つの上の移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標が他の移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標と重畳する確率に従って軌跡の時間的衝突確率を取得する。時間的衝突確率は、移動軌跡上の移動対象物の寿命が移動軌跡上の他の移動対象物の寿命と重なる確率であり、移動対象物の寿命は、移動対象物の開始フレームおよび終了フレームの時点に従って取得される。
【００８６】
抽出ユニット２０１は、抽出を用いて、原映像から異なった移動対象物および異なった移動対象物の移動軌跡を抽出し、抽出ユニット２０１は、移動対象物のうちの１つが空間的に通過した軌跡上で取得された空間座標の系列と、他の移動対象物が空間的に通過した軌跡上の空間座標の系列とを抽出する。計算ユニット２０２は、計算・抽出ユニット２０１によって抽出され、移動対象物のうちの１つが空間的に通過した軌跡上で取得された空間座標の系列が他の移動対象物が空間的に通過した軌跡上で取得された空間座標の系列と重なる確率に従って軌跡の空間的交差確率を取得する。空間的交差確率は、移動軌跡上の移動対象物が他の移動軌跡と交差する確率である。
【００８７】
すなわち、時間的衝突確率は、時間的衝突が移動軌跡上で複数の移動対象物の間で起こる事例において１つの移動軌跡に基づいて解析される。移動軌跡上に移動軌跡が１つしか存在しない場合、時間的衝突確率は、ゼロである。空間的交差確率は、空間的交差が異なった移動軌跡の間で起こる事例において異なった移動軌跡に基づいて解析される。すべての移動対象物が１つの移動軌跡を共用するとき、空間的交差確率は、ゼロである。
【００８８】
同じ移動対象物に基づいて取得された空間的交差確率および時間的衝突確率は、互いに独立している。計算ユニット２０２内の時空間冗長度獲得サブユニットは、２つの独立した確率を組み合わせることにより移動軌跡の空間的交差確率および時間的衝突確率の合計を取得することがあり、移動軌跡と他の移動軌跡との間に存在する相対的な時空間冗長度、すなわち、要約され得るフレームと全フレームとの比率、すなわち、移動軌跡の相対的な要約率を推定／獲得するために空間的交差確率および時間的衝突確率の合計を使用することがある。
【００８９】
計算によって計算ユニット２０２により取得された移動軌跡の要約率に従って、移動軌跡のレートが変化させられる。要約率は、要約され得るフレームと全フレームとの比率である。具体的には、より大きい時空間冗長度は、軌跡のより大きい要約率を示す。異なった移動軌跡の異なった要約率を獲得するために移動対象物の異なった移動軌跡を別々に解析することにより、異なった移動軌跡のレートが異なった移動軌跡の要約率に従って別々に変化させられることが実施することができ、少なくとも他の移動対象物と相対的な１つの移動対象物の移動レートが変化させられ、レート可変移動軌跡の空間位置およびレート変化速度が取得される。
【００９０】
具体的な実施プロセスでは、移動軌跡のレートを変化させることは、少なくとも以下のアプローチを使用することにより実施され得る。アプローチ：１）原表示フレームレートを変化させる。すなわち、表示フレームレートは、原映像と一致することがなく、このことは、２つの状況に分類され得る。状況ａ：フレームレートを増加させる。すなわち、表示フレームレートが原映像の表示フレームレートより高いという前提で、この事例では、加速は、軌跡のフレームを変わらないまま維持する、または、指定された軌跡のフレームを削減することにより、軌跡の表示レートをさらに増加させるために実行することができ、減速は、指定された軌跡のフレームを増加させることにより実施され得る。状況ｂ：フレームレートを削減する。すなわち、表示フレームレートが原映像の表示フレームレートより低いという前提で、本事例では、加速は、軌跡のフレームを削減することにより実施することができ、減速は、軌跡のフレームを変わらないまま維持する、または、指定された軌跡のフレームを増加させることにより実施され得る。アプローチ：２）原表示フレームレートを維持する。すなわち、再生フレームレートが原映像と一致した状態を維持するという前提で、加速は、指定された軌跡のフレームを削減することにより、指定された軌跡の表示レートを加速するために実行することができ、減速は、軌跡のフレームを増加させることにより、指定された軌跡の表示レートを減速するために実行され得る。
【００９１】
具体的には、上記のいくつかのレート変化アプローチに基づいて、図５に示された要約ユニット２０３は：
移動軌跡の要約率に従って、移動軌跡のフレームを変わらないまま維持し、移動軌跡の原フレームレートを変化させるように構成されている第１のレート変化サブユニット、または、
移動軌跡の要約率に従って、移動軌跡の原フレームレートを変わらないまま維持し、移動軌跡のフレームを削減するように構成されている第２のレート変化サブユニット、または、
移動軌跡の要約率に従って、移動軌跡のフレームを削減し、移動軌跡の原フレームレートを変化させるように構成されている第３のレート変化サブユニット、
を含んでよい。
【００９２】
さらに場合によっては、第１のレート変化サブユニットは、移動軌跡の要約率に従って移動軌跡のフレームレートの変化値を取得し、フレームレートの変化値に従ってフレームレートを増加させることにより移動軌跡に対する加速を実行する。具体的には、移動軌跡の要約率は、移動軌跡のフレームレートの変化値に正比例する。すなわち、原フレームレートに基づいて、より大きい要約率は、フレームレートのより大きい変化を示し、より小さい要約率は、フレームレートのより小さい変化を示す。前提は、レート変化が原フレームレートに基づいてすべて加速であり、加速振幅にわずかに違いがある、ということである。第２のレート変化サブユニットは、移動軌跡の要約率に従って移動軌跡のフレームの変化値を取得し、フレームの変化値に従って移動軌跡に対するフレームを削減することにより加速を実行する。具体的には、移動軌跡の要約率は、移動軌跡のフレームの変化値に正比例している。すなわち、原フレームに基づいて、より大きい要約率は、フレームのより大きい変化を示し、より小さい要約率は、フレームのより小さい変化を示す。前提は、フレーム変化が原フレームに基づいてすべて減少であり、減少振幅にわずかに違いがある、ということである。第３のレート変化サブユニットは、移動軌跡の要約率に従って移動軌跡のフレームレートの変化値およびフレームの変化値を取得し、フレームレートの変化値およびフレームの変化値に従って、移動軌跡のフレームレートを変化させ、フレームを削減することにより加速を実行する。具体的には、移動軌跡の要約率は、移動軌跡のフレームレートの変化値に正比例し、移動軌跡の要約率は、移動軌跡のフレームの変化値に正比例している。すなわち、原フレームレートに基づいて、より大きい要約率は、フレームレートのより大きい変化を示し、より小さい要約率は、フレームレートのより小さい変化を示す。前提は、レート変化が原フレームレートに基づいてすべて加速であり、加速振幅にわずかに違いがある、ということである。その上、原フレームに基づいて、より大きい要約率は、フレームのより大きい変化を示し、より小さい要約率は、フレームのより小さい変化を示す。前提は、フレーム変化が原フレームに基づいてすべて減少であり、減少振幅にわずかに違いがある、ということである。
【００９３】
上記装置において、場合によっては、要約ユニット２０３は：
関心領域を設定することにより、関心領域内の移動軌跡上で、要約率の値域の範囲内でカスタマイズされたレート変化を実行するように構成されているカスタマイズ型レート変化サブユニット、または、
要約率に従って移動軌跡のレートを変化させるように構成されている自動レート変化サブユニット
をさらに含んでよい。
【００９４】
ユーザは、カスタマイズ型レート変化サブユニットを使用することにより要約映像内に関心領域を設定することがある。たとえば、現実の環境では、警察官は、要約映像を警戒しているときに１つ以上の対象物に関心をもつことがある。この事例では、関心のある対象物の再生レートを遅くするために、カスタマイズされたレート変化は、関心のある１つ以上の対象物の移動軌跡に対して実行され得る。すなわち、調整が原映像の表示レートと要約映像の表示レートとの間で行われる。本事例では、他の移動軌跡は、それでもなお他の移動軌跡の要約率に従って最大の程度まで要約され得る、すなわち、他の移動対象物は、比較的高速レートで移動する。本実施方式では、関心領域に関して減速を実行することにより、関心領域は、それによって、より優れた動的な細部表示効果を獲得する。上述のとおり、具体的な減速解決策は、表示フレームレートを削減することによって、または、フレームを増加させることによって実施され得る。
【００９５】
場合によっては、ユーザが、自動レート変化サブユニットを使用することにより、関心領域を設定しないとき、すべての移動軌跡が移動軌跡の対応する時空間冗長度に従って取得された要約率に従って要約される。すなわち、すべての移動対象物は、比較的高速レートで移動する。すなわち、異なった軌跡の表示レートは、異なった要約率に従って調整されるので、その結果、時空間表示の均一効果が確保されることを前提として、映像要約結果の表示時間が合理的、かつ、効率的に圧縮されることが実施される。
【００９６】
移動軌跡の時空間冗長度は、本発明の本実施形態において、移動軌跡の時間的かつ空間的に重畳する確率に基づいて取得される。その結果、異なった移動軌跡の要約率は、別々に取得され、異なった移動軌跡のレートは、異なった要約率に従って別々に変化させられ、それによって、異なった軌跡の異なった表現を反映し、要約結果の表示方式を多様化する。その上、ユーザが関心をもっている対象物または領域に関してさらなる減速を実行することにより、ユーザは、徹底した観察を行い、それによって、対象物の軌跡の情報完全性を確保する。
【符号の説明】
【００９７】
２０１  抽出ユニット
２０２  計算ユニット
２０２ａ  時間的衝突確率計算サブユニット
２０２ｂ  空間的交差確率計算サブユニット
２０２ｃ  時空間冗長度冗長度獲得サブユニット
２０２ｄ  要約率獲得ユニット
２０３  要約ユニット
２０３ａ  第１のレート変化サブユニット
２０３ｂ  第２のレート変化サブユニット
２０３ｃ  第３のレート変化サブユニット
【図１】
0005919365.tif 000026
【図３】
0005919365.tif 000027
【図４】
0005919365.tif 000028
【図５】
0005919365.tif 000029
【図２】
0005919365.tif 000030