(57)【要約】【課題】複数の対象物体を関連に応じて表示する映像処理装置を提供する。【解決手段】映像処理装置１００は、映像取得部１１０で取得した映像から複数の対象物体を抽出する対象抽出部１２０と、抽出された複数の対象物体から評価対象及び被評価対象を選択する評価対象選択部１３０と、評価対象と被評価対象との時間及び領域についての関連性から得られる関連度を評価するための評価指標を抽出する評価指標抽出部１４０と、評価指標に基づいて評価対象と被評価対象との関連度を評価する関連度評価部１５０と、関連度に基づいて、評価対象及び被評価対象の少なくとも一方の表示パラメータを更新する表示パラメータ更新部１６０と、対象物体を含む映像を表示パラメータに応じて生成する映像生成部１７０と、を備える。【選択図】図２
2019057836.tif 000002
【特許請求の範囲】
【請求項１】
映像を取得する映像取得手段と、
取得した前記映像から複数の対象物体を抽出する対象抽出手段と、
抽出された前記複数の対象物体から評価対象及び被評価対象を選択する選択手段と、
前記評価対象と前記被評価対象との時間及び領域についての関連性から得られる関連度を評価するための評価指標を抽出する評価指標抽出手段と、
前記評価指標に基づいて前記評価対象と前記被評価対象との前記関連度を評価する評価手段と、
前記関連度に基づいて、前記評価対象及び前記被評価対象の少なくとも一方の表示パラメータを更新する更新手段と、
前記対象物体を含む映像を前記表示パラメータに応じて生成する映像生成手段と、を備えることを特徴とする、
映像処理装置。
【請求項２】
前記対象抽出手段は、取得した前記映像から前記複数の対象物体の時間方向の区間領域を設定し、設定した区間領域の映像から前記対象物体の領域もしくは配置を抽出することを特徴とする、
請求項１に記載の映像処理装置。
【請求項３】
前記対象抽出手段は、取得した前記映像から前記複数の対象物体が存在するフレームと該フレーム中の対象物体の位置及び大きさから、該対象物体の存在する時間及び空間の区間領域を抽出することを特徴とする、
請求項２に記載の映像処理装置。
【請求項４】
前記選択手段は、特定の行動に対する認識処理を行い、その結果に基づいて前記複数の対象候補から特定の行動と関連深い対象物体を前記評価対象に選択し、前記評価対象の行動に関連深い対象物体を前記被評価対象として選択することを特徴とする、
請求項１〜３のいずれか１項に記載の映像処理装置。
【請求項５】
前記選択手段は、前記映像の所定の領域外の対象物体を、前記評価対象及び前記被評価対象として設定しないように除外することを特徴とする、
請求項４記載の映像処理装置。
【請求項６】
前記評価指標抽出手段は、前記評価対象と前記被評価対象とのフレーム毎の対象領域内における動き方向を算出し、それを複数の方向のビンごとに集計した動き方向特徴量に基づいて、前記評価指標を抽出することを特徴とする、
請求項１〜５のいずれか１項に記載の映像処理装置。
【請求項７】
前記評価指標抽出手段は、前記動き方向特徴量が所定の閾値以上の高頻度領域で、前記評価対象及び前記被評価対象で共通する共通領域に含まれる動き方向を前記評価指標とすることを特徴とする、
請求項６に記載の映像処理装置。
【請求項８】
前記評価指標抽出手段は、前記方向にオフセットを加えて、前記評価対象と前記被評価対象とのフレーム毎の対象領域内における動き方向を算出することを特徴とする、
請求項６又は７に記載の映像処理装置。
【請求項９】
前記更新手段は、全フレームにおける評価指標の総数に対して現フレームにおける評価指標の頻度の割合を算出し、その割合に応じて前記表示パラメータを更新することを特徴とする、
請求項１〜８のいずれか１項に記載の映像処理装置。
【請求項１０】
映像を出力可能な外部装置に接続される情報処理装置により実行される方法であって、
前記外部装置から取得する前記映像から複数の対象物体を抽出し、
抽出した前記複数の対象物体から評価対象及び被評価対象を選択し、
前記評価対象と前記被評価対象との時間及び領域についての関連性から得られる関連度に基づいて、前記評価対象及び前記被評価対象の少なくとも一方の表示パラメータを更新し、
前記対象物体を含む映像を前記表示パラメータに応じて生成することを特徴とする、
映像処理方法。
【請求項１１】
映像を出力可能な外部装置に接続されるコンピュータを、
前記外部装置から前記映像を取得する映像取得手段、
取得した前記映像から複数の対象物体を抽出する対象抽出手段、
抽出された前記複数の対象物体から評価対象及び被評価対象を選択する選択手段、
前記評価対象と前記被評価対象との時間及び領域についての関連性から得られる関連度を評価するための評価指標を抽出する評価指標抽出手段、
前記評価指標に基づいて前記評価対象と前記被評価対象との前記関連度を評価する評価手段、
前記関連度に基づいて、前記評価対象及び前記被評価対象の少なくとも一方の表示パラメータを更新する更新手段、
前記対象物体を含む映像を前記表示パラメータに応じて生成する映像生成手段、
として機能させるためのコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムを記憶する、コンピュータにより読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像を重畳して表示する技術に関する。
【背景技術】
【０００２】
スポーツ映像の表現手法には、ストロボ映像や比較再生映像などがある。これらの映像は、複数の映像の少なくとも一部を重畳した合成映像である。ストロボ映像は、例えば、映像中から対象物体となるプレイヤの映像を一定時間間隔で抽出して重畳していくことで、該プレイヤの一連の動きを１画面で表す。ストロボ映像では、プレイヤによるプレイの一連の動作が、映像中に残像のように表示される。そのために、観察者は、プレイヤの動きや状態をより理解しやすくなる。
【０００３】
例えば、非特許文献１には、ストロモーションと呼ばれる動画中からプレイヤの一連の動作を表す画像を抽出し、該画像を残像のように重畳したストロボ映像を表示する方法が開示される。また、非特許文献１にはサイマルカムという手法が開示される。サイマルカムは、比較再生映像とも呼ばれ、同一シーンに対して異なるプレイヤ又は同一プレイヤではあるが異なる時刻に撮影された映像を重畳することで、比較を容易にする表示技術である。特許文献１には、スポーツシーンに対するストロモーションの生成における処理を自動化する方法が開示される。
【０００４】
また、映像の一部だけではなくプレイヤの軌跡を映像に重畳表示したり、プレイに対してアイコンを表示する等の、映像に付加情報を重畳するような合成映像技術も存在する。これらの技術は、映像のシーンから抽出された情報に基づいて、重畳する情報の色、透明度、アイコン、情報を表示する期間を指定する時定数等を決定し、シーンの内容を分かりやすく可視化する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】欧州特許第１２８７５１８号明細書
【非特許文献】
【０００６】
【非特許文献１】"Dartfish User Guide", 2011, インターネット<URL：http://www.gosportstech.com/dartfish-manuals/Dartfish%20v6.0%20User%20Manual.pdf>
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来のストロボ映像は、単一のプレイヤが登場するシーンに対して、自動的に生成可能である。しかしながら、サッカー等のチームスポーツのように複数のプレイヤが同時に存在する場合については考慮されていない。例えば、特許文献１の技術を用いてチームプレイを可視化する場合、全プレイヤ又は選択した１名のプレイヤが表示され、ユーザが希望するような画像が得られないことがある。特に、全プレイヤを表示する場合、画像が煩雑になってしまう。また、重要シーンにおいて特定のプレイヤのみのストロボ映像を生成すると、該シーンに寄与した別のプレイヤの貢献が可視化されず、シーンを理解する助けとならない。
【０００８】
本発明は、このような従来の問題を解決するため、複数の対象物体を関連に応じて表示する映像処理装置を提供することを主たる目的とする。
【課題を解決するための手段】
【０００９】
本発明の映像処理装置は、映像を取得する映像取得手段と、取得した前記映像から複数の対象物体を抽出する対象抽出手段と、抽出された前記複数の対象物体から評価対象及び被評価対象を選択する選択手段と、前記評価対象と前記被評価対象との時間及び領域についての関連性から得られる関連度を評価するための評価指標を抽出する評価指標抽出手段と、前記評価指標に基づいて前記評価対象と前記被評価対象との前記関連度を評価する評価手段と、前記関連度に基づいて、前記評価対象及び前記被評価対象の少なくとも一方の表示パラメータを更新する更新手段と、前記対象物体を含む映像を前記表示パラメータに応じて生成する映像生成手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数の対象物体を関連に応じて表示することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】フットサルの試合の撮影シーンの概要図。
【図２】映像処理装置の説明図。
【図３】対象領域を抽出する方法の説明図。
【図４】評価対象及び被評価対象の選択処理の説明図。
【図５】動き方向特注量の説明図。
【図６】関連度の評価処理を表すフローチャート。
【図７】映像処理装置による処理を表すフローチャート。
【図８】第２実施形態の映像処理装置の説明図。
【図９】第３実施形態の説明図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、実施形態を詳細に説明する。
【００１３】
（第１実施形態）
本実施形態では、フットサルの試合映像を対象映像とし、映像中のプレイヤを対象物体として説明する。図１に、フットサルの試合の撮影シーンの概要図である。撮影は、フィールド２００を撮影可能な位置にカメラ２１０を設置して行われる。カメラ２１０は、時刻ｔにおける映像をカメラ映像２１１として出力する。フィールド２００には１０名のプレイヤが存在する。ここでは、チームＡのプレイヤ２２１〜２２５及びチームＢのプレイヤ２３１〜２３５が、フィールド２００内でフットサルの試合を行っている。カメラ映像２１１の楕円は、人物（チームＡのプレイヤ２２１〜２２５、チームＢのプレイヤ２３１〜２３５）を表す。時刻ｔでは、プレイヤ２２１がボールを保持している。プレイヤ２２１は、時刻ｔ＋ｋまでパス動作を行う。
【００１４】
図２は、本実施形態の映像処理装置の説明図である。映像処理装置１００は、入力装置を備える情報処理装置であり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）を備える。ＣＰＵが、ＲＯＭに格納されるコンピュータプログラムを、ＲＡＭを作業領域に用いて実行することで、情報処理装置が本実施形態の映像処理装置１００として機能する。入力装置は、キーボードや、マウス、タッチパネル等のポインティングデバイスである。入力装置は、ＵＩ（User Interface）部１８０として機能する。
【００１５】
ＵＩ部１８０は、区間入力部１８１、対象入力部１８２、及び指標入力部１８３の少なくとも一つを備える。ＵＩ部１８０は、情報を映像処理装置１００に入力する。
【００１６】
映像処理装置１００は、カメラ２１０に接続されており、カメラ２１０からカメラ映像２１１を順次取得する。映像処理装置１００は、映像取得部１１０、対象抽出部１２０、評価対象選択部１３０、評価指標抽出部１４０、関連度評価部１５０、表示パラメータ更新部１６０、及び映像生成部１７０を備える。各部は、ＣＰＵによるコンピュータプログラムの実行により実現される他に、少なくとも一部がハードウェアにより構成されてもよい。
【００１７】
映像取得部１１０は、フィールド２００に設置されたカメラ２１０からカメラ映像２１１を取得する。本実施形態では、カメラ２１０が固定設置される場合について説明する。なお、カメラ２１０は、これに限定するものではなく、手持ちカメラや、パン・チルト・ズームやドリー撮影を行うことができるカメラシステムであっても良い。カメラ映像２１１は、一台のカメラ２１０からだけではなく複数台配置されたカメラ２１０で撮影された複数の映像であってもよく、異なる時刻に行われた別の試合で撮影された映像であってもよい。つまり映像取得部１１０は、カメラ２１０に限らず、映像を出力可能な外部装置から映像を取得可能であればよい。
【００１８】
対象抽出部１２０は、対象区間設定部１２１及び対象配置抽出部１２２を有する。対象区間設定部１２１は、カメラ映像に基づいて対象物体の時間方向の区間領域を設定する。対象配置抽出部１２２は、区間領域もしくは単一の時刻の映像から、対象物体の領域もしくは配置を抽出する。上記の通り本実施形態ではフットサルの試合映像を対象映像としており、映像中のプレイヤが対象物体に設定される。対象抽出部１２０では、対象物体が存在するフレームとそのフレーム中の対象物体の位置及び大きさから、対象物体の存在する時間及び空間の区間領域を抽出する。
【００１９】
対象区間設定部１２１は、例えば、区間入力部１８１による直接的なユーザの指示に応じて、或いは自動的に、時間方向の区間領域を設定する。自動的に時間方向の区間領域を設定する方法には、例えばカルマンフィルタや確率密度比から映像の変化点を検出する手法などを用いて、抽出対象映像の時間的な開始点や終了点を設定する方法などがある。カルマンフィルタや確率密度比から映像の変化点を検出する手法の詳細は、例えば「井手, "異常検知と変化検知", 講談社, 2015」に開示される。他にも「パス」などのイベント認識処理を行い、対象イベントが発生する映像区間を時間方向の区間領域とする方法など、映像生成を行うための適切な区間領域を設定できるものであればどのような手法を用いても良い。本実施形態の対象区間設定部１２１は、時刻ｔ〜ｔ＋ｋのフレームまでのｋ＋１フレーム分の部分映像を対象区間であると設定する。
【００２０】
対象配置抽出部１２２は、カメラ映像中の対象物体の空間的な位置情報を取得する。対象配置抽出部１２２は、例えば映像から各時刻における人物領域を検出し、人物尤度の高い領域を対象配置情報として矩形領域で表現する。この方法の詳細は、「P. Felzenszwalb, D. Mcallester, and D. Ramanan, “A Discriminatively Trained , Multiscale , Deformable Part Model,” in IEEE Conference on Computer Vision and Pattern Recognition, 2008」に開示される。また、対象配置抽出部１２２は、頭部領域追跡、粒子フィルタ（Particle Filter）などの追跡技術を用いて、映像中のプレイヤやボールなどの対象物体の軌跡を、対象配置情報として算出してもよい。
【００２１】
対象配置抽出部１２２は、映像を用いるだけではなく、プレイヤやボールなどに直接装着されるセンサにより、対象物体のフィールド２００上の配置関係を取得してもよい。センサには、ＧＰＳ（Global Positioning System）センサやＲＦＩＤ（Radio Frequency Identifier）タグ、iBeacon（登録商標）などを用いることができる。対象物体は、プレイヤなどの人物に限定するものではなく、サッカーやフットサルなどの球技の場合にはボールなど人物以外であってもよい。
【００２２】
本実施形態では、対象物体を、検出器などを用いて自動で検出したり、手動で直接指定することで決定するが、これに限定するものではなく、対象物体がどのようなものかが不明な場合にも適用することができる。例えば、本実施形態は、カメラ２１０が固定されている場合、背景差分などの手法を用いて前景と背景とを分離することで、各時刻において対象領域を分割するような対象物体を特定人物と明示的に定義しない方法なども使用可能である。対象物体の空間的な位置情報は、カメラ映像２１１内の位置ではない場合もある。例えば対象配置抽出部１２２は、複数のカメラ２１０やレンジファインダーなどの距離方向を取得することが可能なデバイスを併用することで、フィールド２００上の３次元空間位置として対象物体の空間的な位置情報を抽出してもよい。
【００２３】
図３は、対象抽出部１２０による対象領域を抽出する方法の説明図である。対象抽出部１２０は、時刻ｔ〜ｔ＋ｋのｋ＋１フレームにおけるフットサルの試合のカメラ映像２１１から、対象領域３４０を抽出する。時刻ｔにおける対象物体の配置は、点線枠の対象配置３２１〜３３５で示される。対象抽出部１２０は、対象配置抽出部１２２により抽出したプレイヤ２２１の対象配置３２１を、人物検出器による矩形枠検出によって抽出する。対象配置の抽出は、カメラ映像２１１内の各プレイヤに対して行われる。対象配置の抽出結果は、プレイヤ毎の対象配置３２１〜３３５として示される。
【００２４】
対象区間設定部１２１及び対象配置抽出部１２２による、ボールを保持しているプレイヤ２２１の対象領域３４０の抽出手順を説明する。
対象配置抽出部１２２は、上述の映像から人物領域を検出する方法により、時刻ｔにおけるカメラ映像２１１中から人物である可能性の高い領域候補を抽出し、その中でプレイヤ２２１である可能性の高い矩形領域を対象配置３２１とする。時刻ｔ〜ｔ＋ｋまでの各フレームにおけるプレイヤ２２１の対象配置３２１〜３４１を時間方向に連結することで、対象領域３４０が構成される。対象配置抽出部１２２は、対象配置３２１の重心位置３４２を、時刻ｔ〜ｔ＋ｋまで連結した軌跡を抽出対象として定義するなど、複数の要素を組み合わせてもよい。
【００２５】
本実施形態では対象区間設定部１２１から対象配置抽出部１２２への順に処理を行うことで、各プレイヤの対象領域を同じ時間区間に設定したが、これに限定するものではない。例えば、対象配置抽出部１２２が先に処理を行い、空間的な対象領域を抽出した後に各対象領域に対して対象区間設定部１２１の処理を行うことによって、対象物体毎に異なる時間区間を設定してもよい。
例えば、時刻ｔにおけるカメラ映像２１１に対して、対象配置抽出部１２２が画像中の人物領域を抽出する。その後、対象区間設定部１２１は、部分領域を映像方向に追跡処理することで、区間方向への設定を行ってもよい。部分領域の映像方向への追跡処理は、例えば「Z. Kalal, J. Matas, and K. Mikolajczyk, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” Conference on Computer Vision and Pattern Recognition, 2010.」に開示される。
【００２６】
評価対象選択部１３０は、対象抽出部１２０で抽出した複数の対象物体から、評価対象及び被評価対象とする物体を選択する。図４は、評価対象及び被評価対象の選択処理の説明図である。図４は、時刻ｔ〜ｔ＋ｋのチームＡのプレイヤ２２１、２２２と、チームＢのプレイヤ２３１とについて、各フレームの対象領域を重畳したストロボ映像としての合成映像４００である。ここでは、プレイヤ２２１が今回の評価対象４１０として設定される。主となる評価対象４１０は、対象入力部１８２によるユーザの手動選択や、ボールの位置をトラッキングしてその近傍にいるプレイヤから自動的に選択される。
また、評価対象選択部１３０は、行動認識手法を用いて特定の行動に対する認識処理を行い、その結果に基づいて対象候補の中から特定の行動と最も関連深い対象物体を評価対象４１０として選択してもよい。この場合、評価対象選択部１３０は、評価対象４１０の行動に関連深い対象物体を被評価対象４２０、４３０として選択する。行動認識手法は、例えば「Simonyan, K., and Zisserman, A.: Two-stream convolutional networks for action recognition in videos. In Proc. NIPS, 2014」に開示される。
【００２７】
評価対象４１０、被評価対象４２０、４３０は、プレイヤである必要はなく、ボールやラケットなどの、可視化対象となる競技の性質や取得したい情報に応じて変更が可能である。加えて評価対象４１０は、単一の対象領域３４０である必要はなく、パスプレイなどの複数のプレイヤが関連する行動においては複数の対象領域となる。
【００２８】
同様に、チームＡのプレイヤ２２２を被評価対象４２０、敵であるチームＢのプレイヤ２３１も被評価対象４３０として設定し比較を行う。今回は、プレイヤ２２２とプレイヤ２３１のみを被評価対象に設定して評価を行うが、これは一例であり、すべてのプレイヤを順番に被評価対象に設定し、評価対象との評価を行ってもよい。
また、評価対象選択部１３０は、カメラ映像２１１の所定の領域外の物体、例えばフィールド２００外の観客などを対象物体として設定しないように除外してもよい。例えば、予め位置情報や矩形の大きさを用いてフィールド２００より外にいる人物領域を除外したり、選手にＧＰＳセンサ等を装着してフィールド２００内にいる人物領域のみしか対象にしないなどの処理により、対象物体の選択から除外することができる。さらに、フィールド２００内にいる審判などもＧＰＳ、ＲＦＩＤなどのセンサや映像の色特徴などにより個別に判定することで、対象から除外してもよい。
【００２９】
評価指標抽出部１４０は、評価対象選択部１３０で選択された評価対象４１０と被評価対象４２０との関連度を評価するための評価指標を抽出する。「関連度」は、評価対象４１０と被評価対象４２０との間の動き情報、appearance情報などから、時間及び領域についての関連性を評価して得られる。「動き情報」は、例えば対象領域内の部分領域の動き情報である。部分領域の動き情報は、例えばオプティカルフロー（Optical Flow）のような画素単位の動きベクトル、ＨＯＦ（Histograms of Optical Flow）特徴量、Dense Trajectories特徴量などである。Dense Trajectories特徴量は、「H. Wang, A. Kl&auml;ser, C. Schmid, C.L. Liu, "Dense trajectories and motion boundary descriptors for action recognition", Int J Comput Vis, 103 (1) (2013), pp. 60-79」に開示される。また動き情報は、粒子フィルタやSIFT（Scale-Invariant Feature Transform） Trackerのようなある一点又は領域を対象区間にわたって追跡した結果であっても良い。
【００３０】
動き情報は、対象領域内の一部又は全部が映像内でどのように移動したかを示した情報であれば、どのような情報を用いても良い。例えば動き情報は、カメラ映像に限らず、プレイヤに装着したＧＰＳや加速度センサなどから取得する対象物体の動きに関する情報であってもよい。
【００３１】
「appearance情報」は、例えば映像特徴であればＲＧＢなどのカラー特徴や、エッジなどの形状に関する情報を示すＨＯＧ情報、ＳＩＦＴ特徴などの対象の形状、模様、色彩を表す情報である。またappearance情報は、映像に限定せず、表面材質の粗密などの対象の材質、光学的反射情報などの対象物体の形状を表す情報でもよい。例えば、Kinect（登録商標）などの撮像装置からの奥行き情報やＢＲＤＦ（Bidirectional Reflectance Distribution Function）である。ＢＲＤＦは、「N. Nicodemus, J. Richmond, and J. Hsia, ”Geometrical considerations and nomenclature for reflectance,”tech.rep., U.S. Department of Commerce, National Bureau of Standards, Oct.1977.」に開示される。
【００３２】
評価指標抽出部１４０は、上記以外の情報として、例えば対象抽出部１２０、対象区間設定部１２１、対象配置抽出部１２２などの前段の処理において使用した、行動認識や人物検出などの認識処理時の尤度を関連度の評価指標として抽出してもよい。他に評価指標抽出部１４０は、ディープラーニング等の階層型の認識方法における中間生成物の情報や特徴量を評価指標として抽出してもよい。また、評価指標抽出部１４０は、関連度の評価のために改めて特徴量抽出処理を行ってもよい。さらに評価指標抽出部１４０は、対象物体に装着した心拍センサなどから得られる情報などの、対象物体に関連する情報を評価指標として抽出してもよい。
【００３３】
本実施形態では、評価指標として、対象物体のフレーム毎の対象領域内における動き方向を算出し、それを１６方向のビン（bin）毎に集計した動き方向特徴量を用いる。図５は、動き方向特徴量の説明図である。図５は、横軸が動き方向、縦軸が時空間全体の対象領域による動き方向の出現頻度（動き方向頻度）を表すヒストグラムである。動き方向頻度は、対象領域中の全動き方向のビンを動き方向毎に積算した値であり、対象領域内でどのような動きが多く発生したかを頻度で表す。評価対象、被評価対象間の動きの関連度を評価する評価指標を、動き方向の中から選択する方法について説明する。
【００３４】
図５では、時刻ｔ〜ｔ＋ｋにおける、評価対象４１０の動き方向頻度分布５１０及び被評価対象４２０の動き方向頻度分布５２０を示す。評価対象４１０の動き方向頻度分布５１０は、所定の設定閾値５４０以上の高頻度領域５１１を含む。被評価対象４２０の動き方向頻度分布５２０は、所定の設定閾値５４１以上の高頻度領域５２１、５２２を含む。高頻度領域５１１及び高頻度領域５２１は、評価対象４１０と被評価対象４２０との共通領域５３０を含む。共通領域５３０に含まれる動き方向が評価指標として設定される。これによって被評価対象４２０は、シュートを撃つ評価対象４１０と連動して同一方向に動いている領域が可視化される。なお、被評価対象４３０は、敵として評価対象４１０に対してディフェンスしているため、同一方向に動いている状態が可視化される。
【００３５】
本実施形態では、共通領域５３０を用いて同一方向を検出するが、高関連度の領域を抽出する方法はこれに限定されない。例えば、方向にオフセットを加える（例えば１８０度反対方向）ことによって、散開する動きを高関連度としてもよい。本実施形態の評価対象４１０の特徴量としては、予め設定した移動方向を例にしたが、この他に、appearance情報としてＲＧＢやＨＯＧ特徴、ＳＩＦＴ特徴などを使用しても良い。また、映像特徴に限定せず、ＧＰＳなどによる位置情報など映像特徴量以外の特徴量を用いてもよい。
さらに複数の動き情報、appearance情報、中間生成物の特徴量を集めた特徴ベクトルを用いてもよい。この場合、特徴ベクトルに対してＰＣＡ（主成分分析）、ＩＣＡ（独立成分分析）などの成分分析手法や次元削減手法、クラスタリング、特徴選択手法などを用いて主要な特徴量のみを抽出する。これにより、人為的な判断によらずデータから関連性の深い特徴量を自動で抽出することができる。また、指標入力部１８３を用いて、ユーザによって直接指定しても良い。
【００３６】
本実施形態では、共通領域５３０として一箇所を指定したが、複数の領域を指定しても良い。その場合、異なるＩＤを設定するなどして以後の処理を並列化することで、複数の評価指標を可視化することが可能となる。
【００３７】
関連度評価部１５０は、評価指標抽出部１４０により抽出された共通領域５３０を用いて、評価対象４１０と、被評価対象４２０又は被評価対象４３０と、の関連度を評価する。本実施形態では、評価対象４１０の対象領域３４０に対して、被評価対象４２０の対象領域の透明度を、関連度の高さに応じてフレームごとに変化させる。そのため関連度評価部１５０は、フレーム毎に被評価対象４２０の対象領域での評価指標に対する関連度を評価することで、フレーム毎の評価対象４１０の評価指標との関連度を算出する。
【００３８】
表示パラメータ更新部１６０は、入力されたカメラ映像２１１に対し、関連度の逆数に応じて被評価対象４２０の対象領域を重畳する際に、フレーム毎の表示パラメータを決定する。本実施形態では、表示パラメータ更新部１６０は、表示パラメータとして透明度を決定する。
映像生成部１７０は、各フレームの評価対象４１０及び被評価対象４２０の関連度に応じた合成映像を生成する。映像生成部１７０は、被評価対象４２０が表示パラメータに応じた表示になるようにして、合成映像を生成する。
【００３９】
図６は、関連度の評価処理を表すフローチャートである。図６は、評価対象選択部１３０、評価指標抽出部１４０、関連度評価部１５０、及び表示パラメータ更新部１６０による処理である。
【００４０】
評価対象選択部１３０は、対象抽出部１２０で抽出された複数の対象物体から評価対象４１０となる対象物体を選択し、評価対象４１０に応じた対象領域３４０を評価指標抽出部１４０に入力する（Ｓ１００１）。評価指標抽出部１４０は、入力された対象領域３４０に対して、フレーム毎に走査し、各フレームにおける対象領域を抽出する（Ｓ１００２〜Ｓ１００５）。評価指標抽出部１４０は、各フレームにおける対象領域３４０から特徴量を抽出する（Ｓ１００３）。本実施形態では、評価指標抽出部１４０は、オプティカルフローを算出し、それを１６方向のビンに振り分けることで特徴量を抽出する。評価指標抽出部１４０は、抽出した特徴量要素毎にその出現頻度をカウントし、全フレームでの特徴量頻度の分布を、評価対象４１０の動き方向頻度分布５１０に例示する特徴頻度ヒストグラムに反映する（Ｓ１００４）。評価指標抽出部１４０は、出現頻度に対して設定閾値５４０を設定し、設定閾値以上のヒストグラム領域を抽出する（Ｓ１００６）。評価指標抽出部１４０は、抽出した設定閾値以上のヒストグラム領域に基づいて、評価対象４１０におけるヒストグラム上の高頻度領域５１１を抽出する（Ｓ１００７）。
【００４１】
評価対象選択部１３０及び評価指標抽出部１４０は、Ｓ１００１〜Ｓ１００７の処理と同様の処理を、被評価対象４２０に対しても行う（Ｓ１０１１〜Ｓ１０１７）。この際に生成するヒストグラム（被評価対象４２０の動き方向頻度分布５２０）は、評価対象４１０のヒストグラム（動き方向頻度分布５１０）と同一の特徴量が用いられる。
【００４２】
評価指標抽出部１４０は、評価対象４１０の高頻度領域５１１と、被評価対象４２０の高頻度領域５２１、５２２とを比較し、両方に共通する高頻度領域（共通領域５３０）を抽出する（Ｓ１０２０）。評価指標抽出部１４０は、抽出した高頻度領域から評価指標となる特徴量を決定する（Ｓ１０２１）。
【００４３】
評価指標抽出部１４０及び関連度評価部１５０は、被評価対象４２０に対して再度フレーム毎に走査を行い、フレーム毎の対象領域の表示パラメータを設定して合成を行う（Ｓ１０３１〜Ｓ１０３６）。評価指標抽出部１４０は、所定のフレームにおける対象領域の特徴量を抽出する（Ｓ１０３２）。なお、この処理はＳ１０１３の処理と同一であるために、共通化しても良い。
【００４４】
関連度評価部１５０は、Ｓ１０２１の処理で算出された評価指標となる特徴量が現フレームの対象領域中にどの程度含まれているかをカウントする（Ｓ１０３３）。表示パラメータ更新部１６０は、関連度評価部１５０がカウントした評価指標となる特徴量の頻度に応じて、不透明度を設定する。表示パラメータ更新部１６０は、全フレームにおける評価指標となる特徴量の総数に対して現フレームにおける評価指標となる特徴量の頻度の割合を算出して、その割合をそのまま対象物体の不透明度として表現する（Ｓ１０３４）。映像生成部１７０は、表示パラメータ更新部１６０が設定した不透明度（表示パラメータ）に基づいてカメラ映像２１１に対して被評価対象４２０の各フレームの対象領域を合成した映像を生成する（Ｓ１０３５）。現フレームにおいて評価指標の出現頻度が高いほど不透明となるため、その結果評価指標の成分が多いフレームの対象領域は、映像中に残ることになる。
【００４５】
映像生成部１７０の処理を詳細に説明する。映像生成部１７０は、例えば、フレーム毎に背景差分を行うことで映像の前景と背景とを分離し、前景に対してのみ対象抽出処理を行うことで、矩形範囲内から背景を除いた被評価対象４２０の領域映像を抽出することができる。映像生成部１７０は、フレーム毎の抽出結果に対して表示パラメータ更新部１６０で設定された透明度を適用してカメラ映像２１１に追加する。これにより、被評価対象４２０の重畳結果は、評価対象４１０との関連度が高いほど不透明になる。そのためにプレイの連携を容易に確認することができる合成映像が生成可能となる。映像生成部１７０は、同時に時定数を設定して時間経過に応じて透明度を高くしていくことで、いつまでも映像が残っていることを避けることが可能である。また、映像生成部１７０は、時定数自身を関連度と連結することで、残留時間を制御することも可能である。
【００４６】
表示パラメータ更新部１６０が更新可能な表示パラメータは、透明度の他に、ＲＧＢの比率、軌跡や人物矩形などの付加情報を重畳する際の付加情報のＲＧＢや線種、アイコンなどの表示要素がある。映像生成部１７０は、被評価対象毎に評価指標が異なる場合や、複数の評価指標が存在する場合、表示パラメータ更新部１６０がこれらの表示パラメータを更新することで、複数の関連度要素を可視化することが可能となる。また、指標入力部１８３を通じて可視化する評価指標を変更することで所望の評価指標のみを指定することも可能である。
【００４７】
映像処理装置１００は、以上の処理を各評価対象について行うことで、関連度に応じて、観察したい対象物体とそれに連動する対象物体のみを可視化し、ユーザによる一連の連携プレイの理解を補助することが可能となる。そのために、従来のように、すべての映像が重畳されることで情報が重畳され過ぎ、どのような連係プレイが行われていたかを読み取ることができないといった問題を解消することができる。
【００４８】
図７は、映像処理装置１００による処理を表すフローチャートである。
【００４９】
映像取得部１１０は、フィールド２００に設置されたカメラ２１０からカメラ映像２１１を取得する（Ｓ９０１）。対象抽出部１２０は、対象区間設定部１２１により、対象区間を時刻ｔ〜ｔ＋ｋのカメラ映像２１１のフレームに設定する（Ｓ９０２）。
対象抽出部１２０の対象配置抽出部１２２は、設定された対象区間内をｋフレーム分走査して各フレームの対象領域を集積することで、評価対象４１０を抽出する（Ｓ９０３〜Ｓ９０７）。対象配置抽出部１２２は、対象区間のカメラ映像２１１から、フレームｔ＋ｉ目の静止画像を抽出する（Ｓ９０４）。対象配置抽出部１２２は、抽出した静止画像中から人体領域を検出する（Ｓ９０５）。対象配置抽出部１２２は、各フレームから検出した人体領域をプレイヤ毎に連結して、評価対象領域を生成する（Ｓ９０６）。本実施形態ではｍ人のプレイヤが検出された場合を説明する。
【００５０】
評価対象選択部１３０は、対象入力部１８２による評価対象の直接指定により（Ｓ９３０）、ｍ人のプレイヤから評価対象を選択する（Ｓ９１０）。対象入力部１８２は、例えば画面上がポインティングデバイスにより直接指定されることで、評価対象４１０の指定を受け付け、その内容を評価対象選択部１３０に送信する。評価対象選択部１３０は、指定されたプレイヤを評価対象４１０として登録する。これにより、ｍ人の映像中のプレイヤから、主となる評価対象４１０と関連度の高いプレイヤの表示をより強調したり、関連度の低いプレイヤの表示を曖昧にすることができる。
【００５１】
評価指標抽出部１４０は、評価対象４１０のプレイヤの画像特徴や動き特徴などの特徴量を抽出する（Ｓ９１１）。評価指標抽出部１４０は、各対象領域からオプティカルフローを検出し、それを１６方向に量子化したものの出現頻度をカウントして、出現頻度のヒストグラム（動き方向頻度分布５１０）を生成する。評価指標抽出部１４０は、この他にも、対象領域の重心位置の軌跡や、その微分値の絶対値（向きを変える方向に依存しないように）、速度のＬ１ノルムなども特徴量として使用することができる。
【００５２】
関連度評価部１５０は、カメラ映像内の主となる評価対象４１０のプレイヤ以外の評価対象についてイテレーションすることで、個々の評価対象（プレイヤ）毎に異なる評価指標を用いて関連度を評価する（Ｓ９１２〜Ｓ９２０）。Ｓ９１０以降の処理は、図６の処理となる。
【００５３】
評価指標抽出部１４０は、ｉ＝０の評価対象として、例えば被評価対象４２０のプレイヤを選択する（Ｓ９１３）。評価指標抽出部１４０は、被評価対象４２０のプレイヤのヒストグラム（動き方向頻度分布５２０）を算出する（Ｓ９１４）。評価指標抽出部１４０は、評価対象４１０のプレイヤのヒストグラム（動き方向頻度分布５１０）と被評価対象４２０のプレイヤのヒストグラム（動き方向頻度分布５２０）とにより、両者の評価対象に関連の深い評価指標を選別する（Ｓ９１５）。評価指標抽出部１４０は、２つの出現頻度のヒストグラム（動き方向頻度分布５１０、５２０）の論理和により、共通して高い頻度を持つ共通領域５３０を選定する。評価指標抽出部１４０は、プレイの内容によって、オープンに開いたり逆方向に交差したりなどの異なる方向でも関連性が高い場合に、高い共通性ではなくてもオフセット加えるなどの方法で関連度を用いてもよい。共通領域５３０に含まれる特徴量は、評価対象４１０のプレイヤ及び被評価対象４２０のプレイヤで、共通して該対象区間で発生する特徴であるため、関連度が高いとみなすことができる。
【００５４】
同様に、例えばｉ＝１時の評価対象が被評価対象４３０のプレイヤの場合、オプティカルフローのヒストグラムは左方向の成分が多くなる（特徴量頻度領域５２２）。そのために、ヒストグラム（動き方向頻度分布５２０）との論理和は、ほとんど頻度の高い領域が残らない。そのため、可視化時には被評価対象４３０のプレイヤが強調されない。また、評価対象４１０と被評価対象４３０とは所属するチームが異なるために、着用するユニフォームなどのＲＧＢプロファイルが大きく異なることが予想される。そのために、評価対象４１０からオプティカルフローだけではなく、静止画像領域の各ピクセルのＲＧＢを抽出してヒストグラム化することで、より関連度を低くすることが可能となる。
【００５５】
評価指標抽出部１４０は、関連度評価としてｉ＝０時の被評価対象４２０を時刻ｔ〜ｔ＋ｋまで走査して、フレーム毎にヒストグラム（動き方向頻度分布５２０）を生成する（Ｓ９１７）。評価指標抽出部１４０は、生成したフレーム毎のヒストグラムの中で共通領域５３０の特徴量含有割合を算出し、これをフレーム毎の関連度とする。関連度評価部１５０は、この関連度を評価する。
【００５６】
表示パラメータ更新部１６０は、合成映像を生成する際の表示要素を抽出する（Ｓ９１８）。例えば、評価対象４１０のプレイヤは、ストロボ映像を生成するために評価対象領域の部分画像（すなわちプレイヤの矩形領域）が表示要素となる。被評価対象４２０のプレイヤは、被評価対象領域の各フレームにおける重心位置の系列を表示要素とするなど、被評価対象毎に異なる表示要素が指定されても良い。
【００５７】
表示パラメータ更新部１６０は、表示要素をどのように重畳するかの表示パラメータをフレーム毎に設定する（Ｓ９１９）。例えば、評価対象４１０のプレイヤの表示要素の表示パラメータとしては、ストロボ映像にするためのストロボ間隔や、重畳する際の透明度などがある。被評価対象４２０のプレイヤの表示要素の表示パラメータとしては、軌跡のＲＧＢ値や、透明度、表示が消滅するまでの時定数などがある。
【００５８】
Ｓ９１２〜Ｓ９２０の処理を評価対象毎に行うことで、評価対象毎の対象区間毎の表示パラメータが設定される。映像生成部１７０は、これらの表示パラメータに基づいて合成映像を生成し、表示する（Ｓ９２１）。
【００５９】
以上の処理により、指定された評価対象４１０のプレイヤに対して、評価対象４１０のプレイヤとの関連度に応じて他の評価対象のプレイヤを表示することが可能となる。そのために、よりプレイヤ同士がどのように関連して対象シーンが構成されているのかを、直感的に理解しやすい映像が提供可能となる。
【００６０】
（第２実施形態）
第２実施形態では、所定の試合のカメラ映像に対して、別の時刻、日程で行われた試合や別チームの試合などの異なるカメラ映像の評価に基づく合成映像を生成する。この実施形態では、現時刻帯で撮影されたカメラ映像に対して、別時刻帯もしくは別日程で撮影された動画像の複数評価対象間での関連度を評価することで、現時刻のカメラ映像に別時刻での関連性の高い評価対象の情報を表示する。これにより、別の試合や練習時における連携プレイやセットプレイなどの類似のプレイを重畳表示することができ、試合の分析などに活用することが可能になる。本実施形態では、第１実施形態に示したような特定の評価対象の設定を行わず、シーンの時間区間を設定することによってシーン全体に対する各被評価対象との関連度に応じて合成映像を生成する。
第１実施形態では、ユーザが対象入力部１８２によってシーン中の評価対象を直接指定することで評価対象及び被評価対象が設定される構成を説明した。本実施形態では評価対象が直接指定されず、区間入力部１８１により、対象区間設定部１２１に時間領域が直接指定される。
【００６１】
図８は、第２実施形態の映像処理装置７００の説明図である。図２に示す第１実施形態の映像処理装置１００と共通の構成には同じ符号を付してある。共通の構成については、説明を省略する。
【００６２】
映像取得部１１０は、第１実施形態の映像取得部１１０同様、カメラ２１０で撮影された現在行われている試合のカメラ映像（第１入力画像）を取得する。なお、映像取得部１１０は、現時刻における試合のカメラ映像の他に、データベース７６０からユーザが好適なシーンの映像を取得してもよく、他のチームの試合の映像を別のデータベースや端末などから取得してもよい。
第２映像取得部７１０は、データベース７６０に蓄積される、以前の試合の映像から、適宜必要な過去の試合映像（第２入力画像）を抽出して取得する。
【００６３】
ＵＩ部１８０の区間入力部１８１は、ユーザの操作により、ユーザが着目したい映像シーケンスの指定を受け付ける。区間入力部１８１は、受け付けた内容を映像処理装置７００に入力する。本実施形態では区間入力部１８１は、映像の区間時間として開始時間、終了時間の直接入力ではなく、「パス」などのアクションタグの指定を受け付ける。
対象区間設定部１２１は、映像取得部１１０で取得した第１入力画像に対して、アクション認識処理を行い、パスプレイに相当する映像シーケンスを抽出することで対象区間を設定する。アクション認識処理は、「Simonyan, K., and Zisserman, A.: Two-stream convolutional networks for action recognition in videos. In Proc. NIPS, 2014」に開示される。なお、区間時間は、ユーザにより直接設定されてもよく、映像の一定区間のｋフレームとして設定されてもよい。
【００６４】
対象配置抽出部１２２は、対象区間設定部１２１で設定された対象区間に対して、映像中のプレイヤの配置を抽出する。本実施形態の対象配置抽出部１２２は、ＧＰＳなどの３次元位置取得センサを用いる。ＧＰＳセンサは、評価対象となるプレイヤ個人に装着される。そのために対象物体の配置を分離する処理は必要ない。
必要であれば、予め算出したカメラパラメータを用いて、プレイヤの３次元位置をカメラ２１０上の座標に変換して用いても良い。カメラ２１０の位置が固定の場合、カメラパラメータとして、位置、角度情報などの外部パラメータや、Ｆ値、カメラ歪みなどの内部パラメータなどが、予め計測可能である。対象配置抽出部１２２は、これらの値を用いてＧＰＳで計測したフィールド２００上のプレイヤの３次元位置をカメラ映像２１１上の座標値に変換することができる。
【００６５】
第２対象区間設定部７２１は、第２映像取得部７１０で取得した第２入力映像に対して、対象区間設定部１２１と同様のアクション認識処理を行い、全シーケンス内から対象区間を抽出する。例えば第２対象区間設定部７２１は、第２入力映像に対して、区間入力部１８１で設定された「パス」というタグに応じて、全シーケンス内からパスプレイと推定された対象区間を抽出する。対象区間が複数抽出された場合、第２対象区間設定部７２１は、逐次処理にてすべての対象区間に対して関連度を評価してもよく、最も関連度の高い対象区間のみ重畳してもよい。
【００６６】
第２対象配置抽出部７２２は、設定された対象区間に応じて、プレイヤの配置を抽出する。第２対象配置抽出部７２２は、第２入力映像においても、第１入力映像と同様にプレイヤがＧＰＳなどのセンサを装着している場合に、同一のデータとして使用することができる。また、第２対象配置抽出部７２２は、第１実施形態で説明した映像ベースによる対象配置抽出手法などの異なる対象配置抽出を行っても良い。
【００６７】
評価指標抽出部１４０は、これらの評価対象の特徴ベクトルから、評価指標を抽出する処理を行う。評価指標抽出部１４０は、第１実施形態では、評価対象と被評価対象とに分離して相互の関係性を評価するが、本実施形態では第１評価対象と第２評価対象とを併せた特徴ベクトルに基づいて、評価指標を抽出する。評価指標抽出部１４０は、ＧＰＳセンサから取得される位置情報、速度情報、及び加速度情報を各評価対象から抽出して統合し、それらの主成分分析を行い、特徴量の中から両方の入力映像に共通して発生する特徴量を抽出する。累積寄与率を求めることで、２つの評価対象をいくつの指標で評価することが可能かを検証することができる。ｐ次元の特徴ベクトルに対して、ベクトル要素ｊ番目までの累積寄与率は、以下の式で表すことができる。
Ｒ＝｛１００（λ１＋λ２＋λ３＋…＋λｊ）｝／（λ１＋λ２＋λ３＋…＋λｐ）
【００６８】
累積寄与率は、高いほど元の特徴ベクトルを表現できていることを示す。「ｊ」の値は、小さいほど、第１評価対象と第２評価対象との両方を少ない評価指標で表現できることを示す。評価指標抽出部１４０は、複数の入力映像及び対象区間を走査し、「ｊ」の数を評価することで対象区間を決定し、各λｊに相当する固有ベクトルを評価指標として設定する。
【００６９】
関連度評価部７５０は、第２対象区間設定部７２１で設定される第２対象区間内の各評価対象に対して固有ベクトルの成分含有率を算出し、評価指標固有ベクトルに応じた関連度を設定する。
【００７０】
以上のような構成の映像処理装置７００は、第１実施形態と同様に、入力される映像に対して評価対象の表示パラメータを更新して合成映像を表示する。映像処理装置７００は、関連度の評価に、累積寄与率の他に、相関分析、重相関分析などの分析手法を用いてもよい。関連度の評価は、評価対象の関連度を算出できる方法であればどのような方法を用いても良い。
【００７１】
（第３実施形態）
第１、第２実施形態では、抽出した評価対象の評価が、空間的な関係性に基づいて行われる。第３実施形態では、行動認識などの技術を用いて試合シーン全体のストーリーに応じて関連度の評価を行い、可視化する。シーン全体から関連度を評価することで、ダイジェストなどにも適用可能となる。第３実施形態の映像処理装置の構成は、図２に説明した第１実施形態の映像処理装置１００と同様である。
図９は、第３実施形態の説明図である。第３実施形態は、第１実施形態で行った可視化を次対象区間の評価指標に伝搬することで、時系列方向への影響を関連度として表示パラメータに反映する。
【００７２】
映像処理装置１００は、対象区間設定部１２１に対して時刻区間内のｍフレームを予め第１対象区間８１０として設定する。映像処理装置１００は、第１対象区間８１０に対して、第１実施形態で説明した手法により対象区間内に存在する複数の評価対象の関連度を評価し、表示パラメータを設定する。同時に第１対象区間８１０では、状態認識部８１１が、行動認識などのタグ認識技術を用いて対象区間の状態を識別する。本実施形態では第１対象区間８１０の状態は「パス」である。状態認識部８１１は、例えば画像特徴量及びオプティカルフローによる動き特徴量を併せて取得し、各対象区間の状態認識を行う。状態認識部８１１は、例えば「Simonyan, K., and Zisserman, A.: Two-stream convolutional networks for action recognition in videos. In Proc. NIPS, 2014」の技術により画像特徴量を取得する。なお、状態認識部８１１は、状態認識に使用した特徴量を、映像処理装置１００の特徴ベクトルとして使用してもよく、特徴抽出処理を共通化することで処理を簡略化することもできる。
【００７３】
遷移状態推定部８１２は、例えばベイジアンネットワークや、隠れマルコフモデルを用いて、状態認識部８１１に対する次状態の遷移確率を推定する。ベイジアンネットワークは、「電気学会全国大会講演論文集 巻：2011 号：3 ページ：52-53，"サッカーゲームにおける味方選手の行動決定アルゴリズム"」に開示される。第１対象区間８１０における状態が「パス」である場合、次の第２対象区間８２０においていずれかのプレイヤが「トラップ」状態になる遷移確率が高い。そのために遷移状態推定部８１２は、遷移確率の高い「トラップ」状態の特徴分布を状態認識部８１１から抽出する。遷移状態推定部８１２は、次の第２対象区間８２０では、前の第１対象区間８１０から遷移状態推定部８１２によって推定された状態（ここでは「トラップ」）に基づいて、「トラップ」状態を推定するのに有効な特徴ベクトルを有効指標として抽出する。
【００７４】
第２対象区間８２０では、状態認識部８２１は、この有効指標を用いて状態認識を行う。同時に、状態認識部８２１は、評価指標抽出部１４０の代わりに有効指標抽出部８４０を用いて有効指標を抽出する。有効指標抽出部８４０は、抽出された特徴ベクトルの中で「トラップ」状態の主成分分析を行う。これにより有効指標抽出部８４０は、寄与率の高い固有ベクトルを評価指標として、第２対象区間８２０での関連度の評価を時系列方向の状態遷移を用いて引き継ぐことで、長いシーン全体における特徴量を抽出する。その結果、関連度評価部１５０は、有効指標抽出部８４０の有効指標を評価指標として取得する。関連度評価部１５０は、前区間における関連度評価部１５０から推定した次区間での遷移状態に応じて関連度を評価することが可能となる。
【００７５】
本実施形態の映像処理装置１００は、状態ごとの寄与率の高い固有ベクトルを処理中に計算したが、これらの処理は予め状態ごとに算出しておいてもよい。また、状態毎の寄与率を処理中に計算することで、第３対象区間８３０などの後段での固有ベクトルを、現在の撮影環境に合わせたものにすることが可能となる。例えば、チームが変更になったことによるユニフォームの違いや、プレイヤの個体差などを評価指標に反映することができるようになる。
【００７６】
以上、第１〜第３実施形態で説明した技術は、本発明は、スポーツシーンのような複数の対象が登場するシーンにおいて、関連度に応じてそれぞれの対象物体を可視化して提供することを可能とする。
【００７７】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2019057836.tif 000003
【図２】
2019057836.tif 000004
【図３】
2019057836.tif 000005
【図４】
2019057836.tif 000006
【図５】
2019057836.tif 000007
【図６】
2019057836.tif 000008
【図７】
2019057836.tif 000009
【図８】
2019057836.tif 000010
【図９】
2019057836.tif 000011