(57)【特許請求の範囲】
【請求項１】
プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理方法であって、
前記映像データから、選手の動き量を算出し、
前記動き量の変化量が所定以上である区間を検出した後、
前記区間から前記スポーツの試合のチームの選手によって組まれる初期陣形を検出し、
前記初期陣形の検出結果に基づいて、前記試合におけるプレーの開始フレームを推定する、
映像処理方法。
【請求項２】
前記プロセッサは、
前記開始フレームに基づいて、入力した前記映像データから、前記プレーの終了フレームを推定する、
請求項１に記載の映像処理方法。
【請求項３】
前記プロセッサは、
前記映像データから、所定の範囲に映っている１以上の選手の動きの大きさの合計を前記動き量として算出する、
請求項２に記載の映像処理方法。
【請求項４】
プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理方法であって、
前記映像データから、選手の動き量を算出し、
前記動き量の変化量が所定以上である区間を検出した後、
前記区間から前記スポーツの試合のチームの選手によって組まれる初期陣形を検出し、
開始フレームにおける前記初期陣形の画像の位置を、前記試合におけるプレーの開始位置と推定する、
映像処理方法。
【請求項５】
前記プロセッサは、
前記開始位置に基づいて、入力した前記映像データから、前記プレーの終了フレームを推定する、
請求項４に記載の映像処理方法。
【請求項６】
前記プロセッサは、
推定した前記開始位置に基づいて、直前プレーの終了領域を推定し、
前記選手の動き量に基づいて、前記試合における前記直前プレーの終了位置を含むフレームを推定し、
推定した前記終了領域に、推定された前記終了位置が含まれることを条件として、当該終了位置に対応付けられた前記フレームを前記終了フレームと推定する、
請求項５に記載の映像処理方法。
【請求項７】
前記プロセッサは、
前記選手の位置の密集度および集中度のうち少なくとも１つを算出し、算出された前記密集度および集中度のうち少なくとも１つに基づいて、前記試合における直前プレーの終了位置を推定する、
請求項５に記載の映像処理方法。
【請求項８】
プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理装置であって、
前記プロセッサは、
前記映像データから、選手の動き量を算出し、
前記動き量の変化量が所定以上である区間を検出した後、
前記区間から前記スポーツの試合のチームの選手によって組まれる初期陣形を検出し、
前記初期陣形の検出結果に基づいて、前記試合におけるプレーの開始フレームを推定する、
映像処理装置。
【請求項９】
前記プロセッサは、
前記開始フレームに基づいて、入力した前記映像データから、前記プレーの終了フレームを推定する、
請求項８に記載の映像処理装置。
【請求項１０】
前記プロセッサは、
前記映像データから、所定の範囲に写っている１以上の選手の動きの大きさの合計を前記動き量として算出する、
請求項９に記載の映像処理装置。
【請求項１１】
プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理装置であって、
前記プロセッサは、
前記映像データから、選手の動き量を算出し、
前記動き量の変化量が所定以上である区間を検出した後、
前記区間から前記スポーツの試合のチームの選手によって組まれる初期陣形を検出し、
開始フレームにおける前記初期陣形の画像の位置を、前記試合におけるプレーの開始位置と推定する、
映像処理装置。
【請求項１２】
前記プロセッサは、
前記開始位置に基づいて、入力した前記映像データから、前記プレーの終了フレームを推定する、
請求項１１に記載の映像処理装置。
【請求項１３】
前記プロセッサは、
推定した前記開始位置に基づいて、直前プレーの終了領域を推定し、
前記選手の動き量に基づいて、前記試合における前記直前プレーの終了位置を含むフレームを推定し、
推定した前記終了領域に、推定された前記終了位置が含まれることを条件として、当該終了位置に対応付けられた前記フレームを前記終了フレームと推定する、
請求項１２に記載の映像処理装置。
【請求項１４】
前記プロセッサは、
前記選手の位置の密集度および集中度のうち少なくとも１つを算出し、算出された前記密集度および集中度のうち少なくとも１つに基づいて前記試合における直前プレーの終了位置を推定する、
請求項１２に記載の映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、スポーツの試合を撮影した映像の映像データに対する処理を行う映像処理方法、映像処理装置に関する。
【背景技術】
【０００２】
アメリカンフットボールやサッカーは、欧米で特に人気のある対戦型のスポーツである。アメリカンフットボールやサッカーの分野では、試合を撮影した映像を解析し、その解析結果を練習や次の試合にフィードバックしたり、ハイライト映像を作成したりするといったことが、盛んに行われている。【０００３】
ところが、実際の試合には、試合解析の観点において重要度が低い時間も多く、長時間の試合映像の中から必要な部分を検索するのに時間的コストが大きく掛かってしまう。【０００４】
アメリカンフットボールの試合の場合、「ダウン」と呼ばれる攻守の動作が行われる時間（以下「プレー」という）と、攻守の動作が行われない時間とが、繰り返される。すなわち、アメリカンフットボールの試合解析の観点において重要度が高いのは、プレーの区間である。したがって、アメリカンフットボールの試合を撮影した映像データから、プレーの区間の開始点および終了点のうち少なくとも１つを、効率良くかつ高精度に抽出できることが望まれる。【０００５】
近年、スポーツの試合を撮影した映像（以下「スポーツ映像」という）の解析に関する研究が、盛んに行われている。【０００６】
スポーツ映像の解析に関する技術としては、長時間の試合映像の中から重要な区間を抽出し、自動でハイライト映像を作成する映像要約手法や、陣形認識をすることにより、試合中の各チームの戦術や攻撃パターンを解析する戦術解析手法が挙げられる。また、このようなコンテンツを実現するために、各選手の他の選手による遮蔽や照明条件の変化等を考慮して、映像データから選手やボール等に関する情報を精度よく抽出する映像解析手法の研究も盛んに行われている。【０００７】
例えば、従来提案されている映像要約手法としては、映像の色（色相、彩度、明度など）の特徴およびカメラワークに基づいて、アメリカンフットボールの試合のプレーの開始点を抽出する手法（例えば、特許文献１参照）が挙げられる。また、ｔｗｉｔｔｅｒ（登録商標）の書き込み内容や、一定時間内の投稿量からスポーツ映像中の重要度を算出し、キーフレームを判断することにより、ハイライト映像を作成する手法（例えば、非特許文献１参照）が挙げられる。【０００８】
また、従来提案されている戦術解析手法としては、試合中に選手がどのような挙動をしたのか記録するプレー解析（例えば、非特許文献２参照）や、チーム全体の挙動を記録する戦術解析（例えば、非特許文献３参照）が挙げられる。また、ハイライトシーンの再現や、特定の選手の始点映像の作成等が挙げられる。更に、アメリカンフットボールの試合を撮影した映像から、初期陣形であるスクリメージラインを自動で検出して陣形種類を分類する陣形認識手法（例えば、非特許文献６参照）が挙げられる。【０００９】
そこで、これらの従来技術を用いて、アメリカンフットボールの試合映像から、試合の重要な部分を抽出することが考えられている。【００１０】
しかしながら、特許文献１に記載の手法は、映像の色環境やカメラワークによっては、精度が低下するおそれがある。また、非特許文献１に記載の手法は、ｔｗｉｔｔｅｒ（登録商標）における書き込みといったスポーツ映像以外のメディア情報を使用する必要があるため、地上波映像等の大規模放送映像にしか対応することはできない。また、非特許文献２、非特許文献３に記載の手法は、複数カメラ映像を用いたり、選手やボールの検出あるいは追跡を手動で行ったりする必要がある。更に、非特許文献４に記載の手法は、検出が比較的容易な初期陣形の情報のみを抽出しているため、戦術解析のための情報量としては不十分である。【００１１】
すなわち、従来技術を用いても、スポーツの試合を撮影した映像から、プレー区間を効率良くかつ高精度に抽出することは、困難である。【００１２】
本技術の目的は、スポーツの試合を撮影した映像から、プレー区間を効率良くかつ高精度に抽出することを可能にする、映像処理方法、映像処理装置を提供することである。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００３−１４３５４６号公報
【非特許文献】
【００１４】
【非特許文献１】Ｔ．Ｋｏｂａｙａｓｈｉ，  Ｈ．Ｍｕｒａｓｅ，  “Ｄｅｔｅｃｔｉｏｎ  ｏｆ  ｂｉａｓｅｄ  Ｂｒｏａｄｃａｓｔ  ＳｐｏｒｔｓＶｉｄｅｏ  Ｈｉｇｈｌｉｇｈｔｓ  ｂｙ  Ａｔｔｒｉｂｕｔｅ−Ｂａｓｅｄ  Ｔｗｅｅｔｓ  Ａｎａｌｙｓｉｓ，”  Ａｄｖａｎｃｅｓ  ｉｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｍｏｄｅｌｉｎｇ  Ｌｅｃｔｕｒｅ  Ｎｏｔｅｓ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ  Ｖｏｌｕｍｅ  ７７３３，  ２０１３
【非特許文献２】Ｂｅｈｊａｔ  Ｓｉｄｄｉｑｕｉｅ，  Ｙａｓｅｒ  Ｙａｃｏｏｂ，  ａｎｄ  Ｌａｒｒｙ  Ｓ．Ｄａｖｉｓ，  “Ｒｅｃｏｇｎｉｚｉｎｇ  Ｐｌａｙｓ  ｉｎ  Ａｍｅｒｉｃａｎ  Ｆｏｏｔｂａｌｌ  Ｖｉｄｅｏｓ”，  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ，  ２００９
【非特許文献３】Ｃｅｍ  Ｄｉｒｅｋｏｇｌｕ  ａｎｄ  Ｎｏｅｌ  Ｅ．Ｏ’Ｃｏｎｎｏｒ，  “Ｔｅａｍ  Ａｃｔｉｖｉｔｙ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｉｎＳｐｏｒｔｓ”，  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ２０１２  （ＥＣＣＶ２０１２），Ｖｏｌ．  ７５７８，  ｐｐ．  ６９−８３，  ２０１２
【非特許文献４】Ａｔｍｏｓｕｋａｒｔｏ  Ｉ．，  Ｇｈａｎｅｍ  Ｂ．，  Ａｈｕｊａ  Ｓ．，  “Ａｕｔｏｍａｔｉｃ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｏｆ  Ｏｆｆｅｎｓｉｖｅ  Ｔｅａｍ  Ｆｏｒｍａｔｉｏｎ  ｉｎ  Ａｍｅｒｉｃａｎ  Ｆｏｏｔｂａｌｌ  Ｐｌａｙｓ，”  ＣＶＰＲＷ２０１３，  ｐ．９９１  −  ９９８，２０１３
【発明の概要】
【００１５】
本技術は、プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理方法、映像処理装置である。プロセッサは、映像データから、選手の動き量を算出し、動き量の変化量が所定以上である区間を検出した後、区間からスポーツの試合のチームの選手によって組まれる初期陣形を検出し、初期陣形の検出結果に基づいて、試合におけるプレーの開始フレームを推定する。
【００１６】
本技術によれば、スポーツの試合を撮影した映像から、プレー区間を効率良くかつ高精度に抽出することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本技術の一実施の形態において用いられる映像の一例を示す説明図である。
【図２】図２は、本実施の形態が対象とするアメリカンフットボールのフィールドの構成の一例を示す平面図である。
【図３Ａ】図３Ａは、本実施の形態が対象とするプレーの初期陣形の撮影した画像の一例を示す説明図である。
【図３Ｂ】図３Ｂは、本実施の形態が対象とするプレーの初期陣形の撮影した画像の一例を示す説明図である。
【図３Ｃ】図３Ｃは、本実施の形態が対象とするプレーの初期陣形の撮影した画像の一例を示す説明図である。
【図４】図４は、本実施の形態に係る映像処理装置の構成の一例を示すブロック図である。
【図５】図５は、本実施の形態におけるオプティカルフロー強度の一例を示す説明図である。
【図６】図６は、本実施の形態における総オプティカルフロー強度の時間遷移の一例を示す説明図である。
【図７】図７は、本実施の形態における識別器の例を説明するための説明図である。
【図８】図８は、本実施の形態におけるプレー開始位置の推定の様子の一例を示す説明図である。
【図９】図９は、本実施の形態における選手位置の検出結果の一例を示す説明図である。
【図１０】図１０は、本実施の形態における密集度の算出過程の様子の一例を示す説明図である。
【図１１】図１１は、本実施の形態における密集度の分布の一例を示す説明図である。
【図１２Ａ】図１２Ａは、本実施の形態における集中度の計算手法の一例を説明するための説明図である。
【図１２Ｂ】図１２Ｂは、本実施の形態における集中度の計算手法の一例を説明するための説明図である。
【図１３】図１３は、本実施の形態における量子化したオプティカルフローの一例を示す図である。
【図１４】図１４は、本実施の形態における集中位置の一例を示す説明図である。
【図１５】図１５は、本実施の形態に係る映像処理装置の動作の一例を示すフローチャートである。
【図１６】図１６は、本実施の形態におけるプレー開始推定処理の一例を示すフローチャートである。
【図１７】図１７は、本実施の形態におけるプレー終了推定処理の一例を示すフローチャートである。
【図１８】図１８は、本実施の形態における確認操作受付画面の一例を示す平面図である。
【図１９】図１９は、本実施の形態における確認操作受付処理の一例を示すフローチャートである。
【図２０】図２０は、本実施の形態に係る映像処理装置が適用されるシステムの一例を示す説明図である。
【図２１】図２１は、本実施の形態に係る映像処理装置における動画縮約の精度検証結果を示す図である。
【図２２】図２２は、本実施の形態に係る映像処理装置におけるプレー開始位置の精度検証結果を示す図である。
【図２３】図２３は、本実施の形態に係る映像処理装置におけるプレー終了位置の精度検証結果を示す図である。
【発明を実施するための形態】
【００１８】
以下、本技術の一実施の形態について、図面を参照して詳細に説明する。本実施の形態ではスポーツ映像の一例として、アメリカンフットボールの試合を撮影した映像に対して映像処理を行う例を説明する。
【００１９】
＜アメリカンフットボールのルール＞
まず、アメリカンフットボールの試合のルールのうち、プレーの開始および終了に関する部分の概要について説明する。
【００２０】
図１は、アメリカンフットボールの試合を撮影した映像の一例を示す説明図である。図２は、アメリカンフットボールのフィールドの構成の一例を示す平面図である。図３は、プレーの初期陣形の例を示す説明図である。
【００２１】
アメリカンフットボールは、攻撃側と守備側に分かれて行う、陣取り合戦のような競技である。アメリカンフットボールでは、サイドライン１２１、１２２とゴールライン１２３、１２４とに囲まれた範囲（以下「フィールド」という）１２０において、４度の攻撃機会で１０ヤード進行（ゲイン）することができなければ、攻撃権が相手チームに移る。このため、１度の攻撃で何ヤードゲインしたかといった情報は、試合解析においては非常である。
【００２２】
アメリカンフットボールでは、ルールの特性上、プレーを明確に区切ることができる。
【００２３】
１つのプレーの流れは、以下の通りである。
【００２４】
まず、双方のチームの選手が、スクリメージラインと呼ばれる初期陣形１３１〜１３３（図３Ａ、図３Ｂ、図３Ｃ参照）を組む。そして、初期陣形の中心からボールが投げられることにより、プレーが開始される。初期陣形が組まれているとき、ほとんどの選手が一旦静止する。そして、プレー開始と同時に、全選手が一斉に動き始める。すなわち、プレー開始の際、ほとんどの選手が、一旦静止した状態から一斉に動き出す。
【００２５】
そして、ボールあるいはボール保持者がサイドラインあるいはゴールラインの外に出たり、エンドゾーンに入ったり、ボール保持者が倒されたりすると、プレーが終了する。プレーが終了するとき、通常、複数選手がボールの位置（以下「プレー終了位置」という）に向かって集まっており、選手が密集した状態となっている。また、プレー終了の際、ほとんどの選手が、動作速度を落とし、ダッシュやフェイントといった急な動き変化を伴う行動をしなくなる。
【００２６】
プレーが終了した場合、次のプレーは、プレー終了位置から開始される。但し、２本のインバウンズライン１２５、１２６（図２参照）の外側でプレーが終了した場合、次のプレーは、プレー終了位置により近い方のインバウンズライン１２５、１２６上から開始される。すなわち、各プレーが開始される位置、つまり、初期陣形が組まれる位置（以下「プレー開始位置」という）は、１つ前のプレーのプレー終了位置と相関を有している。
【００２７】
このように、アメリカンフットボールは、ルールの性質上、プレー開始時に、ほとんどの選手の動き（フィールド全体の動き）が急激に増大するという特徴、および、初期陣形が組まれ、プレー終了時に、ほとんどの選手の動きが急激に減少するという特徴を有する。各プレーのプレー開始位置が、１つ前のプレーのプレー終了位置と相関を有するという特徴を有する。
【００２８】
そこで、以下に説明する本実施の形態では、これらの特徴を映像１１０の映像データから抽出することにより、各プレーの区間を推定する。より具体的には、映像データを構成するフレームから、プレー毎に、プレーの開始点に対応するフレーム（以下「プレー開始フレーム」という）と、プレーの終了点に対応するフレーム（以下「プレー開始フレーム」という）とを推定する。
【００２９】
なお、初期陣形１３１〜１３３の形状は、チームが異なる場合でも、変動性が少ない。一方で、映像に映し出される初期陣形の画像は、映像１１０を撮影するカメラの位置と、初期陣形が組まれる位置との関係に応じて異なったものとなる。
【００３０】
例えば、図３Ａは、フィールド中央に近い位置に配置されたカメラから、フィールドの左側で組まれた初期陣形１３１を撮影した画像の一例を示す説明図である。図３Ｂは、同じカメラから、フィールドの中央で組まれた初期陣形１３２を撮影した画像の一例を示す説明図である。図３Ｃは、同じカメラから、フィールドの右側で組まれた初期陣形１３３を撮影した画像の一例を示す説明図である。
【００３１】
したがって、以下に説明する本実施の形態では、かかる初期陣形の特徴、または、プレー開始時点周辺の選手動きの変化を更に利用して、プレー開始フレームの推定を行う。
【００３２】
＜映像処理装置の構成＞
次に、本実施の形態に係るアメリカンフットボール映像処理方法を用いた映像処理装置の構成について説明する。
【００３３】
図４は、本実施の形態に係る映像処理装置の構成の一例を示すブロック図である。
【００３４】
図４において、映像処理装置２００は、映像入力部２１０、プレー開始推定部２２０、プレー終了推定部２３０、確認操作受付部２４０、および推定結果処理部２５０を有する。
【００３５】
映像入力部２１０は、アメリカンフットボールの試合（以下「試合」という）を撮影した映像の映像データ（以下「映像」という）を入力する。例えば、映像入力部２１０は、試合会場の、フィールド全体を横から撮影するように設置されたビデオカメラから、通信ネットワークを介して、映像を受信する。そして、映像入力部２１０は、入力した映像を、プレー開始推定部２２０へ出力する。
【００３６】
なお、本実施の形態において、映像は、図１に示すように、フィールド全体を撮影した映像であるものとする。また、映像は、例えば、６０フレーム毎秒の時系列画像データである。
【００３７】
プレー開始推定部２２０は、入力された映像に基づいて、試合におけるプレー開始位置を推定する。
【００３８】
例えば、プレー開始推定部２２０は、フレーム毎に、フレームの各所の動き量を算出する。また、プレー開始推定部２２０は、映像から初期陣形を検出し、動き量と初期陣形の検出結果とに基づいて、各プレーのプレー開始フレームおよびプレー開始位置を推定する。
【００３９】
ここで、動き量とは、映像内の所定の領域における、当該領域の動きの大きさの度合いおよび方向のうち少なくとも１つを示す情報である。動き量の詳細については、後述する。
【００４０】
そして、プレー開始推定部２２０は、映像と、各フレームの各領域の動き量を示す動き量情報と、推定されたプレー開始フレームおよびプレー開始位置を示す開始フレーム情報とを、プレー終了推定部２３０へ出力する。
【００４１】
なお、上記プレー開始推定部２２０の構成は一例であり、プレー開始位置の推定は上述した例に限定されない。
【００４２】
ここで、プレー開始推定部２２０が、プレー開始時点周辺の選手動きの変化を利用して、プレー開始フレームおよびプレー開始位置を推定する一例について説明する。例えば、プレー開始推定部２２０は、前後のフレームの間における輝度の変化量（差分）を利用して、プレー開始フレームおよびプレー開始位置を推定する。具体的には、プレー開始推定部２２０は、例えば、連続する２つのフレームの間で、対応する画素の間の輝度を比較することにより、各画素の輝度の変化、および、全画素における輝度の変化量の総和を算出する。
【００４３】
輝度の変化量が少ないということは、映像内における選手の動きが少ないということを示す、と推定される。そして、プレーが開始される直前は、選手の動きが少ない。したがって、例えば、プレー開始推定部２２０は、全画素における輝度の変化量が少ないフレームを基準として、全画素における輝度の変化量が少ないフレームおよび／またはその前後数フレームを、プレー開始フレームであると推定する。
【００４４】
また、輝度の変化量が大きいということは、映像内における選手の動きが多い（大きい）ということを示す、と推定される。そして、プレーが開始された直後は、画像内の一部領域における選手の動きが多い（大きい）。したがって、例えば、プレー開始推定部２２０は、プレー開始フレームの後において輝度の変化量が大きい領域を、プレー開始位置と推定する。
【００４５】
この場合、プレー開始推定部２２０は、映像と、推定されたプレー開始フレームおよびプレー開始位置を示す開始フレーム情報とを、プレー終了推定部２３０へ出力する。なお、選手の動きの変化を推定する要素としては、画素の輝度ではなく、明度やＲＧＢの値など、画素（画素とはピクセルまたはピクセルの集合を含む）の他の特徴量を用いてもよい。
【００４６】
プレー終了推定部２３０は、開始フレーム情報に基づいて、入力された映像から、試合における当該プレーの１つ前のプレー（以下「直前プレー」という）の終了フレームを、プレー毎に推定する。
【００４７】
例えば、プレー終了推定部２３０は、入力された開始フレーム情報が示すプレー開始位置に基づいて、直前プレーの終了位置である可能性が高い領域（以下「プレー終了領域」という）を推定する。また、プレー終了推定部２３０は、映像から各フレームにおける選手の位置（以下「選手位置」という）を抽出し、抽出された選手位置に基づいて、フレーム毎に、選手位置の密集度を算出する。更に、プレー終了推定部２３０は、入力された動き量情報（または、プレー開始推定部２２０が新たに取得した動き量情報）が示す各フレームの各所の動き量に基づいて、集中度を算出する。更に、プレー終了推定部２３０は、算出された密集度および集中度に基づいて、プレー終了位置を推定する。
【００４８】
ここで、密集度（選手密集度）とは、フレーム内における選手位置の密集の度合いを示す情報である。また、集中度（進行先集中度）とは、選手の動きの方向の集まり度合いを示す情報であり、例えば、フィールドに等間隔で設定されたグリッドのそれぞれについて算出される値である。密集度および集中度の詳細については、後述する。
【００４９】
更に、プレー終了推定部２３０は、入力された動き量情報が示す動き量と、推定されたプレー終了位置が推定されたプレー終了領域に含まれるか否かと、に基づいて、各プレーのプレー終了フレームを推定する。
【００５０】
そして、プレー終了推定部２３０は、入力された映像および開始フレーム情報と、推定されたプレー終了フレームおよびプレー終了位置を示す終了フレーム情報とを、確認操作受付部２４０へ出力する。
【００５１】
なお、プレー開始推定部２２０が推定したプレー開始フレームは、以下、「開始フレーム候補」という。また、プレー終了推定部２３０が推定したプレー終了フレームは、以下、「終了フレーム候補」という。
【００５２】
確認操作受付部２４０は、入力された映像、開始フレーム情報、および終了フレーム情報に基づいて、確認操作受付画面を生成して表示する。
【００５３】
ここで、確認操作受付画面とは、プレー毎に、当該プレーについて推定された各開始フレーム候補と、対応するプレーの１つ前のプレーである直前プレーについて推定された１つまたは複数の終了フレーム候補とを、対応付けて表示する画面である。確認操作受付画面の詳細については、後述する。
【００５４】
そして、確認操作受付部２４０は、表示された開始フレーム候補や終了フレーム候補に対する決定操作を受け付け、決定操作が行われた開始フレーム候補を、プレー開始フレームと推定し、決定操作が行われた終了フレーム候補を、プレー終了フレームと推定する。
【００５５】
例えば、確認操作受付部２４０は、映像処理装置２００に備えられたタッチパネル付き液晶ディスプレイ等のユーザインタフェース（図示せず）を介して、確認操作受付画面を表示し、表示した確認操作受付画面に対するユーザからの操作を受け付ける。
【００５６】
そして、確認操作受付部２４０は、映像と、推定されたプレー開始フレームおよびプレー終了フレームを示すプレー区間情報とを、推定結果処理部２５０へ出力する。
【００５７】
推定結果処理部２５０は、入力されたプレー区間情報が示すプレー開始フレームおよびプレー終了フレームに基づいて、映像から、プレー区間の映像部分を抽出し、抽出結果を、例えば上述のディスプレイに表示する。
【００５８】
なお、映像処理装置２００は、図示しないが、例えば、プロセッサ（ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ））、制御プログラムを格納したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の作業用メモリ、および通信回路を有する。この場合、上記した各部の機能は、プロセッサ（ＣＰＵ）が制御プログラムを実行することにより実現される。
【００５９】
このような構成を有する映像処理装置２００は、プレーの開始時および終了時の選手の動きや位置の特徴に着目して、プレー区間を推定することができる。
【００６０】
ここで、上述の動き量、初期陣形検出、密集度、および集中度の詳細について、順に説明する。
【００６１】
＜動き量について＞
本実施の形態においては、動き量として、高密度オプティカルフロー（ｄｅｎｓｅ  ｏｐｔｉｃａｌ  ｆｌｏｗ）のオプティカルフロー強度を採用する。すなわち、動き量は、各所における選手の動きの、方向毎の大きさを示す値である。
【００６２】
図５は、映像から取得されるオプティカルフロー強度（動き量）の一例を示す説明図である。図５において、色の濃い部分３００は、動き量の値が高い部分を示す。また、図６は、１つのフレーム内でのオプティカルフロー強度の総量（以下「総オプティカルフロー強度」という）の、時間遷移の一例を示す説明図である。図６において、縦軸は総オプティカルフロー強度を示し、横軸は時間を示す。
【００６３】
プレー開始推定部２２０は、上述のユーザインタフェースに映像を表示し、映像中におけるフィールド領域の指定を、ユーザからタッチ操作により受け付ける。そして、プレー開始推定部２２０は、指定された領域を、例えば、２００×２００の小領域（以下フィールドグリッドと記す）に分割する。そして、プレー開始推定部２２０は、フィールドグリッド毎に、Ｆａｒｎｅｂａｃｋ法（例えば、Ｇ．  Ｆａｒｎｅｂａｃｋ，  “Ｔｗｏ−Ｆｒａｍｅ  Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ  Ｂａｓｅｄ  ｏｎ  Ｐｏｌｙｎｏｍｉａｌ  Ｅｘｐａｎｓｉｏｎ”，  Ｉｎ  Ｐｒｏｃ．  Ｓｃａｎｄｉｎａｖｉａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ａｎａｌｙｓｉｓ  ２００３（ＳＣＩＡ２００３），  ２００３参照）を用いて、高密度オプティカルフローのオプティカルフロー強度を取得する。なお、プレー開始推定部２２０は、ノイズ除去のために、前処理として、映像にバイラテラルフィルタをかけることが望ましい。
【００６４】
なお、ここで、オプティカルフロー強度の算出手法は上述の手法に限定されない。例えば、オプティカルフロー強度は、Ｌｕｃａｓ−Ｋａｎａｄｅ法を用いて算出されてもよい（「知識の森  ２群−２編−４章、４−１−１」、電子情報通信学会、２０１３、ｐ．２−７参照）。
【００６５】
総オプティカルフロー強度は、映像に映し出された全選手の動きの大きさを示すことになる。また、上述の通り、アメリカンフットボールの試合では、プレー開始時に、ほとんどの選手の動きが急激に増大し、プレー終了時に、ほとんどの選手の動きが急激に減少する。したがって、図６に示すように、総オプティカルフロー強度３０１は、プレー開始タイミング３０２の直後に急激に増大し、プレー終了タイミング３０３の直前に急激に減少する。
【００６６】
すなわち、動き量から算出される総オプティカルフロー強度３０１は、プレー開始タイミングおよびプレー終了タイミングで特徴的に変化する値である。
【００６７】
＜初期陣形検出について＞
本実施の形態においては、初期陣形の検出手法として、識別器を用いた手法を採用する。
【００６８】
プレー開始推定部２２０は、映像から初期陣形を検出するための識別器（検出器）を、予め格納している。この識別器は、例えば、様々な照明条件下で様々な初期陣形を撮影した多数の画像から、画像のＨＯＧ特徴量（例えば、Ｎ．  Ｄａｌａｌ  ａｎｄ  Ｂ．  Ｔｒｉｇｓ，  “Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  ｏｒｉｅｎｔｅｄ  ｇｒａｄｉｅｎｔｓ  ｆｏｒ  ｈｕｍａｎ  ｄｅｔｅｃｔｉｏｎ”，  Ｉｎ  ＣＶＰＲ２００５，  ｐｐ．８８６−８９３  ｖｏｌ．１，  ２００５参照）について、Ａｄａｂｏｏｓｔ（例えば、Ｐ．Ｖｉｏｌａ  ａｎｄ  Ｍ．Ｊｏｎｅｓ，  “Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ”，  Ｉｎ  ＣＶＰＲ２００１，  Ｉ−５１１−Ｉ−５１８  ｖｏｌ．１，  ２００１参照）を用いて学習を行うことにより、作成されたものである。そして、プレー開始推定部２２０は、かかる識別器を用いて、映像から、例えば、初期陣形およびその位置を検出する。
【００６９】
図７は、初期陣形を検出するための識別器の例を説明するための説明図である。
【００７０】
上述の通り、初期陣形の映像上の形状は、変動性が少ないが、初期陣形が組まれる位置に応じて変化する。
【００７１】
そこで、図７に示すように、プレー開始推定部２２０は、例えば、フィールド１２０を、両ゴールライン１２３、１２４から３５ヤードのインバウンズライン１２５、１２６を境界として、左エリア３１１、中央エリア３１２、右エリア３１３の３つのエリアに分けて扱う。
【００７２】
そして、プレー開始推定部２２０は、左エリア３１１に対しては、左エリア３１１で組まれた初期陣形から生成された識別器Ｌ３１４を用いる。同様に、プレー開始推定部２２０は、中央エリア３１２に対しては、中央エリア３１２で組まれた初期陣形から生成された識別器Ｃ３１５を、右エリア３１３に対しては、右エリア３１３で組まれた初期陣形から生成された識別器Ｒ３１６を、それぞれ用いる。
【００７３】
すなわち、プレー開始推定部２２０は、エリア毎に識別器を変えて、全画面探索を実行する。
【００７４】
図８は、プレー開始位置の推定の様子の一例を示す説明図である。
【００７５】
図８に示すように、プレー開始推定部２２０は、推定器を用いて、映像３１７から、初期陣形の検出結果として、例えば、複数の領域３１８を得る。そして、プレー開始推定部２２０は、推定器が検出した複数の領域３１８の重心の位置３１９を、プレー開始位置と推定する。
【００７６】
なお、プレー開始推定部２２０は、映像上におけるプレー開始位置を、フィールド１２０（俯瞰画像）に射影変換し、変換後の位置（例えば、フィールドグリッド）を、プレー開始位置としてもよい。かかる射影変換は、例えば、所定の射影変換行列を用いて行われる。かかる射影変換行列は、映像上でフィールド１２０に対して１０ヤードごとに手動で与えられた座標に基づいて、予め算出されたものである。
【００７７】
初期陣形は、上述の通り、プレー開始時に組まれる。したがって、初期陣形が検出されるフレームは、プレー開始時のフレームである可能性が高いフレームである。
【００７８】
＜密集度について＞
本実施の形態においては、密集度として、各選手の画像領域の重なり度合いを採用する。
【００７９】
図９は、映像からの選手位置の検出結果の一例を示す説明図である。また、図１０は、密集度の算出過程の様子の一例を示す説明図である。
【００８０】
プレー終了推定部２３０は、例えば、様々な照明条件下で様々な姿勢の選手を撮影した多数の画像から、画像のＨＯＧ特徴量についてＡｄａｂｏｏｓｔを用いて学習を行うことにより生成された識別器（検出器）を、予め格納している。
【００８１】
図９に示すように、プレー終了推定部２３０は、かかる識別器を用いて、映像３２１から、例えば、各選手が占める画像領域を示す矩形領域３２２を、各選手の選手位置として検出する。以下、矩形領域３２２は、「選手矩形」という。
【００８２】
そして、プレー終了推定部２３０は、フレーム毎に、検出された選手位置から、密集度を算出する。
【００８３】
具体的には、例えば、プレー終了推定部２３０は、図１０に示すように、フィールドグリッド３３１について密集度を算出する。この場合、プレー終了推定部２３０は、矩形領域３３２、つまり、フィールドグリッド３３１周辺の２５のフィールドグリッドの領域と、選手矩形３２２とが重複する領域３３３（図中、斜線ハッチングで示す）を求める。そして、プレー終了推定部２３０は、フィールドグリッド３３１についての密集度Ｌｄｅｎｓｉｔｙを、例えば、以下の式（１）を用いて算出する。ここで、Ｒは、矩形領域３３２の面積であり、Ｒｐは、矩形領域３３２と選手矩形３２２とが重複する領域３３３の面積である。
【００８４】
【数１】
0006488295.tif 000002
【００８５】
プレー終了推定部２３０は、映像内の全てのフィールドグリッドについて密集度Ｌｄｅｎｓｉｔｙを算出すると、密集度Ｌｄｅｎｓｉｔｙが最大値となる位置、あるいは、密集度Ｌｄｅｎｓｉｔｙの分布の重心位置を、密集位置に決定する。上述の通り、密集位置は、プレー終了位置である可能性が高い位置である。
【００８６】
図１１は、密集度の分布の一例を示す説明図である。
【００８７】
図１１に示すように、密集度は、複数の選手が集まっている領域ほど高くなる。なお、プレー終了推定部２３０は、図１１のような、映像を密集度に応じて色や濃度等を変化させた、密集度表示画像を生成し、ユーザインタフェースに表示させてもよい。このような画像が表示されることにより、ユーザは、密集度の高い位置あるいは低い位置を、視覚的に確認することができる。
【００８８】
＜集中度について＞
本実施の形態においては、集中度として、量子化されたオプティカルフロー強度のそれぞれを、オプティカルフローの方向に沿って伝播させたときの、フィールドグリッド毎の総和を採用する。
【００８９】
図１２Ａ、図１２Ｂは、集中度の計算手法の一例を説明するための説明図である。
【００９０】
図１２Ａに示すように、位置３３５に、左下４５度の方向のオプティカルフローがあったとする。この場合、プレー終了推定部２３０は、位置３３５から左下４５度方向にある複数のフィールドグリッド（図中、斜めハッチングで示す）のそれぞれの集中度を、たとえば１増加させる。
【００９１】
プレー終了推定部２３０は、同様の処理を、他の全ての位置のオプティカルフローについて行う。その結果、例えば、図１２Ｂに示すように、複数の位置３３６、３３７、３３８のオプティカルフローの方向が重なるフィールドグリット３３９では、集中度が増加する。
【００９２】
このようにして、全ての位置のオプティカルフローについて処理を行い、各フィールドグリッドの集中度を算出する。集中度が最大になるフィールドグリッドは、より多くの選手の動きが向かっている位置と推定される。
【００９３】
なお、ボールにより近い選手ほど、ボールに積極的に向かう傾向が高い。したがって、プレー終了推定部２３０は、各位置から集中度の増加の対象となっているフィールドグリッドまでの距離に応じた重み付けを、行ってもよい。
【００９４】
また、あるフィールドグリッドから遠ざかる方向に移動する選手が多い場合、かかるフィールドグリッドにボールが位置する可能性はより低い。したがって、プレー終了推定部２３０は、オプティカルフローの方向と反対側の方向の先に位置するフィールドグリッドについては、負の値を付与するようにしてもよい。これにより、精度を更に向上させることができる。
【００９５】
具体的には、プレー終了推定部２３０は、例えば、以下の手順により、各フィールドグリッドの集中度を算出する。
【００９６】
まず、プレー終了推定部２３０は、各フィールドグリッドのオプティカルフロー強度を８方向に量子化する。
【００９７】
図１３は、量子化したオプティカルフローの一例を示す図である。
【００９８】
図１３に示すように、例えば、各選手の動きは、各選手が映し出されている領域の各部において、８方向に量子化されて定義される。
【００９９】
そして、プレー終了推定部２３０は、各オプティカルフローの方向の延長線上にある全てのフィールドグリッドの集中度を、距離に反比例する値により上昇させる。
【０１００】
更に、プレー終了推定部２３０は、量子化された方向とは逆の方向の延長線上にある全てのフィールドグリッドの集中度を、距離に比例する値により減少させる。
【０１０１】
プレー終了推定部２３０は、例えば、以下の式（２）〜（４）を用いて、フィールドグリッド毎に、集中度Ｌｄｉｒｅｃｔｉｏｎを算出する。式（２）におけるＬｄｉｒｅｃｔｉｏｎ＿ｄｉｒｅｃｔはオプティカルフローの方向に対する集中度を表す。式（３）におけるＬｄｉｒｅｃｔｉｏｎ＿ｏｐｐｐｏｓｉｔｅはオプティカルフローの逆の方向に対する集中度を表す。ここで、ｇｒｉｄは、フィールド内、あるいは、映像内の全てのフィールドグリッドを示し、ｄｉｓ（ｇｒｉｄ）は、集中度Ｌｄｉｒｅｃｔｉｏｎの算出の対象となっているフィールドグリッドから、ｇｒｉｄが示すフィールドグリッドまでの距離を示す。なお、式（４）において、ｗ１はＬｄｉｒｅｃｔｉｏｎ＿ｄｉｒｅｃｔに対する重みを表し、ｗ２はＬｄｉｒｅｃｔｉｏｎ＿ｏｐｐｐｏｓｉｔｅに対する重みを表す。
【０１０２】
【数２】
0006488295.tif 000003
【０１０３】
【数３】
0006488295.tif 000004
【０１０４】
【数４】
0006488295.tif 000005
【０１０５】
プレー終了推定部２３０は、フィールド内、あるいは、映像内の全てのフィールドグリッドについて集中度Ｌｄｉｒｅｃｔｉｏｎを算出すると、集中度Ｌｄｉｒｅｃｔｉｏｎが最大値となる位置、あるいは、集中度Ｌｄｉｒｅｃｔｉｏｎの分布の重心位置を、集中位置に決定する。
【０１０６】
図１４は、集中位置の一例を示す説明図である。
【０１０７】
図１４に示すように、映像３４１のフィールド領域内のいずれかの位置に、集中位置３４２として決定される。上述の通り、集中位置３４２も、密集位置と同様に、プレー終了位置である可能性が高い位置である。
【０１０８】
＜映像処理装置の動作＞
次に、映像処理装置２００の動作について説明する。
【０１０９】
なお、上述したように以下の各部の処理は映像処理装置の有するプロセッサ（ＣＰＵ）が制御プログラムを実行することで実現される。
【０１１０】
図１５は、映像処理装置２００の動作の一例を示すフローチャートである。
【０１１１】
ステップＳ１０００において、映像入力部２１０は、アメリカンフットボールの試合を撮影した映像を入力する。
【０１１２】
ステップＳ２０００において、プレー開始推定部２２０は、プレー開始フレームおよびプレー開始位置を推定する、プレー開始推定処理を行う。
【０１１３】
ステップＳ３０００において、プレー終了推定部２３０は、プレー終了フレームおよびプレー終了位置を推定する、プレー終了推定処理を行う。
【０１１４】
ステップＳ４０００において、確認操作受付部２４０は、ユーザから、ステップＳ２０００、Ｓ３０００の推定結果に対する確認操作を受け付ける、確認操作受付処理を行う。
【０１１５】
ステップＳ５０００において、推定結果処理部２５０は、ステップＳ４０００の確認操作結果であって、推定されたプレー開始フレームおよびプレー終了フレームを示す、プレー区間情報を出力する。
【０１１６】
以下に、プレー開始推定処理、プレー終了推定処理、および確認操作受付処理の詳細について、説明する。
【０１１７】
＜プレー開始推定処理＞
図１６は、プレー開始推定処理の一例を示すフローチャートである。
【０１１８】
ステップＳ２０１０において、プレー開始推定部２２０は、映像の各フレームの各グリッドについて、動き量（オプティカルフロー強度）を算出し、算出結果をメモリに記憶させる。
【０１１９】
ステップＳ２０２０において、プレー開始推定部２２０は、例えば映像の先頭から順に選択していく形で、映像からフレームを１つ選択する。
【０１２０】
ステップＳ２０３０において、プレー開始推定部２２０は、選択中のフレームの直前の所定区間について、動き量を取得する。ここでの所定区間とは、例えば、選択中のフレームから１２０フレーム分遡ったフレームから、選択中のフレームまでの区間である。
【０１２１】
上述の通り、プレー開始時には、ほとんどの選手の動きが急激に増大するため、総オプティカルフロー強度も急激に増大する（図６参照）。
【０１２２】
そこで、ステップＳ２０４０において、プレー開始推定部２２０は、まず、所定区間の全てのフレームについて、フレーム毎に、フレーム内のオプティカルフロー強度を全て合算して、総オプティカルフロー強度を算出する。そして、プレー開始推定部２２０は、算出された各フレームの総オプティカルフロー強度を用いて、動き量が急激に増大したことに対応する、予め定められた開始動き条件が満たされるか否かを判断する。
【０１２３】
開始動き条件とは、具体的には、例えば、以下の式（５）〜（７）の全てが満たされるという条件である。
【０１２４】
【数５】
0006488295.tif 000006
【０１２５】
【数６】
0006488295.tif 000007
【０１２６】
【数７】
0006488295.tif 000008
【０１２７】
ここで、ｏｐｔｉｃａｌ［］は、総オプティカルフロー強度を示す。Ｌ、Ｍ、およびＮは、それぞれ、実験等により予め定められた定数である。Ｌは、２以上の整数であり、例えば１２０である。Ｍは、例えば２である。Ｎは、例えば２０である。例えば、ｏｐｔｉｃａｌ［０］は、選択中のフレームの総オプティカルフロー強度を示し、ｏｐｔｉｃａｌ［１２０］は、選択中のフレームから１２０フレーム前のフレームについての総オプティカルフロー強度を示す。また、ｏｐｔｉｃａｌＭａｘは、映像（つまり、解析に用いる１試合分の動画）のうち、最初の５分間の部分を用いて算出された、総オプティカルフロー強度の最大値である。プレー開始推定部２２０は、例えば、最初にステップＳ２０４０の処理を行う際に、ｏｐｔｉｃａｌＭａｘを算出し、メモリに記憶させる。
【０１２８】
なお、開始動き条件は、上記した内容に限定されない。例えば、総オプティカルフロー強度の変化量の移動平均が所定の値以上であること、総オプティカルフロー強度の変化量の変化の割合が所定の値以上であること等を、開始動き条件として採用してもよい。
【０１２９】
また、開始動き条件は、前の直近のプレー開始フレームからの経過時間が所定の閾値以上であること等の他の条件を、更に含んでいてもよい。
【０１３０】
プレー開始推定部２２０は、開始動き条件が満たされない場合（Ｓ２０４０：ＮＯ）、処理をステップＳ２０２０へ戻し、未処理のフレーム、つまり、ステップＳ２０２０でまだ選択されていないフレームに対する処理に移る。また、プレー開始推定部２２０は、開始動き条件が満たされる場合（Ｓ２０４０：ＹＥＳ）、処理をステップＳ２０５０へ進める。
【０１３１】
ステップＳ２０５０において、プレー開始推定部２２０は、所定区間の開始フレームについて、初期陣形検出を行う。
【０１３２】
ステップＳ２０６０において、プレー開始推定部２２０は、フレームに初期陣形が映し出されていることに対応する、予め定められた開始画像条件が満たされるか否かを判断する。ここで、開始画像条件とは、例えば、初期陣形が、所定値以上の確からしさで、映像から検出されたという条件である。
【０１３３】
プレー開始推定部２２０は、開始画像条件が満たされていない場合（Ｓ２０６０：ＮＯ）、処理をステップＳ２０２０へ戻し、未処理のフレームに対する処理に移る。また、プレー開始推定部２２０は、開始画像条件が満たされている場合（Ｓ２０６０：ＹＥＳ）、処理をステップＳ２０７０へ進める。
【０１３４】
かかる判断処理により、選手交代時のフレーム等、プレー開始時以外で密集度が高くなっているフレームに対する誤検出を防ぐことができる。
【０１３５】
ステップＳ２０７０において、プレー開始推定部２２０は、選択中のフレームを基準にして、開始フレーム候補を設定する。具体的には、プレー開始推定部２２０は、例えば、所定時間の開始フレームを、開始フレーム候補に設定する。この開始フレーム候補はプレー開始フレームの候補となるフレームの群である。
【０１３６】
ステップＳ２０８０において、プレー開始推定部２２０は、プレー開始位置を推定する。具体的には、プレー開始推定部２２０は、例えば、検出された初期陣形の位置を、プレー開始位置に設定する。
【０１３７】
そして、ステップＳ２０９０において、プレー開始推定部２２０は、未処理のフレームが映像に存在するか否かを判定する。プレー開始推定部２２０は、未処理のフレームが存在する場合（Ｓ２０９０：ＹＥＳ）、処理をステップＳ２０２０へ戻し、未処理のフレームに対する処理に移る。また、プレー開始推定部２２０は、全てのフレームに対する処理が完了した場合（Ｓ２０９０：ＮＯ）、処理を図１５のステップＳ３０００（プレー終了推定処理）へ進める。
【０１３８】
＜プレー終了推定処理＞
図１７は、プレー終了推定処理の一例を示すフローチャートである。
【０１３９】
ステップＳ３０１０において、プレー終了推定部２３０は、プレー開始推定処理（図１６参照）により設定された開始フレーム候補のそれぞれについて、対応するプレーの直前のプレー（直前プレー）のプレー終了領域を推定する。
【０１４０】
上述の通り、プレー終了位置は、１つ後のプレーのプレー開始位置と相関を有している。そこで、プレー終了推定部２３０は、開始フレーム候補毎に、そのプレー開始位置に基づいて直前プレーのプレー終了位置の領域を限定すべく、プレー終了領域の推定を行う。なお、プレー開始フレームおよびプレー開始位置としては、プレー開始推定部２２０が出力した開始フレーム情報から得られる情報を、用いている。
【０１４１】
具体的には、プレー終了推定部２３０は、プレー開始位置から近い方のサイドライン１２１、１２２（図２参照）まで垂線を引き、その垂線を中心とした映像中における横幅１０ヤードの領域を、プレー終了領域と推定する。なお、１０ヤードという数値は一例であり、プレー終了領域の設定にあたっては、プレー開始位置に基づいて所定の領域を画定することが重要であることはいうまでもない。
【０１４２】
ステップＳ３０２０において、プレー終了推定部２３０は、例えば映像の先頭から、あるいは、最初の開始フレーム候補の直後のフレームから順に選択していく形で、映像からフレームを１つ選択する。
【０１４３】
ステップＳ３０３０において、プレー終了推定部２３０は、選択中のフレームの直前の所定区間について、動き量を取得する。ここでの所定区間とは、例えば、選択中のフレームから１２０フレーム分遡ったフレームから、選択中のフレームまでの区間である。
【０１４４】
上述の通り、プレー終了時には、ほとんどの選手の動きが急激に減少するため、総オプティカルフロー強度も急激に減少する（図６参照）。
【０１４５】
そこで、ステップＳ３０４０において、プレー終了推定部２３０は、まず、所定区間の全てのフレームについて、フレーム毎に、総オプティカルフロー強度を算出する。そして、プレー終了推定部２３０は、算出された各フレームの総オプティカルフロー強度を用いて、動き量が急激に減少し、動き量の変化量が緩やかになったことに対応する、予め定められた終了動き条件が満たされるか否かを判断する。
【０１４６】
終了動き条件とは、具体的には、例えば、以下の式（８）、（９）の両方が満たされるという条件である。
【０１４７】
【数８】
0006488295.tif 000009
【０１４８】
【数９】
0006488295.tif 000010
【０１４９】
ここで、ＰおよびＱは、それぞれ、実験等により予め定められた定数である。Ｐは、１以上の整数であり、例えば１２０である。Ｑは、１以上の整数であり、例えば５である。Ｒは、例えば１５である。
【０１５０】
なお、終了動き条件は、上記した内容に限定されない。例えば、総オプティカルフロー強度の変化量の移動平均が負の所定の値以下であること、総オプティカルフロー強度の変化量の変化の割合が負の所定の値以下であること等を、終了動き条件として採用してもよい。
【０１５１】
また、終了動き条件は、前の直近のプレー開始フレームからの経過時間が所定の閾値以下であること、あるいは、後の直近のプレー開始フレームまでの経過時間が所定の閾値以下でること等の他の条件を、更に含んでいてもよい。
【０１５２】
プレー終了推定部２３０は、終了動き条件が満たされない場合（Ｓ３０４０：ＮＯ）、処理をステップＳ３０２０へ戻し、未処理のフレーム、つまり、ステップＳ３０２０でまだ選択されていないフレームに対する処理に移る。また、プレー終了推定部２３０は、終了動き条件が満たされる場合（Ｓ３０４０：ＹＥＳ）、処理をステップＳ３０５０へ進める。
【０１５３】
上述の通り、選手は、プレー終了位置に向かって集まっている傾向がある。
【０１５４】
そこで、ステップＳ３０５０において、プレー終了推定部２３０は、選択中のフレームについて、選手位置を抽出し、密集位置および集中位置を算出する。そして、ステップＳ３０６０において、プレー終了推定部２３０は、密集位置と集中位置との中間地点を、プレー終了位置と推定する。
【０１５５】
すなわち、プレー終了推定部２３０は、選択中のフレームについて、選手位置を抽出し、抽出した選手位置から、密集度Ｌｄｅｎｓｉｔｙおよび集中度Ｌｄｉｒｅｃｔｉｏｎを算出する。最終的に、それらの結果を用いてプレー終了位置尤度Ｌｔｅｒｍｉｎａｌを算出することにより、プレー終了位置を推定する。
【０１５６】
ここで、Ｌｔｅｒｍｉｎａｌは、密集度Ｌｄｅｎｓｉｔｙと集中度Ｌｄｉｒｅｃｔｉｏｎの和を各位置について求め、当該和が最大値になる位置を求めることにより、算出することができる。また、Ｌｔｅｒｍｉｎａｌは、密集度Ｌｄｅｎｓｉｔｙと集中度Ｌｄｉｒｅｃｔｉｏｎとの和を各位置について求め、ピークの値を取る２箇所の位置の中間点となる位置を求めることにより、算出してもよい。なお、プレー終了推定部２３０は、プレー開始位置と同様に、映像上の位置として、プレー終了位置が算出されている場合、かかる映像上の位置を、フィールド１２０（俯瞰画像）に射影変換し、変換後の位置（例えば、フィールドグリッド）を、最終的なプレー終了位置とする。
【０１５７】
ステップＳ３０７０において、プレー終了推定部２３０は、プレー終了位置が終了位置条件を満たすか否かを判断する。ここで、終了位置条件とは、プレー終了位置と１つ後のプレーのプレー開始位置とが、上記相関を有していることに対応する、予め定められた終了位置条件であり、本実施の形態では、プレー終了位置がプレー終了領域に含まれるという条件である。ここでのプレー開始位置とは、例えば、選択中のフレームの後に最初に存在するプレー開始フレームにおける、プレー開始位置である。
【０１５８】
プレー終了推定部２３０は、終了位置条件が満たされていない場合（Ｓ３０７０：ＮＯ）、処理をステップＳ３０２０へ戻し、未処理のフレームに対する処理に移る。また、プレー終了推定部２３０は、終了位置条件が満たされている場合（Ｓ３０７０：ＹＥＳ）、処理をステップＳ３０８０へ進める。
【０１５９】
ステップＳ３０８０において、プレー終了推定部２３０は、選択中のフレームを基準にして、終了フレーム候補を設定する。具体的には、プレー開始推定部２２０は、例えば、選択中のフレームを、終了フレーム候補に設定する。
【０１６０】
そして、ステップＳ３０９０において、プレー終了推定部２３０は、未処理のフレームが映像に存在するか否かを判定する。プレー終了推定部２３０は、未処理のフレームが存在する場合（Ｓ３０９０：ＹＥＳ）、処理をステップＳ３０２０へ戻し、未処理のフレームに対する処理に移る。また、プレー終了推定部２３０は、全てのフレームに対する処理が完了した場合（Ｓ３０９０：ＮＯ）、処理を図１５のステップＳ４０００（確認操作受付処理）へ進める。
【０１６１】
＜確認操作受付処理＞
確認操作受付部２４０は、確認操作受付処理において、確認操作受付画面を用いて確認操作の受け付けを行う。確認操作受付処理の説明に先立って、確認操作受付画面の概要について説明する。
【０１６２】
図１８は、確認操作受付画面の一例を示す平面図である。
【０１６３】
図１８に示すように、確認操作受付画面３６０は、例えば、候補表示選択領域３６１、操作ボタン領域３６２、および映像表示領域３６３を含む。
【０１６４】
候補表示選択領域３６１は、複数の開始フレーム候補が推定されているとき、複数の開始フレーム候補のサムネイルを、垂直方向に沿って時系列に並べて表示する。また、候補表示選択領域３６１は、開始フレーム候補のそれぞれのサムネイルと、当該開始フレーム候補に対応するプレーの終了フレームとして推定された終了フレーム候補の代表画像のサムネイルとを、水平方向に沿って並べて表示する。
【０１６５】
かかる表示により、あるプレーの開始フレーム候補のサムネイルの１行上に、直前プレーの終了フレーム候補のサムネイルが表示されることになる。すなわち、候補表示選択領域３６１は、プレー毎に、プレーの開始フレーム候補と、直前プレーの終了フレーム候補とを、各候補の配置の仕方により、対応付けて表示している。
【０１６６】
なお、各サムネイルは、開始フレーム候補あるいは終了フレーム候補の代表画像を低画像化するなどして生成されたものである。代表画像の詳細については後述する。
【０１６７】
操作ボタン領域３６２は、候補表示選択領域３６１で選択されている表示項目に対して、再生操作、一時停止操作、停止操作、決定操作、および削除操作を受け付けるための、再生ボタン、一時停止ボタン、停止ボタン、決定ボタン、および削除ボタンを表示する。
【０１６８】
映像表示領域３６３は、指定されたサムネイルに対応する代表画像、あるいは、指定されたサムネイルに対応する開始フレーム候補あるいは終了フレーム候補を含む映像区間を表示するための領域である。映像区間の詳細については後述する。
【０１６９】
なお、確認操作受付画面３６０を構成する各部の大きさ、形状、および配置は、図１８に示す例に限定されない。例えば、候補表示選択領域３６１は、複数の開始フレーム候補の代表画像のサムネイルを、水平方向に沿って時系列に並べ、開始フレーム候補のそれぞれの代表画像のサムネイルと対応する終了フレーム候補の代表画像のサムネイルとを、垂直方向に沿って並べて表示してもよい。あるいは、候補表示選択領域３６１は、全てのサムネイルを、縦方向１列あるいは横方向１列に、時系列に並べて表示してもよい。
【０１７０】
図１９は、確認操作受付処理の一例を示すフローチャートである。
【０１７１】
ステップＳ４０１０において、確認操作受付部２４０は、開始フレーム候補および終了フレーム候補のそれぞれについて、代表画像および映像区間を設定する。
【０１７２】
具体的には、確認操作受付部２４０は、例えば、開始フレーム候補については、開始フレームを、代表画像に設定し、開始フレームの前後を含む所定の区間（例えば、開始フレーム候補の１秒前から、開始フレーム候補の３秒後までの区間）を、映像区間に設定する。また、確認操作受付部２４０は、例えば、終了フレーム候補については、終了フレームを、代表画像に設定し、終了フレームを含む所定の区間（例えば、終了フレーム候補の３秒前から、終了フレーム候補の１秒後までの区間）を、映像区間に設定する。
【０１７３】
ステップＳ４０２０において、確認操作受付部２４０は、確認操作受付画面３６０（図１８参照）を生成し、表示する。
【０１７４】
ステップＳ４０３０において、確認操作受付部２４０は、候補表示選択領域３６１（図１８参照）に表示された開始フレーム候補および終了フレーム候補（以下「候補」と総称する）のいずれかに対する指定操作が行われたか否かを判断する。確認操作受付部２４０は、指定操作が行われた場合（Ｓ４０３０：ＹＥＳ）、処理をステップＳ４０４０へ進める。また、確認操作受付部２４０は、いずれの候補に対しても指定操作が行われていない場合（Ｓ４０３０：ＮＯ）、処理を後述のステップＳ４０５０へ進める。
【０１７５】
ステップＳ４０４０において、確認操作受付部２４０は、指定された候補のサムネイルに対して、枠線３６４（図１８参照）を重畳する等、強調表示を行う。また、確認操作受付部２４０は、指定された候補の代表画像を、映像表示領域３６３（図１８参照）に表示させる。
【０１７６】
ステップＳ４０５０において、確認操作受付部２４０は、いずれかの候補が指定された状態で、操作ボタン領域３６２（図１８参照）において、再生操作が行われたか否かを判断する。確認操作受付部２４０は、再生操作が行われた場合（Ｓ４０５０：ＹＥＳ）、処理をステップＳ４０６０へ進める。また、確認操作受付部２４０は、再生操作が行われていない場合（Ｓ４０５０：ＮＯ）、処理を後述のステップＳ４０７０へ進める。
【０１７７】
ステップＳ４０６０において、確認操作受付部２４０は、指定された候補の映像区間を再生し、映像表示領域３６３（図１８参照）に表示させる。
【０１７８】
なお、確認操作受付部２４０は、この状態において、操作ボタン領域３６２（図１８参照）において停止操作が行われた場合、映像区間の再生を停止する。また、確認操作受付部２４０は、途中で再生が一時停止された状態で、候補の新たな指定が行われることなく再生操作が行われた場合、停止箇所から再生（レジューム）を行う。
【０１７９】
ステップＳ４０７０において、確認操作受付部２４０は、いずれかの候補が指定された状態で、操作ボタン領域３６２（図１８参照）において、削除操作が行われたか否かを判断する。確認操作受付部２４０は、削除操作が行われた場合（Ｓ４０７０：ＹＥＳ）、処理をステップＳ４０８０へ進める。また、確認操作受付部２４０は、削除操作が行われていない場合（Ｓ４０７０：ＮＯ）、処理を後述のステップＳ４０９０へ進める。
【０１８０】
ステップＳ４０８０において、確認操作受付部２４０は、指定された候補の設定を解除し、対応するサムネイルを、候補表示選択領域３６１から削除する。
【０１８１】
ステップＳ４０９０において、確認操作受付部２４０は、いずれかの候補が指定された状態で、操作ボタン領域３６２（図１８参照）において、決定操作が行われたか否かを判断する。確認操作受付部２４０は、決定操作が行われた場合（Ｓ４０９０：ＹＥＳ）、処理をステップＳ４１００へ進める。また、確認操作受付部２４０は、決定操作が行われていない場合（Ｓ４０７０：ＮＯ）、処理を後述のステップＳ４１１０へ進める。
【０１８２】
ステップＳ４１００において、確認操作受付部２４０は、指定された候補が開始フレーム候補である場合、当該候補をプレー開始フレームに設定し、指定された候補が終了フレーム候補である場合、当該候補をプレー終了フレームに設定する。
【０１８３】
ステップＳ４１１０において、確認操作受付部２４０は、確認操作が終了したか否かを判断する。確認操作が終了した場合とは、例えば、候補表示選択領域３６１に残っている候補の全てに対して決定操作が行われた場合、あるいは、確認操作受付画面３６０に表示された確定ボタン（図示せず）に対するクリック操作が行われた場合である。
【０１８４】
確認操作受付部２４０は、確認操作が終了していない場合（Ｓ４１１０：ＮＯ）、処理をステップＳ４０３０へ戻す。また、確認操作受付部２４０は、確認操作が終了した場合（Ｓ４１１０：ＹＥＳ）、処理をステップＳ４１２０へ進める。
【０１８５】
ステップＳ４１２０において、確認操作受付部２４０は、確認操作受付部２４０において設定されたプレー開始フレームおよびプレー終了フレームを示す、プレー区間情報を生成する。そして、確認操作受付部２４０は、処理を、図１５のステップＳ２０００の処理（プレー区間情報を出力）へ進める。
【０１８６】
このような動作により、映像処理装置２００は、プレーの開始時および終了時の選手の動きや位置の特徴に着目して、プレー区間を推定することができる。
【０１８７】
＜適用システム＞
ここで、本実施の形態に係る映像処理装置２００が適用されるシステムの具体例について説明する。
【０１８８】
図２０は、映像処理装置２００が適用されるシステムの一例を示す説明図である。
【０１８９】
図２０に示すように、映像処理装置２００の推定結果３７１は、過去のプレーを記録し、後に類似プレーを検索できるような、アーカイブシステム３７２に利用され得る。
【０１９０】
映像処理装置２００により推定されたプレー開始フレームおよびプレー終了フレームを利用すれば、試合映像中の情報のみを用いて、１試合分の映像の動画縮約や、プレー時間の算出が可能となる。ここで、動画集約とは、１つまたは時系列で連続する複数のプレー区間を抽出し、タイムアウトの区間等の重要度の低い区間を除外することである。
【０１９１】
また、映像処理装置２００により推定されたプレー開始位置およびプレー終了位置を利用すれば、動画縮約により１プレーごとに分割された映像を用いて、ゲインヤード数を算出することが可能となる。更に、動画縮約により得られたプレー毎の映像は、効率の良い戦術解析を実現することができる。
【０１９２】
そして、得られた情報は、それぞれの属性に対応付けて記録しておくことにより、条件検索の対象とすることが可能となり、アーカイブシステムに供することができる。
【０１９３】
このように、映像処理装置２００は、試合解析の観点において非常に有益な情報を生成することができるので、試合解析に関する各種のシステムに好適である。例えば、アメリカンフットボールにおけるボール追跡手法（例えば、Ｊｕｎｊｉ  Ｋｕｒａｎｏ，  Ｔａｉｋｉ  Ｙａｍａｍｏｔｏ，  Ｈｉｒｏｋａｔｓｕ，  Ｋａｔａｏｋａ，  Ｍａｓａｋｉ  Ｈａｙａｓｈｉ，  Ｙｏｓｈｉｍｉｔｓｕ  Ａｏｋｉ，  “Ｂａｌｌ  Ｔｒａｃｋｉｎｇ  ｉｎ  Ｔｅａｍ  Ｓｐｏｒｔｓ  ｂｙ  Ｆｏｃｕｓｉｎｇ  ｏｎ  Ｂａｌｌ  Ｈｏｌｄｅｒ  Ｃａｎｄｉｄａｔｅｓ”，  Ｉｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ａｄｖａｎｃｅｄ  Ｉｍａｇｅ  Ｔｅｃｈｎｏｌｏｇｙ  ２０１４（ＩＷＡＩＴ２０１４），  ２０１４参照）や、背番号認識を用いた選手追跡手法（例えば、Ｔａｉｋｉ  Ｙａｍａｍｏｔｏ，  Ｈｉｒｏｋａｔｓｕ  Ｋａｔａｏｋａ，  Ｍａｓａｋｉ  Ｈａｙａｓｈｉ，  Ｙｏｓｈｉｍｉｔｓｕ  Ａｏｋｉ，  “Ｍｕｌｔｉｐｌｅ  Ｐｌａｙｅｒｓ  Ｔｒａｃｋｉｎｇ  ａｎｄ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  Ｕｓｉｎｇ  Ｇｒｏｕｐ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｐｌａｙｅｒ  Ｎｕｍｂｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｉｎ  Ｓｐｏｒｔｓ  Ｖｉｄｅｏ，”  Ｉｎ  ｔｈｅ  ３９ｔｈ  Ａｎｎｕａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｆ  ｔｈｅ  ＩＥＥＥ  Ｉｎｄｕｓｔｒｉａｌ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｏｃｉｅｔｙ  （ＩＥＣＯＮ２０１３），  ２０１３参照）等と組み合わせることにより、より詳細な自動戦術解析が可能となる。
【０１９４】
＜実験の内容および結果＞
発明者は、本実施の形態にかかる映像処理装置２００によるプレー区間の推定の精度に関して、実験を行った。以下、かかる実験とその結果について説明する。
【０１９５】
＜＜実験の概要＞＞
実験には、２０１３年１０月６日に行われたアメリカンフットボール社会人リーグの試合を固定カメラで撮影した映像を用いた。
【０１９６】
実験動画は、解像度１７４０×３００ｐｉｘｅｌｓ、６０ｆｐｓである。実験映像中の１ｐｉｘｅｌは、実空間における約７．３ｃｍに相当し、鳥瞰図中の１ｐｉｘｅｌは、実空間における約９．８ｃｍに相当する。
【０１９７】
まず、３ｒｄ−４ｔｈクォーターの映像を用いて初期陣形の画像、および、選手の画像についての学習を行った。その後、１ｓｔ−２ｎｄクォーターの映像（計２２４２０５フレーム）において、動画縮約度およびプレー開始／終了位置の精度評価実験を行った。
【０１９８】
＜＜動画縮約の精度検証実験＞＞
発明者は、プレー開始フレームおよびプレー終了フレームを取得することによる動画縮約の精度を検証した。具体的には、実験動画（計９００００フレーム、３２プレー）を用いて、以下の式（１０）を用いて、動画縮約率Ｃを算出した。ここで、ｆｒａｍｅＣは、縮約後の総フレーム数であり、ｆｒａｍｅａｌｌは、元の映像の総フレーム数である。
【０１９９】
【数１０】
0006488295.tif 000011
【０２００】
図２１は、動画縮約の精度検証結果を示す図である。
【０２０１】
図２１に示すように、ｇｒｏｕｎｄ  ｔｒｕｔｈと本手法において、プレー総数（プレー検出数）は３１であり、縮約後のフレーム数ｆｒａｍｅｃは１２０９４であり、動画縮約率（動画集約度）Ｃは１３．４４であった。
【０２０２】
＜＜プレー開始位置の精度検証実験＞＞
プレー開始位置の精度評価実験においては、射影変換後のフィールド画像中で、手動で与えたｇｒｏｕｎｄ  ｔｒｕｔｈとユークリッド距離比較して精度比較を行った。
【０２０３】
図２２は、プレー開始位置の精度検証結果を示す図である。
【０２０４】
図２２に示すように、プレー開始位置の精度評価としては、平均誤差１７．００、最小誤差２．２３、および最大誤差４２．１９が得られた。
【０２０５】
＜＜プレー終了位置の精度検証実験＞＞
アメリカンフットボールでは、パスが誰にも触れられずにフィールドの外に出てしまう等、パスが失敗した場合、再度同じ場所からプレーが開始する。このため、プレー終了位置の精度評価実験は、そのような場合を除いた計１５個の動画を用いて行った。そして、射影変換後の俯瞰画像中において、手動で与えた終了位置と本手法で算出した終了位置の間でユークリッド距離比較を行った。
【０２０６】
図２３は、プレー終了位置の精度検証結果を示す図である。
【０２０７】
図２３に示すように、プレー開始位置の精度評価としては、平均誤差４５．９６、最小誤差１０．９８、および最大誤差７６．３５が得られた。
【０２０８】
このように、実験により、映像処理装置２００が、十分な精度でプレー区間を抽出することが確認された。
【０２０９】
＜本実施の形態の効果＞
以上説明したように、本実施の形態に係る映像処理装置２００は、プレーの開始時および終了時の選手の動きや位置の特徴に着目して、プレー区間を推定するので、映像からプレー区間を効率良くかつ高精度に抽出することを可能にする。
【０２１０】
また、映像からプレー区間を効率良くかつ高精度に抽出することができるので、本実施の形態に係る映像処理装置２００は、試合解析に関する各種のシステムに用いられることにより、高精度で効率の良い試合解析を実現することができる。
【０２１１】
また、本実施の形態に係る映像処理装置２００は、候補という形でプレー開始フレームおよびプレー終了フレームを決定した後、代表画像および映像部分を表示して、ユーザから選択操作を受け付ける。このため、本実施の形態に係る映像処理装置２００は、プレー開始フレームおよびプレー終了フレームが誤って推定されることをより確実に防止し、更に精度の高い試合解析を実現することができる。
【０２１２】
＜本実施の形態の変形例＞
なお、図１５〜図１７、図１９に示す各処理の順序は、上述の例に限定されない。例えば、映像処理装置２００は、フレームの動き量を、フレームを選択する毎に、開始動き条件あるいは終了動き条件に必要な区間について、都度、算出してもよい。
【０２１３】
また、図１９のステップＳ４０３０、Ｓ４０５０、Ｓ４０７０、Ｓ４０９０の判断処理の順序は、入れ替わってもよい。また、プレー終了推定部２３０は、全ての映像に対するプレー終了推定処理が終了する前に、２つ以上のプレー開始フレームが推定された段階で、推定された連続する２つのプレー開始フレームの間の区間について、プレー終了推定処理を開始してもよい。
【０２１４】
また、処理の対象となる映像は、ボール位置の周辺に限定して撮影された映像であってもよい。
【０２１５】
また、プレー開始位置の推定手法は、上述の例に限定されない。例えば、プレー開始推定部２２０は、映像を表示し、ユーザから手動プレー開始位置の指定を受け付け、指定された位置を、プレー開始位置と推定してもよい。
【０２１６】
また、プレー開始推定部２２０は、プレー開始位置と直前プレーのプレー終了位置との相関は、必ずしも考慮しなくてもよい。例えば、プレー開始推定部２２０は、動き量、密集度、および集中度のうちの１つまたは複数のみに基づいて、プレー開始フレームあるいはプレー終了フレームを推定してもよい。
【０２１７】
また、プレー終了位置の推定手法は、上述の例に限定されない。例えば、密集位置をそのままプレー終了位置と推定してもよいし、集中位置をそのままプレー終了位置と推定してもよい。また、例えば、審判の位置を画像から抽出し、動き量が急激に減少した直後に抽出された審判の位置を、プレー終了位置と推定してもよい。
【０２１８】
また、既に開始フレーム候補および終了フレーム候補が存在している場合、映像処理装置２００は、開始フレーム候補および終了フレーム候補の決定を行わずに、確認操作受付処理以降の処理のみを行ってもよい。
【０２１９】
また、映像処理装置２００の構成の一部は、ネットワーク上のサーバ等の外部装置に配置されるなどして、他の部分と離隔していてもよい。この場合、映像処理装置２００は、かかる外部装置と通信を行うための通信部を備える必要がある。
【０２２０】
また、本実施の形態に係る映像処理装置２００は、候補という形でプレー開始フレーム（開始フレーム候補）およびプレー終了フレーム（終了フレーム候補）を決定した後、代表画像および映像部分を表示して、ユーザから選択操作を受け付けるようにしたが、ユーザからの選択操作を受け付けずに、開始フレーム候補および終了フレーム候補のうちからプレー開始フレームおよびプレー終了フレームを決定するようにしてもよい。例えば開始フレーム候補および終了フレーム候補のすべてを開始フレーム、終了フレームと決定してもよい。
【０２２１】
なお、本技術は、アメリカンフットボールの映像のみならず、他のスポーツの映像にも適用可能である。すなわち、本技術は、プレーが複数のプレー区間で構成されており、当該プレー区間の開始時点または終了時点において、選手の動きが特徴的、あるいは規則的なスポーツに広く適用可能である。
【０２２２】
例えば、本技術は攻守が切り替わるルールのスポーツに適用可能であり、より具体的には、攻守の切り替わりのタイミングがルール上明確に規定されているスポーツに好適である。ここで、攻守の切り替わりとは、アメリカンフットボールや野球等における、チーム毎の攻撃および守備の切り替わりや、テニス、卓球、バレーボール等における、サーブ権（サーブ側、レシーブ側）の切り替わりといった概念を含む。また、本技術は、相撲や格闘技等、試合開始直前に、動きが減少する、所定の位置に選手が位置する、あるいは、所定の姿勢を取るスポーツであって、試合開始直後に、動きが増大するようなスポーツの試合にも好適である。また、上記概念を踏まえると、本技術は、特にアメリカンフットボールの試合に好適であるといえる。
【０２２３】
＜本技術のまとめ＞
本技術の映像処理方法、映像処理装置は、プロセッサがスポーツの試合を撮影した映像の映像データに対する処理を行う映像処理方法であって、映像データを入力し、入力した前記映像データから、フレーム毎に、選手の動き量を算出し、算出した前記動き量に基づいて、前記試合におけるプレーの開始フレームおよび、前記プレーの１つ前のプレーである直前プレーの終了したフレームである、終了フレームのうち少なくとも１つを推定する。
【０２２４】
なお、上記映像処理方法、映像処理装置は、映像データから、前記スポーツのチームの選手によって組まれる初期陣形を検出し、算出した前記動き量と、前記初期陣形の検出結果と、に基づいて、前記プレーの開始フレームを推定してもよい。
【０２２５】
なお、上記映像処理方法、映像処理装置は、映像データから、前記スポーツのチームの選手によって組まれる初期陣形を検出し、前記開始フレームにおける前記初期陣形の画像の位置を、前記試合におけるプレーの開始位置と推定してもよい。
【０２２６】
なお、上記映像処理方法、映像処理装置は、開始位置に基づいて、入力した前記映像データから、前記プレーの終了フレームを推定してもよい。
【０２２７】
なお、上記映像処理方法、映像処理装置は、推定した前記開始位置に基づいて、前記直前プレーの終了領域を推定し、前記動き量に基づいて、前記試合における前記直前プレーの終了位置を含むフレームを推定し、推定した前記終了領域に、推定された前記終了位置が含まれることを条件として、当該終了位置に対応付けられた前記フレームを前記終了フレームと推定してもよい。
【０２２８】
なお、上記映像処理方法、映像処理装置は、前記選手位置の密集度および集中度のうち少なくとも１つを算出し、算出された前記密集度および集中度のうち少なくとも１つに基づいて前記終了位置を推定してもよい。
【０２２９】
なお、上記映像処理方法、映像処理装置は、前記動き量が急激に増大した動き増大区間を推定し、推定された前記動き増大区間に基づいて、前記開始フレームを推定してもよい。
【０２３０】
なお、上記映像処理方法、映像処理装置は、前記動き量が急激に減少した動き減少区間を推定し、推定された前記動き減少区間に基づいて、前記終了フレームを推定してもよい。
【０２３１】
なお、上記映像処理方法、映像処理装置は、前記映像データから、前記開始フレームと、１つまたは複数の前記終了フレーム候補と、を対応付けて画面に表示させてもよい。
【０２３２】
なお、上記映像処理方法、映像処理装置は、表示された前記１つまたは複数の終了フレーム候補に対する決定操作を受け付け、前記決定操作が行われた前記終了フレーム候補を、前記終了フレームと推定してもよい。
【０２３３】
なお、上記映像処理方法、映像処理装置は、表示された前記開始フレームおよび前記１つまたは複数の終了フレーム候補に対する再生操作を受け付け、前記映像データのうち、前記決定操作が行われた前記開始フレームおよび前記終了フレーム候補に対応する区間に対応する映像データ部分を、再生して表示してもよい。
【０２３４】
なお、上記映像処理方法、映像処理装置は、前記開始フレームが推定しているとき、前記複数の開始フレームを第１の方向に沿って時系列に並べて表示し、かつ、前記開始フレームのそれぞれと、前記開始フレームに対応する前記プレーについて推定された前記終了フレームとを、前記第１の方向に交差する第２の方向に沿って並べて画面に表示させてもよい。
【産業上の利用可能性】
【０２３５】
本技術は、スポーツの試合を撮影した映像から、プレー区間を効率良くかつ高精度に抽出することができる映像処理方法として有用である。
【符号の説明】
【０２３６】
１１０，３１７，３２１，３４１    映像
１２０    フィールド
１２１，１２２    サイドライン
１２３，１２４    ゴールライン
１２５，１２６    インバウンズライン
１３１，１３２，１３３    初期陣形
２００    映像処理装置
２１０    映像入力部
２２０    プレー開始推定部
２３０    プレー終了推定部
２４０    確認操作受付部
２５０    推定結果処理部
３００    色の濃い部分
３０１    総オプティカルフロー強度
３０２    プレー開始タイミング
３０３    プレー終了タイミング
３１１    左エリア
３１２    中央エリア
３１３    右エリア
３１４    識別器Ｌ
３１５    識別器Ｃ
３１６    識別器Ｒ
３１８，３３３    領域
３１９    重心の位置
３２２，３３２    矩形領域
３３１    フィールドグリッド
３３５，３３６，３３７，３３８    位置
３３９    フィールドグリット
３４２    集中位置
３６０    確認操作受付画面
３６１    候補表示選択領域
３６２    操作ボタン領域
３６３    映像表示領域
３６４    枠線
３７１    推定結果
３７２    アーカイブシステム
【図１】
0006488295.tif 000012
【図２】
0006488295.tif 000013
【図３Ａ】
0006488295.tif 000014
【図３Ｂ】
0006488295.tif 000015
【図３Ｃ】
0006488295.tif 000016
【図４】
0006488295.tif 000017
【図５】
0006488295.tif 000018
【図６】
0006488295.tif 000019
【図７】
0006488295.tif 000020
【図８】
0006488295.tif 000021
【図９】
0006488295.tif 000022
【図１０】
0006488295.tif 000023
【図１１】
0006488295.tif 000024
【図１２Ａ】
0006488295.tif 000025
【図１２Ｂ】
0006488295.tif 000026
【図１３】
0006488295.tif 000027
【図１４】
0006488295.tif 000028
【図１５】
0006488295.tif 000029
【図１６】
0006488295.tif 000030
【図１７】
0006488295.tif 000031
【図１８】
0006488295.tif 000032
【図１９】
0006488295.tif 000033
【図２０】
0006488295.tif 000034
【図２１】
0006488295.tif 000035
【図２２】
0006488295.tif 000036
【図２３】
0006488295.tif 000037