(57)【要約】  プレー区間抽出方法またはプレー区間抽出装置は、プロセッサがスポーツ映像中に記録されたスポーツのプレー区間を抽出する。プロセッサはスポーツ映像における審判を識別し、識別された審判の姿勢を推定し、推定された姿勢から審判の動作を推定し、推定された審判の動作に基づいてプレー区間を抽出する。これにより、プレー区間を精度良く抽出することができる。
2016067553.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサがスポーツ映像中に記録されたスポーツのプレー区間を抽出する方法であって、
前記プロセッサは、
前記スポーツ映像における審判を識別し、
前記識別された審判の姿勢を推定し、
前記推定された姿勢から審判の動作を推定し、
前記推定された審判の動作に基づいてプレー区間を抽出する、
プレー区間抽出方法。
【請求項２】
前記プロセッサは、前記推定された姿勢の遷移に基づいて前記審判の動作を推定する、
請求項１に記載のプレー区間抽出方法。
【請求項３】
前記プレー区間は複数の属性を有し、
前記プロセッサは、前記プレー区間の属性に基づいて前記推定された審判の動作からプレー区間を抽出する、
請求項１に記載のプレー区間抽出方法。
【請求項４】
前記プレー区間は、前記スポーツの試合開始から試合終了までの区間、前記スポーツにおいて計時を行う区間、前記スポーツを構成する節の切り替えを単位とする区間のうちの少なくとも１つの属性を持ちうる、
請求項３に記載のプレー区間抽出方法。
【請求項５】
前記プロセッサは、前記審判の腕の角度を推定し、前記推定した腕の角度に基づいて審判の動作を推定する、
請求項１に記載のプレー区間抽出方法。
【請求項６】
前記プロセッサは、前記抽出したプレー区間が所定の長さで定義された許容期間を超えているか否かを判断する、
請求項１に記載のプレー区間抽出方法。
【請求項７】
前記プロセッサは、前記推定された審判の動作に加えて、スポーツ映像中の動き情報に基づいて前記プレー区間を抽出する、
請求項１に記載のプレー区間抽出方法。
【請求項８】
スポーツ映像中に記録されたスポーツのプレー区間を抽出するプレー区間抽出装置であって、
プロセッサと、
前記スポーツ映像を入力する入力部と、を備え、
前記プロセッサは、
前記スポーツ映像における審判を識別し、
前記識別された審判の姿勢を推定し、
前記推定された姿勢から審判の動作を推定し、
前記推定された審判の動作に基づいたプレー区間を抽出する、
プレー区間抽出装置。
【請求項９】
前記プロセッサは、前記推定された姿勢の遷移に基づいて前記審判の動作を推定する、
請求項８に記載のプレー区間抽出装置。
【請求項１０】
前記プレー区間は複数の属性を有し、
前記プロセッサは、前記プレー区間の属性に基づいて前記推定された審判の動作からプレー区間を抽出する、
請求項８に記載のプレー区間抽出装置。
【請求項１１】
前記プレー区間は、前記スポーツの試合開始から試合終了までの区間、前記スポーツにおいて計時を行う区間、前記スポーツを構成する節の切り替えを単位とする区間のうちの少なくとも１つの属性を持ちうる、
請求項１０に記載のプレー区間抽出装置。
【請求項１２】
前記プロセッサは、前記審判の腕の角度を推定し、前記推定した腕の角度に基づいて審判の動作を推定する、
請求項８に記載のプレー区間抽出装置。
【請求項１３】
前記プロセッサは、前記抽出したプレー区間が所定の長さで定義された許容期間を超えているか否かを判断する、
請求項８に記載のプレー区間抽出装置。
【請求項１４】
前記プロセッサは、前記推定された審判の動作に加えて、スポーツ映像中の動き情報に基づいて前記プレー区間を抽出する、
請求項８に記載のプレー区間抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、スポーツのプレー区間抽出方法および装置に関する。
【背景技術】
【０００２】
特許文献１はスポーツのシーン区間分割装置を開示する。このシーン区間分割装置は審判の合図を用いてシーン区間分割を行う。これにより、シーン区間を分割することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４８３９２２６号公報
【発明の概要】
【０００４】
本開示は、プレー区間を精度よく抽出する方法及び装置を提供する。
【０００５】
本開示におけるプレー区間抽出方法またはプレー区間抽出装置は、プロセッサがスポーツ映像中に記録されたスポーツのプレー区間を抽出する。プロセッサはスポーツ映像における審判を識別し、識別された審判の姿勢を推定し、推定された姿勢から審判の動作を推定し、推定された審判の動作に基づいてプレー区間を抽出する。
【０００６】
本開示におけるプレー区間抽出方法またはプレー区間抽出装置は、プレー区間を精度良く抽出することができる。
【図面の簡単な説明】
【０００７】
【図１】図１は実施の形態１におけるプレー区間抽出装置の構成の一例を示す図である。
【図２】図２は実施の形態１におけるプレー区間抽出処理を説明するためのフローチャートである。
【図３】図３は実施の形態１におけるフレーム内の審判を識別する処理を説明するためのフローチャートである。
【図４】図４は実施の形態１における審判の姿勢を推定する処理を説明するための図である。
【図５】図５は実施の形態１における審判の動作を推定する処理を説明する図である。
【図６】図６は実施の形態１における推定された審判の動作からプレー区間を抽出する処理を説明する図である。
【図７】図７は他の実施の形態におけるプレー区間抽出処理を説明するためのフローチャートである。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
（実施の形態１）
以下、図１〜図６を参照しながら、実施の形態１を説明する。
【００１１】
［１−１．構成］
図１は実施の形態１におけるプレー区間抽出装置の構成の一例を示す図である。
【００１２】
プレー区間抽出装置１００はプロセッサ１０１と、記憶部１０２と、入力部１０３と、表示部１０４と、バス１０５とを有する。
【００１３】
プロセッサ１０１は演算を行うことでプレー区間抽出装置の他の構成要素を制御する。
【００１４】
記憶部１０２は情報を一時的に、あるいは恒久的に記憶する。記憶部１０２はいわゆるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの概念を含む。プレー区間抽出装置１００は用途やアクセススピードの必要性に応じて記憶部１０２を複数有していてもよい。ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを適用することで記憶部１０２を構成することができる。
【００１５】
入力部１０３は外部からの信号を受け付ける。入力部１０３はいわゆる入力装置や入力インターフェースなどの概念を含む。マウスやキーボードなどの入力装置、通信ポートや無線通信デバイスなどの入力インターフェースを適用することで入力部１０３を構成することができる。
【００１６】
表示部１０４は外部へ情報を表示する。液晶ディスプレイなどを適用することで表示部１０４を構成することができる。
【００１７】
バス１０５はプレー区間抽出装置１００を構成する各要素を、接続する経路である。プロセッサ１０１にバス１０５を統合することでプロセッサ１０１の内部にバス１０５を構成することもできる。バス１０５は各要素を有線で接続してもよいし、各要素を無線で接続してもよい。
【００１８】
以上に述べたプレー区間抽出装置１００の構成は一例である。したがって上述の構成に別の構成要素を追加することでプレー区間抽出装置１００を構成してもよい。また、上述の構成から構成要素の一部を必要に応じて削除することでプレー区間抽出装置１００を構成してもよい。また、上述の構成要素を互いに統合することでプレー区間抽出装置１００を構成してもよい。また、上述の構成要素の一部でプレー区間抽出装置１００を構成してもよい。
【００１９】
［１−２．動作］
以上のように構成されたプレー区間抽出装置１００の動作を説明する。
【００２０】
なお、以下に述べるプレー区間抽出装置１００の動作において特に説明しない場合はプロセッサ１０１が主体となってそのステップを行うものとする。
【００２１】
図２は実施の形態１におけるプレー区間抽出処理を説明するためのフローチャートである。
【００２２】
ステップＳ２００においてプレー区間抽出装置１００がプレー区間抽出処理を開始する。プレー区間抽出開始処理は所定のタイミングで自動的に開始されてもよいし、特定のアプリケーションがプレー区間抽出装置１００で実行されることで開始されてもよい。
【００２３】
ステップＳ２０１においてプロセッサ１０１が映像からフレームを読み込む。本実施の形態において映像とはアメリカンフットボールの試合を撮影したスポーツ映像であるとする。またそのスポーツ映像はアメリカンフットボール場の中央正面に備え付けられた広角の高解像度カメラで撮影されたものとする。映像は１秒につき６０枚の連続する画像で構成されているものとする。この画像をフレームと呼ぶ。映像は入力部１０３から入力されたものであってもよいし記憶部１０２に予め記憶されていたものでもよい。ステップＳ２０１においてはそのような映像を構成するフレームのうち最初のフレームがプロセッサ１０１によって読み込まれる。読み込まれたフレームは記憶部１０２に一時的に保存される。なお、ステップＳ２０１において、プロセッサ１０１は必ずしも映像の最初のフレームを読み込む必要はなく、映像の途中などに位置する任意のフレームを読み込んでもよい。なお、スポーツ映像はアメリカンフットボールの試合を撮影したものに限られない。スポーツ映像は野球、バレーボール、サッカー、ホッケー、テニス、バスケットボール、格闘技などの試合を撮影したものでもよい。
【００２４】
ステップＳ２０２においてプロセッサ１０１はフレーム内の審判を識別する。以下図３を用いて詳細に説明する。
【００２５】
図３は実施の形態１におけるフレーム内の審判を識別する処理を説明するためのフローチャートである。
【００２６】
ステップＳ３００においてプロセッサ１０１がフレーム内の審判を識別する処理を開始する。本実施の形態においてステップＳ３００はステップＳ２０２と同時に開始するものとする。
【００２７】
ステップＳ３０１においてプロセッサ１０１がフレーム内の審判を検出する。審判を検出する手法には既知の人物認識手法を適用することができる。本実施の形態では人物認識手法の一例として機械学習を用いた人物認識手法を説明する。機械学習を用いた人物認識手法とは、正解データと不正解データを用いて得られる判別式に、認識対象の画像をあてはめることで人物を認識する手法である。ここで正解データとは認識対象を表す画像であり、不正解データとは認識対象以外を表す画像である。機械学習においてはこのような正解データと不正解データが大量に集められる。そして集められたそれぞれのデータから特徴量が抽出される。抽出された特徴量から、当該特徴量を変数とした判別式が作成される。人物認識を行う際には、撮影画像から抽出された特徴量が判別式に代入される。代入することで得られる数値からその画像が認識対象であるか否かが判定される。本実施の形態においては審判を撮像した画像を正解データとして、審判以外の人物（選手など）を撮像した画像を不正解データとして機械学習が予め行われる。そして、ステップＳ３０１においてはフレーム（画像）の一部の領域から得られる特徴量を判別式に当てはめることにより、当該領域内に審判がいるか否かが判別される。なお、フレームの全体ではなく一部の領域を用いて審判の検出を行う理由は、フレームの解像度が機械学習に用いた画像の解像度より大きいためである。
【００２８】
ステップＳ３０２においてプロセッサ１０１がステップＳ３０１で検出した審判がいままでに検出した審判と同一であるか否かを判定する。審判が同一であるか否かを判定する手法の一例として検出領域を用いた手法を説明する。ステップＳ３０１においてはプロセッサ１０１がフレームの一部の領域に審判がいるか否かを判定している。ここで、図３に示されるステップＳ３０１からステップＳ３０５（ステップＳ２０２）は、複数回繰り返される処理である。そこで、ステップＳ３０２においてプロセッサ１０１はステップＳ３０１で検出した審判に関する情報を記憶部１０２に記憶させる。具体的にはプロセッサ１０１は検出した審判を表す審判ＩＤと、当該審判が存在した領域を表す座標をセットにして記憶部１０２に記憶させる。そして２回目以降のステップＳ３０２においてプロセッサ１０１は、その直前のステップＳ３０１において検出した審判の座標が、今までに記憶部１０２に記憶されている審判の座標の周囲に含まれるか否かを判定することで、プロセッサ１０１はステップＳ３０１で検出した審判がいままでに検出した審判と同一であるか否かを判定することができる。
【００２９】
ステップＳ３０１において検出した審判（審判Ａ）の座標が、今までに記憶部１０２に記憶されている審判（審判Ｂ）の座標の周囲に含まれる場合（ステップＳ３０２でＹｅｓ）は、プロセッサ１０１は審判Ｂの審判ＩＤを審判Ａの座標とセットにする。すなわち、審判Ａに審判Ｂと同一の審判ＩＤを付与する。そして審判Ａの座標と審判ＩＤとを記憶部１０２に記憶させる（ステップＳ３０３）。
【００３０】
ステップＳ３０１において検出した審判（審判Ａ）の座標が、今までに記憶部１０２に記憶されている審判（審判Ｂ）の座標の周囲に含まれない場合（ステップＳ３０２でＮｏ）は、プロセッサ１０１は新規の審判ＩＤを審判Ａの座標とセットにする。すなわち、審判Ａに新規の審判ＩＤを付与する。そして審判Ａの座標と審判ＩＤとを記憶部１０２に記憶させる（ステップＳ３０４）。
【００３１】
ステップＳ３０１において審判を検出しなかった場合（ステップＳ３０１でＮｏ）、同一の審判ＩＤを付与した場合（ステップＳ３０３）、新規の審判ＩＤを付与した場合（ステップＳ３０４）、フレーム内の審判を識別する処理は終了する（ステップＳ３０５）。
【００３２】
再び図２を用いてプレー区間抽出処理におけるステップＳ２０３を説明する。
【００３３】
ステップＳ２０３においてプロセッサ１０１は識別された審判の姿勢を推定する。識別された審判とはステップＳ２０２で識別された審判である。よって図示はしないが、ステップＳ２０２で審判が識別されなかった場合ステップＳ２０３の処理は省略することができる。
【００３４】
図４は実施の形態１における審判の姿勢を推定する処理を説明するための図である。本実施の形態では審判の姿勢を推定する処理の説明として、ステップＳ３０１の人物認識手法の説明で述べた機械学習を用いた方法を用いる処理を説明する。機械学習の概要はステップＳ３０１の説明で述べたので今後の説明では説明の一部が省略されることがある。
【００３５】
本実施の形態においては審判の姿勢が特定のパターン毎に分類される。特定のパターン毎に分類する方法の一例としては、審判の腕の角度毎に分類する方法がある。審判の腕の角度毎に分類する方法とは図４に示されるように審判の腕の角度を２２．５度刻みで分類する方法である。なお、図面の簡略化のため省略したが、腕の角度は両腕の角度毎に分類される。つまり、「右腕（片腕）が＊＊度であって左腕（他方の腕）が＊＊度」のように審判の腕の角度が分類される。本実施の形態では分類された腕の角度毎に、当該角度で腕を挙げている画像を正解データとして、当該角度以外で腕を挙げている画像を不正解データとして機械学習が予め行われる。
【００３６】
プロセッサ１０１が機械学習から得られた判別式に基づいてステップＳ２０２で識別した審判の画像をステップＳ２０３で腕の角度毎に分類することで、識別された審判の姿勢が推定される。腕の角度を用いて審判の姿勢を推定することは一例であって、他の手法を用いて審判の姿勢を推定してもよい。ただしアメリカンフットボールのように審判の腕の角度が審判の動作に密接な関連を及ぼすスポーツ映像の区間を抽出する場合は審判の腕の角度を用いることが好ましい。
【００３７】
再び図２を用いてプレー区間抽出処理におけるステップＳ２０４を説明する。
【００３８】
ステップＳ２０４においてプロセッサ１０１は残りフレームの有無を判定する。映像が途中であれば残りフレームが有る（ステップＳ２０４でＹｅｓ）ので処理がステップＳ２０１に戻る。映像のフレームが最後尾に達していれば残りフレームが無い（ステップＳ２０４でＮｏ）ので処理がステップＳ２０５へ進む。
【００３９】
ステップＳ２０５においてプロセッサ１０１は推定された審判の姿勢から審判の動作を推定する。推定された審判の姿勢とはステップＳ２０３で推定された審判の姿勢である。
【００４０】
図５は実施の形態１における審判の動作を推定する方法を説明する図である。
【００４１】
図５に示される表を表現するデータは記憶部１０２に記憶されているものとする。
【００４２】
「フレーム番号」と記載された列にはフレームが何フレーム目であるかが記載されている。
【００４３】
「審判の姿勢」と記載された列にはフレーム番号に対応するフレームにおけるステップＳ２０３で推定された審判の姿勢が記載されている。
【００４４】
「審判の動作」と記載された列には審判の姿勢から推定される審判の動作が記載されている。
【００４５】
「フレーム番号」と「審判の姿勢」の列はステップＳ２０５が処理される直前までにプロセッサ１０１によって記憶部１０２に記憶されている。
【００４６】
プロセッサ１０１は「審判の姿勢」の遷移に基づいて「審判の動作」を推定する。プロセッサ１０１は推定した「審判の動作」を「フレーム番号」と「審判の姿勢」に対応付けて記憶部１０２に記憶させる。
【００４７】
プロセッサ１０１が「審判の姿勢」の遷移に基づいて「審判の動作」を推定する手法の一例を説明する。本実施の形態ではＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）を用いて「審判の姿勢」の遷移に基づいて「審判の動作」を推定する方法を説明する。ＬＵＴは記憶部１０２に記憶された仮想的なデータ構造である。ＬＵＴには審判の姿勢の遷移をパターン化したものと審判の動作とが定義として対応付けられて記録されている。審判の姿勢の遷移とは例えば「片手を挙げて下げる」「両手を挙げ続ける」のように表現されるものである。プロセッサ１０１は審判の姿勢の遷移がＬＵＴに定義された所定のパターンとして出現したか否かを「フレーム番号」と「審判の姿勢」の列から判断する。プロセッサ１０１は審判の姿勢の遷移がＬＵＴに定義された所定のパターンとして出現した場合に、所定の審判の動作が行われたものと推定する。審判の動作とは「レディー・フォー・プレイ」や「タッチダウン」のような審判の行う判断を示す動作のことである。
【００４８】
例えば図５における審判の姿勢の遷移５０１は、審判が片手を挙げ（フレーム番号１０１）、徐々に審判が片手を下げ（フレーム番号１０１〜１９９（図示せず））、審判が片手を下げ終わる（フレーム番号２００）という審判の姿勢の遷移である。一方で記憶部１０２のＬＵＴには審判が片手を挙げ、徐々に審判が片手を下げ、審判が片手を下げ終わるという審判の姿勢の遷移がパターン化されて、「レディー・フォー・プレイ」という審判の動作と対応付けて記録されている。プロセッサ１０１は審判の姿勢の遷移５０１がＬＵＴ内の審判の遷移のパターンと一致することを検知することで、当該パターンと対応付けられた「レディー・フォー・プレイ」という審判の動作が行われたものと推定する。プロセッサ１０１は審判の姿勢の遷移５０１と「レディー・フォー・プレイ」という審判の動作とを対応付けて記憶部１０２に記録する。
【００４９】
同様に、図５における審判の姿勢の遷移５０２は、審判が両手を挙げ（フレーム番号６００）、審判が両手を挙げた姿勢を維持し（フレーム番号４０１〜６９９（図示せず））、所定の期間まで両手を挙げた姿勢を維持する（フレーム番号７００）という審判の姿勢の遷移である。プロセッサ１０１はＬＵＴを参照することで、審判の姿勢の遷移５０２によって「タッチダウン」という審判の動作が行われたものと推定する。プロセッサ１０１は審判の姿勢の遷移５０２と「タッチダウン」という審判の動作を対応付けて記憶部１０２に記録する。
【００５０】
同様に、図５における審判の姿勢の遷移５０３は、審判が片手を挙げ（フレーム番号５０００）、審判が両手を挙げた姿勢を維持し（フレーム番号５００１〜５０９９（図示せず））、所定の期間まで両手を挙げた姿勢を維持する（フレーム番号５１００）という審判の姿勢の遷移である。プロセッサ１０１はＬＵＴを参照することで、審判の姿勢の遷移５０３によって「節（クオーター）の終了」という審判の動作が行われたものと推定する。プロセッサ１０１は審判の姿勢の遷移５０３と「節の終了」という審判の動作を対応付けて記憶部１０２に記録する。
【００５１】
上述した以外の審判の動作もパターン化され、ＬＵＴとして記憶部１０２に記録される。以下代表的なものについて審判の動作の遷移と共に例示する。
【００５２】
タイム・イン：片手を回す。
【００５３】
タイム・アウト：両手を挙げて交差させる。
【００５４】
セーフティー：両手を頭の上で合わせる。
【００５５】
ロス・オブ・ダウン：両手を後頭部に合わせる。
【００５６】
不成功：両手を胸の前で交差させる。
【００５７】
プロセッサ１０１が審判の腕の角度を推定し、推定した腕の角度に基づいて審判の動作を推定することはプロセッサ１０１が審判の姿勢から審判の動作を推定する例の一つである。よって、プロセッサ１０１が他の方法を用いて審判姿勢から審判の動作を推定することも本開示に含まれる。例えばプロセッサ１０１は既知の機械学習手法を用いることで審判の姿勢から審判の動作を推定してもよい。また、プロセッサ１０１は既知のパターン認識手法を用いることで審判の姿勢から審判の動作を推定してもよい。ただし、本実施の形態のようにプロセッサ１０１が審判の腕の角度を推定し、推定した腕の角度に基づいて審判の動作を推定するようにすると、スポーツの審判は腕を用いた動作を行うことが多いので、審判の動作に対する推定の精度が向上する。なお、審判の動作をより精度良く推定するために、審判の姿勢を審判の腕の角度に加えて審判の腕の位置から推定してもよい。このようにすると、「タイム・アウト」と「不成功」のように腕の角度だけでは識別が比較的困難である審判の動作を識別し易くすることができる。
【００５８】
ステップＳ２０６においてプロセッサ１０１は推定された審判の動作からプレー区間を抽出する。審判の動作とはステップＳ２０５で推定された審判の動作である。プレー区間とはスポーツ映像のうちの一区間であって、審判の動作を始点と終点とする区間である。
【００５９】
図６を用いることで、プロセッサ１０１が推定された審判の動作からプレー区間を抽出する処理の説明を行う。図６は、実施の形態１における推定された審判の動作からプレー区間を抽出する処理を説明する図である。図６において映像６０１はスポーツ映像の全映像区間を示すものとする。図６において（１）レディー・フォー・プレイ、（２）タイム・イン、（３）タッチダウン、（４）節の終了、（５）節の終了はそれぞれステップＳ２０５で推定された審判の姿勢である。図６は各審判の姿勢が、映像６０１のどの時点での審判の姿勢なのかを図示している。
【００６０】
プロセッサ１０１はプレー区間の属性に基づいて審判の動作からプレー区間を抽出する。プレー区間の属性とは、プレー区間に対して分類を行った結果に基づいて与えられる属性である。プレー区間の分類は任意に行うことができるが、区間抽出の対象となるスポーツのルール上で意義のある区間とすることが望ましい。本実施の形態においてプレー区間の属性は記憶部１０２に定義されて記録されている。本実施の形態において、定義されているプレー区間の属性の一例を始点と終点の審判の動作の例と共に説明する。
【００６１】
プレー区間の属性の一例に「試合開始から試合終了までの区間」がある。スポーツ映像は一般に試合開始前の練習等の映像や試合終了後のセレモニーの映像を記録していることが多い。プレー区間抽出装置１００のユーザがスポーツ映像のうち試合が実際に行われている区間のみに関心がある場合は、スポーツ映像から「試合開始から試合終了までの区間」を抽出することが有用である。アメリカンフットボールを例に取ると、映像６０１において最初に出現する「レディー・フォー・プレイ」が、「試合開始から試合終了までの区間」において、始点となるべき審判の動作の例である。映像６０１において最後に出現する「節の終了」が終点のとなるべき審判の動作の例である。図６においては（１）レディー・フォー・プレイから（５）節の終了までが「試合開始から試合終了までの区間」である。プロセッサ１０１は記憶部１０２に記録された審判の動作から、映像６０１において最初に出現する「レディー・フォー・プレイ」および最後に出現する「節の終了」を検出することで、プレー区間としての「試合開始から試合終了までの区間」を抽出する。
【００６２】
プレー区間の属性の他の一例に「計時を行う区間」がある。アメリカンフットボール等のスポーツにおいては「計時を行う区間」に実際のプレーの大半が行われる。プレー区間抽出装置１００のユーザが、実際のプレーが行われる区間のみに関心がある場合は、スポーツ映像から「計時を行う区間」を抽出することが有用である。アメリカンフットボールを例に取ると、映像６０１において都度出現する「タイム・イン」が、「計時を行う区間」において、始点となるべき審判の動作の例である。映像６０１において「タイム・イン」に引き続いて都度出現する「タッチダウン」や「タイム・アウト」が、終点となるべき審判の動作の例である。図６においては（２）タイム・インから（３）タッチダウンまでが「計時を行う区間」である。プロセッサ１０１は記憶部１０２に記録された審判の動作から映像６０１において都度出現する「タイム・イン」および当該タイム・インに引き続いて都度出現する「タッチダウン」や「タイム・アウト」を検出することで、プレー区間としての「計時を行う区間」を抽出する。なお、スポーツ映像は通常「計時を行う区間」を多数含む。
【００６３】
プレー区間の属性の他の一例に「節の切り替えを単位とする区間」がある。節とは、スポーツを構成する時間的な固まりのことであり、サッカーの前半後半、アメリカンフットボールのクオーターなどが含まれる。プレー区間抽出装置１００のユーザが、特定の節のプレーのみに関心がある場合は、スポーツ映像から「節の切り替えを単位とする区間」を抽出することが有用である。アメリカンフットボールを例に取ると、映像６０１において最初に登場する「タイム・イン」、又は「節の終了」の直後に登場する「タイム・イン」が、「節の切り替えを単位とする時間」において、始点となるべき審判の動作の例である。映像６０１において「節の終了」、が終点となるべき審判の動作の例である。図６においては（２）タイム・インから（３）節の終了までが「節の切り替えを単位とする区間」である。プロセッサ１０１は記憶部１０２に記録された審判の動作から「タイム・イン」や「節の終了」を検出することで「節の切り替えを単位とする区間」を抽出する。
【００６４】
以上に述べたプレー区間の属性は一例である。プレー区間の属性はスポーツの種類等に応じて様々なものが設定できる。例えばチーム対抗スポーツにおいてはプレー区間の属性として「攻守の切り替えを単位とする区間」を設定してもよい。また、プレー区間の属性として、「（実際の選手の）プレーが行われていない区間」を設定してもよい。つまり、本本開示においてプレーとは実際の選手のプレーが行われている概念に加えて、実際の選手のプレーが行われている前後における人々の動静をも含む。
【００６５】
ステップＳ２０７において、プロセッサ１０１はプレー区間の長さが許容期間を超えているか否かを確認する。プレー区間の長さとはステップＳ２０６で抽出されたプレー区間の時間的な長さである。許容期間とはプレー区間について、またはプレー区間の属性について規定された期間である。本開示におけるプレー区間抽出処理には、映像を用いた推定処理が含まれるから、プロセッサ１０１がプレー区間を誤って抽出するおそれがある。ステップＳ２０７はそのように誤って抽出したプレー区間を検出するための処理である。たとえば、「計時を行う区間」は５−６秒の長さであることが平均であり、１分を越える期間であることは異常である。そこで予め記憶部１０２は「計時を行う区間」について３０秒などの許容期間を記録している。プロセッサ１０１はステップＳ２０７において「計時を行う区間」の長さが許容期間を超えているか否かを判断する。区間の長さが許容期間を超えている場合（ステップＳ２０７でＹｅｓ）は、表示部１０４にその旨や警告を表示するなどの例外処理を行う（ステップＳ２０８）。プロセッサ１０１は例外処理を行った後は、プレー区間抽出処理を終了するか、または、再度ステップＳ２０１〜Ｓ２０６のうち全部又はいずれかの処理を行う。区間の長さが許容期間を超えていない場合（ステップＳ２０７でＮｏ）は、プロセッサ１０１はプレー区間抽出処理を終了する（ステップＳ２０９）。
【００６６】
［１−３．効果等］
以上のように、本実施の形態において、プレー区間抽出方法またはプレー区間抽出装置はプロセッサ１０１がスポーツ映像中に記録されたスポーツのプレー区間を抽出する。プロセッサ１０１はスポーツ映像における審判を識別し、識別された審判の姿勢を推定し、推定された姿勢から審判の動作を推定し、推定された審判の動作に基づいてプレー区間を抽出する。
【００６７】
これにより、スポーツのプレー区間を支配する審判の動作に基づいてプレー区間を抽出することができる。そのため、プレー区間を精度よく抽出することができる。
【００６８】
また、本実施の形態においてプロセッサ１０１は推定された姿勢の遷移に基づいて審判の動作を推定する。
【００６９】
これにより、審判の動作を精度良く推定することができる。そのため、プレー区間をより精度よく抽出することができる。
【００７０】
また、本実施の形態においてプロセッサ１０１はプレー区間の属性に基づいて審判の動作からプレー区間を抽出する。
【００７１】
これにより、プレー区間抽出装置またはプレー区間抽出方法のユーザの関心に応じてプレー区間を抽出することができる。
【００７２】
また、本実施の形態においてプレー区間は少なくともスポーツの、試合開始から試合終了までの区間、計時を行う区間、節の切り替えを単位とする区間、の区間のうちの少なくとも１つの属性を持ちうる。
【００７３】
これにより、より具体的な有用性の高いプレー区間の抽出が可能となる。
【００７４】
また、本実施の形態においてプロセッサ１０１は審判の腕の角度を推定し、推定した腕の角度に基づいて審判の動作を推定する。
【００７５】
これにより、審判の動作をより精度良く推定することができる。そのため、プレー区間をより精度よく抽出することができる。
【００７６】
また、本実施の形態においてプロセッサ１０１は抽出したプレー区間が所定の長さで定義された許容期間を超えているか否かを判断する。
【００７７】
これにより、プレー区間を誤って抽出した際に、警告を発することや、再度プレー区間の抽出を行うことが可能になる。
【００７８】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００７９】
そこで、以下、他の実施の形態を例示する。
【００８０】
図７は、他の実施の形態におけるプレー区間抽出処理を説明するためのフローチャートである。実施の形態１では、ステップＳ２０６においてプロセッサ１０１が推定された審判の動作からプレー区間を抽出した。ここで、ステップＳ７０６に示すように、プロセッサ１０１は審判の動作に映像の動き量を判断要素に加えてプレー区間を抽出してもよい。映像の動き量とは引き続く２以上のフレームに基づいて判断される映像中の物体の動きを示す指標である。映像の動き量の種類としては例えばオプティカルフローが知られている。スポーツ映像においては映像の動き量は、所定のプレーが始まる直前に小さくなり、プレーが始まった直後に大きくなり、プレーが終了すると小さくなることが一般的である。そこでプロセッサ１０１が推定された審判の動作に加えて、映像の動き量の傾向を加えて判断を行うことでより効率的にプレー区間を抽出することができる。記憶部１０２は映像の動き量の傾向として相応しい値をプレー区間の属性毎に記録してもよい。このようにするとプレー区間毎に、プレー区間の最中に映像の動き量が少ないものであるものや、特定のタイミングで動き量が変化するものなどを記述することができる。例えばプレーが行われていると判断して抽出した区間において動き量が少ないような場合は、プロセッサ１０１は当該区間においてはプレーが行われていない可能性があると判断し、表示部１０４に警告を表示させることができる。これにより、プレー区間抽出装置１００の使用者はプレー区間が正しく抽出されているか否かをより効率的に確かめることができる。
【００８１】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００８２】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００８３】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００８４】
本開示は、スポーツ映像を解析する装置に適用可能である。具体的には、汎用コンピュータなどに、本開示は適用可能である。
【符号の説明】
【００８５】
１００    プレー区間抽出装置
１０１    プロセッサ
１０２    記憶部
１０３    入力部
１０４    表示部
１０５    バス
５０１    審判の姿勢の遷移
５０２    審判の姿勢の遷移
５０３    審判の姿勢の遷移
６０１    映像
【図１】
2016067553.tif 000003
【図２】
2016067553.tif 000004
【図３】
2016067553.tif 000005
【図４】
2016067553.tif 000006
【図５】
2016067553.tif 000007
【図６】
2016067553.tif 000008
【図７】
2016067553.tif 000009
【手続補正書】
【提出日】平成28年12月5日(2016.12.5)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
記憶部１０２は情報を一時的に、あるいは恒久的に記憶する。記憶部１０２はいわゆるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの概念を含む。プレー区間抽出装置１００は用途やアクセススピードの必要性に応じて記憶部１０２を複数有していてもよい。ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを適用することで記憶部１０２を構成することができる。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
例えば図５における審判の姿勢の遷移５０１は、審判が片手を挙げ（フレーム番号１０１）、徐々に審判が片手を下げ（フレーム番号１０１〜１９９（図示せず））、審判が片手を下げ終わる（フレーム番号２００）という審判の姿勢の遷移である。一方で記憶部１０２のＬＵＴには審判が片手を挙げ、徐々に審判が片手を下げ、審判が片手を下げ終わるという審判の姿勢の遷移がパターン化されて、「レディー・フォー・プレイ」という審判の動作と対応付けて記録されている。プロセッサ１０１は審判の姿勢の遷移５０１がＬＵＴ内の審判の姿勢の遷移のパターンと一致することを検知することで、当該パターンと対応付けられた「レディー・フォー・プレイ」という審判の動作が行われたものと推定する。プロセッサ１０１は審判の姿勢の遷移５０１と「レディー・フォー・プレイ」という審判の動作とを対応付けて記憶部１０２に記録する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
プレー区間の属性の他の一例に「節の切り替えを単位とする区間」がある。節とは、スポーツを構成する時間的な固まりのことであり、サッカーの前半後半、アメリカンフットボールのクオーターなどが含まれる。プレー区間抽出装置１００のユーザが、特定の節のプレーのみに関心がある場合は、スポーツ映像から「節の切り替えを単位とする区間」を抽出することが有用である。アメリカンフットボールを例に取ると、映像６０１において最初に登場する「タイム・イン」、又は「節の終了」の直後に登場する「タイム・イン」が、「節の切り替えを単位とする区間」において、始点となるべき審判の動作の例である。映像６０１において「節の終了」、が終点となるべき審判の動作の例である。図６においては（２）タイム・インから（３）節の終了までが「節の切り替えを単位とする区間」である。プロセッサ１０１は記憶部１０２に記録された審判の動作から「タイム・イン」や「節の終了」を検出することで「節の切り替えを単位とする区間」を抽出する。
【国際調査報告】
2016067553.tif 000010
2016067553.tif 000011
2016067553.tif 000012
2016067553.tif 000013