(57)【要約】  プールの中に存在する選手の状態を精度よく特定するために、本開示における選手状態特定装置または選手状態特定方法のプロセッサは、プールに存在する選手を撮影することで得られた映像に対して、選手を検出する処理を行った結果を参照し、選手がプールの端側の領域に存在した以降の選手の検出の結果に基づいて、選手の進行方向（５００）をそれまでの進行方向とは異なる方向であると特定する。これにより、選手の進行方向がより正確に特定できるようになるため、プールの中に存在する選手の状態を精度よく特定することができる。
2017199497.tif 000002
【特許請求の範囲】
【請求項１】
プールにおける水泳競技を撮影した映像に存在する選手の状態をプロセッサが特定する方法であって、
前記プロセッサは、
前記映像に対して前記選手を検出する処理を行った結果を参照し、前記選手が前記プールの端側の領域に存在した以降の前記選手の検出の結果に基づいて、前記選手の進行方向をそれまでの進行方向とは異なる方向であると特定する、
選手状態特定方法。
【請求項２】
前記選手が前記プールの端側の領域に存在した以降、所定の期間内に前記選手を検出できた回数が、閾値以下の場合に前記選手の進行方向をそれまでの進行方向とは異なる方向であると特定する、
請求項１に記載の選手状態特定方法。
【請求項３】
前記プロセッサは、
前記映像に前記選手に関する情報を合成する際の、前記情報の表示状態を切り替える為の表示制御情報を生成し、
前記選手が前記プールの端側の領域に存在した場合に、前記表示制御情報を、前記情報を表示させない旨を表す情報として定める、
請求項１に記載の選手状態特定方法。
【請求項４】
前記プロセッサは、
前記映像に前記選手に関する情報を合成する際の、前記情報の表示状態を切り替える為の表示制御情報を生成し、
前記選手の進行方向をそれまでの進行方向とは異なる方向であると特定した後に、前記プールの端側の領域外で、前記選手が前記映像から検出された場合に、前記表示制御情報を、前記情報を表示させる旨を表す情報として定める、
請求項１に記載の選手状態特定方法。
【請求項５】
プールにおける水泳競技を撮影した映像に存在する選手の状態をプロセッサが特定する選手状態特定装置であって、
前記プロセッサは、
前記映像に対して前記選手を検出する処理を行った結果を参照し、前記選手が前記プールの端側の領域に存在した以降の前記選手の検出の結果に基づいて、前記選手の進行方向をそれまでの進行方向とは異なる方向であると特定する、
選手状態特定装置。
【請求項６】
前記選手が前記プールの端側の領域に存在した以降、所定の期間内に前記選手を検出できた回数が、閾値以下の場合に前記選手の進行方向をそれまでの進行方向とは異なる方向であると特定する、
請求項５に記載の選手状態特定装置。
【請求項７】
前記プロセッサは、
前記映像に前記選手に関する情報を合成する際の、前記情報の表示状態を切り替える為の表示制御情報を生成し、
前記選手が前記プールの端側の領域に存在した場合に、前記表示制御情報を、前記情報を表示させない旨を表す情報として定める、
請求項５に記載の選手状態特定装置。
【請求項８】
前記プロセッサは、
前記映像に前記選手に関する情報を合成する際の、前記情報の表示状態を切り替える為の表示制御情報を生成し、
前記選手の進行方向をそれまでの進行方向とは異なる方向であると特定した後に、前記プールの端側の領域外で、前記選手が前記映像から検出された場合に、前記表示制御情報を、前記情報を表示させる旨を表す情報として定める、
請求項５に記載の選手状態特定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、選手状態特定方法および装置に関する。
【背景技術】
【０００２】
従来から、映像において移動体を追跡する移動体追跡装置が知られている。例えば、特許文献１に記載の技術では、過去のフレーム画像における移動体の位置情報に基づき今回のフレーム画像における移動体の予測位置を求める。そして、今回のフレーム画像における画像データから移動体に特有の所定の特徴を持つ候補物体を抽出し、抽出された候補物体のうち予測位置により近い候補物体を移動体として割り当てる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−４６６４７号公報
【発明の概要】
【０００４】
本開示は、プールの中に存在する選手の状態を精度よく特定する方法および装置に関する。
【０００５】
本開示における選手状態特定方法および選手状態特定装置は、映像に対して選手を検出する処理を行った結果を参照し、選手がプールの端側の領域に存在した以降の選手の検出の結果に基づいて、選手の進行方向をそれまでの進行方向とは異なる方向であると特定する。
【０００６】
本開示における選手状態特定方法および選手状態特定装置は、プールの中に存在する選手の状態を精度よく特定するのに有効である。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施の形態１における選手状態特定装置の使用の様子を示す図である。
【図２】図２は、実施の形態１におけるプールにおける水泳競技画像を撮影した映像の例を示す図である。
【図３】図３は、実施の形態１における選手状態特定装置の構成を示す図である。
【図４】図４は、実施の形態１における選手状態特定装置の基本動作を説明するフローチャートである。
【図５】図５は、実施の形態１において映像に進行方向が重畳された例を示す図である。
【図６】図６は、実施の形態１において映像に検出結果が重畳された例を示す図である。
【図７】図７は、選手位置修正処理を説明するフローチャートである。
【図８】図８は、検出結果有効化処理を説明するフローチャートである。
【図９】図９は、検出結果無効化処理を説明するフローチャートである。
【図１０】図１０は、選手位置がプール端に差し掛かった例を示す図である。
【図１１】図１１は、ターン検知処理を説明するフローチャートである。
【図１２】図１２は、実施の形態１におけるターン検知の際の表示部の様子を示す図である。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
（実施の形態１）
以下、図１〜１２を用いて、実施の形態１を説明する。
【００１１】
［１−１．構成］
図１は、実施の形態１における選手状態特定装置の使用の様子を示す図である。
【００１２】
選手状態特定装置１００は、汎用コンピュータに選手状態特定プログラムがインストールされたものである。選手状態特定装置１００は撮像装置２００と通信可能に接続される。選手状態特定装置１００は専用の組込み機器であってもよいし、ハードウェア的に構成されてもよい。選手状態特定装置１００は典型的には映像を編集することで、最終的な映像コンテンツを生成するための装置である。よって、選手状態特定装置１００のユーザは映像の編集作業を担当する作業者であることが想定される。
【００１３】
撮像装置２００は、ビデオカメラである。撮像装置２００はプール３００を図１に示すように俯瞰して撮像する。撮像装置２００が撮像した動画ないし画像は選手状態特定装置１００へ送信される。
【００１４】
プール３００は、複数のレーンを有する。プール３００にはコースロープ３０２が複数張られている。なお、図１においては最上部のコースロープのみに符号を付したが、図１における破線状のものはコースロープを表す。コースロープ３０２はレーンを仕切る目印である。レーンはコースロープ３０２と隣接するコースロープとの間の領域である。
【００１５】
図２は、実施の形態１におけるプールにおける水泳競技画像を撮影した映像の例を示す図である。図１に示すように、実施の形態１においては、撮像装置２００がプール３００を俯瞰するように撮像する。そのため、図２に示すように撮像装置２００が撮像した画像は奥から手前にかけてプール３００が広がって見える画像となる。本実施の形態では処理対象となる映像はプールにおける水泳競技を撮影した映像である。選手３１０はプールの中を泳いでいる。
【００１６】
図３は、実施の形態１における選手状態特定装置の構成を示す図である。選手状態特定装置１００はプロセッサ１０１と、記憶部１０２と、通信部１０３と、入力部１０４と、表示部１０５と、バス１０６とを有する。
【００１７】
プロセッサ１０１は演算を行うことで選手状態特定装置の他の構成要素を制御する。
【００１８】
記憶部１０２は情報を一時的に、あるいは恒久的に記憶する。記憶部１０２は選手状態特定装置のＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などに相当する。選手状態特定装置１００は用途やアクセススピードの必要性に応じて記憶部１０２を複数備えても良い。ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などを適用することで記憶部１０２を構成することができる。
【００１９】
通信部１０３は、選手状態特定装置１００と撮像装置２００とを接続するインターフェースである。通信部１０３は、有線接続インターフェースでも良いし、無線接続インターフェースでも良い。通信部１０３は、撮像装置２００が撮像した動画または画像を選手状態特定装置１００に送信するためのものである。よって、記憶媒体を用いて動画または画像を撮像装置２００から選手状態特定装置１００へ移動する場合は、通信部１０３は必須の構成ではない。
【００２０】
入力部１０４は外部からの信号を受け付ける。入力部１０４は選手状態特定装置１００の入力装置や入力インターフェースなどに相当する。マウスやキーボードなどの入力装置、通信ポートや無線通信デバイスなどの入力インターフェースを適用することで入力部１０４を構成することができる。
【００２１】
表示部１０５は外部へ情報を表示する。液晶ディスプレイなどを適用することで表示部１０５を構成することができる。
【００２２】
バス１０６は選手状態特定装置１００を構成する各要素を接続する経路である。プロセッサ１０１にバス１０６を統合することでプロセッサ１０１の内部にバス１０６を構成することもできる。バス１０６は各要素を有線で接続しても良いし、各要素を無線で接続しても良い。
【００２３】
以上に述べた選手状態特定装置１００の構成は一例である。したがって以上に述べた構成に別の構成要素を追加することで選手状態特定装置１００を構成してもよい。また、以上に述べた構成から構成要素の一部を必要に応じて削除することで選手状態特定装置１００を構成してもよい。また、以上に述べた構成要素を互いに統合することで選手状態特定装置１００を構成してもよい。また、以上に述べた構成要素を以上の構成要素に分離して選手状態特定装置１００を構成してもよい。
【００２４】
［１−２．動作］
以上に述べた選手状態特定装置１００の動作を説明する。なお、選手状態特定装置１００は主としてプロセッサ１０１が選手状態特定装置１００の各要素と協業してプログラムを実行することで動作するものである。
【００２５】
［１−２−１．基本動作］
図４は、実施の形態１における選手状態特定装置の基本動作を説明するフローチャートである。
【００２６】
ステップＳ４００において、選手状態特定装置１００は、撮像装置２００から通信部１０３を介して映像を受け取る。
【００２７】
プロセッサ１０１はステップＳ４００で受け取った動画内の領域においてレーンを現す領域がどこであるかを定義する。選手状態特定装置１００がレーンを現す領域を定義する方法はさまざまなものが考えられる。たとえば、選手状態特定装置１００の使用者が映像内の所定の範囲を、入力部１０４を介して指定し、当該指定された範囲がレーンであるとプロセッサ１０１が定義してもよい。また、映像内からコースロープ３０２を検出し、当該検出されたコースロープ３０２の間の領域がレーンであると、プロセッサ１０１が定義してもよい。レーンは複数が定義されてもよいし、ひとつのみが定義されてもよい。以降の処理は特に言及しない限りレーン（およびレーン内の選手）毎に独立に処理がされる。
【００２８】
レーン領域の定義が完了するとプロセッサ１０１は、映像を再生して表示部１０５に表示する。以降の処理は映像が再生された状態で行われてもよいし、映像が停止した状態で行われてもよい。プロセッサ１０１は以降の処理で受け付ける入力を、表示部１０５で再生中の映像の一コマ（画像）に対する入力として認識する。
【００２９】
ステップＳ４０２において、プロセッサ１０１は映像におけるレーン領域それぞれに重畳する形で選手の進行方向を、表示部１０５を介して表示する。ステップＳ４０２で表示される進行方向を初期方向と呼ぶ。
【００３０】
図５は、実施の形態１において映像に進行方向が重畳された例を示す図である。進行方向５００は図５において上向きの三角形で表現される。進行方向５００は、図５の中央を縦方向に走るレーン３本に対応する形で、３つが映像中に重畳されている。図５において進行方向５００が指し示す方向は上向きである。本実施の形態においては、スタート直後の選手が泳ぎだす方向は手前から奥に向かう方向であることを前提としている。よって、初期方向は上向きとなっている。
【００３１】
ステップＳ４０４において、プロセッサ１０１は選手状態特定装置１００のユーザから進行方向の変更指示を受け付けたか否かを判定する。水泳競技の種類によってはスタート直後の選手が泳ぎだす方向が奥方向から手前である場合がある。そのような場合に、ユーザは入力部１０４を介して進行方向を変更する旨を入力する。
【００３２】
ステップＳ４０６（ステップＳ４０４でＹｅｓ）において、プロセッサ１０１は選手状態特定装置１００のユーザから受け付けた変更指示に基づいて進行方向を変更する。水泳競技における選手の進行方向は原則２方向（順方向と反対方向）である。よって、本実施の形態では変更指示を受け付けると、プロセッサ１０１は進行方向を反転させる。プロセッサ１０１が進行方向を判定させると表示部１０５にも反映がされる。なお、ステップＳ４０４において行われた変更指示は初期方向に対する変更指示であるから、個別のレーンに対する進行方向を変更する指示ではなくレーン全体に対する進行方向を変更する指示であると考えられる。よって、ステップＳ４０４における方向変更入力は、全レーンを対象とする変更入力として、入力部１０４のショートカットキーの押下などの簡易な入力によって行われる。
【００３３】
ステップＳ４０８において、プロセッサ１０１は選手状態特定装置１００のユーザから追跡開始の指示を受け付けたか否かを判定する。選手状態特定装置１００のユーザは再生中の映像を観ながら所定のタイミングで入力部１０４を用いて追跡指示を入力する。本実施の形態において所定のタイミングとは水泳競技がスタートするタイミングを想定している。追跡指示が入力されると後述するように映像中から選手を検出する処理が開始する。水泳競技がスタートするタイミング以前から選手を検出するとプロセッサ１０１への負荷が高くなり、また選手を検出する処理で得られるデータが競技中以外のものを含むことになるためデータの有用性が落ちるおそれがある。なお、ステップＳ４０８においてプロセッサ１０１が追跡開始の指示を受け付けていない場合（ステップＳ４０８でＮｏ）、処理がステップＳ４０４へとループする。
【００３４】
ステップＳ４１０（ステップＳ４０８でＹｅｓ）において、プロセッサ１０１は映像に対して選手を検出する処理を行う。選手の検出は映像における選手の座標（＝選手位置）を特定することで行われる。
【００３５】
本実施の形態においてプロセッサ１０１は、背景画像（あらかじめ無人のプールを撮像することで得られる）と、現在表示中の画像との差分（＝背景差分）が大きい領域の中心座標を選手位置として検出する。なお、選手を検出するために背景差分を用いることは必須ではなくフレーム間差分（前の画像と後ろの画像との差分）が大きい領域の中心座標を選手位置として検出してもよい。また、表示中の画像の色相成分を用いて、前景の画素を抽出し、前景の画素が繋がって大きな領域となっている領域（前景領域）の中心座標を選手位置として検出しても良い。
【００３６】
本実施の形態では、検出の精度を高めるため、選手の検出を行う領域を限定する。この領域を検出対象領域という。本実施の形態において検出対象領域は、前の画像における選手位置の周囲を占める領域とする。好ましくは検出対象領域の形は、前の画像における選手位置よりも進行方向に偏らせた形とすることが望ましい。本実施の形態において選手の検出はレーン毎に行われる。よって、レーン毎に検出対象領域が設定される。検出対象領域の初期値はスタート地点から（現実のプールにおいて）５〜１０ｍ付近の箇所とした。スタート直後の領域は選手が深く潜っている（潜水している）ため、選手の検出が困難であることが多いためである。
【００３７】
映像に対して選手を検出する処理を行っても必ずしも選手が検出されるとは限らない。たとえば背景差分、フレーム間差分、前景領域等がうまく抽出できない場合は選手が検出できない。上述したように選手が深く潜っている場合は背景差分、フレーム間差分、前景領域等がうまく抽出できないことが多い。そこで、後述する検出結果無効化処理や選手位置修正処理を必要に応じて行うと良い。
【００３８】
ステップＳ４１２において、プロセッサ１０１は、映像における選手位置に検出結果を重畳して表示する。
【００３９】
図６は、実施の形態１において映像に検出結果が重畳された例を示す図である。検出結果６００は図６に示すようにレーン毎に選手の位置にほぼ一致して表示される。本実施の形態において検出結果６００は選手位置を中心とする円である。なお、検出結果６００はステップＳ４１０によって得られた選手位置そのものに基づいて表示されるのではなくてもよい。つまり、選手位置をそれまでの選手位置等の履歴等に基づいて補正したものに基づいて表示されてもよい。また、映像編集の便宜のために、ステップＳ４１０によって得られた選手位置そのものに基づいた検出結果と、選手位置を補正したものに基づいた検出結果とを同時に表示してもよい。
【００４０】
ステップＳ４１４において、プロセッサ１０１は検出対象領域の更新を行う。
【００４１】
ステップＳ４１６において、プロセッサ１０１は選手状態特定装置１００のユーザから処理終了の指示を受け付けたか否かを判定する。選手状態特定装置１００のユーザは、映像中の競技が終了したことを確認すると入力部１０４を介して処理終了の指示を入力する。処理終了の指示を受け付ける（ステップＳ４１６でＹｅｓ）と、選手状態特定装置の処理が終了する。
【００４２】
処理終了の指示入力を受け付けていない（ステップＳ４１６でＮｏ）間は処理がＳ４１０へループする。このステップＳ４１０〜ステップＳ４１６のループ内に処理が存在する状態を選手検出処理状態という。
【００４３】
以降では、選手検出処理状態中における、選手状態特定装置１００のユーザからの指示に基づいて、選手状態特定装置１００が行う処理を説明する。なお、以降の処理は必ずしも選手検出を実際に動作している最中に並行して行われる必要はない。一連の映像において選手を検出し終わった結果のリスト（選手位置のリスト）をプロセッサ１０１が参照しながら、以降の処理を行うことも可能である。
【００４４】
［１−２−２．選手位置修正処理］
図７は、選手位置修正処理を説明するフローチャートである。
【００４５】
ステップＳ７００において、プロセッサ１０１は、選手状態特定装置１００のユーザから選手位置の修正の指示を受け付けたか否かを判定する。
【００４６】
ステップＳ４１０における選手検出の結果が誤っている場合、選手状態特定装置１００のユーザは、映像中において選手が真に存在する箇所をクリックする。当該クリックを選手位置の修正の指示としてプロセッサ１０１は受け付ける。ここでの入力はクリック操作に限定されず、映像中の座標を特定することができる入力であれば、タッチパネルやキーボードによって入力されてもよい。
【００４７】
ステップＳ７０２（ステップＳ７００でＹｅｓ）において、プロセッサ１０１は、選手位置の修正の指示として受け付けたクリックの映像中における座標で、ステップＳ４１０において得た選手位置を更新する。選手位置が更新されると処理がステップＳ４１２へ戻る。
【００４８】
［１−２−３．検出結果有効化処理］
図８は、検出結果有効化処理を説明するフローチャートである。
【００４９】
ステップＳ８００において、プロセッサ１０１は、選手状態特定装置１００のユーザから検出結果の有効化指示を受け付けたか否かを判定する。
【００５０】
選手状態特定装置１００のユーザが選手状態特定装置１００を用いて映像を編集している際に確認する映像と、編集によって最終的に得られる映像コンテンツの映像とは異なる。映像コンテンツの映像においては、映像における選手の付近に選手の氏名、国籍、泳ぐ速度などの選手の属性などを表す情報（＝選手に関する情報）を表すＣＧなどが重畳されることになる。一方で、今までに述べた進行方向や、検出結果はユーザが選手状態特定装置１００の処理内容を確認する為に表示されるものであるから映像コンテンツには表示されない場合がある。
【００５１】
映像コンテンツを作成するために、ユーザは選手状態特定装置１００を用いることで選手の位置、進行方向、位置に基づく速度などの情報（選手状態）を得る。当該選手状態をＣＧ合成プログラムに渡すことで、当該選手状態に基づいて映像にＣＧを合成することができる。映像にＣＧを合成することで映像コンテンツが生成されることになる。たとえばＣＧ合成プログラムにおいては、選手位置を基準に進行方向とは逆方向に存在する領域にＣＧを合成することで選手の後ろにＣＧが追従する映像コンテンツを作成することが行われる。
【００５２】
検出結果有効化処理は、選手状態特定装置１００の検出結果を有効に設定する処理である。検出結果が有効であるか無効であるかの情報は、ＣＧ合成プログラムに渡される情報の一種である。ＣＧ合成プログラムは、検出結果の有効／無効に基づいて、当該検出結果を有する画像に（１）ＣＧを合成する／しないを決定する、または（２）ＣＧの状態（色、形状、文字など）を変更する、などの処理を行うことでＣＧの表示状態を切り替える。
【００５３】
本実施の形態では、検出結果の有効／無効は選手状態特定装置１００が自律的に切り替える場合もあれば、ユーザの指示に基づいて切り替える場合もある。
【００５４】
本実施の形態では、選手検出処理状態においては、ユーザは入力部１０４を介して随時検出結果の有効／無効を指示することができる。
【００５５】
ステップＳ８０２（ステップＳ８００でＹｅｓ）において、プロセッサ１０１は表示部１０５における検出結果の表示方法を変更する。検出結果の表示方法を変更するにはたとえば検出結果６００の色などを変更することなどが挙げられる。このようにすると、選手状態特定装置１００のユーザにとって検出結果が現在有効であるか否かが明確になり、最終的な映像コンテンツの仕上がりをユーザにとって想定しやすくなる。
【００５６】
本実施の形態において、選手がスタート台にいる間は、遠近法の関係から、選手があたかもスタート台から５ｍほど奥にいるように、選手位置を誤検知してしまうおそれがある。そこで、本実施の形態においては、プロセッサ１０１はデフォルトでは検出結果を無効としている。そして、水泳競技がスタートして選手が５ｍほど泳いだことをユーザが確認した後に、ユーザが検出結果の有効化指示を入力することを本実施の形態では想定している。
【００５７】
なお、プロセッサ１０１が検出結果有効化処理を自動で行うことも可能である。検出結果有効化処理を自動化する方法としては、背景差分が（１）プールのスタート台側端から５ｍ付近以内（あらかじめ映像内で領域を設定する）において（２）所定のサイズ以上（ノイズ除去のため）かつ（３）第２の所定のサイズ以下（スタート台上の選手と区別するため）で存在したことをもって、プロセッサ１０１が検出結果を有効に切り替えることが考えられる。なお、映像ノイズに基づく誤検知を低減するために上記（１）（２）（３）の条件が複数の画像において成立したことを条件として加えてもよい。
【００５８】
検出結果が有効に切り替えられると処理がステップＳ４１２へ戻る。
【００５９】
［１−２−４．検出結果無効化処理］
図９は、検出結果無効化処理を説明するフローチャートである。
【００６０】
上述したように、ステップＳ４１０で述べた選手検出は選手が深く潜っている場合は誤検出をするおそれがある。ここで、水泳競技において選手はプールの端（図２等におけるプールの上側端および下側端）でターンを行うために深く潜る。また、プールの端にはタッチパネルが設置されており、選手がコース端に到達したタイミングなどはタッチパネルのデータから取得可能であるため、映像から位置を取得する需要も低い。
【００６１】
よって、本実施の形態では選手がプールの端にいる場合は検出結果を無効にするべくプロセッサ１０１が図９に示す処理を行う。
【００６２】
ステップＳ９００において、プロセッサ１０１は選手位置がプール端に存在するか否かの判定を行う。図１０は、選手位置がプール端に差し掛かった例を示す図である。図１０に示されるように、映像中においてプール端の領域１０００はあらかじめユーザによって入力部１０４を介して指定されている。図１０に示すように、検出結果６００の中心（≒選手位置）がプール端の領域１０００に存在すると、プロセッサ１０１は選手位置がプール端に存在すると判定する。
【００６３】
ステップＳ９０２（ステップＳ９００でＹｅｓ）において、プロセッサ１０１は選手位置が不詳であるか否かを判定する。選手位置が不詳であるとは選手位置が検出されていないか、または選手位置が以前の選手位置と所定の範囲内にある場合を指す。なお、本ステップの処理を行うと選手位置が連続して端に存在することを改めて確認できるため、ステップＳ９００において、水しぶきや審判などを選手として誤検出した場合であっても、本ステップにてステップＳ９００の結果を校正することができる。結果として本ステップを行うことで、ステップＳ９００において判定した結果の信頼性が向上するという利点がある。しかし、本ステップの処理は検出結果無効化するために必須の処理ではない。
【００６４】
ステップＳ９０４（ステップＳ９０２でＹｅｓ）において、プロセッサ１０１は検出結果を無効へ切り替える。本実施の形態では上述したようにスタート後に検出結果が有効から無効へ切り替えた後に選手がプールの端に侵入することを想定している。
【００６５】
ステップＳ９０６において、プロセッサ１０１は表示部１０５における検出結果の表示方法を変更する。検出結果の表示方法を変更するにはたとえば検出結果６００の色などを変更することなどが挙げられる。このようにすると、選手状態特定装置１００のユーザにとって検出結果が現在無効であるか否かが明確になり、最終的な映像コンテンツの仕上がりをユーザにとって想定しやすくなる。
【００６６】
ステップＳ９０８において、プロセッサ１０１は処理の内部状態をターン判定状態にする。ターン判定状態とは後述するターン検知処理を行う状態である。なお、ターン検出状態は選手検出処理状態でもある。
【００６７】
検出結果が無効に切り替えられると処理がステップＳ４１２へ戻る。
【００６８】
［１−２−４−１．ターン検知処理］
図１１は、ターン検知処理を説明するフローチャートである。
【００６９】
ステップＳ９０８において、ターン判定状態になった際の処理を説明する。なお、ターン検出状態は選手検出処理状態でもあるから、ターン判定状態であってもステップＳ４１０〜ステップＳ４１６のループ処理や、その他の処理もターン検知処理と並行して行われる。
【００７０】
ステップＳ１１００において、プロセッサ１０１はターンが検知されたか否かを判定する。プロセッサ１０１は、ターンを選手検出の結果に基づいて検知する。選手検出の結果に基づいてターンを検知する方法は複数のものが考えられる。本実施の形態では、選手検出位置が、ターン検出状態となってから所定の期間（＝所定のフレーム画像）において選手を検出できた回数が、閾値以下の場合にターンを検出する。ターンの最中は選手位置を検知し難い一方で、ターンに要する通常の期間は既知であるため、このような判定基準を用いることでターンを適切に検知することができる。
【００７１】
他のターン検出方法としては、例えば、選手検出の結果に信頼度指標を設けることが考えられる。すなわち、選手検出位置が、ターン検出状態となってから所定の期間（＝所定のフレーム画像）において当該信頼度指標が所定の値を下回る回数が所定の回数以上ある場合にターンを検出することが考えられる。
【００７２】
また、他のターン検出手法としては、例えば選手検出ができなかった場合に選手位置を前フレームと同一のものとするようにすることが考えられる。すなわち、ターン検出状態となってから所定の期間（＝所定のフレーム画像）において、選手位置が、前回ターン検出状態となった場所から所定の範囲内に存在する回数が所定の回数以上ある場合にターンを検出することが考えられる。
【００７３】
ステップＳ１１０２において、プロセッサ１０１はターンを検知したレーンにおける進行方向を変更する。
【００７４】
ステップＳ１１０４において、プロセッサ１０１はプール端の領域１０００以外の領域で選手位置を検知したか否かを判定する。上述したように、ステップＳ９０４においてはＣＧを合成する需要が少ないため一時的に検出結果を無効に切り替えた。一方で、選手がプール端の領域から出た場合は再びＣＧを合成する需要が存在する。よって、ステップＳ１１０４において、プロセッサ１０１はプール端の領域１０００以外の領域で選手位置を検知したか否かを判定する。
【００７５】
ステップＳ１１０６（ステップＳ１１０４でＹｅｓ）において、プロセッサ１０１は検出結果を有効へ切り替える。
【００７６】
ステップＳ１１０８において、プロセッサ１０１はステップＳ８０２と同様に表示方法を変更する。
【００７７】
図１２は、実施の形態１におけるターン検知の際の表示部の様子を示す図である。
【００７８】
図１２に示されるように、左端の選手はプロセッサ１０１によってターンを検知されたため、進行方向５００の向きが下向きへと変更されている。なお進行方向５００は、図１２に示すように、向きに応じて色を変更してもよい。また、左端の選手は検出結果が無効に設定されているため検出結果６００の色が図１０等とは異なる。
【００７９】
図１２に示されるように、中央の選手は、プロセッサ１０１によってターンを検知され、かつ、プール端の領域１０００以外の領域で選手位置を検知されているので、進行方向５００の向きが下向きでかつ、検出結果６００の色が図１０等と同じである。
【００８０】
図１２に示されるように、右端の選手は、プロセッサ１０１によってターンを検知されていない（ターン判定状態ではある）ので、進行方向５００の向きが変更されていない。また、左端の選手は検出結果が無効に設定されているため検出結果６００の色が図１０等とは異なる。
【００８１】
ターンが検知され、検出結果が有効に切り替えられると処理がステップＳ４１２へ戻る。なお、ターン判定状態は終了する。
【００８２】
なお、以上述べたように選手状態特定装置１００は、ターンを検知して進行方向を変更するものであるが、ターンの検知に失敗した場合に備え、選手検出処理状態におけるユーザの入力に基づいて進行方向を変更するようにプロセッサ１０１が処理を行ってもよい。この入力はたとえば、映像上のレーンを入力部１０４としてのマウスを用いて右クリックすることでレーンを特定することで、進行方向を変更するレーンをプロセッサ１０１が認識するようにすると、ユーザの認識結果を即座に進行方向に反映することができるという利点がある。
【００８３】
［１−３．効果等］
以上のように、本実施の形態において、選手状態特定装置１００のプロセッサ１０１は、映像に対して選手を検出する処理を行った結果を参照し、選手がプールの端側の領域に存在した以降の選手の検出の結果に基づいて、選手の進行方向をそれまでの進行方向とは異なる方向であると特定する。
【００８４】
これにより、上述したようにプールの中に存在する選手の状態を精度よく特定することができる。
【００８５】
また、本実施の形態において、プロセッサ１０１は、選手がプールの端側の領域に存在した以降、所定の期間内に選手を検出できた回数が、閾値以下の場合に選手の進行方向をそれまでの進行方向とは異なる方向であると特定する。これにより、上述したようにプールの中に存在する選手の状態をより精度よく特定することができる。
【００８６】
また、本実施の形態において、プロセッサ１０１は、選手がプールの端側の領域に存在した以降、選手を検出できない状態となったプール中の場所から所定の距離以上近接した場所において、選手を検出できた場合に選手の進行方向をそれまでの進行方向とは異なる方向であると特定する。これにより、パターンを算出する精度が向上するため、画像の中に存在するレーンの領域をより精度よく特定することができる。これにより、上述したようにプールの中に存在する選手の状態をより精度よく特定することができる。
【００８７】
また、本実施の形態において、プロセッサ１０１は、映像に選手に関する情報を合成する際の、情報の表示状態を切り替える為の表示制御情報（本実施の形態においては検出結果の有効／無効）を生成し、選手がプールの端側の領域に存在した場合に、表示制御情報を、情報を表示させない旨を表す情報として定める。これにより、選手状態を用いて映像コンテンツを作成する際の効率を向上させることができる。
【００８８】
また、本実施の形態において、プロセッサ１０１は、映像に前記選手に関する情報を合成する際の、情報の表示状態を切り替える為の表示制御情報を生成し、選手の進行方向をそれまでの進行方向とは異なる方向であると特定した後に、プールの端側の領域外で、選手が映像から検出された場合に、表示制御情報を、情報を表示させる旨を表す情報として定める。これによっても、選手状態を用いて映像コンテンツを作成する際の効率を向上させることができる。
【００８９】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００９０】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００９１】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【００９２】
同様に、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００９３】
そこで、以下、他の実施の形態を例示する。
【００９４】
実施の形態１では、ステップＳ４１０において映像に対して選手を検出する処理を行った。他の実施の形態として、ステップＳ４１０の処理に以下の処理を付加することで検出の精度を高めても良い。
【００９５】
すなわちＳ４１０に、レーン毎に検出無効領域の座標を記憶部１０２へ記録することで予め定義した上で、当該検出無効領域で選手を検出した場合は当該検出結果を無効とする処理を付加しても良い。検出結果を無効とした場合は、それ以前に選手を検出した位置の履歴に基づいて選手位置を定義すると良い。選手を検出した位置の履歴に基づいて選手位置を定義する処理の一例としては、選手が等速直線運動をしていると仮定して選手位置を定義することが挙げられる。
【００９６】
上述した処理は、選手が誤って検出される傾向のある領域が存在する場合に有効である。選手が誤って検出される傾向のある領域は、カメラの特性、レーンの特性、競技場の特性によって生じうる。このようにすると、誤検出を無効とした上で、選手が存在する蓋然性の高い位置を選手位置と定義できるので、選手検出の精度を高めることができる。
【００９７】
また、実施の形態１ではプール端の領域１０００は固定の領域であったが、これを選手の進行方向に応じてサイズの変化する領域として置き換えても良い。
【００９８】
すなわち、プールの端が選手の進行方向の先に存在する場合は、プールの端が選手の進行方向の後に存在する場合よりもプール端の領域１０００を短く（プールの端寄りに狭く）定義しても良い。具体的には、プール端の領域１０００はユーザによって指定されるので、当該指定された領域のサイズを基準として、上記条件を満たすようにプロセッサ１０１が領域の奥行き方向を算出すればよい。
【００９９】
上述した処理は、選手の検出結果を有効とする期間を長引かせることができるので有効である。プール端の領域１０００を定義した意義の一つは、選手が潜水を行っている場合に誤検出を避ける為である。しかし、プールの端が選手の進行方向に存在する場合に選手が潜水する区間は、プールの端が選手の進行方向の逆に存在する場合に選手が潜水する区間よりも短い。プールの端が選手の進行方向の逆に存在する場合（選手がターンした後）は選手が潜水を行うのに対して、プールの端が選手の進行方向に存在する場合はそのような事情が無いからである。よって、上述したようにプール端の領域１０００のサイズを選手の進行方向に応じて変化させることで、選手の検出結果を有効とする期間を長引かせることができる。選手の検出結果を有効とする期間を長引かせることができるとＣＧを合成することができる期間も長引かせることができる。
【０１００】
また、実施の形態１で説明した処理に加えて、選手の順位を算出する処理を付加してもよい。
【０１０１】
選手の順位を算出する方法の一例としては、選手位置および当該選手のターン回数から算出する方法があげられる。選手位置のみでは、ターン前とターン後で同じ位置に存在することが考えられる。そこで、ターン回数を考慮することで正確な順位を算出することが可能になる。
【０１０２】
ここで、選手の順位をＣＧ等で表示する場合は選手の順位がめまぐるしく変わることがＣＧ等を視認する者に嫌われる場合がある。そのような場合は、過去の数秒間の順位を合計してもっとも合計値の低い選手を１位、次に合計値の低い選手を２位、・・・、のように過去の順位の履歴から選手の順位を算出すると良い。
【０１０３】
なお、算出した選手の順位が同順位となる場合がある。複数の選手が同じ順位に存在するという結果を算出することが望ましくない場合には以下の優先度に従って、算出した順位を補正すると良い。優先度の例としては（１）単位時間当たりの移動量（速度）が比較的高い選手がいればその選手を上位とする（２）中央のレーンに存在する選手を上位とするなどが考えられる。好ましくはまず（１）の優先度に従って順位を補正し、その上で同順位の選手がいれば（２）の優先度に従って順位を補正すると良い。（１）の基準によれば、瞬間的に同じような位置に選手が存在しても、その後すぐに順位の変動が予想されるため、順位を補正しても問題が少ない。（２）の基準によれば、一般的に水泳競技においては中央のレーンに存在する選手の能力が高いと考えられているため、順位を補正しても問題が少ない。
【０１０４】
また、実施の形態１においては、映像に写されたままの形状の競技場（プール）に対して処理を行ったが、当該競技場の形状を補正する処理を付加して上で実施の形態１における処理を行ってもよい。
【０１０５】
すなわち、映像に写された競技場の上下左右四隅をユーザが指定し、プロセッサ１０１が当該四隅の座標に基づいて映像の座標系を台形補正することで、競技場の形を任意の矩形（例えば十分な大きさの長方形）に変換しても良い。
【０１０６】
このようにすると、より選手検出の精度を高めることが可能である。例えば、競技場に設置されるカメラの角度によっては、パースによってレーンの奥側が小さくなりすぎる場合があり、実施の形態１の処理の精度が落ちる場合がある。また、撮影した競技場が横向きである場合は、実施の形態１の処理をそのまま（プログラムの内容を変更せず）行うためには縦向きの競技場に変換する必要がある。上述した映像の座標系を台形補正する処理を行うことにより、撮影された競技場の形状が正規化されるため、実施の形態１の処理を安定して行うことができる。
【０１０７】
また、上述した映像の座標系を台形補正する処理を行った場合、撮影されたままの映像と合わせて、台形補正後の競技場映像を表示し、前述の選手位置修正処理を台形補正後の競技場映像上で行うとしても良い。撮影した競技場が横向きである場合は、撮影されたままの映像においてはカメラから遠くに位置するレーンが画像上小さいため、選手位置修正処理において映像中の選手が真に存在する箇所を確認およびクリックすることが困難となる。上述した台形補正後の競技場映像上においては、撮影された競技場の形状が正規化されるため、選手が真に存在する箇所の確認およびクリックを精度良く行うことができる。
【産業上の利用可能性】
【０１０８】
本開示は、映像中の選手の状態を特定する方法または装置に適用可能である。たとえばスポーツ映像等の解析を取り扱う為のコンピュータに適用可能である。
【符号の説明】
【０１０９】
１００  選手状態特定装置
１０１  プロセッサ
１０２  記憶部
１０３  通信部
１０４  入力部
１０５  表示部
１０６  バス
２００  撮像装置
３００  プール
３０２  コースロープ
３１０  選手
５００  進行方向
６００  検出結果
１０００  領域
【図１】
2017199497.tif 000003
【図２】
2017199497.tif 000004
【図３】
2017199497.tif 000005
【図４】
2017199497.tif 000006
【図５】
2017199497.tif 000007
【図６】
2017199497.tif 000008
【図７】
2017199497.tif 000009
【図８】
2017199497.tif 000010
【図９】
2017199497.tif 000011
【図１０】
2017199497.tif 000012
【図１１】
2017199497.tif 000013
【図１２】
2017199497.tif 000014
【国際調査報告】
2017199497.tif 000015
2017199497.tif 000016