(57)【要約】【課題】  所定の動作を行う人物が撮影されている動画を用いた当該所定の動作の検証を支援する。【解決手段】    本発明の一実施形態に係る動作検証装置１０は、ストレージ１５等に記憶されているプログラムに含まれる命令をコンピュータプロセッサ１１が実行することによって、動画解析部１１１、動画指定部１１２、及びクラスタリング部１１３として機能するように構成されている。当該装置１０は、所定の動作を行う人物が撮影されている動画の１のフレームに含まれる所定のオブジェクト（人物又は当該人物が所持する物等）の特徴量を取得して対応する動画と関連付けておき、複数の対象の動画の各々に関連付けられている所定のオブジェクトの特徴量に少なくとも基づいてこれらの複数の対象の動画のクラスタリングを行うから、人物又は当該人物が所持する物等の特徴に基づく動画の分類を可能とする。【選択図】  図１
2020145500.tif 000002
【特許請求の範囲】
【請求項１】
１又は複数のコンピュータプロセッサを備え、所定の動作を行う人物が撮影されている動画を用いて前記所定の動作を検証するためのシステムであって、
前記１又は複数のコンピュータプロセッサは、読取可能な命令の実行に応じて、
特定の動画を構成する複数のフレームに含まれる１のフレームを特定する処理と、
特定した前記１のフレームに含まれる所定のオブジェクトであって、前記所定の動作を行う特定の人物の全体又は部分、或いは、前記特定の人物が所持又は装着する物の全体又は部分である前記所定のオブジェクトの特徴量を取得して前記特定の動画に関連付ける処理と、
複数の対象の動画の各々に関連付けられている前記所定のオブジェクトの特徴量に少なくとも基づいて前記複数の対象の動画のクラスタリングを行う処理と、を実行する、
システム。
【請求項２】
前記１のフレームを特定する処理は、前記特定の動画を構成する複数のフレームのうち前記所定の動作が有する所定の段階に対応する前記１のフレームを特定することを含む、
請求項１のシステム。
【請求項３】
前記クラスタリングを行う処理は、複数の動画の中からのユーザによる前記複数の対象の動画の指定を受け付けることを含む、
請求項１又は２のシステム。
【請求項４】
前記複数の動画の各々は、日付及び／又は時刻に関する日時情報に関連付けられており、
前記クラスタリングを行う処理は、前記ユーザによる前記日時情報を用いた前記複数の対象の動画の指定を受け付けることを含む、
請求項３のシステム。
【請求項５】
前記クラスタリングを行う処理は、所定の画面を介して、前記複数の対象の動画のクラスタリング結果をユーザに対して提示することを含み、
前記複数の対象の動画の各々は、所定の分類が関連付けられており、
前記所定の画面は、クラスタリング結果の少なくとも一部として、各クラスタに属する複数の対象の動画にそれぞれ関連付けられている前記所定の分類に関する情報を表示するように構成されている、
請求項１ないし４何れかのシステム。
【請求項６】
前記所定の画面は、第１のクラスタに属する対象の動画を再生するための第１の動画再生領域と、第２のクラスタに属する対象の動画を再生するための第２の動画再生領域と、を有するように構成されている、
請求項５のシステム。
【請求項７】
１又は複数のコンピュータによって実行され、所定の動作を行う人物が撮影されている動画を用いて前記所定の動作を検証するための方法であって、
特定の動画を構成する複数のフレームに含まれる１のフレームを特定する工程と、
特定した前記１のフレームに含まれる所定のオブジェクトであって、前記所定の動作を行う特定の人物の全体又は部分、或いは、前記特定の人物が所持又は装着する物の全体又は部分である前記所定のオブジェクトの特徴量を取得して前記特定の動画に関連付ける工程と、
複数の対象の動画の各々に関連付けられている前記所定のオブジェクトの特徴量に少なくとも基づいて前記複数の対象の動画のクラスタリングを行う工程と、を備える、
方法。
【請求項８】
所定の動作を行う人物が撮影されている動画を用いて前記所定の動作を検証するためのプログラムであって、
１又は複数のコンピュータ上での実行に応じて、前記１又は複数のコンピュータに、
特定の動画を構成する複数のフレームに含まれる１のフレームを特定する処理と、
特定した前記１のフレームに含まれる所定のオブジェクトであって、前記所定の動作を行う特定の人物の全体又は部分、或いは、前記特定の人物が所持又は装着する物の全体又は部分である前記所定のオブジェクトの特徴量を取得して前記特定の動画に関連付ける処理と、
複数の対象の動画の各々に関連付けられている前記所定のオブジェクトの特徴量に少なくとも基づいて前記複数の対象の動画のクラスタリングを行う処理と、を実行させる、
プログラム。
【請求項９】
所定の動作を行う人物が撮影されている動画を用いて前記所定の動作を検証するための装置であって、
複数の動画の各々を構成する複数のフレームに含まれる１のフレームに含まれる所定のオブジェクトであって前記所定の動作を行う特定の人物の全体又は部分、或いは、前記特定の人物が所持又は装着する物の全体又は部分である前記所定のオブジェクトの特徴量がそれぞれに関連付けられている前記複数の動画の中からのユーザによる複数の対象の動画の指定を受け付けるように構成された動画指定部と、
前記複数の対象の動画の各々に関連付けられている前記所定のオブジェクトの特徴量に少なくとも基づいて前記複数の対象の動画のクラスタリングを行うように構成されたクラスタリング部と、を備える、
装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の動作を行う人物が撮影されている動画を用いて当該所定の動作を検証するためのシステム、方法、プログラム、及び装置に関するものである。
【背景技術】
【０００２】
従来、所定の動作を行う人物が撮影されている動画の解析に関する様々な技術が提案されている。例えば、下記特許文献１は、運動動作を行う運動者の動作を検証するためのシステムを開示している。このシステムは、運動者を包囲するように配置された複数の撮影手段によって撮影された複数の動画を、単一の画面上に時間的に同期させて再生できるように構成されており、例えば、ゴルフスイング等の運動動作の検証に用いられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−５４９７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のシステムでは、運動動作の検証自体は人手によって行われており、こうした人手による検証は、検証者間のスキルの相違に基づく検証品質のバラツキを生じさせると共に、検証者に対する負担となり得る。したがって、こうした人物の動作の検証を支援するような仕組みの実現が望まれる。
【０００５】
本発明の実施形態は、所定の動作を行う人物が撮影されている動画を用いた当該所定の動作の検証を支援することを目的の一つとする。本発明の実施形態の他の目的は、本明細書全体を参照することにより明らかとなる。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係るシステムは、１又は複数のコンピュータプロセッサを備え、所定の動作を行う人物が撮影されている動画を用いて前記所定の動作を検証するためのシステムであって、前記１又は複数のコンピュータプロセッサは、読取可能な命令の実行に応じて、特定の動画を構成する複数のフレームに含まれる１のフレームを特定する処理と、特定した前記１のフレームに含まれる所定のオブジェクトであって、前記所定の動作を行う特定の人物の全体又は部分、或いは、前記特定の人物が所持又は装着する物の全体又は部分である前記所定のオブジェクトの特徴量を取得して前記特定の動画に関連付ける処理と、複数の対象の動画の各々に関連付けられている前記所定のオブジェクトの特徴量に少なくとも基づいて前記複数の対象の動画のクラスタリングを行う処理と、を実行する。
【０００７】
本発明の一実施形態に係る方法は、１又は複数のコンピュータによって実行され、所定の動作を行う人物が撮影されている動画を用いて前記所定の動作を検証するための方法であって、特定の動画を構成する複数のフレームに含まれる１のフレームを特定する工程と、特定した前記１のフレームに含まれる所定のオブジェクトであって、前記所定の動作を行う特定の人物の全体又は部分、或いは、前記特定の人物が所持又は装着する物の全体又は部分である前記所定のオブジェクトの特徴量を取得して前記特定の動画に関連付ける工程と、複数の対象の動画の各々に関連付けられている前記所定のオブジェクトの特徴量に少なくとも基づいて前記複数の対象の動画のクラスタリングを行う工程と、を備える。
【０００８】
本発明の一実施形態に係るプログラムは、所定の動作を行う人物が撮影されている動画を用いて前記所定の動作を検証するためのプログラムであって、１又は複数のコンピュータ上での実行に応じて、前記１又は複数のコンピュータに、特定の動画を構成する複数のフレームに含まれる１のフレームを特定する処理と、特定した前記１のフレームに含まれる所定のオブジェクトであって、前記所定の動作を行う特定の人物の全体又は部分、或いは、前記特定の人物が所持又は装着する物の全体又は部分である前記所定のオブジェクトの特徴量を取得して前記特定の動画に関連付ける処理と、複数の対象の動画の各々に関連付けられている前記所定のオブジェクトの特徴量に少なくとも基づいて前記複数の対象の動画のクラスタリングを行う処理と、を実行させる。
【０００９】
本発明の一実施形態に係る装置は、所定の動作を行う人物が撮影されている動画を用いて前記所定の動作を検証するための装置であって、複数の動画の各々を構成する複数のフレームに含まれる１のフレームに含まれる所定のオブジェクトであって前記所定の動作を行う特定の人物の全体又は部分、或いは、前記特定の人物が所持又は装着する物の全体又は部分である前記所定のオブジェクトの特徴量がそれぞれに関連付けられている前記複数の動画の中からのユーザによる複数の対象の動画の指定を受け付けるように構成された動画指定部と、前記複数の対象の動画の各々に関連付けられている前記所定のオブジェクトの特徴量に少なくとも基づいて前記複数の対象の動画のクラスタリングを行うように構成されたクラスタリング部と、を備える。
【発明の効果】
【００１０】
本発明の様々な実施形態は、所定の動作を行う人物が撮影されている動画を用いた当該所定の動作の検証を支援する。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る動作検証装置１０の構成を概略的に示す構成図。
【図２】クラスタリングのための事前処理を個別の動画に対して行う際に動作検証装置１０が実行する処理を例示するフロー図。
【図３】特徴量を取得するためのフレームを例示する図。
【図４】動画管理テーブルにおいて管理される情報を例示する図。
【図５】クラスタリングを行う際に動作検証装置１０が実行する処理を例示するフロー図。
【図６】クラスタリング画面５０を例示する図。
【図７】クラスタリング結果が表示されている状態のクラスタリング画面５０を例示する図。
【図８】他の実施形態に係る動作検証システム１の構成を概略的に示す構成図。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、本発明の実施形態について説明する。
【００１３】
図１は、本発明の一実施形態に係る動作検証装置１０の構成を概略的に示す構成図である。装置１０は、一般的なコンピュータとして構成されており、図１に示すように、コンピュータプロセッサ１１と、メインメモリ１２と、入出力Ｉ／Ｆ１３と、通信Ｉ／Ｆ１４と、ストレージ（記憶装置）１５とを備え、これらの各構成要素が図示しないバス等を介して電気的に接続されている。動作検証装置１０は、本発明のシステムの一部又は全部を実装する装置の一例である。
【００１４】
コンピュータプロセッサ１１は、ＣＰＵ又はＧＰＵ等として構成され、ストレージ１５等に記憶されている様々なプログラムをメインメモリ１２に読み込んで、当該プログラムに含まれる各種の命令を実行する。メインメモリ１２は、例えば、ＤＲＡＭ等によって構成される。
【００１５】
入出力Ｉ／Ｆ１３は、ユーザ等との間で情報をやり取りするための各種の入出力装置を含む。入出力Ｉ／Ｆ１３は、例えば、キーボード、ポインティングデバイス（例えば、マウス、タッチパネル等）等の情報入力装置、マイクロフォン等の音声入力装置、カメラ等の画像入力装置を含む。また、入出力Ｉ／Ｆ１３は、ディスプレイ等の画像出力装置（表示装置）、スピーカー等の音声出力装置を含む。
【００１６】
通信Ｉ／Ｆ１４は、ネットワークアダプタ等のハードウェア、各種の通信用ソフトウェア、及びこれらの組み合わせとして実装され、有線又は無線の通信を実現できるように構成されている。
【００１７】
ストレージ１５は、例えば、磁気ディスク、及びフラッシュメモリ等によって構成される。ストレージ１５は、オペレーティングシステムを含む様々なプログラム、及び各種データ等を記憶する。本実施形態において、ストレージ１５は、図１に示すように、所定の動作を行う人物が撮影されている複数の動画を格納する動画ＤＢ１５１を有する。なお、動画ＤＢ１５１において格納される動画は、動画検証装置１０の外部（例えば、クラウドストレージ等の他のシステム／サービス）において格納され得る。
【００１８】
このようなハードウェア構成を有する動作検証装置１０は、ストレージ１５等に記憶されているプログラムに含まれる命令をコンピュータプロセッサ１１が実行することによって、図１に示すように、動画解析部１１１、動画指定部１１２、及びクラスタリング部１１３として機能するように構成されている。
【００１９】
動画解析部１１１は、動画の解析に関する様々な処理を実行する。本実施形態において、動画解析部１１１は、動画ＤＢ１５１に格納されている各動画を構成する複数のフレームに含まれる１のフレームを特定し、特定した当該１のフレームに含まれる所定のオブジェクトの特徴量を取得して対応する動画に関連付けるように構成されている。本実施形態において、所定のオブジェクトは、所定の動作を行う人物の全体又は部分、或いは、当該人物が所持又は装着する物（所定の動作のために用いられる道具等が含まれる。）の全体又は部分である。特徴量は、フレーム（静止画像）における所定のオブジェクトの特徴を示しており、例えば、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ  Ａｕｔｏｅｎｃｏｄｅｒ）等のオートエンコーダを用いて取得される。取得された特徴量は、対応する動画に関連付けて動画ＤＢ１５１等において管理され得る。
【００２０】
動画指定部１１２は、後述するクラスタリングの対象となる動画の指定に関する様々な処理を実行する。本実施形態において、動画指定部１１２は、動画ＤＢ１５１に格納されている複数の動画の中からのクラスタリングの対象となる動画のユーザ（検証者）による指定を受け付けるように構成されている。例えば、動画指定部１１２は、動作検証装置１０において表示される特定の画面を介して、クラスタリングの対象となる複数の対象の動画のユーザによる指定を受け付けるように構成される。
【００２１】
クラスタリング部１１３は、複数の対象の動画のクラスタリングに関する様々な処理を実行する。本実施形態において、クラスタリング部１１３は、複数の対象の動画の各々に関連付けられている所定のオブジェクトの特徴量に少なくとも基づいて、これらの複数の対象の動画のクラスタリングを行うように構成されている。クラスタリングは、教師なし学習によって実現され、分類対象の集合を，内的結合と外的分離が達成されるような部分集合（クラスタ）に分割する。例えば、クラスタリングは、これらに限定されないが、ｋ−ｍｅａｎｓ又は階層型クラスタリング等の様々な手法を適用して実現される。
【００２２】
このように、本実施形態における動作検証装置１０は、所定の動作を行う人物が撮影されている動画の１のフレームに含まれる所定のオブジェクト（人物又は当該人物が所持する物等）の特徴量を取得して対応する動画と関連付けておき、複数の対象の動画の各々に関連付けられている所定のオブジェクトの特徴量に少なくとも基づいてこれらの複数の対象の動画のクラスタリングを行うから、人物又は当該人物が所持する物等の特徴に基づく動画の分類を可能とする。そして、こうした特徴に基づく動画の分類は、所定の動作を行う人物が撮影されている動画を用いた当該所定の動作の検証を支援し得る。
【００２３】
また、本実施形態における動作検証装置１０は、クラスタリングの対象となる動画のユーザによる指定を可能とし、この結果、教師なし学習を用いるクラスタリングをインタラクティブに行う仕組みの実現を支援する。
【００２４】
本実施形態において、動画解析部１１１は、各動画を構成する複数のフレームのうち所定の動作が有する所定の段階に対応する１のフレームを、所定のオブジェクトの特徴量を取得するための１のフレームとして特定するように構成され得る。こうしたフレームの特定は、例えば、ユーザによる入力（例えば、複数のフレームの中から１のフレームを指定する入力）を介して行われ、又は、ユーザによる入力なしで自動的に行われる。例えば、所定の動作は、当該所定の動作を行う人物が静止する静止段階を有しており、上記所定の段階は、当該静止段階であり、又は、当該静止段階の前又は後において人物が運動する運動段階である。こうした構成は、所定の動作の特定の段階における所定のオブジェクトの特徴に基づく動画の分類を可能とし、例えば、当該特定の段階における人物の姿勢の検証を支援する。
【００２５】
本実施形態において、上記所定の動作は、例えば、様々なスポーツにおける動作が含まれる。所定の動作は、これらに限定されないが、例えば、野球における投手の投球動作及び打者の打球動作、ゴルフにおけるスイング動作、並びに、テニス及び卓球等におけるサーブ動作等が含まれる。
【００２６】
また、本実施形態において、各動画は、日付及び／又は時刻に関する日時情報に関連付けられるように構成することができ、動画指定部１１２は、当該日時情報を用いた対象の動画の指定をユーザから受け付けるように構成され得る。例えば、動画指定部１１２は、ユーザによって指定された期間内（期間の開始日から終了日までの範囲内）の日時情報が関連付けられている動画を、指定された対象の動画として受け付けるように構成される。日時情報は、例えば、動画を撮影した撮影日時を含む。こうした構成は、日時情報を用いたユーザによる動画の指定を可能とし、例えば、限定された特定の期間における人物の所定の動作の検証を支援する。
【００２７】
また、クラスタリング部１１３は、所定の画面を介して、複数の対象の動画のクラスタリング結果をユーザに対して提示するように構成され得る。この場合、各動画は、所定の分類が関連付けられるように構成され（例えば、動画ＤＢ１５１において予め関連付けられており）、クラスタリング結果を表示する上記所定の画面は、クラスタリング結果の少なくとも一部として、各クラスタに属する複数の対象の動画にそれぞれ関連付けられている所定の分類に関する情報を表示するように構成され得る。例えば、所定の分類は、所定の動作の結果に関する分類（例えば、野球の投手の投球動作における球種（ストレート、カーブ等）、野球の打者の打球動作における結果（空振り、ファール、シングルヒット、内野ゴロ、外野フライ等）、ゴルフのスイング動作における打球軌道（スライス、フック等）、テニス及び卓球等のサーブ動作における結果（イン、フォールト等）等）が含まれる。また、クラスタリング結果の少なくとも一部として表示される所定の分類に関する情報は、例えば、各クラスタに属する複数の動画における所定の分類の分布又は割合を含む。こうした構成は、各クラスタに属する動画の所定の分類に関する情報による所定の動作の検証を支援する。
【００２８】
また、クラスタリング結果を表示する上記所定の画面は、クラスタ毎に動画を再生するための領域を有するように構成され得る。つまり、当該所定の画面は、第１のクラスタに属する対象の動画を再生するための第１の動画再生領域と、第２のクラスタに属する対象の動画を再生するための第２の動画再生領域と、を有するように構成され得る。こうした構成は、異なるクラスタに属する複数の動画の同時再生を可能とし、これらの動画に含まれる動作の比較検証を支援する。
【００２９】
次に、このような機能を有する本実施形態の動作検証装置１０の具体例について説明する。この具体例における装置１０は、ゴルフのスイング動作を行う人物が撮影されている動画を解析の対象とし、当該スイング動作を検証するための機能を有する。
【００３０】
図２は、クラスタリングのための事前処理を個別の動画に対して行う際に動作検証装置１０が実行する処理を例示するフロー図である。装置１０は、まず、図示するように、事前処理の対象となる動画を構成する複数のフレームの抽出（フレームの切り出し）を行う（ステップＳ１００）。
【００３１】
続いて、装置１０は、抽出した複数のフレームの中からスイング動作におけるアドレスの段階に対応する１のフレームを、特徴量を取得するためのフレームとして特定する（ステップＳ１１０）。この例において、装置１０は、抽出した各フレームのオプティカルフロー（フレーム（静止画像）中の画素の移動量をベクトルで表したもの）を取得し、当該オプティカルフローに基づいてアドレスの段階に対応するフレームを特定する。オプティカルフローは、例えば、ブロックマッチング法又は勾配法等の手法を用いて算出（抽出）される。この例において、オプティカルフローは、オープンソースのコンピュータビジョン向けライブラリである「ＯｐｅｎＣＶ」によって提供される関数を介して取得される。
【００３２】
この例において、オプティカルフローに基づくアドレスの段階に対応するフレームの特定は、畳み込みニューラルネットワーク（ＣＮＮ）を用いて行われる。具体的には、当該ＣＮＮは、特定のフレームのオプティカルフロー（又は、これに加えて、当該特定のフレームの前／後の所定数のフレームのオプティカルフロー）が入力されると、当該特定のフレームが、スイング動作におけるアドレスの段階に対応するフレームである確率を示すスコアを出力するように構成されている。ステップＳ１１０では、こうしたスコアの高いフレームの１つ（例えば、所定値以上のスコアを有する連続する複数のフレームに含まれる１のフレーム）が、特徴量を取得するためのフレームとして特定される。
【００３３】
続いて、装置１０は、特定したフレームにおける人物の領域の特徴量を取得して保存する（ステップＳ１２０）。具体的には、装置１０は、特定したフレームにおける人物の領域を検出し、当該検出した領域の画像情報をＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ  Ａｕｔｏｅｎｃｏｄｅｒ）に入力し、当該ＶＡＥの中間層から潜在変数を特徴量として取得する。
【００３４】
図３は、特徴量を取得するためのフレームを例示する。当該フレームは、上述したように、ゴルフのスイング動作におけるアドレスの段階に対応している。ステップＳ１２０においては、当該フレームに含まれる人物が検出され、具体的には、図示するように、スイング動作を行う人物の全体を囲う矩形の検出領域ＤＡが特定される。こうした人物の検出は、公知の物体検出技術を用いて実現される。例えば、図３に例示する検出領域ＤＡの画像情報がＶＡＥに入力されると、当該ＶＡＥの中間層から、当該領域ＤＡに含まれる人物の特徴量としての潜在変数が取得される。
【００３５】
この例において、取得した特徴量（潜在変数）は、ストレージ１５等が有する動画管理テーブルにおいて管理される。図４は、この例の動画管理テーブルにおいて管理される情報を例示する。動画管理テーブルは、動画ＤＢ１５１において管理されている複数の動画の各々に関する情報を管理し、図示するように、個別の動画を識別する「動画ＩＤ」に対応付けて、対応する動画を撮影した日時である「撮影日時」、対応する動画におけるスイング動作後の打球の軌道を示す「打球軌道種別」（所定の分類）、「特徴量情報」、「基準フレーム情報」等の情報を管理する。打球軌道種別は、具体的には、「スライス」、「フック」、及び「ストレート」の何れかに対応する値が設定される。ステップＳ１２０において取得される特徴量は、動画管理テーブルの特徴量情報に設定される。また、特徴量に加えて、当該特徴量を取得するために用いられたフレームに関する情報（例えば、当該フレームを特定可能なフレーム番号等）が、動画管理テーブルの基準フレーム情報に設定される。
【００３６】
以上、クラスタリングのための事前処理を個別の動画に対して行う際の動作について説明した。次に、動画のクラスタリングを行う際の動作について説明する。図５は、クラスタリングを行う際に動作検証装置１０が実行する処理を例示するフロー図である。装置１０は、まず、図示するように、ユーザによる終了指示及びクラスタリングの実行指示が入力されない間において（ステップＳ２００及びＳ２２０においてＮＯ）、クラスタリングの対象となる動画のユーザによる指定を受け付ける（ステップＳ２１０）。クラスタリングの対象となる動画の指定は、動画検証装置１０において表示される画面を介して行われる。
【００３７】
図６は、動画のクラスタリングを行う際に動作検証装置１０において表示されるクラスタリング画面５０（所定の画面）を例示する。当該画面５０は、図示するように、クラスタリングの対象となる動画の撮影日の期間を指定するための対象期間指定領域５２と、クラスタリングを実行するための実行ボタン５３と、動画を再生するための第１及び第２の動画再生領域５５Ａ、５５Ｂと、これらの動画再生領域５５Ａ、５５Ｂにおける動画の再生に関する操作を入力するための操作領域５７と、終了ボタン５９とを有する。
【００３８】
対象期間指定領域５２は、対象となる動画の撮影日の期間の開始日及び終了日を入力できるように構成されている。操作領域５７は、図示するように、ストップウォッチの図柄が表示された位置合わせオブジェクト５７１と、動画の再生及び停止を指示するための再生／停止オブジェクト５７２と、再生中の動画の一時停止を指示するための一時停止オブジェクト５７３とを有する。位置合わせオブジェクト５７１は、第１及び第２の動画再生領域５５Ａ、５５Ｂにおける動画の再生位置を基準フレームの位置に合わせるためのオブジェクトである。基準フレームに関する情報は、上述した動画管理テーブルにおいて管理されている。
【００３９】
クラスタリングの対象となる動画の指定は、対象期間指定領域５２を介した撮影日の期間の入力によって行われる。図５のフロー図に戻り、クラスタリングの対象となる動画の指定を受け付けると、次に、装置１０は、クラスタリングの実行指示を待機し（ステップＳ２２０においてＮＯ）、クラスタリングの実行指示が行われると（ステップＳ２２０においてＹＥＳ）、指定された動画の特徴量を取得する（ステップＳ２３０）。具体的には、動画管理テーブルにおいて管理されている撮影日時が、ユーザによって入力された期間内である複数の動画を特定し、特定した各動画の特徴量情報を同じく動画管理テーブルから取得する。
【００４０】
次に、装置１０は、取得した特徴量に基づいてクラスタリングを実行する（ステップＳ２４０）。この例において、クラスタリングは、ｋ−ｍｅａｎｓの手法を適用して行われる。また、この例では、クラスタの個数は「２」が設定される。なお、クラスタの個数をユーザが指定できるようにしてもよく、例えば、クラスタリング画面５０を介してクラスタの個数を指定できるようにしても良い。
【００４１】
そして、装置１０は、クラスタリング結果を表示する（ステップＳ２５０）。図７は、クラスタリング結果が表示されている状態のクラスタリング画面５０を例示する。この状態の画面５０は、第１の動画再生領域５５Ａにおいて、２つのクラスタの一方であるクラスタ１に分類された動画が再生可能となる一方、第２の動画再生領域５５Ｂにおいて、２つのクラスタの他方であるクラスタ２に分類された動画が再生可能となっている。
【００４２】
また、この状態のクラスタリング画面５０は、図７に示すように、第１の動画再生領域５５Ａの右下において、当該領域５５Ａにおいて再生される動画を切り替えるための第１の動画切替領域５８Ａが表示される一方、第２の動画再生領域５５Ｂの左下において、当該領域５５Ｂにおいて再生される動画を切り替えるための第２の動画切替領域５８Ｂが表示される。第１及び第２の動画切替領域５８Ａ、５８Ｂの各々は、その左右中央において、対応するクラスタに属する全動画の数と、対応する動画再生領域５５Ａ、５５Ｂにおいて再生の対象となっている現在の動画の全動画における順序とを「（現在の動画の順序）／（全動画の数）」という形式で表示する。例えば、図７の例では、第１の動画切替領域５８Ａにおいて「１／１９」と表示されているから、クラスタ１に属する全動画の数は１９であり、第１の動画再生領域５５Ａにおいて再生の対象となっている現在の動画は、１９個の動画のうちの１番目の動画である。そして、第１及び第２の動画切替領域５８Ａ、５８Ｂにおける「＜＜」及び「＞＞」の部分が選択されると、第１及び第２の動画再生領域５５Ａ、５５Ｂにおいて再生の対象となる動画が前後に切り替わる。
【００４３】
また、この状態のクラスタリング画面５０は、図７に示すように、第１の動画再生領域５５Ａの左下、及び、第２の動画再生領域５５Ｂの右下において、各クラスタに属する動画における打球軌道種別の割合が表示される。例えば、図示するように、クラスタ１に属する動画の打球軌道種別は、ストレートが７５％、スライスが２０％、及びフックが５％である一方、クラスタ２に属する動画の打球軌道種別は、ストレートが３０％、スライスが６５％、及びフックが５％である。また、図示するように、各クラスタに属する動画の打球軌道種別のうち、最も割合の大きい種別が強調表示（下線表示）されている。図７の例では、クラスタ１に属する動画は、打球軌道が「ストレート」である確率が高いスイング動作が撮影されている動画である一方、クラスタ２に属する動画は、打球軌道が「スライス」である確率が高いスイング動作が撮影されている動画であると言える。なお、こうした打球軌道種別の割合は、動画管理テーブルにおいて管理されている各動画の打球軌道種別の値に基づいて算出される。
【００４４】
ユーザは、こうしたクラスタリング画面５０を介して、２つのクラスタの各々の打球軌道種別の傾向を確認し、第１及び第２の動画切替領域５８Ａ、５８Ｂを介して再生対象の動画を切り替えつつ、操作領域５７を介した操作入力によって、第１及び第２の動画再生領域５５Ａ、５５Ｂにおいて、各クラスタに属する動画の比較再生を行うことができる。
【００４５】
図５のフロー図に戻り、こうしてクラスタリング結果を表示すると、ステップＳ２１０の対象動画の指定の受付へと戻る。そして、装置１０は、ユーザによる終了指示が入力されると（具体的には、クラスタリング画面５０の終了ボタン５９が選択されると）（ステップＳ２００においてＹＥＳ）処理を終了する一方、再度、クラスタリングの実行指示が入力されると（具体的には、クラスタリング画面５０の実行ボタン５３が選択されると）、その時点で入力されている撮影日の期間に従って、再度、特徴量の取得、取得した特徴量に基づくクラスタリングの実行、及び、クラスタリング結果の表示が行われる（ステップＳ２３０〜Ｓ２５０）。このように、この例において、ユーザは、クラスタリング画面５０を介して、クラスタリングの対象となる動画の範囲（撮影日の期間）の指定、クラスタリングの実行、及び、クラスタリング結果を用いたスイング動作の検証をインタラクティブに行うことができる。そして、対象となる動画の範囲を撮影日によって指定可能とすることによって、例えば、スポーツ選手の動作の特徴が期間によって変動してしまう場合（例えば、フォームを変更する前の期間及び変更した後の期間で動作の特徴が異なる場合等）であっても、適切な範囲を指定することで有効なクラスタリングを行うことが可能となる。
【００４６】
上述した例では、スイング動作のアドレスの段階のフレームに含まれる人物の全体の特徴量に基づいてクラスタリングを行うようにしたが、特徴量を取得するためのフレームは、スイング動作の他の段階のフレームであっても良い。また、人物の全体の特徴量に代えて、又は、これに加えて、人物の部分（手等）又は、当該人物が把持するゴルフクラブの全体又は部分の特徴量を用いることもできる。
【００４７】
以上説明した本実施形態の動作検証装置１０は、所定の動作（例えば、ゴルフのスイング動作）を行う人物が撮影されている動画の１のフレームに含まれる所定のオブジェクト（例えば、人物の全体）の特徴量を取得して対応する動画と関連付けておき、複数の対象の動画の各々に関連付けられている所定のオブジェクトの特徴量に少なくとも基づいてこれらの複数の対象の動画のクラスタリングを行うから、人物又は当該人物が所持する物等の特徴に基づく動画の分類を可能とする。そして、こうした特徴に基づく動画の分類は、所定の動作を行う人物が撮影されている動画を用いた当該所定の動作の検証を支援し得る。
【００４８】
本発明の他の実施形態では、上述した実施形態における動作検証装置１０が有する機能の一部を有しないように構成され、例えば、動画指定部１１２の機能の一部又は全部を有しないように構成され得る。
【００４９】
また、本発明のさらに他の実施形態では、動作検証装置１０は、図８に示すように、動画解析装置１０Ａと、当該動画解析装置１０Ａとインターネット等の通信ネットワーク２０を介して通信可能に接続された動作検証装置１０Ｂと、を備える動作検証システム１として構成される。動画解析装置１０Ａ及び動作検証装置１０Ｂは、上述した実施形態における動作検証装置１０と同様のハードウェア構成を有する。また、動画解析装置１０Ａは、上述した実施形態における動画解析部１１１の機能を有する一方、動作検証装置１０Ｂは、上述した実施形態における動画指定部１１２及びクラスタリング部１１３の機能を有するように構成される。
【００５０】
本明細書で説明された処理及び手順は、明示的に説明されたもの以外にも、ソフトウェア、ハードウェアまたはこれらの任意の組み合わせによって実現される。例えば、本明細書で説明される処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク等の媒体に、当該処理及び手順に相当するロジックを実装することによって実現される。また、本明細書で説明された処理及び手順は、当該処理・手順に相当するコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。
【００５１】
本明細書中で説明された処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理または手順は複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は複数のモジュールによって実行され得る。また、本明細書において説明されたソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、またはより多い構成要素に分解することによって実現することも可能である。
【００５２】
本明細書において、発明の構成要素が単数もしくは複数のいずれか一方として説明された場合、又は、単数もしくは複数のいずれとも限定せずに説明された場合であっても、文脈上別に解すべき場合を除き、当該構成要素は単数又は複数のいずれであってもよい。
【符号の説明】
【００５３】
１  動作検証システム
１０、１０Ｂ  動作検証装置
１０Ａ  動画解析装置
１１  コンピュータプロセッサ
１１１  動画解析部
１１２  動画指定部
１１３  クラスタリング部
１５  ストレージ（記憶装置）
１５１  動画ＤＢ
５０  クラスタリング画面（所定の画面）
５５Ａ  第１の動画再生領域
５５Ｂ  第２の動画再生領域
【図１】
2020145500.tif 000003
【図２】
2020145500.tif 000004
【図３】
2020145500.tif 000005
【図４】
2020145500.tif 000006
【図５】
2020145500.tif 000007
【図６】
2020145500.tif 000008
【図７】
2020145500.tif 000009
【図８】
2020145500.tif 000010