(57)【要約】オブジェクトのモーションを解析するためにセンサデータおよびビデオの解析を統合する方法である。モーションキャプチャ要素は対象のオブジェクトについてのモーションセンサデータを生成し、カメラはこれらのオブジェクトのビデオを生成する。センサデータとビデオデータとが時間的に同期され、共通座標系上において空間的に位置合わせされる。センサ融合を用いて、組み合わされ統合されたセンサデータおよびビデオデータからモーション測定指標を生成する。センサデータおよびビデオデータの統合は、事象のロバストな検出、興味深いアクティビティを示す測定指標を用いて拡張されたビデオのハイライトリールまたは大失敗リールの生成、および、センサまたはビデオ解析のみの個々の能力を超えた測定指標の算出をサポートする。
2018523868.tif 000002
【特許請求の範囲】
【請求項１】
統合されたセンサおよびビデオモーション解析方法において、
カメラからキャプチャされたビデオを取得する工程と、
コンピュータを用いて、１以上の対象のオブジェクトと、該１以上の対象のオブジェクトのうちの各オブジェクトについての１以上の区別可能な視覚的特徴とを取得する工程と、
解析のために前記ビデオから複数のフレームを選択する工程と、
前記１以上の対象のオブジェクトについて前記複数のフレームを探索して、１以上の識別されたオブジェクトと、前記複数のフレーム内における、前記１以上の識別されたオブジェクトのうちの１つのオブジェクトと各領域が関連づけられた１以上の領域とを生じる工程であって、前記１以上の領域のうちの各領域の画素が、前記１以上の領域と関連づけられた前記１以上の識別されたオブジェクトのうちの１つのオブジェクトについての前記１以上の区別可能な視覚的特徴とマッチする、工程と、
前記複数のフレームのうちの各フレームについて、前記カメラのカメラ姿勢を推定する工程と、
前記１以上の領域の位置および画素内容から、前記複数のフレームのうちの１以上のフレーム内における前記１以上の識別されたオブジェクトのうちの１以上のオブジェクトについての、前記カメラ姿勢に対して相対的なオブジェクト姿勢を推定する工程と、
前記複数のフレームのうちの各フレームについての前記カメラ姿勢を用いて、前記複数のフレームのうちの各フレーム内における前記オブジェクト姿勢を共通座標系に変換する工程と、
１以上のモーションキャプチャ要素から、前記１以上の対象のオブジェクトのうちの１以上のオブジェクトについてのモーションキャプチャデータを取得する工程と、
前記モーションキャプチャデータを前記複数のフレームと同期させる工程と、
前記複数のフレームにわたる前記オブジェクト姿勢の変化を前記モーションキャプチャデータと組み合わせるためのセンサ融合を用いて、前記１以上の識別されたオブジェクトについての１以上のモーション測定指標を生成する工程と
を含み、
前記モーションキャプチャデータおよび前記１以上のモーション測定指標が、線形位置、線形速度、線形加速度、軌道、向き、角速度、角加速度、モーションの時間、複数の位置間で経過した時間、モーションの開始から或る位置に到着するまでに経過した時間、および衝撃の時間のうちの１以上を含み、
前記１以上の区別可能な視覚的特徴が、形状、曲率、サイズ、色、輝度、色相、飽和、テクスチャ、および画素パターンのうちの１以上を含み、
前記１以上の対象のオブジェクトが、用具および人のうちの１以上を含む
ことを特徴とする方法。
【請求項２】
前記前記モーションキャプチャデータを前記複数のフレームと同期させる前記工程が、
事象タイプ、該事象タイプと関連づけられたセンサデータシグネチャー、および前記事象タイプと関連づけられたビデオシグネチャーを各事象シグネチャーが含む１以上の事象シグネチャーを取得する工程と、
前記モーションキャプチャデータ内における、および前記複数のフレーム内における、前記１以上の事象シグネチャーのうちの１つにマッチする事象の位置を特定する工程と、
前記事象についての前記センサデータシグネチャーに対応するモーションキャプチャデータタイムスタンプを、前記複数のフレームのうちの、前記事象についての前記ビデオシグネチャーが前記ビデオ内において生じているフレームと位置合わせする工程と
を含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項３】
前記モーションキャプチャデータがセンサクロックを含み、
前記ビデオがフレームクロックを含み、
前記センサクロックと前記フレームクロックとが最大クロック差の範囲内で緩く同期され、
前記事象の位置を特定する前記工程が、
前記モーションキャプチャデータ内における、前記１以上の事象シグネチャーのうちの前記センサデータシグネチャーの位置を特定し、位置を特定された前記センサデータシグネチャーについてのモーションキャプチャデータタイムスタンプと、検出された事象タイプとを生じる工程と、
前記検出された事象タイプに対応する前記ビデオシグネチャーについて、前記モーションキャプチャデータタイムスタンプから前記最大クロック差を減算した値と前記モーションキャプチャデータタイムスタンプに前記最大クロック差を加算した値との間の前記フレームクロックの値を有する前記複数のフレームを探索する工程と
を含む、請求項２記載の統合されたセンサおよびビデオモーション解析方法。
【請求項４】
前記モーションキャプチャデータを前記複数のフレームと同期させる前記工程が、
前記１以上の識別されたオブジェクトから基準オブジェクトを選択する工程と、
前記基準オブジェクトのビデオモーション測定指標を、前記複数のフレームから算出する工程と、
前記基準オブジェクトについての対応するセンサモーション測定指標を、前記基準オブジェクトについての前記モーションキャプチャデータから算出する工程と、
前記ビデオモーション測定指標と前記センサモーション測定指標との間の差分が最小化されるように、前記モーションキャプチャデータを前記複数のフレームと位置合わせする工程と
を含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項５】
前記モーションキャプチャデータがセンサクロックを含み、
前記ビデオがフレームクロックを含み、
前記センサクロックと前記フレームクロックとが最大クロック差の範囲内で緩く同期され、
前記モーションキャプチャデータを前記複数のフレームと位置合わせする前記工程が、前記最大クロック差の範囲内における、前記ビデオモーション測定指標と前記センサモーション測定指標との間の前記差が最小化される正または負のクロックシフトを探索する、
請求項４記載の統合されたセンサおよびビデオモーション解析方法。
【請求項６】
事象タイプ、該事象タイプと関連づけられたセンサデータシグネチャー、および前記事象タイプと関連づけられたビデオシグネチャーを各事象シグネチャーが含む１以上の事象シグネチャーを取得する工程と、
前記モーションキャプチャデータ内における、前記１以上の事象シグネチャーのうちの前記センサデータシグネチャーのうちの１つにマッチする、見込みのある事象、または、前記複数のフレーム内における、前記１以上の事象シグネチャーのうちの前記ビデオシグネチャーのうちの１つにマッチする、見込みのある事象の位置を特定する工程と、
前記見込みのある事象に見込みのある事象タイプを割り当てる工程と、
前記見込みのある事象が、前記見込みのある事象タイプについての前記センサデータシグネチャーおよび前記見込みのある事象タイプについての前記ビデオシグネチャーの両方にマッチしない場合に、前記見込みのある事象を誤検出として消去する工程と
を更に含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項７】
前記１以上の対象のオブジェクトのうちの少なくとも１つのオブジェクトが視覚的マーカーを含み、
前記視覚的マーカーが回転対称ではないパターンを含み、
前記１以上の対象のオブジェクトのうちの前記少なくとも１つのオブジェクトの前記１以上の区別可能な視覚的特徴が、前記視覚的マーカーの前記パターンを含む、
請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項８】
前記１以上の対象のオブジェクトについて前記複数のフレームを探索する前記工程を容易にするために、前記複数のフレームを前処理する工程を更に含み、前記複数のフレームに対する前記前処理が、ノイズ除去、フリッカー除去、平滑化、色空間変換、色または輝度のバランス調整、および陰影除去のうちの１以上を含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項９】
前記複数のフレームのうちの各フレームについて、前記カメラの前記カメラ姿勢を推定する前記工程が、前記カメラの位置、向き、または位置および向きの両方のうちの１以上の様子を測定するセンサを用いる、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項１０】
前記カメラ姿勢に対して相対的な前記オブジェクト姿勢を推定する前記工程が、
前記１以上の識別されたオブジェクトについての前記複数のフレーム内における前記１以上の領域の前記位置から、前記１以上の識別されたオブジェクトが位置する光線を推定する工程と、
前記１以上の識別されたオブジェクトについての前記複数のフレーム内における前記１以上の領域の相対的なサイズから、前記カメラからの前記１以上の識別されたオブジェクトの相対的な距離を推定する工程と、
前記１以上の識別されたオブジェクトについての基準画素パターンと前記１以上の識別されたオブジェクトについての前記１以上の領域の前記画素内容との間の差分が最小化される回転を算出することにより、前記カメラに対して相対的な前記１以上の識別されたオブジェクトの向きを推定する工程と
を含み、
前記基準画素パターンが、前記１以上の識別されたオブジェクトについての前記１以上の区別可能な視覚的特徴のうちの１つに対応し、または、前記基準画素パターンが、指定されている基準フレームについての前記１以上の領域の前記画素内容から取得される
請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項１１】
前記１以上の識別されたオブジェクトのうちの１以上のオブジェクトの確からしい軌道の物理的モデルを生成または取得する工程と、
前記物理的モデルを用いて、前記１以上の識別されたオブジェクトの位置について、前記複数のフレームのうちの各フレーム内における高確率領域を推定する工程と
を更に含み、
前記１以上の対象のオブジェクトについて前記複数のフレームを探索する前記工程が、前記高確率領域内において探索することを含む、
請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項１２】
前記複数のフレームのうちの第１のフレームを除く各フレームを、前記第１のフレームを除く前記複数のフレームのうちの前のフレームについての前記カメラ姿勢からの、前記第１のフレームを除く前記複数のフレームのビューを推定する位置合わせされたフレームに変換する工程と、
各前記位置合わせされたフレームと前記前のフレームとの間のフレーム差分を算出する工程と、
前記フレーム差分から高モーション領域を算出する工程と
を更に含み、
前記１以上の対象のオブジェクトについて前記複数のフレームを探索する前記工程が、前記高モーション領域内において探索することを含む、
請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項１３】
前記第１のフレームを除く前記複数のフレームのうちの各フレームを前記位置合わせされたフレームに変換する前記工程が、
フレーム平行移動を適用後の前記複数のフレームのうちの１つのフレームの中心領域と前記前のフレームの中心領域との間の画素差分が最小化されるフレーム平行移動を算出する工程と、
前記複数のフレームのうちの各フレームを複数のタイルに分割する工程と、
前記フレーム平行移動およびローカルなタイル平行移動を適用後の前記複数のタイルのうちの或るタイルとそれに対応する前記前のフレームのタイルとの間の画素差分が最小化される、各前記タイルについてのローカルなタイル平行移動を算出する工程と
を含む、請求項１２記載の統合されたセンサおよびビデオモーション解析方法。
【請求項１４】
前記１以上のモーション測定指標が、前記１以上の対象のオブジェクトのうちの１つのオブジェクトについての衝撃の時間を含み、
前記衝撃の時間が、連続するフレーム間においてモーション測定指標の不連続性を検出することによって算出される、
請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項１５】
前記１以上の対象のオブジェクトのうちの前記１つのオブジェクトの軌道を、前記複数のフレームのうちの衝撃前のフレームから順方向に補外して、順方向の軌道を生じ、
前記１以上の対象のオブジェクトのうちの前記１つのオブジェクトの前記軌道を、前記複数のフレームのうちの衝撃後のフレームから逆方向に補外して、逆方向の軌道を生じ、
前記順方向の軌道と前記逆方向の軌道との交点の時間を算出する
ことによって、前記複数のフレーム間において算出される前記衝撃の時間が算出される、請求項１４記載の統合されたセンサおよびビデオモーション解析方法。
【請求項１６】
前記１以上の対象のオブジェクトのうちの１つのオブジェクトの観察された軌道を、望ましい軌道と比較する工程と、
前記１以上のモーション測定指標のうちの１つとして、前記観察された軌道の初期条件の、前記望ましい軌道を生じる変更を算出する工程と
を更に含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項１７】
前記初期条件が、初期速度および初期方向のうちの１以上を含む、請求項１６記載の統合されたセンサおよびビデオモーション解析方法。
【請求項１８】
前記１以上の対象のオブジェクトがボールを含み、前記初期条件が、前記ボールとの前記衝撃の時間における用具の速度および狙いのうちの１以上を含む、請求項１７記載の統合されたセンサおよびビデオモーション解析方法。
【請求項１９】
対象のアクティビティの１以上のシグネチャーであって、前記１以上のモーション測定指標のうちの１以上のモーション測定指標に各シグネチャーが対応する１以上のシグネチャーを取得する工程と、
前記対象のアクティビティの前記１以上のシグネチャーについて前記複数のフレームを探索する工程と、
前記複数のフレームからの、前記対象のアクティビティの前記１以上のシグネチャーが生じたフレームを含み、必要に応じて、前記複数のフレームからの、前記対象のアクティビティの前記１以上のシグネチャーが生じた前記フレームに近接したフレームを含む、１以上のハイライトフレームまたは失敗フレームを選択する工程と、
前記１以上のハイライトフレームまたは失敗フレームを、リポジトリ、ビューア、サーバ、コンピュータ、ソーシャルメディアサイト、モバイル装置、ネットワーク、および救急サービスのうちの１以上に送信する工程と
を更に含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項２０】
前記１以上のハイライトフレームまたは失敗フレームに、各前記１以上のハイライトフレームまたは失敗フレームにおける前記１以上のモーション測定指標のうちの１以上のモーション測定指標の値を表すデータまたはグラフィックをオーバーレイする工程を更に含む、請求項１９記載の統合されたセンサおよびビデオモーション解析方法。
【請求項２１】
前記１以上のハイライトフレームまたは失敗フレーム以外の前記ビデオの部分を捨てるよう前記カメラにコマンドする工程を更に含む、請求項１９記載の統合されたセンサおよびビデオモーション解析方法。
【請求項２２】
前記対象のアクティビティの前記１以上のシグネチャーが、前記１以上のモーション測定指標のうちの前記１以上のモーション測定指標の対応する範囲内にある１以上のモーション測定指標を含む、請求項１９記載の統合されたセンサおよびビデオモーション解析方法。
【請求項２３】
前記１以上のモーション測定指標が、アクティビティについての経過時間を含み、
前記経過時間を算出する工程が、
前記アクティビティの開始に対応するシグネチャーを検出するために、前記モーションキャプチャデータを用いて、前記アクティビティについてのスタート時間を算出する工程と、
前記アクティビティの完了に対応するシグネチャーを検出するために、前記ビデオを用いて、前記アクティビティについてのフィニッシュ時間を算出する工程と、
前記フィニッシュ時間と前記スタート時間との間の差分として前記経過時間を算出する工程と
を含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項２４】
前記１以上のモーションキャプチャ要素から事象データを算出するまたは事象データを受信する工程と、
前記事象データから事象開始時間および事象停止時間を取得する工程と、
前記ビデオと関連づけられたビデオ開始時間およびビデオ停止時間を取得する工程と、
前記１以上のモーションキャプチャ要素から取得された前記事象データと関連づけられた第１の時間と、前記ビデオと関連づけられた少なくとも１つの時間とに基づいて、前記事象データを前記ビデオと同期させることに基づいて、同期された事象ビデオを生成する工程と
を更に含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項２５】
前記事象開始時間から前記事象停止時間までの期間外に生じた前記ビデオの少なくとも一部分を別のコンピュータに転送せずに、少なくとも前記事象開始時間から前記事象停止時間までの期間中にキャプチャされた前記同期された事象ビデオを前記別のコンピュータに転送するよう前記カメラにコマンドする工程を更に含む、請求項２４記載の統合されたセンサおよびビデオモーション解析方法。
【請求項２６】
前記事象開始時間から前記事象停止時間までの期間外の前記ビデオの少なくとも一部分を捨てるよう前記カメラにコマンドする工程を更に含む、請求項２４記載の統合されたセンサおよびビデオモーション解析方法。
【請求項２７】
前記事象開始時間から前記事象停止時間までの期間中に生じた前記事象データと、前記事象開始時間から前記事象停止時間までの前記期間中にキャプチャされた前記ビデオとの両方を含む、オーバーレイされた同期された事象ビデオを生成する工程を更に含む、請求項２４記載の統合されたセンサおよびビデオモーション解析方法。
【請求項２８】
前記ビデオを取得する前記工程が、前記１以上のモーションキャプチャ要素からの前記モーションキャプチャデータを同時に取得しつつ、視認性が高い色を有するよう構成された視覚的マーカーの前記ビデオを取得することを含み、前記視覚的マーカーが前記１以上のモーションキャプチャ要素のうちの１つと結合された、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項２９】
第１の閾値を有する前記モーションキャプチャデータから第１の値を検出する工程と、
時間窓内における第２の閾値を有する前記モーションキャプチャデータから第２の値を検出する工程と、
見込みのある事象を見込みのある事象であるとして示す工程と、
前記見込みのある事象を、典型的な事象と関連づけられた特徴的な信号と比較する、もしくは、前記見込みのある事象の最中の前記ビデオを、前記典型的な事象と関連づけられた特徴的な画像と比較する、または、それらの両方を行う工程と、
前記見込みのある事象を前記特徴的な信号と比較する前記工程、または、前記見込みのある事象の最中の前記ビデオを前記特徴的な画像と比較する前記工程のいずれかまたは両方が、所定の許容誤差の範囲外となった場合に、誤検出の事象を消去する工程と、
前記見込みのある事象が誤検出の事象ではない場合に、有効な事象を有効な事象であるとして示す工程と、
前記有効な事象を、前記コンピュータと結合されたメモリに保存する工程と
を更に含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
【請求項３０】
統合されたセンサおよびビデオモーション解析方法において、
カメラからキャプチャされたビデオを取得する工程と、
コンピュータを用いて、１以上の対象のオブジェクトと、該１以上の対象のオブジェクトのうちの各オブジェクトについての１以上の区別可能な視覚的特徴とを取得する工程であって、前記１以上の対象のオブジェクトのうちの少なくとも１つのオブジェクトが視覚的マーカーを含み、該視覚的マーカーが回転対称ではないパターンを有し、前記１以上の対象のオブジェクトのうちの前記少なくとも１つのオブジェクトの前記１以上の区別可能な視覚的特徴が、前記視覚的マーカーの前記パターンを含む、工程と、
解析のために前記ビデオから複数のフレームを選択する工程と、
前記複数のフレームの画像解析を容易にするために、前記複数のフレームを前処理する工程であって、前記複数のフレームに対する前記前処理が、ノイズ除去、フリッカー除去、平滑化、色空間変換、色または輝度のバランス調整、および陰影除去のうちの１以上を含む、工程と、
前記複数のフレームのうちの第１のフレームを除く各フレームを、前記複数のフレームのうちの前のフレームについてのカメラ姿勢からの、前記第１のフレームを除く前記複数のフレームのビューを推定する位置合わせされたフレームに変換する工程であって、フレーム平行移動を適用後の前記複数のフレームのうちの１つのフレームの中心領域と前記前のフレームの中心領域との間の画素差分が最小化されるフレーム平行移動を算出し、前記複数のフレームのうちの各フレームを複数のタイルに分割し、前記フレーム平行移動およびローカルなタイル平行移動を適用後の或るタイルとそれに対応する前記前のフレームのタイルとの間の画素差分が最小化される、各前記タイルについてのローカルなタイル平行移動を算出することにより、変換する工程と、
各前記位置合わせされたフレームと前記前のフレームとの間のフレーム差分を算出する工程と、
前記フレーム差分から高モーション領域を算出する工程と、
前記１以上の対象のオブジェクトについて前記複数のフレームの前記高モーション領域を探索して、１以上の識別されたオブジェクトと、前記複数のフレーム内における、前記１以上の識別されたオブジェクトのうちの１つのオブジェクトと各領域が関連づけられた１以上の領域とを生じる工程であって、前記１以上の領域のうちの各領域の画素が、前記１以上の領域と関連づけられた前記１以上の識別されたオブジェクトのうちの１つのオブジェクトについての前記１以上の区別可能な視覚的特徴とマッチする、工程と、
前記複数のフレームのうちの各フレームについて、前記カメラの前記カメラ姿勢を推定する工程と、
前記１以上の領域の位置および画素内容から、前記複数のフレームのうちの１以上のフレーム内における前記１以上の識別されたオブジェクトのうちの１以上のオブジェクトについての、前記カメラ姿勢に対して相対的なオブジェクト姿勢を推定する工程であって、該オブジェクト姿勢が、
前記１以上の識別されたオブジェクトについての前記複数のフレーム内における前記１以上の領域の前記位置から、前記１以上の識別されたオブジェクトが位置する光線を推定し、
前記１以上の識別されたオブジェクトについての前記複数のフレーム内における前記１以上の領域の相対的なサイズから、前記カメラからの前記１以上の識別されたオブジェクトの相対的な距離を推定し、
前記１以上の識別されたオブジェクトについての基準画素パターンと前記１以上の識別されたオブジェクトについての前記１以上の領域の前記画素内容との間の差分が最小化される回転を算出することにより、前記カメラに対して相対的な前記１以上の識別されたオブジェクトの向きを推定する
ことによって推定され、
記基準画素パターンが、前記１以上の識別されたオブジェクトについての前記１以上の区別可能な視覚的特徴のうちの１つに対応し、または、前記基準画素パターンが、指定されている基準フレームについての前記１以上の領域の前記画素内容から取得される、工程と、
前記複数のフレームのうちの各フレームについての前記カメラ姿勢を用いて、前記複数のフレームのうちの各フレーム内における前記オブジェクト姿勢を共通座標系に変換する工程と、
前記１以上の対象のオブジェクトのうちの１以上のオブジェクトについてのモーションキャプチャデータを取得する工程と、
事象タイプ、該事象タイプと関連づけられたセンサデータシグネチャー、および前記事象タイプと関連づけられたビデオシグネチャーを各事象シグネチャーが含む１以上の事象シグネチャーを取得する工程と、
前記モーションキャプチャデータ内における、前記１以上の事象シグネチャーのうちの前記センサデータシグネチャーのうちの１つにマッチする、見込みのある事象、または、前記複数のフレーム内における、前記１以上の事象シグネチャーのうちの前記ビデオシグネチャーのうちの１つにマッチする、見込みのある事象の位置を特定する工程と、
前記見込みのある事象に見込みのある事象タイプを割り当てる工程と、
前記見込みのある事象が、前記見込みのある事象タイプについての前記センサデータシグネチャーおよび前記見込みのある事象タイプについての前記ビデオシグネチャーの両方にマッチしない場合に、前記見込みのある事象を誤検出として消去する工程と、
前記見込みのある事象が誤検出として消去されない場合に、前記見込みのある事象についての前記センサデータシグネチャーに対応するモーションキャプチャデータタイムスタンプを、前記複数のフレームのうちの、前記見込みのある事象についての前記ビデオシグネチャーが前記ビデオ内において生じているフレームと位置合わせすることにより、前記モーションキャプチャデータを前記複数のフレームと同期させる工程と、
前記複数のフレームにわたる前記オブジェクト姿勢の変化を前記モーションキャプチャデータと組み合わせるためのセンサ融合を用いて、前記１以上の識別されたオブジェクトについての１以上のモーション測定指標を生成する工程と、
対象のアクティビティの１以上のシグネチャーであって、前記１以上のモーション測定指標のうちの１以上のモーション測定指標に各シグネチャーが対応する１以上のシグネチャーを取得する工程と、
前記対象のアクティビティの前記１以上のシグネチャーについて前記複数のフレームを探索する工程と、
前記対象のアクティビティの前記１以上のシグネチャーが生じたフレームを含み、必要に応じて、前記対象のアクティビティの前記１以上のシグネチャーが生じた前記フレームに近接したフレームを含む、１以上のハイライトフレームまたは失敗フレームを選択する工程と、
前記１以上のハイライトフレームまたは失敗フレームに、各前記１以上のハイライトフレームまたは失敗フレームにおける前記１以上のモーション測定指標のうちの１以上のモーション測定指標の値を表すデータまたはグラフィックをオーバーレイする工程と、
前記１以上のハイライトフレームまたは失敗フレームを、リポジトリ、ビューア、サーバ、コンピュータ、ソーシャルメディアサイト、モバイル装置、ネットワーク、および救急サービスのうちの１以上に送信する工程と
を含み、
前記モーションキャプチャデータおよび前記１以上のモーション測定指標が、線形位置、線形速度、線形加速度、軌道、向き、角速度、角加速度、モーションの時間、複数の位置間で経過した時間、モーションの開始から或る位置に到着するまでに経過した時間、および衝撃の時間のうちの１以上を含み、
前記１以上の区別可能な視覚的特徴が、形状、曲率、サイズ、色、輝度、色相、飽和、テクスチャ、および画素パターンのうちの１以上を含み、
前記１以上の対象のオブジェクトが、用具および人のうちの１以上を含む
ことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の１以上の実施形態は、センサデータもしくはビデオ情報、またはセンサデータおよびビデオデータの両方を用いた、モーションキャプチャデータ解析の分野に関する。本発明を限定するものではないが、より具体的には、本発明の１以上の実施形態は、モーションを解析するために、モーションセンサおよびビデオカメラからのデータを組み合わせる、統合されたセンサおよびビデオモーション解析方法を可能にする。ユーザまたは用具と結合されたモーションキャプチャセンサからのモーションデータと同期された概ね簡潔な事象ビデオを、コンピュータによって自動的に同期および転送することを可能にする。非事象ビデオを捨てることによって、もしくは事象ビデオをアップロードして、大量のビデオの関係ない部分のアップロードを回避することによって、または、非事象ビデオの破棄および事象ビデオの転送の両方を行うことによって、ストレージを大きく節約すると共にアップロード速度を高める。モーション事象は、事象が生じた際または事象が生じた後に、および、内部／外部カメラもしくはベビーシッター監視カメラから事象がキャプチャされた際に、例えば、事象（例えば、子供の初めての歩行、激しい震え事象、スポーツ、軍隊または他のモーション事象（震盪、または高齢者と関連付けられた転倒事象を含む）等）のビデオを保存すると共に、例えば、事象ビデオに必要な記憶容量を大きく低減するために事象に関連しないビデオデータを捨てるのを可能にするために、事象の位置および／または時間またはそれらの両方に基づいて、例えば、モバイル装置またはリモートサーバ上で、画像またはビデオと相関され得るか、および／または別様で同期され得る。センサ融合を用いて、センサデータとビデオデータとを組み合わせて、統合されたモーション測定指標が生成され得る。
【背景技術】
【０００２】
オブジェクトのモーションを解析する方法は、オブジェクトにモーションセンサを取り付け、センサデータを収集して解析する、または、動いているオブジェクトのビデオをキャプチャするようビデオカメラを構成して、ビデオを解析されするという２つの手法のうちの一方を用いるのが一般的である。一般的に、これらの手法は組合せては用いられない。例えば、モーションセンサは、加速度およびジャイロスコープデータをキャプチャする慣性センサを含み得るものであり、それらを統合してオブジェクトの軌道を測定する。モーションのビデオ解析は、特殊な反射マーカーを用いる従来のモーションキャプチャシステム、または、マーカーを用いずに、画像処理を用いてオブジェクトの位置を特定して追跡するより洗練された方法を含み得る。
【０００３】
センサのみまたはビデオのみに基づくモーション解析方法は、それぞれ限界を有する。例えば、慣性センサに基づく方法は、典型的には初期化を必要とし、初期化は常に可能というわけではない。また、慣性センサに基づく方法は、長い時間フレームにわたっては、さほど正確ではない。一方、ビデオに基づく方法は、オクルージョンに起因してオブジェクトを失い得ると共に、典型的には比較的低いビデオフレームレートを有し、それによって精度が制限される。
【０００４】
ビデオ上にまたはビデオと関連づけられたモーションセンサデータの簡単なオーバーレイを行う幾つかのシステムが存在するが、現行の方法は、一般的に、センサに基づくモーション解析とビデオに基づくモーション解析とを統合するものではない。そのような統合は、センサデータ解析の強みとビデオモーション解析の強みとを組み合わせることにより、より正確で完全なモーション解析の可能性を提供する。完全な統合には、例えば、センサソースとビデオデータソースとの時間的な同期、ビデオ中のオブジェクトのロバストな識別、座標系の位置合わせ、および、異なるタイプの情報センサ融合を含む、多くの技術的課題がある。センサとビデオとの統合のための完全な解決法を構成するために、上記の技術的課題の全てに対処している公知の方法はない。
【０００５】
更に、既存のモーションキャプチャシステムは、対象となる実際の事象に関する大量のデータを処理し、可能性として格納もする。例えば、公知のシステムは、ユーザまたは用具に結合されたセンサから加速度計データをキャプチャして、動きを解析またはモニタリングする。これらの状況では、数千または数百万ものモーションキャプチャサンプルが、休息中のユーザ、または既存のシステムが解析を試みる特定の事象に関係する方法で動いていないユーザと関連付けられる。例えば、フットボールプレイヤーをモニタリングする場合には、大量のモーションデータは震盪事象に関係せず、乳児については、大量のモーションデータは、概して揺さぶり事象またはモーションが無い事象（例えば、乳幼児突然死症候群（ＳＩＤＳ）等）に関係せず、ゴルファーについては、プレイヤーのゴルフクラブに装着されたセンサによってキャプチャされた大量のモーションデータは、低加速値のものである（例えば、プレイヤーが立っていること、またはプレイの待機中もしくは別様で対象となる方法で移動もしくは加速していないことと関連付けられる）。よって、事象に関連しないデータをキャプチャし、転送し、格納することは、電力、帯域幅、およびメモリの要件を増大させる。
【０００６】
更に、或るタイプのモーションを行っているユーザのビデオキャプチャは、さらに大量のデータを含み得るが、その大半は、例えば、野球のバットのスイングやホームラン等の実際の事象とは関係ないものである。ビデオを自動的にトリミングして、例えば、事象に関連するビデオを保存し、または、例えば、生ビデオ全体をアップロードするのではなく、例えば、モーションキャプチャセンサによって決定された関係ある事象ビデオのみをアップロードすることによって、事象に関連しないビデオを捨てて、ビデオ中で生じた、例えば、モーションキャプチャデータの解析によって検出された事象に対応するより小さいビデオセグメントを生成する公知のシステムは存在しない。
【０００７】
衝撃をモニタリングすることに関係する幾つかのシステムは、線形加速に関連する衝撃に焦点を当てている。これらのシステムは、回転加速または回転速度をモニタリングすることはできず、従って、震盪を生じ得る特定のタイプの事象は検出できない。更に、これらのタイプのシステムの多くは、低電力および長寿命を考慮した、事象に関連するコネクションレスメッセージを生成しない。よって、これらのシステムの用途は、それらのロバスト性の欠如に基づいて、限られたものとなっている。
【０００８】
また、公知のシステムは、以前に格納されたモーションデータ中で認識された事象の関数に基づいて、特定の動き（例えば、平均的なプレイヤーもしくは平均的なプロプレイヤーのレベルのスイング、または任意のプレイヤーのレベルのスイング）の表現を構成するために、モーションデータ中の事象のデータマイニングを行うことを考えていない。従って、例えば仮想現実で用いるために、特定のモーションに関連する事象を見つけ出して、トリミングして、指定することは困難であり、時間がかかり、手間を要する。よって、現行のシステムは、特定のユーザが、同じユーザまたは他のユーザ（例えば歴史上のプレイヤー）の以前に格納されたモーション事象を相手にプレイすることを容易には可能にしない。更に、公知のシステムは、例えば、一連の衝撃がやがて脳機能障害につながり得るか否かを決定するために、震盪に関係するデータマイニングされた情報に関する累積影響を考慮していない。
【０００９】
他のタイプのモーションキャプチャシステムは、身体力学を解析して指導することを目的にしたビデオシステムを含む。これらのシステムは、アスリートのビデオの記録、および記録されたアスリートのビデオの解析に基づくものである。この技術は、例えば、ビデオに基づく不正確で一貫しない被写体の解析を含む、様々な限界を有する。別の技術は、アスリートと関連付けられた動きの三次元の位置をキャプチャするために、例えば少なくとも２台のカメラを用いた、モーション解析を含む。公知の実装例は、携帯型ではない静止マルチカメラシステムを用いるので、例えば、ゴルフトーナメント、フットボールの試合等の運動事象において、または子供や高齢者をモニタリングするために、システムがインストールされている環境の外で用いることはできない。一般的に、ビデオに基づくシステムは、電子センサではなく視覚的マーカーを有する画像を取得して解析することを目的としているので、モーションを行っているオブジェクト上のセンサからのデジタルモーションキャプチャデータを用いることはしない。また、これらの固定された設備は非常に高価である。そのような従来技術は、特許文献１による優先権を主張している特許文献２に要約されており、それらの明細書を参照して本明細書に組み込む。両開示は、本願の主題と同じ発明者によるものである。
【００１０】
取得されたモーションキャプチャデータを問わず、データは、一般的に、ユーザ毎に、またはスイング毎に解析されるが、これは、ユーザが、モーションキャプチャセンサと既存の携帯電話のための「アプリ」とを買うだけでよいような携帯電話上での処理は考えていない。更に、既存の解決法は、モバイルでの使用、解析およびメッセージング、並びに／または、同じユーザもしくは他のユーザの以前に格納されたモーションキャプチャデータとの比較もしくはその使用、または、例えば、「プロレベル」の平均的または例外的な仮想現実の対戦相手と関連付けられた事象を提供するための、１グループのユーザ（例えば、プロゴルファー、テニスプレイヤー、野球プレイヤー、または他の任意のスポーツのプレイヤー）と関連付けられたモーションキャプチャデータを取得または生成するための、モーションキャプチャデータの大量のデータセットのデータマイニングについては考えていない。要約すると、モーションキャプチャデータは、一般的に、即時のモニタリングのため、またはスポーツのパフォーマンスのフィードバックのために用いられており、一般的に、他の分野での使用は限定的および／または未発達である。
【００１１】
公知のモーションキャプチャシステムは、一般的に、幾つかの受動的もしくは能動的なマーカー、または幾つかのセンサを用いる。１個という少ない視覚的マーカーまたはセンサと、例えば、ユーザが既に所有しているモバイル装置上で実行される、ユーザおよび／または用具と関連付けられたモーションキャプチャデータを解析して表示するためのアプリとを用いる公知のシステムは存在しない。データは、一般的に、研究室でユーザ毎にまたはスイング毎に解析され、特定のユーザのモーション解析またはモーションの表現以外の他の任意の目的のために用いられることはなく、データマイニングは行われないのが一般的である。
【００１２】
ローカルな解析または後での解析のために、例えば無線センサ等のモーションキャプチャ要素を、ユーザに、または靴、グローブ、シャツ、ズボン、ベルト、もしくは他の用具（例えば、野球のバット、テニスラケット、ゴルフクラブ、ボクサー、フットボールもしくはサッカープレイヤー用のマウスピース、または他の任意の接触型スポーツで用いられる保護マウスピース等）に、これらのアイテム内またはアイテム上にセンサが配置されていることにユーザが気づかないような小さいフォーマットで、シームレスに統合または別様で結合できるようにする公知のシステムは存在しない。モーションデータをキャプチャするよう構成された無線ゴルフクラブを提供するために、例えば、ゴルフクラブのウェイトポート内またはハンドル付近のエンドシャフトに、シームレスなマウントを提供する公知のシステムは存在しない。既存のセンサから得られた多数の事象についてのデータは、データベースに保存されず、キャプチャデータが取得されたパフォーマンス以外のものに関しては用いられない。
【００１３】
更に、用具およびボールを用いるスポーツについて、ボールの飛距離、スイング速度、用具のスイング効率、または、ボールの衝撃がどのくらい中心にあったか（即ち、用具のどこにおいてボールの衝突が生じたか）に関する即時の視覚的フィードバックをユーザが取得できるようにする公知の携帯型のシステムは存在しない。これらのシステムは、ユーザが、他のユーザ、歴史上のプレイヤー、またはユーザ自身の以前のパフォーマンスから取得されたモーションキャプチャデータと共に試合をプレイすることを可能にしない。公知のシステムは、ユーザのモーションキャプチャデータに一致するより良好なまたは最適な用具を示唆するため、またはサーチすることを可能にするために、多数のスイングからのモーションキャプチャデータをデータマイニングすることを可能にはせず、また、相手先商標製造業者（ＯＥＭ）が、例えば、製品を改善する、自社の製品を他の製造業者と比較する、より高額な商品を売る、または、異なるもしくはより利益のある製品を購入し得るユーザにコンタクトするための、ビジネス上の決定を行うことを可能にはしない。
【００１４】
更に、用具のフィッティング、および、その後の、アスリートにフィットする用具をその場で購入するための売り場での決定を行うために、モーションキャプチャデータマイニングを用いる公知のシステムは存在しない。更に、例えば、プレイ中または仮想現実プレイ中のモーションキャプチャデータマイニングに基づく顧客仕様に従って用具を製造し、その用具を顧客に出荷して、売り場での処理が完了するというような、スポーツ用具の特注の実現のための受注組立生産方式（ＡＴＯ）等の、特注の実現を可能にする公知のシステムは存在しない。
【００１５】
更に、受動的なコンプライアンス（服薬順守）およびモニタリング用途のための、モバイル装置およびＲＦＩＤタグを用いる公知のシステムは存在しない。
【００１６】
モーションに関係するこれまで未発見のパターンに基づくビジネス戦略の決定を可能にするデータ中のパターンを見出すために、多数のユーザのモーションまたは彼らに関連づけられた用具のモーションに関係するデータマイニングを可能にする公知のシステムは存在しない。ＯＥＭ、医療専門家、ゲーム会社、または他のエンドユーザから、モーションデータのデータマイニングを可能にするための支払いを得ることを可能にする公知のシステムは存在しない。
【００１７】
例えば、特許文献３および特許文献４等の公知のシステムは、事象が生じている間に生じた関係あるビデオのみをアップロードすることは考えておらず、後で同期される大量のビデオをアップロードする。特許文献３および特許文献４は、モーションキャプチャセンサが、事象に基づいてその場でカメラパラメータを変更するよう（例えば事象ビデオのキャプチャ中に、スローモーション用にフレームレートを高くするよう）カメラにコマンドを送ることは考えておらず、事象に対応するビデオの一部分における再生パラメータを変更することは考えていない。また、特許文献３および特許文献４は、複数のカメラが例えば異なる角度から事象をキャプチャし得る場合に、ハイライトリールを生成することは考えておらず、所与の事象についての最良のビデオを自動的に選択することは考えていない。更に、特許文献３および特許文献４は、他のセンサが事象を観察または別様で検出していない場合でも、そのセンサデータが依然として測定指標を取得するために価値がある複数センサ環境は考えておらず、よって、１つのセンサが或る事象を識別した後に他のセンサ上において事象データを保存することは教示していない。
【００１８】
少なくとも上述の限界を理由として、統合されたセンサおよびビデオモーション解析方法が必要である。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】米国仮特許出願第６０／６４７，７５１号明細書
【特許文献２】米国特許第７，２６４，５５４号明細書
【特許文献３】米国特許出願公開第２０１３／０３４６０１３号明細書
【特許文献４】米国特許出願公開第２０１３／０３３００５４号明細書
【発明の概要】
【００２０】
本明細書に記載される１以上の実施形態は、統合されたセンサおよびビデオモーション解析方法に関する。本発明の実施形態は、ユーザまたは用具と結合されたモーションキャプチャセンサからのモーションデータと同期された概ね簡潔な事象ビデオを、コンピュータによって自動的に同期および転送することを可能にする。事象ビデオをアップロードし、大量のビデオの関係ない部分のアップロードを回避することによって、ストレージを大きく節約すると共にアップロード速度を高める。所与の時間における事象をカバーしている複数のカメラからの複数のビデオのコンピュータによる自動的な選択（例えば、最小の揺れを有するビデオの選択）を提供する。モーションキャプチャセンサによって決定された事象が生じている間のカメラパラメータのほぼリアルタイムの変更、および同期された事象ビデオについての再生パラメータおよび特殊効果の変更を可能にする。測定指標によってフィルタリングされたハイライトリールを生成し、測定指標によってソーティングできる。たとえ他のセンサがその事象を検出していない場合であっても、事象データを保存するために複数のセンサと統合される。また、同じユーザ、他のユーザ、歴史的なユーザ、またはユーザのグループと関連づけられた動きの解析または比較を可能にする。少なくとも１つの実施形態は、携帯型の無線モーションキャプチャ要素（例えば、視覚的マーカーおよびセンサ、無線自動識別タグ、並びにモバイル装置コンピュータシステム等）から取得されたモーションキャプチャデータ、同じユーザと関連付けられた解析された動きに基づいて計算されたモーションキャプチャデータ、または、同じユーザ、他のユーザ、歴史的なユーザ、もしくはユーザのグループと比較されるモーションキャプチャデータを含むが、それらに限定されない、モーションデータ中の事象のコンピュータによる自動認識を提供する。モーションデータおよびビデオを検出された事象に対応するようにトリミングすることにより、事象データおよびビデオデータのためのメモリ使用量を低くすること可能にする。これは、事象の位置および／または時間に基づいて、並びにビデオの位置および／または時間に基づいて、モバイル装置またはリモートサーバ上で行われてもよく、必要に応じて、モーション事象を含み得るビデオを更に制限するために、カメラの向きを含んでもよい。複数の実施形態は、事象に基づく閲覧、事象の低電力送信、モバイル装置上で実行されるアプリとの通信、および／または、事象を定義するウィンドウを指定するための外部カメラとの通信を可能にする。画像またはビデオ中の、例えば、プレイヤーのショット、移動またはスイング、プレイヤー、ボクサー、ライダー、もしくはドライバーの震盪、熱中症、低体温、発作、ぜんそく発作、てんかん発作、または他の任意のスポーツもしくは身体的モーションに関連する事象（歩行および転倒を含む）等といったモーション事象の認識、および事象の指定を可能にする。事象は、例えば、子供の初めての歩行、激しい震え事象、震盪を含むスポーツ事象、高齢者と関連付けられた転倒事象等の事象のビデオを保存することを可能にするために、内部／外部の１または複数のカメラ、もしくは例えばベビーシッター監視カメラからキャプチャされた１以上の画像またはビデオと相関され得る。線形加速の閾値および／またはパターン、並びに、回転加速および回転速度の閾値および／またはパターンについて、震盪に関連する事象および他の事象がモニタリングされてもよく、および／または事象毎に保存されてもよく、および／または軽量コネクションレスプロトコルを介して転送されてもよく、またはそれらの任意の組み合わせを行ってもよい。モーションキャプチャセンサデータとビデオ解析から得られたモーションデータとのセンサ融合を用いて、統合されたモーション測定指標を生成する。
【００２１】
本発明の実施形態は、ユーザがアプリケーションまたは「アプリ」およびモーションキャプチャ要素を購入して、既存のモバイルコンピュータ（例えば、携帯電話）を用いて本システムを即時に利用することを可能にする。本発明の実施形態は、モニタリングしているユーザ、またはモーションキャプチャ要素もしくは用具と関連付けられたユーザに対して、モーション情報を表示してもよい。複数の実施形態は、ユーザもしくは用具と関連付けられた以前に格納されたモーションキャプチャデータもしくはモーション解析データ、または、少なくとも１の他のユーザと関連付けられた以前に格納されたモーションキャプチャデータもしくはモーション解析データに基づいて（例えば、比較等であるが、それに限定されない関数によって）、ユーザまたは用具と関連付けられたモーション解析データに基づく情報も表示してもよい。これは、他のユーザから取得された実際のモーションキャプチャデータまたはパターンの洗練されたモニタリング、コンプライアンス、インタラクションを可能にする（例えば、ユーザから取得された実際のモーションデータを用いて、以前に同じユーザからまたは他のユーザ（もしくは用具）からキャプチャされた実際のモーションデータを用いて、それに基づいて生成された応答を有する仮想の試合をプレイすること）。この機能は、歴史上のプレイヤーを相手に例えば仮想のテニスの試合をプレイすること、または「平均的な」プロスポーツプレイヤーを相手にプレイすることを提供するものであり、今日まで当該技術分野では知られていない機能である。
【００２２】
例えば、１以上の実施形態は、ユーザ、用具、またはユーザと結合されたモバイル装置と結合されるよう構成された少なくとも１つのモーションキャプチャ要素を含み、該少なくとも１つのモーションキャプチャ要素は、メモリと、少なくとも１つのモーションキャプチャ要素の向き、位置、速度、（線形および／または回転）加速と関連付けられた値の任意の組み合わせをキャプチャするよう構成されたセンサと、無線器と、メモリ、センサ、および無線器と結合されたマイクロコントローラとを含む。マイクロコントローラは、センサからのセンサ値を含むデータを収集し、データをメモリに格納し、事象データを決定するためにデータを解析してデータ中の事象を認識し、事象と関連付けられた事象データを無線器を介して送信するよう構成されている。上記システムの複数の実施形態は、モバイル装置上で実行されるよう構成されたアプリケーションも含んでもよく、モバイル装置は、コンピュータと、事象と関連付けられた事象データを取得するために無線器と通信するよう構成された無線通信インターフェースとを含む。コンピュータは無線通信インターフェースと結合されており、コンピュータはアプリケーションまたは「アプリ」を実行することにより、無線通信インターフェースから事象データを受信し、事象データを解析してモーション解析データを構成し、事象データ、モーション解析データ、または事象データとモーション解析データとの両方を格納し、少なくとも１のユーザと関連付けられた事象データ、モーション解析データ、またはそれらの両方を含む情報をディスプレイに表示するよう、コンピュータを構成する。
【００２３】
１以上の実施形態は、ユーザの頭部の付近に配置されるよう構成された少なくとも１つのモーションキャプチャセンサを含み、マイクロコントローラは、更に、ユーザの頭部における衝撃の位置を計算するよう構成される。少なくとも１つのモーションキャプチャセンサの複数の実施形態は、任意のタイプのマウント、囲い、または結合機構を用いて、帽子または縁なし帽子上や、保護マウスピース内に結合されるよう構成され得る。少なくとも１つのモーションキャプチャセンサの１以上の実施形態は、ユーザの頭部のヘルメットと結合されるよう構成されてもよく、ユーザの頭部における衝撃の位置の計算は、ユーザの頭部および／またはヘルメットの物理的形状に基づく。複数の実施形態は、例えば、少なくとも１つのモーションキャプチャセンサまたはマイクロコントローラと結合された温度センサを含み得る。
【００２４】
本発明の実施形態は、少なくとも１つのモーションキャプチャ要素を囲み、ユーザの脳の周囲の脳脊髄液の物理的な加速の緩衝を近似し、事象データの線形加速および回転加速の変換を最小化し、ユーザの脳の観察された線形加速および観察された回転加速を取得するよう構成されたアイソレータも用い得る。従って、複数の実施形態は、ヘルメットに基づく加速からの力、加速値、または他の任意の値を、観察された脳の加速値へと変換する処理をなくし得る。従って、複数の実施形態は、事象特異的データを提供するために、より少ない電力および記憶容量を用い、それにより、データ転送量を最小限にして、より低い送信電力使用量およびさらに低い合計電力使用量を生じる。フットボール／ホッケー／ラクロスのプレイヤーのヘルメットには、ヘルメット内の固有のパッドのタイプに基づいて、それぞれ異なるアイソレータが用いられ得る。ヘルメットを着用しない、または時々着用するスポーツで用いられる他の実施形態では、縁なし帽子または縁あり帽子、例えば、野球のプレイヤーの帽子上の少なくとも１つのモーションキャプチャセンサが、バッター用ヘルメットに装着された少なくとも１つのセンサと共に用いられ得る。例えば、サッカー等の帽子が用いられないスポーツでは、震盪を判断するために、ヘッドバンドのマウントも用いられ得る。１以上の実施形態では、ヘルメットに用いられるアイソレータは、ヘルメットに取り付けられた囲いの中に留まってもよく、センサは、ユーザの脳液の緩衝に適合するアイソレータを用いない別の用具上に着脱されてもよい。複数の実施形態は、或るタイプのモーションを自動的に検出して、特定のタイプの用具と関連付けられた特徴的なモーションパターン（即ち、サーフボードと野球のバットとの対比）に基づいて、モーションキャプチャセンサが現在取り付けられている用具のタイプを決定してもよい。
【００２５】
本発明の実施形態は、線形加速値、回転加速値、またはそれらの両方を取得／計算するよう構成され得る。これは、線形加速と共に、震盪について回転事象をモニタリングすることを可能にする。他の事象は、事象が生じている間にキャプチャ特性をダイナミックに変えるためにセンサの性格を切り替えるためのみならず、現在のモーションキャプチャセンサと共に現在用いられている用具のタイプを特徴づけるために、例えば、パターンまたはテンプレートと比較されるように、線形および／もしくは回転の加速および／または速度を利用してもよい。これは、センサが結合されている用具または衣服のタイプを、センサによってキャプチャされたモーションとモーションの特徴的なパターンまたはテンプレートとの比較に基づいて、センサが自動的に決定することを可能にすることによって、ユーザが購入した単一のモーションキャプチャ要素が、複数の用具または衣服に装着されること可能にする。
【００２６】
本発明の実施形態は、事象と関連付けられた事象データを、コネクションレス同報メッセージを用いて送信してもよい。１以上の実施形態では、用いられている無線通信に応じて、同報メッセージは、接続ベースのプロトコルのハンドシェーキングおよびオーバーヘッドを回避するために用いられ得る限られたデータ量を有するペイロードを含み得る。他の実施形態では、コネクションレスまたは接続ベースのプロトコルは、任意の組み合わせで用いられ得る。
【００２７】
１以上の実施形態において、コンピュータは、例えば、震盪、転倒、他の揺れ、または他の任意のモーション事象の数を決定するために、ユーザまたは用具と関連付けられた、以前に格納された事象データまたはモーション解析データにアクセスし得る。複数の実施形態は、ユーザまたは用具と関連付けられた事象データまたはモーション解析データと、ユーザもしくは用具、または少なくとも１の他のユーザもしくは他の用具と関連付けられた以前に格納された事象データまたはモーション解析データとに基づいて、少なくとも１つのユーザと関連付けられた事象データもディスプレイに提示してもよい。これは、数値または定量的な値（例えば、特定の試合において、または歴史的に、ユーザまたは他のユーザによって観察された最大回転加速）としてのモーション事象の比較を可能にする。更に、例えば、中央のサーバ上で、またはローカルに、典型的な事象についての特定の用具の特徴的なモーションを定義するパターンまたはテンプレートが、ダイナミックに更新されてもよく、１以上の実施形態では、無線インターフェースを介してモーションキャプチャセンサ内でダイナミックに更新されてもよい。これは、センサを経時的に改善することを可能にする。
【００２８】
本発明の実施形態は、コンピュータまたはリモートコンピュータと結合された視覚的ディスプレイ上の表示に、例えばテレビ放送またはインターネットを介して、情報を送信してもよい。また、表示の複数の実施形態は、事象全体のタイムラインに沿った個別のスクロールを提供するために、サブ事象の時間的な位置を受け付けるよう構成されてもよい。例えば、ゴルフスイングは、アドレス、バックスイング、フォワードスイング、打撃、フォロースルー等のサブ事象を含み得る。本システムは、サブ事象の時間的な位置を表示して、例えばサブ事象の閲覧し易くするために、ビデオが開始または停止すべき時点をアサートする、またはその時点までスクロールするもしくは戻るために、その位置の付近へのユーザによる入力を受け付けてもよい。
【００２９】
本発明の実施形態は、少なくとも１つのモーションキャプチャセンサ、ユーザ、または用具と結合された識別子も含み得る。１以上の実施形態において、識別子は、特定のユーザまたは用具からの特定の事象の比較的一意的な識別を可能にする、チームおよびジャージの番号、生徒識別番号、登録番号、または他の任意の識別子を含み得る。これは、特定のプレイヤーまたはユーザと関連付けられたデータを受信するよう構成されたアプリに関して、複数のプレイヤーまたはユーザがいるチームスポーツまたは位置を識別することを可能にする。１以上の実施形態は、プレイヤーまたはユーザと関連付けられた識別子（例えば、受動的ＲＦＩＤ識別子、ＭＡＣアドレス、または他の整理番号）を受信して、その識別子を事象データおよびモーション解析データと関連づける。
【００３０】
少なくとも１つのモーションキャプチャ要素の１以上の実施形態は、事象が生じた場合に光を出力するよう構成された発光素子を更に含み得る。これは、例えば、何らかの外部装置との通信を必要とせずに、ヘルメットの外側部分における軽度または重度の震盪の可能性を表示するために用いられ得る。また、事象に関係する情報を中継するために、複数の異なる色またはフラッシュ間隔が用いられてもよい。或いは、またはそれと組み合わせて、少なくとも１つのモーションキャプチャ要素は、事象が生じた場合、または少なくとも１つのモーションキャプチャセンサがコンピュータの圏外にある場合に音声を出力するよう構成された音声出力素子を更に含んでもよく、または、コンピュータは、少なくとも１つのモーションキャプチャセンサがコンピュータの圏外にある場合に表示して警告するよう構成されてもよく、またはそれらの任意の組み合わせが行われてもよい。例えば、審判が、モバイル装置上でローカルに解析コードのスナップショットを取得し得るように、且つ、センサ上で、または無線で送信された事象が、何者かによって傍受されて読解可能な形態で見られないように、センサの複数の実施形態は、現在の事象の符号化された（例えば、クイックレスポンス（ＱＲ）コードまたはバーコードの形態の）解析を出力するＬＣＤを用いてもよい。
【００３１】
１以上の実施形態において、少なくとも１つのモーションキャプチャ要素は、マイクロコントローラと結合された位置決定要素を更に含む。これは、例えばＧＰＳ（全地球測位システム）装置を含み得る。或いは、またはそれと組み合わせて、コンピュータが別のコンピュータと協働して位置を三角測量してもよく、他の任意の三角測量タイプの受信器から位置を取得してもよく、または、コンピュータと結合されている特定の方向に向いていることがわかっているカメラによってキャプチャされた画像に基づいて位置を計算してもよく、この場合、コンピュータは、例えば画像中のオブジェクトの方向およびサイズに基づいて、モバイル装置からのオフセットを計算する。
【００３２】
１以上の実施形態において、コンピュータは、更に、事象の近位にある少なくとも１つのカメラからの、事象を含む少なくとも１つの画像またはビデオを要求するよう構成される。これは、特定の近位のカメラまたは事象の方向を向いているカメラからのビデオを要求する同報メッセージを含み得る。１以上の実施形態において、コンピュータは、更に、事象の近位にある、または事象を見るよう向けられているカメラの位置を求める要求を同報し、必要に応じて、対象となる事象が含まれる継続期間にわたって、使用可能なカメラまたはそこからのビデオを表示するよう構成される。１以上の実施形態において、コンピュータは、更に、事象が生じた１以上の時間のリストを表示するよう構成され、これは、ユーザが、コンピュータを介して、所望の事象ビデオを取得すること、および／または、所望の事象の時間を有する第三者からのビデオを独立して要求することを可能にする。
【００３３】
１以上の実施形態において、少なくとも１つのモーションキャプチャセンサはモバイル装置と結合されており、例えば、モバイル装置内にある、またはモバイル装置と結合された内部モーションセンサを用いる。これは、最小のユビキタスなハードウェアを用いた（例えば、内蔵加速度計を有するモバイル装置を用いた）モーションキャプチャおよび事象認識を可能にする。１以上の実施形態において、第１のモバイル装置は、モーションデータを記録するユーザと結合されてもよく、一方、第２のモバイル装置は、モーションのビデオを記録するために用いられる。１以上の実施形態において、モーションを行っているユーザは、第２のユーザのモバイル装置がビデオの記録を開始またはビデオの記録を停止すべきことを示すために、例えばモバイル装置をＮ回タップする等のジェスチャを行ってもよい。事象に関連するまたはモーションに関連する指示をモバイル装置間で通信するために、他の任意のジェスチャが用いられてもよい。
【００３４】
少なくとも１つのモーションキャプチャセンサの複数の実施形態は、温度センサを含んでもよく、または、マイクロコントローラが別様で温度センサと結合されていてもよい。これらの実施形態では、マイクロコントローラは、温度センサから取得された温度を、例えば、熱中症または低体温を可能性として示す温度事象として送信するよう構成される。
【００３５】
このように、本発明の実施形態は、ユーザ、用具、もしくはモバイル装置の任意の組み合わせと結合された少なくとも１つのモーションキャプチャセンサと関連付けられたモーション、起立、歩行、転倒、熱中症、発作、激しい震え、震盪、衝突、異常な歩行、異常な呼吸もしくは無呼吸、またはそれらの任意の組み合わせを示すモーションに関係する事象、または、モーションが生じた継続期間を有する他の任意のタイプの事象を含む、任意のタイプのモーション事象を認識し得る。
【００３６】
本発明の実施形態は、ユーザ、用具についてのパターンを取得するために、または、本発明の特定の実施形態では、所与のユーザもしくは他のユーザのモーションキャプチャデータもしくは事象を用いるために、モーションキャプチャデータに対するデータマイニングを用いてもよい。データマイニングは、大きいデータベース中で、以前は未知であった新たなパターンを発見することに関係する。新たなパターンを発見するために、例えば、統計的解析、ニューラルネットワーク、および人工知能を含む多くの方法がデータに適用され得る。データ量が大きいため、データ中の未知のパターンを見出すための自動化されたデータマイニングは、１以上のコンピュータによって行われ得る。未知のパターンは、複数の関連データ群、データ中の例外、データの要素間の依存性、分類、および、誤差が最小となるようデータをモデリングする関数、または他の任意のタイプの未知のパターンを含み得る。データマイニングの結果の表示は、新たに発見されたパターンを、大量の純粋な生データよりもユーザが理解しやすい方法で要約する表示を含み得る。データマイニング処理の結果の１つは、改善された市場リサーチ報告、製品の改善、リード・ジェネレーション、およびターゲット販売である。一般的に、データマイニングされる任意のタイプのデータは、クレンジングされ、データマイニングされ、その結果はバリデーションを受けるのが一般的である。ビジネスは、データマイニングを用いて利益を高め得る。本発明の実施形態の利点の例は、データ中で発見されたパターンに基づく、個人に対する高度なターゲット化を行うための顧客関係管理を含む。更に、マーケット・バスケット解析データマイニングは、同じ個人によって購入または所有されている製品を識別することを可能にし、これは、１つの製品を所有しているが、他のユーザが典型的に所有している別の製品を所有していないユーザに、製品を提供するために用いられ得る。
【００３７】
データマイニングの他の領域は、複数の異なるユーザからの複数の大きいモーションデータセットを解析して、他のユーザのパフォーマンスデータに基づいてパフォーマンスを改善するためのエクササイズを示唆することを含む。例えば、一人のユーザのスイング中の腰の回転が、平均的なユーザと比べて少ない場合には、柔軟性または強さを改善するためのエクササイズがシステムによって示唆され得る。ゴルフコースの実施形態では、ゴルフコースプランナーは、ゴルフコース上の大量のユーザに対して、例えば、特定の時刻において、または特定の年齢のゴルファーについて、ホール毎の平均的なショット数のより離散的な値を得るために、またはゴルファー間の時間の量を決定するために、どのホールの長さまたは難度を調節すべきかを決定し得る。更に、データマイニングのスポーツおよび医療用途としては、何がパフォーマンスを最も改善するか、または、例えば、どの時刻、温度、もしくは他の条件が、最も遠くまでのドライブもしくは最も低いスコアを得られるスイング事象を生じるかを決定するために、例えば、ダイエットまたはエクササイズの変更と比較した、ユーザのパフォーマンスの経時的な形態学的変化を決定することが含まれる。特定のユーザについての、または他のユーザに関するモーションキャプチャデータの使用は、例えば、糖尿病の人が１日のうちに特定の量だけ動くことを確実にするためのヘルスケアコンプライアンス、および、ユーザのモーションまたはモーションの範囲が経時的にどのように変化したかを決定するための形態学的解析を可能にする。歴史上の偉人または他のユーザを相手にした仮想現実プレイを可能にするモーションキャプチャデータを用いて、試合をプレイしてもよい。例えば、或る人が、同じ人の以前のパフォーマンスまたは友人のモーションキャプチャデータを相手にプレイしてもよい。これは、ユーザが、歴史的なスタジアムまたは仮想現実環境の会場で、例えば、そのユーザまたは他のユーザから以前に取得されたモーションキャプチャデータを用いて、試合をプレイすることを可能にする。軍隊のプランナーは、特殊作戦について、どの兵士が最も適していて相応しいかもしくは誰が撤退すべきかを決定するためにモーションキャプチャデータを用いてもよく、または、コーチは、震盪に関連する事象の後に、他のユーザのパフォーマンスが高まった場合に、例えば、プレイヤーの震盪事象およびその深刻度、並びに、可能であればマイニングされた期間に基づいて、プレイヤーがいつ休息すべきかを決定するためにモーションキャプチャデータを用いてもよい。
【００３８】
本システムの複数の実施形態は、例えば、視覚的ディスプレイおよび必要に応じて設けられるカメラを含み得ると共に、例えば、視覚的マーカーおよび／または無線センサ等の少なくとも１つのモーションキャプチャ要素からデータを取得できるモバイル装置上で実行されるアプリケーションを用いて、モーションキャプチャおよび／または表示を行う。このシステムは、スタンドアロンのカメラ、または複数のモバイル装置上のカメラと統合できる。また、本システムは、ユーザが、モーションキャプチャデータと関連付けられた理解が容易なグラフィカルな情報を即時に提供する様々な方法で、モーションキャプチャデータを解析して表示することを可能にする。本システムで用いられるモーションキャプチャ要素は、例えば、ボールを打つこと、スキーのターン、ジャンプ等を行うこと等と関連付けられた事象に関係するデータを、コンピュータによって自動的に格納し、誤った事象を除外し、メモリ使用量を大きく改善し、必要な記憶容量を最小限にする。更に、データは、少なくともデータがモバイル装置またはインターネットにダウンロードされるまで、必要に応じて、例えば、スポーツ用具（例えば複数のバットのスイング）またはゴルフの１ラウンド全体もしくはそれ以上と関連付けられた２以上の事象について格納され得る。また、所与の量のメモリにより多くのモーションキャプチャデータを格納するために、キャプチャされたデータのデータ圧縮も用いられ得る。また、本システムで用いられるモーションキャプチャ要素は、電力を節約するために、それらの回路の一部がコンピュータによって自動的に電力オフされるように構成され得る（例えば、特定のタイプのモーションが検出されるまで、送受信器の電力を落とす）。本発明の実施形態は、電池を交換する前にシステムが用いられ得る時間を増加させるために、２以上の電池を並列に接続するための柔軟なバッテリーコネクタも用い得る。モーションキャプチャデータは、一般的に、例えば、ローカルデータベースまたはネットワークでアクセス可能なデータベース等の、上述のデータマイニングを可能にするメモリに格納される。本発明の実施形態を用いて、１以上のユーザに関係するデータの経時変化をサーチすること、または、単に、特定のユーザまたは用具に関係するデータをサーチすることを含む他の任意のタイプのデータマイニングが行われ得る。
【００３９】
他の複数の実施形態は、例えば、モーションに関連するデータに基づいて、再生される音楽選集または音楽再生リスト等の情報を表示してもよい。これは、例えば、パフォーマンスを別のユーザのパフォーマンスと比較して、他のユーザが再生する音楽のタイプを選択すること、または、パフォーマンスを、どのタイプの音楽選集を示唆または表示するかを決定する閾値と比較することを可能にする。
【００４０】
スポーツを目的にした本発明の実施形態は、例えば、ユーザが動かすアイテム上に、ＲＦＩＤまたは受動的ＲＦＩＤタグが配置されることを可能にし、この場合、本システムの複数の実施形態はモーションを追跡する。例えば、特定のヘルメット、縁なし帽子、ボクシング、フットボール、サッカー、もしくは他の接触型スポーツ用の保護マウスピース、またはジムにある特定のダンベルに、受動的ＲＦＩＤタグを配置して、例えば、グローブ等のモーションキャプチャ要素を装着し、既存のモバイル装置（例えばＩＰＨＯＮＥ（登録商標））を用いることにより、本発明の実施形態は、自動安全性コンプライアンス、またはフィットネスおよび／もしくはヘルスケアコンプライアンスを提供する。これは、モーションと、ＲＩＦＤまたは受動的ＲＦＩＤを介してユーザが持ち上げている重量とを追跡することによって達成される。このように、本発明の実施形態は、反復回数×各ＲＦＩＤタグによって示される重量を加算することにより、ユーザが燃焼するカロリー数を計算してもよい。ＲＦＩＤタグが自転車型トレーニング機器と接続されており、または自転車型トレーニング機器が識別子を模倣可能であり、および／またはパフォーマンスデータを供給するために無線通信可能であり、且つ、モバイルコンピュータがＲＦＩＤリーダを含む別の例では、ユーザの脚の回転数がカウントされ得る。ＲＦＩＤまたは受動的ＲＦＩＤの他の任意の用途も、本発明の趣旨に沿ったものである。これは、例えば、ユーザが医療上の推奨に従ったか否か、または過剰な線形加速もしくは回転加速が震盪を示すか否かを、医師がリモートで判断することを可能にする。このようにして、複数の実施形態は、ユーザによってコンプライアンスを確実にするために用いられると共に、医師によって、たとえリモートであっても彼らの患者が推奨に従っていることを確認していることを理由に、彼らの専門職過失責任保険の保険料率を下げるために用いられる。本発明の実施形態は、医療コンプライアンスの用途ではＲＦＩＤタグを必要としないが、それらを用いてもよい。ゴルフを目的にした本発明の実施形態は、或るゴルファーと関連付けられた各クラブについてのゴルフショットを、例えば、各クラブ上のＲＦＩＤタグ等の識別子（または、必要に応じて、ゴルフクラブ上のモーションキャプチャ電子装置と関連付けられた識別子、もしくは無線器を介してリモートで取得された識別子）、および、ゴルフショットのカウント処理を各ゴルフクラブ上で行う代わりにモバイルコンピュータ上に集中させるＲＦＩＤリーダを備えたモバイルコンピュータ（例えばＩＰＨＯＮＥ）を用いて、カウントすることを可能にする。また、本発明の実施形態は、慣性測定装置、加速度計、磁力計、および／またはジャイロスコープを用いた向き（北／南、および／または垂直軸と２つの水平軸）および加速の測定も可能にする。これはゴルフショットのカウントには必要ないが、１以上の実施形態は、例えば振動解析によって、ゴルフクラブがゴルフボールを打ったときを決定して、ショットをカウントするか否かをゴルファーに尋ねてもよい。この機能性は、例えば、ゴルフクラブが、カウントすべき「ヒット」として許容可能な速度もしくは速度範囲内���または加速もしくは加速範囲内で移動したかを決定するために、速度もしくは加速の閾値または範囲検出と組み合わされてもよい。また、例えば、カウントショットを除外するため、または誤った打撃を除外するために、有効なスイングシグネチャーを比較するために、ウェーブレットが用いられてもよい。この範囲は、異なるクラブ間で様々であってよく（例えば、ドライバーの速度範囲は「３０ｍｐｈ（時速約４８．２８ｋｍ）を超える」ものであってもよく、一方、パターの速度範囲は「２０ｍｐｈ（時速約３２．１９ｋｍ）未満」であってもよい）、所望に応じて任意のクラブに任意の範囲が用いられてよく、または、例えば速度範囲は無視されてもよい。或いは、またはそれと組み合わせて、モバイルコンピュータは、ゴルファーが側方に移動していない場合、即ち、ゴルフカートに乗っているかまたは歩行中である場合、および／または、モバイルコンピュータと接続された向きセンサもしくはジャイロスコープセンサによって、ゴルファーが回転したかまたはショットを打ったと決定された場合に、ショットをカウントするかをゴルファーに尋ねるだけであってもよい。例えば、モバイルコンピュータ上のマップ上にストロークの位置が示されてもよい。更に、例えば、距離を日毎に更新するため、および、プットティーおよびグリーンを読むのを助けるために、ティーマーカー内およびカップ内に、無線器を有するＧＰＳ受信器が配置されてもよい。ゴルファーは、ゴルファーがゴルフコースのマップ、現在位置、ホールまでの距離、現在のホールでのショット数、合計ショット数、および他の任意の所望の測定指標を見るのを可能にする仮想メガネを着用してもよい。ユーザが、ショットから、そのショットをカウントせずに、例えばＧＰＳによって決定される特定の距離だけ移動した場合には、システムはユーザに対して、そのショットをカウントするか否かに関するプロンプトを行ってもよい。本システムは、ショットをカウントするためにユーザがクラブ上のスイッチを始動させることを必要とせず、各クラブ上のＬＥＤまたは能動的もしくは電池で電力供給される電子装置がショットをカウントすることを必要としない。また、ゴルファーがモバイルコンピュータを操作するためにグローブを外さなくてもいいように、モバイルコンピュータは、ショットをカウントするためまたはショットをカウントしないためのユーザからのジェスチャを受け付けてもよい。位置／向きセンサを用いる実施形態では、本システムは、例えば、衝撃が検出された際にクラブが垂直に向いているときのみ、ショットをカウントしてもよい。装置は、特定の装置の識別を可能にする識別子も含み得る。識別子は、例えばシリアル番号であってもよい。識別子は、例えば、各ゴルフクラブ上のＲＦＩＤタグに由来してもよく、または、必要に応じて、ゴルフクラブと関連付けられたモーションキャプチャ要素と関連付けられたシリアル番号もしくは他の識別子を含んでもよい。この装置を用いることで、特定のゴルファー、特定のクラブを識別することが可能になり、また、テレビ、並びに／または、視覚的ディスプレイおよび必要に応じて設けられるカメラを有し、少なくとも１つのモーションキャプチャ要素（例えば、視���的マーカーおよび／または無線センサ等）からデータを取得できるモバイル装置を含むシステムを用いたモーションキャプチャおよび／または表示が可能になる。また、本システムは、スタンドアロンのカメラ、または複数のモバイル装置上のカメラと統合可能である。また、本システムは、ユーザが、モーションキャプチャデータと関連付けられた理解が容易なグラフィカルな情報を即時に提供する様々な方法で、モーションキャプチャデータを解析して表示することを可能にする。また、本装置は、システムが、ボールおよび例えばゴルフクラブ等の用具に関して、例えば衝撃がどのくらい「中心にある」かを決定することを可能にする。本システムは、靴、クラブ等を含む用具のフィッティングを可能にして、用具がベンダーからの受注組立生産の要求を必要とする場合であっても、用具を即時に購入できるようにする。モーションキャプチャデータ、ビデオまたは画像、およびショットカウントの表示がシステムによって取得されたら、それらはローカルに（例えばローカルデータベース内に）格納されてもよく、または、例えば電話または無線インターフェースを介してリモートのデータベースに送られてもよい。ユーザと関連付けられた任意のデータを含む様々な要素（例えば、年齢、性別、身長、体重、住所、収入、または他の任意の関連情報等）は、データベースに格納されたら、本発明の実施形態で利用されてもよく、および／または、データマイニングを受けてもよい。１以上の実施形態は、ユーザまたはＯＥＭが、例えば、システムのデータマイニング機能へのアクセスに対して支払いを行うこと可能にする。
【００４１】
例えば、モーションキャプチャ要素を用いる実施形態は、装置から取得されたデータを解析することを可能にすると共に、キャプチャされたモーションデータを視覚的に示すための、ユーザと関連付けられた一意的な表示（例えば、ユーザの身体の画像上への３Ｄオーバーレイ等）を提示することを可能にする。更に、これらの複数の実施形態は、ゴルファーのモバイルコンピュータと通信するために、５０メートルまでの範囲に対しては、例えば、ＢＬＵＥＴＯＯＴＨ（登録商標）低エネルギー等の能動的無線技術も用い得る。また、本発明の実施形態は、例えばＲＦＩＤリーダを介して、またはＢＬＵＥＴＯＯＴＨもしくはＩＥＥＥ８０２．１１を用いた無線通信を介して、ゴルフクラブのＩＤを受信した結果として、例えば、ストロークをカウントするためのクエリーを表示することを可能にする。ＢＬＵＥＴＯＯＴＨ低エネルギーチップの使用は、標準的なコイン電池で、クラブが最大３年までスリープモードになることを可能にし、これによって必要なメインテナンスを減らすことができる。本発明の１以上の実施形態は、例えば２以上の技術の２以上の無線器を用いてもよい。これは、システムのロバスト性を高める冗長性のレベルを可能にする。例えば、一方の無線器（例えば、ＢＬＵＥＴＯＯＴＨ無線器）が機能しなくなった場合には、例えば、ＩＥＥＥ８０２．１１無線器を用いてデータを転送し、ゴルファーがモーションデータを記録して特定のクラブと関連付けられたショットをカウントすることを依然として可能にしつつ、ゴルファーに無線器のうちの１つが機能していないことを警告してもよい。カメラを備えていないモバイル装置（または２以上のモバイル装置）を用いる本発明の実施形態では、センサデータは、キャプチャされたモーションデータの表示を生成するために用いられ得るが、モバイル装置は、必要に応じて、他のカメラまたはカメラを備えた他のモバイル装置からの画像を取得してもよい。例えば、表示タイプ（ユーザの画像は用いても用いなくてもよい）としては、評価、計算されたデータ、およびタイムラインデータが含まれ得る。また、キャプチャされたモーションと関連付けられた評価も、ユーザの画像と共にまたはユーザの画像無しに数値データまたはグラフィカルなデータの形態で（例えば、「効率」評価）、ユーザに対して表示されてもよい。他の評価としては、例えば震盪および他の事象を決定するための線形加速値および／または回転加速値が含まれ得る。計算されたデータ、例えば、予測されるボール飛行経路データ等を計算して、モバイル装置に表示することができる（ユーザの身体の画像は用いても用いなくてもよい）。また、例えば用具またはユーザの身体の様々な部分についての相対的な速度のピークを示すためにタイムラインに示されるデータも、ユーザの画像と共にまたはユーザの画像無しに表示され得る。複数のモバイル装置を含む複数のカメラからの（例えば、ゴルフファンの一団からの）画像が、ゴルファーの周囲から様々な角度で通常の速度で示されるゴルフスイングのスローモーションによって特徴づけられるＢＵＬＬＥＴ ＴＩＭＥ（登録商標）視覚効果に組み合わされてもよい。解析された全てのデータは、モーションキャプチャデー��、画像／ビデオ、ショットカウント、および位置データと共に、ローカルに表示されてもよく、または、データベースにアップロードされてもよく、そこでデータマイニング処理を受けてもよく、その場合、例えば、本システムは、結果へのアクセスに対して課金してもよい。
【００４２】
１以上の実施形態において、ユーザは、仮想現実メガネを装着して、拡張現実環境において、仮想のまたは実際の別のユーザのアバターを見ながら、例えばモーションキャプチャデータを生成するために、ゴルフコースでプレイしてもよく、テニスボールを打ってもよく、或いは、単にスイングしてもよい。他の実施形態では、ユーザは、モーションキャプチャセンサと結合された、任意のスポーツと関連付けられた用具を動かすか、または単に、ユーザ自身の身体を動かして、計測機器を備えたユーザの動きまたは用具の動きの、仮想現実メガネに表示されている仮想現実環境を見る。或いは、またはそれと組み合わせて、仮想現実アバターおよびモーションデータを投影するために、仮想現実ルームまたは他の環境が用いられ得る。よって、本システムの複数の実施形態は、実際のゴルフコースにいるユーザが、異なる位置にいる実際にはボールを打っていない別のユーザと共に、モーションデータが解析されている歴史上のプレイヤーと共に、または、本システムの実施形態によって歴史上のプレイヤーのアバターを投影するために用いられる１以上のモーションキャプチャデータシーケンスに基づくデータマイニングによって構築されたユーザと共に、プレイすることを可能にし得る。これら３人のプレイヤーの各々は、彼らが同じ場所にいるかのように、順番にプレイしてもよい。
【００４３】
モーションキャプチャデータおよび／または事象は、多くの方法で表示され得る（例えば、モーションキャプチャ中またはモーションキャプチャ後に、ソーシャルネットワークにツイートされる）。例えば、特定の量のエクササイズまたはモーションが行われた場合、カロリーが実行された場合、または新たなスポーツパワー係数の最大値が得られた場合に、本システムは、この新たな情報を、インターネットに接続している誰かに通知されるようにソーシャルネットワークサイトに自動的にツイートしてもよい。１以上の実施形態において、モーションキャプチャデータ、モーション解析、およびビデオは、１以上のソーシャルメディアサイト、リポジトリ、データベース、サーバ、他のコンピュータ、ビューア、ディスプレイ、他のモバイル装置、救急サービス、または公的機関に送信され得る。インターネット、即ち、リモートデータベース、リモートサーバ、または本システムに対してリモートのメモリにアップロードされたデータは、データへのアクセスを取得し得る任意のコンピュータによって閲覧され、解析され、またはデータマイニングされ得る。これは、リモートでコンプライアンスをツイートすること、並びに／または、コンプライアンスおよび／もしくは相手先商標製造業者が、所与のユーザについて、コンプライアンスのためのどの用具、もしくはスポーツ関連の実施形態ではどのスポーツ用具が最良の働きをしているか、および／または、どの用具を示唆すべきかを決定することを可能にする。また、データマイニングは、ユーザと関連付けられたデータおよび／もしくはメタデータ（例えば、年齢等）または本システムに入力され得る他の任意の人口統計学データに基づいて、ユーザに対して、コンプライアンスおよび／またはスポーツ会場（ゴルフコースを含む）の計画を改善するための示唆を行うことを可能にする。また、データのリモートストレージは、例えば、形態学的解析、経時的なモーションの範囲、並びに、糖尿病防止、エクササイズのモニタリング、および上述したコンプライアンス用途等の医療用途を可能にする。また、他の用途は、他のユーザから得た、または存命であるかもしくは故人であるかを問わない歴史上のプレイヤーから、例えばその歴史上のプレイヤーのビデオを解析した後で得た実際のモーションキャプチャデータを用いた試合を可能にする。また、仮想現実および拡張仮想現実の用途も、モーションキャプチャデータまたは歴史的なモーションデータを用いてもよい。例えば、司令官等の軍隊職員および／または医師は、人が簡易爆発物の付近で爆発から受けた重力加速度のタイプを決定し、最良のタイプの医療支援をモーションキャプチャセンサの位置まで送るためのルートを自動的に決定するために、モーションおよび／または画像を用いてもよい。本システムの１以上の実施形態は、重力加速度または速度の閾値を超えたモーションキャプチャデータを、例えば無線通信リンクを介して、司令官または最も近くにいる医療職員に中継してもよい。或いは、本発明の実施形態は、怪我をしたプレイヤーの支援を補助するために、震盪に関連する軽量コネクションレスメッセージを、聴取中の任意のモバイル装置（例えば、審判の携帯電話）に同報してもよく、この場合、軽量メッセージは、必要に応じて設けられるチーム／ジャージ番号、および加速に関連する数値（例えば、潜在的な／可能性がある震盪の警告またはインジケータ等）を含む。
【００４４】
本発明の１以上の実施形態では、モーションキャプチャデータを取得し、解析し、表示するために、例えば、テニストーナメント、フットボールの試合、野球の試合、自動車レースもしくはオートバイレース、ゴルフトーナメント、または他のスポーツ事象等における固定カメラが、モーションキャプチャ要素を有するプレイヤー／用具の付近に位置する無線インターフェースと共に用いられ得る。この実施形態では、拡張されたビデオ再生のために、ビデオに、リアルタイムの、またはほぼリアルタイムのモーションデータを表示することができる。このようにして、ショット中に用具がどのくらい速く動いているかを、例えば、プレイヤーの腰および肩の周囲に輪を描くことで、視覚的に表示することにより、エンターテインメントレベルが高められる。また、本発明の実施形態は、例えばユーザどうしが携帯電話を交換しなくてもいいように、モバイル装置を有する他の複数のプレイヤーからの画像またはビデオが、別のユーザに関係するモバイル装置上で用いられることを可能にする。一実施形態では、第１のユーザによって取得された、ビデオカメラを備えた携帯電話を持っている第２のユーザと関連付けられていない、動いている或るスポーツ用具についてのビデオが、第１のユーザと関連付けられたモーションキャプチャデータと共に表示されるために、自動的にそのビデオを第１のユーザに転送してもよい。ビデオおよび画像は、データベースにアップロードされて、例えばそのユーザが着用している衣服または靴のタイプ／色を決定するために、画像解析によってデータマイニングされてもよい。
【００４５】
データの表示に基づいて、ユーザは、モバイル装置を介して、最適にフィットする用具を決定し、用具を即時に購入することができる。例えば、２組のスキーのうちどちらにするかを決定する際に、ユーザは、モーションキャプチャ要素を備えた両方の対を試してもよく、この場合、どちらの対のスキーがより効率的な動きを可能にするかを決定するためにモーションキャプチャデータが解析される。ゴルフの実施形態では、２つのゴルフクラブのうちどちらにするかを決定する際に、ユーザは、複数の異なるクラブを用いてスイングを行い、キャプチャされたモーションデータの解析に基づいて、どちらのクラブの方が性能が良いかを定量的に決定することができる。例えば、受注組立生産方式で特注の用具を製造して、その用具をユーザに出荷することができるベンダーのモバイル装置上のインターフェースを介して、特注の用具を注文してもよい。例えば、ユーザが、調節可能な長さのシャフトを用いてパッティングした際にキャプチャされたモーションデータに基づいて、それぞれ標準的な長さであるパターのシャフトの長さを、特定のユーザのために特注できる。例えば、モーションキャプチャデータ、ショットカウントデータ、および距離のデータマイニングに基づいて、類似のスイング特性を有する複数のユーザを、現在のユーザに対して比較することが可能になり、この場合、パフォーマンスを改善するために、例えば特定のサイズおよび年齢のユーザの所与のスイング速度に対してより長いショットをもたらす用具が、示唆またはユーザによって検索され得る。ＯＥＭは、所与のスイング速度に対して、どのメーカーおよびモデルのクラブが全体的に最良のパフォーマンスをもたらすかを決定し得る。これは、ゴルフに限らず、モーションを含む全てのアクティビティに該当することが、当業者には認識されよう。
【００４６】
本システムの複数の実施形態は、様々なタイプのセンサを用い得る。本発明の１以上の実施形態では、能動的センサが、ユーザの身体または用具上の特定の箇所のモーションをキャプチャするために用いられる受動的または能動的な視覚的マーカーの使用を可能にするシステムと統合され得る。これは、単に二次元で行われてもよく、またはモバイル装置が２以上のカメラを備えて構成されている場合、もしくは、例えば、ビデオ等の画像をキャプチャするために複数のカメラまたは複数のモバイル装置が用いられ、各カメラから取得された１組の二次元画像から三角測量された三次元モーションデータを生成するために画像を共有する場合には、三次元で行われてもよい。本発明の他の実施形態は、慣性測定装置（ＩＭＵ）、または、モバイル装置に対する向き、位置、速度および／もしくは加速情報の任意の組み合わせを生成できる他の任意のセンサを用いてもよい。このように、センサは、向き（垂直、北／南、またはそれらの両方）、（地球測位システム、即ち、「ＧＰＳ」を用いた、または三角測量を用いた）位置、（３つの軸のすべてにおける）速度、（３つの軸のすべてにおける）加速と関連付けられた１以上の値の任意の組み合わせを含み得るデータを取得してもよい。様々なタイプのセンサから取得された全てのモーションキャプチャデータは、センサのタイプに関わらず、解析、モニタリング、コンプライアンス、試合のプレイ、もしくは他の用途および／またはデータマイニングのために、データベースに保存され得る。
【００４７】
本発明の１以上の実施形態では、（二次元または三次元の）視覚的追跡のため、およびセンサによって生成される向き、位置、速度、加速、角速度、角加速度、または他の任意の物理的量のためにもセンサが用いられ得るように、センサの外面に受動的マーカーまたは能動的マーカーを含むセンサが用いられ得る。モーションキャプチャ要素の視覚的マーカーの複数の実施形態は、受動的または能動的であってもよい。つまり、視覚的マーカーは、視覚的に追跡可能な視覚的部分を有してもよく、または、低照度条件においても画像の追跡を可能にする発光素子（例えば発光ダイオード（ＬＥＤ）等）を含んでもよい。これは、例えば、ゴルフクラブのハンドル付近のシャフトの端部、またはゴルフクラブヘッドのにある反対側の端部におけるグラフィカルなシンボルまたは色のついたマーカーを用いて実装され得る。マーカーの画像またはビデオは、ローカルで解析されてもよく、または、データベースに保存されて、解析され、データマイニングで用いられてもよい。更に、震盪に関連する実施形態では、視覚的マーカーは震盪を示す光を発してもよく（例えば、中程度の震盪に対しては黄色をフラッシュし、重度の震盪に対しては赤色を高速でフラッシュする）、または他の任意の視覚的インジケータ、必要に応じて設けられる音声事象インジケータ、またはそれらの両方を発してもよい。先に述べたように、ＬＣＤは、符号を読み取るよう装備されたモバイル装置をローカルで有していない誰かによって傍受されないように、または別様で読み取られないように、ローカルな視覚的符号化メッセージを出力してもよい。これにより、慎重に扱うべき医療メッセージ（例えば、震盪またはまひ状態に関連する事象）が、審判またはローカルの医療職員のみによって読まれることが可能になる。
【００４８】
モーションキャプチャセンサの複数の実施形態は、一般的に、例えば、ゴルフクラブ等のスポーツ用具の１以上の端部もしくは両端部またはその付近に装着されてもよく、および／または、（ＥＩ測定のために）両端部の間のどこかに装着されてもよく、用具（例えば、武器、医療用具、リストバンド、靴、ズボン、シャツ、グローブ、クラブ、バット、ラケット、ボール、ヘルメット、縁なし帽子、マウスピース等）に結合された他のセンサと統合されてもよく、および／または、任意の可能な方法でユーザに取り付けられてもよい。例えば、モーションキャプチャセンサによって反動が検出され際に、ライフルがどこを向いているかを決定するために、ライフルに。このデータは、例えばモバイルコンピュータ（例えば、携帯電話等）または他の装置を用いて中央サーバに送信され、例えば作戦演習のために解析され得る。更に、センサの１以上の実施形態は、ゴルフクラブのウェイトポート、および／またはゴルフクラブのハンドルの端部に嵌め込まれてもよい。他の実施形態は、例えばテニスラケットまたは野球のバットのハンドルまたは端部に嵌め込まれてもよい。安全性または健康のモニタリングするに関係する実施形態は、縁なし帽子、ヘルメット、および／またはマウスピースと、または他の任意のタイプの囲いの中に結合され得る。本発明の１以上の実施形態は、センサが統合されたボールと共に動作してもよい。モバイル装置の１以上の実施形態は、一体化されたディスプレイを備えてもまたは備えなくてもよく、スポーツ用具のシャフトに取り付けるのに十分に小さく、ユーザのスイングに影響しない、小型のマウンタブルコンピュータ（例えば、ＩＰＯＤ（登録商標）ＳＨＵＦＦＬＥ（登録商標）またはＩＰＯＤ ＮＡＮＯ（登録商標）等）を含んでもよい。或いは、本システムは、プレイヤーによって動かされた用具と接触したボールの仮想の飛行経路を計算してもよい。例えば、ゴルフボールを打つクラブの端部の他の部分のウェイトポートに統合されたセンサを有すると共に、ゴルフクラブのハンドルの先端またはプレイヤーによって着用されている１以上のグローブ内に位置する第２のセンサを有する野球のバット、テニスラケット、またはゴルフクラブを用いて、そのクラブに対する衝撃の角度を計算することができる。クラブのフェースのロフトを知ることにより、ゴルフボールの飛行の角度が計算されてもよい。更に、クラブの端部にあるセンサを、クラブのフェースのどこでゴルフボールが打たれたかを示す振動を決定するのに十分に高い速度でサンプリングすることにより、衝撃の質が決定されてもよい。これらのタイプの測定および解析は、アスリートの向上の助けとなると共に、フィッティングの目的では、アスリートが、正しくフィットする用具を即時に購入することを可能にする。製造業者側での製品改善のために、センタリングデータがデータベースにアップロードされて、例えば、平均的な、または最も低いねじれ値を有する最良のセンタリングを有するバット、ラケット、またはクラブに関係するパターンがデータマイニングされてもよい。データ中で発見された他の任意の未知のパターンも、ユーザに対して提示または示唆されてもよく、ユーザによってサーチされても��く、または、例えば、製造業者もしくはユーザによってそれに対する支払いがなされてもよい。
【００４９】
センサの１以上の実施形態は、例えば、「自動」または「自己巻き」腕時計として知られている腕時計で用いられているような、機械的な偏心錘等であって、必要に応じて、小型の発電機、または、センサ電源の間接的な電気機械的な充電のための誘電充電コイルを含む、充電機能を含んでもよい。他の複数の実施形態は、センサ電源、または電気機械もしくは微小電気機械（ＭＥＭＳ）に基づく充電要素を直接充電するためのプラグを用いてもよい。本発明の１以上の実施形態では、他の任意のタイプの微小電力回収技術が用いられてもよい。センサの１以上の実施形態は、センサの電源をオンまたはオフにするジェスチャを含む節電機能を用いてもよい。そのようなジェスチャは、モーション、物理的スイッチ、センサとの接触、例えば特定のセンサと関連付けられたモバイル装置からのセンサに対する無線コマンドを含み得る。センサと結合され得る他の要素は、例えば、電池、低電力マイクロコントローラ、アンテナおよび無線器、ヒートシンク、充電器および過充電センサを含む。更に、本発明の実施形態は、加速度計または機械的スイッチからの電子信号が、例えばクラブが動いたことを決定するまで、本システムの一部または全ての構成要素の電源を落とすことを可能にする。
【００５０】
本発明の１以上の実施形態は、例えば、スポーツ用具の、更には身体部位の弾性慣性（Elasticity Inertia）即ちＥＩ測定を可能にする。センサの実施形態を、ゴルフクラブのシャフト、テニスラケット、野球のバット、ホッケースティック、靴、人の腕、または他の完全に剛性でない任意のアイテムに沿って配置することで、センサが配置された位置またはセンサ間の位置における撓み量の測定が可能になる。各センサにおける経時的な角度差は、撓みプロファイルの計算のみならず、時間または力に依存する撓みプロファイルの計算も可能にする。例えば、公知のＥＩ装置は、ＥＩプロファイルを決定する位置を支持するために、複数の静止した錘を用いる。従って、これらの装置は、ＥＩプロファイルが、加えられた力に依存しているか、または力が加えられた時間に依存しているかを検出することはできず、例えば、ＥＩプロファイルは力または時間に関して非線形であり得る。時間に関して異なる物理的特性を有することが知られている材料の例としては、マックスウェル物質および非ニュートン流体が挙げられる。
【００５１】
また、ユーザは、モバイル装置のディスプレイ上で、または、例えばビデオディスプレイを含むメガネで、キャプチャされたモーションデータをグラフィカルな形態で閲覧し得る。また、モーションキャプチャ要素の実施形態から取得された、キャプチャされたモーションデータは、仮想環境におけるユーザの仮想現実表示を拡張するために用いられ得る。データマイニングによってデータベース中で見出されたパターンの仮想現実または拡張現実ビューも、本発明の趣旨に沿ったものである。また、例えば、ユーザには、例えば現在の風況に基づく、または障害物（例えば、ボールの所望の目的地、即ち、例えばゴルフのホールまでの途中にある木々）を考慮した、例えばショットを当てることが試みられるべき位置を示す照準アシストまたは照準ガイド等の、拡張された情報が見えてもよい。
【００５２】
本発明の１以上の実施形態は、ユーザ、用具、またはユーザと結合されたモバイル装置と結合されるよう構成された少なくとも１つのモーションキャプチャ要素を含むモーション事象認識およびビデオ同期システムを含む。少なくとも１つのモーションキャプチャ要素は、メモリと、少なくとも１つのモーションキャプチャ要素の向き、位置、速度、および加速と関連付けられた値の任意の組み合わせをキャプチャするよう構成されたセンサと、無線器と、メモリ、センサ、および無線器と結合されたマイクロコントローラとを含み得る。マイクロコントローラは、センサからのセンサ値を含むデータを収集し、データをメモリに格納し、データを解析してデータ中の事象を認識して事象データを決定し、事象と関連付けられた事象データを無線器を介して送信するよう構成され得る。本システムは、コンピュータと、事象と関連付けられた事象データを取得するために無線器と通信するよう構成された無線通信インターフェースとを含むモバイル装置も含んでもよく、コンピュータは無線通信インターフェースと結合されており、コンピュータは、無線通信インターフェースから事象データを受信するよう構成される。また、コンピュータは、事象データを解析してモーション解析データを構成し、事象データ、モーション解析データ、または事象データとモーション解析データとの両方を格納し、事象から事象開始時間および事象停止時間を取得し、少なくとも事象開始時間から事象停止時間までの期間中にキャプチャされたビデオを含む、カメラからの画像データを要求し、事象開始時間から事象停止時間までの期間中に生じた事象データ、モーション解析データ、またはそれらの任意の組み合わせと、事象開始時間から事象停止時間までの期間中にキャプチャされたビデオとの両方を含む事象ビデオをディスプレイに表示してもよい。
【００５３】
複数の実施形態は、システム内のクロックを任意のタイプの同期方法を用いて同期させてもよく、１以上の実施形態では、モバイル装置上のコンピュータは、更に、モーションキャプチャ要素とモバイル装置との間のクロック差を決定して、モーション解析データをビデオと同期させるよう構成される。例えば、本発明の１以上の実施形態は、複数の異なる装置からの事象に関する記録データを組み合わせ可能なように、複数の記録装置が各装置の時間、位置、または向きに関する情報を同期させるための手順を提供する。そのような記録装置は、埋め込みセンサ、カメラもしくはマイクを備えた携帯電話、または、より一般的には、対象となるアクティビティに関するデータを記録できる任意の装置であり得る。１以上の実施形態において、この同期は、装置が、時間、位置、または向きについての共通の測定指標に一致可能なように、装置間で情報を交換することによって達成される。例えば、携帯電話および埋め込みセンサが、それぞれの内部クロックの現在のタイムスタンプを有するメッセージを交換してもよく、これらのメッセージは、２つの装置が共通の時間に一致するための交渉を行うことを可能にする。そのようなメッセージは、前回の同期後のクロックのドリフトまたは装置のモーションを考慮するために、必要に応じて周期的に交換され得る。他の実施形態では、複数の記録装置は、時間、位置、または向きの標準化された測定指標を取得するために、共通のサーバまたは１組のサーバを用いてもよい。例えば、装置は、ＧＰＳシステムを用いて、各装置の絶対位置情報を取得してもよい。また、標準化された時間を取得するためにＧＰＳシステムが用いられてもよい。標準化された時間サーバとして、ＮＴＰ（ネットワークタイムプロトコル）サーバが用いられてもよい。サーバを用いることにより、複数の装置を、常時互いに通信するよう構成する必要なしに、共通の測定指標に一致させることが可能になる。
【００５４】
本発明の１以上の実施形態において、幾つかの記録装置は、対象となる様々な事象の発生を検出するよう構成される。そのような事象の一部は特定の瞬間に生じ得るものであるが、他の事象は或る時間間隔にわたって生じ得るものであり、検出は、事象の開始および事象の終了の検出を含む。これらの装置は、上述の時間、位置、および向きの同期された測定指標を用いて、記録装置の時間、位置、または向きの任意の組み合わせを、事象データと共に記録するよう構成される。
【００５５】
モバイル装置上のコンピュータの複数の実施形態は、更に、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨てるよう構成され得る。例えば、本発明の１以上の実施形態において、一部の記録装置は、事象が検出されるまで待機しながら、データを継続的にメモリにキャプチャする。メモリを節約するために、一部の装置は、検出された事象にデータが時間的に接近している場合のみ、データをより永久的なローカル記憶媒体に、またはサーバに格納するよう構成され得る。例えば、事象検出がないときには、新たに記録されたデータは、最終的に、以前にメモリに記録されたデータを上書きしてもよい。一部の実施形態では、そのような上書きスキームの典型的な実装例として、循環バッファが用いられ得る。事象検出が生じたときには、記録装置は、事象自体の期間中にキャプチャされたデータを格納することに加えて、事象の開始前に、設定されている幾らかの量のデータを格納すると共に、事象の終了後に、設定されている幾らかの量のデータを格納してもよい。例えば、事象の文脈がビデオに示されるように、任意の事前または事後の時間間隔は、事象開始時間および事象停止時間の一部であると見なされる。カメラ付きモバイル装置またはカメラ上において、事象についてのビデオのみを保存することで、大量のスペースが節約されると共に、アップロード時間が大幅に低減される。
【００５６】
本システムの複数の実施形態は、モバイル装置に対してリモートのサーバコンピュータを更に含んでもよく、サーバコンピュータは、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨てて、事象開始時間から事象停止時間までの期間にキャプチャされたビデオをモバイル装置内のコンピュータに返すよう構成される。
【００５７】
少なくとも１つのモーションキャプチャ要素の複数の実施形態は、少なくとも１つの他のモーションキャプチャセンサ、少なくとも１つの他のモバイル装置、またはそれらの任意の組み合わせに事象を送信するよう構成されてもよく、少なくとも１つの他のモーションキャプチャセンサ、少なくとも１つの他のモバイル装置、またはそれらの任意の組み合わせは、事象と関連付けられているデータを保存するよう構成される。例えば、同時に動作する複数の記録装置を有する実施形態では、そのような装置の１つが事象を検出したら、そのような事象検出が生じた旨のメッセージを他の記録装置に送ってもよい。このメッセージは、様々な装置のクロックの同期された時間基準を用いた事象の開始および／または停止のタイムスタンプを含み得る。受信装置（例えば、他のモーションキャプチャセンサおよび／またはカメラ）は、事象と関連付けられたデータを不揮発性ストレージまたはサーバに格納するために、事象検出メッセージを用いてもよい。これらの装置は、事象と直接関連付けられデータに加えて、事象の開始前の幾らかの量のデータおよび事象の終了後の幾らかの量のデータを格納するよう構成されてもよい。このようにして、全ての装置が同時にデータを記録できるが、複数のソースからの分散した事象データの保存を開始するためには、これらの装置のうちの１つのみからの事象トリガが用いられる。
【００５８】
コンピュータの複数の実施形態は、更に、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存するよう構成されてもよく、または、ビデオを保存するためにリモートサーバが用いられてもよい。本発明の１以上の実施形態において、一部の記録装置は、事象が生じ得る期間中を通して互いに直接通信しなくてもよい。これらの状況において、装置は、記録された全てのデータの完全な記録を、永久的なストレージまたはサーバに保存するよう構成され得る。これらの状況では、一部の装置は事象トリガメッセージを受信できない場合があるので、事象と関連付けられたデータのみを保存することは不可能な場合がある。これらの状況では、保存されたデータは、その後で、検出された１以上の事象と関連付けられた関連部分のみを抽出するために処理され得る。例えば、複数のモバイル装置がプレイヤーまたはパフォーマーのビデオを記録して、このビデオを継続的にストレージ用サーバにアップロードしてもよい。それとは別に、プレイヤーまたはパフォーマーは、例えば、特定のモーションまたはアクション等の事象を検出可能な埋め込みセンサを備えていてもよい。埋め込みセンサのデータは、同じサーバに継続的にまたは後でアップロードされ得る。埋め込みセンサデータおよびビデオストリームを含む全てのデータは、一般的にタイムスタンプが付与されるので、埋め込みセンサによって検出された事象と関連付けられたビデオを、サーバ上で抽出して組み合わせることができる。
【００５９】
サーバまたはコンピュータの複数の実施形態は、更に、少なくとも１つのモーションキャプチャセンサとモバイル装置との間の通信リンクが開いているときには、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨て、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存するよう構成され得る。或いは、通信リンクが開いていない場合には、コンピュータの複数の実施形態は、更に、ビデオを保存し、通信リンクが開いた後に事象が受信された後で、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨て、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存するよう構成され得る。例えば、本発明の一部の実施形態では、データは、上述のようにサーバにアップロードされてもよく、各装置のデータストリームと関連付けられた位置および向きのデータが、検出された事象に関連するデータを抽出するために用いられてもよい。例えば、ゴルフトーナメントを通して様々な位置でビデオを記録するために、一組の多くのモバイル装置が用いられ得る。このビデオデータは、継続的にまたはトーナメントの後でサーバにアップロードされ得る。トーナメントの後、事象検出を有するセンサデータも同じサーバにアップロードされ得る。これらの様々なデータストリームを後処理することで、同じ時間に生じた事象と物理的に近接して記録された特定のビデオストリームを識別できる。カメラが、事象を観察するために正しい方向を向いている場合には、更なるフィルタによってビデオストリームを選択してもよい。これらの選択されたストリームは、事象を複数のビデオ角度で示す集合データストリームを構成するためにセンサデータと組み合わされてもよい。
【００６０】
本システムは、モバイル装置と結合されたカメラ、またはモバイル装置とは別個のもしくは別様でモバイル装置に対してリモートの任意のカメラから、ビデオを取得し得る。１以上の実施形態において、ビデオは、モバイル装置に対してリモートのサーバから取得される（例えば、或る位置および時間間隔におけるビデオを求めるクエリーの後に取得される）。
【００６１】
サーバまたはコンピュータの複数の実施形態は、事象開始時間、事象停止時間、またはそれらの両方と最も密接に関連付けられるビデオ内の開始事象フレーム、停止事象フレーム、またはそれらの両方をより正確に決定するための画像解析によって、ビデオを事象データまたはモーション解析データと同期させるよう構成され得る。本発明の１以上の実施形態において、記録装置間のクロックの同期はおおよそのものであり得る。各装置からの事象のビューに基づいて、複数の記録装置からのデータ供給の同期の精度を向上させることが望ましい場合がある。１以上の実施形態では、粒度が細かい同期を支援するために、複数の異なるストリーム中の事象のシグネチャーを観察するために、複数のデータストリームの処理を用いる。例えば、埋め込みセンサは、ビデオカメラを含むモバイル装置と同期され得るが、時間の同期の精度は単に１００ミリ秒以内までであってもよい。ビデオカメラが３０フレーム／秒でビデオを記録している場合には、埋め込みセンサにおける事象検出に対応するビデオフレームは、同期されたタイムスタンプのみに基づいて、単に３フレーム以内にあると決定される。装置の一実施形態では、検出された事象に最も密接に対応する正確なフレームを決定するために、ビデオフレーム画像処理を用いることができる。例えば、慣性センサによって検出された、地面に当たったスノーボードからの衝撃が、スノーボードの幾何学的境界が地面と接触しているフレームと相関され得る。他の実施形態は、複数のデータ供給の同期を改善するために、事象シグネチャーを検出する他の画像処理技術または他の方法を用いてもよい。
【００６２】
少なくとも１つのモーションキャプチャ要素の複数の実施形態は、マイクロコントローラと結合された、位置を決定するよう構成された位置決定要素を含んでもよく、この場合、マイクロコントローラは、モバイル装置上のコンピュータに位置を送信するよう構成されている。１以上の実施形態において、本システムは、サーバを更に含み、マイクロコントローラは、直接またはモバイル装置を介してサーバに位置を送信するよう構成されており、コンピュータまたはサーバは、位置、並びに事象開始時間および事象停止時間に基づいて、ビデオの部分から事象ビデオを構成するよう構成されている。例えば、１以上の実施形態において、事象ビデオは、特定の長さの事象に合わせてトリミングされてもよく、任意の品質またはビデオ品質にコード変換され、任意の方法で、モーション解析データまたは事象データ（例えば、速度または加速データ）にオーバーレイされるかまたは別様で統合される。ビデオは、モバイル装置、少なくとも１つのモーションキャプチャセンサ、および／またはサーバ間の通信リンクが開いているか否かに関わらず、ビデオを格納するための任意の解像度、深さ、画質、もしくは圧縮タイプで、または記憶能力を最大にするための他の任意の技術もしくはフレームレートで、または記憶量を最小限にするための任意の圧縮タイプを用いて、ローカルに格納され得る。１以上の実施形態において、速度または他のモーション解析データは、例えば、ビデオの下の部分にオーバーレイされてもよく、または別様で組み合わされてもよく、これは、事象開始および停止時間を含み、例えば、ボールを打った事象の前のスイングのビデオを提供するために、実際の事象の前および／または後の任意の秒数を含んでもよい。１以上の実施形態において、少なくとも１つのモーションキャプチャセンサおよび／またはモバイル装置は、事象およびビデオをサーバに送信してもよく、サーバは、特定の位置において特定の時間に生じた特定のビデオおよびセンサデータを決定して、幾つかのビデオおよび幾つかのセンサ事象から事象ビデオを構築してもよい。センサ事象は、例えば、ユーザおよび／または用具と結合された１または複数のセンサからのものであり得る。このように、本システムは、事象に対応する短いビデオを構築してもよく、これにより、例えば、必要なビデオ記憶容量が大きく低減される。
【００６３】
１以上の実施形態において、マイクロコントローラまたはコンピュータは、事象の位置を決定するよう構成されるか、または、マイクロコントローラおよびコンピュータは、事象の位置を決定し、事象の中心点を設けるために、例えば、位置を相関させるまたは平均することによって位置を相関させるよう構成され、および／または、初期化中のＧＰＳセンサからの誤った位置データが最小化され得る。このようにして、モバイル装置を有する１グループのユーザが、ティーオフしているゴルファーのビデオを生成してもよく、この場合、少なくとも１つのモーションキャプチャ装置の事象位置が用いられてもよく、サーバは、観客からのビデオを取得して、プロゴルファーのスイングおよびボールを打っているところの事象ビデオを生成してもよく、事象ビデオは、ゴルファーがスイングした際のゴルファーの周囲からのＢＵＬＬＥＴ ＴＩＭＥビデオを生成するために、複数の異なるカメラからのフレームを用いてもよい。得られた１または複数のビデオは、例えば、事象開始時間から事象停止時間までの、および／または、スイングまたは他の事象について任意のセットアップ時間および任意のフォロースルー時間を含む事象全体がキャプチャされることを確実にするために、事象前または事象後の所定の任意の時間値を伴う事象の継続期間に合わせてトリミングされ得る。
【００６４】
１以上の実施形態において、モバイル装置上のコンピュータは、事象の近位にある少なくとも１つのカメラからの事象を含む少なくとも１つの画像またはビデオを、そのエリア内で任意のカメラによって撮影された任意のビデオに対する要求を同報することによって直接要求してもよく、これは、必要に応じて、カメラが事象に近接して配置されているかどうかのみならず、事象に向けられているもしくは別様で向いているかどうかに関係する向き情報を含み得る。他の実施形態では、モバイル装置上のコンピュータによってリモートサーバからのビデオが要求されてもよい。この状況では、事象と関連付けられた任意の位置および／または時間は、事象の近くの、事象に近い時間に撮影された、またはそれらの両方の画像および／またはビデオを返すために用いられ得る。１以上の実施形態において、コンピュータまたはサーバは、ビデオを事象の継続期間に対応するようトリミングしてもよく、ここでも、例えば、ボールを打つ等の事象の位置を、例えば、ボールが用具に当たったことに対応する加速データと一致するビデオ中の対応するフレームと更に同期させるために、画像処理技術を用いてもよい。
【００６５】
モバイル装置上またはサーバ上のコンピュータの複数の実施形態は、１以上の事象が生じた１以上の時間のリストを表示するよう構成されてもよい。このようにして、ユーザは、事象ビデオに迅速にアクセスするために、リストから事象を見つけ出してもよい。
【００６６】
本発明の実施形態は、モバイル装置と物理的に結合された少なくとも１つのモーションキャプチャセンサを含み得る。これらの実施形態は、例えば、任意のタイプのヘルメットに装着されたカメラ、または事象データおよびビデオデータを生成するためのカメラおよびモーションキャプチャセンサの両方を含む任意のマウント等の、センサが統合された任意のタイプの携帯電話またはカメラシステムを可能にする。
【００６７】
一部の実施形態では、本システムは、モーション事象と関連づけられた事象データを受信するために１以上のモーションキャプチャ要素の無線器と通信可能な無線通信インターフェースを有する１以上のコンピュータも含み得る。コンピュータは、生モーションデータを受信して、事象を決定するためにこのデータを解析し得る。他の実施形態では、事象の決定はモーションキャプチャ要素内で行われ、コンピュータは事象データを受信し得る。一部の実施形態では、これらの２つの手法の組合せも可能である。
【００６８】
一部の実施形態では、１または複数のコンピュータは、事象データから、モーション事象の開始時間および停止時間を決定し得る。次に、コンピュータは、この事象開始時間と事象停止時間との間の時間の少なくとも或る部分内の何らかの時間間隔にわたるビデオまたは１以上の画像をキャプチャしたカメラからの画像データを要求し得る。本明細書におけるビデオという用語は、連続的なビデオだけでなく、個々の画像を含む（カメラが事象間隔中に単一のスナップショット画像を撮影する場合を含む）。次に、このビデオデータは、同期された事象ビデオからのモーションデータと関連づけられ得る。事象は、例えば、ユーザがモーションキャプチャセンサを決まった回数だけ振るまたはタップすることによるジェスチャで示され得る。ユーザによるジェスチャの事象を含む任意のタイプの予め定義された事象は、サイズが大きな生ビデオファイルの転送を要求せずに、概ね簡潔な事象ビデオを転送するよう、少なくとも１つのカメラを制御するために用いられ得る。
【００６９】
一部の実施形態では、カメラからのビデオの要求は、モーションデータのキャプチャまたは解析と同時に行われ得る。そのような実施形態では、システムは、事象が開始したことの通知を取得または生成し、次に、事象の終わりが検出されるまで、１以上のカメラからコンピュータにビデオがストリーミングされることを要求する。他の実施形態では、ビデオの要求は、カメラがそのビデオ記録を例えばサーバ等の別のコンピュータにアップロードした後に行われ得る。この場合には、コンピュータは、カメラから直接ではなく、サーバからのビデオを要求する。
【００７０】
モーションデータとビデオデータとの同期を行うために、様々な技術が用いられ得る。そのような技術は、全ての装置（モーションキャプチャ要素、コンピュータ、およびカメラ）が共通の時間基準を用いることを確実にする、例えばネットワークタイムプロトコル等の当該技術分野においてよく知られているクロック同期方法を含む。別の技術では、コンピュータは、モーションキャプチャ要素およびカメラの各装置によって登録された現在の時刻を含むパケットを交換することにより、コンピュータのクロックをモーションキャプチャ要素の内部クロックおよびカメラの内部クロックと比較し得る。他の技術は、モーションデータおよびビデオデータを解析して、同期のためにそれらの異なる時間基準のアライメントをとる。例えば、ボールとの接触を示している特定のビデオフレームが、加速度計における衝撃を示しているモーションデータからの特定のデータフレームと位置合わせされ、次に、これらのフレームは、モーションデータとビデオデータとを同期させるためのキーフレームとして効果的に用いられ得る。組み合わされたビデオデータおよびモーションデータは、事象の記録が統合された同期された事象ビデオを構成する。
【００７１】
１以上の実施形態において、モーションデータまたはビデオデータを受信または処理するよう構成されたコンピュータは、携帯電話、スマートホン、タブレット、ＰＤＡ、ラップトップ、ノートブック、または容易に運搬もしくは再配置可能な他の任意の装置を含むがそれらに限定されないモバイル装置であり得る。他の実施形態では、そのようなコンピュータは、カメラ、特に、ビデオデータが取得されるカメラに統合されたものであり得る。他の実施形態では、そのようなコンピュータは、データセンターまたはクラウド型サービスにおいて仮想マシンとして実行される仮想コンピュータを含むがそれらに限定されないデスクトップコンピュータまたはサーバコンピュータであり得る。一部の実施形態では、システムは、上述のタイプのうちの任意の複数のコンピュータを含んでよく、これらのコンピュータは、本明細書において記載される処理を協働して行い得る。当業者には自明であるように、そのようなコンピュータの分散型ネットワークは、タスクを多くの可能な方法で分割し得るものであり、所望であれば、それらの動作を、単一の集中型コンピュータの動作を再現するよう調和させることができる。本明細書におけるコンピュータという用語は、上述のタイプのコンピュータのうちの任意のものまたは全てを意味し、協働する複数のそのようなコンピュータのネットワークを含むことが意図される。
【００７２】
１以上の実施形態において、コンピュータは、同期された事象ビデオのシーケンスを取得または生成し得る。コンピュータは、ユーザが事象の履歴を見るために、このシーケンスの合成サマリーを表示し得る。各事象と関連づけられたビデオについて、一部の実施形態では、このサマリーは、ビデオから生成された１以上のサムネイル画像を含み得る。他の実施形態では、サマリーは、完全な事象ビデオからのより小さい選択部分を含み得る。合成サマリーは、各同期された事象ビデオと関連づけられたモーション解析または事象データの表示も含み得る。一部の実施形態では、コンピュータは、測定指標を取得して、各事象についてのこの測定指標の値を表示し得る。これらの測定指標値の表示は、異なる実施形態において様々であり得る。一部の実施形態では、測定指標値の表示は、棒グラフ、線グラフ、または絶対値もしくは相対値を示すための他のグラフィカルな技術であり得る。他の実施形態では、色分けまたは他の視覚的効果が用いられ得る。他の実施形態では、測定指標の数値が示され得る。一部の実施形態は、これらの手法の組合せを用い得る。
【００７３】
１以上の実施形態において、コンピュータは、一連の事象のモーション解析データまたは事象データと関連づけられた注目される測定指標についての選択基準を受け入れ得る。例えば、ユーザは、例えば、或る閾値を超える、或る範囲内の、または或る範囲外の測定指標等といった基準を与え得る。事象の測定指標値に適用され得る任意の基準が用いられ得る。コンピュータは、選択基準に応答して、選択基準を満たす同期された事象ビデオまたはそれらのサマリー（例えばサムネイル等）のみを表示し得る。一例として、ゴルフのスイングの事象データをキャプチャしているユーザは、スイング速度が１００ｍｐｈ（時速約１６０ｋｍ）を超えたスイングのみを見ることを望み得る。
【００７４】
本発明の一部の実施形態では、コンピュータは、同期された事象ビデオを選択された測定指標の値に基づいて表示するために、上述の選択基準に基づくフィルタリングに加えて、同期された事象ビデオをソーティングおよびランク付けし得る。上述の例の続きとして、ゴルフのスイングのデータをキャプチャしているユーザは、最高スイング速度が最初に示されるようにソーティングされた、スイング速度が１００ｍｐｈ（時速約１６０ｋｍ）を超えたスイングのみを見ることを望み得る。
【００７５】
１以上の実施形態において、コンピュータは、選択基準を満たす事象についてのビデオを組み合わせたハイライトリールを生成し得る。そのようなハイライトリールは、選択された事象についてのビデオ全体、またはモーション解析によって決定された事象における重要な瞬間に対応するビデオの一部分を含み得る。一部の実施形態では、ハイライトリールは、ビデオ上または選択されたフレーム上に、モーション解析から得た測定指標の値を示すデータのオーバーレイまたはグラフィックを含み得る。そのようなハイライトリールは、ユーザが選択基準を指定することによって含むべき事象を示すと、ユーザのために自動的に生成され得る。一部の実施形態では、コンピュータは、ユーザが、事象を追加または除去するために、各事象について示されるビデオを長くするまたは短くするために、モーションデータについてのグラフィックオーバーレイを追加または除去するために、または特殊効果もしくはサウンドトラックを追加するために、ハイライトリールを編集するのを可能にし得る。
【００７６】
複数のカメラを有する実施形態では、モーションデータおよび複数のビデオストリームは、単一の同期された事象ビデオに組合せられ得る。複数のカメラからのビデオは、全てがモーションデータおよび共通の時間基準に対して同期された、事象のそれぞれ異なる角度または視野を提供し得る。一部の実施形態では、１以上のコンピュータ（例えば、サーバまたはクラウドサービス等）上で、１以上のビデオを入手可能であり得、１以上のビデオは後で事象データと相関され得る。これらの実施形態では、コンピュータは、事象を見るための正しい位置および向きにあった、格納されているビデオを探し得る。次に、コンピュータは、適切なビデオを読み出して、それらを事象データと組み合わせて、複数の位置および角度からのビデオを有する事象の合成画面を構成し得る。
【００７７】
一部の実施形態では、コンピュータは、事象と関連づけられた１組の候補のビデオから、特定のビデオを選択し得る。選択されるビデオは、事象の、様々な可能な基準に基づく最良のまたは最も完全な画面であり得る。一部の実施形態では、コンピュータは、各ビデオの画像解析を用いて最良の選択を決定し得る。例えば、一部の実施形態は、画像解析を用いて、どのビデオが、注目される用具または人々が最も隠れていないまたは最も明瞭に見える最も完全なビデオであるかを決定し得る。一部の実施形態では、この画像解析は、ビデオのキャプチャ中のカメラの揺れの程度の解析、および最も安定した画像を有するビデオの選択を含み得る。一部の実施形態では、ユーザは好ましいビデオの選択を行ってもよく、または、ユーザは、最も重要な基準を指定することによって、コンピュータが選択を行うのを補助してもよい。
【００７８】
一部の実施形態では、モーションキャプチャ要素からの事象データは、その事象についてのビデオを記録可能なカメラに、制御メッセージを送るために用いられ得る。複数のカメラを有する実施形態では、制御メッセージは、事象が生じている間に、１組のカメラに同報または送信され得る。これらの制御メッセージは、事象と関連づけられたデータ（モーション解析データを含む）に基づいて、ビデオ記録パラメータを修正し得る。例えば、カメラは、進行中の注目される事象がない間は、待機状態で、記録を行わなくてもよい。コンピュータは、事象データを待機して、事象が開始したら、カメラに記録を開始するためのコマンドを送り得る。事象が終了したら、コンピュータは、カメラに記録を停止するためのコマンドを送り得る。そのような技術は、カメラの電力およびビデオメモリを節約できる。
【００７９】
より一般的には、一部の実施形態では、コンピュータは、事象データまたはモーション解析データに応答して、任意の関連するビデオ記録パラメータを修正するために、１または複数のカメラに制御メッセージを送り得る。これらの記録パラメータは、例えば、ビデオのフレームレート、解像度、色深度、色またはグレースケール、圧縮方法、および圧縮品質、並びに記録のオンまたはオフを含み得る。これが有用であり得る一例として、モーション解析データはユーザまたは用具が急激に動いているときを示してもよく、それに応答して、急激なモーションの期間中にはビデオ記録のフレームレートを上げ、比較的遅いモーションの期間中には下げてもよい。急激なモーションが生じている間により高いフレームレートを用いることにより、ユーザは、再生中に、高モーション事象を詳細に観察するために、モーションの速度を遅くすることが可能になる。これらの技術は、カメラがビデオメモリを節約し、使用可能なメモリを、非常に注目される事象のために効率的に用いることを可能にし得る。
【００８０】
一部の実施形態では、コンピュータは、例えばユーザから、サウンドトラックを受け入れて、このサウンドトラックを、同期された事象ビデオに統合し得る。この統合は、例えば、事象ビデオまたはハイライトリールの再生中に、音声サウンドトラックを追加するものである。一部の実施形態は、事象データまたはモーション解析データを用いて、同期された事象ビデオにサウンドトラックをコンピュータによって自動的に統合し得る。例えば、一部の実施形態は、サウンドトラックを解析し、例えば、音声の振幅が高い時点に基づいて、サウンドトラックのビートを決定し得る。次に、事象データまたはモーション解析データを用いて、サウンドトラックのビートが事象と同期され得る。例えば、そのような技術は、ユーザまたはオブジェクトのモーションが増減するにつれて、サウンドトラックの速度を自動的に増減し得る。これらの技術は、事象と関連づけられた聴覚的および視覚的キューを有する豊かなメディア経験を提供する。
【００８１】
１以上の実施形態において、コンピュータは、同期された事象ビデオを１以上のディスプレイ上で再生するよう構成される。これらのディスプレイは、コンピュータに直接取り付けられていてもよく、または、他のリモートの装置上にあってもよい。コンピュータは、事象データまたはモーション解析データを用いて、様々な効果を追加または変更するために再生を修正し得る。これらの修正は、再生中に複数回、または再生中に事象データが変化するにつれて連続的に生じ得る。例えば、低モーション期間中には再生は通常速度で行われ、一方、高モーション期間中には、モーションの詳細をハイライトするために、再生はスローモーションに切り替わってもよい。再生速度の修正は、事象またはモーションの任意の観察または算出された特性に基づいて行われ得る。例えば、事象データは、例えばボールの打撃、ジャンプの開始もしくは終了、または他の任意の興味深い瞬間等の、特定の注目されるサブ事象を識別し得る。コンピュータは、同期された事象ビデオがこれらのサブ事象に近づいた際に、再生速度を下げるよう再生速度を修正し得る。この速度の減速は、サブ事象を詳細にハイライトするために連続的に増され得る。また、再生はサブ事象において停止されて、ユーザからの入力を待って継続してもよい。また、再生速度の減速は、モーション解析データまたは事象データからの１以上の測定指標の値にも基づき得る。例えば、モーション解析データは、動いている野球のバットまたはゴルフクラブの速度を示してもよく、再生速度は、そのようなオブジェクトの速度が増すにつれ、より遅くなるように、連続的に調節されてもよい。再生速度は、そのような測定指標のピーク値付近では非常に遅くされ得る。
【００８２】
他の実施形態では、再生速度に限定されない他の再生特性の修正が行われ得る。例えば、コンピュータは、再生速度、画像の明るさ、画像の色、画像の焦点、画像解像度、点滅する特殊効果、またはグラフィックオーバーレイもしくは境界線の使用のうちのいずれかまたは全てを修正し得る。これらの修正は、モーション解析データ、事象データ、サブ事象、または同期された事象ビデオの他の任意の特性に基づいて行われ得る。一例として、再生が注目されるサブ事象に近づくと、点滅する特殊効果が加えられてもよく、ビデオ中の注目されるオブジェクト（例えば、用具によって打たれるところのボール等）の周囲に境界線が追加されてもよい。
【００８３】
サウンドトラックを含む実施形態では、再生特性の修正は、サウンドトラックの再生特性の修正を含み得る。例えばそのような修正は、サウンドトラックの音量、テンポ、音質、または音声特殊効果の修正を含み得る。例えば、再生が注目されるサブ事象に近づくと、サブ事象をハイライトするため、および再生を視聴しているユーザによりダイナミックな経験を提供するために、サウンドトラックの音量およびテンポが高められ得る。
【００８４】
１以上の実施形態において、コンピュータは、ビデオの画像解析を用いて、ビデオ中のオブジェクトから測定指標を生成し得る。この測定指標は、例えば、オブジェクトのモーションの何らかの態様を測定し得る。画像解析から得られたそのような測定指標は、モーションセンサからのデータのモーション解析から取得された測定指標に加えて、またはそれに関連して用いられ得る。一部の実施形態では、画像解析は、注目されるオブジェクトと関連づけられた画素の位置を求めるための当該技術分野で知られている幾つかの技術のうちの任意のものを用い得る。例えば、或るオブジェクトは、特定の色、テクスチャ、または形状を有することが既知であり得、それらの特性が、ビデオフレーム内におけるそのオブジェクトの位置を求めるために用いられ得る。一例として、テニスボールは、ほぼ丸く、黄色で、ボールの材質と関連づけられたテクスチャを有することが既知であり得る。画像解析は、これらの特性を用いて、ビデオフレーム内におけるテニスボールの位置を求めることができる。複数のビデオフレームを用いて、テニスボールのおおよその速度が算出され得る。例えば、静止したまたはほぼ静止したカメラを想定すると、三次元空間におけるテニスボールの位置は、ビデオフレーム内におけるボールの位置に基づいて、およびそのサイズに基づいて推定できる。フレーム内における位置は、画像平面上におけるボールの位置の投影を与え、サイズは、カメラに対して相対的なボールの深度を与える。複数のフレーム内におけるボールの位置を用いることにより、およびフレーム間の時間差を与えるフレームレートを用いることにより、ボールの速度を推定できる。既知のサイズのオブジェクト（例えば、バスケットボール等）の付近において、垂直跳躍の推定が行われ得る。
【００８５】
１以上の実施形態において、モーションキャプチャ要素と結合されたマイクロコントローラは、事象データのキャプチャを調和させるために、他のモーションキャプチャセンサと通信するよう構成される。マイクロコントローラは、別のモーションキャプチャセンサに、その別のセンサも事象データをキャプチャするようトリガするために、事象の開始の通知を送信し得る。その別のセンサは、データを後でアップロードするためにローカルに保存してもよく、または、その事象が生じている間に、その事象データを、開いている通信リンクを介してコンピュータに送信してもよい。これらの技術は、１つのセンサがマスターとして動作して、スレーブセンサのネットワークを調和させることができる、一種のマスタースレーブアーキテクチャを提供する。
【００８６】
１以上の実施形態において、コンピュータは、他のセンサが事象の近位にあり、事象と関連づけられた他の有用なデータを提供する場合には、モーションキャプチャセンサに加えて、これらの他のセンサからのセンサ値を取得し得る。例えば、そのような他のセンサは、温度、湿度、風、高度、光、音、および（心拍のような）生理学的測定指標の様々な組合せを感知し得る。コンピュータは、事象開始から事象停止までの期間中の事象の拡張された記録を生成するために、これらの他の値を読み出して、それらを事象データおよびモーション解析データと共に保存し得る。
【００８７】
１以上の実施形態は、オブジェクトのモーションを解析して、このモーションを記述するモーション測定指標を生成するために、センサデータおよびビデオの両方を取得して処理し得る。複数の実施形態は、様々なステップおよび技術を用いて、センサおよびカメラからのデータを時間的および空間的に位置合わせし得る。次に、センサデータとビデオデータとを組み合わせて一貫したロバストなモーション測定指標にするためのセンサ融合技術を用いて、この位置合わせされたデータが解析され得る。
【００８８】
１以上の実施形態は、人々、用具、またはそれらの両方を含み得る１以上の対象のオブジェクトの記述を取得し得る。１以上の実施形態は、次に、１以上のカメラからキャプチャされた、動いているこれらのオブジェクトの画像を含み得るビデオを取得し得る。対象のオブジェクトの一部または全てには、モーションキャプチャ要素が取り付けられ得る。これらのモーションキャプチャ要素は、オブジェクトについてのモーションセンサデータを生成する。次に、１以上の実施形態は、これらの３つの入力（オブジェクトの記述、ビデオ、およびセンサデータ）を組み合わせて、オブジェクトの統合されたモーション解析を生成し得る。得られたモーション測定指標は、例えば、線形位置、線形速度、線形加速度、軌道、向き、角速度、角加速度、モーションの時間、複数の位置間で経過した時間、モーションの開始から或る位置に到着するまでに経過した時間、および衝撃の時間を含み得るが、それらに限定されない。
【００８９】
オブジェクトのモーションのビデオ解析は、解析のためにビデオから選択された１組のフレーム内における対象のオブジェクトを識別することを含み得る。オブジェクトの識別は、実施形態が、選択されたビデオフレーム内におけるオブジェクトを識別するのを可能にする、各オブジェクトについての１組の区別可能な視覚的特徴を用い得る。これらの区別可能な視覚的特徴は、例えば、形状、曲率、サイズ、色、輝度、色相、飽和、テクスチャ、および画素パターンを含み得るが、それらに限定されない。一部の実施形態は、対象のオブジェクトについて、選択された全てのフレームの全ての画素を探索し得る。一部の実施形態は、その代わりに、様々な最適化を用いて、フレームの、対象のオブジェクトを含んでいる可能性が高い選択された領域内でのみ探索を行い得る。
【００９０】
１以上の実施形態では、ビデオキャプチャ中にカメラが移動している場合がある。従って、フレーム内におけるオブジェクトのモーションを解析するために、オブジェクトの真のモーションを、カメラの動きによって生じたオブジェクトの見かけのモーションから区別することが望ましい場合がある。従って、１以上の実施形態は、各フレームについてのカメラの姿勢（位置または向き）を決定する技術を用い得る。次に、各フレーム内における、カメラ姿勢に対して相対的なオブジェクト姿勢を決定し、次に、各フレームについてのカメラ姿勢を用いて、オブジェクト姿勢を共通座標系に変換することにより、オブジェクトの真のモーションが決定され得る。
【００９１】
１以上の実施形態は、モーションキャプチャ要素から（例えば、オブジェクトに取り付けられたモーションセンサから）、対象のオブジェクトのうちの１以上についてのモーションキャプチャデータを取得し得る。次に、モーションキャプチャデータはビデオフレームと同期され得る。次に、モーションキャプチャデータは、ビデオ解析データと組み合わされて、オブジェクトについてのモーション測定指標が構成され得る。複数の実施形態は、様々なセンサ融合技術を用いて、この異なるソースからのデータを組み合わせて統合されたモーション測定指標にし得る。
【００９２】
本方法の１以上の実施形態は、ビデオおよびセンサデータの両方において同じ事象のシグネチャーを見出し、ビデオシグネチャーを含むフレームを、センサデータシグネチャーを含むセンササンプルのセンサタイムスタンプと位置合わせすることにより、ビデオフレームとセンサデータとを同期させ得る。１以上の実施形態は、ビデオフレームおよびセンサデータの両方から、選択された基準オブジェクトについてのモーション測定指標を算出して、ビデオモーション測定指標とセンサモーション測定指標との間の、２つのモーション測定指標のグラフを最良に位置合わせする時間的シフトを見出すことにより、ビデオフレームとセンサデータとを同期させ得る。一部の実施形態では、センサデータとビデオフレームとの間の最大クロック差は既知であり得る。これらの実施形態では、マッチする事象シグネチャーの探索、またはモーション測定指標を位置合わせするための時間的シフトの探索は、既知のクロック差の範囲内でのみ探索を行うことによって最適化され得る。
【００９３】
１以上の実施形態では、モーション解析は、１以上の対象の事象を見出すことを含み得る。ビデオシグネチャーを用いて、ビデオフレーム内における事象の位置が特定され得ると共に、データシグネチャーを用いて、センサデータセンサ内における事象の位置が特定され得る。アクティビティが真の事象ではなく誤検出である場合、一部のアクティビティは、これらのシグネチャーのうちの１つを誤ってトリガし得る。１以上の実施形態は、ビデオシグネチャーとセンサデータシグネチャーとを組み合わせて、誤検出をフィルタリングして除去し得る。例えば、アクティビティがセンサデータシグネチャーとマッチするが、対応するビデオシグネチャーとはマッチしない場合には、そのアクティビティは誤検出として分類され得る。真の事象は、ビデオシグネチャーおよびセンサデータシグネチャーの両方が存在する場合に決定され得る。１以上の実施形態は、見込みのある事象であることを示し、次に、ビデオシグネチャーもしくはセンサデータシグネチャー、またはそれらの両方を用いて、見込みのある事象が有効な事象であることを確認する、多段階検定を用い得る。
【００９４】
１以上の実施形態は、視覚的マーカーを対象のオブジェクトとして用いてもよく、または、オブジェクトに取り付けられた視覚的マーカー、もしくはオブジェクトに取り付けられたモーションキャプチャ要素に取り付けられた視覚的マーカーを用いてもよい。視覚的マーカーのパターンは、そのオブジェクトについての区別可能な視覚的特徴の一部を構成し得る。ビデオ解析を用いてマーカーの異なる向きを区別できるように、視覚的マーカーは回転対称ではないように設計され得る。また、視覚的マーカーは、視認性が高い色を有するよう構成され得る。
【００９５】
１以上の実施形態は、対象のオブジェクトについての探索を容易にするために、ビデオフレームを前処理し得る。前処理は、例えば、ノイズ除去、フリッカー除去、平滑化、色空間変換、色または輝度のバランス調整、および陰影除去を含み得るが、それらに限定されない。
【００９６】
１以上の実施形態は、センサを用いて、選択されたビデオフレームについてのカメラ姿勢を測定し得る。測定されたカメラ姿勢は、オブジェクトの姿勢を共通座標系に変換するために用いられ得る。
【００９７】
１以上の実施形態は、以下の技術のうちの１以上を用いて、フレーム内における識別されたオブジェクトの、そのフレームについてのカメラ姿勢に対して相対的な姿勢を決定し得る。フレーム内におけるオブジェクトの位置から、オブジェクトが位置する光線（レイ）が決定され得る。オブジェクトの真のサイズと比較した、フレーム内におけるオブジェクトの見かけのサイズから、カメラからのオブジェクトの相対的な距離が決定され得る。オブジェクトについての基準画素パターンとフレーム内におけるオブジェクトについての画素パターンとの間の差分が最小化される回転を算出することにより、カメラに対して相対的なオブジェクトの向きが決定され得る。オブジェクトについての基準画素パターンは、オブジェクトについての区別可能な視覚的特徴のうちの１つであってもよく、または、指定されている基準フレーム内におけるオブジェクトの見え方から取得されてもよい。
【００９８】
１以上の実施形態は、１以上のオブジェクトの確からしい軌道の物理的モデルを生成または取得し、この物理的モデルを用いて、オブジェクトの位置についての各フレーム内における高確率領域を推定し得る。次に、これらの高確率領域内において探索を行うことにより、オブジェクトについてのフレームの探索が最適化され得る。
【００９９】
カメラ姿勢を決定するためのカメラセンサを含まない実施形態では、各フレームを前のフレームと位置合わせしてカメラのモーションを補償することによって、各フレームについてのカメラ姿勢を推定することが望ましい場合がある。各フレームが前のフレームと位置合わせされたら、それらの間のフレーム差分を算出して、移動するオブジェクトを含む高モーション領域を決定することができる。次に、これらの高モーション領域内において探索を行うことにより、対象のオブジェクトについてのフレームの探索が最適化され得る。
【０１００】
１以上の実施形態は、カメラのモーションを補償するためにフレームを前のフレームと位置合わせするために、以下の技術を用い得る。まず、フレーム平行移動を適用後のフレームの中心領域と前のフレームの中心領域との間の画素差分が最小化されるフレーム平行移動が決定され得る。次に、各フレームが複数のタイルに分割され、フレーム平行移動およびローカルなタイル平行移動を適用後の各タイルと前のフレームの対応するタイルとの間の画素差分が最小化される、各タイルについてのローカルなタイル平行移動が決定され得る。
【０１０１】
１以上の実施形態は、モーション測定指標のうちの１つとして、１以上の対象のオブジェクトについての衝撃の時間を算出し得る。この衝撃の時間は、連続するフレーム間におけるモーション測定指標の不連続性を検出することによって算出され得る。この技術はインパクトフレームを決定し得るが、幾つかのケースでは、正確なフレーム間のインパクト時間は決定できない場合がある。１以上の実施形態は、インパクト前のフレームから順方向のオブジェクトの軌道を補外し、インパクト後のフレームから逆方向のこのオブジェクトの軌道を補外し、これらの２つの軌道の交点の時間を正確なインパクト時間として算出することにより、より正確なインパクト時間を決定し得る。
【０１０２】
１以上の実施形態では、オブジェクトについての望ましい軌道があり得る（例えば、ゴルフボールの軌道がホール内に向かうように、ゴルフボールを打つ）。１以上の実施形態は、この望ましい軌道を、観察された軌道と比較して、軌道差分をモーション測定指標として報告し得る。１以上の実施形態は、観察された軌道を望ましい軌道に変換するために必要な、オブジェクトの軌道の初期条件の変更を決定し得る。初期条件は、例えば、オブジェクトの初期速度および向きを含み得る。一例として、ゴルフについては、初期条件は、ゴルフボールとのインパクト時におけるゴルフクラブヘッドの速度および狙いを含み得る。
【０１０３】
１以上の実施形態は、ビデオから、対象のアクティビティを含む１組のハイライトフレームまたは失敗フレームを生成し得る。対象のアクティビティは、１以上のアクティビティシグネチャーを用いて識別され得る。例えば、センサデータを用いて、特定のモーション測定指標が、対象のアクティビティを決定する特定の範囲内または範囲外にあるときが決定され得る。一例として、ジャンプは、オブジェクトが自由落下していることを示し得る０に近い加速度計の値を見出すために、加速度計データをスキャンすることによって決定され得る。衝突を表す大失敗は、高い速度と０または非常に低い速度との間の急激な遷移を探して速度データをスキャンすることによって決定され得る。また、ハイライトフレームまたは失敗フレームは、対象のアクティビティの前または後の特定のフレームも含み得る。ハイライトフレームまたは失敗フレームは、リポジトリ、ビューア、サーバ、コンピュータ、ソーシャルメディアサイト、モバイル装置、ネットワーク、および救急サービスのうちの１以上に送信され得る。１以上の実施形態は、ハイライトフレームまたは失敗フレームに、モーション測定指標の値を表すデータまたはグラフィックをオーバーレイし得る。１以上の実施形態は、ビデオをキャプチャしたカメラに、カメラがハイライトフレームまたは失敗フレーム以外のビデオの部分を捨てるためのメッセージを送信し得る。
【０１０４】
１以上の実施形態は、モーション測定指標として、アクティビティについての経過時間を算出し得る。例えば、アクティビティの開始に対応するシグネチャーを検出するためにモーションキャプチャデータを用いて、アクティビティについてのスタート時間が決定され得る。例えば、アクティビティの完了に対応するシグネチャーを検出するためにビデオ解析を用いて、アクティビティについてのフィニッシュ時間が決定され得る。例えば、フィニッシュラインに配置されたカメラが、フィニッシュラインを横断するオブジェクトを検出し得る。
【０１０５】
本方法の１以上の実施形態は、ビデオをモーションキャプチャ要素から受信された事象データと同期させた、事象についての同期された事象ビデオを生成し得る。この同期は、事象データを算出またはモーションキャプチャ要素から事象データを受信して、事象データから事象開始時間および事象停止時間を取得し得る。この同期は、ビデオと関連づけられたビデオ開始時間およびビデオ停止時間を取得し得る。次に、この同期は、事象開始時間と事象停止時間との間の事象時間を、ビデオ開始時間とビデオ停止時間との間のビデオ時間と関連づけて位置合わせすることにより、同期された事象ビデオを生成し得る。１以上の実施形態は、事象データを、同期された事象ビデオ上にオーバーレイし得る。１以上の実施形態は、カメラに、事象開始時間と事象停止時間との間の時間間隔の範囲外のビデオの部分を転送せずに、同期された事象ビデオを別のコンピュータに転送するようコマンドし得る。また、１以上の実施形態は、カメラに、事象開始時間と事象停止時間との間の時間間隔の範囲外のビデオの部分を捨てるようコマンドし得る。
【０１０６】
１以上の実施形態は、まず、第１の組の基準を用いて見込みのある事象を識別し、次に、第２の組の基準を用いて見込みのある事象が有効な事象であるか否かを決定することにより、誤検出の事象を検出して消去し得る。第１の組の基準は、例えば、第１の閾値を超えるモーションキャプチャデータからの第１の値を有することと、第１の値を含むサンプルを囲む時間窓内における、第２の閾値を超えるモーションキャプチャデータからの第２の値を有することとを含み得る。第２の組の基準は、例えば、見込みのある事象を、典型的な事象と関連づけられた特徴的な信号と比較してもよく、見込みのある事象の最中のビデオを、典型的な事象と関連づけられた特徴的な画像と比較してもよく、またはそれらの両方を行ってもよい。
【０１０７】
本発明の上記および他の態様、特徴、および長所は、添付の図面と共に示される添付のより具体的な説明からより明確となる。
【図面の簡単な説明】
【０１０８】
【図１】本発明の態様を実装するシステムの実施形態を示す。
【図１Ａ】コンピュータの実施形態の論理的ハードウェアブロック図を示す。
【図１Ｂ】本システムの複数の実施形態において用いられるデータベースの実施形態のアーキテクチャの図を示す。
【図１Ｃ】図１および図１Ａに示されている本システムにおけるコンピュータの複数の実施形態によって行われる処理の実施形態のフローチャートを示す。
【図１Ｄ】本システムの実施形態のデータフロー図を示す。
【図１Ｅ】モーション事象時刻および／またはビデオ事象時刻を時間的に正しく位置合わせするためのシフトの詳細を示す同期チャートを示す。
【図２Ａ】ユーザの頭部を囲み、モーションキャプチャセンサを保持するヘルメットに基づくマウントを示す。
【図２Ｂ】既存のヘルメットにモーションキャプチャセンサを後から組み込むことを可能にするネックインサートに基づくマウントを示す。
【図３】モーションキャプチャセンサとヘルメットの外側部分との間にあるアイソレータを示す、図２Ａ〜図２Ｂのマウントのクローズアップを示す。
【図４Ａ】ヘルメット、パッド、ユーザの頭蓋および脳の上から見た断面図を示す。
【図４Ｂ】図４に示されている様々な要素についての回転震盪事象を示す。
【図５】ヘルメットに入力された力Ｇ１と、アイソレータ内に装着されたセンサによって観察された、脳内で観察された力とを対比させて示す。
【図６】３軸の回転加速値と、合計回転ベクトル量と、モーション事象データと共に表示されている、カメラから取得された震盪事象のビデオとを示す。
【図７】ユーザのタイムライン表示と、タイムラインに沿って事象として示されている、タイムラインに沿ったピーク角速度および最小角速度とを示しており、更に、ゴルフクラブのリードおよびラグと、ゴルフクラブのドループおよびドリフトとを示すグラフを、一番下の表示に示しており、これらの値は、時間に対してプロットされた２つの軸において、ゴルフクラブのシャフトがどれだけ曲がっているかを決定する。
【図８】サブ事象を容易に見ることを可能にするための、スクロールまたは再生のための、サブ事象と関連付けられた開始時点／停止時点の付近への入力を可能にするサブ事象スクラブタイムラインを示す。
【図９】サブ事象の開始および停止のタイムラインに沿った相対的な位置と、開始時間および停止時間に引き付けられるような、これらの点の近くへのユーザ入力を可能にするために、開始時間および停止時間と関連付けられた引力とを示す。
【図１０】モーションキャプチャ要素としてモバイル装置を用い、モーション事象データおよび第１のユーザの事象のビデオを受信するコンピュータとして他のモバイル装置を用いる実施形態を示す。
【図１１】潜在的な事象に関係するデータを格納するために用いられるメモリの実施形態を示す。
【図１２】見込みのある事象が生じたか否かを決定するよう、マイクロコントローラに特にプログラムされた機能性の実施形態のフローチャートを示す。
【図１３】誤検出の事象をなくすためにモーションキャプチャデータと比較される典型的な事象シグネチャーまたはテンプレートを示す。
【図１４】事象に関連する情報のローカルでの表示および閲覧のために必要に応じて設けられるＬＥＤ視覚的インジケータと、事象と関連付けられたテキストまたは符号化されたメッセージを表示するよう構成された必要に応じて設けられるＬＣＤとを備えて構成されたモーションキャプチャ要素の実施形態を示す。
【図１５】複数の異なるタイプの用具および／または計測器を備えた衣服と関連付けられたモーション事象のテンプレート特性の実施形態を、特定の期間および／またはサブ事象と関連付けられたデータをより正確にまたはより効率的にキャプチャするためにモーションキャプチャセンサの性格が変更され得る領域と共に示す。
【図１６】例えば、サッカー、ボクシング、フットボール、レスリング、または他の任意のスポーツ等であるがそれらに限定されない任意の接触型スポーツにおいて着用される、保護マウスピースの実施形態の正面図、および図面の下部に平面図を示す。
【図１７】モーション画像およびモーションキャプチャデータを組み合わされたフォーマットで表示するよう構成された、図１中の任意のコンピュータによって用いられるアルゴリズムの実施形態を示す。
【図１８】本発明の１以上の実施形態によって用いられ得る同期アーキテクチャの実施形態を示す。
【図１９】モーションキャプチャセンサのうちの１つによる事象の検出、他のモーションキャプチャセンサおよび／またはカメラへの事象検出の送信、事象モーションデータの保存、および事象に対応させたビデオのトリミングを示す。
【図２０】ビデオからの事象ビデオの抜粋、および、複数のカメラが同じ事象のビデオをキャプチャした場合の或る事象期間についての最良のビデオクリップの選択の処理と、選択された測定指標に基づいて選択された、同期された事象ビデオのシーケンスと、選択基準によってソーティングされた事象ビデオとを示す。
【図２１】ビデオキャプチャ中のカメラの揺れの程度に基づいて特定の事象ビデオを選択するための画像解析、および最も安定した画像を有するビデオの選択を示す。
【図２２】例えば事象が生じている間に、事象と関連づけられたデータ（モーション解析データを含む）に基づいてビデオ記録パラメータを修正するために１または複数のカメラに送られる制御メッセージを示す。
【図２３】モーションデータを用いた可変速度再生の一実施形態を示す。
【図２４】事象データおよびモーション解析データを用いたビデオの同期を補助するための、および／または、モーションキャプチャセンサと結合されていないビデオ中のオブジェクトのモーション特性を決定するためのビデオの画像解析を示す。
【図２５】本方法の主な入力ステップ、処理ステップ、および出力ステップを示す、統合されたセンサおよびビデオモーション解析のための方法の実施形態のフローチャートを示す
【図２６】対象のオブジェクト、およびこれらのオブジェクトと関連づけられた区別可能な視覚的特徴の例を示す
【図２７】カメラも移動している際に真のオブジェクトモーションを区別する問題を示す、移動するオブジェクトおよび移動するカメラを有する例を示す
【図２８】カメラ姿勢の変化の補正後、真のオブジェクトモーションがどのように決定され得るかを示す、図２７の例の続き
【図２９】ビデオ解析から生成されたモーション測定指標を、モーションキャプチャデータから生成された対応する測定指標と組み合わせる、センサ融合の例を示す
【図３０】ビデオフレームおよびセンサデータの両方における共通事象を見出すために、事象シグネチャーを用いてビデオフレームとセンサデータとを同期させる実施形態を示す
【図３１】ビデオおよびセンサデータからモーション測定指標を算出し、これらの２つのソースからのモーション測定指標のグラフとマッチする時間シフトを見出すことにより、ビデオフレームとセンサデータとを同期させる実施形態を示す
【図３２】誤検出の事象を真の事象から区別するために、事象のセンサデータシグネチャーとビデオシグネチャーとを組み合わせる実施形態を示す
【図３２Ａ】見込みのある事象を決定し、次に、典型的な事象のビデオシグネチャーおよびセンサデータシグネチャーの両方に基づいて、見込みのある事象を誤検出または有効な事象として分類する、二段階閾値比較を用いる実施形態を示す
【図３３】向きの決定を容易にするために、モーションキャプチャ要素上の回転対称ではない視覚的マーカーを用いる実施形態を示す
【図３４】ビデオフレーム内における位置および見かけのサイズから、三次元空間内におけるオブジェクトの位置を算出する例を示す
【図３５】ビデオフレーム内における視覚的マーカーの向きから、オブジェクトの向きを算出する例を示す
【図３６】オブジェクトの軌道の物理的モデルを用いて、連続するビデオフレーム内におけるオブジェクトの出現が確からしい領域を生成する実施形態を示す
【図３７】移動するオブジェクトの位置を特定するために、フレーム差分を用いて、モーションを有するフレーム領域を決定する実施形態を示す
【図３８】二段階処理を用いて、カメラモーションを補償するために、フレームを前のフレームと位置合わせする実施形態を示しており、この処理は、まず、全体的なフレーム平行移動を算出し、次に、フレーム内の複数のタイルについてのローカルな平行移動を算出する
【図３９】モーション測定指標における不連続性を見出すことにより衝撃の時間を検出し、衝撃の前および後の軌道を用いて、正確なフレーム間の衝撃の時間を生成する実施形態を示す
【図４０】（この例ではゴルフボールの）観察された軌道を望ましい軌道と比較し、望ましい軌道を達成するために必要な初期条件の変更を算出する実施形態を示す
【図４１】センサデータを用いてハイライトフレームを識別し、ハイライトフレームをモーション測定指標と共に表示し、ハイライト時間フレームの範囲外のフレームを捨てる実施形態を示す
【図４１Ａ】センサデータを用いて大失敗フレームを識別し、これらの失敗フレームをモーション測定指標と共に表示し、失敗時間フレームの範囲外のフレームを捨てる実施形態を示す
【図４２】センサデータを用いてスタート時間を検出し、ビデオ解析を用いてフィニッシュ時間を検出することにより、アクティビティの経過時間を算出する実施形態を示す
【発明を実施するための形態】
【０１０９】
次に、統合されたセンサおよびビデオモーション解析方法について説明する。以下の例示的な説明において、多くの具体的な詳細は、本発明の実施形態のより完全な理解を提供するために述べられるものである。しかし、本発明の複数の実施形態は、本明細書に記載される具体的な詳細の全ての態様を組み込まずに実施され得ることは、当業者には自明であろう。他の例では、本発明を不明瞭にしないために、当業者に周知の具体的な特徴、量、または測定は、詳細には説明していない。本明細書において本発明の例が述べられるが、本発明の境界を定義するものは、特許請求の範囲、および任意の等価物の全範囲であることを、読者は留意すべきである。
【０１１０】
図１は、統合されたセンサおよびビデオモーション解析方法の態様を実装するシステムの実施形態１００を示す。複数の実施形態は、事象に基づく閲覧、事象の低電力送信、並びに、モバイル装置上で実行されるアプリおよび／または事象を定義するウィンドウを指定するための外部カメラとの通信を可能にする。画像またはビデオ中の、例えば、プレイヤーのショット、移動、もしくはスイング、プレイヤー、ボクサー、ライダー、もしくはドライバーの震盪、熱中症、低体温、発作、ぜんそく発作、てんかん発作、または他の任意のスポーツもしくは身体的モーションに関連する事象（歩行および転倒を含む）等のモーション事象の認識、および事象の指定を可能にする。例えば、子供の初めての歩行等の事象、激しい震えの事象、震盪を含むスポーツ事象、高齢者と関連付けられた転倒事象のビデオを保存するのを可能にするために、事象は内部／外部の１もしくは複数のカメラまたはベビーシッター監視カメラからキャプチャされた１以上の画像またはビデオと相関され得る。図示されるように、本システムの複数の実施形態は、一般的に、モバイル装置１０１と、モバイル装置１０１上で実行されるアプリケーションとを含み、これは、モバイル装置１０１の内部に位置するものとして点線の輪郭で示されているコンピュータ１６０（即ち、図１Ａのコンピュータ１６０の機能図も参照）と、コンピュータ１６０に結合されたディスプレイ１２０と、コンピュータに結合された無線通信インターフェース（一般的にモバイル装置の内部にあり、図１Ａの要素１６４を参照）とを含む。モバイルコンピュータを有する携帯電話はユビキタスであり、本システムのユーザは、１以上のモーションキャプチャ要素と、本システムの実施形態を実装するために既存の電話にインストールされるアプリケーション（「アプリ」としても知られている）とを購入し得る。このように、携帯電話、タブレットコンピュータ、音楽プレイヤー等を既に所有しているどのユーザにも、モーションキャプチャ機能が手の届く価格で利用できるようになり、このようなことは従来は決して可能ではなかった。
【０１１１】
各モバイル装置１０１、１０２、１０２ａ、１０２ｂは、識別子１９１を取得するために、必要に応じて内蔵識別子読取器１９０（例えばＲＦＩＤリーダ）を有してもよく、または、識別子読取器またはＲＦＩＤリーダ（モバイル装置１０２を参照）と結合されてもよい。或いは、本発明の実施形態は、用具１１０を識別する識別子を本システムに通信するために、任意の上記装置において任意の無線技術を用いてもよい。本発明の実施形態は、少なくとも１つのモーションキャプチャセンサ、ユーザ、または用具と結合された他の任意のタイプの識別子も含み得る。１以上の実施形態において、識別子は、チームおよびジャージ番号、生徒識別番号、登録番号、または、特定のユーザまたは用具からの特定の事象の比較的一意的な識別を可能にする他の任意の識別子を含み得る。これは、プレイヤーまたはユーザと関連付けられたデータを受信するよう構成されたアプリに関して、複数のプレイヤーまたはユーザを有するチームスポーツまたは位置を識別することを可能にする。１以上の実施形態は、識別子（例えば、プレイヤーまたはユーザと関連付けられた受動的ＲＦＩＤ識別子、ＭＡＣアドレス、または他の整理番号）を受信して、その識別子を事象データおよびモーション解析データと関連づける。
【０１１２】
本システムは、一般的に、マウント１９２を介して、ユーザ１５０または用具１１０（例えば、ゴルフクラブ、野球のバット、テニスラケット、ホッケースティック、武器、スティック、剣、もしくは他の任意のスポーツ用具、または、例えば、靴、ベルト、グローブ、メガネ、帽子、もしくは他の任意のアイテム等の他のスポーツ用具）と結合される少なくとも１つのモーションキャプチャ要素１１１を含む。少なくとも１つのモーションキャプチャ要素１１１は、用具１１０の一端部、両端部、もしくは両端部の間のどこか、またはユーザ１５０のどこか（例えば、縁なし帽子、ヘッドバンド、ヘルメット、マウスピース、またはそれらの任意の組み合わせ）に配置されてもよく、任意のアイテムのＥＩ測定のために用いられてもよい。モーションキャプチャ要素は、必要に応じて、受動的もしくは能動的な視覚的マーカーを含んでもよく、および／または、無線センサ（例えば、モーションキャプチャ要素の向き（北／南および／または上／下）、位置、速度および／または加速と関連付けられた値のうち１以上の値の任意の組み合わせを供給できる任意のセンサ）を含んでもよい。コンピュータは、各用具１１０（例えば、衣服、バット等）に対して一意的な（例えば、クラブ１１０と結合されたＲＦＩＤからの）識別子（即ち、識別子１９１）と関連付けられた（且つ、必要に応じて、少なくとも１つのモーションキャプチャ要素と関連付けられた）データを視覚的にまたは無線で取得し、そのデータを解析してモーション解析データを構成し、モーション解析データをモバイル装置１０１のディスプレイ１２０に表示するよう構成され得る。モーションキャプチャ要素１１１は、モーションキャプチャマウント１９２を介して、用具もしくはその付近またはユーザもしくはその付近に装着され得る。例えばヘルメットに装着されるモーションキャプチャ要素１１１は、モーションキャプチャ要素を囲み、ユーザの脳の周囲の脳脊髄液の物理的な加速の緩衝を近似し、事象データの線形加速および回転加速の変換を最小化し、ユーザの脳の観察された線形加速および観察された回転加速を取得するよう構成された材料を含むアイソレータを含み得る。これは、例えばモーションキャプチャ要素マイクロコントローラに対する処理要件を低くすると共に、低いメモリ使用量および事象に基づく事象データの送信のためのより低い電力要件を可能にする。モーションキャプチャ要素１１１からのモーションキャプチャデータ、用具１１０と関連付けられた任意のデータ（例えば、識別子１９１等）、または、ユーザ１５０もしくは任意の人数のユーザ１５０（例えば、第２のユーザ１５２等）と関連付けられた任意のデータは、ローカルにメモリに格納されてもよく、コンピュータに対してローカルのデータベースに格納されてもよく、または、例えばサーバと結合され得るリモートのデータベース（例えばデータベース１７２）に格納されてもよい。例えば各ユーザ１５０、１５２からのデータは、モーションキャプチャ要素１１１からモバイル装置１０１への、並びにモバイル装置１０１からネットワーク１７０またはインターネット１７１およびデータベース１７２へのネットワークまたは電話網リンクが利用可能なときに、データベース１７２に格納され得る。次に、任意の人数のユーザ並びに彼らの特定の特性およびパフォーマンスパラメータと関連付けられた大きいデータセットに対して、データマイニングが行われる。例えば、本発明のゴルフの実施形態では、ゴルフクラブからクラブＩＤが取得され、モーションキャプチャ要素によってショットが検出される。モバイルコンピュータ１０１は、ユーザの画像／ビデオを格納し、事象／ヒット／ショット／モーション、コース上における事象の位置、および後続のショットについてのモーションキャプチャデータを受信し、各事象についての任意のパラメータ（例えば、事象が生じた時間における距離または速度等）を決定し、任意のローカル解析を行い、モバイル装置にパフォーマンスデータを表示する。モバイル装置からネットワーク１７０またはインターネット１７１へのネットワーク接続が利用可能なとき（例えば、ゴルフの１ラウンドの後）に、画像／ビデオ、モーションキャプチャデータ、およびパフォーマンスデータが、後で解析、表示、および／またはデータマイニングを行うためにデータベース１７２にアップロードされる。１以上の実施形態において、例えば相手先商標製造業者等のユーザ１５１は、例えばコンピュータ（例えば、コンピュータ１０５、モバイルコンピュータ１０１等）を介して、或いは、例えばネットワーク１７０、インターネット１７１、ウェブサイト１７３、またはデータベース１７２の一部を構成するもしくはデータベース１７２と接続されたサーバを介してデータベース１７２と通信できる他の任意のコンピュータからの、データベースへのアクセスに対する支払いを行う。データマイニングは、例えば、ローカルサーバコンピュータを含み得るデータベース１７２上で実行されてもよく、或いは、コンピュータ１０５またはモバイル装置１０１、１０２、１０２ａ、もしくは１０２ｂ上で実行されて、例えばデータベース１７２のスタンドアロンの実施形態にアクセスしてもよい。データマイニングの結果は、モバイル装置１０１、コンピュータ１０５、テレビ放送、またはカメラ１３０、１３０ａおよび１０３ｂ、もしくは１０４から発せられるウェブビデオに表示されてもよく、ウェブサイト１７３を介してアクセスされてもよく、またはそれらの任意の組み合わせであってもよい。
【０１１３】
少なくとも１つのモーションキャプチャ要素の１以上の実施形態は、事象が生じた場合に光を出力するよう構成された発光素子を更に含み得る。これは、例えば、何らかの外部装置との通信を必要とせずに、ヘルメットの外側部分における軽度または重度の震盪の可能性を表示するために用いられ得る。また、事象に関係する情報を中継するために、複数の異なる色またはフラッシュ間隔が用いられてもよい。或いは、またはそれと組み合わせて、少なくとも１つのモーションキャプチャ要素は、事象が生じた場合、または少なくとも１つのモーションキャプチャセンサがコンピュータの圏外にある場合に音声を出力するよう構成された音声出力素子を更に含んでもよく、または、コンピュータは、少なくとも１つのモーションキャプチャセンサがコンピュータの圏外にある場合に表示して警告するよう構成されてもよく、またはそれらの任意の組み合わせが行われてもよい。例えば、審判が、ローカルにモバイル装置上で解析コードのスナップショットを取得し得るように、且つ、センサ上で、または無線で送信された事象が、何者かによって傍受されて読解可能な形態で見られないように、センサの複数の実施形態は、現在の事象の符号化された（例えば、クイックレスポンス（ＱＲ）コードまたはバーコードの）解析を出力するＬＣＤを用いてもよい。
【０１１４】
本システムの１以上の実施形態は、例えばモバイル装置内のコンピュータに結合された少なくとも１つのカメラ１３０を含むモバイル装置を用いてもよい。これは、モバイル装置１０１内のコンピュータが、カメラ１３０に、例えば運動中のユーザの１または複数の画像を取得するようコマンドすることを可能にする。例えば、モーション解析データを人間にとってより理解可能なものにするために、ユーザの画像に表示および評価がオーバーレイされてもよい。或いは、ユーザの画像無しに、詳細なデータ表示がディスプレイ１２０または例えばコンピュータ１０５のディスプレイに表示されてもよい。このようにして、二次元画像およびその後続の表示が可能になる。モバイル装置１０２に示されているように、モバイル装置１０１が２つのカメラ（即ち、カメラ１３０ａおよび１３０ｂ）を含む場合には、これらのカメラは、例えば視覚的マーカーの画像解析によって三次元データセットを生成するために用いられてもよい。これは、視覚的マーカーの距離および位置を確認して解析することを可能にする。本発明の任意の実施形態では、任意のカメラからの画像および／またはビデオが、データマイニングの目的で、例えばユーザ１５０と関連付けられたデータベース１７２に格納され得る。本発明の１以上の実施形態において、画像および／またはビデオに対する画像解析は、例えば、ユーザ１５０の年齢毎もしくはプレイ時刻毎に用いられている用具、衣服、靴等のメーカー／モデルを決定するために、またはデータ中の他の任意のパターンを発見するために行われ得る。
【０１１５】
或いは、カメラを１つのみ有するモバイル装置の実施形態では、視覚的マーカーの位置を決定するために三角測量される画像の形態の二次元データを取得するために、複数のモバイル装置が用いられ得る。本システムの１以上の実施形態において、モバイル装置１０１およびモバイル装置１０２ａは、三次元モーション解析データを生成するために、ユーザ１５０の画像データを共有する。当業者は認識するように、（例えば、一般的であるように装置内のＧＰＳチップ等の位置決定要素によって、またはセルタワーによる三角測量によって（これらは簡潔のために図示しないが、コンピュータ１６０のように、モバイル装置の内部に位置するのが一般的である））モバイル装置１０１および１０２の位置を決定して、モーションキャプチャ要素１１１から、例えば、各画像中の視覚的マーカーが存在する画素の位置に関するデータを取得することにより、距離およびそれによって速度が容易に取得される。
【０１１６】
また、カメラ１０３は、静止画用に、または、現在では一般的なようにビデオ用に用いられ得る。外部カメラを用いる本システムの実施形態では、外部カメラからデータを取得する任意の方法（データの無線通信、または、例えば、カメラ１０３がコンピュータ１０５にドッキングされているときには有線通信を介してデータ通信を行い、次に、データをモバイル装置１０１に転送し得ることを含む）が本システムの趣旨に沿っている。
【０１１７】
本システムの１以上の実施形態において、モーション解析データが表示されるモバイル装置は、カメラを有する必要はない。即ち、モバイル装置１０２ｂは、たとえカメラを有するよう構成されていなくても、データを表示し得る。従って、モバイル装置１０２ｂは、どの外部カメラもモバイル装置１０２ｂに画像を通信し得る限り、モバイル装置１０１、１０２、１０２ａ上のカメラ、カメラ１０３、および／またはテレビカメラ１０４の任意の組み合わせから画像を取得してもよい。或いは、本システムを用いるために、カメラは全く必要ない。図１７も参照されたい。
【０１１８】
テレビ放送用には、モーションキャプチャ要素１１１は、アンテナ１０６によって受信されるデータを無線で送信する。このようにモーションキャプチャ要素１１１から取得された無線センサデータは、テレビカメラ１０４から取得された画像と組み合わされて、テレビ、コンピュータ（例えば、コンピュータ１０５等）、モバイル装置１０１、１０２、１０２ａ、１０２ｂ、または画像を表示するよう構成された他の任意の装置に同報可能な拡張されたモーション解析データを有する表示が生成される。センサデータが位置データ（例えばＧＰＳ情報）を含む限り、（例えばＧＰＳ情報を介して）カメラの位置を知り、カメラが向いている方向および／または向きを知ることにより、モーション解析データを、例えばディスプレイ１２０上に配置できる。他の実施形態では、モーション解析データを画像に対してロックするために、視覚的マーカーまたは画像処理が用いられ得る。例えば、画像中のゴルフクラブヘッドのを追跡して、対応する高、中、低のクラブ位置を、例えばカメラ１３０、１０４、または１０３に対するユーザ１５０の向きを決定するために用いて、拡張されたデータをユーザ１５０の画像上に正しくプロットすることができる。画像にタイムスタンプを付与するとともに、モーションキャプチャデータにタイムスタンプを付与することにより、例えば、マイクロコントローラ内のタイマーをモバイル装置上のタイマーと同期させ、様々な位置における視覚的マーカーまたはスポーツ用具についての画像をスキャンした後で、簡単なモーションキャプチャデータを画像にオーバーレイしてもよい。本発明の１以上の実施形態では、カメラからの画像をモーションキャプチャデータと組み合わせる他の任意の方法が用いられてもよい。本システムの趣旨に沿って、モーション解析データをディスプレイ１２０（または、例えばコンピュータ１０５のディスプレイ等の他の任意のディスプレイ）上にユーザに関して適切に配置するための他の任意のアルゴリズムが用いられてもよい。例えば、センサを介して事象または一群の事象を取得する際には、事象に対してローカルな外部カメラシステムがその事象の時間についての画像データを供給し得るように、アプリが画像を取得するために事象および／または時間範囲を受信した後に、アプリは、そのローカルメモリからの、他の任意のモバイル装置からの、通信され得る他の任意のタイプのカメラからの、その期間および／または事象の事後の位置／時間の画像データを要求してもよい。
【０１１９】
生成されてモバイル装置１０１上に表示され得るそのような表示の１つは、モバイル装置１０１、１０２、１０２ａ、カメラ１０３、および／またはテレビカメラ１０４もしくは他の任意の外部カメラから選択された２以上のカメラを用いたＢＵＬＬＥＴ ＴＩＭＥビューを含む。本システムのこの実施形態では、コンピュータは、ユーザ１５０の２以上の画像および少なくとも１つのモーションキャプチャ要素（視覚的マーカーまたは無線センサ）と関連付けられたデータを取得するよう構成されており、２以上の画像は２以上のカメラから取得されたものであり、コンピュータは、ユーザの周囲から様々な角度で通常の速度で示されるユーザ１５０のスローモーションを示す表示を生成するよう構成される。そのような実施形態は、例えば１グループのファンが、彼ら自身で、例えばゴルフプロのトーナメントでのＢＵＬＬＥＴ ＴＩＭＥショットを生成することを可能にする。それらのショットはコンピュータ１０５に送られてもよく、コンピュータ１０５上で任意の必要な画像処理が行われて、例えばテレビの視聴者に同報されてもよい。本システムの他の複数の実施形態では、様々なモバイル装置のユーザが、彼ら自身による画像のセットを共有し、および／または、例えば後で閲覧するために、彼らのショットをウェブサイトにアップロードする。また、本発明の実施形態は、例えば、ユーザどうしが携帯電話を交換しなくてもいいように、モバイル装置を有する他のプレイヤーからの画像またはビデオが、別のユーザに関係するモバイル装置上で用いられることを可能にする。一実施形態では、第１のユーザによって取得された、ビデオカメラを備えた携帯電話を持っている第２のユーザと関連付けられていない、動いている或る用具についてのビデオが、第１のユーザと関連付けられたモーションキャプチャデータと共に表示されるために、自動的にそのビデオを第１のユーザに転送してもよい。或いは、第１のユーザの携帯電話は、モーションキャプチャ要素１１１の代わりに、またはそれに加えて、モーションセンサとして用いられてもよく、第２のユーザの携帯電話は、動いている第１のユーザのビデオをキャプチャするために用いられてもよい。第１のユーザは、必要に応じて、例えば第２の携帯電話がモーションキャプチャを開始／停止すべきであることを示すために、電話上で、タップする／振る等のジェスチャを行ってもよい。
【０１２０】
図１Ａは、コンピュータ１６０の実施形態を示す。コンピュータ１６０はプロセッサ１６１を含み、プロセッサ１６１は、コンピュータプログラムの指示としてメインメモリ１６２内に格納されるのが一般的である（一般的にアプリケーションとしても知られている）ソフトウェアモジュールを実行する。表示インターフェース１６３は、図１に示されているようなモバイル装置１０１のディスプレイ１２０を駆動する。必要に応じて設けられる向き／位置モジュール１６７は、北／南もしくは上／下の向きのチップまたはそれらの両方を含み得る。１以上の実施形態において、向き／位置モジュールは、マイクロコントローラと結合された位置決定要素を含み得る。これは、例えばＧＰＳ装置を含み得る。或いは、またはそれと組み合わせて、コンピュータは、別のコンピュータと協働して位置を三角測量してもよく、他の任意の三角測量タイプの受信器から位置を取得してもよく、または、コンピュータと結合されている特定の方向に向いていることがわかっているカメラによってキャプチャされた画像に基づいて位置を計算してもよく、この場合、コンピュータは、例えば画像中のオブジェクトの方向およびサイズに基づいて、モバイル装置からのオフセットを計算する。必要に応じて設けられる温度センサは、有線または無線リンクを介してプロセッサ１６１と結合されてもよく、例えば、単独でまたは例えば震えまたは意識消失を示し得る任意の検出されたモーションと組み合わせて、低体温または熱中症のインジケータとして用いられてもよい。通信インターフェース１６４は、例えば、無線もしくは有線通信ハードウェアプロトコルチップおよび／またはＲＦＩＤリーダを含んでもよく、或いは、ＲＦＩＤリーダが、外部からもしくは他の任意の方法でコンピュータ１６０に結合されてもよい。本システムの１以上の実施形態において、通信インターフェースは、電話および／またはデータ通信ハードウェアを含み得る。１以上の実施形態において、通信インターフェース１６４は、Ｗｉ−Ｆｉ（商標）、他のＩＥＥＥ８０２．１１装置、および／または、ＢＬＵＥＴＯＯＴＨ無線通信インターフェース、ＺｉｇＢｅｅ（登録商標）無線装置、もしくは他の任意の無線技術を含み得る。ＢＬＵＥＴＯＯＴＨクラス１装置は約１００メートルの通信範囲を有し、クラス２装置は約１０メートルの通信範囲を有する。ＢＬＵＥＴＯＯＴＨ低電力装置は約５０メートルの通信範囲を有する。システムの複数の実施形態では、モバイル装置１０１およびモーションキャプチャ要素１１１が互いに通信可能な限り、任意の無線ネットワークプロトコルまたはタイプが用いられてよい。プロセッサ１６１、メインメモリ１６２、表示インターフェース１６３、通信インターフェース１６４、および向き／位置モジュール１６７は、任意の必要に応じて設けられるセンサ１６８（例えば、温度、湿度、風、高度、光、音、および生理学的測定指標等（例えば、心拍センサ等））と共に、一般的に「バス」として知られている通信インフラ１６５を介して互いに通信し得る。通信経路１６６は、ネットワーク１７０を介した他の有線または無線装置との通信を可能にする有線または無線媒体を含み得る。ネットワーク１７０は、インターネット１７１および／またはデータベース１７２と通信し得る。データベース１７２は、ユーザの画像もしくはビデオ、モーション解析データ、または何らかの形態でモーション解析データと共に表示されるユーザを保存するまたは取り出すために用いられ得る。インターネット、即ち、リモートデータベース、リモートサーバ、または本システムに対してリモートのメモリにアップロードされたデータは、データへのアクセスを取得し得る任意のコンピュータによって閲覧され、解析され、またはデータマイニングされ得る。これは、相手先商標製造業者が、所与のユーザについて、どのスポーツ用具が最良の働きをしているか、および／または、どの用具を示唆すべきかを決定することを可能にする。また、データマイニングは、ユーザと関連付けられたデータおよび／またはメタデータ（例えば、年齢等）もしくは本システムに入力され得る他の任意の人口統計学データに基づいて、ゴルフコースを計画することを可能にする。また、データのリモートストレージは、例えば、形態学的解析、経時的なモーションの範囲、並びに、糖尿病の防止、エクササイズのモニタリング、およびコンプライアンス用途等の医療用途を可能にする。また、データマイニングに基づく用途は、他のユーザからの実際のモーションキャプチャデータ、同じユーザの１以上の以前のパフォーマンスからの実際のモーションキャプチャデータ、または存命であるか故人であるかを問わない歴史上のプレイヤーからの実際のモーションキャプチャデータ（例えば歴史上のプレイヤーの動画またはビデオを解析した後で）を用いた試合を可能にする。また、仮想現実および拡張仮想現実の用途も、モーションキャプチャデータまたは歴史的なモーションデータを用いてもよい。また、本システムは、パフォーマンスに関連する事象および／またはモーションキャプチャデータを（例えば、ソーシャルネットワークサイトとして実装され得る）データベース１７２にアップロードすることを可能にする。これは、ユーザが、インターネット上のあらゆる人に新たな事象を通知するために、プレイ中またはプレイ後に高得点または他の測定指標を「ツイート」することを可能にする。例えば、１以上の実施形態は、ユーザ、用具、またはユーザと結合されたモバイル装置と結合するよう構成された少なくとも１つのモーションキャプチャ要素１１１を含み、少なくとも１つのモーションキャプチャ要素は、メモリと、少なくとも１つのモーションキャプチャ要素の向き、位置、速度、加速と関連付けられた値の任意の組み合わせをキャプチャするよう構成されたセンサと、無線器と、メモリ、センサ、および無線器と結合されたマイクロコントローラとを含む。マイクロコントローラは、センサからのセンサ値を含むデータを収集し、データをメモリに格納し、事象データを決定するためにデータを解析してデータ中の事象を認識し、事象と関連付けられた事象データを無線器を介して送信するよう構成されている。本システムの複数の実施形態は、モバイル装置上で実行されるよう構成されたアプリケーションも含んでもよく、モバイル装置は、コンピュータと、事象と関連付けられた事象データを取得するために無線器と通信するよう構成された無線通信インターフェースとを含む。コンピュータは無線通信インターフェースと結合されており、コンピュータはアプリケーションまたは「アプリ」を実行することにより、無線通信インターフェースから事象データを受信し、事象データを解析してモーション解析データを構成し、事象データ、モーション解析データ、または事象データとモーション解析データとの両方を格納し、少なくとも１のユーザと関連付けられた事象データ、モーション解析データ、またはそれらの両方を含む情報をディスプレイに表示するよう、コンピュータを構成する。
【０１２１】
図１Ｂは、システムの複数の実施形態において用いられるデータベース１７２の実施形態のアーキテクチャの図を示す。図示されるように、テーブル１８０〜１８６は、Ｎ人のユーザ、ユーザ毎のＭ個の用具、ユーザまたは用具毎のＰ個のセンサ、センサ毎のＳ個のセンサデータ、他のテーブル中で見出されたＴ個のパターン、Ｄ人のデータユーザ、およびＶ本のビデオに関係する情報を含む。図１Ｂに示されている全てのテーブルは例示的なものであり、特定の実装例について所望されるこれより多いまたは少ない情報を含み得る。具体的には、テーブル１８０は、ユーザ１５０に関係する情報を含み、これは、例えば、年齢、身長、体重、性別、住所、または他の任意のデータ等のユーザに関係するデータを含み得る。テーブル１８１は、Ｍ個の用具１１０に関係する情報を含み、これは、クラブ、ラケット、バット、シャツ、ズボン、靴、グローブ、ヘルメット等（例えば、用具の製造業者、用具のモデル、用具のタイプ）を含み得る。例えば、ゴルフの実施形態では、本発明の１以上の実施形態において、製造業者は製造業者名であってもよく、モデルは名称または型番であってもよく、タイプはクラブの番号（即ち、９番アイアン）であってもよく、用具ＩＤは識別子１９１であってもよい。テーブル１８２は、ユーザ１５０、用具１１０、またはモバイルコンピュータ１０１上のＰ個のセンサ１１１に関係する情報を含み得る。例えば、ユーザ１５０と関連付けられたセンサは、衣服、クラブ、ヘルメット、縁なし帽子、ヘッドバンド、マウスピース等を含んでもよく、用具１１０と関連付けられたセンサは、例えばモーションキャプチャデータセンサであってもよく、モバイルコンピュータ１０１と関連付けられたセンサは、位置／向き用センサ１６７および画像／ビデオ用センサ１３０を含み得る。テーブル１８３は、ユーザ毎、用具毎のＳ個のセンサデータに関係する情報を含んでもよく、このテーブルは、センサデータの時間および位置、またはセンサデータに関係する他の任意のメタデータ（例えば、図１Ａに示されている気温センサを介して、または例えば無線通信を介してもしくは他の任意の方法でローカルに取得された気温、天候、湿度等）を含んでもよく、または、センサデータは、上記の情報またはそれらの任意の組み合わせを含んでもよい。このテーブルは、多種多様な他のフィールド（例えば、ボールタイプ等）を含んでもよく、即ち、ゴルフの実施形態では、用いられたゴルフボールのタイプが保存されて、最良の性能のボールタイプ等について後でデータマイニングされてもよい。このテーブルは、ローカルに計算された事象のタイプ（例えば、潜在的な震盪事象）も含み得る。テーブル１８４は、例えばデータマイニング処理において見出されたＴ個のパターンに関係する情報を含み得る。これは、特定のクエリーを用いて様々なテーブル内でサーチされたフィールドと、任意の得られた関連する結果とを含み得る。本発明の１以上の実施形態では、特定の実装例で所望される任意のタイプのデータマイニング結果テーブルが用いられ得る。これは、コンピュータ１６０上でもローカルに計算され得るＥＩ測定、または単純なクエリーから複雑なパターンサーチまでの他の任意のサーチ値を含む任意の種類のサーチ結果を含み得る。テーブル１８５は、Ｄ人のデータマイニングユーザ１５１に関係する情報を含み得ると共に、例えば、彼らのアクセスタイプ（即ち、全データベースもしくはパターンテーブル、または特定の製造業者に限定等）を含んでもよく、テーブルは、データマイニングユーザが支払ったまたは支払いを行うことを同意した使用のタイプについての支払い要件および／またはレシート、並びに、任意のクエリーまたは見出されたパターンに関係する任意のサーチまたは示唆も含み得る。モーションキャプチャデータを含むセンサデータのデータマイニングを可能にするオブジェクト指向データベースの関係またはメモリに基づくデータ構造を含む他の任意のスキームも、本発明の趣旨に沿うものである。特定のアクティビティについての例示的な実施形態を示したが、モーションキャプチャ要素と、例えばユーザの既存の携帯電話１０１、１０２または他のコンピュータ１０５上で実行されるアプリとを用いた本システムの複数の実施形態によって、任意のタイプのモーションに基づくアクティビティがキャプチャされて、解析され得ることが、当業者には認識されよう。データベースの複数の実施形態は、テーブル１８６に保持されたＶ本のビデオ１７９を含んでもよく、これは、例えば、ビデオを生成したユーザ、ビデオデータ、そのビデオの時間および位置を含む。フィールドは必要に応じて設けられ、１以上の実施形態では、ビデオは、本システムにおける任意のモバイル装置、またはモバイル装置とサーバ／ＤＢ１７２との任意の組み合わせに格納され得る。１以上の実施形態では、ビデオは、センサデータテーブル１８３の「時間」フィールドと関連付けられたビデオのサブセットに分割されてもよく、時間フィールドは、事象開始時間および事象停止時間を含み得る。この状況では、本システムの必要なビデオ記憶容量を大きく低減するために、大きいビデオが、テーブル１８３に保持されている事象タイプのうちの事象と関連付けられた、概してより小さい時間ウィンドウに対応する１以上のより小さい事象ビデオにトリミングされ得る。
【０１２２】
モバイルコンピュータまたはサーバ／データベース上でモーションキャプチャデータを閲覧し、解析することに備えた本システムの複数の実施形態によって利益を受けると共に可能になる多種多様な用途がある（例えば、ユーザ１５１によるデータベース１７２のデータマイニング）。例えば、ユーザ１５１は、例えば親、子供もしくは高齢者、監督、医師、保険会社、警察、軍隊を含むコンプライアンス監視者、または他の任意の組織（例えば、製品の改善のためにデータマイニングを行い得る用具の製造業者等）を含み得る。例えばテニスの実施形態では、特定のサイズまたは年齢のユーザのサーブのトップスピードをサーチすることにより、或いはゴルフの実施形態では、テーブル１８３のセンサデータフィールド内のスイング速度に基づいて、距離、即ち、テーブル１８３におけるシーケンシャルな位置の差をサーチすることにより、どの製造業者が最良のクラブを有するかを、またはユーザ毎の年齢、身長、もしくは体重毎の最良のクラブを、または他の多種多様なパターンを決定する。コンプライアンスに関係する他の実施形態は、重力加速度の閾値が、（高い、０、または他の任意のレベル）である場合に、モバイルコンピュータ１０１またはサーバ／データベースからメッセージが生成され、先に述べたようにコンプライアンス監視者、監督、医師、保険会社等に送られることを可能にする。ユーザ１５１は、特定のユーザに対するターゲット販売のために、特定のユーザがどの用具を所有しているか、および他の類似のユーザがどの関連アイテムを所有し得るかを決定するマーケティング職員を含み得る。ユーザ１５１は、例えば靴、即ち、或るタイプの用具と結合されたセンサが動いた量、糖尿病の子供が動いた量、およびこの動きが糖尿病でない平均的な子供とどのくらい関係しているかを決定し得る医療職員を含んでもよく、この場合、テーブル１８５に従った示唆は、糖尿病の子供を健康な子供と同レベルにするために、糖尿病の子供にもっと運動させるインセンティブを与えること等を含み得る。スポーツ医、生理学者、または理学療法士は、ユーザ毎のデータを用いてもよく、または、多数のユーザに対するサーチを行って、或るユーザの特定の動きまたはモーションの範囲を例えば他のユーザと比較して、ユーザ毎にまたは集団毎に、ストレッチまたはエクササイズを続けることによって所与のユーザのどの領域を改善できるか、およびどのモーション領域の範囲が経時的に変化するか、並びに、例えば、経時的な変化を（それらの変化が生じる前においても）考慮するためにユーザがどのタイプの用具を利用し得るかを決定してもよい。モーションキャプチャデータおよびモーションに関係する画像データをデータマイニングすることは、ユーザ１５１に対する特有の長所を提供する。データマイニングは、スポーツ用具、靴、人間の身体部位、または他の任意のアイテムの柔軟性の経時的な変化、用具の製造業者間での変化、またはそれらの任意の組み合わせにおける変化を決定するために、センサによって測定された撓みパラメータに対して行われてもよい。
【０１２３】
本システムは、モーションキャプチャ時におけるユーザ１５０の解析が、比較的水平線と関連付けられた、即ち、傾斜していない画像を含むことを確実にするために、例えばモバイル装置１０１内のコンピュータ１６０上で実行される向きモジュールを含んでもよい。コンピュータは、ユーザに、カメラを、モバイル装置１０１内の向きハードウェアから取得された向きデータに基づいて水平な平面に沿って位置合わせするよう促すよう構成される。当業者には認識されるように、向きハードウェアは、モバイル装置に一般的に備えられているものである。これは、そのようにキャプチャされた画像が、水平な平面に関して比較的水平に保たれることを可能にする。また、向きモジュールは、キャプチャされるユーザのサイズを幾分正規化するためにユーザをグラフィカルな「フィットボックス」内に配置するために、ユーザに、カメラを、ユーザに近づけるまたはユーザから離す、即ち、ユーザに対してズームインまたはズームアウトするよう促してもよい。また、画像は、ユーザによって、例えば、特定のモーション要求を満たすようにという医師の指示に従ったことを証明するために用いられてもよい。
【０１２４】
本システムの複数の実施形態は、更に、ユーザ１５０または用具１１０と関連付けられた少なくとも１つのモーションキャプチャ要素を認識して、少なくとも１つのモーションキャプチャ要素１１１を、ユーザ１５０または用具１１０上の割り当てられた位置に関連づけるよう構成される。例えば、ユーザは、モバイル装置１０１内のコンピュータによって、コンピュータがＩＤを要求しているのがどのモーションキャプチャ要素であるか知らせるよう促された際に、特定のモーションキャプチャ要素を振ってもよい。或いは、既知のアクティビティを行っている際に、モーションセンサデータが位置、速度、および／または加速について解析されて、モーションキャプチャ要素を取り付けた位置として自動的に分類されてもよく、またはユーザに想定されている位置を知らせるよう促すことによって分類されてもよい。センサは、例えばチーム名およびジャージ番号によって特定のプレイヤーと関連付けられてもよく、事象の送信のためにモーションキャプチャセンサのメモリに格納されてもよい。図１に示されている任意のコンピュータが、本発明の趣旨に沿って、特定のモーションキャプチャセンサと関連付けられた識別子をプログラムするために用いられ得る。
【０１２５】
モバイル装置１０１内のコンピュータの１以上の実施形態は、ユーザ１５０の少なくとも１つの画像を取得して、このユーザ１５０の少なくとも１つの画像上に三次元オーバーレイを表示するよう構成されており、この三次元オーバーレイは、モーション解析データと関連付けられている。ディスプレイ１２０上には様々な表示が表示され得る。モーション解析データの表示は、モーション解析データと関連付けられた評価、モーション解析データと関連付けられた計算されたボール飛行経路の表示、モーション解析データと関連付けられたピーク値が生じた時間軸に沿った時点を示すタイムラインの表示、および／または、ユーザがユーザの力学を改善するのを支援するためのトレーニングレジメンの示唆を含み得る。これらのフィルタリングまたは解析されたデータセンサ結果は、データベース１７２に（例えばテーブル１８３内に）格納されてもよく、または、データベース上（または、例えば図１に示されている本システムにおける、データベースと関連付けられたサーバ上、他の任意のコンピュータ内、もしくはそれらの組み合わせ）で生データが解析されて、例えばモバイルコンピュータ１０１上、ウェブサイト１７３上、またはカメラ１０４からのテレビ放送を介して表示されてもよい。データマイニングの結果は、任意の方法で本システムの独特な表示と組み合わされて、任意の所望の方法で示されてよい。
【０１２６】
また、本システムの複数の実施形態は、ユーザ１５０が、モバイル装置１０１の無線インターフェースを介して（例えばインターネットを介して）、またはベンダーのサーバとして実装され得るコンピュータ１０５を介して、用具１１０を購入することを可能にするインターフェースを提示してもよい。更に、用具の特注のフィッティング（例えば、パターのシャフトの長さ、または任意のタイプの用具の他の任意の特注のサイズ変更等）のために、本システムの複数の実施形態は、ユーザ１５０が、モバイル装置１０１の無線インターフェースを介して、顧客にフィットした用具を注文することを可能にするインターフェースを提示してもよい。また、本発明の実施形態は、モバイル装置１０１がユーザ１５０に対してより良好な性能の用具を示唆することを可能にし、または、ユーザ１５０が、ユーザ１５０の所定の範囲内のスイング速度を有する複数のユーザについてのクラブ毎のゴルフのショットの距離についてのデータベース１７２のデータマイニングによって決定された、より良好な性能の用具をサーチすることを可能にする。これは、実際のパフォーマンスデータをマイニングして、例えばＯＥＭ等のユーザ１５１がユーザ１５０に対して用具を示唆し、その対価を課金する（例えば図１に示されている任意のコンピュータにおいてまたはウェブサイト１７３を介して表示されるデータマイニング結果へのアクセスに対する支払い）ために用いることを可能にする。本発明の１以上の実施形態では、データベース１７２は、ＯＥＭのデータマイニングの記録をとり、例えば、所与の請求期間にわたる、各ユーザ１５１が購入したおよび／または用いたアクセスの量について、ユーザ１５１に請求を行うよう構成される。例えば図１Ｂを参照されたい。
【０１２７】
本システムの複数の実施形態は、少なくとも１つのモーションキャプチャ要素から取得されたデータを解析し、用具と結合された少なくとも１つのモーションキャプチャ要素の振動に基づいて、ボールと用具との衝突がどのくらい中心にあったかを決定し、モーション解析データに基づいて衝撃の位置を表示するよう構成される。このパフォーマンスデータは、データベース１７２に格納されてもよく、ＯＥＭまたはコーチによって、例えば、多数の衝突にわたってデータマイニングされた、中心に当たる確率が高いクラブを示唆するために用いられてもよい。
【０１２８】
図１Ａは物理的な装置を示しているが、本明細書で述べる本システムの範囲および方法は、コンピュータまたはコンピュータシステム上で実行され本開示の思想を実装する方法および処理と適合するコンピュータシステム環境として作用するまたはそれを提供する、１以上のコンピュータプログラムとして具現化される仮想の装置、仮想の機械、またはシミュレータを包含する。仮想の機械、処理、装置等が、本システムの物理的コンピュータシステムと略同様のパフォーマンスを行う場合、例えば、図１Ａに示されているもの等の、本明細書における物理的システムの記載に関わらず、そのような仮想のプラットフォームも本開示のシステムの範囲内である。
【０１２９】
図１Ｃは、本システムで用いられるコンピュータの複数の実施形態で行われると共にそれによって可能になる処理の実施形態のフローチャートを示す。本システムの１以上の実施形態では、３０１で、複数のモーションキャプチャ要素は、必要に応じて較正される。一部の実施形態では、これは、ユーザまたは用具上の複数のセンサを、これらのセンサが所与の入力モーションについて同じ速度値または加速値を示すよう調整および／または設定されていることを確実にするために、較正することを意味する。本発明の他の複数の実施形態では、これは、向き、位置、速度、加速、またはそれらの任意の組み合わせを同時に較正するよう移動する較正オブジェクト上に、複数のモーションキャプチャセンサを配置することを意味する。このステップは、一般的に、モーションキャプチャ要素および必要に応じて設けられるマウントを設ける（或いは、モーションキャプチャセンサ機能を有するモバイル装置が用いられることを可能にする）こと、並びに、例えば、既存の携帯電話またはコンピュータを有するユーザが、本システムの複数の実施形態を用いて、モーションキャプチャデータを取得し、可能性として解析し、および／またはそれに基づいたメッセージを送ることを可能にするアプリを設けることを含む。１以上の実施形態において、ユーザは、単にモーションキャプチャ要素およびアプリを購入して、本システムの使用を即時に開始してもよい。３０２で、本システムは、モーションキャプチャ要素を用いてモーションデータをキャプチャし、３０３で、モーションキャプチャデータ中の任意の事象（即ち、例えば震盪を示す閾値を超える線形加速および／または回転加速）を認識し、３０４で、モーションキャプチャデータを、例えばモバイルコンピュータ１０１、１０２、または１０５（ＩＰＯＤ（登録商標）、ＩＴＯＵＣＨ（登録商標）、ＩＰＡＤ（登録商標）、ＩＰＨＯＮＥ、ＡＮＤＲＯＩＤ（登録商標）Ｐｈｏｎｅ、またはユーザがローカルにデータを収集するために用い得る他の任意のタイプのコンピュータを含み得る）に送る。１以上の実施形態において、センサは、例えば他のセンサ上における事象データ格納処理を開始するために、事象を他の任意のモーションキャプチャセンサに送信してもよい。他の実施形態では、センサは、事象が生じた時点の付近でまたは後でビデオのトリミングを可能にするために、例えばビデオの不要な部分を捨てて、事象についてのビデオが保存されるべきであることを示すために、事象を他のモバイル装置に送信してもよい。１以上の実施形態において、本システムは、センサの複雑さを最小限にして、例えば既存の携帯電話および他の電子装置に見出される非常に能力がある計算要素へと処理の負荷を移す。本明細書の様々なセクションに記載されるように、モーションキャプチャ要素からユーザのコンピュータへのデータの送信は、可能なときに、周期的に、事象に基づき、ポーリングされたときに、または他の任意の方法で行われ得る。これは、継続的に生データを送る公知のシステムと比較して、二つの方法で大量の電力を節約する。第１に、データは、データを全生データのうちの意味のある小さいサブセットに大きく減少させる、特定のモーション事象が入る時間ウィンドウ内の事象パケットとして送られ得るとともに、第２に、データは、合計送信回数を制限するために、継続的な送信よりは低い頻度で、定められた時間に、またはデータを要求されたときに送られ得る。１以上の実施形態では、３０５で、事象は、例えば、モーションキャプチャセンサ１１１上のＬＥＤがフラッシュすることにより（例えば、潜在的な震盪に対して黄色のフラッシュ、または可能性が高い震盪に対して赤色の速いフラッシュ）、ローカルに表示され得る。或いは、またはそれと組み合わせて、警告または事象は、例えば図１に示されている他の任意のコンピュータまたはモバイル装置に送信されて、そこで表示されてもよい。
【０１３０】
例えば既存のモバイルコンピュータにおけるユビキタスな通信機能を活用するために、本システムにおける主な情報処理機能は、一般的に、より多くの処理能力が利用され得るモバイルコンピュータまたはサーバ内にある。本システムの１以上の実施形態では、３０６で、モバイルコンピュータは、必要に応じて、ユーザまたは用具から識別子を取得してもよく、または、ステップ３０５の一部として、この識別子（例えば、受動的ＲＦＩＤもしくは能動的ＲＦＩＤ等、または例えばチーム／ジャージ番号もしくは他のプレイヤーＩＤ等の他の識別子）が送信されてもよく、これは、モバイルコンピュータによって、その時点でどのユーザが負傷した可能性があるか、ユーザがどの重さを持ち上げているか、ユーザがどの靴を履いて走っているか、ユーザがどの武器を使用しているか、ユーザがどのタイプのアクティビティを用いているかを、用具の識別子に基づいて決定するために用いられ得る。３０７で、モバイルコンピュータは、モーションキャプチャデータをローカルに解析して、例えばデータ中に閾値が観察されたときに、例えばプレイヤー、兵士、もしくはレーシングカーのドライバーによって過剰な重力加速度が記録されたときに、または不十分なモーションが生じているときに（その時点で、または、後述するように、例えばそのユーザの典型的なモーションパターンもしくは他のユーザのモーションパターンに基づくデータベース中のデータのパターンに基づいて）、例えばメッセージ等の情報を表示、即ち、示すかまたは送ってもよい。他の実施形態では、ユーザが特定の量のモーションを行ったら、３０７で、データを格納するかまたは別様で表示するために、例えば審判、親、子供もしくは高齢者、監督、医師、保険会社、警察、軍隊を含む安全性またはコンプライアンス監視者、または他の任意の組織（例えば、用具製造業者等）にメッセージが送られてもよい。メッセージは、ＳＭＳメッセージ、電子メール、ツイート、または他の任意のタイプの電子通信であり得る。特定の実施形態がリモート解析のために、またはリモート解析のみのために構成される場合には、３０８で、モーションキャプチャデータはサーバ／データベースに送られ得る。実装例がリモートデータベースを用いない場合には、モバイルコンピュータ上での解析はローカルなものである。実装例がリモートデータベースを含む場合には、３０９で、モバイルコンピュータ、サーバ／データベース、またはそれらの両方で解析が行われ得る。データベースがモーションキャプチャデータを取得したら、３１０で、データが解析されて、所望に応じて、事象のみを表示、または、ユーザもしくは他のユーザと関連付けられた以前の事象データと組み合わせてもしくはそれに関して事象を表示するために、サーバ／データベースからコンプライアンス職員または企業体にメッセージが送られてもよい。
【０１３１】
本発明の実施形態は、ゲーム、形態学的比較、コンプライアンス、燃焼カロリーや行われたワークの追跡記録、昼と夜とで変化するモーションまたは以前のモーションパターンに基づく子供もしくは高齢者の監視、重力加速度が閾値を超えたときもしくはモーションが停止したときのプレイヤーや部隊の安全性モニタリング、例えば、ユーザの現在のおよび／もしくは以前のデータもしくは他のユーザからのデータを利用する仮想現実アプリケーションを含む携帯電話上での走る、飛び上がる、投げる動作のモーションキャプチャデータのローカル使用、ユーザが行っているモーションのタイプまたはデータマイニングに基づく音楽の再生もしくは再生リストの選択のために、モバイルコンピュータおよび／またはサーバからデータを利用する。例えば、モーションがデータベース中の既知のプレイヤーに類似している場合には、そのユーザの再生リストが、ユーザのモバイルコンピュータ１０１に送られてもよい。モーションが速い場合には速い音楽が再生され、モーションが遅い場合には遅い音楽が再生されるように、この処理はローカルに行われてもよい。ユーザのモーションに基づいて音楽を再生するための他の任意のアルゴリズムも、本発明の趣旨に沿うものである。モーションキャプチャ要素およびユーザの既存のモバイルコンピュータ上のアプリから取得されたモーションキャプチャデータのどのような使用も（以前のパフォーマンスにおけるユーザからの実際のモーションデータまたは例えば歴史上のプレイヤーを含む別のユーザからの実際のモーションデータを用いて、仮想現実環境において他のプレイヤーのアバターの相対的なモーションを示すためにモーションデータを用いることを含む）、本発明の趣旨に沿うものである。情報の表示は、一般的に、３つの状況を介して行われるものであり、この場合、情報の表示はユーザのモーション解析データに基づくもの、またはユーザの用具および以前のデータに関係するものであり、以前のデータは同じユーザ／用具または１以上の他のユーザ／用具からのものであり得る。この状況下で、現在のモーション解析データを、このユーザ／用具と関連付けられた以前のデータを比較することは、モーションキャプチャセンサおよびアプリを有する非常にコスト効果の高いシステムを用いてパターンを解析することを可能にする。別の状況下では、ユーザまたは別のユーザ／用具から選択された以前のデータが現在のユーザのパフォーマンスに基づくものとなるように、情報の表示は現在のユーザのパフォーマンスの関数である。これは、ユーザのスイングに対する、歴史上のプレイヤーからキャプチャしたモーションによる効果的な応答が得られるという現実味が高い試合（例えば、歴史上のプレイヤーを相手にした仮想のテニスの試合）のプレイを可能にする。実際のデータ（現在のデータおよび以前に格納されたデータ）を用いたこのタイプの現実味がある試合のプレイ、例えば、ユーザがテニスのトップ１０プレイヤーの平均的なパターン（即ち、サーブの速度、ユーザの所与の入力ショットに対するリターンショットの速度および角度）を相手にプレイすることは、試合のプレイをできるだけ現実味があるものにする。名人がまだ健在で現在もユーザとプレイしているかのように、名人を相手にしたユーザの技量をテストするために、既に故人である歴史上のプレイヤーによるスイング速度およびショットのタイプを決定するために、例えばテレビ画像が解析されてもよい。第３の状況では、ユーザの以前のデータまたは他のユーザの以前のデータとの比較を行わずに、ユーザによる、または、例えばモバイルコンピュータへのアクセスを持たないもしくはモバイルコンピュータを所有していない異なるユーザによる、コンプライアンスおよびモニタリングが行われてもよい。換言すれば、携帯電話はモニタリングされているユーザと関連付けられており、異なるユーザは、例えばモーションキャプチャ要素を装着しているユーザ（例えば、乳児または糖尿病患者等）の現在のパフォーマンスに関係する情報を取得している。
【０１３２】
図１Ｄは、本システムの実施形態のデータフロー図を示す。図示されるように、モーションキャプチャデータは、多くの異なるタイプの用具１１０上のまたはユーザ１５０と関連付けられた（例えば、衣服、ヘルメット、ヘッドバンド、縁なし帽子、マウスピース、またはユーザのどこか別の位置と結合された）様々なモーションキャプチャ要素１１１から送られる。用具またはユーザは、必要に応じて、本システムが値をモーションと関連づけることを可能にする識別子１９１（即ち、持ち上げられている重量、使用されているラケットのタイプ、使用されている電子装置のタイプ（即ち、ゲームコントローラ）、または他のオブジェクト（例えば第２のユーザ１５２（例えば乳児）と関連付けられた乳児用パジャマ等））を有してもよい。１以上の実施形態では、当業者には認識されるように、図面中の要素１９１は、モーションキャプチャ要素１１１によって置き換えられても、または拡張されてもよい。本システムの１以上の実施形態では、モバイルコンピュータ１０１は、例えば事象の形態のモーションキャプチャデータを、例えば事象に基づき、またはモバイルコンピュータ１０１によって要求されたときに受信する（例えば、モーションキャプチャ要素１１１が、データが存在することを宣言して、要求に対応するために、電力を無駄にしないように決まった長さの時間だけ受信器をオンにした後、要求が受信されなかった場合には、一定の期間にわたって受信器をオフにする）。データがモバイルコンピュータ１０１に入力されたら、例えば生のまたは事象に基づくモーションキャプチャデータを取得して、例えば人間がより簡単に理解しやすい項目（例えば平均速度等）を決定するために、データが解析される。モバイルコンピュータ１０１の右側に図示されるように、データは格納されてもよく、次に、データはユーザ１５０または１５１に対して、例えば、モニタ、コンプライアンステキスト、もしくは電子メールの形態で、またはモバイルコンピュータ１０１もしくはコンピュータ１０５と関連付けられたディスプレイ上に表示されてもよい。これは、モーションキャプチャ要素と関連付けられておらず、場合によってはモバイルコンピュータとも関連付けられていないユーザが、可能性として、例えば乳児の呼吸が遅いことを伝えるモニタメッセージを取得すること、または、例えば、現在モーションキャプチャデータを供給しているユーザ、以前に格納されたデータを有するユーザ、もしくは過去のトーナメントのパフォーマンスのビデオ中のモーションを解析した後の歴史上のプレイヤー（例えば、有名なゴルファー等）を含み得る仮想現実マッチもしくはパフォーマンスを視聴することを可能にする。例えば、ユーザ１５０または用具１１０から現在のデータが取得されているゲームの状況では、例えば仮想現実メガネ上でのデータの表示は、そのユーザの現在のモーションデータに応答するために（即ち、ユーザの入力の関数として）、そのユーザ／用具または別のユーザ／用具からの以前のデータを利用してもよい。以前のデータは、システム内のどこか（例えば、モバイルコンピュータ１０１、コンピュータ１０５、サーバ、またはデータベース１７２）に格納され得る（図１参照）。以前のデータは、例えば、ユーザ１５１に対して、ユーザ１５０が特定の回数の潜在的な震盪事象を受けたこと、従って、再びプレイする前に特定の長さの時間だけ治療しなければならないことを示すために用いられ得る。例えば、保険会社は、医療費を低くするために、そのようなコンプライアンスを要求してもよい。ビデオは、モバイル装置１０１、コンピュータ１０５、または図１に示されているサーバもしくはサーバと接続されたデータベース１７２に格納されて、例えばディスプレイに同時に表示される（例えば、オーバーレイされるか、または、一般的にモバイルコンピュータ１０１もしくはコンピュータ１０５のディスプレイの別々の位置に示される）事象データおよび事象のビデオを含む事象ビデオを構成するために、そこから取り出され得る。
【０１３３】
図２Ａは、ユーザの頭部１５０ａを囲むヘルメット１１０ａに基づくマウントを示しており、ヘルメットに基づくマウントは、例えば、図示されているようにヘルメットの後部にモーションキャプチャセンサ１１１を保持する。図２Ｂは、ヘルメット後部の下部に示されているネックインサートに基づくマウントを示しており、これは、既存のヘルメットにモーションキャプチャセンサ１１１を後から組み込むことを可能にする。ユーザの頭部１５０ａに結合されるかまたは別様でユーザの頭部１５０ａ付近に着用されるよう構成された少なくとも１つのモーションキャプチャセンサを含む実施形態では、マイクロコントローラは、更に、ユーザの頭部における衝撃の位置を計算するよう構成され得る。ユーザの頭部における衝撃の位置の計算は、ユーザの頭部および／またはヘルメットの物理的形状に基づくものである。例えば、モーションキャプチャ要素１１１が、無回転の後方への（図面中の右側への）加速を示している場合には、ヘルメットまたはユーザの頭部の外周方向に戻る加速のベクトルを追跡することによって衝撃箇所が計算され得る。この無回転の計算は、力線がユーザの頭部／ヘルメットの重心またはその付近を通ることを効果的に示すものであり、そうでない場合には、モーションキャプチャ要素１１１によって回転力が観察される。モーションキャプチャ要素１１１において側方へのベクトルが観察された場合には、衝撃箇所は、ヘルメット／頭部の側部にあり且つ重心を通るように計算される。よって、例えば少なくとも加速のピークに近い期間または他の任意の期間にわたってモーションキャプチャセンサに回転加速を付与しない他の任意の衝撃は、ヘルメット／頭部に対して重心を通る方向に付与されたものと想定され得る。よって、衝撃箇所の計算は、重心から戻る距離および角度を計算することによって、力のベクトルが検出され衝撃箇所に向かって戻るよう横断するヘルメット／頭部の外周の交点として計算される。例えば、加速ベクトルが４５度で無回転である場合には、衝撃箇所は、ヘルメット／頭部の重心から４５度で戻った位置であり、よって、４５のサインを計算すると、約０．７×ヘルメットの半径（即ち５インチ（１２．７センチメートル））であり、衝撃はヘルメットの前部から約３．５インチ（８．８９センチメートル）になる。或いは、衝撃の位置を角度の形式のままにして、衝撃はヘルメット／頭部の前部から４５度であったことを示してもよい。逆に、線形加速を伴わない回転加速が観察された場合には、ヘルメット／頭部はセンサを中心に回転している。この状況では、脳を回転させるのに必要な力は重心の前を通り、重心およびセンサを通ると定義される線に概ね直交するものであり（例えば、側面衝撃）、そうでない場合には、平行移動の線形加速が観察される。この場合には、衝撃の位置は、加速の方向とは反対側のヘルメット／頭部の側面上にある。よって、簡単な計算方法の例として、これらの２通りの衝撃の位置の計算が用いられ得るが、頭部／ヘルメットの質量および頭部／ヘルメットのサイズを考慮した他の任意のベクトルに基づくアルゴリズムが用いられてもよい。そのようなアルゴリズムの１つは、所望であれば、力ベクトルを計算して、ヘル���ット／頭部の外周に戻るよう変換して、その位置に付与された力ベクトルを計算するために、例えば、Ｆ＝ｍ＊ａ（即ち、力＝質量×加速）およびトルク＝ｒ×Ｆ（式中、ｒは頭部／ヘルメットの外側部分における位置ベクトルであり、Ｘは外積であり、Ｆは力ベクトルである）等の任意の数式を用いてもよい。ヘルメットに関して説明したが、少なくとも１つのモーションキャプチャセンサの他の実施形態は、任意のタイプのマウント、囲い、または結合機構を用いて、縁あり帽子もしくは縁なし帽子に、または保護マウスピース内に結合されるよう構成され得る。縁あり帽子／縁なし帽子／マウスピースについても、衝撃の位置／方向、加速の線形力もしくは回転力、または、例えば震盪に関連する事象を示し得る他の任意の量を決定するために、同様の計算が用いられ得る。複数の実施形態は、例えば図１Ａに示されている少なくとも１つのモーションキャプチャセンサまたはマイクロコントローラと結合された温度センサを含み得る。温度センサは、単独で、または、モーションキャプチャ要素と組み合わせて、例えば身体もしくは頭部が震えているかどうか（即ち、低体温を示す）、または、動きが検出されず、例えば無線もしくは有線の温度センサを介して計測された温度が、身体もしくは脳が熱中症を示す閾値より高いことを示すかどうかを決定するために、用いられ得る。
【０１３４】
本発明の実施形態は、少なくとも１つのモーションキャプチャ要素を囲み、ユーザの脳の周囲の脳脊髄液の物理的な加速の緩衝を近似し、事象データの線形加速および回転加速の変換を最小化し、ユーザの脳の観察された線形加速および観察された回転加速を取得するよう構成されたアイソレータも用い得る。従って、複数の実施形態は、ヘルメットに基づく加速からの力、加速値、または他の任意の値を、観察された脳の加速値へと変換する必要がなく、従って、本発明の実施形態は、事象特異的データを提供するために、より少ない電力および記憶容量を用い、それにより、データ転送量を最小限にして、より低い送信電力使用量およびさらに低い合計電力使用量を生じる。フットボール／ホッケー／ラクロスのプレイヤーのヘルメットには、ヘルメット内の固有のパッドのタイプに基づいて、それぞれ異なるアイソレータが用いられ得る。ヘルメットを着用しない、または時々着用するスポーツで用いられる他の実施形態では、縁なし帽子または縁あり帽子、例えば、野球のプレイヤーの帽子上の少なくとも１つのモーションキャプチャセンサが、バッター用ヘルメットに装着された少なくとも１つのセンサと共に用いられ得る。例えば、サッカー等の帽子が用いられないスポーツでは、震盪を判断するためにヘッドバンドマウントも用いられ得る。１以上の実施形態では、ヘルメットに用いられるアイソレータは、ヘルメットに取り付けられた囲いの中に留まってもよく、センサは、ユーザの脳液の緩衝に適合するアイソレータを用いない別の用具上に着脱されてもよい。複数の実施形態は、或るタイプのモーションを自動的に検出して、特定のタイプの用具と関連付けられた特徴的なモーションパターン（即ち、サーフボードと野球のバットとの対比）に基づいて、モーションキャプチャセンサが現在に取り付けられている用具のタイプを決定してもよい。１以上の実施形態において、アイソレータの物理的特性を計算するために用いられ得るアルゴリズムは、モーションキャプチャセンサをヘルメットに取り付けること、およびモーションキャプチャセンサを衝突試験のダミーの頭部のヘッドフォームに取り付けることを含んでもよく、この場合、ヘッドフォーム内のモーションキャプチャセンサは、アイソレータに周囲を囲まれる。例えば、ヘルメット内の死体の頭部内に配置されたセンサに関して、ヘルメットに線形加速および回転加速を加えて、ヘルメットのセンサによって取得された値とヘッドフォーム内のセンサによって観察された値との差を観察することにより、人間の脳の緩衝効果に最も厳密に適合する、最もよく適合する緩衝値のアイソレータ材料が取得され得る。
【０１３５】
図３は、モーションキャプチャセンサとヘルメットの外側部分との間にあるアイソレータを示す、図２Ａ〜図２Ｂのマウントのクローズアップを示す。本発明の実施形態は、線形加速値、回転加速値、またはそれらの両方を取得／計算するよう構成され得る。これは、震盪について、線形加速だけでなく回転事象もモニタリングすることを可能にする。図示されるように、センサマウント１１１ｂ内のアイソレータ１１１ｃを用いることにより、外部からの加速Ｇ１は、人間の脳によって観察される加速とより関連付けられたより低い加速、即ちＧ２をセンサ１１１に付与し得る。これは、震盪について、線形加速だけでなく回転事象もモニタリングすることを可能にする。他の事象は、事象の最中にキャプチャ特性をダイナミックに変えるためにセンサの性格を切り替えるためだけでなく、現在のモーションキャプチャセンサを有する現在用いられている用具のタイプを特徴づけるために、例えばパターンまたはテンプレートと比較される線形および／または回転の加速および／または速度を利用し得る。これは、センサによってキャプチャされたモーションとモーションの特徴的なパターンまたはテンプレートとの比較に基づいて、センサが結合された用具または衣服のタイプをセンサが自動的に決定するのを可能にすることにより、ユーザが購入した単一のモーションキャプチャ要素が、複数の用具または衣服に装着されること可能にする。
【０１３６】
図４Ａは、ユーザの頭蓋４０１および脳４０２を囲むパッド１１０ａ１を有するヘルメット１１０ａに装着されたモーションキャプチャ要素１１１の上から見た断面図を示す。図４Ｂは、図４に示されている様々な要素についての回転震盪事象を示す。図示されるように、ヘルメット１１０ａ内のパッド１１０ａ１によって囲まれた、重心４０３を有する人間の脳４０２および頭蓋４０１には、それぞれ異なる加速値が付与され得る。図示されるように、単位期間内に移動するためには、脳の前部は、脳の後部におけるＧ２ｃまたは重心におけるＧ２ｂよりも高い率Ｇ２ａで加速しなければならない。よって、所与の回転加速値に対して、脳のそれぞれ異なる領域が受ける影響は異なり得る。従って、本発明の１以上の実施形態は、線形加速に関する情報だけでなく、回転加速に関する情報も送信する。
【０１３７】
図５は、例えば、図示されるように５００ｇでヘルメットに入力された力Ｇ１と、アイソレータ内に装着されたセンサによって観察され公知のヘッドフォーム加速測定システムを用いて確認された、脳内で観察された力Ｇ２とを対比させて示す。右上のグラフは、ヘッドフォームに装着された加速度計に関して、２つの公知のヘッドフォームシステムが、図４Ａに示されているアイソレータに基づくモーションキャプチャ要素１１１によって観察された加速値を確認することを示す。
【０１３８】
図６は、３軸の回転加速値と、合計回転ベクトル量と、モーション事象データと共に表示されている、カメラから取得され震盪事象のビデオとを示す。１以上の実施形態において、所与のセンサからの加速値は、例えばモバイル装置の画面をダブルタップすることにより、または他の任意の方法により、回転値（図示されるように）または線形値について表示されてもよい。本発明の実施形態は、コネクションレス同報メッセージを用いて、事象と関連付けられた事象データを送信してもよい。１以上の実施形態では、用いられる無線通信に応じて、同報メッセージは、接続ベースのプロトコルのハンドシェーキングおよびオーバーヘッドを回避するために用いられ得る限られた量のデータを有するペイロードを含み得る。他の実施形態では、コネクションレスまたは接続ベースのプロトコルは、任意の組み合わせで用いられ得る。このようにして、審判は、モバイル装置上で、潜在的な震盪に関連する事象の読み出しを、ほぼその瞬間に取得してもよく、これは、審判が迅速に医療支援を得ることを可能にする。
【０１３９】
１以上の実施形態において、コンピュータは、例えば震盪もしくは転倒、または他のスイングもしくは他の任意のモーション事象の数を決定するために、ユーザまたは用具と関連付けられた以前に格納された事象データまたはモーション解析データにアクセスし得る。また、複数の実施形態は、ユーザまたは用具と関連付けられた事象データまたはモーション解析データと、ユーザもしくは用具または少なくとも１の他のユーザもしくは他の用具と関連付けられた以前に格納された事象データまたはモーション解析データとに基づいて、少なくとも１のユーザと関連付けられた事象データをディスプレイに提示してもよい。これは、モーション事象の数または定量的な値（例えば、特定の試合においてまたは歴史的にユーザまたは他のユーザによって観察された最大回転加速）の比較を可能にする。１以上の実施形態では、更に、典型的な事象についての特定の用具の特徴的なモーションを定義するパターンまたはテンプレートが、例えば中央のサーバでまたはローカルにダイナミックに更新され、無線インターフェースを介してモーションキャプチャセンサにおいてダイナミックに更新され得る。これは、センサを経時的に改善することを可能にする。よって、図６に示されている表示は、所与のボクサー／プレイヤーについて以前に格納された震盪の数も示して、審判／医師が、そのプレイヤーがプレイを続けてもよいかどうかを決定することを可能にしてもよい。
【０１４０】
本発明の実施形態は、例えばコンピュータまたはリモートコンピュータと結合された視覚的ディスプレイ上の表示に、例えばテレビ放送またはインターネットを介して情報を送信してもよい。よって、図６の表示は、例えばボクサー／プレイヤー／ライダー等に付与された力の量をリアルタイムで示すために、視聴者に対して示されてもよい。
【０１４１】
図７は、ユーザのタイムライン表示２６０１と、タイムラインに沿って事象として示されている、タイムラインに沿ったピーク角速度および最小角速度とを示す。更に、ゴルフクラブ２６０２のリードおよびラグと、ゴルフクラブのドループおよびドリフトとを示すグラフが一番下の表示に示されており、これらの値は、時間に対してプロットされた２つの軸において、ゴルフクラブシャフトがどれだけ曲がっているかを決定する。図８には、表示上に注釈として示された簡略化されたタイムラインおよびモーションに関連する事象（スイングの最大速度）を有する表示の実施形態が示されている。
【０１４２】
図８は、サブ事象を容易に見ることを可能にするための、スクロールまたは再生のための、サブ事象と関連付けられた開始時点／停止時点８０２ａ〜８０２ｄ、即ち、図７に示されているサブ事象の時間的な位置の付近への入力を可能にするサブ事象スクラブタイムラインを示す。例えば、１回のゴルフスイングは、例えば、アドレス、バックスイング、フォワードスイング、打撃、フォロースルー等のサブ事象を含み得る。本システムは、例えばサブ事象の閲覧し易くするために、サブ事象８０２ａ〜８０２ｄについての時間的な位置を表示して、ビデオがその時点で開始または停止すべきことをアサートする、またはその時点まで戻るようスクロールするために、その位置の付近へのユーザによる入力を受け付けてもよい。ユーザ入力要素８０１は、例えばビデオの位置を所望の時点にするために、時間を近くのサブ事象までドラッグ操作するために用いられ得る。或いは、またはそれと組み合わせて、ビデオの再生中に、例えば、別のサブ事象の時点の付近における指による押圧をアサートする等のユーザによる入力は、次のサブ事象の時点でビデオが停止すべきであることを示してもよい。また、ユーザインターフェースは、ビデオを特定のサブ事象または事象が生じたフレームにより正確に同期させるために、位置をコントロール＋ドラッグ操作するために用いられてもよい。例えば、ユーザは、ビデオを、ここではスイング速度（マイル／時）として示されている実際のモーション解析データとより厳密に同期させるために、ビデオのフレームを、例えばクラブヘッドのの速度が０である実際の時点と一致させるよう、コントロールキーを保持して位置８０２ｂを左または右にドラッグしてもよい。ユーザのフレームをモーション解析データに同期させるためのユーザによる他の任意のジェスチャ（例えば、音声制御、矢印キー等）も、本発明の趣旨に沿って用いられ得る。
【０１４３】
図９は、サブ事象８０２ａおよび８０２ｂの開始および停止のタイムラインに沿った相対的な位置と、開始時間および停止時間に引き付けられるような、これらの点の近くへのユーザ入力を可能にするために、開始時間および停止時間と関連付けられた引力とを示す。例えば、ユーザインターフェース要素をサブ事象の開始点／停止点へと移動させることがより容易になるように、ユーザインターフェース要素８０１をタイムラインに沿って左右にドラッグした際、ユーザインターフェース要素は潜在的な井戸８０２ａおよび８０２ｂに向かって移動するように見えてもよい。
【０１４４】
１以上の実施形態において、コンピュータは、更に、事象の近位にある少なくとも１つのカメラからの、事象を含む少なくとも１つの画像またはビデオを要求するよう構成される。これは、特定の近位のカメラまたは事象の方向を向いている特定のカメラからのビデオを要求する同報メッセージを含み得る。１以上の実施形態において、コンピュータは、更に、事象の近位にある、または事象を見るよう向けられているカメラの位置を求める要求を同報し、必要に応じて、対象となる事象が含まれる継続期間にわたって、使用可能なカメラまたはそこからのビデオを表示するよう構成される。１以上の実施形態において、コンピュータは、更に、事象が生じた１以上の時間のリストを表示するよう構成され、これは、ユーザが、コンピュータを介して、所望の事象ビデオを取得すること、および／または、所望の事象の時間を有する第三者からのビデオを独立して要求することを可能にする。コンピュータは、サーバ１７２からビデオを取得してもよく、ビデオを所望の事象に合わせてローカルでトリミングしてもよい。これは、コンピュータと直接インターフェースしていないがサーバ１７２と通信し得る第三者のビデオまたはシステムからのビデオを取得するために用いられ得る。
【０１４５】
図１０は、モバイル装置１０２ｂをモーションキャプチャ要素１１１ａとして用い、他のモバイル装置１０２ａを、第１のユーザ事象のモーション事象データおよびビデオを受信するコンピュータとして用いる実施形態を示す。モバイル装置１０２ａからのビューが、図面の左上部に示されている。１以上の実施形態において、少なくとも１つのモーションキャプチャセンサは、モバイル装置と結合されており、例えば、モバイル装置の内部にある、またはモバイル装置と結合された内部モーションセンサ１１１ａを用いる。これは、最小のユビキタスなハードウェアを用いた（例えば、内蔵加速度計を有するモバイル装置を用いた）モーションキャプチャおよび事象認識を可能にする。１以上の実施形態において、第１のモバイル装置１０２ｂは、モーションデータを記録するユーザ（図示されている例ではスケートボードをしている）と結合されてもよく、第２のモバイル装置１０２ａはモーションのビデオを記録するために用いられる。１以上の実施形態において、モーションを行っているユーザは、例えば、第２のユーザのモバイル装置がビデオの記録を開始またはビデオの記録を停止すべきことを示すために、例えばモバイル装置をＮ回タップする等のジェスチャを行ってもよい。事象に関連するまたはモーションに関連する指示をモバイル装置間で通信するために、他の任意のジェスチャが用いられてもよい。
【０１４６】
このように、本発明の実施形態は、起立、歩行、転倒、熱中症、発作、激しい震え、震盪、衝突、異常な歩行、異常な呼吸もしくは無呼吸、またはそれらの任意の組み合わせを示すモーションに関係する事象、または、モーションが生じた継続期間を有する他の任意のタイプの事象を含む、任意のタイプのモーション事象を認識し得る。また、事象は、例えば、既知のシグネチャーを有するサブ事象、または別様で（特定のセットの線形軸または回転軸における振幅および／または時間閾値を含む）任意のタイプのテンプレートもしくはパターンに一致するサブ事象を含む任意の粒度を有してよい。例えば、スケートボードのプッシュオフまたは一連のプッシュを示す事象が、例えば、「予備動作」等のサブ事象としてグループ化されてもよく、一方、例えばＸにおける回転軸が「スケートボードのフリップ／ロール」を示してもよい。１以上の実施形態では、これらの事象はグループ化されて格納／送信されてもよい。
【０１４７】
図１１は、データを格納するために用いられるメモリの実施形態を示す。メモリ４６０１は、例えば、モーションキャプチャ要素１１１のマイクロコントローラと一体であってもよく、または、例えば別個のメモリチップとしてマイクロコントローラと結合されてもよい。図示されるように、メモリ４６０１は、１以上のメモリバッファ４６１０、４６１１、並びに４６２０、４６２１をそれぞれ含むよう構成され得る。用いられ得るメモリバッファの一実施形態は、リングバッファである。リングバッファは、事象が生じるまで複数回上書きされるよう実装され得る。リングバッファの長さは、０〜Ｎ個のメモリ単位であり得る。例えば、Ｍ個の打撃事象のためのＭ個のリングバッファがあってもよい。数Ｍは、０より大きい任意の数であってよい。１以上の実施形態では、数Ｍは、予想される事象の数（例えば、ゴルフの１ラウンドのヒット数またはショット数）と等しいかまたはそれより大きくてもよく、或いは、例えば、１以上の事象が生じた後にモーションキャプチャデータがモバイルコンピュータまたはインターネットにダウンロードされるまで、全てのモーションキャプチャデータをモーションキャプチャ要素に格納することを可能にする他の任意の数であってもよい。一実施形態では、例えばヘッドと称されるポインタが、バッファのヘッドを追跡する。データがバッファに記録されると、ヘッドが、次の空いているメモリ単位に向かって適切な量だけ先に移動される。バッファが一杯になったら、ポインタはバッファの最初に戻り、以前の値に遭遇したら、それを上書きする。データは時間（ｔ）における任意の瞬間に上書きされるが、バッファのサイズおよび記録レートに応じて、時間（ｔ）から遡って記録されたセンサデータが存在する。センサがバッファにデータを記録すると、１以上の実施形態における「事象」は、新たなデータがバッファを上書きすることを停止させる。事象が検出されたら、センサは、有望なショットの記録を完了するために、例えば特定の量の時間にわたる事後事象データを特定のキャプチャレートで記録するために、第２のバッファ４６１１へのデータの記録を続けることができる。この時点で、メモリバッファ４６１０は、バッファのサイズおよびキャプチャレートと、事後事象バッファ４６１１内の事後事象データとに応じて、事象から遡った所望の量の時間にわたるデータの記録を含む。ビデオも、同様の方法で格納されて、後でトリミングされてもよい（例えば図１９を参照）。
【０１４８】
例えば、ゴルフのスイングでは、事象はクラブヘッドのとボールとの衝撃であり得る。或いは、事象は、クラブヘッドのと地面との衝撃であり得、これは誤った事象を生じ得る。他の実施形態では、事象は、震盪事象を示し得るユーザの頭部の加速、武器から発射されたショット、野球のバットに当たったボール、または、ユーザが重量を最も高い位置まで移動させてから、もう一度反復するために降ろしたことであり得る。事前事象バッファは、衝撃事象が生じるまでのセンサデータを格納し、事後事象バッファは、衝撃事象の後のセンサデータを格納する。マイクロコントローラの１以上の実施形態は、事象を解析して、事象が反復、発射、または、例えば打撃もしくは誤った打撃等の事象であるかを決定するよう構成される。事象が、パターン、シグネチャー、またはテンプレート（図１３および図１５を参照）に従って、有効な事象である（誤った事象ではない）と見なされた場合には、第２の事象が発生するまでのモーションキャプチャデータのために、別のメモリバッファ４６２０が用いられる。その事象が生じた後は、事後事象バッファ４６２１がキャプチャされたデータで埋められる。
【０１４９】
具体的には、モーションキャプチャ要素１１１は、１以上のＭＥＭｓセンサとして実装され得る。センサは、特定の時間間隔でデータを収集するよう命令され得る。各間隔において、様々なＭＥＭｓ装置からデータが読み取られ、リングバッファに格納される。ＭＥＭｓセンサから読み取られた１組の値は、１フレームのデータと見なされる。１フレームのデータは、収集されバッファに格納されるデータのタイプに応じて、０、１、または複数個のメモリ単位であり得る。また、１フレームのデータは時間間隔とも関連付けられる。従って、センサからのキャプチャレートに基づいて、複数のフレームが１つの時間要素と関連付けられる。例えば、各フレームが２ミリ秒間隔で埋められる場合には、１０００個のフレームは２０００ミリ秒（２秒）のデータを含む。一般的に、フレームは時間と関連付けられる必要はない。
【０１５０】
データは、定常的にリングバッファに格納され、例えば、特定の事象が生じたとき、特定の時間、無線器／アンテナを介したモバイル装置、他の任意のコンピュータ、もしくはメモリへの通信が利用可能なとき、例えばモバイル装置によって命令されたとき（即ち、「ポーリング」されたとき）、または他の任意の所望の事象が生じたときに、不揮発性メモリに書き出されるか、または、無線器／アンテナを介した無線もしくは有線リンクを介して、リモートメモリもしくは装置に送られる。
【０１５１】
図１２は、例えば見込みのある事象、または例えば事象が生じたときに、特定の用途のために送信される事象があるか否かを決定するよう、マイクロコントローラに特にプログラムされた、機能性の実施形態のフローチャートを示す。モーション、加速、またはスポーツ用具に対する衝撃から生じた衝撃波が、モーションキャプチャ要素内のセンサに送信され、センサは、上述の図１１に記載されているように、モーションキャプチャデータを記録する。次に、マイクロコントローラは、事象を解析して、その事象が見込みのある事象であるか否かを決定するよう構成される。
【０１５２】
生じる事象の１つのタイプは、特定の線形値もしくは回転値を超える頭部／ヘルメット／縁なし帽子／マウスピースに基づくセンサの加速、またはクラブの面がゴルフボールに衝撃を与えた際の衝撃である。ボールおよび打つ道具を用いる他のスポーツでは、同じ解析が適用されるが、特定のスポーツおよびスポーツ用具に合わせて調整される。テニスでは、有望な打撃は、例えば、サーブを受ける前のラケットの回転ではなく、ラケットがボールを打ったことであり得る。例えばランニングシューズ等の他の用途では、衝撃検出アルゴリズムは、誰かが走っているときに、靴が地面に当たったことを検出してもよい。エクササイズでは、これは、達成された特定のモーションであってもよく、これにより、例えば、重量上げをしているとき、または自転車型トレーニング機器に乗っているときの反復回数をカウントすることが可能になる。
【０１５３】
本発明の１以上の実施形態において、処理は４７０１で開始する。４７０２で、マイクロコントローラは、メモリ４６１０内のモーションキャプチャデータを、特定の衝撃時間フレーム内の特定の閾値を超えた線形速度と比較し、４７０３で、速度または加速における特定の閾値を超えた突然の変化が生じている不連続性閾値をサーチする。例えば、定義された時間ウィンドウ内において、速度または例えば加速の不連続性が生じていない場合には、４７０２で処理が継続される。不連続性が生じている場合には、４７０４で、その有望な衝撃がメモリに保存され、所与の時間Ｐにわたる事後衝撃データが保存される。例えば、衝撃閾値が１２Ｇに設定され、不連続性閾値が６Ｇに設定され、衝撃時間フレームが１０フレームである場合には、マイクロコントローラ３８０２は、１０フレーム以内において、少なくとも１つの軸または全ての軸における１２Ｇの加速とそれに続く６Ｇの不連続性を検出した後、衝撃を信号する。典型的な事象では、加速は、特徴的な加速曲線で構成される。衝撃は、加速／速度の急速な変化として信号される。これらの変化は、一般的に、特定の非事象の徐々に増加または減少する曲線によって生成される滑らかな曲線とははっきり異なる。震盪に基づく事象では、１以上の軸における線形加速または回転加速が閾値を超える。ゴルフに関連する事象では、加速曲線がゴルフのスイングのものである場合には、特定の軸が、シグネチャー、テンプレート、または他のパターンに当てはまる特定の加速を有し、ボールの打撃は、打ったことを示す大きい加速の打撃となる。データが所与のテンプレートと一致する場合には、そのデータが保存され、一致しない場合には、処理は４７０２に戻って継続する。４７０５で決定されたように、データが外部に保存される場合、即ち、モバイル装置への通信リンクがあり、例えばモバイル装置がポーリングを行っている、または衝撃が生じたときに衝撃データを要求した場合には、４７０６で、事象は外部のメモリもしくはモバイル装置に送信されるか、または外部の他の任意の場所に保存され、再び４７０２で処理が継続し、マイクロコントローラが、後続の事象について、収集されたモーションキャプチャデータを解析する。データが外部に保存されない場合には、４７０２で処理が継続し、４６０１で、衝撃データがローカルにメモリに保存される。外部に送られる場合には、他のモーションキャプチャ装置も、別のセンサによって検出された事象について、それぞれのモーションデータを保存し得る。これは、例えばより細かい解像度またはより多くのモーションを有するセンサが、ユーザまたは用具と関連付けられた他のセンサに、たとえモーションキャプチャデータが特定の閾値またはパターンに達していなくとも、事象を保存するよう警告することを可能にする（例えば図１５を参照）。このタイプの処理は、特定のタイプの事象を検出するために複数のセンサが用いられ、何らかの理由で事象パターンに一致しない可能性がある他のセンサに通知し得るので、よりロバストな事象検出を提供する。更に、カメラは、不要なビデオをトリミングするかまたは別様で捨て、事象に関連するビデオを保存するよう通知されてもよく、これにより、事象だけでなくビデオについてもメモリ使用量が低減され得る。本発明の１以上の実施形態では、フィルタリングによって送信前のモーションキャプチャデータからノイズが除去されてもよく、精度を最大にするために、取得されたデータの値に基づいてサンプリングレートが変更されてもよい。例えば、幾つかのセンサは、高いサンプリングレートおよび高い重力加速度では、正確でないデータを出力する。よって、高い重力加速度ではサンプリングレートを下げることによって、精度が維持される。本発明の１以上の実施形態では、モーションキャプチャ要素１１１と関連付けられたマイクロコントローラは、高い重力加速度を感知したら、自動的にサンプリングレートを切り替えてもよい。１以上の実施形態では、６Ｇ／１２Ｇ／２４Ｇの範囲または２Ｇ／４Ｇ／８Ｇ／１６Ｇの範囲を有する加速度計を用いる代わりに、範囲間の切り替えの論理を簡単にするために、２つの範囲（例えば２Ｇおよび２４Ｇ）を有する加速度計が用いられてもよい。
【０１５４】
本発明の１以上の実施形態は、事象をモバイル装置に送信してもよく、および／または、例えばゴルフの１ラウンドについて、またはモバイル装置の通信リンクが達成されるまで、事象を引き続きメモリに保存してもよい。
【０１５５】
例えば、特定のマウントに装着されたセンサを用いた、例えばそれぞれ異なる用具または衣服と関連付けられたパターンまたはテンプレートによって示される２つの特徴的なモーションタイプの比較のための、典型的な事象シグネチャーが、図１３に示されている（図１５も参照）。１以上の実施形態において、マイクロコントローラは、各軸についての曲線を追跡して、１以上の軸のセグメントを用い、線形加速、回転加速、またはそれらの任意の組み合わせにおいて、特徴的なスイングが生じたか否かを決定するためにパターンマッチングアルゴリズムを実行するよう構成される。メモリ４６０１内のモーションキャプチャデータが、図１３に示されている典型的なスイングの値に十分に近い範囲内にある場合には、そのモーションは事象と一致する。従って、本発明の実施形態は、まず動きの角速度および／または線形速度のシグネチャーを特徴づけ、次に、このシグネチャーの要素を用いて、将来の事象についての類似のシグネチャーが生じたか否かを決定することにより、事象検出における誤検出の数を低減する。
【０１５６】
モーションキャプチャ要素は、様々なセンサからのデータを収集する。データキャプチャレートは高くてもよく、その場合には、キャプチャ中のかなりの量のデータが存在する。本発明の実施形態は、センサにデータを格納するために、特定の用途に応じて可逆または不可逆の圧縮アルゴリズムを用い得る。圧縮アルゴリズムは、モーションキャプチャ要素が所与のリソース内により多くのデータをキャプチャすることを可能にする。圧縮データもリモートコンピュータに転送される。圧縮データの方が転送速度が速い。また、圧縮データは、「クラウド」インターネットにも、または、より少ないスペースを用いてローカルにデータベースにも格納される。
【０１５７】
図１４は、事象に関連する情報のローカルでの表示および閲覧のために必要に応じて設けられるＬＥＤ視覚的インジケータ１４０１と、事象と関連付けられたテキストまたは符号化されたメッセージを表示するよう構成された、必要に応じて設けられるＬＣＤ１４０２とを備えて構成されたモーションキャプチャ要素１１１の実施形態を示す。１以上の実施形態において、ＬＥＤ視覚的インジケータは、いかなる無線通信も必要とせずに事象の全体的なビューを迅速に与えるために、中程度の震盪に対しては黄色をゆっくりとフラッシュし、重度の震盪に対しては赤色を高速でフラッシュしてもよい。更に、ＬＥＤは、任意の温度に関連する事象または他の事象を示すために、フラッシュの回数または他の色を用いてアサートされてもよい。１以上の実施形態は、例えばテキストを示し得る、或いは、審判または医療職員が読み得るまたは例えばモバイル装置の適切なリーダーアプリを用いて復号化し得る、慎重に扱うべき健康関連情報の符号化されたメッセージを表示し得るＬＣＤ１４０２も用いてもよい。図面の右下部において、ＬＣＤディスプレイは、「潜在的な震盪１５００度／秒／秒の回転事象を検出―直ちに医療職員に警告」という旨の符号化されたメッセージを生じ得る。中断を回避するために、例えば診断メッセージで他のプレイヤーを警戒させることなく、または無線でメッセージを送信することなく、医療職員が直ちに該当するユーザ／プレイヤー／ボクサーの評価を開始し得るように、他のまひ状態診断メッセージ、または他の慎重に扱うべき任意のタイプのメッセージが、符号化されてローカルに表示され得る。
【０１５８】
図１５は、複数の異なるタイプの用具および／または計測器を備えた衣服と関連付けられたモーション事象のテンプレート特性の実施形態を、特定の期間および／またはサブ事象と関連付けられたデータをより正確にまたはより効率的にキャプチャするためにモーションキャプチャセンサの性格が変更され得る領域と共に示す。図示されるように、スケートボードの特徴的なプッシュオフが、上から６本のタイムライン（時間は右に向かって増加する）にＸ、Ｙ、およびＺ軸の線形加速値および回転加速値を表示している加速グラフ１５０１に示されている。図示されるように、ユーザが各ステップでスケートボードをプッシュしている間にキャプチャされた個々のｘ軸の正の加速が１５０２および１５０３に示されており、各プッシュの間にスケートボードが遅くなった際の負の加速がそれに続いている。更に、スケートボードのプッシュオフまたはドライブのこの特徴的なテンプレートまたはパターンでは、各プッシュの最中のｙ軸の横揺れもキャプチャされており、この間、ｚ軸の線形加速および回転加速は生じていない。或いは、パターンは、モーションキャプチャ要素が装着されている用具のタイプを、または既知の用具が現在経験していることを自動的に決定するためにキャプチャされたデータが比較される、例えば横揺れについての他の閾値を有するまたは閾値を有しない所定の時間ウィンドウにおける、ｘに沿った１群の閾値加速を含み得る。これは、例えば事象に基づくデータの保存および送信を可能にする。
【０１５９】
しかし、走行事象中にユーザが僅かに加速を上げたり下げたりした際は、グラフ１５１１中のパターンまたはテンプレートは走行事象を示す。ユーザの速度は比較的一定であるので、ｘに沿った加速は比較的存在せず、ユーザはターンしていないので、ｙ（左／右）に沿った加速は比較的存在しない。このパターンは、例えば走行の範囲内での比較を行うために用いられ得るものであり、このパターンは、所定の時間ウィンドウ内におけるｚ軸の加速を含む。よって、グラフ１５１１の上から３つのグラフは、走行事象を記録するためのパターンとして用いられ得る。下から３つのグラフは、モーションキャプチャ要素がヘルメットおよび／またはマウスピース装着されているときに、ユーザが左右を見たことを示すキャプチャデータを１５１４および１５１５で示し得るものであり、一方、キャプチャデータ１５１６は、十分に高い角度／秒２の回転モーションを介して観察された中程度または重度の震盪を示し得る。更に、例えば、事象を振幅または時間的により正確にキャプチャするために、モーションキャプチャセンサのキャプチャレートまたはキャプチャビットサイズを変更するために、１５１６または他の任意の閾値で、センサの性格がダイナミックに変更され得る。これは、当該技術分野では知られていない、キャプチャ品質のダイナミックな変更、および／または、対象となる期間の電力使用量のダイナミックな変更を可能にする。１以上の実施形態では、例えばヘルメット、マウスピース、もしくは他の任意の用具内、またはユーザの身体内に装着される温度センサを用いる本発明の実施形態のために、温度タイムラインも記録され得る。
【０１６０】
図１６は、例えば、サッカー、ボクシング、フットボール、レスリング、または他の任意のスポーツ等であるがそれらに限定されない任意の接触型スポーツにおいて着用される、保護マウスピース１６０１の実施形態の正面図、および図面の下部に平面図を示す。マウスピースの複数の実施形態は、ユーザと関連付けられたモーションキャプチャデータを増やして、ユーザによって着用されているモーションキャプチャ要素の一部または全てのからのモーションデータおよび／または事象を相関させるもしくは他の任意の方法で組み合わせるまたは比較するために、モーションキャプチャ要素を備えたまたは備えない他の任意のヘッドギアに追加して着用され得る。図２Ａ〜図２Ｂに示されているマウスピースおよび／またはヘルメットの複数の実施形態、または他の任意の用具には、例えば先に述べたように温度センサも含まれ得る。
【０１６１】
図１７は、モーション画像およびモーションキャプチャデータを複合フォーマットで表示するよう構成された、図１中の任意のコンピュータによって用いられるアルゴリズムの実施形態を示す。１以上の実施形態では、モーションキャプチャデータと、任意の事象に関連する開始／停止時間とが、モーションキャプチャ要素１１１に保存され得る。本発明の１以上の実施形態は、ユーザ、用具、またはユーザと結合されたモバイル装置と結合されるよう構成された少なくとも１つのモーションキャプチャ要素を含むモーション事象認識およびビデオ同期システムを含む。少なくとも１つのモーションキャプチャ要素は、メモリと、少なくとも１つのモーションキャプチャ要素の向き、位置、速度、および加速と関連付けられた値の任意の組み合わせをキャプチャするよう構成されたセンサと、無線器と、メモリ、センサ、および無線器と結合されたマイクロコントローラとを含み得る。マイクロコントローラは、センサからのセンサ値を含むデータを収集し、データをメモリに格納し、データを解析してデータ中の事象を認識して事象データを決定し、事象と関連付けられた事象データを無線器を介して送信するよう構成され得る。本システムは、コンピュータと、事象と関連付けられた事象データを取得するために無線器と通信するよう構成された無線通信インターフェースとを含むモバイル装置も含んでもよく、コンピュータは無線通信インターフェースと結合されており、コンピュータは、無線通信インターフェースから事象データを受信するよう構成される。また、コンピュータは、事象データを解析してモーション解析データを構成し、事象データ、モーション解析データ、または事象データとモーション解析データとの両方を格納し、事象から事象開始時間および事象停止時間を取得し、少なくとも事象開始時間から事象停止時間までの期間中にキャプチャされたビデオを含む、カメラからの画像データを要求し、事象開始時間から事象停止時間までの期間に生じた事象データ、モーション解析データ、またはそれらの任意の組み合わせと、事象開始時間から事象停止時間までの期間中にキャプチャされたビデオとの両方を含む事象ビデオをディスプレイに表示してもよい。
【０１６２】
通信チャネルが利用可能なときには、１７０１で、モーションキャプチャデータおよび任意の事象に関連する開始／停止時間が任意のコンピュータ（例えば、１０１、１０２、１０２ａ、１０２ｂ、１０５）にプッシュされるか、任意のコンピュータによって取得されるか、または別様で受信される。センサのクロック間および／またはモーションキャプチャデータの時間におけるクロック差も取得され得る。これは、着信メッセージ中の現在のタイムスタンプを読み取って、着信メッセージの時間をローカルコンピュータのクロックの現在の時間と比較することによって行われ得る（同期の更なる詳細については例えば図１８も参照）。センサおよびコンピュータのクロック差は、１７０２で、クロック差（あれば）を考慮して調節された時間に、事象の位置に対してローカルなまたは事象の位置を向いている任意のカメラからの画像データを要求するために用いられ得る。例えば、コンピュータは、例えば、全てのカメラ１０３、１０４に対して、または装置１０１、１０２および／もしくは１０２ａ上で、（例えばＧＰＳの位置または無線範囲に基づいて）近くで撮影した画像を有するおよび／またはモーションキャプチャ要素１１１から取得された事象を向いている一部のまたは全ての装置を求めるクエリーを行うことにより、その時間／位置において撮影された画像を要求し得る。装置が例えば磁力計を備えている場合にその位置および向きによって決定された結果、装置が事象の近くにはないが、事象の位置を向いている場合には、その装置はその時間範囲についての画像で応答してもよい。ベビーシッター監視カメラ等を含む電子的に通信し得る任意のタイプのカメラがクエリーされ得る。例えば、モバイルコンピュータ１０１がモーションキャプチャセンサ１１１から事象を受信した後、モバイルコンピュータ１０１によってメッセージが送られてもよく、このメッセージは、例えばモバイル装置１０１の無線範囲内にある任意のカメラに送られ得る。或いは、またはそれと組み合わせて、モバイル装置１０１は、事象の位置から所定の距離以内にある任意のカメラのＩＤを要求する同報メッセージを送ってもよく、または、たとえ比較的近くはなくても事象の方向を向いている任意のカメラに対するクエリーを行ってもよい。モバイル装置１０１は、潜在的なカメラのリストを受信したら、それらに対して、例えば事象が入る所定のウィンドウ内で取得された任意の画像を求めるクエリーを行ってもよい。１７０３で、コンピュータは、画像データを受信してもよく、または、コンピュータがカメラと結合されている場合には、ローカルに画像を探索してもよい。１以上の実施形態では、サーバ１７２は、相関する何らかのものを決定するためにビデオおよび事象を反復して、ビデオを、事象開始時間および停止時間の継続期間に対応するように自動的にトリミングしてもよい。無線通信が用いられ得るが、他の任意の形態の画像データの転送も本発明の趣旨に沿う。１７０４で、事象からの、数値もしくはグラフィカルなオーバーレイの形式、またはテキストを含む他の任意の形式のデータが、その時間についての対応する画像と共に示されるか、または別様でオーバーレイされ得る。これは、例えば、モーションキャプチャデータ１７１２がオーバーレイされたモーション事象のフレームを示す画像１７１１についてスクロール可能であり得る時間１７１０、即ち、現在の時間にグラフィカルに示される。組み合わされる、または例えば同時にオーバーレイされないデータについては、図６を参照されたい。
【０１６３】
図１８は、本発明の１以上の実施形態によって用いられ得る同期アーキテクチャの実施形態を示す。複数の実施形態は、任意のタイプの同期方法を用いて、システムのクロックを同期させてよく、１以上の実施形態では、モバイル装置１０１のコンピュータ１６０は、更に、モーションキャプチャ要素１１１とモバイル装置との間のクロック差を決定して、モーション解析データをビデオと同期させるよう構成される。例えば、本発明の１以上の実施形態は、事象について記録された複数の異なる装置からのデータを組み合わせることができるように、複数の記録装置について、各装置の時間、位置、または向きに関する情報を同期させる手順を提供する。そのような記録装置は、埋め込みセンサ、カメラもしくはマイクを有する携帯電話、または、より一般的には、対象となるアクティビティに関連するデータを記録可能な任意の装置であり得る。１以上の実施形態において、この同期は、装置が、時間、位置、または向きについての共通の測定指標に一致可能なように、装置間で情報を交換することによって達成される。例えば、携帯電話および埋め込みセンサが、リンク１８０２を介して、例えば、無線で、それぞれの内部クロックの現在のタイムスタンプを有するメッセージを交換してもよく、これらのメッセージは、２つの装置が共通の時間に一致するための交渉を行うことを可能にする。そのようなメッセージは、前回の同期後のクロックのドリフトまたは装置のモーションを考慮するために、周期的に必要に応じて交換され得る。他の実施形態では、複数の記録装置は、時間、位置、または向きの標準化された測定指標を取得するために、共通のサーバまたは１組のサーバ１８０１を用いてもよい。例えば、装置は、ＧＰＳシステムを用いて、各装置の絶対位置情報を取得してもよい。また、標準化された時間を取得するためにＧＰＳシステムが用いられてもよい。標準化された時間サーバとして、ＮＴＰ（ネットワークタイムプロトコル）サーバが用いられてもよい。サーバを用いることにより、複数の装置を、常時互いに通信するよう構成する必要なしに、共通の測定指標に一致させることが可能になる。
【０１６４】
図１９は、モーションキャプチャセンサ１１１のうちの１つによる事象の検出、ここでは図面の中央に位置するセンサ１１１から発する矢印として示されている、他のモーションキャプチャセンサ１１１および／または例えばモバイル装置１０１のカメラへの事象検出の送信、事象モーションデータの保存、および事象に対応させたビデオのトリミングを示す。本発明の１以上の実施形態では、幾つかの記録装置は、対象となる様々な事象の発生を検出するよう構成される。そのような事象の一部は特定の瞬間に生じ得るものであるが、他の事象は或る時間間隔にわたって生じ得るものであり、検出は、事象の開始および事象の終了の検出を含む。これらの装置は、上述の時間、位置、および向きの同期された測定指標を用いて、例えばメモリバッファ４６１０に含まれる、または他の任意のデータ構造に含まれる、記録装置の時間、位置、または向きの任意の組み合わせを、事象データと共に記録するよう構成される。
【０１６５】
モバイル装置上のコンピュータの複数の実施形態は、更に、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分（例えば事象の前後の部分１９１０および１９１１、または所定の事前間隔１９０２および事後間隔１９０３を有する事象）を捨てるよう構成され得る。例えば、本発明の１以上の実施形態において、一部の記録装置は、事象の検出を待機しながら、データを継続的にメモリにキャプチャする。メモリを節約するために、一部の装置は、検出された事象にデータが時間的に接近している場合のみ、データをより永久的なローカル記憶媒体に、またはサーバ１７２に格納するよう構成され得る。例えば、事象検出がないときには、新たに記録されたデータは、モーションデータまたはビデオデータを記録している各装置のメモリの量に応じて、最終的に、以前にメモリに記録されたデータを上書きしてもよい。一部の実施形態では、そのような上書きスキームの典型的な実装例として、循環バッファが用いられ得る。事象検出が生じたときには、記録装置は、事象自体（即ち１９０１）の期間中にキャプチャされたデータを格納することに加えて、事象の開始前に、設定されている幾らかの量のデータ（事前間隔１９０２の開始付近）を格納すると共に、事象の終了後に、設定されている幾らかの量のデータ（１９０３付近）を格納してもよい。例えば、事象の文脈がビデオに示されるように、任意の事前または事後の時間間隔は、事象開始時間および事象停止時間の一部であると見なされる。これは、事象に文脈を与えるものであり、例えば、事前時間間隔の量はスポーツ毎に（例えば、ゴルフスイングのセットアップを、たとえそれがゴルフボールを打つ実際の事象の前に生じるものであっても、事象ビデオの一部にすることを可能にするために）設定され得る。事後間隔に割り当てられた間隔の量に従って、フォロースルーも記録され得る。
【０１６６】
本システムの複数の実施形態は、モバイル装置に対してリモートのサーバコンピュータを更に含んでもよく、サーバコンピュータは、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨てて、事象開始時間から事象停止時間までの期間にキャプチャされたビデオをモバイル装置内のコンピュータに返すよう構成される。このサーバまたはモバイル装置は、ビデオにモーション解析データまたは事象データ（例えば速度または生の加速データ）を組み合わせて、またはオーバーレイして、事象ビデオ１９００を構成してもよく、一般的に、部分１９１０および１９１１は、事象よりも遥かに時間が長いため、これにより、必要なビデオの記憶量が大きく低減され得る。
【０１６７】
少なくとも１つのモーションキャプチャ要素の複数の実施形態は、少なくとも１つの他のモーションキャプチャセンサ、少なくとも１つの他のモバイル装置、またはそれらの任意の組み合わせに事象を送信するよう構成されてもよく、少なくとも１つの他のモーションキャプチャセンサ、少なくとも１つの他のモバイル装置、またはそれらの任意の組み合わせは、事象と関連付けられているデータを保存するよう構成される。例えば、同時に動作する複数の記録装置を有する実施形態では、そのような装置の１つが事象を検出したら、そのような事象検出が生じた旨のメッセージを他の記録装置に送ってもよい。このメッセージは、様々な装置のクロックの同期された時間基準を用いた事象の開始および／または停止のタイムスタンプを含み得る。受信装置（例えば、他のモーションキャプチャセンサおよび／またはカメラ）は、事象と関連付けられたデータを例えばモーションキャプチャ要素１１１内、モバイル装置１０１内、またはサーバ１７２内の不揮発性ストレージに格納するために、事象検出メッセージを用いてもよい。これらの装置は、事象と直接関連付けられデータ１９０１に加えて、事象の開始前の幾らかの量のデータ１９０２および事象の終了後の幾らかの量のデータ１９０３を格納するよう構成されてもよい。このようにして、全ての装置が同時にデータを記録できるが、複数のソースからの分散した事象データの保存を開始するためには、これらの装置のうちの１つのみからの事象トリガが用いられる。
【０１６８】
コンピュータの複数の実施形態は、更に、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存するよう構成されてもよく、または、ビデオを保存するためにリモートサーバが用いられてもよい。本発明の１以上の実施形態において、一部の記録装置は、事象が生じ得る期間を通して互いに直接通信しなくてもよい。これらの状況において、装置は、記録された全てのデータの完全な記録を、永久的なストレージまたはサーバに保存するよう構成され得る。これらの状況では、一部の装置は事象トリガメッセージを受信できない場合があるので、事象と関連付けられたデータのみの保存はできない場合がある。これらの状況では、保存されたデータは、その後で、検出された１以上の事象と関連付けられた関連部分のみを抽出するために処理され得る。例えば、複数のモバイル装置がプレイヤーまたはパフォーマーのビデオを記録して、このビデオを継続的にストレージ用サーバ１７２にアップロードしてもよい。それとは別に、プレイヤーまたはパフォーマーは、例えば、特定のモーションまたはアクション等の事象を検出可能な埋め込みセンサを備えていてもよい。埋め込みセンサのデータは、同じサーバに継続的にまたは後でアップロードされ得る。埋め込みセンサデータおよびビデオストリームを含む全てのデータは、一般的にタイムスタンプが付与されるので、埋め込みセンサによって検出された事象と関連付けられたビデオを、サーバ上で抽出して組み合わせることができる。サーバまたはコンピュータの複数の実施形態は、更に、少なくとも１つのモーションキャプチャセンサとモバイル装置との間の通信リンクが開いているときには、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨て、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存するよう構成され得る。或いは、通信リンクが開いていない場合には、コンピュータの複数の実施形態は、更に、ビデオを保存し、通信リンクが開いた後に事象が受信された後で、ビデオの事象開始時間から事象停止までの期間外の少なくとも一部分を捨て、事象開始時間から事象停止時間までのビデオを、事象開始時間から事象停止時間までに生じたモーション解析データと共に保存するよう構成され得る。例えば、本発明の一部の実施形態では、データは、上述のようにサーバにアップロードされてもよく、各装置のデータストリームと関連付けられた位置および向きのデータが、検出された事象に関連するデータを抽出するために用いられてもよい。例えば、ゴルフトーナメントを通して様々な位置でビデオを記録するために、一組の多くのモバイル装置が用いられ得る。このビデオデータは、継続的にまたはトーナメントの後でサーバにアップロードされ得る。トーナメントの後、事象検出を有するセンサデータも同じサーバにアップロードされ得る。これらの様々なデータストリームを後処理することで、同じ時間に生じた事象と物理的に近接して記録された特定のビデオストリームを識別できる。カメラが、事象を観察するための正しい方向を向いている場合には、更なるフィルタによってビデオストリームを選択してもよい。これらの選択されたストリームは、事象を複数のビデオ角度で示す集合データストリームを構成するためにセンサデータと組み合わされてもよい。
【０１６９】
本システムは、モバイル装置と結合されたカメラ、またはモバイル装置とは別個のもしくは別様でモバイル装置に対してリモートの任意のカメラから、ビデオを取得し得る。１以上の実施形態において、ビデオは、モバイル装置に対してリモートのサーバから取得される（例えば、或る位置および時間間隔におけるビデオを求めるクエリーの後に取得される）。
【０１７０】
サーバまたはコンピュータの複数の実施形態は、事象開始時間、事象停止時間、またはそれらの両方と最も密接に関連付けられるビデオ内の開始事象フレーム、停止事象フレーム、またはそれらの両方をより正確に決定するための画像解析によって、ビデオを事象データまたはモーション解析データと同期させるよう構成され得る。本発明の１以上の実施形態において、記録装置間のクロックの同期はおおよそのものであり得る。各装置からの事象のビューに基づいて、複数の記録装置からのデータ供給の同期の精度を向上させることが望ましい場合がある。１以上の実施形態では、粒度の細かい同期を支援するために、複数の異なるストリーム中の事象のシグネチャーを観察するために、複数のデータストリームの処理を用いる。例えば、埋め込みセンサは、ビデオカメラを含むモバイル装置と同期され得るが、時間の同期の精度は単に１００ミリ秒以内までであってもよい。ビデオカメラが３０フレーム／秒でビデオを記録している場合には、埋め込みセンサにおける事象検出に対応するビデオフレームは、同期されたタイムスタンプのみに基づいて、単に３フレーム以内にあると決定される。装置の一実施形態では、検出された事象に最も密接に対応する正確なフレームを決定するために、ビデオフレーム画像処理を用いることができる。更なる詳細については、図８およびその説明を参照されたい。例えば、図１７に示されるように、慣性センサによって検出された、地面に当たったスノーボードからの衝撃が、スノーボードの幾何学的境界が地面と接触しているフレームと相関され得る。他の実施形態は、複数のデータ供給の同期を改善するために、事象シグネチャーを検出する他の画像処理技術または他の方法を用いてもよい。
【０１７１】
少なくとも１つのモーションキャプチャ要素の複数の実施形態は、マイクロコントローラと結合された、位置を決定するよう構成された位置決定要素を含んでもよく、この場合、マイクロコントローラは、モバイル装置上のコンピュータに位置を送信するよう構成されている。１以上の実施形態において、本システムは、サーバを更に含み、マイクロコントローラは、直接またはモバイル装置を介してサーバに位置を送信するよう構成されており、コンピュータまたはサーバは、位置、並びに事象開始時間および事象停止時間に基づいて、ビデオの部分から事象ビデオを構成するよう構成されている。例えば、１以上の実施形態において、事象ビデオは、例えばモバイル装置１０１、サーバ１７２、コンピュータ１０５、または本システムと結合された他の任意のコンピュータ上で、特定の長さの事象に合わせてトリミングされてもよく、任意の品質またはビデオ品質にコード変換され、任意の方法で、モーション解析データまたは事象データ（例えば、速度または加速データ）にオーバーレイされるかまたは別様で統合される。ビデオは、モバイル装置、少なくとも１つのモーションキャプチャセンサ、および／またはサーバ間の通信リンクが開いているか否かに関わらず、ビデオを格納するための任意の解像度、深さ、画質、もしくは圧縮タイプで、または記憶能力を最大にするための他の任意の技術もしくはフレームレートで、または記憶量を最小限にするための任意の圧縮タイプを用いて、ローカルに格納され得る。１以上の実施形態において、速度または他のモーション解析データは、例えば、ビデオの下の部分にオーバーレイされてもよく、または別様で組み合わされてもよく、これは、事象開始および停止時間を含み、例えば、ボールを打った事象の前のスイングのビデオを提供するために、実際の事象の前および／または後の任意の秒数を含んでもよい。１以上の実施形態において、少なくとも１つのモーションキャプチャセンサおよび／またはモバイル装置は、事象およびビデオをサーバに送信してもよく、サーバは、特定の位置において特定の時間に生じた特定のビデオおよびセンサデータを決定して、幾つかのビデオおよび幾つかのセンサ事象から事象ビデオを構築してもよい。センサ事象は、例えば、ユーザおよび／または用具と結合された１または複数のセンサからのものであり得る。このように、本システムは、事象に対応する短いビデオを構築してもよく、これにより、例えば、必要なビデオ記憶容量が大きく低減される。
【０１７２】
１以上の実施形態において、マイクロコントローラまたはコンピュータは、事象の位置を決定するよう構成されるか、または、マイクロコントローラおよびコンピュータは、事象の位置を決定し、事象の中心点を設けるために、例えば、位置を相関させるまたは平均することによって位置を相関させるよう構成され、および／または、初期化中のＧＰＳセンサからの誤った位置データが最小化され得る。このようにして、モバイル装置を有する１グループのユーザが、ティーオフしているゴルファーのビデオを生成してもよく、この場合、少なくとも１つのモーションキャプチャ装置の事象位置が用いられてもよく、サーバは、観客からビデオを取得して、プロゴルファーのスイングおよびボールを打っているところの事象ビデオを生成してもよく、事象ビデオは、ゴルファーがスイングした際のゴルファーの周囲からのＢＵＬＬＥＴ ＴＩＭＥビデオを生成するために、複数の異なるカメラからのフレームを用いてもよい。得られた１または複数のビデオは、例えば、事象開始時間から事象停止時間までの、および／または、スイングまたは他の事象について任意のセットアップ時間および任意のフォロースルー時間を含む事象全体がキャプチャされることを確実にするために、事象前または事象後の所定の任意の時間値を伴う事象の継続期間に合わせてトリミングされ得る。
【０１７３】
１以上の実施形態において、モバイル装置上のコンピュータは、事象の近位にある少なくとも１つのカメラからの事象を含む少なくとも１つの画像またはビデオを、そのエリア内で任意のカメラによって撮影された任意のビデオに対する要求を同報することによって直接要求してもよく、これは、必要に応じて、カメラが事象に近接して配置されているかどうかのみならず、事象に向けられているもしくは別様で向いているかどうかに関係する向き情報を含み得る。他の実施形態では、モバイル装置上のコンピュータによってリモートサーバからのビデオが要求されてもよい。この状況では、事象と関連付けられた任意の位置および／または時間は、事象の近くの、事象に近い時間に撮影された、またはそれらの両方の画像および／またはビデオを返すために用いられ得る。１以上の実施形態において、コンピュータまたはサーバは、ビデオを事象の継続期間に対応するようトリミングしてもよく、ここでも、例えば、ボールを打つ等の事象の位置を、例えば、ボールが用具に当たったことに対応する加速データと一致するビデオ中の対応するフレームと更に同期させるために、画像処理技術を用いてもよい。
【０１７４】
モバイル装置上またはサーバ上のコンピュータの複数の実施形態は、１以上の事象が生じた１以上の時間のリストを表示するよう構成されてもよい。このようにして、ユーザは、事象ビデオに迅速にアクセスするために、リストから事象を見つけ出してもよい。
【０１７５】
本発明の実施形態は、モバイル装置と物理的に結合された少なくとも１つのモーションキャプチャセンサを含み得る。これらの実施形態は、例えば、任意のタイプのヘルメットに装着されたカメラ、または事象データおよびビデオデータを生成するためのカメラおよびモーションキャプチャセンサの両方を含む任意のマウント等の、センサが統合された任意のタイプの携帯電話またはカメラシステムを可能にする。
【０１７６】
本発明の１以上の実施形態において、システムは、モーション事象データとビデオ事象データとの統合を可能にするよう構成される。図１は、そのようなシステムの実施形態の核心要素を示す。モーション事象データは、位置Ｌ１にいるユーザ１５０、用具１１０、またはモバイル装置１３０に取り付けられるよう構成され得る１以上のモーションキャプチャ要素１１１によって供給され得る。これらのモーションキャプチャ要素は、例えば、向き、位置、速度、および加速度等のモーション値を測定する１以上のセンサを含み得る。モーションキャプチャ要素は、キャプチャデータを格納するためのメモリ、およびこのデータを解析するためのマイクロプロセッサも含み得る。モーションキャプチャ要素は、他の装置と通信するため、およびモーションキャプチャデータを転送するための無線器も含み得る。
【０１７７】
一部の実施形態では、モーションキャプチャ要素と結合されたマイクロプロセッサは、センサからのデータを収集し、そのデータをマイクロプロセッサのメモリに格納し、可能であればそのデータ内の事象を認識するためにデータを解析し得る。次に、マイクロプロセッサは、付属の無線器を介して、生モーションデータまたは事象データを送信し得る。この生モーションデータまたは事象データは、モーションキャプチャ要素、ユーザ、または用具の識別子、および、モーションキャプチャ要素によって検出された事象のタイプの識別子のような他の情報を含み得る。
【０１７８】
一部の実施形態では、システムは、センサまたはカメラと通信する１以上のコンピュータ１０５（ラップトップコンピュータまたはデスクトップコンピュータ）、１６０（携帯電話のＣＰＵ）、または他のコンピュータも含み得る。図１Ａは、モバイル装置に統合されたコンピュータプロセッサまたは「コンピュータ」１６０の一実施形態のあり得る構成要素を示す。コンピュータは、モーション事象と関連づけられた事象データを受信するために１以上モーションキャプチャ要素１１１の無線器と通信可能な無線通信インターフェース１６４を有し得る。コンピュータは、生モーションデータを受信し、事象を決定するためにこのデータを解析し得る。他の実施形態では、事象の決定は、モーションキャプチャ要素１１１において行われてもよく、コンピュータ（例えば１０５または１６０等）は、事象データを受信してもよい。一部の実施形態では、これら２つの手法の組合せも可能である。
【０１７９】
一部の実施形態では、１または複数のコンピュータは、更に、事象データを解析して、モーション解析データを生成し得る。このモーション解析データは、１または複数のモーションキャプチャ要素によって記録されたモーションについての注目される特性を含み得る。１以上のコンピュータは、将来的な読み出しおよび解析のために、モーションデータ、事象データ、モーション解析データ、またはそれらの組合せを格納し得る。データは、例えばメモリ１６２等にローカルに、またはデータベース１７２のようにリモートで格納され得る。一部の実施形態では、１または複数のコンピュータは、事象データから、モーション事象の開始時間および停止時間を決定し得る。次に、１または複数のコンピュータは、この事象開始時間と事象停止時間との間の時間の少なくとも或る部分内の何らかの時間間隔にわたるビデオまたは１以上の画像をキャプチャしたカメラ（例えば１０３、１３０、１３０ａ、または１３０ｂ等）からの画像データを要求し得る。本明細書におけるビデオという用語は、連続的なビデオだけでなく、個々の画像を含む（カメラが事象間隔中に単一のスナップショット画像を撮影する場合を含む）。次に、このビデオデータは、ビデオおよびモーションキャプチャ統合システムの一部を構成するために、モーションデータと関連づけられ得る。図示されるように、位置Ｌ２にあるカメラ１０３は視野Ｆ２を有し、位置Ｌ３にあるモバイル装置１０２上のカメラは視野Ｆ３を有する。少なくとも１つの実施形態においては、視野が事象と重なるカメラについては、画像解析によって、最良のビデオのコンピュータによる自動的な選択が達成される。事象のトリガのために、例えば環境センサ等のセンサ１０７も用いられてもよく、または、少なくとも、事象ビデオと組み合わされる値（例えば風速、湿度、温度、音等）についてクエリーされてもよい。他の実施形態では、システムは、位置Ｌ１の周囲の予め定義された領域内のビデオおよび事象についてクエリーしてもよく、Ｌ２およびＬ３にある各カメラの視野を用いて、そのビデオが事象をキャプチャしている可能性があるか否かを決定してもよい。
【０１８０】
一部の実施形態では、カメラからのビデオの要求は、モーションデータのキャプチャまたは解析と同時に行われ得る。そのような実施形態では、システムは、事象が生じていることの通知を取得または生成し、次に、事象の終わりが検出されるまで、１以上のカメラからコンピュータにビデオがストリーミングされることを要求する。他の実施形態では、ユーザは、モーションキャプチャセンサを所定の回数だけタップまたは動かすことによる、事象の開始を意味するジェスチャを行い得る（例えば、野球のバットをバッターの靴に当てて２回タップすることは、バット事象の開始を意味し得る）。
【０１８１】
他の実施形態では、ビデオの要求は、カメラ（例えば１０３等）がビデオ記録を別のコンピュータ（例えばサーバ１７２等）にアップロードした後に行われ得る。この場合には、コンピュータは、カメラから直接ではなく、サーバ１７２からのビデオを要求する。
【０１８２】
一部の実施形態では、１または複数のコンピュータは、モーションデータとビデオデータとの同期を行い得る。この同期を行うために、様々な技術が用いられ得る。図１Ｅは、この同期処理の一実施形態を示す。モーションキャプチャ要素１１１は、「クロックＳ」として示されているクロック２９０１を含む。事象が生じたとき、モーションキャプチャ要素は、クロックＳからの時刻ｔ１Ｓ、ｔ２Ｓ、ｔ３Ｓ等を有するタイムスタンプ付きのデータ２９１０を生成する。カメラ１０３は、事象の何らかの部分のビデオまたは画像をキャプチャする。カメラは、「クロックＩ」として示されているクロック２９０２も含む。カメラは、クロックＩからの時刻ｔ１Ｉ、ｔ２Ｉ、ｔ３Ｉ等を有するタイムスタンプ付きの画像データ２９１１を生成する。コンピュータ１０５は、モーションデータおよび画像データを受信する。コンピュータは、「クロックＣ」として示されている別のクロック２９０３を含む。コンピュータは、３つのクロック２９１２、２９１３、および２９１４からの様々な時間スケールのアライメントをとることで構成される同期処理を実行する。この同期の結果が、クロック間の対応関係２９１５である。一般的に、クロックのアライメントは、異なるクロック速度を反映するために、クロック差を生成すること、および時間スケールを伸ばすまたは縮めることを必要とする。一部の実施形態では、個々のデータフレームまたは画像フレームにはタイムスタンプが付されず、その代わりに、最初または最後のフレームが時刻と関連づけられ、フレームキャプチャのための既知のクロック速度があってもよい。他の実施形態では、データはタイムスタンプを含まず、コンピュータが受信時刻およびあり得るネットワークレイテンシーに基づいてキャプチャ時刻を推定できるように、キャプチャされたら直ちに送信されてもよい。
【０１８３】
図１Ｅに示されている実施形態では、コンピュータは同期された事象ビデオ２９２０を生成し、同期された事象ビデオ２９２０は、事象開始時間と事象停止時間との間において取得または算出されたモーションデータ、事象データ、またはモーション解析データの少なくとも一部、および、この開始時間〜停止時間以内の、カメラから取得されたビデオまたは画像の一部を含む。この同期された事象ビデオは、モーションデータおよび画像データの両方を組み込んだ、事象の拡張された統合された記録を提供する。図示されている例では、同期処理は、時刻ｔ５Ｃに第１の画像フレームＦ１を割り当て、時刻ｔ６Ｃに第１のモーションデータフレームＤ１を割り当てている。この例では、画像フレームキャプチャレートはデータフレームキャプチャレートの２倍である。
【０１８４】
本発明の１以上の実施形態は、少なくとも１つのカメラからの少なくとも１つのビデオと関連づけられた少なくとも１つのビデオ開始時間および少なくとも１つのビデオ停止時間も取得し得る。システム上のコンピュータのうちの１つは、少なくとも１つの同期された事象ビデオを生成するために、必要に応じて、ユーザ、用具、またはユーザと結合されたモバイル装置と結合された少なくとも１つのモーションキャプチャ要素から取得されたデータまたは事象データと関連づけられた第１の時間、および少なくとも１つのビデオと関連づけられた少なくとも１つの時間に基づいて、事象データ、モーション解析データ、またはそれらの任意の組合せを少なくとも１つのビデオと同期させ得る。複数の実施形態では、少なくとも１つのカメラに、事象開始時間から事象停止時間までの期間外に生じた少なくとも１つのビデオの少なくとも一部分を別のコンピュータに転送せずに、少なくとも事象開始時間から事象停止時間までの期間中にキャプチャされた少なくとも１つの同期された事象ビデオを別のコンピュータに転送するようコマンドが送られる。また、１以上の実施形態は、事象開始時間から事象停止時間までの期間中に生じた事象データ、モーション解析データ、またはそれらの任意の組合せ、および事象開始時間から事象停止時間までの期間中にキャプチャされたビデオの両方を含む同期された事象ビデオをオーバーレイするよう構成され得る。
【０１８５】
本発明の１以上の実施形態において、コンピュータは、事象の開始時間から停止時間まで測定された事象の時間間隔外のビデオを捨ててもよい。この捨てる処理は、注目される事象と関連づけられたビデオのみを保存することにより、ビデオストレージのためのかなりのストレージリソースを節約し得る。図１９は、この処理の一実施形態を示す。同期された事象ビデオ１９００は、事象１９０１が生じている間、並びに、予め定義された何らかの事前間隔１９０２および事後間隔１９０３にわたる、モーションおよび画像データを含む。事前間隔および事後間隔の前後の部分１９１０および１９１１は捨てられる。
【０１８６】
１以上の実施形態において、モーションデータまたはビデオデータを受信または処理するよう構成されたコンピュータは、携帯電話、スマートホン１２０、タブレット、ＰＤＡ、ラップトップ１０５、ノートブック、または容易に運搬もしくは再配置可能な他の任意の装置を含むがそれらに限定されないモバイル装置であり得る。他の実施形態では、そのようなコンピュータは、カメラ１０３、１０４、特に、ビデオデータが取得されるカメラに統合されたものであり得る。他の実施形態では、そのようなコンピュータは、データセンターまたはクラウド型サービスにおいて仮想マシンとして実行される仮想コンピュータを含むがそれらに限定されないデスクトップコンピュータまたはサーバコンピュータ１５２であり得る。一部の実施形態では、システムは、上述のタイプのうちの任意の複数のコンピュータを含んでもよく、これらのコンピュータは、本明細書において記載される処理を協働して行い得る。当業者には自明であるように、そのようなコンピュータの分散型ネットワークは、タスクを多くの可能な方法で分割し得るものであり、所望であれば、それらの動作を、単一の集中型コンピュータの動作を再現するよう調和させることができる。本明細書におけるコンピュータという用語は、上述のタイプのコンピュータのうちの任意のものまたは全てを意味し、協働する複数のそのようなコンピュータのネットワークを含むことが意図される。
【０１８７】
１以上の実施形態において、モーションキャプチャ要素１１１と関連づけられたマイクロコントローラ、およびコンピュータ１０５は、共通のクロックからクロック情報を取得し、それぞれのローカルな内部クロック２９０１および２９０３をこの共通の値に設定するよう構成される。この方法論は、カメラ２９０２の内部クロックを同じ共通のクロック値に設定するためにも用いられ得る。共通のクロック値は、システムの一部であってもよく、または、リモート時刻サーバとして用いられる外部クロックであってもよい。個々の装置のクロックを共通のクロックに同期させるために、ネットワークタイムプロトコルまたは他の類似のプロトコルを含む様々な技術が用いられ得る。図１８は、ＮＴＰまたはＧＰＳサーバ１８０１を共通の時刻リソースとして用いる本発明の一実施形態を示す。装置のクロックを共通のクロック１８０１に周期的に同期させることにより、モーションキャプチャデータおよびビデオデータを、それらが記録された時刻を有するタイムスタンプをそれらに付すことによって簡単に同期させることができる。
【０１８８】
１以上の実施形態において、コンピュータは、同期された事象ビデオのシーケンスを取得または生成し得る。コンピュータは、ユーザが事象の履歴を見るために、このシーケンスの合成サマリーを表示し得る。図２０は、この処理の一実施形態を示す。ビデオクリップ１９００ａ、１９００ｂ、１９００ｃ、１９００ｄ、および１９００ｅが、それぞれ異なる事象に対応する異なる時間に取得される。これらの事象より前のビデオまたはモーションデータ１９１０および１９１１、並びに、これらの事象の間のビデオまたはモーションデータ１９１０ａ、１９０１ｂ、１９１０ｃ、および１９１０ｄが除去される。その結果が合成サマリー２０００である。一部の実施形態では、このサマリーは、ビデオから生成された１以上のサムネイル画像を含み得る。他の実施形態では、サマリーは、完全な事象ビデオからのより小さい選択部分を含み得る。合成サマリーは、各同期された事象ビデオと関連づけられたモーション解析または事象データの表示も含み得る。一部の実施形態では、コンピュータは、測定指標を取得して、各事象についてのこの測定指標の値を表示し得る。これらの測定指標値の表示は、異なる実施形態において様々であり得る。一部の実施形態では、測定指標値の表示は、棒グラフ、線グラフ、または絶対値もしくは相対値を示すための他のグラフィカルな技術であり得る。他の実施形態では、色分けまたは他の視覚的効果が用いられ得る。他の実施形態では、測定指標の数値が示され得る。一部の実施形態は、これらの手法の組合せを用い得る。図２０に示されている例では、各事象と関連づけられた速度についての測定指標値が、各値についての円を有するグラフとして示されている。
【０１８９】
１以上の実施形態において、コンピュータは、事象のシーケンスのモーション解析データまたは事象データと関連づけられた注目される測定指標についての選択基準を受け入れ得る。例えば、ユーザは、例えば、或る閾値を超える、或る範囲内の、または或る範囲外の測定指標等といった基準を与え得る。事象の測定指標値に適用され得る任意の基準が用いられ得る。コンピュータは、選択基準に応答して、選択基準を満たす同期された事象ビデオまたはそれらのサマリー（例えばサムネイル等）のみを表示し得る。図２０は、この処理の一実施形態を示す。速度が少なくとも５であるべきことを指定する選択基準２０１０が与えられている。コンピュータは、クリップ１〜クリップ４を有する２００１を表示することによって応答し、クリップ５は、それに関連づけられている速度に基づいて除外されている。
【０１９０】
本発明の一部の実施形態では、コンピュータは、同期された事象ビデオを選択された測定指標の値に基づいて表示するために、同期された事象ビデオをソーティングおよびランク付けし得る。一部の実施形態では、このソーティングおよびランク付けは、上述の選択基準に基づくフィルタリングに加えて行われ得る。コンピュータは、事象と関連づけられたビデオまたはサムネイルと共に、順序づけられた測定指標値のリストを表示し得る。図２０に示されている上述の例を続けると、速度に基づいてソーティングされた表示が指定されている場合には、コンピュータは、最高速度から最低速度まで順序づけし直されたクリップを有する２００２を生成する。１以上の実施形態において、コンピュータは、選択基準を満たす事象についてのビデオを組み合わせたハイライトリールを生成し得る。そのようなハイライトリールは、選択された事象についてのビデオ全体、またはモーション解析によって決定された事象における重要な瞬間に対応するビデオの一部分を含み得る。一部の実施形態では、ハイライトリールは、ビデオ上または選択されたフレーム上に、モーション解析から得た測定指標の値を示しているデータのオーバーレイまたはグラフィックを含み得る。そのようなハイライトリールは、ユーザが選択基準を指定することによって、含むべき事象を示すと、ユーザのために自動的に生成され得る。一部の実施形態では、コンピュータは、ユーザが、事象を追加または除去するために、各事象について示されるビデオを長くするまたは短くするために、モーションデータについてのグラフィックオーバーレイを追加または除去するために、または特殊効果もしくはサウンドトラックを追加するために、ハイライトリールを編集するのを可能にし得る。
【０１９１】
１以上の実施形態において、ビデオおよびモーション統合システムは、複数のカメラ、例えばカメラ１０３、１０４、１３０、１３０ａ、および１３０ｂ等を組み込み得る。そのような実施形態では、コンピュータは、この時間フレーム中のビデオをキャプチャした複数のカメラからの事象時間フレームに対応するビデオを要求し得る。これらの各ビデオは、単一のビデオの同期について上述したように、事象データおよびモーション解析データと同期され得る。複数のカメラからのビデオは、全てがモーションデータおよび共通の時間基準に同期された、事象の異なる角度またはビューを提供し得る。
【０１９２】
複数のカメラを有する１以上の実施形態において、コンピュータは、事象と関連づけられた１組の候補のビデオから、特定のビデオを選択し得る。選択されるビデオは、事象の、様々な可能な基準に基づく最良のまたは最も完全な画面であり得る。一部の実施形態では、コンピュータは、各ビデオの画像解析を用いて最良の選択を決定し得る。例えば、一部の実施形態は、画像解析を用いて、どのビデオが、注目される用具または人々が最も隠れていないまたは最も明瞭に見える最も完全なビデオであるかを決定し得る。一部の実施形態では、この画像解析は、ビデオのキャプチャ中のカメラの揺れの程度の解析、および最も安定した画像を有するビデオの選択を含み得る。図２１は、この処理の一実施形態を示す。モーションキャプチャ要素１１１は、カメラ１０３ａおよび１０３ｂによって記録された事象を示している。コンピュータ１０５は、両方のカメラからビデオを読み出す。カメラ１０３ｂは、事象が生じている間の揺れ２１０１を有する。揺れが最も少ないビデオを決定するために、コンピュータ１０５は、各ビデオについてのフレーム間差分を算出する。例えば、この差分は、全画素にわたる各画素のＲＧＢ値の差分の絶対値を含み得る。この結果、カメラ１０３ｂについてはフレーム間差分２１１１、カメラ１０３ａについてはフレーム間差分２１１０が算出される。事象が生じると、両方のビデオにおいてフレーム間差分が増加するが、揺れの増加により、一貫して２１１１の方がより高い。従って、コンピュータは、処理２１２０においてビデオ２１１０を自動的に選択できる。一部の実施形態では、ユーザ２１３０は、好ましいビデオを選択してもよく、または、ユーザは、最も重要な基準を指定することによって、コンピュータが選択を行うのを補助してもよい。
【０１９３】
本発明の１以上の実施形態において、コンピュータは、事象の開始の通知を取得または生成し、次に、その時点から事象の終了まで、事象データおよびモーション解析データをモニタリングし得る。例えば、モーションキャプチャ要素と関連づけられたマイクロコントローラは、事象が開始したら、事象データを周期的にコンピュータに送ってもよく、コンピュータは、このデータを用いて、事象が生じた際に事象をモニタリングできる。一部の実施形態では、このモニタリングデータは、その事象についてのビデオを記録可能なカメラに、制御メッセージを送るために用いられ得る。複数のカメラを有する実施形態では、制御メッセージは、事象が生じている間に、１組のカメラに同報または送信されてもよい。
【０１９４】
一部の実施形態では、１または複数のカメラに送られるこれらの制御メッセージは、事象と関連づけられたデータ（モーション解析データを含む）に基づいて、ビデオ記録パラメータを修正し得る。図２２は、この処理の一実施形態を示す。モーションキャプチャセンサ１１１は、モーションデータをコンピュータ１０５に送信し、コンピュータ１０５は、制御メッセージをカメラ１０３に送る。図示されている例では、用具１１０は、事象が生じる前にはまず静止している。コンピュータは、アクティブな事象が生じていないことを検出し、カメラに、記録をオフにして、事象が生じるまで待機するよう指示するメッセージ２２１０を送る。モーション２２０１が開始し、コンピュータが事象の開始を検出すると、コンピュータはカメラに、記録をオンにするようメッセージ２２１１を送り、カメラは通常レートでのビデオフレーム２３２１の記録を開始する。２２０２においてモーションが急激に増加して、コンピュータが高い速度を検出すると、コンピュータはカメラに、高速事象をキャプチャするためにフレームレートを上げるようメッセージ２２１２を送る。カメラは、高いレートでビデオフレーム２３２２を生成する。急激なモーションが生じている間にはより高いフレームレートを用いることにより、ユーザは、再生中に、高モーション事象を詳細に観察するために、モーションの速度を遅くすることが可能になる。２２０３において、事象が完了し、コンピュータはカメラに、記録を停止するようメッセージ２２１３を送る。これは、事象間におけるカメラの電力およびビデオメモリを節約する。
【０１９５】
より一般的には、一部の実施形態では、コンピュータは、事象データまたはモーション解析データに応答して、任意の関連するビデオ記録パラメータを修正するために、１または複数のカメラに制御メッセージを送り得る。これらの記録パラメータは、例えば、ビデオのフレームレート、解像度、色深度、色またはグレースケール、圧縮方法、および圧縮品質、並びに記録のオンまたはオフを含み得る。
【０１９６】
本発明の１以上の実施形態において、コンピュータは、例えばユーザから、サウンドトラックを受け入れて、このサウンドトラックを、同期された事象ビデオに統合し得る。この統合は、例えば、事象ビデオまたはハイライトリールの再生中に、音声サウンドトラックを追加するものである。一部の実施形態は、事象データまたはモーション解析データを用いて、同期された事象ビデオにサウンドトラックをコンピュータによって自動的に統合し得る。例えば、一部の実施形態は、サウンドトラックを解析し、例えば、音声の振幅が高い時点に基づいて、サウンドトラックのビートを決定し得る。次に、事象データまたはモーション解析データを用いて、サウンドトラックのビートが事象と同期され得る。例えば、そのような技術は、ユーザまたはオブジェクトのモーションが増減するにつれて、サウンドトラックの速度を自動的に増減し得る。これらの技術は、事象と関連づけられた聴覚的および視覚的キューを有する豊かなメディア経験を提供する。
【０１９７】
１以上の実施形態において、コンピュータは、同期された事象ビデオを１以上のディスプレイ上で再生するよう構成される。これらのディスプレイは、コンピュータに直接取り付けられていてもよく、または、他のリモートの装置上にあってもよい。コンピュータは、事象データまたはモーション解析データを用いて、様々な効果を追加または変更するために再生を修正し得る。これらの修正は、再生中に複数回、または再生中に事象データが変化するにつれて連続的に生じ得る。
【０１９８】
一例として、一部の実施形態では、コンピュータは、事象データまたはモーション解析データに基づいて、同期された事象ビデオの再生速度を修正し得る。例えば、低モーション期間中には再生は通常速度で行われ、一方、高モーション期間中には、モーションの詳細をハイライトするために、再生はスローモーションに切り替わってもよい。再生速度の修正は、事象またはモーションの任意の観察または算出された特性に基づいて行われ得る。例えば、事象データは、例えばボールの打撃、ジャンプの開始もしくは終了、または他の任意の興味深い瞬間等の、特定の注目されるサブ事象を識別し得る。コンピュータは、同期された事象ビデオがこれらのサブ事象に近づいた際に、再生速度を下げるよう再生速度を修正し得る。この速度の減速は、サブ事象を詳細にハイライトするために連続的に増され得る。また、再生はサブ事象において停止されて、ユーザからの入力を待って継続してもよい。また、再生速度の減速は、モーション解析データまたは事象データからの１以上の測定指標の値にも基づき得る。例えば、モーション解析データは、動いている野球のバットまたはゴルフクラブの速度を示してもよく、再生速度は、そのようなオブジェクトの速度が増すにつれ、より遅くなるように、連続的に調節されてもよい。再生速度は、そのような測定指標のピーク値付近では非常に遅くされ得る。
【０１９９】
図２３は、モーションデータを用いた可変速度再生の一実施形態を示す。モーションキャプチャ要素１１１は、ｘ軸１５０１上の直線加速度を含むモーションセンサ情報を記録する。（一般的に、多くの更なるセンサ値も記録され得るが、この例では簡潔のために単一の軸を用いる。）事象閾値２３０１は、ｘ軸の直線加速度がこの閾値を超えた際の注目される事象を定義する。１５０２および１５０３において事象が検出される。事象１５０２は２３０２において開始し、２３０３において完了する。再生に際しては、事象間においては通常の再生速度２３１０が用いられる。事象１５０２の開始が近づくと、ユーザが事前事象モーションをより詳細に観察できるように、２３１１で再生速度の減速が開始される。事象が生じている間、２３１３において再生速度は非常に遅くなる。２３０３における事象の終了後、再生速度は２３１２において通常速度に戻るよう徐々に上げられる。
【０２００】
他の実施形態では、再生速度に限定されない他の再生特性の修正が行われ得る。例えば、コンピュータは、再生速度、画像の明るさ、画像の色、画像の焦点、画像解像度、点滅する特殊効果、またはグラフィックオーバーレイもしくは境界線の使用のうちのいずれかまたは全てを修正し得る。これらの修正は、モーション解析データ、事象データ、サブ事象、または同期された事象ビデオの他の任意の特性に基づいて行われ得る。一例として、再生が注目されるサブ事象に近づくと、点滅する特殊効果が加えられてもよく、ビデオ中の注目されるオブジェクト（例えば、用具によって打たれるところのボール等）の周囲に境界線が追加されてもよい。
【０２０１】
サウンドトラックを含む実施形態では、再生特性の修正は、サウンドトラックの再生特性の修正を含み得る。例えばそのような修正は、サウンドトラックの音量、テンポ、音質、または音声特殊効果の修正を含み得る。例えば、再生が注目されるサブ事象に近づくと、サブ事象をハイライトするため、および再生を視聴しているユーザによりダイナミックな経験を提供するために、サウンドトラックの音量およびテンポが高められ得る。
【０２０２】
本発明の１以上の実施形態において、コンピュータは、事象データまたはモーション解析データを用いて、ビデオストリームまたは記録されたビデオの一部分のみを選択的に保存し得る。これは図１９に示されており、事前事象部分１９０２および事後事象部分１９０３を伴う事象ビデオ１９０１のみを保存するために、ビデオ部分１９１０および１９１１が捨てられる。そのような技術は、注目される事象に焦点を当てることにより、ビデオストレージの要求を劇的に低減できる。一部の実施形態では、コンピュータは、事象が進行している間、モーションキャプチャセンサへの開いた通信リンクを有し得る。次に、コンピュータは、事象の開始の通知を受信または生成し、その時にビデオの保存を開始し、事象の終了の通知を受信または生成するまで、ビデオの保存を継続し得る。また、図２２に示されているように、コンピュータは、事象が生じている間、１または複数のカメラに、カメラ上におけるビデオの保存を開始および終了するための制御メッセージを送り得る。
【０２０３】
他の実施形態では、コンピュータは、事象を通して開いているライブの通信リンクを介してではなく、事象の完了後にビデオおよび事象データを保存または受信し得る。これらの実施形態では、コンピュータは、注目される事象以外のビデオの部分を捨てるために、保存されているビデオを間引くことができる。例えば、サーバコンピュータ１５２は、ビデオおよび事象データの両方のリポジトリとして用いられ得る。サーバは、アップロード後に事象データとビデオとを相関させ、保存されたビデオを、事象データによって示される注目される時間フレームのみに間引いてもよい。
【０２０４】
１以上の実施形態において、コンピュータは、ビデオと事象データおよびモーション解析データとの同期を補助するために、ビデオの画像解析を用い得る。例えば、モーション解析データは、例えば、野球またはゴルフボールのようなボールの打撃に由来する、またはスケートボードのジャンプ後の着地に由来する、（例えば、加速度計を用いて検出された）強い物理的衝撃を示し得る。コンピュータは、ビデオの画像を解析して、この衝撃が生じているフレームの位置を求め得る。例えば、ゴルフボールを記録しているビデオは、画像解析を用いて、ビデオストリーム内におけるボールが移動を開始したときを検出してもよく、ゴルフボールのモーションを有する第１のフレームがクラブによるインパクト後の第１のフレームであり、これを、対応するモーション解析データ内の衝撃と同期させることができる。これは図２４に示されており、ビデオの画像解析はゴルフボール２４０１を識別している。この例ではインパクトフレーム３４として示されている、ボール２４０１が移動を開始するフレームは、モーション解析データ内の衝突の衝撃を示している特定の点と合致させることができる。これらのビデオおよびモーションデータフレームはキーフレームとして用いることができ、これらのキーフレームから、事象の開始および終了に最も密接に対応するビデオフレームを導き出すことができる。
【０２０５】
１以上の実施形態において、コンピュータは、ビデオの画像解析を用いて、ビデオ中のオブジェクトから測定指標を生成し得る。この測定指標は、例えば、オブジェクトのモーションの何らかの態様を測定し得る。画像解析から得られたそのような測定指標は、モーションセンサからのデータのモーション解析から取得された測定指標に加えて、またはそれに関連して用いられ得る。一部の実施形態では、画像解析は、注目されるオブジェクトと関連づけられた画素の位置を求めるための当該技術分野で知られている幾つかの技術のうちの任意のものを用い得る。例えば、或るオブジェクトは、特定の色、テクスチャ、または形状を有することが既知であり得、それらの特性が、ビデオフレーム内におけるそのオブジェクトの位置を求めるために用いられ得る。一例として、ゴルフボールは、ほぼ丸く、白く、ボールの材質と関連づけられたテクスチャを有することが既知であり得る。画像解析は、これらの特性を用いて、ビデオフレーム内におけるゴルフボールの位置を求めることができる。複数のビデオフレームを用いて、ゴルフボールのおおよその速度および回転が算出され得る。例えば、静止したまたはほぼ静止したカメラを想定すると、三次元空間内におけるゴルフボールの位置を、ビデオフレーム内におけるボールの位置に基づいて、およびそのサイズに基づいて推定できる。フレーム内における位置は、画像平面上におけるボールの位置の投影を与え、サイズは、カメラに対して相対的なボールの深度を与える。複数のフレーム内におけるボールの位置を用いることにより、およびフレーム間の時間差を与えるフレームレートを用いることにより、ボールの速度を推定できる。
【０２０６】
図２４は、この処理を示しており、ゴルフボールはフレーム２４０３内の位置２４０１、およびフレーム２４０４内の位置２４０２にある。ゴルフボールは、カメラからのボールの距離およびボールの回転を測定するために用いることができるアイコンを有する。ボールの速度は、フレーム間の移動距離およびフレーム間の時間差を用いて算出できる。単純な例として、ボールのサイズがフレーム間で知覚可能に変化する場合には、カメラの視野およびボールの見かけのサイズを用いて、ボールの位置２４０２と位置２４０１との間の画素の差を、そのまま距離に換算できる。この例に示されているフレームの差は２フレーム（フレーム３９からフレーム４１まで）であり、これはカメラのフレームレートに基づいて時間に換算できる。次に、時間に対する距離の比率として速度を算出できる。
【０２０７】
１以上の実施形態において、コンピュータは、以前に格納された事象データまたはモーション解析データにアクセスして、新たな事象と１以上の以前の事象との比較を表示し得る。これらの比較は、同じユーザおよび同じ用具についての経時的な比較、または異なるユーザ間および異なる用具間の比較であり得る。これらの比較は、ユーザに、ユーザのパフォーマンスの変化についてのフィードバックを与えることができ、他のユーザまたは用具の他のタイプまたはモデルのユーザと比較したベンチマークを設けることができる。一例として、図１Ｄは、ユーザ１５０および１５２と関連づけられた事象データを受信する装置１０１を示している。このデータは、表示および比較のためにコンピュータ１０５に送信される。ユーザ１５１は、ユーザ１５０および１５２のパフォーマンスを比較でき、各ユーザのパフォーマンスを経時的に追跡できる。
【０２０８】
１以上の実施形態において、モーションキャプチャ要素と結合されたマイクロコントローラは、事象データのキャプチャを調和させるために、他のモーションキャプチャセンサと通信するよう構成される。マイクロコントローラは、別のモーションキャプチャセンサに、その別のセンサも事象データをキャプチャするようトリガするために、事象の開始の通知を送信し得る。その別のセンサは、データを後でアップロードするためにローカルに保存してもよく、または、その事象が生じている間に、その事象データを、開いている通信リンクを介してコンピュータに送信してもよい。これらの技術は、１つのセンサがマスターとして動作して、スレーブセンサのネットワークを調和させることができる、一種のマスタースレーブアーキテクチャを提供する。
【０２０９】
本発明の１以上の実施形態において、コンピュータは、事象データを用いて、事象のビデオをキャプチャ可能なまたはキャプチャしている可能性があるカメラを見出し得る。そのようなカメラは、事象の位置の近位にある必要があり、事象を見るための正しい方向に向いている必要がある。一部のシステムでは、カメラの数、位置、および向きが予めわかっておらず、動的に決定しなければならない。事象が生じた際、事象データを受信したコンピュータは、事象の付近にある、または事象を見るよう向けられている任意のカメラに、要求を同報し得る。この要求は、カメラに、例えば、事象ビデオを記録するよう、および事象ビデオを保存するよう指示し得る。次に、コンピュータは、事象が生じた後に、これらの近位の正しい向きのカメラからのビデオを要求し得る。これは図１に示されており、コンピュータ１６０は、モーションキャプチャ要素１１１から、事象開始の通知を受信し得る。コンピュータ１６０は、付近にある全てのカメラ（例えば１０３、１０４、１３０、１３０ａ、および１３０ｂ等）に要求を同報し得る。一例として、カメラ１０３および１３０は、事象の近位において事象を正しく見るよう向けられているので、ビデオを記録する。カメラ１０４は遠過ぎ、カメラ１３０ａおよび１３０ｂは十分に近いが、事象の方を向いていないので、これらのカメラはビデオを記録しない。
【０２１０】
一部の実施形態では、１以上のコンピュータ（例えばサーバ１５２またはクラウドサービス等）上で１以上のビデオを入手可能であり、それらは後で事象データと相関され得る。これらの実施形態では、コンピュータ（例えば１５２等）は、事象を見るための正しい位置および向きにあった、格納されているビデオを探す。次に、コンピュータは、適切なビデオを読み出して、それらを事象データと組み合わせて、複数の位置および角度からのビデオを有する事象の合成画面を構成し得る。
【０２１１】
１以上の実施形態において、コンピュータは、他のセンサが事象の近位にあり、事象と関連づけられた他の有用なデータを提供する場合には、モーションキャプチャセンサに加えて、これらの他のセンサからのセンサ値を取得し得る。例えば、そのような他のセンサは、温度、湿度、風、高度、光、音、および（心拍のような）生理学的測定指標の様々な組合せを感知し得る。コンピュータは、事象開始から事象停止までの期間中の事象の拡張された記録を生成するために、これらの他の値を読み出して、それらを事象データおよびモーション解析データと共に保存し得る。
【０２１２】
１以上の実施形態において、マイクロプロセッサ、コンピュータ、またはそれらの両方によって、検出、モニタリング、および解析される事象のタイプは、ユーザ、用具、またはモバイル装置についての様々なタイプの重要なモーション事象を含み得る。これらの重要な事象は、重篤なまたは緊急の医学的状態または健康の指標を含み得る。そのような事象のタイプの一部は、起立、歩行、転倒、熱中症、発作、激しい震え、震盪、衝突、異常な歩行、異常な呼吸もしくは無呼吸を示すモーションを含み得る。これらの事象のタイプの組合せも、検出、モニタリング、または解析され得る。
【０２１３】
図２５は、統合されたセンサおよびビデオモーション解析の方法の実施形態のフローチャートを示す。このフローチャートは、ステップ間の説明的な依存関係を示す。この依存関係は単に説明のためのものであり、本方法の実施形態は異なるステップを用いてもよく、それらのステップを任意の所望の順序で行ってよい。２５００の「ビデオを取得」、２５１０の「対象のオブジェクトを取得」、および２５７０「モーションセンサデータを取得」において入力が取得され、２５９０の「モーション測定指標を生成」において出力が行われる。ビデオは、１以上のカメラから取得され、生ビデオ、または、各カメラ、センサ、もしくはそれらの組合せにおいて決定された事象に基づくビデオを含み得る。事象に基づくビデオの転送、および非事象ビデオ（あれば）の破棄は、より高速且つより適切なビデオ処理およびストレージを提供する。ビデオは、カメラによってキャプチャされた単一の画像を含み得る。モーションセンサデータは、１以上のモーションキャプチャ要素から取得される。センサは、他のセンサと通信して事象が生じたことを伝え、たとえ一部のセンサが事象を登録していない場合でも、たとえ事象を受信したセンサまたはカメラが事象をローカルに検出していなくても、そのセンサおよび任意の関連づけられたカメラが、事象の前および後の所定の量のモーションのデータおよび／または画像データを保存し得るようにしてもよい。これらのモーションキャプチャ要素は、オブジェクトのモーションの任意の様子を測定する１以上のセンサを含み得る。そのようなセンサとしては、例えば、加速度計、ジャイロスコープ、磁力計、歪ゲージ、高度計、速度計、ＧＰＳ、光学または音波距離計、流量計、圧力計、レーダー、またはソナー、および他の任意のタイプのセンサ（例えば、温度センサ、湿度センサ、風センサ、高度センサ、光センサ、音センサ、および生理学的測定指標センサ等（例えば、心拍センサ等））が挙げられるが、それらに限定されない。また、センサのグループは、事象を事象であるとして示すために用いられてもよく、心拍数または音声が所定の閾値より高くなった場合に（例えば、位置および時間によってフィルタリングされた場合に）、グループ事象が指定されて、公開または別様で同報され得る。更に、事象またはグループ事象を相関させるまたは拡張するために、ソーシャルメディアサイトがサンプリングされ得る。これらのセンサによって測定される量は、例えば、線形位置、線形速度、線形加速度、軌道、向き、角速度、角加速度、モーションの時間、複数の位置間で経過した時間、モーションの開始から或る位置に到着するまでに経過した時間、および衝撃の時間、または特定のタイプのセンサと関連づけられた任意の量もしくは値（例えば、血圧、心拍数、高度等）の任意の組合せを含み得るが、それらに限定されない。モーションセンサデータおよびビデオは、例えば、内部モーションセンサもしくは他のセンサを収容しているカメラとの有線または無線ネットワーク通信を介した、並びに、例えば、カメラに外部的にもしくは無線で結合された、任意の方法で取得され得る。センサデータおよびビデオは、アクティビティの最中に同期して取得されてもよく、または、アクティビティの後で読み出されて解析されてもよい。
【０２１４】
対象のオブジェクトは、人々、用具、またはそれらの任意の組合せを含み得る。これらのオブジェクトは、特定のもの（例えば、指定されているシリアル番号を有する特定のアイテム等）であってもよく、または、カテゴリー内の任意のものが対象となり得るオブジェクトの一般的なカテゴリーであってもよい。一般的なカテゴリーは、例えば、例えば、「走っている人々」、「ゴルフボール」、または「スケートボード」等のカテゴリーを含み得る。特定の対象のオブジェクトは、本方法の各実施形態の用途に応じて異なる。説明的な対象の用具は、例えば、ボール、バット、クラブ、ラケット、グローブ、防具、ゴール、ネット、スケートボード、スキー、サーフボード、ローラースケート、アイススケート、自動車、オートバイ、自転車、ヘルメット、靴、医療用装置、松葉杖、杖、歩行用ステッキ、歩行器、および車椅子を含み得るが、それらに限定されない。
【０２１５】
２５２０の「フレームを選択」において、１または複数のビデオから１組のフレームを取得する。一部の実施形態または用途では、１または複数のビデオの全体が選択され得る。一部の実施形態では、１または複数のビデオの一部が解析のために選択され得る。関連するフレームの選択は、任意の基準に基づいて行われ得る。例えば、１以上の実施形態では、対象のアクティビティを含む特定の時間範囲内にキャプチャされたまたは特定の視点からキャプチャされたフレームのみであることを示す外部情報が存在し得る。１以上の実施形態では、フレームは、処理要件を低減するためにダウンサンプリングされ得る。１以上の実施形態では、前処理ステップが用いられ、潜在的に関連するアクティビティについてフレームをスキャンし、後続の解析のためにそれらのフレームのみが選択され得る。
【０２１６】
各対象のオブジェクトには、そのオブジェクトについての１以上の区別可能な視覚的特徴が関連づけられる。１以上の実施形態では、この方法は、２５１０において、各オブジェクトについてのこれらの区別可能な視覚的特徴を取得することを含み得る。これらの区別可能な視覚的特徴は、ビデオフレーム内における対象のオブジェクトの位置および向きを特定する際の補助となる。区別可能な視覚的特徴の例としては、形状、曲率、サイズ、色、輝度、色相、飽和、テクスチャ、および画素パターンが挙げられるが、それらに限定されない。ビデオフレーム内におけるオブジェクトの位置および向きを特定する際の補助となり得る任意の視覚的特徴が、区別可能な視覚的特徴として用いられ得る。簡単な例として、ゴルフボールは、その形状（球形）、その色（典型的には白）、およびそのサイズ（典型的には直径が約４３ｍｍ）によって区別され得る。これらの特徴のうちの任意の１つまたは任意の組合せが、ビデオフレーム内において１以上のゴルフボールを識別するために用いられ得る。
【０２１７】
２５３０の「対象のオブジェクトを探索」において、この方法は、区別可能な視覚的特徴を用いて、選択されたビデオフレーム内において対象のオブジェクトを見出す。１以上の実施形態は、区別可能な視覚的特徴についてビデオフレームの画素をスキャンするために、任意の所望の探索ストラテジーを用い得る。以下において、１以上の実施形態で、探索領域をフレームの特定の領域に制限するために用いられ得る幾つかの探索ストラテジーを説明する。しかし、１以上の実施形態は、対象のオブジェクトの位置を特定するために、全てのフレームの全ての画素をスキャンする網羅的な探索を行ってもよい。ビデオフレーム内の画素領域は、幾つかのケースではノイズ、オクルージョン、陰影、または他のアーチファクトを含み得るので、たとえ対象のオブジェクトが存在する場合でも、これらの領域は区別可能な視覚的特徴と正確にマッチしない場合がある。従って、１以上の実施形態は、任意の所望の近似マッチング技術を用いて、画素領域が対象のオブジェクトを表す確率を推定し得る。そのような近似マッチング技術は、例えば、画素と区別可能な視覚的特徴に基づいて予期されるパターンとの相関に基づく、領域のスコアづけを含み得る。
【０２１８】
２５３０の「対象のオブジェクトを探索」の結果は、複数のフレームのうちの１以上のフレーム内において位置を特定された識別されたオブジェクトのリストを、それらの識別されたオブジェクトを含むフレーム内の画素領域と共に含む。２５５０の「カメラ姿勢に対して相対的なオブジェクト姿勢を推定」において、この方法は、カメラがそのビデオフレームをキャプチャしたときのカメラの位置および向きに対して相対的な、各識別されたオブジェクトの位置または向き（またはそれの両方）の推定を生成する。本明細書における「姿勢」という用語は、何らかの座標系に対して相対的なオブジェクトの位置および向き、または、位置、向き、もしくはそれらの両方に関する部分的な情報を指す。この「姿勢」の用法は、例えば、ロボット工学およびコンピュータグラフィックの技術分野において標準的である。
【０２１９】
本方法の１以上の実施形態は、たとえビデオをキャプチャするために用いられた１または複数のカメラがビデオキャプチャ中に移動していても、オブジェクトの位置および向きを推定する技術を含む。オブジェクトの見かけのモーションは、カメラのモーション、オブジェクトのモーション、またはこれらの２つの要因の組合せに起因し得るため、移動するカメラは大きな課題を生じる。図２５に示されている実施形態は、３つの方法でこの問題に対処する。２５５０において、この方法は、カメラに対して相対的な識別されたオブジェクトの姿勢を推定し、２５４０において、この方法は、何らかの固定された座標系（例えば、カメラによってキャプチャされた１または複数のシーンと関連づけられた座標系）に対して相対的なカメラ姿勢を推定し、２５６０において、この方法は、オブジェクト姿勢を共通座標系に変換する。１以上の実施形態は、任意の技術を用いて、カメラの動きをオブジェクトの動きから分離し得るが、ここに示すステップは単に説明的なものである。更に、本方法の１以上の実施形態では、ビデオキャプチャ中に（またはビデオキャプチャ中の一部において）カメラが移動していなかったことが既知であり得る（または推測され得る）。これらの実施形態では、ステップ２５４０は必要に応じて設けられるものであって、必要ない場合もあり、例えば、ステップ２５５０とステップ２５６０とは組み合わされてもよい。
【０２２０】
２５６０において、対象のオブジェクトが識別され、共通座標系に対して相対的な各オブジェクトの姿勢が決定されている。次に、この姿勢データから、各識別されたオブジェクトについての様々なモーション測定指標を生成できる。例えば、単に（共通座標系における）オブジェクトの位置を経時的に追跡することにより、オブジェクトの軌道が取得される。オブジェクトの速度は、フレーム間の位置の変化をフレーム間の時間で除算することによって取得され得る。各識別されたオブジェクトについて、例えば、位置、向き、軌道、速度、加速度、角速度、および角加速度を含むがそれらに限定されない様々な他のモーション測定指標が算出され得る。
【０２２１】
図２５に示されている実施形態は、２５７０の「モーションセンサデータを取得」において、オブジェクトの動きに関する更なる情報を取得する。１以上の実施形態では、対象のオブジェクトのうちの１以上は、オブジェクトに取り付けられたまたは別様でオブジェクトのモーションを観察するモーションキャプチャ要素を有し得る。これらのモーションキャプチャ要素は、オブジェクトの動きに関するデータを収集するセンサを有する。１以上の実施形態では、このセンサデータは、ビデオ解析から得られたモーション測定指標と統合されて、統合されたモーション測定指標を構成する。センサデータとビデオ情報とを組み合わせるために、１以上の実施形態は、まず、このデータを共通時間スケールと同期させる。この同期は２５８０の「ビデオとモーションセンサデータとを同期」において行われる。一部の実施形態では、データおよびビデオのキャプチャの前に、カメラのクロックとモーションキャプチャ要素のクロックとが同期され得る。これらの状況では、同期は不要であるか、またはあまり重要ではない。他の実施形態では、様々な装置（カメラおよびセンサ）のクロックは同期されなくてもよく、２５８０におけるキャプチャ後同期ステップが必要であり得る。
【０２２２】
ビデオフレームとモーションセンサデータとが同期された後、２５９０における「モーション測定指標を生成」のためにデータが統合され得る。このデータ統合は、異なる種類のセンサからの情報を組み合わせて、識別されたオブジェクトのモーションの統合されたビューを生成する「センサ融合」処理である。複数の実施形態は、例えば、カルマンフィルタ、拡張カルマンフィルタ、補色フィルタ、ベイジアンネットワーク、多重仮説検定、および粒子フィルタを含むが、それらに限定されない、センサ融合ための任意の所望の技術を用い得る。一部の実施形態では、センサ融合は、例えば、各データソースの誤差分散に反比例する重みを用いた、異なるデータソースからの推定の単純な重みづき平均を含み得る。１以上の実施形態は、例えば、絶対位置特定についてビデオ情報を用い得ると共に、位置の変化を追跡するために（例えば、慣性センサを用いた）センサデータを用い得る。
【０２２３】
図２５に示されている特定のステップを、図２６に従ってより詳細に説明する。図２６は、２５１０の「対象のオブジェクトを取得」の例を示しており、これは、これらのオブジェクトの区別可能な視覚的特徴を取得することを含む。この説明的な例では、ゴルフクラブ２６０１、ゴルフボール２６０２、およびゴルファー２６０３という３つの対象のオブジェクトが取得される。上述のように、これらのオブジェクトは特定のアイテムであってもよく、または、一般的なカテゴリーを表してもよい。例えば、ゴルフクラブ２６０１は、特定のゴルファーに属する特定のドライバーを表してもよく、または、全てのドライバーもしくは全てのクラブについての一般的なカテゴリーであってもよい。区別可能な視覚的特徴２６１１、２６１２、および２６１３は、アイテム２６０１、２６０２、および２６０３のついてのあり得る特徴をそれぞれ示す。これらの例は単に説明的なものであり、複数の実施形態は、対象のオブジェクトを識別するために任意の所望の特徴を用い得る。ゴルフクラブ２６０１については、あり得る区別可能な特徴２６１１は、クラブの幅と比較して長い長さ、クラブヘッドの形状、およびシャフトのメタリック色を含む。ゴルフボール２６０２については、あり得る区別可能な特徴２６１２は、ボールの円形の形状と、典型的には白いボールの色とを含む。ゴルファーは、ゴルフクラブおよびゴルフボールと違って剛性体ではなく、従ってゴルファーの形状は変化し得るので、ゴルファー２６０３についての特徴はより複雑であり得る。そうではあるものの、特定のあり得る特徴２６１３は、幅と比較して比較的大きい高さと、胴体に頭、脚、および腕がついた一般的な身体形状と、可能性としては顔または他の露出した領域の肌色とを含み得る。
【０２２４】
また、説明的な区別可能な視覚的特徴２６１１および２６１２は、オブジェクトのサイズに関する情報も含む。このサイズ情報は、ビデオフレーム内におけるオブジェクトの位置を特定する際に有用であり得る。更に、見かけのサイズは距離に反比例するので、既知のオブジェクトサイズは、カメラからのオブジェクトの距離の推定を可能にする基準を提供する。
【０２２５】
カメラモーションの問題、および本方法の１以上の実施形態がどのようにカメラモーションを識別して補償し得るかが、図２７に示されており、図２７は、移動するオブジェクトおよび移動するカメラを有する例を示す。初期位置２７１０ａにあるカメラは、移動するゴルフボール２７０２ａと静止したフラグ２７０４ａとを含むシーン２７０１ａを見ている。この時点においてキャプチャされたフレームは２７１１ａである。ゴルフボール２７０２ａは、水平方向のｘ軸に沿って右に向かって、且つ垂直方向のｙ軸上を下に向かって移動している。初期カメラ姿勢２７１０ａに対して固定された座標系を用いると、このシーンにおいては、ゴルフボール２７０２ａはｘ座標２７０３ａ（ｘ０）にあり、フレーム２７１１ａ内におけるボールの画像２７１２ａもｘ０にある。２７１１ａ内におけるフラグ２７１４ａの画像はｘ座標２７１５ａ（ｘ２）にある。
【０２２６】
次に、カメラは位置２７１０ｂまで量Δｘだけ右に移動する。このとき、ゴルフボールも、ｘ座標２７０３ｂ（ｘ１）にある位置２７０２ｂまでΔｘだけ右に移動する。２７１０ｂにあるカメラの画像２７１１ｂにおいては、ゴルフボールは、ｘ座標２７１３ｂが変わらない位置２７１２ｂにあるように見え、フラグはｘ座標２７１５ｂ（ｘ１）にある２７１４ｂへと左に移動したように見える。カメラモーションを考慮しないと、フレーム２７１１ａおよび２７１１ｂの解析は、フラグが左に移動しており、ボールは水平方向には移動せずに落ちていることを示すことになる。
【０２２７】
この例では、解析は、フラグの真の位置は変化していないという事実を用いることができるので、カメラ姿勢の変化を検出するのは簡単である。従ってカメラが右にΔｘだけ動いたことを推定するのは簡単である。一般的にカメラモーションは、任意の方向への移動と、カメラ向きの変化とを含み得るので、解析はより複雑になり得る。しかし、静止したオブジェクトを用いて、カメラ姿勢の変化を推定するという原理は、１以上の実施形態において、これらのより複雑な状況においても用いることができる。
【０２２８】
１以上の実施形態は、カメラセンサを用いて、各ビデオフレームのキャプチャ中のカメラの姿勢を決定し得る。このセンサデータを利用可能である場合には、カメラ姿勢が直接利用可能であり得るので、カメラ姿勢を推定するための画像解析（例えば、上述の解析等）は不要であり得る。例えば、図２７では、カメラ２７１０ｂには、カメラ姿勢の変化を検出するセンサ２７２０が備えられ得る。そのようなカメラ姿勢センサは、例えば、慣性センサ、ＧＰＳ、または、位置、向き、もしくはそれらの変化を追跡する他の任意の１または複数のセンサを含み得る。
【０２２９】
図２８は、カメラ姿勢の推定された変化を用いて、オブジェクト姿勢の変化を共通座標に変換する例を示す。この例では、ステップ２５６０は、フレーム２７１１ｂを、全てのオブジェクトを右にΔｘだけシフトしたフレーム２８１１ｂに変換する。この時点で、フレーム２８１１ｂはフレーム２７１１ａと同じ座標系にあり、オブジェクトのモーションを直接決定できる。これらの２つのフレームから、ボール位置の変化２８０１を算出できる。更に、フレーム２７１１ｂ内のゴルフボールの画素としての見かけのサイズ２８０２（ｄ）とボールの実際のサイズとを用いて、位置の変化２８０１（Δｒ）を画素から距離の単位に（例えば、Δｒ’＝（Δｒ）（ｓ／ｄ）として）変換できる。（この変換は、ボール２７１２ａの見かけのサイズがフレーム２７１１ａ内とフレーム２７１１ｂ内とで同じであると仮定しており、ボールの見かけのサイズが変化する場合には、ビデオフレームに対して垂直なボールの動きを考慮するために、更なる解析が必要となる）。ビデオのフレームレートから、フレーム間の時間差Δｔを決定でき、これにより、ボールの速度ベクトルをｖ＝Δｒ’／Δｔとして算出できる。
【０２３０】
図２９において、ボール２７１２ａに、星印と示されているモーションキャプチャ要素２９０１が取り付けられていると仮定して、説明的な例を続ける。この例では、モーションキャプチャ要素は、３軸加速度計および３軸ジャイロスコープを有する慣性センサを含み、他のセンサも含み得る。センサデータは、チャネル２９０２を介して無線で受信器２９０３に送信される（図面にはｘ軸データのみが示されている）。ステップ２９１１において、当該技術分野において知られている慣性ナビゲーション技術を用いて、加速度計データとジャイロデータとが統合されて、固定された座標系におけるモーション測定指標（センサデータからの線形速度推定２９１２を含む）を生じる。ビデオフレーム解析から、ビデオフレーム２８１１ｂ内におけるボール位置２８０１のシフトが、線形速度推定２９１０に変換される。センサ融合モジュール２９１３によって、センサ速度推定２９１２とビデオ速度推定２９１０とが組み合わされて、最終的なボール速度推定２９２０が構成される。例えば、１つの簡単な説明的なセンサ融合技術は、重みづき平均ｖ＝αｖｖｉｄｅｏ＋（１−α）ｖｓｅｎｓｏｒ（式中、重みづけ係数αは、ビデオ推定およびセンサ推定の相対的な誤差分散に依存し得る）をとることである。
【０２３１】
ここで、ビデオとモーションセンサデータとを同期させるステップ２５８０に対する幾つかの可能な手法を述べる。図３０は、事象を用いてビデオとセンサデータとを同期させる実施形態を示す。１以上の実施形態では、センサデータおよびビデオデータの両方において、特定のタイプの事象が、その事象についてのシグネチャーと共に識別され得る。次に、ビデオ事象シグネチャーについてビデオフレームをスキャンすると共に、対応するセンサデータシグネチャーについてセンサデータをスキャンし、事象の時間におけるセンサクロックとビデオクロックとを位置合わせすることにより、同期が行われ得る。図３０に示されている実施形態では、同期のために用いられる事象は、ゴルフクラブヘッドとゴルフボールとのインパクトである。この実施形態では、クラブヘッドとボールとのインパクトからの衝撃を検出するために、加速度計を有するセンサがゴルフクラブのグリップに取り付けられている。センサ、またはセンサからのデータを受信する解析システムは、加速度計から受信される加速度３０２０の大きさをモニタリングする。ビデオカメラは、フレーム３００１ａ、３００１ｂ、３００１ｃ、および３００１ｄとして示されている、クラブのスイングを示すビデオをキャプチャする。インパクト事象についてのセンサデータシグネチャー３０３０は、加速度の大きさが、指定されている閾値を超えることであり、これは、インパクトの衝撃に対応する。この例では、このセンサシグネチャーは３０３１において、センサのクロック時間３０２２に対して相対的な時間ｔ−ｓ１において検出される。インパクト事象についてのビデオシグネチャー３０１０は、クラブヘッドがボールに直に隣接することである。他のシグネチャーも可能であり、例えば、１以上の実施形態では、ボールの動きの開始が、インパクトについてのビデオシグネチャーとして用いられ得る。ビデオシグネチャー３０１０は、３０１１において、カメラのクロック時間に対して相対的な時間ｔ−ｖ３において検出される。次に、センサクロックとカメラクロックとの同期は、ステップ３０４０において、センサデータシグネチャーの時間３０３１をビデオシグネチャーの時間３０１１と位置合わせすることで構成される。
【０２３２】
図３１は、１以上の実施形態によって用いられ得る同期の別の手法を示す。この手法は、センサデータおよびビデオフレームから得られた比較可能なモーション測定指標を用いる。図３１に示されている実施形態では、センサデータ２９１２によって測定された、選択されたオブジェクトの速度が、ビデオフレーム解析によって測定されたオブジェクトの速度２９１０と比較される。これらの２つの速度グラフはほぼ同じ形状を有するが、センサクロックおよびカメラクロックにおける差を表す時間差３１０１だけオフセットしていることがわかる。時間差を決定するために、信号相関グラフ３１０２が用いられ得る。ピーク相関３１０３は、これらのクロックを同期させるのに必要な時間的オフセットを示す。
【０２３３】
１以上の実施形態は、誤検出の事象を識別する方法を用い得る。これらの誤検出は、所望の事象のシグネチャーに類似したシグネチャーを有するが、誤ったアクションによって生じている。図３２は、所望の事象がゴルフクラブヘッドとゴルフボールとのインパクトである例を示す。インパクトの衝撃は加速度の急上昇を生じるので、このインパクトは、ゴルフクラブに取り付けられた加速度計によって検出され得る。この事象についてのセンサデータシグネチャー３０３０は、加速度の大きさが、指定されている閾値を超えるこである。しかし、ボールとのインパクト以外のクラブに対する衝撃もそのシグネチャーを生じ得る点で、このセンサデータシグネチャーは誤検出であり得る。例えば、３２０２において示されるように、クラブで地面を叩くことは、誤検出の加速度シグネチャーを生じ得る。１以上の実施形態では、センサデータシグネチャーをビデオシグネチャーと組み合わせることにより、誤検出が真の事象から区別され得る。図３２では、クラブヘッドとボールとのインパクト事象についてのビデオシグネチャーは、例えば、ビデオが、ボールに隣接したクラブヘッドを示すことである。ビデオフレーム３２０１ａ、３２０１ｂ、３２０１ｃ、および３２０１ｄの解析は、このビデオシグネチャーを示さない。従って、見かけの事象シグネチャー３０３０がビデオからの非シグネチャー３２１０と組み合わされて、事象が誤検出３２２０として分類され得る。ビデオ解析はビデオシグネチャーによって見かけの事象を示しているが、センサデータはこの見かけの事象が誤検出であることを示しているという逆の状況も生じ得る。
【０２３４】
１以上の実施形態は、誤検出の事象と有効な事象とを区別するために、多段階検定を用い得る。図３２Ａは、二段階検出処理を用いてセンサデータをモニタリングして、見込みのある事象を見出す実施形態を示す。まず、加速度の大きさ３０２０が閾値３２Ａ０１に照らしてモニタリングされる。加速度の大きさが閾値を超えたとき、ここでは加速度のｙ軸の値３２Ａ０２に対して、第２段階の閾値検定が開始される。この実施形態は、時間間隔３２Ａ０４内においてこの値が第２の閾値３２Ａ０３を超えた場合に、見込みのある事象３２Ａ０５であることを示す。この見込みのある事象は、２つの更なる事象検証ステップをトリガする。まず、ここでは角速度のｙ軸である、モーションキャプチャセンサからの別のモーション測定指標３２Ａ０５が、この測定指標についての典型的なセンサデータシグネチャー３２Ａ０６と比較される。測定指標がセンサデータシグネチャーとマッチしない場合には、事象は誤検出３２Ａ１０であると宣言される。そうでない場合には、ビデオ解析を用いて第２の検証チェックが行われる。事象を検証するために、画像３２０１ｃが、予期されるビデオシグネチャー３０１０と比較される。これらの画像がマッチする場合には、有効な事象３２Ａ２０が宣言され、そうでない場合には、見込みのある事象は誤検出３２Ａ１０として分類される。図３２Ａに示されている特定の測定指標、閾値、および検定は単に説明のためのものであり、複数の実施形態は、事象の検出および検証のための任意の測定指標の任意の組合せを用いてよく、この検出および検証を行うために、センサデータとビデオデータとを任意の所望の方法で組み合わせてよい。例えば、１以上の実施形態では、有効な事象は、図３２Ａに示されているように、センサデータシグネチャーおよびビデオシグネチャーの両方を必要とするのではなく、センサデータシグネチャーおよびビデオシグネチャーのうちの一方のみを必要とし得る。
【０２３５】
１以上の実施形態では、対象のオブジェクトは、視覚的マーカーを有するモーションキャプチャ要素を含み得る。視覚的マーカーは、例えば、そのオブジェクトについての区別可能な視覚的特徴の一部を構成する区別可能なパターンまたは色を有し得る。図３３は、モーションキャプチャ要素３３０２がゴルフクラブ３３０１に取り付けられている例を示しており、モーションキャプチャ要素上のパターン３３０３が視覚的マーカーである。１以上の実施形態では、視覚的マーカーのパターンは、関連づけられているオブジェクトの向きを決定するのを補助するよう設計され得る。これは、３３０３のような回転対称ではないパターンを有する視覚的マーカーを用いることで容易になり、回転すれば、回転していないパターン３３０３と同一ではない３３０４のような区別可能なパターンを生じる。
【０２３６】
ここで、カメラ姿勢に対して相対的な識別されたオブジェクトの姿勢を決定するステップ２５５０の説明的な実施形態を述べる。姿勢は、位置、向き、またはそれらの両方で構成される。図３４は、識別されたオブジェクトの位置を決定する例を示す。対象のオブジェクトは、フレーム２７１１ａ内のゴルフボール２７１２ａである。フレームは、画素としての幅３４０３（ｗ）と、水平方向の視野３４０４（α）とを有する。フレーム内におけるボールの二次元の位置は、フレームの中心に対して相対的なｘ座標３４０１（ｘ０）およびｙ座標（ｙ０）にある。これらの座標は、カメラによって決定される三次元空間ではなく、フレームの画素空間内にある。ボール２７１２ａは、画素空間内における見かけのサイズ２８０２（ｄ）を有する。座標系３４１０は、カメラに向かうｚ軸と、カメラの焦点にある原点とで定義されるものとする。フレーム２７１１ａは、ｚ＝−１である画像平面３４１２上への投影であり、ｓ＝ｗ／２ｔａｎ（α／２）の係数によって画素にスケール変更されるものとする。この画像平面内において、ボールは（ｘ１，ｙ１，ｚ１）＝（ｘ０／ｓ，ｙ０／ｓ，−１）である座標３４１１にある。ボールの実際のサイズが既知であると仮定すると、カメラからのボールの距離は、上述のように決定できる。ボールの見かけのサイズ２８０２（ｄ）および実際のサイズ３４１３（ｂ）を用いると、ボールは（ｘ２，ｙ２，ｚ２）＝（ｂｘ０／ｄ，ｂｙ０／ｄ，−ｂｓ／ｄ）である位置３４１４にある。
【０２３７】
図３５は、識別されたオブジェクトの向きの決定の例を示す。対象のオブジェクトはフレーム２７１１ａ内のゴルフボール３５０１である。ゴルフボールは、回転対称ではない視覚的マーカーを備えている。カメラ姿勢に対して相対的なオブジェクト姿勢を推定するステップ２５５０は、観察された視覚的マーカーのパターン３５０１を、オブジェクトの回転していない向きを表す基準パターン３５０２と比較する。１以上の実施形態は、オブジェクトについての区別可能な視覚的特徴から、そのオブジェクトについての基準パターンを取得し得る。例えば、或る実施形態は、基準パターンとして用いられる自然なベースラインの向きを定義し得る。その代わりに、またはそれに加えて、１以上の実施形態は、フレーム間における向きの変化を決定するために、別のビデオフレームから基準パターンを取得し得る。１以上の実施形態によって、オブジェクトの回転を決定するために用いられ得る１つの方法は、回転が適用された後の観察されたパターン３５０１と基準パターン３５０２との間の相関が最大化される（または差分が最小化される）回転の角度を探索することである。例えば、グラフ３５１０は、様々な回転角度についてのこれらのパターン間の空間的相関を示しており、オブジェクト３５０１の向きを表すピーク相関３５１１は角度３５１２において生じている。この例は、単一の回転角度を見出すことを示しているが、一部の実施形態では、高々３自由度までを有し得る回転を見出すことが所望され得る。これらの実施形態では、観察されたパターンと回転された基準パターンとの間の差分が最小化される回転を探索するために、類似の手法が用いられ得る。
【０２３８】
１以上の実施形態は、識別されたオブジェクトに関する位置情報のみを用いてもよく、この場合、オブジェクトの向きを決定するステップは必要ない。１以上の実施形態は、オブジェクトに関する向き情報のみを用いてもよく、この場合、オブジェクトの位置を決定するステップは必要ない。１以上の実施形態は、位置または向きに関する部分的な情報のみを用いてもよく、この場合、上記のステップは簡略化され得る。例えば、一部の用途では、完全なｘｙｚ位置ではなく、垂直方向の位置（高さ）のみを決定することが必要であり得る。
【０２３９】
ここで、ビデオフレーム内における対象のオブジェクトの位置を特定する問題に戻る。上述のように、１以上の実施形態で用いられる１つの手法は、オブジェクトの区別可能な視覚的特徴とマッチするものについて全ての画素の網羅的な探索を行うことである。しかし、一部の実施形態では、探索する必要がある領域を限定できる更なる情報が利用可能であり得る。例えば、一部の実施形態では、オブジェクトのあり得るまたは確からしい軌道の物理的モデルを生成可能であり得る。そのような物理的モデルは、特定のオブジェクトと、実施形態の用途とに応じて異なる。そのような物理的モデルを用いて、例えば、前のフレーム内におけるオブジェクトの位置に基づいて、オブジェクトを見出す高い確率を有する領域を予測することが可能であり得る。図３６は、物理的モデルを用いる実施形態を示す。ゴルフボール３６０２ａは、フレーム３６０１ａ、３６０１ｂ、および３６０１ｃ内に現れる。説明のために、フレーム３６０１ａおよび３６０１ｂ内におけるボールの位置は見出されており、フレーム３６０１ｃ内におけるボールの位置を見出すことが所望されると仮定する。この実施形態は、ボールの軌道についての物理的モデル３６１０を用いる。このモデルは、飛んでいる間のボールにかかる力は下向きの重力のみであると仮定している（空気抵抗はここでは無視する。他の実施形態は、例えば、空気抵抗を考慮したより複雑な物理的モデルを用い得る）。また、説明を容易にするために、このモデルはｘ−ｙ平面における動きのみを示している（他の実施形態は、例えば、３軸の全てにおける動きを考慮したモデルを用い得る）。フレーム３６０１ａおよび３６０１ｂ内におけるボールの位置３６０２ａおよび３６０２ｂをそれぞれ用いて、モデル３６１０（ｘ０，ｙ０，ｖｘ，ｖｙ）のパラメータを決定できる。次に、時間的に順方向の軌道を補外することにより、フレーム３６０１ｃ内におけるボールの位置３６２０を予測できる。ここでは、領域を、単一の点ではなく面積として示す。これは、１以上の実施形態では、物理的モデルが、モデルのパラメータの不確実性を考慮して、軌道についての簡単な点の推定ではなく確からしい領域を生成し得ることを反映するものである。
【０２４０】
図３６に示されているような物理的モデルを用いることは、フレーム内におけるオブジェクトの曖昧さを解消することも補助し得る。例えば、図３６では、フレーム３６０１ａは２つのゴルフボール３６０２ａおよび３６０３ａを有する。２つのボールは、後続のフレームにも現れる。ゴルフボールの画素パターンについての簡単な探索は、関連する領域を識別し得るが、経時的にどの領域が２つのゴルフボールのうちのどちらに対応するかは容易に決定できない場合がある。図３６に示されているように、物理的モデルは、ボール３６０３は静止しており、第３のフレーム内における領域３６２０は移動するボールの位置を含むことを明確にする。
【０２４１】
１以上の実施形態で、対象のオブジェクトについての探索領域を低減するために用いられ得る別の技術は、フレーム差分を用いて、移動するオブジェクトを有する領域を識別することである。この技術の例が図３７に示されている。図３６のように、１つの移動するゴルフボールと１つの静止したゴルフボールとを有する３つのフレーム３６０１ａ、３６０１ｂ、および３６０１ｃがある。３７０１および３７０５においてフレーム差分が算出され、フレーム３６０１ａと３６０１ｂとの間で異なる領域を示す３７０２、および、フレーム３６０１ｂと３６０１ｃとの間で異なる領域を示す３７０６を生じる。移動するゴルフボールについての探索は、例えば、これらの差分領域３７０３、３７０４、３７０７、および３７０８に焦点を当てて行われ得る。交点３７１０を用いて、フレーム３６０１ｂについての順方向の差分３７０６と逆方向の差分３７０２との間の共通差分領域３７１１を見出すことにより、更なる最適化が行われ得る。この例では、交点３７１１は、フレーム３６０１ｂ内における移動するゴルフボールの位置である可能性が高い単一の領域のみを有する。
【０２４２】
ここで、１以上の実施形態で、フレームを共通座標系に変換するために用いられ得る技術を述べる。上述のように、そのような変換は、オブジェクトモーションに加えてカメラモーションが存在する場合に必要となり得る。図３８では、最初に姿勢３８０２にあるカメラがフレーム３８０１をキャプチャする。次に、カメラは姿勢３８０３に移動し、フレーム３８０４を生成する。（なお、３８０１においてはオブジェクトにシェーティングが施されており、３８０４においては施されていない。これは単に、以下に述べる技術の説明を容易にするためである。）移動する対象のオブジェクト（ここでは図示せず）が識別され得るように、フレーム３８０４を元のカメラ姿勢３８０２に変換することが所望される。１以上の実施形態は、以下の技術またはその変形を用い得る。まず、第１のフレーム３８０１の中心領域を、３８０４から平行移動されたフレームの対応する中心領域と位置合わせするような、フレーム間の全体的なフレーム平行移動３８０５が決定される。中心領域は、任意の所望の形状およびサイズであってよい。図示されている例では、３８０１の中心領域は、家の画像を含む。従って、２つのフレーム内の家を３８０６において示されるように位置合わせするために、フレーム３８０４がフレーム平行移動３８０５によってシフトされる。（この説明的なケースでは）カメラ姿勢の変化はフレーム内の全てのオブジェクトの均一な平行移動を生じないので、このフレーム平行移動は、２つのフレームを完全に位置合わせするものではない。従って、方法は、更にローカルな位置合わせを行う。フレーム３８０４は複数のタイルに分割される。図３８では、フレームは３×３の格子を用いて９つのタイルに分割される。１以上の実施形態は、任意の所望の数および配列のタイル（非矩形タイルまたは任意の形状およびサイズのタイルを含む）を用い得る。次に、各タイルを前のフレームの対応するタイルと位置合わせするために、各タイルは、ローカルなタイル平行移動によって平行移動される。例えば、太陽を含む左上のタイルは、ローカルな平行移動３８０９によって左にシフトされる。フラグを含む中央のタイルは、ローカルな平行移動３８０８によって右にシフトされる。一般的に、全体的なフレーム平行移動およびローカルなタイル平行移動によって生じる位置合わせは、前のフレームの画素と平行移動された後続のフレームの画素との間の完全なマッチングを生じない場合がある。１以上の実施形態は、経験則を用いて（例えば、フレーム平行移動およびローカルなタイル平行移動の後の画素差分を最小化することにより）、最良の位置合わせを見出し得る。
【０２４３】
１以上の実施形態は、対象のオブジェクトについての衝撃の時間を含むモーション測定指標を算出し得る。例えば、上述のように、ゴルフに焦点を当てた実施形態は、ゴルフクラブヘッドとゴルフボールとの間のインパクトの時間を算出し得る。類似のインパクト（衝撃）時間は、例えば、野球、テニス、ホッケー、クリケット等の他のスポーツ用途においても有用であり得る。１以上の実施形態によって、衝撃時間を決定するために用いられる技術は、関連づけられたモーション測定指標における不連続性について探索することである。例えば、限定するものではないが、衝撃は、速度、加速度、角速度、または角加速度の急速な不連続な変化を生じ得る。図３９は、速度の不連続性を用いて衝撃を検出する実施形態を示す。ボール３９０１は壁３９１１に向かって移動する。５つのビデオフレーム３９０１、３９０２、３９０３、３９０４、および３９０５がキャプチャされる。例えば、上述の技術に類似の技術を用いて、５つのフレームの各々について、水平方向の速度ベクトルが決定される。経時的な水平方向の速度のグラフ３９２０は、時間ｔ３と時間ｔ４との間に、明らかな不連続性を示している。従って、この実施形態は、ボールと壁との衝撃がｔ３とｔ４との間の時間間隔３９２１内のどこかで生じたことを決定する。
【０２４４】
１以上の実施形態は、衝撃時間のより正確な推定を決定するための技術を用い得る。上記に示した方法は、衝撃時間が、衝撃前のサンプル（ここではビデオフレーム）と衝撃後のサンプルとの間の範囲内にあることを決定できるだけである。衝撃前のオブジェクトについての順方向の軌道および衝撃後のオブジェクトについての逆方向の軌道を推定し、これらの２つの軌道の交点の時間を算出することにより、衝撃時間についてのサンプル間の推定が更に行われ得る。この技術はグラフ３９３０に示されている。順方向の軌道３９３１は、衝撃前の経時的に減少する水平方向の位置（ｘ）を示す。逆方向の軌道３９３２は、衝撃後の経時的に増加する水平方向の位置（ｘ）を示す。これらの２つの軌道の交点３９４０は、サンプル時間ｔ３とｔ４との間にある衝撃の時間についての推定を与える。
【０２４５】
本方法の１以上の実施形態において、オブジェクトについての望ましい軌道は既知であるか、または推定され得る。例えば、ゴルフのスイングを測定する実施形態では、ゴルフボールについての望ましい軌道はホールに向かう軌道である。例えば野球では、バッターによって打たれた野球ボールについての望ましい軌道は、野球ボールがフェアゾーンに深く打たれる軌道であり得る。１以上の実施形態は、ビデオ解析、センサデータ、またはそれらの両方を用いて、対象のオブジェクトの実際の軌道を測定し、この実際の軌道を望ましい軌道と比較する。この比較は、オブジェクトについてのモーション測定指標を生成する。更に、１以上の実施形態は、観察された軌道を生じた初期条件を測定し得る。例えば、ゴルフでは、ボールとのインパクトの時間におけるクラブヘッドのの向き、位置、および速が、その後のボール軌道を決定する。同様に、野球では、ボールとのインパクトの時間におけるバットの向き、位置、および速度が（ピッチャーによって投げられたボールの速度と共に）、その後のボール軌道を決定する。これらの初期条件は、センサデータ、ビデオ解析、またはそれらの両方を用いて、モーション測定指標としても測定され得る。１以上の実施形態は、更に、観察された軌道の代わりに望ましい軌道を生じるためにこれらの初期条件に必要な変更を算出して、これらの変更を更なるモーション測定指標として報告し得る。図４０は、パッティングを測定する実施形態での例を示す。パターは、グリップ上に、パターのモーションを測定するセンサ４０１０を有する。更に、ビデオカメラ４０２０は、打撃後のボールの軌道を記録する。ボールについての望ましい軌道４０２３は、ホール４００２内へと向かう軌道である。この例では、ボール４０００は或る角度で打たれ、実際の軌道４０２２上を進み、４００１において止まる。この軌道はカメラ４０２０によって観察され、解析モジュール４０２１によって解析される。得られるモーション測定指標４０３０および４０４０は、そのパッティングに関するフィードバックをゴルファーに提供する。測定指標４０３０は、パター上のセンサから算出される。測定指標４０３０は、例えば、インパクトにおけるパターの速度が３ｍｐｈ（約時速４．８３ｋｍ）であったこと、および、バックストロークからフォワードストロークまでにパターフェースが左に１度回転したことを示す。軌道４０２２の解析は、ボールをホール内に入れるためにパッティングに必要な補正が、狙いを右に５度ずらし、パター速度を１０％増加させることであることを決定する。軌道を望ましい軌道に変えるために必要な初期条件の変更の解析は、例えば、軌道に影響し得る他の任意の要因（例えば、このケースでは、パッティンググリーンの速度または勾配等）を考慮し得る。
【０２４６】
１以上の実施形態において、センサまたはビデオデータは、長い期間にわたって収集され得るが、それらの期間のうちの特定の部分のみが興味深いアクティビティを含む。従って、１以上の実施形態は、対象のアクティビティのシグネチャーを受信して、これらのシグネチャーを用いて、それらの対象のアクティビティにフォーカスするためにセンサおよびビデオデータをフィルタリングし得る。例えば、１以上の実施形態において、ビデオから、対象のアクティビティをはっきりと示す１組のハイライトフレームが選択され得る。図４１は、対象のアクティビティの位置を特定するために、センサデータを用いてハイライトフレームを生成する実施形態の例を示す。スノーボードに、加速度計を含むセンサ４１０２が取り付けられる。更に、ビデオカメラ４１０１は、スノーボーダーのビデオをキャプチャする。１以上の実施形態において、ユーザにビデオカメラ４１０１が取り付けられてもよく、カメラはセンサ４１０２を含み得る。この実施形態は、対象のアクティビティについてのシグネチャー４１２０を取得する。この説明的な例では、１つの対象のアクティビティは、高速でのジャンプである。ジャンプについてのシグネチャーは、加速度の大きさがｇ／２より低く減少することであり、これは、スノーボードが自由落下していること、および、速度の大きさが５０ｍｐｈ（約時速８０．５ｋｍ）より高いことを示す。センサ４１０２から受信された加速度の大きさ４１１０は、経時的に加速度閾値と比較される。加速度計は（他の慣性センサ（例えばジャイロ等）からのデータと共に）統合されて、速度データ４１１１を構成する。フレーム４１０３において、スノーボーダーが小さなジャンプを行ったので、加速度の大きさが閾値より低く減少するが、その時間における速度は、アクティビティシグネチャー４１２０にマッチするのに十分に速いものではない。ビデオフレーム４１０４に対応する時間において、加速度の大きさは再び閾値より低く減少する。この時間における速度も必要な閾値を超えているので、このデータはアクティビティシグネチャー４１２０にマッチする。加速度モーション測定指標を閾値と比較することによって検出されたジャンプアクティビティを示すために、３つのハイライトビデオフレーム４１３０が選択される。１以上の実施形態は、アクティビティ期間中にキャプチャされたフレームの全てを含む対象のアクティビティの最中のハイライトフレームを選択し得る。１以上の実施形態は、ハイライトフレームに、アクティビティ期間の前または後の更なるフレームを追加し得る。１以上の実施形態は、例えば、完全なビデオではなく小さいセットのハイライト画像を生成するために、アクティビティ期間中の選択されたフレームのみをサンプリングし得る。図４１に示されている例では、スノーボードの速度が、グラフィックオーバーレイ４１３５と共に、ハイライトフレーム上にオーバーレイされる。この速度は、例えば、センサデータから、ビデオ解析から、または両方のデータソースのセンサ融合によって算出され得る。１以上の実施形態は、任意の所望の測定指標またはグラフィックをハイライトフレーム上にオーバーレイし得る。次に、オーバーレイ４１３５を有するハイライトフレーム４１３０が、ネットワーク４１４０を介して、ハイライトフレームの任意の１組の消費者へと配信される。ハイライトフレームを生成する１以上の実施形態において、ハイライトフレームの消費者としては、例えば、任意のビデオまたは画像視聴装置、ビデオ、画像、またはデータ用のリポジトリ、任意のタイプのコンピュータ（例えば、サーバ、デスクトップ、ラップトップ、またはタブレット等）、任意のモバイル装置（例えば、電話等）、ソーシャルメディアサイト、任意のネットワーク、および救急サービスが挙げられるが、それらに限定されない。衝突検出システムにおいてビデオハイライトを救急サービスに送信し得る実施形態の例は、例えば、自転車またはオートバイ用のものあである。この実施形態は、例えば、衝突を検出するための加速度計と、ビデオを連続的にキャプチャするための車載カメラとを用いてユーザをモニタリングし得る。衝突が検出された際、位置および衝突の深刻度に関する情報が、衝突を示すビデオと共に、救急サービスに直接送信され得る。ハイライト事象であれ、衝突であれ、または他の任意のタイプの事象であれ、事象に対してローカルな任意のカメラが、例えば事象の位置を包む視野を用いてクエリーされ、それらのカメラがその位置および時間のビデオを有するか否かが決定され得る。事象をカバーするビデオ、またはその事象の付近にあり時間的に近い他の任意のセンサもクエリーされて、グループ事象を定義するために送信され得る。心拍数および音もしくは音のレベルを含む他のセンサデータも、ハイライトの価値がある事象または他のタイプの事象（例えば、失敗等）を示し得る。ユーザと関連づけられた任意のグループのメンバーが、事象またはグループ事象に加入して、その日のハイライトまたは失敗を取得してもよい。
【０２４７】
ハイライト閾値に関して、１以上の測定指標による最良の事象がタグづけされ、更に、最悪の事象または他の任意の範囲の事象がタグづけされ得る。事象のタグづけは、その事象が、それぞれの事象ビデオまたはモーションデータが所与のハイライトリールまたは失敗リールと関連づけられることを示し得るものであることを示し得る。１以上の実施形態において、測定指標またはアクティビティシグネチャーは、大失敗または他の失敗（例えば、ユーザが技を行うのを失敗したとき、または大きなミスをしたとき）を識別するために用いられ得る。図４１Ａは、図４１のスノーボーダーの変形例を示す。４１Ａ２０のシグネチャーでは、失敗は、高い速度の後に間もなく非常に小さいまたは０の速度が続くものとして定義されており、このシグネチャーは衝突を特徴づけるものである。フレーム４１０４において、スノーボーダーはジャンプを行い、フレーム４１Ａ０５において木にぶつかる。従って、４１Ａ１３において、速度は高い速度から０へと急速に遷移する。大失敗フレーム４１Ａ３０は、失敗を記録するよう選択される。図４１におけるように、これらの失敗フレームには、測定指標データ４１３５がオーバーレイされ得る。失敗フレームは、他のビューアまたはリポジトリ４１４０に送信されてもよく、選択された失敗フレーム以外のフレームを捨てるためのメッセージ４１Ａ５０がカメラに送信され得る。１以上の実施形態は、様々なタイプのアクティビティを識別およびキャプチャするために、対象のアクティビティについての複数のシグネチャーを用い得る。例えば、或る実施形態は、図４１のシグネチャー４１２０のようなハイライトシグネチャーと、図４１Ａのシグネチャー４１Ａ２０のような失敗シグネチャーとを同時に用い得る。ハイライトリールまたは失敗リールを生成するためのハイライトまたは失敗の測定指標を指定するために、任意のビデオの特徴またはモーションデータが用いられ得る。
【０２４８】
１以上の実施形態は、上述の技術を用いてハイライトフレームを生成し、次に、ストレージ空間および帯域幅を節約するために、ハイライトではないフレームを捨て得る。また、１以上の実施形態は、他のシステム（例えば、ビデオを最初にキャプチャしたカメラ等）に、ハイライトフレームのみが保持されるべきであり、他のフレームは捨てられるべきであることを示すメッセージを送信し得る。これは図４１に示されており、ハイライトフレームとして選択されたフレーム以外の全てのフレームを捨てるようカメラに伝える破棄メッセージ４１５０がカメラ４１０１に送信される。
【０２４９】
１以上の実施形態では、モーション測定指標は、アクティビティについての経過時間を含み得るものであり、アクティビティについてのスタート時間およびフィニッシュ時間を決定するために、センサデータとビデオ解析とが組み合わされ得る。図４２は、モーションセンサを用いてスタート時間を決定すると共に、ビデオ解析を用いてフィニッシュ時間を決定する実施形態を示す。ユーザ４２０１は、例えば、スタートライン４２０３とフィニッシュライン４２０４との間において短距離走を走っている。加速度計を含むモーションキャプチャ要素４２１０がユーザに取り付けられている。短距離走の前、ユーザは静止している。水平方向（ｘ）における加速度４２１１が閾値を超えたときに、短距離走のスタートが検出される。これは、時間４２１２（ｔＳｔａｒｔ）において生じる。この例では、ユーザはフィニッシュラインを横断した後も順方向に移動を続けるので、センサは、ユーザがフィニッシュラインを横断したときを直接決定できない。従って、フィニッシュラインにカメラ４２２０が配置される。ユーザがフィニッシュラインを横断したときを検出するために、ビデオフレーム４２２１がモニタリングされる。例えば、正確な横断時間を決定するために、フレーム間の軌道補間を用い得るビデオフレーム解析を用いて、フィニッシュ時間４２２２（ｔＦｉｎｉｓｈ）が決定される。このようにして、短距離走についての経過時間４２３０が算出され得る。この説明的な例は、スタート時間についてはセンサを用い、フィニッシュ時間についてはカメラを用いる。１以上の実施形態は、アクティビティについてのスタート時間およびフィニッシュ時間を決定するために、センサおよびカメラの様々な他の組合せを用い得る。例えば、順方向のモーションのスタートのシグネチャーについてビデオを解析することによってスタート時間の位置を特定するために、カメラが用いられ得る。
【０２５０】
本明細書で開示される発明を、具体的な実施形態およびその応用例を用いて説明したが、それらに対して、特許請求の範囲に記載される本発明の範囲を逸脱することなく、当業者によって多くの変更および変形が行われ得る。
【符号の説明】
【０２５１】
１００  システム
１０１、１０２、１０２ａ、１０２ｂ  モバイル装置
１０４、１３０、１３０ａ、１０３ｂ  カメラ
１０５  コンピュータ
１１０  用具
１１１  モーションキャプチャ要素
１２０  ディスプレイ
１５０、１５１  ユーザ
１６０  コンピュータ
１６４  通信インターフェース
１６８  センサ
１７２  データベース
【図１】
2018523868.tif 000003
【図１Ａ】
2018523868.tif 000004
【図１Ｂ】
2018523868.tif 000005
【図１Ｃ】
2018523868.tif 000006
【図１Ｄ】
2018523868.tif 000007
【図１Ｅ】
2018523868.tif 000008
【図２Ａ】
2018523868.tif 000009
【図２Ｂ】
2018523868.tif 000010
【図３】
2018523868.tif 000011
【図４Ａ】
2018523868.tif 000012
【図４Ｂ】
2018523868.tif 000013
【図５】
2018523868.tif 000014
【図６】
2018523868.tif 000015
【図７】
2018523868.tif 000016
【図８】
2018523868.tif 000017
【図９】
2018523868.tif 000018
【図１０】
2018523868.tif 000019
【図１１】
2018523868.tif 000020
【図１２】
2018523868.tif 000021
【図１３】
2018523868.tif 000022
【図１４】
2018523868.tif 000023
【図１５】
2018523868.tif 000024
【図１６】
2018523868.tif 000025
【図１７】
2018523868.tif 000026
【図１８】
2018523868.tif 000027
【図１９】
2018523868.tif 000028
【図２０】
2018523868.tif 000029
【図２１】
2018523868.tif 000030
【図２２】
2018523868.tif 000031
【図２３】
2018523868.tif 000032
【図２４】
2018523868.tif 000033
【図２５】
2018523868.tif 000034
【図２６】
2018523868.tif 000035
【図２７】
2018523868.tif 000036
【図２８】
2018523868.tif 000037
【図２９】
2018523868.tif 000038
【図３０】
2018523868.tif 000039
【図３１】
2018523868.tif 000040
【図３２】
2018523868.tif 000041
【図３２Ａ】
2018523868.tif 000042
【図３３】
2018523868.tif 000043
【図３４】
2018523868.tif 000044
【図３５】
2018523868.tif 000045
【図３６】
2018523868.tif 000046
【図３７】
2018523868.tif 000047
【図３８】
2018523868.tif 000048
【図３９】
2018523868.tif 000049
【図４０】
2018523868.tif 000050
【図４１】
2018523868.tif 000051
【図４１Ａ】
2018523868.tif 000052
【図４２】
2018523868.tif 000053
【国際調査報告】
2018523868.tif 000054
2018523868.tif 000055