(57)【特許請求の範囲】
【請求項１】
トレーニの動作を評価する動作評価方法であって、
機械学習によって生成された検出モデルのうち前記トレーニの動作の種別に応じた検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップを備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価するステップを備える、
動作評価方法。
【請求項２】
前記評価するステップは、各部分動作に対応する部分動画の有無、各部分動画の順番、各部分動画の期間、及び、各部分動画における部分動作の開始時間の少なくとも１つを参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
請求項１に記載の動作評価方法。
【請求項３】
前記トレーニの動作の種別に関する種別情報を取得するステップを備える、
請求項１又は２に記載の動作評価方法。
【請求項４】
前記全体動画を参照して、前記トレーニの動作の種別を特定するステップを備える、請求項１又は２に記載の動作評価方法。
【請求項５】
前記評価するステップは、前記トレーニの動作の種別に応じた評価条件を参照して、各部分動画を評価する、
請求項１〜４の何れかに記載の動作評価方法。
【請求項６】
トレーニの動作を評価する動作評価方法であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップを備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価するステップを備え、
前記評価するステップは、各部分動作に対応する部分動画の有無、各部分動画の順番、各部分動画の期間、及び、各部分動画における部分動作の開始時間の少なくとも１つを参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
動作評価方法。
【請求項７】
前記トレーニの動作の種別に関する種別情報を取得するステップを備える、
請求項６に記載の動作評価方法。
【請求項８】
前記全体動画を参照して、前記トレーニの動作の種別を特定するステップを備える、請求項６に記載の動作評価方法。
【請求項９】
前記評価するステップは、前記トレーニの動作の種別に応じた評価条件を参照して、各部分動画を評価する、
請求項７又は８に記載の動作評価方法。
【請求項１０】
トレーニの動作を評価する動作評価方法であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップを備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価するステップを備え、
前記評価するステップは、前記検出された部分動画の数を参照して、前記全体動作を評価する、
動作評価方法。
【請求項１１】
トレーニの動作を評価する動作評価方法であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップを備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価するステップを備え、
前記評価するステップは、
前記部分動作を構成する複数の要素動作のそれぞれを評価し、
各要素動作の評価結果を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
動作評価方法。
【請求項１２】
前記トレーニの動作の種別に関する種別情報を取得するステップを備え、
前記取得された種別情報を参照して、前記全体動画の種別を特定するステップを備える、
請求項１０又は１１に記載の動作評価方法。
【請求項１３】
前記全体動画を参照して、前記トレーニの動作の種別を特定するステップを備える、請求項１０又は１１に記載の動作評価方法。
【請求項１４】
前記検出するステップは、前記特定された種別に応じた検出モデルを用いる、
請求項１２又は１３に記載の動作評価方法。
【請求項１５】
前記評価するステップは、前記特定された種別に応じた評価条件を参照して、各部分動画を評価する、
請求項１２〜１４の何れかに記載の動作評価方法。
【請求項１６】
前記検出するステップは、
前記複数の部分動作のそれぞれに対応する検出モデルを用いて、各部分動作の尤度を計算し、
各部分動作の尤度に基づいて、各部分動画を検出する、
請求項１〜１５の何れかに記載の動作評価方法。
【請求項１７】
前記評価するステップは、前記全体動画に含まれる前記トレーニ以外の人物の動作、並びに、前記トレーニの全体動作及び部分動作の少なくとも１つの組合せを参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
請求項１〜１６の何れかに記載の動作評価方法。
【請求項１８】
前記評価するステップは、前記全体動画に含まれる前記トレーニ以外の物体の様子、並びに、前記トレーニの全体動作及び部分動作の少なくとも１つの組合せを参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
請求項１〜１７の何れかに記載の動作評価方法。
【請求項１９】
トレーニの動作を評価する動作評価装置であって、
機械学習によって生成された検出モデルのうち前記トレーニの動作の種別に応じた検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、各部分動作に対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備える、
動作評価装置。
【請求項２０】
トレーニの動作を評価する動作評価装置であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備え、
前記評価する手段は、各部分動作に対応する部分動画の有無、各部分動画の順番、各部分動画の期間、及び、各部分動画における部分動作の開始時間の少なくとも１つを参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
動作評価装置。
【請求項２１】
トレーニの動作を評価する動作評価装置であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備え、
前記評価する手段は、前記検出された部分動画の数を参照して、前記全体動作を評価する、
動作評価装置。
【請求項２２】
トレーニの動作を評価する動作評価装置であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備え、
前記評価する手段は、
前記部分動作を構成する複数の要素動作のそれぞれを評価し、
各要素動作の評価結果を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
動作評価装置。
【請求項２３】
トレーニの動作を評価する動作評価システムであって、
クライアント装置と、サーバと、を備え、
前記クライアント装置は、
一連の部分動作を含む全体動作が撮影された全体動画を前記サーバに送信する手段を備え、
前記サーバは、
機械学習によって生成された検出モデルのうち前記トレーニの動作の種別に応じた検出モデルを用いて、前記全体動画から、各部分動作に対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備える、
動作評価システム。
【請求項２４】
トレーニの動作を評価する動作評価システムであって、
クライアント装置と、サーバと、を備え、
前記クライアント装置は、
一連の部分動作を含む全体動作が撮影された全体動画を前記サーバに送信する手段を備え、
前記サーバは、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備え、
前記評価する手段は、各部分動作に対応する部分動画の有無、各部分動画の順番、各部分動画の期間、及び、各部分動画における部分動作の開始時間の少なくとも１つを参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
動作評価システム。
【請求項２５】
トレーニの動作を評価する動作評価システムであって、
クライアント装置と、サーバと、を備え、
前記クライアント装置は、
一連の部分動作を含む全体動作が撮影された全体動画を前記サーバに送信する手段を備え、
前記サーバは、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備え、
前記評価する手段は、前記検出された部分動画の数を参照して、前記全体動作を評価する、
動作評価システム。
【請求項２６】
トレーニの動作を評価する動作評価システムであって、
クライアント装置と、サーバと、を備え、
前記クライアント装置は、
一連の部分動作を含む全体動作が撮影された全体動画を前記サーバに送信する手段を備え、
前記サーバは、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備え、
前記評価する手段は、
前記部分動作を構成する複数の要素動作のそれぞれを評価し、
各要素動作の評価結果を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
動作評価システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作評価装置、動作評価方法、動作評価システムに関する。
【背景技術】
【０００２】
様々な分野（例えば、介護、医療、スポーツ等の分野）で、トレーニングの様子の動画を撮影し、且つ、当該動画を利用して専門知識を有する指導者が指導することにより、学習を効率化する取り組みが行われている。
【０００３】
トレーニングを実施するトレーニは、指導者の指導を受けられないときに、自ら撮影したトレーニングの様子を含む動画を自ら学習する場合がある。トレーニングの様子が撮影された動画を用いた学習は、トレーニの学習効率の向上の観点で有用である。
【０００４】
例えば、特許文献１には、スポーツの分野において、画像から推定される被検者の関節間の距離と基準長さとの比に基づいて、被検者の動作状態を示す値を計算し、且つ、当該動作状態を示す値に基づいて被検者の動作を評価する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開ＷＯ２０１９０８２３７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実際のトレーニングでは、指導者は、個別の動作だけではなく、一連の動作を全体的に評価する。
【０００７】
しかし、特許文献１では、動作を個別に評価するものであるが、一連の動作を全体的に評価するものではない。
したがって、特許文献１によって得られる評価は、指導者の評価とは大きく異なる。
【０００８】
本発明の目的は、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することである。
【課題を解決するための手段】
【０００９】
本発明の一態様は、
トレーニの動作を評価する動作評価方法であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップを備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価するステップを備える、
動作評価方法である。
【発明の効果】
【００１０】
本発明によれば、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態の動作評価システムの構成を示すブロック図である。
【図２】図１の動作評価システムの機能ブロック図である。
【図３】第１実施形態の概要の説明図である。
【図４】本実施形態のユーザ情報データベースのデータ構造を示す図である。
【図５】本実施形態の動作識別情報データベースのデータ構造を示す図である。
【図６】本実施形態の部分動作情報データベースのデータ構造を示す図である。
【図７】本実施形態の全体動画情報データベースのデータ構造を示す図である。
【図８】本実施形態の評価条件データテーブルのデータ構造を示す図である。
【図９】第１実施形態の検出モデルの教師データの説明図である。
【図１０】第１実施形態の動作の評価処理のシーケンス図である。
【図１１】図１０の評価の詳細なフローチャートである。
【図１２】図１０の情報処理において表示される画面例を示す図である。
【図１３】図１１の部分動画の検出の説明図である。
【図１４】第１実施形態の部分評価情報のデータ構造を示す図である。
【図１５】変形例１の情報処理のシーケンス図である。
【図１６】図１５の情報処理において表示される画面例を示す図である。
【図１７】変形例２の概要の説明図である。
【図１８】変形例３の概要の説明図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００１３】
（１）第１実施形態
第１実施形態を説明する。
【００１４】
（１−１）動作評価システムの構成
第１実施形態の動作評価システムの構成を説明する。図１は、第１実施形態の動作評価システムの構成を示すブロック図である。図２は、図１の動作評価システムの機能ブロック図である。
【００１５】
図１に示すように、動作評価システム１は、クライアント装置１０と、サーバ３０とを備える。
クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。
【００１６】
クライアント装置１０は、サーバ３０にリクエストを送信するコンピュータ（「情報処理装置」の一例）である。クライアント装置１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。
【００１７】
サーバ３０は、クライアント装置１０から送信されたリクエストに応じたレスポンスをクライアント装置１０に提供するコンピュータ（「動作評価装置」の一例）である。サーバ３０は、例えば、ウェブサーバである。
【００１８】
（１−１−１）クライアント装置の構成
クライアント装置１０の構成を説明する。
【００１９】
図２に示すように、クライアント装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４と、カメラ１５と、を備える。
【００２０】
記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
【００２１】
プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、撮影アプリケーション）のプログラム
【００２２】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
【００２３】
プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、クライアント装置１０の機能を実現するように構成される。プロセッサ１２は、例えば、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、又は、これらの組み合わせである。
【００２４】
入出力インタフェース１３は、クライアント装置１０に接続される入力デバイスからユーザの指示を取得し、かつ、クライアント装置１０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
【００２５】
通信インタフェース１４は、クライアント装置１０とサーバ３０との間の通信を制御するように構成される。
【００２６】
カメラ１５は、画像（例えば、動画）を撮影するように構成される。
【００２７】
（１−１−２）サーバの構成
サーバ３０の構成を説明する。
【００２８】
図２に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。
【００２９】
記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
【００３０】
プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム
【００３１】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
【００３２】
プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するように構成される。プロセッサ３２は、例えば、ＣＰＵ、ＡＳＩＣ、ＦＰＧＡ、又は、これらの組み合わせである。
【００３３】
入出力インタフェース３３は、サーバ３０に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ３０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
【００３４】
通信インタフェース３４は、サーバ３０とクライアント装置１０との間の通信を制御するように構成される。
【００３５】
（１−２）第１実施形態の概要
第１実施形態の概要を説明する。図３は、第１実施形態の概要の説明図である。
【００３６】
図３に示すように、クライアント装置１０は、サーバ３０に全体動画を送信する。全体動画は、トレーニの全体動作が撮影された動画である。全体動作は、一連の複数の部分動作を含む。
【００３７】
サーバ３０は、機械学習によって生成された検出モデルを用いて、全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する。
サーバ３０は、検出された複数の部分動画を参照して、トレーニの全体動作及び部分動作の少なくとも１つを評価する。
【００３８】
（１−３）データ構造
第１実施形態のデータ構造を説明する。以下のデータは、記憶装置３１に記憶される。
【００３９】
（１−３−１）ユーザ情報データベース
本実施形態のユーザ情報データベースを説明する。図４は、本実施形態のユーザ情報データベースのデータ構造を示す図である。
【００４０】
図４のユーザ情報データベースには、ユーザ情報が格納されている。ユーザ情報は、ユーザに関する情報である。
ユーザ情報データベースは、「ユーザＩＤ」フィールドと、「ユーザ名」フィールドと、「ユーザ属性」フィールドと、「クライアントＩＤ」フィールドと、を含む。各フィールドは、互いに関連付けられている。
【００４１】
「ユーザＩＤ」フィールドには、ユーザ識別情報が格納される。ユーザ識別情報は、ユーザを識別する情報である。
【００４２】
「ユーザ名」フィールドには、ユーザ名に関する情報（例えば、テキスト）が格納される。
【００４３】
「ユーザ属性」フィールドには、ユーザ属性情報が格納される。ユーザ属性情報は、ユーザの属性に関する情報である。ユーザの属性は、例えば、以下の少なくとも１つを含む。
・性別
・年齢
・職業（介護士、医師、スポーツ選手等）
【００４４】
「クライアントＩＤ」フィールドには、クライアント識別情報が格納される。クライアント識別情報は、ユーザのクライアント装置１０を識別する情報である。
【００４５】
（１−３−２）動作種別情報データベース
本実施形態の動作種別情報データベースを説明する。図５は、本実施形態の動作識別情報データベースのデータ構造を示す図である。
【００４６】
図５の動作種別情報データベースには、動作種別情報が格納されている。動作種別情報は、動作の種別に関する情報である。
動作種別情報データベースは、「全体動作ＩＤ」フィールドと、「全体動作名」フィールドと、「部分動作ＩＤ」フィールドと、を含む。各フィールドは、互いに関連付けられている。
【００４７】
「全体動作ＩＤ」フィールドには、全体動作識別情報が格納される。全体動作識別情報は、全体動作を識別する情報である。
【００４８】
「全体動作名」フィールドには、全体動作名に関する情報（例えば、テキスト）が格納される。全体動作は、例えば、以下の少なくとも１つを含む。
・介護関連動作（一例として、手洗い、立ち上がり介助、歩行介助等）
・医療関連動作（一例として、縫合、切開等）
・スポーツ関連動作（一例として、投球、走行、歩行等）
【００４９】
「部分動作ＩＤ」フィールドには、全体動作を構成する部分動作を識別する部分動作識別情報が格納される。
【００５０】
（１−３−３）部分動作情報データベース
本実施形態の部分動作情報データベースを説明する。図６は、本実施形態の部分動作情報データベースのデータ構造を示す図である。
【００５１】
図６の部分動作情報データベースには、部分動作情報が格納されている。部分動作情報は、部分動作に関する情報である。
部分動作情報データベースは、「部分動作ＩＤ」フィールドと、「部分動作名」フィールドと、「モデルＩＤ」フィールドと、を含む。各フィールドは、互いに関連付けられている。
部分動作情報データベースは、全体動作識別情報に関連付けられている。
【００５２】
「部分動作ＩＤ」フィールドには、部分動作識別情報が格納される。部分動作識別情報は、全体動作を構成する部分動作を識別する情報である。
【００５３】
「部分動作名」フィールドには、部分動作名に関する情報（例えば、テキスト）が格納される。例えば、全体動作「手洗い」の部分動作は、「手のひらを洗う」、「手の甲を洗う」、「指先を洗う」、「すすぐ」等を含む。
【００５４】
「モデルＩＤ」フィールドには、モデル識別情報が格納される。モデル識別情報は、全体動画から部分動作に該当するフレーム（以下「部分動画」という）を検出する検出モデルを識別する情報である。
【００５５】
（１−３−４）全体動画情報データベース
本実施形態の全体動画情報データベースを説明する。図７は、本実施形態の全体動画情報データベースのデータ構造を示す図である。
【００５６】
図７の全体動画情報データベースには、全体動画情報が格納される。全体動画情報は、全体動画に関する情報である。
全体動画情報データベースは、「全体動画ＩＤ」フィールドと、「全体動画」フィールドと、「評価結果」フィールドと、を含む。各フィールドは、互いに関連付けられている。
全体動画情報データベースは、ユーザ識別情報に関連付けられている。
【００５７】
「全体動画ＩＤ」フィールドには、全体動画識別情報が格納される。全体動画識別情報は、全体動画を識別する情報である。
【００５８】
「全体動画」フィールドには、全体動画が格納される。
【００５９】
「評価結果」フィールドには、評価結果情報が格納される。評価結果情報は、全体動画に含まれる全体動作及び部分動作に対する評価の結果に関する情報である。「評価結果」フィールドは、「評価日時」フィールドと、「部分評価」フィールドと、「全体評価」フィールドと、を含む。
【００６０】
「評価日時」フィールドには、評価の日時に関する情報が格納される。
【００６１】
「部分評価」フィールドには、部分評価情報が格納される。部分評価情報は、部分動作の評価結果に関する情報である。
【００６２】
「全体評価」フィールドには、全体評価情報が格納される。全体評価情報は、全体動作の評価結果に関する情報である。
【００６３】
（１−３−５）評価条件データテーブル
本実施形態の評価条件データテーブルを説明する。図８は、本実施形態の評価条件データテーブルのデータ構造を示す図である。
【００６４】
図８の評価条件データテーブルには、評価条件情報が格納されている。評価条件情報は、全体動作及び部分動作の評価の際に参照される評価条件に関する情報である。
評価条件データテーブルは、「評価指標」フィールドと、「評価スコア」フィールドと、を含む。各フィールドは、互いに関連付けられている。
評価条件データテーブルは、部分動作識別情報に関連付けられている。つまり、評価条件は、部分動作毎に用意される。
【００６５】
「評価指標」フィールドには、評価指標情報が格納される。評価指標情報は、評価指標に関する情報である。評価指標は、例えば、以下を含む。
・「有無」…部分動画の有無
・「順番」…全体動画における部分動画の順番
・「期間」…部分動画の長さ
・「開始時間」…全体動画の開始時点から部分動画の開始時点までの経過時間
【００６６】
「評価スコア」フィールドには、評価指標毎の評価スコアに関する条件が格納されている。
例えば、部分動画が無い（つまり、部分動作が実行されなかった）場合には、部分動作の評価スコアは「０」である。部分動画が有る（つまり、部分動作が実行された）場合には、部分動作の評価スコアは「１」である。
部分動画の順番が誤りである（つまり、所定の順番に従って部分動作が実行されなかった）場合には、部分動作の評価スコアは「０」である。部分動画の順番が正しい（つまり、所定の順番に従って部分動作が実行された）場合には、部分動作の評価スコアは「１」である。
部分動画の長さが所定の期間閾値Ｐｔｈ未満である（つまり、所定の期間だけ部分動作が実行されなかった）場合には、部分動作の評価スコアは「０」である。部分動画の長さが期間閾値Ｐｔｈ以上である（つまり、所定の期間だけ部分動作が実行された）場合には、部分動作の評価スコアは「１」である。
部分動画の開始時間ＳＴが所定の第１開始時間閾値Ｓｔｈ１未満である（つまり、所定タイミング迄に部分動作が実行された）場合には、部分動作の評価スコアは「０」である。部分動画の開始時間ＳＴが第１開始時間閾値Ｓｔｈ１以上であり、且つ、第２開始時間閾値Ｓｔｈ２（＞Ｓｔｈ１）未満である（つまり、所定期間内に部分動作が実行された）場合には、部分動作の評価スコアは「１」である。
【００６７】
（１−４）情報処理
第１実施形態の情報処理を説明する。
【００６８】
（１−４−１）検出モデルの生成処理
第１実施形態の検出モデルの生成処理を説明する。図９は、第１実施形態の検出モデルの教師データの説明図である。
【００６９】
本実施形態の検出モデルの生成処理を実行するために、教師データ、機械学習モデル、及び、サンプル部分動画を用意する。
【００７０】
図９に示すように、教師データは、複数の学習用動画、及び、複数の正解データの組合せである。
学習用動画は、対象動画Ｙ、及び、対象動画とは異なる非対象動画Ｘｎのランダムな組合せである。
正解データは、各学習用動画における対象動画Ｙの位置を示す時系列データである。
【００７１】
検出モデルは、機械学習モデルに教師データを機械学習させることにより生成される。機械学習は、学習用動画を入力すると、正解データを出力するように機械学習モデルのパラメータを調整することにより実行される。これにより、学習用動画が入力されると、対象動画Ｙの尤度を時系列で出力するように構成された汎用モデルが生成される。
【００７２】
対象動画Ｙが部分動画となるように、汎用モデルを転移学習させる。これにより、全体動画から部分動画を検出するための検出モデルが生成される。
【００７３】
（１−４−２）動作の評価処理
第１実施形態の動作の評価処理を説明する。図１０は、第１実施形態の動作の評価処理のシーケンス図である。図１１は、図１０の評価の詳細なフローチャートである。図１２は、図１０の情報処理において表示される画面例を示す図である。図１３は、図１１の部分動画の検出の説明図である。図１４は、第１実施形態の部分評価情報のデータ構造を示す図である。
【００７４】
以下の例では、クライアント装置１０のユーザは、動作のトレーニングを実行するトレーニ（例えば、介護者、医師、スポーツ選手等）である。
図１０の処理は、ユーザを識別するユーザ識別情報を用いて撮影アプリケーションを起動することによって開始する。
【００７５】
図１０に示すように、クライアント装置１０は、動作種別の指定の受付（Ｓ１１１）を実行する。
具体的には、プロセッサ１２は、画面Ｇ１０（図１２）をディスプレイに表示する。
【００７６】
画面Ｇ１０は、操作オブジェクトＢ１０ａ〜Ｂ１０ｄを含む。
操作オブジェクトＢ１０ａ〜Ｂ１０ｃは、それぞれ、全体動作名「手洗い」、「立ち上がり介助」、又は、「歩行介助」を指定するためのユーザ指示を受け付けるためのオブジェクトである。操作オブジェクトＢ１１ａ〜Ｂ１１ｃには、それぞれ、全体動作名「手洗い」、「立ち上がり介助」、及び、「歩行介助」の全体動作識別情報が割り当てられている。ユーザが操作オブジェクトＢ１０ａ〜Ｂ１０ｃの何れかを操作すると、プロセッサ１２は、操作された操作オブジェクトＢ１０ａ〜Ｂ１０ｃの何れかに割り当てられた全体動作識別情報を、評価の対象となる全体動作識別情報（以下「対象全体動作識別情報」という）として受け付ける。
操作オブジェクトＢ１０ｄは、動画の撮影を開始するためのユーザ指示を受け付けるためのオブジェクトである。操作オブジェクトＢ１０ｄが操作されると、プロセッサ１２は、カメラ１５に動画の撮影を開始させる。
【００７７】
ステップＳ１１１の後、クライアント装置１０は、全体動作の撮影（Ｓ１１２）を実行する。
具体的には、ユーザが操作オブジェクトＢ１０ａ及びＢ１０ｄを操作すると、プロセッサ１２は、カメラ１５に動画の撮影を開始させる。
ユーザが動画の撮影を終了するためのユーザ指示をクライアント装置１０に与えると（例えば、動画の撮影を終了するためのユーザ指示を受け付ける操作オブジェクト（不図示）を操作すると）、プロセッサ１２は、全体動画を記憶装置１１に記憶し、且つ、画面Ｇ１１（図１２）をディスプレイに表示する。
【００７８】
画面Ｇ１１は、動画オブジェクトＭＯＶ１１と、操作オブジェクトＢ１１と、を含む。
動画オブジェクトＭＯＶ１１は、記憶装置１１に記憶された全体動画のサムネイル画像のオブジェクトである。
操作オブジェクトＢ１１は、全体動画をサーバ３０にアップロードするためのユーザ指示を受け付けるオブジェクトである。ユーザが操作オブジェクトＢ１１を操作すると、プロセッサ１２は、記憶装置１１に記憶された全体動画をサーバ３０にアップロードする。
【００７９】
ステップＳ１１２の後、クライアント装置１０は、評価リクエスト（Ｓ１１３）を実行する。
具体的には、ユーザが操作オブジェクトＢ１１を操作すると、プロセッサ１２は、評価リクエストデータをサーバ３０に送信する。評価リクエストデータは、以下の情報を含む。
・撮影アプリケーションを起動するときに指定されたユーザ識別情報
・ステップＳ１１１で受け付けられた対象全体動作識別情報
・ステップＳ１１２で記憶装置１１に記憶された全体動画
【００８０】
ステップＳ１１３の後、サーバ３０は、図１１のフローに従って評価（Ｓ１３１）を実行する。
【００８１】
図１１に示すように、サーバ３０は、検出モデルの決定（Ｓ１３１１）を実行する。
具体的には、プロセッサ３２は、動作種別情報データベース（図５）を参照して、評価リクエストデータに含まれる対象全体動作識別情報に関連付けられた「部分動作ＩＤ」フィールドの情報（つまり、ユーザが指定した動作種別の全体動作を構成する部分動作の部分動作識別情報（以下「対象部分動作識別情報」という））を特定する。
プロセッサ３２は、部分動作情報データベース（図６）を参照して、各対象部分動作識別情報に関連付けられた「モデルＩＤ」フィールドの情報（つまり、対象部分動作識別情報に対応する部分動作（以下「対象部分動作」という）を検出するための検出モデルのモデル識別情報）を特定する。
【００８２】
例えば、対象全体動作識別情報「Ｔ０１」（全体動作名「手洗い」）の場合、対象部分動作識別情報「Ｐ１１」〜「Ｐ１４」（部分動作名「手のひらを洗う」、「手の甲を洗う」、「指先を洗う」、及び、「すすぐ」）、並びに、モデル識別情報「Ｍ１１」〜「Ｍ１４」が特定される（図６）。
【００８３】
ステップＳ１３１１の後、サーバ３０は、部分動画の検出（Ｓ１３１２）を実行する。
具体的には、プロセッサ３２は、ステップＳ１３１１で特定された各検出モデルに対して、評価リクエストデータに含まれる全体動画を入力する。プロセッサ３２は、各検出モデルの出力に基づいて、各部分動画を検出する。
【００８４】
より具体的には、対象全体動作識別情報「Ｔ０１」（全体動作名「手洗い」）の場合、プロセッサ３２は、モデル識別情報「Ｍ１１」〜「Ｍ１４」に対応する各検出モデルに対して、全体動画を入力する。
図１３に示すように、各検出モデル（モデル識別情報「Ｍ１１」〜「Ｍ１４」）は、対象全体動作識別情報「Ｔ０１」（全体動作名「手洗い」）に対応する全体動作を構成する部分動作（「手のひらを洗う」、「手の甲を洗う」、「指先を洗う」、及び、「すすぐ」）に対応する部分動画Ｐ１１〜Ｐ１４の尤度をそれぞれ時系列で出力する。
プロセッサ３２は、出力された尤度に基づいて、各部分動画Ｐ１１〜Ｐ１４の開始時間ＳＴ１〜ＳＴ４、及び、終了時間ＥＴ１〜ＥＴ４を特定する。一例として、プロセッサ３２は、尤度と所定の尤度閾値を比較することにより、開始時間ＳＴ１〜ＳＴ４、及び、終了時間ＥＴ１〜ＥＴ４を特定する。
プロセッサ３２は、部分動画Ｐ１１〜Ｐ１４の対象部分動作識別情報、部分動画Ｐ１１〜Ｐ１４の開始時間ＳＴ１〜ＳＴ４、及び、終了時間ＥＴ１〜ＥＴ４の組合せを記憶装置３１に記憶する。
【００８５】
ステップＳ１３１２の後、サーバ３０は、部分動作の評価（Ｓ１３１３）を実行する。
具体的には、プロセッサ３２は、ステップＳ１３１２で記憶装置３１に記憶された各対象部分動作識別情報に関連付けられた評価条件データテーブル（図８）を特定する。
プロセッサ３２は、特定した評価条件データテーブルを参照して、「評価指標」フィールドの情報（例えば、各部分動作を含む部分動画の有無、各部分動画の順番、各部分動画の期間、及び、各部分動画における部分動作の開始時間）に対応する「評価スコア」フィールドの情報（つまり、評価スコア）を特定する。これにより、部分評価情報（図１４）が得られる。
【００８６】
ステップＳ１３１３の後、サーバ３０は、全体動作の評価（Ｓ１３１４）を実行する。
【００８７】
ステップＳ１３１４の第１例では、プロセッサ３２は、ステップＳ１３１３で得られた部分評価情報を参照して、全体動作の評価スコア（つまり、全体評価情報）を決定する。
より具体的には、プロセッサ３２は、以下の少なくとも１つを全体動作の評価スコアとして決定する。
・部分動作の評価スコアの合計値
・部分動作の評価スコアの平均値
・当該合計値又は当該平均値に対応する指標（例えば、ランク）
【００８８】
一例として、動作種別が「手のひらを洗う」である場合、図８の評価条件データテーブルが参照される。
この場合、プロセッサ３２は、部分動画Ｐ１１が検出され、部分動画Ｐ１１の順番が評価条件に示される順番と同一であり、部分動画Ｐ１１の期間がＰｔｈ以上であり、開始時間ＳＴが第１開始時間閾値Ｓｔｈ１〜第２開始時間閾値Ｓｔｈ２の間に含まれる場合、部分動画Ｐ１１の評価スコアを「４」に決定する。
【００８９】
ステップＳ１３１４の第２例では、プロセッサ３２は、ステップＳ１３１２で検出された部分動画の数に応じて、全体動作の評価スコアを決定する。
この場合、ステップＳ１３１３は省略可能である。
【００９０】
ステップＳ１３１の後、サーバ３０は、データベースの更新（Ｓ１３２）を実行する。
具体的には、プロセッサ３２は、評価リクエストデータに含まれるユーザ識別情報に関連付けられた全体動画情報データベース（図７）に新規レコードを追加する。新規レコードの各フィールドには、以下の情報が格納される。
・「全体動画ＩＤ」フィールド…新規の全体動画識別情報
・「全体動画」フィールド…評価リクエストデータに含まれる全体動画
・「評価日時」フィールド…ステップＳ１３１の実行日時に関する情報
・「部分評価」フィールド…ステップＳ１３１３で得られた部分評価情報
・「全体評価」フィールド…ステップＳ１３１４で得られた全体評価情報
【００９１】
ステップＳ１３２の後、サーバ３０は、評価レスポンス（Ｓ１３３）を実行する。
具体的には、プロセッサ３２は、評価レスポンスデータをクライアント装置１０に送信する。評価レスポンスデータは、以下の情報を含む。
・ステップＳ１３１２の実行結果（つまり、部分動画の検出結果）に関する情報
・ステップＳ１３１３の実行結果（つまり、部分評価情報）
・ステップＳ１３１４の実行結果（つまり、全体評価情報）
【００９２】
ステップＳ１３３の後、クライアント装置１０は、評価結果の表示（Ｓ１１４）を実行する。
具体的には、プロセッサ１２は、画面Ｇ１２（図１２）をディスプレイに表示する。
【００９３】
画面Ｇ１２には、評価レスポンスデータに含まれる情報が表示される。画面Ｇ１２は、表示オブジェクトＡ１２ａ〜Ａ１２ｂと、画像オブジェクトＩＭＧ１２と、動画オブジェクトＭＯＶ１１と、を含む。
表示オブジェクトＡ１２ａには、部分評価情報が表示される。
表示オブジェクトＡ１２ｂには、全体評価情報が表示される。
画像オブジェクトＩＭＧ１２は、部分動画の検出結果を時系列で示すオブジェクトである。
【００９４】
なお、ステップＳ１３３では、評価レスポンスデータは、部分評価情報を含まなくても良い。この場合、ステップＳ１１４では、部分評価情報の表示は省略される。
また、ステップＳ１３３では、評価レスポンスデータは、全体評価情報を含まなくても良い。この場合、ステップＳ１１４では、全体評価情報の表示は省略される。
【００９５】
第１実施形態によれば、全体動画から部分動画を検出し、且つ、部分動画に関する評価条件を用いて、全体動作を評価する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
【００９６】
また、第１実施形態によれば、部分動作毎の検出モデルを用いて部分動画を検出する。これにより、適切に部分動作を検出することができる。
【００９７】
また、第１実施形態によれば、検出された部分動画の数に応じて、全体動作及び部分動作の少なくとも１つを評価する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
【００９８】
また、第１実施形態によれば、検出された部分動画の順番、各部分動画の期間、及び、各部分動作の開始時間の少なくとも１つを参照して、全体動作及び部分動作の少なくとも１つを評価する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
【００９９】
また、第１実施形態によれば、予め指定されたトレーニの動作の種別に応じて、全体動作及び部分動作の少なくとも１つを評価する。これにより、より正確な評価を実現することができる。
【０１００】
また、第１実施形態によれば、検出された部分動作の種別に応じた検出モデルを用いて部分動画を検出する。これにより、適切に部分動画を検出することができる。
【０１０１】
また、第１実施形態によれば、動作の種別に応じた評価条件を用いて部分動画を評価する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
【０１０２】
（２）第２実施形態
第２実施形態を説明する。第２実施形態は、複数の部分動作のそれぞれに対応する部分動作評価モデルを用いて部分動作を評価する例である。なお、上記の実施形態と同様の説明は省略する。
【０１０３】
（２−１）動作の評価処理
第２実施形態の動作の評価処理を説明する。
【０１０４】
サーバ３０は、第１実施形態（図１１）と同様に、検出モデルの決定（Ｓ１３１１）〜部分動画の検出（Ｓ１３１２）を実行する。
【０１０５】
ステップＳ１３１２の後、サーバ３０は、部分動作の評価（Ｓ１３１３）を実行する。
具体的には、記憶装置３１には、部分動作毎の部分動作評価モデルが記憶されている。各部分動作評価モデルは、部分動作識別情報に関連付けられている。
部分動作評価モデルには、各部分動作に含まれる要素動作（例えば、姿勢、表情、及び、発話の少なくとも１つ）毎の評価条件が記述されている。部分動作評価モデルは、例えば、予め定められたルール、又は、機械学習により生成された学習済モデルである。
【０１０６】
プロセッサ３２は、対象部分動作識別情報に関連付けられた部分動作評価モデルを参照して、ステップＳ１３１２で検出された各部分動画に対応する部分動作に含まれる要素動作の評価スコアを決定する。
プロセッサ３２は、各要素動作の評価スコアを参照して、部分動作の部分動作評価情報を決定する。
より具体的には、プロセッサ３２は、以下の少なくとも１つを部分動作の評価スコアとして決定する。
・要素動作の評価スコアの合計値
・要素動作の評価スコアの平均値
・当該合計値又は当該平均値に対応する指標（例えば、ランク）
・部分動画の有無
・部分動画の順番
・部分動画の期間
・各部分動画における部分動作の開始時間
【０１０７】
一例として、動作種別が「歩行介助」であり、且つ、部分動作が「被介助者の手を取る」であり、評価対象となる要素動作が「表情」であり、且つ、要素動作の評価条件が「笑顔で被介助者の目を見る」である場合、プロセッサ３２は、部分動画を解析することによって、トレーニの表情（例えば、笑顔のレベル）を特定する。
プロセッサ３２は、特定結果（例えば、笑顔のレベル）に基づいて、要素動作「表情」の評価スコアを計算する。
【０１０８】
ステップＳ１３１３の後、サーバ３０は、第１実施形態（図１０）と同様に、全体動作の評価（Ｓ１３１４）を実行する。
【０１０９】
ステップＳ１３１４の後、サーバ３０は、図１０のデータベースの更新（Ｓ１３２）を実行する。
具体的には、プロセッサ３２は、評価リクエストデータに含まれるユーザ識別情報に関連付けられた全体動画情報データベース（図７）に新規レコードを追加する。新規レコードの各フィールドには、以下の情報が格納される。
・「全体動画ＩＤ」フィールド…新規の全体動画識別情報
・「全体動画」フィールド…評価リクエストデータに含まれる全体動画
・「評価日時」フィールド…ステップＳ１３１の実行日時に関する情報
・「部分評価」フィールド…ステップＳ１３１３で得られた部分評価情報
・「全体評価」フィールド…ステップＳ１３１４で得られた全体評価情報
【０１１０】
ステップＳ２３１１の後、サーバ３０は、第１実施形態（図１０）と同様に、評価レスポンス（Ｓ１３３）を実行する。
ステップＳ１３３の後、クライアント装置１０は、第１実施形態と同様に、評価結果の表示（Ｓ１１４）を実行する。
【０１１１】
第２実施形態によれば、複数の部分動作のそれぞれに対応する部分動作評価モデルを用いて、部分動作を構成する複数の要素動作のそれぞれを評価し、且つ、各要素動作の評価結果を参照して、全体動作及び部分動作の少なくとも１つを評価する。これにより、全体動作及び部分動作の少なくとも１つをより詳細に評価することができる。
【０１１２】
（３）変形例
本実施形態の変形例を説明する。
【０１１３】
（３−１）変形例１
本実施形態の変形例１を説明する。変形例１は、サーバ３０が動作種別を判定する例である。
図１５は、変形例１の情報処理のシーケンス図である。図１６は、図１５の情報処理において表示される画面例を示す図である。
【０１１４】
図１５に示すように、クライアント装置１０は、全体動作の撮影（Ｓ１１１）を実行する。
具体的には、プロセッサ１２は、画面Ｇ２０（図１６）をディスプレイに表示する。画面Ｇ２０は、操作オブジェクトＢ１０ｄを含む。
【０１１５】
ステップＳ１１１の後、クライアント装置１０は、評価リクエスト（Ｓ１１２）を実行する。
具体的には、プロセッサ１２は、評価リクエストデータをサーバ３０に送信する。評価リクエストデータは、以下の情報を含む。
・撮影アプリケーションを起動するときに指定されたユーザ識別情報
・ステップＳ１１２で記憶装置１１に記憶された全体動画
【０１１６】
ステップＳ１１２の後、サーバ３０は、動作種別の特定（Ｓ３３１）を実行する。
具体的には、記憶装置３１には、動作種別特定モデルが記憶されている。動作種別特定モデルには、動画の特徴量と動作種別との相関関係が記述されている。
プロセッサ３２は、評価リクエストデータに含まれる全体動画を動作種別特定モデルに入力することにより、全体動画の動作種別（つまり、全体動作の種別）を特定する。
【０１１７】
ステップＳ３３１の後、サーバ３０は、第１実施形態（図１０）又は第２実施形態と同様に、評価（Ｓ１３１）〜評価レスポンス（Ｓ１３３）を実行する。
【０１１８】
ステップＳ１３３の後、クライアント装置１０は、本実施形態（図１０）と同様に、評価結果の表示（Ｓ１１４）を実行する。
【０１１９】
なお、動作種別の特定（Ｓ３３１）は、部分動画の検出（Ｓ１３１２）の後に実行されても良い。
この場合、プロセッサ３２は、ステップＳ１３１２で検出された複数の部分動画の少なくとも１つを動作種別特定モデルに入力することにより、全体動画の動作種別を特定する。
【０１２０】
変形例１によれば、ユーザが指定することなく、動作の種別が特定される。これにより、動作の評価におけるユーザの負担を軽減することができる。
【０１２１】
（３−２）変形例２
本実施形態の変形例２を説明する。変形例２は、全体動画に含まれるトレーニ以外の人物（以下「非トレーニ」という）の動作を考慮して、トレーニの動作を評価する例である。
【０１２２】
（３−２−１）変形例２の概要
本実施形態の変形例２の概要を説明する。図１７は、変形例２の概要の説明図である。
【０１２３】
図１７に示すように、変形例２では、全体動画に含まれる非トレーニの動作（全体動作及び部分動作の少なくとも１つ）、並びに、トレーニの動作（全体動作及び部分動作の少なくとも１つ）を参照して、トレーニの動作を評価する。
非トレーニは、例えば、以下の少なくとも１つを含む。
・トレーニが介護者である場合の被介護者
・トレーニが医師である場合の患者
・トレーニがスポーツ選手である場合の相手選手
【０１２４】
図１７に示すように、変形例２では、クライアント装置１０がサーバ３０に全体動画を送信する。全体動画は、トレーニの動作（例えば、一連の部分動作を含む全体動作）、及び、非トレーニの動作（例えば、一連の部分動作を含む全体動作）の組合せに対応する。
【０１２５】
サーバ３０は、機械学習によって生成された検出モデルを用いて、全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する。
サーバ３０は、検出された複数の部分動画（つまり、非トレーニの動作、並びに、トレーニの全体動作及び部分動作の少なくとも１つの組合せ）を参照して、全体動作及び部分動作の少なくとも１つを評価する。
【０１２６】
（３−２−２）情報処理
本実施形態の変形例２の情報処理を説明する。
【０１２７】
変形例２の検出モデルは、動画の種別に応じて、トレーニの部分動作及び非トレーニの部分動作の組合せを検出するように構成される。
【０１２８】
記憶装置３１には、トレーニの姿勢及び非トレーニの姿勢の相関関係に関する評価条件テーブル、トレーニの表情及び非トレーニの表情の相関関係に関する評価条件テーブル、並びに、トレーニの発話及び非トレーニの発話の相関関係に関する評価条件テーブルの少なくとも１つが記憶されている。
【０１２９】
プロセッサ３２は、ステップＳ１３１２（図１１）において、記憶装置１１に記憶されたルール又は機械学習モデルを用いて、部分動画から、トレーニの姿勢の画像、トレーニの表情の画像、及び、トレーニの発話の画像又は音声の少なくとも１つを抽出する。
【０１３０】
プロセッサ３２は、トレーニの姿勢及び非トレーニの姿勢の相関関係に関する評価条件テーブルと、抽出されたトレーニの姿勢及び非トレーニの姿勢の画像と、を参照して、部分動作及び全体動作の少なくとも１つの評価スコア（つまり、姿勢に関する評価スコア）を計算する。
プロセッサ３２は、トレーニの表情及び非トレーニの表情の相関関係に関する評価条件テーブルと、抽出されたトレーニの表情及び非トレーニの表情の画像と、を参照して、部分動作及び全体動作の少なくとも１つの評価スコア（つまり、表情に関する評価スコア）を計算する。
プロセッサ３２は、トレーニの発話及び非トレーニの発話の相関関係に関する評価条件テーブルと、抽出されたトレーニの発話及び非トレーニの発話の音声と、を参照して、部分動作及び全体動作の少なくとも１つの評価スコア（つまり、発話に関する評価スコア）を計算する。
【０１３１】
変形例２によれば、動作の評価において、非トレーニの動作及びトレーニの動作の相関関係を考慮する。これにより、実際の動作環境に近い条件でトレーニの動作を評価することができる。
【０１３２】
（３−３）変形例３
本実施形態の変形例３を説明する。変形例３は、全体動画に含まれる物体の動作を考慮して、トレーニの動作を評価する例である。
【０１３３】
（３−３−１）変形例３の概要
本実施形態の変形例３の概要を説明する。図１８は、変形例３の概要の説明図である。
【０１３４】
図１８に示すように、変形例３では、全体動画に含まれる物体の動作（全体動作及び部分動作の少なくとも１つ）、並びに、トレーニの動作（全体動作及び部分動作の少なくとも１つ）を参照して、トレーニの動作を評価する。
物体は、例えば、以下の少なくとも１つを含む。
・トレーニが介護者である場合の介護用品（一例として、可動式介護用ベッド）
・トレーニが医師である場合の医療機器（一例として、手術器具）
・トレーニがスポーツ選手である場合のスポーツ器具（一例として、ボール、バット、ラケット、ゴルフクラブ等）
【０１３５】
サーバ３０は、機械学習によって生成された検出モデルを用いて、全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する。
サーバ３０は、検出された複数の部分動画（つまり、物体の動作、並びに、トレーニの全体動作及び部分動作の少なくとも１つの組合せ）を参照して、全体動作及び部分動作の少なくとも１つを評価する。
【０１３６】
（３−３−２）情報処理
本実施形態の変形例３の情報処理を説明する。
【０１３７】
変形例３の検出モデルは、動画の種別に応じて、トレーニの部分動作及び物体の部分動作の組合せを検出するように構成される。
【０１３８】
記憶装置３１には、トレーニの姿勢及び物体の姿勢の相関関係に関する評価条件テーブル、並びに、トレーニの発話及び物体の発話の相関関係に関する評価条件テーブルの少なくとも１つが記憶されている。
【０１３９】
プロセッサ３２は、ステップＳ１３１２（図１１又は図１６）において、記憶装置１１に記憶されたルール又は機械学習モデルを用いて、部分動画から、トレーニの姿勢の画像、及び、トレーニの発話の画像又は音声の少なくとも１つを抽出する。
【０１４０】
プロセッサ３２は、トレーニの姿勢及び物体の姿勢の相関関係に関する評価条件テーブルと、抽出されたトレーニの姿勢及び物体の姿勢の画像と、を参照して、部分動作及び全体動作の少なくとも１つの評価スコア（つまり、姿勢に関する評価スコア）を計算する。
プロセッサ３２は、トレーニの発話及び物体の動作音の相関関係に関する評価条件テーブルと、抽出されたトレーニの発話及び物体の動作音の音声と、を参照して、部分動作及び全体動作の少なくとも１つの評価スコア（つまり、発話に関する評価スコア）を計算する。
【０１４１】
ステップＳ１３１２の後、サーバ３０は、第１実施形態（図１０）又は第２実施形態と同様に、データベースの更新（Ｓ１３２）〜評価レスポンス（Ｓ１３３）を実行する。
ステップＳ１３３の後、クライアント装置１０は、第１実施形態又は第２実施形態と同様に、評価結果の表示（Ｓ１１４）を実行する。
【０１４２】
変形例３によれば、動作の評価において、物体の動作及びトレーニの動作の相関関係を考慮する。これにより、実際の動作環境に近い条件でトレーニの動作を評価することができる。
【０１４３】
（４）本実施形態の小括
本実施形態について小括する。
【０１４４】
本実施形態の第１態様は、
トレーニの動作を評価する動作評価方法であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップ（例えば、ステップＳ１３１２）を備え、
検出された複数の部分動画を参照して、全体動作及び部分動作の少なくとも１つを評価するステップ（例えば、ステップＳ１３１３〜Ｓ１３１４）を備える、
動作評価方法である。
【０１４５】
第１態様によれば、全体動画から部分動画を検出し、且つ、部分動画に関する評価条件を用いて、全体動作及び部分動作の少なくとも１つを評価する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
【０１４６】
本実施形態の第２態様は、
検出するステップは、
複数の部分動作のそれぞれに対応する検出モデルを用いて、各部分動作の尤度を計算し、
各部分動作の尤度に基づいて、各部分動画を検出する、
動作評価方法である。
【０１４７】
第２態様によれば、部分動作毎の検出モデルを用いて部分動画を検出する。これにより、適切に部分動画を検出することができる。
【０１４８】
本実施形態の第３態様は、
評価するステップは、検出された部分動画の数を参照して、全体動作を評価する、
動作評価方法である。
【０１４９】
第３態様によれば、部分動画の数に応じて評価を実行する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
【０１５０】
本実施形態の第４態様は、
評価するステップは、各部分動作に対応する部分動画の有無、各部分動画の順番、各部分動画の期間、及び、各部分動画における部分動作の開始時間の少なくとも１つを参照して、全体動作及び部分動作の少なくとも１つを評価する、
動作評価方法である。
【０１５１】
第４態様によれば、部分動画の順番及び期間、並びに、部分動作の開始時間の少なくとも１つに応じて評価を実行する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
【０１５２】
本実施形態の第５態様は、
トレーニの動作の種別に関する種別情報を取得するステップ（例えば、ステップＳ１３１１）を備え、
取得された種別情報を参照して、全体動画の種別を特定するステップ（Ｓ１３１１）を備える、
動作評価方法である。
【０１５３】
第５態様によれば、予め指定されたトレーニの動作の種別に応じて評価を実行する。これにより、より正確な評価を実現することができる。
【０１５４】
本実施形態の第６態様は、
全体動画及び部分動画の少なくとも１つを参照して、トレーニの動作の種別を特定するステップ（例えば、ステップＳ３３１）を備える、
動作評価方法である。
【０１５５】
第６態様によれば、ユーザが指定することなく、動作の種別が特定される。これにより、動作の評価におけるユーザの負担を軽減することができる。
【０１５６】
本実施形態の第７態様は、
検出するステップは、特定された種別に応じた検出モデルを用いる、
動作評価方法である。
【０１５７】
第７態様によれば、第６態様と同様の効果が得られる。
【０１５８】
本実施形態の第８態様は、
評価するステップは、特定された種別に応じた評価条件を参照して、各部分動画を評価する、
動作評価方法である。
【０１５９】
第８態様によれば、動作の種別に応じた評価条件を用いて部分動画を評価する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
【０１６０】
本実施形態の第９態様は、
評価するステップは、全体動画に含まれるトレーニ以外の人物の動作、並びに、トレーニの全体動作及び部分動作の少なくとも１つの組合せを参照して、全体動作及び部分動作の少なくとも１つを評価する、
動作評価方法である。
【０１６１】
第９態様によれば、動作の評価において、非トレーニの動作及びトレーニの動作の相関関係を考慮する。これにより、実際の動作環境に近い条件でトレーニの動作を評価することができる。
【０１６２】
本実施形態の第１０態様は、
評価するステップは、全体動画に含まれるトレーニ以外の物体の様子、並びに、トレーニの全体動作及び部分動作の少なくとも１つの組合せを参照して、全体動作及び部分動作の少なくとも１つを評価する、
動作評価方法である。
【０１６３】
第１０態様によれば、動作の評価において、物体の動作及びトレーニの動作の相関関係を考慮する。これにより、実際の動作環境に近い条件でトレーニの動作を評価することができる。
【０１６４】
本実施形態の第１１態様は、
評価するステップは、
部分動作を構成する複数の要素動作のそれぞれを評価し、
各要素動作の評価結果を参照して、全体動作及び部分動作の少なくとも１つを評価する、
動作評価方法である。
【０１６５】
第１１態様によれば、複数の部分動作のそれぞれに対応する部分動作評価モデルを用いて、部分動作を構成する複数の要素動作のそれぞれを評価し、且つ、各要素動作の評価結果を参照して、全体動作及び部分動作の少なくとも１つを評価する。これにより、全体動作及び部分動作の少なくとも１つをより詳細に評価することができる。
【０１６６】
本実施形態の第１２態様は、
トレーニの動作を評価する動作評価装置（例えば、サーバ３０）であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、各部分動作に対応する部分動画を検出する手段（例えば、ステップＳ１３１２を実行するプロセッサ３２）を備え、
検出された複数の部分動画を参照して、全体動作及び部分動作の少なくとも１つを評価する手段（例えば、ステップＳ１３１３〜Ｓ１３１４を実行するプロセッサ３２）を備える、
動作評価装置（例えば、サーバ３０）である。
【０１６７】
第１２態様によれば、第１態様と同様の効果が得られる。
【０１６８】
本実施形態の第１３態様は、
トレーニの動作を評価する動作評価システム１であって、
クライアント装置１０と、サーバ３０と、を備え、
クライアント装置１０は、
一連の部分動作を含む全体動作が撮影された全体動画をサーバ３０に送信する手段（例えば、ステップＳ１１３を実行するプロセッサ１２）を備え、
サーバ３０は、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、各部分動作に対応する部分動画を検出する手段（例えば、ステップＳ１３１２を実行するプロセッサ３２）を備え、
検出された複数の部分動画を参照して、全体動作及び部分動作の少なくとも１つを評価する手段（例えば、ステップＳ１３１３〜Ｓ１３１４を実行するプロセッサ３２）を備える、
動作評価システム１である。
【０１６９】
第１３態様によれば、第１態様と同様の効果が得られる。
【０１７０】
（５）その他の変形例
その他の変形例を説明する。
【０１７１】
記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。
【０１７２】
上記の情報処理の各ステップは、クライアント装置１０及びサーバ３０の何れでも実行可能である。
例えば、クライアント装置１０が上記の情報処理の全てのステップを実行可能である場合、クライアント装置１０は、サーバ３０にリクエストを送信することなく、スタンドアロンで動作する情報処理装置として機能する。
【０１７３】
本実施形態では、クライアント装置１０が全体動画を撮影する例を示したが、本実施形態の範囲はこれに限られない。本実施形態は、以下の何れかの場合にも適用可能である。
・ステップＳ１１１の実行前に記憶装置１１に記憶されていた全体動画（つまり、図１０の処理の実行前に撮影された全体動画）
・クライアント装置１０のカメラ１５以外のカメラ（例えば、ステップＳ１１１を実行するクライアント装置１０と通信可能な外部カメラ）で撮影された全体動画
【０１７４】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【０１７５】
１          ：動作評価システム
１０        ：クライアント装置
１１        ：記憶装置
１２        ：プロセッサ
１３        ：入出力インタフェース
１４        ：通信インタフェース
１５        ：カメラ
３０        ：サーバ
３１        ：記憶装置
３２        ：プロセッサ
３３        ：入出力インタフェース
３４        ：通信インタフェース
【要約】
【課題】トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現する。
【解決手段】トレーニの動作を評価する動作評価方法は、機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップを備え、検出された複数の部分動画を参照して、全体動作及び部分動作の少なくとも１つを評価するステップを備える。
【選択図】図３【図１】
0006757010.tif 000002
【図２】
0006757010.tif 000003
【図３】
0006757010.tif 000004
【図４】
0006757010.tif 000005
【図５】
0006757010.tif 000006
【図６】
0006757010.tif 000007
【図７】
0006757010.tif 000008
【図８】
0006757010.tif 000009
【図９】
0006757010.tif 000010
【図１０】
0006757010.tif 000011
【図１１】
0006757010.tif 000012
【図１２】
0006757010.tif 000013
【図１３】
0006757010.tif 000014
【図１４】
0006757010.tif 000015
【図１５】
0006757010.tif 000016
【図１６】
0006757010.tif 000017
【図１７】
0006757010.tif 000018
【図１８】
0006757010.tif 000019